CN103533320A - 一种Bayer格式图像联合去噪插值的方法和系统 - Google Patents

Abstract

本发明公开了一种Bayer格式图像联合去噪插值的方法及系统，该方法包括如下步骤：将原始的Bayer图像中的像素点归为G和BR两类，分别对G通道和BR通道进行插值；将插值后的数据从G和BR域转换到delta域和summation域；对域变换后的数据进行横向滤波处理；对delta图层进行插值，恢复出delta_B图层和delta_R图层，同时保存上一步骤得到的delta图层作为delta_G图层；将插值后的数据进行纵向滤波处理，并进行色彩恢复，得到处理好的数据，通过本发明，可以极大地降低算法的复杂度，节省大量的硬件资源。

Description

一种Bayer格式图像联合去噪插值的方法和系统

技术领域

本发明涉及数字图像处理领域，特别是涉及一种对Bayer格式图像进行联合插值降噪处理、生成去噪后RGB图像的Bayer格式图像联合去噪插值的方法和系统。

背景技术

现代数码相机多用色彩滤波阵列（Color Filter Array，CFA）来采样图像颜色信息。CFA阵列的特点是每个像素中仅含有一种颜色信息（Red，Green或Blue），另外两种颜色信息则需要通过已知的颜色信息来进行估计。合理使得使用周边点的颜色信息对中心点缺失的颜色信息进行估计并恢复出一个值的过程称之为去马赛克(demosaicing)，又由于一般情况下都是通过插值运算来进行去马赛克的，所以又可以将去赛马克称之为色彩插值(color interpolation)。

目前常用到的色彩插值算法包括双线性插值算法、带方向检测的双线性插值算法、Cok色比定律插值算法、DLMMSE及LPA-ICI等。算法的复杂度往往与算法的性能呈现一定的正相关。在硬件电路中，需要对算法的性能和复杂度进行折衷，以取得最优的电路设计。

一般情况下，从传感器从传出来的Bayer格式的图像会含有一定的噪声，其中比较典型的为加性高斯白噪声，因此，白噪声的降噪在白噪声图像的处理中也是很重要的一环。常见的设计中往往将白噪声降噪与色彩插值分开处理，但是把白噪声降噪与色彩插值联合起来可以得到更好的效果。

现有的Bayer格式图像联合降噪插值算法性能虽然已经十分优异，但是算法的复杂度很高，硬件实现的过程中会消耗大量的硬件资源，并不利于硬件实现。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种Bayer格式图像联合去噪插值的方法和系统，其可以极大地降低算法的复杂度，节省了大量的硬件资源。

为达上述及其它目的，本发明提出一种Bayer格式图像联合去噪插值的方法，包括如下步骤：

步骤一，将原始的Bayer图像中的像素点归为G和BR两类，分别对G通道和BR通道进行插值；

步骤二，将插值后的数据从G和BR域转换到delta域和summation域；

步骤三，对域变换后的数据进行横向滤波处理；

步骤四，对delta图层进行插值，恢复出delta_B图层和delta_R图层，同时保存步骤三得到的delta图层作为delta_G图层；

步骤五，将纵向插值后的数据进行纵向滤波处理，并进行色彩恢复，得到处理好的数据。

进一步地，于步骤一中，对G通道和BR通道分别进行插值采用如下方法：

假设原始的Bayer图像大小为M*N，当前需要进行插值的像素点坐标为(m,n)，则有

$G_h(m,n)=\frac{I(m-1,n)+I(m+1,n)}{2}+\frac{2*I(m,n)-I(m-2,n)-I(m+2,n)}{4}$

${\mathrm{BR}}_h(m,n)=\frac{I(m-1,n)+I(m+1,n)}{2}+\frac{2*I(m,n)-I(m-2,n)-I(m+2,n)}{4},$

其中，G_h为当前像素点的G通道插值后的数据，BR_h为当前像素点的BR通道插值后的数据，I（m,n）为当前像素点的图像数据，I（m-2，n）、I（m-1，n）、I（m+1，n）、I（m+2，n）为当前像素点左右两像素点的图像数据。

进一步地，于步骤二中，域转换采用如下方法：

设G_h，BR_h的最大值为MAX，

summation＝G_h+BR_h

delta＝MAX+G_h-BR_h。

进一步地，于步骤三中，分别考察当前点左右若干点与中心点的相关性，然后取相关点的均值。

进一步地，给定一个阈值threshold，若两像素点间像素距离大于threshold，判定这两点无关；否则这两点相关。

进一步地，于步骤四中，恢复delta_R的过程中采取以下方法：

a)如果中心点左右两点均是由原始Bayer图像的R值得到，则采取其对角线的4各点取加权平均；

b)如果中心点左右两点均是步骤二中插值得到的，那么直接取上下两个点的平均即可。

进一步地，于步骤五中，分别考察当前点纵向若干点与中心点的相关性，然后取相关点的均值，并于滤波完成之后，先恢复G图层，再通过G图层恢复R图层和B图层。

为达到上述目的，本发明还提供一种Bayer格式图像联合去噪插值系统，至少包括：

数据缓存模块，接收从传感器传输过来的像素数据；

横向插值模块，接于该数据缓存模块后，接收来自该数据缓存模块的数据，并对接收到的像素点进行横向插值处理；

域转换模块，接于该横向插值模块之后，对横向插值后的数据进行域转换；

横向滤波处模块，接于该域转换模块之后，对域转换后的数据进行横向滤波处理；

纵向插值模块，接于该横向滤波模块之后，对横向滤波后的的数据进行纵向插值处理，得到纵向插值后数据；

纵向滤波模块，将纵向插值后的数据进行纵向滤波和色彩恢复，得到处理好的数据。

进一步地，该数据缓存模块由四行行缓冲器组成，其他模块均具有多个，各横向插值模块、域转换模块及横向滤波模块分别对5行数据进行相应处理。

进一步地，纵向插值模块将5行数据分成3组进行纵向插值处理，得到3行插值后数据。

与现有技术相比，本发明一种Bayer图像联合去噪插值的方法及系统通过将降噪和插值同时进行处理，增加了原始数据的利用率，提高本发明的性能；本发明之降噪的过程中采用了大小为7*3的滤波窗，在节省硬件资源的同时尽可能的降低了对于本发明性能的影响；本发明中只存在移位加的运算和除数固定的除法运算，硬件资源消耗少，电路实现简单。

附图说明

图1为本发明一种Bayer格式图像联合去噪插值的方法的步骤流程图；

图2为本发明之较佳实施例中原Bayer图像的G,BR图层分解示意图；

图3为本发明一种Bayer格式图像联合去噪插值系统的系统架构图；

图4为本发明一种Bayer图像联合去噪插值系统之较佳实施例的模块划分及数据流分析示意图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种Bayer格式图像联合去噪插值的方法的步骤流程图。如图1所示，本发明一种Bayer格式图像联合去噪插值的方法，包括如下步骤：

步骤101，分别对G通道和B、R通道进行插值。将原始的Bayer图像中的像素点归为两类，即G和BR，那么此时Bayer格式图像分布如图2所示，先恢复每个像素点缺失的另一类颜色信息。不妨设原始的Bayer图像大小为M*N，当前需要进行插值的像素点坐标为(m,n)，则有

$G_h(m,n)=\frac{I(m-1,n)+I(m+1,n)}{2}+\frac{2*I(m,n)-I(m-2,n)-I(m+2,n)}{4}$

${\mathrm{BR}}_h(m,n)=\frac{I(m-1,n)+I(m+1,n)}{2}+\frac{2*I(m,n)-I(m-2,n)-I(m+2,n)}{4}$

其中，G_h为当前像素点的G通道插值后的数据，BR_h为当前像素点的BR通道插值后的数据，I（m,n）为当前像素点的图像数据，I（m-2，n）、I（m-1，n）、I（m+1，n）、I（m+2，n）为当前像素点左右两像素点的图像数据。

对于边界处采取镜像处理。即：

当m=0时，有I(m-1，n)＝I(m+1，n)

               I(m-2，n)＝I(m+2，n)

当m=1时，有I(m-2，n)＝I(m+2，n)

当m=M-1时，有I(m+2，n)＝I(m-2，n)

当m=M时，有I(m+1，n)＝I(m-1，n)

              I(m+2，n)＝I(m-2，n)

步骤102，转换G和BR域到delta（增量）域和summation（和）域。设G_h，BR_h的最大值为MAX；

summation＝G_h+BR_h

delta＝MAX+G_h-BR_h

由于G_h-BR_h的值域为(-MAX,MAX)，经过偏移以后，使得其值域值域变成(0,2MAX)。利于硬件电路实现。

步骤103，横向上使用Epsilon-Filter（滤波器）进行滤波处理。给定一个阈值threshold，若两像素点间像素距离大于threshold，判定这两点无关；否则这两点相关。分别考察当前点左右各三个点与中心点的相关性，然后取相关点的均值。

relevant_s(m-3：m+3，n)＝|summation(m-3：m+3，n)-summation(m，n)|＜threshold_s

relevant_d(m-3：m+3，n)＝|delta(m-3：m+3，n)-delta(m，n)|＜threshold_d

${\mathrm{summation}}_{\mathrm{de}}(m,n)=\frac{\left({\mathrm{\Σ}}_{i=-3}^{i=3}\mathrm{summation}(m-i,n){\mathrm{relevant}}_s(m-i,n)\right)}{{\mathrm{\Σ}}_{i=-3}^{i=3}{\mathrm{relevant}}_s(m-i,n)}$

${\mathrm{delta}}_{\mathrm{de}}(m,n)=\frac{\left({\mathrm{\Σ}}_{i=-3}^{i=3}\mathrm{delta}(m-i,n){\mathrm{relevant}}_d(m-i,n)\right)}{{\mathrm{\Σ}}_{i=-3}^{i=3}{\mathrm{relevant}}_d(m-i,n)}$

对于边界点采取镜像处理，即

当m=j,j∈{0，1，2}时，有summation(m-i，n)＝summation(m+i，n)

                    delta(m-i，n)＝delta(m+i，n)

其中i∈(j，3]。

步骤104，对delta图层进行插值，恢复出delta_B图层和delta_R图层。同时保存步骤103得到的delta图层作为delta_G图层。如图2可以看到，步骤103得到的delta_de图层实际由delta_B图层和delta_R图层构成。以delta_R所在行为例，考虑到每一行中有一半的delta_R来自于原始Bayer图像的R值，而剩下的一半则是由插值得到。在恢复delta_R的过程中采取以下办法：

a)如果中心点左右两点均是有原始Bayer图像的R值得到，则采取其对角线的4各点取加权平均。因为此时中心点对角线上的点都是步骤102中插值得到，本质上来说这四个点各自受到相邻6个点的影响，且中心点的权重是边界4点的2倍。

b)如果中心点左右两点均是步骤2中插值得到的，那么直接取上下两个点的平均即可，此时相当于四个角4个点的加权平均。

步骤105，纵向上使用Epsilon-Filter（滤波器）进行滤波处理。原理与步骤103相同，只是此时方向变为纵向，至考虑中心点上下各一个像素点的相关性。滤波完成之后，先恢复G图层。

$G=\frac{{\mathrm{summation}}_{\mathrm{de}2}+{\mathrm{delta}}_G-\mathrm{MAX}}{2}$

再通过G图层恢复R图层和B图层。

R＝(G-delta_R+MAX)

B＝(G-delta_B+MAX)

图3为本发明一种Bayer图像联合去噪插值系统的系统架构图。如图3所示，本发明一种Bayer图像联合去噪插值系统，至少包括：数据缓存模块301、横向插值模块302、域转换模块303、横向滤波模块304、纵向插值模块305以及纵向滤波模块306。

数据缓存模块301，接收从传感器（Sensor）传输过来的像素数据（Pixel_In）横向插值模块302，接于数据缓存模块301后，接收来自数据缓存模块的数据，并对接收到的像素点进行横向插值处理，具体地说，横向插值模块302，将接收到的像素点归为两类，即G和BR，然后分别对G通道和B、R通道进行插值，域转换模块303，接于横向插值模块之后，对横向插值后的数据进行域转换，即将横向插值后的数据从G和BR域转换到到delta（增量）域和summation（和）域；横向滤波模块304，接于域转换模块303之后，对域转换后的数据进行横向滤波处理；纵向插值模块305，接于横向滤波模块304之后，对域转换后的数据进行纵向插值处理，得到纵向插值后数据；纵向滤波模块306，将纵向插值后的数据进行滤波和色彩恢复，得到处理好的数据。

图4为本发明一种Bayer图像联合去噪插值系统之较佳实施例的模块划分及数据流分析示意图。以下将通过图4配合一具体实施例来进一步说明本发明。

在本发明较佳实施例中，本发明之Bayer图像联合去噪插值系统整体由数据缓存模块、横向插值模块、域转换模块、横向滤波模块、纵向插值模块、纵向滤波模块组成。其中数据缓冲模块的原始数据输入来自与sensor输出的数据，横向滤波模块数据插值得到的彩色图像。

1)从Sensor（传感器）出来的Bayer图像按行依次输入到数据缓存模块（Bayer图像行缓冲器）。缓存模块由四行Line Buffer（行缓冲器）组成。不妨设输入图像的大小为M*N，每个像素的位宽为K，那么每个Line Buffer长度为M，位宽为K。

在Line Buffer中储存着四行的数据。从Sensor输入的数据，与从Line Buffer中取得的四个数据共同组成同一列来自连续五行的数据，输入到第二级模块。然后，从Sensor输入的数据存储到Line Buffer之中。

2)来自数据缓存模块的数据分别输入到五个横向插值模块。不妨设输入到横向插值模块的数据为I(m+2,n)，在该模块中含有一个长度为4，位宽为K的移位寄存器，其中储存的数据为I(m+1,n)，I(m,n)，I(m-1,n)，I(m-2,n)。由此通过移位加计算G_h(m，n)和BR_h(m，n)。计算得到的结果传输到下一级模块。

$G_h(m,n)=\frac{I(m-1,n)+I(m+1,n)}{2}+\frac{2*I(m,n)-I(m-2,n)-I(m+2,n)}{4}$

${\mathrm{BR}}_h(m,n)=\frac{I(m-1,n)+I(m+1,n)}{2}+\frac{2*I(m,n)-I(m-2,n)-I(m+2,n)}{4}$

3)来自五个横向插值模块的G_h和BR_h分别输入五个域转换模块，经过求和、求差以后，得到summation（和）和delta（增量）.

summation＝G_h+BR_h

delta＝MAX+G_h-BR_h

由于summation在纵向插值的时候不会进行运算，实际上只会用到三行的数据，所以只计算中间三行数据的summation。

4)来自五个横向插值模块的数据分别进入横向滤波模块。以delta为例，如果当前处理行为第n行，不妨设输入到横向滤波模块的数据为delta(m+3,n)，在该模块中含有一个长度为7，位宽为K的移位寄存器。其中存储的数据为delta(m+2,n)，delta(m+1,n)，delta(m,n)，delta(m-1,n)，delta(m-2,n)，delta(m-3,n)，delta(m-4,n)。

a)先计算相关性relevant_d。

relevant_d(m-3：m+3，n)＝|delta(m-3：m+3，n)-delta(m，n)|＜threshold_d

这里涉及到求绝对值运算，在电路中的处理方式是展开

relevant_d(m-3：m+3，n)＝(delta(m-3：m+3，n)＜threshold_d+delta(m，n))&(delta(m-3：m+3，n)＞delta(m，n)-threshold_d)

由于关键路径比较长，可以提前一个周期计算threshold_d+delta(m，n)和delta(m，n)-threshold_d，即先计算好threshold_d+delta(m-1，n)和delta(m-1，n)-threshold_d，经过一次移位之后即为当前所求。

b)再计算delta_de

${\mathrm{delta}}_{\mathrm{de}}(m,n)=\frac{\left({\mathrm{\Σ}}_{i=-3}^{i=3}\mathrm{delta}(m-i,n){\mathrm{relevant}}_d(m-i,n)\right)}{{\mathrm{\Σ}}_{i=-3}^{i=3}{\mathrm{relevant}}_d(m-i,n)}$

按照公式展开即可。

c)同理计算summation_de。

5)来自五个横向滤波模块的summation_de(sum_de)和delta_de(delta_de)进入三个纵向插值模块。summation_de不做处理，对delta进行处理插值恢复delta_R和delta_B。以delta_R为例：

根据m,n的奇偶性可以判定点(m,n)左右两点来自于原始Bayer图像的R值或是步骤2中插值得到的R值。

a)如果中心点左右两点均是有原始Bayer图像的R值得到，则采取其对角线的4各点取加权平均。

b)如果中心点左右两点均是2）中插值得到的，那么直接取上下两个点的平均即可。

6)来自三个纵向插值模块的summation_de和delta_R，delta_G，delta_B输入到三个纵向滤波模块。滤波过程与4）基本相同。

经过滤波后得到的结果分别为summation_de2，deltaR_de2，deltaG_de2，deltaB_de2。

先恢复G图层。

$G=\frac{{\mathrm{summation}}_{\mathrm{de}2}+{\mathrm{delta}}_G-\mathrm{MAX}}{2}$

再通过G图层恢复R图层和B图层。

R＝(G-delta_R+MAX)

B＝(G-delta_B+MAX)。

综上所述，本发明一种Bayer图像联合去噪插值的方法及系统通过将降噪和插值同时进行处理，增加了原始数据的利用率，提高本发明的性能；本发明之降噪的过程中采用了大小为7*3的滤波窗，在节省硬件资源的同时尽可能的降低了对于本发明性能的影响；本发明中只存在移位加的运算和除数固定的除法运算，硬件资源消耗少，电路实现简单。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种Bayer格式图像联合去噪插值的方法，包括如下步骤：

步骤一，将原始的Bayer图像中的像素点归为G和BR两类，分别对G通道和BR通道进行插值；

步骤二，将插值后的数据从G和BR域转换到delta域和summation域；

步骤三，对域变换后的数据进行横向滤波处理；

步骤四，对delta图层进行插值，恢复出delta_B图层和delta_R图层，同时保存步骤三得到的delta图层作为delta_G图层；

步骤五，将插值后的数据进行纵向滤波处理，并进行色彩恢复，得到处理好的数据。

2.如权利要求1所述的一种Bayer格式图像联合去噪插值的方法，其特征在于，于步骤一中，对G通道和BR通道分别进行插值采用如下方法：

假设原始的Bayer图像大小为M*N，当前需要进行插值的像素点坐标为(m,n)，则有

$G_h(m,n)=\frac{I(m-1,n)+I(m+1,n)}{2}+\frac{2*I(m,n)-I(m-2,n)-I(m+2,n)}{4}$

${\mathrm{BR}}_h(m,n)=\frac{I(m-1,n)+I(m+1,n)}{2}+\frac{2*I(m,n)-I(m-2,n)-I(m+2,n)}{4},$

其中，G_h为当前像素点的G通道插值后的数据，BR_h为当前像素点的BR通道插值后的数据，I（m,n）为当前像素点的图像数据，I（m-2，n）、I（m-1，n）、I（m+1，n）、I（m+2，n）为当前像素点左右两像素点的图像数据。

3.如权利要求2所述的一种Bayer格式图像联合去噪插值的方法，其特征在于，于步骤二中，域转换采用如下方法：

设G_h，BR_h的最大值为MAX，

summation＝G_h+BR_h，

delta＝MAX+G_h-BR_h。

4.如权利要求3所述的一种Bayer格式图像联合去噪插值的方法，其特征在于：于步骤三中，分别考察当前点左右若干点与中心点的相关性，然后取相关点的均值。

5.如权利要求4所述的一种Bayer格式图像联合去噪插值的方法，其特征在于：给定一个阈值threshold，若两像素点间像素距离大threshold，判定这两点无关；否则这两点相关。

6.如权利要求5所述的一种Bayer格式图像联合去噪插值的方法，其特征在于，于步骤四中，恢复delta_R的过程中采取以下方法：

a)如果中心点左右两点均是由原始Bayer图像的R值得到，则采取其对角线的4各点取加权平均；

b)如果中心点左右两点均是步骤二中插值得到的，那么直接取上下两个点的平均。

7.如权利要求5所述的一种Bayer格式图像联合去噪插值的方法，其特征在于：于步骤五中，分别考察当前点纵向若干点与中心点的相关性，然后取相关点的均值，并于滤波完成之后，先恢复G图层，再通过G图层恢复R图层和B图层。

8.一种Bayer格式图像联合去噪插值系统，至少包括：

数据缓存模块，接收从传感器传输过来的像素数据；

横向插值模块，接于该数据缓存模块后，接收来自该数据缓存模块的数据，并对接收到的像素点进行横向插值处理；

域转换模块，接于该横向插值模块之后，对横向插值后的数据进行域转换；

横向滤波处模块，接于该域转换模块之后，对域转换后的数据进行横向滤波处理；

纵向插值模块，接于该横向滤波模块之后，对横向滤波后的的数据进行纵向插值处理，得到纵向插值后数据；

纵向滤波模块，将纵向插值后的数据进行纵向滤波和色彩恢复，得到处理好的数据。

9.如权利要求8所述的一种Bayer格式图像联合去噪插值系统，其特征在于：该数据缓存模块由四行行缓冲器组成，其他模块均具有多个，各横向插值模块、域转换模块及横向滤波模块分别对5行数据进行相应处理。

10.如权利要求9所述的一种Bayer格式图像联合去噪插值系统，其特征在于：纵向插值模块将5行数据分成3组进行纵向插值处理，得到3行插值后数据。

Images