CN103327220A - 低照度Bayer图像上以绿色通道为导向的去噪方法 - Google Patents

Abstract

本发明涉及图像信息处理领域，具体为图像的去噪处理。在低照度环境下，由于光照不足，产生的噪声将影响成像效果。由于Bayer图像相比去马赛克后的RGB图像具有噪声不扩散性，提出了一种Bayer图像上以绿色通道信号为指导的导向滤波去噪方法。Bayer图像上，绿色通道具有2倍于红色、蓝色通道的采样率，而且其感光度相比红色与蓝色通道更高，故绿色通道还具有更高的信噪比。导向滤波方法能够充分利用绿色通道的上述特点，而且其实时性好，资源消耗低。与高斯滤波、双边滤波等滤波方法相比，该算法的去噪与边缘保持效果更好。与其他基于相似块搜索或学习训练的方法比，该算法简单，资源消耗少，无需帧缓存，实时性高。

Description

低照度Bayer图像上以绿色通道为导向的去噪方法

技术领域

本发明涉及图像信息处理领域，具体为图像的去噪处理，特别为一种以Bayer图像上绿色通道为导向的去噪方法。

背景技术

图像的去噪方法一直以来都是数码相机研发中的核心研究之一。尤其是在低照度条件下获取的图像，由于光照度低，噪声大，因此在这种情况下去噪方法显得尤为重要。图像的去噪方法，不仅要能够有效的去除噪声以及保持图像的锐度，而且还需要考虑去噪方法的实时性以及计算资源的消耗。

一个典型的成像系统如图1所示，首先物体通过镜头4成像于像平面，图像传感器3放置于像平面，根据其光谱响应曲线将光学信号转化为电信号。目前市场上绝大部分的成像系统都采用了CCD或CMOS图像传感器，输出得到的一般是Bayer颜色模式的原始图像（如图2所示）。在Bayer模式图像中，每个像素感光单元都只记录红绿蓝三原色中的其中一种颜色。以常见的rg₁g₂b模式为例，奇数行为红绿两色，奇数点为红色，偶数点为绿色；偶数行为绿蓝两色，奇数点为绿色，偶数点为蓝色。图像处理单元1接收到Bayer图像后，将通过自动曝光控制、自动白平衡、自动聚焦控制、去马赛克、去除坏点、图像去噪、颜色校正、图像压缩等等一系列处理后，最终输出到显示或存储系统2。

在成像场景的光照度比较低的情况下，图像传感器所成图像的噪声会比较大。目前大部分的去噪方法都是基于去马赛克后恢复所得到的彩色图像做去噪（去马赛克方法是指利用相邻位置的颜色信息插值计算得到Bayer图像中缺失的另外两种颜色）。由于在去马赛克的过程中，会使单点的噪声扩散到邻近像素，使得噪声被扩散，模式更为复杂。但是，简单的去噪方法难以取得很好的去噪效果，另外一些方法则过于复杂，计算量大，计算资源消耗多，难以满足实时性的要求。

发明内容

本发明为了解决现有的基于Bayer图像去噪方法去噪效果不理想或者难以满足实时性要求的问题，提供了一种低照度Bayer图像的以绿色通道为导向的去噪方法。

本发明是采用如下技术方案实现的：

一种低照度Bayer图像上以绿色通道为导向的去噪方法，包括如下步骤：

（1）、获取图像传感器输出的目标Bayer图像，通过插值计算得到目标Bayer图像中绿色通道在红色像元位置以及蓝色像元位置的大小，从而得到与目标Bayer图像对应的完整的绿色通道图像：具体如下：

以目标Bayer图像建立坐标系XOY，设某一位置坐标为（i，j），当位置坐标为红色像元位置时以r(i，j)表示该位置红色通道值，当位置坐标为蓝色像元位置时以b（i，j）表示该位置蓝色通道值，当位置坐标为绿色像元位置时以g（i，j）表示该位置绿色通道值；

在红色像元位置，插值得到该位置的绿色通道值，记为G_r（i，j）；在蓝色像元位置，插值得到该位置的绿色通道值，记为G_b（i，j）；即得到与目标Bayer图像对应的完整的绿色通道图像；

（2）、在完整的绿色通道图像中分别取出与目标Bayer图像中原始红色通道、原始蓝色通道、原始绿色通道相对应的三组绿色通道，以此为导向图像，分别与目标Bayer图像中对应位置的原始红色通道、原始蓝色通道、原始绿色通道组成三组导向图像和原始图像对，即红绿图像对：G_r（i，j）与r（i，j），蓝绿图像对：G_b（i，j）与b（i，j），绿绿图像对：g（i，j）与g（i，j）；选取计算滤波窗口，分别对导向图像和原始图像组成的图像对进行导向滤波去噪：具体如下：

定义导向图像为I（i，j），原始图像为P（i，j），输出图像为Q（i，j）；

选取以（x0，y0）为中心的k×k的滤波窗口，设r=(k-1)/2，分别计算导向图像I的均值Mean(I)，原始图像P的均值Mean(P)，I×P的均值Mean(IP)，I×I的均值Mean(II):

$\mathrm{Mean}\left(I\right)=\underset{i=x0-r,j=y0-r}{\overset{i=x0+r,j=y0+r}{\mathrm{\Σ}}}I(i,j)/k^2$

$\mathrm{Mean}\left(P\right)=\underset{i=x0-r,j=y0-r}{\overset{i=x0+r,j=y0+r}{\mathrm{\Σ}}}P(i,j)/k^2$

$\mathrm{Mean}\left(\mathrm{IP}\right)=\underset{i=x0-r,j=y0-r}{\overset{i=x0+r,j=y0+r}{\mathrm{\Σ}}}I(i,j)\×P(i,j)/k^2$

$\mathrm{Mean}\left(\mathrm{II}\right)=\underset{i=x0-r,j=y0-r}{\overset{i=x0+r,j=y0+r}{\mathrm{\Σ}}}I(i,j)\×I(i,j)/k^2$

计算导向图像I的方差Var(I)，以及导向图像I与原始图像P之间的协方差Cov(I,P):

Var(I)=Mean(II)-Mean(I)×Mean(I)

Cov(I,P)=Mean(IP)-Mean(I)×Mean(P)

计算滤波后的输出图像Q（i，j）：

$Q(x0,y0)=\frac{\mathrm{Cov}(I,P)}{\mathrm{Var}\left(I\right)+\mathrm{\ϵ}}\×(I(x0,y0)-P(x0,y0))+\mathrm{Mean}\left(P\right)$

其中，ε为导向滤波的一个可调参数，在极限情况下，当ε→∞时，Q(x0,y0)→Mean(P)，此时导向滤波则退化为均值滤波，相当于在k×k取均值作为最终值；当ε→0时，则最大限度的根据导向图像的边缘使滤波后的图像保持了相应的边缘；当ε=0且Var(I)→0时，由于除数接近0，会照成极大的误差，因此ε需要根据实际情况选取合适的值；

（3）、经步骤（2）导向滤波后得到去噪后的三种输出图像组成新的Bayer图像；

（4）、将步骤（3）得到的Bayer图像做后续去马赛克处理，得到最终的去噪Bayer图像。

图像传感器（CCD或CMOS）输出的Bayer图像的绿色通道信噪比（SNR）高于红色通道和蓝色通道，且图像传感器的绿色像元数目要比红色和蓝色像元多出一倍。本发明方法利用了图像传感器的这一特点，提出了一种以Bayer图像上绿色通道为导向的去噪方法。该方法从获取的Bayer图像中选取信噪比高的绿色通道作为导向信号，分别对红色、绿色、蓝色各个通道进行导向滤波，从而达到低照度图像去噪的目的。

本发明方法设计合理，在时间效率方面，只需缓存滤波核所需图像行，并且适用于用流水线操作实现，可以实时完成滤波。而实验说明，本方法比高斯滤波，双边滤波等其它方法，去噪效果与边缘保持性能都更加优良。解决了现有的图像去噪方法去噪效果不理想或者难以满足实时性要求的问题。

附图说明

图1是典型的成像系统的结构框图。

图2是Bayer图像颜色矩阵（rg₁g₂b模式），每一个像素点只包含红绿蓝三原色中的一个颜色，奇数行的奇数点为红色r，奇数行偶数点和偶数行奇数点分别为绿色g₁、g₂，偶数行偶数点为蓝色b。

图3是包含噪音的图像。

图4是按照本发明方法去噪后的图像。

图中，1‐图像处理单元，2‐显示/存储系统，3‐图像传感器，4‐镜头。

具体实施方式

下面结合附图对本发明方法的具体实施例进行详细说明。

一种低照度Bayer图像上以绿色通道为导向的去噪方法，包括如下步骤：

（1）、获取图像传感器输出的目标Bayer图像，通过插值计算得到目标Bayer图像中绿色通道在红色像元位置以及蓝色像元位置的大小，从而得到与目标Bayer图像对应的完整的绿色通道图像：具体如下：

以目标Bayer图像建立坐标系XOY，设某一位置坐标为（i，j），当位置坐标为红色像元位置时以r(i，j)表示该位置红色通道值，当位置坐标为蓝色像元位置时以b（i，j）表示该位置蓝色通道值，当位置坐标为绿色像元位置时以g（i，j）表示该位置绿色通道值；

插值方法有很多，如可采用如下的线性插值：

在红色像元位置，插值得到的绿色通道值记为G_r（i，j），插值公式为：G_r(i,j)=(2(g(i-1,j)+g(i+1,j)+g(i,j-1)+g(i,j+1))+

            4r(i,j)-r(i-2,j)-r(i+2,j)-r(i,j-2)-r(i,j+2))/8；

在蓝色像元位置，插值得到的绿色通道值记为G_b（i，j），插值公式为：G_b(i,j)=(2(g(i-1,j)+g(i+1,j)+g(i,j-1)+g(i,j+1))+

            4b(i,j)-b(i-2,j)-b(i+2,j)-b(i,j-2)-b(i,j+2))/8.

（2）、在完整的绿色通道图像中分别取出与目标Bayer图像中原始红色通道、原始蓝色通道、原始绿色通道相对应的三组绿色通道，以此为导向图像，分别与目标Bayer图像中对应位置的原始红色通道、原始蓝色通道、原始绿色通道组成三组导向图像和原始图像对，即红绿图像对：G_r（i，j）与r（i，j），蓝绿图像对：G_b（i，j）与b（i，j），绿绿图像对：g（i，j）与g（i，j）；选取计算窗口，分别对导向图像和原始图像组成的图像对进行导向滤波去噪：具体如下：

定义导向图像为I（i，j），原始图像为P（i，j），输出图像为Q（i，j）；

选取以（x0，y0）为中心的k×k的滤波窗口，设r=(k-1)/2，分别计算导向图像I的均值Mean(I)，原始图像P的均值Mean(P)，I×P的均值Mean(IP)，I×I的均值Mean(II):

$\mathrm{Mean}\left(I\right)=\underset{i=x0-r,j=y0-r}{\overset{i=x0+r,j=y0+r}{\mathrm{\Σ}}}I(i,j)/k^2$

$\mathrm{Mean}\left(P\right)=\underset{i=x0-r,j=y0-r}{\overset{i=x0+r,j=y0+r}{\mathrm{\Σ}}}P(i,j)/k^2$

$\mathrm{Mean}\left(\mathrm{IP}\right)=\underset{i=x0-r,j=y0-r}{\overset{i=x0+r,j=y0+r}{\mathrm{\Σ}}}I(i,j)\×P(i,j)/k^2$

$\mathrm{Mean}\left(\mathrm{II}\right)=\underset{i=x0-r,j=y0-r}{\overset{i=x0+r,j=y0+r}{\mathrm{\Σ}}}I(i,j)\×I(i,j)/k^2$

计算导向图像I的方差Var(I)，以及导向图像I与原始图像P之间的协方差Cov(I,P):

Var(I)=Mean(II)-Mean(I)×Mean(I)

Cov(I,P)=Mean(IP)-Mean(I)×Mean(P)

计算滤波后的输出图像Q（i，j）：

$Q(x0,y0)=\frac{\mathrm{Cov}(I,P)}{\mathrm{Var}\left(I\right)+\mathrm{\ϵ}}\×(I(x0,y0)-P(x0,y0))+\mathrm{Mean}\left(P\right)$

其中，ε为导向滤波的一个可调参数，在极限情况下，当ε→∞时，Q(x0,y0)→Mean(P)，此时导向滤波则退化为均值滤波，相当于在k×k取均值作为最终值，可见参数ε在导向滤波中起平滑程度因子的作用；当ε→0时，则最大限度的根据导向图像的边缘使滤波后的图像保持了相应的边缘；当ε=0且Var(I)→0（导向图光滑）时，由于除数接近0，会照成极大的误差，因此ε需要根据实际情况选取合适的值。

（3）、经步骤（2）导向滤波后得到去噪后的三种输出图像（即得到r'(i,j)，Gr'(i,j)，Gb'(i,j)，b'(i,j)）组成新的Bayer图像；

（4）、将步骤（3）得到的Bayer图像做后续去马赛克处理，得到最终的去噪Bayer图像。

本发明方法的处理效果：图3为未滤波的原始图像，经过上述方法处理时，选取了5×5的滤波窗口，ε=1000，得到的去噪后的图像，如图4所示，可以看到去噪效果明显且边缘保持的很清晰。

Claims (3)

1.一种低照度Bayer图像上以绿色通道为导向的去噪方法，其特征在于：包括如下步骤：

（1）、获取图像传感器输出的目标Bayer图像，通过插值计算得到目标Bayer图像中绿色通道在红色像元位置以及蓝色像元位置的大小，从而得到与目标Bayer图像对应的完整的绿色通道图像：具体如下：

以目标Bayer图像建立坐标系XOY，设某一位置坐标为（i，j），当位置坐标为红色像元位置时以r(i，j)表示该位置红色通道值，当位置坐标为蓝色像元位置时以b（i，j）表示该位置蓝色通道值，当位置坐标为绿色像元位置时以g（i，j）表示该位置绿色通道值；

在红色像元位置，插值得到该位置的绿色通道值，记为G_r（i，j）；在蓝色像元位置，插值得到该位置的绿色通道值，记为G_b（i，j）；即得到与目标Bayer图像对应的完整的绿色通道图像；

（2）、在完整的绿色通道图像中分别取出与目标Bayer图像中原始红色通道、原始蓝色通道、原始绿色通道相对应的三组绿色通道，以此为导向图像，分别与目标Bayer图像中对应位置的原始红色通道、原始蓝色通道、原始绿色通道组成三组导向图像和原始图像对，即红绿图像对：G_r（i，j）与r（i，j），蓝绿图像对：G_b（i，j）与b（i，j），绿绿图像对：g（i，j）与g（i，j）；选取计算滤波窗口，分别对导向图像和原始图像组成的图像对进行导向滤波去噪：具体如下：

定义导向图像为I（i，j），原始图像为P（i，j），输出图像为Q（i，j）；

选取以（x0，y0）为中心的k×k的滤波窗口，设r=(k-1)/2，分别计算导向图像I的均值Mean(I)，原始图像P的均值Mean(P)，I×P的均值Mean(IP)，I×I的均值Mean(II):

$\mathrm{Mean}\left(I\right)=\underset{i=x0-r,j=y0-r}{\overset{i=x0+r,j=y0+r}{\mathrm{\Σ}}}I(i,j)/k^2$

$\mathrm{Mean}\left(P\right)=\underset{i=x0-r,j=y0-r}{\overset{i=x0+r,j=y0+r}{\mathrm{\Σ}}}P(i,j)/k^2$

$\mathrm{Mean}\left(\mathrm{IP}\right)=\underset{i=x0-r,j=y0-r}{\overset{i=x0+r,j=y0+r}{\mathrm{\Σ}}}I(i,j)\×P(i,j)/k^2$

$\mathrm{Mean}\left(\mathrm{II}\right)=\underset{i=x0-r,j=y0-r}{\overset{i=x0+r,j=y0+r}{\mathrm{\Σ}}}I(i,j)\×I(i,j)/k^2$

计算导向图像I的方差Var(I)，以及导向图像I与原始图像P之间的协方差Cov(I,P):

Var(I)=Mean(II)-Mean(I)×Mean(I)

Cov(I,P)=Mean(IP)-Mean(I)×Mean(P)

计算滤波后的输出图像Q（i，j）：

$Q(x0,y0)=\frac{\mathrm{Cov}(I,P)}{\mathrm{Var}\left(I\right)+\mathrm{\ϵ}}\×(I(x0,y0)-P(x0,y0))+\mathrm{Mean}\left(P\right)$

其中，ε为导向滤波的一个可调参数，在极限情况下，当ε→∞时，Q(x0,y0)→Mean(P)，此时导向滤波则退化为均值滤波，相当于在k×k取均值作为最终值；当ε→0时，则最大限度的根据导向图像的边缘使滤波后的图像保持了相应的边缘；当ε=0且Var(I)→0时，由于除数接近0，会照成极大的误差，因此ε需要根据实际情况选取合适的值；

（3）、经步骤（2）导向滤波后得到去噪后的三种输出图像组成新的Bayer图像；

（4）、将步骤（3）得到的Bayer图像做后续去马赛克处理，得到最终的去噪Bayer图像。

2.根据权利要求1所述的低照度Bayer图像上以绿色通道为导向的去噪方法，其特征在于：步骤（1）中的插值采用线性插值，

在红色像元位置，插值得到的绿色通道值记为G_r（i，j），插值公式为： $\begin{array}{c}{G}_r(i,j)=(2(g(i-1,j)+g(i+1,j)+g(i,j-1)+g(i,j+1))+\\ 4r(i,j)-r(i-2,j)-r(i+2,j)-r(i,j-2)-r(i,j+2))/8\end{array};$

在蓝色像元位置，插值得到的绿色通道值记为G_b（i，j），插值公式为： $\begin{array}{c}{G}_b(i,j)=(2(g(i-1,j)+g(i+1,j)+g(i,j-1)+g(i,j+1))+\\ 4b(i,j)-b(i-2,j)-b(i+2,j)-b(i,j-2)-b(i,j+2))/8\end{array}.$

3.根据权利要求1或2所述的低照度Bayer图像上以绿色通道为导向的去噪方法，其特征在于：步骤（2）中选用5×5的滤波窗口，ε=1000。

Images