CN103927726A - 图像降噪装置 - Google Patents

Abstract

本发明提供一种图像降噪装置，该装置包括：在对测试卡的预设标准色块进行曝光时，调节不同增益，获取不同增益下的RAW数据，计算斜率和截距，得到像素点的噪声阈值；以待降噪像素点为中心，获得预设区域内的其它像素点与该像素点的最大亮度差值和最小亮度差值，确定该像素点的图像纹理程度值；根据最大亮度差值、最小亮度差值以及图像纹理程度值计算像素点的相似性下限阈值和上限阈值；根据预设区域内各个像素点与待降噪像素点的差值、相似性下限阈值以及上限阈值，计算各个像素点的权重值，得到去除噪声后的亮度值。本发明在尽量保持图像细节的同时，有效滤除图像的噪点，并简化了处理流程，便于硬件实现。

Description

图像降噪装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像降噪装置。

背景技术

图像在采集、传输、存储等过程中常常因为受到各类噪声的干扰而使图像质量有所下降，从而对后续的图像处理产生不利影响，因此，图像降噪对成像质量有着举足轻重的作用。图像传感器集成电路中的噪声可以分为器件电子噪声和环境噪声。其中，环境噪声是指电路受到电源、地线、衬底等的随机干扰，或者环境温度变化、时钟抖动、电磁干扰等，通过外围电路的耦合对图像传感器造成影响。这些噪声可以通过电路设计很好的抑制，不会直接关系到成像质量的好坏。而电子噪声是器件固有的噪声，很难被抑制，一般包括：热噪声、散粒噪声、闪烁噪声、暗电流。对于这类噪声如果不在CFA(彩色滤波阵列)插值之前根据噪声估计的参数进行去噪，后续的处理就很难去除掉，最终将会影响成像质量。

传统的图像降噪算法主要包括数学形态学降噪、空域滤波降噪、频域滤波降噪和小波降噪等。其中，最常见的形态学运算有腐蚀和膨胀，以及开运算和闭运算，可以滤除孤立的噪声点，但是该方法去除噪声不彻底，降噪效果不理想，因此，该方法很少单独使用。无论空域或者频域滤波降噪，由于不能有效地判别噪声还是图像的细节，在降噪的同时，会导致图像变模糊。而在小波降噪中，小波阈值直接关系到降噪质量和图像质量，阈值太小降噪效果不佳，阈值太大细节损失太多，选择合理阈值的计算过程比较复杂。

目前，一般CFA之前的降噪处理流程如图1所示。该降噪处理流程针对图像传感器采集的Bayer(拜耳)格式RAW数据进行处理，所述RAW数据为传感器采集的未经过处理的原始数据，该数据经过图像信号分析模块、图像纹理细节检测模块、噪声水平估计模块、图像像素相似性判断模块、权重计算模块以及滤波降噪模块处理后，得到无噪声干扰的图像。其计算过程复杂，不利于硬件实现，在实现降噪的同时，图像细节模糊，降噪效果不够理想。

发明内容

有鉴于此，本发明提供了一种图像降噪装置，该装置应用于图像处理设备上，该装置包括：

噪声参数估计单元，用于在对测试卡的预设标准色块进行曝光时，通过调节不同增益，获取相应增益下的Bayer格式RAW数据，对该Bayer格式RAW数据分量计算不同增益下对应的斜率和截距，得到不同增益下像素点对应的噪声阈值；

图像纹理检测单元，用于以待降噪像素点为中心，统计该像素点周围预设区域内的其它像素点与该待降噪像素点的亮度差值，获得最大亮度差值和最小亮度差值，并根据最大亮度差值与待降噪像素点的噪声阈值确定该待降噪像素点的图像纹理程度值；

图像相似性检测单元，用于根据所述最大亮度差值、最小亮度差值以及图像纹理程度值计算所述待降噪像素点的相似性检测下限阈值和上限阈值；

降噪处理单元，用于根据预设区域内各个像素点与待降噪像素点的差值、待降噪像素点的相似性检测下限阈值以及上限阈值，计算该预设区域内各个像素点的权重值，得到待降噪像素点去除噪声后的亮度值。

本发明通过基于相似像素点的检测，在尽量保持图像细节的同时，有效滤除图像的噪点，并简化了处理流程，便于硬件实现。

附图说明

图1是常规降噪处理流程图。

图2是本发明一种实施方式中图像降噪装置的逻辑结构及其基础硬件环境的示意图。

图3是本发明一种实施方式中图像降噪处理流程图。

图4是本发明一种实施方式中不同增益下的斜率和截距曲线图。

具体实施方式

以下结合附图对本发明进行详细说明。

本发明提供一种图像降噪装置，该装置应用于图像处理设备上，以下以软实现方式。如图2所示，该显像设备包括CPU、内存、非易失性存储器以及其他硬件。该图像降噪装置作为一个逻辑层面的虚拟装置，其通过CPU来运行。该装置包括噪声参数估计单元、图像纹理检测单元、图像相似性检测单元以及降噪处理单元。

噪声参数估计单元，用于在对测试卡的预设标准色块进行曝光时，通过调节不同增益，获取相应增益下的Bayer格式RAW数据，对该Bayer格式RAW数据分量计算不同增益下对应的斜率和截距，得到不同增益下像素点对应的噪声阈值；

图像纹理检测单元，用于以待降噪像素点为中心，统计该像素点周围预设区域内的其它像素点与该待降噪像素点的亮度差值，获得最大亮度差值和最小亮度差值，并根据最大亮度差值与待降噪像素点的噪声阈值确定该待降噪像素点的图像纹理程度值；

图像相似性检测单元，用于根据所述最大亮度差值、最小亮度差值以及图像纹理程度值计算所述待降噪像素点的相似性检测下限阈值和上限阈值；

降噪处理单元，用于根据预设区域内各个像素点与待降噪像素点的差值、待降噪像素点的相似性检测下限阈值以及上限阈值，计算该预设区域内各个像素点的权重值，得到待降噪像素点去除噪声后的亮度值。

几乎所有的图像处理系统都包含降噪功能，利用低通滤波等手段，从包含噪声的图像中去除噪声成分，提高图像成像质量。其本质是利用图像的空间相关性和噪声的独立性区分图像细节和噪声，得到原始的干净图像。尤其在低亮度且噪点比较多的情况下，如何有效的去除噪声，又能最大限度地保留图像的细节显得尤为重要。

本发明和图1所示方案相似，同样包括噪声估计、纹理检测、相似性检测以及降噪处理，但具体的处理方式不同，本发明在尽量保持图像细节的同时，有效滤除图像的噪声，并简化了处理流程。本发明具体处理流程如图3所示。

首先，需要在标准测试条件下，测试不同增益下的噪声阈值。本发明通过对测试卡的预设标准色块进行曝光，调节不同的增益，获取相应增益下的Bayer格式RAW数据，对该Bayer格式RAW数据分量计算不同增益下对应的斜率和截距，进而得到不同增益下像素点对应的噪声阈值。在噪声测试的时候，测试卡不需要充满整个画面，避免受光衰减的干扰导致测试精准度降低，但要使测试卡占据整个画面的大部分。同时，尽量保证光照均匀，建议变化范围小于5％。入射光角度为20°～45°较为理想，可通过一个以上的光源照射，采用专用测试灯箱可以满足此条件。将测试卡垂直于水平面平整贴于灯箱内壁，打开光源，关闭其他照明灯光，调整对焦使画面清晰。调节增益，获得对应增益下的噪声阈值。例如，每隔6dB增益(12dB、18dB、24dB、30dB、36dB)分别获取相应增益下的噪声参数，其中间增益的噪声参数可以通过插值获得。调整曝光，当像素点的亮度值满足下面公式时，则曝光准确：target level＝(2^bitwidth–dark level)×(0.18/white point)+dark level(1)

由于dark level会随着增益的变化而变化，因此，可通过公式(1)计算不同增益下的亮度值，若当前曝光满足公式(1)的亮度值，则抓取相应增益下的bayer格式RAW数据，这样就可以得到一组不同增益下的统计样本。对不同增益下的RAW数据计算相应的斜率和截距，进而得到不同增益下像素点对应的噪声阈值。

在接收到一帧待降噪图像时，对图像中的每一个像素点进行图像纹理检测。以待降噪像素点为中心，统计该像素点周围预设区域内的其它像素点与该待降噪像素点的亮度差值，获得最大亮度差值和最小亮度差值，并根据最大亮度差值与待降噪像素点的噪声阈值确定该待降噪像素点的图像纹理程度值。例如，以Bayer格式图像的R分量为例，选取一定区域进行局部信息统计。以某一个待降噪的像素点为中心，统计其周围像素点与该待降噪像素点的亮度差值，对这些亮度差值进行统计，得到最大亮度差值Dmax和最小亮度差值Dmin。若Dmax为0，则说明该待降噪像素点附近区域是平坦区；若Dmax很大，则说明该待降噪像素点附近区域可能存在边缘。通过将该Dmax与待降噪像素点的噪声阈值比较，确定该待降噪像素点的图像纹理程度值。

利用得到的图像纹理程度值以及统计的预设区域内的最大亮度差值和最小亮度差值，计算待降噪像素点局部相似性检测的下限阈值和上限阈值。并根据统计的预设区域内所有像素点与待降噪像素点的差值与相似性检测下限阈值以及上限阈值的关系，确定该预设区域内各个像素点的权重值，对预设区域内像素点加权处理，得到待降噪像素点去除噪声后的亮度值。

在计算噪声阈值时，本发明选择24色测试卡中的第22色块作为曝光目标。这是由于噪声测试一般需要选择在平坦区，对该色块曝光不容易产生过曝或过暗的问题。利用该色块的曝光值与曝光目标值(由公式(1)得到)进行比较，整幅画面可以得到比较准确的曝光，从而获得相应增益下曝光准确的RAW图像。

在计算相应增益下的斜率和截距时，通过对与标准色块相邻的N个色块分别计算亮度均值和方差，并将不同均值对应的方差进行线性拟合，得到相应增益下的斜率和截距。例如，在选择24色测试卡中的第22色块作为曝光目标时，可对抓取到的RAW数据计算第19色块到第24色块中每一色块的均值和方差，将不同均值下对应的方差做线性拟合。利用线性拟合得到相应增益下的斜率slope和截距intercept值，以此类推得到如图4所示的不同增益下的斜率slope和截距intercept曲线。该斜率和截距曲线是Bayer格式图像单个分量的曲线，同理，可以得到Bayer格式图像四个分量(R、Gr、B、Gb)对应的曲线。

在对像素点进行降噪处理时，需根据当前增益对应的斜率和截距计算该像素点的噪声阈值，其具体计算过程为：

$\mathrm{Threshold}=\sqrt{\mathrm{slope}\×\mathrm{intensity}+\mathrm{intercept}}---\left(2\right)$

其中，

slope为相应增益下的斜率；

intercept为相应增益下的截距；

intensity为相应增益下像素点的亮度值；

Threshold为相应增益下像素点的噪声阈值。

不同增益下，对应的斜率和截距不同，通过当前增益下像素点的亮度值，可以计算出该像素点的噪声阈值。

在进行像素点的纹理程度检测时，通过比较该像素点的最大亮度差值与该像素点的噪声阈值，确定该像素点的图像纹理程度值，具体计算过程为：

$T_d=\left\{\begin{array}{cc}1& D\max =0\\ 1-\frac{D\max }{\mathrm{Threshold}}& 0<D\max \&le;\mathrm{Threshold}\\ 0& D\max >\mathrm{Threshold}\end{array}\right.---\left(3\right)$

其中，

Threshold为相应增益下待降噪像素点的噪声阈值；

Dmax为相应增益下预设区域内各个像素点与待降噪像素点间最大亮度差值；

T_d为待降噪像素点的图像纹理程度值。

T_d为1时，表示该像素点所在区域是平坦区域；0<T_d<1时，表示该像素点所在区域存在一定的纹理或者边缘；T_d为0时，表示该像素点所在区域纹理相对复杂，属于高密度纹理区域。

利用图像纹理程度值T_d对待降噪像素点计算局部相似性检测的下限阈值和上限阈值，其具体计算过程为：

Thlow=T_d*(D_max+eps)+(1-T_d)*(Dmin+eps)          (4)

Thhigh=T_d*(D_max+eps)+(1-T_d)*(Dmin+eps)*((Dmin+3*eps+D_max)/2)                             (5)

其中，

Dmax为相应增益下预设区域内各个像素点与待降噪像素点间最大亮度差值；

Dmin为相应增益下预设区域内各个像素点与待降噪像素点间最小亮度差值；

Td为待降噪像素点的图像纹理程度值；

eps为常数；

Thlow为待降噪像素点相似性检测下限阈值；

Thhigh为待降噪像素点相似性检测上限阈值。

如果T_d为1，则Thlow＝Thhigh＝Dmax+eps表示该待降噪像素点区域是平坦区，可以认为稍有波动都是由于噪声引起的，该区域内所有像素点都参与降噪运算。其中，eps取一个较小值(例如，eps为1)，主要是为防止一些奇异点，确保0<T_d<1时，满足Dmin<Thlow<Thhigh，以及 提高局部像素点相似性检测的准确性，确保平坦区域得到最大的平滑系数，而复杂纹理区域得到最小的平滑系数，剩下的大部分区域得到一个比较适中的平滑系数，从而提高最后的降噪效果。

利用得到的像素点相似性检测阈值计算局部区域内各个像素点的权重值，具体计算过程为：

$W_i=\left\{\begin{array}{cc}1& {\mathrm{Diff}}_i\&le;\mathrm{Thlow}\\ \frac{\mathrm{Thhigh}-{\mathrm{Diff}}_i}{\mathrm{Thhigh}-\mathrm{Thlow}}& \mathrm{Thlow}<{\mathrm{Diff}}_i<\mathrm{Thhigh}\\ 0& {\mathrm{Diff}}_i\&GreaterEqual;\mathrm{Thhigh}\end{array}\right.---\left(6\right)$

其中，

i为预设区域内像素点；

Diff_i为预设区域内像素点与待降噪像素点的亮度差值；

Thlow为待降噪像素点相似性检测下限阈值；

Thhigh为待降噪像素点相似性检测上限阈值；

W_i为预设区域内像素点的权重值。

通过对待降噪像素点局部区域内与所有像素点的亮度差值进行加权处理，并取其平均值对待降噪像素点进行去噪处理，具体计算过程为：

$P_{\mathrm{out}}=P_{\mathrm{in}}+\frac{1}{N}{\mathrm{\&Sigma;}}_{i=1}^N{W}_i{\mathrm{Diff}}_i---\left(7\right)$

其中，

i为预设区域内像素点；

Diff_i为预设区域内像素点与待降噪像素点的亮度差值；

W_i为预设区域内像素点的权重值；

N为预设区域内像素点数量；

P_in为待降噪像素点亮度值；

P_out为降噪后像素点亮度值。

为了取得更好地降噪效果，可以将上述过程循环M次，每次降噪都会利用到前一次的降噪结果，取得更好的降噪效果。

上述降噪处理过程是针对Bayer格式图像的单个分量中的像素点进行降噪处理的，通过对单个分量中所有像素点的降噪处理，获得单个分量的降噪图像。在分别完成对四个分量(R、Gr、B、Gb)的单独降噪处理后，获得降噪后的Bayer格式图像。

本发明通过对待降噪像素点局部区域内相似像素点的检测，在尽量保持图像细节的同时，有效滤除图像的噪声，并简化了处理流程，便于硬件实现。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (9)

1.一种图像降噪装置，该装置应用于图像处理设备上，其特征在于，该装置包括：

噪声参数估计单元，用于在对测试卡的预设标准色块进行曝光时，通过调节不同增益，获取相应增益下的Bayer格式RAW数据，对该Bayer格式RAW数据分量计算不同增益下对应的斜率和截距，得到不同增益下像素点对应的噪声阈值；

图像纹理检测单元，用于以待降噪像素点为中心，统计该像素点周围预设区域内的其它像素点与该待降噪像素点的亮度差值，获得最大亮度差值和最小亮度差值，并根据最大亮度差值与待降噪像素点的噪声阈值确定该待降噪像素点的图像纹理程度值；

图像相似性检测单元，用于根据所述最大亮度差值、最小亮度差值以及图像纹理程度值计算所述待降噪像素点的相似性检测下限阈值和上限阈值；

降噪处理单元，用于根据预设区域内各个像素点与待降噪像素点的差值、待降噪像素点的相似性检测下限阈值以及上限阈值，计算该预设区域内各个像素点的权重值，得到待降噪像素点去除噪声后的亮度值。

2.如权利要求1所述的装置，其特征在于：

所述预设色块为24色测试卡中的第22色块。

3.如权利要求1所述的装置，其特征在于：

所述斜率和截距的计算具体为通过对与所述标准色块相邻的N个色块分别计算亮度均值和方差，并将不同均值下对应的方差进行线性拟合，得到相应增益下的斜率和截距。

4.如权利要求1所述的装置，其特征在于：

所述像素点噪声阈值的具体计算过程为：

$\mathrm{Threshold}=\sqrt{\mathrm{slope}\&times;\mathrm{intensity}+\mathrm{intercept}}$

其中，

slope为相应增益下的斜率；

intercept为相应增益下的截距；

intensity为相应增益下像素点的亮度值；

Threshold为相应增益下像素点的噪声阈值。

5.如权利要求1所述的装置，其特征在于：

所述待降噪像素点的图像纹理程度值的具体计算过程为：

$T_d=\left\{\begin{array}{cc}1& D\max =0\\ 1-\frac{D\max }{\mathrm{Threshold}}& 0<D\max \&le;\mathrm{Threshold}\\ 0& D\max >\mathrm{Threshold}\end{array}\right.$

其中，

Threshold为相应增益下待降噪像素点的噪声阈值；

Dmax为相应增益下预设区域内各个像素点与待降噪像素点间最大亮度差值；

Td为待降噪像素点的图像纹理程度值。

6.如权利要求1所述的装置，其特征在于：

所述待降噪像素点相似性检测的下限阈值和上限阈值的具体计算过程为：

Thlow=T_d*(D_max+eps)+(1-T_d)*(Dmin+eps)

Thhigh=T_d*(D_max+eps)+(1-T_d)*(Dmin+eps)*((Dmin+3*eps+D_max)/2)

其中，

Dmax为相应增益下预设区域内各个像素点与待降噪像素点间最大亮度差值；

Dmin为相应增益下预设区域内各个像素点与待降噪像素点间最小亮度差值；

Td为待降噪像素点的图像纹理程度值；

eps为常数；

Thlow为待降噪像素点相似性检测下限阈值；

Thhigh为待降噪像素点相似性检测上限阈值。

7.如权利要求1所述的装置，其特征在于：

所述预设区域内的各个像素点权重值的具体计算过程为：

$W_i=\left\{\begin{array}{cc}1& {\mathrm{Diff}}_i\&le;\mathrm{Thlow}\\ \frac{\mathrm{Thhigh}-{\mathrm{Diff}}_i}{\mathrm{Thhigh}-\mathrm{Thlow}}& \mathrm{Thlow}<{\mathrm{Diff}}_i<\mathrm{Thhigh}\\ 0& {\mathrm{Diff}}_i\&GreaterEqual;\mathrm{Thhigh}\end{array}\right.$

其中，

i为预设区域内像素点；

Diff_i为预设区域内像素点与待降噪像素点的亮度差值；

Thlow为待降噪像素点相似性检测下限阈值；

Thhigh为待降噪像素点相似性检测上限阈值；

W_i为预设区域内像素点的权重值。

8.如权利要求1所述的装置，其特征在于：

所述待降噪像素点去噪的具体计算过程为：

$P_{\mathrm{out}}=P_{\mathrm{in}}+\frac{1}{N}{\mathrm{\&Sigma;}}_{i=1}^N{W}_i{\mathrm{Diff}}_i$

其中，

i为预设区域内像素点；

Diff_i为预设区域内像素点与待降噪像素点的亮度差值；

W_i为预设区域内像素点的权重值；

N为预设区域内像素点数量；

P_in为待降噪像素点亮度值；

P_out为降噪后像素点亮度值。

9.如权利要求1所述的装置，其特征在于：

可多次循环降噪，每一次降噪处理均利用前一次的降噪结果。