CN102436646A - 基于压缩感知的ccd噪声估计方法 - Google Patents

Abstract

一种基于压缩感知的CCD噪声估计方法：单张图像CCD噪声样本点估计阶段，即从单幅图像中准确估计出部分像素的噪声水平，采用的是基于块的三维DCT变换进行去噪，包括如下步骤：搜索合适的图像块；对图像块进行去噪；估计样本点的噪声水平；基于压缩感知的噪声水平曲线重构阶段。本发明只需要准确的估计部分光滑区域的噪声水平，然后利用压缩感知技术估计出整幅图像的噪声水平函数。可以较为准确地从单幅图像中估计出，由CCD器件产生的严重依赖于信号强度的非均匀噪声，得到一条噪声水平曲线。在提高了噪声水平函数准确度的同时，计算的复杂程度也大幅度降低。所得到的噪声水平曲线在图像去噪、运动估计、边缘检测等多种计算机视觉问题中获得应用。

Description

基于压缩感知的CCD噪声估计方法

技术领域

本发明涉及一种图像噪声的估计，特别是涉及一种利用压缩感知技术，从单幅噪声图像中，估计出严重依赖于信号强度的基于压缩感知的CCD噪声估计方法。

背景技术

电荷耦合器件CCD(Charge Coupled Devices)是20世纪70年代发展起来的新型半导体器件。CCD以其具有自扫描、高分辨率、输出噪声低、动态范围大、量子效率高、电荷转移效率高、光谱响应范围宽、几何稳定性好等优点，在计算机视觉系统中应用越来越广泛。

CCD图像传感器的输出信号是空间采样的离散模拟信号。CCD工作时，在输入结构、输出结构、信号电荷存储和转移过程中，都会产生噪声。CCD噪声主要包括有光子散粒噪声、复位噪声、暗电流噪声、固定模式噪声、放大器噪声以及量化噪声等。噪声是影响图像信噪比的重要参数，噪声叠加在信号电荷上，形成了干扰，严重降低了信号精度。特别是随着CCD器件的小型化、集成化发展，对CCD噪声的估计和去除显得尤为重要。

传统的噪声估计方法主要针对高斯白噪声设计。但是CCD噪声是严重依赖于信号强度的，不符合高斯白噪声的分布，所以对CCD噪声的估计得到的是一个噪声水平函数NLF(NoiseLevel Function)。再加上CCD相机的响应函数(Camera Response Function，简称CRF)复杂的非线性特征，导致传统的噪声估计方法估计CCD噪声时很不理想。

目前CCD噪声估计方法大致可以分为两类。一类是在空间域进行估计。根据图像像素值的不同，对整幅图像进行分块，然后通过计算块与块的差值来估计对应像素的噪声水平，最后利用这些噪声点进行插值，得到NLF曲线。这种方法可以一定程度上估计出图像噪声，但是得到的噪声曲线非常粗糙，且参数的自适应性差。另外一类就是在变换域进行噪声估计。先是利用小波变换对图像进行去噪，用噪声图像减掉去噪后的估计图像得到了对应像素的噪声，统计平均后得到噪声曲线。这种方法对于纹理和边缘较少的图像比较有效，但是对于高纹理的图像很容易出现噪声的过估计，同时对图像的去噪效果要求较高。而非均匀噪声图像的去噪本身就是图像处理与计算机视觉领域的一个难点。

现存的技术在估计CCD噪声方面有着明显的不足，特别是对于高纹理和多边缘的图像，从单幅图估计出的噪声水平函数(NLF)有着较大的偏差，并且算法的复杂度很高。

目前对于单张图像还没有很有效的方法精确预测每个像素值的噪声水平，但是我们可以采用块匹配的方法，准确估计出光滑区域的部分样本点的噪声水平。压缩感知技术表明，如果信号在某组基下是稀疏的，那么就有可能通过少数的采样点恢复出原信号。因此，采用压缩感知技术可以由已估计出的部分噪声水平样本点来重构出完整的噪声水平曲线。

发明内容

本发明所要解决的技术问题是，提供一种只需要准确的估计部分光滑区域的噪声水平，就可以利用压缩感知技术估计出整幅图像的噪声水平函数的基于压缩感知的CCD噪声估计方法。

本发明所采用的技术方案是：一种基于压缩感知的CCD噪声估计方法，包括如下阶段：

1)单张图像CCD噪声样本点估计阶段，即从单幅图像中准确估计出部分像素的噪声水平，采用的是基于块的三维DCT变换进行去噪，包括如下步骤：

(1)搜索合适的图像块；

(2)对图像块进行去噪；

(3)估计样本点的噪声水平；

2)基于压缩感知的噪声水平曲线重构阶段，即模拟出各种不同型号的CCD在不同情况下的噪声水平曲线，利用主成分分析的方法得到所述曲线的特征向量，选取其中的10个向量作为字典，将现有的样本点作为对代求曲线的采样值，由此构造出采样矩阵，然后根据采样值、采样矩阵以及字典，利用OMP算法得到待求曲线在所述字典下的稀疏表示的系数，最后用系数和字典中的向量相乘，就准确的重建出一条特定的噪声曲线。

所述的搜索合适的图像块，是采用块搜索步长N_s＝3，即每隔三行三列取一个图像块，块的大小取N＝8，每取一个图像块，计算该图像块的期望值和方差值，并设定门限值，只对方差值小于门限值的图像块进行块搜索，并根据图像块的均值来控制块的选取，对于每一个选中的图像块，在搜索半径N_r＝7的范围内，计算所有8x8图像块与参考块的距离，然后，取与参考块距离最小的N_t＝8个块作为相似块，重叠在一起形成一个8x8x8的三维图像块，这样就完成了一个图像块的搜索。

所述的期望反映的是该图像块的像素水平，而方差则表示的是该图像块的光滑的程度。

所述的对图像块进行去噪是，对搜索合适的图像块步骤中得到的一个三维图像块做三维DCT变换，即沿着三维图像块的各个维度分别做一维DCT变换得到DCT变换矩阵，并设定门限值，滤除矩阵中的高频分量，再对滤除高频分量的DCT变换矩阵做反DCT变换，得到该图像块的估计。

所述的估计样本点的噪声水平是，用噪声图像减去估计图像就得到了这些图像块对应的噪声，对这些图像噪声进行统计和平均，以得到准确的样本值，具体是先去噪图像做直方图统计，设定门限值，当一个像素的统计值超过设置的门限值时，就将该像素对应的所有噪声进行平均，就得到了该像素对应的噪声水平。

本发明的基于压缩感知的CCD噪声估计方法，只需要准确的估计部分光滑区域的噪声水平，然后利用压缩感知技术估计出整幅图像的噪声水平函数。可以较为准确地从单幅图像中估计出，由CCD器件产生的严重依赖于信号强度的非均匀噪声，得到一条噪声水平曲线。与其它的方法相比，本发明只需要估计小部分点的噪声水平，因此，在提高了噪声水平函数准确度的同时，计算的复杂程度也大幅度降低。所得到的噪声水平曲线在图像去噪、运动估计、边缘检测等多种计算机视觉问题中获得应用。

附图说明

图1是模拟CCD噪声的合成框图，用来生成噪声水平函数(NLF)的函数库；

图2是为了生成NLF函数库而构造的测试图像效果图；

图3是测试图barbara的原始图像效果图；

图4是加上CCD噪声之后的图像效果图，其中f(·)＝CRF(60)，σ_s＝0.06，σ_c＝0.02；

图5是模拟的CCD噪声曲线及从barbara噪声图像中估计出来的样本点，

其中圈表示估计出来的样本点，点构成的是模拟的CCD噪声曲线；

图6是利用估计出来的样本点和压缩感知技术重构出来的噪声曲线，

其中圈表示估计出来的样本点，点构成的是模拟的CCD噪声曲线，线表示的是重构出来的噪声曲线；

图7是测试图goldhill的原始图像效果图；

图8是加上CCD噪声之后的图像效果图，其中f(·)＝CRF(180)，σ_s＝0.04，σ_c＝0.03；

图9是模拟的CCD噪声曲线及从goldhill噪声图像中估计出来的样本点，

其中圈表示估计出来的样本点，点构成的是模拟的CCD噪声曲线；

图10是利用估计出来的样本点和压缩感知技术重构出来的噪声曲线，

其中圈表示估计出来的样本点，点构成的是模拟的CCD噪声曲线，线表示的是重构出来的噪声曲线；

具体实施方式

下面结合实施例和附图对本发明的基于压缩感知的CCD噪声估计方法做出详细说明。

本发明的基于压缩感知的CCD噪声估计方法，首先对CCD噪声图像的光滑区域进行块匹配，然后将这些相似块重叠在一起，形成了一个三维图像块，然后对其进行三维DCT变换。在选取合适的去噪门限值，将小的变换系数抑制后，再进行反变换，就得到去噪之后图像块。我们从整幅图中，选取一定数量的图像块进行去噪，然后用原噪声图像减掉去噪的图像块，就得到对应图像块的噪声。再对这些图像块的噪声进行统计平均后，就可以较为准确的得到相应像素值的噪声水平。

在重构NLF曲线时，首先对已构造的不同类型CCD的不同大小的NLF曲线进行主成分分析，得到这些曲线的特征向量，取其最主要的10个特征向量构成压缩感知的字典。然后把已估计出的噪声水平样本点当作压缩感知的采样点，利用正交匹配追踪(orthogonal matchingpursuit，OMP)算法得到待估计曲线在此字典下的稀疏表示系数，然后用字典和系数相乘得到整个图像的噪声水平函数曲线。

本发明的基于压缩感知的CCD噪声估计方法，主要包括两个部分。首先，从单幅图像中准确估计出部分像素的噪声水平。这里本发明采用的是基于块的三维DCT变换进行去噪。由于本发明只是对部分图像块做处理，为了提高去噪的准确性，选择尽量光滑的区域来去噪。同时，为了更好地恢复出噪声水平曲线，也要使得到的样本点尽量在该幅图的整个像素空间上均匀分布。这样，即使得到的样本点比较少，但只要是样本比较准确，并且分布均匀，就是非常好的样本估计。同时，计算的复杂度也因为样本点比较少而大幅降低。然后，根据现实世界中CCD具体情况，模拟出各种不同型号的CCD在不同情况下的噪声水平曲线，利用主成分分析的方法得到这些曲线的特征向量，选取其中的10个向量作为字典。然后根据已有的样本点利用OMP算法得到待求曲线在此字典下的稀疏表示的系数，最后用系数和字典相乘，我们就可以准确的重建出一条特定的噪声曲线。

本发明的基于压缩感知的CCD噪声估计方法，具体包括两个阶段：

1)单张图像CCD噪声样本点估计阶段，具有如下3个步骤：

(1)搜索合适的图像块

在进行块搜索时候，不必对图像中的每一个块都进行匹配搜索，因为那样极大地增加了计算的复杂度。这里我们采用的块搜索步长N_s＝3，即每隔三行三列取一个图像块，块的大小取N＝8。实验证明，这样可以不影响实验效果情况下，降低算法的复杂度。每取一个图像块，需要计算其期望(公式1)和方差(公式2)，其中期望反映的是该图像块的像素水平，而方差则表示的是图像块的光滑的程度。公式中的M表示图像块内像素个数。

$\mathrm{\μ}=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{x}_i---\left(1\right)$

${\mathrm{\σ}}^2=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{(x_i-\mathrm{\μ})}^2---\left(2\right)$

为了提高去噪效果和降低复杂度，我们可以只对比较平滑的图像块进行去噪。因此设置一个门限值Thr_σ，只有当图像块的方差σ²＜门限值Thr_σ的时候，才对该图像块进行块搜索。同时，为了保证样本点可以在像素空间上均匀分布，而又不必计算全部的像素值，我们可以根据图像块的均值μ来控制块的选取。这里，将像素空间分成十个区间，只有当均值μ处于每个区间中心的时候，才会选取这个块。

经过这两个步骤，被选中的图像块的数量已经大幅减少，计算量也随之减低。对于每一个选中的图像块，在搜索半径N_r＝7的范围内，计算所有8x8图像块与参考块的距离，计算公式如下，其中x_i表示参考块的像素值，y_i表示当前块的像素值。

$d=\frac{1}{M}\underset{i}{\overset{M}{\mathrm{\Σ}}}{(y_i-x_i)}^2---\left(3\right)$

然后，我们取与参考块距离最小的N_t＝8个块作为相似块，重叠在一起形成一个8x8x8的三维图像块，这样就完成了一个图像块的搜索。

(2)对图像块进行去噪

经过步骤(1)，我们得到了一个三维图像块，我们对其做三维DCT变换。所谓三维DCT变换，即沿着三维图像块的各个维度分别做一维DCT变换。一维DCT变换公式如下：

$y\left(k\right)=\mathrm{\ω}\left(k\right)\underset{n=1}{\overset{N}{\mathrm{\Σ}}}x\left(n\right)\cos \frac{\mathrm{\π}(2n-1)(k-1)}{2N},$ k＝1， 2，...，N

其中

$\mathrm{\ω}\left(k\right)=\left\{\begin{array}{cc}\frac{1}{\sqrt{N}}& k=1\\ \sqrt{\frac{2}{N}}& 2\≤k\≤N\end{array}\right.---\left(4\right)$

在得到DCT变换矩阵J后，选取合适的门限Thr_DCT，对矩阵J进行处理。处理公式如下，其中J_i表示的是矩阵J中的各个元素。

经过处理后，J_Thr矩阵中的高频分量基本已经被滤除，这时再对J_Thr做反DCT变换，就可以得到该图像块的估计。一维反DCT的计算公式如下：

$x\left(n\right)=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\ω}\left(k\right)y\left(k\right)\cos \frac{\mathrm{\π}(2n-1)(k-1)}{2N},$ k＝1， 2，...，N

其中 $\mathrm{\ω}\left(k\right)=\left\{\begin{array}{cc}\frac{1}{\sqrt{N}}& k=1\\ \sqrt{\frac{2}{N}}& 2\≤k\≤N\end{array}\right.---\left(6\right)$

由于块搜索的时候，不同参考块的相似块会出现重叠，这样同一个位置的像素，在不同的块中可能会得到不同的估计值。这时，需要对属于同一个像素的多个估计值进行加权平均，最后得到该像素的一个准确的估计值。

(3)估计样本点的噪声水平

经过(2)，完成了整幅图中符合条件的图像块的去噪，得到了一个只对光滑区域进行去噪的估计图像。用噪声图像减去估计图像就得到了这些图像块对应的噪声，即

N(i)＝I_n(i)-I_est(i)， $i\∈P\⋐I---\left(7\right)$

这里的i的取值范围只是整个图像I的一个子集P，即我们只是得到部分图像的噪声水平，将剩余部分的图像噪声置零。这样是为了得到那些比较准确的噪声估计，同时降低计算复杂度。

需要对这些图像噪声N进行统计和平均，以得到准确的样本值。首先，对去噪图像I_est做直方图统计，当一个像素的统计值超过设置的门限THr_pixel时，就将该像素对应的所有噪声进行平均，这样就得到了该像素对应的噪声水平。计算公式如下，其中N_i表示的是图像块中像素i的统计值，n_ik表示属于像素i的各个不同的噪声估计。

$\mathrm{\σ}\left(i\right)=\frac{1}{N_i}\sqrt{\underset{k=1}{\overset{\mathrm{Ni}}{\mathrm{\Σ}}}\left({n_{\mathrm{ik}}}^2\right)},$ $i\∈p\⋐I,$ N_i＞Thr_pixel    (8)

这里还应该注意的是，由于目前不能保证取得的图像块绝对平滑，那么估计出来的图像像素值，不会完全落在公式(1)中所设置的区间内。因此在用公式(8)进行计算时，只对落在区间内的像素进行计算，得到的样本估计值如图5和图9所示。从图可以看到，估计出来的样本点，与实际中加上去噪声曲线非常吻合，并且分布均匀。最后一段没有样本点，是因为原始图像在这个像素范围内并没有值，所以对估计整个图像的噪声水平曲线没有影响。

2)基于压缩感知的噪声水平曲线重构

首先需要得到能够使噪声水平曲线得以稀疏表示的字典。这里，用实验模拟CCD噪声，估计出各种类型的相机在不同噪声强度下的噪声水平函数(NLF)。CCD噪声模型为：

I＝f(L+n_s+n_c)+n_q    (9)

其中，I表示实际观察到的噪声图像，L表示图像理想的光照强度，n_s表示依赖于光照强度L的噪声，n_c表示不依赖与光照强度L的噪声，n_q表示量化噪声，由于值比较小，可以将其忽略。而f(·)表示的CCD噪声合成的过程，如图1所示，这里的CRF表示相机响应函数(Camera Response Function)。

CRF函数，是可以从各个相机的技术资料或者实验测量得到的。本发明选用CRF函数库中的前190个函数，这已经基本包括现实世界中所有相机类型的响应函数。而实验测量发现，当σ_s＝0.16，σ_c＝0.06时，图像的噪声已经非常大，因此将这两个值作为这两个参数的最大值。这样就得到了CCD噪声模型中的各个参数。当输入一幅从0到255逐渐变化的标准图像(如图2)时，我们就可以得到一幅CCD噪声图像。这样利用如下公式：

$\mathrm{\τ}(I;f,{\mathrm{\σ}}_s,{\mathrm{\σ}}_c)=\sqrt{E\left[{(I_N(f^{-1}\left(I\right),f,{\mathrm{\σ}}_s,{\mathrm{\σ}}_c)-I)}^2\right]}---\left(10\right)$

就可以得到一条NLF曲线，当f，n_s，n_c依次变化时，就得到了一个NLF函数库，然后对其主成分分析得到这些曲线的特征向量，取所对应特征值最大的前10个特征向量构成字典D。

在阶段1)中获得了少数样本点所对应的噪声水平，将其记为y∈R^m×1(m＜＜256)，原始噪声水平信号记为x∈R^256×1，x与y满足下面的关系式

y＝Φx

其中Φ∈R^m×256，每行只有一个1元素，所在列对应着y所在的灰度级(我们采用的灰度级是0到255，在绘制噪声水平曲线时将其归一化到了0到1区间)。Φ相当于一个采样矩阵。

压缩感知技术表明，如果可以找到一组基D使X能用其稀疏表示，那么我们就可以通过y将x近似重建。即

$\widehat{\mathrm{\α}}=\arg {\min \left|\right|\mathrm{\α}\left|\right|}_0$ s.t.y＝ΦDα

$\hat{x}=D\widehat{\mathrm{\α}}---\left(11\right)$

其中α是待求信号x在字典D下的稀疏表示系数。利用正交匹配追踪算法求解(11)式。在本实施例中，对于barbara测试图象我们只获得了37个采样点，如图5中的圆圈所示，所以α我们选择保留k＝8个非零系数，然后与D相乘得到了NLF曲线

如图6中的黑线所示。对于goldhill测试图像，获得了40个采样点，同样将α的非零系数设置为8个。重构出的NLF曲线如图10中的黑线所示。图6与图10中的黑点构成的是模拟的CCD噪声水平曲线，这是用理想测试图像计算得到的。从图中可以看到在大部分区域，黑线都能较好的逼近黑点，说明利用压缩感知的原理能够从少数的样本点近似重构出原始的噪声水平曲线。

Claims (5)

1.一种基于压缩感知的CCD噪声估计方法，其特征在于：包括如下阶段：

1)单张图像CCD噪声样本点估计阶段，即从单幅图像中准确估计出部分像素的噪声水平，采用的是基于块的三维DCT变换进行去噪，包括如下步骤：

(1)搜索合适的图像块；

(2)对图像块进行去噪；

(3)估计样本点的噪声水平；

2)基于压缩感知的噪声水平曲线重构阶段，即模拟出各种不同型号的CCD在不同情况下的噪声水平曲线，利用主成分分析的方法得到所述曲线的特征向量，选取其中的10个向量作为字典，将现有的样本点作为对代求曲线的采样值，由此构造出采样矩阵，然后根据采样值、采样矩阵以及字典，利用OMP算法得到待求曲线在所述字典下的稀疏表示的系数，最后用系数和字典中的向量相乘，就准确的重建出一条特定的噪声曲线。

2.根据权利要求1所述的基于压缩感知的CCD噪声估计方法，其特征在于，所述的搜索合适的图像块，是采用块搜索步长N_s＝3，即每隔三行三列取一个图像块，块的大小取N＝8，每取一个图像块，计算该图像块的期望值和方差值，并设定门限值，只对方差值小于门限值的图像块进行块搜索，并根据图像块的均值来控制块的选取，对于每一个选中的图像块，在搜索半径N_r＝7的范围内，计算所有8x8图像块与参考块的距离，然后，取与参考块距离最小的N_t＝8个块作为相似块，重叠在一起形成一个8x8x8的三维图像块，这样就完成了一个图像块的搜索。

3.根据权利要求2所述的基于压缩感知的CCD噪声估计方法，其特征在于，所述的期望反映的是该图像块的像素水平，而方差则表示的是该图像块的光滑的程度。

4.根据权利要求1所述的基于压缩感知的CCD噪声估计方法，其特征在于，所述的对图像块进行去噪是，对搜索合适的图像块步骤中得到的一个三维图像块做三维DCT变换，即沿着三维图像块的各个维度分别做一维DCT变换得到DCT变换矩阵，并设定门限值，滤除矩阵中的高频分量，再对滤除高频分量的DCT变换矩阵做反DCT变换，得到该图像块的估计。

5.根据权利要求1所述的基于压缩感知的CCD噪声估计方法，其特征在于，所述的估计样本点的噪声水平是，用噪声图像减去估计图像就得到了这些图像块对应的噪声，对这些图像噪声进行统计和平均，以得到准确的样本值，具体是先去噪图像做直方图统计，设定门限值，当一个像素的统计值超过设置的门限值时，就将该像素对应的所有噪声进行平均，就得到了该像素对应的噪声水平。

Images