CN102368821A - 一种噪声强度自适应的视频去噪方法和系统 - Google Patents

Abstract

本发明公开了一种嵌入于编码器、基于运动检测、噪声强度自适应的视频数据去噪方法，包括：(1)以邻域内正则化帧差值之和为观察值，将输入像素分为静态像素和动态像素，对于两类不同的像素，采用不同支撑域的滤波器，滤波系数根据噪声强度和图像局部特征自适应地确定；(2)以单个DCT系数或多个DCT系数之和为特征，以AdaBoost为工具构造级联形式的分类器，应用该分类器选取静态块；(3)建立视频噪声强度与静态块的DCT系数分布参数之间联系的函数模型，利用该模型估计噪声信号标准差。本发明所提供的嵌入在视频编码器中的噪声强度估计和降噪技术，能以很少的计算代价获得噪声滤波所需的参数和信息，具有很好的时间效率；由于采用可靠的线索判断像素是否符合静态假设，本发明的滤波器能在有效地滤除噪声的同时保持静态图像的边缘清晰度，并避免在运动区域由于滤波引入的运动模糊。

Description

一种噪声强度自适应的视频去噪方法和系统

技术领域

本发明涉及视频图像处理领域，特别涉及一种能嵌入于视频编码器、噪声强度自适应的视频图像噪声抑制方法。

背景技术

视频监控系统要求摄像机不间断地采集视频图像。在视频图像的获取过程中，由于成像设备的缺陷或成像过程中一些难以预测的因素，不可避免地会引入各种类型的噪声。噪声的存在，不仅会降低视觉意义上的图像质量，更重要的，对后续的处理过程产生影响。

由CCD、CMOS摄像机等成像设备所获取的视频信号可以建模成理想视频叠加了噪声信号，即：I_k(x，y)＝S_k(x，y)+η_k(x，y)，其中S_k(x，y)是理想视频信号，η_k(x，y)是噪声项，通常假设为独立于信号、均值为零、方差为σ²的Gaussian白噪声。噪声方差是反映噪声强度的一个重要参数，噪声强度越大，则噪声信号的方差越大。

对H.264、MPEG等视频编码应用而言，不仅希望能尽可能地去除噪声信号，避免把码流分配给不产生真实视觉信息的噪声信号，而且要求降噪处理不会引入诸如边缘模糊、运动模糊等图像质量下降的副作用。进一步地，视频监控等大量的应用具有实时处理的要求，所采用的降噪技术应该具有较好的时间效率。

按支撑域的不同，现有的滤波去噪技术可以分为两大类：1-D时间域滤波和3-D时空滤波。由于综合利用了帧内和帧间的相关信息，时空滤波器具有比1-D滤波器更好的性能。按是否采用运动补偿技术，可以将时空滤波器分为无运动补偿滤波和运动补偿滤波。由于无需作费时且耗费存储资源的运动估计，无运动补偿的时空滤波具有比运动补偿滤波更好的时间效率和存储效率。无运动补偿的滤波器，通过运动检测将整个图像区分为运动区域和静止区域，在不同的区域采用不同的滤波方案。

现有的运动检测技术可以分成两大类：基于像素的算法和基于区域的算法。前者在像素的层面上作静止或运动的判断，所需的计算量较少。缺陷是这类算法对噪声、光强的变化、以及摄像机的抖动很敏感。基于区域的算法在区域的层面上作灰度分布差异的判断。这类算法具有较好的抗噪声能力，但由于只考虑灰度，所以它们对光照的瞬时变化很敏感，也无法区分由于投射阴影引起的虚假移动对象。文献“Image Change Detection Algorithms：ASystematic Survey”(Radke R.J.等，IEEE Trans.Image Processing，2005)作了综述。

感知噪声信号的强弱，以自适应的形式对不同强度的噪声设置合适的滤波支撑域和滤波系数是一个好的降噪系统需要具备的能力。由于噪声是一种随机信号，所以只能通过包含噪声的观察视频来估计噪声信号的数字特征(如噪声方差、标准差等)。现有的噪声方差估计算法可以分成两大类：图像内方法和图像间方法。

考虑到对于大部分图像，或多或少存在一些灰度均匀的区域。文献“Fast and ReliableStructure-Oriented Video Noise Estimation”(Amer A.，Dubois E.IEEE Trans.Circuits Syst.VideoTechnol.，2005)提出了一种基于分块、可靠的噪声强度估计算法。他们的算法使用对应二阶差分的模板检测线型结构，选择那些具有均匀灰度的图像块计算方差，以这些方差值的平均值作为图像噪声方差。显然，这种估计方法无法利用编码器产生的信息，需要以独立模块的形式存在，需要引入较多的额外计算代价。

美国专利0291842将图像划分成固定尺寸的子块。由当前帧和参考帧计算每个块的帧差图像，且在块的层面上计算帧差数据的方差值。在所有块的方差数据中，选择若干个较小的值作为样本来估计噪声方差。这种估计方法需要有先验知识来指导怎样的块能被选择参与估计运算，而且这种选择将很大程度上决定最后的估计是否准确。

以滤波器的形式对视频图像进行噪声抑制，通常需要对图像中的每个像素定义一个时空支撑域，利用支撑域内的像素观察值来估计该像素的理想信号值。对于滤波器而言，有两个关键因素：支撑域的定义和对应各个像素的滤波系数设定。可采用多种不同的技术来自适应地确定滤波系数，如时空自适应线性最小均方差滤波器(LMMSE，Linear Minimum MeanSquare Error)、自适应加权平均滤波器(AWA，Adaptive Weighted Averaging)等。

发明内容

本发明提供一种以视频监控为应用背景，嵌入在编码器的视频噪声估计和抑制技术。所提供的技术以宏块的DCT系数的分布为依据判断是否为静态区域，选用位于静态区域的图像子块估计噪声的强度。在此基础上实现基于运动检测、噪声强度自适应的去噪滤波。

本发明以机器学习的方式建立用来判断图像子块是否位于静态区域的分类器，在学习阶段，计算帧差图像，且划分成8×8的图像块；对这些子块作DCT变换，向量形式的变换系数和相应的对应静止或运动的标号作训练样本；利用AdaBoost技术选取有效的特征，作为弱分类器；将若干个弱分类器组合成强分类器，且以级联结构的形式组织这些强分类器；在级联结构前端的分类器，由较少的弱分类器构成，能排除较为明显的动态块，保留所有的静态块；后续的分类器，其复杂程度逐个增加，以逐步排除那些与静态块区别不那么明显的动态块；在降噪模块中用学习所得的级联形式的分类器判断一个图像子块是否属于静态区域。

本发明利用位于静态区域的宏块的各个DCT系数的分布参数估计噪声强度，8×8的图像块作DCT变换后有64个系数，这些系数被看作是随机信号；对所有被选择参与噪声估计模型训练的子块作如下的统计：以经过量化、离散形式的区间值为横坐标，某个指定位置的DCT系数落在该区间内的频度为纵坐标，从而得到直方图形式表示的DCT系数的分布(对于8×8的块大小设定，这样的直方图共64个)；统计每个位置的系数分布参数，将噪声信号的标准差值建模成以这些分布的特征为自变量的函数，以最小二乘法解得该函数模型的最优解；这种噪声强度估计算法嵌入在视频编码器内，能避免估计视频噪声所引入的额外计算。

针对视频监控等应用，本发明作“视频图像中存在较多的静态像素”的假设，以邻域内正则化帧差值之和Δ_k(p)作为判断的依据，若像素p满足静态假设，则Δ_k(p)服从度为N_w的χ²分布，根据不同的去噪等级设定可接受的虚警率，以显著性检测的方式确定阈值，若Δ_k(p)小于该阈值，则像素p被判定为静态像素，否则被判定为动态像素。

本发明所采用的噪声抑制技术是基于运动检测、噪声强度自适应的时空线性滤波；对于静态像素和动态像素，分别采用时间域滤波和时-空自适应线性最小均方差滤波，滤波系数根据噪声强度和图像局部特征自适应地确定。

本发明的有益技术效果是：判定图像子块是否位于静态区域、噪声强度估计、像素点的分类等都嵌入在视频编码器内，避免额外的计算代价，从而能有效地提高降噪系统的时间效率；考虑监控视频图像存在大量静态像素的特点，以鲁棒的、基于像素局部邻域特征的技术区分静态像素和动态像素，采用不同的滤波器对它们作降噪滤波。能在有效抑制噪声的同时，很好地保持图像的边缘清晰度，避免运动模糊。

附图说明

图1为以Z字形扫描组织DCT系数的示意图；

图2为本发明以级联形式组织的分类器的示意图；

图3为本发明以学习方式获得DCT系数分布参数和视频噪声标准差的函数模型的流程框图；

图4为视频噪声抑制具体实施方式的框图。

具体实施方式

8×8的帧差数据经过DCT变换，得到如下的8×8DCT系数。

$\left[\begin{array}{cccccccc}{F}_{\mathrm{0,0}}& F_{\mathrm{0,1}}& F_{\mathrm{0,2}}& F_{\mathrm{0,3}}& F_{\mathrm{0,4}}& F_{\mathrm{0,5}}& F_{\mathrm{0,6}}& F_{\mathrm{0,7}}\\ F_{\mathrm{1,0}}& F_{\mathrm{0,1}}& F_{\mathrm{0,2}}& .& .& .& .& .\\ .& & & & & & & \\ .& & & & & & & \\ .& & & & & & & \\ .& & & & & & & \\ .& & & & & & & \\ .& .& .& .& .& F_{\mathrm{7,5}}& F_{\mathrm{7,6}}& F_{\mathrm{7,7}}\end{array}\right]$

以288×352大小的CIF视频为例，整幅帧差图像有1584个上述形式的系数块。

本发明将上述8×8DCT系数按如图1所示的Z字形扫描的方式排列成一个一维数组，以数组中的单个元素、近邻的两个元素之和、近邻的三个元素之和为特征，产生用于分类的特征向量，形如x＝[F_0，0，F_0，1，F_1，0，F_2，0，…，F_0，0+F_0，1，F_0，1+F_1，0，…，F_0，0+F_0，1+F_1，0，…]^T。与该特征相对应有一个该8×8块所属的类别标记y，0对应运动块，1对应静态块。

在学习阶段，采集大量不同噪声强度、不同场景的视频，作帧差计算，划分成8×8的子块，且以人工的方式作是否是静态块的标记。选择合适数量的静态块和动态块，将训练样本表示成(x_i，y_i)，i＝0，1，…，N，作为输入训练弱分类器。

给定一组静态块样本，{(x_i，y_i)}_{i＝1，2，...，m}，x_i∈Rⁿ，y_i＝1；同时，给定一组动态块样本{(x_i，y_i)}_{i＝1，2，...l}，x_i∈Rⁿ，y_i＝0。对每个静态块样本，置初始权值为1/2m；对每个动态块样本，置初始权值为1/2l。

一个弱分类器包含四个要素：训练样本x，特征函数f(·)，一个对应特征的阈值θ，以及一个指示不等号方向的变量p。弱分类器被表示成如下的一个不等式：

$h(x,f,\mathrm{p\&theta;})=\left\{\begin{array}{cc}1& \mathrm{if\; pf}\left(x\right)<\mathrm{p\&theta;}\\ 0& \mathrm{otherwise}\end{array}\right.$

对于每个特征，计算所有训练样本的特征值，并排序。通过扫描经过排序的特征值，可以为这个特征确定一个最优的阈值。在训练过程中，需要计算以下四个值：(1)全部正样本的权重和T⁺；(2)全部负样本的权重和T^-；(3)对排序表中的每个元素，计算在此元素之前的正样本的权重和S⁺；(4)对排序表中的每个元素，计算在此元素之前的负样本的权重和S^-。若选择某个值作为阈值，所产生的分类误差可按下式计算：

e＝min(S⁺+(T^--S^-)，S^-+(T⁺-S⁺))

通过对排序表从头到尾扫描一遍，可以为某个特征选择使分类误差最小的阈值(最优阈值)，从而确定一个弱分类器h_k(x，f_k，p_k，θ_k)。

获得了一个最优弱分类器后，可以使用它对训练样本进行分类。根据分类结果调整每个训练样本的权值，且对所有的权值作归一化处理。权值调整方法如下：

$w_{k+1,i}=w_{k,i}{\mathrm{\&beta;}}_k^{1-e_i}$

其中e按以下方法确定：若样本x_i被正确地分类，则e_i＝0；否则e_i＝1。

弱学习的结果是若干个弱分类器，后续的过程将它们组合成一个强分类器：

$C\left(x\right)=\left\{\begin{array}{ccc}1& \mathrm{if}& \underset{k=1}{\overset{L}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_k{h}_k\left(x\right)\&GreaterEqual;\frac{1}{2}\underset{k=1}{\overset{L}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_k\\ 0& & \mathrm{otherwise}\end{array}\right.$

其中α_k与弱学习过程的β_k有关，α_k＝log(1/β_k)。这个强分类器对一个子图像块进行检测，相当于以投票的方式判断该子块是否是静态块。

用于判定待分类的图像子块(200)是否属于静态块的分类器是以一种级联的方式组织的。如图2所示，在级联结构的前端，如分类器I(201)由较少的弱分类器构成，这样的分类器能排除较为明显的动态块，保留所有的静态块。分类器II(202)较分类器I复杂，后续的分类器，其复杂程度逐个增加，直至分类器N(203)，以逐步排除那些与静态块区别不那么明显的动态块。

图3示出了利用DCT系数分布参数估计视频噪声的具体实施方式的框图，本发明所提供技术方案的具体步骤如下：

(1)步骤302对输入当前帧(300)和参考帧(301)，计算帧差图像；

(2)步骤303将帧差图像划分成8×8大小的子块，作DCT变换，以图2所示的分类器判断是否为静态块，若是，则选取参与视频噪声估计模型的训练，否则丢弃该子块；

(3)步骤304对所有被选择参与噪声估计模型训练的子块作如下的统计：以经过量化、离散形式的区间值为横坐标，某个指定位置的DCT系数落在该区间内的频度为纵坐标，从而得到直方图形式表示的DCT系数的分布(对于8×8的块大小设定，这样的直方图共64个)；

一般认为，上述DCT系数，其分布可以用一些已被广泛研究的分布函数来描述。本发明以拉普拉斯分布来近似描述DCT系数的分布，概率密度函数具有如下的形式：

其中λ是尺度系数。步骤304通过实测所得的直方图，估计对应所有64个DCT系数分布的λ值；

(4)步骤305以前述Amer等人的方法估计视频噪声，得到第l次观察的观察数据 $({\mathrm{\&lambda;}}_0^{\left(l\right)},{\mathrm{\&lambda;}}_1^{\left(l\right)},...,{\mathrm{\&lambda;}}_{63}^{\left(l\right)},{\mathrm{\&sigma;}}^{\left(l\right)}).$

(5)步骤306将视频噪声的标准差值建模成前述λ值的线性函数，即

通过上述观察数据，以最小二乘法解得关于标准差的一阶系统的最优解，从而得到分布参数与噪声强度之间关系的函数模型(307)。

图4示出了基于运动检测的视频图像降噪具体实施方式的框图，本发明所提供的技术方案如下：

(1)假设当前帧为第k帧，步骤400计算帧差图像，d_k(p)为帧差图像在像素p位置的值，若像素p是静态的，则d_k(p)是一个服从高斯分布的随机变量，且该高斯分布均值为零、方差σ²等于2倍镜头噪声方差(可由前述的方法利用64个DCT系数的λ值估计)。

(2)步骤401计算邻域内正则化帧差值之和作为判断的依据，以使得检测更为可靠，算式如下：

${\mathrm{\&Delta;}}_k\left(p\right)=\underset{p^{\&prime;}\&Element;W\left(p\right)}{\mathrm{\&Sigma;}}\frac{d_k^2\left(p^{\&prime;}\right)}{{\mathrm{\&sigma;}}^2}$

其中W(p)是一个以p为中心的邻域。

(3)402是一个判断模块，其具体实施方法为：若像素p满足静态假设，则Δ_k(p)服从度为N_w的χ²分布，其中N_w等于窗口W(p)内的像素数目。显然，如果设定一个全局阈值，图像中肯定存在一些超过该阈值的静态像素被错误地划分成动态像素。本发明根据不同的去噪等级设定可接受的虚警率α，以显著性检测的方式确定用于判定某个像素是否满足静态假设的阈值t_s，

α＝Pr(Δ_k＞t_s|H₀)

其中Pr(Δ_k＞t_s|H₀)是在静态假设下，Δ_k值超过阈值t_s的条件概率。较大的α，对应一个较小的阈值；较小的α，对应一个较大的阈值。

本发明对所有的输入像素，作Δ_k(p)是否大于阈值t_s的检测，从而将它们区分为静态像素和动态像素。静态像素采用时间域滤波器作噪声抑制滤波，其余的像素则采用时-空自适应LMMSE滤波。

(4)404是一个施加于被判定为满足“静态”假设的像素的时间域滤波，本发明所提供的实施方案为：

$\tilde{s}(p,k)=\mathrm{\&gamma;g}(p,k)+(1-\mathrm{\&gamma;})\tilde{s}(p,k-1)$

其中g(p，k)为当前帧图像，可为亮度分量或色度分量，k为帧序号。γ按下式确定：

$\mathrm{\&gamma;}=\frac{{\mathrm{\&Delta;}}_k\left(p\right)}{t_s}$

(5)403是一个施加于被判定为不满足“静态”假设的像素的噪声强度自适应时-空滤波，本发明所提供的实施方案为：

$\tilde{s}(p,k)=\frac{{\mathrm{\&sigma;}}_s^2(p,k)}{{\mathrm{\&sigma;}}_s^2(p,k)+{\mathrm{\&sigma;}}_v^2}g(p,k)+\frac{{\mathrm{\&sigma;}}_v^2}{{\mathrm{\&sigma;}}_s^2(p,k)+{\mathrm{\&sigma;}}_v^2}{\mathrm{\&mu;}}_g(p,k)$

其中

是视频信号的噪声方差，可按前述由DCT系数的分布参数估计。μ_g(p，k)为输入信号的邻域均值，即

${\mathrm{\&mu;}}_g(p,k)=\frac{1}{L}\underset{(p^{\&prime;},l)\&Element;{\mathrm{\&Lambda;}}_{p,k}}{\mathrm{\&Sigma;}}g(p^{\&prime;},l)$

其中Λ_p，k表示第k帧像素p的时-空邻域，L为该邻域内的像素数目。按下式计算：

${\mathrm{\&sigma;}}_s^2(p,k)=\max [0,({\mathrm{\&sigma;}}_g^2(p,k)-{\mathrm{\&sigma;}}_v^2)],$

其中 ${\mathrm{\&sigma;}}_g^2(p,k)=\frac{1}{L}\underset{(p^{\&prime;},l)\&Element;{\mathrm{\&Lambda;}}_{p,k}}{\mathrm{\&Sigma;}}{[g(p^{\&prime;},l)-{\mathrm{\&mu;}}_g(p,k)]}^2$

Claims (3)

1.一种基于运动检测，噪声强度自适应的视频数据去噪方法，其特征包括：由DCT系数的分布估计噪声强度，作为噪声滤波的参数，且这种估计嵌入在视频编码器中进行；针对视频监控的实际应用，作“视频图像中存在较多的静态像素”的假设，根据像素是否满足静态假设，选择不同的滤波器作滤波处理，具体实现方法如下：

(1)以邻域内正则化帧差值之和Δ_k(p)作为判断的依据，若像素p满足静态假设，则Δ_k(p)服从度为N_w(等于窗口内的像素数目)的χ²分布，根据不同的去噪等级设定可接受的虚警率，以显著性检测的方式确定阈值，若Δ_k(p)小于该阈值，则像素p被判定为静态像素，否则被判定为动态像素；

(2)应用于静态像素的滤波器是一种时间域滤波器，滤波信号按下式计算：

$\tilde{s}(p,k)=\mathrm{\&gamma;g}(p,k)+(1-\mathrm{\&gamma;})\tilde{s}(p,k-1)$

其中g(p，k)为第k帧图像，可为亮度分量或色度分量，γ为邻域内正则化帧差值之和与用于判定像素是否满足静态假设的阈值之比；

(3)应用于动态像素的滤波器是一种时-空自适应滤波器，滤波信号按下式计算：

$\tilde{s}(p,k)=\frac{{\mathrm{\&sigma;}}_s^2(p,k)}{{\mathrm{\&sigma;}}_s^2(p,k)+{\mathrm{\&sigma;}}_v^2}g(p,k)+\frac{{\mathrm{\&sigma;}}_v^2}{{\mathrm{\&sigma;}}_s^2(p,k)+{\mathrm{\&sigma;}}_v^2}{\mathrm{\&mu;}}_g(p,k)$

其中是视频信号的噪声方差，μ_g(p，k)为输入信号的邻域均值，为邻域范围内的信号方差与视频信号的噪声方差之间的差值。

2.如权利要求1所述的嵌入在编码器中的噪声强度估计方法，其特征在于：这种估计是基于DCT系数的分布的，在学习阶段，选取那些处于静态区域的图像子块计算DCT变换，得到8×8的系数矩阵；对每个给定的位置，以经过量化、离散形式的区间值为横坐标，所有训练样本的DCT系数落在该区间内的频度为纵坐标，得到直方图形式表示的DCT系数的分布，且以拉普拉斯分布来近似描述；对于8×8的块大小设定，共有64个这样的直方图，通过学习，建立噪声信号的标准差和这些分布参数之间对应关系的函数模型；在视频去噪的应用中，以DCT系数的分布参数作为输入，使用训练所得的模型估计视频噪声强度。

3.如权利要求2所述的静态区域图像子块的选取方法，其特征在于：在学习阶段，采集大量不同噪声强度、不同场景的视频，以人工的方式作是否是静态块的标记；帧差图像被划分成8×8子块作DCT变换，变换系数按Z字形扫描的方式排列，以这个排列中的单个元素值、近邻的若干个元素之和为特征，产生用于分类的特征向量；选择合适数量的静态块和动态块，组织成观察向量，以AdaBoost算法选取特征且构造级联形式的强分类器；在后续降噪的应用中，以相应的特征作为输入，级联形式的分类器输出对应的类别标记。

Images