CN104735301A - 视频时域去噪装置及方法 - Google Patents

Abstract

本发明提供的视频时域去噪装置及方法，包括运动检测单元用于检测当前帧每个像素的运动水平得到运动检测结果；运动检测权重获取单元用于根据运动检测结果和预设权重值获取前一滤波帧的权重值；运动检测时域滤波单元用于根据前一滤波帧、当前帧和前一滤波帧的权重值对当前帧进行时域滤波得到运动检测时域滤波帧；运动估计单元用于对前一滤波帧和当前帧进行运动估计得到当前帧的各个像素的运动矢量；运动补偿权重获取单元用于根据运动矢量获取前一滤波帧中对应的像素，并获取对应的像素的权重值；运动补偿时域滤波单元用于将对应的像素和当前的像素进行加权得到运动补偿时域滤波帧；融合单元用于将运动检测时域滤波帧和运动补偿时域滤波帧进行加权。

Description

视频时域去噪装置及方法

技术领域

本发明涉及视频处理技术，特别是涉及一种视频时域去噪装置及方法。

背景技术

视频在采集、传输和接收过程中，通常会夹杂各种噪声，从而降低了视频的视觉质量，因此，需要采用视频去噪技术对噪声进行去除。

现有的视频去噪技术主要有两类：空域去噪和时域去噪。空域去噪利用图像空间上的相关性以及噪声的高频特性，通常采用低通滤波的方法独立地对每帧图像进行去噪。由于图像中的纹理也具有高频特性，因此，空域去噪的缺点是无法准确区分噪声和纹理，容易造成噪声去除不干净和纹理模糊。另外，由于空域去噪独立地对每帧图像进行去噪，还会造成每帧图像去噪程度的差异，在视频中表现为帧间闪烁。

时域去噪利用图像在时间上的相关性以及噪声在时间上的无关性进行去噪。现有的时域去噪方法主要有两类：运动检测的时域去噪和其于运动补偿的时域去噪。运动检测的时域去噪，利用前一滤波帧，对当前像素进行静止或运动的判断，若判断为静止，则使用前一滤波帧对应位置的像素与当前像素加权平均，达到去噪的目的；若判断为运动，则不对当前像素去噪。运动检测的时域去噪方法，其缺点是无法准确区分噪声与运动，容易造成运动物体边缘处噪声去除不干净，即噪声拖尾或相邻两帧运动内容的叠加，即运动模糊。运动补偿的时域去噪方法，估计出当前像素的运动矢量，沿着运动轨迹找到当前像素在前一滤波帧中的位置，利用该位置处的像素与当前像素进行加权平均，达到去噪的目的。运动补偿的时域去噪方法，其性能主要受到运动估计准确性的影响。当运动估计不准确时，会出现图像内容模糊或图像内容错位，类似“水波纹”的现象。

另外，当视频中存在场景切换时，如果采用相邻帧的信息进行时域滤波，图像会出现紊乱和模糊，当存在摄像机变焦造成的缩放运动时，时域的噪声估计结果不准确，需要进行噪声水平的调整。

发明内容

本发明提供的视频时域去噪装置及方法，可以有效地消除视频中的噪声。

根据本发明的一方面，提供一种视频时域去噪装置，包括：

运动检测单元，用于计算前一滤波帧与当前帧的帧间差异，并且根据所述帧间差异对所述当前帧的每个像素的运动水平进行检测得到运动检测结果；运动检测权重获取单元，用于根据所述运动检测结果和预设的权重值获取所述前一滤波帧的权重值；运动检测时域滤波单元，用于根据所述前一滤波帧、所述当前帧和所述前一滤波帧的权重值对所述当前帧进行时域滤波得到运动检测时域滤波帧；运动估计单元，用于对所述前一滤波帧和当前帧进行运动估计得到所述当前帧中的各个像素的运动矢量；运动补偿权重获取单元，用于根据所述运动矢量获取所述运动矢量在所述前一滤波帧中对应的像素，并根据所述对应的像素获取所述对应的像素的权重值；运动补偿时域滤波单元，用于将所述对应的像素和当前的像素通过所述对应的像素的权重值进行加权得到运动补偿时域滤波帧；融合单元，用于将所述运动检测时域滤波帧和所述运动补偿时域滤波帧进行加权得到融合时域滤波帧。

根据本发明的一方面，提供一种视频时域去噪方法，包括：

计算前一滤波帧与当前帧的帧间差异，并且根据所述帧间差异对所述当前帧的每个像素的运动水平进行检测得到运动检测结果；根据所述运动检测结果和预设的权重值获取所述前一滤波帧的权重值；根据所述前一滤波帧、所述当前帧和所述前一滤波帧的权重值对所述当前帧进行时域滤波得到运动检测时域滤波帧；对所述前一滤波帧和当前帧进行运动估计得到所述当前帧中的各个像素的运动矢量；根据所述运动矢量获取所述运动矢量在所述前一滤波帧中对应的像素，并根据所述对应的像素获取所述对应的像素的权重值；将所述对应的像素和当前的像素通过所述对应的像素的权重值进行加权得到运动补偿时域滤波帧；将所述运动检测时域滤波帧和所述运动补偿时域滤波帧进行加权得到融合时域滤波帧。

本发明实施例提供的视频时域去噪装置及方法，通过将运动检测时域滤波帧和运动补偿时域滤波帧进行加权得到融合时域滤波帧，可以有效地消除视频中的噪声。

附图说明

图1为本发明实施例提供的视频时域去噪装置示意图；

图2为本发明实施例提供的运动水平与帧间差异关系示意图；

图3为本发明实施例提供的根据运动矢量获取前一滤波帧中对应的像素的示意图；

图4为本发明实施例提供的运动检测和运动补偿关系示意图；

图5为本发明实施例提供的摄像头变焦检测原理示意图；

图6为本发明实施例提供的视频时域去噪方法流程图。

具体实施方式

本发明的总体构思是，通过将运动检测时域滤波帧和运动补偿时域滤波帧进行加权得到融合时域滤波帧，可以有效地消除视频中的噪声。

下面结合附图对本发明实施例提供的视频时域去噪装置及方法进行详细描述。

图1为本发明实施例提供的视频时域去噪装置示意图。

参照图1，装置包括：运动检测单元10、运动检测权重获取单元20、运动检测时域滤波单元30、运动估计单元40、运动补偿权重获取单元50、运动补偿时域滤波单元60和融合单元70。

运动检测单元10，用于计算前一滤波帧与当前帧的帧间差异，并且根据所述帧间差异对所述当前帧的每个像素的运动水平进行检测得到运动检测结果。

运动检测权重获取单元20，用于根据所述运动检测结果和预设的权重值获取所述前一滤波帧的权重值。

运动检测时域滤波单元30，用于根据所述前一滤波帧、所述当前帧和所述前一滤波帧的权重值对所述当前帧进行时域滤波得到运动检测时域滤波帧。

运动估计单元40，用于对所述前一滤波帧和当前帧进行运动估计得到所述当前帧中的各个像素的运动矢量。

运动补偿权重获取单元50，用于根据所述运动矢量获取所述运动矢量在所述前一滤波帧中对应的像素，并根据所述对应的像素获取所述对应的像素的权重值。

运动补偿时域滤波单元60，用于将所述对应的像素和当前的像素通过所述对应的像素的权重值进行加权得到运动补偿时域滤波帧。

融合单元70，用于将所述运动检测时域滤波帧和所述运动补偿时域滤波帧进行加权得到融合时域滤波帧。

进一步地，所述装置还包括：摄像机变焦检测单元80，用于根据所述运动矢量对视频中的摄像机变焦进行检测得到变焦检测结果。

进一步地，所述装置还包括：噪声水平调整单元90，用于根据所述变焦检测结果对噪声水平进行调整。

进一步地，所述装置还包括：场景切换检测单元100，用于根据匹配误差检测所述当前帧的场景切换。

进一步地，运动检测单元10包括：

根据公式(1)计算帧间差异：

$\mathrm{MAE}(i,j)=\frac{1}{H*W}\underset{(i+p,j+q)\∈Q}{\mathrm{\Σ}}|f_t(i+p,j+q)-{\hat{f}}_{t-1}(i+p,j+q)|---\left(1\right)$

其中，MAE(i,j)为所述帧间差异，(i,j)为当前像素点的坐标，f_t为所述当前帧，为所述前一滤波帧。

根据计算出的MAE值对当前像素点进行运动检测，运动检测的结果为运动水平R(i,j),其取值范围为[0,1]。运动水平R(i,j)与帧间差异MAE的关系具体参照如图2所示的本发明实施例提供的运动水平与帧间差异关系示意图。其中T₁和T₂为预先设定的阈值，为经过噪声水平调整后的噪声水平。

根据当前像素的运动检测结果R(i,j)和一预先设定的权重值w_tD ⁰，计算前一滤波帧中与当前像素坐标位置相同的像素在时域滤波中占的权重值w_tD(i,j)，根据公式(2)可知：

w_tD(i,j)＝(1-R(i,j))*w_tD ⁰      (2)

进一步地，运动检测时域滤波单元30包括：

根据公式(3)计算所述运动检测时域滤波帧：

${\hat{f}}_{\mathrm{tD}}=(i,j)=\frac{f_t(i,j)+w_{\mathrm{tD}}(i,j)*{\hat{f}}_{t-1}(i,j)}{1+w_{\mathrm{tD}}(i,j)}---\left(3\right)$

其中，为所述运动检测时域滤波帧，f_t为所述当前帧，为所述前一滤波帧，w_tD(i,j)为所述前一滤波帧的权重值。

在前一滤波帧和当前帧之间进行运动估计，估计出当前帧中每个像素的运动矢量mv＝(dx,dy)。其中dx表示水平运动矢量，dy表示垂直运动矢量。运动估计可以采用现有的任一种方法，如全搜索、三步搜索、菱形搜索、3DRS等方法。

对于当前像素点(i,j)，参照如图3所示的本发明实施例提供的根据运动矢量获取前一滤波帧中对应的像素的示意图，通过沿着运动矢量mv＝(dx,dy)找到其在前一滤波帧中对应的像素p，计算二者的帧间差异。同样地，取当前像素点的H×W邻域Ω，MAE计算公式由公式(4)可知：

${\mathrm{MAE}}_C(i,j)=\frac{1}{H*W}\underset{(i+p,j+q)\∈\mathrm{\Ω}}{\mathrm{\Σ}}|f_t(i+p,j+q)-{\hat{f}}_{t-1}(i+p-\mathrm{dy},j+q-\mathrm{dx})|---\left(4\right)$

图4为本发明实施例提供的运动检测和运动补偿关系示意图。如图4所示，计算前一滤波帧中的像素p在对当前像素进行运动补偿时域滤波的权重w_tC(i,j)。w_tC ⁰ _，T₃和T₄为预先设定的值。

进一步地，运动补偿时域滤波单元60包括：

根据公式(5)计算运动补偿时域滤波帧：

${\hat{f}}_{\mathrm{tC}}=(i,j)=\frac{f_t(i,.j)+w_{\mathrm{tC}}(i,j)*{\hat{f}}_{t-1}(i-\mathrm{dy},j-\mathrm{dx})}{1+w_{\mathrm{tC}}(i,j)}---\left(5\right)$

其中，为所述运动补偿时域滤波帧，w_tC(i,j)为所述对应的像素的权重值。

在运动检测和运动补偿时域滤波的计算中，用到了噪声水平采用现有的任一种噪声估计方法都可以，假设估计出的噪声水平为σ。当发生摄像机变焦时，由于图像内容缩放可能造成噪声估计不准确，本发明进行摄像机变焦检测，对估计出的噪声水平进行调整。

图5为本发明实施例提供的摄像机变焦检测原理示意图。如图5所示，取当前帧中的部分区域，分别为图像的中心区域，向外一圈的四个子区域，和最外圈的四个子区域。每个子区域的大小为M*N。通过分析这些子区域像素的运动矢量，进行摄像机变焦的检测。

对于中心区域C，计算区域内所有像素运动矢量水平分量绝对值的平均值meanCx，和垂直分量绝对值的平均值meanCy，由公式(6)可知：

$\begin{array}{c}\mathrm{meanCx}=\frac{1}{M*N}\underset{(i,j)\∈C}{\mathrm{\Σ}}\left|\mathrm{dx}(i,j)\right|\\ \mathrm{meanCy}=\frac{1}{M*N}\underset{(i,j)\∈C}{\mathrm{\Σ}}\left|\mathrm{dy}(i,j)\right|\end{array}---\left(6\right)$

同样地，分别计算出out1和out2区域所有像素运动矢量水平分量绝对值的平均值，和垂直分量绝对值的平均值，由公式(7)和(8)可知：

$\begin{array}{c}\mathrm{meanOut}1x=\frac{1}{4*M*N}\underset{(i,j)\∈\mathrm{out}1}{\mathrm{\Σ}}\left|\mathrm{dx}(i,j)\right|\\ \mathrm{meanOut}1y=\frac{1}{4*M*N}\underset{(i,j)\∈\mathrm{out}1}{\mathrm{\Σ}}\left|\mathrm{dy}(i,j)\right|\end{array}---\left(7\right)$

$\begin{array}{c}\mathrm{meanOut}2x=\frac{1}{4*M*N}\underset{(i,j)\∈\mathrm{out}2}{\mathrm{\Σ}}\left|\mathrm{dx}(i,j)\right|\\ \mathrm{meanOut}2y=\frac{1}{4*M*N}\underset{(i,j)\∈\mathrm{out}2}{\mathrm{\Σ}}\left|\mathrm{dy}(i,j)\right|\end{array}---\left(8\right)$

摄像机变焦检测的结果用zf表示，具体参照公式(9)：

zf＝1表示当前待处理帧发生了摄像机变焦，当检测到当前帧发生了摄像机变焦时，则当前帧估计出的噪声水平不可靠，令当前帧的噪声水平等于前一次估计出的可靠的噪声水平。

当视频中发生场景切换时，当前帧的内容与前一滤波帧的内容不同，采用时域滤波会产生错误的结果。因此，需要检测场景切换，对发生场景切换的帧，将运动检测和运动补偿时域滤波中的权重值置0，不进行时域滤波。当发生场景切换时，由于相邻两帧的图像内容不同，其帧间差异会骤增。因此，利用这一特点，进行场景切换的检测。

场景切换使用的帧间差异为运动估计中常用的匹配误差SAD。假设运动估计采用8×8大小的块匹配方法，即将估计帧分为8×8大小的块，为每个块估计一个运动矢量。对于块B，SAD的计算由公式(10)可知：

$\mathrm{SAD}\left(B\right)=\underset{p=0}{\overset{7}{\mathrm{\Σ}}}\underset{q=0}{\overset{7}{\mathrm{\Σ}}}|f_t(i+p,j+q)-{\hat{f}}_{t-1}(i+p-\mathrm{dy},j+q-\mathrm{dx})|---\left(10\right)$

统计整帧所有块的平均SAD水平，将当前帧的平均SAD水平，记为meanSAD_t。将当前帧的平均SAD水平与前面K帧的历史平均SAD水平进行比较，判断当前帧是否发生场景切换，具体由公式(11)可知，其中，scf＝1表示当前帧发生了场景切换，Ts为预先设定的阈值。

检测当前帧发生了场景切换后，将当前帧所有像素在运动检测和运动补偿时域滤波中的权重w_tD(i,j)和w_tC(i,j)置0。

对当前帧进行时域去噪的最终结果等于运动检测时域滤波和运动补偿时域滤波的融合，具体由公式(12)可知：

图6为本发明实施例提供的视频时域去噪方法流程图。

参照图6，在步骤S601，计算前一滤波帧与当前帧的帧间差异，并且根据所述帧间差异对所述当前帧的每个像素的运动水平进行检测得到运动检测结果。

在步骤S602，根据所述运动检测结果和预设的权重值获取所述前一滤波帧的权重值。

在步骤S603，根据所述前一滤波帧、所述当前帧和所述前一滤波帧的权重值对所述当前帧进行时域滤波得到运动检测时域滤波帧。

在步骤S604，对所述前一滤波帧和当前帧进行运动估计得到所述当前帧中的各个像素的运动矢量。

在步骤S605，根据所述运动矢量获取所述运动矢量在所述前一滤波帧中对应的像素，并根据所述对应的像素获取所述对应的像素的权重值。

在步骤S606，将所述对应的像素和当前的像素通过所述对应的像素的权重值进行加权得到运动补偿时域滤波帧。

在步骤S607，将所述运动检测时域滤波帧和所述运动补偿时域滤波帧进行加权得到融合时域滤波帧。

进一步地，所述方法还包括：

根据所述运动矢量对视频中的摄像机变焦进行检测得到变焦检测结果。

进一步地，所述方法还包括：

根据所述变焦检测结果对噪声水平进行调整。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种视频时域去噪装置，其特征在于，所述装置包括：

运动检测单元，用于计算前一滤波帧与当前帧的帧间差异，并且根据所述帧间差异对所述当前帧的每个像素的运动水平进行检测得到运动检测结果；

运动检测权重获取单元，用于根据所述运动检测结果和预设的权重值获取所述前一滤波帧的权重值；

运动检测时域滤波单元，用于根据所述前一滤波帧、所述当前帧和所述前一滤波帧的权重值对所述当前帧进行时域滤波得到运动检测时域滤波帧；

运动估计单元，用于对所述前一滤波帧和当前帧进行运动估计得到所述当前帧中的各个像素的运动矢量；

运动补偿权重获取单元，用于根据所述运动矢量获取所述运动矢量在所述前一滤波帧中对应的像素，并根据所述对应的像素获取所述对应的像素的权重值；

运动补偿时域滤波单元，用于将所述对应的像素和当前的像素通过所述对应的像素的权重值进行加权得到运动补偿时域滤波帧；

融合单元，用于将所述运动检测时域滤波帧和所述运动补偿时域滤波帧进行加权得到融合时域滤波帧。

2.根据权利要求1所述的装置，其特征在于，所述装置还包括：

摄像机变焦检测单元，用于根据所述运动矢量对视频中的摄像机变焦进行检测得到变焦检测结果。

3.根据权利要求1所述的装置，其特征在于，所述装置还包括：

噪声水平调整单元，用于根据所述变焦检测结果对噪声水平进行调整。

4.根据权利要求1所述的装置，其特征在于，所述装置还包括：

场景切换检测单元，用于根据匹配误差检测所述当前帧的场景切换。

5.根据权利要求1所述的装置，其特征在于，所述运动检测单元包括：

根据下式计算所述帧间差异：

$\mathrm{MAE}(i,j)=\frac{1}{H*W}\underset{(i+p,j=q)\∈Q}{\mathrm{\Σ}}|f_t(i+p,j+q)-{\hat{f}}_{t-1}(i+p,j+q)|$

其中，MAE(i,j)为所述帧间差异，(i,j)为当前像素点的坐标，f_t为所述当前帧，为所述前一滤波帧。

6.根据权利要求1所述的装置，其特征在于，所述运动检测时域滤波单元包括：

根据下式计算所述运动检测时域滤波帧：

${\hat{f}}_{\mathrm{tD}}(i,j)=\frac{f_t(i,j)+w_{\mathrm{tD}}(i,j)*{\hat{f}}_{t-1}(i,j)}{1+w_{\mathrm{tD}}(i,j)}$

其中，为所述运动检测时域滤波帧，f_t为所述当前帧，为所述前一滤波帧，w_tD(i,j)为所述前一滤波帧的权重值。

7.根据权利要求1所述的装置，其特征在于，所述运动补偿时域滤波单元包括：

根据下式计算所述运动补偿时域滤波帧：

${\hat{f}}_{\mathrm{tC}}(i,j)=\frac{f_t(i,j)+w_{\mathrm{tC}}(i,j)*{\hat{f}}_{t-1}(i-\mathrm{dy},j-\mathrm{dx})}{1+w_{\mathrm{tC}}(i,j)}$

其中，为所述运动补偿时域滤波帧，w_tC(i,j)为所述对应的像素的权重值，(dx,dy)为所述运动矢量，dx为水平运动矢量，dy为垂直运动矢量。

8.一种视频时域去噪方法，其特征在于，所述方法包括：

计算前一滤波帧与当前帧的帧间差异，并且根据所述帧间差异对所述当前帧的每个像素的运动水平进行检测得到运动检测结果；

根据所述运动检测结果和预设的权重值获取所述前一滤波帧的权重值；

根据所述前一滤波帧、所述当前帧和所述前一滤波帧的权重值对所述当前帧进行时域滤波得到运动检测时域滤波帧；

对所述前一滤波帧和当前帧进行运动估计得到所述当前帧中的各个像素的运动矢量；

根据所述运动矢量获取所述运动矢量在所述前一滤波帧中对应的像素，并根据所述对应的像素获取所述对应的像素的权重值；

将所述对应的像素和当前的像素通过所述对应的像素的权重值进行加权得到运动补偿时域滤波帧；

将所述运动检测时域滤波帧和所述运动补偿时域滤波帧进行加权得到融合时域滤波帧。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

根据所述运动矢量对视频中的摄像机变焦进行检测得到变焦检测结果。

10.根据权利要求8所述的方法，其特征在于，所述方法还包括：

根据所述变焦检测结果对噪声水平进行调整。