CN102572223A - 一种用于视频降噪的相似块搜索方法 - Google Patents

Abstract

本发明公开了一种用于视频降噪的相似块搜索方法，包括如下步骤：利用一光流算法计算当前帧与其前后参考帧的光流场；选择当前块；根据光流场确定该当前帧与该前后参考帧的搜索范围；对该当前帧与该前后参考帧的搜索范围内的所有块进行测试匹配；根据测试匹配结果，于该当前帧与该前后参考帧构成的搜索范围内的所有块中选取该当前块的相似块，通过将本发明应用于BM3D算法，可解决BM3D算法在运动场景下主观与客观性能表现下降的缺陷，并且在各种场景下均可获得平滑而很少闪烁的高质量降噪图像。

Description

一种用于视频降噪的相似块搜索方法

技术领域

本发明涉及一种数字视频领域，特别是涉及一种用于视频降噪的相似块搜索方法。

背景技术

BM3D算法及其视频降噪扩展VBM3D以及其衍生算法(以下统称BM3D)是目前已知性能最高的通用图像/视频降噪算法，它能够利用图像的自相关特性以及视频的时间相关性对视频进行有效的降噪。

如图1所示，BM3D算法由三个基本步骤组成：相似块搜索、3D变换域降噪以及集合，并可多次迭代运算，其中标准BM3D算法为两次迭代。在相似块搜索步骤中，BM3D在当前帧以及前后各N_FR帧中搜索并匹配与当前二维块P类似的块，并将相似块组成三维数组；3D变换域降噪步骤中对匹配过程中产生的三维数组进行3D变换，并在变换域中进行降噪后再将其变回空域，并计算三维数组的权重，标准的BM3D算法第一遍3D变换域降噪计算采用硬阈值，第二遍则采用维纳滤波；集合步骤对其3D变换域降噪过程产生的三维数组进行处理，逐个的访问包含当前点的块，并对所有针对当前点的估计进行加权平均生成降噪图像。

可以看出，相似块搜索步骤是BM3D去噪方法中很重要的一个步骤。在此步骤中BM3D在当前帧内选择当前块，在当前帧以及前后各N_FR帧中搜索与当前块类似的块，随后这些与当前块相似的块与当前块一起组成三维数组以进行后续处理步骤。

根据《Video denoising by sparse 3D transform-domain collaborativefiltering》一文中的介绍，对于每一个当前块，BM3D的相似块搜索算法可以分为两个步骤：在当前帧t₀的穷举搜索和在前后帧t₀+k的预测搜索(0＜|k|≤N_FR)，二维块的相似度以二维块匹配方法进行度量。

设当前帧图像为

构成一个时空域的三维空间Z³，像素z(x，y，t)∈Z³。二维搜索域R_t定义为帧I_t内所有需要测试匹配的N₁×N₁块{S_t}左上点集合

由于块尺寸为定值，确定R_t即

即可确定{S_t}。

当前帧t₀的穷举搜索是在当前帧t₀中以当前二维块P(块大小为N₁×N₁)的左上角坐标为中心定义一个矩形搜索范围N_S×N_S(一般为7×7)，此范围内的每一个像素点均可以做为候选块的左上角坐标构造出一个N₁×N₁大小的候选块。为方便起见，将中心位于当前块P左上角z_P的N_S×N_S矩形块称为N(z_P，t₀，N_S)＝{z(x，y，t₀)|||z-z_p||₁≤(N_S+1)/2}。即

其中||||₁为1-范数，

用于避免匹配块超出图像范围。在此范围内逐个计算候选块与当前块P的相似度，以欧几里得范数作为度量，度量越小表明

与当前块P越相似：

$d(P,S_{t_0})=\frac{{\left|\right|P-S_t\left|\right|}_2^2}{{\left(N_1\right)}^2}$

计算完成后，在帧t₀内选取与当前块P最相似的N_B个候选块。为方便起见，按将帧t内选择的候选块称为{S_t，i}，其左上角坐标为

且有d(P，S_t，i)≤d(P，S_t，j)i＜j≤N_B。

在前后帧t₀+k的预测搜索则是一个递归的过程，其搜索范围的中心点坐标为

其中t′＝t-sign(t-t₀)，v₀＝(0，0，sign(t-t₀))，sign()为取符号操作，当k＞0时为1，当k＜0时为-1。搜索范围为N_PR×N_PR(一般为5×5)。即有

$R_t=I_t^{\′}\∩\underset{i\≤N_B}{\∪}N(z_{S_{t^{\′},i}}-v_0,t^{\′},N_{\mathrm{PR}})$

在此范围内逐个计算候选块与当前块P的相似度并选取与当前块P最相似的N_B个块。

对于第t₀-2帧到第t₀-N_FR帧和第t₀+2帧到第t₀+N_FR帧重复以上递归搜索，在完成全部2N_FR+1帧的搜索后，可以得到与当前块P相似的(2N_FR+1)×N_B个块，BM3D算法将这些块按d(P，S_t，j)从小到大的原则选取与当前块P最相似的N₂个块组成三维数组

进行3D降噪以及集合运算以生成降噪图像，其中N₂＜(2N_FR+1)×N_B。

因此标准BM3D的相似块搜索是一个递归的过程，即第t₀+k帧的搜索结果取决于第t₀+k-sign(k)帧的搜索结果，最终取决于当前帧t₀的搜索结果。

在存在运动补偿的前提下，视频的时间相关性高于空间相关性，因此BM3D在前后帧运动矢量落入搜索范围时具有更好的PSNR(Peak Signal to NoiseRatio，峰值信噪比)与主观质量。因此BM3D使用大的搜索范围时可以更好的适应快速运动场景。然而在满足运动矢量落入搜索范围这一条件时，小的搜索范围下更倾向于选择时间相关的块，由于同样的原因，通常会具有更好的性能，大的搜索范围在这种情况下反而会降低PSNR并带来严重而令人不快的闪烁。相反的，小的搜索范围在慢速特别是静止场景往往具有更高的PSNR与更平滑的图像，但在前后帧运动矢量超出搜索窗范围时性能损失也更为严重。标准BM3D算法为了解决这个问题，引入了两个手段：首先对于前后帧中对准的块引入了一个额外的匹配补偿d_sub，即修改d(P，S_t)的定义为：

$d(P,S_t)=\frac{{\left|\right|P-S_t\left|\right|}_2^2}{{\left(N_1\right)}^2}-d_{\mathrm{sub}}\mathrm{\δ}(z_{S_t}-Z_{S_{t^{\′},i}}+v_0)$

加入d_sub后相似块搜索过程中倾向于选择静止块，借此减少静止场景下噪声对于块匹配的干扰。但这一方法存在如下缺点：首先，该方法仅对于静止场景有益，在运动场景下无效甚至会产生相反的效果，导致算法在运动场景下性能衰减更为严重；其次，BM3D的搜索过程同时完成运动估计，前后帧的搜索是基于前一帧的递归预测搜索，以利用前一次搜索获得的运动信息，然而块匹配方法经常会受到噪声干扰使得精度降低，尤其是实际摄像机输出噪声往往包含结构化成分，对块匹配的干扰更为严重，而递归的预测搜索过程使得前一次搜索的错误会被传递至下一帧，进而直接影响降噪效果。因此，标准BM3D方法难以在运动与静止场景、快速运动与慢速运动场景下均得到优化的结果，并且在场景剧烈运动时性能下降明显。

发明内容

为克服现有技术的BM3D方法存在的难以在运动与静止场景、快速运动与慢速运动场景下均得到优化的结果且在场景剧烈运动时性能下降明显的缺点，本发明的主要目的在于提供一种用于视频降噪的相似块搜索方法，其通过结合光流算法，解决BM3D在运动场景下主观与客观性能表现下降的缺陷，并且在各种场景下均可获得平滑而很少闪烁的高质量降噪图像。

为达上述及其它目的，本发明提供一种用于维视频降噪的相似块搜索方法，包括如下步骤：

步骤一，利用一光流算法计算当前帧与其前后参考帧的光流场；

步骤二，选择当前块；

步骤三，根据光流场确定该当前帧与该前后参考帧的搜索范围；

步骤四，对该当前帧与该前后参考帧构成的搜索范围内的所有块进行测试匹配；

步骤五，根据测试匹配结果，于该当前帧与该前后参考帧构成的搜索范围内的所有块中选取该当前块的相似块。

进一步地，步骤三至步骤五于每一个当前块依次进行，直至所有图像块处理完毕。

进一步地，步骤一中的前后参考帧为与该当前帧相邻的前N_FR帧和后N_FR帧，并且，步骤一于每一个当前帧依次进行，利用该光流算法生成该当前帧指向该前后参考帧的光流场。

进一步地，该光流算法可以选择全局光流或局部光流或两者相结合的算法。

进一步地，该当前帧的搜索范围

其中N(z_P，t₀，N_S)为中心位于该当前块左上角z_P的N_S×N_S矩形块，

为该当前帧内所有需要测试匹配的块，

为

左上点集合，

为该当前帧图像，

用于避免匹配块超出该当前帧图像范围。

进一步地，该前后参考帧I_t，t≠t₀内的搜索范围为

自v_P，t以一定规律生成，例如

＝v_P，t、

为v_P，t子集、

或

其中c为常量，

w_v是加权系数且

w_v可选但不限于矩形窗、gaussian窗或kaiser窗等。其中，v_P，t表示所有自当前块起始并终结于I_t的光流矢量v_P，t的集合，为该步骤一中生成光流矢量集{v}的子集，S_t为帧I_t内所有需要测试匹配的块，

为S_t左上点集合，

用于避免匹配块超出图像范围。

进一步的，所述与该当前块P相关的光流矢量{v}表示自

内出发并终结至I_t上的光流矢量集。设光流矢量起点为z_S＝(x_S，y_S，t₀)，终点z_D＝(x_D，y_D，t)，则

定义起始于当前块P的运动矢量集v_P，t＝{v_P，t}＝{v_Z|z(x，y，t₀)∈P}。

进一步地，于该步骤四中，对左上点落入该当前帧与该前后参考帧的搜索范围内的所有块计算其与该当前块的度量，与该当前块的度量越小表示其与该当前块越为相似。

进一步地，在前后参考帧内选择前N_B个与该当前块度量最小的块，在当前帧内选择前

个与该当前块度量最小的块，共计

个二维块，并将这些块再次按与该当前块的度量排序，选择N₂个与该当前块度量最小的块，将其作为该当前块的相似块。

进一步地，将选取的相似块与该当前块组合，经过3D变换域降噪与集合后获得降噪后图像。

与现有技术相比，本发明一种视频降噪的相似块搜索方法，利用光流不易受到噪声影响的特点，使用光流方法确定相似块搜索范围，再通过块匹配方法选取多个相似块，对图像进行降噪，能够有效的缓解标准BM3D算法在选择搜索范围参数方面的两难问题，消除标准BM3D算法在运动场景出现PSNR损失与主观视频质量损失的缺陷，并在运动与静止场景均可获得降噪效果一致且很少闪烁的高质量视频。

附图说明

图1为现有技术中BM3D算法的一次迭代处理流程；

图2为本发明一种用于视频降噪的相似块搜索方法之步骤流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

本发明为解决现有技术BM3D算法的二维块匹配方法经常会受到噪声干扰使得块匹配精度降低进而直接影响降噪效果的问题，在BM3D算法的块匹配过程中引入光流算法，利用光流算法不容易受局部噪声干扰的特点协助BM3D的相似块搜索，使得利用本发明之降噪方法在静止、慢速与快速运动场景下可以获得一致的性能表现。

块匹配常用于运动估计，然而其容易受到噪声的干扰，尤其是在平坦区域更易受到噪声的干扰，而光流算法基于像素守恒假设，利用光流场近似运动场，因此其不易受到局部噪声的干扰。理论上说，通过光流算法补偿后可以从运动的图像序列中除去运动，将其变为一个静止的图像序列，并在这一序列上应用静止视频序列的时域降噪方法以获得良好的去噪效果。然而像素守恒假设在真实视频中并不严格成立，导致光流算法补偿后序列中仍有残留的运动，这会影响直接应用静止视频序列去噪的效果。

为了结合两者的优点并消除其缺点，本发明提出了一种基于光流算法的相似块搜索方法应用于BM3D方法的。图2为本发明一种用于视频降噪的相似块搜索方法的步骤流程图。本发明主要利用视频的当前帧以及其相邻的前N_FR帧和后N_FR帧完成相似块匹配，设当前帧图像为

构成一个时空域的三维空间Z³，像素z(x，y，t)∈Z³，二维搜索域R_t定义为帧I_t内所有需要测试匹配的N₁×N₁块{S_t}左上点集合

由于块尺寸为定值，确定R_t即

即可确定{S_t}，根据图2，本发明之用于视频降噪的相似块搜索方法，，包括如下步骤：

步骤201，光流计算步骤，也就是利用光流算法计算当前帧与其相邻的前后帧的光流场。本步骤对于每一个当前帧依次进行，对于所有满足0＜|t-t₀|≤N_FR的前后参考帧I_t，利用光流算法生成当前帧

指向前后参考帧I_t的光流场{v}。本发明不限定所使用的光流算法，目前常用的光流算法均可满足典型参数下本发明的要求。尤其为了降低运算量，在光流计算中可以利用之前的光流计算结果。

步骤202，选择当前块P，本发明对每一个当前块依次进行，当前块P的选择方法与标准BM3D算法中相同，在此不予赘述。

步骤203，根据光流场确定当前帧与前后参考帧的搜索范围。当前帧搜索范围

与标准BM3D定义相同，即为中心位于当前块P左上角z_P的N_S×N_S矩形块N(z_P，t₀，N_S)，即

$R_{t_0}=I_{t_0}^{\′}\∩N(z_P,t_0,N_S)=I_{t_0}^{\′}\∩\left\{z(x,y,t_0)\right|{\left|\right|z-z_p\left|\right|}_1\≤(N_S+1)/2\},$ 其中||||₁为1-范数，

用于避免匹配块超出图像范围。

前后参考帧的搜索范围则由光流算法决定，首先利用光流算法生成一个帧

指参考帧I_t的光流场{v}，表示自内出发并终结至I_t上的光流矢量集。设光流矢量

起点为z_S＝(x_S，y_S，t₀)，终点z_D＝(x_D，y_D，t)，则定义起始于当前块P的运动矢量集v_P，t＝{v_P，t}＝{v_Z|z(x，y，t₀)∈P}。

由于本发明对光流场的稠密性没有严格要求，仅需保证v_P，t非空即可，因此光流算法可以选择全局光流或局部光流或两者相结合的算法，这方便了光流算法的实现。前后参考帧I_t，t≠t₀内搜索范围

其中，N(z_P+v，t，N_PR)为前后参考帧I_t内中心位于z_P+v的N_PR×N_PR矩形块，v_P，t表示所有自当前块起始并终结于I_t的光流矢量v_P，t的集合，

S_t为该前后参考帧I_t内所有需要测试匹配的块，

为S_t左上点，用于避免匹配块超出图像范围；自v_P，t以一定规律生成，例如

＝v_P，t、

为v_P，t子集、 $v_{P,t}^{\′}=\left\{v_{z_P+c}\right\}$ 或 $v_{P,t}^{\′}=\left\{{\hat{v}}_{P,t}\right\},$ c为常量，

为v_P，t的加权平均即 ${\hat{v}}_{P,t}={\mathrm{\Σ}}_{v\∈v_{P,t}}\frac{v}{w_v},$ 其中w_v是加权系数且

w_v可选但不限于矩形窗、gaussian窗或kaiser窗等。上述R_t的各种典型选择对降噪效果影响不大。

与标准BM3D算法的迭代搜索过程不同，本发明确定各帧的搜索范围不需要其他帧搜索相关的信息，因此所有帧搜索范围确定操作可以并行。

还需说明的是，这里，搜索范围的定义为左上点的集合，然而这只是一个定义，换成以任何一个点确定块的实际效果都是等同的，因为搜索范围的移动抵消了选点的差异，最终选择的块仍然是这几块。

步骤204，块匹配。在确定所有帧的搜索范围{R_t}，|t-t₀|≤N_FR后，对所有

的块S_t计算其与当前块P的度量：

$d(P,S_t)=\frac{{\left|\right|P-S_t\left|\right|}_2^2}{{\left(N_1\right)}^2}-(1-\mathrm{\δ}(t-t_0))d_{\mathrm{sub}}(P,S_t)$

其中d_sub(P，S_t)为补偿值，对于相邻帧接近搜索区域中心的块减少一个补偿值，用于进一步改善时间相关性。一般的：

$d_{\mathrm{sub}}(P,S_t)=f\left({\min }_{v\∈v_{P,t}}\left({\left|\right|z_P+v-z_{S_t}\left|\right|}_n\right)\right)$

函数f(x)为单调非增函数，n通常为1或2。

由于本发明中d_sub对运动场景产生的影响小，因此与标准BM3D算法的d_sub相比，本发明的d_sub可以选择更大的值而不会造成运动场景性能衰减，且本发明中函数f(x)的选择也更为宽松，除了类似标准BM3D的δ函数，还可以选择常函数或者各类其他单调非增函数，其作用范围不限于中心点。

步骤205，选取相似块。在计算完成所有d(P，S_t)后，在I_t，t≠t₀各帧内选择前N_B个d(P，S_t)最小的块，在

帧内选择前

个d(P，S_t)最小的块，共计

个二维块。将这些块再次按d(P，S_t)排序，选择N₂个d(P，S_t)最小的块，并认为其为当前块的相似块。

至此本发明之相似块搜索过程结束，后续降噪操作与标准BM3D方法相同，即：将这些相似块与当前块组合在一起，经过3D变换域降噪与集合后获得降噪后图像，完成整个视频的降噪。

以下将通过图2配合一具体实施例来进一步说明本发明之用于视频降噪的相似块搜索方法。在本发明之具体实施例中，各参数选择如下：N₁＝8，N_step＝6，单路PAL格式Cif(352×288)视频，N₂＝8，N_FR＝2，N_B＝3，

N_S＝7，N_PR＝2。迭代次数1。

首先，进行光流计算步骤(步骤201)，本步骤对于每一个当前帧

依次进行。对于所有满足0＜|t-t₀|≤N_FR的前后参考帧I_t，利用光流算法生成当前帧

指向前后参考帧I_t的光流场{v}，本具体实施例采用文献“Lucas/Kanade meetsHorn/Schunk：combining local and global optical flow methods”所提出的光流算法，但不以此为限；接着，选择当前块P(步骤202)；然后，确定当前帧与前后参考帧的搜索范围(步骤203)，在本具体实施例中，当前帧的搜索范围

则在其他帧I_t，t≠t₀内的搜索范围

其中c＝(-3，-3，0)；接着，进行块匹配步骤(步骤204)，即，在确定所有帧的搜索范围{R_t}，|t-t₀|≤N_FR后，对所有

的块S_t计算其与当前块P的度量： $d(P,S_t)=\frac{{\left|\right|P-S_t\left|\right|}_2^2}{{\left(N_1\right)}^2}-(1-\mathrm{\δ}(t-t_0))d_{\mathrm{sub}}(P,S_t),$ 本具体实施例中选择d_sub(P，S_t)＝25；最后，选取相似块步骤(步骤205)，在计算完成所有d(P，S_t)后，在I_t，t≠t₀各帧内选择前N_B个d(P，S_t)最小的块，在

帧内选择前

个d(P，S_t)最小的块。共计

个二维块。将这些块再次按d(P，S_t)排序，选择N₂个d(P，S_t)最小的块，并认为其为当前块的相似块。

至此本具体实施例描述的相似块搜索过程结束，后续降噪操作与标准BM3D方法相同：将这些相似块与当前块组合在一起，经过3D变换域降噪与集合后获得降噪后图像。

以下将通过利用本发明的去噪方法与标准BM3D去噪方法对比来说明本发明的有益效果。视频序列采用coast guard与soccer(业界通用的视频测试序列)，分辨率为Cif(352×288)和D1(704×576)。两种方法皆采用相同的典型BM3D参数：N₁＝8，N_step＝6，N₂＝8，N_FR＝4。标准BM3D方法选择N_B＝2，N_S＝7，N_PR＝5，d_sub＝7。而本方法选择N_B＝1，N_S＝7，N_PR＝1，f(x)＝25。注意本方法的搜索范围显著小于标准BM3D方法。选择

c＝(-3，-3，0)。两种方法均选择迭代一次。本发明之光流算法选择文献“Lucas/Kanade meets Horn/Schunk：combining local andglobal optical flow methods”所述光流算法。测试表明本发明与标准BM3D算法在静止与慢速运动场景下PSNR相当，而在快速运动的场景下本发明之PSNR明显提高，本发明且在静止、慢速运动以及快速运动场景下主观效果较标准BM3D均有明显改善，表现为图像的闪烁减少，细节更为清晰，且场景运动静止的切换对主观质量影响很小。

综上所述，本发明一种视频降噪的相似块搜索方法，利用光流不易受到噪声影响的特点，使用光流方法确定相似块搜索范围，再通过块匹配方法选取多个相似块，对图像进行降噪，能够有效的缓解标准BM3D算法在选择搜索范围参数方面的两难问题，消除标准BM3D算法在运动场景出现PSNR损失与主观视频质量损失的缺陷，并在运动与静止场景均可获得降噪效果一致且很少闪烁的高质量视频，通过在硬件BM3D降噪装置中引入实时光流计算装置，本方法可以应用于视频实时降噪处理，本发明可用于替代各类视频BM3D算法的匹配块搜索方法。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (9)

1.一种用于视频降噪的相似块搜索方法，包括如下步骤：

步骤一，利用一光流算法计算当前帧与其前后参考帧的光流场；

步骤二，选择当前块；

步骤三，根据光流场确定该当前帧与该前后参考帧的搜索范围；

步骤四，对该当前帧与该前后参考帧的搜索范围内的所有块进行测试匹配；

步骤五，根据测试匹配结果，于该当前帧与该前后参考帧构成的搜索范围内的所有块中选取该当前块的相似块。

2.如权利要求1所述的用于视频降噪的相似块搜索方法，其特征在于：步骤三至步骤五于每一个当前块依次进行，直至所有图像块处理完毕。

3.如权利要求2所述的用于视频降噪的相似块搜索方法，其特征在于：步骤一中的前后参考帧为与该当前帧相邻的前N_FR帧和后N_FR帧，并且，步骤一于每一个当前帧依次进行，利用该光流算法生成该当前帧指向该前后参考帧的光流场。

4.如权利要求2所述的用于视频降噪的相似块搜索方法，其特征在于：该光流算法可以选择全局光流或局部光流或两者相结合的算法。

5.如权利要求2所述的用于视频降噪的相似块搜索方法，其特征在于：该当前帧的搜索范围其中N(z_P，t₀，N_S)为中心位于该当前块P左上角z_P的N_S×N_S矩形块，

为该当前帧内所有需要测试匹配的块，

为左上点，

为该当前帧图像，

用于避免匹配块超出该当前帧图像范围。

6.如权利要求5所述的用于视频降噪的相似块搜索方法，其特征在于：该前后参考帧I_t，t≠t₀的搜索范围其中，N(z_P+v，t，N_PR)为该前后参考帧I_t内中心位于z_P+v的N_PR×N_PR矩形块，v_P，t表示所有自当前块起始并终结于I_t的光流矢量v_P，t的集合，

自v_P，t按一定规律生成，

S_t为该前后参考帧I_t内所有需要测试匹配的块，

为S_t左上点，

用于避免匹配块超出图像范围。

7.如权利要求2所述的用于视频降噪的相似块搜索方法，其特征在于：于该步骤四中，对左上点坐标落入该当前帧与该前后参考帧的搜索范围内的所有块计算其与该当前块的度量。

8.如权利要求7所述的用于视频降噪的相似块搜索方法，其特征在于：在前后参考帧内选择前N_B个与该当前块度量最小的块，在当前帧内选择前

个与该当前块度量最小的块，共计

个块，并将这些块再次按与该当前块的度量排序，选择N₂个与该当前块度量最小的块，将其作为该当前块的相似块。

9.如权利要求2所述的用于视频降噪的相似块搜索方法，其特征在于：将该当前块的相似块与该当前块组合，经过3D变换域降噪与集合后获得降噪后图像。

Images