CN101702751B - 一种视频降噪处理中的三维块匹配方法 - Google Patents

Abstract

本发明要解决的技术问题是提供一种视频降噪处理中三维块匹配的方法，该方法通过将位于视频序列中某一帧的当前二维块

和搜索域

分别向其相邻帧投影，将二维块

扩展为三维块R³，将二维搜索域

扩展为三维搜索域U³。在三维搜索域U³中可以按照预定规则构建出若干三维候选块S³。逐个计算三维候选块S³与所述三维块R³的相似度，选取最相似的N_B个三维块。将三维块在时间轴上拆分为二维块后最终选取与当前二维块

最相似的N个二维块。这种方法可以有效提高目前基于递归的二维块匹配的BM3D降噪算法的块匹配精度与视频降噪效果，并且解决了目前基于递归的二维块匹配搜索范围无法预知的问题。

Description

一种视频降噪处理中的三维块匹配方法

技术领域

本发明涉及视频图像降噪处理，具体涉及一种视频降噪处理中的三维块匹配方法。

背景技术

BM3D算法是目前已知性能最高的通用图像/视频降噪算法，它能够利用图像的自相关特性，以及视频的时间相关性进行有效的降噪。BM3D由三个基本运算单元组成：块匹配，3D降噪以及集合，并可多次迭代运算，标准BM3D算法为两次迭代。

在块匹配步骤中，BM3D在当前帧以及前后各N_FR帧中搜索与当前二维块x_R类似的块x_m，并将相似块组成三维数组

3D降噪运算中对匹配过程中产生的三维数组

进行3D变换，并在变换域中进行降噪后再将其变回空域，并计算三维数组的权重。根据文献“Video denoising by sparse 3Dtransform-domain collaborative filtering”(Dabov，K.et al，the 15^thEuropean Signal Processing Conference，2007)一文中的介绍，BM3D的块匹配算法可以分为两个步骤：在当前帧t₀的穷举搜索和在前后帧t₀+k的预测搜索(0＜|k|≤N_FR)。

当前帧穷举搜索是在当前帧t₀中以当前二维块

(块大小为N₁×N₁)的左上角坐标为中心定义一个搜索范围N_S×N_S(一般为7×7)，此范围内的每一个像素点均可以作为候选块的左上角坐标构造出一个N₁×N₁大小的候选块。在此范围内逐个计算候选块与当前二维块

的相似度，并选取与当前二维块最相似的N_B个候选块。当N_B取2时，如图1所示，搜索到的两个块为

以及当前二维块

在前后帧t₀+k的预测搜索是一个递归的过程，搜索范围为N_PR×N_PR(一般为5×5)，其搜索范围的中心点坐标为第t₀+k一sign(k)帧搜索到的与当前t₀帧二维块

最相似的N_B个块的左上角坐标在第t₀+k帧的投影(其中sign(k)为取符号操作，当k＞0时为1，当k＜0时为负1)。如图1所示，当t₀帧搜索到的两个相似块为

以及时，这两块在第t₀+1帧的投影分别为

和

分别以这两个块的左上角坐标为中心点构建两个N_PR×N_PR大小的搜索范围，此范围内的每一个像素点均可以做为候选块的左上角坐标构造出一个N₁×N₁大小的候选块。在此范围内逐个计算候选块与当前二维块

的相似度并选取与当前二维块

最相似的N_B个块。类似地，这两块在第t₀-1帧的投影分别为

和

分别以这两个块的左上角坐标为中心点构建两个N_PR×N_PR大小的搜索范围。在此范围内逐个计算候选块与当前二维块

的相似度并选取与当前二维块

最相似的N_B个块。

对于第t₀-2帧到第t₀-N_FR帧和第t₀+2帧到第t₀+N_FR帧重复以上递归搜索，在每一帧搜索时都选取与当前二维块

最相似的N_B个块，在完成对2N_FR+1帧的搜索后，可以得到与当前二维块

相似的(2N_FR+1)×N_B个块，BM3D算法最终按照相似度从小到大的原则选取与当前二维块最相似的N个块组成三维数组

进行3D降噪以及集合运算(N＜(2N_FR+1)×N_B)。

其中，BM3D的块匹配搜索中某一块R_x与当前块

之间的相似度按照如下公式计算：

$d(R_{t_0},R_x)=\frac{{\left|\right|R_{t_0}-R_x\left|\right|}_2^2}{{\left(N_1\right)}^2}$

运算符||.||₂代表欧几里得范数，N₁为块尺寸，相似度越小代表某一块R_x与当前块

相似程度越高。由于BM3D的块匹配搜索是一个递归的过程，即第t₀+k帧的搜索结果取决于第t₀+k-sign(k)帧的搜索结果，最终取决于当前帧t₀的搜索结果。假如当前帧t₀的搜索就存在误差，明显地，这种误差会随着递归次数传递下去，在经过2N_FR次递归后，最终得到的相似块组与当前块相差很大。相应地，经过3D降噪以及集合运算后得到的去噪输出块效果会很差。虽然这种块匹配方法在外界噪声环境较小的情况下仍可以应用。然而在中等强度和高强度噪声环境下，如处理装置在夜景、天气恶劣和外界干扰比较大的情况，这种二维块匹配方法经常会受到噪声干扰使得块匹配精度降低，进而直接影响降噪效果。

同时，由于BM3D在前后帧搜索相似块时采用了递归的预测搜索，其搜索范围可能在N_S×N_S到(N_S+N_FR(N_PR-1))×(N_S+N_FR(N_PR-1))之间变化，导致搜索范围无法预知，这种算法的处理方式不利于实际硬件工程实现。

发明内容

本发明要解决的技术问题是提供一种视频降噪处理中三维块匹配的方法，使得在中等强度和高强度噪声环境下能够有效提高目前基于递归的二维块匹配的BM3D降噪算法的块匹配精度与降噪效果，并且解决了目前基于递归的二维块匹配搜索范围无法预知的问题。

为解决上述技术问题，本发明的目的是提供一种视频降噪处理中三维块匹配的方法，包括以下步骤：

A.按预定大小划分第t₀时刻的视频帧，从中选取大小为N₁×N₂的当前块

B.以块

区域中的任一坐标为中心划分出N_σ×N_τ的搜索域

搜索域

内的每一个像素点均可以按照预定规则构建出大小为N₁×N₂候选块

C.将位于第t₀帧的当前块

向其相邻的前N_FR帧和后N_FR帧投影，将N₁×N₂的二维块

扩展为N₁×N₂×(2N_FR+1)大小的三维块R³，将第t₀帧的N_σ×N_τ的搜索域

向其相邻的前N_FR帧和后N_FR帧投影，将N_σ×N_τ的二维搜索域

扩展为N_σ×N_τ×(2N_FR+1)大小的三维搜索域U³，相应地，在三维搜索域U³中包含N_σ×N_τ个以所述候选块扩展出的N₁×N₂×(2N_FR+1)大小的三维候选块S³；

D.在三维搜索域U³中逐个计算三维候选块S³与所述三维块R³的相似度，选取最相似的N_B个三维块；

E.将这N_B个N₁×N₂×(2N_FR+1)大小的三维块在时间轴上拆分为(2N_FR+1)×N_B个N₁×N₂的二维块，选取与当前二维块

最相似的N个二维块组成维数为N₁×N₂×N的三维数组并记录这N个二维块所在原始视频序列中的三维坐标。

进一步地，步骤A中所述的视频帧为PAL或NTSC制式的视频帧。步骤C中所述的当前块

向其相邻的前N_FR帧和后N_FR帧投影，是指在与当前帧相邻的前N_FR帧和后N_FR帧中选取与二维块

具有相同二维坐标的二维块

x＝{-N_FR，...，N_FR}。步骤E中所述的相似度采用以下的方法计算：

$d(R^i,S^i)=\frac{{\left|\right|R^i-S^i\left|\right|}_2^2}{P_{\mathrm{sum}}}$

其中运算符||.||₂代表欧几里得范数，Rⁱ代表当前块，Sⁱ代表候选块，i取2时为二维块，取3时为三维块。P_sum代表二维或三维块中包含像素点数目。

步骤D中所述的最相似的N_B个三维块的选取按照以下方法进行：计算出所述三维候选块S³与所述三维块R³的相似度以后，将相似度从小到大顺序排列，前N_B个即为最相似的N_B个三维块。步骤E中所述的选取与当前二维块

最相似的N个二维块，按照以下方法进行：计算出所述(2N_FR+1)×N_B个N₁×N₂的二维块与所述二维块

的相似度以后，将相似度从小到大顺序排列，前N个即为与所述二维块

最相似的N个二维块。所述的N满足N＜(2N_FR+1)×N_B。

本发明中，由于预先定义了N_σ×N_τ×(2N_FR+1)大小的三维搜索域U³，相应地，其中的三维候选块数目也固定为N_σ×N_τ个。因此不存在搜索范围不可预知的情况，便于实际硬件工程实现。同时，本发明在搜索候选块的过程中只存在针对N_σ×N_τ个三维候选块的穷举搜索，而没有使用BM3D的基于递归的预测搜索，因此不存在递归误差。

附图说明

图1现有技术中二维块匹配方法。

图2至图5为解释三维块匹配方法的过程。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

为本实施例所提供的一种视频降噪处理中三维块匹配的方法，包括以下步骤：

步骤一，按预定大小划分第t₀时刻的视频帧，这里的视频制式可以取不同制式，如PAL和NTSC都可以，以像素为基本单位划分为若干个N₁×N₂二维像素块，其中每一块之间的步进为SP；

步骤二，取二维像素块

如图2所示，以二维像素块区域中的任一坐标为中心，在这里取左上角坐标为中心划分出N_σ×N_τ的搜索域

搜索域

内的每一个像素点均可以按照预定规则构建出大小为N₁×N₂候选二维像素块

如图3所示；

步骤三，如图4所示，将位于第t₀帧的当前块向其相邻的前N_FR帧和后N_FR帧投影，将N₁×N₂的二维像素块

扩展为N₁×N₂×(2N_FR+1)大小的三维像素块R³，将第t₀帧的N_σ×N_τ的搜索域

向其相邻的前N_FR帧和后N_FR帧投影，将N_σ×N_τ的二维搜索域

扩展为N_σ×N_τ×(2N_FR+1)大小的三维搜索域U³，相应地，在三维搜索域U³中包含N_σ×N_τ个以所述候选像素块

扩展出的N₁×N₂×(2N_FR+1)大小的三维候选像素块S³；

步骤四，在三维搜索域U³中采用以下的方法计算相似度：

$d(R^i,S^i)=\frac{{\left|\right|R^i-S^i\left|\right|}_2^2}{P_{\mathrm{sum}}}$

其中运算符||.||₂代表欧几里得范数，Rⁱ代表当前块，Sⁱ代表候选块，这里i＝3，表示三维块。P_sum代表三维块中包含像素点数目。逐个计算三维候选像素块S³与所述三维像素块R³的相似度，由于相似度d(Rⁱ，Sⁱ)的值越小，模块之间就越相似，故将计算所得的相似度d(Rⁱ，Sⁱ)结果按照从小到大排列，选取前N_B个三维像素块即为最相似的N_B个三维像素块；

步骤五，如图5所示，将这N_B个N₁×N₂×(2N_FR+1)大小的三维像素块在时间轴上拆分为(2N_FR+1)×N_B个N₁×N₂的二维像素块，继续利用以下的方法计算相似度：

$d(R^i,S^i)=\frac{{\left|\right|R^i-S^i\left|\right|}_2^2}{P_{\mathrm{sum}}}$

其中运算符||.||₂代表欧几里得范数，Rⁱ代表当前块，Sⁱ代表候选块，这里i＝2，表示二维块。P_sum代表二维块中包含像素点数目。选取与当前二维像素块

最相似的N个二维像素块组成维数为N₁×N₂×N的三维数组

并记录这N个二维像素块所在原始视频序列中的三维坐标，所得的N满足N＜(2N_FR+1)×N_B，所得到的N个二维像素块所在原始视频序列中的三维坐标即为块匹配的结果，可以用于下一步视频处理的步骤中。

在不偏离本发明的精神和范围的情况下还可以构成许多有很大差别的实施例。应当理解，除了如所附的权利要求所限定的，本发明不限于在说明书中所述的具体实施例。

Claims (7)

1.一种视频降噪处理中的三维块匹配方法，其特征在于，包括以下步骤：

A.按预定大小划分第t₀时刻的视频帧，从中选取大小为N₁×N₂的当前块

B.以当前块

区域中的任一坐标为中心划分出N_σ×N_τ的搜索域

搜索域内的每一个像素点均能够按照预定规则构建出大小为N₁×N₂候选块

C.将位于第t₀时刻的视频帧的当前块

向其相邻的前N_FR帧和后N_FR帧投影，将N₁×N₂的当前块

扩展为N₁×N₂×(2N_FR+1)大小的三维块R³，将第t₀时刻的视频帧的N_σ×N_τ的搜索域

向其相邻的前N_FR帧和后N_FR帧 投影，将N_σ×N_τ的二维搜索域

扩展为N_σ×N_τ×(2N_FR+1)大小的三维搜索域U³，相应地，在三维搜索域U³中包含N_σ×N_τ个以所述候选块

扩展出的N₁×N₂×(2N_FR+1)大小的三维候选块S³；

D.在三维搜索域U³中逐个计算三维候选块S³与所述三维块R³的相似度，选取最相似的N_B个三维块；

E.将这N_B个N₁×N₂×(2N_FR+1)大小的三维块在时间轴上拆分为(2N_FR+1)×N_B个N₁×N₂的二维块，通过计算相似度，选取与当前块

最 相似的N个二维块组成维数为N₁×N₂×N的三维数组

，并记录这N个二维块所在原始视频序列中的三维坐标。

2.如权利要求1所述的三维块匹配方法，其特征在于，步骤A中所述的视频帧为PAL或NTSC制式的视频帧。

3.如权利要求1所述的三维块匹配方法，其特征在于，步骤C中所述的当前块

向其相邻的前N_FR帧和后N_FR帧投影，是指在与所述第t₀时刻的视频帧相邻的前N_FR帧和后N_FR帧中选取与当前块

具有相同二维坐标的二维块

x＝{-N_FR，...，N_FR}。

4.如权利要求1所述的三维块匹配方法，其特征在于，步骤D与步骤E中所述的相似度采用以下的方法计算：

$d(R^i,S^i)=\frac{{\left|\right|R^i-S^i\left|\right|}_2^2}{P_{\mathrm{sum}}}$

其中运算符||·||₂代表欧几里得范数，Rⁱ代表当前块，Sⁱ代表候选块，在这里i＝2时为二维块相似度的计算方法，i＝3时，为三维块相似度的计算方法，P_sum代表二维或三维块中包含像素点数目。

5.如权利要求4所述的三维块匹配方法，其特征在于，步骤D中所述的最相似的N_B个三维块的选取按照以下方法进行：计算出所述三维候选块S³与所述三维块R³的相似度以后，将相似度从小到大顺序排列，前N_B个即为与所述三维块R³最相似的N_B个三维块。

6.如权利要求4所述的三维块匹配方法，其特征在于，步骤E中所述的选取与当前块

最相似的N个二维块，按照以下方法进行：计算出所述(2N_FR+1)×N_B个N₁×N₂的二维块与所述当前块

的相似度以后，将相似度从小到大顺序排列，前N个即为与所述当前块

最相似的N个二维块。

7.如权利要求1所述的三维块匹配方法，其特征在于，所述的N满足N＜(2N_FR+1)×N_B。

Images