CN101742088A - 非局部均值空域时变视频滤波方法 - Google Patents

Abstract

本发明公开了一种非局部均值空域时变视频滤波方法，主要解决现有非局部均值空域时变滤波器的计算量大和应用范围受限的问题。其滤波过程是：初始化当前帧图像所有点处的权值归一化系数和非归一化滤波后的值为0；对于搜索域内每个坐标偏置，分别将当前帧图像所有的像素点进行统一的预处理，然后快速计算当前帧图像所有像素点在该搜索域坐标处的加权核权值；根据该加权核权值，更新权值归一化系数和非归一化滤波后的值；根据权值归一化系数和非归一化滤波后的值，计算得到滤波后的图像。本发明极大降低了现有非局部均值空域时变滤波方法的计算复杂度，可应用于视频去噪领域。

Description

非局部均值空域时变视频滤波方法

技术领域

本发明属于图像处理领域，涉及视频滤波方法，具体地说是一种非局部均值空域时变视频滤波方法，用于对数字视频的处理。

技术背景

随着信息与多媒体技术的发展，数字视频的应用越来越广泛。空域滤波技术是数字图像处理的基本方法之一，在数字视频领域有着广泛的应用，比如对视频流里的图像进行图像去噪。空域滤波的基本思想是利用临近像素点之间的关系来得到相应的处理目的。临近的像素点组成的形状被称为搜索域。对于图像中的任意像素点，该点滤波后的值等于以该点为中心的搜索域的所有点进行归一化加权并求和后的值。在视频流中，当前帧图像的某个像素的临近像素点，不仅包括当前帧中的临近像素点，也包括当前帧前后相邻的若干帧中临近的像素点。如果用V_t和

分别表示当前处理帧的原始图像信息和滤波后的图像信息，则有空域滤波器的基本表达式为： ${\hat{V}}_t(x,y)=\frac{1}{\mathrm{\α}(x,y)}\underset{(u,v,j)\∈V_R}{\mathrm{\Σ}}$ w(x，y，u，v，j)V_t+j(x+u，y+v)，其中，V_R是临近像素点组成的搜索域，u、v、j分别搜索域的空间行、空间列、时间坐标，x、y分别为像素点的行、列坐标，w(x，y，u，v，j)是加权核， $\mathrm{\α}(x,y)=\underset{(u,v,l)\∈V_R}{\mathrm{\Σ}}w(x,y,u,v,j)$ 是归一化系数，V_t+j为第t+j帧图像信息。

非局部均值滤波器是由Buade s等人在文章“Areview of imagedenoising algorithms，with a new one”中提出的空域时变滤波器，可以应用于图像的滤波。Buades等人在文章“Denoising image sequencesdoes not require motion estimation”中将非局部均值滤波器应用到视频去噪领域中。在视频滤波时，非局部均值滤波器的搜索域是一个立方体，其数学表示为 $V_R\stackrel{\mathrm{\Δ}}{=}\{(u,v):-{\mathrm{\δ}}_u\≤u\≤{\mathrm{\δ}}_u,-{\mathrm{\δ}}_v\≤v\≤{\mathrm{\δ}}_v,-{\mathrm{\δ}}_j\≤j\≤{\mathrm{\δ}}_j,u,v,j\∈N\},$ 其中δ_u、δ_v、δ_j分别为搜索域空域行半径、空域列半径、时域半径，u、v、j分别为空间行、空间列、时间坐标。若当前处理帧在视频中的帧号为t，则非局部均值滤波器的加权核 $w(x,y,u,v,j)=\exp (-\frac{S(x,y,u,v,j)}{2h^p}),$ 其中，S(x，y，u，v，j)称为图像偏置相似函数， $S(x,y,u,v,j)={\left|\right|B_r^t(x,y)-B_r^{t+j}(x+u,y+v)\left|\right|}_p^p,$ h是核宽度，||·||_p ^p表示l_p范数值的p次方，p≥1，B_r ^t(x，y)为表示当前帧图像中以(x，y)为中心，以r为半径的矩形块的匹配窗，B_r ^t+j(x+u，y+v)为表示第t+j帧图像中以(x+u，y+v)为中心，以r为半径的矩形块的匹配窗。

参见图1，现有非局部均值空域时变视频滤波方法的流程为：

[1]设置搜索域形状、匹配窗形状、加权核宽度h和相似性比较范数参数p；

[2]将视频流中当前要滤波的一帧图像，记为当前帧图像V_t，t为当前帧图像在视频流中的帧标号；

[3]对当前帧图像中每个坐标点，分别执行步骤[4]～[7]进行滤波；

[4]对以当前帧图像中当前滤波坐标(x，y)为中心的搜索域内的每个坐标，计算对应的加权核权值：

$w(x,y,u,v,j)=\exp (-\frac{S(x,y,u,v,j)}{2h^p}),$

其中，(u，v，j)为搜索域坐标， $S(x,y,u,v,j)={\left|\right|B_r^t(x,y)-B_r^{t+j}(x+u,y+v)\left|\right|}_p^p;$

[5]通过下式计算当前滤波坐标点(x，y)处的权值归一化系数α(x，y)：

$\mathrm{\α}(x,y)=\underset{(u,v,j)\∈V_R}{\mathrm{\Σ}}w(x,y,u,v,j),$

其中，V_R为搜索域形状；

[6]通过下式计算当前滤波坐标点(x，y)处的非归一化滤波后的值V_t(x，y)：

${\stackrel{\‾}{V}}_t(x,y)=\underset{(u,v,j)\∈V_R}{\mathrm{\Σ}}[w(x,y,u,v,j)\×V_{t+j}(x+u,y+v)],$

其中，V_t+j为第t+j帧图像信息；

[7]通过下式计算当前帧图像在当前整合坐标点处的归一化滤波后的值：

${\hat{V}}_t(x,y)=\frac{{\stackrel{\‾}{V}}_t(x,y)}{\mathrm{\α}(x,y)};$

[8]当前帧所有坐标处归一化滤波后的值组成滤波后的图像。

上述的非局部均值滤波器的视频滤波方法，在计算相邻的像素点和搜索域偏置组合的图像偏置函数的时候，会出现图像匹配窗覆盖的现象，从而会导致覆盖的匹配窗内像素点和加搜索域偏置像素组合之间，多次执行比较计算的计算冗余问题。而上述非局部均值滤波方法的在逐点滤波过程中，当前帧图像中每个像素点的每个搜索域偏置点的加权核权值都需要重新计算，这样会造成大量的重复计算。现有的非局部均值滤波器的视频滤波方法的极高计算复杂度，造成计算时间过长，极大的限制了非局部均值滤波器的在视频处理领域的应用，比如在实时嵌入式系统中就不能应用这种计算复杂度的非局部均值滤波器。

发明内容

本发明的目的在于克服上述已有技术的问题，提出一种非局部均值空域时变视频滤波方法，以减小非局部均值空域时变滤波器的计算复杂度，扩大非局部均值滤波器在视频处理领域的应用范围。

实现本发明的技术思路为：对于搜索域内每个坐标，分别将当前帧图像所有的像素点进行统一的预处理，然后计算当前帧图像所有像素点在该搜索域坐标处的加权核权值；根据搜索域所有坐标处对应的当前帧图像每个点的加权核权值，计算出当前帧图像滤波后的图像信息。其具体实现方案如下：

(1)设置搜索域形状、匹配窗大小、加权核宽度h和相似性比较范数参数p；

(2)将视频流中当前要滤波的一帧图像，记为当前帧图像V_t，t为当前帧图像在视频流中的帧标号，初始化当前帧非归一化滤波后的图像V_t(x，y)和权值归一化系数α(x，y)均为0，其中(x，y)为图像坐标；

(3)以搜索域内的点作为偏置，对所有点执行步骤(4)～(9)的操作；

(4)以当前偏置(u，v，j)为偏置量，计算当前帧图像与偏置后图像之间所有对应点的数据差的绝对值的p次方之值，得到p范数差值图像Δ^(u，v，j)(x，y)；

(5)计算当前偏置(u，v，j)下差值图像Δ^(u，v，j)(x，y)的积分图像S^(u，v，j)(x，y)，计算公式为：

$S^{(u,v,j)}(x,y)=\underset{y^{\′}\≤y}{\mathrm{\Σ}}\underset{x^{\′}\≤x}{\mathrm{\Σ}}{\mathrm{\Δ}}^{(u,v,j)}(x^{\′},y^{\′});$

(6)通过下式计算在当前偏置坐标(u，v，j)下的当前帧图像每个坐标处的图像偏置相似函数值：

$D(x,y,u,v,j)=S_I^{(u,v,j)}(x_l,y_t)+S_I^{(u,v,j)}(x_r,y_b)-S_I^{(u,v,j)}(x_l,y_b)-S_I^{(u,v,j)}(x_r,y_t),$

其中，(x，y)为图像坐标，(x_l，y_t)，(x_r，y_b)分别表示以（x，y)中心的匹配窗的左上角坐标和右下角坐标；

(7)通过下式计算在当前偏置(u，v，j)下，当前帧图像各坐标处的加权核权值：

$w(x,y,u,v,j)=\exp (-\frac{D(x,y,u,v,j)}{2h^p}),$

其中，w(x，y，u，v)为加权核权值，h为加权核宽度，exp(·)为指数函数；

(8)在当前偏置坐标(u，v，j)下，通过下式更新当前帧图像每个坐标处的权值归一化系数：

α(x，y)＝α(x，y)+w(x，y，u，v，j)，

其中，α(x，y)为权值归一化系数；

(9)在当前偏置坐标(u，v，j)下，通过下式更新当前帧图像每个坐标处的非归一化滤波后的值：

V_t(x，y)＝V_t(x，y)+w(x，y，u，v，j)×V_t+j(x+u，y+v)，

其中，V_t(x，y)为非归一化滤波后的值，V_t+j为第t+j帧图像信息；

(10)通过下式对当前帧图像每个坐标进行归一化处理，得到滤波后图像

${\hat{V}}_t(x,y)=\frac{{\stackrel{\‾}{V}}_t(x,y)}{\mathrm{\α}(x,y)}.$

本发明具有如下优点：

(1)现有非局部均值空域时变视频滤波方法在计算相邻的像素点和搜索域偏置组合的加权核权值的时候，会出现图像匹配窗覆盖的现象，从而会导致覆盖的匹配窗内像素点和加搜索域偏置像素组合之间，多次执行比较计算的计算冗余问题。而本发明由于对于搜索域内每个偏置坐标，采用的步骤(4)～(7)，对于每个像素点和加搜索域偏置像素组合，只计算一次比较计算操作，消除了现有非局部均值空域时变视频滤波方法存在的由匹配窗覆盖导致的计算冗余的问题。所以本发明提出的非局部均值空域时变视频滤波方法，在不影响滤波性能的情况下，极大的降低了现有非局部均值空域时变视频滤波方法的计算量，加快了滤波速度，拓宽了非局部均值滤波器的应用范围。

附图说明

图1为现有非局部均值空域时变视频滤波方法流程图；

图2为本发明提出的视频滤波方法流程图；

图3为图2中，计算当前帧图像在当前偏置坐标下所有权值的子流程图；

图4为生成偏置图像原理图；

图5为差值图像中矩形区域描述图；

具体实施方式

参见图2，本发明提出的非局部均值空域时变视频滤波方法，包括如下步骤：

步骤一，设置滤波相关参数。

设置的滤波相关参数包括搜索域形状、匹配窗形状、加权核宽度h和相似性比较范数参数p；该搜索域为球形、圆柱体、圆形、任意多面体或任意多边形，该比较域形状为矩形；设置在根据图像偏置相似函数值计算加权核权值时的核宽度h和相似性比较范数参数p；该加权核宽度h为任意正实数，该相似性比较范数参数p为任意非负实数；

步骤二，获取视频流中要处理的一帧图像，记为当前帧图像，其在视频中的帧标号为t，该帧图像用V_t表示；将当前帧图像所有坐标处的权值归一化系数和非归一化滤波后的值均赋值为0。

当前帧图像坐标点(x，y)处的权值归一化系数和非归一化滤波后的值分别用α(x，y)和V_t(x，y)表示；即将所有的当前帧图像坐标点(x，y)处的α(x，y)和V_t(x，y)赋值为0。

步骤三，以搜索域内的点作为偏置，对所有点执行步骤四至六的操作；如果搜索域内所有点均已执行步骤四至六的操作，跳转到步骤七。

步骤四，在当前偏置下，计算当前帧图像所有坐标点处的加权核权值。

参见图3，本步骤的具体实现方式如下：

4.1)参照图4，白色框表示第t+j帧图像信息V_t+j，灰色框为加了(u，v)偏置的图像V_t+j ^(u，v)，白色框和灰色框对应区域值相等，即偏置图像V_t+j ^(u，v)坐标(x，y)处的值为：

$V_{t+j}^{(u,v)}(x,y)=V_{t+j}(x+u,y+v);$

差值图像Δ^(u，v，j)(x，y)通过下式计算得到：

Δ^(u，v，j)(x，y)＝|V_t(x，y)-V_t+j(x+u，y+v)|^p，

其中V_t(x，y)为当前帧图像信息，V_t+j ^(u，v)为偏置图像信息，|·|^p为求绝对值的p次方操作；

4.2)计算当前偏置(u，v，j)下差值图像Δ^(u，v，j)(x，y)的积分图像S_I ^(u，v，j)(x，y)，计算公式为：

$S_I^{(u,v,j)}(x,y)=\underset{y^{\′}\≤y}{\mathrm{\Σ}}\underset{x^{\′}\≤x}{\mathrm{\Σ}}{\mathrm{\Δ}}^{(u,v,j)}(x^{\′},y^{\′});$

4.3)通过下式计算在当前偏置坐标(u，v，j)下，当前帧图像每个坐标处的图像偏置相似函数值：

$D(x,y,u,v,j)=S_I^{(u,v,j)}(x_l,y_t)+S_I^{(u,v,j)}(x_r,y_b)-S_I^{(u,v,j)}(x_l,y_b)-S_I^{(u,v,j)}(x_r,y_t),$

其中(x，y)、(u，v，j)分别表示图像坐标和当前偏置坐标，S_I ^(u，v，j)表示在当前偏置坐标下的积分图像，(x_l，y_t)，(x_r，y_b)分别表示以(x，y)中心的匹配窗形状的左上角坐标和右下角坐标；

4.4)通过下式计算在当前偏置坐标(u，v，j)下，当前帧图像每个坐标处的加权核权值：

$w(x,y,u,v,j)=\exp (-\frac{D(x,y,u,v,j)}{2h^p}),$

其中(x，y)、(u，v，j)分别表示图像坐标和当前偏置，h为核宽度，ewx(·)为指数函数。

步骤五，在当前偏置坐标(u，v，j)下，通过下式更新当前帧图像每个坐标处的权值归一化系数：

α(x，y)＝α(x，y)+w(x，y，u，v，j)，

其中(x，y)表示图像坐标，α(x，y)为归一化系数，w(x，y，u，v，j)为加权核权值。

步骤六，在当前偏置坐标(u，v，j)下，通过下式更新当前帧图像每个坐标处的非归一化滤波后的值：

V_t(x，y)＝V_t(x，y)+w(x，y，u，v，j)×V_t+j(x+u，y+v)，

其中，(x，y)表示图像坐标，V_t(x，y)为非归一化滤波后的值，V_t+j为第t+j帧图像信息。

前面第三至六步计算得到了所有当前帧图像坐标处的权值归一化系数和非归一化滤波后的值。

上述步骤五与步骤六实现的加权核归一化系数α(x，y)和非归一化滤波图像V_t(x，y)的计算，也可以在获得所有搜素域坐标下当前帧图像所有坐标处的权值后计算获得，计算方法为：

$\mathrm{\α}(x,y)=\underset{(u,v,j)\∈V_R}{\mathrm{\Σ}}w(x,y,u,v,j),$

其中，(u，v，j)为搜索域坐标，V_R为搜素域，w(x，y，u，v，j)为加权核权值；

${\stackrel{\‾}{V}}_t(x,y)=\underset{(u,v,j)\∈V_R}{\mathrm{\Σ}}[w(x,y,u,v,j)\×V_{t+j}(x+u,y+v)],$

其中，V_t+j为第t+j帧图像信息。

步骤七，通过下式对当前帧图像每个坐标进行归一化处理，得到滤波后图像

${\hat{V}}_t(x,y)=\frac{{\stackrel{\‾}{V}}_t(x,y)}{\mathrm{\α}(x,y)}.$

上述本发明的图像滤波方法，其中所述的步骤五与步骤六的顺序能够互换。

上述本发明的图像滤波方法，其中步骤四至六与步骤七，使用串行方式、并行方式或者串行与并行混合的方式进行计算。

上述本发明的图像滤波方法处理的视频为直接采集到的视频，或者是经过一定处理后的视频。

上述本发明的图像滤波方法，可以应用于类似于非局部均值滤波器加权核权值计算方法的空域滤波方法中。步骤4.1)中，差值图像可以由当前帧图像和偏置图像之间所有对应点之间的任意初等数学变换获得。步骤4.4)中，加权核权值可以由对图像偏置相似函数值作任意初等数学变换获得。

上述本发明的图像滤波方法中，根据偏置坐标的对称性，可以得到当前帧号为t时的加权核ω(x，y，u，v，j)，等于当前帧号为t+j时的加权核ω(x，y，-u，-v，-j)。所以在储存空间和访问速度允许的情况下，可以将当前第t帧计算得到的j＞0的加权核权值储存起来，等到对第t+j帧滤波时直接调取对应的值获得，而不需要执行步骤四的计算。

下面说明本发明的滤波方法能够实现的非局部均值空域时变滤波器的滤波效果：

在步骤一里设置的矩形区域形状为半径为r的正方形。

对于步骤4.1)获得的差值图像Δ^(u，v，j)(x，y)，如图5所示，若要计算差值图像Δ^(u，v，j)(x，y)中矩形块D内所有坐标点处数值之和，可以通过下面的式子获得：

D_s＝A_s+(A+B+C+D)_s-(A+B)_s-(A+C)_s，

其中D_s，A_s，(A+B+C+B)_s，(A+B)_s，(A+C)_s分别为相应矩形范围内所有坐标处数值之和。

显然，A_s，(A+B+C+B)_s，(A+B)_s，(A+C)_s的值分别为积分图像S_I ^(u，v，j)中S₁ ^(u，v，j)(x_l，y_t)，S₁ ^(u，v，j)(x_r，y_b)，S₁ ^(u，v，j)(x_l，y_b)，S_I ^(u，v，j)(x_r，y_t)的值。对比步骤4.3)可知，D(x，y，u，v，j)的值为差值图像Δ^(u，v，j)(x，y)中以(x，y)为中心的矩形区域的数据之和。结合步骤4.1)差值图像的计算过程，可知步骤4.3)得到的图像偏置相似函数值也可以表示为：

$D(x,y,u,v,j)={\left|\right|B_r^t(x,y)-B_r^{t+j}(x+u,y+v)\left|\right|}_p^p,$

其中，B_r ^t(x，y)为表示当前帧图像中以(x，y)为中心，以r为半径的矩形块的匹配窗，B_r ^t+j(x+u，y+v)为表示第t+j帧图像中以(x+u，y+v)为中心，以r为半径的矩形块的匹配窗，||·||_p ^p表示l_p范数值的p次方。

上面的结果说明，本发明的方法能够获得与非局部均值滤波空域滤波器相同的图像偏置相似函数值，据此也就获得了相同的加权核权值。

显然，在相同的加权核权值下，本发明的滤波方法与现有非局部均值空域时变视频滤波方法有相同的滤波效果。

现有非局部均值空域时变视频滤波方法在计算相邻的像素点和搜索域偏置组合的加权核权值的时候，会出现图像匹配窗覆盖的现象，从而会导致覆盖的匹配窗内像素点和加搜索域偏置像素组合之间，多次执行比较计算的计算冗余问题。而本发明由于对于搜索域内每个偏置坐标，采用步骤4.1)～4.4)，对于每个像素点和加搜索域偏置像素组合，只计算一次比较计算操作，消除了现有非局部均值空域时变视频滤波方法存在的由匹配窗覆盖导致的计算冗余的问题。所以本发明提出的非局部均值空域时变视频滤波方法，在不影响滤波性能的情况下，极大的降低了现有非局部均值空域时变视频滤波方法的计算量，加快了滤波速度，拓宽了非局部均值滤波器的应用范围。

Claims (4)

1.一种非局部均值空域时变视频滤波方法，包括如下步骤：

(1)设置搜索域形状、匹配窗大小、加权核宽度h和相似性比较范数参数p；

(2)将视频流中当前要滤波的一帧图像，记为当前帧图像V_t，t为当前帧图像在视频流中的帧标号，初始化当前帧非归一化滤波后的图像V_t(x，y)和权值归一化系数α(x，y)均为0，其中(x，y)为图像坐标；

(3)以搜索域内的点作为偏置，对所有点执行步骤(4)～(9)的操作；

(4)以当前偏置(u，v，j)为偏置量，计算当前帧图像与偏置后图像之间所有对应点的数据差的绝对值的p次方之值，得到p范数差值图像Δ^(u，v，j)(x，y)；

(5)计算当前偏置(u，v，j)下差值图像Δ^(u，v，j)(x，y)的积分图像S_I ^(u，v，j)(x，y)，计算公式为：

$S_I^{(u,v,j)}(x,y)=\underset{y^{\′}\≤y}{\mathrm{\Σ}}\underset{x^{\′}\≤x}{\mathrm{\Σ}}{\mathrm{\Δ}}^{(u,v,j)}(x^{\′},y^{\′});$

(6)通过下式计算在当前偏置坐标(u，v，j)下的当前帧图像每个坐标处的图像偏置相似函数值：

$D(x,y,u,v,j)=S_I^{(u,v,j)}(x_l,y_t)+S_I^{(u,v,j)}(x_r,y_b)-S_I^{(u,v,j)}(x_l,y_b)-S_I^{(u,v,j)}(x_r,y_t),$

其中，(x，y)为图像坐标，(x_l，x_t)，(x_r，y_b)分别表示以(x，y)中心的匹配窗的左上角坐标和右下角坐标；

(7)通过下式计算在当前偏置(u，v，j)下，当前帧图像各坐标处的加权核权值：

$w(x,y,u,v,j)=\exp (-\frac{D(x,y,u,v,j)}{2h^p}),$

其中，w(x，y，u，v)为加权核权值，h为加权核宽度，exp(·)为指数函数；

(8)在当前偏置坐标(u，v，j)下，通过下式更新当前帧图像每个坐标处的权值归一化系数：

α(x，y)＝α(x，y)+w(x，y，u，v，j)，

其中，α(x，y)为权值归一化系数；

(9)在当前偏置坐标(u，v，j)下，通过下式更新当前帧图像每个坐标处的非归一化滤波后的值：

V_t(x，y)＝V_t(x，y)+w(x，y，u，v，j)×V_i+j(x+u，y+v)，

其中，V_t(x，y)为非归一化滤波后的值，V_t+j为第t+j帧图像信息；

(10)通过下式对当前帧图像每个坐标进行归一化处理，得到滤波后图像

${\hat{V}}_t(x,y)=\frac{{\stackrel{\‾}{V}}_t(x,y)}{\mathrm{\α}(x,y)}.$

2.根据权利要求1所述的视频滤波方法，其中的步骤(8)与步骤(9)的顺序能够互换。

3.根据权利要求1所述的视频滤波方法，其中步骤(1)所述的搜索域的形状设置为球形、圆柱体、圆形、任意多面体或任意多边形。

4.根据权利要求1所述的视频滤波方法，其中步骤(4)～(9)与步骤(10)，使用串行方式、并行方式或者串行与并行混合的方式进行计算。

Images