CN101322403B - 用于图像和视频去噪的自回归方法和滤波 - Google Patents

Abstract

一种数字图像或视频去噪的方法和装置，是对空间变化滤波(SVF)的扩展，其通过使用一个过去被滤波的像素而不是当前像素作为输入，以对当前像素产生一个输出。基于此概念，提供了许多去噪滤波，包括自回归空间变化滤波(ARSVF)、修正自回归空间变化滤波(MARSVF)、由时空变化滤波(STVF)扩展的自回归时空变化滤波(ARSTVF)、由运动补偿时空变化滤波(MCSTVF)扩展的自回归运动补偿时空变化滤波(ARMCSTVF)、以及选择性自回归运动补偿时空变化滤波(SARMCSTVF)。

Description

用于图像和视频去噪的自回归方法和滤波

技术领域

本发明涉及数字图像和视频的去噪技术(denoising technology)，特别涉及一种通过采用一种空间变化(spatial varying)或时空(spatio-temporal)滤波技术结合的自回归方法而图像和视频去噪的方法。

发明背景

利用计算机和网络技术的优势，在人们的日常生活中，数字图像和视频已经越发普遍。仅举几例，由数码相机摄取的照片，通过email或蜂窝电话、视频会议、数字TV广播、即付即看(pay-per-view)互联网服务进行交换，已经越来越受欢迎。正因为如此，吸引了众多技术用来改善图像和视频质量，并降低其大小以方便传输和交换。去噪就是这样一种技术，其是一个被用来从数字图像和视频里去除噪声并增强其可压缩性的方法。

噪声通常存在于未被压缩的图像和视频里，其是不需要的或不想要的元素或伪影(artifact)。噪声可能有很多源，例如，在电子硬件里出现的散粒噪声(shot noise)、热噪声(thermal noise)、信道噪声(channel noise)等。噪声的存在不仅降低了视频的可视质量，而且降低了视频编码的效果，并降低了媒体文件的可压缩性。它增加了视频的熵(entropy)，使得需要更多的比特(bit)用来编码图像和视频，同时也降低了进一步提高比特率(bit rate)的运动估计(motion estimation)精度。为了提高编码效率和可压缩性，在编码视频之前必须进行视频去噪。视频去噪的目的是尽可能准确地估计真实的图像信号。已经开发了许多方法用于图像去噪，如低通滤波(low pass filtering)、维纳滤波(Wiener filtering)、卡尔曼滤波(Kalmanfiltering)或空间变化滤波，其中大多数都是通过使用图像的空间冗余来抑制噪声。但是，这些滤波没有被优化，特别是视频去噪，因为视频的空间冗余没有被利用。一些时空滤波被提议用来进行去噪，其中通常采用运动补偿(motion compensation)，以便能够使用移动物体的时间冗余。但是，在实时处理时，这些方法的计算复杂性太大。空间变化滤波(SVF)被提出来，其具有较低的计算要求，有良好的边缘保持(edge preserving)能力。依照当前像素和未被滤波的邻近像素之间的差值，SVF计算滤波权重。因为SVF是一个有限冲激响应(FIR)滤波，滤波尺寸受限于计算的复杂性。这种约束限制了SVF技术的噪声抑制能力，因为滤波阶数不能太大。

以下简略评论一些现有技术文献，以作为本发明的背景信息。

美国专利6,731,821披露了一个自适应的低通滤波(low pass filter)，用来去除数字视频信号里的噪声。低通滤波的数量取决于一个局部梯度测量(local gradient measurement)。图像首先通过一个普通低通滤波进行滤波，然后从最初的图像里减去被滤波的图像，而得到残留图像。依照局部梯度测量，对剩余的图像进行加权，并被加回被滤波的图像以获得最终的图像。但是，在低通滤波里使用的邻近像素的权重不是自适应的。

美国专利6,665,448披露了一种滤波，其对图像数据进行选择性锐化(sharpening)和平滑。锐化滤波是从选择性平滑滤波衍生而来的。反锐化掩膜(unsharp masking)被执行用来增强边缘。但是，这个滤波的目的是增强图像的视觉质量，通常此图像具有提高比特率的增强边缘。

美国专利申请20050036704讲授了一种将图像分割成前景区(foreground region)和后景区(background region)的方法，并在每个区上实施不同的各向异性扩散滤波(anisotropic diffusion filter)。但是，一个视频画面通常比仅有两个区更加复杂。

美国专利申请20050036558讲授了一种方法，其中如果连续帧之间的像素值的差异处于一个阈值范围内，此阈值范围是通过一个帧一个帧地自适应地确定，那么连续帧之间的像素值被滤波。尽管如此，使用一个帧内的固定阈值限制了滤波效果。

美国专利申请20020172431披露了一种改善图像表面并同时增强图像可压缩性的方法。此方法通过有选择性地滤波平滑区来提高可压缩性，并通过实施一个基于边缘分析而选择的边缘增强滤波来增强边缘。但是，这种方法仅使用有限个滤波。

美国专利6,633,683披露了一种方法，通过局部分割像素到同质区(homogeneous region)和边缘区、并仅使用来自同质区的数据估计局部均值和方差，来改善著名的“最小二乘法(least mean square method)”。但是，这种方法需要噪声方差方面的知识而得到好的性能，并且它是用来处理高斯噪声(Gaussian noise)。

发明概述

本发明的目的是提供一种有效的去噪滤波，用来适应性地降低在同质区和高纹理区内的空间噪声，而又不会牺牲图片细节，也不会需要太繁重的计算能力，从而使其能够应用于实时处理。本发明的另一个目的是提供一组去噪滤波，其是计算高效的、有良好的去噪能力、并能够保留边缘细节。

为了实现本发明的目的，在此提供一种自回归去噪方法，其适用于数字图像或数字视频帧。此方法包括一个步骤：使用过去被滤波的像素作为输入，而不是输入初始像素，对数字图像或视频帧的一个当前像素产生一个滤波输出。该滤波输出是过去被滤波的像素和未来初始像素的一个加权和。通过使用一个当前像素和一组邻近像素之间的绝对像素差的函数，计算得到权重。另外，如本发明的特定实施例，还提供一组去噪滤波。那些滤波包括：自回归空间变化滤波(ARSAV)、修正自回归空间变化滤波(MARSVF)、时空变化滤波(STVF)、自回归时空变化滤波(ARSTVF)、运动补偿时空变化滤波(MCSTVF)、自回归运动补偿时空变化滤波(ARMCSTVF)、选择性自回归运动补偿时空变化滤波(SARMCSTVF)。

本发明特征的各种新颖特征在所附权利要求内被指出，并形成本披露的一部分。为了更好的理解本发明、其优点及其使用，现参考附图和以下描述，其中描述和说明了本发明的优选实施例。

附图说明

图1是依照本发明实施例的视频压缩系统的模块图。

图2详细描述图1视频压缩系统的预处理模块。

图3是依照本发明的典型ARSVF的模块图。

图4显示三个典型像素矩阵作为邻近像素用于在ARSVF里进行加权计算。

图5表示完全计算获得的权重曲线和简化估计获得的权重曲线之间的比较。

图6显示使用各种滤波的被滤波的视频样本“Foreman”的PNSR。

图7显示使用各种滤波的被滤波的视频样本“Akiyo”的PNSR。

图8显示H.264压缩视频样本“Foreman”的PNSR。

图9显示如在图8内相同的压缩视频样本的比特率。

图10显示使用各种滤波用于视频样本“Foreman”而减少的比特率。

图11显示视频样本“Foreman”的比率失真(rate-distortion)曲线。

图12显示H.264压缩视频样本“Akiyo”的PNSR。

图13显示H.264压缩视频样本“Akiyo”的比特率。

图14显示使用各种滤波用于视频样本“Akiyo”而减少的比特率。

图15显示视频样本“Akiyo”的比率失真曲线。

具体实施例详述

SVF(现有技术)

本发明是对“Fast ad-hoc Inverse Halftoning using Adaptive Filtering”(Proc.Of IEEE int.Conf.on Acoustics，Speech Processing，Vol.6，pp.2279-2282，Mar.1999)文中披露的现有SVF(空间变化滤波)的扩展及改进。在此，此公开文献(以下称SVF论文)被并入本文，以作为背景信息来理解本发明的主题。

SVF滤波是基于使用以下等式(1)-(4)的一组计算。在等式(1)，滤波输出y(i，j)是输入x(i，j)和邻近像素的加权和。这种滤波可被应用在亮度和色度像素上。

$y(i,j)=\underset{(k,l)\∈N}{\mathrm{\Σ}}a(i+k,j+l)\·x(i+k,j+l)---\left(1\right)$

其中x(i，j)是图像的第(i，j)个像素，a(i-k，j-l)是一个空间变化滤波系数，其是由使用等式(2)-(4)的绝对像素差的函数确定，且N是一个邻近像素集合。

w(i+k，j+l)＝f(|x(i，j)-x(i+k，j+l)|)，(k，l)∈N     (2)

$a(i+k,j+l)=\frac{w(i+k,j+l)}{\underset{(k,l)\∈N}{\mathrm{\Σ}}w(i+k,j+l)},(k,l)\∈N---\left(3\right)$

等式(3)被用来归一化滤波系数，从而保留平均强度。而对等式(2)内的f，有很多可能的定义，我们选择一个最简单的定义，在SVF论文里称为“多项式映射(polynomial map)”：

$f\left(i\right)={(1-\frac{i}{255})}^k---\left(4\right)$

在测试视频的仿真里，已经尝试了k的许多可能值，发现对所有视频测试，k＝30是一个最好值。当然，对一个在特定环境下的给定视频，本领域技术人员可以使用其它值而获得令人满意的结果。SVF的主要特征是：，当与当前像素有很大差异的邻近像素的权重将被充分抑制时，可以保留边缘。k＝30时的映射函数f如图5所示。如图所示，权重与当前像素和相应邻近像素之间的绝对差成反比例。当边缘存在于当前像素和一个特定邻近像素之间时，依照在等式(2)-(4)内的函数，绝对差很大，而且邻近像素的权重极小，可以保留边缘。

自回归空间变化滤波(ARSVF)

SVF基本上是一个FIR滤波。同样，由于繁重的计算要求限制了滤波大小。又限制了SVF的噪声抑制能力，因为滤波阶数不可能太大。为了提高滤波的灵活性，本发明实施一种自回归滤波技术到SVF，产生一种被称为ARSVF的滤波。与SVF不同的是，SVF使用一个未被滤波的未来像素作为滤波输入，而ARSVF使用一种过去的被滤波的像素作为输入用来计算滤波权重。被滤波的像素是少噪声的，因此更加可靠，由此降低了计算复杂性，并降低了存储器要求。对SVF，初始像素应该被保存在存储器里以被用作输入，而对ARSVF，被滤波的像素被使用作为输入，并不需要保留初始像素在存储器里。使用ARSVF的滤波输出y(i，j)通过等式(5)-(7)计算获得。

$y(i,j)=\underset{(k,l)<\left(\mathrm{0,0}\right)}{\underset{(k,l)\&Element;N,}{\mathrm{\&Sigma;}}}a(i+k,j+l)\&CenterDot;y(i+k,j+l)+\underset{(k,l)\&GreaterEqual;\left(\mathrm{0,0}\right)}{\underset{(k,l)\&Element;N,}{\mathrm{\&Sigma;}}}a(i+k,j+l)\&CenterDot;x(i+k,j+l)---\left(5\right)$

$w(i+k,j+l)=\left\{\begin{array}{cc}f\left(\right|x(i,j)-y(i+k,j+l)\left|\right),& (k,l)<\left(\mathrm{0,0}\right)\\ f\left(\right|x(i,j)-x(i+k,j+l)\left|\right),& (k,l)\&GreaterEqual;\left(\mathrm{0,0}\right)\end{array}\right.---\left(6\right)$

$a(i+k,j+l)=\frac{w(i+k,j+l)}{\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}}w(i+k,j+l)}---\left(7\right)$

参照图1，其是依照本发明的视频压缩系统220的模块图，初始数字视频信号(输入200)被送入到预处理模块240，其中信号受到ARSVF处理而输出具有增强质量和更好压缩性的被滤波的视频信号260。接着，被滤波的视频信号被送入一个视频编解码器(video codec)280以输出具有缩小尺寸的最终视频信号300。

图2进一步详细描述了预处理模块240。如图所示，其包括一个像素选择器320、一个自回归空间变化滤波器(ARSVF)360和一个像素位置子模块400。以光栅扫描(raster scan)次序来选择像素。像素选择器从输入数字视频220选择当前像素和邻近像素，并传递它们到ARSVF 360。ARSVF对像素进行滤波，并通过像素位置模块260将结果放回初始空间位置。ARSVF和预处理的其它组成部分可以在硬件、软件或两者结合上实施。

图3是一个典型ARSVF的模块图。ARSVF包括一个权重计算模块420、一个存储被滤波像素的存储器模块480以及一个加权和模块460。被滤波的当前像素380是一个过去被滤波的像素500和邻近像素340的加权和。权重440是通过权重计算模块420计算的，并是基于过去被滤波的像素和未被滤波的未来邻近像素之间的差异而确定。接着，被滤波的当前像素被存储在存储器480里以用来计算下一个像素的权重。

图4显示三个典型像素矩阵或掩码，其定义将被包含在邻近像素里的像素，用于权重计算模块420以产生权重440。接着，在加权和模块460里，像素矩阵与过去被滤波的像素一起使用，以产生数值给被滤波的当前像素480。加大像素矩阵的窗口尺寸通常产生更高低通效应和更高计算复杂性。在图4内有阴影的像素540表示被滤波的过去像素，而无阴影的像素560表示未被滤波的未来像素。像素520是当前像素。在矩阵内的被滤波的过去像素540和未被滤波的未来像素560在ARSVF里作为邻近像素，将被用来对当前像素520进行滤波。

修正自回归空间变化滤波(MARSVF)

一个使用等式5、6和7的完整实施应该获得最优的结果，但其是穷尽计算的。所以，作为本发明的另一个方面，提供一个修正的ARSVF或MARSVF，其是一种次优解决方案，但可以有效地计算。

MARSVF的目的是降低ARSVF的计算量。为此，在以上描述的ARSVF里使用的等式被修正以获得更好的计算效率，但只会稍微或根本不会降低滤波质量。

权重函数，等式(4)，在MARSVF上被修正如下：

         f″(i)＝2^-i                   (8)

其中：“i”是在当前像素的截尾强度(truncated intensity)和输入候选之间的绝对差。在ARSVF里的像素差计算是一个8-比特的操作。MARSVF使用一个5比特的截尾像素值用于计算，使得等式(8)的输入的新差(new_diffi)如下：

new_diffi＝ABS(pixel(center)＞＞3-pixel(i)＞＞3)     (9)

为了进一步提高效率，可以去除等式(9)里的减法计算和绝对值操作。绝对值差可以利用查表而获得。查表有两个输入项，一个是截尾(5比特)的当前像素值，另一个是截尾候选值(5比特)，从而表格大小是32乘32。由于在等式(9)里绝对差的总级等于32，等式(8)里的权重函数被量化为一个估计权重函数：

图6显示使用初始等式(4)的权重曲线和使用等式(10)的估计权重曲线之间的比较。如果对等式(9)需要更好的精度，可以采用一个更大的表格尺寸，使得等式(10)可以产生更平滑的估计函数曲线，但是这将关系到一个增加表格尺寸的权衡。

在等式(7)里的除法计算，可以通过使用右移函数(right shifting草function)而被去除。这就要求归一化因子必须是2的幂次方。有两种方法可以实现这个目标：自适应和非自适应。

非自适应的归一化基本上是通过将归一化因子设置为一个常数值来实现，在典型实施过程中此常数值被设置成128。如果权重的实际和大于128，将从当前像素(或中心像素)的权重里减去权重和和128之间的差，即：

权重_中心＝128-8个连接的邻近像素的权重和

当前被滤波的像素将等于：

$p^{\&prime;}=(\underset{i=0}{\overset{8}{\mathrm{\&Sigma;}}}p\left(i\right)*w\left(i\right))>>7---\left(11\right)$

其中：P′是被滤波的像素；

p(i)是在当前像素窗口内的9个像素；

w(i)是那个特定像素的权重。

对自适应的归一化，归一化因子仍然是2的幂次方，而不是使用一个固定值，它将被设置成一个是2的幂次方的值，其稍微大于9个像素的权重和。获得这个数值的过程如下。

1)使用查表来找到第一输入值的最大级别的最高有效位(MSB)的，并提供下标(index)给归一化因子。

2)初始化累计的权重(sum_acc)，使其等于第一输入值。

3)每个输入值将被增加到sum_acc，然后将通过最大级别的MSB右移。如果输出等于1，最大级别MSB将被递增1。

4)在所有候选权重被加起来之后，获得加权和的最大级别MSB。归一化因子(normalization factor)等于右移(＞＞)(最大级别MSB+1)。结果，被滤波的像素等于：

$p^{\&prime;}=(\underset{i=0}{\overset{8}{\mathrm{\&Sigma;}}}p\left(i\right)*w\left(i\right))>>(\max \mathrm{MSB}+1)---\left(12\right)$

其中：P′是被滤波的像素；

p(i)是在当前像素窗口内的9个像素；

w(i)是那个特定像素的权重；和

max MSB是最大级别的最高有效位。

时空变化滤波(STVF)(现有技术)

这种滤波是由Tai-Wai Chan；Au，O.C.；Tak-Song Chong；Wing-San Chau在“A novel content-adaptive video denoising filter”(in Proceedings(ICASSP’05)IEEE International Conference on Acoustics，Speech，Volume 2，18-23 March 2005 Page(s)，pp.649-652)提出。

STVF将SVF扩展到时域，通过包括在前一帧或下一帧里的像素，以便能够使用时间冗余用于噪声抑制。x_t-1(i，j)，x_t(i，j)，x_t+1(i，j)分别表示为在t-1、t和t+1帧里的第(i，j)个像素，其中t是当前帧，滤波输出y_t(i，j)是由等式(13)-(15)提供。因为当使用STVF时，产生一个帧延迟以避免延迟，可以修改等式(13)，使得仅有当前帧和前一帧被用来滤波帧。

$y_t(i,j)=\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}}{a}_{t,t-1}(i+k,j+l)\&CenterDot;x_{t-1}(i+k,j+l)$

$+\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}}{a}_{t,t}(i+k,j+l)\&CenterDot;x_t(i+k,j+l)+\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}}{a}_{t,t+1}(i+k,j+l)\&CenterDot;x_{t+1}(i+k,j+l)---\left(13\right)$

w_t，i+s(i+k，j+l)＝f(|x_t(i，j)-x_t+s(i+k，j+l)|)             (14)

$a_{t,t+s}(i+k,j+l)=\frac{w_{t,t+s}(i+k,j+l)}{\underset{s=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}}{w}_{t,t+s}(i+k,j+l)}---\left(15\right)$

自回归时空变化滤波(ARSTVF)

作为本发明的另一个实施例，STVF和ARSVF被结合在一起以提供ARSTVF，而滤波像素是由等式(16)-(18)提供。

$y_t(i,j)=\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}}{a}_{t,t-1}(i+k,j+l)\&CenterDot;y_{t-1}(i+k,j+l)$

$\underset{(k,l)<\left(\mathrm{0,0}\right)}{+\underset{(k,l)\&Element;N,}{\mathrm{\&Sigma;}}}{a}_{t,t}(i+k,j+l)\&CenterDot;y_t(i+k,j+l)+\underset{(k,l)\&GreaterEqual;\left(\mathrm{0,0}\right)}{\underset{(k,l)\&Element;N,}{\mathrm{\&Sigma;}}}{a}_{t,t}(i+k,j+l)\&CenterDot;x_t(i+k,j+l)$

$+\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}}{a}_{t,t+1}(i+k,j+l)\&CenterDot;x_{t+1}(i+k,j+l)---\left(16\right)$

$w_{t,t+s}(i+k,j+l)=\left\{\begin{array}{cc}f\left(\right|x_t(i,j)-y_{t+s}(i+k,j+l)\left|\right),& s=-1\\ f\left(\right|x_t(i,j)-y_{t+s}(i+k,j+l)\left|\right),& s=0,(k.l)<\left(\mathrm{0,0}\right)\\ f\left(\right|x_t(i,j)-x_{t+s}(i+k,j+l)\left|\right),& s=0,(k.l)\&GreaterEqual;\left(\mathrm{0,0}\right)\\ f\left(\right|x_t(i,j)-x_{t+s}(i+k,j+l)\left|\right),& s=1\end{array}\right.---\left(17\right)$

$a_{t,t+s}(i+k,j+l)=\frac{w_{t,t+s}(i+k,j+l)}{\underset{s=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}}{w}_{t,t+s}(i+k,j+l)}---\left(18\right)$

运动补偿时空变化滤波(MCSTVF)

在MCSTVF里，运动信息被用来补偿滤波过程里的运动效果。通常，应该估计每个像素的运动信息。但是，对实时视频处理，估计每个像素的运动信息所需的复杂性太大。为了降低复杂性，使用基于模块的运动估计。但是，也可以使用其它更高复杂性的技术来提供更好的结果。例如，一种基于像素的运动估计技术，如光流(optical flow)，可以产生一个更好的结果。所以，时间方向的像素匹配不受限于基于模块的运动估计。mvx_t，t-1(i，j)，mvy_t，t-1(i，j)表示为在当前帧t内第(i，j)个像素的运动矢量的x分量和y分量，关于前一个帧t-1，被滤波的像素是由等式(19)-(21)提供。

$y_t(i,j)=\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}}{a}_{t,t-1}(i+k,j+l)\&CenterDot;x_{t-1}(i+k+{\mathrm{mvx}}_{t,t-1}(i,j),j+l+{\mathrm{mvy}}_{t,t-1}(i,j))$

$+\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}}{a}_{t,t}(i+k,j+l)\&CenterDot;x_t(i+k,j+l)$

$+\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}}{a}_{t,t+1}(i+k,j+l)\&CenterDot;x_{t+1}(i+k+{\mathrm{mvx}}_{t,t+1}(i,j),j+l+{\mathrm{mvy}}_{t,t+1}(i,j))---\left(19\right)$

w_i，t+n(i+k，j+l)＝f(|x_t(i，j)-x_i+s(i+k+mvx_i，t+s(i，j)，j+l+mvy_i，t+x(i，j))|)   (20)

$a_{t,t+s}(i+k,j+l)=\frac{w_{t,t+s}(i+k,j+l)}{\underset{s=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}}{w}_{t,t+s}(i+k,j+l)}---\left(21\right)$

自回归运动补偿时空变化滤波(ARMCSTVF)

作为本发明的另一个实施例，MCSTVF被修改成一个递归滤波，被称为ARMCSTVF。通过ARMCSTVF，被滤波的像素由等式(17)-(19)提供。

$y_t(i,j)=\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}}{a}_{t,t-1}(i+k,j+l)\&CenterDot;y_{t-1}(i+k+{\mathrm{mvx}}_{t,t-1}(i,j),j+l+{\mathrm{mvy}}_{t,t-1}(i,j))$

$\underset{(k,l)<\left(\mathrm{0,0}\right)}{+\underset{(k,l)\&Element;N,}{\mathrm{\&Sigma;}}}{a}_{t,t}(i+k,j+l)\&CenterDot;y_t(i+k,j+l)+\underset{(k,l)\&GreaterEqual;\left(\mathrm{0,0}\right)}{\underset{(k,l)\&Element;N,}{\mathrm{\&Sigma;}}}{a}_{t,t}(i+k,j+l)\&CenterDot;x_t(i+k,j+l)$

$+\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}}{a}_{t,t+1}(i+k,j+l)\&CenterDot;x_{t+1}(i+k+{\mathrm{mvx}}_{t,t+1}(i,j),j+l+{\mathrm{mvy}}_{t,t+1}(i,j))---\left(22\right)$

$w_{t,t+s}(i+k,j+l)=$

$\left\{\begin{array}{cc}f\left(\right|x_t(i,j)-y_{t+s}(i+k{+\mathrm{mvx}}_{t,t+s}(i,j),j+l+{\mathrm{mvy}}_{t,t+s}(i,j))\left|\right),& s=-1\\ f\left(\right|x_t(i,j)-y_{t+s}(i+k+{\mathrm{mvx}}_{t,t+s}(i,j),j+l+{\mathrm{mvy}}_{t,t+s}(i,j))\left|\right),& s=0,(k.l)<\left(\mathrm{0,0}\right)\\ f\left(\right|x_t(i,j)-x_{t+s}(i+k+{\mathrm{mvx}}_{t,t+s}(i,j),j+l+{\mathrm{mvy}}_{t,t+s}(i,j))\left|\right),& s=0,(k.l)\&GreaterEqual;\left(\mathrm{0,0}\right)\\ f\left(\right|x_t(i,j)-x_{t+s}(i+k+{\mathrm{mvx}}_{t,t+s}(i,j),j+l+{\mathrm{mvy}}_{t,t+s}(i,j))\left|\right),& s=1\end{array}\right.---\left(23\right)$

$a_{t,t+s}(i+k,j+l)=\frac{w_{t,t+s}(i+k,j+l)}{\underset{s=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}}{w}_{t,t+s}(i+k,j+l)}---\left(24\right)$

选择性自回归运动补偿时空变化滤波(SARMCSTVF)

可以观察到，对大物体运动或视角移动的一些帧，MCSTVF的噪声抑制能力比STVF差。相比较而言，对小运动区的帧，ARMCSTVF比ARSTVF更好。这些发现在本发明的另一个实施例里被考虑，其中会定义一个ARSTVF和ARMCSTVF之间进行切换的条件。对任何像素，如果x分量或y分量的绝对梯度小于或等于一个阈值，ARMCSTVF被用于此像素，否则使用ARSTVF。对一个在此所述的特定实施例，阈值被设置成4，但这个数值可以被调整或被自适应地计算。因此，本领域技术人员可以修改切换条件以适合具体需要。在此提供的具体转换条件仅是个例子。此滤波被称为SARMCSTVF或选择性自回归运动补偿时空变化滤波，其是基于等式(25)和(26)。

${\mathrm{mvx}}_{t,t-s}(i,j)=\left\{\begin{array}{cc}{\mathrm{mvx}}_{t,t-s}(i,j),& \left|{\mathrm{mvx}}_{t,t-s}(i,j)\right|\&le;4\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(25\right)$

${\mathrm{mvy}}_{t,t-s}(i,j)=\left\{\begin{array}{cc}{\mathrm{mvy}}_{t,t-s}(i,j),& \left|{\mathrm{mvx}}_{t,t-s}(i,j)\right|\&le;4\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(26\right)$

参照表格1，表格1所示的是使用去噪滤波的测试结果，其中使用两个测试视频序列“Foreman”和“Akiyo”，它们是GIF 4:2:0格式(亮度是352乘288像素，色度是176乘144像素)。方差＝16的高斯噪声被增加到测试视频的亮度部分。使用SVF和内置2-D维纳滤波(在商标“Matlab”下的一个产品)作为基础，连同使用本发明的各种滤波器，测试是在使用Matlab的PC上运行。

选择8个连接的空间邻近像素作为滤波输入，如邻近像素N的集合是{(-1，-1)，(-1，0)，(-1，1)，(0，-1)，(0，0)，(0，1)，(1，-1)，(1，0)，(1，1)}。如果包括时态滤波，应该包括在过去或未来帧里的像素。对于‘Foreman’和‘Akiyo’，使用各种滤波的峰值信噪比(PSNR)分别如图6和图7所示。帧(frame-wise)的平均PSNR如图1所示。对‘Foreman’，从帧1到帧180，噪声抑制效果很好，因为较少或甚至没有视角和目标移动(高时态冗余)，视频区段也包括许多平滑区(高空间冗余)。应该注意，在这个视频区段里，时空滤波的效果比空间滤波更好。从帧181到帧220，时空滤波的效果比空间滤波更差。可以观察到，该区段的运动域是混乱无秩序的，其意味着运动估计的精度很低。所以将导致不准确的时态候选用于滤波过程。当使用SARMCSTVF时，这个问题得以缓解。SARMCSTVF的PSNR接近于ARSVF。从帧221到帧300，视频区段是高纹理的(低空间冗余)，这限制了滤波器的性能。

对Akiyo，通过滤波效果是非常好的，因为有较高的空间和时间冗余。

                    表格1：滤波视频的平均PSNR

接着，使用具有差异QP范围14到38的H.264/AVC参考软件JM6.1e，压缩被滤波的测试视频。GOP尺寸是15帧，而GOP结构是IPPPPPPPPPPPPPP。采用多模块，并关掉多帧函数。平均PSNR、比特率降低和比率失真曲线如图8-15所示。在比率失真优化上，ARSVF具有最佳表现，而SARMCSTVF具有第二最佳的表现。在比特率降低上，ARMCSTVF和SARMCSTVF都具有良好的表现。

尽管以上实施例专注于视频去噪滤波，自回归滤波的概念是本发明的一个重要方面，其中滤波像素被使用作为一个输入用来对当前像素进行滤波，同样可以适用于图像。实际上，一个图像非常类似于一个视频单帧。当然，使用时间信息(temporal information)的滤波不适用于单个图像，因为它没有时间信息。本发明的去噪方法可以在软件、硬件或两者结合上计算实施。这种计算实施，无论是在软件应用的形式上或是在半导体芯片的集成电路里或两者兼有，都处于本领域技术人员的经验范畴之内。

尽管已经描述和指出了实施在优选实施例里的本发明的基本新颖特征，本领域技术人员将会明白，可以在不偏移本发明的精神范围内，在所述实施例的格式和细节上作出各种省略和替换以及变化。本发明不受限于上述实施例，其仅被作为范例描述，可以在所附加权利要求定义的保护范围内作出各种修改。

Claims (6)

1.一种对数字图像或包括至少一个视频帧的数字视频进行去噪的方法，包括一个步骤：使用一个过去被滤波的像素作为输入，对所述数字图像或视频帧的一个当前像素产生一个滤波输出，所述滤波输出是所述过去被滤波的像素和一组邻近像素的加权和，这组邻近像素包括所述当前像素周围的一个或多个未被滤波的未来像素，所述加权和是通过采用一个空间变化滤波系数，依照等式(5)计算获得：

$y(i,j)=\underset{(k,l)<\left(\mathrm{0,0}\right)}{\underset{(k,l)\&Element;N,}{\mathrm{\&Sigma;}}}a(i+k,j+l)\&CenterDot;y(i+k,j+l)+\underset{(k,l)\&GreaterEqual;\left(\mathrm{0,0}\right)}{\underset{(k,l)\&Element;N,}{\mathrm{\&Sigma;}}}a(i+k,j+l)\&CenterDot;x(i+k,j+l)---\left(5\right)$

$w(i+k,j+l)=\left\{\begin{array}{cc}f\left(\right|x(i,j)-y(i+k,j+l)\left|\right),& (k,l)<\left(\mathrm{0,0}\right)\\ f\left(\right|x(i,j)-x(i+k,j+l)\left|\right),& (k,l)\&GreaterEqual;\left(\mathrm{0,0}\right)\end{array}\right.---\left(6\right)$

$a(i+k,j+l)=\frac{w(i+k,j+l)}{\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}}w(i+k,j+l)}---\left(7\right)$

其中y(i，j)是输入的加权和；x(i，j)是所述数字图像或视频帧的第(i，j)个像素；a(i+k，j+l)是所述空间变化滤波系数，其由等式(6)定义的绝对像素差的函数f确定并由等式(7)归一化；N是所述一组邻近像素。

2.根据权利要求1所述的方法，其中所述f依照等式(8)被修改作为f″：

f″(i)＝2^-i                   (8)。

3.根据权利要求1所述的方法，其中所述f是由等式(10)中的f_est(i)替换：

4.根据权利要求1所述的方法，其中所述方法仅适用于数字视频，其至少包括前一个帧、当前帧和下一个帧，而所述一组邻近像素至少包括所述前一个帧的一个像素，用来对所述当前帧的一个当前像素产生一个滤波输出。

5.根据权利要求4所述的方法，其中所述当前帧的所述当前像素的所述滤波输出是依照等式(16)-(18)计算获得：

$y_t(i,j)=\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}}{a}_{t,t-1}(i+k,j+l)\&CenterDot;y_{t-1}(i+k,j+l)$

$\underset{(k,l)<\left(\mathrm{0,0}\right)}{+\underset{(k,l)\&Element;N,}{\mathrm{\&Sigma;}}{a}_{t,t}}(i+k,j+l)\&CenterDot;y_t(i+k,j+l)+\underset{(k,l)\&GreaterEqual;\left(\mathrm{0,0}\right)}{\underset{(k,l)\&Element;N,}{\mathrm{\&Sigma;}}}{a}_{t,t}(i+k,j+l)\&CenterDot;x_t(i+k,j+l)$

$+\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}}{a}_{t,t+1}(i+k,j+l)\&CenterDot;x_{t+1}(i+k,j+l)---\left(16\right)$

$w_{t,t+s}(i+k,j+l)=\left\{\begin{array}{cc}f\left(\right|x_t(i,j)-y_{t+s}(i+k,j+l)\left|\right),& s=-1\\ f\left(\right|x_t(i,j)-y_{t+s}(i+k,j+l)\left|\right),& s=0,(k.l)<\left(\mathrm{0,0}\right)\\ f\left(\right|x_t(i,j)-x_{t+s}(i+k,j+l)\left|\right),& s=0,(k..l)\&GreaterEqual;\left(\mathrm{0,0}\right)\\ f\left(\right|x_t(i,j)-x_{t+s}(i+k,j+l)\left|\right),& s=1\end{array}\right.---\left(17\right)$

$a_{t,t+s}(i+k,j+l)=\frac{w_{t,t+s}(i+k,j+l)}{\underset{S=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}{w}_{t,t+s}}(i+k,j+l)}---\left(18\right)$

其中，y表示输出；

x表示输入，x_t+s表示在(t+s)帧中的像素；

i，j为坐标值的表示，代表第(i，j)像素；

N为邻近像素的集合；

k，l为变量；

a为归一化的滤波系数；

t-1，t和t+1分别是所述前一个帧、当前帧和下一个帧。

6.根据权利要求4所述的方法，其中视频帧的所述当前像素的所述滤波输出是依照等式(22)-(24)计算获得：

$y_t(i,j)=\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}}{a}_{t,t-1}(i+k,j+l)\&CenterDot;y_{t-1}(i+k+{\mathrm{mvx}}_{t,t-1}(i,j),j+l+{\mathrm{mvy}}_{t,t-1}(i,j))$

$\underset{(k,l)<\left(\mathrm{0,0}\right)}{+\underset{(k,l)\&Element;N,}{\mathrm{\&Sigma;}}{a}_{t,t}}(i+k,j+l)\&CenterDot;y_t(i+k,j+l)+\underset{(k,l)\&GreaterEqual;\left(\mathrm{0,0}\right)}{\underset{(k,l)\&Element;N,}{\mathrm{\&Sigma;}}}{a}_{t,t}(i+k,j+l)\&CenterDot;x_t(i+k,j+l)$

$+\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}}{a}_{t,t+1}(i+k,j+l)\&CenterDot;x_{t+1}(i+k+{\mathrm{mvx}}_{t,t+1}(i,j),j+l+{\mathrm{mvy}}_{t,t+1}(i,j))---\left(22\right)$

$w_{t,t+s}(i+k,j+l)=$

$\left\{\begin{array}{cc}f\left(\right|x_t(i,j)-y_{t+s}(i+k+{\mathrm{mvx}}_{t,t+s}(i,j),j+l+{\mathrm{mvy}}_{t,t+s}(i,j))\left|\right),& s=-1\\ f\left(\right|x_t(i,j)-y_{t+s}(i+k+{\mathrm{mvx}}_{t,t+s}(i,j),j+l+{\mathrm{mvy}}_{t,t+s}(i,j))\left|\right),& s=0,(k.l)<\left(\mathrm{0,0}\right)\\ f\left(\right|x_t(i,j)-x_{t+s}(i+k+{\mathrm{mvx}}_{t,t+s}(i,j),j+l+{\mathrm{mvy}}_{t,t+s}(i,j))\left|\right),& s=0,(k.l)\&GreaterEqual;\left(\mathrm{0,0}\right)\\ f\left(\right|x_t(i,j)-x_{t+s}(i+k+{\mathrm{mvx}}_{t,t+s}(i,j),j+l+{\mathrm{mvy}}_{t,t+s}(i,j))\left|\right),& s=1\end{array}\right.---\left(23\right)$

$a_{t,t+s}(i+k,j+l)=\frac{w_{t,t+s}(i+k,j+l)}{\underset{S=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{(k,l)\&Element;N}{\mathrm{\&Sigma;}}{w}_{t,t+s}(i+k,j+l)}---\left(24\right)$

其中，y表示输出；

x表示输入，x_t+s表示在(t+s)帧中的像素；

i，j为坐标值的表示，代表第(i，j)像素；

N为邻近像素的集合；

k，l为变量；

a为归一化的滤波系数；

t-1，t和t+1分别是所述前一个帧、当前帧和下一个帧，mvx_t，t-1(i，j)是在当前帧t和前一个帧t-1里的第(i，j)个像素的运动矢量的x分量，mvy_t，t-1(i，j)是在当前帧t和前一个帧t-1里的第(i，j)个像素的运动矢量的y分量。

Images