CN1047709C - 用移动自适应空间滤波器对视频信号进行时间滤波的方法 - Google Patents

Abstract

一种运动自适应的空间滤波器的方法，它在图象编码器中起一个预测器的作用，它按照一个所希望的时间截止频率通过用一个具有一个带限制特征的空间滤波器，处理视频信号的时间带限制，而无时间混淆。

Description

用运动自适应空间滤波器对视频信号进行时间滤波的方法

本发明是一个视频信号时间滤波的方法；特别是在图象编码设备中用的，运动自适应空间滤波的方法，它能够获得一个时间带限制，而不引起时间混淆效应，并因此而提高了图象的质量。

在数字电视系统例如视频电话，电话会议和高清晰度电视系统中，一个图象编码设备，通过使用各种数字压缩技术，例如用离散余弦函数转换器进行转换编码，和运动补偿编码以减少两个连续帧之间的时间联系等方法，减少限定每个视频信号的帧的大容量数据。

为了有效地实行数据压缩处理，现有技术中的多数实时图象编码设备使用各种滤波器，作为前端处理的一部分，进行滤波和降低帧频。这些滤波器用于消除或减轻时间噪音(temporal noise)，实行带限制，由此提高图象质量和编码效率。

Eric Dubois等人的论文“用运动补偿时间滤波减少图象序列中的噪音”，电气与电子工程师协会会刊“通信设备”，(IEEE Transactionson Communications)COM-32，NO，7(7月，1984)。文中公开了一种这样的现有技术装置，它使用一种非线性逆归时间滤波器去减少噪声成分，这些噪声在信号起动和操作时会出现。这种时间滤波器使用运动补偿技术，在沿运动轨迹的时域内实行滤波，从而减少运动区内的噪声成分，而不改变图象的细部图。

Wen-Hsiung Chen等人1987年8月，在电气与电子工程师协会杂志“通信设备选择范围”，(IEEE Journal on Selected Areas inCommunications)发表题为“图象编码的递归暂时滤波和降低帧频”一文中公开了已有技术另一设备，它也是用一个递归暂时滤波器进行递归(recursive)滤波和降低帧频。这种滤波器，当它用在时域中的时候，可以清除帧对帧的输入噪声并提高图象质量。

K.J Klees的美国专利4,694,342提供了一个设备，它利用能起递归和非递归两种作用的一种空间滤波器，消除视频图象信号中的噪声而完整保存其图象的细部。这种滤波器包括一个用于存储预先规定的和滤波输出的象素值和预先规定的反馈象素值的表，其输入图象的某些部分被非递归滤波以完全保存图象细部，而同一图象的某些其它部分被递归滤波，以消除图象中的噪声。

虽然上述和其它已有技术的设备，通过沿运动轨迹实行低通滤波技术，能够减少运动区中的噪声而不改变图象细部，这种处理趋于在那些运动相当快速的区域内，引入了人为现象，结果，这些设备就不能充分处理时间带限制或由于时间混淆引起的可见人为现象。

如果连续的频谱包括混淆的成份，可见人为现象就出现在图象上，特别是，由高的空间频率成份组成的这些运动区，可能改变人的心理状态：例如，在运动区觉察的速度可能与实际速度不同。因此，为了得到有效的时间带限制，希望有一个不受时间混淆作用影响的滤波器。

还有，为了对沿时间轴按排的象素进行时域滤波，以限制时间带宽，就需要大量的帧延时和存储，这就可能妨害图象编码设备的制造。

因此，本发明的主要目的是提供一个运动自适应空间滤波器的方法，它可以作为图象编码设备的预滤波，能够有效地实行视频信号的时间带限制，而不引起时间混淆，并能够降低对帧延迟和大容量存储的要求。

本发明提供了一个对具有预定时间截止频率的视频信号的滤波的方法，以获得暂态带限制，它包括的步骤是：

(ⅰ)确定一个运动矢量，它代表一个当前象素的运动；

(ⅱ)根据所确定的运动矢量和时间截止频率，计算空间滤波器在频域中的脉冲响应；

(ⅲ)根据空间滤波器在频域中的脉冲响应确定其在时域内的脉冲响应，并据此而对视频信号中的当前象素进行滤波；

(ⅳ)重复步骤(ⅰ)到(ⅲ)，直到视频信号中的所有象素被处理。

根据本发明的另一方面，提供一种对于具有一个预定的时间截止频率的一组象素的视频信号进行滤波以获得其时间带限制的方法，包括步骤；

(ⅰ)根据一组预定的候选运动矢量和时间截止频率，计算在频域中的一组空间滤波器脉冲响应；

(ⅱ)根据频域中空间滤波器脉冲响应，确定一组空间域中的脉冲响应；

(ⅲ)确定候选运动矢量之一，作为表示当前象素运动的运动矢量；

(ⅳ)根据所确定的运动矢量，选择上述脉冲响应之一，由此对视频信号中的当前象素进行滤波；和

(ⅴ)重复上述步骤(b3)到(b4)，直到视频信号中所存的象素都被处理。

上述的本发明的目的以及其它目的和特征，从下面结合附图对最佳实施例的说明中将会变得更清楚，其中：

图1A，1B和1C是解释基带频谱分布图，是运动目标速度的函数。

图2描述了在一个具有固定的时间截止频率的时域内的传统低通滤波的结果；

图3描述了按照本发明的运动自适应空间滤波的结果；

图4A和4B显示了时域中的本发明滤波器的脉冲响应的图形；

图5是解释本发明的运动自适应空间滤波方法的流程图；

图6是按照本发明最佳实施例使用运动自适应空间滤波方法的图象编码设备原理方块图。

一个视频信号可以通过三维来表示，即，水平，垂直和时间分量；并被看作是一个连续函数f₃(x，y，t)。假定其运动物只有一个恒定速度的刚性平移运动v＝(v_x，v_y)，则连续视频信号的傅里叶变换可以表示成：

F₃(f_x，f_y，f_t)＝F₂(f_x，f_y)·δ(f_xv_x＋f_yv_y＋f_t)    (1)

其中F₂(f_x，f_y)是2维视频信号f₂(x，y)的傅里叶变换，并且δ(f_xv_x＋f_yv_y＋f_t)表示用等式f_xv_x＋f_yv_y＋f_t＝0表述的三维频率空间中的一个斜面，从而基带仅以2维频率平面方式存在。等式(1)被公开在例如，R，A，F Belfor等人的文章“运动补偿HDTV的子样品”中，SPIE，1605，视频通信设备和图象处理’91，PP，274-284(1991)。

从基带频谱的位置，一个空间-时间(temporal)带宽是可以预期的。即，如果一个时间带宽f_t ^w被给定，在时间带宽f_t ^w，空间带宽f_x ^w和f_y ^w，和速度分量v_x和v_y之间的关系就可从等式(1)中获得，即：

f_t ^w＝f_x ^w·v_x＋f_y ^w·v_y              (2)

其中f_x ^w和f_y ^w是x和y方向上的相应的空间带宽分量。从等式(2)可以看出时间带宽正比于运动物的速度；当时间带宽被固定，空间带宽就和运动物的速度成反比。

由于视频信号按空间和时间采样频率被采样，采样的视频信号就被表示成3维采样数据或象素。因此，连续函数f₃(.)的采样，可以用连续函数f₃(x，y，t)和一组3维三角函数阵相乘表示。然后一个象素的频谱分布，可以通过函数f₃(.)和一个三角函数的傅里叶变换的卷积给出。结果，象素的频谱，在采样频率的时间间隔上，就以三角函数的特征重复。

首先看图1A、1B和1C，这里示出了作为运动物的速度的函数的基带频谱分布，v_x＝1象素/帧时间间隔，v_x＝2象素/帧时间间隔和v_x＝3象素/帧时间间隔，其中实线表示基带的仿形；时间采样频率被标准化为1；空间(x轴方向)和时间频率分别用f_x和f_t表示。

运动物中象素A的运动，使频谱与空间频率轴倾斜，如图1A所示。如图1A、1B和1C所示，当速度增加，所述倾斜角θ也增加。从等式(2)，通过考虑视频信号中的一个象素上的时间频率，就容易理解倾斜的理由：由于在时一空频域上频谱分布与空间频率和运动物的速度的乘积有关，较高的运动物的速度就会引起较高的时间频率。应该指出，频谱是斜交的，而不是旋转的。

接着，如图1A，1B和1C所示，当运动物的速度增加的时候，混淆就出现了。为了便于讲述，假定1象素/帧时间间隔是不产生混淆的极限速度，如图1A所示。如果重复的频谱包含混淆成份，可见的人为现象就出现在图象上。特别是，那些含有高空间频率成分的运动区可能扭曲人的心理状态，例如，感觉到的运动区上的速度与实际速度不同。因此，为了进行有效的时间带限制，希望设计一种不受混淆成份影响的滤波器。

图2是在具有一个固定的时间截止频率f_t ^c的时域中低通滤波的结果。为了进行时间滤波，假设两个条件，一，基带频谱没有空间混淆成份，二，为了简便，只有一个恒定速度的纯水平运动(用f_x表示)。图2所滤掉的成份包括，例如，代表时间混淆的邻近频谱中的高空间频率成份。即，高的空间频率成份损害邻近的仿形(replicas)，换言之，它使一个邻近的仿形之间的干扰出现在显示图象中。

从等式(1)和(2)可以看出，空间(包括垂直和水平分量)和时间频率f_s和f_t的关系可以用下式表示 $f_s=\frac{1}{\left|v\right|}\·f_c---\left(3\right)$ 其中空间频率f_s是在f_x-f_y平面上被定义的。从等式(3)可以看出，当时间截止频率固定以便限制时间带宽的时间，空间截止频率就反比于运动物的速度的绝对值。

假设h(.)是一个低通时间滤波器的脉冲响应，为了简便起见，只有一个纯水平运动(x轴方向)，则时间带受限制的视频信号g(x，t)可以被表示成： $g(x,t)={\∫}_{-\∞}^{\∞}h\left(\mathrm{\τ}\right)\·f(x,t-\mathrm{\τ})\mathrm{d\τ}---\left(4\right)$

其中一个线性相位滤波器被用于减少滤波器响应的群延迟效应。由于假设刚性的恒速平移运动v＝(v_x，v_y)和纯水平运动，一个滤波输出函数就可以用下表示：

f(x，t-τ)＝f(x＋v_xτ，t)           (5)

从等式(5)，运动象素沿时间频率轴的位移，可以通过它在时间轴上点的空间域中的轨迹表示，因此，等式(4)又可写成： $(x,t)={\∫}_{-\∞}^{\∞}h\left(\mathrm{\τ}\right)\·f(x+v_x\mathrm{\τ},t)\mathrm{d\τ}---\left(6\right)$

它的傅里叶变换可以表示成 $G(f_x,f_t)=F\{{\∫}_{-\∞}^{\∞}h\left(\mathrm{\τ}\right)\·f(x+v_x\mathrm{\τ},t)\mathrm{d\τ}\}$ $=F\{{\∫}_{-\∞}^{\∞}h\left(\frac{z}{v_x}\right)\·\frac{1}{\left|v_x\right|}\·f(x+z,t)\mathrm{dz}\}$ ＝H(f_xv_x)·F(f_x，f_t)(7)

其中F表示傅里叶变换的描述符。从式(5)和式(7)可以看出，虽然在时间频域内滤波器脉冲响应H(.)最初有一个预定的时间截止频率，但它随滤波域转换而变化。即，滤波器脉冲响应H(.)有一个与预定的时间截止频率相应的空间截止频率，空间截止频率随运动物的速度变化，以保持时间带限制特性。因此，通过式(6)的运动自适应空间滤波，可获得时间带限制。

现在参考图3，它示出了通过本发明运动自适应空间滤波的方法在空间域中进行的时间带限制的结果。为了解说方便，只考虑时间频率f_t和空间频率f_x。虽然滤波操作是通过适应运动矢量的空间截止频率f_x ^c执行的，用时间截止频率f_t ^c对时间带限制仍可获得。

和图2中所示在时域上进行时间带限制比较，容易知道，所得时间带限制是不受时间混淆成份影响的(反-混淆特性)。

对于实际的视频信号，一个垂直运动应该被考虑。因此，等式(4)，(6)和(7)可以改写成 $g(x,y,t)={\∫}_{-\∞}^{\∞}h\left(\mathrm{\τ}\right)\·f(x,y,t-\mathrm{\τ})\mathrm{d\τ}---\left(8\right)$ $g(x,y,t)={\∫}_{-\∞}^{\∞}h\left(\mathrm{\τ}\right)\·f(x+v_x\mathrm{\τ},y+v_y\mathrm{\τ},t)\mathrm{d\τ}---\left(9\right)$ G(f_x，f_y，f_t)＝H(f_xv_x＋f_yv_y)·F(f_x，f_y，f_t)        (10)

由等式(10)可以看出，空间滤波器的脉冲响应是由具有所要求的时间截止频率的时间滤波器的脉冲响应所决定的。特别，对应于具有一个截止频率f_t ^c的低通时间滤波器的一个空间滤波器脉冲响应h_s(x，y)是通过对在频域内的空间滤波器的脉冲响应H_s(f_x，f_y)进行反傅里叶变换确定的，它的值是由下式确定的

再参看等式(1)，基带频谱只存在于由等式f_xv_x＋f_yv_x＋f_t＝0所确定的3维频率空间中的斜面上，该斜面在图4A中用P₃表示。P₁和P₂分别代表由等式f_t＝f_t ^c，f_t＝-f_t ^c所确定的平面。L₁和L₂分别表示P₁和P₃，P₂和P₃相交的线。平面P₃上的阴影部分表示基带频谱的一部分，它的时间频率小于截止频率f_t ^c。

在图4B中，示出在一个空间频率平面上的图4A中的阴影区的投影，即，f_x-f_y平面。等式(11)中空间滤波器脉冲响应H_s(f_x，f_y)表示，当f_x和f_y被包含在阴影区中时，其值等于1的函数。因此，具有截止频率f_t ^c的时间低通滤波等于取消空间频域上的非阴影区的基带频谱部分。从等式(11)，图4B中f_x ^c和f_y ^c由下式确定： $f_x^c=\frac{f_t^c}{v_x}$ $f_y^c=\frac{f_t^c}{v_y}---\left(12\right)$

运动自适应空间滤波的连续情况已如上述。不过，类似的结果对于不连续的情况也适用。则等式(8)由下式给出 $g(l,m,n)=\underset{k=-N}{\overset{N}{\mathrm{\Σ}}}h\left(k\right)\·f(l,m,n-k)---\left(13\right)$

其中n表示帧的数量；h表示具有2N＋1长度(N是一个正整数)的一个低通时间滤波器的滤波器系数；l和m表示一个象素的水平和垂直位置。则相应的空间滤波由下式给出 $g(l,m,n)=\underset{k1=-L}{\overset{L}{\mathrm{\Σ}}}\underset{k2=-M}{\overset{M}{\mathrm{\Σ}}}{h}_s\·(k1,k2)\·f(l-k1,m-k2,n)--\left(14\right)$

其中h_s表示一个(2L＋1)×(2M＋1)尺寸二维空间滤波器的滤波器系数。虑波系数h_x，可通过对由时间低通滤波器的脉冲响应确定的空间滤波器脉冲响应H_s进行反变换来计算。

由上述可知，滤波操作是根据每个象素的运动在空间域中进行的，从而获得一个时间带限制。因此，当运动物的速度增的时候在重复频谱中出现的时间混淆，可被本发明滤波器有效地限制，从而减少出现在图象运动区内的可见人为现象。

图5示出了一个流程图，总结了本发明对视频信号的当前帧中的一个当前象素滤波的程序。

在S1步中，一个表示视频信号中一个当前象素运动的运动矢量被确定。在频域中一个空间滤波脉冲响应H_s(f_x，f_y)，按照等式(11)，在S2步中被确定。

在步S3中，h₃(1，m)由一个H_s(f_x，f_y)的反傅里叶变换确定。最后，对当前象素滤波结果，由等式(14)，在步S4中确定。所述步S1到S4对于视频帧信号中的所有象素是被重复的，从而得到一个滤波过的信号。滤波器的脉冲响应，可以按照一组预定候选的运动矢量而被预先确定和存储，其中每个滤波器脉冲响应包括(2L＋1)×(2M＋1)个滤波器系数。在这种情况下，空间滤波器h_s(1、m)被选择，只是按照步S1中所确定的运动矢量，而不是在S2和S3步被确定。

现在看图6，这里示出了一个按照本发明最佳实施例，使用运动自适应空间滤波方法的图象编码设备，图象编码设备包含一个运动自适应空间滤波电路10和一个图象编码器20，以便消除滤波视频信号中的多余信息，把视频信号压缩到更易于传送的尺寸。视频信号由视频信号源产生，例如摄象机(未示出)，再馈给运动自适应时—空滤波电路10。

运动自适应空间滤波电路10，按上述等式(14)执行滤波操作。运动自适应空间滤波电路10包括一个帧延迟方块11，一个运动估算方块12，和一个运动自适应空间滤波(MASF)方块13。帧延迟方块11有一个帧缓冲存储器，在缓冲存储器中，一个视频信号被延迟一个帧时间间隔。被延迟的视频信号送到运动估算方块12作为视频信号的一个原来的帧。

如现有技术中所知，运动估算方块12接收来自帧延迟方块11的原来的帧和直接从视频源来的视频信号的当前的帧，求出与包含在当前帧中的每个象素有关的运动矢量。所求得的移位矢量被顺序送入MASF方块13和图象编码器20。为了求得和每一个象素相关的运动矢量，现有技术公知的各种运动估算器可能被使用。例如，仿真模型教育组，MPEQ(运动图象专家组)的视频仿真模型三(SM3)，ISO/IEC JIC1/SC2/WG11，MPEG 90/041(1990年7月)所公开文件中的运动估算器，可以优先被采用。

MASF方块13接收从视频源来的视频信号的当前的帧，并从运动估算方块12求得运动矢量，用于在空间域上对当前的帧进行滤波，如上述。MSAF方块13可能包含一个检查表，它有一组滤波器系数，每个系数是根据一组候选的运动矢量预定的。

来自MASF方块13的滤过的当前帧信号被送到图象编码器20，编码器用于消除滤波视频信号中的多余部分，以便把视频信号压缩至适于传送的尺寸。图象编码器20，根据本发明的最佳实施例，包括一个压缩器22、一个减压器23和一个运动补偿方块26。该压缩器22，在现有技术中是公知的，它使用一个不连续的余弦变换(“DCT”)电路和一个数字变换电路，该电路被公开在Chen和Pratt等人发表的“现场适应性编码器”一文中，见通讯设备电气与电子工程师协会会刊，Vol.COM-32，No.3(1984年3月)，同时减压器23使用一个反数字变换电路和一个反DCT电路。

一个预测视频信号通过使用运动补偿方块26被得到，然后被送到减法电路21，减法电路21产生一个滤波过的当前的视频帧信号和一个预测视频信号之间的差信号。差信号被数字转换并通过压缩器22编码，产生编码数据。编码数据然后被加到一个发射器去发送，并同时送到减压器23，在此数字数据又被转化成差信号。差信号然后又被连到一个加法电路24，在这里它与预测视频信号结合，而提供一个视频信号的重构的当前的帧。原来的帧通过一个帧存储方块25被连到运动补偿方块26去预测下一个帧。因此，位速率降低，可通过利用差信号通常分布在一个小的动态范围内的优点而得到，从而可以用较少的位数来表示。运动补偿块26包括一个运动补偿器26a和一个运动估算器26b，估算器用于预测来自原来帧信号的当前帧信号。运动估算器26可以使用一个逐块处理的匹配算法程序块，这公开在“MPEG视频仿真模型3(SM3)”中。在匹配程序块中，较小的寻找程序是从当前的帧中取得的，较大的寻找区程序块是从原来的帧中取得的，其中目前的帧被分成一组相等的寻找块，原来的帧也被分成相应数目的寻找区。

在与寻找块很好匹配的寻找区中的一个块的位置上显示的寻找块的位移信息，是由运动估算器26b确定的，运动估算器26输出一个相应的运动矢量到运动补偿器26a中。运动补偿器26a接收运动矢量，收回原来帧的预测视频信号。位移信号则加到减法电路21中，以获得差信号。

在运动估算程序块中求得的运动矢量，可通过一个延迟线27送到图象编码器200中，该延迟线用来补偿滤波过程中引起的视频信号的延迟，因此在运动估算器26b中确定运动矢量时优先被采用。

本发明已经结合具体实施例作了说明和图示，很明显，对于那些熟悉本技术的人，在不离开本发明权利要求规定的精神的范围下，要作出变化和修改是可能的。

Claims (3)

1.一种对于具有一个预定时间截止频率的一组象素的视频信号进行滤波以获得其时间带限制的方法，包括步骤：

(a1)确定表示当前象素运动的运动矢量；

(a2)根据所确定的运动矢量和时间截止频率计算在频域中的空间滤波器脉冲响应；

(a3)根据频域中的空间滤波器的脉冲响应确定空间域中的一个脉冲响应，由此对视频信号中的当前象素进行滤波；并且

(a4)重复上述步骤(a1)到a3)，直到所有的视频信号中的象素都被处理。

2.一种对于具有一个预定的时间截止频率的一组象素的视频信号进行滤波以获得其时间带限制的方法，包括步骤：

(b1)根据一组预定的候选运动矢量和时间截止频率，计算在频域中的一组空间滤波器脉冲响应；

(b2)根据频域中空间滤波器脉冲响应，确定一组空间域中的脉冲响应；

(b3)确定候选运动矢量之一，作为表示当前象素运动的运动矢量；

(b4)根据所确定的运动矢量，选择上述脉冲响应之一，由此对视频信号中的当前象素进行滤波；和

(b5)重复上述步骤(b3)到(b4)，直到视频信号中所存的象素都被处理。

3.权利要求1或2的方法，其中滤波视频信号g(l，m，n)用下式表示： $g(1,m,n)=\underset{k1=-L}{\overset{L}{\mathrm{\Σ}}}\underset{k2=-M}{\overset{M}{\mathrm{\Σ}}}h,(k1,k2)\·f(l-k1,m-k2,n)$

其中l和m表示视频信号中的象素部分；n是帧的数目；脉冲响应h_s(k1,k2)，是通过在频域中对空间滤波脉冲响应H_s(f_x，f_y)进行反傅里叶变换确定，它被定义为

其中v_x和v_y表示相应的象素的一个运动矢量，f_t ^c表示时间截止频率；k1和k2是2维滤波器h_s(.)的系数，它们的绝对值分别不大于L和M，正整数L和M表示一个2维滤波器h_s(.)的相应的长度。

Images