CN1120780A - 视频信号的运动自调谐时空滤波 - Google Patents

Abstract

在图像编码装置中用作一个预滤波器的一种运动自调谐时空滤波装置，它通过使用具有根据所要求的时间截止频率及运动部分的速度的频带限制特征的一个滤波器，在时空域上沿运动部分的轨迹处理视频帧信号的时间频带限制，而不会产生时间重叠。

Description

视频信号的运动自调谐时空滤波

本发明涉及用于视频信号的时间滤波的方法与装置；更具体地，涉及用于图象编码装置中的、能够达到瞬时带宽限制而不会导致时间重叠效应从而能获得改善的画面质量的一种运动自调谐时空滤波器(MASTF)。

在诸如电视电话、电话会议及高清晰度电视系统等数字电视系统中，已经采用了利用各种数据压缩技术来减少定义各帧视频信号的大量数据的图象编码装置，这些数据压缩技术中诸如使用离散余弦变换的变换编码，以及用于减少两个相继的帧之间的时间关系的运动补偿编码。

为了有效地进行数据压缩处理，本技术中可资利用的大多数实用图象编码装置都采用各种滤波器作为滤波与帧速降低的前端处理的一部分。这些滤波器起消除或减轻时间噪声的作用并执行带宽限制，从而改善画面质蛳与编码效率。

这种已有技术的装置之一公开在Eric Dubois等人的论文“采用运动补偿的时间滤波的图象序列中的噪声减少”中，IEEE通信学报，COM-32，第7号(1984处7月)，它利用一种非线性递归时间滤波器来减少可能在初始信号生成与输送操作中产生的噪声成分。这一时间滤波器采用运动补偿技术来执行时域中沿运动轨迹的滤波，以减弱运动区域中的噪声成分而不改变图象的细部。

另一种已有技术的装置在Wen-HsiungChen等人的论文“图象编码的递归时间滤波与帧速降低”中描述，IEEE通信选择领域期刊，SAC-5(1987年8月)，它也采用一个递归时间滤波器来执行递归滤波与帧速降低。当将这一滤波器应用在时域中时，能够消除帧间输入噪声并改善画面质量。

颁给K.J.klees的美国专利4,694,342号提出了利用一个空间滤波器的装置，该滤波器既能递归地工作又能非递归地工作而消除视频图象中的噪声，同时基本上保持其细部。这一滤波器包括一个查找表，用于存储预定义的及滤波后的输出象素值以及预定义的反馈象素值，其中一个进入图象的某些部分是经过非递归滤波以基本上保持其图象细部的，而同一图象的某些其它部分则是经过递归滤波以消除其噪声的。

虽然上述与其它已有技术的装置能通过采用沿运动轨迹执行的低通滤波技术而减弱运动区域中的噪声而不改变图象细部，但这些方法倾向于在出现相对地快速的运动的区域中引入人为的现象。从而，这些装置不具备足以应付时间频带限制或时间重叠导致的可见人为现象的能力。

如果在重复频谱中包括重叠部分，则会在图象中出现可见的人为现象。尤其是，由空间高频成分构成的运动区域有可能歪曲心理视觉效果：这便是在移动区域上感觉到的速度可能与实际速度不同。因此，为了达到有效的时间频带限制，便希望有一种不受重叠效应影响的时间滤波器。

因此，本发明的一个主要目的为提供一种运动自调谐时空滤波方法，该方法能够有效地执行视频信号的时间频带限制而不会遭受时间重叠，从而改善画面质量。

根据本发明，提供了一种用一个预定的时间截止频率来滤波视频信号以达到其时间频带限制的方法，其中所述视频信号包含多个帧，每一帧具有大量象素，用于获得视频信号中的一个目标帧中的一个目标象素的滤波结果的方法包括下述步骤：

估算多个运动矢量，每一个运动矢量表示视频信号的各帧中目标象素位置上的运动；

在目标象素的轨迹上作为一个滤波输入函数确定多组象素值，其中各组是通过使用一个对应的帧的运动矢量确定在该帧中的目标象素的轨迹上的；以及

用一种预定的滤波器脉冲特性执行滤波输入函数对合，从而得到具有预定的时间带宽并且没有时间重叠的一个经过滤波的视频信号。

从下面结合附图所作的较佳实施例的描述中，本发明的上述与其它目的与特性将是清楚明白的，其中：

图1A、1B与1C为例示作为一个运动物体的速度的函数的基带频谱分布的图；

图2为描述给使用一个固定的时间截止频率在时域中的传统低通滤波的结果的图；

图3为用于例示时空域中的一个滤波输入函数的图；

图4A至4D例示根据本发明的运动自调谐时空滤波的结果；以及

图5为采用根据本发明的较佳实施例的运动自调谐时空滤波方法的图象编码装置的示意性方框图。

一个视频信号可以用其三维，即水平、垂直与时间分量来对待；并表示为一个连续函数f₃(x，y，t)。假定其运动物体只有匀速刚体平移运动v＝(v_x，v_y)，则连续视频信号F₃(·)的付里叶变换可表示为：

F₃(f_x，f_y，f_t)＝F₂(f_x，f_y)·δ(f_xv_x＋f_yv_y＋f_t)Eq(1)其中F₂(f_x，f_y)为二维视频信号F₂(f_x，f_y)的付里叶变换，而δ(f_xv_x＋f_yv_y＋f_t)则表示三维频率空间中由方程f_xv_x＋f_yv_y＋f_t＝0表示的一个倾斜平面，因此，基带只存在在一个二维频率平面上。Eq(1)公开在诸如R.A.F.Belfor等人的论文“HDTV的运动补偿的二次抽样”中，SPIE，1605，可视通信图象处理’91，274-284页(1991)。从基带频谱的位置可以预测一个时空带宽。即，如果给定了时间带宽f_t ^w，便可从Eq(1)中得出时间带宽f^w _t、空间带宽f_x ^w与f_y ^w、以及速度分量v_x与v_y之间的关系如下：

f_t ^w＝f_x ^w·v_x＋f_y ^w·v_yEq(2)

其中f_x ^w与f_y ^w为x与y方向上的对应空间带宽分量。从Eq(2)可看出时间带宽是与运动物体的速度成正比的；并且在固定了时间带宽时，空间带宽变成与运动物体的速度成反比的。

由于用于滤波的视频信号是以空间与时间抽样频率抽样的，被抽样的视频信号可表示三维抽样数据，即象素。因此，连续函数f₃(·)的抽样可表示为连续函数f₃(x，y，t)乘以一个δ函数的三维阵列。然后，象素的频谱分布便可由(f₃(·)的付里叶变换与一个δ函数的对合给出。从而，象素的频谱由δ函数的特征在抽样频率的间隔上重复。

首先参见图1A、1B与1C，其中示出了作为运动物体的速度的函数的基带频分布v_x＝1象素/帧间隔，v_x＝2象素/帧间隔及v_x＝3象素/帧间隔，其中实线表示基带的复制品；并将时间抽样频率正规化到1；并将空间(x轴方向)与时间频率分别指定为f_x与f_t。

运动物体中的一个象素A的运动导致频谱偏离空间频率轴，如图1A中所示。如图1A、1B与1C中所示，所述偏斜角θ与速度一起增加。从Eq(2)，通过考察视频信号中的一个象素上的时间频率便可容易地理解偏斜的原因：由于频谱在时空频率域上的分布是与空间频率与运动物体的速度的乘积相关的，较高的运动物体速度给出较高的时间频率。应当强调的是，频谱是偏斜而不是转动的。

参见图2，其中示出了用一个固定的时间截止频率f_t ^c在时域中低通滤波的结果。为了进行时间滤波，可以作出以下两种假设：第一，基带频谱没有空间重叠部分，第二，为了简化，只存在匀速的单纯水平运动(以f_x表示)。在图2中，滤波结果包括，诸如表示时间重叠的相邻频谱的空间高频成分B。即，空间高频成分影响相邻的复制品的时间低频成分。换言之，相邻的复制品的空间高频成分与低频成分之间的干扰出现在显示的图象中。

从Eq(1)与Eq(2)可以看出，空间(包括垂直与水平分量)与时间频率f_s与f_t之间的关系可表示下： $f_s=\frac{1}{\left|v\right|}\·f_t----\mathrm{Eq}\left(3\right)$ 其中空间频率f_s是定义在f_x-f_y平面上的。如从Eq(3)中所见，应当理解，当为了限制时间带宽而固定了时间截止频率时，空间截止频率成为与运动物体的速度的绝对值成反比的。

假定h(·)为一个低通时间滤波器的脉冲特性，并且为了简化，只存在单纯的水平运动(x轴方向)，则时间频带限制的视频信号g(x，t)可表示如下： $g(x,t)={\∫}_{-\∞}^{\∞}h\left(\mathrm{\τ}\right)\·f(x,t-\mathrm{\τ})\mathrm{d\τ}----\mathrm{Eq}\left(4\right)$ 其中使用了一个线性相位滤波器来减小滤波器响应的群延迟效应。从匀速刚体平移运动v＝(v_x，v_y)与单纯水平运动的假设中，滤波输入函数可表示如下：

f(x，t－τ)＝f(x＋v_xτ，t)                           Eq(5)

从Eq(5)，运动象素沿时间频率轴的位移可以用其在时间轴上的一点上的空间域中的轨迹表示。从而，可将Eq(4)改写为： $g(x,t)={\∫}_{-\∞}^{\∞}h\left(\mathrm{\τ}\right)\·f(x+v_x\mathrm{\τ},t)\mathrm{d\τ}----\mathrm{Eq}\left(6\right)$

另一方面，在实际视频信号的情况中，匀速刚体平移运动的假设不是永远成立的。再者，如果没有运动物体，则视频数据信号的各象素值由于光源与诸如摄象机等视频信号发生设备的特征的改变而改变。在这些情况中，Eq(5)只在短时间间隔保持成立，并能改写如下：

f(x，t－(k＋1)Δt)＝f(x＋v_x(t－kΔt)·Δt，t－kΔt)

                                                    Eq(7)其中Δt表示一个短的时间间隔，例如一个帧间隔，而K则为一个整数。根据Eq(7)，式(6)可改写成： $g(x,t)=-\underset{\mathrm{\κ}=-\∞}{\overset{\∞}{\mathrm{\Σ}}}{\∫}_{\mathrm{k\Δt}}^{(k+1)\mathrm{\Δ\τ}}h\left(\mathrm{\τ}\right)f(x+v_x(t-\mathrm{k\Δt})\·(\mathrm{\τ}-\mathrm{k\Δt}),t-\mathrm{k\Δt})\mathrm{d\τ}--\mathrm{Eq}\left(8\right)$

从Eq(8)，可以理解，Eq(4)的时间滤波可以通过用其滤波输入函数f(·)的时空滤波来完成。

Eq·(8)是运动自调谐时空滤波的连续描述。类似的结果在离散情况中也成立：将积分用求和来替代，并将dτ用Δτ与j来表示。此时Eq(8)由下式给出： $g(x,n)=\underset{j=-N}{\overset{N}{\mathrm{\Σ}}}\{\underset{l=0}{\overset{L-1}{\mathrm{\Σ}}}h(\mathrm{Lj}+l)\·$

f(x＋v(x，n－j)·Δτ·1，n－j))

                                   Eq(9)其中n为一个帧下标；速度与滤波位置被矢量v与x所取代；包含2N＋1)×L个滤波器系数的滤波器脉冲特性h(·)是连同时间截止频率与预定的数字N，L(N，L为正整数)一起预先确定的；并且如果将象素间间隔表示为Δx，则选择满足|v(·)·Δτ|≤|Δx|的Δτ(如果Δτ不能满足这一条件，则它可导致空间重叠)。

因此，如可从Eq(9)中所见，时间频带限制可以通过时空滤波，即低通滤波，取自空间与时间域两者中的滤波输入函数而得出。

另一方面，如果ΔT是一个帧间间隔，则LΔτ等于ΔT，且v(·)·ΔT等于D(·)，D(·)为表示两个相邻的帧间的一个象素的位移。此时，Eq(9)可修正如下： $g(x,n)=\underset{j=-N}{\overset{N}{\mathrm{\Σ}}}\{\underset{l=0}{\overset{L-1}{\mathrm{\Σ}}}h(\mathrm{Lj}+l)\·$ $f(x+D(x,n-j)\·\frac{l}{L},n-j)\}----$ $\mathrm{Eq}\left(10\right)$ 其中，L选择为满足|D(·)|≤|Δx|·L(这一条件等价于早先描述的条件|v(·)·Δτ|≤|Δx|，因此，如果L不能满足这一条件，它可导致空间重叠)。Eq(10)是Eq(9)的一种实现。时间频带限制是通过时空滤波，即低通滤波，滤波输入函数f(·)而得出的，该函数包括多个(诸如(2N＋1个)滤波输入数据组，其中各组包括从视频信号的对应帧的象素值中得到的预定数目(例如L个)的滤波输入数据。在Eq(10)中，表示视频信号的第(n-j)帧中的滤波输入数据的位置(x＋D(x，n-j)·1/L)可能不与精确的象素位置重合。在这种情况中，滤波输入数据可以通过使用诸如确定相邻象素值的加权和作为滤波输入数据的双线性内插法，从位于围绕该位置的相邻象素中确定。即，滤波输入函数是在时空域上沿运动物体的轨迹得出的。具体地说，包含在滤波输入函数f(·)中的一组输入数据可使用运动矢量从对应的帧的象素值中确定，该运动矢量表示运动物体在视频信号的该帧与其前一帧之间的位移，这一点将在下面结合图3描述。

另一方面，滤波器脉冲特性包括起到将视频信号的带宽限制在一个预定的带宽上的作用的多个，即(2N＋1)×L个，滤波器系数，这些滤波器系数可以根据所要求的时间截止频率及预定的数字N与L预先确定。例如，当时间截止频率为f_t ^c时，则用截止频率f_t ^c/L来设计滤波脉冲特性。

实际上，可以从Eq(10)中看出，滤波的数据g(·)，即频带限制数据，是通过卷旋各组滤波输入数据与对应的滤波器系数并通过求各组滤波的输入数据之和而得到的。

参见图3，其中示出了本发明的运动自调谐时空滤波方法的滤波输入函数说明图。为了简化，各帧用一条线表示，例如F_c－1、F_c与F_c＋1，并且Eq(10)的N与L分别假定为1与4。换言之，为了得到一个目标帧F_c中的一个目标象素的经过滤波的数据，在滤波处理中使用了三个滤波输入帧，即包含要在其上执行滤波操作的目标象素的目标帧F_c，及其两个相邻的帧F_c－1、F_c＋1，其中c－1，c与c＋1表示帧下标；并根据在其后面的帧中目标象素位置上的象素的运动矢量在各滤波输入帧上确定四个滤波输入数据。目标象素的位置是分别在帧F_c－1，F_c与F_c＋1中作为x₁₀、x₂₀与x₃₀表示的，并且垂直轴为时间轴。

为了得出目标帧F_c中x₂₀上的目标象素的经过滤波的数据，确定了多组(即三组)滤波输入数据，每组包括预定数目(例如4)的位于对应的滤波输入帧中的目标象素的对应运动轨迹上的滤波输入数据。具体地，根据帧F_c－1、F_c与F_c＋1中的运动矢量D(x₁₀，c－1)、D(x_20，c)与D(x₃₀， c＋1)分别在目标象素位置上的象素轨迹上确定三组位于(x₁₀，x₁₁，x₁₂，x₁₃)，(x₂₀，x₂₁，x₂₂，x₂₃)与(x_30，31，x₃₂，x₃₃上的滤波输入数据。

如图3中所示，很容易理解，滤波输入数据等于价于视频信号的时间插值或向上抽样的帧中的目标象素值。例如，帧F_c－1中x₁₁处的滤波输入数据等价于时间t＝-3ΔT/4上x₁₀处的象素值。这可表示如下： $f(x_{10}+D(X_{10\′}-\mathrm{\ΔT})\·\frac{1}{4},-\mathrm{\ΔT})=f(X_{10}\′-\frac{3}{4}\mathrm{\ΔT})--\mathrm{Eq}\left(11\right)$

空间域与时间域之间的等价性如图3中虚线所示。

参见图4A至4D，其中示出了通过使用本运动自调谐时空滤波方法在时空域上的视频信号的低通时间滤波结果。在图4A中，示出了原视频信号的基带频谱。如上所述，获得各组滤波输入数据的过程等价于时间向上抽样或插值，如图4B中所示。如果所要求的时间低通滤波的截止频率为f_t ^c，则本发明的滤波器的截止频率为f_t ^c/L，如图4C中所示。滤波结果的最终频谱示出在图4D中，它们是图4C中的频谱的向上抽样型式(注意，没有为插入的帧提供滤波结果)。与图2中的时间频带限制相比，应能容易地理解，本发明的时空频带限制不受时间重叠部分影响。

如可从Eq(10)及图3、4A、4B、4C与4D所示，应能理解，滤波操作是在时空域上沿运动物体的轨迹进行的，借此得出一个时间频带限制。因此，本发明性滤波器能够有效地消除在运动物体的速度增加时可能出现在重复的频谱中的时间重叠，从而极大地减少出现在图象中的运动区中的可见人为现象。

参见图5，其中示出了采用根据本发明的一个较佳实施例的运动自调谐时空滤波器的一个图象编码装置。该图象编码装置包括一个滤波电路100，用于执行根据本发明的运动自调谐时空滤波；以及一个视频编码电路60，用于为了将视频信号压缩到更易处理的大小以供传输而消除经过滤波的视频信号中的冗余性。该视频信号是从一个视频信号源生成的，例如一台摄象机(未示出)，并送至滤波电路100。

滤波电路100按照Eq(10)执行运动自调谐时空滤波操作，如上所述。滤波电路100包括一个帧缓冲器10、一个运动估值器20、一个运动矢量缓冲器30、一个滤波输入格式器40及一个滤波计算器50。帧缓冲器10中存储一个正在输入到滤波电路100的当前帧及多个(诸如(2N＋1)前面的帧，即在滤波过程中要用到的滤波输入帧。具体地，假定N＝1，则帧缓冲器10中存储有当前帧F_c＋2，及三个滤波输入帧F_c－1、F_c与F_c＋1，其中c＋2、c＋1、c与c－1为帧下标。运动估值器20接收视频信号的两个接连的帧，即直接从视频信号源输入的视频信号的当前帧F_c＋2及存储在帧缓冲器10中的其前面的帧F_c＋1，并抽取与包含在当前帧F_c＋2中的各象素相关联的运动矢量。为了抽取运动矢量，可采用本技术中著名的各种运动估值方法(例如，见MPEG视频模拟模型3，国际标准化组织，画面与声音信息的编码表示，1990，ISOIDEC/JTC1/SC2/WG8 MPEG 90/041)。

将抽取的运动矢量耦合到运动矢量缓冲器30并将其存储在其中。根据本发明，运动矢量缓冲器30中存储帧F_c＋2、F_c＋1、F_c与F_c－1的运动矢量。

将存储在帧缓冲器10中的滤波输入帧及存储在运动矢量缓冲器30中的与滤波输入帧相关联的运动矢量耦合到滤波输入格式器40。滤波输入格式器40确定构成Eq(10)中的滤波输入函数f(·)的多组(例如3组)滤波输入数据。如上所述，如果判定滤波输入数据位于一个并不落在精确的象素位置的位置上，则滤波输入格式器40通过计算其四个相邻的象素的加权和来提供滤波输入数据。滤波输入数据是耦合到滤波计算器50上的。

在滤波计算器50中，使用从滤波输入格式器40输入的滤波输入数据计算以Eq(10)表示的滤波后的数据g(·)。

包含多个(例如(2N＋1)×L个)滤波器系数的滤波器脉冲特性是根据所要求的时间截止频率f_t ^c、N与L确定的，而f_t ^c、N与L则是通过考虑了视频信号的特征，为满足前面结合Eq(10)所描述的条件而预先确定的。滤波器系数可在滤波过程之前预先确定并存储在滤波计算器50中。如上所述，滤波电路100执行运动自调谐时空滤波操作，借此得出一个时间频带限制的视频信号。

从滤波计算器50输出的滤波后的视频信号被耦合到视频编码电路60，在其中，用本技术中已知的各种方法压缩视频信号(例如，见MPEG视频模拟模型3，国际标准化组织，画面与声音信息的编码表示，1990，ISO-IEC/JTC1/SC2/WG8MPEG 90/041)。将编码视频信号耦合到一个发送机供发送。

虽然参照具体的实施例示出与描述了本发明，但对于熟悉本技术的人员而言，显而易见，可以在不脱离所附的权利要求书中所定义的发明精神与范围的条件下作出许多改变与修正。

Claims (4)

1、一种用于通过以一个预定的时间截止频率滤波一个视频信号以得出其时间频带限制而提供该视频信号的各象素的一个经过滤波的数据的装置，其中所述视频信号包括多个滤波输入帧，这些帧中包括一个在其上执行滤波操作的目标帧及所述目标帧的预定数目的前面的帧与后面的帧，各滤波输入帧具有多个象素，所述装置包括：

用于估算各表示包含在该视频信号中的各象素的运动的多个运动矢量的装置；

用于为包含在该目标帧中的一个目标象素确定一个滤波输入函数的装置，其中该滤波输入函数包括多组滤波输入数据；各组滤波输入数据是根据在目标象素位置上的象素的运动矢量，确定在多个滤波输入帧的每一个中的目标象素位置上的一个象素的轨迹上的；

用于以一种预定的滤波器脉冲特性执行滤波输入函数的对合，从而得出目标帧中的目标象素的经过滤波的数据的装置。

2、一种用于通过以一个预定的时间截止频率滤波一个视频信号以得出其时间频带限制而提供该视频信号中的一个目标象素的经过滤波的数据的方法，其中所述视频信号包括多个滤波输入帧，这些帧中包括一个其中具有该目标象素的目标帧以及预定数目的所述目标帧的前面的帧与后面的帧，各滤波输入帧中具有多个象素，所述方法包括下述步骤：

估算多个运动矢量，各运动矢量表示该视频信号的各帧中的目标象素位置上的各象素的运动；

确定目标象素的一个滤波输入函数，其中该滤波输入函数包括多组滤波输入数据；各组滤波输入数据是根据目标象素位置上的象素的运动矢量，在多个滤波输入帧的每一个中的目标象素位置上的一个象素的轨迹上确定的；以及

以一种预定的滤波器脉冲特性，执行滤波输入函数的对合，从而得出目标帧中的目标象素的经过滤波的数据。

3、权利要求2的方法，其中该滤波器脉冲特性是根据时空截止频率f_c确定的，f_c表示如下： $f_c=\frac{f_t^c}{L}$ 其中f_t ^c为时间截止频率；而L则是与视频信号中的运动物体的速度相关的一个预定的正整数。

4、权利要求3的方法，其中所述经过滤波的视频数据表示如下： $g(x,n)=\underset{j=-N}{\overset{N}{\mathrm{\Σ}}}(\underset{l=0}{\overset{l=L-1}{\mathrm{\Σ}}}h(\mathrm{Lj}+l)\·f(x+D(x,n-j)\·\frac{l}{L},n-j))$ 其中x为目标象素的位置；n为视频信号中的目标帧的下标；滤波器脉冲特性h(·)中包括(2N＋1)×L个滤波器系统；j为绝对值不大于N的一个下标；N、L为正整数；而D(·)则为表示目标象素的一个运动的运动矢量。

Images