CN1119028C - 在具有周期性结构的帧中校正和估算运动的方法 - Google Patents

Abstract

本发明涉及一种在通过比较诸帧的诸块(其中每一块有一相关的误差矩阵)来确定运动矢量的系统中对包含周期性结构的诸帧中的运动估算进行校正的方法。它包括确定相邻周期性块的阶段及为所有这些块选取单一运动矢量的阶段。本发明特别适用于电视领域。

Description

在具有周期性结构的帧中校正 和估算运动的方法

本发明涉及校正具有周期结构的帧内的运动估算的方法。该方法特别适合具有场频率变化的帧转换系统，特别是隔行扫描50Hz格式转换为逐行扫描的75Hz格式。本发明特别应用于电视范围。

从帧转换系统的角度看，运动的估算允许该系统性能得到实质性的增强。然而，在帧内的周期结构的存在能够造成运动的方法失效，还能产生不适合输入场时间插入的受干扰的矢量场。

让我们考虑一个例子，带有垂直条纹的斑马从左跑到右越过片均匀的热带稀树草原和被拍摄得如此之近以至于包括了大量的主块。在这些主块中决定正确的运动矢量因此是困难的。如果斑马的连续的条纹被分别指定为a，b，c，正确的矢量应当使第一帧的条纹a对应着随后帧的条纹a，对所有的条纹都是如此。包括对应着每一个测试的运动矢量的误差的误差矩阵是误差最小的误差矩阵。

然而，使第一帧的条纹a对应2/3场的条纹b和使第一场的条纹b对应2/3场的条纹c等的矢量也在矩阵中产生最小值。

从数字化噪声和一帧中固有的噪声的观点来看，对应于正确运动矢量的误差可以比当前矩阵的最小误差大，这后者误差因此对应着不正确的矢量。因此，通过仅使用最小误差准则来选取矢量，就产生了差错，该差错将被再现和在该方法的输入场时间插入时在还没有解决不确定性的该动物的所有部位上看到。

在同时以Thomson Consumer Electronics SA的名义在1993.10.11递交的EP-A-93402507和在1995、3、31日递交的EP-A-95400721这两个欧洲申请中均已经提到周期性结构的检测和估算结果的校正。

在这两个申请中，一旦一个块被认为是属于周期结构，该块的运动矢量就从一组候选矢量中被确定。它是在候选矢量当中给出最小误差的那个矢量。候选矢量是邻近块或邻近块组合的矢量。

现在这种逐个周期块校正运动矢量的方法能为相同结构的诸块引入不同的矢量，如果邻近块包括具有不同运动的物体，它就可能把与所期望运动无关的矢量分配给这些周期块。

本发明是关于校正在系统中具有周期性结构的诸帧内的运动估算的方法，该系统通过比较帧的块以确定诸运动矢量，一误差矩阵与每一块相关，其特征在于，本方法包括以下阶段：

确定邻近诸周期块和

为所有这些块选取唯一的运动矢量。

仅在周期结构被确定后才对运动矢量施加校正。在该结构中，将有很好的运动一致性。

依照一特定的实施例，选择运动矢量本身的阶段包括逐项地对周期块的误差矩阵求和的阶段。

逐项对矩阵求和允许为所有这些块获得一矩阵，因而允许选取运动矢量的准则与该块组相关。该总和矩阵等效于假定运动已经在包括所有周期块的“宏块”上被估算时会获得的矩阵。

根据一特定的实施例，在诸块同一行上的所有相邻的周期块均被考虑。

该例限制在同一行的结构。然而，如后边所看到的，虽然允许为先前行的可能的周期结构确定矢量，这并不妨碍在周期性的区域的地区的组合行中获得一致的矢量场。

和不进行校正的运动估算系统相比较，限制到一行允许不致过分地增加所需系统和存储器的复杂性。事实上，通常的运动估算系统一般一行接着一行和一块接着一块地进行。

依照本发明的方法也明显地可以应用于块的列上。例如向上或向下的词语将由向左或向右取代，等等。

根据一特定实施例，选取运动矢量的阶段也包括确定一组候选矢量和把在总和的矩阵中给出最小误差的候选矢量选作单个矢量的阶段。

根据一特定的实施例，选取运动矢量的阶段还包括从左和右周期块中的两个矢量中选取其中之一作为单独矢量的阶段，如果对应所述两上矢量之一的总和矩阵内的误差在其行上是局部最小值的话。

依照一特定的实施例，如果所述的两个矢量均不满足上述条件，那末给出总和矩阵的最小误差的矢量被选出作为单独矢量。

依照一特定的实施例，最后保持的单独矢量是直接在邻近周期诸块之一上面的块的矢量，如果该块也是周期性的，和如果在总和矩阵中与该块相关的误差在该行是局部最小的话。

如先前所述，该阶段允许脱离诸块一行的限制。

本发明也是关于基于帧的诸块在运动估算系统中检测周期结构的方法，它包括为当前块确定各种运动矢量的误差矩阵的阶段，确定包括矩阵最小误差的矩阵的行的阶段，确定所述行的最大误差阶段以及确定所述行的最小第二最小值的阶段，其中块的周期性的条件是所述的两个最小值在数值上接近。被考虑的周期性诸块的运动估算被上述的方法加以校正，所述的检测方法的特征在于，它包括以下阶段：

确定所述行的最大第二最大值，

算出该帧的噪声电平，

使用以下的附加条件来确定块周期性：

至少两小最值中的一个和第二最大值之间的差别相对于该帧的噪声电平应是显著的。

使用第二最大值检测周期性结构一方面避免了在噪声一致的区域不适当地检测周期结构，而另一方面避免了由于噪声的存在而产生第二最小值的情况。

根据一特定的实施例，第三条件应当被满足：最大误差相对于该帧的噪声电平应当是显著的。

依照一特定的实施例，该帧的噪声电平等于在一帧的所有块上得到的每一块的诸最小误差和差值中的最小者：

Errminabs＝min       {Errmin(i，j)，(Errmax-Errmin(i,j)}

           i＝1，...，a

           j＝1，...，b

这里Errnin是为块(i，j)确定的最小误差，而Errmax是为块(i，j)确定的最大误差，a和b是该帧的水平和垂直块的数目。

显然，检测和校正方法能够相互独立地加以应用。

本发明的其他特征和优点将会从附图及下文描述的非限定举例的描述中体现出来。

图1是本方法相对于时间轴的各输入和输出场；

图2是利用根据本实施例的方法的装置方框图；

图3是图2中该装置特定点处的各场的定时图；

图4是包含周期性结构的一帧，以及能为这样的一帧产生运动矢量的举例；

图5是与包含有矩阵最小误差的一给定运动矢量的一垂直分量相关联的一误差矩阵的一行的误差直方图；

图6是在确定一帧运动矢量场中考虑到允许周期性块时所采用的方法；

图7是两个低通滤波器；

图8表示场1，2和2/3和表示相对于主块的一个子块位置，该主块的矢量被选择作为该子块的候选矢量；

图9表示场1，2/3和3以及表示相对于主块的一中间块的位置，该主块的矢量被选择作为候选矢量；

图10(a)是为降低递归时间噪声由本方法所使用的非线性函数；

图10(b)是为降低递归时间噪声的一滤波器的方框图；

图11是用于场1插入的中值型空间和时间滤波器；

图12描述的是同在该帧中存在周期性结构相关联的一问题；

图13是用于场2插入的两个空间和时间滤波的实施例；

图14是用于场3插入的两个空间和时间滤波器的实施例；

图15是图2所示装置在电影(film)方式期间的特定点处的场定时图；

图16分别为视频场的正常操作方式，电影场的正常操作方式和电影场的特殊操作方式的场的三个时间关系图(a，b，c)。

本发明将参照将50Hz隔行扫描电视帧频率转换为75Hz逐行扫描帧频的方法加以说明。

在同一天一起提交的两个专利申请涉及本方法的其它方面。

约定

一周期被定义为允许一输出场被显示的时间间隔，即1/75秒。一循环被定义为该算法的一整个循环所需的时间间隔，即3个周期或1/25秒。

该过程每3个输出场或每2个输入场作完全相同的重复。根据约定，第1输出场具有号数1，第2场具有号数2，等等。然而，由于过程是循环的，场1，4，7被等同地产生，它们被称为1型场。类似地，场2，5，8或场3，6，9也将分别等同地产生并分别称之为2型和3型场。

根据约定，输入场将参照它们所在的相对于输出场的位置来编号，这样，在时间上对应于一输出场的一输入场将有与该输出场相同的号码。位于两个输出场之间的一输入场将具有这两个场的号码：例如，位于输出场2和3之间的一输入场将被称为场2/3。

图1描述了输入和输出场分别的位置。

输入场1包括在电视屏上显示的第1行，它已被认作为行0。该场从而是奇输入场，由行0，2，4，......624构成，偶场2/3将包括行1，3，5，......623。变量y表示在屏幕扫描方向从顶到底增加的行号。变量x被用于表示一像素的横坐标，它也在扫描方向上从左到右地增加，t表示标准化的时间，使得一个时间单位代表一个循环。场1位于时间0处，场2/3位于时间1/2处，和场4位于时间1处。

输出场包括所有行号，因为它们是逐行扫描场。在给定像素位置处的亮度信号由变量P(x，y，t)表示。

概略图示：

已描述的转换方法和实现该方法的装置的优点在于仅要求一单个场存储器。作出该项限制的原因是，该方法的目的是在大量生产的家用电器上实现。因此对设备来说生产成本的降低是一个重要的因素。

图2是实现本发明的装置的方框图，在下文中对每个单元加以详述。

该装置包括组织成FIFO的一随机存取存储器1，设置该随机存贮器1的意图是利用读的手段，将一场重复二次来使场频从50Hz增加到75Hz。该存储器1从而以50Hz频率接收输入场和以75Hz频率提供输出场。

该装置还包括含有两个滤波器的噪声降低电路2：一主要用于降低脉冲噪声的空间滤波器和一递归时间滤波器。该空间滤波器接收从存储器1送出的场，然后将滤过波的场传输到时间滤波器。该时间滤波器还接收由以前处理过的场信息组成的称为投影场的场。时间滤波器操作将在下文详细描述。

经过时间滤波的场被存储在场存储器3中并传输到插入器4。插入器4在两个输入场之间插入以传递该装置的输出场。该插入器4从运动估算电路5接收运动矢量。在场存储器3中存储的场和在存储器1中读出的“当前”场之间估算该运动。在噪声降低期间利用相关于该运动估算的一确定的信息量。

图3包括相关于通过图2装置的各单元处理过的场的定时图。识别每个定时图的各字母对应于在图2的识别各单元之间连接关系的字母。

以锯齿形表示的场对应于该场的扫描。

第1定时图(I)对应于存储器1的输入场，即50Hz隔行扫描场，场1是奇数，场2/3是偶数，等等。

第2定时图(A)对应于存储器1的输出。该场以75Hz的速率被再次读出。场1(和场4，7，......)被读一次，在写结束之前开始读。场2/3(和场5/6，8/9......)被读两次。

第3定时图(G)表示场存储器3的输出。该存储器在它的输入场和它的输出场之间保持一场的时间偏移，以便能准确执行插入。为此，存储器不是简单地表现为一场的延迟，如果是这种情况，滤过波的场2/3会呈现在存储器的输入处和它的输出处。因此，在场存储器的输出处的是被重复两次的滤过波的场1。

第4定时图(B)表示对由运动估算器送到该装置的其余部分的信息进行计算的周期。在下文将进行详细描述，该运动估算器在一给定循环中的每个周期有不同表现。对于1型场，为宽块(称为主组)计算粗略的运动矢量(基准“MB”)，而为该主块的子块的其它两场确定较精细的运动矢量(基准“ SB”)。对子块的矢量的计算以主块的粗略矢量为基础。定时图中的基准“MB 1/2/3”指明，例如，在场1和场2/3之间的“粗略”运动的估算周期。

第5定时图(C)涉及降噪电路的空间滤波器的输出。该滤波在从存储器1读出的场上直接运行。

第6定时图(D)表示通过降噪电路同空间滤波场作比较的投影场。

第7定时图(E)指明时间滤汉器的输出，因此是插入器4和场存储器3的输入。

最后的定时图(F)指明插入器的输出，从而是该装置自身的输出。

运动估算器：

运动估算器通过多层次块比较处理来操作。该处理在两级中进行。该帧首先被划分为被确定运动的16*32像素的粗略块或主块，然后，这些主块被分为子块以便细化矢量场。

对通常含有足够信息以便描述在屏幕上目标运动的亮度信号执行估算。很明显还有可能利用色度信息或色度与亮度信息的组合去进行估算。

首先，用因子2在水平和垂直方向上执行输入场的二次采样。估算需求的计算次数从而除以4。然而，二次采样场将仅用于估算运动。输出场将从完整的场插入。

该二次采样明显地限制了运动矢量的分量为偶数值。在垂直方向上这不是问题，因为在广播期间，通过场的隔行扫描已经施加了抑制。

在二次采样期间，仅保留奇数行和偶数列。然而，帧的点将仍用迄今使用的坐标系统来标记，而禁止的像素不属于二次采样区域。

根据本实施例，在着于二次采样之前，一用于抑制空间高频率(频谱叠加的来源)的低通滤波器将被提供给该场。为水平地实现这些，利用具有7个系数的三角窗口，例如，

其中Phorizontal(x，y，t)表示在像素位置(x，y)及时间t的水平滤波后的亮度。

在垂直方向上也执行滤波，仅奇数行被保留，这对应于输入场1的垂直插入行数和场2/3的输入行数。为了调和两个二次采样后的输入场的频谱内容，执行对输入场2/3的低通滤波： $\mathrm{Psub}-\mathrm{sampled}(x,y,\frac{1}{2})=\frac{1}{4}\left[\begin{array}{c}\mathrm{Phorizontal}(x,y-2,\frac{1}{2})\\ +2\mathrm{Phorizontal}(x,y,\frac{1}{2})\\ +\mathrm{Phorizontal}(x,y+2,\frac{1}{2})\end{array}\right]$

对于1型场，利用简单的垂直平均来产生奇数行： $\mathrm{Psub}-\mathrm{sampled}(x,y,0)=\frac{1}{2}[\mathrm{Phorizontal}(x,y-\mathrm{1,0})+\mathrm{Phorizontal}(x,y+\mathrm{1,0})]$

函数Psub-sampled(x，y，o)和Psub-sampled(x，y，1/2)仅在偶数x和奇数y时被定义。为简化起见，二次采样的场由P′(x，y，t)表示，使用的滤波器在图7中示出。

如前所述，多层次估算处理在一循环的3个周期期间表现不同：

-对应于代表在场1和2/3之间运动的主块的矢量在周期1计算。

-对应于更精确代表场1和2/3之间运动的子块的矢量在周期2计算，是借助于在周期1确定的矢量的计算。

-对应于代表在场2/3和4之间运动的子块的矢量在周期3计算。在本情况下，用由对应于主块的更新的矢量值所组成的中间块的矢量来作计算。

在场1和2/3之间的粗略矢量场的确定：

该帧首先被分成32*16像素的主块。如对于标准采样频率来说，有效(active)帧的尺寸是720*576像素，从而每行有23个主块和每列有36个主块。

对于具有0和22之间的i以及0和35之间的j的标记(i，j)和根据定义属于输入场(时间上的最新场)、从而属于场2/3或等价场的一主块，一运动矢量(u，v)的误差由下式确定： $E_{(i,j)}(u,v)=\underset{l=\mathrm{0,2},...,14}{\overset{k=\mathrm{0,2,4},...,30}{\mathrm{\Σ}}}\left|P^{\′}\right[\left[\begin{array}{c}{M}_x*i+k\\ M_y*j+l\end{array}\right],t]-P^{\′}[\left[\begin{array}{c}{M}_x*i-u\\ M_y*j-v\end{array}\right],t-1/2\left]\right|$

其中Mx＝32，主块横坐标尺寸，

和My＝16，主块纵坐标尺寸。

然后为每个主块计算误差矩阵：该矩阵的每个单元对应于与可能的运动矢量有关的误差，即：

Err(i，j)＝(E(i，j)(u，v))当u＝-16，-14，......14，16；v＝-4，-2，0，2，4

运动矢量的分量是偶数并且分别在-16和+16之间，以及-4和+4之间。考虑中的主块从而同一以前场的一检测窗口的块比较，该检测窗口位于相关于该以前场的主块的周围。从所有矢量中保留下来的那个矢量记录为(u′，v′)并对应于误差函数的最小值。

                Errmin＝min(E(i，j)(u，v))＝Err(i，j)(u′，v′)

                   当u＝-16，-14，......14，16和v＝-4，-2，0，2，4

通过一块接一块扫描和通过应用该检测到每个主块来计算整个帧的矢量场。

在计算该主块层次的矢量场期间还测定帧的噪声。为此计算一附加值，矩阵的最大误差：

Errmax＝max(E(i，j)(u，v))

    当u＝-16，-14，......14，16；v＝-4，-2，0，2，4

Errmin表示两种噪声之和的估算值：亮度信号的固有噪声和运动矢量数字化的噪声。事实上，如果已经算出的运动矢量对应于在帧中实际存在的运动，Errmin就是主块容量的两个等同面积中存在的亮度差的和：从而这些差的单一来源是帧的噪声。

另外，如果由于这些可能的矢量的数字化而计算的矢量极差地代表该运动，那么，在该矢量上产生误差的分量将被加到以上的噪声中。Errmin太精确以致于不能确定帧的实际噪声。

因此定义第2估算器，即Errmax-Errmin。它也取决于帧的数字化噪声。在一均匀的区域上，最大误差和最小误差之间的差仅来源于帧噪声。如果数字化噪声高，即Errmin和Errmax二者都受影响，则希望该估算器对由差分消除的数字化噪声较不敏感。

还定义了两个估算器Errminabs和Noiseest：

Errminabs＝min{Errmin(i，j)，(Errmax-Errmin)(i，j)}

                              i＝0，......22

                              j＝0，......35

Noiseest_i，j＝min{Errmin(i，j)}

对周期1计算值的校正：

根据一个变化例，当帧包含均匀区域时进行第1种校正。

在均匀区域，例如一块蓝天，误差矩阵近似常数，波动是由于存在着帧噪声。所以，根据本发明的处理而计算的矢量是不可预测的，可以导致对该处理的剩余部分有害的矢量场显著的不一致性，当存在这种不一致性时，就决定强制使对应的矢量为零。

该强制事实上是一个分量接一个分量提供的。事实上，如果在帧中考虑到一水平边界(例如，有蓝天作顶的悬崖)，由于在矩阵的每一行上误差是常数，运动矢量的分量u不固定，所以将该分量强制到零。与此类似地处理垂直边界情况下的分量v。

根据本实施例，用于确定一矢量分量是否应强制到零的准则与上述计算的噪声电平相关。

如果Err(i，j)(O，v)-Err(i，j)(u，v)＜Errminabs*threshold_x则u＝0

如果Err(i，j)(u，O)-Err(i，j)(u，v)＜Errminabs*threshold_y则v＝0

其中Errminabs＝min{Errmin(i，j)，(Errmax-Errmin)(i，j)}

                                      i＝0，......22

                                      j＝0，......35

threshold_x和threshold_y的值等于2的倍数：例如2，4，8，......。

用平常语言说，如果由零分量矢量引起的误差和由运动估算确定的矢量之间的差和在帧中预计的固有噪声为同一数量级，就进行校正。

按照本发明实施例，当帧含有周期性结构时就进行校正。

这种类型的结构所产生的问题已经在介绍中涉及。然而，图4和12可以弄清楚该问题，使得能更好地了解所面对的检测和校正。

图4中阴影块代表将被估算运动的块，然而，间断线的两块代表在误差矩阵中产生最小误差的基准帧中的两块。不正确的矢量将会在输出场的插入期间产生非常明显的缺陷。

这些缺陷用就近观察的图12描述，在这里，奇偶性相反的两场之间的块的真实运动是通过具有+2的水平分量的矢量给定的。如果运动矢量是零，图中右手部分描述的缺陷出现在隔行扫描期间。为明显表示该缺陷，该行的高度已被夸张。

在本实施例的上下文中我们将自我限制到水平周期性(例如，具有垂直条带的斑马)，这是因为主块的尺寸和运动矢量的可能的垂直分量的范围使得这类误差不大可能在垂直方向出现。垂直分量的范围太受限制以致于不允许有效的检测和校正。然而，本领域的技术人员很容易适应下文中所描述的校正特别是对垂直周期性的校正。

现在提出两个阶段：这种类型误差的检测和然后的校正

从误差矩阵Err中检测这种类型的缺陷。事实上，含有矩阵最小单元的行也含有将要解释的一个或多个第二最小量(值)。

首先，含有最小值的误差行(Row(u))将被从矩阵中提取(-16＜＝u＜＝+16)。令umin作为Row(u)的最小值的符号。第二最小值被初步检测，特点是它是一局部最小值：

Row(u-1)＞Row(u)并且Row(u+1)＞Row(u)

仅仅保留能满足该准则的第二最小值中的最小的那个值。令usec_min为行Row(u)中u的符号。位于umin和usec_min位置之间的第二最大值然后被检测。其特点是它是一局部最大值：

Row(u-1)＜Rwo(u)和Row(u+1)＜Rwo(u)

仅仅保留能满足该准则的第二最大值中最大的那个值。令usec_max为Row(u)中u的符号。

图5中的直方图代表这样一种情况的特征举例。

第二最小值和绝对最小值以及第二最大值经两次附加试验以证实周期性结构的存在：

-两个最小值应在数值上靠近(C1)，

-它们和第二最大值之间的差值应当比当前的噪声电平显著(C2)。

应采取这些预防措施制止将斑马边界上的主块考虑为周期性的。事实上，主块能骑在斑马的边界上，一半属于动物，另一半是热带稀树草原。该块能给出一个误差最小值，但是该最小值大于与周期性相联系的最小值。因此有噪声的的误差矩阵不被认为是周期性的。

注意下列公式：

Errmin＝Row(umin)

Errmax＝Row(umax)

Err_sec_min＝Row(usec_min)

Err_sec_max＝Row(usec_max)

以下是强制条件：

(C1)Err_sec_min-Errmin＜a*Errmax

(C2)Err_sec_max-Err_sec_min＞b*Errminabs

(C3)Errmax＞c*Errminabs

根据当前的实施例a＝0.5

                b＝2

                c＝4

验明所有条件的误差行将从与可能含有周期性结构的块有关的矩阵中得出。

根据一变化例，只有头两个条件被组合。

与该主块相关联的矢量然后被校正。

为此目的，仅考虑周期性的主块是不够的。参照绘制的斑马，可以想象，不包括在主块中的动物的整个部分被删去，获得的是具有垂直条的矩形。当寻求与这矩形对应的先前帧的部分时，将找到若干可能的有条带的矩形，不可能决定应考虑是哪一个。为进行这种选择，主块被逐渐扩大以便消除不确定性。该处理描述在图6中，其中的阴影块是该帧一行的周期性块。

在一给定行中，检测到周期性主块会指明已经找到了含有周期性结构的该帧的整个区域。该主块的运动矢量不是立即被保留。相反，对应于该块的误差矩阵被存储。

现在转到同一行上的下一主块。如果它也是周期性的，它的误差矩阵再次被存储。最后达到周期性结构的端部，即在本例中的斑马的右边缘。

令(i1，j1)是遇到的第1周期性主块的坐标和(i2，j1)是最后一个周期性主块的坐标。所有存储的矩阵一项一项地相加，获得一个矩阵，其分量是：

对于所有的u∈[-16，-14，......14，16]和对于所有的u∈[-4，......，4]

Sum(u，v)＝∑Err(i，j)(u，v)

i＝i1，i2

j＝j1

如果基本算法已经提供给宽度为单个主块宽度的(i2-i1+1)倍的一主块，则会获得相同的误差矩阵。显然该误差矩阵有相同的大小。

该矩阵还不足以确定良好的运动矢量。应当考虑周期结构开始处和结束处的块。事实上，这些块一般都包含有运动中的周期性区域的边缘，从而允许除去在误差矩阵中包含的信息的不确定性。

在确定上述的矩阵之后，进行如下过程：

-在周期性结构的开始和结束处考虑两个主块的矢量。从每一个的和矩阵中提取相应误差。保留误差最小的那个矢量。

-如果该矢量并不对应着误差矩阵的该行的局部最小值，就选择误差矩阵的最小值并保留相应的矢量。

-最后，为了获得相邻周期块之间的垂直相关性，要验证直接在这行诸周期块上的诸块中的一个是否也是周期性的，如果是，则保留它的矢量，只要它对应于在该误差矩阵的行中的一最小值。

于是保留的矢量将是用于周期结构的所有块的那个矢量。

在确定矢量和可能进行第1种和/或第2种校正之后，所获得的矢量场是：

-＞

MB(i，j)其中0≤i≤22和0≤j≤35

矢量场空间分辨率的细化：

在周期2和3期间该处理的阶段被连续使用2次。

设法通过将矢量划为更小单位：子块(在本例中具有4*4像素的尺寸)使运动的特征更精细。这将使矢量场能更好地适应运动目标的边界。

根据本例，在一帧宽度中有180个子块和在高度上有144个子块。

根据本实施例，与可能的运动矢量的整个范围相关的误差不是如对主块的操作那样全都重新计算，对于每个子块，是从主块矢量中选择候选矢量并确定每个候选矢量产生的误差。

在本例的上下文中，子块的候选矢量是最贴近该子块的4个主块的矢量。产生最小误差的矢量将归属于该子块。

使用与相邻主块(即，与包含考虑中的子块的块相邻的主块)有关的候选矢量使得精密确定运动目标的边缘因而精密确定均匀运动区域的边界成为可能。如果运动目标的边缘只是稍微伸入一主块，则为它确定的矢量将是指示背景的矢量而不是运动目标的矢量，因为该主块像素的大多数属于该背景，其运动可以不同于目标的运动。因此，目标的边界不能正确地被再构成。

另一方面，如果相邻主块的矢量也被考虑用于该目标的边缘的子块，那么这些子块的运动将被正确地估算，这是因为，相邻主块的至少一个主块将形成该考虑中的目标的一部分。

场2：

设法确定使在场1和2/3之间子块的亮度中的差是最小的矢量场。然而，将最终显示输出场2。因此，为改进精度，考虑将子块作为形成该场2的一部分。

对于场2的每个子块，以下述方法确定4个相邻的主块：该子块在场2/3上正交投影(见图8)。4个最贴近的块按如下选择：

对于子块(i，j)(0＜i＜180，0＜j＜144)，4个相关的主块是：

如果imod8＜4则i′＝-1否则i′＝1

如果jmod4＜2则j’＝-1否则j′＝1

Rel_(i，j)(1)＝MB(i∨8，j∨4)

Rel_(i，j)(2)＝MB(i∨8+i’，∨4)

Rel_(i，j)(3)＝MB(i∨8，j∨4+j′)

Rel_(i，j)(4)＝MB(i∨8+i′，j∨4+j′)

其中a除以b的欧几里得除法的商表示为a∨b，它的余数表示为amodb。

一旦已经选择候选矢量，它们应当互相比较。如上所述，子块形成了显示场的一部分。所以在探究中的主块的矢量要按比例换算。其2/3是原来计算的，其结果被取整。这样就获得了场1和场2之间的运动矢量。余下的矢量对应于场2和场2/3之间的运动。如果这两个矢量被分别称为后(rear)矢量和前(front)矢量，则有：

当m＝1，2，3 ${\mathrm{Rear}}_{(i,j)}\left(m\right)=\mathrm{int}(\frac{2}{3}\·{\mathrm{Rel}}_{(i,j)}\left(m\right))$

Front_(i，j)(m)＝Rel_(i，j)(m)-Rear_(i，j)(m)

同这4个矢量相关的4个误差然后被计算：

当m＝1，2，3，4 ${\mathrm{Err}}_{(i,j)}\left(m\right)=\underset{\underset{l=\mathrm{0,2}}{k=\mathrm{0,2}}}{\mathrm{\Σ}}\left|P^{\′}\right[\left[\begin{array}{c}{S}_x\·j+k\\ S_y\·j+l\end{array}\right]+{\mathrm{Front}}_{(i,j)}\left(m\right),\frac{1}{2}]-P^{\′}[\left[\begin{array}{c}{S}_x\·j+k\\ S_y\·j+l\end{array}\right]\·{\mathrm{Rear}}_{(i,j)}\left(m\right),0\left]\right|$

其中Sx和Sy代表子块的以横坐标与纵坐标像素为单位的尺寸。

子块矢量将是给出最小误差的矢量。通过扫描所有的子块，获得表示为Raw(i，j)的矢量场。

根据一个变化例，场矢量的分量要经过中值滤波，以消除虚假值：事实上，在子块中的小误差不如矢量的局部不一致性明显。

假设：

        a＝(10)·Raw_(i-1，j)；a′＝(01)·Raw_(i-1，j)

        b＝(10)·Raw_(i，j)；b′＝(01)·Raw_(i，j)

        c＝(10)·Raw_(i+1，j)；c′＝(01)·Raw_(i+1，j)矢量场于是被写成： ${\mathrm{SB}}_2(i,j)=\left[\begin{array}{c}\mathrm{med}(a,b,c)\\ \mathrm{med}(a^{\′},b^{\′},c^{\′})\end{array}\right].$

所以根据对一给定子块的上述计算的矢量和水平相邻子块的矢量，对该给定子块执行中值滤波。

这样获得了用于4*4子块的矢量场。

对于每个子块也定义了与所选矢量相关的误差。该误差是设置在每个运动矢量中的可信度的度量。该误差被写成： ${\mathrm{Err}}_2(i,j)=\underset{\underset{l=\mathrm{0,2}}{k=\mathrm{0,1,2,3}}}{\mathrm{\Σ}}\left|P^{\′}\right[\left[\begin{array}{c}{S}_x\·i+k\\ S_y\·j+l\end{array}\right]+\mathrm{Front}(i,j),\frac{1}{2}]-P^{\′}[\left[\begin{array}{c}{S}_x\·i+k\\ S_y\·j+l\end{array}\right]\mathrm{Rear}(i,j),0\left]\right|$

场3：

如同对场2所作的一样，与在场2/3和4之间估算运动时，也在子块区域中为场3作矢量计算。然而，该计算不同于以前。事实上，根据本实施例，对于场2/3和4之间的主块不计算运动矢量，以便节约延迟线。事实是，如果必须为场3计算主块的矢量和相邻子块的矢量，则必须为一给定了块计算所有相邻主块的矢量，这会导致大约相应于在主块一行中包含的线数的延迟。

场3的各子块矢量是根据来自场1和2/3之间的主块的以前计算的矢量场来计算的。由于子块的矢量是根据不再反映实际运动的矢量来计算的，在迅速运动的情况下就形成了问题。

根据本实施例，涉及主块的信息通过为被称作中间块的块创造一矢量场来更新，该中间块的尺寸恰好在主块和子块的尺寸的中间。

根据本实施例，中间组具有的尺寸是每4线32像素：它们具有主块的宽度和子块的高度。具有与这些中间块相关的平均空间分辨率的矢量场根据场2/3和4和根据为场1和2/3确定的主块的矢量场来计算。子组矢量场将由此在第2阶段导出。可以看到，如果场1和2/3之间确定的矢量场被取作为后选矢量的源，则仍将根据场2/3和4的信息来进行误差计算。

如同场2的子块那样，认为计算是对属于输出场，即场3的中间块进行的。如以前一样，加给中间块的运动矢量将被分解为两个矢量。这样，对于一矢量(u，v)，前矢量和后矢量被确定如下：

                        Front＝2/3(u，v)

                       Rear＝(u，v)-Front

与中间块(i，j)的运动矢量(u，v)相关的误差被写成： ${\mathrm{Err}}_{\mathrm{Intermediate}}(i,j)=\underset{\underset{l=\mathrm{0,2}}{k=\mathrm{0,2.30}}}{\mathrm{\Σ}}\left[\begin{array}{c}{P}^{\′}[\left[\begin{array}{c}{M}_x\·i+k\\ S_y\·j+l\end{array}\right]+\mathrm{Front}(i,j),\frac{1}{2}]\\ -P^{\′}[\left[\begin{array}{c}{M}_x\·i+k\\ S_y\·j+l\end{array}\right]-\mathrm{Rear}(i,j),1]\end{array}\right]$

对于场3的给定中间块，与它对应的主块被确定：它是正交投影在场3上含有该中间块的主块。

对于给定中间块(i，j)的一确定数目的候选矢量被确定为：

-对应于主块的矢量；

-通过利用在正方向的一个数字化步长修改它的水平分量而从上述主块矢量中导出的矢量；

-通过利用在负方向的一个数字化步长修改它的水平分量而从上述主块中导出的矢量；

(在上或在下)最靠近中间块的主块的矢量；

通过利用在正方向的一个数字化步长修改它的水平分量而从上述主块中导出的矢量；

通过利用在负方向的一个数字化步长修改它的水平分量而从上述主块中导出的矢量。

因此根据本实施例，这6个候选矢量将是：

如果jmod4＜2则j′＝-1否则j′＝-1

Rel^IB _(i，j)(1)＝MB(i，j∨4)

Rel^IB _(i，j)(4)＝MB(i，j∨4+j′)

其中a除以b的欧几里得除法的商表示为a∨b，它的余数表示为amodb。

第2和第3矢量具有与第1矢量相同的垂直分量，其水平分量被修改。相类似，第5和第6矢量具有与第4矢量相同的垂直分量，其水平分量被修改。这种选择是由于中间块的尺寸仅有两线高度。如果选择具有较大垂直尺寸的中间块，那么要考虑垂直分量的校正。然而在这里每个中间块只有两线，可靠地确定垂直分量并从而校正它是困难的。

于是为每个中间块计算与6个矢量中的每一个相关的误差。为一中间块保留的来自6个候选矢量的矢量是给出最小误差的那个矢量。

根据一变化例，水平分量的校正被取消，这就在有噪帧的情况下避免了过分大的不连续。

最后获得由IB(i，j)表示的具有平均空间分辨率的矢量场。

场3的运动估算的最后阶段包括从具有中间块的矢量场确定子块层次的矢量场。子块明显属于它形成其一部分的中间块。根据本实施例，为每个子块确定两个候选矢量。第1候选矢量是该子块形成其一部分的中间块的那个矢量，而第2矢量是下文将要定义的相邻中间块的那个矢量。

对于具有坐标(i，j)的子块，这两个候选矢量是：

如果imod8＜4则i′＝-1否则i′＝1

Rel_(i，j)(1)＝IB(i∨8，j∨4)

Rel_(i，j)(2)＝IB(i∨8+i′，j-4)

该矢量计算如下：

当m＝1，2

Front_(i，j)(m)＝int(2/3·Rel_(i，j)(m))

Rear_(i，j)(m)＝Rel_(i，j)(m)-Front_(i，j)(m)

该误差的计算如下：

当m＝1，2 ${\mathrm{Err}}_{(i,j)}\left(m\right)=\underset{\underset{l=\mathrm{0,2}}{k=\mathrm{0,2}}}{\mathrm{\Σ}}|P^{\′}\left[\begin{array}{c}{S}_x\·i+k\\ S_y\·j+l\end{array}\right]+\mathrm{Fron}{t}_{(i,j)}\left(m\right),\frac{1}{2}]-P^{\′}[\left[\begin{array}{c}{S}_x\·i+k\\ S_y\·j+l\end{array}\right]-\mathrm{Rea}{r}_{(i,j)}\left(m\right),0]|$

给出最小误差的那个矢量将被保留。

矢量场(SB₃(i，j))也经受中值滤波，然后算出对应的误差场(Err3(i，j))。

噪声降低：

噪声降低包括两阶段：

空间噪声的降低；

运动补偿后的时间噪声的降低。

第1阶段利用单个场中包含的信息，而第2阶段利用若干连续场(在本例中为两场)中包含的信息。

下文描述亮度滤波。

在本实施例的上下文中，不认为色度的空间滤波是必须的，色度样本对于定向类型的中值间滤波而言互相距离太遥远以致于不具有方向。非常明显，特别是如果色度信息较密，特别是如果它的分辨率等于亮度的分辨率，那么也可对色度滤波。

通过考察其大小被色度二次采样的因子除(即对于输入格式4：2：2，在x横坐标方向除以2)的输入场，色度的时间滤波直接从亮度的时间滤波中导出。运动矢量的x分量也应当除以此同一因子。

空间噪声降低：

噪声的空间降低是为了减少输入场的脉冲噪声。

根据本实施例，空间滤波是一定向中值滤波，它的优点是不降低帧前部和帧的精细结构，而简单的线性滤波或中值滤波不具有这种优点。

定向中值滤波在3个像素上进行：“当前”像素以及位于穿过当前像素的同一直线上的两个相邻像素。从这些限制看，4个可能的滤波方向是：水平、垂直和两个对角线。

使待考虑方向的选择与在同一方向的3像素之间存在的相关性有关。

下表说明，当前像素(X22)被其相邻像素包围：

x11	x12	x13
			x21	x22	x23
x31	x32	x33

水平方向(称为d1)通过像素X21，X22和X23；

垂直方向(称为d2)通过像素X12，X22和X32；

第1对角线方向(d3)通过像素X31，X22和X13；

第2对角线方向(d4)通过像素X11，X22和X33。

与每个方向有关的相关系数被分别表示为c1至c4，滤波值分别表示为m1至m4。

根据d1：

c1＝min(|x21-x22|，|x23-x22|)

m1＝med(x21，x22，x23)

根据d2：

c2＝min(|x12-x22|，|x32-x22|)

m2＝med(x12，x22，x32)

根据d3：

c3＝min(|x13-x22|，|x31-x22|)

m3＝med(x13，x22，x31)

根据d4：

c4＝min(|x11-x22|，|x33-x22|)

m4＝med(x11，x22，x33)

相关系数最弱的那个方向将被保留。

其它相关函数也被选择。相类似，如果使用的窗口允许，滤波也能在多于3个像素或多于3个方向上进行。

经过运动补偿的时间噪声的降低：

运动估算的实质优点在于它允许应用在运动中补偿的噪声降低处理。

干扰电视图像的噪声具有近似为零的统计期望值的这一假说被用作起始点，即若干幅图像的时间平均值趋于零。因此该噪声的高频分量通过实行该帧的低通时间滤波而被降低。

一已知的滤波方法执行一个像素接一个像素的递归数字滤波。该方法包含为每个像素存储一确定数量的样本和在这些存储值和当前像素之间应用递归方程式。这样就可为当前像素确定滤波值和更新存储值。递归方程式的选择和存储的项目数确定了滤波效果。

然而，对一系列电视图像的低通时间滤波的应用有一主要缺陷：由于该滤波的特殊特性，它产生一尾随所有运动目标的拖尾，该现象类似于在有明显余辉的阴极射线管上看到的现象。该效应在某些商用电视机上非常明显。

根据本实施例，当使用递归等式时，利用已经计算出的运动矢量来降低该效应。递归将不对静止坐标的像素进行而对由运动矢量平移的像素进行。换言之，目标的位移被跟踪，使得属到运动目标的相同点的各帧像素互相对应。

在本例的上下文中，利用单个场存贮器来对(空间滤波后的)输入场降低时间噪声，将利用具有最大精度的矢量场，即子块矢量场。这些矢量在开始时将根据存储的场和噪声未被降低的输入场加以计算。这样获得的矢量场将被用于降低输入场的噪声。在如此处理的输入场和存储的场之间执行插入。用于插入的该两场从而已经经历了噪声降低。

在本例的上下文中，使用单个场存储器：对每个像素仅保留过去的一个单一样本。因此递归关系到两项：“当前”像素和一存储的样本。

噪声降低分成以下环节：

与递归方程式相关的像素的匹配；

递归方程式的应用。

输入场一个子块一个子块地进行像素匹配。输入场的子块的像素和由在存储场中相应运动矢量指定的子块像素进行匹配。因此该存储场根据运动矢量的场而被投影。

如果输入场的亮度由 $P[\left[\begin{array}{c}x\\ y\end{array}\right],t]$ 来表示，包含在存储器中的噪声降低后的场的亮度由 $\tilde{P}[\left[\begin{array}{c}x\\ y\end{array}\right],t]$ 表示，被投影的场的亮度由 $\hat{P}[\left[\begin{array}{c}x\\ y\end{array}\right],t]$ 表示，则对于场2/3，后者被写成，

   x∈{0，1，...，720}

   y∈{1，3，5，...，575} ${\hat{P}}_{2/3}[\left[\begin{array}{c}x\\ y\end{array}\right],\frac{1}{2}]={\tilde{P}}_1[\left[\begin{array}{c}x\\ y\end{array}\right]{\mathrm{SB}}_2(i,j),0]$

其中

i＝xmod4

j＝ymod4

对于场4：

    x∈{0，1，...，720}

    y∈{0，2，4，...，574} ${\hat{P}}_4[\left[\begin{array}{c}x\\ y\end{array}\right],1]={\tilde{P}}_{2/3}[\left[\begin{array}{c}x\\ y\end{array}\right]{\mathrm{SB}}_3(i,j),\frac{1}{2}]$

其中

i＝xmod4

j＝ynod4

现在来确定和应用递归方程式，它与上述的 $\hat{P}[\left[\begin{array}{c}x\\ y\end{array}\right],t]$ 和 $P[\left[\begin{array}{c}x\\ y\end{array}\right],t]$ 相关，并给出 $\tilde{P}[\left[\begin{array}{c}x\\ y\end{array}\right],t].$

假设一目标的外貌从一帧到另一帧几乎不变，并假设任何情况下相对于滤波时间常数是慢变的，则亮度差只是由于噪声的原因。所以在本实施例上下文中，使用的递归方程式是： $\tilde{P}[\left[\begin{array}{c}x\\ y\end{array}\right],t]=P[\left[\begin{array}{c}x\\ y\end{array}\right],t]+f\left(\stackrel{-}{P}\right[\left[\begin{array}{c}x\\ y\end{array}\right],t]-P[\left[\begin{array}{c}x\\ y\end{array}\right],t\left]\right)$

其中f是适配噪声的非线性函数，它来自使用具有递归滤波器图(图10(b))的图10(a)所示的非线性函数NL。该函数在它曲线的开始处有一线性部分：对于在接收的帧和它的投影之间小的差别，校正值最大，并且对输出像素作线性插入，其中投影用因子为3/4，接收的像素用因子为1/4。如果差值增加，在帧中删除一实际的概率也增加，而如果偏差太大，接收的像素被保护直到完全不考虑估算。

根据本实施例，该函数被适配于在计算运动矢量时估算的噪声中的方差：在待降低的噪声和待保存的信息之间的差异能被这样地确定。

NL从而被写成：

NL：R⁺→R

    x∪NL(x) $\&ForAll;0\&le;x<1:\mathrm{NL}\left(x\right)=\min (\frac{3}{4}x,\frac{9}{10}x\&CenterDot;{(x-1)}^2)$

x＞1：NL(x)＝0，当f是在R⁺上定义的R中的R的奇函数时： $f\left(x\right)=\frac{2s}{x_M}\mathrm{NL}(\frac{x}{2s}\&CenterDot;x_M)$

其中S是通过该算法而测得的噪声的典型偏移，x_M是该函数NL的局部最大值。

我们将要置：

                        s＝Noiseest

根据该例的一变化例，当相对于帧噪声而言在运动矢量中的置信度太低时，时间噪声不被降低。

根据又一个变化例，在沿着运动矢量场投影之前执行存储场的空间滤波。事实上，由于运动估算之前执行的二次采样，运动矢量的精度和随之的投影精度是两个像素。利用线性低通滤波消除进一步的细节。测量已证实，低通滤波进一步降低噪声电平近2dB。

插入：

为每个将被插入的场尽可能精确地获得一矢量场之后，这些将被显示的场准备从该信息和输入场导出。不会指向相同的目标，这取于所考虑的场。

特别是，必须遵循下述方针：

-设法使适于每一场的各种插入过程保持一致性：两个类型的插入之间的差太大，导致一个场和另一个场呈现的差别，这种差别每秒重复75次，产生的闪烁比待减少的闪烁还烦人。

-采取步骤来防止加在运动矢量上的误差或场的误差产生过于明显的干扰，其中运动矢量上的误差虽然不大但是充分集中，而场的误差是实际矢量场和由于数字化所测量出的场之间的差别。此外在帧中的噪声不应危及插入处理。

场1(亮度)的插入：

场1是特例，偶数行被原样取出，而奇数行必须重新组成。

场1像素的亮度由P₁(x，y)表示，其中(0≤x≤719；0≤y≤575)。

根据本实施例，利用多种类型的插入去重组丢失的行：

-通过取平均值的垂直线性插入(纯空间滤波)；

-在不动的区域中场1和3的隔行扫描(纯时间滤波)；

-利用运动矢量的插入(空间和时间滤波)。

根据与矢量及与主块误差有关的准则来一个主块一个主块地作出插入类型的选择。

与场1主块相关的矢量就是与在场2/3中的同一位置的主块相关的矢量。虽然运动不是为场1的块而是为场2/3的块估算的，这些矢量仍被作为依据。事实上，如果我们离开运动目标的边缘而运动和如果运动是有规律的，那么通过在场1块上直接估算而获得的矢量会类似于为场2/3计算的矢量。

垂直线性插入(纯空间滤波)是当检测的运动矢量的置信度太低时使用的退却的(fallback)解决方案。该插入： $P_1\left[(x,y)\right]=\frac{1}{2}\left(P\right[\left[\begin{array}{c}x\\ y-1\end{array}\right],0]+P[\left[\begin{array}{c}x\\ y+1\end{array}\right],0\left]\right)$ 被用于本实施例。

垂直平均的缺点是会引起在对角线上呈现非常明显的“台阶”。此外它给出最多等于普通电视机的中等清晰度。最后，它必然引起线闪烁，因为不能以该方法插入场2和3。从而，如有可能，要设法避免使用垂直平均。

所使用的纯空间滤波使用在下文描述的空间和时间滤波器中。

如果与主块相关的运动矢量是零，那么就进行称为纯时间滤波的滤波，其特点是在一不同场中选择场1的丢失行。从而两场的行被隔行配置。被选择用于确定一主块的静止特征的准则就是运动估算中的误差对一阈值作比较，如果误差低于该阈值，该块被认为是静止的。事实上，如果该块只有一部分是静止的，其它部分将仍会造成明显误差。

该准则被写成：

MBError(i，j)＜threshold×noiseest

而被插入的像素被写成：

当y是偶数：

P₁(x，y)＝P(x，y，o)

当y是奇数：

P₁(x，y)＝P(x，y，1/2)

与用平均法的垂直类型插入比较，本类型的插入允许可以有双倍垂直清晰度并消除行闪烁。

如果运动矢量不是零，或如果运动矢量是零，但与上述定义的相关误差有关的准则未被满足，那么使用空间和时间滤波来进行插入。在本实施例的上下文中这是中值类型的滤波。

中值类型的滤波允许维持一个好的清晰度和允许照顾帧的前部，这与纯线性滤波相反。

图11描述了该类型的插入。在该图中，“X”表示将被插入的像素，圆圈表示场1的像素，三角表示场2/3的像素。

插入像素的值用两个阶段来确定：

在第1阶段中，确定对应于3个滤波器F1，F2和F3的3个值；

F1产生位于将被插入的像素上面的像素(b1)和位于将被插入的像素下面的像素(b2)的平均值；

F2给出b1，b2和场2/3的像素(b)值之间的中值，其中像素b对应于用适当运动矢量对场1待插入像素的平移。

F3给出像素(b)值的中间值和相邻于待插入像素的4个对角线像素(a1，c1，a2，c2)的值之间的中值。

在第2阶段中，由3个滤波器给出的3个值确定中间值。

令MB(i，j)是该待插入像素形成其一部分的主块的矢量。

假设：

V_x＝(10)·MB(i，j)

V_y＝(10)·MB(i，j)

当y为偶数时： $P_1(x,y)=P[\left[\begin{array}{c}x\\ y\end{array}\right],0]$ 当y是奇数时： $F1(x,y)=\frac{1}{2}\left(P\right[\left[\begin{array}{c}x\\ y-1\end{array}\right],0],P[\left[\begin{array}{c}x\\ y+1\end{array}\right],0\left]\right)$ $F2(x,y)=\mathrm{med}3\left(P\right[\left[\begin{array}{c}x\\ y-1\end{array}\right],0],P[\left[\begin{array}{c}x\\ y+1\end{array}\right],0],P[\left[\begin{array}{c}x+v_x\\ y+v_y\end{array}\right],\frac{1}{2}\left]\right)$ $F3(x,y)=\mathrm{med}5\left(P\right[\left[\begin{array}{c}x-1\\ y-1\end{array}\right],0];P[\left[\begin{array}{c}x-1\\ y+1\end{array}\right],0];P[\left[\begin{array}{c}x+1\\ y-1\end{array}\right],0];P[\left[\begin{array}{c}x+1\\ y+1\end{array}\right],0];P[\left[\begin{array}{c}x+v_x\\ y+v_y\end{array}\right],\frac{1}{2}\left]\right)$

最后：

P₁(x，y)＝med3(F1(x，y)，F2(x，y)，F3(x，y))

相关于像素的7个值的滤波器被这样构成，其中单一的一个像素不属于当前场。因此减少了由不良的运动估算造成的后果。

另外，清晰度将被很好地维持，并且通过在垂直和对角线方向作用的定向中间滤波，目标的轮廓得到很好地跟踪。

场2(亮度)的插入：

场2依据在子块区域中的矢量场而被插入。该场的所有像素应当被插入，因为该场不是如场1那样在时间上与输入场组合。

为一致性起见，用于场2的插入机构的特性类似于已经用于场1的那些机构。

因此我们一个子块一个子块地进行。

如场1那样，如果与一子块的运动矢量相关的误差很大，那就用已经对场1用过的空间和时间滤波器进行插入。然而，因为场2在时间上位于场1和场2/3之间，所以场1和2/3之间的运动矢量被分解为两个矢量，一个(前矢量)表示场1和场2之间的运动，另一个表示场2和场2/3之间的运动。这两个矢量的每一个都取其整数值。应该记起，在与场2子块相关的运动矢量的计算期间，曾经利用了将一运动矢量分解为相等的两个矢量的方法。在两种情况中以同一方式取整以避免误差的增加。

如果，(i，j)表示包含待插入像素的子块的坐标，则这些矢量被计算为：

Rear(i，j)＝int[2/3·SB₂(i，j)]

Front(i，j)＝SB₂(i，j)-Rear(i，j)

然后确定3个初始值(a，b，c)。取决于该将被插入的像素是位于偶行或是奇行，计算是不同的。当y是偶数时，假设 $a=P[\left[\begin{array}{c}x\\ y-1\end{array}\right]+\mathrm{Front}(i,j),\frac{1}{2}]$ $b=P[\left[\begin{array}{c}x\\ y\end{array}\right]-\mathrm{Rear}(i,j),0]$ $c=P[\left[\begin{array}{c}x\\ y+1\end{array}\right]+\mathrm{Front}(i,j),\frac{1}{2}]$ 那么： $P_2(x,y)=\mathrm{med}3(\frac{(2*a+b)}{3},\mathrm{med}3(a,b,c);\frac{(2*c+b)}{3})$ 当y是奇数时，类似地假设： $a=P[\left[\begin{array}{c}x\\ y-1\end{array}\right]-\mathrm{Rear}(i,j),0]$ $b=P[\left[\begin{array}{c}x\\ y\end{array}\right]+\mathrm{Front}(i,j),\frac{1}{2}]$ $c=P[\left[\begin{array}{c}x\\ y+1\end{array}\right]-\mathrm{Rear}(i,j),0]$ 那么： $P_2(x,y)=\mathrm{med}3(\frac{(a+2*b)}{3};\mathrm{med}3(a,b,c);\frac{(c+2*b)}{3})$

通过图13描述该滤波。

P₂(x，y)是插入像素的值，它对应于3个值的中值：用两个线性滤波器和一个中值滤波器对a，b和c像素值滤波的结果。

两个线性滤波器用与像素a，b，c和待插入像素的相对位置相对应的加权系数来进行时间插入。应注意这是两个纯时间滤波器，即利用在输入场的每个中的单个像素来滤波。这就能避免垂直分辨率的损失。

中值滤波器也允许该产生的场维持良好的空间分辨率，然而，它也允许3个场的各种插入过程保持一定的一致性。

如果与子块相关的运动矢量是零，或如果矢量的置信度是高的(低误差)，那么，插入将是如场1情况的纯时间插入类型：场1和2/3的线被隔行扫描：

当y是偶数时：

P₂′(x，y)＝P(x，y，0)

当y是奇数时：

P₂′(x，y)＝P(x，y，1/2)

该像素的第2可能值，称为退却值，也被加以计算。该值对应于线性滤波，由Fallback₂(x，y)表示，上述线性滤波非常严格地截断在涉及的两场上的空间高频率：起因于运动矢量的置信度也表示为： $\mathrm{Conf}(x,y)=\underset{\mathrm{NBPixel}}{\overset{\mathrm{Error}(x,y)}{2}}$

其中NBPixel表示在二次采样的子块中包含的像素数，Conf(x，y)表示带给一像素的误差。

从而插入像素的值P₂(x，y)是： $P_2(x,y)=\mathrm{med}3({P^{\&prime;}}_2(x,y)-\frac{\mathrm{Conf}(x,y)}{\mathrm{Scale}},\mathrm{Fallback}(x,y),{P^{\&prime;}}_2(x,y)+\frac{\mathrm{Conf}(x,y)}{\mathrm{Scale}})$

值P₂(x，y)等于运动补偿后的像素值，但是被夹入使得它与退却的像素值的差不能大于由校正系数除置信度的值。

场3(亮度)的插入：

该过程非常类似于场2使用的过程。场3是根据场2/3和4(即下一循环的场1)和根据子块SB₃(i，j)的矢量而插入的。只是该插入系数和行的奇偶性的表现发生变化。

从而矢量可以被计算为：

Front(i，j)＝int[2/3·SB₃(i，j)]

Rear(i，j)＝SB₃(i，j)-Front(i，j)

这些点被计算如下：

当y是奇数时，假设： $a=P[\left[\begin{array}{c}x\\ y-1\end{array}\right]+\mathrm{Front}(i,j),1]$ $b=P[\left[\begin{array}{c}x\\ y\end{array}\right]-\mathrm{Rear}(i,j),\frac{1}{2}]$ $c=P[\left[\begin{array}{c}x\\ y+1\end{array}\right]+\mathrm{Front}(i,j),1]$ 那么： $P_3(x,y)=\mathrm{med}3(\frac{(a+2*b)}{3};\mathrm{med}3(a,b,c);\frac{(c+2*b)}{3})$ 当y是偶数时，类似地假设： $a=P[\left[\begin{array}{c}x\\ y-1\end{array}\right]-\mathrm{Rear}(i,j),\frac{1}{2}]$ $b=P[\left[\begin{array}{c}x\\ y\end{array}\right]+\mathrm{Front}(i,j),1]$ $c=P[\left[\begin{array}{c}x\\ y+1\end{array}\right]-\mathrm{Rear}(i,j),\frac{1}{2}]$ 那么： $P3(x,y)=\mathrm{med}3(\frac{(2*a+b)}{3};\mathrm{med}3(a,b,c);\frac{(2*c+b)}{3})$ 图14描述该滤波。如果置信度非常高和矢量是零，那么将再次选择纯时间插入：y是偶数：P₃(x，y)＝P(x，y，1)y是奇数：P₃(x，y)＝P(x，y，1/2)然后计算退却像素，

和运动矢量中的置信度， $\mathrm{Conf}(i,j)=\frac{{\mathrm{Error}}_3(i,j)}{\mathrm{NBpixel}}$ 最后，如果置信度低，当防止像素从原有像素值移动太远时，建立显示像素的值： $P_{3/\mathrm{out}}(i,j)=\mathrm{med}({P^{\&prime;}}_3(i,j)-\frac{\mathrm{Conf}(i,j)}{\mathrm{Scale}},\mathrm{Fallbac}{k}_3(i,j),{P^{\&prime;}}_3(i,j)+\frac{\mathrm{Conf}(i,j)}{\mathrm{Scale}})$

能看到，由于该算法是以场2插入为模型的，所以很好地保证了与上一场的插入连续性。然而，由于各子块的矢量是根据为上一输入场确定的主块而计算出来的，所以这些子块矢量有一时间偏差，它使得该场清晰度比上一输入场差，特别是在运动迅速变化的情况下。

色度处理：

色度插入受到的限制比对亮度插入严格限制要宽松得多。事实上，人眼的分辨率要弱得多。此外，在无线电频率网络上称为4：1：1格式的用于传输的标准，包括为每4件亮度信息传输一件色度信息之后结束二次采样，在两行上使色度信息再次等于它自身。所用滤波器的容差大得多，因此，我们将满足于使用简化的滤波器。

所以色度插入算法直接从亮度插入算法外推，其中考虑到各场包含的水平像素少一半，因而将运动矢量的水平分量除2。

对于场1，在亮度中使用7输入像素的滤波器被限制到3输入像素。

假设：

V_x＝1/2(10)·MB(i，j)

V_y＝(10)·MB(i，j)

当y是偶数时： $P_1(x,y)=P[\left[\begin{array}{c}x\\ y\end{array}\right],0]$ 就y是奇数时： $F1(x,y)=\frac{1}{2}\left(P\right[\left[\begin{array}{c}x\\ y-1\end{array}\right],0]+P[\left[\begin{array}{c}x\\ y+1\end{array}\right],0\left]\right)$ $F2(x,y)=\mathrm{med}3\left(P\right[\left[\begin{array}{c}x\\ y-1\end{array}\right],0];P[\left[\begin{array}{c}x\\ y+1\end{array}\right],0];P[\left[\begin{array}{c}x+v_x\\ y+v_y\end{array}\right],\frac{1}{2}\left]\right)$ $F3(x,y)=P[\left[\begin{array}{c}x+v_x\\ y+v_y\end{array}\right],\frac{1}{2}]$ 最后：

P₁(x，y)＝med3(F1(x，y)；F2(x，y)；F3(x，y))

对于场2和3来说，亮度的中值时间滤波器被保留，而退却滤波器被取消。在噪声降低时间滤波器中，水平滤波器被取消，因为否则它将空间频率滤波得太低。

电影模式：

电影模式的情况是，产生的视频序列不是625/50/2，而是625/25/1。该序列是这样一种格式，即输入是逐行的，该输入意味着在相应的同一瞬时每个输入帧包含两场。

产生的全部问题是，事实上，如果上述算法应用于这样的序列而不作修改，由于主块计算将发生在同一帧的两场之间和所有随后的估算都将只会产生零矢量，从而运动的估算将完全被抑制。因而，如果没有检测到运动，就不能进行时间插入或运动补偿。这是非常恼人的，因为当这样的序列被显示时，每个输入帧仅能在屏上重复3次。这将导致跳动。在任何包含运动的序列中特别不希望有这种跳动。

使该跳动效应能被可观地降低的一种简单而便宜的解决方案如下：修改信息处理阶段，使得两个不同帧之间的运动能被检测和估算，从而使时间的插入成为可能。

因此，主运动的估算(主块阶段)应在偶场1和奇场2/3之间进行而不是在奇场1和偶场2/3之间。图15的定时图描述了这种特定的操作模式。

所有处理将被偏移一50Hz场，这意味着，在输出处，将被插入的行具有与正常处理的行相反的奇偶性。然而，滤波和运动估算将严格地作完全相同的操作。以下将被依次产生：

逐行场1，它使用主块的矢量场，与此同时，维持各输入行和用以上描述的7点空间和时间中值滤波器插入其它行；

逐行场2，它使用由输入场1和2/3估算的子块矢量场。这里也使用上述的3点中值时间滤波器。换言之，系数1/2和1/2被用于代替通常加权系数2/3和1/3；这意味着，这样产生的场2处在输入场1和2/3之间等距离的位置上。系数自身的简单修改使已被处理的所有帧上的容易被识别和感知的跳动得到明显地降低。图16给出降低跳动的图示；

最后，逐行场3，它正常地使用由中间块校正的子块的矢量场。事实上，由于场2/3和4是从同一帧送出，因而在这两场之间没有运动。从而强制该矢量以及该置信度到零就足够了：以这种方法，以前描述的滤波器将纯粹地和简单地将两个输入场隔行交错以重新产生一完美的逐行帧。

总之，电影模式能在不修改滤波和运动估算机构的情况下被加以处理：一旦检测到模式的存在，只要监视处理的阶段、场滤波器2的插入系数和场3的矢量和置信度就足够了。因此这样获得的对跳动的降低是便宜的。

Claims (10)

1、在通过比较诸帧的诸块，来确定运动矢量的系统中对包含周期性结构的帧中的运动估算进行校正的方法，其特征在于所述方法包括下列步骤：

确定相邻周期性诸块；和

为所有这些块选取一个单一运动矢量。

2、根据权利要求1所述的方法，其特征在于一误差矩阵与每一块相关，选取运动矢量本身的所述步骤包括逐个地对周期性诸块的所述误差矩阵求总和的步骤。

3、根据权利2所述的方法，其特征在于所述方法考虑了同一行诸块中的所有相邻周期性块。

4、根据权利要求3所述的方法，其特征在于选取运动矢量的步骤还包括确定候选矢量组的阶段和选取在总和矩阵中给出最小误差值的候选矢量作为单一矢量的步骤。

5、根据权利要求3所述的方法，其特征在于选取运动矢量的所述步骤还包括以下步骤：选择周期性诸块中左块和右块的两个矢量之一作为单一矢量，如果对应于所述两个矢量之一的在总和矩阵中的误差值是在其行中的局部最小值的话。

6、根据权利要求4和5所述的方法，其特征在于若所述两矢量无一满足权利要求5的条件则选取给出总和矩阵中误差值最小的矢量作为单一矢量。

7、根据权利要求3至5之一所述的方法，其特征在于最后保留的所述单一矢量是直接在所述相邻周期块之一上面的块的矢量，如果该上面块也是周期性的并且如果在总和矩阵中与该块相关的误差在其行上是局部最小值的话。

8、在基于诸帧的诸块的运动估算系统中检测周期性结构的方法，包括下列步骤：为当前块的各种运动矢量确定误差矩阵，确定包含所述矩阵的最小误差(Err_min)的矩阵行(Row)及确定所述行中的最大误差(Err_max)，以及确定所述行中的最小第二最小值(Err_sec_min)，其中块的周期性的条件是所述的两个最小值在数值上相近(C1)，被认为是周期性块的运动估算由以上权利要求1-5之一所述的方法来校正；所述检测方法的特征在于它包括以下步骤：

确定所述行中的最大第二最大值(Err_sec_max)，

估算帧的噪声电平(Errminabs)，

使用以下附加条件(C2)来确定块的周期性：

所述两最小值[Err_min，Err_sec_min]中的至少一个最小值与所述第二最大值之差应当显著地比所述帧的所述噪声电平大。

9、根据权利要求8所述的方法，其特征在于必须满足第三条件(C3)：所述最大误差(Err_max)应当显著地比所述帧的所述噪声电平(Errminafs)大。

10、根据权利要求9所述的方法，其特征在于所述帧的所述噪声电平等于在一帧的所有块上得到的每一块的诸最小误差和差值中的最小者：

Errminabs＝min{Errmin(i，j)，(Errmax-Errmin)(i，j)}

             i＝1，...，a

             j＝1，...，b

其中Errmin是为块(i，j)确定的最小误差，并且其中Errxax是为块(i，j)确定的最大误差，a和b是所述帧的水平和垂直块的数目。

Images