CN101116345A - 对视频通信的运动向量的时间估计 - Google Patents

Abstract

本发明描述用于处理视频数据的方法和系统。从与视频数据的第一帧中的宏区块相关联的运动向量中且从与所述视频数据的第二帧中的宏区块相关联的运动向量中选择一组候选运动向量。确定所述组的统计测度。所述统计测度界定所述第二帧中相关宏区块的运动向量。

Description

对视频通信的运动向量的时间估计

技术领域

本发明的实施例涉及多媒体数据的处理，且明确地说涉及视频数据的解码(解压缩)。

背景技术

媒体系统经由有线和/或无线信道传输例如视频数据的媒体数据。经由这些信道传输的数据在途中可能丢失或受到破坏，或者可能经历延迟，可能较迟到达其目的地。对于使用例如(但不限于)MPEG(移动图片专家组)编码的技术预测被预测编码(压缩)的视频数据来说，迟到或丢失的数据可尤其棘手。预测编码在编码数据中引入相关性，使得一些数据的解码取决于其它数据的解码。虽然预测编码大体上改进压缩量，但其也可导致数据的错误传播，使得本应解码其它数据所依赖的数据丢失或迟到。任何迟到或丢失的数据可影响重建的(经解码或解压缩的)视频数据的质量。然而，如果丢失或迟到的数据是用于运动补偿预测的参考帧的一部分，那么所述影响可恶化，因为错误将传播到依赖于所述参考帧的其它帧。

举例来说，考虑到出现在视频数据的连续帧中的不同位置的移动对象。使用预测编码技术，通过第一帧中的数据来描述所述对象，但在第二帧中，使用描述对象如何从第一帧移动到第二帧的运动向量来描述所述对象。因此，仅运动向量的数据需要在第二帧中传输，从而改进压缩量，因为不需要再传输描述对象的数据。然而，如果未接收到运动向量，那么当将第二帧重建到视频图像中时无法适当地呈现对象，因此降低经重建视频的质量。出现物体的后续帧也可能受到影响，因为所述后续帧可能取决于对象在第二帧中的适当放置。

为了减轻缺失(例如，遗失、丢失、迟到或不正确接收的)数据对经重建视频的质量的影响，视频解码器可对接收到的数据应用错误恢复(例如，错误隐蔽)处理。研究已表明，如果可恢复(例如，估计)运动向量，那么可显著改进经重建视频的质量。时间错误隐蔽通过使用从当前帧和/或先前帧正确接收的信息估计当前帧中遗失或未正确接收的运动向量来改进经重建视频的质量。换句话说，时间错误隐蔽的目标是，使用运动向量的空间以及时间的联合来估计运动向量。

常规的时间错误隐蔽技术是基于像素域。考虑到遗失与一帧(当前帧)中的一区域(例如，相关的宏区块)相关联的运动向量的所述帧。通过选择与当前帧中相关宏区块周围的宏区块相关联的运动向量和与参考帧中共同定位的宏区块(共同定位的宏区块是处于参考帧中的与当前帧中的相关宏区块的位置相同的宏区块)周围的宏区块相关联的运动向量来形成一组运动向量。利用像素域方法，计算所述组中运动向量的每一者的失真测度。为了估计所述失真，从重建的帧缓冲器中获取像素值。在运动选择技术中，选择使失真测度最小化的运动向量，作为缺失运动向量的代替。在运动搜索技术中，在(例如)宏区块的3×3窗口内执行对使失真测度最小化的运动向量的搜索。

像素域错误隐蔽存在问题，因为其在计算上较复杂且耗费时间。估计每一潜在运动向量的失真可需要大量计算，从而消耗计算资源并导致解码过程中的延迟。在解码器已完成对帧的解码时执行像素域错误隐蔽是最有效的；因此，像素域中由错误隐蔽引入的延迟可等于一个帧持续时间。此外，存取重建的帧缓冲器以检索用于失真评估的像素值会花费时间，这增加了所述延迟。

因此，将需要一种可减小计算复杂性和解码延迟的方法和/或系统。

发明内容

本发明描述用于处理视频数据的方法和系统。在一个实施例中，从与视频数据的第一帧中的宏区块相关联的运动向量中且从与所述视频数据的第二帧中的宏区块相关联的运动向量中选择一组候选运动向量。在一个实施例中，第一帧按显示次序位于第二帧之前。确定所述组的统计测度。举例来说，可确定候选运动向量的平均值或中值。所述统计测度界定第二帧中相关宏区块的运动向量。

可使用各种方法来选择候选运动向量。在运动向量域中而不是像素域中执行候选运动向量的选择和代替的运动向量的确定。因此，缩减了计算复杂性和等待时间。额外的益处是，不需要硬件修改。

附图说明

图1是用于解码视频数据的系统的一个实例的方框图。

图2说明组织为宏区块的图像数据的两个帧的实例。

图3说明两个图像帧的实例，其展示对象从一个帧到下一帧的运动。

图4是展示数据从数据编码过程流动到数据解码过程的数据流动图。

图5是基于运动向量域的时间错误隐蔽方法的流程图。

图6说明根据图5的方法的信息流动。

图7是选择用于基于运动向量域的时间错误隐蔽过程中的候选运动向量的方法的流程图。

图8说明根据图7的方法的信息流动。

图9是用于检测帧间的运动变化并用于选择用于基于运动向量域的时间错误隐蔽过程中的候选运动向量的方法的流程图。

图10是用于检测帧间的运动变化并用于选择用于基于运动向量域的时间错误隐蔽过程中的候选运动向量的另一方法的流程图。

图11是用于在帧内定位运动边界并用于选择用于基于运动向量域的时间错误隐蔽过程中的候选运动向量的方法的流程图。

图12说明根据图11的方法的信息流动。

图13是使用移动对象的轨迹来选择用于基于运动向量域的时间错误隐蔽过程中的候选运动向量的方法的流程图。

图14说明图13的方法。

具体实施方式

在以下具体实施方式中，陈述了大量特定细节以便提供对本文提供的概念的全面理解。然而，所属领域的技术人员将了解，可在没有这些特定细节或在具有其等效物的情况下实践本发明的实施例。在其它例子中，未详细描述众所周知的方法、程序和组件以免不必要地混淆这些实施例的各方面。

依据对计算机存储器中可执行的数据位的操作的程序、步骤、逻辑区块、处理和其它符号表示来呈现以下具体实施方式的一些部分。这些描述和表示是数据处理领域的技术人员用来最有效地将其工作的本质传达给所属领域的其他技术人员的手段。此处，通常将程序、计算机执行的步骤、逻辑区块、过程等理解为达成所需结果的步骤或指令的自相容序列。所述步骤是那些需要对物理量进行物理操纵的步骤。通常(尽管不一定)，这些量采取能够在计算机系统或类似电子计算装置中被存储、传递、组合、比较和以其它方式操纵的电或磁信号的形式。已证明有时(主要由于一般用途的原因)将这些信号称为位、值、元素、符号、字符、术语、数字等是便利的。

然而，应牢记，所有这些和类似术语应与适当的物理量相关联，且仅仅是应用于这些量的便利的标记。从以下论述内容了解，除非另外明确规定，否则将了解，在本发明实施例中，利用例如“选择”或“确定”或“比较”或“计数”或“决定”等术语的论述内容是指计算机系统或类似电子计算装置的动作和处理，所述类似电子计算装置将表示为计算机系统的寄存器和存储器内的物理(电子)量的数据操纵并转换为类似地表示为计算机系统存储器或寄存器或其它此类信息存储、传输或显示装置内的物理量的其它数据。

在一个实施例中，实施其中内嵌有计算机可读程序代码的计算机可用媒体。计算机系统可大体上包含用于处理信息和指令的处理器、用于存储信息和指令的随机存取(易失性)存储器(RAM)、用于存储静态信息和指令的只读(非易失性)存储器(ROM)、用于存储信息和指令的例如磁盘或光盘和盘驱动器的数据存储装置、用于向计算机用户显示信息的例如显示装置的任选用户输出装置(例如，监视器)、用于将信息和命令选择传送到处理器的包含字母数字和功能键的任选用户输入装置(例如，键盘)，和用于将用户输入信息和命令选择传送到处理器的例如指针控制装置的任选用户输入装置(例如，鼠标)。计算机系统还可包含输入/输出装置，其用于使用有线或无线通信接口提供计算机系统与网络之间的物理通信链路。

图1是可在上面实施实施例的系统10的实例的方框图。系统10展示用于实施实施例的某一功能性的执行平台的组件。如图1所描绘，系统10包含微处理器12(例如，精简指令集计算机，或ARM、处理器)，其经由主机接口11耦合到数字信号处理器(DSP)15。主机接口11将通过微处理器12与DSP 15之间的数据和命令转译为其各自的格式。在本实施例中，微处理器12与DSP 15两者均经由存储器控制器16耦合到存储器17。在系统10实施例中，存储器17是共用的存储器，藉此存储器17存储微处理器12与DSP15两者的指令和数据。通过存储器控制器16存取共用存储器17。共用存储器16还包含用于存储驱动耦合的显示器18的像素数据的视频帧缓冲器。

如上所述，在至少一个实施例中，将实施例的某些过程和步骤实行为驻存在计算机系统(例如，系统10)的计算机可读存储器(例如，存储器17)内的一系列指令(例如，一或多个软件程序)，并由系统10的微处理器12和DSP 15执行。当执行时，所述指令促使系统10执行如下文所描述的实施例的功能性。在另一实施例中，本发明的某些过程和步骤在硬件中实现。

本文提供的描述和实例是在基于视频的数据(也称为媒体数据或多媒体数据或内容)的情境中论述的，但本发明并不限于此。举例来说，实施例也可与基于图像的数据、基于网页的数据、基于图形的数据等及其组合一起使用。

本发明的实施例可与例如MPEG-1、MPEG-2、MPEG-4的移动图片专家组(MPEG)压缩(编码)方案以及例如H.261、H.263和H.264的国际电信联盟(ITU)编码方案一起使用；然而，本发明并不限于此。一般来说，实施例可与利用时间冗余或运动补偿的编码方案(本质上为使用运动向量来增加压缩量(压缩比)的编码方案)一起使用。

图2说明图像或视频数据的两个帧21和22的实例。在图2的实例中，帧21(本文中也称为第一帧或参考帧)按显示次序位于帧22(本文中也称为第二帧或当前帧)之前。帧21和22的每一者被组织为多个宏区块，由宏区块23例示。在一个实施例中，宏区块具有16像素乘16像素的尺寸；然而，本发明并不限于此——宏区块可具有除16×16像素以外的尺寸。尽管图2展示某一数目的宏区块，但本发明并不限于此。

在图2的实例中，运动向量与每一宏区块相关联。运动向量具有描述其长度(量值)的维度和描述其方向(角度)的维度。运动向量的量值可为零。出于说明的目的，在解码器处正确接收的运动向量在本文中表示为宏区块内的箭头(例如，箭头24)。相关联的运动向量未被正确接收的宏区块(例如，宏区块25)在图2中通过阴影来指示。帧22还包含未正确接收运动向量的相关宏区块28(由“×”指示)。如果描述运动向量的数据迟到、受到破坏或遗失，那么所述运动向量可能不被正确接收。

如图2所指示，可能存在若干宏区块(即，由一个或一个以上连续宏区块组成的宏区块片段)的运动向量未正确接收的情况。根据实施例将了解，可估计片段中运动向量未正确接收的每一宏区块的运动向量。然而，一般来说，可估计需要进行估计的任何宏区块的运动向量。

在一个实施例中，为了估计当前帧22中的宏区块28的运动向量，识别参考帧21中的宏区块29。宏区块29在帧21内处于与相关宏区块28在帧22中的位置相同的位置。因此，认为宏区块28和宏区块29被共同定位。此外，识别当前帧22中邻近宏区块28的第一多个(窗口26)宏区块，且还识别参考帧21中邻近参考帧21中的宏区块29的第二多个(窗口27)宏区块。在一个实施例中，窗口27在帧21内处于与窗口26在帧22中的位置相同的位置。因此，也认为窗口26和窗口27共同定位。一般来说，术语“共同定位”用于描述在各自帧内处于相同位置的一个帧的一区域(例如，宏区块或宏区块窗口)和另一帧中的相应区域。还指示一对共同定位的宏区块108和109；也就是说，宏区块108在窗口27内处于与宏区块109在窗口26内的位置相同的位置。

一般来说，根据实施例，可通过考虑与当前帧22中邻近相关宏区块的宏区块相关联的正确接收的运动向量，且通过考虑与参考帧21中邻近与相关宏区块共同定位的宏区块的宏区块相关联的正确接收的运动向量，来估计帧22中任何相关宏区块的运动向量。

在一个实施例中，窗口26中的宏区块阵列在相关宏区块28周围。在一个此实施例中，窗口26和窗口27各包含3×3宏区块阵列。可选择不同尺寸的窗口(包含非正方形形状的窗口)。并且，窗口不一定必须在相关宏区块周围，对于相关宏区块处于帧边缘处的那些情况来说尤其如此。

图3说明根据一个实施例的两个连续图像帧(第一帧32和第二帧34)。在图3的实例中，第二帧34按显示次序在第一帧32之后。在MPEG压缩方案中，第一帧32可对应于(例如)I帧或P帧，且第二帧34可对应于(例如)P帧。一般来说，第一帧32和第二帧34被“交互编码”(例如，交互编码的帧依据其它帧而被编码)。

在图3的实例中，对象33位于第一帧32内某一位置处，且同一对象33位于第二帧34内不同位置处。MPEG压缩方案通过编码帧之间的差异而起作用。运动向量35用作传送帧32与34之间图像的变化的最简单的方式；也就是说，不必仅仅因为对象33的图像发生移动而再次发送所述图像。以类似方式，运动向量可与帧中的宏区块相关联(例如，图2的宏区块23)。

图4是展示根据一个实施例数据从编码器流动到解码器的数据流动图40。在编码器中，编码过程42使用例如MPEG-1、MPEG-2、MPEG-4、H.261、H.263或H.264的编码方案来压缩(编码)数据41。经压缩的数据43经由信道44从编码器发送到解码器(例如，图1的系统10)，所述信道44可为有线或无线信道。所接收的数据45可包含正确接收的数据和损坏的数据两者。并且，一些数据也可能在传输期间丢失或可能较迟到达解码器。解码过程46对所接收的数据45进行解压缩(重建)以产生重建的数据47。

图5是基于运动向量域的时间错误隐蔽方法的一个实施例的流程图50。尽管图5的流程图50中(以及分别在图7、9、10、11和13的流程图70、90、100、110和130中)揭示了特定步骤，但这些步骤是示范性的。也就是说，可通过执行流程图50、70、90、100、110和130中所述的各种其它步骤或步骤的变化形式来制定其它实施例。应了解，流程图50、70、90、100、110和130中的步骤可以与所呈现的次序不同的次序执行，且流程图50、70、90、100、110和130中的步骤不一定以所说明的序列执行。

还参看图6来描述图5。图6展示选自参考帧61的宏区块的3×3窗口63，和选自当前帧62的宏区块的3×3窗口64。应了解，参考帧61和当前帧62各包含除了分别包含在窗口63和64中的宏区块以外的宏区块。

窗口63和窗口64共同定位。在本实施例中，相关宏区块(MB)68(即，待估计运动向量的宏区块)位于窗口64的中心处，但如上文所提及，并不一定是这种情况。

应了解，窗口63和64可能不是3×3窗口。举例来说，可使用5×5窗口。并且，如果相关宏区块沿着当前帧62的一个边缘，那么可使用形状并非为正方形的窗口(例如，3×2或2×3窗口)。

在一个实施例中，参考帧61按显示次序位于当前帧62之前。在另一实施例中，参考帧61可以是按显示次序在当前帧62之后到来的帧；也就是说，参考帧61可以是“未来帧”。在又一实施例中，当前帧62之前的帧和当前帧62之后的未来帧两者均可考虑用于本文描述的错误隐蔽方法。

未来帧的使用会将延迟引入解码过程中。然而，在可容许延迟的应用中，来自未来帧的运动向量可用于错误隐蔽。并且，来自未来帧的运动向量可用于当前帧62是帧序列中的第一帧(例如，I帧)的情况中。

概括来说，流程图50的方法的目标之一是从与帧61和62的宏区块相关联的正确接收的运动向量中明智地选择一组65候选运动向量。在一个实施例中，一旦识别出所述组65候选运动向量，就将向量中值滤波器(VMF)66应用于所述组65中的向量。VMF66的输出是用于相关宏区块68的所估计的运动向量(MV)67。

在一个实施例中，在图5的方框51中，识别窗口63和64。存取与窗口63中的宏区块相关联的正确接收的运动向量和与窗口64中的宏区块相关联的正确接收的运动向量。

在方框52中，在一个实施例中，确定参考帧61中(明确地说，窗口63中)的运动向量是否适于包含在所述组65候选运动向量中。下文结合图7、8、9和10描述用于作出此确定的方法的实施例。

在图5的方框53中，在一个实施例中，如果参考帧中的运动向量可包含在所述组65候选运动向量中，那么从窗口63和窗口64明智地选择运动向量并将其包含在组65中。下文结合图11、12、13和14描述用于从窗口63和64中选择运动向量的方法的实施例。

在图5的方框54中，在一个实施例中，如果参考帧中的运动向量不适于包含在所述组65候选运动向量中，那么仅从窗口64中选择运动向量并将其包含在组65中。应注意，有可能存在窗口64不含有正确接收的运动向量的情况。图7和8的方法可用于处理那些情况。

在图5的方框55中，在一个实施例中，确定所述组65候选运动向量的统计测度。所述统计测度界定相关宏区块68的运动向量67。接着可将运动向量67应用于相关宏区块68。

在一个实施例中，统计测度是所述组65候选运动向量的中值。在一个此实施例中，如下确定组65的中值(明确来说，是中值向量)。

对于N个m维度向量的阵列， $V=({\stackrel{\‾}{v}}_1,{\stackrel{\‾}{v}}_2,\·\·\·,{\stackrel{\‾}{v}}_N),$ 其中 ${\stackrel{-}{v}}_i\∈R^m,$ 对于i＝1、2、...，N，

中值向量

是满足以下约束条件的向量：

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|{\stackrel{\‾}{v}}_{\mathrm{VM}}-{\stackrel{\‾}{v}}_i\left|\right|}_p\≤\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|{\stackrel{\‾}{v}}_j-{\stackrel{\‾}{v}}_i\left|\right|}_p;j=\mathrm{1,2},\·\·\·\·\·,N;$

其中p表示向量之间的p范数量度。为了简单起见，在一个实施例中，使用p＝1。对于二维向量 $\stackrel{\‾}{v}=(v\left(x\right),v\left(y\right)),$

与

之间的1范数距离是：

${\left|\right|{\stackrel{\‾}{v}}_0-{\stackrel{\‾}{v}}_1\left|\right|}_{p=1}=|v_0\left(x\right)-v_1\left(x\right)|+|v_0\left(y\right)-v_1\left(y\right)|.$

因此，在一个实施例中，相关宏区块68的所估计的运动向量67是所述组65候选运动向量的中值。可确定所述组65候选运动向量的除了所述中值以外的统计测度，并将所述统计测度用于所估计的运动向量67。举例来说，可确定并使用组65的平均值。

一般来说，识别一组65候选运动向量。接着以某一方式对所述组65进行操作以确定相关宏区块68的所估计的运动向量67。所估计的运动向量67可以是所述组65中的运动向量中的一者，或者所估计的运动向量67可以是通过对所述组65进行操作而确定的运动向量。

值得注意的是，在运动向量域中而不是像素域中确定所估计的运动向量67。明确地说，像素值不用于错误隐蔽，且不针对错误隐蔽计算与候选运动向量的每一者相关联的失真值。因此，减小了计算复杂性和相关联的解码延迟。并且，不需要存取帧缓冲器来检索像素值，从而消除额外的解码延迟的来源。此外，通过明智地选择待包含在所述组65候选运动向量中的运动向量，实现可与基于像素的错误隐蔽技术的相关联PSNR相当(如果不比所述PSNR更佳)的峰值信噪比(PSNR)。

图7是选择用于基于运动向量域的时间错误隐蔽过程中的候选运动向量的方法的一个实施例的流程图70。流程图70描述实施图5的方框52、53和54的方法的一个实施例。还参看图8来描述图7。

在一个实施例中，在图7的方框71中，识别窗口83(参考帧81中)和窗口84(当前帧82中)。应了解，参考帧81和当前帧82各包含除了分别包含在窗口83和84中的宏区块以外的宏区块。

接着可存取与窗口83中的宏区块相关联的正确接收的运动向量和与窗口84中的宏区块相关联的正确接收的运动向量。使用字母A来识别窗口83中正确接收的运动向量，而使用字母B来识别窗口84中正确接收的运动向量。

在方框72中，对于窗口83和84中每对共同定位的宏区块，确定是否存在窗口84中的宏区块的正确接收的运动向量。

在方框73中，如果存在窗口84中的宏区块的正确接收的运动向量，那么所述运动向量包含在所述组85候选运动向量中，且窗口83中共同定位的宏区块的运动向量不包含在组85中。举例来说，存在宏区块87(参考帧81中的窗口83中)的正确接收的运动向量和宏区块89(当前帧82中的窗口84中)的正确接收的运动向量。根据一个实施例，与宏区块89(当前帧82)相关联的运动向量包含在组85中，且与宏区块87(参考帧81)相关联的运动向量不包含在组85中。

在方框74中，如果不存在窗口84中的宏区块的正确接收的运动向量，那么窗口83中共同定位的宏区块的运动向量包含在所述组85候选运动向量中。举例来说，不存在相关宏区块88的正确接收的运动向量，且因此与共同定位的宏区块86(参考帧81中)相关联的运动向量包含在组85中。

如上所述，确定所述组85候选运动向量的统计测度(参看图5和6的论述)。

在一些例子中，从一个帧到下一帧的运动可能不连续。举例来说，参考帧可包含一种类型的运动，而当前帧中的运动可能已改变方向或停止。此外，参考帧中的对象可移出相关宏区块的邻近区域，且因此在所述组候选运动向量中包含所述对象的运动向量可能不适宜。

图9是用于检测帧间的运动变化的方法的一个实施例的流程图90。图10是用于检测帧间的运动变化的方法的另一实施例的流程图100。流程图90和100的方法中的任一者或两者可用于确定来自参考帧的运动向量是否应包含在所述组候选运动向量中，以便处理之前段落中提及的要点。

首先参看图9，流程图90描述实施图5的方框52的方法的一个实施例。在方框91中，确定与参考帧相关联的运动向量的值的第一范围。在方框92中，确定与当前帧相关联的运动向量的值的第二范围。在方框93中，将所述值的第一与第二范围进行比较，且根据比较结果，与参考帧相关联的运动向量包含在所述组候选运动向量中。

还参看图2来进一步描述图9。在方框91中，在一个实施例中，计算与参考帧21相关联的正确接收的运动向量的运动向量统计。

在方框92中，在一个实施例中，计算与当前帧22相关联的正确接收的运动向量的运动向量统计。

在一个实施例中，与参考帧21和当前帧22相关联的所有运动向量均包含在运动向量统计的计算中。在另一实施例中，仅使用运动向量的子集，而不是所有运动向量。在后一实施例中，举例来说，子集可包含仅与两个帧的运动向量均被正确接收的宏区块相关联的运动向量。也就是说，举例来说，如果当前帧22中共同定位的宏区块的运动向量也被正确接收，那么参考帧21中的宏区块的运动向量仅包含在第一子集中。类似地，如果参考帧21中共同定位的宏区块的运动向量也被正确接收，那么当前帧22中的宏区块的运动向量仅包含在第二子集中。

在一个实施例中，对于每一帧，所计算的统计包含运动向量维度(量值/长度和方向/角度)的平均值和标准偏差。规定I是包含在运动向量统计的计算中的运动向量

的指数集，且规定M是集合I的大小。那么，计算参考帧21和当前帧22的量值(mag)和角度(ang)的平均值和标准偏差(std)，如下：

${\mathrm{mean}}_{\mathrm{mag}\_\mathrm{frm}}=\frac{1}{M}\underset{i\∈I}{\mathrm{\Σ}}\mathrm{mag}\left({\stackrel{\‾}{v}}_{\mathrm{frm}}\left(i\right)\right);$

${\mathrm{mean}}_{\mathrm{ang}\_\mathrm{frm}}=\frac{1}{M}\underset{i\∈I}{\mathrm{\Σ}}\mathrm{ang}\left({\stackrel{\‾}{v}}_{\mathrm{frm}}\left(i\right)\right);$

${\mathrm{std}}_{\mathrm{mag}\_\mathrm{frm}}=\sqrt{\frac{1}{M}\underset{i\∈I}{\mathrm{\Σ}}{\left(\mathrm{mag}({\stackrel{\‾}{v}}_{\mathrm{frm}}\left(i\right)-{\mathrm{mean}}_{\mathrm{mag}\_\mathrm{frm}}\right)}^2};$ 和

${\mathrm{std}}_{\mathrm{ang}\_\mathrm{frm}}=\sqrt{\frac{1}{M}\underset{i\∈I}{\mathrm{\Σ}}{\left(\mathrm{ang}({\stackrel{\‾}{v}}_{\mathrm{frm}}\left(i\right)-{\mathrm{mean}}_{\mathrm{ang}\_\mathrm{frm}}\right)}^2};$

其中下标“frm”是指当前帧或参考帧。一旦计算出平均值和标准偏差，就形成了当前帧和参考帧的每一者的(mean_{mag_frm}-std_{mag_frm}，mean_{mag_frm}+std_{mag_frm})和(mean_{ang_frm}-std_{ang_frm}，mean_{ang_frm}+std_{ang_frm})。

在方框93中，在一个实施例中，将参考帧21和当前帧22的运动向量量值的范围进行比较，且还将参考帧21和当前帧22的运动向量角度的范围进行比较。在一个实施例中，如果参考帧21的运动向量量值的范围与当前帧22的运动向量量值的范围重叠，且如果参考帧21的运动向量角度的范围与当前帧22的运动向量角度的范围重叠，那么判定参考帧21和当前帧22具有类似运动。因此，来自参考帧21的运动向量适于包含在一组候选运动向量(例如，图6的组65)中。

现参看图10，流程图100描述实施图5的方框52的方法的另一实施例。在方框101中，比较运动向量对的维度以确定所述运动向量对的每一者中的运动向量是否彼此类似。所述运动向量对的每一者包含与参考帧中的一位置处的第一宏区块相关联的第一运动向量，和与当前帧中的所述位置处的第二宏区块相关联的第二运动向量。

在方框102中，对参考帧和当前帧中类似的运动向量对的数目进行计数。在方框103中，如果所述数目超过阈值，那么来自参考帧的运动向量适于包含在一组候选运动向量中。

还参看图2来进一步描述图10。在方框101中，在一个实施例中，将每对共同定位的宏区块的维度进行比较。图2的宏区块108和109是一对共同定位的宏区块的实例。

在一个实施例中，为了帮助进行比较，针对参考帧21中每一接收的运动向量和当前帧22中每一接收的运动向量给定量值标记和方向标记。在一个此实施例中，所述量值标记的值视其相对量值为零(0)或一(1)。举例来说，向量值小于或等于二(2)个像素的运动向量被分配有量值标记0，且向量值大于2个像素的运动向量被分配有量值标记1。在一个实施例中，方向标记的值为0、1、2或三(3)。举例来说，相对于帧中的垂直线，可向角度大于或等于-45度但小于45度的运动向量分配方向标记0，可向角度大于或等于45度但小于135度的运动向量分配方向标记1，等等。可使用其它用于对运动向量的量值和方向进行标记的方案。

在一个实施例中，对于每对共同定位的宏区块，将所述对中2个运动向量的量值标记进行比较，且将所述对中的2个运动向量的方向标记进行比较。在一个实施例中，如果量值标记相同且方向标记对于一对中的2个运动向量并不相反，那么将所述对运动向量界定为类似的。应注意，在本实施例中，方向标记不一定必须相同，从而认为一对中2个运动向量是类似的。举例来说，使用上述方案，将认为方向标记0类似于方向标记0、1或3，但与方向标记2相反。可使用其它界定构成类似运动向量的规则。

在图10的方框102中，在一个实施例中，对含有类似运动向量的共同定位的宏区块对的数目进行计数。换句话说，对类似运动向量对的数目进行计数。

在方框103中，在一个实施例中，如果方框102中得到的计数超过阈值，那么来自参考帧21的运动向量适于包含在一组候选运动向量(例如，图6的组65)中。在一个实施例中，所述阈值等于两个帧21或22的任一者中的宏区块的数目的一半。

在相关宏区块的邻近区域中，可能存在运动边界——运动边界的一侧的对象可与运动边界的另一侧的对象不同地移动。图11是定位运动边界的方法的一个实施例的流程图110。流程图110描述实施图5的方框53的方法的一个实施例。应注意，在一个实施例中，依据图5的方框52的结果来实施方框53(且因此实施流程图110的方法)。

在图11的方框111中，在参考帧中识别运动边界。在方框112中，一组候选运动向量仅包含参考帧中的与参考帧中一宏区块位于运动边界的相同侧的宏区块相关联的那些运动向量，所述参考帧中的所述宏区块与当前帧中相关宏区块共同定位。

还参看图12来进一步描述图11。图12展示参考帧121中的窗口125和当前帧122中的窗口126。应了解，参考帧121和当前帧122各包含除了分别包含在窗口125和126中的宏区块以外的宏区块。

在一个实施例中，在方框111中，在参考帧121中识别运动边界129。在一个实施例中，以以下方式识别运动边界129。向与参考帧121中的窗口125中的宏区块相关联的运动向量的每一者分配量值标记和方向标记。上文结合图10作出的论述描述一种对运动向量进行标记的方法。

将与参考帧121中的与当前帧122中的相关宏区块123处于相同位置的宏区块124相关联的运动向量分类为类别0。也就是说，宏区块124与相关宏区块123共同定位，且因此，将与宏区块124相关联的运动向量识别为特定类别(例如，类别0)的第一成员。

将与窗口125相关联的其它运动向量的量值标记各自和与宏区块124相关联的运动向量的量值标记进行比较，且将窗口125中的其它运动向量的方向标记各自和与宏区块124相关联的运动向量的方向标记进行比较。

在一个实施例中，如果一运动向量的量值标记和与宏区块124相关联的运动向量的量值标记相同，且如果所述运动向量的角度标记不和与宏区块124相关联的运动向量的角度标记相反，那么将所述运动向量界定为类似于与宏区块124相关联的运动向量，且也将所述运动向量分类为类别0。如所提及，针对与窗口125相关联的每一运动向量重复刚才描述的过程，以产生局部运动类别图127。

在一个实施例中，在方框112中，仅与窗口125相关联的和与宏区块124相关联的运动向量处于相同类别的那些运动向量才包含在一组126候选运动向量中。换句话说，在本实施例中，仅参考帧121中窗口125中的与宏区块124(与相关宏区块123共同定位的宏区块)处于运动边界的相同侧的运动向量才包含在一组128候选运动向量中。也就是说，在图12的实例中，仅分类为类别0的运动向量才包含在组128中。如上所述，接着确定所述组128候选运动向量的统计测度(参看图5和6的论述)。

注意，如果与当前帧122的窗口126相关联的正确接收的运动向量与和相关宏区块123位于运动边界的相同侧的宏区块相关联，那么所述正确接收的运动向量也可包含在所述组128中。举例来说，确定图127之后，窗口126中的与窗口127中分类为类别0的那些宏区块共同定位的宏区块也可分类为类别0，且与窗口126中的那些宏区块相关联的运动向量可包含在所述组128中。

图13是使用移动对象的轨迹来选择候选运动向量的方法的一个实施例的流程图130。流程图130描述实施图5的方框53的方法的一个实施例。

在图13的方框131中，识别参考帧中第一宏区块中的对象。在方框132中，如果所述对象与当前帧中共同定位的第二宏区块充分重叠(即，第一宏区块与第二宏区块在其各自帧内处于相同位置)，那么与对象相关联的运动向量包含在一组候选运动向量中。

还参看图14来进一步描述图13。图14展示参考帧141的窗口147和当前帧142的窗口148。宏区块143与宏区块146共同定位。应了解，参考帧141和当前帧142各包含除了分别包含在窗口147和148中的宏区块以外的宏区块。

在方框131中，在一个实施例中，识别参考帧内的与和宏区块146共同定位的宏区块143相关联的对象144。在当前帧142中，对象144已移动到不同位置，且现与宏区块145相关联。

在方框132中，在一个实施例中，确定含有对象144的宏区块145是否与宏区块146重叠充分的量。如果是，那么与对象144相关联的运动向量可包含在一组候选运动向量(例如，图6的组65)中。如果否，那么与对象144相关联的运动向量不包含在所述组中。

应注意，结合图13和14描述的方法可类似地应用于窗口147和148内的宏区块的任一者。也就是说，尽管针对窗口147和148的中心宏区块描述了本发明，但本发明并不限于此。

在一个实施例中，认为大于或等于25％的重叠是充分的。可使用各种技术来确定宏区块145是否与宏区块146重叠了所述量。在一个实施例中，宏区块145和146各与界定其在当前帧142内的各自位置的一组二维坐标相关联。举例来说，使用这些坐标，可将宏区块145和146中的一者的隅角与另一宏区块的侧边的中点进行比较，以确定重叠量是否超过25％。可使用除25％以外的阈值。

已单独描述图9-14的实施例以便更清楚地描述所述实施例的某些方面；然而，应了解，可通过组合这些实施例的不同方面来实施所述实施例。在一个实施例中，将结合图9和10描述的方法中的一者与结合图11-14描述的方法中的一者进行组合。

总的来说，根据本发明的实施例提供用于使用运动向量域中的运动向量而不是像素域中的像素值来进行时间错误隐蔽的方法和系统。因此，计算复杂性得以降低，因为可消除关于错误隐蔽的失真评估；计算步骤的数目可减少多达85％。解码延迟从一个帧减少为一个宏区块片段；也就是说，为了使用相邻的运动向量来估计缺失的运动向量，可仅延迟对一宏区块片段(例如，一行)的处理。减少了存储器存取时间和相关联的解码延迟，因为可消除关于错误隐蔽的为检索像素值而进行的存储器存取。而且，本文描述的实施例产生可和与基于像素的错误隐蔽技术相关联的PSNR相当(如果不比所述PSNR更佳)的PSNR。此外，可在不必作出硬件改变的情况下实施实施例。

本文描述的概念可用于除错误隐蔽以外的应用。举例来说，实施例可用于编码器处的运动估计。举例来说，在常规分层运动估计中，以最低空间分辨率建立的运动向量可用作对较高分辨率的运动向量的初始估计。事实上，如上所述而选择的运动向量可用作初始估计以加速编码器处的运动估计。

这样描述了本发明的实施例。虽然已通过各种不同的实施例描述了本发明，但应了解，本发明不应解释为受这些实施例限制，而是应根据所附权利要求书来解释。

Claims (35)

1.一种处理视频数据的方法，所述方法包括：

从与所述视频数据的第一帧中的第一多个宏区块相关联的第一多个运动向量中且从与所述视频数据的第二帧中的第二多个宏区块相关联的第二多个运动向量中选择一组运动向量；

确定所述组运动向量的统计测度，所述统计测度界定所述第二多个宏区块中相关宏区块的运动向量；以及

将所述运动向量应用于所述相关宏区块。

2.根据权利要求1所述的方法，其中所述确定包括确定所述组的中值，其中所述相关宏区块的所述运动向量是所述中值。

3.根据权利要求1所述的方法，其中所述确定包括确定所述组的平均值，其中所述相关宏区块的所述运动向量是所述平均值。

4.根据权利要求1所述的方法，其中所述组包括：

所述第二多个运动向量；以及

所述第一多个宏区块中选定的宏区块的运动向量，其中如果所述第一帧中的一位置处存在第一宏区块的第一运动向量且所述第二帧中的所述位置处还存在第二宏区块的第二运动向量，那么所述第二运动向量包含在所述组中，且所述第一运动向量不包含在所述组中。

5.根据权利要求1所述的方法，其进一步包括决定来自所述第一多个运动向量的运动向量是否适于包含在所述组中。

6.根据权利要求5所述的方法，其中所述决定包括：

确定用于与所述第一帧相关联的运动向量的值的第一范围；

确定用于与所述第二帧相关联的运动向量的值的第二范围；以及

将值的所述第一范围与所述第二范围进行比较，其中如果所述第一范围与所述第二范围重叠指定的量，那么来自所述第一多个运动向量的运动向量适于包含在所述组中。

7.根据权利要求5所述的方法，其中所述决定包括：

将运动向量对的维度进行比较以确定所述对的每一者中的运动向量是否彼此类似，所述运动向量对的每一者包括与所述第一帧中的一位置处的第一宏区块相关联的第一运动向量和与所述第二帧中的所述位置处的第二宏区块相关联的第二运动向量，其中如果运动向量满足一规则，那么它们是类似的；以及

对所述第一帧和所述第二帧中类似的运动向量对的数目进行计数，其中如果所述数目超过阈值，那么来自所述第一多个运动向量的运动向量适于包含在所述组中。

8.根据权利要求5所述的方法，其中所述组包括与所述第一多个宏区块的与所述第一帧中的一宏区块位于运动边界的相同侧上的宏区块相关联的运动向量，其中所述第一帧中的所述宏区块与所述相关宏区块处于相同位置。

9.根据权利要求5所述的方法，其中所述组包括来自所述第一多个运动向量的与所述第一多个宏区块中的一宏区块的运动向量类似的运动向量，其中所述第一多个宏区块中的所述宏区块与所述相关宏区块处于相同位置，其中如果运动向量满足一规则，那么它们是类似的。

10.根据权利要求1所述的方法，其中如果在所述第二帧中，所述第一帧中的与所述第二帧中的第二宏区块处于相同位置处的第一宏区块中所含有的对象与所述第二宏区块重叠指定的量，那么与所述对象相关联的运动向量包含在所述组中。

11.根据权利要求1所述的方法，其中所述第一帧按显示次序位于所述第二帧之前。

12.一种计算机可用媒体，其中内嵌有用于促使解码装置执行视频数据处理方法的计算机可读程序代码，所述方法包括：

从与视频数据的第一帧中的第一多个宏区块相关联的第一多个运动向量中且从与所述视频数据的第二帧中的第二多个宏区块相关联的第二多个运动向量中选择一组运动向量；

确定所述组运动向量的统计测度，所述统计测度界定所述第二多个宏区块中相关宏区块的运动向量；以及

将所述运动向量应用于所述相关宏区块。

13.根据权利要求12所述的计算机可用媒体，其中所述组包括：

所述第二多个运动向量；以及

所述第一多个宏区块中选定的宏区块的运动向量，其中如果所述第一帧中的一位置处存在第一宏区块的第一运动向量且所述第二帧中的所述位置处还存在第二宏区块的第二运动向量，那么所述第二运动向量包含在所述组中，且所述第一运动向量不包含在所述组中。

14.根据权利要求12所述的计算机可用媒体，其中内嵌于其中的所述计算机可读程序代码促使所述解码装置执行所述视频数据处理方法，所述方法进一步包括：

确定用于与所述第一帧相关联的运动向量的值的第一范围；

确定用于与所述第二帧相关联的运动向量的值的第二范围；以及

将值的所述第一范围与所述第二范围进行比较，其中如果所述第一范围与所述第二范围重叠指定的量，那么来自所述第一多个运动向量的运动向量适于包含在所述组中。

15.根据权利要求12所述的计算机可用媒体，其中内嵌于其中的所述计算机可读程序代码促使所述解码装置执行所述视频数据处理方法，所述方法进一步包括：

将运动向量对的维度进行比较以确定所述对的每一者中的运动向量是否彼此类似，所述运动向量对的每一者包括与所述第一帧中的一位置处的第一宏区块相关联的第一运动向量和与所述第二帧中的所述位置处的第二宏区块相关联的第二运动向量，其中如果运动向量满足一规则，那么它们是类似的；以及

对所述第一帧和所述第二帧中类似的运动向量对的数目进行计数，其中如果所述数目超过阈值，那么来自所述第一多个运动向量的运动向量适于包含在所述组中。

16.根据权利要求12所述的计算机可用媒体，其中所述组包括与所述第一多个宏区块的与所述第一帧中的一宏区块位于运动边界的相同侧的宏区块相关联的运动向量，其中所述第一帧中的所述宏区块与所述相关宏区块处于相同位置。

17.根据权利要求12所述的计算机可用媒体，其中如果在所述第二帧中，所述第一帧中的与所述第二帧中的第二宏区块处于相同位置处的第一宏区块中所含有的对象与所述第二宏区块重叠指定的量，那么与所述对象相关联的运动向量包含在所述组中。

18.根据权利要求12所述的计算机可用媒体，其中所述第一帧按显示次序位于所述第二帧之前。

19.一种用于处理视频数据的系统，所述系统包括：

用于从与所述视频数据的第一帧中的第一多个宏区块相关联的第一多个运动向量中且从与所述视频数据的第二帧中的第二多个宏区块相关联的第二多个运动向量中选择一组运动向量的装置；

用于确定所述组运动向量的统计测度的装置，所述统计测度界定所述第二多个宏区块中相关宏区块的运动向量；以及

用于将所述运动向量应用于所述相关宏区块的装置。

20.根据权利要求19所述的系统，其中所述组包括：

所述第二多个运动向量；以及

所述第一多个宏区块中选定的宏区块的运动向量，其中如果所述第一帧中的一位置处存在第一宏区块的第一运动向量且所述第二帧中的所述位置处还存在第二宏区块的第二运动向量，那么所述第二运动向量包含在所述组中，且所述第一运动向量不包含在所述组中。

21.根据权利要求19所述的系统，其进一步包括用于决定来自所述第一多个运动向量的运动向量是否适于包含在所述组中的装置。

22.根据权利要求21所述的系统，其中所述用于决定的装置包括：

用于确定用于与所述第一帧相关联的运动向量的值的第一范围的装置；

用于确定用于与所述第二帧相关联的运动向量的值的第二范围的装置；以及

用于将值的所述第一范围与所述第二范围进行比较的装置，其中如果所述第一范围与所述第二范围重叠指定的量，那么来自所述第一多个运动向量的运动向量适于包含在所述组中。

23.根据权利要求21所述的系统，其中所述用于决定的装置包括：

用于将运动向量对的维度进行比较以确定所述对的每一者中的运动向量是否彼此类似的装置，所述运动向量对的每一者包括与所述第一帧中的一位置处的第一宏区块相关联的第一运动向量和与所述第二帧中的所述位置处的第二宏区块相关联的第二运动向量，其中如果运动向量满足一规则，那么它们是类似的；以及

用于对所述第一帧和所述第二帧中类似的运动向量对的数目进行计数的装置，其中如果所述数目超过阈值，那么来自所述第一多个运动向量的运动向量适于包含在所述组中。

24.根据权利要求21所述的系统，其中所述组包括与所述第一多个宏区块的与所述第一帧中的一宏区块位于运动边界的相同侧的宏区块相关联的运动向量，其中所述第一帧中的所述宏区块与所述相关宏区块处于相同位置。

25.根据权利要求21所述的系统，其中所述组包括来自所述第一多个运动向量的与所述第一多个宏区块中的一宏区块的运动向量类似的运动向量，其中所述第一多个宏区块中的所述宏区块与所述相关宏区块处于相同位置，其中如果运动向量满足一规则，那么它们是类似的。

26.根据权利要求19所述的系统，其中如果在所述第二帧中，所述第一帧中的与所述第二帧中的第二宏区块处于相同位置处的第一宏区块中所含有的对象与所述第二宏区块重叠指定的量，那么与所述对象相关联的运动向量包含在所述组中。

27.根据权利要求19所述的系统，其中所述第一帧按显示次序位于所述第二帧之前。

28.一种装置，其包括：

微处理器；以及

存储器单元，其耦合到所述微处理器，所述存储器单元含有当由所述微处理器执行时实施用于处理视频数据的方法的指令，所述方法包括：

从与所述视频数据的第一帧中的第一多个宏区块相关联的第一多个运动向量中且从与所述视频数据的第二帧中的第二多个宏区块相关联的第二多个运动向量中选择一组运动向量；

确定所述组运动向量的统计测度，所述统计测度界定所述第二多个宏区块中相关宏区块的运动向量；以及

将所述运动向量应用于所述相关宏区块。

29.根据权利要求28所述的装置，其中所述组包括：

所述第二多个运动向量；以及

所述第一多个宏区块中选定的宏区块的运动向量，其中如果所述第一帧中的一位置处存在第一宏区块的第一运动向量且所述第二帧中的所述位置处还存在第二宏区块的第二运动向量，那么所述第二运动向量包含在所述组中，且所述第一运动向量不包含在所述组中。

30.根据权利要求28所述的装置，其中所述方法进一步包括：

确定用于与所述第一帧相关联的运动向量的值的第一范围；

确定用于与所述第二帧相关联的运动向量的值的第二范围；以及

将值的所述第一范围与所述第二范围进行比较，其中如果所述第一范围与所述第二范围重叠指定的量，那么来自所述第一多个运动向量的运动向量适于包含在所述组中。

31.根据权利要求28所述的装置，其中所述方法进一步包括：

将运动向量对的维度进行比较以确定所述对的每一者中的运动向量是否彼此类似，所述运动向量对的每一者包括与所述第一帧中的一位置处的第一宏区块相关联的第一运动向量和与所述第二帧中的所述位置处的第二宏区块相关联的第二运动向量，其中如果运动向量满足一规则，那么它们是类似的；以及

对所述第一帧和所述第二帧中类似的运动向量对的数目进行计数，其中如果所述数目超过阈值，那么来自所述第一多个运动向量的运动向量适于包含在所述组中。

32.根据权利要求28所述的装置，其中所述组包括与所述第一多个宏区块的与所述第一帧中的一宏区块位于运动边界的相同侧的宏区块相关联的运动向量，其中所述第一帧中的所述宏区块与所述相关宏区块处于相同位置。

33.根据权利要求28所述的装置，其中所述组包括来自所述第一多个运动向量的与所述第一多个宏区块中的一宏区块的运动向量类似的运动向量，其中所述第一多个宏区块中的所述宏区块与所述相关宏区块处于相同位置，其中如果运动向量满足一规则，那么它们是类似的。

34.根据权利要求28所述的装置，其中如果在所述第二帧中，所述第一帧中的与所述第二帧中的第二宏区块处于相同位置处的第一宏区块中所含有的对象与所述第二宏区块重叠指定的量，那么与所述对象相关联的运动向量包含在所述组中。

35.根据权利要求28所述的装置，其中所述第一帧按显示次序位于所述第二帧之前。

Images