CN101379816B - 双向预测帧的时间错误隐藏 - Google Patents

Abstract

本发明描述一种用以处理错误的双向预测多媒体数据的方法和设备。所述方法包含确定所述错误的多媒体数据的时间预测数据，以及基于所述确定的时间预测数据来估计所述错误的多媒体数据。所述时间预测数据包含用于预测前向参考区段和/或反向参考区段的数据。在一些方面，所述时间预测数据包括参考帧中经缩放以对应于含有所述错误数据的帧的运动向量数据。

Description

双向预测帧的时间错误隐藏

相关申请案的交叉参考

本专利申请案主张基于2005年5月11日申请的题为“A METHOD AND APPARATUSFOR TEMPORAL ERROR CONCEALMENT”的第60/680,278号临时申请案的优先权，所述临时申请案转让给本发明的受让人，且因此特意以引用的方式并入本文中。

技术领域

本发明涉及用于用错误管理来对例如视频数据或音频数据的多媒体数据进行编码和解码的方法和设备。

背景技术

因特网和无线通信的广泛使用已经增加了对在因特网和移动/无线信道上对媒体进行串流的多媒体服务的需求。在因特网协议(IP)网络中，视频可由服务器提供，且可由一个或一个以上有线或无线客户机来串流。有线连接包含拨号、综合服务数字网络(ISDN)、电缆、数字订户线协议(总称为xDSL)、光纤、局域网(LAN)、广域网(WAN)和其它连接。利用无线通信的电子装置包含电话(例如，蜂窝式电话)、个人数据助理(PDA)、手持式和便携式计算机以及其它电子装置。在大多数这些应用中(即使不是全部)，带宽要求和/或限制迫使视频处理利用并入有视频压缩算法的源编码器来分析、量化和呈现视频数据，以通过消耗“最小”数目的位来传送最多的信息。使用压缩算法的视频处理的特征可基于内容而较大地改变，这可导致其性能(例如压缩效率和位速率)的大规模变化。

无线信道容易发生错误。如果所传输的数据的一部分被丢失或破坏，那么其是“错误的”。因为视频压缩本质上去除了冗余，所以经压缩的数据变成关键性的。任何在传输期间变成错误的数据都可能影响解码器处的重构视频质量。如果错误的数据是用于运动补偿预测的参考帧的一部分，那么所述影响会加剧，导致时间错误传播。

为了减轻由于错误地接收到的位流数据而导致的对重构视频质量的影响，视频解码器对接收到的视频数据进行处理以改进视频质量。这被称为错误隐藏。错误隐藏方案利用视频信号中存在的空间与时间相关性。因此，这些方案被称为空间或时间错误隐藏。

视信道错误(位错误和/或包损失)的性质和分组的类型而定，与一个或一个以上宏块或片有关的数据的所有或一部分在传输期间可能是错误的。对于宏块，各种经编码的宏块数据可能是错误的，所述宏块数据包含以下数据中的一者或一者以上：编码模式(帧间或帧内)、运动向量(如果是帧间的话)以及变换系数。

如果宏块是错误的，那么通常假定所有的上述信息都是错误的。对于帧间编码的宏块，其运动向量和残余系数是错误的。由于残余信号经高度解相关，所以很难根据邻近宏块来估计所述信号。然而，研究显示，如果可恢复运动向量，那么可大大提高重构视频质量。因此，时间错误隐藏的主要目的是根据错误的运动向量的空间和时间邻近者来估计所述错误的运动向量。一旦运动向量被构造，就可以零残余系数使用所构造的运动向量来执行运动补偿。

尽管有几种现存的时间错误隐藏方案，但它们都不能提供很好的结果。此外，它们与双向预测多媒体数据和/或可变运动补偿块尺寸不兼容。因此，需要一种新的时间错误隐藏方案来实现改进的结果，并提供较宽的兼容性。

发明内容

提供一种处理双向预测多媒体数据的方法，其中所述数据包含错误地接收到的第一区段。所述方法包含确定错误地接收到的第一区段的时间预测数据，其中所述时间预测数据对应于第一前向参考区段和第一反向参考区段。所述方法进一步包含基于所述第一前向参考区段和所述第一反向参考区段中的至少一者来估计所述第一区段。

提供一种用于处理双向预测多媒体数据的处理器，其中所述数据包含错误地接收到的第一区段。所述处理器经配置以确定错误地接收到的第一区段的时间预测数据，其中所述时间预测数据对应于第一前向参考区段和第一反向参考区段。所述处理器进一步经配置以基于所述第一前向参考区段和所述第一反向参考区段中的至少一者来估计所述第一区段。

提供一种用于处理双向预测多媒体数据的设备，其中所述数据包含错误地接收到的第一区段。所述设备包含确定器，所述确定器用以确定错误地接收到的第一区段的时间预测数据，其中所述时间预测数据对应于第一前向参考区段和第一反向参考区段。所述设备还包含估计器，所述估计器用以基于所述第一前向参考区段和所述第一反向参考区段中的至少一者来估计所述第一区段。

提供一种实施处理双向预测多媒体数据的方法的计算机可读媒体，其中所述数据包含错误地接收到的第一区段。所述方法包含确定错误地接收到的第一区段的时间预测数据，其中所述时间预测数据对应于第一前向参考区段和第一反向参考区段。所述方法进一步包含基于所述第一前向参考区段和所述第一反向参考区段中的至少一者来估计所述第一区段。

附图说明

图1展示说明用于对传入的多媒体数据流(未图示)进行解码和显示的解码器系统的实例的框图。

图2展示说明图1中所示的时间预测确定器170可包括的更详细实例的框图。

图3展示说明处理错误的双向预测多媒体数据的方法中的某些框的流程表。

图4说明包括正确接收并解码的宏块和错误地接收到的宏块的宏块组。

图5A展示说明图3的框304处确定时间预测数据的过程的实例的流程表。

图5B展示说明图5A的框502处限制参考区域的过程的实例的流程表。

图5C展示说明图5A的框504处产生运动向量的过程的实例的流程表。

图5D展示说明图5A的框506处确定估计模式的过程的实例的流程表。

图6说明限制用于确定时间预测数据的前向和反向参考帧的参考区域的方法。

图7A和图7B说明运动向量缩放的实例。

图8说明导致参考区段与待在当前帧中估计的错误区段重叠的运动向量。

图9说明邻近错误宏块的宏块的4×4像素块。

图10展示说明用于处理包括错误地接收到的第一区段的双向预测多媒体数据的设备的实例的框图。

具体实施方式

本发明描述一种用于处理错误地接收到的双向预测多媒体数据的方法和设备，包括确定错误地接收到的多媒体数据的时间预测数据，和基于确定的时间预测数据来估计错误地接收到的多媒体数据。时间预测数据可对应于前向参考区段和/或反向参考区段。一方面，时间预测数据可包括对应于前向参考区段和/或反向参考区段的运动向量。对时间预测数据(例如，运动向量)的处理可包括缩放、合并和平滑操作。在以下描述内容中，给出特定细节以提供对所揭示方法和设备的全面理解。然而，所属领域的技术人员应了解，可在没有这些特定细节的情况下实践所揭示的方法和设备。举例来说，电气组件可以框图的形式展示，以便避免不必要的细节混淆某些方面。在其它例子中，此类组件、其它结构和技术可详细地展示以进一步阐释某些方面。

还应注意，可将某些方面描述为过程，将所述过程描绘为流程表、流程图、结构图或框图。尽管流程表可能将操作描述为循序过程，但所述操作中的许多操作可并行或同时执行，且所述过程可重复。另外，所述操作的次序可重新布置。如果其操作完成，那么过程终止。过程可对应于方法、函数、程序、子例行程序、子程序等。如果过程对应于函数，那么其终止对应于所述函数返回到调用函数或主函数。

图1展示说明经配置以对传入的多媒体数据流(未图示)进行解码的解码器系统的实例的框图。所述多媒体数据可具有各种形式，包含(但不限于)视频、音频、图形、文本和图片。所述数据可以是如在MPEG-x和H.26x标准下压缩的视频和音频、如在MPEG-4 AAC、MP3、AMR和G.723音频或语音压缩标准下压缩的音频或任一其它类型的数字数据。可经由例如电话、电缆和光纤的有线网络或经由无线网络来接收数据流。在无线的情况下，网络可包括(例如)码分多址(CDMA或CDMA2000)通信系统的一部分，或者，所述系统可以是频分多址(FDMA)系统；正交频分多路复用(OFDM)系统；时分多址(TDMA)系统，例如用于服务行业的GSM/GPRS(通用无线分组业务)/EDGE(增强型数据GSM环境)或TETRA(地面集群无线电)移动电话技术；宽带码分多址(WCDMA)、高数据速率(1xEV-DO或1xEV-DO黄金多播)系统，或一般来说使用技术组合的任何无线通信系统。

系统100包含解码器装置110、外部存储器185和显示器190。示范性解码器装置110包括网络接口155、视频和/或音频解码器160、错误检测器/校正器165、时间预测确定器170、存储器175和处理器180。网络接口155可从网络或图像源(例如内部存储组件175或外部存储器185)接收经编码的多媒体数据(例如MPEG-4或H.264压缩视频数据)。经编码的多媒体数据可以是MPEG-4或H.264压缩视频数据。存储组件175和/或外部存储器185可以是数字视频盘(DVD)或含有经编码的视频数据的硬盘驱动器。

视频/音频解码器160经配置以对各种类型的经编码的数据中的任何一种进行解码。经编码的数据可以是经压缩的数据、经变换的数据、经量化的数据或其任一组合。经编码的数据可包括多媒体数据，例如视频、音频、闭合式字幕、图形或其任一组合。

错误检测器/校正器165经配置以执行各种错误检测和/或校正方案中的一者或一者以上。经编码的数据可包含各种方案来提供错误复原力。易发生错误的信道(例如无线和/或有线网络)可能将错误引入由解码器110接收的位流中。此类错误复原方案可包含一个或一个以上错误控制编码方案、交错方案和所属领域的技术人员已知的其它方案。错误检测器/校正器165包含对应的允许错误的检测和校正的错误解码组件。网络上所引入的一些错误不能由错误校正器/检测器165来校正。对于那些不能校正的错误，请求重传被破坏的分量的解决方案在一些情形下是不可行的。对于解码器110不能具有请求重传错误数据的选择的情形，可使用错误恢复。错误恢复可包含各种形式的时间和/或空间隐藏方法。

时间预测确定器170经配置以执行错误的帧间编码数据的时间错误隐藏。具体地说，时间预测确定器170经配置以执行双向预测帧间编码数据的时间错误隐藏。帧间或预测性编码涉及根据一个或一个以上其它图片对一个图片(字段或帧)进行编码。贯穿本说明书使用的帧间编码的图片的实例是预测的帧(前向或反向预测到，被称为“P帧”)，和双向预测的帧(根据例如前向帧和反向帧的两个帧而预测到，被称为“B帧”)。由于B帧的双向运动补偿特征的缘故，B帧的压缩效率可高于I帧或P帧的压缩效率。因此，B帧的尺寸通常显著小于I帧和P帧的尺寸。因此，由于给定尺寸的错误数据组而导致的面积损失对于B帧来说可能要比对于P帧或I帧来说大。所有类型(P、B和/或I)的帧都可包含帧间和帧内编码区域两者。帧间编码的其它术语包含高通编码(high-passcoding)、残余编码、运动补偿内插和所属领域的技术人员众所周知的其它术语。B帧(或任何帧间编码的区段)可利用当前帧中的区域与两个其它参考帧中的最佳匹配预测区域之间的时间冗余。可通过平均、加权平均和所属领域的技术人员已知的其它方法来对最佳匹配区域进行组合。当前区域与经组合的最佳匹配参考预测区域之间的差异被称为残余误差(或预测误差)。可在指向前向参考帧列表中的帧的前向运动向量中和指向反向参考帧列表中的帧的反向运动向量中，对最佳匹配预测区域在参考帧中的位置进行编码。

处理器180可以是任何合适的通用单芯片或多芯片微处理器，或任何合适的专用微处理器，例如数字信号处理器、微控制器或可编程门阵列。处理器180经配置以执行一个或一个以上软件应用程序，以控制网络接口155、视频/音频解码器160、错误检测器/校正器165、时间预测确定器170(和图2中所示的子组件)以及显示器190的操作。处理器180还经配置以存取存储器175或外部存储器185，以读取和/或存储数据。

图2展示说明时间预测确定器170可包括的某些子组件的框图。图2中所示的时间预测确定器170的子组件可包括运动向量缩放器1704、运动向量合并器1706、运动向量平滑器1708、参考区域限制器1710、参考数据确定器1712、估计模式确定器1714和错误数据估计器1716。时间预测确定器170经配置以获得时间预测数据，其对应于包括错误的双向预测数据的像素组可根据其而估计到的一个或一个以上参考帧。时间预测确定器170可对多媒体数据的任何尺寸的部分进行操作。所述数据部分可以是任何尺寸的N×M像素，其中N和M是整数。在一个实例中，时间预测确定器170的操作的基本单位是宏块。宏块是相关联像素组，且在此实例中，由16×16个像素组成。像素可由8位亮度值(Y)和两个8位色度值(Cr和Cb)来界定。在MPEG中，Y、Cr和Cb分量可以4∶2∶0的格式存储，其中Cr和Cb分量在X和Y方向上以2进行下取样。因此，每个宏块都将由256个Y分量、64个Cr分量和64个Cb分量组成。

应注意，在不改变解码器的功能的情况下，图1或图2中所说明的组件中的任何一者都可重新布置且/或与一个或一个以上其它组件组合。举例来说，处理器180可以在解码器装置110的外部，或视频解码器160可与校正器165和确定器170组合。在某些实例中，图1或图2中所说明的组件中的一者或一者以上可去除。

图3展示说明处理错误的双向预测到的多媒体数据的时间错误隐藏方法的实例的流程表。在此实例中，所述时间错误隐藏方法导出双向预测到的数据的错误区段的前向和反向时间预测数据的估计。待估计的时间预测数据可以是分别针对(或指向)前向参考帧和反向参考帧的前向运动向量和/或反向运动向量。所述估计出的运动向量可部分地基于前向和/或反向参考帧中的数据区段的运动向量。数据的错误区段和参考区段可具有任何形状或尺寸(例如上文所论述的基本单位)，且可由像素组成。所述估计出的运动向量还可部分地基于与错误数据在同一帧中的数据的未被破坏的块的运动向量。

方法300开始，其中解码器装置110(图1中所示)接收(302)双向预测的多媒体数据的错误区段。错误数据可由网络接口155接收，且在此实例中，接收到的错误中的一些错误可能不能由错误检测器/校正器165校正。接着，错误数据可由时间预测确定器170来处理。错误检测器/校正器165可对多媒体数据的错误区段作记号或标记。接着，处理器180可识别待由时间预测确定器170隐藏的错误区段。

时间预测确定器170确定(304)错误区段的时间预测数据。可使用前向和反向时间预测数据来估计(306)当前帧中的错误区段。所确定的时间预测数据可包括对应于错误区段的区域的前向运动向量和/或反向运动向量。所确定的前向运动向量可指向帧序列中的前向帧，且所确定的反向参考向量指向所述序列中的反向帧，其中前向和反向是所述序列中相对于含有错误数据的当前帧的方向。前向参考区段和反向区段可以是任何尺寸的部分。例如参考数据确定器1712的确定装置可确定(304)时间预测数据。下文相对于图5A论述确定(304)的进一步细节。

可使用时间预测数据来定位多媒体数据的对应于当前帧的错误区段的部分。通过方法300处理的数据的错误区段可以是任何形状或尺寸的像素组。用于阐释方法300的一个实例是像素块。像素块可包括N×M个像素，其中N和M是整数。使用宏块(16个像素乘以16个像素)作为待估计的错误数据的基本单位或区段来描述方法300。例如错误数据估计器1716的估计装置可估计(306)错误数据。应注意，图3所示的流程表中所说明的框中的任何一者都可省略、重新排序或与一个或一个以上其它框组合。

在302处错误地接收到的区段可以是任何形状或尺寸的错误数据的较大部分的一部分。图4说明包括正确接收到且可能经解码的宏块和错误地接收到的宏块的宏块组。帧400是含有12×13个宏块的帧，其中宏块的所述数目是一个实例。帧400包含非错误的宏块402和错误的宏块404。帧400还包含邻近错误宏块404的非错误的宏块406。错误的宏块404可以是已知为片的一个或一个以上可独立解码的宏块组的组成部分。片可具有非错误且可能够在错误部分之后被合适地解码的初始部分。而且，片可接着在中间的某个地方具有错误部分。在一些情况下，所述片的出现在错误的中间部分之后的其余部分也可能是错误的，这是由于(至少部分地)上下文自适应编码(context adaptive coding)的性质的缘故，其中编码方法(且因此解码方法)取决于知道前面的数据的上下文。因此，片的一部分(例如一个或一个以上数据块)可能是错误的，或整个片、多个片或整个帧(或更多)可能是错误的。片可对应于一行或多行宏块、一列或多列宏块、一块宏块或整个宏块帧。

图5A展示说明图3的框304处的确定时间预测数据的过程的更详细实例的流程表。在可选框502处，前向和/或反向参考帧的参考区段限于参考帧内的一个或一个以上区域(例如一个或一个以上宏块组)。代替处理整个前向和/或反向参考帧以确定时间预测数据并估计当前帧的错误区段，可对受限参考区域进行处理。限制所述参考区域集中于参考信息，以选择参考帧的多个部分或区域，并减小过程300中所使用的处理功率和/或处理时间。下文参考图5B来论述用于限制参考帧的参考区域的过程的实例的细节。

在可选地限制(502)前向参考帧和反向参考帧的参考区域之后，时间预测确定器170产生(504)错误区段的运动向量以用于估计(306)且因此隐藏当前帧的错误数据。在504处产生的运动向量可基于前向和/或反向参考区段(例如前向帧和/或反向帧的宏块)的帧间编码中所使用的运动向量。在此实例中，通过处理参考帧的被限制(502)的参考区域的运动向量来产生错误区段的运动向量。运动补偿预测是基于以下假定的：一个帧中的视频区段可在另一帧中的相同或类似的视频区段(即使位于另一帧中的不同空间位置)上进行预测。如果假定预测的参考区段的运动是连续的(例如以线性方式)，那么可内插或外插运动向量，以便基于用于预测参考区段的运动向量来确定错误区段的运动向量。可针对每个错误的双向预测的区段产生两个运动向量，其中一个前向且一个反向。下文相对于图5C论述用于产生(504)对应于错误区段的运动向量的额外细节。

在504处产生运动向量之后，图2的估计模式确定器1714可以可选地确定(506)待用于估计错误区段的估计模式。由于两个参考帧(前向和反向参考帧)可用于估计目的，所以估计每个错误基本单位区段的四个可能模式是可用的。所述估计模式包含两个单向模式，每个单向模式使用指向反向参考帧或前向参考帧的单个确定运动向量；和一个双向模式，其使用两个确定运动向量，其中一个运动向量指向前向参考帧，且另一个指向反向参考帧。第四模式不使用任何运动向量(例如空间隐藏)。下文更详细地论述用于确定(506)估计模式的方法。

为了估计错误区段，图2的参考数据确定器1712确定(508)可能的具有所产生(504)的导致错误区段的重叠被隐藏的运动向量的参考区段。所述确定(508)可包括分析经缩放的运动向量以识别前向和/或反向参考帧中的一个或一个以上候选参考区段，其中经缩放的运动向量导致错误区段的重叠被隐藏。

在确定(508)相关参考区段之后，通过(例如)使用导致错误区段的重叠的前向和/或反向运动向量，图2的错误数据估计器1716估计(306)(见图3)错误区段。所述估计(306)可使用标准时间预测算法，所述算法使用经缩放的运动向量和由所述经缩放的运动向量指向的参考区段的视频数据。标准时间预测算法包含(但不限于)MPEGx和H.26x标准中所使用的运动补偿预测算法。如上文所论述，如果前向和反向帧两者中的经缩放的运动向量被确定(508)为导致错误区段的重叠，那么可使用估计(306)错误数据的双向模式。如果一个(前向或反向)运动向量被确定(508)为导致错误区段的重叠，那么可使用单向预测方法来估计(306)错误数据。在一些实例中，通常在运动补偿预测算法中使用的残余误差数据被设置为零。

图5B展示说明限制(502)用于确定(304)时间预测数据的参考区域的过程的详细实例的流程表。限制(502)参考区域的一些示范性方法利用图4中所示的邻近错误宏块404的非错误宏块406的运动向量。图2的参考区域限制器1710产生(510)一组对应于邻近错误宏块404的宏块406的非错误部分的运动向量。非错误宏块406每一者可具有一个运动向量，或它们可针对各种尺寸的子宏块具有多个运动向量。子宏块可包含各种数目的像素，例如16×8、8×16、8×8、8×4、4×8、4×4或其它数目。所产生(510)的非错误运动向量含有正交分量“x”和“y”，其定位前向和/或反向参考帧中的参考区段。运动向量还可包含帧编号或识别参考帧相对于含有预测的宏块(或子宏块)的当前帧的位置的其它类型的数据。

在产生(510)对应于宏块406的邻近非错误部分的运动向量的列表之后，参考区域限制器1710将前向和/或反向参考帧中的参考区域限制(512)为由所产生的非错误运动向量定界的区域。图6说明基于非错误的邻近运动向量来限制(512)参考区域的示范性过程。帧600是含有错误宏块404的当前参考帧。帧610是前向参考帧，且帧620是反向参考帧。在图6所说明的实例中，错误数据包括宏块片，其在当前帧600中从一侧水平延伸到另一侧(例如图4中的错误区段404)。使用所产生(510)的运动向量列表来分别将前向参考帧610和反向参考帧620的参考区域限制为受限前向参考区域615和受限反向参考区域625。通过将前向和反向参考区域限制为由对应于非错误邻近宏块406的运动向量定界的区域，可用有限的处理功率和时间来实现有效的搜索。

受限前向参考区域615的顶部和底部可分别通过由前向最高运动向量612和前向最低运动向量614指向的宏块行来定界。受限反向参考区域625的顶部和底部可分别通过由反向最高运动向量622和反向最低运动向量624指向的宏块行来定界。可分别通过从非错误邻近运动向量中选择指向前向帧610和反向参考帧620中的最高位置的运动向量来产生最高运动向量612和622。可分别通过从非错误的邻近运动向量中选择指向前向帧610和反向参考帧620中的最低位置的运动向量来产生最低运动向量614和624。或者，可在逐列基础上界定受限参考区域615和625。可通过列中的非错误宏块中所含有的子宏块的最高指向和最低指向运动向量来限制列受限参考区域。另外，受限区域615和625的右边和左边还可由最右运动向量和最左运动向量(未图示)来定界。所属领域的技术人员将明了限制(612)前向和/或反向参考区域的其它方法。应注意，图5B所示的流程表中所说明的框中的任何一者都可省略、重新排序或与一个或一个以上其它框组合。

图5C展示说明基于图5A的前向和反向参考区段产生(504)运动向量的过程的详细实例的流程表。在一些实例中，前向和反向参考区段包括经解码的多媒体数据和用于对所述区段进行解码的运动向量数据。如上文所论述，视频通信系统的某些实例要求解码器支持可变运动补偿块尺寸。在此类实例中，到达解码器的输入中的一者是具有可变尺寸的每个经解码块的运动向量。另一输入是来自所述经解码帧的每个运动向量的参考帧索引(ref_idx)。参考帧索引信息承载于每个运动向量的位流中，指示预测的帧与其运动向量的参考帧之间的距离。在一个实例中，针对每个宏块，有七个有效运动补偿块尺寸。这些块尺寸是16×16、16×8、8×16、8×8、8×4、4×8和4×4。在此实例中，所述过程通过将参考运动向量转换成基于单个即时参考帧和均匀参考块尺寸(例如16×16像素块)的运动向量来针对可变运动补偿块尺寸产生(504)运动向量。

为了产生含有错误区段的当前帧的运动向量，图2的运动向量缩放器1704缩放(514)在预测前向和反向参考帧的参考区段中所使用的运动向量。在运动向量缩放的此实例中，所述缩放是基于当前帧与参考帧与所述参考帧根据其而预测的帧之间的距离的比较。在运动向量缩放之后，一对运动向量从当前帧指向前向参考帧和反向参考帧。因此，前向和反向参考帧的运动向量经缩放以产生可用于估计(306)(见图3)当前帧的错误数据的运动向量。所产生的指向反向或前向参考帧的运动向量可如下表征：

MV_f_x＝MV_x*N/M；  (1)

MV_f_y＝MV_y*N/M    (2)

其中MV_f_x和MV_f_y是新的运动向量的x和y分量，MV_x和MV_y是非错误的参考运动向量的x和y分量，N是从当前帧到前向或反向参考帧的距离，且M是从前向或反向参考帧到参考帧根据其而预测的帧的距离。下文相对于图7A和7B论述涉及运动向量缩放的额外细节。

接下来，图2的运动向量合并器1706合并(516)运动向量。运动向量合并(516)可提供对可变块尺寸运动向量的支持。在运动向量合并(516)期间，将不同块尺寸的经缩放的运动向量转换成代表被称为基本单位的均匀块尺寸的运动向量。所述基本单位的尺寸是可配置的。在一些实例中，使用16×16像素基本单位。

如果基本单位包括若干较小尺寸的经缩放的运动向量，那么应用合并操作以将所述基本单位内的运动向量合并成单个运动向量，并将其分配给所述基本单位。然而，如果经缩放的运动向量对应于比基本单位大的块，那么可将输入运动向量分成若干个运动向量，每一者代表一个基本单位，且每一者具有与经缩放的运动向量相同的运动向量。各种实例可用来执行合并操作。在一个实例中，新的运动向量是基本单位中所包括的对应于较小块尺寸的若干经缩放的运动向量的平均数。在另一实例中，新的运动向量是基本单位中所包括的若干经缩放的运动向量的平均值。在另一实例中，新的运动向量是基本单位中所包括的若干经缩放的运动向量的中值。在运动向量合并(516)之后，运动向量已经转换成单尺寸基本单位。

在一些实例中，经缩放(且可能经合并)的运动向量被平滑(518)。所述运动向量平滑(518)可包括中值滤波。运动向量平滑(518)可包括平均滤波或加权平均滤波。前面的框514和516将接收到的运动向量字段修改成均匀尺寸(基本单位尺寸)的前向和反向参考运动字段(运动向量经缩放以从当前帧指向反向或前向参考帧)。运动向量平滑(例如中值滤波)用于去除或减小由缩放(514)和合并(516)操作引入的运动向量中的奇异性，且因此可得出较佳的错误隐藏结果。

在信号和图像处理中使用中值滤波来去除脉冲噪声而同时保留边缘。为了获得N个标量的阵列X＝(x_x，x₂，...x_N)(其中

其中i＝1，2，...，N)的中值，通常首先将所述阵列分类成

。接着，将中间的元素

视为所述阵列的中值x_M。中值x_M满足以下特性：

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}|x_M-x_i|\≤\underset{i=1}{\overset{N}{\mathrm{\Σ}}}|x_j-x_i|,j=\mathrm{1,2},\·\·\·N---\left(3\right).$

类似地，对于N个m维向量的阵列 $V=({\stackrel{\→}{v}}_1,{\stackrel{\→}{v}}_2,\·\·\·{\stackrel{\→}{v}}_N)$ (其中

，其中i＝1，2，...N)，中值向量是满足以下限制的向量：

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left|\right|{\stackrel{\→}{v}}_{\mathrm{VM}}-{\stackrel{\→}{v}}_i|{|}_p\≤\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|{\stackrel{\→}{v}}_j-{\stackrel{\→}{v}}_i\left|\right|}_p,j=\mathrm{1,2},...N---\left(4\right)$

其中p表示向量之间的p范数量度。在一个实例中，使用p＝1。对于二维向量 $\stackrel{\→}{v}=(v\left(x\right),v\left(y\right))$ ，

与之间1范数距离是

${\left|\right|{\stackrel{\→}{v}}_0-{\stackrel{\→}{v}}_1\left|\right|}_{p=1}=|v_0\left(x\right)-v_1\left(x\right)|+|v_0\left(y\right)-v_1\left(y\right)|---\left(5\right)$

可对所有的可用运动向量应用运动向量中值滤波。如果运动向量来自错误的宏块，或来自帧内编码的宏块，那么可将所述运动向量标记为不可用的；否则，可将其标记为可用的。在一个实例中，对每个可用运动向量应用3×3运动向量中值滤波(VMF)。每个可用运动向量由以所述运动向量为中心的3×3块中的运动向量的中值来代替。在其它实例中，可使用不同尺寸的块来执行运动向量中值滤波。

简而言之，图5C的用于产生当前帧的双向预测的错误区段的运动向量的过程将具有可变块尺寸的输入运动向量转换成对应于基本单位尺寸的像素块的基本单位运动向量。所述过程接着将用于预测前向和/或反向参考帧的运动向量转换成从当前帧的错误区段指向参考帧的运动向量。应注意，图5C所示的流程表中所说明的框中的任何一者可省略、重新排序和与一个和一个以上其它框组合。

图7A和图7B展示图5C的运动向量缩放(514)的实例。在图7A中，基于反向参考帧710来估计当前帧700。基于参考另一反向参考帧720的非错误运动向量714来预测反向参考帧710中的宏块712。运动向量714定位帧720中的宏块尺寸的视频数据区段722。将区段722展示为帧710中的虚线宏块，以说明宏块712和722以及运动向量714的相对空间位置。为了基于运动向量714估计帧700的区段(例如待隐藏的错误区段)，执行缩放(514)。参看上文的等式(1)和等式(2)，因为反向参考帧710与帧700相距1个帧(N＝1)，且非错误运动向量714指向帧720(其与帧710相距1个帧(M＝1))，所以使经缩放的运动向量x和y分量乘以因数1(N/M＝1/1＝1)。因此，可使用经缩放的运动向量704来估计帧700的错误区段。应注意，运动向量704从宏块尺寸的部分702开始指向，所述宏块尺寸的部分702不与帧700的宏块对准(其与四个其它宏块重叠)。如下文进一步详细论述，估计帧700的宏块区段可包括确定帧700中的被重叠的块中的哪一者可用运动向量704来估计的方案。

在图7B中，基于前向参考帧730估计当前帧700。基于被参考到反向参考帧710的运动向量734来预测前向参考帧730中的宏块732。运动向量734定位帧710中的宏块尺寸的视频数据区段716。将区段716展示为帧730中的虚线宏块，以说明宏块732和716以及运动向量734的相对位置。为了基于运动向量734估计帧700的区段(例如待隐藏的错误区段中的一者)，执行缩放(514)。由于前向参考帧730与帧700相距1个帧(N＝-1)，且所传输的运动向量734从帧730到帧710指向经过两个帧(M＝2)，所以使经缩放的运动向量x和y分量乘以因数-1/2(N/M＝-1/2＝-0.5)。因此，可使用经缩放的运动向量709来估计帧700的错误区段。应注意，运动向量709从宏块尺寸的部分706开始指向，所述宏块尺寸的部分706不与帧700的宏块对准(其与四个其它宏块重叠)。作为另一选择，可产生运动向量以指向反向帧710，其中N＝1且M＝2。这导致缩放因数为1/2(N/M＝1/2＝0.5)。因此，可使用指向反向参考帧710区段716的经缩放的运动向量707来估计帧700的错误区段。

如上文参考图5A所论述，参考数据确定器1712确定(在508处)具有经缩放的运动向量的候选参考区段，所述经缩放的运动向量导致待隐藏的错误区段重叠。在多个前向和/或反向候选参考区段具有导致错误区段的重叠的经缩放的运动向量的情况下，执行确定使用哪一候选参考区段来估计(306)(见图3)错误区段。图8展示在含有错误区段的当前帧中具有多个块的参考区段的重叠(由候选参考块的经缩放的运动向量引起)的说明。参考块802(来自前向或反向帧)具有经缩放的运动向量804，如图8中所示。经缩放的运动向量804指向含有错误数据的当前帧。经缩放的运动向量804(如果施加到参考块802)将参考块802从其在其参考帧中的原始位置移动到当前参考帧中的位置806。经缩放的运动向量导致当前帧中的四个或更少块的重叠。在此实例中，位置806与块808、810、812和814重叠。少于四个块被重叠的情况包含：1)如果由于精确重叠而导致一个块被重叠；2)如果由于垂直或水平方向上的准确对准而导致2个块被重叠；以及3)如果被重叠的块在当前帧的边缘上。

在一些实例中，确定(508)候选参考区段的方法利用最大覆盖面积(most coveredarea，MCA)规则。最大覆盖面积规则将候选参考区段分配到其重叠最多的当前帧的错误区段。一方面，使用重叠百分比作为重叠量度。在图8所示的实例中，运动向量804导致参考块802与当前帧的块808、810、812和814重叠(如由位置806处的块所描绘)。在此情况下，与块810、812或814(分别标记为A2、A3和A4的重叠区域)中的任一者相比，块808被重叠的百分比较高(在图8中，将块808的重叠区域标记为A1)。因此，最大覆盖面积规则将块802的参考运动向量分配到当前帧的错误块808。

除块802之外的其它候选参考块的经缩放的运动向量也可导致块808的重叠。如果情况是这样的话，那么可将导致参考区段与特定错误区段的最大重叠的运动向量确定为用于估计(306)当前帧中的错误区段的运动向量。

可通过使用最大面积规则来将前向和反向参考帧两者中的候选参考区段的运动向量分配到错误区段。这导致前向和反向运动向量分配到每个错误区段。在一些情形下，可能不存在导致错误区段的重叠的候选参考区段的运动向量。在前向参考区段或反向参考区段被确定(304)为含有导致错误区段的重叠的时间预测数据(例如运动向量)的情况下，那么可使用单向模式来估计(306)错误区段。如果没有来自前向或反向参考帧的候选参考块被确定为具有导致错误区段的重叠的运动向量，那么可使用除时间隐藏之外的另一种隐藏方法(例如对另一个帧的并置块进行隐藏)。

在一个实例中，如上文所论述且在图6中说明，可限制被认为用于确定(508)前向和/或反向参考区段的参考区域。图6说明使用受限前向参考区域615来将最大覆盖面积(MCA)规则运动向量(MV)分配应用于当前帧600的错误区段404。同样，将反向参考区域625说明为用于将最大覆盖面积规则运动向量分配应用于当前帧600的错误区段404。

前向和/或反向帧中缺乏确定的运动向量是使用不同于双向模式的估计模式来估计(306)错误数据的一个原因。现将论述确定(506)(见图5A)估计模式的另一实例。

由于B帧(或片，或宏块)的双向运动补偿特征的缘故，双向预测的区段的压缩效率通常比帧内编码的区段(例如I帧和片)和单向预测的区段(例如P帧和片)的压缩效率高。因此，B帧的尺寸通常相当小于I帧和P帧的尺寸，且具有给定尺寸的错误数据的一部分可覆盖较大帧区域。由于针对较大受影响区域和用于双向预测的多个运动向量可能需要增加的处理，所以确定错误区段的估计模式(单向、双向或其它)的方法的一些实例使用从外到内分层处理途径来提供对正确接收到的邻近宏块运动向量和预测模式信息的较强影响。

参看图4，错误区段404包含在与正确接收到的宏块406邻接的最高和最低行中的宏块。错误区段404还包含不与正确接收到宏块406中的任何一者邻接的内部宏块。随着在错误区段404中被估计的错误区段进一步从正确接收到的宏块406中去除，由邻近宏块的运动向量和/或预测模式提供的隐藏效率可能降级。因此，用于模式确定的从外到内分层途径可基于错误区段相对于正确接收到的和/或已经隐藏的区段的位置而改变。

为了增强从邻近宏块正确接收到的信息的作用，当确定错误区段的估计模式时，考虑三代运动向量和/或预测/估计模式信息。第一代信息(最具影响力)可包括非错误的邻近宏块的运动向量和/或预测模式。第二代信息包括邻近于非错误邻近宏块的错误宏块的信息，且第三代信息包括不具有最接近的正确接收到的邻近宏块的错误宏块的信息。每一代的信息可包括处于不同可靠性或置信度等级的运动向量和/或预测/估计模式信息。因此，确定估计模式的方法可反映这些置信度或可靠性等级。第一代模式信息可具有最高可靠性，因为其是从正确接收到的邻近宏块提取的。示范性模式确定算法经设计以允许第一代信息对邻近错误宏块的最终模式决策具有最强影响。第二代模式信息从使用第一代模式信息确定的宏块的估计模式导出，且被视为由可靠性较小的信息组成。第三代模式信息从第二代或其它邻近的第三代信息导出。

图5D展示说明确定(506)图5A的错误区段估计模式的过程的实例的流程表。图2的估计模式确定器1714识别(520)邻近正被隐藏的错误区段的非错误(例如，正确接收到的)多媒体数据部分的预测模式。在一些实例中，非错误部分和正被隐藏的错误区段包括16×16像素宏块，但还可使用其它尺寸的块，如上文所论述。

非错误邻近宏块的预测模式包含从一个或一个以上前向或反向参考帧开始的单向预测模式(如在P帧中)、帧内编码(非预测的)模式以及双向预测模式。

在确定(520)非错误邻近部分的预测模式之后，估计模式确定器1714确定(522)邻近非错误部分的错误部分的估计模式。所述确定(522)是(至少部分地)基于非错误部分的确定的预测模式。在一些实例中，可将错误宏块的估计模式确定(522)为与非错误邻近宏块的预测模式或错误的邻近宏块的已经确定的估计模式相同。

由于一些时间预测区段可以如4×4像素一样小(如在H.264中)，所以估计模式确定(522)的一些实例可基于每个邻近宏块的四个最近4×4像素块的预测模式和运动向量。错误宏块可具有至多达4个非错误邻近宏块。具有各种块尺寸(例如4×4、4×8、8×4、8×8、16×8、8×16和16×16)的邻近宏块运动向量可经过取样以形成对应于组成整个宏块的4×4像素尺寸的块的16个运动向量。在一些情况下，最接近错误宏块的运动向量在错误隐藏作用方面可能比那些进一步间隔的运动向量更可靠。在一些实例中，4个最接近的邻近4×4像素块及其对应的预测模式和运动向量可用于确定错误宏块的估计模式。图9说明邻近错误宏块的非错误宏块的4×4像素块。宏块910是在错误宏块(所述错误宏块在图9中未图示)右边的非错误宏块。宏块910的被标记为0、2、8和10的4×4像素块可用于确定右边具有非错误邻近者的错误宏块的估计模式。宏块920的被标记为10、11、14和15的4×4像素块可用于确定上方具有非错误邻近者的错误宏块的估计模式。宏块930的被标记为5、7、13和15的4×4像素块可用于确定左边具有非错误邻近者的错误宏块的估计模式。宏块940的被标记为0、1、4和5的4×4像素块可用于确定下方具有非错误邻近者的错误宏块的估计模式。如果错误的宏块具有一个以上非错误邻近宏块，那么可在确定估计模式的过程中使用所有4×4像素块的经组合的组。

通过使用非错误邻近宏块的四个最近4×4像素块(如图9中所示)的四个预测模式，可根据表1中所列出的标准来确定(522)错误宏块的估计模式。

表1

4个邻近4×4像素块的预测模式	错误的邻近宏块的经确定估计模式
		所有4个都是帧内编码模式	非运动补偿(例如空间隐藏)估计
所有4个都是单向前向	单向前向估计
		所有4个都是单向反向	单向反向估计
所有其它情况	双向估计

表1中所列出的标准偏向于使用错误区段的双向估计。如果非错误4×4像素邻近块中的所有四者都为同一预测模式，那么估计模式与双向不同。如果4个邻近4×4像素块中的3个或3个以上为同一模式，那么表1中的标准可改变以执行非双向估计模式中的一者。还可使用基于邻近块的预测模式来确定错误块的估计模式的其它方法。

如果错误宏块不具有邻近的非错误宏块，但具有与非错误宏块邻近的邻近宏块，那么用于确定估计模式的标准可较少地基于邻近宏块的预测模式。在一些实例中，用于确定内部宏块(不邻近非错误宏块的宏块)的估计模式的标准是基于一个或一个以上已经确定(错误的且待隐藏，或已经隐藏)的宏块的确定估计模式，以及在图5A的框504中产生的经缩放的前向与反向运动向量的对准。

对于错误宏块的前向与反向经缩放运动向量被对准(例如，前向与反向经缩放运动向量的x分量或y分量的绝对差小于预界定的阈值)的情况，如果所有已经确定的宏块的经确定估计模式都是单向的(所有都是前向或所有都是反向)，那么将当前错误宏块的模式指定为单向模式(分别为前向或反向)；如果邻近的定位在外部的宏块的经确定估计模式具有一种以上类型，那么将当前宏块的模式指定为双向模式。对于错误宏块的前向和反向经缩放运动向量未对准(例如，前向与反向经缩放运动向量的x分量或y分量的绝对差大于预界定的阈值)的情况，将当前错误宏块的模式指定为可用的已经确定的邻近宏块的多数模式。还可使用基于邻近宏块的经确定估计模式来确定估计模式的其它方法。

对于与任一非错误宏块间隔至少两个或两个以上宏块(与任一非错误宏块隔开两个或两个以上插入错误或以前错误的宏块)的错误宏块来说，用于确定估计模式的标准可更加少地基于邻近宏块的预测/估计模式。在此情况下，可基于所有邻近宏块的已经确定的估计模式的组合和当前错误宏块的经缩放的运动向量对准来确定当前错误宏块的估计模式。对于当前宏块的前向与反向经缩放运动向量被对准(前向与反向运动向量的x分量或y分量的绝对差小于预界定的阈值)的情况，将当前MB的模式指定为双向模式。对于当前MB的前向与反向运动向量未对准(前向与反向运动向量的x分量或y分量的绝对差大于预界定的阈值)的情况，将当前错误宏块的模式指定为可用的已经确定的邻近宏块估计模式中的多数模式。还可使用基于邻近宏块的经确定估计模式来确定错误宏块的估计模式的其它方法。

应注意，如上文关于图6所论述的用于限制用于确定时间预测数据(见图3的304)的参考区域的过程可利用用于识别受限参考区域(见图6中的区域615和625)的最上和最下边界(且在一些实例中，还有最右和最左边界)的经过取样的4×4像素块运动向量。

应注意，图5A所示的流程表中所说明的框中的任何一者都可省略、重新排序或与一个或一个以上其它框组合。

一个实例提供用于处理包括错误地接收到的第一区段的双向预测的多媒体数据的设备。所述示范性设备包含用于确定错误地接收到的第一区段的时间预测数据的装置，其中所述时间预测数据对应于第一前向参考区段和第一反向参考区段；以及用于至少部分地基于所述第一前向参考区段和所述第一反向参考区段中的一者或两者来估计所述第一区段的装置。所述用于确定时间预测数据的装置可包括图1和图2的时间预测确定器170。所述用于估计第一区段的装置可包括图2的错误数据估计器1716。

图10展示说明用于处理包括错误地接收到的第一区段的双向预测的多媒体数据的设备的实例的框图。图10的示范性设备1000包含用于确定错误地接收到的第一区段的时间预测数据的装置，其中时间预测数据对应于第一前向参考区段和第一反向参考区段；以及用于至少部分地基于所述第一前向参考区段和所述第一反向参考区段中的一者或两者来估计所述第一区段的装置。所述用于确定时间预测数据的装置可包括图10的时间预测确定器1005。所述用于估计第一区段的装置可包括图10的错误数据估计器1010。

所属领域的技术人员将了解，可使用多种不同技艺和技术中的任一者来表示信息和信号。举例来说，贯穿上文描述内容中可能参考的数据、指令、命令、信息、信号、位、符号和码片可由电压、电流、电磁波、磁场或微粒、光场或微粒或其任一组合来表示。

所属领域的技术人员将进一步了解，结合本文所揭示的实例而描述的各种说明性逻辑块、模块和算法步骤可实施为电子硬件、固件、计算机软件、中间件、微码或其组合。为了清楚地说明硬件与软件的此互换性，上文已经大体上就其功能性描述了各种说明性组件、区块、模块、电路和步骤。将此类功能性实施为硬件还是软件取决于强加于整个系统上的特定应用和设计限制。所属领域的技术人员可针对每一特定应用以各种不同的方式来实施所描述的功能性，但不应将此类实施决策解释为导致与所揭示的方法的范围脱离。

结合本文所揭示的实例而描述的各种说明性逻辑块、组件、模块和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文描述的功能的任何组合来实施或执行。通用处理器可以是微处理器，但在替代方案中，所述处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器或任何其它此类配置。

结合本文所揭示的实例而描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中或在所述两者的组合中实施。软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除盘、CD-ROM或此项技术中已知的任何其它形式的存储媒体中。示范性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息和向存储媒体写入信息。在替代方案中，存储媒体可与处理器成一体式。处理器和存储媒体可驻留在专用集成电路(ASIC)中。ASIC可驻留在无线调制解调器中。在替代方案中，处理器和存储媒体可作为离散组件驻留在无线调制解调器中。

提供对所揭示实例的前面的描述是为了使所属领域的技术人员能够制作或使用所揭示的方法和设备。所属领域的技术人员将容易了解对这些实例的各种修改，且本文所界定的原理可应用于其它实例，且可添加额外的元件。

因此，已经描述了执行错误的双向预测的多媒体数据的时间错误隐藏的方法和设备。

Claims (27)

1.一种处理包括错误地接收到的第一区段的双向预测的多媒体数据的方法，所述方法包括：

确定所述错误地接收到的第一区段的时间预测数据，其中所述时间预测数据对应于第一前向参考区段和第一反向参考区段；以及

基于所述第一前向参考区段和所述第一反向参考区段中的至少一者来估计所述第一区段。

2.根据权利要求1所述的方法，其中所述时间预测数据进一步包括对应于所述第一前向参考区段和所述第一反向参考区段的运动向量。

3.根据权利要求1所述的方法，其中所述确定进一步包括处理多个前向候选参考区段和多个反向候选参考区段，以确定所述第一前向参考区段和所述第一反向参考区段。

4.根据权利要求3所述的方法，其进一步包括：

缩放对应于所述多个前向候选参考区段和所述多个反向候选参考区段的运动向量，使得经缩放的所述运动向量对应于含有所述第一区段的帧。

5.根据权利要求4所述的方法，其中所述运动向量的所述缩放导致所述多个前向候选参考区段和所述多个反向候选参考区段中的至少一者与所述第一区段重叠，且进一步其中所述估计进一步包括基于至少一个重叠的候选参考区段来估计所述第一区段。

6.根据权利要求4所述的方法，其中所述运动向量的所述缩放导致多个前向候选参考区段与所述第一区段重叠，且多个反向候选参考区段与所述第一区段重叠，且进一步其中估计所述第一区段进一步包括基于导致所述多个前向候选参考区段的最大重叠的前向候选参考区段和导致所述多个反向候选参考区段的最大重叠的反向候选参考区段中的一者或两者来估计所述第一区段。

7.根据权利要求4所述的方法，其进一步包括对所述运动向量进行平滑。

8.根据权利要求7所述的方法，其中所述平滑包括中值滤波。

9.根据权利要求3所述的方法，其进一步包括：

合并对应于所述多个前向候选参考区段中的两者或两者以上的所述运动向量，以形成对应于所述第一前向参考区段的一个或一个以上基本单位部分的一个或一个以上基本运动向量；以及

合并对应于所述多个反向候选参考区段中的两者或两者以上的所述运动向量，以形成对应于所述第一反向参考区段的一个或一个以上基本单位部分的一个或一个以上基本运动向量；

其中所述第一前向参考区段的所述一个或一个以上基本单位部分含有对应于经合并的对应于所述多个前向候选参考区段中的两者或两者以上的所述运动向量的所述区段，所述第一反向参考区段的所述一个或一个以上基本单位部分含有对应于经合并的对应于所述多个反向候选参考区段中的两者或两者以上的所述运动向量的所述区段，且所述第一前向参考区段的所述一个或一个以上基本单位部分和所述第一反向参考区段的所述一个或一个以上基本单位部分中的每一者是N乘以M个像素块，且进一步其中N和M是整数。

10.根据权利要求9所述的方法，其中合并对应于所述多个前向候选参考区段中的两者或两者以上的所述运动向量和合并对应于所述多个反向候选参考区段中的两者或两者以上的所述运动向量包括简单平均、加权平均和中值滤波中的至少一者。

11.根据权利要求3所述的方法，其进一步包括将在确定所述时间预测数据的过程中所使用的所述多个前向候选参考区段和所述多个反向候选参考区段限制为由对应于多媒体数据中紧邻所述第一区段的非错误部分的运动向量定界的区段。

12.根据权利要求1所述的方法，其中所述第一前向参考区段、所述第一反向参考区段和所述第一区段具有同一尺寸。

13.根据权利要求1所述的方法，其进一步包括：

至少部分地基于多媒体数据中紧邻所述第一区段的非错误部分的一个或一个以上预测模式来确定估计所述第一区段的模式。

14.根据权利要求1所述的方法，其进一步包括：

至少部分地基于多媒体数据中紧邻所述第一区段的第一部分的非错误部分的一个或一个以上预测模式来确定估计所述错误地接收到的第一区段的一个或一个以上所述第一部分的模式；以及

至少部分地基于紧邻第二部分的所述第一部分的所经确定模式中的一者或一者以上来确定估计所述第一区段的一个或一个以上所述第二部分的模式，其中所述一个或一个以上第二部分不紧邻任何非错误部分。

15.根据权利要求14所述的方法，其中确定估计所述一个或一个以上第二部分的所述模式进一步包括：

至少部分地基于前向运动向量与反向运动向量的相对对准来确定估计所述一个或一个以上第二部分的所述模式，其中所述前向运动向量对应于所述第一前向参考区段，且所述反向运动向量对应于所述第一反向参考区段。

16.一种用于处理包括错误地接收到的第一区段的双向预测的多媒体数据的设备，所述设备包括：

第一确定器，其确定所述错误地接收到的第一区段的时间预测数据，其中所述时间预测数据对应于第一前向参考区段和第一反向参考区段；以及

估计器，其基于所述第一前向参考区段和所述第一反向参考区段中的至少一者来估计所述第一区段。

17.根据权利要求16所述的设备，其中所述时间预测数据进一步包括对应于所述第一前向参考区段和所述第一反向参考区段的运动向量。

18.根据权利要求16所述的设备，其中所述第一确定器通过处理多个前向候选参考区段和多个反向候选参考区段来确定所述第一前向参考区段和所述第一反向参考区段。

19.根据权利要求18所述的设备，其中所述设备进一步包括缩放器，所述缩放器缩放对应于所述多个前向候选参考区段和所述多个反向候选参考区段的运动向量，使得经缩放的所述运动向量对应于含有所述第一区段的帧。

20.根据权利要求19所述的设备，其中经缩放的所述运动向量导致所述多个前向候选参考区段和所述多个反向候选参考区段中的至少一者与所述第一区段重叠，且其中所述估计器基于至少一个重叠的候选参考区段来估计所述第一区段。

21.根据权利要求19所述的设备，其中经缩放的所述运动向量导致多个前向候选参考区段与所述第一区段重叠，且多个反向候选参考区段与所述第一区段重叠，且所述估计器基于导致所述多个前向候选区段的最大重叠的前向候选参考区段和导致所述多个反向候选区段的最大重叠的反向候选参考区段中的一者或两者来估计所述第一区段。

22.根据权利要求19所述的设备，其中所述设备进一步包括用于对所述运动向量进行平滑的平滑器。

23.根据权利要求18所述的设备，其中所述设备进一步包括：

合并器，其合并对应于所述多个前向候选参考区段中的两者或两者以上的所述运动向量，以形成对应于所述第一前向参考区段的一个或一个以上基本单位部分的一个或一个以上基本运动向量，且合并对应于所述多个反向候选参考区段中的两者或两者以上的所述运动向量，以形成对应于所述第一反向参考区段的一个或一个以上基本单位部分的一个或一个以上基本运动向量；

其中所述第一前向参考区段的所述一个或一个以上基本单位部分含有对应于经合并的对应于所述多个前向候选参考区段中的两者或两者以上的所述运动向量的所述区段，所述第一反向参考区段的所述一个或一个以上基本单位部分含有对应于经合并的对应于所述多个反向候选参考区段中的两者或两者以上的所述运动向量的所述区段，且所述第一前向参考区段的所述一个或一个以上基本单位部分和所述第一反向参考区段的所述一个或一个以上基本单位部分中的每一者是N乘以M个像素块，且进一步其中N和M是整数。

24.根据权利要求18所述的设备，其中所述设备进一步包括限制器，所述限制器将用于确定所述时间预测数据的所述多个前向候选参考区段和所述多个反向候选参考区段限制为由多媒体数据中对应于紧邻所述第一区段的非错误部分的运动向量定界的区段。

25.根据权利要求16所述的设备，其中所述设备进一步包括第二确定器，所述第二确定器至少部分地基于多媒体数据中紧邻所述第一区段的非错误部分的一个或一个以上预测模式来确定估计所述第一区段的模式。

26.根据权利要求16所述的设备，其进一步包括：

第二确定器，其至少部分地基于多媒体数据中紧邻所述第一区段的第一部分的非错误部分的一个或一个以上预测模式来确定估计所述错误地接收到的第一区段的一个或一个以上所述第一部分的模式；并至少部分地基于紧邻第二部分的所述第一部分的所经确定模式中的一者或一者以上来确定估计所述第一区段的一个或一个以上所述第二部分的模式，其中所述一个或一个以上第二部分不紧邻任何非错误部分。

27.根据权利要求26所述的设备，其中所述第二确定器至少部分地基于前向运动向量与反向运动向量的相对对准来确定估计所述一个或一个以上第二部分的所述模式，其中所述前向运动向量对应所述第一前向参考区段，且所述反向运动向量对应于所述第一反向参考区段。

Images