CN101189884A - 用于p-帧的时间错误隐藏的方法设备 - Google Patents

Abstract

本发明揭示一种处理多媒体帧的方法及设备，所述多媒体帧含有错误接收的第一区段。所述方法包括获得对应于第一参考帧的时间预测数据。所述方法进一步包括确定所述第一参考帧对于估计所述第一区段是否是可靠的。所述方法进一步包括：如果确定所述第一参考帧是可靠的，则基于除所述多媒体帧的第一区段以外的一个或多个区段及所述第一参考帧来估计错误接收的第一区段。

Description

用于p-帧的时间错误隐藏的方法设备

根据35 U.S.C.§119主张优先权

本专利申请案主张优先于2005年3月10日提出申请的标题为“METHOD OFERROR RECOVERY FOR A DECODER”的第60/660,867号临时申请案及于2005年5月11日提出申请的标题为“METHOD AND APPARATUS OF TEMPORAL ERRORCONCEALMENT FOR PFRAME”的第60/680,277号临时申请案，这些申请案已转让给本受让人且以引用方式明确地并入本文中。

技术领域

本发明涉及用于借助错误管理来编码及解码数字数据的方法及设备。

背景技术

互联网及无线通讯的广泛使用增加了在互联网及移动/无线信道上流式传输媒体的多媒体服务的需求。在互联网协议(IP)网络中，视频可由服务器来提供且可由一个或多个有线或无线客户端来流式传输。有线连接包括：拨号、综合服务数字网络(ISDN)、电缆、数字用户线路协议(统称为xDSL)、光纤、局域网络(LAN)、广域网络(WAN)及其它。利用无线通讯的电子装置包括：电话(例如，手机)、个人数字助理(PDA)、手持式及便携式计算机及其它。在大多数这些应用中(即使不是全部)，带宽要求及/或限制使得视频处理必须利用包含视频压缩算法的源编码器来分析、量化及表示视频数据，以通过花费最少数量的位来传送最大量的信息。这些算法的特性有很大的不同，从而导致了其性能上(例如，压缩效率及位率)的大尺度变化。使用压缩算法的视频处理特性可根据内容而有很大的不同，从而可导致其性能(例如，压缩效率及位率)上的大尺度变化。

无线信道容易出现错误。当一部分数据丢失或讹误时，传输数据的该部分便会出现“错误”。由于视频压缩固有地移除了冗余，故所压缩的数据就变得关键。在传输期间，数据的任何错误部分均会影响在解码器处重构的视频质量。如果所述错误数据是用于运动补偿预测的参考帧的部分，则影响会加重，从而导致时间错误传播。

为减轻由于错误接收的比特流数据引起的对重构视频质量的影响，所述视频解码器可对所接收视频数据进行处理以改善视频质量。此称作错误隐藏。错误隐藏方案利用视频信号中存在的空间及时间相关性。相应地，这些方案被称为空间或时间错误隐藏。

依据信道错误的性质(位错误及/分组损失)及分组化的类型，在传输期间，有关一个或多个宏块或切片的全部或部分数据可出现错误。对于宏块而言，各种编码宏块数据可出现错误，其包括如下一者或多者：编码模式(帧间或帧内)、运动向量(如果帧间)及变换系数。

当宏块出现错误时，通常假设所有以上的信息均有错误。对于帧间编码宏块而言，其运动向量及残余系数有错误。由于残余信号经过高度的去相关处理，故难以从相邻的宏块来对其进行估计。然而，研究显示，如果可恢复运动向量，则可大大地改善重构视频的质量。因此，时间错误隐藏的主要目的是根据空间及时间相邻运动向量来估计错误的运动向量。一旦所述运动向量被重构，则可使用通过零残余系数构造而成的运动向量来实施运动补偿。

虽然存在数种现有的时间误差隐藏方案，但其均未能提供良好的结果。此外，其与支持多参考帧及可变运动补偿块尺寸的多媒体数据流不相兼容。因此，需要一种新的时间误差隐藏方案来实现良好的结果并提供更加广泛的兼容性。

发明内容

本发明揭示一种对含有错误接收的第一区段的多媒体帧进行处理的方法及设备。所述方法包括获得对应于第一参考帧的时间预测数据。所述方法进一步包括确定所述第一参考帧是否能可靠地用于估计所述第一区段。所述方法进一步包括：基于一个或多个除所述多媒体帧的第一区段以外的区段及所述第一参考帧(如果经确定所述第一参考帧可靠)，估计所述错误接收的第一区段。

附图说明

图1显示图解说明一个解码器实例的方块图，所述解码器经配置以对进入的多媒体数据流(未显示)进行解码；

图2是图解说明用于P帧中错误宏块的时间错误隐藏方法的实例的流程图；

图3是图解说明在图2方块204处产生当前P帧运动向量的过程实例的流程图；

图4是图解说明在图2方块206处基于当前P帧及参考帧形成运动向量窗口的过程实例的流程图；

图5A及5B图解说明用于在图4方块2066处确定锚定宏块的大覆盖面积方法；

图6图解说明图4中方块2067的运动向量窗口的构造；

图7A及7B图解说明在图4方块2068处实施局部运动分类的益处；

图8是图解说明对含有错误接收的第一区段的多媒体帧进行处理的方法的另一实例的流程图；

图9显示图解说明另一解码器实例的方块图，所述解码器经配置以解码进入的多媒体数据流。

具体实施方式

于下文说明中，给出具体的细节旨在提供对所揭示方法及设备的透彻理解。然而，所属技术领域的技术人员应理解，所述实施例可在没有所述具体细节的情况下实施。例如，可在方块图中显示电组件以使某些方面不会被非必要的细节所掩盖。在其它例示中，可详细显示这些组件、其它结构及技术以进一步解释某些方面。

还应注意，可将某些方面描述为过程，可将该过程绘示成流程图、流程图表、结构图或方块图。尽管流程图可将各操作描述为顺序性过程，然而所述操作中的许多操作可并行或同时实施且该过程具有可重复性。此外，可重新排列所述操作的次序。当其操作完成时，过程便结束。一个过程可对应于一种方法、函数、程序、次常式、子程序等。当过程对应于一种函数时，其结束对应于该函数返回至调用函数或主函数。

图1显示图解说明一个解码器实例的方块图，所述解码器经配置以对进入的多媒体数据流(未显示)进行解码。所述多媒体数据可为各种形式，其包括但不限于视频、音频、图形、文本及图片。所述数据可为MPEGx及H.26x标准中的压缩视频及音频、MPEG4 AAC、MP3、AMR及G.723音频或语音压缩标准中的压缩音频、或任何其它类型的数字数据。可经由有线网络(例如，电话、电缆及光纤)或无线网络来接收所述数据流。在无线的情况下，所述网络可包括(例如)码分多重存取(CDMA或CDMA2000)通信系统的部分，或者作为另一选择，所述系统可为频分多重存取(FDMA)系统、正交频分多路复用(OFDMA)系统、时分多重存取(TDMA)系统-例如用于服务行业的GSM/GPRS(通用分组无线电服务)/EDGE(增强数据GSM环境)或TETRA(地面中继无线电)移动电话技术、宽带码分多重存取(WCDMA)、高数据传输率(1×EVDO或1×EVDO金牌多播)系统、或者一般而言使用各技术组合的任一无线通信系统。

解码器100经配置以针对错误的帧间编码数据实施时间错误隐藏。帧间或预测编码是指参照一个图像来编码另一个图像(字段或帧)。在本申请案全篇中所使用的帧间编码图像实例是预测帧(正向或反向预测，被称为“P帧”)。其它用于帧间编码的术语包括：高通编码、残余编码、运动补偿内插及其它为所属技术领域的技术人员的所共知的术语。P帧(或任何帧间编码区段)可利用当前帧中的区域与参考帧中最佳匹配预测区域之间的时间冗余。当前区域与最佳匹配参考预测区域之间的差被称作剩余错误(或预测错误)。可将所述参考帧中最佳匹配的预测区域的位置编码在运动向量内。

在某些I帧不是序列中的第一个帧且不存在场景改变的情况下，解码器100还可经配置以针对所述I帧实施本文所揭示的时间隐藏方法。I帧是指内部编码帧，所属技术领域的技术人员将其理解为在不参照任何其它帧的情况下进行编码的帧。由于I帧不包含任何运动信息，故可使用来自先前P帧的运动信息来隐藏错误的I帧数据。

解码器100包括时间预测数据产生器102、帧运动变化检测器104、运动向量估计器106、存储器108及处理器112。时间预测数据产生器102经配置以获得对应于参考帧的时间预测数据，根据所述时间预测数据可对P帧进行预测。帧运动变化检测器104经配置以通过从P帧到所述参考帧监测是否存在显著的运动变化，从而确定所述参考帧是否能可靠地用于估计错误宏块。宏块是一组相关联的像素，且在这个实例中由16×16个像素组成。像素可由一个8位亮度值(Y)及两个8位色度值(Cr或Cb)来界定。在MPEG中，可以4:2:0格式来存储Y、Cr及Cb分量，其中Cr及Cb分量是沿X及Y方向以2进行下采样。因而，每一宏块皆均由256个Y分量、64个Cr分量及64个Cb分量组成。

运动向量估计器106经配置以部分地基于所述参考帧是否可靠，从而以多种方式的其中一种来估计所述错误宏块的运动向量。处理器112可为任何适合的通用单芯片或多芯片微处理器，或可为任何适合的专用微处理器，例如，数字信号处理器、微控制器或可程序化门阵列。处理器112经配置以执行一个或多个软件应用程序，以控制时间预测数据产生器102、帧运动变化检测器104及运动向量估计器106的操作。处理器112还经配置以存取存储器108以读取及保存数据。在某些实例中，可去除时间预测数据产生器102及帧运动变化检测器104的一者或二者。

应注意，图1中所示的任一功能块可与一个或多个其它块重新布置或组合在一起，而不会改变所述解码器的功能。

图2是图解说明用于P帧中错误宏块的时间错误隐藏方法的实例的流程图。所述时间错误隐藏方法基于P帧中的相邻宏块及参考帧中的宏块来获得对所述P帧中错误宏块的运动向量的估计。

所述方法既可应用于因果解码过程中，也可应用于非因果解码过程中。在因果解码过程中，每一宏块是按照预定的时间次序来解码。一个宏块的解码在所述解码过程移至下一个宏块之前完成。在非因果解码过程中，当前宏块的解码可能被推迟到当前宏块随后的宏块的解码之后实施。

方法200在任选方块202处开始，其中解码器确定所接收P帧中的宏块是否有错误。移至任选方块204，所述解码器针对P帧中正确接收的宏块产生运动向量。接下来，在方块206处，所述解码器通过使用来自当前P帧中正确接收的运动向量及来自参考帧(其对应于当前P帧中的错误宏块)中正确解码的运动向量来形成运动向量窗口。在这个实例中，所述运动向量窗口包含3X3宏块，但应理解，所述运动向量窗口的尺寸可从一个宏块变动到一个宏块以上。下文将更加详细地阐述方块204及206。

进行至方块208，所述解码器对所述3X3运动向量中的可用运动向量实施运动向量平滑处理，并为所述错误宏块产生经估计的运动向量。在某些实例中，所述估计运动向量是通过中值滤波获得的所述3X3窗口中可用运动向量的中值。

中值滤波广泛地用于信号及图像处理以移除脉冲噪声而同时保存边缘。为获得N个标量的阵列X＝(x₁，x₂…x_N)的中值，其中而i＝1，2，…N，通常先将所述阵列分类成

然后，取中间的

作为所述阵列的中值x_M 。所述中值x_M满足如下性质：

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}|x_M-x_i|\≤\underset{i=1}{\overset{N}{\mathrm{\Σ}}}|x_j-x_i|j=\mathrm{1,2},...N---\left(3\right)$

相似地，对于N个m微向量的阵列 $V=({\stackrel{\→}{v}}_1,{\stackrel{\→}{v}}_2,...{\stackrel{\→}{v}}_N),$ 其中

而i＝1，2，…N，所述中值向量

是满足如下约束条件的向量：

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|{\stackrel{\→}{v}}_{\mathrm{VM}}-{\stackrel{\→}{v}}_i\left|\right|}_p\≤\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|{\stackrel{\→}{v}}_j-{\stackrel{\→}{v}}_i\left|\right|}_{p}j=\mathrm{1,2},...N---\left(4\right)$

其中p表示所述向量之间的p-范数矩阵。在一个实例中，使用p＝1。对于二维向量 $\stackrel{\→}{v}=(v\left(x\right),v\left(y\right)),$

与

之间的1-范数距离为：

${\left|\right|{\stackrel{\→}{v}}_0-{\stackrel{\→}{v}}_1\left|\right|}_{p=1}=|v_0\left(x\right)-v_1\left(x\right)|+|v_0\left(y\right)-v_1\left(y\right)|---\left(5\right)$

将所述运动向量中值滤波应用于所有可用的运动向量。如果运动向量来自错误的宏块或来自内部宏块，或者任何其子分区的参考索引均不等于零，则将所述运动向量标记为不可用；否则的话，将其标为可用。

应注意，所述流程图中所示的任何一个方块都可省去，按次序重新排列，或与一个或多个其它方块组合在一起。

图3是图解说明在图2方块204处产生当前P帧运动向量的过程实例的流程图。视频通信系统的某些实例需要所述解码器支持根据多个参考帧对P帧进行预测及可变的运动补偿块尺寸。在这些实例中，通至所述解码器的其中一个输入是每一可变尺寸解码块的运动向量。另一输入是从当前解码帧传输而来的运动向量的参考帧索引(ref_idx)。参考帧索引信息携载于每一运动向量的比特流中，其指示当前帧与其运动向量的参考帧之间的距离。在一个实例中，每一宏块有七个有效的运动补偿块尺寸。这些块尺寸为16×16、16×8、8×16、8×8、8×4、4×8、4×4。所述产生当前P帧的运动向量的过程通过将所述输入运动向量转换成基于单个紧邻参考帧及统一补偿块尺寸的运动向量，从而为多个参考帧及可变运动补偿块尺寸提供所需要的支持。

方法204开始于方块2042处，其中实施运动向量的按比例缩放。所述运动向量的按比例缩放步骤基于当前帧与所述运动向量所指的参考帧之间的距离对输入的运动向量实施按比例缩放。在运动向量的按比例缩放之后，将所有运动向量从当前帧指向其紧邻的参考帧(即，毗邻于当前帧的帧(ref_idx等于零))。因此，将多个参考帧按比例缩放成单个紧邻的参考帧。可将指向其紧邻参考帧的新运动向量表征为如下：

MV_f_x ≈ MV_x*N/M；    (1)

MV_f_y＝MV_y*N/M    (2)

其中MV_f_x及MV_f_y是新运动向量的x及y分量，MV_x及MV_y是所述传输运动向量的x及y分量，N是从当前帧到其紧邻参考帧的距离，而M是从当前帧到所述运动向量所指参考帧的距离。

接下来，在方块2044处，实施运动向量的合并。运动向量合并可为可变块尺寸的运动向量提供必要的支持。在该动作期间，将不同尺寸的输入运动向量转换成代表统一块尺寸的运动向量(称为基础单元)。所述基础单元的尺寸是可配置的。在某些实例中，使用16×16的基础单元。

如果所述基础单元包括数个较小尺寸的按比例缩放运动向量，则应用合并操作以将所述基础单元内的运动向量合并成单个运动向量并将其指派至所述基础单元。然而，如果按比例缩放运动向量大于基础单元，则将所述输入运动向量分成数个运动向量，每一者均代表一个基础单元且每一者都具有与所述按比例缩放运动向量相同的运动向量。可使用各种实例来实施所述合并操作。在一个实例中，新的运动向量是所述基础单元中所包含的数个较小尺寸的按比例缩放运动向量的平均值。在另一实例中，新运动向量是所述基础单元中所包含的数个按比例缩放运动向量的平均值。在方块2044之后，将所有正确解码的运动向量转换成单尺寸的基础单元。

移至方块2046，对来自方块2044的运动向量实施运动向量中值滤波。先前方块2042及2044将所接收的运动向量字段修改成统一尺寸(基础单元尺寸)的单个参考(所有运动向量均经按比例缩放以从当前帧指向邻近的参考帧)运动字段。实施运动向量的中值滤波以使所述运动向量中由按比例缩放及合并操作所引入的奇异性平滑，且因此可产生更好的错误隐藏结果。所述运动向量的中值滤波与上文于图2中所述的相同。在一个实例中，对每一可用的运动向量应用3×3运动向量中值滤波(VMF)。用3×3块中以每一可用运动向量为中心的运动向量中值来替代所述可用运动向量。在其它实例中，可使用不同尺寸的块来实施运动向量的中值滤波。

简而言之，当前产生P帧运动向量的过程实例是将可变块尺寸的输入运动向量转换成基础单元运动向量并将每一解码帧的多个参考帧转换成参考帧列表中一个最小的索引参考帧。

应理解，所述流程图中所示的任何一个方块均可省去、按次序重新排列或与一个或多个其它方块组合在一起。

图4是图解说明在图2方块206处基于当前P帧及参考帧形成运动向量窗口的过程实例的流程图。如关于图2所论述，然后，可使用所述过程中所产生的运动向量窗口来构造对错误宏块中运动向量的估计。在这个实例中，所述运动向量窗口是3×3的宏块窗口，然而也可使用其它的尺寸。在这个实例中，所述参考帧是紧邻当前P帧的参考帧，即，毗邻于当前P帧的帧。在其它实例中，所述参考帧可离当前P帧较远。所述方法既可应用于因果解码过程中，也可应用于非因果解码过程中。

方法开始于方块2062处，其中确定当前P帧及参考帧中的运动是否连续。如果当前帧中的运动并没有从参考帧中的运动显著地变化，则所述运动是为连续。

应用与上文在图3中所述的方法204相似的过程，以产生所述参考帧的运动向量。一旦产生所述参考帧的运动向量，则比较当前及参考帧中的每对共同定位运动向量(如果该对共同定位运动向量为可用)，以确定当前帧及参考帧中的运动是否连续。如果两个运动向量均被正确地接收，则该对运动向量为可用。保持所述两个帧中相似运动向量对的计数。如果相似运动向量计数超过可用运动向量对的计数的阈值百分比，则所述两个帧中的运动没有显著地变化。否则的话，会检测到帧间的运动变化。在这个实例中，所述阈值百分比为50％，然而也可使用其它的数值。

为每一接收的运动向量指定一个量值标签及一个方向标签。在这个实例中，所述量值标签具有0(小量值)或1(大量值)的值。如果所述运动向量的量值大于阈值，则为运动向量指定量值标签1。在这个实例中，用于决定量值标签的阈值是2个像素，但也可使用其它的值。在这个实例中，所述方向标签具有值0、1、2、3，表示四个主要方向的其中一个。

基于其量值标签及方向标签来比较所述两个帧中每对共同定位的运动向量。例如，除每对运动向量的量值均为大且其方向相反，否则声称其相似。该方法忽视了小量值运动向量的方向信息，因为小运动向量往往以随机方向分布。

如果所述运动被确定为非连续，则来自所述参考帧的运动向量不可靠且可不使用其来估计错误宏块的运动向量。如果来自所述参考帧的运动向量不可靠，则所述过程进行至方块2064，其基手当前帧中的相邻宏块来填充所述运动向量窗口。如果所述运动为连续，则所述过程进行至2066及2067，其中基于参考帧及当前帧二者来产生所述运动向量窗口。

移至方块2066，在所述参考帧中选择一个锚定宏块。一个实例应用共同定位方法，其中所述锚定宏块是所述参考帧中的共同定位宏块。所述实例适合于全局运动的情况，其中所有运动向量均遵循同一仿射模型，或适合于其中当前帧运动向量窗口中的运动向量及参考帧中的共同定位运动向量窗口二者均在背景区域中的情况。对于具有移动对象的不规则运动，所述技术可能无法有效地捕获所预期的用于错误隐藏目的的运动向量。例如，如果先前3×3窗口驻存在静态背景区域中，且当前帧的3×3窗口完全或部分地覆盖一个移动对象，则通过共同定位方法从先前参考帧捕获而来的运动向量与所关心的移动对象的运动轨道不相关。将这些来自先前帧的运动向量用于时间错误隐藏可能最终会得到差的结果。

另一个实例通过根据运动轨道来选择锚定宏块从而解决了以上问题。在这个实例中，先确定当前P帧的锚定运动向量。然后，基于所述锚定运动向量来决定所述参考帧的锚定宏块。

所述锚定运动向量的计算是基于其三个相邻运动向量的可用性、来自其左边相邻宏块的运动向量、来自其顶部相邻宏块的运动向量及来自右上方相邻宏块的运动向量。如果一个运动向量是来自错误宏块或来自内部编码宏块，或其任何子分区的参考索引不等于零，则将所述运动向量标记为不可用；否则的话，将其标记为可用。只要这三个相邻宏块的其中一个为可用，则将所述锚定运动向量指派为那个相邻的可用宏块。否则，将所述锚定运动向量指派为其三个相邻运动向量中全部可用运动向量的中值。

如将参照图5A及5B更加详细地论述，一旦所述锚定运动向量经确定，则应用最大覆盖面积法来获得所述参考帧中的锚定宏块。

如将参照图6更加详细地论述，一旦所述锚定宏块经确定，则在方块2067处，基于参考帧及当前P帧有选择地填充运动向量窗口。在这个实例中，运动向量窗口为3×3，但也可使用其它的尺寸。

移至方块2068，实施局部运动分类以移除在方块2067中产生的位于所述运动向量窗口内的某些运动向量。遵循上文于图4中所述的同一比较标准，对所述运动向量窗口内的每一可用运动向量与参考帧中锚定宏块的运动向量进行比较，以确定这些运动向量是否相似。如果所述运动向量与参考帧中的锚定宏块不相似，则将所述运动向量窗口内的运动向量标记为不可用。因此，所述运动向量不能实现对所关心错误宏块的运动向量的估计。

应注意，所述流程图中所示的任何一个方块都可省去，按次序重新排列，或与一个或多个其它方块组合在一起。

图5A及5B图解说明用于在图4的方块2066处确定锚定宏块的最大覆盖面积法。当前P帧中的锚定运动向量22指向参考帧的一个区域24。区域24最多完全或部分地覆盖四个宏块26、28、32及34。每一覆盖宏块被指派一个表示所述锚定运动向量所指向的区域24所覆盖面积的值。例如，将锚定宏块选为所述参考帧中被区域24覆盖最多的宏块。在区域24覆盖最多的宏块为一个以上的情况下，可将任何一个被最大覆盖的宏块选为锚定宏块。在图5B中，将宏块34选为锚定宏块。

图6图解说明图4方块2067中运动向量窗口的构造。运动向量窗口70的构造是基于当前帧中以错误宏块52为中心的3×3运动向量窗口50及参考帧中以锚定宏块42为中心的3×3运动向量窗口40。如果所述运动向量没有正确地接收，则将当前及参考帧中的运动向量标记为不可用。在图6中，例如，当前帧中的宏块52、54、56、58及62为不可用。在非因果解码过程的实例中，宏块54、56、58及62的任一者均可能为可用。为填充运动向量窗口70的每一块，可使用当前帧中对应于位置处的运动向量(如果这个运动向量为可用)。不然，可使用参考帧中对应位置处的运动向量(如果这个运动向量为可用)。在参考帧的运动向量及当前帧的运动向量二者在对应位置处均为不可用的情况下，将所述方块标记为不可用。

图7A及图7B图解说明希望根据图4方块2068中的动作实施局部运动分类的原因。如图7A中所示，运动边界76可存在于参考帧内的3×3运动向量窗口72中。在那种情况下，只有与锚定宏块的运动向量74位于同一运动边界侧的运动向量才可用于估计错误宏块的运动向量。在图7A中，如上所述，运动向量窗口82产生于图4的方块2067处。如果没有进行局部运动分类，则使用运动向量窗口82来产生错误宏块的估计运动向量86。在一个实例中，应用与图2方块204中的动作相似的过程来产生所述估计运动向量。如所示，估计运动向量86沿运动边缘可能并不精确。在图7B中，借助于根据图4中方块2068的局部运动分类来进一步处理运动向量窗口82。因此，在新的运动向量窗口90中，移除位于运动边界另一侧上的运动向量。因此，基于新窗口90所产生的运动向量92更为精确。这个比较显示，确定并分类局部相邻宏块的运动可减少由于估计沿运动边缘的错误运动向量而造成的对象间断。

图8是图解说明对含有错误接收的第一区段的多媒体帧进行处理的方法的另一实例的流程图。所述方法开始于方块802处，其中获得对应于第一参考帧的时间预测数据。接下来，在方块804处，确定所述第一参考帧是否能可靠地用于估计所述第一区段。移至方块806，如果确定所述第一参考帧可靠，则基于除多媒体帧的第一区段以外的一个或多个区段及所述第一参考帧来进行对错误接收的第一区段的估计。这些方块的动作相似于上文在图1-7中的论述。

图9显示图解说明另一解码器实例的方块图，所述解码器经配置以解码进入的多媒体数据流。所述数据流包括多媒体帧，其进一步包括错误接收的第一区段。所述解码器包括获得模块902、确定模块904、估计模块905及处理器908。获得模块905经配置以获得对应于第一参考帧的时间预测数据。确定模块904经配置以确定所述第一参考帧是否能可靠地用于估计所述第一区段。估计模块906经配置以如果确定所述第一参考帧为可靠的，则基于除多媒体帧的第一区段以外的一个或多个区段及第一参考帧来估计错误接收的第一区段。处理器908经配置以执行一个或多个软件应用程序从而控制其它单元的操作，如早先所论述。在其它实例中，可去除处理器908。

所属技术领域的技术人员应了解，可使用众多种不同技术及技法中的任一种来表示信息及信号。例如，整个上述说明中可能提及的数据、指令、命令、信息、信号、位、符号和码片可由电压、电流、电磁波、磁场或粒子、光场或粒子、或其任一组合来表示。

所属技术领域的技术人员应进一步了解，结合本文所揭示实例所阐述的各种说明性逻辑块、模块、及算法步骤可构建为电子硬件、计算机软体或两者的组合。为清晰地显示硬件与软件的互换性，上文一般是基于其功能性来阐述各种说明性组件、块、模块、电路、及步骤。此种功能性是构建成硬件还是构建成软件取决于具体应用及施加于整个系统的设计制约条件。所属技术领域的技术人员可针对每一具体应用以不同的方式构建所述功能性，但这些实施方案的决定不应视为背离所揭示方法的范畴。

结合本文所揭示实例阐述的各种说明性逻辑块、模块及电路可使用通用处理器、数字信号处理器(DSP)、应用专用集成电路(ASIC)、现场可程序化门阵列(FPGA)或其它可程序化逻辑装置、离散门或晶体管逻辑、离散硬件元件、或其任一设计用于执行本文所述功能的组合来构建或执行。通用处理器可为微处理器，但作为另一选择，处理器也可为任何传统的处理器、控制器、微控制器或状态机。处理器也可构建为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、一个或多个微处理器与DSP核心的联合，或任一其它此类组态。

结合本文所揭示实例所阐述的方法或算法的步骤可直接实施在硬件中、由处理器执行的软体模块中或二者的组合中。软体模块可驻存于：RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬磁盘、可抽换式磁盘、CDROM、此项技术中为人们所熟知的任何其它形式的存储媒体中。存储媒体耦合至所述处理器，以便处理器可自储存媒体读取信息及向其写入信息。在替代方案中，所述存储媒体可为处理器的组成部分。处理器及存储媒体可驻存于应用专用集成电路(ASIC)中。ASIC可驻存于无线调制解调器中。作为另一选择，处理器及存储媒体可作为离散组件驻存在无线调制解调器中。上文对所揭示实例的说明旨在使任何所属技术领域的技术人员都能制作或利用所揭示的方法与设备。所属技术领域的技术人员将易于得出对所述实施例的各种修改，且本文所界定的一般原理可应用于其它实施例。

Claims (90)

1.一种处理多媒体帧的方法，所述多媒体帧含有错误接收的第一区段，所述方法包括：

获得对应于第一参考帧的时间预测数据；

确定所述第一参考帧对于估计所述第一区段是否是可靠的；及

如果确定所述第一参考帧是可靠的，则基于除所述多媒体帧的第一区段以外的一个或多个区段及所述第一参考帧来估计所述错误接收的第一区段。

2.如权利要求1所述的方法，其中所述一个或多个区段包括一个或多个与所述第一区段相邻的区段。

3.如权利要求1所述的方法，其中所述时间预测数据包括对应于所述第一参考帧的若干部分的运动向量。

4.如权利要求3所述的方法，其中所述确定进一步包括：

如果包括所述多媒体帧的运动向量及所述第一参考帧内的共同定位运动向量的每对运动向量为可用的，则确定所述对运动向量是否相似；及

如果相似对的数量与可用对的数量的比率大于阈值，则确定所述第一参考帧为可靠的，

其中，如果正确地接收到两个运动向量，则所述对运动向量为可用的。

5.如权利要求4所述的方法，其中基于如下至少一者来确定每对是否相似：两个运动向量的量值及两个运动向量的方向。

6.如权利要求5所述的方法，其中只有当两个运动向量的量值均大且所述运动向量的方向相反时才确定每对为不相似。

7.如权利要求1所述的方法，其中每一区段是一宏块。

8.如权利要求3所述的方法，其进一步包括：将对应于一个或多个参考帧中将要据以预测所述多媒体帧的若干部分的运动向量按比例缩放成对应于所述第一参考帧的若干部分的运动向量，以使所述第一参考帧毗邻于所述多媒体帧。

9.如权利要求8所述的方法，其进一步包括使所述按比例缩放运动向量中的至少一者平滑。

10.如权利要求9所述的方法，其中所述平滑包括中值滤波。

11.如权利要求3所述的方法，其中每一帧包括多个区段，且每一区段均包括一个或多个相同尺寸的基础单元，所述方法进一步包括：

合并对应于每一基础单元中可变尺寸的部分的运动向量以形成一个对应于所述基础单元的基础运动向量，

其中每一基础单元是N×M个像素块，且进一步其中N及M为整数。

12.如权利要求11所述的方法，其中合并运动向量包括简单平均、加权平均及中值滤波中的至少一者。

13.如权利要求11所述的方法，其进一步包括使所述合并运动向量中的至少一者平滑。

14.如权利要求13所述的方法，其中所述平滑包括中值滤波。

15.如权利要求3所述的方法，其中所述估计进一步包括：

确定所述第一参考帧内的锚定区段；

基于来自以所述第一区段为中心的所述多媒体帧的第二运动向量窗口及来自以所述锚定区段为中心的所述第一参考帧的第三运动向量窗口的可用运动向量，确定第一运动向量窗口；及

计算所述第一运动向量窗口内所述可用运动向量的中值。

16.如权利要求15所述的方法，其进一步包括：更新所述第一运动向量窗口，使得如果所述运动向量与所述锚定区段的运动向量不相似，则将每一运动向量标记为不可用。

17.如权利要求16所述的方法，其中基于如下至少一者来确定两个运动向量是否不相似：两个运动向量的量值及两个运动向量的方向。

18.如权利要求17所述的方法，其中只有当两个运动向量的量值均大且两个运动向量的方向相反时才确定两个运动向量为不相似。

19.如权利要求15所述的方法，其中将所述锚定区段选择为位于与所述多媒体帧的错误第一区段对应的位置处的区段。

20.如权利要求15所述的方法，其中选择所述锚定区段以使得所述锚定区段对应于所述第一参考帧中与所述第一参考帧的区域具有最多重叠的区段，其中所述预测帧的锚定运动向量指向所述区域，其中基于所述多媒体帧内的可用相邻区段的运动向量来计算所述锚定运动向量。

21.如权利要求1所述的方法，其进一步包括：如果确定所述第一参考帧是不可靠的，则基于除所述多媒体帧的所述第一区段以外的一个或多个区段但不基于所述第一参考帧来估计所述第一区段。

22.如权利要求1所述的方法，其中所述方法既可应用于因果解码过程中且也可应用于非因果解码过程中。

23.一种处理器，其经配置以实施一方法，所述方法包括：

获得对应于第一参考帧的时间预测数据；

确定所述第一参考帧对于估计所述第一区段是否可靠；及

如果确定所述第一参考帧为可靠，则基于除所述多媒体帧的所述第一区段以外的一个或多个区段及所述第一参考帧来估计所述错误接收的第一区段。

24.如权利要求23所述的处理器，其中所述一个或多个区段包括一个或多个与所述第一区段相邻的区段。

25.如权利要求23所述的处理器，其中所述时间预测数据包括对应于所述第一参考帧的若干部分的运动向量。

26.如权利要求25所述的处理器，其中所述确定进一步包括：

如果包括所述多媒体帧的运动向量及所述第一参考帧内的共同定位运动向量的每对运动向量为可用的，则确定所述对运动向量是否相似；及

如果相似对的数量与可用对的数量的比率大于阈值，则确定所述第一参考帧为可靠的，

其中，如果正确地接收两个运动向量，则所述对运动向量为可用。

27.如权利要求26所述的处理器，其中基于如下至少一者来确定每对是否相似：两个运动向量的量值及两个运动向量的方向。

28.如权利要求27所述的处理器，其中只有当两个运动向量的量值均大且所述运动向量的方向相反时才确定每对为不相似。

29.如权利要求23所述的处理器，其中每一区段是一宏块。

30.如权利要求25所述的处理器，所述方法进一步包括：将对应于一个或多个参考帧中将要据以预测所述多媒体帧的若干部分的运动向量按比例缩放成对应于所述第一参考帧的若干部分的运动向量，以使所述第一参考帧毗邻于所述多媒体帧。

31.如权利要求30所述的处理器，所述方法进一步包括使所述按比例缩放运动向量中的至少一者平滑。

32.如权利要求31所述的处理器，其中所述平滑包括中值滤波。

33.如权利要求25所述的处理器，其中每一帧包括多个区段，且每一区段均包括一个或多个相同尺寸的基础单元，所述方法进一步包括：

合并对应于每一基础单元中可变尺寸的部分的运动向量以形成一个对应于所述基础单元的基础运动向量，

其中每一基础单元是N×M个像素块，且进一步其中N及M为整数。

34.如权利要求33所述的处理器，其中合并运动向量包括简单平均、加权平均及中值滤波中的至少一者。

35.如权利要求33所述的处理器，所述方法进一步包括使所述经合并运动向量中的至少一者平滑。

36.如权利要求35所述的处理器，其中所述平滑包括中值滤波。

37.如权利要求25所述的处理器，其中所述估计进一步包括：

确定所述第一参考帧内的锚定区段；

基于来自以所述第一区段为中心的所述多媒体帧的第二运动向量窗口及来自以所述锚定区段为中心的所述第一参考帧的第三运动向量窗口的可用运动向量，确定第一运动向量窗口；及

计算所述第一运动向量窗口内所述可用运动向量的中值。

38.如权利要求37所述的处理器，所述方法进一步包括：更新所述第一运动向量窗口，使得如果所述运动向量与所述锚定区段的运动向量不相似，则将每一运动向量标记为不可用。

39.如权利要求38所述的处理器，其中基于如下至少一者来确定两个运动向量是否不相似：两个运动向量的量值及两个运动向量的方向。

40.如权利要求39所述的处理器，其中只有当两个运动向量的量值均大且两个运动向量的方向相反时才确定两个运动向量不相似。

41.如权利要求37所述的处理器，其中将所述锚定区段选择为位于与所述多媒体帧的错误第一区段对应的位置处的区段。

42.如权利要求37所述的处理器，其中选择所述锚定区段以使所述锚定区段对应于所述第一参考帧中与所述第一参考帧的区域具有最多重叠的区段，其中所述预测帧的锚定运动向量指向所述区域，其中基于所述多媒体帧内的可用相邻区段的运动向量来计算所述锚定运动向量。

43.如权利要求23所述的处理器，所述方法进一步包括：如果确定所述第一参考帧是不可靠的，则基于除所述多媒体帧的所述第一区段以外的一个或多个区段但不基于所述第一参考帧来估计所述第一区段。

44.如权利要求23所述的处理器，其中所述方法既可应用于因果解码过程中且也可应用于非因果解码过程中。

45.一种设备，其用于处理含有错误接收的第一区段的多媒体帧，所述设备包括：

获得装置，其用于获得对应于第一参考帧的时间预测数据；

确定装置，其用于确定所述第一参考帧对于估计所述第一区段是否可靠的；及

估计装置，其用于如果确定所述第一参考帧为可靠的则基于除所述多媒体帧的所述第一区段以外的一个或多个区段及所述第一参考帧来估计所述错误接收的第一区段。

46.如权利要求45所述的设备，其中所述一个或多个区段包括一个或多个与所述第一区段相邻的区段。

47.如权利要求45所述的设备，其中所述时间预测数据包括对应于所述第一参考帧的若干部分的运动向量。

48.如权利要求47所述的设备，其中所述用于确定的装置进一步包括：

用于如果包括所述多媒体帧的运动向量及所述第一参考帧内的共同定位运动向量的每对运动向量为可用的则确定所述对运动向量是否相似的装置；及

用于如果相似对的数量与可用对的数量的比率大于阈值则确定所述第一参考帧为可用的装置，

其中，如果正确地接收两个运动向量，则所述对运动向量为可用。

49.如权利要求48所述的设备，其中基于如下至少一者来确定每对是否相似：两个运动向量的量值及两个运动向量的方向。

50.如权利要求49所述的设备，其中只有当两个运动向量的量值均大且所述运动向量的方向相反时才确定每对为不相似。

51.如权利要求45所述的设备，其中每一区段是一宏块。

52.如权利要求47所述的设备，其进一步包括按比例缩放装置，其用于将对应于一个或多个参考帧中将要据以预测所述多媒体帧的若干部分的运动向量按比例缩放成对应于所述第一参考帧的若干部分的运动向量，以使所述第一参考帧毗邻于所述多媒体帧。

53.如权利要求52所述的设备，其进一步包括用于使所述按比例缩放运动向量中的至少一者平滑的装置。

54.如权利要求53所述的设备，其中所述用于平滑的装置包括用于中值滤波的装置。

55.如权利要求47所述的设备，其中每一帧包括多个区段，且每一区段包括一个或多个相同尺寸的基础单元，所述设备进一步包括：

合并装置，其用于合并对应于每一基础单元中可变尺寸的部分的运动向量以形成一个对应于所述基础单元的基础运动向量，

其中每一基础单元是N×M个像素块，且进一步其中N及M为整数。

56.如权利要求55所述的设备，其中所述用于合并运动向量的装置包括用于简单平均、加权平均及中值滤波中至少一者的装置。

57.如权利要求55所述的设备，其进一步包括用于使所述经合并运动向量中的至少一者平滑的装置。

58.如权利要求57所述的设备，其中所述用于平滑的装置包括用于中值滤波的装置。

59.如权利要求47所述的设备，其中所述用于估计的装置进一步包括：

用于确定所述第一参考帧内的锚定区段的装置；

用于基于来自以所述第一区段为中心的所述多媒体帧的第二运动向量窗口及来自以所述锚定区段为中心的所述第一参考帧的第三运动向量窗口的可用运动向量确定第一运动向量窗口的装置；及

用于计算所述第一运动向量窗口内所述可用运动向量的中值的装置。

60.如权利要求59所述的设备，其进一步包括更新装置，其用于更新所述第一运动向量窗口，使得如果所述运动向量与所述锚定区段的运动向量不相似，则将每一运动向量标记为不可用。

61.如权利要求60所述的设备，其中基于如下至少一者来确定两个运动向量是否不相似：两个运动向量的量值及两个运动向量的方向。

62.如权利要求61所述的设备，其中只有当两个运动向量的量值均大且两个运动向量的方向相反时才确定两个运动向量不相似。

63.如权利要求59所述的设备，其中将所述锚定区段选择为位于与所述多媒体帧的错误第一区段对应的位置处的区段。

64.如权利要求59所述的设备，其中选择所述锚定区段以使所述锚定区段对应于所述第一参考帧中与所述第一参考帧的区域具有最多重叠的区段，其中所述预测帧的锚定运动向量指向所述区域，其中基于所述多媒体帧内可用相邻区段的运动向量来计算所述锚定运动向量。

65.如权利要求45所述的设备，其进一步包括估计装置，其用于如果确定所述第一参考帧为不可靠的，则基于除所述多媒体帧的第一区段以外的一个或多个区段但不基于所述第一参考帧来估计所述第一区段。

66.如权利要求45所述的设备，其中所述设备既可应用于因果解码过程中且也可应用于非因果解码过程中。

67.一种计算机可读媒体，其包含用于使计算机执行包括如下步骤的方法的装置：

获得对应于第一参考帧的时间预测数据；

确定所述第一参考帧对于估计所述第一区段是否是可靠的；及

如果确定所述第一参考帧为可靠的，则基于除所述多媒体帧的第一区段以外的一个或多个区段及所述第一参考帧估计所述错误接收的第一区段。

68.如权利要求67所述的计算机可读媒体，其中所述一个或多个区段包括一个或多个与所述第一区段相邻的区段。

69.如权利要求67所述的计算机可读媒体，其中所述时间预测数据包括对应于所述第一参考帧的若干部分的运动向量。

70.如权利要求69所述的计算机可读媒体，其中所述确定进一步包括：

如果包括所述多媒体帧的运动向量及所述第一参考帧内共同定位运动向量的每对运动向量为可用的，则确定所述对运动向量是否相似；及

如果相似对的数量与可用对的数量的比率大于阈值，则确定所述第一参考帧为可靠的，

其中，如果正确地接收两个运动向量，则所述对运动向量为可用。

71.如权利要求70所述的计算机可读媒体，其中基于如下至少一者来确定每对是否相似：两个运动向量的量值及两个运动向量的方向。

72.如权利要求71所述的计算机可读媒体，其中只有当两个运动向量的量值均大且所述运动向量的方向相反时才确定每对为不相似。

73.如权利要求67所述的计算机可读媒体，其中每一区段是一宏块。

74.如权利要求69所述的计算机可读媒体，所述方法进一步包括：将对应于一个或多个参考帧中将要据以预测所述多媒体帧的若干部分的运动向量按比例缩放成对应于所述第一参考帧的若干部分的运动向量，以使所述第一参考帧毗邻于所述多媒体帧。

75.如权利要求74所述的计算机可读媒体，所述方法进一步包括使所述按比例缩放运动向量中的至少一者平滑。

76.如权利要求75所述的计算机可读媒体，其中所述平滑包括中值滤波。

77.如权利要求69所述的计算机可读媒体，其中每一帧包括多个区段，且每一区段均包括一个或多个相同尺寸的基础单元，所述方法进一步包括：

合并对应于每一基础单元中可变尺寸的部分的运动向量以形成一个对应于所述基础单元的基础运动向量，

其中每一基础单元是N×M个像素块，且进一步其中N及M为整数。

78.如权利要求77所述的计算机可读媒体，其中合并运动向量包括简单平均、加权平均及中值滤波中的至少一者。

79.如权利要求77所述的计算机可读媒体，所述方法进一步包括使所述经合并运动向量中的至少一者平滑。

80.如权利要求79所述的计算机可读媒体，其中所述平滑包括中值滤波。

81.如权利要求69所述的计算机可读媒体，其中所述估计进一步包括：

确定所述第一参考帧内的锚定区段；

基于来自以所述第一区段为中心的所述多媒体帧的第二运动向量窗口及来自以所述锚定区段为中心的所述第一参考帧的第三运动向量窗口的可用运动向量，确定第一运动向量窗口；及

计算所述第一运动向量窗口内所述可用运动向量的中值。

82.如权利要求81所述的计算机可读媒体，所述方法进一步包括：更新所述第一运动向量窗口，使得如果所述运动向量与所述锚定区段的运动向量不相似，则将每一运动向量标记为不可用。

83.如权利要求82所述的计算机可读媒体，其中基于如下至少一者来确定两个运动向量是否不相似：两个运动向量的量值及两个运动向量的方向。

84.如权利要求83所述的计算机可读媒体，其中只有当两个运动向量的量值均大且两个运动向量的方向相反时才确定两个运动向量不相似。

85.如权利要求81所述的计算机可读媒体，其中将所述锚定区段选择为位于与所述多媒体帧的错误第一区段对应的位置处的区段。

86.如权利要求81所述的计算机可读媒体，其中选择所述锚定区段以使所述锚定区段对应于所述第一参考帧中与所述第一参考帧的区域具有最多重叠的区段，其中所述预测帧的锚定运动向量指向所述区域，其中基于所述多媒体帧内可用相邻区段的运动向量来计算所述锚定运动向量。

87.如权利要求67所述的计算机可读媒体，所述方法进一步包括：如果确定所述第一参考帧不可靠，则基于除所述多媒体帧的第一区段以外的一个或多个区段但不基于所述第一参考帧来估计所述第一区段。

88.如权利要求67所述的计算机可读媒体，其中所述方法既可应用于因果解码过程中且也可应用于非因果解码过程中。

89.一种设备，其用于处理含有错误接收的第一区段的多媒体帧，所述设备包括：

时间预测数据产生器，其经配置以获得对应于第一参考帧的时间预测数据；

帧运动变化检测器，其经配置以确定所述第一参考帧对于估计所述第一区段是否是可靠的；及

运动向量估计器，其经配置以如果确定所述第一参考帧为可靠的，则基于除所述多媒体帧的第一区段以外的一个或多个区段及所述第一参考帧来估计所述错误接收的第一区段。

90.如权利要求89所述的装置，其中所述一个或多个区段包括一个或多个与所述第一区段相邻的区段。

Images