CN101375603B - 用于无线视频通信中的错误恢复算法的方法和设备 - Google Patents

Abstract

本发明描述用以对多媒体数据进行编码从而尤其实现(例如)改进的经解码视频质量、改进的错误恢复能力和/或改进的解码效率的方法和设备。根据本申请案的方法包含以下步骤中的一者或一者以上：初始化用于当前帧的像素级参考计数器；执行对参考所述当前帧的下一帧的预测；对于在对所述下一帧的所述预测期间参考的所述当前帧的每一像素，递增所述像素级参考计数器；重新调整所述当前帧的宏区块带宽映射；对于参考所述当前帧的多个下一帧中的每一下一帧重复所述初始化、执行和重新调整步骤；以及至少部分地基于所述当前帧的所述经重新调整的宏区块带宽映射对所述当前帧进行编码。

Description

用于无线视频通信中的错误恢复算法的方法和设备

相关申请案的交叉参考

根据35U.S.C§119主张优先权

本专利申请案主张2006年1月20日申请的题为“用于基于无线视频通信的预测层级的自适应帧内刷新的方法和设备(Method and Apparatus for Adaptive Intra RefreshBased on Prediction Hierarchy for Wireless Video Communications)”第60/760,678号(代理人案号060372P1)临时申请案的优先权，所述临时申请案转让给本申请案的受让人，且出于所有目的，以引用的方式完全并入本文中。

本专利申请案主张2006年1月20日申请的题为“用于无线视频通信的错误恢复方法(A Method of Error Resilience for Wireless Video Communication)”第60/760,755号(代理人案号060372P2)临时申请案的优先权，所述临时申请案转让给本申请案的受让人，且出于所有目的，以引用的方式完全并入本文中。

技术领域

本申请案是针对多媒体信号处理，且更明确地说，是针对无线视频通信。

背景技术

多媒体处理系统(例如视频编码器)可使用基于国际标准的编码方法来对多媒体数据进行编码，所述国际标准例如是运动图片专家组(MPEG)-1、-2和-4标准，国际电信联盟(ITU)-TH.263标准，和ITU-T H.264标准及其副本，ISO/IEC MPEG-4，第10部分(即，高级视频编码(AVC))。此些编码方法通常是针对为了传输和/或存储而压缩多媒体数据。压缩泛指从数据去除冗余的过程。

可用图片序列来描述视频信号，所述图片包含帧(整个图片)或字段(例如，交错视频流包括图片的交替奇数或偶数线的字段)。如本文所使用，术语“帧”是指图片、帧或字段。视频编码方法通过使用无损压缩算法或有损压缩算法压缩每个帧来压缩视频信号。帧内编码是指在对帧进行编码时只使用所述帧。帧间编码是指基于其它“参考”帧而对帧进行编码。举例来说，视频信号通常展示时间冗余，其中在帧的时间序列中彼此靠近的帧至少具有彼此匹配或至少部分地匹配的部分。

多媒体处理器，例如视频编码器，可通过将帧分成(例如)16×16像素的区块或“宏区块”来对所述帧进行编码。编码器可进一步将每一宏区块分成子区块。每一子区块可进一步包括额外的子区块。举例来说，宏区块的子区块可包含16×8和8×16个子区块。8×16个子区块的子区块可包含8×8个子区块，等等。如本文所使用，术语“区块”是指宏区块或子区块。

编码器可使用基于帧间编码运动补偿的算法来利用此时间冗余。运动补偿算法识别参考帧的至少部分地与区块匹配的部分。所述区块可在帧中相对于参考帧的匹配部分而移位。此移位的特征在于运动向量。所述区块与参考帧的部分匹配部分之间的任何差异可用残差来表征。所述编码器可将帧编码为包括所述帧的特定分割的运动向量和残差中的一者或一者以上的数据。可通过使(例如)平衡编码大小与编码所得内容的失真的价值函数近似地减到最小来选择用于对帧进行编码的区块的特定分割。

帧间编码与帧内编码相比实现更高压缩效率。然而，当参考数据(例如，参考帧或参考字段)由于通道错误等缘故而丢失时，帧间编码可能产生问题。在这些情况下，对经帧间编码的数据的解码可能是不可能的，或可能导致不当错误和错误传播。解码器可使用隐藏方案，所述隐藏方案试图用从相邻区块或从其它帧中的数据得到的数据来隐藏或掩饰出错的数据。隐藏算法的改进可提供出错的视频数据的隐藏部分的质量的某一改进。然而，由于隐藏算法严重依赖时空信息，因此对于隐藏图像将展示的质量有多高存在限制。隐藏的数据的质量可能不高，且观看体验可能被降级。此外，对信号进行解码可能变成不可能的，且可能需要再同步。通过刷新视频的编码方法，错误传播可受到限制，且可实现再同步(或初始获取)。无需参考其它帧或已知其它帧，可对经刷新的视频信号进行解码。

可独立解码的经帧内编码的帧是允许刷新视频信号的帧的最常见形式。MPEG-x和H.26x标准使用被称为图片组(GOP)的帧，其包括经帧内编码的帧(也被称为I帧)和在时间上经预测的P帧或经双向预测的B帧，所述B帧参考GOP内的I帧和/或其它P和/或B帧。较长的GOP是增加的压缩所需要的，但较短的GOP允许更快的获取和再同步。增加I帧的数目将更频繁地刷新视频信号，从而进一步限制错误传播并提供更快的获取和再同步，但以更低的压缩为代价。需要一种对视频数据进行编码的方法，其限制视频流在解码器处的错误传播，同时保留压缩效率。

发明内容

本申请案的系统、方法和装置每一者具有若干方面，所述方面中没有单个方面单独负责其所需属性。在不对如所附权利要求书所表达的本申请案的范围构成限制的情况下，现将简要论述本申请案的较突出特征。在考虑本论述之后，且尤其在阅读题为“具体实施方式”的部分之后，将理解本申请案的示例特征可如何提供一些改进，所述改进尤其包含(例如)改进的解码视频质量、改进的错误恢复、改进的错误恢复和/或改进的无线通信效率。

一种处理包含多个视频帧的多媒体数据的方法，其中所述方法包含：初始化用于当前帧的像素级参考计数器；参考当前帧而执行对下一帧的预测；以及重新调整当前帧的宏区块带宽映射。

本发明描述一种用于处理包含多个视频帧的多媒体数据的处理器，其中所述处理器经配置以：初始化用于当前帧的像素级参考计数器；参考当前帧而执行对下一帧的预测；且重新调整当前帧的宏区块带宽映射。

本发明呈现一种用于处理包含多个视频帧的多媒体数据的设备，其中所述设备包含：初始化器，其用于初始化用于当前帧的像素级参考计数器；执行器，其用于参考当前帧而执行对下一帧的预测；以及重新调整器，其用于重新调整当前帧的宏区块带宽映射。

本发明呈现一种处理包含多个视频帧的多媒体数据的设备，其中所述设备包含：用于初始化用于当前帧的像素级参考计数器的装置；用于参考当前帧而执行对下一帧的预测的装置；以及用于重新调整当前帧的宏区块带宽映射的装置。

本发明描述一种用于处理包含多个视频帧的多媒体数据的机器可读媒体，其中所述机器可读媒体包含在执行之后立即致使机器初始化用于当前帧的像素级参考计数器，参考当前帧而执行对下一帧的预测，且重新调整当前帧的宏区块带宽映射的指令。

附图说明

图1是说明根据一个方面的多媒体通信系统的框图。

图2是说明可在(例如)图1中所说明的系统中使用的编码器装置的实施例的框图。

图3是说明可在(例如)图1中所说明的系统中使用的解码器装置的实施例的框图。

图4A是说明在(例如)图1所说明的系统中对视频流的一部分进行编码的方法的实例的流程图。

图4B是更详细地说明在(例如)图1所说明的系统中对视频流的一部分进行编码的方法的实例的流程图。

图5以图表方式说明可通过图4A和图4B的方法产生的失真映射。

图6以图表方式说明用于估计视频的一部分(例如在运动补偿预测方法中所使用)的预测区域。

图7是说明可在(例如)图1中所说明的系统中使用的编码器装置的实施例的功能性框图。

图8是说明可在(例如)图1中所说明的系统中使用的编码器装置的实施例的功能性框图。

图9说明根据某些实施例的无线通信系统900。

图10展示片段和存取单元(AU)中的经编码的视频数据或视频位流的组织。

图11展示片段和AU中的视频位流的组织，以及视频位流到FLO帧的映射。

图12展示根据某些实施例的所预测的帧编码的预测层级。

图13展示根据某些实施例的用以确定预测链且更强调频繁参考宏区块的重要性的两遍算法。

具体实施方式

以下详细描述内容是针对本申请案的某些示例实施例。然而，本申请案可以权利要求书所界定和涵盖的多种不同方式来实施。在本描述内容中，参考图式，在图式中相同部分始终用相同标号表示。

可用一系列图片、帧、字段或片段来表征视频信号。如本文所使用，术语“帧”是广义术语，其可涵盖渐进式视频信号的帧、交错视频信号的字段或任一者的片段。

实施例包含改进多媒体传输系统中的编码器中的处理的系统和方法。多媒体数据可包含运动视频、音频、静止图像、或任何其它合适类型的视听数据中的一者或一者以上。实施例包含数据(例如，视频)通信的设备和方法。

图1是说明根据一个方面的多媒体通信系统100的框图。系统100包含经由网络140与解码器装置150通信的编码器装置110，网络140可以是(例如)易于出错的网络，例如无线网络。在一个实例中，编码器装置从外部来源102接收多媒体信号，且对所述信号进行编码以用于在网络140上进行传输。

在此实例中，编码器装置110包括耦合到存储器114和收发器116的处理器112。处理器112可包含通用处理器和/或数字信号处理器中的一者或一者以上。存储器114可包含固态和/或基于磁盘的存储装置中的一者或一者以上。处理器112对来自多媒体数据源的数据进行编码，并将其提供到收发器116以用于通过网络140进行通信。

在此实例中，解码器装置150包括耦合到存储器154和收发器156的处理器152。处理器152可包含通用处理器和/或数字信号处理器中的一者或一者以上。存储器154可包含固态和/或基于磁盘的存储装置中的一者或一者以上。收发器156经配置以通过网络140接收多媒体数据，并且将其提供给处理器152以进行解码。在一个实例中，收发器156包含无线收发器。网络140可包括有线或无线通信系统中的一者或一者以上，包含以太网、电话(例如，POTS)、电缆、电力线和光纤系统中的一者或一者以上，且/或无线系统包括以下系统中的一者或一者以上：码分多址(CDMA或CDMA2000)通信系统、频分多址(FDMA)系统、正交频分多(OFDM)址系统、时分多址(TDMA)系统，例如GSM/GPRS(通用分组无线电服务)/EDGE(增强型数据GSM环境)、TETRA(陆地集群无线电)移动电话系统、宽带码分多址(WCDMA)系统、高数据速率(1xEV-DO或1xEV-DO黄金多播)系统、IEEE 802.11系统、媒体FLO(MediaFLO)系统、DMB系统或DVB-H系统。

图2是说明可在例如图1中所说明的系统100的系统中使用的编码器装置110的实施例的框图。在此实施例中，编码器110包括失真值估计器元件202、编码方法确定器204和多媒体编码器元件206。失真值估计器202估计多媒体数据的正被编码的部分的失真值。所述失真值部分地基于来自预测当前部分所根据的视频的其它部分的错误传播和所述其它部分被错误地接收到的可能性。失真值还包含由于在隐藏视频数据的所述部分(如果其被错误地接收到)时在解码器处引入的错误而导致的失真分量。失真值估计器可考虑多种编码方法，且计算对于所述编码方法中的每一者的失真值。

编码方法确定器204基于所估计的失真值来确定一种将用于对视频数据的所述部分进行编码的编码方法。编码方法确定器204和失真值估计器202可一起工作，以计算对于多种编码方法(例如多种帧间编码方法)的多个失真值，并选择导致最少失真的编码方法。编码方法确定器可将失真值与阈值进行比较，且基于所述比较，确定需要另一编码方法。其它编码方法可以是与刷新视频流有关的编码方法，例如帧内编码。其它编码方法还可以是导致较低失真值(如由失真值估计器202所估计)的另一种形式的帧间编码。编码方法确定器还可在确定提供可接受失真且不超过某一计算复杂性等级的编码方法的过程中考虑计算复杂性以及失真值。

多媒体编码器206执行基于失真值而确定的编码方法。多媒体编码器206所执行的编码方法包含帧间编码，其中视频的部分是参考位于其它时间帧中的视频数据的其它部分而在时间上预测的(例如，使用运动补偿预测)。其它编码方法包含帧内编码，其中对视频的部分进行编码使得其可被独立解码而无需参考其它在时间上定位的视频数据。在一些实施例中，帧内编码可使用空间预测来利用位于同一时间帧中的其它视频数据中的冗余。

在一些实施例中，图2的编码器110的元件中的一者或一者以上可重新布置和/或组合。所述元件可由硬件、软件、固件、中间件、微码或其任一组合来实施。编码器110的元件所执行的动作的细节将在下文中参考图4中所说明的方法进行论述。

图3是说明可在例如图1中所说明的系统100的系统中使用的解码器装置150的实施例的框图。在此实施例中，解码器装置150包含多媒体解码器元件302和错误隐藏元件304。多媒体解码器302将对(例如)使用图2的编码器装置110进行编码的经编码多媒体位流进行解码。多媒体解码器执行对应于用于对数据进行编码的编码操作的逆操作。经编码的数据可以是经帧间编码的数据(例如，经时间上预测的数据)和/或经帧内编码的数据。

错误隐藏元件304执行各种形式的错误隐藏，所述错误隐藏用于隐藏或掩饰视频的错误地接收到或由于其它原因而不可解码(例如，由于同步损失)的部分。所述隐藏方法可包含空间错误隐藏方法、时间错误隐藏方法和其它方法。当在图2的编码器装置110的失真值估计器202中估计失真值时，所使用的隐藏方法可与模拟的错误隐藏方法相同或类似。虽然本方面并不要求相同或类似的隐藏方法，但在解码器装置150中使用此些与解码器装置中所模拟的隐藏方法相同或类似的隐藏方法可产生改进的经解码视频质量。除执行错误隐藏之外，错误隐藏元件304还可执行错误恢复功能。可对被确定为出错的数据区段执行错误恢复以试图分析出可用(例如，无错误)部分。这些被分析出的部分还可在错误隐藏元件304进行的错误隐藏中使用。

在一些实施例中，图3的解码器150的元件中的一者或一者以上可重新布置和/或组合。所述元件可由硬件、软件、固件、中间件、微码或其任一组合来实施。解码器150的元件所执行的操作的细节超出本论述的范围。

图4A是说明在(例如)图1所说明的系统中对视频流的一部分进行编码的方法的实例的流程图。在此实例中，所述方法估计视频的正被编码的一部分的失真值。所述失真值基于在解码器处错误地接收到经编码部分的概率和由用于隐藏出错部分的隐藏方法所造成的错误。通过使失真值基于解码器隐藏方法，经编码的视频位流可更不受解码器处的错误传播效应影响，这可改进经解码视频质量。此实例中的方法还可基于所估计的失真值而确定编码方法。可在多种编码方法中确定使失真值减到最小的编码方法。可基于改进视频的部分在解码器处的可恢复性来确定编码方法。可确定编码方法以刷新视频部分，以便限制解码器处的错误传播。

参看图4A，方法400开始于框402，其中编码装置估计多媒体数据的一部分的失真值。多媒体数据的所述部分可以是像素(例如，亮度和色度，或红色、绿色和蓝色等)、像素区块或一个或一个以上像素的任何形状和大小的区域。失真值至少部分地基于与可用于隐藏视频部分(如果其被错误地接收到)的错误隐藏方法有关的失真分量。失真值可包含来自多种隐藏方法的分量。举例来说，一个分量可表示由所使用的第一隐藏方法引入的失真(如果只有正被编码的部分被错误地接收到)。换句话说，假定解码器装置可用来预测被隐藏部分的所有其它视频数据(被称为预测数据)将无错误地被接收到。失真值的其它分量可包含由第二或第三隐藏方法所引入的失真，其中如果错误地接收到一个或一个以上预测部分，那么解码器可使用这些隐藏方法。所述隐藏方法可包含空间隐藏、时间隐藏和其它形式的隐藏。将在下文论述估计失真值的方法(包含时间隐藏)的细节。图2中的编码器装置110的失真值估计器202可执行框402处的动作。

在一些实例中，对于数据帧中的每一区块，在框402处计算失真值。所述区块可以是宏区块(例如，16×16像素宏区块)或任何大小的子宏区块。帧中每一区块的失真值可存储在失真映射中。图5以图表方式说明可在框402处产生的失真映射。失真映射500含有多个失真值变量505(标记为dv1到dv16)，一个失真值变量针对帧中的一个区块。先前帧的失真映射500可用于计算在新帧中的失真值。以此方式，可容易计算累计失真。如果确定要刷新(例如帧内编码)任一区块，那么可将所述区块的失真值设置为零，或设置为由于量化或某一其它因素而导致的失真值。

在框404处，编码器装置基于所估计的失真值而确定用于多媒体数据的部分的编码方法。在一些实例中，在框402处计算对于多种编码方法的失真值，作为用于选择将使用多种方法中的哪一种编码方法的速率失真计算的一部分。举例来说，可(在框404处)确定产生最小失真值的编码方法用于对多媒体数据的部分进行编码。在其它实例中，可基于第一编码方法(帧间编码或帧内编码)而计算失真值，且使用所述失真值来确定应被帧内编码(例如在自适应帧内刷新(AIR)中进行)的区块。举例来说，可在基于速率失真的决策已导致发现用以对某一部分进行编码的最佳运动向量和模式之后，计算对应于所述部分的失真值。如果这样获得的失真值大于阈值，那么可确定使用帧内编码模式(例如，4×4像素帧内编码或16×16像素帧内编码)中的一者来对所述部分进行帧内编码。以此方式，刷新多媒体的所述部分。除帧内编码模式之外，在某些情况下，还可基于失真值而确定某些假定(P8×8、P16×16、P16×8、P8×16等)，尽管这些假定不能导致经刷新的视频。应注意，方法400的框中的某些框可被组合、省略、重新布置或其任一组合。下文中参看图4B论述在框404处确定编码方法的一些实施例的细节。

现将论述在框402处估计失真值的示范性算法的细节。此实例中的失真值与使用来自两个其它帧(例如，先前帧和随后帧)的部分来隐藏多媒体的出错部分的时间隐藏方法有关。然而，可使用类似方法来表示其它隐藏方法。

示范性算法计算视频的单向预测部分(例如在P帧中)的期望(即，统计期望)失真值的递归失真值。其它部分，例如经帧内编码部分和经双向预测部分也可由类似算法表示。算法可部分地基于当前MB损失的假定概率(定义为概率“P”)和隐藏方法所使用的预测因子丢失的概率(定义为概率“Q”)。随着假定概率P和Q中至少一者增加，算法更趋向于得到良好的错误恢复/隐藏，同时牺牲压缩效率。当减小概率P和Q中至少一者时，发生相反的情况。

所述算法计算多媒体数据的一部分的期望失真值。多媒体数据的所述部分可以是任何数目的像素和任何形状。可参考作为16×16像素宏区块(MB)的部分来论述所述实例，但应注意，还可表示其它部分。在一个实施例中，使用所述算法来估计帧的每一MB的期望失真值，以形成如上文参看图5所论述的失真映射。以递归和运动自适应方式来计算此实例中的期望失真值。尽管此期望失真映射不完全是MSE或L₁范数失真测量，但期望其与这些测量合理地充分相关。

以下符号用于论述失真值算法：

P＝当前MB丢失的概率

Q＝有关隐藏方法所使用的预测因子丢失的概率

在给定这些假定的情况下，以等于(1-P)的概率无任何错误地接收当前MB。在单向预测中，参考另一帧(在本实例中是先前帧)的MB大小部分对当前MB进行编码。运动向量MV给出当前MB与MB大小参考部分的相对位置或定位。参考部分将通常不与MB的边界对准，但将重叠至多达四个MB的四个区域。图6以图表的方式说明用于使用运动补偿预测方法来估计视频的一部分的预测区域。运动向量605指向由标记为a1、a2、a3和a4的四个区部分组成的MB大小预测区域610。所述区部分a1到a4，分别位于四个MB 615、620、625和630内。可从先前帧的失真映射的存储版本获得MB 615到630的失真值。在此实例中，预测区域610中的四个区部分a1到a4的累计失真值经加权平均(例如，基于每一区部分中的像素的数目)以计算当前MB的失真值。因此，由于累计错误传播而导致的当前宏区块的所估计的期望失真值由下式给出：

$(1-P)\left\{\frac{a_1{D}_{t-1}^{i,j}+a_2{D}_{t-1}^{i+1,j}+a_3{D}_{t-1}^{i,j+1}+a_4{D}_{t-1}^{i+1,j+1}}{256}\right\}---\left(1\right)$

其中a₁、a₂、a₃、a₄是如图6所说明的四个区部分。应注意通过使16×16像素区域的加权平均值除以256来使公式(1)所给出的失真值规范化。

除来自先前帧的预测区域的累计失真外，如果错误地接收到当前MB，那么算法估计由于当前MB的隐藏而导致的失真值分量。如上文所论述，假定当前MB以P的概率被错误地接收到。由于隐藏方法的缘故而由当前宏区块引起的失真可近似为隐藏错误(由隐藏方法引入且由术语隐藏_错误(Conceal_Error)指示的错误)与来自隐藏方法所使用的预测区域的错误传播所导致的效应的总和。如上文所论述，假定预测因子(例如，来自当前和/或过去帧)以概率1到Q可用。在此实例中，假定隐藏方法取决于当前帧和先前帧中的数据的可用性。假定预测区域在先前帧中，如累计失真术语D_t-1 ^i，j所指示。然而，这只是实例，且预测区域可在当前帧中或任何其它可用的帧中。因此，由于使用来自先前帧的预测区域的时间错误隐藏方法而引起的失真(其中被隐藏的部分出错的概率为P，且其取决于当前帧和先前帧(都以1到Q的概率可用)中的预测数据的可用性)可被计算为：

$\left(P\right)(1-Q)(1-Q)\{\mathrm{Conceal}\_\mathrm{Error}+\frac{a_1^{\′}{D}_{t-1}^{i1,j1}+a_2^{\′}{D}_{t-1}^{i1+1,j1}+a_3^{\′}{D}_{t-1}^{i1,j1+1}+a_4^{\′}{D}_{t-1}^{i1+1,j1+1}}{256}\}---\left(2\right)$

隐藏错误计算在计算上可能是复杂的。然而，在某些合理假定下，其可近似为以下SAD(像素值中的累计差值的总和)中的差值：

SAD_opt：当使用最佳MV和最佳编码模式时，在原始图像与压缩图像之间获得的SAD。

SAD_est：当使用所估计(通过时间隐藏算法估计)的MV时，在原始图像与隐藏图像之间获得的SAD

此近似可如下书写：

$\left(P\right)(1-Q)(1-Q)\left\{\right|{\mathrm{SAD}}_{\mathrm{est}}^1-{\mathrm{SAD}}_{\mathrm{opt}}^1|+\frac{a_1^{\′}{D}_{t-1}^{i1,j1}+a_2^{\′}{D}_{t-1}^{i1+1,j1}+a_3^{\′}{D}_{t-1}^{i1,j1+1}+a_4^{\′}{D}_{t-1}^{i1+1,j1+1}}{256}\}---\left(3\right)$

其中a₁′、a₂′、a₃′、a₄′是先前帧中的四个区部分(如图6中所说明)，其被用作隐藏部分预测，且用于求累计失真的加权平均值。注意，还通过使16×16像素区域的加权平均值除以256来使公式(3)所给出的失真值规范化。

注意，当使用公式(3)时，在某些情况下可发现SAD_est小于SAD_opt(例如，由于运动补偿不准确的缘故)，但所述差值可以小到可忽略，且在那些情况下，隐藏_错误分量可近似为零。

公式(3)表示在当前帧和先前帧都可用(其中每一者以1到Q的概率发生)时对应于所用隐藏方法的失真值分量。然而，如果错误地接收到当前帧和/或过去帧中的一些帧或所有帧(其中每一者以概率Q发生)，那么可能存在不同的隐藏错误。可考虑对应于四个不同隐藏估计的失真值分量，其中所述四个隐藏估计对应于四种情形：1)当前帧可用，且先前帧可用；2)当前帧可用，但先前帧出错；3)当前帧出错，但先前帧可用；以及4)当前帧和先前帧都出错。关于四个隐藏估计的计算的细节对于理解失真值计算并不是关键的，且本文将不作论述。包含四个失真值分量的累计失真可计算为：

$D_t^{x,y}=$

$(1-P)\left\{\frac{a_1{D}_{t-1}^{i,j}+a_2{D}_{t-1}^{i+1,j}+a_3{D}_{t-1}^{i,j+1}+a_4{D}_{t-1}^{i+1,j+1}}{256}\right\}+$

$\left(P\right)(1-Q)(1-Q)\left\{\right|{\mathrm{SAD}}_{\mathrm{est}}^I-{\mathrm{SAD}}_{\mathrm{opt}}^1|+\frac{a_1^{,}{D}_{t-1}^{i1,j1}+a_2^{,}{D}_{t-1}^{i1+1,j1}+a_3^{,}{D}_{t-1}^{i1,j1+1}+a_4^{,}{D}_{t-1}^{i1+1,j1+1}}{256}\}+$ (4)

$\left(P\right)\left(Q\right)(1-Q)\left\{\right|{\mathrm{SAD}}_{\mathrm{est}}^2-{\mathrm{SAD}}_{\mathrm{opt}}^2|+\frac{a_1^{,,}{D}_{t-1}^{i2,j2}+a_2^{,,}{D}_{t-1}^{i2+1,j2}+a_3^{,,}{D}_{t-1}^{i2,j2+1}+a_4^{,,}{D}_{t-1}^{i2+1,j2+1}}{256}\}+$

$\left(P\right)(1-Q)\left(Q\right)\left\{\right|{\mathrm{SAD}}_{\mathrm{est}}^3-{\mathrm{SAD}}_{\mathrm{opt}}^3|+\frac{a_1^{,,,}{D}_{t-1}^{i3,j3}+a_2^{,,,}{D}_{t-1}^{i3+1,j3}+a_3^{,,,}{D}_{t-1}^{i3,j3+1}+a_4^{,,,}{D}_{t-1}^{i3+1,j3+1}}{256}\}+$

$\left(P\right)\left(Q\right)\left(Q\right)\left\{\right|{\mathrm{SAD}}_{\mathrm{est}}^4-{\mathrm{SAD}}_{\mathrm{opt}}^4|+\frac{a_1^{,,,,}{D}_{t-1}^{i4,j4}+a_2^{,,,,}{D}_{t-1}^{i4+1,j4}+a_3^{,,,,}{D}_{t-1}^{i4,j4+1}+a_4^{,,,,}{D}_{t-1}^{i4+1,j4+1}}{256}\}$

其中第一隐藏估计产生失真|SAD_est ¹-SAD_opt ¹|，且第二隐藏估计产生失真|SAD_est ²-SAD_opt ²|，等等。此外，基于在四个隐藏估计的每一者中所使用的预测区域的区(a′、a″、a′″和a″″)而求累计失真的加权平均值。隐藏估计可基于不同类型的隐藏方法，例如空间隐藏、双向隐藏等。举例来说，隐藏算法有时可在时间上隐藏，且有时在空间上隐藏，视确定性/概率性标准而定。执行失真值计算且基于所述失真值而确定使用哪一编码方法的编码器装置可模拟在解码器中使用的相同或类似隐藏方法，以便在解码器接收到出错的数据时改进错误恢复和/或错误隐藏性能。

应注意，可基于其它预测区域不可用的概率而考虑其它隐藏估计并将其包含在等式(4)中。可对帧中的每一MB使用等式(4)以形成如图5所说明的失真映射。因此，使用等式(4)计算的失真值包括通过选择多个隐藏选项而引起的失真的加权总和，其中权数是每一隐藏选项被选择的概率。

图4B是更详细地说明在(例如)图1所说明的系统中对视频流的一部分进行编码的方法的实例的流程图。方法420包含如上文参看图4A所论述的框402和404，图4A在框402处包含当估计失真值时可考虑的各种隐藏方法，且在框404处包含确定编码方法的各种方法。

在框402处，可使用与在上文中参考等式(4)所论述的算法类似的算法来估计失真值。所使用的具体失真值等式取决于正被表示的隐藏方法的类型。正被表示的隐藏方法可包含空间隐藏方法，其中使用位于同一帧中的预测部分来隐藏错误地接收到的部分。在帧内的空间隐藏的情况下，使用当前帧中的MB的累计失真值代替来自先前帧的失真值。时间隐藏方法可包含如上文所论述且由等式(4)表示的单向预测，且还可包含双向预测，在双向预测中还可考虑随后帧的可用性。

时间隐藏方法的一个实例是运动向量缩放。运动向量缩放是一种从其它帧内插和/或外插运动向量以得到当前帧中出错多媒体数据的一部分的运动向量的方法。时间隐藏方法的另一实例是帧速率转换。帧速率转换可类似于运动向量缩放，但涉及整个帧(通常基于两个周围帧)的构造。时间错误隐藏方法的其它实例可基于光流方法。可由框402处所估计的失真值表示的其它形式的隐藏包含空间和频域内插、最大平滑恢复和投影到凸集中。所属领域的技术人员将了解在方法400的框402处估计失真值时可表示的其它形式的错误隐藏。

如上文所论述，编码器装置(在框404处)基于框402处所估计的失真值而确定编码方法。在一些实施例中，将所估计的失真值与阈值进行比较，且基于所述比较而确定所述编码方法。对于多媒体数据的所有部分，所述阈值可以是单个值。然而，阈值也可根据方法(例如方法420的框404中所列出的那些方法)而变化。将相对于基于超过阈值而确定编码方法来论述这些方法，其中阈值被超过时所选择的编码方法通常将用于刷新所述部分(或至少减小所述部分的所估计的失真值)。然而，应注意，还可基于失真值小于阈值来确定编码方法。

在一些实例中，所述阈值依据正被编码的多媒体部分所位于的区的纹理而变化。纹理变化很大的区(例如，像素之间具有较大变化)不可能与纹理变化较小的区展示一样多的错误，且因此可被提供有较高的阈值，超过所述阈值，可确定编码方法以刷新所述部分(例如，使用帧内编码)。然而，纹理变化较平滑或较轻微的区可能展示较多的错误，且因此可被指配有较低的阈值。

在一些实例中，阈值可依据帧内正被编码的部分的位置或定位而变化。举例来说，边缘上的部分可被指配有比中间部分更高的阈值。以此方式，与观看者可能不经常观看的边缘上的区相比，观看者更频繁看的区(例如，帧的中央)可更频繁地刷新。

在一些实例中，阈值可随GOP(图片组)内正被编码的当前帧或多个帧的超帧的位置而变。GOP通常开始于经帧内编码的帧或大体上包含帧内正被帧内编码至少一次(被称为自适应内刷新或AIR)的所有MB的一组帧，且其中GOP(或超帧)中的其它帧并不参考GOP之外的帧。为了确保MB在GOP开始处被帧内编码的机会较高，靠近GOP开头的帧中的阈值与靠近GOP结尾的MB相比可具有较低的阈值。

在一些实例中，阈值可随帧内(例如)失真映射中的失真值的分布而变。举例来说，可自适应地设置阈值，以确保MB在帧内的百分比基于失真值的分布被帧内编码。这可用来限制经帧内编码的MB的数目，以限制传输所必需的数据速率。虽然对于一些帧来说质量可能降级(由于失真值的高分布的缘故)，但数据速率可保持在所需等级。

在一些实例中，阈值可随帧中含有正被编码的部分的区中的运动活动性而变。在视频的表征为较高运动活动性的区中出现的错误趋向于比在表征为较小运动的区中出现的错误不易觉察。与在经历较低运动活动性的区中相比，可在经历较高运动活动性的区中将阈值设置为较高的值。可以多种方式来测量运动活动性。举例来说，可将运动向量幅值用作运动活动性指示符，其中较高幅值的运动向量指示较高的运动活动性。运动向量方向的变化也可用作运动活动性指示符。如果区中的大部分运动向量大体上指向同一方向，那么这可指示低运动活动性。如果区的相邻区块中的运动向量指向不同的方向，那么这可指示高运动活动性。可使用其它运动补偿技术(例如光流)来获得类似的运动活动性测量。

在一些实例中，阈值可随视频的正被编码的部分的编码模式而变。举例来说，视频的一些部分通常不用作视频的其它预测部分的参考。举例来说，在许多系统中，不使用B帧作为参考帧。因此，可允许这种类型的系统中的B帧的失真值较高，因为没有其它视频将参考B帧。由于没有其它视频将参考B帧，所以错误将只持续一个帧持续时间(例如，在每秒30个帧的视频序列中的第1/30秒)。因此，与对于视频的可由其它预测部分参考的部分相比，对于视频的不被参考的部分，阈值可能较高。

在基于框402处所估计的失真值而确定编码方法(在框404处)之后，过程420在框406处继续，在框406处，用所确定的编码方法来对多媒体数据的正被编码的部分进行编码。框406处的编码方法可包含具有或不具有相邻像素的空间预测的帧内编码。可选择无相邻像素的空间预测的帧内编码，以减小框402处所计算出的失真值。框406处的编码方法可包含使用运动补偿预测的单向或双向预测。可优先选择不同形式的运动补偿预测以减小框402处所估计的失真值。运动补偿预测可包含区块匹配，光流和如上文所论述的计算运动向量的其它方法。应注意，方法420的框中的一些框可被组合、省略、重新布置或其任一组合。

图7是说明可在(例如)图1中所说明的系统中使用的编码器装置110的实例的功能性框图。本方面包含：用于至少部分地基于与隐藏多媒体数据的第一部分(如果第一部分被错误地接收到)有关的一种或一种以上隐藏方法来估计所述第一部分的失真值的装置；以及用于至少部分地基于所估计的失真值来确定所述第一部分的编码方法的装置。本方面的一些实例包含：所述估计装置包括失真值估计器702的情况；以及所述确定装置包括编码方法确定器704的情况。

图8是说明可在(例如)图1中所说明的系统中使用的编码器装置110的实例的功能性框图。本方面包含：用于至少部分地基于与隐藏多媒体数据的第一部分(如果第一部分被错误地接收到)有关的一种或一种以上隐藏方法来估计所述第一部分的失真值的装置；以及用于至少部分地基于所估计的失真值来确定所述第一部分的编码方法的装置。在本方面的一些实例中，所述估计装置包括用于估计失真值的模块802，且确定装置包括用于确定编码方法的模块804。

对应用于易于出错环境中的视频传输的错误恢复策略和算法进行论述。这些概念应用于现有或未来应用程序、传送层和物理层或其它技术中的任何个别一者或组合。基础方面通过结合通信系统所需的特性(例如低等待时间和高通过量)而整合对OSI层中的错误易感性特性和错误保护能力的理解来具有有效抗错误算法。主要优势之一是从衰落和多路径信道错误的可恢复性。尽管描述了视频通信系统的实例，但所描述的错误恢复方面可扩展到易于出错的环境中的数据通信。

图9说明根据某些实施例的无线通信系统900。此示范性视频通信系统通常包含由通过通信网路930连接的视频编码器910和视频解码器920组成的视频压缩系统(未图示)。网络930可进一步包含RF调制器940、网络信道950和RF解调器960。无线网络是一类易于出错的网络，其中除一般路径损失之外，信道还可在移动情形下展示对数-正态衰落或遮蔽以及多路径衰落。为了防止信道错误并提供应用层数据的可靠通信，RF调制器940可包含前向错误校正(FEC)，其可包含交错和信道编码，例如回旋编码或涡轮编码。

一般来说，视频压缩可减少源视频中的冗余，且增加经编码的视频数据的每一位中所承载的信息量。当即使经编码的视频的较小部分丢失时，这也可能增加对质量的影响。视频压缩系统中固有的空间和时间预测可能加重损失，且可能导致错误传播，从而导致重构视频中的可见假象。视频编码器处的错误恢复算法和视频解码器处的错误恢复算法可增强视频压缩系统的抗错误性。

一般来说，视频压缩系统对于下面的网络来说是不可知的。然而，在易于出错的网络中，应用层中的错误保护算法与在链路/物理层中的FEC和信道编码整合或对准是高度合乎需要的，且可促进增强整个系统的错误性能的效率。媒体FLO^TM是无线视频通信系统的一个实例，其中此类型的整合或对准是可能的。

因此，可(例如)使用媒体FLO^TM视频编码来实施本发明的某些实施例，以使用FLO空中接口规范来传递TM3系统中的实时视频服务，所述FLO空中接口规范是“陆地移动多媒体多播的仅前向链路(FLO)空中接口规范(Forward Link Only[FLO]Air InterfaceSpecification for Terrestrial Mobile Multimedia Multicast)”，2006年8月作为技术标准TIA-1099(Technical Standard TIA-1099)而出版，其全文出于所有目的以引用的方式并入本文中。下文所描述的方面、实施例和/或实例与算法和其之间的互通有关以提供FLO网络中增强的错误性能。然而，这些方面、实施例和/或实例意在通用于所有易于出错的网络。

如本文所使用，片段是可独立解码(例如，使用熵解码)的经编码视频数据块。FLO环境中的片段可与FLO帧边界对准。如本文所使用，存取单元(AU)是经编码的视频FLO帧。FLO帧是提供相对较高的时间分集的物理层分组(例如，被称为时分多路复用囊(TDM capsule))TDM区块。FLO超帧可对应于一个时间单位(例如，1秒)，且因此含有许多个FLO帧(例如，每1秒FLO超帧4个FLO帧)。这些定义中的每一者对于其它易于出错的网络类型且甚至在未来FLO网络配置内可且将可能发生改变(例如，FLO超帧可能并入有固定数目的FLO帧，而不考虑持续时间)。

在当前FLO环境内，例如，在时域中使片段和AU边界与FLO帧边界对准可能导致被破坏的数据的最有效的分离和定位。举例来说，在深度衰落期间，TDM囊中的大部分邻近衰落数据通常受错误影响。但由于时间分集，其余TDM囊具有较高的保持完整的概率。因此，可利用未被破坏的数据来恢复并隐藏来自受影响的TDM囊的丢失数据。

类似逻辑应用于频域多路复用(FDM)，其中通过数据符号调制的频率子载波的分离来获得频率分集。类似逻辑还可应用于空间分集(例如，通过发射器和接收器天线中的分离)，以及通常在无线网络(和其它易于出错的网络)中应用的其它形式的分集。

为了使片段和AU与FLO帧对准，外码(FEC)码区块形成与MAC层包封也应对准。图10展示片段和AU中的经编码的视频数据或视频位流的组织。经编码的视频可在一个或一个以上位流中组成(例如，基础层位流和/或增强层位流)，其中此实例中应用分层视频编码。图11展示片段和AU中的视频位流的组织及其与FLO帧的映射，其中(a)展示片段边界与FLO帧的对准，且(b)展示AU边界(F1、F2...)与FLO帧和片段的对准(例如，其中AU与物理层分组对准)。

根据某些实施例，视频位流包含AU，且AU包含数据片段。每一片段开始由起始码识别，且提供网络自适应。一般来说，I帧或经帧内编码的AU较大，之后是P帧，或前向预测的帧，之后是B帧，或双向预测的帧。将AU编码成多个片段可能引起经编码位速率方面的开销成本，因为片段上的空间预测局限于其它帧的类似定位的片段，且多个片段标头也造成开销。由于片段边界通常是再同步点，因此使邻近物理层分组(PLP)限于片段可有助于控制错误，因为当PLP被破坏时，错误被限于PLP中的片段，而如果PLP含有多个片段或多个片段的部分，那么错误将影响PLP中所有片段或片段的部分。

由于I帧通常比P或B帧大，通常约为数十个千位，所以由于多个片段而导致的开销并不占总I帧大小或总位速率的较大比例。而且，在I-AU中具有更多的片段允许更好且更频繁的再同步，以及更有效的空间错误隐藏。而且，I帧通常承载视频位流中最重要的信息，因为P帧和B帧最终是从I帧预测出的。I帧还可用作信道获取的随机存取点。

因此，在某些实施例中，仔细对准I帧与FLO帧边界，以及具有I-AU的片段与FLO帧边界，可通过(或实例)再同步和错误隐藏来实现有效的错误控制、错误保护(由于如果属于FLO帧1的一个片段丢失，那么属于FLO帧2的片段为完整的概率较高，因为FLO帧2与FLO帧1具有显著的时间分离)和错误恢复。

在P帧的情况下，其通常约为几个千位，由于与上文针对I帧所论述的原因类似的原因，使P帧片段和整数个P帧与FLO帧边界对准是合乎需要的。此处，通常使用时间错误隐藏。或者，使连续的P帧分散使得其到达不同的FLO帧也可在P帧中提供时间分集，因为时间隐藏是基于运动向量和来自先前重构的I帧和/或P帧的数据的。

在B帧的情况下，其可极其小(例如，数百甚至数十个位)到适度大(例如，超过几个千位)，由于与上文针对P帧所论述的原因类似的原因，使整数个B帧与FLO帧边界对准是合乎需要的。

在某些实施例中，经编码的视频位流中的错误恢复可并入有预测层级和持久性特性。考虑以下基于预测的混合压缩系统。在无需任何时间预测的情况下，独立编码内部帧。然而，在片段内，空间预测是可能的(即，空间预测通常被限于片段边界上)。中间帧是从过去且有些时候未来(在B帧的情况下)的时间预测。

在此系统中，最佳预测因子可通过参考帧(或一个以上参考帧)中的搜索过程来识别，且例如SAD(即，待编码的区块的像素与预测因子区块的像素之间的绝对差的和)的失真测量值可用于识别最佳匹配。当然，可使用其它失真测量值，且所述其它失真测量值应该并入本申请案的范围内。

当前帧的经预测性编码的区域可以是大小与形状不定的像素区块(例如，16×16、32×32、8×4、2×2等)或通过(例如)分段而被识别为对象的一组像素。时间预测通常在许多帧(例如，10个到100个帧)上延伸，且在帧被编码为I帧时终止。在此实例中，I帧频率界定图像组(GOP)。对于最大编码效率，GOP为场景(即，GOP边界与场景边界对准，且场景变化帧被编码为I帧)。

在低运动序列中，其中背景相对静止且运动限于前景对象(例如，新闻节目、天气预报等，其中超过约30％的观看最多的内容具有此性质)，经预测帧的大部分经预测区域(即，经帧间编码)通过中间经预测帧(即，其它P帧)返回参考I帧。图12中展示此预测层级1200。

如图12所示，I帧1210可包含经帧内编码的区块1215，经预测帧1220的多个经帧间编码的区块1225可最终基于所述经帧内编码的区块1215。I帧1210中的经帧内编码的区块1215是经预测性编码的帧(或AU)P1-Px 1220中的经帧间编码的区块1225的预测因子。在此实例中，这些区块的区域是背景的固定部分。因此，通过连续的时间预测，经帧内编码的区块1215对错误的敏感性变高，因为区块1215是还暗示其“重要性”较高的良好预测因子。此外，经帧内编码的区块1215，依靠被称为其预测链的此时间预测链，在显示器中持续较长时间(即，潜在地持续整个场景的持续时间)。

在某些实施例中，预测层级被定义为基于此“重要性”等级或持久性测量值而形成的区块树(tree of blocks)，其中父项(parent)在顶部(例如，图12中的区块1215)，且子项(children)在底部。注意，帧P1中的经帧间编码的区块在所述层级的第二级上，等等。树叶是终止预测链的那些区块(例如，图12中的帧Px)。

在某些实施例中，可针对视频序列创建预测层级而不考虑内容类型(例如，例如音乐以及体育，且不仅仅是新闻)，且一般可适用于基于预测的视频(和音讯以及数据等)压缩(即，这可应用于在本申请案中所描述的所有方面)。

一旦建立了预测层级，就可更有效地应用错误恢复算法，例如自适应帧内刷新(AIR)。

根据一方面，算法可基于区块被用作预测因子的次数来估计重要性测量值，其可被称为持久性度量。此持久性度量还可用于通过阻止预测错误传播来改进编码效率。对于重要性更高的区块，所述度量还可增加位分配。

通常，视频编解码器的目标是以给定的带宽实现尽可能高的质量。通常用峰值信噪比(PSNR)来估计质量。由于每一帧的每一宏区块的编码模式(例如，所有可能的帧内和帧间方案)和量化参数(QP)影响质量以及带宽，因此全局优化方案涉及所有这些宏区块的模式和QP的联合决策。然而，在给定当前实际处理能力的情况下，进行此全局优化在数学上是难以处理的。而是，对于基于经重组的先前编码帧的当前帧，实际编码方案试图实现良好的速率失真(R-D)决策。因此，根据某些实施例，联合优化问题被缩减为因果优化问题。

在参考帧中，一些宏区块比预测链中的其它宏区块更重要。举例来说，前景对象可在一些未来帧中(即，仍在多个参考帧的范围内)复制其本身。如果此对象被准确地表示，那么所有其复制品可简单地被编码为运动向量，因此节省位。相反，消失的对象或被覆盖的背景将不再被未来帧参考，因此其质量将不影响未来帧。

在某些实施例中，本文描述确定预测链且更强调频繁参考宏区块的重要性的两遍算法。MB的带宽映射值可被定义为所述映射的经估计的复杂性，其接着被用于确定要在速率控制期间分配的位的数目和比例以获得就R-D而言的最优质量。此过程可被说明为(见图13)：

1.第一遍。初始化像素级参考计数器(1310)，R(i，j)＝0，其中0≤i＜W，0≤j＜H，W是帧的宽度，且H是帧的高度。

2.执行对参考当前帧的下一帧的16×16运动估计(1320)。每当参考当前帧中位置(i，j)处的像素时，就使R(i，j)递增一。

3.第二遍。重新调整当前帧的宏区块带宽映射(1330)。对于位于(x，y)的宏区块，使其带宽映射值按比例放大C+∑_i＝x ^x+15∑_j＝y ^y+15R(i，j)，其中C是由实验确定的常数。递增带宽映射值导致更多的位被分配给作为良好预测因子的宏区块(即，从这些宏区块预测出未来帧中更多的未来MB)。

4.利用经更新的宏区块带宽映射来对当前帧进行编码(1340)。

应注意，通过强调经常被参考的宏区块，所述算法使位流更抗信道错误。PSNR中的任何增益都是由于早期中止预测链阻止预测错误传播(由于残余编码)而导致的。此外，如果良好的预测因子受错误影响，那么趁早通过帧内编码来刷新良好的预测因子，从而防止错误传播。

根据某些实施例，信道切换帧(CSF)被定义为插入于广播流中的各种(例如，适当)位置处以促进较快的信道获取和因此广播多路复用中流之间的较快的信道改变的随机存取帧。关于一个CSF的示范性详细说明可在2006年9月25日申请的第11/527,306号和2006年9月26日申请的第11/528,303号共同转让美国专利申请案中找到，所述两个专利申请案的全文出于所有目的以引用的方式并入本文中。I帧或渐近式I帧，例如H.264中的渐近式解码器刷新帧，通常用作信道切换的随机存取点。然而，频繁的I帧(例如，短GOP，至少比场景持续时间短)可导致压缩效率的显著降低。

由于错误恢复可能需要帧内编码区块，所以随机存取和错误恢复可通过预测层级而有效地组合，以改进编码效率，同时增加对错误的抵抗性。可至少部分地基于以下观察结果而实现此组合：

A.对于低运动序列，预测链较长，且重构超帧或场景所需的信息的重要部分包含在场景开始时所出现的I帧中。

B.信道错误趋向于突发，且当衰落发生，且FEC和信道编码失败时，存在较重的残余错误，使得隐藏失败。

C.这对于低运动(且因此低位速率)序列尤其严重，因为经编码的数据的量显著不足以提供视频位流内良好的时间分集，且因为这些序列是使每个位都变得对于重构来说更加重要的可高度压缩的序列。

D.由于内容的性质，高运动序列更抗错误，每个帧中的更加新的信息增加经编码的内部区块的数目，所述区块可被独立地解码且固有地对错误更有恢复力。

E.基于预测层级的自适应帧内刷新(AIR)对于高运动序列实现高性能，且性能改进对于低运动序列并不显著。

F.因此，对于低运动序列，含有大部分I帧的信道切换帧是良好的分集源。当超帧发生错误时，连续帧中的解码从CSF开始，CSF恢复由于预测而丢失的信息。因此实现错误恢复。

G.在高运动序列的情况下，CSF由在超帧中持续的区块(即作为良好预测因子的那些区块)组成。CSF的所有其它区域无须被编码，因为这些区域是具有较短的预测链的区块，其暗示这些区域以内部区块终止。因此当发生错误时，CSF仍用于从由于预测而丢失的信息进行恢复。

H.基于上文的(f)和(g)：

H.1.低运动序列的CSF符合I帧的大小，它们可通过较重的量化以较低的位速率被编码，以及

H.2.高运动序列的CSF比相应的I帧小得多。

I.支持物理层技术中层级调制的可缩放性要求以特定带宽比率对视频位流进行数据分割。这些比率并非总是最优可缩放性的理想比率(最小开销)。

J.只是举例来说，FLO需要1∶1带宽比率的2层可缩放性。因此，对于低运动(位速率)序列，将视频位流分割为大小相等的2层是低效的。含有所有标头和元数据信息的基础层大于增强层。然而，由于用于低运动序列的CSF较大，因此它们很好地适合增强层中的其余带宽。因此，基于预测层级的错误恢复与可缩放性合作良好，且实现高度有效的分层编码。

K.对于高运动序列，存在足够的残余信息，使得可以最小开销实现1∶1的数据分割。此外，用于此些序列的CSF可小得多。因此，对于此情况，基于预测层级的错误恢复也可与可缩放性合作良好。

L.基于对这些算法的描述，延伸(a)到(k)中所论述的概念以用于中等运动码片是可能的，这使得容易看出所提出的概念一般应用于视频编码。

上述系统只是说明多媒体串流系统的实例，其中对于系统的输入是连续(仍为离散时间事件，但永不结束)的数据流，且对于系统的输出是连续的数据流。

所属领域的技术人员将了解，可使用多种不同技术和技法中的任一者来表示信息和信号。举例来说，可由电压、电流、电磁波、磁场或粒子、光场或粒子或其任一组合来表示整个以上描述内容中可能参考的数据、指令、命令、信息、信号、位、符号和码片。

技术人员将进一步了解，结合本文所揭示的实例而描述的各种说明性逻辑区块、模块、和算法步骤可实施为电子硬件、固件、计算机软件、中间件、微码或其组合。为了清楚地说明硬件与软件的这种可互换性，上文已经大体上根据各种说明性组件、区块、模块、电路和步骤的功能性描述了各种说明性组件、区块、模块、电路和步骤。将此功能性实施为硬件还是软件取决于特定应用和强加于整个系统的设计限制。熟练的技术人员可针对每一特定应用以不同的方式来实施所描述的功能性，但此些实施决策不应被解释为导致与所揭示方法的范围偏离。

可用以下装置来实施或执行结合本文所揭示的实例而描述的各种说明性逻辑区块、组件、模块和电路：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文所述的功能的任一组合。通用处理器可以是微处理器，但在替代方案中，处理器可以是任一常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心或ASIC核心的一个或一个以上微处理器或任何其它此配置。

结合本文所揭示的实例而描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中或在所述两者的组合中实施。软件模块可驻存在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除盘、CD-ROM、光学存储媒体或此项技术中已知的任何其它形式的存储媒体中。示范性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息和向存储媒体写入信息。在替代方案中，存储媒体可与处理器成一体式。处理器和存储媒体可驻存在专用集成电路(ASIC)中。ASIC可驻存在无线终端中。在替代方案中，处理器和存储媒体可作为离散组件驻存在无线调制解调器中。

提供对所揭示实例的先前描述是为了使所属领域的技术人员能够制作或使用所揭示的方法和设备。对这些实例的各种修改对所属领域的技术人员来说将是显而易见的，且本文所定义的原理可应用于其它实例，且可添加额外元件。

因此，已经描述了用以对多媒体数据执行高效编码，从而提供有效解码质量和错误隐藏的方法和设备。

Claims (14)

1.一种处理包含多个视频帧的多媒体数据的方法，所述方法包括：

初始化用于当前帧的像素级参考计数器；

执行对参考所述当前帧的下一帧的预测；

对于在对所述下一帧的所述预测期间所参考的所述当前帧的每一像素，递增所述像素级参考计数器；以及

至少部分地基于所述经递增的像素级参考计数器而重新调整所述当前帧的宏区块带宽映射。

2.根据权利要求1所述的方法，其中所述像素级参考计数器指出所述当前帧的宽度和高度。

3.根据权利要求2所述的方法，其中所述像素级参考计数器的初始化值由第一式R(i，j)＝0提供，其中0≤i＜W，0≤j＜H，W是所述当前帧的所述宽度，且H是所述当前帧的所述高度。

4.根据权利要求3所述的方法，其中对所述下一帧的所述预测包含：执行对所述下一帧的区块的运动估计。

5.根据权利要求1所述的方法，其中，对于位于(x，y)的16x16宏区块，重新调整所述当前帧的所述宏区块带宽映射包含根据第二式

来缩放所述宏区块带宽映射的带宽映射值，其中C是通过实验确定的常数，且R(i，j)是位于(x，y)的16x16宏区块的像素级参考计数器。

6.根据权利要求1所述的方法，其进一步包含对于参考所述当前帧的多个下一帧中的每一下一帧，重复所述初始化、执行和重新调整步骤。

7.根据权利要求6所述的方法，其进一步包含至少部分地基于所述当前帧的所述经重新调整的宏区块带宽映射而对所述当前帧进行编码。

8.一种用于处理包含多个视频帧的多媒体数据的设备，所述设备包括：

用于初始化用于当前帧的像素级参考计数器的装置；

用于执行对参考所述当前帧的下一帧的预测的装置；

用于对于在对所述下一帧的所述预测期间所参考的所述当前帧的每一像素递增所述像素级参考计数器的装置；以及

用于至少部分地基于所述经递增的像素级参考计数器而重新调整所述当前帧的宏区块带宽映射的装置。

9.根据权利要求8所述的设备，其中所述像素级参考计数器指出所述当前帧的宽度和高度。

10.根据权利要求9所述的设备，其中所述像素级参考计数器的初始化值由第一式R(i，j)＝0提供，其中0≤i＜W，0≤j＜H，W是所述当前帧的所述宽度，且H是所述当前帧的所述高度。

11.根据权利要求10所述的设备，其中所述用于预测所述下一帧的装置包含：用于执行对所述下一帧的区块的运动估计的装置。

12.根据权利要求8所述的设备，其中，对于位于(x，y)的16x16宏区块，所述用于重新调整所述当前帧的所述宏区块带宽映射的装置包含：用于根据第二式

来缩放所述宏区块带宽映射的带宽映射值的装置，其中C是通过实验确定的常数，且R(i，j)是用于所述位于(x，y)的16x16宏区块的所述像素级参考计数器。

13.根据权利要求8所述的设备，其进一步包含用于对于参考所述当前帧的多个下一帧中的每一下一帧重复所述用于初始化、执行和重新调整的装置的装置。

14.根据权利要求13所述的设备，其进一步包含用于至少部分地基于所述当前帧的所述经重新调整的宏区块带宽映射而对所述当前帧进行编码的装置。

Images