CN101641957A - 针对数字视频执行错误隐匿的方法 - Google Patents

Abstract

使用错误隐匿来隐藏在数字视频信息内检测到的错误的效应。本发明揭示一种复合错误隐匿模式决策，其用以确定应使用空间错误隐匿(SEC)还是时间错误隐匿(TEC)。错误隐匿模式决策系统依据遭损坏帧是帧内帧还是帧间帧而使用不同的方法。如果视频帧为帧内帧，那么使用相似性度量来确定所述帧内帧是否表示场景改变。如果所述视频帧为帧内帧，那么使用复合多项等式来确定应使用SEC还是TEC。本发明揭示一种新颖的空间错误隐匿技术，其用于在所述错误隐匿模式决策确定应使用空间错误隐匿来重构时使用。所述新颖的空间错误隐匿技术将破坏的宏块分成四个不同的区：角区、邻近于所述角区的行、邻近于所述角区的列以及残余主区。接着以所述次序重构那些区，且可在稍后重构的区中使用来自较早重构的区的信息。最后，本发明揭示一种宏块刷新技术，其用于防止错误传播损害未破坏的帧间块。具体地说，如果已存在显著的错误引起的可能导致帧间块传播错误的损坏，那么可使用空间错误隐匿来“刷新”帧间宏块。

Description

针对数字视频执行错误隐匿的方法

技术领域

本发明涉及数字视频解码和显示的领域。明确地说，本发明揭示用于隐匿数字视频中由遭损坏或丢失的数字视频信息引起的错误的技术。

背景技术

近年来已存在由于许多新的数字无线通信协议的迅速进步和采用而引起的无线电子设备变革。举例来说，码分多址(CDMA)和全球移动通信系统(GSM)已大大增加了数字蜂窝式电话的普及性，Wi-Fi局域网(LAN)协议(例如802.11b、802.11g、802.11a等)已彻底变革了无线计算机网络，且蓝牙已为许多不同的数字装置提供了非常有用的短程无线数字协议。

尽管这些新的数字无线协议被设计成抵抗错误的，但数字无线通信总是经受由于无线信号上的各种物理效应而引起的信息丢失。举例来说，无线电干扰、由多路径反射引起的错误、无线电信号屏蔽、范围限制以及其它问题可能使所传输的无线信号降级，使得信息变为丢失。

使用数字无线协议的非实时通信应用可通过简单地请求重传丢失的信息来轻易地处置由于这些原因中的任一者而引起的信息丢失。然而，实时通信应用需要足够稳固以处置越过数字无线信道而传输的信息的偶然丢失或破坏。

一种特定的实时通信应用是越过无线数字通信信道而传输的数字视频信息的接收和即时显示。当一些信息在数字视频的传输期间丢失时，由于重传带来对于例如视频电话和视频流式传输等实时应用来说不合适的显著延迟，因此没有足够的时间来请求和接收丢失信息的重传。因此，当数字视频信息丢失时，数字视频接收器必须尝试使用所接收到的不完整的数字视频信息来显示一个或一个以上视频帧。

已开发了用于尽管丢失一些数字视频信息但还是尽可能最佳地解码并显示数字视频帧的若干不同技术。由于经开发以用于以可能的最佳方式显示不完整数字视频信息的这些技术尝试隐匿由错误引起的精确视频信息的缺少，因此这些技术通常被称为错误隐匿(EC)技术。

数字视频错误隐匿(EC)的现存技术主要属于以下两个类别：时间错误隐匿(TEC)和空间错误隐匿(SEC)。时间错误隐匿(TEC)利用附近(在时间维度上)视频帧之间的时间相关性。TEC通过用来自先前经重构视频帧的经处理宏块(MB)替换破坏宏块来隐匿错误。另一方面，空间错误隐匿(SEC)利用单个视频帧内的空间相关性。空间错误隐匿通过从相邻像素(或变换系数)预测错误像素来隐匿错误。

块替换错误隐匿(BREC)是最简单且最直接的类型的时间错误隐匿(TEC)。块替换错误隐匿通过用来自先前经重构视频帧的共同定位的宏块替换错误宏块来隐匿错误。时间错误隐匿的这种简单途径为待隐匿的错误宏块假定零运动向量。可通过利用更精确的运动向量而非零运动向量来改进性能。运动向量处理(MVP)是这样的实例。

一种非常简单的空间错误隐匿(SEC)实施方案可仅用来自最近的可用像素的信息来替换错误像素。可通过利用内插和空间预测来实现改进。可在像素域中或在频域中执行空间错误隐匿(SEC)。

为了在通信流中出现错误时向用户提供最佳外观的视频，数字视频接收器应选择最优错误隐匿系统。因此，创造谨慎地选择最佳错误隐匿系统且接着以根据不完整数字视频信息显示可能的最佳视频图像的方式来实施错误隐匿系统的数字视频接收器将是合乎需要的。

发明内容

本发明引入用于在数字视频信息内检测到错误时执行错误隐匿的方法。为了执行非常高质量的数字视频错误隐匿，呈现许多种不同技术。

所揭示的第一技术是确定应使用空间错误隐匿(SEC)还是时间错误隐匿(TEC)的非常复杂的方法。主要技术是确定是否已发生场景改变，且当场景改变已发生时，那么将使用空间错误隐匿(除非错误太多而不可执行空间错误隐匿)。错误隐匿模式决策系统依据被损坏的帧是帧内帧还是帧间帧而使用不同的方法。如果视频帧是帧内帧，那么使用相似性度量来确定帧内帧是否表示场景改变。如果视频帧是帧内帧，那么使用复合多项等式来确定应使用SEC还是TEC。

揭示一种新颖的空间错误隐匿技术以供错误隐匿模式决策确定应将空间错误隐匿用于重构时使用。新颖的空间错误隐匿技术将破坏宏块分成四个不同的区：角区、邻近于角区的行，邻近于角区的列，以及残余主区。首先使用邻近宏块来重构角区。接下来通过使用邻近宏块或除邻近宏块之外的经重构的角区来重构列区和行区。最后，使用邻近宏块、列区、行区和角区来内插残余区。

最后，揭示一种宏块刷新技术，用于防止错误传播损害未破坏的帧间块。具体地说，如果已存在显著错误引起的可能导致帧间块传播错误的损坏，那么可使用空间错误隐匿来“刷新”帧间宏块。为了确定帧间宏块应何时刷新，执行损坏计算。损坏计算考虑破坏宏块的数目，运动的量，是否已发生场景改变以及未破坏的帧内宏块的数目。

将从附图且从以下详细描述内容中明白本发明的其它目标、特征和优点。

附图说明

鉴于以下详细描述内容，所属领域的技术人员将明白本发明的目标、特征和优点，其中：

图1说明在数字视频接收器/解码器中作出基于场景改变的错误隐匿模式决策的大体流程。

图2说明数字视频帧宏块映射的实例，其中阴影区域表示在已检测到错误之后的被破坏的宏块。

图3说明数字视频帧宏块映射的实例，其中阴影区域表示在整个片段被认为破坏时的被破坏的宏块。

图4说明图1的流程图的经修订版本，其中使用经改进的基于场景改变的错误隐匿系统。

图5以图解方式说明分段成在经改进的空间错误隐匿方法中个别处置的不同区域的宏块。

图6A说明三个与宏块中的区域F最接近的相邻像素α、β和γ。

图6B说明用于中值自适应预测器的像素映射。

图7说明经改进的空间错误隐匿方法中所使用的相邻宏块的底部最右像素。

图8A、图8B和图8C说明经改进的空间错误隐匿方法如何在破坏宏块中重构底部像素行。

图9A和图9B说明经改进的空间错误隐匿方法如何在破坏宏块中重构中心像素区域。

具体实施方式

揭示选择和实施用于数字视频的错误隐匿系统的方法。在以下描述内容中，出于阐释的目的，陈述特定命名法来提供对本发明的全面理解。然而，所属领域的技术人员将明白，不需要这些特定细节来实践本发明。此外，尽管主要参考MPEG数字视频编码协议来描述本发明，但相同的技术可轻易地应用于其它类型的数字视频编码协议。

错误隐匿模式选择概观

如在背景中所陈述，接收具有不完整数字视频信息的遭中断的数字视频流的数字视频接收器/解码器必须在无丢失信息的情况下尽其所能最佳地显示视频图像。由于重传带来对于例如视频电话和视频流式传输等实时应用来说不合适的显著延迟，因此数字视频接收器/解码器无法请求丢失信息的重传。因此，已开发了用于尽管数字视频信息中的一些数字视频信息丢失或破坏但还是尽可能最佳地显示数字视频信息的若干技术。用于以可能的最佳方式显示不完整数字视频信息的这些技术通常被称为错误隐匿(EC)技术。

存在用于重构并显示传输期间被损坏的数字视频帧的各种不同的错误隐匿技术。错误隐匿的两个主要类别是时间错误隐匿(TEC)和空间错误隐匿(SEC)。时间错误隐匿(TEC)利用附近(在时间维度上)数字视频帧之间的时间相关性。时间错误隐匿常通过用来自先前经重构的视频帧的经处理宏块替换被破坏的宏块(MB)来隐匿错误。空间错误隐匿(SEC)利用单个视频帧内的空间相关性。空间错误隐匿通过预测来自相邻像素(或变换系数)的错误像素来隐匿数字视频帧错误。

每一不同的错误隐匿技术具有其自己的优点和缺点。因此，是时间错误隐匿还是空间错误隐匿将提供最佳结果将取决于当前情况。使用时间错误隐匿(TEC)还是空间错误隐匿(SEC)的确定被称为错误隐匿(EC)模式决策。错误隐匿模式决策的最佳解决方案是选择使给定失真度量减到最小的错误隐匿方法。举例来说，

进行

其中D_SEC为经SEC隐匿的帧与参考帧之间的失真，且D_TEC为经TEC隐匿的帧与参考帧之间的失真。

然而，在实践中，因为参考通常是不可用的，失真所以测量是非常困难的。因此，必须使用其它方法来确定数字视频接收器/解码器应使用空间错误隐匿还是时间错误隐匿。

基于场景改变的错误隐匿模式

典型的视频序列由有效百分比的高度时间相关的视频帧和未与较早视频帧良好时间相关的周期性“场景改变”视频帧组成。因此，由于大多数视频帧是高度时间相关的，因此在大多情况下，时间错误隐匿系统将胜过空间错误隐匿系统。然而，对于其中视频帧含有不与较早数字视频帧良好相关的新场景的场景改变视频帧来说，由于视频帧之间的相似性较低，因此基于时间的错误隐匿系统通常提供不令人满意的结果。因此，对于场景改变发生时的错误隐匿来说，空间错误隐匿通常是较佳的选择。

图1说明在数字视频接收器/解码器中作出基于场景改变的错误隐匿模式决策的大体流程。在步骤110处，数字视频接收器/解码器检验用于视频帧的数字视频信息。如果在步骤115处未在数字视频信息中发现错误，那么数字视频接收器/解码器可如步骤150中所陈述在没有来自错误隐匿方法的任何帮助的情况下渲染视频帧。

如果在数字视频帧信息中发现错误，那么数字视频接收器/解码器接着在步骤120处分析数字视频帧信息以尝试确定遭损坏的视频帧是否表示场景改变帧。如果数字视频接收器/解码器在步骤125处确定已发生场景改变，那么如步骤160中所陈述，在空间错误隐匿技术的协助下重构视频帧。否则，当系统已确定未发生场景改变时，如步骤170中所陈述，在时间错误隐匿技术的帮助下重构遭损坏的视频帧。

图1中所揭示的错误隐匿系统的最困难方面之一是分析遭损坏的数字视频帧信息，以便如步骤120和125中所陈述而作出关于场景改变是否发生的决策。具体地说，数字视频接收器/解码器如何可精确地确定场景改变何时已发生。

一种实施场景改变错误隐匿模式决策的过分简单化的方法是基于正被解码的视频帧的类型而简单地选择错误隐匿技术。具体地说，非常简单的基于场景改变的错误隐匿模式决策方法可为所有帧内帧(I帧)选择空间错误隐匿(SEC)，且为所有非帧内帧(P帧和B帧)选择时间错误隐匿(TEC)。这种非常简单的途径是基于无论何时发生场景改变，数字视频编码器都对帧内帧进行编码的假定。

这种过分简单化的基于场景改变的错误隐匿模式决策方法的问题是其含有并非极其精确的假定。举例来说，并不是所有的场景改变都将用帧内帧来处置。此外，数字视频编码器通常有意在周期性基础上产生帧内帧，甚至在没有场景改变时也是如此。出于随机存取和错误恢复的目的，周期性地插入帧内帧。并非所有的场景改变都是用帧内帧标记且并非所有的帧内帧都是场景改变的事实使得这种极过分简单化的基于帧类型的场景改变错误隐匿模式决策方法是次最佳的。

略微较复杂且有效的场景改变检测方法通过分析用以表示数字视频帧的宏块的类型来检测场景改变。在此场景改变检测方法中，如果数字视频帧中的大量宏块经帧内译码，那么确定帧为“场景改变”帧。此错误隐匿模式决策的一种实施方案可用以下等式来表达：

进行

其中

N_intra，rcv＝所接收到的(一帧中)未破坏帧内宏块的数目

N_total，rcv＝所接收到的(一帧中)未破坏宏块的总数；且

THD＝阈值量。

注意，因为一些宏块由于包丢失或信道错误而缺失或破坏，所以N_total，rcv可能不是所述帧中的宏块的总数。

等式(1)的场景改变错误隐匿模式决策方法是对过分简单化的帧类型决策方法的改进。然而，等式(1)的错误隐匿模式决策方法仍然具有若干问题。等式(1)的错误隐匿模式决策方法的四个问题在下表中呈现。

表1-等式1的错误隐匿模式决策的问题

问题1.使用宏块类型作为对场景改变的唯一指示可能不够精确。宏块类型由数字视频编码器确定。由于每一不同数字视频编码器具有不同的设计，所以不可假定数字视频编码器将如预期那样起作用。举例来说，尽管运动补偿之后的残余错误是显著的，但数字视频编码器可将许多宏块译码为“帧间”。因此，甚至在场景改变已发生时，也可能已使用帧间块。

问题2.由于一些重要信息(包括含有宏块类型的标头)可能破坏或丢失，因此残余信息可能不足以作出可靠的决策。举例来说，如果帧中97％的宏块丢失，且残余的少数宏块全部经帧内译码，那么等式(1)的错误隐匿模式决策方法将断定所述帧表示场景改变，使得SEC被选择。然而，许多丢失宏块的宏块类型是未知的。大多数丢失宏块经帧间译码以使得TEC应已被使用是可能的。

问题3.当作出错误隐匿模式选择决策时，运动是应更加详细考虑的因素。与具有非常高的运动的帧相比，当隐匿破坏静态场景帧时，TEC具有较佳的性能。简单的场景改变检测并不考虑运动。

问题4.等式(1)中所指定的错误隐匿模式决策方法对帧内帧来说并不良好地起作用。具体地说，当帧内帧中的所有宏块都经帧内译码时，等式(1)的错误隐匿模式决策方法将总是为帧内帧选择SEC。由于不管场景改变是否已实际地发生都会周期性地插入帧内帧，因此即使TEC可能已提供了较佳结果也将使用SEC。

针对错误隐匿模式决策的经改进的场景改变检测器

为了在数字视频接收器/解码器中提供较佳结果，本发明引入可用于作出错误隐匿模式决策的复杂的场景改变检测系统。本发明的场景改变检测系统解决表1中所呈现的所有问题。

问题1：帧间帧具有较大残余错误

为了解决表1中的第一个问题，可将反映残余错误对帧间宏块的影响的因子添加到等式(1)中。以此方式，可将来自帧间帧编码的具有较大残余错误的帧确定为场景改变。在一个实施例中，等式(1)的错误隐匿模式决策方法被修改成为：

进行

其中

k₁＝用于第一项的加权因子(帧间宏块的百分比)

Q_p＝帧的平均量化参数

Bits＝破坏的视频帧中的位的数目；且

T＝阈值。

在等式(2)的经修订的错误隐匿模式决策方法中，所添加的Q_p*Bits添加在帧间宏块上的残余错误的因子中。此改变背后的理念是：由于宏块无法从较早参考帧找到良好匹配，因此场景改变帧中的帧间宏块的残余错误通常相当大。因此，将需要更多的位以便对残余错误进行编码。

在通信网路中，数字视频信息通常被分段成较小的包(或单元)且由所述较小的包(或单元)传输。由于CRC(或校验和)失效，数字视频包在传输期间可能丢失或被数字视频接收器/解码器丢弃。因此，数字视频接收器/解码器可能不能够得到破坏的数据，使得等式(2)中的“Bits”项(破坏帧中的位的数目)可能不为数字视频解码器所知。为了处置此情况，可将“Bits”项分成两个部分：接收器/解码器接收的位的数目(表示为Bits_recv)以及所丢失的位的数目(表示为Bits_lost)。通过此改变，等式(2)被修改成：

进行

数字视频解码器通常不被告知在传输期间丢失的位的总计数目。由于数字视频解码器不知道丢失数据的量，因此Bits_lost项应由较低层(例如，RTP)估计并提供。在一个实施例中，可使用以下等式来估计Bits_lost项：

Bits_lost＝P_lost×S_lost(4)

其中

P_lost＝丢失包的数目；且

S_lost＝那些丢失包的估计大小。

P_lost项可从包标头中的序号导出。可使用较早接收到的数字视频包的平均有效负载大小来估计S_lost项。将等式(4)代入等式(3)中使错误隐匿模式决策等式改变成：

进行

问题2：过量数据丢失

返回参看表1，如果大量数字视频信息破坏或以其它方式不可用，那么等式(1)的第二个问题是等式的不精确性。如果大量数字视频信息不可用，那么可通过向等式的左手侧添加使错误隐匿模式决策方法偏向时间错误隐匿的缩放“错误因子”来解决此第二个问题。下文呈现向等式(5)添加比例因子的一个实施方案：

进行

其中

N_corrupt＝视频帧中破坏(包括丢失)的宏块的数目；

N_total＝视频帧中的宏块的总数；且

S()＝偏置函数。

偏置函数S(.)应满足S(0)＝0且S(1)＝1。在一个实施例中，等式(6)中的S(.)函数是非线性偏置函数，以针对不同的破坏比率给出不同的缩放。因为场景改变帧的数目通常比非场景改变帧的数目少很多，所以模式决策经设计以随着破坏宏块的数目增加而具有支持时间错误校正(TEC)的偏置。此外，当数字视频帧中的大多数宏块被破坏时，空间错误校正(SEC)无法良好地执行。在极端情况下，N_corrupt＝N_total，等式(6)的左手侧等于0，且总是挑选时间错误校正(TEC)。

存在用以计算视频帧内的破坏宏块的数目的不同方式。所述方法将依据数字视频解码器是否从较低层接收错误在片段内的位置而不同。下文中陈述这两种情况中的每一种情况。

如果数字视频解码器被告知错误在视频帧中的位置，那么创建错误宏块映射，以便如果在宏块和直到先前起始码或重新同步标记的所有先前宏块上未发现错误，那么将所述宏块标记为“未破坏”。否则，如果在当前宏块或直到先前起始码或重新同步标记的任何较早宏块中发现错误，那么将所述宏块标记为“破坏”。在标记之后，宏块映射由错误区段组成，其中每一错误区段含有若干连续的破坏宏块。图2中展示含有错误区段的宏块错误映射的实例，其中阴影区域表示被破坏的宏块。注意，术语“片段”表示视频帧中可独立解码的数据结构。实例包括MPEG4视频译码方法中的“视频包”以及H.263和AVC视频译码方法中的“片段”。可从片段标头获得片段中的第一宏块数目。

如果较低层不向数字视频解码器提供错误位置信息，那么数字视频解码器可尝试自已检测错误。一般来说，此错误检测是不可靠的，且可能缺失正好第一个破坏宏块。为了防止由缺失破坏宏块引起的问题，使用“未破坏宏块”的保守定义。如果在宏块所驻存的片段中未检测到错误，那么在宏块错误映射中将所述宏块标记为“未破坏”。否则，如果在片段中检测到任何错误，那么将所述片段中的所有宏块标记为“破坏”。使用破坏宏块的此保守定义，在片段中检测到的任何错误都致使整个片段为无用的。图3说明中此保守错误宏块映射以及此情况下的错误片段的实例。

问题3：运动等级因子

返回参看表1，等式(1)的场景改变检测系统的第三个问题是等式(1)未能考虑大量运动。具体地说，当存在相当大量的运动时，时间错误校正的有用性变小。

为了解决此问题，可将“运动等级”参数添加到等式(6)的右端。此新添加的运动等级参数形成所添加的在场景中存在大量运动时反对使用时间错误校正的偏置。下文陈述运动等级参数被添加到等式(6)的错误隐匿决策模式等式的实施例：

进行

(7)

其中

MV_x(i，j)＝宏块(i，j)的水平运动向量；

MV_y(i，j)＝宏块(i，j)的垂直运动向量；且

k₂＝缩放常数。

注意，帧内宏块和丢失宏块的运动向量是不可用的。为缺失运动向量简单地假定零运动通常是不适当的。在一个实施例中，针对破坏的且经帧内译码的宏块使用“最新可用”运动向量。“最新可用”运动向量是从“运动向量映射”获得的，在“运动向量映射”中，针对每一传入的未破坏帧间宏块而更新运动信息。具体地说，运动向量(MV)映射由M×N个条目(M和N分别是每列和每行的块的数目)组成。每一条目含有一个块的最新运动向量MV_x(i，j)和MV_y(i，j)。运动向量映射可以零初始化，且针对所接收到的每个未破坏帧间块而更新。

问题4：帧内帧

表1中列出的第四个且最后一个问题是周期性地插入的帧内帧可能诱使等式(1)在实际未发生场景改变时声称场景改变已发生。具体地说，突然插入数字帧流中以用于随机存取和错误恢复的帧内帧可致使数字视频接收器/解码器相信已发生场景改变。为了解决此第四个问题，基于相似性而不是宏块类型信息的特殊场景改变决策方法经设计以仅供与I帧一起使用。将由于破坏而支持TEC的偏置成本添加到决策度量中。类似地，还添加支持针对运动的SEC的偏置。以下等式执行场景改变检测且包括相似性项：

进行

其中

C＝针对运动的缩放常数；

τ＝阈值；

SIM_Y＝针对亮度域的相似性度量；且

SIM_U和SIM_V＝针对两个色度域的相似性度量。

在一个实施例中，可将相似性度量定义为

${\mathrm{SIM}}_Y=\frac{{\stackrel{\→}{H}}_{Y,m}\⊗{\stackrel{\→}{H}}_{Y,m-1}}{\left|\right|{\stackrel{\→}{H}}_{Y,m}\left|\right|\⊗\left|\right|{\stackrel{\→}{H}}_{Y,m-1}\left|\right|}---\left(9\right)$

${\mathrm{SIM}}_U=\frac{{\stackrel{\→}{H}}_{U,m}\⊗{\stackrel{\→}{H}}_{U,m-1}}{\left|\right|{\stackrel{\→}{H}}_{U,m}\left|\right|\⊗\left|\right|{\stackrel{\→}{H}}_{U,m-1}\left|\right|}---\left(10\right)$

${\mathrm{SIM}}_V=\frac{{\stackrel{\→}{H}}_{V,m}\⊗{\stackrel{\→}{H}}_{V,m-1}}{\left|\right|{\stackrel{\→}{H}}_{V,m}\left|\right|\⊗\left|\right|{\stackrel{\→}{H}}_{V,m-1}\left|\right|}---\left(11\right)$

其中

和

表示针对当前帧和先前经重构帧的亮度(Y)直方图。针对色度的符号

和

具有类似定义。另外，

表示“内积”。

图4说明用于在数字视频解码器中执行用于错误隐匿的场景改变检测的图1的流程图的经修订版本。在图4的流程图中，已添加了决策步骤420以确定数字视频帧是否为帧内帧(I帧)。如果数字视频帧是帧内帧，那么如步骤433中所陈述，将对场景改变检测使用等式(8)。否则，如步骤430中所陈述，将对场景改变检测使用等式(7)。

经改进的空间错误隐匿

本发明引入经改进的空间错误隐匿(SEC)方法，以供在选择空间错误隐匿来隐匿由缺失或破坏的数字视频信息引起的错误时使用。本发明的经改进的空间错误隐匿方法包含基于最近可用像素的具有分级内插的中值自适应预测器。

所提出的空间错误隐匿途径是基于宏块的隐匿方法，且假定所有正确接收到的宏块都已被提前解码。在一个实施例中，如众所周知的ITU和MPEG标准中所陈述，宏块在亮度域中为十六乘十六(16×16)，且在色度域中为八乘八(8×8)。以标准光栅次序对遭损坏的宏块执行空间错误隐匿方法。因此，所述待隐匿宏块左侧和上方的所有宏块和像素都已经由解码器产生且可用于隐匿遭损坏的宏块。

所提出的空间错误隐匿方法将遭损坏的宏块分成四个不同的区域。所提出的空间错误隐匿方法接着使用针对宏块的不同区域中的每一者的特定空间错误隐匿方案来处置所述区域。将16×16宏块的四个区域和对应的像素坐标定义为：

区域F(右下角，1个像素)：(15，15)

区域B(底部行，15个像素)：(i，15)，0≤i≤14

区域R(最右列，15个像素)：(15，j)，0≤j≤14

区域M(中间部分，225个像素)：(i，j)，0≤i，j≤14

图5以图解方式说明宏块分段成四个宏块区域F、B、R和M。

所提出的空间错误隐匿方法以以下次序解决四个不同宏块区域。

1.重构区域F(右下角)：x(15，15)。

2.重构区域B(底部行)：x(i，15)，0≤i≤14。

3.重构区域R(最右列)：x(15，j)，0≤j≤14。

4.重构区域M(中间部分)：x(i，j)，0≤i，j≤14。

其中x(i，j)表示在像素位置(i，j)处的经重构的像素值。(注意，区域B和区域R的重构可以具有类似结果的相反次序执行)。用于四个不同区域中的每一者的空间错误隐匿方法各自描述于以下四个部分中。

重构区域F(右下角)：x(15，15)

通过用以下三种方法中的一种处理最近的“可用”像素来重构F区域(右下角)：中值自适应预测、像素平均化或像素复制。如果像素位于未破坏宏块中，那么所述像素被称为“可用”。

依据从区域F到最近的可用像素的距离，重构程序分为情况1或情况2，如下：

情况1：情况1要求在三个相邻宏块(下方、右和右下)中的邻近的三个像素中的至少一者是可用的。具体地说，参看图6A，区域F的三个最接近的相邻者α、β和γ中的一者必须在未破坏宏块中。情况1进一步分成以下四个子情况1.1到1.4：

情况1.1：当三个周围像素α、β和γ全部为可用(所有像素都在未破坏宏块中)时，发生情况1.1。当三个周围像素α、β和γ为可用时，那么使用中值自适应预测器用以下等式来重构区域F的角像素：

经设计以无损地压缩图像的原始中值自适应预测器是用以如图6B中所说明通过三个周围像素p、q和r来预测当前像素x的非线性预测器。假定如果r≥q≥p或r≤q≤p，那么垂直边缘位于x上方，且如果r≥p≥q或r≤p≤q，那么水平边缘位于x上方。注意，用以重构区域F的三个周围像素与在原始中值自适应预测器中的那些像素不同。

情况1.2：当图6A的两个像素α和β都在未破坏宏块中(但γ不可用，因为那将是情况1.1)时，使用情况1.2。在情况1.2下，使用像素平均化用以下等式来重构区域F的角像素：

$x\left(\mathrm{15,15}\right)=\frac{(x\left(\mathrm{16,15}\right)+x\left(\mathrm{15,16}\right)+1)}{2}---\left(13\right)$

其中可用右移运算(＞＞1)来执行除以二的运算。

情况1.3：当α或β(但不是两者)在未破坏宏块中(γ的状态是不相关的)时，使用情况1.3。在情况1.3下，用像素复制将区域F重构为：

x(15，15)＝x(16，15)或x(15，16)(14)

情况1.4：最后，当仅γ在未破坏宏块中时，使用情况1.4。在情况1.4下，用像素复制将区域F重构为：

x(15，15)＝x(16，16)(15)

情况2：返回参看图6A，当区域F的三个最接近的相邻者α、β和γ全部在破坏的宏块中时，发生情况2。由于图6A的α、β和γ是不可用的，因此必须使用来自邻近于当前正被隐匿的宏块的其它三个宏块(上方、左和左上)的像素来重构区域F。注意，如果当前宏块位于边缘上，那么这些宏块可能是不可用的。如果宏块并不位于边缘上，那么由于这些宏块无错误地被接收或已如图5中所说明而被隐匿，因此这些宏块已经被重构。在情况2下，相邻宏块的底部最右像素将是如图7中由像素α、β和γ所说明的已使用的重构区域F。由于边缘情形的缘故，情况2进一步分成以下四个子情况2.1到2.4，

情况2.1：当宏块位于帧的左上角时，发生情况2.1。在此情况下，附近的像素信息均不可用，因此区域F仅被设置为平均或中值像素值。在一个实施例中，用以下等式来重构区域F：

x(15，15)＝128(16)

情况2.2：当宏块位于帧的顶部行中时，发生情况2.2。在情况2.2下，通过图7中的像素复制α用以下等式来重构区域F：

x(15，15)＝x(-1，15)(17)

情况2.3：当宏块位于帧的最左列时，发生情况2.3。在情况2.3下，通过图7的像素复制β用以下等式来重构区域F：

x(15，15)＝x(15，-1)(18)

情况2.4：当所有上述情况都不适用(所有上部和左侧宏块都可用)时，发生情况2.4。在情况2.4下，通过用以下等式对x(-1，15)、x(15，-1)和x(-1，-1)(如图7中所说明的像素α、β和γ)应用中值自适应预测器来重构区域F：

重构区域B(底部行)：x(i，15)，0≤i≤14

返回参看图6A，使用两个不同的重构方案来恢复底部行区域B。具体地说，将依据行区域B下方的宏块是否可用或者被破坏或以其它方式不可用而选择下文所陈述的情况1或情况2。

情况1：当行区域B下方的宏块未破坏时，使用情况1。在此情况下，使用以下等式来将区域B中的每一像素重构为与其下方的像素具有相同的值：

x(i，15)＝x(i，16)，0≤i≤14(20)

情况2：当行区域B下方的宏块破坏或不可用时，使用情况2。在此情况下，将行区域B中的像素中的每一者重构为从底部行的中间开始的两个先前重构的像素的平均值。最初的两个先前重构的像素是来自区域F的像素以及靠左侧的宏块中的底部最右像素。使用以下等式来执行像素的重构：

$x(i,15)=\frac{(x(i-k,15)+x(i+k,15)+1)}{2}---\left(21\right)$

其中以下表2中陈述i与k之间的重构次序和关系。注意，可用右移运算(＞＞1)来执行除以二的运算。

表2：针对区域B和R的i与k之间的重构次序和关系

次序	i	k
			1	7	8
2	3	4
			3	11	4
4	1	2
			5	5	2
6	9	2
			7	13	2
8	0	1
			9	2	1
10	4	1
			11	6	1
12	8	1
			13	10	1
14	12	1
			15	14	1

图8A到图8C中以图解方式说明重构程序。底部行x(i，15)中的每一像素由两个最接近的先前经重构像素的平均值重构。每一像素需要两个加法运算(+)和一个移位运算(＞＞)来重构。

R(最右列)的重构：x(15，i)，0≤i≤14

图6A中的最右列R区域的重构以与用于底部行区域B的重构程序相同的方式进行。具体地说，取决于列区域R右侧的宏块是否破坏，使用两个不同的方案来隐匿遭损坏宏块的最右列R区域。

情况1：当列区域R右侧的宏块未破坏时，使用情况1。在此情况下，用以下等式来重构区域R中与紧接于其的像素具有相同值的每一像素：

x(15，i)＝x(16，i)，0≤i≤14(22)

情况2：当列区域R右侧的宏块破坏或不可用时，使用情况2。在情况2下，用以下等式将区域R中的每一像素重构为从最右列的中间开始的两个先前经重构像素的平均值：

$x(15,i)=\frac{(x(15,i-k)+x(15,i+k)+1)}{2}---\left(23\right)$

i与k之间的重构次序和关系与重构行区域B上的先前部分中的重构次序和关系相同。注意，可用右移运算(＞＞1)来执行除以二的运算。

区域M(中间部分)的重构：x(i，j)，0≤i，i≤14

此时，宏块的底部行和最右列中的像素已被重构。将剩余像素(宏块的中间部分，如图6A中所说明的区域M)重构为从宏块的中间开始的四个先前再现像素的平均值。具体地说，可使用以下等式来填充区域M的像素。

$x(i,j)=\frac{(x(i-m,j-n)+x(i+m,j+n)+x(i+n,j-m)+x(i-n,j+m)+2)}{4}---\left(24\right)$

其中n＝0或m。注意，可用右移两个位置的运算(＞＞2)来执行等式(24)中的除以四。表3中展示针对前25个像素的(i，j)、m和n之间的重构次序和关系。可相应地导出剩余像素的次序。

表3：针对区域M的i与k之间的重构次序和关系

每一像素重构需用四个加法运算(+)和一个右移两个位置(＞＞2)的运算。图9A和图9B中以图解方式说明用于区域M的重构程序。

传播到未被破坏帧的错误

即使在用于数字视频帧的信息无任何错误地被传输和接收时，所显示的数字视频帧也可能由于较早接收到的数字视频帧中的错误而在视觉上降级。具体地说，当前数字视频帧可能含有对较早传输的数字视频帧中被破坏的宏块的参考。如果那些被破坏的宏块是用错误隐匿方法重构的，那么参考那些经重构的宏块的当前数字视频帧将含有可视假象。

为了解决此问题，本发明提出在某些条件下“刷新”宏块。术语“刷新”意味着通过空间错误隐匿(SEC)来再现宏块。为了防止由SEC引入的过冲(over-shooting)(例如，模糊)，仅对色度(U和V)域应用“刷新”方案。

本发明的刷新程序包括以下三个步骤：准备、决策和处理。将详细描述每一步骤。

准备：刷新表

系统创建由M×N个条目组成的刷新表，其中每一条目表示一宏块的“刷新”状态(M和N表示数字帧中的宏块的行和列的数目)。如果对应宏块破坏且通过空间错误校正而隐匿，那么系统将条目的初始值设置为“2”。否则，将初始值设置为“0”。

决策：针对未破坏的块使用空间错误隐匿？

接下来，系统扫描数字视频帧，且如果对应的宏块满足所有以下条件，那么使刷新表条目值从“0”改变为“1”：

1.对应的宏块为未破坏的宏块(如果所述宏块破坏，那么将触发错误隐匿。)

2.对应的宏块为帧间宏块(帧内宏块不具有错误传播问题)

3.未破坏宏块的数目大于阈值。(SEC在过多破坏宏块的条件下无法良好地执行。)

否则，系统使所述值保持不变。

因为所提出算法的目的是为了减小错误传播对未破坏帧间宏块的影响，所以应基于错误条件而作出决策。因此，应依据损坏而设置条件3中的阈值。应将阈值设置为较低，使得当损坏更显著时将刷新更多宏块。为了反映真实影响，损坏不仅由破坏宏块的数目来计算，而且由其它因素来计算，例如运动的量、场景改变是否发生、未破坏帧内宏块、过去的损坏等。例如大量运动和发生场景改变等因素趋向于使损坏变得更加严重。另一方面，未破坏帧内宏块趋向于减小损坏。在一个实施例中，用以下等式来计算损坏因子：

D_i＝k₁(|MV_X|+|MV_Y|)×(sN_i+k₂(|MV_X|+|MV_Y|)ID_i-1)(25)

其中：

|MV_X|+|MV_Y|＝运动向量量值

N_i＝新的损坏(破坏宏块的数目)

D_i-1＝过去的损坏

k₁、k₂＝用以反映由运动引起的损坏扩张的常数(k₁、k₂≥1)。

k₁＝k₂＝1为静态场景。

I＝错误校正因子(从未破坏帧内宏块获得的益处)。I≤1(1指示无未破坏帧内宏块)

s＝场景改变因子，s≥1(1指示未发生场景改变)

处理：执行空间错误隐匿

针对对应刷新表条目被标记为“1”的宏块在色度域上应用空间错误隐匿方法。针对被标记为“2”的每一宏块在亮度域和色度域两者上应用空间错误隐匿算法。可使用许多不同的空间错误隐匿方法。在一个实施例中，先前部分中所陈述的基于空间错误隐匿方法在实验中充当用于“刷新”的空间错误隐匿。

前文已描述了用于在数字视频中执行错误隐匿的若干技术。预期所属领域的技术人员可在不脱离本发明的范围的情况下，对本发明的元件的材料和布置作出改变和修改。

Claims (51)

1.一种确定数字视频帧是否表示数字视频流中的场景改变的方法，所述方法包含：确定所述数字视频帧是否为帧内帧，以及

应用使用包含相似性度量的第一等式以在所述数字视频帧为帧内帧的情况下确定是否发生了场景改变；

应用包含帧内宏块比率项的第二等式以在所述数字视频帧并非帧内帧的情况下确定是否发生了场景改变。

2.根据权利要求1所述的确定数字视频帧是否表示数字视频流中的场景改变的方法，其中所述第二等式包含帧位大小项。

3.根据权利要求2所述的确定数字视频帧是否表示数字视频流中的场景改变的方法，其中所述帧位大小项包含乘以用于所述数字视频帧的位的数目的量化参数。

4.根据权利要求3所述的确定数字视频帧是否表示数字视频流中的场景改变的方法，其中用于所述帧的位的所述数目包含针对所述数字视频帧而接收到的位的数目加上所丢失包的数目乘平均包大小。

5.根据权利要求1所述的确定数字视频帧是否表示数字视频流中的场景改变的方法，其中所述第二等式进一步包含指定运动的量的运动等级项。

6.根据权利要求1所述的确定数字视频帧是否表示数字视频流中的场景改变的方法，其中所述第二等式进一步包含数据丢失比例因子。

7.根据权利要求6所述的确定数字视频帧是否表示数字视频流中的场景改变的方法，其中所述数据丢失比例因子偏向时间错误隐匿。

8.一种确定数字视频帧是否表示数字视频流中的场景改变的方法，所述方法包含：对多项等式进行求解以确定是否发生了场景改变，所述多项等式包含帧内宏块比率项。

9.根据权利要求8所述的确定数字视频帧是否表示数字视频流中的场景改变的方法，其中所述多项等式进一步包含帧大小项。

10.根据权利要求9所述的确定数字视频帧是否表示数字视频流中的场景改变的方法，其中所述帧大小项包含乘以用于所述数字视频帧的位的数目的量化参数。

11.根据权利要求10所述的确定数字视频帧是否表示数字视频流中的场景改变的方法，其中用于所述帧的位的所述数目包含针对所述数字视频帧而接收到的位的数目加上所丢失包的数目乘平均包大小。

12.根据权利要求8所述的确定数字视频帧是否表示数字视频流中的场景改变的方法，其中所述多项等式进一步包含指定运动的量的运动等级项。

13.根据权利要求8所述的确定数字视频帧是否表示数字视频流中的场景改变的方法，其中所述多项等式进一步包含数据丢失比例因子。

14.根据权利要求13所述的确定数字视频帧是否表示数字视频流中的场景改变的方法，其中所述数据丢失比例因子偏向时间错误隐匿。

15.一种计算机可读媒体，所述计算机可读媒体包含用于确定数字视频帧是否表示数字视频流中的场景改变的一系列指令，所述系列指令实施以下步骤：

对多项等式进行求解以确定是否发生了场景改变，所述多项等式包含帧内宏块比率项。

16.根据权利要求15所述的计算机可读媒体，其中所述多项等式进一步包含帧大小项。

17.根据权利要求16所述的计算机可读媒体，其中所述帧大小项包含乘以用于所述数字视频帧的位的数目的量化参数。

18.根据权利要求17所述的计算机可读媒体，其中用于所述帧的位的所述数目包含针对所述数字视频帧而接收到的位的数目加上所丢失包的数目乘平均包大小。

19.根据权利要求15所述的计算机可读媒体，其中所述多项等式进一步包含指定运动的量的运动等级项。

20.根据权利要求15所述的计算机可读媒体，其中所述多项等式进一步包含数据丢失比例因子。

21.根据权利要求20所述的计算机可读媒体，其中所述数据丢失比例因子偏向时间错误隐匿。

22.一种数字视频解码器，所述数字视频解码器执行确定数字视频帧是否表示数字视频流中的场景改变的方法，所述方法包含：

用于对多项等式进行求解以确定是否发生了场景改变的装置，所述多项等式包含帧内宏块比率项；

用于在所述多项等式确定发生了场景改变的情况下执行空间错误隐匿的装置；以及

用于在所述多项等式确定未发生场景改变的情况下执行时间错误隐匿的装置。

23.一种执行空间错误隐匿的方法，所述方法包含以下步骤：

将破坏宏块分成一个以上区，所述破坏宏块的第一区包含所述宏块的角像素；

为包含所述角像素的所述第一区确定像素值；以及

使用所述角像素的所述像素值来为除所述第一区之外的所述区确定像素值。

24.根据权利要求23所述的执行空间错误隐匿的方法，其中为所述第一区确定像素值包含使用邻近宏块中的邻近像素来内插所述第一区。

25.根据权利要求23所述的执行空间错误隐匿的方法，其中为所述第一区确定像素值包含邻近宏块中的邻近像素。

26.根据权利要求23所述的执行空间错误隐匿的方法，其中所述一个以上区进一步包含邻近于所述角像素的像素行以及邻近于所述角像素的像素列。

27.根据权利要求26所述的执行空间错误隐匿的方法，其中如果来自邻近宏块的像素行可用的话，用来自邻近宏块的像素行来构造所述像素行区，否则使用所述角区来重构所述像素行区。

28.根据权利要求26所述的执行空间错误隐匿的方法，其中如果来自邻近宏块的像素列可用的话，用来自邻近宏块的像素列来构造所述像素行区，否则用所述角区来重构所述像素行区。

29.根据权利要求26所述的执行空间错误隐匿的方法，其中所述一个以上区进一步包含由邻近于所述角像素的所述像素行、邻近于所述角像素的所述像素列以及所述角像素定界的主区。

30.根据权利要求29所述的执行空间错误隐匿的方法，其中通过在邻近宏块与邻近于所述角像素的所述像素行、邻近于所述角像素的所述像素列以及所述角像素之间内插来重构所述主区。

31.一种计算机可读媒体，所述计算机可读媒体包含用于执行空间错误隐匿的指令集，所述指令执行以下步骤：

将破坏宏块分成一个以上区，所述破坏宏块的第一区包含所述宏块的角像素；

为包含所述角像素的所述第一区确定像素值；以及

使用所述角像素的所述像素值为除所述第一区之外的所述区确定像素值。

32.根据权利要求31所述的计算机可读媒体，其中为所述第一区确定像素值包含使用邻近宏块中的邻近像素来内插所述第一区。

33.根据权利要求31所述的计算机可读媒体，其中所述一个以上区进一步包含邻近于所述角像素的像素行和邻近于所述角像素的像素列。

34.根据权利要求33所述的计算机可读媒体，其中如果来自邻近宏块的像素行可用的话，所述像素行区是用来自邻近宏块的像素行构造的，否则所述像素行区是使用所述角区重构的。

35.根据权利要求33所述的计算机可读媒体，其中如果来自邻近宏块的像素列可用的话，所述像素行区是用来自邻近宏块的像素列构造的，否则所述像素行区是使用所述角区重构的。

36.根据权利要求33所述的计算机可读媒体，其中所述一个以上区进一步包含由邻近于所述角像素的所述像素行、邻近于所述角像素的所述像素列以及所述角像素定界的主区。

37.根据权利要求36所述的计算机可读媒体，其中所述主区是通过在邻近宏块与邻近于所述角像素的所述像素行、邻近于所述角像素的所述像素列以及所述角像素之间进行内插而重构的。

38.一种空间错误隐匿设备，所述空间错误设备包含：

用于将破坏宏块分成一个以上区的装置，所述破坏宏块的第一区包含所述宏块的角像素；

用于为包含所述角像素的所述第一区确定像素值的装置；以及

用于使用所述角像素的所述像素值为除所述第一区之外的所述区确定像素值的装置。

39.根据权利要求31所述的空间错误隐匿设备，其中用于为包含所述角像素的所述第一区确定像素值的装置包含使用邻近宏块中的邻近像素来内插所述第一区。

40.一种在执行错误隐匿时刷新宏块的方法，所述方法包含以下步骤：

通过以下动作来确定宏块是否应被刷新

确定所述宏块是否未破坏；

确定所述宏块是否为帧间宏块；

确定损坏因子是否已超过阈值；以及

如果所述宏块需要被刷新，那么通过对所述宏块使用空间错误隐匿来刷新所述宏块。

41.根据权利要求40所述的刷新宏块的方法，其中仅在色度域中执行所述刷新。

42.根据权利要求40所述的刷新宏块的方法，其中依据破坏宏块的数目而增加所述损坏因子。

43.根据权利要求40所述的刷新宏块的方法，其中依据运动的量而增加所述损坏因子。

44.根据权利要求40所述的刷新宏块的方法，其中依据帧内宏块的量而减小所述损坏因子。

45.根据权利要求40所述的刷新宏块的方法，其中当检测到场景改变时，增加所述损坏因子。

46.一种计算机可读媒体，所述计算机可读媒体包含用于在执行错误隐匿时刷新宏块的指令集，所述指令实施以下步骤：

通过以下动作来确定宏块是否应被刷新

确定所述宏块是否未破坏；

确定所述宏块是否为帧间宏块；

确定损坏因子是否已超过阈值；以及

如果所述宏块需要被刷新，那么通过对所述宏块使用空间错误隐匿来刷新所述宏块。

47.根据权利要求46所述的计算机可读媒体，其中所述刷新仅在色度域中执行。

48.根据权利要求46所述的计算机可读媒体，其中所述损坏因子依据破坏宏块的数目而增加。

49.根据权利要求46所述的计算机可读媒体，其中所述损坏因子依据运动的量而增加。

50.根据权利要求46所述的计算机可读媒体，其中所述损坏因子依据帧内宏块的量而减小。

51.根据权利要求46所述的计算机可读媒体，其中当检测到场景改变时，所述损坏因子增加。

Images