CN101288315B

CN101288315B - 隐藏丢失视频帧的方法和装置

Info

Publication number: CN101288315B
Application number: CN2006800272103A
Authority: CN
Inventors: 吴镇宇; 弗雷德里克·兰戴斯; 珀文·B·潘迪特; 吉尔·M·博伊斯
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS; International Digital Madison Patent Holding SAS
Priority date: 2005-07-25
Filing date: 2006-06-06
Publication date: 2012-05-30
Anticipated expiration: 2026-06-06
Also published as: EP1908300B1; JP5536174B2; BRPI0613522A2; KR20080030623A; MX2008001155A; JP2009504001A; JP2013021729A; US8428147B2; ES2674908T3; TW200723888A; BRPI0613522B1; KR101289603B1; CN101288315A; WO2007018709A3; WO2007018709A2; EP1908300A2; US20090175344A1

Abstract

用于检测和隐藏参考和非参考视频帧的方法和装置被提供。视频解码器包括熵解码器(110)，错误检测器(176)，以及错误隐藏器(178)。熵解码器(110)用于解压缩预期具有固定帧速率的视频比特流，以及分解解压缩的视频比特流以找到解压缩的视频比特流的帧画面顺序计数。错误检测器(176)用于基于画面顺序计数来确定解压缩视频比特流中的特定帧丢失。错误隐藏器(178)用于隐藏该特定帧。该方法通过解压缩和分解视频比特流来找到解压缩视频比特流的帧画面顺序计数，然后基于相关画面顺序计数值的比较来确定(224，228)解压缩视频比特流中的特定帧丢失，然后隐藏(244)该特定帧来完成。

Description

隐藏丢失视频帧的方法和装置

相关申请交叉引用

本申请要求了于2005年7月25日提交的名为“检测和隐藏参考和非参考帧的视频解码器”的美国临时申请序列号60/702233的优先权，其通过引用全文引入这里。

技术领域

本发明总的涉及视频编码和解码，特别涉及检测丢失的非参考视频帧和隐藏丢失的参考和非参考视频帧的方法和装置。

背景技术

通过有可能出错的通信信道传送的视频内容遭受到在传送期间引入的错误。在很多应用基础架构中，传送错误经常导致要由应用接收的数据的丢失。对于低比特率视频传输应用，例如3GPP网络，每个丢失的数据单元通常对应于在应用层的编码帧的丢失。如果一直不处理，提供给视频解码器的这些损坏的比特流会使解码处理停顿或者甚至崩溃。因此，应该有机构位于解码器中来检测这样的丢失。

视频帧可以分为H.264比特流中的两种类型，参考帧和非参考帧。当前的H.264解码器JM软件可以通过检查分配给每个参考帧的称为“frame_num”的变量来检测丢失的参考帧。“frame_num”对下一参考帧增加1，因此当两个连续的“frame_num”之间的间隔大于1时，解码器就知道出现了丢失的参考帧。在这种情况下，当前的解码器JM软件停止任何进一步的解码。

此外，当前的H.264解码器JM软件不能检测非参考帧的丢失。解码器简单地解码比特流中的下一个可用帧并跳过丢失帧。因此，输出帧序列具有更少的帧，这可能引起显示速度跳动，从而影响最终的观看体验。

发明内容

现有技术的这些和其他缺点和劣势通过本发明被处理，即是指检测丢失的非参考视频帧和隐藏丢失的参考和非参考视频帧的方法和装置。

根据本发明的一方面，提供了一视频解码器。该视频解码器包括熵解码器、错误检测器以及错误隐藏器。熵解码器用于解压缩预期具有固定帧速率的视频比特流，以及分解解压缩的视频比特流以找到解压缩的视频比特流的帧画面顺序计数。错误检测器用于确定解压缩的视频比特流中的特定帧丢失，其中如果该特定帧是非参考帧，则该确定基于画面顺序计数的比较。错误隐藏器用于隐藏该特定帧。

根据本发明的另一方面，提供了一种解码预期具有固定帧速率的视频比特流的方法。该方法包括解压缩视频比特流，分解解压缩的视频比特流以找到解压缩的视频比特流的帧画面顺序计数，确定解压缩的视频比特流中的特定帧丢失，其中如果该特定帧是非参考帧，则该确定基于其相关画面顺序计数的比较，以及隐藏该特定帧。

通过下面结合附图一起阅读的具体实施例的详细描述，本发明的这些和其他方面、特征和优点将变得明显。

附图说明

本发明依照下列典型的附图将被更好地理解，其中：

图1显示了应用本发明原理的、示例性的不可缩放的视频解码器的方框图；以及

图2显示了依照本发明原理的、解码视频序列的示例性方法的流程图。

具体实施方式

本发明是针对检测丢失的非参考视频帧和隐藏丢失的参考和非参考视频帧的方法和装置。

因而，依据我们的发明原理，可以实施解码器和/或解码方法来检测非参考帧的丢失，并且可以调用相应的功能以隐藏丢失的非参考帧。此外，依据我们的发明原理，也可以实施解码器和/或解码方法来隐藏参考帧。该丢失视频帧的检测和/或隐藏导致更稳定的视频质量和比特率，以及更好的观看者满意度。

本描述部分说明了本发明的原理。因此本领域技术人员能将其适当地作出不同的配置，尽管在此没有明确地描述或是显示，其具体表述的本发明原理都包括在其精神和范围中。

在此引用的所有例子和条件语言是为教学目的来帮助读者理解发明者相对现有技术进一步做出的本领域本发明原理以及概念，并且应认为不限于所述的特定引用的例子和条件。

此外，在此所有陈述引用的本发明原理、方面和实施例，以及其特定示例，都意图包括其等效的结构和功能。另外，这些等效意图包括当前公知的等效和将来开发的等效，即，开发来执行同样功能的任何元件(而不管结构如何)。

因此，例如，本领域技术人员将理解这里所显示的方框图表示实施本发明原理的说明性电路的概念图。类似地，将理解任何流程图表、流程图、状态转换图、伪代码等表示可以在计算机可读介质中本质表示并因此由计算机或处理器执行的各种处理，而不管这样的计算机或处理器是否被明确地表示。

显示在附图中的各个元件的功能可以通过使用专用硬件以及与适当软件关联的、能够执行软件的硬件来提供。当通过处理器提供时，该功能通过单个专用处理器、单个共享处理器或是多个独立处理器(其中的一些可以共享)来提供。而且，术语“处理器”或“控制器”的明确使用不应被解释为是专门指能够执行软件的硬件，也可以隐含地包括(不限于)数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储设备。

也可以包括其他常规和/或定制硬件。类似地，图中显示的任何开关都仅是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互、或甚至手动地执行，具体技术是执行者可选择的，这从上下文中会更明确地理解。

在这里的权利要求中，任何描述为执行指定功能的装置的元件意图包括执行该功能的任何方式，例如，a)执行该功能的电路元件的组合或b)任何形式的软件(因此包括固件、微码等)与执行该软件的适当电路的组合以执行该功能。由这些权利要求限定的本发明基于这一事实，即，以权利要求所要求的方式将各个提到的装置所提供的功能组合和集合起来。因此认为任何可以提供那些功能的装置等效于本文中显示的那些。

转到图1，不可缩放视频解码器由附图标记100总的指示。视频解码器100包括用于接收视频序列的熵解码器110。熵解码器110的第一输出与反向量化器/变换器120的输入以信号通信相连。反向量化器/变换器120的输出与求和节点140的第一输入以信号通信相连。求和节点140的输出与解块滤波器190以信号通信相连。解块滤波器190的输出与参考画面存储器150以信号通信相连。参考画面存储器150与运动补偿器160的第一输入以信号通信相连。运动补偿器160的输出与求和节点140的第二输入以信号通信相连。熵解码器110的第二输出与运动补偿器160的第二输入以信号通信相连。熵解码器110的第三输出与错误检测器176的输入以信号通信相连。错误检测器176的输出与错误隐藏器186的输入以信号通信相连。错误隐藏器186的输出与运动补偿器160的第三输入以信号通信相连。解块滤波器190的输出可用作视频解码器100的输出。

如上面所提到的，提供用于检测丢失的非参考视频帧和隐藏丢失的参考和非参考视频帧的方法和装置。有利的是，依照本发明的原理检测丢失的非参考视频帧，避免了这样的情况，即，解码器简单地跳过丢失帧，从而有可能引起显示速度跳动并影响最终的观看体验。此外，根据在此描述的原理任何丢失的参考视频帧和非参考视频帧都可以被隐藏。

在H.264比特流的正常解码过程中，解码器为每个编码画面一包括参考和非参考画面，保持画面顺序计数(POC)变量。POC最初是设计用于源解码目的，比如导出时间直接模式(temporal direct mode)中的运动矢量或者B片(slice)中的加权预测。然而，根据本发明的原理，如果编码视频比特流使用固定的帧速率，POC也可以用于检测丢失的非参考帧。

在有效的H.264比特流中，每个帧具有自己的POC值，对于一个画面组(GOP)的即时解码更新(IDR)帧从0开始。我们定义一对POC值之间的POC间隔(gap)如下：

POC Gap＝POC_Frame 1-POC_Frame 2

在每个GOP内，典型地，POC间隔对于两个时间连续帧1和2保持相同。因此，如果POC间隔对于解码器是指定和已知的，则该解码器可以检测帧是否丢失。在解码处理之后，因为B画面的编码可能顺序错乱，所以每当解码器准备输出解码帧到文件或显示器时都执行检测。解码器计算两个时间相邻的解码帧之间的POC间隔。如果该值不等于指定的POC间隔，则解码器了解到这两个帧之间有帧丢失了。由于丢失的参考帧通过“frame_num”变量检测，因此基于POC间隔的该方法被专门用于非参考帧。

当一个帧丢失时，可以调用“motion-copy”(运动复制)操作来隐藏丢失帧。使用“motion-copy”，指定参考帧的运动场被复制到丢失帧。例如，来自参考帧的每个宏块(MB)或MB部分的运动矢量被复制到丢失帧的同一位置结构。而且，因为在H.264中允许多个参考帧，所以与参考帧中每个运动矢量相关的参考索引也被复制。上述步骤之后，调用解码器中的正常运动补偿过程来重构丢失帧。

随着“motion-copy”引起的一个问题是，在参考帧中，一些MB和MB部分可能以内模式被编码。当这种情况发生时，不存在与这些区域相关的运动矢量或参考索引。事实上，这些区域在要从中复制运动矢量的运动场中产生“空洞”。解决该问题的一个方法是为丢失帧中的这些丢失运动矢量分配(0，0)值。然而，当场中包含很多运动时，该场由于错误传播会在隐藏帧以及将来的帧中产生隐藏伪像(artifact)。这降低了解码视频质量。

根据本发明的原理，我们基于这些区域的空间可用的相邻区域预测这些区域的丢失运动信息。具体地说，这样一个区域的运动信息是按照与SKIP模式相同的解码过程来获得的。换句话说，该区域的运动矢量通过对特定空间相邻区域的运动矢量进行中值滤波来预测。同时，丢失帧中该区域的运动矢量的参考索引被分配给前一个参考帧，这与SKIP模式解码相同。

在“motion-copy”中，参考帧可以是承载运动信息的解码器缓存器中的任何可用帧。因此，即使IDR帧丢失了，只要它不是比特流的第一个帧，它就可以通过指定解码器缓存器中(可能来自先前的GOP)的可用参考帧来利用“motion-copy”隐藏。

转到图2，解码视频序列的方法由附图标记200来总的指示。该方法200能够检测参考帧和非参考帧并隐藏丢失帧。当帧丢失时，该方法利用修改的“motion-copy”操作来执行该隐藏。相比于目前的解码方案，本发明提出的两个改进导致的额外的复杂度，即POC间隔的计算和参考帧中的这些内编码区域的运动信息的预测，是无关紧要的。

该方法包括开始方框204，将控制转交到循环限制方框208。循环限制方框208在视频序列的每个帧上开始一个循环并将控制转交到判断方框212。该判断方框212确定新帧的帧号减去旧(紧前面的)帧的帧号是否等于1。如果是，则控制转交到功能方框216，否则，控制转交到循环限制方框236。

功能方框216执行当前帧的一般解码，并将控制转交到判断方框220。判断方框220确定当前帧是否准备好被输出显示。如果是，则控制转交到功能方框224，否则，控制转交到循环限制方框232，结束每个帧上的循环。

功能方框224计算画面顺序计数(POC)间隔，并将控制转交到判断方框228。判断方框228确定POC间隔是否正确。如果是，则将控制转交到循环限制方框232。否则，将控制转交到循环限制方框236。

循环限制方框236在丢失帧中的每个宏块上开始循环，并将控制转交到判断方框240。判断方框240确定参考帧中的同一位置区域是否是内编码的。如果是，则将控制转交到功能方框244。否则，将控制转交到功能方框276。

功能方框244根据跳过(skip)模式解码预测区域的运动矢量，并将控制转交到功能方框248。功能方框248将该区域的参考索引设置到该参考帧的前一个，并将控制转交到循环限制方框252。

如果判断方框240将控制转交到功能方框276，则将MV设置到参考帧中的同一位置区域的MV，并且将控制转交到功能方框280。功能方框280将该区域的参考索引设置到参考帧中的同一位置区域的索引，然后将控制转交到循环限制方框252。

循环限制方框252结束丢失帧中每个宏块上的循环，并将控制转交到功能方框256。功能方框256执行运动补偿以重构丢失帧，并将控制转交到判断方框260。判断方框260确定丢失帧是否是参考帧。如果是，则将控制转交到功能方框264。否则，控制传到功能方框272。当将控制转交到功能方框272时，对隐藏帧更新POC，并且将控制转交到循环限制方框232。

功能方框264为隐藏帧更新frame_num，并将控制转交到功能方框268。功能方框268将隐藏帧放入解码缓存器中，并将控制转交到循环限制方框232中。

循环限制方框232将控制转交到结束方框284。

现在将给出对本发明的许多附带优点/特征中的一些的描述，其中一些已经在上面提到过。例如，一个优点/特征是包括熵解码器、错误检测器和错误隐藏器的视频解码器。熵解码器用于解压缩预期具有固定帧速率的视频比特流，以及分解解压缩的视频比特流以找到解压缩的视频比特流的帧画面顺序计数。错误检测器用于基于画面顺序计数来确定解压缩的视频比特流中的特定帧丢失。错误隐藏器用于隐藏该特定帧。另一个优点/特征是如上描述的视频解码器，其中错误检测器基于解压缩的视频比特流的时间相邻帧之间的画面顺序计数中的间隔来确定特定帧丢失。还有一个优点/特征是如上描述的视频解码器，其中错误检测器通过确定时间相邻帧之间的画面顺序计数间隔，并当画面顺序计数间隔大于阈值时指示特定帧丢失，从而确定特定帧丢失。而且，另一个优点/特征是如上描述的视频解码器，其中错误隐藏器使用帧重复处理来隐藏特定帧。进一步，另一个优点/特征是如上描述的视频解码器，其中错误隐藏器通过从先前编码帧的同一位置块导出特定帧中块的运动信息来隐藏特定帧。而且，另一个优点/特征是如上描述的通过从先前编码帧的同一位置块导出特定帧中块的运动信息的视频解码器，其中错误隐藏器从先前解码帧的同一位置块的参考索引导出特定帧中块使用的参考索引。另外，另一个优点/特征是如上描述的通过从先前编码帧的同一位置块导出特定帧中块的运动信息的视频解码器，其中当先前编码帧的同一位置块是内编码时，错误隐藏器通过改为从先前编码帧的同一位置块的空间可用的相邻块的运动矢量导出特定帧的块的运动信息，来隐藏特定帧。另外，又一个优点/特征是如上描述的、当先前编码帧的同一位置块是内编码时改为从先前编码帧的同一位置块的空间可用的相邻块的运动矢量导出特定帧的块的运动信息的视频解码器，其中错误隐藏器通过对先前编码帧的同一位置块的空间可用相邻块的运动矢量应用中值滤波器来导出特定帧中的决的运动信息。而且，又一个优点/特征是如上描述的、当先前编码帧的同一位置块内编码时改为从先前编码帧的同一位置块的空间可用的相邻块的运动矢量导出特定帧的块的运动信息的视频解码器，其中特定帧的块的运动信息是使用SKIP模式解码获得的。此外，另一个优点/特征是如上描述的、当先前编码帧的同一位置块内编码时改为使用SKIP模式解码来导出特定帧的块的运动信息的视频解码器，其中SKIP模式解码是按照国际电信联盟、电信部门(ITU-T)H.264标准执行的。另外又一个优点/特征是如上描述的视频解码器，其中错误检测器更新特定帧的画面顺序计数。上面列出的优点/特征中的一个或更多可以与本发明不同实施例相联系。

本领域技术人员基于这里的教学可以容易地确定本发明的这些和其他特征和优点。应当理解，本发明的教学可以以各种形式的硬件、软件、固件、专用处理器或其组合实现。

最优选的是，本发明的教学可以以硬件和软件的组合实现。而且，软件可以实现为明确具体化在程序存储单元上的应用程序。该应用程序可以上传到包括任何适合结构的机器，并通过该机器来执行。优选的是，该机器在具有硬件的计算机平台上实现，硬件例如是一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)、和输入/输出(“I/O”)接口。该计算机平台也可以包括操作系统和微指令码。本文中描述的各种处理和功能可以是微指令码的一部分或应用程序的一部分，或是它们的任意组合，其可以通过CPU执行。另外，各种其他外围单元可以连接到计算机平台，比如附加数据存储单元和打印单元。

进一步理解，因为附图中描写的组成系统部件和方法中的一些最好用软件实现，因此系统部件或处理功能方框之间的实际连接可能依照本发明被编程的方式而不同。这里给出了教学，本领域的技术人员将能够设想本发明的这些和类似应用或配置。

尽管本文参照附图对说明性实施例进行了描述，但可以理解本发明并不限于这些精确的实施例，在不脱离本发明的范围或精神的情况下本领域技术人员在本文中的各种改变和修改是有效的。所有这些改变和修改都意图被包括在权利要求中阐明的本发明的范围内。

Claims

1.一种视频解码器，包括：

熵解码器(110)，用于解压缩视频比特流并分解解压缩的视频比特流以找到解压缩的视频比特流的帧的画面顺序计数；

错误检测器(176)，用于确定解压缩的视频比特流中的特定帧丢失，其中如果该特定帧是非参考帧，则该确定基于画面顺序计数的比较；和

错误隐藏器(186)，用于隐藏该特定帧。

2.根据权利要求1的视频解码器，其中所述错误检测器(176)基于解压缩的视频比特流中的时间相邻帧之间的画面顺序计数的间隔来确定特定帧丢失。

3.根据权利要求1的视频解码器，其中所述错误检测器(176)通过确定时间相邻帧之间的画面顺序计数的间隔，并当该画面顺序计数的间隔大于阈值时指示特定帧丢失，来确定该特定帧丢失。

4.根据权利要求1的视频解码器，其中所述错误隐藏器(186)使用帧重复过程来隐藏该特定帧。

5.根据权利要求1的视频解码器，其中所述错误隐藏器(186)通过从先前编码帧中的同一位置块导出特定帧中块的运动信息来隐藏该特定帧。

6.根据权利要求5的视频解码器，其中所述错误隐藏器(186)从先前解码帧中的同一位置块的参考索引中导出供特定帧中的该块使用的参考索引。

7.根据权利要求5的视频解码器，其中所述错误隐藏器(186)当先前编码帧中的同一位置块为内编码时，通过改为从先前编码帧中的同一位置块的空间可用的相邻块的运动矢量中导出特定帧中的该块的运动信息，来隐藏该特定帧。

8.根据权利要求7的视频解码器，其中所述错误隐藏器(186)通过对先前编码帧中的同一位置块的空间可用的相邻块的运动矢量应用中值滤波器，来导出特定帧的该块的运动信息。

9.根据权利要求7的视频解码器，其中特定帧的该块的运动信息是使用SKIP模式解码来获得的。

10.根据权利要求9的视频解码器，其中SKIP模式解码是按照国际电信联盟电信部门(ITU-T)H.264标准执行的。

11.根据权利要求1的视频解码器，其中所述错误检测器(176)更新特定帧的画面顺序计数。

12.一种解码视频比特流的方法，包括：

解压缩视频比特流；

分解解压缩的视频比特流来找到解压缩的视频比特流的帧的画面顺序计数；

确定(224，228)解压缩的视频比特流中的特定帧丢失，其中如果该特定帧是非参考帧，则该确定基于其相关画面顺序计数的比较；以及

隐藏(244)该特定帧。

13.根据权利要求12的方法，其中所述确定步骤(224，228)基于解压缩的视频比特流中的时间相邻帧之间的画面顺序计数的间隔来确定该特定帧丢失。

14.根据权利要求12的方法，其中所述确定步骤(224，228)通过确定时间相邻帧之间的画面顺序计数的间隔，并当该画面顺序计数的间隔大于阈值时指示特定帧丢失，来确定该特定帧丢失。

15.根据权利要求12的方法，其中所述隐藏步骤(244)使用帧重复过程来隐藏该特定帧。

16.根据权利要求12的方法，其中所述隐藏步骤(244)通过从先前编码帧中的同一位置块导出特定帧中的块的运动信息，来隐藏该特定帧。

17.根据权利要求16的方法，其中所述隐藏步骤(244)从先前解码帧中的同一位置块的参考索引中导出供特定帧中的该块使用的参考索引。

18.根据权利要求16的方法，其中所述隐藏步骤(244)在当先前编码帧的同一位置块为内编码时，通过改为从先前编码帧中的同一位置块的空间可用的相邻块的运动矢量中导出特定帧的该块的运动信息，来隐藏该特定帧。

19.根据权利要求18的方法，其中所述隐藏步骤(244)通过对先前编码帧中的同一位置块的空间可用的相邻块的运动矢量应用中值滤波器来导出特定帧的该块的运动信息。

20.根据权利要求18的方法，其中特定帧的该块的运动信息是使用SKIP模式解码来获得的。

21.根据权利要求20的方法，其中SKIP模式解码是按照国际电信联盟电信部门(ITU-T)H.264标准执行的。

22.根据权利要求12的方法，还包括更新(272)特定帧的画面顺序计数。