CN101390400B - Svc解码器上的分组丢失检测和虚拟分组产生的方法和设备 - Google Patents

Abstract

具有组织成GOP结构的基础层以及至少一个增强层的封包视频数据可能包含分组丢失错误。用于检测这样的错误的方法包括以下步骤：读取与层相关的首部信息(SEI)；根据所述首部信息(SEI)产生方案或选择预定的方案，所述方案包括各自层的帧的显示顺序编号(POC)、参考帧数目(frame_num)以及时间等级；从接收的视频数据帧中提取显示顺序编号(POC)、参考帧数目(frame_num)以及时间等级参数；以及检测一个或更多个帧或分组丢失，其中，比较接收的参数与根据所述方案的期望帧的参数，由接收和期望参数之间的不匹配来确定丢失的分组或帧。

Description

SVC解码器上的分组丢失检测和虚拟分组产生的方法和设备

技术领域

本发明涉及可伸缩视频编码(SVC)。具体地，本发明涉及SVC比特流的解码器上的分组丢失检测和虚拟分组产生的方法和设备。

背景技术

针对JSVM4已经引入了错误隐藏方法(“Scalable Video Coding-Joint Draft 4”，J.Reichel，H.Schwarz，M.Wien，Joint Video Team(JVT)ofISO/IEC MPEG & ITU-T VCEG(ISO/IEC JTC1/SC29/WG11 and ITU-TSG16Q.6)，Draft Output Document from JVT JVT-Q202-JSVM4，17thMeeting：Nice，France，October，2005)。作为示例，在JVT-Q046(ChenYing，Jill Boyce，Xie Kai“Frame Loss Error Concealment for SVC”，JVT-Q046，JVT of ISO/IEC MPEG & ITU-T VCEG，Nice，October 2005)中描述了4种方法。该已知的错误隐藏的解决方案是针对固定GOP(画面组)大小的，其中基础层是与空间和FSG(精细颗粒度可伸缩性)可伸缩层兼容的H.264。层级B帧GOP结构支持了SVC中的时间可伸缩性。在这个结构中，根据所定义的方案，GOP内的双向预测帧(B帧)具有不同的时间等级。然而，需要进一步改进错误隐藏的鲁棒性和正确性。此外，希望支持任何种类的可伸缩性和组合可伸缩性的错误隐藏。

发明内容

本发明提供了一种用于检测接收的封包(packetized)视频数据中的错误的方法，其中，所述视频数据包含空间或空间-时间基础层(BL)以及至少一个增强层(EL)，每层组织成具有各自首部和GOP结构的帧或片(slice)，在层中存在不同的时间等级。假定分组包含帧或片。所述GOP结构包含多个完整GOP以及一个不完整GOP，所述不完整GOP具有比完整GOP更少的画面或帧。

根据本发明的方法包括以下步骤：读取/提取与层相关的首部信息；根据首部信息产生方案，所述方案至少包括在各自层的完整GOP内的帧的显示顺序编号(即画面顺序计数POC)、参考帧数目(即frame_num)以及时间等级；从接收的视频数据帧中提取参数，所述参数包括POC号、frame_num和时间等级；检测一个或更多帧或分组丢失，其中，比较提取的参数与根据所述方案的期望帧的参数，由提取的参数和期望帧的参数之间的不匹配来确定丢失的分组或帧；确定丢失的帧是属于完整GOP还是属于不完整GOP；以及在不完整GOP的情况下，估计不完整GOP的最大GOP大小，对于显示顺序编号(POC)不大于所估计的GOP大小的不完整GOP的丢失帧产生缺省分组，对于显示顺序编号(POC)大于所估计的GOP大小的丢失帧不产生缺省分组。

替代根据首部信息产生方案，也可以根据所述首部信息，从预定的方案中选择一个预定的方案。可以存储这样的预定的方案，或使用合适的算法动态产生这样的预定的方案。

在本发明的一个实施例中，所述方法还包括以下步骤：为每个丢失的分组或帧产生缺省分组，其中，每个缺省分组得到各自期望分组的显示顺序编号(POC)、参考帧数目(frame_num)和时间等级，并在解析数据流之前，对每个丢失的分组，将所产生的缺省分组插入所述数据流。

在一个实施例中，根据本发明的方法可以进一步被限定为，所述首部信息包含定义的空间-时间或空间层的连续帧的POC号之间的差的指示。

前一个实施例可以进一步被限定为，所述定义的空间-时间或空间层是BL。

在一个实施例中，所述指示是所述差的以2为底的对数(log₂)。

此外，本发明提供了包含封包视频数据的信号，其中，所述视频数据组织成具有各自首部和包含多个画面组(GOP)的GOP结构的帧或片，其中每个视频帧或片至少包括其POC号的指示，其中，所述首部包含连续帧的显示顺序编号(POC)之间的差的指示(log2_min_poc_increase)。

所述视频信号可以进一步被限定为，所述视频信号具有空间或空间-时间基础层和至少一个增强层，所述连续帧的显示顺序编号(POC)之间的差的指示与这些层中的一个定义的层的帧相关(refer to)。

进一步，本发明提供了一种用于产生这样的信号的设备。

一种用于检测接收的封包视频数据中的错误的设备，其中，所述视频数据包含基础层以及至少一个增强层，每层组织成具有各自首部和画面组(GOP)结构的帧或片，其中，所述GOP结构包含多个完整GOP以及一个不完整GOP，其中所述不完整GOP具有比完整GOP更少的画面或帧，所述设备包括：用于读取和提取与层相关的首部信息的装置；用于根据首部信息产生方案的装置或根据提取的首部信息(SEI)选择预定的方案的装置，所述方案至少包括在各自层的完整GOP内的帧的显示顺序编号(POC)、参考帧数目(frame_num)以及时间等级；从接收的视频数据帧中提取参数的装置，所述参数包括POC号、frame_num和时间等级；用于检测一个或更多帧或分组丢失的装置，其中，比较提取的参数与根据所述方案的期望帧的参数，由提取的参数和期望帧的参数之间的不匹配来确定丢失的分组或帧；用于确定丢失的帧是属于完整GOP还是属于不完整GOP的装置；用于在不完整GOP的情况下估计不完整GOP的最大GOP大小的装置；以及对于显示顺序编号(POC)不大于所估计的GOP大小的不完整GOP的丢失帧产生缺省分组的装置，其中，对于显示顺序编号(POC)大于所估计的GOP大小的不完整GOP的丢失帧不产生缺省分组。

在本发明的一个实施例中，所述设备还包括：为每个丢失的分组或帧产生缺省分组的装置，其中，每个缺省分组得到各自期望分组的显示顺序编号(POC)、参考帧数目(frame_num)和时间等级；以及在解析数据流之前，对每个丢失的分组，将所产生的缺省分组插入所述数据流的装置。

本发明的优选实施例在从属权利要求、以下描述和附图中公开。

附图说明

参照附图，描述本发明的示例性实施例，其中，

图1是SVC视频比特流的分组结构；

图2是不同大小的GOP内的时间等级；

图3是带有插入的虚拟分组的GOP；以及

图4是异常的GOP。

具体实施方式

图1示出了SVC比特流的NAL(网络抽象层)分组结构。分组的序列包含补充增强信息(SEI)、序列参数集(SPS)、可伸缩扩展的序列参数集(SPS_S)、画面参数集(PPS)、可伸缩扩展的画面参数集(PPS_S)、IDR画面的编码片(SLICE_IDR)以及可伸缩扩展的IDR画面的编码片(SLICE_IDR_S)。虽然一般而言画面由多于一个片构成，但是，此处示例性地假设画面包含一个片。带有画面数据的每个NAL分组包含片的数据，从而包含画面的数据。带有IDR画面的编码片(SLICE_IDR)的分组包含IDR画面(IDR)，所述IDR画面用作关键画面。

跟随着这些分组的是多个画面组(GOP)，每个画面(示例性地)被封包入分离的分组。画面或者是非IDR画面(SLICE_NOIDR)，或者是可伸缩扩展的非IDR画面(SLICE_NOIDR_S)。在图1的示例中，比特流具有两个空间层，并且GOP大小为16，因此一行(16BL分组+16EL分组)组成了完整的GOP。流中完整GOP的数目可以非常大，例如几千个。每个GOP中的最后的画面是用作关键帧的I或P帧(帧内编码或预测编码)，而其它是B帧(双向预测)。

图2示出了不同大小的GOP的层级B帧内的时间等级。在最低时间等级TL0上的帧被称为关键帧，这些帧是I或P帧，其中之一(标记为0)实际上属于前一个GOP。一般地，在高于TL0的时间等级上的帧是从两个或更多参考帧双向预测而得出的。参考帧可以是较低时间等级的帧或(对于不在最高时间等级的帧)之前解码的相同时间等级的帧。时间等级以升序解码，即首先是TL0，接着TL1，接着TL2等等。

如图2a)所示，在GopSize＝2的GOP中，只存在两个时间等级TL0、TL1，其中一帧1在较高时间等级TL1而另一帧2在较低时间等级TL0。帧1是从首先解码的其参考帧0和2预测得出的。

在GopSize＝4的GOP(图2b))中，存在三个时间等级TL0、TL1、TL2，其中一帧4在最低时间等级TL0，一帧2在第一时间等级TL1而两帧1、3在最高时间等级TL2。首先，第二帧2由其参考帧0和4预测得出，接着，帧1和3由其参考帧0、2和4预测得出。由于这是最高的时间等级，因此对帧1和3使用相同的参考帧。

在GopSize＝8的GOP(图2c))中，存在4个时间等级TL0，...，TL3。首先，从帧0预测出帧8，接着，从帧0和8预测出帧4，接着，从帧0、4、8预测出帧2，接着，从帧0、2、4、8预测出帧6，接着，从帧0、2、4、6、8预测出帧1、3、5、7。

相应地，构造具有更大GopSize的GOP，例如图2d)中的GopSize＝16。

本发明提供了分组丢失检测和虚拟帧产生，尤其针对带有非IDR画面的分组(在图1中标记为Slice_NOIDR/Slice_NOIDR_S)。假定要保证属于SEI消息、SPS/PPS和第一IDR画面的分组的传送。根据本发明，在分组丢失检测的第一阶段之后跟着是分组丢失分析、虚拟分组产生和插入、解析和解码。

分组丢失检测使用picture_order_count(POC)值、frame_num值和时间等级值。POC是按显示顺序的帧的列举，如在图2a)至d)中所使用的。frame_num是帧的参数，指示了其具有的(潜在)参考帧的数目。对于分组丢失检测，两个连续显示的画面之间的POC增量也是很重要的。此处我们称其为POC_Increase。我们通常假定，最高空间层的POC_Increase为1，即显示所有帧。然而，有时并非如此。例如，如果输入帧速率是30fps，而仅使用15fps来编码空间基础层，则基础层的POC_Increase为2，这是由于只编码每个第二画面。

在解码器上，不能从SEI消息知道POC_Increase，这将导致分组丢失检测的问题。最初，解析器可能检测到丢失了每个第二分组。虽然在一些解析之后，解析器可能认识到找不到带有奇数POC值的分组，从而，它可以断定POC_Increase为2，但是这可能太迟了：缓冲器可能溢出并可能发生其他问题。这不是最优的解决方案。为了克服这个问题，本发明的一个方面是向SEI消息加入最小POC_Increase的指示log2_min_poc_increase，如表1中示例性地示出并将在以下描述的。

表1：向SEI分组插入log2_min_poc_increase

如果我们将属于相同依赖等级(空间分辨率层)的所有层的最大时间等级定义为MTL，则对于具有最大MTL(MTL_max)的空间层，POC_Increase为2^{log2_min_poc_increase}。对于具有(较低的)最大空间等级MTL_Layer的其他空间层，POC_Increase为

$\mathrm{POC}\_\mathrm{Increase}=2^{{\mathrm{MTL}}_{\max }-{\mathrm{MTL}}_{\mathrm{Layer}}}\·2^{\log 2\_\min \_\mathrm{poc}\_\mathrm{increase}}$

(等式1)

或POC_Increase＝2^{MTLmax-MTLlayer+log2_min_poc_increase}

同样在上述示例中，使用插入了log2_min_poc_increase值的SEI消息，更容易处理分组丢失检测。如果对仅具有15fps(帧每秒)的帧速率的基础层进行编码，则log2_min_poc_increase参数的值为1，如果也对具有30fps帧速率的空间增强层进行编码，则log2_min_poc_increase为零。因此，解决了在仅包含基础层的比特流中为分组丢失检测而确定最小POC_Increase的问题。

在检测分组丢失之后，可以为解析器和解码器产生虚拟分组。这是在真正的解析之前在解码器中完成的。当分组被发送至解析器时，不论其是正确接收的分组还是虚拟分组，解码画面的号码(decoded_index)总将增加。因此，在解析器之前插入虚拟分组是有利的，使得后续分组的编号正确。

在SVC可伸缩性信息SEI消息语法(见JVT_Q201)中定义了每层的时间等级。我们将属于相同依赖等级(空间分辨率层)的所有层的最大时间等级定义为MTL，因此，正常GOP的大小为GopSize＝2^MTL。使用正常GOP大小，我们可以构造GOP中的相对POC。GOP中的相对POC是使用层级B帧结构来构造的。参照图2a)至d)，由以下表中的解码顺序列出相对POC、相对frame_num和时间等级值。针对特定的GOP大小，可以容易地产生这些值。

选择性地，可以预定义以下方案，并选择与接收的GOPSize相对应的方案。

表2a：GopSize＝1的重要值

表2b：GopSize＝2的重要值

表2c：GopSize＝4的重要值

表2d：GopSize＝8的重要值

表2d：GopSize＝16的重要值

表2e1：GopSize＝32的重要值

表2e2：GopSize＝32的重要值(续)

为了更精确的描述，需要做出两个假设。第一，实际上，在真实的应用中，最大帧数目的模数运算可能修改真实的frame_num。第二，解码顺序中的第一帧实际上不是准确地具有顺序0。而是更准确地，该帧通常具有解码顺序-(GopSize-1)，这是由于在前一GOP的起始处已经对其进行了编码。

可以按照各种准则对帧或帧信息进行排序，例如按照POC、按照解码顺序、按照frame_num等等。这个特征对于分组丢失检测和虚拟分组产生是有用的。

基于编码器处的输入帧速率，两个连续显示的帧的POC增量可能是1或2，或在空间可伸缩层的数目大于2而每层具有不同的帧速率时，甚至可能是2n。在计数帧数目时，需要考虑POC增量。

frame_num应加1(除了在最高时间等级的帧以外)。如果POC/POC_Increase的值为奇数，则该帧不会导致frame_num的增加；此处我们将其称为奇数帧。通常，在正常的GOP中，这些奇数帧将具有最高时间等级。如果有更多空间层而且不同层的输入帧速率不同，则POC_Increase可能更大；一般地POC_Increase为2ⁿ，其中n是当前层的MTL与最高时间层的MTL之间的差。通常，最高(空间/空间-时间)层将具有最大的时间等级数。

例如，对于有基础层(BL)和增强层(EL)的“两个空间层”的情况，BL可以具有EL的一半的帧速率。例如，BL具有5个时间层，该BL的MTL为5。示例性地，EL的MTL为6。因此，对于EL，POC_Increase为1，而对于BL，POC_Increase为2^6-5＝2。BL和EL的GOP大小分别是2⁵和2⁶。

在这个应用中，提及了特定空间层的POC值，但是该POC实际上是POC/POC_Increase。在分组丢失检测以及最后的分组虚拟化的步骤之后，将通过与POC_Increase相乘来映射回这个POC值。

在没有错误的比特流中，每个空间或FGS层由GopSize·n+d个分组组成。其中有n个完整的GOP，还可以有大小为d的不完整GOP，其中d小于GopSize。然而，“不完整”仅是指这样一种情况，即它包含比“完整”GOP更少的帧，而“不完整”GOP在语法上是正确的，每个帧的属性(见以下)适应于实际的GOP大小。我们将完整GOP称为正常GOP，而将最后的不完整GOP称为异常GOP。在一个比特流中的异常GOP不多于一个。

对于每个帧，有三个重要属性：POC号、frame_num和时间等级，这些也在表2a)至e)中列出了。为了更容易地描述分组丢失检测和虚拟分组产生，我们引入3D元素f＝(Poc，frame_num，temporal_level)作为帧信息的抽象，这样的帧的集合是A＝{f_i|i＝0…GopSize-1}。在集合A中，我们有一系列具有多个GopSize：|A|＝GopSize的帧f_i。此处，我们将A称为检测帧信息列表。

可以按照解码顺序、按照POC、按照frame_num来对A进行排序，或甚至先按照时间等级来排序，再在相同的时间等级内按照POC来排序。

在解码分组之后，通常使用GopSize的POC增量和GopSize/2的frame_num增量来更新A中的元素。

当按照解码顺序对A进行排序时，使用集合A和之前解码的帧，可以由f′＝f_{(decoded_index％GopSize)+1}来执行当前元素f′的正确预测。当我们得到当前分组并使用从片首部解码得到的POC、frame_num和时间等级值来产生当前帧f_c时，可以进行f′和f_c的比较。

如果两个虚拟帧元素的POC值和frame_num相等，则我们定义这两个虚拟帧元素相等。

如果f′等于f_c，即接收的分组等于预期的分组，则没有分组丢失，decoded_index加1。否则，一定丢失了一个或更多个分组。

在下一个步骤，确定接收的帧以后是否在当前GOP的帧序列中出现：如果存在f″使得f″＝f_c，则这是正常的GOP，并且已经丢失了一个或更多个帧。否则，这是异常GOP，因此这是在比特流的结尾。

示例性地，如图2d)所示，比特流包含GopSize＝16的GOP。参照图3a，根据上表2d)，指定的解码顺序是A_POC＝{0，16，8，4，12，2，6，10，14，1，3，5，7，9，11，13，15}。当接收到带有非预期的POC号的分组，例如在POC＝2之后接收到POC＝14时，检查该接收的分组(POC＝14)是否是上一个正确接收的分组(POC＝2)之后的后续的预期分组之一。此处的情况正是如此。

此外，可以考虑(一些)后续分组的POC号。在这个示例中，这些POC号是{1，3，5，7，9，11，13，15}，这些POC号与该GOP的后续预期分组相匹配。因此，可以断定，我们在正常GOP中，只丢失了两个分组，即6和10。如图3b所示，这两个分组接着被虚拟分组i1、i2所替代。

在图4b所示的另一个示例中，作为异常GOP的一个GOP仅包含9个帧。则首先解码POC＝8的帧(在该GOP中具有最低时间等级)，接着是GOP＝4的帧(在该GOP中的第二时间等级；注意，该GOP没有POC＝12的帧)，接着是帧{2，6}(第三时间等级)，接着是帧{1，3，5，7，9}。因此，正确接收顺序是{8，4，2，6，1，3，5，7，9}。

现在描述该异常GOP的检测。所述的异常GOP的分组的相对frame_num值是{1，2，3，4，5，5，5，5，5}。如果POC＝8或POC＝4的分组丢失，但是接着接收到POC＝2的分组，则该分组的相对frame_num为3。这不能匹配正常GOP的相对frame_num(对于POC＝3，正常GOP的相对frame_num应为5)。预期和接收的frame_num值之间的关于POC值的差异可以用于检测异常GOP。这对于帧的时间等级属性和其他参数(例如nal_ref_idc)也适用。

以下，示例性地描述对正常GOP的虚拟分组(分组虚拟化)的构造(参照图3)。

如果也按照解码顺序来对A进行排序，并让A的结尾与A的起始连接，则可以构造一个环。插入与f′和f_c之间的间隙相对应的分组并同时增加decoded_index。例如，如果在该环中，从f″至f_c(在图3中f″＝2，f_c＝14)，有f_a和f_b(在图3中f_a＝6，f_b＝10)，则在比特流中插入两个虚拟分组i1、i2用于解码，并且decoded_index增加2。现在，分组i1、i2至少具有来自f_a和f_b的三个正确的值：POC号、frame_num和时间等级。带有一些片等级初值的f_a和f_b将被发送至解码器，解码器采用错误隐藏技术来减少对用户的干扰。

现在描述对异常GOP的虚拟分组的构造。

如果不能在A中找到与当前帧f_c相等的f″(例如，在上述示例中POC＝3，frame_num＝3)，则是在异常GOP的解码过程中，该异常GOP正是长比特流的最后部分，并比正常GOP短。然而，这是处理最复杂的部分。

一旦检测到在异常GOP中丢失分组，则可以进入以下的“异常GOP过程”。

首先，如以上针对正常GOP所述，插入正常GOP的所有丢失的分组。这在图4中示出，其中示例性地，GOP在POC＝9之后终止，而在该片中GOP的正常大小为GopSize＝16。这就有了确定帧的初始预期的相对顺序的目的：与不完整GOP的大小无关，不完整GOP所包含的帧的相对顺序是固定的。这与完整GOP是相同的。例如，(参照图4)如果不完整GOP具有POC＝{8}和POC＝{4}的帧，则{8}将总是在比{4}低的时间等级中，并较早被解码。

在改变GopSize参数之前，按照next_decoded_index＝cur_decoded_index％GopSize(其中％是模数运算)来更新decoded_index，或简写为：

decoded_index％＝GopSize

接着，改变异常GOP的GopSize，这是因为GopSize是不同的。由于整个解码过程接近比特流的结尾，因此，无论如何将很快改变GopSize值。

此处，与正常GOP的区别在于，以不同的方式来更新A，以及估计和改变最后的异常GOP的GopSize。同时，A中的frame_num值也被改变。

在第一步骤，确定GopSize的上界。如果当前帧f_c是奇数帧，则可以知道可能错误为1的GopSize的上界是(＜＜和＞＞是移位运算符)：

GopSize_abn，max＝((frame_num-1)％(GopSize＞＞1)＜＜1)+1    (等式2)

因此，估计该上界的一种可能性是选择奇数的当前帧并使用该等式(等式2)。

否则，如果f_c不是奇数帧，则在A中找到f″′，使得f″′具有与f_c相同的POC号。在整个过程中，GopSize只会减小至某个正的可能上界，因此，f″′总是存在。

要遵照的迭代算法是从具有相同POC号的f″′与f_c之间的frame_num的差开始，对于A中与当前帧f_c相比具有更高POC号但具有更低时间等级的每个帧，减小该值，直到该值变为零。最后一帧的POC号给出了GOP大小的上界：

初始化(f_{c frame_num}是指帧f_c的frame_num)：

frame_diff＝f″′f_{rame_num}-f_{c frame_num}

temp_frame_diff＝frame_diff；

for(i＝GopSize-1；i＞＝0；i--)    //A按照POC排序

{

  if(f_iPOC＞f_cPOC&&f_{iTemporal_Level}＜f_{cTemporal_Level})temp_frame_diff--；

  if(temp_frame_diff＝＝0)break；

}

    GopSize_abn，max＝f_i-1POC(即帧i-1的POC值)

    Gopsize_abn，max是当前空间层的异常GOP的GOP大小的上界。

在第二步骤，更新所有空间层的异常GOP的GOP大小的上界。注意MTL_layer＜MTL。

现在，对于每个层，我们有具有新的GopSize长度的A的帧信息列表。A中的其他元素将被删除。

仅仅是为了简单，我们不使用下标来表示A以区分空间层，这是因为每层遵照类似的过程。然而，每个空间层可以具有其自身的元素列表A。

在第三步骤，更新A中的frame_num值。我们从前一GOP的最后分组的frame_num知道起始start_frame_num。在更新的A中，我们给出了A的新顺序：它首先按照时间等级来排序，在相同的时间等级中按照POC来排序。实际上，这个顺序类似于正常GOP的解码顺序。为了简单，我们仍称其为解码顺序。然而，我们使用排序索引t。因此，我们有新排序的A＝{f_t|t＝0，…GopSize-1}

f0 frame_num＝start_frame_num

$f_{\mathrm{tframe}\_\mathrm{num}}=\left\{\begin{array}{cc}{f}_{t-1\mathrm{frame}\_\mathrm{num}}+1& \mathrm{if}{f}_{t-1\mathrm{Temporal}\_\mathrm{level}}<\mathrm{MTL}\\ f_{t-1\mathrm{frame}\_\mathrm{num}}& \mathrm{else}\end{array}\right.$

按照传统的方式，也更新frame_num值：

frame_num＝frame_num％Max_Frame_Num

应对每个空间层使用本步骤中所述的过程。

在本步骤之后，我们准备处理下一个分组并跳转至第一步骤。

一旦我们在异常丢失分组检测中，这个过程将持续，直到解析结束；最后一个过程步骤将迭代，直到所有分组被接收。可以存储截短的A的GopSize用于下一个分组丢失检测和分组虚拟化过程。如果按照解码顺序对A中的元素进行排序，通过使用decoded_index，我们总可以找到A中的元素f_{decoded_index+1}。如果f_c等于f_{decoded_index+1}，则没有丢失分组，并将当前接收的分组发送至解析器。否则，使用f_{decoded_index+1}来构造虚拟分组。在这两种情况下，decoded_index均增加1。

进一步，如以下所述，对于BLSkip模式，一种新的参考列表构造方法是有用的。

首先来描述虚拟语法的创建。由于从片首部得知了pic_order_cnt_lsb和frame_num，可以产生虚拟分组的正确值。如果时间等级不是零，则虚拟分组被指定为nal_ref_idc为1或0(如果是最高时间等级，则为0)的B帧，否则，该虚拟分组被指定为nal_ref_idc为3的P帧。根据相同层的正确接收的分组来设置该虚拟分组的SPS ID和PPS ID。

基于时间等级是否等于0，也可以指定该虚拟分组是否是关键画面。

如果该虚拟分组是关键画面，则如已知的JSVM编码器所做的，插入存储器管理控制操作(MMCO)命令。这些MMCO命令用于从短期列表中移除前一GOP的B帧(或是非关键画面)和前一关键画面之前的关键画面(如果存在的话)。这些命令被插入关键画面的片首部。

也需要处理RPLR和参考索引号。传统上，只有关键画面需要加入RPLR命令，该命令迫使该关键画面与前一关键画面相关(refer to)。

为了同样对BlSkip模式保证错误隐藏方法的效率，我们也指定EL参数num_ref_idx_l0_active_minus1/num_ref_idx_l1_active_minus1值和参考列表。

num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1的BL分组值是针对空间EL分组而设置的。

实际上，不仅是参考索引号，而且EL的参考列表也应正确匹配BL参考列表。此处“匹配”是指，如果在BL和EL中有相同的list_X的ref_idx_lx值，则BL和EL的对应的参考画面将具有相同的显示时间(或POC)。传统JSVM编码器通过对BL使用RPLR以及在EL中初始化参考列表构造以匹配BL来保证这一点。因此，不需要对丢失的非关键画面产生RPLR命令，但是，我们仍需要对关键画面产生RPLR。

如果移除JVT-Q201，SVC WD 4.0的G.8.2.4.2.1“Initialisationprocess for the reference picture list for P，EP and SP slices in frames”中定义的解码器的限制，则丢失的增强层的RPLR必须支持BLSkip模式的性能。例如，如果丢失了空间EL分组，则描述在欧洲专利申请EP06300020中的过程可以作为缺省参考画面列表构造过程，有助于错误隐藏。

本发明提供了以下优点。

除了属于SEI消息、SPS、PPS和IDR的分组以外，可以处理任何分组丢失。

可以处理具有固定GOP大小的长序列(超过8000帧)。该长度是GopSize·n+d(其中0≤d≤GopSize)。

不同空间层可以具有相同或不同的帧速率。

每个分辨率可以具有一个或更多FGS层。如果FGS层对应的低质量等级分组(具有相同的依赖等级和时间等级)丢失或已经被有意丢弃，则将有意丢弃该FGS层。

在解析器之前插入缺省分组具有以下优点，即解析器不需要处理分组丢失的情形，所述处理例如可能需要分组的重新编号，因此可以使用传统的简单的解析器。这种分组的有效载荷内容与此无关。

end_of_stream_rbsp的实现将支持迭代解码。

本发明公开的概念也可以用于分组包含多于一个帧或片的情况。

同时支持多环路解码和单环路解码。也可以支持针对片组特征的分组丢失检测。

本发明可以用于视频解码产品或视频编码产品，尤其是在包括基础层和至少一个增强层以及定义了多个时间等级的情况下。特别地，空间层可以具有不同的帧速率。

Claims (14)

1.一种用于检测接收的封包视频数据中的错误的方法，其中，所述视频数据包含基础层以及至少一个增强层，每个层组织成具有各自首部和画面组GOP结构的帧或片，其中，所述GOP结构包含多个完整GOP以及一个不完整GOP，所述不完整GOP具有比完整GOP更少的画面或帧，所述方法包括以下步骤：

-读取与层相关的首部信息(SEI)；

-根据所述首部信息(SEI)产生方案，或根据所述首部信息(SEI)选择预定的方案，所述方案至少包括在各自层的GOP内的帧的显示顺序编号(POC)、参考帧数目frame_num以及时间等级；

-从接收的视频数据帧中提取参数，所述参数包括显示顺序编号(POC)、参考帧数目frame_num以及时间等级；

-检测一个或更多个帧或分组丢失，其中，比较提取的参数与根据所述方案的期望帧的参数，由提取的参数和期望帧的参数之间的不匹配来确定丢失的分组或帧；

-确定丢失的帧是属于完整GOP还是属于不完整GOP；以及

-在不完整GOP的情况下，估计不完整GOP的最大GOP大小，对于显示顺序编号(POC)不大于所估计的GOP大小的不完整GOP的丢失帧产生缺省分组，对于显示顺序编号(POC)大于所估计的GOP大小的丢失帧不产生缺省分组。

2.如权利要求1所述的方法，所述方法还包括以下步骤：

-为每个丢失的分组或帧产生缺省分组，其中，每个缺省分组得到各自期望分组的显示顺序编号(POC)、参考帧数目frame_num和时间等级；以及

-在解析数据流之前，对每个丢失的分组，将所产生的缺省分组插入所述数据流。

3.如权利要求2所述的方法，其中，对属于完整GOP的所有丢失帧也进行插入所产生的缺省分组的步骤。

4.如权利要求1-3之一所述的方法，其中，所述估计不完整GOP的最大GOP大小的步骤包括

-选择具有奇数显示顺序编号(POC)的接收帧f_c，所述帧f_c的参考帧数目frame_num参数值为f_{c，frame_num}；

-根据

GopSize_abn，max＝((f_{c，frame_num}-1)％(GopSize＞＞1)＜＜1)+1

来计算GOP大小的上界，其中，％是模数运算，＜＜和＞＞是移位运算符，GopSize是GOP大小，使用计算出的GOP大小的上界，即GopSize_abn，max作为估计的最大GOP大小。

5.如权利要求1-3之一所述的方法，其中，所述首部信息(SEI)包含所定义的空间层的连续帧的显示顺序编号(POC)之间的差的指示。

6.如权利要求5所述的方法，其中，所述空间层是空间基础层。

7.如权利要求5所述的方法，其中，所述指示是所述差的log₂。

8.一种用于检测接收的封包视频数据中的错误的设备，其中，所述视频数据包含基础层以及至少一个增强层，每个层组织成具有各自首部和画面组GOP结构的帧或片，其中，所述GOP结构包含多个完整GOP以及一个不完整GOP，其中所述不完整GOP具有比完整GOP更少的画面或帧，所述设备包括：

-用于读取与层相关的首部信息(SEI)的装置；

-用于根据所述首部信息(SEI)产生方案，或根据所述首部信息(SEI)选择预定的方案的装置，所述方案至少包括在各自层的GOP内的帧的显示顺序编号(POC)、参考帧数目frame_num以及时间等级；

-用于从接收的视频数据帧中提取参数的装置，所述参数包括显示顺序编号(POC)、参考帧数目frame_num以及时间等级；

-用于检测一个或更多个帧或分组丢失的装置，其中，比较提取的参数与根据所述方案的期望帧的参数，由提取的参数和期望帧的参数之间的不匹配来确定丢失的分组或帧；

-用于确定丢失的帧是属于完整GOP还是属于不完整GOP的装置；

-用于在不完整GOP的情况下估计不完整GOP的最大GOP大小的装置；以及

-对于显示顺序编号(POC)不大于所估计的GOP大小的不完整GOP的丢失帧产生缺省分组的装置，其中，对于显示顺序编号(POC)大于所估计的GOP大小的不完整GOP的丢失帧不产生缺省分组。

9.如权利要求8所述的设备，所述设备进一步包括：

-为每个丢失的分组或帧产生缺省分组的装置，其中，每个缺省分组得到各自期望分组的显示顺序编号(POC)、参考帧数目frame_num和时间等级；以及

-在解析数据流之前，对每个丢失的分组，将所产生的缺省分组插入所述数据流的装置。

10.如权利要求9所述的设备，其中，将缺省分组插入数据流的装置在解析数据流之前，对属于完整GOP的所有丢失帧，将所产生的缺省分组插入所述数据流。

11.如权利要求8-10之一所述的设备，其中，所述估计不完整GOP的最大GOP大小的装置包括

-选择具有奇数显示顺序编号(POC)的接收帧f_c的装置，所述帧f_c的参考帧数目frame_num参数值为f_{c，frame_num}；

-根据

GopSize_abn，max＝((f_{c，frame_num}-1)％(GopSize＞＞1)＜＜1)+1

来计算GOP大小的上界的装置，其中，％是模数运算，＜＜和＞＞是移位运算符，GopSize是GOP大小，使用计算出的GOP大小的上界，即GopSize_abn，max作为估计的最大GOP大小。

12.如权利要求8-10之一所述的设备，其中，所述首部信息(SEI)包含所定义的空间层的连续帧的显示顺序编号(POC)之间的差的指示。

13.如权利要求12所述的设备，其中，所述空间层是空间基础层。

14.如权利要求12所述的设备，其中，所述指示是所述差的log₂。

Images