CN101185333A - 编码视频信号时发送画面信息的方法以及解码视频信号时使用该画面信息的方法 - Google Patents

Abstract

提供了一种从编码器发送视频信号的画面信息的方法以及在解码器中使用该画面信息的方法。当视频信号被编码时，该视频信号在被分为关键和非关键画面的同时根据指定方案被编码，并且指示每个NAL单元中携带的经编码的画面数据是否是关键画面的值被记录在NAL单元的标头的‘nal_ref_idc’字段中，或者指示存储器管理控制操作(MMCO)存在的值(adaptive_ref_pic_marking_mode_flag＝1)以及指示关键画面的控制操作值被记录在被编码为关键画面的画面的标头中。

Description

编码视频信号时发送画面信息的方法以及解码视频信号时使用该画面信息的方法

技术领域

本发明涉及一种从编码器发送视频信号的画面信息的方法以及在解码器中使用该画面信息的方法。

背景技术

可缩放视频编解码器(SVC)将视频编码为具有最高图像质量的画面序列同时确保编码画面序列的部分(具体而言，间歇地从全部帧序列选择的部分帧序列)可被解码和用于表示低图像质量的视频。运动补偿时域滤波(MCTF)是已被建议用在可缩放视频编解码器中的一种编码方案。

虽然根据可缩放方案可以通过接收和处理编码画面的序列的一部分来表现低图像质量的视频，但是在图像质量在比特率降低时影像质量显著下降方面仍然是一个问题。解决该问题的一个方案是提供用于低比特率的辅助画面序列，例如如图1中所示的具有小屏幕尺寸和/或低帧速率的画面序列。

辅助画面序列被称为基层，而主帧序列被称为增强或增进层。执行了层间预测以增加编码效率。

在可缩放视频编解码器(SVC)中，每层的画面序列可如图2中所示地被分为质量基层和SNR增强层来编码和发送以确保解码器根据传输信道条件实现较高的图像质量。SNR增强层包括原始图像画面与经编码的质量基层画面之间的差异的编码画面数据。对SNR增强层的额外编码提供了比基本图像质量更高的图像质量。

质量基画面可单独用作画面间预测的参考画面。或者，根据质量基画面产生的其中反映了SNR增强层画面数据的画面可被用作画面间预测的参考画面。后者减少了通过预测产生的编码数据量。然而，如果SNR增强层画面数据全部或部分由于传输信道容量不足而没有被发送时，则在解码画面必须使用SNR增强层画面数据作为参考画面数据时出现错误，并且该错误还传播到后续画面。

为了限制错误传播，SVC指定了必须仅使用质量基画面作为其参考画面的画面。这些被指定的画面被称为“关键画面”。当被指定为非关键画面的画面(图2示例中的B画面)被解码时，如图2所示，不仅使用质量基画面还使用SNR增强画面数据来重建的画面被用作它们的参照画面。相应地，在SVC中，根据是仅有质量基画面还是质量基画面和SNR增强画面数据两者已被用作画面的预测来将这些画面指定为关键画面或是非关键画面，从而使得解码器被告知该画面是关键画面还是非关键画面并由此执行适当解码。

根据可缩放视频编解码器，对增强和基层两者可使用相同的方案(例如，MCTF)。也可对增强和基层两者使用不同方案(例如，MCTF用于增强层，而基于高级视频编解码器(AVC)(也被称为H.264)的方案用于基层)。

然而，当对基层采用基于AVC的方案(此后被称为“AVC兼容方案”)时，必须不违反现有AVC编解码器的句法。由于AVC不适应SNR增强画面，所以AVC不提供关键画面的定义并由此没有用于传送指示画面是否为关键画面的信息的信息结构。

由于这些因素，当SVC采用与诸如AVC等不同的编解码器兼容的方案时，需要提供一种用于从编码器向解码器传送指示画面是否为关键画面的信息的方法以确保在不违反AVC句法的情况下使AVC适应SNR增强画面。

发明内容

因此，考虑以上情况作出了本发明，并且本发明的一个目的是提供一种用于通过携带编码视频数据的每个传输单元的标头传送指示画面是否为关键画面的信息的方法。

本发明的另一目的是提供一种用于通过在编码视频数据被解码时编码器指定要执行的存储器管理控制操作传送指示画面是否为关键画面的信息的方法。

根据本发明的一个方面，本发明的以上和其它目的可通过提供一种编码和解码视频信号的方法来实现，其中，当视频信号被编码时，该视频信号被分为关键和非关键画面的同时根据指定方案被编码，并且指示每个传输单元中携带的编码画面数据是否为关键画面数据的特定信息被记录在传输单元的标头中，反之，当编码视频信号被解码时，在接收携带编码画面数据的传输单元的同时检查每个传输单元的标头中的特定信息，并根据该特定信息的值判定该传输单元中携带的画面数据是否为关键画面数据。

根据本发明的另一方面，提供了一种编码和解码视频信号的方法，其中，当视频信号被编码时，该视频信号被分为关键和非关键画面的同时根据指定方案被编码，并且指示存储器管理控制操作存在的值和指示关键画面的控制操作(或命令)值同时被记录在编码为关键画面的画面的标头中，反之，当编码视频信号被解码时，在接收编码画面数据的同时根据每个画面的标头判定存储器管理控制操作是否存在，并且如果存储器管理控制操作存在则判定指示关键画面的控制操作值是否存在，并且如果指示关键画面的控制操作值存在则判定该画面是关键画面。

在本发明的一个实施例中，该特定信息具有2比特的大小。

在本发明的一个实施例中，该特定信息在传输单元携带关键画面数据时具有值3，这是最低时间层的画面数据；在传输单元携带最高时间层的画面数据时具有值0；在传输单元携带第二高时间层的画面数据时具有值1；以及在传输单元携带剩余时间层的画面数据时具有值2。

在本发明的一个实施例中，传输单元是网络抽象层(NAL)单元。

在本发明的另一实施例中，可在指示关键画面的控制操作值被分配给高级视频编解码器(AVC)中定义的memory_managemen_control operation并且优选地为7。

附图说明

结合附图考虑以下具体说明，本发明的以上和其它目的、特征和其它优点将更加清晰地被理解。

图1示出了多层的画面序列是如何通过层间预测来编码的；

图2示出了被分为质量基层和SNR增强层的一给定层的画面序列是如何被编码的；

图3示出了根据本发明的一个实施例的为携带编码视频数据的传输单元的NAL单元的结构以及该NAL单元的标头；

图4示出了根据本发明的一个实施例基于画面的时间层向携带该画面的数据的每个NAL单元的标头的‘nal_ref_idc’分配值的方法；

图5是示出了根据本发明执行用于判定画面是关键还是非关键画面的操作的解码装置的简易框图；

图6示出了根据本发明的另一实施例的与用于根据当前片标头中的存储器管理控制操作(MMCO)的字段判定当前片是否属于关键画面的过程相关联的解码句法。

具体实施方式

现在将参照附图对本发明的优选实施例进行说明。

图3示出了根据本发明的一个优选实施例的通过作为携带编码视频数据的传输单元的网络抽象层(NAL)单元的1字节标头的2比特‘nal_ref_idc’字段来发送指示画面是否为关键画面的信息的方法。

当编码器通过使用质量基画面和SNR增强画面数据的预测将画面编码为残余数据时，编码器将该画面指定为非关键画面。另一方面，当编码器通过仅使用质量基画面的预测将画面编码为残余数据时，编码器指定该画面为关键画面。

以上关键画面的定义仅是一个示例，而本发明并不限于此。即，画面还可以根据其它准则来分为关键和非关键画面，并且本发明的特征在于指示画面是否为关键画面的信息是通过例如‘nal_ref_idc’字段来发送的。

例如，携带被指定为关键画面的画面或者该画面的部分数据(此后被称为“部分”)的每个NAL单元的标头中的‘nal_ref_idc’字段被分配值“3”，而携带被指定为非关键画面的画面或其部分的每个NAL单元的标头中的‘nal_ref_idc’字段根据该画面所属的时间层被分配“0”到“2”多个值中的一个。携带诸如序列参数集(SPS)、序列参数集扩展(SPSE)以及画面参数集(PPS)等信息的每个NAL单元的标头中的‘nal_ref_idc’字段也被分配值“3”。

当在解码过程中对片进行解码时，指示该片是否被包括在关键画面中的标志“KeyPictureFlag”根据相应“nal_ref_idc”字段的值被如下设置或重新设置。

If(nal_ref_idc＝＝3)KeyPictureFlag＝1

Else keyPictureFlag＝0

当前AVC被定义成使得携带特定类型的片数据的每个NAL单元的‘nal_ref_idc’字段被分配一不同于“0”的值，其中术语“片”是指一帧所被分成的单元，反之携带不同类型的片数据(例如，属于没有被用作参考画面的画面的片数据)的每个NAL单元的‘nal_ref_idc’字段被分配“0”值。相应地，以上根据本发明的该实施例向‘nal_ref_idc’字段分配值的方法不违反AVC句法。

现在将参照图4的示例对以上用于根据一画面所属的时间层向携带该画面的每个NAL单元中的‘nal_ref_idc’字段分配一不同的值的方法进行更加具体的说明。

包括预定数目的画面(图4的该示例中为16幅画面)的画面组的第一画面p1被帧内编码，而其最后一画面p16通过使用该第一画面p1作为参考画面的预测被编码为P。这里，即使第一画面p1的SNR增强画面数据已经产生，但其中反映该SNR增强画面数据的画面并不被用做将最后画面p16编码为P画面的预测。以这种方式，产生时间层为0的画面即关键画面。在编码后，这些画面被封装在NAL单元中。在该过程中，携带属于这些画面的数据的每个NAL单元的‘nal_ref_idc’字段被分配值“3”。

然后位于该画面组中间的画面p8经历使用时间层为0的画面作为参考画面的双向预测性编码，由此产生B画面。该参照时间层为0的画面的双向编码将时间层增1，并且携带属于时间层为1的B画面的数据的每个NAL单元的‘nal_ref_idc’字段被分配一小于时间层为0的关键画面所被分配的值“3”的值“2”。

然后，位于3个编码画面p1、p8、及p16的每两个之间的中间的画面p4和p12分别经历参照这3个编码画面p1、p8、和p16中它们的相邻画面(p1和p8)以及(p8和p16)的双向编码。该双向编码将时间层增1从而使在该过程中产生的两个B画面被分配时间层2。

画面组中的剩余画面以如上所述的相同方式经历预测性编码及分配时间层。在携带时间层2的画面的每个NAL单元的‘nal_ref_idc’字段被分配值“2”、携带时间层3的画面的每个NAL单元的‘nal_ref_idc’字段被分配值“1”、以及携带时间层4的画面的每个NAL单元的‘nal_ref_idc’字段被分配值“0”之后发送这些画面。

以下是向‘nal_ref_idc’字段分配值的典型方法。如图4中所示，当编码画面的最后的时间层为层N(例如，层4)，最低值“0”被分配给携带层N的画面的每个NAL的‘nal_ref_idc’字段，值“1”被分配给携带层(N-1)的画面的每个NAL单元的‘nal_ref_idc’字段，值“2”被分配给携带层为1到(N-2)范围内的画面的每个NAL单元的‘nal_ref_idc’字段，以及值“3”被分配给携带层0的画面即关键画面的每个NAL单元的‘nal_ref_idc’字段。这种分配方法仅是一个示例，还可以各种其它方法向时间层的‘nal_ref_idc’字段分配值。然而任何方法都保持将值“3”分配给其中存在关键画面的时间层的‘nal_ref_idc’字段，而将“3”以外的值分配给其中存在非关键画面的时间层的‘nal_ref_idc’字段。

如图4中所示的分配‘nal_ref_idc’字段的值的方法确保了SVC解码器中的AVC兼容基层解码器以适合基层解码器的当前呈现环境的帧速率输出视频序列而无需解析NAL单元的有效载荷中的片数据。

例如，在如图5中所示地配置的解码装置中，基层部分中的提取器501根据基于设置在提取器501的下游的为AVC兼容解码器的基层(BL)解码器502的当前输出条件所设置的选择命令(例如，由用户输入)选择具有被分配了值“3”的‘nal_ref_idc’字段的NAL单元、具有被分配了值“2”或更高值的‘nal_ref_idc’字段的NAL单元、具有被分配了值“1”或更高值的‘nal_ref_idc’字段的NAL单元、或所有NAL单元，并将所选的NAL单元或所有NAL单元传到BL解码器502。

另一方面，设在编码装置中的提取器(未示出)也可执行与以上解码装置中的提取器501的选择操作相同的选择操作。在该情形中，传输编码流的服务器根据传输信道条件或基于从远程用户接收到的信息设置选择命令或条件。编码装置中的提取器根据服务器所设的选择命令选择具有被分配了值“3”的‘nal_ref_idc’字段的NAL单元、具有被分配了值“2”或更高值的‘nal_ref_idc’字段的NAL单元、具有被分配了值“1”或更高值的‘nal_ref_idc’字段的NAL单元、或所有NAL单元，并通过传输信道将所选的NAL单元发送到解码装置。虽然以下说明是参照解码装置中的提取器501来给出的，但是相同方法也可应用到编码装置中的提取器。

当所接收到的(或发送的)基层画面序列是15Hz的视频信号时，如果提取器501仅提取和传送具有被分配了“1”或更高值的‘nal_ref_idc’字段的NAL单元到BL解码器502，则NAL单元被解码为7.5Hz的视频信号。如果提取器501仅提取和传送具有被分配了“2”或更高值的‘nal_ref_idc’字段的NAL单元到BL解码器502，则NAL单元被解码为3.75Hz的视频信号。如果提取器501仅提取和传送了具有被分配了“3”或更高值的‘nal_ref_idc’字段的NAL单元到BL解码器502，则NAL单元被解码为仅由关键画面组成的1.725Hz的视频信号。

以上‘nal_ref_idc’分配方法允许BL解码器502根据每个NAL单元的标头判定该NAL单元中携带的画面数据是否为关键画面数据。相应地，BL解码器可以判定是否使用SNR增强画面数据来获得用于解码该画面数据的参考画面。BL解码器502还可基于NAL单元的标头中的信息简单地通过选择NAL单元来获得在所需输出帧速率上的视频信号，而无需解析存在于NAL单元中的有效载荷数据中的画面标头(或片标头)，从而减小了提取器上的解析负荷。

现在将参照图6对根据本发明的另一优选实施例的用于通过存在于片标头中的存储器管理控制操作(MMCO)的字段传送指示画面是否为关键画面的信息的方法进行说明。

图6示出了根据其中指示画面是否为关键画面的信息通过存在于片标头中的MMCO的字段来传送的实施例，与BL解码器502根据片标头中的MMCO的字段判定当前片是否属于关键画面的过程相关联的解码句法。

如果IDR NAL单元(即，nal_ref_idc＝5的NAL单元)之外的单元中携带的数据是一新片的数据，则BL解码器502将内部变量“keyPicture”设为指示非关键画面的值“0”(601)，并且检查该新片的片标头中的标志“adaptive_ref_pic_marking_mode_flag”的值。如果检查到的“adaptive_ref_pic_marking_mode_flag”值不是0，则BL解码器502检查对应于命令“memory_management_control_operation”的值。如果检查到的“memory_management_control_operation”值在0到6范围内，则BL解码器502根据为该值指定的常规方案执行操作，并在检查到的命令“memory_management_control_operation”的值是在0到6范围之外的值(例如7)时将经初始化的变量“keyPicture”设为“1”。

BL解码器502在完成对片标头的信息的分析时检查内部变量“keyPicture”。如果检查到的变量“keyPicture”的值是“1”，则BL解码器502判定当前接收到的片数据是关键画面的数据并仅使用先前所重建的质量基画面来获得用于解码该画面所需的参考画面，而不使用SNR增强画面数据。如果检查到的变量“keyPicture”的值是0，则BL解码器502判定当前接收到的片数据是非关键画面的数据并使用另外用SNR增强画面数据重建的参考画面执行对该画面的逆预测。该逆预测将该画面的残余数据重建为原始图像数据。

另一方面，如果检查到的“adaptive_ref_pic_marking_mode_flag”值是指示该片数据没有所请求的MMCO的0，则经初始化的变量“keyPicture”保持为0，所以判定该片数据是非关键画面的数据。

根据图6中所示的解码句法，如果编码画面是关键画面，视频信号编码器将具有特定值(例如，“7”)的命令“memory_management_control_operation”添加到编码画面数据的标头(例如，片标头)，并将标志“adaptive_ref_pic_marking_mode_flag”设为“1”。这里，标志“adaptive_ref_pic_marking_mode_flag”可能已经针对另一MMCO请求被设为“1”。

画面是关键还是非关键画面可以使用标志“adaptive_ref_pic_marking_mode_flag”的值来判定。然而，由于该标志是被定义为指示MMCO是否存在的信息，所以该标志的使用并不限于关键画面。如果MMCO(例如，即请求将‘long_term_frame_idx’值设为指示当前所解码的画面的控制操作)被用于非关键画面，则对于关键和非关键画面标志“adaptive_ref_pic_marking_mode_flag”可以为“1”，从而使得不能判定画面是关键还是非关键画面。

还可以使用仅用于关键画面的MMCO来考虑从而使得可简单地通过标志“adaptive_ref_pic_marking_mode_flag”来判定画面是否为关键画面。然而，由于MMCO不允许被用于非关键画面，所以极大地限制了使用MMCO管理缓冲区的操作的灵活性。由于这个原因，根据本发明的该实施例，优选地，定义一个新的“memory_management_control_operation”值并根据该值来判定画面是否为关键画面。

由于常规AVC解码器忽略了该新定义的值并且SVC解码器中的AVC兼容解码器可以根据该新定义的值来判定接收到的画面数据是否为关键画面数据，所以可以在不违反现有AVC编解码器的情况下传送指示画面是否为关键画面的信息。

根据上述方法判定画面是否为关键画面的解码器可以被包括到移动通信终端、媒体播放器等之中。

如从以上说明所显而易见的，一种根据本发明的编码和解码视频信号的方法确保了在SVC解码器中采用了AVC兼容解码器时指示一画面是否为关键画面的信息可以在不违反现有AVC的情况下被传送，由此可以在使用SNR增强画面数据改善图像质量的同时确保对视频信号基于AVC编码的益处。

根据本发明的方法还可获得在所需帧速率上的视频序列而不会给解码器强加负荷。

虽然已参照优选实施例对本发明进行了说明，但是对本领域的技术人员显而易见的是可在本发明中作出各种改进、修改、替换和添加而不会背离本发明的范围和精神实质。因此，本发明旨在覆盖本发明的这些改进、修改、替换和添加，只要它们落在所附权利要求及其等效方案的范围之内。

Claims (16)

1.一种编码视频信号的方法，所述方法包括以下步骤：

a)在将所述视频信号分为关键和非关键画面的同时，根据指定方案编码所述视频信号；以及

b)在携带经编码的画面数据的每个传输单元的标头中，记录指示所述传输单元中携带的所述画面数据是否为关键画面数据的信息。

2.如权利要求1所述的方法，其特征在于，所述信息具有以下之一：在所述传输单元中携带的所述画面数据是关键画面时被分配的第一值，以及根据编码所述画面数据的多个时间层被分配的不同于所述第一值的多个值。

3.如权利要求2所述的方法，其特征在于，所述信息具有2比特大小，所述第一值是3，并且所述不同于第一值的多个值在0到2范围内。

4.如权利要求3所述的方法，其特征在于，在步骤b)，具有值0的信息被记录在携带最高时间层(TL＝N)的画面数据的每个传输单元的标头中，具有值1的信息被记录在携带第二高时间层(TL＝N-1)的画面数据的每个传输单元的标头中，具有值2的信息被记录在携带范围在第二低到第三高时间层(TL＝1，…，N-3，N-2)内的画面数据的每个传输单元的标头中，并且具有值3的信息被记录在携带最低时间层(TL＝0)的画面数据的每个传输单元的标头中。

5.一种解码视频信号的方法，所述方法包括以下步骤：

a)在接收携带经编码的画面数据的每个传输单元的同时。检查所述传输单元的标头中的特定信息；以及

b)根据所述特定信息的值判定所述传输单元中携带的所述画面数据是否为关键画面数据。

6.如权利要求5所述的方法，其特征在于，所述特定信息具有以下之一：在所述传输单元中携带的所述画面数据是关键画面时被分配的第一值，以及根据编码所述画面的多个时间层被分配的不同于所述第一值的多个值。

7.如权利要求6所述的方法，其特征在于，所述特定信息具有2比特大小，所述第一值是3，并且所述不同于第一值的多个值在0到2范围内。

8.如权利要求6所述的方法，其特征在于，还包括以下步骤：

在于步骤a)检查所述特定信息之前，基于所述特定信息的值，根据给定的输出帧速率选择要被传送的传输单元。

9.如权利要求5所述的方法，其特征在于，还包括以下步骤：

c)根据步骤b)关于所述画面数据是否为关键画面数据的判定，使用一以质量基画面重建的画面，或使用一以质量基画面和SNR增强层画面数据两者重建的画面，作为用于将所述传输单元中携带的所述画面数据解码的参考画面。

10.如权利要求5所述的方法，其特征在于，所述传输单元包括网络抽象层(NAL)单元。

11.一种编码视频信号的方法，所述方法包括以下步骤：

在将所述视频信号分为关键和非关键画面的同时，根据指定方案编码所述视频信号；以及

在被编码为关键画面的画面的标头中，记录指示存在存储器管理控制操作的值和指示关键画面的控制操作值两者。

12.如权利要求11所述的方法，其特征在于，所述指示关键画面的控制操作值是大于6的值。

13.一种解码视频信号的方法，所述方法包括以下步骤：

a)在接收经编码的画面数据的同时，根据每个画面的标头判定是否存在存储器管理控制操作；以及

b)如果所述存储器管理控制操作存在，则判定指示关键画面的控制操作值是否存在，并且如果所述控制操作值存在，则判定所述画面是关键画面。

14.如权利要求13所述的方法，其特征在于，所述指示关键画面的控制操作值是大于6的值。

15.如权利要求13所述的方法，其特征在于，所述步骤a)包括在高级视频编解码器(AVC)中定义的adaptive_ref_pic_marking_mode_flag具有值1时，判定所述存储器管理控制操作存在。

16.如权利要求13所述的方法，其特征在于，所述步骤b)包括在所述存储器管理控制操作不存在，或者虽然所述存储器管理控制操作存在但所述指示关键画面的控制操作值不存在时，判定所述画面不是关键画面。

Images