CN104685885B

CN104685885B - 一种在参数集中用信号发送可缩放性信息的方法

Info

Publication number: CN104685885B
Application number: CN201380050595.5A
Authority: CN
Inventors: 萨钦·G·德施潘德
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2012-09-30
Filing date: 2013-09-25
Publication date: 2018-09-07
Anticipated expiration: 2033-09-25
Also published as: EP2901702B1; US20150256838A1; EP2901702A4; CN104685885A; EP2901702A1; HK1212526A1; WO2014050090A1; JP6193365B2; JP2015536052A

Abstract

描述了一种用于在视频参数集中用信号发送可缩放性信息的方法。修改的视频参数集扩展包括与可缩放性维度相组合地使用的可缩放性掩码。可缩放性掩码指示在每个层中是否存在可缩放性维度。

Description

一种在参数集中用信号发送可缩放性信息的方法

技术领域

本发明涉及视频编码和解码。

背景技术

电子设备已变得越来越小且更加强大以便满足消费者的需要并改善便携性和方便性。消费者已变得依赖于电子设备且已开始预期增加的功能。电子设备的某些示例包括台式计算机、膝上型计算机、蜂窝电话、智能电话、媒体播放器、集成电路等。

某些电子设备被用于处理和/或显示数字媒体。例如，便携式电子设备现在允许在消费者可以处于的几乎任何位置处产生和/或消费数字媒体。此外，某些电子设备可提供数字媒体内容的下载或流式传输以供消费者使用和娱乐。

数字视频通常被表示为一系列图像或帧，其中的每一个包含像素数组。每个像素包括信息，诸如强度和/或色彩信息。在许多情况下, 将每个像素表示为三个色彩的组。某些视频编码技术以增加的复杂性为代价提供较高的编码效率。用于视频编码技术的增加的图像质量要求和增加的图像分辨率要求也增加了编码复杂性。

发明内容

技术问题

数字媒体的增加的流行性已呈现出多个问题。例如，高效地表示高质量数字媒体以用于存储、发射以及重放提出多个挑战。更高效地表示数字媒体的技术是有益的。

问题的解决方案

根据本发明，提供了一种用于将视频位流解码的方法，包括：

接收所述视频的多个帧，所述视频包括成组来形成已编码树块的相互邻近的一组编码单元、至少一个片段和至少一个瓦片(tile)，在所述至少一个片段内包括一组已编码的三个区块，在所述至少一个瓦片内包括一组已编码树块，其中，所述至少一个片段和所述至少一个瓦片中的每一个并不全部相互对准，其中，所述至少一个瓦片中的每一个的特征在于其被独立于包括帧内预测信息、运动信息的其它所述至少一个瓦片而被解码，其中，所述至少一个瓦片中的每一个的特征在于其是所述帧的区域，并且具有用于所述解码的编码单元，其中，所述帧的所述至少一个瓦片被按照所述帧的光栅扫描顺序共同地布置。

在结合附图来考虑本发明的以下详细描述时，将更容易地理解本发明的前述及其它目的、特征以及优点。

附图说明

图1是示出包括HEVC编码器的电子设备的一个配置的框图。

图2是示出包括HEVC解码器的电子设备的一个配置的框图。

图3是示出编码器和解码器的一个示例的框图。

图4示出可在电子设备中利用的各种部件。

图5示出示例性片段结构。

图6示出另一示例性片段结构。

图7示出具有片段和9个瓦片的帧。

图8示出具有三个片段和3个瓦片的帧。

图9A示出不同的NAL单元报头语法。

图9B示出不同的NAL单元报头语法。

图9C示出不同的NAL单元报头语法。

图10示出一般NAL单元语法。

图11示出现有视频参数集。

图12示出现有可缩放性类型。

图13示出示例性视频参数集。

图14示出示例性可缩放性映射语法。

图15示出示例性视频参数集。

图16示出现有视频参数集。

图17示出现有尺寸类型、尺寸id语法。

图18示出示例性视频参数集。

图19示出示例性可缩放性映射语法。

图20示出示例性视频参数集。

图21示出示例性视频参数集。

图22示出示例性视频参数集。

图23示出示例性可缩放性掩码语法。

图24示出示例性视频参数集扩展语法。

图25示出示例性视频参数集扩展语法。

图26示出示例性视频参数集扩展语法。

图27示出示例性视频参数集扩展语法。

图28示出示例性视频参数集扩展语法。

图29示出示例性视频参数集扩展语法。

具体实施方式

国际电信联盟电信标准化部门(ITU-T)研究组16(SG16)工作小组3(WP3)和国际标准化组织/国际电工委员会(ISO/IEC)联合技术委员会1/小组委员会29/工作组11(JTC1/SC29/WG11)的视频编码联合合作组(JCT-VC)已针对称为高效率视频编码标准(HEVC)的视频编码标准投入了标准化努力。HEVC使用基于块的编码。

在HEVC中，使用熵编码技术上下文自适应二进制算术编码 (CABAC)来在没有损耗的情况下压缩已变换已量化系数(TQC)。 TQC可根据变换尺寸(例如4×4、8×8、16×16、32×32)而来自不同的块尺寸。

可在熵编码之前将二维(2D)TQC转换成一维(1D)数组。在一个示例中，可如表(1)中所示地布置4×4块中的2D数组TQC。

[表1]

4	0	1	0
				3	2	-1	…
-3	0	…	…
				0	…	…	…

表1

当将2D TQC转换成1D数组时，可以对角线锯齿形方式来扫描块。继续本示例，可通过扫描第一行和第一列、第一行和第二列、第二行和第一列、第三行和第一列、第二行和第二列、第一行和第三列、第一行和第四列、第二行和第三列、第三行和第二列、第四行和第一列等来将表(1)中所示的2D数组TQC转换成1D数组TQC[4,0,3,-3,2, 1,0,-1,0,...]。

HEVC中的编码程序可例如如下进行。可根据扫描位置而将1D数组中的TQC排序。可确定最后有效系数和最后有效水平的扫描位置。可对最后有效系数进行编码。应注意的是通常可按照反向扫描顺序对系数进行编码。可执行运行水平编码，其对关于相同数目和/或位的运行的信息进行编码而不是对数目本身进行编码，其在最后系数编码之后被直接地激活。然后，可执行水平编码。术语有效系数指的是具有大于零的系数水平值的系数。系数水平值指示已变换已量化系数 (TQC)值的量值(或绝对值)的唯一指示符。

此程序可在表(2)中示为以上示例的继续(具有1D数组TQC[4, 0,3,-3,2,1,0,-1,0,...])。

[表2]

扫描位置	0	1	2	3	4	5	6	7	…
										系数水平	4	0	3	-3	2	1	0	-1	…
最后位置								7
										最后系数水平								-1
运行水平编码					2	1	0
										水平编码	4	0	3	-3

表(2)

在表(2)中，例如，在扫描位置7处的系数水平-1可以是最后非零系数。因此，最后位置是扫描位置7且最后系数水平是-1。可针对扫描位置6、5和4处的系数0、1和2执行运行水平编码(其中，按照反向扫描顺序对系数进行编码)。然后，可对系数水平-3、3、0和4 执行水平编码。

图1是示出其中可对视频进行编码的电子设备102的一个配置的框图。应注意的是可用硬件、软件或两者的组合来实现被示为包括在电子设备102内的元件中的一个或多个。例如，电子设备102包括编码器108，其可用硬件、软件或两者的组合来实现。例如，可将编码器 108实现为电路、集成电路、专用集成电路(ASIC)、与具有可执行指令的存储器进行电子通信的处理器、固件、现场可编程门阵列 (FPGA)等或其组合。在某些配置中，编码器108可以是高效率视频编码(HEVC)编码器。

电子设备102可包括供应器104。供应器104可提供图片或图像数据(例如，视频)作为到编码器108的源106。供应器104的示例包括图像传感器、存储器、通信接口、网络接口、无线接收器、端口等。

可将源106提供给帧内预测模块和重构缓冲器110。还可将源106 提供给运动估计和运动补偿模块136和减法模块116。

帧内预测模块和重构缓冲器110可基于源106和重构数据150而生成帧内模式信息128和帧内信号112。运动估计和运动补偿模块136 基于源106和参考图片缓冲器166信号168而生成帧间模式信息138 和帧间信号114。参考图片缓冲器166信号168可包括来自存储在参考图片缓冲器166中的一个或多个参考图片的数据。

编码器108可根据模式而在帧内信号121与帧间信号114之间进行选择。可使用帧内信号112以便在帧内编码模式下利用图片内的空间特性。可使用帧间信号114以便在帧间编码模式下利用图片之间的时间特性。在处于帧内编码模式下的同时，可向减法模块116提供帧内信号112并可向熵编码模块130提供帧内模式信息128。在处于帧间编码的同时，可向减法模块116提供帧间信号114并可向熵编码模块 130提供帧间模式信息138。

在减法模块116处从源106减去帧内信号112或帧间信号114(取决于模式)以便产生预测残差118。预测残差118被提供给变换模块 120。变换模块120可压缩预测残差118以产生提供给量化模块124的已变换信号122。量化模块124将已变换信号122量化以产生已变换已量化系数(TQC)126。

TQC 126被提供给熵编码模块130和逆量化模块140。逆量化模块140对TQC 126执行逆量化以产生被提供给逆变换模块144的逆量化信号142。逆变换模块144将逆量化信号142解压缩以产生被提供给重构模块148的解压缩信号146。

重构模块148可基于解压缩信号146而产生重构数据150。例如，重构模块148可重构(已修改)图片。可将重构数据150提供给去块滤波器152和帧内预测模块和重构缓冲器110。去块滤波器152可基于重构数据150而产生已滤波信号154。

可将已滤波信号154提供给样本自适应偏移(SAO)模块156。 SAO模块156可产生被提供给熵编码模块130的SAO信息158和被提供给自适应循环滤波器(ALF)162的SAO信号160。ALF 162产生被提供给参考图片缓冲器166的ALF信号164。ALF信号164可包括来自可用作参考图片的一个或多个图片的数据。在某些情况下，可省略 ALF 162。

熵编码模块130可对TQC 126进行编码以产生位流134。如上所述，可在熵编码之前将TQC 126转换成1D阵列。并且，熵编码模块 130可使用CAVLC或CABAC对TQC 126进行编码。特别地，熵编码模块130可基于帧内模式信息128、帧间模式信息138和SAO信息158 中的一个或多个对TQC 126进行编码。位流134可包括已编码图片数据。

在诸如HEVC之类的视频压缩中涉及到的量化是通过将一定范围的值压缩成单个量子值而实现的有损压缩技术。量化参数(QP)是用来基于重构视频的质量和压缩比两者来执行量化的预定义比例参数。在HEVC中将块类型定义成基于块尺寸及其色彩信息来表示给定块的特性。可在熵编码之前确定QP、分辨率信息和块类型。例如，电子设备102(例如，编码器108)可确定可提供给熵编码模块130的QP、分辨率信息和块类型。

熵编码模块130可基于TQC 126的块来确定块尺寸。例如，块尺寸可以是沿着TQC的块的一个维度的TQC 126的数目。换言之，TQC 的块中的TQC 126的数目可等于块尺寸的平方。另外，块可以是非正方形的，其中，TQC 126的数目是块的高度乘以宽度。例如，可将块尺寸确定为TQC块中的TQC 126的数目的平方根。可将分辨率定义为像素宽度乘以像素高度。分辨率信息可包括用于图片宽度、用于图片高度或两者的像素数目。可将块尺寸定义为沿着TQC的2D块的一个维度的TQC的数目。

在某些配置中，可将位流134发射到另一电子设备。例如，可将位流134提供给通信接口、网络接口、无线发射机、端口等。例如，可经由局域网(LAN)、互联网、蜂窝式电话基站等将位流134发射到另一电子设备。可另外或替换地将位流134存储在电子设备102上的存储器中。

图2是示出包括解码器272的电子设备270的一个配置的框图，解码器272可以是高效率视频编码(HEVC)解码器。可用硬件、软件或两者的组合来实现解码器272和被示为包括在解码器272中的元件中的一个或多个。解码器272可接收用于解码的位流234(例如，包括在位流234中的一个或多个已编码图片)。在某些配置中，接收位流 234可包括接收开销信息，诸如接收片段报头、接收图片参数集(PPS)、接收缓冲器描述信息、分类指示符等。

可由熵解码模块274对来自位流234的接收符号(例如，已编码 TQC)进行熵解码。这可产生运动信息信号298及已解码已变换已量化系数(TQC)278。

可在可产生帧内预测信号296的运动补偿模块294处将运动信息信号298与来自帧存储器290的已解码图片292的一部分组合。已解码已变换已量化系数(TQC)278可被逆量化和逆变换模块280逆量化和逆变换，从而产生已解码残差信号282。可由加法模块207将已解码残差信号282与预测信号205相加以产生组合信号284。预测信号205 可以是选自由运动补偿模块294产生的帧间预测信号296或由帧内预测模块201产生的帧内预测信号203的信号。在某些配置中，此信号选择可基于位流234(例如，由其控制)。

可根据来自组合信号284的先前解码信息(例如在当前帧中)来预测帧内预测信号203。还可由去块滤波器286对组合信号284进行滤波。可将得到的已滤波信号288提供给样本自适应偏移(SAO)模块 231。基于来自熵解码模块274的已滤波信号288和信息239，SAO模块231可产生被提供给自适应循环滤波器(ALF)233的SAO信号235。 ALF 233产生被提供给帧存储器290的ALF信号237。ALF信号237 可包括来自可用作参考图片的一个或多个图片的数据。可将ALF信号 237写入帧存储器290。得到的ALF信号237可包括已解码图片。在某些情况下，可省略ALF 233。

帧存储器290可包括已解码图片缓冲器(DPB)。帧存储器290 还可包括对应于已解码图片的开销信息。例如，帧存储器290可包括片段报头、图片参数集(PPS)信息、循环参数、缓冲器描述信息等。可从编码器(例如，编码器108)用信号发送这些信息片中的一个或多个。

帧存储器290可向运动补偿模块294提供一个或多个已解码图片 292。此外，帧存储器290可提供可从解码器272输出的一个或多个已解码图片292。例如，可在显示器上呈现、在存储器中存储或向另一设备发射一个或多个已解码图片292。

图3是示出编码器308和解码器372的一个示例的框图。在本示例中，示出电子设备A 302和电子设备B 370。然而，应注意的是在某些配置中可以将与电子设备A 302和电子设备B 370有关描述的特征和功能组合成单个电子设备。

电子设备A 302包括编码器308。可用硬件、软件或两者的组合来实现编码器308。在一个配置中，编码器308可以是高效率视频编码(HEVC)编码器。可同样地使用其它编码器。电子设备A 302可获得源306。在某些配置中，可用图像传感器在电子设备A 302上捕捉、从存储器检索或从另一电子设备接收源306。

编码器308可对源306进行编码以产生位流334。例如，编码器 308可对源306中的一系列图片(例如，视频)进行编码。编码器308 可类似于上文结合图1所述的编码器108。

位流334可包括基于源306的已编码图片数据。在某些配置中，位流334还可包括开销数据，诸如片段报头信息、PPS信息等。由于源 306中的附加图片被编码，所以位流334可包括一个或多个已编码图片。

可将位流334提供给解码器372。在一个示例中，可使用有线或无线链路将位流334发射到电子设备B 370。在某些情况下，这可通过网络来完成，诸如互联网或局域网(LAN)。如图3中所示，可与电子设备A 302上的编码器308分开地在电子设备B 370上实现解码器 372。然而，应注意的是在某些配置中，可在同一电子设备上实现编码器308和解码器372。在其中在同一电子设备上实现编码器308和解码器372的实施方式中，例如，可通过总线将位流334提供给解码器372 或存储在存储器中以供解码器372检索。

可用硬件、软件或两者的组合来实现解码器372。在一个配置中，解码器372可以是高效率视频编码(HEVC)解码器。可同样地使用其它解码器。解码器372可类似于上文结合图2所述的解码器272。

图4示出可在电子设备409中利用的各种部件。可将电子设备409 实现为电子设备中的一个或多个。例如，可将电子设备409实现为上文结合图1所述的电子设备102、上文结合图2所述的电子设备270或两者。

电子设备409包括控制电子设备409的操作的处理器417。还可将处理器417称为CPU。可包括只读存储器(ROM)、随机存取存储器(RAM)两者或可存储信息的任何类型的设备的存储器411向处理器417提供指令413a(例如，可执行指令)和数据415a。存储器411 的一部分还可包括非易失性随机存取存储器(NVRAM)。存储器411 可与处理器417进行电子通信。

指令413b和数据415b还可常驻于处理器417中。被加载到处理器417中的指令413b和/或数据415b还可包括来自存储器411的指令 413a和/或数据415a，其被加载以供处理器417执行或处理。可由处理器417来执行指令413b以实现本文公开的一个或多个技术。

电子设备409可包括用于与其它电子设备通信的一个或多个通信接口419。通信接口419可基于有线通信技术、无线通信技术或两者。通信接口419的示例包括串行端口、并行端口、通用串行总线(USB)、以太网适配器、IEEE 1394总线接口、小型计算机系统接口(SCSI)、总线接口、红外(IR)通信端口、蓝牙无线通信适配器、根据第三代合作伙伴计划(3GPP)规范的无线收发机等。

电子设备409可包括一个或多个输出设备423和一个或多个输入设备421。输出设备423的示例包括扬声器、打印机等。可包括在电子设备409中的输出设备的一个类型是显示设备425。以本文公开的配置使用的显示设备425可利用任何适当的图像投影技术，诸如阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、气体等离子体、场致发光等。可提供用于将存储在存储器411中的数据转换成在显示器425上显示的文本、图形和/或活动图像(视情况而定)的显示控制器427。输入设备412的示例包括键盘、鼠标、扩音器、遥控设备、按钮、操纵杆、轨迹球、触控板、触摸屏、光笔等。

电子设备409的各种部件被总线系统429耦合在一起，除数据总线之外，其还可包括电力总线、控制信号总线和状态信号总线。然而，为了明了起见，在图4中将各种总线示为总线系统429。图4中所示的电子设备409是功能框图而不是特定部件列表。

术语“计算机可读介质”指的是可以被计算机或处理器访问的任何可用介质。本文所使用的术语“计算机可读介质”可表示非临时且有形的计算机和/或处理器可读介质。以示例而非限制的方式，计算机可读或处理器可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘储存器、磁盘存储器或其它磁存储器件或者可以用来以指令或数据结构的形式承载或存储期望程序代码且可以被计算机或处理器访问的任何其它介质。如本文所使用的磁盘和磁碟包括紧凑式磁盘 (CD)、激光磁盘、光盘、数字多功能磁盘(DVD)、软盘和Blu-ray (注册商标)磁盘，其中，磁盘通常以磁性方式再现数据，而磁碟用激光器以光学方式再现数据。可将用于解码器和/或编码器的代码存储在计算机可读介质上。

可将包括多个已编码树块(例如，在本文中一般地称为块)的输入图片分区成一个或多个片段。可在不适用来自其它片段的数据的情况下适当地对片段所表示的图片区域中的样本的值进行解码，条件是在编码器和解码器处所使用的参考图片是相同的，并且去块滤波不使用跨片段边界的信息。因此，用于片段的上解码和块重构并不取决于其它片段。特别地，可在每个片段开始时将熵编码状态重置。当定义用于熵解码和重构的近邻可用性时，可将其它片段中的数据标记为不可用。可并行地对片段进行熵解码和重构。优选地跨片段的边界不允许帧内预测和运动矢量预测。相反地，去块滤波可使用跨片段边界的信息。

图5示出包括在水平方向上的十一个块和在垂直方向上的九个块 (标记为501—509的九个示例性块)的示例性视频图像500。图5示出三个示例性片段：表示为“SLICE#0”520的第一片段、表示为“SLICE #1”530的第二片段和表示为“SLICE#2”540的第三片段。解码器可并行地对三个片段520、530、540进行解码和重构。可以连续方式按照扫描行顺序来发射每个片段。在用于每个片段的解码/重构过程开始时，将上下文模型初始化或重置，并将其它片段中的块标记为不可用于熵解码和块重构两者。上下文模型一般地表示熵编码器和/或解码器的状态。因此，针对块，例如“SLICE#1”中的标记为503的块，可不将“SLICE#0”中的块(例如，标记为501和502的块用于上下文模型选择或重构。而对于块、例如“SLICE#1”中的标记为505的块而言，可将“SLICE#1”中的其它块(例如，标记为503和504的块)用于上下文模型选择或重构。因此，熵解码和块重构在片段内串行地进行。除非使用灵活块排序(FMO)来定义片段，按照光栅扫描的顺序来处理片段内的块。

图6描述了到三个片段组的示例性块分配：表示为“SLICE GROUP#0”550的第一片段组、表示为“SLICE GROUP#1”560的第二片段组和表示为“SLICE GROUP#2”570的第三片段组。可使这些片段组550、560、570分别地与图片580中的两个前台区和后台区相关联。

如图5中所示的片段的布置可局限于按照图像扫描顺序、也称为光栅扫描或光栅扫描顺序来定义一对块之间的每个片段。扫描顺序片段的此布置是计算上高效的，但是并不趋向于有助于非常高效的并行编码和解码。此外，片段的此扫描顺序定义也不趋向于将图像的较小局部化区域一起分组，其可能具有非常适合于编码效率的公共特性。如图6中所示的片段的布置在其布置方面是高度灵活的，但是并不趋向于有助于非常高效的并行编码或解码。此外，片段的此高度灵活的定义在解码器中实现起来是计算上复杂的。

参考图7，瓦片技术将图像划分成一组矩形(包括正方形)区域。按照光栅扫描顺序对每个瓦片内的块(替换地在某些系统中称为最大编码单元或已编码树块)进行编码和解码。同样地按照光栅扫描顺序对瓦片的布置进行编码和解码。因此，可存在任何适当数目的列边界 (例如，0个或更多)，并且可存在任何适当数目的行边界(例如，0 个或更多)。因此，帧可定义一个或多个片段，诸如图7中所示的那个片段。在某些实施例中，位于不同瓦片中的块不可用于帧内预测、运动补偿、熵编码上下文选择或依赖于相邻块信息的其它过程。

参考图8，示出了将图像划分成一组三个矩形列的瓦片技术。按照光栅扫描顺序对每个瓦片内的块(替换地在某些系统中称为最大编码单元或已编码树块)进行编码和解码。按照光栅扫描顺序对瓦片进行编码和解码。可按照瓦片的扫描顺序来定义一个或多个片段。每个片段可独立地解码。例如，可将片段1定义为块1—9，可将片段2定义为包括块10—28，并且可将块3定义为包括跨越三个瓦片的块29— 126。瓦片的使用通过在帧的更局部化区域中处理数据来促进编码效率。

应理解的是在某些情况下，视频编码可以可选地不包括瓦片，并且可以可选地包括用于视频帧的波前编码/解码模式的使用。以这种方式，可以并行方式对视频的一个或多个行(诸如宏块的一个或多个行的多个群组(或替换地已编码树块))进行编码/解码，该群组中的每一个表示波前子流。一般地，可以任何适当方式来构造视频的分区。

视频编码标准常常将视频数据压缩以便以有限的频率带宽和/或有限的存储容量通过信道来传输。这些视频编码标准可包括多个编码级，诸如帧内预测、从空间域到频率域的变换、量化、熵编码、运动估计以及运动补偿，以便更有效地对帧进行编码和解码。许多编码和解码级常常是在计算上过度复杂的。

已开发了各种可缩放视频编码技术。在可缩放视频编码中，主要位流(一般地称为基础层位流)被解码器接收。另外，解码器可接收一个或多个次要位流(一般地称为增强层)。每个增强层的功能可以是：改善基础层位流的质量；改善基础层位流的帧速率；和/或改善基础层位流的像素分辨率。质量可缩放性也称为信噪比(SNR)可缩放性。帧速率可缩放性也称为时间可缩放性。分辨率可缩放性也称为空间可缩放性。

增强层可以改变基础层位流的其它特征。例如，可以使增强层和与基础层不同的纵横比和/或观察角相关联。增强层的另一方面是基础层和增强层可对应于不同的视频编码标准，例如基础层可以是MPEG-2 (运动图片专家组2)且增强层可以是HEVC-Ext(高效率视频编码扩展)。

[数学1]

在层之间可以定义排序。例如：

基础层(最低)[层0]

增强层0[层1]

增强层1[层2]

…

增强层n(最高)[层n+1]

增强层给可对彼此具有相关性(除基础层之外)。在示例中，只有如果增强层1的至少一部分已被成功地解析和/或重构(且基础层的至少一部分已被成功地解析和/或重构)，则增强层2才是可使用的。

已编码视频的位流可包括被放置到一般地称为网络抽象层(NAL) 单元的逻辑数据分组中的语法结构。每个NAL单元包括NAL单元报头，诸如双字节NAL单元报头(例如，16位)，以识别关联数据有效负荷的目的。例如，可以以一个或多个片段(和/或图片)NAL为单位对每个已编码片段(和/或图片)进行编码。可包括用于数据的其它种类的其它NAL单元，例如补充增强信息、时间子层访问(TSA)图片的已编码片段、逐步时间子层访问(STSA)图片的已编码片段、非TSA 的已编码片段、非STSA拖尾图片、断开链接访问图片的已编码片段、即时已解码刷新图片的已编码片段、清除随机访问图片的已编码片段、可解码前导图片的已编码片段、被针对丢弃图片而标记的已编码片段、视频参数集、序列参数集、图片参数集、访问单元界定符、序列结尾、位流结尾、填充数据和/或序列增强信息消息。根据期望，可包括其它 NAL单元类型。

随机访问点图片(RAP)图片仅包含I片段，并且可以是断开链接访问(BLA)图片、清除随机访问(CRA)图片或即时解码刷新(IDR) 图片。位流中的第一图片是RAP图片。

断开链接访问图片(BLA)图片是RAP图片的一个类型。BLA图片仅包含I部分，并且可以是解码顺序中的位流中的第一图片，或者可在位流中较晚出现。每个BLA图片开始新的已编码视频序列，并且对解码过程具有与IDR图片相同的作用。然而，BLS图片包含如果其替代地为CRA图片则将指定非空参考图片集的语法元素。当在位流中遇到BLA图片时，这些语法元素被忽视，并且参考图片集被替代地初始化为空集。

清除随机访问(CRA)图片是RAP图片的一个类型。CRA图片仅包含I片段，并且可以是解码顺序中的位流中的第一图片，或者可在位流中较晚出现。CRA图片可具有关联可解码前导图片(DLP)且针对丢弃(TFD)图片被标记。

即时解码刷新(IDR)图片是一种RAP图片。IDR图片仅包含I 片段，并且可以是解码顺序中的位流中的第一图片，或者可在位流中较晚出现。每个IDR图片是解码顺序中的已编码视频序列中的第一图片。

可解码前导图片(DLP)是前导图片。DLP图片未被用作用于同一关联RAP图片的拖尾图片的解码过程的参考图片。

被标记为丢弃(TFD)的图片是关联BLA或CRA图片的前导图片。当关联RAP图片是BLA图片或位流中的第一已编码图片时，不输出TFD图片且可能是不可正确解码的，因为TFD图片可包含对在位流中不存在的参考图片的参考。

前导图片是在输出顺序中在关联RAP图片前面的图片。

拖尾图片是在输出顺序中在关联RAP图片后面的图片。

NAL单元提供用以将表示图片内容的视频编码层(VCL)数据映射到各种传输层上的能力。可分别地根据去是否包含已编码图片或其它关联数据而将NAL单元分类成VCL和非VCL NAL单元。B.Bros、 W-J.Han、J-R.Ohm、G.J.Sullivan和T-.Wiegand在2012年7月斯德哥尔摩的JCTVC-J10003中的“High efficiency video coding(HEVC)text specificationdraft 8”；Ye-Kui Wang在20127月的JCTVC-J00574中的“BoG on high-level syntax forextension planning”；以及Ye-Kui Wang 在20127月的JCTVC-J00574r1中的“BoG onhigh-level syntax for extension planning”被整体地通过引用结合到本文中。

参考图9A，NAL单元报头语法可包括两个字节数据，即16位。第一位是“forbidden_zero_bit”，其在NAL单元开始时始终被设置成零。接下来的六位是“nal_unit_type”，其指定包含在NAL单元中的原始字节序列有效负荷(“RBSP”)数据结构的类型。接下来的6位是“nuh_reserved_zero_6bits”。nuh_reserved_zero_6bits可在标准的基础规范中可等于0。可根据期望来指定nuh_reserved_zero_6bits的其它值。解码器可在基于标准的基础规范来处理流时忽视(即，从位流去除并丢弃)具有不等于0的nuh_reserved_zero_6bits的值的所有NAL 单元。在可缩放或其它扩展中，nuh_reserved_zero_6bits可指定其它值，以用信号发送可缩放视频编码和/或语法扩展。在某些情况下，可将语法元素nuh_reserved_zero_6bits称为reserved_zero_6bits。在某些情况下，可将语法元素nuh_reserved_zero_6bits称为layer_id_plus1或 layer_id，如图9B和图9C中所示。在这种情况下，元素layer_id将是 layer_id_plus1减1。在这种情况下，其可用来用信号发送与可缩放已编码视频层有关的信息。下一语法元素是“nuh_temporal_id_plus1”。nuh_temporal_id_plus1减1可指定用于NAL单元的时间标识符。可将可用时间标识符TemporalId指定为TemporalId nuh_temporal_id_plus1-1。

参考图10，示出一般NAL单元语法结构。在对图10的 nal_unit_header()的参考中包括图9的NAL单元报头双字节语法。NAL 单元语法的其余部分主要涉及RBSP。

用于使用“nuh_reserved_zero_6bits”的一个现有技术是通过将 nuh_reserved_zero_6bits的6位划分成不同的位字段、即相关性ID、质量ID、视图ID以及深度标志(其中的每一个指的是可缩放已编码视频的不同层的标识)中的一个或多个来用信号发送可缩放视频编码信息。因此，该6个位指示此特定NAL单元属于可缩放编码技术的什么层。然后，在数据有效负荷中，诸如图11中所示的视频参数集(“VPS”) 扩展语法(“scalability_type”)，定义关于该层的信息。图11的VPS 扩展语法包括用于可缩放性类型(语法元素scalability_type)的4个位，其指定已编码视频序列中的使用中的可缩放性类型和通过NAL单元报头中的layer_id_plus1(或layer_id)用信号发送的维度。当可缩放性类型等于0时，已编码视频序列遵守基础规范，因此所有NAL单元的 layer_id_plus1等于0且不存在属于增强层或视图的NAL单元。如图 12中所示地解释可缩放性类型的较高值。

layer_id_dim_len[i]以位为单位指定第i可缩放性维度ID的长度。用于0至7范围内的所有i值的值layer_id_dim_len[i]的和小于或等于6。 vps_extension_byte_alignment_reserved_zero_bit是零。vps_layer_id[i] 指定以下层相关性信息适用的第i层的layer_id的值。 num_direct_ref_layers[i]指定第i层直接地取决于的层数。 ref_layer_id[i][j]识别第i层直接地取决于的第j层。

以这种方式，现有技术在NAL单元中和视频参数集中用信号发送可缩放性标识符以在图12中所列的可缩放性类型当中分配位。然后，针对每个可缩放性类型，图12定义支持多少维度。例如，可缩放性类型1具有2个维度(即，空间和质量)。针对每个维度，layer_id_dim_len[i] 定义分配给这两个维度中的每一个的位数，其中，layer_id_dim_len[i]的所有值的总和小于或等于6，其为NAL单元报头中的 nuh_reserved_zero_6bits的位数。因此，以组合方式，该技术识别在使用哪种类型的可缩放性和如何在该可缩放性当中分配NAL单元报头的 6位。

虽然如图12中所示的不同可缩放性维度的此类固定组合适合于许多应用，但存在未包括的期望组合。参考图13，已修改视频参数集扩展语法指定用于nuh_reserved_zero_6bits语法元素中的每个位的可缩放性类型。vps_extension_byte_alignment_reserved_zero_bit被设置成0。 max_num_layers_minus1_bits指示被用于称为layer_id_plus1或 nuh_reserved_zero_6bits的、图9中的NAL单元报头的前两个字节中的语法元素的总位数。scalability_map[i]指定用于layer_id_plus1语法元素中的每位的可缩放性类型。在某些情况下，可替代地将layer_id_plus1 语法元素称为nuh_reserved_zero_6bits或rserved_zero_6bits语法元素。用于语法元素layer_id_plus1的所有位的可缩放性映射一起指定已编码视频序列中的在使用中的可缩放性。通过NAL单元报头中的layer_id_plus1(nuh_reserved_zero_6bits)字段中的那些相应位来用信号发送用于每个可缩放性类型的标识符的实际值。当对于i的所有值而言scalability_map[i]等于0时，已编码视频序列最受基础规范，因此NAL单元的layer_id_plus1值等于0且不存在属于增强层或视图的NAL 单元。vps_layer_id[i]指定以下层相关性信息适用的第i层的layer_id的值。num_direct_ref_layers[i]指定第i层直接地取决于的层数。 ref_layer_id[i][j]识别第i层直接地取决于的第j层。

如图14中所示地解释scalability_map[i]的较高值。可缩放性映射 [i]包括(0)无；(1)空间；(2)质量；(3)深度；(4)多视图； (5)未指定；(6)保留；以及(7)保留的可缩放性维度。

因此，基于可缩放性维度是什么(例如，无、空间质量、深度、多视图、未指定、保留)的视频参数集中的3个位解释NAL单元报头中的每位。例如，为了用信号发送layer_id_plus1中的所有位对应于空间可缩放性，可将VPS中的scalability_map值编码为用于NAL单元报头的6位的001 001 001 001 001 001。并且，例如，为了用信号发送 layer_id_plus1中的3位对应于空间可缩放性且3位对应于质量可缩放性，可将VPS中的scalability_map值编码为用于NAL单元报头的6位的001001001010010010。

参考图15，另一实施例包括使用 num_scalability_dimensions_minus1来用信号发送NAL单元报头的6位中的可缩放性维度的数目的视频参数集。 num_scalability_dimensions_minus1加1指示通过layer_id_plus1； nuh_reserved_zero_6bits；和/或reserved_zero_6bits语法元素用信号发送的可缩放性维度的数目。scalability_map[i]具有与如上文相对于图13 所述相同的语义。num_bits_for_scalability_map[i]指定用于第i可缩放性维度的位的长度。用于i＝0,...num_scalability_dimensions_minus1 的所有num_bits_for_scalability_map[i]的和等于六(或者等于被用于 layer_id_plus1；vps_reserved_zero_6bits；max_num_layers_minus1； reserved_zero_6bits；nuh_reserved_zero_6bits语法元素的位数)。

相对于图13和图15，如果期望的话，可使用其它变化。例如在一个示例中，可用u(4)(或u(n)，n>3或n<3)来用信号发送 scalability_map[i]。在这种情况下，可将scalability_map[i]的较高值指定为保留给遵守视频技术的特定简档的位流。例如，当用u(4)来用信号发送scalability_map[i]时，可将可缩放性映射值6...15指定为“保留”。在例如另一实施例中，可用ue(v)或某个其它编码方案来用信号发送 scalability_map[i]。在例如另一实施例中，可指定限制，使得按照单调非递减(或非递增)顺序来排列scalability_map[i]值。这导致NAL单元报头中的layer_id_plus1字段中的各种可缩放性维度字段是邻近的。

用于使用“layer_id_plus1”或“nuh_reserved_zero_6bits”语法元素来用信号发送可缩放视频编码的另一现有技术是通过用信号发送视频参数集中的一般查找表而将NAL单元报头中的layer_id_plus1映射到层标识。参考图16，现有技术包括指定维度类型的数目和用于查找表的第i层的维度标识的视频参数集。特别地， vps_extension_byte_alignment_reserved_zero_bit是零。 num_dimensions_minus1[i]加1指定用于第i层的维度类型的数目 (dimension_type[i][j])和维度标识符(dimension_id[i][j])。dimension_type[i][j]指定第i层的第j可缩放性维度类型，其具有等于i 的layer_id或layer_id_plus1，如图17中所指定的。如图17中所示，所识别的维度包括(0)视图顺序idx；(1)深度标志；(2)相关性 ID；(3)质量ID；(4)—(15)保留。dimension_id[i][j]指定第i层的第j可缩放性维度类型的标识符，其在不存在时被推断为0。 num_direct_ref_layers[i]指定第i层直接地取决于的层数。 ref_layer_id[i][j]识别第i层直接地取决于的第j层。遗憾的是，图16 中所示的提议实施例导致难处理的大查找表。

参考图18，已修改视频参数集扩展包括与可缩放性维度相组合地使用的可缩放性掩码。scalability_mask[i]用信号发送0和1位的图案，每位对应于如图19的可缩放性映射语法所指示的一个可缩放性维度。用于特定可缩放性维度的1的值指示在此层(第i层中)存在此可缩放性维度。用于特定可缩放性维度的0的值指示在此层(第i层中)不存在此可缩放性维度。例如，00100000的一组位指的是质量可缩放性。由用信号发送的scalability_id[j]值来指示存在的特定可缩放性维度的实际标识符值。num_scalability_types[i]的值等于具有1的值的 scalability_mask中的位数的和。因此

[数学2]

scalability_id[j]指示用于用scalability_mask值以信号发送的可缩放性值类型的第j可缩放性维度的标识符值。

参考图20，图18的修改包括在环路外面用信号发送的可缩放性掩码。这导致用于每个层标识的一个公共掩码。参考图21，在此修改中，相应的示例性视频参数集可包括可缩放标识，其中不包括可缩放性掩码。在这种情况下，语法元素scalability_id[j]具有与图18中的与语法元素scalability_id[j]相同的解释。

参考图22，图18的修改包括在环路外面用信号发送的可缩放性掩码(scalability_mask)。这导致用于每个层标识的一个公共掩码。 scalability_mask[i]用信号发送0和1位的图案，其中每位对应于如图 23的可缩放性映射语法所指示的一个可缩放性维度。用于特定可缩放性维度的1的值指示在此层(第i层中)存在此可缩放性维度。用于特定可缩放性维度的0的值指示在此层(第i层中)不存在此可缩放性维度。例如，00100000的一组位指的是质量可缩放性。由用信号发送的 scalability_id[j]值来指示存在的特定可缩放性维度的实际标识符值。 num_scalability_types[i]的值等于具有1的值的scalability_mask中的位数的和。因此

[数学3]

在这种情况下，将scalability_id[j]变量替代地称为 dimension_id[i][j]变量。dimension_id[i][j]指定为第i层的第j可缩放性维度的可缩放性标识符。然后如下导出可变Scalabilityld[i][j]。

[数学4]

其中，scalabilityid[i][k]如下用信号发送用于相应可缩放性类型的维度ID。

[表3]

k	ScalabilityId[i][k]
		0	Dependencyld[i][k]
1	Qualityld[i][k]
		2	depthFlag[i][k]
3	Viewld[i][k]
		4-15	保留

其中，ScalabilityId[i][0]是用于针对第i层的空间可缩放性维度的相关性ID，ScalabilityId[i][1]是用于针对第i层的质量可缩放性维度的质量ID，ScalabilityId[i][2]是用于针对第i层的深度可缩放性维度的深度标志/深度ID，并且scalabilityid[i][3]是用于针对第i层的多视图可缩放性维度的视图ID。

并且，在图22中，avc_base_codec_flag等于1指定基础层遵守 Rec.ITU-T H.264|ISO/IEC 14496-10，并且avc_base_codec_flag等于1 指定HEVC。vps_nuh_layer_id_presnet_flag指示是否用信号发送了 layer_id_in_nuh[i]变量，其用信号发送NAL单元报头中的layer_id的值。

在另一实施例中，可使用与u(8)不同的位数来用信号发送语法元素scalability_mask[i]、scalability_mask、scalability_id[j]中的一个或多个。例如，其可以用u(16)(或u(n)，n>8或n<8)来用信号发送。在另一实施例中，可以用ue(v)来用信号发送这些语法元素中的一个或多个。在另一实施例中，可以在layer_id_plus1；vps_reserved_zero_6bits； max_num_layers_minus1；reserved_zero_6bits；和/或 nuh_reserved_zero_6bits语法元素中的NAL单元报头来用信号发送 scalability_mask。在某些实施例中，该系统可不仅针对VPS NAL单元、而且针对非VPS、NAL单元或针对所有NAL单元做这些。在另一实施例中，可针对位流中的任何位置上的每个图片用信号发送scalability_mask。例如，可其在片段报头、图片参数集、视频参数集或任何其它参数集或位流的任何其它标准部分中用信号发送。

应注意的是图13、15、18、20、21、22、23和相应描述参考6位，因为图9的NAL单元报头中的语法元素nuh_reserved_zero_6bits或 layer_id_plus1具有6位。然而，如果该语法元素使用与6位不同的位数，则可以适当地修改所有以上描述。例如，如果该语法元素(nuh_reserved_zero_6bits或layer_id_plus1)替代地使用9位，则在图 13中，max_num_layer_minus1位的值将是9且将针对9位而不是6位中的每一个用信号发送scalability_map[i]。

参考图24，图22的修改提供用于用信号发送层相关性信息的语法。定义新的语法元素layer_dependency_information_pattern。

layer_dependency_information_pattern用信号发送0和1位的图案，长度等于vps_max_layers_minus1。用于第i位的0的值指示具有layer_id (i+1)的层是独立层。用于第i位的1的值指示具有layer_id(i+1) 的层是取决于其它层中的一个或多个的从属层。

NumDepLayers的值等于具有1的值的 layer_dependency_information_pattern中的位数的和。因此

[数学5]

参考图25，图22的修改提供用于用信号发送层相关性信息的语法。定义新的语法元素layer_dependency_flag[i]。 layer_dependency_flag[i]用信号发送层是否取决于其它层。用于标志的 0的值指示具有layer_id i的层是独立层。用于第i位的1的值指示具有 layer_id i的层是从属层。

参考图26，图22的修改提供用于用信号发送层相关性信息的语法。定义新的语法元素layer_dependency_map[i]。 layer_dependency_map[i]用信号发送0和1位的图案，长度等于 vps_max_layers_minus1。用于layer_dependency_map[i]的第k位的0的值指示层i并不取决于具有layer_id(k+1)的层。用于 layer_dependency_map[i]的第k位的1的值指示层i取决于具有layer_id (k+1)的层。

参考图27，图22的修改提供用于用信号发送层相关性信息的语法。定义新的语法元素layer_dependency_information_pattern。 layer_dependency_information_pattern用信号发送0和1位的图案，长度等于vps_max_layers_minus1。用于第i位的0的值指示具有layer_id (i+1)的层是独立层。用于第i位的1的值指示具有layer_id(i+1) 的层是取决于其它层中的一个或多个的从属层。NumDepLayers的值等于具有1的值的layer_dependency_information_pattern中的位数的和。因此

[数学6]

layer_dependency_map[i]用信号发送0和1位的图案，长度等于 NumDepLayers。用于layer_dependency_map[i]的第k位的0的值指示层i并不取决于具有layer_id(k+1)的层。用于layer_dependency_map[i] 的第k位的1的值指示层i取决于具有layer_id(k+1)的层。

参考图28，图22的修改提供用于用信号发送层相关性信息的语法。图28是图22中的基于语法的变体语法。定义新的语法元素 layer_dependency_information_pattern。

[数学7]

只有当layer_dependency_information_pattern(i)具有1的值时，才用信号发送语法元素num_direct_ref_layers[i]和ref_layer_id[i][j]。其中，layer_depdndency_information_pattern(i)是语法元素 layer_dependency_pattern的第i位。

参考图29，图22的修改提供用于用信号发送层相关性信息的语法。图29是图22中的基于语法的变体语法。定义新的语法元素 layer_dependency_information_pattern。

[数学8]

layer_dependency_map[i]用信号发送0和1位的图案，长度等于 vps_max_layers_minus1。用于layer_dependency_map[i]的第k位的0的值指示层i并不取决于具有layer_id(k+1)的层。用于 layer_dependency_map[i]的第k位的1的值指示层i取决于具有layer_id (k+1)的层。只有当layer_dependency_information_pattern(i)具有1 的值时，才用信号发送语法元素layer_dependency_map[i]。其中，layer_depdndency_information_pattern(i)是语法元素 layer_dependency_pattern的第i位。

在另一实施例中可将layer_dependency_information_pattern语法元素作为一组1位标志值用信号发送。在这种情况下，将把全部的 vps_max_layers_minus11位值用信号发送为：

for(i＝1；i<＝vps_max_layers_minus1；i++)

{

layer_dependency_information_pattern_flags[i]；

}

在另一实施例中可将layer_dependency_map[i]语法元素作为一组 1位标志值用信号发送。在这种情况下，将把全部的 vps_max_layers_minus11位值用信号发送为：

for(j＝1；j<＝vps_max_layers_minus1；j++)

{

layer_dependency_map_values[i][j]；

}

在另一实施例中，可使用已知固定位数而不是u(v)来用信号发送语法元素layer_dependency_information_pattern、layer_dependency_map 中的一个或多个。例如，可以使用u(64)将其用信号发送。

在另一实施例中，可用ue(v)或某个其它编码方案将语法元素 layer_dependency_information_pattern、layer_dependency_map中的一个或多个用信号发送。

在另一实施例中，可通过与所述语法和语义相比加上plus1或 plus2或通过减去minus1或minus2而修改各种语法元素的名称及其语义。

在另一实施例中，可按照位流中的任何位置上的每个图片用信号发送各种语法元素，诸如layer_dependency_information_pattern、 layer_dependency_map、layer_dependency_flag[i]等。例如，可在片段报头、pps/sps/vps/aps或任何其它参数集或位流的其它标准部分中将其用信号发送。

在前述说明书中所采用的术语和措辞在本文中被用作描述而非限制的术语，并且在此类术语和措辞的使用中并不意图排除所示和所述特征或其部分的等同物，应认识到仅仅由随后的权利要求来定义和限制本发明的范围。

Claims

1.一种发送可缩放性信息的方法；

(a)接收视频参数集；

(b)识别包括在所述视频参数集中的可缩放性掩码信号，其中，所述可缩放性掩码信号为由一组位(bit)组成的图案，其中每个bit对应一个可缩放性维度，每个bit的值为0或1分别指示了所述bit对应的可缩放性维度是否存在，其中，所述可缩放性掩码信号中值为1的bit的数量指示了可缩放性类型的数量；

(c)基于所述可缩放性掩码信号用信号发送所述可缩放性类型。