CN104798371B - 在参数集中发信号通知可扩缩性信息 - Google Patents

在参数集中发信号通知可扩缩性信息 Download PDF

Info

Publication number
CN104798371B
CN104798371B CN201380060862.7A CN201380060862A CN104798371B CN 104798371 B CN104798371 B CN 104798371B CN 201380060862 A CN201380060862 A CN 201380060862A CN 104798371 B CN104798371 B CN 104798371B
Authority
CN
China
Prior art keywords
layer
scalability
picture
dimension
bit stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380060862.7A
Other languages
English (en)
Other versions
CN104798371A (zh
Inventor
萨琴·G·德希潘德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Original Assignee
Dolby International AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby International AB filed Critical Dolby International AB
Priority to CN201811342800.6A priority Critical patent/CN109257607B/zh
Publication of CN104798371A publication Critical patent/CN104798371A/zh
Application granted granted Critical
Publication of CN104798371B publication Critical patent/CN104798371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本申请公开了一种用于在比特流中包括的参数集中发信号通知可扩缩性信息的方法:(a)接收所述比特流,(b)标识所述比特流中包括的每一层的源信息指示符,其中,所述源信息指示符指示所述层中包括的图片的扫描类型,(c)基于所述源信息指示符来发信号通知所述每一层的源扫描类型信息。

Description

在参数集中发信号通知可扩缩性信息
相关申请的交叉引用
技术领域
本发明涉及视频编码和解码。
背景技术
电子设备已变得更小和更强大,以满足顾客的需求并提高便携性和便利性。顾客已变得依赖于电子设备,并开始期望增加功能。电子设备的一些示例包括台式计算机、膝上型计算机、蜂窝电话、智能电话、媒体播放器、集成电路等。
一些电子设备用于处理和/或显示数字媒体。例如,便携式电子设备现在允许在顾客可能出现的几乎任何位置上产生和/或消费数字媒体。此外,一些电子设备可以提供针对数字媒体内容的下载或流传输,供顾客使用和享受。
数字视频通常表示为一系列图像或帧,每个图像或帧包含像素阵列。每个像素包括诸如亮度和/或色彩信息之类的信息。一些视频编码技术以复杂度增加为代价提供了更高的编码效率。针对视频编码技术增加的图像质量要求和增加的图像解析度要求也增加了编码复杂度。
数字媒体的日益流行已提出了若干问题。例如,对用于存储、传输和回放的高质量数字媒体进行高效表示提出了若干挑战。更高效地表示数字媒体的技术是有益的。
在结合附图考虑到本发明的以下具体实施方式的情况下,将更容易得理解本发明的前述和其他目标、特征和优点。
发明内容
本发明的一个实施例公开了一种用于在比特流中包括的参数集中发信号通知可扩缩性信息的方法:(a)接收所述比特流,(b)标识所述比特流中包括的每一层的源信息指示符,其中,所述源信息指示符指示所述层中包括的图片的扫描类型,(c)基于所述源信息指示符来发信号通知所述每一层的源扫描类型信息。
附图说明
图1是示出了包括HEVC编码器在内的电子设备的一个配置的框图。
图2是示出了包括HEVC解码器在内的电子设备的一个配置的框图。
图3是示出了编码器和解码器的一个示例的框图。
图4示出了可以在电子设备中采用的各种组件。
图5示出了示例切片(slice)结构。
图6示出了另一示例切片结构。
图7示出了具有切片和9个分块(tile)的帧。
图8示出了具有3个切片和3个分块的帧。
图9A示出了不同的NAL单元报头语法。
图9B示出了不同的NAL单元报头语法。
图9C示出了不同的NAL单元报头语法。
图10示出了一般NAL单元语法。
图11示出了现有的视频参数集。
图12示出了现有的可扩缩性类型。
图13示出了示例视频参数集。
图14示出了示例可扩缩性图(map)语法。
图15示出了示例视频参数集。
图16示出了现有视频参数集。
图17示出了现有维度类型、维度id语法。
图18示出了示例视频参数集。
图19示出了示例可扩缩性图语法。
图20示出了示例视频参数集。
图21示出了示例视频参数集。
图22示出了示例视频参数集。
图23示出了示例源扫描类型信息指示符语法。
图24示出了示例源信息指示符语法。
图25示出了示例视频参数集。
图26示出了示例视频参数集。
图27示出了示例源扫描类型信息指示符语法。
图28示出了示例源信息指示符语法。
图29示出了示例可扩缩性图语法。
图30示出了示例视频参数集。
图31示出了示例可扩缩性掩码语法。
图32示出了示例视频参数集扩展语法。
图33示出了示例视频参数集扩展语法。
图34示出了示例视频参数集扩展语法。
图35示出了示例视频参数集扩展语法。
图36示出了示例视频参数集扩展语法。
图37示出了示例视频参数集扩展语法。
图38示出了示例视频参数集扩展语法。
图39示出了示例视频参数集扩展语法。
具体实施方式
国际电信联盟电信标准化组(ITU-T)研究组16(SG16)工作组3(WP3)的视频编码的联合协作组(JCT-VC)以及国际标准化组织/国际电工委员会(ISO/IEC)联合技术委员会1/小组委员会29/工作组11(JTC1/SC29/WG11)已经启动了针对视频编码标准的标准化工作,其被称为高效视频编码标准(HEVC)。HEVC使用基于块(block)的编码。
在HEVC中,使用熵编码技术上下文自适应二元算术编码(CABAC)以无损的方式来压缩已变换及量化系数(TQC)。根据变化大小,TQC可以来自不同的块大小(例如,4x4,8x8,16x16,32x32)。
在熵编码之前,可以将二维(2D)TQC转换为一维(1D)阵列。在一个示例中,4x4块的2D阵列化的TQC可以按表(1)所示来布置。
4 0 1 0
3 2 -1
-3 0
0
表(1)
当将2D TQC转换为1D阵列时,可以按对角曲折(zig-zag)方式来扫描块。继续使用该示例,可以通过扫描第一行第一列、第一行第二列、第二行第一列、第三行第一列、第二行第二列、第一行第三列、第一行第四列、第二行第三列、第三行第二列、第四行第一列等等,将表(1)所示的2D阵列化TQC转换为1D阵列化TQC[4,0,3,-3,2,1,0,-1,0,...]。
HEVC中的编码过程可以例如如下进行。1D阵列中的TQC可以根据扫描位置来排序。可以确定最后一个有效系数和最后一个系数程(level)的扫描位置。可以对最后一个有效系数进行编码。应当注意:通常以逆扫描顺序对系数进行编码。可以执行游程编码(run-level coding),其对与相同数字和/或比特的游(run)有关的信息进行编码,而不对数字本身进行编码,其在最后一个系数编码之后直接被激活。然后,可以执行程编码(levelcoding)。术语有效系数指代具有大于零的系数程值(level value)的系数。系数程值指代已变换及量化系数(TQC)值的量值(或绝对值)的唯一指示符。
该过程在表(2)中可以示出为上述示例的继续(且1D阵列化TQC[4,0,3,-3,2,1,0,-1,0,...])
表(2)
在表(2)中,在扫描位置7处的系数程-1可以是最后一个非零系数。从而,最后一个位置是扫描位置7,且最后一个系数程是-1。可以针对扫描位置6、5和4处的系数0、1和2执行游程编码(其中,以逆扫描顺序对系数进行编码)。然后,可以针对系数程-3、3、0和4执行程编码。
图1是示出了可以对视频编码的电子设备102的一个配置的框图。应当注意到:可以将被示出为包括在电子设备102中的一个或多个元件以硬件、软件或这二者的组合的方式来实现。例如,电子设备102包括编码器108,其可以用硬件、软件或这二者的组合的方式来实现。例如,编码器108可以实现为电路、集成电路、专用集成电路(ASIC)、与具有可执行指令的存储器进行电子通信的处理器、固件、现场可编程门阵列(FPGA)等、或其组合。在一些配置下,编码器108可以是高效视频编码(HEVC)编码器。
电子设备102可以包括供应器104。供应器104可以向编码器108提供作为源106的图片或图像数据(例如,视频)。供应器104的示例包括图像传感器、存储器、通信接口、网络接口、无线接收机、端口等等。
可以向帧内预测模块和重构缓冲区110提供源106。还可以向运动估计和运动补偿模块136以及减法模块116提供源106。
帧内预测模块和重构缓冲区110可以基于源106和重构数据150来生成帧内模式信息128和帧内信号112。运动估计和运动补偿模块136可以基于源106和参考图片缓冲区166信号168来生成帧间模式信息138和帧间信号114。参考图片缓冲区166信号168可以包括来自存储在参考图片缓冲区166中的一个或多个参考图片的数据。
编码器108可以根据模式在帧内信号112和帧间信号之间进行选择。帧内信号112可以用于在帧内编码模式下利用图片内的空间特性。帧间信号114可以用于在帧间编码模式下利用图片之间的时间特性。当在帧内编码模式下时,可以向减法模块116提供帧内信号112并向熵编码模块130提供帧内模式信息128。当在帧间编码模式下时,可以向减法模块116提供帧间信号114并向熵编码模块130提供帧间模式信息138。
在减法模块116处从源106中减去帧内信号112或帧间信号114(取决于模式),以产生预测残余118。向变换模块120提供预测残余118。变换模块120可以压缩预测残余118,以产生向量化模块124提供的变换信号122。量化模块124对变换信号122进行量化,以产生已变换及量化系数(TQC)126。
向熵编码模块130和逆量化模块140提供TQC 126。逆量化模块140对TQC 126执行逆量化,以产生向逆变换模块144提供的逆量化信号142。逆变换模块144对逆量化信号142进行解压缩,以产生向重构模块148提供的解压缩信号146。
重构模块148可以基于解压缩信号146来产生重构数据150。例如,重构模块148可以重构(经修改)图片。可以向解块滤波器152以及帧内预测模块和重构缓冲区110提供重构数据150。解块滤波器152可以基于重构数据150来产生滤波信号154。
可以向采样自适应偏移(SAO)模块156提供滤波信号154。SAO模块156可以产生向熵编码模块130提供的SAO信息158以及向自适应环路滤波器(ALF)162提供的SAO信号160。ALF 162产生向参考图片缓冲区166提供的ALF信号164。ALF信号164可以包括来自可以用作参考图片的一个或多个图片的数据。在一些情况下,可以省略ALF 162。
熵编码模块130可以对TQC 126编码,以产生比特流134。如上所述,在熵编码之前,可以将TQC 126转换为1D阵列。此外,熵编码模块130可以使用CAVLC或CABAC对TQC 126编码。具体地,熵编码模块130可以基于以下一项或多项对TQC 126编码:帧内模式信息128、帧间模式信息138和SAO信息158。比特流134可以包括编码图片数据。
诸如HEVC之类的视频压缩中所涉及的量化是通过将值的范围压缩为单一量子(quantum)值来实现的有损压缩技术。量化参数(QP)是用于基于重构视频质量和压缩比来执行量化的预定义扩缩参数。块类型在HEVC中被定义为基于块大小及其色彩信息来表示给定块的特性。可以在熵编码之前确定QP、解析度信息和块类型。例如,电子设备102(例如,编码器108)可以确定可向熵编码模块130提供的QP、解析度信息和块类型。
熵编码模块130可以基于TQC 126的块来确定块大小。例如,块大小可以是沿TQC块的一个维度的TQC 126的数目。换言之,TQC块中的TQC 126的数目可以等于块大小平方。此外,块可以是非正方形的,其中,TQC 126的数目是块的高度乘以宽度。例如,块大小可被确定为TQC块中TQC 126的数目的平方根。解析度可以定义为像素宽度乘以像素高度。解析度信息可以包括图片宽度的像素数目、图片高度的像素数目或这二者。块大小可以定义为沿2D TQC块的一个维度的TQC数目。
在一些配置下,可以向另一电子设备发送比特流134。例如,可以向通信接口、网络接口、无线发射机、端口等提供比特流134。例如,可以经由局域网(LAN)、互联网、蜂窝电话基站等向另一电子设备发送比特流134。可以将比特流134附加地或备选地存储在电子设备102上的存储器中。
图2是示出了包括解码器272在内的电子设备270的一个配置的框图,解码器272可以是高效视频编码(HEVC)解码器。可以用硬件、软件或这二者的组合的方式来实现解码器272以及被示出为包括在解码器272中的一个或多个元件。解码器272可以接收用于解码的比特流234(例如,比特流234中包括的一个或多个编码图片)。在一些配置下,所接收的比特流234可以包括接收到的开销信息,例如接收到的切片报头、接收到的图片参数集(PPS)、接收到的缓冲区描述信息、分类指示符等等。
可以由熵解码模块274对来自比特流234的接收符号(例如,编码TQC)进行解码。这可以产生运动信息信号298和经解码的已变换及量化系数(TQC)278。
运动信息信号298可以在运动补偿模块294处与来自帧存储器290的解码图片292的一部分合并,运动补偿模块294可以产生帧间预测信号296。可以由逆量化和逆变换模块280来对经解码的已变换及量化系数(TQC)278进行逆量化和逆变换,由此产生解码残余信号282。可以由加法模块207将解码残余信号282与预测信号205相加,以产生合并信号284。预测信号205可以是从运动补偿模块294产生的帧间预测信号296或帧内预测模块201产生的帧内预测信号203中选择的信号。在一些配置下,该信号选择可以基于比特流234(例如,由比特流234来控制)。
可以根据(例如,当前帧中)来自合并信号284的在先解码信息来预测帧内预测信号203。还可以由解块滤波器286来滤波合并信号284。可以向采样自适应偏移(SAO)模块231提供所产生的滤波信号288。基于该滤波信号288和来自熵解码模块274的信息239,SAO模块231可以产生向自适应环路滤波器(ALF)233提供的SAO信号235。ALF233产生向帧存储器290提供的ALF信号237。ALF信号237可以包括来自可用作参考图片的一个或多个图片的数据。可以向帧存储器290写入ALF信号237。所产生的ALF信号237可以包括解码图片。在一些情况下,可以省略ALF 233。
帧存储器290可以包括解码图片缓冲区(DPB)。帧存储器290还可以包括与解码图片相对应的开销信息。例如,帧存储器290可以包括切片报头、图片参数集(PPS)信息、循环(cycle)参数、缓冲区描述信息等等。可以从编码器(例如,编码器108)发信号通知这些条信息中的一条或多条。
帧存储器290可以向运动补偿模块294提供一个或多个解码图片292。此外,帧存储器290可以提供一个或多个解码图片292,该一个或多个解码图片292可以是从解码器272输出的。可以例如在显示器上呈现、在存储器中存储、或者向另一设备发送一个或多个解码图片292。
图3是示出了编码器308和解码器372的一个示例的框图。在该示例中,示出了电子设备A 302和电子设备B 370。然而,应当注意到:在一些配置下,可以将关于电子设备A 302和电子设备B 370描述的特征和功能合并到单一电子设备中。
电子设备A 302包括编码器308。编码器308可以用硬件、软件或这二者的组合的方式来实现。在一个配置下,编码器308可以是高效视频编码(HEVC)编码器。可以类似地使用其他编码器。电子设备A 302可以获得源306。在一些配置下,可以在电子设备A 302上使用图像传感器来捕捉源306、从存储器检索源306、或从另一电子设备接收源306。
编码器308可以对源306编码,以产生比特流334。例如,编码器308可以对源306中的一系列图片(例如,视频)进行编码。编码器308可以类似于上面关于图1来描述的编码器108。
比特流334可以包括基于源306的编码图片数据。在一些配置下,比特流334还可以包括开销数据,例如,切片报头信息、PPS信息等。由于对源306中的附加图片进行编码,比特流334可以包括一个或多个编码图片。
可以向解码器372提供比特流334。在一个示例中,可以使用有线或无线链路向电子设备B 370发送比特流334。在一些情况下,这可以通过网络来进行,例如,互联网或局域网(LAN)。如图3所示,可以在与电子设备A 302上的编码器308相分离的电子设备B 370上实现解码器372。然而,应当注意到:在一些配置下,可以在相同电子设备上实现编码器308和解码器372。在编码器308和解码器372实现在相同电子设备上的实现中,例如,可以通过总线向解码器372提供比特流334,或者在存储器中存储比特流334以供解码器372获取。
解码器372可以用硬件、软件或这二者的组合的方式来实现。在一个配置下,解码器372可以是高效视频编码(HEVC)解码器。类似地可以使用其他解码器。解码器372可以类似于上面关于图2描述的解码器272。
图4示出了可以在电子设备409中采用的各种组件。电子设备409可以实现为一个或多个电子设备。例如,电子设备409可以实现为上面关于图1描述的电子设备102、上面关于图2描述的电子设备270、或这二者。
电子设备409包括控制电子设备409的操作的处理器417。处理器417还可以被称为CPU。存储器411向处理器417提供指令413a(例如,可执行指令)和数据415a,该存储器411可包括只读存储器(ROM)、随机存取存储器(RAM)、或可以存储信息的任何类型设备。一部分存储器411还可以包括非易失性随机存取存储器(NVRAM)。存储器411可以与处理器417进行电子通信。
指令413b和数据415b还可以驻留在处理器417中。加载到处理器417中的指令413b和/或数据415b还可以包括来自存储器411的曾被加载来由处理器417执行或处理的指令413a和/或数据415a。指令413b可以由处理器417执行,以实现本文公开的一个或多个技术。
电子设备409可以包括用于与其他电子设备通信的一个或多个通信接口419。通信接口419可以基于有线通信技术、无线通信技术、或这二者。通信接口419的示例包括串口、并口、通用串行总线(USB)、以太网适配器、IEEE 1394总线接口、小型计算机系统接口(SCSI)总线接口、红外(IR)通信端口、蓝牙无线通信适配器、根据第三代合作伙伴计划(3GPP)规范的无线收发信机等等。
电子设备409可以包括一个或多个输出设备423和一个或多个输入设备421。输出设备423的示例包括扬声器、打印机等。可以被包括在电子设备409中的一类输出设备是显示设备425。与本文公开的配置一起使用的显示设备425可以采用任何合适的图像投影技术,例如,阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、气体等离子体、电致发光等。可以提供显示控制器427,用于将存储器411中存储的数据转换为在显示器425上示出的文本、图形、和/或运动图像(根据需要)。输入设备421的示例包括键盘、鼠标、麦克风、遥控设备、按钮、摇杆、轨迹球、触摸板、触摸屏、光笔等。
电子设备409的各种组件通过总线系统429耦合在一起,除了数据总线之外,总线系统429还可以包括电源总线、控制信号总线和状态信号总线。然而,为了清楚起见,在图4中将各种总线示出为总线系统429。图4所示的电子设备409是功能框图,而不是具体组件的列表。
术语“计算机可读介质”指代可以由计算机或处理器来访问的任何可用介质。如本文所使用的术语“计算机可读介质”代表了非瞬时且有形的计算机和/或处理器可读介质。作为示例(但不作为限制),计算机可读或处理器可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储设备、磁盘存储设备、或其他磁存储设备、或可以用于以可由计算机或处理器访问的指令或数据结构的形式来携带或存储所需程序代码的任何其他介质。如本文所使用的盘和碟包括高密度碟(CD)、激光碟、光碟、数字多功能碟(DVD)、软盘和蓝光(注册商标)碟,其中,盘通常以磁的方式来再现数据,而碟使用激光以光学方式来再现数据。可以在计算机可读介质上存储解码器和/或编码器的代码。
可以将包括多个编码树块(例如,本文中一般称为块)的输入图片分为一个或若干切片。如果在编码器和解码器处使用的参考图片相同且解块滤波不使用跨越切片边界的信息,则可以在不使用来自其他切片的数据的情况下对切片所表示的图片区域中的采样值进行正确解码。因此,针对切片的熵解码和块重构不依赖于其他切片。具体地,可以在每个切片的开始处重置熵编码状态。当定义用于熵解码和重构的邻居可用性时,可以将其他切片中的数据标记为不可用。可以对切片进行并行熵解码和重构。优选地,不允许帧内预测和运动矢量预测跨越切片边界。相反,解块滤波可以使用跨越切片边界的信息。
图5示出了包括水平方向上11个块和垂直方向上9个块(9个示例块标记为501~509)在内的示例视频图片500。图5示出了3个示例切片:标记为“切片#0”520的第一切片、标记为“切片#1”530的第二切片以及标记为“切片#2”540的第三切片。解码器可以并行解码和重构3个切片520、530、540。可以按扫描线顺序来顺序发送每个切片。在每个切片的解码/重构过程的开始处,初始化或重置上下文模型,且将其他切片中的块标记为不可用于熵解码和块重构。上下文模型一般表示熵编码器和/或解码器的状态。从而,对于“切片#1”中的块,例如标记为503的块,“切片#0”中的块(例如,标记为501和502的块)不可用于上下文模型选择或重构。反之,对于“切片#1”中的块,例如标记为505的块,“切片#1”中的其他块(例如,标记为503和504的块)可以用于上下文模型选择或重构。因此,熵解码和块重构在切片中串行进行。除非使用灵活块排序(FMO)来定义切片,否则按光栅扫描的顺序来处理切片内的块。
图6示出了分配到3个切片组中的示例块分配:表示为“切片组#0”550的第一切片组、表示为“切片组#1”560的第二切片组以及表示为“切片组#2”570的第三切片组。这些切片组550、560、570可以与图片580中的两个前景区域和(一个)背景区域分别相关联。
如图5所示的切片布置可以受限于按图像扫描顺序(也被称为光栅扫描或光栅扫描顺序)来定义块对之间的每个切片。该扫描顺序切片布置在计算上是高效的,但是往往并不有助于高效的并行编码和解码。此外,该切片扫描顺序定义往往并不将图像的较小本地化区域成组聚集在一起,该较小本地化区域有可能具有高度适合于编码效率的公共特性。如图6所示的切片布置在其布置方面具有高度灵活性,但是往往并不有助于高效的并行编码或解码。此外,在计算方面,该高度灵活的切片定义在解码器中实现起来是复杂的。
参见图7,分块技术将图像分为矩形(包括正方形)区域的集合。每个分块中的块(备选地,在一些系统中被称为最大编码单元或编码树块)按光栅扫描顺序来编码和解码。按光栅扫描顺序来类似地对分块布置进行编码和解码。因此,可存在任何合适数目的列边界(例如,0个或更多)且可存在任何合适数目的行边界(例如,0个或更多)。从而,帧可以定义一个或多个切片,例如,图7所示的一个切片。在一些实施例中,位于不同分块中的块不可用于帧内预测、运动补偿、熵编码上下文选择或依赖于相邻块信息的其他处理。
参见图8,示出了分块技术,其将图像分为具有三个矩形列的集合。按光栅扫描顺序对每个分块中的块(备选地,在一些系统中被称为最大编码单元或编码树块)进行编码和解码。按光栅扫描顺序类似地对分块进行编码和解码。可以按分块的扫描顺序来定义一个或多个切片。每个切片是独立可解码的。例如,可以将切片1定义为包括块1~9,可以将切片2定义为包括块10~28,以及可以将切片3定义为包括块29~126,其跨越3个分块。对分块的使用通过处理帧中更本地化的区域中的数据而促进了编码效率。
应当理解:在一些情况下,视频编码可以可选地不包括分块,且可以可选地包括将波前(wavefront)编码/解码模式用于视频的帧。以该方式,可以用并行方式对视频的一行或多行(例如,具有一行或多行宏块(或备选地编码树块)的多个组,每个组表示波前子流)进行编码/解码。一般地,可以按任何合适的方式来构造对视频的划分。
视频编码标准经常压缩视频数据,以通过具有有限频率带宽和/或有限存储容量的信道来发送。这些视频编码标准可以包括多个编码阶段,例如,帧内预测、从空间域到频域的变换、量化、熵编码、运动估计和运动补偿,以对帧更高效地进行编码和解码。很多编码和解码阶段在计算上是过度复杂的。
已开发出各种可扩缩视频编码技术。在可扩缩视频编码中,主比特流(一般被称为基础层比特流)由解码器来接收。此外,解码器可以接收一个或多个辅比特流(一般被称为增强层)。每个增强层的功能可以是:提升基础层比特流的质量、提升基础层比特流的帧速率、和/或提升基础层比特流的像素解析度。质量可扩缩性也被称为信噪比(SNR)可扩缩性。帧速率可扩缩性也被称为时间可扩缩性。解析度可扩缩性也被称为空间可扩缩性。
增强层可以改变基础层比特流的其他特征。例如,与基础层相比,增强层可以与不同的纵横比和/或观看角度相关联。增强层的另一方面是基础层和增强层可以对应于不同的视频编码标准,例如基础层可以是MPEG-2(运动图像专家组2)以及增强层可以是HEVC-Ext(高效视频编码扩展)。
可以在层之间定义排序。例如:
基础层(最低)[层0]
增强层0[层1]
增强层1[层2]
增强层n(最高)[层n+1]
(除了基础层之外)增强层还可以具有与彼此相关的依赖性。在示例中,增强层2仅在已成功解析和/或重构一部分增强层1(且已成功解析和/或重构一部分基础层)的情况下才可使用。
编码视频的比特流可以包括被放入一般被称为网络抽象层(NAL)单元的逻辑数据分组中的语法结构。每个NAL单元包括NAL单元报头,例如,两字节NAL单元报头(例如,16比特),以标识相关联的数据有效载荷的用途。例如,每个编码切片(和/或图片)可被编码到一个或多个切片(和/或图片)NAL单元中。可以包括其他NAL单元用于其他数据类别,例如,补充增强信息、临时子层访问(TSA)图片的编码切片、逐步骤临时子层访问(STSA)图片的编码切片、非TSA的编码切片、非STSA曳尾图片、断链访问图片(broken link access picture)的编码切片、瞬时解码刷新图片的编码切片、干净随机访问图片的编码切片、可解码前导图片的编码切片、标记丢弃图片的编码切片、视频参数集、序列参数集、图片参数集、访问单元分界符、序列结束、比特流结束、填充数据、和/或序列增强信息消息。可以根据需要包括其他NAL单元类型。
随机访问点图片(RAP)图片仅包含I切片且可以是断链访问(BLA)图片、干净随机访问(CRA)图片、或瞬时解码刷新(IDR)图片。比特流中的第一个图片是RAP图片。
断链访问图片(BLA)图片是一类RAP图片。BLA图片仅包含I切片,且可以是比特流中按解码顺序的第一个图片,或可以稍后出现在比特流中。每个BLA图片开始新的编码视频序列,且对解码过程具有与IDR图片相同的效果。然而,BLA图片包含语法元素,该语法元素在其如果代之以是CRA图片的情况下将规定非空参考图片集合。当在比特流中遇到BLA图片时,忽略这些语法元素,且代之将参考图片集合初始化为空集。
干净随机访问(CRA)图片是一类RAP图片。CRA图片仅包含I切片,且可以是比特流中按解码顺序的第一个图片,或者可以稍后出现在比特流中。CRA图片可以具有关联的可解码前导图片(DLP)和标记丢弃(TFD)图片。
瞬时解码刷新(IDR)图片是一类RAP图片。IDR图片仅包含I切片,且可以是比特流中按解码顺序的第一个图片,或者可以稍后出现在比特流中。每个IDR图片是编码视频序列中按解码顺序的第一个图片。
可解码前导图片(DLP)是前导图片。对于同一关联RAP图片的曳尾图片的解码过程,DLP图片不被用作参考图片。
标记丢弃(TFD)图片是关联BLA或CRA图片的前导图片。当关联RAP图片是BLA图片或者是比特流中的第一个编码图片时,不输出TFD图片,且TFD图片可以不是正确可解码的,因为TFD图片可以包含针对比特流中不存在的参考图片的参考。
前导图片是按输出顺序先于关联RAP图片的图片。
曳尾图片是按输出顺序跟随关联RAP图片的图片。
NAL单元提供了将代表图片内容的视频编码层(VCL)数据映射到各种传输层上的能力。NAL单元可以根据他们分别是包含编码图片还是其他关联数据而被分类为VCL NAL单元和非VCL NAL单元。B.Bros,W-J.Han,J-R.Ohm,G.J.Sullivan和T-.Wiegand,“Highefficiency video coding(HEVC)text specification draft 8”,JCTVC-J10003,Stockholm,July 2012;“BoG on high-level syntax for extension planning”,Ye-KuiWang,JCTVC-J00574,July 2012;以及“BoG on high-level syntax for extensionplanning”,Ye-Kui Wang,JCTVC-J00574r1,July 2012以全文引用的方式并入本文中。
参见图9A,NAL单元报头语法可以包括2字节数据,即16比特。第一个比特是“forbidden_zero_bit”,其在NAL单元的开始处始终被设为0。接下来6个比特是“nal_unit_type”,其规定了NAL单元中包含的原始字节序列有效载荷(“RBSP”)数据结构的类型。接下来6个比特是“nuh_reserved_zero_6bits”。在标准的基础规范中nuh_reserved_zero_6bits可以等于0。可以根据需要来规定nuh_reserved_zero_6bits的其他值。当基于标准的基础规范来处理流时,解码器可以忽略(即从比特流中移除并丢弃)nuh_reserved_zero_6bits值不等于0的所有NAL单元。在可扩缩或其他扩展中,nuh_reserved_zero_6bits可以规定其他值,以发信号通知可扩缩视频编码和/或语法扩展。在一些情况下,语法元素nuh_reserved_zero_6bits可以被称为reserved_zero_6bits。在一些情况下,语法元素nuh_reserved_zero_6bits可以被称为layer_id_plusl或layer_id,如图9B和图9C所示。在该情况下,元素layer_id将是layer_id_plus1减1。在该情况下,其可以用于发信号通知与可扩缩编码视频的层有关的信息。接下来的语法元素是“nuh_temporal_id_plus1”。nuh_temporal_id_plus1减1可以规定NAL单元的临时标识符。可以将可变临时标识符TemporalId规定为TemporalId=nuh_temporal_id_plus1-1。
参见图10,示出了一般NAL单元语法结构。在针对图10的nal_unit_header()的参考中包括了图9的NAL单元报头两字节语法。NAL单元语法的剩余部分主要涉及RBSP。
一种使用“nuh_reserved_zero_6bits”的现有技术是通过将nuh_reserved_zero_6bits的6个比特分为不同比特字段来发信号通知可扩缩视频编码信息,该不同比特字段即为依赖性ID、质量ID、视图ID、以及深度标志中的一个或多个,该不同比特字段中的每一个指代可扩缩编码视频的不同层的标识。因此,这6个比特指示特定NAL单元属于可扩缩编码技术的什么层。然后,在数据有效载荷中,例如如图11所示的视频参数集(“VPS”)扩展语法(“scalability_type”),定义了关于层的信息。图11的VPS扩展语法包括用于可扩缩性的4个比特(语法元素scalability_type),其规定了编码视频序列中使用的可扩缩性类型以及通过NAL单元报头中的layer_id_plus1(或layer_id)来发信号通知的维度。当可扩缩性类型等于0时,编码视频序列符合基础规范,从而所有NAL单元的layer_id_plus1等于0且不存在属于增强层或视图的NAL单元。如图12所示来解释可扩缩性类型的更高值。
layer_id_dim_len[i]规定了第i个可扩缩性维度ID的以比特为单位的长度。针对范围0至7中的所有i值,layer_id_dim_len[i]的总和小于等于6。vps_extension_byte_alignment_reserved_zero_bit为0。vps_layer_id[i]规定了后续层依赖性信息所适用的第i层的layer_id的值。num_direct_ref_layers[i]规定了第i层直接依赖的层的数目。ref_layer_id[i][j]标识了第i层直接依赖的第j层。
以这种方式,现有技术在NAL单元和视频参数集中发信号通知可扩缩性标识符,以在图12列出的可扩缩性类型中分配比特。然后对于每种可扩缩性类型,图12定义了支持多少种维度。例如,可扩缩性类型1具有2个维度(即,空间和质量)。对于每个维度,layer_id_dim_len[i]定义了为这两个维度中的每一个分配的比特数目,其中,layer_id_dim_len[i]的所有值的总和小于等于6,其为NAL单元报头的nuh_reserved_zero_6bits的比特数目。从而,该技术以组合方式标识正在使用什么类型可扩缩性以及在可扩缩性中如何分配NAL单元报头的6个比特。
尽管这种如图12所示的对不同可扩缩性维度的固定组合适用于很多应用,存在未被包括的所需组合。参见图13,经修改的视频参数集扩展语法针对nuh_reserved_zero_6bits语法元素中的每个比特规定了可扩缩性类型。vps_extension_bute_alignment_reserved_zero_bit设为0。max_num_layers_minus1_bits指示了用于图9中NAL单元报头的前两个字节中的语法元素的比特总数,被称为layer_id_plus1或者nuh_reserved_zero_6bits。scalability_map[i]针对layer_id_plus1语法元素中每个比特规定了可扩缩性类型。在一些情况下,layer_id_plus1语法元素可以代之以被称为nuh_reserved_zero_6bits或者reserved_zero_6bits语法元素。针对语法元素layer_id_plus1的所有比特的可扩缩性图一起规定了编码视频序列中使用的可扩缩性。通过NAL单元报头中的layer_id_plus1(nuh_reserved_zero_6bits)字段中的这些对应比特来发信号通知每种可扩缩性类型的标识符的实际值。当scalability_map[i]对于i的所有值来说等于0,则编码视频序列符合基础规范,从而NAL单元的layer_id_plus1值等于0,且不存在属于增强层或视图的NAL单元。vps_layer_id[i]规定了后续层依赖性信息所适用的第i层的layer_id的值。num_direct_ref_layers[i]规定了第i层直接依赖的层的数目。ref_layer_id[i][j]标识了第i层直接依赖的第j层。
如图14所示来解释scalability_map[i]的较高值。scalability map[i]包括了以下可扩缩性维度:(0)无、(1)空间、(2)质量、(3)深度、(4)多视图、(5)未规定、(6)预留以及(7)预留。
因此,基于视频参数集中的可扩缩性维度是什么的3个比特来解释NAL单元报头中的每个比特(例如,无、空间、质量、深度、多视图、未规定、预留)。例如,为了发信号通知layer_id_plus1中所有比特对应于空间可扩缩性,针对NAL单元报头的6个比特,VPS中的scalability_map值可以被编码为001 001 001 001 001 001。此外例如,为了发信号通知layer_id_plus1中的3个比特对应于空间可扩缩性以及3个比特对应于质量可扩缩性,针对NAL单元报头的6个比特,VPS中的scalability_map值可以被编码为001 001 001 010 010010。
参见图15,另一实施例包括使用num_scalability_dimensions_minus1在NAL单元报头的6个比特中发信号通知可扩缩性维度的数目的视频参数集。num_scalability_dimensions_minus1加1指示了通过layer_id_plus1、nuh_reserved_zero_6bits、和/或reserved_zero_6bits语法元素来发信号通知的可扩缩性维度的数目。scalability_map[i]具有与上面关于图13描述的相同语义。num_bits_for_scalability_map[i]规定了第i个可扩缩性维度的以比特为单位的长度。对于i=0,...,num_scalability_dimensions_minus1,所有num_bits_for_scalability_map[i]的总和等于6(或者在其他情况下等于用于layer_id_plus1、vps_reserved_zero_6bits、max_num_layers_minus1、reserved_zero_6bits、nuh_reserved_zero_6bits语法元素的比特数目)。
关于图13和图15,如果需要,可以使用其他变型。例如在一个实施例中,可以使用u(4)(或u(n),且n>3或n<3)来发信号通知scalability_map[i]。在该情况下,可以将scalability_map[i]的较高值规定为预留给符合视频技术的特定简档的比特流。例如,在使用u(4)来发信号通知scalability_map[i]时,可以将可扩缩性图值6...15规定为“预留”。例如在另一实施例中,可以使用ue(v)或者某个其他编码方案来发信号通知scalability_map[i]。例如在另一实施例中,可以规定约束,使得按单调不减(或不增)顺序来布置scalability_map[i]值。这导致了NAL单元报头中的layer_id_plus1字段中的各种可扩缩性维度字段是相邻的。
另一使用“layer_id_plus1”或“nuh_reserved_zero_6bits”语法元素来发信号通知可扩缩性视频编码的现有技术是通过在视频参数集中发信号通知一般查找表来将NAL单元报头中的layer_id_plus1映射到层标识。参见图16,该现有技术包括规定了查找表第i层的维度类型的数目和维度标识的视频参数集。具体地,vps_extension_byte_alignment_reserved_zero_bit为0。num_dimensions_minus1[i]加1规定了第i层的维度类型的数目(dimension_type[i][j])和维度标识符(dimension_id[i][j])。dimension_type[i][j]规定了第i层的第j个可扩缩性维度类型,其具有等于i的layer_id或layer_id_plus1,如图17所规定。如图17所示,所标识的维度包括:(0)视图顺序idx、(1)深度标志、(2)依赖性ID、(3)质量ID、(4)~(15)预留。dimension_id[i][j]规定了第i层的第j个可扩缩性维度的标识符,其在不存在时被推断为0。num_direct_ref_layers[i]规定了第i层直接依赖的层的数目。ref_layer_id[i][j]标识了第i层直接依赖的第j层。不幸地是,图16所示的提议实施例导致了不实用的巨大查找表。
参见图18,经修改的视频参数集扩展包括与可扩缩性维度结合使用的可扩缩性掩码。scalability_mask发信号通知比特0和1的模式,且每个比特对应于图19或29的可扩缩性图语法所指示的一个可扩缩性维度。特定可扩缩性维度的值1指示了该可扩缩性维度存在于该层(第i层)中。特定可扩缩性维度的值0指示了该可扩缩性维度不存在于该层(第i层)中。例如,比特集合00100000指代了质量可扩缩性。由所信号通知的scalability_id[j]来指示所存在的特定可扩缩性维度的实际标识符值。num_scalability_types[i]的值等于scalability_mask中具有值1的比特的数目的总和。从而
scalability_id[j]指示了由scalability_mask值来发信号通知的可扩缩性类型值的第j个可扩缩性维度的标识符。
参见图20(图18的修改),其包括在循环外发信号通知的可扩缩性掩码。这导致了针对每个层标识的一个公共掩码。参见图21,在该修改中,对应的示例视频参数集可以包括未包括可扩缩性掩码的可扩缩标识。在该情况下,语法元素scalable_id[j]具有与图18中的语法元素scalability_id[j]相同的解释。
参见图22(图18的修改),其包括被发信号通知的附加源信息指示符。源扫描类型信息是由每个层i的source_scan_type_info_idc[i]来发信号通知。等于0的source_scan_type_info_idc[i]指示了层i具有以下图片:该图片的扫描类型应当被解释为对于所有图片来说是交织扫描类型。等于1的source_scan_type_info_idc[i]指示了层i具有以下图片:该图片的扫描类型应当被解释为对于所有图片来说是渐进式扫描类型。等于2的source_scan_type_info_idc[i]指示了层i具有以下图片:该图片的扫描类型未知。等于3的source_scan_type_info_idc[i]指示了层i具有以下图片:该图片是扫描类型渐进式和扫描类型交织的混合。这在图23中进行了指示。
源2D/3D信息是由每个层i的source_2d_3d_info_idc[i]来发信号通知的。等于1的source_2d_3d_info_idc[i]指示了层i的所有图片是以帧兼容3D格式来封装的。等于0的source_2d_3d_info_idc[i]指示了层i的所有图片是2D帧,即它们都不是以帧兼容3D格式来封装的。等于2的source_2d_3d_info_idc[i]指示了层i具有帧封装布置未知的图片。等于3的source_2d_3d_info_idc[i]指示了层i具有作为帧兼容3D和2D帧的混合的图片。这在图24中进行了指示。
在另一变型中,可以使用u(1)或u(n)(n>3)来发信号通知语法元素source_scan_type_info_idc[i]和/或source_2d_3d_info_idc[i]。或者可以使用ue(v)或某个其他编码方法来发信号通知。
在另一变型实施例中,可以将与名称source_scan_info_idc[i]和source_2d_3d_info_idc[i]不同的名称用于语法元素。
在另一实施例中,可以在序列参数集(SPS)/图片参数集(PPS)/切片报头或比特流的其他标准化部分中发信号通知语法元素source_scan_info_idc[i]和/或source_2d_3d_info_idc[i]。
在另一实施例中,如果source_scan_info_idc和source_2d_3d_info_idc对于所有层[i]是相同的,则可以仅发信号通知语法元素source_scan_info_idc[i]和source_2d_3d_info_idc[i]一次。在该情况下,在source_scan_info_idc和source_2d_3d_info_idc没有层索引i的情况下发信号通知这些语法元素一次。这在图25中进行了示出。
在另一实施例中,还可以针对基础层来发信号通知语法元素source_scan_info_idc和/或source_2d_3d_info_idc。这在图26中进行了示出。
在另一实施例中,可以在VPS中不同于图22、图25、图26所示位置的另一位置处发信号通知语法元素source_scan_info_idc[i]和source_2d_3d_info_idc[i]。其可以在基础VPS和/或vps_extension()中发信号通知。
在变型实施例中,可以使用u(3)而不是u(2)来发信号通知语法元素source_scan_info_idc[i]和/或source_2d_3d_info_idc[i]。它们的值在图27和图28中分别示出。
此外在图22和图25中,等于1的avc_base_codec_flag规定了基础层符合Rec.ITU-T H.264|ISO/IEC 14496-10,且等于0的avc_base_codec_flag规定基础层符合HEVC。vps_nuh_layer_id_present_flag指示是否发信号通知layer_id_in_nuh[i]变量,该layer_id_in_nuh[i]变量发信号通知NAL单元报头中的layer_id的值。
在另一实施例中,可以使用与u(8)不同的比特数目来发信号通知语法元素scalability_mask[i]、scalability_mask、scalability_id[j]中一项或多项。例如,可以使用u(16)(或u(n),且n>8或n<8)来发信号通知它们。在另一实施例中,可以使用ue(v)来发信号通知这些语法元素中的一个或多个。在另一实施例中,可以在NAL单元报头中在layer_id_plus1、vps_reserved_zero_6bits、max_num_layers_minus1、reserved_zero_6bits、和/或nuh_reserved_zero_6bits语法元素中发信号通知scalability_mask。在一些实施例中,系统可以仅针对VPS NAL单元来这样做,或仅针对非VPS NAL单元来这样做,或者针对所有NAL单元这样做。在又一实施例中,可以针对比特流中任何位置处的每个图片来发信号通知scalability_mask。例如,其可以在切片报头、图片参数集、视频参数集、或任何其他参数集或比特流的任何其他标准部分中发信号通知。
应当注意:图13、15、18、20、21、22和对应描述涉及6个比特,因为图9的NAL单元报头中的语法元素nuh_reserved_zero_6bits或layer_id_plus1具有6个比特。然而,如果该语法元素使用与6个比特不同的比特数目,则可以恰当地修改所有上面的描述。例如,如果该语法元素(nuh_reserved_zero_6bits或layer_id_plus1)代之以使用9个比特,则在图13中,max_hum_layer_minus1比特的值将为9,且将针对9个比特(而不是6个比特)中的每一个来发信号通知scalability_map[i]。
参见图30(图18的修改),其包括在循环外发信号通知的可扩缩性掩码(scalability_mask)。这导致了针对每个层标识的一个公共掩码。scalability_mask发信号通知比特0和1的模式,且每个比特对应于图31的可扩缩性图语法所指示的一个可扩缩性维度。特定可扩缩性维度的值1指示了该可扩缩性维度存在于该层(第i层)中。特定可扩缩性维度的值0指示了该可扩缩性维度不存在于该层(第i层)中。例如,比特集合00100000指代了质量可扩缩性。由所信号通知的scalability_id[j]来指示所存在的特定可扩缩性维度的实际标识符值。num_scalability_types[i]的值等于scalability_mask中具有值1的比特的数目的总和。从而
在该情况下,scalability_id[j]可以代之以被称为dimension_id[i][j]变量。dimension_id[i][j]规定了第i层的第j个可扩缩性维度的可扩缩性标识符。然后,如下导出变量ScalabilityId[i][j]。
其中,ScalabilityId[i][k]如下发信号通知对应可扩缩性类型的维度ID。
K ScalabilityId[i][k]
0 DependencyId[i][k]
1 QualityId[i][k]
2 depthFlag[i][k]
3 ViewId[i][k]
4~15 预留
其中,DependencyId[i][1]是第i层的空间可扩缩性维度的依赖性ID,QualityId[i][2]是第i层的质量可扩缩性维度的质量ID,depthFlag[i][3]是第i层的深度可扩缩性维度的深度标志/深度ID,以及ViewId[i][4]是第i层的多视图可扩缩性维度的视图ID。
此外,在图30中,等于1的avc_base_codec_flag规定了基础层符合Rec.ITU-TH.264|ISO/IEC 14496-10,且等于0的avc_base_codec_flag规定基础层符合HEVC。vps_nuh_layer_id_present_flag指示是否发信号通知layer_id_in_nuh[i]变量,该layer_id_in_nuh[i]变量发信号通知NAL单元报头中的layer_id的值。
在另一实施例中,可以使用与u(8)不同的比特数目来发信号通知语法元素scalability_mask[i]、scalability_mask、scalability_id[j]中一项或多项。例如,可以使用u(16)(或u(n),且n>8或n<8)来发信号通知它们。在另一实施例中,可以使用ue(v)来发信号通知这些语法元素中的一个或多个。在另一实施例中,可以在NAL单元报头中在layer_id_plus1、vps_reserved_zero_6bits、max_num_layers_minus1、reserved_zero_6bits、和/或nuh_reserved_zero_6bits语法元素中发信号通知scalability_mask。在一些实施例中,系统可以仅针对VPS NAL单元来这样做,或仅针对非VPS NAL单元来这样做,或者针对所有NAL单元这样做。在又一实施例中,可以针对比特流中任何位置处的每个图片来发信号通知scalability_mask。例如,其可以在切片报头、图片参数集、视频参数集、或任何其他参数集或比特流的任何其他标准部分中发信号通知。
应当注意:图13、15、18、20、21、22、30、31和对应描述涉及6个比特,因为图9的NAL单元报头中的语法元素nuh_reserved_zero_6bits或layer_id_plus1具有6个比特。然而,如果该语法元素使用与6个比特不同的比特数目,则可以恰当地修改所有上面的描述。例如,如果该语法元素(nuh_reserved_zero_6bits或layer_id_plus1)代之以使用9个比特,则在图13中,max_num_layer_minus1比特的值将为9,且将针对9个比特(而不是6个比特)中的每一个来发信号通知scalability_map[i]。
参见图32(图30的修改),其包括指示对可扩缩性维度标识符的隐式发信号通知的附加标志(vps_implicit_dimension_ids_flag)和所发信号通知的新的语法元素(max_dimension_id_minusl[i])。具有值1的vps_implicit_dimension_ids_flag规定未发信号通知各种可扩缩性维度的dimension_id[i][j]值的显式列表且dimension_id[i][j]值被推断出。具有值0的vps_implicit_dimension_ids_flag规定发信号通知各种可扩缩性维度的dimension_id[i][j]值的显式列表。max_dimension_id_minusl[i][j]规定了可扩缩性维度i的dimension_id的最大值。例如在图31的scalability_mask表中列出可扩缩性维度。
当隐式发信号通知dimension_id值时,它们被推断为DimID[i][j],如在解码过程期间的下面代码所描述的。
当使用对可扩缩性维度标识符的隐式发信号通知时,NUH层id的值被推断为等于图32中循环for(i=0;i<=vps_max_layers_minus1;i++)的条目索引(i)。
图34示出了具有与图32语法的功能类似的功能的变型语法。图34中的所有语法元素具有与图32中一样的语义含义。在图34中,将一些语法元素(vps_implicit_dimension_ids_flag、max_dimension_id_minus1[i])移动到视频参数集扩展结构中的不同位置处。还预期可以将这些新的语法元素移动到视频参数集扩展中或视频参数集中或比特流的某个其他标准部分中的另一位置。应当注意:在图32和图33中,当vps_implicit_dimension_ids_flag具有值1或真时,发信号通知语法元素max_dimension_id_minus1[i]。然而在另一实施例中,可以与vps_implicit_dimension_ids_flag语法元素的值相独立地发信号通知语法元素max_dimension_id_minus1[i]。
图33和图35分别示出了具有类似于图32和图34的功能的另一变型语法。在图33和图35中,即使在vps_implicit_dimension_ids_flag具有值1时,也发信号通知标志vps_nuh_layer_id_present_flag和语法元素layer_id_in_nuh[i]。在图32和图34中,即使在vps_implicit_dimension_ids_flag具有值1时,也不发信号通知标志vps_nuh_layer_id_present_flag和语法元素layer_id_in_nuh[i]。
图36和图37分别示出了具有类似于图32和图33的功能的另一变型语法。在图36和图37中,发信号通知附加语法元素dimension_index_order[i]。dimension_index_order[i]规定了在相邻语法元素中发信号通知dimension_id值时与发信号通知特定可扩缩性维度i的位置有关的顺序值。在该情况下,当隐式发信号通知dimension_id值时,它们被推断为DimID[i][j],如在解码过程期间的下面代码所描述。
图38和图39分别示出了具有类似于图36和图37的功能的另一变型语法。图38和图39中的所有语法元素分别具有与图36和图37中一样的语义含义。在图38和图39中,将一些语法元素(vps_implicit_dimension_ids_flag、max_dimension_id_minus1[i]、dimension_index_order[i])移动到视频参数集扩展结构中的不同位置处。还预期可以将这些新的语法元素移动到视频参数集扩展中或视频参数集中或比特流的某个其他标准部分中的另一位置。
在另一实施例中,可以使用u(v)而不是u(3)来发信号通知语法元素max_dimension_id_minus1[i]。在该情况下,在u(v)编码中使用的长度将等于对应语法元素dimension_id_len_minus1[i]的值+1。
在另一实施例中,可以使用u(v)而不是u(3)来发信号通知语法元素dimension_index_order[i]。在该情况下,u(v)编码中使用的长度将等于发信号通知NumScalabilityTypes的值所需的比特数目。
在另一实施例中,这些语法元素max_dimension_id_minus1[i]、dimension_index_order[i]中的一个或多个可以使用ue(v)或某个其他编码方案来发信号通知。
在另一实施例中,可以在VPS内的不同位置处发信号通知各种新的语法元素。
在前述说明书中采用的术语和表达在其中以描述的意义来使用,而非以限制的意义来使用,且在对这种术语和表达的使用中,不存在将所示和所述特征或其一部分的等价物排除在外的意图,应当认识到:本发明的范围仅由所附权利要求来定义和限定。

Claims (4)

1.一种用于在比特流中包括的参数集中发信号通知可扩缩性信息的方法,包括:
(a)接收所述比特流,
(b)标识所述比特流中包括的每一层的源信息指示符,其中,所述源信息指示符指示所述层中包括的图片的扫描类型,
(c)基于所述源信息指示符来发信号通知每一所述层的源扫描类型信息,
其中,所述比特流包括指示可扩缩性维度标识符是被隐式地信号通知还是显式地信号通知的标志,所述可扩缩性维度标识符规定所述比特流的增强层的可扩缩性维度,所述可扩缩性维度具有包括空间类型和质量类型在内的多种类型之一。
2.根据权利要求1所述的方法,其中,所述源信息指示符指示所述层具有扫描类型为交织扫描类型的图片。
3.根据权利要求1所述的方法,其中,所述源信息指示符指示所述层具有扫描类型为渐进式扫描类型的图片。
4.根据权利要求1所述的方法,其中,所述源信息指示符指示所述层具有扫描类型为未知扫描类型的图片。
CN201380060862.7A 2012-11-21 2013-11-20 在参数集中发信号通知可扩缩性信息 Active CN104798371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811342800.6A CN109257607B (zh) 2012-11-21 2013-11-20 在参数集中发信号通知可扩缩性信息

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261728997P 2012-11-21 2012-11-21
US61/728,997 2012-11-21
US201361749173P 2013-01-04 2013-01-04
US61/749,173 2013-01-04
PCT/JP2013/006828 WO2014080630A1 (en) 2012-11-21 2013-11-20 Signaling scalability information in a parameter set

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201811342800.6A Division CN109257607B (zh) 2012-11-21 2013-11-20 在参数集中发信号通知可扩缩性信息

Publications (2)

Publication Number Publication Date
CN104798371A CN104798371A (zh) 2015-07-22
CN104798371B true CN104798371B (zh) 2018-12-07

Family

ID=50775825

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380060862.7A Active CN104798371B (zh) 2012-11-21 2013-11-20 在参数集中发信号通知可扩缩性信息
CN201811342800.6A Active CN109257607B (zh) 2012-11-21 2013-11-20 在参数集中发信号通知可扩缩性信息

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201811342800.6A Active CN109257607B (zh) 2012-11-21 2013-11-20 在参数集中发信号通知可扩缩性信息

Country Status (7)

Country Link
EP (2) EP2923488B1 (zh)
CN (2) CN104798371B (zh)
ES (1) ES2878143T3 (zh)
HK (1) HK1212836A1 (zh)
PL (1) PL2923488T3 (zh)
PT (1) PT2923488T (zh)
WO (1) WO2014080630A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117296321A (zh) * 2021-04-02 2023-12-26 抖音视界有限公司 使用可缩放性维度信息

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102388616A (zh) * 2009-04-03 2012-03-21 索尼公司 图像信息解码设备和方法、图像信号编码设备和方法及程序

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3775265B2 (ja) * 2001-08-16 2006-05-17 ソニー株式会社 信号処理装置および方法、記録再生装置および方法、ならびに、再生装置および方法
JP2007525906A (ja) * 2004-02-27 2007-09-06 ティディヴィジョン コーポレイション エス.エー. デ シー.ヴィ. 立体3dビデオイメージディジタルコーディングのシステムおよび方法
WO2007100187A1 (en) * 2006-01-09 2007-09-07 Lg Electronics Inc. Inter-layer prediction method for video signal
EP1933564A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction
DE602007010835D1 (de) * 2007-01-18 2011-01-05 Fraunhofer Ges Forschung Qualitätsskalierbarer videodatenstrom
AU2012225513B2 (en) * 2011-03-10 2016-06-23 Vidyo, Inc. Dependency parameter set for scalable video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102388616A (zh) * 2009-04-03 2012-03-21 索尼公司 图像信息解码设备和方法、图像信号编码设备和方法及程序

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AHG9: Indication of frame-packed or interlaced video;Ye-Kui Wang;《Joint Collaborative Team on Video Coding (JCT-VC) 11th Meeting: Shanghai, CN, 10–19 Oct. 2012》;20121015;第2页第4段、倒数第2-5段,第3页第4段 *
VPS syntax for scalable and 3D extensions;Jill Boyce;《Joint Collaborative Team on Video Coding (JCT-VC) 10th Meeting: Stockholm, SE, 11–20 July 2012》;20120718;全文 *

Also Published As

Publication number Publication date
CN104798371A (zh) 2015-07-22
CN109257607A (zh) 2019-01-22
PL2923488T3 (pl) 2021-11-02
EP2923488B1 (en) 2021-05-26
ES2878143T3 (es) 2021-11-18
EP2923488A1 (en) 2015-09-30
EP2923488A4 (en) 2016-07-27
WO2014080630A1 (en) 2014-05-30
CN109257607B (zh) 2022-03-11
PT2923488T (pt) 2021-07-09
HK1212836A1 (zh) 2016-07-08
EP3923584A1 (en) 2021-12-15

Similar Documents

Publication Publication Date Title
CN104685885B (zh) 一种在参数集中用信号发送可缩放性信息的方法
CN104303503B (zh) 图像信息解码方法、图像解码方法和使用所述方法的装置
CN104247430B (zh) 标记视频序列中具有断链图片的参考图片
CN104685887B (zh) 于视频译码中发信用于操作点的层识别符
CN105637879B (zh) 图序计数的对齐方法
KR102094503B1 (ko) 다계층 비디오 부호화 방법 및 장치, 다계층 비디오 복호화 방법 및 장치
US11689733B2 (en) Signaling scalability information in a parameter set
US9325997B2 (en) Signaling scalability information in a parameter set
US10827189B2 (en) Explicit signaling of scalability dimension identifier information in a parameter set
CN104604236A (zh) 用于视频编码的方法和装置
CN106464911B (zh) 多层视频编解码器中的恢复点sei消息
CN105103562B (zh) 随机接入点画面
US9426468B2 (en) Signaling layer dependency information in a parameter set
US10277918B2 (en) Video encoding and decoding method and apparatus using the same
CN104798371B (zh) 在参数集中发信号通知可扩缩性信息

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151105

Address after: Amsterdam

Applicant after: Dolby International AB

Address before: Osaka, Japan, 22 times, 22, No.

Applicant before: Sharp Corporation

REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1212836

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant