CN104685892B - 一种处理视频数据的方法、装置及可读存储媒体 - Google Patents

一种处理视频数据的方法、装置及可读存储媒体 Download PDF

Info

Publication number
CN104685892B
CN104685892B CN201380051435.2A CN201380051435A CN104685892B CN 104685892 B CN104685892 B CN 104685892B CN 201380051435 A CN201380051435 A CN 201380051435A CN 104685892 B CN104685892 B CN 104685892B
Authority
CN
China
Prior art keywords
sei message
bit stream
sub
nal unit
scalable nest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380051435.2A
Other languages
English (en)
Other versions
CN104685892A (zh
Inventor
王益魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104685892A publication Critical patent/CN104685892A/zh
Application granted granted Critical
Publication of CN104685892B publication Critical patent/CN104685892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Error Detection And Correction (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种装置至少部分基于由补充增强信息SEI网络抽象层NAL单元所囊封的可缩放巢套SEI消息中的语法元素，确定由所述可缩放巢套SEI消息所囊封的巢状SEI消息是否适用于默认子位流。所述默认子位流为由所述SEI NAL单元的NAL单元标头中所指定的层识别符和所述NAL单元标头中所指定的时间识别符所定义的操作点的操作点表示。当所述巢状SEI消息适用于所述默认子位流时，所述装置在对所述默认子位流的操作中使用所述巢状SEI消息。

Description

一种处理视频数据的方法、装置及可读存储媒体
本申请案主张2012年10月8日申请的美国临时专利申请案第61/711,098号的权利，所述申请案的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频编码和视频解码。
背景技术
数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能型电话”、视频电传会议装置、视频流式传输装置和其类似者。数字视频装置实施视频压缩技术，例如描述于以下各者中的那些技术：由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分先进视频译码(AVC)定义的标准、目前在开发中的高效率视频译码(HEVC)标准，和这些标准的扩展。视频装置可通过实施这些视频压缩技术而较有效率地传输、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测，以减少或去除视频序列中所固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割为视频块。使用相对于相同图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用相对于相同图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间预测或时间预测导致译码用于块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量来编码经帧间译码块，且残余数据指示经译码块与预测性块之间的差异。根据帧内译码模式和残余数据来编码经帧内译码块。为进行进一步压缩，可将残余数据从像素域变换到变换域，从而产生可接着进行量化的残余系数。可扫描最初布置成二维阵列的经量化的系数以便产生系数的一维向量，且可应用熵译码以达成甚至更多的压缩。
可通过(例如)从多个视角编码视图而产生多视图译码位流。已开发利用多视图译码方面的一些三维(3D)视频标准。例如，不同视图可传输左眼视图和右眼视图，以支持3D视频。替代性地，一些3D视频译码过程可应用所谓的多视图加深度译码。在多视图加深度译码中，3D视频位流可不仅含有纹理视图分量，也含有深度视图分量。例如，每一视图可包括一个纹理视图分量和一个深度视图分量。
发明内容
大体来说，本发明描述假想参考解码器(HRD)参数的发信号，和视频译码中的补充增强信息(SEI)消息的巢套。更具体来说，在由SEI网络抽象层(NAL)单元囊封的可缩放巢套SEI消息中，视频编码器可包含指示由所述可缩放巢套SEI消息囊封的巢状SEI消息是否适用于默认子位流的语法元素。所述默认子位流为由所述SEI NAL单元的NAL单元标头中所指定的层识别符和所述NAL单元标头中所指定的时间识别符所定义的操作点的操作点表示。此外，一种装置可至少部分基于所述可缩放巢套SEI消息中的所述语法元素，确定由所述可缩放巢套SEI消息所囊封的所述巢状SEI消息是否适用于所述默认子位流。当所述巢状SEI消息适用于所述默认子位流时，所述装置可在对所述默认子位流的操作中使用所述巢状SEI消息。
在一个实例中，本发明描述一种处理视频数据的方法。所述方法包括至少部分基于由SEI NAL单元所囊封的可缩放巢套SEI消息中的语法元素，确定由所述可缩放巢套SEI消息囊封的巢状SEI消息是否适用于经编码视频位流的默认子位流。所述默认子位流为由所述SEI NAL单元的NAL单元标头中所指定的层识别符和所述NAL单元标头中所指定的时间识别符所定义的操作点的操作点表示。另外，所述方法包括当所述巢状SEI消息适用于所述默认子位流时，在对所述默认子位流的操作中使用所述巢状SEI消息。
在另一实例中，本发明描述一种装置，其包括经配置以至少部分基于由SEI NAL单元所囊封的可缩放巢套SEI消息中的语法元素，确定由所述可缩放巢套SEI消息囊封的巢状SEI消息是否适用于经编码视频位流的默认子位流的一或多个处理器。所述默认子位流为由所述SEI NAL单元的NAL单元标头中所指定的层识别符和所述NAL单元标头中所指定的时间识别符所定义的操作点的操作点表示。所述一或多个处理器经配置，使得当所述巢状SEI消息适用于所述默认子位流时，所述一或多个处理器在对所述默认子位流的操作中使用所述巢状SEI消息。
在另一实例中，本发明描述一种装置，其包括用于至少部分基于由SEI NAL单元所囊封的可缩放巢套SEI消息中的语法元素确定由所述可缩放巢套SEI消息囊封的巢状SEI消息是否适用于经编码视频位流的默认子位流的装置。所述默认子位流为由所述SEINAL单元的NAL单元标头中所指定的层识别符和所述NAL单元标头中所指定的时间识别符所定义的操作点的操作点表示。所述装置也包括用于当所述巢状SEI消息适用于所述默认子位流时在对所述默认子位流的操作中使用所述巢状SEI消息的装置。
在另一实例中，本发明描述一种存储指令的计算机可读存储媒体，当由装置的一或多个处理器执行所述指令时，所述指令配置所述装置以至少部分基于由SEI NAL单元所囊封的可缩放巢套SEI消息中的语法元素，确定由所述可缩放巢套SEI消息囊封的巢状SEI消息是否适用于经编码视频位流的默认子位流。所述默认子位流为由所述SEI NAL单元的NAL单元标头中所指定的层识别符和所述NAL单元标头中所指定的时间识别符所定义的操作点的操作点表示。当执行所述指令时，所述指令配置所述装置，使得当所述巢状SEI消息适用于所述默认子位流时，所述装置在对所述默认子位流的操作中使用所述巢状SEI消息。
在另一实例中，本发明描述一种编码视频数据的方法。所述方法包括在由SEI NAL单元所囊封的可缩放巢套SEI消息中，包含指示由所述可缩放巢套SEI消息囊封的巢状SEI消息是否适用于经编码视频位流的默认子位流的语法元素。所述默认子位流为由所述SEINAL单元的NAL单元标头中所指定的层识别符和所述NAL单元标头中所指定的时间识别符所定义的操作点的操作点表示。所述方法也包括在所述经编码视频位流中用信号发出所述可缩放巢套SEI消息。
在另一实例中，本发明描述一种视频编码装置，其包括经配置以在由SEI NAL单元所囊封的可缩放巢套SEI消息中，包含指示由所述可缩放巢套SEI消息囊封的巢状SEI消息是否适用于经编码视频位流的默认子位流的语法元素的一或多个处理器。所述默认子位流为由所述SEI NAL单元的NAL单元标头中所指定的层识别符和所述NAL单元标头中所指定的时间识别符所定义的操作点的操作点表示。所述一或多个处理器也经配置以在所述经编码视频位流中用信号发出所述可缩放巢套SEI消息。
在另一实例中，本发明描述一种视频编码装置，其包括用于在由SEI NAL单元所囊封的可缩放巢套SEI消息中，包含指示由所述可缩放巢套SEI消息囊封的巢状SEI消息是否适用于经编码视频位流的默认子位流的语法元素的装置。所述默认子位流为由所述SEINAL单元的NAL单元标头中所指定的层识别符和所述NAL单元标头中所指定的时间识别符所定义的操作点的操作点表示。所述视频编码装置也包括用于在所述经编码视频位流中用信号发出所述可缩放巢套SEI消息的装置。
在另一实例中，本发明描述一种存储指令的计算机可读存储媒体，当由一视频编码装置执行所述指令时，所述指令配置所述视频编码装置以在由SEI NAL单元所囊封的可缩放巢套SEI消息中，包含指示由所述可缩放巢套SEI消息囊封的巢状SEI消息是否适用于经编码视频位流的默认子位流的语法元素。所述默认子位流为由所述SEI NAL单元的NAL单元标头中所指定的层识别符和所述NAL单元标头中所指定的时间识别符所定义的操作点的操作点表示。当执行所述指令时，所述指令也配置所述视频编码装置以在所述经编码视频位流中用信号发出所述可缩放巢套SEI消息。
在随附图式和以下描述中阐述本发明的一或多个实例的细节。从所述描述、图式和权利要求书，其它特征、目标和优势将显而易见。
附图说明
图1为说明可利用本发明中所描述的技术的实例视频译码系统的框图。
图2为说明可实施本发明中所描述的技术的实例视频编码器的框图。
图3为说明可实施本发明中所描述的技术的实例视频解码器的框图。
图4为说明根据本发明的一或多个技术的视频编码器的实例操作的流程图。
图5为说明根据本发明的一或多个技术的装置的实例操作的流程图。
图6为说明根据本发明的一或多个技术的视频编码器的实例操作的流程图。
图7为说明根据本发明的一或多个技术的装置的实例操作的流程图。
图8为说明根据本发明的一或多个技术的视频编码器的实例操作的流程图。
图9为说明根据本发明的一或多个技术的装置的实例操作的流程图。
具体实施方式
视频编码器可产生包含经编码视频数据的位流。因为位流包含经编码视频数据，所以在本文中位流可被称作经编码视频位流。位流可包括一系列网络抽象层(NAL)单元。NAL单元可包含视频译码层(VCL)NAL单元和非VCL NAL单元。VCL NAL单元可包含图片的经译码切片。非VCL NAL单元可包含视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、补充增强信息(SEI)或其它类型的数据。VPS为可含有适用于零或多个全部经译码视频序列的语法元素的语法结构。SPS为可含有适用于零或多个全部经译码视频序列的语法元素的语法结构。单一VPS可适用于多个SPS。PPS为可含有适用于零或多个全部经译码图片的语法元素的语法结构。单一SPS可适用于多个PPS。
例如内容传递网络(CDN)装置、媒体感知网络元件(MANE)、视频编码器或视频解码器的装置可从位流提取子位流。装置可通过从位流去除某些NAL单元而执行子位流提取过程。所得的子位流包含位流的剩余未经去除的NAL单元。在一些实例中，从子位流解码的视频数据可具有较低的帧速率，和/或可表示比原始位流少的视图。
视频译码标准可包含各种特征以支持子位流提取过程。例如，可将位流的视频数据划分成层的集合。对于所述层中的每一者，可无需参考任何较高层中的数据而解码较低层中的数据。NAL单元仅囊封单一层的数据。因此，可从位流去除囊封位流的最高剩余层的数据的NAL单元，而不会影响位流的剩余层中的数据的可译码性。在可缩放视频译码(SVC)中，较高层可包含增强数据，所述增强数据改善较低层中的图片的质量(质量可调性)、扩大较低层中的图片的空间格式(空间可调性)或提高较低层中的图片的时间速率(时间可调性)。在多视图译码(MVC)和三维视频(3DV)译码中，较高层可包含额外视图。
每一NAL单元可包含标头和有效负载。NAL单元的标头可包含nuh_reserved_zero_6bits语法元素。如果NAL单元与MVC、3DV译码或SVC中的基层相关，那么NAL单元的nuh_reserved_zero_6bits语法元素等于0。可无需参考位流的任何其它层中的数据而解码位流的基层中的数据。如果NAL单元并不与MVC、3DV或SVC中的基层相关，那么nuh_reserved_zero_6bits语法元素可具有其它非零值。具体来说，如果NAL单元并不与MVC、3DV或SVC中的基层相关，那么NAL单元的nuh_reserved_zero_6bits语法元素指定识别与NAL单元相关联的层的层识别符。
此外，可无需参考相同层内的其它图片而解码层内的一些图片。因此，可从位流去除囊封层的某些图片的数据的NAL单元，而不会影响层中的其它图片的可译码性。例如，可无需参考具有奇数POC值的图片而解码具有偶数图片次序计数(POC)值的图片。去除囊封这些图片的数据的NAL单元可减少位流的帧速率。可无需参考层内的其它图片而解码的层内的图片的子集在本文中可被称作“子层”或“时间子层”。
NAL单元可包含nuh_temporal_id_plus1语法元素。NAL单元的nuh_temporal_id_plus1语法元素可指定NAL单元的时间识别符。如果第一NAL单元的时间识别符小于第二NAL单元的时间识别符，那么可无需参考由第二NAL单元所囊封的数据而解码由第一NAL单元所囊封的数据。
位流的操作点各自与层识别符(即，nuh_reserved_zero_6bits值的集合)的集合和时间识别符相关联。层识别符的集合可表示为OpLayerIdSet，且时间识别符可表示为TemporalID。如果NAL单元的层识别符为操作点的层识别符的集合，且NAL单元的时间识别符小于或等于操作点的时间识别符，那么NAL单元与操作点相关联。操作点表示为与操作点相关联的位流子集(即，子位流)。操作点的操作点表示可包含与操作点相关联的每一NAL单元。操作点表示并不包含与操作点无关联的VCLNAL单元。
外部源可指定用于操作点的目标层识别符的集合。例如，内容传递网络(CDN)装置可指定目标层识别符的集合。在此实例中，CDN装置可使用目标层识别符的集合以识别操作点。CDN装置可接着提取操作点的操作点表示，和将操作点表示而非原始位流转递到用户端装置。提取操作点表示和将操作点表示转递到用户端装置可减少位流的位速率。
此外，视频译码标准指定视频缓冲模型。视频缓冲模型也可被称作“假想参考解码器”或“HRD”。HRD描述如何缓冲数据以用于解码和如何缓冲经解码的数据以用于输出。例如，HRD描述视频解码器中的经译码图片缓冲器(“CPB”)和经解码图片缓冲器(“DPB”)的操作。CPB为按由HRD指定的解码次序含有存取单元的先进先出缓冲器。DPB为保存经解码的图片以用于由HRD指定的参考、输出重排或输出延迟的缓冲器。
视频编码器可用信号发出HRD参数的集合。HRD参数控制HRD的各种方面。HRD参数可包含初始CPB去除延迟、CPB大小、位速率、初始DPB输出延迟和DPB大小。可在VPS和/或SPS中所指定的hrd_parameters()语法结构中译码这些HRD参数。也可在缓冲周期SEI消息或图片时序SEI消息中指定HRD参数。
如上文所解释，操作点表示可具有相比原始位流不同的帧速率和/或位速率。这是因为操作点表示可不包含原始位流的一些图片和/或一些数据。因此，当处理原始位流时，如果视频解码器将以特定速率从CPB和/或DPB去除数据，和当处理操作点表示时，如果视频解码器将以相同速率从CPB和/或DPB去除数据，那么视频解码器可从CPB和/或DPB去除过多或过少的数据。因此，视频编码器可针对不同操作点用信号发出HRD参数的不同集合。在新出现的高效率视频译码(HEVC)标准中，视频编码器可用信号发出VPS中的HRD参数的集合，或视频编码器可用信号发出SPS中的HRD参数的集合。
任选地，HRD参数的集合包含对于所有时间子层共同的信息的集合。时间子层为由具有特定时间识别符的VCL NAL单元和相关联的非VCL NAL单元组成的时间可缩放位流的时间可缩放层。除共同信息的集合之外，HRD参数的集合还可包含特定于个别时间子层的语法元素的集合。因为共同信息的集合对于HRD参数的多个集合来说是共同的，所以可不必在多个HRD参数的集合中用信号发出共同信息的集合。在用于HEVC的一些建议中，当HRD参数的集合为VPS中的第一HRD参数的集合时，共同信息可存在于HRD参数的集合中，或当HRD参数的集合与第一操作点相关联时，共同信息可存在于HRD参数的集合中。
然而，当VPS中存在多个HRD参数的集合时，可能需要具有用于HRD参数的集合的多个不同共同信息的集合。当VPS中存在较大数目的HRD参数语法结构时，此情况可为尤其正确的。因此，不同于第一HRD参数语法结构，可能需要在HRD参数语法结构中具有共同信息的集合。
本发明的技术提供允许针对任何HRD参数语法结构明确地用信号发出HRD参数语法结构的共同信息的设计。换句话说，本发明的技术可允许针对任何hrd_parameters()语法结构明确地用信号发出对于所有子层共同的信息。此情况可改善译码效率。
因此，根据本发明的一或多个技术，例如视频解码器或其它装置的装置可至少部分基于包含多个HRD参数语法结构的VPS中的语法元素，确定VPS中的特定HRD参数语法结构是否包含对于位流的每一子层来说是共同的HRD参数的集合。装置可解码来自VPS的语法元素。一或多个HRD参数语法结构可在VPS中按译码次序先于特定HRD参数语法结构而发生。响应于确定特定HRD参数语法结构包含对于位流的每一子层来说是共同的HRD参数的集合，装置可使用特定HRD参数语法结构(包含对于位流的每一子层来说是共同的HRD参数的集合)而执行操作。
此外，视频编码器可产生可缩放巢套SEI消息。可缩放巢套SEI消息含有一或多个SEI消息。巢套于可缩放巢套SEI消息中的SEI消息可包含HRD参数或与操作点相关联的其它信息。用于HEVC的一些建议并不允许一个SEI消息适用于多个操作点。此情况可降低位速率效率，这是因为其可使得视频编码器用信号发出具有相同信息的多个SEI消息。因此，本发明的技术可允许一个SEI消息适用于多个操作点。例如，可缩放巢套SEI消息可包含指定可适用于巢套于可缩放巢套SEI消息内的SEI消息的多个操作点的语法元素。
另外，类似于其它类型的NAL单元，SEI NAL单元包含NAL单元标头和NAL单元主体。SEI NAL单元的NAL单元主体可包含SEI消息，例如可缩放巢套SEI消息或另一类型的SEI消息。类似于其它NAL单元，SEI NAL单元的NAL单元标头可包含nuh_reserved_zero_6bits语法元素和nuh_temporal_id_plus1语法元素。然而，在用于HEVC的一些建议中，SEI NAL单元的NAL单元标头的nuh_reserved_zero_6bits语法元素和/或nuh_temporal_id_plus1语法元素并不用于确定可适用于由SEI NAL单元囊封的SEI消息(或多个SEI消息)的操作点。然而，SEI NAL单元标头的这些语法元素可经再使用，以便减少用信号发出的位的数目。因此，根据本发明的技术，可在可缩放巢套SEI消息中用信号发出语法元素，以指示可适用于SEINAL单元中的巢状SEI消息的操作点是否为由SEI NAL单元的NAL单元标头中的层识别信息所指示的操作点。SEI NAL单元的NAL单元标头中的层识别信息可包含NAL单元标头的nuh_reserved_zero_6bits值和nuh_temporal_id_plus1值。
图1为说明可利用本发明的技术的实例视频译码系统10的框图。如本文中所使用，术语“视频译码器”大体指视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”可大体指视频编码或视频解码。
如图1中所展示，视频译码系统10包含源装置12和目的地装置14。源装置12产生经编码视频数据。因此，源装置12可被称作视频编码装置或视频编码设备。目的地装置14可解码由源装置12所产生的经编码视频数据。因此，目的地装置14可被称作视频解码装置或视频解码设备。源装置12和目的地装置14可为视频译码装置或视频译码设备的实例。
源装置12和目的地装置14可包括广泛范围的装置，包含桌上型计算机、行动计算装置、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能型”电话的电话手机、电视、摄影机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机，或其类似者。
目的地装置14可经由信道16而从源装置12接收经编码视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的一或多个媒体或装置。在一个实例中，信道16可包括能够使得源装置12实时地将经编码视频数据直接传输到目的地装置14的一或多个通信媒体。在此实例中，源装置12可根据通信标准(例如，无线通信协议)调制经编码视频数据，且可将经调制视频数据传输到目的地装置14。一或多个通信媒体可包含无线和/或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。一或多个通信媒体可形成基于封包的网络(例如，局域网、广域网或全球网络(例如，因特网))的部分。一或多个通信媒体可包含路由器、交换器、基站，或促进从源装置12到目的地装置14的通信的其它装备。
在另一实例中，信道16可包含存储由源装置12所产生的经编码视频数据的存储媒体。在此实例中，目的地装置14可(例如)经由磁盘存取或卡存取而存取存储媒体。存储媒体可包含多种本端存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器，或用于存储经编码视频数据的其它合适的数字存储媒体。
在再一实例中，信道16可包含文件服务器或存储由源装置12所产生的经编码视频数据的另一中间存储装置。在此实例中，目的地装置14可经由流式传输或下载而存取存储于文件服务器处或其它中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频数据和将经编码视频数据传输到目的地装置14的类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、文件传送协议(FTP)服务器、网络附接存储(NAS)装置和本端磁盘机。
目的地装置14可通过标准数据连接(例如，因特网连接)存取经编码视频数据。数据连接的实例类型可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)、或适于存取存储于文件服务器上的经编码视频数据的两者的组合。经编码视频数据从文件服务器的传输可为流式传输传输、下载传输，或两者的组合。
本发明的技术并不限于无线应用或设定。技术可应用于支持例如以下应用的多种多媒体应用中的视频译码：空中电视广播、有线电视传输、卫星电视传输、例如经由因特网的流式传输视频传输、用于存储于数据存储媒体上的视频数据的编码、存储于数据存储媒体上的视频数据的解码，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频播放、视频广播，和/或视频电话的应用。
图1仅为实例且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，从经由网络或类似者而流式传输的区域存储器检索数据。视频编码装置可编码数据和将数据存储到存储器，和/或视频解码装置可从存储器检索数据和解码数据。在许多实例中，由并不彼此通信，但简单地将数据编码到存储器和/或从存储器检索数据和解码数据的装置来执行编码和解码。
在图1的实例中，源装置12包含视频源18、视频编码器20，和输出接口22。在一些实例中，输出接口22可包含调制器/解调制器(调制解调器)和/或传输器。视频源18可包含例如摄像机的视频俘获装置，含有先前所俘获的视频数据的视频封存档、用以从视频内容提供者接收视频数据的视频馈入接口、和/或用于产生视频数据的计算机图形系统，或视频数据的这些源的组合。
视频编码器20可编码来自视频源18的视频数据。在一些实例中，源装置12经由输出接口22直接将经编码视频数据传输到目的地装置14。在其它实例中，经编码视频数据也可存储于存储媒体上或文件服务器上，以稍后供目的地装置14存取以用于解码和/或播放。
在图1的实例中，目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些实例中，输入接口28包含接收器和/或调制解调器。输入接口28可经由信道16接收经编码视频数据。显示装置32可与目的地装置14集成在一起，或可在目的地装置14外部。大体来说，显示装置32显示经解码视频数据。显示装置32可包括多种显示装置，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。
视频编码器20和视频解码器30可各自实施为多种合适电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。当部分地在软件中实施技术时，装置可将用于软件的指令存储于合适的非暂时性计算机可读存储媒体中，且可在硬件中使用一或多个处理器来执行所述指令以执行本发明的技术。可将上述内容(包含硬件、软件、硬件与软件的组合等)中的任一者视为一或多个处理器。视频编码器20和视频解码器30中的每一者可包含于一或多个编码器或解码器中，其中任一者可集成为相应装置中的组合式编码器/解码器(CODEC)的部分。
本发明可大体指将某些信息“发信号”到另一装置(例如，视频解码器30)的视频编码器20。术语“发信号”可大体指用于解码经压缩的视频数据的语法元素和/或其它数据的传达。可实时或接近实时地发生此传达。替代性地，可历时一时间跨度而发生此传达，例如当在编码时间处，将经编码位流中的语法元素存储到计算机可读存储媒体时，可发生此传达，接着，在存储于此媒体之后可由解码装置在任何时间处检索所述语法元素。
在一些实例中，视频编码器20和视频解码器30根据视频压缩标准而操作，视频压缩标准例如ISO/IEC MPEG-4Visual和ITU-T H.264(也被称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)扩展、多视图视频译码(MVC)扩展和基于MVC的3DV扩展。在一些情况下，符合基于MVC的3DV的任何位流始终含有遵照MVC设定档(例如，立体声高设定档)的子位流。此外，正持续努力以产生对H.264/AVC的三维视频(3DV)译码扩展，即基于AVC的3DV。在其它实例中，视频编码器20和视频解码器30可根据ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual，和ITU-T H.264、ISO/IEC Visual而操作。
在其它实例中，视频编码器20和视频解码器30可根据目前由ITU-T视频译码专家群组(VCEG)和ISO/IEC运动图片专家群组(MPEG)的视频译码联合合作小组(JCT-VC)开发的高效率视频译码(HEVC)标准而操作。即将到来的HEVC标准的草案(其被称作“HEVC工作草案8”)描述于布罗斯(Bross)等人的“高效率视频译码(HEVC)文本规范草案8(HighEfficiency Video Coding(HEVC)text specification draft 8)”(ITU-T SG 16WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，第10次会议，瑞典斯德哥尔摩，2012年7月，到2013年6月13日为止其可从http：//phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-V8.zip获得)中。即将到来的HEVC标准的另一草案(被称作“HEVC工作草案9”)描述于布罗斯等人的“高效率视频译码(HEVC)文本规范草案9(High Efficiency Video Coding(HEVC)text specification draft 9)”(ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，第11次会议，中国上海，2012年10月，到2013年6月13日为止其可从http：//phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K1003-v13.zip获得)中。此外，正持续努力以产生用于HEVC的SVC、MVC和3DV扩展。HEVC的3DV扩展可被称作基于HEVC的3DV或HEVC-3DV。
在HEVC和其它视频译码标准中，视频序列通常包含一系列图片。图片也可被称作“帧”。图片可包含表示为SL、SCb和SCr的三个样本阵列。SL为明度样本的二维阵列(即，块)。SCb为Cb色度样本的二维阵列。SCr为Cr色度样本的二维阵列。色度样本也可在本文中被称作“色度”样本。在其它情况下，图片可为单色的，且可仅包含明度样本的阵列。
为产生图片的经编码表示，视频编码器20可产生译码树型单元(CTU)的集合。CTU中的每一者可为明度样本的译码树型块、色度样本的两个对应译码树型块，和用于译码所述译码树型块的样本的语法结构。译码树型块可为样本的NxN块。CTU也可被称作“树型块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于例如H.264/AVC的其它标准的宏块。然而，CTU未必限于特定大小，且可包含一或多个译码单元(CU)。切片可包含在光栅扫描中连续定序的整数数目个CTU。
为产生经译码CTU，视频编码器20可对CTU的译码树型块递回地执行四分树分割，以将译码树型块划分成译码块，因此命名为“译码树型单元”。译码块为样本的NxN块。CU可为具有明度样本阵列的图片的明度样本的译码块和色度样本的两个对应译码块、Cb样本阵列和Cr样本阵列，和用于译码所述译码块的样本的语法结构。视频编码器20可将CU的译码块分割为一或多个预测块。预测块可为应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可为图片的明度样本的预测块、色度样本的两个对应预测块和用于预测所述预测块样本的语法结构。视频编码器20可产生CU的每一PU的明度预测块、Cb预测块和Cr预测块的预测性明度块、Cb块和Cr块。
视频编码器20可使用帧内预测或帧间预测，以产生PU的预测性块。如果视频编码器20使用帧内预测以产生PU的预测性块，那么视频编码器20可基于与PU相关联的图片的经解码样本而产生PU的预测性块。
如果视频编码器20使用帧间预测以产生PU的预测性块，那么视频编码器20可基于不同于与PU相关联的图片的一或多个图片的经解码样本，产生PU的预测性块。视频编码器20可使用单向预测或双向预测以产生PU的预测性块。当视频编码器20使用单向预测以产生PU的预测性块时，PU可具有单一运动向量。当视频编码器20使用双向预测以产生PU的预测性块时，PU可具有两个运动向量。
在视频编码器20产生CU的一或多个PU的预测性明度块、Cb块和Cr块之后，视频编码器20可产生CU的明度残余块。CU的明度残余块中的每一样本指示CU的预测性明度块中的一者中的明度样本与CU的原始明度译码块中的对应样本之间的差异。另外，视频编码器20可产生CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差异。视频编码器20也可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差异。
此外，视频编码器20可使用四分树分割以将CU的明度残余块、Cb残余块和Cr残余块分解成一或多个明度变换块、Cb变换块和Cr变换块。变换块可为应用相同变换的样本的矩形块。CU的变换单元(TU)可为明度样本的变换块、色度样本的两个对应变换块，和用于变换所述变换块样本的语法结构。因此，CU的每一TU可与明度变换块、Cb变换块，和Cr变换块相关联。与TU相关联的明度变换块可为CU的明度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。
视频编码器20可将一或多个变换应用于TU的明度变换块，以产生TU的明度系数块。系数块可为变换系数的二维阵列。变换系数可为纯量数量。视频编码器20可将一或多个变换应用于TU的Cb变换块，以产生TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块，以产生TU的Cr系数块。
在产生系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化系数块。量化大体指如下过程：将变换系数量化以可能地减少用以表示所述变换系数的数据的量，从而提供进一步的压缩。在视频编码器20量化系数块之后，视频编码器20可熵编码指示经量化的变换系数的语法元素。例如，视频编码器20可对指示经量化的变换系数的语法元素执行上下文自适应性二进制算术译码(CABAC)。视频编码器20可在位流中输出经熵编码的语法元素。
视频编码器20可输出包含经熵编码的语法元素的位流。位流可包含形成经译码图片和相关联数据的表示的位序列。位流可包括网络抽象层(NAL)单元序列。NAL单元中的每一者包含NAL单元标头，且囊封原始字节序列有效负载(RBSP)。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为含有囊封于NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零位。
不同类型的NAL单元可囊封不同类型的RBSP。例如，第一类型的NAL单元可囊封图片参数集(PPS)的RBSP；第二类型的NAL单元可囊封经译码切片的RBSP；第三类型的NAL单元可囊封SEI的RBSP等等。囊封视频译码数据的RBSP(相反于参数集的RBSP和SEI消息的RBSP)的NAL单元可被称作视频译码层(VCL)NAL单元。
视频解码器30可接收由视频编码器20所产生的位流。另外，视频解码器30可剖析位流以解码来自位流的语法元素。视频解码器30可至少部分基于从位流所解码的语法元素而重构建视频数据的图片。重构建视频数据的过程可大体上互逆于由视频编码器20执行的过程。例如，视频解码器30可使用PU的运动向量以确定当前CU的PU的预测性块。另外，视频解码器30可反量化与当前CU的TU相关联的变换系数块。视频解码器30可对变换系数块执行反变换，以重构建与当前CU的TU相关联的变换块。通过将当前CU的PU的预测性块的样本添加到当前CU的TU的变换块的对应样本，视频解码器30可重构建当前CU的译码块。通过重构建图片的每一CU的译码块，视频解码器30可重构建图片。
在多视图译码中，可存在来自不同视点的相同场景的多个视图。术语“存取单元”用于指对应于相同时间实例的图片的集合。因此，视频数据可经概念化为一系列随时间推移的存取单元。“视图分量”可为单一存取单元中的视图的经译码表示。在本发明中，“视图”可指与相同视图识别符相关联的视图分量序列。
多视图译码支持视图间预测。视图间预测类似于HEVC中所使用的帧间预测，且可使用相同语法元素。然而，当视频译码器对当前视频单元(例如，PU)执行视图间预测时，视频编码器20可将处于与当前视频单元相同的存取单元中但不同视图中的图片用作参考图片。相对比地，常规的帧间预测仅将不同存取单元中的图片用作参考图片。
在多视图译码中，如果视频解码器(例如，视频解码器30)可无需参考任何其它视图中的图片而解码视图中的图片，那么所述视图可被称作“基础视图”。当译码非基础视图中的一者中的图片时，如果图片处于与视频译码器当前正译码的图片相同的时间实例(即，存取单元)内但不同视图中，那么视频译码器(例如，视频编码器20或视频解码器30)可将所述图片添加到参考图片列表中。类似其它帧间预测参考图片，视频译码器可在参考图片列表的任何位置处插入视图间预测参考图片。
视频译码标准指定视频缓冲模型。在H.264/AVC和HEVC中，缓冲模型被称作“假想参考解码器”或“HRD”。在HEVC工作草案8中，HRD描述于附录C中。
HRD描述应如何缓冲数据以用于解码，和如何缓冲经解码数据以用于输出。例如，HRD描述CPB的操作、经解码图片缓冲器(“DPB”)，和视频解码过程。CPB为按由HRD指定的解码次序含有存取单元的先进先出缓冲器。DPB为保存经解码图片以用于由HRD指定的参考、输出重排或输出延迟的缓冲器。可以数学方法指定CPB和DPB的行为。HRD可直接地对时序、缓冲器尺寸和位速率强加约束。此外，HRD可间接地对各种位流特性和统计强加约束。
在H.264/AVC和HEVC中，将位流符合性和解码器符合性指定为HRD规范的部分。换句话说，HRD模型指定用以确定位流是否遵循标准的测试，和用以确定解码器是否遵循标准的测试。尽管将HRD称为某种解码器，但视频编码器通常使用HRD以确保位流符合性，而视频解码器通常并不需要HRD。
H.264/AVC和HEVC两者皆指定两种类型的位流符合性或HRD符合性，即，I型和II型。I型位流为仅含有用于位流中的所有存取单元的VCL NAL单元和填充符数据NAL单元的NAL单元流。II型位流为除了用于位流中的所有存取单元的VCL NAL单元和填充符数据NAL单元之外，含有以下各者中的至少一者的NAL单元流：不同于填充符数据NAL单元的额外非VCL NAL单元；和从NAL单元流形成字节流的所有leading_zero_8bits、zero_byte、start_coded_prefix_one_3bytes，和trailing_zero_8bits语法元素。
当装置执行确定位流是否遵循视频译码标准的位流符合性测试时，装置可选择位流的操作点。接着，装置可确定可适用于所选择的操作点的HRD参数的集合。装置可使用可适用于所选择的操作点的HRD参数的集合，以配置HRD的行为。更特定来说，装置可使用HRD参数的可适用集合，以配置HRD的特定组份的行为，例如，假想流排程器(HSS)、CPB、解码过程、DPB等等。随后，根据特定排程，HSS可将位流的经译码视频数据注入HRD的CPB中。此外，装置可调用解码CPB中的经译码视频数据的解码过程。解码过程可将经解码图片输出到DPB。在装置将数据移动通过HRD时，装置可确定是否仍然满足特定约束集合。例如，当HRD解码所选择的操作点的操作点表示时，装置可确定CPB或DPB中是否发生溢出或下溢条件。装置可以此方式选择和处理位流的每一操作点。如果无导致违反约束的位流的操作点，那么装置可确定位流遵循视频译码标准。
H.264/AVC和HEVC两者皆指定两种类型的解码器符合性，即，输出时序解码器符合性和输出次序解码器符合性。主张对于具体设定档、层和层级的符合性的解码器能够成功地解码遵循视频译码标准(例如，HEVC)的位流符合性要求的所有位流。在本发明中，“设定档”可指位流语法的子集。可在每一设定档内指定“层”和“层级”。层的层级可为强加于位流中的语法元素的值的约束的指定集合。这些约束可为对值的简单限制。替代性地，所述约束可采取对值的算术组合(例如，图片宽度乘以图片高度乘以每秒解码的图片的数目)的约束的形式。通常，针对较低层指定的层级比针对较高层指定的层级经较多约束。
当装置执行解码器符合性测试以确定受测解码器(DUT)是否遵循视频译码标准时，装置可将遵循视频译码标准的位流提供给HRD和DUT两者。HRD可以上文所描述的关于位流符合性测试的方式处理位流。如果由DUT输出的经解码图片的次序匹配由HRD输出的经解码图片的次序，那么装置可确定DUT遵循视频译码标准。此外，如果DUT输出经解码图片的时序匹配HRD输出经解码图片的时序，那么装置可确定DUT遵循视频译码标准。
在H.264/AVC和HEVC HRD模型中，解码或CPB去除可基于存取单元。即，假定HRD一次解码全部存取单元和从CPB去除全部存取单元。此外，在H.264/AVC和HEVCHRD模型中，假定图片解码是瞬时的。视频编码器20可在图片时序SEI消息中用信号发出解码时间以开始解码存取单元。在实际应用中，如果符合的视频解码器严格地遵循经用信号发出以开始解码存取单元的解码时间，那么输出特定经解码图片的最早可能时间等于彼特定图片的解码时间加上解码彼特定图片所需的时间。然而，在真实世界中，解码图片所需的时间不可能等于零。
HRD参数可控制HRD的各种方面。换句话说，HRD可依赖HRD参数。HRD参数可包含初始CPB去除延迟、CPB大小、位速率、初始DPB输出延迟和DPB大小。视频编码器20可在视频参数集(VPS)和/或序列参数集(SPS)中指定的hrd_parameters()语法结构中用信号发出这些HRD参数。个别VPS和/或SPS可包含用于HRD参数的不同集合的多个hrd parameters()语法结构。在一些实例中，视频编码器20可在缓冲周期SEI消息或图片时序SEI消息中用信号发出HRD参数。
如上文所解释，位流的操作点与层识别符的集合(即，nuh_reserved_zero_6bits值的集合)和时间识别符相关联。操作点表示可包含与操作点相关联的每一NAL单元。操作点表示可具有相比原始位流不同的帧速率和/或位速率。此情况是因为操作点表示可不包含原始位流的一些图片和/或原始位流的一些数据。因此，当处理原始位流时，如果视频解码器30将以特定速率从CPB和/或DPB去除数据，且当处理操作点表示时，如果视频解码器30将以相同速率从CPB和/或DPB去除数据，那么视频解码器30可从CPB 和/或DPB去除过多或过少的数据。因此，视频编码器20可针对不同操作点用信号发出HRD参数的不同集合。例如，在VPS中，视频编码器20可包含多个hrd_parameters()语法结构，hrd_parameters()语法结构包含用于不同操作点的HRD参数。
在HEVC工作草案8中，任选地，HRD参数的集合包含对于所有时间子层共同的信息的集合。换句话说，HRD参数的集合可任选地包含可适用于包含任何时间子层的操作点的共同语法元素的集合。时间子层可为由具有TemporalId的特定值的VCL NAL单元和相关联的非VCL NAL单元组成的时间可缩放位流的时间可缩放层。除共同信息的集合之外，HRD参数的集合还可包含特定于个别时间子层的语法元素的集合。例如，hrd_parameters()语法结构可任选地包含对于所有子层共同，且始终包含子层特定的信息的信息的集合。因为共同信息的集合对于HRD参数的多个集合来说是共同的，所以可不必在多个HRD参数的集合中用信号发出共同信息的集合。实情为，在HEVC工作草案8中，当HRD参数的集合为VPS中的第一HRD参数的集合时，共同信息可存在于HRD参数的集合中，或当HRD参数的集合与第一操作点索引相关联时，共同信息可存在于HRD参数的集合中。例如，当hrd_parameters()语法结构为VPS中的第一hrd_parameters()语法结构时，抑或当hrd_parameters()语法结构与第一操作点索引相关联时，HEVC工作草案8支持共同信息的存在。
以下的表1为HEVC中的hrd_parameters()语法结构的实例语法结构。
表1——HRD参数
在上文的表1的实例和本发明的其它语法表中，具有类型描述符ue(v)的语法元素可为使用0阶指数哥伦布(Exp-Golomb)译码而编码的长度可变的不带正负号的整数，其中从左位开始。在表1的实例和以下表中，具有u(n)(其中n为非负整数)的形式的描述符的语法元素为长度n的不带正负号的值。
在表1的实例语法中，“if(commonInfPresentFlag){...}”块中的语法元素为HRD参数语法结构的共同信息。换句话说，HRD参数的集合的共同信息可包含语法元素timing_info_present_flag、num_units_in_tick、time_scale、nal_hrd_parameters_present_flag、vcl_hrd_parameters_present_flag、sub_pic_cpb_params_present_flag、tick_divisor_minus2、du_cpb_removal_delay_length_minus1、bit_rate_scale、cpb_size_scale、initial_cpb_removal_delay_length_minus1、cpb_removal_delay_length_minus1，和dpb_output_delay_length_minus1。
此外，在表1的实例中，语法元素fixed_pic_rate_flag[i]、pic_duration_in_tc_minusl[i]、low_delay_hrd_flag[i]和cpb_cnt_minusl[i]可为子层特定HRD参数的集合。换句话说，hrd_parameter()语法结构的这些语法元素可仅适用于包含子层特定的操作点。因此，除任选地包含的共同信息之外，hrd_parameters()语法结构的HRD参数还可包含特定于位流的特定子层的子层特定HRD参数的集合。
当HighestTid等于i时，fixed_pic_rate_flag[i]语法元素可指示以具体方式约束按输出次序的任何两连续图片的HRD输出时间之间的时间距离。HighestTid可为识别(例如，操作点的)最高时间子层的变量。当HighestTid等于i时，pic_duration_in_tc_minus1[i]语法元素可以时钟刻度指定经译码视频序列中按输出次序的任何连续图片的HRD输出时间之间的时间距离。当HighestTid等于i时，low_delay_hrd_flag[i]语法元素可指定HRD操作模式，如在HEVC工作草案8的附录C中所指定。当HighestTid等于i时，cpb_cnt_minus1[i]语法元素可指定经译码视频序列的位流中的替代性CPB规范的数目，其中一个替代性CPB规范系指具有特定CPB参数的集合的一个特定CPB操作。
视频编码器20可使用SEI消息以在位流中包含正确解码图片的样本值并不需要的后设数据。然而，视频解码器30或其它装置可将包含于SEI消息中的后设数据用于各种其它目的。例如，视频解码器30或另一装置可将SEI消息中的后设数据用于图片输出时序、图片显示、损失检测和错误隐藏。
视频编码器20可包含存取单元中的一或多个SEI NAL单元。换句话说，任何数目个SEI NAL单元可与存取单元相关联。此外，每一SEI NAL单元可含有一或多个SEI消息。HEVC标准描述用于各种类型的SEI消息的语法和语义。然而，HEVC标准并不描述SEI消息的处置，这是因为SEI消息并不影响规范解码过程。HEVC标准中具有SEI消息的一个原因为实现在使用HEVC的不同系统中相同地解译补充数据。使用HEVC的规范和系统可能需要视频编码器产生某些SEI消息或可定义特定类型的所接收SEI消息的具体处置。以下的表2列出HEVC中所指定的SEI消息且简略地描述其目的。
表2——SEI消息的概述
2012年9月24日申请的美国临时专利申请案61/705,102描述用于用信号发出和选择HRD参数的各种方法，包含用信号发出和选择SEI消息中的延迟信息和时序信息。汉努克塞拉(Hannuksela)等人的“AHG9：VPS中的操作点和巢套SEI(AHG9：Operation points inVPS and nesting SEI)”(ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG11的视频译码联合合作小组(JCT-VC)，第11次会议，中国上海，2012年10月10日到19日，文件第JCTVC-K0180v1号，到2013年6月13日为止其可从http：//phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC-K0180-v1.zip获得)提供用于用信号发出HRD参数的另一方法以及用于巢套SEI消息的机制。
现存的用于用信号发出HRD参数的技术存在若干问题或缺点。例如，现存的技术可不允许由多个操作点共享HRD参数的集合。然而，当操作点的数目较高时，对于尝试确保位流的符合性以针对每一操作点产生不同的HRD参数的集合的视频编码器20或另一单元来说，此情况可为有负担的。实情为，可通过确保每一操作点与HRD参数的集合相关联，但HRD参数的特定集合可由多个操作点共享而确保位流的符合性。本发明的一或多个技术可提供允许由多个操作点共享HRD参数的一个集合的设计。换句话说，HRD参数的单一集合可适用于多个操作点。此设计可允许尝试确保位流的符合性的视频编码器20或另一单元在复杂性与性能之间取舍。
在用信号发出HRD参数的现存技术的问题或缺点的另一实例中，当VPS中存在多个HRD参数的集合时，可能需要具有用于HRD参数的集合的共同信息的多个不同集合。当VPS中存在较大数目个HRD参数语法结构时，此情况可为尤其正确的。因此，可能需要在不同于第一HRD参数语法结构的HRD参数语法结构中具有共同信息的集合。例如，当VPS中存在多个hrd_parameters()语法结构时，尤其当hrd_parameters()语法结构的总数目相对较高时，为提供提高的性能，不同于第一hrd_parameters()语法结构的共同信息，或不同于第一操作点索引的共同信息，可能需要具有用于hrd_parameters()语法结构的不同的共同信息。
本发明的一或多个技术提供允许针对HRD参数的任何集合明确地用信号发出HRD参数的集合的共同信息的设计。例如，本发明的技术可允许针对任何hrd_parameters()语法结构明确地用信号发出对于所有子层共同的信息。
以此方式，视频编码器20可在位流中用信号发出包含多个HRD参数语法结构的VPS，所述多个HRD参数语法结构各自包含HRD参数。对于多个HRD参数语法结构中的每一相应HRD参数语法结构，VPS进一步包含指示相应HRD参数语法结构的HRD参数除特定于位流的特定子层的子层特定HRD参数信息的集合之外是否还包含HRD参数的共同集合的语法元素。HRD参数的共同集合对于位流的所有子层来说是共同的。
类似地，视频解码器30或另一装置可从位流解码包含多个HRD参数语法结构的VPS，所述多个HRD参数语法结构各自包含HRD参数。对于多个HRD参数语法结构中的每一相应HRD参数语法结构，VPS可进一步包含指示相应HRD参数语法结构的HRD参数是否包含HRD参数的共同集合的语法元素。视频解码器30或其它装置可使用HRD参数语法结构中的至少一者的HRD参数而执行操作。
此外，用于巢套SEI消息的现存方法可具有若干问题或缺点。例如，用信号发出HRD参数的现存技术可不允许一个SEI消息适用于多个操作点。本发明的技术可提供允许一个SEI消息适用于多个操作点的设计。
明确地说，可缩放巢套SEI消息可包含指定适用于巢套于可缩放巢套SEI消息内的SEI消息的多个操作点的语法元素。换句话说，可缩放巢套SEI消息可提供用于使SEI消息与位流子集(例如，操作点表示)相关联，或与具体层和子层相关联的机制。
以此方式，视频编码器20可产生包含多个语法元素的可缩放巢套SEI消息，所述多个语法元素识别由可缩放巢套SEI消息囊封的巢状SEI消息适用的多个操作点。此外，视频编码器20可在位流中用信号发出可缩放巢套SEI消息。
以此方式，在视频译码过程中，视频解码器30或另一装置可从可缩放巢套SEI消息解码识别由可缩放巢套SEI消息所囊封的巢状SEI消息适用的操作点的多个语法元素。此外，视频解码器30或其它装置可至少部分基于巢状SEI消息的语法元素中的一或多者而执行操作。
巢套SEI消息的现存技术的问题或缺点的另一实例是关于如下事实：巢套SEI消息的现存技术并不使用当前SEI NAL单元中的层识别符语法元素(例如，nuh_reserved_zero_6bits)的值，以确定适用于由当前SEI NAL单元囊封的可缩放巢套SEI消息的操作点。
本发明的技术提供用信号发出适用于SEI NAL单元中的巢状SEI消息的操作点是否为由SEI NAL单元的NAL单元标头中的层识别信息所指示的操作点的设计。SEI NAL单元的NAL单元标头中的层识别信息可包含NAL单元标头的nuh_reserved_zero_6bits的值和nuh_temporal_id_plus1的值。换句话说，本发明的技术可提供用于通过用信号发出巢状SEI消息是否适用于由包含于当前SEI NAL单元(即，含有可缩放巢套SEI消息的SEI NAL单元)的NAL单元标头中的层识别信息所识别的默认操作点，而使用当前SEI NAL单元的NAL单元标头中的层识别信息(例如，nuh_reserved_zero_6bits的值和nuh_temporal_id_plus1的值)的设计。
以此方式，在由SEI NAL单元囊封的可缩放巢套SEI消息中，视频编码器20可包含指示由可缩放巢套SEI消息囊封的巢状SEI消息是否适用于默认子位流的语法元素。默认子位流可为由SEI NAL单元的NAL单元标头中所指定的层识别符和NAL单元标头中所指定的时间识别符所定义的操作点的操作点表示。此外，视频编码器20可输出包含可缩放巢套SEI消息的位流。
类似地，例如视频解码器30或另一装置的装置可至少部分基于由SEI NAL单元囊封的可缩放巢套SEI消息中的语法元素，确定由可缩放巢套SEI消息囊封的巢状SEI消息是否适用于默认子位流。如上所述，默认子位流可为由SEI NAL单元的NAL单元标头中所指定的层识别符和NAL单元标头中所指定的时间识别符所定义的操作点的操作点表示。当巢状SEI消息适用于默认子位流时，装置可在对默认子位流的操作中使用巢状SEI消息。例如，巢状SEI消息可包含一或多个HRD参数。在此实例中，装置可使用所述一或多个HRD参数以执行确定默认子位流是否遵循视频译码标准(例如，HEVC)的位流符合性测试。替代性地，在此实例中，装置可使用所述一或多个HRD参数以确定视频解码器30是否满足解码器符合性测试。
在用于巢套SEI消息的现存方法的问题或缺点的另一实例中，层识别符的显式译码是低效的。本发明的技术可通过差分译码或使用旗标的译码而增加层识别符的显式译码的效率。
图2为说明可实施本发明的技术的实例视频编码器20的框图。图2是出于解释的目的而提供，且不应将其视为对如本发明中所广泛例示和描述的技术的限制。出于解释的目的，本发明在HEVC译码的上下文中描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。
在图2的实例中，视频编码器20包含预测处理单元100、残余产生单元102、变换处理单元104、量化单元106、反量化单元108、反变换处理单元110、重构建单元112、滤波器单元114、经解码图片缓冲器116和熵编码单元118。预测处理单元100包含帧间预测处理单元120和帧内预测处理单元126。帧间预测处理单元120包含运动估计单元122和运动补偿单元124。在其它实例中，视频编码器20可包含较多、较少或不同的功能组件。
视频编码器20可接收视频数据。视频编码器20可编码视频数据的图片的切片中的每一CTU。CTU中的每一者可与相等大小的明度译码树型块(CTB)和图片的对应CTB相关联。作为编码CTU的部分，预测处理单元100可执行四分树分割以将CTU的CTB划分成逐渐较小的块。较小块可为CU的译码块。例如，预测处理单元100可将与CTU相关联的CTB分割成四个相等大小的子块、将子块中的一或多者分割成四个相等大小的子子块等等。
视频编码器20可编码CTU的CU以产生CU的经编码表示(即，经译码CU)。作为编码CU的部分，预测处理单元100可分割与CU的一或多个PU中的CU相关联的译码块。因此，每一PU可与明度预测块和对应色度预测块相关联。视频编码器20和视频解码器30可支持具有各种大小的PU。如上文所指示，CU的大小可指CU的明度译码块的大小，且PU的大小可指PU的明度预测块的大小。假定特定CU的大小为2N×2N，那么视频编码器20和视频解码器30可支持用于帧内预测的2N×2N或N×N的PU大小，和2N×2N、2N×N、N×2N、N×N的对称PU大小，或用于帧间预测的类似大小。视频编码器20和视频解码器30也可支持用于帧间预测的2NxnU、2N×nD、nLx2N和nR×2N的PU大小的不对称分割。
通过对CU的每一PU执行帧间预测，帧间预测处理单元120可产生用于PU的预测性数据。用于PU的预测性数据可包含PU的预测性块和用于PU的运动信息。取决于PU在I切片中、P切片中抑或B切片中，帧间预测处理单元120可针对CU的PU执行不同操作。在I切片中，所有PU经帧内预测。因此，如果PU在I切片中，那么帧间预测处理单元120并不对PU执行帧间预测。因此，对于在I模式中编码的块，使用从相同帧内先前编码的相邻块的空间预测形成预测性块。
如果PU在P切片中，那么运动估计单元122可在用于PU的参考区域的参考图片的列表(例如，“RefPicList0”)中搜索参考图片。PU的参考区域可为参考图片内，含有最紧密地对应于PU的样本块的样本块的区域。运动估计单元122可产生指示含有PU的参考区域的参考图片的RefPicList0中的位置的参考索引。另外，运动估计单元122可产生指示PU的译码块与相关联于参考区域的参考位置之间的空间移位的运动向量。例如，运动向量可为提供从当前图片中的坐标到参考图片中的坐标的偏移的二维向量。运动估计单元122可将参考索引和运动向量输出为PU的运动信息。基于由PU的运动向量所指示的参考位置处的实际样本或内插样本，运动补偿单元124可产生PU的预测性块。
如果PU在B切片中，那么运动估计单元122可针对PU执行单向预测或双向预测。为针对PU执行单向预测，运动估计单元122可搜索RefPicList0或第二参考图片列表(“RefPicList1”)的参考图片以获得用于PU的参考区域。运动估计单元122可将指示含有参考区域的参考图片的RefPicList0或RefPicList1中的位置的参考索引、指示PU的预测块与相关联于参考区域的参考位置之间的空间移位的运动向量和指示参考图片是在RefPicList0中抑或RefPicList1中的一或多个预测方向指示符输出为PU的运动信息。运动补偿单元124可至少部分基于由PU的运动向量所指示的参考区域处的实际样本或内插样本而产生PU的预测性块。
为针对PU执行双向帧间预测，运动估计单元122可搜索RefPicList0中参考图片以获得用于PU的参考区域，且也可搜索RefPicList1中的参考图片以获得用于PU的另一参考区域。运动估计单元122可产生指示含有参考区域的参考图片的RefPicList0和RefPicList1中的位置的参考索引。另外，运动估计单元122可产生指示与参考区域相关联的参考位置与PU的预测块之间的空间位移的运动向量。PU的运动信息可包含PU的参考索引和运动向量。运动补偿单元124可至少部分基于由PU的运动向量所指示的参考区域处的实际样本或内插样本而产生PU的预测性块。
帧内预测处理单元126可通过对PU执行帧内预测而产生用于PU的预测性数据。用于PU的预测性数据可包含用于PU的预测性块和各种语法元素。帧内预测处理单元126可对I切片中、P切片中和B切片中的PU执行帧内预测。
为对PU执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式以产生用于PU的多个预测性数据的集合。帧内预测处理单元126可基于相邻PU的样本而产生用于PU的预测性块。对于PU、CU和CTU，假定从左到右从上而下编码次序，那么相邻PU可在PU上方、右上方、左上方或左边。帧内预测处理单元126可使用各种数目个帧内预测模式，例如，33个定向帧内预测模式。在一些实例中，帧内预测模式的数目可取决于PU的预测块的大小。
预测处理单元100可从由帧间预测处理单元120所产生的用于PU的预测性数据中，或从由帧内预测处理单元126所产生的用于PU的预测性数据中选择用于CU的PU的预测性数据。在一些实例中，预测处理单元100基于预测性数据的集合的位率/失真度量而选择用于CU的PU的预测性数据。所选择的预测性数据的预测性块在本文中可被称作所选择的预测性块。
基于CU的明度译码块、Cb译码块和Cr译码块，和CU的PU的所选择的预测性明度块、预测性Cb块和预测性Cr块，残余产生单元102可产生CU的明度残余块、Cb残余块和Cr残余块。例如，残余产生单元102可产生CU的残余块，使得残余块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应所选择的预测性块中的对应样本之间的差的值。
变换处理单元104可执行四分树分割以将CU的残余块分割成与CU的TU相关联的变换块。因此，TU可与明度变换块和两个对应色度变换块相关联。CU的TU的明度变换块和色度变换块的大小和位置可或可不基于CU的PU的预测块的大小和位置。称为“残余四分树”(RQT)的四分树结构可包含与区域中的每一者相关联的节点。CU的TU可对应于RQT的叶节点。
通过将一或多个变换应用到TU的变换块，变换处理单元104可产生CU的每一TU的变换系数块。变换处理单元104可将各种变换应用到与TU相关联的变换块。例如，变换处理单元104可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用到变换块。在一些实例中，变换处理单元104并不将变换应用到变换块。在这些实例中，可将变换块作为变换系数块对待。
量化单元106可量化系数块中的变换系数。量化过程可减少与变换系数中的一些或全部相关联的位深度。例如，可在量化期间将n位变换系数降值舍位到m位变换系数，其中n大于m。基于与CU相关联的量化参数(QP)值，量化单元106可量化与CU的TU相关联的系数块。视频编码器20可通过调整与CU相关联的QP值而调整应用于与CU相关联的系数块的量化程度。量化可使得信息丢失，因此经量化的变换系数可具有比原始变换系数低的精度。
反量化单元108和反变换处理单元110可将反量化和反变换分别应用到系数块，以从系数块重构建残余块。重构建单元112可将经重构建的残余块添加到来自由预测处理单元100所产生的一或多个预测性块的对应样本，以产生与TU相关联的经重建变换块。通过以此方式重构建CU的每一TU的变换块，视频编码器20可重构建CU的译码块。
滤波器单元114可执行一或多个解块操作以减少与CU相关联的译码块中的块伪影。经解码图片缓冲器116可在滤波器单元114对经重构建译码块执行一或多个解块操作之后，存储经重构建译码块。帧间预测处理单元120可使用含有经重构建译码块的参考图片以对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可使用经解码图片缓冲器116中的经重构建译码块，以对与CU相同的图片中的其它PU执行帧内预测。
熵编码单元118可从视频编码器20的其它功能组件接收数据。例如，熵编码单元118可从量化单元106接收系数块，且可从预测处理单元100接收语法元素。熵编码单元118可对数据执行一或多个熵编码操作，以产生经熵编码数据。例如，熵编码单元118可对数据执行上下文自适应性可变长度译码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应性二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可输出包含由熵编码单元118所产生的经熵编码数据的位流。例如，位流可包含表示CU的RQT的数据。
如上文所指示，本发明的技术可提供允许针对VPS中的任何HRD参数语法结构明确地用信号发出HRD参数语法结构的共同信息的设计。为使得能够针对VPS中的任何HRD参数明确地用信号发出HRD参数语法结构的共同信息，视频编码器20可产生遵循以下的表3中所展示的实例语法的VPS语法结构。
表3——VPS语法结构
表3的斜体部分指示表3的语法与来自HEVC工作草案8的对应表之间的差异。此外，在表3的实例语法中，num_ops_minus1语法元素指定VPS中存在的operation_point()语法结构的数目。hrd_applicable_ops_minus1[i]语法元素指定第i hrd_parameters()语法结构适用的操作点的数目。hrd_op_idx[i][j]语法元素指定VPS中的第i hrd_parameters()语法结构适用的第j操作点。如上文所简略提及，本发明的技术可允许由多个操作点共享HRD参数的一个集合。hrd_applicable_ops_minus1[i]语法元素和hrd_op_idx[i][j]可用来指示HRD参数的集合适用的操作点。在并不允许多个操作点适用于HRD参数的单一集合的一些实例中，从表3省略hrd_applicable_ops_minus1[i]语法元素和hrd_op_idx[i][j]语法元素。
在表3的实例语法中，VPS可包含共同参数存在旗标的集合(即，语法元素)，在表3中表示为cprms_present_fiag[i]。等于1的cprms_present_fiag[i]语法元素指定对于所有子层共同的HRD参数存在于VPS中的第i hrd_parameters()语法结构中。等于0的cprms_present_flag[i]语法元素指定对于所有子层共同的HRD参数并不存在于VPS中的第i hrd_parameters()语法结构中，而是经导出而与VPS中的第(i-1)hrd_parameters()语法结构相同。
cprms_present_flag[0]可经推断为等于1。即，装置可自动确定(即，推断)VPS中的(按译码次序)第一hrd_parameters()语法结构包含对于所有子层共同的HRD参数。因此，在VPS中用信号发出的第一HRD参数语法结构包含HRD参数的共同集合。VPS中的一或多个后续HRD参数语法结构可包含HRD参数的不同共同集合。
如上文所简略提及，本发明的技术可允许针对任何HRD参数语法结构明确地用信号发出HRD参数语法结构的共同信息(即，对于子层中的每一者来说是共同的HRD参数)。表3的cprms_present_fiag[i]语法元素可使视频解码器30或另一装置能够确定HRD参数语法结构中的哪些包含对于子层中的每一者来说是共同的HRD参数的集合。因此，虽然第一HRD参数语法结构可始终包含HRD参数的共同集合，但在VPS中用信号发出的一或多个HRD参数语法结构并不包含HRD参数的共同集合。装置可使用cprms_present_flag[i]语法元素以确定VPS的HRD参数语法结构中的哪些包含HRD参数的共同集合。
HRD参数语法结构(例如，hrd_parameters()语法结构)可包含子层特定HRD参数的集合，而不管HRD参数语法结构是否包含对于所有子层共同的HRD参数。当视频解码器30或另一装置确定特定HRD参数语法结构并不包含HRD参数的共同集合时，视频解码器30或另一装置可使用与先前HRD参数语法结构和特定HRD参数语法结构的子层特定HRD参数的集合相关联的HRD参数的共同集合而执行操作。先前HRD参数语法结构可为按译码次序在特定HRD参数语法结构之前于VPS中用信号发出的HRD参数的集合。如果先前HRD参数语法结构包含HRD参数的共同集合，那么与先前HRD参数语法结构相关联的HRD参数的共同集合为包含于先前HRD参数语法结构中的HRD参数的共同集合。如果先前HRD参数语法结构并不包含HRD参数的共同集合，那么装置可确定与先前HRD参数语法结构相关联的HRD参数的共同集合为与按译码次序先于按译码次序的先前HRD参数语法结构的HRD参数语法结构相关联的HRD参数的共同集合。
如上文所提及，装置可使用HRD参数的共同集合和子层特定HRD参数而执行操作。在此操作期间，装置可根据HRD参数中的一或多者管理CPB的操作，解码视频数据，和根据HRD参数中的一或多者管理DPB中的经解码图片。在另一实例中，HRD参数的共同集合和子层特定HRD参数可用于执行位流符合性测试或解码器符合性测试。
此外，在一些实例中，可缩放巢套SEI消息提供用于使SEI消息与位流子集(例如，操作点表示)或与具体层和子层相关联的机制。在一些这些实例中，可缩放巢套SEI消息可含有一或多个SEI消息。含有于可缩放巢套SEI消息中的SEI消息可被称作巢状SEI消息。未含有于可缩放巢套SEI消息中的SEI消息可被称作非巢状SEI消息。在一些实例中，可缩放巢套SEI消息中的巢状SEI消息可包含HRD参数的集合。
在一些实例中，对于可巢套哪些类型的消息存在若干限制。例如，可不能在相同可缩放巢套SEI消息中巢套缓冲周期SEI消息和任何其它类型的SEI消息。缓冲周期SEI消息可指示HRD操作的初始延迟。在另一实例中，可不能在相同可缩放巢套SEI消息中巢套图片时序SEI消息和任何其它类型的SEI消息。图片时序SEI消息可指示HRD操作的图片输出时间和图片/子图片去除时间。在其它实例中，可在相同可缩放巢套SEI消息中巢套图片时序SEI消息和子图片时序SEI消息。子图片时序SEI消息可将CPB去除延迟信息提供给与SEI消息相关联的经解码单元。
如上文所指示，本发明的一或多个技术可允许一个SEI消息适用于多个操作点。此外，本发明的一或多个技术可使视频编码器20能够用信号发出适用于SEI NAL单元中的巢状SEI消息的操作点是否为由SEI NAL单元的NAL单元标头中的层识别信息所指示的操作点。另外，本发明的一或多个技术可通过差分译码增加层识别符的显式译码的效率。以下的表4中所展示的实例语法和随附语义可实施这些技术。
表4——可缩放巢套SEI消息
在表4的实例中，斜体部分可指示与HEVC工作草案8的差异。具体来说，在表4的实例语法中，等于0的bitstream_subset_flag语法元素指定巢套于可缩放巢套SEI消息中的SEI消息适用于具体层和子层。等于1的bitstream_subset_flag语法元素指定巢套于可缩放巢套SEI消息中的SEI消息适用于由HEVC工作草案8的子条款10.1的子位流提取过程而产生的子位流，所述过程具有如以下所指定的由可缩放巢套SEI消息的语法元素所指定的输入。HEVC工作草案8的子条款10.1描述用于从位流提取子位流(即，操作点表示)的操作。具体来说，HEVC工作草案8的子条款10.1提供通过从位流去除具有大于tldTarget的时间识别符(例如，TemporalID)的所有NAL单元或具有不处于targetDecLayerIdSet中的值的层识别符(例如，nuh_reserved_zero_6bits)的所有NAL单元而导出子位流。tIdTarget和targetDecLayerIdSet为位流提取过程的参数。在一些实例中，如果巢状SEI消息为图片缓冲SEI消息、图片时序SEI消息或子图片时序SEI消息，那么bitstream_subset_flag语法元素等于1。否则，在这些实例中，bitstream_subset_flag语法元素等于0。
此外，在表4的实例语法中，如果bitstream_subset_flag语法元素等于1，那么可缩放巢套SEI消息包含default_op_applicable_flag语法元素。等于1的default_op_applicable_flag语法元素指定巢状SEI消息(即，巢套于可缩放巢套SEI消息内的SEI消息)适用于默认子位流，所述默认子位流为HEVC工作草案8的子条款10.1的子位流提取过程的输出，所述过程具有等于当前SEI NAL单元的时间识别符(TemporalId)的tIdTarget的输入，和由处于0到当前SEI NAL单元的nuh_reserved_zero_6bits(包含0和nuh_reserved_zero_6bits)范围内的nuh_reserved_zero_6bits的所有值组成的targetDecLayerIdSet的输入。因此，默认子位流可为通过从位流去除具有大于当前SEI NAL单元的时间识别符的时间识别符的所有NAL单元或去除具有处于0到当前SEI NAL单元的层识别符(例如，nuh_reserved_zero_6bits)(包含0和nuh_reserved_zero_6bits)范围内的层识别符的所有NAL单元而导出的位流。例如，默认子位流可为位流的子集，且默认子位流可不包含具有大于由NAL单元标头的层识别符语法元素所指示的层识别符的层识别符的位流的VCL NAL单元，或具有大于由NAL单元标头的时间层识别符语法元素(例如，nuh_temporal_id_plus1)所指示的时间识别符的时间识别符的位流的VCL NAL单元。等于0的default_op_applicable_flag语法元素指定巢状SEI消息并不适用于默认子位流。
在表4的实例语法中，如果bitstream_subset_flag语法元素等于1，那么可缩放巢套SEI消息包含nesting_num_ops_minus1语法元素。nesting_num_ops_minus1语法元素加上1指定可缩放巢套SEI消息中的nesting_op_idx[i]语法元素的数目。因此，如果nesting_num_ops_minus1语法元素加上1大于0，那么nesting_num_ops_minus1语法元素可指示可缩放巢套SEI消息是否包含识别巢状SEI消息适用的多个操作点的多个语法元素。以此方式，装置可从可缩放巢套SEI消息解码指示巢状SEI消息适用的操作点的数目的语法元素(nesting_num_ops_minus1)。当nesting_num_ops_minus1语法元素不存在时，nesting_num_ops_minus1的值可经推断为等于0。因此，如果bitstream_subset_flag语法元素等于0，那么可缩放巢套SEI消息不包含nesting_op_idx[i]语法元素。
等于0的nesting_op_flag语法元素指定由all_layers_flag语法元素，和(当存在时)nesting_layer_id_delta[i]语法元素(所有值i处于0到nesting_num_layers_minus1的范围内(包含0和nesting_num_layers_minus1))指定nestingLayerIdSet[0]。nestingLayerIdSet[]语法元素为层识别符的阵列。等于1的nesting_op_flag语法元素指定由nesting_op_idx[i]语法元素指定nestingLayerIdSet[i]。当不存在时，推断nesting_op_flag的值等于1。
nesting_max_temporal_id_plus1[i]语法元素指定变量maxTemporalId[i]。在表4的实例语法中，nesting_max_temporal_id_plus1[i]语法元素的值大于当前SEI NAL单元(即，含有可缩放巢套SEI消息的NAL单元)的nuh_tempora1_id_plus1语法元素的值。变量maxTemporalId[i]设定为等于nesting_max_temporal_id_plus1[i]-1。
nesting_op_idx[i]语法元素用于指定设定nestingLayerIdSet[i]。设定nestingLayerIdSet[i]可由op_layer_id[nesting_op_idx][i](其中i的所有值处于0到op_num_layer_id_values_minus1[nesting_op_idx]的范围内(包含0和op_num_layer_id_values_minus1[nesting_op_idx]))组成。作用中VPS可指定op_layer_id[][]值和op_num_layer_values_minus1[]值。
此外，在表4的实例语法中，等于0的all_layers_flag语法元素指定设定nestingLayerIdSet[0]由nestingLayerId[i](所有值i处于0到nesting_num_layers_minus1的范围内(包含0和nesting_num_layers_minus1))组成。以下描述变量nestingLayerId[i]。等于1的all_layers_flag语法元素指定设定nestingLayerIdSet由等于或大于当前SEI NAL单元的nuh_reserved_zero_6bits的，存在于当前存取单元中的nuh_reserved_zero_6bits的所有值组成。
nesting_num_layers minus1语法元素加上1指定可缩放巢套SEI消息中的nesting_layer_id_delta[i]语法元素的数目。当i等于0时，nesting_layer_id_delta[i]语法元素指定包含于设定nestingLayerIdSet[0]中的第一(即，第0)nuh_reserved_zero_6bits值与当前SEI NAL单元的nuh_reserved_zero_6bits语法元素之间的差。当i大于0时，nesting_layer_id_delta[i]语法元素指定包含于设定nestingLayerIdSet[0]中的第inuh_reserved_zero_6bits值与第(i-1)nuh_reserved_zero_6bits值之间的差。
可如下导出变量nestingLayerId[i]，其中nuh_reserved_zero_6bits是来自当前SEINAL单元的NAL单元标头。
nestingLayerId[0]＝nuh_reserved_zero_6bits+nesting_layer_id_delta[0]
for(i＝l；i＜＝nesting_num_layers_minus1；i++)
nestingLayerId[i]＝nestingLayerId[i-1]+nesting_layer_id_delta[i]
设定nestingLayerIdSet[0]设定成由nestingLayerId[i](所有i值处于0到nesting_num_layers_minus1的范围内(包含0和nesting_num_layers_minus1))组成。当bitstream_subset_flag语法元素等于0时，巢状SEI消息适用于具有包含于设定nestingLayerIdSet[0]中的nuh_reserved_zero_6bits的NAL单元，或具有等于当前SEINAL单元的nuh_reserved_zero_6bits的NAL单元，且其中nuh_temporal_id_plus1处于当前SEI NAL单元的nuh_temporal_id_plus1到maxTemporalId[0]+1的范围内(包含当前SEINAL单元的nuh_temporal_id_plus1和maxTemporalId[0]+1)。当bitstream_subset_flag语法元素等于1时，巢状SEI消息适用于HEVC工作草案8的子条款10.1的子位流提取过程的输出，所述过程具有等于maxTemporalId[i]的tIdTarget的输入，和等于nestingLayerIdSet[i](每一i值处于0到nesting_num_ops_minus1的范围内(包含0和nesting_num_ops_minus1))的targetDecLayerIdSet的输入，且当default_op_applicable_flag语法元素等于1时，巢状SEI消息也适用于默认子位流。经提取的子位流可由去除具有大于maxTemporalId[i]的时间识别符的所有NAL单元，或去除具有处于0到nesting_num_ops_minus1的范围内的层识别符的所有NAL单元而产生。
以此方式，对于巢状SEI消息适用的多个操作点中的至少一个相应操作点，装置(例如，视频编码器20、视频解码器30，或例如内容传递网络装置的另一装置)可从可缩放巢套SEI消息解码第一语法元素(例如，nesting_max_temporal_id_plusl[i])和第二语法元素(例如，nesting_op_idx[i])。此外，装置可至少部分基于第一语法元素，确定相应操作点的最大时间识别符。装置可至少部分基于第二语法元素，确定相应操作点的层识别符的集合。
在表4的实例中，nesting_zero_bit语法元素等于0。nesting_zero_bit语法元素可用来确保可缩放巢套SEI消息是字节对准的。当可缩放巢套SEI消息中的位的数目可由8整除时，可缩放巢套SEI消息可为字节对准的。
此外，在表4的实例中，sei_message()语法结构包含SEI消息。因此，装置可从可缩放巢套SEI消息解码由可缩放巢套SEI消息所囊封的多个巢状SEI消息。巢状SEI消息中的每一者可适用于由多个语法元素(例如，nesting_max_temporal_idplus1[i]、nesting_op_idx[i]等)所识别的所有操作点。
在替代性实例中，可缩放巢套SEI消息可遵循以下的表5的实例语法。在表5的实例语法中，根据本发明的一或多个技术，可缩放巢套SEI消息可通过使用译码旗标而增加层识别符的显式译码的效率。
表5——可缩放巢套SEI消息
在表5的实例中，斜体部分展示与HEVC工作草案8的差异。如表5中所展示，bitstream_subset_flag语法元素、default_op_applicable_flag语法元素、nesting_num_ops_minus1语法元素、nesting_max_temporal_id_plus1语法元素、nesting_op_idx[i]语法元素和nesting_zero_bit语法元素可具有与上文关于表4所描述的语义相同的语义。
此外，在表5的实例中，变量minLayerId设定成等于nuh_reserved_zero_6bits+1，其中nuh_reserved_zero_6bits是来自当前SEI NAL单元的NAL单元标头。等于0的nesting_op_flag语法元素指定由all_layers_flag语法元素和(当存在时)nesting_layer_id_included_flag[i](所有值i处于0到nesting_max_layer_id-minLayerId-1的范围内(包含0和nesting_max_layer_id-minLayerId-1))指定设定nestingLayerIdSet[0]。等于1的nesting_op_flag语法元素指定由nesting_op_idx[i]语法元素指定设定nestingLayerIdSet[i]。当nesting_op_flag语法元素不存在时，推断nesting_op_flag的值等于1。
在表5的实例中，等于0的all_layers_flag语法元素指定设定nestingLayerIdSet[0]由nestingLayerId[i](所有i值处于0到nesting_max_layer_id-minLayerId的范围内(包含0和nesting_max_layer_id-minLayerId))组成。以下描述nestingLayerId[i]变量。在表5的实例中，等于1的all_layers_flag指定设定nestingLayerIdSet由大于或等于当前SEI NAL 单元的nuh_reserved_zero_6bits语法元素的，存在于当前存取单元中的nuh_reserved_zero_6bits的所有值组成。
此外，在表5的实例中，nesting_max_layer_id语法元素指定设定nestingLayerIdSet[0]中的nuh_reserved_zero_6bits的最大值。等于1的nesting_layer_id_included_flag[i]语法元素指定等于i+minLayerId的nuh_reserved_zero_6bits的值包含于设定nestingLayerIdSet[0]中。等于0的nesting_layer_id_included_flag[i]语法元素指定等于i+minLayerId的nuh_reserved_zero_6bits的值不包含于设定nestingLayerIdSet[0]中。
可如下导出变量nestingNumLayersMinus1和变量nestingLayerId[i](i处于0到nestingNumLayersMinus1的范围内(包含0和nestingNumLayersMinus1))：
for(i＝0，j＝0；i＜nesting_max_layer_id；i++)
if(nesting_layer_id_incuded_fiag[i])
nestingLayerId[j++]＝I+minLayerId
nestingLayerId[j]＝nesting_max_layer_id
nestingNumLayersMinus1＝j
设定nestingLayerIdSet[0]可经设定成由nestingLayerId[i](所有i值处于0到nestingNumLayersMinus1的范围内(包含0和nestingNumLayersMinus1))组成。
当bitstream_subset_flag语法元素等于0时，巢状SEI消息可适用于具有包含于设定nestingLayerIdSet[0]中的nuh_reserved_zero_6bits的NAL单元，或具有等于当前SEI NAL单元的nuh_reserved_zero_6bits语法元素的nuh_reserved_zero_6bits的NAL单元，且其中nuh_temporal_id_plus1处于从当前SEI NAL单元的nuh_temporal_id_plus1语法元素到maxTemporalId[0]+1的范围内(包含当前SEI NAL单元的nuh_temporal_id_plus1语法元素和maxTemporalId[0]+1)。
当可缩放巢套SEI消息的bitstream_subset_flag语法元素等于1时，巢状SEI消息可适用于子条款10.1的子位流提取过程的输出，所述过程具有等于maxTemporalId[i]的tIdTarget的输入，和等于nestingLayerIdSet[i](每一i值处于0到nesting_num_ops_minus1的范围内(包含0和nesting_num_ops_minus1))的targetDecLayerIdSet的输入，且当default_op_applicable_flag等于1时，巢状SEI消息也适用于默认子位流。
图3为说明经配置以实施本发明的技术的实例视频解码器30的框图。图3是出于解释的目的而提供，且并不限制如本发明中所广泛地例示和描述的技术。出于解释的目的，本发明在HEVC译码的上下文中描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。
在图3的实例中，视频解码器30包含熵解码单元150、预测处理单元152、反量化单元154、反变换处理单元156、重构建单元158、滤波器单元160和经解码图片缓冲器162。预测处理单元152包含运动补偿单元164和帧内预测处理单元166。在其它实例中，视频解码器30可包含较多、较少或不同的功能组件。
经译码图片缓冲器(CPB)151可接收和存储位流的经编码视频数据(例如，NAL单元)。熵解码单元150可从CPB 151接收NAL单元，并剖析NAL单元以解码语法元素。熵解码单元150可熵解码NAL单元中的经熵编码语法元素。预测处理单元152、反量化单元154、反变换处理单元156、重构建单元158和滤波器单元160可基于从位流所提取的语法元素而产生经解码视频数据。
位流的NAL单元可包含经译码切片NAL单元。作为解码位流的部分，熵解码单元150可提取和熵解码来自经译码切片NAL单元的语法元素。经译码切片中的每一者可包含切片标头和切片数据。切片标头可含有关于切片的语法元素。切片标头中的语法元素可包含识别与含有切片的图片相关联的PPS的语法元素。
除了从位流解码语法元素之外，视频解码器30可对未经分割的CU执行重构建操作。为对未经分割的CU执行重构建操作，视频解码器30可对CU的每一TU执行重构建操作。通过对CU的每一TU执行重构建操作，视频解码器30可重构建CU的残余块。
作为对CU的TU执行重构建操作的部分，反量化单元154可反量化(即，解量化)与TU相关联的系数块。反量化单元154可使用与TU的CU相关联的QP值，以确定量化程度，和同样，反量化单元154应用的反量化程度。即，可通过调整当量化变换系数时所使用的QP的值而控制压缩比，即用于表示原始序列与经压缩的序列的位的数目的比。压缩比也可取决于所利用的熵译码方法。
在反量化单元154反量化系数块之后，反变换处理单元156可将一或多个反变换应用到系数块，以便产生与TU相关联的残余块。例如，反变换处理单元156可将反DCT、反整数变换、反卡忽南-洛维(Karhunen-Loeve)变换(KLT)、反旋转变换、反定向变换或另一反变换应用到系数块。
如果使用帧内预测编码PU，那么帧内预测处理单元166可执行帧内预测以产生用于PU的预测性块。帧内预测处理单元166可基于空间上相邻的PU的预测块，使用帧内预测模式以产生用于PU的预测性明度块、预测性Cb块和预测性Cr块。帧内预测处理单元166可基于从位流解码的一或多个语法元素，确定用于PU的帧内预测模式。
预测处理单元152可基于从位流所提取的语法元素，构建第一参考图片列表(RefPicList0)和第二参考图片列表(RefPicList1)。此外，如果使用帧间预测编码PU，那么熵解码单元150可提取用于PU的运动信息。运动补偿单元164可基于PU的运动信息，确定用于PU的一或多个参考区域。运动补偿单元164可基于用于PU的一或多个参考块处的样本块，产生用于PU的预测性明度块、预测性Cb块和预测性Cr块。
重构建单元158可使用(如适用)与CU的TU相关联的明度变换块、Cb变换块和Cr变换块，和CU的PU的预测性明度块、预测性Cb块和预测性Cr块(即，帧内预测数据抑或帧间预测数据)，以重构建CU的明度译码块、Cb译码块和Cr译码块。例如，重构建单元158可将明度变换块、Cb变换块和Cr变换块的样本添加到预测性明度块、预测性Cb块和预测性Cr块的对应样本，以重构建CU的明度译码块、Cb译码块和Cr译码块。
滤波器单元160可执行解块操作以减少与CU的明度译码块、Cb译码块和Cr译码块相关联的块伪影。视频解码器30可将CU的明度译码块、Cb译码块和Cr译码块存储于经解码图片缓冲器162中。经解码图片缓冲器162可提供参考图片以用于后续运动补偿、帧内预测和展现于例如图1的显示装置32的显示装置上。例如，视频解码器30可基于经解码图片缓冲器162中的明度块、Cb块和Cr块，对其它CU的PU执行帧内预测或帧间预测操作。以此方式，视频解码器30可从位流提取大量明度系数块的变换系数层级；反量化变换系数层级；将变换应用到变换系数层级以产生变换块；至少部分基于变换块而产生译码块；和输出译码块以用于显示。
图4为说明根据本发明的一或多个技术的视频编码器20的实例操作200的流程图。在图4的实例中，视频编码器20可产生包含多个HRD参数语法结构的VPS，所述多个HRD参数语法结构各自包含HRD参数(202)。对于多个HRD参数语法结构中的每一相应HRD参数语法结构，VPS进一步包含指示相应HRD参数语法结构的HRD参数除了特定于位流的特定子层的子层特定HRD参数信息的集合之外是否还包含HRD参数的共同集合的语法元素，其中HRD参数的共同集合对于位流的所有子层来说是共同的。此外，视频编码器20可在位流中用信号发出VPS(204)。
图5为说明根据本发明的一或多个技术的装置的实例操作250的流程图。可由视频编码器20、视频解码器30或另一装置执行操作250。如在图5的实例中所说明，装置可从位流解码包含多个HRD参数语法结构的VPS，所述多个HRD参数语法结构各自包含HRD参数(252)。对于多个HRD参数语法结构中的每一相应HRD参数语法结构，VPS进一步包含指示相应HRD参数语法结构的HRD参数是否包含HRD参数的共同集合的语法元素。
此外，装置可使用HRD参数语法结构中的至少一者的HRD参数而执行操作(254)。在一些实例中，位流可包括特定操作点的操作点表示，特定HRD参数语法结构可适用于特定操作点，且装置可使用特定HRD参数语法结构的HRD参数来执行操作。例如，装置可使用HRD参数，以执行确定适用于HRD参数语法结构的操作点是否遵循视频译码标准(例如，HEVC)的位流符合性测试。在另一实例中，装置可使用HRD参数以执行解码器符合性测试。
HRD参数的共同集合对于位流的所有子层来说可是共同的。在一些实例中，每一HRD参数语法结构的HRD参数包含特定于位流的特定子层的子层特定HRD参数的集合。在一些实例中，子层特定HRD参数的集合中的每一者包含语法元素(例如，指示按输出次序的任何两个连续图片的HRD输出时间之间的时间距离、指示经译码视频序列的位流中的替代性经译码图片缓冲器规范的数目的语法元素)。在一些实例中，当装置确定特定HRD参数语法结构并不包含HRD参数的共同集合时，装置可使用与先前HRD参数语法结构和特定HRD参数语法结构的子层特定HRD参数的集合相关联的HRD参数的共同集合来执行操作。
图6为说明根据本发明的一或多个技术的视频编码器20的实例操作300的流程图。如图6的实例中所说明，视频编码器20可产生包含多个语法元素的可缩放巢套SEI消息，所述多个语法元素识别由可缩放巢套SEI消息所囊封的巢状SEI消息适用的多个操作点(302)。此外，视频编码器20可在位流中用信号发出可缩放巢套SEI消息(304)。
图7为说明根据本发明的一或多个技术的装置的实例操作350的流程图。视频编码器20、视频解码器30或另一装置可执行操作350。如图7的实例中所说明，装置可从可缩放巢套SEI消息解码识别由可缩放巢套SEI消息所囊封的巢状SEI消息适用的多个操作点的多个语法元素(352)。在一些实例中，装置可从可缩放巢套SEI消息解码指示可缩放巢套SEI消息是否包含识别操作点的多个语法元素的语法元素(例如，nesting_num_ops_minus1)。
此外，装置可使用巢状SEI消息的一或多个语法元素，以执行关于巢状SEI消息适用的操作点中的任一者的操作(354)。例如，装置可在确定巢状SEI消息适用的操作点中的任一者是否遵循视频译码标准(例如，HEVC)的位流符合性测试中使用巢状SEI消息的语法元素。在另一实例中，装置可使用巢状消息的语法元素以执行解码器符合性测试。
图8为说明根据本发明的一或多个技术的视频编码器20的实例操作400的流程图。如在图8的实例中所说明，在由SEI NAL单元囊封的可缩放巢套SEI消息中，视频编码器20可包含指示由可缩放巢套SEI消息所囊封的巢状SEI消息是否适用于默认子位流的语法元素(例如，default_op_applicable_fiag)(402)。默认子位流为由SEI NAL单元的NAL单元标头中所指定的层识别符，和NAL单元标头中所指定的时间识别符所定义的操作点的操作点表示。NAL单元标头中的第一语法元素(例如，nuh_reserved_zero_6bits)可指示层识别符，且NAL单元标头中的第二语法元素(例如，nuh_reserved_temporal_id_plus1)可指示时间识别符。
在图8的实例中，在可缩放巢套SEI消息中，视频编码器20可包含识别额外操作点的时间识别符，和额外操作点的最大层识别符的一或多个额外语法元素(404)。此外，视频编码器20可在位流中用信号发出可缩放巢套SEI消息(406)。在一些实例中，指示由可缩放巢套SEI消息所囊封的巢状SEI消息是否适用于默认子位流的语法元素可被称作第一语法元素，且视频编码器20可在可缩放巢套SEI消息中包含第二语法元素(例如，bitstream_subset_flag)。第二语法元素可指示由可缩放巢套SEI消息所囊封的巢状SEI消息是否适用于从位流所提取的子位流，或巢状SEI消息是否适用于位流的具体层和子层。当第二语法元素指示巢状SEI消息适用于从位流所提取的子位流时，视频编码器20可仅包含第一语法元素。
图9为说明根据本发明的一或多个技术的装置的实例操作450的流程图。视频编码器20、视频解码器30或另一装置可执行操作450。如在图9的实例中所说明，装置可至少部分基于可缩放巢套SEI消息的第一语法元素(例如，bitstream_subset_flag)，确定由可缩放巢套SEI消息所囊封的巢状SEI消息是否适用于从位流所提取的子位流(452)。响应于确定由可缩放巢套SEI消息所囊封的巢状SEI消息适用于从位流所提取的子位流(452的“是”)，装置可解码可缩放巢套SEI消息中的默认操作点语法元素(例如，default_op_applicable_flag)(454)。默认操作点语法元素可指示由可缩放巢套SEI消息所囊封的巢状SEI消息是否适用于默认子位流。
默认子位流可为由SEI NAL单元的NAL单元标头中所指定的层识别符，和NAL单元标头中所指定的时间识别符所定义的操作点的操作点表示。在一些实例中，NAL单元标头中的第一语法元素(例如，nuh_reserved_zero_6bits)指示层识别符，且NAL单元标头中的第二语法元素(例如，nuh_reserved_temporal_id_plus1)指示时间识别符。默认子位流可为位流的子集，且默认子位流并不包含位流的如下VCL NAL单元：具有大于由NAL单元标头的第一语法元素所指示的层识别符的层识别符，或具有大于由NAL单元标头的第二语法元素所指示的时间识别符的时间识别符。
此外，装置可至少部分基于由SEI NAL单元所囊封的可缩放巢套SEI消息中的语法元素(例如，default_op_applicable_flag)，确定由可缩放巢套SEI消息所囊封的巢状SEI消息是否适用于位流的默认子位流(456)。在一些实例中，可缩放巢套SEI消息囊封多个巢状SEI消息。在这些实例中，装置可基于语法元素(例如，default_op_applicable_fiag)，确定可缩放巢套SEI消息中的巢状SEI消息中的每一者是否适用于默认子位流。
当巢状SEI消息适用于默认子位流时(456的“是”)，装置可在对默认子位流的操作中使用巢状SEI消息(458)。例如，巢状SEI消息可包含HRD参数的集合。在此实例中，装置可在测试默认子位流是否遵循视频译码标准(例如，HEVC)的操作中使用巢状SEI消息中的HRD参数。在另一实例中，装置可在解码器符合性测试中使用巢状SEI消息中的HRD参数。在另一实例中，装置可在对默认子位流的解码操作中使用巢状SEI消息。在另一实例中，初始CPB去除延迟可用于导引系统以建立适当的初始端对端延迟，且当经由RTP输送视频时，DPB输出时间可用于导出RTP时戳。
否则，当巢状SEI消息并不适用于默认子位流(456的“否”)时，或当可缩放巢套SEI消息并不适用于从位流所提取的子位流(452的“否”)时，装置并不在对默认子位流的操作中使用巢状SEI消息(460)。例如，装置可基于可缩放巢套SEI消息中的一或多个额外语法元素(例如，nesting_max_temporal_id_plus1[i]、nesting_op_idx[i]等)，确定第二操作点的时间识别符和第二操作点的最大层识别符。在此实例中，装置可在对额外子位流的操作中使用巢状SEI消息，额外子位流为第二操作点的操作点表示。
在一或多个实例中，可以硬件、软件、固件或其任何组合来实施所描述的功能。如果以软件实施，那么功能可作为一或多个指令或代码存储于计算机可读媒体上，或经由计算机可读媒体传输，和由基于硬件的处理单元执行。计算机可读媒体可包含对应于例如数据存储媒体的有形媒体的计算机可读存储媒体，或通信媒体，通信媒体包含(例如)根据通信协议，促进将计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、过程代码和/或数据结构，以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
通过实例而非限制性，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。又，任何连接可适当地称为计算机可读媒体。例如，如果使用同轴缆线、光纤缆线、双绞线、数字用户线(DSL)或无线技术(例如，红外线、无线电和微波)而从网站、服务器或其它远端源传输指令，那么同轴缆线、光纤缆线、双绞线、DSL或无线技术(例如，红外线、无线电和微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是针对非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘通过激光以光学方式再现数据。上文各者的组合也应包含于计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路的一或多个处理器来执行指令。因此，本文中所使用的术语“处理器”可指上述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。此外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码和解码的专用硬件和/或软件模块内，或并入于组合式编解码器中。又，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可以广泛多种装置或设备来实施，所述装置或设备包含无线手持机、集成电路(IC)或IC的集合(例如，芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示的技术的装置的功能方面，但未必要求由不同硬件单元来实现。实情为，如上文所描述，可将各种单元组合于编解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合且结合合适的软件和/或固件来提供所述单元。
已描述各种实例。这些和其它实例属于以下权利要求书的范围内。

Claims (28)

1.一种处理视频数据的方法，所述方法包括：
确定由可缩放巢套补充增强信息SEI消息所囊封的一或多个巢状SEI消息是否适用于经编码视频位流的默认子位流，所述默认子位流为由层识别符和时间识别符所定义的操作点的操作点表示，所述层识别符和所述时间识别符由囊封所述可缩放巢套SEI消息的所述SEI网络抽象层NAL单元的NAL单元标头所指定；以及
当所述一或多个巢状SEI消息适用于所述默认子位流时，在对所述默认子位流的操作中使用所述一或多个巢状SEI消息，
其中至少部分地基于所述可缩放巢套SEI消息中的语法元素来确定由所述可缩放巢套SEI消息所囊封的所述一或多个巢状SEI消息是否适用于所述默认子位流，其中所述语法元素不在所述巢状SEI消息的任一者中。
2.根据权利要求1所述的方法，其中使用所述一或多个巢状SEI消息包括在对所述默认子位流的解码操作中使用由所述可缩放巢套SEI消息所囊封的巢状SEI消息。
3.根据权利要求1所述的方法，其中：
所述可缩放巢套SEI消息囊封多个巢状SEI消息，且
确定所述一或多个巢状SEI消息是否适用于所述默认子位流包括至少部分基于所述语法元素，确定所述巢状SEI消息中的每一者是否适用于所述默认子位流。
4.根据权利要求1所述的方法，其中：
所述可缩放巢套SEI消息中的所述语法元素为第一语法元素，且
所述方法进一步包括至少部分基于所述可缩放巢套SEI消息中指示由所述可缩放巢套SEI消息所囊封的所述一或多个巢状SEI消息适用于从所述经编码视频位流所提取的子位流的第二语法元素，确定所述可缩放巢套SEI消息包含所述第一语法元素。
5.根据权利要求1所述的方法，其中所述方法进一步包括：
基于所述可缩放巢套SEI消息中的一或多个额外语法元素，确定第二操作点的时间识别符，和所述第二操作点的最大层识别符；以及
在对额外子位流的操作中使用所述一或多个巢状SEI消息，所述额外子位流为所述第二操作点的操作点表示。
6.一种用于处理视频数据的装置，其包括：
经配置以存储视频数据的存储媒体以及一或多个处理器，所述一或多个处理器经配置以：
确定由可缩放巢套补充增强信息SEI消息所囊封的一或多个巢状SEI消息是否适用于经编码视频位流的默认子位流，所述默认子位流为由层识别符和时间识别符所定义的操作点的操作点表示，所述层识别符和所述时间识别符由囊封所述可缩放巢套SEI消息的所述SEI网络抽象层NAL单元的NAL单元标头所指定；以及
当所述一或多个巢状SEI消息适用于所述默认子位流时，在对所述默认子位流的操作中使用所述一或多个巢状SEI消息，
其中至少部分地基于所述可缩放巢套SEI消息中的语法元素来确定由所述可缩放巢套SEI消息所囊封的所述一或多个巢状SEI消息是否适用于所述默认子位流，其中所述语法元素不在所述巢状SEI消息的任一者中。
7.根据权利要求6所述的装置，其中所述一或多个处理器经配置以在对所述默认子位流的解码操作中使用由所述可缩放巢套SEI消息所囊封的巢状SEI消息。
8.根据权利要求6所述的装置，其中：
所述可缩放巢套SEI消息囊封多个巢状SEI消息，且
所述一或多个处理器经配置以至少部分基于所述语法元素，确定所述巢状SEI消息中的每一者是否适用于所述默认子位流。
9.根据权利要求6所述的装置，其中：
所述可缩放巢套SEI消息中的所述语法元素为第一语法元素，且
所述一或多个处理器进一步经配置以至少部分基于所述可缩放巢套SEI消息中指示由所述可缩放巢套SEI消息所囊封的所述一或多个巢状SEI消息适用于从所述经编码视频位流所提取的子位流的第二语法元素，确定所述可缩放巢套SEI消息包含所述第一语法元素。
10.根据权利要求6所述的装置，其中所述一或多个处理器进一步经配置以：
基于所述可缩放巢套SEI消息中的一或多个额外语法元素，确定第二操作点的时间识别符，和所述第二操作点的最大层识别符；以及
在对额外子位流的操作中使用所述一或多个巢状SEI消息，所述额外子位流为所述第二操作点的操作点表示。
11.一种用于处理视频数据的装置，其包括：
用于确定由可缩放巢套补充增强信息SEI消息所囊封的一或多个巢状SEI消息是否适用于经编码视频位流的默认子位流的装置，所述默认子位流为由层识别符和时间识别符所定义的操作点的操作点表示，所述层识别符和所述时间识别符由囊封所述可缩放巢套SEI消息的所述SEI网络抽象层NAL单元的NAL单元标头所指定；以及
用于当所述一或多个巢状SEI消息适用于所述默认子位流时在对所述默认子位流的操作中使用所述巢状SEI消息的装置，
其中至少部分地基于所述可缩放巢套SEI消息中的语法元素来确定由所述可缩放巢套SEI消息所囊封的所述一或多个巢状SEI消息是否适用于所述默认子位流，其中所述语法元素不在所述巢状SEI消息的任一者中。
12.一种编码视频数据的方法，所述方法包括：
在经编码视频位流中用信号发出可缩放巢套补充增强信息SEI消息，所述可缩放巢套SEI消息囊封在SEI网络抽象层NAL单元中并囊封一或多个巢状SEI消息，
在所述可缩放巢套SEI消息中，包含指示所述一或多个巢状SEI消息是否适用于所述经编码视频位流的默认子位流的语法元素，其中所述语法元素不在所述一或多个巢状SEI消息中的任一者中且所述默认子位流为由囊封所述可缩放巢套SEI消息的所述SEI NAL单元的NAL单元标头中所指定的层识别符和囊封所述可缩放巢套SEI消息的所述SEI NAL单元的所述NAL单元标头中所指定的时间识别符所定义的操作点的操作点表示。
13.根据权利要求12所述的方法，其中所述NAL单元标头中的第一语法元素指示所述层识别符，且所述NAL单元标头中的第二语法元素指示所述时间识别符。
14.根据权利要求13所述的方法，其中所述默认子位流为所述经编码视频位流的子集，且所述默认子位流并不包含所述经编码视频位流的如下的视频译码层VCLNAL单元：具有大于由所述NAL单元标头中的所述第一语法元素所指示的所述层识别符的层识别符，或具有大于由所述NAL单元标头中的所述第二语法元素所指示的所述时间识别符的时间识别符。
15.根据权利要求12所述的方法，其中所述可缩放巢状SEI消息包含假想参考解码器HRD参数的集合。
16.根据权利要求15所述的方法，其进一步包括在测试所述默认子位流是否遵循视频译码标准的操作中使用所述特定巢状SEI消息中的所述HRD参数。
17.根据权利要求12所述的方法，其中：
所述可缩放巢套SEI消息囊封多个巢状SEI消息，且
所述语法元素指示所述巢状SEI消息中的每一者是否适用于所述默认子位流。
18.根据权利要求12所述的方法，其中：
所述可缩放巢套SEI消息中的所述语法元素为所述可缩放巢套SEI消息中的第一语法元素，
所述方法进一步包括在所述可缩放巢套SEI消息中包含第二语法元素，所述第二语法元素指示由所述可缩放巢套SEI消息所囊封的巢状SEI消息是否适用于从所述经编码视频位流所提取的子位流，或所述巢状SEI消息是否适用于所述经编码视频位流的具体层和子层，且
当所述第二语法元素指示所述巢状SEI消息适用于从所述经编码视频位流所提取的所述子位流时，所述可缩放巢套SEI消息仅包含所述第一语法元素。
19.根据权利要求12所述的方法，其中：
由所述SEI NAL单元的NAL单元标头的一或多个语法元素识别的所述操作点为第一操作点，且
所述方法进一步包括在所述可缩放巢套SEI消息中包含识别第二操作点的时间识别符和所述第二操作点的最大层识别符的一或多个额外语法元素。
20.一种视频编码装置，其包含：经配置以存储视频数据的存储媒体；以及一或多个处理器，所述一或多个处理器经配置以：
在经编码视频位流中用信号发出可缩放巢套补充增强信息SEI消息，所述可缩放巢套SEI消息囊封在SEI网络抽象层NAL单元中并囊封一或多个巢状SEI消息，以及
在所述可缩放巢套SEI消息中，包含指示所述一或多个巢状SEI消息是否适用于所述经编码视频位流的默认子位流的语法元素，其中所述语法元素不在所述一或多个巢状SEI消息中的任一者中且所述默认子位流为由囊封所述可缩放巢套SEI消息的所述SEI NAL单元的NAL单元标头中所指定的层识别符和囊封所述可缩放巢套SEI消息的所述SEI NAL单元的所述NAL单元标头中所指定的时间识别符所定义的操作点的操作点表示；且其中所述可缩放巢套SEI消息含有一或多个SEI消息。
21.根据权利要求20所述的视频编码装置，其中所述NAL单元标头中的第一语法元素指示所述层识别符，且所述NAL单元标头中的第二语法元素指示所述时间识别符。
22.根据权利要求21所述的视频编码装置，其中所述默认子位流为所述经编码视频位流的子集，且所述默认子位流并不包含所述经编码视频位流的如下的视频译码层VCL NAL单元：具有大于由所述NAL单元标头中的所述第一语法元素所指示的所述层识别符的层识别符，或具有大于由所述NAL单元标头中的所述第二语法元素所指示的所述时间识别符的时间识别符。
23.根据权利要求20所述的视频编码装置，其中所述可缩放巢状SEI消息包含假想参考解码器HRD参数的集合。
24.根据权利要求23所述的视频编码装置，其中所述一或多个处理器进一步经配置以在测试所述默认子位流是否遵循视频译码标准的操作中使用所述特定巢状SEI消息中的所述HRD参数。
25.根据权利要求20所述的视频编码装置，其中：
所述可缩放巢套SEI消息囊封多个巢状SEI消息，且
所述语法元素指示所述巢状SEI消息中的每一者是否适用于所述默认子位流。
26.根据权利要求20所述的视频编码装置，其中：
所述可缩放巢套SEI消息中的所述语法元素为所述可缩放巢套SEI消息中的第一语法元素，
所述一或多个处理器进一步经配置以在所述可缩放巢套SEI消息中包含第二语法元素，所述第二语法元素指示由所述可缩放巢套SEI消息所囊封的巢状SEI消息是否适用于从所述经编码视频位流所提取的子位流，或所述巢状SEI消息是否适用于所述经编码视频位流的具体层和子层，且
当所述第二语法元素指示所述巢状SEI消息适用于从所述经编码视频位流所提取的所述子位流时，所述可缩放巢套SEI消息仅包含所述第一语法元素。
27.根据权利要求20所述的视频编码装置，其中：
由所述SEI NAL单元的NAL单元标头的一或多个语法元素识别的所述操作点为第一操作点，且
所述一或多个处理器进一步经配置以在所述可缩放巢套SEI消息中包含识别第二操作点的时间识别符和所述第二操作点的最大层识别符的一或多个额外语法元素。
28.一种视频编码装置，其包括：
用于在经编码视频位流中用信号发出可缩放巢套补充增强信息SEI消息的装置，所述可缩放巢套SEI消息囊封在SEI网络抽象层NAL单元中并囊封一或多个巢状SEI消息，
用于在所述可缩放巢套SEI消息中包含指示所述一或多个巢状SEI消息是否适用于所述经编码视频位流的默认子位流的语法元素的装置，其中所述语法元素不在所述一或多个巢状SEI消息中的任一者中，且所述默认子位流为由囊封所述可缩放巢套SEI消息的所述SEI NAL单元的NAL单元标头中所指定的层识别符和囊封所述可缩放巢套SEI消息的所述SEI NAL单元的所述NAL单元标头中所指定的时间识别符所定义的操作点的操作点表示。
CN201380051435.2A 2012-10-08 2013-09-20 一种处理视频数据的方法、装置及可读存储媒体 Active CN104685892B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261711098P 2012-10-08 2012-10-08
US61/711,098 2012-10-08
US13/954,758 2013-07-30
US13/954,758 US9154785B2 (en) 2012-10-08 2013-07-30 Sub-bitstream applicability to nested SEI messages in video coding
PCT/US2013/060940 WO2014058600A1 (en) 2012-10-08 2013-09-20 Sub-bitstream applicability to nested sei messages in video coding

Publications (2)

Publication Number Publication Date
CN104685892A CN104685892A (zh) 2015-06-03
CN104685892B true CN104685892B (zh) 2019-02-22

Family

ID=50432659

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201380051435.2A Active CN104685892B (zh) 2012-10-08 2013-09-20 一种处理视频数据的方法、装置及可读存储媒体
CN201380051423.XA Active CN104685891B (zh) 2012-10-08 2013-09-20 视频译码中适用于巢状补充增强信息消息的操作点的识别
CN201380051430.XA Active CN104704842B (zh) 2012-10-08 2013-09-20 假想参考解码器参数的语法结构

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201380051423.XA Active CN104685891B (zh) 2012-10-08 2013-09-20 视频译码中适用于巢状补充增强信息消息的操作点的识别
CN201380051430.XA Active CN104704842B (zh) 2012-10-08 2013-09-20 假想参考解码器参数的语法结构

Country Status (30)

Country Link
US (3) US9154785B2 (zh)
EP (3) EP2904787B1 (zh)
JP (3) JP6013614B2 (zh)
KR (3) KR101697886B1 (zh)
CN (3) CN104685892B (zh)
AP (1) AP3952A (zh)
AR (2) AR093288A1 (zh)
AU (2) AU2013330284B2 (zh)
BR (2) BR112015007763B1 (zh)
CA (2) CA2885670C (zh)
CO (1) CO7350643A2 (zh)
DK (1) DK2904782T3 (zh)
EC (1) ECSP15018127A (zh)
ES (2) ES2663692T3 (zh)
HK (2) HK1207775A1 (zh)
HU (2) HUE038492T2 (zh)
IL (2) IL237949B (zh)
MA (1) MA37971B1 (zh)
MX (1) MX341437B (zh)
MY (2) MY168739A (zh)
PH (2) PH12015500625B1 (zh)
PT (1) PT2904782T (zh)
RU (2) RU2643463C2 (zh)
SA (1) SA515360254B1 (zh)
SG (2) SG11201501832UA (zh)
SI (1) SI2904782T1 (zh)
TW (2) TWI565299B (zh)
UA (2) UA116998C2 (zh)
WO (3) WO2014058600A1 (zh)
ZA (1) ZA201502498B (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104185992A (zh) * 2012-02-08 2014-12-03 汤姆逊许可公司 用于使用假设参考解码器的超低延迟模式的方法和装置
US10110890B2 (en) 2012-07-02 2018-10-23 Sony Corporation Video coding system with low delay and method of operation thereof
US9912941B2 (en) 2012-07-02 2018-03-06 Sony Corporation Video coding system with temporal layers and method of operation thereof
US9154785B2 (en) 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding
WO2014059049A1 (en) 2012-10-09 2014-04-17 Rodriguez Arturo A Output management of prior decoded pictures at picture format transitions in bitstreams
CN104756500B (zh) * 2012-10-09 2018-07-17 思科技术公司 向经编码视频的子层提供共同参数集
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
WO2015056158A1 (en) * 2013-10-14 2015-04-23 Nokia Technologies Oy Multi-layer hypothetical reference decoder
EP3058747B1 (en) * 2013-10-15 2019-11-20 Nokia Technologies Oy Scalable video encoding and decoding using syntax element
KR101930896B1 (ko) * 2013-10-22 2018-12-19 후아웨이 테크놀러지 컴퍼니 리미티드 이미지 디코딩 장치 및 이미지 디코딩 방법
US9819948B2 (en) 2014-06-18 2017-11-14 Qualcomm Incorporated Signaling HRD parameters for bitstream partitions
US10356415B2 (en) 2014-06-20 2019-07-16 Qualcomm Incorporated Systems and methods for constraining representation format parameters for a parameter set
US10432951B2 (en) * 2014-06-24 2019-10-01 Qualcomm Incorporated Conformance and inoperability improvements in multi-layer video coding
US9800898B2 (en) 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
WO2016180486A1 (en) * 2015-05-12 2016-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Composite scalable video streaming
US10244249B2 (en) 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
US10129558B2 (en) * 2015-09-21 2018-11-13 Qualcomm Incorporated Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
US10349067B2 (en) * 2016-02-17 2019-07-09 Qualcomm Incorporated Handling of end of bitstream NAL units in L-HEVC file format and improvements to HEVC and L-HEVC tile tracks
US10397443B2 (en) * 2016-03-01 2019-08-27 Qualcomm Incorporated Methods and systems for generating color remapping information supplemental enhancement information messages for video
PT3523970T (pt) 2016-10-05 2022-10-07 Dolby Laboratories Licensing Corp Mensagens de informação de volume de cor de origem
US10728559B2 (en) * 2017-07-07 2020-07-28 Qualcomm Incorporated Precision of computation and signaling of dynamic range adjustment and color remapping information
WO2019065587A1 (en) * 2017-09-29 2019-04-04 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR SIGNALING INFORMATION ASSOCIATED WITH A CONSTITUTIVE IMAGE
WO2019156476A1 (ko) * 2018-02-07 2019-08-15 엘지전자 주식회사 비면허 대역을 지원하는 무선 통신 시스템에서 신호를 송신하는 방법 및 이를 지원하는 장치
CN109905715B (zh) * 2019-02-26 2021-07-06 北京世纪好未来教育科技有限公司 插入sei数据的码流转换方法及系统
WO2020241653A1 (en) * 2019-05-30 2020-12-03 Sharp Kabushiki Kaisha Systems and methods for signaling hypothetical reference decoder parameters in video coding
CN114080804A (zh) * 2019-06-19 2022-02-22 夏普株式会社 用于在视频编码中发送信号通知解码图片缓冲器信息的系统和方法
JP7403245B2 (ja) * 2019-06-21 2023-12-22 キヤノン株式会社 画像復号装置、画像復号方法
BR112021026353A2 (pt) * 2019-06-27 2022-02-08 Huawei Tech Co Ltd Decodificador de referência hipotético para v-pcc
CN115866259A (zh) 2019-07-05 2023-03-28 华为技术有限公司 使用标识符指示的视频译码码流提取
AU2020320295A1 (en) * 2019-09-24 2022-04-21 Huawei Technologies Co., Ltd. Scalable nesting SEI messages for specified layers
CN114845112B (zh) * 2019-09-24 2023-04-04 华为技术有限公司 后缀sei消息的可伸缩嵌套的方法、设备、介质、解码器和编码器
WO2021061391A1 (en) * 2019-09-24 2021-04-01 Futurewei Technologies, Inc. Hrd parameters for layer based conformance testing
EP4026050A4 (en) * 2019-09-24 2022-11-23 Huawei Technologies Co., Ltd. IMAGE INFORMATION AND DECODE UNIT INFORMATION ON TIME SCALABILITY
CN114900697B (zh) * 2019-09-24 2023-04-11 华为技术有限公司 由编码器/解码器实现的方法、视频译码设备及计算机可读介质
CN114868399A (zh) 2019-12-26 2022-08-05 字节跳动有限公司 条带类型和视频层的信令通知
KR20220120566A (ko) 2019-12-26 2022-08-30 바이트댄스 아이엔씨 비디오 비트스트림들에서의 가상 참조 디코더 파라미터들의 시그널링에 대한 제약들
WO2021134054A1 (en) 2019-12-27 2021-07-01 Bytedance Inc. Subpicture signaling in video coding
CN114946174A (zh) 2020-01-09 2022-08-26 字节跳动有限公司 层间参考图片的存在的信令通知
CR20230152A (es) 2020-05-22 2023-05-15 Ge Video Compression Llc Codificador de video, decodificador de video, métodos para codificar y decodificar y flujo de datos de video para realizar conceptos avanzados de codificación de video (divisional exp. n°2022-0589)
EP4140135A4 (en) 2020-05-22 2023-10-11 ByteDance Inc. TECHNIQUES FOR GENERATING A COMPLIANT OUTPUT BIT SUB-STREAM
CN117834916A (zh) 2020-05-22 2024-04-05 字节跳动有限公司 访问单元中图片信息的信令
AU2022271427B2 (en) * 2020-05-22 2024-01-18 Ge Video Compression, Llc Video encoder, video decoder, methods for encoding and decoding and video data stream for realizing advanced video coding concepts
CN117528004A (zh) * 2020-06-09 2024-02-06 字节跳动有限公司 多层视频比特流的子比特流提取
KR20230019850A (ko) 2020-06-09 2023-02-09 바이트댄스 아이엔씨 서브픽처 레벨 및 버퍼링 정보의 시그널링
JP2023529421A (ja) * 2020-06-09 2023-07-10 バイトダンス インコーポレイテッド 映像コーディングにおける補足強化情報の制約
US20220103847A1 (en) 2020-09-29 2022-03-31 Lemon Inc. Dependent random access point indication in video bitstreams
EP4266689A1 (en) * 2020-12-17 2023-10-25 LG Electronics Inc. Method and device for generating/receiving media file including nal unit information, and method for transmitting media file
EP4324211A1 (en) * 2021-04-12 2024-02-21 Telefonaktiebolaget LM Ericsson (publ) Message referencing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101536527A (zh) * 2006-07-11 2009-09-16 诺基亚公司 可缩放视频编码和解码
CN101548548A (zh) * 2006-10-20 2009-09-30 诺基亚公司 用于在视频编码中提供画面输出指示的系统和方法

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW262619B (en) 1995-06-06 1995-11-11 United Microelectronics Corp Shrinking device for code table of variable length decoder
JP4107962B2 (ja) * 2000-12-04 2008-06-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 情報信号をエラートレラント記録する記録装置
TWI259378B (en) 2004-02-26 2006-08-01 Cablesoft Tech Inc An automatic addressing control method for MSO CATV system
US8615038B2 (en) 2004-12-06 2013-12-24 Nokia Corporation Video coding, decoding and hypothetical reference decoder
CN1993733B (zh) 2005-04-19 2010-12-08 杜比国际公司 空间音频参数量化器、去量化器及参数量化、去量化方法
US20070086521A1 (en) * 2005-10-11 2007-04-19 Nokia Corporation Efficient decoded picture buffer management for scalable video coding
JP4950206B2 (ja) 2005-10-11 2012-06-13 ノキア コーポレイション 効率的なスケーラブルストリーム適応のためのシステム及び方法
US8767818B2 (en) * 2006-01-11 2014-07-01 Nokia Corporation Backward-compatible aggregation of pictures in scalable video coding
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
KR101450921B1 (ko) * 2006-07-05 2014-10-15 톰슨 라이센싱 멀티뷰 비디오 엔코딩 및 디코딩을 위한 방법 및 장치
US7860147B2 (en) 2006-08-16 2010-12-28 Harris Corporation Method of communicating and associated transmitter using coded orthogonal frequency division multiplexing (COFDM)
WO2008046243A1 (en) 2006-10-16 2008-04-24 Thomson Licensing Method and device for encoding a data stream, method and device for decoding a data stream, video indexing system and image retrieval system
US20080089411A1 (en) 2006-10-16 2008-04-17 Nokia Corporation Multiple-hypothesis cross-layer prediction
US9179157B2 (en) * 2007-01-05 2015-11-03 Thomson Licensing Hypothetical reference decoder for scalable video coding
US20100074340A1 (en) 2007-01-08 2010-03-25 Thomson Licensing Methods and apparatus for video stream splicing
GB0700381D0 (en) * 2007-01-09 2007-02-14 Mitsubishi Electric Inf Tech Generalised Hypothetical Reference Decoder for Scalable Video Coding with Bitstream Rewriting
KR101741050B1 (ko) * 2007-04-17 2017-05-29 톰슨 라이센싱 멀티뷰 비디오 코딩을 위한 가설의 참조 디코더
BRPI0810360A2 (pt) 2007-04-17 2019-05-14 Nokia Technologies Oy solução aquosa estável de aldeído e método de produção do mesmo
US20090003431A1 (en) * 2007-06-28 2009-01-01 Lihua Zhu Method for encoding video data in a scalable manner
US20100142613A1 (en) 2007-04-18 2010-06-10 Lihua Zhu Method for encoding video data in a scalable manner
EP2528343A1 (en) * 2007-04-18 2012-11-28 Thomson Licensing Coding system using supplemental sequence parameter set for scalable video coding or multi-view coding
CN101690229A (zh) 2007-06-26 2010-03-31 诺基亚公司 用于指示时间层切换点的系统和方法
JP5153674B2 (ja) * 2008-02-26 2013-02-27 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
US8369415B2 (en) * 2008-03-06 2013-02-05 General Instrument Corporation Method and apparatus for decoding an enhanced video stream
FR2932050B1 (fr) 2008-06-03 2010-05-21 Canon Kk Procede et dispositif de transmission de donnees video
EP2314072B1 (en) 2008-07-16 2014-08-27 SISVEL International S.A. Track and track-subset grouping for multi view video decoding.
WO2010021665A1 (en) 2008-08-20 2010-02-25 Thomson Licensing Hypothetical reference decoder
JP5072893B2 (ja) * 2009-03-25 2012-11-14 株式会社東芝 画像符号化方法および画像復号化方法
JP5267886B2 (ja) 2009-04-08 2013-08-21 ソニー株式会社 再生装置、記録媒体、および情報処理方法
EP2425626A2 (en) 2009-05-01 2012-03-07 Thomson Licensing Inter-layer dependency information for 3dv
US8948241B2 (en) 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
EP2596633B1 (en) 2010-07-20 2016-11-23 Nokia Technologies Oy A media streaming apparatus
US9131033B2 (en) 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US9226045B2 (en) * 2010-08-05 2015-12-29 Qualcomm Incorporated Signaling attributes for network-streamed video data
US9635355B2 (en) 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
WO2013030458A1 (en) 2011-08-31 2013-03-07 Nokia Corporation Multiview video coding and decoding
US9591361B2 (en) 2011-09-07 2017-03-07 Qualcomm Incorporated Streaming of multimedia data from multiple sources
US9998726B2 (en) 2012-06-20 2018-06-12 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US10021394B2 (en) 2012-09-24 2018-07-10 Qualcomm Incorporated Hypothetical reference decoder parameters in video coding
US8989508B2 (en) * 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
US9154785B2 (en) 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101536527A (zh) * 2006-07-11 2009-09-16 诺基亚公司 可缩放视频编码和解码
CN101548548A (zh) * 2006-10-20 2009-09-30 诺基亚公司 用于在视频编码中提供画面输出指示的系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AHG9: Operation points in VPS and nesting SEI;Miska M. Hannuksela等;《JCT-VC MEETING》;20121001;全文
Scope of Supplemental Enhancement Information Messages;Miska M. Hannuksela等;《JVT MEETING》;20060712;全文

Also Published As

Publication number Publication date
AP2015008363A0 (en) 2015-04-30
IL237948A (en) 2016-11-30
MY168739A (en) 2018-11-29
JP6013614B2 (ja) 2016-10-25
ECSP15018127A (es) 2015-12-31
KR101697886B1 (ko) 2017-01-18
WO2014058598A1 (en) 2014-04-17
TW201429256A (zh) 2014-07-16
CN104685891B (zh) 2018-07-20
EP2904784B1 (en) 2018-12-19
KR101719935B1 (ko) 2017-03-24
MX341437B (es) 2016-08-18
AP3952A (en) 2016-12-21
JP2015537420A (ja) 2015-12-24
EP2904782A1 (en) 2015-08-12
WO2014058599A1 (en) 2014-04-17
CA2885670A1 (en) 2014-04-17
BR112015007763A2 (pt) 2017-07-04
JP6077124B2 (ja) 2017-02-08
KR20150067319A (ko) 2015-06-17
HK1207775A1 (zh) 2016-02-05
PT2904782T (pt) 2018-04-23
AR094449A1 (es) 2015-08-05
KR20150056877A (ko) 2015-05-27
TWI565299B (zh) 2017-01-01
AU2013330284A1 (en) 2015-04-23
MA37971B1 (fr) 2016-10-31
US9380317B2 (en) 2016-06-28
PH12015500742B1 (en) 2015-05-25
ES2663692T3 (es) 2018-04-16
US20140098895A1 (en) 2014-04-10
EP2904784A1 (en) 2015-08-12
PH12015500625A1 (en) 2015-05-11
TWI533674B (zh) 2016-05-11
AU2013330372A1 (en) 2015-04-16
UA116998C2 (uk) 2018-06-11
MY172252A (en) 2019-11-20
IL237949B (en) 2019-10-31
EP2904782B1 (en) 2018-01-17
IL237949A0 (en) 2015-05-31
CA2885670C (en) 2017-07-18
JP2015532551A (ja) 2015-11-09
UA116363C2 (uk) 2018-03-12
US20140098896A1 (en) 2014-04-10
CN104685891A (zh) 2015-06-03
CA2885807C (en) 2018-04-03
BR112015007761B1 (pt) 2022-08-09
WO2014058600A1 (en) 2014-04-17
CA2885807A1 (en) 2014-04-17
PH12015500625B1 (en) 2015-05-11
SG11201501833PA (en) 2015-05-28
US9319703B2 (en) 2016-04-19
PH12015500742A1 (en) 2015-05-25
JP6062558B2 (ja) 2017-01-18
CN104685892A (zh) 2015-06-03
US20140098894A1 (en) 2014-04-10
ES2727814T3 (es) 2019-10-18
AU2013330284B2 (en) 2017-06-08
AR093288A1 (es) 2015-05-27
RU2015117520A (ru) 2016-11-27
SI2904782T1 (en) 2018-05-31
US9154785B2 (en) 2015-10-06
RU2015117436A (ru) 2016-11-27
JP2015536114A (ja) 2015-12-17
SG11201501832UA (en) 2015-05-28
DK2904782T3 (en) 2018-04-30
EP2904787A1 (en) 2015-08-12
CN104704842A (zh) 2015-06-10
BR112015007761A2 (pt) 2017-07-04
KR101677867B1 (ko) 2016-11-18
AU2013330372B2 (en) 2017-07-06
HUE038492T2 (hu) 2018-10-29
EP2904787B1 (en) 2019-02-27
MA37971A1 (fr) 2016-03-31
SA515360254B1 (ar) 2016-08-15
HK1209550A1 (zh) 2016-04-01
RU2643463C2 (ru) 2018-02-01
BR112015007763B1 (pt) 2022-08-02
KR20150067318A (ko) 2015-06-17
RU2633100C2 (ru) 2017-10-11
MX2015004383A (es) 2015-06-10
TW201436536A (zh) 2014-09-16
HUE043479T2 (hu) 2019-08-28
CN104704842B (zh) 2018-04-20
ZA201502498B (en) 2017-09-27
CO7350643A2 (es) 2015-08-10

Similar Documents

Publication Publication Date Title
CN104685892B (zh) 一种处理视频数据的方法、装置及可读存储媒体
CN105612752B (zh) 对用于多层视频编解码器的多模提取的支持
CN104813671B (zh) 用于处理视频数据的方法和设备
CN106464936B (zh) 通过基于含一或多个层的分区确定解码器的处理核心对多层视频数据进行解码的方法和装置
CN104919802B (zh) 在视频译码中的非嵌套式补充增强信息消息
CN104054347B (zh) 在视频译码中波前平行处理的使用的指示
CN108141617B (zh) 用于处理及产生文件的方法和设备以及计算机可读存储媒体
CN104365105B (zh) 视频译码中的外部图片
CN104471943B (zh) 视频译码中的参数集
CN104704829B (zh) 处理视频数据的方法和装置以及计算机可读存储媒体
CN105794212B (zh) 一种处理多层视频数据的方法及装置
CN106664447B (zh) 用于载送多层视频的传输流的方法、装置及存储媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1207775

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant