CN105052156B - Irap存取单元与位流切换及拼接 - Google Patents

Irap存取单元与位流切换及拼接 Download PDF

Info

Publication number
CN105052156B
CN105052156B CN201480017466.0A CN201480017466A CN105052156B CN 105052156 B CN105052156 B CN 105052156B CN 201480017466 A CN201480017466 A CN 201480017466A CN 105052156 B CN105052156 B CN 105052156B
Authority
CN
China
Prior art keywords
picture
irap
decoding
pictures
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480017466.0A
Other languages
English (en)
Other versions
CN105052156A (zh
Inventor
阿达许·克里许纳·瑞玛苏布雷蒙尼安
王益魁
克里希纳坎斯·拉帕卡
陈颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105052156A publication Critical patent/CN105052156A/zh
Application granted granted Critical
Publication of CN105052156B publication Critical patent/CN105052156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H04N21/4384—Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在一个实例中，一种用于译码视频数据的装置包含视频译码器，其经配置以：译码视频数据的部分对准的IRAP存取单元的帧内随机存取点IRAP图片；及译码指示在从所述部分对准的IRAP存取单元执行随机存取时视频译码层的不可正确解码的至少一个图片的数据。当所述视频译码器包括视频解码器时，假设已经从所述部分对准的IRAP存取单元开始执行随机存取，所述视频解码器可跳过对不可正确解码的所述图片的解码。

Description

IRAP存取单元与位流切换及拼接
本申请案主张2013年4月5日申请的第61/809,063号美国临时申请案及2013年4月15日申请的第61/812,225号美国临时申请案的权益，所述申请案中的每一者的整个内容在此以引用的方式并入。
技术领域
本发明涉及视频处理。
背景技术
数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDAs)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频压缩技术，例如通过MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频编码(AVC)、目前正在开发的高效率视频译码(HEVC)标准及此类标准的扩展界定的标准中描述的技术。视频装置可通过实施此类视频压缩技术来更有效率地传输、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(即，视频帧或视频帧的一部分)可分割成视频块，视频块也可称作树块、译码单元(CU)及/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可称为帧，且参考图片可称为参考帧。
空间或时间预测产生对待译码的块的预测块。残差数据表示待译码的原始块与预测块之间的像素差。根据指向形成预测块的参考样本块的运动向量以及指示经译码块与所述预测块之间的差的残差数据来编码经帧间译码块。根据帧内译码模式和残差数据来编码经帧内译码块。为了进一步压缩，可将残差数据从像素域变换为变换域，从而产生残差变换系数，所述残差变换系数随后可被量化。起初布置在二维阵列中的经量化变换系数可依序扫描以产生变换系数的一维向量，且可应用熵译码以实现更多的压缩。
发明内容
本发明描述与支持部分对准的帧内随机存取点(IRAP)存取单元中的图片的译码(例如，编码及解码)及遵循所述存取单元相关的技术。本发明的技术可以用于支持用于执行从部分对准的IRAP存取单元开始的随机存取的技术。部分对准的IRAP存取单元可为包含至少一个IRAP图片及至少一个非IRAP图片的存取单元。视频译码器可译码指示在执行此类随机存取时包含部分对准的IRAP存取单元中的非IRAP图片的层中的图片不可正确解码的数据。以此方式，视频解码器可在以部分对准的IRAP存取单元开始执行随机存取时跳过对不可正确解码的图片的解码。
在一个实例中，一种解码视频数据的方法包含：解码指示在从部分对准的帧内随机存取点(IRAP)存取单元执行随机存取时视频译码层的不可正确解码的至少一个图片的数据；解码所述IRAP存取单元的IRAP图片；及基于指示不可正确解码的所述至少一个图片的所述数据且基于所述IRAP图片而解码视频数据。
在另一实例中，一种编码视频数据的方法包含：编码部分对准的IRAP存取单元的帧内随机存取点(IRAP)图片；及编码指示在从部分对准的帧内随机存取点(IRAP)存取单元执行随机存取时视频译码层的不可正确解码的至少一个图片的数据。
在另一实例中，一种用于译码视频数据的装置包含存储视频数据的存储器，及视频译码器(例如，视频编码器或视频解码器)，其经配置以译码(例如，编码或解码)所述视频数据的部分对准的IRAP存取单元的帧内随机存取点(IRAP)图片，且译码指示在从部分对准的IRAP存取单元执行随机存取时视频译码层的不可正确解码的至少一个图片的数据。
在另一实例中，一种用于译码视频数据的装置包含：用于译码所述视频数据的部分对准的IRAP存取单元的帧内随机存取点(IRAP)图片的装置；及译码指示在从所述部分对准的IRAP存取单元执行随机存取时视频译码层的不可正确解码的至少一个图片的数据的装置。
在另一实例中，一种计算机可读存储媒体具有在存储在其上的指令，所述指令在被执行时致使用于译码视频数据的装置的处理器：译码所述视频数据的部分对准的IRAP存取单元的帧内随机存取点(IRAP)图片；及译码指示在从部分对准的IRAP存取单元执行随机存取时视频译码层的不可正确解码的至少一个图片的数据。
在附图及以下描述中阐述一或多个实例的细节。其它特征、目标和优势将从所述描述和图式以及从权利要求书而显而易见。
附图说明
图1是说明可利用本发明中描述的技术的实例视频编码和解码系统的实例的框图。
图2是说明可实施本发明中描述的技术的实例视频编码器的框图。
图3是图解说明可实施本发明中描述的技术的实例视频解码器的框图。
图4是说明形成用于传送视频数据的网络的部分的一组实例装置的框图。
图5展示存取单元中的帧内随机存取点(IRAP)图片的不同对准的实例。
图6展示部分对准的IRAP存取单元(AU)处的拼接的实例。
图7是说明根据本发明的技术的用于编码视频数据的实例方法的流程图。
图8是说明根据本发明的技术的用于对视频数据进行解码的实例方法的流程图。
具体实施方式
本发明描述用于支持具有多个层的视频位流的存取单元处的随机存取及拼接的操作的技术。具体来说，本发明的技术针对于其中多层位流包含非对准的帧内随机存取点(IRAP)存取单元的情形。在本文中也被称作部分对准的IRAP存取单元的非对准的IRAP存取单元包含至少一个IRAP图片及至少一个非IRAP图片。所述IRAP图片可包括(例如)即时解码器刷新(IDR)图片、清洁随机存取(CRA)图片或断链存取(BLA)图片。本发明的技术提供对其中不是IRAP存取单元中的所有图片都是IRAP图片的情况的支持。存取单元包含关于特定输出时间的经译码图片连同他们的相关联的非VCL NAL单元。层可为可缩放层、视图、视图的深度分量、视图的纹理分量等。
一般来说，本发明的技术支持其中从部分对准的IRAP存取单元开始执行随机存取的情形。例如，所述部分对准的IRAP存取单元可包含基础层中的IRAP图片及增强层中的非IRAP图片。因为从部分对准的IRAP存取单元开始执行随机存取，假设增强层的非IRAP图片是至少部分使用时间帧间预测来预测，所以增强层的非IRAP图片将不可解码。即，将检索不到非IRAP图片所依的前一图片。另外，增强层中的非IRAP图片的一或多个后续图片可能也不可解码。不可正确解码的此类图片可被称为增强层可抛弃(ELDISC)图片。应理解短语“不可正确解码的”是指在由视频解码器再现时不与由视频编码器再现时相同的图片。此可在(例如)未接收这些图片的参考图片时发生，例如，在参考图片在解码次序上在对应的IRAP存取单元之前时，且在IRAP存取单元用于随机存取时。
根据本发明的技术，视频编码器可用信号通知在从部分对准的IRAP存取单元执行随机存取时某些图片不可正确解码。此类不可解码的图片可包含增强层中的图片，对于所述图片，IRAP存取单元不包含IRAP图片且其在与IRAP存取单元相同的经译码视频序列(CVS)中。以此方式，视频解码器可在从部分对准的IRAP存取单元执行随机存取时确定哪些图片不可正确解码，且跳过对不可解码图片的解码。替代地，视频解码器可简单地解析不可解码图片的数据，而不尝试解码这些图片。以此方式，视频解码器可简单地、快速地且有效地从用信号通知的数据确定此类图片不可正确解码，使得视频解码器可简单地确定针对这些图片执行不存在图片的程序或跳过对这些图片的解码。
针对不可解码图片用信号通知的数据可包含(例如)图片的NAL单元的特定网络抽象层(NAL)单元类型。另外或替代地，所述数据可包含指示在以部分对准的存取单元开始对包含图片的经译码视频序列随机存取时所述图片是否可解码的旗标或其它语法元素。所述旗标或语法元素可(例如)为切片标头数据、包含在NAL单元标头中的数据、包含在图片参数集(PPS)、序列参数集(SPS)中的数据，或其它此类数据。
应理解，指示特定图片不可正确解码的数据与经译码图像数据(即，图片的经译码块的数据)自身分开。即，可解析及解译指示特定图片不可正确解码的数据，而实际上不尝试解码所述图片。以此方式，可解译指示图片不可正确解码的数据，之后尝试解码所述图片，使得解码器可避免尝试解码不可解码且用信号通知不可解码的图片。替代地，视频解码器可简单地解析不可解码图片的数据，而不尝试解码图片的数据。替代地，视频解码器可执行不存在图片过程以解码这些图片。
允许部分对准的IRAP存取单元可提供各种益处。举例来说，基础层可包含比增强层更频繁的IRAP图片。此可减小客户端装置的调入延迟，原因在于客户端装置可开始解码且显示基础层的视频数据，即使增强层数据尚不可解码也如此。另外，此允许对随机存取点的精细颗粒选择。此外，因为增强层不需要与基础层那么频繁地包含IRAP图片，所以可减小增强层的位速率。
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(也被称为ISO/IEC MPEG-4 AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。
此外，存在一种新的视频译码标准，即高效率视频译码(HEVC)，其正由ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。下文中被称作HEVC WD10的最近HEVC工作草案(WD)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip获得。
对HEVC的多视图扩展(即MV-HEVC)也正由JCT-3V开发，且以全文引用的方式并入本文。下文被称作MV-HEVC WD3的MV-HEVC的最近工作草案(WD)(文档：JCT3V-C1004_d3)可从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/3_Geneva/wg11/JCT3V-C1004-v4.zip获得。
对HEVC的可缩放扩展(被命名为SHVC)也正由JCT-VC开发，且以全文引用的方式并入本文。下文被称作SHVC WD1的SHVC的最近工作草案(WD)(文档：JCTVC-L1008)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1008-v1.zip获得。
下文论述HEVC中的IRAP图片及存取单元。在具有单层译码的HEVC中，适用IRAP图片及IRAP AU的以下概念。
IRAP图片是仅含有I切片的图片，且具有以下特性：在解码次序上在IRAP图片处开始的解码过程可正确地解码在解码次序上在IRAP图片之后的所有非随机存取跳过的前导(非RASL)图片，而不执行对在解码次序上在IRAP之前的任何图片的解码。IRAP图片可为断链存取(BLA)图片、清洁随机存取(CRA)图片或即时解码刷新(IDR)图片。可存在在以IRAP图片开始执行随机存取时与不可正确解码的所述IRAP图片相关联的RASL图片。
含有IRAP图片的存取单元是IRAP存取单元，在下文论述。
下文论述拼接及位流切换。
位流切换及拼接操作由接合两个位流以产生一个位流的过程组成，其中拼接点处的位流具有最小改变且几乎无缝过渡。通常，两个原始位流两者开始于随机存取点(通常是IRAP存取单元)处。
拼接的一个典型使用范例是在将在媒体数据之间插入TV广告时。拼接的另一典型使用范例是自适应视频串流中的位流切换。
下文论述MV-HEVC及SHVC中的IRAP图片。
在MV-HEVC或SHVC中，术语层分量可以用于指定具有唯一nuh_layer_id的存取单元的经译码VCL NAL单元的集合，与MV-HEVC WD3及SHVC WD1中的图片的术语相同。术语层分量还可用于指定经解码的VCL NAL单元，其是在唯一层的某一时间实例处的视频的经解码表示。
在MV-HEVC WD3及SHVC WD1中，IDR及BLA层分量(图片)跨越层而对准，而CRA图片不是。例如，在需要对准IDR层分量时，如果AU中的任何图片是IDR图片，那么在AU中的所有图片是IDR层分量，即，具有IDR_W_RADL或IDR_N_LP的NAL单元类型。类似地，在需要对准BLA图片时，如果存取单元中的任何层分量是BLA层分量，那么在AU中的所有层分量是BLA图片。
在本发明中，假定AU由关于特定输出时间的所有经译码图片连同他们的相关联的非VCL NAL单元组成。
在HEVC扩展中，位流可具有一或多个层。根据最新的工作草案，IDR及BLA层分量(图片)必须跨越存取单元中的不同层而对准，而对CRA图片不存在此类限制。
当前不存在支持在不具有所有图片(如IRAP图片)的某些AU处的简单随机存取或拼接操作的机制，使得需要一些层分量的NAL单元标头中的NAL单元类型值的最多改变。在其中仅基础层是CRA图片的存取单元处执行随机存取或位流切换时，不可能正确地解码及输出较高层图片，直到另一IRAP层分量出现在所述层中为止。为了支持以上简单的随机存取或位流拼接操作，需要对此类较高层图片的适当的处置。
本发明描述若干实例，其提供用以提供在其中IRAP图片未对准(即，不是AU中的所有图片都是IRAP图片)的AU处执行随机存取及位流拼接的手段的方法。一些实例如下：
1.界定IRAP AU以包含具有IRAP图片的部分对准的AU(即其中一些层分量是IRAP图片而一些其它层分量不是IRAP图片的AU)。此类IRAP AU被称作部分对准的IRAP AU。
2.允许相符位流以部分对准的IRAP AU开始。
3.在于部分对准的IRAP AU处执行拼接时提供不可解码的层分量的指示。
4.针对每一非基础层分量(即不属于具有等于0的nuh_layer_id的层的层分量)指示在从IRAP AU执行拼接时其是否可解码。
5.指定不可解码图片的解码过程以要求它们的语法及其它特性遵守位流符合性要求。
本发明的一个特征涉及包含其中不是所有图片都是IRAP(如IRAP存取单元)的一些存取单元的概念。这通过界定部分对准的IRAP存取单元而实现。在图5中给出IRAP图片不同存取单元的对准的说明，且在以下段落中给出详细描述。
图5展示存取单元中的IRAP图片的不同对准的实例。AU的左到右对准不指示它们的解码次序。图6展示部分对准的IRAP AU处的拼接的实例。ELDISC图片是归因于拼接操作而不可解码的图片。
下文描述第一实例。在此实例中，当解码从在解码次序上在先前(部分对准)的IRAP存取单元开始时不可正确解码的位流中的图片被指派新的NAL单元类型。当解码从部分对准的IRAP AU开始时，不输出这些图片且调用用以产生不可用图片的过程。另外，假定AU中的IDR图片是跨层对准的，而BLA图片可未跨层对准。
出于实例的目的，本发明采取以下定义：
IRAP存取单元(AU)：含有一或多个IRAP图片的存取单元，其中对于具有层ID nuh_layer_id的每一IRAP图片，在AU中具有小于nuh_layer_id的层ID的所有图片也是IRAP。
对准的IRAP AU：其中AU中的所有图片是IRAP图片的IRAP AU。
部分对准的IRAP AU：不是对准的IRAP AU的IRAP AU。
ELDISC图片：具有非零层ID layerId且属于具有小于layerId的存取层ID的部分对准的IRAP AU，或属于在解码次序上的后续AU的在解码次序上在具有大于或等于layerId的存取层ID的任何部分对准的IRAP AU之前的后面图片。
存取层ID：IRAP AU的存取层ID是IRAP AU中的所有IRAP图片的nuh_layer_id的最大值。
下文论述用信号通知EL图片的不可解码性。
NAL单元标头语义
引入两个NAL单元类型，ELDISC_R及ELDISC_N，其在下文给出的表格中展示。下文描述还NAL单元类型的语义的改变。使用斜体文本表示添加及[移除：“”]表示删除来展示改变。
forbidden_zero_bit将等于0。
nal_unit_type指定NAL单元中含有的RBSP数据结构的类型，如表7-1中所指定。
具有在UNSPEC48..UNSPEC63范围内(包括UNSPEC48及UNSPEC63)(未指定其语义)的nal_unit_type的NAL单元将不影响本说明书中指定的解码过程。
注意1-可如应用所确定而使用UNSPEC48..UNSPEC63范围内的NAL单元类型。在本说明书中未指定用于nal_unit_type的这些值的解码过程。由于不同应用可能使用这些NAL单元类型以用于不同目的，所以在产生具有这些nal_unit_type值的NAL单元的编码器的设计中及在解译具有这些nal_unit_type值的NAL单元的内容的解码器的设计中必须特别注意。
出于除确定位流的解码单元中的数据的量(如WD 10的附件C中所指定)之外的目的，解码器将忽略(从所述位流移除及抛弃)使用nal_unit_type的保留值的所有NAL单元的内容。
注意2-此要求允许对本说明书的兼容扩展的未来定义。
表7-1-NAL单元类型码及NAL单元类型种类
注意3-CRA图片可具有存在于位流中的相关联的RASL或RADL图片。
注意4-具有等于BLA_W_LP的nal_unit_type的BLA图片可具有存在于位流中的相关联的RASL或RADL图片。具有等于BLA_W_RADL的BLA图片不具有存在于位流中的相关联的RASL图片，但可具有位流中的相关联的RADL图片。具有等于BLA_N_LP的nal_unit_type的BLA图片不具有存在于位流中的相关联的前导图片。
注意5-具有等于IDR_N_LP的nal_unit_type的IDR图片不具有存在于位流中的相关联的前导图片。具有等于IDR_W_RADL的nal_unit_type的IDR图片不具有存在于位流中的相关联的RASL图片，但可具有位流中的相关联的RADL图片。
注意6-子层非参考图片未包含在具有相同的TemporalId值的任何图片的RefPicSetStCurrBefore、RefPicSetStCurrAfter及RefPicSetLtCurr中的任一者中，且可在不影响具有相同TemporalId值的其它图片的可解码性的的情况下被抛弃。
存取单元的所有经译码切片片段NAL单元将具有相同的nal_unit_type值。图片或存取单元还被称作具有等于图片或存取单元的经译码切片片段NAL单元的nal_unit_type的nal_unit_type。
如果图片具有等于ELDISC_N、TRAIL_N、TSA_N、STSA_N、RADL_N、RASL_N、RSV_VCL_N10、RSV_VCL_N12或RSV_VCL_N14的nal_unit_type，那么所述图片是子层非参考图片。否则，所述图片是子层参考图片。
位流符合性要求是，属于IRAP AU的ELDISC图片将是子层参考图片。
除在解码次序上在位流中的第一图片之外的每一图片被视为与在解码次序上的先前IRAP图片相关联。
当图片是前导图片时，其将为RADL或RASL图片。
当图片是后面图片时，其将不是RADL或RASL图片。
当图片是前导图片时，其将在解码次序上在与相同IRAP图片相关联的所有后面图片之前。
没有与具有等于BLA_W_RADL或BLA_N_LP的nal_unit_type的BLA图片相关联的RASL图片将存在于位流中。
没有与IDR图片相关联的RASL图片将存在于位流中。
没有与具有等于BLA_N_LP的nal_unit_type的BLA图片相关联或与具有等于IDR_N_LP的nal_unit_type的IDR图片相关联的RADL图片将存在于位流中。
注意7-有可能通过抛弃在IRAP存取单元之前的所有存取单元而在IRAP存取单元的位置处执行随机存取(且正确地解码IRAP图片及在解码次序上的所有后续非RASL图片)，其条件是每一参数集当其需要被激活时可用(在位流中或通过本说明书中未指定的外部装置)。
具有等于1的PicOutputFlag的在解码次序上在IRAP图片之前的任何图片将在输出次序上在IRAP图片之前且将在输出次序上在与IRAP图片相关联的任何RADL图片之前。
与CRA或BLA图片相关联的任何RASL图片将在输出次序上在与CRA或BLA图片相关联的任何RADL图片之前。
与CRA图片相关联的任何RASL图片将在输出次序上在于解码次序上在CRA图片之前的任何IRAP图片之后。
当sps_temporal_id_nesting_flag等于1且TemporalId大于0时，nal_unit_type将等于TSA_R、TSA_N、RADL_R、RADL_N、RASL_R或RASL_N。
nuh_layer_id将等于0。将来可通过ITU-T|ISO/IEC指定其它nuh_layer_id值。出于除确定位流的解码单元中的数据的量(如附件C中所指定)之外的目的，解码器将忽略(即，从所述位流移除及抛弃)具有不等于0的nuh_layer_id的值的所有NAL单元。
注意8-预期在本说明书的未来的可缩放或3D视频译码扩展中，此语法元素将用于识别可存在于CVS中的额外层，其中层可为(例如)空间可缩放层、质量可缩放层、纹理视图或深度视图。
如果nal_unit_type等于ELDISC_R或ELDISC_N，即，经译码切片片段属于ELDISC图片，那么nuh_layer_id的值将大于零。
替代地，如果nal_unit_type等于ELDISC_R或ELDISC_N，即，经译码切片片段属于ELDISC图片，那么nuh_layer_id的值将如下受约束：
-如果当前AU是IRAP AU，那么nuh_layer_id将大于当前AU的存取层ID
-否则，nuh_layer_id的值将大于先前IRAP AU的存取层ID
nuh_temporal_id_plus1减1指定NAL单元的时间识别符。nuh_temporal_id_plus1的值将不等于0。
如下指定变量TemporalId：
TemporalId＝nuh_temporal_id_plus1-1 (7-1)
如果nal_unit_type在BLA_W_LP到RSV_IRAP_VCL23的范围中(包括BLA_W_LP及RSV_IRAP_VCL23)，即，经译码切片片段属于IRAP图片，那么TemporalId将等于0。否则，当nal_unit_type等于TSA_R、TSA_N、STSA_R或STSA_N时，TemporalId将不等于0。
TemporalId的值对于存取单元的所有VCL NAL单元将相同。存取单元的TemporalId的值是存取单元的VCL NAL单元的TemporalId的值。
非VCL NAL单元的TemporalId的值如下受约束：
-如果nal_unit_type等于VPS_NUT或SPS_NUT，那么TemporalId将等于0且含有NAL单元的存取单元的TemporalId将等于0。
-否则，如果nal_unit_type等于EOS_NUT或EOB_NUT，那么TemporalId将等于0。
-否则，如果nal_unit_type等于AUD_NUT或FD_NUT，那么TemporalId将等于含有NAL单元的存取单元的TemporalId。
-否则，TemporalId将大于或等于含有NAL单元的存取单元的TemporalId。
注意9-当NAL单元是非VCL NAL单元时，TemporalId的值等于向其应用非VCL NAL单元的所有存取单元的TemporalId值的最小值。当nal_unit_type等于PPS_NUT时，TemporalId可大于或等于含有的存取单元的TemporalId，因为所有PPS可包含在位流开始处，其中第一经译码图片具有等于0的TemporalId。当nal_unit_type等于PREFIX_SEI_NUT或SUFFIX_SEI_NUT时，TemporalId可大于或等于含有的存取单元的TemporalId，因为SEINAL单元可例如在应用于位流子集的缓冲周期SEI消息或图片时序SEI消息中含有信息，所述位流子集包含其TemporalId值大于含有SEINAL单元的存取单元的TemporalId的存取单元。
替代地，没有用于ELDISC图片的新的NAL单元类型。此处必须注意，ELDISC图片可为后面图片、TSA图片或STSA图片。
下文论述一般的解码过程。
所述解码过程与SHVC WD1一些改变中的子条款F.8中界定的相同，且下文给出SHVC WD1及HEVC WD10的解码过程中的每一经修改的子条款中的改变。
下文论述SHVC WD1中的子条款F 8.1的改变。
子条款8.1中的规格在以下添加的情况下适用。在当前图片具有大于0的nuh_layer_id时，以下适用。
-取决于separate_colour_plane_flag的值，解码过程如下被结构化：
-如果separate_colour_plane_flag等于0，那么在输出当前图片的单一时间调用以下解码过程。
-否则(separate_colour_plane_flag等于1)，调用3次以下解码过程。对解码过程的输入是具有相同colour_plane_id值的经译码图片的所有NAL单元。具有特定colour_plane_id值的NAL单元的解码过程被指定为如同仅拥有具有特定colour_plane_id值的单色格式的CVS将存在于位流中。将三个解码过程中的每一者的输出指派给当前图片的3个样本阵列中的一者，其中分别将具有等于0、1及2的colour_plane_id的NAL单元指派给SL、SCb及SCr。
注意-当separate_colour_plane_flag等于1且chroma_format_idc等于3时，变量ChromaArrayType被导出为等于0。在解码过程中，评估此变量的值，从而导致等同于单色图片的操作的操作(当chroma_format_idc等于0时)。
-对于当前图片CurrPic，解码过程如下操作。
-如标题为“NoELDiscPicDecodeFlag的导出”段落中所指定而导出每一图片的变量NoELDiscPicDecodeFlag
-如果CurrPic具有等于零的nuh_layer_id且属于IRAP AU，那么如下导出AU的变量NoRaslOutputFlag
○如果IRAP AU中的具有等于0的nuh_layer_id的图片具有等于1的NoRaslOutputFlag，那么将当前IRAP AU的变量NoRaslOutputFlag设定成等于1。
○否则，将当前IRAP AU的NoRaslOutputFlag设定成等于0。
-对于当前图片的在解码次序上的第一切片的切片片段标头的解码，调用用于开始解码子条款F.8.1.1中指定的具有大于0的nuh_layer_id的经译码图片的解码过程。
-如果ViewId[nuh_layer_id]大于0，那么调用子条款G.8.1中指定的具有大于0的nuh_layer_id的经译码图片的解码过程。
-否则，当DependencyId[nuh_layer_id]大于0时，调用子条款F.8.1.1中指定的具有大于0的nuh_layer_id的经译码图片的解码过程。
-在已经解码当前图片的所有切片之后，调用用于结束子条款F.8.1.2中指定的具有大于0的nuh_layer_id的经译码图片的解码的解码过程。
NoELDiscPicDecodeFlag的导出
如下导出变量NoELDiscPicDecodeFlag：
-如果当前AU是IRAP AU，那么以下适用：
○如果对于当前AU中的具有等于0的nuh_layer_id的图片，NoRaslOutputFlag等于1，那么以下适用：
■如果当前图片的nuh_layer_id_of大于当前AU的存取层ID，那么将NoELDiscPicDecodeFlag设定成等于1。
■否则，将NoELDiscPicDecodeFlag设定成等于0。
○否则(当前AU中的具有等于0的nuh_layer_id的图片是具有等于0的NoRaslOutputFlag的CRA图片)，以下适用：
■如果当前图片是IRAP图片，那么将NoELDiscPicDecodeFlag设定成等于0。
■否则，将NoELDiscPicDecodeFlag设定成等于相同层中的在解码次序上的之前图片的NoELDiscPicDecodeFlag的值。
-否则，以下适用：
○将NoELDiscPicDecodeFlag设定成等于相同层中的在解码次序上的之前图片的NoELDiscPicDecodeFlag的值。
替代地，不推断ELDISC图片的NoELDiscPicDecodeFlag，而是在切片标头中用信号通知或经由外部装置指定。
替代地，对于每一IRAP AU，用信号通知指示哪些图片是特定AU中的IRAP的层集合；其层ID未包含在所述层集合中的IRAP AU中的图片将被视为不可解码。针对未包含在用信号通知的层集合中的所述CVS中的所有图片，可推断NoELDiscPicDecodeFlag的值等于一。可使用SEI消息或经由外部装置用信号通知此层集合。
下文论述SHVC WD1中的子条款F.8.1.1的改变。
在此子条款中涉及的每一图片是完整的经译码图片。
对于当前图片CurrPic，解码过程如下操作：
1.在子条款8.2中指定NAL单元的解码。
2.子条款8.3中的过程使用切片片段层中及以上的语法元素指定以下解码过程：
-在子条款8.3.1中导出与图片次序计数相关的变量及功能。此仅需要针对图片的第一切片片段调用。[移除：“位流符合性要求是，PicOrderCntVal将在存取单元内保持不变”。]
-针对具有等于CurrPic的nuh_layer_id的nuh_layer_id的图片调用子条款8.3.2中的RPS的解码过程，其中可将参考图片标记为“不用于参考”或“用于长期参考”。此仅需要针对图片的第一切片片段调用。
-当CurrPic是BLA图片或是具有等于1的NoRaslOutputFlag的CRA图片或具有等于1的NoELDiscPicDecodeFlag的ELDISC图片且属于IRAP AU时，调用子条款8.3.3中指定的产生不可用的参考图片的解码过程，其仅需要针对图片的第一切片片段调用。
下文论述SHVC WD1中的子条款F.8.1.2的改变。
如下设定PicOutputFlag：
-如果当前图片是RASL图片且相关联的IRAP图片的NoRaslOutputFlag等于1，或具有等于1的NoELDiscPicDecodeFlag的ELDISC，那么将PicOutputFlag设定成等于0。
-否则，将PicOutputFlag设定成等于pic_output_flag。
以下适用：
-将经解码图片标记为“用于短期参考”。
-当TemporalId等于HighestTid时，调用子条款F.8.1.2.1中指定的层间预测不需要的用于子层非参考图片的标记过程，其中等于nuh_layer_id的latestDecLayerId作为输入。
下文论述HEVC WD10中的子条款8.3.1的改变。
此过程的输出为PicOrderCntVal，当前图片的图片次序计数。
使用图片次序计数识别图片，以用于在合并模式及运动向量预测中导出运动参数，且用于解码器符合性检查(参看子条款C.5)。
每一经译码图片与一图片次序计数变量(标示为PicOrderCntVal)相关联。
在当前图片不属于[移除：“不是”]具有等于1的NoRaslOutputFlag的IRAP存取单元[移除：“图片”]时，如下导出变量prevPicOrderCntLsb及prevPicOrderCntMsb：
-假设prevTid0Pic为具有等于0的TemporalId的不是RASL图片、RADL图片或子层非参考图片的在解码次序上的先前图片。
-将变量prevPicOrderCntLsb设定成等于prevTid0Pic的slice_pic_order_cnt_lsb。
-将变量prevPicOrderCntMsb设定成等于prevTid0Pic的PicOrderCntMsb。
如下导出当前图片的变量PicOrderCntMsb：
-如果当前图片属于[移除：“是”]具有等于1的NoRaslOutputFlag的IRAP存取单元[移除：“图片”]，那么将PicOrderCntMsb设定成等于0。
-否则，如下导出PicOrderCntMsb：
注意1-所有IDR图片将具有等于0的PicOrderCntVal，因为推断IDR图片的slice_pic_order_cnt_lsb为0，且将prevPicOrderCntLsb及prevPicOrderCntMsb两者设定成等于0。
PicOrderCntVal的值将在-231到231-1的范围内(包括-231及231-1)。在一个CVS中，任何两个经译码图片的PicOrderCntVal值将不相同。
如下指定函数PicOrderCnt(picX)：
PicOrderCnt(picX)＝PicOrderCntVal of the picture picX (8-3)
如下指定函数DiffPicOrderCnt(picA,picB)：
DiffPicOrderCnt(picA,picB)＝PicOrderCnt(picA)-PicOrderCnt(picB) (8-4)
位流将不含有产生用于解码过程中的不在-215到215-1的范围内(包括-215及215-1)的DiffPicOrderCnt(picA,picB)的值的数据。
注意2-假设X是当前图片且Y及Z是相同序列中的两个其它图片，当DiffPicOrderCnt(X,Y)及DiffPicOrderCnt(X,Z)为正或两者都为负时，Y及Z被视为在从X的相同输出次序方向上。
下文论述HEVC WD10中的子条款8.3.2的改变。
在切片标头的解码之后但在任何译码单元的解码之前且在子条款8.3.3中指定的用于切片的参考图片列表构造的解码过程之前，针对每一图片调用此过程。此过程可导致DPB中的一或多个参考图片被标记为“不用于参考”或“用于长期参考”。
注意1-RPS是用于当前及未来经译码图片的解码过程中的参考图片的绝对描述。在包含在RPS中的所有参考图片被显式地列举的意义上，RPS信令是显式的。
DPB中的经解码图片可被标记为“不用于参考”、“用于短期参考”，或“用于长期参考”，但在解码过程的操作期间的任何给定时刻仅是这三者当中的一者。在适用时，将这些标记中的一者指派给图片会隐式地移除这些标记中的另一者。当图片被称作标记为“用于参考”时，此统称所述图片被标记为“用于短期参考”或“用于长期参考”(但不是两者)。
在当前图片属于具有等于1的NoRaslOutputFlag的IRAP AU[移除：“图片”]时，DPB(如果存在)中当前的所有参考图片被标记为“不用于参考”。
短期参考图片通过它们的PicOrderCntVal值来识别。长期参考图片通过它们的PicOrderCntVal值或它们的slice_pic_order_cnt_lsb值来识别。
….
-在当前图片是在解码次序上在具有等于当前图片的TemporalId的TemporalId的STSA图片之后的图片时，将不存在具有等于包含在在解码次序上在STSA图片之前的RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetLtCurr中的当前图片的TemporalId的TemporalId的图片。
-在当前图片是CRA图片时，将不存在包含在RPS中的在解码次序上在解码次序上的任何之前IRAP图片(当存在时)之前的图片。
-在当前图片是不是具有等于1的NoELDiscPicDecodeFlag的ELDISC图片的后面图片时，通过用于产生子条款8.3.3中指定的不可用参考图片的解码过程所产生的RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetLtCurr中不存在图片。
-在当前图片是后面图片时，在RPS中将不存在在输出次序上或解码次序上在相关联的IRAP图片之前的图片。
….
下文描述第二实例。此实例类似于第一实例，但不界定新的NAL单元类型。使用切片标头中的一个保留旗标来指示切片是否属于属于IRAP AU的图片。
切片标头片段语法
如下文所示而改变num_extra_slice_header_bits的语法元素，其中斜体字表示添加且[移除：“”]表示删除。
num_extra_slice_header_bits[移除：“等于0指定没有”]指示存在于涉及PPS的经译码图片的切片标头RBSP中的额外切片标头位的数目。num_extra_slice_header_bits将等于或大于1[移除：“与本说明书的此版本相符的位流中的0”]。保留num_extra_slice_header_bits的其它值以供ITU-T|ISO/IEC未来使用。然而，解码器将允许num_extra_slice_header_bits具有任何值。
如下指定slice_in_irap_au_flag的语法：
slice_in_irap_au_flag等于1指定切片存在于属于IRAP AU的图片中。slice_in_irap_au_flag等于0指定切片存在于不属于IRAP AU的图片中。
下文描述第三实例。在此实例中，IRAP AU包含包括具有等于0的nuh_layer_id的IRAP图片的任何AU。当解码从是当前AU或在解码次序上的先前IRAP AU的IRAP AU开始时，使用两个额外的IRAP NAL单元类型来指示位流中的每一层中的第一IDR图片。另外，将使用两个以上NAL单元类型来指示当拼接位流时将不可解码的那些图片。假定BLA图片及IDR图片可不跨层对准。
此实例假定以下定义：
IRAP存取单元(AU)：含有一或多个IRAP图片的存取单元，其中AU中的具有等于0的nuh_layer_id的图片是IRAP图片。
对准的IRAP AU：其中AU中的所有图片是IRAP图片的IRAP AU。
部分对准的IRAP AU：不是对准的IRAP AU的IRAP AU，且对于在AU中的具有等于layerId的nuh_layer_id的每个IRAP图片，在AU中的具有小于layerId的nuh_layer_id值的每个图片也是IRAP图片。
非对准的IRAP AU：既不是对准的IRAP AU也不是部分对准的IRAP AU的IRAP AU。
层切换IRAP AU：不是IRAP AU且含有至少一个IRAP图片的AU。
存取层ID：IRAP AU的存取层ID是nuh_layer_id layerId的最大值，对于其，在AU中的具有小于或等于layerId的nuh_layer_id的所有图片是IRAP图片。
跨层随机存取跳过图片：具有等于layerId的nuh_layer_id的属于具有小于layerId的存取层ID的IRAP AU或属于一AU的图片，所述AU在解码次序上在具有小于layerId的存取层ID的IRAP AU之后且在解码次序上在下一IRAP AU之前并且还在解码次序上在含有具有等于layerId的nuh_layer_id的IRAP图片的层切换IRAP AU之前。
CL-RASP：具有等于CL_RAS_N或CL_RAS_R的nal_unit_type的图片。
位流符合性要求是，属于IRAP AU的跨层随机存取跳过图片将是子层参考图片。
即时解码刷新(IDR)图片：每一VCL NAL单元具有等于BL_IDR_W_RADL、BL_IDR_N_LP、IDR_W_RADL或IDR_N_LP的nal_unit_type的IRAP图片。
注意7-IDR图片仅含有I切片，且可为位流中的在解码次序上的第一图片，或可稍后出现在位流中。具有等于0的nuh_layer_id的每一IDR图片是CVS的在解码次序上的第一图片。当IDR图片的每一VCL NAL单元具有等于IDR_W_RADL的nal_unit_type时，其可具有相关联的RADL图片。当IDR图片的每一VCL NAL单元具有等于IDR_N_LP的nal_unit_type时，其不具有任何相关联的前导图片。IDR图片不具有相关联的RASL图片。
替代地，添加以下约束：
位流符合性要求是，对于具有拥有等于layerId的nuh_layer_id的IRAP图片且其在解码次序上的之前IRAP AU具有小于nuh_layer_id的存取层ID值的每个当前层切换IRAPAU，将存在具有拥有等于layer_id_in_nuh[LayerIdInVps[layerId]-1]的nuh_layer_id的IRAP图片且在解码次序上在当前层切换IRAP AU之前且在解码次序上在先前IRAP AU之后的至少一个层切换AU。
下文论述NAL单元标头语义。
引入四个NAL单元类型，下文给出的表格中展示。使用斜体文本表示添加及[移除：“”]表示删除来表示NAL单元类型的语义的改变。
forbidden_zero_bit将等于0。
nal_unit_type指定NAL单元中含有的RBSP数据结构的类型，如表7-1中所指定。
具有在UNSPEC48..UNSPEC63范围内(包括UNSPEC48及UNSPEC63)(未指定其语义)的nal_unit_type的NAL单元将不影响本说明书中指定的解码过程。
注意1-可如应用所确定而使用UNSPEC48..UNSPEC63范围内的NAL单元类型。在本说明书中未指定用于nal_unit_type的这些值的解码过程。由于不同应用可能使用这些NAL单元类型以用于不同目的，所以在产生具有这些nal_unit_type值的NAL单元的编码器的设计中及在解译具有这些nal_unit_type值的NAL单元的内容的解码器的设计中必须特别注意。
出于除确定位流的解码单元中的数据的量(如附件C中所指定)之外的目的，解码器将忽略(从所述位流移除及抛弃)使用nal_unit_type的保留值的所有NAL单元的内容。
注意2-此要求允许对本说明书的兼容扩展的未来定义。
表7-1-NAL单元类型码及NAL单元类型种类
注意3-CRA图片可具有存在于位流中的相关联的RASL或RADL图片。
注意4-具有等于BLA_W_LP的nal_unit_type的BLA图片可具有存在于位流中的相关联的RASL或RADL图片。具有等于BLA_W_RADL的BLA图片不具有存在于位流中的相关联的RASL图片，但可具有位流中的相关联的RADL图片。具有等于BLA_N_LP的nal_unit_type的BLA图片不具有存在于位流中的相关联的前导图片。
注意5-具有等于IDR_N_LP的nal_unit_type的IDR图片不具有存在于位流中的相关联的前导图片。具有等于IDR_W_RADL的IDR图片不具有存在于位流中的相关联的RASL图片，但可具有位流中的相关联的RADL图片。
注意6-子层非参考图片未包含在具有相同的TemporalId值的任何图片的RefPicSetStCurrBefore、RefPicSetStCurrAfter及RefPicSetLtCurr中的任一者中，且可在不影响具有相同TemporalId值的其它图片的可解码性的的情况下被抛弃。
存取单元的所有经译码切片片段NAL单元将具有相同的nal_unit_type值。图片或存取单元还被称作具有等于图片或存取单元的经译码切片片段NAL单元的nal_unit_type的nal_unit_type。
如果图片具有等于CL_RAS_N、TRAIL_N、TSA_N、STSA_N、RADL_N、RASL_N、RSV_VCL_N10、RSV_VCL_N12或RSV_VCL_N14的nal_unit_type，那么所述图片是子层非参考图片。否则，所述图片是子层参考图片。
位流符合性要求是，属于IRAP AU的CL-RAS图片将是子层参考图片。
除在解码次序上在位流中的第一图片之外的每一图片被视为与在解码次序上的先前IRAP图片相关联。
当图片是前导图片时，其将为RADL或RASL图片。
当图片是后面图片时，其将不是RADL或RASL图片。
当图片是前导图片时，其将在解码次序上在与相同IRAP图片相关联的所有后面图片之前。
没有与具有等于BLA_W_RADL或BLA_N_LP的nal_unit_type的BLA图片相关联的RASL图片将存在于位流中。
没有与IDR图片相关联的RASL图片将存在于位流中。
没有与具有等于BLA_N_LP的nal_unit_type的BLA图片相关联或与具有等于IDR_N_LP的nal_unit_type的IDR图片相关联的RADL图片将存在于位流中。
注意7-有可能通过抛弃在IRAP存取单元之前的所有存取单元而在IRAP存取单元的位置处执行随机存取(且正确地解码IRAP图片及在解码次序上的所有后续非RASL图片)，其条件是每一参数集当其需要被激活时可用(在位流中或通过本说明书中未指定的外部装置)。
具有等于1的PicOutputFlag的在解码次序上在IRAP图片之前的任何图片将在输出次序上在IRAP图片之前且将在输出次序上在与IRAP图片相关联的任何RADL图片之前。
与CRA或BLA图片相关联的任何RASL图片将在输出次序上在与CRA或BLA图片相关联的任何RADL图片之前。
与CRA图片相关联的任何RASL图片将在输出次序上在于解码次序上在CRA图片之前的任何IRAP图片之后。
当sps_temporal_id_nesting_flag等于1且TemporalId大于0时，nal_unit_type将等于TSA_R、TSA_N、RADL_R、RADL_N、RASL_R或RASL_N。
nuh_layer_id将等于0。将来可通过ITU-T|ISO/IEC指定其它nuh_layer_id值。出于除确定位流的解码单元中的数据的量(如附件C中所指定)之外的目的，解码器将忽略(即，从所述位流移除及抛弃)具有不等于0的nuh_layer_id的值的所有NAL单元。
注意8-预期在本说明书的未来的可缩放或3D视频译码扩展中，此语法元素将用于识别可存在于CVS中的额外层，其中层可为(例如)空间可缩放层、质量可缩放层、纹理视图或深度视图。
如果nal_unit_type等于CL_RAS_R或CL_RAS_N，即，经译码切片片段属于CL_RAS图片，那么nuh_layer_id的值将大于零。
替代地，如果nal_unit_type等于CL_RAS_R或CL_RAS_N，即经译码切片片段属于清洁随机存取跳过图片，那么nuh_layer_id的值将如下受约束：
-如果当前AU是IRAP AU，那么nuh_layer_id将大于当前AU的存取层ID
-否则，nuh_layer_id的值将大于在解码次序上之前的IRAP AU的存取层ID。
nuh_temporal_id_plus1减1指定NAL单元的时间识别符。nuh_temporal_id_plus1的值将不等于0。
如下指定变量TemporalId：
TemporalId＝nuh_temporal_id_plus1-1 (7-1)
如果nal_unit_type在BLA_W_LP到RSV_IRAP_VCL23的范围中(包括BLA_W_LP及RSV_IRAP_VCL23)，即，经译码切片片段属于IRAP图片，那么TemporalId将等于0。否则，当nal_unit_type等于TSA_R、TSA_N、STSA_R或STSA_N时，TemporalId将不等于0。
TemporalId的值对于存取单元的所有VCL NAL单元将相同。存取单元的TemporalId的值是存取单元的VCL NAL单元的TemporalId的值。
非VCL NAL单元的TemporalId的值如下受约束：
-如果nal_unit_type等于VPS_NUT或SPS_NUT，那么TemporalId将等于0且含有NAL单元的存取单元的TemporalId将等于0。
-否则，如果nal_unit_type等于EOS_NUT或EOB_NUT，那么TemporalId将等于0。
-否则，如果nal_unit_type等于AUD_NUT或FD_NUT，那么TemporalId将等于含有NAL单元的存取单元的TemporalId。
-否则，TemporalId将大于或等于含有NAL单元的存取单元的TemporalId。
注意9-当NAL单元是非VCL NAL单元时，TemporalId的值等于向其应用非VCL NAL单元的所有存取单元的TemporalId值的最小值。当nal_unit_type等于PPS_NUT时，TemporalId可大于或等于含有的存取单元的TemporalId，因为所有PPS可包含在位流开始处，其中第一经译码图片具有等于0的TemporalId。当nal_unit_type等于PREFIX_SEI_NUT或SUFFIX_SEI_NUT时，TemporalId可大于或等于含有的存取单元的TemporalId，因为SEINAL单元可例如在应用于位流子集的缓冲周期SEI消息或图片时序SEI消息中含有信息，所述位流子集包含其TemporalId值大于含有SEI NAL单元的存取单元的TemporalId的存取单元。
下文论述一般的解码过程。
解码过程与在实例1中所描述的解码过程类似，其中用于具有等于1的NoELDiscPicDecodeFlag的ELDISC图片的解码过程中作出的改变适用于CL-RAS图片。
图1是说明可利用本发明中描述的技术的实例视频编码及解码系统10的框图。如图1中所示，系统10包含源装置12，所述源装置产生经编码视频数据以在稍后时间由目的地装置14解码。源装置12和目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些情况下，源装置12和目的地装置14可能经装备以用于无线通信。
目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括使得源装置12能够实时地将经编码视频数据直接传输到目的地装置14的通信媒体。经编码视频数据可根据通信标准(例如，无线通信协议)来调制，且被传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线路。通信媒体可形成基于包的网络(例如局域网、广域网或全球网络，例如因特网)的一部分。通信媒体可包含路由器、交换器、基站或任何其它可以用于促进从源装置12到目的地装置14的通信的设备。
或者，可将经编码数据从输出接口22输出到存储装置34。类似地，可通过输入接口从存储装置34存取经编码数据。存储装置34可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或任何其它用于存储经编码视频数据的适当数字存储媒体。在另一实例中，存储装置34可对应于可保持由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可从存储装置34经由流式传输或下载来存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。此可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或适合于存取存储于文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置34的传输可为流式传输、下载传输或两者的组合。
本发明的技术不一定限于无线应用或环境。所述技术可应用于视频译码以支持多种多媒体应用中的任一者，例如空中电视广播、有线电视传输、卫星电视传输、流式视频传输(例如，经由因特网)、编码数字视频以用于存储在数据存储媒体上、解码存储在数据存储媒体上的数字视频，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输，以支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)及/或传输器。在源装置12中，视频源18可包含例如视频俘获装置(例如，摄像机)、含有先前俘获的视频的视频存档、用于从视频内容提供者接收视频的视频馈入接口及/或用于产生计算机图形数据作为源视频的计算机图形系统，或此类源的组合等源。作为一个实例，如果视频源18是摄像机，那么源装置12及目的地装置14可以形成所谓的摄像机电话或视频电话。然而，本发明中描述的技术一般可适用于视频译码，且可应用于无线及/或有线应用。
可由视频编码器12来编码所俘获视频、经预先俘获的视频或计算机产生的视频。经编码视频数据可经由源装置12的输出接口22直接传输到目的地装置14。经编码视频数据还可(或替代地)存储到存储装置34上以供稍后由目的地装置14或其它装置存取以用于解码及/或回放。
目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些状况下，输入接口28可包含接收器和/或调制解调器。目的地装置14的输入接口28经由链路16接收经编码视频数据。经由链路16传达或在存储装置34上提供的经编码视频数据可包含由视频编码器20产生的多种语法元素以供由例如视频解码器30等视频解码器用于解码视频数据。此类语法元素可与在通信媒体上传输、存储在存储媒体上或存储在文件服务器中的经编码视频数据包含在一起。
显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。总的来说，显示装置32将经解码视频数据显示给用户，并且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30可根据视频压缩标准(例如，目前正在开发的高效率视频译码(HEVC)标准)来操作，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可以根据其它专有或业界标准操作，所述标准例如ITU-T H.264标准，或者被称作MPEG-4第10部分高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-TH.263。
尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频及视频两者的编码。在一些实例中，如果适用的话，MUX-DEMUX单元可以符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地以软件实施所述技术时，器件可将用于所述软件的指令存储于合适的非暂时计算机可读媒体中且使用一或多个处理器以硬件执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(CODEC)的部分。
JCT-VC已开发HEVC标准。HEVC标准化工作是基于被称作HEVC测试模型(HM)的视频译码装置的模型。HM假设视频译码装置根据(例如)ITU-T H.264/AVC相对于现有装置的若干额外能力。举例来说，虽然H.264提供了九种帧内预测编码模式，但HM可提供多达三十三种帧内预测编码模式。
一般来说，HM的工作模型描述视频帧或图片可以被划分为包含亮度和色度样本两者的一连串树块或最大译码单元(LCU)。树块具有与H.264标准的宏块类似的目的。切片包含按译码次序的数个连续树块。视频帧或图片可以被分割成一或多个切片。每一树块可根据四叉树分裂成译码单元(CU)。举例来说，作为四叉树的根节点的树块可分裂成四个子节点，且每一子节点又可为父节点且分裂成另外四个子节点。最终的未分裂的子节点(作为四叉树的叶节点)包括译码节点(即，经译码视频块)。与经译码位流相关联的语法数据可界定树块可分裂的最大次数，且还可界定译码节点的最小大小。
CU包含译码节点和与译码节点相关联的预测单元(PU)及变换单元(TU)。所述CU的大小对应于译码节点的大小且在形状上必须是正方形。CU的大小的范围可从8×8像素直到具有最大64×64像素或更大的树块的大小。每一CU可含有一或多个PU及一或多个TU。与CU相关联的语法数据可描述(例如)将CU分割为一或多个PU。分割模式在CU被跳过、被直接模式编码、被帧内预测模式编码还是被帧间预测模式编码之间可不同。可将PU的形状分割为非正方形。与CU相关联的语法数据还可描述(例如)根据四叉树将CU分割为一或多个TU。TU的形状可为正方形或非正方形。
HEVC标准允许根据TU的变换，其对于不同的CU可不同。所述TU的大小通常基于针对经分割LCU而界定的给定CU内的PU的大小而设定，但可能不总是这样。TU通常与PU是相同大小或小于PU。在一些实例中，可使用被称为“残差四叉树”(RQT)的四叉树结构将对应于CU的残差样本细分为更小的单元。RQT的叶节点可被称作变换单元(TU)。可将与TU相关联的像素差值变换以产生变换系数，所述变换系数可经量化。
一般来说，PU包含与预测过程有关的数据。例如，在PU被帧内模式编码时，PU可包含描述PU的帧内预测模式的数据。作为另一实例，在PU被帧间模式编码时，PU可包含界定PU的运动向量的数据。界定PU的运动向量的数据可描述例如运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。
一般来说，TU用于变换及量化过程。具有一或多个PU的给定CU还可包含一或多个变换单元(TU)。在预测之后，视频编码器20可计算对应于PU的残差值。残差值包括像素差值，所述像素差值可变换成变换系数、经量化且使用TU进行扫描以产生串行化变换系数以用于熵译码。本发明通常使用术语“视频块”来指CU的译码节点。在一些特定情况下，本发明还可使用术语“视频块”来指树块，即，包含译码节点以及PU及TU的LCU或CU。
一视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列一或多个视频图片。GOP可在GOP的标头、图片中的一或多者的标头或其它地方中包含语法数据，所述语法数据描述包含于GOP中的图片的数目。图片的每一切片可包含切片语法数据，所述切片语法数据描述相应切片的编码模式。视频编码器20通常对个别视频切片内的视频块进行操作以便编码视频数据。视频块可对应于CU内的译码单元。视频块可具有固定或变化的大小，且大小可根据指定的译码标准而不同。
作为一实例，HM支持按各种PU大小的预测。假定特定CU的大小为2N×2N，HM支持按2N×2N或N×N的PU大小的帧内预测，以及按2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持用于按2N×nU、2N×nD、nL×2N和nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中，CU的一个方向未被分割，而另一方向被分割为25％和75％。CU的对应于25％分区的部分由“n”继之以“向上”、“向下”、“左边”或“右边”的指示来指示。因此，例如，“2N×nU”指代被水平地分割成在顶部具有2N×0.5N PU且在底部具有2N×1.5N PU的2N×2N CU。
在本发明中，“N×N”与“N乘N”可以可互换地使用，以在垂直和水平尺寸方面指代视频块的像素尺寸，例如16×16像素或16乘16像素。一般来说，16×16块将具有在垂直方向上的16个像素(y＝16)和在水平方向上的16个像素(x＝16)。同样地，N×N块一般具有在垂直方向上的N个像素和在水平方向上的N个像素，其中N表示非负整数值。一块中的像素可布置在若干行和若干列中。此外，块无需一定在水平方向上具有与在垂直方向上相同数目的像素。举例来说，块可包括N×M个像素，其中M不一定等于N。
在使用CU的PU进行帧内预测译码或帧间预测译码之后，视频编码器20可计算用于CU的TU的残差数据。PU可包括空间域(还被称作像素域)中的像素数据，且TU可包括在变换域(例如，在对残差视频数据应用变换(例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)之后)中的系数。残差数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含CU的残差数据的TU，且随后变换TU以产生CU的变换系数。
在进行任何变换以产生变换系数之后，视频编码器20可执行变换系数的量化。量化一般指代将变换系数量化以可能地减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，在量化期间，可将n位值向下舍入到m位值，其中n大于m。
在一些实例中，视频编码器20可利用预先界定的扫描次序来扫描经量化变换系数以产生可经熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可(例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法)熵编码所述一维向量。视频编码器20还可对与经编码视频数据相关联的语法元素进行熵译码，以供视频解码器30在解码视频数据中使用。
为了执行CABAC，视频编码器20可将上下文模型内的上下文指派给待传输的符号。所述上下文可涉及(例如)符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可针对待传输的符号选择可变长度码。可将VLC中的码字建构成使得相对较短的代码对应于更有可能的符号，而较长的代码对应于较不可能的符号。以此方式，与(例如)针对待传输的每一符号使用相等长度的码字相比，使用VLC可实现位节省。概率确定可基于指派给符号的上下文。
视频编码器20可形成包含多个视频数据层的位流。例如，所述位流可包含根据视频译码标准的可缩放扩展(例如HEVC的可缩放扩展(SHVC))的基础层及一或多个增强层。另外或替代地，所述位流可包含多个视图，例如，基础视图及一或多个相依视图。举例来说，所述位流可符合HEVC的多视图扩展(MV-HEVC)或HEVC的三维扩展(3D-HEVC)。在本发明中，视图被视为一种类型的层。因此，对多层视频数据的参考包含多视图视频数据。
根据本发明的技术，视频编码器20可形成位流的数据，使得不同层具有IRAP图片的不同频率。例如，视频编码器20可提供用于回放时间的每两秒的基础层、用于回放时间的每五秒的第一增强层及用于回放时间的每十秒的第二增强层的IRAP图片。在此实例中，目的地装置14可开始随机存取以在两秒的回放间隔处检索至少基础层的数据。换句话说，在此实例中，目的地装置14可经历两秒的最大调入延迟。通常，用户找到至少一些视频数据(即使相对低的质量)比空白屏幕更合意。通过向位流提供不同层中的随机存取点的不同频率，视频编码器20可允许目的地装置14减小调入延迟，同时还减小跨越各种视频译码层的位流的位速率。
如上文所论述，存取单元包含将在特定输出时间处播放的所有图片的数据。举例来说，根据上文描述的实例，存取单元可包含基础层的图片、第一增强层的图片及第二增强层的图片。视频解码器30可使用增强层的图片提高基础层图片的质量。例如，增强层中的图片可包含用于提高空间分辨率、信噪比(SNR)质量、色度位深度、不同相机视角(例如，用于多视图视频数据)等中的一或多者的数据。
视频编码器20可使用帧内预测、层间预测及/或时间帧间预测来编码增强层中的图片。为了使使用时间帧间预测而预测的图片可解码，所述图片所依的参考图片必须可用(例如，先前经解码)。在一些情况下，此类参考图片是不可用的，例如，归因于传输错误。因此，视频解码器30可经配置以当尝试解码其一或多个参考图片不可用的图片时执行不存在图片过程。
本发明认识到，当以部分对准的IRAP存取单元开始执行随机存取时，部分对准的IRAP存取单元的非IRAP图片及/或包含存取单元的非IRAP图片的视频译码层的后续图片可能不可解码。因此，根据本发明的技术，视频编码器20可用信号通知指示以部分对准的IRAP存取单元开始的经译码视频序列的图片不可正确解码的数据。以此方式，视频解码器30可使用指示图片不可正确解码的用信号通知的数据来跳过对图片的解码(当以对应的部分对准的IRAP存取单元开始执行随机存取时)。因此，视频解码器30无需尝试解码图片且执行不存在图片过程，而是可跳过解码所述图片的任何尝试，且简单地解析所述图片的数据。替代地，视频解码器30可例如基于此用信号通知的数据而确定执行不存在图片过程。
以此方式，本发明的技术支持部分对准的IRAP存取单元，其可在用于随机存取的减少的调入延迟及用于增强层(其可包含相依视图)的减小的位速率方面提供益处。同样，本发明的技术还可提供用于视频解码器(例如视频解码器30)的益处，因为当从部分对准的IRAP存取单元执行随机存取时，视频解码器30可容易地跳过不可解码图片。
图2是说明可实施本发明中描述的技术的实例视频编码器20的框图。视频编码器20可经配置以将视频输出到后处理实体27。后处理实体27既定表示可处理来自视频编码器20的经编码视频数据的视频实体的实例，例如媒体感知网络元件(MANE)或拼接/编辑装置。在一些情况下，后处理实体可为网络实体的实例。在一些视频编码系统中，后处理实体27及视频编码器20可为单独装置的若干部分，而在其它情况下，关于后处理实体27所描述的功能性可由包括视频编码器20的相同装置执行。
视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或去除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可以指代若干基于时间的压缩模式中的任一者。
在图2的实例中，视频编码器20包含分割单元35、预测处理单元41、滤波器单元63、参考图片存储器64、求和器50、变换处理单元52、量化单元54，及熵编码单元56。预测处理单元41包含运动估计单元42、运动补偿单元44及帧内预测单元46。对于视频块重构，视频编码器20还包含反量化单元58、反变换单元60，和求和器62。滤波器单元63既定表示一或多个环路滤波器，例如解块滤波器、自适应环路滤波器(ALF)及样本自适应偏移(SAO)滤波器。虽然滤波器单元63在图2中展示为环路内滤波器，但在其它配置中，滤波器单元63可实施为环路后滤波器。
如图2中所展示，视频编码器20接收视频数据，且分割单元35将所述数据分割成视频块。此分割还可包含分割成切片、图像块或其它较大单元，以及例如根据LCU及CU的四叉树结构的视频块分割。视频编码器20一般说明编码待编码的视频切片内的视频块的组件。所述切片可划分成多个视频块(且可能划分成被称作瓦片的视频块集合)。预测处理单元41可针对当前视频块基于误差结果(例如，译码速率及失真水平)而选择多个可能的译码模式中的一者，例如多个帧内译码模式中的一者或多个帧间译码模式中的一者。预测处理单元41可将所得经帧内或帧间译码块提供到求和器50以产生残差块数据，且提供到求和器62以重构经编码块以用作参考图片。
预测处理单元41内的帧内预测单元46可相对于与待译码当前块在相同的帧或切片中的一或多个相邻块执行当前视频块的帧内预测译码，以提供空间压缩。预测处理单元41内的运动估计单元42及运动补偿单元44相对于一或多个参考图片中的一或多个预测块执行当前视频块的帧间预测译码以提供时间压缩。
运动估计单元42可经配置以根据用于视频序列的预定模式确定用于视频切片的帧间预测模式。预定模式可将序列中的视频切片指明为P切片、B切片或GPB切片。运动估计单元42与运动补偿单元44可高度集成，但出于概念目的分别加以说明。由运动估计单元42执行的运动估计是产生运动向量的过程，所述运动向量估计视频块的运动。举例来说，运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测块的移位。
预测块是被发现在像素差异方面紧密地匹配待译码的视频块的PU的块，其可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。在一些实例中，视频编码器20可计算存储于参考图片存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行相对于完整像素位置和分数像素位置的运动搜索，且以分数像素位置输出运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测块的位置来计算经帧间译码切片中的视频块的PU的运动向量。可从第一参考图片列表(列表0)或第二参考图片列表(列表1)来选择所述参考图片，所述列表中的每一者识别存储于参考图片存储器64中的一或多个参考图片。运动估计单元42将计算出的运动向量发送到熵编码单元56和运动补偿单元44。
由运动补偿单元44执行的运动补偿可以涉及基于通过运动估计(有可能执行对子像素精度的内插)确定的运动向量提取或产生预测块。在接收到当前视频块的PU的运动向量后，运动补偿单元44可即刻在参考图片列表中的一者中定位所述运动向量指向的预测块。视频编码器20通过从正被译码的当前视频块的像素值减去预测块的像素值从而形成像素差值来形成残差视频块。像素差值形成用于所述块的残差数据，并且可包含亮度及色度差分量两者。求和器50表示可执行此减法运算的组件。运动补偿单元44还可产生与视频块和视频切片相关联的供视频解码器30在对视频切片的视频块进行解码时使用的语法元素。
作为由运动估计单元42及运动补偿单元44执行的帧间预测(如上文所描述)的替代方案，帧内预测单元46可帧内预测当前块。确切地说，帧内预测单元46可以确定用来对当前块进行编码的帧内预测模式。在一些实例中，帧内预测单元46可使用各种帧内预测模式编码当前块(例如，在单独的编码回合期间)，且帧内预测单元46(或在一些实例中，模式选择单元40)可从所测试的模式选择要使用的适当的帧内预测模式。举例来说，帧内预测单元46可使用速率-失真分析计算用于各种所测试的帧内预测模式的速率-失真值，且从所述所测试的模式当中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析大体上确定经编码块与经编码以产生所述经编码块的原始未编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(即，位数目)。帧内预测单元46可根据用于各种经编码块的失真和速率计算比率，以确定哪个帧内预测模式对于所述块展现最佳速率失真值。
在任何情况下，在选择了用于一块的帧内预测模式之后，帧内预测单元46可以将指示用于所述块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可以根据本发明的技术对指示所述选定帧内预测模式的信息进行编码。视频编码器20可在所传输的位流中包含配置数据，所述配置数据可包含多个帧内预测模式索引表及多个修改的帧内预测模式索引表(还被称作码字映射表)，编码用于各种块的上下文的界定，及用于所述上下文中的每一者的最可能的帧内预测模式、帧内预测模式索引表及修改的帧内预测模式索引表的指示。
视频编码器20可确定编码基础视频译码层(例如，基础视图)的帧内随机存取图片(IRAP)。因此，预测处理单元41可经配置以致使帧内预测单元46使用帧内预测来预测IRAP图片的块。所述IRAP图片可(例如)为IDR图片、CRA图片或BLA图片。视频编码器20可进一步确定将包含基础层的IRAP图片的存取单元的增强层(例如，非基础视图)的图片编码为非IRAP图片。因此，预测处理单元41可确定是否使用帧间预测(例如，时间帧间预测及/或层间预测)使用运动估计单元42及运动补偿单元44及/或使用由帧内预测单元46执行的帧内预测来预测非IRAP图片的块。
当视频编码器20确定将存取单元的图片编码为非IRAP图片时，其中所述存取单元还包含至少一个IRAP图片，视频编码器20可进一步编码指示当以所述存取单元开始执行随机存取时被译码为所述非IRAP图片的图片不可正确解码的语法元素的值。在此情况下，所述存取单元表示部分对准的IRAP存取单元。例如，视频编码器20可指派囊封非IRAP图片的切片的网络抽象层(NAL)单元的特定值，例如24或25的值，如上表7-1的实例中所展示。另外或替代地，视频编码器20可编码指示当以部分对准的IRAP存取单元开始随机存取时存取单元的非IRAP图片不可正确解码的旗标的值。此外，另外或替代地，视频编码器20可编码相同经译码视频序列中的其它存取单元的其它图片的数据，其指示当以部分对准的IRAP存取单元开始执行随机存取时这些图片是否可解码。
在预测处理单元41经由帧间预测或帧内预测产生当前视频块的预测块之后，视频编码器20通过从当前视频块减去预测块而形成残差视频块。残差块中的残差视频数据可包含在一或多个TU中且应用到变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上类似的变换等变换将残差视频数据变换成残差变换系数。变换处理单元52可将残差视频数据从像素域转换到变换域，例如频域。
变换处理单元52可将所得变换系数发送到量化单元54。量化单元54可量化所述变换系数以进一步减小位速率。量化过程可减少与变换系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可以接着执行对包含经量化的变换系数的矩阵的扫描。替代地，熵编码单元56可以执行所述扫描。
在量化之后，熵编码单元56对经量化变换系数进行熵编码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在熵编码单元56进行的熵编码之后，可将经编码位流传输到视频解码器30，或将经编码位流存档以供稍后传输或由视频解码器30检索。熵编码单元56还可对正被编码的当前视频切片的运动向量和其它语法元素进行熵编码。
反量化单元58和反变换单元60分别应用反量化和反变换以在像素域中重构残差块，例如以供稍后用作参考图片的参考块。运动补偿单元44可以通过将残差块加到参考图片列表中的一者内的参考图片中的一者的预测块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于所重构的残差块以计算子整数像素值用于运动估计。求和器62将经重构的残差块添加到由运动补偿单元44产生的运动补偿预测块以产生参考块用于存储在参考图片存储器64中。参考块可由运动估计单元42和运动补偿单元44使用作为参考块以对后续视频帧或图片中的块进行帧间预测。
以此方式，视频编码器20表示视频编码器的实例，其经配置以：编码视频数据的部分对准的IRAP存取单元的帧内随机存取点(IRAP)图片；及编码指示在从所述部分对准的IRAP存取单元执行随机存取时视频译码层的不可正确解码的至少一个图片的数据。
图3是说明可实施本发明的技术的实例视频解码器30的框图。在图3的实例中，视频解码器30包含熵解码单元80、预测处理单元81、反量化单元86、反变换单元88、求和器90、滤波器单元91，及参考图片存储器92。预测处理单元81包含运动补偿单元82及帧内预测单元84。在一些实例中，视频解码器30可执行通常与相对于来自图2的视频编码器20描述的编码遍次互逆的解码遍次。
在解码过程期间，视频解码器30从视频编码器20接收表示经解码视频切片的视频块及相关联的语法元素的经编码视频位流的数据。视频解码器30可从网络实体29接收经编码视频位流。网络实体29可例如为服务器、MANE、视频编辑器/拼接器，或经配置以实施上文所描述的技术中的一或多者的其它此类装置。网络实体29可包含或可不包含视频编码器，例如视频编码器20。在网络29将经编码视频位流传输到视频解码器30之前，本发明中描述的技术中的一些可由网络实体29实施。在一些视频解码系统中，网络实体29及视频解码器30可为单独装置的部分，而在其它情况下，关于网络实体29描述的功能性可由包括视频解码器30的相同装置执行。
根据本发明的技术，视频解码器30可接收指示当从包含图片的经译码视频序列的部分对准的IRAP存取单元执行随机存取时所述图片的数据是否可解码的语法数据(例如，旗标或NAL单元值)。视频解码器30可进一步确定是否从对应的部分对准的IRAP存取单元执行随机存取。当视频解码器30确定从部分对准的IRAP存取单元执行随机存取时，视频解码器30可跳过对指示为不可解码的图片的解码。当所述部分对准的IRAP存取单元是待解码的位流的序数第一存取单元时，及/或当用于部分对准的IRAP存取单元的非IRAP图片的一或多个参考图片不存在于(例如)参考图片存储器92的经解码图片缓冲器中时，视频解码器30可确定从所述部分对准的IRAP存取单元执行随机存取。
在一些实例中，视频解码器30可基于囊封图片的切片的NAL单元的NAL单元类型而确定所述图片是否可解码。如上文相对于表7-1所论述，NAL单元类型值24或25可指示图片是可抛弃的增强层图片(例如，ELDISC图片)，其当从包含所述图片的经译码视频序列的部分对准的IRAP存取单元执行随机存取时不可正确解码。
视频解码器30可简单地解析指示为不可解码的图片的数据，而非尝试解码此类图片的数据。当跳过对此图片的解码时，视频解码器30可避免将所述图片的块的PU及/或TU的语法元素(例如，帧内预测语法、帧间预测语法元素、变换系数语法元素及类似者)传递到预测处理单元81、反量化单元86及反变换单元88。替代地，视频解码器30可简单地解析及抛弃所述数据，直到到达可被解码的图片为止。
可适用的视频译码标准或扩展(例如SHVC、MV-HEVC或3D-HEVC)可指定以部分对准的IRAP存取单元开始的位流是相符位流。因此，视频解码器30可经配置以根据所述标准或所述标准的扩展而解析此位流。例如，视频解码器30可根据无上下文文法或对应于可适用的视频译码标准或扩展的其它此类文法而解析所述位流。
视频解码器30可经配置以执行用于用信号通知为当从部分对准的IRAP存取单元执行随机存取时不可正确解码的图片的不存在图片过程，而非跳过对这些图片的解码。例如，视频解码器30可识别IRAP存取单元中的不可正确解码的第一组图片(例如，基于用信号通知的数据)。对于所述第一组图片中的每一图片，基于用于所述图片的参考图片集合，视频解码器30可产生相应的第二组不可用的参考图片。即，因为未接收到部分对准的IRAP存取单元的图片所依的参考图片，所以所述图片可能不可正确解码。因此，视频解码器30可根据不存在图片过程而产生参考图片。视频解码器30可进一步将所述第二组图片(即，所产生的参考图片)中的多个图片标记为短期的或长期参考图片，如相应的参考图片集中所指示。视频解码器30可随后使用所产生的参考图片来解码第一组图片中的每一图片。应理解，对这些图片的此解码可能不准确地重现所述图片。
视频解码器30的熵解码单元80对位流进行熵解码以产生经量化系数、运动向量和其它语法元素。熵解码单元80将运动向量及其它语法元素转发到预测处理单元81。视频解码器30可接收视频切片层级和/或视频块层级处的语法元素。
当视频切片经译码为经帧内译码(I)切片时，预测处理单元81的帧内预测单元84可基于用信号发送的帧内预测模式及来自当前帧或图片的先前经解码块的数据而产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即，B、P或GPB)切片时，预测处理单元81的运动补偿单元82基于从熵解码单元80接收到的运动向量和其它语法元素产生用于当前视频切片的视频块的预测块。可以从参考图片列表中的一者内的参考图片中的一者产生预测块。视频解码器30可基于存储在参考图片存储器92中的参考图片使用默认建构技术建构参考帧列表：列表0及列表1。
运动补偿单元82通过剖析运动向量和其它语法元素确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于经解码当前视频块的预测块。举例来说，运动补偿单元82使用所接收语法元素中的一些语法元素确定用于译码视频切片的视频块的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的构造信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态，及用以解码当前视频切片中的视频块的其它信息。
运动补偿单元82还可基于内插滤波器执行内插。运动补偿单元82可使用由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元82可从所接收的语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测块。
反量化单元86将在位流中提供且由熵解码单元80解码的经量化的变换系数反量化(即，解量化)。反量化过程可包含使用由视频编码器20针对视频切片中的每一视频块计算的量化参数以确定应应用的量化程度及同样确定应应用的反量化程度。反变换单元88将反变换应用于变换系数(例如，反DCT、反整数变换或概念上类似的反变换过程)，以便产生像素域中的残差块。
在运动补偿单元82基于运动向量和其它语法元素产生了当前视频块的预测块之后，视频解码器30通过将来自反变换单元88的残差块与运动补偿单元82产生的对应预测块求和来形成经解码视频块。求和器90表示执行此加总运算的一或多个组件。在需要时，还可使用环路滤波器(在译码环路中或在译码环路之后)来使像素转变平滑或者以其它方式改善视频质量。滤波器单元91既定表示一或多个环路滤波器，例如解块滤波器、自适应环路滤波器(ALF)及样本自适应偏移(SAO)滤波器。尽管在图3中将滤波器单元91展示为环路内滤波器，但在其它配置中，可将滤波器单元91实施为环路后滤波器。接着将给定帧或图片中的经解码视频块存储在参考图片存储器92中，参考图片存储器92存储用于后续运动补偿的参考图片。参考图片存储器92还存储经解码视频以用于稍后呈现在显示装置(例如，图1的显示装置32)上。
以此方式，视频解码器30表示视频解码器的实例，其经配置以：解码视频数据的部分对准的IRAP存取单元的帧内随机存取点(IRAP)图片；及解码指示在从所述部分对准的IRAP存取单元执行随机存取时视频译码层的不可正确解码的至少一个图片的数据。
图4是说明形成网络100的部分的一组实例装置的框图。在此实例中，网络100包含路由装置104A、104B(路由装置104)和转码装置106。路由装置104及转码装置106既定表示可形成网络100的部分的少数装置。例如交换器、集线器、网关、防火墙、桥接器及其它此些装置的其它网络装置也可包含在网络100内。另外，可沿着服务器装置102与客户端装置108之间的网络路径提供额外的网络装置。在一些实例中，服务器装置102可对应于源装置12(图1)，而客户端装置108可对应于目的地装置14(图1)。
一般来说，路由装置104实施一或多个路由协议以经由网络100交换网络数据。在一些实例中，路由装置104可经配置以执行代理或高速缓冲存储器操作。因此，在一些实例中，路由装置104可被称为代理装置。一般来说，路由装置104执行路由协议以经由网络100发现路线。通过执行此些路由协议，路由装置104B可经由路由装置104A发现从自身到服务器装置102的网络路线。
可通过例如路由装置104和转码装置106等网络装置实施本发明的技术，并且可通过客户端装置108实施本发明的技术。以此方式，路由装置104、转码装置106和客户端装置108表示经配置以执行本发明的技术的装置的实例。此外，图1的装置以及图2中所说明的编码器20和图3中所说明的解码器30也为可经配置以执行本发明的技术的示范性装置。
举例来说，服务器装置102可包含用以编码在随机存取点或流调适点(例如时间层切换点或其它流调适点)之后的一或多个图片。举例来说，此点可为用于调适位速率、帧速率(即，时间层切换点)或空间分辨率的切换点。类似地，客户端装置108可解码在随机存取点或流调适点(例如，时间层切换点)之后的一或多个图片。
转码装置106可经配置以执行位流拼接。即，转码装置106可接收用于两个不同位流的数据，且例如在随机存取点处将来自位流中的一者的数据与另一位流的数据接合。如下文所论述的图6说明经拼接位流的实例。所述两个位流在其处拼接在一起的点可包括部分对准的IRAP存取单元。
此外，本发明的技术可适用于此经拼接位流。即，服务器装置102、转码装置106或另一装置可用信号通知指示当在部分对准的IRAP存取单元处发生随机存取时不可正确解码的图片的数据。由于所述拼接，在拼接点之后的位流的数据可视为被随机存取。
在一些实例中，转码装置106可从经拼接位流移除不可解码图片。在其它实例中，客户端装置108(即，客户端装置108的视频解码器)可解析(不解码)在被指示为当在部分对准的IRAP存取单元处开始发生随机存取时不可解码的所述部分对准的IRAP存取单元(其充当拼接点)之后的图片。虽然经拼接位流将包含在拼接点之前的数据，但出于本发明的技术的目的，充当所述拼接点的部分对准的IRAP存取单元可被视为被随机存取。
图5为说明存取单元的各种实例的概念图。在图5的实例中，对准的IRAP存取单元被视为仅包含IRAP图片的IRAP存取单元。在此实例中，部分对准的IRAP存取单元被视为包含直到特定层的IRAP图片，及在所述层之后(在层解码次序上)的非IRAP存取单元。在此实例中，其它存取单元(例如，其中在包含IRAP图片的层下方的层中存在非IRAP图片的存取单元)未被视为IRAP存取单元。
图6是说明位流拼接的概念图。在此实例中，经拼接位流包含通过拼接点112分离的来自第一位流110的图片及来自第二位流114的图片。在此经拼接位流内，在拼接点112之后，来自第二位流114的图片开始于部分对准的IRAP存取单元116。在此实例中，部分对准的IRAP存取单元116包含三个IRAP图片及两个非IRAP图片。所述两个非IRAP图片被视为可抛弃的增强层图片，因为它们不可正确解码。因此，视频编码器(例如，视频编码器20)可编码指示当以部分对准的IRAP存取单元116开始执行随机存取时这些图片不可正确解码的数据。同样，应理解，虽然视频解码器可接收第一位流110的图片，但第二位流114的图片被视为被随机存取，因为第一位流110的图片不包含用于第二位流114的图片的参考图片。
在图6的实例中，不可解码图片(例如，可抛弃的增强层图片)以灰色加阴影。因此，含有在解码次序上在存取单元116之后且在解码次序上在含有图片的层中的下一IRAP图片之前的部分对准的IRAP存取单元116的非IRAP图片的视频译码层中的所述图片中的每一者(图6中加灰色阴影)当在部分对准的IRAP存取单元处开始执行随机存取时不可正确解码。根据本发明的技术，视频译码器(例如，视频编码器20或视频解码器30)可译码(编码或解码)指示当以部分对准的IRAP存取单元116开始执行随机存取时这些图片不可正确解码的数据。
图6进一步说明包含部分对准的IRAP存取单元116的非IRAP图片的视频译码层中的IRAP图片118及IRAP图片120。因此，相应视频译码层中的IRAP图片118、120及在IRAP图片118、120之后的图片的数据可指示这些图片是可解码的。
图7是说明根据本发明的技术的用于编码视频数据的实例方法的流程图。相对于视频编码器20描述图7的实例。然而，应理解，其它视频编码装置可经配置以执行图7的方法或类似方法。
在此实例中，视频编码器20编码部分对准(P.A.)的IRAP存取单元的IRAP图片(150)。所述IRAP图片可对应于基础层IRAP图片。虽然图7中未展示，但视频编码器20还可编码包含所述IRAP图片的层(例如基础层)的所有其它图片(或下层图片)。视频编码器20可随后编码相同的部分对准的IRAP存取单元的非IRAP图片(152)。所述非IRAP图片可对应于增强层(例如，在包含IRAP图片的层上方的层)的图片。
视频编码器20可确定包含部分对准的存取单元的位流的不可解码图片(154)。此类不可解码图片可在相同的经译码视频序列内包含部分对准的IRAP存取单元的非IRAP图片及与包含非IRAP图片的视频译码层相同的视频译码层的后续图片(以译码次序)。视频编码器20可随后编码用信号通知当从部分对准的IRAP存取单元开始执行随机存取时这些图片是不可解码图片的数据(156)。例如，视频编码器20可编码囊封所述图片的切片的NAL单元的NAL单元类型的值，其指示当从部分对准的IRAP存取单元开始执行随机存取时这些图片是不可正确解码的。
以此方式，图7的方法表示一种方法的实例，其包含：编码部分对准的IRAP存取单元的帧内随机存取点(IRAP)图片；及编码指示在从部分对准的帧内随机存取点(IRAP)存取单元执行随机存取时视频译码层的不可正确解码的至少一个图片的数据。
图8是说明根据本发明的技术的用于解码视频数据的实例方法的流程图。在此实例中，图8的方法被描述为由视频解码器30执行。然而，应理解，其它视频解码装置也可执行此方法或类似方法。
起初，视频解码器30可确定已经以部分对准(P.A.)的IRAP存取单元开始执行随机存取(160)。例如，视频解码器30可确定参考图片包含在用于部分对准的IRAP存取单元中的一或多个非IRAP图片的参考图片列表中，且确定这些图片是否存在于经解码图片缓冲器中。部分对准的IRAP存取单元的非IRAP图片的序列参数集(SPS)、图片参数集(PPS)或切片片段标头可指示这些参考图片。如果参考图片不存在于经解码图片缓冲器中，那么视频解码器30可确定已经以部分对准的IRAP存取单元开始执行随机存取。替代地，在视频解码器30外部的装置、单元或模块可指示已经以部分对准的IRAP存取单元开始执行随机存取。
在任何情况下，视频解码器30可随后解码部分对准的IRAP存取单元的IRAP图片(162)。视频解码器30可随后确定部分对准的IRAP存取单元中及之后的被用信号通知为当以部分对准的IRAP存取单元开始执行随机存取时不可解码的图片(164)。例如，视频解码器30可基于囊封图片的切片的NAL单元的NAL单元类型而确定图片不可正确解码。基于此数据，视频解码器30可解码可解码的图片(166)且跳过对不可解码图片的解码(168)。
以此方式，图8的方法表示一种方法的实例，其包含：解码指示当从部分对准的帧内随机存取点(IRAP)存取单元执行随机存取时视频译码层的不可正确解码的至少一个图片的数据；解码所述IRAP存取单元的IRAP图片；及基于所述数据，跳过对所述数据指示不可正确解码的图片的解码。
图8的方法表示一个实例方法。在另一实例中，一种方法可包含：解码指示当从部分对准的帧内随机存取点(IRAP)存取单元执行随机存取时视频译码层的不可正确解码的至少一个图片；解码所述IRAP存取单元的IRAP图片；基于指示不可正确解码的至少一个图片的数据，识别所述IRAP存取单元中的不可正确解码的第一组图片；针对所述第一组图片中的每一图片，基于用于所述图片的参考图片集合而产生相应的第二组不可用参考图片；如相应的参考图片集中所指示将所述第二组图片中的多个图片标记为短期或长期参考图片；及解码所述第一组图片中的每一图片。
在一或多个实例中，所描述功能可在硬件、软件、固件或其任何组合中实施。如果以软件实施，那么所述功能可以作为一或多个指令或代码存储在计算机可读媒体上或在计算机可读媒体上进行传输，并且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体等有形媒体，或包含促进(例如，根据通信协议)将计算机程序从一处传送到另一处的任何媒体的通信媒体。以此方式，计算机可读媒体通常可一般对应于(1)有形计算机可读存储媒体，其是非暂时性的，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
举例来说且并非限制，所述计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，快闪存储器，或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它瞬时媒体，而是针对于非瞬时的有形存储媒体。如本文中所使用，磁盘及光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地复制数据，而光盘使用激光光学地复制数据。以上各者的组合也应包含在计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行所述指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于经配置以用于编码及解码的专用硬件模块和/或软件模块内，或并入组合式编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或IC组(例如，芯片组)。本发明中描述各种组件、模块或单元来强调经配置以执行所揭示的技术的装置的若干功能性方面，但不一定需要通过不同的硬件单元来实现。而是，如上文所描述，各种单元可联合合适的软件和/或固件而组合于编解码器硬件单元中或通过互操作的硬件单元的集合(包含如上文所描述的一或多个处理器)来提供。
已描述了各种实例。这些及其它实例属于所附权利要求书的范围内。

Claims (41)

1.一种解码视频数据的方法，所述方法包括：
解码指示当从部分对准的帧内随机存取点IRAP存取单元执行随机存取时视频译码层的不可正确解码的至少一个图片的数据；
解码所述IRAP存取单元的IRAP图片；及
基于指示不可正确解码的所述至少一个图片的所述数据且基于所述IRAP图片而解码视频数据，其中解码所述视频数据包括，基于指示不可正确解码的所述至少一个图片的所述数据：
识别所述IRAP存取单元中的所述数据指示不可正确解码的第一组一或多个图片；
针对所述第一组图片中的每一图片，基于用于所述第一组图片中的所述图片的参考图片集而产生相应的第二组不可用参考图片；
如所述相应的参考图片集中所指示将所述第二组图片中的多个图片标记为短期或长期参考图片；及
解码所述第一组图片中的每一图片。
2.根据权利要求1所述的方法，其中解码所述视频数据包括跳过对所述数据指示不可正确解码的与所述第一组图片分开的图片的解码。
3.根据权利要求1所述的方法，其中解码所述数据包括：
解码包含所述图片的数据的NAL单元的网络抽象层NAL单元类型值；及
确定所述NAL单元类型值指示所述NAL单元包含当从所述部分对准的IRAP存取单元执行随机存取时不可正确解码的数据。
4.根据权利要求3所述的方法，其中所述NAL单元类型值包括为24或25的值。
5.根据权利要求1所述的方法，其中所述数据指示所述图片是当解码从所述部分对准的IRAP存取单元开始时不一定可正确解码的增强层图片。
6.根据权利要求1所述的方法，其中所述视频译码层包括增强层，且其中所述IRAP图片处于基础层中。
7.根据权利要求1所述的方法，其中从所述部分对准的IRAP存取单元执行随机存取包括在所述部分对准的IRAP存取单元处开始对包含所述部分对准的IRAP存取单元的位流的解码。
8.根据权利要求1所述的方法，其中所述部分对准的IRAP存取单元包含在包含不可正确解码的所述图片的所述视频译码层中的非IRAP图片及不同视频译码层中的所述IRAP图片。
9.根据权利要求8所述的方法，其中所述IRAP图片包括即时解码刷新IDR图片、清洁随机存取CRA图片或断链存取BLA图片中的一者。
10.根据权利要求8所述的方法，其中所述数据指示不可正确解码的所述图片包括所述部分对准的IRAP存取单元的所述非IRAP图片。
11.根据权利要求1所述的方法，其进一步包括跳过对所述部分对准的存取单元的非IRAP图片的解码，其中所述非IRAP图片与所述第一组图片分开，且其中所述非IRAP图片处于包含所述数据指示不可正确解码的所述图片的所述视频译码层中。
12.根据权利要求1所述的方法，其进一步包括跳过对包含不可正确解码的所述图片的所述视频译码层中的除了所述第一组图片中的所述图片之外的所有图片的解码，直到已经接收包含所述视频译码层的IRAP图片的存取单元为止。
13.根据权利要求1所述的方法，其进一步包括解码包含所述视频译码层的当从所述部分对准的IRAP存取单元执行随机存取时不可正确解码的一或多个层分量的一或多个指示的数据。
14.根据权利要求1所述的方法，其进一步包括解码指示当从所述IRAP存取单元执行拼接时对应的层分量是否可解码的非基础层的一或多个层分量的数据。
15.根据权利要求2所述的方法，其中跳过对所述图片的解码包括解析与所述第一组图片分开的图片的数据而不解码所述图片的所述经解析数据。
16.根据权利要求15所述的方法，其中解析包括基于用于相符位流的可适用的视频译码标准的要求而解析所述图片的所述数据。
17.一种用于解码视频数据的装置，所述装置包括：
存储器，其存储视频数据；及
视频解码器，其经配置以：解码所述视频数据的部分对准的IRAP存取单元的帧内随机存取点IRAP图片；解码指示当从所述部分对准的IRAP存取单元执行随机存取时视频译码层的不可正确解码的至少一个图片的数据；识别所述IRAP存取单元中的不可正确解码的第一组一或多个图片；针对所述第一组图片中的每一图片，基于用于所述图片的参考图片集而产生相应的第二组不可用参考图片；如所述相应的参考图片集中所指示将所述第二组图片中的多个图片标记为短期或长期参考图片；及解码所述第一组图片中的每一图片。
18.根据权利要求17所述的装置，其中所述视频解码器经配置以当从所述部分对准的IRAP存取单元开始执行随机存取时基于所述数据而跳过对与所述第一组图片分开的图片的解码。
19.根据权利要求18所述的装置，其中所述视频解码器经配置以跳过对所述部分对准的存取单元的与所述第一组图片分开的非IRAP图片的解码，其中所述非IRAP图片处于包含所述数据指示不可正确解码的所述图片的所述视频译码层中。
20.根据权利要求18所述的装置，其中所述视频解码器经配置以跳过对包含不可正确解码的所述图片的所述视频译码层中的除所述第一组图片的所述图片之外的所有图片的解码，直到已经接收包含所述视频译码层的IRAP图片的存取单元为止。
21.根据权利要求18所述的装置，其中为了跳过对所述图片的解码，所述视频解码器经配置以解析所述图片的数据而不解码所述图片的所述经解析数据。
22.根据权利要求17所述的装置，其中所述数据指示所述图片包括当解码从所述部分对准的IRAP存取单元开始时不一定可正确解码的增强层图片。
23.根据权利要求17所述的装置，其中所述部分对准的IRAP存取单元包含在包含不可正确解码的所述图片的所述视频译码层中的非IRAP图片及不同视频译码层中的所述IRAP图片。
24.根据权利要求23所述的装置，其中所述数据指示不可正确解码的所述图片包括所述部分对准的IRAP存取单元的所述非IRAP图片。
25.根据权利要求17所述的装置，其中所述装置包括以下各者中的至少一者：
集成电路；
微处理器；及
无线通信装置。
26.一种用于解码视频数据的装置，所述装置包括：
用于解码所述视频数据的部分对准的IRAP存取单元的帧内随机存取点IRAP图片的装置；
用于解码指示当从所述部分对准的IRAP存取单元执行随机存取时视频译码层的不可正确解码的至少一个图片的数据的装置；
用于识别所述IRAP存取单元中的不可正确解码的第一组一或多个图片的装置；
用于针对所述第一组图片中的每一图片基于用于所述图片的参考图片集而产生相应的第二组不可用参考图片的装置；
用于如所述相应的参考图片集中所指示将所述第二组图片中的多个图片标记为短期或长期参考图片的装置；及
用于解码所述第一组图片中的每一图片的装置。
27.根据权利要求26所述的装置，其中所述用于解码所述IRAP图片的装置包括用于解码所述IRAP图片的装置，其进一步包括用于当从所述部分对准的IRAP存取单元开始执行随机存取时基于所述数据而跳过对与所述第一组图片分开的图片的解码的装置。
28.根据权利要求27所述的装置，其进一步包括用于跳过对所述部分对准的存取单元的与所述第一组图片分开的非IRAP图片的解码的装置，其中所述非IRAP图片处于包含所述数据指示不可正确解码的所述图片的所述视频译码层中。
29.根据权利要求27所述的装置，其进一步包括用于以下操作的装置：跳过对包含不可正确解码的所述图片的所述视频译码层中的除所述第一组图片的所述图片之外的所有图片的解码，直到已经接收包含所述视频译码层的IRAP图片的存取单元为止。
30.根据权利要求27所述的装置，其中所述用于跳过的装置包括用于解析所述图片的数据而不解码所述图片的所述经解析数据的装置。
31.根据权利要求26所述的装置，其中所述数据指示所述图片包括当解码从所述部分对准的IRAP存取单元开始时不一定可正确解码的增强层图片。
32.根据权利要求26所述的装置，其中所述部分对准的IRAP存取单元包含在包含不可正确解码的所述图片的所述视频译码层中的非IRAP图片及不同视频译码层中的所述IRAP图片。
33.根据权利要求32所述的装置，其中所述数据指示不可正确解码的所述图片包括所述部分对准的IRAP存取单元的所述非IRAP图片。
34.一种其上存储有指令的计算机可读存储媒体，所述指令在被执行时致使用于译码视频数据的装置的处理器：
解码所述视频数据的部分对准的IRAP存取单元的帧内随机存取点IRAP图片；
解码指示当从所述部分对准的IRAP存取单元执行随机存取时视频译码层的不可正确解码的至少一个图片的数据；
识别所述IRAP存取单元中的不可正确解码的第一组一或多个图片；
针对所述第一组图片中的每一图片，基于用于所述图片的参考图片集而产生相应的第二组不可用参考图片；
如所述相应的参考图片集中所指示将所述第二组图片中的多个图片标记为短期或长期参考图片；及
解码所述第一组图片中的每一图片。
35.根据权利要求34所述的计算机可读存储媒体，其中所述致使所述处理器解码所述IRAP图片的指令包括致使所述处理器解码所述IRAP图片的指令，其进一步包括致使所述处理器当从所述部分对准的IRAP存取单元开始执行随机存取时基于所述数据而跳过对与所述第一组图片分开的图片的解码的指令。
36.根据权利要求35所述的计算机可读存储媒体，其进一步包括致使所述处理器跳过对所述部分对准的存取单元的与所述第一组图片分开的非IRAP图片的解码的指令，其中所述非IRAP图片处于包含所述数据指示不可正确解码的所述图片的所述视频译码层中。
37.根据权利要求35所述的计算机可读存储媒体，其进一步包括致使所述处理器进行以下操作的指令：跳过对包含不可正确解码的所述图片的所述视频译码层中的除所述第一组图片的图片之外的所有图片的解码，直到已经接收包含所述视频译码层的IRAP图片的存取单元为止。
38.根据权利要求35所述的计算机可读存储媒体，其中所述致使所述处理器跳过对所述图片的解码的指令包括致使所述处理器解析所述图片的数据而不解码所述图片的所述经解析数据的指令。
39.根据权利要求34所述的计算机可读存储媒体，其中所述数据指示所述图片包括当解码从所述部分对准的IRAP存取单元开始时不一定可正确解码的增强层图片。
40.根据权利要求34所述的计算机可读存储媒体，其中所述部分对准的IRAP存取单元包含在包含不可正确解码的所述图片的所述视频译码层中的非IRAP图片及不同视频译码层中的所述IRAP图片。
41.根据权利要求40所述的计算机可读存储媒体，其中所述数据指示不可正确解码的所述图片包括所述部分对准的IRAP存取单元的所述非IRAP图片。
CN201480017466.0A 2013-04-05 2014-04-04 Irap存取单元与位流切换及拼接 Active CN105052156B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361809063P 2013-04-05 2013-04-05
US61/809,063 2013-04-05
US201361812225P 2013-04-15 2013-04-15
US61/812,225 2013-04-15
US14/244,743 2014-04-03
US14/244,743 US9596486B2 (en) 2013-04-05 2014-04-03 IRAP access units and bitstream switching and splicing
PCT/US2014/032926 WO2014165730A1 (en) 2013-04-05 2014-04-04 Irap access units and bitstream switching and splicing

Publications (2)

Publication Number Publication Date
CN105052156A CN105052156A (zh) 2015-11-11
CN105052156B true CN105052156B (zh) 2018-04-03

Family

ID=51654456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480017466.0A Active CN105052156B (zh) 2013-04-05 2014-04-04 Irap存取单元与位流切换及拼接

Country Status (8)

Country Link
US (1) US9596486B2 (zh)
EP (1) EP2982129B1 (zh)
JP (1) JP6239732B2 (zh)
KR (1) KR102084822B1 (zh)
CN (1) CN105052156B (zh)
ES (1) ES2748561T3 (zh)
HU (1) HUE044639T2 (zh)
WO (1) WO2014165730A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6050488B2 (ja) * 2012-07-06 2016-12-21 サムスン エレクトロニクス カンパニー リミテッド ランダムアクセスのためのマルチレイヤビデオ符号化方法及びその装置、並びにランダムアクセスのためのマルチレイヤビデオ復号化方法及びその装置
US9674533B2 (en) 2013-04-05 2017-06-06 Qualcomm Incorporated Picture alignments in multi-layer video coding
US10003815B2 (en) * 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
EP3058734B1 (en) 2013-10-15 2020-06-24 Nokia Technologies Oy Buffering parameters in scalable video coding and decoding
KR102266902B1 (ko) * 2014-01-13 2021-06-18 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
EP3206401A4 (en) * 2014-10-08 2018-06-06 LG Electronics Inc. Method and device for processing camera parameter in 3d video coding
US20160119619A1 (en) * 2014-10-27 2016-04-28 Ati Technologies Ulc Method and apparatus for encoding instantaneous decoder refresh units
MX2017008774A (es) 2014-12-31 2018-02-13 Nokia Technologies Oy Prediccion inter-capa para codificacion y decodificacion de video escalable.
US9973562B2 (en) 2015-04-17 2018-05-15 Microsoft Technology Licensing, Llc Split processing of encoded video in streaming segments
CN106303673B (zh) * 2015-06-04 2021-01-22 中兴通讯股份有限公司 码流对齐、同步处理方法及发送、接收终端和通信系统
US10306253B2 (en) 2015-10-14 2019-05-28 Qualcomm Incorporated Signaling of parameter sets in files of multi-layer bitstreams
US11184624B2 (en) * 2016-05-19 2021-11-23 Qualcomm Incorporated Regional random access in pictures
US10623755B2 (en) * 2016-05-23 2020-04-14 Qualcomm Incorporated End of sequence and end of bitstream NAL units in separate file tracks
US10554711B2 (en) * 2016-09-29 2020-02-04 Cisco Technology, Inc. Packet placement for scalable video coding schemes
CN107734387B (zh) * 2017-10-25 2020-11-24 北京网博视界科技股份有限公司 一种视频切割方法、装置、终端和存储介质
CN109963176B (zh) * 2017-12-26 2021-12-07 中兴通讯股份有限公司 视频码流处理方法、装置、网络设备和可读存储介质
US11539957B2 (en) * 2019-06-20 2022-12-27 Tencent America LLC Layered random access with reference picture resampling
EP3977727A4 (en) * 2019-07-03 2022-08-10 Huawei Technologies Co., Ltd. REFERENCE IMAGE TYPES IN REFERENCE IMAGE LISTS
CA3146555A1 (en) * 2019-07-08 2021-01-14 Huawei Technologies Co., Ltd. Mixed nal unit picture constraints in video coding
KR20220053014A (ko) 2019-09-03 2022-04-28 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 스트림 병합을 위한 설정 가능한 nal 및 슬라이스 코드 포인트 메커니즘
US11228777B2 (en) * 2019-12-30 2022-01-18 Tencent America LLC Method for layerwise random access in a coded video stream
WO2021137592A1 (ko) * 2020-01-02 2021-07-08 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
WO2021188451A1 (en) 2020-03-16 2021-09-23 Bytedance Inc. Random access point access unit in scalable video coding
WO2021246841A1 (ko) * 2020-06-06 2021-12-09 엘지전자 주식회사 레이어 정보 시그널링 기반 영상 코딩 장치 및 방법
KR20230019261A (ko) * 2020-06-10 2023-02-07 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 다중-계층 비디오 비트스트림 및 출력 타이밍 유도을 위한 기타 시그널링 개념
US11962936B2 (en) 2020-09-29 2024-04-16 Lemon Inc. Syntax for dependent random access point indication in video bitstreams

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319340A (ja) * 2002-04-26 2003-11-07 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
CN102106156A (zh) * 2008-07-26 2011-06-22 汤姆逊许可证公司 使用可分级视频编码(svc)的用于快速信道改变的实时传输协议(rtp)打包方法
CN102461167A (zh) * 2009-06-12 2012-05-16 高通股份有限公司 Mpeg-2系统上的多视图视频译码
CN102714715A (zh) * 2009-09-22 2012-10-03 高通股份有限公司 用于文件格式轨迹选择的媒体提取器轨迹

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2375749B1 (en) * 2005-10-11 2016-11-23 Nokia Technologies Oy System and method for efficient scalable stream adaptation
AU2008313328A1 (en) 2007-10-15 2009-04-23 Nokia Corporation Motion skip and single-loop encoding for multi-view video content
US20100232520A1 (en) 2007-11-05 2010-09-16 Zhenyu Wu Scalable video coding method for fast channel change and increased error relilience
US20110081133A1 (en) * 2009-10-05 2011-04-07 Xuemin Chen Method and system for a fast channel change in 3d video
US9532055B2 (en) * 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
US9973751B2 (en) 2012-08-16 2018-05-15 Vid Scale, Inc. Slice base skip mode signaling for multiple layer video coding
US20140085415A1 (en) 2012-09-27 2014-03-27 Nokia Corporation Method and apparatus for video coding
US9674533B2 (en) 2013-04-05 2017-06-06 Qualcomm Incorporated Picture alignments in multi-layer video coding
US10003815B2 (en) 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319340A (ja) * 2002-04-26 2003-11-07 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
CN102106156A (zh) * 2008-07-26 2011-06-22 汤姆逊许可证公司 使用可分级视频编码(svc)的用于快速信道改变的实时传输协议(rtp)打包方法
CN102461167A (zh) * 2009-06-12 2012-05-16 高通股份有限公司 Mpeg-2系统上的多视图视频译码
CN102714715A (zh) * 2009-09-22 2012-10-03 高通股份有限公司 用于文件格式轨迹选择的媒体提取器轨迹

Also Published As

Publication number Publication date
EP2982129A1 (en) 2016-02-10
JP6239732B2 (ja) 2017-11-29
KR20150139898A (ko) 2015-12-14
EP2982129B1 (en) 2019-07-03
WO2014165730A1 (en) 2014-10-09
CN105052156A (zh) 2015-11-11
ES2748561T3 (es) 2020-03-17
JP2016519509A (ja) 2016-06-30
US9596486B2 (en) 2017-03-14
KR102084822B1 (ko) 2020-03-04
HUE044639T2 (hu) 2019-11-28
US20140301485A1 (en) 2014-10-09

Similar Documents

Publication Publication Date Title
CN105052156B (zh) Irap存取单元与位流切换及拼接
CN106416245B (zh) 用于对视频数据进行编码和解码的方法和设备
CN104272746B (zh) 用于视频序列中的随机存取点图片的经解码图片缓冲器处理
CN106664427B (zh) 用于对视频数据进行编码的设备和方法及计算机可读媒体
CN104823449B (zh) 在视频译码中用信号表示关注区和逐渐解码刷新
CN105075258B (zh) 针对具有不同纵横比的空间可缩放性的层间参考图片建构
CN103430542B (zh) 用于随机存取后译码依附图片的视频译码技术
CN105794211B (zh) 一种编解码视频数据的方法、装置及可读存储媒体
CN106464917B (zh) 用信号表示用于位流分区的hrd参数
CN105122814B (zh) 可包含未对准irap图片的多层位流的跨层poc对准
CN104584557B (zh) 对视频数据进行编码、解码的方法、装置以及计算机可读介质
CN110337814A (zh) 译码存取单元的mcts-eis sei消息
CN104885459B (zh) 用于多层译码的多分辨率经解码图片缓冲器管理
CN106105217B (zh) 用于多层视频译码的poc值设计
CN104641637B (zh) 具有改善随机存取点图片行为的视频译码
CA2952456C (en) Improved video coding using end of sequence network abstraction layer units
CN105580374B (zh) 一种对多层视频数据进行编解码的方法、视频解码设备及存储媒体
CN105723707A (zh) 用于视频译码的色彩残差预测
CN105379272B (zh) 在vps中用信号通知位速率信息及图片速率信息
CN104769948A (zh) 在视频译码中执行残差预测
KR20140043483A (ko) 내부 뷰 모션 예측 (ivmp) 모드를 지원하는 mvc 기반 3dvc 코덱
CN105122798B (zh) 多层视频译码中的交叉层图片类型对准的指示
CN106464924A (zh) 多层视频译码
CN105379271A (zh) 帧内随机接入点图片的改进的跨层对齐
CN104798377B (zh) 用于多视图、三维(3d)及可缩放视频位流的子位流提取

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant