CN104412600A - 译码用于视频译码的sei nal单元 - Google Patents

译码用于视频译码的sei nal单元 Download PDF

Info

Publication number
CN104412600A
CN104412600A CN201380036313.6A CN201380036313A CN104412600A CN 104412600 A CN104412600 A CN 104412600A CN 201380036313 A CN201380036313 A CN 201380036313A CN 104412600 A CN104412600 A CN 104412600A
Authority
CN
China
Prior art keywords
nal unit
sei
unit
picture
sei nal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380036313.6A
Other languages
English (en)
Other versions
CN104412600B (zh
Inventor
王益魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104412600A publication Critical patent/CN104412600A/zh
Application granted granted Critical
Publication of CN104412600B publication Critical patent/CN104412600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

在一实例中，一种用于解码视频数据的装置包含处理器，所述处理器经配置以：针对位流的补充增强信息SEI网络抽象层NAL单元，确定所述SEI NAL单元的NAL单元类型值指示所述NAL单元包括包含前缀SEI消息的前缀SEI NAL单元还是包含后缀SEI消息的后缀SEI NAL单元；及基于所述SEI NAL单元为所述前缀SEI NAL单元还是所述后缀SEI NAL单元及所述SEI NAL单元的数据，解码在所述SEI NAL单元之后的所述位流的视频数据。

Description

译码用于视频译码的SEI NAL单元
相关申请案
本申请案主张以下申请案的权利：
2012年7月10日申请的第61/670,066号美国临时申请案，所述申请案据此以其全文引用的方式并入本文中。
技术领域
本发明大体上涉及处理视频数据，且更确切地说，涉及用于视频数据中的随机存取图片。
背景技术
数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频译码技术，例如描述于以下各者中的那些技术：由ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262、ISO/IEC MPEG-2Visual、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准，及目前在开发的高效率视频译码(HEVC)标准，及此些标准的扩展。视频装置可通过实施此些视频译码技术而较有效率地发射、接收、编码、解码及/或存储数字视频信息。
视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的预测性视频译码，可将视频切片(例如，视频帧或视频帧的一部分)分割为视频块，所述视频块还可被称作宏块、树型块、译码树单元(CTU)、译码树型块(CTB)、译码单元(CU)及/或译码节点。使用相对于相同图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用相对于相同图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间预测或时间预测导致译码用于块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。像素还可被称作图片元素、像元或样本。根据指向形成预测性块的参考样本的块的运动向量，及指示经译码块与预测性块之间的差异的残余数据来编码经帧间译码块。根据帧内译码模式及残余数据来编码经帧内译码块。为进行进一步压缩，可将残余数据从像素域变换到变换域，从而产生可接着进行量化的残余变换系数。可扫描最初布置成二维阵列的经量化的变换系数以便产生变换系数的一维向量，且可应用熵译码以达成甚至更多的压缩。
发明内容
大体上，本发明描述用于处理视频数据的技术。详细地说，本发明描述可用以进行以下操作的技术：减少例如交谈式应用程序等视频应用程序中的延迟，提供随机存取经译码视频序列中的改进，及提供用于具有固定图片速率且支持时间可缩放性的视频内容的信息。
在一实例中，一种解码视频数据的方法包含：从网络抽象层(NAL)单元解封装位流的随机存取点(RAP)图片的切片，其中所述NAL单元包含NAL单元类型值，其指示所述RAP图片是否为可具有相关联的引导图片的类型，及所述RAP图片为瞬时解码器刷新(IDR)图片还是清洁随机存取(CRA)图片；基于所述NAL单元类型值确定所述RAP图片是否可具有相关联的引导图片；及基于所述确定所述RAP图片是否可具有相关联的引导图片，解码在所述RAP图片之后的所述位流的视频数据。
在另一实例中，一种用于解码视频数据的装置，所述装置包括处理器，所述处理器经配置以：从网络抽象层(NAL)单元解封装位流的随机存取点(RAP)图片的切片，其中所述NAL单元包含NAL单元类型值，其指示所述RAP图片是否为可具有相关联的引导图片的类型，及所述RAP图片为瞬时解码器刷新(IDR)图片还是清洁随机存取(CRA)图片；基于所述NAL单元类型值确定所述RAP图片是否可具有相关联的引导图片；及基于所述确定所述RAP图片是否可具有相关联的引导图片，解码在所述RAP图片之后的所述位流的视频数据。
在另一实例中，一种用于解码视频数据的装置包含：用于从网络抽象层(NAL)单元解封装位流的随机存取点(RAP)图片的切片的装置，其中所述NAL单元包含NAL单元类型值，其指示所述RAP图片是否为可具有相关联的引导图片的类型，及所述RAP图片为瞬时解码器刷新(IDR)图片还是清洁随机存取(CRA)图片；用于基于所述NAL单元类型值确定所述RAP图片是否可具有相关联的引导图片的装置；及用于基于所述确定所述RAP图片是否可具有相关联的引导图片，解码在所述RAP图片之后的所述位流的视频数据的装置。
在另一实例中，一种存储有指令的计算机可读存储媒体，所述指令在经执行时使得处理器进行以下操作：从网络抽象层(NAL)单元解封装位流的随机存取点(RAP)图片的切片，其中所述NAL单元包含NAL单元类型值，其指示所述RAP图片是否为可具有相关联的引导图片的类型，及所述RAP图片为瞬时解码器刷新(IDR)图片还是清洁随机存取(CRA)图片；基于所述NAL单元类型值确定所述RAP图片是否可具有相关联的引导图片；及基于所述确定所述RAP图片是否可具有相关联的引导图片，解码在所述RAP图片之后的所述位流的视频数据。
在另一实例中，一种产生包含视频数据的位流的方法，所述方法包括：确定随机存取点(RAP)图片是否为可具有相关联的引导图片的类型，及所述RAP图片包括瞬时解码器刷新(IDR)图片还是清洁随机存取(CRA)图片；将所述RAP图片的切片封装于网络抽象层(NAL)单元中，其中所述NAL单元包含NAL单元类型值，其指示所述RAP图片是否为可具有相关联的引导图片的类型；及产生包含所述NAL单元的位流。
在另一实例中，一种用于产生包含视频数据的位流的装置包含处理器，所述处理器经配置以进行以下操作：确定随机存取点(RAP)图片是否为可具有相关联的引导图片的类型，及所述RAP图片包括瞬时解码器刷新(IDR)图片还是清洁随机存取(CRA)图片；将所述RAP图片的切片封装于网络抽象层(NAL)单元中，其中所述NAL单元包含NAL单元类型值，其指示所述RAP图片是否为可具有相关联的引导图片的类型；及产生包含所述NAL单元的位流。
在另一实例中，一种用于产生包含视频数据的位流的装置包含：用于确定随机存取点(RAP)图片是否为可具有相关联的引导图片的类型，及所述RAP图片包括瞬时解码器刷新(IDR)图片还是清洁随机存取(CRA)图片的装置；用于将所述RAP图片的切片封装于网络抽象层(NAL)单元中的装置，其中所述NAL单元包含NAL单元类型值，其指示所述RAP图片是否为可具有相关联的引导图片的类型；及用于产生包含所述NAL单元的位流的装置。
在另一实例中，一种存储有指令的计算机可读存储媒体，所述指令在经执行时使得处理器进行以下操作：确定随机存取点(RAP)图片是否为可具有相关联的引导图片的类型，及所述RAP图片包括瞬时解码器刷新(IDR)图片还是清洁随机存取(CRA)图片；将所述RAP图片的切片封装于网络抽象层(NAL)单元中，其中所述NAL单元包含NAL单元类型值，其指示所述RAP图片是否为可具有相关联的引导图片的类型；及产生包含所述NAL单元的位流。
在另一实例中，一种解码视频数据的方法包含：针对位流的补充增强信息(SEI)网络抽象层(NAL)单元，确定所述SEI NAL单元的NAL单元类型值指示所述NAL单元包括包含前缀SEI消息的前缀SEI NAL单元还是包含后缀SEI消息的后缀SEI NAL单元；及基于所述SEI NAL单元为所述前缀SEI NAL单元还是所述后缀SEI NAL单元及所述SEI NAL单元的数据，解码在所述SEI NAL单元之后的所述位流的视频数据。
在另一实例中，一种用于解码视频数据的装置包含处理器，所述处理器经配置以：针对位流的补充增强信息(SEI)网络抽象层(NAL)单元，确定所述SEI NAL单元的NAL单元类型值指示所述NAL单元包括包含前缀SEI消息的前缀SEI NAL单元还是包含后缀SEI消息的后缀SEI NAL单元；及基于所述SEI NAL单元为所述前缀SEINAL单元还是所述后缀SEI NAL单元及所述SEI NAL单元的数据，解码在所述SEINAL单元之后的所述位流的视频数据。
在另一实例中，一种用于解码视频数据的装置包含：用于针对位流的补充增强信息(SEI)网络抽象层(NAL)单元，确定所述SEI NAL单元的NAL单元类型值指示所述NAL单元包括包含前缀SEI消息的前缀SEI NAL单元还是包含后缀SEI消息的后缀SEI NAL单元的装置；及用于基于所述SEI NAL单元为所述前缀SEI NAL单元还是所述后缀SEI NAL单元及所述SEI NAL单元的数据，解码在所述SEI NAL单元之后的所述位流的视频数据的装置。
在另一实例中，一种存储有指令的计算机可读存储媒体，所述指令在经执行时使得处理器进行以下操作：针对位流的补充增强信息(SEI)网络抽象层(NAL)单元，确定所述SEI NAL单元的NAL单元类型值指示所述NAL单元包括包含前缀SEI消息的前缀SEI NAL单元还是包含后缀SEI消息的后缀SEI NAL单元；及基于所述SEI NAL单元为所述前缀SEI NAL单元还是所述后缀SEI NAL单元及所述SEI NAL单元的数据，解码在所述SEI NAL单元之后的所述位流的视频数据。
在另一实例中，一种产生包含视频数据的位流的方法包含：确定补充增强信息(SEI)消息为前缀SEI消息还是后缀SEI消息，其中所述SEI消息包含与经编码视频数据有关的数据；将所述SEI消息封装于SEI NAL单元中，其中所述SEI NAL单元包含NAL单元类型值，其指示所述SEI NAL单元为前缀SEI NAL单元还是后缀SEI NAL单元，及所述SEI消息为前缀SEI消息还是后缀SEI消息；及产生至少包含所述SEINAL单元的位流。
在另一实例中，一种用于产生包含视频的位流的装置包含处理器，所述处理器经配置以：确定补充增强信息(SEI)消息为前缀SEI消息还是后缀SEI消息，其中所述SEI消息包含与经编码视频数据有关的数据；将所述SEI消息封装于SEI NAL单元中，其中所述SEI NAL单元包含NAL单元类型值，其指示所述SEI NAL单元为前缀SEI NAL单元还是后缀SEI NAL单元，及所述SEI消息为前缀SEI消息还是后缀SEI消息；及产生至少包含所述SEI NAL单元的位流。
在另一实例中，一种用于产生包含视频数据的位流的装置包含：用于确定补充增强信息(SEI)消息为前缀SEI消息还是后缀SEI消息的装置，其中所述SEI消息包含与经编码视频数据有关的数据；用于将所述SEI消息封装于SEI NAL单元中的装置，其中所述SEI NAL单元包含NAL单元类型值，其指示所述SEI NAL单元为前缀SEINAL单元还是后缀SEI NAL单元，及所述SEI消息为前缀SEI消息还是后缀SEI消息；及用于产生至少包含所述SEI NAL单元的位流的装置。
在另一实例中，一种存储有指令的计算机可读存储媒体，所述指令在经执行时使得处理器进行以下操作：确定补充增强信息(SEI)消息为前缀SEI消息还是后缀SEI消息，其中所述SEI消息包含与经编码视频数据有关的数据；将所述SEI消息封装于SEINAL单元中，其中所述SEI NAL单元包含NAL单元类型值，其指示所述SEI NAL单元为前缀SEI NAL单元还是后缀SEI NAL单元，及所述SEI消息为前缀SEI消息还是后缀SEI消息；及产生至少包含所述SEI NAL单元的位流。
在另一实例中，一种呈现视频数据的方法包含：确定所述视频数据的整数值；确定第一图片的呈现时间与第二图片的呈现时间之间的差值，其中所述差值等于所述整数值乘以时钟刻度值；及根据所述所确定的差值，呈现所述第一图片及所述第二图片。
在另一实例中，一种用于呈现视频数据的装置包含处理器，所述处理器经配置以：确定所述视频数据的整数值；确定第一图片的呈现时间与第二图片的呈现时间之间的差值，其中所述差值等于所述整数值乘以时钟刻度值；及根据所述所确定的差值，呈现所述第一图片及所述第二图片。
在另一实例中，一种用于呈现视频数据的装置包含：用于确定所述视频数据的整数值的装置；用于确定第一图片的呈现时间与第二图片的呈现时间之间的差值的装置，其中所述差值等于所述整数值乘以时钟刻度值；及用于根据所述所确定的差值，呈现所述第一图片及所述第二图片的装置。
在另一实例中，一种存储有指令的计算机可读存储媒体，所述指令在经执行时使得处理器进行以下操作：确定所述视频数据的整数值；确定第一图片的呈现时间与第二图片的呈现时间之间的差值，其中所述差值等于所述整数值乘以时钟刻度值；及根据所述所确定的差值，呈现所述第一图片及所述第二图片。
在另一实例中，一种产生包含视频数据的位流的方法包含：产生指示第一图片的呈现时间与第二图片的呈现时间之间的差是否为时钟刻度值的整数倍的数据；及在所述数据指示所述差为所述时钟刻度值的所述整数倍时，产生表示所述整数倍数的数据。
在另一实例中，一种用于产生包含视频数据的位流的装置包含处理器，所述处理器经配置以进行以下操作：产生指示第一图片的呈现时间与第二图片的呈现时间之间的差是否为时钟刻度值的整数倍的数据；及在所述数据指示所述差为所述时钟刻度值的所述整数倍时，产生表示所述整数倍数的数据。
在另一实例中，一种用于产生包含视频数据的位流的装置包含：用于产生指示第一图片的呈现时间与第二图片的呈现时间之间的差是否为时钟刻度值的整数倍的数据的装置；及用于在所述数据指示所述差为所述时钟刻度值的所述整数倍时，产生表示所述整数倍数的数据的装置。
在另一实例中，一种存储有指令的计算机可读存储媒体，所述指令在经执行时使得处理器进行以下操作：产生指示第一图片的呈现时间与第二图片的呈现时间之间的差是否为时钟刻度值的整数倍的数据；及在所述数据指示所述差为所述时钟刻度值的所述整数倍时，产生表示所述整数倍数的数据。
在随附图式及以下描述中阐述一或多个实例的细节。其它特征、目标及优势将从所述描述及所述图式以及从权利要求书而显而易见。
附图说明
图1为说明根据预测性视频译码技术译码的视频序列的概念图。
图2为说明经译码视频序列的一实例的概念图。
图3为说明可利用本发明中所描述的技术的实例视频编码及解码系统的框图。
图4为说明可实施本发明中所描述的技术的实例封装单元的框图。
图5为说明根据本发明的技术产生VCL NAL单元的一实例的流程图。
图6为说明根据本发明的技术产生非VCL NAL单元的一实例的流程图。
图7为说明用信号发出呈现时间增量值的一实例的流程图。
图8为说明可实施本发明中所描述的技术的实例视频编码器的框图。
图9为说明确定呈现时间增量值的一实例的流程图。
图10为说明可实施本发明中所描述的技术的实例视频解码器的框图。
具体实施方式
本发明描述各种改进的视频译码设计。详细地说，本发明描述可用以减少例如交谈式应用程序等视频应用程序中的延迟，及提供随机存取经译码视频序列中的改进的技术。
数字视频装置实施视频压缩技术以更有效率地编码及解码数字视频信息。可根据视频译码标准(例如，AVC或HEVC)来定义视频压缩技术。ITU-T H.264/MPEG-4(AVC)标准由ITU-T视频译码专家组(VCEG)连同ISO/IEC动画专家组(MPEG)一起阐明为被称为联合视频小组(JVT)的集体合作的产品。H.264标准由ITU-T研究组且在日期为2005年3月描述于ITU-T推荐H.264(用于一般视听服务的高级视频译码)中，其在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。联合视频小组(JVT)继续致力于对H.264/MPEG-4AVC的扩展。
HEVC的最新工作草案(其被称作“HEVC工作草案7”或“WD7”)描述于文件JCTVC-I1003_d5(Bross等人，“WD7：Working Draft 7of High-Efficiency Video Coding(HEVC)”，ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，第9次会议：Switzerland的日内瓦，2012年4月27日到2012年5月7日)中。另外，HEVC的另一最新工作草案(工作草案9)描述于文件HCTVC-K1003_d7(Bross等人，“High Efficiency Video Coding(HEVC)Text Specification Draft9”，ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，第11次会议：中国上海，2012年10月)中。即将到来的HEVC标准还可被称作ISO/IEC 23008-HEVC，其意欲为HEVC的交付版本的标准编号。在一些方面中，本发明中所描述的技术可应用于大体上符合H.264及/或即将到来的HEVC标准的装置。尽管关于H.264标准及即将到来的HEVC标准描述本发明的技术，但本发明的技术大体上可适用于任何视频译码标准。
视频序列通常包含一系列视频帧，视频帧还被称作图片。编码及/或解码视频序列的视频应用程序的实例包含本地播放、流式传输、广播、多播及交谈式应用程序。交谈式应用程序包含视频电话及视频会议，且还被称作低延迟应用程序。交谈式应用程序需要全部系统的相对较低的端间延迟，即，在第一数字视频装置处俘获视频帧的时间与在第二数字视频装置处显示所述视频帧的时间之间的延迟。对于交谈式应用程序，通常可接受的端间延迟应小于400ms，且大约150ms的端间延迟被视为极好的。
与处理视频序列相关联的每一步骤可有助于总的端间延迟。与处理视频序列相关联的延迟的实例包含俘获延迟、预处理延迟、编码延迟、发射延迟、接收缓冲延迟(用于解除抖动)、解码延迟、经解码图片输出延迟、后处理延迟及显示延迟。与根据特定视频译码标准译码视频序列相关联的延迟可被称作编解码器延迟，且其可包含编码延迟、解码延迟及经解码图片输出延迟。在交谈式应用程序中应使编解码器延迟最小化。详细地说，视频序列的译码结构应确保视频序列中的图片的输出次序与所述视频序列中的图片的解码次序相同，使得经解码图片输出延迟等于零。视频序列的译码结构部分地指代用以编码视频序列的图片类型的分配。
图片群组(GOP)大体上包括根据显示次序布置的一或多个图片的序列。根据HEVC，视频编码器可将视频帧或图片划分成一系列大小相等的视频块。视频块可具有明度分量(表示为Y)及两个色度分量(表示为U及V或Cb及Cr)。此些视频块还可被称作最大译码单元(LCU)、树型块或译码树型块单元(CTU)。HEVC的LCU可广泛地类似于例如H.264/AVC等先前标准的宏块。然而，LCU未必限于特定大小。根据HEVC，位流内的语法数据可根据水平明度样本及/或垂直明度样本的数目来定义LCU。举例来说，可将LCU定义为包含64x64或32x32个明度样本。另外，可根据四分树分割方案将LCU分割成多个译码单元(CU)。大体上，四分树分割指代将CU递归地分裂成四个子CU。与经译码位流相关联的语法数据可定义可分裂LCU的最大次数，所述最大次数被称作最大CU深度，且所述语法数据还可定义CU的最小大小。因此，位流还可定义最小译码单元(SCU)。举例来说，可将SCU定义为包含8x8明度样本。
此外，根据HEVC，视频编码器可将图片分割成多个切片，其中所述切片中的每一者包含整数数目个LCU。切片可为I切片、P切片或B切片，其中I、P及B定义其它视频块如何用于预测CU。使用帧内预测模式预测I切片(例如，从相同帧内的视频块预测)。帧内译码依赖于空间预测以减少或移除给定视频帧或图片内的视频的空间冗余。使用单向帧间预测模式预测P切片(例如，从先前帧中的视频块预测)。使用双向帧间预测模式预测B切片(例如，从先前帧及后续帧内的视频块预测)。帧间译码依赖于时间预测以减少或移除视频序列的邻近帧或图片内的视频的时间冗余。
图1为说明根据预测性视频译码技术译码的视频序列的概念图。如图1中所说明，视频序列100包含图片Pic1到Pic10。在图1的概念图中，图片Pic1到Pic10是根据其将显示的次序而布置及顺序地编号。如下文更详细地描述，显示次序未必对应于解码次序。如图1中所说明，视频序列100包含GOP1及GOP2，其中图片Pic1到Pic5包含于GOP1中，且图片Pic6到Pic10包含于GOP2中。图1说明将Pic5分割成slice1及slice2，其中slice1及slice2中的每一者包含根据从左到右从上到下的光栅扫描的连续的LCU。尽管未展示，但可以类似方式将图1中所说明的其它图片分割成一或多个切片。图1还说明关于GOP2的I切片、P切片或B切片的概念。与GOP2中的Pic6到Pic10中的每一者相关联的箭头基于由箭头指示的参考图片指示图片包含I切片、P切片还是B切片。在图1中，图片Pic6及Pic9表示包含I切片的图片(即，参考所述图片自身)，图片Pic7及Pic10表示包含P切片的图片(即，各自参考先前图片)，及Pic8表示包含B切片的图片(即，参考先前图片及后续图片)。
在HEVC中，视频序列中的每一者：GOP、图片、切片及CU可与描述视频译码性质的语法数据相关联。举例来说，切片包含标头，所述标头包含指示所述切片为I切片、P切片还是B切片的语法元素。另外，HEVC包含参数集概念。参数集为包含允许视频解码器重建构视频序列的语法元素的语法结构。HEVC利用阶层式参数集机制，其中语法元素基于预期语法元素改变的频率包含于一种类型的参数集中。HEVC中的参数集机制将不频繁改变的信息的发射与经译码块数据的发射解耦。另外，在一些应用程序中，可“带外”输送参数集，即，不与含有经译码视频数据的单元一起运输所述参数集。带外发射通常是可靠的。
在HEVC WD7中，使用参数集ID识别特定参数集。在HEVC WD7中，参数集ID为不带正负号的整数指数哥伦布译码(Exp-Golomb-coded)语法元素，其中从左位开始。HEVC WD7定义以下参数集：
视频参数集(VPS)：VPS为含有适用于零或多个全部经译码视频序列的语法元素的语法结构。即，VPS包含预期对于帧序列保持不变的语法元素(例如，图片次序、参考帧的数目及图片大小)。使用VPS ID识别VPS。序列参数集包含VPS ID。
序列参数集(SPS)-SPS为包含适用于零或多个全部经译码视频序列的语法元素的语法结构。即，SPS包含预期对于帧序列保持不变的语法元素(例如，图片次序、参考帧的数目及图片大小)。使用SPS ID识别SPS。图片参数集包含SPS ID。
图片参数集(PPS)-PPS为包含适用于一或多个图片的语法元素的语法结构。即，PPS包含可在一序列内从图片到图片改变的语法元素(例如，熵译码模式、量化参数及位深度)。使用PPS ID识别PPS参数集。切片标头包含PPS ID。
自适应参数集(APS)-APS为包含适用于一或多个图片的语法元素的语法结构。APS包含预期在序列的图片内改变的语法元素(例如，块大小及解块滤波)。使用APSID识别APS集。切片标头可包含APS ID。
根据HEVC WD7中所定义的参数集类型，每一SPS参考VPS ID，每一PPS参考SPS ID，且每一切片标头参考PPS ID且可能参考APS ID。应注意，在一些状况下，SPS中包含VPS ID及PPS中包含SPS ID的线性参考关系可为低效的。举例来说，尽管HEVC WD7中支持VPS，但序列层级信息参数中的大多数仍仅存在于SPS中。除参数集概念之外，HEVC包含经译码视频序列及存取单元的概念。根据HEVC WD7，经译码视频序列及存取单元如下来定义：
经译码视频序列：存取单元的序列，其由按解码次序的以下各者组成：为位流中的第一存取单元的CRA存取单元、IDR存取单元或BLA存取单元，继的包含至多所有后续存取单元但不包含任何后续IDR或BLA存取单元的零或多个非IDR及非BLA存取单元[下文详细描述CRA存取单元、IDR存取单元及BLA存取单元]。
存取单元：在解码次序上连续且含有一个经译码图片的NAL单元的集合。除经译码图片的经译码切片NAL单元之外，存取单元还可含有不含有经译码图片的切片的其它NAL单元。存取单元的解码始终产生经解码图片。
NAL单元指代网络抽象层单元。因此，根据HEVC，经译码视频数据的位流包含NAL单元的序列。存取单元为在解码次序上连续地布置且含有确切一个经译码图片的NAL单元的集合，且经译码视频序列包含按解码次序布置的存取单元的序列。图2为说明经译码视频序列的一实例的概念图。图2表示可对应于图1中所说明的GOP2的经译码视频序列200的一实例。如图2中所说明，经译码视频序列200包含对应于Pic6到Pic10中的每一者的存取单元。经译码视频序列200的存取单元是根据解码次序顺序地布置。应注意，对应于Pic9的存取单元位于对应于Pic8的存取单元之前。因此，解码次序并不对应于图1中所说明的显示次序。在此实例中，此情况是归因于Pic8参考Pic9的事实。因此，必须在可解码Pic8之前解码Pic9。图2说明对应于Pic9的存取单元包含NAL单元：AU定界符NAL单元202、PPS NAL单元204、slice1 NAL单元206及slice2NAL单元208。每一NAL单元可包含识别NAL单元类型的标头。
HEVC定义两个NAL单元类型类别：经译码切片NAL单元(VCL)及非VCL NAL单元。经译码切片NAL单元含有视频数据的切片。在图2中所说明的实例中，slice1NAL单元206及slice2NAL单元208各自含有视频数据的切片，且为VCL NAL单元的实例。在图2的实例中，slice1NAL单元206及slice2NAL单元208中的每一者可为I切片。非VCL包含含有除了视频数据的切片以外的信息。举例来说，非VCL可含有定界符数据或参数集。在图2中所说明的实例中，AU定界符NAL单元202包含信息以从对应于Pic7的存取单元来界定对应于Pic9的存取单元的界限。另外，PPS NAL单元204包含图片参数集。因此，AU定界符NAL单元202及PPS NAL单元204为非VCL NAL单元的实例。
HEVC中的非VCL NAL单元的另一实例为补充增强信息(SEI)NAL单元。AVC及HEVC两者中所支持的SEI机制使得编码器能够将元数据包含于位流中，所述元数据并非正确地解码输出图片的样本值所需的，但所述元数据可用于各种其它目的，例如图片输出定时、显示以及损失检测及隐藏。举例来说，SEI NAL单元可包含由视频解码器在解码位流时使用的图片定时消息。图片定时消息可包含指示视频解码器应何时开始解码VCL NAL单元的信息。编码器可包含存取单元中的任何数目个SEI NAL单元，且每一SEI NAL单元可含有一或多个SEI消息。草案HEVC标准包含用于若干SEI消息的语法及语义，但未指定所述SEI消息的处置，这是因为其不影响基准解码过程。草案HEVC标准中具有SEI消息的一个原因为使得能够在使用HEVC的不同系统中相同地解译补充数据。使用HEVC的规范及系统可能需要编码器产生某些SEI消息或可定义特定类型的所接收SEI消息的特定处置。表1列出HEVC中所指定的SEI消息且简略地描述其目的。
表1：SEI消息的概述
随机存取指代从并非位流中的第一经译码图片的经译码图片开始解码视频位流。许多视频应用程序中需要随机存取位流，例如广播及流式传输，(例如)以用于用户在不同信道之间切换、跳转到视频的特定部分或切换到不同位流以达成流调适(例如，达成位速率、帧速率或空间分辨率可缩放性)。对于视频序列，通过以规则间隔多次地具有包含随机存取点(RAP)图片或存取单元的译码结构实现随机存取。瞬时解码器刷新(IDR)图片、清洁随机存取(CRA)图片及断链存取(BLA)图片为HEVC WD7中所定义的RAP图片类型。IDR图片、CRA图片及BLA图片中的每一者仅包含I切片。然而，基于所定义的参考约束，IDR图片、CRA图片及BLA图片中的每一者不同。
IDR图片是在AVC中指定，且是根据HEVC WD7定义。虽然IDR图片可用于随机存取，但IDR图片是受约束的，这是因为在解码次序上在IDR图片之后的图片无法使用在IDR图片之前解码的图片作为参考。在图1及图2中所说明的实例中，如上文所描述，视频序列100中的pic6可为IDR图片。归因于与IDR图片相关联的约束，依赖于IDR图片来随机存取的位流可具有显著较低的译码效率。
为改进译码效率，在HEVC中引入CRA图片的概念。根据HEVC WD7，类似于IDR图片，CRA图片仅包含I切片。然而，允许在解码次序上在CRA图片之后但在输出次序上在CRA图片之前的图片使用在CRA图片之前解码的图片作为参考。在解码次序上在CRA图片之后但在输出次序上在CRA图片之前的图片被称作与CRA图片相关联的引导图片(或CRA图片的引导图片)。如果解码从当前CRA图片之前的IDR图片或CRA图片开始，那么CRA图片的引导图片可正确解码。然而，当发生从CRA图片随机存取时，CRA图片的引导图片可能不可正确解码。参看图1及图2中所说明的实例，Pic9可为CRA图片且Pic8可为Pic9的引导图片。如果在Pic6下存取GOP2，那么Pic8可正确解码，但如果将GOP2作为Pic9存取，那么其可能不可正确解码。这是归因于以下事实：如果将GOP2作为Pic9存取，那么Pic7可能不可用。为防止从取决于解码开始处而可能不可用的参考图片的错误传播，根据HEVC WD7，将在解码次序及输出次序两者上在CRA图片之后的所有图片约束为不使用在解码次序或输出次序上在CRA图片之前的任何图片(其包含引导图片)作为参考。另外，在随机存取解码期间，通常丢弃引导图片。
位流拼接指代两个或两个以上位流或其部分的串接。举例来说，可将第二位流附加到第一位流，可能对所述位流中的一者或两者作出一些修改以产生经拼接的位流。第二位流中的第一经译码图片还被称作拼接点。因此，经拼接的位流中在拼接点之后的图片起源于第二位流，而经拼接的位流中在拼接点之前的图片起源于第一位流。通常由位流拼接器执行位流的拼接。位流拼接器常常为轻型的且相比视频编码器来说不太智能。举例来说，位流拼接器可能未装备有熵解码及编码能力。时间可缩放性为可使用位流拼接的应用程序。时间可缩放性可指代以一或多个帧速率解码视频序列。举例来说，可能能够基于系统能力以30帧/秒(fps)或60fps解码视频序列。为达成时间可缩放性，视频序列可包含多个时间层。其中每一时间层为与帧速率相关联的经译码视频序列。具有最高帧速率的时间层可被称作最高时间层。可将多个时间层拼接在一起以产生最高帧速率的视频序列，例如，将具有30fps的经译码视频序列与实现60fps的经译码视频序列拼接。
可在自适应流式传输环境中使用位流切换。在切换到的位流中的某些图片处的位流切换操作实际上为位流拼接操作，其中拼接点为位流切换点，即，从切换到的位流起的第一图片。应注意，通常对具有相同译码结构的两个流执行位流切换。即，所述两个流具有相同的预测结构及对IDR图片、CRA图片、P图片及B图片等的相同分配。
在引入CRA图片之后，在HEVC WD7中进一步引入断链存取(BLA)图片的概念，且其是基于CRA图片的概念。BLA图片通常起源于CRA图片的位置处的位流拼接，且在经拼接的位流中，拼接点CRA图片改变成BLA图片。BLA图片与CRA图片之间的最本质差异如下：对于CRA图片，如果解码从在解码次序上在CRA图片之前的RAP图片开始，那么相关联的引导图片可正确解码，且在随机存取从CRA图片开始时，相关联的引导图片可能不可正确解码；对于BLA图片，在所有状况下，相关联的引导图片可能不可正确解码，甚至在解码从在解码次序上在BLA图片之前的RAP图片开始时也是如此。应注意，对于特定CRA图片或BLA图片，相关联的引导图片中的一些可正确解码，甚至在CRA图片或BLA图片为位流中的第一图片时也是如此。此些引导图片被称作可解码引导图片(DLP)，且其它引导图片被称作非可解码引导图片(NLP)。在HEVC WD9中，NLP还被称作加标志为丢弃(TFD)图片。应注意，与IDR图片相关联的所有引导图片为DLP图片。表2为包含于HEVC WD7中的指定根据HEVC WD7定义的NAL单元的表格。如表2中所说明，HEVC WD7中的NAL单元类型包含CRA图片、BLA图片、IDR图片、VPS、SPS、PPS及APS NAL单元类型，其对应于上文所描述的图片及参数集。
表2：HEVC WD7 NAL单元类型码及NAL单元类型类别
为了简化NAL单元分配，S.Kanumuri、G.Sullivan的“随机存取点支持的改进(Refinement of Random Access Point Support)”(第10次会议，SE的斯德哥尔摩，2012年7月，文件JCTVC-J0344(下文称作“Kanumuri”)，其以全文引用的方式并入本文中)提议：(1)对IDR图片的约束，使得不存在与任何IDR图片相关联的引导图片(即，无可在解码次序上在IDR图片之后且在输出次序上在IDR图片之前的图片)，及(2)针对RAP图片的根据上文表2所定义的NAL单元类型4到7的修改分配，如下：
表3：根据Kanumuri的所提议的NAL单元类型
在表3中，SAP类型指代ISO/IEC 14496-12第4版本的“信息技术-视听对象的译码-第12部分：ISO基础媒体文件格式(Information technology-Coding of audio-visualobjects-Part 12：ISO base media file format)”(w12640，第100次MPEG会议，日内瓦，2012年4月)中所定义的流存取点类型，所述文件以其全文引用的方式并入本文中。如上文所描述，对于位流切换，IDR图片及BLA/CRA图片在功能上不同，但对于随机存取，其在功能上相同(例如，搜索应用程序)。对于IDR图片处的位流切换，视频译码系统可知道或假定呈现可为连续的，而不会出现故障(例如，未呈现的图片的遗失)。这是因为在解码次序上在IDR图片之后的图片不可使用在IDR图片之前解码的图片作为参考(即，与IDR图片相关联的引导图片为DLP)。然而，对于BLA图片处的位流切换，可能需要对来自两个流的一或多个图片进行一些重叠解码以确保呈现连续。在无额外能力的情况下，对于符合HEVC WD7解码器，此重叠解码当前可能为不可能的。在无额外能力的情况下，在相关联的TFD图片位置处可能不存在待呈现的任何图片，这是因为可能已丢弃所述图片。此可导致呈现未必为连续的。另外，即使BLA图片为不具有相关联的TFD图片的BLA图片，问题也是相同的，这是因为可能已丢弃存在于原始位流中的TFD图片。另外，如果原始位流中不存在TFD图片，那么CRA图片(归因于位流拼接/切换等，稍后改变为BLA图片)可能已经编码为IDR图片。因此，不将具有引导图片的IDR图片标记为IDR图片(即，不允许IDR图片具有引导图片)，如Kanumuri所提议，使得IDR图片对于系统的位流切换不太友好。
从流式传输系统视角来说，例如，经由HTTP的动态流式传输(DASH)，能够容易地识别哪个图片为RAP图片及在解码从RAP图片开始的情况下，能够识别为最早呈现时间(例如，最早图片次序计数(POC)值)的时间是有益的。因此，可进一步改进将NAL单元类型分配到不同的RAP图片以及DLP图片及TFD图片的现有设计以对于流式传输系统更友好。根据现有设计，对于每一RAP图片，当解码从所述RAP图片开始时，系统必须查看是否存在相关联的DLP图片，以知道所述RAP图片自身的呈现时间是否为最早呈现时间。另外，系统必须查看并比较所有DLP图片的呈现时间，以计算出最早呈现时间值。
视频译码标准包含视频缓冲模型规范。在AVC及HEVC中，缓冲模型被称作假设参考解码器(HRD)，其包含经译码图片缓冲器(CPB)及经解码图片缓冲器(DPB)两者的缓冲模型。根据HEVC WD7，将HRD定义为假设解码器模型，其指定对编码过程可产生的符合的NAL单元流或符合的位流的可变性的约束。因此，在AVC及HEVC中，将位流符合性及解码器符合性指定为HRD规范的部分。根据HEVC WD7，CPB为按解码次序含有存取单元的先进先出缓冲器，且DPB为保持经解码图片以用于参考的缓冲器。根据HRD，以数学方法指定CPB行为及DPB行为。HRD直接对定时、缓冲器大小及位速率强加约束，且间接地对位流特性及统计强加约束。HRD参数的完整集合包含五个基本参数：初始CPB移除延迟、CPB大小、位速率、初始DPB输出延迟及DPB大小。根据HEVC WD7，HRD参数可包含于视频可用性信息(VUI)参数中，且VUI参数可包含于SPS中。应注意，尽管HRD被称作解码器，但编码器侧通常需要HRD以保证位流符合性，且解码器侧通常不需要HRD。HEVC WD7指定用于HRD符合性的两种类型的位流，即类型I及类型II。HEVC WD7还指定两种类型的解码器符合性，即输出定时解码器符合性及输出次序解码器符合性。
在AVC及HEVC HRD模型中，解码或CPB移除是基于存取单元，且假定图片解码是瞬时的。在真实世界应用中解码图片所需的时间不可能等于零。因此，在实务应用中，如果符合的解码器严格地遵循(例如)在图片定时SEI消息中用信号发出的解码时间来开始解码存取单元，那么可输出特定经解码图片的最早可能时间等于所述特定图片的解码时间加上解码所述特定图片所需的时间。
类似于以下文件中所描述的CPB行为的基于子图片的CPB行为已包含于HEVCWD7中：Ye-Kui Wang等人的“基于子图片的CPB操作(Sub-picture based CPBoperation)”(第9次会议：CH的日内瓦，2012年5月，JCTVC-I0588(下文称作“Wang”))。基于Wang子图片的CPB允许在存取单元(AU)层级或子图片层级进行CPB移除。允许AU层级或子图片层级CPB移除有助于以互通方式达成减少的编解码器延迟。当发生存取单元层级的CPB移除时，每次发生移除操作时，将存取单元从CPB移除。当发生子图片层级的CPB移除时，每次发生移除操作时，将含有一或多个切片的解码单元(DU)从CPB移除。
除AU层级CPB移除定时信息之外，还可用信号发出子图片层级CPB移除定时信息。当针对AU层级移除及子图片层级移除两者呈现CPB移除定时信息时，解码器可选择在AU层级或子图片层级操作CPB。应注意，为了达成当前图片定时SEI消息及同时实现AU层级及DU层级HRD CPB移除两者以达成子图片延迟的机制，必须在编码全部AU之前，将DU发送出去，且在编码全部AU之前，仍不可将AU层级SEI消息发送出去。
根据HEVC WD7，定时信息可包含定义两个连续图片的HRD输出时间之间的时间距离的信息。HEVC WD7定义以下定时信息语法元素：
time_scale为一秒中经过的时间单位的数目。举例来说，使用27MHz时钟测量时间的时间坐标系具有27,000,000的time_scale。time_scale应大于0。
num_units_in_tick为时钟以对应于时钟刻度计数器的一增量(称为时钟刻度)的频率time_scale Hz操作的时间单位的数目。num_units_in_tick应大于0。
因此，基于time_scale及num_units_in_tick的值，可导出所谓的时钟刻度变量tc如下：
tc＝num_units_in_tick÷time_scale       (1)
根据HEVC WD7，时钟刻度变量可用于约束HRD输出时间。即，在一些状况下，可能需要在输出次序上连续的两个图片(即，第一及第二图片)的呈现时间之间的差等于时钟刻度。HEVC WD7包含fixed_pic_rate_flag语法元素，其指示在输出次序上连续的两个图片的呈现时间之间的差是否等于时钟刻度。fixed_pic_rate_flag语法元素可包含于VUI参数的集合中，VUI参数的集合可包含于SPS中。在HEVC WD7中，当fixed_pic_rate_flag语法元素等于一时，在以下条件中的任一者成立的情况下，在输出次序上的任何两个连续图片的HRD输出时间之间的时间距离受约束为等于所确定的时钟刻度：(1)第二图片处于与第一图片相同的经译码视频序列中；或(2)第二图片处于不同于第一图片的经译码视频序列中，且在含有第二图片的经译码视频序列中，fixed_pic_rate_flag等于1，且对于两个经译码视频序列，num_units_in_tick÷time_scale的值相同。当fixed_pic_rate_flag语法元素等于零时，此些约束不适用于在输出次序上的任何两个连续图片(即，第一图片及第二图片)的HRD输出时间之间的时间距离。应注意，当未呈现fixed_pic_rate_flag时，推断其等于0。应注意，根据HEVC WD7，当fixed_pic_rate_flag等于1时，在丢弃一些最高时间层的状况下，基于时间可缩放性的流调适将需要改变time_scale或num_units_in_tick的值。应注意，HEVC WD7提供fixed_pic_rate_flag的以下语义：
当对于含有图片n的经译码视频序列，fixed_pic_rate_flag等于1时，当对于经指定以用于等式C-13中的后续图片nn，以下条件中的一或多者成立时，如等式C-13中所指定的针对Ato，dpb(n)计算的值应等于如等式C-1中所指定的tc(对于含有图片n的经译码视频序列，使用tc的值)：
-图片nn处于与图片n相同的经译码视频序列中。
-图片nn处于不同的经译码视频序列中，且在含有图片nn的经译码视频序列中fixed_pic_rate_flag等于1，且对于两个经译码视频序列，num_units_in_tick÷time_scale的值相同。
其中在HEVC WD7中，等式C-1对应于等式(1)，且等式C-13如下定义：
Δto，dpb(n)＝to，dpb(nn)-to，dpb(n)         (2)
鉴于上文所提及的与HEVC WD7相关联的定时及随机存取特性，本发明描述可用于进行以下操作的技术：减少例如交谈式应用程序的视频应用程序中的延迟，及提供在随机存取经译码视频序列中的改进。在一实例中，本发明描述用于分配NAL单元类型的技术。在另一实例中，本发明描述子图片层级或解码单元层级HRD行为。在另一实例中，本发明描述用于参考参数集ID的技术。在又一实例中，本发明描述用于提供fixed_pic_rate_flag语法元素的改进的语义的技术。应注意，本文中所描述的此些技术及其它技术的任何及所有组合可并入于视频编码及解码系统中。
图3为说明可利用本文中所描述的技术的实例视频编码及解码系统10的框图。详细地说，视频编码及解码系统可利用本文中所描述的技术，所述技术与以下各者有关：(1)分配NAL单元类型，(2)子图片层级或解码单元层级HRD行为，(3)参考参数集ID，(4)fixed_pic_rate_flag的改进的语义，或此些技术的任何及所有组合。视频编码及解码系统10为可用于以下视频应用程序中的任一者的视频系统的实例：本地播放、流式传输、广播、多播及/或交谈式应用程序。源装置12及目的地装置14为译码装置的实例，其中源装置12产生经编码视频数据以用于发射到目的地装置14。在一些实例中，源装置12及目的地装置14可以实质上对称方式操作，使得源装置12及目的地装置14中的每一者包含视频编码及解码组件。因此，系统10可经配置以支持源装置12与目的地装置14之间的单向或双向视频传输。
尽管结合源装置12及目的地装置14描述本文中所描述的技术，但可由任何数字视频编码及/或解码装置来执行所述技术。还可由视频预处理器来执行本发明的技术。另外，尽管将本发明的技术大体上描述为由视频编码装置及视频解码装置执行，但还可由视频编码器/解码器(通常被称作“编解码器(CODEC)”)来执行所述技术。因此，图3中的视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中，其中的任一者可集成为相应装置中的组合式编码器/解码器(编解码器(CODEC))的部分。另外，包含视频编码器20及/或视频解码器30的装置可包括集成电路、微处理器及/或无线通信装置，例如蜂窝式电话。尽管图3中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件及软件以处置共同数据流或单独数据流中的音频及视频两者的编码。在适用的情况下，MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
如图3中所说明，系统10包含源装置12，其提供待由目的地装置14于稍后时间解码的经编码视频数据。详细地说，源装置12经由计算机可读媒体16将经编码视频数据提供给目的地装置14。目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，所谓的“智能”电话、所谓的“智能”平板设备(smart pad)、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置，或其类似者。在一些状况下，源装置12及目的地装置14可经装备用于无线通信。
计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。计算机可读媒体16可包含暂时性媒体，例如无线广播或有线网络传输；或存储媒体(即，非暂时性存储媒体)，例如硬盘、闪存驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未展示)可从源装置12接收经编码视频数据，且(例如)经由网络传输将经编码视频数据提供给目的地装置14。类似地，媒体生产设施(例如，光盘压印设施)的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。
在一实例中，计算机可读媒体16可包括用以使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。可根据通信标准(例如，无线通信协议)调制经编码视频数据，及将经编码视频数据发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如，局域网、广域网或例如因特网等全球网络)的部分。通信媒体可包含路由器、交换器、基站，或可用以促进从源装置12到目的地装置14的通信的任何其它设备。
存储装置可包含多种分布式或本地存取式数据存储媒体中的任一者，例如，硬盘、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置可对应于可存储由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含web服务器(例如，用于网站)、FTP服务器、网络附加存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含因特网连接)存取经编码视频数据。此数据连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)，或两者的组合。经编码视频数据从存储装置的传输可为流式传输、下载传输，或其组合。
本发明的技术未必限于无线应用或设定。所述技术可应用于支持例如以下应用等多种多媒体应用中的任一者的视频译码：无线电视广播、有线电视传输、卫星电视传输、例如经由HTTP的动态自适应流式传输(DASH)等因特网流式视频传输、编码到数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码，或其它应用。
在图3的实例中，源装置12包含视频源18、译码结构单元19、视频编码器20、封装单元21及输出接口22。目的地装置14包含输入接口28、解封装单元29、视频解码器30及显示装置32。在其它实例中，源装置12及目的地装置14可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如，外部相机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而非包含集成显示装置。源装置12及目的地装置14的组件各自可实施为多种合适电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地在软件中实施本文中所描述的技术时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器来执行所述指令以执行所述技术。
源装置12的视频源18可包含视频俘获装置，例如视频相机、含有先前所俘获的视频的视频存档，及/或用以从视频内容提供者接收视频的视频馈入接口。作为另一替代例，视频源18可产生基于计算机图形的数据作为源视频，或直播视频、存档视频及计算机产生的视频的组合。在一些状况下，如果视频源18为视频相机，那么源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术可大体上适用于视频译码，且可应用于无线及/或有线应用。在每一状况下，可由视频编码器20接收所俘获视频、预俘获的视频或计算机产生的视频。输出接口22可经配置以将经编码视频数据(例如，经译码视频序列)输出到计算机可读媒体16上。在一些实例中，可将经译码视频序列从输出接口22输出到存储装置。目的地装置14的输入接口28从计算机可读媒体16接收经编码视频数据。显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如，阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
译码结构单元19、视频编码器20、封装单元21、解封装单元29及视频解码器30可根据例如上文所描述的即将到来的HEVC等视频译码标准操作，且可大体上符合HEVC测试模型(HM)。或者，视频编码器20及视频解码器30可根据以下标准操作：其它专属或工业标准，例如ITU-T H.264标准(或者被称作MPEG-4第10部分，高级视频译码(AVC))，或此些标准的扩展。译码结构单元19、视频编码器20、封装单元21、解封装单元29及视频解码器30还可根据视频译码标准的修改的版本操作，其中视频译码标准的修改的版本经修改以包含本文中所描述的技术的任何及所有组合。
视频编码器20可将视频帧或图片划分成一系列大小相等的视频块，例如HEVCWD7中所描述的CU。CU包含译码节点及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小，且形状必须为正方形。CU的大小的范围可从8x8像素直到具有最大64x64像素或大于64x64像素的树型块的大小。每一CU可含有一或多个PU及一或多个TU。与CU相关联的语法数据可描述(例如)将CU分割成一或多个PU。分割模式可在以下情形间不同：CU经跳转或直接模式编码、经帧内预测模式编码或经帧间预测模式编码。PU的形状可分割成非正方形。与CU相关联的语法数据还可描述(例如)根据四分树将CU分割成一或多个TU。TU的形状可为正方形或非正方形(例如，矩形)。
HEVC标准允许根据TU的变换，所述变换对于不同CU可不同。通常基于针对经分割的LCU定义的给定CU内的PU的大小而设定TU的大小，但可能并非始终为此状况。TU通常具有与PU相同的大小，或小于PU。在一些实例中，可使用被称为“残余四分树”(RQT)的四分树结构将对应于CU的残余样本再分为较小单元。RQT的叶节点可被称作变换单元(TU)。可变换与TU相关联的像素差值以产生可量化的变换系数。
叶CU可包含一或多个预测单元(PU)。大体上，PU表示对应于对应CU的全部或一部分的空间区域，且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可包含于残余四分树(RQT)中，残余四分树可包含描述对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义所述PU的一或多个运动向量的数据。定义PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。
具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。可使用RQT(还被称作TU四分树结构)指定变换单元，如上文所论述。举例来说，分裂旗标可指示叶CU是否分裂成四个变换单元。接着，每一变换单元可进一步分裂成其它子TU。当TU不进一步分裂时，其可被称作叶TU。大体上，对于帧内译码，属于叶CU的所有叶TU共享相同的帧内预测模式。即，大体上应用相同的帧内预测模式来计算叶CU的所有TU的所预测值。对于帧内译码，视频编码器可使用帧内预测模式将每一叶TU的残余值计算为在CU的对应于所述TU的部分与原始块之间的差。TU未必限于PU的大小。因此，TU可能大于或小于PU。对于帧内译码，PU可与相同CU的对应叶TU共置。在一些实例中，叶TU的最大大小可对应于对应叶CU的大小。
此外，叶CU的TU还可与被称作残余四分树(RQT)的相应四分树数据结构相关联。即，叶CU可包含指示如何将叶CU分割成TU的四分树。TU四分树的根节点大体上对应于叶CU，而CU四分树的根节点大体上对应于树型块(或LCU)。RQT的不分裂的TU被称作叶TU。大体上，除非另有注释，否则本发明分别使用术语CU及TU来指代叶CU及叶TU。本发明使用术语“块”来指代在HEVC的上下文中的CU、PU或TU中的任一者，或在其它标准的上下文中的类似数据结构(例如，H.264/AVC中的宏块及其子块)。
作为一实例，HM支持以各种PU大小进行的预测。假定特定CU的大小为2Nx2N，那么HM支持以2Nx2N或NxN的PU大小进行的帧内预测，及以2Nx2N、2NxN、Nx2N或NxN的对称PU大小进行的帧间预测。HM还支持以2NxnU、2NxnD、nLx2N及nRx2N的PU大小进行的用于帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，而将另一方向分割成25％及75％。CU的对应于25％分割区的部分由“n”后跟着“上”、“下”、“左”或“右”的指示来指示。因此，例如，“2NxnU”指代在水平方向上以顶部2Nx0.5N PU及底部2Nx1.5N PU分割的2Nx2N CU。
在本发明中，“NxN”与“N乘N”可互换地使用以指代视频块在垂直尺寸与水平尺寸方面的像素尺寸，例如，16x16像素或16乘16像素。大体上，16x16块在垂直方向上将具有16个像素(y＝16)且在水平方向上将具有16个像素(x＝16)。同样地，NxN块大体上在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。可按行及列来布置块中的像素。此外，块未必需要在水平方向上具有与垂直方向上相同的数目个像素。举例来说，块可包括NxM个像素，其中M未必等于N。
在使用CU的PU进行帧内预测性译码或帧间预测性译码之后，视频编码器20可计算CU的TU的残余数据。PU可包括描述产生空间域(还被称作像素域)中的预测性像素数据的方法或模式的语法数据，且TU可包括在将例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换等变换应用于残余视频数据之后的变换域中的系数。残余数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含CU的残余数据的TU，且接着变换所述TU以产生CU的变换系数。
在应用任何变换以产生变换系数之后，视频编码器20可执行变换系数的量化。量化大体上指代如下过程：将变换系数量化以可能地减少用以表示所述系数的数据的量，从而提供进一步压缩。所述量化过程可减少与所述系数中的一些或全部相关联的位深度。举例来说，可在量化期间将n位值向下舍入到m位值，其中n大于m。
在量化之后，视频编码器可扫描变换系数，从而从包含经量化的变换系数的二维矩阵产生一维向量。扫描可经设计成将较高能量(且因此较低频率)系数置放于阵列前部，及将较低能量(且因此较高频率)系数置放于阵列后部。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数，以产生可经熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化的变换系数以形成一维向量之后，视频编码器20可(例如)根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法熵编码所述一维向量。视频编码器20还可熵编码与经编码视频数据相关联的语法元素以供视频解码器30用于解码视频数据。
为了执行CABAC，视频编码器20可将上下文模型内的上下文指派给待发射的符号。所述上下文可关于(例如)符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可针对待发射的符号选择可变长度码。VLC中的码字可经建构以使得相对较短码对应于较有可能的符号，而较长码对应于较不可能的符号。以此方式，使用VLC可达成位节省(与(例如)针对待发射的每一符号使用相等长度的码字相比较)。概率确定可基于指派给符号的上下文而进行。
如上文所描述，可根据所确定的视频译码结构来译码视频序列，其中译码结构定义用于编码视频序列的图片类型(例如，RAP图片及非RAP图片)的分配。举例来说，可用以预定间隔包含的RAP图片编码视频序列，以便促进视频序列的随机存取。此译码结构可用于广播应用。另外，可根据使低延迟应用程序的延迟最小化的译码结构编码视频序列。译码结构单元19可经配置以确定待由视频编码器20使用以编码从视频源18接收的视频序列的译码结构。在一实例中，译码结构单元19可存储对应于相应视频应用程序的预定义的译码结构。译码结构单元19可经配置以输出向视频编码器20及封装单元21中的每一者指示特定译码结构的信息。视频编码器20接收来自视频源18的视频序列及来自译码结构单元19的译码结构信息，且产生经编码视频数据。封装单元21接收来自视频编码器20的经编码视频数据及指示特定译码结构的信息，且产生包含存储单元的经译码视频序列。解封装单元29可经配置以接收经译码视频序列，及剖析存取单元及NAL单元。视频解码器30可经配置以接收NAL单元，及基于包含于所接收的NAL单元中的信息重建构视频数据。
应注意，译码结构单元19及/或视频编码器20可经配置以产生包含于参数集中的语法元素。在一些实例中，译码结构单元19可经配置以产生包含于例如SPS的高层级参数集中的语法元素，且视频编码器20可经配置以基于从译码单元结构所接收的语法元素执行视频编码，以及将经熵编码的语法元素作为经编码视频数据的部分输出。
根据本发明的技术，可按以下方式执行NAL单元类型的分配：使得例如目的地装置14等装置可容易地识别RAP图片及相关联的定时信息。在一实例中，不具有相关联的引导图片的IDR图片具有与可具有相关联的引导图片的IDR图片相异的NAL单元类型。举例来说，不具有相关联的引导图片的IDR图片具有NAL单元类型M，而可具有相关联的引导图片的IDR图片具有NAL单元类型N，其中M不等于N，如表4中所说明。应注意，在表4中所说明的实例中，与IDR图片相关联的引导图片可为DLP图片。在一实例中，表4中所说明的NAL单元类型可并入到表2中所说明的HEVC WD7NAL单元类型码及NAL单元类型类别中。举例来说，表2中经反转的NAL单元类型值可用于表4中的NAL单元类型M及N。
表4：相异IDR NAL单元类型
在另一实例中，不具有相关联的引导图片的CRA图片具有不同于可具有相关联的引导图片的CRA图片的相异NAL单元类型。此外，不具有相关联的TFD图片的CRA图片具有不同于可具有相关联的TFD图片的CRA图片的相异NAL单元。因此，三个不同的NAL单元类型可用于不同类型的CRA图片，如表5中所说明。在一实例中，表5中所说明的NAL单元类型可并入到表2中所说明的HEVC WD7NAL单元类型码及NAL单元类型类别中。举例来说，表1中经反转的NAL单元类型值可用于表5中的NAL单元类型X、Y及Z。
表5：相异CRA NAL单元类型
在另一实例中，不具有相关联的引导图片的BLA图片可具有不同于可具有相关联的引导图片的BLA图片的相异NAL单元类型。此外，不具有相关联的TFD图片的BLA图片可具有不同于可具有相关联的TFD图片的BLA图片的相异NAL单元。因此，三个不同的NAL单元类型可用于不同类型的BLA，如表6中所说明。在一实例中，表6中所说明的NAL单元类型可并入到表2中所说明的HEVC WD7NAL单元类型码及NAL单元类型类别中。举例来说，表2中经反转的NAL单元类型值可用于表6中的NAL单元类型A、B及C。
表6：相异BLA NAL单元类型
关于表4到表6所描述的NAL单元类型的任何及所有组合可用于NAL单元类型的分配。在一实例中，关于表4到表6所描述的所有NAL单元类型可用于NAL单元类型的分配。表7说明表4到表6中所说明的所有NAL类型用于NAL单元类型的分配的实例。如表7中所说明，NAL单元类型包含关于表4到表6所描述的CRA图片、BLA图片及IDR图片NAL单元类型，以及上文所描述的VPS、SPS、PPS及APSNAL单元类型。表7可与上文的表2形成对比，这是因为：表7中所提供的NAL单元类型的分配包含针对IDR图片、CRA图片及BLA图片的多个NAL单元类型，然而，表1中所提供的NAL单元类型的分配包含针对IDR图片、CRA图片及BLA图片中的每一者的单一NAL单元类型。
表7：NAL单元类型码及NAL单元类型类别
封装单元21可经配置以接收来自视频编码器20的经编码视频数据及指示特定译码结构的信息，且基于表2到表7中所说明的NAL单元分配的任何及所有组合中所说明的NAL单元类型的分配，产生包含存取单元的经译码视频序列。另外，解封装单元29可经配置以接收经译码视频序列，并剖析存取单元及NAL单元，其中NAL单元是基于表2到表7中所说明的NAL单元分配的任何及所有组合而分配。
如上文所描述，根据HEVC WD7，为了达成当前图片定时SEI消息及同时实现AU层级及DU层级HRD CPB移除两者以达成子图片延迟的机制，必须在编码全部AU之前，将DU发送出去，且在编码全部AU之前，仍不可将AU层级SEI消息发送出去。根据本发明的技术，封装单元21及解封装单元29可经配置以使得相比于HEVC WD7来说，可修改子图片层级或解码单元层级HRD行为。
举例来说，封装单元21可经配置以使得在编码全部AU之后，发送AU层级SEI消息。此AU层级SEI消息可包含于具有相异NAL单元类型的SEI NAL单元中。此SEI NAL单元与SEI NAL单元的现有定义(例如，如在HEVC WD7中所定义)之间的一差异在于：可允许此相异SEI NAL单元类型在解码次序上接在相同AU中的最后VCLNAL单元之后，且可受约束使得不会在解码次序上在相同AU中的第一VCL NAL单元之前。常规SEI NAL单元及SEI消息可分别被称作前缀SEI NAL单元及前缀SEI消息，而本文中所描述的相异SEI NAL单元及SEI消息可分别被称作后缀SEI NAL单元及后缀SEI消息。
除经配置以基于表2到表7中所说明的NAL单元分配的任何及所有组合而产生经译码视频序列之外，封装单元21还可经配置以产生包含前缀SEI NAL单元及后缀SEINAL单元的经译码视频序列。同样地，解封装单元29可经配置以接收经译码视频序列，并剖析存取单元及NAL单元，其中NAL单元包含前缀SEI NAL单元类型及后缀SEI NAL单元类型。即，解封装单元29可经配置以从存取单元提取后缀SEI NAL单元。表8说明表4到表6中所说明的所有NAL类型用于NAL单元类型的分配的实例，以及前缀SEI NAL单元及后缀SEI NAL单元。
表8：NAL单元类型码及NAL单元类型类别
如上文所描述，除SEI NAL单元之外，非VCL NAL单元类型还包含VPS、SPS、PPS及APS NAL单元。根据HEVC WD7中所定义的参数集类型，每一SPS参考VPSID，每一PPS参考SPS ID，且每一切片标头参考PPS ID且可能参考APS ID。视频编码器20及/或译码结构单元19可经配置以根据HEVC WD7中所定义的参数集产生参数集。另外，视频编码器20及/或译码结构单元19可经配置以产生参数集，其中可任选地在切片标头中用信号发出VPS ID及SPS ID(例如，其中VPS ID在SPS ID之前)。在于切片标头中用信号发出VPS ID及SPS ID的一实例中，无VPS ID将位于SPS中且无SPS ID将位于PPS中。另外，在一实例中，VPS ID及SPS ID可存在于每一RAP图片的切片标头中，且每一图片可与恢复点SEI消息相关联。另外，在其它实例中，VPS ID及SPS ID可存在于其它图片的切片标头中。
图4为说明可实施本发明中所描述的技术的实例封装单元的框图。在图4中所说明的实例中，封装单元21包含VCL NAL单元建构器402、非VCL NAL单元建构器404、存取单元建构器406及位流输出接口408。封装单元21接收经编码视频数据及高阶语法，并输出经编码视频位流。经编码视频数据可包含与切片相关联的残余视频数据及语法数据。高阶语法数据可包含(例如)包含于参数集中的语法元素、SEI消息或由例如即将到来的HEVC标准等视频译码标准定义的其它语法元素。经编码视频位流可包含一或多个经译码视频序列，且可大体上符合例如即将到来的HEVC标准等视频译码标准。如上文所描述，VCL NAL单元包含视频数据的切片。VCL NAL单元建构器402可经配置以接收经编码视频数据的切片，且基于包含切片的图片的类型而产生VCL NAL单元。VCL NAL单元建构器402可经配置以根据上文关于表2到表8所描述的NAL分配的任何及所有组合而产生VCL NAL单元。VCL NAL单元建构器402可经配置以在VCLNAL单元中包含标头，其中所述标头识别VCLNAL单元的类型。
举例来说，VCL NAL单元建构器402可经配置以接收包含于一IDR图片中的视频数据的切片，且(1)如果所述IDR图片不具有相关联的引导图片，那么将视频数据的所述切片封装于具有指示所述IDR图片不具有引导图片的类型的NAL单元中，或(2)如果所述IDR图片具有相关联的引导图片，那么将视频数据的所述切片封装于具有指示所述IDR图片具有引导图片的类型的NAL单元中。VCL NAL单元建构器402可经配置以接收包含于一CRA图片中的视频数据的切片，且(1)如果所述CRA图片不具有相关联的引导图片，那么将视频数据的所述切片封装于具有指示所述CRA图片不具有引导图片的类型的NAL单元中，或(2)如果所述CRA图片具有相关联的引导图片，那么将视频数据的所述切片封装于具有指示所述CRA图片具有引导图片的类型的NAL单元中。另外，如果与CRA图片相关联的引导图片为TFD图片，那么VCL NAL单元建构器402可经配置以将视频数据的切片封装于具有指示与CRA图片相关联的引导图片为TFD的类型的NAL单元中。
另外，如果与CRA图片相关联的引导图片并非TFD图片，那么VCL NAL单元建构器402可经配置以将视频数据的所述切片封装于具有指示与CRA图片相关联的引导图片并非TFD的类型的NAL单元中。另外，VCL NAL单元建构器402可经配置以接收包含于一BLA图片中的视频数据的切片，且(1)如果所述BLA图片不具有相关联的引导图片，那么将视频数据的所述切片封装于具有指示所述BLA图片不具有引导图片的类型的NAL单元中，或(2)如果所述BLA图片具有相关联的引导图片，那么将视频数据的所述切片封装于具有指示所述BLA图片具有引导图片的类型的NAL单元中。另外，如果与BLA图片相关联的引导图片为TFD图片，那么VCL NAL单元建构器402可经配置以将视频数据的切片封装于具有指示与BLA图片相关联的引导图片为TFD的类型的NAL单元中。另外，如果与BLA图片相关联的引导图片并非TFD图片，那么VCL NAL单元建构器402可经配置以将视频数据的切片封装于具有指示与BLA图片相关联的引导图片并非TFD的类型的NAL单元中。
图5为说明根据本发明的技术产生VCL NAL单元的实例的流程图。尽管将图5中所说明的产生VCL NAL单元的实例描述为由VCL NAL单元建构器402执行，但源装置12、视频编码器20、封装单元21及其组件的组合的任何组合可执行图5中所说明的产生VCL NAL单元的实例。如图5中所说明，VCL NAL单元建构器402接收视频数据的切片(502)。可根据本文中所描述的编码技术中的任一者将视频数据的切片编码为经编码视频数据。视频数据的切片可包含于本文中所描述的图片类型中的一者中。VCL NAL单元建构器402确定视频数据的切片包含于IDR图片还是CRA图片中(504)。
如果视频数据的切片包含于IDR图片中(504的“IDR”分支)，那么VCL NAL单元建构器402确定所述IDR图片是否具有相关联的引导图片(506)。如果IDR图片不具有相关联的引导图片(506的“否”分支)，那么VCL NAL单元建构器402产生指示所述IDR图片不具有相关联的引导图片的VCL NAL单元(508)。如果IDR图片具有相关联的引导图片(506的“是”分支)，那么VCL NAL单元建构器402产生指示所述IDR图片具有相关联的引导图片的VCL NAL单元(510)。
如果视频数据的切片包含于CRA图片中，那么VCL NAL单元建构器402确定所述CRA图片是否具有相关联的引导图片(512)。如果CRA图片不具有相关联的引导图片(512的“否”分支)，那么VCL NAL单元建构器402产生指示所述CRA图片不具有相关联的引导图片的VCL NAL单元(514)。如果CRA图片具有相关联的引导图片(512的“是”分支)，那么VCL NAL单元建构器402确定相关联的引导图片是否为TFD图片(516)。
如果CRA图片的相关联的引导图片为TFD图片(516的“是”分支)，那么VCLNAL单元建构器402产生指示CRA的相关联的引导图片为TFD图片的VCL NAL单元(518)。如果BLA图片的相关联的引导图片并非TFD图片(516的“否”分支)，那么VCL NAL单元建构器402产生指示相关联的引导图片并非TFD图片的VCL NAL单元(520)。
VCL NAL单元建构器402可通过将切片数据封装于NAL单元中及将NAL单元类型值包含于NAL单元标头中而产生NAL单元。每一NAL单元类型值可对应于一相应NAL单元类型。在一实例中，可根据表7定义NAL单元类型值。可由NAL单元建构器402将所产生的NAL单元输出到存取单元建构器406以用于包含于存取单元中(522)。
以此方式，封装单元21表示用于产生包含视频数据的位流的装置的实例，所述装置包含处理器，所述处理器经配置以：确定随机存取点(RAP)图片是否为可具有相关联的引导图片的类型，及所述RAP图片包括瞬时解码器刷新(IDR)图片还是清洁随机存取(CRA)图片；将所述RAP图片的切片封装于网络抽象层(NAL)单元中，其中所述NAL单元包含指示所述RAP图片是否为可具有相关联的引导图片的类型的NAL单元类型值；及产生包含所述NAL单元的位流。
同样地，图5的方法表示产生包含视频数据的位流的方法的实例，所述方法包含：确定随机存取点(RAP)图片是否为可具有相关联的引导图片的类型，及所述RAP图片包括瞬时解码器刷新(IDR)图片还是清洁随机存取(CRA)图片；将所述RAP图片的切片封装于网络抽象层(NAL)单元中，其中所述NAL单元包含指示所述RAP图片是否为可具有相关联的引导图片的类型的NAL单元类型值；及产生包含所述NAL单元的位流。
再次参看图4，非VCL NAL单元建构器404可经配置以接收高阶语法元素，例如包含于参数集及SEI消息中的语法元素(如上文所描述)，且基于上文关于表2到表8所描述的NAL单元分配的任何及所有组合而产生非VCL NAL单元。非VCL NAL单元建构器404可经配置以通过将语法数据封装于NAL单元中及将NAL单元类型值包含于NAL单元标头中而产生非VCL NAL单元。举例来说，非VCL NAL建构器可经配置以接收包含于参数集中的语法元素，且将指示参数集类型的NAL单元类型值包含于NAL单元标头中。
另外，非VCL NAL单元建构器404可经配置以接收AU层级SEI消息，且产生SEI消息NAL单元。在一实例中，非VCL NAL单元建构器404可经配置以产生两种类型的SEI消息NAL单元，其中第一类型的SEI NAL单元指示此SEI NAL单元可在解码次序上接在存取单元中的最后VCL NAL单元之后，且第二类型的SEI NAL单元指示此SEI NAL单元不可在解码次序上接在存取单元中的最后VCL NAL单元之后。另外，第一类型的SEI NAL可受约束，使得不可允许其在解码次序上在相同存取单元中的第一VCL NAL单元之前。第一类型的NAL单元可被称作后缀SEI NAL单元，且第二类型的NAL单元可被称作前缀SEI NAL单元。非VCL NAL单元建构器404将非VCL NAL单元输出到存取单元建构器406。
存取单元建构器406可经配置以接收VCL NAL单元及非VCL NAL单元，且产生存取单元。存取单元建构器406可接收表2到表8中所定义的任何类型的NAL单元。VCL存取单元建构器406可经配置以基于本文中所描述的NAL单元类型的任何及所有组合而产生存取单元。如上文所描述，根据HEVC WD7，存取单元为在解码次序上连续且含有一经译码图片的NAL单元的集合。因此，存取单元建构器406可经配置以接收多个NAL单元，且根据解码次序布置所述多个NAL单元。另外，存取单元建构器406可经配置以布置后缀SEI NAL单元，如上文所描述，使得其接在存取单元中的最后VCL NAL单元之后及/或不在相同存取单元中的第一VCL NAL单元之前。
图6为说明根据本发明的技术产生非VCL NAL单元的实例的流程图。尽管将图6中所说明的产生非VCL NAL单元的实例描述为由非VCL NAL单元建构器404及存取单元建构器406执行，但源装置12、视频编码器20、封装单元21及其组件的组合的任何组合可执行图6中所说明的产生非VCLNAL单元的实例。
如图6中所展示，非VCL NAL单元建构器404接收SEI消息(602)。SEI消息可为上文关于表1所描述的任何类型的SEI消息。非VCL NAL单元建构器404确定所述SEI消息为前缀SEI消息还是后缀SEI消息(604)。
如果所述SEI消息为后缀SEI消息(604的“后缀”分支)，那么非VCL NAL单元建构器404产生SEI NAL单元的指示SEI NAL单元为后缀SEI消息的类型值(606)。如果所述SEI消息为前缀SEI消息(604的“前缀”分支)，那么非VCL NAL单元建构器404产生SEI NAL单元的指示SEI NAL单元为常规SEI消息的类型值(608)。
存取单元建构器406接收所产生的NAL单元，所述所产生的NAL单元可包含上文关于表2到表8所描述的NAL单元的类型的任何组合(610)。存取单元建构器406产生包含所接收的NAL单元的存取单元(612)。如果所产生的存取单元包含后缀SEI NAL单元，那么存取单元的NAL单元可经布置，使得所述后缀SEI NAL并不在相同存取单元中的第一VCL NAL单元之前，但可在解码次序上接在存取单元中的最后VCL NAL单元之后。
以此方式，封装单元21表示处理器的实例，所述处理器经配置以：确定补充增强信息(SEI)消息为前缀SEI消息还是后缀SEI消息，其中所述SEI消息包含与经编码视频数据有关的数据；将所述SEI消息封装于SEI NAL单元中，其中所述SEI NAL单元包含NAL单元类型值，所述NAL单元类型值指示所述SEI NAL单元为前缀SEI NAL单元还是后缀SEI NAL单元，及所述SEI消息为前缀SEI消息还是后缀SEI消息；及产生至少包含所述SEI NAL单元的位流。
同样地，图6的方法表示产生包含视频数据的位流的方法的实例，所述方法包含：确定补充增强信息(SEI)消息为前缀SEI消息还是后缀SEI消息，其中所述SEI消息包含与经编码视频数据有关的数据；将所述SEI消息封装于SEI NAL单元中，其中所述SEI NAL单元包含NAL单元类型值，所述NAL单元类型值指示所述SEI NAL单元为前缀SEI NAL单元还是后缀SEI NAL单元，及所述SEI消息为前缀SEI消息还是后缀SEI消息；及产生至少包含所述SEI NAL单元的位流。
再次参看图4，位流输出接口408可经配置以接收存取单元，且产生经译码视频序列。位流输出接口408可经进一步配置以将经译码视频序列作为经编码视频位流的部分输出，其中经编码视频位流包含基于本文中所描述的NAL单元类型的任何及所有组合的一或多个经译码视频序列。如上文所描述，根据HEVC WD7，经译码视频序列为在解码次序上连续的存取单元的集合。因此，位流输出接口408可经配置以接收多个存取单元，且根据解码次序布置所述多个存取单元。
如上文所描述，译码结构单元19及/或视频编码器20可经配置以产生包含于参数集中的语法元素，包含可包含于VUI参数的集合中的fixed_pic_rate_flag语法元素，VUI参数的集合可包含于SPS中，如HEVC WD7中所提供。另外，译码结构单元19及/或视频编码器20可经配置以产生fixed_pic_rate_flag语法元素，其中所述fixed_pic_rate_flag语法元素包含从HEVC WD7中所提供的那些语义修改的语义。举例来说，根据HEVC WD7中的fixed_pic_rate_flag的当前语义，当fixed_pic_rate_flag等于1时，需要在输出次序上连续的两个图片的呈现时间之间的差等于时钟刻度。然而，当丢弃一些最高时间层以达成基于时间可缩放性的流调适时，此情况将需要改变time_scale或num_units_in_tick的值。
在一实例中，不需要增量(即，在输出次序上连续的两个图片的呈现时间之间的差)确切等于时钟刻度，而是可能需要增量为时钟刻度的整数数目倍。以此方式，译码结构单元19及/或视频编码器20可经配置以产生fixed_pic_rate_flag语法元素，使得当fixed_pic_rate_flag等于1时，需要在输出次序上连续的两个图片的呈现时间之间的差等于时钟刻度的整数倍。
在另一实例中，可能需要译码结构单元19及/或视频编码器20针对每一时间层用信号发出fixed_pic_rate_flag。另外，在此实例中，如果特定时间层的fixed_pic_rate_flag等于1，即，时间层表示具有恒定图片速率，那么可用信号发出值N，且所述时间层表示的增量(在输出次序上连续的两个图片的呈现时间之间)可等于时钟刻度的N倍。
在另一实例中，译码结构单元19及/或视频编码器20可经配置以任选地针对每一时间层用信号发出fixed_pic_rate_flag。在此实例中，如果特定层的fixed_pic_rate_flag存在且等于1，即，时间层表示具有恒定图片速率，那么可用信号发出值N，且所述时间层表示的增量(在输出次序上连续的两个图片的呈现时间之间)等于时钟刻度的N倍。在任选地针对每一时间层用信号发出fixed_pic_rate_flag的状况下，假定针对最高时间层用信号发出fixed_pic_rate_flag且值等于1，接着，针对不具有用信号发出的fixed_pic_rate_flag的每一特定时间层，可导出fixed_pic_rate_flag的值等于针对最高时间层用信号发出的fixed_pic_rate_flag，且导出N的值等于2max_Tid-currTid，其中max_Tid等于最高temporal_id值，且currTid等于特定时间层的temporal_id。
图7为说明用信号发出呈现时间增量值的实例的流程图。尽管将图7中所说明的用信号发出呈现时间增量值的实例描述为由封装单元21执行，但源装置12、视频编码器20、封装单元21及其组件的组合的任何组合可执行图7中所说明的用信号发出呈现时间增量值的实例。
如图7的实例中所说明，封装单元21产生指示第一图片的呈现时间(例如，POC值)与第二图片的呈现时间之间的增量是否为时钟刻度值的整数的旗标(702)。换句话说，封装单元21可产生指示第一图片与第二图片的呈现时间之间的差(例如，增量)是否为时钟刻度值的整数倍的数据。图7中所描述的旗标表示此所产生的数据的实例。在一些状况下，封装单元21可从译码结构单元19或视频编码器20接收旗标的值。旗标可为上文所描述的fixed_pic_rate_flag语法元素中的任一者。
在一实例中，封装单元21确定旗标的值是否可指示增量为时钟刻度值的整数倍(704)。当旗标指示增量为时钟刻度的整数值时(704的“是”分支)，封装单元21可产生表示时钟刻度值的整数倍的整数值N(706)。可由例如目的地装置14等解码装置使用整数值N，以确定所述增量值，其中所述增量为时钟刻度值的整数倍。在一实例中，整数值N可为0到2047的值，且可指示增量所等于的比时钟的整数倍数小1的值。封装单元21可接着将旗标及整数值N作为位流的部分输出(708)。
另一方面，当封装单元21确定旗标指示增量值并非时钟刻度的整数倍时(704的“否”分支)，封装单元21可仅输出所述旗标(710)。
以此方式，源装置12表示处理器的实例，所述处理器经配置以：产生指示第一图片的呈现时间与第二图片的呈现时间之间的差是否为时钟刻度值的整数倍的数据，及在所述数据指示所述差为时钟刻度值的整数倍时，产生表示所述整数倍数的数据。
同样地，图7的方法表示用于产生包含视频数据的位流的方法的实例，所述方法包含：产生指示第一图片的呈现时间与第二图片的呈现时间之间的差是否为时钟刻度值的整数倍的数据，及在所述数据指示所述差为时钟刻度值的整数倍时，产生表示所述整数倍数的数据。
如上文所描述，封装单元21接收经编码视频数据。图8为说明可产生经编码视频数据的视频编码器20的实例的框图。如图8中所展示，视频编码器20接收视频数据及高阶语法数据。视频编码器20通常对个别视频切片内的视频块操作，以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且大小可根据指定译码标准而不同。视频编码器20可进一步产生(例如)帧标头中、块标头中、切片标头中或GOP标头中的语法数据，例如，基于块的语法数据、基于帧的语法数据及基于GOP的语法数据。GOP语法数据可描述相应GOP中的帧的数目，且帧语法数据可指示用以编码对应帧的编码/预测模式。
在图8的实例中，视频编码器20包含模式选择单元40、参考图片存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46及分割单元48。为了视频块重建构，视频编码器20还包含反量化单元58、反变换单元60及求和器62。还可包含解块滤波器(图8中未展示)以对块边界进行滤波以从经重建构的视频移除成块假影。在需要时，解块滤波器通常将对求和器62的输出进行滤波。除解块滤波器之外，还可使用额外的滤波器(回路内或回路后)。为简洁起见，未展示此些滤波器，但在需要时，此些滤波器可对求和器50的输出进行滤波(作为回路内滤波器)。
在编码过程期间，视频编码器20接收待译码的视频帧或切片。可将帧或切片划分成多个视频块。运动估计单元42及运动补偿单元44相对于一或多个参考帧中的一或多个块对所接收的视频块执行帧间预测性译码，以提供时间预测。帧内预测单元46可替代地相对于与待译码的块相同的帧或切片中的一或多个相邻块对所接收的视频块执行帧内预测性译码，以提供空间预测。视频编码器20可执行多个译码遍次(例如)以选择用于视频数据的每一块的适当译码模式。
此外，分割单元48可基于先前译码遍次中的先前分割方案的评估而将视频数据的块分割成子块。举例来说，分割单元48可最初将帧或切片分割成LCU，且基于速率-失真分析(例如，速率-失真最佳化)而将所述LCU中的每一者分割成子CU。模式选择单元40可进一步产生指示将LCU分割成子CU的四分树数据结构。四分树的叶节点CU可包含一或多个PU及一或多个TU。
模式选择单元40可选择译码模式(帧内或帧间)中的一者(例如，基于错误结果)，且将所得的经帧内译码或经帧间译码的块提供到求和器50以产生残余块数据，及提供到求和器62以重建构经编码块以供用作参考帧。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息及其它此语法信息)提供到熵编码单元56。
运动估计单元42及运动补偿单元44可高度集成，但出于概念目的而分别加以说明。由运动估计单元42执行的运动估计为产生估计视频块的运动的运动向量的过程。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测性块(其相对于当前帧(或其它经译码单元)内正经译码的当前块)的位移。预测性块为经发现在像素差方面紧密地匹配待译码的块的块，所述像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差量度来确定。在一些实例中，视频编码器20可计算存储于参考图片存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行相对于全像素位置及分数像素位置的运动搜索，且以分数像素精度输出运动向量。
运动估计单元42通过比较经帧间译码的切片中的视频块的PU的位置与参考图片的预测性块的位置而计算所述PU的运动向量。参考图片可选从第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述列表中的每一者识别存储于参考图片存储器64中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量来提取或产生预测性块。此外，在一些实例中，运动估计单元42及运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44便可将运动向量所指向的预测性块定位于参考图片列表中的一者中。求和器50通过从正经译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块，如下文所论述。大体上，运动估计单元42相对于明度分量执行运动估计，且运动补偿单元44将基于明度分量而计算的运动向量用于色度分量与明度分量两者。模式选择单元40还可产生与视频块及视频切片相关联的语法元素以供视频解码器30用于解码视频切片的视频块。
作为由运动估计单元42及运动补偿单元44执行的帧间预测(如上文所描述)的替代，帧内预测单元46可帧内预测当前块。详细地说，帧内预测单元46可确定使用帧内预测模式来编码当前块。在一些实例中，帧内预测单元46可(例如)在单独编码遍次期间使用各种帧内预测模式来编码当前块，且帧内预测单元46(或在一些实例中，模式选择单元40)可从所测试的模式选择适当帧内预测模式来使用。
举例来说，帧内预测单元46可使用针对各种所测试的帧内预测模式的速率-失真分析计算速率-失真值，且在所测试的模式当中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析大体上确定经编码块与原始的未经编码块之间的失真(或错误)的量以及用以产生经编码块的位速率(即，位的数目)，所述原始的未经编码块经编码以产生所述经编码块。帧内预测单元46可从各种经编码块的失真及速率计算比率以确定哪一帧内预测模式展现块的最佳速率-失真值。
在选择块的帧内预测模式之后，帧内预测单元46可将指示块的所选择的帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示所选择的帧内预测模式的信息。视频编码器20可在经发射的位流配置数据中包含各种块的编码上下文的定义及用于所述上下文中的每一者的最有可能的帧内预测模式、帧内预测模式索引表及修改的帧内预测模式索引表的指示，所述经发射的位流配置数据可包含多个帧内预测模式索引表及多个修改的帧内预测模式索引表(还被称作码字映射表)。
视频编码器20通过从正经译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示执行此减法运算的(多个)组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、次频带变换或其它类型的变换。在任一状况下，变换处理单元52将变换应用于残余块，从而产生残余变换系数的块。所述变换可将残余信息从像素值域转换到变换域(例如，频域)。变换处理单元52可将所得的变换系数发送到量化单元54。量化单元54量化所述变换系数以进一步减少位速率。量化过程可减少与所述系数中的一些或全部相关联的位深度。可通过调整量化参数而修改量化程度。在一些实例中，量化单元54可接着执行包含经量化的变换系数的矩阵的扫描。或者，熵编码单元56可执行所述扫描。
在量化之后，熵编码单元56熵译码所述经量化的变化系数。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的状况下，上下文可基于相邻块。在由熵编码单元56进行熵译码之后，可将经编码位流发射到另一装置(例如，视频解码器30)或将其存档以供稍后发射或检索。
反量化单元58及反变换单元60分别应用反量化及反变换以在像素域中重建构残余块(例如)以供稍后用作参考块。运动补偿单元44可通过将残余块加到参考图片存储器64的帧中的一者的预测性块来计算参考块。运动补偿单元44还可对经重建构的残余块应用一或多个内插滤波器以计算用于在运动估计中使用的子整数像素值。求和器62将经重建构的残余块加到由运动补偿单元44产生的经运动补偿的预测块以产生经重建构的视频块以用于存储于参考图片存储器64中。经重建构的视频块可由运动估计单元42及运动补偿单元44用作参考块以帧间译码后续视频帧中的块。
如上文所描述，解封装单元29可经配置以接收经译码视频序列，并剖析存取单元及NAL单元，其中NAL单元是基于表2到表7中所说明的NAL单元分配的任何及所有组合而分配。另外，解封装单元29及视频解码器30可基于NAL单元类型分配而重建构视频数据。在一实例中，解封装单元29可经配置以接收NAL单元，其中所述NAL单元包含NAL类型值，且基于所述NAL类型值，确定所述NAL单元是否封装包含于与引导图片相关联的RAP图片中的视频数据的经编码切片，且视频解码器30可经配置以基于所述NAL单元是否封装包含于与引导图片相关联的RAP图片中的视频数据的经编码切片，重建构视频数据。在另一实例中，解封装单元29可经配置以接收NAL单元，其中所述NAL单元包含NAL类型值，且基于所述NAL类型值，确定所述NAL单元是否封装AU层级SEI消息，且视频解码器30可经配置以基于所述NAL单元是否封装AU层级SEI消息而重建构视频数据。在一些状况下，重建构视频数据可包含产生经拼接的位流，如上文所描述，且视频解码器30可基于NAL单元类型确定而确定经拼接的视频流中的图片的呈现时间。
另外如上文所描述，例如源装置12的源装置可经配置以用信号发出第一图片的呈现时间与第二图片的呈现时间之间的增量，其中所述发信号使用可为上文所描述的fixed_pic_rate_flag语法元素中的任一者的语法元素中的任一者。因此，目的地装置14、解封装单元29及视频解码器30可经配置以确定第一图片及第二图片的呈现时间，且相应地呈现所述图片。
图9为说明确定呈现时间增量值的实例方法的流程图。尽管将图9中所说明的用信号发出呈现时间增量值的实例描述为由解封装单元29执行，但目的地装置14、视频解码器30、解封装单元29及其组件的组合的任何组合可执行图9中所说明的确定呈现时间增量值的实例。如图9中所说明，解封装单元29获得第一图片(902)。第一图片可为对应于存取单元的经编码图片。解封装单元29获得第二图片(904)。第二图片可为对应于存取单元的经编码图片。第二图片可包含于与第一图片相同的时间层中。另外，第一图片及第二图片可包含于视频数据的最高时间层中。
解封装单元29可接着获得整数值N(906)。这是假定解封装单元29先前已获得数据，例如旗标的值，其指示。整数值N可包含于VUI参数的集合中，VUI参数的集合可包含于SPS中。解封装单元29确定时钟刻度值(908)。解封装单元29可根据上文所描述的等式(1)，基于time_scale及num_units_in_tick语法元素而确定时钟刻度值。
解封装单元29可接着确定第一图片的呈现时间与第二图片的呈现时间之间的增量(910)。所述增量可基于整数值N而等于时钟刻度值的整数倍。举例来说，增量可等于(N+1)*时钟刻度。
解封装单元29及视频解码器30可接着根据所确定的增量呈现第一图片及第二图片(912)。在一实例中，解封装单元29可将所述增量值用信号发出到视频解码器30，且视频解码器30可基于所述增量值而执行解码过程。以此方式，目的地装置14表示包含处理器的装置的实例，所述处理器经配置以确定第一图片的呈现时间与第二图片的呈现时间之间的差值，其中所述差值等于整数值乘以时钟刻度值，及根据所确定的差值呈现第一图片及第二图片。
同样地，图9的方法表示包含以下操作的方法的实例：确定第一图片的呈现时间与第二图片的呈现时间之间的差值，其中所述差值等于整数值乘以时钟刻度值，及根据所确定的差值呈现第一图片及第二图片。
图10为说明视频解码器30的实例的框图，视频解码器30可实施用于进行以下操作的技术：(1)接收包含NAL单元类型的数据，(2)处理所接收的子图片层级或解码单元层级HRD行为，(3)处理包含对参数集ID的参考的数据，(4)处理包含fixed_pic_rate_flag的改进的语义的所接收的数据，或此些各者的任何及所有组合。在图10的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、参考图片存储器82及求和器80。在一些实例中，视频解码器30可执行与关于视频编码器20(图2)所描述的编码遍次大体上互逆的解码遍次。运动补偿单元72可基于从熵解码单元70所接收的运动向量而产生预测数据，而帧内预测单元74可基于从熵解码单元70所接收的帧内预测模式指示符产生预测数据。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块的经编码视频位流及相关联的语法元素。视频解码器30的熵解码单元70熵解码位流以产生经量化的系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转递到运动补偿单元72。视频解码器30可接收视频切片层级及/或视频块层级的语法元素。
当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可基于用信号发出的帧内预测模式及来自当前帧或图片的先前经解码块的数据而产生当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即，B、P或GPB)切片时，运动补偿单元72基于从熵解码单元70所接收的运动向量及其它语法元素而产生当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解码器30可基于存储于参考图片存储器82中的参考图片，使用默认建构技术来建构参考帧列表：列表0及列表1。运动补偿单元72通过剖析运动向量及其它语法元素而确定当前视频切片的视频块的预测信息，且使用所述预测信息产生正经解码的当前视频块的预测性块。举例来说，运动补偿单元72使用所接收的语法元素中的一些语法元素来确定用以译码视频切片的视频块的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的建构信息、切片的每一经帧间编码视频块的运动向量、切片的每一经帧间译码视频块的帧间预测状态，及用以解码当前视频切片中的视频块的其它信息。
运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的内插值。在此状况下，运动补偿单元72可从所接收的语法元素确定由视频编码器20使用的内插滤波器，且使用所述内插滤波器来产生预测性块。
反量化单元76将提供于位流中且由熵解码单元70解码的经量化的变换系数反量化(即，解量化)。反量化过程可包含使用由视频解码器30计算的视频切片中的每一视频块的量化参数QPY，来确定量化程度及(同样地)应应用的反量化的程度。
反变换单元78将反变换(例如，反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数，以便在像素域中产生残余块。
在运动补偿单元72基于运动向量及其它语法元素产生当前视频块的预测性块之后，视频解码器30通过将来自反变换单元78的残余块与由运动补偿单元72产生的对应预测性块加总而形成经解码视频块。求和器80表示执行此加总运算的(多个)组件。在需要时，还可应用解块滤波器来对经解码块进行滤波以便移除成块假影。其它回路滤波器(译码回路中或译码回路后)还可用以使像素转变平滑，或以其它方式改进视频质量。接着将给定帧或图片中的经解码视频块存储于参考图片存储器82中，参考图片存储器82存储用于后续运动补偿的参考图片。参考图片存储器82还存储经解码视频以用于稍后呈现于显示装置(例如，图3的显示装置32)上。
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以不同序列来执行，可经添加、合并或完全省略(例如，对于实践所述技术来说，并非所有所描述的动作或事件皆是必要的)。此外，在某些实例中，可(例如)经由多线程处理、中断处理或多个处理器同时而非顺序地执行动作或事件。
在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体予以发射，且由基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体，通信媒体包含(例如)根据通信协议促进计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、代码及/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
通过实例而非限制，此些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。而且，任何连接可适当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或无线技术(例如，红外线、无线电及微波)而从网站、服务器或其它远程源发射指令，那么同轴电缆、光纤缆线、双绞线、DSL或无线技术(例如，红外线、无线电及微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而实情为，针对非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式复制数据，而光盘通过激光以光学方式复制数据。上文各者的组合还应包含于计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指代上述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码及解码的专用硬件及/或软件模块内，或并入于组合式编解码器中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可以广泛多种装置或设备来实施，所述装置或设备包含无线手持机、集成电路(IC)或IC的集合(例如，芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元来实现。确切地说，如上文所描述，可将各种单元组合于编解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合结合合适的软件及/或固件来提供所述单元。
已描述各种实例。此些及其它实例在以下权利要求书的范围内。

Claims (24)

1.一种解码视频数据的方法，所述方法包括：
针对位流的补充增强信息SEI网络抽象层NAL单元，确定所述SEI NAL单元的NAL单元类型值指示所述NAL单元包括包含前缀SEI消息的前缀SEI NAL单元还是包含后缀SEI消息的后缀SEI NAL单元；及
基于所述SEI NAL单元为所述前缀SEI NAL单元还是所述后缀SEI NAL单元及所述SEI NAL单元的数据，解码在所述SEI NAL单元之后的所述位流的视频数据。
2.根据权利要求1所述的方法，其进一步包括在所述SEI NAL单元包括所述后缀SEINAL单元时，从存取单元AU提取所述后缀SEI NAL单元，所述存取单元AU至少包含在解码次序上在所述后缀SEI NAL单元之前的所述AU中的第一视频译码层VCL NAL单元。
3.根据权利要求2所述的方法，其中所述后缀SEI NAL单元在解码次序上在所述AU中的所有VCL NAL单元之后。
4.一种用于解码视频数据的装置，所述装置包括处理器，所述处理器经配置以：针对位流的补充增强信息SEI网络抽象层NAL单元，确定所述SEI NAL单元的NAL单元类型值指示所述NAL单元包括包含前缀SEI消息的前缀SEI NAL单元还是包含后缀SEI消息的后缀SEI NAL单元；及基于所述SEI NAL单元为所述前缀SEINAL单元还是所述后缀SEI NAL单元及所述SEI NAL单元的数据，解码在所述SEI NAL单元之后的所述位流的视频数据。
5.根据权利要求4所述的装置，其中所述处理器经配置以在所述SEI NAL单元包括所述后缀SEI NAL单元时，从存取单元AU提取所述后缀SEI NAL单元，所述存取单元AU至少包含在解码次序上在所述后缀SEI NAL单元之前的所述AU中的第一视频译码层VCLNAL单元。
6.根据权利要求5所述的装置，其中所述后缀SEI NAL单元在解码次序上在所述AU中的所有VCL NAL单元之后。
7.一种用于解码视频数据的装置，所述装置包括：
用于针对位流的补充增强信息SEI网络抽象层NAL单元，确定所述SEI NAL单元的NAL单元类型值指示所述NAL单元包括包含前缀SEI消息的前缀SEI NAL单元还是包含后缀SEI消息的后缀SEI NAL单元的装置；及
用于基于所述SEI NAL单元为所述前缀SEI NAL单元还是所述后缀SEI NAL单元及所述SEI NAL单元的数据，解码在所述SEI NAL单元之后的所述位流的视频数据的装置。
8.根据权利要求7所述的装置，其进一步包括用于在所述SEI NAL单元包括所述后缀SEI NAL单元时，从存取单元AU提取所述后缀SEI NAL单元的装置，所述存取单元AU至少包含在解码次序上在所述后缀SEI NAL单元之前的所述AU中的第一视频译码层VCLNAL单元。
9.根据权利要求8所述的装置，其中所述后缀SEI NAL单元在解码次序上在所述AU中的所有VCL NAL单元之后。
10.一种具有存储于其上的指令的计算机可读存储媒体，所述指令在经执行时使得处理器进行以下操作：
针对位流的补充增强信息SEI网络抽象层NAL单元，确定所述SEI NAL单元的NAL单元类型值指示所述NAL单元包括包含前缀SEI消息的前缀SEI NAL单元还是包含后缀SEI消息的后缀SEI NAL单元；及
基于所述SEI NAL单元为所述前缀SEI NAL单元还是所述后缀SEI NAL单元及所述SEI NAL单元的数据，解码在所述SEI NAL单元之后的所述位流的视频数据。
11.根据权利要求10所述的计算机可读存储媒体，其进一步包括使得所述处理器在所述SEI NAL单元包括所述后缀SEI NAL单元时，从存取单元AU提取所述后缀SEINAL单元的指令，所述存取单元AU至少包含在解码次序上在所述后缀SEI NAL单元之前的所述AU中的第一视频译码层VCL NAL单元。
12.根据权利要求11所述的计算机可读存储媒体，其中所述后缀SEI NAL单元在解码次序上在所述AU中的所有VCL NAL单元之后。
13.一种产生包含视频数据的位流的方法，所述方法包括：
确定补充增强信息SEI消息为前缀SEI消息还是后缀SEI消息，其中所述SEI消息包含与经编码视频数据有关的数据；
将所述SEI消息封装于SEI NAL单元中，其中所述SEI NAL单元包含NAL单元类型值，所述NAL单元类型值指示所述SEI NAL单元为前缀SEI NAL单元还是后缀SEI NAL单元，及所述SEI消息为前缀SEI消息还是后缀SEI消息；及
产生至少包含所述SEI NAL单元的位流。
14.根据权利要求13所述的方法，其中产生所述经编码位流包括将所述SEI NAL单元封装于存取单元AU中，使得当所述NAL单元类型值指示所述SEI NAL单元为后缀SEI NAL单元时，所述SEI NAL单元在解码次序上在所述AU中的第一视频译码层VCL NAL单元之后。
15.根据权利要求14所述的方法，其中产生所述位流进一步包括将所述SEI NAL单元封装于所述AU中，使得当所述NAL单元类型值指示所述SEI NAL单元为所述后缀SEI NAL单元时，所述SEI NAL单元在解码次序上进一步接在所述AU中的最后VCLNAL单元之后。
16.一种用于产生包含视频数据的位流的装置，所述装置包括处理器，所述处理器经配置以：确定补充增强信息SEI消息为前缀SEI消息还是后缀SEI消息，其中所述SEI消息包含与经编码视频数据有关的数据；将所述SEI消息封装于SEI NAL单元中，其中所述SEI NAL单元包含NAL单元类型值，所述NAL单元类型值指示所述SEI NAL单元为前缀SEI NAL单元还是后缀SEI NAL单元，及所述SEI消息为前缀SEI消息还是后缀SEI消息；及产生至少包含所述SEI NAL单元的位流。
17.根据权利要求16所述的装置，其中所述处理器经配置以将所述SEI NAL单元封装于存取单元AU中，使得当所述NAL单元类型值指示所述SEI NAL单元为后缀SEINAL单元时，所述SEI NAL单元在解码次序上在所述AU中的第一视频译码层VCLNAL单元之后。
18.根据权利要求17所述的装置，其中所述处理器经配置以将所述SEI NAL单元封装于所述AU中，使得当所述NAL单元类型值指示所述SEI NAL单元为所述后缀SEINAL单元时，所述SEI NAL单元在解码次序上进一步接在所述AU中的最后VCLNAL单元之后。
19.一种用于产生包含视频数据的位流的装置，所述装置包括：
用于确定补充增强信息SEI消息为前缀SEI消息还是后缀SEI消息的装置，其中所述SEI消息包含与经编码视频数据有关的数据；
用于将所述SEI消息封装于SEI NAL单元中的装置，其中所述SEI NAL单元包含NAL单元类型值，所述NAL单元类型值指示所述SEI NAL单元为前缀SEI NAL单元还是后缀SEI NAL单元，及所述SEI消息为前缀SEI消息还是后缀SEI消息；及
用于产生至少包含所述SEI NAL单元的位流的装置。
20.根据权利要求19所述的装置，其中所述用于产生所述位流的装置包括用于将所述SEI NAL单元封装于存取单元AU中，使得当所述NAL单元类型值指示所述SEINAL单元为后缀SEI NAL单元时，所述SEI NAL单元在解码次序上在所述AU中的第一视频译码层VCL NAL单元之后的装置。
21.根据权利要求20所述的装置，其中所述用于产生所述位流的装置进一步包括用于将所述SEI NAL单元封装于所述AU中，使得当所述NAL单元类型值指示所述SEINAL单元为所述后缀SEI NAL单元时，所述SEI NAL单元在解码次序上进一步接在所述AU中的最后VCL NAL单元之后的装置。
22.一种具有存储于其上的指令的计算机可读存储媒体，所述指令在经执行时使得处理器进行以下操作：
确定补充增强信息SEI消息为前缀SEI消息还是后缀SEI消息，其中所述SEI消息包含与经编码视频数据有关的数据；
将所述SEI消息封装于SEI NAL单元中，其中所述SEI NAL单元包含NAL单元类型值，所述NAL单元类型值指示所述SEI NAL单元为前缀SEI NAL单元还是后缀SEI NAL单元，及所述SEI消息为前缀SEI消息还是后缀SEI消息；及
产生至少包含所述SEI NAL单元的位流。
23.根据权利要求22所述的计算机可读存储媒体，其中所述使得所述处理器产生所述位流的指令包括使得所述处理器将所述SEI NAL单元封装于存取单元AU中，使得当所述NAL单元类型值指示所述SEI NAL单元为后缀SEI NAL单元时，所述SEI NAL单元在解码次序上在所述AU中的第一视频译码层VCL NAL单元之后的指令。
24.根据权利要求23所述的计算机可读存储媒体，其中所述使得所述处理器产生所述位流的指令进一步包括使得所述处理器将所述SEI NAL单元封装于所述AU中，使得当所述NAL单元类型值指示所述SEI NAL单元为所述后缀SEI NAL单元时，所述SEI NAL单元在解码次序上进一步接在所述AU中的最后VCL NAL单元之后的指令。
CN201380036313.6A 2012-07-10 2013-07-08 译码用于视频译码的sei nal单元 Active CN104412600B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261670066P 2012-07-10 2012-07-10
US61/670,066 2012-07-10
US13/802,005 US9584804B2 (en) 2012-07-10 2013-03-13 Coding SEI NAL units for video coding
US13/802,005 2013-03-13
PCT/US2013/049613 WO2014011569A1 (en) 2012-07-10 2013-07-08 Coding sei nal units for video coding

Publications (2)

Publication Number Publication Date
CN104412600A true CN104412600A (zh) 2015-03-11
CN104412600B CN104412600B (zh) 2018-10-16

Family

ID=49913978

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201380036313.6A Active CN104412600B (zh) 2012-07-10 2013-07-08 译码用于视频译码的sei nal单元
CN201380036238.3A Active CN104429085B (zh) 2012-07-10 2013-07-08 译码用于视频译码的随机存取图片
CN201380036236.4A Active CN104429083B (zh) 2012-07-10 2013-07-08 处理视频数据的方法和装置以及计算机可读存储媒体

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201380036238.3A Active CN104429085B (zh) 2012-07-10 2013-07-08 译码用于视频译码的随机存取图片
CN201380036236.4A Active CN104429083B (zh) 2012-07-10 2013-07-08 处理视频数据的方法和装置以及计算机可读存储媒体

Country Status (24)

Country Link
US (3) US9648322B2 (zh)
EP (3) EP2873234B1 (zh)
JP (3) JP6193371B2 (zh)
KR (3) KR101861903B1 (zh)
CN (3) CN104412600B (zh)
AU (2) AU2013288897B9 (zh)
BR (2) BR112015000597B1 (zh)
CA (2) CA2878365C (zh)
DK (2) DK2873244T3 (zh)
ES (3) ES2608765T3 (zh)
HK (2) HK1204835A1 (zh)
HU (3) HUE030663T2 (zh)
IL (2) IL236186B (zh)
MY (2) MY171067A (zh)
PH (2) PH12015500019B1 (zh)
PL (1) PL2873235T3 (zh)
PT (1) PT2873235T (zh)
RU (2) RU2635228C2 (zh)
SG (2) SG11201408364VA (zh)
SI (2) SI2873235T1 (zh)
TW (3) TWI513281B (zh)
UA (2) UA116354C2 (zh)
WO (3) WO2014011569A1 (zh)
ZA (2) ZA201500919B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534137A (zh) * 2016-11-18 2017-03-22 浙江宇视科技有限公司 媒体流传输方法及装置
CN109618186A (zh) * 2018-11-15 2019-04-12 中国航空工业集团公司洛阳电光设备研究所 一种采用fpga实现的h264/avc视频辅助增强信息封装电路
CN114830593A (zh) * 2020-01-28 2022-07-29 美高森美半导体无限责任公司 通过分组传送网络传送恒定比特率客户端信号的系统和方法
CN114845112A (zh) * 2019-09-24 2022-08-02 华为技术有限公司 后缀sei消息的可伸缩嵌套

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10110890B2 (en) 2012-07-02 2018-10-23 Sony Corporation Video coding system with low delay and method of operation thereof
US9912941B2 (en) 2012-07-02 2018-03-06 Sony Corporation Video coding system with temporal layers and method of operation thereof
US9648322B2 (en) 2012-07-10 2017-05-09 Qualcomm Incorporated Coding random access pictures for video coding
US8989508B2 (en) 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
US10075735B2 (en) * 2013-07-14 2018-09-11 Sharp Kabushiki Kaisha Video parameter set signaling
JP6337380B2 (ja) * 2013-07-31 2018-06-06 サン パテント トラスト 画像符号化方法および画像符号化装置
WO2015056179A1 (en) * 2013-10-15 2015-04-23 Nokia Technologies Oy Video encoding and decoding using syntax element
GB2519745B (en) 2013-10-22 2018-04-18 Canon Kk Method of processing disordered frame portion data units
JP2015136060A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
US9402083B2 (en) * 2014-04-24 2016-07-26 Vidyo, Inc. Signaling conformance points using profile space
US9306987B2 (en) * 2014-04-29 2016-04-05 Cisco Technology, Inc. Content message for video conferencing
US10063867B2 (en) * 2014-06-18 2018-08-28 Qualcomm Incorporated Signaling HRD parameters for bitstream partitions
US9866852B2 (en) * 2014-06-20 2018-01-09 Qualcomm Incorporated Video coding using end of sequence network abstraction layer units
US10244242B2 (en) * 2014-06-25 2019-03-26 Qualcomm Incorporated Multi-layer video coding
US10999607B2 (en) * 2015-01-27 2021-05-04 Interdigital Madison Patent Holdings, Sas Methods, systems and apparatus for electro-optical and opto-electrical conversion of images and video
KR101909254B1 (ko) * 2015-07-08 2018-10-17 주식회사 케이티 셋톱 박스에서 고화질 파노라마를 제공하는 방법, 디바이스 및 시스템
US10410376B1 (en) * 2016-09-26 2019-09-10 Amazon Technologies, Inc. Virtual reality media content decoding of portions of image frames
CN106230560A (zh) * 2016-09-28 2016-12-14 西北工业大学 无线网络中协作多媒体多播数据传输方法
GB2554680B (en) * 2016-10-03 2020-04-01 Advanced Risc Mach Ltd Selecting encoding options
CN108616748A (zh) * 2017-01-06 2018-10-02 科通环宇（北京）科技有限公司 一种码流及其封装方法、解码方法及装置
GB2567835B (en) 2017-10-25 2020-11-18 Advanced Risc Mach Ltd Selecting encoding options
KR102006449B1 (ko) * 2017-11-29 2019-08-01 네이버 주식회사 분산 트랜스코딩 방법 및 분산 트랜스코딩 시스템
EP3900345A4 (en) * 2018-12-20 2022-03-02 Telefonaktiebolaget LM Ericsson (publ) NORMATIVE DISPLAY OF A RECOVERY POINT
US11889118B2 (en) * 2019-02-24 2024-01-30 Sharp Kabushiki Kaisha Systems and methods for signaling types of pictures and associated information in video coding
JP7399977B2 (ja) 2019-03-11 2023-12-18 ホアウェイ・テクノロジーズ・カンパニー・リミテッド エンコーダ、デコーダ、および対応する方法
CN113924784B (zh) 2019-03-12 2024-06-11 现代自动车株式会社 用于编码和解码影像的方法
US11153583B2 (en) 2019-06-07 2021-10-19 Qualcomm Incorporated Spatial scalability support in video encoding and decoding
KR20220017440A (ko) 2019-07-08 2022-02-11 엘지전자 주식회사 스케일링 리스트 데이터의 시그널링 기반 비디오 또는 영상 코딩
CN114303386A (zh) * 2019-08-30 2022-04-08 株式会社Kt 用于处理视频信号的方法和装置
EP4022929A4 (en) * 2019-09-24 2022-11-23 Huawei Technologies Co., Ltd. ENCODER, DECODER SUPPORTING LOWER LAYER FRAMES
US11399188B2 (en) * 2020-01-01 2022-07-26 Tencent America LLC Method for mixed NAL unit type support in a coded picture
US11706428B2 (en) 2020-04-06 2023-07-18 Tencent America LLC Method for signaling picture header in coded video stream
MX2022013206A (es) * 2020-04-21 2022-11-14 Dolby Laboratories Licensing Corp Semantica para procesamiento restringido y prueba de conformidad y en codificacion de video.
WO2021237120A1 (en) 2020-05-22 2021-11-25 Bytedance Inc. Handling of access units in video sub-bitstream extraction process
CN117528004A (zh) * 2020-06-09 2024-02-06 字节跳动有限公司 多层视频比特流的子比特流提取
MX2022015674A (es) * 2020-06-09 2023-01-16 Bytedance Inc Informacion de decodificador de video de referencia hipotetica anidada no escalable de se?alizacion.
KR20230020425A (ko) * 2020-06-09 2023-02-10 바이트댄스 아이엔씨 비디오 코딩에서 보충 향상 정보 메시지의 스케일러블 네스팅
US11770498B2 (en) 2020-09-29 2023-09-26 Lemon Inc. Supplemental enhancement information for multi-layer video streams
US11765376B2 (en) * 2020-10-08 2023-09-19 Tencent America LLC Pruning methods and apparatuses for neural network based video coding
CN116724549A (zh) * 2020-12-28 2023-09-08 抖音视界有限公司 跨随机接入点样点组
US20220256227A1 (en) * 2021-02-03 2022-08-11 Nokia Technologies Oy High-level syntax for signaling neural networks within a media bitstream

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090180761A1 (en) * 2008-01-11 2009-07-16 Martin Austin Wand System and method for recording high frame rate video, replaying slow-motion and replaying normal speed with audio-video synchronization
US20100008416A1 (en) * 2008-07-10 2010-01-14 Sagee Ben-Zedeff Systems, Methods, and Media for Providing Selectable Video Using Scalable Video Coding
US20100142613A1 (en) * 2007-04-18 2010-06-10 Lihua Zhu Method for encoding video data in a scalable manner
US20100232521A1 (en) * 2008-07-10 2010-09-16 Pierre Hagendorf Systems, Methods, and Media for Providing Interactive Video Using Scalable Video Coding

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58127466A (ja) 1982-01-26 1983-07-29 Fuji Xerox Co Ltd 画像拡大縮小方式
US7095783B1 (en) * 1992-06-30 2006-08-22 Discovision Associates Multistandard video decoder and decompression system for processing encoded bit streams including start codes and methods relating thereto
JP2959372B2 (ja) 1993-12-03 1999-10-06 日本電気株式会社 クロック生成回路
US20060093045A1 (en) 1999-06-29 2006-05-04 Roger Anderson Method and apparatus for splicing
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
JP4562300B2 (ja) 2000-11-14 2010-10-13 ルネサスエレクトロニクス株式会社 クロック制御方法及び回路
US9497452B2 (en) * 2002-01-22 2016-11-15 Broadcom Corporation System and method of transmission and reception of video using compressed differential time stamps
EP3054681B1 (en) 2002-04-19 2018-02-28 Panasonic Intellectual Property Corporation of America Motion vector calculating method
CA2483516C (en) 2002-04-26 2010-02-09 Nec Corporation Video code conversion transmission and reception apparatus and method for selecting acceptable quality frames from among generated frames of different compression ratios
JP2003319391A (ja) 2002-04-26 2003-11-07 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
US7257162B2 (en) * 2002-07-02 2007-08-14 Conexant Systems, Inc. Hypothetical reference decoder for compressed image and video
US7532670B2 (en) 2002-07-02 2009-05-12 Conexant Systems, Inc. Hypothetical reference decoder with low start-up delays for compressed image and video
US7787539B2 (en) 2002-07-17 2010-08-31 Broadcom Corporation Decoding and presentation time stamps for MPEG-4 advanced video coding
US6728315B2 (en) * 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
JP3898606B2 (ja) 2002-09-12 2007-03-28 株式会社東芝 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置
JP4663223B2 (ja) 2003-09-11 2011-04-06 パナソニック株式会社 演算処理装置
WO2005074295A1 (en) 2004-01-16 2005-08-11 General Instrument Corporation Method, protocol, and apparatus for transporting advanced video coding content
US7516064B2 (en) * 2004-02-19 2009-04-07 Dolby Laboratories Licensing Corporation Adaptive hybrid transform for signal analysis and synthesis
EP1813117A1 (en) 2004-11-04 2007-08-01 Koninklijke Philips Electronics N.V. Method and device for processing coded video data
US20060104356A1 (en) 2004-11-15 2006-05-18 Microsoft Corporation Timing for decoder buffer examination
TWI268708B (en) 2005-08-12 2006-12-11 Realtek Semiconductor Corp Video processing method capable of preventing rough movement of video object, and related device
CN101998123B (zh) 2005-10-11 2015-03-18 诺基亚公司 用于有效的可伸缩流适配的系统和方法
US7839948B2 (en) * 2005-12-02 2010-11-23 Qualcomm Incorporated Time slicing techniques for variable data rate encoding
WO2007080223A1 (en) 2006-01-10 2007-07-19 Nokia Corporation Buffering of decoded reference pictures
US20070230564A1 (en) 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US20080165860A1 (en) 2006-08-31 2008-07-10 Zohair Sahraoui H.264 Data processing
US20080089411A1 (en) 2006-10-16 2008-04-17 Nokia Corporation Multiple-hypothesis cross-layer prediction
WO2008085909A2 (en) 2007-01-04 2008-07-17 Thomson Licensing Methods and apparatus for video error correction in multi-view coded video
EP2116065A2 (en) 2007-01-05 2009-11-11 Thomson Licensing Hypothetical reference decoder for scalable video coding
US7756231B2 (en) 2007-01-09 2010-07-13 Freescale Semiconductor, Inc. Digital clock generating circuit and method of operation
EP2174502A2 (en) 2007-06-26 2010-04-14 Nokia Corporation System and method for indicating temporal layer switching points
JPWO2009001521A1 (ja) 2007-06-27 2010-08-26 パナソニック株式会社 信号処理装置
US7548123B2 (en) 2007-07-13 2009-06-16 Silicon Laboratories Inc. Dividerless PLL architecture
US8451819B2 (en) 2008-03-26 2013-05-28 Qualcomm Incorporated Methods and apparatus for uplink frame synchronization in a subscriber station
JP2009246712A (ja) 2008-03-31 2009-10-22 Panasonic Corp デジタル放送受信装置
WO2010057027A1 (en) 2008-11-14 2010-05-20 Transvideo, Inc. Method and apparatus for splicing in a compressed video bitstream
WO2010086500A1 (en) 2009-01-28 2010-08-05 Nokia Corporation Method and apparatus for video coding and decoding
WO2010126612A2 (en) 2009-05-01 2010-11-04 Thomson Licensing Reference picture lists for 3dv
JP5524594B2 (ja) * 2009-12-14 2014-06-18 パナソニック株式会社 画像復号装置及び画像復号方法
US20110274178A1 (en) 2010-05-06 2011-11-10 Canon Kabushiki Kaisha Method and device for parallel decoding of video data units
US8879585B2 (en) 2010-05-13 2014-11-04 Mediatek Inc. Frame timing controller and frame timing control method for triggering at least receiver in mobile station to start receiving transmitted information of base station by referring to at least frame pointer
RU2434358C1 (ru) 2010-07-07 2011-11-20 Государственное образовательное учреждение высшего профессионального образования "Военная академия связи имени С.М. Буденного" Министерства обороны Российской Федерации Способ сжатия и восстановления подвижных цветных видеоизображений
WO2012045192A1 (en) * 2010-10-05 2012-04-12 Intel Corporation Method and apparatus for dynamically adjusting video quality
JP2012114575A (ja) * 2010-11-22 2012-06-14 Sony Corp 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
JP5645699B2 (ja) 2011-02-16 2014-12-24 三菱電機株式会社 動き検出装置及び方法、映像信号処理装置及び方法、並びに映像表示装置
EP2490447A1 (en) 2011-02-16 2012-08-22 British Telecommunications Public Limited Company Compact cumulative bit curves
US9237356B2 (en) 2011-09-23 2016-01-12 Qualcomm Incorporated Reference picture list construction for video coding
US20130094774A1 (en) 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US20130188698A1 (en) 2012-01-19 2013-07-25 Qualcomm Incorporated Coefficient level coding
US9591328B2 (en) 2012-01-20 2017-03-07 Sun Patent Trust Methods and apparatuses for encoding and decoding video using temporal motion vector prediction
WO2013154397A1 (en) 2012-04-13 2013-10-17 Samsung Electronics Co., Ltd. Transmitting system and receiving apparatus for providing hybrid service, and service providing method thereof
US9591303B2 (en) 2012-06-28 2017-03-07 Qualcomm Incorporated Random access and signaling of long-term reference pictures in video coding
JP6190397B2 (ja) 2012-07-01 2017-08-30 シャープ株式会社 パラメータセットにおいて長期参照ピクチャをシグナリングするためのデバイス
US20140003534A1 (en) * 2012-07-02 2014-01-02 Sony Corporation Video coding system with temporal scalability and method of operation thereof
US9912941B2 (en) * 2012-07-02 2018-03-06 Sony Corporation Video coding system with temporal layers and method of operation thereof
US10110890B2 (en) * 2012-07-02 2018-10-23 Sony Corporation Video coding system with low delay and method of operation thereof
US9584803B2 (en) * 2012-07-08 2017-02-28 Cisco Technology, Inc. Picture output management in video applications with fixed picture rate
US9648322B2 (en) 2012-07-10 2017-05-09 Qualcomm Incorporated Coding random access pictures for video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100142613A1 (en) * 2007-04-18 2010-06-10 Lihua Zhu Method for encoding video data in a scalable manner
US20090180761A1 (en) * 2008-01-11 2009-07-16 Martin Austin Wand System and method for recording high frame rate video, replaying slow-motion and replaying normal speed with audio-video synchronization
US20100008416A1 (en) * 2008-07-10 2010-01-14 Sagee Ben-Zedeff Systems, Methods, and Media for Providing Selectable Video Using Scalable Video Coding
US20100232521A1 (en) * 2008-07-10 2010-09-16 Pierre Hagendorf Systems, Methods, and Media for Providing Interactive Video Using Scalable Video Coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BROSS B ET AL: "High Efficiency Video Coding(HEVC) text specification draft 7", 《9.JCT-VC MEETING;100.MPEG MEETING;GENEVA;(JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16;URL:HTTP://WFTP3.ITU.INT/AV-ARCH/JCTVC-SITE/》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534137A (zh) * 2016-11-18 2017-03-22 浙江宇视科技有限公司 媒体流传输方法及装置
CN106534137B (zh) * 2016-11-18 2020-01-14 浙江宇视科技有限公司 媒体流传输方法及装置
CN109618186A (zh) * 2018-11-15 2019-04-12 中国航空工业集团公司洛阳电光设备研究所 一种采用fpga实现的h264/avc视频辅助增强信息封装电路
CN109618186B (zh) * 2018-11-15 2021-01-01 中国航空工业集团公司洛阳电光设备研究所 一种采用fpga实现的h264/avc视频辅助增强信息封装电路
CN114845112A (zh) * 2019-09-24 2022-08-02 华为技术有限公司 后缀sei消息的可伸缩嵌套
US11800130B2 (en) 2019-09-24 2023-10-24 Huawei Technologies Co., Ltd. SEI message dependency simplification in video coding
CN114830593A (zh) * 2020-01-28 2022-07-29 美高森美半导体无限责任公司 通过分组传送网络传送恒定比特率客户端信号的系统和方法
CN114830593B (zh) * 2020-01-28 2023-10-31 美高森美半导体无限责任公司 通过分组传送网络传送恒定比特率客户端信号的系统和方法

Also Published As

Publication number Publication date
BR112015000601A2 (pt) 2017-06-27
RU2015104260A (ru) 2016-08-27
KR101956967B1 (ko) 2019-03-11
IL236185A0 (en) 2015-01-29
TWI513281B (zh) 2015-12-11
PH12015500058A1 (en) 2015-03-02
PT2873235T (pt) 2017-01-04
CN104429085B (zh) 2017-12-15
KR101784670B1 (ko) 2017-10-12
JP2015527815A (ja) 2015-09-17
EP2873234A1 (en) 2015-05-20
BR112015000597A2 (pt) 2017-06-27
SI2873244T1 (en) 2018-04-30
RU2619194C2 (ru) 2017-05-12
MY171067A (en) 2019-09-24
JP6162236B2 (ja) 2017-07-12
KR20150031468A (ko) 2015-03-24
TW201415896A (zh) 2014-04-16
MY167759A (en) 2018-09-24
CA2878293A1 (en) 2014-01-16
AU2013288896B2 (en) 2017-08-10
ES2663444T3 (es) 2018-04-12
WO2014011570A1 (en) 2014-01-16
IL236185B (en) 2019-02-28
US20140016707A1 (en) 2014-01-16
PH12015500019A1 (en) 2015-03-02
EP2873244B1 (en) 2018-01-03
TW201415866A (zh) 2014-04-16
RU2635228C2 (ru) 2017-11-09
HUE030663T2 (en) 2017-05-29
CN104412600B (zh) 2018-10-16
ZA201500919B (en) 2017-11-29
EP2873235B1 (en) 2016-09-28
PL2873235T3 (pl) 2017-03-31
UA116354C2 (uk) 2018-03-12
BR112015000601B1 (pt) 2023-04-11
KR101861903B1 (ko) 2018-05-28
CA2878365C (en) 2019-09-24
US9584804B2 (en) 2017-02-28
JP6231095B2 (ja) 2017-11-15
BR112015000599A2 (pt) 2017-06-27
EP2873244A1 (en) 2015-05-20
CN104429085A (zh) 2015-03-18
EP2873235A1 (en) 2015-05-20
CN104429083B (zh) 2019-01-29
ZA201500918B (en) 2017-08-30
CA2878293C (en) 2019-01-29
EP2873234B1 (en) 2017-09-06
DK2873244T3 (en) 2018-04-16
IL236186A0 (en) 2015-01-29
DK2873235T3 (en) 2016-12-19
PH12015500019B1 (en) 2015-03-02
UA113446C2 (xx) 2017-01-25
ES2649671T3 (es) 2018-01-15
US20140016697A1 (en) 2014-01-16
AU2013288896A1 (en) 2015-01-22
HK1204181A1 (zh) 2015-11-06
ES2608765T3 (es) 2017-04-12
KR20150031467A (ko) 2015-03-24
TWI539799B (zh) 2016-06-21
SG11201408364VA (en) 2015-01-29
JP2015527813A (ja) 2015-09-17
RU2015104183A (ru) 2016-08-27
TWI545940B (zh) 2016-08-11
SG11201408365QA (en) 2015-01-29
US9967583B2 (en) 2018-05-08
BR112015000597B1 (pt) 2023-04-11
AU2013288897A1 (en) 2015-01-22
HUE034973T2 (en) 2018-05-02
WO2014011567A1 (en) 2014-01-16
HK1204835A1 (zh) 2015-12-04
CN104429083A (zh) 2015-03-18
IL236186B (en) 2018-01-31
KR20150031469A (ko) 2015-03-24
JP6193371B2 (ja) 2017-09-06
SI2873235T1 (sl) 2016-12-30
TW201415906A (zh) 2014-04-16
US9648322B2 (en) 2017-05-09
HUE036332T2 (hu) 2018-07-30
AU2013288897B2 (en) 2017-11-23
US20140016708A1 (en) 2014-01-16
JP2015527814A (ja) 2015-09-17
CA2878365A1 (en) 2014-01-16
WO2014011569A1 (en) 2014-01-16
AU2013288897B9 (en) 2018-03-22

Similar Documents

Publication Publication Date Title
CN104412600A (zh) 译码用于视频译码的sei nal单元
RU2643463C2 (ru) Синтаксическая структура параметров гипотетического эталонного декодера
CN103155571B (zh) 译码立体视频数据
CN105637880B (zh) 用于视频信息的可缩放译码的装置和方法
KR101776448B1 (ko) 비디오 코딩에 있어서의 비-네스팅된 ｓｅｉ 메시지들
CN106464917B (zh) 用信号表示用于位流分区的hrd参数
CN103959781B (zh) 填补经译码切片nal单元中的片段的方法及装置
CN105934948B (zh) 解码和编码视频数据的方法和装置及计算机可读存储介质
CN105637883B (zh) 用于视频信息的可缩放译码的装置和方法
CN104221387A (zh) 在视频译码中的低延迟视频缓冲
CN104823449A (zh) 在视频译码中用信号表示关注区和逐渐解码刷新
CN104704843A (zh) 视频性质的指示
CN104471942A (zh) 重新使用参数集用于视频译码
CN104380747A (zh) 视频译码中的参数集更新
CN105308971A (zh) 假设的参考解码器模型和跨层随机存取跳过图片的一致性
CN104488267A (zh) 平铺块及波前并行处理
CN104396265A (zh) 在视频译码中从清晰随机存取图片的全面随机存取
CN105103560A (zh) 用于仅高级语法可缩放视频译码的层间参考图片限制
CN104904208A (zh) 用于视频译码中的随机存取的视频缓冲操作
CN105637862B (zh) 用于视频信息的可缩放译码的装置和方法
CN104885469A (zh) 对视频译码中的视频时序的图片次序计数时序信息的有条件信令
CN104584557A (zh) 构造用于多视图或3dv视频译码的参考图片列表
CN104641637A (zh) 具有改善随机存取点图片行为的视频译码
CN105493506A (zh) 在参数集中用信号通知视图id位深度
CN104956676A (zh) 层间语法预测控制

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1204181

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant