CN104396265B - 在视频译码中从清晰随机存取图片的全面随机存取 - Google Patents

在视频译码中从清晰随机存取图片的全面随机存取 Download PDF

Info

Publication number
CN104396265B
CN104396265B CN201380022304.1A CN201380022304A CN104396265B CN 104396265 B CN104396265 B CN 104396265B CN 201380022304 A CN201380022304 A CN 201380022304A CN 104396265 B CN104396265 B CN 104396265B
Authority
CN
China
Prior art keywords
access
bit stream
cra
access unit
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380022304.1A
Other languages
English (en)
Other versions
CN104396265A (zh
Inventor
王益魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104396265A publication Critical patent/CN104396265A/zh
Application granted granted Critical
Publication of CN104396265B publication Critical patent/CN104396265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明的技术提供关于执行从位流中的特定存取单元的随机存取是否要求从先前存取单元提取参数集的指示。清晰随机存取CRA图片可定位于经译码视频序列内的任何点处且不清除视频解码器的经解码图片缓冲器DPB。为了执行从所述CRA图片的随机存取解码，视频解码器可能需要提取包含于在所述CRA图片之前的不可用的存取单元中的一或多个参数集。所述技术针对每一CRA图片提供指示是否需要包含于先前存取单元中的参数集以执行从所述图片的随机存取的指示。当不需要来自先前存取单元的参数集以进行从特定CRA图片的随机存取时，视频解码器可确定执行从该图片的随机存取。

Description

在视频译码中从清晰随机存取图片的全面随机存取
相关申请案
本申请案主张2012年4月27日申请的第61/639,823号美国临时申请案的权利，所述案的全文特此以引用方式并入本文中。
技术领域
本发明大体来说涉及处理视频数据。
背景技术
可将数字视频能力并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏主机、蜂窝式或卫星无线电电话、视频电话会议装置及其类似者。视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IECMPEG-2视觉、ITU-T H.263、ISO/IEC MPEG-4视觉及ITU-T H.264(也被称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)及多视角视频译码(MVC)扩展。另外，高效率视频译码(HEVC)为由ITU-T视频译码专家组(VCEG)与ISO/IEC动画专家组(MPEG)的关于视频译码的联合合作团队(JCT-VC)开发的视频译码标准。视频装置可通过实施这些视频译码技术而更有效率地发射、接收、编码、解码及/或存储数字视频信息。
视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的预测性视频译码，可将视频切片(例如，视频帧或视频帧的一部分)分割成视频块，视频块也可被称作宏块、树块、译码单元(CU)及/或译码节点。可使用相对于图片中的相邻块中的参考样本的空间预测来编码同一图片的帧内译码(I)切片中的视频块。图片的帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间预测或时间预测导致针对待译码块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。像素也可被称作图片元素、pel，或样本。根据指向形成预测性块的参考样本的块的运动向量及指示经译码块与预测性块之间的差异的残余数据来编码帧间译码块。根据帧内译码模式及残余数据来编码帧内译码块。为了进行进一步压缩，可将残余数据从像素域变换到变换域，从而引起残余变换系数，可接着量化残余变换系数。可扫描最初以二维阵列布置的经量化变换系数以便产生变换系数的一维向量，且可应用熵译码以达成甚至更多压缩。
发明内容
一般来说，本发明描述用以提供关于执行从位流中的特定存取单元的随机存取是否要求从先前存取单元提取参数集的指示的技术。常规地，随机存取点(RAP)图片为瞬时解码刷新(IDR)图片，其指示经译码视频序列的开始且总是清除视频解码器的经解码图片缓冲器(DPB)。高效率视频译码(HEVC)标准引入了可定位于经译码视频序列内的任何点处且不清除DPB的清晰随机存取(CRA)图片，此提供改进的译码效率。因此，CRA图片在无较低译码效率的情况下提供对位流的随机存取的更多选项。
在从CRA图片的随机存取的状况下，将不解码按输出或解码次序在所述CRA图片之前的所有图片且所述图片不可用作参考图片。在此状况下，为了解码CRA图片或按输出或解码次序的任何后继图片，视频解码器可需要提取包含于不可用的先前图片中的一者的存取单元中的一或多个参数集，此为繁重的操作。本发明的技术针对每一CRA图片提供指示，其指示是否需要包含于先前存取单元中的参数集以执行从所述图片的随机存取。当不需要来自先前存取单元的参数集以进行从特定CRA图片的随机存取时，视频解码器可确定在无提取操作的情况下执行从那一图片的随机存取。相反地，当需要来自先前存取单元的参数集以进行从特定CRA图片的随机存取时，视频解码器可确定不执行从那一图片的随机存取以便避免提取操作。
在一些状况下，指示可包括包含于位流中的每一CRA图片的存取单元中的特定类型的网络抽象层(NAL)单元。在其它状况下，指示可包括包含于NAL单元有效负载中的语法元素(例如，旗标)，所述NAL单元有效负载包含在位流中的每一CRA图片的存取单元中。在一个实例中，指示可包括包含于CRA图片的存取单元中的补充增强信息(SEI)NAL单元中的语法元素(例如，旗标)。尽管主要关于CRA图片予以描述，但本发明的技术可类似地用于其它类型的RAP图片，包含IDR图片及渐进解码刷新(GDR)图片。
在一个实例中，本发明针对一种解码视频数据的方法，所述方法包括：解码指示符，所述指示符指示从特定CRA存取单元对位流的随机存取是否要求来自先前存取单元的一或多个参数集以解码所述特定CRA存取单元或后续存取单元，其中所述特定CRA存取单元定位于所述位流的经译码视频序列内的任何点处且不清除DPB。所述方法进一步包括：基于所述指示符指示无需来自先前存取单元的参数集，在不从所述先前存取单元提取参数集的情况下执行从所述特定CRA存取单元对所述位流的随机存取。
在另一实例中，本发明针对一种编码视频数据的方法，所述方法包括：编码位流的经译码视频序列中的一或多个CRA存取单元，其中所述CRA存取单元定位于所述位流的所述经译码视频序列内的任何点处且不清除DPB；以及编码指示符，所述指示符指示从特定CRA存取单元对所述位流的随机存取是否要求来自先前存取单元的一或多个参数集以解码所述特定CRA存取单元或后续存取单元，其中基于所述指示符指示无需来自先前存取单元的参数集，可在不从所述先前存取单元提取参数集的情况下执行从所述特定CRA存取单元对所述位流的随机存取。
在一另外实例中，本发明针对一种用于译码视频数据的视频译码装置，所述装置包括：存储器，其经配置以存储视频数据；以及一或多个处理器，其经配置以译码指示符，所述指示符指示从特定CRA存取单元对位流的随机存取是否要求来自先前存取单元的一或多个参数集以解码所述特定CRA存取单元或后续存取单元，其中所述特定CRA存取单元定位于所述位流的经译码视频序列内的任何点处且不清除DPB。基于所述指示符指示无需来自先前存取单元的参数集，所述装置的所述处理器经进一步配置以在不从所述先前存取单元提取参数集的情况下执行从所述特定CRA存取单元对所述位流的随机存取。
在另一实例中，本发明针对一种用于译码视频数据的视频译码装置，所述装置包括：用于译码指示符的装置，所述指示符指示从特定CRA存取单元对位流的随机存取是否要求来自先前存取单元的一或多个参数集以解码所述特定CRA存取单元或后续存取单元，其中所述特定CRA存取单元定位于所述位流的经译码视频序列内的任何点处且不清除DPB；以及基于所述指示符指示无需来自先前存取单元的参数集，用于在不从所述先前存取单元提取参数集的情况下执行从所述特定CRA存取单元对所述位流的随机存取的装置。
在一额外实例中，本发明针对一种包括用于译码视频数据的指令的计算机可读媒体，所述指令在经执行时致使一或多个处理器：译码指示符，所述指示符指示从特定CRA存取单元对位流的随机存取是否要求来自先前存取单元的一或多个参数集以解码所述特定CRA存取单元或后续存取单元，其中所述特定CRA存取单元定位于所述位流的经译码视频序列内的任何点处且不清除DPB。基于所述指示符指示无需来自先前存取单元的参数集，所述指令还致使所述处理器在不从所述先前存取单元提取参数集的情况下执行从所述特定CRA存取单元对所述位流的随机存取。
在随附图式及以下描述中阐述一或多个实例的细节。其它特征、目标及优点将从所述描述及所述图式以及从权利要求书显而易见。
附图说明
图1为说明可利用本发明中所描述的技术的实例视频编码及解码系统的框图。
图2为说明可实施本发明中所描述的技术的实例视频编码器的框图。
图3为说明可实施本发明中所描述的技术的实例视频解码器的框图。
图4为说明根据预测性视频译码技术而译码的视频序列的概念图。
图5为说明经译码视频序列的实例的概念图。
图6为说明确定在位流的部分中是否可发生参数集更新的操作的流程图。
图7为说明确定是否可执行从CRA存取单元的随机存取而不必从先前的不可用的存取单元提取参数集的操作的流程图。
图8为说明形成网络的部分的实例装置集合的框图。
具体实施方式
本发明的技术提供关于执行从位流中的特定存取单元的随机存取是否要求从先前存取单元提取参数集的指示。常规地，随机存取点(RAP)图片为瞬时解码刷新(IDR)图片，其指示经译码视频序列的开始且总是清除视频解码器的经解码图片缓冲器(DPB)。高效率视频译码(HEVC)标准引入了可定位于经译码视频序列内的任何点处且不清除DPB的清晰随机存取(CRA)图片，此提供改进的译码效率。因此，CRA图片在无较低译码效率的情况下提供对位流的随机存取的更多选项。
在从CRA图片的随机存取的状况下，将不解码按输出或解码次序在所述CRA图片之前的所有图片且所述图片不可用作参考图片。在此状况下，为了解码CRA图片或按输出或解码次序的任何后继图片，视频解码器可需要提取包含于不可用的先前图片中的一者的存取单元中的一或多个参数集，此为繁重的操作。本发明的技术针对每一CRA图片提供指示，其指示是否需要包含于先前存取单元中的参数集以执行从图片的随机存取。当不需要来自先前存取单元的参数集以进行从特定CRA图片的随机存取时，视频解码器可确定在无提取操作的情况下执行从那一图片的随机存取。相反地，当需要来自先前存取单元的参数集以进行从特定CRA图片的随机存取时，视频解码器可确定不执行从那一图片的随机存取以便避免提取操作。
在一些状况下，指示可包括包含于位流中的每一CRA图片的存取单元中的特定类型的网络抽象层(NAL)单元。在其它状况下，指示可包括包含于NAL单元有效负载中的语法元素(例如，旗标)，所述NAL单元有效负载包含在位流中的每一CRA图片的存取单元中。在一个实例中，指示可包括包含于CRA图片的存取单元中的补充增强信息(SEI)NAL单元中的语法元素(例如，旗标)。尽管主要关于CRA图片予以描述，但本发明的技术可类似地用于其它类型的RAP图片，包含IDR图片及渐进解码刷新(GDR)图片。
图1为说明可利用本发明中所描述的技术的实例视频编码及解码系统10的框图。如图1所示，系统10包含源装置12，源装置12提供稍后待由目的地装置14解码的经编码视频数据。明确地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板型计算机、机顶盒、电话手持机(例如，所谓“智能”手机)、所谓“智能”平板(smart pad)、电视、相机、显示装置、数字媒体播放器、视频游戏主机、视频流式传输装置，或其类似者。在一些状况下，源装置12及目的地装置14可经配备以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括通信媒体以使源装置12能够将经编码视频数据直接实时发射到目的地装置14。可根据通信标准(例如，无线通信协议)调制经编码视频数据，且将经编码视频数据发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于封包的网络(例如，局域网、广域网或例如因特网等全球网络)的部分。通信媒体可包含路由器、交换器、基站，或可用以促进从源装置12到目的地装置14的通信的任何其它设备。
在一些实例中，可将经编码数据从输出接口22输出到存储装置。类似地，可通过输入接口从存储装置存取经编码数据。存储装置可包含多种分散式或本地存取式数据存储媒体中的任一者，例如，磁盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适数字存储媒体。在另外实例中，存储装置可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载而从存储装置存取经存储视频数据。文件服务器可为能够存储经编码视频数据且将那一经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含網頁服务器(例如，对于网站)、FTP服务器、网络附接存储(NAS)装置，或本地磁盘机。目的地装置14可经由包含因特网连接的任何标准数据连接而存取经编码视频数据。此数据连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器，等等)，或两者的组合。经编码视频数据从存储装置的发射可为流式传输、下载发射，或其组合。
本发明的技术未必限于无线应用或设定。所述技术可应用于支持多种多媒体应用中的任一者的视频译码，所述多媒体应用例如，空中电视广播、有线电视发射、卫星电视发射、(例如)作为经由HTTP的动态自适应性流式传输(DASH)的经由因特网的流式视频发射、用于存储于数据存储媒体上的数字视频的编码、存储于数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频回放、视频广播及/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30及显示装置32。在其它实例中，源装置及目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如，外部相机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而非包含集成式显示装置。
图1的所说明系统10仅仅为一实例。可通过任何数字视频编码及/或解码装置来执行本发明的技术。尽管大体上所述技术是通过视频编码装置来执行，但所述技术还可通过视频编码器/解码器(通常被称作“编码解码器(CODEC)”)来执行。此外，还可通过视频预处理器来执行本发明的技术。源装置12及目的地装置14仅仅为这些译码装置的实例，其中源装置12产生供发射到目的地装置14的经译码视频数据。在一些实例中，装置12、14可以实质上对称的方式操作，使得装置12、14中的每一者包含视频编码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射，例如，用于视频流式传输、视频回放、视频广播或视频电话。
源装置12的视频源18可包含例如视频相机等视频俘获装置、含有先前经俘获视频的视频存档，及/或用以从视频内容提供者接收视频的视频馈入接口。作为另外替代例，视频源18可产生基于计算机图形的数据作为源视频，或产生实况视频、封存视频及计算机产生的视频的组合。在一些状况下，如果视频源18为视频相机，则源装置12及目的地装置14可形成所谓相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术可大体上适用于视频译码，且可应用于无线及/或有线应用。在每一状况下，可通过视频编码器20编码经俘获、被预俘获或计算机产生的视频。可接着通过输出接口22将经编码视频信息输出到计算机可读媒体16上。
计算机可读媒体16可包含暂时性媒体，例如，无线广播或有线网络发射；或存储媒体(即，非暂时性存储媒体)，例如，硬盘、随身碟、光盘、数字影音光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(图中未展示)可从源装置12接收经编码视频数据，且(例如)经由网络发射将所述经编码视频数据提供到目的地装置14。类似地，媒体生产设施(例如，光盘压印设施)的计算装置可从源装置12接收经编码视频数据且产生含有所述经编码视频数据的光盘。因此，在各种实例中，可将计算机可读媒体16理解成包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息，所述语法信息还由视频解码器30使用，且包含描述块及其它经译码单元(例如，GOP)的特性及/或处理的语法元素。显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如，阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30可根据视频译码标准而操作，视频译码标准例如，作为被称为联合视频团队(JVT)的集体合作的产物的目前由ITU-T视频译码專業團體(VCEG)及ISO/IEC动画專業團體(MPEG)的关于视频译码的联合合作团队(JCT-VC)开发的高效率视频译码(HEVC)标准。HEVC标准可符合HEVC测试模型(HM)。在Bross等人的文件JCTVC-H1003“High efficiency video coding(HEVC)text specification draft6”(ITU-TSG16WP3及ISO/IEC JTC1/SC29/WG11的关于视频译码的联合合作团队(JCT-VC)，第8次会议：San Jose，California，USA，2012年2月)中描述了被称作“HEVC工作草案6”或“WD6”的HEVC HM的最新草案。
然而，本发明的技术不限于任何特定译码标准。尽管未展示于图1中，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件以处置共同数据流或分离数据流中的音频及视频两者的编码。如果适用，则MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
视频编码器20及视频解码器30可各自实施为多种合适编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地在软件中实施时，装置可将软件的指令存储于合适的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器来执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中，其中任一者可集成为相应装置中的组合编码器/解码器(编码解码器)的部分。
JCT-VC正致力于HEVC标准的开发。HEVC标准化努力是基于视频译码装置的演进模型，其被称作HEVC测试模型(HM)。HM假设相对于现有标准的若干额外能力。举例来说，H.264提供九个帧内预测编码模式，而HM可提供多达三十三个帧内预测编码模式。
一般来说，HM描述视频帧或图片可划分成包含明度样本及色度样本两者的树块或最大译码单元(LCU)的序列。位流内的语法数据可定义LCU的大小，LCU就像素的数目来说为最大译码单元。切片包含按译码次序的数个连续树块。视频帧或图片可分割成一或多个切片。每一树块可根据四分树而分裂成若干译码单元(CU)。一般来说，四分树数据结构对于每CU包含一个节点，其中根节点对应于树块。如果CU分裂成四个子CU，则对应于所述CU的节点包含四个叶节点，所述四个叶节点中的每一者对应于所述子CU中的一者。
四分树数据结构的每一节点可提供对应CU的语法数据。举例来说，四分树中的节点可包含分裂旗标，其指示对应于节点的CU是否被分裂成若干子CU。用于CU的语法元素可被递归式地定义，且可视CU是否被分裂成子CU而定。如果CU不被进一步分裂，则其被称作叶CU。在本发明中，即使不存在原始叶CU的明确分裂，叶CU的四个子CU也将被称作叶CU。举例来说，如果16×16大小的CU不进一步分裂，则尽管16×16CU永不分裂，但四个8×8子CU还将被称作叶CU。
除了CU不具有大小区别之外，CU具有类似于H.264标准的宏块的用途。举例来说，树块可分裂成四个子节点(也被称作子CU)，且每一子节点又可为父节点并分裂成另外四个子节点。最后的未分裂的子节点(被称作四分树的叶节点)包括译码节点(也被称作叶CU)。与经译码位流相关联的语法数据可定义树块可被分裂的最大次数(被称作最大CU深度)，且也可定义译码节点的最小大小。因此，位流也可定义最小译码单元(SCU)。本发明使用术语“块”指代在HEVC的内容脉络中的CU、PU或TU中的任一者，或在其它标准的内容脉络中的类似数据结构(例如，在H.264/AVC中的宏块及其子块)。
CU包含译码节点及与所述译码节点相关联的若干预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小，且形状必须为正方形。CU的大小的范围可从8×8像素直到具有最大64×64像素或大于64×64像素的树块的大小。每一CU可含有一或多个PU及一或多个TU。与CU相关联的语法数据可描述(例如)CU到一或多个PU的分割。分割模式可视CU是经跳过或直接模式编码、经帧内预测模式编码抑或经帧间预测模式编码而不同。PU可被分割成非正方形。与CU相关联的语法数据还可描述(例如)将CU根据四分树分割成一或多个TU。TU的形状可为正方形或非正方形(例如，矩形)。
HEVC标准允许根据TU的变换，所述变换对于不同CU可不同。通常基于针对经分割LCU所定义的给定CU内的PU的大小而设定TU大小，但可能并非总是如此状况。TU通常具有与PU相同的大小，或小于PU。在一些实例中，可使用称为“残余四分树”(RQT)的四分树结构将对应于CU的残余样本再分成若干较小单元。RQT的叶节点可被称作变换单元(TU)。可变换与TU相关联的像素差值以产生可量化的变换系数。
叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于对应CU的全部或一部分的空间区域，且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可包含于残余四分树(RQT)中，残余四分树可包含描述对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义所述PU的一或多个运动向量的数据。定义PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，及/或运动向量的参考图片列表(例如，列表0或列表1)。
具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。可使用RQT(也被称作TU四分树结构)指定变换单元，如上文所论述。举例来说，分裂旗标可指示叶CU是否分裂成四个变换单元。接着，每一变换单元可进一步分裂成另外的子TU。当TU不被进一步分裂时，其可被称作叶TU。通常，对于帧内译码，属于叶CU的所有叶TU共享相同帧内预测模式。即，一般将相同帧内预测模式应用于计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可使用帧内预测模式计算每一叶TU的残余值，作为对应于TU的CU的部分与原始块之间的差。TU未必限于PU的大小。因此，TU可能大于或小于PU。对于帧内译码，PU可能与相同CU的对应叶TU设在同一位置。在一些实例中，叶TU的最大大小可对应于对应叶CU的大小。
此外，叶CU的TU还可与被称作残余四分树(RQT)的相应四分树数据结构相关联。即，叶CU可包含指示如何将叶CU分割成TU的四分树。TU四分树的根节点一般对应于叶CU，而CU四分树的根节点一般对应于树块(或LCU)。RQT的不被分裂的TU被称作叶TU。一般来说，除非另外提及，否则本发明分别使用术语CU及TU来指代叶CU及叶TU。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括视频图片中的一系列的一或多者。GOP可在GOP的标头、图片中的一或多者的标头中或在别处包含描述包含于GOP中的图片数目的语法数据。图片的每一切片可包含描述所述相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作，以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而具有不同大小。
作为一个实例，HM支持以各种PU大小进行预测。假定特定CU的大小为2N×2N，则HM支持以2N×2N或N×N的PU大小进行帧内预测，及以2N×2N、2N×N、N×2N或N×N的对称PU大小进行帧间预测。HM还支持以2N×nU、2N×nD、nL×2N及nR×2N的PU大小的不对称分割以进行帧间预测。在不对称分割中，CU的一个方向未被分割，而另一方向被分割成25％及75％。CU的对应于25％分割区的部分由“n”继之以“上”、“下”、“左”或“右”的指示来指示。因此，例如，“2N×nU”指代被水平分割而具有顶部的2N×0.5N PU及底部的2N×1.5N PU的2N×2NCU。
在本发明中，“N×N”与“N乘N”可互换地使用以指代视频块的在垂直维度与水平维度上的像素尺寸，例如，16×16像素或16乘16像素。一般来说，16x16块在垂直方向中将具有16个像素(y＝16)且在水平方向中将具有16个像素(x＝16)。同样地，N×N块一般在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。可按多行及多列来布置块中的像素。另外，块未必需要在水平方向上与在垂直方向上具有相同数目个像素。举例来说，块可包括NxM个像素，其中M未必等于N。
在使用CU的PU进行帧内预测性或帧间预测性译码之后，视频编码器20可计算CU的TU的残余数据。PU可包括描述在空间域(也被称作像素域)中产生预测性像素数据的方法或模式的语法数据，且TU可包括在将(例如)离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换应用于残余视频数据之后在变换域中的系数。残余数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含CU的残余数据的TU，且接着变换所述TU以产生CU的变换系数。
在应用任何变换以产生变换系数之后，视频编码器20可执行变换系数的量化。量化一般指代如下过程：将变换系数量化以可能地减少用以表示所述系数的数据量，从而提供进一步压缩。所述量化过程可减少与所述系数中的一些或全部相关联的位深度。举例来说，可在量化期间将n位值降值舍位到m位值，其中n大于m。
在量化之后，视频编码器可扫描变换系数，从而从包含经量化变换系数的二维矩阵产生一维向量。扫描可设计成将较高能量(且因此较低频率)系数置于阵列前部，且将较低能量(且因此较高频率)系数置于阵列后部。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化变换系数，以产生可被熵编码的串列化向量。在其它实例中，视频编码器20可执行自适应性扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可(例如)根据上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码(CABAC)、基于语法的上下文自适应性二进制算术译码(SBAC)、机率区间分割熵(PIPE)译码或另一熵编码方法而熵编码所述一维向量。视频编码器20还可熵编码与经编码视频数据相关联的语法元素以供视频解码器30用于解码视频数据。
为了执行CABAC，视频编码器20可将上下文模型内的上下文指派给待发射的符号。所述上下文可能是关于(例如)符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可针对待发射的符号选择可变长度码。可建构VLC中的码字使得相对较短码对应于更有可能的符号，而较长码对应于较不可能的符号。以此方式，使用VLC可达成位节省(与(例如)针对待发射的每一符号使用等长度码字相比较)。可基于指派给符号的上下文而进行机率确定。
视频编码器20可进一步在(例如)帧标头、块标头、切片标头或GOP标头中将语法数据(例如，基于块的语法数据、基于帧的语法数据及基于GOP的语法数据)发送到视频解码器30。GOP语法数据可描述相应GOP中的帧数目，且帧语法数据可指示用以编码对应帧的编码/预测模式。
视频编码器20及视频解码器30可各自实施为多种合适编码器或解码器电路中的任一者(在适用时)，例如，一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中，其中任一者可集成为组合式视频编码器/解码器(编码解码器)的部分。包含视频编码器20及/或视频解码器30的装置可包括集成电路、微处理器及/或无线通信装置(例如，蜂窝式电话)。
视频编码器20及视频解码器30可经配置以实施本发明中所描述的技术中的一或多者。作为一个实例，视频编码器20可经配置以编码关于在位流的部分中是否可发生参数集更新的指示。视频解码器30可经配置以解码所述指示以在不执行经存储参数集与具有相同识别值的相同类型的新参数集之间的内容比较的情况下确定是否可发生所述经存储参数集的更新。当发生参数集更新时，视频解码器30存储具有给定识别值的当前参数集以替换具有相同类型且具有相同识别值的先前参数集。所述指示所应用于的位流部分可为位流的经译码视频序列或位流的经译码视频序列中的GOP。
在一个状况下，指示可包括在位流中的语法元素(例如，旗标)，其指示在位流的部分中是否可更新任何类型的任何参数集。在另一状况下，指示可包括在位流中的若干不同旗标，其中每一者指示在位流的部分中是否可更新特定类型的参数集。在任一状况下，当旗标指示不能够发生参数集更新时，视频解码器30可针对位流的整个部分存储且启动给定类型的单个参数集。在接收到具有与初始参数集相同的类型且具有与初始参数集相同的识别值之后续参数集时，视频解码器30可忽略所述后续参数集。相反地，当旗标指示可发生参数集更新时，视频解码器30可自动启动新参数集且去启动给定类型的经存储参数集，或可(例如)通过执行内容比较来确定是否更新经存储参数。
作为另一实例，视频编码器20可经配置以编码指示，所述指示是关于在位流中执行从特定CRA存取单元的随机存取是否要求从先前存取单元提取参数集。视频解码器30可经配置以解码所述指示以确定是否需要包含于先前存取单元中的参数集以执行从特定CRA图片的随机存取。在一些状况下，指示可包括包含于NAL单元有效负载中的语法元素(例如，旗标)，所述NAL单元有效负载包含在位流中的每一CRA图片的存取单元中。
CRA存取单元可出现于经译码视频序列内的任何点处且不清除DPB，此在无较低译码效率的情况下提供对位流的随机存取的更多选项。在从CRA图片进行随机存取的状况下，将不解码按输出或解码次序在所述CRA图片之前的所有图片且所述图片不可用作参考图片。为了解码CRA图片或按输出或解码次序的任何后继图片，视频解码器可需要提取包含于不可用先前图片中的一者的存取单元中的一或多个参数集，此为繁重的操作。根据本发明的一些技术，当旗标指示不需要来自先前存取单元的参数集以进行从特定CRA图片的随机存取时，视频解码器30可确定执行从那一图片的随机存取，因为不需要提取操作。相反地，当旗标指示需要来自先前存取单元的参数集以进行从特定CRA图片的随机存取时，视频解码器30可确定不执行从那一图片的随机存取以便避免提取操作。尽管主要关于CRA图片予以描述，但技术可类似地用于其它类型的RAP图片，包含IDR图片及渐进解码刷新(GDR)图片。
图2为说明可实施本发明中所描述的技术的视频编码器20的实例的框图。视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测以减少或移除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的邻近帧或图片内的视频的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)的帧间模式可指代若干基于时间的译码模式中的任一者。
如图2所示，视频编码器20接收待编码的视频图帧内的当前视频块。在图2的实例中，视频编码器20包含模式选择单元40、参考图片存储器64、求和器50、变换处理单元52、量化单元54，及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测处理单元46，及分割单元48。对于视频块重建构，视频编码器20还包含反量化单元58、反变换处理单元60，及求和器62。
在编码过程期间，视频编码器20接收待译码的视频帧或切片。可将帧或切片划分成多个视频块。运动估计单元42及运动补偿单元44执行所接收的视频块相对于一或多个参考帧中的一或多个块的帧间预测性译码，以提供时间预测。或者，帧内预测处理单元46可执行经接收视频块相对于与待译码的块处于同一帧或切片中的一或多个相邻块的帧内预测性译码，以提供空间预测。视频编码器20可执行多个译码遍次(例如)以选择用于视频数据的每一块的适当译码模式。
此外，分割单元48可基于在先前译码遍次中对先前分割方案的评估而将视频数据的块分割成若干子块。举例来说，分割单元48可最初将帧或切片分割成若干LCU，且基于位率-失真分析(例如，位率-失真最佳化)而将所述LCU中的每一者分割成若干子CU。模式选择单元40可进一步产生指示LCU到子CU的分割的四分树数据结构。四分树的叶节点CU可包含一或多个PU及一或多个TU。
模式选择单元40可选择译码模式(帧内或帧间)中的一者(例如，基于误差结果)，且将所得经帧内或帧间译码块提供到求和器50以产生残余块数据，且提供到求和器62以重建构经编码块以用作参考帧。模式选择单元40还将例如运动向量、帧内模式指示符、分割信息及其它此类语法信息等语法元素提供到熵编码单元56。
运动估计单元42与运动补偿单元44可高度集成，但出于概念性目的而对所述单元分别加以说明。由运动估计单元42执行的运动估计为产生运动向量的过程，运动向量估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测性块相对于当前帧(或其它经译码单元)内的正被译码的当前块的位移。预测性块为被发现在像素差方面与待译码的块紧密匹配的块，可通过绝对差和(SAD)、平方差和(SSD)或其它差量度来确定像素差。在一些实例中，视频编码器20可计算存储于参考图片存储器64(其也可被称作经解码图片缓冲器(DPB))中的参考图片的次整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行相对于完整像素位置及分数像素位置的运动搜索，且以分数像素精度输出运动向量。
运动估计单元42通过比较帧间译码切片中的视频块的PU的位置与参考图片的预测性块的位置而计算所述PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述列表中的每一者识别存储于参考图片存储器64中的一或多个参考图片。运动估计单元42将经计算的运动向量发送到熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量来提取或产生预测性块。再次，在一些实例中，运动估计单元42及运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量时，运动补偿单元44可在参考图片列表中的一者中探寻运动向量所指向的预测性块。求和器50通过从正被译码的当前视频块的像素值中减去预测性块的像素值来形成残余视频块，从而形成像素差值，如下文所论述。一般来说，运动估计单元42执行相对于明度分量的运动估计，且运动补偿单元44将基于明度分量所计算的运动向量用于色度分量及明度分量两者。模式选择单元40还可产生与视频块及视频切片相关联的语法元素以供视频解码器30用于解码视频切片的视频块。
如上文所描述，作为由运动估计单元42及运动补偿单元44执行的帧间预测的替代例，帧内预测处理单元46可对当前块进行帧内预测。明确地说，帧内预测处理单元46可确定用以编码当前块的帧内预测模式。在一些实例中，帧内预测处理单元46可(例如)在单独编码遍次期间使用各种帧内预测模式编码当前块，且帧内预测处理单元46(或在一些实例中，模式选择单元40)可从经测试模式中选择要使用的适当帧内预测模式。
举例来说，帧内预测处理单元46可对于各种经测试的帧内预测模式使用位率-失真分析来计算位率-失真值，且在经测试模式当中选择具有最佳位率-失真特性的帧内预测模式。位率-失真分析大体上确定经编码块与原始未经编码块之间的失真(或误差)的量以及用以产生经编码块的位率(即，位数目)，所述原始未经编码块经编码以产生所述经编码块。帧内预测处理单元46可根据各种经编码块的失真及位率计算比率，以确定哪一帧内预测模式针对所述块展现最佳位率-失真值。
在选择块的帧内预测模式之后，帧内预测处理单元46可将指示块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示选定帧内预测模式的信息。视频编码器20可在经发射的位流中包含配置数据，所述配置数据可包含：多个帧内预测模式索引表及多个经修改的帧内预测模式索引表(也被称作码字映射表)、各种块的编码上下文的定义，及将用于所述上下文中的每一者的最有可能的帧内预测模式、帧内预测模式索引表及经修改的帧内预测模式索引表的指示。
视频编码器20通过从正被译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子带变换或其它类型的变换。在任何状况下，变换处理单元52将变换应用于残余块，从而产生残余变换系数的块。所述变换可将残余信息从像素值域转换到变换域(例如，频域)。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化所述变换系数以进一步减小位率。量化过程可减小与所述系数中的一些或全部相关联的位深度。可通过调整量化参数而修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。或者，熵编码单元56可执行所述扫描。
在量化之后，熵编码单元56熵译码经量化变换系数。举例来说，熵编码单元56可执行上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码(CABAC)、基于语法的上下文自适应性二进制算术译码(SBAC)、机率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的状况下，上下文可基于相邻块。在通过熵编码单元56进行的熵译码之后，可将经编码位流发射到另一装置(例如，视频解码器30)或经封存以供稍后发射或检索。
反量化单元58及反变换处理单元60分别应用反量化及反变换，以在像素域中重建构残余块(例如)供稍后用作参考块。运动补偿单元44可通过将残余块添加到参考图片存储器64的帧中的一者的预测性块来计算参考块。运动补偿单元44还可对所述经重建构的残余块应用一或多个内插滤波器以计算用于在运动估计中使用的次整数像素值。求和器62将经重建构的残余块加到由运动补偿单元44产生的经运动补偿的预测块，以产生经重建构的视频块以供存储于参考图片存储器64中。
图2的视频编码器20表示经配置以实施本发明中所描述的技术中的一或多者的视频编码器的实例。在所述技术的一个实例中，视频编码器20可经配置以编码关于在位流的部分中是否可发生参数集更新的指示。所述指示可由视频编码器20产生以便向视频解码器通知是否可发生经存储参数集的更新。以此方式，基于所述指示，视频解码器首先确定在位流的部分中究竟是否允许参数集更新，之后才确定是否实际地执行更新(例如，通过执行经存储的作用中参数集与具有相同识别值的相同类型的新参数集之间的内容比较)。
在一些状况下，指示可包括关于是否可更新针对位流的部分(例如，经译码视频序列或GOP)的参数集中的任一者的单个指示。在此状况下，相同指示可用于所有类型的参数集，包含视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)，及/或自适应性参数集(APS)。在其它状况下，指示可包括若干不同指示，其中每一者指示在位流的部分中是否可更新特定类型的参数集。指示可为位流层级指示(例如，包含于位流的部分中的语法元素)。举例来说，指示可为包含于位流中的补充增强信息(SEI)网络抽象层(NAL)单元中的语法元素(例如，旗标)。作为另一实例，指示可为包含于位流中的序列参数集(SPS)NAL单元中的语法元素(例如，旗标)。
在其它实例中，指示可为简档定义中的要求。在额外实例中，当将视频位流用于基于实时输送协议(RTP)的发射环境(例如，用于媒体数据输送的使用RTP的流式传输或多播)中时，指示可被定义为媒体类型参数且包含于会话描述协议(SDP)中。在此状况下，指示可用于会话协商阶段(也被称为能力交换)中。在又其它实例中，指示可被定义为包含于超文本传送协议(HTTP)流式传输环境(例如，DASH)中的媒体呈现描述(MPD)中的流性质。
在技术的另一实例中，视频编码器20可经配置以针对每一CRA图片编码关于执行从CRA存取单元对位流的随机存取是否要求从先前存取单元提取参数集的指示。所述指示可由视频编码器20产生以便向视频解码器通知是否需要包含于先前存取单元中的参数集以执行从特定CRA存取单元的随机存取。以此方式，基于所述指示，视频解码器首先确定从特定CRA存取单元的随机存取解码是否要求提取操作，且可通过选择供执行随机存取的不同RAP图片而避免执行提取操作。所述指示对于在HEVC标准中引入的CRA存取单元尤其有用，因为CRA图片可定位于经译码视频序列内的任何点处且不清除DPB，此在无较低译码效率的情况下提供对位流的随机存取的更多选项。
在一些状况下，指示可包括特定类型的NAL单元，例如，特定类型的SPS、SEI或存取单元定界符NAL单元，其包含于位流中的每一CRA图片的存取单元中。在其它状况下，指示可包括语法元素(例如，旗标)，其包含于NAL单元有效负载(例如，SPS、SEI或存取单元定界符NAL单元有效负载)中；或包含于NAL单元标头中，NAL单元标头包含于位流中的每一CRA图片的存取单元中。在一个实例中，指示可包括包含于CRA图片的存取单元中的SEI NAL单元中的旗标。尽管主要关于CRA图片予以描述，但视频编码器20可针对其它类型的RAP图片编码类似指示，其它类型的RAP图片包含IDR图片及渐进解码刷新(GDR)图片。
图3为说明解码经编码视频序列的视频解码器30的实例的框图。在图3的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测处理单元74、反量化单元76、反变换处理单元78、求和器80，及参考图片存储器82。在一些实例中，视频解码器30可执行大体上与关于视频编码器20(图2)所描述的编码遍次互逆的解码遍次。
在解码过程期间，视频解码器30从视频编码器20接收经编码的视频流，所述流表示经编码视频切片的视频块及关联的语法元素。视频解码器30可从网络实体29接收经编码视频位流。举例来说，网络实体29可为流服务器、媒体感知网络元件(MANE)、视频编辑器/接合器、中间网络元件，或经配置以实施上文所描述的技术中的一或多者的其它此类装置。网络实体29可包含经配置以执行本发明的一些技术之外部装置。本发明中所描述的一些技术可在网络实体29将经编码视频位流发射到视频解码器30之前由网络实体29来实施。在一些视频解码系统中，网络实体29及视频解码器30可为单独装置的部分，而在其它情况下，关于网络实体29所描述的功能性可通过包括视频解码器30的相同装置来执行。
视频解码器30的熵解码单元70熵解码位流以产生经量化系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转递到运动补偿单元72。视频解码器30可在视频切片层级及/或视频块层级处接收语法元素。
当视频切片经译码为帧内译码(I)切片时，帧内预测处理单元74可基于所传讯的帧内预测模式及来自当前帧或图片的先前经解码块的数据而产生当前视频切片的视频块的预测数据。当视频帧经译码为帧间译码(即，B或P)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量及其它语法元素而产生当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解码器30可基于存储于参考帧存储器82(其可被称作经解码图片缓冲器(DPB))中的参考图片来建构参考帧列表：列表0及列表1。
运动补偿单元72通过剖析运动向量及其它语法元素而确定当前视频切片的视频块的预测信息，且使用所述预测信息以产生正被解码的当前视频块的预测性块。举例来说，运动补偿单元72使用一些所接收的语法元素以确定用以译码视频切片的视频块的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片或P切片)、切片的参考图片列表中的一或多者的建构信息、切片的每一帧间编码视频块的运动向量、切片的每一帧间译码视频块的帧间预测状态，及用以解码当前视频切片中的视频块的其它信息。
运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用如由视频编码器20在视频块的编码期间使用的内插滤波器，以计算参考块的次整数像素的内插值。在此状况下，运动补偿单元72可从所接收的语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器以产生预测性块。
反量化单元76将位流中所提供且由熵解码单元70解码的经量化变换系数反量化(即，解量化)。反量化过程可包含使用由视频解码器30针对视频切片中的每一视频块计算的量化参数QPY，以确定量化程度及(同样)应应用的反量化的程度。反变换处理单元78将反转换(例如，反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数以便在像素域中产生残余块。
在运动补偿单元72基于运动向量及其它语法元素产生当前视频块的预测性块之后，视频解码器30通过对来自反变换单元78的残余块与由运动补偿单元72产生的对应预测性块求和而形成经解码视频块。求和器80表示执行此求和运算的(多个)组件。如果需要，还可应用解块滤波器来对经解码块滤波以便移除方块效应假影(blockiness artifact)。其它迴路滤波器(译码迴路中抑或译码迴路后)还可用以使像素转变平滑，或以其它方式改进视频质量。接着将给定帧或图片中的经解码视频块存储于参考图片存储器82中，参考图片存储器82存储用于后续运动补偿的参考图片。参考帧存储器82还存储经解码视频以用于稍后在显示装置(例如，图1的显示装置32)上呈现。
图3的视频解码器30表示经配置以实施本发明中所描述的技术中的一或多者的视频解码器的实例。在所述技术的一个实例中，视频解码器30可经配置以解码关于在位流的部分中是否可发生参数集更新的指示。当所述指示指示在位流的部分中不能够发生参数集更新时，视频解码器30针对位流的整个部分启动给定类型的初始参数集。在此状况下，在接收到具有与初始参数集相同的类型且具有与初始参数集相同的识别值之后续参数集时，视频解码器30无需确定是否更新经译码视频序列的初始参数集且可忽略后续参数集。
HEVC HM包含参数集的概念。参数集为包含语法元素的语法结构，所述语法元素经配置以指示使视频解码器能够重建构经译码视频的信息。可基于由语法元素指示的信息及预期语法元素在位流中改变的频率而使语法元素包含于特定类型的参数集中。举例来说，视频参数集(VPS)包含描述经译码视频序列的总体特性(包含时间子层之间的相依性)的语法元素。序列参数集(SPS)包含被预期对于图片序列内的图片来说保持不变的语法元素(例如，图片次序、参考图片数目及图片大小)。图片参数集(PPS)包含可在序列内在图片间改变的语法元素(例如，熵译码模式、量化参数及位深度)。自适应性参数集(APS)包含被预期在序列的图片内改变的语法元素(例如，块大小及解块滤波)。
参数集概念将不频繁改变的信息的发射与经译码视频数据的发射解耦。在一些实例中，可“带外”传递参数集(即，不将其与含有经译码视频数据的单元一起输送)。可能需要在带外地发射参数集，因为相比于数据信道内的“带内”发射，带外发射通常更为可靠。在HEVC HM中，每一VPS包含VPS识别(ID)值，每一SPS包含SPS ID且参考使用VPS ID的VPS，且每一PPS包含PPS ID且参考使用SPS ID的SPS。另外，每一切片标头参考使用PPS ID的PPS。
在位流中，当具有特定参数集ID值的特定类型的参数集具有与具有相同ID值的相同类型的先前参数集(按位流次序或解码次序)的内容不同的内容时，可更新具有那一特定ID值的特定类型的参数集。当发生参数集更新时，视频解码器30存储具有给定ID值的当前参数集以替换具有相同类型且具有相同ID值的先前参数集。
当需要特定类型的新参数集，但已使用所有可能ID值时，可发生参数集更新。在经接合的位流中，即使在未完全利用参数集ID值空间时也可发生参数集更新。位流接合指代两个或两个以上位流或位流的部分的组合。第一位流可由第二位流附加，可能地对所述位流中的一者或两者进行一些修改以产生经接合的位流。第二位流中的第一经译码图片也被称作接合点。经接合的位流中的接合点处的图片起源自第二位流，而经接合的位流中的紧接在接合点之前的图片起源自第一位流。
位流通常使用每一类型的几个参数集(例如，几个SPS及几个PPS)，且有时使用每一类型的仅一个参数集。另外，位流中的每一者通常针对不同类型的参数集中的每一者以最小参数集ID值0开始。以此方式，如果两个位流被接合，则很可能针对特定类型的参数集的同一ID值(例如，具有ID值0的SPS)由接合点及紧接在所述接合点图片之前的图片两者参考，但所述两个参数集包含不同内容。因此，由所述接合点之前的图片所参考的参数集需要用由接合点图片参考的具有相同ID值的相同类型的参数集更新。在此状况下，在经接合的位流开始时不能够发射所述经接合的位流的参数集，且因此，不能够相对于位流的经译码视频序列在带外地发射所述经接合的位流的参数集。
常规地，为了确定是否应启动具有特定ID值的任何类型的当前参数集以更新具有相同ID值的先前参数集，视频解码器比较所述当前参数集的内容与所述先前参数集的内容以确定内容是否不同。当当前参数集的内容不同于先前参数集时，视频解码器针对位流启动当前参数集且去启动先前参数集。视频解码器每当在其接收到具有与较早所接收的参数集的ID值相同的特定ID值的特定类型的新参数集时就执行此内容比较。当在带内发射参数集(即，与位流的经译码视频序列一起发射)时，视频解码器可接收所述参数集的重复发射以实现改进的误差恢复。视频解码器接着执行针对每一重复的参数集的内容比较。此内容比较是不必要的且将计算负担强加给视频解码器。
本发明中所描述的技术提供经配置以指示在位流的部分(例如，经译码视频序列或经译码视频序列中的GOP)中是否可发生参数集更新的指示符。当所述指示符指示在位流的部分中不能够发生参数集更新时，视频解码器30仅针对位流的整个部分存储且启动具有特定ID值的第一参数集。另外，当指示符指示不能够发生参数集更新时，视频解码器30将不执行任何参数集更新，且因此无需比较第一参数集的内容与具有相同ID值的相同类型的第二参数集的内容。以此方式，视频解码器30可操作，就好像第一参数集的内容与具有相同ID值的相同类型的任何其它参数集中所包含的内容等同一样。
当指示符指示在位流的部分中可发生参数集更新时，视频解码器30存储且启动具有特定ID值的第一参数集，但可使用具有相同ID值的相同类型的第二参数集来更新经存储的第一参数集以替换所述经存储的第一参数集。在一些状况下，视频解码器30可针对位流的部分自动启动第二参数集，且去启动第一参数集。在其它状况下，视频解码器30可比较第一参数集的内容与第二参数集的内容。当第二参数集的内容不同于第一参数集的内容时，视频解码器30针对位流的部分启动第二参数集，且去启动第一参数集。
指示可包括包含于位流中的位流层级语法元素，例如，旗标。举例来说，指示可包括包含于与位流中的经译码视频序列相关联的一或多个补充增强信息(SEI)网络抽象层(NAL)单元中的旗标。作为另一实例，指示可包括包含于位流中的经译码视频序列的一或多个序列参数集(SPS)NAL单元中的旗标。
在一个实例中，旗标可指示在位流的部分中是否可更新任何参数集。因此，单个旗标可用以指示不同类型的参数集的更新状态。在此状况下，相同旗标可用于所有类型的参数集，包含VPS、SPS、PPS及/或APS。当旗标等于1时，可更新参数集。当旗标等于0时，不应更新参数集，且视频解码器30不执行具有相同类型且具有相同参数集ID值的参数集之间的内容比较。当旗标等于0时，内容比较没有必要，因为视频解码器30可进行操作就好像具有相同类型且具有相同ID值的参数集具有相同内容一样。
在另一实例中，旗标可指示在位流的部分中是否可更新特定类型的参数集。在此状况下，不同旗标可用于不同类型的参数集中的每一者，包含VPS、SPS、PPS及/或APS。因此，每一类型的参数集实际上可具有其自身的用以指示其是否可被更新的旗标。当旗标等于1时，可更新所述特定类型的参数集。当旗标等于0时，不应更新特定类型的参数集，且视频解码器30不执行具有所述特定类型且具有相同参数集ID值的参数集之间的内容比较。当旗标等于0时，内容比较没有必要，因为视频解码器30可进行操作就好像具有所述特定类型且具有相同ID值的参数集具有相同内容一样。
在另外实例中，旗标可指示在位流的部分中是否可更新不同类型的两个或两个以上参数集。在此状况下，一个旗标可用于不同类型的参数集中的两者或两者以上(例如，SPS及PPS)，且另一旗标可用于不同类型的参数集中的一或多者(例如，VPS)。因此，一些类型的参数集可共享旗标以指示联合更新状态，而其它类型的参数集可具有个别旗标以指示个别更新状态。另外，在一些状况下，指示可包括为具有多个位的单个语法元素的位遮罩或码字，其中每一位对应于参数集中的一或多者的更新状态，或码字具有特定值以指示不同参数集的更新状态的不同组合。
在一些状况下，关于在位流的部分中是否可发生参数集更新的指示可确定如何将参数集发射到视频解码器30。举例来说，当在位流的部分中可发生参数集更新时，不可相对于位流的经译码视频序列在带外地发射参数集，因为针对位流的不同部分(例如，在经接合的位流的接合点图片处)可发生更新。
根据所述技术，在一个实例中，当指示符指示在位流的部分中不能够发生参数集更新时，视频解码器30可在带外发射(即，与位流的经译码视频序列分离的发射)中接收第一参数集。在此状况下，因为第一参数集为针对整个位流所启动的唯一参数集，所以例如视频编码器20等视频编码器可在带外编码所述第一参数集，使得所述第一参数集与经译码视频序列数据分离。在另一实例中，当指示符指示在位流的部分中不能够发生参数集更新时，视频解码器30可在带内发射(即，与位流的经译码视频序列一起的发射)中接收第一参数集，而不比较所述第一参数集的任何重复的发射的内容。在此状况下，当例如视频编码器20等视频编码器编码第一参数集的重复的发射以实现改进的误差恢复时，视频解码器30不执行针对所述重复的参数集的内容比较。内容比较没有必要，因为根据指示，视频解码器30可进行操作就好像具有相同类型且具有相同ID值的参数集具有相同内容一样。
在一些实例中，指示可为包含于位流中(例如，包含于VPS、SPS、PPS或APS中)的语法元素，例如，旗标。作为一个实例，指示可为包含于经译码视频序列中的语法元素。作为另一实例，指示可为简档定义中的要求。在其它实例中，当将视频位流用于基于实时输送协议(RTP)的发射环境(例如，使用RTP用于媒体数据输送的流式传输或多播)中时，指示可被定义为媒体类型参数且包含于会话描述协议(SDP)中。在此状况下，指示可用于会话协商阶段(也被称为能力交换)中。在又其它实例中，指示可被定义为包含于超文本传送协议(HTTP)流式传输环境(例如，DASH)中的媒体呈现描述(MPD)中的流性质。
在技术的另一实例中，视频解码器30可经配置以解码针对每一CRA图片的关于执行从CRA存取单元对位流的随机存取是否要求从先前存取单元提取参数集的指示。所述指示对于在HEVC标准中引入的CRA存取单元尤其有用，因为CRA图片可定位于经译码视频序列内的任何点处且不清除DPB，此在无较低译码效率的情况下提供对位流的随机存取的更多选项。
当所述指示指示了不需要来自先前存取单元的参数集来进行从特定CRA图片的随机存取时，视频解码器30可确定在无提取操作的情况下执行从那一CRA图片的随机存取。当所述指示指示了需要来自先前存取单元的参数集来进行从特定CRA图片的随机存取时，视频解码器30可确定不执行从那一图片的随机存取以便避免提取操作。在一些状况下，视频解码器30可解码针对位流的部分(例如，经译码视频序列)内的若干不同CRA图片的指示以便识别存取单元，可在不执行参数集提取操作的情况下执行从所述存取单元的随机存取。以此方式，视频解码器30可通过选择供执行随机存取的不同CRA图片而避免执行提取操作。
随机存取指代从不为位流中的第一经译码图片的经译码图片开始的解码视频位流。在例如广播及流式传输等许多视频应用中需要对位流的随机存取，例如，供用户在不同信道之间切换、跳转到视频的特定部分、用于不同位流的接合，或切换到不同位流以用于对位率、帧速率、空间分辨率及其类似者的流调适。通过以规则时间间隔将随机存取图片或随机存取点插入到视频位流中来启用此特征。瞬时解码器刷新(IDR)图片可用于随机存取。IDR图片开始经译码视频序列且总是清除经解码图片缓冲器(DPB)，因此按解码次序在所述IDR图片之后的图片不能够将在所述IDR图片之前解码的图片用于参考。因此，依赖于IDR图片以供随机存取的位流可具有显著较低译码效率。
为了改进译码效率，将清晰随机存取(CRA)图片的概念引入HEVC HM中。不同于IDR图片，CRA图片可定位于经译码视频序列内的任何点处且不清除DPB，其在无较低译码效率的情况下提供对位流的随机存取的更多选项。因为CRA图片不清除DPB，所以允许按解码次序在CRA图片之后但按输出次序在CRA图片之前的图片将在所述CRA图片之前解码的图片用于参考。按解码次序在CRA图片之后但按输出次序在CRA图片之前的图片被称作CRA图片之前导图片。如果解码从在当前CRA图片之前的IDR或CRA图片开始，则可正确地解码CRA图片之前导图片。然而，当发生从当前CRA图片的随机存取时，不能够正确地解码CRA图片之前导图片。因此，通常在随机存取解码期间从DPB舍弃前导图片。为了防止从取决于解码开始之处可能不可用的参考图片的误差传播，在解码次序及输出次序两方面皆在CRA图片之后的所有图片可受约束而不将按解码次序或输出次序在所述CRA图片之前的任何图片(其包含前导图片)用作参考。
在H.264/AVC标准中通过復原点SEI消息来支持类似随机存取功能性。H.264/AVC解码器实施可能或可能不支持復原点SEI消息功能性。在HEVC标准中，以CRA图片开始的位流被认为是符合的位流。当位流以CRA图片开始时，所述CRA图片之前导图片可指代不可用参考图片，且因此不可解码。HEVC标准指定开始CRA图片之前导图片不被输出。然而，为了建立位流符合性，HEVC标准指定了解码过程以产生用于解码非输出前导图片的不可用参考图片。符合的解码器实施不必须遵循那一解码过程，只要与从经译码视频序列的开始执行解码过程的情况相比可产生等同输出即可。
另外，HEVC标准中的符合的位流可能根本不含有IDR图片，且因此，可含有经译码视频序列的子集或不完整的经译码视频序列。在HEVC标准中，经译码视频序列被定义为存取单元序列，其按解码次序包含IDR存取单元、继之以零个或零个以上非IDR存取单元(包含直到(但不包含)任何后续IDR存取单元的所有后续存取单元)。包含于经译码视频序列中的存取单元对应于视频序列的图片。存取单元中的每一者包含一或多个网络抽象层(NAL)单元。HEVC标准定义视频经译码层(VCL)NAL单元及非VCLNAL单元。VCL NAL单元含有图片的视频数据的切片。非VCL NAL单元含有除了视频数据切片以外的信息。举例来说，非VCL NAL单元可含有定界符数据或参数集，例如，VPS、SPS或PPS。非VCL NAL单元的另一实例为SEI NAL单元，其可包含由视频解码器在解码位流时使用的图片定时消息。
当视频解码器30执行从包含于位流中的CRA图片的随机存取时，将不解码按输出或解码次序在所述CRA图片之前的所有图片且所述图片不可用作参考图片。在此状况下，为了解码CRA图片或按输出或解码次序的任何后继图片，视频解码器30可需要提取包含于不可用的先前图片中的一者的存取单元中的一或多个参数集，此为繁重的操作。
作为一个实例，SPS可包含于位流的第一CRA图片的存取单元中，且SPS不可包含于位流之后续第二CRA图片中。在此状况下，如果执行从第二CRA图片的随机存取且所有先前图片(包含第一CRA图片)不可用，则SPS也不可用于解码第二CRA图片及位流中的任何后续图片。为了执行从第二CRA图片的随机存取，视频解码器30需要从不可用的第一CRA图片提取SPS。
常规地，为了避免提取操作，视频解码器可执行贯穿经接收位流的检查以确定将哪些参数集用于位流的不同部分且确定是否可从位流中的RAP图片进行随机存取。对于视频解码器来说，提取操作及位流检查操作皆可为处理器密集型的繁重操作，且将需要避免这些操作。
本发明的技术提供关于执行从位流中的特定CRA存取单元的随机存取是否要求从先前存取单元提取参数集的指示。当不需要先前参数集来进行从特定CRA存取单元的随机存取时，视频解码器30可在无提取操作的情况下执行从那一特定CRA存取单元的随机存取。相反地，当需要先前参数集来进行从特定CRA存取单元的随机存取时，视频解码器30不可执行从那一特定CRA存取单元的随机存取以便避免提取操作。在一些实例中，当需要先前参数集来进行从特定CRA存取单元的随机存取时，视频解码器30可在从先前存取单元提取参数集之后执行从那一CRA存取单元的随机存取。
根据本发明中所描述的技术，可针对每一CRA存取单元在位流中包含指示，所述指示用以指示是否需要包含于按输出或解码次序的先前存取单元中的参数集以解码所述CRA存取单元及按输出或解码次序的所有后续存取单元。如果不需要先前参数集来进行从一个CRA存取单元的随机存取，则视频解码器30可执行从那一存取单元对位流的随机存取，而不依赖于包含于先前存取单元中的任何参数集NAL单元。以此方式，可简单地跳过或忽略所有较早NAL单元。
与在上文所阐述的实例中一样，SPS NAL单元可包含于视频序列的第一CRA图片的存取单元中，且SPS NAL单元不可包含于视频序列之后续第二CRA图片中。根据本发明中所描述的技术，在第一CRA图片的存取单元中可包含指示，所述指示用以指示不需要来自按输出或解码次序的先前存取单元的参数集以解码所述第一CRA图片或按输出或解码次序的任何后续图片。另外，在第二CRA图片的存取单元中可包含指示，所述指示用以指示需要来自按输出或解码次序的先前存取单元的参数集(即，第一CRA图片的存取单元中的SPS)以解码所述第二CRA图片或按输出或解码次序的任何后续图片。在此实例中，基于所述指示，视频解码器30可确定执行从第一CRA图片的随机存取，但不执行从第二CRA图片的随机存取以便避免提取操作。
尽管主要关于CRA图片予以描述，但本发明的技术可类似地用于其它类型的RAP图片，包含IDR图片及渐进解码刷新(GDR)图片。在一些状况下，指示可包括包含于经译码视频序列中的每一IDR或CRA图片的存取单元中的特定类型的网络抽象层(NAL)单元。在其它状况下，指示可包括包含于NAL单元有效负载中的语法元素(例如，旗标)，所述NAL单元有效负载包含于经译码视频序列中的每一IDR或CRA图片的存取单元中。在一个实例中，指示可包括包含于CRA图片的存取单元中的补充增强信息(SEI)NAL单元中的旗标。
另外，举例来说，可使用具有相异NAL单元类型的特定类型的SPS来传讯关于给定图片的指示。在此实例中，可需要使所述特定类型的SPS包含于所述图片的存取单元中的第一NAL单元中，或包含于在存取单元定界符NAL单元(如果存在)之后的第一NAL单元中。在另一实例中，可使用具有相异NAL单元类型的特定类型的存取单元定界符或包含于给定图片的存取单元中的存取单元定界符NAL单元的有效负载中的旗标来传讯针对所述图片的指示。在另外实例中，可使用包含于给定图片的存取单元中的NAL单元标头中的旗标来传讯关于所述图片的指示。另外，可使用特定类型的SEI消息或SEI消息中的旗标来传讯关于给定图片的指示。在HEVC HM中，SEI消息可包含于图片的存取单元中的SEI NAL单元中。
图4为说明根据预测性视频译码技术而译码的视频序列100的概念图。如图4中所说明，视频序列100包含图片Pic1到Pic10。根据图片Pic1到Pic10待显示的次序来布置且顺次地编号所述图片。如下文中更详细地描述，输出或显示次序未必对应于解码次序。如图4中所说明，视频序列100包含GOP1及GOP2，其中图片Pic1到Pic5包含于GOP1中且图片Pic6到Pic10包含于GOP2中。图4进一步说明Pic5被分割成切片1及切片2，其中切片1及切片2中的每一者包含根据从左到右从上到下光栅扫描的连续LCU。另外，Pic5中的最后LCU被说明为根据四分树进一步分裂成多个CU。尽管未展示，但图4中所说明的其它图片可以类似方式分割成一或多个切片。
如下文更详细地描述，HEVC HM包含两种类型的切片分割方案，即：规则切片及熵切片。另外，除了切片分割方案以外，HM还包含瓦片(tile)分割方案及波前并行处理(WPP)分割方案。可基于最大发射单元(MTU)大小匹配及/或并行处理来选择及应用分割方案。Pic5的切片1及切片2或其它图片中的任一者可为规则切片或熵切片。另外，在其它实例中，可使用瓦片或WPP来分割Pic1到Pic10中的每一者。
另外，图4关于视频序列100的GOP2说明I切片、P切片及B切片的概念。与GOP2中的Pic6到Pic10中的每一者相关联的箭头基于由所述箭头指示的经参考图片而指示图片包含I切片、P切片抑或B切片。在视频序列100中，Pic6及Pic9表示包含I切片(即，基于图片自身内的参考的经帧内预测切片)的图片，图片Pic7及Pic10表示包含P切片(即，基于先前图片中的参考的经帧间预测切片)的图片，且Pic8表示包含B切片(即，基于先前及后续图片两者中的参考的经帧间预测切片)的图片。
图5为说明对应于图4中所说明的GOP2的经译码视频序列120的实例的概念图。HEVC HM将经译码视频序列定义为存取单元序列，其按解码次序由瞬时解码刷新(IDR)存取单元、继之以零个或零个以上非IDR存取单元(包含直到(但不包含)任何后续IDR存取单元的所有后续存取单元)组成。经译码图片为含有图片的所有树块的图片的经译码表示。存取单元为在解码次序上为连续的且表示一个经译码图片的网络抽象层(NAL)单元的集合。存取单元可包含表示经译码图片的经译码切片的视频译码层(VCL)NAL单元，及包含定界符数据、参数集及补充增强信息(SEI)消息的非VCL NAL单元。
如图5中所说明，经译码视频序列120包含对应于Pic6到Pic10中的每一者的存取单元。根据解码次序来顺次地布置视频数据流120的存取单元。应注意，对应于Pic9的存取单元位于对应于Pic8的存取单元之前。因此，解码次序不对应于图4中所说明的输出次序。在此实例中，输出次序与解码次序之间的差异是归因于Pic8参考Pic9的事实。因此，在可解码Pic8之前必须解码Pic9。
如图5中所说明，对应于Pic9的存取单元包含存取单元(AU)定界符NAL单元122、图片参数集(PPS)NAL单元124、切片1NAL单元126，及切片2NAL单元128。切片1NAL单元126及切片2NAL单元128各自含有视频数据切片且为VCL NAL单元的实例。如上文关于图4所描述，Pic9表示包含I切片的图片。因此，在图5的实例中，对应于Pic9的存取单元的切片1NAL单元126及切片2NAL单元128中的每一者可表示I切片。
非VCL NAL单元包含除了视频数据切片以外的信息。举例来说，非VCL可含有定界符数据、参数集，或SEI消息。在图5中所说明的实例中，AU定界符NAL单元122包含用以将对应于Pic9的存取单元相对于对应于Pic7的存取单元定界的信息。另外，PPS NAL单元124包含图片参数集。AU定界符NAL单元122及PPS NAL单元124为非VCL NAL单元的实例。非VCL NAL单元的另一实例为SEI NAL单元。SEI NAL单元可包含图片定时SEI消息或缓冲周期SEI消息，其由视频解码器在解码位流时使用。图片定时SEI消息可包含指示何时视频解码器应开始解码VCL NAL单元的信息。缓冲周期SEI消息可包含经译码图片缓冲器(CPB)移除延迟信息，其指示何时视频解码器应从CPB移除图片以避免溢位。
在HEVC HM中，视频序列、GOP、图片、切片、CU、PU及TU中的每一者可与被定义成指示那一视频数据结构的视频译码性质的语法元素相关联。HM进一步使用参数集概念。参数集为包含语法元素的语法结构，所述语法元素被定义成指示应用于参考所述参数集的任何视频数据结构的视频译码性质。HM使用阶层式参数集机制，其中基于预期视频译码性质将改变的频率而使语法元素包含于某类型的参数集中。因此，参数集机制将不频繁改变的信息的发射与经译码块数据的发射解耦。在一些应用中，可“带外”地传递参数集(即，并不将其与经译码视频数据一起输送)，因为带外发射相比于带内发射通常更可靠。
HM定义若干不同类型的参数集，包含视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)及自适应性参数集(APS)中的一或多者。位流可包含每一类型的若干不同参数集。特定参数集是使用参数集识别符(ID)予以识别。每一VPS包含VPS ID，每一SPS包含SPSID且可参考VPS ID，每一PPS包含PPS ID且参考SPS ID，且每一切片标头参考PPS ID，且可能参考APS ID。另外，每一缓冲周期补充增强信息(SEI)消息还参考SPS ID，且可能参考VPSID。在这些实例中的每一者中，可使用可变长度无正负号整数指数哥伦布(ue(v))译码方法将参数集ID译码为语法元素。
VPS为包含适用于零个或零个以上完整经译码视频序列的语法元素的语法结构。更特定而言，VPS包含描述经译码视频序列的总体特性的语法元素，所述特性包含简档、阶层及层级信息及时间子层之间的相依性。特定VPS是使用编码为SPS或SEI消息中的语法元素的特定VPS ID予以识别。SPS为包含适用于零个或零个以上完整经译码视频序列的语法元素的语法结构。更特定而言，SPS包含被定义成指示被预期在帧序列中保持不变的视频译码性质(例如，图片次序、参考帧数目及图片大小)的语法元素。特定SPS是使用编码为PPS或SEI消息中的语法元素的特定SPS ID予以识别。
PPS为包含适用于零个或零个以上完整经译码图片的语法元素的语法结构。更特定而言，PPS包含经定义以指示可在序列内在图片间改变的视频译码性质(例如，熵译码模式、量化参数及位深度)的语法元素。特定PPS是使用编码为切片标头中的语法元素的特定PPS ID予以识别。APS为包含适用于零个或零个以上完整经译码图片的语法元素的语法结构。APS(如果经译码)可包含经定义以指示相比于PPS中所指示的其它性质改变更频繁的视频译码性质的语法元素。特定APS是使用编码为切片标头中的语法元素的APS ID予以识别。
位流接合指代两个或两个以上位流或位流的若干部分的串接或组合。举例来说，第一位流可由第二位流附加，可能地对所述位流中的一者或两者进行一些修改以产生经接合的位流。第二位流中的第一经译码图片也被称作接合点。因此，在经接合的位流中在接合点之后的图片起源自第二位流，而在经接合的位流中在接合点之前的图片起源自第一位流。在一些状况下，位流接合器可执行位流接合。位流接合器可能为轻量型的且不如视频编码器智慧。举例来说，位流接合器可能未配备有熵解码能力及熵编码能力。位流接合可对可缩放性应用(例如，针对位率、帧速率或空间分辨率可缩放性)有用。
如上文所描述，位流可包含每一类型的一或多个不同参数集，例如，SPS及PPS。特定类型的参数集是使用参数集识别符(ID)予以识别。在一些状况下，视频解码器可接收具有特定参数集ID的特定类型的参数集，所述参数集具有与具有相同参数集ID的相同类型的先前参数集(按位流或解码次序)的内容不同的内容。在此状况下，更新具有所述特定参数集ID(例如，SPS 0)的所述特定类型的参数集。参数集更新包含存储具有特定参数集ID的经接收参数集的内容以替换具有相同类型且具有相同参数集ID值的先前参数集。
当需要特定类型的新参数集，但已使用参数集ID的所有可能值时，可发生参数集更新。在经接合的位流中，甚至在未完全利用参数集ID值空间时，也可发生参数集更新。位流常常仅使用几个SPS及几个PPS，或甚至仅仅一个SPS及一个PPS，且使用最小SPS ID值及最小PPS ID值(即，0)。因此，当两个位流或位流的部分被接合时，很可能地是：起源自第二位流的接合点与起源自第一位流的紧接在接合点图片之前的图片参考同一SPS ID或PPSID。在此状况下，由接合点图片参考的SPS或PPS的内容与由紧接在所述接合点图片之前的图片参考的SPS或PPS的内容很可能不同。
在SPS参数集的特定状况下，当接合点图片与紧接在所述接合点之前的图片参考同一SPS ID且实际上使用两个不同SPS时，则在经接合的位流中，具有由紧接在所述接合点之前的图片参考的特定SPS ID的SPS是实际上被由所述接合点图片参考的SPS更新。在此状况下，经接合的位流的SPS不能够置于所述经接合的位流的开始。尽管上文关于SPS予以描述，但对于VPS、PPS及APS也是如此情况。已基于在经接合的位流中仅存在一个接合点的假定来描述位流接合及相关联的参数集更新。然而，位流可包含多个接合点，且本文所描述的技术可个别地应用于所述接合点中的每一者。
随机存取指代从不为位流中的第一经译码图片的经译码图片开始解码视频位流。在例如广播及流式传输等许多视频应用中，对位流的随机存取是有用的。举例来说，随机存取有用于使用户在不同信道之间切换、跳转到视频的特定部分，或切换到不同位流以用于流调适(例如，针对位率、帧速率或空间分辨率可缩放性)。通过以规则时间间隔多次将随机存取点(RAP)图片或存取单元插入到视频位流中来实现随机存取。
瞬时解码刷新(IDR)图片可用于对位流的随机存取。IDR图片开始经译码视频序列且仅包含经帧内预测的切片(即，I切片)。另外，IDR图片总是清除经解码图片缓冲器(DPB)。因此，按解码次序在IDR之后的图片不能够将在所述IDR图片之前解码的图片用作参考。因此，依赖于IDR图片来进行随机存取的位流可具有显著较低译码效率。
为了改进译码效率，将清晰随机存取(CRA)图片的概念引入HEVC HM中。与IDR图片一样，CRA图片仅包含经帧内预测的切片，即，I切片。CRA图片不同于IDR图片，因为CRA图片不清除DPB且可位于经译码视频序列内的任何位置处。因此，允许按解码次序在CRA图片之后但按输出次序在CRA图片之前的图片使用在CRA图片之前解码的图片作为参考。按解码次序在CRA图片之后但按输出次序在CRA图片之前的图片被称作关联于CRA图片之前导图片(或CRA图片之前导图片)。
如果解码从在当前CRA图片之前的IDR或CRA图片开始，则可正确地解码CRA图片之前导图片。然而，当随机存取从当前CRA图片开始时，可能不正确地解码CRA图片之前导图片。因此，通常在从当前CRA图片的随机存取解码期间舍弃前导图片。参看图4及图5中所说明的实例，pic9可为CRA图片且pic8可为pic9之前导图片。如果在pic6处存取GOP2，则可正确地解码Pic8，但如果在Pic9处存取GOP2，则可能不正确地解码Pic8。归因于在Pic9处存取GOP2的情况下pic7可能不可用的事实。为了防止从取决于解码开始之处而不可用的参考图片的误差传播，在解码次序及输出次序两方面皆在CRA图片之后的所有图片可受约束而不将按解码次序或输出次序在所述CRA图片之前的任何图片(其包含前导图片)用作参考。
在HEVC HM中，以CRA图片开始的位流被认为是符合的位流。当位流以CRA图片开始时，所述CRA图片之前导图片可参考不可用的参考图片，且因此可能不能够被正确地解码。然而，HM指定开始CRA图片之前导图片不被输出，因此名称为“清晰随机存取”。在图4及图5中所说明的实例中，如果位流在Pic9处开始，则Pic8不被输出。为了建立位流符合性要求，HM指定解码过程以产生用于解码非输出前导图片的不可用参考图片。然而，符合的解码器实施不必遵循那一解码过程，只要所述符合的解码器可产生与从经译码视频序列的开始执行解码过程的情况相比等同的输出即可。
应注意，在H.264/AVC中通过復原点SEI消息来支持与HEVC HM中的那些随机存取功能性类似的随机存取功能性。H.264/AVC解码器实施可能或可能不支持随机存取功能性。应进一步注意，在HEVC HM中，符合的位流可能根本不含有IDR图片。HM将经译码视频序列定义为存取单元序列，其按解码次序由IDR存取单元、继之以零个或零个以上非IDR存取单元(包含直到(但不包含)任何后续IDR存取单元的所有后续存取单元)组成。因此，不含有IDR图片的符合的位流可含有经译码视频序列的子集或不完整的经译码视频序列。
现在将描述与位流中的参数集更新有关的问题及所提议技术。常规地，为了确定是否执行参数集更新，解码器在每当接收到具有特定参数集ID的特定类型的新参数集(其具有与相同类型的较早所接收的参数集的参数集ID相同的参数集ID)时就比较参数集内容。执行所述参数集比较以验证所述参数集是包含相同内容抑或不同内容。基于参数集是否具有相同内容，解码器确定是否启动当前所接收的参数集且去启动先前作用中参数集。在与经译码视频数据一起在带内发射参数集的状况下，可重复地发射所述参数集以实现改进的误差恢复。在此状况下，解码器可进行每一重复的参数集的参数集内容的比较。进行重复的参数集的比较可将不必要负担强加于解码器上。
本发明描述了可尤其在参数集更新的状况下提供对解码处理资源的更有效率使用的技术。在一个实例中，本发明描述视频处理装置，所述视频处理装置经配置以使用位流层级指示符以确定在位流的部分中是否可更新参数集。在一些状况下，位流层级指示可用以指示是否可更新参数集。所述指示可为包含于位流中(例如，SPS中)的旗标，且所述旗标在所有SPS中可等同。当旗标等于1时，可更新参数集。当旗标等于0时，不可更新参数集。在此状况下，视频解码器无需比较具有相同类型且具有相同参数集ID值的两个参数集的内容以确定所述参数集是否具有相同内容，因为当旗标等于0时，不可发生参数集更新且视频解码器进行操作就好像所述两个参数集具有相同内容一样。
在其它状况下，位流层级指示可用以指示是否可更新特定类型的参数集(例如，VPS、SPS、PPS或APS)。所述指示可为包含于位流中(例如，SPS中)的旗标，且所述旗标在所有SPS中可等同。当旗标等于1时，可更新所述特定类型的参数集。当旗标等于0时，不可更新所述特定类型的参数集。在此状况下，视频解码器无需比较具有所述特定类型且具有相同参数集ID值的两个参数集的内容以确定所述参数集是否具有相同内容，因为当旗标等于0时，不可发生参数集更新且视频解码器进行操作就好像所述两个参数集具有相同内容一样。当存在三种类型的参数集(例如，SPS、PPS及APS)时，使用三个此种指示，一种指示用于每一类型的参数集。
在上文所描述的实例中，指示包含于参数集中的位流层级。在另一实例中，指示可包含于SEI消息中。在又另一实例中，指示可作为要求而包含于简档的定义中。在一些实例中，指示可包含于经译码视频序列层级处而非位流层级处。在其它实例中，指示可不包含于位流中，而是在视频位流在会话协商或能力交换阶段期间用于基于实时输送协议(RTP)的发射环境(例如，使用RTP用于媒体数据输送的流式传输或多播)中时，指示可改为被定义为媒体类型参数且包含于会话描述协议(SDP)中。作为一额外实例，在例如经由HTTP的动态自适应性流式传输(DASH)的HTTP流式传输环境中，指示可被定义为包含于媒体呈现描述(MPD)中的流性质。
现在将描述与在IDR图片处启动新参数集有关的问题及所提议技术。如上文所描述，在许多状况下，位流接合点图片为IDR图片。接合点图片通常具有与经接合的位流中的紧接在接合点之前的图片的视频特性不同的视频特性。因此，通常在接合点处需要每一类型的不同参数集，且比较与接合点图片相关联的参数集的内容是否等同于与先前图片相关联的参数集将为对解码处理资源的浪费。在此状况下，可能更有效率地是启动与接合点图片相关联的每一类型的新参数集，而不比较参数集内容。另外，当IDR图片为接合点图片时，为了避免DPB溢位，可能有必要不输出在所述IDR图片之前的任何图片(即使在解码所述IDR图片时所述图片尚未被输出)。
本发明描述了可尤其在位流接合点处的参数集更新的状况下提供对解码处理资源的更有效率使用的技术。在一个实例中，本发明描述视频处理装置，所述视频处理装置经配置以自动启动与经接合的位流的接合点图片相关联的每一类型的新参数集。明确地说，在许多状况下，位流接合点图片为IDR图片。根据所述技术，在每一IDR图片处，视频解码器可启动每一类型的参数集(且因此，去启动先前作用中参数集)，即使所述新近经启动的参数集可能与先前作用中参数集完全相同(包含参数集ID值及内容)。在每一IDR图片处启动新参数集的一个潜在缺点在于：可能执行一些不必要的参数集启动。
在另一实例中，可针对每一IDR图片在位流中包含用以指示所述IDR图片是否为接合IDR(SIDR)图片的指示。在此实例中，当指示SIDR图片时，视频解码器可启动每一类型的参数集(且因此，去启动先前作用中参数集)，即使所述新近启动的参数集可能与先前作用中参数集完全相同(包含参数集ID值及内容)。通过仅在SIDR图片处而非在每一IDR图片处启动新参数集，可减少不必要的参数集启动。另外，当指示SIDR图片时，图片输出行为可就像如下情况一样：存在no_output_of_prior_pics_flag且no_output_of_prior_pics_flag等于1，其指示将不输出在SIDR图片之前的图片。no_output_of_prior_pics_flag可能或可能不存在于(例如)切片标头中。在一些状况下，指示可为特殊的相异NAL单元类型。在其它状况下，指示可为切片标头、PPS或APS中的图片层级旗标。
现在将描述与从RAP存取单元对位流的全面随机存取有关的问题及所提议技术。当与经译码视频数据一起在带内输送参数集(即，在经译码视频位流中输送)时，从IDR图片或CRA图片的存取单元对位流的随机存取可要求从按解码次序早于IDR或CRA存取单元的存取单元提取参数集。当无需从按解码次序早于IDR或CRA存取单元的存取单元提取参数集时，通知视频解码器以便避免不必要的提取操作将为有利的。
本发明描述的技术可用于提供对解码处理资源的更有效率使用，尤其是随机存取的状况下。在一个实例中，本发明描述视频处理装置，所述视频处理装置经配置以使用位流中的指示以确定是否需要在IDR或CRA存取单元之前的存取单元中的参数集NAL单元以解码所述IDR或CRA存取单元。明确地说，位流可包含针对每一IDR或CRA存取单元的指示，以指示是否需要所述IDR或CRA存取单元之前的参数集NAL单元(按位流或解码次序)以解码所述IDR或CRA存取单元及任何后续存取单元(按位流或解码次序)。
如果所述指示对于一个IDR或CRA存取单元正确，则视频解码器可从所述IDR或CRA存取单元随机地存取位流，而不依赖于所述IDR或CRA存取单元之前的任何参数集NAL单元。在此状况下，可简单地跳过或忽略所有较早NAL单元。在一个实例中，可使用特定类型的SPS(例如，具有相异NAL单元类型)来传讯针对IDR图片或CRA图片的指示，其中SPS可为存取单元的第一NAL单元或在存取单元定界符NAL单元(如果存在于存取单元中)之后的第一NAL单元。在另一实例中，可使用特定类型的存取单元定界符来传讯所述指示，所述存取单元定界符具有相异存取单元定界符NAL单元类型抑或具有在存取单元定界符NAL单元的NAL单元有效负载内的旗标。在另一实例中，可使用存取单元中的NAL单元标头中的旗标来传讯所述指示。作为一额外实例，可使用存取单元中的特定类型的SEI消息或存取单元中的SEI消息中的旗标来传讯所述指示。
现在将描述与位流中的CRA图片之前导图片有关的问题及所提议技术。当位流从CRA图片开始且与所述CRA图片相关联之前导图片不存在于视频解码器处时，经译码图片缓冲器(CPB)可溢位。因此，可需要应用不同集合的假想参考解码器(HRD)参数以便避免缓冲器溢位。S.Deshpande等人的“Signaling of CRA Pictures”(第9次会议，Geneva，CH，2012年4月27日到5月7日，文件，JCTVC-I0278(下文中“Deshpande”))描述了针对CRA图片的指示(例如，新NAL单元类型或切片标头中的旗标)以指示是否存在相关联之前导图片，使得视频解码器可确定将应用哪一HRD参数集。然而，由Deshpande描述的指示要求外部网络实体(例如，流服务器或媒体感知网络元件(MAME))对CRA图片的NAL单元标头或切片标头作出改变，此情形对外部网络实体来说可为繁重的或不可能的。
本发明描述可被使用以便避免潜在缓冲器溢位的技术。在一个实例中，本发明描述视频处理装置，所述视频处理装置经配置以使用指示来确定是否存在与开始位流的CRA图片相关联的前导图片。明确地说，在一个实例中，当不存在开始位流的CRA图片之前导图片时，外部网络实体可改变NAL单元类型以将所述CRA图片指示为IDR图片。在另一实例中，外部网络实体可向视频解码器通知与开始位流的CRA图片相关联的前导图片的存在或不存在。
外部网络实体可针对基于实时流式传输协议(RTSP)的流式传输系统产生RTSP消息，或产生在基于RTSP的流及基于会话宣告协议(SAP)的广播/多播两者的会话协商期间所发送的会话描述协议(SDP)参数作为静态配置。在例如经由HTTP的动态自适应性流式传输(DASH)的HTTP流式传输中，可通过如下操作来实现指示：分配不同统一资源定位器(URL)或分配针对CRA图片及前导图片具有不同字节偏移的URL。在此状况下，因为由视频解码器确定是否请求CRA图片之前导图片，故视频解码器可独自确定是否存在所述前导图片。
现在将描述与时间运动向量预测有关的问题及所提议技术。再次参看图4，Pic6、Pic7及Pic9中的每一者用作参考图片。如上文所描述，运动信息语法元素可识别参考图片中的预测性视频块的位置以用于当前图片中的视频块的帧间预测。运动预测可指代相对于先前经译码视频块的运动信息(例如，运动向量及参考图片索引)而定义给定视频块的运动信息的过程。举例来说，运动预测可涉及使用先前经译码CU的运动信息以产生正被译码的当前CU的运动信息。可应用运动预测以减少传达当前CU的运动向量所需要的数据量。
运动预测的一个实例为合并模式运动预测。在合并模式运动预测中，从先前经译码相邻视频块继承当前CU的运动信息。运动预测技术可使用索引值以识别相邻视频块，当前视频块从所述相邻视频块导出其运动信息。举例来说，可能的相邻视频块可包含当前图片中的邻近于当前CU(例如，在当前CU上方、下方、左侧或右侧)的视频块。另外，可能的相邻视频块还可包含位于除了当前图片以外的图片中的视频块(例如，与时间上邻近图片同置的视频块)。当可能的相邻视频块位于除了当前图片以外的图片中时，其被称作时间运动向量预测(TMVP)。举例来说，在图4中所说明的实例中，如果Pic8从Pic7继承运动向量，则此为TMVP。在一些情况下，可有利地是允许一些图片、切片及CU使用TMVP而不允许其它者使用TMVP。
HEVC HM允许逐个图片地启用或停用TMVP，且可使用PPS中的旗标enable_temporal_mvp_flag来传讯TMVP的启用。如上文所描述，每一切片标头参考使用特定PPS ID的特定PPS，且基于所述特定PPS中的旗标值而确定针对图片是否启用TMVP。举例来说，当切片参考enable_temporal_mvp_flag值等于0的PPS且具有等于0的temporal_id时，调用对DPB中的参考图片的标记过程。即，经解码图片缓冲器(DPB)中的所有图片被标记为“不用于时间运动向量预测”且不允许从较早参考图片的TMVP。
作为对将enable_temporal_mvp_flag包含于PPS中的替代例，在Lim、Chong Soon等人的“High-level Syntax：Proposed fix on signaling of TMVP disabling flag”(第9次会议，Geneva，CH，2012年4月27日到5月7日，文件，JCTVC-I0420(在下文中“Lim”))中已描述了在每个P及B切片标头处明确地传讯enable_temporal_mvp_flag。虽然Lim中所描述的技术移除了对标记过程的需要，且独立地确定TMVP图片而非依赖于逐图片更新，但当经译码视频序列中的许多图片或所有图片不使用TMVP时，Lim中所描述的技术并不有效率。根据Lim中所描述的技术，图片或序列内的所有P及B切片的切片标头皆将包含enable_temporal_mvp_flag，即使所述切片皆不使用TMVP也是如此。
本发明描述可被使用以便减少每个P及B切片标头的enable_temporal_mvp_flag的传讯的技术。在一个实例中，本发明描述视频处理装置，所述视频处理装置经配置以识别SPS中的旗标以确定是否启用时间运动向量预测。明确地说，在一些实例中，可将旗标(例如，enable_temporal_mvp_ps_flag)添加到SPS或PPS中。当在特定SPS或PPS中此旗标等于0时，enable_temporal_mvp_flag不存在于参考所述特定SPS或PPS的任何切片标头中。当在特定SPS或PPS中此旗标等于1时，enable_temporal_mvp_flag存在于参考所述特定SPS或PPS的每一切片标头中。切片标头中的enable_temporal_mvp_flag的語義可与在Lim提议中的語義相同。
现在将描述与位流中的经译码图片的参考图片集合传讯有关的问题及所提议技术。如上文所描述，除了运动向量以外，运动信息语法元素还可包含参考图片索引。HEVC HM使用基于参考图片集合(RPS)的机制以管理参考图片。RPS指代与图片相关联的参考图片集合，其由按解码次序在相关联图片之前的所有参考图片组成，其可用于相关联的图片或按解码次序在相关联的图片之后的任何图片的帧间预测。在HM中，直接传讯针对每一经译码图片的RPS。用于传讯RPS的语法元素包含于SPS及切片标头两者中。针对特定经译码图片，RPS可为如由切片标头中的旗标所指示或直接在切片标头中传讯的包含于SPS中的可能的图片集合中的一者。
每一图片的RPS包括五个不同的参考图片列表，其也被称作五个RPS子集。五个RPS子集包含：RefPicSetStCurrBefore、RefPicSetStCurrAfter、RefPicSetStFoll、RefPicSetLtCurr，及RefPicSetLtFoll。RefPicSetStCurrBefore包含在解码次序及输出次序两方面皆在当前图片之前且可用于当前图片的帧间预测的所有短期参考图片(STRP)。RefPicSetStCurrAfter由按解码次序在当前图片之前且按输出次序在当前图片之后且可用于当前图片的帧间预测的所有短期参考图片组成。RefPicSetStFoll由可用于按解码次序在当前图片之后的图片中的一或多者的帧间预测且不用于当前图片的帧间预测的所有短期参考图片组成。RefPicSetLtCurr是由可用于当前图片的帧间预测的所有长期参考图片(LTRP)组成。RefPicSetLtFoll是由可用于按解码次序在当前图片之后的图片中的一或多者的帧间预测且不用于当前图片的帧间预测的所有长期参考图片组成。
在K.Suehring等人的“用于无错误环境的长期图片传讯(Long-term PictureSignaling for error-free environments)”(第9次会议，Geneva，CH，2012年4月27日到5月7日，文件，JCTVC-I0112(在下文中“Suehring”))中已描述了通过到经解码图片缓冲器(DPB)中的1)被标记为“用于参考”及2)不包含于短期参考图片集合中的参考图片的图片次序计数(POC)排序列表的索引来识别LTRP。Suehring陈述了在无误差环境中，LTRP的此传讯是有效率的。然而，在无误差环境中，STRP还可通过到DPB中的参考图片的POC排序列表的索引来识别。
本发明描述可用于识别STRP的技术。在一个实例中，本发明描述视频处理装置，所述视频处理装置经配置以通过到DPB中的参考图片的POC排序列表的索引来识别STRP。明确地说，在一些实例中，每一STRP可通过到DPB中的参考图片的POC排序列表的索引来识别。在一些状况下，次序可呈POC值的递增次序。在其它状况下，次序可呈POC值的递减次序。对于第一个经指示的STRP，(例如)使用无正负号整数指数哥伦布(ue(v))译码、截断式整数指数哥伦布(te(v))译码或无正负号整数(ue(v))译码中的一者来直接译码索引。如果进行u(v)译码，则索引的按位计的长度为顶值(log2(N))，其中N为DPB中的参考图片的数目。对于其它经指示的STRP，传讯当前STRP的索引与先前STRP的索引之间的差。或者，DPB中的参考图片可分裂成两个列表。在此实例中，列表中的一者包含POC小于当前图片的POC的参考图片且可按POC值的递减次序排序。列表中的另一者包含POC值大于当前图片的POC值的参考图片且可按POC值的递增次序排序。接着，待包含于短期参考图片集合中的每一STRP可通过列表(即，两个列表中的一者)及到那一列表的索引来识别。
现在将描述与瓦片及波前并行处理(WPP)的图片分割方案的种类前缀数据批次处理有关的问题及所提议技术。如上文所描述，HEVC HM包含四个不同图片分割方案，即：规则切片、熵切片、瓦片，及WPP。规则切片是与H.264/AVC中的规则切片类似。每一规则切片囊封于其自有NAL单元中，且停用图片内预测(例如，帧内样本预测、运动信息预测、译码模式预测)及跨越切片边界的熵译码相依性。因此，可独立于同一图片内的其它规则切片来重建构规则切片(但归因于迴路滤波操作仍可存在相互相依性)。因为HEVC中的基本单元(即，树块)可具有相对大的大小(例如，树块可为64×64)，所以在HM中包含“精细粒度切片”(作为特殊形式的规则切片)的概念以允许经由树块内的切片边界的MTU大小匹配。在图片参数集中传讯切片粒度，而仍在切片标头中传讯精细粒度切片的地址。
熵切片(类似规则切片)破坏熵解码相依性，但允许图片内预测(及滤波)跨越熵切片边界。因此，熵切片可用作轻量型机制以使熵解码并行化，而对其它解码步骤没有影响。尽管每一熵切片囊封于其自有NAL单元中，但其相比于规则切片具有短得多的切片标头，因为大多数切片标头语法元素不存在且必须从之前的完整切片标头继承大多数切片标头语法元素。归因于允许图片内的相邻熵切片之间的图片内预测，为了实现图片内预测所需之处理器间/核心间通信可相当大。不推荐在易发生误差的环境中将熵切片用于MTU大小匹配，因为归因于图片内预测，一个熵切片的损失还会造成按解码次序的下一熵切片的解码的失败。对于在多核心或多CPU架构上执行熵解码过程但在专用信号处理硬件上执行剩余解码功能性的系统架构来说，熵切片表现得具有有限用途。
在WPP中，图片被分割成树块的若干行。允许熵解码及预测使用来自其它分割区中的树块的数据。经由对树块的行的并行解码，可能实现并行处理，其中行的解码的开始被延迟达两个树块，以便确保在主体树块被解码之前可获得与在所述主体树块上方且在所述主体树块右侧的树块有关的数据。通过使用此交错式开始(其当以图形方式来表示时看起来像波前)，可能通过高达与图片含有的树块行一样多的处理器/核心进行并行化。HEVC HM包含用以组织不同树块行的经译码位以便有益于特定数目个并行处理器/核心的机制。举例来说，偶数编号的树块行(树块行0、2、4…)的经译码位有可能全部在奇数编号的树块行(树块行1、3、5…)的经译码位之前，使得位流可由两个并行处理器/核心解码，但较早出现的树块行(例如，树块行2)的解码参考较晚出现的树块行(例如，树块行1)。与熵切片类似，归因于允许图片内的相邻树块行之间的图片内预测，为了实现图片内预测所需之处理器间/核心间通信可相当大。相比于不应用WPP分割时的情况，WPP分割不会导致更多NAL单元；因此，WPP不能够用于MTU大小匹配。
瓦片界定将图片分割成瓦片列及行的水平边界及垂直边界。在按图片的瓦片光栅扫描的次序解码下一瓦片的左上树块之前，树块的扫描次序被改变成在瓦片内局部的(按瓦片的树块光栅扫描的次序)。与规则切片类似，瓦片破坏图片内预测相依性以及熵解码相依性。然而，瓦片无需包含到个别NAL单元内(就此来说与WPP一样)，且因此不能够用于MTU大小匹配。每一瓦片可由一个处理器/核心处理，且在解码相邻瓦片之处理单元之间的进行图片内预测所需要之处理器间/核心间通信限于传递共享切片标头(在一切片横跨一个以上瓦片的状况下)及对经重建构样本及后设数据的与迴路滤波相关的共享。因此，与WPP相比，归因于两个相邻分割区之间的图片内独立性，瓦片在存储器带宽方面为要求较少的。
在HEVC HM中，规则切片为可用于并行化且还在H.264/AVC中可以实际上等同形式使用的唯一工具。基于规则切片的并行化不需要很多处理器间或核心间通信(惟在解码预测性译码的图片时用于运动补偿之处理器间或核心间数据共享(其通常比归因于图片内预测之处理器间或核心间数据共享繁重得多)除外)。然而，出于相同原因，规则切片可需要一些译码耗用。另外，规则切片(与上文所提及的一些其它分割方案相对照)还归因于规则切片的图片内独立性及每一规则切片囊封于其自有NAL单元中而用作用于进行位流分割以与MTU大小要求匹配的关键机制。在许多状况下，并行化的目标与MTU大小匹配的目标可对图片中的切片怖局提出矛盾的需求。
为简单起见，在HM中指定四个不同图片分割方案的限制。举例来说，在HM中，不可同时应用熵切片、瓦片及WPP中的任两者的组合。此外，在HM中，对于每一切片及瓦片，必须实现以下条件中的任一者或两者：1)一切片中的所有经译码树块皆属于同一瓦片，及2)一瓦片中的所有经译码树块皆属于同一切片。
已在S.Kanumuri等人的“用于瓦片及波前的分类前缀数据分批(Category-prefixed data batching for tiles and wavefronts)”(第9次会议，Geneva，CH，2012年4月27日到5月7日，文件，JCTVC-I0427(下文中称为“Kanumuri”))中描述瓦片及WPP的交插数据次序(其还使两个入口点传讯方法的有用性降低)。与Kanumuri中所提议的途径相关联的一个问题在于：所支持种类的最大数目为32。然而，有可能存在32个以上WPP子流(例如，当每一树块行为子流且存在32个以上树块行时)或32个以上瓦片，且要求知晓每一WPP子流或瓦片入口点(例如)以用于通过单核心解码器按图片的树块光栅扫描来处理树块(剖析且解码两者)。此外，Kanumuri中所提议的途径强加对单核心解码的负担，因为需要用以合并交插数据的合并过程或在NAL单元的位流中来回跳转(视处理次序而定)。
本发明描述可用以指示是否应用种类前缀数据批次处理的技术。在一个实例中，本发明描述视频处理装置，所述视频处理装置经配置以通过指示符识别是否应用种类前缀数据批次处理。明确地说，在一些实例中，可将用以指示是否应用种类前缀数据批次处理的指示添加于SPS或PPS中。如果指示了不应用种类前缀数据批次处理，则可应用处置瓦片的常规方式。在其它实例中，种类的最大数目可变化，且可在SPS或PPS中传讯种类的最大数目的值。在另外实例中，可(例如)在SPS或PPS中传讯瓦片或WPP子流到种类的映射(即，哪些瓦片或WPP子流属于各种类)。
图6为说明确定在位流的部分中是否可发生参数集更新的操作的流程图。所说明操作被描述为由来自图3的视频解码器30基于由来自图2的视频编码器20产生的指示来执行。
视频解码器30可从视频编码器20接收具有一或多个经译码视频序列的位流，所述一或多个经译码视频序列包含表示经译码视频切片及经译码参数集的多个存取单元。视频解码器30解码被定义成指示在位流的部分(例如，经译码视频序列中的一者)中是否可发生参数集更新的旗标(130)。在一个实例中，旗标可包含于SEI NAL单元中，所述SEI NAL单元包含在经译码视频序列的至少一个存取单元中。在另一实例中，旗标可包含于SPS NAL单元中，所述SPS NAL单元包含在经译码视频序列的至少一个存取单元中。
在一些状况下，旗标可指示在经译码视频序列中是否可更新任何类型的参数集，使得仅一个旗标可用于所有类型的参数集。在其它状况下，旗标可指示在经译码视频序列中是否可更新特定类型的参数集，使得不同旗标可用于每一类型的参数集。在又其它状况下，旗标可指示在经译码视频序列中是否可更新两种或两种以上类型的参数集，使得一个旗标可用以指示所述两种或两种以上类型的参数集的更新状态且另一旗标可用以指示额外类型的参数集的更新状态。
视频解码器30接着从包含于经译码视频序列的存取单元中的一者中的参数集NAL单元解码具有特定ID值的特定类型的第一参数集(132)。当旗标指示在经译码视频序列中不可发生针对特定类型的参数集的参数集更新(134的否分支)时，视频解码器30针对位流的整个部分(即，此实例中的经译码视频序列)启动第一参数集(136)。在此状况下，在解码了具有与第一参数集相同的类型且具有与第一参数集相同的识别值之后续参数集时，视频解码器30无需确定是否更新经译码视频序列的第一参数集且可忽略后续参数集。因此，视频解码器30可进行操作就好像第一参数集的内容与具有相同ID值的相同类型的任何其它参数集中所包含的内容等同一样。
当旗标指示在经译码视频序列中可发生针对特定类型的参数集的参数集更新(134的是分支)时，视频解码器30启动第一参数集(138)。视频解码器30接着从包含于经译码视频序列的存取单元中的一者中的参数集NAL单元解码具有与第一参数集相同的类型且具有与第一参数集相同的ID值的第二参数集(140)。在此状况下，因为可发生参数集更新，所以视频解码器30确定是否存储第二参数集以替换第一参数集(142)。
在一些状况下，视频解码器30可针对经译码视频序列自动启动第二参数集，且去启动第一参数集。在其它状况下，视频解码器30可比较第一参数集的内容与第二参数集的内容。当第二参数集的内容不同于第一参数集的内容时，视频解码器30针对经译码视频序列启动第二参数集，且去启动第一参数集。
图7为说明确定是否可执行从CRA存取单元的随机存取而不必从先前的不可用存取单元提取参数集的操作的流程图。所说明操作被描述为由来自图3的视频解码器30基于由来自图2的视频编码器20产生的指示来执行。
HEVC HM引入CRA图片以在无较低译码效率的情况下提供对位流的随机存取的更多选项，与在使用IDR图片的情况下发生的一样。CRA存取单元可定位于经译码视频序列内的任何点处且不清除经解码图片缓冲器(DPB)，此允许给定CRA存取单元之前导图片(即，按解码次序在CRA存取单元之后但按输出次序在CRA存取单元之前的图片)将在所述CRA存取单元之间解码的图片用作参考图片。然而，仅当随机存取从在给定CRA存取单元之前解码的RAP图片开始时，才可正确地解码前导图片。在随机存取从特定CRA图片开始的状况下，将不解码按输出或解码次序在所述CRA图片之前的所有图片且所述图片不可用作参考图片。为了解码CRA图片或按输出或解码次序的任何后续存取单元，视频解码器30可需要提取包含于不可用的先前图片中的一者的存取单元中的一或多个参数集，此为繁重的操作。
视频解码器30可从视频编码器20接收具有一或多个经译码视频序列的位流，所述一或多个经译码视频序列包含表示经译码视频切片及经译码参数集的多个存取单元。视频解码器30从位流的经译码视频序列解码一或多个CRA存取单元(150)。视频解码器30还解码被定义成指示从特定CRA存取单元对位流的随机存取是否要求来自先前的不可用存取单元的参数集的旗标(152)。在一个实例中，旗标可包含于SEI NAL单元中，所述SEI NAL单元包含在位流的经译码视频序列中的特定CRA存取单元中。
当旗标指示无需提取来自先前存取单元的参数集(即，不需要提取)以用于进行从特定CRA存取单元的随机存取时(154的否分支)，视频解码器30在不执行提取操作的情况下执行从特定CRA存取单元对位流的随机存取(156)。相反地，当旗标指示需要提取来自先前存取单元的参数集(即，需要提取)以用于进行从特定CRA图片的随机存取时(154的是分支)，视频解码器30确定是否按次序执行从特定CRA存取单元对位流的随机存取(158)。在一些状况下，视频解码器30可确定可在不执行提取操作的情况下从另一RAP图片进行对位流的随机存取，且进一步确定不执行从特定CRA存取单元对位流的随机存取以便避免从先前存取单元提取参数集。在其它状况下，视频解码器30可确定不可进行从另一RAP图片对位流的随机存取，且进一步确定在从先前存取单元提取参数集之后执行从特定CRA存取单元对位流的随机存取。
以此方式，基于所述旗标，视频解码器30首先确定是否需要提取操作以用于进行从特定CRA存取单元的随机存取解码，且可通过选择供执行随机存取的不同RAP图片而避免执行提取操作。所述指示对于CRA存取单元尤其有用，因为CRA存取单元可定位于经译码视频序列内的任何点处且不清除DPB，此在无较低译码效率的情况下提供对位流的随机存取的更多选项。
图8为说明形成网络300的部分的实例装置集合的框图。在此实例中，网络300包含路由装置304A、304B(集体地被称作“路由装置304”)及转码装置306。路由装置304及转码装置306意欲表示可形成网络300的部分的少数装置。例如交换器、集线器、网关、防火墙、桥接器及其它此类装置等其它网络装置还可包含于网络300内。此外，可沿着服务器装置302与客户端装置308之间的网络路径提供额外网络装置。在一些实例中，服务器装置302可对应于来自图1的源装置12，而客户端装置308可对应于来自图1的目的地装置14。
一般来说，路由装置304实施一或多个路由协议以经由网络300交换网络数据。在一些实例中，路由装置304可经配置以执行代理或快取操作。因此，在一些实例中，还可将路由装置304称作代理装置。一般来说，路由装置304执行路由协议以发现经由网络300的路由。通过执行这些路由协议，路由装置304B可发现从其自身经由路由装置304A到服务器装置302的网络路由。
本发明的技术可由例如路由装置304及转码装置306等网络装置实施，但还可由客户端装置308实施。以此方式，路由装置304、转码装置306及客户端装置308表示经配置以实施本发明中所描述的技术中的一或多者的装置的实例。
在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合予以实施。如果以软件实施，则所述功能可作为一或多个指令或程序代码而存储于计算机可读媒体上或经由计算机可读媒体进行发射，且由基于硬件之处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体，通信媒体包含促进(例如)根据通信协议将计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、程序代码及/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
通过实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。而且，任何连接被适当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字用户线(DSL)或例如红外线、无线电及微波等无线技术而从网站、服务器或其它远程源发射指令，则同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电及微波等无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是针对非暂时性有形存储媒体。如本文所使用的磁盘及光盘包含光盘(CD)、激光光盘、光学碟片、数字影音光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘通过激光以光学方式再现数据。以上各者的组合也应包含于计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，本文所使用的术语“处理器”可指代上述结构或适于实施本文所描述的技术的任何其它结构中的任一者。另外，在一些方面中，可将本文所描述的功能性提供于经配置以用于编码及解码的专用硬件及/或软件模块内，或并入于组合式编码解码器中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施，所述装置或设备包含无线手持机、集成电路(IC)或IC集合(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求通过不同硬件单元来实现。更确切来说，如上文所描述，各种单元可组合于编码解码器硬件单元中或由交互操作的硬件单元的集合(包含如上文所描述的一或多个处理器)结合合适软件及/或固件来提供。
已描述各种实例。这些及其它实例在所附权利要求书的范围内。

Claims (32)

1.一种解码视频数据的方法，其包括：
在补充增强信息(SEI)消息中解码语法元素，所述语法元素指示从特定清晰随机存取CRA存取单元对位流的随机存取是否要求来自先前存取单元的一或多个参数集以解码所述特定CRA存取单元或后续存取单元，其中所述特定CRA存取单元定位于所述位流的经译码视频序列内的任何点处；以及
基于所述语法元素指示无需来自先前存取单元的参数集，在不从所述先前存取单元提取参数集的情况下执行从所述特定CRA存取单元对所述位流的随机存取。
2.根据权利要求1所述的方法，其进一步包括基于所述语法元素指示需要来自先前存取单元的参数集，确定是否执行从所述特定CRA存取单元对所述位流的随机存取。
3.根据权利要求2所述的方法，其进一步包括基于在不从先前存取单元提取参数集的情况下可从另一随机存取点RAP图片进行对所述位流的随机存取，确定不执行从所述特定CRA存取单元对所述位流的随机存取，以避免从所述先前存取单元提取所述参数集。
4.根据权利要求2所述的方法，其进一步包括基于不可进行从另一随机存取点RAP图片对所述位流的随机存取，确定在从所述先前存取单元提取所述参数集之后执行从所述特定CRA存取单元对所述位流的随机存取。
5.根据权利要求1所述的方法，其中基于所述语法元素指示无需先前存取单元的参数集，所述特定CRA存取单元包含解码所述特定CRA存取单元或后续存取单元所需的所有参数集。
6.根据权利要求1所述的方法，其中所述语法元素包括针对包含于所述位流中的一或多个CRA存取单元中的每一者的语法元素。
7.根据权利要求1所述的方法，其中所述先前存取单元为按解码次序或输出次序之一在所述特定CRA存取单元之前的存取单元。
8.根据权利要求7所述的方法，其中基于执行从所述特定CRA存取单元对所述位流的随机存取，不解码所述先前存取单元且所述先前存取单元不可在经解码图片缓冲器DPB中用作按解码次序或输出次序之一在所述特定CRA存取单元之后的存取单元的参考图片。
9.根据权利要求7所述的方法，其中基于执行从在所述经译码视频序列中在所述特定CRA存取单元之前的随机存取点RAP图片对所述位流的随机存取，解码所述先前存取单元且所述先前存取单元可在经解码图片缓冲器DPB中用作按解码次序或输出次序之一在所述特定CRA存取单元之后的存取单元的参考图片。
10.一种编码视频数据的方法，其包括：
在位流中编码经译码视频序列中的一或多个清晰随机存取CRA存取单元，其中所述CRA存取单元定位于所述位流的所述经译码视频序列内的任何点处；以及
在补充增强信息(SEI)消息中编码语法元素，所述语法元素指示从特定CRA存取单元对所述位流的随机存取是否要求来自先前存取单元的一或多个参数集以解码所述特定CRA存取单元或后续存取单元，其中基于所述语法元素指示无需来自先前存取单元的参数集，可在不从所述先前存取单元提取参数集的情况下执行从所述特定CRA存取单元对所述位流的随机存取。
11.根据权利要求10所述的方法，其中基于所述语法元素指示需要来自先前存取单元的参数集，可在从所述先前存取单元提取所述参数集之后执行从所述特定CRA存取单元对所述位流的随机存取。
12.根据权利要求10所述的方法，其中基于所述语法元素指示无需来自先前存取单元的参数集，所述特定CRA存取单元包含解码所述特定CRA存取单元或后续存取单元所需的所有参数集。
13.根据权利要求10所述的方法，其中所述语法元素包括针对包含于所述位流中的一或多个CRA存取单元中的每一者的语法元素。
14.根据权利要求10所述的方法，其中所述先前存取单元为按解码次序或输出次序之一在所述特定CRA存取单元之前的存取单元。
15.一种用于译码视频数据的视频译码装置，所述装置包括：
存储器，其经配置以存储视频数据；以及
一或多个处理器，其经配置以:
在补充增强信息(SEI)消息中译码语法元素，所述语法元素指示从特定清晰随机存取CRA存取单元对位流的随机存取是否要求来自先前存取单元的一或多个参数集以解码所述特定CRA存取单元或后续存取单元，其中所述特定CRA存取单元定位于所述位流的经译码视频序列内的任何点处，
且
基于所述语法元素指示无需来自先前存取单元的参数集，在不从所述先前存取单元提取参数集的情况下执行从所述特定CRA存取单元对所述位流的随机存取。
16.根据权利要求15所述的装置，其中基于所述语法元素指示需要来自先前存取单元的参数集，所述处理器经配置以确定是否执行从所述特定CRA存取单元对所述位流的随机存取。
17.根据权利要求16所述的装置，其中基于在不从先前存取单元提取参数集的情况下可从另一随机存取点RAP图片进行对所述位流的随机存取，所述处理器经配置以确定不执行从所述特定CRA存取单元对所述位流的随机存取以避免从所述先前存取单元提取所述参数集。
18.根据权利要求16所述的装置，其中基于不可从另一随机存取点RAP图片进行对所述位流的随机存取，所述处理器经配置以确定在从所述先前存取单元提取所述参数集之后执行从所述特定CRA存取单元对所述位流的随机存取。
19.根据权利要求15所述的装置，其中所述视频译码装置包括视频解码装置，且其中所述处理器经配置以：
解码所述位流的所述经译码视频序列中的一或多个CRA存取单元，包含所述特定CRA存取单元；以及
解码针对所述CRA存取单元中的每一者的所述语法元素，所述语法元素指示从所述特定CRA存取单元对所述位流的随机存取是否要求来自先前存取单元的一或多个参数集以解码所述特定CRA存取单元或后续存取单元。
20.根据权利要求15所述的装置，其中所述视频译码装置包括视频编码装置，且其中所述处理器经配置以：
编码所述位流的所述经译码视频序列中的一或多个CRA存取单元，包含所述特定CRA存取单元；以及
编码针对所述CRA存取单元中的每一者的所述语法元素，所述语法元素指示从所述特定CRA存取单元对所述位流的随机存取是否要求来自先前存取单元的一或多个参数集以解码所述特定CRA存取单元或后续存取单元。
21.根据权利要求15所述的装置，其中基于所述语法元素指示无需先前存取单元的参数集，所述特定CRA存取单元包含解码所述特定CRA存取单元或后续存取单元所需的所有参数集。
22.根据权利要求15所述的装置，其中所述语法元素包括针对包含于所述位流中的一或多个CRA存取单元中的每一者的语法元素。
23.根据权利要求15所述的装置，其中所述先前存取单元为按解码次序或输出次序之一在所述特定CRA存取单元之前的存取单元。
24.根据权利要求23所述的装置，其中基于执行从所述特定CRA存取单元对所述位流的随机存取，不解码所述先前存取单元且所述先前存取单元不可在经解码图片缓冲器DPB中用作按解码次序或输出次序之一在所述特定CRA存取单元之后的存取单元的参考图片。
25.根据权利要求23所述的装置，其中基于执行从在所述经译码视频序列中在所述特定CRA存取单元之前的随机存取点RAP图片对所述位流的随机存取，所述先前存取单元经解码且可在经解码图片缓冲器DPB中用作按解码次序或输出次序之一在所述特定CRA存取单元之后的存取单元的参考图片。
26.一种用于译码视频数据的视频译码装置，所述装置包括：
用于在补充增强信息(SEI)消息中译码语法元素的装置，所述语法元素指示从特定清晰随机存取CRA存取单元对位流的随机存取是否要求来自先前存取单元的一或多个参数集以解码所述特定CRA存取单元或后续存取单元，其中所述特定CRA存取单元定位于所述位流的经译码视频序列内的任何点处；以及
用于基于所述语法元素指示无需来自先前存取单元的参数集，在不从所述先前存取单元提取参数集的情况下执行从所述特定CRA存取单元对所述位流的随机存取的装置。
27.根据权利要求26所述的装置，其进一步包括用于基于所述语法元素指示需要来自先前存取单元的参数集，确定是否执行从所述特定CRA存取单元对所述位流的随机存取的装置。
28.根据权利要求26所述的装置，其中基于所述语法元素指示无需先前存取单元的参数集，所述特定CRA存取单元包含解码所述特定CRA存取单元或后续存取单元所需的所有参数集。
29.根据权利要求26所述的装置，其中所述语法元素包括针对包含于所述位流中的一或多个CRA存取单元中的每一者的语法元素。
30.根据权利要求26所述的装置，其中所述先前存取单元为按解码次序或输出次序之一在所述特定CRA存取单元之前的存取单元。
31.一种包括用于译码视频数据的指令的非易失性计算机可读介质，所述指令在经执行时致使一或多个处理器：
在补充增强信息(SEI)消息中译码语法元素，所述语法元素指示从特定清晰随机存取CRA存取单元对位流的随机存取是否要求来自先前存取单元的一或多个参数集以解码所述特定CRA存取单元或后续存取单元，其中所述特定CRA存取单元定位于所述位流的经译码视频序列内的任何点处；以及
基于所述语法元素指示无需来自先前存取单元的参数集，在不从所述先前存取单元提取参数集的情况下执行从所述特定CRA存取单元对所述位流的随机存取。
32.根据权利要求31所述的非易失性计算机可读介质，其进一步包括致使处理器基于所述语法元素指示需要来自先前存取单元的参数集，而确定是否执行从所述特定CRA存取单元对所述位流的随机存取的指令。
CN201380022304.1A 2012-04-27 2013-04-26 在视频译码中从清晰随机存取图片的全面随机存取 Active CN104396265B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261639823P 2012-04-27 2012-04-27
US61/639,823 2012-04-27
US13/870,846 US9736476B2 (en) 2012-04-27 2013-04-25 Full random access from clean random access pictures in video coding
US13/870,846 2013-04-25
PCT/US2013/038450 WO2013163569A1 (en) 2012-04-27 2013-04-26 Full random access from clean random access pictures in video coding

Publications (2)

Publication Number Publication Date
CN104396265A CN104396265A (zh) 2015-03-04
CN104396265B true CN104396265B (zh) 2018-03-16

Family

ID=48325952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380022304.1A Active CN104396265B (zh) 2012-04-27 2013-04-26 在视频译码中从清晰随机存取图片的全面随机存取

Country Status (10)

Country Link
US (1) US9736476B2 (zh)
EP (1) EP2842344B1 (zh)
JP (1) JP6224080B2 (zh)
KR (1) KR101841812B1 (zh)
CN (1) CN104396265B (zh)
AR (1) AR092826A1 (zh)
ES (1) ES2715314T3 (zh)
HU (1) HUE041872T2 (zh)
TW (1) TWI495273B (zh)
WO (1) WO2013163569A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX337078B (es) 2011-07-02 2016-02-11 Samsung Electronics Co Ltd Metodo y aparato para multiplexar y desmultiplexar datos de video para identificar el estado de reproduccion de los datos de video.
CN103096049A (zh) * 2011-11-02 2013-05-08 华为技术有限公司 一种视频处理方法及系统、相关设备
US9892188B2 (en) * 2011-11-08 2018-02-13 Microsoft Technology Licensing, Llc Category-prefixed data batching of coded media data in multiple categories
US9516308B2 (en) 2012-04-27 2016-12-06 Qualcomm Incorporated Parameter set updates in video coding
WO2014003682A1 (en) * 2012-06-29 2014-01-03 Telefonaktiebolaget L M Ericsson (Publ) Encoding and decoding video sequences comprising reference picture sets
US9992490B2 (en) 2012-09-26 2018-06-05 Sony Corporation Video parameter set (VPS) syntax re-ordering for easy access of extension parameters
US20140092987A1 (en) * 2012-09-28 2014-04-03 Apple Inc. Entropy coding techniques and protocol to support parallel processing with low latency
US10219006B2 (en) 2013-01-04 2019-02-26 Sony Corporation JCTVC-L0226: VPS and VPS_extension updates
US10419778B2 (en) 2013-01-04 2019-09-17 Sony Corporation JCTVC-L0227: VPS_extension with updates of profile-tier-level syntax structure
WO2015076694A1 (en) * 2013-11-25 2015-05-28 Nptv Soft Ltd Method for delivering personalized interactive video stream
EP3200460A4 (en) * 2014-10-16 2017-08-23 Samsung Electronics Co., Ltd Method and device for processing encoded video data, and method and device for generating encoded video data
CN118784881A (zh) 2016-02-09 2024-10-15 弗劳恩霍夫应用研究促进协会 解码器、编码器、方法、网络设备以及可读存储介质
US10291923B2 (en) * 2016-05-24 2019-05-14 Qualcomm Incorporated Mapping of tile grouping and samples in HEVC and L-HEVC file formats
US10652631B2 (en) * 2016-05-24 2020-05-12 Qualcomm Incorporated Sample entries and random access
CN115037917A (zh) 2016-10-12 2022-09-09 弗劳恩霍夫应用研究促进协会 空间不均等流媒体化
DE112017006610T5 (de) * 2016-12-27 2019-09-12 Sony Corporation Bildverarbeitungsvorrichtung und Verfahren
CN111937392B (zh) * 2018-04-17 2024-05-10 联发科技股份有限公司 视频编解码的神经网络方法和装置
KR20240032173A (ko) * 2018-09-12 2024-03-08 후아웨이 테크놀러지 컴퍼니 리미티드 참조 화상 목록 구조에 대한 후보 시그널링
CN110741647A (zh) * 2018-09-29 2020-01-31 深圳市大疆创新科技有限公司 一种图像处理方法、装置、可移动平台及存储介质
SG11202106524PA (en) * 2018-12-20 2021-07-29 Ericsson Telefon Ab L M Normative indication of recovery point
WO2020185959A1 (en) * 2019-03-11 2020-09-17 Futurewei Technologies, Inc. Gradual decoding refresh in video coding
JP7359871B2 (ja) 2019-05-06 2023-10-11 華為技術有限公司 ビデオコーディングにおいて新たなコーディングされているビデオシーケンスを開始するピクチャのための前のピクチャの出力
US11539957B2 (en) * 2019-06-20 2022-12-27 Tencent America LLC Layered random access with reference picture resampling
WO2020254720A1 (en) * 2019-06-20 2020-12-24 Nokia Technologies Oy An apparatus, a method and a computer program for video encoding and decoding
US11825121B2 (en) * 2019-09-23 2023-11-21 Tencent America LLC Method for access unit delimiter signaling
US11310533B2 (en) * 2019-09-27 2022-04-19 Qualcomm Incorporated Quantization parameter signaling for joint chroma residual mode in video coding
US11758193B2 (en) * 2019-11-04 2023-09-12 Hfi Innovation Inc. Signaling high-level information in video and image coding
EP4062634A4 (en) 2019-12-26 2022-12-28 ByteDance Inc. LIMITATIONS ON SIGNALING HYPOTHETICAL REFERENCE DECODER PARAMETERS IN VIDEO BITSTREAMS
WO2021134015A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Profile, tier and layer indication in video coding
CN114902567A (zh) 2019-12-27 2022-08-12 字节跳动有限公司 视频编解码中的子图像信令
EP4074052A4 (en) 2020-01-09 2023-05-31 ByteDance Inc. PROCESSING OF FILLER DATA UNITS IN VIDEO STREAMS
MX2022009920A (es) * 2020-02-19 2022-09-09 Bytedance Inc Se?alizacion de pesos de una lista de imagenes de referencia.
CN115299053A (zh) 2020-03-16 2022-11-04 字节跳动有限公司 可缩放视频编解码中的随机访问点访问单元
KR20220156831A (ko) 2020-03-20 2022-11-28 바이트댄스 아이엔씨 서브픽처의 레퍼런스 픽처 목록에 대한 제약
GB2593543B (en) * 2020-03-27 2023-04-19 Canon Kk Video coding and decoding
WO2021198491A1 (en) * 2020-04-02 2021-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. File format schemes allowing efficient roi, stream access and parameter set handling
BR112022021342A2 (pt) 2020-04-20 2022-12-13 Bytedance Inc Método de processamento de vídeo, aparelho para processamento de dados de vídeo, meios de armazenamento e de gravação não transitórios legíveis por computador
US12041386B2 (en) * 2020-09-29 2024-07-16 Lemon Inc. Dependent random access point indication in video bitstreams
US20230308658A1 (en) * 2022-03-25 2023-09-28 Tencent America LLC Methods of parameter set indication in video streaming

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1739294A (zh) * 2003-01-17 2006-02-22 松下电器产业株式会社 图像编码方法
CN1781315A (zh) * 2003-04-30 2006-05-31 诺基亚有限公司 用于编码图像序列的方法
CN104429069A (zh) * 2012-04-13 2015-03-18 夏普株式会社 用于标识前导画面的设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2492751C (en) 2002-07-16 2012-06-12 Nokia Corporation A method for random access and gradual picture refresh in video coding
US7415069B2 (en) 2003-12-09 2008-08-19 Lsi Corporation Method for activation and deactivation of infrequently changing sequence and picture parameter sets
CN1910922B (zh) 2004-01-30 2013-04-17 松下电器产业株式会社 运动图片编码方法和运动图片解码方法
BRPI0418464B1 (pt) 2004-02-10 2019-02-05 Thompson Licensing armazenamento de conjuntos de parâmetros de codificação de vídeo avançada (avc) no formato de arquivo avc
US20050254526A1 (en) 2004-05-12 2005-11-17 Nokia Corporation Parameter sets update in streaming applications
JP2006203662A (ja) 2005-01-21 2006-08-03 Toshiba Corp 動画像符号化装置・復号化装置及び符号化ストリーム生成方法
JP2006211617A (ja) 2005-01-31 2006-08-10 Toshiba Corp 動画像符号化装置・復号化装置及び符号化ストリーム生成方法
JP5072893B2 (ja) * 2009-03-25 2012-11-14 株式会社東芝 画像符号化方法および画像復号化方法
US9992456B2 (en) * 2010-02-24 2018-06-05 Thomson Licensing Dtv Method and apparatus for hypothetical reference decoder conformance error detection
US9131033B2 (en) 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US9398308B2 (en) 2010-07-28 2016-07-19 Qualcomm Incorporated Coding motion prediction direction in video coding
CN103299630B (zh) 2011-01-19 2016-10-19 寰发股份有限公司 获取运动矢量预测子的方法和装置
US9008181B2 (en) 2011-01-24 2015-04-14 Qualcomm Incorporated Single reference picture list utilization for interprediction video coding
GB2488830B (en) 2011-03-10 2015-07-29 Canon Kk Method and device for encoding image data and method and device for decoding image data
US20120230430A1 (en) 2011-03-10 2012-09-13 Stephan Wenger Parameter Set Maintenance in Video Coding
JP2013034161A (ja) 2011-06-28 2013-02-14 Sharp Corp 画像復号装置、画像符号化装置、および符号化データのデータ構造
MX337078B (es) * 2011-07-02 2016-02-11 Samsung Electronics Co Ltd Metodo y aparato para multiplexar y desmultiplexar datos de video para identificar el estado de reproduccion de los datos de video.
US9277228B2 (en) 2011-07-18 2016-03-01 Qualcomm Incorporated Adaptation parameter sets for video coding
KR102094503B1 (ko) * 2012-04-15 2020-03-30 삼성전자주식회사 다계층 비디오 부호화 방법 및 장치, 다계층 비디오 복호화 방법 및 장치
US9516308B2 (en) 2012-04-27 2016-12-06 Qualcomm Incorporated Parameter set updates in video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1739294A (zh) * 2003-01-17 2006-02-22 松下电器产业株式会社 图像编码方法
CN1781315A (zh) * 2003-04-30 2006-05-31 诺基亚有限公司 用于编码图像序列的方法
CN104429069A (zh) * 2012-04-13 2015-03-18 夏普株式会社 用于标识前导画面的设备

Also Published As

Publication number Publication date
CN104396265A (zh) 2015-03-04
KR20150008144A (ko) 2015-01-21
ES2715314T3 (es) 2019-06-03
EP2842344A1 (en) 2015-03-04
JP2015515240A (ja) 2015-05-21
TWI495273B (zh) 2015-08-01
HUE041872T2 (hu) 2019-05-28
TW201352005A (zh) 2013-12-16
AR092826A1 (es) 2015-05-06
EP2842344B1 (en) 2018-12-12
KR101841812B1 (ko) 2018-03-23
JP6224080B2 (ja) 2017-11-01
WO2013163569A1 (en) 2013-10-31
US20130294500A1 (en) 2013-11-07
US9736476B2 (en) 2017-08-15

Similar Documents

Publication Publication Date Title
CN104396265B (zh) 在视频译码中从清晰随机存取图片的全面随机存取
CN104380747B (zh) 视频译码中的参数集更新
CN104704843B (zh) 视频性质的指示
CN105191310B (zh) 用于视频译码的并行处理
CN106576171B (zh) 一种对视频数据进行编码、解码的方法以及装置
CN104396257B (zh) 在视频译码中长期参考图片的随机存取和发信
CN106464920B (zh) 用于在参数集中用信号表示层集合的信息的系统和方法
CN105474645B (zh) 对视频数据进行解码的方法、对视频数据进行编码的方法、视频解码装置及视频编码装置
CN104429082B (zh) 用于视频译码的长期参考图片的信令
CN104685887B (zh) 于视频译码中发信用于操作点的层识别符
CN105794211B (zh) 一种编解码视频数据的方法、装置及可读存储媒体
CN104641637B (zh) 具有改善随机存取点图片行为的视频译码
CN104412599B (zh) 对视频译码发信长期参考图片
CN109792524A (zh) 切换内插滤波器的系统及方法
CN106464918A (zh) 用信号表示用于位流分区的hrd参数
JP2018524906A (ja) イントラブロックコピーモードでの参照ピクチャリスト構成
CN108353167A (zh) 译码视频数据的正负号信息
CN106537920A (zh) 用于约束参数集的表示格式参数的系统和方法
CN106464874A (zh) 用于块内复制的系统和方法
CN107852498A (zh) 在视频译码中限制双向预测的方法及系统
CN108028934A (zh) 改进的视频流切换和随机存取的方法和系统
CN106664425A (zh) 视频译码中的跨分量预测
CN105122798B (zh) 多层视频译码中的交叉层图片类型对准的指示
CN106134200A (zh) Hevc经解码图片哈希sei消息用于多层编解码器的使用
CN106471810A (zh) 用于屏幕内容视频数据的运动向量差(mvd)译码的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant