CN115299053A

CN115299053A - 可缩放视频编解码中的随机访问点访问单元

Info

Publication number: CN115299053A
Application number: CN202180022183.5A
Authority: CN
Inventors: 王业奎
Original assignee: ByteDance Inc
Current assignee: ByteDance Inc
Priority date: 2020-03-16
Filing date: 2021-03-15
Publication date: 2022-11-04
Also published as: MX2022011207A; EP4104428A4; US20230007309A1; BR112022018069A2; EP4304168A2; WO2021188453A1; EP4104428A1; US20230412847A1; JP7457151B2; WO2021188451A1; JP2023518046A; US11800153B2; US20230012183A1; EP4304168A3; US11863795B2; CN115299054A; KR20220155277A

Abstract

描述了用于在可缩放视频编解码中配置不同访问单元的方法、设备和系统。在一个示例方面，一种视频处理方法包括执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，其中比特流包括经编解码视频序列，经编解码视频序列包括一个或多个访问单元，并且其中比特流还包括指示访问单元是否包括构成经编解码视频序列的每个视频层的图片的第一语法元素。

Description

可缩放视频编解码中的随机访问点访问单元

相关申请的交叉引用

根据适用的专利法和/或根据《巴黎公约》的规则，本申请是为了及时要求对2020年3月16日提交的美国临时专利申请第US 62/990,387号的优先权和利益。就法律规定的所有目的而言，上述申请的全部公开内容通过引用并入作为本申请公开的一部分。

技术领域

本专利文献涉及图像和视频编码和解码。

背景技术

在互联网和其他数字通信网络中，数字视频占据了最大的带宽使用量。随着能够接收并显示视频的连接用户设备的数量增加，预计针对数字视频使用的带宽需求将继续增长。

发明内容

本文件公开的技术包括在可缩放视频编解码中配置不同的访问单元，它们可以由视频编码器和解码器用于使用用于对经编解码表示进行解码的控制信息来处理视频的经编解码表示。

在一个示例方面，公开了一种视频处理方法。该方法包括执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，其中该比特流包括经编解码视频序列，该经编解码视频序列包括一个或多个访问单元，并且其中该比特流还包括指示访问单元是否包括构成经编解码视频序列的每个视频层的图片的第一语法元素。

在另一个示例方面，公开了另一种视频处理方法。该方法包括执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，其中该比特流包括经编解码视频序列，该经编解码视频序列包括一个或多个访问单元，并且其中比特流符合指定给定访问单元中的每个图片携带层标识符的格式规则，该层标识符等于包括一个或多个视频层的经编解码视频序列中的第一访问单元的层标识符。

在又另一个示例方面，公开了一种视频处理方法。该方法包括执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，其中该比特流包括经编解码视频序列，该经编解码视频序列包括一个或多个访问单元，并且其中比特流还包括指示一个或多个访问单元中的、开始新的经编解码视频序列的访问单元的第一语法元素。

在又另一个示例方面，公开了一种视频处理方法。该方法包括执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，其中该比特流包括经编解码视频序列，该经编解码视频序列包括一个或多个访问单元，并且其中比特流符合格式规则，该格式规则指定开始新的经编解码视频序列的经编解码视频序列开始访问单元包括视频参数集中指定的每个视频层的图片。

在又另一个示例方面，公开了一种视频处理方法。该方法包括执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，该比特流包括经编解码视频序列，该经编解码视频序列包括一个或多个访问单元，并且其中比特流符合格式规则，该格式规则指定基于给定访问单元是比特流中的第一访问单元或在给定访问单元之前的访问单元包括序列结束网络抽象层单元而将给定访问单元标识为经编解码视频序列开始访问单元。

在又另一个示例方面，公开了一种视频处理方法。该方法包括基于规则执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，其中该比特流包括经编解码视频序列，该经编解码视频序列包括一个或多个访问单元，并且其中该规则指定边信息被用于指示一个或多个访问单元中的访问单元是否是经编解码视频序列开始访问单元。

在又另一个示例方面，公开了一种视频处理方法。该方法包括执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，该比特流包括经编解码视频序列，该经编解码视频序列包括一个或多个访问单元，并且其中比特流符合格式规则，该格式规则指定作为逐步解码刷新访问单元的一个或多个访问单元中的每个访问单元恰好包括经编解码视频序列中存在的每个视频层的一个图片。

在又另一个示例方面，公开了一种视频处理方法。该方法包括执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，该比特流包括经编解码视频序列，该经编解码视频序列包括一个或多个访问单元，并且其中比特流符合格式规则，该格式规则指定作为帧内随机访问点访问单元的一个或多个访问单元中的每个访问单元恰好包括经编解码视频序列中存在的每个视频层的一个图片。

在又一个示例方面，公开了一种视频编码器装置。该视频编码器包括处理器，该处理器被配置为实现上述方法。

在又一个示例方面，公开了一种视频解码器装置。该视频解码器包括处理器，该处理器被配置为实现上述方法。

在又一个示例方面，公开了一种具有存储在其上的代码的计算机可读介质。该代码以处理器可执行代码的形式体现了本文描述的方法之一。

贯穿本文件介绍了这些和其他特征。

附图说明

图1是示出可以在其中实现本文公开的各种技术的示例视频处理系统的框图。

图2是用于视频处理的示例硬件平台的框图。

图3是示出可以实现本公开的一些实施例的示例视频编解码系统的框图。

图4是示出可以实现本公开的一些实施例的编码器的示例的框图。

图5是示出可以实现本公开的一些实施例的解码器的示例的框图。

图6至图13示出针对示例视频处理方法的流程图。

具体实施方式

为了便于理解，在本文件中使用了章节标题，并且章节标题并不将在每个章节中公开的技术和实施例的适用性仅限于该章节。此外，在一些描述中使用H.266术语只是为了便于理解，而不是为了限制所公开的技术的范围。同样，本文描述的技术也适用于其他视频编解码器协议和设计。

1.初步讨论

本文档与视频编解码技术有关。具体地，是关于可缩放视频编解码中的随机访问点访问单元的指定和信令，其中视频比特流可以包含一个以上的层。这些想法可以单独地或以各种组合应用于支持多层视频编解码的任何视频编解码标准或非标准视频编解码器(例如，正在开发的多功能视频编解码(VVC))。

2.缩略语

APS 自适应参数集

AU 访问单元

AUD 访问单元分隔符

AVC 高级视频编解码

CLVS 经编解码层的视频序列

CPB 经编解码图片缓冲器

CRA空闲随机访问

CTU 编解码树单元

CVS 经编解码的视频序列

DCI 解码能力信息

DPB 经解码图片缓冲器

EOB 比特流结束

EOS 序列结束

CGR 逐步解码刷新

HEVC 高效视频编解码

HRD 假设的参考解码器

IDR 瞬时解码刷新

JEM 联合探索模型

MCTS 运动约束的片集

NAL 网络抽象层

OLS 输出层集

PH 图片标头

PPS 图片参数集

PTL配置文件、层次和级别

PU 图片单元

RAP 随机访问点

RBSP 原始字节序列有效载荷

SEI 补充增强信息

SPS 序列参数集

SVC 可缩放视频编解码

VCL 视频编解码层

VPS 视频参数集

VTM VVC测试模型

VUI 视频可用性信息

VVC 多功能视频编解码

3.视频编解码介绍

视频编解码标准主要是通过公知的ITU-T和ISO/IEC标准的开发而发展起来的。ITU-T制定了H.261和H.263，ISO/IEC制定了MPEG-1和MPEG-4视觉，两个组织联合制定了H.262/MPEG-2视频、H.264/MPEG-4高级视频编解码(AVC)标准和H.265/HEVC标准。自H.262以来，视频编解码标准是基于混合视频编解码结构的，其中使用时域预测加变换编解码。为了探索超越HEVC的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索小组(JVET)。此后，许多新的方法被JVET所采用，并被引入到名为联合探索模型(JEM)的参考软件中。同时JVET会议每季度举行一次，与HEVC相比，新的编解码标准的目标是降低50％的比特率。新的视频编解码标准在2018年4月的JVET会议上被正式命名为多功能视频编解码(Versatile Video Coding)(VVC)，并在当时发布了VVC测试模型(VTM)的第一个版本。随着对VVC标准化的不断努力，在每次JVET会议上，VVC标准都采纳了新的编解码技术。VVC工作草案和测试模型VTM在每次会议后被更新。VVC项目现在的目标是在2020年7月的会议上进行技术完成(FDIS)。

3.1随机访问和在HEVC和VVC中对其支持

随机访问是指从按照解码顺序不是比特流的第一图片的图片开始对比特流的访问和解码。为了支持广播/多播和多方视频会议中的调谐和信道切换、本地回放和流式传输中的查找以及流式传输中的流自适应，比特流需要包括频繁的随机访问点，这些访问点通常是帧内编解码的图片，但也可以是帧间编解码的图片(例如，在逐步解码刷新的情况下)。

HEVC包括通过NAL单元类型在NAL单元标头中信令通知帧内随机访问点(IRAP)图片。支持三种类型的IRAP图片，即瞬时解码器刷新(IDR)、空闲随机访问(clean randomaccess，CRA)和断开链路访问(BLA)图片。IDR图片约束图片间预测结构不参考当前图片群组(GOP)之前的任何图片，通常被称为闭合GOP随机访问点。CRA图片通过允许某些图片参考当前GOP之前的图片而限制较少，在随机访问的情况下，所有这些图片都被丢弃。CRA图片通常被称为开放GOP随机访问点。例如，在流切换期间，BLA图片通常源于两个比特流或其一部分在CRA图片处的拼接。为了使系统更好地使用IRAP图片，总共定义了六个不同的NAL单元来信令通知IRAP图片的属性，这些属性可以用于更好地匹配ISO基本媒体文件格式(ISOBMFF)中定义的流访问点类型，该格式用于HTTP上的动态自适应流式传输(DASH)中的随机访问支持。

VVC支持三种类型的IRAP图片，两种类型的IDR图片(一种类型具有或另一种类型没有相关联的RADL图片)和一种类型的CRA图片。这些基本与HEVC相同。HEVC中的BLA图片类型不包括在VVC中，主要有两个原因：i)BLA图片的基本功能可以通过CRA图片加上序列结束NAL单元来实现，该单元的存在指示后续图片在单层比特流中开始了新的CVS。ii)在VVC的开发过程期间，希望指定比HEVC更少的NAL单元类型，如NAL单元标头中的NAL单元类型字段使用5比特而不是6比特来指示。

VVC和HEVC在随机访问支持方面的另一个关键区别是在VVC中以更规范的方式支持GDR。在GDR中，比特流的解码可以从帧间编解码的图片开始，尽管在开始时不能正确地解码整个图片区域，但在若干图片之后，整个图片区域将是正确的。AVC和HEVC也支持GDR，使用恢复点SEI消息用于GDR随机访问点和恢复点的信令通知。在VVC中，为GDR图片的指示指定新的NAL单元类型，并在图片标头语法结构中信令通知恢复点。CVS和比特流被允许以GDR图片开始。这意味着允许整个比特流仅包含帧间编解码图片而不包含单个帧内编解码图片。以这种方式指定GDR支持的主要益处是为GDR提供一种符合要求的行为。GDR使编码器能够通过将帧内编解码条带或块分布在多个图片中而不是对整个图片进行帧内编码来平滑比特流的比特率，从而允许显著的端到端延迟减少，这在当今被认为比以前更重要，因为如无线显示、在线游戏、基于无人机的应用的超低延迟应用变得更加流行。

VVC中另一个与GDR相关的特征是虚拟边界信令。在GDR图片与其恢复点之间的图片处，刷新区域(即，正确解码区域)与未刷新区域之间的边界可以被信令通知为虚拟边界，并且当被信令通知时，将不应用跨越边界的环路滤波，因此对于在边界处或在边界附近的一些样点的解码失配将不会发生。当应用程序确定在GDR过程中显示正确解码的区域时，这可能很有用。

IRAP图片和GDR图片可以被统称为随机访问点(RAP)图片。

3.2一般的可缩放视频编解码(SVC)和VVC中的可缩放视频编解码

可缩放视频编解码(SVC，有时也仅被称为视频编解码中的可缩放性)是指其中使用基本层(BL)(有时被称为参考层(RL))和一个或多个可缩放增强层(El)的视频编解码。在SVC中，基本层可以携带具有基本质量级别的视频数据。一个或多个增强层可以携带额外的视频数据以支持例如更高的空域、时域和/或信噪比(SNR)级别。增强层可以相对于先前编码的层来定义。例如，底层可以用作BL，而顶层可以用作EL。中间层可以用作El或RL或两者。例如，中间层(例如，既不是最低层也不是最高层的层)可以对于中间层以下的层(诸如基层或任何中间增强层)为EL，并且同时对于中间层以上的一个或多个增强层用作RL。类似地，在HEVC标准的多视图或3D扩展中，可以存在多个视图，并且一个视图的信息可以被用来对另一个视图的信息(例如，运动估计、运动矢量预测和/或其他冗余)进行编解码(例如，编码或解码)。

在SVC中，编码器或解码器使用的参数基于它们可以被利用的编解码级别(例如，视频级、序列级、图片级、条带级等)被分组为参数集。例如，可以由比特流中不同层的一个或多个经编解码视频序列使用的参数可以包括在视频参数集(VPS)中，而由经编解码视频序列中的一个或多个图片使用的参数可以包括在序列参数集(SPS)中。类似地，由图片中的一个或多个条带利用的参数可以被包括在图片参数集(PPS)中，并且特定于单个条带的其他参数可以被包括在条带标头中。类似地，可以在各种编解码级别提供特定层在给定时间正在使用哪个(哪些)参数集的指示。

由于VVC中对参考图片重新采样(RPR)的支持，可以在不需要任何额外的信号处理级编解码工具的情况下设计对包含多层(例如VVC中具有SD和HD分辨率的两层)的比特流的支持，因为空域可缩放性支持所需的上采样可以只使用RPR上采样滤波器。然而，对于可缩放性支持，需要进行高级语法更改(与不支持可缩放性相比)。可缩放性支持在VVC版本1中指定。与以往任何视频编解码标准(包括AVC和HEVC的扩展)中的可缩放性支持不同，VVC的可缩放性设计尽可能地对单层解码器设计友好。多层比特流的解码能力以好像比特流中只有单个层的方式被指定。例如，以独立于要解码的比特流中的层数的方式指定诸如DPB尺寸的解码能力。基本上，为单层比特流设计的解码器不需要太多改变就能够对多层比特流进行解码。与AVC和HEVC的多层扩展设计相比，HLS方面已经得到了显著的简化，但牺牲了一些灵活性。例如，要求IRAP AU包含CVS中存在的每个层的图片。

3.3参数集

AVC、HEVC和VVC指定参数集。参数集的类型包括SPS、PPS、APS和VPS。所有的AVC、HEVC和VVC都支持SPS和PPS。VPS是从HEVC开始引入的，并且包括在HEVC和VVC两者中。APS不包括在AVC或HEVC中，但包括在最新的VVC草案文本中。

SPS被设计为携带序列级标头信息，而PPS被设计为携带不频繁变化的图片级标头信息。使用SPS和PPS,不需要对每个序列或图片重复不频繁变化的信息，从而避免了这些信息的冗余信令通知。此外，SPS和PPS的使用实现了重要的标头信息的带外传输，从而不仅避免了冗余传输的需要，而且提高了抗误码能力。

VPS的引入是为了携带序列级标头信息，该信息对于多层比特流中的所有层都是通用的。

APS的引入是为了携带这样的图片级或条带级信息，这些信息需要相当多的比特来进行编解码，可以由多个图片共享，并且在一个序列中可以有相当多的不同变化。

3.4 VVC中的相关定义

最新的VVC文本(在JVET-Q2001-Ve/v15中)中的相关定义如下。

按照解码顺序(当存在时)具有与特定图片相同的nuh_layer_id值的前一个IRAP图片。

AU序列，其按解码顺序由CVSS AU，随后跟着零个或多个不是CVSS AU的AU(包括所有后续AU直到但不包括是CVSS AU的任何后续AU)组成。

其中有CVS中的每一层的PU并且每个PU中的经编解码图片是CLVSS图片的AU。

其中每个存在的PU(present PU)中的经编解码图片是GDR图片的AU。

其中经编解码图片是GDR图片的PU。

每个VCL NAL单元具有等于GDR_NUT的nal_unit_type的图片。

其中有CVS中的每一层的PU并且每个PU中的经编解码图片是IRAP图片的AU。

所有VCL NAL单元具有IDR_W_RADL至CRA_NUT范围(包括端点)内的相同nal_unit_type值的经编解码图片。

3.5 VVC中的VPS语法和语义

VVC支持可缩放性，也被公知为可缩放视频编解码，其中多层可以在一个经编解码视频比特流中被编码。

在最新的VVC文本(在JVET-Q2001-Ve/v15)中，可缩放性信息在VPS中被信令通知，其语法和语义如下所示。

7.3.2.2视频参数集语法

7.4.3.2视频参数集RBSP语义

VPS RBSP在被参考之前应可用于解码过程，包括在至少一个TemporalId等于0的AU中或通过外部手段提供。

CVS中具有特定vps_video_parameter_set_id值的所有VPS NAL单元应具有相同的内容。

为VPS提供标识符，供其他语法元素参考。vps_video_parameter_set_id的值应大于0。

加1指定参考VPS的每个CVS中的最大允许层数。

加1指定在参考VP的每个CVS中的层中可以存在的时域子层的最大数量。vps_max_sublayers_minus1的值应在0至6(包括端点)的范围内。

等于1的

指定时域子层的数量对于参考VPS的每个CVS中的所有层是相同的。等于0的Vps_all_layers_same_num_sublayers_flag指定参考VPS的每个CVS中的层可以具有或可以不具有相同数量的时域子层。如果不存在，则vps_all_layers_same_num_sublayers_flag的值被推断为等于1。

等于1的

指定CVS中的所有层都是独立编解码的，而不使用层间预测。等于0的Vps_all_independent_layers_flag指定CVS中的一个或多个层可以使用层间预测。如果不存在，则vps_all_independent_layers_flag的值被推断为等于1。

指定第i层的nuh_layer_id值。对于m和n的任意两个非负整数值，当m小于n时，vps_layer_id[m]的值应小于vps_layer_id[n]。

等于1的

指定索引为I的层不使用层间预测。等于0的Vps_independent_layer_flag[I]指定索引为I的层可以使用层间预测，并且针对在0到I-1(包括端点)范围内的j语法元素vps_direct_ref_layer_flag[I][j]存在于VPS中。如果不存在，则vps_independent_layer_flag[I]的值被推断为等于1。

等于0的

指定索引为j的层不是索引为i的层的直接参考层。等于1的vps_direct_ref_layer_flag[I][j]指定索引为j的层是索引为i的层的直接参考层。当对于0到vps_max_layers_minus1(包括端点)范围内的I和j不存在vps_direct_ref_layer_flag[I][j]时，其被推断为等于0。当vps_independent_layer_flag[I]等于0时，在0到I-1(包括端点)的范围内至少有一个j值，使得vps_direct_ref_layer_flag[I][j]的值等于1。

变量NumDirectRefLayers[I]、DirectRefLayerIdx[I][d]、NumRefLayers[I]、RefLayerIdx[I][r]和LayerUsedAsRefLayerFlag[j]如下导出：

指定nuh_layer_id等于vps_layer_id[I]的层的层索引变量GeneralLayerIdx[I]，如下导出：

for(I＝0；I<＝vps_max_layers_minus1；i++) (38)

GeneralLayerIdx[vps_layer_id[I]]＝i

对于I和j的任意两个不同值，都在0至vps_max_layers_minus1(包括端点)的范围内，当dependencyFlag[I][j]等于1时，比特流一致性的要求是应用于第i层的chroma_format_idc和bit_depth_minus8的值应该分别等于应用于第j层的chroma_format_idc和bit_depth_minus8的值。

等于1的

指定存在语法元素max_tid_il_ref_pics_plus1[I]。等于0的Max_tid_ref_present_flag[I]指定不存在语法元素max_tid_il_ref_pics_plus1[I]。

指定第i层的非IRAP图片不使用层间预测。大于0的Max_tid_il_ref_pics_plus[I]指定，为了对第i层的图片进行解码，没有TemporalId大于max_tid_il_ref_pics_plus1[I]-1的图片被用作ILRP。如果不存在，则max_tid_il_ref_pics_plus1[I]的值被推断为等于7。

等于1的

指定每个OLS只包含一个层，并且参考VPS的CVS中的每个层本身是OLS，其中包含的单个层是唯一的输出层。Each_layer_is_an_ols_flag等于0，一个OLS可以包含多于一个层。如果vps_max_layers_minus1等于0，则each_layer_is_an_ols_flag的值被推断为等于1。否则，当vps_all_independent_layers_flag等于0时，则each_layer_is_an_ols_flag的值被推断为等于0。

等于0的

指定由VPS指定的OLS总数等于vps_max_layers_minus1+1，第i个OLS包括层索引从0至I(包括端点)的层，并且对于每个OLS只输出OLS中最高层。

等于1的Ols_mode_idc指定由VPS指定的OLS总数等于vps_max_layers_minus1+1，第i个OLS包括层索引从0至I(包括端点)的层，并且对于每个OLS输出OLS中的所有层。

等于2的Ols_mode_idc指定由VPS指定的OLS的总数被显式地信令通知，并且对于每个OLS，输出层被显式地信令通知，而其他层是OLS的输出层的直接或间接参考层。

ols_mode_idc的值应在0至2(包括端点)的范围内。ols_mode_idc的值3被保留给ITU-T|ISO/IEC将来使用。

当vps_all_independent_layers_flag等于1并且each_layer_is_an_ols_flag等于0时，ols_mode_idc的值被推断为等于2。

加1指定当ols_mode_idc等于2时由VPS指定的OLS总数。

指定由VPS指定的OLS总数的变量TotalNumOlss如下导出：

等于1的

指定当ols_mode_idc等于2时，nuh_layer_id等于vps_layer_id[j]的层是第i个OLS的输出层。等于0的Ols_output_layer_flag[I][j]指定当ols_mode_idc等于2时，nuh_layer_id等于vps_layer_id[j]的层不是第i个OLS的输出层。

指定第i个OLS中输出层数的变量NumOutputLayersInOls[I]、指定第i个OLS中第j层的子层数的变量NumSubLayersInLayerInOLS[I][j]、指定第I个OLS中第j个输出层的nuh_layer_id值的变量OutputLayerIdInOls[I][j]，以及指定第k层是否用作至少一个OLS中的输出层的变量LayerUsedAsOutputLayerFlag[k]，如下导出：

对于0至vps_max_layers_minus1(包括端点)范围内的I的每个值，LayerUsedAsRefleayerFlag[I]和LayerUsedAsoutputLayerFlag[I]的值不能都等于0。换句话说，不应存在既不是至少一个OLS的输出层也不是任何其他层的直接参考层的层。

对于每个OL，至少有一个层是输出层。换句话说，对于0至TotalNumOlss-1(包括端点)范围内的任何I值，NumOutputLayersInOls[I]的值应大于或等于1。

指定第i个OLS中的层数的变量NumLayersInOls[I]，指定第i个OLS中第j层的nuh_layer_id值的变量LayerIdInOls[I][j]，如下导出：

注1—第0个OLS只包含最低层(即nuh_layer_id等于vps_layer_id[0]的层)，并且对于第0个OLS，唯一包含的层被输出。

指定nuh_layer_id等于LayerIdInOls[I][j]的层的OLS层索引的变量OlsLayerIdx[I][j]，如下导出：

每个OLS中的最低层应该是一个独立的层。换句话说，对于0至TotalNumOlss-1(包括端点)范围内的每个I值，vps_independent_layer_flag[GeneralLayerIdx[LayerIdInOls[I[0]]]的值应等于1。

每一层应被包括在由VPS指定的至少一个OLS中。换句话说，对于具有等于0至vps_max_layers_minus1(包括端点)范围内的k的vps_layer_id[k]中的一个的nuh_layer_idnuhLayerId的特定值的每个层，应该有至少一对I和j的值，其中I在0至TotalNumOlss-1(包括端点)范围内，并且j在NumLayersInOls[I]-1(包括端点)范围内，使得LayerIdInOls[I][j]的值等于nuhLayerId。

加1指定VPS中profile_tier_level()语法结构的数量。vps_num_ptls_minus1的值应小于TotalNumOlss。

等于1的

指定在VPS中的第i个profile_tier_level()语法结构中存在配置文件、层次和一般约束信息。等于0的Pt_present_flag[I]指定在VPS中的第i个profile_tier_level()语法结构中不存在配置文件、层次和一般约束信息。pt_present_flag[0]的值被推断为等于1。当pt_present_flag[I]等于0时，VPS中第i个profile_tier_level()语法结构的配置文件、层次和一般约束信息被推断为与VPS中的第(I-1)个profile_tier_level()语法结构的相同。

指定VPS中第i个profile_tier_level()语法结构中存在级别信息的最高子层表示的TemporalId。ptl_max_temporal_id[I]的值应该在0至vps_max_sublayers_minus1(包括端点)的范围内。当vps_max_sublayers_minus1等于0时，ptl_max_temporal_id[I]的值被推断为等于0。当vps_max_sublayers_minus1大于0并且vps_all_layers_same_num_sublayers_flag等于1时，ptl_max_temporal_id[I]的值被推断为等于vps_max_sublayers_minus1。

应该等于0。

指定应用于第i个OLS的profile_tier_level()语法结构的、VPS中profile_tier_level()语法结构列表的索引。当存在时，ols_ptl_idx[I]的值应该在0至vps_num_ptls_minus1(包括端点)的范围内。当vps_num_ptls_minus1等于0时，ols_ptl_idx[I]的值被推断为等于0。

当NumLayersInOls[I]等于1时，应用于第i个OLS的profile_tier_level()语法结构也存在于由第i个OLS中的层参考的SPS中。比特流一致性的要求是，当NumLayersInOls[I]等于1时，针对第i个OLS在VPS和SPS中信令通知的profile_tier_level()语法结构应该是相同的。

指定VPS中dpb_parameters()语法结构的数量。vps_num_dpb_params的值应在0至16(包括端点)的范围内。如果不存在，则vps_num_dpb_params的值被推断为等于0。

被用于控制VPS中dpb_parameters()语法结构中的max_dec_pic_buffering_minus1[]、max_num_reorder_pics[]和max_latency_increase_plus1[]语法元素的存在。当不存在时，vps_sub_dpb_params_info_present_flag被推断为等于0。

指定对于其DPB参数可能会存在于VPS中的第i个dpb_parameters()语法结构中的最高子层表示的TemporalId。dpb_max_temporal_id[I]的值应该在0至vps_max_sublayers_minus1(包括端点)的范围内。当vps_max_sublayers_minus1等于0时，dpb_max_temporal_id[I]的值被推断为等于0。当vps_max_sublayers_minus1大于0并且vps_all_layers_same_num_sublayers_flag等于1时，dpb_max_temporal_id[I]的值被推断为等于vps_max_sublayers_minus1。

指定以亮度样点为单位的、第i个OLS的每个图片存储缓冲区的宽度。

指定以亮度样点为单位的、第i个OLS的每个图片存储缓冲区的高度。

指定当NumLayersInOls[I]大于1时应用于第i个OLS的dpb_parameters()语法结构的、在VPS中的dpb_parameters()语法结构列表的索引。当存在时，ols_dpb_params_idx[I]的值应该在0至vps_num_dpb_params-1(包括端点)的范围内。当ols_dpb_params_idx[I]不存在时，ols_dpb_params_idx[I]的值被推断为等于0。

当NumLayersInOls[I]等于1时，应用于第i个OLS的dpb_parameters()语法结构存在于由第i个OLS中的层参考的SPS中。

等于1的

指定VPS包含general_hrd_parameters()语法结构和其他HRD参数。等于0的Vps_general_hrd_params_present_flag指定VPS不包含general_hrd_parameters()语法结构或其他HRD参数。如果不存在，则vps_general_hrd_params_present_flag的值被推断为等于0。

当NumLayersInOls[I]等于1时，应用于第i个OLS的general_hrd_parameters()语法结构和ols_hrd_parameters()语法结构存在于由第i个OLS中的层参考的SPS中。

等于1的

指定VPS中的第i个ols_hrd_parameters()语法结构包含具有范围在0至hrd_max_tid[I](包括端点)内的TemporalId的子层表示的HRD参数。等于0的Vps_sublayer_cpb_params_present_flag指定VPS中的第i个ols_hrd_parameters()语法结构包含具有仅等于hrd_max_tid[I]的TemporalId的子层表示的HRD参数。当vps_max_sublayers_minus1等于0时，vps_sublayer_cpb_params_present_flag的值被推断为等于0。

当vps_sublayer_cpb_params_present_flag等于0时，具有0至hrd_max_tid[I]-1(包括端点)范围内的TemporalId的子层表示的HRD参数被推断为与具有等于hrd_max_tid[I]的TemporalId的子层表示的HRD参数相同。这些参数包括从fixed_pic_rate_general_flag[I]语法元素开始，直到ols_hrd_parameters语法结构中紧接着条件“if(general_vcl_hrd_params_present_flag)”之下的sublayer_hrd_parameters(I)语法结构的HRD参数。

加1指定当vps_general_hrd_params_present_flag等于1时，VPS中存在的ols_hrd_params()语法结构的数量。num_ols_hrd_params_minus1的值应在0至TotalNumOlss-1(包括端点)的范围内。

指定其HRD参数包含在第i个ols_hrd_parameters()语法结构中的最高子层表示的TemporalId。hrd_max_tid[I]的值应该在0至vps_max_sublayers_minus1(包括端点)的范围内。当vps_max_sublayers_minus1等于0时，hrd_max_tid[I]的值被推断为等于0。当vps_max_sublayers_minus1大于0并且vps_all_layers_same_num_sublayers_flag等于1时，hrd_max_tid[I]的值被推断为等于vps_max_sublayers_minus1。

指定当NumLayersInOls[I]大于1时应用于第i个OLS的ols_hrd_parameters()语法结构的、在VPS中的ols_hrd_parameters()语法结构列表的索引。ols_hrd_idx[I]的值应该在0至num_ols_hrd_params_minus1(包括端点)的范围内。

当NumLayersInOls[I]等于1时，应用于第i个OLS的ols_hrd_parameters()语法结构存在于由第i个OLS中的层参考的SPS中。

如果num_ols_hrd_param_minus1+1的值等于TotalNumOlss，则ols_hrd_idx[I]的值被推断为等于i。否则，当NumLayersInOls[I]大于1并且num_ols_hrd_params_minus1等于0时，则ols_hrd_idx[[I]的值被推断为等于0。

等于0的

指定VPS RBSP语法结构中不存在vps_extension_data_flag语法元素。等于1的Vps_extension_flag指定VPS RBSP语法结构中存在vps_extension_data_flag语法元素。

可以有任何值。它的存在和值不影响解码器符合此规范的此版本中指定的配置文件。符合此规范的此版本的解码器应忽略所有vps_extension_data_flag语法元素。

3.6 VVC中的访问单元分隔符(AUD)语法和语义

在最新的VVC文本(在JVET-Q2001-Ve/v15)中，AUD语法和语义如下所示。

7.3.2.9 AU分隔符RBSP语法

7.4.3.9 AU分隔符RBSP语义

AU分隔符用于指示AU的开始和包含AU分隔符NAL单元的AU中的经编解码图片中存在的条带类型。没有与AU分隔符相关联的规范解码过程。

指示包含AU分隔符NAL单元的AU中的经编解码图片的所有条带的slice_type值是表7中针对给定pic_type值列出的集合的成员。pic_type的值在符合此规范的此版本的比特流中应等于0、1或2。pic_type的其他值被保留以供ITU-T|ISO/IEC将来使用。符合此规范的此版本的解码器应忽略pic_type的保留值。

表7-pic_type的解释

3.7 Au和PU的顺序

在最新的VVC文本(在JVET-Q2001-Ve/v15中)中，Au和PU的解码顺序的规范如下。

7.4.2.4.2 Au的顺序及其与CVS的关联

比特流由一个或多个CVS组成。

CVS由一个或多个AU组成。PU的顺序及其与Au的关联在条款7.4.2.4.3中描述。

CVS的第一AU是CVSS AU，其中每个存在的PU是CLVSS PU，其或者是NoOutputBeforeRecoveryFlag等于1的IRAP PU，或者是NoOutputBeforeRecoveryFlag等于1的GDR PU。

每个CVSS AU应具有CVS中存在的每一层的PU。

7.4.2.4.3 PU的顺序及其与Au的关联性

AU由一个或多个PU按nuh_layer_id递增的顺序组成。顺序NAL单元和经编解码图片及其与PU的关联在条款7.4.2.4.4中描述。

一个AU中最多可以有一个AUD NAL单元。当AUD NAL单元存在于AU中时，它将是AU的第一NAL单元，并且因此它是AU的第一PU的第一NAL单元。

一个AU中最多可以有一个EOB NAL单元。当EOB NAL单元存在于AU中时，它将是AU的最后一个NAL单元，并且因此它是AU的最后一个PU的最后一个NAL单元。

当VCL NAL单元是跟随PH NAL单元的第一VCL NAL单元并且以下一个或多个条件为真时，VCL NAL单元是AU的第一VCL NAL单元(并且因此包含VCL NAL单元的PU是AU的第一PU)：

-VCL NAL单元的nuh_layer_id的值在解码顺序上小于上一个图片的nuh_layer_id。

-VCL NAL单元的ph_pic_order_cnt_lsb的值在解码顺序上与前一图片的ph_pic_order_cnt_lsb不同。

-为VCL NAL单元导出的PicOrderCntVal在解码顺序上不同于前一图片的PicOrderCntVal。

令firstVclNalUnitInAu是AU的第一VCL NAL单元。在firstVclNalUnitInAu之前并在firstVclNalUnitInAu之前的最后一个VCL NAL单元(如果有的话)之后的以下任何一个NAL单元中的第一个指定新AU的开始：

-AUD NAL单元(当存在时)，

-DCI NAL单元(当存在时)，

-VPS NAL单元(当存在时)，

-SPS NAL单元(当存在时)，

-PPS NAL单元(当存在时)，

-前缀APS NAL单元(当存在时)，

-PH NAL单元(当存在时)，

-前缀SEI NAL单元(当存在时)，

-nal_unit_type等于RSV_NVCL_26的NAL单元(当存在时)，

-nal_unit_type在UNSPEC28..UNSPEC29范围内的NAL单元(当存在时)。

注意—在firstVclNalUnitInAu之前并且在firstVclNalUnitInAu之前的最后一个VCL NAL单元之后的第一NAL单元，如果有的话，只能是上面列出的NAL单元之一。

比特流一致性的要求是，当存在时，在属于同一层并且包含EOS NAL单元的PU之后的特定层的下一个PU应该是CLVSS PU，其或者是NoOutputBeforeRecoveryFlag等于1的IRAP PU，或者是NoOutputBeforeRecoveryFlag等于1的GDR PU。

4.公开的技术方案所解决的技术问题的示例

最新VVC文本(在JVET-Q2001-Ve/v15中)中现有的可缩放性设计存在以下问题：

1)开始新的CVS的CVSS AU要求是完整的(即，要求具有CVS中存在的每个层的图片)。然而，根据当前的设计，解码器在接收CVS的最后一个图片之前不能够检查AU是否包括“CVS中存在的每个层”的图片，而另一方面，即使CVS的最后一个图片也不容易确定，因为除了比特流的最初第一个CVS之外，不容易确定任何CVS的开始。基本上，这意味着解码器只有在接收到整个比特流后才能计算出CVS的边界。

2)目前，IRAP AU可以开始新的CVS，并且被要求是完整的(即，被要求具有CVS中存在的每个层的图片)，而GDR AU也可以开始新的CVS，但是不被要求是完整的。这基本上禁止随机访问从未以符合方式完整的GDR AU开始的比特流，因为通常随机访问中的开始AU将成为CVSS AU，但是当这样的GDR AU不完整时，它不可能是CVSS AU。

5.示例实施例和技术

为了解决上述问题和其他问题，公开了如下所述的方法。这些发明应被视为解释一般概念的示例，而不应以狭隘的方式加以解释。此外，这些发明可以单独应用或以任何方式组合。

解决第一个问题的解决方案

1)为了解决第一个问题，可以信令通知AU是否完整的指示，即AU是否包括CVS中存在的每个层的图片。

a.在一个示例中，该指示仅针对可能开始新的CVS的Au被信令通知。

i.此外，在一个示例中，该指示仅针对每个图片是IRAP或GDR图片的AU被信令通知。

b.在一个示例中，该指示在AUD NAL单元中被信令通知。

i.在一个示例中，该指示由AUD NAL单元中的标志(例如，irap_or_gdr_au_flag)信令通知。

1.可替代地，另外地，当irap_or_gdr_au_flag等于1时，可以在AUD中信令通知标志(即，命名为irap_au_flag)以指定AU是IRAPAU还是GDR AU(irap_au_flag等于1指定AU是IRAP AU，irap_au_flag等于0指定AU是GDR AU)。当不存在irap_au_flag时，不推断其值。

ii.此外，在一个示例中，当vps_max_layers_minus1大于0时，每个IRAP或GDR AU中都要求存在一个且仅有一个AUD NAL单元。

1.可替代地，无论vps_max_layers_minus1的值如何，每个IRAP或GDR AU中都要求存在一个且仅有一个AUD NAL单元。

iii.在一个示例中，等于1的标志指定AU中的所有条带在IDR_W_RADL至GDR_NUT(包括端点)范围内具有相同的NAL单元类型。因此，如果NAL单元类型为IDR_W_RADL或IDR_N_LP并且该标志等于1，则AU为CVSS AU。否则(NAL单元类型为CRA_NUT或GDR_NUT)，当针对AU中每个图片的变量NoOutputBeforeRecoveryFlag等于1时，AU为CVSS AU。

c.此外，在一个示例中，要求CVS中的AU中的每个图片应该具有等于CVS的第一AU中存在的图片之一的nuh_layer_id的nuh_layer_id。

d.在一个示例中，该指示在NAL单元标头中被信令通知。

i.在一个示例中，使用NAL单元标头中的比特(例如，nuh_reserved_zero_bit)来指定AU是否完整。

e.在一个示例中，该指示在新的NAL单元中被信令通知。

i.此外，在一个示例中，当vps_max_layers_minus1大于0时，要求在每个IRAP或GDR AU中存在一个且仅存在一个新的NAL单元。

1.此外，在一个示例中，当在AU中存在时，新的NAL单元应在AU中按解码顺序在AUDNAL单元(当存在时)之外的任何NAL单元之前。

2.可替代地，无论vps_max_layers_minus1的值如何，都要求在每个IRAP或GDR AU中存在一个且仅存在一个新的NAL单元。

f.在一个示例中，该指示在SEI消息中被信令通知。

i.此外，在一个示例中，当vps_max_layers_minus1大于0时，要求在每个IRAP或GDR AU中存在SEI消息。

1.此外，在一个示例中，当在AU中存在时，包含SEI消息的SEINAL单元应在AU中按解码顺序在AUD NAL单元(当存在时)之外的任何NAL单元之前。

2.可替代地，无论vps_max_layers_minus1的值如何，都要求在每个IRAP或GDR AU中存在SEI消息。

2)可替代地，为了解决第一个问题，AU是否开始新的CVS的指示可以被信令通知。

a.在一个示例中，该指示在AUD NAL单元中被信令通知。

ii.此外，在一个示例中，当vps_max_layers_minus1大于0时，每个CVSS AU中要求存在一个且仅存在一个AUD NAL单元。

1.可替代地，无论vps_max_layers_minus1的值如何，每个CVSSAU中都要求存在一个且仅存在一个AUD NAL单元。

b.在一个示例中，该指示在NAL单元标头中被信令通知。

i.在一个示例中，使用NAL单元标头中的比特(例如，nuh_reserved_zero_bit)来指定AU是否是CVSS AU。

c.在一个示例中，该指示在新的NAL单元中被信令通知。

i.此外，在一个示例中，当vps_max_layers_minus1大于0时，要求在每个CVSS AU中存在一个且仅存在一个新的NAL单元。

2.可替代地，无论vps_max_layers_minus1的值如何，都要求在每个CVSS AU中存在一个且仅存在一个新的NAL单元。

ii.在一个示例中，AU中的新的NAL单元的存在指定该AU是CVSS AU。

1.可替代地，在新的NAL单元中包括标志，以指定该AU是否是CVSS AU。

d.在一个示例中，该指示在SEI消息中被信令通知。

i.此外，在一个示例中，当vps_max_layers_minus1大于0时，要求在每个CVSS AU中存在SEI消息。

2.可替代地，无论vps_max_layers_minus1的值如何，都要求在每个CVSS AU中存在SEI消息。

3)可替代地，为了解决第一个问题，开始新的CVS的CVSS AU被要求具有由VPS指定的每个层的图片。注意，该方法的缺点是，然后在VPS中信令通知的层的数量需要是精确的，并且因此，当一层被从比特流中移除时，VPS需要被修改。

4)可替代地，为了解决第一个问题，当vps_max_layers_minus1大于0时，在每个CVS的最后一个AU中为每个图片规定EOS NAL单元的存在，并且可选地在每个比特流的最后一个AU中也规定EOB NAL单元的存在。因此，每个CVSS AU将通过作为比特流中的第一AU或在前一个AU中存在EOS NAL单元来被标识。

5)可替代地，为了解决第一个问题，指定外部手段确定的变量来指定AU是否是CVSS AU。

解决第二个问题的解决方案

6)为了解决第二个问题，要求每个GDR AU都是完整的(即，具有CVS中存在的每个层的图片)。这意味着，由GDR图片组成的AU，但如果它是不完整的，那么它就不是GDR AU，类似于当前由IRAP图片组成的AU，但如果它是不完整的，那么它就不是IRAP AU。

a.在一个示例中，GDR AU可以被定义为其中有CVS中的每一层的PU并且每个存在的PU中的经编解码图片是GDR图片的AU。

6.实施例

6.1第一实施例

本实施例针对第1、1.a、1.a.i、1.b、1.b.i、1.b.ii、1.b.iii、1.c、6和6a项。

3定义

...

其中

每个存在的PU中的

是GDR图片的AU。

...

7.3.2.9 AU分隔符RBSP语法

7.4.3.9 AU分隔符RBSP语义

AU分隔符被用于指示AU的开始、

以及包含AU分隔符NAL单元的AU中编码图片中存在的条带类型。

没有与AU分隔符相关联的规范解码过程。

...

7.4.2.4.2 Au的顺序及其与CVS的关联

比特流由一个或多个CVS组成。

每个CVSS AU应具有CVS中存在的每个层的PU，

7.4.2.4.3 PU的顺序及其与Au的关联性

一个AU中最多只能有一个AUD NAL单元，

当AUD NAL单元存在于AU中时，它将是AU的第一NAL单元，并且因此它是AU的第一PU的第一NAL单元。

...

图1是示出可以在其中实现本文公开的各种技术的示例视频处理系统1000的框图。各种实现可包括系统1000的部分或全部组件。系统1000可以包括用于接收视频内容的输入1002。该视频内容可以以原始或未压缩格式接收，例如，8比特或10比特多分量像素值，或者可以以经压缩或经编码格式接收。输入1002可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等的有线接口和诸如Wi-Fi或蜂窝接口的无线接口。

系统1000可以包括编解码组件1004，其可以实现本文件中描述的各种编解码或编码方法。编解码组件1004可以降低从输入1002到编解码1004的输出的视频的平均比特率，以产生该视频的经编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件1004的输出可以存储，或者经由连接的通信发送，如组件1006所表示的。在输入1002处接收的视频的存储或通信的比特流(或经编解码的)表示可以由组件1008用于生成向显示接口1010发送的像素值或可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外，尽管某些视频处理操作被称为“编码”操作或工具，但应理解，编码工具或操作在编码器处使用，并且将编码结果逆转的对应解码工具或操作将由解码器执行。

外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文件中描述的技术可以体现在各种电子设备中，诸如移动电话、膝上型计算机、智能电话或者能够执行数字数据处理和/或视频显示的其他设备。

图2是视频处理装置2000的框图。装置2000可用于实现本文描述的一个或多个方法。装置2000可以体现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置2000可以包括一个或多个处理器2002、一个或多个存储器2004和视频处理硬件2006。处理器(多个处理器)2002可以被配置为实现本文件中描述的一个或多个方法。存储器(多个存储器)2004可以用于存储用于实现本文描述的方法和技术的数据和代码。视频处理硬件2006可用于在硬件电路中实现本文件中描述的一些技术。在一些实施例中，硬件2006可以部分地或全部地在一个或多个处理器2002(例如图形处理器)中。

图3是示出可以利用本公开的技术的示例视频编解码系统100的框图。

如图3所示，视频编解码系统100可以包括源设备110和目的地设备120。源设备110生成经编码视频数据，其可以被称为视频编码设备。目的地设备120可以对源设备110生成的经编码视频数据进行解码，目的地设备120可以被称为视频解码设备。

源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。

视频源112可以包括诸如视频捕获设备、用于从视频内容提供商接收视频数据的接口和/或用于生成视频数据的计算机图形系统的源，或者这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码以生成比特流。比特流可以包括形成视频数据的经编解码表示的比特序列。比特流可以包括经编解码图片和相关联的数据。经编解码图片是图片的经编解码表示。相关联的数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发送器。经编码视频数据可以经由I/O接口116通过网络130a直接向目的地设备120发送。经编码视频数据也可以存储在存储介质/服务器130b上，以供目的地设备120访问。

目的地设备120可以包括I/O接口126、视频解码器124和显示设备122。

I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获得经编码视频数据。视频解码器124可以对经编码视频数据进行解码。显示设备122可以将经解码视频数据向用户显示。显示设备122可以与目的地设备120集成，或者可以在目的地设备120的外部，目的地设备120被配置为与外部显示设备接口。

视频编码器114和视频解码器124可以根据视频压缩标准操作，诸如高效视频编解码(HEVC)标准、多功能视频编解码(VVC)标准和其他当前和/或未来的标准。

图4是示出视频编码器200的示例的框图，视频编码器200可以是图3所示的系统100中的视频编码器114。

视频编码器200可以被配置为执行本公开的任何或所有技术。在图4的示例中，视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各个组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

视频编码器200的功能组件可以包括分割单元201、预测单元202、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重建单元212、缓冲器213和熵编解码单元214，预测单元202可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206。

在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在一个示例中，预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以在IBC模式下执行预测，在该模式中至少一个参考图片是当前视频块所在的图片。

此外，诸如运动估计单元204和运动补偿单元205的一些组件可以是高度集成的，但为了说明的目的，在图4的示例中分开表示。

分割单元201可以将图片分割为一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。

模式选择单元203可以例如基于误差结果，在帧内或帧间选择编解码模式之一，并将所得的帧内或帧间编解码块提供给残差生成单元207以生成残差块数据，以及提供给重建单元212以重建经编码块以用作参考图片。在一些示例中，模式选择单元203可以选择组合帧内帧间预测(CIIP)模式，其中，预测基于帧间预测信号和帧内预测信号。模式选择单元203还可以在帧间预测的情况下为块选择运动矢量的分辨率(例如，子像素或整数像素精度)。

为了对当前视频块执行帧间预测，运动估计单元204可以通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可以基于运动信息和来自缓冲器213的除与当前视频块相关联的图片之外的图片的经解码样点来确定当前视频块的预测视频块。

运动估计单元204和运动补偿单元205可以例如根据当前视频块是处于I条带、P条带还是B条带中，对当前视频块执行不同的操作。

在一些示例中，运动估计单元204可以对当前视频块执行单向预测，并且运动估计单元204可以搜索列表0或列表1的参考图片以获得用于当前视频块的参考视频块。然后，运动估计单元204可以生成指示包含参考视频块的列表0或列表1中的参考图片的参考索引，以及指示当前视频块与参考视频块之间的空域位移的运动矢量。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。

在其他示例中，运动估计单元204可以对当前视频块执行双向预测，运动估计单元204可以在列表0中的参考图片中搜索用于当前视频块的参考视频块，并且还可以在列表1中的参考图片中搜索用于当前视频块的另一参考视频块。然后，运动估计单元204可以生成指示包含参考视频块的列表0和列表1中的参考图片的参考索引，以及指示参考视频块与当前视频块之间的空域位移的运动矢量。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。

在一些示例中，运动估计单元204可以输出用于解码器的解码处理的运动信息的全部集合。

在一些示例中，运动估计单元204可以不输出用于当前视频的运动信息全部集合。相反，运动估计单元204可以参考另一视频块的运动信息信令通知当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与相邻视频块的运动信息充分相似。

在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中指示值，该值向视频解码器300指示当前视频块具有与另一视频块相同的运动信息。

在另一示例中，运动估计单元204可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(MVD)。该运动矢量差指示当前视频块的运动矢量与指示的视频块的运动矢量之间的差值。视频解码器300可以使用所指示的视频块的运动矢量和该运动矢量差来确定当前视频块的运动矢量。

如上所述，视频编码器200可以预测地信令通知该运动矢量。可由视频编码器200实现的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和merge模式信令。

帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时，帧内预测单元206可以基于同一图片中的其他视频块的经解码样点生成用于当前视频块的预测数据。用于当前视频块的预测数据可以包括经预测的视频块和各种语法元素。

残差生成单元207可以通过从当前视频块减去(例如，由减号指示的)当前视频块的经预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中的样点的不同样点分量的残差视频块。

在其他示例中，例如在跳过模式下，对于当前视频块可以没有用于当前视频块的残差数据，并且残差生成单元207可以不执行减法操作。

变换处理单元208可以通过对与当前视频块相关联的残差视频块应用一个或多个变换来生成用于当前视频块的一个或多个变换系数视频块。

在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。

逆量化单元210和逆变换单元211可以分别对变换系数视频块应用逆量化和逆变换，以从变换系数视频块重建残差视频块。重建单元212可以将重建的残差视频块加到来自由预测单元202生成的一个或多个预测视频块的对应样点，以产生与当前块相关联的重建视频块，以存储在缓冲器213中。

在重建单元212重建视频块之后，可以执行环路滤波操作以减少视频块中的视频块伪影。

熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收数据时，熵编码单元214可以执行一个或多个熵编码操作以生成经熵编码数据并输出包括该经熵编码数据的比特流。

图5是示出视频解码器300的示例的框图，视频解码器300可以是图3所示的系统100中的视频解码器114。

视频解码器300可以被配置为执行本公开的任何或所有技术。在图5的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各个组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

在图5的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、以及重建单元306和缓冲器307。在一些示例中，视频解码器300可以执行与关于视频编码器200(图4)描述的编码遍次(pass)大致相反的解码遍次。

熵解码单元301可以检索经编码比特流。经编码比特流可以包括经熵编解码视频数据(例如，视频数据的经编解码块)。熵解码单元301可以对经熵编解码的视频数据进行解码，并且运动补偿单元302可以从经熵解码的视频数据中确定运动信息，其包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息。运动补偿单元302例如可以通过执行AMVP和merge模式来确定这样的信息。

运动补偿单元302可以产生运动补偿块，可能地基于插值滤波器执行插值。用于以亚像素精度使用的插值滤波器的标识符可以被包括在语法元素中。

运动补偿单元302可以使用视频编码器200在视频块的编码期间使用的插值滤波器来计算参考块的子整数像素的插值。运动补偿单元302可以根据接收到的语法信息确定视频编码器200使用的插值滤波器，并且使用该插值滤波器产生预测块。

运动补偿单元302可以使用一些语法信息来确定用于对经编码的视频序列的帧和/或条带进行编码的块的尺寸、描述经编码的视频序列的图片的每个宏块如何被分割的分割信息、指示每个分割如何被编码的模式、每个帧间编解码块的一个或多个参考帧(和参考帧列表)以及用于对编解码的视频序列进行解码的其他信息。

帧内预测单元303可以使用例如在比特流中接收的帧内预测模式，以从空域相邻的块形成预测块。逆量化单元303对比特流中提供并由熵解码单元301解码的经量化视频块系数进行逆量化，即去量化。逆变换单元303应用逆变换。

重建单元306可以将残差块与运动补偿单元202或帧内预测单元303生成的对应预测块相加，以形成经解码块。如果需要，还可以应用去块滤波器以对解码块进行滤波，以便去除块效应伪影。然后将经解码视频块存储在缓冲器307中，缓冲器307提供用于随后的运动补偿/帧内预测的参考块，并且还产生经解码视频用于在显示设备上呈现。

图6-图7示出了可以实现例如图1-图5中示出的实施例中上述技术解决方案的示例方法。

图6示出了视频处理的示例方法的流程图600。方法600包括，在操作610处，执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，比特流包括经编解码视频序列(CVS)，CVS包括一个或多个访问单元(AU)，并且比特流还包括指示AU是否包括构成CVS的每个视频层的图片的第一语法元素。

图7示出了视频处理的示例方法的流程图700。方法700包括，在操作710处，执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，该比特流包括经编解码视频序列(CVS)，CVS包括一个或多个访问单元(AU)，并且比特流符合指定给定AU中的每个图片携带层标识符的格式规则，该层标识符等于包括一个或多个视频层的CVS中的第一AU的层标识符。

图8示出了视频处理的示例方法的流程图800。方法800包括，在操作810处，执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，该比特流包括经编解码视频序列(CVS)，CVS包括一个或多个访问单元(AU)，并且比特流还包括指示一个或多个AU中的、开始新的CVS的AU的第一语法元素。

图9示出了视频处理的示例方法的流程图900。方法900包括，在操作910处，执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，该比特流包括经编解码视频序列(CVS)，CVS包括一个或多个访问单元(AU)，并且比特流符合格式规则，该格式规则指定开始新CVS的经编解码视频序列开始(CVSS)AU包括视频参数集(VPS)中指定的每个视频层的图片。

图10示出了视频处理的示例方法的流程图1000。方法1000包括，在操作1010处，执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，该比特流包括经编解码视频序列(CVS)，CVS包括一个或多个访问单元(AU)，并且比特流符合格式规则，该格式规则指定基于给定AU是比特流中的第一AU或在给定AU之前的AU包括序列结束(EOS)网络抽象层(NAL)单元而将给定AU标识为经编解码视频序列开始(CVSS)AU。

图11示出了视频处理的示例方法的流程图1100。方法1100包括，在操作1110处，基于规则执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，该比特流包括经编解码视频序列(CVS)，CVS包括一个或多个访问单元(AU)，并且该规则指定边信息被用于指示一个或多个AU中的AU是否是经编解码视频序列开始(CVSS)AU。

图12示出了视频处理的示例方法的流程图1200。方法1200包括，在操作1210处，执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，该比特流包括经编解码视频序列(CVS)，CVS包括一个或多个访问单元(AU)，并且比特流符合格式规则，该格式规则指定作为逐步解码刷新AU的一个或多个AU中的每个AU恰好(exactly)包括CVS中存在的每个视频层的一个图片。

图13示出了视频处理的示例方法的流程图1300。方法1300包括，在操作1310处，执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，该比特流包括经编解码视频序列，CVS包括一个或多个访问单元(AU)，并且比特流符合格式规则，该格式规则指定作为帧内随机访问点AU的一个或多个AU中的每个AU恰好包括CVS中存在的每个视频层的一个图片。

接下来提供一些实施例优选的解决方案的列表。

P1.一种视频处理方法，包括执行具有一个或多个视频层中的一个或多个图片的视频与表示该视频的经编码版本的经编解码表示之间的转换；其中该经编解码表示包括一个或多个访问单元(AU)；其中当且仅当AU是一种类型时，该经编解码表示包括语法元素，其中该语法元素指示AU是否包括构成经编解码视频序列的每个视频层的图片。

P2.根据解决方案P1的方法，其中类型包括所有AU。

P3.根据解决方案P1的方法，其中类型包括开始新CVS的AU。

P4.根据解决方案P1的方法，其中语法元素被包括在访问单元分隔符网络抽象层单元中。

P5.根据解决方案P1至解决方案P4的任一项的方法，其中语法元素被包括在网络抽象层单元标头中。

P6.根据解决方案P1至解决方案P4的任一项的方法，其中语法元素被包括在新的网络抽象层单元中。

P7.一种视频处理方法，包括执行具有一个或多个视频层中的一个或多个图片的视频与表示该视频的经编码版本的经编解码表示之间的转换；其中经编解码表示包括一个或多个访问单元(AU)；其中经编解码表示符合指定给定AU中的每个图片携带与经编解码视频序列的第一AU的层标识符相等的层标识符的格式规则。

P8.一种视频处理方法，包括执行具有一个或多个视频层中的一个或多个图片的视频与表示该视频的经编码版本的经编解码表示之间的转换；其中经编解码表示包括一个或多个访问单元(AU)；其中当且仅当AU开始新的经编解码视频序列时该经编解码表示包括语法元素。

P9.根据解决方案P8的方法，其中语法元素被包括在访问单元分隔符网络抽象层单元中。

P10.根据解决方案P8至解决方案P9的任一项的方法，其中语法元素被包括在网络抽象层单元标头中。

P11.根据解决方案P8至解决方案P9的任一项的方法，其中语法元素被包括作为补充增强信息。

P12.一种视频处理方法，包括执行具有一个或多个视频层中的一个或多个图片的视频与视频的经编解码表示之间的转换；其中经编解码表示包括一个或多个访问单元(AU)；其中经编解码表示符合指定经编解码视频序列的开始AU包括由视频参数集指定的每个视频层的视频图片，或者经编解码表示基于规则隐式地信令通知该开始AU的格式规则。

P13.一种视频处理方法，包括执行具有一个或多个视频层中的一个或多个图片的视频与视频的经编解码表示之间的转换；其中经编解码表示包括一个或多个访问单元(AU)；其中经编解码表示符合指定逐步解码刷新(GDR)类型的每个AU包括经编解码视频序列的每个视频层的至少一个视频图片的格式规则。

P14.根据解决方案P13的方法，其中GDR类型的每个AU还包括用于CVS中的每个层的预测单元，并且PU包括GDR图片。

P15.根据解决方案1至解决方案14的任一项的方法，其中转换包括将视频编码到经编解码表示中。

P16.根据解决方案1至解决方案14的任一项的方法，其中转换包括对经编解码表示进行解码以生成视频的像素值。

P17.一种视频解码装置，包括被配置为实现解决方案P1至解决方案P16的一项或多项所述的方法的处理器。

P18.一种视频编码装置，包括被配置为实现解决方案P1至解决方案P16的一项或多项所述的方法的处理器。

P19.一种具有存储在其上的计算机代码的计算机程序产品，该代码在由处理器执行时使处理器实现解决方案P1至解决方案P16的任一项所述的方法。

接下来提供一些实施例优选的解决方案的另一列表。

A1.一种视频处理方法，包括执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，其中该比特流包括经编解码视频序列，该经编解码视频序列包括一个或多个访问单元，并且其中比特流还包括指示访问单元是否包括构成经编解码视频序列的每个视频层的图片的第一语法元素。

A2.根据解决方案A1的方法，其中访问单元被配置为开始新的经编解码视频序列。

A3.根据解决方案A2的方法，其中每个视频层的图片是帧内随机访问点图片或逐步解码刷新图片。

A4.根据解决方案A1的方法，其中第一语法元素被包括在访问单元分隔符网络抽象层单元中。

A5.根据解决方案A4的方法，其中第一语法元素是指示包含访问单元分隔符的访问单元是帧内随机访问点访问单元还是逐步解码刷新访问单元的标志。

A6.根据解决方案A5的方法，其中第一语法元素是irap_or_gdr_au_flag。

A7.根据解决方案A4的方法，其中当指示由视频参数集指定的视频层的数量的第二语法元素大于1时，访问单元分隔符网络抽象层单元是存在于每个帧内随机访问点访问单元或逐步解码刷新访问单元中的唯一访问单元分隔符网络抽象层单元。

A8.根据解决方案A7的方法，其中第二语法元素指示每个经编解码视频序列中参考视频参数集的最大允许层数。

A9.根据解决方案A1的方法，其中第一语法元素等于1指示包括IDR_W_RADL到GDR_NUT(包括端点)范围内的相同网络抽象层单元类型的访问单元中的所有条带。

A10.根据解决方案A9的方法，其中第一语法元素等于1并且网络抽象层单元类型为IDR_W_RADL或IDR_N_LP指示访问单元是经编解码视频序列开始访问单元。

A11.根据解决方案A9的方法，其中访问单元中的每个图片的变量等于1并且网络抽象层单元类型为CRA_NUT或GDR_NUT指示访问单元是经编解码视频序列开始访问单元。

A12.根据解决方案A11的方法，其中变量指示在图片被恢复之前是否输出解码图片缓冲器中按解码顺序在当前图片之前的图片。

A13.根据解决方案A11的方法，其中变量是NoOutputBeforeRecoveryFlag。

A14.根据解决方案A1的方法，其中第一语法元素被包括在网络抽象层单元标头中。

A15.根据解决方案A1的方法，其中第一语法元素被包括在新的网络抽象层单元中。

A16.根据解决方案A15的方法，其中当指示由视频参数集指定的视频层的数量的第二语法元素大于1时，新的网络抽象层单元是存在于每个帧内随机访问点访问单元或逐步解码刷新访问单元中的唯一网络抽象层单元。

A17.根据解决方案A1的方法，其中第一语法元素被包括在补充增强信息消息中。

A18.根据解决方案A17的方法，其中当指示由视频参数集指定的视频层的数量的第二语法元素大于0时，补充增强信息消息是存在于每个帧内随机访问点访问单元或逐步解码刷新访问单元中的唯一补充增强信息消息。

A19.一种视频处理方法，包括执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，其中该比特流包括经编解码视频序列，该经编解码视频序列包括一个或多个访问单元，并且其中比特流符合指定给定访问单元中的每个图片携带层标识符的格式规则，该层标识符等于包括一个或多个视频层的经编解码视频序列中的第一访问单元的层标识符。

A20.一种视频处理方法包括执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，其中该比特流包括经编解码视频序列，该经编解码视频序列包括一个或多个访问单元，并且其中比特流还包括指示一个或多个访问单元中的、的开始新的经编解码视频序列的访问单元的第一语法元素。

A21.根据解决方案A20的方法，其中第一语法元素被包括在访问单元分隔符网络抽象层单元中。

A22.根据解决方案A20的方法，其中第一语法元素被包括在网络抽象层单元标头中。

A23.根据解决方案A20的方法，其中第一语法元素被包括在新的网络抽象层单元中。

A24.根据解决方案A20的方法，其中第一语法元素被包括在补充增强信息消息中。

A25.一种视频处理方法，包括执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，其中该比特流包括经编解码视频序列，该经编解码视频序列包括一个或多个访问单元，并且其中比特流符合格式规则，该格式规则指定开始新的经编解码视频序列的经编解码视频序列开始访问单元包括视频参数集中指定的每个视频层的图片。

A26.一种视频处理方法，包括执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，该比特流包括经编解码视频序列，该经编解码视频序列包括一个或多个访问单元，并且其中比特流符合格式规则，该格式规则指定基于给定访问单元是比特流中的第一访问单元或在给定访问单元之前的访问单元包括序列结束网络抽象层单元而将给定访问单元标识为经编解码视频序列开始访问单元。

A27.一种视频处理方法，包括基于规则执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，其中该比特流包括经编解码视频序列，该经编解码视频序列包括一个或多个访问单元，并且其中该规则指定边信息被用于指示一个或多个访问单元中的访问单元是否是经编解码视频序列开始访问单元。

A28.根据解决方案A1至解决方案A27中的任一项的方法，其中转换包括从比特流解码视频。

A29.根据解决方案A1至解决方案A27中的任一项的方法，其中转换包括将视频编码到比特流中。

A30.一种将表示视频的比特流存储到计算机可读记录介质的方法，包括根据解决方案A1至解决方案A27的任何一项或多项中描述的方法从视频生成比特流；以及将比特流存储在计算机可读记录介质中。

A31.一种视频处理装置，包括被配置为实现解决方案A1至解决方案A30中的任一项或多项所述的方法的处理器。

A32.一种具有存储在其上的指令的计算机可读介质，所述指令在被执行时使处理器实现解决方案A1至解决方案A30中的一项或多项中所述的方法。

A33.一种计算机可读介质，其存储根据解决方案A1至解决方案A30中的任一项或多项所生成的比特流。

A34.一种用于存储比特流的视频处理装置，其中，所述视频处理装置被配置为实现解决方案A1至解决方案A30中的任一项或多项所述的方法。

接下来提供一些实施例优选的解决方案的又另一列表。

B1.一种视频处理方法，包括执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，该比特流包括经编解码视频序列，该经编解码视频序列包括一个或多个访问单元，并且其中比特流符合格式规则，该格式规则指定作为逐步解码刷新访问单元的一个或多个访问单元中的每个访问单元恰好包括存在于经编解码视频序列中的每个视频层的一个图片。

B2.根据解决方案B1的方法，其中作为逐步解码刷新访问单元的每个访问单元包括针对存在于经编解码视频序列中的每个层的预测单元，并且其中针对每个层的预测单元包括作为逐步解码刷新图片的经编解码图片。

B3.一种视频处理方法，包括执行包括一个或多个视频层中的一个或多个图片的视频与视频的比特流之间的转换，该比特流包括经编解码视频序列，经编解码视频序列包括一个或多个访问单元，并且其中比特流符合格式规则，该格式规则指定作为帧内随机访问点访问单元的一个或多个访问单元中的每个访问单元恰好包括存在于经编解码视频序列中的每个视频层的一个图片。

B4.根据解决方案B1至解决方案B3的任一项的方法，其中转换包括从比特流解码视频。

B5.根据解决方案B1至解决方案B3的任一项的方法，其中转换包括将视频编码到比特流中。

B6.一种将表示视频的比特流存储到计算机可读记录介质的方法，包括根据解决方案B1至解决方案B3中的任何一项或多项中描述的方法从视频生成比特流；以及将比特流存储在计算机可读记录介质中。

B7.一种视频处理装置，包括被配置为实现解决方案B1至解决方案B6中的任一项或多项所述的方法的处理器。

B8.一种具有存储在其上的指令的计算机可读介质，所述指令在被执行时使处理器实现解决方案B1至解决方案B6中的一项或多项中所述的方法。

B9.一种计算机可读介质，其存储根据解决方案B1至解决方案B6中的任一项或多项所生成的比特流。

B10.一种用于存储比特流的视频处理装置，其中，所述视频处理装置被配置为实现解决方案B1至解决方案B6中的任一项或多项所述的方法。

在本文件中，术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，可以在从视频的像素表示转换为对应的比特流表示期间应用视频压缩算法，或者反之亦然。例如，当前视频块的比特流表示可以对应于如语法所定义的在比特流内的不同位置并置或扩展的比特。例如，宏块可以根据变换的和编解码的误差残差值来编码，并且还使用标头中的比特和比特流中的其他字段来编码。此外，在转换期间，解码器可以如上述解决方案中所描述的基于确定，在了解一些字段可能存在或不存在的情况下对比特流进行解析。类似地，编码器可以确定某些语法字段被包括或不被包括，并相应地通过从经编解码表示包括或排除语法字段来生成经编解码表示。

本文件中描述的所公开的和其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路中实现，或者在计算机软件、固件或硬件中实现，包括本文件中公开的结构及其结构等效物，或者以它们中的一个或多个的组合实现。所公开的和其他实施例可以实现为一个或多个计算机程序产品，即，编码在计算机可读介质上用于由数据处理装置执行或控制其操作的一个或多个计算机程序指令模块。计算机可读介质可以是机器可读存储设备、机器可读存储主板、存储设备、影响机器可读传播信号的物质组成或它们中的一个或多个的组合。术语“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置可以包括为所说的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如机器生成的电、光或电磁信号，生成该信号以对信息进行编码以向合适的接收器装置传输。

计算机程序(也公知为程序、软件、软件应用程序、脚本或代码)可以用任何形式的编程语言编写，包括编译过的或解释过的语言，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或适合在计算环境中使用的其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或多个脚本)中，存储在专用于所说的程序的单个文件中，或者存储在多个协调文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。可以部署计算机程序以在一台计算机或位于一个站点或分布于多个站点并通过通信网络互连的多台计算机上执行。

本文档中描述的过程和逻辑流可以由一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，以通过对输入数据进行操作并产生输出来执行功能。该过程和逻辑流也可以由专用逻辑电路执行，并且该装置也可以被实现为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

适用于执行计算机程序的处理器包括，例如，通用和专用微处理器，以及任何类型数字计算机的任何一个或多个处理器。一般地，处理器将从只读存储器或随机存取存储器或两者都接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器件。一般地，计算机还将包括或可操作地耦合以从一个或多个用于存储数据的大容量存储设备(例如，磁盘、磁光盘或光盘)接收数据或将数据传送到该一个或多个大容量存储设备或两者。然而，计算机不需要有这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备(例如EPROM、EEPROM和闪存设备)；磁盘(例如，内部硬盘或可移动磁盘)；磁光盘；以及CD ROM和DVD-ROM盘。该处理器和存储器可以由专用逻辑电路补充或合并在专用逻辑电路中。

虽然本专利文件包含很多细节，但这些不应被解释为对任何主题的范围或可要求权利的内容的限制，而是对专门于特定技术的特定实施例的特征的描述。本专利文件中在分开的实施例的上下文中描述的某些特征也可以组合在单个实施例中实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中分开地或以任何适当的子组合形式实现。此外，尽管上述特征可以被描述为在某些组合中起作用，甚至最初是这样要求保护的，但在某些情况下，来自要求保护的组合的一个或多个特征可以从该组合中删除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，尽管在附图中以特定顺序描绘了操作，但这不应理解为要求以所示特定顺序或以序列化顺序执行这些操作，或执行所有所示操作以获得期望的结果。此外，本专利文件中描述的实施例中的各种系统组件的分开不应理解为在所有实施例中都要求这样的分开。

仅描述了一些实现和示例，并且可以基于本专利文件中描述和说明的内容来进行其他实现、增强和变化。

Claims

1.一种视频处理方法，包括：

执行包括一个或多个视频层中的一个或多个图片的视频与所述视频的比特流之间的转换，

其中，所述比特流包括经编解码视频序列，所述经编解码视频序列包括一个或多个访问单元，以及

其中，所述比特流还包括指示访问单元是否包括构成所述经编解码视频序列的每个视频层的图片的第一语法元素。

2.根据权利要求1所述的方法，其中，所述访问单元被配置为开始新的经编解码视频序列。

3.根据权利要求2所述的方法，其中，所述每个视频层的图片是帧内随机访问点图片或逐步解码刷新图片。

4.根据权利要求1所述的方法，其中，所述第一语法元素包被括在访问单元分隔符网络抽象层单元中。

5.根据权利要求4所述的方法，其中，所述第一语法元素是指示包含访问单元分隔符的访问单元是帧内随机访问点访问单元还是逐步解码刷新访问单元的标志。

6.根据权利要求5所述的方法，其中，所述第一语法元素是irap_or_gdr_au_flag。

7.根据权利要求4所述的方法，其中，当指示由视频参数集指定的视频层的数量的第二语法元素大于1时，所述访问单元分隔符网络抽象层单元是存在于每个帧内随机访问点访问单元或逐步解码刷新访问单元中的唯一访问单元分隔符网络抽象层单元。

8.根据权利要求7所述的方法，其中，所述第二语法元素指示每个经编解码视频序列中参考所述视频参数集的最大允许层数。

9.根据权利要求1所述的方法，其中，所述第一语法元素等于1指示包括IDR_W_RADL到GDR_NUT，包括端点，范围内的相同网络抽象层单元类型的所述访问单元中的所有条带。

10.根据权利要求9所述的方法，其中，所述第一语法元素等于1并且所述网络抽象层单元类型为IDR_W_RADL或IDR_N_LP指示所述访问单元是经编解码视频序列开始访问单元。

11.根据权利要求9所述的方法，其中，所述访问单元中的每个所述图片的变量等于1并且所述网络抽象层单元类型为CRA_NUT或GDR_NUT指示所述访问单元是经编解码视频序列开始访问单元。

12.根据权利要求11所述的方法，其中，所述变量指示在所述图片被恢复之前是否输出解码图片缓冲器中按解码顺序在当前图片之前的图片。

13.根据权利要求11所述的方法，其中，所述变量是NoOutputBeforeRecoveryFlag。

14.根据权利要求1所述的方法，其中，所述第一语法元素被包括在网络抽象层单元标头中。

15.根据权利要求1所述的方法，其中，所述第一语法元素被包括在新的网络抽象层单元中。

16.根据权利要求15所述的方法，其中，当指示由视频参数集指定的视频层的数量的第二语法元素大于1时，所述新的网络抽象层单元是存在于每个帧内随机访问点访问单元或逐步解码刷新访问单元中的唯一网络抽象层单元。

17.根据权利要求1所述的方法，其中，所述第一语法元素被包括在补充增强信息消息中。

18.根据权利要求17所述的方法，其中，当指示由视频参数集指定的视频层的数量的第二语法元素大于0时，所述补充增强信息消息是存在于每个帧内随机访问点访问单元或逐步解码刷新访问单元中的唯一补充增强信息消息。

19.一种视频处理方法，包括：

其中，所述比特流符合指定给定访问单元中的每个图片携带层标识符的格式规则，所述层标识符等于包括所述一个或多个视频层的所述经编解码视频序列的第一访问单元的层标识符。

20.一种视频处理方法，包括：

其中，所述比特流还包括指示所述一个或多个访问单元中的、开始新的经编解码视频序列的访问单元的第一语法元素。

21.根据权利要求20所述的方法，其中，所述第一语法元素被包括在访问单元分隔符网络抽象层单元中。

22.根据权利要求20所述的方法，其中，所述第一语法元素被包括在网络抽象层单元标头中。

23.根据权利要求20所述的方法，其中，所述第一语法元素被包括在新的网络抽象层单元中。

24.根据权利要求20所述的方法，其中，所述第一语法元素被包括在补充增强信息消息中。

25.一种视频处理方法，包括：

其中，所述比特流符合格式规则，所述格式规则指定开始新的经编解码视频序列的经编解码视频序列开始访问单元包括在视频参数集中指定的每个视频层的图片。

26.一种视频处理方法，包括：

其中，所述比特流符合格式规则，所述格式规则指定基于所述给定访问单元是所述比特流中的第一访问单元或在所述给定访问单元之前的访问单元包括序列结束网络抽象层单元而将所述给定访问单元标识为经编解码视频序列开始访问单元。

27.一种视频处理方法，包括：

基于规则执行包括一个或多个视频层中的一个或多个图片的视频与所述视频的比特流之间的转换，

其中，所述规则指定使用边信息来指示所述一个或多个访问单元中的访问单元是否是经编解码视频序列开始访问单元。

28.根据权利要求1至权利要求27中的任一项所述的方法，其中，所述转换包括从所述比特流解码所述视频。

29.根据权利要求1至权利要求27中的任一项所述的方法，其中，所述转换包括将所述视频编码到所述比特流中。

30.一种将表示视频的比特流存储到计算机可读记录介质的方法，包括：

根据权利要求1至权利要求27中的任一项或多项所述的方法从所述视频生成所述比特流；以及

将所述比特流存储在所述计算机可读记录介质中。

31.一种视频处理装置，包括被配置为实现权利要求1至权利要求30中的任一项或多项所述的方法的处理器。

32.一种具有存储在其上的指令的计算机可读介质，所述指令在被执行时使处理器实现权利要求1至权利要求30中的一项或多项中所述的方法。

33.一种计算机可读介质，其存储根据权利要求1至权利要求30中的任一项或多项所生成的比特流。

34.一种用于存储比特流的视频处理装置，其中，所述视频处理装置被配置为实现权利要求1至权利要求30中的任一项或多项所述的方法。