CN115699767A

CN115699767A - 输出层集和层的数量限制

Info

Publication number: CN115699767A
Application number: CN202180037454.4A
Authority: CN
Inventors: 王业奎; 邓智玭
Original assignee: Douyin Vision Co Ltd; ByteDance Inc
Current assignee: Douyin Vision Co Ltd; ByteDance Inc
Priority date: 2020-05-22
Filing date: 2021-05-21
Publication date: 2023-02-03
Also published as: US20230078115A1; KR20230013053A; JP2023526807A; WO2021233417A1; WO2021233412A1; JP7513756B2; CN115769585A; EP4140141A4; EP4140141A1; US20240107039A1

Abstract

描述了用于执行诸如视频编码、视频解码或视频转码的视频处理的方法、装置、系统。一种视频处理的示例方法包括执行包括包含一个或多个视频图片的一个或多个视频层的视频和视频的比特流之间的转换，其中比特流符合指定指示视频层所参考的视频参数集的标识符的语法元素和比特流的字段之间的关系的格式规则。

Description

输出层集和层的数量限制

相关申请的交叉引用

根据适用的专利法和/或依据巴黎公约的规则，本申请适时要求于2020年5月22日提交的国际专利申请No.PCT/CN2020/091758的优先权和权益。出于根据法律的所有目的，前述申请的全部公开通过引用而并入作为本申请的公开的一部分。

技术领域

本专利文档涉及图像和视频编码与解码。

背景技术

数字视频占了互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的连接用户设备的数量增加，预计对数字视频使用的带宽需求将继续增长。

发明内容

本文档公开了可以由视频编码器和解码器用于视频编码或解码的技术。

在一个示例方面，公开了一种视频处理方法。该方法包括执行包括包含一个或多个视频图片的一个或多个视频层的视频和视频的比特流之间的转换，其中比特流符合指定指示视频层所参考的视频参数集的标识符的语法元素和比特流的字段之间的关系的格式规则。

在另一个示例方面，公开了另一种视频处理方法。该方法包括根据规则来执行包括包含一个或多个视频图片的一个或多个视频层的视频和视频的比特流之间的转换，其中该规则指定视频层内的图片被准许参考图片参数集，该图片参数集具有指示是否对对应图片启用图片分割的语法元素的不同值。

在另一个示例方面，公开了另一种视频处理方法。该方法包括根据规则来执行包括包含一个或多个片的一个或多个视频图片的视频和视频的比特流之间的转换，其中该规则指定，响应于指示是否启用跨图片的片的环路滤波的语法元素不存在于图片所参考的图片参数集中，语法元素被推断为具有特定值。

在另一个示例方面，公开了另一种视频处理方法。该方法包括执行包括一个或多个视频层的视频和视频的比特流之间的转换，该一个或多个视频层包括包含一个或多个片和/或一个或多个条带的一个或多个视频图片，其中比特流符合指定响应于以下内容的图片参数集中的一个或多个标志的值的格式规则：满足i)与指示对参考图片参数集的每个图片使用矩形条带模式的具有第一值的第一语法元素和指示参考图片参数集的每个图片中的矩形条带的数量的第二语法元素相关联的第一条件或者ii)与指示每个图片中仅单个条带的第三语法元素相关联的第二条件。

在另一个示例方面，公开了另一种视频处理方法。该方法包括执行包括包含一个或多个视频图片的一个或多个视频层的视频和视频的比特流之间的转换，其中比特流符合格式规则，该格式规则指定指示在具有通用层索引的视频层中使用帧间层预测的第一语法元素控制指示帧间编解码子分割在图片中的应用性的第二语法元素的值。

在另一个示例方面，公开了另一种视频处理方法。该方法包括根据规则来执行包括一个或多个视频层的视频和视频的比特流之间的转换，其中该规则指定，响应于视频层所参考的序列参数集(SPS)中的第一字段的值，SPS所参考的视频参数集中指示比特流中允许的子层的最大数量的第二字段被解释为等于SPS中的第三字段，其中第三字段指示视频层中允许的子层的最大数量。

在又一个示例方面，公开了一种视频编码器装置。视频编码器包括被配置为实施上述方法的处理器。

在又一个示例方面，公开了一种视频解码器装置。视频解码器包括被配置为实施上述方法的处理器。

在又一个示例方面，公开了一种存储有代码的计算机可读介质。该代码以处理器可执行代码的形式体现本文描述的方法之一。

这些以及其他特征将在本文档中描述。

附图说明

图1是示出根据本公开的一些实施例的视频编解码系统的框图。

图2是用于视频处理的示例硬件平台的框图。

图3是视频处理的示例方法的流程图。

图4是示出示例视频编解码系统的框图。

图5是示出根据本公开的一些实施例的编码器的框图。

图6是示出根据本公开的一些实施例的解码器的框图。

图7示出了被分割为12个片和3个光栅扫描条带的、具有18×12个亮度CTU的图片。

图8示出了被分割为24个片和9个矩形条带的、具有18×12个亮度CTU的图片。

图9示出了被分割为4个片和4个矩形条带的图片。

图10示出了被分割为15个片、24个条带和24个子图片的图片。

图11示出了典型的基于子图片的视口依赖360°视频编解码方案。

图12示出了基于子图片和空域可缩放性的改进的视口依赖360°视频编解码方案。

图13A至图13E示出了基于所公开的技术的一些实施方式的视频处理的示例方法的流程图。

图14示出了基于所公开的技术的一些实施方式的视频处理的示例方法的流程图。

具体实施方式

在本文档中使用章节标题以易于理解，并且不将每个章节中公开的技术和实施例的应用性仅限制于该章节。此外，在一些描述中使用H.266技术术语仅仅是为了易于理解，而不是为了限制所公开的技术的范围。因此，本文描述的技术也适用于其他视频编解码器协议和设计。

1.引言

本文档涉及视频处理技术。具体地，它是关于视频参数集(VPS)、图片参数集(PPS)和图片标头(PH)的设计的一些改进。该思想可以单独或以各种组合应用于支持多层视频编解码的任何视频编解码标准或非标准视频编解码器，例如正在开发的多功能视频编解码(VVC)。

2.缩写

APS 自适应参数集

AU 访问单元

AUD 访问单元分隔符

AVC 高级视频编解码

CLVS 编解码层视频序列

CPB 编解码图片缓冲区

CRA 完全随机访问

CTU 编解码树单元

CVS 编解码视频序列

DCI 解码能力信息

DPB 解码图片缓冲区

EOB 比特流结尾

EOS 序列结尾

GDR 逐渐解码刷新

HEVC 高效视频编解码

HRD 假设参考解码器

IDR 即时解码刷新

ILP 帧间层预测

ILRP 帧间层参考图片

JEM 联合探索模型

LTRP 长期参考图片

MCTS 运动约束片集

NAL 网络抽象层

OLS 输出层集

PH 图片标头

PPS 图片参数集

PTL 档次、层和级别

PU 图片单元

RAP 随机访问点

RBSP 原始字节序列有效载荷

SEI 辅助增强信息

SPS 序列参数集

STRP 短期参考图片

SVC 可缩放视频编解码

VCL 视频编解码层

VPS 视频参数集

VTM VVC测试模型

VUI 视频可用性信息

VVC 多功能视频编解码

3.初步讨论

视频编解码标准主要是通过开发公知的ITU-T和ISO/IEC标准而演变的。ITU-T开发了H.261和H.263，ISO/IEC开发了MPEG-1和MPEG-4Visual，并且两个组织联合开发了H.262/MPEG-2视频、H.264/MPEG-4高级视频编解码(Advanced Video Coding，AVC)和H.265/HEVC标准。自H.262以来，视频编解码标准基于混合视频编解码结构，其中采用了时域预测加变换编解码。为探索HEVC之外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索团队(Joint Video Exploration Team，JVET)。从那时起，JVET已经采用了许多新的方法，并将其放入了名为联合探索模型(Joint Exploration Model，JEM)的参考软件中。JVET会议每季度同时举行一次，新编解码标准的目标是与HEVC相比降低50％的比特率。新视频编解码标准在2018年4月的JVET会议上被正式命名为多功能视频编解码(VVC)，第一版VVC测试模型(VTM)也在当时发布。由于对VVC标准化的持续努力，新的编解码技术在每次JVET会议上都被采用到VVC标准中。VVC的工作草案和测试模型VTM在每次会议后都会更新。VVC项目现在的目标是在2020年7月的会议上技术上完成(FDIS)。

3.1.HEVC中的图片分割方案

HEVC包括四种不同的图片分割方案，即常规条带、依赖条带、片和波前并行处理(WPP)，其可以被应用于最大传输单元(MTU)尺寸匹配、并行处理、以及减少的端到端延迟。

常规条带与H.264/AVC中的类似。每个常规条带被封装在其自己的NAL单元中，并且跨条带边界的图片内预测(帧内样点预测、运动信息预测、编解码模式预测)和熵编解码依赖性被禁用。因此，常规条带可以独立于相同图片内的其他常规条带来重构(尽管由于环路滤波操作可能仍然具有相互依赖性)。

常规条带是可以用于并行化的唯一工具，其在H.264/AVC中也以几乎相同的形式可用。基于常规条带的并行化不需要太多的帧间处理器或帧间核通信(除了在对预测编解码图片进行解码时用于运动补偿的帧间处理器或帧间核数据共享，由于图片内预测，这通常比帧间处理器或帧间核数据共享难得多)。然而，出于同样的原因，由于条带标头的比特成本以及缺乏跨条带边界的预测，使用常规条带可能导致大量编解码开销。此外，由于常规条带的图片内独立性以及每个常规条带被封装在它自己的NAL单元中，常规条带(与下面提到的其他工具相比)也充当比特流分割的关键机制，以匹配MTU尺寸要求。在许多情况下，并行化的目标和MTU尺寸匹配的目标对图片中的条带布局提出了矛盾的要求。对这种情况的认识导致了下面提到的并行化工具的开发。

依赖条带具有短的条带标头，并且允许在树块边界处分割比特流，而不打破任何图片内预测。基本上，依赖条带提供将常规条带分段为多个NAL单元，以通过允许常规条带的一部分在整个常规条带的编码完成之前被传送出去来提供减少的端到端延迟。

在WPP中，图片被分割为单行编码树块(CTB)。熵解码和预测被允许使用来自其他分割中的CTB的数据。通过CTB行的并行解码，并行处理是可能的，其中CTB行的解码的开始被延迟了两个CTB，从而确保在主体CTB被解码之前，与主体CTB上方和右侧的CTB有关的数据是可用的。使用这种错列的开始(当以图形表示时，看起来像波前)，利用与图片包含CTB行一样多的处理器/核心，并行化是可能的。因为图片内邻近树块行之间的图片内预测被准许，所以实现图片内预测的所需帧间处理器/帧间核通信可能是大量的。与未应用时相比，WPP分割不会导致产生附加的NAL单元，因此WPP不是用于MTU尺寸匹配的工具。然而，如果需要MTU尺寸匹配，常规条带可以与WPP一起使用，其中有一定的编解码开销。

片定义了将图片分割为片列和行的水平和垂直边界。片列从图片的顶部延伸到图片的底部。同样，片行从图片的左边延伸到图片的右边。图片中的片的数量可以简单地推导为片列的数量乘以片行的数量。

在以图片的片光栅扫描的顺序解码下一个片的左上方CTB之前，CTB的扫描顺序被改变为在片内是局部的(以片的CTB光栅扫描的顺序)。与常规条带类似，片打破了图片内预测依赖性以及熵解码依赖性。然而，它们不需要被包括在单独的NAL单元中(在这方面与WPP相同)；因此，片不能用于MTU尺寸匹配。每个片可以由一个处理器/核心处理，并且解码邻近片的处理单元之间的图片内预测所需的帧间处理器/帧间核通信限于在条带跨越多于一个片的情况下传送共享的条带标头、以及与重构样点和元数据的共享有关的环路滤波。当条带中包括多于一个片或WPP段时，条带中除了第一个之外的每个片或WPP段的入口点字节偏移在条带标头中被信令通知。

为简单起见，已经在HEVC中指定了对四种不同图片分割方案的应用的限制。给定的编解码视频序列不能同时包括HEVC中指定的大部分档次的片和波前。对于每个条带和片，必须满足以下条件中的一个或两个：1)条带中的所有编解码树块属于相同片；2)片中的所有编解码树块属于相同条带。最终，波前段恰好包含一个CTB行，并且当使用WPP时，如果条带从CTB行内开始，则它必须在相同的CTB行中结束。

在2017年10月24日的JCT-VC输出文档JCTVC-AC1005,J.Boyce,A.Ramasubramonian,R.Skupin,G.J.Sullivan,A.Tourapis,Y.-K.Wang(编辑)，“HEVCAdditional Supplemental Enhancement Information(Draft 4)(HEVC附加辅助增强信息(草案4))”中指定了对HEVC的最新修正，在此公开可用：http://phenix.int-evry.fr/jct/doc_end_user/documents/29_Macau/wg11/JCTVC-AC1005-v2.zip。通过包括该修正，HEVC指定了三种MCTS相关的SEI消息，即时域MCTS SEI消息、MCTS提取信息集SEI消息和MCTS提取信息嵌套SEI消息。

时域MCTS SEI消息指示比特流中MCTS的存在，并且信令通知MCTS。对于每个MCTS，运动矢量被限制为指向MCTS内的全样点位置和仅需要MCTS内的全样点位置进行插值的分数样点位置，并且不允许使用从MCTS外的块推导的用于时域运动矢量预测的运动矢量候选。这样，每个MCTS可以被独立解码，而不存在不包括在MCTS中的片。

MCTS提取信息集SEI消息提供了可以在MCTS子比特流提取中使用的辅助信息(被指定为SEI消息的语义的一部分)，以生成MCTS集的一致性比特流。该信息由多个提取信息集组成，每个定义了多个MCTS集，并包含要在MCTS子比特流提取过程期间使用的替换VPS、SPS和PPS的RBSP字节。当根据MCTS子比特流提取过程来提取子比特流时，参数集(VPS、SPS和PPS)需要被重写或替换，条带标头需要稍微更新，因为一个或所有条带地址相关的语法元素(包括first_slice_segment_in_pic_flag和slice_segment_address)通常需要具有不同的值。

3.2.VVC中的图片的分割

在VVC中，图片被分为一个或多个片行和一个或多个片列。片是覆盖图片的矩形区域的CTU序列。片中的CTU在该片内按照光栅扫描顺序被扫描。

条带由整数个完整片或图片的片内的整数个连续的完整CTU行组成。

支持两种条带模式，即光栅扫描条带模式和矩形条带模式。在光栅扫描条带模式下，条带包含图片的片光栅扫描中的完整条带序列。在矩形条带模式下，条带包含共同形成图片的矩形区域的多个完整片，或者共同形成图片的矩形区域的一个片的多个连续的完整CTU行。矩形条带内的片在对应于该条带的矩形区域内按照片光栅扫描顺序被扫描。

子图片包含共同覆盖图片的矩形区域的一个或多个条带。

图7示出了图片的光栅扫描条带分割的示例，其中图片被分为12个片和3个光栅扫描条带。

图8示出了图片的矩形条带分割的示例，其中图片被分为24个片(6个片列和4个片行)和9个矩形条带。

图9示出了被分割为片和矩形条带的图片的示例，其中图片被分为4个片(2个片列和2个片行)和4个矩形条带。

图10示出了图片的子图片分割的示例，其中图片被分割为18个片，左手边的12个片每个覆盖4×4CTU的一个条带，并且右手边的6个片每个覆盖2×2CTU的2个垂直堆叠条带，总共产生24个条带和不同维度的24个子图片(每个条带是子图片)。

3.3.序列内的图片分辨率改变

在AVC和HEVC中，图片的空域分辨率不能改变，除非使用新SPS的新序列以IRAP图片开始。VVC在不编码IRAP图片的位置处启用序列内的图片分辨率改变，该IRAP图片总是被帧内编解码。该特征有时被称为参考图片重采样(RPR)，因为当参考图片具有与正被解码的当前图片不同的分辨率时，该特征需要对用于帧间预测的参考图片的重采样。

缩放比例被限制为大于或等于1/2(从参考图片到当前图片的2倍下采样)、并且小于或等于8(8倍上采样)。指定了具有不同频率截止的三个重采样滤波器集合来处理参考图片和当前图片之间的各种缩放比例。三个重采样滤波器集合分别被应用于范围从1/2到1/1.75、从1/1.75到1/1.25和从1/1.25到8的缩放比例。每个重采样滤波器集合具有用于亮度的16个相位和用于色度的32个相位，这与运动补偿插值滤波器的情况相同。实际上，正常的MC插值过程是重采样过程的特殊情况，其中缩放比例的范围从1/1.25到8。水平和垂直缩放比例是基于图片宽度和高度以及为参考图片和当前图片指定的左、右、顶部和底部缩放偏移来推导的。

支持该特征的VVC设计与HEVC不同的其它方面包括：i)图片分辨率和对应的一致性窗口在PPS中而不是在SPS中被信令通知，而在SPS中，最大图片分辨率被信令通知。ii)对于单层比特流，每个图片存储(DPB中用于存储一个解码图片的变量槽)占用存储具有最大图片分辨率的解码图片所需的缓冲区尺寸。

3.4.一般以及VVC中的可缩放视频编解码(SVC)

可缩放视频编解码(SVC，有时也称为视频编解码中的可缩放性)是指使用基本层(BL)(有时被称为参考层(RL))和一个或多个可缩放增强层(EL)的视频编解码。在SVC中，基本层可以携带具有基本质量水平的视频数据。一个或多个增强层可以携带附加的视频数据，以支持例如更高的空域、时域和/或信噪比(SNR)水平。可以相对于先前编码的层来定义增强层。例如，底部层可以充当BL，而顶部层可以充当EL。中间层可以充当EL或RL，或者充当两者。例如，中间层(例如，既不是最低层也不是最高层的层)可以是中间层下方的层(诸如基本层或任何居间增强层)的EL，并且同时充当中间层上方的一个或多个增强层的RL。类似地，在HEVC标准的多视图或3D扩展中，可以有多个视图，并且一个视图的信息可以用于编解码(例如，编码或解码)另一个视图的信息(例如，运动估计、运动矢量预测和/或其他冗余)。

在SVC中，由编码器或解码器使用的参数基于可以利用它们的编解码级别(例如，视频级别、序列级别、图片级别、条带级别等)被分组为参数集。例如，比特流中不同层的一个或多个编解码视频序列可以利用的参数可以被包括在视频参数集(VPS)中，并且编解码视频序列中的一个或多个图片可以利用的参数可以被包括在序列参数集(SPS)中。类似地，图片中的一个或多个条带利用的参数可以被包括在图片参数集(PPS)中，并且特定于单个条带的其他参数可以被包括在条带标头中。类似地，可以在各种编解码级别提供特定层在给定时间使用哪个(哪些)参数集的指示。

由于VVC中对参考图片重采样(RPR)的支持，可以设计对包含多个层(例如，VVC中具有SD和HD分辨率的两个层)的比特流的支持，而不需要任何附加的信号处理级别编解码工具，因为空域可缩放性支持所需的上采样可以仅使用RPR上采样滤波器。然而，对于可缩放性支持，需要高级别语法改变(与不支持可缩放性相比)。在VVC版本1中指定了可缩放性支持。与任何更早的视频编解码标准(包括AVC和HEVC的扩展)中的可缩放性支持不同，VVC可缩放性的设计已经尽可能对单层解码器设计友好。多层比特流的解码能力以好像比特流中只有单个层的方式被指定。例如，诸如DPB尺寸的解码能力以独立于要被解码的比特流中的层的数量的方式被指定。基本上，为单层比特流设计的解码器不需要太多改变以能够解码多层比特流。与AVC和HEVC的多层扩展的设计相比，HLS方面在牺牲一些灵活性的情况下得到显著简化。例如，要求IRAP AU包含存在于CVS中的每个层的图片。

3.5.参数集

AVC、HEVC和VVC指定了参数集。参数集的类型包括SPS、PPS、APS和VPS。在AVC、HEVC和VVC中的全部中都支持SPS和PPS。VPS从HEVC开始引入，并且被包括在HEVC和VVC中。APS没有被包括在AVC或HEVC中，但是被包括在最新的VVC草案文本中。

SPS被设计为携带序列级别标头信息，并且PPS被设计为携带不频繁改变的图片级别标头信息。利用SPS和PPS，不频繁改变的信息不需要针对每个序列或图片重复，因此可以避免该信息的冗余信令。此外，SPS和PPS的使用实现了重要标头信息的带外传输，因此不仅避免了对冗余传输的需要，还提高了容错性。

引入VPS用于携带对多层比特流中的所有层共同的序列级别标头信息。

引入APS用于携带这样的图片级别或条带级别信息，该信息需要相当多的比特来编解码，可以由多个图片共享，并且在序列中可以有相当多的不同变化。

4.由所公开的技术解决方案解决的技术问题

最新的VVC文本中(JVET-R2001-vA/v10中)的VPS、PPS和PH的现有设计有以下问题：

1)当sps_video_parameter_set_id等于0时，仅有一个层，并且没有VPS被参考。然而，使用了变量TotalNumOlss、NumLayersInOls[0]和LayerIdInOls[0][0]的值，但未对其进行定义。

2)当sps_video_parameter_set_id等于0时，vps_max_sublayers_minus1的值被推断为等于6。然而，在这种情况下，将其推断为等于sps_max_sublayers_minus1会更有意义，这将在sps_video_parameter_set_id等于0时实现vps_max_sublayers_minus1的更优使用。

3)在最新的VVC文本中，要求pps_no_pic_partition_flag的值对于CLVS内的编解码图片所参考的所有PPS应当是相同的。当pps_no_pic_partition_flag等于1时，参考PPS的每个图片仅具有每个片、条带和子图片中的一个。然而，应该允许编码器对于CLVS中的一些图片仅具有一个片或条带，并且对于相同CLVS中的其他图片具有多个片或条带。因此，移除该约束更有意义。

4)在最新的VVC文本中，当不存在时，pps_loop_filter_across_tiles_enabled_flag的值被推断为等于1。这与sps_loop_filter_across_subpic_enabled_pic_flag[i]和pps_loop_filter_across_slices_enabled_flag的推断相比，显得有些奇怪。当pps_no_pic_partition_flag等于1或者NumTilesInPic等于1时，pps_loop_filter_across_tiles_enabled_flag不存在。在这两种情况中的任何一种情况下，每图片仅有一个片，因此片边界是图片边界，并且没有跨图片边界的环路滤波。因此，在不存在时将pps_loop_filter_across_tiles_enabled_flag的值推断为等于0更有意义。

5)当pps_rect_slice_flag等于1并且pps_num_slices_in_pic_minus1等于0时，参考PPS的每个图片中仅有一个条带。在这种情况下，当6个PPS标志pps_alf_info_in_ph_flag、pps_rpl_info_in_ph_flag、pps_dbf_info_in_ph_flag、pps_sao_info_in_ph_flag、pps_wp_info_in_ph_flag和pps_qp_delta_info_in_ph_flag中的任何一个存在时，要求其值等于0是有意义的，有以下好处：

a.更好地与当pps_no_pic_partition_flag等于1时值为0的推断对齐。

b.在pps_rpl_info_in_ph_flag或pps_wp_info_in_ph_flag的情况下的更优语法。

c.对于pps_alf_info_in_ph_flag的情况，使得ALF能够用于应用不同子图片的独立并行编码的用例，该不同子图片在编码之前被划分为各自包含一个子图片的单独的VVC比特流，并稍后合并为一个VVC比特流，其中每个图片包含多个子图片。在该用例中，每个这样的单独比特流每图片包含一个条带/子图片，但是PH不在SH中，使得当合并每个图片的PH和SH时不需要重写。

6)当vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]对于图片等于0时，包含该图片的层不是独立层，并且具有至少一个参考层。对于这样的图片，即使当它是IRAP图片时，自然也应该允许帧间层预测。因此，要求当vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]等于0时，PH语法元素ph_inter_slice_allowed_flag的值等于1是有意义的。

5.技术解决方案和实施例的示例

为了解决以上问题和其他问题，公开了如下总结的方法。这些项应该被认为是解释一般概念的示例，而不应该以狭隘的方式进行解释。此外，这些项可以被单独应用或者以任何方式组合。

1)为了解决问题1，当sps_video_parameter_set_id等于0时，TotalNumOlss和NumLayersInOls[0]的值都被设置为等于1，并且LayerIdInOls[0][0]的值被设置为等于CVS中的层的nuh_layer_id。

2)为了解决问题2，当sps_video_parameter_set_id等于0时，将vps_max_sublayers_minus1的值推断为等于sps_max_sublayers_minus1。

a.此外，可替代地，指定sps_max_sublayers_minus1的值应当在0到6的范围(包括0和6)内，并且应当不大于vps_max_sublayers_minus1。

3)为了解决问题3，允许pps_no_pic_partition_flag的值对于CLVS内的编解码图片所参考的不同PPS是不同的。

4)为了解决问题4，当不存在时，将pps_loop_filter_across_tiles_enabled_flag的值推断为等于0。

5)为了解决问题5，当pps_rect_slice_flag等于1并且pps_num_slices_in_pic_minus1等于0时，要求6个PPS标志pps_alf_info_in_ph_flag、pps_rpl_info_in_ph_flag、pps_dbf_info_in_ph_flag、pps_sao_info_in_ph_flag、pps_wp_info_in_ph_flag和pps_qp_delta_info_in_ph_flag都等于0。

a.可替代地，当pps_rect_slice_flag等于1并且pps_num_slices_in_pic_minus1等于0时，或者当one_slice_per_pic_constraint_flag等于1时，要求6个PPS标志pps_alf_info_in_ph_flag、pps_rpl_info_in_ph_flag、pps_dbf_info_in_ph_flag、pps_sao_info_in_ph_flag、pps_wp_info_in_ph_flag和pps_qp_delta_info_in_ph_flag都等于0。

b.可替代地，当one_slice_per_pic_constraint_flag等于1时，要求6个PPS标志pps_alf_info_in_ph_flag、pps_rpl_info_in_ph_flag、pps_dbf_info_in_ph_flag、pps_sao_info_in_ph_flag、pps_wp_info_in_ph_flag和pps_qp_delta_info_in_ph_flag都等于0。

c.可替代地，当pps_rect_slice_flag等于1并且pps_num_slices_in_pic_minus1等于0时，6个PPS标志pps_alf_info_in_ph_flag、pps_rpl_info_in_ph_flag、pps_dbf_info_in_ph_flag、pps_sao_info_in_ph_flag、pps_wp_info_in_ph_flag和pps_qp_delta_info_in_ph_flag都被跳过并被推断为等于0。

d.可替代地，当pps_rect_slice_flag等于1并且pps_num_slices_in_pic_minus1等于0时，或者当one_slice_per_pic_constraint_flag等于1时，6个PPS标志pps_alf_info_in_ph_flag、pps_rpl_info_in_ph_flag、pps_dbf_info_in_ph_flag、pps_sao_info_in_ph_flag、pps_wp_info_in_ph_flag和pps_qp_delta_info_in_ph_flag都被跳过并被推断为等于0。

e.可替代地，当one_slice_per_pic_constraint_flag等于1时，6个PPS标志pps_alf_info_in_ph_flag、pps_rpl_info_in_ph_flag、pps_dbf_info_in_ph_flag、pps_sao_info_in_ph_flag、pps_wp_info_in_ph_flag和pps_qp_delta_info_in_ph_flag都被跳过并被推断为等于0。

6)为了解决问题6，将ph_inter_slice_allowed_flag以if(vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]])为条件，并且在不存在时将该值推断为1。

a.可替代地，约束当vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]等于0时，ph_inter_slice_allowed_flag的值应当等于1。

6.实施例

6.1.第一实施例

该实施例针对第1、2、2a、3、4、5和6a项。

7.4.3.3序列参数集RBSP语义

...

sps_video_parameter_set_id在大于0时指定SPS所参考的VPS的vps_video_parameter_set_id的值。

当sps_video_parameter_set_id等于0时，以下适用：

–SPS不参考VPS，并且当对参考SPS的每个CLVS进行解码时，没有VPS被参考。

–vps_max_layers_minus1的值被推断为等于0。

–[[vps_max_sublayers_minus1的值被推断为等于6。]]

–CVS应当仅包含一个层(即，CVS中的所有VCL NAL单元应当具有nuh_layer_id的相同值)。

–GeneralLayerIdx[nuh_layer_id]的值被[[推断为]]

等于0。

–vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]的值被推断为等于1。

当vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]等于1时，具有特定nuh_layer_id值nuhLayerId的CLVS所参考的SPS应当具有等于nuhLayerId的nuh_layer_id。

sps_video_parameter_set_id的值在CVS中的CLVS所参考的所有SPS中应当是相同的。

sps_max_sublayers_minus1加1指定可以存在于参考SPS的每个CLVS中的时域子层的最大数量。sps_max_sublayers_minus1的值应当在0到[[vps_max_sublayers_minus1的范围(包括0和vps_max_sublayers_minus1)内]]

...

7.4.3.4图片参数集RBSP语义

...

pps_no_pic_partition_flag等于1指定没有图片分割被应用于参考PPS的每个图片。pps_no_pic_partition_flag等于0指定参考PPS的每个图片可以被分割为多于一个片或条带。

[[比特流一致性的要求是pps_no_pic_partition_flag的值对于CLVS内的编解码图片所参考的所有PPS应当是相同的。]]

当sps_num_subpics_minus1大于0或者pps_mixed_nalu_types_in_pic_flag等于1时，pps_no_pic_partition_flag的值应当等于0。

...

pps_loop_filter_across_tiles_enabled_flag等于1指定跨片边界的环路滤波操作被启用，并且可以跨参考PPS的图片中的片边界来执行。pps_loop_filter_across_tiles_enabled_flag等于0指定跨片边界的环路滤波操作被禁用，并且不跨参考PPS的图片中的片边界执行。环路滤波操作包括去方块滤波器、样点自适应偏移滤波器和自适应环路滤波器操作。当不存在时，pps_loop_filter_across_tiles_enabled_flag的值被推断为[[等于1]]

...

pps_dbf_info_in_ph_flag等于1指定去方块滤波器信息存在于PH语法结构中，并且不存在于不包含PH语法结构的参考PPS的条带标头中。pps_dbf_info_in_ph_flag等于0指定去方块滤波器信息不存在于PH语法结构中，并且可以存在于参考PPS的条带标头中。当不存在时，pps_dbf_info_in_ph_flag的值被推断为等于0。

...

pps_rpl_info_in_ph_flag等于1指定参考图片列表信息存在于PH语法结构中，并且不存在于不包含PH语法结构的参考PPS的条带标头中。pps_rpl_info_in_ph_flag等于0指定参考图片列表信息不存在于PH语法结构中，并且可以存在于参考PPS的条带标头中。当不存在时，pps_rpl_info_in_ph_flag的值被推断为等于0。

pps_sao_info_in_ph_flag等于1指定SAO滤波器信息存在于PH语法结构中，并且不存在于不包含PH语法结构的参考PPS的条带标头中。pps_sao_info_in_ph_flag等于0指定SAO滤波器信息不存在于PH语法结构中，并且可以存在于参考PPS的条带标头中。当不存在时，pps_sao_info_in_ph_flag的值被推断为等于0。

pps_alf_info_in_ph_flag等于1指定ALF信息存在于PH语法结构中，并且不存在于不包含PH语法结构的参考PPS的条带标头中。pps_alf_info_in_ph_flag等于0指定ALF信息不存在于PH语法结构中，并且可以存在于参考PPS的条带标头中。当不存在时，pps_alf_info_in_ph_flag的值被推断为等于0。

pps_wp_info_in_ph_flag等于1指定加权预测信息可以存在于PH语法结构中，并且不存在于不包含PH语法结构的参考PPS的条带标头中。pps_wp_info_in_ph_flag等于0指定加权预测信息不存在于PH语法结构中，并且可以存在于参考PPS的条带标头中。当不存在时，pps_wp_info_in_ph_flag的值被推断为等于0。

pps_qp_delta_info_in_ph_flag等于1指定QP增量信息存在于PH语法结构中，并且不存在于不包含PH语法结构的参考PPS的条带标头中。pps_qp_delta_info_in_ph_flag等于0指定QP增量信息不存在于PH语法结构中，并且存在于参考PPS的条带标头中。当不存在时，pps_qp_delta_info_in_ph_flag的值被推断为等于0。

...

7.4.3.7图片标头结构语义

...

ph_inter_slice_allowed_flag等于0指定图片的所有编解码条带具有等于2的sh_slice_type。ph_inter_slice_allowed_flag等于1指定图片中可以有或者可以没有具有等于0或1的sh_slice_type的一个或多个编解码条带。

当ph_gdr_or_irap_pic_flag等于1，ph_gdr_pic_flag等于0(即，图片是IRAP图片)，并且vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]等于1时，ph_inter_slice_allowed_flag的值应当等于0。

ph_intra_slice_allowed_flag等于0指定图片的所有编解码条带具有等于0或1的sh_slice_type。ph_intra_slice_allowed_flag等于1指定图片中可以有或者可以没有具有等于2的sh_slice_type的一个或多个编解码条带。当不存在时，ph_intra_slice_allowed_flag的值被推断为等于1。

注2–对于预期进行基于子图片的比特流合并而无需改变PH NAL单元的比特流，期望编码器将ph_inter_slice_allowed_flag和ph_intra_slice_allowed_flag的值都设置为等于1。

...

图1是示出可以在其中实施本文公开的各种技术的示例视频处理系统1900的框图。各种实施方式可以包括系统1900的一些或所有组件。系统1900可以包括用于接收视频内容的输入1902。视频内容可以以例如8或10比特多分量像素值的原始或未压缩格式而接收，或者可以是压缩或编码格式。输入1902可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等的有线接口和诸如Wi-Fi或蜂窝接口的无线接口。

系统1900可以包括可以实施本文档中描述的各种编解码或编码方法的编解码组件1904。编解码组件1904可以将来自输入1902的视频的平均比特率减小到编解码组件1904的输出，以产生视频的编解码表示。编解码技术因此有时被称为视频压缩或视频转码技术。编解码组件1904的输出可以被存储，或者经由如组件1906所表示的通信连接来发送。在输入1902处接收的视频的存储或通信传送的比特流(或编解码)表示可以由组件1908用于生成像素值或传送到显示接口1910的可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是将理解，编解码工具或操作在编码器处被使用，并且反转编解码结果的对应的解码工具或操作将由解码器执行。

外围总线接口或显示接口的示例可以包括通用串行总线(USB)、或高清晰度多媒体接口(HDMI)、或显示端口(Displayport)等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以体现在各种电子设备中，诸如移动电话、膝上型电脑、智能电话、或能够执行数字数据处理和/或视频显示的其他设备。

图2是视频处理装置3600的框图。装置3600可以用于实施本文描述的一种或多种方法。装置3600可以体现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置3600可以包括一个或多个处理器3602、一个或多个存储器3604和视频处理硬件3606。(多个)处理器3602可以被配置为实施本文档中描述的一种或多种方法。存储器(多个存储器)3604可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件3606可以用于在硬件电路系统中实施本文档中描述的一些技术。

图4是示出可以利用本公开的技术的示例视频编解码系统100的框图。

如图4所示，视频编解码系统100可以包括源设备110和目标设备120。源设备110生成编码视频数据，其中该源设备110可以被称为视频编码设备。目标设备120可以解码由源设备110生成的编码视频数据，其中该目标设备120可以被称为视频解码设备。

源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。

视频源112可以包括源，诸如视频捕捉设备、从视频内容提供器接收视频数据的接口、和/或用于生成视频数据的计算机图形系统、或这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码，以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关数据。编解码图片是图片的编解码表示。相关数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发送器。编码视频数据可以通过网络130a经由I/O接口116直接发送到目标设备120。编码视频数据也可以存储在存储介质/服务器130b上，以供目标设备120访问。

目标设备120可以包括I/O接口126、视频解码器124和显示设备122。

I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取编码视频数据。视频解码器124可以对编码视频数据进行解码。显示设备122可以向用户显示解码视频数据。显示设备122可以与目标设备120集成，或者可以在被配置为与外部显示设备接口的目标设备120的外部。

视频编码器114和视频解码器124可以根据视频压缩标准进行操作，例如高效视频编解码(HEVC)标准、多功能视频编解码(VVM)标准和其他当前和/或另外的标准。

图5是示出视频编码器200的示例的框图，该视频编码器200可以是图4所示的系统100中的视频编码器114。

视频编码器200可以被配置为执行本公开的任何或所有技术。在图5的示例中，视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

视频编码器200的功能组件可以包括分割单元201、预测单元202(其可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206)、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲区213和熵编码单元214。

在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在示例中，预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以执行IBC模式下的预测，其中至少一个参考图片是当前视频块所在的图片。

此外，诸如运动估计单元204和运动补偿单元205的一些组件可以高度集成，但是出于解释的目的，在图9的示例中被单独表示。

分割单元201可以将图片分割为一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。

模式选择单元203可以基于误差结果选择编解码模式(例如，帧内或帧间)之一，并且将作为结果的帧内编解码块或帧间编解码块提供给残差生成单元207以生成残差块数据，以及提供给重构单元212以重构编码块以用作参考图片。在一些示例中，模式选择单元203可以选择帧内和帧间预测模式的组合(CIIP)，其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元203还可以选择块的运动矢量的分辨率(例如，子像素或整数像素精度)。

为了对当前视频块执行帧间预测，运动估计单元204可以通过将来自缓冲区213的一个或多个参考帧与当前视频块进行比较，来生成当前视频块的运动信息。运动补偿单元205可以基于运动信息和来自缓冲区213的除了与当前视频块相关联的图片之外的图片的解码样点，来确定当前视频块的预测视频块。

运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作，例如，依赖于当前视频块是在I条带、P条带还是B条带中。

在一些示例中，运动估计单元204可以对当前视频块执行单向预测，并且运动估计单元204可以为当前视频块的参考视频块搜索列表0或列表1的参考图片。运动估计单元204然后可以生成指示列表0或列表1中的参考图片的参考索引，该参考索引包含参考视频块和指示当前视频块和参考视频块之间的空域位移的运动矢量。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。

在其他示例中，运动估计单元204可以对当前视频块执行双向预测，运动估计单元204可以在列表0中的参考图片中搜索当前视频块的参考视频块，并且还可以在列表1中搜索当前视频块的另一个参考视频块。运动估计单元204然后可以生成参考索引，该参考索引指示包含参考视频块的列表0和列表1中的参考图片以及指示参考视频块和当前视频块之间的空域位移的运动矢量。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。

在一些示例中，运动估计单元204可以输出完整的运动信息集，以用于解码器的解码处理。

在一些示例中，运动估计单元204可以不输出当前视频的完整的运动信息集。而是运动估计单元204可以参考另一个视频块的运动信息信令通知当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与邻近视频块的运动信息足够相似。

在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中指示值，该值向视频解码器300指示当前视频块具有与另一个视频块相同的运动信息。

在另一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量和所指示的视频块的运动矢量之间的差。视频解码器300可以使用所指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。

如上所讨论的，视频编码器200可以预测性地信令通知运动矢量。可以由视频编码器200实施的预测信令通知技术的两个示例包括高级运动矢量预测(AMVP)和Merge模式信令通知。

帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时，帧内预测单元206可以基于相同图片中的其他视频块的解码样点来生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。

残差生成单元207可以通过从当前视频块中减去(例如，由减号指示)当前视频块的(多个)预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括与当前视频块中样点的不同样点分量相对应的残差视频块。

在其他示例中，例如在跳过模式下，对于当前视频块可能没有残差数据，并且残差生成单元207可能不执行减去操作。

变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块来为当前视频块生成一个或多个变换系数视频块。

在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。

逆量化单元210和逆变换单元211可以分别对变换系数视频块应用逆量化和逆变换，以从变换系数视频块重构残差视频块。重构单元212可以将重构后的残差视频块添加到来自预测单元202生成的一个或多个预测视频块的对应样点，以产生与当前块相关联的重构视频块，用于存储在缓冲区213中。

在重构单元212重构视频块之后，可以执行环路滤波操作，以减少视频块中的视频块效应。

熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收到数据时，熵编码单元214可以执行一个或多个熵编码操作，以生成熵编码数据，并输出包括该熵编码数据的比特流。

图6是示出视频解码器300的示例的框图，该视频解码器300可以是图4所示的系统100中的视频解码器114。

视频解码器300可以被配置为执行本公开的任何或所有技术。在图5的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

在图6的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、重构单元306和缓冲区307。在一些示例中，视频解码器300可以执行通常与针对视频编码器200(图5)描述的编码过程相反的解码过程。

熵解码单元301可以检索编码比特流。编码比特流可以包括熵编解码的视频数据(例如，视频数据的编码块)。熵解码单元301可以对熵编解码的视频数据进行解码，并且从熵解码的视频数据中，运动补偿单元302可以确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。运动补偿单元302可以例如通过执行AMVP和Merge模式来确定这样的信息。

运动补偿单元302可以产生运动补偿块，可以基于插值滤波器执行插值。要以子像素精度使用的插值滤波器的标识符可以包括在语法元素中。

运动补偿单元302可以使用如视频编码器200在视频块的编码期间所使用的插值滤波器来计算参考块的子整数像素的插值。运动补偿单元302可以根据所接收的语法信息确定视频编码器200使用的插值滤波器，并使用该插值滤波器来产生预测块。

运动补偿单元302可以使用一些语法信息来确定用于对编码视频序列的(多个)帧和/或(多个)条带进行编码的块的尺寸、描述编码视频序列的图片的每个宏块如何被分割的分割信息、指示每个分割如何被编码的模式、每个帧间编码块的一个或多个参考帧(和参考帧列表)、以及用于对编码视频序列进行解码的其他信息。

帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空域上相邻的块形成预测块。逆量化单元303对在比特流中提供并由熵解码单元301解码的量化后的视频块系数进行逆量化，即，反量化。逆变换单元303应用逆变换。

重构单元306可以将残差块与由运动补偿单元202或帧内预测单元303生成的对应预测块相加，以形成解码块。如果需要，还可以应用去方块滤波器对解码块进行滤波，以便移除块效应。解码视频块然后被存储在缓冲区307中，为随后的运动补偿/帧内预测提供参考块，并且还产生解码视频以在显示设备上呈现。

解决方案的列表描述了所公开的技术的一些实施例。

接下来提供第一解决方案集合。以下解决方案示出了在前一节(例如，第1、2项)中讨论的技术的示例实施例。

1.一种视频处理的方法(例如，图3中的方法600)，包括执行包括包含一个或多个视频图片的一个或多个视频层的视频和视频的编解码表示之间的转换(602)，其中编解码表示符合指定指示视频参数集的标识符的第一语法元素和编解码表示中的第二语法元素之间的关系的格式规则。

2.根据解决方案1所述的方法，其中，第二语法元素指示编解码表示中的输出层集的数量。

3.根据解决方案1-2中任一项所述的方法，其中，第二语法元素指示编解码表示中的输出层集的总数。

4.根据解决方案1-3中任一项所述的方法，其中，第二语法元素指示参考给定视频参数集的视频的子层的最大数量，并且其中格式规则指定第二语法元素具有等于参考序列参数集的视频的子层的总数的值。

以下解决方案示出了在前一节(例如，第3-4项)中讨论的技术的示例实施例。

5.一种视频处理的方法，包括：执行包括包含一个或多个视频图片的一个或多个视频层的视频和视频的编解码表示之间的转换，其中编解码表示符合准许编解码表示中多个图片参数集(PPS)的使用的格式规则，并且格式规则还准许编解码表示中的PPS指定是否独立于其他PPS针对参考图片准许图片分割。

以下解决方案示出了在前一节(例如，第5项)中讨论的技术的示例实施例。

6.一种视频处理的方法，包括：执行包括一个或多个视频层的视频和视频的编解码表示之间的转换，该一个或多个视频层包括包含一个或多个片和/或一个或多个条带的一个或多个视频图片，其中编解码表示符合指定指示条带中的片是否按照光栅扫描顺序的第一语法元素控制第二语法元素的值的格式规则。

7.根据解决方案6所述的方法，其中，第二语法元素包括图片参数集中包括的一个或多个标志。

8.根据解决方案7所述的方法，其中，一个或多个标志包括指示自适应环路滤波器的存在的标志、指示参考图片列表的标志、指示样点自适应偏移操作的标志或者指示量化参数差字段的标志。

9.根据解决方案1-8中任一项所述的方法，其中，该转换包括对编解码表示进行解析和解码以生成视频。

10.根据解决方案1-8中任一项所述的方法，其中，该转换包括对视频进行编码以生成编解码表示。

11.一种视频解码装置，包括被配置为实施根据解决方案1至10中的一项或多项所述的方法的处理器。

12.一种视频编码装置，包括被配置为实施根据解决方案1至10中的一项或多项所述的方法的处理器。

第二解决方案集合示出了在前一节(例如，第1和3-6项)中讨论的技术的示例实施例。

1.一种视频处理的方法(例如，如图13A所示的方法1300)，包括：执行包括包含一个或多个视频图片的一个或多个视频层的视频和视频的比特流之间的转换1302，其中比特流符合指定指示视频层所参考的视频参数集的标识符的语法元素和比特流的字段之间的关系的格式规则。

2.根据解决方案1所述的方法，其中，字段是指示比特流中的输出层集的总数的对应语法元素或变量。

3.根据解决方案1所述的方法，其中，字段是指示由视频参数集指定的输出层集的总数的变量。

4.根据解决方案1所述的方法，其中，字段是指示比特流中的第一输出层集中的层的数量的对应语法元素或变量。

5.根据解决方案1-4中任一项所述的方法，其中，格式规则指定，在语法元素具有第一值的情况下，字段的值被设置为等于不同于第一值的第二值。

6.根据解决方案5所述的方法，其中，第一值为0，并且第二值为1。

7.根据解决方案2-4中任一项所述的方法，其中，格式规则指定，在语法元素的值指示标识符为0的情况下，比特流中的输出层集的总数和第一输出层集中的层的数量等于1。

8.根据解决方案1所述的方法，其中，字段是指示第一输出层集中的第一层的层标识符的语法元素或变量，并且其中格式规则指定将字段设置为等于编解码视频序列中的层的NAL(网络抽象层)单元标头标识符(nuh_layer_id)。

9.根据解决方案1所述的方法，其中，字段指示参考给定视频参数集的视频的子层的最大数量，并且其中格式规则指定将字段设置为等于参考序列参数集的视频的子层的总数。

10.一种视频处理的方法(例如，如图13B所示的方法1310)，包括：根据规则来执行包括包含一个或多个视频图片的一个或多个视频层的视频和视频的比特流之间的转换1312，其中该规则指定视频层内的图片被准许参考图片参数集，该图片参数集具有指示是否对对应图片启用图片分割的语法元素的不同值。

11.根据解决方案10所述的方法，其中，语法元素等于第一值指定没有图片分割被应用于参考图片参数集的每个图片。

12.根据解决方案10所述的方法，其中，语法元素等于第二值指定参考对应图片参数集的每个图片被允许分割为多于一个片或条带。

13.一种视频处理的方法(例如，如图13C所示的方法1320)，包括：根据规则来执行包括包含一个或多个片的一个或多个视频图片的视频和视频的比特流之间的转换1322，其中该规则指定，响应于指示是否启用跨图片的片的环路滤波的语法元素不存在于图片所参考的图片参数集中，语法元素被推断为具有特定值。

14.根据解决方案13所述的方法，其中，特定值为0。

15.根据解决方案13或14所述的方法，其中，语法元素等于0指定对参考图片参数集的图片禁用跨图片的片的环路滤波操作。

16.一种视频处理的方法(例如，如图13D所示的方法1330)，包括：执行包括一个或多个视频层的视频和视频的比特流之间的转换，该一个或多个视频层包括包含一个或多个片和/或一个或多个条带的一个或多个视频图片1332，其中比特流符合指定响应于以下内容的图片参数集中的一个或多个标志的值的格式规则：满足i)与指示对参考图片参数集的每个图片使用矩形条带模式的具有第一值的第一语法元素和指示参考图片参数集的每个图片中的矩形条带的数量的第二语法元素相关联的第一条件或者ii)与指示每个图片中仅单个条带的第三语法元素相关联的第二条件。

17.根据解决方案16所述的方法，其中，一个或多个标志包括指示图片标头语法结构中自适应环路滤波器信息的存在的第一标志、指示图片标头语法结构中参考图片列表信息的存在的第二标志、指示图片标头语法结构中去方块滤波器信息的存在的第三标志、指示图片标头语法结构中样点自适应偏移滤波器信息的存在的第四标志、指示图片标头语法结构中加权预测信息的存在的第五标志、和/或指示图片标头语法结构中量化参数增量信息差的存在的第六标志。

18.根据解决方案16所述的方法，其中，在第一语法元素等于1并且第二语法元素等于0的情况下，满足第一条件。

19.根据解决方案16或17所述的方法，其中，第一语法元素等于1指定矩形条带模式用于参考图片参数集的每个图片。

20.根据解决方案16或17所述的方法，其中，第二语法元素等于0指定没有图片分割被应用于参考图片参数集的每个图片。

21.根据解决方案16所述的方法，其中，在第三语法元素等于1的情况下，满足第二条件。

22.根据解决方案16所述的方法，其中，第三语法元素等于1指定每个图片包含单个条带。

23.根据解决方案16所述的方法，其中，格式规则指定，在满足第一条件或第二条件时，要求一个或多个标志都等于0。

24.根据解决方案16所述的方法，其中，格式规则指定，在满足第一条件或第二条件时，一个或多个标志都被跳过并被推断为等于0。

25.一种视频处理的方法(例如，如图13E所示的方法1340)，包括：执行包括包含一个或多个视频图片的一个或多个视频层的视频和视频的比特流之间的转换1342，其中比特流符合格式规则，该格式规则指定指示在具有通用层索引的视频层中使用帧间层预测的第一语法元素控制指示帧间编解码子分割在图片中的应用性的第二语法元素的值。

26.根据解决方案25所述的方法，其中，格式规则要求，在第一语法元素等于0的情况下，第二语法元素的值等于1。

27.根据解决方案26所述的方法，其中，格式规则指定，在第一语法元素不存在的情况下，第二语法元素的值等于1。

28.根据解决方案25-27中任一项所述的方法，其中，第二语法元素等于1指定图片中具有等于0或1的条带类型的一个或多个编解码条带的可能存在。

29.根据解决方案25-28中任一项所述的方法，其中，视频层的通用层索引等于NAL(网络抽象层)单元标头标识符。

30.根据解决方案1至29中任一项所述的方法，其中，该转换包括将视频编码为比特流。

31.根据解决方案1至29中任一项所述的方法，其中，该转换包括从比特流解码视频。

32.根据解决方案1至29中任一项所述的方法，其中，该转换包括从视频生成比特流，并且该方法还包括：将比特流存储在非暂时性计算机可读记录介质中。

33.一种视频处理装置，包括被配置为实施根据解决方案1至32中任一项或多项所述的方法的处理器。

34.一种存储视频的比特流的方法，包括根据解决方案1至32中任一项所述的方法，并且还包括将比特流存储到非暂时性计算机可读记录介质。

35.一种存储程序代码的计算机可读介质，该程序代码在被执行时使得处理器实施根据解决方案1至32中任一项或多项所述的方法。

36.一种计算机可读介质，存储根据上述方法中的任一项而生成的比特流。

37.一种用于存储比特流表示的视频处理装置，其中该视频处理装置被配置为实施根据解决方案1至32中任一项或多项所述的方法。

第三解决方案集合示出了在前一节(例如，第2项)中讨论的技术的示例实施例。

1.一种视频处理的方法(例如，如图14所示的方法1400)，包括：根据规则来执行包括一个或多个视频层的视频和视频的比特流之间的转换1402，其中该规则指定，响应于视频层所参考的序列参数集(SPS)中的第一字段的值，SPS所参考的视频参数集中指示比特流中允许的子层的最大数量的第二字段被解释为等于SPS中的第三字段，其中第三字段指示视频层中允许的子层的最大数量。

2.根据解决方案1所述的方法，其中，第一字段是视频参数集的标识符。

3.根据解决方案1或2所述的方法，其中，第一字段的值等于0。

4.根据解决方案1或2所述的方法，其中，该规则还指定，响应于第一字段的值，第三字段的值在0到6的范围内，该范围包括0和6。

5.根据解决方案3或4所述的方法，其中，第一字段具有该值指示序列参数集不参考任何视频序列参数集。

6.根据解决方案1或2所述的方法，其中，该规则还指定，响应于第一字段大于0，第三字段的值在0到第二字段的值的范围内。

7.根据解决方案1或2所述的方法，其中，该规则指定，响应于第一字段的值，第三字段的值在0到6的范围内，但不大于第二字段的值。

8.根据解决方案1至7中任一项所述的方法，其中，该转换包括将视频编码为比特流。

9.根据解决方案1至7中任一项所述的方法，其中，该转换包括从比特流解码视频。

10.根据解决方案1至7中任一项所述的方法，其中，该转换包括从视频生成比特流，并且该方法还包括：将比特流存储在非暂时性计算机可读记录介质中。

11.一种视频处理装置，包括被配置为实施根据解决方案1至10中任一项或多项所述的方法的处理器。

12.一种存储视频的比特流的方法，包括根据解决方案1至10中任一项所述的方法，并且还包括将比特流存储到非暂时性计算机可读记录介质。

13.一种存储程序代码的计算机可读介质，该程序代码在被执行时使得处理器实施根据解决方案1至10中任一项或多项所述的方法。

14.一种计算机可读介质，存储根据上述方法中的任一项而生成的比特流。

15.一种用于存储比特流表示的视频处理装置，其中该视频处理装置被配置为实施根据解决方案1至10中任一项或多项所述的方法。

本文档中描述的所公开的以及其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路中、或者在计算机软件、固件或硬件(包括本文档中公开的结构及其结构等同物)中、或者在它们中的一个或多个的组合中被实施。所公开的以及其他实施例可以被实施为一个或多个计算机程序产品，即在计算机可读介质上编码的计算机程序指令的一个或多个模块，该计算机程序指令用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质的组合、或它们中的一个或多个的组合。术语“数据处理装置”包含用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机、或多个处理器或计算机。除了硬件之外，装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一个或多个的组合的代码。传播信号是被生成以对信息进行编码以用于发送到合适的接收器装置的人工生成的信号，例如机器生成的电信号、光学信号或电磁信号。

计算机程序(也已知为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写，并且其可以以任何形式部署，包括作为独立程序或作为适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中，存储在专用于所讨论的程序的单个文件中，或存储在多个协调文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署为在一个计算机上或在位于一个站点上或跨多个站点分布并通过通信网络互连的多个计算机上执行。

本文档书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行，并且装置也可以被实施为专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

适合于执行计算机程序的处理器包括例如通用和专用微处理器、以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)，或可操作地耦合以从该一个或多个大容量存储设备接收数据或向该一个或多个大容量存储设备传递数据、或者从其接收数据并向其传递数据。然而，计算机不需要这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可换式盘；磁光盘；以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。

虽然本专利文档包含许多细节，但这些细节不应被解释为对任何主题或可能要求保护的范围的限制，而是作为指定于特定技术的特定实施例的特征的描述。在本专利文档中在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以单独在多个实施例中或以任何合适的子组合实施。此外，尽管特征可以在上面描述为以某些组合起作用并且甚至最初如此要求保护，但是在一些情况下可以从组合排除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变化。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为需要以所示的特定顺序或以先后顺序执行这样的操作或者执行所有示出的操作以实现期望的结果。此外，在本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这样的分离。

仅描述了一些实施方式和示例，并且可以基于本专利文档中描述和示出的内容来进行其他实施方式、增强和变化。

Claims

1.一种视频处理的方法，包括：

执行包括包含一个或多个视频图片的一个或多个视频层的视频和所述视频的比特流之间的转换，

其中，所述比特流符合指定指示视频层所参考的视频参数集的标识符的语法元素和所述比特流的字段之间的关系的格式规则。

2.根据权利要求1所述的方法，其中，所述字段是指示所述比特流中的输出层集的总数的对应语法元素或变量。

3.根据权利要求1所述的方法，其中，所述字段是指示由所述视频参数集指定的输出层集的总数的变量。

4.根据权利要求1所述的方法，其中，所述字段是指示所述比特流中的第一输出层集中的层的数量的对应语法元素或变量。

5.根据权利要求1-4中任一项所述的方法，其中，所述格式规则指定，在所述语法元素具有第一值的情况下，所述字段的值被设置为等于不同于所述第一值的第二值。

6.根据权利要求5所述的方法，其中，所述第一值为0，并且所述第二值为1。

7.根据权利要求2-4中任一项所述的方法，其中，所述格式规则指定，在所述语法元素的值指示所述标识符为0的情况下，所述比特流中的输出层集的总数和所述第一输出层集中的层的数量等于1。

8.根据权利要求1所述的方法，其中，所述字段是指示第一输出层集中的第一层的层标识符的语法元素或变量，并且其中所述格式规则指定将所述字段设置为等于编解码视频序列中的层的NAL(网络抽象层)单元标头标识符(nuh_layer_id)。

9.根据权利要求1所述的方法，其中，所述字段指示参考给定视频参数集的视频的子层的最大数量，并且其中所述格式规则指定将所述字段设置为等于参考序列参数集的视频的子层的总数。

10.一种视频处理的方法，包括：

根据规则来执行包括包含一个或多个视频图片的一个或多个视频层的视频和所述视频的比特流之间的转换，

其中，所述规则指定视频层内的图片被准许参考图片参数集，所述图片参数集具有指示是否对对应图片启用图片分割的语法元素的不同值。

11.根据权利要求10所述的方法，其中，所述语法元素等于第一值指定没有图片分割被应用于参考所述图片参数集的每个图片。

12.根据权利要求10所述的方法，其中，所述语法元素等于第二值指定参考对应图片参数集的每个图片被允许分割为多于一个片或条带。

13.一种视频处理的方法，包括：

根据规则来执行包括包含一个或多个片的一个或多个视频图片的视频和视频的比特流之间的转换，

其中，所述规则指定，响应于指示是否启用跨图片的片的环路滤波的语法元素不存在于所述图片所参考的图片参数集中，所述语法元素被推断为具有特定值。

14.根据权利要求13所述的方法，其中，所述特定值为0。

15.根据权利要求13或14所述的方法，其中，所述语法元素等于0指定对参考所述图片参数集的图片禁用跨所述图片的片的环路滤波操作。

16.一种视频处理的方法，包括：

执行包括一个或多个视频层的视频和所述视频的比特流之间的转换，所述一个或多个视频层包括包含一个或多个片和/或一个或多个条带的一个或多个视频图片，

其中，所述比特流符合指定响应于以下内容的图片参数集中的一个或多个标志的值的格式规则：满足i)与指示对参考图片参数集的每个图片使用矩形条带模式的具有第一值的第一语法元素和指示参考所述图片参数集的每个图片中的矩形条带的数量的第二语法元素相关联的第一条件或者ii)与指示每个图片中仅单个条带的第三语法元素相关联的第二条件。

17.根据权利要求16所述的方法，其中，所述一个或多个标志包括指示图片标头语法结构中自适应环路滤波器信息的存在的第一标志、指示所述图片标头语法结构中参考图片列表信息的存在的第二标志、指示所述图片标头语法结构中去方块滤波器信息的存在的第三标志、指示所述图片标头语法结构中样点自适应偏移滤波器信息的存在的第四标志、指示所述图片标头语法结构中加权预测信息的存在的第五标志、和/或指示所述图片标头语法结构中量化参数增量信息差的存在的第六标志。

18.根据权利要求16所述的方法，其中，在所述第一语法元素等于1并且所述第二语法元素等于0的情况下，满足所述第一条件。

19.根据权利要求16或17所述的方法，其中，所述第一语法元素等于1指定所述矩形条带模式用于参考所述图片参数集的每个图片。

20.根据权利要求16或17所述的方法，其中，所述第二语法元素等于0指定没有图片分割被应用于参考所述图片参数集的每个图片。

21.根据权利要求16所述的方法，其中，在所述第三语法元素等于1的情况下，满足所述第二条件。

22.根据权利要求16所述的方法，其中，所述第三语法元素等于1指定每个图片包含单个条带。

23.根据权利要求16所述的方法，其中，所述格式规则指定，在满足所述第一条件或所述第二条件时，要求所述一个或多个标志都等于0。

24.根据权利要求16所述的方法，其中，所述格式规则指定，在满足所述第一条件或所述第二条件时，所述一个或多个标志都被跳过并被推断为等于0。

25.一种视频处理的方法，包括：

其中，所述比特流符合格式规则，所述格式规则指定指示在具有通用层索引的视频层中使用帧间层预测的第一语法元素控制指示帧间编解码子分割在图片中的应用性的第二语法元素的值。

26.根据权利要求25所述的方法，其中，所述格式规则要求，在所述第一语法元素等于0的情况下，所述第二语法元素的值等于1。

27.根据权利要求26所述的方法，其中，所述格式规则指定，在所述第一语法元素不存在的情况下，所述第二语法元素的值等于1。

28.根据权利要求25-27中任一项所述的方法，其中，所述第二语法元素等于1指定图片中具有等于0或1的条带类型的一个或多个编解码条带的可能存在。

29.根据权利要求25-28中任一项所述的方法，其中，所述视频层的通用层索引等于NAL(网络抽象层)单元标头标识符。

30.根据权利要求1至29中任一项所述的方法，其中，所述转换包括将所述视频编码为所述比特流。

31.根据权利要求1至29中任一项所述的方法，其中，所述转换包括从所述比特流解码所述视频。

32.根据权利要求1至29中任一项所述的方法，其中，所述转换包括从所述视频生成所述比特流，并且所述方法还包括：将所述比特流存储在非暂时性计算机可读记录介质中。

33.一种视频处理装置，包括被配置为实施根据权利要求1至32中任一项或多项所述的方法的处理器。

34.一种存储视频的比特流的方法，包括根据权利要求1至32中任一项所述的方法，并且还包括将所述比特流存储到非暂时性计算机可读记录介质。

35.一种存储程序代码的计算机可读介质，所述程序代码在被执行时使得处理器实施根据权利要求1至32中任一项或多项所述的方法。

37.一种用于存储比特流表示的视频处理装置，其中所述视频处理装置被配置为实施根据权利要求1至32中任一项或多项所述的方法。