CN115299049A

CN115299049A - 视频编解码中子图片信息的使用

Info

Publication number: CN115299049A
Application number: CN202180022888.7A
Authority: CN
Inventors: 王业奎
Original assignee: ByteDance Inc
Current assignee: ByteDance Inc
Priority date: 2020-03-20
Filing date: 2021-03-18
Publication date: 2022-11-04
Also published as: US20230026922A1; EP4107944A1; US20230021827A1; JP2023518949A; KR20220155988A; US11863796B2; EP4107950A1; EP4319149A2; WO2021188796A1; EP4107950A4; WO2021188805A1; EP4107954A4; EP4319149A3; US11849149B2; US20230034923A1; KR20220156830A; JP7488354B2; JP2023518950A; CN115336271A; WO2021188810A1

Abstract

描述了用于处理视频的方法和装置。该处理可以包括视频编码、解码或转码。一种示例视频处理方法包括，执行包括包含一个或多个子图片的一个或多个图片的视频和视频的比特流之间的转换，其中，该比特流符合规定比特流中的网络抽象层(NAL)单元的语法的格式规则，并且其中，该格式规则规定，视频编解码层(VCL)NAL单元类型的NAL单元包括与特定类型的图片或特定类型的子图片相关联的内容。

Description

视频编解码中子图片信息的使用

相关申请的交叉引用

根据适用的《专利法》和/或《巴黎公约》的规定，本申请及时要求2020年3月20日提交的美国临时专利申请No.62/992,724的优先权和权益。出于法律的所有目的，将上述申请的全部公开以参考方式并入本文，作为本申请公开的一部分。

技术领域

本专利文件涉及图像和视频编解码和解码。

背景技术

在互联网和其他数字通信网络中，数字视频占用了最大的带宽。随着能够接收和显示视频的连接用户设备数的增加，预计数字视频使用的带宽需求将继续增长。

发明内容

本文档公开了可由视频编码器和解码器使用的技术，以使用各种语法规则来处理视频的编解码表示。

在一个示例方面，公开了一种视频处理方法。该方法包括，执行包括包含一个或多个子图片的一个或多个图片的视频和视频的比特流之间的转换，其中，该比特流符合规定比特流中的网络抽象层(NAL)单元的语法的格式规则，并且其中，该格式规则规定，视频编解码层(VCL)NAL单元类型的NAL单元包括与特定类型的图片或特定类型的子图片相关联的内容。

在另一个示例方面，公开了一种视频处理方法。该方法包括，执行包括包含子图片的图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，并且其中，该格式规则规定，响应于子图片是帧内随机接入点子图片的前置子图片，子图片是随机接入类型的子图片。

在另一个示例方面，公开了一种视频处理方法。该方法包括，执行包括包含子图片的图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，并且其中，该格式规则规定，响应于一个或多个随机接入跳过前置子图片与即时解码刷新子图片相关联，比特流中不存在一个或多个随机接入跳过前置子图片。

在另一个示例方面，公开了一种视频处理方法。该方法包括，执行包括包含子图片的图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，该格式规则规定，响应于一个或多个随机接入可解码前置子图片与具有指示即时解码刷新子图片不与前置图片相关联的一种类型的网络抽象层(NAL)单元的即时解码刷新子图片相关联，比特流中不存在一个或多个随机接入可解码前置子图片。

在另一个示例方面，公开了一种视频处理方法。该方法包括，执行包括包含两个临近子图片的图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，该格式规则规定，具有不同类型的网络抽象层(NAL)单元的两个临近子图片有具有相同第一值的语法元素，该语法元素指示编解码层视频序列中的两个临近子图片中的每一个是否被视为图片。

在另一个示例方面，公开了一种视频处理方法。该方法包括，执行包括包含两个临近子图片的图片的视频和视频的比特流之间的转换，其中，该格式规则规定两个临近子图片包括具有第一子图片索引的第一临近子图片和具有第二子图片索引的第二临近子图片，并且其中，该格式规则规定响应于与第一子图片索引相关联的第一语法元素指示第一临近子图片未被视为图片或者与第二子图片索引相关联的第二语法元素指示第二临近子图片未被视为图片，两个临近子图片具有相同类型的网络抽象层(NAL)单元。

在另一个示例方面，公开了一种视频处理方法。该方法包括，执行包括包含一个或多个子图片的图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，该格式规则规定，响应于语法元素指示参考图片参数集(PPS)的视频的每个图片具有没有相同类型的视频编解码层(VCL)网络抽象层(NAL)单元的多个VCL NAL单元，允许图片包括多于两个不同类型的VCL NAL单元。

在另一个示例方面，公开了一种视频处理方法。该方法包括，执行包括包含一个或多个子图片的一个或多个图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，该格式规则规定，按照顺序与帧内随机接入点子图片或逐渐解码刷新子图片相关联的后置子图片在帧内随机接入点子图片或逐渐解码刷新子图片之后。

在另一个示例方面，公开了一种视频处理方法。该方法包括，执行包括包含一个或多个子图片的一个或多个图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，该格式规则规定，响应于：(1)按照第二顺序子图片在帧内随机接入点子图片之前，(2)该子图片和帧内随机接入点子图片对于该子图片和帧内随机接入点子图片的网络抽象层(NAL)单元所属的层具有相同的第一值，以及(3)该子图片和帧内随机接入点子图片具有相同的子图片索引的第二值，按照第一顺序该子图片在帧内随机接入点子图片和与帧内随机接入点子图片相关联的一个或多个随机接入可解码前置子图片之前。

在另一个示例方面，公开了一种视频处理方法。该方法包括，执行包括包含一个或多个子图片的一个或多个图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，该格式规则规定，按照顺序与纯随机接入(clean random access)子图片相关联的随机接入跳过前置子图片在与纯随机接入子图片相关联的一个或多个随机接入可解码前置子图片之前。

在另一个示例方面，公开了一种视频处理方法。该方法包括，执行包括包含一个或多个子图片的一个或多个图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，该格式规则规定，按照第一顺序与纯随机接入子图片相关联的随机接入跳过前置子图片按照第二顺序在纯随机接入子图片之前的一个或多个帧内随机接入点子图片之后。

在另一个示例方面，公开了一种视频处理方法。该方法包括，执行包括包含一个或多个子图片的一个或多个图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，该格式规则规定，响应于：(1)语法元素指示编解码层视频序列传达表示帧的图片，以及(2)当前子图片是与帧内随机接入点子图片相关联的前置子图片，按照解码顺序当前子图片在与帧内随机接入点子图片相关联的一个或多个非前置子图片之前。

在另一个示例方面，公开了一种视频处理方法。该方法包括，执行包括包含一个或多个子图片的一个或多个图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，该格式规则规定，响应于图片是帧内随机接入点图片的前置图片，图片中的所有视频编解码层(VCL)网络抽象层(NAL)单元的一种或多种类型的NAL单元包括RADL_NUT或RASL_NUT。

在另一个示例方面，公开了一种视频处理方法。该方法包括，执行包括包含多个子图片的一个或多个图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，该格式规则规定，响应于：(1)按照第二顺序至少一个子图片在逐渐解码刷新子图片之前，(2)该至少一个子图片和逐渐解码刷新子图片对于该至少一个子图片和逐渐解码刷新子图片的网络抽象层(NAL)单元所属的层具有相同的第一值，以及(3)该至少一个子图片和逐渐解码刷新图片具有相同的子图片索引的第二值，按照第一顺序该至少一个子图片在逐渐解码刷新子图片和与逐渐解码刷新子图片相关联的一个或多个子图片之前。

在另一个示例方面，公开了一种视频处理方法。该方法包括，执行包括包含当前子图片的当前图片的视频和视频的比特流之间的转换，该当前子图片包括当前条带，其中，该比特流符合格式规则，响应于：(a)第一图片具有与当前子图片相同的时域标识符和相同的网络抽象层(NAL)单元的层标识符，以及(b)按照解码顺序当前子图片在逐步时域子层接入子图片之后，以及(c)当前子图片和逐步时域子层接入子图片具有相同的时域标识符、相同的层标识符和相同的子图片索引，该格式规则不允许当前条带的参考图片列表中的活动条目包括按照解码顺序在第二图片之前的第一图片，该第二图片包括逐步时域子层接入子图片。

在另一个示例方面，公开了一种视频处理方法。该方法包括，执行包括包含当前子图片的当前图片的视频和视频的比特流之间的转换，该当前子图片包括当前条带，其中，该比特流符合格式规则，响应于当前子图片不是特定类型的子图片，该格式规则不允许当前条带的参考图片列表中的活动条目包括由生成不可用的参考图片的解码处理生成的第一图片。

在另一个示例方面，公开了一种视频处理方法。该方法包括，执行包括包含当前子图片的当前图片的视频和视频的比特流之间的转换，该子图片包括当前条带，其中，该比特流符合格式规则，响应于当前子图片不是特定类型的子图片，该格式规则不允许当前条带的参考图片列表中的条目包括由生成不可用的参考图片的解码处理生成的第一图片。

在另一个示例方面，公开了一种视频处理方法。该方法包括，执行包括包含当前子图片的当前图片的视频和视频的比特流之间的转换，该当前子图片包括当前条带，其中，该比特流符合格式规则，响应于(a)第一图片包括先前帧内随机接入点子图片，按照第二顺序先前帧内随机接入点子图片在当前子图片之前，(b)先前帧内随机接入点子图片具有与当前子图片相同的网络抽象层(NAL)单元的层标识符和相同的子图片索引，以及(c)当前子图片是纯随机接入子图片，该格式规则不允许当前条带的参考图片列表中的条目包括按照第一顺序或第二顺序在当前图片之前的第一图片。

在另一个示例方面，公开了一种视频处理方法。该方法包括，执行包括包含当前子图片的当前图片的视频和视频的比特流之间的转换，该当前子图片包括当前条带，其中，该比特流符合格式规则，响应于(a)当前子图片与帧内随机接入点子图片相关联，(b)按照第一顺序当前子图片在帧内随机接入点子图片之后，该格式规则不允许当前条带的参考图片列表中的活动条目包括按照第一顺序或第二顺序在当前图片之前的第一图片。

在另一个示例方面，公开了一种视频处理方法。该方法包括，执行包括包含当前子图片的当前图片的视频和视频的比特流之间的转换，该当前子图片包括当前条带，其中，该比特流符合格式规则，响应于：(a)按照第一顺序当前子图片在帧内随机接入点子图片之后，(b)按照第一顺序和第二顺序当前子图片在与IRAP子图片相关联的一个或多个前置子图片之后，该格式规则不允许当前条带的参考图片列表中的条目包括按照第一顺序或第二顺序在包括与当前子图片相关联的帧内随机接入点子图片的当前图片之前的第一图片。

在另一个示例方面，公开了一种视频处理方法。该方法包括，执行包括包含当前子图片的当前图片的视频和视频的比特流之间的转换，该当前子图片包括当前条带，其中，该比特流符合格式规则，该格式规则规定，响应于当前子图片是随机接入可解码前置子图片，当前条带的参考图片列表不包括以下任意一个或多个的活动条目：包括随机接入跳过前置子图片的第一图片以及按照解码顺序在包括关联帧内随机接入点子图片的第三图片之前的第二图片。

在另一个示例方面，公开了一种视频处理方法。该方法包括，执行包括包含一个或多个子图片的一个或多个图片的视频和视频的编解码表示之间的转换。该编解码表示符合格式规则，该格式规则规定，包括一个或多个子图片的一个或多个图片根据网络抽象层(NAL)单元被包括在编解码表示中，其中，在编解码表示中指示的一种类型NAL单元包括特定类型图片的编解码条带或特定类型子图片的编解码条带。

在另一个示例方面，公开了另一种视频处理方法。该方法包括，执行包括包含一个或多个子图片的一个或多个图片的视频和视频的编解码表示之间的转换，其中，该编解码表示符合格式规则，该格式规则规定，具有不同网络抽象层单元类型的两个临近子图片将具有相同的被视为图片标志的子图片的指示。

在另一个示例方面，公开了另一种视频处理方法。该方法包括，执行包括包含一个或多个子图片的一个或多个图片的视频和视频的编解码表示之间的转换，其中，该编解码表示符合格式规则，该格式规则定义第一类型子图片和第二类型子图片的顺序，其中，第一子图片是后置子图片或前置子图片或随机接入跳过前置(RASL)子图片类型，并且第二子图片是RASL类型或随机接入可解码前置(RADL)类型或即时解码刷新(IDR)类型或逐渐解码刷新(GDR)类型子图片。

在另一个示例方面，公开了另一种视频处理方法。该方法包括，执行包括包含一个或多个子图片的一个或多个图片的视频和视频的编解码表示之间的转换，其中，该编解码表示符合格式规则，该格式规则定义了允许或不允许第一类型的子图片与第二类型的子图片一起存在的条件。

在又一示例方面，公开了一种视频编码器装置。该视频编码器包括被配置为实施上述方法的处理器。

在又一示例方面，公开了一种视频解码器装置。该视频解码器包括被配置为实施上述方法的处理器。

在又一示例方面，公开了一种其上存储有代码的计算机可读介质。该代码以处理器可运行代码的形式体现了本文描述的方法之一。

这些以及其他特征将贯穿本文档描述。

附图说明

图1示出了图片的光栅扫描条带分割的示例，其中，图片被分成12个片和3个光栅扫描条带。

图2示出了图片的矩形条带分割的示例，其中，图片被分成24个片(6个片列和4个片行)和9个矩形条带。

图3示出了被分割成片和矩形条带的图片的示例，其中，图片被分成4个片(2个片列和2个片行)和4个矩形条带。

图4示出了被分割成15个片、24个条带和24个子图片的图片。

图5是示例视频处理系统的框图。

图6是视频处理装置的框图。

图7是视频处理的示例方法的流程图。

图8是示出了根据本公开的一些实施例的视频编解码系统的框图。

图9是示出了根据本公开的一些实施例的编码器的框图。

图10是示出了根据本公开的一些实施例的解码器的框图。

图11至图31是视频处理的示例方法的流程图。

具体实施方式

在本文档中使用章节标题是为了易于理解，并且不是将每章节中公开的技术和实施例的适用性仅限于该章节。此外，在一些描述中使用H.266术语仅仅是为了易于理解，并且不是为了限制所公开技术的范围。因此，本文描述的技术也适用于其他视频编解码器协议和设计。在本文档中，相对于VVC规范的当前草案，通过左右方括号(例如[[]])显示对文本的编辑更改，方括号中的删除文本表示作废的文本，并且

表示添加的文本。

1.初始讨论

本文档与视频编解码技术有关。具体地，它是关于子图片类型的定义以及在单层和多层上下文中，在解码顺序、输出顺序和不同类型的子图片之间的预测关系方面的关系。关键是通过对解码顺序、输出顺序和预测关系的一组约束来清楚地指定图片内混合子图片类型的含义。这些思想可以单独或在多种组合中应用于支持多层视频编解码的任何视频编解码标准或非标准视频编解码器，例如正在开发的多功能视频编解码(VVC)。

2.缩写

APS(Adaptation Parameter Set) 自适应参数集

AU(Access Unit) 接入单元

AUD(Access Unit Delimiter) 接入单元分隔符

AVC(Advanced Video Coding) 高级视频编解码

CLVS(Coded Layer Video Sequence) 编解码层视频序列

CPB(Coded Picture Buffer) 编解码图片缓冲器

CRA(Clean Random Access) 纯随机接入

CTU(Coding Tree Unit) 编解码树单元

CVS(Coded Video Sequence)编解码视频序列

DCI(Decoding Capability Information)解码能力信息

DPB(Decoded Picture Buffer) 解码图片缓冲器

EOB(End Of Bitstream) 比特流结尾

EOS(End Of Sequence) 序列结尾

GDR(Gradual Decoding Refresh) 逐渐解码刷新

HEVC(High Efficiency Video Coding)高效视频编解码

HRD(Hypothetical Reference Decoder) 假设参考解码器

IDR(Instantaneous Decoding Refresh) 即时解码刷新

JEM(Joint Exploration Model) 联合探索模型

MCTS(Motion-Constrained Tile Sets) 运动约束片集

NAL(Network Abstraction Layer) 网络抽象层

OLS(Output Layer Set) 输出层集

PH(Picture Header) 图片标头

PPS(Picture Parameter Set) 图片参数集

PTL(Profile,Tier and Level) 档次、层和级别

PU(Picture Unit) 图片单元

RADL(Random Access Decodable Leading(Picture)) 随机接入可解码前置(图片)

RAP(Random Access Point) 随机接入点

RASL(Random Access Skipped Leading(Picture)) 随机接入跳过前置(图片)

RBSP(Raw Byte Sequence Payload) 原始字节序列载荷

RPL(Reference Picture List) 参考图片列表

SEI(Supplemental Enhancement Information) 补充增强信息

SPS(Sequence Parameter Set) 序列参数集

STSA(Step-wise Temporal Sublayer Access)逐步时域子层接入

SVC(Scalable Video Coding) 可缩放视频编解码

VCL(Video Coding Layer) 视频编解码层

VPS(Video Parameter Set) 视频参数集

VTM(VVC Test Model) VVC测试模型

VUI(Video Usability Information) 视频可用性信息

VVC(Versatile Video Coding) 多功能视频编解码

3.视频编解码简介

视频编解码标准主要是通过开发众所周知的ITU-T和ISO/IEC标准而演进来的。ITU-T制定了H.261和H.263，ISO/IEC制定了MPEG-1和MPEG-4 Visual标准，并且这两个组织共同制定了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262以来，视频编解码标准基于混合视频编解码结构，其中，利用了时域预测加变换编解码。为探索HEVC之外的未来视频编解码技术，VCEG和MPEG于2015年共同成立了联合视频探索团队(Joint Video Exploration Team，JVET)。从那时起，JVET采用了许多新的方法，并将其应用到了名为联合探索模型(JEM)的参考软件中。同时JVET会议每季度举办一次，并且新的编解码标准的目标是与HEVC相比降低50％的比特率。新的视频编解码标准在2018年4月的JVET会议上被正式命名为多功能视频编解码(VVC)，并且第一版VVC测试模型(VTM)也在当时发布。由于对VVC标准化贡献持续努力，新的编解码技术在每次JVET会议上都被采用到VVC标准中。然后，VVC的工作草案和测试模型VTM在每次会议后都会更新。VVC项目现在力争在2020年7月的会议上技术上完成(FDIS)。

3.1.HEVC中的图片分割方案

HEVC包括四种不同的图片分割方案，即常规条带、依赖条带、片和波前并行处理(Wavefront Parallel Processing，WPP)，其可以被应用于最大传输单元(MaximumTransfer Unit，MTU)尺寸匹配、并行处理和减少的端到端延迟。

常规条带与H.264/AVC中的相似。每个常规条带被封装在其自己的NAL单元中，并且跨条带边界的图片中预测(帧内样点预测、运动信息预测、编解码模式预测)和熵编解码依赖性被禁用。因此，可以独立于相同图片内的其他常规条带来重建常规条带(尽管由于环路滤波器操作可能仍然存在相互依赖性)。

常规条带是唯一可以被用于并行化的工具，在H.264/AVC中也以几乎相同的形式可用。基于常规条带的并行化不需要太多的处理器间或内核间通信(除了在解码预测编解码图片时用于运动补偿的处理器间或内核间数据共享，由于图片内预测，其通常比处理器间或内核间数据共享重得多)。然而，出于同样的原因，由于条带标头的比特成本以及由于缺乏跨条带边界的预测，常规条带的使用会带来大量编解码开销。此外，由于常规条带的图片内独立性以及每个常规条带被封装在其自己的NAL单元中，常规条带(与下面提到的其他工具相比)还用作比特流分割的关键机制，以匹配MTU尺寸要求。在许多情况下，并行化的目标和MTU尺寸匹配的目标对图片中的条带布局提出了矛盾的要求。对这种情况的认识导致了下面提到的并行化工具的开发。

依赖条带具有短的条带标头，并且允许在树块边界分割比特流，而不破坏任何图片内预测。基本上，依赖条带将常规条带的分片提供到多个NAL单元中，以通过允许常规条带的一部分在整个常规条带的编码完成之前被发送出去来提供减少的端到端延迟。

在WPP中，图片被分割成单行编解码树块(CTB)。熵解码和预测被允许以使用来自其他分割中CTB的数据。通过CTB行的并行解码，并行处理是可能的，其中，CTB行的解码的开始被延迟了两个CTB，以确保与在主体CTB上方和右侧的CTB相关的数据可以在正在解码的主体CTB之前获得。使用这种交错的开始(当以图形表示时，其看起来像一个波前)，可以并行化与包含有CTB行的图片一样多的处理器/核。因为在图片内临近树块行之间的图片内预测是准许的，所以为启用图片内预测所需的处理器间/内核间通信可能是大量的。与未应用时相比，WPP分割不会导致附加的NAL单元的产生，因此WPP不是用于MTU尺寸匹配的工具。但是，如果需要MTU尺寸匹配，常规条带可以与WPP一起使用，具有一定程度上的编解码开销。

片定义了将图片分割为片列和片行的水平和垂直边界。片列从图片的上方延伸到图片的下方。同样，片行从图片的左侧延伸到图片的右侧。图片中的片数可以简单地通过片列数乘以片行数来推导。

在以图片的片光栅扫描的顺序解码下一个片的左上CTB之前，CTB的扫描顺序被改变为在片内是局部的(以片的CTB光栅扫描的顺序)。与常规条带类似，片打破了图片内预测依赖性以及熵解码依赖性。然而，它们不需要被包括在单独的NAL单元中(在这方面与WPP相同)；因此，片不能用于MTU尺寸匹配。每个片可以由一个处理器/内核来处理，并且在条带跨越多个片的情况下，解码临近片的处理单元之间的图片内预测所需的处理器间/核间通信仅限于传送共享的条带头和与重建样点和元数据的共享相关的环路滤波。当条带中包括一个以上的片或WPP段时，条带中除第一个之外的每个片或WPP段的入口点字节偏移在条带标头中被信令通知。

为简单起见，在HEVC已经规定了对四种不同图片分割方案的应用的限制。给定的编解码视频序列不能包括HEVC中规定的大部分档次的片和波前二者。对于每个条带和片，必须满足以下条件中的一个或两个：1)条带中的所有编解码树块属于相同片；2)片中的所有编解码树块属于相同条带。最后，一个波前段正好包含一个CTB行，并且当正在使用WPP时，如果条带从CTB行内开始，它必须在相同CTB行结束。

在2017年10月24日公开发布的JCT-VC输出文件JCTVC-AC1005、J.Boyce、A.Ramasubramonian、R.Skupin、G.J.Sullivan、A.Tourapis、Y.-K.Wang(编辑)，“HEVC附加补充增强信息(草案4)”中规定了对HEVC的最新修订：http://phenix.int-evry.fr/jct/doc_end_user/documents/29_Macau/wg11/JCTVC-AC1005-v2.zip。通过包括这一修正，HEVC规定了三种MCTS相关的SEI消息，即时域MCTS SEI消息、MCTS提取信息集SEI消息和MCTS提取信息嵌套SEI消息。

时域MCTS SEI消息指示比特流中MCTS的存在，并且信令通知MCTS。对于每个MCTS，运动矢量被限制为指向MCTS内部的全样点位置和仅需要用于插值的MCTS内部的全样点位置的分数样点位置，并且不允许从MCTS外部的块推导的用于时域运动矢量预测的运动矢量候选的使用。这样，每个MCTS可以在不存在未包括在MCTS中的片的情况下进行独立解码。

MCTS提取信息集SEI消息提供了可以在MCTS子比特流提取中使用的补充信息(被规定为SEI消息的语义的一部分)，以为MCTS组生成符合比特流。该信息由许多提取信息集组成，每个定义了许多MCTS组并包含将在MCTS子比特流提取过程期间使用的替换VPS、SPS和PPS的RBSP字节。当根据MCTS子比特流提取过程提取子比特流时，参数集(VPS、SPS和PPS)需要被重写或替换，条带标头需要稍微更新，因为一个或所有条带地址相关的语法元素(包括first_slice_segment_in_pic_flag和slice_segment_address)通常需要具有不同的值。

3.2.VVC的图片分割

在VVC中，图片被分成一个或多个片行和一个或多个片列。片是覆盖图片的矩形区域的CTU序列。在片内以光栅扫描顺序扫描片中的CTU。

条带由整数个完整的片或图片的片内整数个连续完整CTU行组成。

支持两种条带模式，即光栅扫描条带模式和矩形条带模式。在光栅扫描条带模式中，条带包含图片的片光栅扫描中的完整片序列。在矩形条带模式中，条带包含共同形成图片的矩形区域的许多完整片，或者共同形成图片的矩形区域的一个片的许多连续完整CTU行。在对应于条带的矩形区域内以片光栅扫描顺序扫描矩形条带内的片。

子图片包含共同覆盖图片的矩形区域的一个或多个条带。

图4示出了图片的子图片分割的示例，其中，图片被分割成18个片，左侧的12个片(每个覆盖一个有4x4个CTU的条带)以及右侧的6个片(每个覆盖2个有2x2个CTU的垂直堆叠的条带)，总共产生不同维度的24个条带和24个子图片(每个条带是一个子图片)。

3.3.序列内图片分辨率的改变

在AVC和HEVC中，除非使用新SPS的新序列以IRAP图片开始，否则图片的空域分辨率不能改变。VVC启用在不编码IRAP图片的位置处改变序列内的图片分辨率，IRAP图片总是被帧内编解码。该特征有时被称为参考图片重采样(reference picture resampling，RPR)，因为当参考图片具有与正被解码的当前图片不同的分辨率时，该特征需要对用于帧间预测的参考图片进行重采样。

缩放比率被限制为大于或等于1/2(从参考图片到当前图片的2倍下采样)，并且小于或等于8(8倍上采样)。指定了具有不同频率截止的三组重采样滤波器来处理参考图片和当前图片之间的各种缩放比率。三组重采样滤波器分别应用于范围从1/2到1/1.75、从1/1.75到1/1.25和从1/1.25到8的缩放比率。每组重采样滤波器对于亮度具有16个相位，并且对于色度具有32个相位，这与运动补偿插值滤波器的情况相同。实际上，正常的MC插值过程是重采样过程的特殊情况，缩放比例范围从1/1.25到8。水平和垂直缩放比例是基于图片宽度和高度以及为参考图片和当前图片指定的左、右、上和下缩放偏移而推导的。

支持该与HEVC不同的特征的VVC设计的其他方面包括：i)图片分辨率和对应的一致性窗口在PPS中而不是在SPS中被信令通知，而在SPS中信令通知最大图片分辨率。ii)对于单层比特流，每个图片储存器(DPB中一个解码图片的储存的时隙)占用存储具有最大图片分辨率的解码图片所需的缓冲器尺寸。

3.4.在一般情况下以及在VVC中的可缩放视频编解码(SVC)

可缩放视频编解码(SVC，有时也被称为视频编解码中的可缩放性)指的是其中使用基本层(base layer，BL)，有时被称为参考层(reference layer，RL)，以及一个或多个可缩放增强层(enhancement layer，EL)的视频编解码。在SVC中，基本层可以携带具有基本级别质量的视频数据。一个或多个增强层可以携带附加的视频数据，以支持例如更高的空域、时域和/或信噪比(signal-to-noise，SNR)水平。可以相对于先前编码的层来定义增强层。例如，底层可以用作BL，而顶层可以用作EL。中间层可以充当EL或RL，或者两者兼有。举例来说，中间层(例如，既不是最低层也不是最高层的层)可以是中间层下方的层(如，基本层或任何居间增强层)的EL，且同时作为中间层上方的一个或多个增强层的RL。类似地，在HEVC标准的多视图或3D扩展中，可以有多个视图，并且一个视图的信息可以用于编解码(例如，编码或解码)另一个视图的信息(例如，运动估计、运动矢量预测和/或其他冗余)。

在SVC中，基于编解码级别(例如，视频级别、序列级别、图片级别、条带级别等)将编码器或解码器使用的参数分组为其中可以利用它们的参数集。例如，比特流中不同层的一个或多个编解码视频序列可以利用的参数可以被包括在视频参数集(VPS)中，并且编解码视频序列中的一个或多个图片利用的参数可以被包括在序列参数集(SPS)中。类似地，图片中的一个或多个条带利用的参数可以被包括在图片参数集(PPS)中，并且特定于单个条带的其他参数可以被包括在条带标头中。类似地，可以在各种编解码级别提供特定层在给定时间使用哪个(哪些)参数集的指示。

由于VVC中对参考图片重采样(RPR)的支持，对包含多层的比特流的支持，例如，在VVC具有SD和HD分辨率的两层，可以被设计为不需要任何附加的信令处理级别的编解码工具，因为空域可缩放性支持所需的上采样可以仅使用RPR上采样滤波器。然而，对于可缩放性支持需要高级别的语法改变(与不支持可缩放性相比)。VVC版本1中规定了可缩放性支持。与任何早期视频编解码标准(包括AVC和HEVC的扩展)中的可缩放性支持不同，VVC可缩放性的设计尽可能对单层解码器设计友好。多层比特流的解码能力是以如果比特流中只有单层的方式来被指定的。例如，以独立于要解码的比特流中的层数的方式指定如DPB尺寸的解码能力。基本上，为单层比特流设计的解码器不需要太多改变就能够解码多层比特流。与AVC和HEVC的多层扩展设计相比，HLS方面在牺牲一些灵活性的情况下已经得到显著简化。例如，IRAP AU需要包含CVS中存在的每个层的图片。

3.5.在HEVC和VVC中的随机接入及其支持

随机接入是指按照解码顺序从不是比特流的第一图片的图片开始接入和解码比特流。为了支持广播/多播和多方视频会议中的调谐和频道切换、本地回放和流式传输中的搜索以及流式中的流自适应，比特流需要包括频繁的随机接入点，接入点通常是帧内编解码图片，但也可以是帧间编解码图片(例如，在逐渐解码刷新的情况下)。

HEVC通过NAL单元类型在NAL单元标头中包括帧内随机接入点(IRAP)图片的信令通知。支持三种类型的IRAP图片，即即时解码器刷新(IDR)、纯随机接入(CRA)和断开链接接入(broken link access，BLA)图片。IDR图片将帧间图片预测结构约束为不参考当前图片组(group-of-pictures，GOP)之前的任何图片，GOP通常被称为闭合GOP(closed-GOP)随机接入点。通过允许某些图片参考当前GOP之前的图片，CRA图片限制较少，在随机接入的情况下，所有图片都被丢弃。CRA图片通常被称为开放GOP(open-GOP)随机接入点。BLA图片通常源于CRA图片中两个比特流或其一部分的拼接，例如在流切换期间。为了启用系统更好的IRAP图片的系统使用，总共定义了六个不同的NAL单元来信令通知IRAP图片的属性，这可以用于更好地匹配在ISO基本媒体文件格式(ISO base media file format，ISOBMFF)中定义的流接入点类型，该流接入点类型被用于基于HTTP的动态自适应流(dynamic adaptivestreaming over HTTP，DASH)中的随机接入支持。

VVC支持三种类型的IRAP图片、两种类型的IDR图片(一种类型具有或者另一种类型不具有关联RADL图片)以及一种类型的CRA图片。这些与HEVC的基本相同。HEVC中的BLA图片类型不被包括在VVC中，主要由于两个原因：i)BLA图片的基本功能可以通过CRA图片加上序列结尾NAL单元来实现，其存在指示后续图片在单层比特流中开始新的CVS。ii)在开发VVC期间，希望指定比HEVC更少的NAL单元类型，如通过在NAL单元标头中为NAL单元类型字段使用五个比特而不是六个比特来指示。

VVC和HEVC之间在随机接入支持上的另一个关键区别是VVC中以更规范的方式支持GDR。在GDR中，比特流的解码可以从帧间编解码的图片开始，并且尽管在开始时不是整个图片区域都可以被正确解码，但是在多个图片之后，整个图片区域将是正确的。AVC和HEVC也支持GDR，使用恢复点SEI消息来信令通知GDR随机接入点和恢复点。在VVC中，新的NAL单元类型被指定以指示GDR图片，并且恢复点在图片标头语法结构中被信令通知。以GDR图片开始允许CVS和比特流。这意味着允许整个比特流仅包含帧间编解码图片，而没有单个帧内编解码图片。以这种方式指定GDR支持的主要好处是为GDR提供了一致的行为。GDR启用编码器通过在多个图片中分布帧内编解码的条带或块来平滑比特流的比特率，而不是对整个图片进行帧内编解码，从而允许显著降低端到端延迟，随着如无线显示、在线游戏、基于无人机的应用等超低延迟应用变得越来越流行，这在当今被认为更加重要。

VVC中的另一个与GDR相关的特性是虚拟边界信令通知。GDR图片与其恢复点之间的图片处的刷新区域(即，正确解码的区域)和未刷新区域之间的边界可以被信令通知为虚拟边界，并且当被信令通知时，将不会应用跨边界的环路滤波器，因此不会存在边界处或附近的一些样点的解码失配。当应用确定在GDR处理期间显示正确解码的区域时，这可以变得有用。

IRAP图片和GDR图片可以被共同称为随机接入点(RAP)图片。

3.6.参考图片管理和参考图片列表(RPL)

参考图片管理是任何使用帧间预测的视频编解码方案所必需的核心功能。它管理参考图片在解码图片缓冲器(DPB)中的储存和移除，并将参考图片按照其正确的顺序放入RPL中。

包括参考图片标记和从解码图片缓冲器(DPB)中移除以及参考图片列表构建(reference picture list construction，RPLC)的HEVC的参考图片管理与AVC的不同。代替AVC中基于滑动窗口加自适应存储器管理控制操作(memory management controloperation，MMCO)的参考图片标记机制，HEVC规定了基于所谓的参考图片集(RPS)的参考图片管理和标记机制，并因此RPLC基于RPS机制。RPS由与图片相关联的参考图片的集合组成，包括按照解码顺序在关联图片之前的所有参考图片，其可以用于关联图片或按照解码顺序在关联图片之后的任何图片的帧间预测。参考图片集包括五个参考图片列表。前三个列表包含可以被用于当前图片的帧间预测以及可以被用于按照解码顺序在当前图片之后的一个或多个图片的帧间预测的所有参考图片。其他两个列表由当前图片的帧间预测中未使用但是可以被用于按照解码顺序在当前图片之后的一个或多个图片的帧间预测的所有参考图片组成。RPS提供了DPB状态的“帧内编解码”信令通知，而不是像AVC中的“帧间编解码”信令通知，主要是为了提高容错性。HEVC中的RPLC过程是基于RPS的，通过向RPS子组信令通知针对每个参考索引的索引；该过程比AVC中的RPLC过程简单。

VVC中的参考图片管理比AVC更类似于HEVC，但是更简单和更稳健。如在那些标准中，推导了两个RPL，列表0和列表1，但是它们不是基于在HEVC中使用的参考图片集概念或者在AVC中使用的自动滑动窗口处理；相反，它们会更直接被信令通知。RPL的参考图片被列为活动和非活动条目，并且只有活动条目可以被用作当前图片的CTU的帧间预测的参考索引。非活动条目指示要托管在DPB中的用于在比特流中稍后到达的其他图片参考的其他图片。

3.7.参数集

AVC、HEVC和VVC规定了参数集。参数集的类型包括SPS、PPS、APS和VPS。AVC、HEVC和VVC都支持SPS和PPS。VPS从HEVC开始被引入，并被包括在HEVC和VVC两者中。APS没有被包括在AVC或HEVC中，但是被包括在最新的VVC草案文本中。

SPS被设计成携带序列级别标头信息，而PPS被设计成携带不经常改变的图片级别标头信息。利用SPS和PPS，不需要为每个序列或图片重复不经常改变的信息，因此可以避免该信息的冗余信令。此外，SPS和PPS的使用启用重要标头信息的带外传输，从而不仅避免了对冗余传输的需要，还提高了容错性。

引入VPS是为了携带对多层比特流中的所有层通用的序列级别标头信息。

引入APS是为了携带这样的图片级别或条带级别信息，该信息需要相当多的比特来编解码，可以由多个图片共享，并且在序列中可以有相当多不同的变化。

3.8.VVC中的相关定义

最新VVC文本(JVET-Q2001-vE/v15)中的相关定义如下。

(特定图片的)关联IRAP图片：按照解码顺序先前IRAP图片(当存在时)具有与特定图片的nuh_layer_id相同的值。

纯随机接入(CRA)PU：编解码图片是CRA图片的PU。

纯随机接入(CRA)图片：每个VCL NAL单元包括具有等于CRA_NUT的nal_unit_type的IRAP图片。

编解码视频序列(CVS)：AU序列，按照解码顺序由CVSS AU组成，后跟零个或多个不是CVSS AU的AU，包括所有后续AU，但不包括任何其为CVSS AU的后续AU。

编解码视频序列开始(CVSS)AU：CVS中的每一层都有PU且每个PU中的编解码图片都是CLVSS图片的AU。

逐渐解码刷新(GDR)AU：每个当前PU中的编解码图片是GDR图片的AU。

逐渐解码刷新(GDR)PU：编解码图片是GDR图片的PU。

逐渐解码刷新(GDR)图片：每个VCL NAL单元包括具有等于GDR_NUT的nal_unit_type的图片。

即时解码刷新(IDR)PU：编解码图片是IDR图片的PU。

即时解码刷新(IDR)图片：每个VCL NAL单元包括具有等于IDR_W_RADL或IDR_N_LP的nal_unit_type的IRAP图片。

帧内随机接入点(IRAP)AU：CVS中的每一层都有PU且每个PU中的编解码图片都是IRAP图片的AU。

帧内随机接入点(IRAP)PU：编解码图片是IRAP图片的PU。

帧内随机接入点(IRAP)图片：所有VCL NAL单元包括在IDR_W_RADL到CRA_NUT的范围(包含本数)内的nal_unit_type的相同值的编解码图片。

前置图片：与关联IRAP图片在相同层中并且按照输出顺序在关联IRAP图片之前的图片。

输出顺序：解码图片从DPB输出的顺序(对于要从DPB输出的解码图片)。

随机接入可解码前置(RADL)PU：编解码图片是RADL图片的PU。

随机接入可解码前置(RADL)图片：每个VCL NAL单元包括等于RADL_NUT的nal_unit_type的图片。

随机接入跳过前置(RASL)PU：编解码图片是RASL图片的PU。

随机接入跳过前置(RASL)图片：每个VCL NAL单元包括等于RASL_NUT的nal_unit_type的图片。

逐步时域子层接入(STSA)PU：编解码图片是STSA图片的PU。

逐步时域子层接入(STSA)图片：每个VCL NAL单元包括等于STSA_NUT的nal_unit_type的图片。

注释–STSA图片不将具有与STSA图片相同TemporalId的图片用于帧间预测参考。按照解码顺序在STSA图片之后的具有与STSA图片相同TemporalId的图片不使用按照解码顺序先于STSA图片的具有与STSA图片相同TemporalId的图片用于帧间预测参考。STSA图片启用在STSA图片处从紧邻的较低子层上切换到包含STSA图片的子层。STSA图片的TemporalId必须大于0。

子图片：图片内一个或多个条带的矩形区域。

后置图片：按照输出顺序在关联IRAP图片之后且不是STSA图片的非IRAP图片。

注释–与IRAP图片相关的后置图片按照解码顺序也在IRAP图片之后。不允许按照输出顺序在关联IRAP图片之后且按照解码顺序在关联IRAP图片之前的图片。

3.9.VVC中的NAL单元标头语法和语义

在最新的VVC文本中(在JVET-Q2001-vE/v15中)，NAL单元标头语法和语义如下。

7.3.1.2NAL单元标头语法

7.4.2.2NAL单元标头语义

forbidden_zero_bit应等于0。

nuh_reserved_zero_bit应等于0。nuh_reserved_zero_bit的值1将来可能由ITU-T|ISO/IEC指定。解码器将忽略(即，从比特流中移除并丢弃)nuh_reserved_zero_bit等于1的NAL单元。

nuh_layer_id指定VCL NAL单元所属的层的标识符或者非VCL NAL单元所应用的层的标识符。nuh_layer_id的值应在0到55(包含本数)的范围内。将预留nuh_layer_id的其他值以供ITU-T|ISO/IEC未来使用。

nuh_layer_id的值对于编解码图片的所有VCL NAL单元应是相同的。编解码图片或PU的nuh_layer_id的值是编解码图片或PU的VCL NAL单元的nuh_layer_id的值。

对于AUD、PH、EOS和FD NAL单元的nuh_layer_id值受以下约束：

–如果nal_unit_type等于AUD_NUT，则nuh_layer_id应等于vps_layer_id[0]。

–否则，当nal_unit_type等于PH_NUT、EOS_NUT或FD_NUT时，nuh_layer_id应等于关联VCL NAL单元的nuh_layer_id。

注释1–DCI、VPS和EOB NAL单元的nuh_layer_id值不受约束。

nal_unit_type的值对于CVSS AU的所有图片应是相同的。

nal_unit_type规定NAL单元类型，即包含在如表格5规定的NAL单元中的RBSP数据结构的类型。

nal_unit_type在UNSPEC_28..UNSPEC_31(包含本数)范围内的未规定语义的NAL单元不应影响本规范中规定的解码处理。

注释2–在UNSPEC_28..UNSPEC_31范围内的NAL单元类型可以如由应用确定的来使用。在本规范中没有规定nal_unit_type的这些值的解码处理。由于不同的应用可能出于不同的目的使用这些NAL单元类型，所以在设计生成具有这些nal_unit_type值的NAL单元的编码器时，以及在设计解释具有这些nal_unit_type值的NAL单元的内容的解码器时，必须特别小心实践。本规范没有定义这些值的任何管理。这些nal_unit_type值可能仅适用于使用“冲突”(即，相同nal_unit_type值的NAL单元内容的含义的不同定义)不重要、或不可能、或被管理(例如，在控制应用或传输规范中定义或管理、或通过控制比特流分布的上下文)的上下文中。

对于确定比特流的DU中的数据量之外的目的(如附录C所指定的)，解码器将忽略(从比特流中移除并丢弃)使用nal_unit_type的预留值的所有NAL单元的内容。

注释3–该要求允许本规范的兼容扩展的未来定义。

表格5–NAL单元类型代码和NAL单元类型分类

注释4–纯随机接入(CRA)图片可以具有比特流中存在的关联RASL或RADL图片。

注释5–具有等于IDR_N_LP的nal_unit_type的即时解码刷新(IDR)

图片在比特流中没有关联前置图片。具有等于IDR_W_RADL的nal_unit_type的IDR图片没有在比特流中存在的关联RASL图片，但是可以具有比特流中的关联RADL图片。

子图片中所有VCL NAL单元的nal_unit_type值应相同。子图片被称为具有与子图片的VCL NAL单元相同的NAL单元类型。

对于任何特定图片的VCL NAL单元，以下适用：

–如果mixed_nalu_types_in_pic_flag等于0，则nal_unit_type的值对于图片的所有VCL NAL单元应是相同的，并且图片或PU被认为具有与图片或PU的编解码条带NAL单元相同的NAL单元类型。

–否则(mixed_nalu_types_in_pic_flag等于1)，图片应具有至少两个子图片，并且图片的VCL NAL单元应正好具有两个不同的nal_unit_type值，如下所示：图片的至少一个子图片的VCL NAL单元都应有特定值等于

STSA_NUT、RADL_NUT、RASL_NUT、IDR_W_RADL、IDR_N_LP或CRA_NUT的nal_unit_type，而图片中其他子图片的VCL NAL单元都应有不同特定值等于TRAIL_NUT、RADL_NUT、RASL_NUT的nal_unit_type。

对于单层比特流，以下约束适用：

–除了按照解码顺序在比特流中的第一图片之外，每个图片都被视为与按照解码顺序先前IRAP图片相关联。

–当图片是IRAP图片的前置图片时，其应为RADL或RASL图片。

–当图片是IRAP图片的后置图片时，其不应为RADL或RASL图片。

–比特流中不应存在与IDR图片相关联的RASL图片。

–比特流中不应存在与具有等于IDR_N_LP的nal_unit_type的IDR图片相关联的RADL图片。

注释6–通过丢弃IRAP PU之前的所有PU，可以在IRAP PU的位置执行随机接入(并按照解码顺序正确解码IRAP图片和所有后续非RASL图片)，前提是当被参考时每个参数集可用(在比特流中或通过本规范中未规定的外部方式)。

–按照解码顺序在IRAP图片之前的任何图片都应按照输出顺序在IRAP图片之前，并且应按照输出顺序在与IRAP图片相关联的任何RADL图片之前。

–按照输出顺序与CRA图片相关联的任何RASL图片应在与CRA图片相关联的任何RADL图片之前。

–按照输出顺序与CRA图片相关联的任何RASL图片应在按照解码顺序在CRA图片之前的任何IRAP图片之后。

–如果field_seq_flag等于0，并且当前图片是与IRAP图片相关联的前置图片，则按照解码顺序它应在按照解码顺序在与相同IRAP图片相关联的所有非前置图片之前。否则，设picA和picB分别是按照解码顺序与IRAP图片相关联的第一个和最后一个前置图片，按照解码顺序在picA之前至多应有一个非前置图片，并且按照解码顺序在picA和picB之间应没有非前置图片。

nuh_temporal_id_plus1减1指定NAL单元的时域标识符。

nuh_temporal_id_plus1的值不应等于0。

变量TemporalId的推导如下：

TemporalId＝nuh_temporal_id_plus1-1 (36)

当nal_unit_type在IDR_W_RADL到RSV_IRAP_12的范围内时(包含本数)，TemporalId应等于0。

当nal_unit_type等于STSA_NUT并且vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]等于1时，TemporalId不应等于0。

对于AU的所有VCL NAL单元，TemporalId的值应相同。编解码图片、PU或AU的TemporalId的值是编解码图片、PU或AU的VCL NAL单元的TemporalId的值。子层表示的TemporalId的值是子层表示中所有VCL NAL单元的TemporalId的最大值。

非VCL NAL单元的TemporalId的值受到以下约束：

–如果nal_unit_type等于DCI_NUT、VPS_NUT或SPS_NUT，则TemporalId应等于0，并且包含NAL单元的AU的TemporalId应等于0。

–否则，如果nal_unit_type等于PH_NUT，则TemporalId应等于包含NAL单元的PU的TemporalId。

–否则，如果nal_unit_type等于EOS_NUT或EOB_NUT，则TemporalId应等于0。

–否则，如果nal_unit_type等于AUD_NUT、FD_NUT、PREFIX_SEI_NUT或SUFFIX_SEI_NUT，则TemporalId应等于包含NAL单元的AU的TemporalId。

–否则，当nal_unit_type等于PPS_NUT、PREFIX_APS_NUT或SUFFIX_APS_NUT时，TemporalId应大于或等于包含NAL单元的PU的TemporalId。

注释7–当NAL单元是非VCL NAL单元时，TemporalId的值等于非VCL NAL单元适用的所有AU的TemporalId值的最小值。当nal_unit_type等于PPS_NUT、PREFIX_APS_NUT或SUFFIX_APS_NUT时，TemporalId可以大于或等于包含AU的TemporalId，因为所有PPS和APS都可以被包括在比特流的开头(例如，当它们被带外传输时，并且接收器将它们放置在比特流的开头)，其中，第一编解码图片的TemporalId等于0。

3.10.图片中混合的NAL单元类型

7.4.3.4图片参数集语义

...

mixed_nalu_types_in_pic_flag等于1规定参考PPS的每个图片具有多于一个的VCL NAL单元，VCL NAL单元不具有相同的nal_unit_type值，并且该图片不是IRAP图片。mixed_nalu_types_in_pic_flag等于0规定参考PPS的每个图片具有一个或多个VCL NAL单元，并且参考PPS的每个图片的VCL NAL单元具有相同的nal_unit_type值。

当no_mixed_nalu_types_in_pic_constraint_flag等于1时，mixed_nalu_types_in_pic_flag的值应等于0。

对于具有在IDR_W_RADL到CRA_NUT范围(包含本数)内的nal_unit_type值nalUnitTypeA的每个条带，在还包含nal_unit_type的另一个值的一个或多个条带的图片picA中(即，图片picA的mixed_nalu_types_in_pic_flag的值等于1)，以下适用：

–条带应属于对应subpic_treated_as_pic_flag[i]的值等于1的子图片

subpicA。

–条带不应属于包含VCL NAL单元且nal_unit_type不等于nalUnitTypeA的picA子图片。

–如果nalUnitTypeA等于CRA，对于按照解码顺序和按照输出顺序CLVS中在当前图片之后的所有后续PU，这些PU中的subpicA中的条带的RefPicList[0]和RefPicList[1]都不应包括活动条目中按照解码顺序先于picA的任何图片。

–否则(即，nalUnitTypeA等于IDR_W_RADL或IDR_N_LP)，对于按照解码顺序在当前图片之后的CLVS中的所有PU，这些PU中的subpicA中的条带的RefPicList[0]或RefPicList[1]都不应包括活动条目中按照解码顺序先于picA的任何图片。

注释1–mixed_nalu_types_in_pic_flag等于1指示参考PPS的图片包含具有不同NAL单元类型的条带，例如，源自子图片比特流merge操作的编解码图片，其中，编码器必须确保比特流结构匹配以及原始比特流参数的进一步对齐。这种对齐的一个示例如下：当sps_idr_rpl_present_flag的值等于0并且mixed_nalu_types_in_pic_flag等于1时，参考PPS的图片不能有具有等于IDR_W_RADL或IDR_N_LP的nal_unit_type的条带。

...

3.11.VVC中的图片标头结构语法和语义

在最新的VVC文本(在JVET-Q2001-vE/v15中)中，与本文的技术方案最相关的图片标头结构语法和语义如下。

7.3.2.7图片标头结构语法

7.4.3.7图片标头结构语义

PH语法结构包含对于与PH语法结构相关联的编解码图片的所有条带公共的信息。

gdr_or_irap_pic_flag等于1规定当前图片是GDR或IRAP图片。gdr_or_irap_pic_flag等于0规定当前图片可能是也可能不是GDR或IRAP图片。

gdr_pic_flag等于1规定与PH相关联的图片是GDR图片。gdr_pic_flag等于0规定与PH相关联的图片不是GDR图片。当不存在时，gdr_pic_flag的值被推断为等于0。当gdr_enabled_flag等于0时，gdr_pic_flag的值应等于0。

注释1–当gdr_or_irap_pic_flag等于1且gdr_pic_flag等于0时，与PH相关联的图片是IRAP图片。

...

ph_pic_order_cnt_lsb规定当前图片的图片顺序计数模MaxPicOrderCntLsb。ph_pic_order_cnt_lsb语法元素的长度为log2_max_pic_order_cnt_lsb_minus4+4比特。ph_pic_order_cnt_lsb的值应在0到MaxPicOrderCntLsb-1的范围(包含本数)内。

no_output_of_prior_pics_flag影响在解码CLVSS图片后DPB中先前解码的图片的输出，该CLVSS图片不是附录C中规定的比特流中的第一图片。

recovery_poc_cnt规定按照输出顺序解码图片的恢复点。如果当前图片是与PH相关联的GDR图片，并且在具有PicOrderCntVal的CLVS中存在按照解码顺序在当前GDR图片之后的图片picA，PicOrderCntVal等于当前GDR图片的PicOrderCntVal加recovery_poc_cnt的值，则图片picA被称为恢复点图片。否则，按照输出顺序PicOrderCntVal大于当前图片的PicOrderCntVal加recovery_poc_cnt的值的第一图片被称为恢复点图片。恢复点图片不应按照解码顺序在当前GDR图片之前。recovery_poc_cnt的值应在0到MaxPicOrderCntLsb-1的范围(包含本数)内。

当当前图片是GDR图片时，变量RpPicOrderCntVal被如下推导：

RpPicOrderCntVal＝PicOrderCntVal+recovery_poc_cnt (81)

注释2–当gdr_enabled_flag等于1且当前图片的PicOrderCntVal大于或等于关联GDR图片的RpPicOrderCntVal时，按照输出顺序当前和后续解码图片与从按照解码顺序在关联GDR图片之前的先前IRAP图片(当存在时)开始解码处理所产生的对应图片完全匹配。

...

3.12.VVC中对RPL的约束

在最新的VVC文本(在JVET-Q2001-vE/v15中)中，VVC对RPL的约束如下(作为VVC条款8.3.2参考图片列表构造的解码处理的一部分)。

8.3.2参考图片列表构造的解码处理

...

对于每个等于0或1的i，RefPicList[i]中的前NumRefIdxActive[i]个条目被称为RefPicList[i]中的活动条目，并且RefPicList[i]中的其他条目被称为RefPicList[i]中的非活动条目。

注释2–特定图片可能同时被RefPicList[0]中的条目和RefPicList[1]中的条目涉及。也有可能特定图片被RefPicList[0]中的多于一个条目或RefPicList[1]中的多于一个条目涉及。

注释3–RefPicList[0]中的活动条目和RefPicList[1]中的活动条目共同指可以被用于当前图片和按照解码顺序在当前图片之后的一个或多个图片的帧间预测的所有参考图片。RefPicList[0]中的非活动条目和RefPicList[1]中的非活动条目共同指未用于当前图片的帧间预测但可以被用于按照解码顺序在当前图片之后的一个或多个图片的帧间预测的所有参考图片。

注释4–RefPicList[0]或RefPicList[1]中可能有一个或多个条目等于“无参考图片”，因为对应的图片不存在于DPB中。应忽略RefPicList[0]或RefPicList[0]中等于“无参考图片”的每个非活动条目。应为RefPicList[0]或RefPicList[1]中等于“无参考图片”的每个活动条目推断出意外图片损失。

比特流一致性的一个要求是应用以下约束：

–对于每个等于0或1的i，num_ref_entries[i][RplsIdx[i]]不应小于NumRefIdxActive[i]。

–RefPicList[0]或RefPicList[1]中的每个活动条目所涉及的图片应存在于DPB中，并且TemporalId应小于或等于当前图片的TemporalId。

–RefPicList[0]或RefPicList[1]中的每个条目所涉及的图片不应是当前图片，并且non_reference_picture_flag应等于0。

–图片的条带的RefPicList[0]或RefPicList[1]中的STRP条目和相同条带或相同图片的不同条带的RefPicList[0]或RefPicList[1]中的LTRP条目不应涉及相同图片。

–在RefPicList[0]或RefPicList[1]中不应存在当前图片的PicOrderCntVal与该条目所涉及的图片的PicOrderCntVal之差大于或等于2²⁴的LTRP条目。

–设setOfRefPics是RefPicList[0]中具有与当前图片相同的nuh_layer_id的所有条目和RefPicList[1]中具有与当前图片相同的nuh_layer_id的所有条目所涉及的唯一图片组。setOfRefPics中的图片数量应小于或等于MaxDpbSize-1(包含本数)，其中，条款A.4.2中指定MaxDpbSize并且setOfRefPics对于图片的所有条带应是相同的。

–当当前条带的nal_unit_type等于STSA_NUT时，则不应存在RefPicList[0]或RefPicList[1]中TemporalId等于当前图片的TemporalId且nuh_layer_id等于当前图片的nuh_layer_id的活动条目。

–当当前图片是按照解码顺序在STSA图片之后的图片时，该STSA图片的TemporalId等于当前图片的TemporalId且nuh_layer_id等于当前图片的nuh_layer_id，则不应存在按照解码顺序在STSA图片之前的图片，该STSA图片的TemporalId等于当前图片的TemporalId且nuh_layer_id等于当前图片的nuh_layer_id，其作为活动条目包括在RefPicList[0]或RefPicList[1]中。

–当当前图片是CRA图片时，则按照输出顺序或按照解码顺序不应存在由RefPicList[0]或RefPicList[1]中的条目涉及的图片，该图片按照解码顺序在任何先前IRAP图片(当存在时)之前。

–当当前图片是后置图片时，则不应存在通过生成与当前图片相关联的IRAP图片的不可用参考图片的解码处理来生成的RefPicList[0]或RefPicList[1]中的活动条目所涉及的图片。

–当当前图片是按照解码顺序和按照输出顺序都在与相同IRAP图片(如果存在)相关联的一个或多个前置图片之后的后置图片时，则不应存在通过生成与当前图片相关联的IRAP图片的不可用参考图片的解码处理来生成的RefPicList[0]或RefPicList[1]中的条目所涉及的图片。

–当当前图片是恢复点图片或是按照输出顺序在恢复点图片之后的图片时，则不应存在包含通过生成恢复点图片的GDR图片的不可用参考图片的解码处理来生成的图片的在RefPicList[0]或RefPicList[1]中的条目。

–当当前图片是后置图片时，不应存在输出顺序或按照解码顺序在关联IRAP图片之前的RefPicList[0]或RefPicList[1]中的活动条目所涉及的图片。

–当当前图片是按照解码顺序和按照输出顺序都在与相同IRAP图片(如果存在)相关联的一个或多个前置图片之后的后置图片时，不应存在按照输出顺序或按照解码顺序在关联IRAP图片之前的RefPicList[0]或RefPicList[1]中的条目所涉及的图片。

–当当前图片是RADL图片时，则在RefPicList[0]或RefPicList[1]中不

应有以下活动条目中的任何一个：

οRASL图片

ο通过生成不可用参考图片的解码处理来生成的图片

ο按照解码顺序在关联IRAP图片之前的图片

–当前图片的条带的RefPicList[0]或RefPicList[1]中的每个ILRP条目所涉及的图片应与当前图片在相同的AU中。

–当前图片的条带的RefPicList[0]或RefPicList[1]中的每个ILRP条目所涉及的图片应存在于DPB中，并且nuh_layer_id应小于当前图片的nuh_layer_id。

–条带的RefPicList[0]或RefPicList[1]中的每个ILRP条目都应是活动条目。

...

3.13.PictureOutputFlag的设置

在最新的VVC文本中(在JVET-Q2001-vE/v15中)，设置变量PictureOutputFlag的值的规范如下(作为编解码图片的条款8.1.2解码处理的一部分)。

8.1.2编解码图片的解码处理

本条款中规定的解码处理适用于BitstreamToDecode中的每个编解码图片，称为当前图片并由变量CurrPic表示。

取决于chroma_format_idc的值，当前图片的样点数组的数量如下：

–如果chroma_format_idc等于0，则当前图片由1个样点数组S_L组成。

–否则(chroma_format_idc不等于0)，当前图片由3个样点数组S_L、S_Cb、S_Cr组成。

当前图片的解码处理将来自条款7的语法元素和大写变量作为输入。当解释每个NAL单元和条款8的剩余部分中的每个语法元素的语义时，术语“比特流”(或其一部分，例如比特流的CVS)指BitstreamToDecode(或其一部分)。

取决于separate_colour_plane_flag的值，解码处理的结构如下：

–如果separate_colour_plane_flag等于0，则调用解码处理一次并且将当前图片作为输出。

–否则(separate_colour_plane_flag等于1)，调用解码处理三次。解码处理的输入是具有相同的colour_plane_id值的编解码图片的所有NAL单元。指定具有特定colour_plane_id值的NAL单元的解码处理，就好像比特流中只存在具有该特定colour_plane_id值的单色颜色格式的CVS一样。三个解码处理中的每一个的输出被分配给当前图片的3个样点数组之一，具有等于0、1和2的colour_plane_id的NAL单元被分别分配给S_L、S_Cb和S_Cr。

注释–当separate_colour_plane_flag等于1且chroma_format_idc等于3时，推导变量ChromaArrayType等于0。在解码处理中，该变量的值被评估，导致与单色图片相同的操作(当chroma_format_idc等于0时)。

对于当前图片CurrPic，解码处理操作如下：

1.在条款8.2中规定NAL单元的解码。

2.条款8.3中的处理规定使用条带标头层及以上层中的语法元素的以下

解码处理：

–按照条款8.3.1中的规定推导与图片顺序计数相关的变量和函数。其只需要为图片的第一条带而被调用。

–在非IDR图片的每个条带的解码处理开始时，调用条款8.3.2中规定的参考图片列表构造的解码处理来推导参考图片列表0(RefPicList[0])和参考图片列表1(RefPicList[1])。

–调用条款8.3.3中参考图片标记的解码处理，其中，参考图片可被标记为“未用于参考”或“用于长期参考”。其只需要为图片的第一条带而被调用。

–当当前图片是具有等于1的NoOutputBeforeRecoveryFlag的CRA图片或具有等于1的NoOutputBeforeRecoveryFlag的GDR图片时，调用子条款8.3.4中规定的生成不可用参考图片的解码处理，其只需要为图片的第一条带而被调用。

–PictureOutputFlag被设置如下：

–如果下列条件之一为真，则PictureOutputFlag被设置为等于0：

–当前图片是RASL图片，并且关联IRAP图片的NoOutputBeforeRecoveryFlag等于1。

–gdr_enabled_flag等于1，并且当前图片是具有等于1的NoOutputBeforeRecoveryFlag的GDR图片。

–gdr_enabled_flag等于1，当前图片与具有等于1的NoOutputBeforeRecoveryFlag的GDR图片关联，并且当前图片的PicOrderCntVal小于关联GDR图片的RpPicOrderCntVal。

–sps_video_parameter_set_id大于0，ols_mode_idc等于0，并且当前AU包含满足以下所有条件的图片picA：

–PicA的PictureOutputFlag等于1。

–PicA的nuh_layer_id nuhLid大于当前图片的nuh_layer_id。

–PicA属于OLS的输出层(即OutputLayerIdInOls[TargetOlsIdx][0]等于nuhLid)。

–sps_video_parameter_set_id大于0，ols_mode_idc等于2，并且ols_output_layer_flag[TargetOlsIdx][GeneralLayerIdx[nuh_layer_id]]等于0。

–否则，PictureOutputFlag被设置为等于pic_output_flag。

3.条款8.4、8.5、8.6、8.7和8.8中的处理规定使用所有语法结构层中的语法元素的解码处理。比特流一致性的要求是，图片的编解码条带将包含图片的每个CTU的条带数据，使得将图片分为条带以及将条带分为CTU，每个形成了图片的分割。

4.在当前图片的所有条带都被解码后，当前解码的图片被标记为“用于短期参考”，并且RefPicList[0]或RefPicList[1]中的每个ILRP条目被标记为“用于短期参考”。

4.公开的技术方案所解决的技术问题

最新VVC文本(JVET-Q2001-vE/v15)中的现有设计存在以下问题：

1)由于允许在一个图片中混合不同类型的子图片，因此将VCL NAL单元类型的NAL单元的内容称为特定类型图片的编解码条带是令人困惑的。例如，仅当图片的所有条带的nal_unit_type等于CRA_NUT时，具有等于CRA_NUT的nal_unit_type的NAL单元才是CRA图片的编解码条带；当该图片的一个条带的nal_unit_type不等于CRA_NUT时，则该图片不是CRA图片。

2)目前，如果子图片包含nal_unit_type在IDR_W_RADL到CRA_NUT的范围(包含本数)内的VCL NAL单元,则子图片的subpic_treated_as_pic_flag[]的值需要等于1，并且该图片的mixed_nalu_types_in_pic_flag等于1。换句话说，对于图片中与另一类型子图片混合的IRAP子图片，subpic_treated_as_pic_flag[]的值需要等于1。然而，随着VCL NAL单元类型的更多混合的支持，该要求是不够的。

3)目前，一个图片中至多只允许两种不同类型的VCL NAL单元(和两种不同类型的子图片)。

4)在单层和多层上下文中，缺少对相对于关联IRAP或GDR子图片的后置子图片的输出顺序的约束。

5)目前，规定当图片是IRAP图片的前置图片时，它应是RADL或RASL图片。这种约束连同前置/RADL/RASL图片的定义一起，不允许在由两个CRA图片和它们的非AU对齐的关联RADL和RASL图片的混合产生的图片内混合RADL和RASL NAL单元类型。

6)在单层和多层上下文中，缺少对前置子图片的子图片类型(即，子图片中VCLNAL单元的NAL单元类型)的约束。

7)在单层和多层上下文中，缺少对RASL子图片是否可以存在并与IDR子图片相关联的约束。

8)在单层和多层上下文中，缺少对RADL子图片是否可以存在并与具有等于IDR_N_LP的nal_unit_type的IDR子图片相关联的约束。

9)在单层和多层上下文中，缺少对按照解码顺序在IRAP子图片之前的子图片和与IRAP子图片相关联的RADL子图片之间的相对输出顺序的约束。

10)在单层和多层上下文中，缺少对按照解码顺序在GDR子图片之前的子图片和与GDR子图片相关联的子图片之间的相对输出顺序的约束。

11)在单层和多层上下文中，缺少对与CRA子图片相关联的RASL子图片和与CRA子图片相关联的RADL子图片之间的相对输出顺序的约束。

12)在单层和多层上下文中，缺少对与CRA子图片相关联的RASL子图片和按照解码顺序在CRA子图片之前的IRAP子图片之间的相对输出顺序的约束。

13)在单层和多层上下文中，缺少对IRAP图片的关联非前置图片和前置图片之间的相对解码顺序的约束。

14)在单层和多层上下文中，缺少对按照解码顺序在STSA子图片之后的子图片的RPL活动条目的约束。

15)在单层和多层上下文中，缺少对CRA子图片的RPL条目的约束。

16)在单层和多层上下文中，缺少对参考通过用于生成不可用参考图片的解码处理生成的图片的子图片的RPL活动条目的约束。

17)在单层和多层上下文中，缺少对参考通过用于生成不可用参考图片的解码处理生成的图片的子图片的RPL条目的约束。

18)在单层和多层上下文中，缺少对与IRAP图片相关联并且按照输出顺序在IRAP图片之后的子图片的RPL活动条目的约束。

19)在单层和多层上下文中，缺少对与IRAP图片相关联并且按照输出顺序在IRAP图片之后的子图片的RPL条目的约束。

20)在单层和多层上下文中，缺少对RADL子图片的RPL活动条目的约束。

5.技术方案和实施例的示例

为了解决上述问题和其他问题，公开了如下总结的方法。这些项目应被认为是解释一般概念的示例，并且不应以狭隘的方式被解释。此外，这些项目可以单独被使用或以任何方式被组合使用。

1)为了解决问题1，不是将具有VCL NAL单元类型的NAL单元的内容指定为“特定类型图片的编解码条带”，而是指定为“特定类型图片或子图片的编解码条带”。例如，具有等于CRA_NUT的nal_unit_type的NAL单元的内容被指定为“CRA图片或子图片的编解码条带”。

a.此外，定义了一个或多个以下术语：关联GDR子图片、关联IRAP子图片、CRA子图片、GDR子图片、IDR子图片、IRAP子图片、前置子图片、RADL子图片、RASL子图片、STSA子图片、后置子图片。

2)为了解决问题2，添加约束以要求不同NAL单元类型的任何两个临近子图片的subpic_treated_as_pic_flag[]都应等于1。

a.在一个示例中，约束规定如下：对于图片中具有子图片索引i和j的任意两个临近子图片，当subpic_treated_as_pic_flag[i]或subpic_treated_as_pic_flag[j]等于0时，该两个子图片应具有相同的NAL单元类型。

a.可选地，要求当任何具有子图片索引i的子图片的subpic_treated_as_pic_flag[i]等于0时，图片中的所有子图片应具有相同的NAL单元类型(即，图片中的所有VCLNAL单元应具有相同的NAL单元类型，即，mixed_nalu_types_in_pic_flag的值应等于0)。并且这意味着，当所有子图片使它们对应的subpic_treated_as_pic_flag[]等于1时，mixed_nalu_types_in_pic_flag只能等于1。

3)为了解决问题3，当mixed_nalu_types_in_pic_flag等于1时，可以允许图片包含多于两种不同类型的VCL NAL单元。

4)为了解决问题4，规定后置子图片按照输出顺序应在关联IRAP或GDR子图片之后。

5)为了解决问题5，为了允许在由两个CRA图片和它们的非AU对齐关联RADL和RASL图片的混合所产生的图片中混合RADL和RASL NAL单元类型，将指定IRAP图片的前置图片应是RADL或RASL图片的现有约束改变如下：当图片是IRAP图片的前置图片时，图片中所有VCLNAL单元的nal_unit_type值应等于RADL_NUT或RASL_NUT。此外，在使用具有RADL_NUT和RASL_NUT的混合nal_unit_type值的图片的解码处理中，当包含图片的层是输出层时，图片的PictureOutputFlag被设置为等于pic_output_flag。

这样，尽管当关联CRA图片的NoOutputBeforeRecoveryFlag等于1时，这样的图片中的“中间值”的RASL子图片的“正确性”的保证也是适当的，但是实际上并不需要的，但是通过所有输出的图片都需要对符合解码器正确的约束，可以保证这样的图片中的RADL子图片。保证中不必要的部分无关紧要，并且不会增加实现符合编码器或解码器的复杂性。在这种情况下，添加注释(NOTE)会很有用，来澄清虽然与具有等于1的NoOutputBeforeRecoveryFlag的CRA图片相关联的这种RASL子图片可以由解码处理输出，但是不打算将它们用于显示，并因此不将它们应用于显示。

6)为了解决问题6，规定当子图片是IRAP子图片的前置子图片时，它应是RADL或RASL子图片。

7)为了解决问题7，规定在比特流中不应存在与IDR子图片相关联的RASL子图片。

8)为了解决问题8，规定在比特流中不应存在与具有等于IDR_N_LP的nal_unit_type的IDR子图片相关联的RADL子图片。

9)为了解决问题9，规定具有等于特定值layerId的nuh_layer_id以及等于特定值subpicIdx的子图片索引的任何子图片，按照输出顺序应在IRAP子图片及其所有关联RADL子图片之前，该任何子图片按照解码顺序在具有等于layerId的nuh_layer_id以及等于subpicIdx的子图片索引的IRAP子图片之前。

10)为了解决问题10，规定具有等于特定值layerId的nuh_layer_id以及等于特定值subpicIdx的子图片索引的任何子图片，按照输出顺序应在GDR子图片及其所有关联子图片之前，该任何子图片按照解码顺序在具有等于layerId的nuh_layer_id以及等于subpicIdx的子图片索引的GDR子图片之前。

11)为了解决问题11，规定与CRA子图片相关联的任何RASL子图片按照输出顺序应在与CRA子图片相关联的任何RADL子图片之前。

12)为了解决问题12，规定与CRA子图片相关联的任何RASL子图片按照输出顺序应在按照解码顺序在CRA子图片之前的任何IRAP子图片之后。

13)为了解决问题13，规定如果field_seq_flag等于0，并且具有等于特定值layerId的nuh_layer_id以及等于特定值subpicIdx的子图片索引的当前子图片是与IRAP子图片相关联的前置子图片，则它应按照解码顺序在与相同IRAP子图片相关联的所有非前置子图片之前；否则，设subpicA和subpicB分别是按照解码顺序与IRAP子图片相关联的第一个和最后一个前置子图片，按照解码顺序subpicA之前至多应有一个具有等于layerId的nuh_layer_id以及等于subpicIdx的子图片索引的非前置子图片，并且按照解码顺序在picA和picB之间应没有具有等于layerId的nuh_layer_id以及等于subpicIdx的子图片索引的非前置图片。

14)为了解决问题14，规定当具有等于特定值tId的TemporalId、等于特定值layerId的nuh_layer_id、以及等于特定值subpicIdx的子图片索引的当前子图片是按照解码顺序在具有等于tId的TemporalId、等于layerId的nuh_layer_id、以及等于subpicIdx的子图片索引的STSA子图片之后的子图片时，则不应存在按照解码顺序在包含STSA子图片的图片之前的具有等于tId的TemporalId以及等于layerId的nuh_layer_id的图片，其作为活动条目被包括在RefPicList[0]或RefPicList[1]中。

15)为了解决问题15，规定当等于特定值layerId的nuh_layer_id且等于特定值subpicIdx的子图片索引的当前子图片是CRA子图片时，则不应存在由输出顺序或按照解码顺序在包含等于layerId的nuh_layer_id且等于subpicIdx的子图片索引的先前IRAP子图片(当存在时)的任何图片之前的由RefPicList[0]或RefPicList[1]中的条目所参考的图片。

16)为了解决问题16，规定当具有等于特定值layerId的nuh_layer_id以及等于特定值subpicIdx的子图片索引的当前子图片不是与具有等于1的NoOutputBeforeRecoveryFlag的CRA图片的CRA子图片相关联的RASL子图片、具有等于1的NoOutputBeforeRecoveryFlag的GDR图片的GDR子图片或者具有等于1的NoOutputBeforeRecoveryFlag以及等于layerId的nuh_layer_id的GDR图片的恢复图片的子图片时，则不应存在通过生成不可用参考图片的解码处理来生成的RefPicList[0]或RefPicList[1]中的活动条目所涉及的图片。

17)为了解决问题17，规定当具有等于特定值layerId的nuh_layer_id以及等于特定值subpicIdx的子图片索引的当前子图片不是具有等于1的NoOutputBeforeRecoveryFlag的CRA图片的CRA子图片、按照解码顺序在与具有等于1的NoOutputBeforeRecoveryFlag的CRA图片的相同CRA子图片相关联的前置子图片之前的子图片、与具有等于1的NoOutputBeforeRecoveryFlag的CRA图片的CRA子图片相关联的前置子图片、具有等于1的NoOutputBeforeRecoveryFlag的GDR图片的GDR子图片、或者具有等于1的NoOutputBeforeRecoveryFlag以及等于layerId的nuh_layer_id的GDR图片的恢复图片的子图片时，则不应存在通过生成不可用参考图片的解码处理来生成的由RefPicList[0]或RefPicList[1]中的条目所涉及的图片。

18)为了解决问题18，规定当当前子图片与IRAP子图片相关联并且按照输出顺序在该IRAP子图片之后时，则不应存在按照输出顺序或按照解码顺序在包含关联IRAP子图片的图片之前的由RefPicList[0]或RefPicList[1]中的活动条目所涉及的图片。

19)为了解决问题19，规定当当前子图片与IRAP子图片相关联时，在按照输出顺序在IRAP子图片之后，并且按照解码顺序和按照输出顺序都在与相同IRAP子图片(如果存在)相关联的前置子图片之后，则不应存在按照输出顺序或按照解码顺序在包含关联IRAP子图片的图片之前的由RefPicList[0]或RefPicList[1]中的条目所涉及的图片。

20)为了解决问题20，规定当当前子图片是RADL子图片时，则在RefPicList[0]或RefPicList[1]中不应有以下活动条目中的任何一个：

a.包含RASL子图片的图片

b.按照解码顺序在包含关联IRAP子图片的图片之前的图片

6.实施例

以下是上文第5节中总结的一些技术方案方面的一些示例实施例，其可以应用于VVC规范。变更后的文本基于JVET-Q2001-vE/v15中的最新VVC文本。大多数被添加或修改的相关部分以

突出显示，并且一些被删除的部分以突出显示的方式用左右双括号(例如，[[]])突出显示，删除的文本在双括号之间。还有一些其他的更改是编辑性的，或者不是本技术解决方案的一部分，并因此没有突出显示。

6.1.第一实施例

该实施例用于项目1、1a、2、2a、4和6至20。

3定义

...

具有等于layerId的nuh_layer_id的先前GDR

(当存在时)，

在该图片和特定

之间没有具有等于layerId的nuh_layer_id的IRAP

。

具有等于layerId的nuh_layer_id的

先前IRAP

(当存在时)，

在该图片和特定

之间没有具有等于layerId的nuh_layer_id的GDR

。

每个VCL NAL

的具有等于CRA_NUT的nal_unit_type的IRAP图片。

CVS中的每一层都有一个PU且每个当前PU中的

都是GDR图片的AU。

每个VCL NAL单元包括具有等于GDR_NUT的nal_unit_type的

。

每个VCL NAL单元包括具有等于IDR_W_RADL或IDR_N_LP的nal_unit_type的IRAP

。

所有VCL NAL单元包括在IDR_W_RADL到CRA_NUT的范围(包含本数)内的nal_unit_type的相同值的

。

顺序，

从DPB输出的

中的

每个VCL NAL

包括具有等于RADL_NUT的nal_unit_type的

。

每个VCL NAL

包括具有等于RASL_NUT的nal_unit_type的

。

每个VCL NAL

包括具有等于STSA_NUT的nal_unit_type的

。

每个VCL NAL

包括具有等于TRAIL_NUT的nal_unit_type的

。

注释–与IRAP或GDR图片相关联的后置图片按照解码顺序也在IRAP或GDR图片之后。不允许按照输出顺序在关联IRAP或GDR图片之后且按照解码顺序在关联IRAP或GDR图片之前的图片。

...

7.4.2.2NAL单元标头语义

...

nal_unit_type在UNSPEC_28..UNSPEC_31范围(包含本数)内的未指定语义的NAL单元不应影响本规范中指定的解码处理。

注释2–UNSPEC_28..UNSPEC_31范围中的NAL单元类型可以如由应用确定的使用。在本规范中没有规定nal_unit_type的这些值的解码处理。由于不同的应用可能出于不同的目的使用这些NAL单元类型，所以在设计产生具有这些nal_unit_type值的NAL单元的编码器时，以及在设计解释具有这些nal_unit_type值的NAL单元的内容的解码器时，必须特别小心实践。本规范没有定义这些值的任何管理。

这些nal_unit_type值可能仅适用于使用“冲突”(即，相同nal_unit_type值的NAL单元内容的含义的不同定义)不重要、或不可能、或被管理(例如，在控制应用或传输规范中定义或管理、或通过控制比特流分布的上下文)的上下文中。

注释3–该要求允许本规范的兼容扩展的未来定义。

表格5–NAL单元类型代码和NAL单元类型分类

注释5–具有等于IDR_N_LP的nal_unit_type的即时解码刷新(IDR)

图片在比特流中没有关联前置图片。具有等于IDR_W_RADL的nal_unit_type的IDR图片没有在比特流中存在的关联RASL图片，

但是可以具有比特流中的关联RADL图片。

对于任何特定图片的VCL NAL单元，以下适用：

–如果mixed_nalu_types_in_pic_flag等于0，则nal_unit_type的值对于图片的所有VCL NAL单元应是相同的，并且图片或PU被认为具有与图片或PU的VCL NAL单元相同的NAL单元类型。

–否则(mixed_nalu_types_in_pic_flag等于1)，图片应具有至少两个子图片，并且图片的VCL NAL单元应正好具有两个不同的nal_unit_type值，如下所示：图片的至少一个子图片的VCL NAL单元都应有特定值等于STSA_NUT、RADL_NUT、RASL_NUT、IDR_W_RADL、IDR_N_LP或CRA_NUT的nal_unit_type，而图片中其他子图片的VCL NAL单元都应有不同特定值等于TRAIL_NUT、RADL_NUT、RASL_NUT的nal_unit_type。

比特流一致性的一个要求是应用以下约束：

–按照输出顺序后置图片应在关联IRAP或GDR图片之后。

–当图片是IRAP图片的前置图片时，其应为RADL或RASL图片。

–比特流中不应存在与IDR图片相关联的RASL图片。

注释6–通过丢弃IRAP PU之前的所有PU，可以在IRAP PU的位置执行随机接入(并按照解码顺序正确解码IRAP图片和所有后续非

RASL图片)，前提是当被参考时每个参数集可用(在比特流中或通过本规范中未规定的外部方式)。

–按照解码顺序在具有等于layerId的nuh_layer_id的IRAP图片之前的任何图片(具有等于特定值layerId的nuh_layer_id)按照输出顺序都应在IRAP图片及其所有关联RADL图片之前。

–按照解码顺序在具有等于layerId的nuh_layer_id的GDR图片之前的任何图片(具有等于特定值layerId的nuh_layer_id)按照输出顺序都应在GDR图片及其所有关联图片之前。

–如果field_seq_flag等于0，并且具有等于特定值layerId的nuh_layer_id的当前图片是与IRAP图片相关联的前置图片，则它应按照解码顺序在与相同IRAP图片相关联的所有非前置图片之前。否则，设picA和picB分别是与IRAP图片相关联的按照解码顺序的第一个和最后一个前置图片，按照解码顺序picA之前至多应有一个具有等于layerId的nuh_layer_id的非前置图片，并且按照解码顺序picA和picB之间应没有具有等于layerId的nuh_layer_id的非前置图片。

...

7.4.3.4图片参数集语义

...

mixed_nalu_types_in_pic_flag等于1规定参考PPS的每个图片具有多于一个的VCL NAL单元并且VCL NAL单元不具有相同的nal_unit_type值[[，并且该图片不是IRAP图片]]。mixed_nalu_types_in_pic_flag等于0规定参考PPS的每个图片具有一个或多个VCLNAL单元，并且参考PPS的每个图片的VCL NAL单元具有相同的nal_unit_type值。

[[对于具有在IDR_W_RADL到CRA_NUT范围(包含本数)内的nal_unit_type值nalUnitTypeA的每个条带，在还包含nal_unit_type的另一个值的一个或多个条带的图片picA中(即，图片picA的mixed_nalu_types_in_pic_flag的值等于1)，以下适用：

–条带应属于对应subpic_treated_as_pic_flag[i]的值等于1的子图片subpicA。

–否则(即，nalUnitTypeA等于IDR_W_RADL或IDR_N_LP)，对于按照解码顺序在当前图片之后的CLVS中的所有PU，这些PU中的subpicA中的条带的RefPicList[0]或RefPicList[1]都不应包括活动条目中按照解码顺序先于picA的任何图片。]]

...

7.4.3.7图片标头结构语义

...

recovery_poc_cnt规定按照输出顺序解码图片的恢复点。

如果当前图片是[[与PH相关联的]]GDR图片，并且在CLVS中存按照解码顺序在当前GDR图片之后的图片picA，其具有等于

[[当前GDR图片的PicOrderCntVal加recovery_poc_cnt的值]]的PicOrderCntVal，则图片picA被称为恢复点图片。否则，

按照输出顺序大于

[[当前图片的PicOrderCntVal加recovery_poc_cnt的值]]的PicOrderCntVal的第一图片被称为恢复点图片。恢复点图片不应按照解码顺序在当前GDR图片之前。

recovery_poc_cnt的值应在0到MaxPicOrderCntLsb-1的范围(包含本数)内。

[[当当前图片是GDR图片时，变量RpPicOrderCntVal被推导如下：

RpPicOrderCntVal＝PicOrderCntVal+recovery_poc_cnt (81)]]

注释2–当gdr_enabled_flag等于1且当前图片的PicOrderCntVal大于或等于关联GDR图片的

[[RpPicOrderCntVal]]时，按照输出顺序当前和后续解码图片与从按照解码顺序在关联GDR图片之前的先前IRAP图片(当存在时)开始解码处理所产生的对应图片完全匹配。

...

8.3.2参考图片列表构造的解码处理

...

比特流一致性的一个要求是应用以下约束：

–当当前条带的具有等于STSA_NUT的nal_unit_type时，则不应存在RefPicList[0]或RefPicList[1]中TemporalId等于当前图片的TemporalId且nuh_layer_id等于当前图片的nuh_layer_id的活动条目。

–当具有等于特定值layerId的nuh_layer_id的当前图片是CRA图片时，则不应存在由RefPicList[0]或RefPicList[1]中的条目所涉及的图片，该图片按照输出顺序或按照解码顺序在具有等于layerId的nuh_layer_id的按照解码顺序的任何先前IRAP图片(当存在时)之前。

–当具有等于特定值layerId的nuh_layer_id的当前图片不是与具有等于1的NoOutputBeforeRecoveryFlag的CRA图片相关联的RASL图片、具有等于1的NoOutputBeforeRecoveryFlag的GDR图片或者具有等于1的NoOutputBeforeRecoveryFlag以及等于layerId的nuh_layer_id的GDR图片的恢复图片时，则不应存在通过生成不可用参考图片的解码处理来生成的由RefPicList[0]或RefPicList[1]中的活动条目所涉及的图片。

–当具有等于特定值layerId的nuh_layer_id的当前图片不是具有等于1的NoOutputBeforeRecoveryFlag的CRA图片、按照解码顺序在与具有等于1的NoOutputBeforeRecoveryFlag的相同CRA图片相关联的前置图片之前的图片、与具有等于1的NoOutputBeforeRecoveryFlag的CRA图片相关联的前置图片、具有等于1的NoOutputBeforeRecoveryFlag的GDR图片、或者具有等于1的NoOutputBeforeRecoveryFlag以及等于layerId的nuh_layer_id的GDR图片的恢复图片时，则不应存在通过生成不可用参考图片的解码处理来生成的由RefPicList[0]或RefPicList[1]中的条目所涉及的图片。

–当当前图片与IRAP图片相关联并且按照输出顺序在该IRAP图片之后时，则不应存在按照输出顺序或按照解码顺序在关联IRAP图片之前的由RefPicList[0]或RefPicList[1]中的活动条目所涉及的图片。

–当当前图片与IRAP图片相关联时，在按照输出顺序在IRAP图片之后，并且按照解码顺序和按照输出顺序都在与相同IRAP图片(如果存在)相关联的前置图片之后，则不应存在按照输出顺序或按照解码顺序在关联IRAP图片之前的由RefPicList[0]或RefPicList[1]中的条目所涉及的图片。

–当当前图片是RADL图片时，则在RefPicList[0]或RefPicList[1]中不应有以下活动条目中的任何一个：

οRASL图片

ο按照解码顺序在关联IRAP图片之前的图片

–由当前图片的条带的RefPicList[0]或RefPicList[1]中的每个ILRP条目所涉及的图片应与当前图片在相同的AU中。

–由当前图片的条带的RefPicList[0]或RefPicList[1]中的每个ILRP条目所涉及的图片应存在于DPB中，并且nuh_layer_id应小于当前图片的nuh_layer_id。

图5是示出了其中，可以实施本文公开的各种技术的示例视频处理系统1900的框图。各种实施可以包括系统1900的部分或全部组件。系统1900可以包括用于接收视频内容的输入1902。视频内容可以以原始或未压缩的格式(例如8或10比特多分量像素值)接收，或者可以是以压缩或编码格式。输入1902可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括如以太网、无源光网络(passive optical network,PON)等有线接口和诸如Wi-Fi或蜂窝接口的无线接口。

系统1900可以包括编解码组件1904，其可以实施本文档中描述的各种编解码或编码方法。编解码组件1904可以降低从输入1902到编解码组件1904的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件1904的输出可以被存储，或者通过由组件1906表示的连接的通信而传输。组件1908可以使用在输入1902处接收的视频的存储或通信的比特流(或编解码)表示来生成发送到显示接口1910的像素值或可显示视频。从比特流表示生成用户可视视频的处理有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是应当理解，在编码器处使用编码工具或操作，并且将由解码器执行相应的解码工具或反转编码结果的操作。

外围总线接口或显示器接口的示例可以包括通用串行总线(USB)或高清多媒体接口(HDMI)或显示端口(Displayport)等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以实施在各种电子设备中，例如能够执行数字数据处理和/或视频显示的移动电话、膝上型计算机、智能手机或其他设备。

图6是视频处理装置3600的框图。装置3600可用于实施本文描述的一种或多种方法。装置3600可以实施在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置3600可以包括一个或多个处理器3602、一个或多个存储器3604和视频处理硬件3606。(多个)处理器3602可以被配置成实施本文档中描述的一种或多种方法。(多个)存储器3604可用于存储用于实施本文所述方法和技术的数据和代码。视频处理硬件3606可用于在硬件电路中实施本文档中描述的一些技术。

图8是示出了可利用本发明的技术的示例视频编解码系统100的框图。

如图8所示，视频编解码系统100可以包括源设备110和目标设备120。源设备110生成可被称为视频编码设备的经编码视频数据。目标设备120可解码由可称为视频解码设备的源设备110生成的经编码视频数据。

源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。

视频源112可以包括如视频捕获设备、从视频内容提供商接收视频数据的接口和/或用于生成视频数据的计算机图形系统的源，或者这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码，以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关数据。编解码图片是图片的编解码表示。相关数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发送器。经编码视频数据可经由I/O接口116通过网络130a直接发送到目标设备120。经编码视频数据还可存储在存储介质/服务器130b上以供目标设备120访问。

目标设备120可以包括I/O接口126、视频解码器124和显示设备122。

I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取经编码视频数据。视频解码器124可以解码经编码视频数据。显示设备122可以向用户显示经解码视频数据。显示设备122可以与目标设备120集成在一起，或者可以在目标设备120的外部，该目标设备120被配置为与外部显示设备连接。

视频编码器114和视频解码器124可以根据视频压缩标准操作，例如高效视频编解码(HEVC)标准、通用视频编码解(VVM)标准和其他当前和/或进一步的标准。

图9是示出了视频编码器200的示例的框图，视频编码器200可以是图8中示出的系统100中的视频编码器114。

视频编码器200可被配置为执行本发明的任何或所有技术。在图9的示例中，视频编码器200包括多个功能组件。本发明中描述的技术可在视频编码器200的各种组件之间共享。在一些示例中，处理器可以被配置成执行本公开中描述的任何或所有技术。

视频编码器200的功能组件可包括分割单元201、可包括模式选择单元203的预测单元202、运动估计单元204、运动补偿单元205和帧内预测单元206、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲器213和熵编码单元214。

在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在一示例中，预测单元202可包括帧内块复制(intra block copy，IBC)单元。IBC单元可以以IBC模式执行预测，其中，至少一个参考图片是当前视频块所在的图片。

此外，一些组件(例如，运动估计单元204和运动补偿单元205)可高度集成，但出于解释目的而在图9的示例中单独表示。

分割单元201可将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。

模式选择单元203可(例如，基于误差结果)选择编解码模式(帧内或帧间)中的一种，且将所得帧内或帧间编解码块提供到残差生成单元207以生成残差块数据，且提供到重构单元212以重构编码块以用作参考图片。在一些示例中，模式选择单元203可以选择帧内和帧间预测(CIIP)模式的组合，其中，预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元203还可以为块选择运动矢量的分辨率(例如，子像素或整数像素精度)。

为了对当前视频块执行帧间预测，运动估计单元204可通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可基于来自缓冲器213的除了与当前视频块相关联的图片之外的图片的运动信息和解码样点来确定当前视频块的预测视频块。

运动估计单元204和运动补偿单元205可对当前视频块执行不同的操作，例如，取决于当前视频块是在I条带、P条带还是B条带中。

在一些示例中，运动估计单元204可对当前视频块执行单向预测，且运动估计单元204可在列表0或列表1的参考图片中搜索当前视频块的参考视频块。运动估计单元204可接着生成指示列表0或列表1中的参考图片的参考索引，该参考图片包含参考视频块和指示当前视频块与参考视频块之间的空域位移的运动矢量。运动估计单元204可输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。

在其他示例中，运动估计单元204可对当前视频块执行双向预测，运动估计单元204可在列表0中的参考图片中搜索当前视频块的参考视频块，且还可在列表1中的参考图片中搜索当前视频块的另一参考视频块。运动估计单元204可接着生成参考索引和运动矢量，该参考索引指示包含参考视频块的列表0和列表1中的参考图片，该运动矢量指示参考视频块与当前视频块之间的空域位移。运动估计单元204可输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。

在一些示例中，运动估计单元204可输出用于解码器的解码处理的一组完整运动信息。

在一些示例中，运动估计单元204可能不输出当前视频的一组完整运动信息。相反，运动估计单元204可参考另一视频块的运动信息来信令通知当前视频块的运动信息。例如，运动估计单元204可确定当前视频块的运动信息与临近视频块的运动信息足够相似。

在一个示例中，运动估计单元204可在与当前视频块相关联的语法结构中指示一值，该值向视频解码器300指示当前视频块具有与另一视频块相同的运动信息。

在另一示例中，运动估计单元204可在与当前视频块相关联的语法结构中识别另一视频块和运动矢量差(motion vector difference，MVD)。运动矢量差指示当前视频块的运动矢量和所指示的视频块的运动矢量之间的差。视频解码器300可使用所指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。

如上所述，视频编码器200可以预测性地信令通知运动矢量。可由视频编码器200实施的预测信令技术的两个示例包含高级运动矢量预测(advanced motion vectorpredication，AMVP)和merge模式信令通知。

帧内预测单元206可对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时，帧内预测单元206可基于同一图片中的其他视频块的经解码样点来生成当前视频块的预测数据。当前视频块的预测数据可包括预测的视频块和各种语法元素。

残差生成单元207可通过从当前视频块减去(例如，由负号指示)当前视频块的预测视频块来生成产生当前视频块的残差数据。当前视频块的残差数据可包括对应于当前视频块中样点的不同样点分量的残差视频块。

在其他示例中，当前视频块可能没有当前视频块的残差数据，例如在跳过模式中，并且残差生成单元207可不执行减法操作。

变换处理单元208可通过将一个或多个变换应用于与当前视频块相关联的残差视频块来生成当前视频块的一个或多个变换系数视频块。

在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。

逆量化单元210和逆变换单元211可分别对变换系数视频块应用逆量化和逆变换，以从变换系数视频块重构残差视频块。重构单元212可将重构的残差视频块添加到来自由预测单元202生成的一个或多个预测视频块的对应样点，以产生与当前块相关联的重构视频块，用于缓冲器213中的存储。

在重构单元212重构视频块之后，可执行环路滤波操作以减少视频块中的视频块效应。

熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收数据时，熵编码单元214可以执行一个或多个熵编码操作以生成熵编码的数据并输出包括熵编码的数据的比特流。

所公开的技术的一些实施例包括做出决定或确定以启用视频处理工具或模式。在示例中，当启用视频处理工具或模式时，编码器将在视频块的处理中使用或实施该工具或模式，但可能不一定基于工具或模式的使用来修改所得比特流。即，当基于决定或确定启用视频处理工具或模式时，从视频块到视频的比特流(或比特流表示)的转换将使用该视频处理工具或模式。在另一个示例中，当启用视频处理工具或模式时，解码器将在知道比特流已经基于视频处理工具或模式被修改的情况下处理比特流。即，将使用基于该决定或确定而启用的视频处理工具或模式来执行从视频的比特流到视频的块的转换。

图10是示出了视频解码器300的示例的框图，该视频解码器300可以是图8所示的系统100中的视频解码器114。

视频解码器300可经配置以执行本发明的任何或所有技术。在图10的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各种组件之间共享。在一些示例中，处理器可以被配置成执行本公开中描述的任何或所有技术。

在图10的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、重构单元306和缓冲器307。在一些示例中，视频解码器300可以执行通常与针对视频编码器200(图9)描述的编码过程相反的解码通道。

熵解码单元301可检索经编码的比特流。经编码的比特流可以包括经熵编码的视频数据(例如，经编码视频数据块)。熵解码单元301可解码经熵编码的视频数据，并且从经熵解码的视频数据，运动补偿单元302可确定运动信息，包含运动矢量、运动矢量精度、参考图片列表索引和其他运动信息。运动补偿单元302可(例如)通过执行AMVP和merge模式来确定这类信息。

运动补偿单元302可产生运动补偿块，可能基于插值滤波器执行插值。语法元素中可包含要以子像素精度使用的插值滤波器的识别符。

运动补偿单元302可使用如视频编码器200在视频块的编码期间所使用的插值滤波器来计算参考块的子整数像素的插值。运动补偿单元302可根据所接收的语法信息来确定视频编码器200所使用的插值滤波器，并使用插值滤波器来产生预测块。

运动补偿单元302可使用一些语法信息来确定用于编码经编码视频序列的(多个)帧和/或(多个)条带的块的尺寸、描述编码视频序列的图片的每个宏块如何被分割的分割信息、指示每个分割如何被编码的模式、每个经帧间编码的块的一个或多个参考帧(和参考帧列表)以及解码编码视频序列的其他信息。

帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空域邻近的块形成预测块。逆量化单元303逆量化(即，去量化)比特流中提供的并且由熵解码单元301解码的量化视频块系数。逆变换单元303应用逆变换。

重构单元306可将残差块与由运动补偿单元202或帧内预测单元303生成的对应预测块相加，以形成经解码的块。如果需要，还可以应用去方块滤波器来对经解码的块进行滤波，以便去除块效应。经解码的视频块然后被存储在缓冲器307中，该缓冲器307为后续的运动补偿/帧内预测提供参考块，并且还产生经解码的视频以在显示设备上呈现。

接下来提供由一些实施例优选的技术方案列表。

以下技术方案示出了在先前章节(例如，项目1)中讨论的技术的示例实施例。

1.一种视频处理方法(例如，图7中所示的方法700)，包括：执行(702)包括包含一个或多个子图片的一个或多个图片的视频和视频的编解码表示之间的转换，其中，该编解码表示格式规则，该格式规则规定，包括一个或多个子图片的一个或多个图片包括在根据网络抽象层(NAL)单元的编解码表示中，其中，在编解码表示中指示的一种类型NAL单元包括特定类型图片的编解码条带或特定类型子图片的编解码条带。

以下技术方案示出了在先前章节(例如，项目2)中讨论的技术的示例实施例。

2.一种视频处理方法，包括：执行包括包含一个或多个子图片的一个或多个图片的视频和视频的编解码表示之间的转换，其中，该编解码表示符合格式规则，该格式规则规定，具有不同网络抽象层单元类型的两个临近子图片将具有相同的被视为图片标志的子图片的指示。

以下技术方案示出了在先前章节(例如，项目4、5、6、7、9、1、11、12)中讨论的技术的示例实施例。

3.一种视频处理方法，包括：执行包括包含一个或多个子图片的一个或多个图片的视频和视频的编解码表示之间的转换，其中，该编解码表示符合格式规则，该格式规则定义第一类型子图片和第二类型子图片的顺序，其中，第一子图片是后置子图片或前置子图片或随机接入跳过前置(RASL)子图片类型，并且第二子图片是RASL类型或随机接入可解码前置(RADL)类型或即时解码刷新(IDR)类型或逐渐解码刷新(GDR)类型子图片。

4.根据技术方案3所述的方法，其中，该规则规定，按照输出顺序后置子图片在关联帧内随机接入点或GDR子图片之后。

5.根据技术方案3所述的方法，其中，该规则规定，当图片是帧内随机接入点图片的前置图片时，该图片中所有网络抽象层单元的nal_unit_type值等于RADL_NUT或RASL_NUT。

6.根据技术方案3所述的方法，其中，该规则规定，作为IRAP子图片的前置子图片的给定子图片也必须是RADL或RASL子图片。

7.根据技术方案3所述的方法，其中，该规则规定，作为RASL子图片的给定子图片不允许与IDR子图片相关联。

8.根据技术方案3所述的方法，其中，该规则规定，具有与IRAP子图片相同的层id和子图片索引的给定子图片按照输出顺序必须在IRAP子图片及其所有关联RADL子图片之前。

9.根据技术方案3所述的方法，其中，该规则规定，具有与GDR子图片相同的层id和子图片索引的给定子图片按照输出顺序必须在GDR子图片及其所有关联RADL子图片之前。

10.根据技术方案3所述的方法，其中，该规则规定，作为与CRA子图片相关联的RASL子图片的给定子图片按照输出顺序在与CRA子图片相关联的所有RADL子图片之前。

11.根据技术方案3所述的方法，其中，该规则规定，作为与CRA子图片相关联的RASL子图片的给定子图片按照输出顺序在与CRA子图片相关联的所有IRAP子图片之前。

12.根据技术方案3所述的方法，其中，该规则规定，给定子图片是具有IRAP子图片的前置子图片，则按照解码顺序给定子图片在与IRAP图片相关的所有非前置子图片之前。

以下技术方案示出了先前章节(例如，项目8、14、15)中讨论的技术的示例实施例。

13.一种视频处理方法，包括：执行包括包含一个或多个子图片的一个或多个图片的视频和视频的编解码表示之间的转换，其中，该编解码表示符合格式规则，该格式规则定义了允许或不允许第一类型的子图片与第二类型的子图片一起存在的条件。

14.根据技术方案13所述的方法，其中，该规则规定，如果存在网络抽象层类型IDR_N_LP的IDR子图片，则不允许编解码表示具有RADP子图片。

15.根据技术方案13所述的方法，其中，该规则不允许将图片包括在包含逐步时域子层接入(STSA)子图片的图片的参考列表中，使得该图片在包含STSA子图片的图片之前。

16.根据技术方案13所述的方法，其中，该规则不允许将图片包括在包含帧内随机接入点(IRAP)子图片的图片的图片的参考列表中，使得该图片在包含IRAP子图片的图片之前。

17.根据技术方案1至16中任一项所述的方法，其中，该转换包括将视频编码成编解码表示。

18.根据技术方案1至16中任一项所述的方法，其中，该转换包括解码编解码表示以生成视频的像素值。

19.一种视频解码装置，包括被配置为实施技术方案1至18中的一个或多个中所述的方法的处理器。

20.一种视频编码装置，包括被配置为实施技术方案1至18中的一个或多个中所述的方法的处理器。

21.一种其上存储有计算机代码的计算机程序产品，该代码当由处理器运行时使处理器实施技术方案1至18中任一项所述的方法。

22.本文档中描述的方法、设备或系统。

在本文描述的技术方案中，编码器可以通过根据格式规则产生编解码表示来符合格式规则。在本文描述的技术方案中，解码器可以使用格式规则来解析编解码表示中的语法元素，根据格式规则了解语法元素的存在和不存在，以产生解码的视频。

图11是视频处理的示例方法1100的流程图。操作1102包括，执行包括包含一个或多个子图片的一个或多个图片的视频和视频的比特流之间的转换，其中，该比特流符合规定比特流中的网络抽象层(NAL)单元的语法的格式规则，并且其中，该格式规则规定视频编解码层(VCL)NAL单元类型的NAL单元包括与特定类型的图片或特定类型的子图片相关联的内容。

在方法1100的一些实施例中，VCL NAL单元类型的NAL单元的内容指示，编解码条带与纯随机接入图片或纯随机接入子图片相关联。在方法1100的一些实施例中，纯随机接入子图片是每个VCL NAL单元具有纯随机接入类型的帧内随机接入点子图片。在方法1100的一些实施例中，VCL NAL单元类型的NAL单元的内容指示，编解码条带与关联逐渐解码刷新图片或关联逐渐解码刷新子图片相关联。在方法1100的一些实施例中，关联逐渐解码刷新子图片按照解码顺序是具有VCL NAL单元所属的层的标识符或非VCL NAL单元所应用的层的标识符等于第一特定值且具有子图片索引的第二特定值的先前逐渐解码刷新子图片，并且其中，按照解码顺序在先前逐渐解码刷新子图片和具有标识符的第一特定值和子图片索引的第二特定值的特定子图片之间，不存在具有标识符标识符的第一特定值和子图片索引的第二特定值的帧内随机接入点子图片。

在方法1100的一些实施例中，VCL NAL单元类型的NAL单元的内容指示，编解码条带与关联帧内随机接入点图片或关联帧内随机接入点子图片相关联。在方法1100的一些实施例中，关联帧内随机接入点子图片按照解码顺序是具有VCL NAL单元所属的层的标识符或非VCL NAL单元所应用的层的标识符等于第一特定值且具有子图片索引的第二特定值的先前帧内随机接入点子图片，并且其中，按照解码顺序在先前帧内随机接入点子图片和具有标识符的第一特定值和子图片索引的第二特定值的特定子图片之间，不存在具有标识符的第一特定值和子图片索引的第二特定值的逐渐解码刷新子图片。在方法1100的一些实施例中，VCL NAL单元类型的NAL单元的内容指示，编解码条带与即时解码刷新图片或即时解码刷新子图片相关联。在方法1100的一些实施例中，即时解码刷新子图片是其中每个VCLNAL单元具有即时解码刷新类型的帧内随机接入点子图片。

在方法1100的一些实施例中，VCL NAL单元类型的NAL单元的内容指示，编解码条带与前置图片或前置子图片相关联。在方法1100的一些实施例中，前置子图片是按照输出顺序在关联帧内随机接入点子图片之前的子图片。在方法1100的一些实施例中，VCL NAL单元类型的NAL单元的内容指示，编解码条带与随机接入可解码前置图片或随机接入可解码前置子图片相关联。在方法1100的一些实施例中，随机接入可解码前置子图片是每个VCLNAL单元具有随机接入可解码前置类型的子图片。在方法1100的一些实施例中，VCL NAL单元类型的NAL单元的内容指示，编解码条带与随机接入跳过前置图片或随机接入跳过前置子图片相关联。在方法1100的一些实施例中，随机接入跳过前置子图片是每个VCL NAL单元具有随机接入跳过前置类型的子图片。在方法1100的一些实施例中，VCL NAL单元类型的NAL单元的内容指示，编解码条带与逐步时域子层接入图片或逐步时域子层接入子图片相关联。

在方法1100的一些实施例中，逐步时域子层接入子图片是每个VCL NAL单元具有逐步时域子层接入类型的子图片。在方法1100的一些实施例中，VCL NAL单元类型的NAL单元的内容指示，编解码条带与后置图片或后置子图片相关联。在方法1100的一些实施例中，后置子图片是每个VCL NAL单元具有后置类型的子图片。

图12是视频处理的示例方法1200的流程图。操作1202包括，执行包括包含子图片的图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，并且其中，该格式规则规定，响应于子图片是帧内随机接入点子图片的前置子图片，子图片是随机接入类型的子图片。

在方法1200的一些实施例中，子图片的随机接入类型是随机接入可解码前置子图片。在方法1200的一些实施例中，子图片的随机接入类型是随机接入跳过前置子图片。

图13是视频处理的示例方法1300的流程图。操作1302包括，执行包括包含子图片的图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，并且其中，该格式规则规定，响应于一个或多个随机接入跳过前置子图片与即时解码刷新子图片相关联，比特流中不存在一个或多个随机接入跳过前置子图片。

图14是视频处理的示例方法1400的流程图。操作1402包括，执行包括包含子图片的图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，该格式规则规定，响应于一个或多个随机接入可解码前置子图片与具有指示即时解码刷新子图片不与前置图片相关联的一种类型的网络抽象层(NAL)单元的即时解码刷新子图片相关联，比特流中不存在一个或多个随机接入可解码前置子图片。

图15是视频处理的示例方法1500的流程图。操作1502包括，执行包括包含两个临近子图片的图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，该格式规则规定，具有不同类型的网络抽象层(NAL)单元的两个临近子图片具有相同第一值的语法元素，该语法元素指示编解码层视频序列中的两个临近子图片中的每一个是否被视为图片。

在方法1500的一些实施例中，格式规则规定，两个临近子图片的语法元素指示编解码层视频序列中的两个临近子图片中的每一个被视为图片。

图16是视频处理的示例方法1600的流程图。操作1602包括，执行包括包含两个临近子图片的图片的视频和视频的比特流之间的转换，其中，该格式规则规定，两个临近子图片包括具有第一子图片索引的第一临近子图片和具有第二子图片索引的第二临近子图片，并且其中，该格式规则规定响应于与第一子图片索引相关联的第一语法元素指示第一临近子图片未被视为图片或者与第二子图片索引相关联的第二语法元素指示第二临近子图片未被视为图片，两个临近子图片具有相同类型的网络抽象层(NAL)单元。

在方法1600的一些实施例中，图片包括包含两个临近子图片的多个子图片，并且其中，该格式规则规定，响应于来自多个子图片的具有指示子图片不被视为图片的语法元素的子图片，多个子图片具有相同类型的NAL单元。在方法1600的一些实施例中，图片包括包含两个临近子图片的多个子图片，并且其中，该格式规则规定，响应于多个子图片具有指示CLVS中的多个子图片中的每个被视为图片的对应语法元素，语法元素指示参考图片参数集(PPS)的视频的每个图片有不具有相同类型的视频编解码层(VCL)NAL单元的多个VCLNAL单元。

图17是视频处理的示例方法1700的流程图。操作1702包括，执行包括包含一个或多个子图片的图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，该格式规则规定，响应于语法元素指示参考图片参数集(PPS)的视频的每个图片具有没有相同类型的视频编解码层(VCL)网络抽象层(NAL)单元的多个VCL NAL单元，允许图片包括多于两个不同类型的VCL NAL单元。

图18是视频处理的示例方法1800的流程图。操作1802包括，执行包括包含一个或多个子图片的一个或多个图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，该格式规则规定，按照顺序与帧内随机接入点子图片或逐渐解码刷新子图片相关联的后置子图片在帧内随机接入点子图片或逐渐解码刷新子图片之后。

在方法1800的一些实施例中，顺序是输出顺序。

图19是视频处理的示例方法1900的流程图。操作1902包括，执行包括包含一个或多个子图片的一个或多个图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，该格式规则规定，响应于：(1)按照第二顺序子图片在帧内随机接入点子图片之前，(2)该子图片和帧内随机接入点子图片对于该子图片和帧内随机接入点子图片的网络抽象层(NAL)单元所属的层具有相同的第一值，以及(3)该子图片和帧内随机接入点子图片具有相同的子图片索引的第二值，按照第一顺序该子图片在帧内随机接入点子图片和与帧内随机接入点子图片相关联的一个或多个随机接入可解码前置子图片之前。

在方法1800的一些实施例中，第一顺序是输出顺序。在方法1800的一些实施例中，第二顺序是解码顺序。

图20是视频处理的示例方法2000的流程图。操作2002包括，执行包括包含一个或多个子图片的一个或多个图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，该格式规则规定，按照顺序与纯随机接入子图片相关联的随机接入跳过前置子图片在与纯随机接入子图片相关联的一个或多个随机接入可解码前置子图片之前。

在方法2000的一些实施例中，顺序是输出顺序。

图21是视频处理的示例方法2100的流程图。操作2102包括，执行包括包含一个或多个子图片的一个或多个图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，该格式规则规定，按照第一顺序与纯随机接入子图片相关联的随机接入跳过前置子图片在按照第二顺序在纯随机接入子图片之前的一个或多个帧内随机接入点子图片之后。

在方法2100的一些实施例中，第一顺序是输出顺序。在方法2100的一些实施例中，第二顺序是解码顺序。

图22是视频处理的示例方法2200的流程图。操作2202包括，执行包括包含一个或多个子图片的一个或多个图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，该格式规则规定，响应于：(1)语法元素指示编解码层视频序列传达表示帧的图片，以及(2)当前子图片是与帧内随机接入点子图片相关联的前置子图片，按照解码顺序当前子图片在与帧内随机接入点子图片相关联的一个或多个非前置子图片之前。

在方法2200的一些实施例中，响应于(1)语法元素指示编解码层视频序列传达表示字段的图片，以及(2)当前子图片不是前置子图片，格式规则规定：按照解码顺序在与帧内随机接入点子图片相关联的第一前置子图片之前存在至多一个非前置子图片，以及按照解码顺序在与帧内随机接入点子图片相关联的第一前置子图片和最后前置子图片之间不存在非前置图片，其中，当前子图片、至多一个非前置子图片和非前置图片对于当前子图片、该至多一个非前置子图片和非前置图片的网络抽象层(NAL)单元所属的层具有相同的第一值，并且其中，当前子图片、该至多一个非前置子图片和非前置图片具有相同的子图片索引的第二值。

图23是视频处理的示例方法2300的流程图。操作2302包括，执行包括包含一个或多个子图片的一个或多个图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，该格式规则规定，响应于图片是帧内随机接入点图片的前置图片，图片中的所有视频编解码层(VCL)网络抽象层(NAL)单元的一种或多种类型的NAL单元包括RADL_NUT或RASL_NUT。

在方法2300的一些实施例中，格式规则规定，响应于：(1)图片中所有VCL NAL单元的一种或多种类型的NAL单元包括RADL_NUT和RASL_NUT，以及(2)包括该图片的层是输出层，图片的变量被设置为等于图片输出标志的值。

图24是视频处理的示例方法2400的流程图。操作2402包括，执行包括包含多个子图片的一个或多个图片的视频和视频的比特流之间的转换，其中，该比特流符合格式规则，该格式规则规定，响应于：(1)按照第二顺序上至少一个子图片在逐渐解码刷新子图片之前，(2)该至少一个子图片和逐渐解码刷新子图片对于该至少一个子图片和逐渐解码刷新子图片的网络抽象层(NAL)单元所属的层具有相同的第一值，以及(3)该至少一个子图片和逐渐解码刷新图片具有相同的子图片索引的第二值，按照第一顺序该至少一个子图片在逐渐解码刷新子图片和与逐渐解码刷新子图片相关联的一个或多个子图片之前。

在实施例2400的一些方法中，第一顺序是输出顺序。在实施例2400的一些方法中，第二顺序是解码顺序。

图25是视频处理的示例方法2500的流程图。操作2502包括，执行包括包含当前子图片的当前图片的视频和视频的比特流之间的转换，该当前子图片包括当前条带，其中，该比特流符合格式规则，响应于：(a)第一图片具有与当前子图片相同的时域标识符和相同的网络抽象层(NAL)单元的层标识符，以及(b)按照解码顺序当前子图片在逐步时域子层接入子图片之后，以及(c)当前子图片和逐步时域子层接入子图片具有相同的时域标识符、相同的层标识符和相同的子图片索引，该格式规则不允许当前条带的参考图片列表中的活动条目包括按照解码顺序在第二图片之前的第一图片，该第二图片包括逐步时域子层接入子图片。

在实施例2500的一些方法中，参考图片列表包括列表0参考图片列表。在实施例2500的一些方法中，参考图片列表包括列表1参考图片列表。

图26是视频处理的示例方法2600的流程图。操作2602包括，执行包括包含当前子图片的当前图片的视频和视频的比特流之间的转换，该当前子图片包括当前条带，其中，该比特流符合格式规则，响应于当前子图片不是特定类型的子图片，该格式规则不允许当前条带的参考图片列表中的活动条目包括由生成不可用的参考图片的解码处理生成的第一图片。

在方法2600的一些实施例中，当前子图片不是与纯随机接入图片的纯随机接入子图片相关联的随机接入跳过前置子图片，该纯随机接入子图片具有等于1的指示恢复前无输出的标志值。在方法2600的一些实施例中，当前子图片不是逐渐解码刷新图片的逐渐解码刷新子图片，该逐渐解码刷新子图片具有等于1的指示恢复前无输出的标志值。在方法2600的一些实施例中，当前子图片不是逐渐解码刷新图片的恢复图片的子图片，该逐渐解码刷新图片的恢复图片的子图片具有等于1的指示恢复前无输出的标志值并且具有与当前子图片相同的网络抽象层(NAL)单元的层标识符。在方法2600的一些实施例中，参考图片列表包括列表0参考图片列表。在方法2600的一些实施例中，参考图片列表包括列表1参考图片列表。

图27是视频处理的示例方法2700的流程图。操作2702包括，执行包括包含当前子图片的当前图片的视频和视频的比特流之间的转换，该当前子图片包括当前条带，其中，该比特流符合格式规则，响应于当前子图片不是特定类型的子图片，该格式规则不允许当前条带的参考图片列表中的条目包括由生成不可用的参考图片的解码处理生成的第一图片。

在方法2700的一些实施例中，当前图片不是纯随机接入图片的纯随机接入子图片，该纯随机接入子图片具有等于1的指示恢复前无输出的标志值。在方法2700的一些实施例中，当前子图片不是按照解码顺序在与纯随机接入图片的纯随机接入子图片相关联的一个或多个前置子图片之前的子图片，该一个或多个前置子图片之前的子图片具有等于1的指示恢复前无输出的标志值。在方法2700的一些实施例中，当前子图片不是与纯随机接入图片的纯随机接入子图片相关联的前置子图片，该前置子图片具有等于1的指示恢复前无输出的标志值。在方法2700的一些实施例中，当前子图片不是逐渐解码刷新图片的逐渐解码刷新子图片，该逐渐解码刷新子图片具有等于1的指示恢复前无输出的标志值。

在方法2700的一些实施例中，当前子图片不是逐渐解码刷新图片的恢复图片的子图片，该子图片具有等于1的指示恢复前无输出的标志值并且具有与当前子图片相同的网络抽象层(NAL)单元的层标识符。在方法2700的一些实施例中，参考图片列表包括列表0参考图片列表。在方法2700的一些实施例中，参考图片列表包括列表1参考图片列表。

图28是视频处理的示例方法2800的流程图。操作2802包括，执行包括包含当前子图片的当前图片的视频和视频的比特流之间的转换，该当前子图片包括当前条带，其中，该比特流符合格式规则，响应于(a)第一图片包括先前帧内随机接入点子图片，按照第二顺序先前帧内随机接入点子图片在当前子图片之前，(b)先前帧内随机接入点子图片具有与当前子图片相同的网络抽象层(NAL)单元的层标识符和相同的子图片索引，以及(c)当前子图片是纯随机接入子图片，该格式规则不允许当前条带的参考图片列表中的条目包括按照第一顺序或第二顺序在当前图片之前的第一图片。

在方法2800的一些实施例中，第一顺序包括输出顺序。在方法2800的一些实施例中，第二顺序包括解码顺序。在方法2800的一些实施例中，参考图片列表包括列表0参考图片列表。在方法2800的一些实施例中，参考图片列表包括列表1参考图片列表。

图29是视频处理的示例方法2900的流程图。操作2902包括，执行包括包含当前子图片的当前图片的视频和视频的比特流之间的转换，该当前子图片包括当前条带，其中，该比特流符合格式规则，响应于(a)当前子图片与帧内随机接入点子图片相关联，(b)按照第一顺序当前子图片在帧内随机接入点子图片之后，该格式规则不允许当前条带的参考图片列表中的活动条目包括按照第一顺序或第二顺序在当前图片之前的第一图片。

在方法2900的一些实施例中，第一顺序包括输出顺序。在方法2900的一些实施例中，第二顺序包括解码顺序。在方法2900的一些实施例中，参考图片列表包括列表0参考图片列表。在方法2900的一些实施例中，参考图片列表包括列表1参考图片列表。

图30是视频处理的示例方法3000的流程图。操作3002包括，执行包括包含当前子图片的当前图片的视频和视频的比特流之间的转换，该当前子图片包括当前条带，其中，该比特流符合格式规则，响应于：(a)按照第一顺序当前子图片在帧内随机接入点子图片之后，(b)按照第一顺序和第二顺序当前子图片在与IRAP子图片相关联的一个或多个前置子图片之后，该格式规则不允许当前条带的参考图片列表中的条目包括按照第一顺序或第二顺序在包括与当前子图片相关联的帧内随机接入点子图片的当前图片之前的第一图片。

在方法3000的一些实施例中，第一顺序包括输出顺序。在方法3000的一些实施例中，第二顺序包括解码顺序。在方法3000的一些实施例中，参考图片列表包括列表0参考图片列表。在方法3000的一些实施例中，参考图片列表包括列表1参考图片列表。

图31是视频处理的示例方法3100的流程图。操作3102包括，执行包括包含当前子图片的当前图片的视频和视频的比特流之间的转换，该当前子图片包括当前条带，其中，该比特流符合格式规则，该格式规则规定，响应于当前子图片是随机接入可解码前置子图片，当前条带的参考图片列表不包括以下任意一个或多个的活动条目：包括随机接入跳过前置子图片的第一图片以及按照解码顺序在包括关联帧内随机接入点子图片的第三图片之前的第二图片。

在方法3100的一些实施例中，参考图片列表包括列表0参考图片列表。在方法3100的一些实施例中，参考图片列表包括列表1参考图片列表。

在本文档中，术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，可以在从视频的像素表示到对应的比特流表示的转换期间中应用视频压缩算法，反之亦然。例如，当前视频块的比特流表示可以对应于由语法定义的比特流中的共位或在不同位置传播的比特。例如，可以根据经过转换和编解码的误差残差值、并且也可以使用比特流中的标头和其他字段中的比特对宏块进行编码。此外，在转换期间，解码器可以基于该确定，在知道可能存在或不存在一些字段的情况下解析比特流，如以上技术方案中所述。类似地，编码器可以确定包括或不包括某些语法字段，并通过从编解码表示中包括或不包括语法字段来相应地生成编解码表示。

本文中描述的所公开的和其他技术方案、示例、实施例、模块和功能操作可以在数字电子电路或计算机软件、固件或硬件中实现，包括本文中公开的结构及其结构等效物，或者其中一个或多个的组合。所公开的实施例和其他实施例可以实现为一个或多个计算机程序产品，即在计算机可读介质上编码以供数据处理装置执行或控制其操作的计算机程序指令的一个或多个模块。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质的组合，或者一个或多个它们的组合。术语“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除硬件外，装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或其中一个或多个的组合的代码。传播的信号是人为生成的信号，例如，机器生成的电、光或电磁信号，其被生成以编码信息以传输到合适的接收器装置。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、分量、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标志语言文件中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。

本文档中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实施为特殊用途的逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如，帧内硬盘或可移动硬盘；磁光盘；以及CD ROM和DVD ROM盘。处理器和存储器可以由专用逻辑电路来补充，或并入专用逻辑电路中。

虽然本专利文件包含许多细节，但不应将其解释为对任何主题或权利要求范围的限制，而应解释为对特定技术的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。

同样，尽管附图中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件实施例中各种系统分量的分离不应理解为在所有实施例中都需要这样的分离。

仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims

1.一种视频处理方法，包括：

执行包括包含一个或多个子图片的一个或多个图片的视频和所述视频的比特流之间的转换，

其中，所述比特流符合规定所述比特流中的网络抽象层NAL单元的语法的格式规则，并且

其中，所述格式规则规定，视频编解码层VCL NAL单元类型的NAL单元包括与特定类型的图片或特定类型的子图片相关联的内容。

2.根据权利要求1所述的方法，其中，所述VCL NAL单元类型的NAL单元的内容指示，编解码条带与纯随机接入图片或纯随机接入子图片相关联。

3.根据权利要求2所述的方法，其中，所述纯随机接入子图片是每个VCL NAL单元具有纯随机接入类型的帧内随机接入点子图片。

4.根据权利要求1所述的方法，其中，所述VCL NAL单元类型的NAL单元的内容指示，编解码条带与关联逐渐解码刷新图片或关联逐渐解码刷新子图片相关联。

5.根据权利要求4所述的方法，

其中，所述关联逐渐解码刷新子图片按照解码顺序是具有VCL NAL单元所属的层的标识符或非VCL NAL单元所应用的层的标识符等于第一特定值且具有子图片索引的第二特定值的先前逐渐解码刷新子图片，并且

其中，按照所述解码顺序在所述先前逐渐解码刷新子图片和具有所述标识符的第一特定值和所述子图片索引的第二特定值的特定子图片之间，不存在具有所述标识符的第一特定值和所述子图片索引的第二特定值的帧内随机接入点子图片。

6.根据权利要求1所述的方法，其中，所述VCL NAL单元类型的NAL单元的内容指示，编解码条带与关联帧内随机接入点图片或关联随机接入点子图片相关联。

7.根据权利要求6所述的方法，

其中，所述关联随机接入点子图片按照解码顺序是具有VCL NAL单元所属的层的标识符或非VCL NAL单元所应用的层的标识符等于第一特定值且具有子图片索引的第二特定值的先前帧内随机接入点子图片，并且

其中，按照所述解码顺序在所述先前随机接入点子图片和具有所述标识符的第一特定值和所述子图片索引的第二特定值的特定子图片之间，不存在具有所述标识符的第一特定值和所述子图片索引的第二特定值的逐渐解码刷新子图片。

8.根据权利要求1所述的方法，其中，所述VCL NAL单元类型的NAL单元的内容指示，编解码条带与即时解码刷新图片或即时解码刷新子图片相关联。

9.根据权利要求8所述的方法，其中，所述即时解码刷新子图片是每个VCL NAL单元具有即时解码刷新类型的帧内随机接入点子图片。

10.根据权利要求1所述的方法，其中，所述VCL NAL单元类型的NAL单元的内容指示，编解码条带与前置图片或前置子图片相关联。

11.根据权利要求10所述的方法，其中，所述前置子图片是按照输出顺序在关联帧内随机接入点子图片之前的子图片。

12.根据权利要求1所述的方法，其中，所述VCL NAL单元类型的NAL单元的内容指示，编解码条带与随机接入可解码前置图片或随机接入可解码前置子图片相关联。

13.根据权利要求12所述的方法，其中，所述随机接入可解码前置子图片是每个VCLNAL单元具有随机接入可解码前置类型的子图片。

14.根据权利要求1所述的方法，其中，所述VCL NAL单元类型的NAL单元的内容指示，编解码条带与随机接入跳过前置图片或随机接入跳过前置子图片相关联。

15.根据权利要求14所述的方法，其中，所述随机接入跳过前置子图片是每个VCL NAL单元具有随机接入跳过前置类型的子图片。

16.根据权利要求1所述的方法，其中，所述VCL NAL单元类型的NAL单元的内容指示，编解码条带与逐步时域子层接入图片或逐步时域子层接入子图片相关联。

17.根据权利要求16所述的方法，其中，所述逐步时域子层接入子图片是每个VCL NAL单元具有逐步时域子层接入类型的子图片。

18.根据权利要求1所述的方法，其中，所述VCL NAL单元类型的NAL单元的内容指示，编解码条带与后置图片或后置子图片相关联。

19.根据权利要求18所述的方法，其中，所述后置子图片是每个VCL NAL单元具有后置类型的子图片。

20.一种视频处理方法，包括：

执行包括包含子图片的图片的视频和所述视频的比特流之间的转换，

其中，所述比特流符合格式规则，并且

其中，所述格式规则规定，响应于所述子图片是帧内随机接入点子图片的前置子图片，所述子图片是随机接入类型的子图片。

21.根据权利要求20所述的方法，其中，所述子图片的所述随机接入类型是随机接入可解码前置子图片。

22.根据权利要求20所述的方法，其中，所述子图片的所述随机接入类型是随机接入跳过前置子图片。

23.一种视频处理方法，包括：

其中，所述比特流符合格式规则，并且

其中，所述格式规则规定，响应于一个或多个随机接入跳过前置子图片与即时解码刷新子图片相关联，所述比特流中不存在所述一个或多个随机接入跳过前置子图片。

24.一种视频处理方法，包括：

其中，所述比特流符合格式规则，所述格式规则规定，响应于一个或多个随机接入可解码前置子图片与具有指示即时解码刷新子图片不与前置图片相关联的一种类型的网络抽象层NAL单元的所述即时解码刷新子图片相关联，所述比特流中不存在所述一个或多个随机接入可解码前置子图片。

25.根据权利要求1至24中任一项所述的方法，其中，所述执行所述转换包括将所述视频编码成所述比特流。

26.根据权利要求1至24中任一项所述的方法，其中，所述执行所述转换包括从所述视频生成所述比特流，并且所述方法还包括将所述比特流存储在非暂时性计算机可读记录介质中。

27.根据权利要求1至24中任一项所述的方法，其中，所述执行所述转换包括从所述比特流中解码所述视频。

28.一种视频解码装置，包括被配置为实施权利要求1至27中的一项或多项所述的方法的处理器。

29.一种视频编码装置，包括被配置为实施权利要求1至27中的一项或多项所述的方法的处理器。

30.一种其上存储有计算机指令的计算机程序产品，所述指令当由处理器运行时使所述处理器实施权利要求1至27中任一项所述的方法。

31.一种存储根据权利要求1至27中任一项所述的方法生成的比特流的非暂时性计算机可读存储介质。

32.一种存储指令的非暂时性计算机可读存储介质，所述指令使处理器实施权利要求1至27中任一项所述的方法。

33.一种比特流生成方法，包括：

根据权利要求1至27中任一项所述的方法生成视频的比特流，以及

将所述比特流存储在计算机可读程序介质上。

34.一种方法、装置、根据本文件中描述的公开方法或系统生成的比特流。