CN114205609A

CN114205609A - 子图片轨道参考和处理

Info

Publication number: CN114205609A
Application number: CN202111094309.8A
Authority: CN
Inventors: 王业奎
Original assignee: Lemon Inc Cayman Island
Current assignee: Lemon Inc Cayman Island
Priority date: 2020-09-17
Filing date: 2021-09-17
Publication date: 2022-03-18
Also published as: JP2022050375A; CN114205607A; JP2024020476A; EP3972278A1; KR20220037400A; JP2022050374A; US11871143B2; EP3972279A1; US20220086457A1; KR20220037401A; JP7444826B2; US20220086386A1; JP7355791B2

Abstract

本申请涉及子图片轨道参考和处理。描述了用于处理可视媒体数据的系统、方法和装置。一种示例方法包括：执行可视媒体数据与可视媒体文件之间的转换，该可视媒体文件包括根据格式规则存储可视媒体数据的一个或多个比特流的一个或多个轨道；其中，可视媒体文件包括参考一个或多个子图片轨道的基础轨道，该子图片轨道存储可视媒体数据的一个或多个子图片的编解码信息，并且其中，格式规则指定用于根据一个或多个子图片轨道和基础轨道中的样本来重构视频单元的过程。

Description

子图片轨道参考和处理

相关申请的交叉引用

根据适用的专利法和/或根据巴黎公约的规则，本申请是为了及时要求于2020年9月17日提交的美国临时专利申请第63/079,933号和于2020年10月6日提交的美国临时专利申请第63/088,126号的优先权和权益而提出的。出于根据法律的所有目的，前述申请的整体公开内容通过引用结合于此，作为本申请的公开内容的一部分。

技术领域

本专利文档涉及以文件格式的数字音频视频媒体信息的生成、存储和消费。

背景技术

数字视频占互联网和其他数字通信网络上最大的带宽使用。随着能够接收和显示视频的联网用户设备的数量增加，预计数字视频使用的带宽需求将继续增长。

发明内容

本文档公开了可以由视频编码器和解码器用来根据文件格式处理视频或图像的编解码(coded)表示的技术。

在一个示例方面，公开了一种用于处理可视媒体数据的方法。该方法包括：执行可视媒体数据与可视媒体文件之间的转换，该可视媒体文件包括存储可视媒体数据的一个或多个比特流的一个或多个轨道；并且其中，可视媒体数据包括一个或多个图片，该一个或多个图片包括一个或多个子图片或者一个或多个条带；其中，可视媒体文件根据格式规则存储一个或多个轨道；并且其中，格式规则指定包括一个或多个条带或者一个或多个子图片的序列的轨道包括覆盖一个或多个图片的矩形区域。

在另一示例方面，公开了一种用于处理可视媒体数据的方法。该方法包括：执行可视媒体数据与可视媒体文件之间的转换，该可视媒体文件包括根据格式规则存储可视媒体数据的一个或多个比特流的一个或多个轨道；其中，可视媒体文件包括参考一个或多个子图片轨道的基础轨道，子图片轨道存储可视媒体数据的一个或多个子图片的编解码信息；并且其中，格式规则指定用于根据一个或多个子图片轨道和基础轨道中的样本来重构视频单元的过程。

在又一示例方面，公开了一种视频处理装置。视频处理装置包括被配置为实施上述方法的处理器。

在又一示例方面，公开了一种将可视媒体数据存储到包括一个或多个比特流的文件中的方法。该方法对应于上述方法并且还包括将一个或多个比特流存储到非暂时性计算机可读记录介质中。

在又一示例方面，公开了一种存储比特流的计算机可读介质。该比特流根据上述方法而生成。

在又一示例方面，公开了一种存储比特流的视频处理装置，其中，视频处理装置被配置为实施上述方法。

在又一示例方面，公开了一种计算机可读介质，其上的比特流符合根据上述方法生成的文件格式。

本文档通篇描述了这些和其他特征。

附图说明

图1是示例视频处理系统的框图。

图2是视频处理装置的框图。

图3是视频处理的示例方法的流程图。

图4是示出根据本公开的一些实施例的视频编解码系统的框图。

图5是示出根据本公开的一些实施例的编码器的框图。

图6是示出根据本公开的一些实施例的解码器的框图。

图7示出了编码器框图的示例。

图8示出了被分割成18个片、24个条带和24个子图片的图片。

图9示出了典型的基于子图片的视口相关的360度视频传递方案。

图10示出了从包含两个子图片和四个条带的比特流中提取一个子图片的示例。

图11和图12示出了基于所公开技术的一些实施方式来处理可视媒体数据的示例方法。

具体实施方式

为了便于理解，在本文档中使用了章节标题，并且不将每个章节中公开的技术和实施例的适用性仅限于该章节。此外，在一些描述中使用H.266术语仅仅是为了便于理解，而不是为了限制所公开技术的范围。这样，本文描述的技术也适用于其他视频编解码器协议和设计。在本文档中，相对于VVC规范或ISOBMFF文件格式规范的当前草案，对文本的编辑更改以删除线和突出显示示出，删除线指示删去的文本，突出显示指示添加的文本(包括粗体斜体)。

1.初步讨论

本文档与视频文件格式相关。具体地，它涉及基于ISO基础媒体文件格式(ISOBMFF)的媒体文件中的多个轨道中的多功能视频编解码(VVC)视频比特流的子图片的运载(carriage)。这些思想可以单独地或以各种组合应用于由任何编解码器所编解码的视频比特流(例如，VVC标准)，以及应用于任何视频文件格式(例如，正在开发的VVC视频文件格式)。

2.缩写

ACT adaptive colour transform自适应颜色变换

ALF adaptive loop filter自适应环路滤波器

AMVR adaptive motion vector resolution自适应运动矢量分辨率

APS adaptation parameter set自适应参数集

AU access unit存取单元

AUD access unit delimiter存取单元分隔符

AVC advanced video coding高级视频编解码(Rec.ITU-T H.264|ISO/IEC14496-10)

B bi-predictive双向预测的

BCW bi-prediction with CU-level weights带有CU级别权重的双向预测

BDOF bi-directional optical flow双向光流

BDPCM block-based delta pulse code modulation基于块的增量脉冲编解码调制

BP buffering period缓冲时段

CABAC context-based adaptive binary arithmetic coding基于上下文的自适应二进制算术编解码

CB coding block编解码块

CBR constant bit rate恒定比特率

CCALF cross-component adaptive loop filter交叉分量自适应环路滤波器

CPB coded picture buffer经编解码的图片缓冲器

CRA clean random access清晰随机存取

CRC cyclic redundancy check循环冗余校验

CTB coding tree block编解码树块

CTU coding tree unit编解码树单元

CU coding unit编解码单元

CVS coded video sequence经编解码的视频序列

DPB decoded picture buffer经解码的图片缓冲器

DCI decoding capability information解码能力信息

DRAP dependent random access point相关随机存取点

DU decoding unit解码单元

DUI decoding unit information解码单元信息

EG exponential-Golomb指数-哥伦布

EGk k-th order exponential-Golomb k阶指数-哥伦布

EOB end of bitstream比特流结尾

EOS end of sequence序列结尾

FD filler data滤波器数据

FIFO first-in,first-out先进先出

FL fixed-length固定长度

GBR green,blue,and red绿蓝红

GCI general constraints information通用约束信息

GDR gradual decoding refresh渐进解码刷新

GPM geometric partitioning mode几何分割模式

HEVC high efficiency video coding高效视频编解码(Rec.ITU-T H.265|ISO/IEC 23008-2)

HRD hypothetical reference decoder假想参考解码器

HSS hypothetical stream scheduler假想流调度器

I intra帧内

IBC intra block copy帧内块复制

IDR instantaneous decoding refresh即时解码刷新

ILRP inter-layer reference picture层间参考图片

IRAP intra random access point帧内随机存取点

LFNST low frequency non-separable transform低频不可分变换

LPS least probable symbol最不可能符号

LSB least significant bit最低有效位

LTRP long-term reference picture长期参考图片

LMCS luma mapping with chroma scaling带有色度缩放的亮度映射

MIP matrix-based intra prediction基于矩阵的帧内预测

MPS most probable symbol最有可能符号

MSB most significant bit最高有效位

MTS multiple transform selection多重变换选择

MVP motion vector prediction运动矢量预测

NAL network abstraction layer网络抽象层

OLS output layer set输出层集

OP operation point操作点

OPI operating point information操作点信息

P predictive预测的

PH picture header图片头

POC picture order count图片次序计数

PPS picture parameter set图片参数集

PROF prediction refinement with optical flow带有光流的预测细化

PT picture timing图片定时

PU picture unit图片单元

QP quantization parameter量化参数

RADL random access decodable leading(picture)随机存取可解码前导(图片)

RASL random access skipped leading(picture)随机存取跳过前导(图片)

RBSP raw byte sequence payload原始字节序列有效载荷

RGB red,green,and blue红绿蓝

RPL reference picture list参考图片列表

SAO sample adaptive offset样本自适应偏移

SAR sample aspect ratio样本高宽比

SEI supplemental enhancement information补充增强信息

SH slice header条带头

SLI subpicture level information子图片级别信息

SODB string of data bits数据比特串

SPS sequence parameter set序列参数集

STRP short-term reference picture短期参考图片

STSA step-wise temporal sublayer access逐步时域子层存取

TR truncated rice截短Rice

VBR variable bit rate可变比特率

VCL video coding layer视频编解码层

VPS video parameter set视频参数集

VSEI versatile supplemental enhancement information多功能补充增强信息(Rec.ITU-T H.274|ISO/IEC 23002-7)

VUI video usability information视频可用性信息

VVC versatile video coding多功能视频编解码(Rec.ITU-T H.266|ISO/IEC23090-3)

3.视频编解码介绍

3.1.视频编解码标准

视频编解码标准主要通过众所周知的ITU-T和ISO/IEC的发展演变而来。ITU-T制定了H.261和H.263，ISO/IEC制定了MPEG-1和MPEG-4可视，并且这两个组织联合制定了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262以来，视频编解码标准基于混合视频编解码结构，其中利用了时域预测加变换编解码。为了探索HEVC以外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索组(JVET)。此后，许多新的方法被JVET采用，并且被放入名为联合勘探模型(JEM)的参考软件中。当多功能视频编解码(VVC)项目正式启动时，JVET后来被更名为联合视频专家组(JVET)。VVC是目标在于与HEVC相比降低50％比特率的新编解码标准，该标准已由JVET在2020年7月1日结束的第19次会议上最终确定。

多功能视频编解码(VVC)标准(ITU-T H.266|ISO/IEC 23090-3)和相关的多功能补充增强信息(VSEI)标准(ITU-T H.274|ISO/IEC 23002-7)已被设计用于最广泛的应用，包括传统用途(诸如电视广播、视频会议或从存储媒体回放)以及更新且更高级的用例(诸如自适应比特率流式传输、视频区域提取、合成和合并来自多个经编解码的视频比特流的内容、多视图视频、可缩放分层编解码、以及视口自适应360度沉浸式媒体)。

3.2.文件格式标准

媒体流式传输应用通常基于IP、TCP和HTTP传输方法，并且通常依赖于诸如ISO基础媒体文件格式(ISOBMFF)之类的文件格式。一种这样的流式传输系统是基于HTTP的动态自适应流式传输(DASH)。为了使用具有ISOBMFF和DASH的视频格式，将需要特定于视频格式的文件格式规范，诸如ISO/IEC 14496-15(“Information technology—Coding of audio-visual objects—Part 15:Carriage of network abstraction layer(NAL)unitstructured video in the ISO base media file format”)中的AVC文件格式和HEVC文件格式，以用于将视频内容封装在ISOBMFF轨道中以及在DASH表示和片段中。关于视频比特流的重要信息(例如，简档(profile)、层次(tier)和级别(level))以及许多其他信息将需要作为文件格式级别元数据和/或DASH媒体呈现描述(MPD)来公开，以用于内容选择目的，例如，用于流式传输会话开始时的初始化和流式传输会话期间的流自适应两者的适当媒体片段的选择。

类似地，对于使用具有ISOBMFF的图片格式，将需要特定于图像格式的文件格式规范，诸如ISO/IEC 23008-12(“Information technology—High efficiency coding andmedia delivery in heterogeneous environments—Part 12:Image File Format”)中的AVC图像文件格式和HEVC图像文件格式。

VVC视频文件格式，即，基于ISOBMFF来存储VVC视频内容的文件格式，当前正由MPEG开发。VVC视频文件格式的最新规范草案被包括在MPEG输出文档N19454(“Informationtechnology—Coding of audio-visual objects—Part 15:Carriage of networkabstraction layer(NAL)unit structured video in the ISO base media fileformat—Amendment 2:Carriage of VVC and EVC in ISOBMFF”，2020年7月)中。

VVC图像文件格式，即，基于ISOBMFF来存储使用VVC而编解码的图像内容的文件格式，当前正由MPEG开发。VVC图像文件格式的最新规范草案被包括在MPEG输出文档N19460(“Information technology—High efficiency coding and media delivery inheterogeneous environments—Part 12:Image File Format—Amendment 3:Supportfor VVC,EVC,slideshows and other improvements”，2020年7月)中。

3.3.HEVC中的图片分割方案

HEVC包括四种不同的图片分割方案，即，规则条带(regular slice)、相关条带(dependent slice)、片(tile)和波前并行处理(Wavefront Parallel Processing，WPP)，这些方案可以用于最大传送单元(Maximum Transfer Unit，MTU)尺寸匹配、并行处理和降低的端到端延迟。

规则条带与H.264/AVC中的类似。每个规则条带被封装在其自己的NAL单元中，并且跨条带边界的图片内预测(帧内样本预测、运动信息预测、编解码模式预测)和熵编解码相关性被禁用。因此，规则条带可以独立于同一图片内的其他规则条带来重构(尽管由于循环滤波操作可能仍然存在相互相关性)。

规则条带是可以用于并行化的唯一工具，其在H.264/AVC中也以几乎相同的形式可用。基于规则条带的并行化不需要太多处理器间或内核间通信(除了在对经预测性编解码的图片进行解码时用于运动补偿的处理器间或内核间数据共享，这通常比由于图片内预测而导致的处理器间或内核间数据共享繁重得多)。然而，出于相同原因，由于条带头的比特成本以及由于缺少跨条带边界的预测，使用规则条带可能导致大量的编解码开销。此外，规则条带(与下面提到的其他工具相反)还用作比特流分割的关键机制以匹配MTU尺寸要求，因为规则条带的图片内无关性并且每个规则条带将其封装在自己的NAL单元中。在许多情况下，并行化的目标和MTU尺寸匹配的目标对图片中的条带布局提出了矛盾的需求。这种情形的实现导致下面提到的并行化工具的开发。

相关条带具有短条带头，并且允许在树块边界处对比特流进行分割，而不破坏任何图片内预测。基本上，相关条带将规则条带切割成多个NAL单元，以通过允许规则条带的一部分在整个规则条带的编码完成之前被发送出去，来提供降低的端到端延迟。

在WPP中，图片被分割成单行的编码树块(CTB)。熵解码和预测被允许使用来自其他分区中的CTB的数据。通过对CTB行的并行解码，并行处理是可能的，其中对CTB行的解码的开始被延迟两个CTB，从而确保在对主体CTB解码之前，与主体CTB上方和右侧的CTB相关的数据是可用的。使用这种交错的开始(当用图形表示时，它看起来像波前)，利用多达与图片包含的CTB行一样多的处理器/内核进行并行化是可能的。因为许可图片内的相邻树块行之间的图片内预测，所以实现图片内预测所需的处理器间/内核间通信可能是大量的。与未应用WPP分割时相比，WPP分割不会产生额外的NAL单元，因此WPP不是用于MTU尺寸匹配的工具。然而，如果需要MTU尺寸匹配，则规则条带可以与WPP一起使用，但有一定的编解码开销。

片定义了将图片分割成片列和片行的水平边界和垂直边界。片列从图片顶部延伸到图片底部。同样地，片行从图片左侧延伸到图片右侧。图片中片的数量可以简单地由片列的数量乘以片行的数量来推导出。

在按图片的片光栅扫描的次序对下一个片的左上角CTB解码之前，CTB的扫描次序被更改为片内的局部(按片的CTB光栅扫描的次序)。与规则条带类似，片破坏了图片内预测相关性和熵解码相关性。然而，它们不需要被包括到单独的NAL单元中(在这方面与WPP相同)；因此，片不能用于MTU尺寸匹配。每个片可以由一个处理器/内核来处理，并且对相邻的片进行解码的处理单元之间的图片内预测所需的处理器间/内核间通信被限制为在条带跨越多于一个片的情况下传达共享的条带头，以及与重构样本和元数据的共享相关的环路滤波。当多于一个片或WPP片段被包括在条带中时，除了条带中的第一个片或WPP片段之外，每个片或WPP片段的条目点字节偏移都在条带头中用信令通知。

为简单起见，在HEVC中已经规定了对四种不同图片分割方案应用的约束。给定的经编解码的视频序列不能对于HEVC规定的大多数简档包括片和波前两者。对于每个片和条带，必须满足以下条件之一或两者：1)条带中的所有经编解码的树块都属于同一个片；2)片中所有经编解码的树块都属于同一个条带。最后，波前片段正好包含一个CTB行，并且当WPP在使用时，如果条带在CTB行内开始，则它必须在同一个CTB行结束。

对HEVC的最近修改在以下JCT-VC输出文档中被规定：JCTVC-AC1005,J.Boyce,A.Ramasubramonian,R.Skupin,G.J.Sullivan,A.Tourapis,Y.-K.Wang(编辑),"HEVCAdditional Supplemental Enhancement Information(Draft 4)"，2017年10月24日，在此公开发布：http://phenix.int-evry.fr/jct/doc_end_user/documents/29_Macau/wg11/JCTVC-AC1005-v2.zip。包括该修改在内，HEVC规定了三个与MCTS相关的SEI消息，即，时域MCTS SEI消息、MCTS提取信息集SEI消息和MCTS提取信息嵌套SEI消息。

时域MCTS SEI消息指示比特流中的MCTS的存在，并且用信令通知MCTS。对于每个MCTS，运动矢量被约束为指向MCTS内部的全样本位置(full-sample location)以及只需要MCTS内部的全样本位置进行插值的分数样本位置(fractional-sample location)，并且不允许将运动矢量候选用于从MCTS外部的块推导出的时域运动矢量预测。这样，每个MCTS都可以被独立地解码，而不存在不被包括在MCTS中的片。

MCS提取信息集SEI消息提供补充信息，该补充信息可以用在MCTS子比特流提取中(被指定为SEI消息的语义的一部分)以生成MCTS集的一致性比特流。该信息包括多个提取信息集，每个提取信息集定义多个MCTS集并且包含MCTS子比特流提取过程期间所使用的替换VPS、SPS和PPS的RBSP字节。当根据MCTS子比特流提取过程来提取子比特流时，参数集(VPS、SPS和PPS)需要被重写或替换，条带头需要被稍微更新，因为一个或所有与条带地址相关的语法元素(包括first_slice_segment_in_pic_flag和slice_segment_address)通常需要具有不同的值。

3.4.VVC中的图片分割和子图片

3.4.1.VVC中的图片分割

在VVC中，图片被划分成一个或多个片行和一个或多个片列。片是覆盖图片的矩形区域的CTU序列。片中的CTU在该片内是按光栅扫描次序进行扫描的。

条带包括整数个完整的片或图片的片内的整数个连续完整的CTU行。

支持条带的两种模式，即，光栅扫描条带模式和矩形条带模式。在光栅扫描条带模式中，条带包含图片的片光栅扫描中的完整的片的序列。在矩形条带模式中，条带包含共同形成图片的矩形区域的多个完整的片，或者包含共同形成图片的矩形区域的一个片的多个连续完整的CTU行。矩形条带内的片在与该条带相对应的矩形区域内按片光栅扫描次序进行扫描。

子图片包含共同覆盖图片的矩形区域的一个或多个条带。

3.4.2.子图片概念和功能

在VVC中，每个子图片由一个或多个完整的矩形条带组成，这些条带共同覆盖图片的矩形区域，如图8所示。子图片可以被指定为可提取的(即，独立于同一图片的其他子图片和独立于解码次序中的较早图片来进行编解码)，也可以为不可提取的。无论子图片是否为可提取的，编码器都可以控制是否跨子图片边界单独地对每个子图片应用环路内滤波(包括去方块、SAO和ALF)。

从功能上讲，子图片类似于HEVC中的运动约束片集(motion-constrained tileset，MCTS)。它们都允许独立的编解码和提取经编解码的图片序列的矩形子集，以用于如视口相关的360度视频流式传输优化和感兴趣区域(ROI)应用之类的用例。

在360度视频(也称为全向视频)的流式传输中，在任何特定时刻，只有整个全向视频球体的子集(即，当前视口)将被呈现给用户，而用户可以随时转动他/她的头来更改观看朝向，从而更改当前视口。尽管期望在客户端处具有当前视口未覆盖的区域的至少一些较低质量的表示，并且准备好将其呈现给用户，以防用户突然将他/她的观看朝向更改到球体上的任何地方，但是全向视频的高质量表示只需要用于在任何给定时刻呈现给用户的当前视口。以适当的粒度将整个全向视频的高质量表示划分成子图片能够实现如图8所示的优化，其中左手边是12个高分辨率的子图片，并且右手边是全向视频的剩余12个较低分辨率的子图片。

图9示出了另一典型的基于子图片的视口相关的360度视频传送方案，其中只有完全视频的较高分辨率表示包括子图片，而完全视频的较低分辨率表示不使用子图片，并且可以用没有较高分辨率表示那么频繁的RAP来进行编解码。客户端接收较低分辨率的完全视频，而对于较高分辨率的视频，客户端仅接收和解码覆盖当前视口的子图片。

3.4.3.子图片与MCT之间的差异

子图片与MCT之间存在几个重要的设计差异。首先，VVC中的子图片特征允许编解码块的运动矢量指向子图片之外，即使在这种情况下子图片通过在子图片边界处应用样本填充是可提取的，类似于在图片边界处。第二，在VVC的Merge模式和解码器侧运动矢量细化过程中，对于运动矢量的选择和推导引入了额外的更改。与在MCTS的编码器侧应用的非标准运动约束相比，这允许更高的编解码效率。第三，当从图片序列中提取一个或多个可提取的子图片以创建作为一致性比特流的子比特流时，不需要对SH(以及PH NAL单元，当存在时)进行重写。在基于HEVC MCTS的子比特流提取中，需要重写SH。注意，在HEVC MCTS提取和VVC子图片提取两者中，需要重写SPS和PPS。然而，通常比特流中只存在几个参数集，而每个图片具有至少一个条带，因此SH的重写对于应用系统来说可能是很大的负担。第四，允许图片内的不同子图片的条带具有不同的NAL单元类型。这种特征通常被称为混合NAL单元类型或图片内混合子图片类型，在下面将详细讨论。第五，VVC为子图片序列指定HRD和级别定义，因此编码器可以确保每个可提取子图片序列的子比特流的一致性。

3.4.4.图片内混合子图片类型

在AVC和HEVC中，图片中的所有VCL NAL单元需要具有相同的NAL单元类型。VVC引入了在图片内将子图片与某些不同的VCL NAL单元类型进行混合的选项，因此不仅在图片级别而且在子图片级别提供了对随机存取的支持。在VVC中，子图片内的VCL NAL单元仍然需要具有相同的NAL单元类型。

从IRAP子图片中随机存取的能力对于360度视频应用来说是有益的。在与图9所示类似的视口相关的360度视频传送方案中，空域相邻视口的内容大部分重叠，即，在视口朝向更改期间，视口中只有一小部分(fraction)子图片被新的子图片替换，而大多数子图片保留在视口中。新引入到视口中的子图片序列必须以IRAP条带开始，但是当允许其余子图片在视口更改时执行帧间预测时，可以实现整体传输比特率的显著降低。

图片所涉及的PPS中提供了对图片是只包含单一类型的NAL单元还是包含多于一种类型的指示(即，使用名为pps_mixed_nalu_types_in_pic_flag的标志)。图片可以同时包括包含IRAP条带的子图片和包含拖尾(trailing)条带的子图片。图片内不同NAL单元类型的一些其他组合也是允许的，包括NAL单元类型RASL和RADL的前导图片条带，这允许将具有从不同比特流提取的开放GOP和封闭GOP编解码结构的子图片序列合并成一个比特流。

3.4.5.子图片布局和ID信令

VVC中的子图片的布局在SPS中用信令通知，因此在CLVS内保持不变。每个子图片通过其左上角CTU的位置以及其宽度和高度(以CTU数量为单位)来用信令通知，从而确保子图片以CTU粒度覆盖图片的矩形区域。在SPS中用信令通知子图片的次序决定了图片内的每个子图片的索引。

为了能够在不重写SH或PH的情况下提取和合并子图片序列，VVC中的条带寻址方案基于子图片ID和子图片特定的条带索引，以将条带与子图片关联起来。在SH中，包含条带的子图片的子图片ID和子图片级别条带索引被用信令通知。注意，特定子图片的子图片ID的值可以不同于其子图片索引的值。两者之间的映射在SPS或PPS中(但不是两者)用信令通知，或者隐式地推断出来。当存在时，子图片ID映射需要在子图片子比特流提取过程期间重写SPS和PPS时被重写或添加。子图片ID和子图片级别条带索引一起向解码器指示条带的第一解码CTU在经解码的图片的DPB时隙内的确切位置。在子比特流提取之后，子图片的子图片ID保持不变，而子图片索引可能更改。即使当与原始比特流中的值相比，子图片中的条带中的第一CTU的光栅扫描CTU地址已经更改时，相应SH中的子图片ID和子图片级别条带索引的未更改的值仍将正确地确定每个CTU在提取的子比特流的经解码的图片中的位置。图10用包含两个子图片和四个条带的示例示出了使用子图片ID、子图片索引和子图片级别条带索引来实现子图片提取。

类似于子图片提取，子图片的信令允许仅通过重写SPS和PPS而将来自不同比特流的几个子图片合并成单个比特流，前提是不同比特流是协同生成的(例如，使用不同的子图片ID但是另有多半对齐的SPS、PPS和PH参数，诸如CTU尺寸、色度格式、编解码工具等)。

尽管子图片和条带分别在SPS和PPS中独立地用信令通知，但是在子图片与条带布局之间存在固有的相互约束，以便形成一致的比特流。首先，子图片的存在需要使用矩形条带，并且禁止光栅扫描条带。第二，给定子图片的条带应当是在解码次序上连续的NAL单元，这意味着子图片布局约束了比特流内经编解码的条带NAL单元的次序。

3.5.VVC视频文件格式的一些细节

3.5.1.轨道的类型

VVC视频文件格式指定了以下类型的视频轨道，以用于运载ISOBMFF文件中的VVC比特流：

a)VVC轨道：

VVC轨道通过在其样本和样本条目中包括NAL单元，并且可能通过参考(reference)包含VVC比特流的其他子层的其他VVC轨道，并且可能通过参考VVC子图片轨道，来表示VVC比特流。当VVC轨道参考VVC子图片轨道时，它被称为VVC基础轨道。

b)VVC非VCL轨道：

携带ALF、LMCS或缩放列表参数的APS以及其他非VCL NAL单元可以存储在与包含VCL NAL单元的轨道分开的轨道中并通过该轨道来发送；这是VVC非VCL轨道。

c)VVC子图片轨道：

VVC子图片轨道包含以下中任一项：

一个或多个VVC子图片的序列。

形成矩形区域的一个或多个完整条带的序列。

VVC子图片轨道的样本包含以下中任一项：

在ISO/IEC 23090-3中规定的、在解码次序上连续的一个或多个完整子图片。

在ISO/IEC 23090-3中规定的、形成矩形区域并在解码次序上连续的一个或多个完整条带。

VVC子图片轨道的任何样本中所包括的VVC子图片或条带在解码次序上连续。

注：VVC非VCL轨道和VVC子图片轨道实现在流式传输应用中VVC视频的最佳传送，如下。这些轨道可以各自被携带在它们自己的DASH表示中，并且对于轨道子集的解码和渲染，客户端可以逐片段地请求包含VVC子图片轨道子集的DASH表示以及包含非VCL轨道的DASH表示。这样，可以避免APS和其他非VCL NAL单元的冗余传输。

3.5.2.VVC比特流中携带的矩形区域的概述

本文档提供了对于描述包括以下中任一项的矩形区域的支持：

-在解码次序上连续的一个或多个VVC子图片的序列，或

-形成矩形区域并在解码次序上连续的一个或多个完整条带的序列。

矩形区域覆盖矩形而没有空洞。图片内的矩形区域不会相互重叠。

矩形区域可以通过矩形区域可视样本组描述条目(即，RectangularRegionGroupEntry的实例)来进行描述，其中rect_region_flag等于1。

如果轨道的每个样本包括仅一个矩形区域的NAL单元，则可以使用“trif”类型的SampleToGroupBox将样本与矩形区域相关联，但是如果使用默认的样本分组机制(即，当“trif”类型的SampleGroupDescriptionBox的版本等于或大于2时)，则可以省略“trif”类型的该SampleToGroupBox。否则，样本、NAL单元和矩形区域通过“nalm”类型的SampleToGroupBox和等于“trif”的grouping_type_parameter和“nalm”类型的SampleGroupDescriptionBox而相互关联。RectangularRegionGroupEntry描述了：

-矩形区域，

-该矩形区域与其他矩形区域之间的编解码相关性。

每个RectangularRegionGroupEntry被分配唯一标识符，称为groupID。该标识符可以用于将样本中的NAL单元与特定的RectangularRegionGroupEntry相关联。

矩形区域的定位和尺寸是使用亮度样本坐标来识别的。

当与影片分片(movie fragments)一起使用时，通过如ISO/IEC 14496-12的条款8.9.4中所定义的在轨道分片框中定义新的SampleGroupDescriptionBox，可以针对影片分片的持续时间来定义RectangularRegionGroupEntry。然而，在轨道分片中不应存在任何RectangularRegionGroupEntry与已定义的RectangularRegionGroupEntry具有相同的groupID。

RectangularRegionGroupEntry中所使用的基础区域是与该矩形区域组条目相关联的矩形区域中的NAL单元所属的图片。

如果连续样本中的基础区域尺寸有任何更改(例如，在参考图片重采样(RPR)或SPS调整尺寸的情况下)，则样本应当与反映其各自的基础区域尺寸的不同RectangularRegionGroupEntry相关联。

映射到矩形区域的NAL单元可以像往常一样在VVC轨道中携带，也可以在称为VVC子图片轨道的单独轨道中携带。

3.5.3.根据参考VVC子图片轨道的VVC轨道中的样本来重构图片单元

VVC轨道的样本被解析为存取单元，该存取单元按项目符号的次序包含以下NAL单元：

·AUD NAL单元，如果有的话，当存在于样本中(并且是样本中第一个NAL单元)时。

·当样本是与同一样本条目相关联的样本序列中的第一个样本时，包含在该样本条目中的参数集和SEI NAL单元，如果有的话。

·样本中存在的直到PH NAL单元并且包括PH NAL单元的NAL单元。

·按映射到该样本的“spor”样本组描述条目中指定的次序的从每个参考的VVC子图片轨道中的(在解码时间上)时间对齐的解析样本的内容，不包括所有VPS、DCI、SPS、PPS、AUD、PH、EOS和EOB NAL单元，如果有的话。轨道参考如以下规范被解析。

注1：如果参考的VVC子图片轨道与VVC非VCL轨道相关联，则VVC子图片轨道的解析样本包含VVC非VCL轨道中的时间对齐样本的(多个)非VCL NAL单元，如果有的话。

·样本中跟在PH NAL单元之后的NAL单元。

注2：样本中跟在NAL单元之后的NAL单元可以包括后缀SEINAL单元、后缀APS NAL单元、EOS NAL单元、EOB NAL单元，或被允许在最后一个VCL NAL单元之后的预留NAL单元。“spor”样本组描述条目的“subp”轨道参考索引被解析如下：

·如果轨道参考指向VVC子图片轨道的轨道ID，则轨道参考被解析为VVC子图片轨道。

·否则(轨道参考指向“alte”轨道组)，轨道参考被解析为“alte”轨道组中的任一轨道。如果特定轨道参考索引值在先前样本中被解析为特定轨道，则在当前样本中应当被解析为以下中任一项：

·相同的特定轨道，或者

·同一“alte”轨道组中包含与当前样本时间对齐的同步(Sync)样本的任何其他轨道。

注3：同一“alte”轨道组中的VVC子图片轨道必须独立于同一VVC基础轨道所参考的任何其他VVC子图片轨道，以避免解码不匹配，并且因此可以被约束如下：

·所有VVC子图片轨道都包含VVC子图片。

·子图片边界就像图片边界。

·跨子图片边界关闭环路滤波。

如果读取器选择包含VVC子图片的VVC子图片轨道，其中子图片ID值的集合是初始选择或不同于先前选择，则可以采取以下步骤：

·对“spor”样本组描述条目进行研究，以得出是否需要更改PPS或SPS NAL单元的结论。

注：只有在CLVS开始时才可能更改SPS。

·如果“spor”样本组描述条目指示起始码竞争防止(start code emulationprevention)字节存在于包含的NAL单元中的子图片ID之前或之内，则RBSP从NAL单元中推导出(即，起始码竞争防止字节被移除)。在下一步骤中进行重写之后，重新进行起始码竞争防止。

·读取器使用“spor”样本组条目中的比特位置和子图片ID长度信息来得出哪些比特被覆写，以将子图片ID更新为所选择的子图片ID。

·当PPS或SPS的子图片ID值最初被选择时，读取器需要在重构的存取单元中用选择的子图片ID值来分别重写PPS或SPS。

·当PPS或SPS的子图片ID值与具有相同PPS ID值或SPS ID值的先前PPS或SPS(分别)相比发生变化时，读取器需要包括该先前PPS和SPS的副本(如果分别具有该相同的PPS或SPS ID值的PPS或SPS不以其他方式存在于存取单元中)，并且在重构的存取单元中用更新的子图片ID值来(分别)重写PPS或SPS。

3.5.4.子图片次序样本组

3.5.4.1.定义

该样本组用于VVC基础轨道中，即，参考VVC子图片轨道的具有“subp”轨道的VVC轨道中。每个样本组描述条目按解码次序指示经编解码的图片的子图片或条带，其中“subp”类型的轨道参考的每个索引指示在解码次序上连续的一个或多个子图片或条带。

为了便于响应子图片选择进行PPS或SPS重写，每个样本组描述条目可以包含：

-所选择的子图片ID是否应当在PPS或SPS NAL单元中进行更改的指示；

-子图片ID语法元素的长度(以比特为单位)；

-包含的RBSP中的子图片ID语法元素的比特位置；

-指示起始码竞争防止字节是存在于子图片ID之前还是之内的标志；

-包含子图片ID的参数集的参数集ID。

3.5.4.2.语法

3.5.4.3.语义

subpic_id_info_flag等于0指定在SPS和/或PPS中提供的子图片ID值对于所指示的subp_track_ref_idx值的集合来说是正确的，并且因此不需要重写SPS或PPS。subpic_info_flag等于1指定SPS和/或PPS可能需要进行重写以指示与subp_track_ref_idx值的集合相对应的子图片。

num_subpic_ref_idx指定由VVC轨道所参考的子图片轨道或子图片轨道的轨道组的参考索引的数量。

subp_track_ref_idx，对于i的每个值，指定要被包括在根据VVC轨道而重构的VVC比特流中的一个或多个子图片或条带的第i个列表的“subp”轨道参考索引。

subpic_id_len_minus1加1指定在PPS或SPS中(以该结构所参考的为准)子图片标识符语法元素中的比特数。

subpic_id_bit_pos指定所参考的PPS或SPS RBSP中第一个子图片ID语法元素的第一比特从0开始的比特位置。

start_code_emul_flag等于0指定起始码竞争防止字节不存在于所参考的PPS或SPS NAL单元的子图片ID之前或之内。

start_code_emul_flag等于1指定起始码竞争防止字节可能存在于所参考的PPS或SPS NAL单元的子图片ID之前或之内。

pps_subpic_id_flag，当等于0时，指定应用于被映射到该样本组描述条目的样本的PPS NAL单元不包含子图片ID语法元素。

pps_subpic_id_flag，当等于1时，指定应用于被映射到该样本组描述条目的样本的PPS NAL单元包含子图片ID语法元素。

pps_id，当存在时，指定应用于被映射到该样本组描述条目的样本的PPS的PPSID。

sps_subpic_id_flag，当存在且等于0时，指定应用于被映射到该样本组描述条目的样本的SPS NAL单元不包含子图片ID语法元素，并且推断出子图片ID值。sps_subpic_id_flag，当存在且等于1时，指定应用于被映射到该样本组描述条目的样本的SPS NAL单元包含子图片ID语法元素。

sps_id，当存在时，指定应用于被映射到该样本组描述条目的样本的SPS的SPSID。

3.5.5.子图片实体组

3.5.5.1.概述

子图片实体组被定义为提供指示几个VVC子图片轨道中的合并比特流的一致性的级别信息。

注：VVC基础轨道提供了用于合并VVC子图片轨道的另一种机制。

隐式重构过程需要修改参数集。子图片实体组给出了简化用于重构比特流的参数集生成的指导。

当组内的要被联合解码的经编解码的子图片是可互换的(即，播放器从具有相同级别贡献的按样本的子图片组中选择多个活动轨道)时，SubpicCommonGroupBox指示组合规则和联合解码时所得组合的level_idc。

当存在不同属性(例如，不同分辨率)的经编解码的子图片被选择为联合解码时，SubpicMultipleGroupsBox指示组合规则和联合解码时所得组合的level_idc。

子图片实体组中所包括的所有entity_id值应当识别VVC子图片轨道。当存在时，SubpicCommonGroupBox和SubpicMultipleGroupsBox应当被包含在影片级别MetaBox中的GroupsListBox中，而不应被包含在文件级别或轨道级别MetaBox中。

3.5.5.2.子图片公共组框的语法

aligned(8)class SubpicCommonGroupBox extends EntityToGroupBox('acgl',0,0)

{

unsigned int(32)level_idc；

unsigned int(32)num_active_tracks；

}

3.5.5.3.子图片公共组框的语义

level_idc指定在实体组当中对num_active_tracks实体的任何选择所符合的级别。

num_active_tracks指定提供level_idc的值的轨道的数量。

3.5.5.4.子图片多组框的语法

3.5.5.5.语义

level_idc指定对于i在0到num_subgroup_ids-1(包括0和1)范围内的所有值，在ID等于i的子组当中选择任何num_active_tracks[i]轨道的组合所符合的级别。

num_subgroup_ids指定单独的子组的数量，每个子组由track_subgroup_id[i]的相同值来识别。不同的子组由track_subgroup_id[i]的不同值来识别。

track_subgroup_id[i]指定该实体组中第i个轨道的子组ID。子组ID值的范围应当从0到num_subgroup_ids–1(包括0和1)。

num_active_tracks[i]指定在level_idc中记录的、ID等于i的子组当中的轨道的数量。

4.由公开的技术方案解决的示例技术问题

关于在多个轨道的VVC比特流中运载子图片的VVC视频文件格式的最新设计具有以下问题：

1)VVC子图片轨道的样本包含以下中任一项：A)在ISO/IEC 23090-3中规定的、在解码次序上连续的一个或多个完整子图片；B)在ISO/IEC23090-3中规定的、形成矩形区域且在解码次序上连续的一个或多个完整条带。

然而，存在以下问题：

a.还要求VVC子图片轨道在包含子图片时覆盖矩形区域将更有意义，与它包含条带时类似。

b.要求VVC子图片轨道中的子图片或条带是受运动约束的(即，可提取的或自包含的)将更有意义。

c.为什么不允许VVC子图片轨道包含形成矩形区域但在原始比特流中在解码次序上不连续的子图片的集合，但是如果该轨道本身被解码，那么这些子图片在解码次序上连续？例如，对于被投影图片的左边界和右边界的一些子图片所覆盖的360度视频的视场(FOV)来说，这不应当被允许吗？

2)在根据VVC基础轨道的样本和VVC基础轨道所参考的VVC子图片轨道列表中的时间对齐样本来重构PU时，当PH NAL单元不存在于样本中时，VVC基础轨道的样本中非VCLNAL单元的次序没有被明确指定。

3)子图片次序样本组机制(“spor”)实现对于不同样本的来自重构比特流中子图片轨道的不同子图片次序，并且实现需要SPS和/或PPS重写的情况。然而，尚不清楚为什么需要这两种灵活性中任一种。因此，不需要“spor”样本组机制，并且可以将其移除。

4)在根据VVC基础轨道的样本和VVC基础轨道所参考的VVC子图片轨道列表中的时间对齐样本来重构PU时，当VVC子图片轨道的时间对齐样本中的NAL单元被添加到PU时，所有VPS、DCI、SPS、PPS、AUD、PH、EOS和EOB NAL单元(如果有的话)被排除在外。然而，OPI NAL单元呢？SEI NAL单元怎么样？为什么这些非VCL NAL单元被允许存在于子图片轨道中？如果存在，在比特流重构中仅仅穿过(through)它们就可以了吗？

5)两个子图片实体组的框的容器被指定为影片级别MetaBox。然而，只有当被框包含在文件级别MetaBox中时，实体组的entity_id值才能指代轨道ID。

6)子图片实体组适用于相关子图片信息在整个轨道持续时间内保持一致的情况。然而，情况并非总是如此。例如，如果不同的CVS对于特定的子图片序列具有不同的级别，会怎么样？在这种情况下，应当改为使用样本组，以携带基本上相同的信息，但允许对于不同样本的某些信息不同(例如，CVS)。

7)当前强制子图片次序(“spor”)样本组存在于每个VVC基础轨道中。“spor”样本组机制实现对于不同样本的来自重构比特流中的子图片轨道的不同子图片次序，并且实现需要SPS和/或PPS重写的情况。然而，在通过VVC基础轨道中的‘subp’轨道参考直接“前绑定(early-binding)”子图片的情况下，不需要‘spor’样本组。

5.技术方案列表

为了解决上述问题和其他问题，公开了如下概述的方法。本发明应当被视为解释通用概念的示例，而不应被狭义地解释。此外，这些发明可以单独应用或以任何方式组合应用。

1)在VVC子图片轨道上提出了以下项目中的一个或多个：

a.要求VVC子图片轨道在包含子图片时覆盖矩形区域。

b.要求VVC子图片轨道中的子图片或条带是受运动约束的，使得可以在不存在覆盖其他区域的任何子图片或条带的情况下提取、解码和呈现它们。

i.替代地，允许VVC子图片轨道中的子图片或条带在运动补偿方面取决于覆盖其他区域的子图片或条带，并且因此在不存在覆盖其他区域的任何子图片或条带的情况下不能提取、解码和呈现它们。

c.允许VVC子图片轨道包含形成矩形区域但在原始/整个VVC比特流中在解码次序上不连续的子图片或条带的集合。

这使得例如在投影图片的左边界和右边界上的、在原始/整个VVC比特流中在解码次序上不连续的子图片所覆盖的360度视频的视场(FOV)能够由VVC子图片轨道来表示。

d.要求VVC子图片轨道的每个样本中的子图片或条带的次序应当与它们在原始/整个VVC比特流中的次序相同。

e.添加VVC子图片轨道的每个样本中的子图片或条带的解码次序在原始/整个VVC比特流中是否连续的指示。

i.例如，该指示在VVC基础轨道样本条目描述中或以其他方式用信令通知。

ii.要求当没有指示VVC子图片轨道的每个样本中的子图片或条带的次序在原始/整个VVC比特流中在解码次序上连续时，轨道中的子图片或条带不应与其他VVC子图片轨道中的子图片或条带合并。例如，在这种情况下，不允许通过“subp”类型的轨道参考来参考基于VVC的轨道，包括这个VVC子图片轨道和另一VVC子图片轨道。

f.将标志nalusInContiguousDecodingOrderFlag添加到VvcNALUConfigBox中。该标志等于1指示每个样本中的NAL单元在原始的整个比特流中在解码次序上是连续的，因此通过“subp”类型的轨道参考来参考该VVC子图片轨道的VVC基础轨道也可以通过相同的轨道参考来参引其他VVC子图片轨道。值0指示每个样本中的NAL单元在原始的整个比特流中在解码次序上可以是连续的，也可以不是连续的，因此通过“subp”类型的轨道参考来参考该VVC子图片轨道的VVC基础轨道可能不会通过相同的轨道参考来参引其他VVC子图片轨道。

2)在根据VVC基础轨道的样本和VVC基础轨道通过轨道参考所参考的VVC子图片轨道列表中的时间对齐样本重构PU时，无论样本中是否存在PH NAL单元，VVC基础轨道的样本中非VCL NAL单元的次序都是明确指定的。

a.在一个示例中，要被放置在VVC子图片轨道中的NAL单元之前的PU中的、来自VVC基础轨道的样本的NAL单元的集合被指定如下：如果样本中存在nal_unit_type等于EOS_NUT EOB_NUT、SUFFIX_APS_NUT、SUFFIX_SEI_NUT、FD_NUT、RSV_NVCL_27、UNSPEC_30或UNSPEC_31的至少一个NAL单元(具有这种NAL单元类型的NAL单元不能在图片单元中的第一个VCL NAL单元之前)，则样本中直到这些NAL单元中的第一个NAL单元并且不包括第一个NAL单元的NAL单元，否则样本中的所有NAL单元。

b.在一个示例中，要被放置在VVC子图片轨道中的NAL单元之后的PU中的、来自VVC基础轨道的样本的NAL单元的集合被指定如下：样本中nal_unit_type等于EOS_NUT、EOB_NUT、SUFFIX_APS_NUT、SUFFIX_SEI_NUT、FD_NUT、RSV_NVCL_27、UNSPEC_30或UNSPEC_31的所有NAL单元。

3)允许VVC轨道通过使用“subp”轨道参考来参引多个(子图片)轨道，并且参考的次序指示根据所参考的VVC子图片轨道而重构的比特流中的子图片的解码次序。

a.在根据VVC基础轨道的样本和VVC基础轨道所参考的VVC子图片轨道列表中的时间对齐样本来重构PU时，参考子图片轨道的样本按VVC子图片轨道在“subp”轨道参考中被参考的次序进行处理。

4)不允许子图片轨道中存在任何AU级别或图片级别非VCL NAL单元，包括AUD、DCI、OPI、VPS、SPS、PPS、PH、EOS和EOB NAL单元，以及仅包含AU级别和图片级别SEI消息的SEI NAL单元。AU级别SEI信息适用于一个或多个整体的AU。图片级别SEI消息适用于一个或多个整体的图片。

a.此外，在根据VVC基础轨道的样本和VVC基础轨道所参考的VVC子图片轨道列表中的时间对齐样本来重构PU时，VVC子图片轨道的时间对齐样本中的所有NAL单元都被添加到PU，而不丢弃某些非VCL NAL单元。

5)在从VVC基础轨道的样本和VVC基础轨道通过轨道参考所参考的VVC子图片轨道列表中的时间对齐样本来重构PU时，移除“spor”样本组的使用，并且移除基于“spor”样本组的参数集重写过程的描述。

6)移除“spor”样本组的规范(specification)。

7)指定每个“subp”轨道参考索引应当指代VVC子图片轨道的轨道ID或VVC子图片轨道组的轨道组ID，而不是其他。

8)为了解决问题5，两个子图片实体组的框的容器被如下指定为文件级别MetaBox：当存在时，SubpicCommonGroupBox和SubpicMultipleGroupsBox应当被包含在文件级别MetaBox中的GroupsListBox中，而不应被包含在其他级别的MetaBox中。

9)为了解决问题6，添加两个样本组来携带与两个子图片实体组所携带的信息相似的信息，使得VVC文件格式将支持相关子图片信息在轨道的整个持续时间内不一致的情况，例如，当不同的CVS对于特定子图片序列具有不同的级别时。

10)为了解决问题7，提出了以下项目中的一个或多个：

a.“spor”样本组被指定为对于每个VVC基础轨道是可选的。

b.在重构PU时，当“spor”样本组不存在于VVC基础轨道中时，所参考的子图片轨道的样本按VVC子图片轨道在“subp”轨道参考中被参考的次序进行处理。

6.实施例

以下是上文第5节中概述的一些发明方面的一些示例实施例，其可以应用于VVC视频文件格式的标准规范。更改后的文本基于MPEG输出文档N19454(“Informationtechnology—Coding of audio-visual objects—Part 15:Carriage of networkabstraction layer(NAL)unit structured video in the ISO base media fileformat—Amendment 2:Carriage of VVC and EVC in ISOBMFF”，2020年7月)中的最新规范草案。大多数已添加或修改的相关部分以粗体和斜体突出显示，并且一些已删除的部分用双括号标记(例如，[[a]]表示删除字符“a”)。可能还有其他一些编辑性质的更改，因此没有突出显示。

6.1.第一实施例

本实施例用于项目1a、1b和1c。

6.1.1.轨道的类型

本规范规定了以下类型的用于运载VVC比特流的视频轨道：

a)VVC轨道：

VVC轨道通过在其样本和/或样本条目中包括NAL单元，并且可能通过经由“vopi”和“linf”样本组或经由“opeg”实体组关联包含VVC比特流的其他层和/或子层的其他VVC轨道，并且可能通过参考VVC子图片轨道，来表示VVC比特流。

当VVC轨道参考VVC子图片轨道时，它也被称为VVC基础轨道。VVC基础轨道不应包含VCL NAL单元，并且不应由VVC轨道通过“vvcN”轨道参考所参引。

b)VVC非VCL轨道：

VVC非VCL轨道是仅包含非VCL NAL单元的轨道，并且由VVC轨道通过“vvcN”轨道参考所参引。

VVC非VCL轨道可以包含携带ALF、LMCS或缩放列表参数的APS，其具有或不具有存储在与包含VCL NAL单元的轨道分开的轨道中并通过该轨道发送的其他非VCL NAL单元。

VVC非VCL轨道也可以包含图片头NAL单元，其具有或不具有APS NAL单元，以及具有或不具有存储在与包含VCL NAL单元的轨道分开的轨道中并通过该轨道发送的其他非VCL NAL单元。

c)VVC子图片轨道：

VVC子图片轨道包含以下任一项：

形成矩形区域的一个或多个VVC子图片的序列。

形成矩形区域的一个或多个完整条带的序列。

VVC子图片轨道的样本包含以下任一项：

ISO/IEC 23090-3中规定的形成可提取的矩形区域的、[[在解码次序上连续的]]一个或多个完整子图片，其中可提取的矩形区域是对其解码不使用该区域之外的任何像素值进行运动补偿的矩形区域。

ISO/IEC 23090-3标准中规定的形成可提取的矩形区域[[区域并在解码次序上连续的]]一个或多个完整条带。

[[VVC子图片轨道的任何样本中所包括的VVC子图片或条带在解码次序上是连续的。]]

注：VVC非VCL轨道和VVC子图片轨道实现在流式传输应用中的VVC视频的最佳传送，如下。这些轨道可以各自被携带在它们自己的DASH表示中，并且对于轨道子集的解码和渲染，客户端可以逐片段地请求包含VVC子图片轨道子集的DASH表示以及包含非VCL轨道的DASH表示。这样，可以避免APS和其他非VCL NAL单元的冗余传输，并且可以避免不必要的子图片的传输。

6.1.2.VVC比特流中携带的矩形区域的概述

本文档提供对于描述包括以下中任一项的矩形区域的支持：

-形成矩形区域的、[[在解码次序上连续的]]一个或多个VVC子图片的序列，或者

-形成矩形区域[[区域并在解码次序上连续的]]一个或多个完整条带的序列。

...

6.2.第二实施例

本实施例用于项目2、2a、2b、3、3a、4、4a和5。

6.2.1.根据参考VVC子图片轨道的VVC轨道中的样本来重构图片单元

VVC轨道的样本被解析为[[存取单元]]按项目符号的次序包含以下NAL单元的图片单元：

·AUD NAL单元，[[如果有的话，]]当存在于样本中[[(并且是样本中的第一个NAL单元)]]时。

注1：当AUD NAL单元存在于样本中时，它是样本中的第一个NAL单元。

·当样本是与同一样本条目相关联的样本序列的第一个样本时，包含在该样本条目中的参数集和SEI NAL单元，如果有的话。

·[[样本中存在的直到PH NAL单元并且包括PH NAL单元的NAL单元]]如果在样本中存在nal_unit_type等于EOS_NUT、EOB_NUT、SUFFIX_APS_NUT、SUFFIX_SEI_NUT、FD_NUT、RSV_NVCL_27、UNSPEC_30或UNSPEC_31的至少一个NAL单元(具有这种NAL单元类型的NAL单元不能在图片单元中的第一个VCL NAL单元之前)，则样本中的直到这些NAL单元中的第一个NAL单元并且不包括该第一个NAL单元的NAL单元，否则样本中的所有NAL单元。

·按VVC子图片轨道在“subp”轨道参考中被参考的[[在被映射到该样本的“spor”样本组描述条目中指定的]]次序的从每个所参考的VVC子图片轨道的(在解码时间上)时间对齐的解析样本的内容[[不包括所有VPS、DCI、SPS、PPS、AUD、PH、EOS和EOB NAL单元，如果有的话]]。轨道参考如以下规范来解析。

注2：如果所参考的VVC子图片轨道与VVC非VCL轨道相关联，则VVC子图片轨道的解析样本包含VVC非VCL轨道中的时间对齐样本的(多个)非VCL NAL单元，如果有的话。

·[[样本中跟在PH NAL单元之后的NAL单元]]样本中nal_unit_type等于EOS_NUT、EOB_NUT、SUFFIX_APS_NUT、SUFFIX_SEI_NUT、FD_NUT、RSV_NVCL_27、UNSPEC_30或UNSPEC_31的所有NAL单元。

[[注2：样本中跟在PH NAL单元之后的NAL单元可以包括后缀SEI NAL单元、后缀APS NAL单元、EOS NAL单元、EOB NAL单元，或被允许在最后一个VCL NAL单元之后的预留NAL单元。]][[“spor”样本组描述条目的]]“subp”轨道参考索引被解析如下：

·否则(轨道参考指向“alte”轨道组)，轨道参考被解析为“alte”轨道组的任何轨道，并且如果特定轨道参考索引值被解析为先前样本中的特定轨道，则它应当在当前样本中被解析为以下中任一项：

·同一特定轨道，或者

·同一“alte”轨道组中包含与当前样本时间对齐的同步样本的任何其他轨道。

注3：同一“alte”轨道组中的VVC子图片轨道必须独立于同一VVC基础轨道所参考的任何其他VVC子图片轨道，以避免解码不匹配并且因此可以被约束如下：

·所有VVC子图片轨道都包含VVC子图片。

·子图片边界就像图片边界。

·[[跨子图片边界关闭环路滤波。

如果读取器选择了包含VVC子图片的VVC子图片轨道，其中子图片ID值的集合是初始选择或不同于先前选择，则可以采取以下步骤：

·对“spor”样本组描述条目进行研究以得出是否需要更改PPS或SPS NAL单元的结论。

注：只有在CLVS开始时才可能更改SPS。

·如果“spor”样本组描述条目指示起始码竞争防止字节存在于包含的NAL单元中的子图片ID之前或之内，则RBSP从NAL单元推导出(即，起始码竞争防止字节被移除)。在下一步骤中进行重写之后，重新进行起始码竞争防止。

·读取器使用“spor”样本组条目中的比特位置和子图片ID长度信息来得出哪些比特被覆盖，以将子图片ID更新为所选择的子图片ID。

·当PPS或SPS的子图片ID值与(分别)具有相同PPS ID值或SPS ID值的先前PPS或SPS(分别)相比发生变化时，读取器需要包括该先前PPS和SPS的副本(如果分别具有相同PPS或SPS ID值的PPS或SPS不以其他方式存在于存取单元中)，并且在重构的存取单元中用更新的子图片ID值来(分别)重写PPS或SPS。]]

6.3.第三实施例

本实施例用于项目1a、1b、1c、1f、2、2a、2b、4、4a、10。

轨道的类型：

本规范指定了以下类型的用于运载VVC比特流的视频轨道：

d)VVC轨道：

当VVC轨道参考VVC子图片轨道时，它也被称为VVC基础轨道。

VVC基础轨道不应包含VCL NAL单元，并且不应由VVC轨道通过“vvcN”轨道参考所参引。

e)VVC非VCL轨道：

VVC非VCL轨道是仅包含非VCL NAL单元的轨道，并且由VVC轨道通过“vvcN”轨道参考被所参引。

VVC非VCL轨道还可以包含图片头NAL单元，其具有或不具有APS NAL单元以及具有或不具有存储在与包含VCL NAL单元的轨道分开的轨道中并通过该轨道发送的其他非VCLNAL单元。

f)VVC子图片轨道：

VVC子图片轨道包含以下中任一项：

形成矩形区域的一个或多个VVC子图片的序列。

形成矩形区域的一个或多个完整条带的序列。

VVC子图片轨道的样本包含以下中任一项：

VVC比特流中携带的矩形区域的概述：

本文档提供对于描述包括以下中任一项的矩形区域的支持：

...

从参考VVC子图片轨道的VVC轨道中的样本来重构图片单元：

·按(当没有“spor”样本组存在于轨道中时)VVC子图片轨道在“subp”轨道参考中被参考的次序或按被映射到该样本的“spor”样本组描述条目中指定的次序的从每个所参考的VVC子图片轨道的(在解码时间上)时间对齐的解析样本的内容[[，不包括所有VPS、DCI、SPS、PPS、AUD、PH、EOS和EOB NAL单元，如果有的话]]。轨道参考如以下规范被解析。

注3：上述步骤指示不允许在子图片轨道中存在任何AU级别或图片级别非VCL NAL单元，包括AUD、DCI、OPI、VPS、SPS、PPS、PH、EOS和EOB NAL单元，以及仅包含AU级别和图片级别SEI消息的SEI NAL单元。AU级别SEI信息适用于一个或多个整体的AU。图片级别SEI消息适用于一个或多个整体的图片。

·否则(轨道参考指向“alte”轨道组)，轨道参考被解析为“alte”轨道组的任何轨道，并且如果特定轨道参考索引值被解析为先前样本中的特定轨道，则它应当在当前样本中被解析为以下任一项：

·同一特定轨道，或者

·所有VVC子图片轨道都包含VVC子图片。

·子图片边界就像图片边界。

·[[跨子图片边界关闭环路滤波。]]

注：只有在CLVS开始时才可能更改SPS。

·当PPS或SPS的子图片ID值与(分别)具有相同PPS ID值或SPS ID值的先前PPS或SPS(分别)相比发生变化时，读取器需要包括该先前PPS和SPS的副本(如果分别具有相同PPS或SPS ID值的PPS或SPS不以其他方式存在于存取单元中)，并且在重构的存取单元中用[[用]]更新的子图片ID值来(分别)重写PPS或SPS。

(VVC视频流定义的)样本条目名称和格式：

定义：

...

VVC轨道可以包含“subp”轨道参考，其条目包含VVC子图片轨道的track_ID值或VVC子图片轨道的“alte”轨道组的track_group_id值。

[[当VVC轨道包含‘subp’轨道参考时，它被称为VVC基础轨道，并且以下适用：

-VVC轨道的样本不应包含VCL NAL单元。]]

条款11.7.7中规定的“spor”类型的样本组[[应当]]可以存在于每个VVC基础轨道中。

...

语法：

class VvcConfigurationBox extends Box('vvcC'){

VvcDecoderConfigurationRecord()VvcConfig；

}

class VvcNALUConfigBox extends Box('vvnC'){

unsigned int([[6]]5)reserved＝0；

unsigned int(1)nalusInContiguousDecodingOrderFlag；

unsigned int(2)lengthSizeMinusOne；

}

class VvcSampleEntry()extends VisualSampleEntry('vvc1'or'vvi1'){

VvcConfigurationBox config；

MPEG4ExtensionDescriptorsBox()；//optional

}

class VvcSubpicSampleEntry()extends VisualSampleEntry('vvs1'){

VvcNALUConfigBox config；

}

语义：

基础类VisualSampleEntry中的Compressorname指示所使用的压缩器的名称，其中建议使用值“\012VVC Coding”(\012是10，以字节为单位的字符串长度)。

VvcDecoderConfigurationRecord在11.3.3中定义。

nalusInContiguousDecodingOrderFlag等于1指示每个样本中的NAL单元在原始的整个比特流中在解码次序上是连续的，因此通过“subp”类型的轨道参考来参考该VVC子图片轨道的VVC基础轨道也可以通过相同的轨道参考来参引其他VVC子图片轨道。值0指示每个样本中的NAL单元在原始的整个比特流中在解码次序上可以是连续的，也可以不是连续的，因此通过“subp”类型的轨道参考来参考该VVC子图片轨道的VVC基础轨道可能不会通过相同的轨道参考来参引其他VVC子图片轨道。

lengthSizeMinusOne加1指示包含VvcNALUConfigBox的轨道中的NALUnitLength字段的字节的长度。该字段的值应当为分别与用1、2或4个字节编解码的长度相对应的0、1或3之一。

[[num_subpics_minus1加1指定VVC子图片轨道中所包含的子图片序列的数量。

subpic_id指定VVC子图片轨道中所包含的子图片序列的子图片标识符。]]

图1是示出其中可以实施本文公开的各种技术的示例视频处理系统1900的框图。各种实施方式可以包括系统1900的一些或所有组件。系统1900可以包括用于接收视频内容的输入端1902。视频内容可以以原始或未压缩格式(例如，8或10比特多分量像素值)来接收，或者可以是压缩或编码格式。输入端1902可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括有线接口(诸如以太网、无源光网络(PON)等)和无线接口(诸如Wi-Fi接口或蜂窝接口)。

系统1900可以包括可以实施本文档中描述的各种编解码或编码方法的编解码组件1904。编解码组件1904可以降低从输入端1902到编解码组件1904的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频代码转换技术。编解码组件1904的输出可以被存储，或者经由所连接的通信来发送，如组件1906所表示的。组件1908可以使用在输入端1902接收的所存储或传送的视频的比特流(或编解码)表示，以生成要发送到显示接口1910的像素值或可显示视频。从比特流表示生成用户可观看视频的过程有时被称为视频解压缩。此外，尽管某些视频处理操作被称为“编解码”操作或工具，但是应当理解，编解码工具或操作在编码器处使用，并且反转编解码的结果的对应解码工具或操作将由解码器执行。

外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以体现在各种电子设备中，诸如移动电话、膝上型电脑、智能电话或能够执行数字数据处理和/或视频显示的其他设备。

图2是视频处理装置3600的框图。装置3600可以用于实施本文所述的一种或多种方法。装置3600可以体现在智能电话、平板电脑、计算机、物联网(IoT)接收器等中。装置3600可以包括一个或多个处理器3602、一个或多个存储器3604和视频处理硬件3606。(多个)处理器3602可以被配置为实施本文档中描述的一种或多种方法。(多个)存储器3604可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件3606可以用于在硬件电路中实施本文档中描述的一些技术。在一些实施例中，视频处理硬件3606可以至少部分地被包括在处理器3602(例如，图形协同处理器)中。

图4是示出可以利用本公开的技术的示例视频编解码系统100的框图。

如图4所示，视频编解码系统100可以包括源设备110和目的地设备120。源设备110生成经编码的视频数据，其可以被称为视频编码设备。目的地设备120可以对由源设备110生成的经编码的视频数据解码，其可以被称为视频解码设备。

源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。

视频源112可以包括诸如视频捕获设备、从视频内容提供商接收视频数据的接口、和/或用于生成视频数据的计算机图形系统之类的源，或者这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括经编解码的图片和相关数据。经编解码的图片是图片的编解码表示。相关数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发送器。经编码的视频数据可以通过网络130a经由I/O接口116直接发送到目的地设备120。经编码的视频数据还可以存储到存储介质/服务器130b上，以供目的地设备120存取。

目的地设备120可以包括I/O接口126、视频解码器124和显示设备122。

I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取经编码的视频数据。视频解码器124可以对经编码的视频数据进行解码。显示设备122可以向用户显示经解码的视频数据。显示设备122可以与目的地设备120集成，或者可以在被配置为与外部显示设备接口的目的地设备120的外部。

视频编码器114和视频解码器124可以根据视频压缩标准操作，诸如高效视频编解码(HEVC)标准、多功能视频编解码(VVM)标准和其他当前的和/或进一步的标准。

图5是示出视频编码器200的示例的框图，该视频编码器200可以是图4所示的系统100中的视频编码器114。

视频编码器200可以被配置为执行本公开的任何或所有技术。在图5的示例中，视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

视频编码器200的功能组件可以包括分割单元201、预测单元202、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲器213和熵编码单元214，预测单元202可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206。

在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在示例中，预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以在IBC模式中执行预测，在该IBC模式中至少一个参考图片是当前视频块所在的图片。

此外，诸如运动估计单元204和运动补偿单元205的一些组件可以高度集成，但是为了解释的目的，在图5的示例中被单独表示。

分割单元201可以将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。

模式选择单元203可以基于误差结果选择编码模式之一(例如，帧内或帧间)，并且将所得的帧内或帧间编解码块提供给残差生成单元207以生成残差块数据，并且提供给重构单元212来重构编码块以用作参考图片。在一些示例中，模式选择单元203可以选择组合帧内帧间预测(CIIP)模式，在该CIIP模式中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元203还可以为块选择运动矢量的分辨率(例如，子像素或整数像素精度)。

为了对当前视频块执行帧间预测，运动估计单元204可以通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可以基于除了与当前视频块相关联的图片之外的来自缓冲器213的图片的运动信息和解码样本来确定当前视频块的预测视频块。

运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作，例如，取决于当前视频块是在I条带、P条带还是B条带中。

在一些示例中，运动估计单元204可以对当前视频块执行单向预测，并且运动估计单元204可以在列表0或列表1的参考图片中搜索当前视频块的参考视频块。运动估计单元204然后可以生成指示列表0或列表1中包含参考视频块的参考图片的参考索引以及指示当前视频块与参考视频块之间的空域位移的运动矢量。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于当前视频块的运动信息所指示的参考视频块来生成当前块的预测视频块。

在其他示例中，运动估计单元204可以对当前视频块执行双向预测，运动估计单元204可以在列表0中的参考图片中搜索当前视频块的参考视频块，并且还可以在列表1中的参考图片中搜索当前视频块的另一参考视频块。运动估计单元204然后可以生成指示列表0和列表1中包含参考视频块的参考图片的参考索引以及指示参考视频块与当前视频块之间的空域位移的运动矢量。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于当前视频块的运动信息所指示的参考视频块来生成当前视频块的预测视频块。

在一些示例中，运动估计单元204可以输出完全运动信息集，以用于解码器的解码处理。

在一些示例中，运动估计单元204可以不输出当前视频的完全运动信息集。相反，运动估计单元204可以参考另一视频块的运动信息来用信令通知当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与相邻视频块的运动信息足够相似。

在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中指示一个值，该值向视频解码器300指示当前视频块具有与另一视频块相同的运动信息。

在另一示例中，运动估计单元204可以在与当前视频块相关联的语法结构中识别另一视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量与所指示的视频块的运动矢量之间的差。视频解码器300可以使用所指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。

如上所述，视频编码器200可以预测性地用信令通知运动矢量。可以由视频编码器200实施的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和Merge模式信令。

帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时，帧内预测单元206可以基于同一图片中的其他视频块的解码样本来生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。

残差生成单元207可以通过从当前视频块中减去(例如，由减号指示)当前视频块的(多个)预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括与当前视频块中样本的不同样本分量相对应的残差视频块。

在其他示例中，例如，在跳过模式中，对于当前视频块，可能不存在当前视频块的残差数据，并且残差生成单元207可以不执行减去操作。

变换处理单元208可以通过对与当前视频块相关联的残差视频块应用一个或多个变换来生成当前视频块的一个或多个变换系数视频块。

在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。

逆量化单元210和逆变换单元211可以对变换系数视频块分别应用逆量化和逆变换，以根据变换系数视频块来重构残差视频块。重构单元212可以将重构的残差视频块添加到来自预测单元202所生成的一个或多个预测视频块的对应样本，以产生与当前块相关联的重构视频块，以供存储在缓冲器213中。

在重构单元212重构视频块之后，可以执行环路滤波操作来减少视频块中的视频块伪影。

熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收到数据时，熵编码单元214可以执行一个或多个熵编码操作以生成经熵编码的数据，并且输出包括经熵编码的数据的比特流。

图6是示出视频解码器300的示例的框图，该视频解码器300可以是图4所示的系统100中的视频解码器114。

视频解码器300可以被配置为执行本公开的任何或所有技术。在图6的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

在图6的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305以及重构单元306和缓冲器307。在一些示例中，视频解码器300可以执行通常与关于视频编码器200(图5)描述的编码过程互逆的解码过程。

熵解码单元301可以检索经编码的比特流。经编码的比特流可以包括经熵编解码的视频数据(例如，经编码的视频数据块)。熵解码单元301可以对经熵编解码的视频数据进行解码，并且根据经熵解码的视频数据，运动补偿单元302可以确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。例如，运动补偿单元302可以通过执行AMVP和Merge模式来确定这样的信息。

运动补偿单元302可以产生可能基于插值滤波器执行插值的运动补偿块。语法元素中可以包括要以子像素精度使用的插值滤波器的标识符。

运动补偿单元302可以使用视频编码器200在视频块的编码期间所使用的插值滤波器来计算参考块的子整数像素的插值。运动补偿单元302可以根据接收的语法信息来确定视频编码器200所使用的插值滤波器，并且使用插值滤波器来产生预测块。

运动补偿单元302可以使用一些语法信息来确定用于对经编码的视频序列的(多个)帧和/或(多个)条带进行编码的块的尺寸、描述如何对经编码的视频序列的图片的每个宏块进行分割的分割信息、指示如何对每个分区编码的模式、每个帧间编码块的一个或多个参考帧(和参考帧列表)以及用于对经编码的视频序列进行解码的其他信息。

帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来根据空域相邻的块形成预测块。逆量化单元303对在比特流中提供并由熵解码单元301解码的量化视频块系数进行逆量化，即，去量化。逆变换单元303应用逆变换。

重构单元306可以将残差块与运动补偿单元202或帧内预测单元303所生成的对应预测块相加，以形成经解码块。如果需要，还可以应用去方块滤波器来对经解码块进行滤波，以便去除块效应伪像。经解码的视频块然后被存储在缓冲器307中，缓冲器307为后续的运动补偿/帧内预测提供参考块，并且还产生经解码的视频以供呈现在显示设备上。

接下来提供由一些实施例优选的方案列表。

下面提供了第一组方法。以下方案示出了在前一章节中讨论的技术的示例实施例(例如，项目1)。

1.一种可视媒体处理方法，包括：执行可视媒体数据与根据格式规则存储可视媒体数据的比特流表示的文件之间的转换；其中，该文件包括包含用于可视媒体数据的子图片的数据的轨道；并且其中，格式规则指定轨道的语法。

2.根据方案1所述的方法，其中，格式规则指定轨道覆盖矩形区域。

3.根据方案1所述的方法，其中，格式规则指定轨道中所包括的子图片或条带是单独地可提取的、可解码的和可呈现的。

以下方案示出了在前一章节中讨论的技术的示例实施例(例如，项目3、4)。

4.一种可视媒体处理方法，包括：执行可视媒体数据与根据格式规则存储可视媒体数据的比特流表示的文件之间的转换；其中，该文件包括第一轨道和/或一个或多个子图片轨道；其中，格式规则指定轨道和/或一个或多个子图片轨道的语法。

5.根据方案4所述的方法，其中，格式规则指定轨道包括对一个或多个子图片轨道的参考。

6.根据方案4所述的方法，其中，格式规则不允许在一个或多个子图片轨道中包括存取单元级别或图片级别的非视频编解码层网络抽象层单元。

7.根据方案6所述的方法，其中，不允许的单元包括解码能力信息结构、或参数集、或操作点信息、或头、或流的结尾、或图片的结尾。

8.根据方案1-7中的任一项所述的方法，其中，转换包括根据格式规则生成可视媒体数据的比特流表示并将比特流表示存储到文件中。

9.根据方案1-7中的任一项所述的方法，其中，转换包括根据格式规则解析文件以恢复可视媒体数据。

10.一种包括处理器的视频解码装置，处理器被配置为实施根据方案1至9中的一项或多项所述的方法。

11.一种包括处理器的视频编码装置，处理器被配置为实施根据方案1至9中的一项或多项所述的方法。

12.一种其上存储有计算机代码的计算机程序产品，当代码由处理器执行时使得处理器实施根据方案1至9中的任一项所述的方法。

13.一种计算机可读介质，其上的比特流表示符合根据方案1至9中的任一项生成的文件格式。

14.一种本文档中描述的方法、装置或系统。

第二组方案提供了在前一章节中讨论的技术的示例实施例(例如，项目1)。

1.一种处理可视媒体数据的方法(例如，如图11所示的方法110)，包括：执行1102可视媒体数据与包括可视媒体文件之间的转换，可视媒体文件包括存储可视媒体数据的一个或多个比特流的一个或多个轨道；其中，可视媒体数据包括一个或多个图片，该一个或多个图片包括一个或多个子图片或者一个或多个条带；并且其中，可视媒体文件根据格式规则来存储一个或多个轨道；其中，格式规则指定包括一个或多个条带或者一个或多个子图片的序列的轨道覆盖一个或多个图片的矩形区域。

2.根据方案1所述的方法，其中，该格式规则指定轨道中所包括的一个或多个子图片或者一个或多个条带在不存在覆盖与矩形区域不同的另一区域的另一子图片或另一条带的情况下是单独地可提取的、可解码的和可呈现的。

3.根据方案1所述的方法，其中，格式规则指定轨道中所包括的一个或多个子图片或者一个或多个条带在运动补偿方面取决于覆盖与矩形区域不同的另一区域的另一子图片或另一条带。

4.根据方案1所述的方法，其中，格式规则指定允许一个或多个条带或者一个或多个子图片对于轨道中所存储的比特流在解码次序上不连续。

5.根据方案1所述的方法，其中，由在解码次序上不连续的一个或多个子图片覆盖的360度视频的视场由轨道来表示。

6.根据方案1所述的方法，其中，格式规则指定轨道的每个样本中的一个或多个子图片或者一个或多个条带的次序与轨道中所存储的比特流中的一个或多个子图片或者一个或多个条带的次序相同。

7.根据方案1所述的方法，其中，格式规则还指定是否包括指示轨道的每个样本中的一个或多个子图片或者一个或多个条带的解码次序在轨道中所存储的比特流中是否连续的指示。

8.根据方案7所述的方法，其中，该指示被包括在轨道的基础轨道样本条目描述中。

9.根据方案7所述的方法，其中，格式规则还指定，响应于该指示的不存在，不允许轨道中的一个或多个子图片或者一个或多个条带与另一轨道的另一子图片或另一条带合并。

10.根据方案7所述的方法，其中，该指示被包括在网络抽象层(NAL)配置框中。

11.根据方案7所述的方法，其中，该指示等于1指示轨道的每个样本中的NAL单元在比特流的解码次序上连续，并且用轨道参考来参考轨道的基础轨道用轨道参考来参引其他轨道。

12.根据方案7所述的方法，其中，该指示等于0指示轨道的每个样本中的NAL单元被允许或不被允许在比特流的解码次序上连续，并且用轨道参考来参考轨道的基础轨道不被允许用轨道参考来参引其他轨道。

13.根据方案1-12中的任一项所述的方法，其中，可视媒体数据由多功能视频编解码(VVC)处理，并且一个或多个轨道是VVC轨道。

14.根据方案1-13中的任一项所述的方法，其中，转换包括根据格式规则生成可视媒体文件并将一个或多个比特流存储到可视媒体文件中。

15.根据方案1-13中的任一项所述的方法，其中，转换包括根据格式规则解析可视媒体文件，以重构一个或多个比特流。

16.一种处理可视媒体数据的装置，包括被配置为实施一种方法的处理器，该方法包括：执行可视媒体数据与可视媒体文件之间的转换，该可视媒体文件包括存储可视媒体数据的一个或多个比特流的一个或多个轨道；其中，可视媒体数据包括一个或多个图片，该一个或多个图片包括一个或多个子图片或者一个或多个条带；并且其中，可视媒体文件根据格式规则存储一个或多个轨道；其中，格式规则指定包括一个或多个条带或者一个或多个子图片的序列的轨道覆盖一个或多个图片的矩形区域。

17.根据方案16所述的装置，其中，格式规则指定是否包括指示轨道的每个样本中的一个或多个子图片或者一个或多个条带的解码次序在轨道中所存储的比特流中是否连续的指示。

18.一种存储指令的非暂时性计算机可读记录介质，指令使得处理器：执行可视媒体数据与可视媒体文件之间的转换，该可视媒体文件包括存储可视媒体数据的一个或多个比特流的一个或多个轨道；其中，可视媒体数据包括一个或多个图片，该一个或多个图片包括一个或多个子图片或者一个或多个条带；并且其中，可视媒体文件根据格式规则存储一个或多个轨道；其中，格式规则指定包括一个或多个条带或者一个或多个子图片的序列的轨道覆盖一个或多个图片的矩形区域。

19.根据方案18所述的非暂时性计算机可读记录介质，其中，格式规则指定是否包括指示轨道的每个样本中的一个或多个子图片或者一个或多个条带的解码次序在轨道中所存储的比特流中是否连续的指示。

20.一种存储通过视频处理装置所执行的方法生成的比特流的非暂时性计算机可读记录介质，其中，该方法包括：生成可视媒体文件，该可视媒体文件包括存储可视媒体数据的一个或多个比特流的一个或多个轨道；其中，可视媒体数据包括一个或多个图片，该一个或多个图片包括一个或多个子图片或者一个或多个条带；并且其中，可视媒体文件根据格式规则存储一个或多个轨道；其中，格式规则指定包括一个或多个子图片或者一个或多个条带的序列的轨道覆盖一个或多个图片的矩形区域。

21.根据方案20所述的非暂时性计算机可读记录介质，其中，格式规则指定是否包括指示轨道的每个样本中的一个或多个子图片或者一个或多个条带的解码次序在轨道中所存储的比特流中是否连续的指示。

22.一种包括处理器的视频处理装置，处理器被配置为实施根据方案1至15中的任何一项或多项所述的方法。

23.一种将可视媒体数据存储到包括一个或多个比特流的文件中的方法，该方法包括根据方案1至15中的任一项所述的方法，并且还包括将比特流存储到非暂时性计算机可读记录介质中。

24.一种存储程序代码的计算机可读介质，当程序代码被执行时使得处理器实施根据方案1至15中的任何一项或多项所述的方法。

25.一种存储根据上述方法中的任一项生成的比特流的计算机可读介质。

26.一种用于存储比特流的视频处理装置，其中，视频处理装置被配置为实施根据方案1至15中的任何一项或多项所述的方法。

27.一种计算机可读介质，其上的比特流符合根据方案1至15中的任一项生成的文件格式。

28.一种本文档中描述的方法、装置或系统。

第三组方案示出了在前一章节中讨论的技术的示例实施例(例如，项目3、5、6、7和10)。

1.一种处理可视媒体数据的方法(例如，如图12所示的方法1200)，包括：执行1202可视媒体数据与可视媒体文件之间的转换，该可视媒体文件包括根据格式规则存储可视媒体数据的一个或多个比特流的一个或多个轨道；其中，可视媒体文件包括参考一个或多个子图片轨道的基础轨道，该子图片轨道存储可视媒体数据的一个或多个子图片的编解码信息，并且其中，格式规则指定用于根据一个或多个子图片轨道和基础轨道中的样本来重构视频单元的过程。

2.根据方案1所述的方法，其中，格式规则指定基础轨道包括参引一个或多个子图片轨道的子图片轨道参考，并且在子图片轨道参考中所参考的一个或多个子图片轨道的次序指示一个或多个子图片轨道的样本在根据一个或多个子图片轨道而重构的视频单元中的次序。

3.根据方案1所述的方法，其中，格式规则还指定每个子图片轨道参考具有指代子图片轨道的轨道标识或子图片轨道组的轨道组标识的索引。

4.根据方案1所述的方法，其中，格式规则指定子图片次序样本组对于基础轨道是可选的。

5.根据方案4所述的方法，其中，格式规则还指定，在子图片次序样本组不存在于基础轨道中的情况下，子图片轨道参考被用在确定基础轨道中所参考的一个或多个子图片轨道的次序中。

6.根据方案4所述的方法，其中，格式规则还指定移除子图片次序样本组的使用，并且移除对基于子图片次序样本组的参数集重写过程的描述。

7.根据方案4所述的方法，其中，格式规则还指定移除子图片次序样本组的规范。

8.根据方案1-7中的任一项所述的方法，其中，可视媒体数据由多功能视频编解码(VVC)处理，并且一个或多个轨道是VVC轨道。

9.根据方案1-8中的任一项所述的方法，其中，转换包括根据格式规则生成可视媒体文件并将一个或多个比特流存储到可视媒体文件中。

10.根据方案1-8中的任一项所述的方法，其中，转换包括根据格式规则解析可视媒体文件，以重构一个或多个比特流。

11.一种处理可视媒体数据的装置，包括被配置为实施一种方法的处理器，该方法包括：执行可视媒体数据与可视媒体文件之间的转换，该可视媒体文件包括根据格式规则存储可视媒体数据的一个或多个比特流的一个或多个轨道；其中，可视媒体文件包括参考一个或多个子图片轨道的基础轨道，该子图片轨道存储可视媒体数据的一个或多个子图片的编解码信息，并且其中，格式规则指定用于根据一个或多个子图片轨道和基础轨道中的样本来重构视频单元的过程。

12.根据方案11所述的装置，其中，格式规则指定基础轨道包括参引一个或多个子图片轨道的子图片轨道参考，并且子图片轨道参考中所参考的一个或多个子图片轨道的次序指示一个或多个子图片轨道的样本在根据一个或多个子图片轨道而重构的视频单元中的次序。

13.根据方案11所述的装置，其中，格式规则还指定每个子图片轨道参考具有指代子图片轨道的轨道标识或子图片轨道组的轨道组标识的索引。

14.根据方案11所述的装置，其中，格式规则指定子图片次序样本组对于基础轨道是可选的。

15.根据方案14所述的装置，其中，格式规则还指定，在子图片次序样本组不存在于基础轨道中的情况下，子图片轨道参考被用在确定基础轨道中所参考的一个或多个子图片轨道的次序中。

16.根据方案14所述的装置，其中，格式规则还指定移除子图片次序样本组的使用，并且移除对基于子图片次序样本组的参数集重写过程的描述。

17.根据方案14所述的装置，其中，格式规则还指定移除子图片次序样本组的规范。

18.一种存储指令的非暂时性计算机可读记录介质，该指令使得处理器：执行可视媒体数据与可视媒体文件之间的转换，该可视媒体文件包括根据格式规则存储可视媒体数据的一个或多个比特流的一个或多个轨道；其中，可视媒体文件包括参考一个或多个子图片轨道的基础轨道，该子图片轨道存储可视媒体数据的一个或多个子图片的编解码信息，并且其中，格式规则指定用于根据一个或多个子图片轨道和基础轨道中的样本来重构视频单元的过程。

19.根据方案18所述的非暂时性计算机可读记录介质，其中，格式规则指定基础轨道包括参引一个或多个子图片轨道的子图片轨道参考，并且子图片轨道参考中所参考的一个或多个子图片轨道的次序指示一个或多个子图片轨道的样本在根据一个或多个子图片轨道而重构的视频单元中的次序。

20.一种存储通过视频处理装置所执行的方法生成的比特流的非暂时性计算机可读记录介质，其中，该方法包括：生成可视媒体文件，该可视媒体文件包括根据格式规则存储可视媒体数据的一个或多个比特流的一个或多个轨道；其中，可视媒体文件包括参考一个或多个子图片轨道的基础轨道，该子图片轨道存储可视媒体数据的一个或多个子图片的编解码信息，并且其中，格式规则指定用于根据一个或多个子图片轨道和基础轨道中的样本来重构视频单元的过程。

21.一种包括处理器的视频处理装置，该处理器被配置为实施根据方案1至10中的任一项或多项所述的方法。

22.一种将可视媒体数据存储到包括一个或多个比特流的文件中的方法，该方法包括根据方案1至10中的任一项所述的方法，并且还包括将比特流存储到非暂时性计算机可读记录介质中。

23.一种存储程序代码的计算机可读介质，当该程序代码被执行时使得处理器实施根据方案1至10中的任一项或多项所述的方法。

24.一种存储根据上述方法中的任一项生成的比特流的计算机可读介质。

25.一种用于存储比特流的视频处理装置，其中，视频处理装置被配置为实施根据方案1至10中的任一项或多项所述的方法。

26.一种计算机可读介质，其上的比特流表示符合根据方案1至10中的任一项生成的文件格式。

27.一种本文档中描述的方法、装置或系统。

在示例方案中，可视媒体数据对应于视频或图像。在本文描述的方案中，编码器可以通过根据格式规则产生编解码表示来符合格式规则。在本文描述的方案中，解码器可以在了解根据格式规则的语法元素的存在和不存在的情况下，使用格式规则解析编解码表示中的语法元素，以产生经解码的视频。在以上方案中，可视媒体数据对应于视频或图像。

在本文档中，术语“视频处理”可以指代视频编码、视频解码、视频压缩或视频解压缩。例如，视频压缩算法可以在从视频的像素表示到对应的比特流表示的转换期间应用，反之亦然。如语法所定义的，当前视频块的比特流表示可以例如对应于共位于比特流内或分布在比特流内不同位置的比特。例如，宏块可以根据经变换和编解码的误差残差值并且还使用头中的比特和比特流中的其他字段被编码。此外，在转换期间，解码器可以基于该确定，在了解一些字段可能存在或不存在的情况下解析比特流，如以上方案中所述。类似地，编码器可以确定某些语法字段是否被包括在内，并且通过包括或从编解码表示中排除语法字段来相应地生成编解码表示。

本文档中描述的所公开的和其他的方案、示例、实施例、模块和功能操作可以在数字电子电路中实施，或者在计算机软件、固件或硬件(包括本文档中公开的结构及其结构等同物)中实施，或者在它们中的一个或多个的组合中实施。所公开的和其他的实施例可以被实施为一个或多个计算机程序产品，即，编码在计算机可读介质上以供数据处理装置执行或控制数据处理装置的操作的计算机程序指令的一个或多个模块。计算机可读介质可以是机器可读存储设备、机器可读存储基底、存储器设备、实现机器可读传播信号的合成物质，或者它们中的一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机、或多个处理器或计算机。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如，机器生成的电、光或电磁信号，其被生成来编码信息以传输到合适的接收器装置。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译或解释语言)来编写，并且它可以用任何形式来部署(包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其他单元)。计算机程序不一定对应于文件系统中的文件。程序可以被存储在保存其他程序或数据的文件的一部分(例如，标记语言文档中所存储的一个或多个脚本)中，存储在专用于所讨论的程序的单个文件中，或者存储在多个协同文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以被部署为在一台计算机上或在位于一个站点或跨多个站点分布并通过通信网络互连的多台计算机上执行。

本文档中描述的过程和逻辑流程可以由一个或多个可编程处理器执行，该一个或多个可编程处理器执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能。这些过程和逻辑流程也可以由专用逻辑电路来执行，并且装置也可以被实施为专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

举例来说，适合于执行计算机程序的处理器包括通用微处理器和专用微处理器两者，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基础元件是用于执行指令的处理器以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括或可操作地耦合到一个或多个用于存储数据的大容量存储设备(例如，磁盘、磁光盘或光盘)，以从其接收数据，或向其发送数据，或两者兼有。然而，计算机不需要具有这样的设备。适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如：半导体存储器设备，例如，EPROM、EEPROM和闪存设备；磁盘，例如，内部硬盘或可移动磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路来补充或结合在其中。

尽管本专利文档包含许多细节，但是这些细节不应被解释为对任何主题或所要求保护的范围的限制，而是对可以特定于特定技术的特定实施例的特征的描述。本专利文档中在分开的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中分开地实施或者在任何合适的子组合中实施。此外，尽管特征可以在上面被描述为在某些组合中起作用，并且甚至最初被这样要求保护，但是在一些情况下，来自所要求保护的组合的一个或多个特征可以从该组合中删除，并且所要求保护的组合可以指向子组合或子组合的变体。

类似地，尽管在附图中以特定次序描述了操作，但是这不应当被理解为要求以所示的特定的次序或顺序的次序执行这些操作，或者要求执行所有示出的操作，以获得期望的结果。此外，本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这种分离。

仅描述了几个实施方式和示例，并且可以基于本专利文档中描述和示出的内容进行其他实施、增强和变化。

Claims

1.一种处理可视媒体数据的方法，包括：

执行可视媒体数据与可视媒体文件之间的转换，所述可视媒体文件包括根据格式规则存储所述可视媒体数据的一个或多个比特流的一个或多个轨道；

其中，所述可视媒体文件包括参考一个或多个子图片轨道的基础轨道，所述子图片轨道存储所述可视媒体数据的一个或多个子图片的编解码信息，并且

其中，所述格式规则指定用于根据所述一个或多个子图片轨道和所述基础轨道中的样本来重构视频单元的过程。

2.根据权利要求1所述的方法，其中，所述格式规则指定所述基础轨道包括参引所述一个或多个子图片轨道的子图片轨道参考，并且在所述子图片轨道参考中所参考的一个或多个子图片轨道的次序指示所述一个或多个子图片轨道的样本在根据所述一个或多个子图片轨道而重构的视频单元中的次序。

3.根据权利要求1所述的方法，其中，所述格式规则还指定每个子图片轨道参考具有指代子图片轨道的轨道标识或子图片轨道组的轨道组标识的索引。

4.根据权利要求1所述的方法，其中，所述格式规则指定子图片次序样本组对于所述基础轨道是可选的。

5.根据权利要求4所述的方法，其中，所述格式规则还指定，在所述子图片次序样本组不存在于所述基础轨道中的情况下，子图片轨道参考被用在确定所述基础轨道中所参考的一个或多个子图片轨道的次序中。

6.根据权利要求4所述的方法，其中，所述格式规则还指定移除所述子图片次序样本组的使用，并且移除对基于所述子图片次序样本组的参数集重写过程的描述。

7.根据权利要求4所述的方法，其中，所述格式规则还指定移除所述子图片次序样本组的规范。

8.根据权利要求1-7中的任一项所述的方法，其中，所述可视媒体数据由多功能视频编解码(VVC)处理，并且所述一个或多个轨道是VVC轨道。

9.根据权利要求1-8中的任一项所述的方法，其中，所述转换包括根据所述格式规则生成所述可视媒体文件并将所述一个或多个比特流存储到所述可视媒体文件中。

10.根据权利要求1-8中的任一项所述的方法，其中，所述转换包括根据所述格式规则解析所述可视媒体文件，以重构所述一个或多个比特流。

11.一种包括处理器的视频处理装置，所述处理器被配置为实施根据权利要求1至10中的任一项或多项所述的方法。

12.一种将可视媒体数据存储到包括一个或多个比特流的文件中的方法，所述方法包括根据权利要求1至10中的任一项所述的方法，并且还包括将所述一个或多个比特流存储到非暂时性计算机可读记录介质中。

13.一种存储程序代码的计算机可读介质，当所述程序代码被执行时使得处理器实施根据权利要求1至10中的任一项或多项所述的方法。

14.一种存储比特流的计算机可读介质所述比特流根据权利要求1至10中的任一项或多项所述的方法而生成。

15.一种用于存储比特流的视频处理装置，其中，所述视频处理装置被配置为实施根据权利要求1至10中的任一项或多项所述的方法。