CN115428464A

CN115428464A - 视频编解码的缩放窗口

Info

Publication number: CN115428464A
Application number: CN202180029592.8A
Authority: CN
Inventors: 王业奎; 张莉; 张凯; 邓智玭
Original assignee: Douyin Vision Co Ltd; ByteDance Inc
Current assignee: Douyin Vision Co Ltd; ByteDance Inc
Priority date: 2020-04-19
Filing date: 2021-04-19
Publication date: 2022-12-02
Also published as: WO2021213307A1; EP4128794A1; US20230063674A1; CN115699761A; JP2024099764A; KR20230002446A; WO2021213309A1; EP4128794A4; US12010346B2; US20240089504A1; JP2023522115A; JP7525639B2

Abstract

描述了用于视频编码和视频解码的几种技术。一种示例方法包括根据规则执行视频的视频图片中的子图片与视频的比特流之间的转换。该规则规定允许适用于视频图片的缩放窗口偏移的至少一个为负值。

Description

视频编解码的缩放窗口

相关申请的交叉引用

根据巴黎公约适用的专利法和/或规则，提出本申请是为了及时要求2020年4月19日提交的国际专利申请No.PCT/CN2020/085489的优先权和权益。出于法律规定的所有目的，上述申请的全部公开内容通过引用并入作为本申请的公开内容的部分。

技术领域

本专利文档涉及图像和视频编码和解码。

背景技术

数字视频占互联网和其他数字通信网络上最大的带宽使用。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。

发明内容

本文档公开了可由视频编码器和解码器使用的技术，用于使用对编解码表示的解码有用的控制信息来处理视频的编解码表示。

在一个示例方面，公开了一种视频处理方法。该方法包括根据规则执行视频的视频图片与视频的比特流之间的转换。规则规定允许适用于视频图片的缩放窗口偏移的至少一个为负值。

在另一个示例方面，公开了一种视频处理方法。该方法包括根据规则执行视频的块和视频的比特流之间的转换。规则规定指示是否在视频单元级别启用变换跳过残差编解码的语法标志是否存在于比特流中基于指示视频单元中的符号数据隐藏的使用的第一语法元素和指示视频单元中的相关量化的使用的第二语法元素的值。

在另一个示例方面，公开了一种视频处理方法。该方法包括根据规则执行视频和视频的比特流之间的转换。规则规定，规定从5减去的序列参数集中支持的基于子块的merge运动矢量预测候选的最大数量的语法元素在0到N(包括端值)的范围内，其中N是等于5减去语法标志的值的整数，语法标志规定是否为转换启用基于子块的时域运动矢量预测器。

在另一个示例方面，公开了一种视频处理方法。该方法包括执行包括一个或多个视频图片的视频之间的转换，其中编解码表示符合格式规则；其中，格式规则规定序列参数集中的两个或多个语法字段控制视频中的参考图片分辨率(RPR)变化。

在另一个示例方面，公开了另一种视频处理方法。该方法包括执行包括一个或多个视频图片的视频之间的转换，其中编解码表示符合格式规则；其中，格式规则规定序列参数集中的单个语法字段控制视频中的参考图片分辨率(RPR)变化；并且其中，格式规则规定，无论单个语法字段的值如何，都允许对帧间层参考图片进行重采样以用于转换。

在另一个示例方面，公开了另一种视频处理方法。该方法包括执行包括一个或多个层的视频之间的转换，该一个或多个层包括一个或多个视频图片，该一个或多个视频图片包括一个或多个子图片，其中编解码表示符合格式规则；其中，格式规则规定了对跨层对齐的第一约束或对子图片和帧间层图片的可缩放性的组合的第二约束。

在另一个示例方面，公开了另一种视频处理方法。该方法包括执行包括一个或多个层的视频之间的转换，该一个或多个层包括一个或多个视频图片，该一个或多个视频图片包括一个或多个子图片，其中该转换符合格式规则，该格式规则规定帧间层参考图片或长期参考图片不允许作为用于转换的当前图片的并置图片。

在另一个示例方面，公开了另一种视频处理方法。该方法包括执行包括多个图片的视频和该视频的编解码表示之间的转换，其中该转换符合规则，该规则规定对于同一编解码层视频序列或具有pic_width_in_luma_samples和pic_height_in_luma_samples的相同值的编解码视频序列内的任意两个图片，scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset和scaling_win_bottom_offset中的每一个的值相同。

在另一个示例方面，公开了另一种视频处理方法。该方法包括执行包括多个图片的视频和该视频的编解码表示之间的转换，其中该转换符合规则，该规则规定在图片分辨率或缩放窗口对于当前图片和同一访问单元中的其他图片不同的情况下，则仅当当前图片是帧内随机访问点图片时，才允许帧间层预测。

在又一示例方面，公开了一种视频编码器装置。视频编码器包括被配置为实现上述方法的处理器。

在又一示例方面，公开了一种视频解码器装置。视频解码器包括被配置为实现上述方法的处理器。

在又一示例方面，公开了一种其上存储有代码的计算机可读介质。该代码以处理器可执行代码的形式体现了这里描述的方法之一。

本文档中描述了这些和其他特征。

附图说明

图1显示了图片的光栅扫描条带分割的示例，其中图片被划分为12个片和3个光栅扫描条带。

图2显示了图片的矩形条带分割的示例，其中图片被分割为24个片(6个片列和4个片行)和9个矩形条带。

图3显示了分割为片和矩形条带的图片的示例，其中图片被划分为4个片(2个片列和2个片行)和4个矩形条带。

图4显示了分割为15个片、24个条带和24个子图片的图片。

图5为示例视频处理系统的框图。

图6为视频处理装置的框图。

图7为视频处理的示例方法的流程图。

图8是图示根据本公开的一些实施例的视频编解码系统的框图。

图9是图示根据本公开的一些实施例的编码器的框图。

图10是图示根据本公开的一些实施例的解码器的框图。

图11显示了典型的基于子图片的视口相关360°视频编解码方案的示例。

图12显示了基于子图片和空域可缩放性的视口相关360°视频编解码方案。

图13为根据本技术的视频处理的方法的流程图表示。

图14为根据本技术的另一视频处理的方法的流程图表示。

图15为根据本技术的又一视频处理的方法的流程图表示。

具体实施方式

本文档中使用章节标题是为了易于理解并且不将各章节中公开的技术和实施例的适用性仅限制于该章节。此外，在一些描述中使用H.266术语仅仅是为了易于理解，而不是为了限制所公开技术的范围。因此，本文描述的技术也适用于其他视频编解码器协议和设计。在本文档中，相对于VVC规范的当前草案，对文本的编辑更改通过删除线表示已取消的文本和突出显示表示添加的文本(包括粗体斜体)来显示。

1.概述

本文档涉及视频编解码技术。具体来说，它是关于1)视频编解码中的参考图片重采样(RPR)、子图片和可缩放性中的两个或多个的组合，2)在当前图片和具有相同空域分辨率的参考图片之间使用RPR，以及3)长期参考图片和并置图片的组合。这些想法可以单独或以各种组合应用于支持多层视频编解码(例如，正在开发的多功能视频编解码(VVC))的任何视频编解码标准或非标准视频编解码器。

2.缩写

APS 自适应参数集

AU 访问单元

AUD 访问单元分隔符

AVC 高级视频编解码

CLVS 编解码层视频序列

CCALF 跨分量自适应环路滤波器

CPB 编解码图片缓冲器

CRA 清洁随机访问

CTU 编解码树单元

CVS 编解码视频序列

DCI 解码能力信息

DPB 解码图片缓冲器

EOB 比特流结束

EOS 序列结束

GDR 逐步解码刷新

HEVC 高效视频编解码

HRD 假设参考解码器

IDR 即时解码刷新

ILP 帧间层预测

ILRP 真渐层参考图片

IRAP 帧内随机访问图片

JEM 联合探索模型

LTRP 长期参考图片

MCTS 运动约束的片集

NAL 网络抽象层

OLS 输出层集

PH 图片标头

PPS 图片参数集

PTL 档次、层次、级别

PU 图片单元

RAP 随机访问点

RBSP 原始字节序列有效负载

SEI 补充增强信息

SPS 序列参数集

STRP 短期参考图片

SVC 可缩放视频编解码

VCL 视频编解码层

VPS 视频参数集

VTM VVC测试模型

VUI 视频可用性信息

VVC 多功能视频编解码

3.初步讨论

视频编解码标准主要是通过众所周知的ITU-T和ISO/IEC标准的发展而得以演进。ITU-T制作了H.261和H.263标准，ISO/IEC制作了MPEG-1和MPEG-4Visual标准，并且两个组织联合制作了H.262/MPEG-2视频标准和H.264/MPEG-4高级视频编解码(AVC)标准和H.265/HEVC标准。从H.262开始，视频编解码标准基于混合视频编解码结构，其中利用时域预测加变换编解码。为了探索HEVC之外的未来视频编解码技术，由VCEG和MPEG于2015年联合成立联合视频探索团队(JVET)。从那时起，JVET采用了许多新方法并将其纳入名为联合探索模型(JEM)的参考软件。JVET会议每季度同时举行一次，新编解码标准的目标是与HEVC相比降低50％比特率。新的视频编解码标准在2018年4月的JVET会议上被正式命名为多功能视频编码(VVC)，并且第一版VVC测试模型(VTM)也在当时发布。随着VVC标准化的不断努力，新的编解码技术在每次JVET会议上都被采用到VVC标准中。VVC的工作草案和测试模型VTM在每次会议后都会更新。VVC项目现在的目标是在2020年7月的会议上技术完成(FDIS)。

3.1.HEVC中的图片分割方案

HEVC包括四种不同的图片分割方案，即常规条带、非独立条带、片和波前并行处理(WPP)，这可应用于最大传输单元(MTU)尺寸匹配、并行处理和减小端到端延迟。

常规条带与H.264/AVC中的类似。每个常规条带都封装在它自己的NAL单元中，并且禁用了跨条带边界的图内预测(帧内样点预测、运动信息预测、编解码模式预测)和熵编解码依赖性。因此，可以独立于同一图片内的其他常规条带重建常规条带(尽管由于环路滤波操作可能仍然存在相互依赖性)。

常规条带是唯一可用于并行化的工具，该工具在H.264/AVC中也以几乎相同的形式可用。基于常规条带的并行化不需要太多处理器间或核间通信(除了在解码预测编解码图片时用于运动补偿的处理器间或核间数据共享，由于帧内图片预测，这通常比处理器间或核间的数据共享重得多)。然而，出于同样的原因，由于条带头的比特成本以及跨条带边界的预测缺失，使用常规条带可能会产生大量的编解码开销。此外，由于常规条带的图片内独立性以及每个常规条带都封装在其自己的NAL中，因此常规条带(与下面提到的其他工具相比)也可作为比特流分割以匹配MTU尺寸要求的关键机制。在许多情况下，并行化的目标和MTU尺寸匹配的目标对图片中的条带布局的要求是矛盾的。这种情况的实现导致了下面提到的并行化工具的开发。

非独立条带具有短条带头并且允许在树块边界处对比特流进行分割而不破坏任何图片内预测。基本上，非独立条带将常规条带分成多个NAL单元，通过允许在整个常规条带的编码完成之前发送常规条带的一部分来减少端到端延迟。

在WPP中，图片被分割成单行的编解码树块(CTB)。允许熵解码和预测以使用来自其他分割中的CTB的数据。通过CTB行的并行解码可以进行并行处理，其中CTB行的解码开始延迟两个CTB，以确保与在主体CTB上方和右侧的CTB相关的数据可以在正在解码的主体CTB之前获得。使用这种交错开始(这以图形方式表示时看起来像一个波前)，可以并行化与包含有CTB行的图片一样多的处理器/核。因为允许图片内的邻域树块行之间的图片内预测，所以实现图片内预测所需的处理器间/核间通信可能是大量的。与未应用WPP分割相比，WPP分割不会导致产生额外的NAL单元，因此WPP不是用于MTU尺寸匹配的工具。但是，如果需要MTU尺寸匹配，则可以将常规条带与WPP一起使用，但具有一定的编解码开销。

片定义将图片分割为片列和片行的水平和垂直边界。片列从图片的顶部延伸到图片底部。同样，片行从图片的左侧延伸到图片的右侧。图片中的片数可以简单地通过片列数乘以片行数导出。

在按照图片的片光栅扫描的顺序解码下一个片的左顶CTB之前，CTB的扫描顺序被改变为片内的本地扫描顺序(按照片的CTB光栅扫描的顺序)。与常规条带类似，片打破了图片内预测依赖性以及熵解码依赖性。但是，它们不需要包含在独立的NAL单元中(在这方面与WPP相同)；因此片不能用于MTU尺寸匹配。每个片可由一个处理器/核处理，并且在条带跨越多个片的情况下，解码邻域片的处理单元之间的图片内预测所需的处理器间/核间通信仅限于传送共享的条带头和与重建样点和元数据的共享相关的环路滤波。当条带中包含一个以上的片或WPP段时，条带中除第一个之外的每个片或WPP段的入口点字节偏移量在条带头中被信令通知。

为简单起见，在HEVC中指定了对四种不同图片分割方案的应用的限制。对于HEVC中指定的大多数配置文件，给定的编解码视频序列不能同时包含片和波前。对于每个条带和片，必须满足以下条件之一或两者：1)条带中的所有编解码树块都属于同一个片；2)片中的所有编解码树块属于同一个条带。最后，波前段恰好包含一个CTB行，并且当使用WPP时，如果条带在CTB行内开始，则该条带必须在同一CTB行中结束。

随着最近对HEVC的修改，HEVC指定了三个与MCT相关的SEI消息，即时域MCTS SEI消息、MCTS提取信息集SEI消息和MCTS提取信息嵌套SEI消息。

时域MCTS SEI消息指示比特流中存在MCTS并信令通知MCTS。对于每个MCTS，运动矢量被限制为指向MCTS内的全样点位置和仅需要MCTS内的全样点位置进行插值的分数样点位置，并且不允许使用对于来自MCTS之外的块导出的时域运动矢量预测的运动矢量候选。这样，每个MCTS可以在不存在未包括在MCTS中的片的情况下进行独立解码。

MCTS提取信息集SEI消息提供补充信息，该补充信息可用于MCTS子比特流提取(指定为SEI消息的语义的部分)以生成符合MCTS集的比特流。该信息由多个提取信息集组成，每个提取信息集定义多个MCTS集并包含要在MCTS子比特流提取过程期间使用的替换VPS、SPS和PPS的RBSP字节。在根据MCTS子比特流提取过程提取子比特流时，参数集(VPS、SPS和PPS)需要重写或替换，条带头需要稍微更新，因为一个或全部与条带地址相关的语法元素(包括first_slice_segment_in_pic_flag和slice_segment_address)通常需要具有不同的值。

3.2.VVC中图片的分割

在VVC中，图片被分为一个或多个片行和一个或多个片列。片是覆盖图片的矩形区域的CTU序列。片中的CTU在该片内以光栅扫描顺序进行扫描。

条带由图片的片内的整数个完整片或整数个连续完整CTU行组成。

支持两种条带模式，即光栅扫描条带模式和矩形条带模式。在光栅扫描条带模式中，条带包含图片的片光栅扫描中的完整条带序列。在矩形条带模式中，条带包含共同形成图片的矩形区域的多个完整片或共同形成图片的矩形区域的一个片的多个连续完整CTU行。矩形条带内的片在对应于该条带的矩形区域内以片光栅扫描顺序进行扫描。

子图片包含共同覆盖图片的矩形区域的一个或多个条带。

图1示出了图片的光栅扫描条带分割的示例，其中图片被分割为12个片和3个光栅扫描条带。

图2示出了图片的矩形条带分割的示例，其中图片被分割为24个片(6个片列和4个片行)和9个矩形片。

图3示出了被分割为片和矩形条带的图片的示例，其中图片被分割为4个片(2个片列和2个片行)和4个矩形条带。

图4示出了图片的子图片分割的示例，其中图片被分割为18个片，左侧的12个片(每个覆盖一个有4x4个CTU的条带)以及右侧的6个片(每个覆盖2个有2x2个CTU的垂直堆叠的条带)，总共产生24个条带和24个不同尺寸的子图片(每个条带是子图片)。

3.3.序列内的图片分辨率变化

在AVC和HEVC中，图片的空域分辨率不能改变，除非使用新SPS的新序列以IRAP图片开始。VVC允许在不编码IRAP图片的位置改变序列内的图片分辨率，IRAP图片总是被帧内编解码。此特征有时称为参考图片重采样(RPR)，因为当参考图片具有与正在解码的当前图片不同的分辨率时，该特征需要对用于帧间预测的参考图片进行重采样。

缩放比率被限制为大于或等于1/2(从参考图片到当前图片的2倍下采样)，并且小于或等于8(8倍上采样)。规定了具有不同频率截止的三组重采样滤波器来处理参考图片和当前图片之间的各种缩放比率。三组重采样滤波器分别应用于范围从1/2到1/1.75、从1/1.75到1/1.25和从1/1.25到8的缩放比率。每组重采样滤波器具有用于亮度的16个相位和用于色度的32个相位，这与运动补偿插值滤波器的情况相同。实际上正常的MC插值过程是重采样过程的一种特殊情况，其中缩放比率范围从1/1.25到8。水平和垂直缩放比率是基于图片宽度和高度以及为参考图片和当前图片规定的左、右、顶部和底部缩放偏移而导出的。

与HEVC不同的支持此功能的VVC设计的其他方面包括：i)在PPS中而不是在SPS中信令通知的图片分辨率和对应的一致性窗口，而在SPS中信令通知最大图片分辨率。ii)对于单层比特流，每个图片存储(DPB中用于存储一个解码图片的槽)占用存储具有最大图片分辨率的解码图像所需的缓冲器尺寸。

3.4.一般和VVC中的可缩放视频编解码(SVC)

可缩放视频编解码(SVC，有时也称为视频编解码中的可缩放性)是指使用基础层(BL)(有时称为参考层(RL))和一个或多个可缩放增强层(EL)的视频编解码。在SVC中，基础层可以携带具有基础质量级别的视频数据。一个或多个增强层可以携带额外的视频数据以支持例如更高的空域、时域和/或信噪比(SNR)级别。可以相对于先前编码的层来定义增强层。例如，底层可以用作BL，而顶层可以用作EL。中间层可以用作EL或RL，或两者兼而有之。例如，中间层(例如，既不是最低层也不是最高层的层)可以是中间层下方的层(例如基础层或任何居间的增强层)的EL，并且同时用作中间层上方的一个或多个增强层的RL。类似地，在HEVC标准的Multiview或3D扩展中，可能存在多个视图，并且一个视图的信息可以用于编解码(例如，编码或解码)另一个视图的信息(例如，运动估计、运动矢量预测和/或其他冗余)。

在SVC中，编码器或解码器使用的参数基于它们可以在其中使用的编解码级别(例如，视频级别、序列级别、图片级别、条带级别等)被分组成参数集。例如，可以由比特流中不同层的一个或多个编解码视频序列使用的参数可以包括在视频参数集(VPS)中，并且可以由编解码视频序列中的一个或多个图片使用的参数包含在序列参数集(SPS)中。类似地，由图片中的一个或多个条带使用的参数可以包括在图片参数集(PPS)中，并且特定于单个条带的其他参数可以包括在条带标头中。类似地，可以在各种编解码级别提供特定层在给定时间使用哪个(哪些)参数集的指示。

由于VVC中对参考图片重采样(RPR)的支持，可以在不需要任何额外的信令通知处理级别编解码工具的情况下设计对包含多层的比特流的支持，例如，在VVC中具有SD和HD分辨率的两个层，因为空域可缩放性支持所需的上采样可仅使用RPR上采样滤波器。然而，为了支持可缩放性，需要高级别的语法变化(与不支持可缩放性相比)。VVC版本1中规定了可缩放性支持。与任何早期视频编解码标准中的可缩放性支持不同，包括AVC和HEVC的扩展，VVC可缩放性的设计已尽可能地对单层解码器设计友好。多层比特流的解码能力是以好像比特流中只有单层的方式来规定的。例如，以独立于要解码的比特流中的层的数量的方式指定诸如DPB尺寸的解码能力。基本上，为单层比特流设计的解码器不需要太多改变就能够解码多层比特流。与AVC和HEVC的多层扩展的设计相比，HLS方面在牺牲一些灵活性的情况下得到了显著简化。例如，IRAP AU需要包含CVS中存在的每个层的图片。

3.5.基于子图片的视口相关360o视频流

在360°视频(又称全向视频)的流式传输中，在任何特定时刻，仅向用户呈现整个全向视频球体的子集(例如，当前视口)，而用户可随时转动他/她的头部以改变观看方向，从而改变当前视口。虽然希望在客户端至少有一些未被当前视口覆盖的区域的较低质量表示，并准备好呈现给用户，以防用户突然将他/她的查看方向更改为球体上的任何位置，但是全向视频的高质量表示只需要用于当前正在呈现给用户的当前视口。以适当的粒度将整个全向视频的高质量表示划分为子图片可以实现这种优化。使用VVC，这两种表示可以被编码为相互独立的两个层。

典型的基于子图片的视口相关360°视频传输方案如图11所示，其中完整视频的较高分辨率表示由子图片组成，而完整视频的较低分辨率表示不使用子图片，并且可使用比较高分辨率表示更低频率的随机访问点进行编码。客户端接收较低分辨率的完整视频，而对于较高分辨率的视频，它只接收和解码覆盖当前视口的子图片。

3.6.参数集

AVC、HEVC和VVC规定参数集。参数集的类型包括SPS、PPS、APS和VPS。所有AVC、HEVC和VVC都支持SPS和PPS。VPS是从HEVC开始引入的，并且包含在HEVC和VVC两者中。APS未包含在AVC或HEVC中，但包含在最新的VVC草案文本中。

SPS被设计为携带序列级别标头信息，并且PPS被设计为携带不经常变化的图片级别标头信息。使用SPS和PPS，不需要为每个序列或图片重复不经常变化的信息，因此可以避免该信息的冗余信令通知。此外，使用SPS和PPS实现了重要标头信息的带外传输，从而不仅避免了冗余传输的需要，而且还提高了错误恢复能力。

引入VPS是为了携带多层比特流中所有层共同的序列级别标头信息。

引入APS是为了携带这样的图片级别或条带级别信息，这些信息需要相当多的位进行编解码，可以由多个图片共享，并且在序列中可以有很多不同的变化。

以下是一些实施例中SPS/PPS/APS的语义：

为SPS提供标识符以供其他语法元素参考。

无论nuh_layer_id值如何，SPS NAL单元共享sps_seq_parameter_set_id相同的值空间。

设spsLayerId为特定SPS NAL单元的nuh_layer_id的值，而vclLayerId为特定VCLNAL单元的nuh_layer_id的值。特定的VCL NAL单元不应参考特定的SPSNAL单元，除非spsLayerId小于或等于vclLayerId并且被解码的OLS包含nuh_layer_id等于spsLayerId的层和nuh_layer_id等于vclLayerId的层两者。

标识其他语法元素参考的PPS。pps_pic_parameter_set_id的值应在0到63(包括端值)的范围内。

无论nuh_layer_id值如何，PPS NAL单位共享pps_pic_parameter_set_id的相同值空间。

设ppsLayerId是特定PPS NAL单元的numh_layer_id的值，并且vclLayerId是特定VCL NAL单元的numh_layer_id的值。特定的VCL NAL单元不应指代特定的PPS NAL单元，除非ppsLayerId小于或等于vclLayerId并且被解码的OLS包含nuh_layer_id等于ppsLayerId的层和nuh_layer_id等于vclLayerId的层两者。

为APS提供标识符，以供其他语法元素参考。

当aps_params_type等于ALF_APS或SCALING_APS时，adaptation_parameter_set_id的值应在0到7(包括端值)的范围内。

当aps_params_type等于LMCS_APS时，adaptation_parameter_set_id的值应在0到3(包括端值)的范围内。

设apsLayerId是特定APS NAL单元的nuh_layer_id的值，并且vclLayerId是特定VCL NAL单元的nuh_layer_id的值。除非apsLayerId小于或等于vclLayerId，并且被解码的OLS包含nuh_layer_id等于apsLayerId的层和nuh_layer_id等于vclLayerId的层两者，否则特定的VCL NAL单元不应参考特定的APS NAL单元。

3.7.子比特流提取过程

该过程的输入为比特流inBitstream、目标OLS索引targetOlsIdx和目标最高TemporalId值tIdTarget。

该过程的输出是子比特流outBitstream。

对输入比特流的比特流一致性的要求是满足以下所有条件的任何输出子比特流都应是符合的比特流：

–输出子比特流是本条款中规定的过程的输出，其中作为输入，比特流targetOlsIdx等于VPS规定的OLS的列表的索引，并且tIdTarget等于0到6(包括端值)的范围内的任何值。

–输出子比特流包含至少一个VCLNAL单元，其nuh_layer_id等于LayerIdInOls[targetOlsIdx]中的每个nuh_layer_id值。

–输出子比特流包含TemporalId等于tIdTarget的至少一个VCL NAL单元。注—符合的比特流包含TemporalId等于0的一个或多个编解码的条带NAL单元，但是不必包含nuh_layer_id等于0的编解码的条带NAL单元。输出子比特流OutBitstream导出如下：

–比特流outBitstream设置为与比特流inBitstream相同。

–从outBitstream中移除TemporalId大于tIdTarget的所有NAL单元。

–从outBitstream中移除nal_unit_type不等于VPS_NUT、DCI_NUT和EOB_NUT中任何一个且nuh_layer_id不包括在列表LayerIdInOls[targetOlsIdx]中的所有NAL单元。

–从outBitstream中移除以下所有条件为真的所有NAL单元：

–nal_unit_type不等于IDR_W_RADL、IDR_N_LP或CRA_NUT。

–对于0至NumLayersInOls[targetOlsIdx]-1(包括端值)的范围内的j的值，nuh_layer_id等于LayerIdInOls[targetOlsIdx][j]。

–TemporalId大于或等于NumSubLayersInLayerInOLS[targetOlsIdx][j]。

–从outBitstream中移除包含可缩放嵌套SEI消息的所有SEI NAL单元，该可缩放嵌套SEI消息的nesting_ols_flag等于1，并且在0到nesting_num_olss_minus1(包括端值)的范围内没有i值，使得NestingOlsIdx[i]等于targetOlsIdx。

–当LayerIdInOls[targetOlsIdx]不包括比特流中所有NAL单元中的nuh_layer_id的所有值时，以下适用：

–从outBitstream中移除包含payloadType等于0(缓冲周期)或130(解码单元信息)的不可缩放嵌套SEI消息的所有SEI NAL单元。

–当general_same_pic_timing_in_all_ols_flag等于0时，从outBitstream中移除包含payloadType等于1的不可缩放嵌套SEI消息(图片时序)的所有SEI NAL单元。

–当outBitstream包含SEI NAL单元并且适用于outBitstream(NestingOlsIdx[i]等于targetOlsIdx)，这些单元包含nesting_ols_flag等于1的可缩放嵌套SEI消息时，以下适用：

–如果same_pic_timing_within_ols_flag等于0，则从可缩放嵌套SEI消息中提取payloadType等于0(缓冲周期)、1(图片时序)或130(解码单元信息)的适当的不可缩放嵌套SEI消息，并将这些SEI消息包括在outBitstream中。

–否则(same_pic_timing_within_ols_flag等于1)，从可缩放嵌套SEI消息中提取payloadType等于0(缓冲周期)或130(解码单元信息)的适当的不可缩放嵌套SEI消息，并将这些SEI消息包括在outBitstream中。

4.公开的技术方案解决的技术问题

最新VVC文本中的现有设计存在以下问题：

1)当前的VVC设计支持360°视频的典型编解码方案，如图11所示。然而，尽管在当前的VVC设计中支持可缩放性，但是不支持如图12所示的改进的360度视频编解码方案。与图11中示出的方法相比，唯一的区别是帧间层预测(ILP)被应用于图12中示出的方法。

VVC草案中的以下两个地方不允许子图片和空域可缩放性的组合使用：

a.VVC的空域可缩放性设计依赖于RPR特征。但是，RPR和子图片的组合目前被以下语义约束所禁止：

因此，改进的编解码方案是不允许的，因为对于由较高层参考的SPS，上述约束不允许将subpic_info_present_flag设置为1(以使用每个图片的多个子图片)，同时将res_change_in_clvs_allowed_flag设置为1(以启用RPR，这是ILP的空域可缩放性所需要的)。

b.目前的VVC草案对子图片和可缩放性的组合有以下约束：

–

–

–

除了子图片与SNR可缩放性的受限组合之外，上述约束基本上不允许子图片与ILP的可缩放性的任何其他组合，其中每个依赖树内的层必须具有相同的空域分辨率以及相同的子图片布局。

2)当subpic_treatment_as_pic_flag[i]等于1时，第i个子图片的子图片边界将被视为运动补偿中的图片边界。在VVC草案文本中，这种处理是通过在与运动补偿相关的解码过程中应用某些裁剪操作来实现的。然而，对于图12所示的改进的编解码方案，由于较低层完全可用于解码器，而不仅仅是对应于第i个子图片的区域，因此在这种情况下不需要应用这种裁剪，以避免不必要的编解码效率损失。

3)不考虑对图12所示的改进的编解码方案的支持的情况下，对子图片和ILP的可伸缩性的组合的上述现有约束(该描述包括在问题1b的描述中)具有以下问题：

a.当包含第i个子图片的层不是OLS的输出层时，该约束也应该适用。应该以不考虑层是否为OLS的输出层的方式规定整个约束。

b.应该包括对subpic_treated_as_pic_flag[i]的值跨层对齐的要求，否则不可能跨层提取具有相同索引的子图片序列。

c.应排除对loop_filter_across_subpic_enabled_flag[i]的值跨层对齐的要求，因为不管该标志的值如何，只要subpic_treated_as_pic_flag[i]等于1，就可以提取子图片序列。loop_filter_across_subpic_enabled_flag[i]的值的设置应该留给编码器来决定单个可提取子图片序列的质量与多组可提取子图片序列的质量之间的权衡，正如为什么这两个标志彼此独立地被信令通知一样。

d.整个约束应仅在sps_num_subpics_minus1大于0时应用，以避免所有情况下，每个子图片一个子图片被约束无意地覆盖。

e.需要清楚地规定约束适用的时域范围，例如一组AU。

f.应该包括对每个缩放窗口参数scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset和scaling_win_bottom_offset的值跨层对齐的要求，以确保当每个图片有多个子图片时，不需要ITRP的RPR。

4)当前，当前图片的并置图片可以是与当前图片同层的长期参考图片(LTRP)，并且也可以是帧间层参考图片(ILRP)，例如与当前图片不同层的参考图片。然而，在任何一种情况下，都不会应用基于POC的运动矢量缩放，因此由于允许这样做而导致的编解码性能预计会非常低。因此，最好不允许当前图片的并置图片是LTRP或ILRP。

5)目前，允许CLVS中具有相同空域分辨率的图片具有不同的缩放窗口。但是，这应该是不允许的，否则，RPR的SPS标志和RPR的一般约束标志将不能用来完全禁用RPR工具。

6)目前，当进行子比特流提取时，当前/目标OLS中未包含的层的参数集(SPS/PPS/VPS)也可以包含在提取的比特流中。然而，只要在VPS中定义了包含layerA和layerB两者的OLS，即使layerA和layerB不包含在被解码的当前OLS中，layerA中的条带也参考layerB中的参数集并不是设计意图。

7)允许的APS的数量取决于APS类型。然而，APS ID的信令通知被固定为u(5)，而不管允许的APS，这可能浪费不必要的位。

8)目前，缩放窗口偏移被信令通知为正值，因此仅支持正的垂直和水平偏移。然而，允许信令通知负的缩放窗口偏移是可能的，从而即使当参考图片不包括缩放窗口时也可以导出负的垂直和水平偏移。并且允许缩放因子大于1也将有益于360°视频编解码中的子图片用例，例如，具有完整360°视频内容但具有较低分辨率的基础层，以及随后具有以较高分辨率编解码的特定视口(像从基础层中的图片放大)的增强。但是，应修改当前规范中的几个地方以支持此功能。

9)目前，当启用变换跳过残差编解码(TSRC)时，也可以使用符号数据隐藏(SDH)和相关量化(DQ)，这违反了无损编解码的概念。TSRC是对变换块的所有扫描位置的量化索引进行编解码的模式。SDH是一种省略非零索引的符号的编解码的技术。DQ是一种模式，其中样点的量化取决于先前样点的状态。

5.技术方案和实施例的列表

为解决上述及其他问题，公开了如下总结的方法。这些项目应该被认为是解释一般概念的示例，而不应该以狭隘的方式解释。此外，这些项目可以单独使用或以任何方式组合使用。

1)为了解决问题1a，代替仅具有一个SPS标志(例如，如当前VVC草案中的res_change_in_clvs_allowed_flag)来控制RPR，可以为此目的规定和/或信令通知多个(例如两个)SPS标志。

a.例如，第一个标志(例如，ref_pic_resampling_enabled_flag)规定是否需要使用RPR来解码一个或多个图片，而第二个标志(例如，res_change_in_clvs_allowed_flag)规定是否允许在CLVS内改变图片分辨率。

b.或者，此外，仅当第一标志规定可能需要使用RPR来解码一个或多个图片时才信令通知第二标志。此外，当未信令通知时，第二标志的值被推断为规定不允许在CLVS内改变图片分辨率的值。

i.或者，这两个标志彼此独立地信令通知。

c.或者，此外，添加一个更一般约束标志，使得对于第一和第二标志中的每一个存在一个一般约束标志。

d.此外，不允许RES_change_in_clvs_allowed_flag等于1的每个图片的多个子图片的组合，但是允许ref_pic_resampling_enabled_flag等于1的每个图片的多个子图片的组合。

e.此外，基于res_change_in_clvs_allowed_flag的值的scaling_window_explicit_signaling_flag的值的约束被改变为基于ref_pic_resampling_enabled_flag的值，如下:当

等于0时，scaling_window_explicit_signalling_flag的值应等于0。

f.或者，可以在VPS中而不是在SPS中信令通知多个(例如两个)标志中的一个或全部。

i.在一个示例中，VPS中的多个(例如两个)标志中的一个或全部应用于VPS规定的所有层。

ii.在另一示例中，VPS中的多个(例如两个)标志中的一个或全部可以各自具有在VPS中信令通知的多个实例，并且每个实例应用于一个依赖树中的所有层。

g.在一个示例中，多个标志中的每一个都被编解码为使用l位u(1)的无符号整数。

h.或者，可以用非二进制值(例如，在SPS/VPS中)来信令通知一个语法元素，以规定在解码过程中RPR的使用和CLVS内图片分辨率变化的允许。

i.在一个示例中，当语法元素的值等于0时，它规定不需要使用RPR来解码一个或多个图片。

ii.在一个示例中，当语法元素的值等于1时，它规定可能需要使用RPR来解码一个或多个图片，而不允许在CLVS内改变图片分辨率。

iii.在一个示例中，当语法元素的值等于2时，它规定可能需要使用RPR来解码一个或多个图片，同时允许在CLVS内改变图片分辨率。

iv.或者，此外，如何信令通知语法元素可以取决于是否允许帧间层预测。

v.在一个示例中，语法元素用ue(v)编解码，指示左位在前的无符号整数0阶Exp-Golomb编解码的语法元素。

vi.在另一个示例中，语法元素被编解码为使用N个位u(N)的无符号整数，例如，其中N等于2。

2)可替换地，或者除了用于解决问题1a的项目1之外，仍然只有一个标志，例如res_change_in_clvs_allowed_flag，但是可以改变语义使得无论标志的值如何，都允许对帧间层参考图片进行重采样。

a.在一个示例中，语义可以改变如下：

res_change_in_clvs_allowed_flag等于1规定图片空域分辨率可以在参考SPS的CLVS内改变，

res_change_in_clvs_allowed_flag等于0规定图片空域分辨率在参考SPS的任何CLVS内都不会改变，

b.通过这种改变，即使当res_change_in_clvs_allowed_flag等于0，子图片/图片的解码仍然可以使用帧间层参考图片(ILRP)的RPR。

3)为了解决问题1b，更新了对子图片和ILP的可缩放性的组合的约束，使得该约束仅对当前层和依赖于当前层的所有较高层施加跨层对齐限制，而不对不依赖于当前层的较高层或较低层施加跨层对齐限制。

a.或者，更新约束以仅对当前层和高于当前层的所有层施加跨层对齐限制。

b.或者，更新约束以仅对当前层和包含当前层的每个OLS中的所有较高层施加跨层对齐限制。

c.或者，更新约束以仅对当前层和作为当前层的参考层的所有较低层施加跨层对齐限制。

d.或者，更新约束以仅对当前层和低于当前层的所有层施加跨层对齐限制。

e.或者，更新约束以仅对当前层和包含当前层的每个OLS中的所有较低层施加跨层对齐限制。

f.或者，更新约束以仅对低于最高层的所有层施加跨层对齐限制。

g.或者，更新约束以仅对高于最低层的所有层施加跨层对齐限制。

4)为了解决问题2，在用于将运动补偿/运动预测中的子图片边界处理为图片边界的涉及帧间预测相关过程中的裁剪操作的一个或多个解码过程中(例如，在条款8.5.2.11用于时域亮度运动矢量预测的导出过程、条款8.5.3.2.2亮度样点双线性插值过程、条款8.5.5.3用于基于子块的时域merge候选的导出过程、条款8.5.5.4用于基于子块的时域merge基础运动数据的导出过程、条款8.5.5.6用于构建的仿射控制点运动矢量merge候选的导出过程、条款8.5.6.3.2亮度样点插值滤波过程、条款8.5.6.3.3亮度整数样点获取过程和条款8.5.6.3.4色度样点插值过程中)，应用以下更改：

a.在一个示例中，改变过程使得如果subpic_treatment_as_pic_flag[CurrSubpicIdx]等于1并且参考图片refPicLX的sps_num_subpics_minus1大于0，则应用剪裁操作，否则不应用剪裁操作。

i.或者，当图片的并置图片不允许为ILRP时，如上所述仅改变参考图片refPicLX不是并置图片的过程，并且不改变参考图片refPicLX是并置图片的过程。

b.在一个示例中，改变过程使得如果subpic_treatment_as_pic_flag[CurrSubpicIdx]等于1并且当前条带的nal_unit_type的值不等于IDR_W_RADL、IDR_N_LP或CRA_NUT，则应用剪裁操作，否则不应用剪裁操作。同时，ILP仅被允许用于IRAP图片的编解码。

c.在一个示例中，不对这些解码过程进行改变，例如，如果subpic_treated_as_pic_flag[CurrSubpicIdx]等于1，则应用裁剪操作，否则不应用裁剪操作，与当前VVC文本中相同。

5)为了解决问题3a，更新对子图片和ILP的可缩放性的组合的约束，使得该约束对每个依赖树中的所有层施加跨层对齐限制。依赖树包含特定层、将该特定层作为参考层的所有层以及该特定层的所有参考层，而与这些层中的任何一个是否是OLS的输出层无关。

6)为了解决问题3b，对子图片和ILP的可缩放性的组合的约束进行了更新，使得该约束对subpic_treatment_as_pic_flag[i]的值施加了跨层对齐限制。

7)为了解决问题3c，对子图片和ILP的可缩放性的组合的约束进行了更新，使得该约束不对loop_filter_across_subpic_enabled_flag[i]的值施加跨层对齐限制。

8)为了解决问题3d，更新了对子图片和ILP的可缩放性的组合的约束，使得当sps_num_subpics_minus1等于0时该约束不适用。

a.或者，更新约束，使得当subpic_info_present_flag等于0时，约束不适用。

9)为了解决问题3e，更新了子图片和ILP的可缩放性的组合的约束，使得该约束对特定目标组的AU中的图片施加跨层对齐限制。

a.在一个示例中，对于参考SPS的当前层的每个CLVS，假设目标组的AUtargetAuSet是从包含按照解码顺序的CLVS的第一个图片的AU开始到包含按照解码顺序的CLVS的最后一个图片(包括端值)的AU的所有AU。

10)为了解决问题3f，更新对子图片和ILP的可缩放性的组合的约束，使得该约束对缩放窗口参数scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset和scaling_win_bottom_offset中每一个的值施加跨层对齐限制。

11)为了解决问题4，约束当前图片的并置图片不应是长期参考图片(LTRP)。

a.或者，约束当前图片的并置图片不应是帧间层参考图片(ILRP)。

b.或者，约束当前图片的并置图片不应是LTRP或ILRP。

c.或者，相反，如果当前图片的并置图片是LTRP或ILRP，则不应用缩放来获得指向并置图片的运动矢量。

12)为了解决问题5，约束scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset和scaling_win_bottom_offset中每一个的值对于同一CLVS内分别具有pic_width_in_luma_samples和pic_height_in_luma_samples的相同值的任意两个图片必须相同。

a.或者，将上面的“在同一CLVS内”替换为“在同一CVS内”。

b.或者，约束规定如下：

设ppsA和ppsB是参考同一个SPS的任意两个PPS。比特流一致性的要求是，当ppsA和ppsB分别具有pic_width_in_luma_samples和pic_height_in_luma_samples的相同值时，ppsA和ppsB应分别具有scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset和scaling_win_bottom_offset的相同值。

c.或者，约束规定如下：

scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、scaling_win_bottom_offset中每一个的值对于同一CVS内的任意两个图片都应相同，并满足以下所有条件：

i.两个图片分别具有pic_width_in_luma_samples和pic_height_in_luma_samples的相同值。

ii.两个图片属于同一层或两层，其中一层是另一层的参考层。

13)提出了当图片分辨率/缩放窗口对于同一访问单元中的当前图片和其他图片不同时，仅当当前图片是IRAP图片时才允许ILP。

14)在本文档中，图片分辨率可以指图片的宽度和/或高度，也可以指图片的缩放窗口/或一致性窗口的宽度和/或高度和/或左顶角位置.

15)在本文档中，不使用RPR可能意味着当前图片的任何参考图片的分辨率与当前图片的分辨率相同。

16)关于解决问题6的比特流提取，提出以下一种或多种解决方案：

a.在一个示例中，为了导出输出子比特流，移除具有未包括在列表LayerIdInOls[t argetOlsIdx]中的nuh_layer_id的参数集(例如，SPS/PPS/APS NAL单元)。

b.例如，输出子比特流OutBitstream的导出可能取决于以下一项或多项：

i.从outBitstream中移除nal_unit_type等于SPS_NUT且nuh_layer_id未包含在列表LayerIdInOls[targetOlsIdx]中的所有NAL单元。

ii.从outBitstream中移除nal_unit_type等于PPS_NUT且nuh_layer_id未包含在列表LayerIdInOls[targetOlsIdx]中的所有NAL单元。

iii.从outBitstream中移除nal_unit_type等于APS_NUT且nuh_layer_id未包含在列表LayerIdInOls[targetOlsIdx]中的所有NAL单元。

iv.从outBitstream中移除nal_unit_type等于SPS_NUT、PPS_NUT和APS_NUT中的任何一个且以下任何条件为真的所有NAL单元：

1.对于0到NumLayersInOls[targetOlsIdx]-1(包括端值)范围内的至少一个j值，nuh_layer_id大于LayerIdInOls[targetOlsIdx][j]。

2.nuh_layer_id未包含在列表LayerIdInOls[targetOlsIdx]中。

v.当nal_unit_type等于SPS_NUT、PPS_NUT和APS_NUT中的任何一个的第一NAL单元在提取期间被移除时，参考第一NAL单元的第二NAL单元也应该被移除。

c.例如，输出子比特流OutBitstream的导出可能取决于以下一项或多项：

i.从outBitstream中移除nal_unit_type等于VPS_NUT、DCI_NUT和EOB_NUT中的任何一个且nuh_layer_id未包含在列表LayerIdInOls[targetOlsIdx]中的所有NAL单元。

17)信令通知APS ID(例如，

)所需的位取决于APS类型。

a.信令通知APS ID(例如，

)所需的位从u(3)修改为u(v)。

i.在一个示例中，对于自适应环路滤波器(ALF)APS，APSID可以用u(a)编解码。

ii.在一个示例中，对于具有色度缩放的亮度映射(LMCS)，APSID可以用u(b)编解码。

iii.在一个示例中，对于缩放列表APS，APS ID可以用u(c)编解码。

iv.在一个示例中，a/b/c取决于对应类型的APS的最大允许数量。

1.在一个示例中，a>b和a>c。

2.在一个示例中，a>＝b并且a>c。

3.在一个示例中，c>b。

4.在一个示例中，b＝2。

5.在一个示例中，c＝3。

6.在一个示例中，a＝3或大于3(例如，4、5、6、7、8、9)。

18)APS ID(例如，

)和APS类型(例如，VVC文本中的

)的编解码顺序被切换，使得APS类型在比特流中的APS ID之前出现。

19)APS中允许的滤波器的总数可以根据编解码信息来限制，例如图片/条带类型、编解码结构(双树或单树)、层信息。

a.APS中允许的滤波器的总数可以包括具有PU的所有APS NAL单元中ALF APS中的亮度/色度ALF和CC-ALF的总数。

b.APS中允许的滤波器的总数可包括用于亮度分量(或亮度ALF滤波器)的自适应环路滤波器类别的总数、用于色度分量(色度ALF滤波器)的替代滤波器的总数和/或具有PU的所有APS NAL单元中的跨分量滤波器的总数。

20)关于解决第八个问题的大于1的缩放因子，提出了如下一个或多个解决方案：

a.在一个示例中，应用于图片尺寸以用于缩放比率计算的缩放窗口偏移可以是负值。

i.例如，缩放窗口偏移的语法元素(例如，

)可以用有符号二值化编解码，例如ae(v)、f(n)、i(n)、se(v)等。

b.在一个示例中，如何基于图片尺寸(例如，图片宽度/高度)来约束缩放窗口偏移的值可以取决于缩放窗口偏移的值是否为负。

i.例如，偏移和图片宽度/高度之间的约束可以根据缩放窗口偏移是否为负而不同地规定。

1.例如，可以根据左偏移和右偏移两者是否均为负，和/或左偏移和右偏移之一是否为负/正，和/或左偏移和右偏移是否均为正来规定一个或多个约束.

2.例如，可以根据顶部和底部偏移两者是否都是负的，和/或顶部和底部偏移之一是否为负/正，和/或顶部和底部偏移是否都是正来规定一个或多个约束.

ii.例如，只有当缩放窗口偏移的值为正值或0时，缩放窗口偏移的值才根据图片尺寸进行限制。

1.例如，当scaling_win_left_offset和scaling_win_right_offset不是负数(或正数)时，SubWidthC*(scaling_win_left_offset+scaling_win_right_offset)的值应小于pic_width_in_luma_samples。

2.例如，当scaling_win_top_offset和scaling_win_bottom_offset不是负数(或正数)时，SubHeightC*(scaling_win_top_offset+scaling_win_bottom_offset)的值应小于pic_height_in_luma_samples。

iii.例如，绝对偏移可用于规定约束。

1.例如，SubWidthC*(abs(scaling_win_left_offset)+abs(scaling_win_right_offset))的值应小于X1*pic_width_in_luma_samples，其中X1为正整数，例如X1>＝1。

2.例如，SubHeightC*(abs(scaling_win_top_offset)+abs(scaling_win_bottom_offset))的值应小于X2*pic_height_in_luma_samples，其中X2为正整数，例如X2>＝1。

iv.或者，当任何缩放窗口偏移的值为负时，不要在图片宽度/高度上约束偏移值(例如，将负偏移视为0值偏移)。

1.例如，SubWidthC*(max(0,scaling_win_left_offset)+max(0,scaling_win_right_offset))的值应小于pic_width_in_luma_samples。

2.例如，SubHeightC*(max(0,scaling_win_top_offset)+max(0,scaling_win_bottom_offset))的值应小于pic_height_in_luma_samples。

c.在一个示例中，如何在参考图片输出宽度/高度、当前图片输出宽度/高度、参考图片宽度/高度、当前图片宽度/高度、最大图片宽度/高度(例如，refPicOutputWidthL、refPicOutputHeightL、PicOutputWidthL、PicOutputHeightL、refPicWidthInLumaSamples、refPicHeightInLumaSamples、pic_width/height_in_luma_samples、pic_width/height_max_in_luma_samples)之间进行比特流一致性/约束可以取决于缩放窗口偏移的值是否为负。

d.在一个示例中，如何导出输出图片的宽度/高度(例如，PicOutputWidthL、PicOutputHeightL)可以取决于缩放窗口偏移的值是否为负。

i.例如，当参考图片的缩放偏移的值为负时，可以将其视为0值偏移来计算参考图片的输出图片的宽度/高度。

ii.例如，变量PicOutputWidthL可导出如下：PicOutputWidthL＝pic_width_in_luma_samples-SubWidthC*(max(0,scaling_win_right_offset)+max(0,scaling_win_left_offset))。

iii.变量PicOutputHeightL可导出如下：PicOutputHeightL＝pic_height_in_luma_samples-SubWidthC*(max(0,scaling_win_bottom_offset)+max(0,scaling_win_top_offset))。

e.在一个示例中，如何执行分数样点插值可以取决于缩放窗口偏移的值是否为负。

i.例如，当参考图片的缩放窗口偏移的值为负时，可以将其视为0值偏移进行运动补偿。

1.例如，变量fRefLeftOffset可以设置为等于((SubWidthC*max(0,scaling_win_left_offset))<<10)，其中scaling_win_left_offset是参考图片的scaling_win_left_offset。

2.例如，变量fRefTopOffset可以设置为等于((SubWidthC*max(0,scaling_win_top_offset))<<10)，其中scaling_win_top_offset是参考图片的scaling_win_top_offset。

ii.例如，当当前图片的缩放窗口偏移的值为负时，可以将其视为0值偏移进行分数样点插值。

1.例如，假设(refxSb_L,refySb_L)为以1/16样点为单位给出的运动矢量(refMvLX[0],refMvLX[1])指向的亮度位置。变量refxSb_L和refySb_L可以如下导出：

a.refxSb_L＝(((xSb-(SubWidthC*max(0,scaling_win_left_offset)))<<4)+refMvLX[0])*scalingRatio[0]

b.refySb_L＝(((ySb-(SubWidthC*max(0,scaling_win_top_offset)))<<4)+refMvLX[1])*scalingRatio[1]

2.例如，设(refxSb_C,refySb_C)是以1/32样点为单位给出的运动矢量(refMvLX[0],refMvLX[1])所指向的色度位置。变量refxSb_C和refySb_C的导出如下：

a.refxSb_C＝(((xSb-(SubWidthC*max(0,scaling_win_left_offset)))/SubWidthC<<5)+refMvLX[0])*scalingRatio[0]+addX

b.refySb_C＝(((ySb-(SubWidthC*max(0,scaling_win_top_offset)))/SubHeightC<<5)+refMvLX[1])*scalingRatio[1]+addY

21)关于解决第九个问题的TSRC/DQ/SHD的信令通知，提出一种或多种解决方案如下：

a.在一个示例中，在视频单元级别(例如在图片序列/图片组/图片/条带级别)中，符号数据隐藏(SDH)和相关量化(DQ)启用/禁用标志的信令通知可以取决于是否启用了变换跳过残差编码(TSRC)。

i.例如，TSRC是否启用(例如，sps/pps/ph/slice_ts_residual_coding_disabled_flag)可以在相同级别的SDH/DQ的启用/禁用标志之前信令通知(例如，命名为sps/pps/ph/slice_dep_quant_enabled_flag、sps/pps/ph/slice_sign_data_hiding_enabled_flag)。

ii.例如，SPS/PPS/PH/SH级别中SDH/DQ启用/禁用标志的信令通知(例如，命名为SPS/PPS/PH/slice_dep_quant_enabled_flag、SPS/PPS/PH/slice_sign_data_hiding_enabled_flag)可以以TSRC是否在相同级别或更高级别被禁用(例如，SPS/PPS/PH/slice_ts_residual_coding_disabled_flag是否等于1)为条件。

iii.SH中的语法信令(在JVET-Q2001-vE之上)可以更改如下：

iv.此外，推断sps/pps/ph/slice_dep_quant_enabled_flag不存在时等于某个值(例如0)。

v.此外，推断sps/pps/ph/slice_sign_data_hiding_enabled_flag在不存在时等于某个值(例如0)。

b.在一个示例中，可以在视频单元级别(例如在序列/图片组/图片/

条带级别)中信令通知是否启用了TSRC。

i.例如，可以在SPS/PPS/PH/SH中信令通知名为

的标志。

ii.或者，可以在视频单元级别(例如在图片序列/图片组/图片/条带级别)中信令通知TSRC是否被禁用。

iii.例如，可以在SPS/PPS/PH/SH中信令通知名为

的标志。

c.在一个示例中，基于变换跳过以及DQ和SDH是否在相同级别或更高级别启用，有条件地信令通知是否启用TSRC。

i.例如，基于(sps_transform_skip_enabled_flag＝1&&！slice_dep_quant_enabled_flag&&！slice_sign_data_hiding_enabled_flag)有条件地信令通知

ii.例如，基于(sps_transform_skip_enabled_flag＝1&&！ph_dep_quant_enabled_flag&&！ph_sign_data_hiding_enabled_flag)有条件地信令通知

iii.例如，基于(sps_transform_skip_enabled_flag＝1&&！pps_dep_quant_enabled_flag&&！pps_sign_data_hiding_enabled_flag)有条件地信令通知

iv.在上面的示例中，sps_transform_skip_enabled_flag可以替换为SPS TSRC启用标志/SPS TSRC禁用标志。

v.在上面的示例中，sps_transform_skip_enabled_flag可以替换为PPS TS启用标志/PPS TSRC启用标志/PPS TSRC禁用标志。

d.在一个示例中，是否在块中应用SDH或DQ可以取决于是否使用TS和/或TSRS。

e.在一个示例中，当在块中使用TS和/或TSRS时，不应用SDH和/或DQ。ii.在一个示例中，当在块中使用TS和/或TSRS时，不信令通知指示是否使用SDH和/或DQ的(多个)SE并且推断为不使用。

f.在一个示例中，如果在块中使用TS和/或TSRS，则约束不能使用SDH和/或DQ。

22)可能需要缩放窗口偏移(例如scaling_win_right_offset、scaling_win_left_offset、scaling_win_top_offset、scaling_win_bottom_offset)应该大于(或不小于)整数X，其中X为负数。

a.在一个示例中，X可能取决于图片尺寸。

23)变量PicOutputWidthL和PicOutputHeightL导出如下：

PicOutputWidthL＝pic_width_in_luma_samples-SubWidthC*(scaling_win_right_offset+scaling_win_left_offset)

PicOutputHeightL＝pic_height_in_luma_samples-SubWidthC*(scaling_win_bottom_offset+scaling_win_top_offset)。

然后可以应用以下一项或多项限制：

a.((aX1*PicOutputWidthL+bX1)>>cX1)<＝((dX1*X1+eX1)>>fX1)，其中X1是非负整数。

b.((aX0*PicOutputWidthL+bX0)>>cX0)>＝((dX0*X1+eX0)>>fX0)，其中X0为非负整数。

c.((aY1*PicOutputHeightL+bY1)>>cY1)<＝(dY1*Y1+eY1)>>fY1，其中Y1为非负整数。

d.((aY0*PicOutputHeightL+bY0)>>cY0)<＝(dY0*Y0+eY0)>>fY0，其中Y0为非负整数。

e.((aXY1*PicOutputWidthL*PicOutputHeightL+bXY1)>>cXY1)<＝(dXY1*XY1+eXY1)>>fXY1，其中XY1为非负整数。

f.((aXY0*PicOutputWidthL*PicOutputHeightL+bXY0)>>cXY0)<＝(dXY0*Y0+eXY0)>>fXY0，其中XY0为非负整数。

g.g.在上述限制中，aX1，bX1，…eX1，fX1，aX0，bX0，…eX0，fX0，aY1，bY1，…eY1，fY1，aY0，bY0，…eY0，fY0，aXY1，bXY1，…eXY1，fXY1，aXY0，bXY0，…eXY0，fXY0都是整数。在一个示例中，aX1＝aX0＝aY1＝aY0＝aXY1＝aXY0＝1，bX1＝bX0＝bY1＝bY0＝bXY1＝bXY0＝0，cX1＝cX0＝cY1＝cY0＝cXY1＝cXY0＝0，dX1＝dX0＝dY1＝dY0＝dXY1＝dXY0＝1，eX1＝eX0＝eY1＝eY0＝eXY1＝eXY0＝0，fX1＝fX0＝fY1＝fY0＝fXY1＝fXY0

h.在上述限制中，X1和/或X0可能取决于pic_width_in_luma_samples。

i.在一个示例中，X1等于pic_width_in_luma_samples

ii.在一个示例中，PicOutputWidthL<＝pic_width_in_luma_samples*K，其中K是正整数，例如2、3、4、5、6、7、8。

i.在上述限制中，Y1和/或Y0可能取决于pic_height_in_luma_samples。

i.在一个示例中，Y1等于pic_height_in_luma_samples

ii.在一个示例中，PicOutputHeightL<＝pic_height_in_luma_samples*K，其中K是正整数，例如2、3、4、5、6、7、8。

24)在一个示例中，five_minus_max_num_subblock_merge_cand的最大允许值可以等于X，其中X小于5。例如X＝4。

a.例如，five_minus_max_num_subblock_merge_cand规定从5中减去的SPS中支持的基于子块的merge运动矢量预测候选的最大数量。five_minus_max_num_subblock_merge_cand的值应在0到4(包括端值)的范围内。当不存在时，five_minus_max_num_subblock_merge_cand的值被推断为等于5。

25)如何定义five_minus_max_num_subblock_merge_cand的有效范围可能取决于five_minus_max_num_subblock_merge是否存在。

a.例如，只有当five_minus_max_num_subblock_merge存在时，才定义five_minus_max_num_subblock_merge的有效范围。

b.例如，根据five_minus_max_num_subblock_merge是否存在，定义了five_minus_max_num_subblock_merge的不同有效范围。

c.例如，

规定了从5中减去的SPS中支持的基于子块的merge运动矢量预测候选的最大数量。当five_minus_max_num_subblock_merge_cand存在时，five_minus_max_num_subblock_merge_cand的值应在0到5–sps_sbtmvp_enabled_flag(包括端值)的范围内。当不存在时，five_minus_max_num_subblock_merge_cand的值被推断为等于5。

d.例如，

规定了从5中减去的SPS中支持的基于子块的merge运动矢量预测候选的最大数量。当不存在时，推断为five_minus_max_num_subblock_merge_cand的值等于5。否则(存在Five_minus_max_num_subblock_merge_cand)five_minus_max_num_subblock_merge_cand的值应在0到5–sps_sbtmvp_enabled_flag(包括端值)的范围内。例如，

规定从5中减去的SPS中支持的基于子块的merge运动矢量预测候选的最大数量。当five_minus_max_num_subblock_merge_cand存在时，five_minus_max_num_subblock_merge_cand的值应在0到5–sps_affine_enabled_flag(包括端值)的范围内。当不存在时，five_minus_max_num_subblock_merge_cand的值被推断为等于5。

e.例如，

规定了从5中减去的SPS中支持的基于子块的merge运动矢量预测候选的最大数量。当不存在时，five_minus_max_num_subblock_merge_cand的值推断为等于5。否则(存在five_minus_max_num_subblock_merge_cand)，five_minus_max_num_subblock_merge_cand的值应在0到5–sps_affine_enabled_flag(包括端值)的范围内。

f.例如，

规定了从5中减去的SPS中支持的基于子块的merge运动矢量预测候选的最大数量。当five_minus_max_num_subblock_merge_cand存在时five_minus_max_num_subblock_merge_cand的值应在0到4(包括端值)的范围内。当不存在时，five_minus_max_num_subblock_merge_cand的值被推断为等于5。

g.例如，

规定了从5中减去的SPS中支持的基于子块的merge运动矢量预测候选的最大数量。当不存在时，five_minus_max_num_subblock_merge_cand的值推断为等于5。否则(存在five_minus_max_num_subblock_merge_cand)，five_minus_max_num_subblock_merge_cand的值应在0到4(包括端值)的范围内。

6.实施例

以下是上文章节5中总结的一些发明方面的一些示例实施例，其可应用于VVC规范。已添加或修改的大部分相关部分用

下划线标出，并且一些删除的部分用[[]]表示。

6.1.第一实施例

该实施例用于项目1、1.a、1.b、1.c、1.d、3、4.a.i、5、6、7、8、9、9.a、10、11和12b。

7.3.2.3序列参数集语法

7.4.3.3序列参数集RBSP语义

...

等于1规定图片空域分辨率可以在参考SPS的CLVS内改变。res_change_in_clvs_allowed_flag等于0规定图片空域分辨率在参考SPS的任何CLVS内都不会改变。

...

[i]等于1规定CLVS中每个编解码图片的第i个子图片在解码过程中被视为排除环路滤波操作的图片。subpic_treated_as_pic_flag[i]等于0规定CLVS中每个编解码图片的第i个子图片在解码过程中不被视为排除环路滤波操作的图片。当不存在时，subpic_treated_as_pic_flag[i]的值被推断为等于sps_independent_subpics_flag。

当

subpic_treated_as_pic_flag[i]等于1时，

比特流一致性的要求是，

以下所有条件都为真。

–

所有图片应具有pic_width_in_luma_samples的相同值和pic_height_in_luma_samples的相同值。

–

–对于0到sps_num_subpics_minus1(包括端值)范围内的每个j值，

所参考的所有SPS应分别具有subpic_ctu_top_left_x[j]、subpic_ctu_top_left_y[j]、subpic_width_minus1[j]、subpic_height_minus1[j]和

[[loop_filter_cross_subpic_enabled_flag[j]，]]的相同值。

–对于0到sps_num_subpics_minus1(包括端值)范围内的每个j值，

所有图片应具有SubpicIdVal[j]的相同值。

...

7.4.3.4图片参数集RBSP语义

...

等于1规定缩放窗口偏移参数存在于PPS中。scaling_window_explicit_signaling_flag等于0规定缩放窗口偏移参数不存在于PPS中。当

[[res_change_in_clvs_allowed_flag]]等于0时，scaling_window_explicit_signaling_flag的值应等于0。

和

规定应用于缩放比例计算的图片尺寸的偏移。当不存在时，scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset和scaling_win_bottom_offset的值被推断为分别等于pps_conf_win_left_offset、pps_conf_win_right_offset、pps_conf_win_top_offset和pps_conf_win_bottom_offset。

SubWidthC*(scaling_win_left_offset+scaling_win_right_offset)的值应小于pic_width_in_luma_samples，并且SubHeightC*(scaling_win_top_offset+scaling_win_bottom_offset)的值应小于pic_height_in_luma_samples。

变量PicOutputWidthL和PicOutputHeightL的导出如下：

假设refPicOutputWidthL和refPicOutputHeightL分别是参考该PPS的当前图片的参考图片的PicOutputWidthL和PicOutputHeightL。比特流一致性的要求是满足以下所有条件：

–PicOutputWidthL*2应大于或等于refPicWidthInLumaSamples。

–PicOutputHeightL*2应大于或等于refPicHeightInLumaSamples。

–PicOutputWidthL应小于或等于refPicWidthInLumaSamples*8。

–PicOutputHeightL应小于或等于refPicHeightInLumaSamples*8。

–PicOutputWidthL*pic_width_max_in_luma_samples应大于或等于refPicOutputWidthL*(pic_width_in_luma_samples-Max(8,MinCbSizeY))。–PicOutputHeightL*pic_height_max_in_luma_samples应大于或等于refPicOutputHeightL*(pic_height_in_luma_samples-Max(8,MinCbSizeY))。

...

7.3.3.2一般约束信息语法

7.4.4.2一般约束信息语义

...

等于1指定res_change_in_clvs_allowed_flag应等于0。no_res_change_in_clvs_constraint_flag等于0不施加这样的约束。

...

7.4.8.1一般条带头语义

...

等于1规定用于时域运动矢量预测的共位图片是从参考图片列表0导出的。slice_collocated_from_l0_flag等于0规定用于时域运动矢量预测的共位图片是从参考图片列表1中导出的。

当slice_type等于B或P，ph_temporal_mvp_enabled_flag等于1，并且slice_collocated_from_l0_flag不存在时，以下适用：

--如果rpl_info_in_ph_flag等于1，则推断slice_collocated_from_l0_flag等于ph_collocated_from_l0_flag。

--否则(rpl_info_in_ph_flag等于0，并且slice_type等于P)，slice_collocated_from_l0_flag的值被推断为等于1。

规定用于时域运动矢量预测的共位图片的参考索引。

当slice_type等于P时或者当slice_type等于B并且slice_collocated_from_l0_flag等于1时，slice_collocated_ref_idx参考在参考图片列表0中的条目，并且slice_collocated_ref_idx的值应当在0到NumRefIdxActive[0]–1(包括端值)的范围内。

当slice_type等于B并且slice_collocated_from_l0_flag等于0时，slice_collocated_ref_idx参考在参考图片列表1中的条目，并且slice_collocated_ref_idx的值应该在0到NumRefIdxActive[1]–1(包括端值)的范围内。

当slice_collocated_ref_idx不存在时，以下适用：

--如果rpl_info_in_ph_flag等于1，则推断slice_collocated_ref_idx的值等于ph_collocated_ref_idx。

--否则(rpl_info_in_ph_flag等于0)，slice_collocated_ref_idx的值被推断为等于0。

比特流一致性的要求是，由slice_collocated_ref_idx参考的图片对于编解码图片的所有条带应该是相同的

。

比特流一致性的要求是，slice_collocated_ref_idx参考的参考图片的pic_width_in_luma_samples和pic_height_in_luma_samples的值应分别等于当前图片的pic_width_in_luma_samples和pic_height_in_luma_samples的值，并且RprConstraintsActive[slice_collocated_from_l0_flag？0:1][slice_collocated_ref_idx]应等于0。

...

8.5.3.2.2亮度样点双线性插值过程

...

对于i＝0，全样点单位(xInt_i,yInt_i)的亮度位置导出如下：

–如果subpic_treated_as_pic_flag[CurrSubpicIdx]等于1

，则以下适用:：

xInt_i＝Clip3(SubpicLeftBoundaryPos,SubpicRightBoundaryPos,xInt_L+i)(640)

yInt_i＝Clip3(SubpicTopBoundaryPos,SubpicBotBoundaryPos,yInt_L+i) (641)

–否则(subpic_treated_as_pic_flag[CurrSubpicIdx]等于0

，以下适用：

xInt_i＝Clip3(0,picW-1,refWraparoundEnabledFlag？

ClipH((PpsRefWraparoundOffset)*MinCbSizeY,picW,(xInt_L+i)):

xInt_L+i) (642)

yInt_i＝Clip3(0,picH-1,yInt_L+i) (643)

...

8.5.6.3.2Luma样点插值滤波过程

...

–如果subpic_treatment_as_pic_flag[CurrSubpicIdx]等于1

，则以下适用：

xInt_i＝Clip3(SubpicLeftBoundaryPos,SubpicRightBoundaryPos,xInt_i) (959)

yInt_i＝Clip3(SubpicTopBoundaryPos,SubpicBotBoundaryPos,yInt_i) (960)

–否则(subpic_treatment_as_pic_flag[CurrSubpicIdx]等于0

，以下适用：

xInt_i＝Clip3(0,picW-1,refWraparoundEnabledFlag？

ClipH((PpsRefWraparoundOffset)*MinCbSizeY,picW,xInt_i):xInt_i)(961)

yInt_i＝Clip3(0,picH-1,yInt_i) (962)

...

8.5.6.3.3Luma整数样点获取过程

...

全样点单位(xInt,yInt)的亮度位置导出如下：

–如果subpic_treatment_as_pic_flag[CurrSubpicIdx]等于1

，则以下适用：

xInt＝Clip3(SubpicLeftBoundaryPos,SubpicRightBoundaryPos,xInt_L) (968)

yInt＝Clip3(SubpicTopBoundaryPos,SubpicBotBoundaryPos,yInt_L) (969)

–否则

，以下适用：

xInt＝Clip3(0,picW-1,refWraparoundEnabledFlag？ (970)

ClipH((PpsRefWraparoundOffset)*MinCbSizeY,picW,xInt_L):xInt_L)

yInt＝Clip3(0,picH-1,yInt_L)

...

8.5.6.3.4色度样点插值过程

...

–如果subpic_treatment_as_pic_flag[CurrSubpicIdx]等于1

，则以下适用：

xInt_i＝Clip3(SubpicLeftBoundaryPos/SubWidthC,SubpicRightBoundaryPos/SubWidthC,xInt_i) (977)

yInt_i＝Clip3(SubpicTopBoundaryPos/SubHeightC,SubpicBotBoundaryPos/SubHeightC,yInt_i) (978)

–否则(subpic_treatment_as_pic_flag[CurrSubpicIdx]等于0

)，以下适用：

xInt_i＝Clip3(0,picW_C-1,refWraparoundEnabledFlag？ClipH(xOffset,picW_C,xInt_i):xIntC+i-1) (979)

yInt_i＝Clip3(0,picH_C-1,yInt_i) (980)

...

或者，突出显示的部分“并且参考图片refPicLX的sps_num_subpics_minus1大于0”可以替换为“以及如果参考图片refPicLX是与当前图片具有相同空域分辨率的ILRP”。

或者，突出显示的部分“或者参考图片refPicLX的sps_num_subpics_minus1等于0”可以替换为“或者如果参考图片refPicLX是具有与当前图片不同的空域分辨率的ILRP”。

或者，对并置图片的要求，例如，“比特流一致性的要求是，由slice_collocated_ref_idx参考的图片对于编解码图片的所有条带应该是相同的

。”可以替换为“比特流一致性的要求是，由slice_collocated_ref_idx参考的图片对于编解码图片的所有条带应该是相同的

”。

。”

6.2.第二实施例

在一些替代实施例中，第一实施例中的以下约束：

当

subpic_treated_as_pic_flag[i]等于1时，

比特流一致性的要求是，

以下所有条件都为真。

–

–

–对于0到sps_num_subpics_minus1(包括端值)范围内的每个j值，

[[loop_filter_cross_subpic_enabled_flag[j]，]]的相同值。

–对于0到sps_num_subpics_minus1(包括端值)范围内的每个j值，

所有图片应具有SubpicIdVal[j]的相同值。替换为以下之一：

1)当

subpic_treated_as_pic_flag[i]等于1时，

比特流一致性的要求是，

以下所有条件都为真。

–

–

–对于0到sps_num_subpics_minus1(包括端值)范围内的每个j值，

所参考的所有SPS应分别具有subpic_ctu_top_left_x[j]、subpic_ctu_top_left_y[j]、subpic_width_minus1[j]

subpic_height_minus1[j][[和loop_filter_cross_subpic_enabled_flag[j]，]]的相同值。

–对于0到sps_num_subpics_minus1(包括端值)范围内的每个j值，

所有图片应具有SubpicIdVal[j]的相同值。

2)当

subpic_treated_as_pic_flag[i]等于1时，

比特流一致性的要求是，

以下所有条件都为真。

–

–

–对于0到sps_num_subpics_minus1(包括端值)范围内的每个j值，

所参考的所有SPS应分别具有subpic_ctu_top_left_x[j]、subpic_ctu_top_left_y[j]、subpic_width_minus1[j]、subpic_height_minus1[j]和loop_filter_cross_subpic_enabled_flag[j]的相同值。

–对于0到sps_num_subpics_minus1(包括端值)范围内的每个j值，

所有图片应具有SubpicIdVal[j]的相同值。

3)当subpic_treated_as_pic_flag[i]等于1时，

比特流一致性的要求是，

以下所有条件都为真：

–

–

–对于0到sps_num_subpics_minus1(包括端值)范围内的每个j值，

[[loop_filter_cross_subpic_enabled_flag[j]，]]的相同值。

–对于0到sps_num_subpics_minus1(包括端值)范围内的每个j值，

所有图片应具有SubpicIdVal[j]的相同值。

4)当

subpic_treated_as_pic_flag[i]等于1时，

比特流一致性的要求是，

以下所有条件都为真。

–

–

–对于0到sps_num_subpics_minus1(包括端值)范围内的每个j值，

所参考的所有SPS应分别具有subpic_ctu_top_left_x[j]、subpic_ctu_top_left_y[j]、subpic_width_minus1[j]、subpic_height_minus1[j]、

和loop_filter_cross_subpic_enabled_flag[j]的相同值。

–对于0到sps_num_subpics_minus1(包括端值)范围内的每个j值，

所有图片应具有SubpicIdVal[j]的相同值。

6.3.第三实施例

该示例提出了关于ALF和CC-ALF滤波器的最大数量的限制的以下方面：

1)将对ALF APS的数量的限制替换为对滤波器的数量的限制，更具体地说，建议增加以下约束：

PU的所有APS NAL单元中的用于亮度分量的自适应环路滤波器类别的总数、用于色度分量的备选滤波器的总数以及跨分量滤波器的总数应分别小于或等于200、64和64。

2)在项目1)的基础上，进一步将APS语法中APS ID的编解码从u(5)改变为u(v)，其中长度分别为9、2和3，分别用于ALF、LMCS和缩放列表APS。

3)在项目1)之上，进一步将ALF APS索引的编解码以及PH和SH中ALF APS的数量从u(v)更改为ue(v)。

7.3.2.5自适应参数集RBSP语法

7.3.2.7图片标头结构语法

7.3.7.1一般条带标头语法

7.4.3.5自适应参数集语义

每个APS RBSP在被参考之前应可用于解码过程，包括在TemporalId小于或等于参考它编解码条带NAL单元的TemporalId的至少一个AU中或通过外部手段提供的。

在PU内具有adaptation_parameter_set_id的特定值和aps_params_type的特定值的所有APS NAL单元，不管它们是前缀APS NAL单元还是后缀APS NAL单元，都应该具有相同的内容。

为APS提供标识符，以供其他语法元素参考。语法元素adaptation_parameter_set_id的长度(以位为单位)为aps_params_type＝ALF_APS？9:(aps_params_type＝＝LMCS_APS？2:3).

当aps_params_type等于ALF_APS[[或SCALING_APS]]时，adaptation_parameter_set_id的值应在0到[[7]]

(包括端值)的范围内。

[[当aps_params_type等于LMCS_APS时，adaptation_parameter_set_id的值应在0到3(包括端值)的范围内。]]

设apsLayerId是特定APS NAL单元的nuh_layer_id的值，并且vclLayerId是特定VCL NAL单元的nuh_layer_id的值。除非apsLayerId小于或等于vclLayerId，并且nuh_layer_id等于apsLayerId的层包含在包含nuh_layer_id等于vclLayerId的层的至少一个OLS中，否则特定的VCL NAL单元不应参考特定的APS NAL单元。

规定了APS中携带的APS参数的类型，如表6中所规定。

…

具有aps_params_type的特定值的所有APS NAL单元，不管nuh_layer_id值如何，都共享adaptation_parameter_set_id的相同值空间。具有aps_params_type的不同值的APS NAL单元使用单独值空间用于adaptation_parameter_set_id。

7.4.3.7图片标头结构语义

规定与PH关联的条带参考的ALF APS的数量。

[i]规定与PH相关联的条带的亮度分量所参考的第i个ALF APS的adaptation_parameter_set_id。

规定与PH相关联的条带的色度分量所参考的ALF APS的adaptation_parameter_set_id。

规定与PH关联的条带的Cb颜色分量所参考的ALF APS的adaptation_parameter_set_id。

规定与PH关联的条带的Cr颜色分量所参考的ALF APS的adaptation_parameter_set_id。

7.4.8.1一般条带头语义

规定条带参考的ALF APS的数量。当slice_alf_enabled_flag等于1且slice_num_alf_aps_ids_luma不存在时，slice_num_alf_aps_ids_luma的值被推断为等于ph_num_alf_aps_ids_luma的值。

[i]规定条带的亮度分量所参考的第i个ALF APS的adaptation_parameter_set_id。aps_params_type等于ALF_APS并且adaptation_parameter_set_id等于slice_alf_aps_id_luma[i]的APS NAL单元的TemporalId应小于或等于编解码条带NAL单元的TemporalId。当slice_alf_enabled_flag等于1且slice_alf_aps_id_luma[i]不存在时，slice_alf_aps_id_luma[i]的值推断为等于ph_alf_aps_id_luma[i]的值。

规定条带的色度分量所参考的ALF APS的adaptation_parameter_set_id。aps_params_type等于ALF_APS且adaptation_parameter_set_id等于slice_alf_aps_id_chroma的APS NAL单元的TemporalId应小于或等于编解码条带NAL单元的TemporalId。当slice_alf_enabled_flag等于1且slice_alf_aps_id_chroma不存在时，slice_alf_aps_id_chroma的值被推断为等于ph_alf_aps_id_chroma的值。

规定了条带的Cb颜色分量所参考的adaptation_parameter_set_id。

aps_params_type等于ALF_APS且adaptation_parameter_set_id等于slice_cc_alf_cb_aps_id的APS NAL单元的TemporalId应小于或等于编解码条带NAL单元的TemporalId。当slice_cc_alf_cb_enabled_flag等于1且slice_cc_alf_cb_aps_id不存在时，slice_cc_alf_cb_aps_id的值被推断为等于ph_cc_alf_cb_aps_id的值。

aps_params_type等于ALF_APS且adaptation_parameter_set_id等于slice_cc_alf_cb_aps_id的APS NAL单元的alf_cc_cb_filter_signal_flag的值应等于1。

规定条带的Cr颜色分量所参考的adaptation_parameter_set_id。aps_params_type等于ALF_APS且adaptation_parameter_set_id等于slice_cc_alf_cr_aps_id的APS NAL单元的TemporalId应小于或等于编解码条带NAL单元的TemporalId。当slice_cc_alf_cr_enabled_flag等于1且slice_cc_alf_cr_aps_id不存在时，slice_cc_alf_cr_aps_id的值被推断为等于ph_cc_alf_cr_aps_id的值。

aps_params_type等于ALF_APS且adaptation_parameter_set_id等于slice_cc_alf_cr_aps_id的APS NAL单元的alf_cc_cr_filter_signal_flag的值应等于1。

在上面的示例中，可以使用以下内容代替：

为APS提供标识符，以供其他语法元素参考。语法元素adaptation_parameter_set_id的长度(以位为单位)为aps_params_type＝ALF_APS？M:(aps_params_type＝＝LMCS_APS？2:3)，其中M等于不小于3的值(例如，4、5、6、7、8、9)。

“200、64、64”的值可以替换为其他非零整数值。

“327”的值可以替换为其他非零整数值。

图5是可实现本文中所公开的各种技术的示例视频处理系统1900的框图。各种实现方式可以包括系统1900中的一些或全部组件。系统1900可以包括用于接收视频内容的输入1902。视频内容可以以原始或未压缩的格式(例如8或10比特多分量像素值)接收，或者可以以压缩或编码的格式接收。输入1902可以代表网络接口、外围总线接口或存储接口。网络接口的示例包括有线接口(诸如以太网、无源光网络(PON)等)和无线接口(诸如Wi-Fi或蜂窝接口)。

系统1900可以包括可以实现本文档中描述的各种编解码或编码方法的编解码组件1904。编解码组件1904可以减少从输入1902到编解码组件1904的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时称为视频压缩或视频转码技术。编解码组件1904的输出可以被存储或经由所连接的通信来发送，如组件1906所表示的。在输入1902处接收的视频的存储或通信的比特流(或编解码)表示可以由组件3108使用，以生成被发送到显示接口1910的像素值或可显示视频。从比特流表示中生成用户可见的视频的过程有时称为视频解压缩。此外，尽管某些视频处理操作被称为“编解码”操作或工具，但是应当理解，在编码器处使用编解码工具或操作，并且将由解码器进行反演编解码的结果的对应解码工具或操作。

外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或Displayport等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以实施在各种电子设备中，诸如移动电话、膝上型计算机、智能电话或其它能够进行数字数据处理和/或视频显示的装设备。

图6是视频处理装置3600的框图。装置3600可以用于实现本文中所述的方法中的一个或多个。装置3600可以实施在智能电话、平板电脑、计算机、物联网(IoT)接收器等中。装置3600可以包括一个或多个处理器3602、一个或多个存储器3604和视频处理硬件3606。(多个)处理器3602可以配置为实现本文档中所述的一个或多个方法。(多个)存储器3604可以用于存储数据和代码，该代码用于实现本文所描述的方法和技术。视频处理硬件3606可以用于在硬件电路中实现本文档中所描述的一些技术。

图8是示出可利用本公开的技术的示例视频编解码系统100的框图。

如图8所示，视频编解码系统100可以包括源设备110和目的地设备120。源设备110生成编码的视频数据，其可以被称为视频编码设备。目的地设备120可以解码由源设备110生成的编码的视频数据，该目的地设备120可以被称为视频解码设备。

源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。

视频源112可以包括诸如视频捕获设备的源、从视频内容提供者接收视频数据的接口、和/或生成视频数据的计算机图形系统，或这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关联的数据。编解码图片是图片的编解码表示。相关联的数据可以包括序列参数集、图片参数集和其他语法元素。I/O接口116包括调制器/解调器(调制解调器)和/或发送器。可以将编码的视频数据经由I/O接口116通过网络130a直接发送到目的地设备120。还可以将编码的视频数据存储到存储介质/服务器130b上，用于由目的地设备120存取。

目的地设备120可以包括I/O接口126、视频解码器124和显示设备122。

I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取编码的视频数据。视频解码器124可以对编码的视频数据进行解码。显示设备122可以向用户显示解码的视频数据。显示设备122可以与目的地设备120集成，或可以在配置为与外置显示设备相接的目的地设备120外部。

视频编码器114和视频解码器124可以根据视频压缩标准(诸如，高效视频编解码(HEVC)标准、多功能视频编解码(VVC)标准和其他当前和/或其他标准)进行操作。

图9是示出视频编码器200的示例的框图，该视频编码器200可以是图8中示出的系统100中的视频编码器114。

视频编码器200可以被配置为执行本公开的任何或全部技术。在图9的示例中，视频编码器200包括多个功能组件。本公开所描述的技术可以在视频编码器200的各种组件之间共享。在一些示例中，处理器可以配置为进行本公开中描述的任何或全部技术。

视频编码器200的功能组件可以包括分割单元201、预测单元202(其可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206)、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重建单元212、缓冲器213和熵编码单元214。

在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在一个示例中，预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以以IBC模式进行预测，其中至少一个参考图片是当前视频块所位于的图片。

此外，诸如运动估计单元204和运动补偿单元205的一些组件可以被高度集成，但是出于解释的目的在图9的示例中分开表示。

分割单元201可以将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。

模式选择单元203可以例如基于错误结果选择帧内或帧间的编解码模式中的一个，并且将得到的帧内或帧间编解码块提供到残差生成单元207来生成残差块数据而且提供到重建单元212来重建编解码块以用作参考图片。在一些示例中，模式选择单元203可以选择帧内和帧间预测的组合(CIIP)模式，其中预测是基于帧间预测信号和帧内预测信号。模式选择单元203还可以为帧间预测情况下的块选择运动矢量的分辨率(例如子像素或整个像素精度)。

为了对当前视频块进行帧间预测，运动估计单元204可以通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较，生成当前视频块的运动信息。运动补偿单元205可以基于来自缓冲器213的图片(而不是与当前视频块相关联的图片)的运动信息和解码样点来为当前视频块确定预测的视频块。

运动估计单元204和运动补偿单元205可以为当前视频块进行不同操作，例如执行不同操作取决于当前视频块是在I条带、P条带还是B条带中。

在一些示例中，运动估计单元204可以进行当前视频块的单向预测，并且运动估计单元204可以在列表0或列表1的参考图片中搜索当前视频块的参考视频块。运动估计单元204然后可以生成指示列表0或列表1的参考图片中含有参考视频块的参考索引以及指示在当前视频块与参考视频块之间的空域位移的运动矢量。运动估计单元204可以输出参考索引、预测方向指示符、和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。

在其他示例中，运动估计单元204可以进行当前视频块的双向预测，运动估计单元204可以在列表0的参考图片中搜索当前视频块的参考视频块并且还可以在列表1的参考图片中搜索当前视频块的另一个参考视频块。运动估计单元204然后可以生成指示列表0或列表1的参考图片中含有参考视频块的参考索引以及指示在参考视频块与当前视频块之间的空域位移的运动矢量。运动估计单元204可以输出参考索引和当前视频块的运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。

在一些示例中，运动估计单元204可以输出运动信息的全部集合，用于解码器的解码处理。

在一些示例中，运动估计单元204可以不输出当前视频的运动信息的全部集合。而是，运动估计单元204可以参考另一个视频块的运动信息来信令通知当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与邻域视频块的运动信息足够相似。

在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中指示：向视频解码器300指示当前视频块具有与另一个视频块相同的运动信息的值。

在另一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中标识另一个视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量与指示视频块的运动矢量之间的差。视频解码器300可以使用指示视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。

如上所讨论的，视频编码器200可以预测性地信令通知运动矢量。可以由视频编码器200实现的预测性的信令通知技术的两个示例包括高级运动矢量预测(AMVP)和merge模式信令通知。

帧内预测单元206可以对当前视频块进行帧内预测。当帧内预测单元206对当前视频块进行帧内预测时，帧内预测单元206可以基于相同图片中其他视频块的解码样点来生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。

残差生成单元207可以通过从当前视频块中减去(例如，由减号表示)当前视频块的(多个)预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中样点的不同样点分量的残差视频块。

在其他示例中，例如在跳过模式下，对于当前视频块可能不存在当前视频块的残差数据，并且残差生成单元207可以不进行减去操作。

变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块来生成当前视频块的一个或多个变换系数视频块。

在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。

逆量化单元210和逆变换单元211可以将逆量化和逆变换分别应用于变换系数视频块，来从变换系数视频块重建残差视频块。重建单元212可以将重建的残差视频块添加到来自由预测单元202生成的一个或多个预测视频块的对应样点，以产生与当前块相关联的重建视频块用于存储在缓冲器213中。

在重建单元212重建视频块之后，可以进行环路滤波操作以降低视频块中视频块化伪影。

熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收数据时，熵编码单元214可以进行一个或多个熵编码操作以生成熵编码数据并且输出包括熵编码数据的比特流。

图10是示出视频解码器300的示例的框图，该视频解码器300可以是图8中示出的系统100中的视频解码器114。

视频解码器300可以被配置为进行本公开的任何或全部技术。在图10的示例中，视频解码器300包括多个功能组件。本公开所描述的技术可以在视频解码器300的各种组件之间共享。在一些示例中，处理器可以配置为进行本公开中描述的任何或全部技术。

在图10的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305以及重建单元306和缓冲器307。在一些示例中，视频解码器300可以进行与关于视频编码器200(图9)所描述的编码过程总体反演的解码过程。

熵解码单元301可以检索编码比特流。编码比特流可以包括熵编解码视频数据(例如，视频数据的编解码块)。熵解码单元301可以对熵编解码视频进行解码，并且根据熵解码视频数据，运动补偿单元302可以确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。运动补偿单元302例如可以通过进行AMVP和merge模式确定此类信息。

运动补偿单元302可以产生运动补偿块，可能地基于插值滤波器进行插值。要以子像素精度使用的插值滤波器的标识符可以包括在语法元素中。

运动补偿单元302可以使用由视频编码器200在编码视频块的期间所使用的插值滤波器，来计算出参考块的子整数个像素的插值的值。运动补偿单元302可以根据接收的语法信息确定由视频编码器200所使用的插值滤波器并且使用插值滤波器来产生预测块。

运动补偿单元302可以使用一些语法信息来确定：用于对编码视频序列的(多个)帧和/或(多个)条带进行编码的块的尺寸，描述编码视频序列的图片的每个宏块如何被分割的分割信息，指示如何编码每个分割的模式，每个帧间编解码块的一个或多个参考帧(和参考帧列表)，以及对编码视频序列进行解码的其他信息。

帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空域相邻块形成预测块。逆量化单元303逆量化(即去量化)在比特流中提供的且由熵解码单元301解码的量化的视频块系数。逆变换单元303应用逆变换。

重建单元306可以用由运动补偿单元202或帧内预测单元303生成的对应预测块求和残差块，以形成解码块。如所期望的，去块化滤波器还可以应用于滤波解码块以便移除块化伪影。解码视频块然后存储在缓冲器307中，该缓冲器307提供用于随后的运动补偿/帧内预测的参考块，并且还产生用于在显示设备上呈现的解码视频。

接下来提供了一些实施例优选的解决方案的列表。

以下解决方案显示了上一章节中讨论的技术的示例实施例(例如，项目1)。

1.一种视频处理方法(例如，图7中所示的方法700)，包括：执行(702)包括一个或多个视频图片的视频之间的转换，其中编解码表示符合格式规则；其中，格式规则规定序列参数集中的两个或多个语法字段控制视频中的参考图片分辨率(RPR)变化。

2.如解决方案1所述的方法，其中，两个或多个语法字段的第一语法字段指示RPR是否用于一个或多个图片，并且两个或多个语法字段的第二语法字段指示在序列级别的编解码表示中是否允许改变图片分辨率。

以下解决方案显示了上一章节中讨论的技术的示例实施例(例如，项目2)。

3.一种视频处理方法，包括：执行包括一个或多个视频图片的视频之间的转换，其中编解码表示符合格式规则；其中，格式规则规定序列参数集中的单个语法字段控制视频中的参考图片分辨率(RPR)变化；并且其中，格式规则规定，无论单个语法字段的值如何，都允许对帧间层参考图片进行重采样以用于转换。

以下解决方案显示了上一章节中讨论的技术的示例实施例(例如，项目3、5、6、7、9、10)。

4.一种视频处理方法，包括：执行包括一个或多个层的视频之间的转换，该一个或多个层包括一个或多个视频图片，该一个或多个视频图片包括一个或多个子图片，其中编解码表示符合格式规则；其中，格式规则规定了对跨层对齐的第一约束或对子图片和帧间层图片的可缩放性的组合的第二约束。

5.如解决方案4所述的方法，其中，第一约束定义了对当前层和依赖于当前层的所有较高层的跨层对齐限制，而不对当前层的较低层和不依赖于当前层的所有较高层施加对齐限制。

6.如解决方案4所述的方法，其中，第二约束对特定层的每个依赖树中的所有层施加跨层对齐限制。

7.如方案4所述的方法，其中，第二约束根据跨层对齐限制来限制subpic_treatment_as_pic_flag[i]的值。

8.如解决方案4所述的方法，其中，第二约束根据跨层对齐限制来限制loop_filter_across_subpic_enabled_flag[i]的值。

9.如解决方案4至8中任一项所述的方法，其中，第一约束和/或第二约束是针对目标组访问单元规定的。

10.如解决方案4所述的方法，其中，第二约束根据跨层对齐限制来限制缩放窗口参数scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset和scaling_win_bottom_offset中的每一个的值。

以下解决方案显示了上一章节中讨论的技术的示例实施例(例如，项目11)。

11.一种视频处理方法，包括：执行包括一个或多个层的视频之间的转换，该一个或多个层包括一个或多个视频图片，该一个或多个视频图片包括一个或多个子图片，其中该转换符合格式规则，该格式规则规定帧间层参考图片或长期参考图片不允许作为用于转换的当前图片的并置图片。

以下解决方案显示了上一章节中讨论的技术的示例实施例(例如，项目12)。

12.一种视频处理方法，包括：执行包括多个图片的视频和该视频的编解码表示之间的转换，其中该转换符合规则，该规则规定对于同一编解码层视频序列或具有pic_width_in_luma_samples和pic_height_in_luma_samples的相同值的编解码视频序列内的任意两个图片，scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset和scaling_win_bottom_offset中的每一个的值相同。

以下解决方案显示了上一章节中讨论的技术的示例实施例(例如，项目13)。

13.一种视频处理方法，包括：执行包括多个图片的视频和该视频的编解码表示之间的转换，其中该转换符合规则，该规则规定在图片分辨率或缩放窗口对于当前图片和同一访问单元中的其他图片不同的情况下，则仅当当前图片是帧内随机访问点图片时，才允许帧间层预测。

14.如解决方案1至13中任一项所述的方法，其中转换包括将视频编码成编解码表示。

15.如解决方案1至13中任一项所述的方法，其中转换包括对编解码表示进行解码以生成视频的像素值。

16.一种视频解码装置，包括被配置为实现解决方案1至15中的一个或多个中所述的方法的处理器。

17.一种视频编解码装置，包括被配置为实现解决方案1至15中的一个或多个中所述的方法的处理器。

18.一种其上存储有计算机代码的计算机程序产品，该代码在由处理器执行时使处理器实现在解决方案1至15中任一项中所述的方法。

19.在本文档中描述的一种方法、装置或系统。

图13是根据本技术的用于视频处理的方法1300的流程图表示。方法1300包括，在操作1310，根据规则执行视频的视频图片与视频的比特流之间的转换。规则规定允许适用于视频图片的缩放窗口偏移的至少一个为负值。

在一些实施例中，缩放窗口偏移包括缩放窗口右偏移、缩放窗口左偏移、缩放窗口顶部偏移或缩放窗口底部偏移中的至少一个。在一些实施例中，缩放窗口偏移中的至少一个不小于整数X，并且其中X是负数。在一些实施例中，缩放窗口偏移中的至少一个大于整数X，其中X是负数。在一些实施例中，X基于视频图片的尺寸。

在一些实施例中，缩放窗口偏移中的至少一个与视频图片的尺寸相关联。在一些实施例中，视频图片的尺寸包括以亮度样点表示的图片宽度或以亮度样点表示的图片高度。

在一些实施例中，输出图片是基于缩放视频图片来确定的。规定输出图片的宽度的第一变量等于以亮度样点表示的视频图片的宽度减去缩放窗口右偏移和缩放窗口左偏移的加权和。在一些实施例中，规定输出图片的高度的第二变量等于以亮度样点表示的视频图片的高度减去缩放窗口顶部偏移和缩放窗口底部偏移的加权和。在一些实施例中，规则进一步规定第一变量和第二变量满足约束。在一些实施例中，第一变量被表示为WidthL，并且约束规定X*WidthL大于或等于第一整数且小于或等于第二整数，X是整数。在一些实施例中，第二变量被表示为HeightL，并且约束规定Y*WidthL大于或等于第三整数且小于或等于第四整数，Y是整数。在一些实施例中，第一整数或第三整数表示为A*(B-C)，其中A、B、C是整数。

在一些实施例中，缩放窗口偏移中的至少一个指示用于对视频图片的参考图片进行重采样的缩放比率。在一些实施例中，缩放窗口偏移中的至少一个是使用带符号二值化来编解码的。

在一些实施例中，规则基于缩放窗口偏移中的至少一个是否为负来规定缩放窗口偏移中的至少一个与视频图片的尺寸之间的约束。在一些实施例中，约束是基于左窗口偏移和/或右窗口偏移中的至少一个是否为负来规定的。在一些实施例中，约束是基于顶部窗口偏移和/或底部窗口偏移中的至少一个是否为负来规定的。在一些实施例中，缩放窗口偏移中的至少一个与视频图片的尺寸之间的约束仅在缩放窗口偏移中的至少一个为零的情况下被规定。在一些实施例中，在左窗口偏移或右窗口偏移中的至少一个不为负的情况下，左窗口偏移和右窗口偏移的加权和小于视频图片在亮度样点中的宽度。在一些实施例中，在顶部窗口偏移或底部窗口偏移中的至少一个不为负的情况下，顶部窗口偏移和底部窗口偏移的加权和小于视频图片在亮度样点中的高度。

在一些实施例中，约束是根据缩放窗口偏移中的至少一个的绝对值来规定的。在一些实施例中，左窗口偏移和右窗口偏移的绝对值的加权和小于X1乘以视频图片在亮度样点中的宽度，其中X1是大于或等于1的正整数。在一些实施例中，顶部窗口偏移和底部窗口偏移的绝对值的加权和小于X2乘以视频图片在亮度样点中的高度，其中X2是大于或等于1的正整数。

在一些实施例中，规则规定在缩放窗口偏移中的任何一个为负的情况下，约束不适用。在一些实施例中，规则规定视频图片的尺寸或视频图片的参考图片的尺寸基于缩放窗口偏移是否为负。在一些实施例中，基于缩放窗口偏移中的至少一个是否为负来确定视频图片的输出图片的尺寸。在一些实施例中，参考图片的缩放窗口偏移为负，通过将缩放窗口偏移视为零来确定输出图片的尺寸。

在一些实施例中，规则规定执行分数样点插值的方式基于缩放窗口偏移中的至少一个是否为负。在一些实施例中，在参考图片的缩放窗口偏移为负的情况下，通过将缩放窗口偏移视为零来为转换执行运动补偿。在一些实施例中，在视频图片的缩放窗口偏移为负的情况下，通过将缩放窗口偏移视为零来为转换执行分数样点插值。

图14是根据本技术的用于视频处理的方法1400的流程图表示。方法1400包括，在操作1410，根据规则执行视频的块和视频的比特流之间的转换。规则规定指示是否在视频单元级别启用变换跳过残差编解码的语法标志是否存在于比特流中基于指示视频单元中的符号数据隐藏的使用的第一语法元素和指示视频单元中的相关量化的使用的第二语法元素的值。

在一些实施例中，视频单元级别包括条带级别。在一些实施例中，语法标志是否在条带标头中被表示为ts_residual_coding_disabled_flag。在一些实施例中，语法标志是否存在于比特流中进一步基于指示是否在序列级别启用变换跳过的序列参数集中的第三语法元素，并且其中语法标志在以下情况下存在：(1)第三语法元素的值规定在序列级别启用变换跳过，(2)第二语法元素的值规定不将相关量化用于视频单元，以及(3)第一语法元素的值规定符号数据隐藏不用于视频单元。在一些实施例中，规定在序列级别启用变换跳过的第三语法元素的值等于1，规定不将相关量化用于视频单元的第二语法元素的值是等于0，并且规定符号数据隐藏不用于视频单元的第一语法元素的值等于0。

在一些实施例中，在第一语法元素不存在的情况下，指示视频单元中的隐藏符号数据的使用的第一语法元素具有默认值0。在一些实施例中，在第二语法元素不存在的情况下，指示视频单元中的相关量化的使用的第二语法元素具有默认值0。在一些实施例中，第一语法元素基于序列参数集中指示是否在序列级别启用符号数据隐藏的第四语法元素。在一些实施例中，第一语法元素是基于第二语法元素和第四语法元素来确定的。在一些实施例中，第二语法元素基于序列参数集中指示是否在序列级别启用相关量化的第五语法元素。

在一些实施例中，是否将符号数据隐藏或是否将相关量化应用于块的转换是基于是否启用了变换跳过残差编解码。在一些实施例中，在启用变换跳过残差编解码的情况下，符号数据隐藏或相关量化不适用于块的转换。在一些实施例中，在第一语法元素或第二语法元素之前指示语法标志。在一些实施例中，第一语法元素或第二语法元素是否存在是基于指示在视频单元中是否启用变换跳过残差编解码的语法元素。在一些实施例中，视频单元包括序列、图片组或图片。在一些实施例中，当将符号数据隐藏或相关量化用于转换时，不使用变换跳过残差编解码。在一些实施例中，变换跳过残差编解码是应用于以变换跳过模式编解码的视频块的变换系数编解码技术，符号数据隐藏是省略对最后一个非零系数的系数符号标志进行编解码的技术，并且相关量化是样点的量化取决于先前样点的状态的模式。

图15是根据本技术的用于视频处理的方法1500的流程图表示。方法1500包括，在操作1510，根据规则执行视频和视频的比特流之间的转换。规则规定，规定从5减去的序列参数集中支持的基于子块的merge运动矢量预测候选的最大数量的语法元素在0到N(包括端值)的范围内，其中N是等于5减去语法标志的值的整数，语法标志规定是否为转换启用基于子块的时域运动矢量预测器。在一些实施例中，语法元素在0到4(包括端值)的范围内。在一些实施例中，在语法标志不存在的情况下推断语法元素等于5。

在一些实施例中，转换包括将视频编码到比特流中。在一些实施例中，转换包括从比特流中解码视频。

在本文描述的解决方案中，编码器可以通过根据格式规则产生编解码表示来符合格式规则。在本文描述的解决方案中，解码器可以使用格式规则来解析编解码表示中的语法元素，根据格式规则了解语法元素的存在和不存在，以产生解码的视频。

在本文档中，术语“视频处理”可指视频编码、视频解码、视频压缩或视频解压缩。例如，在从视频的像素表示到对应的比特流表示的转换期间，可以应用视频压缩算法，反之亦然。如语法所定义，当前视频块的比特流表示可(例如)对应于共位或散布在比特流内不同位置的比特。例如，可以根据变换和编解码的误差残差值并且还使用头中的比特和比特流中的其他字段，对宏块进行编码。此外，在转换期间，解码器可以基于该确定，在知道一些字段可能存在或不存在的情况下解析比特流，如以上解决方案中所述。类似地，编码器可确定包括或不包括某些语法字段，并通过从编解码表示中包括或排除语法字段来相应地生成编解码表示。

本文档中所述的公开和其他方案、示例、实施例、模块和功能操作可以被实现在数字电子电路中或者在计算机软件、固件或硬件中，含有本文档中所公开的结构以及其结构的等同物，或者它们中的一个或多个的组合。所公开的和其他实施例可以被实现为计算机可读介质上所编码的一个或多个计算机程序产品，例如一个或多个计算机程序指令模块，用于由数据处理装置执行或者控制数据处理装置的操作。该计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读可传播信号的复合物，或其一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或者它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如，机器生成的电、光或电磁信号，其被生成来编码信息以传输到合适的接收器装置。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言，并且可以以任何形式来部署计算机程序，包括独立程序或适合在计算环境中使用的模块、组件、子例程或其它单元。计算机程序不必须对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的部分中(例如，在标记语言文档中存储的一个或多个脚本)、在专用于所讨论的程序的单个文件中、或在多个协同文件中(例如存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以部署为在一个计算机上或者在多个计算机上执行，该多个计算机位于一个站点处或者分布跨多个站点并由通信网络互连。

可以由执行一个或多个计算机程序的一个或多个可编程处理器来进行在本文档中所描述的过程和逻辑流，以通过在输入数据上操作并且生成输出来进行功能。也可以由专用逻辑电路(例如，现场可编程门阵列(FPGA)或专用集成电路(ASIC))进行过程和逻辑流，并且装置可以实现为专用逻辑电路(例如FPGA或ASIC)。

适合于计算机程序的执行的处理器包括例如通用和专用微处理器两者，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或者该两者接收指令和数据。计算机的基本元件是用于进行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个海量存储设备(例如磁、磁光盘或光盘)，或者可操作地耦合以从海量存储设备(例如磁、磁光盘或光盘)接收数据或者将数据传输到海量存储设备(例如磁、磁光盘或光盘)，或者以上两者。但是，计算机不必具有此类设备。适用于存储计算机程序指令和数据的计算机可读介质含有所有形式的非易失性存储器、介质和存储器设备，含有例如半导体存储器设备(例如EPROM、EEPROM和闪速存储器设备)；磁盘(例如内部硬盘或可移动磁盘)；磁光盘；和CD ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充，或者合并在专用逻辑电路中。

虽然本专利文档含有许多细节，但这些细节不应被解释为对任何主题或可要求保护的范围的限制，而是作为规定于特定技术的特定实施例的特征的描述。在本专利文档中，在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反地，在单个实施例的上下文中所描述的各种特征还可以分别在多个实施例中来实现或者以各种合适的子组合来实现。此外，尽管特征可以如上文描述为以某些组合起作用并且甚至最初同样地要求，但是在某些情况下来自所要求保护的组合的一个或多个特征可以从组合中去除，并且所要求保护的组合可以针对子组合或子组合的变化。

类似地，尽管在附图中以特定顺序描绘了操作，但这不应当理解为要求按所示的特定次序或顺序次序进行此类操作或者进行所有示出的操作，以实现期望的结果。此外，在本专利文档中描述的实施例中的各种系统组件的分开不应被理解为在所有实施例中都要求这种分开。

仅描述了几个实现方式和示例，并且可以基于本专利文档中描述和示出的内容来作出其它实现方式、增强和变型。

Claims

1.一种视频处理方法，包括：

根据规则执行视频的视频图片与所述视频的比特流之间的转换，

其中，所述规则规定允许适用于所述视频图片的缩放窗口偏移的至少一个为负值。

2.根据权利要求1所述的方法，其中，所述缩放窗口偏移包括缩放窗口右偏移、缩放窗口左偏移、缩放窗口顶部偏移或缩放窗口底部偏移中的至少一个。

3.根据权利要求1或2所述的方法，其中，所述缩放窗口偏移中的至少一个不小于整数X，并且其中X是负数。

4.根据权利要求1或2所述的方法，其中，所述缩放窗口偏移中的至少一个大于整数X，并且其中X是负数。

5.根据权利要求3或4所述的方法，其中，X基于所述视频图片的尺寸。

6.根据权利要求1至5中任一项所述的方法，其中，所述缩放窗口偏移中的至少一个与所述视频图片的尺寸相关联。

7.根据权利要求6所述的方法，其中，所述视频图片的尺寸包括以亮度样点表示的图片宽度或以亮度样点表示的图片高度。

8.根据权利要求1至7中任一项所述的方法，其中，输出图片是基于缩放所述视频图片来确定的，并且其中规定所述输出图片的宽度的第一变量等于以亮度样点表示的所述视频图片的宽度减去所述缩放窗口右偏移和所述缩放窗口左偏移的加权和。

9.根据权利要求1至8中任一项所述的方法，其中，输出图片是基于缩放所述视频图片来确定的，并且其中规定所述输出图片的高度的第二变量等于以亮度样点表示的所述视频图片的高度减去所述缩放窗口顶部偏移和所述缩放窗口底部偏移的加权和。

10.根据权利要求8或9所述的方法，其中，所述规则进一步规定所述第一变量和所述第二变量满足约束。

11.根据权利要求10所述的方法，其中，所述第一变量被表示为WidthL，并且其中所述约束规定X*WidthL大于或等于第一整数且小于或等于第二整数，X是整数。

12.根据权利要求10所述的方法，其中，所述第二变量被表示为HeightL，并且其中所述约束规定Y*WidthL大于或等于第三整数且小于或等于第四整数，Y是整数。

13.根据权利要求11或12所述的方法，其中，所述第一整数或所述第三整数表示为A*(B-C)，其中A、B、C是整数。

14.根据权利要求1至13中任一项所述的方法，其中，所述缩放窗口偏移中的至少一个指示用于对所述视频图片的参考图片进行重采样的缩放比率。

15.根据权利要求1至14中任一项所述的方法，其中，所述缩放窗口偏移中的至少一个是使用带符号二值化来编解码的。

16.根据权利要求1至15中任一项所述的方法，其中，所述规则基于所述缩放窗口偏移中的至少一个是否为负来规定所述缩放窗口偏移中的至少一个与所述视频图片的尺寸之间的约束。

17.根据权利要求16所述的方法，其中，所述约束是基于左窗口偏移和/或右窗口偏移中的至少一个是否为负来规定的。

18.根据权利要求16所述的方法，其中，所述约束是基于顶部窗口偏移和/或底部窗口偏移中的至少一个是否为负来规定的。

19.根据权利要求16至18中任一项所述的方法，其中，所述缩放窗口偏移中的至少一个与所述视频图片的尺寸之间的约束仅在所述缩放窗口偏移中的至少一个为零的情况下被规定。

20.根据权利要求19所述的方法，其中，在左窗口偏移或右窗口偏移中的至少一个不为负的情况下，所述左窗口偏移和所述右窗口偏移的加权和小于所述视频图片在亮度样点中的宽度。

21.根据权利要求19所述的方法，其中，在顶部窗口偏移或底部窗口偏移中的至少一个不为负的情况下，所述顶部窗口偏移和所述底部窗口偏移的加权和小于所述视频图片在亮度样点中的高度。

22.根据权利要求16至21中任一项所述的方法，其中，所述约束是根据所述缩放窗口偏移中的至少一个的绝对值来规定的。

23.根据权利要求22所述的方法，其中，所述左窗口偏移和所述右窗口偏移的绝对值的加权和小于X1乘以所述视频图片在亮度样点中的宽度，其中X1是大于或等于1的正整数。

24.根据权利要求22所述的方法，其中，所述顶部窗口偏移和所述底部窗口偏移的绝对值的加权和小于X2乘以所述视频图片在亮度样点中的高度，其中X2是大于或等于1的正整数。

25.根据权利要求16至21中任一项所述的方法，其中，所述规则规定在所述缩放窗口偏移中的任何一个为负的情况下，所述约束不适用。

26.根据权利要求1至25中任一项所述的方法，其中，所述规则规定所述视频图片的尺寸或所述视频图片的参考图片的尺寸基于缩放窗口偏移是否为负。

27.根据权利要求1至26中任一项所述的方法，其中，基于所述缩放窗口偏移中的至少一个是否为负来确定所述视频图片的输出图片的尺寸。

28.根据权利要求27所述的方法，其中，在参考图片的缩放窗口偏移为负的情况下，通过将所述缩放窗口偏移视为零来确定所述输出图片的尺寸。

29.根据权利要求1至28中任一项所述的方法，其中，所述规则规定执行分数样点插值的方式基于所述缩放窗口偏移中的至少一个是否为负。

30.根据权利要求29所述的方法，其中，在参考图片的所述缩放窗口偏移为负的情况下，通过将所述缩放窗口偏移视为零来为所述转换执行运动补偿。

31.根据权利要求29所述的方法，其中，在所述视频图片的缩放窗口偏移为负的情况下，通过将所述缩放窗口偏移视为零来为所述转换执行分数样点插值。

32.根据权利要求1至31中任一项所述的方法，其中，所述转换包括将所述视频编码到所述比特流中。

33.根据权利要求1至31中任一项所述的方法，其中，所述转换包括从所述比特流解码所述视频。

34.一种用于存储视频的比特流的方法，包括：

根据规则从所述视频的视频图片生成所述视频的比特流；和

将所述比特流存储在非暂时性计算机可读记录介质中，

其中，所述规则规定允许适用于所述视频图片的缩放窗口偏移中的至少一个为负值。

35.一种视频解码装置，包括被配置为实现权利要求1至34中任一项所述的方法的处理器。

36.一种视频编解码装置，包括被配置为实现权利要求1至34中任一项所述的方法的处理器。

37.一种其上存储有计算机代码的计算机程序产品，所述代码在由处理器执行时使所述处理器实现根据权利要求1至34中任一项所述的方法。

38.一种存储由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质，其中所述方法包括：

根据规则从所述视频的视频图片生成视频的比特流，

39.在本文档中描述的一种方法、装置或系统。