CN115943627A

CN115943627A - 对编解码视频图片中条带计数的约束

Info

Publication number: CN115943627A
Application number: CN202180041428.9A
Authority: CN
Inventors: 王业奎
Original assignee: ByteDance Inc
Current assignee: ByteDance Inc
Priority date: 2020-06-08
Filing date: 2021-06-08
Publication date: 2023-04-07
Also published as: US20230103059A1; KR20230019845A; JP2023529420A; WO2021252525A1; US20230105905A1; CN115917978A; US11917172B2; US20240107041A1; EP4154523A4; WO2021252530A1; US11856212B2; EP4154523A1

Abstract

描述了用于实施在视频编码和视频解码中使用的约束的方法、系统和设备。视频处理的示例方法包括：执行包括包含一个或多个条带的一个或多个图片的视频与视频的比特流之间的转换，其中，该比特流基于格式规则被组织为多个访问单元(AU)AU 0至AU n，其中n是正整数，其中，该格式规则指定多个AU中的每一个在解码期间从编解码图片缓冲器(CPB)中的移除时间与该多个AU中的每一个中条带的数量之间的关系。

Description

对编解码视频图片中条带计数的约束

相关申请的交叉引用

根据巴黎公约的适用专利法和/或规则，本申请及时要求于2020年6月8日提交的美国临时专利申请No.63/036,321的优先权和利益。出于法律规定的所有目的，上述申请的全部公开内容通过引用并入作为本申请公开内容的一部分。

技术领域

该专利文档涉及图像以及视频编码和解码。

背景技术

在互联网和其他数字通信网络中，数字视频占用了最大的带宽使用。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。

发明内容

本文档公开了可以实施由视频编码器和解码器使用来执行视频编码或解码的约束的技术。

在一个示例方面，公开了一种视频处理方法。该方法包括：执行包括包含一个或多个条带的一个或多个图片的视频与视频的比特流之间的转换，其中，该比特流基于格式规则被组织为多个访问单元(AU)AU 0至AU n，其中，n是正整数，其中，该格式规则指定多个AU中的每一个在解码期间从编解码图片缓冲器(CPB)中的移除时间与该多个AU中的每一个中条带的数量之间的关系。

在另一个示例方面，公开了另一种视频处理方法。该方法包括：执行包括包含一个或多个片的一个或多个图片的视频和所述视频的比特流之间的转换，其中，所述比特流基于格式规则被组织为多个访问单元(AU)AU 0至AU n，其中，n是正整数，其中，所述格式规则指定多个AU中的每一个从编解码图片缓冲器(CPB)中的移除时间与所述多个AU中的每一个中片的数量之间的关系。

在又一个示例方面，公开了另一种视频处理方法。该方法包括：执行包括包含一个或多个条带的一个或多个图片的视频与视频的比特流之间的转换，其中，该转换符合规则，其中，该比特流被组织为一个或多个访问单元，其中，该规则指定对存储在解码图片缓冲器(DPB)中的经解码图片的数量的约束，其中，经解码图片中的每个经解码图片(i)被标记为用于参考，(ii)具有指示该经解码图片被输出的标志，以及(iii)具有晚于当前图片的解码时间的输出时间。

在又一个示例方面，公开了一种视频编码器装置。视频编码器包括被配置为实施上述方法的处理器。

在又一个示例方面，公开了一种视频解码器装置。视频解码器包括被配置为实施上述方法的处理器。

在又一个示例方面，公开了一种其上存储有代码的计算机可读介质。该代码以处理器可执行代码的形式实施本文描述的方法之一。

这些以及其他特征将在本文档中描述。

附图说明

图1是示出其中可以实施本文公开的各种技术的示例视频处理系统的框图。

图2是用于视频处理的示例硬件平台的框图。

图3是示出可以实现本公开的一些实施例的示例视频编解码系统的框图。

图4是示出可以实现本公开的一些实施例的编码器的示例的框图。

图5是示出可以实现本公开的一些实施例的解码器的示例的框图。

图6-图8示出了视频处理的示例方法的流程图。

具体实施方式

在本文档中使用章节标题是为了易于理解，而不是将每个章节中公开的技术和实施例的适用性仅限制于该章节。此外，在一些描述中使用H.266术语仅仅是为了易于理解，而不是为了限制所公开技术的范围。因此，本文描述的技术也适用于其他视频编解码器协议和设计。

1.介绍

本文档涉及视频编解码技术。具体地，本文档是关于为支持单层视频编解码和多层视频编解码两者的视频编解码器定义级别(level)和比特流一致性的。本文档可以被应用于支持单层视频编解码和多层视频编解码的任何视频编解码标准或非标准视频编解码器，例如，正在开发的多功能视频编解码(VVC)。

2.缩写

APS 自适应参数集

AU 访问单元

AUD 访问单元分界符

AVC 高级视频编解码

CLVS 编解码层视频序列

CPB 编码图片缓冲器

CRA 完全随机访问(Clean Random Access)

CTU 编解码树单元

CVS 编解码视频序列

DPB 解码图片缓冲器

DPS 解码参数集

EOB 比特流结尾

EOS 序列结尾

GCI 一般约束信息

GDR 渐进解码刷新

HEVC 高效视频编解码

HRD 假想参考解码器

IDR 即时解码刷新

JEM 联合探索模型

MCTS 运动约束的片集

NAL 网络抽象层

OLS 输出层集

PH 图片标头

PPS 图片参数集

PTL 档次(profile)、层级(tier)和级别

PU 图片单元

RRP 参考图片重采样

RBSP 原始字节序列载荷

SEI 补充增强信息

SH 条带标头

SPS 序列参数集

SVC 可缩放视频编解码

VCL 视频编解码层

VPS 视频参数集

VTM VVC测试模型

VUI 视频可用性信息

VVC 多功能视频编解码

3.初步讨论

视频编码标准主要通过众所周知的ITU-T和ISO/IEC标准的发展而演进。ITU-T制定了H.261和H.263，ISO/IEC制定了MPEG-1和MPEG-4Visual，并且这两个组织联合制定了H.262/MPEG-2视频和H.264/MPEG-4高级视频编码(AVC)和H.265/HEVC标准。自H.262以来，视频编解码标准基于混合视频编解码结构，其中利用了时间预测加变换编解码。为了探索HEVC以外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索小组(JVET)。此后，JVET采用了许多新的方法，并将其输入到名为联合勘探模型(JEM)的参考软件中。JVET会议同时每季度举行一次，并且与HEVC相比，新编解码标准的目标是降低50％的比特率。新的视频编码标准在2018年4月的JVET会议上被正式命名为通用视频编解码(VVC)，第一版VVC测试模型(VTM)也在当时发布。由于对VVC标准化的持续努力，新的编解码技术在每次JVET会议上都被采用到VVC标准中。VVC的工作草案和测试模型VTM在每次会议后都会更新。VVC项目现在的目标是在2020年7月的会议上技术上完成(FDIS)。

3.1.序列内的图片分辨率改变

在AVC和HEVC中，图片的空间分辨率不能改变，除非使用新SPS的新序列以IRAP图片开始。VVC允许在不编码IRAP图片的位置改变序列内的图片分辨率，IRAP图片总是被帧内编解码。该特征有时被称为参考图片重采样(RPR)，因为当参考图片具有与被解码的当前图片不同的分辨率时，该特征需要对用于帧间预测的参考图片进行重采样。

缩放比率被限制为大于或等于1/2(从参考图片到当前图片的2倍下采样)，并且小于或等于8(8倍上采样)。指定具有不同频率截止(cutoff)的三个重采样滤波器集来处理参考图片和当前图片之间的各种缩放比率。三个重采样滤波器集分别应用于范围从1/2到1/1.75、从1/1.75到1/1.25和从1/1.25到8的缩放比率。重采样滤波器中的每一个集对于亮度具有16个相位，并且对于色度具有32个相位，这与运动补偿插值滤波器的情况相同。实际上，正常的MC插值过程是重采样过程的特殊情况，其中缩放比率范围从1/1.25到8。水平和垂直缩放比率是基于图片宽度和高度以及为参考图片和当前图片指定的左、右、上和下缩放偏移而推导出的。

支持这一特征的VVC设计与HEVC不同的其它方面包括：i)图片分辨率和对应的一致性窗口在PPS中而不是在SPS中被信令通知，而在SPS中最大图片分辨率被信令通知。ii)对于单层比特流，每个图片存储(DPB中用于存储一个解码图片的时隙(slot))占用存储具有最大图片分辨率的解码图片所需的缓冲器大小。

3.2.一般和VVC中的可缩放视频编解码(SVC)

可缩放视频编解码(SVC，有时也被称为视频编解码中的可缩放性)是指使用基本层(BL)(有时称为参考层(RL))，以及一个或多个可缩放增强层(EL)的视频编解码。在SVC中，基本层可以携载具有基本质量水平的视频数据。一个或多个增强层可以携载附加的视频数据，以支持例如更高的空域、时域和/或信噪比(SNR)水平。可以相对于先前编码的层来定义增强层。例如，底层可以用作BL，而顶层可以用作EL。中间层可以用作EL或RL、或者两者。例如，中间层(例如，既不是最低层也不是最高层的层)可为中间层下方的层(诸如基本层或任何居间增强层)的EL，并且同时用作中间层上方的一个或多个增强层的RL。类似地，在HEVC标准的多视图或3D扩展中，可以有多个视图，并且一个视图的信息可以用于编解码(例如，编码或解码)另一视图的信息(例如，运动估计、运动矢量预测和/或其他冗余)。

在SVC中，编码器或解码器使用的参数基于编解码级别(例如，视频级别、序列级别、图片级别、条带级别等)分组为参数集，它们可能在该编解码级别中被利用。例如，比特流中不同层的一个或多个编解码视频序列可以利用的参数可以包括在视频参数集(VPS)中，并且编解码视频序列中的一个或多个图片可以使用的参数可以包括在序列参数集(SPS)中。类似地，图片中的一个或多个条带使用的参数可以被包括在图片参数集(PPS)中，并且特定于单个条带的其他参数可以被包括在条带标头中。类似地，可以在各种编解码级别提供特定层在给定时间使用哪个(哪些)参数集的指示。

由于VVC对参考图片重采样(RPR)的支持，可以在不需要任何附加的信号处理级编解码工具的情况下设计对包含多层(例如，VVC中具有SD和HD分辨率的两层)的比特流的支持，因为空间可缩放性支持所需的上采样可以仅使用RPR上采样滤波器。然而，为了可缩放性支持，需要高级别的语法变化(与不支持可缩放性相比)。VVC版本1中规定了可缩放性支持。与任何早期视频编解码标准(包括AVC和HEVC的扩展)中的可缩放性支持不同，VVC可缩放性的设计尽可能对单层解码器设计友好。多层比特流的解码能力是以好像比特流中只有一层的方式来指定的。例如，以独立于要解码的比特流中的层数的方式指定诸如DPB大小的解码能力。基本上，为单层比特流设计的解码器不需要太多改变就能够解码多层比特流。与AVC和HEVC的多层扩展设计相比，HLS在牺牲一些灵活性的情况下得到显著简化。例如，IRAPAU需要包含CVS中存在的每个层的图片。

3.3.参数集

AVC、HEVC和VVC指定参数集。参数集的类型包括SPS、PPS、APS和VPS。AVC、HEVC和VVC的所有都支持SPS和PPS。VPS从HEVC开始引入，并且被包括在HEVC和VVC两者中。APS没有被包括在AVC或HEVC中，但是被包括在最新的VVC草案文本中。

SPS被设计为携带序列级标头信息，并且PPS被设计为携带不经常改变的图片级标头信息。利用SPS和PPS，不经常改变的信息不需要为每个序列或图片重复，因此可以避免该信息的冗余信令。此外，SPS和PPS的使用实现了重要标头信息的带外传输，从而不仅避免了对冗余传输的需要，还提高了抗误码能力。

引入VPS是为了携带对多层比特流中的所有层共用的序列级标头信息。

引入APS是为了携带这样的图片级或条带级信息，这些信息需要相当多的比特来编解码，可以由多个图片共享，并且在序列中可以有相当多的不同变化。

3.4.档次、层级和级别

视频编解码标准通常指定档次和级别。一些视频编码标准(例如，HEVC和正在开发的VVC)还指定层级。

档次、层级和级别指定对比特流的限制，并且因此限制了解码比特流所需的能力。档次、层级和级别还可以用于指示各种解码器实施方式之间的互操作性点。

每个档次指定应该由符合该档次的所有解码器支持的算法特征和限制的子集。注意，编码器不需要使用档次中支持的所有编解码工具或特征，而符合档次的解码器需要支持所有编解码工具或特征。

层级的每个级别指定针对比特流语法元素可以采用的值的限制的集合。对于所有档次通常使用相同的层级和级别定义的集合，但是各种实施方式可以支持不同的层级，并且在一个层级内，对于每个所支持的档次可以支持不同的级别。对于任何给定的档次，层级的级别一般对应于特定的解码器处理载荷和存储器能力。

符合视频编解码器规范的视频解码器的能力根据解码符合视频编解码器规范中规定的档次、层级和级别的约束的视频流的能力来指定。当表达特定档次的解码器的能力时，也应该表达该档次所支持的层级和级别。

3.5.现有的VVC层级和级别定义

在JVET-S0152-v5的最新的VVC草案文本中，层级和级别定义如下。

A.4.1一般层级和级别限制

出于层级能力比较的目的，general_tier_flag等于0的层级(即，主层级)被认为是比general_tier_flag等于1的层(即，高层级)更低的层级。

出于级别能力比较的目的，当指定层级的特定级别的general_level_idc或sublayer_level_idc[i]的值小于其他级别的general_level_idc或sublayer_level_idc[i]的值时，该特定级别被认为是比同一层级的其他级别更低的级别。

为了表达本附录中的约束，指定以下内容：

–设AU n为按解码次序的第n个AU，其中第一个AU为AU 0(即，第0AU)。

–对于具有OLS索引TargetOlsIdx的OLS，变量PicWidthMaxInSamplesY、PicHeightMaxInSamplesY和PicSizeMaxInSamplesY以及适用的dpb_parameters()语法结构被推导如下：

o如果NumLayersInOls[TargetOlsIdx]等于1，则PicWidthMaxInSamplesY被设置为等于sps_pic_width_max_in_luma_samples，PicHeightMaxInSamplesY被设置为等于sps_pic_height_max_in_luma_samples，并且PicSizeMaxInSamplesY被设置为等于PicWidthMaxInSamplesY*PicHeightMaxInSamplesY，其中，在OLS中的层所引用的SPS中找到sps_pic_width_max_in_luma_samples和sps_pic_height_max_in_luma_samples，并且也在该SPS中找到适用的dpb_parameters()。

o否则(NumLayersInOls[TargetOlsIdx]大于1)，则PicWidthMaxInSamplesY被设置为等于vps_ols_dpb_pic_width[MultiLayerOlsIdx[TargetOlsIdx]]，PicHeightMaxInSamplesY被设置为等于vps_ols_dpb_pic_height[MultiLayerOlsIdx[TargetOlsIdx]]，PicSizeMaxInSamplesY被设置为等于PicWidthMaxInSamplesY*PicHeightMaxInSamplesY，并且适用的dpb_parameters()语法结构由在VPS中找到的vps_ols_dpb_params_idx[MultiLayerOlsIdx[TargetOlsIdx]]来标识。

当指定的级别不是级别15.5时，符合指定层级和级别处的档次的比特流应该遵守如附录C中指定的针对每个比特流一致性测试的以下约束：

a)PicSizeMaxInSamplesY应该小于或等于MaxLumaPs，其中，在表A.1中指定MaxLumaPs。

b)PicWidthMaxInSamplesY的值应该小于或等于Sqrt(MaxLumaPs*8)。

c)PicHeightMaxInSamplesY的值应该小于或等于Sqrt(MaxLumaPs*8)。

d)对于每个引用的PPS，NumTileColumns的值应该小于或等于MaxTileCols，并且NumTileRows的值应该小于或等于MaxTileRows，其中，在表A.1中指定MaxTileCols和MaxTileRows。

e)对于VCL HRD参数，对于在0至hrd_cpb_cnt_minus1的范围内(含端点)的i的至少一个值，CpbSize[Htid][i]应该小于或等于CpbVclFactor*MaxCPB，其中，基于如在条款C.1中指定的选择的参数，在条款7.4.6.3中指定CpbSize[Htid][i]，在表A.3中指定CpbVclFactor，并且在表A.1中以CpbVclFactor比特为单位指定MaxCPB。

f)对于NAL HRD参数，对于在0至hrd_cpb_cnt_minus1的范围内(含端点)的i的至少一个值，CpbSize[Htid][i]应该小于或等于CpbNalFactor*MaxCPB，其中，基于如在条款C.1中指定的选择的参数而在条款7.4.6.3中指定CpbSize[Htid][i]，在表A.3中指定CpbNalFactor，并且在表A.1中以CpbNalFactor比特为单位指定MaxCPB。

表A.1指定对每个层级中除级别15.5外的每个级别的限制。

比特流所符合的层级和级别由语法元素general_tier_flag和general_level_idc指示，并且子层表示所符合的级别由语法元素sublayer_level_idc[i]指示，如下：

–如果指定的级别不是级别15.5，则根据表A.1中指定的层级约束，general_tier_flag等于0指示符合主层级，general_tier_flag等于1指示符合高层级，并且对于低于级别4的级别，general_tier_flag应该等于0(对应于表A.1中带有“-”标记的项)。否则(指定的级别是级别15.5)，则比特流一致性的要求是general_tier_flag应该等于1，并且用于general_tier_flag的值0被预留以供ITU-T|ISO/IEC未来使用，并且解码器应该忽略general_tier_flag的值。

–general_level_idc和sublayer_level_idc[i]应该被设置为等于表A.1中指定的级别编号的general_level_idc值。

表A.1-一般层级和级别限制

A.4.2档次特定的级别限制

为了表达本附录中的约束，指定以下内容：

–设变量fR被设置为等于1÷300。

变量HbrFactor被定义如下：

–如果比特流被指示为符合主10档次或主4:4:4 10档次，则HbrFactor被设置为等于1。

表示VCL比特率缩放因子的变量BrVclFactor被设置为等于CpbVclFactor*HbrFactor。

表示NAL比特率缩放因子的变量BrNalFactor被设置为等于CpbNalFactor*HbrFactor。

变量MinCr被设置为等于MinCrBase*MinCrScaleFactor÷HbrFactor。

当指定的级别不是级别15.5时，max_dec_pic_buffering_minus1[Htid]+1的值应该小于或等于MaxDpbSize，其被推导如下：

if(PicSizeMaxInSamplesY<＝(MaxLumaPs>>2))

MaxDpbSize＝Min(4*maxDpbPicBuf,16)

else if(PicSizeMaxInSamplesY<＝(MaxLumaPs>>1))

MaxDpbSize＝Min(2*maxDpbPicBuf,16)

else if(PicSizeMaxInSamplesY<＝((3*MaxLumaPs)>>2))

MaxDpbSize＝Min((4*maxDpbPicBuf)/3,16)

else

MaxDpbSize＝maxDpbPicBuf (A.1)

其中，在表A.1中指定MaxLumaPs，maxDpbPicBuf等于8，并且可以在适用的dpb_parameters()语法结构中找到或从中推导出max_dec_pic_buffering_minus1[Htid]。

设numDecPics是AU n中图片的数量。变量AuSizeMaxInSamplesY[n]被设置为等于PicSizeMaxInSamplesY*numDecPics。

符合指定层级和级别处主10或主4:4:4 10档次的比特流应该遵守在附录C中指定的针对每个比特流一致性测试的以下约束：

a)如在条款C.2.3中指定的，AU n(n大于0)从CPB中的标称移除时间应该满足AuNominalRemovalTime[n]-AuCpbRemovalTime[n-1]大于或等于Max(AuSizeMaxInSamplesY[n-1]÷MaxLumaSr,fR)的约束，其中，MaxLumaSr是表A.2中指定的适用于AU n-1的值。

b)如在条款C.3.3中指定的，不同AU的图片从DPB中的连续输出时间之间的差应该满足DpbOutputInterval[n]大于或等于Max(AuSizeMaxInSamplesY[n]÷MaxLumaSr,fR)的约束，其中，MaxLumaSr是表A.2中指定的AU n的值，假设AU n具有被输出的图片，并且AU n不是比特流中具有被输出的图片的最后一个AU。

c)对于图片0的PicSizeMaxInSamplesY的值，AU 0的移除时间应该满足AU 0中每个图片中条带的数量小于或等于Min(Max(1,MaxSlicesPerPicture*MaxLumaSr/MaxLumaPs*(AuCpbRemovalTime[0]-AuNominalRemovalTime[0])+MaxSlicesPerPicture*PicSizeMaxInSamplesY/MaxLumaPs),MaxSlicesPerPicture)的约束，其中，MaxSlicesPerPicture、MaxLumaPs和MaxLumaSr分别是表A.1和表A.2中指定的适用于AU 0的值。

d)AU n和AU n-1(n大于0)的连续CPB移除时间之间的差应该满足AU n中每个图片中条带的数量小于或等于Min((Max(1,MaxSlicesPerPicture*MaxLumaSr/MaxLumaPs*(AuCpbRemovalTime[n]-AuCpbRemovalTime[n-1])),MaxSlicesPerPicture)，其中，MaxSlicesPerPicture、MaxLumaPs和MaxLumaSr是表A.1和表A.2中指定的适用于AU n的值。

e)对于VCL HRD参数，对于在0至hrd_cpb_cnt_minus1的范围内(含端点)的i的至少一个值，BitRate[Htid][i]应该小于或等于BrVclFactor*MaxBR，其中，基于如在条款C.1中指定的选择的参数而在条款7.4.6.3中指定BitRate[Htid][i]，并且在表A.2中以BrVclFactor比特/秒为单位指定MaxBR。

f)对于NAL HRD参数，对于在0至hrd_cpb_cnt_minus1的范围内(含端点)的i的至少一个值，BitRate[Htid][i]应该小于或等于BrNalFactor*MaxBR，其中，基于如在条款C.1中指定的选择的参数而在条款7.4.6.3中指定BitRate[Htid][i]，并且在表A.2中以BrNalFactor比特/秒为单位指定MaxBR。

g)AU 0的NumBytesInNalUnit变量之和应该小于或等于FormatCapabilityFactor*(Max(AuSizeMaxInSamplesY[0],fR*MaxLumaSr)+MaxLumaSr*(AuCpbRemovalTime[0]-AuNominalRemovalTime[0]))÷MinCr，其中，MaxLumaSr和FormatCapabilityFactor分别是表A.2和表A.3中指定的适用于AU 0的值。

h)AU n(n大于0)的NumBytesInNalUnit变量之和应该小于或等于FormatCapabilityFactor*MaxLumaSr*(AuCpbRemovalTime[n]-AuCpbRemovalTime[n-1])÷MinCr，其中，MaxLumaSr和FormatCapabilityFactor分别是表A.2和表A.3中指定的适用于AUn的值。

i)AU 0的移除时间应该满足AU 0中每个图片中片的数量小于或等于Min(Max(1,MaxTileCols*MaxTileRows*120*(AuCpbRemovalTime[0]-AuNominalRemovalTime[0])+MaxTileCols*MaxTileRows*AuSizeMaxInSamplesY[0]/MaxLumaPs),MaxTileCols*MaxTileRows)的约束，其中，MaxTileCols和MaxTileRows是表A.1中指定的适用于AU 0的值。

j)AU n和AU n-1(n大于0)的连续CPB移除时间之间的差应该满足AU n中每个图片中片的数量小于或等于Min(Max(1,MaxTileCols*MaxTileRows*120*(AuCpbRemovalTime[n]-AuCpbRemovalTime[n-1])),MaxTileCols*MaxTileRows)的约束，其中，MaxTileCols和MaxTileRows是表A.1中指定的适用于AU n的值。

表A.2-视频档次的层级和级别限制

表A.3-CpbVclFactor、CpbNalFactor、FormatCapabilityFactor和MinCrScaleFactor的规范

3.6.现有的VVC比特流一致性定义

在JVET-S0152-v5的最新的VVC草案文本中，比特流一致性定义如下。

A.4比特流一致性

符合本规范的编解码数据比特流应该满足本条款中规定的所有要求。

应该根据本规范中除本附录外的所规定的语法、语义和约束来构建比特流。

比特流中的第一编解码图片应该是IRAP图片(即，IDR图片或CRA图片)或GDR图片。

由HRD测试比特流是否符合如条款C.1指定的。

设currPicLayerId等于当前图片的nuh_layer_id。

对于每个当前图片，设变量maxPicOrderCnt和minPicOrderCnt分别被设置为等于以下图片的PicOrderCntVal值的最大值和最小值，其中nuh_layer_id等于currPicLayerId：

-当前图片。

-按解码次序中的先前图片，其TemporalId和ph_non_ref_pic_flag两者都等于0，并且不是RASL或RADL图片。

-由当前图片的RefPicList[0]中的所有条目和RefPicList[1]中的所有条目所引用的STRP。

-PictureOutputFlag等于1、AuCpbRemovalTime[n]小于AuCpbRemovalTime[currPic]且DpbOutputTime[n]大于或等于AuCpbRemovalTime[currPic]的所有图片n，其中currPic是当前图片。

对于比特流一致性测试中的每一个，应该满足以下所有条件：

1.对于与BP SEI消息相关联的每个AU n(n大于0)，设变量deltaTime90k[n]被指定如下：

deltaTime90k[n]＝90000*(AuNominalRemovalTime[n]-AuFinalArrivalTime[n-1]) (C.17)

InitCpbRemovalDelay[Htid][ScIdx]的值被约束如下：

-如果cbr_flag[ScIdx]等于0，则以下条件应该为真：

InitCpbRemovalDelay[Htid][ScIdx]<＝Ceil(deltaTime90k[n]) (C.18)

-否则(cbr_flag[ScIdx]等于1)，以下条件应该为真：

Floor(deltaTime90k[n])<＝InitCpbRemovalDelay[Htid][ScIdx]<＝Ceil(deltaTime90k[n]) (C.19)

注释1–CPB中的比特在每个AU或DU的移除时间处的确切数量可能取决于选择哪个BP SEI消息来初始化HRD。编码器必须考虑到这一点，以确保无论选择哪个BP SEI消息来初始化HRD，都必须遵守所有指定的约束，因为HRD可以在BP SEI消息中的任何一个处被初始化。

2.CPB上溢(overflow)被指定为CPB中的比特总数量大于CPB大小的情况。CPB应该永远不上溢。

3.当low_delay_hrd_flag[Htid]等于0时，CPB应该永远不下溢(underflow)。CPB下溢被指定如下：

-如果DecodingUnitHrdFlag等于0，则CPB下溢被指定为条件：对于至少一个n值，AU n的标称CPB移除时间AuNominalRemovalTime[n]小于AU n的最终CPB到达时间AuFinalArrivalTime[n]。

-否则(DecodingUnitHrdFlag等于1)，CPB下溢被指定为条件：对于至少一个m值，DU m的标称CPB移除时间DuNominalRemovalTime[m]小于DU m的最终CPB到达时间DuFinalArrivalTime[m]。

4.当DecodingUnitHrdFlag等于1，low_delay_hrd_flag[Htid]等于1，并且AU n的DU m的标称移除时间小于DU m的最终CPB到达时间(即，DuNominalRemovalTime[m]<DuFinalArrivalTime[m])，AU n的标称移除时间应该小于AU n的最终CPB到达时间(即，AuNominalRemovalTime[n]<AuFinalArrivalTime[n])。

5.AU从CPB中(从按解码次序的第二个AU开始)的标称移除时间应该满足条款A.4.1和A.4.2中表达的对AuNominalRemovalTime[n]和AuCpbRemovalTime[n]的约束。

6.对于每个当前图片，在调用如条款C.3.2中指定的从DPB中移除图片的过程之后，DPB中的经解码图片(包括所有被标记为“用于参考”的图片n、或者PictureOutputFlag等于1并且CpbRemovalTime[n]小于CpbRemovalTime[currPic](其中currPic是当前图片)的图片n)的数量应该小于或等于max_dec_pic_buffering_minus1[Htid]。

7.当需要进行预测时，所有参考图片都应该存在于DPB中。PictureOutputFlag等于1的每个图片都应该在其DPB输出时间处存在于DPB中，除非其在其输出时间之前通过条款C.3中指定的过程之一从DPB中被移除。

8.对于不是CLVSS图片的每个当前图片，maxPicOrderCnt-minPicOrderCnt的值应该小于MaxPicOrderCntLsb/2。

9.等式C.16给出的DpbOutputInterval[n]的值(即，图片与按输出次序在其之后且PictureOutputFlag等于1的第一个图片的输出时间之间的差)应该满足条款A.4.1中表达的、针对使用在条款2至9中指定的解码过程在比特流中指定的档次、层级和级别的约束。

10.对于每个当前图片，当bp_du_cpb_params_in_pic_timing_sei_flag等于1时，设tmpCpbRemovalDelaySum被推导如下：

tmpCpbRemovalDelaySum＝0

for(i＝0；i<pt_num_decoding_units_minus1；i++)

tmpCpbRemovalDelaySum+＝

pt_du_cpb_removal_delay_increment_minus1[i][Htid]+1(C.20)

ClockSubTick*tmpCpbRemovalDelaySum的值应该等于当前AU的标称CPB移除时间与当前AU按解码次序的第一个DU的标称CPB移除时间之间的差。

11.对于同一CVS中的任何两个图片m和n，当DpbOutputTime[m]大于DpbOutputTime[n]时，图片m的PicOrderCntVal应该大于图片n的PicOrderCntVal。

注释2–作为输出的按解码次序的较早CVS的所有图片在按解码次序的较晚CVS的任何图片之前被输出。在任何特定的CV内，作为输出的图片都是按递增PicOrderCntVal的次序输出的。

12.针对任何特定AU中所有图片推导出的DPB输出时间应该相同。

4.公开的技术方案解决的技术问题

现有的级别定义的VVC设计存在以下问题：

1)对AU 0和AU n(n>0)的CPB移除时间与条带数量之间关系的两个级别限制的定义(即，条款A.4.2中的项目c和d(档次特定的级别限制))是基于MaxSlicesPerPicture和最大图片大小的。然而，MaxSlicesPerPicture被定义为图片级别限制，而CPB移除时间是AU级别参数。

2)对AU 0和AU n(n>0)的CPB移除时间与片数量之间关系的两个级别限制的定义(即，条款A.4.2中的项目i和j(档次特定的级别限制))是基于MaxTileCols*MaxTileRows和最大AU大小的。然而，与上面类似，MaxTileCols和MaxTileRows被定义为图片级别限制，而CPB移除时间是AU级别参数。

3)条款C.4(比特流一致性)中的第6个约束如下：对于每个当前图片，在调用条款C.3.2中指定的从DPB中移除图片的过程之后，DPB中的经解码图片(包括所有被标记为“用于参考”的图片n、或者PictureOutputFlag等于1且CpbRemovalTime[n]小于CpbRemovalTime[currPic]的图片n(其中currPic是当前图片))的数量应该小于或等于max_dec_pic_buffering_minus1[Htid]。部分“CpbRemovalTime[n]小于CpbRemovalTime[currPic]”描述了DPB中的经解码图片的解码时间小于当前图片的解码时间的条件。然而，DPB中的所有经解码图片总是早于当前图片的解码而被解码，因此上下文中的CpbRemovalTime[n]总是小于CpbRemovalTime[currPic]。

5.解决方案和实施例的示例

为了解决上述问题和其他问题，公开了如下概述的方法。这些项目应该被认为是解释一般概念的示例，而不应该以狭隘的方式解释。此外，这些项目可以单独使用或以任何方式组合使用。

1)为了解决第一个问题，将对AU 0和AU n(n>0)的CPB移除时间与条带数量之间的关系的两个级别限制的定义(即，最新的VVC草案的条款A.4.2中的项目c和d)从基于MaxSlicesPerPicture和最大图片大小改变为基于MaxSlicesPerPicture*(AU中图片的数量)和最大AU大小。

2)为了解决第二个问题，将对AU 0和AU n(n>0)的CPB移除时间与片数量之间的关系的两个级别限制的定义(即，最新的VVC草案的条款A.4.2中的项目i和j)从基于MaxTileCols*MaxTileRows和最大AU大小改变为基于MaxTileCols*MaxTileRows*(AU中图片的数量)和最大AU大小。

3)为了解决第三个问题，将最新的VVC草案的条款C.4中的第6个约束改变为对存储在DPB中的被标记为“用于参考”、PictureOutputFlag等于1、以及输出时间晚于当前图片的解码时间的经解码图片的数量施加约束。

a.在一个示例中，在最新的VVC草案的条款C.4中的第6个约束中，将“或PictureOutputFlag等于1且CpbRemovalTime[n]小于CpbRemovalTime[currPic]”改变为“或PictureOutputFlag等于1且DpbOutputTime[n]大于CpbRemovalTime[currPic]”。

6.实施例

以下是在本章节中总结的一些发明方面的一些示例实施例，其可以被应用于VVC规范。更改后的文本基于JVET-S0152-v5中的最新的VVC文本。增加或修改的大部分相关部分用粗体、下划线和斜体表示，例如“使用A

”，而删除的部分用斜体表示并用粗体双括号括起来，例如“基于

B”。可能还有一些其他编辑性质的更改，因此没有突出显示。

6.1.实施例1

本实施例针对项目1至3及其子项目。

A.4.2档次特定的级别限制

为了表达本附录中的约束，指定以下内容：

-设变量fR被设置为等于1÷300。

变量HbrFactor被定义如下：

-如果比特流被指示为符合主10档次或主4:4:4 10档次，则HbrFactor被设置为等于1。

变量MinCr被设置为等于MinCrBase*MinCrScaleFactor÷HbrFactor。

if(PicSizeMaxInSamplesY<＝(MaxLumaPs>>2))

MaxDpbSize＝Min(4*maxDpbPicBuf,16)

else if(PicSizeMaxInSamplesY<＝(MaxLumaPs>>1))

MaxDpbSize＝Min(2*maxDpbPicBuf,16)

else if(PicSizeMaxInSamplesY<＝((3*MaxLumaPs)>>2))

MaxDpbSize＝Min((4*maxDpbPicBuf)/3,16)

else

MaxDpbSize＝maxDpbPicBuf (A.1)

设

是AU n中图片的数量。变量AuSizeMaxInSamplesY[n]被设置为等于

k)如条款C.2.3条中指定的AU n(n大于0)从CPB中的标称移除时间应该满足AuNominalRemovalTime[n]-AuCpbRemovalTime[n-1]大于或等于Max(AuSizeMaxInSamplesY[n-1]÷MaxLumaSr,fR)的约束，其中，MaxLumaSr是表A.2中指定的适用于AU n-1的值。

l)如在条款C.3.3中指定的，不同AU的图片从DPB的连续输出时间之间的差应该满足DpbOutputInterval[n]大于或等于Max(AuSizeMaxInSamplesY[n]÷MaxLumaSr,fR)的约束，其中，MaxLumaSr是对于AU n的表A.2中指定的值，假设AU n具有作为输出的图片，并且AU n不是比特流中具有作为输出的图片的最后一个AU。

m)

AU 0的移除时间应该满足AU 0中

条带的数量小于或等于

的约束，其中，MaxSlicesPerPicture、MaxLumaPs和MaxLumaSr分别是表A.1和表A.2中指定的适用于AU 0的值。

n)AU n和AU n-1(n大于0)的连续CPB移除时间之间的差应该满足AU n中

条带的数量小于或等于

其中，MaxSlicesPerPicture、MaxLumaPs和MaxLumaSr是表A.1和表A.2中指定的适用于AUn的值。

o)对于VCL HRD参数，对于在0至hrd_cpb_cnt_minus1的范围内(含端点)的i的至少一个值，BitRate[Htid][i]应该小于或等于BrVclFactor*MaxBR，其中，基于如在条款C.1中指定的选择的参数而在条款7.4.6.3中指定BitRate[Htid][i]，并且在表A.2中以BrVclFactor比特/秒为单位指定MaxBR。

p)对于NAL HRD参数，对于在0至hrd_cpb_cnt_minus1的范围内(含端点)的i的至少一个值，BitRate[Htid][i]应该小于或等于BrNalFactor*MaxBR，其中，基于如在条款C.1中指定的选择的参数而在条款7.4.6.3中指定BitRate[Htid][i]，并且在表A.2中以BrNalFactor比特/秒为单位指定MaxBR。

q)AU 0的NumBytesInNalUnit变量之和应该小于或等于FormatCapabilityFactor*(Max(AuSizeMaxInSamplesY[0],fR*MaxLumaSr)+MaxLumaSr*(AuCpbRemovalTime[0]-AuNominalRemovalTime[0]))÷MinCr，其中，MaxLumaSr和FormatCapabilityFactor分别是表A.2和表A.3中指定的适用于AU 0的值。

r)AU n(n大于0)的NumBytesInNalUnit变量之和应该小于或等于FormatCapabilityFactor*MaxLumaSr*(AuCpbRemovalTime[n]-AuCpbRemovalTime[n-1])÷MinCr，其中，MaxLumaSr和FormatCapabilityFactor分别是表A.2和表A.3中指定的适用于AUn的值。

s)AU 0的移除时间应该满足AU 0中

片的数量小于或等于

的约束，其中，MaxTileCols和MaxTileRows是表A.1中指定的适用于AU 0的值。

t)AU n和AU n-1(n大于0)的连续CPB移除时间之间的差应该满足AU n中

片的数量小于或等于

的约束，其中，MaxTileCols和MaxTileRows是表A.1中指定的适用于AU n的值。

……

C.4比特流一致性

……

6.对于每个当前图片，在调用条款C.3.2中指定的从DPB中移除图片的过程之后，DPB中的经解码图片(包括所有被标记为“用于参考”的图片n、或者

(其中currPic是当前图片)的图片n)的数量应该小于或等于max_dec_pic_buffering_minus1[Htid]。

……

图1是示出示例视频处理系统1000的框图，其中可以实施本文公开的各种技术。各种实施方式可以包括系统1000的一些或所有组件。系统1000可以包括用于接收视频内容的输入1002。视频内容可以以原始或未压缩的格式接收，例如，8或10比特多分量像素值、或者可以是压缩或编码格式。输入1002可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括有线接口(诸如以太网、无源光网络(PON)等)，以及无线接口(诸如Wi-Fi或蜂窝接口)。

系统1000可以包括编解码组件1004，其可以实施在本文档中描述的各种编解码或编码方法。编解码组件1004可以降低从输入1002到编解码组件1004的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。如组件1006所表示的，编解码组件1004的输出可以被存储、或者经由连接的通信被发送。组件1008可以使用在输入1002处接收的视频的存储或通信传送的比特流(或编解码的)表示来生成发送到显示接口1010的像素值或可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是应该理解，编解码工具或操作在编码器处使用，并且与编码结果相反的相应解码工具或操作将由解码器执行。

外围总线接口或显示器接口的示例可以包括通用串行总线(USB)或高清多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以在各种电子设备中实现，诸如移动电话、膝上型电脑、智能手机或能够执行数字数据处理和/或视频显示的其他设备。

图2是视频处理装置2000的框图。装置2000可以用于实施本文描述的一种或多种方法。装置2000可以实施在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置2000可以包括一个或多个处理器2002、一个或多个存储器2004和视频处理硬件2006。(多个)处理器2002可以被配置为实施本文档中(例如，在图6-图9中)描述的一种或多种方法。存储器(多个存储器)2004可以用于存储用于实施本文所述方法和技术的数据和代码。视频处理硬件2006可以用于在硬件电路中实施本文档中描述的一些技术。在一些实施例中，硬件2006可以部分或整体位于一个或多个处理器2002(例如，图形处理器)中。

图3是示出可以利用本公开的技术的示例视频编解码系统100的框图。如图3所示，视频编解码系统100可以包括源设备110和目的设备120。源设备110生成编码视频数据，其可以被称为视频编码设备。目的设备120可以解码由源设备110产生经编码的视频数据，其可以被称为视频解码设备。源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。

视频源112可以包括诸如视频捕获设备、从视频内容提供商接收视频数据的接口和/或用于生成视频数据的计算机图形系统的源、或者这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码，以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关联的数据。编解码图片是图片的编解码表示。相关联的数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发送器。编码视频数据可以经由I/O接口116通过网络130a直接发送到目的设备120。编码视频数据还可以存储在存储介质/服务器130b上以供目的设备120访问。

目的设备120可以包括I/O接口126、视频解码器124和显示设备122。

I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取经编码的视频数据。视频解码器124可以解码经编码的视频数据。显示设备122可以向用户显示经解码的视频数据。显示设备122可以与目的设备120集成、或者可以在目的设备120的外部，目的设备120被配置为与外部显示设备接口。

视频编码器114和视频解码器124可以根据视频压缩标准操作，诸如高效视频编码(HEVC)标准、多功能视频编码(VVM)标准和其他当前和/或进一步的标准。

图4是示出视频编码器200的示例的框图，该视频编码器200可以是图3所示系统100中的视频编码器114。

视频编码器200可以被配置为执行本公开的任何或所有技术。在图4的示例中，视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

视频编码器200的功能组件可以包括分割单元201、可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206的预测单元202、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲器213和熵编码单元214。

在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在示例中，预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以以IBC模式执行预测，其中至少一个参考图片是当前视频块所在的图片。

此外，诸如运动估计单元204和运动补偿单元205的一些组件可以被高度集成，但是为了解释的目的，在图4的示例中被分开表示。

分割单元201可以将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块大小。

模式选择单元203可以例如基于错误结果选择编码模式(帧内或帧间)中的一个，并且将所得帧内或帧间编码块提供到残差生成单元207以产生残差块数据，并且提供到重构单元212以重构编码块以用作参考图片。在一些示例中，模式选择单元203可以选择帧内和帧间预测(CIIP)模式的组合，其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元203还可以为块选择运动矢量的分辨率(例如，子像素或整数像素精度)。

为了对当前视频块执行帧间预测，运动估计单元204可以通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可以基于来自缓冲器213的除了与当前视频块相关联的图片之外的图片的运动信息和解码样点来确定当前视频块的预测视频块。

运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作，例如，取决于当前视频块是在I条带、P条带还是B条带中。

在一些示例中，运动估计单元204可以对当前视频块执行单向预测，并且运动估计单元204可以在列表0或列表1的参考图片中搜索当前视频块的参考视频块。运动估计单元204然后可以生成参考索引和运动矢量，该参考索引指示包含参考视频块的列表0或列表1中的参考图片，该运动矢量指示当前视频块与参考视频块之间的空间位移。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。

在其它示例中，运动估计单元204可以对当前视频块执行双向预测，运动估计单元204可以在列表0中的参考图片中搜索当前视频块的参考视频块，并且还可以在列表1中的参考图片中搜索当前视频块的另一参考视频块。运动估计单元204然后可以生成参考索引和运动矢量，该参考索引指示包含参考视频块的列表0或列表1中的参考图片，该运动矢量指示参考视频块与当前视频块之间的空间位移。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。

在一些示例中，运动估计单元204可以输出用于解码器的解码处理的全部运动信息集。

在一些示例中，运动估计单元204可能不输出当前视频的全部运动信息集。相反，运动估计单元204可以参考另一视频块的运动信息来信令通知当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与相邻视频块的运动信息足够相似。

在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中指示一值，该值向视频解码器300指示当前视频块具有与另一视频块相同的运动信息。

在另一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量和所指示的视频块的运动矢量之间的差。视频解码器300可以使用所指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。

如上所述，视频编码器200可以预测性地信令通知运动矢量。可以由视频编码器200实现的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和Merge模式信令。

帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时，帧内预测单元206可以基于同一图片中的其它视频块的解码样点来生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。

残差生成单元207可以通过从当前视频块减去(例如，由负号指示)当前视频块的预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中样点的不同样点分量的残差视频块。

在其它示例中，对于当前视频块可能没有当前视频块的残差数据，例如，在跳过模式中，并且残差生成单元207可以不执行减法操作。

变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块来生成当前视频块的一个或多个变换系数视频块。

在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。

逆量化单元210和逆变换单元211可以分别对变换系数视频块应用逆量化和逆变换，以从变换系数视频块重构残差视频块。重构单元212可以将重构残差视频块添加到来自由预测单元202生成的一个或多个预测视频块的对应样点，以产生与当前块相关联的重构视频块，以存储在缓冲器213中。

在重构单元212重构视频块之后，可以执行环路滤波操作以减少视频块中的视频块效应。

熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收数据时，熵编码单元214可以执行一个或多个熵编码操作以生成熵编码数据并输出包括熵编码数据的比特流。

图5是示出视频解码器300的示例的框图，该视频解码器300可以是图3所示的系统100中的视频解码器114。

视频解码器300可以被配置为执行本公开的任何或所有技术。在图5的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

在图5的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、重构单元306和缓冲器307。在一些示例中，视频解码器300可以执行通常与针对视频编码器200(图4)描述的编码过程互逆的解码过程。

熵解码单元301可以检索经编码的比特流。经编码的比特流可以包括熵编码视频数据(例如，视频数据的编码块)。熵解码单元301可以解码熵编码视频数据，并且运动补偿单元302可以从经熵解码的视频数据确定运动信息，包含运动矢量、运动矢量精度、参考图片列表索引和其它运动信息。运动补偿单元302可以例如通过执行AMVP和Merge模式来确定此信息。

运动补偿单元302可以产生运动补偿块，可能基于内插滤波器执行内插。语法元素中可以包括要以子像素精度使用的内插滤波器的标识符。

运动补偿单元302可以使用如视频编码器200在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的内插值。运动补偿单元302可以根据所接收的语法信息来确定视频编码器200所使用的内插滤波器，并使用内插滤波器来产生预测块。

运动补偿单元302可以使用一些语法信息来确定用于编码经编码的视频序列的(多个)帧和/或(多个)条带的块的大小、描述编码视频序列的图片的每一宏块如何被分割的分割信息、指示每一分割如何被编码的模式、每一帧间编码块的一个或多个参考帧(和参考帧列表)以及解码经编码的视频序列的其它信息。

帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空间相邻的块形成预测块。逆量化单元303逆量化(即，去量化)比特流中提供的并且由熵解码单元301解码的量化视频块系数。逆变换单元303应用逆变换。

重构单元306可以将残差块与由运动补偿单元202或帧内预测单元303生成的对应预测块相加，以形成解码块。如果需要，还可以应用去块滤波器来对解码块进行滤波，以便移除块效应伪像。解码视频块然后被存储在缓冲器307中，缓冲器307为后续的运动补偿/帧内预测提供参考块，并且还产生解码视频以在显示设备上呈现。

图6-图8示出了可以在例如图1-图5所示的实施例中实现上述技术解决方案的示例方法。

图6示出了视频处理的示例方法600的流程图。方法600包括，在操作610，执行包括包含一个或多个条带的一个或多个图片的视频与视频的比特流之间的转换，，该比特流基于格式规则被组织为多个访问单元(AU)AU 0至AU n，该格式规则指定多个AU中的每一个在解码期间从编解码图片缓冲器(CPB)中的移除时间与多个AU中的每一个中条带的数量之间的关系，并且n是正整数。

图7示出了视频处理的示例方法700的流程图。方法700包括，在操作710，基于格式规则来执行包括包含一个或多个片的一个或多个图片的视频与视频的比特流之间的转换，该比特流基于格式规则被组织为多个访问单元(AU)AU 0至AU n，该格式规则指定多个AU中的每一个从编解码图片缓冲器(CPB)的移除时间与多个AU中的每一个中片的数量之间的关系，n是正整数。

图8示出了视频处理的示例方法800的流程图。方法800包括，在操作810，执行包括包含一个或多个条带的一个或多个图片的视频与视频的比特流之间的转换，该比特流被组织为一个或多个访问单元，该转换符合指定对存储在解码图片缓冲器中的经解码图片的数量的约束的规则，其中，经解码图片中的每个经解码图片(i)被标记为用于参考，(ii)具有指示该经解码图片被输出的标志，以及(iii)具有晚于当前图片的解码时间的输出时间。

接下来提供了一些实施例优选的解决方案的列举。

A1.一种处理视频数据的方法，包括：执行包括包含一个或多个条带的一个或多个图片的视频与视频的比特流之间的转换，其中，该比特流基于格式规则被组织为多个访问单元(AU)AU 0至AU n，其中，n是正整数，其中，该格式规则指定多个AU中的每一个在解码期间从编解码图片缓冲器(CPB)中的移除时间与多个AU中的每一个中条带的数量之间的关系。

A2.解决方案A1的方法，其中，该关系是基于(i)每个图片的条带的最大数量和访问单元中图片的数量的乘积，以及(ii)访问单元的最大大小。

A3.解决方案A1的方法，其中，该格式规则指定多个访问单元中的第一个访问单元AU 0的移除时间满足约束。

A4.解决方案A3的方法，其中，该约束指定AU 0中条带的数量小于或等于Min(Max(1,MaxSlicesPerAu×MaxLumaSr/MaxLumaPs×(AuCpbRemovalTime[0]-AuNominalRemovalTime[0])+MaxSlicesPerAu×AuSizeMaxInSamplesY[0]/MaxLumaPs),MaxSlicesPerAu)，其中，MaxSlicesPerAu是每个访问单元的条带的最大数量，MaxLumaSr是最大亮度采样率，MaxLumaPs是最大亮度图片大小，AuCpbRemovalTime[m]是第m个访问单元的CPB移除时间，AuNominalRemovalTime[m]是第m个访问单元的标称CPB移除时间，并且AuSizeMaxInSamplesY[m]是引用序列参数集(SPS)的经解码图片的以亮度样点的最大大小。

A5.解决方案A4的方法，其中，MaxLumaPs的值和MaxLumaSr的值从与AU 0相对应的值中选择。

A6.解决方案A1的方法，其中，该格式规则指定两个连续访问单元AU n-1和AU n的移除时间之间的差满足约束。

A7.解决方案A6的方法，其中，该约束指定AU n中条带的数量小于或等于Min((Max(1,MaxSlicesPerAu×MaxLumaSr/MaxLumaPs×(AuCpbRemovalTime[n]-AuCpbRemovalTime[n-1])),MaxSlicesPerAu)，其中，MaxSlicesPerAu是每个访问单元的条带的最大数量，MaxLumaSr是最大亮度采样率，MaxLumaPs是最大亮度图片大小，并且AuCpbRemovalTime[m]是第m个访问单元的CPB移除时间。

A8.解决方案A7的方法，其中，MaxSlicesPerAu的值、MaxLumaPs的值和MaxLumaSr的值从与AU n相对应的值中选择。

A9.一种处理视频数据的方法，包括：执行包括包含一个或多个片的一个或多个图片的视频与视频的比特流之间的转换，其中，该比特流基于格式规则被组织为多个访问单元(AU)AU 0至AU n，其中，n是正整数，其中，该格式规则指定多个AU中的每一个从编解码图片缓冲器(CPB)中的移除时间与多个AU中的每一个中片的数量之间的关系。

A10.解决方案A9的方法，其中，该关系是基于(i)每个图片的最大片列数量(MaxTileCols)、每个图片的最大片行数量(MaxTileRows)和访问单元中图片的数量的乘积，以及(ii)访问单元的最大大小。

A11.解决方案A9的方法，其中，该格式规则指定多个访问单元中的第一个访问单元AU 0的移除时间满足约束。

A12.解决方案A11的方法，其中，该约束指定AU 0中片的数量小于或等于Min(Max(1,MaxTilesPerAu×120×(AuCpbRemovalTime[0]-AuNominalRemovalTime[0])+MaxTilesPerAu×AuSizeMaxInSamplesY[0]/MaxLumaPs),MaxTilesPerAu)，其中，MaxTilesPerAu是每个访问单元的片的最大数量，MaxLumaPs是最大亮度图片大小，AuCpbRemovalTime[m]是第m个访问单元的CPB移除时间，AuNominalRemovalTime[m]是第m个访问单元的标称CPB移除时间，并且AuSizeMaxInSamplesY[m]是引用序列参数集(SPS)的经解码图片的以亮度样点的最大大小。

A13.解决方案A12的方法，其中，MaxTilesPerAu的值从与AU 0相对应的值中选择。

A14.解决方案A9的方法，其中，该格式规则指定两个连续访问单元AU n-1和AU n的移除时间之间的差满足约束。

A15.解决方案A14的方法，其中，该约束指定AU n中片的数量小于或等于Min(Max(1,MaxTilesPerAu×120×(AuCpbRemovalTime[n]-AuCpbRemovalTime[n-1])),MaxTilesPerAu)，其中，MaxTilesPerAu是每个访问单元的片的最大数量，并且AuCpbRemovalTime[m]是第m个访问单元的CPB移除时间。

A16.解决方案A15的方法，其中，MaxTilesPerAu的值从与AU n相对应的值中选择。

A17.解决方案A1至A16中任一项的方法，其中，该转换包括从该比特流中解码该视频。

A18.解决方案A1至A16中任一项的方法，其中，该转换包括将该视频编码为该比特流。

A19.一种将表示视频的比特流存储到计算机可读记录介质的方法，包括：根据解决方案A1至A16中的任一项或多项中描述的方法从视频生成比特流，并将该比特流存储在该计算机可读记录介质中。

A20.一种视频处理装置，包括处理器，该处理器被配置为实施解决方案A1至A19中任一项或多项中所述的方法。

A21.一种其上存储有指令的计算机可读介质，该指令在被执行时使得处理器实施解决方案A1至A19中任一项或多项中所述的方法。

A22.一种存储根据解决方案A1至19中的任一项或多项生成的比特流的计算机可读介质。

A23.一种用于存储比特流的视频处理装置，其中，该视频处理装置被配置为实施解决方案A1至A19中任一项或多项中所述的方法。

接下来提供了一些实施例优选的解决方案的另一列举。

B1.一种处理视频数据的方法，包括：执行包括包含一个或多个条带的一个或多个图片的视频与视频的比特流之间的转换，，其中，该转换符合规则，其中，该比特流被组织为一个或多个访问单元，其中，该规则指定对存储在解码图片缓冲器(DPB)中的经解码图片的数量的约束，其中，经解码图片中的每个经解码图片(i)被标记为用于参考，(ii)具有指示该经解码图片被输出的标志，以及(iii)具有晚于当前图片的解码时间的输出时间。

B2.解决方案B1的方法，其中，经解码图片的数量小于或等于以图片存储缓冲器为单位的DPB的最大所需大小减1。

B3.解决方案B1的方法，其中，该标志为PictureOutputFlag，第m个图片的输出时间为DpbOutputTime[m]，并且第m个图片的解码时间为AuCpbRemovalTime[m]。

B4.解决方案B1至B3中任一项的方法，其中，该转换包括从该比特流中解码该视频。

B5.解决方案B1至B3中任一项的方法，其中，该转换包括将该视频编码为该比特流。

B6.一种将表示视频的比特流存储到计算机可读记录介质的方法，包括：根据解决方案B1至B3中任一项或多项中所述的方法从视频生成比特流，以及将该比特流存储在该计算机可读记录介质中。

B7.一种视频处理装置，包括处理器，该处理器被配置为实施解决方案B1至B6中任一项或多项中所述的方法。

B8.一种其上存储有指令的计算机可读介质，该指令在被执行时使得处理器实施解决方案B1至B6中任一项或多项中所述的方法。

B9.一种存储根据解决方案B1至B6中任一项或多项生成的比特流的计算机可读介质。

B10.一种用于存储比特流的视频处理装置，其中，该视频处理装置被配置为实施解决方案B1至B6中任一项或多项中所述的方法。

接下来提供了一些实施例优选的解决方案的另一列举。

P1.一种视频处理方法，包括：执行包括包含一个或多个条带的一个或多个图片的视频与视频的比特流表示之间的转换，其中，该比特流表示根据格式规则被组织为一个或多个访问单元，其中，该格式规则指定该比特流表示中的一个或多个语法元素与一个或多个访问单元从编解码图片缓冲器中的移除时间之间的关系。

P2.解决方案P1的方法，其中，该规则指定对基于每个图片的条带的最大数量和访问单元中图片的数量的乘积的值以及访问单元的最大允许大小的移除时间之间的关系的两个级别限制。

P3.解决方案P1的方法，其中，该规则指定了对基于其值为MaxTileCols*MaxTileRows*(访问单元中图片的数量)的第一参数和其值为一个或多个访问单元的最大允许大小的第二参数的移除时间之间的关系的两个级别限制。

P4.一种视频处理方法，包括：执行包括包含一个或多个条带的一个或多个图片的视频与视频的比特流表示之间的转换，其中，该转换符合规则，其中，该比特流表示被组织为一个或多个访问单元，其中，该规则指定对存储在解码图片缓冲器中的经解码图片的数量的约束，该经解码图片被标记为用于参考以及PictureOutputFlag等于1、以及具有晚于当前图片的解码时间的输出时间。

P5.解决方案P1至P4中任一项的方法，其中，执行转换包括编码视频以生成编解码表示。

P6.解决方案P1至P4中任一项的方法，其中，执行转换包括解析和解码编解码表示以生成视频。

P7.一种视频解码装置，包括处理器，该处理器被配置为实施解决方案P1至P6中任一项或多项中描述的方法。

P8.一种视频编码装置，包括处理器，该处理器被配置为实施解决方案P1至P6中任一项或多项中描述的方法。

P9.一种其上存储有计算机代码的计算机程序产品，该代码由处理器执行时，使处理器实施解决方案P1至P6中任一项或多项中描述的方法。

在本文档中，术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，在从视频的像素表示到相应的比特流表示的转换期间，可以应用视频压缩算法，反之亦然。如语法所定义，当前视频块的比特流表示(或简述为比特流)可以例如对应于共同定位或散布在比特流内不同位置的比特。例如，可以根据变换和编码的误差残差值，并且还使用比特流中的标头和其他字段中的比特，对宏块进行编码。

本文档中描述的所公开的和其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路中实施、或者在计算机软件、固件或硬件中实施，包括本档文中公开的结构及其结构等同物、或者在它们中的一个或多个的组合中实施。所公开的和其他实施例可以实施为一个或多个计算机程序产品，即，编码在计算机可读介质上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基底、存储器设备、实现机器可读传播信号的物质的组合、或者它们中的一个或多个的组合。术语“数据处理装置”包含用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如，机器生成的电、光或电磁信号，其被生成来编码信息以传输到合适的接收器装置。

计算机程序(也被称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言，并且它可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适用于计算环境的其他单元。计算机程序不一定对应于文档系统中的文档。程序可以存储在保存其他程序或数据的文档的一部分中(例如，存储在标志语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文档中、或者存储在多个协作文档中(例如，存储一个或多个模块、子程序或代码的部分的文档)。计算机程序可以被部署为在一台计算机或位于一个地点或分布在多个地点并通过通信网络互连的多台计算机上执行。

本文档中描述的过程和逻辑流程可以由一个或多个可编程处理器来执行，这些处理器执行一个或多个计算机程序，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路来执行，并且装置也可以被实现为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

举例来说，适于执行计算机程序的处理器包括通用和专用微处理器两者，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机访问存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括或可操作地耦合到用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，以从该大容量存储设备接收数据或向其传送数据或两者。然而，计算机不需要有这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路来补充或并入其中。

虽然本专利文档包含许多细节，但这些细节不应被解释为对任何主题或所要求保护的内容的范围的限制，而是对特定技术的特定实施例所特有的特征的描述。在本专利文档中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反地，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合来实现。此外，尽管特征可能在上面被描述为在某些组合中起作用，并且甚至最初被如此要求保护，但是来自所要求保护的组合的一个或多个特征在一些情况下可以从该组合中删除，并且所要求保护的组合可以针对子组合或子组合的变体。

类似地，虽然在附图中以特定的顺序描述了操作，但是这不应该被理解为要求这些操作以所示的特定顺序或顺序执行、或者要求所有示出的操作都被执行，以获得期望的结果。此外，在本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这种分离。

仅描述了一些实施方式和示例，并且可以基于本专利文档中描述和示出的内容进行其他实施方式、增强和变化。

Claims

1.一种处理视频数据的方法，包括：

执行包括包含一个或多个条带的一个或多个图片的视频与所述视频的比特流之间的转换，

其中，所述比特流基于格式规则被组织为多个访问单元(AU)AU 0至AU n，

其中，n是正整数，

其中，所述格式规则指定多个AU中的每一个在解码期间从编解码图片缓冲器(CPB)中的移除时间与所述多个AU中的每一个中条带的数量之间的关系。

2.根据权利要求1所述的方法，其中，所述关系是基于(i)每个图片的条带的最大数量和访问单元中图片的数量的乘积，以及(ii)所述访问单元的最大大小。

3.根据权利要求1所述的方法，其中，所述格式规则指定所述多个访问单元中的第一个访问单元AU 0的移除时间满足约束。

4.根据权利要求3所述的方法，其中，所述约束指定AU 0中条带的数量小于或等于Min(Max(1,MaxSlicesPerAu×MaxLumaSr/MaxLumaPs×(AuCpbRemovalTime[0]-AuNominalRemovalTime[0])+MaxSlicesPerAu×AuSizeMaxInSamplesY[0]/MaxLumaPs),MaxSlicesPerAu)，其中，MaxSlicesPerAu是每个访问单元的条带的最大数量，MaxLumaSr是最大亮度采样率，MaxLumaPs是最大亮度图片大小，AuCpbRemovalTime[m]是第m个访问单元的CPB移除时间，AuNominalRemovalTime[m]是第m个访问单元的标称CPB移除时间，并且AuSizeMaxInSamplesY[m]是引用序列参数集(SPS)的经解码图片的以亮度样点的最大大小。

5.根据权利要求4所述的方法，其中，MaxLumaPs的值和MaxLumaSr的值从与AU 0相对应的值中选择。

6.根据权利要求1所述的方法，其中，所述格式规则指定两个连续访问单元AU n-1和AUn的移除时间之间的差满足约束。

7.根据权利要求6所述的方法，其中，所述约束指定AU n中条带的数量小于或等于Min((Max(1,MaxSlicesPerAu×MaxLumaSr/MaxLumaPs×(AuCpbRemovalTime[n]-AuCpbRemovalTime[n-1])),MaxSlicesPerAu)，其中，MaxSlicesPerAu是每个访问单元的条带的最大数量，MaxLumaSr是最大亮度采样率，MaxLumaPs是最大亮度图片大小，并且AuCpbRemovalTime[m]是第m个访问单元的CPB移除时间。

8.根据权利要求7所述的方法，其中，MaxSlicesPerAu的值、MaxLumaPs的值和MaxLumaSr的值从与AU n相对应的值中选择。

9.一种处理视频数据的方法，包括：

执行包括包含一个或多个片的一个或多个图片的视频与所述视频的比特流之间的转换，

其中，n是正整数，

其中，所述格式规则指定所述多个AU中的每一个从编解码图片缓冲器(CPB)中的移除时间与所述多个AU中的每一个中片的数量之间的关系。

10.根据权利要求9所述的方法，其中，所述关系是基于(i)每个图片的最大片列数量(MaxTileCols)、每个图片的最大片行数量(MaxTileRows)和访问单元中图片的数量的乘积，以及(ii)所述访问单元的最大大小。

11.根据权利要求9所述的方法，其中，所述格式规则指定所述多个访问单元中的第一个访问单元AU 0的移除时间满足约束。

12.根据权利要求11所述的方法，其中，所述约束指定AU 0中片的数量小于或等于Min(Max(1,MaxTilesPerAu×120×(AuCpbRemovalTime[0]-AuNominalRemovalTime[0])+MaxTilesPerAu×AuSizeMaxInSamplesY[0]/MaxLumaPs),MaxTilesPerAu)，其中，MaxTilesPerAu是每个访问单元的片的最大数量，MaxLumaPs是最大亮度图片大小，AuCpbRemovalTime[m]是第m个访问单元的CPB移除时间，AuNominalRemovalTime[m]是第m个访问单元的标称CPB移除时间，并且AuSizeMaxInSamplesY[m]是引用序列参数集(SPS)的经解码图片的以亮度样点的最大大小。

13.根据权利要求12所述的方法，其中，MaxTilesPerAu的值从与AU 0相对应的值中选择。

14.根据权利要求9所述的方法，其中，所述格式规则指定两个连续访问单元AU n-1和AU n的移除时间之间的差满足约束。

15.根据权利要求14所述的方法，其中，所述约束指定AU n中片的数量小于或等于Min(Max(1,MaxTilesPerAu×120×(AuCpbRemovalTime[n]-AuCpbRemovalTime[n-1])),MaxTilesPerAu)，其中，MaxTilesPerAu是每个访问单元的片的最大数量，并且AuCpbRemovalTime[m]是第m个访问单元的CPB移除时间。

16.根据权利要求15所述的方法，其中，MaxTilesPerAu的值从与AU n相对应的值中选择。

17.根据权利要求1至16中任一项所述的方法，其中，所述转换包括从所述比特流中解码所述视频。

18.根据权利要求1至16中任一项所述的方法，其中，所述转换包括将所述视频编码为所述比特流。

19.一种将表示视频的比特流存储到计算机可读记录介质的方法，包括：

根据权利要求1至16中任一项或多项所述的方法从所述视频生成所述比特流；以及

将所述比特流存储在所述计算机可读记录介质中。

20.一种视频处理装置，包括被配置为实施权利要求1至19中任一项或多项所述的方法的处理器。

21.一种其上存储有指令的计算机可读介质，所述指令在被执行时，使处理器实施权利要求1至19中的一项或多项所述的方法。

22.一种存储根据权利要求1至19中任一项或多项生成的比特流的计算机可读介质。

23.一种用于存储比特流的视频处理装置，其中，所述视频处理装置被配置为实施权利要求1至19中任一项或多项所述的方法。