CN115462075A - 用于视频译码中的约束处理和符合性测试的语义 - Google Patents

Abstract

描述了用于视频译码中的约束处理的方法、系统和位流语法。使用一或多个语法元素和显式或隐式信令，编码器可以向兼容解码器发信号通知主配置文件的例如子图片和多层可扩展译码之类的某些特征被停用。

Description

用于视频译码中的约束处理和符合性测试的语义

相关申请的交叉引用

本申请要求于2020年5月21日提交的第63/028,214号美国临时专利申请、2020年4月22日提交的第63/013,713号美国临时专利申请和2020年4月21日提交的第63/013,474号美国临时专利申请的优先权，所述美国临时专利申请中的所有以全文引用的方式并入本文中。

技术领域

本文档大体上涉及图像。更特别地，本发明的实施例涉及用于视频译码中的约束处理和符合性测试的语法元素和语义。

背景技术

2013年，国际标准化组织(ISO)的MPEG小组与国际电信联盟(ITU)联合发布了HEVC(也称为H.265)视频编码标准的初稿(参考文献[1])。最近，同一小组一直在致力于开发下一代编码标准(称为多功能视频编码或VVC标准(参考文献[2]))，所述标准提供了比现有视频编码技术更好的编码性能。

为了便于部署，例如HEVC等视频译码标准可以定义配置文件、层次和层级，以及指定对位流的限制的其它语法元素，并且从而描述对解码位流所需的能力的限制。配置文件、层次和层级以及其它语法元素也可用于指示各个解码器实施方案之间的互操作性点。

正如本发明人在此所理解的那样，本文描述了用于定义对VVC兼容位流的限制和用于改进符合性测试的改进技术，同时提供对其所有多功能特征的访问。

在这部分中描述的方法是可以采用的方法，但不一定是先前已经设想到或采用的方法。因此，除非另有指示，否则不应假设在这部分中描述的任一方法仅凭借它们包含在这部分中就能够作为现有技术。类似地，除非另有指示，否则相对于一或多个方法所说明的问题不应假设为已被这一部分中的任何现有技术所辨识。

附图说明

在附图的图式中借助于实例而非限制性地说明本发明的实施例，并且其中相同参考数字指代类似元件，并且其中：

图1描绘用于视频传送流水线的实例过程；

图2A描绘根据实施例的对视频过程进行编码的实例；

图2B描绘根据实施例的实例解码视频过程；并且

图3描绘根据实施例的用于约束分层处理的实例过程。

具体实施方式

本文中描述涉及用于VVC译码规范中的约束处理和符合性测试的语义的实例实施例。在以下描述中，出于解释的目的，阐述许多特定细节以便提供对本发明的各实施例的透彻理解。然而，很明显，本发明的各种实施例可以在没有这些特定细节的情况下进行实践。在其它情况下，并未详尽地描述熟知的结构和装置，以便避免不必要地封闭、模糊或混淆本发明。

概述

本文所描述的实例实施例涉及用于视频译码中的约束处理和符合性测试的语义。在编码器中，处理器接收待通过约束处理编码到经译码位流中的视频图片序列。所述处理器：

确定由解码器对所述经译码位流进行解码不需要的一组工具；

确定与所述一组工具相关的一或多个约束标志；

将所述一或多个约束标志分组为一或多个工具约束信息语法结构；

将所述一或多个工具约束信息语法结构组合为通用约束语法结构；以及产生所述经译码位流，其中所述经译码位流包括所述视频图片序列的经译码图片和所述通用约束语法结构。

在另一实施例中，在解码器中处理器接收包括视频图片序列的经译码图片和通用约束语法结构的经译码位流，其中所述通用约束语法结构包括用于由所述解码器对所述经译码位流进行解码不需要的一组工具的语法元素。接着，所述处理器：

解析所述通用约束语法结构以识别一或多个工具约束信息语法结构，其中每个工具约束信息语法结构包括与特定译码工具相关的一或多个约束标志；

解析所述一或多个工具约束信息语法结构中的每一个以产生与所述一组工具相关的一或多个约束标志；以及

根据所述一或多个约束标志对所述经译码位流中的所述经译码图片进行解码以产生所述视频图片序列。

在另一实施例中，处理器接收包括经译码图片的经译码位流和用于经译码图片的语法参数，并且检测是否启用分层处理，其中检测是否启用分层处理包括检测以下标志中的一或多者是否被设定为1：

指示是否启用可扩展性译码或分层译码的标志；

指示视频参数集(VPS)是否被约束的标志；

指示输出层集合(OLS)的总数是否被约束的标志；

指示NAL单元属于的层是否被约束的标志；

指示层间预测是否被约束的标志；并且

如果这些标志中的一或多者被设定为1，那么确定停用分层处理，否则确定启用分层处理。

在另一实施例中，处理器接收包括经译码图片的经译码位流和用于经译码图片的语法参数，并且检测以下标志中的一或多者是否被设定为1：

指示视频参数集(VPS)是否被约束的标志；

指示输出层集合(OLS)的总数是否被约束的标志；

指示NAL单元属于的层是否被约束的标志；

指示NAL单元类型是否被约束的标志；

指示图片中的切片的数目是否被约束的标志；

指示图片中的平铺块的数目是否被约束的标志；

指示图片中的子图片的数目是否被约束的标志；

指示所述双树分区是否被约束的标志；

指示调色板模式是否被约束的标志；

指示块内拷贝是否被约束的标志；

指示帧内预测是否被约束的标志；

指示帧间预测是否被约束的标志；

指示量化是否被约束的标志；

指示变换是否被约束的标志；

指示残差译码是否被约束的标志；

指示环路滤波器是否被约束的标志；

指示位深度是否被约束的标志；

指示色度采样格式是否被约束的标志；

指示360视频译码是否被约束的标志；

指示屏幕内容译码是否被约束的标志；

指示SEI消息的存在是否被约束的标志；

指示层间预测是否被约束的标志；并且

如果这些标志中的一或多者被设定为1，那么其确定位流符合性。

实例视频传送处理流水线

图1描绘示出从视频捕获到视频内容显示的各个阶段的常规视频传送流水线(100)的实例过程。使用图像产生块(105)捕获或产生视频帧(102)的序列。视频帧(102)可(例如，由数码相机)以数字方式捕获或由计算机(例如，使用计算机动画)产生以提供视频数据(107)。替代地，视频帧(102)可由胶片相机捕获在胶片上。将所述胶片变换成数字格式以提供视频数据(107)。在制作阶段(110)中，编辑视频数据(107)以提供视频产生流(112)。

随后在块(115)处将制作流(112)的视频数据提供到处理器以用于后期制作编辑。块(115)后期制作编辑可包含根据视频创作者的创作意图调整或修改图像的特定区域中的颜色或亮度以增强图像质量或实现图像的特定外观。这有时称为“颜色调整(timing)”或“颜色分级”。可在块(115)处执行其它编辑(例如，场景选择和排序、图像裁剪、添加计算机产生的视觉特效、抖动或模糊控制、帧速率控制等)以产生制作的最终版本(117)以用于分布。在后期制作编辑(115)期间，在参考显示器(125)上查看视频图像。

在后期制作(115)之后，可将最终制作(117)的视频数据传送到编码块(120)以用于向下游传送到解码和播放装置，例如电视机、机顶盒、电影院等。在一些实施例中，译码块(120)可包含音频和视频编码器，例如由APN、DVB、DVD、蓝光和其它传送格式定义的那些，以产生经译码位流(122)。在接收器中，经译码位流(122)由解码单元(130)解码以产生表示与信号(117)相同或非常近似的经解码信号(132)。接收器可附接到可具有与参考显示器(125)完全不同的特性的目标显示器(140)。在此情况下，显示器管理块(135)可用于通过产生显示器映射信号(137)将经解码信号(132)的动态范围映射到目标显示器(140)的特性。

VVC中的约束处理

VVC规范的当前工作草案文本(参考文献[2])将一组约束标志指定为允许编码器向解码器通知在对经译码位流进行解码时不需要某些译码工具的方式，并且指定为用于促进例如Main 10配置文件和Main 4:4:4 10配置文件之类的现有官方配置文件之外的子配置文件的替代方式。例如，这些配置文件中的每一个将符合位流限制为特定的色度格式和位深度，并且要求满足特定的层次和层级限制，但允许VVC中指定的所有译码工具将在符合位流中指示。

VVC的某些应用和使用可能不需要VVC中指定的所有译码工具和特征。如果对应解码过程实施了译码工具的子集，但兼容解码器仍然能够对符合位流进行解码，则此类应用将受益。可以容纳这种解码过程的一种方法是为VVC定义额外的配置文件。例如，“Simplified Main 10”配置文件可被指定为与Main 10配置文件相同，不同之处在于一或多个特定译码工具和相关联的语法将不允许在位流中用信号表示。或者，如果它们在位流中被识别，兼容的解码器可以安全地忽略它们。例如，Simple Main 10配置文件可能不允许可扩展性或子图片。

定义多个配置文件的一个缺点是，它可能通过促进市场分割来限制装置和应用程序提供商的可访问市场。多个配置文件的另一缺点是，它使得符合性测试和验证更加困难，这可能会影响位流创作者与消费者之间的质量和互操作性。

如此处实例实施例所提出的，配置文件分段的替代方案是将句法约束打包成少量通用约束信息语法元素，这些元素应用于Main 10配置文件和Main 4:4:4 10配置文件以及VVC的任何等效静态图像配置文件。例如，通用约束信息语法元素no_subpicture_constraint_flag可能在位流中用信号表示，以指示对位流中的子图片进行解码不需要解析和解码过程，但位流仍然符合配置文件，例如Main 10配置文件。此处提出的通用约束方法的一个优点是它促进了符合性测试和验证。

利用通用约束信息语法元素还可促进由应用程序标准开发组织(SDO)和例如行业论坛之类的其它组织对特定领域子配置文件的规范。在这个意义上，利用通用约束信息语法元素促进对更容易指定和验证的一种‘软配置文件’的规范。

当前的VVC草案规范包含62个通用约束标志，这些标志指定了对译码工具行为和语法元素值的限制。现有的通用约束标志与网络抽象层(NAL)单元类型、预测模式、帧间和帧内预测、变换、量化、环路滤波器、层、辅助增强信息(SEI)消息和格式有关。所有62个通用约束标志当前都在general_contstraint_info()语法结构中用信号表示。

如当前所指定的，通用约束标志列表可能会混乱，因为列表不存在逻辑次序。缺乏次序可能会阻碍使用通用约束标志，从而限制其益处。此外，如果添加额外通用约束标志，当前指定的general_constraint_info()语法结构往往会在将来使通用约束标志列表更加混乱。为了保持向后兼容性，将在列表末尾添加新标志，而不考虑新标志的功能。

如本发明人所理解的，通过以有限的范围但更大的灵活性用信号表示分离的、分类的语法结构，可以使general_constraint_info()结构更易于使用并且更不容易出现用户错误。例如，与变换译码有关的工具相关的general_transform_constraint_info()语法结构可以作为general_constraint_info()调用的一部分用信号表示。实例general_transform_constraint_info()语法结构可仅用信号表示与变换相关的通用约束标志。类似地并且举例来说，像general_quantization_constraint_info()、general_inter_constraint_infor()和general_loop_filter_info()等的调用可以在general_constraint_info()中用信号表示以分别对与量化、帧间预测和环路滤波器相关的通用约束标志进行分组。

分类的、范围有限的通用约束语法结构的额外好处是，此类结构促进以向后兼容的方式有效地添加新的通用约束标志。添加到较短的相关标志列表末尾的新标志保持了易用性，并且减少了用户错误的倾向。

在另一实施例中，还添加了一些新的通用约束标志。新的标志可以分组为三个通用类：1)译码工具标志；2)功能限制标志；和3)辅助增强信息(SEI)标志。

译码工具通用约束标志与当前指定的通用约束标志一致，因为它们指定了对译码工具和语法元素值的限制。作为实例，提出的新译码工具通用约束标志包含：no_virtual_boundary_constraint_flag；no_weighted_prediction_constraint_flag；no_weighted_bipred_constraint_flag；no_explicit_scaling_list_constraint_flag；以及no_vps_constraint_flag。

功能限制通用约束标志提供了用于指定对译码工具组、其它约束标志和语法元素值的限制的新能力。功能限制标志还促进与用例、服务和应用程序类型相关的符合性测试。作为实例，此处提出的功能限制通用约束标志包含：no_scalability_constraint_flag，其指定停用可扩展译码和分层译码；no_360Video_constraint_flag，其指定停用360视频译码；以及noSCC_constraint_flag，其指定停用屏幕内容译码。

SEI通用约束标志扩展了指定通常在核心VVC规范之外指定的哪些SEI消息不存在的能力。并入SEI消息使信息能够向解码器用信号表示或其它处理，以指示可如何使用或打算如何使用、显示或以其它方式操控经译码视频。作为实例，提出的新SEI通用约束标志包含：no_scalable_nesting_SEI_constraint_flag；

no_subpic_level_SEI_constraint_flag；no_filler_payload_SEI_constraint_flag；

no_user_data_reg_SEI_constraint_flag；no_user_data_unreg_SEI_constraint_flag；

no_film_grain_SEI_constraint_flag；no_parameter_set_incl_SEI_constraint_flag；

no_decoded_picture_hash_SEI_constraint_flag；no_mdcv_SEI_constraint_flag；

no_cll_SEI_constraint_flag；no_DRAP_constraint_SEI_flag；

no_alt_transfer_char_SEI_constraint_flag；no_ambient_view_envir_SEI_constraint_flag；

no_ccv_SEI_constraint_flag；no_omni_video_specific_SEI_constraint_flag；

no_field_frame_info_SEI_constraint_flag；以及no_sar_SEI_constraint_flag。

在另一实施例中，为了改进当前指定的通用约束标志的清晰性，如下提出稍微修改的名称：

·将general_non_packed_constraint_flag改变为general_non_packed_SEI_constraint_flag

·将general_non_projected_constraint_flag改变为general_non_projected_SEI_constraint_flag

·将max_bitdepth_constraint_idc变量改变为max_bitdepth_minus8_constraint_idc

·校正no_aps_constraint_flag的语义以引用sps_explicit_scaling_list_enabled_flag

·将single_layer_constraint_flag拆分为两个通用约束标志：a)no_vps_constraint flag，当它等于1时指定sps_video_parameter_set_id应等于0；以及b)single_layer_constraint_flag，当它等于1时指定vps_max_layers_minus1应等于0。

注意，本文所呈现的实施例的语法、语义、方法和优点适用于用信号表示通用约束信息标志的替代方法，例如：在具有类型GCI_NUT的NAL单元中用信号表示general_constraint_info()；并且在decoding_capability_information_rbsp()中用信号表示general_constraint_info()。

在实施例中，表1描绘了用于VVC中“通用约束信息语法”的提出的新结构的实例语法，替换了参考文献[2]中的第7.3.3.2节。如表1所描绘，用十二个general_xxx_constraint_info()结构替换所有现有标志，其中“xxx”描述了VVC译码的方面，例如分区、帧内编码、环路滤波等。还在表2-13中进一步详细描述这十二个语法结构中的每一个。所提出的新标志用斜体字体表示，并且也可以在每个表后面明确注明。精通视频译码的人会理解，可以使用少于或多于十二个general_xxx_constraint_info()结构将现有和新提出的约束标志和语法参数进行分组。此外，虽然尽了一切努力将这些标志分组到最合适的“xxx”组中，但可以将这些标志中的一或多个标志分配给对总体功能影响最小(如果有的话)的替代组。

请注意，表1中general_xxx_constraint_info()语法结构的次序可能会影响对语法验证和整体解码执行的检查。作为实例，general_format_constraint_info()包含由no_qtbtt_dual_tree_intra_constraint_flag的语法(在general_partition_constraint_info()中用信号表示)和no_cclm_constraint_flag的语法(在general_intra_constraint_info()中用信号表示)引用的max_chroma_format_constraint_idc。因此，在用信号表示general_partition_contraint_info()和general_intra_constraint_info()之前用信号表示general_format_constraint_info()会简化语法检查。作为另一实例，general_functionality_constraint_info()包含由single_layer_constraint_flag的语义(在general_layer_constraint_info()中用信号表示)引用的general_one_picture_only_constraint_flag。因此，在用信号表示general_layer_contraint_info()之前用信号表示发送general_functionality_constraint_info()之前同样会简化语法检查。在另一实施例中，不是根据语法检查的容易程度对general_xxx_constraint_info()结构进行排序，而是可以基于例如译码工具的重要性、解码器流等其它标准来确定其次序。

还可以重新组织、细分或合并所提出的类别组。例如，在实施例中，如稍后在表18中所描绘的，可以将量化组和变换组组合成较大的组，比如命名为“tqr”，用于变换、量化和残差译码。在另一实施例中，可以将pred_mod、帧内组和帧间组合并为较大的“prediction_tools”组。在另一实施例中，可以将量化组拆分为更小的量化组和残差译码组。

每个类别中的工具还可以取决于例如对工具重要性的强调进行组织。例如，IBC和调色板模式主要有用于图片内译码的增益，因此它们可能包含在帧内约束组中。作为另一实例，如general_tqr_constraint_info()结构中所描绘的，在量化相关约束标志之前用信号表示变换相关约束标志可能是有益的，因为例如no_transform_skip_constraint_flag由no_bdpcm_constraint_flag引用。

表1：提出的“通用约束信息语法”的实例

表2：通用格式约束信息语法的实例

所提出的新标志的语义为：

no_separate_colour_plane_constraint_flag等于1指定sps_separate_colour_plane_flag存在时应等于0。no_separate_colour_plane_constraint_flag等于0不会施加这种约束。

表3：通用功能性信息语法的实例

所提出的新标志的语义为：

no_scalability_constraint_flag等于1指定针对CVS停用可扩展译码和分层译码。no_scalability_constraint_flag等于0不会施加这种约束。

no_scalability_constraint_flag的值应等于变量noScalabilityConstraint的值。如下推导出noScalabilityConstraint的值：

if((sps_video_parameter_set_id＝＝0)||(vps_max_layers_minus1＝＝0)||

vps_all_independent_layers_flag)

noScalabilityConstraint＝1

else

noScalabilityConstraint＝0

no_360_video_constraint_flag等于1指定sps_ref_wraparound_enabled_flag应等于0，并且OlsInScope的位流中不应存在任何等矩形投影SEI消息或广义立方映射投影SEI消息。no_360_video_constraint_flag等于0不会施加这种约束。

no_scc_constraint_flag等于1指定sps_ibc_enabled_flag应等于0，sps_bdpcm_enabled_flags应等于0并且sps_palette_enabled-flag应该等于0。no_scc_constraint_flag等于0不会施加这种约束。

在另一实施例中，由于变换跳过主要对屏幕内容译码有增益，因此no_scc_constraint_flag的语义可以如下写为：

no_scc_constraint_flag等于1指定sps_ibc_enabled_flag应等于0，sps_transform_skip_enabled_flag应该等于0，sps_bdpcm_enabled_flag应当等于0，并且sps_palette_enabled_flag应当等于0no_scc_constraint_flag等于0不会施加这种约束。

表4：所提出的NALU约束信息语法的实例

表5：所提出的分区约束信息语法的实例

所提出的新标志的语义为：

no_virtual_boundary_constraint_flag等于1指定sps_virtual_boundaries_enabled_flag应等于0。

no_virtual_boundary_constraint_flag等于0不会施加这种约束。

表6：所提出语法用于预测模式约束信息的实例

表7：通用帧内预测约束信息语法的实例

表8：通用帧间预测约束信息语法的实例

所提出的新标志的语义为：

no_weighted_pred_constraint_flag等于1指定sps_weighted_pred_flag应等于0。no_weighted_pred_constraint_flag等于0的不会施加这种约束。

no_weighted_bipred_constraint_flag等于1指定sps_weighted_bipred_flag应等于0。no_weighted_bipred_constraint_flag等于0不会施加这种约束。

表9：通用变换格式约束信息语法的实例

表10：通用量化格式约束信息语法的实例

所提出的新标志的语义为：

no_explicit_scaling_list_constraint_flag等于1指定sps_explicit_scaling_list_enabled_flag应等于0。no_explicit_scaling_list_constraint_flag等于0不会施加这种约束。当no_aps_constraint_flag等于1时，no_explicit_scaling_list_constraint_flag的值应等于1。

表11：通用环路滤波器约束信息语法的实例

表12：通用层格式约束信息语法的实例

所提出的新标志的语义为：no_vps_constraint_flag等于1指定sps_video_parameter_set_id应等于0。no_vps_constraint_flag等于0不会施加这种约束。当general_one_picture_only_constraint_flag等于1时，no_vps_constraint_flag的值应等于1。

no_ilrp_constraint_flag等于1指定sps_inter_layer_ref_pics_present_flag的值应等于0。no_ilrp_constraint_flag等于0不会施加这种约束。

no_mnli_constraint_flag等于1指定CVS中的所有VCL NAL单元应具有相同的nuh_layer_id值。no_mnli_constraint等于0不会施加这种约束。

当no_mnli_constraint等于1时，则以下中的一或多者适用：

-vps_max_layers_minus1的值应等于0

-推断each_layer_is_an_ols_flag的值等于1

no_mols_constraint_flag等于1指定由VPS指定的输出层集合(OLS)的总数等于1。no_mols_constraint等于0不会施加这种约束。

当no_mols_constraint_flag的值等于1时，以下中的一或多者适用：

-no_vps_constraint_flag的值应等于0

-sps_video_parameter_set的值应不等于0

-当vps_max_layers_minus1的值大于0时，each_layer_is_an_ols_flag的值应等于0，并且vps_all_independent_layers_flag的值应为0

-当ols_mode_idc的值等于2时，num_output_layer_sets_minus1的值应等于0。否则，ols_mode_idc的值等于0或1，vps_max_layers_minus1的值应等于0。

表13：通用辅助增强信息消息约束信息语法的实例

所提出的新标志的语义为：

no_scalable_nesting_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何可扩展的嵌套SEI消息。no_scalable_nesting_SEI_constraint_flag等于0不会施加这种约束。

no_subpic_level_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何子图片层级SEI消息。no_subpic_level_SEI_constraint_flag等于0不会施加这种约束。

no_filler_payload_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何填充有效负载SEI消息。no_filler_payload_SEI_constraint_flag等于0不会施加这种约束。

no_user_data_reg_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在建议ITU T.35SEI消息注册的任何用户数据。no_user_data_reg_SEI_constraint_flag等于0不会施加这种约束。

no_user_data_unreg_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何用户数据未注册的SEI消息。no_user_data_unreg_SEI_constraint_flag等于0不会施加这种约束。

no_film_grain_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何胶片颗粒特性SEI消息。no_film_grain_SEI_constraint_flag等于0不会施加这种约束。

no_parameter_set_incl_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何参数集包含指示SEI消息。no_parameter_set_incl_SEI_constraint_flag等于0不会施加这种约束。

no_decoded_picture_hash_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何解码的图片散列SEI消息。no_decoded_picture_hash_SEI_constraint_flag等于0不会施加这种约束。

no_mcdv_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何主控显示器色量SEI消息。No_mcdv_SEI_constraint_flag等于0不会施加这种约束。

no_cll_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何内容亮度级SEI消息。no_cll_SEI_constraint_flag等于0不会施加这种约束。

no_DRAP_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何相关随机存取点指示SEI消息。no_DRAP_SEI_constraint_flag等于0不会施加这种约束。

no_alt_transfer_char_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何替代传输特性SEI消息。no_alt_transfer_char_SEI_constraint_flag等于0不会施加这种约束。

no_ambient_view_envir_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何周围视角环境SEI消息。no_ambient_view_envir_SEI_constraint_flag等于0不会施加这种约束。

no_ccv_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何内容色量SEI消息。no_ccv_SEI_constraint_flag等于0不会施加这种约束。

no_omni_video_specific_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何全向视频特定SEI消息。no_omni_video_specific_SEI_constraint_flag等于0不会施加这种约束。

no_field_frame_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何帧-字段信息SEI消息。no_field_frame_SEI_constraint_flag等于0不会施加这种约束。

no_sar_SEI_constraint_flag等于1指定不应存在任何样本纵横比SEI消息。

为完整起见，以下各节再次描述了表2-13中标志的语义，包含现有标志和新提出的标志。

通用格式约束信息语义

general_frame_only_constraint_flag等于1指定OlsInScope传送表示帧的图片。general_frame_only_constraint_flag等于0指定OlsInScope传送可表示或可不表示帧的图片。当general_frame_only_constraint_flag等于1时，sps_field_seq_flag的值应等于0。

注意-解码器可忽略general_frame_only_constraint_flag的值，因为不存在与其相关联的解码过程要求。

max_bitdepth_minus8_constraint_idc指定sps_bit_depth_minus8将在0到max_bitdepth_minus8_constraint_idc的范围内，包含端值。

max_chroma_format_constraint_idc指定sps_chroma_format_idc将在0到max_chroma_format_constraint_idc的范围内，包含端值。

通用功能性信息语义

general_one_picture_only_constraint_flag等于1指定位流中只有一个经译码图片。general_one_picture_only_constraint_flag等于0不会施加这种约束。

no_scalability_constraint_flag等于1指定针对CVS停用可扩展和分层译码。no_scalability_constraint_flag等于0不会施加这种约束。

no_scalability_constraint_flag的值应等于变量noScalabilityConstraint的值。noScalabilityConstraint的值如下推导：

no_360_video_constraint_flag等于1指定sps_ref_wraparound_enabled_flag应等于0，并且OlsInScope的位流中不应存在任何等矩形投影SEI消息或广义立方映射投影SEI消息。no_360_video_constraint_flag等于0不会施加这种约束。

no_scc_constraint_flag等于1指定sps_ibc_enabled_flag应等于0，sps_bdpcm_enabled_flags应等于0并且sps_palette_enabled-flag应该等于0。no_scc_constraint_flag等于0不会施加这种约束。

通用NAL单元约束信息语义

no_mixed_nalu_types_in_pic_constraint_flag等于1指定为pps_mixed_nalu_types_in_pic_flag应等于0的位流符合性的要求。no_mixed_nalu_types_in_pic_constraint_flag等于0不会施加这种约束。

no_trail_constraint_flag等于1指定在OlsInScope中不应存在nuh_unit_type等于TRAIL_NUT的NAL单元。no_trail_constraint_flag等于0不会施加这种约束。

no_stsa_constraint_flag等于1指定OlsInScope中不应存在nuh_unit_type等于STSA_NUT的NAL单元。no_stsa_constraint_flag等于0不会施加这种约束。

no_rasl_constraint_flag等于1指定在OlsInScope中不应存在nuh_unit_type等于RASL_NUT的NAL单元。no_rasl_constraint_flag等于0不会施加这种约束。

no_radl_constraint_flag等于1指定在OlsInScope中不应存在nuh_unit_type等于RADL_NUT的NAL单元。no_radl_constraint_flag等于0不会施加这种约束。

no_idr_constraint_flag等于1指定在OlsInScope中不应存在nuh_unit_type等于IDR_W_RADL或IDR_N_LP的NAL单元。no_idr_constraint_flag等于0不会施加这种约束。

no_cra_constraint_flag等于1指定在OlsInScope中不应存在nuh_unit_type等于CRA_NUT的NAL单元。no_cra_constraint_flag等于0不会施加此类约束。

no_gdr_constraint_flag等于1指定sps_gdr_enabled_flag应等于0。no_gdr_constraint_flag等于0不会施加这种约束。

no_aps_constraint_flag等于1指定在OlsInScope中不应存在nuh_unit_type等于PREFIX_APS_NUT或SUFFIX_APS_NUT的NAL单元，并且sps_lmcs_enabled_flag和sps_explicit_scaling_list_enabled_flag都应等于0。no_aps_constraint_flag等于0不会施加这种约束。

通用分区约束信息语义

one_tile_per_pic_constraint_flag等于1指定每个图片应仅含有一个平铺块。one_tile_per_pic_constraint_flag等于0不会施加这种约束。

pic_header_in_slice_header_constraint_flag等于1指定每个图片应仅含有一个切片，并且每个切片中的sh_picture_header_in_slice_header_flag的值应等于1。pic_header_in_slice_header_constraint_flag等于0不会施加这种约束。

one_slice_per_pic_constraint_flag等于1指定每个图片应仅含有一个切片。one_slice_per_pic_constraint_flag等于0不会施加这种约束。当pic_header_in_slice_header_constraint_flag等于1时，one_slice_per_pic_constraint_flag的值应等于1。

one_subpic_per_pic_constraint_flag等于1指定每个图片应仅含有一个子图片，并且sps_subpic_info_present_flag的值应等于0。one_subpic_per_pic_constraint_flag等于0不会施加这种约束。当one_slice_per_pic_constraint_flag等于1时，one_subpic_per_pic_constraint_flag的值应等于1。

no_qtbtt_dual_tree_intra_constraint_flag等于1指定sps_qtbtt_dual_tree_intra_flag应等于0。no_qtbtt_dual_tree_intra_constraint_flag等于0不会施加这种约束。当max_chroma_format_constraint_idc等于0时，no_qtbtt_dual_tree_intra_constraint_flag的值应等于1。

no_partition_constraints_override_constraint_flag等于1指定sps_partition_constraints_override_enabled_flag应等于0。no_partition_constraints_override_constraint_flag等于0不会施加这种约束。

no_virtual_boundary_constraint_flag等于1指定sps_virtual_boundaries_enabled_flag应等于0。no_virtual_boundary_constraint_flag等于0不会施加这种约束。

通用预测模式约束信息语义

intra_only_constraint_flag等于1指定sh_slice_type应等于1。intra_only_constraint_flag等于0不会施加这种约束。当general_one_picture_only_constraint_flag等于1时，intra_only_constraint_flag的值应等于1。

no_palette_constraint_flag等于1指定sps_palette_enabled_flag应等于0。no_palette_constraint_flag等于0不会施加这种约束。

no_ibc_constraint_flag等于1指定sps_ibc_enabled_flag应等于0。no_ibc_constraint_flag等于0不会施加这种约束。

通用帧内约束信息语义

no_mrl_constraint_flag等于1指定sps_mrl_enabled_flag应等于0。no_mrl_constraint_flag等于0不会施加这种约束。

no_isp_constraint_flag等于1指定sps_isp_enabled_flag应等于0。no_isp_constraint_flag等于0不会施加这种约束。

no_mip_constraint_flag等于1指定sps_mip_enabled_flag应等于0。no_mip_constraint_flag等于0不会施加这种约束。

no_cclm_constraint_flag等于1指定sps_cclm_enabled_flag应等于0。no_cclm_constraint_flag等于0不会施加这种约束。当max_chroma_format_constraint_idc等于0时，no_cclm_constraint_flag的值应等于1。

通用帧间约束信息语义

no_ref_pic_resampling_constraint_flag等于1指定sps_ref_pic_resampling_enabled_flag应等于0。no_ref_pic_resampling_constraint_flag等于0不会施加这种约束。

no_res_change_in_clvs_constraint_flag等于1指定sps_res_change_in_clvs_allowed_flag应等于0。no_res_change_in_clvs_constraint_flag等于0不会施加这种约束。当no_ref_pic_resampling_constraint_flag等于1时，no_res_change_in_clvs_constraint_flag应等于1。

no_ref_wraparound_constraint_flag等于1指定sps_ref_wraparound_enabled_flag应等于0。no_ref_wraparound_constraint_flag等于0不会施加这种约束。当intra_only_constraint_flag等于1时，no_ref_wraparound_constraint_flag的值应等于1。

no_temporal_mvp_constraint_flag等于1指定sps_temporal_mvp_enabled_flag应等于0。no_temporal_mvp_constraint_flag等于0不会施加这种约束。当intra_only_constraint_flag等于1时，no_temporal_mvp_constraint_flag的值应等于1。

no_sbtmvp_constraint_flag等于1指定sps_sbtmvp_enabled_flag应等于0。no_sbtmvp_constraint_flag等于0不会施加这种约束。当no_temporal_mvp_constraint_flag等于1时，no_sbtmvp_constraint_flag的值应等于1。

no_amvr_constraint_flag等于1指定sps_amvr_enabled_flag应等于0。no_amvr_constraint_flag等于0不会施加这种约束。当intra_only_constraint_flag等于1时，no_amvr_constraint_flag的值应等于1。

no_bdof_constraint_flag等于1指定sps_bdof_enabled_flag应等于0。no_bdof_constraint_flag等于0不会施加这种约束。当intra_only_constraint_flag等于1时，no_bdof_constraint_flag的值应等于1。

no_dmvr_constraint_flag等于1指定sps_dmvr_enabled_flag应等于0。no_dmvr_constraint_flag等于0不会施加这种约束。当intra_only_constraint_flag等于1时，no_dmvr_constraint_flag的值应等于1。

no_affine_motion_constraint_flag等于1指定sps_affine_enabled_flag应等于0。no_affine_motion_constraint_flag等于0不会施加这种约束。当intra_only_constraint_flag等于1时，no_affine_motion_constraint_flag的值应等于1。

no_mmvd_constraint_flag等于1指定sps_mmvd_enabled_flag应等于0。no_mmvd_constraint_flag等于0不会施加这种约束。当intra_only_constraint_flag等于1时，no_mmvd_constraint_flag的值应等于1。

no_smvd_constraint_flag等于1指定sps_smvd_enabled_flag应等于0。no_smvd_constraint_flag等于0不会施加这种约束。当intra_only_constraint_flag等于1时，no_smvd_constraint_flag的值应等于1。

no_prof_constraint_flag等于1指定sps_affine_prof_enabled_flag应等于0。no_prof_constraint_flag等于0不会施加这种约束。当intra_only_constraint_flag等于1时，no_prof_constraint_flag的值应等于1。

no_bcw_constraint_flag等于1指定sps_bcw_enabled_flag应等于0。no_bcw_constraint_flag等于0不会施加这种约束。当intra_only_constraint_flag等于1时，no_bcw_constraint_flag的值应等于1。

no_ciip_constraint_flag等于1指定sps_ciip_enabled_flag应等于0。no_cipp_constraint_flag等于0不会施加这种约束。当i intra_only_constraint_flag等于1时，no_cipp_constraint_flag的值应等于1。

no_gpm_constraint_flag等于1指定sps_gpm_enabled_flag应等于0。no_gpm_constraint_flag等于0不会施加这种约束。当intra_only_constraint_flag等于1时，no_gpm_constraint_flag的值应等于1。

no_weighted_pred_constraint_flag等于1指定sps_weighted_pred_flag应等于0。no_weighted_pred_constraint_flag等于0不会施加这种约束。

no_weighted_bipred_constraint_flag等于1指定sps_weighted_bipred_flag应等于0。no_weighted_bipred_constraint_flag等于0不会施加这种约束。

通用变换约束信息语义

no_mts_constraint_flag等于1指定sps_mts_enabled_flag应等于0。no_mts_constraint_flag等于0不会施加这种约束。

no_sbt_constraint_flag等于1指定sps_sbt_enabled_flag应等于0。no_sbt_constraint_flag等于0不会施加这种约束。

no_lfnst_constraint_flag等于1指定sps_lfnst_enabled_flag应等于0。no_lfnst_constraint_flag等于0不会施加这种约束。

no_transform_skip_constraint_flag等于1指定sps_transform_skip_enabled_flag应等于0。no_transform_skip_constraint_flag等于0不会施加这种约束。

no_act_constraint_flag等于1指定sps_act_enabled_flag应等于0。no_act_constraint_flag等于0不会施加这种约束。

no_tsrc_constraint_flag等于1指定sh_ts_residual_coding_disabled_flag应等于1。no_tsrc_constraint_flag等于0不会施加这种约束。当no_transform_skip_constraint_flag等于1时，no_tsrc_constraint_flag的值应等于1。

通用量化约束信息语义

no_joint_cbcr_constraint_flag等于1指定sps_joint_cbcr_enabled_flag应等于0。no_joint_cbcr_constraint_flag等于0不会施加这种约束。当max_chroma_format_constraint_idc等于0时，no_joint_cbcr_constraint_flag的值应等于1。

no_bdpcm_constraint_flag等于1指定sps_bdpcm_enabled_flag应等于0。no_bdpcm_constraint_flag等于0不会施加这种约束。当no_transform_skip_constraint_flag等于1时，no_bdpcm_constraint_flag的值应等于1。

no_cu_qp_delta_constraint_flag等于1指定pps_cu_qp_delta_enabled_flag应等于0。no_cu_qp_delta_constraint_flag等于0不会施加这种约束。

no_chroma_qp_offset_constraint_flag等于1指定pps_cu_chroma_qp_offset_list_enabled_flag应等于0。no_chroma_qp_offset_constraint_flag等于0不会施加这种约束。

no_dep_quant_constraint_flag等于1指定sps_dep_quant_enabled_flag应等于0。no_dep_quant_constraint_flag等于0不会施加这种约束。

no_sign_data_hiding_constraint_flag等于1指定sps_sign_data_hiding_enabled_flag应等于0。no_sign_data_hiding_constraint_flag等于0不会施加这种约束。

no_explicit_scaling_list_constraint_flag等于1指定sps_explicit_scaling_list_enabled_flag应等于0。no_explicit_scaling_list_constraint_flag等于0不会施加这种约束。当no_aps_constraint_flag等于1时，no_explicit_scaling_list_constraint_flag的值应等于1。

通用环路滤波器约束信息语义

no_sao_constraint_flag等于1指定sps_sao_enabled_flag应等于0。no_sao_constraint_flag等于0不会施加这种约束。

no_alf_constraint_flag等于1指定sps_alf_enabled_flag应等于0。no_alf_constraint_flag等于0不会施加这种约束。

no_ccalf_constraint_flag等于1指定sps_ccalf_enabled_flag应等于0。no_ccalf_constraint_flag等于0不会施加这种约束。当max_chroma_format_constraint_idc等于0或no_alf_constraint_flag等于1时，no_ccalf_constraint_flag的值应等于1。

no_ladf_constraint_flag等于1指定sps_ladf_enabled_flag应等于0。no_ladf_constraint_flag等于0不会施加这种约束。

no_lmcs_constraint_flag等于1指定sps_lmcs_enabled_flag应等于0。no_lmcs_constraint_flag等于0不会施加这种约束。当no_aps_constraint_flag等于1时，no_lmcs_constraint_flag的值应等于1。

通用层约束信息语义

no_vps_constraint_flag等于1指定sps_video_parameter_set_id应等于0。no_vps_constraint_flag等于0不会施加这种约束。当general_one_picture_only_constraint_flag等于1时，no_vps_constraint_flag的值应等于1。

single_layer_constraint_flag等于1指定vps_max_layers_minus1应等于0。single_layer_constraint_flag等于0不会施加这种约束。当general_one_picture_only_constraint_flag等于1或no_vps_constraint_flag等于1时，single_layer_constraint_flag的值应等于1。

all_layers_independent_constraint_flag等于1指定vps_all_independent_layers_flag存在时将等于1，并且当不存在时将推断为等于1。all_layers_independent_constraint_flag等于0不会施加这种约束。

通用辅助增强信息约束信息语义

注意1-解码器可以忽略通用辅助增强信息约束信息标志的值，因为没有与对应SEI消息的存在或解释相关联的解码过程要求

no_scalable_nesting_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何可扩展的嵌套SEI消息。no_scalable_nesting_SEI_constraint_flag等于0不会施加这种约束。

no_subpic_level_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何子图片层级SEI消息。no_subpic_level_SEI_constraint_flag等于0不会施加这种约束。

no_filler_payload_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何填充有效负载SEI消息。no_filler_payload_SEI_constraint_flag等于0不会施加这种约束。

no_user_data_reg_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在建议ITU T.35SEI消息注册的任何用户数据。no_user_data_reg_SEI_constraint_flag等于0不会施加这种约束。

no_user_data_unreg_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何用户数据未注册的SEI消息。no_user_data_unreg_SEI_constraint_flag等于0不会施加这种约束。

no_film_grain_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何胶片颗粒特征SEI消息。no_film_grain_SEI_constraint_flag等于0不会施加这种约束。

general_non_packed_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何帧封装布置SEI消息。general_non_packed_SEI_constraint_flag等于0不会施加这种约束。

注意2-解码器可以忽略general_non_packed_constraint_flag的值，因为没有与帧封装布置SEI消息的存在或解释相关联的解码过程要求。

general_non_projected_SEI_constraint_flag等于1指定不应存在任何等矩形投影SEI消息，并且OlsInScope的位流中不应存在任何等矩形投影SEI消息或广义立方映射投影SEI消息。general_non_projected_SEI_constraint_flag等于0不会施加这种约束。

注意3-解码器可以忽略general_non_projected_constraint_flag的值，因为没有与等矩形投影SEI消息和广义立方投影SEI消息的存在或解释相关联的解码过程要求。

no_parameter_set_incl_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何参数集包含指示SEI消息。no_parameter_set_incl_SEI_constraint_flag等于0不会施加这种约束。

no_decoded_picture_hash_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何解码的图片散列SEI消息。no_decoded_picture_hash_SEI_constraint_flag等于0不会施加这种约束。

no_mcdv_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何主控显示器色量SEI消息。No_mcdv_SEI_constraint_flag等于0不会施加这种约束。

no_cll_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何内容亮度级SEI消息。no_cll_SEI_constraint_flag等于0不会施加这种约束。

no_DRAP_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何相关随机存取点指示SEI消息。no_DRAP_SEI_constraint_flag等于0不会施加这种约束。

no_alt_transfer_char_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何替代传输特性SEI消息。no_alt_transfer_char_SEI_constraint_flag等于0不会施加这种约束。

no_ambient_view_envir_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何周围视角环境SEI消息。no_ambient_view_envir_SEI_constraint_flag等于0不会施加这种约束。

no_ccv_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何内容色量SEI消息。no_ccv_SEI_constraint_flag等于0不会施加这种约束。

no_omni_video_specific_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何全向视频特定SEI消息。no_omni_video_specific_SEI_constraint_flag等于0不会施加这种约束。

no_field_frame_SEI_constraint_flag等于1指定OlsInScope的位流中不应存在任何帧-字段信息SEI消息。no_field_frame_SEI_constraint_flag等于0不会施加这种约束。

no_sar_SEI_constraint_flag等于1指定不应存在任何样本纵横比SEI消息。

替代表示

在实施例中，可以应用表14中使用的替代语法格式，而不是表示根据表1中的通用约束信息结构，其中十二个general_xxx_constraint_info()结构被对应的general_xxx_constraint_info语法元素替换，其中“xxx”同样描述了VVC译码的方面，例如分区，帧内译码、环路滤波等。

表14：替代通用约束信息语法的实例

表15和表16提供可使用7位总信息的general_format_constraint_info的语法和语义的实例。希望说明可如何指定所有其它通用约束标志语法和语义。

表15：通用格式约束信息语法的实例(变体1)

表16：通用格式约束信息语法的实例(变体2)

在实施例中，作为实例，可将表16的语义描述为

GeneralFrameOnlyConstraintFlag等于1指定OlsInScope传送表示帧的图片。GeneralFrameOnlyConstraintFlag等于0指定OlsInScope传送可表示或可不表示帧的图片。当GeneralFrameOnlyConstraintFlag等于1时，sps_field_seq_flag的值应等于0。

注意-解码器可忽略general_frame_only_constraint_flag的值，因为不存在与其相关联的解码过程要求。

MaxBitdepthMinus8ConstraintIdc指定sps_bit_depth_minus8将在0到MaxBitdepthMinus8ConstraintIdc的范围内，包含端值。

MaxChromaFormatConstraintIdc指定sps_chroma_format_idc将在0到MaxChromaFormatConstraintIdc的范围内，包含端值。

NoSeparateColourPlaneConstraintFlag等于1指定sps_separate_colour_plane_flag存在时应等于0。NoSeparateColourPlaneConstraintFlag等于0不会施加这种约束。

在另一实施例中，可以应用表17中使用的替代语法格式，而不是表示根据表1中的通用约束信息结构，其中十二个general_xxx_constraint_info()结构被对应的general_xxx_constraint_info_present_flag语法元素替换，其中“xxx”同样描述了VVC译码的方面，例如分区，帧内译码、环路滤波等。每个general_xxx_constraint_info_present_flag调节对应general_xxx_constraint_info()语法结构的信令。在general_xxx_constraint_info_present_flag上调节general_xxx_constraint_info()语法结构的存在促进解析(解码器只需要解析那些启用了对应标志的general_xxx_constraint_info()结构)，并且提供了额外的措施来确定位流是否符合要求。

表17：所提出的“通用约束信息语法”的另一实施例的实例

general_xxx_constraint_info_present_flag等于1指定在general_xxx_constraint_info()中用信号表示的至少一个通用约束标志的值不等于0。general_xxx_constraint_info_present_flag等于0指定在general_xxx_constraint_info中用信号表示的所有通用约束标志的值等于0。

在另一实施例中，可以应用表18中使用的替代语法格式，而不是分别表示根据表9和表10中的通用变换约束信息结构和通用量化约束信息结构，其中十二个general_xxx_constraint_info()结构中的general_transform_constraint_info()结构和general_quantization_constraint_info()被替换为一个新的general_tqr_constraint_info()结构，这样将与变换、量化和残差编码相关的通用约束标志组合在一起，以减少在存在不确定性时将特定通用约束标志分类为转换、量化或残差编码的混淆。

表18：用于一般变换、量化和残差约束信息语法的另一实施例的实例

在另一实施例中，为了使将来的扩展更容易，保留字节(gci_tqr_num_reserved_bytes)的语法也可以表示为“扩展标志”，后跟对应的扩展数据，当扩展标志为真时读取这些扩展数据。

图2A描绘根据实施例的视频编码的实例过程。如图2A所描绘，在步骤205中，编码器分析内容和译码要求(例如，图片分辨率、帧速率、可用带宽、可允许延迟、处理功率等)，并决定使用哪些工具以及可能跳过哪些工具。在多层译码中，这些决策可以针对每个层独立作出。在步骤210和215中，对于前面定义的每个工具，它会迭代通过在general_constraint_info()下定义的所有general_xxx_constraint_info()函数，例如，如表1中所定义的，其中“xxx”描述了相关工具和决策的类别，以为每个工具指定特定约束标志。接下来，在步骤220中，编码器在各个语法层(例如，序列参数层级(SPS)、图片参数层级(PPS)、图片标头(PH)、切片标头(SH)等)设定对应的语法值。最后，在步骤225中，它对传入视频进行编码，以产生符合先前定义的所有约束参数(例如，步骤210和215)的经译码位流230。这样的位流还包含解码器的general_constraint_info()语法结构。

鉴于图2A的编码过程，图2B描述了根据实施例的视频解码的实例过程。鉴于经译码位流230，在步骤240中，解码器解析位流以识别作为general_constraint_info()语法结构一部分定义的位流约束。在步骤245和250中，解码器迭代通过在general_constraint_info()下定义的所有general_xxx_constraint_info()结构，例如，如表1中所定义的，以读取编码工具的每个类别“xxx”的所有约束标志。在步骤255中，较早提取的参数还可用于通过将其与作为经译码位流一部分的其它标志和参数进行比较以确保一致性来检查符合性。最后，在步骤260中，对经译码位流进行解码以产生视频帧序列。

子图片和可扩展性的约束译码和符合性测试的实例

VVC规范(参考文献[2])将子图片定义为图片中一个或多个切片的任何矩形区域。广义而言，子图片支持单独经译码的图片子流或视图，解码器可以将其重新采样为单个图片。

在VVC中，切片可以用“平铺块”和“译码树单元”来定义，它们与其它一些VVC语法元素一起如下描述：

切片是图片的平铺块内的专门包含在单个网络抽象层(NAL)单元中的整数个完整平铺块或整数个连续完整译码树单元(CTU)行。

平铺块是图片中的特定平铺块列和特定平铺块行内的CTU的矩形区。

平铺块列是CTU的矩形区，其高度等于图片的高度，并且宽度由图片参数集中的语法元素指定。

平铺块行是CTU的矩形区域，其高度由图片参数集中的语法元素指定，并且宽度等于图片的宽度。

译码块是一些M和N值的样本的MxN块，因此将CTB划分为译码块是一种分区。

译码树块(CTB)是某个N值的N×N样本块，因此将组件划分为CTB是一种分区。

译码树单元(CTU)是亮度样本的CTB，具有三个样本阵列的图片的对应色度样本中的两个CTB，或者是黑白图片或使用三个单独的颜色平面及用于对样本进行译码的语法结构译码的图片的样本的CTB。

可扩展性

在例如HEVC之类的先前译码标准中，使用例如可扩展配置文件之类的不同配置文件定义可扩展性支持。VVC的当前版本在其主配置文件中支持分层可扩展性。如VVC中所定义的，层包含一组视频译码层(VCL)NAL单元，这些单元都具有特定的nuh_layer_id值以及相关联的非VCL NAL单元。

在对VVC规范的最近提案(参考文献[3])中，作者建议在VVC规范的版本1中有两个配置文件用于10位4:2:0视频支持，以使适当的市场能够根据其需求选择适当的配置文件：

·具有子图片和可扩展性的“Main 10”配置文件

·不具有子图片和可扩展性的“约束Main 10”配置文件

作为实例，在实施例中，为了停用子图片，可以使用现有的VVC语法元素one_subpic_per_pic_constraint_flag，定义如下：

one_subpic_per_pic_constraint_flag等于1指定每个图片应仅包含一个子图片。one_subpic_per_pic_constraint_flag等于0不会施加这种约束。当one_slice_per_pic_constraint_flag等于1时，one_subpic_per_pic_constraint_flag的值应等于1。

为了停用可扩展/分层译码，在参考文献[3]中，建议在所提出的VVC约束Main 10配置文件中应用以下约束：

·序列参数集(SPS)语法元素inter_layer_ref_pics_present_flag应等于0。这会停用用于SNR和空间可扩展性的层间预测。

·视频参数集(VPS)语法元素vps_max_layers_minus1应等于0。这会停用多个输出层集合，因此解码器不必管理不同的输出层集合。

·NAL单元标头语法元素nuh_layer_id的单个值将跨整个经译码视频序列CVS(经译码视频序列)使用。这会停用每个存取单元(AU)中的多于一个的图片。

在实施例中，举例来说，为了禁止可扩展或分层译码，而不是创建参考文献[3]中建议的额外配置文件，可以通过使用以下通用约束信息语法元素来实现类似的功能：

·no_scalability_constraint_flag

作为表3中语法元素的一部分引入，当设置为1时，它向解码器指示可扩展和分层译码被停用。

在其它实施例中，no_scalability_constraint_flag的值可以基于以下提出的额外通用约束信息语法元素的值进行调节或暗示。

·no_vps_constraint_flag(在参考文献[3]中，与single_layer_constraint_flag相关)指示VPS不存在

·no_mols_constraint_flag停用多个输出层集合，因此解码器不必管理不同的输出层集合(‘mols’表示多个输出层集合])(另参见表12)。

·no_mnli_constraint_flag停用任何存取单元(AU)中的多于一个的图片(多于一个的层)(‘mnli’表示多个nuh_layer_id)。(在参考文献[3]中，它被称为no_mixed_nalu_types_in_pic_constraint_flag)

·no_ilrp_constraint_flag停用用于SNR和空间可扩展性的层间预测(‘ilrp’表示层间参考图片)。(在参考文献[3]中，这似乎等同于all_layers_independent_constraint_flag)。

这些语法元素的实例定义包含：

no_vps_constraint_flag等于1指定SPS不引用VPS。

no_vps_constraint_flag等于0指定CVS内部可能存在VPS。

当no_vps_constraint_flag等于1时，则以下中的一或多者适用：

-no_mnli_constraint_flag的值应等于1

-no_ilrp_constraint_flag的值应等于1

-sps_video_parameter_set_id的值应等于0

-推断vps_max_layers_minus1的值等于0

-推断each_layer_is_an_ols_flag的值等于1

-推断inter_layer_ref_pics_present_flag的值等于0

no_mols_constraint_flag等于1指定由VPS指定的输出层集合(OLS)的总数等于1。no_mols_constraint等于0不会施加这种约束。

当no_mols_constraint_flag的值等于1时，以下中的一或多者适用：

-no_vps_constraint_flag的值应等于0

-sps_video_parameter_set的值应不等于0

-当vps_max_layers_minus1的值大于0时，each_layer_is_an_ols_flag的值应等于0，并且vps_all_independent_layers_flag的值应为0

-当ols_mode_idc的值等于2时，num_output_layer_sets_minus1的值应等于0。否则，ols_mode_idc的值等于0或1，vps_max_layers_minus的值应等于0。

no_mnli_constraint_flag等于1指定CVS中的所有VCL NAL单元应具有相同的nuh_layer_id值。no_mnli_constraint等于0不会施加这种约束。

当no_mnli_constraint等于1时，则以下中的一或多者适用：

-vps_max_layers_minus1的值应等于0

-推断each_layer_is_an_ols_flag的值等于1

no_ilrp_constraint_flag等于1指定没有层间参考图片(ILRP)用于经译码层视频序列(CLVS)中的任何经译码图片的帧间预测。no_ilrp_constraint_flag等于0不会施加这种约束。

当no_ilrp_constraint_flag的值等于1时，以下中的一或多者适用：

-inter_layer_ref_pics_present_flag的值应等于0

-vps_all_independent_layers_flag的值应等于1。

在实施例中，可以如下推导出指定no_scalability_constraint_flag的值的变量noScalabilityConstraint：

if(no_vps_constraint_flag||no_mols_constraint_flag||no_mnli_constraint_flag||

no_ilrp_constraint_flag||vps_max_layers_minus1＝＝0||

sps_video_parameter_set_id＝＝0)

noScalabilityConstraint＝1

else

noScalabilityConstraint＝0

其中x||y表示x和y的布尔逻辑“或”。

图3描绘确定位流中是启用还是停用可扩展性的实例过程。如图3所描绘，解码器可以执行步骤305中描述的逻辑操作，与上面定义的逻辑操作相同，如果是真的，那么停用可扩展性(310)，否则启用可扩展性(315)。

本领域技术人员将理解，提出的新标志也可适用于约束和检测VVC编解码器的其它功能，而不仅仅是可扩展性和分层译码。提供以下实例，但没有限制。

在实例中，当no_vps_constraint_flag等于1时，标志可用于检测位流符合性或约束的以下条件中的一或多者：

-no_mnli_constraint_flag的值等于1，这指定CVS仅含有一个层

-no_ilrp_constraint_flag的值等于1，这指定没有层间参考图片(ILRP)用于对CLVS中任何经译码图片的帧间预测

-sps_video_parameter_set_id的值等于0，这指示SPS未引用VPS，推断GeneralLayerIdx[nuh_layer_id]的值等于零，并且推断vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]的值等于1

-推断vps_max_layers_minus1的值等于0

-推断each_layer_is_an_ols_flag的值等于1

-推断inter_layer_ref_pics_present_flag的值等于0

在另一实例中，当no_mols_constraint_flag等于1时，其可用于检测以下中的一或多者：

-no_vps_constraint_flag的值等于0，这指定SPS可以引用vps_video_parameter_set_id值等于sps_video_parameter_set_id值的VPS。

在另一实例中，当no_mnli_containts_flag的值等于0并且no_mols_constraint_flags的值等于1时，则CVS可含有多个层，但仅含有一个输出层集合。

在另一实例中，当约束SPS并不参考VPS时，还可通过检查以下各项来检测位流符合性：

no_vps_constraint_flag为1；检查sps_video_parameter_set_id是否为0，

并且，独立地，

no_vps_constraint_flag为1；no_mnli_constraint_flag为＝1。

在另一实例中，当约束仅存在一个OLS时，可通过检查以下各项可检测符合性：

no_mols_constraint_flag为1；检查no_vps_constraint_flag是否为0，

并且，独立地，

no_vps_constraint_flag为1；sps_video_parameter_set不为0。

参考文献

本文所列参考文献中的每一个以全文引用的方式并入本文中。

[1]高效视频译码(High efficiency video coding)，H.265，H系列，移动视频的译码(Coding of moving video)，ITU，(2018年2月)。

[2]B.Bross、J.Chen、S.Liu和Y-K.Wang，“多功能视频译码(Versatile VideoCoding)(草案9)”，JVET输出文档，JVET-R2001，vA(10)，JVET第18次会议，电话会议，2020年4月15日至24日。

[3]W.Wan等人，“VVC版本1配置文档(VVC Version 1Profiles)”，JVET-R0392(v.6)，JVET第18次会议，2020年4月15日至24日。

实例计算机系统实施方案

本发明的实施例可以用计算机系统、电子电路系统和组件中配置的系统、例如微控制器之类的集成电路(IC)装置、现场可编程门阵列(FPGA)或另一可配置或可编程逻辑装置(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC)，和/或包含此类系统、装置或组件中的一或多个的设备。计算机和/或IC可以执行、控制或执行与视频译码中的约束处理相关的指令，例如本文所描述的指令。计算机和/或IC可以计算与本文所描述的视频译码中的约束处理相关的各种参数或值中的任何一个。图像和视频实施例可以用硬件、软件、固件和其各种组合来实施。

本发明的某些实施方案包括执行软件指令的计算机处理器，所述软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过在处理器可访问的程序存储器中执行软件指令来实施与如上所描述的视频译码中的约束分层处理相关的方法。本发明的实施例也可以程序产品的形式提供。程序产品可以包括任何非暂时性和有形媒体，所述媒体携带包括指令的一组计算机可读信号，所述指令在由数据处理器执行时会使数据处理器执行本发明的方法。根据本发明的程序产品可以是各种各样的非暂时和有形形式中的任何一种。例如，程序产品可以包括物理媒体，例如包含软磁盘的磁性数据存储媒体、硬盘驱动器、包含CD ROM的光学数据存储媒体、DVD、包含ROM的电子数据存储媒体、闪存RAM等。程序产品上的计算机可读信号可任选地被压缩或加密。

在上文提及的组件(例如,软件模块、处理器、部件、装置、电路等)的情况下，除非另有说明，否则对所述组件的引用(包含对“装置”的引用)应解释为包含执行所描述组件功能的任何组件的等效(例如，功能上等效的)组件，包含在结构上与执行本发明所示实例实施例中的功能的公开结构不等效的组件。

等效方案、扩展方案、替代方案和杂项

由此描述涉及视频译码中的约束处理的实例实施例。在前文说明书中，本发明的实施例已经参考可针对不同实施方案变化的许多特定细节进行描述。因此，本发明以及申请人认为是本发明的内容的唯一且专门的指示是从本申请确定的一组权利要求，所述权利要求是此类权利要求公布的特定形式，包含任何后续修正。本文中针对这类权利要求中所含的术语明确阐述的任何定义将决定这类术语在权利要求中使用的含义。因此，未在权利要求中明确引用的限制、元素、性质、特征、优点或属性不应当以任何方式限制此类权利要求的范围。因此，应在说明性意义上而非限制性意义上看待说明书和图式。

本发明的各个方面可从下面列举的实例实施例(EEE)理解：

EEE 1。一种用处理器以约束分层处理经译码视频序列(CVS)进行解码的方法，所述方法包括：

接收包括经译码图片和语法参数的经译码视频序列(CVS)，并且检测是否启用分层处理，其中检测是否启用分层处理包括检测以下语法参数中的一或多者是否被设定为1：

第一标志，其指示是否启用可扩展性译码或分层译码；

第二标志，其指示视频参数集(VPS)是否被约束；

第三标志，其指示输出层集合(OLS)的总数是否被约束；

第四标志，其指示网络抽象层(NAL)单元属于的层是否被约束；

第五标志，其指示层间预测是否被约束；以及

如果这些标志中的一或多者被设定为1，那么确定停用分层处理，否则确定启用分层处理。

EEE 2。根据EEE 1所述的方法，其中如果所述第二标志被设定为1，那么：

推断所述第三标志被设定为1；

推断所述第四标志被设定成1；

推断所述第五标志被设定为1；并且

推断参数vps_max_layers_minus1等于0。

EEE 3。根据EEE 1或EEE 2所述的方法，其中如果所述第三标志被设定为1，那么：

如果ols_mode_idc参数的值等于2，那么num_output_layer_sets_minus1的值应等于0；

否则，如果ols_mode_idc的所述值等于0或1，那么vps_max_layers_minus1的所述值应等于0。

EEE 4。根据EEE 1至3中任一EEE所述的方法，其中如果所述第四标志被设定为1，那么其指定所述经译码视频序列(CVS)中的所有视频译码层(VCL)NAL单元应具有相同的nuh_layer_id值，并且vps_max_layers_minus1＝0。

EEE 5。根据EEE 1至4中任一EEE所述的方法，其中如果所述第五标志被设定为1，那么其指定没有层间参考图片(ILRP)用于经译码层视频序列(CLVS)中的任何经译码图片的帧间预测，并且inter_layer_ref_pics_present_flag＝0。

EEE 6。一种用处理器对经译码视频序列(CVS)进行解码的方法，所述方法包括：

接收包括经译码图片和语法参数的经译码视频序列(CVS)，并且检测以下语法参数中的一或多者是否被设定为1：

第一标志，其指示视频参数集(VPS)是否被约束；

第二标志，其指示输出层集合(OLS)的总数是否被约束；

第三标志，其指示网络抽象层(NAL)单元属于的层是否被约束；

第四标志，其指示层间预测是否被约束；并且

如果这些标志中的一或多者被设定为1，那么确定位流符合性。

EEE 7。根据EEE 6所述的方法，其中如果检测到所述第一标志被设定为1，那么以下中的一或多者适用：

所述第三标志被设定为1；

所述第四标志等于1；

sps_video_parameter_set_id＝0；

推断vps_max_layers_minus1等于0；

推断each_layer_is_an_ols_flag等于1；或

推断inter_layer_ref_pics_present_flag等于0。

EEE 8。一种用处理器以约束处理对视频图片序列进行编码的方法，所述方法包括：

接收待编码到经译码位流中的视频图片序列；

确定由解码器对所述经译码位流进行解码不需要的一组工具；

确定与所述一组工具相关的一或多个约束标志；

将所述一或多个约束标志分组为一或多个工具约束信息语法结构；

将所述一或多个工具约束信息语法结构组合为通用约束语法结构；以及产生所述经译码位流，其中所述经译码位流包括所述视频图片序列的经译码图片和所述通用约束语法结构。

EEE 9。根据EEE 8所述的方法，其中所述一或多个工具约束信息语法结构包括与以下中的一或多者相关的语法元素：

与网络抽象层(NAL)单元相关的约束标志，

与分区相关的约束标志，

与预测模式相关的约束标志，

与帧内预测相关的约束标志，

与帧间预测相关的约束标志，

与变换相关的约束标志，

与量化相关的约束标志，

与环路滤波相关的约束标志，

与循环格式相关的约束标志，

与通用功能性相关的约束标志，或

与辅助增强信息消息传递相关的约束标志。

EEE 10。根据EEE 9所述的方法，其中与涉及通用功能性的所述约束标志相关的所述语法元素包括不可扩展性约束标志，其中如果设定为等于1，那么指定针对所述经译码位流停用可扩展译码和分层译码。

EEE 11。一种用处理器对具有约束处理的经译码位流进行解码的方法，所述方法包括：

在解码器中接收包括视频图片序列的经译码图片和通用约束语法结构的经译码位流，其中所述通用约束语法结构包括用于由所述解码器对所述经译码位流进行解码不需要的一组工具的语法元素；

解析所述通用约束语法结构以识别一或多个工具约束信息语法结构，其中每个工具约束信息语法结构包括与特定译码工具相关的一或多个约束标志；

解析所述一或多个工具约束信息语法结构中的每一个以产生与所述一组工具相关的一或多个约束标志；以及

根据所述一或多个约束标志对所述经译码位流中的所述经译码图片进行解码以产生所述视频图片序列。

EEE 12。根据EEE 11所述的方法，其中所述一或多个工具约束信息语法结构包括与以下中的一或多者相关的语法元素：

与网络抽象层(NAL)单元相关的约束标志，

与分区相关的约束标志，

与预测模式相关的约束标志，

与帧内预测相关的约束标志，

与帧间预测相关的约束标志，

与变换相关的约束标志，

与量化相关的约束标志，

与环路滤波相关的约束标志，

与循环格式相关的约束标志，

与通用功能性相关的约束标志，或

与辅助增强信息消息传递相关的约束标志。

EEE 13。根据EEE 12所述的方法，其中与涉及通用功能性的所述约束标志相关的所述语法元素包括不可扩展性约束标志，其中如果设定为等于1，那么指定针对所述经译码位流停用可扩展译码和分层译码。

EEE 14。一种非暂时性计算机可读存储媒体，其具有存储于其上的计算机可执行指令，所述计算机可执行指令用于与一或多个处理器一起执行根据EEE 1至13中任一EEE所述的方法。

EEE 15。一种设备，其包括处理器并且被配置成执行根据EEE 1至13中任一EEE所述的方法。

Claims (15)

1.一种用处理器以约束分层处理对经译码视频序列(CVS)进行解码的方法，所述方法包括：

接收包括经译码图片和语法参数的经译码视频序列(CVS)，并且检测是否启用分层处理，其中检测是否启用分层处理包括检测以下语法参数中的一或多者是否被设定为1：

第一标志，其指示是否启用可扩展性译码或分层译码；

第二标志，其指示视频参数集(VPS)是否被约束；

第三标志，其指示输出层集合(OLS)的总数是否被约束；

第四标志，其指示网络抽象层(NAL)单元属于的层是否被约束；

第五标志，其指示层间预测是否被约束；以及

如果这些标志中的一或多者被设定为1，那么确定停用分层处理，否则确定启用分层处理。

2.根据权利要求1所述的方法，其中如果所述第二标志被设定为1，那么：

推断所述第三标志被设定为1；

推断所述第四标志被设定成1；

推断所述第五标志被设定为1；并且

推断参数vps_max_layers_minus1等于0。

3.根据权利要求1所述的方法，其中如果所述第三标志被设定为1，那么：

如果ols_mode_idc参数的值等于2，那么num_output_layer_sets_minus1的值应等于0；

否则，如果ols_mode_idc的所述值等于0或1，那么vps_max_layers_minus1的所述值应等于0。

4.根据权利要求1所述的方法，其中如果所述第四标志被设定为1，那么其指定所述经译码视频序列(CVS)中的所有视频译码层(VCL)NAL单元应具有相同的nuh_layer_id值，并且vps_max_layers_minus1＝0。

5.根据权利要求1所述的方法，其中如果所述第五标志被设定为1，那么其指定没有层间参考图片(ILRP)用于经译码层视频序列(CLVS)中的任何经译码图片的帧间预测，并且inter_layer_ref_pics_present_flag＝0。

6.一种用处理器对经译码视频序列(CVS)进行解码的方法，所述方法包括：

接收包括经译码图片和语法参数的经译码视频序列(CVS)，并且检测以下语法参数中的一或多者是否被设定为1：

第一标志，其指示视频参数集(VPS)是否被约束；

第二标志，其指示输出层集合(OLS)的总数是否被约束；

第三标志，其指示网络抽象层(NAL)单元属于的层是否被约束；

第四标志，其指示层间预测是否被约束；并且

如果这些标志中的一或多者被设定为1，那么确定位流符合性。

7.根据权利要求6所述的方法，其中如果检测到所述第一标志被设定为1，那么以下中的一或多者适用：

所述第三标志被设定为1；

所述第四标志等于1；

sps_video_parameter_set_id＝0；

推断vps_max_layers_minus1等于0；

推断each_layer_is_an_ols_flag等于1；或

推断inter_layer_ref_pics_present_flag等于0。

8.一种用处理器对具有约束处理的视频图片序列进行编码的方法，所述方法包括：

接收待编码到经译码位流中的视频图片序列；

确定由解码器对所述经译码位流进行解码不需要的一组工具；

确定与所述一组工具相关的一或多个约束标志；

将所述一或多个约束标志分组为一或多个工具约束信息语法结构；

将所述一或多个工具约束信息语法结构组合为通用约束语法结构；以及产生所述经译码位流，其中所述经译码位流包括所述视频图片序列的经译码图片和所述通用约束语法结构。

9.根据权利要求8所述的方法，其中所述一或多个工具约束信息语法结构包括与以下中的一或多者相关的语法元素：

与网络抽象层(NAL)单元相关的约束标志，

与分区相关的约束标志，

与预测模式相关的约束标志，

与帧内预测相关的约束标志，

与帧间预测相关的约束标志，

与变换相关的约束标志，

与量化相关的约束标志，

与环路滤波相关的约束标志，

与循环格式相关的约束标志，

与通用功能性相关的约束标志，或

与辅助增强信息消息传递相关的约束标志。

10.根据权利要求9所述的方法，其中与涉及通用功能性的所述约束标志相关的所述语法元素包括不可扩展性约束标志，其中如果设定为等于1，那么指定针对所述经译码位流停用可扩展译码和分层译码。

11.一种用处理器以约束处理对经译码位流进行解码的方法，所述方法包括：

在解码器中接收包括视频图片序列的经译码图片和通用约束语法结构的经译码位流，其中所述通用约束语法结构包括用于由所述解码器对所述经译码位流进行解码不需要的一组工具的语法元素；

解析所述通用约束语法结构以识别一或多个工具约束信息语法结构，其中每个工具约束信息语法结构包括与特定译码工具相关的一或多个约束标志；

解析所述一或多个工具约束信息语法结构中的每一个以产生与所述一组工具相关的一或多个约束标志；以及

根据所述一或多个约束标志对所述经译码位流中的所述经译码图片进行解码以产生所述视频图片序列。

12.根据权利要求11所述的方法，其中所述一或多个工具约束信息语法结构包括与以下中的一或多者相关的语法元素：

与网络抽象层(NAL)单元相关的约束标志，

与分区相关的约束标志，

与预测模式相关的约束标志，

与帧内预测相关的约束标志，

与帧间预测相关的约束标志，

与变换相关的约束标志，

与量化相关的约束标志，

与环路滤波相关的约束标志，

与循环格式相关的约束标志，

与通用功能性相关的约束标志，或

与辅助增强信息消息传递相关的约束标志。

13.根据权利要求12所述的方法，其中与涉及通用功能性的所述约束标志相关的所述语法元素包括不可扩展性约束标志，其中如果设定为等于1，那么指定针对所述经译码位流停用可扩展译码和分层译码。

14.一种非暂时性计算机可读存储媒体，其具有存储于其上的计算机可执行指令，所述计算机可执行指令用于与一或多个处理器一起执行根据权利要求1所述的方法。

15.一种设备，其包括处理器并且被配置成执行根据权利要求1所述的方法。

Images