CN114902660A - 高层级信息信令有关的视频编码或解码方法及装置 - Google Patents

Abstract

一种用于处理参考高层级语法集合的视频图像的视频处理方法及装置，包括接收输入数据，决定一第一语法元素指示参考图像再采样是否是禁用的或约束的，决定一第二语法元素指示子图像分割是否是禁用的或约束的，以及编码或解码该视频图像。所述第一以及第二语法元素被限制为当参考图像再采样被启用时禁用或约束子图像分割，或者当该子图像分割被启用时禁用或约束该参考图像再采样。该第一语法元素以及该第二元素是该高层级语法集合中发信的语法元素。

Description

高层级信息信令有关的视频编码或解码方法及装置

交叉引用

本申请享有2019年12月30日提交的申请号为62/955,364、名称为“Methods andapparatus related to high-level information signaling for coding image andvideo data”、2019年12月31日提交的申请号为62/955,539、名称为“Methods andapparatus related to high-level information signaling for coding image andvideo data”的美国临时专利申请的优先权，该先前申请在此全文引用。

技术领域

本发明涉及视频编码以及解码系统中的视频处理方法及装置。具体地，本发明涉及用于参考图像再采样以及子图像分割的高层级信息(information)信令(signaling)。

背景技术

通用视频编码(VVC)标准是新兴的视频编码标准，该标准是在以前的高效视频编码(HEVC)标准的基础上逐步开发的，通过增强现有的编码工具并在编码器结构的各种构建块中引入多种新的编码工具。图1示出了HEVC编码系统的框图。由帧内或帧间预测模组102预测输入视频信号101来形成预测信号103，其从已编解码图像区域来推导。输入视频信号101与预测信号103之间的预测残差信号105由变换以及量化模组106中的线性变换处理。变换系数在变换以及量化模组106中被量化以及与其他辅助信息一起在熵编码模组108中被熵编解码来形成视频比特流107。由重构模组112从预测信号103以及已量化残差信号111生成已重构信号109，其中由逆量化以及逆变换模组110在对解量化变换系数进行逆变换后生成已量化残差信号111。已重构信号109进一步由去块滤波器114中的环路滤波以及非去块滤波器116处理用于移除编解码伪影。已解码图像113被存储于帧缓冲器118用于预测输入视频信号101中的未来图像。在HEVC标准中，已编码图像被分割成由相关编码树单元(CTU)表示的非重叠正方形块区域。已编码图像可以由一些条带表示，每一者包括整数数目的CTU。条带中单个CTU以光栅扫描次序进行处理。双向预测(B)条带可以使用帧内预测或者帧间预测来解码，通过使用至多两个运动向量以及参考索引来预测每一块的样本值。预测(P)条带使用帧内预测或帧间预测来解码，通过参考至多一个运动向量以及参考索引来预测每一块的样本值。帧内(I)条带仅使用帧内预测来解码。

可以使用递回的四叉树(QT)结构将CTU分割成多个非重叠编码单元(CU)来适应各种局部运动以及纹理特性。一个或多个预测单元(PU)被指定用于每一CU。PU与相关CU语法一起作为用于发信预测子信息的基础单元。所指定的预测进程被采用来预测PU内相关语法样本的值。可以使用残差四叉树(RQT)结构进一步分割CU来表示相关预测残差信号。RQT的叶节点对应于变换单元(TU)。TU由尺寸8x8、16x16或者32x32亮度样本的变换块，或者尺寸4x4的亮度样本的四个TB以及4:2:0色彩格式中图像的色彩样本的两个对应的TB组成。整数变换被应用于TB以及已量系数的层级值与其他辅助信息在视频比特流中被熵编解码。图2A示出了示例性CTU的块分割以及图2B示出了其对应的QT表示。图2A以及图2B中的实线指示CTU内的CU边界以及虚线指示CTU内的TU边界。术语编码树块(CTB)、编码块(CB)、预测块(PB)以及变换块(TB)被定义为分别指定与CTU、CU、PU以及TU相关的一个色彩分量的2-D样本阵列。CTU由一个亮度CTB、两个色度CTB以及相关语法元素组成。类似的关系对CU、PU以及TU是有效的。树分割通常被同时应用于亮度以及色度分量，但是当色度分量达到某些最小尺寸时可以例外。

VVC标准改善了压缩性能以及传输与存储的效率，以及支援新格式，如高动态范围以及全景360视频。由VVC标准编码的视频图像学被分割成由CTU表示的非重叠正方形块区域，类似于HEVC标准。由使用二元以及三元拆分的具有嵌入的多类型树的四叉树将每一CTU分割成一个或多个较小尺寸的CU。每一所生成的CU分割是正方形或者矩形形状。VVC标准使得移动网路中的视频传输更有效，因为它允许具有差数据速率的系统或位置更快地接收更大的档。VVC标准支援层编码、空间或讯噪比(SNR)时间可扩展性。

参考图像再采样(RPR)在VVC标准中，用于适应性流服务的快速表示切换期望同时递送相同视频内容的多个表示，每一者具有不同的性能。不同的性能涉及不同的空间解析度或者不同的样本比特深度。在即时视频通信中，通过在未插入I图像的情况下允许已编码视频序列内的解析度变化，不仅视频数据可以无缝地适用于动态通道条件以及使用者偏好性，而且由I图像造成的跳动影响也被移除。参考图像再采样(RPR)允许具有不同解析度的图像可以在帧间预测中彼此参考。在传统以及流(streaming)应用中，RPR提供更高的编解码效率用于空间解析度以及比特速率的适应。当需要缩放整个视频区域或者一些兴趣区域时，也可以在应用情景中使用RPR。图3示出了应用参考图像再采样来编码或解码当前图像的示例，其中从具有相同或不同尺寸的参考图像预测当前图像的帧间编码块。当因为空间扩展性在流应用中是有益的而支援空间扩展性时，参考图像的图像尺寸可以与当前图像不同。在VVC标准中采用RPR来支援动态上采用以及下采样运动补偿。

当前图像尺寸以及解析度缩放参数在图像参数集合(SPS)中被发信，以及用于编码层视频序列(CLVS)的图像宽度以及高度中的最大图像尺寸在序列参考集合(SPS)中被指定。一个CLVS中的视频图像是与相同SPS相关的图像并且在相同层中。表1示出了在SPS中发信RPR启用旗标以及最大图像尺寸的示例。在序列参数集合(SPS)中发信的RPR启用旗标sps_ref_pic_resampling_enabled_flag用于指示RPR是否对参考SPS的图像是启用的。当这一RPR启用旗标等于1时，参考SPS的当前图像可以具有条带，该条带参考一参考图像层的活动条目中参考图像，参考图像层具有不同于当前图像的以下7个参数的一个或多个。7个参数包括与图像宽度相关的语法元素pps_pic_width_in_luma_samples、图像高度相关的语法元素pps_pic_height_in_luma_samples、左缩放视窗偏移pps_scaling_win_left_offset、右缩放窗口偏移pps_scaling_win_right_offset、上方缩放视窗偏移pps_scaling_win_top_offset、底部缩放视窗偏移pps_scaling_win_bottom_offset以及子图像的数目sps_num_subpics_minus1。对于参考一参考图像的当前图像，参考图像具有不同于当前图像的这七个参数的一个或多个，参考图像可以属于包含当前图像的相同层或者不同层。语法元素sps_res_change_in_clvs_allowed_flag等于1指定图像空间解析度可以在参考SPS的CLVS内变化，以及这一语法元素等于0指定图像空间解析度不在参考SPS的任何CLVS内变化。当这一语法元素sps_res_change_in_clvs_allowed_flag在SPS中不存在时，值被推断为等于0。由语法元素sps_pic_width_max_in_luma_samples以及sps_pic_height_max_in_luma_samples在SPS中发信最大图像尺寸，以及最大图像尺寸将不大于对应的视频参数集合(VPS)中发信的输出层集合(OLS)解码图像缓冲器(DPB)图像尺寸。在表1中示出了SPS中发信的与RPR相关的语法元素。

表1

在表2中示出了PPS中发信的与RPR相关的语法元素。语法元素pic_width_in_luma_samples指定以亮度样本为单元参考PPS的每一解码图像的宽度。语法元素将不等于0以及将是Max(8,MinCbSizeY)的整数倍，以及被约束为小于或等于对应SPS中发信的sps_pic_width_max_in_luma_samples。当子图像存在旗标subpics_present_flag等于1或者当RPR启用旗标ref_pic_resampling_enabled_flag等于0时，这一语法元素的值pic_width_in_luma_samples将等于sps_pic_width_max_in_luma_samples。语法元素pic_height_in_luma_samples指定以亮度样本为单元参考PPS的每一解码图像的高度。这一语法元素将不等于0以及将是Max(8,MinCbSizeY)的整数被，以及将小于或等于sps_pic_height_max_in_luma_samples。当子图像存在旗标subpics_present_flag等于1或者当RPR启用旗标ref_pic_resampling_enabled_flag等于0时，语法元素pic_height_in_luma_samples的值被设置为等于sps_pic_height_max_in_luma_samples。

表2

语法元素scaling_window_flag等于1指定缩放视窗偏移参数存在于PPS中，以及scaling_window_flag等于0指定缩放视窗偏移参数不存在于PPS。当RPR启用旗标ref_pic_resampling_enabled_flag等于0时，这一语法元素scaling_window_flag的值将等于0。语法元素scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset以及scaling_win_bottom_offset以亮度样本为单元指定缩放偏移。这些缩放偏移被应用于图像尺寸用于缩放比例计算。缩放偏移可以是负数。当缩放视窗旗标scaling_window_flag等于0时，这四个缩放偏移语法元素scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset以及scaling_win_bottom_offse的值被推断为0。

当使用RPR预测当前图像中的当前块时，从由这些PPS语法元素指定的缩放视窗尺寸推导缩放比率，语法元素包括scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset以及scaling_win_bottom_offset。表示缩放视窗宽度以及缩放视窗高度的变数PicOutputWidthL以及PicOutputHeightL被推导如下：

PicOutputWidthL＝pic_width_in_luma_samples–(scaling_win_right_offset+scaling_win_left_offset).

PicOutputHeightL＝pic_height_in_luma_samples–(scaling_win_bottom_offset+scaling_win_top_offset)

通过从图像宽度减去右边以及左边偏移来推导表示缩放视窗宽度的变数PicOutputWidthL，以及通过从图像高度减去上方以及底部偏移来推导缩放视窗高度。左边以及右边偏移scaling_win_left_offset以及scaling_win_right_offset的和的值将小于图像宽度pic_width_in_luma_samples，以及上方以及底部偏移scaling_win_top_offset以及scaling_win_bottom_offset的和的值将小于图像高度pic_height_in_luma_samples。

在VVC标准的最新提案中，在色度样本中测量缩放视窗偏移，以及当在PPS中不存在这些缩放视窗偏移语法元素时，这四个缩放偏移语法元素scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset以及scaling_win_bottom_offset的值被推断为分别等于conf_win_left_offset、conf_win_right_offset、conf_win_top_offset以及conf_win_bottom_offset。如下所示，通过图像宽度、变数SubWidthC、左边缩放偏移以及右边缩放偏移来推导指示缩放视窗宽度的变数CurrPicScalWinWidthL。通过图像高度、变数SubHeightC、上方缩放偏移以及下方缩放偏移来推导指示缩放视窗高度的变数CurrPicScalWinHeightL。例如，通过以下等式来推导缩放视窗宽度以及缩放视窗高度。CurrPicScalWinWidthL＝pic_width_in_luma_samples–SubWidthC*(scaling_win_right_offset+scaling_win_left_offset)；以及CurrPicScalWinHeightL＝pic_height_in_luma_samples–SubHeightC*(scaling_win_bottom_offset+scaling_win_top_offset)。

子图像分割在VVC标准中，图像可以被进一步拆分成一个或多个子图像用于编码或解码。VVC标准中提出的子图像类似于HEVC标准中的运动约束图块集合(MCTS)。对于像视口相关的360度视频流优化以及兴趣区域应用，这一编码工具允许独立编码以及编码图像序列的矩形子集的提取。即使当子图像是可提取的，子图像允许指向子图像之外的编码块的运动向量，因此允许在这一情况中子图像边界的填充。在SPS中发信VVC标准的子图像的布局，因此子图像的布局被约束在CLVS内。每一子图像包括一个或多个完整的矩形条带。子图像识别符(ID)可以可选地被分配给每一子图像。表3示出了与SPS中发信的子图像分割相关的示例性语法元素。

表3

发明内容

在处理视频数据的视频处理方法的示例性实施例中，实施视频处理方法的视频编码或解码系统接收与参考一高层级语法集合的视频图像相关的输入视频数据，决定该高层级语法集合中发信的或待发信的一第一语法元素，该第一语法元素指示RPR是否是禁用的或约束的用于与该高层级语法集合相关的视频图像，决定一第二语法元素，该第二语法元素指示子图像分割是是否是禁用的或约束的用于与该高层级语法集合相关的视频图像，通过当RPR启用时允许在帧内预测中参考具有不同解析度的图像或者当RPR禁用时在帧间预测中允许参考仅具有相同解析度的图像，来编码或解码视频图像，以及通过当子图像分割启用时将每一图像拆分成一个或多个子图像或者当子图像分割禁用时在未拆分成子图像的情况下处理每一图像来编码或解码视频图像。在一些实施例中，该第一语法元素以及该第二语法元素被限制为当RPR启用时禁用或约束子图像分割。高层级语法集合的示例是序列参数集合。在一些实施例中，因为仅当RPR禁用时发信第二语法元素，有条件地在高层级语法集合中发信该第二语法元素，即，仅当RPR禁用时允许子图像分割。

在一些实施例中，当该子图像分割被启用时，参考该高层级语法集合的所有视频图像具有一缩放视窗宽度的一相同推导值以及一缩放视窗高度的一相同推导值。图像的该缩放视窗宽度由该图像参考的一图像参数集合中发信的一图像宽度、一左边缩放视窗偏移以及一右边缩放视窗偏移来推导，以及该图像的该缩放视窗高度从一图像高度、一上方缩放视窗偏移以及一底部缩放视窗偏移来推导。在色度样本中测量该缩放视窗偏移的情况下，进一步由变数SubWidthC以及SubHeightC分别推到该缩放视窗宽度以及高度。

根据一些实施例，该第一以及第二语法元素被限制当RPR启用时禁用或约束子图像分割或者当子图像分割启用时该第一以及第二语法元素被限制为禁用或约束RPR。在一个实施例中，该第一语法元素在高层级语法集合中有条件地被发信以及仅当子图像分割被禁用时发信该第一语法元素。在一些特定的四十了中，该第一语法元素是指定RPR是否启用的RPR启用旗标，以及该第二语法元素是指定子图像参数是否存在于该高层级语法集合中的子图像分割存在旗标。在一个实施例中，当该子图像分割存在旗标等于1时，RPR启用旗标被推断为等于0或者不被发信，以及当该子图像分割存在旗标等于0时仅在该高层级语法集合中发信该RPR启用旗标。当该RPR启用旗标不被发信时该RPR启用旗标被推断为等于0。在另一个实施例中，当该RPR启用旗标等于1时该子图像分割存在旗标被推断为等于0或者不被发信，以及仅当该RPR启用旗标等于0时，在高层级语法集合中发信该子图像分割存在旗标。当该子图像存在旗标不被发信时，该子图像分割存在旗标被推断为等于0。

在一实施例中，第一语法元素是指定图像空间解析度在CLVS中是否可变化的解析度变化旗标，以及该第二语法元素是指定子图像信息是否存在用于该高层级语法集合中的CLVS的子图像分割存在旗标。在这一实施例中，通过当解析度变换旗标等于1时推断子图像分割存在旗标为等于0，当图像空间解析度在参考该高层级语法集合的CLVS内可变化时，子图像信息不存在用于该高层级语法集合中的CLVS。

视频处理方法的实施例进一步包括根据该第二语法元素决定一第三语法元素，其中该第二语法元素是指定子图像信息是否存在用于该高层级语法集合中一编码层视频序列的一子图像分割存在旗标，以及该第三语法元素是指定子图像识别符映射是否存在于该高层级语法元素的一子图像识别符旗标。该视频处理方法决定当子图像分割存在旗标等于1时的一相关子图像布局。当该子图像分割存在旗标等于0时该子图像识别符旗标不被编码并且被推断为0，以及当该子图像分割存在旗标等于1时，该子图像识别符旗标仅在该高层级语法集合中被发信。

本发明的一方面进一步提供了视频编码或解码系统中视频处理装置，该装置包括一个或多个电子电路用于接收参考高层级语法集合的视频图像的输入视频数据，决定该高层级语法集合中发信的或待发信的第一语法元素指示RPR是否是禁用的或约束的，决定一第二语法元素指示子图像分割是否是禁用的或约束的，以及通过当RPR启用在帧间预测中允许参考具有不同解析度的图像来编码或解码视频图像，或者通过当子图像分割被启用时将每一图像拆分成一个或多个子图像来编码或解码视频图像。视频编码或解码系统的实施例根据比特流一致性需求来编码或解码视频图像，其在RPR启用时禁用或约束子图像或者在子图像分割启用时禁用或约束RPR。

本发明的一方面进一步提供了储存程式指令的非暂态电脑可读媒介，使得装置的处理电路执行视频处理方法来编码或解码参考高层级语法集合的视频图像。该视频处理方法通过在RPR启用是禁用或约束子图像分割或者在子图像分割启用时禁用或约束RPR来编码或解码视频图像。在阅读特定实施例的后续描述后，本发明的其他方面以及特征对本领域具体通常知识者将是显而易见的。

附图说明

以示例提出的本发明的各种实施例将参考以下图示详细描述，以及其中：

图1示出了实施HEVC标准中各种编码工具的视频编码系统的系统框图。

图2A示出了根据HEVC标准的编码树单元内的块分割的示例。

图2B示出了对应于图2A中示出的编码树单元的基于四叉树的编码树表示。

图3示出了启用参考图像再采样的示例性示例。

图4示出了当参考图像再采样被启用时，禁用子图像分割的实施例的视频编码或解码系统的示例性流程图。

图5示出了当子图像分割被启用时，禁用参考图像再采样的实施例的视频编码或解码系统的示例性流程图。

图6示出了根据本发明实施例的合并视频处理方法的视频编码系统的示例性系统框图。

图7示出了根据本发明实施例的合并视频处理方法的视频解码系统的示例性系统框图。

具体实施方式

将容易理解，如本文图式中描述以及示出的本发明的元件可以以各种不同的配置进行排列以及设计。因此，如图式所表示的本发明的后续细节描述不旨在限制本发明的范围，而是仅仅是本发明所选实施例的表示。

相同图像尺寸相同缩放视窗在子图像分割被启用的情况下，其需要比特流一致性，参考相同SPS的所有图像具有与SPS中指定的最大图像尺寸相同图像尺寸。然而，当参考相同SPS的所有图像具有相同图像尺寸但是不同空间缩放参数时，与发信空间位置以及分割(SPS中指定的子图像布局)有关的编码参数可能不与编码视频序列中的图像一致。在本发明的一些实施例中，当这两个图像具有相同图像尺寸时，缩放参数的值被约束为对参考相同SPS的任何两个图像是相同的。这样，参考相同SPS以及具有相同图像尺寸的所有图像将具有缩放视窗宽度PicOutputWidthL以及缩放视窗高度PicOutputHeightL的相同的推导值。根据一实施例的图像参数集合RBSP相关的语义的所提出修正提供如下。

语法元素scaling_window_flag等于1指定缩放视窗偏移参数存在于PPS中，以及scaling_window_flag等于0指定缩放视窗偏移参数不存在于PPS中。当语法元素ref_pic_resampling_enabled_flag等于0时，scaling_window_flag的值将等于0。缩放视窗偏移参数scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset以及scaling_win_bottom_offset以亮度样本为单元指定偏移，其被应用于图像尺寸用于缩放比率计算。当语法元素scaling_window_flag等于0时，这四个缩放视窗偏移参数的值被推断为0。图像的左边以及右边缩放视窗偏移的和的值将小于图像宽度pic_width_in_luma_samples，以及上方以及底部缩放视窗偏移的和的值将小于图像高度pic_height_in_luma_samples。变数缩放视窗宽度PicOutputWidthL以及缩放视窗高度PicOutputHeightL被推导如下：PicOutputWidthL＝pic_width_in_luma_samples–(scaling_win_right_offset+scaling_win_left_offset)，以及PicOutputHeightL＝pic_height_in_luma_samples–(scaling_win_bottom_offset+scaling_win_top_offset)。假设ppsA以及ppsB是参考相同SPS的任何两个PPS。当ppsA以及ppsB分别具有pic_width_in_luma_samples以及pic_height_in_luma_samples的相同值时，需要ppsA以及ppsB应分别具有scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset以及scaling_win_bottom_offset的相同值的比特流的一致性。

启用某些工具时相同的缩放视窗在一些实施例中，当启用某些分配工具组的至少一个时应用相同的缩放视窗约束。在一个示例中，子图像分割是某些分配的工具组之一，以致当子图像分割启用时应用相同的缩放视窗约束。这样，当子图像存在旗标subpics_present_flag等于1时，参考相同SPS的所有图像将分别具有缩放视窗宽度PicOutputWidthL以及缩放视窗高度PicOutputHeightL的相同的推导值。在一个实施例中，当子图像分割被启用时，相同的缩放约束将参考相同SPS的所有图像限制为具有相同的缩放视窗偏移参数scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset以及scaling_win_bottomg_offset。对图像参数集合RBSP相关的语义的所提出的修正如下。语法元素scaling_window_flag等于1指定缩放视窗偏移参数存在于PPS中，以及scaling_window_flag等于0指定缩放视窗偏移参数不存在于PPS中。当参考图像再采样启用旗标ref_pic_resampling_enabled_flag等于0时，scaling_window_flag的值将等于0。缩放视窗偏移参数scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset以及scaling_win_bottom_offset以亮度样本为单元指定缩放视窗偏移，其被应用于图像尺寸用于缩放比率计算。当语法元素scaling_window_flag等于0时，scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset以及scaling_win_bottom_offset的值被推断为等于0。图像的左边以及右边缩放视窗偏移的和的值将小于图像宽度pic_width_in_luma_samples，以及上方以及底部缩放视窗偏移的和的值将小于图像高度pic_height_in_luma_samples。变数缩放视窗宽度PicOutputWidthL以及缩放视窗高度PicOutputHeightL被推导如下：PicOutputWidthL＝pic_width_in_luma_samples–(scaling_win_right_offset+scaling_win_left_offset),以及PicOutputHeightL＝pic_height_in_luma_samples–(scaling_win_bottom_offset+scaling_win_top_offset)。假设ppsA以及ppsB是参考相同SPS的任何两个PPS。在这一实施例中，当SPS中发信的子图像存在旗标subpics_present_flag等于1时，需要ppsA以及ppsB将分别具有scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset以及scaling_win_bottom_offset的相同值的比特流一致性。

当启用某些工具时禁用参考图像再采样在一些实施例中，当某些分配的编码工具组被启用时，视频编码器或解码器禁用或者约束RPR的使用。在一些其他等同的实施例中，当RPR被启用时，视频编码器或解码器禁用或约束某些分配的工具组的使用。在特定的实施例中，某些分配的工具组包括子图分割，以及当子图像分割启用时，视频编码器或解码器根据比特流一致性需求(其禁用RPR)编码或解码视频数据。例如，当子图像分割存在旗标subpics_present_flag等于1时，与SPS中发信的RPR启用旗标ref_pic_resampling_enabled_flag相关的语法元素将等于0。这样，因为当子图像分割被启用时RPR被禁用，当子图像分割存在旗标subpics_present_flag等于1时，参考相同SPS的所有图像将分别具有缩放视窗宽度PicOutputWidthL以及缩放视窗高度PicOutputHeightL的相同的推导值。在可选的实施例中，当RPR启用时，视频编码器或解码器根据比特流一致性需求(其禁用子图像分割)编码或解码视频数据。例如，当RPR启用旗标ref_pic_resampling_enabled_flag等于1时，视频编码器或解码器将子图像分割存在旗标subpics_present_flag的值推断为等于0。表4示出了SPS中发信的语法元素的修正的语法表的示例。在这一示例中，仅当RPR启用旗标ref_pic_resampling_enabled_flag等于0时在SPS中发信子图像分割存在旗标subpics_present_flag，即，仅当RPR被禁用时允许子图像分割。当这一旗标不在SPS中发信时，子图像分割存在旗标subpics_present_flag的值被推断为0。子图像分割存在旗标等于1指定子图像相关的参数存在于SPS中，以及子图像分割存在旗标等于0指定子图像相关的参数不存在于SPS。

表4

表5示出了当RPR启用时禁用子图像分割的另一个实施例的SPS的语法表。在这一实施例中，SPS中发信的解析度变化旗标sps_res_change_in_clvs_allowed_flag指定图像空间解析度在参考SPS的编码层视频序列(CLVS)内是可变化的。当这一解析度变化旗标sps_res_change_in_clvs_allowed_flag等于0时，图像空间解析度在参考SPS的任何CLVS内不变化，以及当解析度变化旗标sps_res_change_in_clvs_allowed_flag等于1时，图像解析度在参考SPS的CLVS内可以变化。子图像分割存在旗标sps_subpic_info_present_flag等于1指定子图像信息存在用于CLVS以及在CLVS的每一图像中可能存在一个或多个子图像，以及sps_subpic_info_present_flag等于0指定子图像信息不存在用于CLVS以及在CLVS的每一图像仅存在一个子图像。在这一实施例中，当解析度改变旗标sps_res_change_in_clvs_allowed_flag等于1时，子图像分割存在旗标sps_subpic_info_present_flag的值将等于0。换言之，当图像空间解析度在参考SPS的CLVS内可变化时，子图像分割被约束为子图像信息不能存在用于SPS中的CLVS。在一个实施例中，当RPR启用时，仅当解析度变化旗标sps_res_change_in_clvs_allowed_flag等于0时允许子图像分割存在旗标被设置为1，同样地，当子图像分割被启用时，仅当解析度变化旗标sps_res_change_in_clvs_allowed_flag等于0时RPR启用旗标被允许被设置为1。

表5

语法元素sps_subpic_id_len_minus1加1指定用于表示语法元素sps_subpic_id[i]、语法元素pps_subpic_id[i]以及语法元素sh_subpic_id的比特的数目。sps_subpic_id_len_minus1的值将在包括0到15的范围内。1<<(sps_subpic_id_len_minus1+1)的值将大于或等于sps_num_subpics_minus1+1。语法元素sps_subpic_id_mapping_explicitly_signalled_flag等于1指定子图像识别符(ID)映射在CLVS的编码图像所参考的SPS中或在PPS中被显式发信。语法元素等于0指定子图像ID映射不被显式发信用于CLVS，以及当不存在时这一语法元素的值被推断为0。语法元素sps_subpic_id_mapping_present_flag等于1指定当sps_subpic_id_mapping_explicilty_signalled_flag等于1时子图像ID映射在SPS中被发信。当sps_subpic_id_mapping_explicitly_signalled_flag等于1时，这一语法元素sps_subpic_id_mapping_present_flag等于0指定子图像ID映射在由CLVS的编码图像的PPS中被发信。语法元素sps_subpic_id[i]指定第i个子图像的子图像ID。语法元素sps_subpic_id[i]的长度是sps_subpic_id_len_minus1+1比特。

当子图像分割被禁用时推断子图像ID旗标在本发明的一些实施例中，视频编码器或解码器在高层级语法集合中编码或解码指示子图像分割是否启用或禁用的第一语法旗标。例如，第一语法元素是SPS中发信的子图像分割存在旗标subpics_present_flag。当第一语法旗标等于1时发信相关的子图像布局；否则相关的子图像信息不被发信。视频编码器或解码器可以进一步编码或解码指示与子图像ID相关的信息是否将被进一步发信的第二语法旗标。在本发明的一些实施例中，当子图像分割存在旗标等于0时，第二语法旗标未被编解码以及被推断为0。第二语法旗标的示例是SPS中发信的子图像分割ID存在旗标sps_subpic_id_present_flag。子图像分割ID存在旗标等于1指定子图像ID映射存在于SPS，以及sps_subpic_id_present_flag等于0指定子图像ID映射不存在于SPS。表6中示出的示例性语法表表示当子图像分割禁用时推断子图像ID旗标的实施例。在这一实施例中，仅当子图像分割存在旗标subpics_present_flag等于1时在SPS中发信子图像分割ID存在旗标sps_subpic_id_present_flag，其暗示当子图像分割存在旗标subpics_present_flag等于0时子图像分割ID存在旗标sps_subpic_id_present_flag不存在于SPS中。当其不存在时，子图像分割ID存在旗标sps_subpic_id_present_flag被推断为等于0。

表6

图4以及图5的示例性流程图示出了RPR和子图像分割的互斥使用的示例性流程图。如图4中所示，本实施例中的视频编码或解码系统在启用RPR时禁用子图像分割。在步骤S402中，视频编码或解码系统接收与参考SPS的视频图像相关的输入视频数据，以及在步骤S404中，决定RPR在参考SPS的视频图像中是否是启用的。例如，视频编码系统在SPS中发信第一语法元素，指定参考图像再采样是否是启用或禁用的，以及通过解析SPS中发信的第一语法元素，视频解码系统决定RPR是否是启用的或禁用的。在步骤406中，当RPR在步骤S404中被决定为对视频图像是启用的时，子图像分割对参考SPS的视频图像是禁用的。例如，当第一语法元素指示RPR是启用的时，视频编码系统将不发信指定子图像分割是否是启用或禁用的第二语法元素，或者视频解码系统推断第二语法元素为0，指示子图像分割是禁用的。在步骤S408中，通过在帧间预测中允许参考具有不同解析度的图像以及通过处理每个图像而不将其拆分成子图像，视频编码或解码系统编码或解码视频图像的视频数据。在步骤S410中，当在步骤S404中决定RPR被禁止用于对视频图像进行编码或解码时，视频编码或解码进一步决定是否允许子图像分割用于参考SPS的视频图像。例如，视频解码系统发信指定子图像分割是否是启用或禁用的第二语法元素，或者视频解码系统通过从SPS解析第二语法元素来决定子图像分割是否是启用或禁用的。在步骤S410中决定子图像分割被启用的情况下，在步骤S412中，视频编码或解码系统通过在帧间预测中仅允许具有相同解析度的图像被参考并且通过将每个图像拆分为一个或多个子图像来对视频图像中的视频数据进行编码或解码。否则，在RPR以及子图像分割都被禁用时，在步骤S414中，通过仅允许在帧间预测中参考具有相同解析度的图像以及通过未拆分成子图像的情况下处理每一图像，视频编码或解码系统对视频图像中的视频数据进行编码或解码。

图5示出了当子图像分割启用时禁用RPR的实施例的视频编码或解码系统的示例性流程图。在步骤S502中，视频编码或解码系统接收参考SPS的视频图像的输入视频数据，以及在步骤S504中，决定子图像分割在参考SPS的视频图像中是否是启用的。例如，通过解析SPS中发信的第二语法元素，视频解码系统决定子图像分割是启用或禁用的。当子图像分割启用时，在步骤S506中，RPR被禁用用于参考SPS的视频图像。例如，当子图像分割启用时，视频编码系统将不在SPS中发信指定RPR是启用或禁用的第一语法元素，或者当第二语法元素指定子图像分割启用时，视频解码系统推断这一第一语法元素为0，指定RPR是禁用的。在步骤S508中，通过在帧间预测中仅允许参考具有相同解析度的图像以及通过将每个图像拆分为一个或多个子图像，视频编码或解码系统来编码或解码参考SPS的视频图像中的视频数据。在步骤S510中，视频编码或解码系统进一步决定RPR在参考SPS的视频图像中是否是启用的。例如，视频编码系统在SPS中发信第一语法元素指定RPR是启用还是停用，或视频解码系统通过解析来自SPS的第一语法元素来决定RPR是启用还是停用。当RPR被决定为启用时，在步骤512中，通过在帧间预测中允许参考具有不同解析度的图像以及通过在未拆分成子图像的情况下处理每个图像，对参考SPS的视频图像中的视频数据进行编码或解码。因为RPR以及子图像分割都是禁用的，在步骤S514中，通过在帧间预测中仅允许参考具有相同解析度的图像以及通过在未拆分成子图像的情况下处理每一图像，对视频图像中的视频数据进行编码或解码。

视频编码器以及解码器实施方式前述提出的与高级信息信令相关的视频处理方法可以在视频编码器或解码器中实现。图6示出了实施本发明各种实施例的一个或多个的视频编码器600的示例性系统框图。根据一些实施例，比特流一致性的要求是不能同时启用RPR和子图像分割。例如，当RPR被启用时，视频编码器发信第一语法元素指定RPR在SPS中是启用的，并且跳过发信第二语法元素指定子图像分割是否是禁用的或约束的。当第二语法元素不存在于SPS中时，推断子图像分割被禁。在另一实例中，当子图像分割、是启用的时，视频编码器发信第二语法元素指定子图像分割在SPS中是启用的，且跳过发信第一语法元素指定RPR是否是禁用的或约束的。当第一语法元素不存在于SPS中时，推断RPR被禁用。在一些其它实施例中，比特流一致性的要求是，当RPR被启用时约束子图像分割，或者当子图像分割被启用时约束RPR。帧内预测模组610基于当前图像的已重构视频数据提供帧内预测子。帧间预测模组612基于来自其它一个或多个图像的视频数据执行运动估计(ME)和运动补偿(MC)来提供帧间预测子。帧内预测模组610或帧间预测612将所选择的预测子提供给加法器616以形成预测误差，也称为预测残差。当前块的预测残差由变换模组(T)618进一步处理，变换模组(T)618之后是量化模组(Q)620。然后由熵编码器632对已变换以及已量化的残差信号进行编码，以形成视频比特流。视频比特流然后与辅助信息一起被打包。然后，当前块的已变换以及已量化的残差信号由逆量化模组(IQ)622以及逆变换模组(IT)624处理来恢复预测残差。如图6所示，通过在重构模组(REC)626处将所选择的预测子加回以产生重建的视频数据来恢复预测残差。重构的视频数据可被存储在参考图像缓冲器(Ref.Pict.Buffer)630，并用于其他图像的预测。从REC模组626恢复的重构视频数据可能由于编码处理而受到各种损害，因此，在存储在参考图像缓冲器630中之前，将环内处理滤波器628应用于重构视频数据以进一步增强图像品质。

图7示出了用于解码从图6中示出的视频编码器600生成的视频比特流的对应的视频解码器700。在本发明的一些示例中，在高层级语法集合中发信第一语法元素指示RPR是否是禁用的或约束的，并且在高层级语法集合中发信第二语法元素指示子图像分割是否是禁用的或约束的。例如，第一语法元素是RPR启用旗标，且第二语法元素是SPS中发信的子图像分割存在旗标。在一个实施例中，当子图像分割存在旗标等于1时，RPR启用旗标被推断为0，而在另一个实施例中，当RPR启用旗标等于1时，子图像分割存在旗标被推断为0。在又一实施例中，第一语法元素是解析度变换旗标且第二语法元素是子图像分割存在旗标，其中子图像分割存在旗标被约束以致仅当解析度变换旗标等于0时才允许将此子图像分割存在旗标设置为1。视频比特流是视频解码器700的输入，并由熵解码器710解码，以解析以及恢复已变换以及已量化的残差信号和其它系统信息。解码器700的解码过程类似于编码器600处的重构环路，除了解码器700仅需要帧间预测714中的运动补偿预测。每个块由帧内预测模组712或帧间预测模组714来解码。开关716根据解码的模式信息选择来自帧内预测模组712的帧内预测子或来自帧间预测模组714的帧间预测子。由逆量化模组(IQ)720以及逆变换模组(IT)722恢复与每一块相关的已变换以及已量化残差信号。通过在REC模组718中将预测子相加来重构恢复的残差信号，以产生重构的视频。重构的视频由环内处理滤波器(滤波器)724进一步处理，以生成最终的解码视频。如果当前解码的图像是解码顺序中后续图像的参考图像，则当前解码的图像的重构视频也被存储在参考图像缓冲器726。

图6以及图7中视频编码器600以及视频解码器700的各种元件可以由硬体元件、配置为执行存储在记忆体中的程式指令的一个或多个处理器、或硬体与处理器的组合来实施。例如，处理器执行程式指令以控制接收与参考高层级语法集合的视频图像相关联的输入数据。处理器配备有单个或多个处理核心。在一些实例中，处理器执行程式指令以执行编码器600以及解码器700中的一些元件中的功能，且与处理器电耦合的记忆体用于在编码或解码过程期间存储程式指令、对应于块的重构图像的信息和/或中间数据。在一些实施例中，记忆体包括非暂态电脑可读媒介，如半导体或固态记忆体、随机存取记忆体(RAM)、唯读记忆体(ROM)、硬碟、光碟或其他合适的存储媒介。记忆体还可以是上面列出的非暂态电脑可读媒介中的两个或多个的组合。如图6以及图7所示，编码器600以及解码器700可以在相同的电子设备中实现，因此如果在相同的电子设备中实现，编码器600以及解码器700的各种功能元件可以被共用或重用。

用于编码或解码的视频处理方法的实施例可以在整合到视频压缩晶片中的电路中实现，也可以在整合到视频压缩软体中的程式码中实现，以执行上述处理。例如，可以在电脑处理器、数位信号处理器(DSP)、微处理器或现场可程式设计闸阵列(FPGA)上执行的程式码中实现利用子图像分割或参考图像重采样的编码或解码。这些处理器可以被配置为通过执行定义由本发明体现的具体方法的机器可读软体代码或固件代码来执行根据本发明的具体任务。

在本说明书中提及的“一个实施例”、“一些实施例”或类似语言意味着结合实施例描述的特定特征、结构或特性可以包括在本发明的至少一个实施例中。因此，在本说明书各处出现的短语“在一个实施例中”或“在一些实施例中”不一定都指相同的实施例，这些实施例可以单独地或结合一个或多个其它实施例来实现。此外，所描述的特征、结构或特性可以以任何合适的方式组合在一个或多个实施例中。然而，相关领域具有通常知识者将意识到到，可以在没有一个或多个具体细节的情况下，或利用其他方法、元件等来实施本发明。在其他情况下，未详细示出或描述公知的结构或操作，以避免使本发明的各方面不清楚。

在不背离其精神或本质特征的前提下，可以以其他特定形式体现本发明。所描述的实施例在所有方面仅被认为是说明性的而非限制性的。因此，本发明的范围由所附申请专利范围而不是前述描述来指示。在申请专利范围的等同物的含义和范围内的所有变化都包括在它们的范围内。

Claims (17)

1.一种视频编码或解码系统中的视频处理方法，包括：

接收参考一高层级语法集合的视频图像的输入视频数据；

决定该高层级语法集合中发信的或待发信的一第一语法元素，该第一语法元素指示参考图像再采样是否被禁用或约束用于与该高层级语法集合相关的该视频图像；

决定一第二语法元素，该第二语法元素指示子图像分割是否被禁用或约束用于与该高层级语法集合相关的该视频图像，其中该第一语法元素以及该第二语法元素被限制为当该参考图像再采样启用时禁用或约束该子图像分割，以及

通过当该参考图像再采样被启用时允许在帧间预测中参考具有不同解析度的图像，或者当该参考图像再采样被禁用时允许在帧间预测中参考仅具有相同解析度的图像来编码或解码该视频图像，以及通过在该子图像分割被启用时将每一图像拆分成一个或多个子图像，或者在该子图像分割被禁用时未将每一图像拆分成子图像的情况下处理每一图像来编码或解码该视频图像。

2.根据权利要求1所述的视频编码或解码系统中的视频处理方法，其特征在于，该高层级语法集合是一序列参数集合。

3.根据权利要求1所述的视频编码或解码系统中的视频处理方法，其特征在于，有条件地在该高层级语法集合中发信该第二语法元素以及当该参考图像再采样被禁用时仅发信该第二语法元素。

4.根据权利要求1所述的视频编码或解码系统中的视频处理方法，其特征在于，当该子图像分割被启用时，参考该高层级语法集合的所有视频图像具有一缩放视窗宽度的一相同推导值以及一缩放视窗高度的一相同推导值。

5.根据权利要求4所述的视频编码或解码系统中的视频处理方法，其特征在于，图像的该缩放视窗宽度由该图像参考的一图像参数集合中发信的一图像宽度、一左边缩放视窗偏移以及一右边缩放视窗偏移来推导，以及该图像的该缩放视窗高度从一图像高度、一上方缩放视窗偏移以及一底部缩放视窗偏移来推导。

6.根据权利要求1所述的视频编码或解码系统中的视频处理方法，其特征在于，当该参考图像再采样被启用时，该第一以及第二语法元素被限制来禁用或约束该子图像分割，或者当该子图像分割被启用时，该第一以及第二语法元素被限制来禁用或约束该参考图像再采样。

7.根据权利要求6所述的视频编码或解码系统中的视频处理方法，其特征在于，有条件地在该高层级语法集合中发信该第一语法元素以及仅当该子图像分割被禁用时发信该第一语法元素。

8.根据权利要求6所述的视频编码或解码系统中的视频处理方法，其特征在于，该第一语法元素是指定该参考图像再采样是否被启用的一参考图像再采样启用旗标，以及该第二语法元素是指定子图像参数是否存在于该高层级语法集合的一子图像分割存在旗标。

9.根据权利要求8所述的视频编码或解码系统中的视频处理方法，其特征在于，当该子图像分割存在旗标等于1时，该参考图像再采样启用旗标被推断为等于0或者不被发信，以及当该子图像分割存在旗标等于0时，该参考图像再采样启用旗标仅在该高层级语法集合中被发信，其中当该参考图像再采样启用旗标不被发信时，该参考图像再采样启用旗标被推断为0。

10.根据权利要求8所述的视频编码或解码系统中的视频处理方法，其特征在于，当该参考图像再采样启用旗标等于1时，该子图像分割存在旗标被推断为等于0或者不被发信，以及当该参考图像再采样启用旗标等于0时，仅在该高层级语法集合中发信该子图像分割存在旗标，其中当该子图像分割存在旗标不被发信时，该子图像分割存在旗标被推断为0。

11.根据权利要求1所述的视频编码或解码系统中的视频处理方法，其特征在于，所述第一语法元素是指定一图像空间解析度在一编码层视频序列内是否可变化的一解析度变化旗标，以及该第二语法元素是指定子图像信息是否存在用于该高层级语法集合中该编码层视频序列的一子图像分割存在旗标。

12.根据权利要求11所述的视频编码或解码系统中的视频处理方法，其特征在于，通过当该解析度变化旗标等于1时将该子图像分割存在旗标推断为0，当该图像空间解析度在参考该高层级语法集合的该编码层视频序列中可变化时，该子图像信息不存在用于该高层级语法集合中的该编码层视频序列。

13.根据权利要求1所述的视频编码或解码系统中的视频处理方法，其特征在于，进一步包括根据该第二语法元素决定一第三语法元素，其中该第二语法元素是指定子图像信息是否存在用于该高层级语法集合中一编码层视频序列的一子图像分割存在旗标，以及该第三语法元素是指定子图像识别符映射是否存在于该高层级语法元素的一子图像识别符旗标。

14.根据权利要求13所述的视频编码或解码系统中的视频处理方法，其特征在于，进一步包括当该子图像分割存在旗标等于1时决定一相关的子图像布局。

15.根据权利要求13所述的视频编码或解码系统中的视频处理方法，其特征在于，当该子图像分割存在旗标等于0时该子图像识别符旗标不被编码并且被推断为0，以及当该子图像分割存在旗标等于1时，该子图像识别符旗标仅在该高层级语法集合中被发信。

16.一种视频编码或解码系统中处理视频数据的装置，该装置包括一个或多个电子电路用于：

接收参考一高层级语法集合的视频图像的输入视频数据；

决定该高层级语法集合中发信的或待发信的一第一语法元素，该第一语法元素指示参考图像再采样是否被禁用或约束用于与该高层级语法集合相关的该视频图像；

决定一第二语法元素，该第二语法元素指示子图像分割是否被禁用或约束用于与该高层级语法集合相关的该视频图像，其中该第一语法元素以及该第二语法元素被限制为当该参考图像再采样启用时禁用或约束该子图像分割，以及

通过当该参考图像再采样被启用时允许在帧间预测中参考具有不同解析度的图像，或者当该参考图像再采样被禁用时允许在帧间预测中参考仅具有相同解析度的图像来编码或解码该视频图像，以及通过在该子图像分割被启用时将每一图像拆分成一个或多个子图像，或者在该子图像分割被禁用时未将每一图像拆分成子图像的情况下处理每一图像来编码或解码该视频图像。

17.一种存储程式指令的非暂态电脑可读媒介，该程式指令使得装置的一处理电路执行视频数据的视频处理方法，以及该方法包括：

接收参考一高层级语法集合的视频图像的输入视频数据；

决定该高层级语法集合中发信的或待发信的一第一语法元素，该第一语法元素指示参考图像再采样是否被禁用或约束用于与该高层级语法集合相关的该视频图像；

决定一第二语法元素，该第二语法元素指示子图像分割是否被禁用或约束用于与该高层级语法集合相关的该视频图像，其中该第一语法元素以及该第二语法元素被限制为当该参考图像再采样启用时禁用或约束该子图像分割，以及

通过当该参考图像再采样被启用时允许在帧间预测中参考具有不同解析度的图像，或者当该参考图像再采样被禁用时允许在帧间预测中参考仅具有相同解析度的图像来编码或解码该视频图像，以及通过在该子图像分割被启用时将每一图像拆分成一个或多个子图像，或者在该子图像分割被禁用时未将每一图像拆分成子图像的情况下处理每一图像来编码或解码该视频图像。

Images