CN114982236A - 视频编码的参考图像重采样中考虑最差情况带宽的缩放窗限制的方法和装置 - Google Patents

视频编码的参考图像重采样中考虑最差情况带宽的缩放窗限制的方法和装置 Download PDF

Info

Publication number
CN114982236A
CN114982236A CN202080092706.9A CN202080092706A CN114982236A CN 114982236 A CN114982236 A CN 114982236A CN 202080092706 A CN202080092706 A CN 202080092706A CN 114982236 A CN114982236 A CN 114982236A
Authority
CN
China
Prior art keywords
height
width
samples
luma
pic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080092706.9A
Other languages
English (en)
Inventor
庄子德
徐志玮
陈庆晔
蔡佳铭
陈俊嘉
欧莱娜·邱巴赫
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN114982236A publication Critical patent/CN114982236A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

对视频序列进行编解码的方法和设备被公开。根据所述方法，与视频序列的编码数据相对应的比特流在编码器侧生成或在解码器侧接收，其中所述比特流符合比特流一致性：一个或多个约束被满足。所述一个或多个约束与一组参考图像重采样(Reference Picture Resampling，简称RPR)参数有关，其中包括当前图像的缩放窗口宽度或高度，参考图像的缩放窗口宽度或高度，当前图像的宽度或高度以及指定用于所述视频序列的最大图像宽度或高度。RPR模式的缩放信息可使用所述组RPR参数导出。然后，当RPR模式被致能用于目标图像时，通过使用缩放信息，视频序列的目标图像在编码器侧进行编码，或者在解码器侧进行解码。

Description

视频编码的参考图像重采样中考虑最差情况带宽的缩放窗限 制的方法和装置
相关引用
本申请要求分别在2019年12月11日递交的申请号为62/946,542的美国临时申请案，在2019年12月24日递交的申请号为62/953,232的美国临时申请案，在2019年12月27日递交的申请号为62/954,020的美国临时申请案的优先权。上述全部内容以引用方式并入本发明。
技术领域
本发明涉及包含参考图像重采样(Reference Picture Resampling，简称RPR)编解码工具的视频编解码。特别地，本发明涉及约束RPR参数以减轻最坏情况的内存带宽。
背景技术
高效率视频编解码(High Efficiency Video Coding,HEVC)标准已经在ITU-T视频编解码专家组(Video Coding Experts Group,VCEG)和ISO/IEC运动图像专家组(MovingPicture Experts Group,MPEG)标准化组织的联合视频项目下被开发，尤其是与称为视频编解码联合协作小组(Joint Collaborative Team on Video Coding,JCT-VC)的合作而开发的。新兴的视频编解码标准开发被称为多样化视频编解码(Versatile Video Coding，简称VVC)，近年来已作为HEVC以外的下一代视频编解码而进行。VVC支持参考图像重采样(Reference Picture Resampling，简称RPR)作为适应性流服务的工具，以支持实时(on-the-fly)的上采样和下采样运动补偿。与适应性流服务有关的技术如下。
参考图像重采样(Reference Picture Resampling，简称RPR)
在VVC的开发过程中，根据“Requirements for a Future Video CodingStandard”，“在适应性流服务提供了相同内容的多个表示，每个具有不同属性(例如空间分辨率或样本比特深度)的适应性流服务的情况下，该标准应支持快速表示切换。”在实时(real-time)视频通信中，允许在编解码视频序列中更改分辨率而无需插入I图像，这不仅可以使视频数据无缝适应动态信道条件或用户偏好，还可以消除由I图像引起的跳动效果。具有参考图像重采样(Reference Picture Resampling，简称RPR)的适应性分辨率更改(Adaptive Resolution Change，简称ARC)的假设示例被显示在图1中，其中，当前图像(110)根据不同大小的参考图像(Ref0 120和Ref1 130)被预测。如图1所示，参考图像Ref0(120)具有比当前图像(110)更低的分辨率。为了将参考图像Ref0用作参考，Ref0必须被放大到与当前图像相同的分辨率。参考图像Ref1(130)具有比当前图像(110)更高的分辨率。为了将参考图像Ref1用作参考，Ref1必须被缩小到与当前图像相同的分辨率。
为了支持空间可伸缩性，参考图像的图像大小可以与当前图像不同，这对于流应用程序很有用。用于支持参考图像重采样(RPR)(也被称为适应性分辨率更改(ARC))的方法已经被研究，以将其包含在VVC规范中。在日内瓦举行的第14届JVET会议上，有关RPR的一些文稿已提交会议讨论。
当RPR被使用时，从参考图像的宽度和高度以及当前图像的宽度和高度中，图像大小比例被导出。图像大小比例被限制在[1/8至2]的范围内。换句话说，图像大小比例在1/8和2之间。以亮度样本为单位的图像宽度/高度可在比特流中发送，例如PPS，其语义如下所示。
pic_width_in_luma_samples以亮度样本为单位指定参考PPS的每个解码图像的宽度。pic_width_in_luma_samples不应等于0，应为Max(8，MinCbSizeY)的整数倍，以及应小于或等于pic_width_max_in_luma_samples。
当subpics_present_flag等于1或ref_pic_resampling_enabled_flag等于0时，pic_width_in_luma_samples的值应等于pic_width_in_luma_samples。
pic_height_in_luma_samples以亮度样本为单位指定参考PPS的每个解码图像的高度。pic_height_in_luma_samples不应等于0，应为Max(8，MinCbSizeY)的整数倍，以及应小于或等于pic_height_max_in_luma_samples。
当subpics_present_flag等于1或ref_pic_resampling_enabled_flag等于0时，pic_height_in_luma_samples的值应等于pic_height_in_luma_samples。
当当前图像和参考图像的图像大小被指定时，以下约束应被满足。该约束将参考图像与当前图像的图像大小比例限制在[1/8，2]的范围内。
使refPicWidthInLumaSamples和RefPicHeightInLumaSamples分别是引用该PPS的当前图像的参考图像的pic_width_in_luma_samples和pic_height_in_luma_samples。满足以下所有条件是比特流一致性的要求：
–pic_width_in_luma_samples*2应大于或等于refPicWidthInLumaSamples。
–pic_height_in_luma_samples*2应大于或等于refPicHeightInLumaSamples。
–pic_width_in_luma_samples应小于或等于refPicWidthInLumaSamples*8。
–pic_height_in_luma_samples应小于或等于refPicHeightInLumaSamples*8。
在VVC中，RPR的缩放比例和缩放偏移是从PPS中发送的语法信息中得出的。PPS语法在下表被显示。
表1.用于缩放比例和缩放偏移的图像参数集合RBSP语法
Figure BDA0003739438430000031
Figure BDA0003739438430000041
语法的语义描述如下。
scaling_window_flag等于1表示在PPS中存在缩放窗口偏移参数。scaling_window_flag等于0表示在PPS中不存在缩放窗口偏移参数。当ref_pic_resampling_enabled_flag等于0时，scaling_window_flag的值应等于0。
scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset指定以亮度样本为单位的偏移，该偏移被应用于图像大小以进行缩放比例计算。当scaling_window_flag等于0时，scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset的值被推断为等于0。
scaling_win_left_offset+scaling_win_right_offset的值应小于pic_width_in_luma_samples，scaling_win_top_offset+scaling_win_bottom_offset的值应小于pic_height_in_luma_samples。
变量PicOutputWidthL和PicOutputHeightL被导出如下：
PicOutputWidthL＝pic_width_in_luma_samples-
(scaling_win_right_offset+scaling_win_left_offset)。
PicOutputHeightL＝pic_height_in_luma_samples-(scaling_win_bottom_offset+scaleing_win_top_offset)。
，fRefWidth被设置为等于参考图像RefPicList[i][j]的PicOutputWidthL(以亮度样本为单位)，以及fRefHeight被设置为等于参考图像RefPicList[i][j]的PicOutputHeightL(以亮度样本为单位)。
RefPicScale[i][j][0]＝((fRefWidth<<14)+(PicOutputWidthL>>1))/PicOutputWidthL。
RefPicScale[i][j][1]＝((fRefHeight<<14)+(PicOutputHeightL>>1))/PicOutputHeightL。
RefPicIsScaled[i][j]＝(RefPicScale[i][j][0]！＝(1<<14))||(RefPicScale[i][j][1]！＝(1<<14))。
尽管RPR为编解码视频比特流增加了灵活性，但与RPR缩放相关的运动补偿导致计算复杂度以及存储带宽的增加。为了减轻最坏情况的内存带宽，本发明公开了约束与RPR有关的参数的方法和装置。
发明内容
对视频序列进行编码的方法和设备被公开，其中，参考图像重采样(ReferencePicture Resampling，简称RPR)模式被公开。根据该方法，与视频序列的编码数据相对应的比特流在编码器侧生成或在解码器侧接收，其中该比特流符合比特流一致性：一个或多个约束被满足。约束与一组RPR参数有关，该参数包括当前图像的缩放窗口宽度或高度，参考图像的缩放窗口宽度或高度，当前图像宽度或高度以及指定用于视频序列的最大图像宽度或高度。RPR模式的缩放信息使用该组RPR参数来导出。然后，当RPR模式被致能用于目标图像时，通过使用缩放信息，视频序列的目标图像可在编码器侧进行编码，或者在解码器侧进行解码。
在一实施例中，约束不受与RPR过程相关联的任一插值滤波器的影响。例如，约束可包括第一项值小于或等于(SpsMaxPicWidth*PicOutputWidthL)，以及其中第一项值由CurPicWidth和refPicOutputWidthL确定。CurPicWidth对应于当前图像宽度，refPicOutputWidthL对应于参考图像的缩放窗口宽度，PicOutputWidthL对应于当前图像的缩放窗口宽度，SpsMaxPicWidth对应于指定用于视频序列的最大图像宽度。在另一示例中，约束可包括第二项值小于或等于(SpsMaxPicHeight*PicOutputHeight)，以及其中第二项值由CurPicHeight和refPicOutputHeight确定。CurPicHeight对应于当前图像高度，refPicOutputHeight对应于参考图像的缩放窗口高度，PicOutputHeight对应于当前图像的缩放窗口高度，SpsMaxPicHeight对应于指定用于视频序列的最大图像高度。在另一示例中，约束可包括(CurPicWidth*refPicOutputWidthL)小于或等于(SpsMaxPicWidth*PicOutputWidthL)。CurPicWidth对应于当前图像宽度，refPicOutputWidthL对应于参考图像的缩放窗口宽度，PicOutputWidthL对应于当前图像的缩放窗口宽度，SpsMaxPicWidth对应于指定用于视频序列的最大图像宽度。在另一示例中，约束可包括(CurPicHeight*refPicOutputHeight)小于或等于(SpsMaxPicHeight*PicOutputHeight)。CurPicHeight对应于当前图像高度，refPicOutputHeight对应于参考图像的缩放窗口高度，PicOutputHeight对应于当前图像的缩放窗口高度，SpsMaxPicHeight对应于指定用于视频序列的最大图像高度。
在一实施例中，约束包括：(pic_width_in_luma_samples*pic_height_in_luma_samples*(16*refPicOutputWidthL+7*PicOutputWidthL)*(4*refPicOutputHeightL+7*PicOutputHeightL))小于或等于(pic_width_max_in_luma_samples*pic_height_max_in_luma_samples height*253*PicOutputWidthL*PicOutputHeightL)。在一实施例中，约束包括：(pic_width_in_luma_samples*pic_height_in_luma_samples*(4*refPicOutputWidthL+7*PicOutputWidthL)*(16*refPicOutputHeightL+7*PicOutputHeightL))小于或等于(pic_width_max_in_luma_samples*pic_height_max_in_luma_samples height*253*PicOutputWidthL*PicOutputHeightL)。pic_width_in_luma_samples和pic_height_in_luma_samples分别对应于以亮度样本为单位的当前图像宽度和高度，refPicOutputWidthL和refPicOutputHeightL分别对应于参考图像的缩放窗口宽度和高度，PicOutputWidthL和PicOutputHeightL分别对应于当前图像的缩放图像宽度和高度，以及pic_width_max_in_luma_samples和pic_height_max_in_luma_samples分别对应于以亮度样本为单位的最大图像宽度和高度。
在一实施例中，约束包括(CurPicWidth*CurPicHeight*refPicOutputWidthL*refPicOutputHeightL)小于或等于(SpsMaxPicWidth*SpsMaxPicHeight*PicOutputWidthL*PicOutputHeightL)。CurPicWidth和CurPicHeight分别对应于当前图像宽度和高度，refPicOutputWidthL和refPicOutputHeightL分别对应于参考图像的缩放窗口宽度和高度，PicOutputWidthL和PicOutputHeightL分别对应于当前图像的缩放窗口宽度和高度。SpsMaxPicWidth和SpsMaxPicHeight分别对应于指定用于视频序列的最大图像宽度和高度。
在一实施例中，约束包括：(pic_width_in_luma_samples*pic_height_in_luma_samples*(8*refPicOutputWidthL+7*PicOutputWidthL)*(8*refPicOutputHeightL+7*PicOutputHeightL)小于或等于(pic_width_max_in_luma_samples*pic_height_max_in_luma_samples height*225*PicOutputWidthL*PicOutputHeightL)。pic_width_in_luma_samples和pic_height_in_luma_samples分别对应以亮度样本为单位的当前图像宽度和高度，refPicOutputWidthL和refPicOutputHeightL分别对应于参考图像的缩放窗口宽度和高度，PicOutputWidthL和PicOutputHeightL分别对应于当前图像的缩放窗口宽度和高度，以及pic_width_max_in_luma_samples和pic_height_max_in_luma_samples分别对应于以亮度样本为单位的最大图像宽度和高度。
附图说明
图1示出具有参考图像重采样(Adaptive Resolution Change，简称RPR)的适应性分辨率更改(Adaptive Resolution Change，简称ARC)的假设示例，其中当前图像根据不同大小的参考图像(Ref0和Ref1)预测。
图2示出根据本发明的实施例的引入约束的参考图像重采样(AdaptiveResolution Change，简称RPR)参数的系统的示例性框图。
具体实施方式
以下描述是实施本发明的最佳构想模式。该描述的进行是出于说明本发明的一般原理的目的，而不应被认为是限制性的。本发明的范围最好透过参考所附的权利要求来确定。
容易理解的是，如本文附图中一般描述和说明的本发明的元件可以以各种不同的配置来布置和设计。因此，如附图所示，本发明的系统和方法的实施例的以下更详细的描述并非旨在限制所要求保护的本发明的范围，而仅仅代表本发明的所选实施例。
本说明书中对“实施例”，“一些实施例”或类似语言的引用意味着结合实施例描述的具体特征，结构或特性可以包括在本发明的至少一实施例中。因此，贯穿本说明书在各个地方出现的短语“在实施例中”或“在一些实施例中”不一定都指代相同的实施例，
此外，所描述的特征，结构或特性可在一个或多个实施例中以任何合适的方式组合。然而，所属技术领域的技术人员将认识到，可在没有一个或多个具体细节的情况下或者利用其他方法，元件等来实践本发明。在其他情况下，未示出或详细描述公知的结构或操作，以避免模糊本发明的各方面。
通过参考附图，本发明的所示实施例将被最好地理解，其中，相似的部分始终由相似的数字表示。以下描述仅旨在作为示例，并且简单地示出了与本文所要求保护的本发明一致的装置和方法的特定选择的实施例。
在说明书中，现在附图和说明书中的相似的附图标记指定不同视图之间的对应或相似元素。
根据VVC，导出的参考图像缩放比例(RefPicScale[i][j][0]，RefPicScale[i][j][1])被用于运动补偿。RefPicScale是从PPS中指定的缩放窗口大小/宽度/高度得出的。它影响在运动补偿阶段哪些滤波器将被使用，还影响用于运动补偿的存储带宽。例如，对于一个16x16的块，在执行运动补偿时，如果缩放比例等于1(例如RefPicScale[i][j][0]和RefPicScale[i][j][1]都等于16384)，需要一个(16+L–1)x(16+L–1)参考块，其中L是运动补偿的滤波器抽头长度。在SPS中，序列的最大图像大小被指定。根据最大图像大小，最坏情况下的带宽可被计算和约束。但是，当缩放比例等于2时(例如RefPicScale[i][j][0]和RefPicScale[i][j][1]都等于32768)，则需要(32+L–1)x(32+L–1)参考块。考虑到滤波器抽头长度的影响，带宽几乎是原来的四倍。所需带宽受缩放比例的影响。例如，如果当前图像的大小等于最大图像大小，以及参考图像之一的缩放比例大于1，则此当前图像的所需带宽可能会大于系统预期的带宽。为了constrian最坏情况的带宽，几种方法被提出。
方法-1：约束缩放比例
在本发明中，(参考图像大小与当前图像大小的)缩放比例被约束为不大于(SPS中的最大图像大小与当前图像大小的)比例。例如，scaling_ratio_x*current_picture_width*scaleing_ratio_y*current_picture_height应小于或等于max_picture_width*max_picture_height。current_picture_width或current_picture_height可以是图像的宽度或高度(例如，以PPS表示或导出)，或者是一致性窗口(例如，以PPS表示或导出)，或缩放窗口(例如，以PPS表示或导出)。max_picture_width或max_picture_height height可以是当前序列的最大图像宽度或高度(例如，在SPS中发送或导出)。在一实施例中，scaling_ratio_x和scaling_ratio_y可以是RefPicIsScaled[][][0]和RefPicIsScaled[][][1]。例如，RefPicIsScaled[][][0]*current_picture_width*RefPicIsScaled[][][1]*current_picture_height应小于或等于max_picture_width*max_picture_height*2^K，或(((RefPicIsScaled[][][0]*RefPicIsScaled[][][1]*current_picture_width*current_picture_height)>>K)应小于或等于max_picture_width*max_picture_height。K可以是28。
在另一实施例中，水平缩放比和垂直缩放可以被分别地约束。例如，(参考图像大小与当前图像大小的)水平和垂直缩放比例被分别约束为不大于(SPS中的最大图像宽度与当前图像宽度的)比例和(SPS中的最大图像高度与当前图像高度的)比例。例如，scaling_ratio_x*current_picture_width应小于或等于max_picture_width。scaling_ratio_y*current_picture_height应小于或等于max_picture_height。current_picture_width或current_picture_height可以是图像的宽度或高度(例如，以PPS表示或导出，或者是一致性窗口(例如，以PPS表示或导出)，或缩放窗口(例如，以PPS表示或导出)。max_picture_width或max_picture_height height可以是当前序列的最大图像宽度或高度(例如，在SPS中发送或导出)。在一实施例中，scaling_ratio_x和scaling_ratio_y可以是RefPicIsScaled[][][0]和RefPicIsScaled[][][1]。例如，RefPicIsScaled[][][0]*current_picture_width应小于或等于max_picture_2^K，或(((RefPicIsScaled[][0]*current_picture_width)>>K)应小于或等于max_picture_width。同样，RefPicIsScaled[][][1]*current_picture_height应小于或等于max_picture_height*2^K，或(((RefPicIsScaled[][][1]*current_picture_height)>>K)>>max_picture_height。K可以为14。
在另一实施例中，缩放窗口的大小，当前图像大小，参考图像大小和/或当前序列中的最大图像大小受到约束。例如，使refPicOutputWidthL和refPicOutputHeightL分别为引用该PPS的当前图像的参考图像的PicOutputWidthL和PicOutputHeightL。比特流一致性的要求是，由所有refPicOutputWidthL，current_picture_width，refPicOutputHeightL和current_picture_height确定的值应小于或等于PicOutputWidthL*max_picture_width*PicOutputHeightL*max_picture_height。例如，满足以下所有条件是比特流一致性的要求：
–refPicOutputWidthL*current_picture_width*refPicOutputHeightL*current_picture_height应小于或等于PicOutputWidthL*max_picture_width*PicOutputHeightL*max_picture_height。
在另一实施例中，缩放窗口的宽度和高度，当前图像的宽度和高度，参考图像的宽度和高度，和/或当前序列中图像的最大宽度和高度被分别约束。例如，使refPicOutputWidthL和refPicOutputHeightL分别为引用该PPS的当前图像的参考图像的PicOutputWidthL和PicOutputHeightL。比特流一致性的要求是，由所有refPicOutputWidthL和current_picture_width，refPicOutputHeightL确定的第一值应小于或等于PicOutputWidthL*max_picture_width；由refPicOutputHeightL和current_picture_height确定的第二值应小于或等于PicOutputHeightL*max_picture_height。例如，满足以下所有条件是比特流一致性的要求：
–refPicOutputWidthL*current_picture_width应小于或等于PicOutputWidthL*max_picture_width，
–refPicOutputHeightL*current_picture_height应小于或等于PicOutputHeightL*max_picture_height。
current_picture_width和current_picture_height可以是在SPS或PPS中发送的图像宽度和高度。例如，图像的宽度和高度可以是pic_width_in_luma_samples和pic_height_in_luma_samples，或者可以是一致性裁剪窗口的宽度和高度，或者可以是缩放窗口的宽度和高度。
在另一实施例中，插值滤波器被考虑。当前图像的最坏情况MC内存带宽等于CurPicWidth*CurPicHeight*WorstCaseBlockBW/WorstCaseBlockSize。因此，如果满足以下条件，则最坏情况下的MC内存带宽不会增加。
CurPicWidth*CurPicHeight*(8*ScalingRatioX+7)*(8*ScalingRatioY+7)/(8*8)<＝SpsMaxPicWidth*SpsMaxPicHeight*(8+7)*(8+7)/(8*8)。
在以上等式中，ScalingRatioX等于(refPicOutputWidthL/PicOutputWidthL)，ScalingRatioY等于(refPicOutputHeightL/PicOutputHeightL)，SpsMaxPicWidth是SPS中发送的最大图像宽度，SpsMaxPicHeight是SPS中发送的最大图像高度。
在公式简化之后，以下等式可被重写为以下形式。
CurPicWidth*CurPicHeight*(8*refPicOutputWidthL+7*PicOutputWidthL)*(8*refPicOutputHeightL+7*PicOutputHeightL)<＝SpsMaxPicWidth*SpsMaxPicHeight*225*PicOutputWidthL*PicOutputHeightL。
类似地，对于色度分量，约束如下：
CurPicWidth*CurPicHeight*(8/SubWidthC*refPicOutputWidthL+3*PicOutputWidthL)*(8/SubHeightC*refPicOutputHeightL+3*PicOutputHeightL)<＝SpsMaxPicWidth*SpsMaxPicHeight*(8/SubWidthC+3)*(8/SubHeightC+3)*PicOutputWidthL*PicOutputHeightL。
在以上等式中，对于4：2：0，4：2：2和4：4：4，(SubWidthC，SubHeightC)分别是(2，2)，(2，1)和(1，1)。
关于缩放窗口大小的建议文本如下。
scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset指定以亮度样本为单位的偏移，该偏移被应用于图像大小以进行缩放比例计算。当scaling_window_flag等于0时，scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset的值被推断为等于0。
scaling_win_left_offset+scaling_win_right_offset的值应小于pic_width_in_luma_samples，scaling_win_top_offset+scaling_win_bottom_offset的值应小于pic_height_in_luma_samples。
变量PicOutputWidthL和PicOutputHeightL的导出如下：
PicOutputWidthL＝pic_width_in_luma_samples-
(scaling_win_right_offset+scaling_win_left_offset)。
PicOutputHeightL＝pic_height_in_luma_samples-
(scaling_win_bottom_offset+scaling_win_top_offset)。
在另一示例中，scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset以色度样本为单位发送。变量PicOutputWidthL和PicOutputHeightL的导出如下：
PicOutputWidthL＝pic_width_in_luma_samples-
SubWidthC*(scaling_win_right_offset+scaling_win_left_offset)。
PicOutputHeightL＝pic_height_in_luma_samples-
SubHeightC*(scaling_win_bottom_offset+scaling_win_top_offset)。
在以上等式中，SubWidthC和SubHeightC分别指定水平方向和垂直方向上的亮度采样与色度采样的采样比。
根据一实施例，以下约束被施加。当scaling_window_flag等于1时，使refPicOutputWidthL和refPicOutputHeightL分别为参考该PPS的当前图像的参考图像的PicOutputWidthL和PicOutputHeightL。满足以下条件是比特流一致性的要求：
–pic_width_in_luma_samples*pic_height_in_luma_samples*(8*refPicOutputWidthL+7*PicOutputWidthL)*(8*refPicOutputHeightL+7*PicOutputHeightL)应小于或等于pic_width_max_in_luma_samples*pic_height_max_in_lum_samples height*225*PicOutputWidthL*PicOutputHeightL。
–pic_width_in_luma_samples*pic_height_in_luma_samples*(8/SubWidthC*refPicOutputWidthL+3*PicOutputWidthL)*(8/SubHeightC*refPicOutputHeightL+3*PicOutputHeightL)应小于或等于pic_width_max_in_luma_samples*pic_height_max_in_luma_samples height*(8/SubWidthC+3)*(8/SubHeightC+3)*PicOutputWidthL*PicOutputHeightL。
在另一种方法中，我们可以只考虑亮度分量。缩放窗口大小的建议文本如下。
scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset指定以亮度样本为单位的偏移，该偏移被应用于图像大小以进行缩放比例计算。当scaling_window_flag等于0时，scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset的值被推断为等于0。
scaling_win_left_offset+scaling_win_right_offset的值应小于pic_width_in_luma_samples，scaling_win_top_offset+scaling_win_bottom_offset的值应小于pic_height_in_luma_samples。
变量PicOutputWidthL和PicOutputHeightL的导出如下：
PicOutputWidthL＝pic_width_in_luma_samples-
(scaling_win_right_offset+scaling_win_left_offset)。
PicOutputHeightL＝pic_height_in_luma_samples-
(scaling_win_bottom_offset+scaling_win_top_offset)。
根据一实施例，以下约束被施加。当scaling_window_flag等于1时，使refPicOutputWidthL和refPicOutputHeightL分别为参考该PPS的当前图像的参考图像的PicOutputWidthL和PicOutputHeightL。满足以下条件是比特流一致性的要求：
–pic_width_in_luma_samples*pic_height_in_luma_samples*(8*refPicOutputWidthL+7*PicOutputWidthL)*(8*refPicOutputHeightL+7*PicOutputHeightL)应小于或等于pic_width_max_in_luma_samples*pic_height_max_in_lum_samples height*225*PicOutputWidthL*PicOutputHeightL。
注意，以上的数字8、7和3可以用其他数字代替。例如，在公式简化后，其可被重写如下。
CurPicWidth*CurPicHeight*(M*refPicOutputWidthL+N*PicOutputWidthL)*(O*refPicOutputHeightL+P*PicOutputHeightL)<＝SpsMaxPicWidth*SpsMaxPicHeight*(M+N)*(O+P)*PicOutputWidthL*PicOutputHeightL。
类似地，对于色度分量，约束如下。
CurPicWidth*CurPicHeight*(A/SubWidthC*refPicOutputWidthL+B*PicOutputWidthL)*(C/SubHeightC*refPicOutputHeightL+D*PicOutputHeightL)<＝SpsMaxPicWidth*SpsMaxPicHeight*(A/SubWidthC+B)*(C/SubHeightC+D)*PicOutputWidthL*PicOutputHeightL.
在以上等式中，对于4：2：0，4：2：2和4：4：4，(SubWidthC，SubHeightC)分别是(2，2)，(2，1)和(1，1)。
在一实施例中，M和O可以是1，N和P可以是0，A和C可以是1或2，B和D可以是0。
在一实施例中，16x4和4x16被用作块大小以计算最坏情况的带宽。约束可被重写如下。
在公式简化之后，其被重写如下：
CurPicWidth*CurPicHeight*(16*refPicOutputWidthL+7*PicOutputWidthL)*(4*refPicOutputHeightL+7*PicOutputHeightL)<＝SpsMaxPicWidth*SpsMaxPicHeight*253*PicOutputWidthL*PicOutputHeightL，
CurPicWidth*CurPicHeight*(4*refPicOutputWidthL+7*PicOutputWidthL)*(16*refPicOutputHeightL+7*PicOutputHeightL)<＝SpsMaxPicWidth*SpsMaxPicHeight*253*PicOutputWidthL*PicOutputHeightL。
类似地，对于色度分量，约束如下：
CurPicWidth*CurPicHeight*(16/SubWidthC*refPicOutputWidthL+3*PicOutputWidthL)*(4/SubHeightC*refPicOutputHeightL+3*PicOutputHeightL)<＝SpsMaxPicWidth*SpsMaxPicHeight*(16/SubWidthC+3)*(4/SubHeightC+3)*PicOutputWidthL*PicOutputHeightL，
CurPicWidth*CurPicHeight*(4/SubWidthC*refPicOutputWidthL+3*PicOutputWidthL)*(16/SubHeightC*refPicOutputHeightL+3*PicOutputHeightL)<＝SpsMaxPicWidth*SpsMaxPicHeight*(4/SubWidthC+3)*(16/SubHeightC+3)*PicOutputWidthL*PicOutputHeightL。
在以上等式中，对于4：2：0、4：2：2和4：4：4，(SubWidthC，SubHeightC)分别是(2，2)，(2，1)和(1，1)。
缩放窗口大小的建议文本如下。
scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset指定以亮度样本为单位的偏移，该偏移被应用于图像大小以进行缩放比例计算。当scaling_window_flag等于0时，scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset的值被推断为等于0。
scaling_win_left_offset+scaling_win_right_offset的值应小于pic_width_in_luma_samples，以及scaling_win_top_offset+scaling_win_bottom_offset的值应小于pic_height_in_luma_samples。
变量PicOutputWidthL和PicOutputHeightL的导出如下：
PicOutputWidthL＝pic_width_in_luma_samples-(scaling_win_right_offset+scaling_win_left_offset)。
PicOutputHeightL＝pic_height_in_luma_samples-(scaling_win_bottom_offset+scaling_win_top_offset)。
根据一实施例，以下约束被施加。当scaling_window_flag等于1时，使refPicOutputWidthL和refPicOutputHeightL分别为引用该PPS的当前图像的参考图像的PicOutputWidthL和PicOutputHeightL。满足以下条件是比特流一致性的要求：
–pic_width_in_luma_samples*pic_height_in_luma_samples*(16*refPicOutputWidthL+7*PicOutputWidthL)*(4*refPicOutputHeightL+7*PicOutputHeightL)应小于或等于pic_width_max_in_luma_samples*pic_height_max_in_lum_samples height*253*PicOutputWidthL*PicOutputHeightL。
–pic_width_in_luma_samples*pic_height_in_luma_samples*(4*refPicOutputWidthL+7*PicOutputWidthL)*(16*refPicOutputHeightL+7*PicOutputHeightL)应小于或等于pic_width_max_in_luma_samples*pic_height_Width_sample height*253*PicOutputWidthL*PicOutputHeightL。
–pic_width_in_luma_samples*pic_height_in_luma_samples*(16/SubWidthC*refPicOutputWidthL+3*PicOutputWidthL)*(4/SubHeightC*refPicOutputHeightL+3*PicOutputHeightL)应小于或等于pic_width_max_in_luma_samples*pic_height_max_in_luma_samples height*(16/SubWidthC+3)*(4/SubHeightC+3)*PicOutputWidthL*PicOutputHeightL。
–pic_width_in_luma_samples*pic_height_in_luma_samples*(4/SubWidthC*refPicOutputWidthL+3*PicOutputWidthL)*(16/SubHeightC*refPicOutputHeightL+3*PicOutputHeightL)应小于或等于pic_width_max_in_luma_samples*pic_height_max_in_luma_samples height*(4/SubWidthC+3)*(16/SubHeightC+3)*PicOutputWidthL*PicOutputHeightL。
另外，在另一示例中，我们可以仅考虑亮度分量。
在另一实施例中，公差比可被调用。例如，Ty可以是亮度的公差值。Tc可以是色度的公差值。Ty和Tc可以是整数或实数(例如1.0、1.2、1.1、1.5等)。
例如，在公式简化之后，约束可被重写如下。
CurPicWidth*CurPicHeight*(M*refPicOutputWidthL+N*PicOutputWidthL)*(O*refPicOutputHeightL+P*PicOutputHeightL)<＝SpsMaxPicWidth*SpsMaxPicHeight*(M+N)*(O+P)*PicOutputWidthL*PicOutputHeightL*Ty。
类似地，对于色度分量，约束如下。
CurPicWidth*CurPicHeight*(A/SubWidthC*refPicOutputWidthL+B*PicOutputWidthL)*(C/SubHeightC*refPicOutputHeightL+D*PicOutputHeightL)<＝SpsMaxPicWidth*SpsMaxPicHeight*(A/SubWidthC+B)*(C/SubHeightC+D)*PicOutputWidthL*PicOutputHeightL*Tc，
在以等式中，对于4：2：0、4：2：2和4：4：4，(SubWidthC，SubHeightC)分别是(2，2)，(2，1)和(1，1)。
在一示例中，M和O可以是1，N和P可以是0，A和C可以是1或2，B和D可以是0。在一示例中，M和O可以是8，N和P可以是7或8，A和C可以是8，B和D可以是3或4。在一示例中，M可以是16O可以是4，N和P可以是7或8，A可以是16，C可以是4，B和D可以是3或4。在一示例中，M可以是4O可以是16，N和P可以是7或8，A可以是4和C可以是16，B和D可以是3或4。
在另一实施例中，垂直方向约束和水平方向约束可以分开。例如，在公式简化之后，约束可按如下方式重写。
CurPicWidth*(M*refPicOutputWidthL+N*PicOutputWidthL)<＝SpsMaxPicWidth*(M+N)*PicOutputWidthL*Ty_x。
CurPicHeight*(O*refPicOutputHeightL+P*PicOutputHeightL)<＝SpsMaxPicHeight*(O+P)*PicOutputHeightL*Ty_y。
类似地，对于色度分量，约束如下。
CurPicWidth*(A/SubWidthC*refPicOutputWidthL+B*PicOutputWidthL)<＝SpsMaxPicWidth*(A/SubWidthC+B)*PicOutputWidthL*Tc_x。
CurPicHeight*(C/SubHeightC*refPicOutputHeightL+D*PicOutputHeightL)<＝SpsMaxPicHeight*(C/SubHeightC+D)*PicOutputHeightL*Tc_y。
在以上等式中，对于4：2：0、4：2：2和4：4：4，(SubWidthC，SubHeightC)分别是(2，2)，(2，1)和(1，1)。
在一示例中，在公式简化之后，约束可重写如下。
CurPicWidth*(16*refPicOutputWidthL+7*PicOutputWidthL)<＝SpsMaxPicWidth*(16+7)*PicOutputWidthL*Ty_x。
CurPicHeight*(4*refPicOutputHeightL+7*PicOutputHeightL)<＝SpsMaxPicHeight*(4+7)*PicOutputHeightL*Ty_y。
CurPicWidth*(4*refPicOutputWidthL+7*PicOutputWidthL)<＝SpsMaxPicWidth*(4+7)*PicOutputWidthL*Ty_x。
CurPicHeight*(16*refPicOutputHeightL+7*PicOutputHeightL)<＝SpsMaxPicHeight*(16+7)*PicOutputHeightL*Ty_y。
在另一示例中，约束可重写如下：
CurPicWidth*(4*refPicOutputWidthL+7*PicOutputWidthL)<＝SpsMaxPicWidth*(4+7)*PicOutputWidthL*Ty_x。
CurPicHeight*(4*refPicOutputHeightL+7*PicOutputHeightL)<＝SpsMaxPicHeight*(4+7)*PicOutputHeightL*Ty_y。
在另一示例中，约束可重写如下：
CurPicWidth*(16*refPicOutputWidthL+7*PicOutputWidthL)<＝SpsMaxPicWidth*(16+7)*PicOutputWidthL*Ty_x。
CurPicHeight*(16*refPicOutputHeightL+7*PicOutputHeightL)<＝SpsMaxPicHeight*(16+7)*PicOutputHeightL*Ty_y。
类似地，对于色度分量，约束如下：
CurPicWidth*(16/SubWidthC*refPicOutputWidthL+3*PicOutputWidthL)<＝SpsMaxPicWidth*(16/SubWidthC+3)*PicOutputWidthL*Tc_x。
CurPicHeight*(4/SubHeightC*refPicOutputHeightL+3*PicOutputHeightL)<＝SpsMaxPicHeight*(4/SubHeightC+3)*PicOutputHeightL*Tc_y。
CurPicWidth*(4/SubWidthC*refPicOutputWidthL+3*PicOutputWidthL)<＝SpsMaxPicWidth*(4/SubWidthC+3)*PicOutputWidthL*Tc_x。
CurPicHeight*(16/SubHeightC*refPicOutputHeightL+3*PicOutputHeightL)<＝SpsMaxPicHeight*(16/SubHeightC+3)*PicOutputHeightL*Tc_y。
在另一示例中，约束可重写如下：
CurPicWidth*(4/SubWidthC*refPicOutputWidthL+3*PicOutputWidthL)<＝SpsMaxPicWidth*(4/SubWidthC+3)*PicOutputWidthL*Tc_x。
CurPicHeight*(4/SubHeightC*refPicOutputHeightL+3*PicOutputHeightL)<＝SpsMaxPicHeight*(4/SubHeightC+3)*PicOutputHeightL*Tc_y。
在另一示例中，约束可重写如下：
CurPicWidth*(16/SubWidthC*refPicOutputWidthL+3*PicOutputWidthL)<＝SpsMaxPicWidth*(16/SubWidthC+3)*PicOutputWidthL*Tc_x。
CurPicHeight*(16/SubHeightC*refPicOutputHeightL+3*PicOutputHeightL)<＝SpsMaxPicHeight*(16/SubHeightC+3)*PicOutputHeightL*Tc_y。
在以上等式中，对于4：2：0、4：2：2和4：4：4，(SubWidthC，SubHeightC)分别是(2，2)，(2，1)和(1，1)。
在另一实施例中，滤波器抽头长度可被忽略。例如，在公式简化之后，约束可重写如下：
CurPicWidth*CurPicHeight*refPicOutputWidthL*refPicOutputHeightL<＝SpsMaxPicWidth*SpsMaxPicHeight*PicOutputWidthL*PicOutputHeightL*T。
在另一示例中，约束可重写如下：
CurPicWidth*refPicOutputWidthL<＝SpsMaxPicWidth*PicOutputWidthL*Tx。
CurPicHeight*refPicOutputHeightL<＝SpsMaxPicHeight*PicOutputHeightL*Ty。
在另一实施例中，在上述方法中，图像或缩放窗口的宽度或高度可由图像/缩放窗口的宽度/高度中的CTU数量替换。
方法2：当缩放比例大于阈值时，小的帧间块被禁能。
对于运动补偿，由于插值滤波器的作用，较小的块每个样本需要较大的带宽。为了减小内存带宽，当缩放比例大于阈值时，建议禁能小的帧间块。例如，当缩放比例大于K或大于或等于K时，高度和/或高度小于N的帧间块被禁能。在另一示例中，当缩放比例大于K时，面积小于M的帧间块被禁能。K可以是1、1.25、1.5、1.75或2.0。N可以是8、16或32。M可以是32、64、128、256、512或1024。
在一实施例中，RefPicIsScaled[][][0]和/或RefPicIsScaled[][][1]可被使用。例如，当RefPicIsScaled[][][0]和/或RefPicIsScaled[][][1]大于K或大于或等于K时，高度和/或高度小于N的帧间块被禁能。在另一示例中，当RefPicIsScaled[][][0]和/或RefPicIsScaled[][][1]大于K时，面积小于M的帧间块被禁能。K可以是(1、1.25、1.5、1.75或2.0)*2^P，其中P可以是14。N可以是8、16或32。M可以是32、64、128、256、512或1024。
方法-3：在当前缩放窗口之外没有帧间预测
在所提出的方法中，如果当前CU在当前图像缩放窗口之外，则编码器不应对该帧CU使用帧间模式。因此，比特流应具有这样的一致性，即缩放窗口外的CU全部都不应处于帧间模式。在另一实施例中，相关的语法可被保存。例如，缩放窗口之外的任一CU将仅需要发送与帧内模式有关的语法，从而所有与帧间模式有关的语法可被保存。这种方法还将保证最坏情况下的带宽。
在以上公开的方法中，对RPR的缩放的约束在各种等式或公式中被示出。这些等式或公式并非旨在提供基于本发明实施例的可能实现的详尽列表。如本领域中已知的，通过重新排列或重新组合这些等式或公式中的术语，这些等式或公式可具有各种形式。本发明的实施例涵盖所有等效等式或公式。
实现任一上述提出的方法可在编码器和/或解码器中。例如，任一所提出的方法可在编码器的缩放或运动补偿模块或参数确定模块，和/或解码器的缩放或运动补偿模块或参数确定模块中实现。可替代地，所提出的方法中的任一实现为与编码器的缩放或运动补偿模块或参数确定模块和/或解码器的缩放或运动补偿模块或参数确定模块耦合的一个或多个电路，以便提供缩放或运动补偿模块或参数确定模块所需的信息。
视频编码器必须遵循上述语法设计以便生成合法的比特流，以及只有在解析过程符合上述语法设计的情况下，视频解码器才能够正确地解码比特流。当语法在比特流中被跳过时，编码器和解码器应将语法值设置为推断值，以确保编码和解码结果匹配。
图2示出根据本发明的实施例的引入约束的参考图像重采样(RPR)参数的系统的示例性框图。流程图中所示的步骤以及本公开中的其他后续流程图可被实现为可在编码器侧和/或解码器侧的一个或多个处理器(例如，一个或多个CPU)上执行的程序代码。流程图中所示的步骤还可基于诸如被布置为执行流程图中的步骤的一个或多个电子设备或处理器之类的硬件来实现。根据该方法，在步骤210中，与视频序列的编码数据相对应的比特流在编码器侧生成或在解码器侧接收，比特流符合比特流一致性：一个或多个约束被满足，该一个或多个约束与一组RPR参数有关，该组RPR参数包括当前图像的缩放窗口宽度或高度，参考图像的缩放窗口宽度或高度，当前图像宽度或高度，以及指定用于视频序列的最大图像宽度或高度，其中RPR模式的缩放信息使用该组RPR参数导出。在步骤220中，当RPR模式被致能用于目标图像时，通过使用缩放信息，视频序列的该目标图像在编码器侧进行编码，或者在解码器侧进行解码。
所示的流程图旨在说明根据本发明的实施例的示例。所属技术领域的技术人员可以修改每个步骤，重新布置步骤，拆分步骤或组合步骤以实践本发明，而不背离本发明的精神。
上述描述被给出以使所属技术领域的技术人员能够实践在特定应用及其要求的上下文中提供的本发明。对所描述的实施例的各种修改对于所属技术领域的技术人员将是显而易见的，以及本文中定义的一般原理可以应用于其他实施例。因此，本发明不旨在限于所示出和描述的特定实施例，而是与符合本文公开的原理和新颖性特征的最宽范围相一致。在以上详细描述中，示出了各种具体细节以便提供对本发明的透彻理解。然而，所属技术领域的技术人员将理解，本发明可被实施。
如上所述的本发明的实施例可以以各种硬件，软件代码或两者的组合来实现。例如，本发明的实施例可以是集成到视频压缩芯片中的一个或多个电路或集成到视频压缩软件中以执行本文描述的处理的程序代码。本发明的实施例还可以是在数字信号处理器(Digital Signal Processor，DSP)上执行以执行本文描述的处理的程序代码。本发明还可涉及由计算机处理器，数字信号处理器，微处理器或现场可程序设计门阵列(fieldprogrammable gate arragy，简称FPGA)执行的许多功能。该些处理器可被配置为通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码来执行根据本发明的特定任务。软件代码或固件代码可以不同的程序设计语言和不同的格式或样式来开发。软件代码也可被编译用于不同的目标平台。然而，不同的代码格式，软件代码的样式和语言以及配置代码以执行根据本发明的任务的其他手段将不脱离本发明的精神和范围。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他特定形式实施。所描述的示例在所有方面仅应被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是上述描述来指示。落在权利要求的等同含义和范围内的所有改变均应包含在其范围之内。

Claims (18)

1.一种用于编解码视频序列的方法，其中参考图像重采样模式被支持，所述方法包括：
在编码器侧生成或在解码器侧接收对应于所述视频序列的编码数据的比特流，其中所述比特流符合比特流一致性：一个或多个约束被满足，其中所述一个或多个约束与一组参考图像重采样参数有关，所述组参考图像重采样参数包括当前图像的缩放窗口宽度或高度，参考图像的缩放窗口宽度或高度，当前图像宽度或高度，以及指定用于所述视频序列的最大图像宽度或高度，其中所述参考图像重采样模式的缩放信息使用所述组参考图像重采样参数导出；以及
使用所述缩放信息，在所述编码器侧编码或在所述解码器侧解码所述视频序列的一目标图像。
2.如权利要求1所述的用于编解码视频序列的方法，其特征在于，所述一个或多个约束包括：第一项值小于或等于(SpsMaxPicWidth*PicOutputWidthL)，以及其中，根据CurPicWidth和refPicOutputWidthL，所述第一项值被确定，以及其中CurPicWidth对应于所述当前图像宽度，refPicOutputWidthL对应于所述参考图像的所述缩放窗口宽度，PicOutputWidthL对应于所述当前图像的所述缩放窗口宽度，以及SpsMaxPicWidth对应于指定用于所述视频序列的所述最大图像宽度。
3.如权利要求1所述的用于编解码视频序列的方法，其特征在于，所述一个或多个约束包括：(CurPicWidth*refPicOutputWidthL)小于或等于(SpsMaxPicWidth*PicOutputWidthL)，以及其中CurPicWidth对应于所述当前图像宽度，refPicOutputWidthL对应于所述参考图像的所述缩放窗口宽度，PicOutputWidthL对应于所述当前图像的所述缩放窗口宽度，以及SpsMaxPicWidth对应于指定用于所述视频序列的所述最大图像宽度。
4.如权利要求1所述的用于编解码视频序列的方法，其特征在于，所述一个或多个约束包括：第二项值小于或等于(SpsMaxPicHeight*PicOutputHeight)，以及其中所述第二项值根据CurPicHeight和refPicOutputHeight确定，以及其中CurPicHeight对应于所述当前图像高度，refPicOutputHeight对应于所述参考图像的所述缩放窗口高度，PicOutputHeight对应于所述当前图像的所述缩放窗口高度，而SpsMaxPicHeight对应于指定用于所述视频序列的所述最大图像高度。
5.如权利要求1所述的用于编解码视频序列的方法，其特征在于，所述一个或多个约束包括：(CurPicHeight*refPicOutputHeight)小于或等于(SpsMaxPicHeight*PicOutputHeight)，以及其中CurPicHeight对应于所述当前图像高度，refPicOutputHeight对应于所述参考图像的所述缩放窗口高度，PicOutputHeight对应于所述当前图像的所述缩放窗口高度，而SpsMaxPicHeight对应于指定用于所述视频序列的所述最大图像高度。
6.如权利要求1所述的用于编解码视频序列的方法，其特征在于，所述一个或多个约束包括(pic_width_in_luma_samples*pic_height_in_luma_samples*(16*refPicOutputWidthL+7*PicOutputWidthL)*(4*refPicOutputHeightL+7*PicOutputHeightL))小于或等于(pic_width_max_in_luma_samples*pic_height_max_in_luma_samples height*253*PicOutputWidthL*PicOutputHeightL)，以及其中pic_width_in_luma_samples和pic_height_in_luma_samples分别对应于以亮度样本为单位的当前图像宽度和高度，refPicOutputWidthL和refPicOutputHeightL分别对应于所述参考图像的所述缩放窗口宽度和高度，PicOutputWidthL和PicOutputHeightL对应于所述当前图像的所述缩放窗口宽度和高度，pic_width_max_in_luma_samples和pic_height_max_in_luma_samples分别对应于以亮度样本为单位的最大图像宽度和高度。
7.如权利要求1所述的用于编解码视频序列的方法，其特征在于，所述一个或多个约束包括(pic_width_in_luma_samples*pic_height_in_luma_samples*(4*refPicOutputWidthL+7*PicOutputWidthL)*(16*refPicOutputHeightL+7*PicOutputHeightL))小于或等于(pic_width_max_in_luma_samples*pic_height_max_in_luma_samples height*253*PicOutputWidthL*PicOutputHeightL)，其中pic_width_in_luma_samples和pic_height_in_luma_samples分别对应于以亮度样本为单位的当前图像宽度和高度，refPicOutputWidthL和refPicOutputHeightL分别对应于所述参考图像的所述缩放窗口宽度和高度，PicOutputWidthL和PicOutputHeightL对应于所述当前图像的所述缩放窗口宽度和高度，以及pic_width_max_in_luma_samples和pic_height_max_in_luma_samples分别对应于以亮度样本为单位的最大图像宽度和高度。
8.如权利要求1所述的用于编解码视频序列的方法，其特征在于，所述一个或多个约束包括(CurPicWidth*CurPicHeight*refPicOutputWidthL*refPicOutputHeightL)小于或等于(SpsMaxPicWidth*SpsMaxPicHeight*PicOutputWidthL*PicOutputHeightL)，以及其中CurPicWidth和CurPicHeight分别对应于所述当前图像宽度和高度，refPicOutputWidthL和refPicOutputHeightL分别对应于所述参考图像的所述缩放窗口宽度和高度，PicOutputWidthL和PicOutputHeightL分别对应于所述当前图像的所述缩放窗口宽度和高度，SpsMaxPicWidth和SpsMaxPicHeight分别对应于指定用于所述视频序列的所述最大图像宽度和高度。
9.如权利要求1所述的用于编解码视频序列的方法，其特征在于，所述一个或多个约束包括：(pic_width_in_luma_samples*pic_height_in_luma_samples*(8*refPicOutputWidthL+7*PicOutputWidthL)*(8*refPicOutputHeightL+7*PicOutputHeightL)小于或等于(pic_width_max_in_luma_samples*pic_height_max_in_luma_samples height*225*PicOutputWidthL*PicOutputHeightL)，其中pic_width_in_luma_samples和pic_height_in_luma_samples分别对应于以亮度样本为单位的当前图像宽度和高度，refPicOutputWidthL和refPicOutputHeightL分别对应于所述参考图像的所述缩放窗口宽度和高度，PicOutputWidthL和PicOutputHeightL对应于所述当前图像的所述缩放窗口宽度和高度，pic_width_max_in_luma_samples和pic_height_max_in_luma_samples分别对应于以亮度样本为单位的最大图像宽度和高度。
10.一种用于编解码视频序列的装置，其中参考图像重采样模式被支持，所述装置包括一个或多个电子电路，被设置为：
在编码器侧生成或在解码器侧接收对应于所述视频序列的编码数据的比特流，其中所述比特流符合比特流一致性：一个或多个约束被满足，其中所述一个或多个约束与一组参考图像重采样参数有关，所述组参考图像重采样参数包括当前图像的缩放窗口宽度或高度，参考图像的缩放窗口宽度或高度，当前图像宽度或高度，以及指定用于所述视频序列的最大图像宽度或高度，其中所述参考图像重采样模式的缩放信息使用所述组参考图像重采样参数导出；以及
使用所述缩放信息，在所述编码器侧编码或在所述解码器侧解码所述视频序列的目标图像。
11.如权利要求10所述的用于编解码视频序列的装置,所述一个或多个约束包括：第一项值小于或等于(SpsMaxPicWidth*PicOutputWidthL)，以及其中，根据CurPicWidth和refPicOutputWidthL，所述第一项值被确定，以及其中CurPicWidth对应于所述当前图像宽度，refPicOutputWidthL对应于所述参考图像的所述缩放窗口宽度，PicOutputWidthL对应于所述当前图像的所述缩放窗口宽度，以及SpsMaxPicWidth对应于指定用于所述视频序列的所述最大图像宽度。
12.如权利要求10所述的用于编解码视频序列的装置，其特征在于，所述一个或多个约束包括：(CurPicWidth*refPicOutputWidthL)小于或等于(SpsMaxPicWidth*PicOutputWidthL)，以及其中CurPicWidth对应于所述当前图像宽度，refPicOutputWidthL对应于所述参考图像的所述缩放窗口宽度，PicOutputWidthL对应于所述当前图像的所述缩放窗口宽度，以及SpsMaxPicWidth对应于指定用于所述视频序列的所述最大图像宽度。
13.如权利要求10所述的用于编解码视频序列的装置，其特征在于，所述一个或多个约束包括：第二项值小于或等于(SpsMaxPicHeight*PicOutputHeight)，以及其中所述第二项值根据CurPicHeight和refPicOutputHeight确定，以及其中CurPicHeight对应于所述当前图像高度，refPicOutputHeight对应于所述参考图像的所述缩放窗口高度，PicOutputHeight对应于所述当前图像的所述缩放窗口高度，而SpsMaxPicHeight对应于指定用于所述视频序列的所述最大图像高度。
14.如权利要求10所述的用于编解码视频序列的装置，其特征在于，所述一个或多个约束包括：(CurPicHeight*refPicOutputHeight)小于或等于(SpsMaxPicHeight*PicOutputHeight)，以及其中CurPicHeight对应于所述当前图像高度，refPicOutputHeight对应于所述参考图像的所述缩放窗口高度，PicOutputHeight对应于所述当前图像的所述缩放窗口高度，而SpsMaxPicHeight对应于指定用于所述视频序列的所述最大图像高度。
15.如权利要求10所述的用于编解码视频序列的装置，其特征在于，所述一个或多个约束包括(pic_width_in_luma_samples*pic_height_in_luma_samples*(16*refPicOutputWidthL+7*PicOutputWidthL)*(4*refPicOutputHeightL+7*PicOutputHeightL))小于或等于(pic_width_max_in_luma_samples*pic_height_max_in_luma_samples height*253*PicOutputWidthL*PicOutputHeightL)，以及其中pic_width_in_luma_samples和pic_height_in_luma_samples分别对应于以亮度样本为单位的当前图像宽度和高度，refPicOutputWidthL和refPicOutputHeightL分别对应于所述参考图像的所述缩放窗口宽度和高度，PicOutputWidthL和PicOutputHeightL对应于所述当前图像的所述缩放窗口宽度和高度，pic_width_max_in_luma_samples和pic_height_max_in_luma_samples分别对应于以亮度样本为单位的最大图像宽度和高度。
16.如权利要求10所述的用于编解码视频序列的装置，其特征在于，所述一个或多个约束包括(pic_width_in_luma_samples*pic_height_in_luma_samples*(4*refPicOutputWidthL+7*PicOutputWidthL)*(16*refPicOutputHeightL+7*PicOutputHeightL))小于或等于(pic_width_max_in_luma_samples*pic_height_max_in_luma_samples height*253*PicOutputWidthL*PicOutputHeightL)，其中pic_width_in_luma_samples和pic_height_in_luma_samples分别对应于以亮度样本为单位的当前图像宽度和高度，refPicOutputWidthL和refPicOutputHeightL分别对应于所述参考图像的所述缩放窗口宽度和高度，PicOutputWidthL和PicOutputHeightL对应于所述当前图像的所述缩放窗口宽度和高度，以及pic_width_max_in_luma_samples和pic_height_max_in_luma_samples分别对应于以亮度样本为单位的最大图像宽度和高度。
17.如权利要求10所述的用于编解码视频序列的装置，其特征在于，所述一个或多个约束包括(CurPicWidth*CurPicHeight*refPicOutputWidthL*refPicOutputHeightL)小于或等于(SpsMaxPicWidth*SpsMaxPicHeight*PicOutputWidthL*PicOutputHeightL)，以及其中CurPicWidth和CurPicHeight分别对应于所述当前图像宽度和高度，refPicOutputWidthL和refPicOutputHeightL分别对应于所述参考图像的所述缩放窗口宽度和高度，PicOutputWidthL和PicOutputHeightL分别对应于所述当前图像的所述缩放窗口宽度和高度，SpsMaxPicWidth和SpsMaxPicHeight分别对应于指定用于所述视频序列的所述最大图像宽度和高度。
18.如权利要求10所述的用于编解码视频序列的方法，其特征在于，所述一个或多个约束包括：(pic_width_in_luma_samples*pic_height_in_luma_samples*(8*refPicOutputWidthL+7*PicOutputWidthL)*(8*refPicOutputHeightL+7*PicOutputHeightL)小于或等于(pic_width_max_in_luma_samples*pic_height_max_in_luma_samples height*225*PicOutputWidthL*PicOutputHeightL)，其中pic_width_in_luma_samples和pic_height_in_luma_samples分别对应于以亮度样本为单位的当前图像宽度和高度，refPicOutputWidthL和refPicOutputHeightL分别对应于所述参考图像的所述缩放窗口宽度和高度，PicOutputWidthL和PicOutputHeightL对应于所述当前图像的所述缩放窗口宽度和高度，pic_width_max_in_luma_samples和pic_height_max_in_luma_samples分别对应于以亮度样本为单位的最大图像宽度和高度。
CN202080092706.9A 2019-12-11 2020-12-11 视频编码的参考图像重采样中考虑最差情况带宽的缩放窗限制的方法和装置 Pending CN114982236A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201962946542P 2019-12-11 2019-12-11
US62/946,542 2019-12-11
US201962953232P 2019-12-24 2019-12-24
US62/953,232 2019-12-24
US201962954020P 2019-12-27 2019-12-27
US62/954,020 2019-12-27
US17/117,724 US11438611B2 (en) 2019-12-11 2020-12-10 Method and apparatus of scaling window constraint for worst case bandwidth consideration for reference picture resampling in video coding
US17/117,724 2020-12-10
PCT/CN2020/135817 WO2021115443A1 (en) 2019-12-11 2020-12-11 Method and apparatus of scaling window constraint for worst case bandwidth consideration for reference picture resampling in video coding

Publications (1)

Publication Number Publication Date
CN114982236A true CN114982236A (zh) 2022-08-30

Family

ID=76317197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080092706.9A Pending CN114982236A (zh) 2019-12-11 2020-12-11 视频编码的参考图像重采样中考虑最差情况带宽的缩放窗限制的方法和装置

Country Status (6)

Country Link
US (1) US11438611B2 (zh)
EP (1) EP4074028A4 (zh)
KR (1) KR20220107297A (zh)
CN (1) CN114982236A (zh)
TW (1) TWI779417B (zh)
WO (1) WO2021115443A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023526372A (ja) * 2020-05-21 2023-06-21 北京字節跳動網絡技術有限公司 映像コーディングにおけるスケーリングウィンドウ
CN114025168B (zh) * 2021-09-30 2023-08-04 浙江大华技术股份有限公司 视频图像的处理方法、处理设备、电子设备以及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8135068B1 (en) 2005-07-19 2012-03-13 Maxim Integrated Products, Inc. Method and/or architecture for motion estimation using integrated information from camera ISP
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8675738B2 (en) 2008-08-06 2014-03-18 Mediatek Inc. Video decoding method without using additional buffers for storing scaled frames and system thereof
TWI387317B (zh) 2008-12-11 2013-02-21 Novatek Microelectronics Corp 產生重新取樣參考畫面之裝置及其方法與影像解碼系統
US20130016769A1 (en) 2011-07-17 2013-01-17 Qualcomm Incorporated Signaling picture size in video coding
PL2822276T3 (pl) 2012-02-29 2019-04-30 Lg Electronics Inc Sposób predykcji międzywarstwowej i stosujące go urządzenie
US20130321675A1 (en) 2012-05-31 2013-12-05 Apple Inc. Raw scaler with chromatic aberration correction
US20140092978A1 (en) 2012-10-01 2014-04-03 Nokia Corporation Method and apparatus for video coding
US9998735B2 (en) 2013-04-01 2018-06-12 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding
US20140301463A1 (en) 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
CN108650514A (zh) 2013-07-14 2018-10-12 夏普株式会社 瓦片对齐信令和一致性约束
WO2015105385A1 (ko) 2014-01-09 2015-07-16 삼성전자 주식회사 스케일러블 비디오 부호화/복호화 방법 및 장치
EP4020983A1 (en) * 2014-12-31 2022-06-29 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
WO2017052250A1 (ko) 2015-09-23 2017-03-30 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
CN109076222B9 (zh) 2016-05-13 2021-10-15 索尼公司 图像处理装置和方法
JP6781340B2 (ja) 2016-09-22 2020-11-04 エルジー エレクトロニクス インコーポレイティド 映像コーディングシステムにおける照度補償基盤インター予測方法及び装置
EP3522533A4 (en) 2016-09-30 2019-09-11 Sony Corporation IMAGE PROCESSING APPARATUS AND METHOD
US10708591B2 (en) 2017-03-20 2020-07-07 Qualcomm Incorporated Enhanced deblocking filtering design in video coding

Also Published As

Publication number Publication date
TW202130186A (zh) 2021-08-01
US20210185332A1 (en) 2021-06-17
EP4074028A4 (en) 2024-01-17
TWI779417B (zh) 2022-10-01
WO2021115443A1 (en) 2021-06-17
US11438611B2 (en) 2022-09-06
KR20220107297A (ko) 2022-08-02
EP4074028A1 (en) 2022-10-19

Similar Documents

Publication Publication Date Title
US8867618B2 (en) Method and apparatus for weighted prediction for scalable video coding
JP7391203B2 (ja) ビデオコーディングツールを洗練する使用およびシグナリング
JP2024009018A (ja) サブピクチャのパラメータセットシグナリングにおける構文制約
CN114641992B (zh) 参考图片重采样的信令
WO2021136375A1 (en) Video encoding or decoding methods and apparatuses related to high-level information signaling
CN117319645A (zh) 用于处理视频数据的方法、装置以及计算机可读存储介质
US11665345B2 (en) Method and apparatus of luma-chroma separated coding tree coding with constraints
KR20220100076A (ko) 강제적인 계층별 비디오 코딩의 방법 및 장치
TWI784368B (zh) 用於編解碼視訊序列之方法和裝置
JP2023526375A (ja) サブピクチャサブビットストリーム抽出処理におけるスケーリングウィンドウ
CN114982236A (zh) 视频编码的参考图像重采样中考虑最差情况带宽的缩放窗限制的方法和装置
JP2023522115A (ja) 変換スキップ残差コーディング
CN115004707A (zh) 自适应颜色变换和量化参数之间的相互作用
JP2023529420A (ja) コーディングされた映像ピクチャにおけるスライスカウントの制約
JP2023529972A (ja) コーディングされた映像における量子化情報の信号通知
JP2023523839A (ja) 動き精度構文のためのエントロピーコーディング
JP2023519937A (ja) 映像コーディングにおける同一位置に配置されたピクチャに対する制約
CN115699731A (zh) 参考图片重采样
JP7416974B2 (ja) 映像コーディングにおけるスライスタイプ
US20230007281A1 (en) Video Encoding or Decoding Methods and Apparatuses with Scaling Ratio Constraint
WO2023246901A1 (en) Methods and apparatus for implicit sub-block transform coding
CN115462085A (zh) 视频编解码中滤波的高级控制

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination