CN118077198A

CN118077198A - 用于对视频进行编码/解码的方法和装置

Info

Publication number: CN118077198A
Application number: CN202280065077.XA
Authority: CN
Inventors: F·加尔平; K·纳赛尔; P·博尔德斯; F·莱莱昂内克
Original assignee: InterDigital CE Patent Holdings SAS
Current assignee: InterDigital CE Patent Holdings SAS
Priority date: 2021-09-29
Filing date: 2022-09-15
Publication date: 2024-05-24
Also published as: WO2023052141A1; EP4409891A1; KR20240087768A

Abstract

提出了用于高效地对视频进行编码或解码的方法和装置。例如，获得表示图片的一部分的视频数据，发信号通知至少一个语法数据元素，该至少一个语法数据元素指定适配编码或解码以模拟应用于图片的该部分的降低的分辨率；以及对视频数据进行编码/解码，其中编码/解码的至少一个过程适于模拟应用于图片的该部分的降低的分辨率。

Description

用于对视频进行编码/解码的方法和装置

技术领域

本实施方案中的至少一个通常涉及一种用于视频编码或解码的方法或装置，并且更具体地涉及用于视频编码或解码的方法或装置，其中，发信号通知至少一个语法数据元素，该至少一个语法数据元素指定适配编码或解码以模拟应用于图片的一部分的降低的分辨率。

背景技术

为了实现高压缩效率，图像和视频编码方案通常采用包括运动向量预测在内的预测以及变换来利用视频内容中的空间和时间冗余。一般来讲，帧内或帧间预测用于利用帧内或帧间相关性，然后对在原始图像与预测图像之间的差值(通常表示为预测错误或预测残差)进行变换、量化和熵编码。为了重建视频，通过对应于熵编码、量化、变换和预测的逆过程对压缩数据进行解码。

对视频压缩技术的最近添加包括各种行业标准、参考软件的版本和/或文档，诸如由JVET(联合视频探索团队)组开发的联合探索模型(JEM)和后续的VTM(多功能视频编码(VVC)测试模型)。其目的是进一步改进现有HEVC(高效视频编码)标准。

根据特定特征，动态地重缩放参考图片重采样(RPR)、原始和重建图片，以便在编码效率和复杂度之间比在恒定图片分辨率下的经典视频编码更好的权衡。然而，RPR阻止了一些工具的使用，因为参考图片和当前图片不处于相同的空间分辨率。用于编码和解码的现有方法示出了RPR的一些限制。因此，需要改进现有技术。

发明内容

通过本文所述的一般方面解决和处理现有技术的缺点和不足。

根据第一方面，提供了一种方法。该方法包括通过获得表示图片的一部分的视频数据来进行视频解码；对至少一个语法数据元素进行解码，该至少一个语法数据元素指定适配解码以模拟应用于该图片的该部分的降低的分辨率；以及对视频数据进行解码，其中解码的至少一个过程适于模拟应用于图片的该部分的降低的分辨率。

根据另一方面，提供了第二方法。该方法包括通过获得表示图片的一部分的视频数据以进行编码来进行视频编码；对至少一个语法数据元素进行编码，该至少一个语法数据元素指定适配编码以模拟应用于该图片的该部分的降低的分辨率；以及对视频数据进行编码，其中编码的至少一个过程适于模拟应用于图片的该部分的降低的分辨率。

根据另一方面，提供了一种装置。该装置包括一个或多个处理器，其中该一个或多个处理器被配置为根据其变体中的任一个变体实施用于视频解码的方法。根据另一方面，用于视频解码的装置包括：用于获得表示图片的一部分的视频数据的构件；用于对至少一个语法数据元素进行解码的构件，该至少一个语法数据元素指定适配解码以模拟应用于该图片的该部分的降低的分辨率；以及用于对视频数据进行解码的构件，其中，用于解码的构件适于模拟应用于图片的该部分的降低的分辨率。

根据另一方面，提供了另一种装置。该装置包括一个或多个处理器，其中该一个或多个处理器被配置为根据其变体中的任一个变体实施用于视频编码的方法。根据另一方面，用于视频编码的装置包括：用于获得表示图片的一部分的视频数据以进行编码的构件；用于对至少一个语法数据元素进行编码的构件，该至少一个语法数据元素指定适配编码以模拟应用于该图片的该部分的降低的分辨率；以及用于对视频数据进行编码的构件，其中，用于编码的构件适于模拟应用于图片的该部分的降低的分辨率。

根据至少一个实施方案的另一个一般方面，指定图片的降低的分辨率的至少一个语法数据元素被进一步编码/解码。

根据至少一个实施方案的另一个一般方面，用于根据图片的分辨率改变来指定图片的大小的语法数据被用于隐式地导出图片的该部分的降低的分辨率。

根据至少一个实施方案的另一个一般方面，指定图片的降低的分辨率的至少一个语法数据元素被添加到用于针对图片的分辨率改变指定图片的大小的语法数据。

根据至少一个实施方案的另一个一般方面，适于模拟降低的分辨率的编码或解码的至少一个过程是变换、运动补偿、分区、后滤波、解码顺序中的一者。

根据至少一个实施方案的另一个一般方面，对图片的CU大小约束中的至少一个CU大小约束适于模拟降低的分辨率。

根据至少一个实施方案的另一个一般方面，在切片、图片参数集(PPS)、序列参数集(SPS)、适配参数集(APS)中的一者中，发信号通知指定适配解码以模拟应用于图片的该部分的降低的分辨率的至少一个语法数据元素，或者指定图片的降低的分辨率的至少一个语法数据元素，或者指定被添加到已经被用于针对图片的分辨率改变指定图片的大小的语法数据的图片的降低的分辨率的至少一个语法数据元素。

根据至少一个实施方案的另一个一般方面，提供了一种设备，该设备包括：根据解码实施方案中的任一实施方案的装置；以及以下项中的至少一者：(i)天线，该天线被配置为接收信号，该信号包括视频块；(ii)频带限制器，该频带限制器被配置为将所接收到的信号限制为包括该视频块的频带；或(iii)显示器，该显示器被配置为显示表示视频块的输出。

根据至少一个实施方案的另一个一般方面，提供了一种非暂态计算机可读介质，该非暂态计算机可读介质包括根据所描述的编码实施方案或变体中的任一者生成的数据内容。

根据至少一个实施方案的另一个一般方面，提供了一种信号，该信号包括根据所描述的编码实施方案或变体中的任一者生成的视频数据。

根据至少一个实施方案的另一个一般方面，比特流被格式化以包括根据所描述的编码实施方案或变体中的任一者生成的数据内容。

根据至少一个实施方案的另一个一般方面，提供了一种计算机程序产品，该计算机程序产品包括指令，当由计算机执行程序时，该指令使计算机执行所述编码/解码实施方案或变体中的任一个实施方案或变体。

通过将结合附图阅读的示例性实施方案的以下详细描述，一般方面的这些和其他方面、特征和优点将变得显而易见。

附图说明

在附图中，示出了若干实施方案的示例。

图1示出了一种编码方法，其中原始图片和重建图片被动态地重缩放，诸如利用RPR。

图2示出了一种解码方法，其中原始图片和重建图片被动态地重缩放，诸如利用RPR。

图3示出了根据RPR的实施方案的参考图片中的当前块和对应的参考块。

图4示出了根据RPR的实施方案的在运动补偿中使用的1D滤波。

图5示出了根据RPR的实施方案的两级运动补偿滤波。

图6示出了根据RPR的实施方案的两级运动补偿滤波中的水平滤波。

图7示出了根据RPR的实施方案的两级运动补偿滤波中的垂直滤波。

图8示出了根据至少一个实施方案的一般方面的通用编码方法。

图9示出了根据至少一个实施方案的一般方面的通用解码方法。

图10示出了半分辨率编码帧在原始分辨率下的投影。

图11示出了根据至少一个实施方案的一般方面的适于模拟RPR的变换过程。

图12和图13示出了根据至少一个实施方案的一般方面的CU编码顺序。

图14示出了根据至少一个实施方案的一般方面的ALF隐式参数复制。

图15示出了在其中可实现实施方案的各个方面的视频编码器的实施方案的框图。

图16示出了在其中可实现实施方案的各个方面的视频解码器的实施方案的框图。

图17示出了在其中可实现实施方案的各个方面的示例性装置的框图。

具体实施方式

应当理解，附图和描述已简化以说明与清楚理解本发明原理相关的元素，同时为了清楚起见，消除了在典型的编码和/或解码设备中发现的许多其他元素。应当理解，尽管在本文中可使用术语第一和第二来描述各种元件，但是这些元件不应受这些术语限制。这些术语仅用于将一个元件与另一元件区分开。

相对于对图像的编码/解码而描述了各种实施方案。这些实施方案可应用于对图像的一部分(诸如切片或图块，图块组或整个图像序列)进行编码/解码。

上文描述了各种方法，并且方法中的每一方法包括用于实现所描述的方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。

至少一些实施方案涉及用于对视频进行编码或解码的方法，其中发信号通知至少一个语法数据元素，该至少一个语法数据元素指定适配编码或解码以模拟应用于图片的该部分的降低的分辨率。与常规参考图片重采样(RPR)(其中为了在编码效率和复杂度之间比在恒定图片分辨率下的经典视频编码更好的权衡而动态地重缩放原始和重建图片)相比，在原始和重建图片之间以恒定分辨率执行编码和解码过程，但是该工具适于通过降低编码数据的分辨率来减少编码视频数据的量。

图1和图2分别示出了编码方法(100)和解码方法(200)，其中原始图片和重建图片被动态地重缩放，诸如利用VVC的RPR(用于参考图片重采样)工具。例如，此类编码器和解码器可符合VVC标准。

给定由大小为(图片宽度x图片高度)的图片组成的原始视频序列，编码器可以针对每个帧选择用于对帧进行编码的分辨率(图片大小)。不同的PPS(用于图片参数集)被编码在比特流中并且指示图片的大小。然后，切片/图片报头指示将使用哪个PPS来解码含有经编码的切片的当前VCL(视频编码层)NAL单元。在SPS(用于序列参数集)中发信号通知原始视频序列的图片大小。

诸如HEVC或VVC的一些现有的视频压缩标准未规定分别用作预处理或后处理的下采样器(140)和上采样器(240)功能。

对于每个帧，编码器选择是以原始分辨率还是缩小的分辨率(例如：图片宽度/高度除以2)进行编码。可通过编码或考虑原始图片中的空间和时间活动的两个过程来进行选择。因此，解码图片缓冲器(DPB)可包含具有与当前图片大小不同的大小的图片。

在DPB中的参考图片具有与当前图片不同的大小的情况下，在运动补偿过程期间隐式地进行参考块的重缩放(130/230)(上缩放重采样或下缩放重采样)以构建预测块。

图3示出了根据RPR的实施方案的参考图片中的当前块和对应的参考块。为了预测大小为(SXcur,SYcur)的当前块预测P(310)，对于P的每个样本Xcur，计算其在参考图片(Xref,Yref)中的位置。(Xref,Yref)的值是运动向量(MVx,Mvy)以及当前块大小与参考图片(SXref,Syref)中的对应区域之间的缩放比的函数(320)。

如图3所示，令(θx,θy)表示作为参考图片中的运动补偿点(Xref,Yref)的非整数部分的相位。具有以下等式：

在VVC中，用具有2的幂除法的值“scalingRatio”替换值“SXref/SXcur”，以便用移位替换除法。运动补偿(MC)使用两个单独的1D滤波器来减少计算量。

图4示出了根据与RPR相关的实施方案的在运动补偿中使用的1D滤波，图5示出了根据与RPR相关的实施方案的两级运动补偿滤波(500)。利用RPR的运动补偿(500)包括第一水平(520,600)运动补偿滤波和第二垂直(540,700)运动补偿滤波。因为水平和垂直滤波是单独的滤波器，所以它们以任何顺序被循序地处理。因此，根据图5的实施方案的变型，第一垂直运动补偿滤波之后是第二水平运动补偿滤波。

图6示出了根据RPR的实施方案的两级运动补偿滤波(500)中的水平滤波(600)。

图7示出了根据RPR的实施方案的两级运动补偿滤波(500)中的垂直滤波(700)。

在预备步骤(图5中未示出)中，根据对应于参考图片的参考索引及其相关联的大小来确定“缩放比(scalingRatio)”。然后，在步骤510中，根据当前图片310中的样本的位置的值(Xcur,Ycur)、根据运动向量(MVx,MVy)以及根据如等式(1)中所指示的缩放比来确定参考图片320中的样本的对应位置的值(Xref,Yref)。然后，在步骤520中，从参考图片Xref的样本的水平行的1D滤波获得样本的帧间预测。由于运动向量具有子像素精度，所以存在与子像素位置(相位)的数量一样多的1D滤波器。图4示出了1D滤波(440)，其中滤波器的系数w(i)被确定为相位(θx)的函数。重建的样本“rec”(这里是帧间预测)利用1D滤波被计算为：

在步骤530中，将重建的样本“rec”存储到大小为DPB的临时缓冲器(630)中。然后，在步骤540和550中对垂直维度应用相同的处理，其中从参考图片Yref的样本的垂直行的1D滤波获得样本的帧间预测，并将其存储在临时缓冲器中。

在以上描述中，认为当前图片和参考图片对应于同一窗口。这意味着如果运动为零，则两个图片的左上角样本和右下角样本对应于两个相同的场景点。如果不是这种情况，则应当向(Xref,Yref)添加偏移窗口参数。

VVC还包括有效的运动补偿工具，诸如DMVR(解码器侧运动细化)、BDOF(双向光流)、PROF(光流预测细化)、WRAPMV(运动向量的包装)、TMVP(时间运动向量预测)、SbTMVP(基于子块的时间运动向量预测)。然而，当帧分辨率改变时，一些工具被禁用，从而降低了压缩增益。因此，如果RPR被用于通过改变分辨率来优化速率/质量/复杂度权衡，则当参考图片和当前图片不处于相同空间分辨率时限制一些工具的使用(DMVR,BIO,PROF,WRAPMV,TMVP,SbTMVP)在速率失真方面表现不佳。

除了利用RPR之外，帧分辨率改变通常是可见的，从具有一些视觉伪像的全分辨率帧到具有较少视觉伪像的模糊帧。

因此，期望RPR的替代解决方案来实现低比特率。

这是通过本文描述的一般方面来解决和处理的，这些一般方面针对编码和解码方法，其中将指定适配编码/解码以便模拟降低的分辨率的标志应用于图片的一部分。

本原理依赖于模拟RPR工具的使用，即降低与帧相关的信息的分辨率，同时在编码器或解码器中保持相同的分辨率。因此，公开了向解码器指示RPR的模拟的一些语法元素，并且一些编码/解码工具和一些语法元素都适于应用于RPR模拟中的帧的缩放比。根据非限制性示例，下面公开了以下适配：

-变换的适配，包括归零、二次变换；

-运动向量分辨率适配；

-最大CTU大小适配、最小CU大小适配；

-后滤波器处理的大小适配。

本原理允许从帧分辨率改变中获益(减少要编码的信息量，减少语法开销)，但是不降低性能增益，因为仍然可以使用所有工具。此外，视觉质量更稳定，因为没有执行分辨率改变。

图8示出了根据至少一个实施方案的一般方面的通用编码方法(800)。图8的框图部分地表示例如在图15的示例性编码器中实现的编码器的模块或编码方法。在第一步骤82中，获得表示要编码的图片的一部分的视频数据。在第二步骤84中，编码器选择针对图片的一部分的降低的分辨率的模拟使用，并且在比特流中编码对应的语法元素，该对应的语法元素指定适配编码以便模拟应用于图片的该部分的降低的分辨率。在步骤86中，对视频数据进行编码，其中适配编码的至少一个过程以便模拟降低的分辨率。下文关于经修改的编码过程描述各种实施方案，这种实施方案作为非限制性实例包括例如变换、运动补偿(其中运动向量分辨率被修改)、分区(具有最大/最小编码单元大小设置)、后滤波。有利地，在RPR模拟中，当原始视频数据的分辨率和编码视频数据的分辨率相等时，较少的数据被编码。

图9示出了根据至少一个实施方案的一般方面的通用解码方法(900)。图9的框图部分地表示例如在图16的示例性解码器中实现的解码器的模块或解码方法。执行与编码处理相反的处理。在第一步骤92中，获得表示图片的一部分的经编码的视频数据。在第二步骤94中，指定适配解码以便模拟降低的分辨率的至少一个语法元素应用于图片的该部分。在步骤86中，经编码的视频数据被解码，其中解码的至少一个过程被适配以便模拟降低的分辨率。关于编码过程，下文关于经修改的解码过程描述各种实施方案，这种实施方案作为非限制性实例包括例如变换、运动补偿(其中运动向量分辨率被修改)、分区(具有最大/最小编码单元大小设置)、后滤波。

下面描述通用编码或解码方法的各种实施方案。

例如在VVC中公开的RPR工具被用于从一个分辨率切换到另一个分辨率。在其余描述中，为了简单起见，将假设缩放比在两个方向上都是原始分辨率的一半。然而，本原理不限于一半的缩放比，并且可以扩展到任何其他缩放比值。

图10示出了根据实施方案的半分辨率编码帧在原始分辨率下的投影。

在图10中，示出了例如帧的1/2分辨率编码的两种效果：

-1/2分辨率下的给定CU(CUd)等同于以双倍大小编码的相同CU(CUu)，但没有原始包含在CU中的高频。

-在1/2分辨率帧中给定分辨率(例如1/4像素分辨率MVd)编码的运动向量具有原始帧中分辨率的两倍分辨率(即1/2像素分辨率MVu)。

本原理将在不缩放编码帧的情况下模拟帧的1/2分辨率编码的这种效果。因此，根据实施方案，从编码器向解码器发信号通知至少一个语法元素，其中至少一个语法数据元素指定适配解码以模拟应用于帧的一部分的降低的分辨率。例如，对称为emulated_rpr的切片或图片级标志进行编码。该标志等于真意味着该帧在没有分辨率改变的情况下被编码，但是一些工具将被适配为“好像”分辨率被改变了一样。

根据第一实施方案，从编码器向解码器发信号通知帧的模拟分辨率。

根据第一实施方案的变型，还从编码器向解码器发信号通知至少一个语法元素，其中该至少一个语法数据元素指定了帧的模拟分辨率，诸如模拟分辨率的下缩放值。当emulated_rpr为真时，给出帧的模拟分辨率的附加参数也被编码，例如emulated_rpr_downscale_log2_minus1，如下表所示：

另选地，如在使用emulated_rpr_downscale_log2_minus1_x和emulated_rpr_downscale_log2_minus1_y的默认RPR模式中，针对垂直和水平方向的模拟下缩放帧的分辨率可以不同。

在又一变型中，下缩放因子的其它值与本原理兼容并且被用信号通知。

根据第一实施方案的另一变型，如在默认RPR模式中那样发信号通知模拟的下缩放帧的分辨率。为了完整起见，PPS语法在VVC中被指定(在章节7.3.2.5图片参数集RBSP语法中)如下：

当使用RPR时，pps_pic_width_in_luma_samples和pps_pic_height_in_luma_samples小于在SPS中用信号通知的sps_pic_width_max_at_luma_samples和sps_pic_height_max_in_luma_samples(见章节7.3.2.4序列参数集RBSP语法)。VVC的语义如下在章节7.4.3.5图片参数集RBSP语义中：

pps_pic_width_in_luma_samples以亮度样本为单位指定参考PPS的每个解码图片的宽度。pps_pic_width_in_luma_samples不应当等于0，应当是Max(8,MinCbSizeY)的整数倍，并且应当小于或等于sps_pic_width_max_in_luma_samples。

当sps_res_change_in_clvs_allowed_flag等于0时，pps_pic_width_in_luma_samples的值应等于sps_pic_width_max_in_luma_samples。

当sps_ref_wraparound_enabled_flag等于1时，(CtbSizeY/MinCbSizeY+1)的值应小于或等于(pps_pic_width_in_luma_samples/MinCbSizeY-1)的值。

pps_pic_height_in_luma_samples以亮度样本为单位指定参考PPS的每个解码图片的高度。pps_pic_height_in_luma_samples不应当等于0并且应当是Max(8,MinCbSizeY)的整数倍，并且应当小于或等于sps_pic_height_max_in_luma_samples。

当sps_res_change_in_clvs_allowed_flag等于0时，pps_pic_height_in_luma_samples的值应等于sps_pic_height_max_in_luma_samples。

因此，根据第一实施方案的该变型，PPS语法被修改以通过使用现有信令结合标志emulated_rpr来隐式地发信号通知分辨率。例如，PPS中的语法被如下改变(改变被加下划线)：

并且语义如下：

pps_pic_width_in_luma_samples以亮度样本为单位指定当emulated_rpr等于0 时参考PPS的每个解码图片的宽度。pps_pic_width_in_luma_samples不应当等于0，应当是Max(8,MinCbSizeY)的整数倍，并且应当小于或等于sps_pic_width_max_in_luma_samples。当emulated_rpr等于1时，pps_pic_width_in_luma_samples指定了模拟的图片的宽度，但是实际帧宽度由sps_pic_width_max_in_luma_samples给出。

这同样适用于pps_pic_height_in_luma_samples。

在所有其它地方，当pps_emulated_rpr等于1时，pps_pic_width_in_luma_samples被sps_pic_width_max_in_luma_samples替换。

然后导出以下值：

log2emulatedXscale＝log2(sps_pic_width_max_in_luma_samples/pps_pic_width_in_luma_samples)

log2emulatedYscale＝log2(sps_pic_height_max_in_luma_samples/pps_pic_height_in_luma_samples)

其中，log2emulatedScale＝min(log2emulatedXscale,log2emulatedYscale)

根据第一实施方案的另一变型，PPS语法被修改以通过使用新信令结合标志emulated_rpr来显式地发信号通知分辨率。例如，PPS中的语法被如下改变(改变被加下划线)：

在这种情况下，显式地发信号通知模拟大小，并且以与之前相同的方式使用pps_pic_width_in_luma_samples和pps_pic_height_in_luma_samples。

根据第二实施方案，编码的正向变换过程或解码的反向变换过程适于模拟应用于图片的该部分的降低的分辨率。

在第一步骤110中，获得要对其应用模拟RPR的输入CU。

根据第二实施方案的变型，主变换被修改并且使用低通滤波器，例如将输入CU的频率减半。例如，首先在空间域中对原始帧应用低通滤波器，并将低通滤波器用于计算要编码的残差。因此，在第二可选步骤112中，低通滤波应用于输入CU的样本(即，要变换的残差)。实际上，为了模拟RPR帧中高频的损失，在编码器侧，使用低通滤波器对给定的CU进行滤波，通常将频率减半。这种滤波在编码器侧进行，并且通过去除高频系数来降低速率。

然后，在步骤116中，执行正向变换。

根据第二实施方案的另一变型，非零系数的最大数量被减小并且从模拟的RPR大小导出。有利地，为了进一步提高编码效率，可以从模拟的RPR大小导出非零系数的最大数量：

如果模拟的分辨率是1/2，则只有变换系数的顶部四分之一被推断为可能是非零的(其它系数在正向变换之后归零)。在这种情况下，适配last_sig_coeff。

例如，VVC(章节7.3.11.11残差编码语法)规定了用于残差编码的以下语法：

其中，log2ZoTbWidth(分别为log2ZoTbHeight)定义了经编码的变换块大小的宽度(分别为高度)。

在模拟RPR模式中，应用以下改变

在步骤116中，根据上述log2ZoTbWidth和log2ZoTbHeight的值将高频系数归零。作为示例，对于在X和Y两个方向上以原始分辨率的1/2的emulated_rpr模式编码的32×32变换块，log2ZoTbWidth和log2ZoTbHeight等于5(当不使用sbt模式时)并且对于模拟RPR模式等于4。

在VVC中，最大log2ZoTbWidth和log2ZoTbHeight是5，即，对于大于32×32的块，左上部分之外的系数归零。根据又一变型，模拟rpr适配在适配到最大变换块大小之前完成，并且residual_coding语法被修改如下(加下划线的改变)：

最后，在步骤118中，输出经变换的系数并将其提供给熵编码器。

根据第二实施方案的另一变型，其它类型的变换的大小适于模拟RPR。

在变型中，最小变换大小(MinTbSizeY)通常乘以在利用本原理对图片进行编码/解码的同时被模拟的下缩放比。例如，在模拟的下缩放比等于2的情况下，可变MinTbLog2SizeY被固定为3而不是如VVC规范中的2，从而导致最小变换块大小等于亮度样本中的8。

此外，关于最大允许变换大小，根据VVC规范，对于宽度和高度至多等于32的CU大小，允许通过MTS(多变换集合)编码工具使用对DCT2的替代变换。在本变型中，根据在给定图片的编码/解码期间模拟的空间图片缩放比来自动地适配允许MTS的最大CU大小。例如，在下缩放比等于2的情况下，这采取规范地使MTS能够在宽度或高度上达到CU大小64的形式。

根据第二实施方案的另一变型，二次变换的大小适于模拟RPR。

在VVC中，执行称为LFNST、低频不可分离变换(如在章节8.7.4中针对缩放变换系数的变换过程规定的)的二次变换。

参数nonZeroSize被定义为：

nonZeroSize＝((nTbW＝＝4&&nTbH＝＝4)||(nTbW＝＝8&&nTbH＝＝8))？8：16

根据另一变型，RPR用二次变换(LFNST)而不是主变换来模拟。利用与主变换相同的类比，保留一半的变换系数以模拟RPR的分辨率改变。具体地，nonZeroSize被如下修改：

nonZeroSize＝((nTbW＝＝4&&nTbH＝＝4)||(nTbW＝＝8&&nTbH＝＝8))？ 4:/> 8

还根据归零大小改变来修改LFNST索引的编码。当前，如果变量“LfnstZeroOutSigCoeffFlag”等于零，则对LFNST索引进行编码：

该变量取决于TU中最后一个系数的位置：

即，如果对于不等于4x4或8x8的TU大小，最后一个系数位于第一个4x4系数之外(log2TbWidth>＝2&&log2TbHeight>＝2)，则LfnstZeroOutSigCoeffFlag被设置为零。否则，如果TU大小为4×4或8×8，那么如果存在多于8个系数(lastScanPos>7)，那么LfnstZeroOutSigCoeffFlag也被设置为零。

根据一个变型，TU语法表被修改以模拟RPR，如下所示：

即，如果对于所有TU大小(除4×4及8×8之外)存在8个以上的系数，或对于8×8或4×4TU存在4个以上的系数，那么LfnstZeroOutSigCoeffFlag也被设置为零。

根据第三实施方案，在编码或解码中的运动补偿中使用的运动向量的分辨率适于模拟应用于图片的一部分的降低的分辨率。

在VVC中，用于AMVP中的运动向量残余的默认分辨率被设置为1/4像素分辨率。称为AMVR(参见章节7.4.12.5编码单元语义)的工具被用于指定运动向量的分辨率，如以下变量所述：

amvr_flag[x0][y0]指定了运动向量差的分辨率。阵列索引x0、y0相对于图片的左上亮度样本指定所考虑的编码块的左上亮度样本的位置(x0、y0)。等于0的amvr_flag[x0][y0]指定了运动向量差的分辨率是亮度样本的1/4。等于1的amvr_flag[x0][y0]指定了运动向量差的分辨率由amvr_precision_idx[x0][y0]进一步指定。

amvr_precision_idx[x0][y0]指定了在表16中定义的具有AmvrShift的运动向量差的分辨率。阵列索引x0、y0相对于图片的左上亮度样本指定所考虑的编码块的左上亮度样本的位置(x0,y0)。

表16-AmvrShift的规格

在模拟的RPR中，如下适配Amvr shift：

AmvrShift＝AmvrShift-log2emulatedScale

在其中X和Y下缩放不同的变型中，可以使用关于X和Y的不同运动向量分辨率，导致：

AmvrShift_X＝AmvrShift-log2emulatedXscale

AmvrShift_Y＝AmvrShift-log2emulatedYscale。

根据第四实施方案，对当前帧的不同CU大小约束适于模拟的RPR。因此，为了适配当前帧上的不同CU大小约束的大小，如VVC中指定的SPS编码值可以在编码器侧被适配，即，针对模拟分辨率修改以下参数：

-sps_log2_ctu_size_minus5

-sps_log2_min_luma_coding_block_size_minus2

-sps_log2_diff_min_qt_min_cb_intra_slice_luma

-sps_max_mtt_hierarchy_depth_intra_slice_luma

-sps_log2_diff_max_bt_min_qt_intra_slice_luma

-sps_log2_diff_max_tt_min_qt_intra_slice_luma

-sps_log2_diff_min_qt_min_cb_intra_slice_chroma

-sps_max_mtt_hierarchy_depth_intra_slice_chroma

-sps_log2_diff_max_bt_min_qt_intra_slice_chroma

-sps_log2_diff_max_tt_min_qt_intra_slice_chroma

-sps_log2_diff_min_qt_min_cb_inter_slice

-sps_max_mtt_hierarchy_depth_inter_slice

-sps_log2_diff_max_bt_min_qt_inter_slice

-sps_log2_diff_max_tt_min_qt_inter_slice

对于SPS中的这些值中的每一者，该值被适配为“好像”以经下缩放的分辨率对帧进行编码一样起作用。

根据变型，适配最大CU大小。例如，对于原始帧的1/2的模拟RPR大小，sps_log2_ctu_size_minus5与原始值相比增加1。

在另一变型中，SPS中的值用相同的值来编码，但语义如下所述地针对示例性参数sps_log2_ctu_size_minus5来适配。

因此，在第四实施方案的变型中，最大CTU大小适于模拟的RPR。例如，VVC(章节7.4.3.3视频参数集RBSP语义)定义：

sps_log2_ctu_size_minus5加5指定每一CTU的亮度编码树块大小。sps_log2_ctu_size_minus5的值应在0至2的范围内(包括端值在内)。sps_log2_ctu_size_minus5的值3被保留以供ITU-T|ISO/IEC将来使用。符合此规范的此版本的解码器将忽略sps_log2_ctu_size_minus5等于3的CLVS。

变量CtbLog2SizeY和CtbSizeY的推导如下：

CtbLog2SizeY＝sps_log2_ctu_size_minus5+5 (35)

CtbSizeY＝1<<CtbLog2SizeY

其中，对于模拟的RPR，上述再现章节的最后部分被如下适配：

变量CtbLog2SizeY和CtbSizeY的推导如下：

CtbLog2SizeY＝min(7,sps_log2_ctu_size_minus5+5+log2emulatedScale)(35)

CtbSizeY＝1<<CtbLog2SizeY

本领域技术人员将注意到，兼容编码器将不使用sps_log2_ctu_size_minus5的值，诸如(sps_log2_ctu_size_minus5+5+log2emulatedScale)大于7。

根据变型，适配最小的CU大小。在VVC(7.4.3.3视频参数集RBSP语义)中指定：

sps_log2_min_luma_coding_block_size_minus2加2指定最小亮度编码块大小。sps_log2_min_luma_coding_block_size_minus2的值应在0至Min(4,sps_log2_ctu_size_minus5+3)的范围内，包括端值。

变量MinCbLog2SizeY、MinCbSizeY、IbcBufWidthY、IbcBufWidthC和Vsize的推导如下：

MinCbLog2SizeY＝sps_log2_min_luma_coding_block_size_minus2+2 (43)

MinCbSizeY＝1<<MinCbLog2SizeY (44)

IbcBufWidthY＝256*128/CtbSizeY (45)

IbcBufWidthC＝IbcBufWidthY/SubWidthC (46)

VSize＝Min(64,CtbSizeY) (47)

MinCbSizeY的值应小于或等于VSize。

并且对于模拟的RPR的最小CU大小，上述再现章节的一部分被如下适配(下划线)：

MinCbLog2SizeY＝min(sps_log2_min_luma_coding_block_size_minus2+2+ log2emulatedScale,T)

其中，T＝Min(4,sps_log2_ctu_size_minus5+3)+2

最大CU大小和最小CU大小的模拟RPR适配的以上明确示例将被无歧义地扩展到如以上列出的其它SPS值。

例如，根据适配的SPS值的又一个变型，典型地基于被模拟的RPR空间缩放比来扩展最大变换大小(sps_max_luma_transform_size_64_flag)。

典型地，在VVC中，最大变换大小是64。在本变型中，在RPR缩放比等于2的情况下，最大变换大小被设置为128。

关于VVC语法元素信令，最大变换大小(sps_max_luma_transform_size_64_flag)具有取决于在所考虑的编码图片中所模拟的RPR缩放比的语义。如果当前图片在模拟宽度和高度均下缩放2的同时被编码，则max_luma_transform_size语法元素指示最大变换大小是等于128还是64，而不是64或32。

根据第五实施方案，编码顺序适于模拟经下缩放的帧中的CU的编码次序。在所模拟的经下缩放的帧使用最大CTU大小(例如，VVC中的128个样本)的情况下，模拟经下缩放的帧中的CU的编码顺序的编码顺序如下文关于图12和图13所描述的进行适配。

图12和图13示出了根据至少一个实施方案的一般方面的CU编码顺序。在图12中，中间的附图示出了按因子2下缩放的帧中的CTU的编码顺序。在顶部中，示出了针对此大小的CTU内部的CU的编码顺序。当映射到原始分辨率的帧上时，CTU编码顺序如下图所描绘的那样改变。更具体地，对于大小为128的CTU，其意味着CTU的编码顺序“好像”大小为256的较大“虚拟”CTU的部分的CTU。如图13所示，从emulated_rpr标志以及X和Y下缩放值的值导出适配的编码顺序。在图13中，示出了针对垂直下缩放2的所得编码顺序：经下缩放的帧中的第一CTU被映射到原始帧中垂直堆叠的2个CTU上。在这种情况下，如图13的底部帧上所示来适配顺序。

根据第六实施方案，后滤波器处理的大小适于模拟的RPR。例如，自适应环路滤波器ALF处理的大小的信令如这里详细描述的那样被修改。在VVC中(参见章节7.4.12.2编码树单元语义)，使用ctb地址对所有ALF参数进行编码，例如对于alf_ctb_flag：

alf_ctb_flag[cIdx][xCtb>>CtbLog2SizeY][yCtb>>CtbLog2SizeY]等于1指定自适应环路滤波器应用于由在亮度位置(xCtb,yCtb)处的编码树单元的cIdx指示的颜色分量的编码树块。alf_ctb_flag[cIdx][xCtb>>CtbLog2SizeY][yCtb>>CtbLog2SizeY]等于0指定自适应环路滤波器不应用于由在亮度位置(xCtb,yCtb)处的编码树单元的cIdx指示的颜色分量的编码树块。

当alf_ctb_flag[cIdx][xCtb>>CtbLog2SizeY][yCtb>>CtbLog2SizeY]不存在时，推断其等于0。

在CtbLog2SizeY已经被设置为所允许的最大值(例如VVC中的7)的情况下，可以放宽对ALF过程的约束，以便适配模拟的RPR大小。典型地，所有地址：

[xCtb>>CtbLog2SizeY][yCtb>>CtbLog2SizeY]

被替换为：

[xCtb>>CtbLog2SizeYemulated][yCtb>>CtbLog2SizeYemulated]

其中CtbLog2SizeYemulated＝CtbLog2SizeY+log2emulatedScale

如此，ALF的处理区域增加了取决于模拟的RPR下缩放比的因子。

有利地，以相同的方式适配ALF参数索引，使用CtbLog2SizeYemulated参数来适配粒度。

上述方法的一个缺点是它能够迫使在解码器处具有256×256处理区域，这可能由于解码器处的一些硬件约束而不适合。在不改变解码器侧的处理区域的情况下减少语法的另一方式是从相邻值自动推断alf_ctb_flag和alf_luma_prev_filter_idx/alf_luma_fixed_filter_idx/alf_ctb_filter_alt_idx(参见7.4.12.2编码树单元语义)。

因此，如图14所示，对于1/2模拟的RPR的示例性比：

-第一CTU 1ALF参数(标记和索引)被正常解码

-对于第二CTU 2和CTU 6(在1下面)和7(在6的右侧)，不发信号通知参数，而是简单地从CTU 1参数复制

在编码器侧，在ALF参数的计算期间，使用整个区域1/2/6/7以便计算相关ALF参数。

根据另一非限制性实例，如本文详细描述的那样修改SAO参数滤波器的信令。

在VVC中，使用如下表1所示的CTB地址(rx＝CtbAddrX,ty＝CtbAddrY)对每个CTB的所有SAO参数进行编码(章节7.3.10.2VVC的编码树单元语法)。

表1:VVC中的编码树单元语法的提取

例如SaoTypeIdx[cIdx][rx][ry]是位置(rx,ry)处CTB的saoTypeIdx的值。类似地，对于ALF，对大于常规CTB大小的区域进行SAO参数的编码，其中对应于CTB区域的值增加了取决于模拟的RPR下缩放比的因子。

对于ALF，可以从CTU到CTU进行隐式合并。在这种情况下，对于CTU 2，sao_merge_left_flag被推断为1，并且对于CTU 6和7，sao_merge_up_flag被推断为1。

根据第七实施方案，在编码/解码方案中的激活或去激活工具中请求的大小约束适配于模拟的分辨率。实际上，在VVC中，许多工具取决于大小约束而被激活或不被激活。在模拟的RPR的变型中，这些大小约束被适配。

在约束是最小大小约束的情况下，通过将原始大小约束乘以(1<<log2emulatedScale)因子(或者如果需要的话单独地在宽度和高度上相乘)，该约束总是适配于模拟的RPR帧。

例如，对CU、TU或块的最小大小的约束可以通过使约束乘以正确的因子来适配，典型地：

宽度>＝xx如宽度>＝xx*(1<<log2emulatedXScale)

高度>＝yy如高度>＝yy*(1<<log2emulatedYScale)，

例如，在VVC(7.3.10.5编码单元语法)中，对于仿射CU的最小大小：

if(sps_affine_enabled_flag&&cbWidth>＝16&&cbHeight>＝16){
		inter_affine_flag[x0][y0]	ae(v)

被适配为：

或者对SBT模式的大小的约束：

被适配为：

有时，当大小等于最小块大小(在VVC中为4)时，约束被表达为相等，则约束“＝＝4”被替换为

“>＝4*(1<<log2emulatedScale)”。

例如，在VVC(7.3.10.5编码单元语法)中，如果CU大于4x4，那么可以在帧间模式中编码CU：

它被简单地适配为：

在约束是最大大小约束的情况下，可以通过适配与最大可用尺寸相关的一些变量的值来在VVC中放宽约束。例如，通过由标志sps_max_luma_transform_size_64_flag控制的MaxTbSizeY来控制最大变换大小(在7.4.3.4序列参数集RBSP语义中)。在这种情况下，在模拟的RPR模式被激活并且下缩放大于或等于2的情况下，参数sps_max_luma_transform_size_64_flag被推断为1。这意味着对于当前帧，64变换总是可用的，因为32变换总是可用于下缩放的帧。

附加实施方案和信息

本申请描述了各个方面，包括工具、特征、实施方案、模型、方法等。具体描述了这些方面中的许多方面，并且至少示出个体特性，通常以可能听起来有限的方式描述。然而，这是为了描述清楚，并不限制这些方面的应用或范围。实际上，所有不同的方面可组合和互换以提供进一步的方面。此外，这些方面也可与先前提交中描述的方面组合和互换。

本申请中描述和设想的方面可以许多不同的形式实现。下文的图15、图16和图17提供了一些实施方案，但是设想了其他实施方案，并且图15、图16和图17的讨论不限制具体实施的广度。这些方面中的至少一个方面通常涉及视频编码和解码，并且至少一个其他方面通常涉及传输生成或编码的比特流。这些和其他方面可实现为方法、装置、其上存储有用于根据所述方法中任一种对视频数据编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所述方法中任一种生成的比特流的计算机可读存储介质。

在本申请中，术语“重建”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。

本文描述了各种方法，并且每种方法包括用于实现方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。此外，术语诸如“第一”、“第二”等可用于各种实施方案以修改元件、分量、步骤、操作等，诸如“第一解码”和“第二解码”。除非具体要求，否则使用此类术语并不暗示对修改操作的排序。因此，在这个示例中，第一解码不需要在第二解码之前执行，并且可例如在第二解码之前、期间或在重叠的时间段中发生。

本申请中所述的各种方法和其他方面可用于修改视频编码器1500和解码器1600的模块(例如，图像分区、变换模块和/或逆变换模块、运动补偿、环内滤波器(1502、1525、1550、1650、1570、1675、1565、1665))，如图15和图16所示。此外，本发明方面不限于VVC或HEVC，并且可应用于例如其他标准和推荐(无论是预先存在的还是未来开发的)以及任何此类标准和推荐的扩展(包括VVC和HEVC)。除非另外指明或技术上排除在外，否则本申请中所述的方面可单独或组合使用。

在本申请中使用各种数值，例如，变换的数量、变换级别的数量、变换的索引。具体值是为了示例目的，并且所述方面不限于这些具体值。

图15示出了编码器1500。设想了这一编码器1500的变型，但是为了清楚起见，下文描述了编码器1500而不描述所有预期的变型。

在经过编码之前，视频序列可经过预编码处理(1501)，例如，将颜色变换应用于输入的彩色图片(例如，从RGB 4:4:4转换到YCbCr 4:2:0)，或执行输入图片分量的重新映射，以便获取更能弹性应对压缩的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联并且附加到比特流。

在编码器1500中，由编码器元件对图片进行编码，如下所述。在例如CU的单元中对待编码的图片进行分区(1502)和处理。例如，使用帧内模式或帧间模式对每个单元进行编码。当以帧内模式对单元进行编码时，该单元执行帧内预测(1560)。在帧间模式中，执行运动估计(1575)和补偿(1570)。编码器决定(1505)使用帧内模式或帧间模式中的哪一者对单元进行编码，以及通过例如，预测模式标志来指示帧内/帧间决策。例如，通过从初始图像块减去(1510)预测块来计算预测残差。

然后，对预测残差进行变换(1525)和量化(1530)。对经量化变换系数以及运动向量和其他语法元素进行熵编码(1545)以输出位流。该编码器可跳过变换，并对未变换的残差信号直接应用量化。该编码器可绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。

该编码器对编码块进行解码以提供进一步预测的参考。对经量化变换系数进行解量化(1540)和逆变换(1550)以对预测残差进行解码。组合(1555)经解码的预测残差和预测块，重建图像块。将环内滤波器(1565)应用于重建的图片以执行例如，解块/SAO(样本自适应偏移)滤波，从而减少编码伪影。将经滤波的图像存储在参考图片缓冲器(1580)处。

图5示出了视频解码器1600的框图。在解码器1600中，由解码器元件对比特流进行解码，如下所述。视频解码器1600通常执行与如图5所述的编码道次互逆的解码道次。编码器1500通常还执行视频解码作为对视频数据进行编码的一部分。

具体地，解码器的输入包括视频比特流，该视频比特流可由视频编码器1500生成。首先，对位流进行熵解码(1630)以获得变换系数、运动向量和其他经编码的信息。图片分区信息指示如何对图片进行分区。因此，解码器可根据经解码的图片分区信息来划分(1635)图片。对变换系数进行解量化(1640)和逆变换(1650)以对预测残差进行解码。组合(1655)经解码的预测残差和预测块，重建图像块。可从帧内预测(1660)或运动补偿预测(即，帧间预测)(1675)获得(1670)预测块。将环内滤波器(1665)应用于重建的图像。将经滤波的图像存储在参考图片缓冲器(1680)处。

解码图片还可经过解码后处理(1685)，例如，逆颜色变换(例如，从YCbCr 4:2:0转换到RGB 4:4:4)或执行与在预编码处理(1501)中执行的重新映射过程相逆的逆重新映射。解码后处理可使用在预编码处理中导出并且在比特流中有信号通知的元数据。

图17示出了在其中实现各个方面和实施方案的系统的示例的框图。系统1700可具体体现为包括下文所述的各个部件的设备，并且被配置为执行本文档中所述的方面中的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型电脑、智能电话、平板电脑、数字多媒体机顶盒、数字电视接收器、个人视频录制系统、连接的家用电器和服务器。系统1700的元件可单独地或组合地体现在单个集成电路(IC)、多个IC和/或分立的部件中。例如，在至少一个实施方案中，系统1700的处理和编码器/解码器元件跨多个IC和/或分立的部件分布。在各种实施方案中，系统1700经由例如通信总线或通过专用输入端口和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种实施方案中，系统1700被配置为实现本文档中描述的方面中的一个或多个方面。

系统1700包括至少一个处理器1710，该至少一个处理器被配置为执行加载在其中的指令以用于实现例如本文档中所述的各个方面。处理器1710可包括嵌入式存储器、输入输出接口以及如本领域所已知的各种其他电路系统。系统1700包括至少一个存储器1720(例如，易失性存储器设备和/或非易失性存储器设备)。系统1700包括存储设备1740，该存储设备可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1740可包括内部存储设备、附接的存储设备(包括可拆卸和不可拆卸的存储设备)和/或网络可访问的存储设备。

系统1700包括编码器/解码器模块1730，该编码器/解码器模块被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块1730可包括其自身的处理器和存储器。编码器/解码器模块1730表示可包括在设备中以执行编码和/或解码功能的一个或多个模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。另外地，编码器/解码器模块1730可实现为系统1700的独立元件，或者可结合在处理器1710内作为本领域的技术人员已知的硬件和软件的组合。

待加载到处理器1710或编码器/解码器1730上以执行本文档中所述的各个方面的程序代码可存储在存储设备1740中，并且随后加载到存储器1720上以供处理器1710执行。根据各种实施方案，处理器1710、存储器1720、存储设备1740和编码器/解码器模块1730中的一者或多者可在本文档中所述的过程的执行期间存储各种项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码的视频或部分解码的视频、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。

在一些实施方案中，在处理器1710和/或编码器/解码器模块1730内部的存储器用于存储指令以及提供在编码或解码期间所需的用于处理的工作存储器。然而，在其他实施方案中，处理设备(例如，处理设备可以是处理器1710或编码器/解码器模块1730)外部的存储器用于这些功能中的一个或多个功能。外部存储器可以是存储器1720和/或存储设备1740，例如动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中，外部非易失性闪存存储器用于存储例如电视机的操作系统。在至少一个实施方案中，快速外部动态易失性存储器诸如RAM用作视频编码和解码操作的工作存储器，诸如MPEG-2(MPEG是指运动图片专家组，MPEG-2也称为ISO/IEC 13818，并且13818-1也称为H.222，13818-2也称为H.262)、HEVC(HEVC是指高效视频编码，也称为H.265和MPEG-H部分2)或VVC(通用视频编码，由联合视频专家小组(JVET)开发的新标准)。

可通过如框1705中所指示的各种输入设备来提供对系统1700的元件的输入。此类输入设备包括但不限于：(i)射频(RF)部分，其接收例如由广播器通过空中发射的RF信号；(ii)分量(COMP)输入端子(或一组COMP输入端子)；(iii)通用串行总线(USB)输入端子；和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图6中未示出的其他示例，包括复合视频。

在各种实施方案中，框1705的输入设备具有如在本领域中是已知的相关联的相应的输入处理元件。例如，RF部分可与适用于以下的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种实施方案的RF部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质传输的RF信号，并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种实施方案中，RF部分包括天线。

另外地，USB和/或HDMI端子可包括用于跨USB和/或HDMI连接将系统1700连接到其他电子设备的相应的接口处理器。应当理解，输入处理的各个方面(例如，Reed-Solomon错误校正)可在必要时例如在独立的输入处理IC内或在处理器1710内实现。类似地，USB或HDMI接口处理方面可在必要时在独立的接口IC内或在处理器1710内实现。将经解调的、经纠错的和经解复用的流提供给各种处理元件，包括例如处理器1710以及编码器/解码器1730，该处理元件与存储器和存储元件结合操作以根据需要处理数据流以用于在输出设备上呈现。

可在集成外壳内提供系统1700的各种元件，在集成外壳内，使用合适的连接排布结构1715(例如，如在本领域中是已知的内部总线，包括IC间(I2C)总线、接线和印刷电路板)，各种元件可互连并且在其间传输数据。

系统2000包括通信接口1750，该通信接口允许经由通信信道1790与其他设备通信。通信接口1750可包括但不限于收发器，该收发器被配置为通过通信信道1790发射和接收数据。通信接口1750可包括但不限于调制解调器或网卡，并且通信信道1790可例如在有线和/或无线介质内实现。

在各种实施方案中，使用无线网络诸如Wi-Fi网络例如IEEE 802.11(IEEE是指电气和电子工程师协会)将数据流式发射或以其他方式提供给系统1700。这些实施方案的Wi-Fi信号通过适用于Wi-Fi通信的通信信道1790和通信接口1750接收。这些实施方案的通信信道1790通常连接到接入点或路由器，该接入点或路由器提供对外部网络(包括互联网)的访问，以允许流式传输应用和其他越过运营商的通信。其他实施方案使用机顶盒向系统1700提供流式传输的数据，该机顶盒通过输入框1705的HDMI连接来递送数据。还有其他实施方案使用输入框1705的RF连接向系统1700提供流式传输的数据。如上所述，各种实施方案以非流传输方式提供数据。另外地，各种实施方案使用除了Wi-Fi以外的无线网络，例如蜂窝网络或蓝牙网络。

系统1700可向各种输出设备(包括显示器1765、扬声器1775和其他外围设备1785)提供输出信号。各种实施方案的显示器1765包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一个或多个显示器。显示器1765可用于电视、平板电脑、膝上型电脑、蜂窝电话(移动电话)或其他设备。显示器1765还可与其他部件集成(例如，如在智能电话中)，或可为独立的显示器(例如，用于膝上型电脑的外部监视器)。在实施方案的各种示例中，其他外围设备1785包括独立数字视频光盘(或数字多功能光盘)(DVR，可表示这两个术语)、碟片播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用一个或多个外围设备1785，该一个或多个外围设备基于系统1700的输出来提供功能。例如，光盘播放器执行播放系统1700的输出的功能。

在各种实施方案中，使用信令诸如AV.Link、消费电子控制(CEC)或允许带有或不带有用户干预的设备到设备控制的其他通信协议，在系统1700与显示器1765、扬声器1775或其他外围设备1785之间传送控制信号。可通过相应的接口1765、1775和1785经由专用连接将输出设备通信地耦接到系统1700。另选地，可经由通信接口1750使用通信信道1790将输出设备连接到系统1700。在电子设备(诸如例如电视机)中，显示器1765和扬声器1775可与系统1700的其他部件集成在单个单元中。在各种实施方案中，显示器接口1765包括显示驱动器，诸如例如定时控制器(T Con)芯片。

例如，如果输入1705的RF部分是独立机顶盒的一部分，则显示器1765和扬声器1775可另选地相对于其他部件中的一个或多个部件而独立。在其中显示器1765和扬声器1775为外部部件的各种实施方案中，可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供输出信号。

该实施方案可由处理器1710实现的计算机软件，或由硬件，或由硬件和软件的组合来进行。作为非限制性示例，这些实施方案可由一个或多个集成电路实现。作为非限制性示例，存储器1720可为适于技术环境的任何类型，并且可使用任何适当的数据存储技术(诸如光存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器)来实现。作为非限制性示例，处理器1710可为适于技术环境的任何类型，并且可涵盖微处理器、通用计算机、专用计算机、数字信号处理器(DSP)和基于多核架构的处理器中的一者或多者。

各种具体实施参与解码。如本申请中所用，“解码”可涵盖例如对所接收的编码序列执行的过程的全部或部分，以便产生适于显示的最终输出。在各种实施方案中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。在各种实施方案中，此类过程还包括或另选地包括由本申请中描述的各种具体实施的解码器执行的过程，例如，包括模拟图片的至少一部分的降低的分辨率。

作为进一步的示例，在一个实施方案中，“解码”仅是指熵解码，在另一个实施方案中，“解码”仅是指差分解码，并且在又另一个实施方案中，“解码”是指熵解码和差分解码的组合。短语“解码过程”旨在具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且被认为会被本领域的技术人员很好地理解。

各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码比特流的全部或部分过程。在各种实施方案中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。在各种实施方案中，此类过程还包括或另选地包括由本申请中描述的各种具体实施的编码器执行的过程，例如，模拟图片的至少一部分的降低的分辨率。

作为进一步的示例，在一个实施方案中，“编码”仅是指熵编码，在另一个实施方案中，“编码”仅是指差分编码，并且在又一个实施方案中，“编码”是指差分编码和熵编码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。

注意，本文所使用的语法元素(例如，emulated_rpr、emulated_rpr_downscale_log2_minus1)是描述性术语。因此，它们不排除使用其他语法元素名称。

本公开已描述了例如可被传输或存储的各种信息，诸如例如语法。此信息能够以多种方式封装或布置，包括例如视频标准中常见的方式，诸如将信息放入SPS、PPS、NAL单元、报头(例如，NAL单元报头或切片报头)或SEI消息中。其他方式也是可用的，包括例如用于系统级或应用级标准的通用方式，诸如将信息放入以下中的一者或多者：

·会话描述协议(SDP)，其为用于描述多媒体通信会话以用于会话通知和会话邀请的一种格式，例如，如在RFC中所述并与实时传输协议(RTP)传输结合使用；

·DASH MPD(媒体演示描述)描述符，例如，如在DASH中使用并通过HTTP传输，描述符与表示或表示的集合相关联，以向内容表示提供附加特性；

·RTP报头扩展，例如，如在RTP流式传输期间使用；

·ISO基础媒体文件格式，例如，如在OMAF中使用并且使用box，该box是由唯一类型标识符和长度定义的面向对象的构建块，在某些规范中也称为“atom”；

·通过HTTP传输的HLS(HTTP实时流式传输)清单。例如，清单可与内容的版本或版本集合相关联，以提供版本或版本集合的特性。

当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。

各种实施方案是指速率失真优化。具体地，在编码过程期间，通常考虑速率和失真之间的平衡或权衡，这常常考虑到计算复杂性的约束。速率失真优化通常表述为最小化速率失真函数，该速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并且完整评估其编码成本以及重建信号在编码和解码之后的相关失真。更快的方法还可用于降低编码复杂性，特别是对基于预测或预测残差信号而不是重建的残差信号的近似失真的计算。也可使用这两种方法的混合，诸如通过针对可能的编码选项中的仅一些编码选项使用近似失真，而针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中任一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。

本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实现，该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于最终用户之间信息通信的其他设备。

提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。

另外地，本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。

此外，本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。

另外地，本申请可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、传输信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。

应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。

而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，编码器对多个参数中的特定一个参数进行编码以模拟RPR。这样，在一个实施方案中，在编码器侧和解码器侧两者均使用相同的参数。因此，例如，编码器可将特定参数传输(显式发信号通知)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他参数，则可在不传输(隐式发信号通知)的情况下使用发信号通知，以简单允许解码器知道和选择特定参数。通过避免传输任何实际功能，在各种实施方案中实现了比特节省。应当理解，发信号通知可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标志等将信息发信号通知至对应解码器。虽然前面涉及词语的动词形式“发信号通知”，但是该词语在本文也可用作名词“信号”。

对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带所述实施方案的比特流。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流编码并且用编码的数据流调制载体。信号携带的信息可以是例如模拟或数字信息。众所周知，信号可通过各种不同的有线或无线链路传输。信号可存储在处理器可读介质上。

描述了多个实施方案。这些实施方案的特征可在各种权利要求类别和类型中单独地或以任何组合提供。此外，实施方案可包括以下特征、设备或方面中的一者或多者，单独地或以任何组合，跨各种权利要求类别和类型：

·使至少一个过程适配于解码器和/或编码器中的模拟的RPR。

·选择待在解码器和/或编码器中应用的模拟的RPR标志。

·发信号通知与待在解码器中应用的模拟RPR过程相关的信息。

·从RPR参数导出与待应用的模拟RPR过程相关的信息，该导出在解码器和/或编码器中应用。

·在信令中插入使得解码器能够识别待使用的模拟适配过程的语法元素，诸如变换索引。

·基于这些语法元素选择待在解码器处适配的该至少一个过程。

·包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号。

·包括传递根据所述实施方案中任一个实施方案生成的信息的语法的比特流或信号。

·在信令中插入使得解码器能够以与编码器所使用的方式对应的方式模拟RPR过程的语法元素。

·对包括所描述的语法元素中的一个或多个语法元素或其变型的比特流或信号进行创建和/或传输和/或接收和/或解码。

·根据所述实施方案中任一个实施方案所述的创建和/或传输和/或接收和/或解码。

·根据所述实施方案中任一个实施方案所述的方法、过程、装置、存储指令的介质、存储数据的介质或信号。

·根据所述的实施方案中的任一个实施方案执行适于模拟RPR的过程的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·根据所述的实施方案中的任一个实施方案执行适于模拟RPR的过程并且(例如，使用监视器、屏幕或其他类型的显示器)显示所得的图像的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·选择(例如，使用调谐器)待接收信号(包括编码的图像)的信道并且根据所述的实施方案中的任一个实施方案执行适于模拟RPR的过程的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·通过无线电(例如，使用天线)接收信号(包括编码的图像)并且根据所述的实施方案中的任一个实施方案执行适于模拟RPR的过程的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

Claims

1.一种方法，所述方法包括：

获得表示图片的一部分的视频数据；

对至少一个语法数据元素进行解码，所述至少一个语法数据元素指定解码适配以模拟应用于所述图片的所述部分的降低的分辨率；以及

对视频数据进行解码，其中，所述解码的至少一个过程适于模拟应用于所述图片的所述部分的降低的分辨率。

2.一种装置，所述装置包括一个或多个处理器，所述一个或多个处理器被配置为执行：

获得表示图片的一部分的视频数据；

3.根据权利要求1所述的方法或根据权利要求2所述的装置，还包括对指定所述降低的分辨率的至少一个语法数据元素进行解码。

4.根据权利要求1所述的方法或根据权利要求2所述的装置，其中，用于根据图片的分辨率改变来指定所述图片的大小的语法数据被用于隐式地导出所述降低的分辨率。

5.根据权利要求1所述的方法或根据权利要求2所述的装置，其中，指定所述降低的分辨率的至少一个语法数据元素被添加到用于针对分辨率改变指定图片的大小的语法数据。

6.根据权利要求1、3至5中任一项所述的方法或根据权利要求2至5中任一项所述的装置，其中，适于模拟降低的分辨率的所述解码的所述至少一个过程是其中主变换被修改并且使用将输入块的频率减半的低通滤波器的变换。

7.根据权利要求1、3至5中任一项所述的方法或根据权利要求2至5中任一项所述的装置，其中，适于模拟降低的分辨率的所述解码的所述至少一个过程是其中非零系数的最大数量被降低并且从所述降低的分辨率中导出的变换。

8.根据权利要求1、3至5中任一项所述的方法或根据权利要求2至5中任一项所述的装置，其中，适于模拟降低的分辨率的所述解码的所述至少一个过程是其中最小变换大小乘以缩放比的变换。

9.根据权利要求1、3至5中任一项所述的方法或根据权利要求2至5中任一项所述的装置，其中，适于模拟降低的分辨率的所述解码的所述至少一个过程包括运动补偿，其中，运动向量差的分辨率以缩放比降低。

10.根据权利要求1、3至5中任一项所述的方法或根据权利要求2至5中任一项所述的装置，其中，适于模拟降低的分辨率的所述解码的所述至少一个过程是其中亮度编码树块大小以缩放比增加的分区。

11.根据权利要求1、3至5中任一项所述的方法或根据权利要求2至5中任一项所述的装置，其中，适于模拟降低的分辨率的所述解码的所述至少一个过程是其中最小亮度编码块大小以缩放比增加的分区。

12.根据权利要求1、3至5中任一项所述的方法或根据权利要求2至5中任一项所述的装置，其中，适于模拟降低的分辨率的所述解码的所述至少一个过程包括其中从所述图片的所述部分中的至少一个相邻块推断所述图片的所述部分中的块的后滤波参数的后滤波。

13.根据权利要求1、3至5中任一项所述的方法或根据权利要求2至5中任一项所述的装置，其中，适于模拟降低的分辨率的所述解码的所述至少一个过程包括其中针对比编码块大小更大的区域发信号通知后滤波参数的后滤波。

14.根据权利要求1、3至5中任一项所述的方法或根据权利要求2至5中任一项所述的装置，其中，适于模拟降低的分辨率的所述解码的所述至少一个过程是编码顺序中的一者。

15.根据权利要求1、3至14中任一项所述的方法或根据权利要求2至14中任一项所述的装置，其中，对所述图片的CU大小约束中的至少一个CU大小约束适于模拟降低的分辨率。

16.根据权利要求15所述的方法或根据权利要求15所述的装置，其中，通过将原始大小约束乘以缩放比来获得最小大小约束。

17.根据权利要求15所述的方法或根据权利要求15所述的装置，其中，通过将所述原始大小约束乘以缩放比来放宽最大大小约束。

18.根据权利要求1、3、5中任一项所述的方法或根据权利要求2、3、5中任一项所述的装置，其中，在切片、图片参数集(PPS)、序列参数集(SPS)、适配参数集(APS)中的一者中，发信号通知指定适配所述解码以模拟应用于所述图片的一部分的降低的分辨率的至少一个语法数据元素，或者指定所述降低的分辨率的至少一个语法数据元素，或者指定被添加到已经被用于针对分辨率改变指定图片的大小的语法数据的所述降低的分辨率的至少一个语法数据元素。

19.一种方法，所述方法包括：

获得表示图片的一部分的视频数据以进行编码；

对至少一个语法数据元素进行编码，所述至少一个语法数据元素指定编码适配以模拟应用于所述图片的所述部分的降低的分辨率；以及

对视频数据进行编码，其中，所述编码的至少一个过程适于模拟应用于所述图片的所述部分的降低的分辨率。

20.一种装置，所述装置包括一个或多个处理器，所述一个或多个处理器被配置为执行：

获得表示图片的一部分的视频数据以进行编码；

21.根据权利要求19所述的方法或根据权利要求20所述的装置，还包括对指定所述降低的分辨率的至少一个语法数据元素进行编码。

22.根据权利要求19所述的方法或根据权利要求20所述的装置，其中，用于根据图片的分辨率改变来指定所述图片的大小的语法数据被用于隐式地导出所述降低的分辨率。

23.根据权利要求19所述的方法或根据权利要求20所述的装置，其中，指定所述图片的所述降低的分辨率的至少一个语法数据元素被添加到用于针对图片的所述部分的分辨率改变指定所述图片的大小的语法数据。

24.根据权利要求19、21至23中任一项所述的方法或根据权利要求20至23中任一项所述的装置，其中，适于模拟降低的分辨率的所述编码的所述至少一个过程是其中主变换被修改并且使用将输入块的频率减半的低通滤波器的变换。

25.根据权利要求19、21至23中任一项所述的方法或根据权利要求20至23中任一项所述的装置，其中，适于模拟降低的分辨率的所述编码的所述至少一个过程是其中非零系数的最大数量被降低并且从所述降低的分辨率中导出的变换。

26.根据权利要求19、21至23中任一项所述的方法或根据权利要求20至23中任一项所述的装置，其中，适于模拟降低的分辨率的所述编码的所述至少一个过程是其中最小变换大小乘以缩放比的变换。

27.根据权利要求19、21至23中任一项所述的方法或根据权利要求20至23中任一项所述的装置，其中，适于模拟降低的分辨率的所述编码的所述至少一个过程是运动补偿，其中，运动向量差的分辨率以缩放比降低。

28.根据权利要求19、21至23中任一项所述的方法或根据权利要求20至23中任一项所述的装置，其中，适于模拟降低的分辨率的所述编码的所述至少一个过程是其中亮度编码树块大小以缩放比增加的分区。

29.根据权利要求19、21至23中任一项所述的方法或根据权利要求20至23中任一项所述的装置，其中，适于模拟降低的分辨率的所述编码的所述至少一个过程是其中最小亮度编码块大小以缩放比增加的分区。

30.根据权利要求19、21至23中任一项所述的方法或根据权利要求20至23中任一项所述的装置，其中，适于模拟降低的分辨率的所述编码的所述至少一个过程是其中从所述图片的所述部分中的至少一个相邻块推断所述图片的所述部分中的块的后滤波参数的后滤波。

31.根据权利要求19、21至23中任一项所述的方法或根据权利要求20至23中任一项所述的装置，其中，适于模拟降低的分辨率的所述编码的所述至少一个过程是其中针对比编码块大小更大的区域发信号通知后滤波参数的后滤波。

32.根据权利要求19、21至23中任一项所述的方法或根据权利要求20至23中任一项所述的装置，其中，适于模拟降低的分辨率的所述编码的所述至少一个过程是编码顺序。

33.根据权利要求19、21至32中任一项所述的方法或根据权利要求20至32中任一项所述的装置，其中，对所述图片的CU大小约束中的至少一个CU大小约束适于降低的分辨率。

34.根据权利要求33所述的方法或根据权利要求33所述的装置，其中，通过将原始大小约束乘以缩放比来获得最小大小约束。

35.根据权利要求33所述的方法或根据权利要求33所述的装置，其中，通过将所述原始大小约束乘以缩放比来放宽最大大小约束。

36.根据权利要求19、21、23中任一项所述的方法或根据权利要求19、21、23中任一项所述的装置，其中，在切片、图片参数集(PPS)、序列参数集(SPS)、适配参数集(APS)中的一者中，发信号通知指定适配所述编码以模拟应用于所述图片的所述部分的降低的分辨率的至少一个语法数据元素，或者指定所述降低的分辨率的至少一个语法数据元素，或者指定被添加到已经被用于针对分辨率改变指定图片的大小的语法数据的所述降低的分辨率的至少一个语法数据元素。

37.一种比特流，其中所述比特流通过以下形成：

获得表示图片的一部分的视频数据以进行编码；

对至少一个语法数据元素进行编码，所述至少一个语法数据元素指定适配所述编码以模拟应用于所述图片的所述部分的降低的分辨率；

对视频数据进行编码，其中，所述编码的至少一个过程适于模拟应用于所述图片的所述部分的降低的分辨率；以及

形成包括经编码的视频数据和经编码的语法元素的所述比特流。

38.一种非暂态计算机可读介质，所述非暂态计算机可读介质包含根据包括以下项的方法而生成的数据内容：

获得表示图片的一部分的视频数据以进行编码；

形成包括经编码的视频数据和经编码的语法元素的所述数据内容。

39.一种计算机程序产品，所述计算机程序产品包括用于当由一个或多个处理器执行时执行根据权利要求1、3至18、19和21至36中任一项所述的方法的指令。

40.一种非暂态计算机可读介质，所述非暂态计算机可读介质包含用于当由一个或多个处理器执行时执行根据权利要求1、3至18、19和21至36中任一项所述的方法的指令。