CN114615500A - 增强层编解码方法和装置 - Google Patents

Abstract

本申请提供了增强层编解码方法和装置。该方法包括：编码器获取待编码图像块的基本层的重建块。对待编码图像块和基本层的重建块中的对应像素点求差以获得待编码图像块的增强层的残差块。确定增强层的残差块的变换块划分方式。根据变换块划分方式对增强层的残差块进行变换。解码器获取待解码图像块的增强层的残差块的码流。对增强层的残差块的码流进行熵解码、反量化和反变换以获得增强层的重建残差块。获取待解码图像块的基本层的重建块。对增强层的重建残差块和基本层的重建块中的对应像素点求和以获得增强层的重建块。本申请能够可以减少编码器的处理流程，提高编码器的编码效率，而采用自适应的TU划分方法，可以更有效地提升残差块的压缩效率。

Description

增强层编解码方法和装置

技术领域

本发明实施例涉及视频或图像压缩技术领域，尤其涉及一种增强层编解码方法和装置。

背景技术

视频编码(视频编码和解码)广泛用于数字视频应用，例如广播数字电视、互联网和移动网络上的视频传输、视频聊天和视频会议等实时会话应用、DVD和蓝光光盘、视频内容采集和编辑系统以及可携式摄像机的安全应用。

即使在影片较短的情况下也需要对大量的视频数据进行描述，当数据要在带宽容量受限的网络中发送或以其它方式传输时，这样可能会造成困难。因此，视频数据通常要先压缩然后在现代电信网络中传输。由于内存资源可能有限，当在存储设备上存储视频时，视频的大小也可能成为问题。视频压缩设备通常在信源侧使用软件和/或硬件，以在传输或存储之前对视频数据进行编码，从而减少用来表示数字视频图像所需的数据量。然后，压缩的数据在目的地侧由视频解压缩设备接收。在有限的网络资源以及对更高视频质量的需求不断增长的情况下，需要改进压缩和解压缩技术，这些改进的技术能够提高压缩率而几乎不影响图像质量。

H.265/HEVC标准中，一个编码单元(Coding Unit，CU)包含一个亮度量化参数(quantization parameter，QP)和两个色度量化参数，其中色度量化参数可以由亮度量化参数导出。因此提高亮度量化参数的编码效率成为提高视频编码效率的一个关键技术。

发明内容

本申请提供一种增强层编解码方法和装置，可以减少编码器的处理流程，提高编码器的编码效率，而采用自适应的TU划分方法，使得增强层的TU大小不再受CU大小限制，可以更有效地提升残差块的压缩效率。

第一方面，本申请提供一种增强层编解码方法，包括：编码器获取待编码图像块的基本层的重建块。编码器对待编码图像块和基本层的重建块中的对应像素点求差以获得待编码图像块的增强层的残差块。编码器确定增强层的残差块的变换块划分方式。编码器根据变换块划分方式对增强层的残差块进行变换，以获得增强层的残差块的码流。解码器获取待解码图像块的增强层的残差块的码流。解码器对增强层的残差块的码流进行熵解码、反量化和反变换以获得增强层的重建残差块。解码器获取待解码图像块的基本层的重建块。解码器对增强层的重建残差块和基本层的重建块中的对应像素点求和以获得增强层的重建块。

可分级视频编码，又称可伸缩视频编码，是当前视频编码标准的扩展编码标准(一般为高级视频编码(advanced video coding，AVC)(H.264)的扩展标准可伸缩视频编码(scalable video coding，SVC)，或高效率视频编码(high efficiency video coding，HEVC)(H.265)的扩展标准可伸缩高效视频编码(scalable high efficiency videocoding，SHVC))。可分级视频编码的出现主要是为了解决实时视频传输中出现的由于网络带宽实时变化带来的丢包和时延抖动问题。

可分级视频编码中的基本结构可称作层级，可分级视频编码技术通过对原始的图像块进行空域分级(分辨率分级)，可以得到不同分辨率的层级的码流。分辨率可以是指图像块的以像素为单位的尺寸大小，低层级的分辨率较低，而高层级的分辨率不低于低层级的分辨率；或者，通过对原始的图像块进行时域分级(帧率分级)，可以得到不同帧率的层级的码流。帧率可以是指单位时间内视频包含的图像帧数，低层级的帧率较低，而高层级的帧率不低于低层级的帧率；或者，通过对原始的图像块进行质量域分级，可以得到不同编码质量的层级的码流。编码质量可以是指视频的品质，低层级的图像失真程度较大，而高层级的图像失真程度不高于低层级的图像失真程度。

通常，被称作基本层的层级是可分级视频编码中的最底层。在空域分级中，基本层图像块使用最低分辨率进行编码；在时域分级中，基本层图像块使用最低帧率进行编码；在质量域分级中，基本层图像块使用最高QP或是最低码率进行编码。即基本层是可分级视频编码中品质最低的一层。被称作增强层的层级是可分级视频编码中在基本层之上的层级，由低到高可以分为多个增强层。最低层增强层依据基本层获得的编码信息，其编码分辨率比基本层高，或是帧率比基本层高，或是码率比基本层大。较高层增强层可以依据较低层增强层的编码信息，来编码更高品质的图像块。

例如，图9为本申请可分级视频编码的一个示例性的层级示意图，如图9所示，原始图像块送入可分级编码器后，根据不同的编码配置可分层为基本层图像块B和增强层图像块(E1～En，n≥1)，再分别编码得到包含基本层码流和增强层码流的码流。基本层码流一般是编码最低空域图像块、最低时域图像块或者最低质量图像块得到的码流。增强层码流是以基本层作为基础，叠加编码高层空域、高层时域或者高层质量图像块得到的码流。随着增强层层数增加，编码的空域层级、时域层级或者质量层级也会越来越高。编码器向解码器传输码流时，优先保证基本层码流的传输，当网络有余量时，逐步传输越来越高层级的码流。解码器先接收基本层码流并解码，然后根据收到的增强层码流，按照从低层级到高层级的顺序，逐层解码空域、时域或者质量的层级越来越高的码流，然后将较高层级的解码信息叠加在较低层级的重建块上，获得较高分辨率、较高帧率或者较高质量的重建块。

待编码图像块可以是指编码器当前正在处理的图像块，该图像块可以是指整帧图像中的最大编码单元(largest coding unit，LCU)。整帧图像可以是指编码器正在处理的视频所包含的图像序列中的任意一个图像帧，该图像帧未经划分处理，其尺寸为一帧完整图像帧的尺寸。在H.265标准中，进行视频编码前会将原始的图像帧划分为多个编码树单元(coding tree unit，CTU)，CTU是视频编码的最大编码单元，可以按照四叉树方式划分为不同大小的CU。CTU作为最大的编码单元，因此也称为LCU；或者，该图像块也可以是指整帧图像；或者，该图像块还可以是指整帧图像中的感兴趣区域(region of interest，ROI)，即在图像中进行指定的某个需要处理的图像区域。

如上，视频序列中的每个图像通常分割成不重叠的块集合，通常在块级上进行编码。换句话说，编码器通常在块(图像块)级处理即编码视频，例如，通过空间(帧内)预测和时间(帧间)预测来产生预测块；从图像块(当前处理/待处理的块)中减去预测块，得到残差块；在变换域中变换残差块并量化残差块，可以减少待传输(压缩)的数据量。编码器还需要经过反量化和反变换获得重建残差块，然后将重建残差块的像素点值和预测块的像素点值相加以获得重建块。基本层的重建块是指针对原始的图像块分层得到的基本层图像块执行上述操作所得到的重建块。编码器根据原始图像块(例如LCU)获得基本层的预测块，然后对原始图像块和基本层的预测块中的对应像素点求差以获得基本层的残差块，再对基本层的残差块进行划分后，进行变换、量化，连同基本层编码控制信息、预测信息、运动信息等共同进行熵编码得到基本层的码流。编码器对量化后的量化系数进行反量化、反变换得到基本层的重建残差块，然后对基本层的预测块和基本层的重建残差块中的对应像素点求和以获得基本层的重建块。

增强层图像块的分辨率不低于基本层图像块的分辨率，或者增强层图像块的编码质量不低于基本层图像块的编码质量。如上所述，编码质量可以是指视频的品质，增强层图像块的编码质量不低于基本层图像块的编码质量可以是指基本层的图像失真程度较大，而增强层的图像失真程度不高于基本层的图像失真程度。

图像块中包括多个像素点，该多个像素点排列成阵列，每个像素点可以用行号和列号唯一标识其在图像块中的位置。假设待编码图像块和基本层的重建块的尺寸均为M×N，即待编码图像块和基本层的重建块分别包含M×N个像素点，a(i1,j1)表示待编码图像块中位于第i1列、第j1行的像素点，i1＝1～M，j1＝1～N，b(i2,j2)表示基本层的重建块中位于第i1列、第j1行的像素点，i2＝1～M，j2＝1～N。待编码图像块和基本层的重建块中的对应像素点是指像素点在各自所属图像块中的行号和列号分别相等，即i1＝i2，j1＝j2。例如，图像块的尺寸为16×16，其包含16×16个像素点，行号为0～15，列号为0～15，待编码图像块中标识为a(0,0)的像素点和基本层的重建块中标识为b(0,0)的像素点是对应像素点，或者，待编码图像块中标识为a(6,9)的像素点和基本层的重建块中标识为b(6,9)的像素点是对应像素点，等等。对应像素点求差可以是将待编码图像块和基本层的重建块中的对应像素点的像素值求差，该像素值可以是该像素点的亮度值、色度值等，本申请对此不做具体限定。

SHVC标准中编码器会基于基本层的重建块预测得到增强层的预测块，然后对基本层的重建块和增强层的预测块中的对应像素点求差以获得增强层的残差块。本申请可以直接对待编码图像块和基本层的重建块中的对应像素点求差以获得增强层的残差块，减少了获取增强层的预测块的过程，可以减少编码器的处理流程，提高编码器的编码效率。

本申请中增强层的残差块的变换块划分方式和基本层的残差块的变换块划分方式不同。即编码器在处理增强层的残差块时，所采用的变换块划分方式与处理基本层的残差块时采用的变换块划分方式不相同，例如，基本层的残差块采用TT划分方式被划分成三个子块，但增强层的残差块不采用TT划分方式进行划分。编码器可以采用如下自适应方式确定增强层的残差块的变换块划分方式：

在一种可能的实现方式中，编码器可以先对增强层的残差块的第一最大变换单元(largest transform unit，LTU)进行迭代式的树形结构划分以获得多个分割深度的变换单元(transform unit，TU)，多个分割深度中的最大分割深度等于Dmax，Dmax为正整数，然后根据第一TU的损失估计值和第一TU包含的多个第二TU的损失估计值之和确定第一TU的划分方式，第一TU的分割深度为i，第二TU的深度为i+1，0≤i≤Dmax-1。

与待编码图像块的尺寸相对应的，增强层的残差块的尺寸可以是整帧图像的尺寸，也可以是整帧图像中被划分的图像块(例如CTU或CU)的尺寸，还可以是整帧图像中的ROI的尺寸。LTU是图像块中用于进行变换处理的最大尺寸的图像块，LTU的尺寸可以与基本层的重建块的尺寸相同，这样可以在保证不同重建块之间增强层可并行处理的同时，最大化获得变换编码的效率。一个LTU可以基于配置的划分信息被划分成多个节点，各个节点又可以基于配置的划分信息被继续划分，直到所有的节点都不再继续划分，该过程可以称作迭代式的树形结构划分，树形结构划分可以包括QT划分、BT划分和/或TT划分，还可以包括EQT划分。本申请对LTU的划分方式不做具体限定。一个节点划分一次得到多个节点，被划分的节点称作父节点，划分得到的节点被称作子节点。根节点的分割深度(depth)为0，子节点的depth是父节点的depth加1。因此增强层的残差块从根节点LTU开始进行迭代式的树形结构划分，可以得到多个depth的TU。该多个depth中的最大depth(即划分得到的最小TU的depth)为Dmax。假设LTU的宽高均为L，最小TU的宽高均为S，则最小TU的分割深度

其中

表示向下取整，因此Dmax≤d。

基于上述变换划分的TU，编码器执行率失真优化(rate distortionoptimization，RDO)处理，确定LTU的划分方式。以分割深度为i的第一TU和深度为i+1的第二TU为例，i从Dmax-1开始，递减取值，第二TU是对第一TU划分得到的。编码器先对第一TU进行变换和量化以获得第一TU的量化系数(量化系数可以如图10中的量化处理得到)，然后对第一TU的量化系数进行预编码(预编码是为了预估编码后码字的长度，从而进行的编码过程，或者使用与编码近似的方式来进行处理的过程)以获得第一TU的码字长度(即码流大小)R，接着对第一TU的量化系数进行反量化和反变换以获得TU的重建块，计算第一TU和第一TU的重建块的误差平方和以获得第一TU的失真值D，最后根据第一TU的码流大小R和第一TU的失真值D获取第一TU的损失估计值C。

第一TU的失真值D的计算公式如下：

其中，P_rs(i,j)表示第一TU中的残差像素在该TU范围内的坐标点(i,j)上的原始值，P_rc(i,j)表示第一TU中的残差像素在该TU范围内坐标点(i,j)上的重建值。

第一TU的损失估计值C的计算公式如下：

C＝D+λR

其中，λ表示与当前层量化系数相关的常数值，其决定当前层的像素失真情况。

编码器可以采用上述相同的方法计算得到第二TU的损失估计值。获取第一TU的损失估计值和第二TU的损失估计值后，编码器比较第一TU的损失估计值和多个第二TU的损失估计值之和，第一TU划分后得到多个第二TU，将二者中的较小者对应的划分方式确定为第一TU的划分方式，即若第一TU的损失估计值大于多个第二TU的损失估计值之和，那么就将第一TU划分得到多个第二TU的方式确定为第一TU的划分方式；若第一TU的损失估计值小于或者等于多个第二TU的损失估计值之和，那么就不再对第一TU继续划分。编码器通过上述方法遍历完LTU的所有TU后，即可得到LTU的划分方式。当增强层的残差块只包含一个LTU时，LTU的划分方式即为增强层的残差块的划分方式；当增强层的残差块包含多个LTU时，LTU的划分方式和增强层的残差块划分为LTU的方式组成增强层的残差块的划分方式。

本申请对增强层的残差块不再使用与基本层的残差块相同的TU划分方式，而是采用自适应的TU划分方法，得出适合增强层的残差块的TU划分方式，再进行编码，当增强层的残差块的TU划分独立于基本层的CU划分方式时，增强层的TU大小不再受CU大小限制，可以提高编码的灵活性。

编码器可以根据上述变换块划分方式对增强层的残差块进行变换、量化和熵编码，以获得增强层残差块的码流。变换、量化和熵编码的方法可以参照上述描述，此处不再赘述。

解码器获取增强层的残差块的码流后，基于码流中携带的语法元素对其进行熵解码、反量化和反变换处理得到增强层的重建残差块。解码器根据增强层的重建残差块包含的多个像素点的行号和列号，以及基本层的重建块包含的多个像素点的行号和列号，将二者图像块中行号和列号分别相同的像素点相加即可得到增强层的重建块。

本申请可以直接对待编码图像块和基本层的重建块中的对应像素点求差以获得增强层的残差块，减少了获取增强层的预测块的过程，可以减少编码器的处理流程，提高编码器的编码效率。另外对增强层的残差块不再使用与基本层的残差块相同的TU划分方式，而是采用自适应的TU划分方法，得出适合增强层的残差块的TU划分方式，再进行编码，当增强层的残差块的TU划分独立于基本层的CU划分方式时，增强层的TU大小不再受CU大小限制，可以更有效地提升残差块的压缩效率。

上述方法可以适用于空域分级和质量域分级两种分层方式，当图像块采用空域分级得到基本层图像块和增强层图像块时，基本层图像块的分辨率小于增强层图像块的分辨率，因此编码器在对待编码图像块和基本层的重建块中的对应像素点求差以获得待编码图像块的增强层的残差块之前，可以对原始的待编码图像块进行下采样以获得第一分辨率的待编码图像块，并对原始的基本层的重建块进行上采样以获得第一分辨率的基本层的重建块。即编码器可以分别对原始的待编码图像块下采样，对原始的基本层的重建块上采样，以使得待编码图像块的分辨率和基本层的重建块的分辨率相同。

第二方面，本申请提供一种增强层编解码方法，包括：编码器获取待编码图像块的第一增强层的重建块。编码器对待编码图像块和第一增强层的重建块中的对应像素点求差以获得待编码图像块的第二增强层的残差块。编码器确定第二增强层的残差块的变换块划分方式。编码器根据变换块划分方式对第二增强层的残差块进行变换，以获得第二增强层的残差块的码流。解码器获取待解码图像块的第二增强层的残差块的码流。解码器对第二增强层的残差块的码流进行熵解码、反量化和反变换以获得第二增强层的重建残差块。解码器获取待解码图像块的第一增强层的重建块。解码器对第二增强层的重建残差块和第一增强层的重建块中的对应像素点求和以获得第二增强层的重建块。

本申请实施例中，图像块采用空域分级、时域分级或质量域分级进行分层后，除了基本层外，还被划分成多个增强层，相较于第一方面，本实施例是基于较低层增强层(第一增强层)对高一层的第二增强层的编解码方法。

与基本层的重建块的获取方法的区别在于：编码块可以对待处理图像块和待处理图像块的第三层的重建块中的对应像素点求差以获得第一增强层的残差块，第三层是比第一增强层低一层的层级，其可以是基本层，也可以是增强层。然后对第一增强层的残差块进行变换和量化以获得第一增强层的残差块的量化系数，再对第一增强层的残差块的量化系数进行反量化和反变换以获得第一增强层的重建残差块，最后对第三层的重建块和第一增强层的重建残差块中的对应像素点求和以获得第一增强层的重建块。

本申请实施例中第二增强层的残差块的变换块划分方式和第一增强层的残差块的变换块划分方式不同。编码器也可以采用上述RDO处理确定第二增强层的残差块的变换块划分方式，此处不再赘述。

本申请对第二增强层的残差块不再使用与第一增强层的残差块、以及基本层的残差块相同的TU划分方式，而是采用自适应的TU划分方法，得出适合第二增强层的残差块的TU划分方式，再进行编码，当第二增强层的残差块的TU划分独立于其他层的CU或TU划分方式时，第二增强层的TU大小不再受CU大小限制，或者第二增强层的TU大小不再受第一增强层的TU大小限制，可以提高编码的灵活性。

本申请可以直接对待编码图像块和第一增强层的重建块中的对应像素点求差以获得第二增强层的残差块，减少了获取第二增强层的预测块的过程，可以减少编码器的处理流程，提高编码器的编码效率。另外对第二增强层的残差块不再使用与第一增强层的残差块相同的TU划分方式，而是采用自适应的TU划分方法，得出适合第二增强层的残差块的TU划分方式，再进行编码，当第二增强层的残差块的TU划分独立于第一增强层的CU或TU划分方式时，第二增强层的TU大小不再受CU大小限制，或者第二增强层的TU大小不再受第一增强层的TU大小限制，可以更有效地提升残差块的压缩效率。

上述方法可以适用于空域分级和质量域分级两种分层方式，当图像块采用空域分级得到第一增强层图像块和第二增强层图像块时，第一增强层图像块的分辨率小于第二增强层图像块的分辨率，因此编码器在对待编码图像块和第一增强层的重建块中的对应像素点求差以获得待编码图像块的第二增强层的残差块之前，可以对原始的待编码图像块进行下采样以获得第一分辨率的待编码图像块，并对原始的第一增强层的重建块进行上采样以获得第一分辨率的第一增强层的重建块。即编码器可以分别对原始的待编码图像块下采样，对原始的第一增强层的重建块上采样，以使得待编码图像块的分辨率和第一增强层的重建块的分辨率相同。

第三方面，本申请提供一种编码装置，包括：获取模块，用于获取待编码图像块的基本层的重建块；对所述待编码图像块和所述基本层的重建块中的对应像素点求差以获得所述待编码图像块的增强层的残差块，所述增强层图像块的分辨率不低于所述基本层图像块的分辨率，或者所述增强层图像块的编码质量不低于所述基本层图像块的编码质量；确定模块，用于确定所述增强层的残差块的变换块划分方式，所述增强层的残差块的变换块划分方式和所述基本层的残差块的变换块划分方式不同；编码模块，用于根据所述变换块划分方式对所述增强层的残差块进行变换，以获得所述增强层的残差块的码流。

在一种可能的实现方式中，所述确定模块，具体用于对所述增强层的残差块的第一最大变换单元LTU进行迭代式的树形结构划分以获得多个分割深度的变换单元TU，所述多个分割深度中的最大分割深度等于Dmax，Dmax为正整数；根据第一TU的损失估计值和所述第一TU包含的多个第二TU的损失估计值之和确定所述第一TU的划分方式，所述第一TU的分割深度为i，所述第二TU的深度为i+1，0≤i≤Dmax-1。

在一种可能的实现方式中，所述确定模块，具体用于对TU进行变换和量化以获得所述TU的量化系数，所述TU为所述第一TU或者所述第二TU；对所述TU的量化系数进行预编码以获得所述TU的码字长度；对所述TU的量化系数进行反量化和反变换以获得所述TU的重建块；计算所述TU和所述TU的重建块的误差平方和SSD以获得所述TU的失真值；根据所述TU的码字长度和所述TU的失真值获取所述TU的损失估计值；确定所述第一TU的损失估计值和所述多个第二TU的损失估计值之和中的较小者；将所述较小者对应的划分方式确定为所述第一TU的划分方式。

在一种可能的实现方式中，所述LTU的尺寸与所述基本层的重建块的尺寸相同；或者，所述LTU的尺寸与原始的基本层的重建块进行上采样后的尺寸相同。

在一种可能的实现方式中，所述待编码图像块是指整帧图像中的最大编码单元LCU；或者，所述待编码图像块是指整帧图像；或者，所述待编码图像块是指整帧图像中的感兴趣区域ROI。

在一种可能的实现方式中，所述基本层和所述增强层是基于分辨率或编码质量分层获得的。

在一种可能的实现方式中，当所述基本层和所述增强层是基于分辨率分层获得时，所述获取模块，还用于对原始的待编码图像块进行下采样以获得第一分辨率的所述待编码图像块；对原始的基本层的重建块进行上采样以获得所述第一分辨率的所述基本层的重建块。

在一种可能的实现方式中，所述获取模块，具体用于对所述待处理图像块和所述待处理图像块的预测块中的对应像素点求差以获得所述待处理图像块的残差块；对所述待处理图像块的残差块进行变换和量化以获得所述待处理图像块的量化系数；对所述待处理图像块的量化系数进行反量化和反变换以获得所述待处理图像块的重建残差块；对所述待处理图像块的预测块和所述待处理图像块的重建残差块中的对应像素点求和以获得所述基本层的重建块。

第四方面，本申请提供一种编码装置，包括：获取模块，用于，获取待编码图像块的第一增强层的重建块；对所述待编码图像块和所述第一增强层的重建块中的对应像素点求差以获得所述待编码图像块的第二增强层的残差块，所述第二增强层图像块的分辨率不低于所述第一增强层图像块的分辨率，或者所述第二增强层图像块的编码质量不低于所述第一增强层图像块的编码质量；确定模块，用于确定所述第二增强层的残差块的变换块划分方式，所述第二增强层的残差块的变换块划分方式和所述第一层的残差块的变换块划分方式不同；编码模块，用于根据所述变换块划分方式对所述第二增强层的残差块进行变换，以获得所述第二增强层的残差块的码流。

在一种可能的实现方式中，所述确定模块，具体用于对所述第二增强层的残差块的第一最大变换单元LTU进行迭代式的树形结构划分以获得多个分割深度的变换单元TU，所述多个分割深度中的最大分割深度等于Dmax，Dmax为正整数；根据第一TU的损失估计值和所述第一TU包含的多个第二TU的损失估计值之和确定所述第一TU的划分方式，所述第一TU的分割深度为i，所述第二TU的深度为i+1，0≤i≤Dmax-1。

在一种可能的实现方式中，所述确定模块，具体用于对TU进行变换和量化以获得所述TU的量化系数，所述TU为所述第一TU或者所述第二TU；对所述TU的量化系数进行预编码以获得所述TU的码字长度；对所述TU的量化系数进行反量化和反变换以获得所述TU的重建块；计算所述TU和所述TU的重建块的误差平方和SSD以获得所述TU的失真值；根据所述TU的码字长度和所述TU的失真值获取所述TU的损失估计值；确定所述第一TU的损失估计值和所述多个第二TU的损失估计值之和中的较小者；将所述较小者对应的划分方式确定为所述第一TU的划分方式。

在一种可能的实现方式中，所述LTU的尺寸与所述第一增强层的重建块的尺寸相同；或者，所述LTU的尺寸与原始的第一增强层的重建块进行上采样后的尺寸相同。

在一种可能的实现方式中，所述待编码图像块是指整帧图像中的最大编码单元LCU；或者，所述待编码图像块是指整帧图像；或者，所述待编码图像块是指整帧图像中的感兴趣区域ROI。

在一种可能的实现方式中，所述第一增强层和所述第二增强层是通过质量域分层方式或者空域分层方式分层获得的。

在一种可能的实现方式中，当所述第一增强层和所述第二增强层是通过空域分层方式分层获得时，所述获取模块，还用于对原始的待编码图像块进行下采样以获得第二分辨率的所述待编码图像块；对原始的第一增强层的重建块进行上采样以获得所述第二分辨率的所述第一增强层的重建块。

在一种可能的实现方式中，所述获取模块，具体用于对所述待处理图像块和所述待处理图像块的第三层的重建块中的对应像素点求差以获得所述第一增强层的残差块，所述第一增强层图像块的分辨率不低于所述第三层图像块的分辨率，或者所述第一增强层图像块的编码质量不低于所述第三层图像块的编码质量；对所述第一增强层的残差块进行变换和量化以获得所述第一增强层的残差块的量化系数；对所述第一增强层的残差块的量化系数进行反量化和反变换以获得所述第一增强层的重建残差块；对所述第三层的重建块和所述第一增强层的重建残差块中的对应像素点求和以获得所述第一增强层的重建块。

第五方面，本申请提供一种解码装置，包括：获取模块，用于获取待解码图像块的增强层的残差块的码流；解码模块，用于对所述增强层的残差块的码流进行熵解码、反量化和反变换以获得所述增强层的重建残差块；重建模块，用于获取所述待解码图像块的基本层的重建块，所述增强层图像块的分辨率不低于所述基本层图像块的分辨率，或者所述增强层图像块的编码质量不低于所述基本层图像块的编码质量；对所述增强层的重建残差块和所述基本层的重建块中的对应像素点求和以获得所述增强层的重建块。

在一种可能的实现方式中，所述待解码图像块是指整帧图像中的最大编码单元LCU；或者，所述待解码图像块是指整帧图像；或者，所述待解码图像块是指整帧图像中的感兴趣区域ROI。

在一种可能的实现方式中，所述基本层和所述增强层是通过质量域分层方式或者空域分层方式分层获得的。

在一种可能的实现方式中，当所述基本层和所述增强层是通过空域分层方式分层获得时，所述重建模块，还用于对原始的基本层的重建块进行上采样以获得分辨率为第三分辨率的所述基本层的重建块，所述第三分辨率与所述增强层的重建残差块的分辨率相同。

在一种可能的实现方式中，所述重建模块，具体用于获取所述基本层的残差块的码流；对所述基本层的残差块的码流进行熵解码以获得所述基本层的残差块的解码数据；对所述基本层的残差块的解码数据进行反量化和反变换以获得所述基本层的重建残差块；根据所述基本层的残差块的解码数据获取所述基本层的预测块；对所述基本层的重建残差块和所述基本层的预测块中的对应像素点求和以获得所述基本层的重建块。

第六方面，本申请提供一种解码装置，包括：获取模块，用于获取待解码图像块的第二增强层的残差块的码流；解码模块，用于对所述第二增强层的残差块的码流进行熵解码、反量化和反变换以获得所述第二增强层的重建残差块；重建模块，用于获取所述待解码图像块的第一增强层的重建块，所述第二增强层图像块的分辨率不低于所述第一增强层图像块的分辨率，或者所述第二增强层图像块的编码质量不低于所述第一增强层图像块的编码质量；对所述第二增强层的重建残差块和所述第一增强层的重建块中的对应像素点求和以获得所述第二增强层的重建块。

在一种可能的实现方式中，所述待解码图像块是指整帧图像中的最大编码单元LCU；或者，所述待解码图像块是指整帧图像；或者，所述待解码图像块是指整帧图像中的感兴趣区域ROI。

在一种可能的实现方式中，所述第一增强层和所述第二增强层是通过质量域分层方式或者空域分层方式分层获得的。

在一种可能的实现方式中，当所述第一增强层和所述第二增强层是通过空域分层方式分层获得时，所述重建模块，还用于对原始的第一增强层的重建块进行上采样以获得分辨率为第四分辨率的所述第一增强层的重建块，所述第四分辨率与所述第二增强层的重建残差块的分辨率相同。

在一种可能的实现方式中，所述重建模块，具体用于获取所述第一增强层的残差块的码流；对所述第一增强层的残差块的码流进行熵解码、反量化和反变换以获得所述第一增强层的重建残差块；对所述第一增强层的重建残差块和第三层的重建块中的对应像素点求和以获得所述第一增强层的重建块，所述第一增强层图像块的分辨率不低于所述第三层图像块的分辨率，或者所述第一增强层图像块的编码质量不低于所述第三层图像块的编码质量。

第七方面，本申请提供一种编码器，包括：处理器和存储器；所述处理器与所述存储器耦合，所述存储器中存储有计算机可读指令；所述处理器用于读取所述计算机可读指令以使所述编码器实现如上述第一至二方面中任一项所述的方法。

第八方面，本申请提供一种解码器，包括：处理器和存储器；所述处理器与所述存储器耦合，所述存储器中存储有计算机可读指令；所述处理器用于读取所述计算机可读指令以使所述编码器实现如上述第一至二方面中任一项所述的方法。

第九方面，本申请提供一种计算机程序产品，包括程序代码，当其在计算机或处理器上执行时，用于执行根据上述第一至二方面任一项所述的方法。

第十方面，本申请提供一种计算机可读存储介质，其特征在于，包括程序代码，当其由计算机设备执行时，用于执行根据上述第一至二方面任一项所述的方法。

附图说明

图1A为本申请实施例的译码系统10的示例性框图；

图1B为本申请实施例的视频译码系统40的示例性框图；

图2为本申请实施例的视频编码器20的示例性框图；

图3为本申请实施例的视频解码器30的示例性框图；

图4为本申请实施例的视频译码设备400的示例性框图；

图5为本申请实施例的装置500的示例性框图；

图6a～图6g为本申请实施例划分方式的几个示例性的示意图；

图7为本申请QT-MTT划分方式的一个示例性的示意图；

图8为本申请增强层编码方法的一个示例性的流程图；

图9为本申请可分级视频编码的一个示例性的层级示意图；

图10为本申请增强层的编码方法的一个示例性的流程图；

图11为本申请增强层的编码方法的一个示例性的流程图；

图12a和12b为本申请增强层的编码方法的一个示例性的流程图；

图13a和13b为本申请增强层的编码方法的一个示例性的流程图；

图14a和14b为本申请增强层的编码方法的一个示例性的流程图；

图15为本申请增强层的编码方法的一个示例性的流程图；

图16为本申请编码装置的一个示例性的结构示意图；

图17为本申请解码装置的一个示例性的结构示意图。

具体实施方式

本申请实施例提供一种视频图像压缩技术，具体提供一种基于分级残差编码的编解码架构，以改进传统的混合视频编解码系统。

视频编码通常是指处理形成视频或视频序列的图像序列。在视频编码领域，术语“图像(picture)”、“帧(frame)”或“图片(image)”可以用作同义词。视频编码(或通常称为编码)包括视频编码和视频解码两部分。视频编码在源侧执行，通常包括处理(例如，压缩)原始视频图像以减少表示该视频图像所需的数据量(从而更高效存储和/或传输)。视频解码在目的地侧执行，通常包括相对于编码器作逆处理，以重建视频图像。实施例涉及的视频图像(或通常称为图像)的“编码”应理解为视频图像或视频序列的“编码”或“解码”。编码部分和解码部分也合称为编解码(编码和解码，CODEC)。

在无损视频编码情况下，可以重建原始视频图像，即重建的视频图像与原始视频图像具有相同的质量(假设存储或传输期间没有传输损耗或其它数据丢失)。在有损视频编码情况下，通过量化等执行进一步压缩，来减少表示视频图像所需的数据量，而解码器侧无法完全重建视频图像，即重建的视频图像的质量比原始视频图像的质量较低或较差。

几个视频编码标准属于“有损混合型视频编解码”(即，将像素域中的空间和时间预测与变换域中用于应用量化的2D变换编码结合)。视频序列中的每个图像通常分割成不重叠的块集合，通常在块级上进行编码。换句话说，编码器通常在块(视频块)级处理即编码视频，例如，通过空间(帧内)预测和时间(帧间)预测来产生预测块；从当前块(当前处理/待处理的块)中减去预测块，得到残差块；在变换域中变换残差块并量化残差块，以减少待传输(压缩)的数据量，而解码器侧将相对于编码器的逆处理部分应用于编码或压缩的块，以重建用于表示的当前块。另外，编码器需要重复解码器的处理步骤，使得编码器和解码器生成相同的预测(例如，帧内预测和帧间预测)和/或重建像素，用于处理，即编码后续块。

在以下译码系统10的实施例中，编码器20和解码器30根据图1A至图3进行描述。

图1A为本申请实施例的译码系统10的示例性框图，例如可以利用本申请技术的视频译码系统10(或简称为译码系统10)。视频译码系统10中的视频编码器20(或简称为编码器20)和视频解码器30(或简称为解码器30)代表可用于根据本申请中描述的各种示例执行各技术的设备等。

如图1A所示，译码系统10包括源设备12，源设备12用于将编码图像等编码图像数据21提供给用于对编码图像数据21进行解码的目的设备14。

源设备12包括编码器20，另外即可选地，可包括图像源16、图像预处理器等预处理器(或预处理单元)18、通信接口(或通信单元)22。

图像源16可包括或可以为任意类型的用于捕获现实世界图像等的图像捕获设备，和/或任意类型的图像生成设备，例如用于生成计算机动画图像的计算机图形处理器或任意类型的用于获取和/或提供现实世界图像、计算机生成图像(例如，屏幕内容、虚拟现实(virtual reality，VR)图像和/或其任意组合(例如增强现实(augmented reality，AR)图像)的设备。所述图像源可以为存储上述图像中的任意图像的任意类型的内存或存储器。

为了区分预处理器(或预处理单元)18执行的处理，图像(或图像数据)17也可称为原始图像(或原始图像数据)17。

预处理器18用于接收原始图像数据17，并对原始图像数据17进行预处理，得到预处理图像(或预处理图像数据)19。例如，预处理器18执行的预处理可包括修剪、颜色格式转换(例如从RGB转换为YCbCr)、调色或去噪。可以理解的是，预处理单元18可以为可选组件。

视频编码器(或编码器)20用于接收预处理图像数据19并提供编码图像数据21(下面将根据图2等进一步描述)。

源设备12中的通信接口22可用于：接收编码图像数据21并通过通信信道13向目的设备14等另一设备或任何其它设备发送编码图像数据21(或其它任意处理后的版本)，以便存储或直接重建。

目的设备14包括解码器30，另外即可选地，可包括通信接口(或通信单元)28、后处理器(或后处理单元)32和显示设备34。

目的设备14中的通信接口28用于直接从源设备12或从存储设备等任意其它源设备接收编码图像数据21(或其它任意处理后的版本)，例如，存储设备为编码图像数据存储设备，并将编码图像数据21提供给解码器30。

通信接口22和通信接口28可用于通过源设备12与目的设备14之间的直连通信链路，例如直接有线或无线连接等，或者通过任意类型的网络，例如有线网络、无线网络或其任意组合、任意类型的私网和公网或其任意类型的组合，发送或接收编码图像数据(或编码数据)21。

例如，通信接口22可用于将编码图像数据21封装为报文等合适的格式，和/或使用任意类型的传输编码或处理来处理所述编码后的图像数据，以便在通信链路或通信网络上进行传输。

通信接口28与通信接口22对应，例如，可用于接收传输数据，并使用任意类型的对应传输解码或处理和/或解封装对传输数据进行处理，得到编码图像数据21。

通信接口22和通信接口28均可配置为如图1A中从源设备12指向目的设备14的对应通信信道13的箭头所指示的单向通信接口，或双向通信接口，并且可用于发送和接收消息等，以建立连接，确认并交换与通信链路和/或例如编码后的图像数据传输等数据传输相关的任何其它信息，等等。

视频解码器(或解码器)30用于接收编码图像数据21并提供解码图像数据(或解码图像数据)31(下面将根据图3等进一步描述)。

后处理器32用于对解码后的图像等解码图像数据31(也称为重建后的图像数据)进行后处理，得到后处理后的图像等后处理图像数据33。后处理单元32执行的后处理可以包括例如颜色格式转换(例如从YCbCr转换为RGB)、调色、修剪或重采样，或者用于产生供显示设备34等显示的解码图像数据31等任何其它处理。

显示设备34用于接收后处理图像数据33，以向用户或观看者等显示图像。显示设备34可以为或包括任意类型的用于表示重建后图像的显示器，例如，集成或外部显示屏或显示器。例如，显示屏可包括液晶显示器(liquid crystal display，LCD)、有机发光二极管(organic light emitting diode，OLED)显示器、等离子显示器、投影仪、微型LED显示器、硅基液晶显示器(liquid crystal on silicon，LCoS)、数字光处理器(digital lightprocessor，DLP)或任意类型的其它显示屏。

尽管图1A示出了源设备12和目的设备14作为独立的设备，但设备实施例也可以同时包括源设备12和目的设备14或同时包括源设备12和目的设备14的功能，即同时包括源设备12或对应功能和目的设备14或对应功能。在这些实施例中，源设备12或对应功能和目的设备14或对应功能可以使用相同硬件和/或软件或通过单独的硬件和/或软件或其任意组合来实现。

根据描述，图1A所示的源设备12和/或目的设备14中的不同单元或功能的存在和(准确)划分可能根据实际设备和应用而有所不同，这对技术人员来说是显而易见的。

编码器20(例如视频编码器20)或解码器30(例如视频解码器30)或两者都可通过如图1B所示的处理电路实现，例如一个或多个微处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)、离散逻辑、硬件、视频编码专用处理器或其任意组合。编码器20可以通过处理电路46实现，以包含参照图2编码器20论述的各种模块和/或本文描述的任何其它编码器系统或子系统。解码器30可以通过处理电路46实现，以包含参照图3解码器30论述的各种模块和/或本文描述的任何其它解码器系统或子系统。所述处理电路46可用于执行下文论述的各种操作。如图5所示，如果部分技术在软件中实施，则设备可以将软件的指令存储在合适的计算机可读存储介质中，并且使用一个或多个处理器在硬件中执行指令，从而执行本发明技术。视频编码器20和视频解码器30中的其中一个可作为组合编解码器(encoder/decoder，CODEC)的一部分集成在单个设备中，如图1B所示。

源设备12和目的设备14可包括各种设备中的任一种，包括任意类型的手持设备或固定设备，例如，笔记本电脑或膝上型电脑、手机、智能手机、平板或平板电脑、相机、台式计算机、机顶盒、电视机、显示设备、数字媒体播放器、视频游戏控制台、视频流设备(例如，内容业务服务器或内容分发服务器)、广播接收设备、广播发射设备，等等，并可以不使用或使用任意类型的操作系统。在一些情况下，源设备12和目的设备14可配备用于无线通信的组件。因此，源设备12和目的设备14可以是无线通信设备。

在一些情况下，图1A所示的视频译码系统10仅仅是示例性的，本申请提供的技术可适用于视频编码设置(例如，视频编码或视频解码)，这些设置不一定包括编码设备与解码设备之间的任何数据通信。在其它示例中，数据从本地存储器中检索，通过网络发送，等等。视频编码设备可以对数据进行编码并将数据存储到存储器中，和/或视频解码设备可以从存储器中检索数据并对数据进行解码。在一些示例中，编码和解码由相互不通信而只是编码数据到存储器和/或从存储器中检索并解码数据的设备来执行。

图1B为本申请实施例的视频译码系统40的示例性框图，如图1B所示，视频译码系统40可以包含成像设备41、视频编码器20、视频解码器30(和/或藉由处理电路46实施的视频编/解码器)、天线42、一个或多个处理器43、一个或多个内存存储器44和/或显示设备45。

如图1B所示，成像设备41、天线42、处理电路46、视频编码器20、视频解码器30、处理器43、内存存储器44和/或显示设备45能够互相通信。在不同实例中，视频译码系统40可以只包含视频编码器20或只包含视频解码器30。

在一些实例中，天线42可以用于传输或接收视频数据的经编码比特流。另外，在一些实例中，显示设备45可以用于呈现视频数据。处理电路46可以包含专用集成电路(application-specific integrated circuit，ASIC)逻辑、图形处理器、通用处理器等。视频译码系统40也可以包含可选的处理器43，该可选处理器43类似地可以包含专用集成电路(application-specific integrated circuit，ASIC)逻辑、图形处理器、通用处理器等。另外，内存存储器44可以是任何类型的存储器，例如易失性存储器(例如，静态随机存取存储器(static random access memory，SRAM)、动态随机存储器(dynamic random accessmemory，DRAM)等)或非易失性存储器(例如，闪存等)等。在非限制性实例中，内存存储器44可以由超速缓存内存实施。在其它实例中，处理电路46可以包含存储器(例如，缓存等)用于实施图像缓冲器等。

在一些实例中，通过逻辑电路实施的视频编码器20可以包含(例如，通过处理电路46或内存存储器44实施的)图像缓冲器和(例如，通过处理电路46实施的)图形处理单元。图形处理单元可以通信耦合至图像缓冲器。图形处理单元可以包含通过处理电路46实施的视频编码器20，以实施参照图2和/或本文中所描述的任何其它编码器系统或子系统所论述的各种模块。逻辑电路可以用于执行本文所论述的各种操作。

在一些实例中，视频解码器30可以以类似方式通过处理电路46实施，以实施参照图3的视频解码器30和/或本文中所描述的任何其它解码器系统或子系统所论述的各种模块。在一些实例中，逻辑电路实施的视频解码器30可以包含(通过处理电路46或内存存储器44实施的)图像缓冲器和(例如，通过处理电路46实施的)图形处理单元。图形处理单元可以通信耦合至图像缓冲器。图形处理单元可以包含通过处理电路46实施的视频解码器30，以实施参照图3和/或本文中所描述的任何其它解码器系统或子系统所论述的各种模块。

在一些实例中，天线42可以用于接收视频数据的经编码比特流。如所论述，经编码比特流可以包含本文所论述的与编码视频帧相关的数据、指示符、索引值、模式选择数据等，例如与编码分割相关的数据(例如，变换系数或经量化变换系数，(如所论述的)可选指示符，和/或定义编码分割的数据)。视频译码系统40还可包含耦合至天线42并用于解码经编码比特流的视频解码器30。显示设备45用于呈现视频帧。

应理解，本申请实施例中对于参考视频编码器20所描述的实例，视频解码器30可以用于执行相反过程。关于信令语法元素，视频解码器30可以用于接收并解析这种语法元素，相应地解码相关视频数据。在一些例子中，视频编码器20可以将语法元素熵编码成经编码视频比特流。在此类实例中，视频解码器30可以解析这种语法元素，并相应地解码相关视频数据。

为便于描述，参考通用视频编码(versatile video coding，VVC)参考软件或由ITU-T视频编码专家组(video coding experts group，VCEG)和ISO/IEC运动图像专家组(motion picture experts group，MPEG)的视频编码联合工作组(joint collaborationteam on video coding，JCT-VC)开发的高性能视频编码(high-efficiency videocoding，HEVC)描述本发明实施例。本领域普通技术人员理解本发明实施例不限于HEVC或VVC。

编码器和编码方法

图2为本申请实施例的视频编码器20的示例性框图。如图2所示，视频编码器20包括输入端(或输入接口)201、残差计算单元204、变换处理单元206、量化单元208、反量化单元210、逆变换处理单元212、重建单元214、环路滤波器220、解码图像缓冲器(decodedpicture buffer，DPB)230、模式选择单元260、熵编码单元270和输出端(或输出接口)272。模式选择单元260可包括帧间预测单元244、帧内预测单元254和分割单元262。帧间预测单元244可包括运动估计单元和运动补偿单元(未示出)。图2所示的视频编码器20也可称为混合型视频编码器或基于混合型视频编解码器的视频编码器。

残差计算单元204、变换处理单元206、量化单元208和模式选择单元260组成编码器20的前向信号路径，而反量化单元210、逆变换处理单元212、重建单元214、缓冲器216、环路滤波器220、解码图像缓冲器(decoded picture buffer，DPB)230、帧间预测单元244和帧内预测单元254组成编码器的后向信号路径，其中编码器20的后向信号路径对应于解码器的信号路径(参见图3中的解码器30)。反量化单元210、逆变换处理单元212、重建单元214、环路滤波器220、解码图像缓冲器230、帧间预测单元244和帧内预测单元254还组成视频编码器20的“内置解码器”。

图像和图像分割(图像和块)

编码器20可用于通过输入端201等接收图像(或图像数据)17，例如，形成视频或视频序列的图像序列中的图像。接收的图像或图像数据也可以是预处理后的图像(或预处理后的图像数据)19。为简单起见，以下描述使用图像17。图像17也可称为当前图像或待编码的图像(尤其是在视频编码中将当前图像与其它图像区分开时，其它图像例如同一视频序列，即也包括当前图像的视频序列，中的之前编码后图像和/或解码后图像)。

(数字)图像为或可以视为具有强度值的像素点组成的二维阵列或矩阵。阵列中的像素点也可以称为像素(pixel或pel)(图像元素的简称)。阵列或图像在水平方向和垂直方向(或轴线)上的像素点数量决定了图像的大小和/或分辨率。为了表示颜色，通常采用三个颜色分量，即图像可以表示为或包括三个像素点阵列。在RBG格式或颜色空间中，图像包括对应的红色、绿色和蓝色像素点阵列。但是，在视频编码中，每个像素通常以亮度/色度格式或颜色空间表示，例如YCbCr，包括Y指示的亮度分量(有时也用L表示)以及Cb、Cr表示的两个色度分量。亮度(luma)分量Y表示亮度或灰度水平强度(例如，在灰度等级图像中两者相同)，而两个色度(chrominance，简写为chroma)分量Cb和Cr表示色度或颜色信息分量。相应地，YCbCr格式的图像包括亮度像素点值(Y)的亮度像素点阵列和色度值(Cb和Cr)的两个色度像素点阵列。RGB格式的图像可以转换或变换为YCbCr格式，反之亦然，该过程也称为颜色变换或转换。如果图像是黑白的，则该图像可以只包括亮度像素点阵列。相应地，图像可以为例如单色格式的亮度像素点阵列或4:2:0、4:2:2和4:4:4彩色格式的亮度像素点阵列和两个相应的色度像素点阵列。

在一个实施例中，视频编码器20的实施例可包括图像分割单元(图2中未示出)，用于将图像17分割成多个(通常不重叠)图像块203。这些块在H.265/HEVC和VVC标准中也可以称为根块、宏块(H.264/AVC)或编码树块(Coding Tree Block，CTB)，或编码树单元(CodingTree Unit，CTU)。分割单元可用于对视频序列中的所有图像使用相同的块大小和使用限定块大小的对应网格，或在图像或图像子集或图像组之间改变块大小，并将每个图像分割成对应块。

在其它实施例中，视频编码器可用于直接接收图像17的块203，例如，组成所述图像17的一个、几个或所有块。图像块203也可以称为当前图像块或待编码图像块。

与图像17一样，图像块203同样是或可认为是具有强度值(像素点值)的像素点组成的二维阵列或矩阵，但是图像块203的比图像17的小。换句话说，块203可包括一个像素点阵列(例如，单色图像17情况下的亮度阵列或彩色图像情况下的亮度阵列或色度阵列)或三个像素点阵列(例如，彩色图像17情况下的一个亮度阵列和两个色度阵列)或根据所采用的颜色格式的任何其它数量和/或类型的阵列。块203的水平方向和垂直方向(或轴线)上的像素点数量限定了块203的大小。相应地，块可以为M×N(M列×N行)个像素点阵列，或M×N个变换系数阵列等。

在一个实施例中，图2所示的视频编码器20用于逐块对图像17进行编码，例如，对每个块203执行编码和预测。

在一个实施例中，图2所示的视频编码器20还可以用于使用片(也称为视频片)分割和/或编码图像，其中图像可以使用一个或多个片(通常为不重叠的)进行分割或编码。每个片可包括一个或多个块(例如，编码树单元CTU)或一个或多个块组(例如H.265/HEVC/VVC标准中的编码区块(tile)和VVC标准中的砖(brick)。

在一个实施例中，图2所示的视频编码器20还可以用于使用片/编码区块组(也称为视频编码区块组)和/或编码区块(也称为视频编码区块)对图像进行分割和/或编码，其中图像可以使用一个或多个片/编码区块组(通常为不重叠的)进行分割或编码，每个片/编码区块组可包括一个或多个块(例如CTU)或一个或多个编码区块等，其中每个编码区块可以为矩形等形状，可包括一个或多个完整或部分块(例如CTU)。

残差计算

残差计算单元204用于通过如下方式根据图像块203和预测块265来计算残差块205(后续详细介绍了预测块265)：例如，逐个像素点(逐个像素)从图像块203的像素点值中减去预测块265的像素点值，得到像素域中的残差块205。

变换

变换处理单元206用于对残差块205的像素点值执行离散余弦变换(discretecosine transform，DCT)或离散正弦变换(discrete sine transform，DST)等，得到变换域中的变换系数207。变换系数207也可称为变换残差系数，表示变换域中的残差块205。

变换处理单元206可用于应用DCT/DST的整数化近似，例如为H.265/HEVC指定的变换。与正交DCT变换相比，这种整数化近似通常由某一因子按比例缩放。为了维持经过正变换和逆变换处理的残差块的范数，使用其它比例缩放因子作为变换过程的一部分。比例缩放因子通常是根据某些约束条件来选择的，例如比例缩放因子是用于移位运算的2的幂、变换系数的位深度、准确性与实施成本之间的权衡等。例如，在编码器20侧通过逆变换处理单元212为逆变换(以及在解码器30侧通过例如逆变换处理单元312为对应逆变换)指定具体的比例缩放因子，以及相应地，可以在编码器20侧通过变换处理单元206为正变换指定对应比例缩放因子。

在一个实施例中，视频编码器20(对应地，变换处理单元206)可用于输出一种或多种变换的类型等变换参数，例如，直接输出或由熵编码单元270进行编码或压缩后输出，例如使得视频解码器30可接收并使用变换参数进行解码。

量化

量化单元208用于通过例如标量量化或矢量量化对变换系数207进行量化，得到量化变换系数209。量化变换系数209也可称为量化残差系数209。

量化过程可减少与部分或全部变换系数207有关的位深度。例如，可在量化期间将n位变换系数向下舍入到m位变换系数，其中n大于m。可通过调整量化参数(quantizationparameter，QP)修改量化程度。例如，对于标量量化，可以应用不同程度的比例来实现较细或较粗的量化。较小量化步长对应较细量化，而较大量化步长对应较粗量化。可通过量化参数(quantization parameter，QP)指示合适的量化步长。例如，量化参数可以为合适的量化步长的预定义集合的索引。例如，较小的量化参数可对应精细量化(较小量化步长)，较大的量化参数可对应粗糙量化(较大量化步长)，反之亦然。量化可包括除以量化步长，而反量化单元210等执行的对应或逆解量化可包括乘以量化步长。根据例如HEVC一些标准的实施例可用于使用量化参数来确定量化步长。一般而言，可以根据量化参数使用包含除法的等式的定点近似来计算量化步长。可以引入其它比例缩放因子来进行量化和解量化，以恢复可能由于在用于量化步长和量化参数的等式的定点近似中使用的比例而修改的残差块的范数。在一种示例性实现方式中，可以合并逆变换和解量化的比例。或者，可以使用自定义量化表并在比特流中等将其从编码器向解码器指示。量化是有损操作，其中量化步长越大，损耗越大。

在一个实施例中，视频编码器20(对应地，量化单元208)可用于输出量化参数(quantization parameter，QP)，例如，直接输出或由熵编码单元270进行编码或压缩后输出，例如使得视频解码器30可接收并使用量化参数进行解码。

反量化

反量化单元210用于对量化系数执行量化单元208的反量化，得到解量化系数211，例如，根据或使用与量化单元208相同的量化步长执行与量化单元208所执行的量化方案的反量化方案。解量化系数211也可称为解量化残差系数211，对应于变换系数207，但是由于量化造成损耗，反量化系数211通常与变换系数不完全相同。

逆变换

逆变换处理单元212用于执行变换处理单元206执行的变换的逆变换，例如，逆离散余弦变换(discrete cosine transform，DCT)或逆离散正弦变换(discrete sinetransform，DST)，以在像素域中得到重建残差块213(或对应的解量化系数213)。重建残差块213也可称为变换块213。

重建

重建单元214(例如，求和器214)用于将变换块213(即重建残差块213)添加到预测块265，以在像素域中得到重建块215，例如，将重建残差块213的像素点值和预测块265的像素点值相加。

滤波

环路滤波器单元220(或简称“环路滤波器”220)用于对重建块215进行滤波，得到滤波块221，或通常用于对重建像素点进行滤波以得到滤波像素点值。例如，环路滤波器单元用于顺利进行像素转变或提高视频质量。环路滤波器单元220可包括一个或多个环路滤波器，例如去块滤波器、像素点自适应偏移(sample-adaptive offset，SAO)滤波器或一个或多个其它滤波器，例如自适应环路滤波器(adaptive loop filter，ALF)、噪声抑制滤波器(noise suppression filter，NSF)或任意组合。例如，环路滤波器单元220可以包括去块滤波器、SAO滤波器和ALF滤波器。滤波过程的顺序可以是去块滤波器、SAO滤波器和ALF滤波器。再例如，增加一个称为具有色度缩放的亮度映射(luma mapping with chromascaling，LMCS)(即自适应环内整形器)的过程。该过程在去块之前执行。再例如，去块滤波过程也可以应用于内部子块边缘，例如仿射子块边缘、ATMVP子块边缘、子块变换(sub-block transform，SBT)边缘和内子部分(intra sub-partition，ISP)边缘。尽管环路滤波器单元220在图2中示为环路滤波器，但在其它配置中，环路滤波器单元220可以实现为环后滤波器。滤波块221也可称为滤波重建块221。

在一个实施例中，视频编码器20(对应地，环路滤波器单元220)可用于输出环路滤波器参数(例如SAO滤波参数、ALF滤波参数或LMCS参数)，例如，直接输出或由熵编码单元270进行熵编码后输出，例如使得解码器30可接收并使用相同或不同的环路滤波器参数进行解码。

解码图像缓冲器

解码图像缓冲器(decoded picture buffer，DPB)230可以是存储参考图像数据以供视频编码器20在编码视频数据时使用的参考图像存储器。DPB 230可以由多种存储器设备中的任一种形成，例如动态随机存取存储器(dynamic random access memory，DRAM)，包括同步DRAM(synchronous DRAM，SDRAM)、磁阻RAM(magnetoresistive RAM，MRAM)、电阻RAM(resistive RAM，RRAM)或其它类型的存储设备。解码图像缓冲器230可用于存储一个或多个滤波块221。解码图像缓冲器230还可用于存储同一当前图像或例如之前的重建块等不同图像的其它之前的滤波块，例如之前重建和滤波的块221，并可提供完整的之前重建即解码图像(和对应参考块和像素点)和/或部分重建的当前图像(和对应参考块和像素点)，例如用于帧间预测。解码图像缓冲器230还可用于存储一个或多个未经滤波的重建块215，或一般存储未经滤波的重建像素点，例如，未被环路滤波单元220滤波的重建块215，或未进行任何其它处理的重建块或重建像素点。

模式选择(分割和预测)

模式选择单元260包括分割单元262、帧间预测单元244和帧内预测单元254，用于从解码图像缓冲器230或其它缓冲器(例如，列缓冲器，图中未显示)接收或获得原始块203(当前图像17的当前块203)和重建块数据等原始图像数据，例如，同一(当前)图像和/或一个或多个之前解码图像的滤波和/或未经滤波的重建像素点或重建块。重建块数据用作帧间预测或帧内预测等预测所需的参考图像数据，以得到预测块265或预测值265。

模式选择单元260可用于为当前块(包括不分割)的预测模式(例如帧内或帧间预测模式)确定或选择一种分割，生成对应的预测块265，以对残差块205进行计算和对重建块215进行重建。

在一个实施例中，模式选择单元260可用于选择分割和预测模式(例如，从模式选择单元260支持的或可用的预测模式中)，所述预测模式提供最佳匹配或者说最小残差(最小残差是指传输或存储中更好的压缩)，或者提供最小信令开销(最小信令开销是指传输或存储中更好的压缩)，或者同时考虑或平衡以上两者。模式选择单元260可用于根据码率失真优化(rate distortion Optimization，RDO)确定分割和预测模式，即选择提供最小码率失真优化的预测模式。本文“最佳”、“最低”、“最优”等术语不一定指总体上“最佳”、“最低”、“最优”的，但也可以指满足终止或选择标准的情况，例如，超过或低于阈值的值或其他限制可能导致“次优选择”，但会降低复杂度和处理时间。

换言之，分割单元262可用于将视频序列中的图像分割为编码树单元(codingtree unit，CTU)序列，CTU 203可进一步被分割成较小的块部分或子块(再次形成块)，例如，通过迭代使用四叉树(quad-tree partitioning，QT)分割、二叉树(binary-treepartitioning，BT)分割或三叉树(triple-tree partitioning，TT)分割或其任意组合，并且用于例如对块部分或子块中的每一个执行预测，其中模式选择包括选择分割块203的树结构和选择应用于块部分或子块中的每一个的预测模式。

下文将详细地描述由视频编码器20执行的分割(例如，由分割单元262执行)和预测处理(例如，由帧间预测单元244和帧内预测单元254执行)。

分割

分割单元262可将一个编码树单元203分割(或划分)为较小的部分，例如正方形或矩形形状的小块。对于具有三个像素点阵列的图像，一个CTU由N×N个亮度像素点块和两个对应的色度像素点块组成。

H.265/HEVC视频编码标准把一帧图像分割成互不重叠的CTU，CTU的大小可设置为64×64(CTU的大小也可设置为其它值，如JVET参考软件JEM中CTU大小增大为128×128或256×256)。64×64的CTU包含由64列、每列64个像素的矩形像素点阵，每个像素包含亮度分量或/和色度分量。

H.265使用基于QT的CTU划分方法，将CTU作为QT的根节点(root)，按照QT的划分方式，将CTU递归划分成若干个叶节点(leaf node)，例如如图6a所示。一个节点对应于一个图像区域，节点如果不划分，则该节点称为叶节点，其对应的图像区域即为一个CU；如果节点继续划分，则节点对应的图像区域可以被划分成四个相同大小的区域(其长和宽各为被划分区域的一半)，每个区域对应一个节点，需要分别确定这些节点是否还会划分。一个节点是否划分由码流中该节点对应的划分标志位split_cu_flag指示。一个节点A划分一次得到4个节点Bi，i＝0～3，Bi称为A的子节点，A称为Bi的父节点。根节点的QT层级(qtDepth)为0，节点的QT层级是该节点的父节点的四QT层级加1。为表述简洁，下文中节点的大小和形状即指节点对应的图像区域的大小和形状。

例如，1个64×64的CTU(其QT层级为0)，根据其对应的split_cu_flag，如果确定不划分，则成为1个64×64的CU；如果确定划分为4个32×32的节点(QT层级为1)。该4个32×32的节点中的每一个节点，又可以根据其对应的split_cu_flag，确定继续划分或者不划分。如果其中1个32×32的节点继续划分，则产生4个16×16的节点(QT层级为2)。以此类推，直到所有节点都不再划分，这样一个CTU就被划分成一组CU。CU的最小尺寸(size)在序列参数集(sequence parameter set，SPS)中标识，例如8×8为CU的最小尺寸。在上述递归划分过程中，如果一个节点的尺寸等于最小CU尺寸(minimum CU size)，这个节点默认为不再划分，同时也不需要在码流中包含它的划分标志位。

当解析到一个节点为叶节点后，该叶节点为一个CU，进一步解析该CU对应的编码信息(包括该CU的预测模式、变换系数等信息，例如，H.265中的coding_unit()语法结构体)，然后按照这些编码信息对该CU进行预测、反量化、反变换、环路滤波等解码处理，从得到该CU对应的重建块。QT划分使得CTU能够根据图像的局部特点划分成合适大小的一组CU，例如，平滑区域被划分成较大尺寸的CU，而纹理丰富区域被划分为较小尺寸的CU。

H.266/VVC标准在QT划分的基础上，增加了BT划分方式和TT划分方式。

BT划分方式将1个节点划分成2个子节点，具体的BT划分方式有两种：

1)水平二分：将节点对应的区域划分成上、下两个相同大小的区域，即宽不变，高变为划分前区域的一半，每个划分后区域对应于一个子节点。例如如图6b所示。

2)竖直二分：将节点对应的区域划分成左、右两个相同大小的区域，即高不变，宽变为划分前区域的一半，每个划分后区域对应于一个子节点。例如如图6c所示。

TT划分方式将1个节点划分成3个子节点，具体的TT划分方式有两种：

1)水平三分：将节点对应的区域划分成上、中、下三个区域，其中上、中、下三个区域的高分别为划分前区域的1/4、1/2、1/4，每个划分后区域对应于一个子节点。例如如图6d所示。

2)竖直三分：将节点对应的区域划分成左、中、右三个区域，其中左、中、右三个区域的宽分别为划分前区域的1/4、1/2、1/4，每个划分后区域对应于一个子节点。例如如图6e所示。

H.266中使用了QT级联BT/TT的划分方式，简称为QT-MTT划分方式。即CTU通过QT划分，产生4个QT节点，QT节点可使用QT划分方式继续划分成4个QT节点，直到QT节点不再使用QT划分方式继续划分而作为QT叶节点，或者QT节点不使用QT划分方式划分而作为QT叶节点。QT叶节点作为MTT的根节点。MTT中的节点可使用水平二分、竖直二分、水平三分、竖直三分这四种划分方式的其中之一划分为子节点，或者不再划分而作为1个MTT叶节点。MTT叶节点为一个CU。

例如，图7为本申请QT-MTT划分方式的一个示例性的示意图，如图7所示，使用QT-MTT将一个CTU划分成a～p共16个CU，树状图中的每个端点表示一个节点，1个节点连出4根线表示QT划分，1个节点连出2根线表示BT划分，1个节点连出3根线表示TT划分。实线表示QT划分，虚线表示MTT的第一层划分，点划线表示MTT的第二层划分。a～p为16个MTT叶节点，每个MTT叶节点对应一个CU。基于上述树状图，可以得到图7中的CTU的划分图。

QT-MTT划分方式中，每个CU具有QT层级(或QT深度)(quad-tree depth，QT depth)和MTT层级(MTT深度)(multi-type tree depth，MTT depth)。QT层级表示CU所属的QT叶节点的QT层级，MTT层级表示CU所属的MTT叶节点的MTT层级。例如，图7中a、b、c、d、e、f、g、i、j的QT层级为1，MTT层级为2；h的QT层级为1，MTT层级为1；n、o、p的QT层级为2，MTT层级为0；l、m的QT层级为2，MTT层级为1。如果CTU只划分成一个CU，则此CU的QT层级为0，MTT层级为0。

AVS3标准采用了另一种QT-MTT划分方法，即QT级联BT/EQT的划分方式，亦即AVS3标准用扩展四叉树(extended quad-tree，EQT)划分取代了H.266中的TT划分。即CTU通过QT划分，产生4个QT节点，QT节点可使用QT划分方式继续划分成4个QT节点，直到QT节点不再使用QT划分方式继续划分而作为QT叶节点，或者QT节点不使用QT划分方式划分而作为QT叶节点。QT叶节点作为MTT的根节点。MTT中的节点可使用水平二分、竖直二分、水平四分、竖直四分这四种划分方式的其中之一划分为子节点，或者不再划分而作为1个MTT叶节点。MTT叶节点为一个CU。

EQT划分方式将1个节点划分成4个子节点，具体的EQT划分方式有两种：

1)水平四分：将节点对应的区域划分成上、中左、中右、下四个区域，其中上、中左、中右、下四个区域的高分别为划分前区域的1/4、1/2、1/2、1/4，中左和中右的宽分别为划分前区域的1/2，每个划分后区域对应于一个子节点。例如如图6f所示。

2)竖直四分：将节点对应的区域划分成左、中上、中下、右四个区域，其中左、中上、中下、右四个区域的宽分别为划分前区域的1/4、1/2、1/2、1/4，中上和中下的高分别为划分前区域的1/2，每个划分后区域对应于一个子节点。例如如图6g所示。

H.265/HEVC标准中，对于YUV4:2:0格式的图像，一个CTU包含一个亮度块和两个色度块，亮度块和色度块可以使用相同的方式划分，称作亮度色度联合编码树。VVC中，如果当前帧为I帧，则当一个CTU为帧内编码帧(I帧)中的预设大小(如64×64)的节点时，该节点包含的亮度块通过亮度编码树被划分成一组只包含亮度块的编码单元，该节点包含的色度块通过色度编码树被划分成一组只包含色度块的编码单元；亮度编码树和色度编码树的划分相互独立。这种亮度块和色度块使用独立的编码树，称为分离树(separate trees)。在H.265中，CU包含亮度像素和色度像素；在H.266、AVS3等标准中，除了具有同时包含亮度像素和色度像素的CU之外，还存在只包含亮度像素的亮度CU和只包含色度像素的色度CU。

如上所述，视频编码器20用于从(预定的)预测模式集合中确定或选择最好或最优的预测模式。预测模式集合可包括例如帧内预测模式和/或帧间预测模式。

帧内预测

帧内预测模式集合可包括35种不同的帧内预测模式，例如，像DC(或均值)模式和平面模式的非方向性模式，或如HEVC定义的方向性模式，或者可包括67种不同的帧内预测模式，例如，像DC(或均值)模式和平面模式的非方向性模式，或如VVC中定义的方向性模式。例如，若干传统角度帧内预测模式自适应地替换为VVC中定义的非正方形块的广角帧内预测模式。又例如，为了避免DC预测的除法运算，仅使用较长边来计算非正方形块的平均值。并且，平面模式的帧内预测结果还可以使用位置决定的帧内预测组合(positiondependent intra prediction combination，PDPC)方法修改。

帧内预测单元254用于根据帧内预测模式集合中的帧内预测模式使用同一当前图像的相邻块的重建像素点来生成帧内预测块265。

帧内预测单元254(或通常为模式选择单元260)还用于输出帧内预测参数(或通常为指示块的选定帧内预测模式的信息)以语法元素266的形式发送到熵编码单元270，以包含到编码图像数据21中，从而视频解码器30可执行操作，例如接收并使用用于解码的预测参数。

帧间预测

在可能的实现中，帧间预测模式集合取决于可用参考图像(即，例如前述存储在DBP230中的至少部分之前解码的图像)和其它帧间预测参数，例如取决于是否使用整个参考图像或只使用参考图像的一部分，例如当前块的区域附近的搜索窗口区域，来搜索最佳匹配参考块，和/或例如取决于是否执行半像素、四分之一像素和/或16分之一内插的像素内插。

除上述预测模式外，还可以采用跳过模式和/或直接模式。

例如，扩展合并预测，这种模式的合并候选列表由以下五种候选类型按顺序组成：来自空间相邻CU的空间MVP、来自并置CU的时间MVP、来自FIFO表的基于历史的MVP、成对平均MVP和零MV。可以使用基于双边匹配的解码器侧运动矢量修正(decoder side motionvector refinement，DMVR)来增加合并模式的MV的准确度。带有MVD的合并模式(mergemode with MVD，MMVD)来自有运动矢量差异的合并模式。在发送跳过标志和合并标志之后立即发送MMVD标志，以指定CU是否使用MMVD模式。可以使用CU级自适应运动矢量分辨率(adaptive motion vector resolution，AMVR)方案。AMVR支持CU的MVD以不同的精度进行编码。根据当前CU的预测模式，自适应地选择当前CU的MVD。当CU以合并模式进行编码时，可以将合并的帧间/帧内预测(combined inter/intra prediction，CIIP)模式应用于当前CU。对帧间和帧内预测信号进行加权平均，得到CIIP预测。对于仿射运动补偿预测，通过2个控制点(4参数)或3个控制点(6参数)运动矢量的运动信息来描述块的仿射运动场。基于子块的时间运动矢量预测(subblock-based temporal motion vector prediction，SbTMVP)，与HEVC中的时间运动矢量预测(temporal motion vector prediction，TMVP)类似，但预测的是当前CU内的子CU的运动矢量。双向光流(bi-directional optical flow，BDOF)以前称为BIO，是一种减少计算的简化版本，特别是在乘法次数和乘数大小方面的计算。在三角形分割模式中，CU以对角线划分和反对角线划分两种划分方式被均匀划分为两个三角形部分。此外，双向预测模式在简单平均的基础上进行了扩展，以支持两个预测信号的加权平均。

帧间预测单元244可包括运动估计(motion estimation，ME)单元和运动补偿(motion compensation，MC)单元(两者在图2中未示出)。运动估计单元可用于接收或获取图像块203(当前图像17的当前图像块203)和解码图像231，或至少一个或多个之前重建块，例如，一个或多个其它/不同之前解码图像231的重建块，来进行运动估计。例如，视频序列可包括当前图像和之前的解码图像231，或换句话说，当前图像和之前的解码图像231可以为形成视频序列的图像序列的一部分或形成该图像序列。

例如，编码器20可用于从多个其它图像中的同一或不同图像的多个参考块中选择参考块，并将参考图像(或参考图像索引)和/或参考块的位置(x、y坐标)与当前块的位置之间的偏移(空间偏移)作为帧间预测参数提供给运动估计单元。该偏移也称为运动矢量(motion vector，MV)。

运动补偿单元用于获取，例如接收，帧间预测参数，并根据或使用该帧间预测参数执行帧间预测，得到帧间预测块246。由运动补偿单元执行的运动补偿可能包含根据通过运动估计确定的运动/块矢量来提取或生成预测块，还可能包括对子像素精度执行内插。内插滤波可从已知像素的像素点中产生其它像素的像素点，从而潜在地增加可用于对图像块进行编码的候选预测块的数量。一旦接收到当前图像块的PU对应的运动矢量时，运动补偿单元可在其中一个参考图像列表中定位运动矢量指向的预测块。

运动补偿单元还可以生成与块和视频片相关的语法元素，以供视频解码器30在解码视频片的图像块时使用。此外，或者作为片和相应语法元素的替代，可以生成或使用编码区块组和/或编码区块以及相应语法元素。

熵编码

熵编码单元270用于将熵编码算法或方案(例如，可变长度编码(variable lengthcoding，VLC)方案、上下文自适应VLC方案(context adaptive VLC，CALVC)、算术编码方案、二值化算法、上下文自适应二进制算术编码(context adaptive binary arithmeticcoding，CABAC)、基于语法的上下文自适应二进制算术编码(syntax-based context-adaptive binary arithmetic coding，SBAC)、概率区间分割熵(probability intervalpartitioning entropy，PIPE)编码或其它熵编码方法或技术)应用于量化残差系数209、帧间预测参数、帧内预测参数、环路滤波器参数和/或其它语法元素，得到可以通过输出端272以编码比特流21等形式输出的编码图像数据21，使得视频解码器30等可以接收并使用用于解码的参数。可将编码比特流21传输到视频解码器30，或将其保存在存储器中稍后由视频解码器30传输或检索。

视频编码器20的其它结构变体可用于对视频流进行编码。例如，基于非变换的编码器20可以在某些块或帧没有变换处理单元206的情况下直接量化残差信号。在另一种实现方式中，编码器20可以具有组合成单个单元的量化单元208和反量化单元210。

解码器和解码方法

图3为本申请实施例的视频解码器30的示例性框图。视频解码器30用于接收例如由编码器20编码的编码图像数据21(例如编码比特流21)，得到解码图像331。编码图像数据或比特流包括用于解码所述编码图像数据的信息，例如表示编码视频片(和/或编码区块组或编码区块)的图像块的数据和相关的语法元素。

在图3的示例中，解码器30包括熵解码单元304、反量化单元310、逆变换处理单元312、重建单元314(例如求和器314)、环路滤波器320、解码图像缓冲器(DBP)330、模式应用单元360、帧间预测单元344和帧内预测单元354。帧间预测单元344可以为或包括运动补偿单元。在一些示例中，视频解码器30可执行大体上与参照图2的视频编码器100描述的编码过程相反的解码过程。

如编码器20所述，反量化单元210、逆变换处理单元212、重建单元214、环路滤波器220、解码图像缓冲器DPB230、帧间预测单元344和帧内预测单元354还组成视频编码器20的“内置解码器”。相应地，反量化单元310在功能上可与反量化单元110相同，逆变换处理单元312在功能上可与逆变换处理单元122相同，重建单元314在功能上可与重建单元214相同，环路滤波器320在功能上可与环路滤波器220相同，解码图像缓冲器330在功能上可与解码图像缓冲器230相同。因此，视频编码器20的相应单元和功能的解释相应地适用于视频解码器30的相应单元和功能。

熵解码

熵解码单元304用于解析比特流21(或一般为编码图像数据21)并对编码图像数据21执行熵解码，得到量化系数309和/或解码后的编码参数(图3中未示出)等，例如帧间预测参数(例如参考图像索引和运动矢量)、帧内预测参数(例如帧内预测模式或索引)、变换参数、量化参数、环路滤波器参数和/或其它语法元素等中的任一个或全部。熵解码单元304可用于应用编码器20的熵编码单元270的编码方案对应的解码算法或方案。熵解码单元304还可用于向模式应用单元360提供帧间预测参数、帧内预测参数和/或其它语法元素，以及向解码器30的其它单元提供其它参数。视频解码器30可以接收视频片和/或视频块级的语法元素。此外，或者作为片和相应语法元素的替代，可以接收或使用编码区块组和/或编码区块以及相应语法元素。

反量化

反量化单元310可用于从编码图像数据21(例如通过熵解码单元304解析和/或解码)接收量化参数(quantization parameter，QP)(或一般为与反量化相关的信息)和量化系数，并基于所述量化参数对所述解码的量化系数309进行反量化以获得反量化系数311，所述反量化系数311也可以称为变换系数311。反量化过程可包括使用视频编码器20为视频片中的每个视频块计算的量化参数来确定量化程度，同样也确定需要执行的反量化的程度。

逆变换

逆变换处理单元312可用于接收解量化系数311，也称为变换系数311，并对解量化系数311应用变换以得到像素域中的重建残差块213。重建残差块213也可称为变换块313。变换可以为逆变换，例如逆DCT、逆DST、逆整数变换或概念上类似的逆变换过程。逆变换处理单元312还可以用于从编码图像数据21(例如通过熵解码单元304解析和/或解码)接收变换参数或相应信息，以确定应用于解量化系数311的变换。

重建

重建单元314(例如，求和器314)用于将重建残差块313添加到预测块365，以在像素域中得到重建块315，例如，将重建残差块313的像素点值和预测块365的像素点值相加。

滤波

环路滤波器单元320(在编码环路中或之后)用于对重建块315进行滤波，得到滤波块321，从而顺利进行像素转变或提高视频质量等。环路滤波器单元320可包括一个或多个环路滤波器，例如去块滤波器、像素点自适应偏移(sample-adaptive offset，SAO)滤波器或一个或多个其它滤波器，例如自适应环路滤波器(adaptive loop filter，ALF)、噪声抑制滤波器(noise suppression filter，NSF)或任意组合。例如，环路滤波器单元220可以包括去块滤波器、SAO滤波器和ALF滤波器。滤波过程的顺序可以是去块滤波器、SAO滤波器和ALF滤波器。再例如，增加一个称为具有色度缩放的亮度映射(luma mapping with chromascaling，LMCS)(即自适应环内整形器)的过程。该过程在去块之前执行。再例如，去块滤波过程也可以应用于内部子块边缘，例如仿射子块边缘、ATMVP子块边缘、子块变换(sub-block transform，SBT)边缘和内子部分(intra sub-partition，ISP)边缘。尽管环路滤波器单元320在图3中示为环路滤波器，但在其它配置中，环路滤波器单元320可以实现为环后滤波器。

解码图像缓冲器

随后将一个图像中的解码视频块321存储在解码图像缓冲器330中，解码图像缓冲器330存储作为参考图像的解码图像331，参考图像用于其它图像和/或分别输出显示的后续运动补偿。

解码器30用于通过输出端312等输出解码图像311，向用户显示或供用户查看。

预测

帧间预测单元344在功能上可与帧间预测单元244(特别是运动补偿单元)相同，帧内预测单元354在功能上可与帧间预测单元254相同，并基于从编码图像数据21(例如通过熵解码单元304解析和/或解码)接收的分割和/或预测参数或相应信息决定划分或分割和执行预测。模式应用单元360可用于根据重建块、块或相应的像素点(已滤波或未滤波)执行每个块的预测(帧内或帧间预测)，得到预测块365。

当将视频片编码为帧内编码(intra coded，I)片时，模式应用单元360中的帧内预测单元354用于根据指示的帧内预测模式和来自当前图像的之前解码块的数据生成用于当前视频片的图像块的预测块365。当视频图像编码为帧间编码(即，B或P)片时，模式应用单元360中的帧间预测单元344(例如运动补偿单元)用于根据运动矢量和从熵解码单元304接收的其它语法元素生成用于当前视频片的视频块的预测块365。对于帧间预测，可从其中一个参考图像列表中的其中一个参考图像产生这些预测块。视频解码器30可以根据存储在DPB 330中的参考图像，使用默认构建技术来构建参考帧列表0和列表1。除了片(例如视频片)或作为片的替代，相同或类似的过程可应用于编码区块组(例如视频编码区块组)和/或编码区块(例如视频编码区块)的实施例，例如视频可以使用I、P或B编码区块组和/或编码区块进行编码。

模式应用单元360用于通过解析运动矢量和其它语法元素，确定用于当前视频片的视频块的预测信息，并使用预测信息产生用于正在解码的当前视频块的预测块。例如，模式应用单元360使用接收到的一些语法元素确定用于编码视频片的视频块的预测模式(例如帧内预测或帧间预测)、帧间预测片类型(例如B片、P片或GPB片)、用于片的一个或多个参考图像列表的构建信息、用于片的每个帧间编码视频块的运动矢量、用于片的每个帧间编码视频块的帧间预测状态、其它信息，以解码当前视频片内的视频块。除了片(例如视频片)或作为片的替代，相同或类似的过程可应用于编码区块组(例如视频编码区块组)和/或编码区块(例如视频编码区块)的实施例，例如视频可以使用I、P或B编码区块组和/或编码区块进行编码。

在一个实施例中，图3所示的视频编码器30还可以用于使用片(也称为视频片)分割和/或解码图像，其中图像可以使用一个或多个片(通常为不重叠的)进行分割或解码。每个片可包括一个或多个块(例如CTU)或一个或多个块组(例如H.265/HEVC/VVC标准中的编码区块和VVC标准中的砖。

在一个实施例中，图3所示的视频解码器30还可以用于使用片/编码区块组(也称为视频编码区块组)和/或编码区块(也称为视频编码区块)对图像进行分割和/或解码，其中图像可以使用一个或多个片/编码区块组(通常为不重叠的)进行分割或解码，每个片/编码区块组可包括一个或多个块(例如CTU)或一个或多个编码区块等，其中每个编码区块可以为矩形等形状，可包括一个或多个完整或部分块(例如CTU)。

视频解码器30的其它变型可用于对编码图像数据21进行解码。例如，解码器30可以在没有环路滤波器单元320的情况下产生输出视频流。例如，基于非变换的解码器30可以在某些块或帧没有逆变换处理单元312的情况下直接反量化残差信号。在另一种实现方式中，视频解码器30可以具有组合成单个单元的反量化单元310和逆变换处理单元312。

应理解，在编码器20和解码器30中，可以对当前步骤的处理结果进一步处理，然后输出到下一步骤。例如，在插值滤波、运动矢量推导或环路滤波之后，可以对插值滤波、运动矢量推导或环路滤波的处理结果进行进一步的运算，例如裁剪(clip)或移位(shift)运算。

应该注意的是，可以对当前块的推导运动矢量(包括但不限于仿射模式的控制点运动矢量、仿射、平面、ATMVP模式的子块运动矢量、时间运动矢量等)进行进一步运算。例如，根据运动矢量的表示位将运动矢量的值限制在预定义范围。如果运动矢量的表示位为bitDepth，则范围为-2^(bitDepth-1)至2^(bitDepth-1)-1，其中“^”表示幂次方。例如，如果bitDepth设置为16，则范围为-32768～32767；如果bitDepth设置为18，则范围为-131072～131071。例如，推导运动矢量的值(例如一个8×8块中的4个4×4子块的MV)被限制，使得所述4个4×4子块MV的整数部分之间的最大差值不超过N个像素，例如不超过1个像素。这里提供了两种根据bitDepth限制运动矢量的方法。

尽管上述实施例主要描述了视频编解码，但应注意的是，译码系统10、编码器20和解码器30的实施例以及本文描述的其它实施例也可以用于静止图像处理或编解码，即视频编解码中独立于任何先前或连续图像的单个图像的处理或编解码。一般情况下，如果图像处理仅限于单个图像17，帧间预测单元244(编码器)和帧间预测单元344(解码器)可能不可用。视频编码器20和视频解码器30的所有其它功能(也称为工具或技术)同样可用于静态图像处理，例如残差计算204/304、变换206、量化208、反量化210/310、(逆)变换212/312、分割262/362、帧内预测254/354和/或环路滤波220/320、熵编码270和熵解码304。

图4为本申请实施例的视频译码设备400的示例性框图。视频译码设备400适用于实现本文描述的公开实施例。在一个实施例中，视频译码设备400可以是解码器，例如图1A中的视频解码器30，也可以是编码器，例如图1A中的视频编码器20。

视频译码设备400包括：用于接收数据的入端口410(或输入端口410)和接收单元(receiver unit，Rx)420；用于处理数据的处理器、逻辑单元或中央处理器(centralprocessing unit，CPU)430；用于传输数据的发送单元(transmitter unit，Tx)440和出端口450(或输出端口450)；用于存储数据的存储器460。视频译码设备400还可包括耦合到入端口410、接收单元420、发送单元440和出端口450的光电(optical-to-electrical，OE)组件和电光(electrical-to-optical，EO)组件，用于光信号或电信号的出口或入口。

处理器430通过硬件和软件实现。处理器430可实现为一个或多个处理器芯片、核(例如，多核处理器)、FPGA、ASIC和DSP。处理器430与入端口410、接收单元420、发送单元440、出端口450和存储器460通信。处理器430包括译码模块470。译码模块470实施上文所公开的实施例。例如，译码模块470执行、处理、准备或提供各种编码操作。因此，通过译码模块470为视频译码设备400的功能提供了实质性的改进，并且影响了视频译码设备400到不同状态的切换。或者，以存储在存储器460中并由处理器430执行的指令来实现译码模块470。

存储器460包括一个或多个磁盘、磁带机和固态硬盘，可以用作溢出数据存储设备，用于在选择执行程序时存储此类程序，并且存储在程序执行过程中读取的指令和数据。存储器460可以是易失性和/或非易失性的，可以是只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、三态内容寻址存储器(ternary content-addressable memory，TCAM)和/或静态随机存取存储器(static random-access memory，SRAM)。

图5为本申请实施例的装置500的示例性框图，装置500可用作图1A中的源设备12和目的设备14中的任一个或两个。

装置500中的处理器502可以是中央处理器。或者，处理器502可以是现有的或今后将研发出的能够操控或处理信息的任何其它类型设备或多个设备。虽然可以使用如图所示的处理器502等单个处理器来实施已公开的实现方式，但使用一个以上的处理器速度更快和效率更高。

在一种实现方式中，装置500中的存储器504可以是只读存储器(ROM)设备或随机存取存储器(RAM)设备。任何其它合适类型的存储设备都可以用作存储器504。存储器504可以包括处理器502通过总线512访问的代码和数据506。存储器504还可包括操作系统508和应用程序510，应用程序510包括允许处理器502执行本文所述方法的至少一个程序。例如，应用程序510可以包括应用1至N，还包括执行本文所述方法的视频译码应用。

装置500还可以包括一个或多个输出设备，例如显示器518。在一个示例中，显示器518可以是将显示器与可用于感测触摸输入的触敏元件组合的触敏显示器。显示器518可以通过总线512耦合到处理器502。

虽然装置500中的总线512在本文中描述为单个总线，但是总线512可以包括多个总线。此外，辅助储存器可以直接耦合到装置500的其它组件或通过网络访问，并且可以包括存储卡等单个集成单元或多个存储卡等多个单元。因此，装置500可以具有各种各样的配置。

图8为本申请增强层编码方法的一个示例性的流程图。过程800可由视频编码器20(或编码器)和视频解码器30(或解码器)执行。过程800描述为一系列的步骤或操作，应当理解的是，过程800可以以各种顺序执行和/或同时发生，不限于图8所示的执行顺序。

步骤801、编码器获取待编码图像块的基本层的重建块。

可分级视频编码，又称可伸缩视频编码，是当前视频编码标准的扩展编码标准(一般为高级视频编码(advanced video coding，AVC)(H.264)的扩展标准可伸缩视频编码(scalable video coding，SVC)，或高效率视频编码(high efficiency video coding，HEVC)(H.265)的扩展标准可伸缩高效视频编码(scalable high efficiency videocoding，SHVC))。可分级视频编码的出现主要是为了解决实时视频传输中出现的由于网络带宽实时变化带来的丢包和时延抖动问题。

可分级视频编码中的基本结构可称作层级，可分级视频编码技术通过对原始的图像块进行空域分级(分辨率分级)，可以得到不同分辨率的层级的码流。分辨率可以是指图像块的以像素为单位的尺寸大小，低层级的分辨率较低，而高层级的分辨率不低于低层级的分辨率；或者，通过对原始的图像块进行时域分级(帧率分级)，可以得到不同帧率的层级的码流。帧率可以是指单位时间内视频包含的图像帧数，低层级的帧率较低，而高层级的帧率不低于低层级的帧率；或者，通过对原始的图像块进行质量域分级，可以得到不同编码质量的层级的码流。编码质量可以是指视频的品质，低层级的图像失真程度较大，而高层级的图像失真程度不高于低层级的图像失真程度。

通常，被称作基本层的层级是可分级视频编码中的最底层。在空域分级中，基本层图像块使用最低分辨率进行编码；在时域分级中，基本层图像块使用最低帧率进行编码；在质量域分级中，基本层图像块使用最高QP或是最低码率进行编码。即基本层是可分级视频编码中品质最低的一层。被称作增强层的层级是可分级视频编码中在基本层之上的层级，由低到高可以分为多个增强层。最低层增强层依据基本层获得的编码信息，其编码分辨率比基本层高，或是帧率比基本层高，或是码率比基本层大。较高层增强层可以依据较低层增强层的编码信息，来编码更高品质的图像块。

例如，图9为本申请可分级视频编码的一个示例性的层级示意图，如图9所示，原始图像块送入可分级编码器后，根据不同的编码配置可分层为基本层图像块B和增强层图像块(E1～En，n≥1)，再分别编码得到包含基本层码流和增强层码流的码流。基本层码流一般是编码最低空域图像块、最低时域图像块或者最低质量图像块得到的码流。增强层码流是以基本层作为基础，叠加编码高层空域、高层时域或者高层质量图像块得到的码流。随着增强层层数增加，编码的空域层级、时域层级或者质量层级也会越来越高。编码器向解码器传输码流时，优先保证基本层码流的传输，当网络有余量时，逐步传输越来越高层级的码流。解码器先接收基本层码流并解码，然后根据收到的增强层码流，按照从低层级到高层级的顺序，逐层解码空域、时域或者质量的层级越来越高的码流，然后将较高层级的解码信息叠加在较低层级的重建块上，获得较高分辨率、较高帧率或者较高质量的重建块。

待编码图像块可以是指编码器当前正在处理的图像块，该图像块可以是指整帧图像中的最大编码单元(largest coding unit，LCU)。整帧图像可以是指编码器正在处理的视频所包含的图像序列中的任意一个图像帧，该图像帧未经划分处理，其尺寸为一帧完整图像帧的尺寸。在H.265标准中，进行视频编码前会将原始的图像帧划分为多个编码树单元(coding tree unit，CTU)，CTU是视频编码的最大编码单元，可以按照四叉树方式划分为不同大小的CU。CTU作为最大的编码单元，因此也称为LCU；或者，该图像块也可以是指整帧图像；或者，该图像块还可以是指整帧图像中的感兴趣区域(region of interest，ROI)，即在图像中进行指定的某个需要处理的图像区域。

如上，视频序列中的每个图像通常分割成不重叠的块集合，通常在块级上进行编码。换句话说，编码器通常在块(图像块)级处理即编码视频，例如，通过空间(帧内)预测和时间(帧间)预测来产生预测块；从图像块(当前处理/待处理的块)中减去预测块，得到残差块；在变换域中变换残差块并量化残差块，可以减少待传输(压缩)的数据量。编码器还需要经过反量化和反变换获得重建残差块，然后将重建残差块的像素点值和预测块的像素点值相加以获得重建块。基本层的重建块是指针对原始的图像块分层得到的基本层图像块执行上述操作所得到的重建块。例如，图10为本申请增强层的编码方法的一个示例性的流程图，如图10所示，编码器根据原始图像块(例如LCU)获得基本层的预测块，然后对原始图像块和基本层的预测块中的对应像素点求差以获得基本层的残差块，再对基本层的残差块进行划分后，进行变换、量化，连同基本层编码控制信息、预测信息、运动信息等共同进行熵编码得到基本层的码流。编码器对量化后的量化系数进行反量化、反变换得到基本层的重建残差块，然后对基本层的预测块和基本层的重建残差块中的对应像素点求和以获得基本层的重建块。

步骤802、编码器对待编码图像块和基本层的重建块中的对应像素点求差以获得待编码图像块的增强层的残差块。

增强层图像块的分辨率不低于基本层图像块的分辨率，或者增强层图像块的编码质量不低于基本层图像块的编码质量。如上所述，编码质量可以是指视频的品质，增强层图像块的编码质量不低于基本层图像块的编码质量可以是指基本层的图像失真程度较大，而增强层的图像失真程度不高于基本层的图像失真程度。

图像块中包括多个像素点，该多个像素点排列成阵列，每个像素点可以用行号和列号唯一标识其在图像块中的位置。假设待编码图像块和基本层的重建块的尺寸均为M×N，即待编码图像块和基本层的重建块分别包含M×N个像素点，a(i1,j1)表示待编码图像块中位于第i1列、第j1行的像素点，i1＝1～M，j1＝1～N，b(i2,j2)表示基本层的重建块中位于第i1列、第j1行的像素点，i2＝1～M，j2＝1～N。待编码图像块和基本层的重建块中的对应像素点是指像素点在各自所属图像块中的行号和列号分别相等，即i1＝i2，j1＝j2。例如，图像块的尺寸为16×16，其包含16×16个像素点，行号为0～15，列号为0～15，待编码图像块中标识为a(0,0)的像素点和基本层的重建块中标识为b(0,0)的像素点是对应像素点，或者，待编码图像块中标识为a(6,9)的像素点和基本层的重建块中标识为b(6,9)的像素点是对应像素点，等等。对应像素点求差可以是将待编码图像块和基本层的重建块中的对应像素点的像素值求差，该像素值可以是该像素点的亮度值、色度值等，本申请对此不做具体限定。

如图10所述，SHVC标准中编码器会基于基本层的重建块预测得到增强层的预测块，然后对基本层的重建块和增强层的预测块中的对应像素点求差以获得增强层的残差块。但步骤802中可以直接对待编码图像块和基本层的重建块中的对应像素点求差以获得增强层的残差块，减少了获取增强层的预测块的过程，可以减少编码器的处理流程，提高编码器的编码效率。

步骤803、编码器确定增强层的残差块的变换块划分方式。

增强层的残差块的变换块划分方式和基本层的残差块的变换块划分方式不同。即编码器在处理增强层的残差块时，所采用的变换块划分方式与处理基本层的残差块时采用的变换块划分方式不相同，例如，基本层的残差块采用TT划分方式被划分成三个子块，但增强层的残差块不采用TT划分方式进行划分。编码器可以采用如下自适应方式确定增强层的残差块的变换块划分方式：

在一种可能的实现方式中，编码器可以先对增强层的残差块的第一最大变换单元(largest transform unit，LTU)进行迭代式的树形结构划分以获得多个分割深度的变换单元(transform unit，TU)，多个分割深度中的最大分割深度等于Dmax，Dmax为正整数，然后根据第一TU的损失估计值和第一TU包含的多个第二TU的损失估计值之和确定第一TU的划分方式，第一TU的分割深度为i，第二TU的深度为i+1，0≤i≤Dmax-1。

与待编码图像块的尺寸相对应的，增强层的残差块的尺寸可以是整帧图像的尺寸，也可以是整帧图像中被划分的图像块(例如CTU或CU)的尺寸，还可以是整帧图像中的ROI的尺寸。LTU是图像块中用于进行变换处理的最大尺寸的图像块，LTU的尺寸可以与基本层的重建块的尺寸相同，这样可以在保证不同重建块之间增强层可并行处理的同时，最大化获得变换编码的效率。一个LTU可以基于配置的划分信息被划分成多个节点，各个节点又可以基于配置的划分信息被继续划分，直到所有的节点都不再继续划分，该过程可以称作迭代式的树形结构划分，树形结构划分可以包括QT划分、BT划分和/或TT划分，还可以包括EQT划分。本申请对LTU的划分方式不做具体限定。一个节点划分一次得到多个节点，被划分的节点称作父节点，划分得到的节点被称作子节点。根节点的分割深度(depth)为0，子节点的depth是父节点的depth加1。因此增强层的残差块从根节点LTU开始进行迭代式的树形结构划分，可以得到多个depth的TU，例如如图7所示。该多个depth中的最大depth(即划分得到的最小TU的depth)为Dmax。假设LTU的宽高均为L，最小TU的宽高均为S，则最小TU的分割深度

其中

表示向下取整，因此Dmax≤d。

基于上述变换划分的TU，编码器执行率失真优化(rate distortionoptimization，RDO)处理，确定LTU的划分方式。以分割深度为i的第一TU和深度为i+1的第二TU为例，i从Dmax-1开始，递减取值，第二TU是对第一TU划分得到的。编码器先对第一TU进行变换和量化以获得第一TU的量化系数(量化系数可以如图10中的量化处理得到)，然后对第一TU的量化系数进行预编码(预编码是为了预估编码后码字的长度，从而进行的编码过程，或者使用与编码近似的方式来进行处理的过程)以获得第一TU的码流大小R，接着对第一TU的量化系数进行反量化和反变换以获得TU的重建块，计算第一TU和第一TU的重建块的误差平方和以获得第一TU的失真值D，最后根据第一TU的码流大小R和第一TU的失真值D获取第一TU的损失估计值C。

第一TU的失真值D的计算公式如下：

其中，P_rs(i,j)表示第一TU中的残差像素在该TU范围内的坐标点(i,j)上的原始值，P_rc(i,j)表示第一TU中的残差像素在该TU范围内坐标点(i,j)上的重建值。

第一TU的损失估计值C的计算公式如下：

C＝D+λR

其中，λ表示与当前层量化系数相关的常数值，其决定当前层的像素失真情况。

编码器可以采用上述相同的方法计算得到第二TU的损失估计值。获取第一TU的损失估计值和第二TU的损失估计值后，编码器比较第一TU的损失估计值和多个第二TU的损失估计值之和，第一TU划分后得到多个第二TU，将二者中的较小者对应的划分方式确定为第一TU的划分方式，即若第一TU的损失估计值大于多个第二TU的损失估计值之和，那么就将第一TU划分得到多个第二TU的方式确定为第一TU的划分方式；若第一TU的损失估计值小于或者等于多个第二TU的损失估计值之和，那么就不再对第一TU继续划分。编码器通过上述方法遍历完LTU的所有TU后，即可得到LTU的划分方式。当增强层的残差块只包含一个LTU时，LTU的划分方式即为增强层的残差块的划分方式；当增强层的残差块包含多个LTU时，LTU的划分方式和增强层的残差块划分为LTU的方式组成增强层的残差块的划分方式。

本申请对增强层的残差块不再使用与基本层的残差块相同的TU划分方式，而是采用自适应的TU划分方法，得出适合增强层的残差块的TU划分方式，再进行编码，当增强层的残差块的TU划分独立于基本层的CU划分方式时，增强层的TU大小不再受CU大小限制，可以提高编码的灵活性。

步骤804、编码器根据变换块划分方式对增强层的残差块进行变换，以获得增强层的残差块的码流。

编码器可以根据上述变换块划分方式对增强层的残差块进行变换、量化和熵编码，以获得增强层残差块的码流。变换、量化和熵编码的方法可以参照上述描述，此处不再赘述。

步骤805、解码器获取待解码图像块的增强层的残差块的码流。

编码器和解码器可以通过二者之间的有线或无线链路传输码流(包括基本层的码流和增强层的码流)，对此不再赘述。

步骤806、解码器对增强层的残差块的码流进行熵解码、反量化和反变换以获得增强层的重建残差块。

解码器获取增强层的残差块的码流后，基于码流中携带的语法元素对其进行熵解码、反量化和反变换处理得到增强层的重建残差块。该过程可以参照上述描述，编码器在重建块的获取过程中也执行上述操作，因此此处不再赘述。

步骤807、解码器获取待解码图像块的基本层的重建块。

解码端可以参照步骤801的描述，采用与编码器相同的方法获得基本层的重建块，此处不再赘述。

步骤808、解码器对增强层的重建残差块和基本层的重建块中的对应像素点求和以获得增强层的重建块。

解码器根据增强层的重建残差块包含的多个像素点的行号和列号，以及基本层的重建块包含的多个像素点的行号和列号，将二者图像块中行号和列号分别相同的像素点相加即可得到增强层的重建块。

本申请可以直接对待编码图像块和基本层的重建块中的对应像素点求差以获得增强层的残差块，减少了获取增强层的预测块的过程，可以减少编码器的处理流程，提高编码器的编码效率。另外对增强层的残差块不再使用与基本层的残差块相同的TU划分方式，而是采用自适应的TU划分方法，得出适合增强层的残差块的TU划分方式，再进行编码，当增强层的残差块的TU划分独立于基本层的CU划分方式时，增强层的TU大小不再受CU大小限制，可以更有效地提升残差块的压缩效率。

图8所示的方法可以适用于空域分级和质量域分级两种分层方式，当图像块采用空域分级得到基本层图像块和增强层图像块时，基本层图像块的分辨率小于增强层图像块的分辨率，因此编码器在对待编码图像块和基本层的重建块中的对应像素点求差以获得待编码图像块的增强层的残差块之前，可以对原始的待编码图像块进行下采样以获得第一分辨率的待编码图像块，并对原始的基本层的重建块进行上采样以获得第一分辨率的基本层的重建块。即编码器可以分别对原始的待编码图像块下采样，对原始的基本层的重建块上采样，以使得待编码图像块的分辨率和基本层的重建块的分辨率相同。

图11为本申请增强层的编码方法的一个示例性的流程图。过程1100可由视频编码器20(或编码器)和视频解码器30(或解码器)执行。过程1100描述为一系列的步骤或操作，应当理解的是，过程1100可以以各种顺序执行和/或同时发生，不限于图11所示的执行顺序。

步骤1101、编码器获取待编码图像块的第一增强层的重建块。

如图9所示，图像块采用空域分级、时域分级或质量域分级进行分层后，除了基本层外，还被划分成多个增强层，图8所示的方法是基于基本层对比基本层高一层的增强层的编解码方法，本实施例是基于较低层增强层(第一增强层)对高一层的第二增强层的编解码方法。

与基本层的重建块的获取方法的区别在于：编码块可以对待处理图像块和待处理图像块的第三层的重建块中的对应像素点求差以获得第一增强层的残差块，第三层是比第一增强层低一层的层级，其可以是基本层，也可以是增强层。然后对第一增强层的残差块进行变换和量化以获得第一增强层的残差块的量化系数，再对第一增强层的残差块的量化系数进行反量化和反变换以获得第一增强层的重建残差块，最后对第三层的重建块和第一增强层的重建残差块中的对应像素点求和以获得第一增强层的重建块。

步骤1102、编码器对待编码图像块和第一增强层的重建块中的对应像素点求差以获得待编码图像块的第二增强层的残差块。

步骤1103、编码器确定第二增强层的残差块的变换块划分方式。

第二增强层的残差块的变换块划分方式和第一增强层的残差块的变换块划分方式不同。

编码器也可以采用RDO处理确定第二增强层的残差块的变换块划分方式，此处不再赘述。

本申请对第二增强层的残差块不再使用与第一增强层的残差块、以及基本层的残差块相同的TU划分方式，而是采用自适应的TU划分方法，得出适合第二增强层的残差块的TU划分方式，再进行编码，当第二增强层的残差块的TU划分独立于其他层的CU或TU划分方式时，第二增强层的TU大小不再受CU大小限制，或者第二增强层的TU大小不再受第一增强层的TU大小限制，可以提高编码的灵活性。

步骤1104、编码器根据变换块划分方式对第二增强层的残差块进行变换，以获得第二增强层的残差块的码流。

步骤1105、解码器获取待解码图像块的第二增强层的残差块的码流。

步骤1106、解码器对第二增强层的残差块的码流进行熵解码、反量化和反变换以获得第二增强层的重建残差块。

步骤1107、解码器获取待解码图像块的第一增强层的重建块。

步骤1108、解码器对第二增强层的重建残差块和第一增强层的重建块中的对应像素点求和以获得第二增强层的重建块。

本申请可以直接对待编码图像块和第一增强层的重建块中的对应像素点求差以获得第二增强层的残差块，减少了获取第二增强层的预测块的过程，可以减少编码器的处理流程，提高编码器的编码效率。另外对第二增强层的残差块不再使用与第一增强层的残差块相同的TU划分方式，而是采用自适应的TU划分方法，得出适合第二增强层的残差块的TU划分方式，再进行编码，当第二增强层的残差块的TU划分独立于第一增强层的CU或TU划分方式时，第二增强层的TU大小不再受CU大小限制，或者第二增强层的TU大小不再受第一增强层的TU大小限制，可以更有效地提升残差块的压缩效率。

图11所示的方法可以适用于空域分级和质量域分级两种分层方式，当图像块采用空域分级得到第一增强层图像块和第二增强层图像块时，第一增强层图像块的分辨率小于第二增强层图像块的分辨率，因此编码器在对待编码图像块和第一增强层的重建块中的对应像素点求差以获得待编码图像块的第二增强层的残差块之前，可以对原始的待编码图像块进行下采样以获得第一分辨率的待编码图像块，并对原始的第一增强层的重建块进行上采样以获得第一分辨率的第一增强层的重建块。即编码器可以分别对原始的待编码图像块下采样，对原始的第一增强层的重建块上采样，以使得待编码图像块的分辨率和第一增强层的重建块的分辨率相同。

以下采用几个具体的实施例对图8和图11所示的实施例进行描述。

实施例一

图12a和12b为本申请增强层的编码方法的一个示例性的流程图，如图12a和12b所示，本实施例采用质量域分级对图像块进行分层，图像块为LCU。

编码端：

步骤一：编码器获取原始的图像帧，按照LCU进行基本层图像块的编码，获得LCU的基本层的重建块和基本层码流。

该步骤中，编码器可以使用符合H.264/H.265标准的编码器，或者使用非标准的其他的视频编码器进行编码，本申请对此不做限定。本实施例中，编码器以符合H.265标准为例进行描述。

原始图像帧按照LCU的大小进行图像分割，对于每个LCU执行CU划分，获得最佳预测单元(PU)，进行图像块的帧内预测或帧间预测获取基本层的预测块。在CU内可执行残差四叉树(RQT)划分过程，获得TU最佳划分。依据该TU划分方式可将基本层的残差块进行变换、量化，连同LCU控制信息、预测信息、运动信息等共同进行熵编码，从而获得基本层码流。上述在获得最佳PU和最佳TU的划分过程中，可使用RDO处理来达到最佳的编码压缩率。

而量化后的量化系数经过反量化、反变换过程后得到基本层的重建残差块，与基本层的预测块中的对应像素点相加，可以获得基本层的重建块。本实施例可以对LCU中每个CU进行上述过程，可获得整个LCU的基本层的重建块。

可选的，在执行步骤二之前，编码器可以对LCU的基本层的重建块作进一步后处理(例如环路滤波)，处理完后再作为LCU中的基本层的重建块，这里对是否执行后处理过程不作限定。若执行后处理过程，则需把指示作后处理的信息编码到基本层码流中。

步骤二：将LCU对应的图像块与基本层的重建块中对应像素点作差，获得LCU的增强层的残差块。

步骤三：将LCU的增强层的残差块送入增强层编码器进行残差编码。

该步骤中，获得LCU的增强层的残差块后即可将该LCU送入增强层编码器进行处理。预先指定最大变换单元(LTU)即为当前对应位置上增强层的LCU，执行TU自适应划分，获得不同大小的TU，具体方法可以使用基于残差四叉树(RQT)的RDO方法。该方法描述如下：

(1)设定LTU的宽高均为L，其为L×L的正方形。预先指定RQT划分的最大分割深度Dmax，其中Dmax＞0，LTU为分割深度等于0的TU。Dmax的指定需要考虑能执行变换的最小TU尺寸，Dmax的值不超过能执行变换的最小TU尺寸相对于LTU尺寸所对应的深度。举个例子，若能执行变换过程的最小TU的宽高值为S，则最小TU对应的分割深度

其中

表示向下取整，也就是说Dmax取值须小于等于d。

(2)从LTU开始，按照田字格进行四叉树划分，划分为四个相等大小的TU，该TU尺寸为四分之一LCU尺寸，深度为1。判断当前TU深度是否等于最大分割深度Dmax，若相等，则不再进行更深的划分；若不相等，则对该分割深度的每个TU执行四叉树划分过程，将其划分成更小尺寸的TU，分割深度基于当前深度值加1。这个过程直到四叉树划分到分割深度等于Dmax的TU。

(3)执行RDO选择，获取最佳TU划分方式。从深度为Dmax-1的TU开始，对TU位置的增强层的残差块进行变换、量化，获得量化后的系数进行预编码，得到码字长度大小R；另一方面，将量化后的系数进行反量化、反变换过程，得到重建残差块，在TU内计算该重建块与残差块的误差平方和(SSD)，得到失真值Dr，根据R和Dr可以获得损失估计值C1，代表的是该TU不进行四叉树划分带来的损失估计。将TU进行四叉树划分成四个分割深度为Dmax的TU，每个TU按照分割深度为Dmax-1相同方式计算，获取到四个TU的损失估计值之和，记为C2，代表的是该TU进行四叉树划分带来的损失估计。比较C1与C2的值大小，选取较小的损失估计值C3＝min(C1,C2)作为分割深度Dmax-1的该TU的最佳损失值，且使用较小损失估计值对应的划分方式。按照此过程，往分割深度较小的TU进行类推计算，分别计算该TU进行四叉树划分或者不划分的最佳损失值，进行比较获得较小的那个损失值作为TU的最佳损失，且按照较小损失值对应的划分方式进行划分。直到决策完毕LTU是否应进行四叉树划分，即可获得该LTU的最佳TU划分方式。

获得了LTU的最佳TU划分方式后，按照该划分可将该LTU中的增强层的残差块在每个TU块中进行变换、量化，获得量化系数，连同LTU的划分信息进行熵编码，从而获得该LTU的增强层码流。另一方面，量化系数经过反量化、反变换过程，可以得到该LTU的增强层残差块的编码失真重建块，该图像与LTU对应位置的LCU中基本层的重建块叠加，可以获得对应于该LTU的增强层的重建块。

这里，LTU的增强层码流可以沿用已有编码标准中TU部分码流的语法元素组织和编码方式进行编码。

此外，对于LTU中的TU自适应划分方式，可以不局限于使用RQT的方式进行，其他的能依据增强层残差块进行自适应划分TU的方法同样可以适用于此，且对应使用的将TU划分信息编入增强层码流的编码方法也可以不同。经过划分，LTU中的TU块的大小可以不同。

步骤四：按照步骤一至步骤三，将整幅源图像的所有LCU完成，可获得整幅图像的基本层的重建块与增强层的重建块，以及整幅图像的基本层码流和增强层码流。这些重建块可以放入参考帧列表，供时域中后续图像帧参考。在获得基本层或增强层的重建块后，还可以作进一步的后处理(比如环路滤波)，处理完后再放入参考帧列表中，这里不作限定。若执行后处理，则需把执行后处理再放入参考帧列表的指示信息编码到对应的码流中。

这里，还可以将指示增强层的残差块不再按照基本层的LCU或CU的划分方式的信息编入码流，以供解码端解码后进行增强层处理。

步骤五：重复步骤一至步骤四，编码图像序列的后续帧图像，直到完成整个图像序列编码。

解码端：

步骤一：获取基本层码流，送入基本层解码器进行解码，获得基本层重建块。

该步骤中，基本层解码器使用的是与基本层码流编码规则相对应的能够解码基本层码流的解码器。这里可以使用符合H.264/H.265标准的解码器，或者使用非标准的其他的视频解码器进行解码，这里不做限定。本实施例中，基本层解码器以符合H.265编码标准的解码器为例进行描述。

码流送入解码器后进行熵解码，一方面可获得LCU的编码块划分信息、变换块划分信息以及控制信息、预测信息与运动信息，通过这些信息进行帧内预测、帧间预测，得到LCU的预测块；另一方面，可获得残差信息，依据解码获得的变换块划分信息，经过反量化、反变换过程，可以获得LCU的残差图像。将预测块与残差图像叠加，可以获得LCU对应的基本层重建块。重复该过程，直到整帧图像的所有LCU解码完毕，可以获得整幅图像的重建块。

若解码获取到需要在重建块中执行后处理(比如环路滤波)的信息，则在获得重建块后执行对应的后处理过程，使其与编码中的过程对应。

完成该步骤后，得到基本层重建块。

步骤二：获取增强层码流，送入增强层解码器进行解码，获得增强层的重建残差块，进一步获得增强层的重建块。

该步骤中，码流送入解码器后进行熵解码，获得LTU的划分信息以及LTU的残差信息，按照LTU的划分，将残差信息进行反量化、反变换，可以获得LTU对应的重建残差块。重复该过程，直到整帧图像的LTU解码完毕，可以获得增强层重建残差块。将基本层重建块与增强层重建残差块相加，得到重建块。

如果码流中存在指示增强层不再按照基本层的LCU或CU的划分方式的信息，可先通过熵解码获取到该信息，再执行步骤二。

该步骤中，若解码得到需要在重建块中执行后处理(比如环路滤波)的信息，则在重建块后执行对应的后处理过程，使其与编码中的过程对应。

完成该步骤后，得到的重建块为增强层重建块。

步骤三：将基本层重建块与增强层重建块放入参考帧列表，供时间域中后续帧图像进行参考。

如果码流中存在将重建块执行后处理(比如环路滤波)再放入参考帧列表的指示信息，可通过熵解码获取到该信息，将基本层重建块与增强层重建块进行后处理，再放入参考帧列表，使其与编码中的过程对应。

步骤四：重复执行步骤一至步骤三，直到解码完成整个图像序列。

本实施例增强层不再执行预测过程，直接对增强层的残差块进行自适应划分与变换编码，相比需要预测的编码方式能够更加提升编码速度，减少硬件的流水处理过程，节省硬件处理成本。针对增强层的残差块，不再使用基本层中的TU划分方式，而是自适应地选择了更合适的TU划分方式进行编码，因此能够更有效地提升残差块的压缩效率。另外，由于基本层的LCU处理完后，能够直接将获得的LCU残差块送入增强层进行后续单独处理，而基本层可以同时并行处理下一个LCU。这种方式对硬件实现流水处理过程更为友好，能使处理过程更为高效。

可选的，上述基本层和增强层可以按照整帧图像的尺寸进行处理，而不是上述实施例中的按照LCU的尺寸处理。

实施例二

图13a和13b为本申请增强层的编码方法的一个示例性的流程图，如图13a和13b所示，本实施例采用质量域分级对图像块进行分层获得至少两层增强层，图像块为LCU。本实施例是实施例一的扩展，即增强层多于一层时的编解码处理方法。

编码端：

步骤一：与实施例一的编码端的步骤一相同

步骤二：与实施例一的编码端的步骤二相同

步骤三：与实施例一的编码端的步骤三相同。

可选的，在执行步骤四前，编码器也可以对LCU的基本层的重建块作进一步后处理(比如环路滤波)，处理完后再作为LCU中的第一增强层的重建块。这里对是否执行后处理过程不作限定。若执行后处理过程，则需把指示作后处理的信息添加到第一增强层码流中。

步骤四：将LCU对应的图像块与第一增强层的重建块中对应像素点作差，获得LCU的第二增强层的残差块。

步骤五：将步骤四获得的第二增强层的残差块送入第二增强层编码器进行残差编码。编码步骤与步骤三一致。不同之处在于第二增强层的残差块的编码失真重建块，与第一增强层的重建块叠加，获取对应于该LCU的第二增强层的重建块。

这里，也可以对叠加后的图像作进一步后处理(比如环路滤波)，处理完后再作为LCU中的第二增强层重建块。这里对是否执行后处理过程不作限定。若执行后处理过程，则需把指示作后处理的信息添加到第二增强层码流中。

步骤六：重复步骤四与步骤五，将LCU的图像块与当前前一层增强层重建块像素作差，可以获得LCU对应的下一层增强层的残差块，并送入对应层的增强层编码器进行残差编码，获得高层的增强层重建块以及高层增强层码流。

步骤七：重复执行步骤一至步骤六，将整幅源图像的所有LCU完成，可获得整幅图像的基本层的重建块与所有增强层的重建块，以及整幅图像的基本层码流与所有增强层码流。这些重建块可以放入参考帧列表，供时间域中后续帧图像进行参考。在获得基本层或增强层的重建块后，还可以进行进一步的后处理(比如环路滤波)，处理完后再放入参考帧列表中，这里不作限定。若执行后处理，则需把执行后处理再放入参考帧列表的指示信息编码到对应的码流中。

这里，还可以将指示增强层不再按照基本层的LCU或CU的划分方式的信息编入码流，或者指示高层增强层不再按照基本层的LCU或低层增强层的LTU划分方式的信息编入码流，以供解码端解码后进行增强层处理。

步骤八：重复步骤一至步骤七，编码图像序列的后续帧图像，直到完成整个图像序列编码。

解码端：

步骤一：获取基本层码流，送入基本层解码器进行解码，获得基本层重建块。

该步骤中，基本层解码器使用的是与基本层码流编码规则相对应的能够解码基本层码流的解码器。这里可以使用符合H.264/H.265标准的解码器，或者使用非标准的其他的视频解码器进行解码，这里不做限定。本实施例中，基本层解码器以符合H.265编码标准的解码器为例进行描述。

码流送入解码器后进行熵解码，一方面可获得LCU的编码块划分信息、变换块划分信息以及控制信息、预测信息与运动信息，通过这些信息进行帧内预测、帧间预测，得到LCU的预测块；另一方面，可获得残差信息，依据解码获得的变换块划分信息，经过反量化、反变换过程，可以获得LCU的残差图像。将预测块与残差图像叠加，可以获得LCU对应的基本层重建块。重复该过程，直到整帧图像的所有LCU解码完毕，可以获得整幅图像的重建块。

若解码获取到需要在重建块中执行后处理(比如环路滤波)的信息，则在获得重建块后执行对应的后处理过程，使其与编码中的过程对应。

完成该步骤后，得到基本层重建块。

步骤二：获取第一增强层码流，送入第一增强层解码器进行解码，获得第一增强层的重建残差块，进一步获得第一增强层的重建块。

该步骤中，码流送入解码器后进行熵解码，获得LTU的划分信息以及LTU的残差信息，按照LTU的划分，将残差信息进行反量化、反变换，可以获得LTU对应的重建残差块。重复该过程，直到整帧图像的LTU解码完毕，可以获得第一增强层重建残差块。将基本层重建块与第一增强层重建残差块相加，得到重建块。

如果码流中存在指示第一增强层不再按照基本层的LCU或CU的划分方式的信息，可先通过熵解码获取到该信息，再执行步骤二。

该步骤中，若解码得到需要在重建块中执行后处理(比如环路滤波)的信息，则在重建块后执行对应的后处理过程，使其与编码中的过程对应。

完成该步骤后，得到的重建块为第一增强层重建块。

步骤三：获取第二增强层码流，送入增强层解码器进行解码，获得第二增强层重建残差块，进一步获得第二增强层重建块。

该步骤与步骤二类似，不同之处在于用第一增强层重建块与第二增强层重建残差块相加，得到重建块。

如果码流中存在指示增强层不再按照基本层的LCU或CU的划分方式的信息，或者指示高层增强层不再按照基本层的LCU或低层增强层的LTU划分方式的信息，可通过熵解码获取到该信息，再执行步骤三。

该步骤中，若解码得到需要在重建块中执行后处理(比如环路滤波)的信息，则在重建块后执行所指示的后处理过程，使其与编码中的过程对应。

完成该步骤后，得到的重建块为第二增强层重建块。

步骤四：重复执行步骤三，获取更高层的增强层码流，送入增强层解码器进行解码，获得高层增强层重建残差块，进一步获得高层增强层重建块。直到完成当前帧所有增强层码流的解码。

步骤五：将基本层重建块与所有层的增强层重建块放入参考帧列表，供时间域中后续帧图像进行参考。

如果码流中存在将重建块执行后处理(比如环路滤波)再放入参考帧列表的指示信息，可通过熵解码获取到该信息，将基本层重建块与增强层重建块进行后处理，再放入参考帧列表，使其与编码中的过程对应。

步骤六：重复执行步骤一至步骤五，直到解码完成整个图像序列。

实施例三

图14a和14b为本申请增强层的编码方法的一个示例性的流程图，如图14a和14b所示，本实施例采用空域分级对图像块进行分层获得至少两层增强层，图像块为LCU。

编码端：

步骤一：编码器对原始的图像按照分辨率1(图像宽高为W1×H1)进行下采样，生成下采样图像1。此处，分辨率1小于原始的图像块的分辨率，采样方式可以采用任意方式，如线性插值、双三次插值等方法，此处不做限定。

步骤二：将下采样图像1送入基本层编码器进行编码，编码步骤与实施例一中步骤一相同。

步骤三：将原始的图像按照图像分辨率2(图像宽高为W2×H2)进行下采样，生成下采样图像2，其中分辨率2高于分辨率1。下采样图像2与图像1的缩放比率在宽度上为Sw1＝W2/W1，在高度上为Sh1＝H2/H1。

步骤四：将LCU中基本层的重建块上采样，获得与第一增强层的LTU大小相同的重建块，进而获得LTU对应的第一增强层的残差块。

设定第一增强层的LTU大小为基本层的LCU大小乘以缩放比率Sw1×Sh1，得到Lw1×Lh1大小的LTU，此处Lw1＝L×Sw1，Lh1＝L×Sh1。将步骤二中获得的LCU对应的基本层重建块上采样到Lw1×Lh1尺寸大小，获得与第一增强层的LTU大小相同的基本层重建块。在下采样图像2中取相同位置的LTU源图像。将上述源图像与上述基本层重建块二者作差，得到第一增强层的LTU中的残差块。这里，上采样方法与步骤一中的下采样方法可以相对应也可以不对应，这里不做限定。

步骤五：将第一增强层的LTU中的残差块送入第一增强层编码器进行残差编码。编码步骤与实施例一步骤三相同。

步骤六：将原始的图像按照图像分辨率3(图像宽高为W3×H3)进行下采样，生成下采样图像3，其中分辨率3高于分辨率2。下采样图像3与图像2的缩放比率在宽度上为Sw2＝W3/W2，在高度上为Sh2＝H3/H2。

步骤七：将第一增强层的LTU重建块上采样，获得与第二增强层的LTU大小相同的重建块，进而获得第二增强层的LTU对应的残差块。

该步骤与步骤四类似，设定第二增强层的LTU大小为第一增强层的LTU大小乘以缩放比率Sw2×Sh2，将第一增强层的LTU中的重建块上采样，获得与第二增强层的LTU大小相同的重建块，另在下采样图像3中取相同位置的LTU源图像。将上述源图像与重建块二者作差后可获得第二增强层的LTU中的残差块。

步骤八：将第二增强层的LTU中的残差块送入第二增强层编码器进行残差编码。编码步骤与实施例一步骤三相同。

步骤九：重复步骤六至步骤八，直到获得所有增强层的LTU对应的重建块和增强层码流。

步骤十：重复执行步骤一至步骤九，将每一层输入的下采样图像所有LTU执行完毕，可以获得整幅图像的基本层重建块与所有增强层重建块，以及基本层码流与所有增强层码流。这些重建块可以放入参考帧列表，供时间域中后续帧图像进行参考。在获得基本层或增强层重建块后，还可以进行进一步的后处理(比如环路滤波)，处理完后再放入参考帧列表中，这里不作限定。若执行后处理，则需把执行后处理再放入参考帧列表的指示信息编码到对应的码流中。

这里，将每层输入的下采样图像的分辨率信息编入码流，以供解码进行所有层的处理。此外，还可将每层上采样的方法的信息编入码流。

步骤十一：重复步骤一至步骤十，编码图像序列的后续帧图像，直到完成整个图像序列编码。

解码端：

步骤一：与实施例一的解码端的步骤一相同

步骤二：获取正在处理的图像块的第一增强层码流，送入增强层解码器进行解码，获得第一增强层重建残差块。该步骤与实施例一步骤二中获取第一增强层重建残差块的过程相同。

步骤三：基于第一增强层残差块的分辨率，将基本层重建块上采样到与第一增强层残差块的分辨率相同。将二者相加，可以得到第一增强层的重建块。

如果码流中存在上采样的方法的信息，可先通过熵解码获取到该信息，该步骤按照获取的上采样信息进行基本层重建块上采样。

步骤四：获取正在处理的图像块的第二增强层码流，送入增强层解码器进行解码，获得第二增强层重建残差块。该步骤与获取第一增强层残差块的过程相同。

步骤五：基于第二增强层残差块的分辨率，将第一增强层重建块上采样到与第二增强层残差块分辨率相同。将二者相加，可以得到第二增强层重建块。

如果码流中存在上采样的方法的信息，可先通过熵解码获取到该信息，该步骤按照该上采样信息进行第一增强层重建块上采样。

步骤六：重复执行步骤四至步骤五，获取更高层的增强层码流，送入增强层解码器进行解码，获得高层增强层重建残差块，与低层增强层重建块进行上采样后的图像相加获得高层增强层重建块。直到完成当前帧所有增强层码流的解码。

步骤七：与实施例一的解码端的步骤三相同。

步骤八：重复执行步骤一至步骤七，直到解码完成整个图像序列。

实施例四

图15为本申请增强层的编码方法的一个示例性的流程图，如图15所示，本实施例采用质量域分级对图像块进行分层，在基本层是对整帧图像帧进行处理，在增强层是从整帧图像中取部分区域(例如整帧图像中的ROI)，对该部分区域进行处理。本实施例与实施例一的区别在于从原始的图像帧取部分区域，并从基本层的重建块取对应的部分区域，对该两个部分区域中对应像素点作差，得到该部分区域的残差块，作为增强层的残差块送入增强层编码器。

编码端：

步骤一：与实施例一的编码端的步骤一相同

步骤二：将原始的图像帧的部分区域(例如ROI)与基本层的重建块中对应的部分区域作差，获得该部分区域的增强层的残差块。

需要说明的是，上述部分区域的数量可以是一个或者多个，本申请对此不做具体限定。如果包含多个部分区域，则每个部分区域分别执行下面的步骤。

步骤三：与实施例一的编码端的步骤三相同，区别在于：量化系数经过反量化、反变换后，得到部分区域的增强层的重建残差块，将该部分区域的增强层的重建残差块与对应的部分区域的基本层的重建块叠加，获得部分区域的增强层的重建块。上述部分区域的位置和尺寸信息可编入码流中。

步骤四：与实施例一的编码端的步骤四相同。

步骤五：与实施例一的编码端的步骤五相同。

解码端：

步骤一：与实施例一的解码端的步骤一相同。

步骤二：与实施例一的解码端的步骤二相同，区别在于：获得部分区域的增强层的重建残差块后，将增强层的重建残差块与对应的部分区域的基本层的重建块叠加，得到该部分区域的增强层的重建块。

如果码流中存上述部分区域的位置和尺寸信息，则先解码获得该位置和尺寸信息，然后根据该位置和尺寸信息在基本层的重建块中找到该部分区域，再叠加部分区域的增强层的重建残差块。

步骤三：与实施例一的解码端的步骤三相同。

步骤四：与实施例一的解码端的步骤四相同。

实施例五

本实施例采用质量域分级和空域分级的混合分级对图像块进行分层获得至少两层增强层，图像块为LCU。

基于实施例二和实施例三的分级结构可以得知，无论是质量域分级，还是空域分级，二者在增强层残差块上使用的增强层编码器一致，均为基于自适应TU划分的残差块编码，编码过程在实施例一至实施例四中已经详细描述。

二者的区别在于：在空域分级中，低层增强层的重建块需要经过上采样过程，获得与高层增强层LTU对应大小的重建块，从而用源图像块与上采样后的重建块中对应像素作差获得残差块，送入高层增强层编码器；另一方面，上采样后的重建块与高层增强层的重建残差块进行叠加，以获得高层增强层的重建块。因此，在分级过程中，任意一层使用空域分级或质量域分级均可，两种分级方式可以混合穿插使用，例如，第一增强层使用空域分级，第二增强层使用质量域分级，第三增强层又使用空域分级，等等。

对应地，可以获得基于上述混合分级码流的解码方法。基于实施例二和实施例三，可以看到无论是质量域分级，还是空域分级，增强层码流的解码方式一致，均为直接解码TU划分信息、残差信息，然后基于TU划分信息对残差信息处理成增强层的重建残差块的过程。因此，针对质量域分级码流和空域分级混合分级的码流，同样可以按照与该层对应的分级方式正确解码。

图16为本申请编码装置的一个示例性的结构示意图，如图16所示，本实施例的装置可以对应于视频编码器20。该装置可以包括：获取模块1601、确定模块1602和编码模块1603。其中，

在一种可能的实现方式中，获取模块1601，用于获取待编码图像块的基本层的重建块；对所述待编码图像块和所述基本层的重建块中的对应像素点求差以获得所述待编码图像块的增强层的残差块，所述增强层图像块的分辨率不低于所述基本层图像块的分辨率，或者所述增强层图像块的编码质量不低于所述基本层图像块的编码质量；确定模块1602，用于确定所述增强层的残差块的变换块划分方式，所述增强层的残差块的变换块划分方式和所述基本层的残差块的变换块划分方式不同；编码模块1603，用于根据所述变换块划分方式对所述增强层的残差块进行变换，以获得所述增强层的残差块的码流。

在一种可能的实现方式中，所述确定模块1602，具体用于对所述增强层的残差块的第一最大变换单元LTU进行迭代式的树形结构划分以获得多个分割深度的变换单元TU，所述多个分割深度中的最大分割深度等于Dmax，Dmax为正整数；根据第一TU的损失估计值和所述第一TU包含的多个第二TU的损失估计值之和确定所述第一TU的划分方式，所述第一TU的分割深度为i，所述第二TU的深度为i+1，0≤i≤Dmax-1。

在一种可能的实现方式中，所述确定模块1602，具体用于对TU进行变换和量化以获得所述TU的量化系数，所述TU为所述第一TU或者所述第二TU；对所述TU的量化系数进行预编码以获得所述TU的码字长度；对所述TU的量化系数进行反量化和反变换以获得所述TU的重建块；计算所述TU和所述TU的重建块的误差平方和SSD以获得所述TU的失真值；根据所述TU的码字长度和所述TU的失真值获取所述TU的损失估计值；确定所述第一TU的损失估计值和所述多个第二TU的损失估计值之和中的较小者；将所述较小者对应的划分方式确定为所述第一TU的划分方式。

在一种可能的实现方式中，所述LTU的尺寸与所述基本层的重建块的尺寸相同；或者，所述LTU的尺寸与原始的基本层的重建块进行上采样后的尺寸相同。

在一种可能的实现方式中，所述待编码图像块是指整帧图像中的最大编码单元LCU；或者，所述待编码图像块是指整帧图像；或者，所述待编码图像块是指整帧图像中的感兴趣区域ROI。

在一种可能的实现方式中，所述基本层和所述增强层是基于分辨率或编码质量分层获得的。

在一种可能的实现方式中，当所述基本层和所述增强层是基于分辨率分层获得时，所述获取模块1601，还用于对原始的待编码图像块进行下采样以获得第一分辨率的所述待编码图像块；对原始的基本层的重建块进行上采样以获得所述第一分辨率的所述基本层的重建块。

在一种可能的实现方式中，所述获取模块1601，具体用于对所述待处理图像块和所述待处理图像块的预测块中的对应像素点求差以获得所述待处理图像块的残差块；对所述待处理图像块的残差块进行变换和量化以获得所述待处理图像块的量化系数；对所述待处理图像块的量化系数进行反量化和反变换以获得所述待处理图像块的重建残差块；对所述待处理图像块的预测块和所述待处理图像块的重建残差块中的对应像素点求和以获得所述基本层的重建块。

在一种可能的实现方式中，获取模块1601，用于，获取待编码图像块的第一增强层的重建块；对所述待编码图像块和所述第一增强层的重建块中的对应像素点求差以获得所述待编码图像块的第二增强层的残差块，所述第二增强层图像块的分辨率不低于所述第一增强层图像块的分辨率，或者所述第二增强层图像块的编码质量不低于所述第一增强层图像块的编码质量；确定模块1602，用于确定所述第二增强层的残差块的变换块划分方式，所述第二增强层的残差块的变换块划分方式和所述第一层的残差块的变换块划分方式不同；编码模块1603，用于根据所述变换块划分方式对所述第二增强层的残差块进行变换，以获得所述第二增强层的残差块的码流。

在一种可能的实现方式中，所述确定模块1602，具体用于对所述第二增强层的残差块的第一最大变换单元LTU进行迭代式的树形结构划分以获得多个分割深度的变换单元TU，所述多个分割深度中的最大分割深度等于Dmax，Dmax为正整数；根据第一TU的损失估计值和所述第一TU包含的多个第二TU的损失估计值之和确定所述第一TU的划分方式，所述第一TU的分割深度为i，所述第二TU的深度为i+1，0≤i≤Dmax-1。

在一种可能的实现方式中，所述确定模块1602，具体用于对TU进行变换和量化以获得所述TU的量化系数，所述TU为所述第一TU或者所述第二TU；对所述TU的量化系数进行预编码以获得所述TU的码字长度；对所述TU的量化系数进行反量化和反变换以获得所述TU的重建块；计算所述TU和所述TU的重建块的误差平方和SSD以获得所述TU的失真值；根据所述TU的码字长度和所述TU的失真值获取所述TU的损失估计值；确定所述第一TU的损失估计值和所述多个第二TU的损失估计值之和中的较小者；将所述较小者对应的划分方式确定为所述第一TU的划分方式。

在一种可能的实现方式中，所述LTU的尺寸与所述第一增强层的重建块的尺寸相同；或者，所述LTU的尺寸与原始的第一增强层的重建块进行上采样后的尺寸相同。

在一种可能的实现方式中，所述待编码图像块是指整帧图像中的最大编码单元LCU；或者，所述待编码图像块是指整帧图像；或者，所述待编码图像块是指整帧图像中的感兴趣区域ROI。

在一种可能的实现方式中，所述第一增强层和所述第二增强层是通过质量域分层方式或者空域分层方式分层获得的。

在一种可能的实现方式中，当所述第一增强层和所述第二增强层是通过空域分层方式分层获得时，所述获取模块1601，还用于对原始的待编码图像块进行下采样以获得第二分辨率的所述待编码图像块；对原始的第一增强层的重建块进行上采样以获得所述第二分辨率的所述第一增强层的重建块。

在一种可能的实现方式中，所述获取模块1601，具体用于对所述待处理图像块和所述待处理图像块的第三层的重建块中的对应像素点求差以获得所述第一增强层的残差块，所述第一增强层图像块的分辨率不低于所述第三层图像块的分辨率，或者所述第一增强层图像块的编码质量不低于所述第三层图像块的编码质量；对所述第一增强层的残差块进行变换和量化以获得所述第一增强层的残差块的量化系数；对所述第一增强层的残差块的量化系数进行反量化和反变换以获得所述第一增强层的重建残差块；对所述第三层的重建块和所述第一增强层的重建残差块中的对应像素点求和以获得所述第一增强层的重建块。

本实施例的装置，可以用于执行图8或图11所示方法实施例中由编码器实施的技术方案，其实现原理和技术效果类似，此处不再赘述。

图17为本申请解码装置的一个示例性的结构示意图，如图17所示，本实施例的装置可以对应于视频解码器30。该装置可以包括：获取模块1701、解码模块1702和重建模块1703。其中，

在一种可能的实现方式中，获取模块1701，用于获取待解码图像块的增强层的残差块的码流；解码模块1702，用于对所述增强层的残差块的码流进行熵解码、反量化和反变换以获得所述增强层的重建残差块；重建模块1703，用于获取所述待解码图像块的基本层的重建块，所述增强层图像块的分辨率不低于所述基本层图像块的分辨率，或者所述增强层图像块的编码质量不低于所述基本层图像块的编码质量；对所述增强层的重建残差块和所述基本层的重建块中的对应像素点求和以获得所述增强层的重建块。

在一种可能的实现方式中，所述待解码图像块是指整帧图像中的最大编码单元LCU；或者，所述待解码图像块是指整帧图像；或者，所述待解码图像块是指整帧图像中的感兴趣区域ROI。

在一种可能的实现方式中，所述基本层和所述增强层是通过质量域分层方式或者空域分层方式分层获得的。

在一种可能的实现方式中，当所述基本层和所述增强层是通过空域分层方式分层获得时，所述重建模块1703，还用于对原始的基本层的重建块进行上采样以获得分辨率为第三分辨率的所述基本层的重建块，所述第三分辨率与所述增强层的重建残差块的分辨率相同。

在一种可能的实现方式中，所述重建模块1703，具体用于获取所述基本层的残差块的码流；对所述基本层的残差块的码流进行熵解码以获得所述基本层的残差块的解码数据；对所述基本层的残差块的解码数据进行反量化和反变换以获得所述基本层的重建残差块；根据所述基本层的残差块的解码数据获取所述基本层的预测块；对所述基本层的重建残差块和所述基本层的预测块中的对应像素点求和以获得所述基本层的重建块。

在一种可能的实现方式中，获取模块1701，用于获取待解码图像块的第二增强层的残差块的码流；解码模块1702，用于对所述第二增强层的残差块的码流进行熵解码、反量化和反变换以获得所述第二增强层的重建残差块；重建模块1703，用于获取所述待解码图像块的第一增强层的重建块，所述第二增强层图像块的分辨率不低于所述第一增强层图像块的分辨率，或者所述第二增强层图像块的编码质量不低于所述第一增强层图像块的编码质量；对所述第二增强层的重建残差块和所述第一增强层的重建块中的对应像素点求和以获得所述第二增强层的重建块。

在一种可能的实现方式中，所述待解码图像块是指整帧图像中的最大编码单元LCU；或者，所述待解码图像块是指整帧图像；或者，所述待解码图像块是指整帧图像中的感兴趣区域ROI。

在一种可能的实现方式中，所述第一增强层和所述第二增强层是通过质量域分层方式或者空域分层方式分层获得的。

在一种可能的实现方式中，当所述第一增强层和所述第二增强层是通过空域分层方式分层获得时，所述重建模块1703，还用于对原始的第一增强层的重建块进行上采样以获得分辨率为第四分辨率的所述第一增强层的重建块，所述第四分辨率与所述第二增强层的重建残差块的分辨率相同。

在一种可能的实现方式中，所述重建模块1703，具体用于获取所述第一增强层的残差块的码流；对所述第一增强层的残差块的码流进行熵解码、反量化和反变换以获得所述第一增强层的重建残差块；对所述第一增强层的重建残差块和第三层的重建块中的对应像素点求和以获得所述第一增强层的重建块，所述第一增强层图像块的分辨率不低于所述第三层图像块的分辨率，或者所述第一增强层图像块的编码质量不低于所述第三层图像块的编码质量。

本实施例的装置，可以用于执行图8或图11所示方法实施例中由解码器实施的技术方案，其实现原理和技术效果类似，此处不再赘述。

在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。处理器可以是通用处理器、数字信号处理器(digital signalprocessor,DSP)、特定应用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。本申请实施例公开的方法的步骤可以直接体现为硬件编码处理器执行完成，或者用编码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

上述各实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (56)

1.一种增强层编码方法，其特征在于，包括：

获取待编码图像块的基本层的重建块；

对所述待编码图像块和所述基本层的重建块中的对应像素点求差以获得所述待编码图像块的增强层的残差块，所述增强层图像块的分辨率不低于所述基本层图像块的分辨率，或者所述增强层图像块的编码质量不低于所述基本层图像块的编码质量；

确定所述增强层的残差块的变换块划分方式，所述增强层的残差块的变换块划分方式和所述基本层的残差块的变换块划分方式不同；

根据所述变换块划分方式对所述增强层的残差块进行变换，以获得所述增强层的残差块的码流。

2.根据权利要求1所述的方法，其特征在于，所述确定所述增强层的残差块的变换块划分方式，包括：

对所述增强层的残差块的第一最大变换单元LTU进行迭代式的树形结构划分以获得多个分割深度的变换单元TU，所述多个分割深度中的最大分割深度等于Dmax，Dmax为正整数；

根据第一TU的损失估计值和所述第一TU包含的多个第二TU的损失估计值之和确定所述第一TU的划分方式，所述第一TU的分割深度为i，所述第二TU的深度为i+1，0≤i≤Dmax-1。

3.根据权利要求2所述的方法，其特征在于，所述根据第一TU的损失估计值和所述第一TU包含的多个第二TU的损失估计值之和确定所述第一TU的划分方式，包括：

对TU进行变换和量化以获得所述TU的量化系数，所述TU为所述第一TU或者所述第二TU；

对所述TU的量化系数进行预编码以获得所述TU的码字长度；

对所述TU的量化系数进行反量化和反变换以获得所述TU的重建块；

计算所述TU和所述TU的重建块的误差平方和SSD以获得所述TU的失真值；

根据所述TU的码字长度和所述TU的失真值获取所述TU的损失估计值；

确定所述第一TU的损失估计值和所述多个第二TU的损失估计值之和中的较小者；

将所述较小者对应的划分方式确定为所述第一TU的划分方式。

4.根据权利要求2或3所述的方法，其特征在于，所述LTU的尺寸与所述基本层的重建块的尺寸相同；或者，所述LTU的尺寸与原始的基本层的重建块进行上采样后的尺寸相同。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述待编码图像块是指整帧图像中的最大编码单元LCU；或者，所述待编码图像块是指整帧图像；或者，所述待编码图像块是指整帧图像中的感兴趣区域ROI。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述基本层和所述增强层是基于分辨率或编码质量分层获得的。

7.根据权利要求1-5中任一项所述的方法，其特征在于，当所述基本层和所述增强层是基于分辨率分层获得时，所述对所述待编码图像块和所述基本层的重建块中的对应像素点求差以获得所述待编码图像块的增强层的残差块之前，还包括：

对原始的待编码图像块进行下采样以获得第一分辨率的所述待编码图像块；

对原始的基本层的重建块进行上采样以获得所述第一分辨率的所述基本层的重建块。

8.根据权利要求1-7中任一项所述的方法，其特征在于，所述获取待编码图像块的基本层的重建块，包括：

对所述待处理图像块和所述待处理图像块的预测块中的对应像素点求差以获得所述待处理图像块的残差块；

对所述待处理图像块的残差块进行变换和量化以获得所述待处理图像块的量化系数；

对所述待处理图像块的量化系数进行反量化和反变换以获得所述待处理图像块的重建残差块；

对所述待处理图像块的预测块和所述待处理图像块的重建残差块中的对应像素点求和以获得所述基本层的重建块。

9.一种增强层编码方法，其特征在于，包括：

获取待编码图像块的第一增强层的重建块；

对所述待编码图像块和所述第一增强层的重建块中的对应像素点求差以获得所述待编码图像块的第二增强层的残差块，所述第二增强层图像块的分辨率不低于所述第一增强层图像块的分辨率，或者所述第二增强层图像块的编码质量不低于所述第一增强层图像块的编码质量；

确定所述第二增强层的残差块的变换块划分方式，所述第二增强层的残差块的变换块划分方式和所述第一层的残差块的变换块划分方式不同；

根据所述变换块划分方式对所述第二增强层的残差块进行变换，以获得所述第二增强层的残差块的码流。

10.根据权利要求9所述的方法，其特征在于，所述确定所述第二增强层的残差块的变换块划分方式，包括：

对所述第二增强层的残差块的第一最大变换单元LTU进行迭代式的树形结构划分以获得多个分割深度的变换单元TU，所述多个分割深度中的最大分割深度等于Dmax，Dmax为正整数；

根据第一TU的损失估计值和所述第一TU包含的多个第二TU的损失估计值之和确定所述第一TU的划分方式，所述第一TU的分割深度为i，所述第二TU的深度为i+1，0≤i≤Dmax-1。

11.根据权利要求10所述的方法，其特征在于，所述根据第一TU的损失估计值和所述第一TU包含的多个第二TU的损失估计值之和确定所述第一TU的划分方式，包括：

对TU进行变换和量化以获得所述TU的量化系数，所述TU为所述第一TU或者所述第二TU；

对所述TU的量化系数进行预编码以获得所述TU的码字长度；

对所述TU的量化系数进行反量化和反变换以获得所述TU的重建块；

计算所述TU和所述TU的重建块的误差平方和SSD以获得所述TU的失真值；

根据所述TU的码字长度和所述TU的失真值获取所述TU的损失估计值；

确定所述第一TU的损失估计值和所述多个第二TU的损失估计值之和中的较小者；

将所述较小者对应的划分方式确定为所述第一TU的划分方式。

12.根据权利要求10或11所述的方法，其特征在于，所述LTU的尺寸与所述第一增强层的重建块的尺寸相同；或者，所述LTU的尺寸与原始的第一增强层的重建块进行上采样后的尺寸相同。

13.根据权利要求9-12中任一项所述的方法，其特征在于，所述待编码图像块是指整帧图像中的最大编码单元LCU；或者，所述待编码图像块是指整帧图像；或者，所述待编码图像块是指整帧图像中的感兴趣区域ROI。

14.根据权利要求9-13中任一项所述的方法，其特征在于，所述第一增强层和所述第二增强层是通过质量域分层方式或者空域分层方式分层获得的。

15.根据权利要求9-13中任一项所述的方法，其特征在于，当所述第一增强层和所述第二增强层是通过空域分层方式分层获得时，所述对所述待编码图像块和所述第一增强层的重建块中的对应像素点求差以获得所述待编码图像块的第二增强层的残差块之前，还包括：

对原始的待编码图像块进行下采样以获得第二分辨率的所述待编码图像块；

对原始的第一增强层的重建块进行上采样以获得所述第二分辨率的所述第一增强层的重建块。

16.根据权利要求9-15中任一项所述的方法，其特征在于，所述获取待编码图像块的第一增强层的重建块，包括：

对所述待处理图像块和所述待处理图像块的第三层的重建块中的对应像素点求差以获得所述第一增强层的残差块，所述第一增强层图像块的分辨率不低于所述第三层图像块的分辨率，或者所述第一增强层图像块的编码质量不低于所述第三层图像块的编码质量；

对所述第一增强层的残差块进行变换和量化以获得所述第一增强层的残差块的量化系数；

对所述第一增强层的残差块的量化系数进行反量化和反变换以获得所述第一增强层的重建残差块；

对所述第三层的重建块和所述第一增强层的重建残差块中的对应像素点求和以获得所述第一增强层的重建块。

17.一种增强层解码方法，其特征在于，包括：

获取待解码图像块的增强层的残差块的码流；

对所述增强层的残差块的码流进行熵解码、反量化和反变换以获得所述增强层的重建残差块；

获取所述待解码图像块的基本层的重建块，所述增强层图像块的分辨率不低于所述基本层图像块的分辨率，或者所述增强层图像块的编码质量不低于所述基本层图像块的编码质量；

对所述增强层的重建残差块和所述基本层的重建块中的对应像素点求和以获得所述增强层的重建块。

18.根据权利要求17所述的方法，其特征在于，所述待解码图像块是指整帧图像中的最大编码单元LCU；或者，所述待解码图像块是指整帧图像；或者，所述待解码图像块是指整帧图像中的感兴趣区域ROI。

19.根据权利要求17或18所述的方法，其特征在于，所述基本层和所述增强层是通过质量域分层方式或者空域分层方式分层获得的。

20.根据权利要求17或18所述的方法，其特征在于，当所述基本层和所述增强层是通过空域分层方式分层获得时，所述对所述增强层的重建残差块和所述基本层的重建块中的对应像素点求和以获得所述增强层的重建块之前，还包括：

对原始的基本层的重建块进行上采样以获得分辨率为第三分辨率的所述基本层的重建块，所述第三分辨率与所述增强层的重建残差块的分辨率相同。

21.根据权利要求17-20中任一项所述的方法，其特征在于，所述获取所述待解码图像块的基本层的重建块，包括：

获取所述基本层的残差块的码流；

对所述基本层的残差块的码流进行熵解码以获得所述基本层的残差块的解码数据；

对所述基本层的残差块的解码数据进行反量化和反变换以获得所述基本层的重建残差块；

根据所述基本层的残差块的解码数据获取所述基本层的预测块；

对所述基本层的重建残差块和所述基本层的预测块中的对应像素点求和以获得所述基本层的重建块。

22.一种增强层解码方法，其特征在于，包括：

获取待解码图像块的第二增强层的残差块的码流；

对所述第二增强层的残差块的码流进行熵解码、反量化和反变换以获得所述第二增强层的重建残差块；

获取所述待解码图像块的第一增强层的重建块，所述第二增强层图像块的分辨率不低于所述第一增强层图像块的分辨率，或者所述第二增强层图像块的编码质量不低于所述第一增强层图像块的编码质量；

对所述第二增强层的重建残差块和所述第一增强层的重建块中的对应像素点求和以获得所述第二增强层的重建块。

23.根据权利要求22所述的方法，其特征在于，所述待解码图像块是指整帧图像中的最大编码单元LCU；或者，所述待解码图像块是指整帧图像；或者，所述待解码图像块是指整帧图像中的感兴趣区域ROI。

24.根据权利要求22或23所述的方法，其特征在于，所述第一增强层和所述第二增强层是通过质量域分层方式或者空域分层方式分层获得的。

25.根据权利要求22或23所述的方法，其特征在于，当所述第一增强层和所述第二增强层是通过空域分层方式分层获得时，所述对所述第二增强层的重建残差块和所述第一增强层的重建块中的对应像素点求和以获得所述第二增强层的重建块之前，还包括：

对原始的第一增强层的重建块进行上采样以获得分辨率为第四分辨率的所述第一增强层的重建块，所述第四分辨率与所述第二增强层的重建残差块的分辨率相同。

26.根据权利要求22-25中任一项所述的方法，其特征在于，所述获取所述待解码图像块的第一增强层的重建块，包括：

获取所述第一增强层的残差块的码流；

对所述第一增强层的残差块的码流进行熵解码、反量化和反变换以获得所述第一增强层的重建残差块；

对所述第一增强层的重建残差块和第三层的重建块中的对应像素点求和以获得所述第一增强层的重建块，所述第一增强层图像块的分辨率不低于所述第三层图像块的分辨率，或者所述第一增强层图像块的编码质量不低于所述第三层图像块的编码质量。

27.一种编码装置，其特征在于，包括：

获取模块，用于获取待编码图像块的基本层的重建块；对所述待编码图像块和所述基本层的重建块中的对应像素点求差以获得所述待编码图像块的增强层的残差块，所述增强层图像块的分辨率不低于所述基本层图像块的分辨率，或者所述增强层图像块的编码质量不低于所述基本层图像块的编码质量；

确定模块，用于确定所述增强层的残差块的变换块划分方式，所述增强层的残差块的变换块划分方式和所述基本层的残差块的变换块划分方式不同；

编码模块，用于根据所述变换块划分方式对所述增强层的残差块进行变换，以获得所述增强层的残差块的码流。

28.根据权利要求27所述的装置，其特征在于，所述确定模块，具体用于对所述增强层的残差块的第一最大变换单元LTU进行迭代式的树形结构划分以获得多个分割深度的变换单元TU，所述多个分割深度中的最大分割深度等于Dmax，Dmax为正整数；根据第一TU的损失估计值和所述第一TU包含的多个第二TU的损失估计值之和确定所述第一TU的划分方式，所述第一TU的分割深度为i，所述第二TU的深度为i+1，0≤i≤Dmax-1。

29.根据权利要求28所述的装置，其特征在于，所述确定模块，具体用于对TU进行变换和量化以获得所述TU的量化系数，所述TU为所述第一TU或者所述第二TU；对所述TU的量化系数进行预编码以获得所述TU的码字长度；对所述TU的量化系数进行反量化和反变换以获得所述TU的重建块；计算所述TU和所述TU的重建块的误差平方和SSD以获得所述TU的失真值；根据所述TU的码字长度和所述TU的失真值获取所述TU的损失估计值；确定所述第一TU的损失估计值和所述多个第二TU的损失估计值之和中的较小者；将所述较小者对应的划分方式确定为所述第一TU的划分方式。

30.根据权利要求28或29所述的装置，其特征在于，所述LTU的尺寸与所述基本层的重建块的尺寸相同；或者，所述LTU的尺寸与原始的基本层的重建块进行上采样后的尺寸相同。

31.根据权利要求27-30中任一项所述的装置，其特征在于，所述待编码图像块是指整帧图像中的最大编码单元LCU；或者，所述待编码图像块是指整帧图像；或者，所述待编码图像块是指整帧图像中的感兴趣区域ROI。

32.根据权利要求27-31中任一项所述的装置，其特征在于，所述基本层和所述增强层是基于分辨率或编码质量分层获得的。

33.根据权利要求27-31中任一项所述的装置，其特征在于，当所述基本层和所述增强层是基于分辨率分层获得时，所述获取模块，还用于对原始的待编码图像块进行下采样以获得第一分辨率的所述待编码图像块；对原始的基本层的重建块进行上采样以获得所述第一分辨率的所述基本层的重建块。

34.根据权利要求27-33中任一项所述的装置，其特征在于，所述获取模块，具体用于对所述待处理图像块和所述待处理图像块的预测块中的对应像素点求差以获得所述待处理图像块的残差块；对所述待处理图像块的残差块进行变换和量化以获得所述待处理图像块的量化系数；对所述待处理图像块的量化系数进行反量化和反变换以获得所述待处理图像块的重建残差块；对所述待处理图像块的预测块和所述待处理图像块的重建残差块中的对应像素点求和以获得所述基本层的重建块。

35.一种编码装置，其特征在于，包括：

获取模块，用于，获取待编码图像块的第一增强层的重建块；对所述待编码图像块和所述第一增强层的重建块中的对应像素点求差以获得所述待编码图像块的第二增强层的残差块，所述第二增强层图像块的分辨率不低于所述第一增强层图像块的分辨率，或者所述第二增强层图像块的编码质量不低于所述第一增强层图像块的编码质量；

确定模块，用于确定所述第二增强层的残差块的变换块划分方式，所述第二增强层的残差块的变换块划分方式和所述第一层的残差块的变换块划分方式不同；

编码模块，用于根据所述变换块划分方式对所述第二增强层的残差块进行变换，以获得所述第二增强层的残差块的码流。

36.根据权利要求35所述的装置，其特征在于，所述确定模块，具体用于对所述第二增强层的残差块的第一最大变换单元LTU进行迭代式的树形结构划分以获得多个分割深度的变换单元TU，所述多个分割深度中的最大分割深度等于Dmax，Dmax为正整数；根据第一TU的损失估计值和所述第一TU包含的多个第二TU的损失估计值之和确定所述第一TU的划分方式，所述第一TU的分割深度为i，所述第二TU的深度为i+1，0≤i≤Dmax-1。

37.根据权利要求36所述的装置，其特征在于，所述确定模块，具体用于对TU进行变换和量化以获得所述TU的量化系数，所述TU为所述第一TU或者所述第二TU；对所述TU的量化系数进行预编码以获得所述TU的码字长度；对所述TU的量化系数进行反量化和反变换以获得所述TU的重建块；计算所述TU和所述TU的重建块的误差平方和SSD以获得所述TU的失真值；根据所述TU的码字长度和所述TU的失真值获取所述TU的损失估计值；确定所述第一TU的损失估计值和所述多个第二TU的损失估计值之和中的较小者；将所述较小者对应的划分方式确定为所述第一TU的划分方式。

38.根据权利要求36或37所述的装置，其特征在于，所述LTU的尺寸与所述第一增强层的重建块的尺寸相同；或者，所述LTU的尺寸与原始的第一增强层的重建块进行上采样后的尺寸相同。

39.根据权利要求35-38中任一项所述的装置，其特征在于，所述待编码图像块是指整帧图像中的最大编码单元LCU；或者，所述待编码图像块是指整帧图像；或者，所述待编码图像块是指整帧图像中的感兴趣区域ROI。

40.根据权利要求35-39中任一项所述的装置，其特征在于，所述第一增强层和所述第二增强层是通过质量域分层方式或者空域分层方式分层获得的。

41.根据权利要求35-39中任一项所述的装置，其特征在于，当所述第一增强层和所述第二增强层是通过空域分层方式分层获得时，所述获取模块，还用于对原始的待编码图像块进行下采样以获得第二分辨率的所述待编码图像块；对原始的第一增强层的重建块进行上采样以获得所述第二分辨率的所述第一增强层的重建块。

42.根据权利要求35-41中任一项所述的装置，其特征在于，所述获取模块，具体用于对所述待处理图像块和所述待处理图像块的第三层的重建块中的对应像素点求差以获得所述第一增强层的残差块，所述第一增强层图像块的分辨率不低于所述第三层图像块的分辨率，或者所述第一增强层图像块的编码质量不低于所述第三层图像块的编码质量；对所述第一增强层的残差块进行变换和量化以获得所述第一增强层的残差块的量化系数；对所述第一增强层的残差块的量化系数进行反量化和反变换以获得所述第一增强层的重建残差块；对所述第三层的重建块和所述第一增强层的重建残差块中的对应像素点求和以获得所述第一增强层的重建块。

43.一种解码装置，其特征在于，包括：

获取模块，用于获取待解码图像块的增强层的残差块的码流；

解码模块，用于对所述增强层的残差块的码流进行熵解码、反量化和反变换以获得所述增强层的重建残差块；

重建模块，用于获取所述待解码图像块的基本层的重建块，所述增强层图像块的分辨率不低于所述基本层图像块的分辨率，或者所述增强层图像块的编码质量不低于所述基本层图像块的编码质量；对所述增强层的重建残差块和所述基本层的重建块中的对应像素点求和以获得所述增强层的重建块。

44.根据权利要求43所述的装置，其特征在于，所述待解码图像块是指整帧图像中的最大编码单元LCU；或者，所述待解码图像块是指整帧图像；或者，所述待解码图像块是指整帧图像中的感兴趣区域ROI。

45.根据权利要求43或44所述的装置，其特征在于，所述基本层和所述增强层是通过质量域分层方式或者空域分层方式分层获得的。

46.根据权利要求43或44所述的装置，其特征在于，当所述基本层和所述增强层是通过空域分层方式分层获得时，所述重建模块，还用于对原始的基本层的重建块进行上采样以获得分辨率为第三分辨率的所述基本层的重建块，所述第三分辨率与所述增强层的重建残差块的分辨率相同。

47.根据权利要求43-46中任一项所述的装置，其特征在于，所述重建模块，具体用于获取所述基本层的残差块的码流；对所述基本层的残差块的码流进行熵解码以获得所述基本层的残差块的解码数据；对所述基本层的残差块的解码数据进行反量化和反变换以获得所述基本层的重建残差块；根据所述基本层的残差块的解码数据获取所述基本层的预测块；对所述基本层的重建残差块和所述基本层的预测块中的对应像素点求和以获得所述基本层的重建块。

48.一种解码装置，其特征在于，包括：

获取模块，用于获取待解码图像块的第二增强层的残差块的码流；

解码模块，用于对所述第二增强层的残差块的码流进行熵解码、反量化和反变换以获得所述第二增强层的重建残差块；

重建模块，用于获取所述待解码图像块的第一增强层的重建块，所述第二增强层图像块的分辨率不低于所述第一增强层图像块的分辨率，或者所述第二增强层图像块的编码质量不低于所述第一增强层图像块的编码质量；对所述第二增强层的重建残差块和所述第一增强层的重建块中的对应像素点求和以获得所述第二增强层的重建块。

49.根据权利要求48所述的装置，其特征在于，所述待解码图像块是指整帧图像中的最大编码单元LCU；或者，所述待解码图像块是指整帧图像；或者，所述待解码图像块是指整帧图像中的感兴趣区域ROI。

50.根据权利要求48或49所述的装置，其特征在于，所述第一增强层和所述第二增强层是通过质量域分层方式或者空域分层方式分层获得的。

51.根据权利要求48或49所述的装置，其特征在于，当所述第一增强层和所述第二增强层是通过空域分层方式分层获得时，所述重建模块，还用于对原始的第一增强层的重建块进行上采样以获得分辨率为第四分辨率的所述第一增强层的重建块，所述第四分辨率与所述第二增强层的重建残差块的分辨率相同。

52.根据权利要求48-51中任一项所述的装置，其特征在于，所述重建模块，具体用于获取所述第一增强层的残差块的码流；对所述第一增强层的残差块的码流进行熵解码、反量化和反变换以获得所述第一增强层的重建残差块；对所述第一增强层的重建残差块和第三层的重建块中的对应像素点求和以获得所述第一增强层的重建块，所述第一增强层图像块的分辨率不低于所述第三层图像块的分辨率，或者所述第一增强层图像块的编码质量不低于所述第三层图像块的编码质量。

53.一种编码器，其特征在于，包括：

处理器和存储器；所述处理器与所述存储器耦合，所述存储器中存储有计算机可读指令；

所述处理器用于读取所述计算机可读指令以使所述编码器实现如权利要求1-16中任一项所述的方法。

54.一种解码器，其特征在于，包括：

处理器和存储器；所述处理器与所述存储器耦合，所述存储器中存储有计算机可读指令；

所述处理器用于读取所述计算机可读指令以使所述编码器实现如权利要求17-26中任一项所述的方法。

55.一种计算机程序产品，其特征在于，包括程序代码，当其在计算机或处理器上执行时，用于执行根据权利要求1-26任一项所述的方法。

56.一种计算机可读存储介质，其特征在于，包括程序代码，当其由计算机设备执行时，用于执行根据权利要求1-26任一项所述的方法。

Images