CN101258754B - 编码至少一个数字图像的方法和编码器 - Google Patents

Abstract

描述了用于对至少一个数字图像进行编码的方法，其中，产生该图像的第一表示，产生该图像的第二表示，以及通过使用该图像的第一表示和该图像的第二表示来预测该图像的图像元素的编码信息，从而根据该图像的第一表示和该图像的第二表示产生该图像的第三表示。

Description

编码至少一个数字图像的方法和编码器

技术领域

本发明涉及对至少一个数字图像进行编码的方法、编码器以及计算机程序产品。

背景技术

在MPEG(运动图像专家组)的标准化工作过程中，提出了用于可伸缩视频编码(SVC)的方法，该方法基于开环的运动估计/运动补偿(ME/MC)，而且是视频编码标准AVC的可伸缩扩展，见[1]和[2]。

除AVC[2]中可得到的ME/MC方案之外，所提出的SVC方法的关键部分是层间预测方案。

针对增强层中的每个片(slice)，选择对应的“基本层”(由参数base_id_plus1来规定，见[1])来分别去除“基本层”的运动信息与残留信息之间以及增强层的运动信息与残留信息之间的冗余。

由于针对增强层中的每个片只有一个基本层(见[1])，所以，在某些情况下编码效率较低。

图1示出了根据现有技术的编码层的示例。

在图1中，示出了四层：第一层，以(QCIF，低)表示；第二层，以(QCIF，中等)表示；第三层，以(CIF，低)表示；第四层，以(CIF，中等)表示。

“低”表示对应的层包含了使用比对应于“中等”的层更低的精确度来量化的编码信息。通过第一轴105也说明了这点，其指出图1中所示出的越向右的层对应于SNR越高的编码信息。

“QCIF”(四分之一通用中间格式)表示对应的层包含了针对比对应于“CIF”(通用中间格式)的层更低的空间分辨率的编码信息。通过第二轴106也说明了这点，其指出图1中所示出的越向上的层对应于分辨率越高的编码信息。

根据现有技术，整个基本层被选作第一层101(QCIF，低)，其也是第三层103(CIF，低)和第二层102(QCIF，中等)两者中的所有片的“基本层”。

当产生可伸缩的比特流时，通过工作草案[1]中所提出的层间预测方案，能够去除第三层103(CIF，低)与第一层101(QCIF，低)之间的空间冗余以及第一层101(QCIF，低)与第二层102(QCIF，中等)之间的SNR(信噪比)冗余。

然而，在对第四层104(CIF，中等)进行编码时存在问题。由于针对每个片只有一个“基本层”，所以，或者是第三层103(CIF，低)、或者是第一层101(QCIF，中等)被选作“基本层”。

一方面，当第一层101(CIF，低)被选作“基本层”时，可以高效地去除第一层101(CIF，低)与第二层102(CIF，中等)之间的SNR冗余。

然而，不能去除第二层102(CIF，中等)与第四层104(QCIF，中等)之间的空间冗余。

另一方面，当第二层102(QCIF，中等)被选作“基本层”时，可以高效地去除第二层102(QCIF，中等)与第四层104(CIF，中等)之间的空间冗余。然而，不能去除第四层104(CIF，中等)与第三层103(CIF，低)之间的SNR冗余。

解决该问题有两种方式：

1)

-将第一层101(QCIF，低)设置为第二层102(QCIF，中等)的“基本层”

-将第一层101(QCIF，低)设置为第三层103(CIF，低)的“基本层”

-将第三层103(CIF，低)设置为第四层104(CIF，中等)的“基本层”

如上所述，在这种情况下，不能保证第四层(CIF，中等)的编码效率。

2)

-将第一层101(QCIF，低)设置为第二层102(QCIF，中等)的“基本层”

-将第二层102(QCIF，中等)设置为第三层103(CIF，低)的“基本层”

-将第三层103(CIF，低)设置为第四层104(CIF，中等)的“基本层”

在这种情况下，能保证第四层(CIF，中等)的编码效率。然而，在第二层102(QCIF，中等)为第三层103(CIF，低)的“基本层”的情况下，与第一层101(QCIF，低)为第三层103(CIF，低)的“基本层”的情况相比，第三层103(CIF，低)的编码效率较低。当在由“CIF”所指示的分辨率下由“低”所表示的品质与由“QCIF”所指示的分辨率下由“中等”所表示的品质之间的差距(gap)很大时，所述差距将大于2dB。

本发明的目的是提供一种与根据现有技术的用于数字图像的编码方法相比得到增强的用于数字图像的编码方法。

发明内容

所述目的是通过具有根据独立权利要求所述特征的、用于对至少一个数字图像进行编码的方法、编码器和计算机程序产品来实现的。

提供了一种用于对至少一个数字图像进行编码的方法，其中，产生该图像的第一表示，产生该图像的第二表示，以及通过使用该图像的第一表示和该图像的第二表示来预测该图像的图像元素的编码信息，从而根据图像的第一表示和图像的第二表示产生该图像的第三表示。

另外，提供了一种依照上述用于对至少一个数字图像进行编码的方法的编码器和计算机程序产品。

下面将参考附图说明本发明的示例性实施例。

附图说明

图1示出根据现有技术的编码层的示例。

图2示出根据本发明实施例的编码器。

图3示出根据本发明实施例的解码器。

具体实施方式

举例来说，使用具有两个“基本层”的预测方案，而这两个基本层(在一个实施例中为如上所述的层(QCIF，中等)和(CIF，低))是针对(CIF，中等)中的每一个片的基本层。换言之，对于(CIF，中等)中的每个片有两个基本层。下面具体给出该方案。

指定给图像元素的编码信息例如是色度信息或亮度信息。

要编码的图像可以是多个图像中的一个图像，即视频序列的一帧，而且第一表示和第二表示能够通过使用运动补偿来产生。

在用于对至少一个数字图像进行编码的方法的情况下所描述的实施例，对于编码器和计算机程序产品也是类似有效的。

在一个实施例中，图像的第二表示相比第一表示具有更低的信噪比。

在一个实施例中，图像的第二表示相比第一表示具有更高的分辨率。

例如产生第二表示，使其具有依照CIF(通用中间格式)的分辨率；例如产生第一表示，使其具有依照QCIF(四分之一通用中间格式)的分辨率；而且，例如产生第三表示，使其具有依照CIF的分辨率。

图2示出了根据本发明实施例的编码器200。

要编码的原始视频信号201被(按片)馈送到基本层发生器202。该基本层发生器产生基本层(即基本层编码信息)，该基本层被馈送到预测器203。预测器203基于该基本层预测原始视频信号。根据预测器203产生的预测和原始视频信号201，增强层发生器204产生增强层(即增强层编码信息)。

增强层和基本层接着由编码和复用单元205进行编码和复用，使得形成对应于原始视频信号201的经编码的视频信号206。

与编码器200对应的解码器在图3中示出。

图3示出了根据本发明实施例的解码器300。

与编码器200产生的经编码的视频信号206相对应的经编码的视频信号301被(按片)馈送到解码和解复用单元303。解码和解复用单元303从经编码的视频信号301中提取基本层(即基本层编码信息)和增强层(增强层编码信息)。所述基本层被馈送到预测器302，该预测器302根据所述基本层产生预测。

预测和增强层被馈送到后处理器304，该后处理器304产生与原始视频信号201相对应的重建视频信号305。

编码器200和解码器300适合于例如根据MPEG(运动图像专家组)标准或者根据H.264标准(除根据本发明的附加特征以外)来运行。

尽管在针对增强层的每个片只有一个基本层的情况下，已经对编码器200和解码器300进行了描述，但是，编码器200也能够以不同的模式使用，特别是以如下模式：在这些模式中，预测器203接收多于一个的基本层作为输入并根据这些多于一个的基本层计算预测。为简单起见，下文以编码器200的情况进行说明。解码器300具有对应的功能。

对于在“增强层”的每个片，可能有两个基本层，其例如分别标记为base-layer-id1-plus1和base-layer-id2-plus1。

在以下说明中，使用了上述由(QCIF，低)、(QCIF，中等)、(CIF，低)和(CIF，中等)表示的层。

如上所述，“低”表示对应的层包含了使用相比对应于“中等”的层更低的精确度而量化的编码信息。“QCIF”表示对应的层包含了针对相比对应于“CIF”的层更低的空间分辨率的编码信息。

如果对于当前的“增强层”(例如(QCIF，低))没有“基本层”，则参数base-layer-id1-plus1和base-layer-id2-plus1两者都为-1。如果对于当前的“增强层”(例如(CIF，低)和(QCIF，中等))只有一个“基本层”，则base-layer-id1-plus1指(QCIF，低)，而base-layer-id2-plus1为-1。如果对于当前的“增强层”(例如(CIF，中等))有两个“基本层”，则base-layer-id1-plus1指(QCIF，中等)，而base-layer-id2-plus1指(CIF，低)。因此，对于预测器203进行的(CIF，中等)的层间预测，可以有三种模式。

模式1：根据(CIF，低)(即使用(CIF，低)作为基本层)进行预测。

模式2：根据(QCIF，中等)(即使用(QCIF，中等)作为基本层)进行预测。

模式3：根据(CIF，低)和(QCIF，中等)两者(即使用(CIF，低)和(QCIF，中等)作为基本层)进行预测。

模式1和模式2如[1]和[3]中所述那样执行。

下面给出模式3的数学描述。

假设在QCIF和CIF的分辨率下的参考帧分别是

和A_2n(x，y)，而且低品质和中等品质分别对应于两个量化参数QP₁和QP₂。令(dx₀，dy₀)表示针对(QCIF，低)产生的运动信息。为简单起见，令D(1，1，2n，2n+1，x，y，dx₀，dy₀)和D(1，2，2n，2n+1，x，y，dx₀，dy₀)分别表示在(QCIF，低)和(QCIF，中等)被编码的残留信息。在数学上，它们通过下面的式子给出：

对于(QCIF，低)为

$D(\mathrm{1,1,2}n,2n+1,x,y,{\mathrm{dx}}_0,{\mathrm{dy}}_0)=S_D\left(A_{2n+1}(x,y)\right)-{\tilde{A}}_{2n}(\frac{x}{2}-{\mathrm{dx}}_0,\frac{y}{2}-{\mathrm{dy}}_0),$ 而对于

(QCIF，中等)为

$D(\mathrm{1,2,2}n,2n+1,x,y,{\mathrm{dx}}_0,{\mathrm{dy}}_0)=D(\mathrm{1,1,2}n,2n+1,x,y,{\mathrm{dx}}_0,{\mathrm{dy}}_0)$

$-I{Q}_{Q{P}_1}\left(Q_{Q{P}_1}\left(D(\mathrm{1,1,2}n,2n+1,x,y,{\mathrm{dx}}_0,{\mathrm{dy}}_0)\right)\right).---\left(1\right)$

其中，S_D表示下采样操作(见[1]、[3])。于是，在使用模式3时，在(CIF，中等)被编码的残留信息将通过以下式子给出：

$\tilde{D}(\mathrm{2,2}n,2n+1,x,y,\mathrm{dx},\mathrm{dy},{\mathrm{dx}}_0,{\mathrm{dy}}_0)=$

${\hat{D}}_{\mathrm{sr}}(\mathrm{2,2}n,2n+1,x,y,\mathrm{dx},\mathrm{dy},{\mathrm{dx}}_0,{\mathrm{dy}}_0,{\mathrm{QP}}_2,i,j)$

$-{\mathrm{IQ}}_{Q{P}_1}\left(Q_{Q{P}_1}\left({\hat{D}}_{\mathrm{sr}}(\mathrm{1,2}n,2n+1,x,y,\mathrm{dx},\mathrm{dy},{\mathrm{dx}}_0,{\mathrm{dy}}_0,{\mathrm{QP}}_1,i,j)\right)\right),---\left(2\right)$

其中，(dx，dy)是在CIF的分辨率下的运动信息，且

${\hat{D}}_{\mathrm{sr}}(\mathrm{1,2}n,2n+1,x,y,\mathrm{dx},\mathrm{dy},{\mathrm{dx}}_0,{\mathrm{dy}}_0,{\mathrm{QP}}_1,i,j)=$

$D(\mathrm{2,1,2}n,n+1,x,y,\mathrm{dx},\mathrm{dy})$

$-1*\frac{S_U\underset{k=1}{\overset{1}{\mathrm{\Σ}}}{\mathrm{IQ}}_{{\mathrm{QP}}_K}\left(Q_{{\mathrm{QP}}_K}\left(D(1,k,2n,2n+1,x,y,{\mathrm{dx}}_0,{\mathrm{dy}}_0)\right)\right))}{2^j}$

(i，j)∈{(0，0)，(1，0)}，1＝1，2，

D(2，1，2n，2n+1，x，y，dx，dy)＝A_2n+1(x，y)-A_2n(x-dx，y-dy).

                                                        (3)

其中，S_U表示上采样操作(见[1]、[3])。Q_QPk表示具有量化参数QP_k的量化操作，而I_QQPk表示对应的反量化操作。

适应性地选择(i，j)的值，以使较高分辨率下的剩余残留信息最小化。

等式(1)用于去除(QCIF，低)与(QCIF，中等)之间的SNR(信噪比)冗余。等式(2)用于去除(CIF，低)与(CIF，中等)之间的SNR冗余。等式(3)用于去除(CIF，低)与(QCIF，低)之间以及(CIF，中等)与(QCIF，中等)之间的空间冗余。

当使用由层1和层2所表示的两个连续层时，其中，层1是通过[3]中所述的SNR截断方案而从层2截断的，则能够使用针对层1的MB划分的两种不同的SNR截断方案。

一种SNR截断方案在于对MB的划分是不可伸缩的。换言之，层1中的MB的MB类型(MB_type)和子MB类型(Sub_MB_type)两者都与层2中相同MB的MB类型和子MB类型相同。针对层2中的所有帧内MB，总能执行使用来自层1的信息的帧内纹理预测。MB_type和Sub_MB_type在层1进行编码，而不需要在层2进行编码。

另一种SNR截断方案在于MB的划分是层2的MB划分中粗略的一种。表1和表2分别列出了层1中MB的MB_type和Sub_MB_type与层2中的共处的MB的MB_type和Sub_MB_type之间的关系。

层2中的MB_type	层1中的MB_type
		16×16	16×16
16×8	16×16，16×8

[0084]

8×16	16×16，8×16
		8×8	16×16，8×16，16×8，8×8

表1：层1中MB的MB_type与层2中的共处的MB的MB_type之间的关系

层2中的Sub_MB_type	层1中的Sub_MB_type
		8×8	8×8
8×4	8×8，8×4
		4×8	8×8，4×8
4×4	8×8，4×8，8×4，4×4

表2：层1中MB的Sub_MB_type与层2中的共处的MB的Sub_MB_type之间的关系

现在，令层1和层2为连续层，其中，层1是通过[3]中所述的空间截断方案而从层2截断的。对于层1中的任一宏块(MB)，识别层2中四个共处的宏块。对于层1中的MB的划分，能使用两种不同的空间截断方案。

宏块是图像中运动补偿所基于的固定尺寸的区域。举例来说，多个像素(例如8×8矩形的像素)被组成宏块。

一种空间截断方案是：层2中的四个MB的MB_type完全从层1中的共处的MB的MB_type和Sub_MB_type导出，即它们不需要在层2被编码。针对层2中的所有帧内MB，总能执行使用来自层1的信息的帧内纹理预测。层1中的MB的MB_type和Sub_MB_type根据下面两种情况导出：

情况1：在所述四个共处的MB当中，有一个MB的MB_type不是16×16。该MB_type为8×8，而Sub_MB_type通过层2中对应的MB的MB_type来确定。表3给出了Sub_MB_type和初始MV。

层2中的MB_type

层1中的Sub_MB_type (也是辅助 Sub_MB_type)

层1中的初始MV

[0093]

16×16	8×8	层2中的MV除以2
			16×8	8×4	层2中的MV除以2
8×16	4×8	层2中的MV除以2
			8×8	4×4	左上块的MV除以2

表3：层1中的Sub_MB_type和初始MV

情况2：层2中的四个共处的MB的MB_type是16×16。层2中的MB_type的初始值被设置为8×8，且通过将层2中的四个共处的MB的MV除以2而获得四个MV。最终的MB_type和MV通过对MV的截断具有约束的RDO来确定。

另一个空间截断方案是：层2中的四个MB的MB_type不能通过层1中的共处的MB的MB_type和Sub_MB_type来确定。针对层1中的MB，将辅助MB_type设置为8×8，且根据层2中对应的MB的MB_type，针对层1中的每个子MB设置辅助Sub_MB_type。与SNR可伸缩性类似，表4和表5分别列出了实际MB_type和Sub_MB_type与辅助MB_type和辅助Sub_MB_type之间的关系。

层1中的辅助MB_type	层1中的实际MB_type
		8×8	16×16，8×16，16×8，8×8

表4：层1中的辅助MB_type与实际MB_type之间的关系

层1中的辅助Sub_MB_type	层1中的实际Sub MB_type
		8×8	8×8
8×4	8×8，8×4
		4×8	8×8，4×8
4×4	8×8，4×8，8×4，4×4

表5：层1中的辅助Sub_MB_typ与实际Sub_MB_type之间的关系

在当前的工作草案([1])中，也使用已在MPEG-4 AVC[2]中采用的上下文自适应二进制算术编码(CABAC)用于进行熵编码。它们之间唯一的不同在于当前的工作草案具有针对额外语法元素的额外上下文模型和FGS编码。为了提高编码效率，CABAC针对每个语法元素使用不同的上下文模型。上下文建模使得可以通过使用邻近块中的语法元素，为语法元素的二进制符号估计更为准确的概率模型。

同时，在前一情况下，存在两个独立的运动矢量场(MVF)，而在后一情况下，只有一个运动矢量场。SNR/空间精细化方案和SNR/空间截断方案的统计通常是不同的，根据本发明的一个实施例，使用不同的上下文模型。因此，针对层1将比特从编码器发送到解码器以指定层1是否是从层2截断的。比特1意味着层1是从层2截断的，而0表示层1不是从层2截断的。该比特包括在片头中。

在当前的工作草案(WD 1.0，[1])中，为了对增强层的运动场进行编码，除了可应用于基本层的模式之外，还可有两种宏块(MB)模式：“BASE_LAYER_MODE”和“QPEL_REFINEMENT_MODE”。当使用“BASE_LAYER_MODE”并不针对对应的宏块传送进一步的信息时。这种MB模式指示使用运动/预测信息，其中，所述运动/预测信息包括“基本层”的对应MB的MB划分。当基本层代表具有一半空间分辨率的层时，包括MB划分的运动矢量场被相应地按比例确定。只有在基本层代表空间分辨率为当前层的一半的层的情况下，才使用“QPEL_REFINEMENT_MODE”。“QPEL_REFINEMENT_MODE”与“BASE_LAYER_MODE”类似。关于“BASE_LAYER_MODE”，导出MB划分以及参考索引和运动矢量(MV)。然而，对于每个MV，对导出的MV，额外传送和加上四分之一样本MV精细化信息(对每个MV分量为-1、0或+1)。

因此，在一个实施例中，使用新的模式“NEIGHBORHOOD_REFINEMENT_MODE”，该模式意味着使用包括其“基本层”的对应MB的MB划分的运动/预测信息，而且增强层中的块的MV在其基本层的对应块的MV的邻域中。和“QPEL_REFINEMENT_MODE”一样，也额外传送精细化信息。我们的“NEIGHBORHOOD_REFINEMENT_MODE”可应用于SNR可伸缩性和空间可伸缩性两者。

假设在“基本层”的块的运动矢量(MV)是(dx₀，dy₀)。当考虑到SNR可伸缩性时，邻域的中心是(dx₀，dy₀)。当研究空间可伸缩性时，邻域的中心是(2dx₀，2dy₀)。和“QPEL_REFINEMENT_MODE”一样，也额外传送精细化信息。“NEIGHBORHOOD_REFINEMENT_MODE”可应用于SNR可伸缩性和空间可伸缩性两者。在一个实施例中，新的模式也是通过将[3]中所述的SNR/空间截断方案考虑在内而设计的。

假设用于产生基本层和增强层的运动矢量的量化参数分别是QP_b和QP_e。一般地，邻域的尺寸对QP_b和QP_e是自适应的，且通常是|QP_e-QP_b|的单调非递减函数。精细化信息的选择取决于邻域的尺寸。下面给出了示例。

表6和表7分别列出了当|QP_e-QP_b|大于阈值时，针对SNR截断方案和空间截断方案的邻域的尺寸和精细化信息的选择。

基本层中的MV	精细化的可能的选择
		整像素	(-1，-1/2，-1/4，0，1/4，1/2，1)
半像素	(-1/4，0，1/4)

表6：针对SNR截断的邻域

基本层中的MV	精细化的可能的选择
		整像素	(-1，-1/2，-1/4，0，1/4，1/2，1)
半像素	(-1/2，-1/4，0，1/4，1/2)
		四分之一像素	(-1/4，0，1/4)

表7：针对空间截断的邻域

与在WD 1.0([1])中所述的“QPEL_REFINEMENT_MODE”相似，精细化信息与整数之间的映射也是预先规定的(见表8)。

精细化信息	-1	-1/2	-1/4	0	1/4	1/2	1
								整数	-4	-2	-1	0	1	2	4

表8：针对SNR/空间截断的映射

在本文件中引用了以下出版物：

Julien Reichel，Heiko Schwarz and Mathias Wien.WorkingDraft 1.0 of 14496-10：200x/AMD 1 Scalable Video Coding，ISO/IEC JTC1/SC29 WG11 MPEG2005/N6901，Kong Hong，China.Jan.2005.

Information Technology-Coding of Audio-Visual Objects-Part 10：Advance Video Coding.ISO/IEC FDIS 14496-10.

Z.G.Li，X.K.Yang，K.P.Lim，X.Lin，S.Rahardja andF.Pan.Customer Oriented Scalable Video Coding.ISO/IECJTC1/SC29 WG11 MPEG2004/M11187，Spain，Oct 2004.

Claims (6)

1.一种用于对至少一个数字图像进行编码的方法，其中，

-产生所述图像的第一表示；

-产生所述图像的第二表示；

-通过使用所述图像的第一表示和所述图像的第二表示来预测分配给所述图像的图像元素的编码信息，从而根据所述图像的第一表示和所述图像的第二表示产生所述图像的第三表示；

其中，产生所述图像的第二表示，使得其相比所述第一表示具有更低的信噪比，以及相比所述第一表示具有更高的分辨率。

2.如权利要求1所述的方法，其中，产生所述图像的第三表示，使得其具有与所述第二表示相同的分辨率。

3.如权利要求1所述的方法，其中，产生所述第二表示，使得其具有依照CIF的分辨率。

4.如权利要求1所述的方法，其中，产生所述第一表示，使得其具有依照QCIF的分辨率。

5.如权利要求1所述的方法，其中，产生所述第三表示，使得其具有依照CIF的分辨率。

6.一种用于对至少一个数字图像进行编码的编码器，其中，所述编码器包括：

-第一产生单元，用于产生所述图像的第一表示；

-第二产生单元，用于产生所述图像的第二表示；

-第三产生单元，用于通过使用所述图像的第一表示和所述图像的第二表示来预测所述图像的图像元素的编码信息，从而根据所述图像的第一表示和所述图像的第二表示产生所述图像的第三表示；

其中，产生所述图像的第二表示，使得其相比所述第一表示具有更低的信噪比，以及相比所述第一表示具有更高的分辨率。

Images