CN101356818B - 图像编码/解码方法和设备 - Google Patents

Abstract

提供了一种图像残余编码和解码方法和设备。在这个方法中，使用颜色分量图像的残余之间的相关性，从另一个颜色分量图像预测颜色分量图像的残余，从而改善编码效率，其中该残余对应于在构成单一图像的各个颜色分量图像的输入图像和预测图像之间的差。

Description

图像编码/解码方法和设备

技术领域

符合本发明的方法和设备涉及图像编码和解码，并更具体地，涉及如下的图像编码/解码方法和设备，其中使用多个颜色分量图像的残余(residues)之间的相关性，根据另一个颜色分量图像的残余预测颜色分量图像之一的残余，从而改善编码效率。

背景技术

通常，当捕获图像时，所捕获的原始图像为红、绿、和蓝(RGB)颜色格式。为了编码RGB颜色格式图像，RGB颜色格式图像被变换为YUV(或者YCbCr)颜色格式。Y是黑白图像，并具有亮度分量，而U(或Cb)和V(或Cr)具有颜色分量。在RGB图像中，信息均匀地分布在R、G、和B分量上，但是在YUV(或者YCbCr)图像中，信息集中在Y分量中，而U(或Cb)和V(或Cr)分量中的信息量小。这样，可以用高压缩效率来压缩YUV(或者YCbCr)图像。为了进一步改善压缩效率，通常使用通过以比率1:4对YUV(或者YCbCr)图像的颜色分量U(或Cb)和V(或Cr)进行取样而获得的YUV(或者YCbCr)4:2:0图像。

然而，由于YUV(或者YCbCr)4:2:0图像中的U(或Cb)和V(或Cr)分量的1/4取样导致了颜色失真，所以其不适合于提供高显示质量。这样，需要一种用于在没有取样U(或Cb)和V(或Cr)的情况下有效地编码YUV(或者YCbCr)4:4:4图像的方法。最近，已经提出了残余颜色变换(RCT)或平面间预测(IPP：inter-plane prediction)，该残余颜色变换直接对RGB 4:4:4图像进行编码以移除在将RGB图像变换为YUV(或者YCbCr)图像时发生的颜色失真。

当使用现有技术编码方法来对其中颜色分量具有相同分辨率的例如YUV(或者YCbCr)4:4:4图像和RGB 4:4:4图像的图像进行直接编码时，编码效率降级。这样，对于其中对YUV(或者YCbCr)4:4:4图像进行编码、或者在RGB域中对RGB图像进行编码而不变换为YUV(或者YCbCr)格式的情况下，需要一种用于通过基于图像的统计特征进行预测来改善编码效率同时保持高显示质量的方法。

发明内容

技术方案

本发明提供了一种图像编码/解码方法和设备，其中在没有将RGB颜色格式变换为另一种颜色格式的情况下，使用颜色分量图像的残余之间的相关性，根据另一个颜色分量图像的残余预测构成颜色图像的多个颜色分量图像之一的残余，从而改善编码效率。

有利效果

根据本发明的示范实施例，使用构成单一图像的多个颜色分量图像之间的相关性来执行预测编码，从而改善编码效率。

此外，根据本发明的示范实施例，在RGB域中对RGB输入图像执行编码，而不变换到YUV域，从而防止在将RGB图像变换为另一颜色格式期间的颜色失真，并从而改善显示质量。

附图说明

通过参考附图对本发明的示范实施例的详细描述，本发明的上面和其它方面将变得更明显，其中：

图1A到图1C分别图示了单一彩色图像的红(R)颜色分量图像、绿(G)颜色分量图像、和蓝(B)颜色分量图像；

图2A是示出了根据本发明示范实施例的在图1B的G颜色分量图像与图1C的B颜色分量图像之间的相关性的图；

图2B是示出了根据本发明示范实施例的在图1A的R颜色分量图像与图1B的G颜色分量图像之间的相关性的图；

图3是根据本发明示范实施例的图像编码设备的框图；

图4是根据本发明示范实施例的图3中的残余生成单元320的框图；

图5是图示了根据本发明示范实施例的图像编码方法的流程图；

图6A图示了根据本发明示范实施例的G颜色分量图像的16×16第一残余块；

图6B图示了根据本发明示范实施例的B颜色分量图像的16×16第一残余块；

图6C图示了根据本发明示范实施例的R颜色分量图像的16×16第一残余块；

图7A图示了根据本发明示范实施例的图像编码方法和设备中的8×8残余块的处理顺序；

图7B图示了根据本发明示范实施例的图像编码方法和设备中的4×4残余块的处理顺序；

图8是根据本发明另一示范实施例的图像解码设备的框图；以及

图9是图示了根据本发明另一示范实施例的图像解码方法的流程图。

具体实施方式

最佳模式

根据本发明一方面，提供了一种图像编码方法，包括：生成输入图像的多个颜色分量图像的每一个的第一残余块，该第一残余块对应于在每个颜色分量图像的输入像素块与预测像素块之间的差；对颜色分量图像之中的第一颜色分量图像的第一残余块进行编码；重构第一颜色分量图像的已编码的第一残余块；通过使用第一颜色分量图像的已重构的第一残余块预测不包括第一颜色分量图像的至少一个剩余颜色分量图像的每一个的残余，来生成所述至少一个剩余颜色分量图像的每一个的第二残余块；以及通过计算在所述至少一个剩余颜色分量图像的每一个的第一和第二残余块之间的差，来生成所述至少一个剩余颜色分量图像的每一个的第三残余块。

根据本发明的又一方面，提供了一种图像编码设备，包括：预测像素块生成单元，用于生成构成输入图像的多个颜色分量图像的每一个的输入像素块的预测像素块；残余生成单元，用于生成颜色分量图像的每一个的第一残余块，该第一残余块对应于在每个颜色分量图像的输入像素块与预测像素块之间的差，通过使用第一颜色分量图像的已重构的第一残余块来预测颜色分量图像之中的不包括第一颜色分量图像的至少一个剩余颜色分量图像的每一个的残余，而生成所述至少一个剩余颜色分量图像的每一个的第二残余块，并生成所述至少一个剩余颜色分量图像的每一个的第三残余块，该第三残余块对应于在所述至少一个剩余颜色分量图像的每一个的第一和第二残余块之间的差；以及编码单元，用于对所生成的残余块进行编码。

根据本发明的又一方面，提供了一种图像解码方法，包括：接收比特流，该比特流包括：输入图像的多个颜色分量图像的每一个的第一残余块，该第一残余块对应于在每个颜色分量图像的输入像素块与预测像素块之间的差，以及颜色分量图像之中的不包括第一颜色分量图像的至少一个剩余颜色分量图像的每一个的第三残余块，该第三残余块对应于在使用第一颜色分量图像的第一残余块预测的所述至少一个剩余颜色分量图像的每一个的第二残余块、与所述至少一个剩余颜色分量图像的每一个的第一残余块之间的差；对第一颜色分量图像的第一残余块和所述至少一个剩余颜色分量图像的每一个的第三残余块进行解码；通过使用第一颜色分量图像的已解码的第一残余块来预测所述至少一个剩余颜色分量图像的每一个的残余，而生成所述至少一个剩余颜色分量图像的每一个的第二残余块；通过将已生成的第二残余块和已解码的第三残余块相加，来重构至所述少一个剩余颜色分量图像的每一个的第一残余块；以及通过将每个颜色分量图像的预测像素块和第一残余块相加，来重构颜色分量图像的像素块。

根据本发明的又一方面，提供了一种图像解码设备，包括：解码单元，其接收比特流，该比特流包括：输入图像的多个颜色分量图像的每一个的第一残余块，该第一残余块对应于在每个颜色分量图像的输入像素块与预测像素块之间的差；以及颜色分量图像之中的不包括第一颜色分量图像的至少一个剩余颜色分量图像的每一个的第三残余块，该第三残余块对应于在使用第一颜色分量图像的第一残余块预测的所述至少一个剩余颜色分量图像的每一个的第二残余块、与所述至少一个剩余颜色分量图像的每一个的第一残余块之间的差，并且该解码单元对第一颜色分量图像的第一残余块和至少一个剩余颜色分量图像的每一个的第三残余块进行解码；残余生成单元，用于通过使用第一颜色分量图像的已解码的第一残余块预测至少一个剩余颜色分量图像的每一个的残余，来生成至少一个剩余颜色分量图像的每一个的第二残余块，并通过将至少一个剩余颜色分量图像的每一个的已生成的第二残余块和已解码的第三残余块相加，来重构至少一个剩余颜色分量图像的每一个的第一残余块；以及重构单元，通过将每个颜色分量图像的预测像素块和第一残余块相加，来重构颜色分量图像的像素块。

发明模式

下文中，将参考附图详细描述本发明的示范实施例。

将定义用于说明本发明的示范实施例的术语。

将残余定义为在原始输入图像与预测图像之间的差。当彩色图像包括R颜色分量图像、G颜色分量图像和B颜色分量图像时，颜色分量图像的残余ΔR、ΔG、和ΔB定义如下：

[数学式1]

ΔR＝R-R_p

ΔG＝G-G_p

ΔB＝B-B_p                   (1)

在等式(1)中，R、G和B代表颜色分量的原始输入图像，而R_p、G_p和B_p代表颜色分量的预测图像。

第一残余块被定义为其像素包括原始输入块和预测块之间的差的块。实际上，第一残余块等同于现有技术中的残余块。

第二残余块被定义为从根据本发明示范实施例的第一颜色分量图像的已重构的第一残余块来预测其像素的块。

第三残余块被定义为其像素包括第一残余块和第二残余块之间的差的块。

图1A到图1C分别图示了单一彩色图像的R颜色分量图像、G颜色分量图像、和B颜色分量图像，图2A是示出了在图1B的G颜色分量图像与图1C的B颜色分量图像之间的相关性的图，以及图2B是示出了在图1A的R颜色分量图像与图1B的G颜色分量图像之间的相关性的图。

通常，当对彩色图像进行编码时，对每个颜色分量图像执行预测编码，以去除每个颜色分量中的冗余信息。参考图1A至1C，相同位置上的单一彩色图像的RGB颜色分量图像的像素具有类似的像素值，这也可以从图2A和图2B图示的图中看出。此外，当对每个R、G和B颜色分量执行时间或空间预测编码时，R、G和B颜色分量的残余高度相关。这样，使用颜色分量图像的残余之间的相关性来消除残余之间的冗余信息，从而显著地改善压缩效率。

基于上述事实，本发明提供了一种图像编码/解码方法和设备，其中在多个颜色分量图像之中的第一颜色分量图像的残余被用于预测剩余的颜色分量图像的残余，并且代替象现有技术中那样对剩余颜色分量图像的残余进行编码，仅仅对剩余颜色分量图像的预测残余与剩余颜色分量图像的原始残余之间的差进行编码。

下文中，将描述根据本发明示范实施例的对RGB 4:4:4域中的图像进行编码/解码的方法和设备。接下来的描述集中在对当前帧中的单一宏块进行编码。为了描述方便，假设按照G颜色分量图像、B颜色分量图像和R颜色分量图像的顺序执行编码，但是并不限于该顺序。

图3是根据本发明示范实施例的图像编码设备的框图。尽管为了说明方便而假设该图像编码设备遵照H.264标准，但是其还可应用到用于执行残余编码的其它图像编码设备。

参考图3，根据本发明示范实施例的图像编码设备300包括预测像素块生成单元310、残余生成单元320、变换/量化单元330、熵编码单元340、去量化/逆变换单元350、和重构单元360。

预测像素块生成单元310以具有预定尺寸的输入像素块为单位对输入图像的每个颜色分量图像执行帧内或帧间预测。这里，根据例如H.264标准或者其它修改的帧内或帧间预测方法的预测可用于帧内或帧间预测。

残余生成单元320通过计算在输入像素块与在预测像素块生成单元310中生成的每个颜色分量图像的预测像素块之间的差，来生成颜色分量图像的第一残余块。残余生成单元320还通过使用第一颜色分量图像的已重构的第一残余块来预测剩余颜色分量图像的残余，以生成第二残余块。此外，残余生成单元320生成作为在剩余颜色分量块的第一和第二残余块之间的差的第三残余块。

图4是图3中的残余生成单元320的详细框图。

参考图4，残余生成单元320包括第一残余块生成部分321、第二残余块生成部分322和第三残余块生成部分323。

第一残余块生成部分321通过计算在输入像素块与在预测像素决生成单元310中生成的每个颜色分量图像的预测像素块之间的差，来生成颜色分量图像的第一残余决。例如，第一残余生成单元320通过计算在R、G和B颜色分量图像的每一个的输入像素块与预测像素块之间的差，来生成G颜色分量图像的第一残余块、B颜色分量图像的第一残余块和R颜色分量图像的第一残余块。

第二残余块生成部分322使用第一颜色分量图像的已重构的第一残余块，来生成剩余的颜色分量图像的第二残余块。

如上所述，使得构成单一彩色图像的颜色分量图像的残余相关，并可以使用一阶函数来对其进行建模。第二残余块生成部分322通过使用第一颜色分量图像的已重构的第一残余块的被用作参数的残余值以及通过线性建模处理生成的预测值(predictor)来预测剩余的颜色分量图像的残余，而生成剩余的颜色分量图像的第二残余块。例如，假设第一颜色分量图像是G颜色分量图像，第二残余块生成部分322通过使用已经由变换/量化单元330进行变换和量化并且由去量化/逆变换单元350进行去量化和逆变换的G颜色分量图像的已重构的第一残余块来预测B和R颜色分量图像的残余块，而生成B和R颜色分量图像的每一个的第二残余块。后面将描述用于使用第一颜色分量图像的第一残余块来预测剩余的颜色分量图像的残余块的线性建模处理。

第三残余块生成部分323通过计算在剩余的颜色分量图像的第一和第二残余块之间的差来生成第三残余块。

如上所述，在颜色分量图像的残余块之中的第一颜色分量图像的第一残余块被变换、量化和熵编码。然而，对于除第一颜色分量图像之外的剩余颜色分量图像，对作为剩余颜色分量图像的第一和第二残余块之间的差的第三残余块而不是对第一残余块进行编码。剩余颜色分量图像的第三残余块小于与原始残余块对应的第一残余块，使得可以向剩余颜色分量图像的残余块分配较少量的比特，从而改善了编码效率。

变换/量化单元330对第一颜色分量图像的第一残余块和在残余生成单元320中生成的剩余颜色分量图像的第三残余块进行变换和量化。熵编码单元340对变换且量化后的残余块进行熵编码，并输出比特流。正交变换编码可用于变换。通常使用的正交变换编码方法包括快速傅立叶变换(FFT)、离散余弦变换(DCT)、Karhunen-Loeve变换(KLT)、哈得曼(Hadamard)变换、斜变换等。

去量化/逆变换单元350对已经通过变换/量化单元330变换和量化的第一颜色分量图像的第一残余块进行去量化和逆变换，并将已去量化且逆变换后的第一残余块输出到残余生成单元320，以允许生成作为剩余颜色分量图像的预测残余块的第二残余块。

重构单元360通过相加由预测像素块生成单元310生成的每个颜色分量图像的预测像素块和每个颜色分量图像的第一残余块来重构每个颜色分量图像的像素块。这里，剩余颜色分量图像的第一残余块可以是在残余生成单元320中生成的剩余颜色分量图像的第一残余块、或者是对在残余生成单元320中生成的剩余颜色分量图像的第二残余块和在去量化/逆变换单元350中重构的剩余颜色分量图像的第三残余块进行相加的结果。在重构单元360中重构的每个颜色分量图像的像素块被输入到预测像素块生成单元310，以用于另一像素块的预测编码。

图5是根据本发明示范实施例的图像编码方法的流程图。下文中，将参考图3到图5来描述根据本发明示范实施例的图像编码设备和图像编码方法的操作。

在操作510中，第一残余块生成部分321通过计算在形成输入彩色图像的每个颜色分量图像的具有预定尺寸的输入像素块、与在预测像素块生成单元310中生成的每个颜色分量图像的预测像素块之间的差，来生成每个颜色分量图像的第一残余块。

在操作520中，通过变换、量化并然后熵编码，来对在颜色分量图像的第一残余块之中的第一颜色分量图像的第一残余块进行编码。

在操作530中，通过去量化和逆变换来重构第一颜色分量图像的已变换和量化后的第一残余块。

在操作540中，第二残余块生成部分322使用第一颜色分量图像的已重构的第一残余块，来生成剩余颜色分量图像的第二残余块。下文中，假设输入图像包括R、G和B颜色分量图像，并且G、B和R颜色分量图像被依次编码，将详细描述使用G颜色分量图像的已重构的第一残余块来预测B和R颜色分量图像的第二残余块的处理。

图6A图示了G颜色分量图像的16×16第一残余块，图6B图示了B颜色分量图像的16×16第一残余块，以及图6C图示了R颜色分量图像的16×16第一残余块。这里，g_i，j、b_i，j和r_i，j指明在各个G、B和R颜色分量图像的16×16像素块的第i行和第j列中的第一残余值。在图6A到6C中，有阴影线的残余指明在当前残余块之前处理的相邻残余块的已重构的残余。

假设g′_i，j示在G颜色分量图像的已重构的第一残余块的第i行和第j列中的残余值，

表示在B颜色分量图像的第一残余块像素块的第i行和第j列中与g′_i，j对应的预测残余值，a表示预定的权重，而b表示预定的偏移值。第二残余块生成部分322将在G颜色分量图像的已重构的第一残余块与B颜色分量图像的第一残余块之间的相关性建模为用下面的等式2表达的一阶函数。第二残余块生成部分322使用在G颜色分量图像的已重构的第一残余块中的残余值g′_i，j作为参数，来生成在B颜色分量图像的第一残余块中的残余的预测残余值

[数学式2]

$\stackrel{\‾}{b_{i,j}}=a\×g_{i,j}^{\′}+b---\left(2\right)$

如上所述，具有使用等式(2)获得的预测残余值的B颜色分量图像的残余块被定义为B颜色分量图像的第二残余块。使用等式(2)获得的B颜色分量图像的预测残余值(即，第二残余块的残余值)被截短(clip)为-255与255之间的整数。等式(2)中的a和b可根据像素的位置(i，j)改变，并且在本发明的示范实施例中被假设为在预定块内的常数。

等式(2)中的a和b可被确定为G颜色分量图像的已重构的相邻残余块的残余值和B颜色分量图像的已重构的相邻残余块的残余值的函数，如等式(3)和(4)所示。

[数学式3]

a＝m(g_-1，0′，…，g_-1，15′，g_0，-1′，…，g_15，-1′，b_-1，0′，…，b_-1，15′，b_0，-1′，…，b_15，-1′)   (3)

[数学式4]

b＝h(g_-1，0′，…，g_-1，15′，g_0，-1′，…，g_15，-1′，b_-1，0′，…，b_-1，15′，b_0，-1′，…，b_15，-1′)   (4)

等式(2)中的a和b可以以各种方式来定义。例如，可通过将在统计领域中广泛使用的线性回归模型应用到G颜色分量图像的已重构的相邻残余块和B颜色分量图像的对应已重构的相邻残余块的一对残余中，来确定满足等式(2)的a和b。

作为另一示例，满足等式(2)的a和b可被确定为使在B颜色分量图像的相邻像素块的预测残余值与B颜色分量图像的已重构的相邻残余块的残余值之间的差最小化的值，其中该B颜色分量图像的相邻像素块的预测残余值是通过将G颜色分量图像的已重构的相邻残余块的残余值替代到等式(2)而获得的。作为另一示例，a可被确定为1，而可以使用下面的等式(5)将b确定为在B颜色分量图像的已重构的相邻像素块的残余值与G颜色分量图像的已重构的相邻像素块的残余值之间的差的平均值：

[数学式5]

$b=\frac{\underset{i=0}{\overset{15}{\mathrm{\Σ}}}(b_{-1,i}^{\′}-g_{-1,i}^{\′})+\underset{j=0}{\overset{15}{\mathrm{\Σ}}}(b_{j,-1}^{\′}-g_{j,-1}^{\′})}{32}---\left(5\right)$

在上述示例中，与当前残余块相邻的已重构的相邻残余块的残余值用于确定满足等式(2)的a和b。用于确定满足等式(2)的a和b的相邻残余块的残余值可包括至少一个相邻残余块的残余值，所述至少一个相邻残余块包括与当前残余块的上边或左边相邻的残余块。

图7A图示了根据本发明示范实施例的图像编码方法和设备中的8×8像素块的处理顺序，而图7B图示了根据本发明示范实施例的图像编码方法和设备中的4×4像素块的处理顺序。

第二残余块生成部分322可通过将16×16残余块划分为8×8残余块或4×4残余块来生成剩余颜色分量图像的第二残余块。

参考图7A，当以8×8块为单位处理B颜色分量图像的残余块时，B颜色分量图像的8×8残余块被从左到右从上到下依次预测。尽管块尺寸已经改变，但是可以以与预测B颜色分量图像的16×16第一残余块的残余值的上述处理类似的方式、使用等式2来预测B颜色分量图像的8×8第一残余块的残余值。例如，a可确定为1，而b可以确定为如下的在B颜色分量图像的已重构的相邻残余块的残余值与G颜色分量图像的已重构的相邻残余块的残余值之间的差的平均值：

[数学式6]

$b=\frac{\underset{i=0}{\overset{7}{\mathrm{\Σ}}}(b_{-1,i}^{\′}-g_{-1,i}^{\′})+\underset{j=0}{\overset{7}{\mathrm{\Σ}}}(b_{j,-1}^{\′}-g_{j,-1}^{\′})}{16}---\left(8\right)$

参考图7B，当以4×4块为单位处理B颜色分量图像的残余块时，B颜色分量图像的十六个4×4残余块被从左到右从上到下依次预测。可以以与通过预测B颜色分量图像的16×16第一残余块或8×8第一残余块生成第二残余块的上述处理类似的方式、使用等式2来预测B颜色分量图像的每个4×4残余块的残余值。例如，等式2的a可被确定为1，而等式2的b可以被确定为如下面的等式(10)中的在B颜色分量图像的已重构的相邻残余块的残余值与G颜色分量图像的已重构的相邻残余块的残余值之间的差的平均值：

[数学式7]

$b=\frac{\underset{i=0}{\overset{3}{\mathrm{\Σ}}}(b_{-1,i}^{\′}-g_{-1,i}^{\′})+\underset{j=0}{\overset{3}{\mathrm{\Σ}}}(b_{j,-1}^{\′}-g_{j,-1}^{\′})}{8}---\left(10\right)$

如上所述，当以如上所述的各种方式确定了等式(2)的a和b时，可通过将G颜色分量图像的已重构的第一残余块的残余值替代到等式(2)中，来生成B颜色分量图像的第二残余块。

如上所述，可以以16×16块、8×8块、或4×4块为单位来生成B颜色分量图像的第二残余块。作为适应的示例，可以以三个块模式之一中的块为单位执行每个宏块的预测。

接下来，可以以与生成B颜色分量图像的第二残余块的上述处理类似的方式，使用G颜色分量图像的第一残余块的残余值来预测R颜色分量图像的第二残余块的残余值。

返回参考图5，当在操作540中生成剩余颜色分量图像(即B和R颜色分量图像)的第二残余块时，在操作550中，第三残余块生成部分323通过计算在对应的颜色分量图像的第一残余块和第二残余块之间的差，来生成剩余颜色分量图像的每一个的第三残余块。例如，第三残余块生成部分323通过从B颜色分量图像的第一残余块中减去B颜色分量图像的第二残余块，来生成B颜色分量图像的第三残余块，并通过从R颜色分量图像的第一残余块中减去R颜色分量图像的第二残余块，来生成R颜色分量图像的第三残余块。

在操作560中，剩余颜色分量图像的第三残余块被变换、量化和熵编码，并作为比特流输出。

此外，当生成R颜色分量图像的第二残余块时，第二残余块生成部分322可使用预先处理的B颜色分量图像的已重构的第一残余块(代替使用G颜色分量图像的已重构的第一残余块)，来生成R颜色分量图像的第二残余块。换言之，在通过将B颜色分量图像的已重构的第三残余块和根据G颜色分量图像的已重构的第一残余块预测的B颜色分量图像的第二残余块相加而重构了B颜色分量图像的第一残余块之后，可以以与生成B颜色分量图像的第二残余块的上述处理类似的方式、使用B颜色分量图像的已重构的第一残余块来生成R颜色分量图像的第二残余块。

特别地，假设b′_i，j表示在B颜色分量图像的已重构的像素块的第i行和第j列中的像素的残余值，表示在R颜色分量图像的残余块的第i行和第j列中的像素的与b′_i，j对应的预测值，并且c表示预定的权重，而d表示预定的偏移值，第二残余块生成部分322通过将B颜色分量图像的已重构的残余值替代到下面的等式(11)中，来预测R颜色分量图像的对应残余值。

[数学式8]

$\stackrel{\‾}{r_{i,j}}=c\×b_{i,j}^{\′}+d---\left(11\right)$

等式(11)中的c和d可以以与用于确定a和b的方式类似的方式来确定。具有使用等式(11)获得的预测残余值[数学式9]

的R颜色分量图像的残余块形成R颜色分量图像的第二残余块。第三残余块生成部分323通过计算在R颜色分量图像的第一和第二残余块之间的差，来生成第三残余块。

根据本发明示范实施例的使用上述图像编码方法编码的彩色图像的比特流包括第一颜色分量图像的已编码的第一残余块信息和剩余颜色分量图像的第三残余块信息。此外，已编码的比特流可包括预测值信息，例如用于生成第二残余决的等式(2)的a和b或者等式(11)的c和d。然而，当在解码单元中以与在编码单元中使用的相同的方式使用已重构的相邻像素块信息来生成等式(2)的a和b或者等式(11)的c和d时，不需要将a和b或者c和d插入到比特流中。

在解码单元中，可通过对第一颜色分量图像的第一残余块进行解码、并将已解码的第一残余块与第一颜色分量图像的预测像素块相加，来重构第一颜色分量图像的像素块。当对剩余的颜色分量图像进行解码时，在通过将已经使用第一颜色分量图像的预先解码的第一残余块预测的剩余颜色分量图像的第二残余块、与已解码的第三残余块相加来重构剩余颜色分量图像的第一残余块之后，将剩余颜色分量图像的已解码的第一残余块与剩余颜色分量图像的预测像素块相加，从而重构了剩余颜色分量图像的像素块。

图8是根据本发明示范实施例的图像解码设备的框图。

参考图8，根据本发明示范实施例的的图像解码设备800包括熵解码单元810、去量化/逆变换单元820、残余生成单元830、预测像素块生成单元840、和重构单元850。

熵解码单元810接收比特流并对该比特流执行熵解码。去量化/逆变换单元820执行去量化和逆变换，以便提取每个颜色分量图像的残余信息、运动矢量信息和预测模式信息。

根据本发明示范实施例的已编码的彩色图像的比特流中包括的残余信息可包括第一颜色分量图像的已编码的第一残余块信息以及其它颜色分量图像的第三残余块信息。此外，预测模式信息可包括根据本发明示范实施例的指明是否已经对比特流进行编码的预定语法、以及用于为剩余颜色分量图像的第二残余块的预测生成第二残余块的预测值信息。例如，预测模式信息可包括上述的等式(2)和(11)的常数。

预测像素块生成单元840使用包括在比特流中的预测模式信息来生成每个颜色分量图像的具有预定尺寸的像素块的预测像素块。换言之，预测像素块生成单元840根据当前像素块的预测模式来执行帧间预测或帧内预测，以生成当前像素块的预测像素块。

残余生成单元830通过使用从去量化/逆变换单元820输出的第一颜色分量图像的已解码的第一残余块而预测剩余颜色分量图像的残余，来生成剩余颜色分量图像的第二残余块。这里，生成剩余颜色分量图像的第二残余块的处理与在图4的第二残余块生成部分322中生成第二残余块的处理相同，并因此这里将不重复其详细描述。当生成剩余颜色分量图像的第二残余块时，残余生成单元830通过将剩余颜色分量图像的第二残余决和已解码的第三残余块相加，来对剩余颜色分量图像的第一残余块进行解码。如果使用第二颜色分量图像的已重构的第一残余块预测第三颜色分量图像的第三残余块，则残余生成单元830通过将第二颜色分量的已重构的第二残余块的残余值替代到等式(11)，来生成第三颜色分量图像的第二残余块，并通过将第三颜色分量图像的已生成的第二残余块和已解码的第三残余块相加，来对第三颜色分量图像的第一残余块进行解码。

重构单元850通过将所生成的剩余颜色分量图像的第一颜色分量图像与在预测像素块生成单元840中生成的剩余颜色分量图像的预测像素块相加，来重构剩余颜色分量图像的像素块。对于第一颜色分量图像，可通过对包括在比特流中的第一残余块进行解码、并将已解码的第一残余块与在预测像素块生成单元840中生成的第一颜色分量图像的预测像素块相加，来对第一颜色分量图像的像素块进行解码，而没有附加的第二残余块预测处理。

图9是图示了根据本发明示范实施例的图像解码方法的流程图。

参考图9，在操作910中，对包括在比特流中的第一颜色分量图像的第一残余块和剩余颜色分量图像的第三残余块进行解码。

在操作920中，使用第一颜色分量图像的已解码的第一残余块生成剩余颜色分量图像的第二残余块。如上所述，可通过将第一颜色分量图像的已解码的第一残余块的残余值替代到等式(2)中，来生成剩余颜色分量图像的第二残余块。

在操作930中，通过将剩余颜色分量图像的第二残余块与剩余颜色分量图像的已解码的第三残余块相加，来重构剩余颜色分量图像的第一残余块。

在操作940中，通过将每个颜色分量图像的预测像素块和第一残余相加，来重构每个颜色分量图像的像素块。对构成帧的每个像素块执行上述处理，以对所有的颜色分量图像进行解码。

本发明还可以实施为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可以存储此后可由计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质还可以分布在耦接的计算机系统的网络上，从而以分散的方式来存储并执行计算机可读代码。

如上所述，根据本发明的示范实施例，使用构成单一图像的多个颜色分量图像之间的相关性来执行预测编码，从而改善编码效率。

此外，根据本发明的示范实施例，在RGB域中对RGB输入图像执行编码，而不变换到YUV域，从而防止在RGB图像变换到另一颜色格式期间的颜色失真，并从而改善显示质量。

尽管已经参考本发明的示范实施例而具体示出并描述了本发明，但是本领域的技术人员将理解，可以在其中进行形式和细节上的各种改变，而不脱离由所附权利要求所限定的本发明的精神和范围。所述示范实施例应该被仅仅认为是描述意义，而不是为了限制的目的。因此，本发明的范围不是由本发明的示范实施例的详细描述限定，而是由所附权利要求限定，并且在所述范围内的所有差异都将被解释为包括在本发明中。

Claims (22)

1.一种图像编码方法，包括：

生成输入图像的多个颜色分量图像的每一个的第一残余块，该第一残余块对应于每个颜色分量图像的输入像素块与预测像素块之间的差；

对颜色分量图像之中的第一颜色分量图像的第一残余块进行编码；

重构第一颜色分量图像的已编码的第一残余块；

通过使用第一颜色分量图像的已重构的第一残余块预测不包括第一颜色分量图像的至少一个剩余颜色分量图像的每一个的残余，来生成所述至少一个剩余颜色分量图像的每一个的第二残余块；以及

通过计算在所述至少一个剩余颜色分量图像的每一个的第一和第二残余块之间的差，来生成所述至少一个剩余颜色分量图像的每一个的第三残余块，

其中所述颜色分量图像包括红颜色分量图像、绿颜色分量图像和蓝颜色分量图像，

其中所述生成不包括第一颜色分量图像的至少一个剩余颜色分量图像的每一个的第二残余块的步骤是通过利用第一颜色分量图像的已重构的第一残余块的残余值与该剩余颜色分量图像的残余之间的线性相关性预测该剩余颜色分量图像的残余来执行。

2.根据权利要求1的图像编码方法，其中所述生成输入图像的多个颜色分量图像的每一个的第一残余块的步骤包括：通过以块为单位对每个颜色分量图像执行帧间预测和帧内预测中的至少一个，来生成每个颜色分量图像的输入像素块的预测像素块。

3.根据权利要求1的图像编码方法，其中所述生成不包括第一颜色分量图像的至少一个剩余颜色分量图像的每一个的第二残余块的步骤通过使用下面的等式计算预测残余值 

来执行：

[数学式10]

其中i和j分别是第一颜色分量图像的已重构的第一残余块的行指标和列指标，X′_i，j表示在第一颜色分量图像的已重构的第一残余块的第i行第j列处的像素的残余值， 

表示至少一个剩余颜色分量图像的每一个的第二残余块的 对应于X′_i，j的预测残余值，a表示预定权重，而b表示预定的偏移值。

4.根据权利要求3的图像编码方法，其中a和b是使用第一颜色分量图像的已重构的相邻残余像素和所述至少一个剩余颜色分量图像的每一个的已重构的相邻残余像素、基于线性回归模型来确定的。

5.根据权利要求3的图像编码方法，其中a为1，而b是在所述至少一个剩余颜色分量图像的每一个的已重构的相邻残余像素的残余值与第一颜色分量图像的已重构的相邻残余像素的残余值之间的差的平均值。

6.根据权利要求1的图像编码方法，其中所述生成不包括第一颜色分量图像的至少一个剩余颜色分量图像的每一个的第二残余块的步骤包括：使用第一颜色分量图像的已重构的第一残余块来生成在剩余颜色分量图像之中的第二颜色分量图像的第二残余块；以及

使用从第二颜色分量图像的已编码的第一残余块重构的第二颜色分量图像的第一残余块，来生成在剩余颜色分量图像之中的第三颜色分量图像的第二残余块。

7.一种图像编码设备，包括：

预测像素块生成单元，用于生成构成输入图像的多个颜色分量图像的每一个的输入像素块的预测像素块；

残余生成单元，用于：

生成每一颜色分量图像的第一残余块，该第一残余块对应于在所述每一颜色分量图像的输入像素块与预测像素块之间的差；

通过使用第一颜色分量图像的已重构的第一残余块来预测颜色分量图像中的不包括第一颜色分量图像的至少一个剩余颜色分量图像的每一个的残余，而生成所述至少一个剩余颜色分量图像的每一个的第二残余块；和

生成所述至少一个剩余颜色分量图像的每一个的第三残余块，其对应于在所述至少一个剩余颜色分量图像的每一个的第一和第二残余块之间的差；以及

编码单元，用于对所生成的残余块进行编码，

其中所述颜色分量图像包括红颜色分量图像、绿颜色分量图像和蓝颜色分量图像，

其中所述生成不包括第一颜色分量图像的至少一个剩余颜色分量图像 的每一个的第二残余块的步骤是通过利用第一颜色分量图像的已重构的第一残余块的残余值与该剩余颜色分量图像的残余之间的线性相关性预测该剩余颜色分量图像的残余来执行。

8.根据权利要求7的图像编码设备，其中该预测像素块生成单元通过以块为单位对每个颜色分量图像执行帧间预测和帧内预测中的至少一个，来生成每个颜色分量图像的输入像素块的预测像素块。

9.根据权利要求7的图像编码设备，其中该残余生成单元通过使用下面的等式计算预测残余值 

来生成所述至少一个剩余颜色分量图像的每一个的第二残余块：

[数学式11]

其中i和j分别是第一颜色分量图像的已重构的第一残余块的行指标和列指标，X′_i，j表示在第一颜色分量图像的已重构的第一残余块的第i行第j列处的像素的残余值， 

表示所述至少一个剩余颜色分量图像的每一个的第二残余块的对应于X′_i，j的预测残余值，a表示预定权重，而b表示预定的偏移值。

10.根据权利要求9的图像编码设备，其中a和b是使用第一颜色分量图像的已重构的相邻残余像素和所述至少一个剩余颜色分量图像的每一个的已重构的相邻残余像素、基于线性回归模型而确定的。

11.根据权利要求9的图像编码设备，其中a为1，而b是在所述至少一个剩余颜色分量图像的每一个的已重构的相邻残余像素的残余值与第一颜色分量图像的已重构的相邻残余像素的残余值之间的差的平均值。

12.根据权利要求7的图像编码设备，其中该残余生成单元：

使用第一颜色分量图像的已重构的第一残余块，来生成在剩余颜色分量图像之中的第二颜色分量图像的第二残余块；以及

使用从第二颜色分量图像的已编码的第一残余块重构的第二颜色分量图像的第一残余块，来生成在剩余颜色分量图像之中的第三颜色分量图像的第二残余块。

13.一种图像解码方法，包括如下操作：

接收比特流，该比特流包括：

输入图像的多个颜色分量图像的每一个的第一残余块，该第一残余块对应于在每个颜色分量图像的输入像素块与预测像素块之间的差；以及 

颜色分量图像之中的不包括第一颜色分量图像的至少一个剩余颜色分量图像的每一个的第三残余块，该第三残余块对应于在使用第一颜色分量图像的第一残余块预测的所述至少一个剩余颜色分量图像的每一个的第二残余块、与所述至少一个剩余颜色分量图像的每一个的第一残余块之间的差；

对第一颜色分量图像的第一残余块和所述至少一个剩余颜色分量图像的每一个的第三残余块进行解码；

通过使用第一颜色分量图像的已解码的第一残余块来预测所述至少一个剩余颜色分量图像的每一个的残余，而生成所述至少一个剩余颜色分量图像的每一个的第二残余块；

通过将已生成的第二残余块和已解码的第三残余块相加，来重构所述至少一个剩余颜色分量图像的每一个的第一残余块；以及

通过将每个颜色分量图像的预测像素块和第一残余块相加，来重构颜色分量图像的像素块，

其中所述颜色分量图像包括红颜色分量图像、绿颜色分量图像和蓝颜色分量图像，

其中所述生成不包括第一颜色分量图像的至少一个剩余颜色分量图像的每一个的第二残余块的步骤是通过利用第一颜色分量图像的已重构的第一残余块的残余值与该剩余颜色分量图像的残余之间的关联线性相关性该剩余颜色分量图像的残余来执行。

14.根据权利要求13的图像解码方法，其中所述生成所述至少一个剩余颜色分量图像的每一个的第二残余块的步骤通过使用下面的等式计算预测残余值 

来执行：

[数学式12]

其中i和j分别是第一颜色分量图像的已解码的第一残余块的行指标和列指标，X′_i，j表示在第一颜色分量图像的已解码的残余块的第i行第j列处的像素的残余值， 

表示所述至少一个剩余颜色分量图像的每一个的第二残余块的对应于X′_i，j的预测残余值，a表示预定权重，而b表示预定的偏移值。

15.根据权利要求14的图像解码方法，其中a和b是使用第一颜色分量图像的已解码的相邻残余像素和所述至少一个剩余颜色分量图像的每一 个的已解码的相邻残余像素、基于线性回归模型而确定的。

16.根据权利要求14的图像解码方法，其中a为1，而b是在所述至少一个剩余颜色分量图像的每一个的已解码的相邻残余像素的残余值与第一颜色分量图像的已解码的相邻残余像素的残余值之间的差的平均值。

17.根据权利要求13的图像解码方法，其中所述生成所述至少一个剩余颜色分量图像的每一个的第二残余块的步骤包括：

使用第一颜色分量图像的已解码的第一残余块，来生成颜色分量图像之中的第二颜色分量图像的第二残余块；以及

使用第二颜色分量图像的已解码的第一残余块，来生成颜色分量图像之中的第三颜色分量图像的第二残余块。

18.一种图像解码设备，包括：

解码单元，用于

接收比特流，该比特流包括：

输入图像的多个颜色分量图像的每一个的第一残余块，该第一残余块对应于在每个颜色分量图像的输入像素块与预测像素块之间的差；以及

颜色分量图像之中的不包括第一颜色分量图像的至少一个剩余颜色分量图像的每一个的第三残余块，该第三残余块对应于在使用第一颜色分量图像的第一残余块预测的所述至少一个剩余颜色分量图像的每一个的第二残余块、与所述至少一个剩余颜色分量图像的每一个的第一残余块之间的差；并且

对第一颜色分量图像的第一残余块和所述至少一个剩余颜色分量图像的每一个的第三残余块进行解码；

残余生成单元，用于：

通过使用第一颜色分量图像的已解码的第一残余块来预测所述至少一个剩余颜色分量图像的每一个的残余，而生成所述至少一个剩余颜色分量图像的每一个的第二残余块；并

通过将所述至少一个剩余颜色分量图像的每一个的已生成的第二残余块和已解码的第三残余块相加，来重构所述至少一个剩余颜色分量图像的每一个的第一残余块；以及

重构单元，通过将每个颜色分量图像的预测像素块和第一残余块相加， 来重构颜色分量图像的像素块，

其中所述颜色分量图像包括红颜色分量图像、绿颜色分量图像和蓝颜色分量图像，

其中所述生成不包括第一颜色分量图像的至少一个剩余颜色分量图像的每一个的第二残余块的步骤是通过利用第一颜色分量图像的已重构的第一残余块的残余值与该剩余颜色分量图像的残余之间的线性相关性预测该剩余颜色分量图像的残余来执行。

19.根据权利要求18的图像解码设备，其中该残余生成单元通过使用下面的等式计算预测残余值 

来生成剩余颜色分量图像的第二残余块：

[数学式13]

其中i和j分别是第一颜色分量图像的已解码的第一残余块的行指标和列指标，X′_i，j表示在第一颜色分量图像的已解码的残余块的第i行第j列处的像素的残余值， 

表示所述至少一个剩余颜色分量图像的每一个的第二残余块的对应于X′_i，j的预测残余值，a表示预定权重，而b表示预定的偏移值。

20.根据权利要求19的图像解码设备，其中a和b是使用第一颜色分量图像的已解码的相邻残余像素和所述至少一个剩余颜色分量图像的每一个的已解码的相邻残余像素、基于线性回归模型而确定的。

21.根据权利要求19的图像解码设备，其中a为1，而b是在所述至少一个剩余颜色分量图像的每一个的已解码的相邻残余像素的残余值与第一颜色分量图像的已解码的相邻残余像素的残余值之间的差的平均值。

22.根据权利要求18的图像解码设备，其中该残余生成单元：

使用第一颜色分量图像的已解码的第一残余块，来生成颜色分量图像之中的第二颜色分量图像的第二残余块；并

使用第二颜色分量图像的已解码的第一残余块，来生成颜色分量图像之中的第三颜色分量图像的第二残余块。 

Images