CN101527848A - 图像编码设备 - Google Patents

Abstract

本发明涉及一种图像编码设备。目的在于提供一种在防止电路规模有任何增大的同时高效地执行预测误差计算处理的技术。根据本发明的编码设备包括：确定单元，其确定编码对象像素块的大小；多个预测值计算单元；第一误差计算单元，其基于在使用一个参考像素值的预测模式中的来自预测值计算单元的预测值，计算所确定的像素块大小中的预测误差；第二误差计算单元，其基于在用于基于多个参考像素值计算预测值的预测模式中的来自预测值计算单元的预测值，计算所确定的像素块大小中的预测误差；以及基于来自第一误差计算单元和第二误差计算单元的预测误差的总和确定预测模式的单元。

Description

图像编码设备

技术领域

本发明涉及一种图像编码设备。

背景技术

在压缩运动图像时，通常将图像数据划分成亮度成分和色差成分，并对各成分进行编码。国际标准技术还将运动图像划分成亮度成分和色调成分，并对各成分进行编码。

首先，不参考其它图片而单独对给定的图片(帧)进行编码。通过参考该图片，使用运动预测和补偿对随后在一段时间输入的图片进行预测编码。将没有参考其它图片而进行的编码称为帧内编码(intra-coding)。将通过参考其它图片使用运动预测和补偿进行的编码称为帧间编码(inter-coding)。

在帧内编码或帧间编码时，通过进行DCT(Discrete CosineTransformation，离散余弦变换)、量化和熵编码(entropy-coding)对任意图像数据进行有损压缩(有损编码)。在帧内编码时，不参考其它图片而在图片内使用预测编码(帧内预测编码)。

已知利用由ISO/IEC(International Organization forStandardization/International Electrotechnical Commission，国际标准化组织/国际电工委员会)推荐的MPEG(Motion PictureExperts Group，运动图像专家组)-4和ITU-T(InternationalTelecommunication Union-Telecommunication Standardization，国际电信联盟远程通信标准化组)的H.263+的运动图像压缩技术。根据该技术，在帧内编码的帧内预测中，设置了各自具有8个垂直像素和8个水平像素(下文中，表示为8×8像素)的块。通过DCT对各块进行变换，并对通过DCT所获得的系数进行量化。通过对邻近块的DC(Direct Current，直流)和AC(AlternationCurrent，交流)值进行预测编码来预测经量化后的DC和AC值，由此提高压缩效率。

2003年3月，ISO/IEC MPEG和ITU-T VCEG(Video CodingExperts Group，视频编码专家组)合作组织了JVT(Joint VideoTeam，视频联合工作组)并推荐了新的视频编码标准。在ISO/IEC推荐中将该标准命名为MPEG-4 Part10/AVC(AdvancedVideo Coding，高级视频编码)。在ITU-T中，已知为H.264。该推荐包括使用帧内预测编码进行帧内编码的压缩技术。该技术使用帧内预测编码方法和大小在亮度成分与色差成分之间变化的块。在每个4×4像素块或16×16像素块中预测亮度成分。根据4×4像素块的预测方向定义了9种预测方法，并且根据16×16像素块的预测方向定义了4种预测方法(例如，″Fast ModeDecision for Intra Prediction″，JVT-G013，7-14 March 2003)。各个块中的预测方向一一对应地与被称为预测模式的编号相关联。

图3示出当对4×4像素块进行编码时预测模式和预测方向之间的关系。4×4像素块的预测模式由编号0～8表示。预测方向编号“2”表示平均值预测。

图4示出4×4像素块。一个单元(cell)表示一个像素。大写字母A、B、C、...表示参考像素值，并且小写字母a、b、c、...表示关注块中的编码对象像素。设P(A)、P(B)、P(C)、...为参考像素值A、B、C、...的亮度值，并设Pred(a)、Pred(b)、Pred(c)、...为编码对象像素a、b、c、...的预测值，则以如下方式表示4×4像素块的预测模式和预测值。

注意，Pred(ALL)表示块中的全部像素(4×4＝16个像素)的预测值，并且“＞＞i”表示应当进行向右侧的i位移位运算(向低位侧的i位移位)。因此，N＞＞1表示要将值N向右侧移位1位。这等同于计算N/2¹(舍去小数点后面的部分)。N＞＞2等同于计算N/2²＝N/4(舍去小数点后面的部分)。因此，例如，“(N+1)＞＞1”等同于计算N/2，其中其小数点后面的部分被四舍五入。

4×4像素块的扫描顺序是从图像的左上角处的像素块开始的光栅扫描顺序。众所周知，基于设置在左上角处的原点(0，0)，使用沿水平向右方向的x坐标和沿垂直向下方向的y坐标定义图像中的像素或像素块的坐标。因此，图片的第一像素块表示位于图像的左上角处的像素块。

4×4像素块的预测模式“0”

Pred(a)＝Pred(e)＝Pred(i)＝Pred(m)＝P(A)

Pred(b)＝Pred(f)＝Pred(j)＝Pred(n)＝P(B)

Pred(c)＝Pred(g)＝Pred(k)＝Pred(o)＝P(C)

Pred(d)＝Pred(h)＝Pred(l)＝Pred(p)＝P(D)

4×4像素块的预测模式“1”

Pred(a)＝Pred(b)＝Pred(c)＝Pred(d)＝P(I)

Pred(e)＝Pred(f)＝Pred(g)＝Pred(h)＝P(J)

Pred(i)＝Pred(j)＝Pred(k)＝Pred(l)＝P(K)

Pred(m)＝Pred(n)＝Pred(o)＝Pred(p)＝P(L)

4×4像素块的预测模式“2”

[当4×4像素块位于图片的开始时]

Pred(ALL)＝128

[当4×4像素块位于图片的上端时]

Pred(ALL)＝{P(I)+P(J)+P(K)+P(L)+2}＞＞2

[当4×4像素块位于图片的左端时]

Pred(ALL)＝{P(A)+P(B)+P(C)+P(D)+2}＞＞2

[其它情况]

Pred(ALL)＝{P(A)+P(B)+P(C)+P(D)+P(I)+P(J)+P(K)+P(L)+4}＞＞3

4×4像素块的预测模式“3”

Pred(a)＝{P(A)+2P(B)+P(C)+2}＞＞2

Pred(b)＝Pred(e)＝{P(B)+2P(C)+P(D)+2}＞＞2

Pred(c)＝Pred(f)＝Pred(i)＝{P(C)+2P(D)+P(E)+2}＞＞2

Pred(d)＝Pred(g)＝Pred(j)＝Pred(m)＝{P(D)+2P(E)+P(F)+2}＞＞2

Pred(h)＝Pred(k)＝Pred(n)＝{P(E)+2P(F)+P(G)+2}＞＞2

Pred(l)＝Pred(o)＝{P(F)+2P(G)+P(H)+2}＞＞2

Pred(p)＝{3P(G)+P(H)+2}＞＞2

4×4像素块的预测模式“4”

Pred(a)＝Pred(f)＝Pred(k)＝Pred(p)＝{P(A)+2P(M)+P(I)+2}＞＞2

Pred(b)＝Pred(g)＝Pred(i)＝{P(M)+2P(A)+P(B)+2}＞＞2

Pred(c)＝Pred(h)＝{P(A)+2P(B)+P(C)+2}＞＞2

Pred(d)＝{P(B)+2P(C)+P(D)+2}＞＞2

Pred(e)＝Pred(j)＝Pred(o)＝{P(M)+2P(I)+P(J)+2}＞＞2

Pred(i)＝Pred(n)＝{P(I)+2P(J)+P(K)+2}＞＞2

Pred(m)＝{P(J)+2P(K)+P(L)+2}＞＞2

4×4像素块的预测模式“5”

Pred(a)＝Pred(j)＝{P(M)+P(A)+1}＞＞1

Pred(b)＝Pred(k)＝{P(A)+P(B)+1}＞＞1

Pred(c)＝Pred(l)＝{P(B)+P(C)+1}＞＞1

Pred(d)＝{P(C)+P(D)+1}＞＞1

Pred(f)＝Pred(o)＝{P(M)+2P(A)+P(B)+2}＞＞2

Pred(g)＝Pred(p)＝{P(A)+2P(B)+P(C)+2}＞＞2

Pred(h)＝{P(B)+2P(C)+P(D)+2}＞＞2

Pred(e)＝Pred(n)＝{P(I)+2P(M)+P(A)+2}＞＞2

Pred(i)＝{P(J)+2P(I)+P(M)+2}＞＞2

Pred(m)＝{P(K)+2P(J)+P(I)+2}＞＞2

4×4像素块的预测模式“6”

Pred(a)＝Pred(g)＝{P(M)+P(I)+1}＞＞1

Pred(e)＝Pred(k)＝{P(I)+P(J)+1}＞＞1

Pred(i)＝Pred(o)＝{P(J)+P(K)+1}＞＞1

Pred(m)＝{P(K)+P(L)+1}＞＞1

Pred(f)＝Pred(l)＝{P(M)+2P(I)+P(J)+2}＞＞2

Pred(j)＝Pred(p)＝{P(I)+2P(J)+P(K)+2}＞＞2

Pred(n)＝{P(J)+2P(K)+P(L)+2}＞＞2

Pred(b)＝Pred(h)＝{P(A)+2P(M)+P(I)+2}＞＞2

Pred(c)＝{P(B)+2P(A)+P(M)+2}＞＞2

Pred(d)＝{P(C)+2P(B)+P(A)+2}＞＞2

4×4像素块的预测模式“7”

Pred(a)＝{P(A)+P(B)+1}＞＞1

Pred(b)＝Pred(i)＝{P(B)+P(C)+1}＞＞1

Pred(c)＝Pred(j)＝{P(C)+P(D)+1}＞＞1

Pred(d)＝Pred(k)＝{P(D)+P(E)+1}＞＞1

Pred(l)＝{P(E)+P(F)+1}＞＞1

Pred(e)＝{P(A)+2P(B)+P(C)+2}＞＞2

Pred(f)＝Pred(m)＝{P(B)+2P(C)+P(D)+2}＞＞2

Pred(g)＝Pred(n)＝{P(C)+2P(D)+P(E)+2}＞＞2

Pred(h)＝Pred(o)＝{P(D)+2P(E)+P(F)+2}＞＞2

Pred(p)＝{P(E)+2P(F)+P(G)+2}＞＞2

4×4像素块的预测模式“8”

Pred(a)＝{P(I)+P(J)+1}＞＞1

Pred(e)＝Pred(c)＝{P(J)+P(K)+1}＞＞1

Pred(i)＝Pred(g)＝{P(K)+P(L)+1}＞＞1

Pred(b)＝{P(I)+2P(J)+P(K)+2}＞＞2

Pred(f)＝Pred(d)＝{P(J)+2P(K)+P(L)+2}＞＞2

Pred(j)＝Pred(h)＝{P(J)+3P(K)+2}＞＞2

Pred(k)＝Pred(l)＝Pred(m)＝Pred(n)＝Pred(o)＝Pred(p)＝P(L)

接着将说明16×16像素块的预测模式和预测方向之间的关系。在16×16像素块中，预测模式“0”是垂直预测，预测模式“1”是水平预测，预测模式“2”是平均值预测，预测模式“3”是平面预测。图5示出16×16像素块。设P(x，y)是像素(x，y)的像素值，并且设Pred(x，y)是像素(x，y)的预测值。以如下方式表示各预测方向中的预测值。

16×16像素块的预测模式“0”

Pred(x，y)＝P(x，-1)(x＝0～15，y＝0～15)

16×16像素块的预测模式“1”

Pred(x，y)＝P(-1，y)(x＝0～15，y＝0～15)

16×16像素块的预测模式“2”

[图片的开始]

Pred(x，y)＝128(x＝0～15，y＝0～15)

[图片的上端]

Pred(x，y)＝{∑P(-1，y)+8}＞＞4(x＝0～15，y＝0～15)

[图片的左端]

Pred(x，y)＝{∑P(x，-1)+8}＞＞4(x＝0～15，y＝0～15)

[其它情况]

Pred(x，y)＝{∑P(x，-1)+∑P(-1，y)+16}＞＞5(x＝0～15，y＝0～15)

16×16像素块的预测模式“3”

Pred(x，y)＝{a+b×(x-7)+c×(y-7)+16}＞＞5

a＝16×{P(-1，15)+P(15，-1)}

b＝(5×H+32)＞＞6

c＝(5×V+32)＞＞6

H＝P(8，-1)-P(6，-1)+P(9，-1)-P(5，-1)+P(10，-1)-P(4，-1)+P(11，-1)-P(3，-1)+P(12，-1)-P(2，-1)+P(13，-1)-P(1，-1)+P(14，-1)-P(0，-1)+P(15，-1)-P(-1，-1)

V＝P(-1，8)-P(-1，6)+P(-1，9)-P(-1，5)+P(-1，10)-P(-1，4)+P(-1，11)-P(-1，3)+P(-1，12)-P(-1，2)+P(-1，13)-P(-1，1)+P(-1，14)-P(-1，0)+P(-1，15)-P(-1，-1)

针对预测更频繁地选择具有较小数值的预测模式。

对于色差成分，使用了四个预测方向。块大小是8×8像素。在预测模式编号和预测方向上，针对色差成分的使用8×8像素块的预测方法不同于针对亮度成分的使用16×16像素块的预测方法。更具体地，在针对色差成分的8×8像素块预测中，预测模式“0”是平均值预测，预测模式“1”是水平预测，预测模式“2”是垂直预测，并且预测模式“3”是平面预测。

JVC还在开发包括静止图像编码的H.264/AVC保真度范围扩展修正草案(H.264/AVC Fidelity Range ExtensionsAmendment)。该修正草案提出了针对亮度成分的使用8×8像素块的帧内预测方法。对于针对亮度成分的使用8×8像素块的预测方法，如同使用4×4像素块的预测方法一样，根据预测方向定义了9种预测方法。预测模式和预测方向与4×4像素块中的相同。还以与在4×4像素块中相同的方式计算预测值。

然而，推荐没有定义如何选择块大小和预测方向以确保对预测帧内编码的有效预测。实际上，可以基于全部的块大小和全部的预测方向的预测结果来确定用以确保最大效率的块大小和预测方向。然而，基于全部的块大小和全部的预测方向的预测结果的确定方法需要大的电路规模和巨大的计算量。因此，该方法难以实时进行编码。

可选地，根据在编码对象周围的块中进行预测所使用的块单位(下文中称为预测单位)或编码对象块的图像信息，可以预先确定编码对象块的预测单位。针对所确定出的预测单位可以在全部的预测方向中进行预测，并且可以选择最高效的预测方向。此时，如果提供了4×4像素块的全部预测模式的预测单元，则可以通过重复使用4×4像素块的预测单元实现如16×16像素块或8×8像素块等预测单位的预测单元。然而，上述方法需要较长的处理时间用于预测。

例如，对于4×4像素块的预测模式“0”中的预测帧内编码，如图6所示计算预测值。图6中的一个单元表示一个像素。大写字母A、B、C、...表示参考像素值，并且小写字母a、b、c、...表示预测编码对象像素。设P(A)、P(B)、P(C)、...为参考像素值A、B、C、...的亮度值，则以如下方式获得预测编码对象像素a、b、c、...的预测值Pred(a)、Pred(b)、Pred(c)、...。

Pred(a)＝Pred(e)＝Pred(i)＝Pred(m)＝P(A)

Pred(b)＝Pred(f)＝Pred(j)＝Pred(n)＝P(B)

Pred(c)＝Pred(g)＝Pred(k)＝Pred(o)＝P(C)

Pred(d)＝Pred(h)＝Pred(l)＝Pred(p)＝P(D)

对于16×16像素块的预测模式“0”中的帧内编码，如图7所示计算预测值。将图7所示的像素块的左上角处的像素的坐标定义为(0，0)。由P(0，0)表示像素p(0，0)的像素值。通过Pred(x，y)＝P(x，-1)获得像素p(x，y)的预测值Pred(x，y)(x＝0～15、y＝0～15)。

此时，使用4×4像素块的帧内编码的预测值计算单元计算16×16像素块的预测值。如果P(A)＝P(m，-1)、P(B)＝P(m+1，-1)、P(C)＝P(m+2，-1)且P(D)＝P(m+3，-1)(m＝0、4、8和12)，则预测值为：

P(m，n)＝P(m，n+1)＝P(m，n+2)＝P(m，n+3)＝P(A)

P(m+1，n)＝P(m+1，n+1)＝P(m+1，n+2)＝P(m+1，n+3)＝P(B)

P(m+2，n)＝P(m+2，n+1)＝P(m+2，n+2)＝P(m+2，n+3)＝P(C)

P(m+3，n)＝P(m+3，n+1)＝P(m+3，n+2)＝P(m+3，n+3)＝P(D)

(m，n)＝{(0，0)，(0，4)，(0，8)，(0，12)，(4，0)，(4，4)，(4，8)，(4，12)，(8，0)，(8，4)，(8，8)，(8，12)，(12，0)，(12，4)，(12，8)，(12，12)}

为了使用4×4像素块的预测模式“0”中的预测单元来实现16×16像素块的预测模式“0”中的预测，必须重复使用这些预测单元16次。

发明内容

已经作出了本发明以解决上述问题，并且本发明的目的在于提供一种在防止电路规模有任何增大的同时对各个块大小以相应的预测模式高效地执行预测误差计算处理的技术。

为了解决前述问题，根据本发明的图像编码设备具有以下结构。更具体地，一种图像编码设备，其通过参考输入图片中的像素来计算所述图片的各预定像素块中的预测误差，并将所述预测误差提供给编码单元，由此对所述图片进行编码，所述图像编码设备包括：存储单元，其存储编码对象图片的图像数据；确定单元，其确定编码对象像素块的大小；多个预测值计算单元，其分别对应于所述预定像素块的全部预测模式中的一种预测模式；第一预测误差计算单元，其基于来自使用一个参考像素值作为预测值的预测模式的预测值计算单元的预测值，计算由所述确定单元所确定的像素块大小中预定像素的预测误差；第二预测误差计算单元，其基于来自用于基于多个参考像素值计算预测值的预测模式的预测值计算单元的预测值，计算由所述确定单元所确定的像素块大小中各像素的预测误差；输出单元，其基于由所述第一预测误差计算单元和所述第二预测误差计算单元计算出的预测误差的总和，确定使所述预测误差的总和最小的预测模式，并向所述编码单元输出由与所确定的预测模式相对应的预测误差计算单元所获得的预测误差；以及控制单元，其进行控制，以使所述第二预测误差计算单元基于由所述确定单元所确定的像素块大小，根据一个参考像素值计算所述预测误差。

根据本发明，可以提供一种在防止电路规模有任何增大的同时对各个块大小以相应的预测模式高效地执行预测误差计算处理的技术。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是根据实施例的用于进行预测帧内编码的图像编码设备的框图；

图2是示出根据实施例的预测误差计算单元的结构的框图；

图3是示出4×4像素块中的预测模式和预测方向之间的关系的图；

图4是示出4×4像素块中的像素与参考像素值之间的关系的图；

图5是示出16×16像素块的示例的图；

图6是示出4×4像素块的预测模式“0”中的预测方向的图；

图7是示出16×16像素块的预测模式“0”中的预测方向的图；

图8是示出4×4像素块的预测模式“4”中的预测方向的图；

图9是示出4×4像素块的预测模式“4”的预测值计算单元和预测误差计算单元的一部分的结构的图；以及

图10是示出8×8像素块的示例的图。

具体实施方式

现在将参考附图详细说明本发明的实施例。

图1是示出与由应用了本发明的图像编码设备进行的帧内编码相关联的结构的框图。对帧间编码采用已知的结构，并且将省略对其的说明。

该设备包括块大小确定单元101、预测误差计算单元102、编码单元103和局部解码单元104。

块大小确定单元101接收运动图像的一个图像数据(与运动图像数据的一帧相对应的图片)和运动图像的属性信息(如图像大小等参数)。块大小确定单元101分析所接收到的图像数据并将像素块的大小确定为编码单位。存在3种类型的像素块大小：4×4、8×8和16×16像素。在实施例中，块大小确定单元101计算图像数据中具有相同像素值的连续像素的数量的最大值。从属性信息获得图像数据的水平大小和垂直大小。因此，块大小确定单元101还计算该最大值与总的像素数量的比率R。与比率R成比例地确定像素块的大小。例如，将比率R与两个预先设置的阈值Th1和Th2进行比较(Th2＞Th1)。然后，以如下方式确定编码单位的像素块大小。

Th2＜R      →编码单位是16×16像素块

Th1＜R≤Th2 →编码单位是8×8像素块

R≤Th1      →编码单位是4×4像素块

即，随着具有相同像素值的连续像素的数量的比率升高，像素块大小增大。结果，如果图像包括许多具有相同像素值的连续像素，则与小块相比，大块能够降低开销并提高编码效率。相反，如果具有相同像素值的连续像素的比率低，则通过使用小块可以明显提高编码效率。确定块大小的算法不局限于此，并且可使用任何其它方法。例如，创建要进行编码的图像数据的像素值的直方图(对于通常具有三种颜色成分的彩色图像，创建三维直方图)。计算方差或标准偏差，并基于该方差(或标准偏差)确定块大小。可选地，可以根据经由操作单元或键盘(未示出)等的用户接口输入的用户指令来确定像素块的大小。

块大小确定单元101向预测误差计算单元102和编码单元103提供用以指定所确定的像素块大小的信息(2位就足够了)。注意，块大小在对一个图像(图片)进行编码期间是固定的。

预测误差计算单元102将接收到的图像数据分割成由块大小确定单元101所确定的块大小的块，并计算一个像素块中所包括的各像素与各预测模式中的预测值之间的差。预测误差计算单元102获得各预测模式中的预测误差的总和。预测误差计算单元102选择使预测误差的总和最小的预测模式，并向编码单元103输出表示预测模式的信息和在所确定的预测模式中获得的预测误差信息。

编码单元103将从块大小确定单元接收到的块大小存储在一帧编码数据流的报头(header)中并对其进行输出。将来自预测误差计算单元102的用于指定预测模式的信息存储在块报头中。对预测误差信息进行量化、变换和熵编码，并将其作为在块报头之后的编码流而输出。编码单元103还将各块的编码数据输出至局部解码单元104。

局部解码单元104对从编码单元103接收到的一个块的编码数据进行解码，并将一个块的图像数据作为解码结果输出至预测误差计算单元102。将解码后的图像数据输出至预测误差计算单元102，这是因为预测误差计算单元102通过参考关注块附近的已编码区域中的像素值来计算该关注块的各个像素的预测值。

接着，将说明根据实施例的预测误差计算单元102。图2是示出根据实施例的预测误差计算单元102的详细结构的框图。以下将说明预测误差计算单元102中所包括的各个处理单元。

控制单元236基于从块大小确定单元101接收到的块大小来控制预测误差计算单元102中的处理单元。该控制包括从参考像素值存储单元201的像素值读出、从图片存储单元202的块内像素数据读出和开关237～243的连接。

参考像素值存储单元201对与作为预测误差计算对象的关注块相邻的已编码的图像数据(来自局部解码单元104的解码结果)进行存储。图片存储单元202临时存储所接收到的图像数据。

图片存储单元202存储要进行编码的图像数据(一个图片)。

色度(chroma)8×8模式“0”预测值计算单元231计算8×8色差预测值。色度8×8模式“0”预测误差计算单元232计算实际的色差与预测的色差之间的差，并将结果输出至预测误差输出单元235和SAD计算单元233。对于色差，与亮度的预测块大小无关，块大小是8×8像素。

如果编码对象图像是单色图像，则可以省略色度8×8模式“0”预测值计算单元231、色度8×8模式“0”预测误差计算单元232、预测误差输出单元235和SAD计算单元233。

为了说明的方便，假定块大小确定单元101选择4×4像素用作作为亮度的预测单位的像素块大小。

在这种情况下，控制单元236将选择控制信号输出至多个开关237～243，使得开关237～243分别选择来自预测值计算单元206～212的输出。

如上所述，如果编码单位是4×4像素块，则对于亮度总共存在9种预测模式“0”～“8”。在本实施例中，由于并行进行预测误差计算，因此存在多个预测值计算单元和多个预测误差计算单元，并且将它们并行布置。

预测值计算单元204～212(总共为9个)中的每一个计算与4×4像素块中的关注像素的各个预测模式相对应的预测值。更具体地，预测值计算单元204获得预测模式“0”中的预测值，并将其输出至预测误差计算单元213。预测值计算单元205获得预测模式“1”中的预测值，并将其输出至预测误差计算单元214。预测值计算单元206计算预测模式“2”中的预测值，并经由开关237将其输出至预测误差计算单元215。类似地，预测值计算单元207～212分别计算预测模式“3”～“8”中的预测值，并经由开关238～243将它们输出至预测误差计算单元216～221。

预测值计算单元204计算预测模式“0”中的预测值。在预测模式“0”中，当获得图6中的像素a、e、i和m的预测误差时，将参考像素值存储单元201中的像素P(A)作为预测值而直接输出。当获得像素b、f、j和n的预测误差时，将参考像素值存储单元201中的像素P(B)作为预测值而直接输出。类似地，将像素P(C)和P(D)用作位于紧接在下面的像素的预测值。预测误差计算单元213计算各预测值和(由控制单元236读出的)像素数据之间的差作为差计算对象，并将上述差输出至SAD计算单元222。

预测值计算单元205计算预测模式“1”中的预测值。在预测模式“1”中，对于图6中的像素a、b、c和d，将参考像素值存储单元201中的像素P(I)作为预测值而直接输出。类似地，预测值计算单元205使用像素P(J)作为预测值计算像素e、f、g和h的预测误差。对于其余的像素，将P(K)和P(L)用作沿水平方向存在的像素值的预测误差。

除预测值计算单元204和205以外的预测值计算单元206～212通过进行上述计算获得预测值。

将对计算预测模式“4”中的预测值的预测值计算单元208作为示例进行说明。

在预测模式“4”中，沿由图8中的箭头所示的方向应用预测值，从而获得各个像素的预测误差。图9是示出用于计算预测模式“4”中的预测值的预测值计算单元208和预测误差计算单元217的一部分的结构的图。在图9中，a、f、k和p表示输入图片的像素值，并且A、I和M表示参考像素值(图4)。在图9中，“＜＜1”表示向左的1位移位运算，并且“＞＞2”表示向右的2位移位运算。“+”表示加法，并且“-”表示减法。可将基于参考像素值A、I和M计算出的预测值与各个像素值a、f、k和p之间的差作为预测误差而输出。

上面已经说明了预测模式“4”的预测值计算单元208。可以容易地理解，其余的预测值计算单元也可获得相应的预测模式中的预测值，并且与预测值计算单元相对应的预测误差计算单元可以以相同的方式计算预测误差。

结果，预测误差计算单元213～221计算4×4像素数据中的预测误差并将计算结果输出至预测误差输出单元235以及连接至预测误差计算单元213～221的SAD计算单元222～230。

SAD计算单元222～230和233各自计算相应的预测模式中的SAD(Sum of Absolute Difference，绝对差之和)，即，由控制单元236所设置的数量的预测误差的绝对值之和。对于这里要说明的4×4像素块，控制单元236设置4×4作为预测误差的数量。将计算出的SAD存储在SAD存储单元234中。如果预测单位是4×4像素块，则可以使SAD计算单元233无效。

通常，预测误差越小，分配具有越长码长度的码字以提高编码效率。换言之，SAD越小，编码效率越高。预测模式确定单元203搜索存储在SAD存储单元234中的亮度的最小SAD值，判断预测模式“0”～“8”中的哪一个预测模式使SAD值最小，并将判断结果作为预测模式信息输出至预测误差输出单元235。

预测误差输出单元235包括缓冲存储器，该缓冲存储器用于存储由预测误差计算单元213～221和色度8×8模式“0”预测误差计算单元232计算出的预测误差。预测误差输出单元235从内部缓冲存储器中选择由来自预测模式确定单元203的预测模式信息所表示的预测模式指定的4×4个预测误差(来自预测误差计算单元213～221其中一个的预测误差)，并将这些预测误差输出至编码单元103。预测误差输出单元235还在预先设置的时刻将从色度8×8模式“0”预测误差计算单元232接收到的8×8色度预测误差输出至编码单元103。

上面已经说明了在选择4×4像素块作为预测单位时进行的预测误差计算单元102的操作。接着，将说明当确定了除4×4像素块以外的大小时要进行的操作。

首先，将说明选择16×16像素块作为预测单位的示例。

为了计算16×16像素块中的预测误差，如上所述，使用四种预测模式“0”～“3”。然而在本实施例中，使用预测模式“0”和“1”执行处理，而不采用预测模式“2”和“3”。注意，可以由专用电路单独地实现预测模式“2”和“3”。

与4×4像素块的预测模式“0”一样，16×16像素块的预测模式“0”是垂直预测。与4×4像素块的预测模式“1”一样，16×16像素块的预测模式“1”是水平预测。

将参考图5对此进行说明。图5示出16×16像素块和已编码后的像素块的一部分。将16×16像素块的左上角的坐标定义为(0，0)。由P(0，0)表示该点处的像素。由Pred(x，y)表示像素P(x，y)的预测值。在这种情况下，模式“0”中的像素的预测值为：

Pred(0，0)＝Pred(0，1)＝Pred(0，2)＝...＝Pred(0，15)＝P(0，-1)

Pred(1，0)＝Pred(1，1)＝Pred(1，2)＝...＝Pred(1，15)＝P(1，-1)

Pred(2，0)＝Pred(2，1)＝Pred(2，2)＝...＝Pred(2，15)＝P(2，-1)

.

.

Pred(15，0)＝Pred(15，1)＝Pred(15，2)＝...＝Pred(15，15)＝P(15，-1)

预测模式“1”中的预测值为：

Pred(0，0)＝Pred(1，0)＝Pred(2，0)＝...＝Pred(15，0)＝P(-1，0)

Pred(0，1)＝Pred(1，1)＝Pred(2，1)＝...＝Pred(15，1)＝P(-1，1)

Pred(0，2)＝Pred(1，2)＝Pred(2，2)＝...＝Pred(15，2)＝P(-1，2)

.

.

Pred(0，15)＝Pred(1，15)＝Pred(2，15)＝...＝Pred(15，15)＝P(-1，15)

如上所述，直接采用一个像素P(m，-1)或P(-1，m)的值作为模式“0”或“1”中的预测值。

在图2中存在9个预测误差计算单元213～221。在本实施例中，这9个预测误差计算单元213～221中的8个有效地用于执行并行处理，由此提高了处理效率。

更具体地，对于图5中的像素P(0，m)、P(4，m)、P(8，m)和P(12，m)(m＝0、1、2、...、15)，预测误差计算单元213计算模式“0”中的预测误差(计算4列的预测误差)。即，对于像素P(n，m)(n＝0、4、8、12；m＝0、1、2、3、...、15)预测误差计算单元213计算模式“0”中的预测误差。

对于图5中的像素P(m，0)、P(m，4)、P(m，8)和P(m，12)，预测误差计算单元214计算模式“1”中的预测误差(计算4行的预测误差)。即，对于像素P(m，n)，预测误差计算单元214计算模式“1”中的预测误差。注意，预测误差计算单元214的n和m的顺序与预测误差计算单元213的n和m的顺序相反。

类似地，预测误差计算单元215计算像素P(n+1，m)的预测误差，预测误差计算单元217计算像素P(n+2，m)的预测误差，并且预测误差计算单元219计算预测模式“0”中的像素P(n+3，m)的预测误差。

此外，预测误差计算单元216计算像素P(m，n+1)的预测误差，预测误差计算单元218计算像素P(m，n+2)的预测误差，并且预测误差计算单元220计算预测模式“1”中的像素P(m，n+3)的预测误差。

由于预测误差计算单元215～220计算预测模式“0”和“1”中的预测误差，因此不可能采用由预测值计算单元206～211计算出的预测值。因此，控制单元236连接开关237～242(可以使开关243有效或无效)以从参考像素值存储单元201中直接选择像素值。

例如，当预测误差计算单元213用于计算像素P(n，m)的预测误差时，控制单元236从参考像素值存储单元201读出像素P(n，-1)并将其输出至预测值计算单元204。类似地，当预测误差计算单元215用于计算像素P(n+1，m)的预测误差时，控制单元236从参考像素值存储单元201读出像素P(n+1，-1)并将其输出至开关237。当然，这同样适用于预测误差计算单元217和219。

另一方面，当预测误差计算单元214用于计算像素P(m，n)的预测误差时，控制单元236从参考像素值存储单元201读出像素P(-1，n)并将其输出至预测值计算单元205。类似地，当预测误差计算单元216用于计算像素P(m，n+1)的预测误差时，控制单元236从参考像素值存储单元201读出像素P(-1，n+1)并将其输出至开关238。当然，这同样适用于预测误差计算单元218和220。

结果，预测误差计算单元213～220(忽略预测误差计算单元221的计算结果)各自计算16×4个预测误差。

SAD计算单元222～229(忽略SAD计算单元230的计算结果)各自计算预测误差计算单元213～220的相应一个的预测误差的总和，并将计算结果存储在SAD存储单元234中。

SAD计算单元222、224、226和228的计算结果的总和对应于预测模式“0”中的16×16像素的预测误差的绝对值的总和。SAD计算单元223、225、227和229的计算结果的总和显然对应于预测模式“1”中的16×16像素的预测误差的绝对值的总和。

预测模式确定单元203将预测模式“0”中的预测误差的总和与预测模式“1”中的预测误差的总和相比较，并将使值变小的预测模式作为预测模式信息输出至预测误差输出单元235。

在从预测模式确定单元203接收到表示预测模式“0”的预测模式信息时，预测误差输出单元235输出表示预测模式的信息。然后，预测误差输出单元235按预先设置的顺序重新排列由预测误差计算单元213、215、217和219计算出的并存储在内部缓冲器中的预测误差，并将它们输出。预测误差输出单元235在预先设置的时刻还输出由色度8×8模式“0”预测误差计算单元232所获得的预测误差。

在从预测模式确定单元203接收到表示预测模式“1”的预测模式信息时，预测误差输出单元235输出表示预测模式的信息。然后，预测误差输出单元235适当地重新排列由预测误差计算单元214、216、218和220计算出的并存储在内部缓冲器中的预测误差，并将它们输出。预测误差输出单元235在适当的时刻还输出由色度8×8模式“0”预测误差计算单元232所获得的预测误差。

上面已经说明了当块大小确定单元101选择16×16像素块作为预测单位时进行的处理。如从以上说明明显可见，可以有效地使用4×4像素块的模式“0”～“8”的9个预测误差计算单元。更具体地，8个预测误差计算单元可以并行计算模式“0”和“1”中的16×16像素块的预测误差。

接着，将说明在块大小确定单元101选择8×8像素块作为预测单位时要进行的处理。对于8×8像素块(图10)，使用4种预测模式“0”～“3”。然而，由8×8像素块的各预测模式的编号所表示的预测值计算方法不同于4×4或16×16像素块的各预测模式的编号所表示的预测值计算方法。更具体地，8×8像素块的预测模式“0”表示平均值预测。在8×8像素块中，预测模式“1”是垂直预测，预测模式“2”是水平预测，并且预测模式“3”是平面预测。

因此，在8×8像素块的预测模式“1”和“2”中，可以通过进行与在16×16像素块的预测模式“0”和“1”中相同的处理实现并行处理。在本实施例中，不使用预测模式“0”和“3”而使用预测模式“1”和“2”进行8×8像素块的处理。注意，可以由专用电路单独地实现预测模式“0”和“3”。

在8×8像素块的预测模式“1”和“2”中，如上所述，仅使用一个参考像素值获得预测值。因此，与16×16像素块的预测误差计算一样，控制单元236连接开关237～242以直接输入来自参考像素值存储单元201的像素值。

对于图10中的像素P(0，m)和P(4，m)(m＝0、1、2、...、7)，预测误差计算单元213计算模式“1”中的预测误差。即，对于像素P(n，m)(n＝0、4；m＝0、1、2、3、...、7)，预测误差计算单元213计算模式“1”中的预测误差。

对于图10中的像素P(m，0)和P(m，4)，预测误差计算单元214计算模式“2”中的预测误差。即，对于像素P(m，n)，预测误差计算单元214计算模式“2”中的预测误差。注意，预测误差计算单元214的n和m的顺序与预测误差计算单元213的n和m的顺序相反。

类似地，预测误差计算单元215计算像素P(n+1，m)的预测误差，预测误差计算单元217计算像素P(n+2，m)的预测误差，并且预测误差计算单元219计算预测模式“1”中的像素P(n+3，m)的预测误差。

此外，预测误差计算单元216计算像素P(m，n+1)的预测误差，预测误差计算单元218计算像素P(m，n+2)的预测误差，并且预测误差计算单元220计算预测模式“2”中的像素P(m，n+3)的预测误差。

例如，当预测误差计算单元213用于计算像素P(n，m)的预测误差时，控制单元236从参考像素值存储单元201读出像素P(n，-1)并将其输出至预测值计算单元204。类似地，当预测误差计算单元215用于计算像素P(n+1，m)的预测误差时，控制单元236从参考像素值存储单元201读出像素P(n+1，-1)并将其输出至开关237。当然，这同样适用于预测误差计算单元217和219。

另一方面，当预测误差计算单元214用于计算像素P(m，n)的预测误差时，控制单元236从参考像素值存储单元201读出像素P(-1，n)并将其输出至预测值计算单元205。类似地，当预测误差计算单元216用于计算像素P(m，n+1)的预测误差时，控制单元236从参考像素值存储单元201读出像素P(-1，n+1)并将其输出至开关238。当然，这同样适用于预测误差计算单元218和220。

结果，预测误差计算单元213～220(忽略预测误差计算单元221的计算结果)各自计算8×2个预测误差。

SAD计算单元222～229(忽略SAD计算单元230的计算结果)各自计算预测误差计算单元213～220的相应一个的预测误差的总和，并将计算结果存储在SAD存储单元234中。

SAD计算单元222、224、226和228的计算结果的总和对应于预测模式“1”中的8×8像素的预测误差的绝对值的总和。如明显可见，SAD计算单元223、225、227和229的计算结果的总和对应于预测模式“2”中的8×8像素的预测误差的绝对值的总和。

预测模式确定单元203将预测模式“1”中的预测误差的总和与预测模式“2”中的预测误差的总和进行比较，并将使值变小的预测模式作为预测模式信息输出至预测误差输出单元235。

在从预测模式确定单元203接收到表示预测模式“1”的预测模式信息时，预测误差输出单元235输出表示预测模式的信息。然后，预测误差输出单元235适当地重新排列由预测误差计算单元213、215、217和219计算出的并存储在内部缓冲器中的预测误差，并将它们输出。预测误差输出单元235在适当的时刻还输出由色度8×8模式“0”预测误差计算单元232所获得的预测误差。

在从预测模式确定单元203接收到表示预测模式“2”的预测模式信息时，预测误差输出单元235输出表示预测模式的信息。然后，预测误差输出单元235适当地重新排列由预测误差计算单元214、216、218和220计算出的并存储在内部缓冲器中的预测误差，并将它们输出。预测误差输出单元235在适当的时刻还输出由色度8×8模式“0”预测误差计算单元232所获得的预测误差。

上面已经说明了在块大小确定单元101选择8×8像素块作为预测单位时进行的处理。

如上所述，根据本实施例，设备包括被分割成4×4像素块的图像数据在全部预测模式中的预测值计算单元和预测误差计算单元。对该结构的有效使用使得能够在8×8像素块的预测模式“0”和“1”中以及16×16像素块的预测模式“1”和“2”中进行并行处理。这防止了电路规模有任何增大并且还防止了对8×8像素块或16×16像素块的处理时间有任何增加。

在本实施例中，在不使用预测模式“0”～“3”的情况下对8×8像素块进行处理，并且在不使用预测模式“2”～“3”的情况下对16×16像素块进行处理。然而，即使在增加了与这些块大小和模式相对应的电路时，尽管电路规模增大了，但与相关技术相比较，仍可获得充分的效果。

例如，特别在8×8像素块的模式“0”中，可以可选地使用色度8×8模式“0”预测值计算单元231、色度8×8模式“0”预测误差计算单元232和色度8×8模式“0”SAD计算单元。这是因为色度8×8模式“0”中的预测值计算方法和8×8像素块的模式“0”中的预测值计算方法二者均为平均值预测，并且使得能够在差别仅在于参考像素值是亮度还是色差的情况下进行等同处理。

很明显，上述实施例还可应用于H.264。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (5)

1.一种图像编码设备，其通过参考输入图片中的像素来计算所述图片的各预定像素块中的预测误差，并将所述预测误差提供给编码单元，由此对所述图片进行编码，所述图像编码设备包括：

存储单元，其存储编码对象图片的图像数据；

确定单元，其确定编码对象像素块的大小；

多个预测值计算单元，其分别对应于所述预定像素块的全部预测模式中的一种预测模式；

第一预测误差计算单元，其基于来自使用一个参考像素值作为预测值的预测模式的预测值计算单元的预测值，计算由所述确定单元所确定的像素块大小中预定像素的预测误差；

第二预测误差计算单元，其基于来自用于基于多个参考像素值计算预测值的预测模式的预测值计算单元的预测值，计算由所述确定单元所确定的像素块大小中各像素的预测误差；

输出单元，其基于由所述第一预测误差计算单元和所述第二预测误差计算单元计算出的预测误差的总和，确定使所述预测误差的总和最小的预测模式，并向所述编码单元输出由与所确定的预测模式相对应的预测误差计算单元所获得的预测误差；以及

控制单元，其进行控制，以使所述第二预测误差计算单元基于由所述确定单元所确定的像素块大小，根据一个参考像素值计算所述预测误差。

2.根据权利要求1所述的图像编码设备，其特征在于，所述像素块是4×4像素块、8×8像素块和16×16像素块的其中一个，所述4×4像素块的全部预测模式包括预测模式“0”～“8”，所述8×8像素块的使用一个参考像素值作为预测值的全部预测模式包括预测模式“1”和“2”，并且所述16×16像素块的使用一个参考像素值作为预测值的全部预测模式包括预测模式“0”和“1”。

3.根据权利要求1所述的图像编码设备，其特征在于，所述确定单元包括如下单元：所述单元计算所输入的编码对象图像数据中具有相同像素值的连续像素的比率，并与所述比率成比例地确定所述编码对象像素块的大小。

4.根据权利要求1所述的图像编码设备，其特征在于，还包括：

色度8×8像素块预测值计算单元；以及

色度8×8像素块预测误差计算单元。

5.根据权利要求4所述的图像编码设备，其特征在于，如果由所述确定单元所确定的像素块大小是8×8像素块，则所述色度8×8像素块预测值计算单元和所述色度8×8像素块预测误差计算单元交替用于计算预测模式“0”中的预测值和预测误差。

Images