CN102742274A

CN102742274A - 图像处理设备和方法

Info

Publication number: CN102742274A
Application number: CN201180007609.6A
Authority: CN
Inventors: 铃木辉彦; 王鹏
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-02-05
Filing date: 2011-01-27
Publication date: 2012-10-17
Also published as: US20120294358A1; JP2011166326A; TW201146021A; WO2011096317A1

Abstract

本发明涉及能够提高编码效率的图像处理设备和方法。平面近似单元151利用待处理块的各个像素值本身，获得表示近似像素值的平面的函数的各个参数。平面生成单元152获得在用供给的平面参数表示的平面上的像素值。预测编码单元153预测平面参数的值，获得预测值和实际平面参数值之间的差分，从而减小其数据量。熵编码单元154进一步进行编码平面参数的熵编码。编码的平面参数被提供给解码方。本发明可适用于例如图像处理设备。

Description

图像处理设备和方法

技术领域

本发明涉及图像处理设备和方法，尤其涉及能够提高编码效率的图像处理设备和方法。

背景技术

近年来，处理作为数字信号的图像信息，遵守诸如MPEG(运动图像专家组)之类格式的设备已广泛用于广播电台等的信息发送和普通家庭的信息接收，在诸如MPEG之类的格式中，当处理图像信息时，以高效的信息传输和存储为目的，利用图像信息特有的冗余，借助诸如离散余弦变换之类的正交变换和运动补偿来进行压缩。

特别地，MPEG2(ISO(国际标准化组织)/IEC(国际电工技术委员会)13818-2)被定义为一种通用图像编码格式，是涵盖隔行扫描图像和逐行扫描图像两者，以及标准分辨率图像和高清晰度图像的标准。例如，MPEG2现在已被专业用途和消费用途的各种各样应用所普遍采用。通过采用MPEG2压缩格式，例如在720×480像素标准分辨率的隔行扫描图像的情况下，分配4～8Mbps的代码量(比特率)，在1920×1088像素高分辨率的隔行扫描图像的情况下，分配18～22Mbps的代码量(比特率)，从而能够实现高压缩比和良好的图像质量。

就MPEG2来说，主要以适合于广播用途的高图像质量编码为目标，不过不处理比MEPG1的代码量低的代码量(比特率)，即，具有较高压缩比的编码格式。随着便携式终端的普及，预期今后对这种编码格式的需要会增长，为了应付这种情况，进行了MEPG4编码格式的标准化。就图像编码格式来说，其规范在1998年12月被确认为国际标准ISO/IEC 14496-2。

此外近年来，就最初预定用于视频会议用途的图像编码来说，称为H.26L(ITU-T(ITU电信标准化部门)Q6/16VCEG(视频编码专家组))的标准的标准化已得到推广。就H.26L来说，已知与诸如MPEG2或MPEG4之类常规编码格式相比，尽管H.26L的编码和解码需要更大的计算量，不过能够获得更高的编码效率。另外目前，作为MPEG4活动的一部分，以增强压缩视频编码的联合模型的形式，进行了以H.26L为基础、而且利用H.26L不支持的功能来实现更高编码效率的标准化。按照标准化的时间表，在2003年5月，H.264和MPEG-4 Part 10(AVC(高级视频编码))成为国际标准。

此外，作为其扩展，进行了包括诸如RGB，4:2:2或4:4:4之类为商业应用所必需的编码工具，和MPEG-2规定的8x8DCT(离散余弦变换)和量化矩阵的FRExt(保真度范围扩展)的标准化，因而，H.264/AVC已变成甚至能够适当地表现包含在电影中的胶片噪声的编码格式，已用于诸如蓝光光盘(注册商标)之类的各种各样应用。

然而，现今对更高压缩编码的需求已增长，比如需要压缩为高清晰度图像的4倍的具有约4000×2000像素的图像，或者需要在传输容量有限的环境(比如因特网)内分发高清晰度图像。于是，就上面提及的ITU-T之下的VCEG来说，不断进行了与编码效率的提高有关的研究。

现在，能够给出的与常规MPEG2格式相比，H.264/AVC格式为什么实现高编码效率的一个要素是采用了帧内预测处理。

就H.264/AVC格式来说，关于亮度信号，确定9种4×4像素和8×8像素块单元，和4种16×16像素宏块单元的帧内预测模式。另外，关于色差信号，确定4种8×8像素块单元的帧内预测模式。可以与亮度信号的帧内预测模式无关地设定色差信号的帧内预测模式。

就亮度信号的4×4像素和8×8像素帧内预测模式来说，对每个4×4像素和8×8像素亮度信号块设定一种帧内预测模式。就亮度信号的16×16像素帧内预测模式和色差信号的帧内预测模式来说，对于一个宏块设定一种预测模式。

近年来，提出了进一步提高这种H.264/AVC格式的帧内预测的效率的方法(例如，NPL 1和NPL 2)。

引用列表

非专利文献

非专利文献1：“Intra Prediction by Template Matching”T.K.Tan等，ICIP 2006；

非专利文献2：“Tools for Improving Texture and MotionCompensation”，MPEG Workshop,Oct 2008。

发明内容

发明要解决的问题

不过，H.264/AVC格式的压缩比仍然不足，于是一直需要在压缩中进一步减少信息。

鉴于这种情况，做出了本发明，本发明的目的是进一步提高编码效率。解决问题的手段

本发明的一个方面是一种图像处理设备，包括：平面近似装置，对于将对其进行屏幕内编码的图像数据的待处理块，所述平面近似装置利用指示平面的函数来近似像素值，并利用待处理块的像素值，获得作为指示所述平面的函数的系数的平面参数；平面生成装置，其通过获得在用平面近似装置获得的平面参数表示的平面上的像素值，生成待处理块上的平面，作为预测图像；计算装置，其从待处理块的像素值中，减去利用平面生成装置作为预测图像生成的平面的像素值，从而生成差分数据；和编码装置，其对计算装置生成的差分数据编码。

图像处理设备还包括：正交变换装置，其进行利用计算装置生成的差分数据的正交变换；和量化装置，其量化利用经过正交变换装置的正交变换的差分数据生成的系数数据；其中编码装置对利用量化装置量化的系数数据编码。

平面近似装置可通过利用待处理块的像素值求出最小二乘方，从而获得平面参数。

图像处理设备还包括传送利用平面近似装置获得的平面参数的传输装置。

图像处理设备还包括：预测编码装置，其计算平面参数的预测值，从利用平面近似装置获得的平面参数中，减去预测值；其中传输装置传送利用预测编码装置扣减的平面参数。

预测编码装置可利用待处理块的相邻块的平面参数，预测待处理块的平面参数。

预测编码装置可把按帧内预测模式的平面模式计算的待处理块的近似平面的平面参数作为预测值。

图像处理设备还包括：正交变换装置，其进行利用平面近似装置获得的平面参数的正交变换；和平面参数编码装置，其对经过正交变换装置的正交变换的平面参数编码。

另外，本发明的一个方面是一种图像处理设备的图像处理方法，所述方法包括：对于将对其进行屏幕内编码的图像数据的待处理块，图像处理设备的平面近似装置利用指示平面的函数来近似像素值，并利用待处理块的像素值，获得作为指示所述平面的函数的系数的平面参数；图像处理设备的平面生成装置通过获得在用所获得的平面参数表示的平面上的像素值，生成待处理块上的平面作为预测图像；图像处理设备的计算装置从待处理块的像素值中，减去作为预测图像生成的平面的像素值，从而生成差分数据；和图像处理设备的编码装置对生成的差分数据编码。

本发明的另一方面是一种图像处理设备，包括：解码装置，所述解码装置对其中图像数据和通过利用图像数据本身进行了帧内预测的预测图像之间的差分数据被编码的编码数据解码；平面生成装置，其利用平面参数生成由平面构成的预测图像，所述平面参数是函数的系数，所述函数指示近似图像数据的待处理块的像素值的平面；和计算装置，其把利用平面生成装置生成的预测图像与通过利用解码装置解码而获得的差分数据相加。

所述图像处理设备还包括：反量化装置，其进行差分数据的反量化；和逆正交变换装置，其对经过反量化装置的反量化的差分数据进行逆正交变换；其中计算装置把预测图像与经过逆正交变换装置的逆正交变换的差分数据相加。

可以从平面参数中减去预测值；图像处理设备还包括：预测解码装置，其通过计算预测值，并把预测值和已从中减去预测值的平面参数相加，来进行平面参数的预测解码；所述平面生成装置利用由预测解码装置预测解码的平面参数，生成预测图像。

预测解码装置可利用待处理块的相邻块的平面参数，计算预测值。

预测解码装置可以计算帧内预测模式的平面模式待处理块的近似平面的平面参数，作为预测值。

图像处理设备还包括：逆变换装置，其进行经过正交变换的平面参数的逆正交变换；其中平面生成装置利用经过逆正交变换装置的逆正交变换的平面参数，生成预测图像。

另外，本发明的另一方面是一种图像处理设备的图像处理方法，所述方法包括：图像处理设备的解码装置对其中图像数据和通过利用图像数据本身进行了帧内预测的预测图像之间的差分数据被编码的编码数据解码；图像处理设备的平面生成装置利用平面参数，生成由平面构成的预测图像，所述平面参数是函数的系数，所述函数指示近似图像数据的待处理块的像素值的平面；和图像处理设备的计算装置把生成的预测图像和获得的差分数据相加。

按照本发明的一个方面，对于将对其进行屏幕内编码的图像数据的待处理块，利用指示平面的函数来近似像素值，并利用待处理块的像素值，获得作为指示所述平面的函数的系数的平面参数；通过获得在用获得的平面参数表示的平面上的像素值，生成待处理块上的平面，作为预测图像，从待处理块的像素值中，减去作为预测图像生成的平面的像素值，从而生成差分数据，和对生成的差分数据编码。

按照本发明的另一个方面，对其中图像数据和通过利用图像数据本身进行了帧内预测的预测图像之间的差分数据被编码的编码数据解码，利用平面参数生成由平面构成的预测图像，所述平面参数是函数的系数，所述函数指示近似图像数据的待处理块的像素值的平面，和把生成的预测图像和通过解码获得的差分数据相加。

按照本发明，能够进行图像数据的编码或者编码的图像数据的解码。特别地，能够进一步提高编码效率。

附图说明

图1是图解说明应用本发明的图像编码设备的主要结构例子的方框图。

图2是图解说明宏块的例子的例子的示图。

图3是图解说明帧内预测单元的主要结构例子的方框图。

图4是说明正交变换是如何工作的例子的示图。

图5是说明4×4像素帧内预测模式的例子的示图。

图6是说明8×8像素帧内预测模式的例子的示图。

图7是说明16×16像素帧内预测模式的例子的示图。

图8是图解说明平面预测图像生成单元的主要结构例子的方框图。

图9是图解说明近似平面的例子的示图。

图10是图解说明计算平面参数的方法的例子的示图。

图11是图解说明计算平面参数的方法的例子的示图。

图12是图解说明预测编码单元的主要结构例子的方框图。

图13是描述预测计算的例子的示图。

图14是图解说明熵编码单元的主要结构例子的方框图。

图15是描述编码处理的流程的例子的流程图；

图16是描述预测处理的流程的例子的流程图；

图17是描述帧内预测处理的流程的例子的流程图；

图18是说明预测图像生成处理的流程的例子的流程图；

图19是描述预测编码处理的流程的例子的流程图；

图20是图解说明应用本发明的图像解码设备的主要结构例子的方框图。

图21是图解说明帧内预测单元的主要结构例子的方框图。

图22是图解说明预测解码单元的主要结构例子的方框图。

图23是描述解码处理的流程的例子的流程图。

图24是描述预测处理的流程的例子的流程图。

图25是描述帧内预测处理的流程的例子的流程图。

图26是描述预测解码处理的流程的例子的流程图。

图27是图解说明预测编码单元的另一个结构例子的方框图。

图28是描述预测编码处理的流程的另一个例子的流程图。

图29是图解说明预测解码单元的另一个结构例子的方框图。

图30是描述预测解码处理的流程的例子的流程图。

图31是描述变换处理如何工作的例子的示图。

图32是图解说明平面预测图像生成单元的另一个结构例子的方框图。

图33是图解说明变换单元的主要结构例子的方框图。

图34是说明预测图像生成处理的流程的另一个例子的流程图。

图35是描述变换处理的流程的例子的流程图。

图36是图解说明帧内预测单元的另一个结构例子的方框图。

图37是图解说明逆变换单元的主要结构例子的方框图。

图38是说明帧内预测处理的流程的另一个例子的流程图。

图39是描述逆变换处理的流程的例子的流程图。

图40是描述宏块的另一个例子的示图。

图41是图解说明应用本发明的个人计算机的主要结构例子的方框图。

图42是图解说明应用本发明的电视接收机的主要结构例子的方框图。

图43是图解说明应用本发明的蜂窝电话机的主要结构例子的方框图。

图44是图解说明应用本发明的硬盘记录器的主要结构例子的方框图。

图45是图解说明应用本发明的照相机的主要结构例子的方框图。

具体实施方式

下面，说明本发明的实施例(下面称为实施例)。注意将按照以下顺序进行说明。

1.第一实施例(图像编码设备)

2.第二实施例(图像解码设备)

3.第三实施例(图像编码设备)

4.第四实施例(图像解码设备)

5.第五实施例(图像编码设备)

6.第六实施例(图像解码设备)

7.第七实施例(个人计算机)

8.第八实施例(电视接收机)

9.第九实施例(蜂窝电话机)

10.第十实施例(硬盘记录器)

11.第十一实施例(照相机)

<1.第一实施例>

[图像编码设备]

图1表示充当应用本发明的图像处理设备的图像编码设备的实施例的结构。

图1中所示的图像编码设备100是利用例如H.264和MPEG(运动图像专家组)4 Part 10(AVC(高级视频编码))(下面称为H.264/AVC)格式，对图像进行压缩编码的编码设备。不过注意，图像编码设备100还包括其中利用预测平面进行预测的模式作为帧内预测模式，所述预测平面是利用待处理块本身，而不是解码的周围块的像素生成的。

就图1中的例子来说，图像编码设备100具有A/D(模/数)转换单元101，屏幕重排缓冲器102，计算单元103，正交变换单元104，量化单元105，无损编码单元106和存储缓冲器107。图像编码设备100还具有反量化单元108，逆正交变换单元109和计算单元110。此外，图像编码设备100具有解块滤波器111和帧存储器112。另外，图像处理设备100具有选择单元113，帧内预测单元114，运动预测/补偿单元115和选择单元116。此外，图像编码设备100具有速率控制单元117。

A/D转换单元101进行输入的图像数据的A/D转换，然后输出给屏幕重排缓冲器102并保存。屏幕重排缓冲器102按照GOP(图像组)结构，把按照保存的显示顺序的各帧的图像重排成用于编码的各帧的顺序。屏幕重排缓冲器102把帧顺序已被重排的图像提供给计算单元103、帧内预测单元114和运动预测/补偿单元115。

计算单元103从读取自屏幕重排缓冲器102的图像中减去从选择单元116供给的预测图像，然后把差分信息输出给正交变换单元104。例如，就对其进行了帧内编码的图像来说，计算单元103把从帧内预测单元114供给的预测图像和从屏幕重排缓冲器102读出的图像相加。另外，例如，在进行帧间编码的情况下，计算单元103把从运动预测/补偿单元115供给的预测图像和从屏幕重排缓冲器102读出的图像相加。

正交变换单元104对来自计算单元103的差分信息进行正交变换，比如离散余弦变换，Karhunen Lo éve变换等，并把变换系数提供给量化单元105。量化单元105量化正交变换单元104输出的变换系数。量化单元105把量化的变换系数提供给无损编码单元106。

无损编码单元106对量化的变换系数进行无损编码，比如变长编码、算术编码等等。

无损编码单元106从帧内预测单元114获得指示帧内预测的信息、与后面说明的预测平面相关的参数(平面参数)等，并从运动预测/补偿单元115获得指示帧间预测模式的信息等。注意，指示帧内预测的信息下面也被称为帧内预测模式信息。另外，指示帧间预测模式的信息下面也被称为帧间预测模式信息。

无损编码单元106对量化的变换系数编码，还把滤波系数，帧内预测模式信息，帧间预测模式信息，量化参数和平面参数等作为编码数据中的头部信息的一部分(复用)。无损编码单元106把通过编码获得的编码数据提供给存储缓冲器107，以便存储。

例如，借助无损编码单元106，进行无损编码处理，比如变长编码，算术编码等。变长编码的例子包括由H.264/AVC格式确定的CAVLC(上下文自适应变长编码)。算术编码的例子包括CABAC(上下文自适应二进制算术编码)。

存储缓冲器107临时保存从无损编码单元106供给的编码数据，并在预定时刻把所述编码数据作为用H.264/AVC格式编码的编码图像，输出给图中未示出的下游的记录设备或者传输路径等。

另外，从量化单元105输出的量化的变换系数还被输入反量化单元108。反量化单元108用与在量化单元105的量化对应的方法，进行量化的变换系数的反量化，然后把获得的变换系数提供给逆正交变换单元109。

逆正交变换单元109用与正交变换单元104的正交变换处理对应的方法，进行供给的变换系数的逆正交变换。经过逆正交变换的输出被提供给计算单元110。

计算单元110把从逆正交变换单元109供给的逆正交变换结果，即，恢复的差分信息与从选择单元116供给预测图像相加，从而获得局部解码图像(解码图像)。在差分信息对应于将对其进行帧内编码的图像的情况下，计算单元110把从帧内预测单元114供给的预测图像和差分信息相加。另外，例如，在差分信息对应于将对其进行帧间编码的图像的情况下，计算单元110把从运动预测/补偿单元115供给的预测图像和所述差分信息相加。

加法结果被提供给解块滤波器111或帧存储器112。

解块滤波器111通过酌情进行解块滤波器处理，从解码图像中消除块噪声，还通过利用维纳滤波器(Wiener滤波器)，酌情进行循环滤波处理，进行图像质量改善。解块滤波器111进行每个像素的类别分类，并对每个类别进行适当的滤波处理。解块滤波器111随后把滤波处理结果提供给帧存储器112。

帧存储器112在预定时刻，通过选择单元113，把保存的参考图像输出给帧内预测单元114或运动预测/补偿单元115。

例如，就将对其进行帧内编码的图像来说，帧存储器112经选择单元113，把参考图像提供给帧内预测单元114。另外，例如，就将对其进行帧间编码的图像来说，帧存储器112经选择单元113，把参考图像提供给运动预测/补偿单元115。

就图像编码设备100来说，例如。来自屏幕重排缓冲器102的I图像、B图像和P图像作为将经历帧内预测(也称为帧内处理)的图像被提供给帧内预测单元114。另外，从屏幕重排缓冲器102读出的B图像和P图像作为将经历帧间预测(也称为帧间处理)的图像被提供给运动预测/补偿单元115。

就将对其进行帧内编码的图像来说，选择单元113把从帧存储器112供给的参考图像提供给帧内预测单元114，就将对其进行帧间编码的图像来说，选择单元113把从帧存储器112供给的参考图像提供给运动预测/补偿单元115。

帧内预测单元114利用屏幕内的像素值，进行帧内预测(屏幕内预测)，从而生成预测图像。帧内预测单元114利用多种模式(帧内预测模式)进行帧内预测。

帧内预测模式包括根据经选择单元113，从帧存储器112供给的参考图像，生成预测图像的模式。帧内预测模式还包括利用从屏幕重排缓冲器102读出的帧内预测用图像本身(待处理块的像素值)，生成预测图像的模式。

帧内预测单元114按所有帧内预测模式生成预测图像，评估预测图像和选择最佳模式。当选择最佳帧内预测模式时，帧内预测单元114把按该最佳模式生成的预测图像经选择单元116提供给计算单元103。

另外，如上所述，帧内预测单元114酌情把诸如指示采用的帧内预测模式的帧内预测模式信息，预测图像的平面参数之类的信息提供给无损编码单元106。

就待经历帧间编码的图像来说，运动预测/补偿单元115利用从屏幕重排缓冲器102供给的输入图像，和经选择单元113，从帧存储器112供给的充当参考图像的解码单元，计算运动向量。运动预测/补偿单元115按照计算的运动向量，进行运动补偿处理，从而生成预测图像(帧间预测图像信息)。

运动预测/补偿单元115进行所有候选帧间预测模式的帧间预测处理，从而生成预测图像。运动预测/补偿单元115经选择单元116，把生成的预测图像提供给计算单元103。

运动预测/补偿单元115把指示采用的帧间预测模式的帧间预测模式信息，和指示计算的运动向量的运动向量信息提供给无损编码单元106。

就进行帧内编码的图像来说，选择单元116把帧内预测单元114的输出提供给计算单元103，在进行帧间编码的情况下，选择单元116把运动预测/补偿单元115的输出提供给计算单元103。

速率控制单元117根据保存在存储缓冲器107中的压缩图像，控制量化单元105的量化操作的速率，使得不发生上溢或下溢。

[宏块]

图2是图解说明H.264/AVC格式中的运动预测/补偿的块大小的例子的示图。就H.264/AVC格式来说，在块大小可变的情况下，进行运动预测/补偿。

在图2中的上层，从左侧起顺序表示了由分割成16×16像素、16×8像素、8×16像素和8×8像素分区的16×16像素构成的宏块。另外，在图5中的下层，从左侧起顺序表示了由分割成8×8像素、8×4像素、4×8像素和4×4像素子分区的8×8像素构成的块。

即，就H.264/AVC格式来说，一个宏块可被分割成16×16像素、16×8像素、8×16像素和8×8像素之一的分区，同时每个分区具有独立的运动向量信息。另外，8×8像素分区可被分割成8×8像素、8×4像素、4×8像素和4×4像素之一的子分区，同时每个子分区具有独立的运动向量信息。

[帧内预测单元]

图3是图解说明图1中的帧内预测单元114的主要结构例子的方框图。

如图3中所示，帧内预测单元114包括预测图像生成单元131，平面预测图像生成单元132，成本函数计算单元133和模式判定单元134。

如前所述，帧内预测单元114具有利用从帧存储器112获得的参考图像(周围的像素)，生成预测图像的模式，和利用待处理图像本身，生成预测图像的模式。其中，预测图像生成单元131按照使用从帧存储器112获得的参考图像(周围的像素)的模式，生成预测图像。另一方面，平面预测图像生成单元132按照利用待处理图像本身的模式，生成预测图像。

预测图像生成单元131或平面预测图像生成单元132生成的预测图像被提供给成本函数计算单元133。

成本函数计算单元133计算4×4像素、8×8像素和16×16像素的每种帧内预测模式对于利用预测图像生成单元131生成的预测图像的成本函数值。另外，成本函数计算单元133计算16×16像素帧内预测模式对于利用平面预测图像生成单元132生成的预测图像的成本函数值。

现在，根据高复杂性模式或低复杂性模式的技术之一，进行成本函数值的计算。这些模式是在作为H.264/AVC格式中的参考软件的JM(联合模型)中确定的。

具体地说，在高复杂性模式下，关于所有候选预测模式，试验性地一直进行到编码处理。关于预测模式，计算用以下表达式(1)表示的成本函数值，提供最小成本函数值的预测模式被选为最佳预测模式。

Cost(Mode)=D+λ·R ...(1)

在表达式(1)中，D代表原始图像和解码图像之间的差分(失真)，R代表包括正交变换系数的生成代码量，λ是作为量化参数QP的函数提供的LaGrange乘数。

另一方面，在低复杂性模式下，关于所有候选预测模式，生成预测图像，并计算到运动向量信息、预测模式信息、标记信息等的头部比特。关于预测模式，计算用以下表达式(2)表示的成本函数值，提供最小成本函数值的预测模式被选为最佳预测模式。

Cost(Mode)=D+QPtoQuant(QP)+Header_Bit...(2)

在表达式(2)中，D代表原始图像和解码图像之间的差分(失真)，Header_Bit代表关于预测模式的头部比特，QPtoQuant是作为量化参数QP的函数给出的函数。

在低复杂性模式下，只需要对于所有预测模式，生成预测图像，不必进行编码处理和解码处理，因而，能够减少计算量。

成本函数计算单元133把按照这种方式计算的成本函数值提供给模式判定单元134。模式判定单元134根据供给的成本函数值，选择最佳帧内预测模式。即，从帧内预测模式中选择其成本函数值最小的模式，作为最佳帧内预测模式。

模式判定单元134酌情经选择单元166，把选为最佳帧内预测模式的预测模式的预测图像提供给计算单元103和计算单元110。另外，模式判定单元134把预测模式的信息提供给无损编码单元106。

此外，在平面预测图像生成单元132的预测模式被选为最佳帧内预测模式的情况下，模式判定单元134从平面预测图像生成单元132获得平面参数，然后提供给无损编码单元106。

[正交变换]

图4说明正交变换如何工作的例子的示图。

就图4的例子来说，附加于各个块的数字-1～25代表各个块的比特流序列(在解码方的处理序列)。注意，就亮度信号来说，宏块被分成4×4像素，进行4×4像素的DCT。只有在帧内16×16预测模式的情况下，如在块-1中所示，才收集各个块的DC分量，生成4×4矩阵，然后进一步对其进行正交变换。

另一方面，就色差信号来说，在宏块被分成4×4像素，并进行4×4像素的DCT之后，如在块16和17中所示，收集各个块的DC分量，生成2×2像素，然后进一步对其进行正交变换。

注意，就帧内8×8预测模式来说，这只适用于当前宏块经历具有高规格(high profile)以上的8×8正交变换的情况。

[帧内预测模式]

现在说明预测图像生成单元131的预测处理。就在H.264/AVC格式中规定的AVC来说，预测图像生成单元131用帧内4×4预测模式、帧内8×8预测模式和帧内16×16预测模式等3种模式，对亮度信号进行帧内预测。这些模式是是确定块单元的模式，并对每个宏块设定这些模式。另外，可以与每个宏块的亮度信号无关地对色差信号设定帧内预测模式。

此外，在帧内4×4预测模式的情况下，如图5中所示，对于每个4×4像素对象块，可从9种预测模式当中设定一种预测模式。在帧内8×8预测模式的情况下，如图6中所示，对于每个8×8像素对象块，可从9种预测模式当中设定一种预测模式。另外，在帧内16×16预测模式的情况下，如图7中所示，对于16×16像素对象宏块，可从4种预测模式当中设定一种预测模式。

注意在下面，帧内4×4预测模式，帧内8×8预测模式和帧内16×16预测模式也酌情分别被称为4×4像素帧内预测模式，8×8像素帧内预测模式和16×16像素帧内预测模式。

图7是表示亮度信号的4种16×16像素帧内预测模式(Intra_16×16_pred_mode)

将经历帧内处理的当前宏块用A表示，P(x,y);x,y=-1,0,…,15表示与当前宏块A相邻的像素的像素值。

模式0是垂直预测模式，只有当P(x,-1);x,y=-1,0,…,15“可用”时才适用。这种情况下，如同以下表达式(3)一样，生成当前宏块A的每个像素的预测像素值Pred(x,y)。

Pred(x,y)=P(x,-1);x,y=0,…,15 ...(3)

模式1是水平预测模式，只有当P(-1,y);x,y=-1,0,…,15“可用”时才适用。这种情况下，如同以下表达式(4)一样，生成当前宏块A的每个像素的预测像素值Pred(x,y)。

Pred(x,y)=P(-1,y);x,y=0,…,15 ...(4)

模式2是DC预测模式，在所有的P(x,-1)和P(-1,y);x,y=-1,0,…,15都“可用”的情况下，如同以下表达式(5)一样，生成当前宏块A的每个像素的预测像素值Pred(x,y)。

[数学表达式1]

Pred (x, y) = [Σ_{x^{'} = 0}^{15} P (x^{'}, - 1) + Σ_{y^{'} = 0}^{15} P (- 1, y^{'}) + 16] > > 5

with x，y＝0，…，15 …(5)

另外，在P(x,-1);x,y=-1,0,…,15“不可用”的情况下，如同以下表达式(6)一样，生成当前宏块A的每个像素的预测像素值Pred(x,y)。

[数学表达式2]

Pred (x, y) = [Σ_{y^{'} = 0}^{15} P (- 1, y^{'}) + 8] > > 4, with x, y = 0, . . ., 15 . . . (6)

在P(-1,y);x,y=-1,0,…,15“不可用”的情况下，如同以下表达式(7)一样，生成当前宏块A的每个像素的预测像素值Pred(x,y)。

[数学表达式3]

Pred (x, y) = [Σ_{y^{'} = 0}^{15} P (x^{'}, - 1) + 8] > > 4, with x, y = 0, . . ., 15 . . . (7)

在所有P(x,-1)和P(-1,y);x,y=-1,0,…,15都“不可用”的情况下，采用128作为预测像素值。

模式3是平面预测模式，只有当所有P(x,-1)和P(-1,y);x,y=-1,0,…,15都“可用”时才适用。这种情况下，如同以下表达式(8)一样，生成当前宏块A的每个像素的预测像素值Pred(x,y)。

[数学表达式4]

Pred(x，y)＝Clip1((a+b·(x-7)+c·(y-7)+16)＞＞5)

a＝16·(P(-1，15)+P(15，-1))

b＝(5·H+32)＞＞6

c＝(5·V+32)＞＞6

H = Σ_{x = 1}^{8} x \cdot (P (7 + x, - 1) - P (7 - x, - 1))

V = Σ_{y = 1}^{8} y \cdot (P (- 1,7 + y) - P (- 1,7 - y)) . . . (8)

可以与亮度信号的帧内预测模式无关地设定色差信号的帧内预测模式。关于色差信号的帧内预测模式与亮度信号的上述16×16像素帧内预测模式一致。

不过，亮度信号的16×16像素帧内预测模式以16×16像素块作为对象，而另一方面，关于色差信号的帧内预测模式以8×8像素块作为对象。

如上所述，亮度信号的帧内预测模式包括9种的4×4像素和8×8像素块单元的预测模式，和4种的16×16像素宏块单元的预测模式。对每个宏块单元设定这些块单元的模式。色差信号的帧内预测模式包括4种的8×8像素块单元的预测模式。可以与亮度信号的帧内预测模式无关地设定色差信号的帧内预测模式。

另外，就亮度信号的4×4像素帧内预测模式(帧内4×4预测模式)和8×8像素帧内预测模式(帧内8×8预测模式)来说，对每个4×4像素和8×8像素亮度信号块，设定一种帧内预测模式。就亮度信号的16×16像素帧内预测模式(帧内16×16预测模式)和色差信号的帧内预测模式来说，对于一个宏块设定一种预测模式。

[平面预测图像生成单元]

在上面的16×16像素帧内预测模式的模式3(平面预测模式)的情况下，根据与待处理块相邻的少量像素，预测待处理块的平面。从帧存储器112供给的参考图像的像素值被用于相邻的像素值。此外，解码图像的像素值将被用于解码处理。因而，这种模式的预测精度不高，存在编码效率也低的顾虑。

另一方面，平面预测图像生成单元132利用输入图像(原始图像)的待处理块的像素值进行预测，从而提高预测精度和提高编码效率。不过，这种情况下，解码方不能获得原始图像，从而指示预测平面的参数(平面参数)被传给解码方。

图8是图解说明图3中的平面预测图像生成单元132的主要结构例子的方框图。

如图8中所示，平面预测图像生成单元132包括平面近似单元151、平面生成单元152、预测编码单元153和熵编码单元154。

平面近似单元151在平面上近似从屏幕重排缓冲器102读出的待处理块的像素值。即，平面近似单元151获得近似待处理块的像素值的平面。更具体地说，平面近似单元151获得代表近似待处理块的像素值的平面(近似平面)的函数的系数。代表所述近似平面的函数的系数将被称为平面参数。当获得平面参数时，平面近似单元151把获得的平面参数提供给平面生成单元152和预测编码单元153。

平面生成单元152获得用供给的平面参数表示的平面上的像素值。该平面是近似待处理块的像素值的平面。即，平面生成单元152获得像素值的近似值(平面上的值)，从而生成待处理块上的平面。通过利用像素值表示该平面，平面生成单元152能够把像素组提供给成本函数计算单元133。

在平面近似单元151获得的平面参数是解码处理所必需的，因而被传送给解码方。现在，为了使传输更容易，平面预测图像生成单元132进行平面参数的熵编码。另外，在进行熵编码之前，平面预测图像生成单元132通过根据其它信息预测平面参数的值，从而进一步减少平面参数的数据量。

预测编码单元153进行供给的平面参数的预测编码，从而减少其数据量。预测编码单元153预测平面参数的值，获得预测值和实际的平面参数值之间的差分，从而减少数据量。预测编码单元153把编码结果(编码的平面参数)提供给熵编码单元154。

熵编码单元154进行编码的平面参数的进一步熵编码。熵编码单元154把编码数据提供给模式判定单元134。

[近似平面]

现在说明平面近似。图9是图解说明近似平面的例子的示图。如上所述，平面近似单元151生成近似待处理块的像素值的平面(近似平面)。如图9中所示，在XYZ空间中，该近似平面161用以下的表达式(9)似的函数表示。

Z=aX+bY+c ...(9)

注意，XY表面表示待处理块的像素的坐标，Z轴表示像素值。即，通过获得表达式(9)的参数a，b和c，平面近似单元151获得近似平面161。

[平面参数]

通过求出待处理块本身的像素值的最小二乘方，获得近似平面161。图10是图解说明计算平面参数a，b和c的例子的示图。

例如，如果假定块大小为16×16，并且具有j i平面，那么获得平面161上的像素值f(j,i)的目标函数如以下的表达式(10)中所示。

f(j,i)=aj+bi+c ...(10)

因而，如以下的表达式(11)中所示，给出获得指示近似平面161和实际像素值之间的差分的误差值的误差函数。

[数学表达式5]

E (a, b, c) = \underset{j, i}{Σ} {(f (j, i) - P_{ji})}^{2}

= \underset{j, i}{Σ} {(a \cdot j + b \cdot i + c - P_{ji})}^{2} . . . (11)

求出使得误差值最小的平面参数a,b,c，可得到如在以下表达式(12)中所示的平面参数a,b,c。

[数学表达式6]

[\begin{matrix} a \\ b \\ c \end{matrix}] = [\begin{matrix} \frac{1}{5440} S_{1} \\ \frac{1}{5440} S_{2} \\ \frac{1}{256} S_{3} \end{matrix}] . . . (12)

不过注意，变量如在以下表达式(13)中所示。

[数学表达式7]

[\begin{matrix} S_{1} \\ S_{2} \\ S_{3} \end{matrix}] = [\begin{matrix} Σ_{i = - 7.5}^{7.5} Σ_{j = 0.5}^{7.5} j (P_{ji} - P_{- ji}) \\ Σ_{j = - 7.5}^{7.5} Σ_{i = 0.5}^{7.5} i (P_{ji} - P_{j (- i)}) \\ Σ_{j = - 7.5}^{7.5} Σ_{i = 7.5}^{7.5} P_{ji} \end{matrix}] . . . (13)

注意，利用图像编码设备100的输入图像(即原始图像)的数据足以满足近似平面161的计算(预测)。例如，待处理块的周围像素也可用于近似平面161的计算。就图11中的例子来说，平面参数是利用包括待处理块的17×17像素获得的。在这种情况下，平面参数同样是通过按照和图10中的情况相同的方式，求出最小二乘方获得的。

这种情况下，求出使得误差值最小的平面参数a,b,c，可得到如在以下表达式(14)中所示的平面参数a,b,c。

[数学表达式8]

[\begin{matrix} a \\ b \\ c \end{matrix}] = [\begin{matrix} \frac{1}{6936} S_{1} \\ \frac{1}{6936} S_{2} \\ \frac{1}{289} S_{3} \end{matrix}] . . . (14)

不过注意，变量S1,S2和S 3如在以下的表达式(15)中所示。

[数学表达式9]

[\begin{matrix} S_{1} \\ S_{2} \\ S_{3} \end{matrix}] = [\begin{matrix} Σ_{i = - 8}^{8} Σ_{j = 1}^{8} j (P_{ji} - P_{- ji}) \\ Σ_{j = - 8}^{8} Σ_{i = 1}^{8} i (P_{ji} - P_{j (- i)}) \\ Σ_{j = - 8}^{8} Σ_{i = 8}^{8} P_{ji} \end{matrix}] . . . (15)

平面生成单元152获得代表用如上所述生成的平面参数指示的平面161的像素值。

注意，获得平面161的方式是任意的。例如，平面近似单元151可用除利用最小二乘方以外的方法，获得平面161的平面参数。

[预测编码单元]

如上所述获得的平面参数a,b,c都具有值，仍有利用编码，减少数据量的余地。特别地，参数c是平面161的DC分量，从而其值极大的可能性高，从而利用预测编码，能够减小数据量的可能性高。

现在，一般来说，其中利用诸如16×16像素帧内预测模式的模式3(平面预测模式)之类平面预测的预测编码的编码效率的情况是图像的频率分量较低的情况。例如，将在图像逐渐变化的部分中，比如出现梯度的部分采用这种模式的可能性高。

即，在平面预测有用的部分，在待处理块和相邻块之间，图像的性质之间的相关性很可能较高。换句话说，待处理块的平面参数和相邻块的平面参数之间的相关性也很可能较高。

预测编码单元153利用这样的性质，根据过去计算的待处理块的相邻块的平面参数，预测待处理块的平面参数，然后计算其预测值和实际获得的平面参数的值之间的差分。

图12是图解说明图8中所示的预测编码单元153的主要结构例子的方框图。如图12中所示，预测编码单元153具有存储单元171，相邻块参数获取单元172，预测计算单元173和编码单元174。

存储单元171保存利用平面近似单元151获得的平面参数a,b,c。保存在存储单元171中的平面参数a,b,c很可能在稍后被用于另一个待处理块。即，存储单元171保存在过去获得的相邻块的平面参数a,b,c。

当从平面近似单元151供给待处理块的平面参数时，相邻块参数获取单元172从存储单元171，获得在过去获得的待处理块的相邻块的平面参数a,b,c。相邻块参数获取单元172把获得的相邻块参数提供给预测计算单元173。

预测计算单元173利用相邻块平面参数计算待处理块的平面参数的预测值。预测计算单元173把计算的预测值提供给编码单元174。

编码单元174获得从平面近似单元151供给的平面参数和从预测计算单元173供给的预测值之间的差分。编码单元174把差分值作为预测编码结果提供给熵编码单元154。

下面，说明预测计算单元173的预测值计算方法。预测值计算方法本质上是可选的。

例如，如图13中所示，假定利用平面近似单元151获得的待处理块181的平面参数是(a0,b0,c0)。假定在待处理块181的对角左上方的块182的平面参数是(a1,b1,c1)。还假定在待处理块181上方的块183的平面参数是(a2,b2,c2)。另外假定与待处理块181的左侧邻接的块184的平面参数是(a3,b3,c3)。还假定的平面参数的预测值为(a',b',c')。

预测计算单元173把块182-块184的平面参数的平均值作为待处理块181的平面参数的预测值。例如，如在以下面的表达式(16)中所示，预测计算单元173关于每个平面参数a,b,c，获得相邻块的平均值，把这些平均值作为预测值(图13中的1))。

a'=mean(a1,a2,a3)

b'=mean(b1,b2,b3)

c'=mean(c1,c2,c3) ...(16)

预测计算单元173利用这些预测值计算预测编码结果(a″,b″,c″)，如下面的表达式(17)一样。

a″=a0-a'

b″=b0-b'

c″=c0-c' ...(17)

注意，例如，块182-块184的平面参数的中值可被作为预测值。这种情况下，如下面的表达式(18)中一样，预测计算单元173关地每个平面参数a,b,c，获得相邻块的中值，例如(图13中的2))。

a'=median(a1,a2,a3)

b'=median(b1,b2,b3)

c'=med i an(c1,c2,c 3) ...(18)

另外，预测计算单元173可利用块182-块184的平面参数的值，用如以下表达式(19)中的计算获得待处理块的预测值(图13中的3))。

a'=a3+a2-a1

b'=b3+b2-b1

c'=c3+c2-c1 ...(19)

此外，预测计算单元173可利用块182-块184的平面参数的值，用如以下表达式(20)中的计算获得待处理块的预测值(图13中的4))。

a'=a3+(a2-a1)/2

b'=b3+(b2-b1)/2

c'=c3+(c2-c1)/2 ...(20)

另外，预测计算单元173可利用块182-块184的平面参数的值，用如以下表达式(21)中的计算获得待处理块的预测值(图13中的5))。

a'=a2+(a3-a1)/2

b'=b2+(b3-b1)/2

c'=c2+(c3-c1)/2 ...(21)

此外，预测计算单元173可利用块182-块184的平面参数的值，用如以下表达式(22)中的计算获得待处理块的预测值(图13中的6))。

a'=(a3+a2)/2

b'=(b3+b2)/2

c'=(c3+c2)/2 ...(22)

另外，例如，如在以下表达式(23)中所示，预测计算单元173可按照块182-块184的平面参数的值的条件，设定待处理块的预测值(图13中的7))。

如果|a1-a3|<|a1-a2|，那么

a'=a2

b'=b2

c'=c2

如果|a1-a3|>|a1-a2|，那么

a'=a3

b'=b3

c'=c3 ...(23)

此外，可以利用除上述之外的方法获得预测值。另外，预测计算单元173可以用多种方法获得预测值，并选择预测值计算结果中的最佳者(例如，最接近平面参数(a0,b0,c0)的值)。

[熵编码单元]

如上所述，熵编码单元对已被预测编码的平面参数熵编码。图14是图解说明图8中的熵编码单元154的主要结构例子的方框图。

如图14中所示，熵编码单元154包括上下文生成单元191，二进制编码单元192和CABAC(基于上下文的自适应二进制算术编码)193。

上下文生成单元191按照从预测编码单元153供给的预测编码的结果，和周围块的状态，生成一个或多个上下文，并定义每种上下文的概率模型。

二进制编码单元192使从上下文生成单元191输出的上下文输出二进制化。CABAC 193进行二进制化上下文的算术编码。从CABAC 193输出的编码数据(编码平面参数)被提供给模式判定单元134。另外，CABAC 193根据编码结果，更新上下文生成单元191的概率模型。

[编码处理]

下面说明由如上所述的图像编码设备100进行的处理的流程。首先，参考图15的流程图，说明编码处理的流程的例子。

在步骤S101，A/D转换单元101把输入图像从模拟转换成数字。在步骤S102，屏幕重排缓冲器102保存从A/D转换单元101供给的图像，并进行从用于显示图像的顺序到用于编码的顺序的重排。

在步骤S103，帧内预测单元114和运动预测/补偿单元115均进行图像的预测处理。即，在步骤S103，帧内预测单元114进行帧内预测模式帧内预测处理。运动预测/补偿单元115进行帧间预测模式运动预测/补偿处理。

在步骤S104，选择单元116根据从帧内预测单元114和运动预测/补偿单元115输出的成本函数值，决定最佳预测模式。即，选择单元116选择由帧内预测单元114生成的预测图像或者由运动预测/补偿单元115生成的预测图像。

另外，预测图像的选择信息被提供给帧内预测单元114或者运动预测/补偿单元115。在选择了最佳帧内预测模式的预测图像的情况下，帧内预测单元114把指示该最佳帧内预测模式的信息(即，帧内预测模式信息)提供给无损编码单元106。

此外，如果利用原始图像进行预测的平面预测图像生成单元132的预测模式被选为最佳帧内预测模式，那么帧内预测单元114还把预测平面参数的编码数据提供给无损编码单元106。

如果选择了最佳帧间预测模式的预测图像，那么运动预测/补偿单元115把指示最佳帧间预测模式的信息，和与最佳帧间预测模式相应的信息(必要时)输出给无损编码单元106。与最佳帧间预测模式相应的信息的例子包括运动向量信息，标记信息和参考帧信息等。

在步骤S105，计算单元103计算在步骤S102中重排的图像和利用步骤S103中的预测处理获得的预测图像之间的差分。在进行帧间预测的情况下，预测图像从运动预测/补偿单元115经选择单元116被提供给计算单元103，而在进行帧内预测的情况下，预测图像从帧内预测单元114经选择单元116被提供给计算单元103。

与原始图像数据相比，差分数据数据量较少。因而，与原样编码原始图像的情况相比，能够压缩数据量。

在步骤S106，正交变换单元104对从计算单元103供给的差分信息进行正交变换。具体地说，进行诸如离散余弦变换，Karhunen-Lo éve变换之类的正交变换，从而输出变换系数。在步骤S107，量化单元105量化变换系数。

在步骤S108，无损编码单元106对从量化单元105输出的量化变换系数编码。即，差分图像(在帧间预测的情况下，2次差分图像)经历诸如变长编码或算术编码之类的无损编码。

注意，无损编码单元106对与利用步骤S104中的处理选择的预测图像的预测模式相关的信息编码，并添加到通过编码差分图像而获得的编码数据的头部信息中。

即，无损编码单元106还编码从帧内预测单元114供给的帧内预测模式信息，或者与从运动预测/补偿单元115供给的最佳帧间预测模式相应的信息等，并将其添加到头部信息中。另外，在从帧内预测单元114供给平面参数的编码数据的情况下，无损编码单元106还把该编码数据添加到编码数据的头部信息等中。

在步骤S109，存储缓冲器107保存从无损编码单元106输出的编码数据。保存在存储缓冲器107中的编码数据被酌情读出，并通过传输路径传给解码方。

在步骤S110，速率控制单元117根据保存在存储缓冲器107中的压缩图像，控制量化单元105的量化操作的速率，使得不发生上溢或下溢。

另外，利用步骤S107中的处理量化的差分信息如下被本地解码。即，在步骤S111，反量化单元108利用与量化单元105的特性对应的特性，对利用量化单元105量化的变换系数进行反量化。在步骤S112，逆正交变换单元109利用与正交变换单元104的特性对应的特性，对经过反量化单元108的反量化的变换系数进行逆正交变换。

在步骤S113，计算单元110相加经选择单元116输入的预测图像和本地解码的差分信息，从而生成本地解码的图像(与计算单元103的输入对应的图像)。在步骤S114，解块滤波器111对从计算单元110输出的图像进行滤波。从而，块失真被消除。在步骤S115，帧存储器112保存经过滤波的图像。注意，未经过解块滤波器111的滤波处理的图像也从计算单元110被提供给帧存储器112，以便保存。

[预测处理]

下面参考图16中的流程图，说明在图15的步骤S103中执行的预测处理的流程的例子。

在步骤S131，帧内预测单元114利用所有的候选帧内预测模式，进行待处理块的像素的帧内预测。注意帧内预测模式既包括利用从帧存储器112供给的参考图像进行预测的模式，又包括利用从屏幕重排缓冲器102获得的原始图像，进行预测的模式。另外，在利用从帧存储器112供给的参考图像进行预测的情况下，未经过解块滤波器111的解块滤波的像素被用作待参考的解码像素。

如果从屏幕重排缓冲器102供给的待处理图像是用于帧间处理的图像，那么从帧存储器112读出待参考的图像，并经选择单元113提供给运动预测/补偿单元115。根据这些图像，在步骤S132，运动预测/补偿单元115进行帧间运动预测处理。即，运动预测/补偿单元115参考从帧存储器112供给的图像，按照所有的候选帧间预测模式进行运动预测处理。

在步骤S133，运动预测/补偿单元115把产生在步骤S132中计算的帧间预测模式的成本函数值中的最小值的预测模式判定为最佳帧间预测模式。运动预测/补偿单元115随后把用于帧间处理的图像和按最佳帧间预测模式生成的2次差分信息之间的差分，和最佳帧间预测模式的成本函数值提供给选择单元116。

[帧内预测处理]

图17是说明在图16的步骤S131中进行的帧内预测处理的流程的例子的流程图。

当开始帧内预测处理时，在步骤S151，预测图像生成单元131按照每种模式，利用从帧存储器112供给的参考图像的相邻块的像素，生成预测图像。

在步骤S152，平面预测图像生成单元132利用从屏幕重排缓冲器102供给的原始图像(原始图像)，生成预测图像。

在步骤S153，成本函数计算单元133计算每种模式的成本函数值。

在步骤S154，模式判定单元134根据利用步骤S153中的处理计算的每种模式的成本函数值，判定帧内处理模式的最佳模式。

在步骤S155，模式判定单元134根据利用步骤S153中的处理计算的每种模式的成本函数值，选择最佳的帧内预测模式。

模式判定单元134把按照选为最佳帧内预测模式的模式生成的预测图像提供给计算单元103和计算单元110。另外，模式判定单元134把指示选择的预测模式的信息提供给无损编码单元106。此外，在选择了其中利用原始图像生成预测图像的模式的情况下，模式判定单元134还把平面参数的编码数据提供给无损编码单元106。

当步骤S155的处理结束时，帧内预测单元114使处理返回图16中的步骤S131，然后执行步骤S132及之后的处理。

[预测图像生成处理]

下面参考图18的流程图，说明在图17的步骤S152中执行的预测图像生成处理的流程的例子。

当开始预测图像生成处理时，在步骤S171，平面近似单元151(图8)通过利用从屏幕重排缓冲器102读出的原始图像，如上所述求出最小二乘方，进行平面近似，从而获得近似待处理块的像素值的平面的平面参数。

在步骤S172，平面生成单元152获得用步骤S171中的处理获得的平面参数指示的平面上的像素值，作为预测值。在步骤S173，预测编码单元153进行利用S171中的处理生成的平面参数的预测编码。

在步骤S174，熵编码单元154进行预测编码结果的熵编码。当熵编码结束时，平面预测图像生成单元132使处理返回图17中的步骤S152，以便执行步骤S153及之后的处理。

[预测编码处理]

下面参考图19中的流程图，说明在图18的步骤S173中执行的预测编码处理的流程的例子。

当开始预测编码处理时，在步骤S191，预测编码单元153的存储单元171(图12)保存利用图18中的步骤S171的处理获得的平面参数。

在步骤S192，相邻块参数获取单元172获得保存在存储单元171中的相邻块的平面参数。在步骤S193，预测计算单元173利用相邻块的平面参数，进行如上所述的预测计算，从而计算待处理块的平面参数的预测值。

在步骤S194，编码单元174获得在步骤S193中计算的预测值，和利用图18中的步骤S171的处理获得的平面参数之间的差分(残差)，然后把所述残差作为预测编码结果(编码数据)，提供给熵编码单元154。

当步骤S194的处理结束时，预测编码单元153使处理返回图18中的步骤S173，以便执行步骤S174及之后的处理。

如上所述，平面预测图像生成单元132利用原始图像本身，进行平面近似，从而与帧内预测模式的常规模式(平面预测模式)的情况相比，能够提高预测精度。提供这样的模式作为帧内预测模式使图像编码设备100的编码效率能够被提高。注意，作为传送平面参数的方法，上面说明了在编码数据的头部信息中复用平面参数，不过，平面参数的存储位置是可选的。例如，平面参数可被保存在诸如SEI(附加增强信息)之类的参数集(例如，序列或图像头部等)中。另外，平面参数可以独立于编码数据(作为独立的文件)，从图像编码设备被传送给图像解码设备。

<2.第二实施例>

[图像解码设备]

由在第一实施例中说明的图像编码设备100编码的编码数据经预定的传输路径，被传送给对应于图像编码设备100的图像解码设备，然后被解码。

下面说明所述图像解码设备。图20是图解说明应用本发明的图像解码设备的主要结构例子的方框图。

如图20中所示，图像解码设备200由存储缓冲器201，无损解码单元202，反量化单元203，逆正交变换单元204，计算单元205，解块滤波器206，屏幕重排缓冲器207，D/A转换单元208，帧存储器209，选择单元210，帧内预测单元211，运动预测/补偿单元212和选择单元213构成。

存储缓冲器201保存传送来的编码数据。所述编码数据已由图像编码设备100编码。无损解码单元202利用与图1中的无损编码单元106的编码格式对应的格式，在预定时刻对从存储缓冲器201读出的编码数据解码。

反量化单元203利用和图1中的量化单元105的量化格式对应的格式，对通过用无损解码单元202解码而获得的系数数据进行反量化。反量化单元203把经过反量化的系数数据提供给逆正交变换单元204。逆正交变换单元204利用和图1中的正交变换单元104的正交变换格式对应的格式，对系数数据进行逆正交变换，从而获得与在图像编码设备100经过正交变换之前的残差数据对应的解码残差数据。

利用逆正交变换获得的解码残差数据被提供给计算单元205。另外，预测图像经选择单元213，从帧内预测单元211或运动预测/补偿单元212提供给计算单元205。

计算单元205相加解码残差数据和预测图像，从而获得与在图像编码设备100的计算单元103扣除预测图像之前的图像数据对应的解码图像数据。计算单元205把解码图像数据提供给解块滤波器206。

解块滤波器206除去解码图像的块噪声，随后提供给帧存储器209，以便保存，还提供给屏幕重排缓冲器207。

屏幕重排缓冲器207进行图像的重排。即，利用图1的屏幕重排缓冲器102为编码而重排的各帧的顺序被重排成原始显示顺序。D/A转换单元208进行从屏幕重排缓冲器207供给的图像的D/A转换，然后输出给未示出的显示器以进行显示。

选择单元210从帧存储器209读出帧间预测用图像和参考用图像，然后提供给运动预测/补偿单元212。另外，选择单元210从帧存储器209读出用于帧间预测的图像，然后提供给帧内预测单元211。

从无损解码单元202酌情向帧内预测单元211供给指示通过解码头部信息而获得的帧内预测模式的信息，与平面参数相关的信息等。根据所述信息，帧内预测单元211生成预测图像，然后把生成的预测图像提供给选择单元213。

运动预测/补偿单元212从无损解码单元202，接收通过解码头部信息而获得的信息(预测模式信息，运动向量信息，参考帧信息)。在被供给指示帧间预测模式的信息的情况下，运动预测/补偿单元212根据来自无损解码单元202的帧间运动向量，生成预测图像，然后把生成的预测图像提供给选择单元213。

选择单元213选择由运动预测/补偿单元212或帧内预测单元211生成的预测图像，然后提供给计算单元205。

[帧内预测单元]

图21是图解说明图20中的帧内预测单元211的主要结构例子的方框图。

如图21中所示，帧内预测单元211具有帧内预测模式判定单元221，预测图像生成单元222，熵解码单元223，预测解码单元224和平面生成单元225。

帧内预测模式判定单元221根据从无损解码单元202供给的信息，判定帧内预测模式。就利用参考图像生成预测图像的模式来说，帧内预测模式判定单元221控制预测图像生成单元222，以便生成预测单元。就根据平面参数生成预测图像的模式来说，帧内预测模式判定单元221把连同帧内预测模式的信息一起供给的平面参数提供给熵解码单元223。

预测图像生成单元222从帧存储器209获得相邻块的参考图像，并利用和图像编码设备100的预测图像生成单元131(图3)相同的方法，生成预测图像。

经帧内预测模式判定单元221提供给熵解码单元223的平面参数已在熵编码单元154(图8)经过熵处理。利用与熵编码方法对应的方法，对平面参数进行熵解码。熵解码单元223把解码的平面参数提供给预测解码单元224。

从熵解码单元223供给的平面参数已经过预测编码单元153(图8)的预测编码。预测解码单元224利用与预测编码方法对应的方法，对平面参数进行预测解码。预测解码单元224把解码的平面参数提供给平面生成单元225。

平面生成单元225利用和平面生成单元152(图8)相同的方法，生成其中用像素值表示用平面参数(a,b,c)指示的近似平面的预测图像。平面生成单元225把生成的预测图像提供给计算单元205。

[预测解码图像]

图22是图解说明图21中的预测解码单元224的主要结构例子的方框图。

如图22中所示，预测解码单元224具有相邻块参数获取单元231，预测计算单元232，解码单元233和存储单元234。该结构基本上与参照图12描述的预测编码单元153的结构相同。然而存储单元234存储解码结果。

当被供给经过预测编码的待处理块的平面参数时，相邻块参数获取单元231获得保存在存储单元234中的，与待处理块相邻的块(相邻块)的平面参数。相邻块参数获取单元231把获得的平面参数提供给预测计算单元232。

预测计算单元232进行和预测计算单元173一样的预测处理，根据被供给的相邻块的平面参数，计算待处理块的平面参数的预测值。预测计算单元232把计算的预测值提供给解码单元233。

熵解码单元233相加从预测计算单元232供给的预测值，和从熵解码单元223供给的经过预测编码的平面参数，从而解码平面参数。解码单元233把解码结果(解码的平面参数)提供给平面生成单元225。另外，解码单元233把解码的平面参数提供给存储单元234，以便保存。

[解码处理]

下面，说明由图像解码设备200进行的每个处理的流程。首先，参考图23中的流程图，说明解码处理的流程的例子。

当开始解码处理时，在步骤S201，存储缓冲器201保存传送的图像。在步骤S202，无损解码单元202解码从存储缓冲器201供给的压缩图像。具体地说，利用图1中的无损编码单元106编码的I图像、P图像和B图像被解码。

此外，运动向量信息、参考帧信息、预测模式信息(帧内预测模式或帧间预测模式)、标记信息、平面参数等也被解码。

具体地说，在预测模式信息是帧内预测模式信息的情况下，预测模式信息被提供给帧内预测单元211。在预测模式信息是帧间预测模式信息的情况下，与预测模式信息对应的运动向量信息和参考帧信息被提供给运动预测/补偿单元212。

另外，在存在平面参数的情况下，平面参数被提供给帧内预测单元211。

在步骤S203，反量化单元203利用与图1中的量化单元105的特性对应的特性，反量化利用无损解码单元202解码的变换系数。在步骤S204，逆正交变换单元204利用与图1中的正交变换单元104的性质对应的性质，对用反量化单元203反量化的变换系数进行逆正交变换变换。这意味与图1中的正交变换单元104的输入(计算单元103的输出)对应的差分信息已被解码。

在步骤S205，帧内预测单元211或运动预测/补偿单元212按照从无损解码单元202供给的预测模式信息，进行相应的图像预测处理。

即，在从无损解码单元202供给帧内预测模式信息的情况下，帧内预测单元211进行帧内预测模式帧内预测处理。另外，在还从无损解码单元202供给平面参数的情况下，帧内预测单元211利用这些平面参数进行帧内预测处理。

在从无损解码单元202供给帧间预测模式信息的情况下，运动预测/补偿单元212进行帧间预测模式运动预测处理。

在步骤S206，选择单元213选择预测图像。即，选择单元213被供给由帧内预测单元211生成的预测图像，或者由运动预测/补偿单元212生成的预测图像。选择单元213选择这些预测图像之一。选择的预测图像被提供给计算单元205。

在步骤S207，计算单元205把在步骤S206的处理中选择的预测图像和用步骤S204中的处理获得的差分信息相加。从而，原始图像被解码。

在步骤S208，解块滤波器206对从计算单元205输出的解码图像滤波。从而，消除块失真。

在步骤S209，帧存储器209保存经过滤波的解码图像。

在步骤S210，屏幕重排缓冲器207进行解码图像数据的重排。具体地说，按照原始显示顺序，重排利用图像编码设备100的屏幕重排缓冲器102(图1)为编码而重排的各帧的顺序。

在步骤S211，D/A转换单元208把来自屏幕重排缓冲器207的对其重排各帧的解码图像数据从数字转换成模拟。该图像被输出给未示出的显示器，从而显示图像。

[预测处理]

下面参考图24中的流程图，说明图23中的步骤S205中的预测处理。

当开始预测处理时，在步骤S171，无损解码单元202根据帧内预测模式信息，判定这是否已经过帧内编码。如果判定已进行了帧内编码，那么无损解码单元202把帧内预测模式信息提供给帧内预测单元211，然后处理进入步骤S232。注意如果存在平面参数，那么无损解码单元202还把平面参数提供给帧内预测单元211。

在步骤S232，帧内预测单元211进行帧内预测处理。当帧内预测处理结束时，帧内预测单元211使处理返回图23中的步骤S205，然后执行步骤S206及之后的处理。

另外，如果在步骤S231，判定进行了帧间编码，那么无损解码单元202把帧间预测模式信息提供给运动预测/补偿单元212，然后处理进入步骤S233。

在步骤S233，运动预测/补偿单元212进行帧间运动预测/补偿处理。当帧间运动预测/补偿处理结束时，运动预测/补偿单元212使流程返回图23中的步骤S205，然后执行步骤S206及之后的处理。

[帧内预测处理]

下面参考图25中的流程图，说明在图24的步骤S232中执行的帧内预测处理的流程的例子。

当开始帧内预测处理时，在步骤S251，帧内预测模式判定单元221根据从图像编码设备100供给的从原始图像(原始图像)生成的平面参数，判定这是否是其中进行预测处理的原始图像预测处理。如果根据从无损解码单元202供给的帧内预测模式，判定这是原始图像处理，那么帧内预测模式判定单元221使处理进入步骤S252。

在步骤S252，帧内预测模式判定单元221从无损解码单元202获得平面参数。

在步骤S253，熵解码单元223进行平面参数的熵解码。

在步骤S254，预测解码单元224进行经过熵解码的平面参数的解码处理。

在步骤S255，平面生成单元225获得在解码的平面参数指示的平面上的像素值。

当步骤S255的处理结束时，帧内预测单元211使流程返回图24中的步骤S232，随后重复后续处理。

另外，如果在步骤S251中判定这不是原始图像预测处理，那么帧内预测模式判定单元221使处理进入步骤S256。

在步骤S256，预测图像生成单元222从帧存储器209获得参考图像，然后根据包含在参考图像中的相邻块，进行其中进行待处理块的预测的相邻预测处理。当步骤S256的处理结束时，帧内预测单元211使处理返回图24中的步骤S232，然后重复后续处理。

[预测解码处理]

下面参考图26的流程图，说明在图25的步骤S254中执行的预测解码处理的流程的例子。

当开始预测解码处理时，在步骤S271，相邻块参数获取单元231从存储单元234，获得相邻块的平面参数。

在步骤S272，预测计算单元232利用已获得的相邻块的平面参数，进行预测计算，并预测待处理块的平面参数。

在步骤S273，熵解码单元223相加预测计算结果和经过预测编码的平面参数，以便解码。

在步骤S274，存储单元234保存解码的平面参数。

如上所述，帧内预测单元211利用从图像编码设备100供给的平面参数，生成预测图像，从而图像解码设备200能够对其中图像编码设备100按帧内预测模式利用原始图像本身进行编码的编码数据进行解码。即，图像解码设备200能够预测精度高地解码按帧内预测模式编码的编码数据。

注意，预测解码单元224能够解码经过预测编码的平面参数。即，图像解码设备200能够利用数据量减少的平面参数，进行解码处理。

另外，熵解码单元223能够对经过熵编码的平面参数解码。即，图像解码设备200能够利用数据量减少的平面参数，进行解码处理。

即，图像解码设备200能够进一步提高编码效率。

<3.第三实施例>

[预测编码单元]

就平面参数的预测编码方法来说，利用第一实施例和第二实施例说明了其中已计算的相邻块的平面参数被用于计算待处理块的平面参数的预测值，然后从实际平面参数中减去所述预测值的方法。

不过，平面参数的预测编码方法可以是除此之外的方法。例如，利用帧内16×16预测模式的模式3(平面预测模式)计算的待处理块的平面参数可用作预测值。

作为帧内16×16预测模式的模式3(下面称为平面模式)，已计算了这些平面参数，从而通过利用这些值，不需要再次计算预测值，因而能够减少关于平面参数的预测编码的负荷。

图27是图解说明这种情况下的图像编码设备100的预测编码单元153的主要结构例子的方框图。

如图27中所示，这种情况下，预测编码单元153具有平面模式平面参数获取单元301和编码单元302。

平面模式平面参数获取单元301从平面近似单元151获得待处理块的平面参数，因此获得利用预测图像生成单元131以平面模式的帧内预测生成的待处理块的平面参数。平面模式平面参数获取单元301把获得的平面模式平面参数提供给编码单元302。

编码单元302把从平面模式平面参数获取单元301供给的平面模式平面参数作为预测值，通过从平面近似单元151生成的待处理块的平面参数中减去这些预测值，编码平面参数。

即，编码单元302从平面参数a,b,c中减去相应的预测值。编码单元302把预测编码结果提供给熵编码单元154。

[预测编码处理]

下面参考图28中的流程图，说明由这样的预测编码单元153执行的预测编码处理的流程的例子。

当开始预测编码处理时，在步骤S301，平面模式平面参数获取单元301获得帧内16×16预测模式的平面模式的平面参数。

在步骤S302，编码单元302把帧内16×16预测模式的平面模式的平面参数作为预测值，获得利用平面近似单元151获得的平面参数和预测值之间的残差，作为预测编码结果。

当步骤S302的处理结束时，预测编码单元153使流程返回图18中的步骤S173，以便执行步骤S174及之后的处理。

从而，图像编码设备100能够减少平面参数的数据量，从而进一步提高编码效率。

<4.第四实施例>

[预测解码单元]

下面说明图像解码设备200，图像解码设备200对利用第三实施例中说明的图像编码设备100编码图像数据而生成的编码数据解码。

图29是图解说明这种情况下的图像解码设备200的预测解码单元224的主要结构例子的方框图。

如图29中所示，这种情况下，预测解码单元224具有平面模式平面参数生成单元321和解码单元322。

当获得经过熵解码单元223的熵解码的待处理块的平面参数时，平面模式平面参数生成单元321利用从帧存储器209供给的相邻块的参考图像，生成帧内16×16预测模式的平面模式的平面参数。

平面模式平面参数生成单元321利用和图像编码设备100的预测图像生成单元131生成帧内16×16预测模式的平面模式的平面参数的情况相同的方法，生成平面参数。平面模式平面参数生成单元321把生成的平面参数提供给解码单元322。

解码单元322把利用平面模式平面参数生成单元321生成的帧内16×16预测模式的平面模式的平面参数作为预测值。解码单元322把这些预测值和从熵解码单元223供给的待处理块的预测编码平面参数相加。

即，解码单元322把相应预测值加入平面参数a,b,和c中。解码单元322把预测解码结果提供给平面生成单元225。

[预测解码处理]

下面参考图30中的流程图，说明这种情况下，在图25的步骤S254中执行的预测解码处理的流程的例子。

当开始预测解码处理时，在步骤S321，平面模式平面参数生成单元321按帧内16×16预测模式的平面模式，获得平面参数。

在步骤S322，解码单元322相加利用步骤S321中的处理计算的帧内16×16预测模式的平面模式的平面参数和预测解码的平面参数，从而解码。

当步骤322中的处理结束时，预测解码单元224使处理返回图25中的步骤S254，以便执行步骤S255及之后的处理。

从而，预测解码单元224能够解码图像编码设备100的预测编码单元153已进行过预测编码的平面参数。

即，图像解码设备200能够减少平面参数的数据量，从而能够进一步提高编码效率。

<5.第五实施例>

[变换处理]

注意虽然上面说明了对平面参数进行预测编码，不过，也可对平面参数进行正交变换。

图31是说明变换处理如何工作的例子的示图。例如，如图31中的A中图解所示，就帧内预测模式来说，图像编码设备100对于色差信号，提取经过正交变换的2×2相邻块的CD分量，进一步作为一个2×2块，对这些CD分量进行正交变换。

利用该系统，图像编码设备100利用平面参数a,b,c生成2×2块341，然后进行块341的正交变换。2×2块341具有左上方值c，右上方值a，左下方值b和右下方值0。

通过利用平面参数，这样生成2×2块341，并进行块341的正交变换，能够使平面参数更有效地经历熵编码。即，图像编码设备100能够进一步提高编码效率。

[平面预测图像生成单元]

图32是图解说明这种情况下的平面预测图像生成单元132的结构例子的方框图。在这种情况下，平面预测图像生成单元132同样实质上具有与参考图8说明的情况相同的结构。

不过在这种情况下，变换单元363改为具有预测编码单元153。

如上参考图31中的B所述，变换单元363利用平面近似单元151生成的平面参数，生成2×2块，并进行2×2块的正交变换。变换单元363把利用正交变换获得的系数数据提供给熵编码单元154。

熵编码单元154进行从变换单元363供给的系数数据的熵编码。

[变换单元]

图33是图解说明变换单元363的主要结构例子的方框图。

如图33中所示，变换单元363具有2×2块形成单元371和正交变换单元372。

2×2块形成单元371相加值“0”和从平面近似单元151供给的平面参数a,b,c，从而形成如图31中的B中所示的2×2块。2×2块形成单元371把该2×2块提供给正交变换单元372。

正交变换单元372进行从2×2块形成单元371供给的2×2块的正交变换。正交变换单元372把生成的系数数据提供给熵编码单元154。

[预测图像生成处理]

下面参考图34中的流程图，说明利用图32中的平面预测图像生成单元132进行的预测图像生成处理的流程的另一个例子。该处理对应于参考图18中的流程图说明的预测图像生成处理。

当开始预测图像生成处理时，在步骤S341，平面近似单元151进行平面近似，从而获得平面参数。在步骤S342，平面生成单元152获得由平面参数指示的平面上的像素值。

在步骤S343，变换单元363进行利用步骤S341的处理获得的平面参数的正交变换，如图31的B中所示。在步骤S344，熵编码单元154进行在步骤S343中经过正交变换的平面参数的熵编码。

当熵编码结束时，平面预测图像生成单元132结束预测图像生成处理，使处理返回图17，以便执行步骤S153及之后的处理。

[变换处理]

下面参考图35中的流程图，说明在图34的步骤S343中执行的变换处理的流程的例子。

当开始变换处理时，在步骤S361，2×2块形成单元371相加值“0和平面参数，以便获得如在图31的B中所示的2×2块。

在步骤S362，正交变换单元372进行2×2块的正交变换。

当变换处理结束时，变换单元363使处理返回图34，以便执行步骤S345及之后的处理。

如上所述，通过利用平面参数的值形成2×2块，并进行2×2块的正交变换，平面预测图像生成单元132能够减少平面参数的数据量。即，图像编码设备100能够进一步提高编码效率。

<6.第六实施例>

[帧内预测单元]

下面，说明对通过用第五实施例中说明的图像编码设备100编码图像数据而生成的编码数据解码的图像解码设备200。

图36是图解说明这种情况下的图像解码设备200的帧内预测单元211的主要结构例子的方框图。

如图36中所示，这种情况下的帧内预测单元211具有基本上和图21中的情况相同的结构，不过具有代替预测解码单元224的逆变换单元384。

经过熵解码单元223的熵解码而获得的数据是在图像编码设备100的变换单元363(图32)经过正交变换的系数数据。

逆变换单元384利用与变换单元363对应的方法，进行从熵解码单元223供给的系数数据的逆正交变换。逆变换单元384把利用逆正交变换获得的平面参数提供给平面生成单元225。

[逆变换单元]

图37是图解说明逆变换单元384的主要结构例子的方框图。

如图37中所示，逆变换单元384具有逆正交变换单元391和平面参数提取单元392。

逆正交变换单元391利用与变换单元363对应的方法，进行从熵解码单元223供给的系数数据的逆正交变换。逆正交变换单元391把经过逆正交变换的2×2块提供给平面参数提取单元392。

平面参数提取单元392从2×2块提取平面参数a,b,c，然后把这些平面参数a,b,c提供给平面生成单元225。

[帧内预测处理]

下面参考图38中的流程图，说明由图36中的帧内预测单元211执行的帧内预测处理的另一个例子。该处理对应于参考图25中的流程图说明的帧内预测处理。

该帧内预测处理基本上是按照和参考图25中的流程图说明的情况相同的方式进行的。即，步骤S371-步骤S373及步骤S375和步骤S376的每个处理是按照和图25中的步骤S251-步骤S253及步骤S255和步骤S256的每个处理相同的方式进行的。

在步骤S374，逆变换单元384对经过熵解码的2×2块进行逆正交变换，从而获得平面参数的值。

[逆变换处理]

下面参考图39中的流程图，说明在图38的步骤S374中执行的逆变换处理的流程的例子。

当开始逆变换处理时，在步骤S391，逆正交变换单元391进行2×2块的逆正交变换。在步骤S392，平面参数提取单元392从2×2块提取平面参数a,b,c。

当提取了平面参数时，逆变换单元384结束逆变换处理，使处理返回图38，然后进入步骤S375。

如上所述，逆变换单元384能够进行经过正交变换的2×2块的逆正交变换，并提取平面参数。因而，帧内预测单元211能够减少平面参数的数据量。即，图像解码设备200能够进一步提高编码效率。

注意，上面说明了图像编码设备100把平面参数包含在其中图像数据(残差信息)已被编码的编码数据中来向图像解码装置200提供平面参数。不过，并不局限于此，图像编码设备可独立于编码数据，向图像解码设备200提供平面参数。

[宏块]

虽然上面说明了16×16以下的宏块，不过，宏块的大小可以大于16×16。

例如，本发明可以适用于如图40中所示的各种大小的宏块。例如，本发明不仅可适用于诸如正常16×16像素的宏块，而且适用于诸如32×32像素之类的扩展宏块(扩展宏块)。

在图40中，在上层，从左侧顺序表示由分割成32×32像素、32×16像素、16×32像素和16×16像素块(分区)的32×32像素构成的宏块。在中层，从左侧顺序表示由分割成16×16像素、16×8像素、8×16像素和8×8像素块的16×16像素构成的块。另外，在下层，从左侧顺序表示了被分割成8×8像素、8×4像素、4×8像素和4×4像素块的8×8像素构成的块。

换句话说，32×32像素的宏块可用在上层表示的32×32像素、32×16像素、16×32像素和16×16像素块来处理。

另外，按照和H.264/AVC格式相同的方式，在所述上层的右侧表示的16×16像素的块可用在中层表示的16×16像素、16×8像素、8×16像素和8×8像素块来处理。

按照和H.264/AVC格式相同的方式，在所述中层的右侧表示的8×8像素的块可用在下层表示的8×8像素、8×4像素、4×8像素和4×4像素块来处理。

这些块可被分成下述3种层级。即，我们把在图40中的上层所示的32×32像素、32×16像素、16×32像素和16×16像素块称为第一层级。把在上层的右侧所示的16×16像素块，和在中层所示的16×16像素、16×8像素、8×16像素和8×8像素块称为第二层级。把在中层的右侧所示的8×8像素块，和在下层所示的8×8像素、8×4像素、4×8像素和4×4像素块称为第三层级。

通过采用这样的分层结构，就16×16像素块或更小的像素块来说，更大的块可被定义成其超集，同时维持与H.264/AVC格式的兼容性。

<7.第七实施例>

[个人计算机]

上面说明的一系列处理可用硬件或软件执行。这种情况下，例如，可以构成如图41中所示的个人计算机。

在图41中，个人计算机500的CPU 501按照保存在ROM(只读存储器)502中的程序或从存储单元513载入RAM(随机存取存储器)503的程序执行各种处理。RAM 503还酌情保存CPU 501执行各种处理所必需的数据等。

CPU 501、ROM 502和RAM 503通过总线504互连。总线504还连接到输入/输出接口510。

连接到输入/输出接口510的是由键盘、鼠标等构成的输入单元511，由诸如CRT(阴极射线管)或LCD(液晶显示器)之类的显示器，扬声器等构成的输出单元512，由硬盘等构成的存储单元513和由调制解调器等构成的通信单元514。通信单元514通过包括因特网的网络进行通信处理。

需要时，驱动器515也连接到输入/输出接口510，诸如磁盘、光盘、磁光盘或半导体存储器之类的可拆卸介质521适当地安装在驱动器515上，需要时，从可拆卸介质读出的计算机程序被安装在存储单元513中。

在利用软件执行上述一系列处理的情况下，从网络或记录介质安装构成所述软件的程序。

例如，如图41中所示，该记录介质不仅可由可拆卸介质521构成，而且可由在预先内置于设备主体中的状态下分发给用户的记录有程序的ROM 502，包括在存储单元513中的硬盘等构成，所述可拆卸介质其中记录和分发程序，以便独立于设备主体把程序分发给用户的磁盘(包括软盘)，光盘（包括CD-ROM(光盘-只读存储器)，DVD(数字通用光盘)），磁光盘(包括MD(小型光盘))，或半导体存储器等组成。

注意，计算机执行的程序可以是按照在本说明书中说明的顺序，时序地进行处理的程序，或者可以是并行地进行处理，或者在必要的时刻，比如当进行调用时进行处理的程序。

另外，就本说明书来说，描述记录在记录介质中的程序的步骤当然包括按照所述顺序，时序地进行的处理，还包括并行或单独地，而不一定按时序方式进行的处理。

另外，就本说明书来说，术语系统表示由多个设备构成的整个设备。

另外，上面说明成一个设备(或处理单元)的结构可被分开，从而构成为多个设备(或处理单元)。相反，上面说明成多个设备(或处理单元)的结构可被合并，从而构成为一个设备(或处理单元)。另外，当然也可除上述以外的结构增加到向设备(或处理单元)的结构中。此外，某个设备(或处理单元)的一部分结构可被包括在另一个设备(或另一个处理单元)的结构中，只要整个系统的结构和操作实质上相同。即，本发明的实施例并不局限于上述实施例，可以做出各种修改，而不脱离本发明的本质。

例如，上面说明的图像编码设备100和图像解码设备200可适用于各种电子设备。下面是其例子的说明。

<8.第八实施例>

[电视接收机]

图42是图解说明使用应用本发明的图像解码设备200的电视接收机的主要结构例子的方框图。

图42中所示的电视接收机1000包括地面调谐器1013，视频解码器1015，视频信号处理电路1018，图形生成电路1019，面板驱动电路1020和显示面板1021。

地面调谐器1013通过天线接收地面模拟广播的广播信号，解调接收的广播信号获得视频信号，并把获得的视频信号提供给视频解码器1015。视频解码器1015对从地面调谐器1013供给的视频信号进行解码处理，然后把获得的数字分量信号提供给视频信号处理电路1018。

视频信号处理电路1018对从视频解码器1015供给的视频数据进行诸如噪声消除之类的预定处理，然后把获得的视频数据提供给图形生成电路1019。

图形生成电路1019生成将显示在显示面板1021上的节目的视频数据，或者由基于经网络提供的应用程序的处理而获得的图像数据等，并把生成的视频数据或图像数据提供给面板驱动电路1020。另外，图形生成电路1019还酌情进行诸如把通过生成视频数据(图形)，供用户显示用于项目选择等的屏幕之用，并把所述视频数据(图形)重叠在节目的视频数据上而获得的视频数据提供给面板驱动电路1020之类的处理。

面板驱动电路1020根据从图形生成电路1019供给的数据，驱动显示面板1021，从而在显示面板1021上显示节目的视频或者上述各种屏幕。

显示面板1021由LCD(液晶显示器)等构成，按照面板驱动电路1020的控制，显示节目的视频等。

另外，电视接收机1000还包括音频A/D(模/数)转换电路1014，音频信号处理电路1022，回声消除/音频合成电路1023，音频放大电路1024和扬声器1025。

地面调谐器1013解调接收的广播信号，从而不仅获得视频信号，而且获得音频信号。地面调谐器1013把获得的音频信号提供给音频A/D转换电路1014。

音频A/D转换电路1014对从地面调谐器1013供给的音频信号进行A/D转换处理，并把获得的数字音频信号提供给音频信号处理电路1022。

音频信号处理电路1022对从音频A/D转换电路1014供给的音频数据进行诸如噪声消除之类的预定处理，并把获得的音频数据提供给回声消除/音频合成电路1023。

回声消除/音频合成电路1023把从音频信号处理电路1022供给的音频数据提供给音频放大电路1024。

音频放大电路1024对从回声消除/音频合成电路1023供给的音频数据进行D/A转换处理，进行放大处理，以调整为预定音量，随后从扬声器1025输出所述音频。

此外，电视接收机1000还包括数字调谐器1016和MPEG解码器1017。

数字调谐器1016通过天线接收数字广播(地面数字广播，BS(广播卫星)/CS(通信卫星)数字广播)的广播信号，解调获得MPEG-TS(运动图像专家组-传输流)，并把MPEG-TS提供给MPEG解码器1017。

MPEG解码器1017消除赋予从数字调谐器1016供给的MPEG-TS的扰频，提取包括充当播放对象(观看对象)的节目的数据的流。MPEG解码器1017对构成所提取流的音频分组解码，把获得的音频数据提供给音频信号处理电路1022，另外还对构成所述流的视频分组解码，并把获得的视频数据提供给视频信号处理电路1018。另外，MPEG解码器1017通过未示出的路径，把从MPEG-TS提取的EPG(电子节目指南)数据提供给CPU 1032。

电视接收机1000使用上述图像解码设备200作为按照这种方式，解码视频分组的MPEG解码器1017。注意，从广播电台等传送的MPEG-TS已被图像编码设备100编码。

MPEG解码器1017按照和图像解码设备200相同的方式，利用从供给自图像编码设备100的编码数据中提取的平面参数，生成预测图像，并利用预测图像，从残差信息生成解码图像数据。因而，MPEG解码器1017能够进一步提高编码效率。

按照和从视频解码器1015供给的视频数据的情况相同的方式，从MPEG解码器1017供给的视频数据在视频信号处理电路1018经历预定处理，在图形生成电路1019被酌情重叠在生成的视频数据等上，并通过面板驱动电路1020被提供给显示面板1021，从而其图像被显示在显示面板1021上。

按照和从音频A/D转换电路1014供给的音频数据的情况相同的方式，从MPEG解码器1017供给的音频数据在音频信号处理电路1022经历预定处理，通过回声消除/音频合成电路1023被提供给音频放大电路1024，从而经历D/A转换处理和放大处理。结果，从扬声器1025输出按预定音量调整的音频。

另外，电视接收机1000还包括麦克风1026和A/D转换电路1027。

A/D转换电路1027接收由对电视接收机1000设置的用于语音会话的麦克风1026收集的用户音频信号，对接收的音频信号进行A/D转换处理，并把获得的数字音频数据提供给回声消除/音频合成电路1023。

在从A/D转换电路1027供给了电视接收机1000的用户(用户A)的音频数据的情况下，回声消除/音频合成电路1023以用户(用户A)的音频数据作为对象，进行回声消除，并经音频放大电路1024，从扬声器1025输出通过合成用户A的音频数据和其它音频数据等而获得的音频数据。

此外，电视接收机1000还包括音频编解码器1028，内部总线1029，SDRAM(同步动态随机存取存储器)1030，闪速存储器1031，CPU 1032，USB(通用串行总线)I/F 1033，和网络I/F 1034。

A/D转换电路1027接收由对电视接收机1000设置的用于语音会话的麦克风1026收集的用户音频信号，对接收的音频信号进行A/D转换处理，并把获得的数字音频数据提供给音频编解码器1028。

音频编解码器1028把从A/D转换电路1027供给的音频数据转换成预定格式的数据，以便通过网络传输，并把转换后的数据通过内部总线1029提供给网络I/F 1034。

网络I/F 1034通过安装在网络端子1035上的电缆连接到网络。例如，网络I/F 1034把从音频编解码器1028供给的音频数据传送给与网络连接的另一个设备。另外，例如，网络I/F 1034通过网络端子1035，接收从通过网络与之连接的另一个设备传送的音频数据，并通过内部总线1029，把接收的音频数据提供给音频编解码器1028。

音频编解码器1028把从网络I/F 1034供给的音频数据转换成预定格式的数据，并把转换后的数据提供给回声消除/音频合成电路1023。

回声消除/音频合成电路1023以从音频编解码器1028供给的音频数据作为对象，进行回声消除，经音频放大电路1024，从扬声器1025输出通过合成该音频数据和其它音频数据等而获得的音频数据。

SDRAM 1030保存为CPU 1032进行处理所必需的各种数据。

闪速存储器1031保存将由CPU 1032执行的程序。保存在闪速存储器1031中的程序由CPU 1032在预定时刻，比如当启动电视接收机1000时等读出。通过数字广播获得的EPG数据，通过网络从预定服务器获得的数据等等也保存在闪速存储器1031中。

例如，包括在CPU 1032的控制下，通过网络从预定服务器获得的内容数据的MPEG-TS被保存在闪速存储器1031中。在CPU 1032的控制下，闪速存储器1031通过内部总线1029，把MPEG-TS提供给MPEG解码器1017。

MPEG解码器1017按照和从数字调谐器1016供给的MPEG-TS的情况相同的方式，处理MPEG-TS。这样，电视接收机1000通过网络接收由视频、音频等构成的内容数据，利用MPEG解码器1017解码内容数据，从而能够显示内容数据的视频，并且能够输出内容数据的音频。

另外，电视接收机1000还包括接收从遥控器1051传送的红外信号的受光单元1037。

受光单元1037从遥控器1051接收红外线，把表示通过解调获得的用户操作的内容的控制码输出给CPU 1032。

CPU 1032执行保存在闪速存储器1031中的程序，以按照从受光单元1037供给的控制码等，控制电视接收机1000的全部操作。CPU 1032和电视接收机1000的各个单元是通过未示出的路径连接的。

USB I/F 1033进行对于通过安装在USB端子1036上的USB电缆，连接的电视接收机1000的外部设备的数据传输/接收。网络I/F 1034通过安装在网络端子1035上的电缆，连接到网络，还进行对于连接到网络的各种设备的除音频数据外的数据传输/接收。

通过利用图像解码设备200作为MPEG解码器1017，电视接收机1000可进一步提高编码效率。结果，电视接收机1000能够进一步提高经天线接收的广播信号，或者通过网络获得的内容数据的编码效率，从而能够以较低的成本实现实时处理。

<9.第九实施例>

[蜂窝电话机]

图43是图解说明使用应用本发明的图像编码设备100和图像解码设备200的蜂窝电话机的主要结构例子的方框图。

图43中所示的蜂窝电话机1100包括配置成一体控制各个单元的主控制单元1150，电源电路单元1151，操作输入控制单元1152，图像编码器1153，照相机I/F单元1154，LCD控制单元1155，图像解码器1156，复用/分离单元1157，记录/播放单元1162，调制/解调电路单元1158，和音频编解码器1159。这些单元通过总线1160互相连接。

另外，蜂窝电话机1100包括操作按键1119，CCD(电荷耦合器件)照相机1116，液晶显示器1118，存储单元1123，传输/接收电路单元1163，天线1114，麦克风(MIC)1121和扬声器1117。

当通过用户的操作，开启呼叫结束和电源按键时，电源电路单元1151通过从电池组向各个单元供电，以可操作状态启动蜂窝电话机1100。

根据由CPU、ROM、RAM等构成的主控制单元1150的控制，蜂窝电话机1100按照各种模式，比如话音通话模式，数据通信模式等进行各种操作，比如音频信号的传输/接收，电子邮件和图像数据的传输/接收，摄影，数据记录等。

例如，在话音通话模式下，蜂窝电话机1100用音频编解码器1159，把麦克风(话筒)1121收集的音频信号转换成数字音频数据，在调制/解调电路单元1158对数字音频数据进行频谱扩展处理，在传输/接收电路单元1163对处理的数字音频数据进行数/模转换处理和频率转换处理。蜂窝电话机1100通过天线1114，把通过转换处理获得的传输信号传送给未示出的基站。传送给基站的传输信号(音频信号)经公共交换电话网提供给对方的蜂窝电话机。

另外，例如，在话音通话模式下，蜂窝电话机1100在传输/接收电路单元1163，放大在天线1114接收的接收信号，对放大的信号进行频率转换处理和模/数转换处理，在调制/解调电路单元1158进行频谱反扩展处理，然后用音频编解码器1159转换成模拟音频信号。蜂窝电话机1100从扬声器1117输出转换获得的模拟音频信号。

此外，例如，当在数据通信模式下传送电子邮件时，蜂窝电话机1100在操作输入控制单元1152接收通过操作按键1119的操作而输入的电子邮件的文本数据。蜂窝电话机1100在主控制单元1150处理文本数据，并借助LCD控制单元1155，以图像的形式把文本数据显示在液晶显示器1118上。

另外，蜂窝电话机1100根据由操作输入控制单元1152接收的文本数据，用户指令等，在主控制单元1150生成电子邮件数据。蜂窝电话机1100在调制/解调电路单元1158对电子邮件数据进行频谱扩展处理，在传输/接收电路单元1163进行数/模转换处理和频率转换处理。蜂窝电话机1100把通过转换处理获得的传输信号经天线1114传给未示出的基站。传给基站的传输信号(电子邮件)经网络、邮件服务器等被提供给预定目的地。

另外，例如，当在数据通信模式下接收电子邮件时，蜂窝电话机1100利用传输/接收电路单元1163，通过天线1114接收从基站传来的信号，放大接收的信号，并对放大的信号进行频率转换处理和模/数转换处理。蜂窝电话机1100在调制/解调电路单元1158对接收的信号进行频率反扩展处理，以恢复初始的电子邮件数据。蜂窝电话机1100通过LCD控制单元1155把恢复的电子邮件数据显示在液晶显示器1118上。

注意，蜂窝电话机1100可通过记录/播放单元1162把接收的电子邮件数据记录(保存)在存储单元1123中。

存储单元1123是任意可重写记录介质。例如，存储单元1123可以是诸如RAM，内置闪速存储器之类的半导体存储器，可以是硬盘，或者可以是诸如磁盘，磁光盘，光盘，USB存储器，存储卡之类的可拆卸介质。当然，存储单元1123可以是除上述介质外的其它介质。

此外，例如，当在数据通信模式下传送图像数据时，蜂窝电话机1100通过在CCD照相机1116成像，生成图像数据。CCD照相机1116包括充当诸如透镜，光圈之类的光学器件和充当光电转换器件的CCD，对被摄物体成像，把受光强度转换成电信号，并生成被摄物体的图像的图像数据。CCD照相机1116通过照相机I/F单元1154，在图像编码器1153进行图像数据的压缩编码，从而把图像数据转换成编码图像数据。

蜂窝电话机1100采用上述图像编码设备100作为进行上述处理的图像编码器1153。因而，按照和图像编码设备100相同的方式，图像编码器1153利用原始图像的待处理块本身的像素值进行平面近似，从而生成预测图像。通过利用这样的预测图像编码图像数据，图像编码器1053能够进一步提高编码效率。

注意与此同时，蜂窝电话机1100在音频编解码器1159，把在用CCD照相机1116摄影的时候，在麦克风(话筒)1121收集的音频从模拟转换成数字，并进一步对所述音频编码。

蜂窝电话机1100利用预定方法，在复用/分离单元1157复用从图像编码器1153供给的编码图像数据以及从音频编解码器1159供给的数字音频数据。蜂窝电话机1100在调制/解调电路单元1158对作为结果获得的复用数据进行频谱扩展处理，然后在传输/接收电路单元1163进行数/模转换处理和频率转换处理。蜂窝电话机1100把通过转换处理获得的传输信号经天线1114传给未示出的基站。传给基站的传输信号(图像数据)经网络等提供给对方。

注意在不传送图像数据的情况下，蜂窝电话机1100也可经LCD控制单元1155而不是图像编码器1153，把在CCD照相机1116生成的图像数据显示在液晶显示器1118上。

另外，例如，当在数据通信模式下，接收链接到简单网站等的运动图像文件的数据时，蜂窝电话机1100通过天线1114在传输/接收电路单元1163接收从基站传送的信号，放大接收的信号，并对放大信号进行频率转换处理和模/数转换处理。蜂窝电话机1100在调制/解调电路单元1158对接收的信号进行频率反扩展处理，以恢复初始的复用数据。蜂窝电话机1100在复用/分离单元1157把复用数据分离成编码图像数据和音频数据。

蜂窝电话机1100在图像解码器1156对编码图像数据解码，从而生成播放运动图像数据，然后通过LCD控制单元1155把播放运动图像数据显示在液晶显示器1118上。从而，例如，包括在与链接到简单网站的运动图像文件中的运动图像数据被显示在液晶显示器1118上。

蜂窝电话机1100采用上述图像解码设备200作为实现上述处理的图像解码器1156。因而，按照和图像解码设备200相同的方式，图解解码器1156利用从供给自图像编码设备100的编码数据中提取的平面参数，生成预测图像，然后利用预测图像，从残差信息生成解码图像数据。因而，图像解码器1156能够进一步提高编码效率。

此时，蜂窝电话机1100同时在音频编解码器1159把数字音频数据转换成模拟音频信号，然后从扬声器1117输出模拟音频信号。从而，例如，包括在连接到简单网站的运动图像文件中的音频数据被播放。

注意，按照和电子邮件的情况相同的方式，蜂窝电话机1100可通过记录/播放单元1162，把链接到简单网站等的接收数据记录(保存)在存储单元1123中。

另外，蜂窝电话机1100在主控制单元1150分析由CCD照相机1116获得的成像二维代码，从而能够获得记录在二维代码中的信息。

此外，便携式电话机1100能够利用红外线在红外通信单元1181与外部设备通信。

蜂窝电话机1100采用图像编码设备100作为图像编码器1153，从而提高在编码和传送利用在CCD照相机1116生成的编码图像数据生成的数据时的编码效率，从而以较低的成本实现实时处理。

另外，蜂窝电话机1100采用图像解码设备200作为图像解码器1156，从而能够进一步提高连接到简单网站等的运动图像文件的数据(编码数据)的编码效率。

注意，至此说明了蜂窝电话机1100采用CCD照相机1116的情况，不过，代替CCD照相机1116，蜂窝电话机1100可以采用利用CMOS(互补金属氧化物半导体)的图像传感器(CMOS图像传感器)。在这种情况下，按照和采用CCD照相机1116的情况相同的方式，蜂窝电话机1100也能够对被摄物体成像从而生成被摄物体的图像的图像数据。

另外，至此关于蜂窝电话机1100进行了说明，不过，按照和蜂窝电话机1100的情况相同的方式，图像编码设备100和图像解码设备200可适用于任何种类的设备，只要所述设备是具有和蜂窝电话机1100相同的成像功能和通信功能的设备，比如PDA(个人数字助手)，智能电话机，UMPC(超移动个人计算机)，上网本，笔记本型个人计算机等。

<10.第十实施例>

[硬盘记录器]

图44是图解说明采用应用本发明的图像编码设备100和图像解码设备200的硬盘记录器的主要结构例子的方框图。

图44中所示的硬盘记录器(HDD记录器)1200是把包括在从卫星或地面天线等传送，并由调谐器接收的广播信号(电视信号)中的广播节目的音频数据和视频数据保存在内置硬盘中，并在与用户的指令相应的时刻，把保存的数据提供给用户的设备。

例如，硬盘记录器1200可从广播信号中提取音频数据和视频数据，恰当地解码提取的音频数据和视频数据，并把解码的音频数据和视频数据保存在内置硬盘中。另外，例如，硬盘记录器1200还可通过网络从另一个设备获得音频数据和视频数据，恰当地解码获得的音频数据和视频数据，并把解码的音频数据和视频数据保存在内置硬盘中。

此外，例如，硬盘记录器1200可解码记录在内置硬盘中的音频数据和视频数据，把解码的音频数据和视频数据提供给监视器1260，在监视器1260的屏幕上显示图像，并从监视器1260的扬声器输出音频。另外，例如，硬盘记录器1200可解码从通过调谐器获得的广播信号中提取的音频数据和视频数据，或者通过网络从另一个设备获得的音频数据和视频数据，把解码的音频数据和视频数据提供给监视器1260，把图像显示在监视器1260的屏幕上，并从监视器1260的扬声器输出音频。

当然，也可进行除这些操作以外的操作。

如图44中所示，硬盘记录器1200包括接收单元1221，解调单元1222，多路分解器1223，音频解码器1224，视频解码器1225，和记录器控制单元1226。硬盘记录器1200还包括EPG数据存储器1227，程序存储器1228，工作存储器1229，显示转换器1230，OSD(屏幕显示)控制单元1231，显示控制单元1232，记录/播放单元1233，D/A转换器1234，和通信单元1235。

另外，显示转换器1230包括视频编码器1241。记录/播放单元1233包括编码器1251和解码器1252。

接收单元1221从遥控器(未示出)接收红外信号，把接收的红外信号转换成电信号，把电信号输出给记录器控制单元1226。记录器控制单元1226由例如微处理器等构成，并按照保存在程序存储器1228中的程序执行各种处理。此时，记录器控制单元1226按照需要，使用工作存储器1229。

连接到网络的通信单元1235通过网络与另一个设备进行通信处理。例如，通信单元1235由记录器控制单元1226控制，从而与调谐器(未示出)通信，并且主要向调谐器输出信道选择控制信号。

解调单元1222解调从调谐器供给的信号，把解调信号输出给多路分解器1223。多路分解器1223把从解调单元1222供给的数据分离成音频数据，视频数据和EPG数据，并把数据分别输出给音频解码器1224，视频解码器1225和记录器控制单元1226。

音频解码器1224解码输入的音频数据，把解码的音频数据输出给记录/播放单元1233。视频解码器1225解码输入的视频数据，把解码的视频数据输出给显示转换器1230。记录器控制单元1226把输入的EPG数据提供给EPG数据存储器1227，以便保存。

显示转换器1230利用视频编码器1241，把从视频解码器1225或记录器控制单元1226供给的视频数据编码成例如符合NTSC(国家电视标准委员会)格式的视频数据，然后把编码视频数据输出给记录/播放单元1233。另外，显示转换器1230把从视频解码器1225或记录器控制单元1226供给的视频数据的屏幕尺寸转换成与监视器1260的尺寸对应的尺寸，利用视频编码器1241，把其屏幕尺寸已被转换的视频数据转换成符合NTSC格式的视频数据，把该视频数据转换成模拟信号，然后把模拟视频信号输出给显示控制单元1232。

在记录器控制单元1226的控制下，显示控制单元1232把从OSD(屏幕显示)控制单元1231输出的OSD信号重叠在从显示转换器1230输入的视频信号上，然后输出给监视器1260的显示器，以便显示。

另外，从音频解码器1224输出的音频数据已利用D/A转换器1234，被转换成模拟信号，并被提供给监视器1260。监视器1260从内置扬声器输出该音频信号。

记录/播放单元1233包括作为记录视频数据，音频数据等的存储介质的硬盘。

记录/播放单元1233利用编码器1251，对从音频解码器1224供给的音频数据编码。另外，记录/播放单元1233利用编码器1251，对从显示转换器1230的视频编码器1241供给的视频数据编码。记录/播放单元1233利用复用器，合成音频数据的编码数据和视频数据的编码数据。记录/播放单元1233借助通道编码，放大合成数据，并通过记录头把数据写入硬盘中。

记录/播放单元1233通过播放头，播放记录在硬盘中的数据，放大播放的数据，然后利用多路分解器把数据分离成音频数据和视频数据。记录/播放单元1233通过解码器1252解码音频数据和视频数据。记录/播放单元1233把解码的音频数据从数字转换成模拟，然后输出给监视器1260的扬声器。另外，记录/播放单元1233把解码的视频数据从数字转换成模拟，然后输出给监视器1260的显示器。

记录器控制单元1226根据由通过接收单元1221，从遥控器接收的红外信号指示的用户指令，从EPG数据存储器1227读出最新的EPG数据，然后把EPG数据提供给OSD控制单元1231。OSD控制单元1231生成与输入的EPG数据对应的图像数据，然后输出给显示控制单元1232。显示控制单元1232把从OSD控制单元1231输入的视频数据输出给监视器1260的显示器以便显示。从而，EPG(电子节目指南)被显示在监视器1260的显示器上。

另外，硬盘记录器1200可通过诸如因特网之类的网络，获得从另一个设备供给的各种数据，比如视频数据、音频数据、EPG数据等。

记录器控制单元1226控制通信单元1235，以通过网络获得从另一个设备传送的编码数据，比如视频数据、音频数据、EPG数据等，并把获得的数据提供给记录器控制单元1226。记录器控制单元1226把获得的视频数据和音频数据的编码数据提供给记录/播放单元1233，并保存在硬盘中。此时，记录器控制单元1226和记录/播放单元1233可按照需要，进行诸如重新编码之类的处理。

另外，记录器控制单元1226对获得的视频数据和音频数据的编码数据解码，然后把获得的视频数据提供给显示转换器1230。按照和从视频解码器1225供给的视频数据相同的方式，显示转换器1230处理从记录器控制单元1226供给的视频数据，然后通过显示控制单元1232提供给监视器1260，以显示其图像。

另一方面，可以作出其中按照该图像显示，记录器控制单元1226通过D/A转换器1234，把解码的音频数据提供给监视器1260，然后从扬声器输出其音频的安排。

此外，记录器控制单元1226对获得的EPG数据的编码数据解码，然后把解码的EPG数据提供给EPG数据存储器1227。

这样构成的硬盘记录器1200采用图像解码设备200作为视频解码器1225，解码器1252和置于记录器控制单元1226中的解码器。因而，按照和图像解码设备200相同的方式，视频解码器1225，解码器1252和内置于记录器控制单元1226中的解码器利用从供给自图像编码设备100的编码图像数据中提取的平面参数，生成预测图像，然后利用该预测图像，从残差信息生成解码图像数据。因而，视频解码器1225，解码器1252和内置于记录器控制单元1226中的解码器能够进一步提高编码效率。

因而，硬盘记录器1200能够进一步提高调谐器或通信单元1235接收的视频数据(编码数据)，和记录/播放单元1233播放的视频数据(编码数据)的编码效率，从而以较低的成本实现实时处理。

另外，硬盘记录器1200采用图像编码设备100作为编码器1251。因而，按照和图像编码设备100的情况相同的方式，编码器1251利用原始图像的待处理块本身的像素值，进行平面近似，从而生成预测图像。因而，编码器1251能够进一步提高编码效率。

因而，硬盘记录器1200能够进一步提高记录在硬盘中的编码数据的编码效率，从而以较低的成本实现实时处理。

注意，上面说明了把视频数据和音频数据记录在硬盘中的硬盘记录器1200，不过，显然可以采用任何种类的记录介质。例如，即使就除硬盘外的记录介质，比如闪速存储器、光盘、录像带等适用于的记录器来说，图像编码设备100和图像解码设备200也能够按照和上述硬盘记录器1200的情况相同的方式，应用于该记录器。

<11.第十一实施例>

[照相机]

图45是图解说明采用应用本发明的图像编码设备100和图像解码设备200的照相机的主要结构例子的方框图。

图45中所示的照相机对被摄物体成像，把被摄物体的图像显示在LCD1316上，和把所述图像作为图像数据记录在记录介质1333中。

透镜块1311使光(即，被摄物体的图像)入射到CCD/CMOS 1312。CCD/CMOS 1312是采用CCD或CMOS的图像传感器，所述图像传感器把受光的强度转换成电信号，然后提供给照相机信号处理单元1313。

照相机信号处理单元1313把从CCD/CMOS 1312提供的电信号转换成色差信号Y、Cr和Cb，然后提供给图像信号处理单元1314。在控制器1321的控制下，图像信号处理单元1314对从照相机信号处理单元1313供给的图像信号进行预定的图像处理，或者利用编码器1341对图像信号编码。图像信号处理单元1314把通过编码图像信号生成的编码数据提供给解码器1315。此外，图像信号处理单元1314获得在屏幕显示(OSD)1320生成的显示用数据，然后提供给解码器1315。

就上述处理来说，照相机信号处理单元1313根据需要，适当利用经总线1317连接的DRAM(动态随机存取存储器)1318，以把图像数据，通过编码图像数据而获得的编码数据等保存在DRAM 1318中。

解码器1315对从图像信号处理单元1314供给的编码数据解码，把获得的图像数据(解码图像数据)提供给LCD 1316。另外，解码器1315把从图像信号处理单元1314供给的显示用数据提供给LCD 1316。LCD 1316恰当合成从解码器1315供给的解码图像数据的图像和显示用数据的图像，然后显示合成图像。

在控制器1321的控制下，屏幕显示1320通过总线1317，把显示用数据，比如由符号、字符或图形构成的菜单屏幕或图标等输出给图像信号处理单元1314。

根据指示用户利用操作单元1322命令的内容的信号，控制器1321进行各种处理，还通过总线1317控制图像信号处理单元1314，DRAM 1318，外部接口1319，屏幕显示1320和介质驱动器1323等。为控制器1321进行各种处理所必需的程序和数据等被保存在闪速ROM 1324中。

例如，代替图像信号处理单元1314和解码器1315，控制器1321可对保存在DRAM 1318中的图像数据编码，或者对保存在DRAM 1318中的编码数据解码。此时，控制器1321可利用和图像信号处理单元1314和解码器1315的编码和解码格式相同的格式，进行编码和解码处理，或者可利用图像信号处理单元1314不能处理、解码器1315也不能处理的格式进行编码/解码处理。

另外，例如，在从操作单元1322指令图像打印的开始的情况下，控制器1321从DRAM 1318读出图像数据，然后通过总线1317把读出的图像数据提供给与外部接口1319连接的打印机1334，以便打印。

此外，例如，在从操作单元1322指令图像记录的情况下，控制器1321从DRAM 1318读出编码数据，然后通过总线1317把读出的编码数据提供给安装在介质驱动器1323上的记录介质1333，以便保存。

例如，记录介质1333是任意可读/写的可拆卸介质，比如磁盘、磁光盘、光盘、半导体存储器等。显然就可拆卸介质的种类来说，记录介质1333也是可选的，因而记录介质1333可以是磁带设备，或者可以是光盘，或者可以是存储卡。当然，记录介质1333可以是非接触IC卡等。

另一方面，介质驱动器1323和记录介质1333可被配置成结合成非便携式记录介质，例如内置硬盘驱动器，SSD(固态驱动器)等等。

外部接口1319由USB输入/输出端子等构成，在进行图像的打印时，被连接到打印机1334。另外，按照需要，驱动器1331被连接到外部接口1319，在驱动器1331上，酌情安装可拆卸介质1332，比如磁盘、光盘或磁光盘，从可拆卸介质读取的计算机程序根据需要安装在闪速ROM 1324中。

此外，外部接口1319包括与诸如LAN或因特网之类的预定网络连接的网络接口。例如，按照来自操作单元1322的指令，控制器1321可从DRAM 1318读出编码数据，然后把读出的编码数据从外部接口1319提供给通过网络连接的另一个设备。另外，控制器1321可通过外部接口1319，获得通过网络从另一个设备供给的编码数据或图像数据，然后把获得的数据保存在DRAM 1318中，或者把获得的数据提供给图像信号处理单元1314。

这样构成的照相机1300采用图像解码设备200作为解码器1315。因而，按照和图像解码设备200相同的方式，解码器1315利用从供给自图像编码设备100的编码图像数据中提取的平面参数，生成预测图像，然后利用该预测图像，从残差信息生成解码图像数据。因而，解码器1315能够进一步提高编码效率。

因而，照相机1300能够进一步提高在CCD/CMOS 1312生成的图像数据，从DRAM 1318或记录介质1333读出的视频数据的编码数据，和通过网络获得的视频数据的编码数据的编码效率，从而以较低的成本实现实时处理。

另外，照相机1300采用图像编码设备100作为编码器1341。因而，按照和图像编码设备100的情况相同的方式，编码器1341利用原始图像的待处理块本身的像素值，进行平面近似，从而生成预测图像。因而，编码器1341能够进一步提高编码效率。

因而，照相机1300能够进一步提高记录在DRAM 1318或记录介质1333中的编码数据，和提供给其它设备的编码数据的编码效率，从而以较低的成本实现实时处理。

注意，图像解码设备200的解码方法可应用于控制器1321进行的解码处理。按照相同的方式，图像编码设备100的编码方法可应用于控制器1321进行的编码处理。

另外，照相机1300拍摄的图像数据可以是运动图像或静止图像。

当然，图像编码设备100和图像解码设备200可适用于除上述设备以外的设备或系统。

附图标记列表

100 图像编码设备

114 帧内预测单元

132 平面预测图像生成单元

151 平面近似单元

152 平面生成单元

153 预测编码单元

154 熵编码单元

171 存储单元

172 邻近块参数获取单元

173 预测计算单元

174 编码单元

200 图像解码设备

211 帧内预测单元

221 帧内预测模式判定单元

223 熵解码单元

224 预测解码单元

225 平面生成单元

231 邻近块参数获取单元

232 预测计算单元

233 解码单元

234 存储单元

301 平面模式参数获取单元

302 编码单元

321 平面模式参数生成单元

363 变换单元

371 2×2块形成单元

372 正交变换单元

384 逆变换单元

391 逆正交变换单元

392 平面参数提取单元

权利要求书(按照条约第19条的修改)

1.一种图像处理设备，包括：

平面近似装置，对于将对其进行屏幕内编码的图像数据的待处理块，所述平面近似装置利用指示平面的函数来近似像素值，并利用所述待处理块的像素值，获得作为指示所述平面的所述函数的系数的平面参数；

平面生成装置，其通过获得在用所述平面近似装置获得的所述平面参数表示的平面上的像素值，生成所述待处理块上的所述平面作为预测图像；

计算装置，其从所述待处理块的像素值中，减去利用所述平面生成装置作为所述预测图像生成的所述平面的像素值，从而生成差分数据；

编码装置，其对所述计算装置生成的所述差分数据编码；

预测编码装置，其把按帧内预测模式的平面模式计算的待处理块的近似平面的平面参数作为所述平面参数的预测值，并从利用所述平面近似装置获得的所述平面参数中减去所述预测值；和

传输装置，其传送用所述平面近似装置扣减的所述平面参数。

2.按照权利要求1所述的图像处理设备，还包括：

正交变换装置，其进行利用所述计算装置生成的所述差分数据的正交变换；和

量化装置，其量化利用经过所述正交变换装置的正交变换的所述差分数据生成的系数数据；

其中所述编码装置对利用所述量化装置量化的所述系数数据编码。

3.按照权利要求1所述的图像处理设备，其中所述平面近似装置通过利用所述待处理块的像素值求出最小二乘方，从而获得所述平面参数。

4.(删除)

5.(删除)

6.按照权利要求1所述的图像处理设备，其中所述预测编码装置利用所述待处理块的相邻块的平面参数，预测所述待处理块的所述平面参数。

7.(删除)

8.按照权利要求1所述的图像处理设备，还包括：

平面参数正交变换装置，其进行利用所述平面近似装置获得的所述平面参数的正交变换；和

平面参数编码装置，其对经过所述平面参数正交变换装置的正交变换的所述平面参数编码。

9.一种图像处理设备的图像处理方法，所述方法包括：

对于将对其进行屏幕内编码的图像数据的待处理块，所述图像处理设备的平面近似装置利用指示平面的函数来近似像素值，并利用所述待处理块的像素值，获得作为指示所述平面的所述函数的系数的平面参数；

所述图像处理设备的平面生成装置通过获得在用所获得的所述平面参数表示的平面上的像素值，生成所述待处理块上的所述平面作为预测图像；

所述图像处理设备的计算装置从所述待处理块的像素值中，减去作为所述预测图像生成的所述平面的像素值，从而生成差分数据；

所述图像处理设备的编码装置对所述生成的差分数据编码；

所述图像处理设备的预测编码装置把按帧内预测模式的平面模式计算的待处理块的近似平面的平面参数作为所述平面参数的预测值，并从所述获得的所述平面参数中减去所述预测值；和

所述图像处理设备的传输装置传送所述被扣减的平面参数。

10.一种图像处理设备，包括：

接收装置，所述接收装置接收编码数据，其中图像数据和通过利用所述图像数据本身进行了帧内预测的预测图像之间的差分数据被编码在所述编码数据中，所述接收装置还接收平面参数和预测值之间的差分值，所述平面参数由指示对所述图像数据的待处理块的像素值进行近似的平面的函数的系数构成，所述预测值由按帧内预测模式的平面模式计算的待处理块的近似平面的平面参数构成；

解码装置，其对所述接收装置接收的所述编码数据解码；

预测解码装置，其通过计算所述预测值，并且把所述预测值与所述接收装置接收的所述差分值相加，来进行所述平面参数的预测解码；

平面生成装置，其利用经过所述预测解码装置的预测解码的所述平面参数，生成所述测图像；和

计算装置，其把利用所述平面生成装置生成的所述预测图像与通过利用所述解码装置解码而获得的所述差分数据相加。

11.按照权利要求10所述的图像处理设备，还包括：

反量化装置，其进行所述差分数据的反量化；和

逆正交变换装置，其对经过所述反量化装置的反量化的所述差分数据进行逆正交变换；

其中所述计算装置把所述预测图像与经过所述逆正交变换装置的逆正交变换的所述差分数据相加。

12.(删除)

13.按照权利要求12所述的图像处理设备，其中所述预测解码装置利用所述待处理块的相邻块的平面参数，计算所述预测值。

14.(删除)

15.按照权利要求10所述的图像处理设备，还包括：

平面参数逆正交变换装置，其对经过正交变换的所述平面参数进行逆正交变换；

其中所述平面生成装置利用经过所述平面参数逆正交变换装置的逆正交变换的所述平面参数，生成所述预测图像。

16.一种图像处理设备的图像处理方法，所述方法包括：

所述图像处理设备的接收装置接收编码数据，其中图像数据和通过利用所述图像数据本身进行了帧内预测的预测图像之间的差分数据被编码在所述编码数据中，所述接收装置还接收平面参数和预测值之间的差分值，所述平面参数由指示对所述图像数据的待处理块的像素值进行近似的平面的函数的系数构成，所述预测值由按帧内预测模式的平面模式计算的待处理块的近似平面的平面参数构成；

所述图像处理设备的解码装置对所接收的所述编码数据解码；

所述图像处理设备的预测解码装置通过计算所述预测值，并且把所述预测值与所接收的所述差分值相加，来进行所述平面参数的预测解码；

所述图像处理设备的平面生成装置利用经过预测解码的所述平面参数，生成所述测图像；和

所述图像处理设备的计算装置把所生成的所述预测图像与通过解码而获得的所述差分数据相加。

Claims

1.一种图像处理设备，包括：

平面生成装置，其通过获得在用所述平面近似装置获得的所述平面参数表示的平面上的像素值，生成所述待处理块上的平面作为预测图像；

计算装置，其从所述待处理块的像素值中，减去利用所述平面生成装置作为所述预测图像生成的所述平面的像素值，从而生成差分数据；和

编码装置，其对所述计算装置生成的所述差分数据编码。

2.按照权利要求1所述的图像处理设备，还包括：

4.按照权利要求1所述的图像处理设备，还包括：

传输装置，其传送利用所述平面近似装置获得的所述平面参数。

5.按照权利要求4所述的图像处理设备，还包括：

预测编码装置，其计算所述平面参数的预测值，从利用所述平面近似装置获得的所述平面参数中，减去所述预测值；

其中所述传输装置传送利用所述预测编码装置扣减的所述平面参数。

6.按照权利要求5所述的图像处理设备，其中所述预测编码装置利用所述待处理块的相邻块的平面参数，预测所述待处理块的所述平面参数。

7.按照权利要求5所述的图像处理设备，其中所述预测编码装置把按帧内预测模式的平面模式计算的待处理块的近似平面的平面参数作为所述预测值。

8.按照权利要求4所述的图像处理设备，还包括：

正交变换装置，其进行利用所述平面近似装置获得的所述平面参数的正交变换；和

平面参数编码装置，其对经过所述正交变换装置的正交变换的所述平面参数编码。

9.一种图像处理设备的图像处理方法，所述方法包括：

所述图像处理设备的计算装置从所述待处理块的像素值中，减去作为所述预测图像生成的所述平面的像素值，从而生成差分数据；和

所述图像处理设备的编码装置对所述生成的差分数据编码。

10.一种图像处理设备，包括：

解码装置，所述解码装置对其中图像数据和通过利用所述图像数据本身进行了帧内预测的预测图像之间的差分数据被编码的编码数据解码；

平面生成装置，其利用平面参数生成由平面构成的所述预测图像，所述平面参数是函数的系数，所述函数指示近似所述图像数据的待处理块的像素值的所述平面；和

11.按照权利要求10所述的图像处理设备，还包括：

反量化装置，其进行所述差分数据的反量化；和

12.按照权利要求10所述的图像处理设备，

其中从所述平面参数中减去了预测值；

所述图像处理设备还包括：

预测解码装置，其通过计算所述预测值，并把所述预测值与已从中减去所述预测值的所述平面参数相加，来进行所述平面参数的预测解码；

其中所述平面生成装置利用由所述预测解码装置预测解码的所述平面参数生成所述预测图像。

13.按照权利要求12所述的图像处理设备，其中所述预测解码装置利用所述待处理块的相邻块的平面参数计算所述预测值。

14.按照权利要求12所述的图像处理设备，其中所述预测解码装置计算帧内预测模式的平面模式待处理块的近似平面的平面参数，作为所述预测值。

15.按照权利要求10所述的图像处理设备，还包括：

逆变换装置，其对经过正交变换的所述平面参数进行逆正交变换；

其中所述平面生成装置利用经过所述逆正交变换装置的逆正交变换的所述平面参数，生成所述预测图像。

16.一种图像处理设备的图像处理方法，所述方法包括：

所述图像处理设备的解码装置对其中图像数据和通过利用所述图像数据本身进行了帧内预测的预测图像之间的差分数据被编码的编码数据解码；

所述图像处理设备的平面生成装置利用平面参数生成由平面构成的所述预测图像，所述平面参数是函数的系数，所述函数指示近似所述图像数据的待处理块的像素值的所述平面；和

所述图像处理设备的计算装置把所生成的所述预测图像与所获得的所述差分数据相加。