CN1215529A

CN1215529A - 图像编码装置和图像编码方法及图像解码装置和图像解码方法以及记录媒体

Info

Publication number: CN1215529A
Application number: CN97193646A
Authority: CN
Inventors: 近藤哲二郎; 高桥健治
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-12-26
Filing date: 1997-12-26
Publication date: 1999-04-28
Anticipated expiration: 2017-12-26
Also published as: DE69712880D1; EP0891101B1; EP0891101A1; DE69712880T2; WO1998030028A1; IL125866A; IL125866A0; CN1163076C; KR19990087262A; KR100504415B1; EP0891101A4

Abstract

本发明揭示一种图像编码装置和图像编码方法及图像解码装置和图像解码方法以及记录媒体,包括在预测抽头生成电路(32)中,以构成借助于用间抽电路(31)间抽HD图像得到的SD图像的象素之一作为注目象素,对于该注目象素形成多个模式的预测抽头,在类别分类自适应处理电路(33)中,利用预测抽头和规定的预测系数的线性组合,进行求出HD图像的预测值的自适应处理,在预测误差算出电路(34)中,算出对于分别由多个模式的预测抽头得到的预测值的、对于HD图像的预测误差,在抽头模式码附加电路(36)中,将多个模式的预测抽头中的、对应于得到最小的预测误差的模式码,附加在注目象素的象素值上。因此,按照该模式码形成预测抽头并进行解码,能得到进一步改善画面质量的解码图像。

Description

图像编码装置和图像编码方法及图像解码装置和图像解码方法以及记录媒体

技术领域

本发明涉及图像编码装置、图像编码方法、图像解码装置、图像解码方法以及记录媒体。特别涉及为了能得到与原图像几乎相同的解码图像而对图像进行间抽并进行压缩编码的图像编码装置、图像编码方法、图像解码装置、图像解码方法以及记录媒体。

背景技术

例如，在将标准清晰度或者低清晰度的图像(下面，称为SD图像)变换成高清晰度的图像(下面，称为HD图像)，或者对图像进行放大的场合，利用所谓的插入滤波器等进行不足的象素的象素值的插入(补偿)。

但是，即使利用插入滤波器进行象素的插入，也因不能恢复不包含在SD图像中的HD图像的成分(高频成分)，所以难于得到高清晰度的图像。

因此，本申请人先前建议有将SD图像变换成也包含有SD图像中不包含的高频成分的HD图像的图像变换装置(图像变换电路)。

在这种图像变换装置中，利用SD图像和规定的预测系数的线性组合，进行求出HD图像的象素的预测值的自适应处理，恢复在SD图像中不包含的高频成分。

也就是说，例如现在考虑利用由若干个SD象素(构成SD图像的象素)的象素值(下面称为学习数据)x1,x2,…和规定的预测系数w1,w2,…的线性组合所确定的线性1次组合模式，求得构成HD图像的象素(下面称为HD象素)的象素值y的预测值E[y]。这种场合，预测值E[y]能用式(1)表示。

E[y]=w1x1+w2x2+… (1)

这里，为一般化起见，若用式(2)定义由预测系数w的集合形成的矩阵W，用式(3)定义由学习数据的集合形成的矩阵X，用式(4)定义由预测值E[y]的集合形成的矩阵Y’，则成立式(5)那样的观察方程式。

X = [\begin{matrix} x_{11} & x_{12} & \dots & x_{1 n} \\ x_{21} & x_{22} & \dots & x_{2 n} \\ \dots & \dots & \dots & \dots \\ x_{m 1} & x_{m 2} & \dots & x_{mn} \end{matrix}]

(2)

W = [\begin{matrix} w_{1} \\ w_{2} \\ \dots \\ w_{n} \end{matrix}]

(3)

Y' = [\begin{matrix} E [y_{1}] \\ E [y_{2}] \\ \dots \\ E [y_{m}] \end{matrix}]

(4)XW=Y’ (5)

并且，考虑将最小二乘法用于这种观察方程式，求得接近于HD象素的象素值y的预测值E[y]。这种场合，若用式(6)定义由成为教师数据的HD象素的真正的象素值y的集合形成的矩阵Y，用式(7)定义由对于HD象素的象素值Y的预测值E[y]的残差e的集合形成的矩阵E，

Y = [\begin{matrix} y_{1} \\ y_{2} \\ \dots \\ y_{m} \end{matrix}]

(6)

E = [\begin{matrix} e_{1} \\ e_{2} \\ \dots \\ e_{m} \end{matrix}]

(7)

则根据式(5)、成立式(8)那样的残差方程式。

XW=Y+E (8)

这种场合，用于求得接近于HD象素的象素值y的预测值E[y]的预测系数w能通过使式(9)所示的平方误差为最小来求得。

Σ_{i = 1}^{m} e_{i}^{2} - - - - - - - - (9)

因此，在前述式(9)所示的平方误差对预测系数wi进行微分后成为0的场合，即满足式(10)的预测系数wi，成为用于求得接近于HD象素的象素值y的预测值E[y]的最优值。

e_{1} \frac{{&PartialD; e}_{1}}{{&PartialD; w}_{i}} + e_{2} \frac{{&PartialD; e}_{2}}{{&PartialD; w}_{i}} + \dots + e_{m} \frac{{&PartialD; e}_{m}}{{&PartialD; w}_{i}} = 0 (i = 1,2, \dots, n) (10)

因此，首先用预测系数wi对式(8)进行微分，则式(11)成立。

\frac{{&PartialD; e}_{1}}{{&PartialD; w}_{1}} = x_{11}, \frac{{&PartialD; e}_{i}}{{&PartialD; w}_{2}} = x_{12}, \dots, \frac{e_{i}}{{&PartialD; w}_{n}} = x_{in} (i = 1,2, \dots, m) (11)

由式(10)和式(11)能得到式(12)。

Σ_{i = 1}^{m} e_{i} x_{i 1} = 0, Σ_{i = 1}^{m} e_{i} x_{i 2} = 0, \dots, Σ_{i = 1}^{m} e_{i} x_{in} = 0 - - - (12)

此外，如考虑式(8)的残差方程式的学习数据x，预测系数w，教师数据y和残差e的关系，则由式(12)能得到式(13)那样的正规方程式。

(Σ_{i = 1}^{m} x_{i 1} x_{i 1}) w_{1} + (Σ_{i = 1}^{m} x_{i 1} x_{i 2}) w_{2} + \dots, + (Σ_{i = 1}^{m} x_{i 1} x_{in}) w_{n} = Σ_{i = 1}^{m} x_{i 1} y_{i 1}

(Σ_{i = 1}^{m} x_{i 2} x_{i 1}) w_{1} + (Σ_{i = 1}^{m} x_{i 2} x_{i 2}) w_{2} + \dots + (Σ_{i = 1}^{m} x_{i 2} x_{in}) w_{n} = Σ_{i = 1}^{m} x_{i 2} y_{i}

……

(Σ_{i = 1}^{m} x_{in} x_{i 1}) w_{1} + (Σ_{i = 1}^{m} x_{in} x_{i 2}) w_{2} + \dots + (Σ_{i = 1}^{m} x_{in} x_{in}) w_{n} = Σ_{i = 1}^{m} x_{in} y_{i} - - - (13)

式(13)的正规方程式仅能产生与应该求得的预测系数w的数相同的数，因此，求解式(13)(其中，为了求解式(13)，在式(13)中用与预测系数w相关的系数构成矩阵必须是正则的)，能求得最优的预测系数w。此外，在求解式(13)时，能运用例如清除法(Gauss-Jordan消去法)等。

如前所述，求得最优预测系数w的集合并且利用式(1)并用该预测系数w的集合求得接近于HD象素值y的预测值E[y]，是适应处理(其中求得预测系数w的集合并从该预测系数w的集合求得预测值，也包含在适应处理中)。

此外，适应处理与插入处理不同的是重现不包含在SD图像中的包含在HD图像中的成分。也就是说，虽然在适应处理中若仅仅限于看式(1)，与用所谓的插入滤波器的插入处理是相同的，但因用教师数据y，可以说利用学习，能求得与该插入滤波器的抽头(tap)系数相当的预测系数w，所以能重现包含在HD图像中的成分。也就是说，能容易地得到高清晰度的图像。因此，适应处理可以说是具有图像的创作作用的处理。

图22示出了利用基于图像特征(类别)的前述适应处理、将SD图像变换成HD图像的图像变换装置的结构例。

将SD图像供给到类别分类电路101和延迟电路102中，在类别分类电路101中将构成SD图像的SD象素依次作为注目象素并将这种注目象素类别分类成规定的类别。

也就是说，类别分类电路101首先一开始收集若干个在注目象素周围的SD象素构成块(下面称为处理块)，以构成该处理块的例如全部SD象素的象素值模式预先分配的值作为注目象素类别，供给到系数ROM104的地址端(AD)上。

具体地说，例如图23中虚线四边形围住的部分所示，类别分类电路101从SD图像提取以注目象素为中心的5×5的SD象素(在图中用“○”表示)组成的处理块，并输出对应于这些25个SD象素的象素值的模式的值作为注目象素的类别。

这里，为了表示各SD象素的象素值，在例如用8位(bit)等的多位数的场合，25个SD象素的象素值的模式数成为(28)25极大的数，难于对其进行高速处理。

因此，作为进行类别分类前的前置处理，对处理块施行例如ADRC(AdaptiveDynamic Range Coding)处理等，以减少构成其的SD象素的位数。

也就是说，在ADRC处理中，首先从构成处理块的25个SD象素中检测出其象素值最大的象素(下面称为最大象素)和最小的象素(下面称为最小象素)。并且，运算最大象素的象素值MAX和最小象素的象素值MIN的差DR(=MAX-MIN)，并以这种DR作为处理块的局部的动态范围。基于这种动态范围DR将构成处理块的各象素值重新量化成比原来的分配位数少的K位。也就是说，从构成处理块的各象素值减去最小象素的象素值MIN并用DR/2^k除以各减后的值。

其结果，就成为用K位表示构成处理块的各象素值。因此，在例如K=1的场合，25个SD象素的象素值的模式数为(2¹)²⁵，与不进行ADRC处理的场合比较，能使模式数大大减少。下面，称这样使象素值成为K位的ADRC处理为K位ADRC处理。

系数ROM104将借助于预先学习求得的预测系数的按每个类别集合存储，当从类别分类电路101供给类别时，就读出存储在对应于该类别的地址中的预测系数的集合，并供给到预测运算电路105中。

另一方面，在延迟电路102中，为了对于预测运算电路105使由系数ROM104供给预测系数的集合的时间与后述的预测抽头生成电路103供给预测抽头的时间一致，将SD图像延迟必要的时间并供给到预测抽头生成电路103中。

在预测抽头生成电路103中，从供给其的SD图像提取用于在预测运算电路105中求出规定的HD象素的预测值的SD象素，将其作为预测抽头供给到预测运算电路105中。也就是说，在预测抽头生成电路103中，从SD图像提取例如与在类别分类电路101中提取的相同的处理块，并将构成该处理块的SD象素作为预测抽头，供给到预测运算电路105中。

在预测运算电路105中，用来自系数ROM104的预测系数w1,w2,...和来自预测抽头生成电路103的预测抽头x1,x2,...，利用式(1)所示的运算、即进行适应处理，求得注目象素y的预测值E[y]，并输出其作为HD象素的象素值。

也就是说，在这里，从1个预测抽头求出例如在图23中用实线四边形围住的以注目象素为中心的3×3的HD象素(在同一图中用“●”表示)的预测值，这种场合，在预测运算电路105中对于这种9个HD象素进行式(1)的运算。因此，在系数ROM104中，在对应于1个类别的地址中存储9组预测系数的集合。

以其它的SD图像作为注目象素进行下面相同的处理，由此将SD图像变换成HD图像。

接着，图24示出了进行算出存储在图22中系数ROM104中的每个类别的预测系数集合的学习处理的学习装置结构例。

将应该成为学习中的教师数据y的HD图像供给到间抽电路111和延迟电路114中，在间抽电路111中，HD图像例如其象素数由于间抽而减少，并由此成为SD图像。将这种SD图像供给到类别分类电路112和预测抽头生成电路113中。

在类别分类电路112或者预测抽头生成电路113中进行与图22中类别分类电路101或者预测抽头生成电路103的场合相同的处理，并由此分别输出注目象素的类别或者预测抽头。将类别分类电路112输出的类别供给到预测抽头存储器115和教师数据存储器116的地址端(AD)上，将预测抽头生成电路113输出的预测抽头供给到预测抽头存储器115中。

在预测抽头存储器115中，在对应于由类别分类电路112供给的类别的地址中存储由预测抽头生成电路113供给的预测抽头。

另一方面，在延迟电路114中，使HD图像仅延迟对应于注目象素的类别从类别分类电路112供给到教师数据存储器116中的时间，对于其中的预测抽头，仅将图23所示的位置关系的HD象素的象素值作为教师数据供给到教师数据存储器116中。

并且，在教师数据存储器116中，在对应于由类别分类电路112供给的类别的地址中存储由延迟电路114供给的教师数据。

重复下面相同的处理，直到将构成由预先学习用准备的全部的HD图像得到的SD图像的全部的SD象素作为注目象素为止。

这样，在预测抽头存储器115和教师数据存储器116的同一个地址中存储分别与在图23中用“○”表示的SD象素或者在图23中用“●”表示的HD象素有同一位置关系的SD象素或者HD象素作为学习数据x或者教师数据y。

此外，在预测抽头存储器115和教师数据存储器116中，能在同一地址中存储多个信息，因此，在同一地址中，能存储属于同一类别的多个学习数据x和教师数据y。

然后，运算电路117从预测抽头存储器115或者教师数据存储器116读出存储在同一地址中的作为学习数据的预测抽头或者作为教师数据的HD象素的象素值，并用它们根据最小二乘法算出使预测值和教师数据间的误差为最小的预测系数的集合。也就是说，在运算电路117中，对每个类别建立式(13)所示的正规方程式，借助于求解该方程式求得每个类别的预测系数的集合。

这样，在运算电路117求得的每个类别的预测系数的集合，存储在图22中系数ROM104的对应于该类别的地址中。

此外，在前述的学习处理中，虽然也可能产生不能得到用于求得预测系数的集合所必须数量的正规方程式的类别，但对于这种类别，例如借助于忽略类别建立并求解正规方程式得到的预测系数的集合等，可以作为缺省的预测系数的集合使用。

但是，采用图22的图像变换装置，通过间抽HD图像的象素值等使象素值减少而得到SD图像，如前所述，从该得到的SD图像能得到还包含有SD图像不包含的高频成分的HD图像，但对于接近原来的HD图像还有一定限制。其理由是，为了复原到原来的HD图像，仅间抽HD图像的象素值后的SD图像的象素(SD象素)的象素值不是最优的。

因此，本申请人为了能得到更加接近于原来的HD图像的画面质量的解码图像，先前建议有关于利用适应处理的图像压缩(编码)(例如已公开的日本特愿平8-206552号公报等所示)。

也就是说，为了能根据适应处理得到更加接近于原来的HD图像的解码图像，图25示出了将其HD图像压缩(编码)成最优SD图像的图像编码装置的结构例。

将编码对象的HD图像供给到间抽单元121和误差算出单元43中。

在间抽单元121利用例如单纯地间抽使HD图像成为SD图像，并供给到校正单元41中。校正单元41一从间抽单元121接收到SD图像，开始原样地将该SD图像输出到局部解码单元122中。局部解码单元122具有与例如图22所示的图像变换装置相同的结构，用来自校正单元41的SD图像并借助于进行前述的适应处理，算出HD象素的预测值并输出到误差算出单元43中。误差算出单元43算出来自局部解码单元122的HD象素的预测值的相对于原来的HD象素的预测误差(误差信息)，并输出到控制单元44中。控制单元44对应于来自误差算出单元43的预测误差对校正单元41进行控制。

也就是说，由此，校正单元41按照来自控制单元44的控制，校正来自间抽单元121的SD图像的象素值，并输出到局部解码单元122中。在局部解码单元122中，用由校正单元41供给的校正后的SD图像再次求得HD图像的预测值。

下面，重复相同的处理，直到误差算出单元43输出的预测误差达到规定值以下为止。

当误差算出单元43输出的预测误差达到规定值以下时，控制单元44控制校正单元41，由此，输出预测误差在规定值以下时的校正后的SD图像作为HD图像的最优编码结果。

因此，采用这种校正后的SD图像，则借助于对其进行适应处理，能得到预测误差在规定值以下的HD图像。

因此，如前所述，因从图25的图像编码装置输出的SD图像可说是为得到更加接近于原来HD图像的解码图像的最优图像，所以用这种图像编码装置的校正单元41、局部解码单元122、误差算出单元43和控制单元44构成的系统进行的处理是最优处理。

但是，适应处理可以说是用HD象素的周围的SD象素构成预测抽头，用这种预测抽头求得HD象素的预测值，但作为预测抽头使用的SD象素的选择与象素无关而形成。

也就是说，用图22的图像变换装置的预测抽头生成电路103和与这种图像变换装置相同结构的图25的局部解码单元122，能不断地生成(形成)一定模式的预测抽头。

但是，图像的局部特性不同的场合很多，因此，如果特性不同，则用与其对应的预测抽头进行适应处理，能得到更加接近于原来的HD特性的画面质量的解码图像。

发明概述

本发明鉴于前述的状况，其目的是能得到进一步改善画面质量的解码图像。

与本发明相关的对图像信号进行编码的图像编码装置，包括

发生象素数比原图像信号的象素数少的压缩图像信号的压缩单元；

对于作为构成所述压缩图像信号的象素之一的注目象素，用该注目象素的附近象素，形成多个模式的预测象素的第1形成单元；

由所述多个模式的各个预测象素和规定的预测系数预测所述原图像信号，并分别输出对于这些多个模式的预测象素的预测值的第1预测单元；

算出对于所述多个模式的预测象素的各个预测值的、对于所述原图像信号的预测误差的第1算出单元；

将所述多个模式的预测象素中对应于得到最小的预测误差的预测象素的模式码附加在所述注目象素的象素值上的附加单元。

与本发明相关的对图像信号进行编码的图像编码方法，包括

发生象素数比原图像信号的象素数少的压缩图像信号的压缩步骤；

对于作为构成所述压缩图像信号的象素之一的注目象素，用该注目象素的附近象素，形成多个模式的预测象素的第1形成步骤；

由所述多个模式的各个预测象素和规定的预测系数预测所述原图像信号，并分别输出对于这些多个模式的预测象素的预测值的第1预测步骤；

算出对于所述多个模式的预测象素的各个预测值的、对于所述原图像信号的预测误差的第1算出步骤；

将所述多个模式的预测象素中对应于得到最小的预测误差的预测象素的模式码附加在所述注目象素的象素值上的附加步骤。

与本发明相关的将压缩图像信号解码成原来图像信号的图像解码装置，包括

接收所述压缩图像信号的接收单元；

形成对应于附加在所述压缩图像信号的注目象素的象素值上的模式码的模式预测象素的形成单元；

由在所述形成单元形成的所述预测象素和规定的预测系数对原图像信号进行预测，并输出所述原图像信号的预测单元。

与本发明相关的将压缩图像信号解码成原来图像信号的图像解码方法，包括

接收所述压缩图像信号的接收步骤；

形成对应于附加在所述压缩图像信号的注目象素的象素值上的模式码的模式预测象素的形成步骤；

由在所述形成步骤形成的所述预测象素和规定的预测系数对原图像信号进行预测，并输出所述原图像信号的预测步骤。

在与本发明相关的记录媒体中，记录利用图像解码装置能解码的压缩图像信号。利用

对于作为构成所述压缩图像信号的象素之一的注目象素，用该注目象素的附近象素，形成多个模式的预测象素的形成步骤；

由所述多个模式的各个预测象素和规定的预测系数预测所述原图像信号，并分别输出对于这些多个模式的预测象素的预测值的预测步骤；

算出对于所述多个模式的预测象素的各个预测值的、对于所述原图像信号的预测误差的算出步骤；

将所述多个模式的预测象素中对应于得到最小的预测误差的预测象素的模式码附加在所述注目象素的象素值上的附加步骤，

形成这种压缩图像信号。

附图简要说明

图1是表示采用本发明的图像处理装置的一实施形态的结构方框图。

图2是表示图1中发送装置1的结构例的方框图。

图3是表示图2中发送装置1的功能的结构例的方框图。

图4是用于说明图3中发送装置1的动作的流程图。

图5是表示图3中前置处理单元21的结构例的方框图。

图6是用于说明图5中间抽电路31的处理的图。

图7是表示预测抽头的结构例的图。

图8是表示预测抽头的结构例的图。

图9是表示预测抽头的结构例的图。

图10是表示预测抽头的结构例的图。

图11是用于说明图5中前置处理单元21的处理的流程图。

图12是用于更详细地说明图11的步骤S11的处理的流程图。

图13A-图13B是表示用于进行类别分类的抽头类型的结构例的图。

图14是表示图3中最优化单元23的结构例的方框图。

图15是用于说明图14中最适化单元23的处理的流程图。

图16是用于说明图15中的步骤S33的处理的图。

图17是表示图3中自适应处理单元24的结构例的方框图。

图18是用于说明图17中适应处理单元24的处理的流程图。

图19是表示图3中预测抽头模式判定单元26的结构例的方框图。

图20是用于说明图19中预测抽头模式判定单元26的处理的流程图。

图21是表示图1中接收装置4的结构例的方框图。

图22是表示本申请人先前提议了的图像变换装置的结构例的方框图。

图23是用于说明图22中类别分类电路101的处理的图。

图24是表示本申请人先前提议了的学习装置的结构例的方框图。

图25是表示本申请人在先提议了的图像编码装置的结构例的方框图。

图26是表示类别分类适应处理电路(预测系数、预测值算出)电路33的一部分的结构的一例的方框图。

图27是表示类别分类适应处理电路(预测系数、预测值算出)电路33的其它的一部分的结构的一例的方框图。

图28是表示类别分类适应处理电路42B和74的结构的一例的方框图。

实施发明的最佳方式

下面，参照附图对与发明相关的图像编码装置、图像编码方法、图像解码装置、图像解码方法以及记录媒体的实施形态进行说明。

图1示出了采用本发明的图像处理装置的一实施形态的结构。将数字化的HD图像的图像数据供给到发送装置1中。发送装置1利用间抽被输入的图像数据(减少其象素数)进行压缩、编码，并将其结果得到的SD图像的图像数据作为HD图像的编码数据，记录在例如光盘、光磁盘、磁带等构成的记录媒体2上，或者通过例如地面波、卫星线路、电话线路、CATV网等的传送通道3进行传送。

在接收装置4中重放记录在记录媒体2中的编码数据，或者接收通过传送通道3传送来的编码数据，扩展并解码该编码数据，并将其结果得到的HD图像的解码图像供给到未图示的显示器上进行显示。

此外，前述的图像处理装置适用于例如光盘装置、光磁盘装置、磁带等的进行图像的记录/重放的装置，或者例如电视电话装置、电视广播系统、CATV系统等的进行图像传送的装置。此外，如后所述，因发送装置1输出的编码数据的数据量少，所以图1的图像处理装置也能适用于传输速率低的、例如手机等的便于移动的便携式终端等。

图2表示发送装置1的结构例。

I/F(InterFace：接口)11进行由外部供给的HD图像的图像数据的接收处理和对于发送机/记录装置16的编码数据的发送处理。ROM(Read Only Memory：只读存储器)12存储IPL(Initial Program Loading：初始程序装载)用的程序等。RAM(Random Access Memory：随机存储器)13存储记录在外部存储装置15中的系统程序(OS(Operating System：操作系统))和应用程序，并存储CPU(CentralProcessing Unit：中央处理单元)14动作的必要的数据。CPU14按照存储在ROM12中的IPL程序，从外部存储器15将系统程序和应用程序展开到RAM13中，并在该系统程序的控制下执行应用程序，通过这样对由I/F11供给的图像数据进行后述的编码处理。外部存储装置15、例如磁盘装置等，如前所述除存储CPU14执行的系统程序和应用程序外，还存储CPU14动作上必要的数据。发送机/记录装置16将由I/F11供给的编码数据记录在记录媒体2中，或者通过传输通道3进行传输。

此外，通过总线互相连接I/F11、ROM12、RAM13、CPU14和外部存储装置15。在图2中，虽然发送装置1用CPU14构成，但也可以用硬线连接逻辑构成。

在如前所述结构的发送装置1中，HD图像的图像数据一供给到I/F11中，其图像数据就供给到CPU14中。CPU14对图像数据进行编码，并将作为该结果得到的编码数据的SD图像供给到I/F11中。I/F11一接收到编码数据，就将其供给到发送机/记录装置16中。发送机/记录装置16将来自I/F11的编码数据记录在记录媒体2中，或者通过传输通道3进行传输。

图3是表示图2中发送装置1的、除去发送机/记录装置16部分的功能的方框图。

将作为应该编码的图像数据的HD图像供给到前置处理单元21、最优化单元23、自适应处理单元24和预测抽头模式判定单元26中。

前置处理单元21对于供给它的HD图像，用例如1帧(或者1场)为单位施行后述的前置处理，并将关于其结果得到的SD图像或者多个模式的预测抽头的每个类别的预测系数w的集合，分别供给到开关22或者25的端a上。将前置处理单元21或者预测抽头模式判定单元26输出的SD图像，分别供给到开关22的端a或者b上。只有在前置处理单元22中对某个HD图像施行前置处理、并由此输出SD图像时，开关22选择端a，在其它时间选择端b，并将前置处理单元21或者预测抽头模式判定单元26输出的SD图像供给到最优化单元23中。

最优化单元23对于由开关22供给的SD图像，施行在前述图25说明了的最优化处理，并将其结果得到的最优化SD图像供给到自适应处理单元25、预测抽头模式判定单元26和多路化单元27中。自适应处理单元24借助于用来自最优化单元23的最适合SD图像和原来的HD图像进行自适应处理，对多个模式的每个类型算出减小由最优SD图像的象素值的线性组合求得的HD图像的预测值的预测误差的每个类别的预测系数w的集合，并输出到开关25的端b上。

只有在前置处理单元21中对某个HD图像施行前置处理、并由此输出关于多个模式的预测抽头的每个类别的预测系数w的集合时，开关25选择端a，在其它时间选择端b，并将前置处理单元21或者自适应处理单元24输出的关于多个模式的预测抽头的每个类别的预测系数w的集合，供给到最优化单元23、预测抽头模式判定单元26和多路化单元27中。

预测抽头模式判定单元26由最优化单元23供给的自适应SD图像，形成多个模式的预测抽头，并分别用该多个模式的预测抽头进行自适应处理，求得多个HD图像的预测值。此外，预测抽头模式判定单元26在多个模式的预测抽头中，判定多个HD图像的预测值的预测误差最小的，对应其判定结果将后述的模式码附加到来自最优化单元23的最适SD图像的象素值上，并供给到开关22的端b上。

多路化单元27在规定的场合，将由最优化单元23供给的最适SD图像和通过开关25供给的多个模式的预测抽头的每个类别的预测系数w的集合进行多路化处，并以其多路化结果作为编码数据输出到发送机/记录装置16(图2)中。

接着，参照图4的流程图对其动作进行说明。

当应该编码的HD图像一供给到前置处理单元21、最优化单元23、自适应处理单元24和预测抽头模式判定单元26中，在前置处理单元21就在步骤S1列HD图像施行前置处理。

也就是说，前置处理单元21借助于减少HD图像的象素数并进行压缩，构成SD图像，并分别以构成其SD图像的SD象素依次地作为注目象素，对于各注目象素形成多个模式的预测抽头。此外，前置处理单元21分别对于其多个模式的预测抽头，借助于用式(13)所示的正规方程式求解，求得每个类别的预测系数w的集合。并且，前置处理单元21借助于用多个模式的预测抽头和与其相关求得的每个类别的预测系数w的集合的规定的类别的预测系数的集合，对式(1)所示的线性一次方程式进行计算，求得从多个模式的各个预测抽头得到的多个HD图像的预测值。此外，前置处理单元21检测多个模式的预测抽头中的多个HD图像的预测值的预测误差为最小的，并将预先对应于其预测抽头的模式的、例如作为2位码的抽头模式码，附加在成为注目象素的SD象素上并进行输出。

如前所述，分别将附加抽头模式码的SD图像输出到开关22的端a上，或者将关于求解正规方程式得到的多个模式的各个预测抽头的每个类别的预测系数w的集合输出到开关25的端a上。

如前所述，开关22和25在从前置处理单元21输出SD图像和多个模式的各个预测抽头的每个类别的预测系数w的集合时，都选择端a，因此，前置处理单元21输出的SD图像，通过开关22供给到最优化单元23中，前置处理单元21输出的多个模式的各个预测抽头的每个类别的预测系数w的集合，通过开关25输出到最优化单元23和预测抽头模式判定单元26中。

最优化单元23一接收到SD图像和关于多个模式的各个预测抽头的每个类别的预测系数w的集合，就在步骤S2中用它们进行最优化处理。即最优化单元23用SD图像和关于多个模式的各个预测抽头的每个类别的预测系数w的集合进行自适应处理，并校正SD图像的象素值，以便其结果得到的HD图像的预测值的预测误差小。并且，将其结果得到的最适SD图像供给到自适应处理单元24和预测抽头模式判定单元26中。

自适应处理单元24从最优化单元23一接收到最适SD图像，就在步骤S3中借助于进行自适应处理算出关于减小用最适SD图像得到的HD图像的预测值的预测误差的多个模式的各个预测抽头的每个类别的预测系数w的集合。即自适应处理单元24分别以构成最适SD图像的SD象素依次地作为注目象素，并对于各注目象素形成预测抽头。此外，这时预测抽头形成对应于附加在注目象素上的抽头模式码的模式。并且，自适应处理单元24借助于对于多个模式的每个预测抽头，由预测抽头建立正规方程式并对其求解，求得多个模式的各个预测抽头的每个类别的预测系数w的集合。并将这些多个模式的各个预测抽头的每个类别的预测系数w的集合，供给到开关25的端b上。

经前述处理后，进入到步骤S4中，开关22和25都从端a切换到端b，由此，通过开关25将在自适应处理单元24中求得的关于多个模式的各个预测抽头的每个类别的预测系数w的集合，供给到最优化单元23和预测抽头模式判定单元26中。

预测抽头模式判定单元26从最优化单元23接收最适SD图像，并且从自适应处理单元24一接收到关于多个模式的各个预测抽头的每个类别的预测系数w的集合，就在步骤S5中决定以构成最适SD图像的各个SD象素作为注目象素形成的预测抽头的最优模式。

也就是说，预测抽头模式判定单元26以构成最适SD图像的各个SD象素依次地作为注目象素，对于各注目象素形成多个模式的预测抽头。此外，预测抽头模式判定单元26，借助于对于其多个模式的每个预测抽头、用对应于来自自适应处理单元24的其预测抽头的每个类别的预测系数w的集合中规定的类别的预测系数w的集合，对式(1)所示的线性一次方程式进行计算，求得从多个模式的各个预测抽头得到的多个HD图像的预测值。此外，预测抽头模式判定单元26检测多个模式的预测抽头中的多个HD图像的预测值的预测误差为最小的，并将已经附加在成为注目象素的SD象素上的抽头模式码变更成对应于其预测抽头的抽头模式码。也就是说，在现在的场合因在SD象素上已经附加抽头模式码，所以能用附加使预测误差为最小的预测抽头的抽头模式码代替。

如前所述，将变更抽头模式码后的SD图像输出到开关22的端b上。

因在步骤S4中切换开关22并选择端b，所以预测抽头模式判定单元26输出的SD图像通过开关22供给到最优化单元23中。在步骤S6中与步骤S2的场合相同，最优化单元23进行最优化处理，并由此输出最适合SD图像。此外，这种场合，在最优化单元23虽然进行如在步骤S2说明了的自适应处理，但这种自适应处理是通过开关25用由自适应处理单元供给的关于多个模式的各个预测抽头的每个类别的预测系数w的集合进行。

将从最优化单元23输出的最适合SD图像供给到自适应处理单元24和预测抽头模式判定单元26中，在步骤S7中与步骤S3的场合相同，在自适应处理单元24中借助于用最优化单元23输出的最适合SD图像进行自适应处理，求得关于多个模式的各个预测抽头的每个类别的预测系数w的集合，并通过开关25输出到最优化单元23和预测抽头模式判定单元26中。

然后，进入到步骤S8，判定是否仅以规定的规定次数进行步骤S5至步骤S8的处理。在步骤S8中，在判定还没有以规定的规定次数进行步骤S5至步骤S8的处理的场合，返回到步骤S5，并重复前述的处理。在步骤S8中，在判定以规定的规定次数进行步骤S5至步骤S8的处理的场合，进入到步骤S9，多路化单元27对在前次的步骤S6的处理中，最优化单元23输出的最适合SD图像和那时使用的多个模式的各个预测抽头的每个类别的预测系数w的集合进行多路化处理，作为编码数据输出，并结束处理。

前述的处理用例如1帧为单位等重复进行。

此外，在前述的场合的步骤S8中，判定是否以规定的规定次数进行步骤S5至步骤S8的处理，但也可以在步骤S8中，判定借助于用例如在该时刻从最优化单元23输出的最适合SD图像进行自适应处理所得到的HD图像的预测值的预测误差的1帧部分的绝对值之和是否在规定的阈值以下，在阈值以下的场合进入到步骤9，在不是阈值以下的场合中返回到步骤S5。也就是说，步骤S5至步骤S8的处理能够重复进行，一直到借助于用最适合SD图像进行自适应处理所得到的HD图像的预测值的预测误差的1帧部分的绝对值之和达到规定的阈值以下为止。

图5示出了图3中前置处理单元21的结构例。

将应该编码的HD图像供给到间抽电路31、类别分类自适应处理(预测系数、预测值算出)电路33和预测误差算出电路34中。

间抽电路31例如利用间抽减少HD图像的象素数构成SD图像，并供给到预测抽头生成电路32和抽头模式码附加电路36中。也就是说，间抽电路31将HD图像分割成长×宽为3×3象素的9象素的正方形块，以各块的9象素的平均值作为其中心的象素的象素值构成SD图像。由此，在间抽电路31中，由例如在图6中用“·”所示的HD象素组成的HD图像，构成同图中用“○”所示的SD象素组成的SD图像。

此外，在间抽电路31中，也可以例如仅提取前述块的中心的象素，构成SD图像。

预测抽头生成电路32以来自间抽电路31的构成SD图像的各象素(在图6中用“○”表示的部分)作为依次注目象素，并对于各注目象素构成多个模式的预测抽头。也就是说，在本实施形态中，分别如图7至图10所示，形成以注目象素为中心的3×3象素、5×3象素、3×5象素或者7×5象素的4种模式的预测抽头。将这些4种模式的预测抽头供给到类别分类自适应处理(预测系数、预测值算出)电路33中。

类别分类自适应处理(预测系数、预测值算出)电路33分别对于由预测抽头生成电路32供给的4种模式的预测抽头进行类别分类，而且，对于各类别借助于用HD图像求解式(13)所示的正规方程式，能求得关于4种模式的各个预测抽头的每个类别的预测系数w的集合。此外，类别分类自适应处理(预测系数、预测值算出)电路33借助于运算式(1)所示的线性一次方程式，从关于求得的4种模式的各个预测抽头的每个类别的预测系数w的集合中各个规定类别的预测系数w和4种模式的各个预测抽头，求得由4种模式的各个预测抽头得到的多个HD图像的预测值，并输出到预测误差算出电路34中。

此外，在类别分类自适应处理(预测系数、预测值算出)电路33中，将对于4种模式的各个预测抽头求得的每个类别的预测系数w的集合，供给到存储器35中。

此外，在本实施形态中，在类别分类自适应处理(预测系数、预测值算出)电路33中对于4种模式的各个预测抽头，建立正规方程式求得如在图6中用虚线围住的那样以成为注目象素的SD象素为中心的3×3的HD象素的预测值，而与预测抽头的模式无关。因此，能求得用于生成3×3的HD象素的预测值的对于4种模式的各个预测抽头的每种类别的预测系数w的集合。关于这种类别分类自适应处理(预测系数、预测值算出)电路33的详细的结构将在后面说明。

预测误差算出电路34对于各注目象素求得由4种模式的各个预测抽头得到的HD图像的预测值的对于原来的HD图像的象素值的预测误差。也就是说，例如对于4种模式的各个预测抽头，运算HD图像的9象素的预测值和原来的HD图像的9象素的象素值的差的平方和。并且，预测误差算出电路34检测出4种模式的预测抽头中预测误差(差的平方和)为最小的。并且，将对应于预测误差最小的预测抽头的模式的2位抽头模式码输出到存储器35和抽头模式码附加电路36中。

存储器35暂时存储由类别分类自适应处理(预测系数、预测值算出)电路33供给的、对于4种模式的各个预测抽头求得的每个类别的预测系数w的集合。并且，存储器35当例如1帧(或者1场)的HD图像的处理一结束(即在全部的SD象素上附加抽头模式码)，就读出对于4种模式的各个预测抽头求得的每个类别的预测系数w的集合，并输出到开关25的端a上。

抽头模式码附加电路36对于供给它的SD图像，附加由预测误差算出电路34供给的抽头模式码。即抽头模式码附加电路36删除成为注目象素的SD象素的象素值(例如用8位等构成)的LSB(Least Significant Bit：最低有效位)侧的2位，并在那里配置2位的抽头模式码。在抽头模式码附加电路36中，将附加抽头模式码的SD图像输出到开关22的端a上。

下面，对类别分类自适应处理(预测系数、预测值算出)电路33的结构进行说明。这种类别分类自适应处理(预测系数、预测值算出)电路33分别对于4种模式的预测抽头，具有类别分类自适应处理(预测系数、预测值算出)电路。也就是说，类别分类自适应处理(预测系数、预测值算出)电路33具有用于4种模式的预测抽头的独立的4个类别分类自适应处理电路。图26和图27示出了这种1个类别分类自适应处理电路。此外，4个类别分类自适应处理电路因除了供给不同的4类预测抽头外具有相同的结构，所以说明1个类别分类自适应处理电路，省略其它的说明。

图26所示的类别分类自适应处理电路包括类别分类电路112、延迟电路114、预测抽头存储器115、教师数据存储器116、运算电路117和延迟电路118(图25)，图27所示的类别分类自适应处理电路包括类别分类电路201、系数RAM204和预测运算电路205。

构成图26所示的类别分类自适应处理电路的一部分的各电路除延迟电路118外，分别与图24所示的学习装置的类别分类电路112、延迟电路114、预测抽头存储器115、教师数据存储器116、运算电路117、延迟电路118、以及图22所示的图像变换装置的结构相同。其中因预测抽头由预测抽头生成电路32供给，所以代替图24所示的预测抽头生成电路113，将预测抽头供给到延迟电路118中。并且，在延迟电路118中与延迟电路114相同，延迟时间为对于注目象素的类别从类别分类电路112供给到预测抽头存储器中的时间，对预测抽头进行延迟，并存储到预测抽头存储器115中。

在将对于1帧的HD象素的数据存储在预测抽头存储器115和教师数据存储器116中后，利用与图24的学习装置的动作相同的动作生成每个类别的预测系数的集合。在将这种生成的每个类别的预测系数的集合存储在图27所示的系数RAM204中的同时，供给并存储在图5的前置处理单元21的存储器35中。此外，如前所述，因用独立的电路生成对于4种模式的各个预测抽头求得的每个类别的预测系数w的集合，所以在将对于4种模式的各个预测抽头求得的每个类别的预测系数w的集合存储在图27的系数RAM204中的同时，供给并存储在图5的前置处理单元21的存储器35中。

在将对于4种模式的各个预测抽头求得的每个类别的预测系数w的集合存储在图27的系数RAM204中后，在类别分类电路201中进行类别分类，并将类别信息供给到系数RAM204中。系数RAM204输出对应于被供给的类别信息的预测系数的集合，并供给到预测运算电路205中。预测运算电路205借助于运算式(1)所示的线性一次方程式，从被供给的预测抽头和预测系数的集合求出多个HD图像的预测值。此外，构成图27所示的类别分类自适应处理电路的一部分的各电路在存储每个类别的预测系数的集合到系数RAM204中后的动作，与执行与图22的图像变换装置的类别分类电路101、系数RAM104和预测运算电路105的动作相同。此外，因类别分类电路112和类别分类电路201结构相同，所以也可以作为1个结构。

下面，参照图11的流程图对前置处理单元21的处理进行说明。

前置处理单元21一输入应该编码的HD图像，就将该HD图像供给到间抽电路31、类别分类自适应处理(预测系数、预测值算出)电路33和预测误差算出电路34中。间抽电路31一接收到HD图像，就在步骤S11中间抽其象素数，构成SD图像。

也就是说，在步骤S11中，如图12的流程图所示，首先一开始在步骤S21中将HD图像分割成例如3×3象素的HD图像块，并进入到步骤S22中。

此外，在本实施例中，由例如亮度信号Y和色差信号U、V构成HD图像，在步骤S21中，构成亮度信号块和色差信号块。

在步骤S22中，取任何一个块为注目块，并计算构成该注目块的3×3的HD象素的象素值的平均值。此外，在步骤S22中，取该平均值为注目块的中心的象素(SD象素)的象素值，并进入到步骤S23中。

在步骤S23中，判定注目块是否为亮度信号块。在步骤S23中判定注目块是亮度信号块的场合，进入到步骤S24，为了附加抽头模式码而将作为SD象素的注目块的中心的象素的象素值(这里为亮度信号)的LSB侧的2位例如清零成0，并进入到步骤S25中。此外，在步骤S23中判定注目块不是亮度信号块的场合，即注目块是色差信号块的场合，跳过步骤S24，进入到步骤S25中。

这里，在本实施形态中，仅对于亮度信号准备多个模式的预测抽头，对于色差信号用固定模式的预测抽头。因此，因仅对于亮度信号附加抽头模式码而对于色差信号不附加抽头模式码，所以不必对其LSB侧的2位进行清零。

在步骤S25中，判定是否将在步骤S21构成的全部块作为注目块进行处理，在判定没有将全部块作为注目块进行处理的场合，返回到步骤S22，并将没有作为注目块的块重新作为注目块重复同样的处理。在步骤S25中，在判定将全部块作为注目块进行处理的场合、即构成SD图像的场合，返回。

回到图11，在步骤S11中，将如前所述构成的SD图像从间抽电路31供给到预测抽头生成电路32和抽头模式码附加电路36中。预测抽头生成电路32从间抽电路31一接收到SD图像，就在步骤S12中，以构成它的SD象素中的1个作为注目象素，并对于该注目象素形成(生成)图7至图10所示的4种模式的预测抽头，并供给到类别分类自适应处理(预测系数、预测值算出)电路33中。

此外，如前所述，仅对于亮度信号形成4种模式的预测抽头，对于色差信号经常仅形成例如图10所示的7×5象素的预测抽头。

类别分类自适应处理(预测系数、预测值算出)电路33在步骤S13中，首先对于各个从预测抽头生成电路32供给的4种模式的预测抽头(亮度信号的场合)，用各自的类别分类自适应处理电路进行分类。

这里，在本实施形态中，对于4种模式的各个预测抽头构成例如下面所述的类别分类用的抽头(下面称为类别抽头)，进行类别分类。

也就是说，如图13A中用虚线围住的部分所示，对于亮度信号，即使与4种模式的各个预测抽头的任何一个相关，也能基于以注目象素为中心的菱形的范围的5个SD象素，构成类别抽头。并且，以这种5象素的象素值中的最大值和最小值之差作为动态范围DR，并用这种动态范围DR对类别抽头中的纵向排列的3象素(在图13A中用实线围住的3象素)进行1位ADRC处理。

并且，在这种3象素的象素值的模式中附加对应于预测抽头的抽头码取作注目象素的类别。因此，这种场合，用3位表示类别抽头中的对纵向排列的3象素进行1位ADRC处理所得到的象素值的模式，此外，因抽头码是2位，所以能将亮度信号分类成32(=2⁵)类别中的任何一类。

另一方面，如图13B中用虚线围住的部分所示，对于色差信号，基于以注目象素为中心的正方形的范围的9个SD象素，构成类别抽头。并且，以这种9象素的象素值中的最大值和最小值之差作为动态范围DR，并用这种动态范围DR对类别抽头中的以注目象素为中心的菱形范围的5个SD象素(在图13B中用实线围住的5象素)进行1位ADRC处理。并且，将这种5象素的象素值的模式取作注目象素的类别。因此，这种场合，用5位表示类别抽头中的对以注目象素为中心的5象素进行1位ADRC处理所得到的象素值的模式，此外，与亮度信号相同也能将色差信号分类成32(=2⁵)类别中的任何一类。

如前所述，在类别分类自适应处理电路(预测系数、预测值算出)电路33中，决定注目象素的类别后，对于4种模式的各个预测抽头，借助于对每个类别用预测抽头和HD图像建立式(13)所示的正规方程式并对其进行求解，能求得对于4种模式的各个预测抽头求得的每个类别的预测系数w的集合。用4种模式的各个预测抽头求得的对于4种模式的各个预测抽头的每个类别的预测系数w的集合都供给并存储到存储器35中。

此外，类别分类自适应处理电路(预测系数、预测值算出)电路33，借助于运算式(1)所示的线性一次方程式从分别用4种模式的预测抽头得到的对于4种模式的各个预测抽头的每个类别的预测系数w的集合和4种模式的各个预测抽头，求得从4种模式的各个预测抽头得到的HD图像的预测值，并输出到预测误差算出电路34中。

在步骤S14中，预测误差算出电路34求得由类别分类自适应处理电路(预测系数、预测值算出)电路33供给的、4种模式的各个预测抽头的HD图像的预测值的、对于原来的HD图像的象素值的预测误差。也就是说，例如以HD图像的9象素的预测值和原来的HD图像的象素的象素值的差的平方和为预测误差，求得对于4种模式的各个预测抽头。然后，进入到步骤S15中，并且对于注目象素检测出预测误差最小的预测抽头。然后，将对应于这种预测抽头的抽头模式码输出到抽头模式码附加电路36中。

在步骤S16中，在抽头模式码附加电路36中输出来自间抽电路31的构成SD图像的SD象素中的注目象素的象素值(在本实施形态中仅对于亮度信号)的LSB侧的2位，作为抽头模式码。

然后，进入到步骤S17中，并判定是否将抽头模式码附加到全部的SD象素上，在判定没有将抽头模式码附加到全部的SD象素上的场合，返回到步骤S12，并以没有附加抽头模式码的SD象素中的任何一个作为新的注目象素，重复相同的处理。另一方面，在步骤17判定已将抽头模式码附加到全部的SD象素上的场合，在步骤S18中，存储器35输出对于4种模式的各个预测抽头的每个类别的预测系数w的集合，并结束处理。

如前所述，在前置处理单元21中，对于各个间抽电路31输出的构成SD图像的SD象素(如前所述，这里具有以3×3的HD象素的平均值作为象素值的象素)，可以说是临时附加预测误差为最小的预测抽头的抽头模式码。

图14示出了图3的最优化单元23的结构例。在图中，对于与图25的场合基本上结构相同的部分，附以相同的标号。也就是说，最优化23没有间抽单元121，并且除设置局部解码单元42代替局部解码单元122外，与图25的图像编码装置基本上结构相同。

局部解码单元42由预测抽头生成电路42A和类别分类自适应处理电路42B构成，在这里，由校正单元41供给SD图像。预测抽头生成电路42A对应于配置在由校正单元41供给的SD图像的SD象素的LSB侧上的抽头模式码，形成(生成)预测抽头，并供给到类别分类自适应处理电路42B中。对于类别分类自适应处理电路42B，除了供给预测抽头外，还供给类别分类用的SD象素的对于4种模式的各个预测抽头的每个类别的预测系数w的集合。类别分类自适应处理电路42B如图13中说明了的那样、用类别分类用的SD象素，对构成预测抽头的注目象素进行类别分类，并借助于运算式(1)所示的线性一次方程式从对应于该类别预测系数w的集合和预测抽头，求得在图6中用虚线围住的部分所示的、以成为注目象素的SD象素为中心的3×3的HD象素的象素值的预测值，并将这种预测值供给到误差算出单元43中。

这里，对图28所示的类别分类自适应处理电路42B的构成进行说明。图28所示的类别分类自适应处理电路42B由类别分类电路201、系数RAM204和预测运算电路205构成。这种类别分类自适应处理电路42B与图26所示的类别分类自适应处理电路(预测系数、预测值算出)电路33中的1个类别分类自适应处理电路的一部分结构相同，并在相同的部分上附以相同的标号并省略对于其结构的说明。

下面，参照图15的流程图对其动作进行说明。

最优化单元23一接收到SD图像，就以构成其SD图像的SD象素中的1个作为注目象素，在步骤S31中，将表示校正注目象素的象素值的校正量的变量Δ初始化例如成为0。在步骤S31中，将作为初始值的例如4或者1对表示使校正量变化的变化量(下面称为偏移量)的变量S进行置数。

也就是说，如前所述，对于亮度信号，因其LSB侧的2位是抽头模式码，不是构成象素值的成分，所以对偏移量S置数4(=2²)。对于色差信号，与亮度信号不同，因全部的位构成象素值，所以对偏移量S置数1(=2⁰)。

此外，在步骤S31中，对注目象素的校正次数进行计数的变量i置数为初始值的-1，并进入到步骤S32。在步骤S32中，次数i仅增加1，并进入到步骤S33中，在仅用校正量Δ校正注目象素的象素值的校正值进行自适应处理的场合，算出由于该校正而受到影响的HD象素的预测值的预测误差E。

也就是说，这种场合，校正单元41在注目象素的象素值例如上加上校正量Δ，并以其加法后的值作为注目象素的象素值输出到局部解码单元42中。这里，对于注目象素在最初施行步骤S33的处理的场合，即次数i=0的场合，因校正量Δ仍是是保持在步骤S31置位的初始值0，所以从校正单元41原样地输出注目象素的象素值。

在局部解码单元42中，在预测抽头生成电路42A中对应于配置在注目象素的象素值的LSB侧的2位上的抽头模式码，形成预测抽头，并输出到类别分类自适应处理电路42B中，在类别分类自适应处理电路42B中，首先与图5的类别分类自适应处理(预测系数、预测值算出)电路33的场合相同对注目象素进行类别分类。此外，在类别分类自适应处理电路42B中，借助于运算式(1)所示的线性一次方程式从对应于该类别的预测系数和来自预测抽头生成电路42A的预测抽头，求得HD象素的象素值的预测值。

此外，在类别分类自适应处理电路42B中，在仅用校正量Δ校正注目象素的象素值的的场合，对于由于该校正而受到影响的HD象素，也同样能求得预测值。

也就是说，如图16所示，例如以SD象素A作为注目象素进行校正。在本实施形态中，如图10所示，预测抽头的范围最宽为用7×5的SD象素构成预测抽头的场合，这样，在用7×5的SD象素构成预测抽头的场合，当该预测抽头中包含SD象素A的情况时，以离开SD象素A最远的SD象素作为注目象素是以SD象素B、C、D、E为注目象素构成7×5象素的预测抽头的情况。并且，在以SD象素B、C、D、E为注目象素构成7×5象素的预测抽头的场合，在本实施形态中分别求得同图中用实线围住的范围b、c、d、e中的3×3的HD象素的预测值。因此，在以SD象素A作为注目象素校正其象素值的场合，由于该校正而受到影响的最差的情况是包含范围b、c、d、e的最小的长方形为图16中用虚线所示的范围内的21×15的HD象素的预测值。

因此，在本实施形态中，在类别分类自适应处理电路42B中，能求得这种21×15的HD象素的预测值。

将用在类别分类自适应处理电路42B中求得的HD象素的预测值供给到误差算出电路单元43中。在误差算出电路单元43从类别分类自适应处理电路42B的HD象素的预测值减去对应的HD象素的原来的象素值，求得例如作为其减去后的值的预测误差的平方和。并且，将这种平方和供给到控制单元44中，作为误差信息E。

控制单元44一从误差算出单元43接收到误差信息，就在步骤S34判定次数i是否为0。在步骤S34中判定次数i是0的场合、即未进行注目象素的校正而得到控制单元44接收到的误差信息E的场合，进入到步骤S35中，并在未进行注目象素的校正而得到的误差信息(未校正时的误差信息)的变量E0中置数误差信息E，另外，对于存储前次得到的误差信息的变量E’中也置数误差信息E。此外，在步骤S35中，校正量Δ仅增加偏移量S，控制单元44控制校正单元41以便仅由其得到的校正量Δ校正注目象素的象素值。然后，返回到步骤S32，并在后面重复同样的处理。

这种场合，在步骤S32中，因次数i仅增加1而成为1，所以在步骤S34中，判定次数不是0，进入到步骤S36中。在步骤S36中，判定次数i是否为1。这种场合，因次数i变为1，所以在步骤S36中，判定次数i为1，进入到步骤S37中，判定前次的误差信息E’是否大于本次的误差信息E。在步骤S37中判定前次的误差信息E’不大于本次的误差信息E的场合、即借助于仅校正量Δ校正注目象素的象素值、本次的误差信息E比前次的误差信息E’(这里是不进行校正的场合的误差信息)增加的场合，进入到步骤S38中，控制单元44以在偏移量S上乘以-1后作为新的偏移量S，此外，将校正量Δ仅增加偏移量的2倍，返回到步骤S32中。

也就是说，借助于仅校正量Δ(这种场合，校正量Δ=S)校正注目象素的象素值，在比没有校正时误差增加的场合，反转偏移量S的符号(在本实施形态中，在步骤S31中，因将偏移量S置位成正的值，所以在步骤S38中，偏移量的符号由正变成负)。此外，当前次是S时，校正量Δ成为-S。

在步骤S37中判定前次的误差信息E’大于本次的误差信息E的场合、即借助于仅校正量Δ校正注目象素的象素值、本次的误差信息E比前次的误差信息E’减小的场合(或者与前次的误差信息E’相同的场合)，进入到步骤S39中，控制单元44将校正量Δ仅增加偏移量S，同时借助于置位本次的误差信息E，对前次的误差信息E’进行更新，返回到步骤S32中。

这种场合，在步骤S32中，次数i再加1成为2，在步骤S34或者步骤S36中，分别判定次数i不是0或者1，其结果，从步骤S36进入到步骤40。在步骤S40中判定次数是否为2。因当前的次数i变为2，所以在步骤S40中判定次数是2，进入到步骤S41，并判定是否未校正时的误差信息E₀在当前的误差信息E以下而且偏移量S为负。

在步骤S40中，在判定为未校正时的误差信息E₀在当前的误差信息以下而且偏移量S为负的场合，也就是说，在即使将注目象素仅校正+S或者即使仅校正-S，也比没有校正时误差增加的场合，进入到步骤S42，校正量Δ成为0，并进入到步骤S47。

在步骤S40中在判定为未校正时的误差信息E₀不在当前的误差信息E以下、或者偏移量S不是负的场合，进入到步骤S44，判定前次的误差信息E’是否在本次的误差信息E以上。在步骤S44中判定前次的误差信息E’在本次的误差信息E以上的场合，即借助于仅校正量Δ校正注目象素的象素值、本次的误差信息E比前次的误差信息E’减小的场合，进入到步骤S45中，将校正量Δ仅增加偏移量S，同时借助于置位本次的误差信息E，对前次的误差信息E’进行更新，返回到步骤S32中。

这种场合，在步骤S32中，次数i再加1成为3，在步骤S34、步骤36或者步骤S40中，分别判定次数i不是0、1或者2，其结果，从步骤S40进入到步骤44。因此，在步骤S44中重复步骤S32至S34、S36、S40、S44、S45的循环处理，直到判定前次的误差信息E’不在本次的误差信息E以上为止。

在步骤S44中判定前次的误差信息E’不在本次的误差信息E以上的场合，即借助于仅校正量Δ校正注目象素的象素值、本次的误差信息E比前次的误差信息E，增加的场合，进入到步骤S46中，控制单元44将校正量Δ仅减少偏移量S，并进入到步骤S47中。即这种场合，校正量Δ成为误差增加前的值。

在步骤S47中，控制单元44借助于控制校正单元41，仅用步骤S42或者S46得到的校正量Δ校正注目象素的象素值，由此，为了基于自适应处理得到预测值，将注目象素的象素值校正成预测误差为最小的最优象素值。

然后，进入到步骤S48，判定是否将全部的SD象素作为注目象素进行处理。在步骤S48中判定还没有将全部的SD象素作为注目象素进行处理的场合，返回到步骤S31，并将没有作为注目象素的SD象素作为新的注目象素，重复相同的处理。在步骤S48中判定将全部的SD象素作为注目象素进行处理的场合，结束处理。

如前所述，为了求得HD图像的预测值，将SD图像的象素值最优化成为最优象素值。

图17示出了图3的自适应处理单元24的结构例。

将来自最优化单元23的最适合SD图像供给到在预测抽头生成电路51中，这里，与图14的预测抽头生成电路42A的场合相同，检测配置在该象素值的LSB侧的2位上的抽头模式码，按照其抽头模式码构成预测抽头，并供给到类别分类自适应处理电路52中。

在类别分类自适应处理电路52中，除预测抽头外还供给在类别分类中使用的最优SD图像和原来的HD图像，这里，用与例如图13说明了的场合相同地进行构成预测抽头的注目象素的类别分类，而且，对于其结果得到的各个类别，用预测抽头和HD图像建立式(13)所示的正规方程式。并且，类别分类自适应处理电路52借助于求解其每个类别的正规方程式，求得并输出对于新的4种模式的各个预测抽头的预测系数w的集合。

下面，参照图18的流程图对其动作进行说明。预测抽头生成电路51一接收到最适合SD图像，就在步骤S51中检测(提取)附加在构成其最适合SD图像的各SD象素上的抽头模式码，并进入到步骤S52，基于其提取的抽头模式码，形成预测抽头。并且，预测抽头生成电路51将形成的预测抽头输出到类别分类自适应处理电路52中。在步骤S53中，类别分类自适应处理电路52进行构成预测抽头的注目象素的类别分类，并对于其结果得到的各个类别，借助于用预测抽头和HD图像建立并求解正规方程式，求出并输出预测系数w，并结束处理。

由此，在自适应处理单元24中，为了从最适合SD图像得到原来的HD图像，求出预测误差最小的对于4种模式的各个预测抽头的每个类别的预测系数w的集合。如前所述，将这些对于4种模式的各个预测抽头的每个类别的预测系数w的集合供给到最优化单元23和预测抽头模式判定单元26中，并用于自适应处理(式(1)所示的线性1次方程式的计算)。

下面，对自适应处理单元24的其它的实施例进行说明。在其它的实施例中，与图5的前置处理单元21的预测抽头生成电路32相同地构成预测抽头生成电路51。也就是说，不是检测象素值的LSB侧的2位所配置的抽头模式码、并按照该抽头模式码构成预测抽头，而是用全部来构成4种模式的预测抽头，并供给到类别分类自适应处理电路52中。类别分类自适应处理电路52包括用于算出对于4种模式的各个预测抽头的4个预测系数w的类别分类自适应处理电路(亮度信号用)，这种各个类别分类自适应处理电路的结构，与图26所示的类别分类自适应处理(预测系数、预测值算出)电路33中的1个类别分类自适应处理电路的一部分相同。

也就是说，将对于各个HD图像的各模式的预测抽头和类别分类用的最适合SD象素供给到各类别分类自适应处理电路中，并分别进行类别分类。并且，在各类别分类自适应处理电路中，分别对于每个类别将1帧的HD象素和对于该HD象素的预测抽头存储在教师数据存储器和预测抽头存储器中。然后，在各个类别分类自适应处理电路中，利用与图24的学习装置的动作相同的动作，生成对于4种模式的各个预测抽头求得的新的每个类别的预测系数w的集合。

下面，图19示出了图3的预测抽头模式判定单元26的结构例。

如图19所示，预测抽头模式判定单元26由预测抽头生成电路61、类别分类自适应处理电路62、预测误差算出电路63和抽头模式码变更电路64构成，这些预测抽头生成电路61、类别分类自适应处理电路62、预测误差算出电路63或者抽头模式码变更电路64的结构与图5的前置处理单元21的预测抽头生成电路32、类别分类自适应处理(预测系数、预测值算出)电路33、预测误差算出电路34或者抽头模式码附加电路36基本上相同。

下面，参照图20的流程图对其动作进行说明。

将最适合SD图像、对于4种模式的各个预测抽头的每个类别的预测系数w的集合及HD图像供给到预测抽头模式判定电路26中，将最适合SD图像供给到预测抽头生成电路61和抽头模式码变更电路64中，并将对于4种模式的各个预测抽头的每个类别的预测系数w的集合和HD图像分别供给到类别分类自适应处理电路62或者预测误差算出电路63中。

在步骤S61中，预测抽头生成电路61一接收到最适合SD图像，就与图5的预测抽头生成电路32相同，以其中的一个作为注目象素，对于该注目象素，形成图7至图10所示的4种模式的预测抽头。并且，将这种4种模式的预测抽头输出到类别分类自适应处理电路62中。

在步骤S62中，类别分类自适应处理电路62一接收到以注目象素为对象形成的4种模式的预测抽头，就用其各个4种模式的预测抽头和对应的每个类别的各个预测系数w的集合，计算式(1)表示的线性1次方程式，由此求得从4种模式的各个预测抽头得到的HD图像的象素的预测值，并输出到预测误差算出电路63中。

在步骤S63或者步骤S64中，在预测误差算出电路63进行分别与图5的预测误差生成电路34进行的图11的步骤S14或者S15的场合相同的处理，由此，将4种模式的预测抽头中的预测误差最小的抽头模式码输出到抽头模式码变更电路64中。

在步骤S65中，在抽头模式码变更电路64将附加在注目象素(最适合SD图像的SD象素)的LSB测的2位上的抽头模式码变更成由预测误差算出电路63供给的抽头模式码，并进入到步骤S66中。

在步骤S66中，判定是否以全部的SD象素作为注目象素进行处理，在判定没有以全部的SD象素作为注目象素进行处理的场合，返回到步骤61，再以没有取为注目象素的SD象素重新作为注目象素，重复同样的处理。另一方面，在步骤S66中，在判定以全部的SD象素作为注目象素进行处理的场合，结束处理。

如前所述，在预测抽头模式判定单元26中，用自适应处理单元24得到的对于4种模式的各个预测抽头的预测系数w的集合，将预测模式码变更成与预测误差更小的预测抽头相对应。

下面，图21示出了图1的接收装置4的结构例。

在接收机/重放装置71中，重放记录在记录媒体2中的编码数据，或者接收通过传输通道3传输来的编码数据，并供给到分离单元72中。在分离单元72将编码数据分离成SD图像的图像数据和对于4种模式的各个预测抽头的每个类别的预测系数w的集合，将SD图像的图像数据供给到预测抽头生成电路73中，并将对于4种模式的各个预测抽头的每个类别的预测系数w的集合供给到类别分类自适应处理电路74中。

预测抽头生成电路73或者类别分类自适应处理电路74分别与构成图14所示的最优化单元23的局部解码单元42的预测抽头生成电路42A或者类别分类自适应处理电路42B(图27)的结构相同。因此，与局部解码单元42的场合相同，求得HD图像的预测值并将其作为解码图像进行输出。如前所述，这种解码图像为与原来的图像几乎同一的图像。

此外，在接收侧即使不是图21所示的接收装置4，也能由利用单纯的插入对被间抽的图像进行解码的装置、不用预测系数而用通常的插入，得到解码图像。但是，这种场合得到的解码图像其画面质量(清晰度)变得较差。

如前所述，由于以构成由压缩HD图像得到的SD图像的象素中的1个作为注目象素，对于该注目象素形成多个模式的预测抽头，利用预测抽头和预测系数的线性组合进行求得HD图像的预测值的自适应处理，算出从多个模式的各个预测抽头得到的预测值的预测误差，并将多个模式的预测抽头中对应于最小预测误差得到的抽头模式码附加到注目象素的象素值上，因此用对应于图像的局部特性的预测抽头进行自适应处理，其结果，能得到画面质量更好的解码图像。

此外，因配置2位抽头模式码代替象素值的LSB侧的2位，所以能防止数据量的增加。因抽头模式码配置在象素值的LSB侧，所以不会有很大的画面质量的劣化。

再有，在最优化单元23中，利用使误差为最小的预测抽头进行自适应处理，使SD图像进行最优化处理，因此能够得到基本上与原来的HD图像相同的解码图像。

此外，在自适应处理单元24中用最适合SD图像进行自适应处理，将对于多个模式的各个预测抽头的每个类别的预测系数w的集合更新成所谓的更适合预测系数的集合，在预测抽头模式判定单元26中，因用其被更新的多个模式的各个预测抽头的每个类别的预测系数的集合决定并校正预测抽头，所以能进一步得到画面质量改善的解码图像。

以上，就适用于对HD图像进行编码/解码的图像处理装置的场合对本发明进行了说明，但本发明也能适用于对其它的SD图像等的标准清晰度的图像进行编码/解码的场合。即能适用于对例如NTSC方式等的标准方式的电视信号进行编码/解码的场合。其中，本发明特别适用于对数据量多的所谓的高清晰度(high vision)方式的电视信号等进行编码/解码的场合。此外，本发明还适用于所谓的分层编码的场合等。

在本实施形态中，仅对于亮度信号准备多个模式的预测抽头、对于色差信号仅用5×7象素的预测抽头，但对于色差信号也能与亮度信号相同地进行处理。

在本实施形态中，抽头模式码做成2位，但抽头模式码不限于2位。其中希望望位数更少。

此外，在本实施形态中，配置抽头模式码代替象素值的LSB侧的2位，但抽头模式码也能与象素值分别记录或者传输。

在本实施形态中，采用在前置处理单元21进行前置处理、在最优化单元23最优化处理的最适合SD图像更新预测系数，并用其预测系数再次决定并校正抽头模式码，但也可以将在前置处理单元21进行前置处理、在最优化单元23最优化处理的最适合SD图像，原样地作为编码数据。这种场合，解码图像的画面质量(S/N)与决定并校正抽头模式码的场合进行比较，虽然多少差一点但能实现处理的高速化。

此外，在本实施形态中，用3×3、5×3、3×5、7×5象素的4种模式的预测抽头，但也可以用这些以外的例如1×5和5×1象素等的预测抽头。此外，预测抽头的模式当然也不限于4种。

此外，虽然在本实施形态中没有特别提到，但也可以在象素值上附加抽头模式码后，以将附加该抽头模式码后的LSB侧的2位做成固定值作为象素值进行处理。此外，也可以包含抽头模式码作为象素值进行处理。此外，采用本发明者进行的实验，则在包含抽头模式码作为象素值的场合，与以其抽头模式码的一部分作为规定值的0的场合相比，虽然S/N多少差一点，但有多少能改善色调的结果。

在图15中，借助于以注目象素的象素值作为偏移量S的每4或者1进行校正，预测误差E检测出最初成为极小的校正量Δ，但也能对于其它的例如对于取得注目象素的象素值的全部的值求得预测误差E，检测其最小值，并基于这种场合的校正量Δ校正注目象素的象素值。这种场合，虽然在处理中花费时间，但能得到S/N更高的解码图像。

此外，在这种对于取得注目象素的象素值的全部的值求得预测误差E的场合，注目象素的象素值的初始值也可以是任何的值(注目象素的象素值取得的范围内的值)、也就是说，这种场合，无论初始值是什么样的值都能求得预测误差E为最小的校正量Δ。

工业上的实用性

在与本发明相关的图像编码装置和图像编码方法中，发生象素数比原图像信号的象素数少的压缩图像信号，对于作为构成压缩图像信号的象素之一的注目象素，用该注目象素的附近象素，形成多个模式的预测象素，由多个模式的各个预测象素和规定的预测系数预测原图像信号，并分别输出对于这些多个模式的预测象素的预测值，算出对于多个模式的预测象素的各个预测值的、对于原图像信号的预测误差，将多个模式的预测象素中对应于得到最小的预测误差的预测象素的模式码附加在注目象素的象素值上。因此，按照这种模式码形成预测抽头并进行解码，能得到进一步改善画面质量的解码图像。

在与本发明相关的图像解码装置和图像解码方法中，接收压缩图像信号，形成对应于附加在压缩图像信号的注目象素的象素值上的模式码的模式预测图像，由在形成部形成的预测象素和规定的预测系数，预测原图像信号，并输出原图像信号。因此，能得到更加接近于原图像的预测值。

在与本发明相关的记录媒体中，记录利用图像解码装置、能解码的压缩图像信号。借助于发生象素数比原图像信号的象素数少的压缩图像信号，对于作为构成压缩图像信号的象素之一的注目象素，用该注目象素的附近象素，形成多个模式的预测象素，由多个模式的各个预测象素和规定的预测系数预测原图像信号，并分别输出对于这些多个模式的预测象素的预测值，算出对于多个模式的预测象素的各个预测值的、对于原图像信号的预测误差，将多个模式的预测象素中对应于得到最小的预测误差的预测象素的模式码附加在注目象素的象素值上，形成这种压缩图像信号。因此，按照这种模式码形成预测抽头并进行解码，能得到进一步改善画面质量的解码图像。

此外，在不脱离本发明主题的范围内，可以考虑种种的变形和应用例。因此，本发明的要点不限于实施例中所述的内容。

Claims

1．一种图像编码装置，对图像信号进行编码，其特征在于，包括

2．如权利要求1所述的图像编码装置，其特征在于，

所述附加单元配置所述模式码，代替所述注目象素的象素值的LSB(LeastSignificant Bit：最低有效位)侧的N位。

3．如权利要求1所述的图像编码装置，其特征在于，

所述第1预测单元包括基于所述原图像信号和所述压缩图像信号对所述规定的预测系数进行运算的运算单元。

4．如权利要求3所述的图像编码装置，其特征在于，

所述第1预测单元包括将所述注目象素分类成规定的类别的类别分类单元；

所述运算单元基于所述原图像信号和所述压缩图像信号、对每个类别运算所述规定的预测系数；

所述第1预测单元由对应于所述注目象素的类别的预测系数和预测抽头、预测所述预测值。

5．如权利要求3所述的图像编码装置，其特征在于，

所述运算单元分别对于多个模式的预测象素、运算所述规定的预测系数。

6．如权利要求4所述的图像编码装置，其特征在于，

所述运算单元分别对于多个模式的预测象素、对每个类别运算所述规定的预测系数；

所述第1预测单元分别对于多个模式的预测象素、由对应于所述注目象素的类别的预测系数和预测抽头、预测所述预测值。

7．如权利要求1至6任一项所述的图像编码装置，其特征在于，还包括将所述压缩图像信号变换成最优压缩图像信号的最优化单元，

所述最优化单元包括：

形成对应于附加在所述注目象素的象素值上的所述模式码的模式的预测象素的第2形成单元；

由在所述第2形成单元形成的所述预测象素和所述规定的预测系数、预测所述原图像信号并输出所述原图像信号的预测值的第2预测单元；

算出在所述第2预测单元预测的所述原图像信号的预测值的、对于所述原图像信号的预测误差的第2算出单元；

对应于在所述第2算出单元算出的预测误差，校正所述注目象素的象素值的校正单元。

8．如权利要求7所述的图像编码装置，其特征在于，

所述最优化单元重复所述第2最优化单元的动作，直到所述压缩图像信号成为最优压缩图像信号为止。

9．如权利要求8所述的图像编码装置，其特征在于，还包括在所述最优化单元重复动作期间，基于重复动作中的压缩图像信号和所述原图像信号，修正所述规定的预测系数，使在所述第2预测单元预测的所述原图像信号的预测值的、对于所述原图像信号的预测误差减小，并输出被修正的规定的预测系数的修正单元，

所述第1预测单元和所述第2预测单元用所述被修正的规定的预测系数对预测值进行预测。

10．如权利要求1或权利要求3至6任一项所述的图像编码装置，其特征在于，还包括输出所述压缩图像信号和所述规定的预测系数的输出单元。

11．如权利要求9所述的图像编码装置，其特征在于，还包括输出所述压缩图像信号和所述规定的预测系数的输出单元。

12．一种图像编码方法，对图像信号进行编码，其特征在于，包括

13．如权利要求12所述的图像编码方法，其特征在于，

所述附加步骤配置所述模式码，代替所述注目象素的象素值的LSB(LeastSignificant Bit：最低有效位)侧的N位。

14．如权利要求12所述的图像编码方法，其特征在于，

所述第1预测步骤包括基于所述原图像信号和所述压缩图像信号对所述规定的预测系数进行运算的运算步骤。

15．如权利要求14所述的图像编码方法，其特征在于，

所述第1预测步骤包括将所述注目象素分类成规定的类别的类别分类步骤；

所述运算步骤基于所述原图像信号和所述压缩图像信号、对每个类别运算所述规定的预测系数；

所述第1预测步骤由对应于所述注目象素的类别的预测系数和预测抽头、预测所述预测值。

16．如权利要求14所述的图像编码方法，其特征在于，

所述运算步骤分别对于多个模式的预测象素、运算所述规定的预测系数。

17．如权利要求15所述的图像编码方法，其特征在于，

所述运算单元分别对于多个模式的预测象素、对每个类别运算所述预测系数；

所述第1预测步骤分别对于多个模式的预测象素、由对应于所述注目象素的类别的预测系数和预测抽头、预测所述预测值。

18．如权利要求12至17任一项所述的图像编码方法，其特征在于，还包括将所述压缩图像信号变换成最优压缩图像信号的最优化步骤，

所述最优化步骤包括：

形成对应于附加在所述注目象素的象素值上的所述模式码的模式的预测象素的第2形成步骤；

由在所述第2形成步骤形成的所述预测象素和所述规定的预测系数、预测所述原图像信号并输出所述原图像信号的预测值的第2预测步骤；

算出在所述第2预测步骤预测的所述原图像信号的预测值的、对于所述原图像信号的预测误差的第2算出步骤；

对应于在所述第2算出步骤算出的预测误差，校正所述注目象素的象素值的校正步骤。

19．如权利要求18所述的图像编码方法，其特征在于，

所述最优化步骤重复所述第2最优化步骤的动作，直到所述压缩图像信号成为最优压缩图像信号为止。

20．如权利要求19所述的图像编码方法，其特征在于，还包括在所述最优化步骤重复动作期间，基于重复动作中的压缩图像信号和所述原图像信号，修正所述规定的预测系数，使在所述第2预测步骤预测的所述原图像信号的预测值的、对于所述原图像信号的预测误差减小，并输出被修正的规定的预测系数的修正步骤，

所述第1预测步骤和所述第2预测步骤用所述被修正的规定的预测系数对预测值进行预测。

21．如权利要求12至17任一项所述的图像编码方法，其特征在于，还包括输出所述压缩图像信号和所述规定的预测系数的输出步骤。

22．如权利要求20所述的图像编码方法，其特征在于，还包括输出所述压缩图像信号和所述规定的预测系数的输出步骤。

23．如权利要求1至6任一项所述的图像编码装置，其特征在于，还包括将所述压缩图像信号变换成最优压缩图像信号的最优化单元。

24．如权利要求12至17任一项所述的图像编码方法，其特征在于，还包括将所述压缩图像信号变换成最优压缩图像信号的最优化步骤。

25．一种图像解码装置，将压缩图像信号解码成原来的图像信号，其特征在于，包括

接收所述压缩图像信号的接收单元；

26．如权利要求25所述的图像解码装置，其特征在于，

代替所述注目象素的象素值的LSB(Least Significant Bit：最低有效位)侧的N位，在所述注目象素上配置所述模式码。

27．如权利要求25所述的图像解码装置，其特征在于，

基于所述原图像信号和所述压缩图像信号，运算所述规定的预测系数。

28．如权利要求27所述的图像解码装置，其特征在于，

所述预测单元包括将所述注目象素分类成规定的类别的类别分类单元；

基于所述原图像信号和所述压缩图像信号、对每个类别运算所述规定的预测系数；

所述预测单元由对应于所述注目象素的类别的预测系数和预测抽头、预测所述预测值。

29．如权利要求27所述的图像解码装置，其特征在于，

分别对于多个模式的预测值、运算所述规定的预测系数。

30．如权利要求29所述的图像解码装置，其特征在于，

分别对于多个模式的预测值、对每个类别运算所述规定的预测系数；

所述预测单元分别对于多个模式的预测象素、由对应于所述注目象素的类别的预测系数和预测抽头、预测所述预测值。

31．如权利要求25至30任一项所述的图像解码装置，其特征在于，所述压缩图像信号包含所述规定的预测系数，并且还包括分离所述压缩图像信号和所述规定的预测系数，将所述规定的预测系数供给到预测单元中的分离单元。

32．一种图像解码方法，将压缩图像信号解码成原来的图像信号，其特征在于，包括

接收所述压缩图像信号的接收步骤；

由在所述形成步骤形成的所述预测象素和规定的预测系数、预测原图像信号，并输出所述原图像信号的预测步骤。

33．如权利要求32所述的图像解码方法，其特征在于，

34．如权利要求32所述的图像解码方法，其特征在于，

基于所述原图像信号和所述压缩图像信号、运算所述规定的预测系数。

35．如权利要求34所述的图像解码方法，其特征在于，

所述预测步骤包括将所述注目象素分类成规定的类别的类别分类步骤；

所述预测步骤由对应于所述注目象素的类别的预测系数和预测抽头、预测所述预测值。

36．如权利要求34所述的图像解码方法，其特征在于，

分别对于多个模式的预测象素、运算所述规定的预测系数。

37．如权利要求36所述的图像解码方法，其特征在于，

分别对于多个模式的预测象素、对每个类别运算所述规定的预测系数；

所述预测步骤分别对于多个模式的预测象素、由对应于所述注目象素的类别的预测系数和预测抽头、预测所述预测值。

38．如权利要求32至37任一项所述的图像解码方法，其特征在于，

所述压缩图像信号包含所述规定的预测系数，并且还包括分离所述压缩图像信号和所述规定的预测系数的分离步骤。

39．一种记录媒体，记录利用图像解码装置能解码的压缩图像信号，其特征在于，根据

由所述多个模式的各个预测象素和规定的预测系数、预测所述原图像信号，并分别输出对于这些多个模式的预测象素的预测值的预测步骤；

形成所述压缩图像信号。

40．如权利要求39所述的记录媒体，其特征在于，将所述规定的预测系数记录在所述记录媒体上。