CN104023242B - 图像预测编码装置及方法、图像预测解码装置及方法 - Google Patents

Abstract

本发明提供选择多个候选预测信号而不增多信息量的图像预测编码装置及方法、图像预测解码装置及方法。加权器(234)和加法器(235)使用预先确定的合成方法，例如通过平均化对由预测邻接区域取得器(232)提取的像素信号进行加工，由此，按照每个组合分别针对邻接像素信号生成比较信号。比较/选择器(236)选择由加权器(234)等生成的比较信号和由对象邻接区域取得器(233)取得的邻接像素信号的相关高的组合。预测区域取得器(204)、加权器(205)和加法器(206)生成候选预测信号，使用预先确定的合成方法进行加工，由此生成预测信号。

Description

图像预测编码装置及方法、图像预测解码装置及方法

本申请是分案申请，其原申请的申请号为200880011481.9，申请日为2008年4月8日，发明名称为“图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序”。

技术领域

本发明涉及图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序，特别涉及使用图像合成方法进行预测编码和解码的图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序。

背景技术

为了高效地进行静态图像和动态图像数据的传送和蓄积，使用压缩编码技术。在动态图像的情况下，广泛使用MPEG-1～4或ITU(International TelecommunicationUnion：国际电信联盟)H.261～H.264的方式。

在这些编码方式中，在将作为编码对象的图像分割成多个块之后进行编码/解码处理。在画面内的预测编码中，使用位于与对象块相同的画面内的邻接的已再现的图像信号(对被压缩的图像数据进行复原后的图像信号)生成预测信号后，对从对象块信号中减去该所生成的预测信号后的差分信号进行编码。在画面间的预测编码中，参照位于与对象块不同的画面内的邻接的已再现的图像信号，进行运动的校正，生成预测信号，对从对象块信号中减去该预测信号后的差分信号进行编码。

例如，在H.264的画面内预测编码中，采用了在规定方向外插与成为编码对象的块邻接的已再现的像素值来生成预测信号的方法。图14(图46)是用于说明在ITUH.264中使用的画面内预测方法的示意图。在图14(A)(图46(A))中，对象块1702是成为编码对象的块，由与该对象块1702的边界邻接的像素A～M构成的像素组1701是邻接区域，是在过去的处理中已再现的图像信号。

在该情况下，向下方拉伸位于对象块1702正上方的邻接像素即像素组1701来生成预测信号。并且在图14(B)(图46(B))中，向右拉伸位于对象块1704左侧的已再现像素(I～L)来生成预测信号。这样，取得利用图14(A)(图46(A))～(I)所示的方法生成的9个预测信号分别与对象块的像素信号的差分，将差分值最小的预测信号作为最佳预测信号。如上所述，能够通过外插像素来生成预测信号。以上内容记载于下述专利文献1中。

在通常的画面间预测编码中，针对作为编码对象的块，利用从已再现的画面中探索与该像素信号类似的信号的方法来生成预测信号。然后，对对象块和探索到的信号所构成的区域之间的空间位移量即运动向量、以及对象块的像素信号和预测信号之间的残差信号进行编码。这样按照每个块来探索运动向量的方法被称为块匹配。图15(或图47)是用于说明块匹配处理的示意图。这里，以编码对象的画面1401上的对象块1402为例说明预测信号的生成步骤。图15(a)(或图47(a))中的画面1403是已再现的画面，虚线所示的区域1404是在空间上与对象块1402同一位置的区域。在块匹配中，设定包围区域1404的探索范围1405，从该探索范围的像素信号中检测与对象块1402的像素信号的绝对值误差和最小的区域1406。区域1406的像素信号成为预测信号，检测从区域1404向区域1406的位移量作为运动向量。在ITUH.264中，为了对应于图像局部特征的变化，准备了用于对运动向量进行编码的块大小不同的多个预测类型。ITUH.264的预测类型例如记载于专利文献2中。

并且，在动态图像数据的压缩编码中，各帧的编码顺序可以是任意的。因此，在参照已再现画面来生成预测信号的画面间预测中，针对编码顺序具有3种手法。第1手法是按照再现顺序参照过去的已再现画面来生成预测信号的前方向预测；第2手法是按照再现顺序参照未来的已再现画面的后方向预测；第3手法是同时进行前方向预测和后方向预测并对2个预测信号进行平均化的双方向预测。画面间预测的种类例如记载于专利文献3中。

专利文献1：美国专利公报第6765964号说明书

专利文献2：美国专利公报第7003035号说明书

专利文献3：美国专利公报第6259739号说明书

在现有技术中，通过复制包含由编码引起的失真(例如量子化噪声)的再现像素值来生成各像素的预测信号，因此预测信号也包含编码失真。这样，掺杂了编码失真的预测信号成为残差信号的编码量增加和再现画质劣化等使编码效率下降的主要原因。

编码失真的影响能够通过预测信号的平滑化来抑制，但是，需要用于指示作为平滑化对象的多个候选预测信号的附加信息，信息量增多。

发明内容

因此，在本发明中，其目的在于，提供选择多个候选预测信号而不增多信息量的图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序。

为了解决上述课题，本发明的图像预测编码装置具有如下结构：该图像预测编码装置具有：区域分割单元，其将输入图像分割为多个区域；预测信号生成单元，其针对由所述区域分割单元分割后的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；残差信号生成单元，其生成由所述预测信号生成单元生成的预测信号和所述对象像素信号的残差信号；以及编码单元，其对由所述残差信号生成单元生成的所述残差信号进行编码，所述预测信号生成单元从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与由所述对象像素信号构成的对象区域邻接，导出2个以上的包含所述探索到的多个预测邻接区域中至少1个在内的任意预测邻接区域的组合，使用预先确定的合成方法对属于该组合的预测邻接区域的像素信号进行加工，由此，按照每个所述组合分别针对所述邻接像素信号生成比较信号，选择该比较信号和所述邻接像素信号的相关高的组合，根据属于所述选择出的组合的预测邻接区域，生成1个以上的所述对象像素信号的候选预测信号，使用预先确定的合成方法对该候选预测信号进行加工，由此生成预测信号。

根据本发明，从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与由对象像素信号构成的对象区域邻接，导出2个以上的包含探索到的多个预测邻接区域中至少1个在内的任意预测邻接区域的组合，使用预先确定的合成方法对属于组合的预测邻接区域的像素信号进行加工，由此，按照每个组合分别针对邻接像素信号生成比较信号。然后，选择比较信号和邻接像素信号的相关高的组合，根据属于选择出的组合的预测邻接区域，生成1个以上的对象像素信号的候选预测信号，使用预先确定的合成方法对候选预测信号进行加工，由此生成预测信号。生成这样生成的预测信号和对象像素信号的残差信号，对所生成的残差信号进行编码。

由此，能够使用与对象块邻接的由已再现的邻接像素信号构成的对象邻接区域，选择适于平滑化的候选预测信号的组合而不会增多信息量，所以，能够高效地生成考虑了局部噪声特性的预测信号。

并且，优选本发明的图像预测编码装置的预测信号生成单元选择所述比较信号和所述邻接像素信号的差分的绝对值和小的组合。

根据本发明，通过选择比较信号和邻接像素信号的差分的绝对值和小的组合，能够选择更适于平滑化的候选预测信号的组合。

并且，优选本发明的图像预测编码装置的预测信号生成单元对属于所述组合的预测邻接区域的像素信号进行加权平均，由此生成所述比较信号。

根据本发明，通过对属于组合的预测邻接区域的像素信号进行加权平均来生成比较信号，由此，能够生成选择更适于平滑化的候选预测信号的组合时的适当的比较信号。

并且，优选在本发明的图像预测编码装置的预测信号生成单元中，所述预测邻接区域的组合按照与所述对象邻接区域的相关从高到低的顺序，包含2的n次方个预测邻接区域，进而，优选所述n的值是0以上的整数。

根据本发明，预测邻接区域的组合按照与对象邻接区域的相关从高到低的顺序包含2的n次方个预测邻接区域，由此，能够仅进行相加和移位运算，实际安装时能够采用简易的结构。

并且，本发明的图像预测解码装置具有如下结构：该图像预测解码装置具有：数据解码单元，其对压缩数据中与作为处理对象的对象区域有关的残差信号的编码数据进行解码；残差信号复原单元，其根据由所述数据解码单元解码而得到的信号复原再现残差信号；预测信号生成单元，其针对所述对象区域的对象像素信号，生成预测信号；以及再现图像信号生成单元，其对由所述预测信号生成单元生成的预测信号和由所述残差信号复原单元复原的再现残差信号进行相加，由此生成再现图像信号，所述预测信号生成单元从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与由所述对象像素信号构成的对象区域邻接，导出2个以上的包含所述探索到的多个预测邻接区域中至少1个在内的任意预测邻接区域的组合，使用预先确定的合成方法对属于该组合的预测邻接区域的像素信号进行加工，由此，按照每个所述组合分别针对所述邻接像素信号生成比较信号，选择该比较信号和所述邻接像素信号的相关大的组合，根据属于所述选择出的组合的预测邻接区域，生成1个以上的所述对象像素信号的候选预测信号，使用预先确定的合成方法对该候选预测信号进行加工，由此生成预测信号。

根据本发明，对压缩数据中与作为处理对象的对象区域有关的残差信号的编码数据进行解码，根据解码后的信号复原再现残差信号。另一方面，针对作为处理对象的对象区域的对象像素信号生成预测信号，对所生成的预测信号和所复原的再现残差信号进行相加，由此生成再现图像信号。然后，从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与由对象像素信号构成的对象区域邻接，导出2个以上的包含探索到的多个预测邻接区域中至少1个在内的任意预测邻接区域的组合，使用预先确定的合成方法对属于该组合的预测邻接区域的像素信号进行加工，由此，按照每个所述组合分别针对所述邻接像素信号生成比较信号，选择该比较信号和所述邻接像素信号的相关大的组合。根据属于选择出的组合的预测邻接区域，生成1个以上的所述对象像素信号的候选预测信号，使用预先确定的合成方法对该候选预测信号进行加工，由此生成预测信号。

由此，能够使用与对象块邻接的由已再现的邻接像素信号构成的对象邻接区域，选择适于平滑化的候选预测信号的组合而不会增多信息量，所以，能够高效地生成考虑了局部噪声特性的预测信号。

并且，优选在本发明的图像预测解码装置的所述预测信号生成单元中，针对所述邻接像素信号生成比较信号，选择该比较信号和所述邻接像素信号的差分的绝对值和小的组合。

根据本发明，通过选择比较信号和邻接像素信号的差分的绝对值和小的组合，能够选择更适于平滑化的候选预测信号的组合。

并且，优选在本发明的图像预测解码装置的所述预测信号生成单元中，对属于所述组合的预测邻接区域的像素信号进行加权平均，由此生成所述比较信号。

根据本发明，通过对属于组合的预测邻接区域的像素信号进行加权平均来生成比较信号，由此，能够生成选择更适于平滑化的候选预测信号的组合时的适当的比较信号。

并且，优选在本发明的图像预测解码装置的所述预测信号生成单元中，所述预测邻接区域的组合按照与所述对象区域的相关从高到低的顺序，包含2的n次方个预测邻接区域，进而，优选所述n的值是0以上的整数。

根据本发明，预测邻接区域的组合按照与对象邻接区域的相关从高到低的顺序包含2的n次方个预测邻接区域，由此，能够仅进行相加和移位运算，实际安装时能够采用简易的结构。

并且，本发明的图像预测编码装置具有如下结构：该图像预测编码装置具有：区域分割单元，其将输入图像分割为多个区域；预测信号生成单元，其针对由所述区域分割单元分割后的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；残差信号生成单元，其生成由所述预测信号生成单元生成的预测信号和所述对象像素信号的残差信号；以及编码单元，其对由所述残差信号生成单元生成的所述残差信号进行编码，所述预测信号生成单元从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与由所述对象像素信号构成的对象区域邻接，使用所述探索到的多个预测邻接区域中基于所述对象区域的N个预测区域的像素信号或所述探索到的N个预测邻接区域中预测邻接区域的像素信号或者其双方的信号中的至少2个信号，通过预先确定的方法计算对该N个候选预测信号间的相关进行评价的评价值，在该评价值小于规定阈值的情况下，使用预先确定的合成方法对该N个候选预测信号进行加工，由此生成预测信号。

根据本发明，从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与对象区域邻接，使用探索到的多个预测邻接区域中基于对象区域的N个预测区域的像素信号或探索到的N个预测邻接区域中预测邻接区域的像素信号或者其双方的信号中的至少2个信号，通过预先确定的方法计算对该N个候选预测信号间的相关进行评价的评价值。然后，在该评价值小于规定阈值的情况下，使用预先确定的合成方法对该N个候选预测信号进行加工，由此生成预测信号。使用所生成的预测信号，生成与对象像素信号的残差信号，对残差信号进行编码。

由此，能够根据多个候选预测信号生成适当的预测信号。针对仅候选预测信号的噪声成分不同而信号成分类似的信号特别有效。

并且，优选在本发明的图像预测编码装置中，所述预测信号生成单元准备多个候选作为所述N的值，针对N值的候选的最大值计算所述评价值，在该评价值小于规定阈值的情况下，使用预先确定的合成方法对该N个候选预测信号进行加工，由此生成预测信号，在该评价值大于所述阈值的情况下，对N值进行减法，更新为次大的值，再次进行所述评价值的计算和与规定阈值的比较。

根据本发明，在评价值大于阈值的情况下，对N值进行减法，更新为次大的值，再次进行评价值的计算和与规定阈值的比较，由此，能够选择有效的候选预测信号的数量。

并且，优选在本发明的图像预测编码装置中，所述预测信号生成单元计算与所述探索到的N个预测邻接区域内和对象邻接区域的相关最高的预测邻接区域邻接的预测区域的像素信号以及与和对象邻接区域的相关第N低的预测邻接区域邻接的预测区域的像素信号、或与对象邻接区域的相关最高的预测邻接区域的像素信号以及与对象邻接区域的相关第N低的预测邻接区域的像素信号、或者分别合并所述像素信号后的信号的差分的绝对值和，将该差分的绝对值和作为所述评价值。

根据本发明，计算与探索到的N个预测邻接区域内和对象邻接区域的相关最高的预测邻接区域邻接的预测区域的像素信号以及与和对象邻接区域的相关第N低的预测邻接区域邻接的预测区域的像素信号、或与对象邻接区域的相关最高的预测邻接区域的像素信号以及与对象邻接区域的相关第N低的预测邻接区域的像素信号、或者分别合并像素信号后的信号的差分的绝对值和，将该差分的绝对值和作为评价值。由此，能够计算适当的评价值。

并且，本发明的图像预测解码装置具有如下结构：该图像预测解码装置具有：数据解码单元，其对压缩数据中与作为处理对象的对象区域有关的残差信号的编码数据进行解码；残差信号复原单元，其根据由所述数据解码单元解码而得到的信号复原再现残差信号；预测信号生成单元，其针对所述对象区域的对象像素信号，生成预测信号；以及再现图像信号生成单元，其对由所述预测信号生成单元生成的预测信号和由所述残差信号复原单元复原的再现残差信号进行相加，由此生成再现图像信号，所述预测信号生成单元从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与由所述对象像素信号构成的对象区域邻接，使用所述探索到的多个预测邻接区域中基于所述对象区域的N个预测区域的像素信号或所述探索到的N个预测邻接区域中预测邻接区域的像素信号或者其双方的信号中的至少2个信号，通过预先确定的方法计算对该N个候选预测信号间的相关进行评价的评价值，在该评价值小于规定阈值的情况下，使用预先确定的合成方法对该N个候选预测信号进行加工，由此生成预测信号。

根据本发明，对压缩数据中与作为处理对象的对象区域有关的残差信号的编码数据进行解码，根据解码后的信号复原再现残差信号。另一方面，针对作为处理对象的对象区域的对象像素信号生成预测信号，对所生成的预测信号和所复原的再现残差信号进行相加，由此生成再现图像信号。

另一方面，在生成预测信号时进行以下处理。从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与对象区域邻接。然后，使用探索到的多个预测邻接区域中基于对象区域的N个预测区域的像素信号或探索到的N个预测邻接区域中预测邻接区域的像素信号或者其双方的信号中的至少2个信号，通过预先确定的方法计算对该N个候选预测信号间的相关进行评价的评价值。然后，在该评价值小于规定阈值的情况下，使用预先确定的合成方法对该N个候选预测信号进行加工，由此生成预测信号。

由此，能够根据多个候选预测信号生成适当的预测信号。针对仅候选预测信号的噪声成分不同而信号成分类似的信号特别有效。

并且，优选在本发明的图像预测解码装置中，所述预测信号生成单元准备多个候选作为所述N的值，针对N值的候选的最大值计算所述评价值，在该评价值小于规定阈值的情况下，使用预先确定的合成方法对该N个候选预测信号进行加工，由此生成预测信号，在该评价值大于所述阈值的情况下，对N值进行减法，更新为次大的值，再次进行所述评价值的计算和与规定阈值的比较。

根据本发明，在评价值大于阈值的情况下，对N值进行减法，更新为次大的值，再次进行评价值的计算和与规定阈值的比较，由此，能够选择有效的候选预测信号的数量。

并且，优选在本发明的图像预测解码装置中，所述预测信号生成单元计算与所述探索到的N个预测邻接区域内和对象邻接区域的相关最高的预测邻接区域邻接的预测区域的像素信号以及与和对象邻接区域的相关最低的预测邻接区域邻接的预测区域的像素信号、或与对象邻接区域的相关最高的预测邻接区域的像素信号以及与对象邻接区域的相关第N低的预测邻接区域的像素信号、或者分别合并所述像素信号后的信号的差分的绝对值和，将该差分的绝对值和作为所述评价值。

根据本发明，计算与探索到的N个预测邻接区域内和对象邻接区域的相关最高的预测邻接区域邻接的预测区域的像素信号以及与和对象邻接区域的相关第N低的预测邻接区域邻接的预测区域的像素信号、或与对象邻接区域的相关最高的预测邻接区域的像素信号以及与对象邻接区域的相关第N低的预测邻接区域的像素信号、或者分别合并像素信号后的信号的差分的绝对值和，将该差分的绝对值和作为评价值。由此，能够计算适当的评价值。

并且，本发明的图像预测编码装置具有如下结构：该图像预测编码装置具有：区域分割单元，其将输入图像分割为多个区域；预测信号生成单元，其针对由所述区域分割单元分割后的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；残差信号生成单元，其生成由所述预测信号生成单元生成的预测信号和所述对象像素信号的残差信号；以及编码单元，其对由所述残差信号生成单元生成的所述残差信号进行编码，所述预测信号生成单元从由已再现图像构成的探索区域中，分别取得多个和与所述对象区域邻接的对象邻接区域相同形状的预测邻接区域，导出所述取得的多个预测邻接区域中包含2个以上的该预测邻接区域的任意预测邻接区域的组合，导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，针对所述组合，使用该多个权重系数的组，对属于所述组合的预测邻接区域的像素信号进行加权平均，由此，针对所述邻接像素信号生成2个以上的比较信号，选择该比较信号和所述邻接像素信号的相关高的权重系数的组，根据属于所述组合的预测邻接区域，根据所述已再现图像生成2个以上的所述对象像素信号的候选预测信号，使用所述选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。

根据本发明，从由已再现图像构成的探索区域中，分别取得多个与对象邻接区域相同形状的预测邻接区域，导出取得的多个预测邻接区域中包含2个以上的该预测邻接区域的任意预测邻接区域的组合。然后，导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，针对这些组合，使用该多个权重系数的组，对属于这些组合的预测邻接区域的像素信号进行加权平均，由此，针对邻接像素信号生成2个以上的比较信号。接着，选择该比较信号和邻接像素信号的相关高的权重系数的组，根据属于组合的预测邻接区域，根据已再现图像生成2个以上的对象像素信号的候选预测信号，使用选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。然后，使用所生成的预测信号，生成与对象像素信号的残差信号，对残差信号进行编码。由此，能够针对每个对象块，没有附加信息地选择权重系数的组。

并且，本发明的图像预测编码装置具有如下结构：该图像预测编码装置具有：区域分割单元，其将输入图像分割为多个区域；预测信号生成单元，其针对由所述区域分割单元分割后的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；残差信号生成单元，其生成由所述预测信号生成单元生成的预测信号和所述对象像素信号的残差信号；以及编码单元，其对由所述残差信号生成单元生成的所述残差信号进行编码，所述预测信号生成单元从由已再现图像构成的探索区域中，分别取得多个和与所述对象区域邻接的对象邻接区域相同形状的预测邻接区域，导出2个以上的包含所述取得的多个预测邻接区域中至少1个在内的任意预测邻接区域的组合，针对包含2个以上的预测邻接区域的组合，导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，使用该多个权重系数的组对预测邻接区域的像素信号进行加权平均，由此，针对所述邻接像素信号生成2个以上的比较信号，选择该比较信号和所述邻接像素信号的相关高的权重系数的组，针对所述多个组合，使用所述选择出的权重系数的组，对属于该组合的预测邻接区域的像素信号进行加权平均，由此，针对所述邻接像素信号生成2个以上的比较信号，选择该比较信号和所述邻接像素信号的相关高的组合，根据属于该选择出的组合的预测邻接区域，根据所述已再现图像生成1个以上的所述对象像素信号的候选预测信号，使用针对所述选择出的组合而预先选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。

根据本发明，从由已再现图像构成的探索区域中，分别取得多个与对象邻接区域相同形状的预测邻接区域，导出2个以上的包含取得的多个预测邻接区域中至少1个在内的任意预测邻接区域的组合。然后，针对包含2个以上的预测邻接区域的组合，导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，使用该多个权重系数的组对预测邻接区域的像素信号进行加权平均，由此，针对邻接像素信号生成2个以上的比较信号。接着，选择该比较信号和邻接像素信号的相关高的权重系数的组，针对多个组合，使用选择出的权重系数的组，对属于该组合的预测邻接区域的像素信号进行加权平均，由此，针对邻接像素信号生成2个以上的比较信号，选择该比较信号和邻接像素信号的相关高的组合。然后，根据属于该选择出的组合的预测邻接区域，根据已再现图像生成1个以上的对象像素信号的候选预测信号，使用针对选择出的组合而预先选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。然后，使用所生成的预测信号，生成与对象像素信号的残差信号，对残差信号进行编码。由此，能够针对每个对象块，没有附加信息地选择在预测信号的生成中有效的候选预测信号的组合和权重系数的组。

并且，优选在本发明的图像预测编码装置中，所述预测信号生成单元设定随着属于所述组合的多个预测邻接区域的像素信号和所述邻接像素信号的差分的绝对值和增大而减小的权重系数，至少计算1个所述权重系数的组。

根据本发明，根据属于组合的多个预测邻接区域的像素信号和邻接像素信号的差分的绝对值和，至少计算1个权重系数的组，由此，能够计算适当的权重系数的组。

并且，优选在本发明的图像预测编码装置中，所述预测信号生成单元预先准备根据属于所述组合的预测邻接区域的数量而确定的权重系数的组，通过该准备的权重系数的组，导出至少1个权重系数的组。

根据本发明，预先准备根据属于组合的预测邻接区域的数量而确定的权重系数的组，通过该准备的权重系数的组，导出至少1个权重系数的组，由此，能够计算适当的权重系数的组。

并且，优选在本发明的图像预测编码装置中，所述预测信号生成单元准备对应表，该对应表根据属于所述组合的多个预测邻接区域的像素信号和所述邻接像素信号的差分的绝对值和来决定权重系数的组，使用该对应表导出至少1个权重系数的组。

根据本发明，准备对应表，该对应表根据属于组合的多个预测邻接区域的像素信号和邻接像素信号的差分的绝对值和来决定权重系数的组，使用该对应表导出至少1个权重系数的组，由此，能够计算适当的权重系数的组。

并且，本发明的图像预测解码装置具有如下结构：该图像预测解码装置具有：数据解码单元，其对压缩数据中与作为处理对象的对象区域有关的残差信号的编码数据进行解码；残差信号复原单元，其根据由所述数据解码单元解码而得到的信号复原再现残差信号；预测信号生成单元，其针对所述对象区域的对象像素信号，生成预测信号；以及再现图像信号生成单元，其对由所述预测信号生成单元生成的预测信号和由所述残差信号复原单元复原的再现残差信号进行相加，由此生成再现图像信号，所述预测信号生成单元从由已再现图像构成的探索区域中，分别取得多个和与所述对象区域邻接的对象邻接区域相同形状的预测邻接区域，导出包含2个以上的所述取得的多个预测邻接区域的任意预测邻接区域的组合，导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，针对所述组合，使用该多个权重系数的组，对属于所述组合的预测邻接区域的像素信号进行加权平均，由此，针对所述邻接像素信号生成2个以上的比较信号，选择该比较信号和所述邻接像素信号的相关高的权重系数的组，根据属于所述组合的预测邻接区域，根据所述已再现图像生成2个以上的所述对象像素信号的候选预测信号，使用所述选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。

根据本发明，对压缩数据中与作为处理对象的对象区域有关的残差信号的编码数据进行解码，根据解码后的信号复原再现残差信号。另一方面，针对作为处理对象的对象区域的对象像素信号生成预测信号，对所生成的预测信号和所复原的再现残差信号进行相加，由此生成再现图像信号。

另一方面，在生成预测信号时进行以下处理。即，在本发明中，从由已再现图像构成的探索区域中，分别取得多个与对象邻接区域相同形状的预测邻接区域，导出取得的多个预测邻接区域中包含2个以上的该预测邻接区域的任意预测邻接区域的组合。然后，导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，针对这些组合，使用该多个权重系数的组，对属于这些组合的预测邻接区域的像素信号进行加权平均，由此，针对邻接像素信号生成2个以上的比较信号。接着，选择该比较信号和邻接像素信号的相关高的权重系数的组，根据属于组合的预测邻接区域，根据已再现图像生成2个以上的对象像素信号的候选预测信号，使用选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。由此，能够针对每个对象块，没有附加信息地选择权重系数的组。

并且，本发明的图像预测解码装置具有如下结构：该图像预测解码装置具有：数据解码单元，其对压缩数据中与作为处理对象的对象区域有关的残差信号的编码数据进行解码；残差信号复原单元，其根据由所述数据解码单元解码而得到的信号复原再现残差信号；预测信号生成单元，其针对所述对象区域的对象像素信号，生成预测信号；以及再现图像信号生成单元，其对由所述预测信号生成单元生成的预测信号和由所述残差信号复原单元复原的再现残差信号进行相加，由此生成再现图像信号，所述预测信号生成单元从由已再现图像构成的探索区域中，分别取得多个和与所述对象区域邻接的对象邻接区域相同形状的预测邻接区域，导出2个以上的包含所述取得的多个预测邻接区域中至少1个在内的任意预测邻接区域的组合，针对包含2个以上的预测邻接区域的组合，导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，使用该多个权重系数的组对预测邻接区域的像素信号进行加权平均，由此，针对所述邻接像素信号生成2个以上的比较信号，选择该比较信号和所述邻接像素信号的相关高的权重系数的组，针对所述多个组合，使用所述选择出的权重系数的组，对属于该组合的预测邻接区域的像素信号进行加权平均，由此，针对所述邻接像素信号生成2个以上的比较信号，选择该比较信号和所述邻接像素信号的相关高的组合，根据属于该选择出的组合的预测邻接区域，根据所述已再现图像生成1个以上的所述对象像素信号的候选预测信号，使用针对所述选择出的组合而预先选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。

根据本发明，对压缩数据中与作为处理对象的对象区域有关的残差信号的编码数据进行解码，根据解码后的信号复原再现残差信号。另一方面，针对作为处理对象的对象区域的对象像素信号生成预测信号，对所生成的预测信号和所复原的再现残差信号进行相加，由此生成再现图像信号。

另一方面，在生成预测信号时进行以下处理。即，在本发明中，从由已再现图像构成的探索区域中，分别取得多个与对象邻接区域相同形状的预测邻接区域，导出2个以上的包含取得的多个预测邻接区域中至少1个在内的任意预测邻接区域的组合。然后，针对包含2个以上的预测邻接区域的组合，导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，使用该多个权重系数的组对预测邻接区域的像素信号进行加权平均，由此，针对邻接像素信号生成2个以上的比较信号。接着，选择该比较信号和邻接像素信号的相关高的权重系数的组，针对多个组合，使用选择出的权重系数的组，对属于该组合的预测邻接区域的像素信号进行加权平均，由此，针对邻接像素信号生成2个以上的比较信号，选择该比较信号和邻接像素信号的相关高的组合。然后，根据属于该选择出的组合的预测邻接区域，根据已再现图像生成1个以上的对象像素信号的候选预测信号，使用针对选择出的组合而预先选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。由此，能够针对每个对象块，没有附加信息地选择在预测信号的生成中有效的候选预测信号的组合和权重系数的组。

并且，优选在本发明的图像预测解码装置中，所述预测信号生成单元设定随着属于所述组合的多个预测邻接区域的像素信号和所述邻接像素信号的差分的绝对值和增大而减小的权重系数，至少计算1个所述权重系数的组。

根据本发明，根据属于组合的多个预测邻接区域的像素信号和邻接像素信号的差分的绝对值和，至少计算1个权重系数的组，由此，能够计算适当的权重系数的组。

并且，优选在本发明的图像预测解码装置中，所述预测信号生成单元预先准备根据属于所述组合的预测邻接区域的数量而确定的权重系数的组，通过该准备的权重系数的组，导出至少1个权重系数的组。

根据本发明，预先准备根据属于组合的预测邻接区域的数量而确定的权重系数的组，通过该准备的权重系数的组，导出至少1个权重系数的组，由此，能够计算适当的权重系数的组。

并且，优选在本发明的图像预测解码装置中，所述预测信号生成单元准备对应表，该对应表根据属于所述组合的多个预测邻接区域的像素信号和所述邻接像素信号的差分的绝对值和来决定权重系数的组，使用该对应表导出至少1个权重系数的组。

根据本发明，准备对应表，该对应表根据属于该组合的多个预测邻接区域的像素信号和邻接像素信号的差分的绝对值和来决定权重系数的组，使用该对应表导出至少1个权重系数的组，由此，能够计算适当的权重系数的组。

但是，本发明除了能够如上所述记述为图像预测编码装置或图像预测解码装置的发明以外，还能够如下所述记述为图像预测编码方法、图像预测解码方法、图像预测编码程序、图像预测解码程序的发明。这些只是范畴不同，实质上是相同的发明，发挥同样的作用和效果。

即，本发明的图像预测编码方法具有如下结构：该图像预测编码方法具有以下步骤：区域分割步骤，在该步骤中，将输入图像分割为多个区域；预测信号生成步骤，在该步骤中，针对由所述区域分割步骤分割后的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；残差信号生成步骤，在该步骤中，生成由所述预测信号生成步骤生成的预测信号和所述对象像素信号的残差信号；以及编码步骤，在该步骤中，对由所述残差信号生成步骤生成的所述残差信号进行编码，在所述预测信号生成步骤中，从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与由所述对象像素信号构成的对象区域邻接，导出2个以上的包含所述探索到的多个预测邻接区域中至少1个在内的任意预测邻接区域的组合，使用预先确定的合成方法对属于该组合的预测邻接区域的像素信号进行加工，由此，按照每个所述组合分别针对所述邻接像素信号生成比较信号，选择该比较信号和所述邻接像素信号的相关高的组合，根据属于所述选择出的组合的预测邻接区域，生成1个以上的所述对象像素信号的候选预测信号，使用预先确定的合成方法对该候选预测信号进行加工，由此生成预测信号。

并且，本发明的图像预测解码方法具有如下结构：该图像预测解码方法具有以下步骤：数据解码步骤，在该步骤中，对压缩数据中与作为处理对象的对象区域有关的残差信号的编码数据进行解码；残差信号复原步骤，在该步骤中，根据由所述数据解码步骤解码后的信号复原再现残差信号；预测信号生成步骤，在该步骤中，针对所述对象区域的对象像素信号，生成预测信号；以及再现图像信号生成步骤，在该步骤中，对由所述预测信号生成步骤生成的预测信号和由所述残差信号复原步骤复原的再现残差信号进行相加，由此生成再现图像信号，在所述预测信号生成步骤中，从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与由所述对象像素信号构成的对象区域邻接，导出2个以上的包含所述探索到的多个预测邻接区域中至少1个在内的任意预测邻接区域的组合，使用预先确定的合成方法对属于该组合的预测邻接区域的像素信号进行加工，由此，按照每个所述组合分别针对所述邻接像素信号生成比较信号，选择该比较信号和所述邻接像素信号的相关大的组合，根据属于所述选择出的组合的预测邻接区域，生成1个以上的所述对象像素信号的候选预测信号，使用预先确定的合成方法对该候选预测信号进行加工，由此生成预测信号。

并且，本发明的图像预测编码程序具有如下结构：该图像预测编码程序具有：区域分割模块，其将输入图像分割为多个区域；预测信号生成模块，其针对由所述区域分割模块分割后的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；残差信号生成模块，其生成由所述预测信号生成模块生成的预测信号和所述对象像素信号的残差信号；以及编码模块，其对由所述残差信号生成模块生成的所述残差信号进行编码，所述预测信号生成模块从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与由所述对象像素信号构成的对象区域邻接，导出2个以上的包含所述探索到的多个预测邻接区域中至少1个在内的任意预测邻接区域的组合，使用预先确定的合成方法对属于该组合的预测邻接区域的像素信号进行加工，由此，按照每个所述组合分别针对所述邻接像素信号生成比较信号，选择该比较信号和所述邻接像素信号的相关高的组合，根据属于所述选择出的组合的预测邻接区域，生成1个以上的所述对象像素信号的候选预测信号，使用预先确定的合成方法对该候选预测信号进行加工，由此生成预测信号。

并且，本发明的图像预测解码程序具有如下结构：该图像预测解码程序具有：数据解码模块，其对压缩数据中与作为处理对象的对象区域有关的残差信号的编码数据进行解码；残差信号复原模块，其根据由所述数据解码模块解码后的信号复原再现残差信号；预测信号生成模块，其针对所述对象区域的对象像素信号，生成预测信号；以及再现图像信号生成模块，其对由所述预测信号生成模块生成的预测信号和由所述残差信号复原模块复原的再现残差信号进行相加，由此生成再现图像信号，所述预测信号生成模块从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与由所述对象像素信号构成的对象区域邻接，导出2个以上的包含所述探索到的多个预测邻接区域中至少1个在内的任意预测邻接区域的组合，使用预先确定的合成方法对属于该组合的预测邻接区域的像素信号进行加工，由此，按照每个所述组合分别针对所述邻接像素信号生成比较信号，选择该比较信号和所述邻接像素信号的相关大的组合，根据属于所述选择出的组合的预测邻接区域，生成1个以上的所述对象像素信号的候选预测信号，使用预先确定的合成方法对该候选预测信号进行加工，由此生成预测信号。

并且，本发明的图像预测编码方法具有如下结构：该图像预测编码方法具有以下步骤：区域分割步骤，在该步骤中，将输入图像分割为多个区域；预测信号生成步骤，在该步骤中，针对由所述区域分割步骤分割后的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；残差信号生成步骤，在该步骤中，生成由所述预测信号生成步骤生成的预测信号和所述对象像素信号的残差信号；以及编码步骤，在该步骤中，对由所述残差信号生成步骤生成的所述残差信号进行编码，在所述预测信号生成步骤中，从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与由所述对象像素信号构成的对象区域邻接，使用所述探索到的多个预测邻接区域中基于所述对象区域的N个预测区域的像素信号或所述探索到的N个预测邻接区域中预测邻接区域的像素信号或者其双方的信号中的至少2个信号，通过预先确定的方法计算对该N个候选预测信号间的相关进行评价的评价值，在该评价值小于规定阈值的情况下，使用预先确定的合成方法对该N个候选预测信号进行加工，由此生成预测信号。

并且，本发明的图像预测解码方法具有如下结构：该图像预测解码方法具有以下步骤：数据解码步骤，在该步骤中，对压缩数据中与作为处理对象的对象区域有关的残差信号的编码数据进行解码；残差信号复原步骤，在该步骤中，根据由所述数据解码步骤解码而得到的信号复原再现残差信号；预测信号生成步骤，在该步骤中，针对所述对象区域的对象像素信号，生成预测信号；以及再现图像信号生成步骤，在该步骤中，对由所述预测信号生成步骤生成的预测信号和由所述残差信号复原步骤复原的再现残差信号进行相加，由此生成再现图像信号，在所述预测信号生成步骤中，从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与由所述对象像素信号构成的对象区域邻接，使用所述探索到的多个预测邻接区域中基于所述对象区域的N个预测区域的像素信号或所述探索到的N个预测邻接区域中预测邻接区域的像素信号或者其双方的信号中的至少2个信号，通过预先确定的方法计算对该N个候选预测信号间的相关进行评价的评价值，在该评价值小于规定阈值的情况下，使用预先确定的合成方法对该N个候选预测信号进行加工，由此生成预测信号。

并且，本发明的图像预测编码方法具有如下结构：该图像预测编码方法具有以下步骤：区域分割步骤，在该步骤中，将输入图像分割为多个区域；预测信号生成步骤，在该步骤中，针对由所述区域分割步骤分割后的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；残差信号生成步骤，在该步骤中，生成由所述预测信号生成步骤生成的预测信号和所述对象像素信号的残差信号；以及编码步骤，在该步骤中，对由所述残差信号生成步骤生成的所述残差信号进行编码，在所述预测信号生成步骤中，从由已再现图像构成的探索区域中，分别取得多个和与所述对象区域邻接的对象邻接区域相同形状的预测邻接区域，导出所述取得的多个预测邻接区域中包含2个以上的该预测邻接区域的任意预测邻接区域的组合，导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，针对所述组合，使用该多个权重系数的组，对属于所述组合的预测邻接区域的像素信号进行加权平均，由此，针对所述邻接像素信号生成2个以上的比较信号，选择该比较信号和所述邻接像素信号的相关高的权重系数的组，根据属于所述组合的预测邻接区域，根据所述已再现图像生成2个以上的所述对象像素信号的候选预测信号，使用所述选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。

并且，本发明的图像预测编码方法具有如下结构：该图像预测编码方法具有以下步骤：区域分割步骤，在该步骤中，将输入图像分割为多个区域；预测信号生成步骤，在该步骤中，针对由所述区域分割步骤分割后的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；残差信号生成步骤，在该步骤中，生成由所述预测信号生成步骤生成的预测信号和所述对象像素信号的残差信号；以及编码步骤，在该步骤中，对由所述残差信号生成步骤生成的所述残差信号进行编码，在所述预测信号生成步骤中，从由已再现图像构成的探索区域中，分别取得多个和与所述对象区域邻接的对象邻接区域相同形状的预测邻接区域，导出2个以上的至少包含1个所述取得的多个预测邻接区域的任意预测邻接区域的组合，针对包含2个以上的预测邻接区域的组合，导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，使用该多个权重系数的组对预测邻接区域的像素信号进行加权平均，由此，针对所述邻接像素信号生成2个以上的比较信号，选择该比较信号和所述邻接像素信号的相关高的权重系数的组，针对所述多个组合，使用所述选择出的权重系数的组，对属于该组合的预测邻接区域的像素信号进行加权平均，由此，针对所述邻接像素信号生成2个以上的比较信号，选择该比较信号和所述邻接像素信号的相关高的组合，根据属于该选择出的组合的预测邻接区域，根据所述已再现图像生成1个以上的所述对象像素信号的候选预测信号，使用针对所述选择出的组合而预先选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。

并且，本发明的图像预测解码方法具有如下结构：该图像预测解码方法具有以下步骤：数据解码步骤，在该步骤中，对压缩数据中与作为处理对象的对象区域有关的残差信号的编码数据进行解码；残差信号复原步骤，在该步骤中，根据由所述数据解码步骤解码而得到的信号复原再现残差信号；预测信号生成步骤，在该步骤中，针对所述对象区域的对象像素信号，生成预测信号；以及再现图像信号生成步骤，在该步骤中，对由所述预测信号生成步骤生成的预测信号和由所述残差信号复原步骤复原的再现残差信号进行相加，由此生成再现图像信号，在所述预测信号生成步骤中，从由已再现图像构成的探索区域中，分别取得多个和与所述对象区域邻接的对象邻接区域相同形状的预测邻接区域，导出包含2个以上的所述取得的多个预测邻接区域的任意预测邻接区域的组合，导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，针对所述组合，使用该多个权重系数的组，对属于所述组合的预测邻接区域的像素信号进行加权平均，由此，针对所述邻接像素信号生成2个以上的比较信号，选择该比较信号和所述邻接像素信号的相关高的权重系数的组，根据属于所述组合的预测邻接区域，根据所述已再现图像生成2个以上的所述对象像素信号的候选预测信号，使用所述选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。

并且，本发明的图像预测解码方法具有如下结构：该图像预测解码方法具有以下步骤：数据解码步骤，在该步骤中，对压缩数据中与作为处理对象的对象区域有关的残差信号的编码数据进行解码；残差信号复原步骤，在该步骤中，根据由所述数据解码步骤解码而得到的信号复原再现残差信号；预测信号生成步骤，在该步骤中，针对所述对象区域的对象像素信号，生成预测信号；以及再现图像信号生成步骤，在该步骤中，对由所述预测信号生成步骤生成的预测信号和由所述残差信号复原步骤复原的再现残差信号进行相加，由此生成再现图像信号，在所述预测信号生成步骤中，从由已再现图像构成的探索区域中，分别取得多个和与所述对象区域邻接的对象邻接区域相同形状的预测邻接区域，导出2个以上的至少包含1个所述取得的多个预测邻接区域的任意预测邻接区域的组合，针对包含2个以上的预测邻接区域的组合，导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，使用该多个权重系数的组对预测邻接区域的像素信号进行加权平均，由此，针对所述邻接像素信号生成2个以上的比较信号，选择该比较信号和所述邻接像素信号的相关高的权重系数的组，针对所述多个组合，使用所述选择出的权重系数的组，对属于该组合的预测邻接区域的像素信号进行加权平均，由此，针对所述邻接像素信号生成2个以上的比较信号，选择该比较信号和所述邻接像素信号的相关高的组合，根据属于该选择出的组合的预测邻接区域，根据所述已再现图像生成1个以上的所述对象像素信号的候选预测信号，使用针对所述选择出的组合而预先选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。

并且，本发明的图像预测编码程序具有如下结构：该图像预测编码程序具有：区域分割模块，其将输入图像分割为多个区域；预测信号生成模块，其针对由所述区域分割模块分割后的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；残差信号生成模块，其生成由所述预测信号生成模块生成的预测信号和所述对象像素信号的残差信号；以及编码模块，其对由所述残差信号生成模块生成的所述残差信号进行编码，所述预测信号生成模块从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与由所述对象像素信号构成的对象区域邻接，使用所述探索到的多个预测邻接区域中基于所述对象区域的N个预测区域的像素信号或所述探索到的N个预测邻接区域中预测邻接区域的像素信号或者其双方的信号中的至少2个信号，通过预先确定的方法计算对该N个候选预测信号间的相关进行评价的评价值，在该评价值小于规定阈值的情况下，使用预先确定的合成方法对该N个候选预测信号进行加工，由此生成预测信号。

并且，本发明的图像预测解码程序具有如下结构：该图像预测解码程序具有：数据解码模块，其对压缩数据中与作为处理对象的对象区域有关的残差信号的编码数据进行解码；残差信号复原模块，其根据由所述数据解码模块解码而得到的信号复原再现残差信号；预测信号生成模块，其针对所述对象区域的对象像素信号，生成预测信号；以及再现图像信号生成模块，其对由所述预测信号生成模块生成的预测信号和由所述残差信号复原模块复原的再现残差信号进行相加，由此生成再现图像信号，所述预测信号生成模块从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与由所述对象像素信号构成的对象区域邻接，使用所述探索到的多个预测邻接区域中基于所述对象区域的N个预测区域的像素信号或所述探索到的N个预测邻接区域中预测邻接区域的像素信号或者其双方的信号中的至少2个信号，通过预先确定的方法计算对该N个候选预测信号间的相关进行评价的评价值，在该评价值小于规定阈值的情况下，使用预先确定的合成方法对该N个候选预测信号进行加工，由此生成预测信号。

并且，本发明的图像预测编码程序具有如下结构：该图像预测编码程序具有：区域分割模块，其将输入图像分割为多个区域；预测信号生成模块，其针对由所述区域分割模块分割后的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；残差信号生成模块，其生成由所述预测信号生成模块生成的预测信号和所述对象像素信号的残差信号；以及编码模块，其对由所述残差信号生成模块生成的所述残差信号进行编码，所述预测信号生成模块从由已再现图像构成的探索区域中，分别取得多个和与所述对象区域邻接的对象邻接区域相同形状的预测邻接区域，导出所述取得的多个预测邻接区域中包含2个以上的该预测邻接区域的任意预测邻接区域的组合，导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，针对所述组合，使用该多个权重系数的组，对属于所述组合的预测邻接区域的像素信号进行加权平均，由此，针对所述邻接像素信号生成2个以上的比较信号，选择该比较信号和所述邻接像素信号的相关高的权重系数的组，根据属于所述组合的预测邻接区域，根据所述已再现图像生成2个以上的所述对象像素信号的候选预测信号，使用所述选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。

并且，本发明的图像预测编码程序具有如下结构：该图像预测编码程序具有：区域分割模块，其将输入图像分割为多个区域；预测信号生成模块，其针对由所述区域分割模块分割后的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；残差信号生成模块，其生成由所述预测信号生成模块生成的预测信号和所述对象像素信号的残差信号；以及编码模块，其对由所述残差信号生成模块生成的所述残差信号进行编码，所述预测信号生成模块从由已再现图像构成的探索区域中，分别取得多个和与所述对象区域邻接的对象邻接区域相同形状的预测邻接区域，导出2个以上的至少包含1个所述取得的多个预测邻接区域的任意预测邻接区域的组合，针对包含2个以上的预测邻接区域的组合，导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，使用该多个权重系数的组对预测邻接区域的像素信号进行加权平均，由此，针对所述邻接像素信号生成2个以上的比较信号，选择该比较信号和所述邻接像素信号的相关高的权重系数的组，针对所述多个组合，使用所述选择出的权重系数的组，对属于该组合的预测邻接区域的像素信号进行加权平均，由此，针对所述邻接像素信号生成2个以上的比较信号，选择该比较信号和所述邻接像素信号的相关高的组合，根据属于该选择出的组合的预测邻接区域，根据所述已再现图像生成1个以上的所述对象像素信号的候选预测信号，使用针对所述选择出的组合而预先选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。

并且，本发明的图像预测解码程序具有如下结构：该图像预测解码程序具有：数据解码模块，其对压缩数据中与作为处理对象的对象区域有关的残差信号的编码数据进行解码；残差信号复原模块，其根据由所述数据解码模块解码而得到的信号复原再现残差信号；预测信号生成模块，其针对所述对象区域的对象像素信号，生成预测信号；以及再现图像信号生成模块，其对由所述预测信号生成模块生成的预测信号和由所述残差信号复原模块复原的再现残差信号进行相加，由此生成再现图像信号，所述预测信号生成模块从由已再现图像构成的探索区域中，分别取得多个和与所述对象区域邻接的对象邻接区域相同形状的预测邻接区域，导出包含2个以上的所述取得的多个预测邻接区域的任意预测邻接区域的组合，导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，针对所述组合，使用该多个权重系数的组，对属于所述组合的预测邻接区域的像素信号进行加权平均，由此，针对所述邻接像素信号生成2个以上的比较信号，选择该比较信号和所述邻接像素信号的相关高的权重系数的组，根据属于所述组合的预测邻接区域，根据所述已再现图像生成2个以上的所述对象像素信号的候选预测信号，使用所述选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。

并且，本发明的图像预测解码程序具有如下结构：该图像预测解码程序具有：数据解码模块，其对压缩数据中与作为处理对象的对象区域有关的残差信号的编码数据进行解码；残差信号复原模块，其根据由所述数据解码模块解码而得到的信号复原再现残差信号；预测信号生成模块，其针对所述对象区域的对象像素信号，生成预测信号；以及再现图像信号生成模块，其对由所述预测信号生成模块生成的预测信号和由所述残差信号复原模块复原的再现残差信号进行相加，由此生成再现图像信号，所述预测信号生成模块从由已再现图像构成的探索区域中，分别取得多个和与所述对象区域邻接的对象邻接区域相同形状的预测邻接区域，导出2个以上的至少包含1个所述取得的多个预测邻接区域的任意预测邻接区域的组合，针对包含2个以上的预测邻接区域的组合，导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，使用该多个权重系数的组对预测邻接区域的像素信号进行加权平均，由此，针对所述邻接像素信号生成2个以上的比较信号，选择该比较信号和所述邻接像素信号的相关高的权重系数的组，针对所述多个组合，使用所述选择出的权重系数的组，对属于该组合的预测邻接区域的像素信号进行加权平均，由此，针对所述邻接像素信号生成2个以上的比较信号，选择该比较信号和所述邻接像素信号的相关高的组合，根据属于该选择出的组合的预测邻接区域，根据所述已再现图像生成1个以上的所述对象像素信号的候选预测信号，使用针对所述选择出的组合而预先选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。

并且，为了解决上述课题，本发明的图像预测编码装置具有如下结构：该图像预测编码装置具有：区域分割单元，其将输入图像分割为多个区域；预测信号生成单元，其针对由所述区域分割单元分割后的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；残差信号生成单元，其生成由所述预测信号生成单元生成的预测信号和所述对象像素信号的残差信号；以及编码单元，其对由所述残差信号生成单元生成的所述残差信号进行编码，所述预测信号生成单元从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与由所述对象像素信号构成的对象区域邻接，至少使用表示所述预测邻接区域的位置的坐标信息，从所述探索到的多个预测邻接区域中选择1个以上的预测邻接区域，根据所述选择出的预测邻接区域，生成1个以上的所述对象像素信号的候选预测信号，使用预先确定的合成方法对所述候选预测信号进行加工，由此生成预测信号。

根据本发明，从由已再现图像构成的探索区域中，探索与对象邻接区域的相关高的多个预测邻接区域，至少使用表示预测邻接区域的位置的坐标信息，从探索到的多个预测邻接区域中选择1个以上的预测邻接区域，根据选择出的预测邻接区域，生成1个以上的对象像素信号的候选预测信号，使用预先确定的合成方法对候选预测信号进行加工，由此能够生成预测信号。由此，能够使用与对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域，具有多样性地选择适于平滑化的候选预测信号的组合而不增多信息量，所以，能够高效地生成考虑了局部噪声特性的预测信号，能够进行高效的编码。

并且，本发明的图像预测编码装置具有如下结构：该图像预测编码装置具有：区域分割单元，其将输入图像分割为多个区域；预测信号生成单元，其针对由所述区域分割单元分割后的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；残差信号生成单元，其生成由所述预测信号生成单元生成的预测信号和所述对象像素信号的残差信号；以及编码单元，其对由所述残差信号生成单元生成的所述残差信号进行编码，所述预测信号生成单元从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与由所述对象像素信号构成的对象区域邻接，设定要选择的预测邻接区域的数量，至少使用表示所述预测邻接区域的位置的坐标信息，从所述探索区域中选择所述设定的数量的预测邻接区域，根据所述选择出的预测邻接区域，生成所述设定的数量的所述对象像素信号的候选预测信号，使用预先确定的合成方法对所述候选预测信号进行加工，由此生成预测信号。

根据本发明，从由已再现图像构成的探索区域中，探索与对象邻接区域的相关高的多个预测邻接区域，设定要选择的预测邻接区域的数量，至少使用表示预测邻接区域的位置的坐标信息，从探索区域中选择设定的数量的预测邻接区域，根据选择出的预测邻接区域，生成设定的数量的对象像素信号的候选预测信号，使用预先确定的合成方法对候选预测信号进行加工，由此能够生成预测信号。由此，能够使用与对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域，具有多样性地选择适于平滑化的候选预测信号的组合而不增多信息量，所以，能够高效地生成考虑了局部噪声特性的预测信号，能够进行高效的编码。

并且，本发明的图像预测编码装置具有如下结构：该图像预测编码装置具有：区域分割单元，其将输入图像分割为多个区域；预测信号生成单元，其针对由所述区域分割单元分割后的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；残差信号生成单元，其生成由所述预测信号生成单元生成的预测信号和所述对象像素信号的残差信号；以及编码单元，其对由所述残差信号生成单元生成的所述残差信号进行编码，所述预测信号生成单元从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与由所述对象像素信号构成的对象区域邻接，至少使用表示所述预测邻接区域的位置的坐标信息，生成2个以上的包含不同数量的预测邻接区域的预测邻接区域的组合，使用预先确定的合成方法对属于所述组合的预测邻接区域的像素信号进行加工，由此，针对所述邻接像素信号分别生成比较信号，从所述生成的预测邻接区域的组合中，选择所述比较信号和所述邻接像素信号的相关高的预测邻接区域的组合，根据属于所述选择出的组合的预测邻接区域，生成1个以上的所述对象像素信号的候选预测信号，使用预先确定的合成方法对该候选预测信号进行加工，由此生成预测信号。

根据本发明，从由已再现图像构成的探索区域中，探索与对象邻接区域的相关高的多个预测邻接区域，至少使用表示预测邻接区域的位置的坐标信息，生成2个以上的包含不同数量的预测邻接区域的预测邻接区域的组合，使用预先确定的合成方法对属于组合的预测邻接区域的像素信号进行加工，由此，针对邻接像素信号分别生成比较信号，选择比较信号和邻接像素信号的相关高的预测邻接区域的组合，根据属于选择出的组合的预测邻接区域，生成1个以上的对象像素信号的候选预测信号，使用预先确定的合成方法对该候选预测信号进行加工，由此能够生成预测信号。由此，能够使用与对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域，具有多样性地选择适于平滑化的候选预测信号的组合而不增多信息量，所以，能够高效地生成考虑了局部噪声特性的预测信号，能够进行高效的编码。

并且，优选在本发明的图像预测编码装置中，所述预测信号生成单元使用包含时间或空间的任意一方或者时空间的位置信息在内的坐标信息，选择预测邻接区域。

并且，根据本发明，能够使用包含时间或空间的任意一方或者时空间的位置信息在内的坐标信息，选择预测邻接区域，能够具有多样性地选择适于平滑化的候选预测信号的组合而不增多信息量。

并且，优选在本发明的图像预测编码装置中，所述预测信号生成单元使用包含预测邻接区域所属的参照图像的识别编号在内的坐标信息进行处理。

并且，根据本发明，能够使用包含预测邻接区域所属的参照图像的识别编号在内的坐标信息进行处理，能够具有多样性地选择适于平滑化的候选预测信号的组合而不增多信息量。

并且，优选在本发明的图像预测编码装置中，所述预测信号生成单元使用包含预测邻接区域所属的参照图像上的空间位置信息在内的坐标信息，选择预测邻接区域。

根据本发明，能够使用包含预测邻接区域所属的参照图像上的空间位置信息在内的坐标信息，选择预测邻接区域，能够具有多样性地选择适于平滑化的候选预测信号的组合而不增多信息量。

并且，优选在本发明的图像预测编码装置中，所述预测信号生成单元使用包含表示所述对象区域和所述预测邻接区域之间的空间位置关系的运动向量在内的坐标信息，选择预测邻接区域。

根据本发明，能够使用包含预测邻接区域的运动向量在内的坐标信息，选择预测邻接区域，能够具有多样性地选择适于平滑化的候选预测信号的组合而不增多信息量。

并且，本发明的图像预测解码装置具有如下结构：该图像预测解码装置具有：数据解码单元，其对压缩数据内的与作为处理对象的对象区域有关的残差信号的编码数据进行解码；残差信号复原单元，其根据由所述数据解码单元解码而得到的信号复原再现残差信号；预测信号生成单元，其针对所述对象区域的对象像素信号，生成预测信号；以及再现图像信号生成单元，其对由所述预测信号生成单元生成的预测信号和由所述残差信号复原单元复原的再现残差信号进行相加，由此生成再现图像信号，所述预测信号生成单元从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与由所述对象像素信号构成的对象区域邻接，至少使用表示所述预测邻接区域的位置的坐标信息，从所述探索到的多个预测邻接区域中选择1个以上的预测邻接区域，根据所述选择出的预测邻接区域，生成1个以上的所述对象像素信号的候选预测信号，使用预先确定的合成方法对所述候选预测信号进行加工，由此生成预测信号。

根据本发明，从由已再现图像构成的探索区域中，探索与对象邻接区域的相关高的多个预测邻接区域，至少使用表示预测邻接区域的位置的坐标信息，从探索到的多个预测邻接区域中选择1个以上的预测邻接区域，根据选择出的预测邻接区域，生成1个以上的对象像素信号的候选预测信号，使用预先确定的合成方法对候选预测信号进行加工，由此能够生成预测信号。由此，能够使用与对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域，具有多样性地选择适于平滑化的候选预测信号的组合而不增多信息量，所以，能够高效地生成考虑了局部噪声特性的预测信号。由此，能够通过这样生成的预测信号对高效编码的编码数据进行解码。

并且，本发明的图像预测解码装置具有如下结构：该图像预测解码装置具有：数据解码单元，其对压缩数据的与作为处理对象的对象区域有关的残差信号的编码数据进行解码；残差信号复原单元，其根据由所述数据解码单元解码而得到的信号复原再现残差信号；预测信号生成单元，其针对所述对象区域的对象像素信号，生成预测信号；以及再现图像信号生成单元，其对由所述预测信号生成单元生成的预测信号和由所述残差信号复原单元复原的再现残差信号进行相加，由此生成再现图像信号，所述预测信号生成单元针对由与所述对象像素信号邻接的已再现的邻接像素信号构成的对象邻接区域，从由已再现图像构成的探索区域中，探索与上述对象邻接区域的相关高的多个预测邻接区域，设定要选择的预测邻接区域的数量，至少使用表示所述预测邻接区域的位置的坐标信息，从所述探索区域的所有位置中选择所述设定的数量的预测邻接区域，根据所述选择出的预测邻接区域，生成所述选择的数量的所述对象像素信号的候选预测信号，使用预先确定的合成方法对所述候选预测信号进行加工，由此生成预测信号。

根据本发明，从由已再现图像构成的探索区域中，探索与对象邻接区域的相关高的多个预测邻接区域，设定要选择的预测邻接区域的数量，至少使用表示预测邻接区域的位置的坐标信息，从探索区域中选择设定的数量的预测邻接区域，根据选择出的预测邻接区域，生成设定的数量的对象像素信号的候选预测信号，使用预先确定的合成方法对候选预测信号进行加工，由此能够生成预测信号。由此，能够使用与对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域，具有多样性地选择适于平滑化的候选预测信号的组合而不增多信息量，所以，能够高效地生成考虑了局部噪声特性的预测信号。由此，能够通过这样生成的预测信号对高效编码的编码数据进行解码。

并且，本发明的图像预测解码装置具有如下结构：该图像预测解码装置具有：数据解码单元，其对压缩数据内的与作为处理对象的对象区域有关的残差信号的编码数据进行解码；残差信号复原单元，其根据由所述数据解码单元解码而得到的信号复原再现残差信号；预测信号生成单元，其针对所述对象区域的对象像素信号，生成预测信号；以及再现图像信号生成单元，其对由所述预测信号生成单元生成的预测信号和由所述残差信号复原单元复原的再现残差信号进行相加，由此生成再现图像信号，所述预测信号生成单元针对由与所述对象像素信号邻接的已再现的邻接像素信号构成的对象邻接区域，从由已再现图像构成的探索区域中，探索与上述对象邻接区域的相关高的多个预测邻接区域，设定要选择的预测邻接区域的数量，至少使用表示所述预测邻接区域的位置的坐标信息，生成2个以上的包含不同数量的预测邻接区域的预测邻接区域的组合，使用预先确定的合成方法对属于所述组合的预测邻接区域的像素信号进行加工，由此，针对所述邻接像素信号分别生成比较信号，从所述生成的预测邻接区域的组合中，选择该比较信号和所述邻接像素信号的相关高的组合，根据属于所述选择出的组合的预测邻接区域，生成1个以上的所述对象像素信号的候选预测信号，使用预先确定的合成方法对该候选预测信号进行加工，由此生成预测信号。

根据本发明，从由已再现图像构成的探索区域中，探索与对象邻接区域的相关高的多个预测邻接区域，至少使用表示预测邻接区域的位置的坐标信息，生成2个以上的包含不同数量的预测邻接区域的预测邻接区域的组合，使用预先确定的合成方法对属于组合的预测邻接区域的像素信号进行加工，由此，针对邻接像素信号分别生成比较信号，选择比较信号和邻接像素信号的相关高的预测邻接区域的组合，根据属于选择出的组合的预测邻接区域，生成1个以上的对象像素信号的候选预测信号，使用预先确定的合成方法对该候选预测信号进行加工，由此能够生成预测信号。由此，能够使用与对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域，具有多样性地选择适于平滑化的候选预测信号的组合而不增多信息量，所以，能够高效地生成考虑了局部噪声特性的预测信号。由此，能够通过这样生成的预测信号对高效编码的编码数据进行解码。

并且，优选在本发明的图像预测解码装置中，所述预测信号生成单元使用包含时间或空间的任意一方或者时空间的位置在内的坐标信息，选择预测邻接区域。

并且，根据本发明，能够使用包含预测邻接区域所属的参照图像的识别编号在内的坐标信息进行处理，能够具有多样性地选择适于平滑化的候选预测信号的组合而不增多信息量。

并且，优选在本发明的图像预测解码装置中，所述预测信号生成单元使用包含预测邻接区域所属的参照图像的识别编号在内的坐标信息，选择预测邻接区域。

根据本发明，能够使用包含预测邻接区域所属的参照图像上的空间位置信息在内的坐标信息，选择预测邻接区域，能够具有多样性地选择适于平滑化的候选预测信号的组合而不增多信息量。

并且，优选在本发明的图像预测解码装置中，所述预测信号生成单元使用包含预测邻接区域所属的参照图像上的空间位置在内的坐标信息，选择预测邻接区域。

根据本发明，能够使用包含预测邻接区域所属的参照图像上的空间位置信息在内的坐标信息，选择预测邻接区域，能够具有多样性地选择适于平滑化的候选预测信号的组合而不增多信息量。

并且，优选在本发明的图像预测解码装置中，所述预测信号生成单元使用包含表示所述对象区域和所述预测邻接区域之间的空间位置关系的运动向量在内的坐标信息，选择预测邻接区域。

根据本发明，能够使用包含预测邻接区域的运动向量在内的坐标信息，选择预测邻接区域，能够具有多样性地选择适于平滑化的候选预测信号的组合而不增多信息量。

但是，本发明除了能够如上所述记述为图像预测编码装置或图像预测解码装置的发明以外，还能够如下所述记述为图像预测编码方法、图像预测解码方法、图像预测编码程序、图像预测解码程序的发明。这些只是范畴不同，实质上是相同的发明，发挥同样的作用和效果。

即，本发明的图像预测编码方法具有如下结构：该图像预测编码方法具有以下步骤：区域分割步骤，在该步骤中，将输入图像分割为多个区域；预测信号生成步骤，在该步骤中，针对由所述区域分割步骤分割后的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；残差信号生成步骤，在该步骤中，生成由所述预测信号生成步骤生成的预测信号和所述对象像素信号的残差信号；以及编码步骤，在该步骤中，对由所述残差信号生成步骤生成的所述残差信号进行编码，在所述预测信号生成步骤中，从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与由所述对象像素信号构成的对象区域邻接，至少使用表示所述预测邻接区域的位置的坐标信息，从所述探索到的多个预测邻接区域中选择1个以上的预测邻接区域，根据所述选择出的预测邻接区域，生成1个以上的所述对象像素信号的候选预测信号，使用预先确定的合成方法对所述候选预测信号进行加工，由此生成预测信号。

并且，本发明的图像预测解码方法具有如下结构：该图像预测解码方法具有以下步骤：数据解码步骤，在该步骤中，对压缩数据内的与作为处理对象的对象区域有关的残差信号的编码数据进行解码；残差信号复原步骤，在该步骤中，根据由所述数据解码步骤解码而得到的信号复原再现残差信号；预测信号生成步骤，在该步骤中，针对所述对象区域的对象像素信号，生成预测信号；以及再现图像信号生成步骤，在该步骤中，对由所述预测信号生成步骤生成的预测信号和由所述残差信号复原步骤复原的再现残差信号进行相加，由此生成再现图像信号，在所述预测信号生成步骤中，从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与由所述对象像素信号构成的对象区域邻接，至少使用表示所述预测邻接区域的位置的坐标信息，从所述探索到的多个预测邻接区域中选择1个以上的预测邻接区域，根据所述选择出的预测邻接区域，生成1个以上的所述对象像素信号的候选预测信号，使用预先确定的合成方法对所述候选预测信号进行加工，由此生成预测信号。

并且，本发明的图像预测编码程序具有如下结构：该图像预测编码程序具有：区域分割模块，其将输入图像分割为多个区域；预测信号生成模块，其针对由所述区域分割模块分割后的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；残差信号生成模块，其生成由所述预测信号生成模块生成的预测信号和所述对象像素信号的残差信号；以及编码模块，其对由所述残差信号生成模块生成的所述残差信号进行编码，所述预测信号生成模块从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与由所述对象像素信号构成的对象区域邻接，至少使用表示所述预测邻接区域的位置的坐标信息，从所述探索到的多个预测邻接区域中选择1个以上的预测邻接区域，根据所述选择出的预测邻接区域，生成1个以上的所述对象像素信号的候选预测信号，使用预先确定的合成方法对所述候选预测信号进行加工，由此生成预测信号。

并且，本发明的图像预测解码程序具有如下结构：该图像预测解码程序具有：数据解码模块，其对压缩数据内的与作为处理对象的对象区域有关的残差信号的编码数据进行解码；残差信号复原模块，其根据由所述数据解码模块解码而得到的信号复原再现残差信号；预测信号生成模块，其针对所述对象区域的对象像素信号，生成预测信号；以及再现图像信号生成模块，其对由所述预测信号生成模块生成的预测信号和由所述残差信号复原模块复原的再现残差信号进行相加，由此生成再现图像信号，所述预测信号生成模块从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与由所述对象像素信号构成的对象区域邻接，至少使用表示所述预测邻接区域的位置的坐标信息，从所述探索到的多个预测邻接区域中选择1个以上的预测邻接区域，根据所述选择出的预测邻接区域，生成1个以上的所述对象像素信号的候选预测信号，使用预先确定的合成方法对所述候选预测信号进行加工，由此生成预测信号。

根据本发明，能够使用与对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域，选择适于平滑化的候选预测信号的组合而不增多信息量，所以，能够高效地生成考虑了局部噪声特性的预测信号。

并且，根据本发明，能够使用与对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域，具有多样性地选择适于平滑化的候选预测信号的组合而不增多信息量，所以，能够高效地生成考虑了局部噪声特性的预测信号。

附图说明

图1是示出本发明的实施方式的图像预测编码装置的框图。

图2是示出在图像预测编码装置中使用的预测信号生成器103的框图。

图3是用于说明在模板匹配器201中的模板匹配处理和检索预测邻接区域和预测区域的候选的处理的示意图。

图4是用于说明在模板匹配器201中的模板匹配处理和检索预测邻接区域和预测区域的候选的处理的第2示意图。

图5是用于说明模板匹配器201中的模板匹配和检索预测邻接区域和预测区域的候选的方法的流程图。

图6是用于说明候选预测信号的组合决定器203中的候选预测信号的组合决定方法的流程图。

图7是用于说明合成候选预测信号并生成预测信号的方法的流程图。

图8是示出图像预测编码装置100中的图像预测编码方法的流程图。

图9是示出图像预测解码装置300的框图。

图10是示出图像预测解码装置300的图像预测解码方法的流程图。

图11是示出能够执行图像预测编码方法的程序的模块的框图。

图12是示出预测信号生成模块P103的模块的框图。

图13是示出能够执行图像预测解码方法的程序的模块的框图。

图14是用于说明画面内预测方法的示意图。

图15是用于说明块匹配处理的示意图。

图16是示出用于执行记录在记录介质中的程序的计算机的硬件结构的图。

图17是用于执行存储在记录介质中的程序的计算机的立体图。

图18是在第2实施方式的图像预测编码装置中使用的预测信号生成器103的框图。

图19是用于说明平均化数量决定器1800中的候选预测信号的组合决定方法的流程图。

图20是示出合成候选预测信号并生成预测信号的第2方法的流程图。

图21是示出预测信号生成模块P103的第2模块的框图。

图22是示出在第3实施方式的图像预测编码装置中使用的预测信号生成器103的框图。

图23是用于说明权重系数设定器2201中的候选预测信号的权重系数决定方法的流程图。

图24是用于说明候选预测信号的组合决定器2200中的候选预测信号的第3组合决定方法的流程图。

图25是示出合成候选预测信号并生成预测信号的第3方法的流程图。

图26是示出根据对象邻接区域的像素信号和预测邻接区域的像素信号之间的差分值来设定权重系数的组的对应表的说明图。

图27是示出本发明的第4实施方式的图像预测编码装置的框图。

图28是示出本发明的第4实施方式的图像预测编码装置的预测信号生成器103c的运动补偿器201b的框图。

图29是示出运动补偿器201b的运动补偿方法的流程图。

图30是示出本发明的第4实施方式的图像预测解码装置的框图。

图31是示出本发明的第4实施方式的图像预测解码装置的预测信号生成器308c的对象邻接区域运动补偿器201c的框图。

图32是示出对象邻接区域运动补偿器201c的运动补偿方法的流程图。

图33是示出本发明的实施方式的图像预测编码装置的框图。

图34是示出在图像预测编码装置中使用的预测信号生成器103X的框图。

图35是用于说明在模板匹配器201X中的模板匹配处理和检索预测邻接区域和预测区域的候选的处理的示意图。

图36是用于说明在模板匹配器201X中的模板匹配处理和检索预测邻接区域和预测区域的候选的处理的第2示意图。

图37是用于说明模板匹配器201X中的模板匹配和检索预测邻接区域和预测区域的候选的方法的流程图。

图38是用于说明候选预测信号的组合决定器203X中的候选预测信号的组合决定方法的流程图。

图39是用于说明合成候选预测信号并生成预测信号的方法的流程图。

图40是示出图像预测编码装置100X中的图像预测编码方法的流程图。

图41是示出图像预测解码装置300X的框图。

图42是示出图像预测解码装置300X的图像预测解码方法的流程图。

图43是示出能够执行图像预测编码方法的程序的模块的框图。

图44是示出预测信号生成模块P103X的模块的框图。

图45是示出能够执行图像预测解码方法的程序的模块的框图。

图46是用于说明画面内预测方法的示意图。

图47是用于说明块匹配处理的示意图。

图48是示出用于执行记录在记录介质中的程序的计算机的硬件结构的图。

图49是用于执行存储在记录介质中的程序的计算机的立体图。

图50是示出第6实施方式的预测信号生成器103aX的结构的框图。

图51是示出组合设定器237X的详细结构的框图。

图52是示出使用组合设定器237X的预测信号生成器103aX的动作的流程图。

图53是示出使用预测邻接区域的坐标信息来选择N个预测邻接区域时的组合设定器237X的动作的流程图。

图54是示出第7实施方式的包含候选预测信号的组合设定器237X在内的预测信号生成器103bX的结构的框图。

图55是示出第7实施方式的预测信号生成器103bX选择预测邻接区域时的处理的流程图。

图56是示出第8实施方式的候选预测信号的组合决定器的结构的框图。

图57是示出候选预测信号的组合决定器203dX的动作的流程图。

图58是示出参照图像的评价器283X的处理概念的概念图。

图59是示出运动向量的评价器284X的处理概念的概念图。

图60是示出组合设定模块P237X的模块结构的框图。

标号说明

100：图像预测编码装置；101：输入端子；102：块分割器；103：预测信号生成器；104：帧存储器；105：减法器；106：转换器；107：量子化器；108：逆量子化器；109：逆转换器；110：加法器；111：熵编码器；112：输出端子；201：模板匹配器；202：坐标信息用存储器；203：候选预测信号的组合决定器；204：预测区域取得器；205：加权器；206：加法器；211：对象邻接区域取得器；212：预测邻接区域取得器；213：比较器；214：开关；231：组合设定器；232：预测邻接区域取得器；233：对象邻接区域取得器；234：加权器；235：加法器；236：比较/选择器；300：图像预测解码装置；301：输入端子；302：熵解码器；303：逆量子化器；304：逆转换器；305：加法器；306：输出端子；307：帧存储器；308：预测信号生成器；P100：图像预测编码程序；P102：块分割模块；P103：预测信号生成模块；P104：存储模块；P105：减法模块；P106：转换模块；P108：逆量子化模块；P109：逆转换模块；P110：加法模块；P111：熵编码模块；P201：模板匹配模块；P202：决定模块；P203：预测信号合成模块；P300：图像预测解码程序；P302：熵解码模块；P303：逆量子化模块；P304：逆转换模块；P305：加法模块；P307：存储模块；P308：预测信号生成模块；1800：平均化数量决定器；1801：计数器；1802：代表预测区域取得器；1803：相关评价值计算器；1804：阈值处理器；2200：候选预测信号的组合决定器；2201：权重系数设定器；2202：加权平均化器；2203：比较/选择器；2204：加权平均化器；2801：预测区域取得器；100X：图像预测编码装置；101X：输入端子；102X：块分割器；103X：预测信号生成器；104X：帧存储器；105X：减法器；106X：转换器；107X：量子化器；108X：逆量子化器；109X：逆转换器；110X：加法器；111X：熵编码器；112X：输出端子；201X：模板匹配器；202X：坐标信息用存储器；203X：候选预测信号的组合决定器；204X：预测区域取得器；205X：加权器；206X：加法器；211X：对象邻接区域取得器；212X：预测邻接区域取得器；213X：比较器；214X：开关；230X：预测邻接区域的设定器；231、237、237dX：组合设定器；232X：预测邻接区域取得器；233X：对象邻接区域取得器；234X：加权器；235X：加法器；236X：比较/选择器；281X：评价对象的预测邻接区域的决定器；238X：候选预测信号数量的决定器；282X：计数器；283X：参照图像的评价器；284X：运动向量的评价器；300X：图像预测解码装置；301X：输入端子；302X：熵解码器；303X：逆量子化器；304X：逆转换器；305X：加法器；306X：输出端子；307X：帧存储器；308X：预测信号生成器；P100X：图像预测编码程序；P102X：块分割模块；P103X：预测信号生成模块；P104X：存储模块；P105X：减法模块；P106X：转换模块；P108X：逆量子化模块；P109X：逆转换模块；P110X：加法模块；P111X：熵编码模块；P201X：模板匹配模块；P202X：决定模块；P203X：预测信号合成模块；P300X：图像预测解码程序；P302X：熵解码模块；P303X：逆量子化模块；P304X：逆转换模块；P305X：加法模块；P307X：存储模块；P308X：预测信号生成模块。

具体实施方式

参照为了一个实施方式而示出的附图并考虑以下详细的记述，由此能够容易地理解本发明。接着，参照附图说明本发明的实施方式。在可能的情况下，对同一部分标注同一标号并省略重复的说明。

<第1实施方式>

图1是示出本发明的实施方式的能够执行图像预测编码方法的图像预测编码装置100的框图。该图像预测编码装置100构成为包含：输入端子101、块分割器102(区域分割单元)、预测信号生成器103(预测信号生成单元)、帧存储器104、减法器105(残差信号生成单元)、转换器106(编码单元)、量子化器107(编码单元)、逆量子化器108、逆转换器109、加法器110、熵编码器111以及输出端子112。转换器106和量子化器107作为编码单元发挥功能。

以下说明如上所述那样构成的图像预测编码装置100的结构。

输入端子101是输入由多张图像构成的动态图像的信号的端子。

块分割器102将从输入端子101输入的动态图像的信号即作为编码对象的图像分割为多个区域。在本发明的实施方式中，分割为由8×8的像素构成的块，但是，也可以分割为除此之外的块的大小或形状。

预测信号生成器103是针对作为编码处理对象的对象区域(对象块)生成预测信号的部分。该预测信号生成器103的具体处理在后面叙述。

减法器105是如下的部分：从经由线L102输入的由块分割器102分割而得到的对象区域所示的像素信号中，减去经由线L103输入的由预测信号生成器103生成的预测信号，来生成残差信号。减法器105经由线L105向转换器106输出减法得到的残差信号。

转换器106是对减法得到的残差信号进行离散余弦转换的部分。并且，量子化器107是对由转换器106进行离散余弦转换后的转换系数进行量子化的部分。熵编码器111对由量子化器107量子化后的转换系数进行压缩编码，经由线L111输出压缩编码后的压缩数据。输出端子112向外部输出从熵编码器111输入的信息即压缩数据。

逆量子化器108对量子化后的转换系数进行逆量子化，逆转换器109进行逆离散余弦转换，复原编码后的残差信号。加法器110将复原后的残差信号和从线L103发送的预测信号相加，再现对象块的信号，得到再现图像信号，并将该再现图像信号存储在帧存储器104中。在本实施方式中，使用了转换器106和逆转换器109，但是，也可以使用其他转换处理来代替这些转换器，转换器106和逆转换器109不是必须的。这样，为了进行后续的针对对象区域的画面内预测或画面间预测，压缩后的对象区域的像素信号通过逆处理而复原，并存储在帧存储器104中。

接着，说明预测信号生成器103。预测信号生成器103是针对作为编码处理对象的对象区域(以下称为对象块)生成预测信号的部分。在本实施方式中，使用3种预测方法。即，预测信号生成器103使用后述的画面间预测方法和画面内预测方法中的至少任意一方或双方来生成预测信号。

说明本实施方式的预测信号生成器103的处理。图2是示出在本实施方式的图像预测编码装置100中使用的预测信号生成器103的框图，其构成为包含：模板匹配器201、坐标信息用存储器202、候选预测信号的组合决定器203、预测区域取得器204、加权器205以及加法器206。

在模板匹配器201中，经由线L104从帧存储器104输入在过去的处理中已再现的图像信号(再现图像信号)，通过后述的模板匹配，针对对象区域的对象像素信号探索多个预测信号的候选(候选预测信号)，经由线L201a向坐标信息用存储器202输出用于访问探索到的候选预测信号的坐标信息。同时，经由线L201b向候选预测信号的组合决定器203输出表示对象区域和各候选预测信号之间的关系的差分值数据(相当于后述的绝对误差值的和(SAD(sumof absolute difference)))。

在候选预测信号的组合决定器203中，利用经由线L201b输入的差分值数据，设定多个候选预测信号的组合。然后，根据经由线L202a从坐标信息用存储器202输入的坐标信息，使用经由线L104从帧存储器输入的像素信号，决定候选预测信号的组合，作为候选预测信号的组合信息，经由线L203输出到预测区域取得器204。

预测区域取得器204根据经由线L203输入的候选预测信号的组合信息，经由线L202b取得属于该组合的候选预测信号的坐标信息。然后，预测区域取得器204经由线L104从帧存储器104中取得与所取得的坐标信息对应的候选预测信号，随时输出到加权器205。加权器205使经由线L204输入的各候选预测信号乘以权重系数，经由线L205输出到加法器206。加法器206依次将加权后的候选预测信号相加，作为预测信号经由线L103输出到图1的减法器105。另外，关于加权器的动作，例如存在候选预测信号的数量为N时使各候选预测信号乘以1/N的手法等，但是，也可以是其他手法。

进而，详细说明模板匹配器201、候选预测信号的组合决定器203、预测区域取得器204的各结构。首先，说明模板匹配器201中的处理内容。模板匹配器201访问经由线L104存储在帧存储器104中的再现图像信号，进行匹配处理。这里，说明该匹配处理。图3和图4是用于说明本发明的实施方式的模板匹配处理的示意图。这里，说明针对对象块402生成候选预测信号的处理。

首先，利用预先确定的方法针对对象块设定“对象邻接区域”(也称为模板)和“探索区域”。在图3中，与对象块402相邻，将此前再现且位于相同画面内的再现图像的一部分(也可以是全部)设定为探索区域401。这里，使对象块402成为对由8×8的像素构成的编码对象块进行分割后的4×4像素的小块，但是，也可以分割为除此之外的块的大小或形状，也可以不分割。

进而，在图4中，将由与对象块402不同的画面411所示的再现图像的一部分设定为探索区域417。并且，也可以在与对象块402不同的多个画面中分别设置探索区域。作为“对象邻接区域”，使用与对象块402邻接的已再现的像素组(倒L文字的区域)403。另外，在本实施方式中，在2个画面(图3和图4)内设定探索区域，但是，也可以仅在与对象块相同的画面内设定(图3)，还可以仅在与对象块不同的画面内设定(图4)。

如图3所示，探索区域401和对象块402不需要相邻，探索区域401也可以完全不与对象块402相邻。并且，不需要限定为如图4所示在与对象块不同的一个画面(仅画面411)中设定探索区域，也可以在与对象块不同的多个画面(如果参照图像已再现，则也可以包含按照显示顺序的未来的帧)中分别设定探索区域。

并且，对象邻接区域403与对象块402至少以一个像素相邻即可。这里，对象邻接区域的形状为倒L文字，但是不限于此。由此，如果对象邻接区域由对象块402周围的已再现像素构成，则形状和像素数预先确定，可以是任意的，也可以利用顺序单位或帧单位和块单位对模板的形状和大小(像素数)进行编码。

模板匹配器201在探索区域401和探索区域417或任意一个探索区域中，在与具有和对象邻接区域403相同形状的像素组之间，求出对应的像素间的绝对误差值的和(SAD)，检索SAD小的M个区域，将它们作为“预测邻接区域”。检索精度可以是整数像素单位，也可以生成1/2像素、1/4像素等小数精度的像素，以小数像素精度进行探索。M的值预先设定，可以是任意的值。如图3和图4所示，M＝6，探索预测邻接区域404a、404b、404c、414a、414b和414c。并且，也可以不决定要探索的预测邻接区域的数量，而是探索SAD小于某个阈值的区域来决定M的值，也可以将小于阈值的区域的数量和所设定的数量中小的一方的值作为M的值。此时，阈值不适用于SAD的值本身，也可以适用于最小的SAD和第2个以后的SAD的差分值。在后者中，即使在最小的SAD大的情况下，模板匹配器201也能够检索多个预测邻接区域而不变更阈值。M的上限值和阈值也可以预先设定，但是，也可以利用顺序单位或帧单位和块单位对适当的值进行编码。

在针对对象块402的预测区域中决定与预测邻接区域404a、404b、404c、414a、414b和414c相邻的区域405a、405b、405c、415a、415b和415c，在候选预测信号中决定预测区域内的像素信号。另外，这里，预测邻接区域和表示候选预测信号的预测区域的位置关系处于与对象区域和对象邻接区域相同的关系，但是也可以不这样。在本实施方式中，作为用于从帧存储器104中取得各预测邻接区域(和预测区域)的访问信息，将对象邻接区域(和对象区域)和预测邻接区域(和预测区域)之间的差分坐标406a、406b、406c、416a、416b和416c以及各预测邻接区域(和预测区域)所属的画面(参照图像)的识别编号作为坐标信息，存储在坐标信息用存储器202中。

说明用于进行以上这种动作的模板匹配器201的结构。模板匹配器201构成为包含：对象邻接区域取得器211、预测邻接区域取得器212、比较器213和开关214。首先，对象邻接区域取得器211经由线L104从帧存储器104中取得对象邻接区域403。

预测邻接区域取得器212经由线L104从帧存储器104内的探索区域中依次取得与对象邻接区域相同形状的区域的像素信号，在与经由线L211从对象邻接区域取得器211得到的对象邻接区域的像素信号(邻接像素信号)之间计算SAD。比较器213经由线L212b输入所计算出的SAD，与此前取得的SAD中第M小的SAD进行比较。然后，在判断为被输入到比较器213的SAD小的情况下，比较器213临时存储进入该第M个以内的SAD，删除第M+1个SAD。另外，比较器213在处理开始时，作为SAD的初始值与通常的SAD进行比较，将充分大的值设定为初始值。

预测邻接区域取得器212进行该处理，并且，作为用于访问预测邻接区域(和预测区域)的信息，通过比较器213对开关214的控制，经由线L212a和L201a向坐标信息用存储器202输出坐标信息。此时，不需要SAD的值为第M+1个坐标信息，所以，也可以在坐标信息用存储器202中覆盖存储。当预测邻接区域取得器212在探索区域内的探索结束时，比较器213经由线L201b向候选预测信号的组合决定器203输出临时存储的M个SAD的值。

接着，说明候选预测信号的组合决定器203的动作。候选预测信号的组合决定器203构成为包含：组合设定器231、预测邻接区域取得器232、对象邻接区域取得器233、加权器234、加法器235以及比较/选择器236。

组合设定器231根据经由线L201b输入的M个SAD，设定多个预测邻接区域的组合。候选预测信号的组合决定器203中的处理如在图6的说明中详细叙述的那样，将所输入的SAD小的N个预测邻接区域设定为1个组合。N的值是小于M的2的乘数，当M＝6时，制作N＝1、2、4这3个组合。

这样，通过利用本发明的候选预测信号的组合处理，能够针对各对象块决定适当的候选预测信号的平滑化的强度、即平均化的预测候选信号的数量。换言之，确定对与邻接像素信号之间的绝对误差值即SAD小的N个预测邻接区域的像素信号进行平均化后的比较信号和邻接像素信号之间的差分SAD最小的N，由此，能够从探索到的M个候选预测信号中，没有附加信息地选别适于生成预测信号的候选预测信号。另外，使N的值为2的乘数是因为考虑了仅利用加法和位移运算来进行信号的平均化处理。

并且，M的值和N的值以及N个预测信号区域的组合不限于此。1个组合中包含的预测邻接区域的数量可以从1～M个中任意设定。例如，在制作由小于M的N个预测邻接区域构成的组合的情况下，能够从M个中选择N个来设定全部组合。此时，N的值可以是固定的，也可以在1～M之间选择2个以上来设定组合。但是，为了使作为编码器的图像预测编码装置100和作为解码器的后述的图像预测解码装置300自动选择相同的预测邻接区域的组合，需要使两者的组合的设定方法一致。

预测邻接区域取得器232经由线L231a输入1个预测邻接区域的组合信息时，经由线L202a从坐标信息用存储器202中取得针对该组合中包含的预测邻接区域的坐标信息。然后，预测邻接区域取得器232经由线L104取得与坐标信息对应的预测邻接区域的像素信号，随时输出到加权器234。

加权器234使经由线L232输入的各预测邻接区域的像素信号乘以权重系数，经由线L234输出到加法器235。

加法器235对加权后的预测邻接区域的像素信号进行累积相加并累计，由此，生成用于与对象邻接区域的像素信号(邻接像素信号)进行比较的比较信号，经由线L235向比较/选择器236输出所生成的比较信号。另外，关于加权器234的动作，例如存在预测邻接区域的数量为N时使各预测邻接区域的像素信号乘以1/N的手法等，但是，也可以是其他手法。例如，考虑如下方法：计算N个预测邻接区域的像素信号和邻接像素信号的差分值(绝对误差和、平方误差和、方差等)，根据其比率来决定针对各预测邻接区域的权重系数。

这里，使加权器205和加权器234的加权方法相同，由此，能够使用预测邻接区域推测候选预测信号(预测区域的像素信号)的适当组合。预测邻接区域由编码器和解码器共用，所以，使用本手法的解码器即后述的图像预测解码装置300具有如下效果：能够没有附加信息地取得由作为编码器的图像预测编码装置100选择出的候选预测信号的组合。另外，加权器205和加权器234的加权方法不需要一定相同。例如，如下方法也是有效的：为了削减运算量，在加权器234中应用单纯的加权处理，在加权器205中应用基于局部信号的特征的适当的加权处理。

对象邻接区域取得器233经由线L104从帧存储器104中取得对象邻接区域的像素信号(邻接像素信号)，并输出到比较/选择器236。

比较/选择器236在与多个预测邻接区域的组合对应的比较信号和邻接像素信号之间计算SAD，选择其值最小的预测邻接区域的组合作为候选预测信号的组合。选择出的候选预测信号的组合(经由线L231b取得)作为候选预测信号的组合信息，经由线L203输出到预测区域取得器204。

这样，根据本实施方式，针对每个对象块，能够没有附加信息地从多个候选预测信号中选择在预测信号的生成中有效的候选预测信号的组合。

图5是示出利用本实施方式的模板匹配器201针对对象区域(对象块)的像素信号(对象像素信号)探索多个(M个)候选预测信号、并取得用于访问所探索到的候选预测信号的坐标信息的方法的流程图。首先，在对象邻接区域取得器211中，从帧存储器104中取得针对对象块的对象邻接区域(模板信号)(S502)。

接着，模板匹配器201将用于选择M个候选预测信号的阈值初始化为充分大的值(S503)。在预测邻接区域取得器212中，求出对象邻接区域和与探索区域内的对象邻接区域相同形状的像素组的差分绝对值和(SAD)(S504)。通过模板匹配器201内的比较器213对SAD和阈值进行比较(S505)，在判断为SAD值小于阈值的情况下，进入S506，在判断为SAD值大于等于阈值的情况下，进入S508。

在模板匹配器201内的比较器213中，对所求出的SAD和以前的SAD进行比较，在以从小到大的顺序在第M之前包含所求出的SAD时，在候选预测信号(和预测邻接区域的像素信号)中追加探索到的像素组，更新候选信号。在本实施方式中，除了候选预测信号(和预测邻接区域的像素信号)以外，还根据开关214的切换控制，在坐标信息用存储器202中存储用于访问候选预测信号(和预测邻接区域的像素信号)的时空间的坐标信息(空间位置和包含有探索到的像素组的画面的识别编号)，由此更新坐标信息(S506)。同时，模板匹配器201将阈值更新为第M小的SAD的值(S507)。

然后，通过预测邻接区域取得器212确认探索区域是否全部已探索(S508)。在判断为不是全部已探索的情况下，返回S504，通过预测邻接区域取得器212，求出对象邻接区域和与探索区域内的对象邻接区域相同形状的下一像素组的差分绝对值和(SAD)。

在全部已探索的时点，一个对象块的模板匹配处理结束(S509)。

这样，通过模板匹配器201的处理，能够确定包含与对象邻接区域中的像素信号的相关高的像素信号在内的上位M个预测邻接区域。

接着，使用附图说明候选预测信号的组合决定器203的处理。图6是示出本实施方式的候选预测信号的组合决定器203中的、利用多个候选预测信号的平滑化(加权平均)来选择适于生成预测信号的N个候选预测信号的组合的方法的流程图。首先，组合决定器203的组合设定器231将候选预测信号的数量N设定为1(S602)。接着，在对象邻接区域取得器233中，从帧存储器104中取得针对对象块的对象邻接区域(模板信号)(S603)。

然后，利用预测邻接区域取得器232经由线L104取得属于由组合设定器231设定的组合的N个预测邻接区域。即，预测邻接区域取得器232从坐标信息用存储器202中取得与针对对象块的对象邻接区域的邻接像素信号和与位于参照图像上的探索区域内的对象邻接区域相同形状的区域(预测邻接区域的候选)的像素信号的差分值即SAD小的N个预测邻接区域对应的坐标信息。然后，从帧存储器104中取得与所取得的坐标信息对应的N个预测邻接区域(S604)。

然后，在加权器234和加法器235中，通过N个预测邻接区域的像素信号的平均化(也可以是加权平均)生成比较信号(S605)，利用比较/选择器236计算所生成的比较信号和邻接像素信号的差分值即SAD(S606)。同时，在比较/选择器236中，将计算出的SAD与此前最小的SAD进行比较(S607)，在判断为SAD是最小值的情况下，进入S608，在判断为SAD不是最小值的情况下，进入S609。另外，在S607中，在计算出的SAD和此前最小的SAD相同的情况下，进入S609，但是也可以进入S608。

在计算出的SAD是此前最小的SAD的情况下，利用比较/选择器236存储在S604中取得的坐标信息的组合(S608)。

这里，组合决定器203将N的值更新为2倍(S609)。然后，比较更新后的N和M的大小(S610)，在更新后的N的值小于M的情况下，返回S604。在更新后的N的值大于M的情况下，将在S608中存储的坐标信息的组合决定为候选预测信号的组合，结束候选预测信号的组合选择处理(S611)。

这样，通过利用本实施方式的候选预测信号的组合处理，能够针对各对象块决定适当的候选预测信号的平滑化的强度、即平均化的预测候选信号的数量。换言之，确定对与邻接像素信号之间的差分值即SAD小的N个预测邻接区域的像素信号进行平均化后的比较信号和邻接像素信号之间的差分SAD最小的N，由此，能够从探索到的M个候选预测信号中，没有附加信息地选别适于生成预测信号的候选预测信号。

另外，使N的值为2的乘数是因为考虑了仅利用加法和位移运算来进行信号的平均化处理。在本实施方式中，N的值不限于2的乘数。并且，设定多个预测邻接区域的组合的方法不限于图6的方法。1个组合中包含的预测邻接区域的数量可以从1～M个中任意设定。例如，在制作由小于M的N个预测邻接区域构成的组合的情况下，能够从M个中选择N个来设定全部组合。此时，N的值可以是固定的，也可以在1～M之间选择2个以上来设定组合。并且，为了使编码器和解码器自动选择相同的预测邻接区域的组合，需要使两者的组合的设定方法一致。

图7是示出本实施方式的利用多个候选预测信号的平滑化(加权平均)来生成预测信号的方法的流程图。

在预测区域取得器204中，根据选择出的坐标信息，从帧存储器104中取得1个以上的与对象块对应的候选预测信号(S702)。然后，在加权器205和加法器206中，对所取得的候选预测信号进行加权平均，由此生成对象块的预测信号(S703)。由此，针对一个对象块的处理结束(S704)。

图8是示出本实施方式的图像预测编码装置100中的图像预测编码方法的流程图。首先，利用图2的预测信号生成器103，生成对象块的预测信号(S102)。接着，通过转换器106、量子化器107和熵编码器111对表示对象块的信号和对象块的预测信号的差分的残差信号进行编码(S103)。然后，经由输出端子112输出编码后的残差信号(S104)。

然后，为了对后续的对象块进行预测编码，通过逆量子化器108和逆转换器109对编码后的残差信号进行解码。然后，通过加法器110在解码后的残差信号中加上预测信号，再现对象块的信号，在帧存储器104中存储为参照图像(S105)。然后，在全部对象块的处理未完成的情况下(S106)，返回S102，进行针对下一对象块的处理，在完成的情况下，结束处理(S107)。

如以上说明的那样，在本实施方式的图像预测编码装置100中，不使用附加信息，就能够得到使用多个预测信号进行平滑化后的预测信号。

接着，说明本实施方式的图像预测解码方法。图9是示出本实施方式的图像预测解码装置300的框图。该图像预测解码装置300具有：输入端子301、熵解码器302(数据解码单元)、逆量子化器303(残差信号复原单元)、逆转换器304(残差信号复原单元)、加法器305(再现图像信号生成单元)、输出端子306、帧存储器307以及预测信号生成器308(预测信号生成单元)。基于逆量子化器303和逆转换器304的残差信号复原单元也可以使用除此之外的部件。并且，也可以没有逆转换器304。下面，说明各结构。

输入端子301输入利用上述图像预测编码方法压缩编码后的压缩数据。在该压缩数据中包含有预测将图像分割为多个块后的对象块并进行了编码的残差信号。

熵解码器302对由输入端子301输入的压缩数据进行熵解码，由此，对对象块的残差信号的编码数据进行解码。

逆量子化器303经由线L302输入解码后的对象块的残差信号，并进行逆量子化。逆转换器304对逆量子化后的数据进行逆离散余弦转换。逆量子化器303和逆转换器304分别输出进行逆量子化和逆离散余弦转换而得到的信号，作为差分信号(再现残差信号)。

预测信号生成器308基本上具有与图2所示的结构相同的结构或与其相当的功能，通过与图2的预测信号生成器103相同的处理来生成预测信号。预测信号生成器308仅根据存储在帧存储器307中的已再现信号来生成预测信号，所以，利用相同方法来管理针对帧存储器307和图1的帧存储器104的输入数据，由此，能够生成与图1的预测信号生成器103相同的预测信号。该预测信号生成器308的详细结构已经在图2中进行了说明，因而省略。这样动作的预测信号生成器308经由线L308向加法器305输出所生成的预测信号。

加法器305在通过逆量子化器303和逆转换器304复原的差分信号(再现残差信号)中加上由预测信号生成器308生成的预测信号，经由线L305向输出端子306和帧存储器307输出对象块的再现图像信号。然后，输出端子306向外部(例如显示器)输出。

作为用于下一解码处理的参照用的再现图像，帧存储器307存储从加法器305输出的再现图像作为参照图像。此时，利用与图1的图像预测编码装置100相同的方法来管理再现图像。

接着，使用图10说明本实施方式的图像预测解码装置300的图像预测解码方法。首先，经由输入端子301输入被压缩的压缩数据(S302)。然后，在熵解码器302中，对压缩数据进行熵解码，提取量子化后的转换系数(S303)。这里，利用预测信号生成器308生成预测信号(S304)。S304的处理基本上与图8的处理S102相同，实施图5～7的处理。

另一方面，在逆量子化器303中，使用量子化参数对量子化后的转换系数进行逆量子化，在逆转换器304中进行逆转换，生成再现差分信号(S305)。然后，对所生成的预测信号和再现差分信号进行相加，生成再现信号，为了再现下一对象块，将再现信号存储在帧存储器中(S306)。在存在下一压缩数据的情况下，再次重复该处理(S307)，直到最后对全部数据进行了处理(S308)。另外，也可以根据需要返回S302，取入压缩数据。

能够将本实施方式的图像预测编码方法和图像预测解码方法作为程序存储在记录介质中来提供。作为记录介质，可以例示软盘(注册商标)、CD-ROM、DVD、或者ROM等记录介质、或者半导体存储器等。

图11是示出能够执行图像预测编码方法的程序的模块的框图。图像预测编码程序P100构成为包含：块分割模块P102、预测信号生成模块P103、存储模块P104、减法模块P105、转换模块P106、量子化模块P107、逆量子化模块P108、逆转换模块P109、加法模块P110以及熵编码模块P111。另外，如图12所示，预测信号生成模块P103构成为包含：模板匹配模块P201、候选预测信号的组合决定模块P202以及预测信号合成模块P203。

通过执行上述各模块而实现的功能与上述图像预测编码装置100的各结构要素相同。即，图像预测编码程序P100的各模块的功能与块分割器102、预测信号生成器103、帧存储器104、减法器105、转换器106、量子化器107、逆量子化器108、逆转换器109、加法器110以及熵编码器111的功能相同，预测信号生成模块P103的各模块的功能与模板匹配器201、候选预测信号的组合决定器203、用于信号合成的预测区域取得器204～加法器206的功能相同。

并且，图13是示出能够执行图像预测解码方法的程序的模块的框图。图像预测解码程序P300构成为包含：熵解码模块P302、逆量子化模块P303、逆转换模块P304、加法模块P305、存储模块P307以及预测信号生成模块P308。

通过执行上述各模块而实现的功能与上述图像预测解码装置300的各结构要素相同。即，图像预测解码程序P300的各模块的功能与熵解码器302、逆量子化器303、逆转换器304、加法器305以及帧存储器307的功能相同。另外，预测信号生成模块P308具有与图像预测编码程序P100中的预测信号生成模块P103相同的功能，具有模板匹配器201、候选预测信号的组合决定器203、用于信号合成的预测区域取得器204～加法器206的功能。

这样构成的图像预测编码程序P100或图像预测解码程序P300存储在记录介质10中，由后述的计算机来执行。

图16是示出用于执行记录在记录介质中的程序的计算机的硬件结构的图，图17是用于执行存储在记录介质中的程序的计算机的立体图。作为计算机，包含具有CPU并进行基于软件的处理和控制的DVD播放器、机顶盒、便携电话等。

如图16所示，计算机30具有：软盘驱动装置(FLOPPY为注册商标)、CD-ROM驱动装置、DVD驱动装置等读取装置12；使操作系统常驻的作业用存储器(RAM)14；存储在记录介质10中存储的程序的存储器16；被称为显示器的显示装置18；作为输入装置的鼠标20和键盘22；用于进行数据等的收发的通信装置24；以及控制程序的执行的CPU26。在将记录介质10插入到读取装置12中时，计算机30能够从读取装置12访问存储在记录介质10中的图像预测编码程序P100或图像预测解码程序P300，能够通过图像预测编码程序P100或图像预测解码程序P300，作为本实施方式的图像预测编码装置100或图像预测解码装置300来动作。

如图17所示，图像预测编码程序P100或图像预测解码程序P300也可以作为载波中重叠的计算机数据信号40而经由网络提供。在该情况下，计算机30将通过通信装置24接收到的图像预测编码程序P100或图像预测解码程序P300存储在存储器16中，从而能够执行该图像预测编码程序P100或图像预测解码程序P300。

此前说明的本实施方式可以如下变形。在图2的候选预测信号的组合决定器203中，计算与对对象块的对象邻接区域的像素信号和多个邻接预测区域的像素信号进行加权平均后的比较信号之间的差分值即SAD(绝对误差值的和)，来决定最佳的候选预测信号的组合，但是，不使用SAD，使用差分信号的平方误差的和(SSD)或方差(VAR)，也能够决定组合。3个评价基准的运算量按照SAD、SSD、VAR的顺序增加，但是，评价的精度提高，得到能够减少误差信号的编码量这样的效果。

并且，在得到多个对象邻接信号和比较信号的差分值即SAD为相同值的组合时，使用SSD和VAR来决定最终的组合的方法也是有效的。即，在预测邻接区域取得器232中计算出的SAD与此前计算出的最小值一致的情况下，比较/选择器236进一步将SSD或VAR作为比较对象，比较哪个值小。这里，将判断为SSD或VAR小的组合作为具有最小值的组合存储在比较/选择器236中。该情况下，比较/选择器236与SAD一起计算SSD或VAR，并临时存储。

进而，也可以是如下方法：不是邻接预测区域的像素信号，而针对多个候选预测信号的组合来计算其方差，并用于组合的决定。具体而言，能够通过将图2的预测邻接区域取得器232、加权器234、加法器235分别置换为预测区域取得器204、加权器205、加法器206来实现。该变形例不需要对象邻接区域取得器233的处理，并且，能够从比较/选择器236向图1的减法器105输出预测信号，所以，具有能够缩减电路规模的效果。

在模板匹配器201的比较器213中，在对象块的对象邻接区域和与探索到的对象邻接区域相同形状的像素组的评价中使用差分值即SAD，但是，也可以用SSD或VAR代替，能够期待与上述候选预测信号的组合决定器203的情况相同的效果。

图1的预测信号生成器103(图9的预测信号生成器308)不限于图2的结构。例如，在图2中，将用于访问由模板匹配器检索到的多个候选预测信号的坐标信息存储在坐标信息用存储器202中，但是，也可以构成为预先存储候选预测信号和预测邻接区域的像素信号。虽然图2内的存储量增加，但是，具有减少针对帧存储器的访问的效果。并且，模板匹配器201经由线L201b向候选预测信号的组合决定器203输出对象邻接区域和M个预测邻接区域之间的差分值即SAD，但是，在组合的设定中不使用它们的差分值即SAD的情况下，不需要线L201b。

在本实施方式中，利用已再现像素构成对象邻接区域，但是，也可以利用邻接块的预测信号构成。在希望使预测区域比误差信号的编码块单位小的情况下、或者希望不进行编码/解码处理而生成对象邻接区域的信号的情况下，是有效的。

本实施方式能够应用于如下手法：利用模板匹配来探索不确定的数量的候选信号，并选择适当数量的候选信号。

<第2实施方式>

在第1实施方式中，示出了如下方法：利用预测邻接区域和对象邻接区域之间的相关，从多个候选中决定用于生成对象区域的预测信号的候选预测信号(预测区域的像素信号)的组合。在第2实施方式中，示出如下的预测信号生成器103a：利用多个候选预测信号之间的相关，从多个候选中决定用于生成对象区域的预测信号的候选预测信号的组合。另外，在第2实施方式中，不是说明决定候选预测信号的组合的方法，而是说明决定候选预测信号的数量的方法。该实施方式示出根据候选预测信号的数量来唯一决定候选预测信号的组合的情况，只不过是候选预测信号的组合的一例。第2实施方式与第1实施方式相同，能够应用于从多个候选预测信号的组合的候选中决定1个组合的方法。

接着，参照变形后的附图说明本发明的第2实施方式。省略说明与第1实施方式重复的附图和说明。

说明第2实施方式的预测信号生成器103a的处理。另外，在图像预测解码装置300中应用的预测信号生成器308a与预测信号生成器103a结构相同并进行相同的处理。并且，关于图1的图像预测编码装置100和图9的图像预测解码装置300，预测信号生成器103a和308a内的动作与第1实施方式不同，但是，信号的输入输出关系与第1实施方式相同，省略说明。图18是示出在本实施方式的图像预测编码装置100中使用的预测信号生成器103a的框图，其构成为包含：模板匹配器201、坐标信息用存储器202、平均化数量决定器1800、预测区域取得器204、加权器205以及加法器206。

模板匹配器201的处理与图2相同。即，经由线L104从帧存储器104输入在过去的处理中已再现的图像信号(再现图像信号)，通过后述的模板匹配，针对对象区域的对象像素信号探索多个预测信号的候选(候选预测信号)，经由线L201a向坐标信息用存储器202输出用于访问探索到的候选预测信号的坐标信息。同时，经由线L201b向平均化数量决定器1800输出表示对象区域和各候选预测信号之间的关系的差分值数据(相当于后述的绝对误差值的和(SAD(sumof absolute difference)))。另外，在本实施方式中，与第1实施方式相同，使对象区域(对象块)成为对由8×8的像素构成的编码对象块进行分割后的4×4像素的小块，但是，也可以分割为除此之外的块的大小或形状，也可以不分割。

在平均化数量决定器1800中，根据经由线L202a输入的用于访问多个候选预测信号的坐标信息，取得多个候选预测信号，考虑它们的相关，决定在生成对象区域的预测信号中使用的候选预测信号的数量。决定后的候选预测信号的数量作为候选预测信号的平均化数量信息，经由线L203输出到预测区域取得器204。

预测区域取得器204根据经由线L203输入的候选预测信号的平均化数量信息，经由线L202b取得由平均化数量决定器1800决定的数量的候选预测信号的坐标信息。然后，预测区域取得器204经由线L104从帧存储器104中取得与所取得的坐标信息对应的候选预测信号，随时输出到加权器205。加权器205使经由线L204输入的各候选预测信号乘以权重系数，经由线L205输出到加法器206。加法器206依次将加权后的候选预测信号相加，作为预测信号经由线L103输出到图1的减法器105。另外，关于加权器的动作，例如存在候选预测信号的数量为N时使各候选预测信号乘以1/N的手法等，但是，也可以是其他手法。

图18中的模板匹配器201的动作与图2相同，所以省略详细说明，但是，从帧存储器104内的探索区域中，探索与对象邻接区域的像素信号(邻接像素信号)之间的SAD小的M个预测邻接区域，经由线L201向坐标信息用存储器202输出用于访问该M个预测邻接区域(和预测区域)的信息即坐标信息。并且，经由线L201b向平均化数量决定器1800输出计算出的M个SAD值。

接着，说明与候选预测信号有关的平均化数量决定器1800的动作。平均化数量决定器1800构成为包含：计数器1801、代表预测区域取得器1802、预测区域间的相关评价值计算器1803以及阈值处理器1804。

计数器1801根据经由线L201b输入的M，设定平均化数量的候选N。在本实施方式中，设N的最大值为M，减小N直到N＝2。在M＝6的情况下，按照6、5、4、3、2的顺序，经由线L1801向代表预测区域取得器1802和阈值处理器1804输出N的值。另外，计数器1801中的N的值不限于上述。例如，也可以设N的值为小于M的2的乘数，在M＝6时，按照4、2的顺序从计数器输出N的值，也可以像N＝4那样将N的值限定为1个。但是，为了使作为编码器的图像预测编码装置100和作为解码器的后述的图像预测解码装置300自动选择相同的预测邻接区域的组合，需要使两者的组合的设定方法一致。

代表预测区域取得器1802被输入1个N的值的候选时，经由线L202a从坐标信息用存储器202中取得用于访问由模板匹配器201探索到的M个预测区域中、预测邻接区域的像素信号和对象邻接区域的像素信号(邻接像素信号)之间的SAD小的N个预测区域的坐标信息。接着，使用该坐标信息，从帧存储器104中取得预先确定的预测区域的像素信号。在本实施方式中，取得预测邻接区域的像素信号和对象邻接区域的像素信号(邻接像素信号)之间的SAD最小的预测区域的像素信号p₀(i，j)、以及第N小的预测区域的像素信号p_N-1(i，j)，并经由线L1802输出到预测区域间的相关评价值计算器1803。这里，(i，j)表示预测区域内的像素位置。i，j是0～B-1的范围内的值，在对象区域为4×4的情况下，B＝4。

预测区域间的相关评价值计算器1803经由线L1802被输入2个预测区域的像素信号(候选预测信号)后，根据下述式(1)，计算针对N值的预测区域间的相关评价值EV_N，并经由线L1803输出到阈值处理器1804。

[数式1]

阈值处理器1804经由线L1803被输入针对N值的预测区域间的相关评价值后，比较该相关评价值EV_N和预先确定的阈值th(N)。在本实施方式中，th(N)的值与N的值无关而设为32。在针对N的相关评价值小于预先确定的阈值th(N)的情况下，将候选预测信号的平均化数量AN决定为N，将N的值作为候选预测信号的平均化数量信息，经由线L203输出到预测区域取得器204。在针对N的相关评价值大于预先确定的阈值th(N)的情况下，经由线L1804通知给计数器1801，以将N的值更新为小值。但是，在N的值为2的情况下，将AN的值决定为1，作为候选预测信号的平均化数量信息，经由线L203输出到预测区域取得器204。另外，在计数器1801的输出值为固定值的平均化数量决定器中，即使在针对N的相关评价值EV_N大于预先确定的阈值th(N)的情况下，也不更新N的值，将AN的值决定为预先确定的默认值(例如1)，作为候选预测信号的平均化数量信息，经由线L203输出到预测区域取得器204。

这样，根据本实施方式，能够针对每个对象区域(对象块)，没有附加信息地选择在预测信号生成中有效的候选预测信号的数量。基于多个候选预测信号的平均化的噪声去除，在仅候选预测信号的噪声成分不同而信号成分类似的情况下是有效的。在本发明中，通过评价候选预测信号间的类似度，在预测信号的生成中，能够针对每个对象区域决定候选预测信号的数量。

另外，计算预测区域间的相关评价值EV_N的方法不限于式(1)。例如，也可以使用以下的式(2)或式(3)，相互评价N个候选预测信号间的差分值，将其相加值作为相关评价值。但是，该情况下，代表预测区域取得器1802需要从帧存储器104中取得N个候选预测信号。

[数式2]

[数式3]

并且，阈值th(N)也不限于32。例如，如果对象区域内的像素数变化，则需要变更该阈值。进而，在使用式(2)或式(3)计算预测区域间的相关评价值的情况下，需要根据N的值来适当地改变th(N)。

th(N)的值需要在编码器和解码器中为相同的值。可以预先确定，但是，也可以考虑利用顺序单位或帧单位或薄片(由多个块构成)单位进行编码并发送到解码器的方法。并且，也可以利用块单位进行发送。

接着，使用附图说明候选预测信号的平均化数量决定器1800的处理。本实施方式的模板匹配器201的处理已经在图5中进行了说明，所以省略说明，但是，图5是示出如下方法的流程图：在对象区域(对象块)中探索针对像素信号(对象像素信号)的多个(M个)候选预测信号(和预测邻接区域的像素信号)、并取得用于访问探索到的候选预测信号(和预测邻接区域的像素信号)的坐标信息；并进行如下处理：从参照图像上的探索区域中，探索和与对象区域邻接的对象邻接区域的邻接像素信号的SAD小的M个预测邻接区域的像素信号。

接着，使用附图说明与候选预测信号有关的平均化数量决定器1800的处理。图19是示出本实施方式的平均化数量决定器1800中的通过候选预测信号的平滑化(加权平均)来选择适于生成预测信号的候选预测信号的数量的方法的流程图。首先，平均化数量决定器1800的计数器1801将候选预测信号的数量N设定为M(S1902)。

接着，利用代表预测区域取得器1802经由线L104取得由计数器1801设定的N个预测区域的像素信号(候选预测信号)。即，代表预测区域取得器1802针对和与该对象块邻接的对象邻接区域的邻接像素信号的绝对值差分和(SAD)小的N个预测邻接区域，从坐标信息用存储器202中取得对应的坐标信息。然后，从帧存储器104中取得与所取得的坐标信息对应的N个预测区域(S1903)。

然后，预测区域间的相关评价值计算器1803根据式(1)计算N个预测区域间的相关评价值EV_N。另外，在式(1)中，在EV_N的计算中仅使用2个预测区域的像素信号，所以，该情况下，在处理S1903中取得的预测区域仅是2个即可。

然后，利用阈值处理器1804比较EV_N和预先确定的阈值th(N)(本实施方式中为32)(S1905)，在EV_N小于th(N)的情况下，将候选预测信号的平均化数量AN决定为N(S1906)，结束处理(S1910)。在EV_N大于th(N)的情况下，进入S1907。另外，在S1905中EV_N和th(N)相同的情况下，可以进入S1907，但是也可以进入S1906。在S1907中，计数器1801更新N的值(S1907)。此时，在N的值为1的情况下(S1908)，平均化数量决定器1800将AN决定为1(S1909)，结束处理。在N的值为2以上的情况下，返回S1904。另外，平均化数量决定器1800在将N的候选固定为1个的情况下，在S1902中将其固定值设定为N，省略S1907和S1908。

这样，根据本实施方式的平均化数量决定处理，能够针对每个对象区域(对象块)，没有附加信息地选择在预测信号生成中有效的候选预测信号的数量。基于多个候选预测信号的平均化的噪声去除，在仅候选预测信号的噪声成分不同而信号成分类似的情况下是有效的。在本发明中，通过评价候选预测信号间的类似度，在预测信号的生成中，能够针对每个对象区域决定候选预测信号的数量。

另外，计算预测区域间的相关评价值的方法不限于式(1)。例如，也可以使用式(2)或式(3)，相互评价N个候选预测信号间的差分值，将其相加值作为相关评价值。但是，该情况下，代表预测区域取得器1802需要从帧存储器104中取得N个候选预测信号。

并且，阈值th(N)也不限于32。例如，如果对象区域内的像素数变化，则需要变更该阈值。进而，在使用式(2)或式(3)计算预测区域间的相关评价值的情况下，需要根据N的值来适当地改变th(N)。

th(N)的值需要在编码器和解码器中为相同的值。可以预先确定，但是，也可以考虑利用顺序单位或帧单位进行编码并发送的方法。

在本实施方式中，在M＝6的情况下，设N的候选为6、5、4、3、2，但是不限于该设定。例如，N的值的候选也可以是2的乘数即4和2。通过在S1902中将N的值设定4、将S1907变更为将N的值减半的处理(N＝N/2)，由此能够实现该处理(M＝6的情况)。但是，在编码处理和解码处理中，需要使N的候选的设定方法一致。

图20是示出本实施方式的利用多个候选预测信号的平滑化(加权平均)来生成预测信号的方法的流程图。

在预测区域取得器204中，根据选择出的坐标信息和候选预测信号的平均化数量信息，从帧存储器104中取得AN个与对象块对应的候选预测信号(S2002)。然后，在加权器205和加法器206中，对所取得的候选预测信号进行加权平均，由此生成对象块的预测信号(S2003)。由此，针对一个对象块的处理结束(S2004)。

第2本实施方式的图像预测编码装置100中的图像预测编码方法和图像预测解码方法与图8和图9所示的流程图以及处理过程相同，所以省略说明。

能够将该第2实施方式的图像预测编码方法和图像预测解码方法作为程序存储在记录介质中来提供。作为记录介质，可以例示软盘(注册商标)、CD-ROM、DVD、或者ROM等记录介质、或者半导体存储器等。能够执行图像预测编码方法的程序的模块和能够执行图像预测解码方法的程序的模块的结构与图11和图13所示的框图相同，所以省略说明。另外，如图21所示，预测信号生成模块P103构成为包含：模板匹配模块P201、平均化信号数量决定模块P2102以及预测信号合成模块P203。用于执行记录在记录介质中的程序的硬件和计算机也在图16和图17中进行了说明，所以省略说明。

此前说明的实施方式可以如下变形。

在上述中，利用预测区域的像素信号(候选预测信号)来计算在候选预测信号的组合的决定中使用的相关评价值，但是，代替预测区域，也可以使用与预测区域邻接的预测邻接区域的像素信号，来计算相关评价值。进而，也可以使用合并预测区域和预测邻接区域后的区域的像素信号(例如图3中的由预测邻接区域404b和预测区域405b构成的区域)，来计算相关评价值。

在上述中，利用平均化数量决定器和平均化数量决定处理来决定AN的值，但是，也可以是如下组合：仅针对1个或2、3个N的候选进行本发明的阈值处理，在预测区域的相关评价值EV大于阈值的情况下，利用其他方法来决定AN。例如，考虑如下方法：针对1个N的候选，计算EV_N并进行第2实施方式中的阈值处理，在EV_N小于th(N)的情况下，设AN＝N，在EV_N大于th(N)的情况下，应用第1实施方式中的候选预测信号的组合决定处理，来决定AN的值。即，考虑如下方法：针对多个AN的候选n，将对n个预测邻接区域的像素信号进行平均化后的比较信号和邻接像素信号之间的差分SAD最小的n作为AN。

在图2的平均化数量决定器1800中，使用预测区域的像素信号(候选预测信号)之间的SAD(绝对误差值的和)，来计算预测区域的相关评价值，但是，也可以不使用SAD，而使用差分信号的平方误差的和(SSD)或方差(VAR)。3个评价基准的运算量按照SAD、SSD、VAR的顺序增加，但是，另一方面，评价的精度提高，得到能够减少误差信号的编码量这样的效果。并且，也可以不使用SAD或SSD，而使用绝对值误差平均(MAD)或平均平方误差(MSE)。

第1实施方式中与模板匹配有关的变形例也适用于第2实施方式。

<第3实施方式>

在第1和第2实施方式中，以根据多个候选预测信号生成对象区域的预测信号时的加权平均是预先确定的一个手法为前提进行了说明。但是，如果利用本发明的第1实施方式中的候选预测信号的组合选择手法，则能够没有附加信息地针对每一个适当的对象区域从准备的多个权重系数中进行选择。考虑在此前的说明中使用的附图的变形和以下的记述，能够理解该实施方式。接着，参照变形后的附图说明本发明的第3实施方式。省略说明与第1实施方式重复的附图和说明。

说明第3实施方式的预测信号生成器103b的处理。另外，在图像预测解码装置300中应用的预测信号生成器308b与预测信号生成器103b结构相同并进行相同的处理。并且，关于图1的图像预测编码装置100和图9的图像预测解码装置300，预测信号生成器103b和308b内的动作与第1实施方式不同，但是，信号的输入输出关系与第1实施方式相同，省略说明。图22是示出在本实施方式的图像预测编码装置100中使用的预测信号生成器103b的框图，其构成为包含：模板匹配器201、坐标信息用存储器202、候选预测信号的组合决定器2200、预测区域取得器204以及加权平均化器2204。

模板匹配器201的处理与图2相同。即，经由线L104从帧存储器104输入在过去的处理中已再现的图像信号(再现图像信号)，通过后述的模板匹配，针对对象区域的对象像素信号探索多个预测信号的候选(候选预测信号)，经由线L201a向坐标信息用存储器202输出用于访问探索到的候选预测信号的坐标信息。同时，经由线L201b向候选预测信号的组合决定器2200输出表示对象区域和各候选预测信号之间的关系的差分值数据(相当于后述的绝对误差值的和(SAD(sumof absolute difference)))。另外，在本实施方式中，与第1实施方式相同，使对象区域(对象块)成为对由8×8的像素构成的编码对象块进行分割后的4×4像素的小块，但是，也可以分割为除此之外的块的大小或形状，也可以不分割。

在候选预测信号的组合决定器2200中，利用经由线L201b输入的差分值数据，设定多个候选预测信号的组合。进而，利用相同的差分值数据，设定多个对候选预测信号进行加权平均时的权重系数。然后，根据经由线L202a从坐标信息用存储器202输入的坐标信息，使用经由线L104从帧存储器输入的像素信号，决定候选预测信号的组合和对这些候选预测信号进行加权平均时的权重系数的组(候选预测信号的权重系数信息)，候选预测信号的组合信息经由线L203输出到预测区域取得器204，候选预测信号的权重系数信息经由线L2203输出到加权平均化器2204。

预测区域取得器204根据经由线L203输入的候选预测信号的组合信息，经由线L202b取得属于该组合的候选预测信号的坐标信息。然后，预测区域取得器204经由线L104从帧存储器104中取得与所取得的坐标信息对应的候选预测信号，随时输出到加权平均化器2204。加权平均化器2204使经由线L204输入的各候选预测信号乘以经由线L2203输入的权重系数，依次相加并计算加权加法值。同时，加权平均化器2204将经由L2203输入的权重系数相加。然后，利用权重系数的加法值去除加权加法值，作为对象区域的预测信号经由线L103输出到图1的减法器105。

式(4)对通过预测区域取得器204和加权平均化器2204实施的对象区域的预测信号Pb(i，j)的生成步骤进行整理。这里，(i，j)表示对象区域中的各像素的坐标。

[数式4]

P_b(i，j)＝(w₀×p₀(i，j)+w₁×p₁(i，j)+...+w_N-1×p_N-1(i，j))/(w₀+w₁+...+w_N-1) ...(4)

在式(4)中，N表示经由线L203输入到预测区域取得器204的候选预测信号的组合信息，预测区域取得器204从帧存储器104中取得N个候选预测信号P_n(i，j)(n＝0～N-1)。w_n表示经由线L2203输入到加权平均化器2204的权重系数的组(N个)。利用加权平均化器2204将第n个权重系数w_n与第n个候选预测信号P_n(i，j)内的各像素相乘，对加权后的N个候选预测信号的各像素进行累积相加。利用权重系数的加法值去除这样加权相加后的候选预测信号的加权加法值，计算各像素的预测信号Pb(i，j)。

图22中的模板匹配器201的动作与图2相同，所以省略详细说明，但是，从帧存储器104内的探索区域内，探索与对象邻接区域的像素信号(邻接像素信号)之间的SAD小的M个预测邻接区域，经由线L202a向坐标信息用存储器202输出用于访问该M个预测邻接区域(和预测区域)的信息即坐标信息。并且，经由线L201b向候选预测信号的组合决定器2200输出计算出的M个SAD值。

接着，说明候选预测信号的组合决定器2200的动作。候选预测信号的组合决定器203构成为包含：组合设定器231、权重系数设定器2201、预测邻接区域取得器232、对象邻接区域取得器233、加权平均化器2202以及比较/选择器2203。

在第3实施方式中，在生成对象区域的预测信号时，进行候选预测信号的组合和加权平均化，所以，首先，组合设定器231和权重系数设定器2201动作。

组合设定器231根据经由线L201b输入的M个SAD，设定多个预测邻接区域的组合。在本实施方式中，将所输入的SAD小的N个预测邻接区域设定为1个组合。设定后的组合经由线L231分别输出到预测邻接区域取得器232、比较/选择器2203以及权重系数设定器2201。N的值是小于M的2的乘数，当M＝6时，制作N＝1、2、4这3个组合。另外，M的值和N的值以及N个预测信号区域的组合不限于此。1个组合中包含的预测邻接区域的数量可以从1～M个中任意设定。例如，在制作由小于M的N个预测邻接区域构成的组合的情况下，能够从M个中选择N个来设定全部组合。此时，N的值可以是固定的，也可以在1～M之间选择2个以上来设定组合。并且，只要组合的数量为1个以上，则其数量没有限定。但是，为了使作为编码器的图像预测编码装置100和作为解码器的后述的图像预测解码装置300自动选择相同的预测邻接区域的组合，需要使两者的组合的设定方法一致。

权重系数设定器2201根据从线L231输入的预测邻接区域的组合信息、以及对象邻接区域和N个预测邻接区域的像素信号之间的SAD，设定多个用于对N个预测邻接区域的像素信号进行加权平均的加权系数的组的候选。在本实施方式中，作为权重系数的组的候选，准备4种。下面，q、n表示针对第n个(n＝0～N-1)预测邻接区域的像素信号的类型q(q＝1-4)的权重系数。

(1)q＝1、式(6)，将N个权重系数分别设定为1/N

[数式6]

w_1，n＝1/N ...(6)

(2)q＝2、式(8)，根据对象邻接区域t(r)(r是对象邻接区域内的R个像素的位置)和N个预测邻接区域s_n(r)(n＝0～N-1)之间的SAD(LSAD_n、式(7))进行计算。

[数式7]

[数式8]

w_2，n＝(LSAD₀+LSAD₁+...+LSAD_N)/LSAD_n ...(8)

(3)q＝3、式(9)，对SAD值小的预测邻接区域的像素信号分配值大的权重系数。

[数式9]

w_3，n＝N-n ...(9)

(4)q＝4，根据图26所示的对应表，根据LSAD₀和LSAD_n(n＝0～N-1)的关系设定w_n的值。

图26是示出根据对象邻接区域的像素信号和预测邻接区域的像素信号之间的差分值来设定权重系数的组的对应表的说明图。LSAD_n表示对象邻接区域t(r)(r是对象邻接区域内的R个像素的位置)和N个预测邻接区域s_n(r)(n＝0～N-1)之间的SAD，LSAD₀表示n为0时的SAD。通过使用图26所示的对应表，从而根据各个SAD唯一确定加权系数。例如，在LSAD_n为6、LSAD₀为17的情况下，加权系数被确定为6。

另外，权重系数的组的数量和候选值的设定方法不限于这4种。权重系数的组的数量也可以是1种。使用图26的对应表(表)的方法也不限于该表。不仅是表内的阈值和权重值的设定，也可以制作如下的表：追加编码侧和解码侧能够共用的信息、例如块大小、量子化精度、以及加权平均用的预测邻接区域的数量(N)等作为不同情况下的条件，也可以在这些条件下准备多个不同情况的表。但是，为了使作为编码器的图像预测编码装置100和作为解码器的后述的图像预测解码装置300自动选择相同的权重系数的组，需要使两者的权重系数的组的设定方法一致。

这些设定的权重系数的组经由线L2201分别输出到加权平均化器2202和比较/选择器2203。

预测邻接区域取得器232经由线L231输入1个预测邻接区域的组合信息(N)时，经由线L202a从坐标信息用存储器202中取得针对该组合中包含的N个预测邻接区域的坐标信息。然后，预测邻接区域取得器232经由线L104取得与坐标信息对应的N个预测邻接区域的像素信号，随时输出到加权平均化器2202。

加权平均化器2202使使经由线L232输入的N个预测邻接区域的像素信号与从权重系数设定器2201经由线L2201输入的1个权重系数的组中包含的N个权重系数相乘并累积相加。然后，计算N个权重系数的加法值，用权重系数的加法值去除加权后的预测邻接区域的像素信号的累积相加值，由此，生成用于与对象邻接区域的像素信号(邻接像素信号)进行比较的比较信号。

针对多个权重系数的组分别生成比较信号。即，针对由组合设定器231设定的1个预测邻接区域的组合信息(N)，反复实施加权平均化器2202针对由权重系数设定器2201设定的4种权重系数的组的处理。

使用以下的式(5)说明比较信号的生成手段。

[数式5]

P_q(r)＝(w_q，0×s₀(r)+w_q，1×s₁(r)+…+w_q，N-1×s_N-1(r))/(w_q，0+w_q，1+…+w_q，N-1) ...(5)

式(5)关于针对预测邻接区域的组合信息N准备的类型q的权重系数的组，示出比较信号的生成方法。第1，使第n个预测邻接区域s_n(r)内的R个像素分别乘以类型q的权重系数的组中的第n个权重系数w_q，n。第2，将加权后的N个预测邻接区域w_q，n×s_n(r)相加，利用N个权重系数w_q，n的加法值去除对象邻接区域内的R个各像素。

对象邻接区域取得器233经由线L104从帧存储器104中取得对象邻接区域的像素信号(邻接像素信号)，并输出到比较/选择器2203。

比较/选择器2203经由线L233输入对象邻接区域的像素信号，经由线L2203输入关于针对1个预测邻接区域的组合的多个权重系数的组而生成的多个比较信号。然后，在与多个权重系数的组对应的比较信号和邻接像素信号之间计算SAD，选择其值最小的权重系数的组并临时保存。

针对多个预测邻接区域的组合实施选择该权重系数的组的处理(权重系数设定器、预测邻接区域取得器、加法器、权重除法器、对象邻接区域取得器、比较/选择器针对从组合设定器输出的1个预测邻接区域的组合信息的处理)(预测邻接区域的组合为1个的情况除外)，选择在与邻接像素信号之间计算出的SAD的值最小的预测邻接区域的组合和权重系数的组。选择出的预测邻接区域的组合(经由线L231取得)作为候选预测信号的组合信息，经由线L203输出到预测区域取得器204，选择出的权重系数的组作为候选预测信号的权重系数信息，经由线L2203输出到加权平均化器2204。

这样，根据本实施方式，针对每个对象块，能够没有附加信息地选择在预测信号的生成中有效的候选预测信号的组合和权重系数的组。另外，在预先确定了在预测信号的生成中有效的候选预测信号的组合的情况下选择适当的权重系数的组是有效的。

接着，使用附图说明候选预测信号的组合决定器2200的处理。本实施方式的模板匹配器201的处理已经在图5中进行了说明，所以省略说明，但是，图5是示出如下方法的流程图：在对象区域(对象块)中探索针对像素信号(对象像素信号)的多个(M个)候选预测信号(和预测邻接区域的像素信号)、并取得用于访问探索到的候选预测信号(和预测邻接区域的像素信号)的坐标信息；并进行如下处理：从参照图像上的探索区域中，探索和与对象区域邻接的对象邻接区域的邻接像素信号的SAD小的M个预测邻接区域的像素信号。

图23是示出第3实施方式的候选预测信号的组合决定器2200中的选择适于生成对象区域的预测信号的N个候选预测信号的组合、以及用于对该N个候选预测信号进行加权平均的权重系数的组的方法的流程图。首先，候选预测信号的组合决定器2200的组合设定器231将候选预测信号的数量N设定为1(S602)。接着，在对象邻接区域取得器233中，从帧存储器104中取得针对对象块的对象邻接区域(模板区域)(S603)。

然后，利用预测邻接区域取得器232经由线L104取得属于由组合设定器231设定的组合的N个预测邻接区域。即，预测邻接区域取得器232从坐标信息用存储器202中取得与针对该对象块的对象邻接区域的邻接像素信号和与位于参照图像上的探索区域内的对象邻接区域相同形状的区域(预测邻接区域的候选)的像素信号的差分值即SAD小的N个预测邻接区域对应的坐标信息。然后，从帧存储器104中取得与所取得的坐标信息对应的N个预测邻接区域(S604)。

接着，权重系数设定器2201根据邻接像素信号和N个预测邻接区域之间的SAD，设定多个针对N个预测邻接区域的权重系数的组，候选预测信号的组合决定器2200利用后述(图24的说明)的处理决定针对N个预测邻接区域的权重系数。然后，根据所决定的权重系数，在加权平均化器2202中，通过N个预测邻接区域的像素组的加权平均来生成比较信号(S2301)。

然后，利用比较/选择器2203计算所生成的比较信号和邻接像素信号的差分值即SAD(S606)。同时，在比较/选择器2203中，将计算出的SAD与此前最小的SAD进行比较(S607)，在判断为SAD是最小值的情况下，进入S2302，在判断为SAD不是最小值的情况下，进入S609。另外，在S607中，在计算出的SAD和此前最小的SAD相同的情况下，进入S609，但是也可以进入S2302。

在计算出的SAD是此前最小的SAD的情况下，利用比较/选择器2203存储在S604中取得的坐标信息的组合和在S2301中决定的权重系数的组(S2302)。

这里，组合决定器2200将N的值更新为2倍(S609)。然后，比较更新后的N和M的大小(S610)，在更新后的N的值小于M的情况下，返回S604。在更新后的N的值大于M的情况下，将在S2302中存储的坐标信息的组合决定为候选预测信号的组合。进而，将在S2302中存储的权重系数的组决定为“对候选预测信号进行加权平均时的权重系数”，结束候选预测信号的组合选择处理(S611)。

图24是示出第3实施方式的候选预测信号的组合决定器2200中的选择用于对N个候选预测信号进行加权平均的权重系数的组的方法的流程图。另外，在N的值为1的情况下，候选预测信号的组合决定器2200跳过该处理。

首先，候选预测信号的组合决定器2200针对由模板匹配器201探索到的N个预测邻接区域，取得与对象邻接区域的邻接像素信号之间的SAD(LSAD_n，n＝0～N-1)(S2402)。接着，权重系数设定器2201将权重系数的类型q设定为1(S2403)。此后，权重系数设定器2201根据所设定的类型(q)和N的值，决定权重系数的组(S2404)。另外，在本实施方式中，如下所述，作为权重系数的组的候选，准备4种，但是，权重系数的组的数量和候选值的设定方法不限于这4种。

(1)q＝1、式(6)，将N个权重系数分别设定为1/N。

(2)q＝2、数式8，根据对象邻接区域t(r)(r是对象邻接区域内的R个像素的位置)和N个预测邻接区域s_n(r)(n＝0～N-1)之间的SAD(LSAD_n、式(7))进行计算。

(3)q＝3、式(9)，对SAD值小的对象邻接区域的像素信号分配值大的权重系数。

(4)q＝4，根据图26所示的对应表，根据LSAD₀和LSAD_n(n＝0～N-1)的关系设定w_n的值。

设定权重系数的组后，使用在S604中取得的N个预测邻接区域的像素信号和所设定的权重系数的组，根据式(5)生成比较信号(S2405)。式(5)关于针对预测邻接区域的组合信息N准备的类型q的权重系数的组，示出比较信号的生成方法。第1，使第n个预测邻接区域s_n(r)内的R个像素分别乘以类型q的权重系数的组中的第n个权重系数w_q，n。第2，将加权后的N个预测邻接区域w_q，n×s_n(r)相加，利用N个权重系数w_q，n的加法值去除对象邻接区域内的R个各像素。

然后，利用比较/选择器2203计算所生成的比较信号和在S603中取得的针对对象块的对象邻接区域(模板区域)的邻接像素信号的差分值即SAD(S2406)。同时，在比较/选择器2203中，将计算出的SAD与此前最小的SAD进行比较(S2407)，在判断为SAD是最小值的情况下，进入S2408，在判断为SAD不是最小值的情况下，进入S2409。另外，在S2407中，在计算出的SAD和此前最小的SAD相同的情况下，进入S2409，但是也可以进入S2408。

在计算出的SAD是此前最小的SAD的情况下，将最小值更新为SAD，将针对N个预测邻接区域的权重系数更新为类型q的值(S2408)。

接着，权重系数设定器2201在q的值中补充更新1(S2409)。然后，比较更新后的q和Q(权重系数的组的设定数量，在本实施方式中为4)的大小(S2410)，在更新后的q的值小于Q或与Q相同的情况下，返回S2404。在更新后的q的值大于Q的情况下，将在S2302中存储的权重系数的组决定为针对由组合设定器231设定的预测邻接区域的组合(由N个预测邻接区域的构成)的权重系数的组，结束权重系数的选择处理(S2411)。另外，Q的值不限于4，只要是1以上即可。

这样，通过利用本实施方式的候选预测信号的组合处理，能够没有附加信息地决定用于对N个预测邻接区域的像素信号(和对象区域的像素信号、即候选预测信号)进行平均化的权重系数的组。

图25是示出本实施方式的利用候选预测信号的平滑化(加权平均)来生成预测信号的方法的流程图。

在预测区域取得器204中，根据选择出的坐标信息，从帧存储器104中取得1个或多个与对象块对应的候选预测信号(S2502)。然后，在加权平均化器2204中，使用选择出的权重系数的组，对所取得的候选预测信号实施候选预测信号的加权平均处理，生成对象块的预测信号(S2501)。由此，针对一个对象块的处理结束(S704)。此时，预测信号Pb(i，j)的生成根据式(4)进行计算。这里，(i，j)表示对象区域中的各像素的坐标。在式(4)中，N表示经由线L203输入到预测区域取得器204的候选预测信号的组合信息，预测区域取得器204从帧存储器104中取得N个候选预测信号P_n(i，j)(n＝0～N-1)。w_n表示经由线L2203输入到加权平均化器2204的权重系数的组(N个)。利用加权平均化器2204将第n个权重系数w_n与第n个候选预测信号P_n(i，j)内的各像素相乘，对加权后的N个候选预测信号的各像素进行累积相加。利用权重系数的加法值去除这样加权相加后的候选预测信号的累积加法值，计算各像素的预测值Pb(i，j)。

第3本实施方式的图像预测编码装置100中的图像预测编码方法和图像预测解码方法与图8和图9所示的流程图以及处理过程相同，所以省略说明。

能够将该第3实施方式的图像预测编码方法和图像预测解码方法作为程序存储在记录介质中来提供。作为记录介质，可以例示软盘(注册商标)、CD-ROM、DVD、或者ROM等记录介质、或者半导体存储器等。能够执行图像预测编码方法的程序的模块和能够执行图像预测解码方法的程序的模块的结构与图11～图13所示的框图相同，所以省略说明。用于执行记录在记录介质中的程序的硬件和计算机也在图16和图17中进行了说明，所以省略说明。另外，预测信号生成模块P203成为包含预测区域取得器204和加权平均化器2204在内的功能。

此前说明的第3实施方式可以如下变形。

在利用式(4)或式(5)说明的加权处理中，权重系数的运算精度为实数精度。但是，在本实施方式中，也可以对各权重系数进行整数化后，进行加权平均化处理。在权重系数为实数值的情况下，有时不同的运算装置导致不同的运算结果，但是，通过在编码器和解码器中确定整数化的规则，能够避免该问题。此时，如果对各权重系数乘以一定值后进行整数化，则能够确保较高的加权处理的运算精度。

在图22的候选预测信号的组合决定器2200中，计算与对对象块的对象邻接区域的像素信号和多个邻接预测区域的像素信号进行加权平均后的比较信号之间的差分值即SAD(绝对误差值的和)，来决定最佳的候选预测信号的组合，但是，不使用SAD，使用差分信号的平方误差的和(SSD)或方差(VAR)，也能够决定组合。3个评价基准的运算量按照SAD、SSD、VAR的顺序增加，但是，另一方面，评价的精度提高，得到能够减少误差信号的编码量这样的效果。

并且，在得到多个对象邻接信号和比较信号的差分值即SAD为相同值的组合时，使用SSD和VAR来决定最终的组合的方法也是有效的。即，在预测邻接区域取得器232中计算出的SAD与此前计算出的最小值一致的情况下，比较/选择器2203进一步将SSD或VAR作为比较对象，比较哪个值小。这里，将判断为SSD或VAR小的组合作为具有最小值的组合存储在比较/选择器2203中。该情况下，比较/选择器2203与SAD一起计算SSD或VAR，并临时存储。

预测信号生成器103b(预测信号生成器308b)的结构不限于图22的结构。例如，在图22中，将用于访问由模板匹配器检索到的多个候选预测信号的坐标信息存储在坐标信息用存储器202中，但是，也可以构成为预先存储候选预测信号和预测邻接区域的像素信号。虽然图22内的存储量增加，但是，具有减少针对帧存储器的访问的效果。

<第4实施方式>

在第3实施方式中，解码器根据对对象邻接区域附加的信息(例如对象邻接信号)，探索预测区域和与其邻接的预测邻接区域。另一方面，利用编码器对用于访问预测区域和预测邻接区域的坐标信息(例如图4的坐标信息416)、即对对象区域附加的信息(运动向量和参照图像的识别编码)进行编码，根据该附加信息，解码器取得预测区域和预测邻接区域，在这种情况下也能够应用如下的本发明：没有附加信息地从多个候选中决定各对象区域的预测信号的生成时使用的加权系数。

通过将图2的预测生成器内的模板匹配器变更为图28或图31的运动补偿器，能够实现第4实施方式的编码装置和解码装置。编码装置和解码装置进行对象区域的附加信息的编码和解码处理，所以如图27和图30那样变更。并且，通过将图5的模板匹配处理变更为图29和图32的运动补偿处理，能够实现该变形例的编码处理和解码处理。另外，在第4实施方式中，将候选预测信号的数量固定为M个，从多个候选中选择M个权重系数的组。

图27是示出第4实施方式的图像预测编码装置100b的框图。预测信号生成器103c的输入输出结构与图像预测编码装置100的框图中的图像预测编码装置100不同。即，对象区域(对象块)的像素信号(对象像素信号)经由L102输入，经由L2703向熵编码器111输出包含用于访问2个以上的各预测区域的坐标信息在内的对象区域的附加信息。从预测信号生成器103c输出的对象区域的附加信息与由量子化器107进行量子化后的转换系数一起，由熵编码器111进行编码。

接着，说明第4实施方式的图像预测编码装置100b内的预测信号生成器103c。与图22的预测信号生成器的不同之处在于，将模板匹配器201变更为运动补偿器。

图28是第4实施方式的图像预测编码装置100b内的预测信号生成器103c的运动补偿器201b的框图。

运动补偿器201b经由线L104访问存储在帧存储器104中的再现图像信号，进行块匹配处理。这里，使用图3和图4说明该块匹配处理。这里，说明生成针对对象块402的候选预测信号的处理。

首先，根据对对象块和已编码的邻接块附加的信息，设定“探索区域”。在图3中，与对象块402相邻，将此前再现且位于相同画面内的再现图像的一部分(也可以是全部)设定为探索区域401。这里，使对象块402成为对由8×8的像素构成的编码对象块进行分割后的4×4像素的小块，但是，也可以分割为除此之外的块的大小或形状，也可以不分割。

进而，在图4中，将由与对象块402不同的画面411所示的再现图像的一部分设定为探索区域417。另外，在本实施方式中，在2个画面(图3和图4)内设定探索区域，但是，也可以仅在与对象块相同的画面内设定(图3)，还可以仅在与对象块不同的画面内设定(图4)。

如图3所示，探索区域401和对象块402不需要相邻，探索区域401也可以完全不与对象块402相邻。并且，不需要限定为如图4所示在与对象块不同的一个画面(仅画面411)中设定探索区域，也可以在与对象块不同的多个画面(如果参照图像已再现，则也可以包含按照显示顺序的未来的帧)中分别设定探索区域。

运动补偿器201b在探索区域401和(各参照帧的)探索区域417的探索区域(也可以是任意一方)中，在对象区域402内的像素和具有与对象区域402相同的形状的像素组之间，求出对应的像素间的绝对误差值的和(SAD)，检索SAD小的M个区域，将它们作为“预测区域”。然后，将与预测区域邻接的倒L字的区域作为“预测邻接区域”。检索精度可以是整数像素单位，也可以生成1/2像素、1/4像素等小数精度的像素，以小数像素精度进行探索。M的值预先设定，但是，在图3和图4中，M＝6，探索预测区域405a、405b、405c、415a、415b和415c。与其相伴的预测邻接区域为区域404a、404b、404c、414a、414b和414c，对象区域的附加信息、即用于访问各预测区域和预测邻接区域的坐标信息(运动向量和参照图像的识别编号)用向量406a、406b、406c、416a、416b和416c表示。

进而，在运动补偿器201b中，在与对象块402邻接的“对象邻接区域403”的像素信号(对象邻接信号)和探索到的M个预测邻接区域404、414的像素信号之间，计算SAD。

说明用于进行以上这种动作的运动补偿器201b的结构。运动补偿器201b构成为包含：对象邻接区域取得器211、预测邻接区域取得器212以及预测区域取得器2801。

预测区域取得器2801经由线L104从帧存储器104内的探索区域中依次取得与对象区域402(对象块)相同形状的区域(预测区域)的像素信号，在经由线L102输入的对象区域402的像素信号(对象像素信号)和所取得的预测区域(包含405和415)的像素信号之间计算SAD。然后，从探索范围内的图像组中检索SAD小的M个预测区域。将用于访问检索到的M个预测区域(405和415)的坐标信息(406和416，运动向量和参照图像的识别编号)作为对象区域的附加信息，经由线L2703输出到熵编码器111。同时，M个坐标信息经由线L201a输出到坐标信息用存储器202和预测邻接区域取得器212。

对象邻接区域取得器211经由线L104从帧存储器104中取得对象邻接区域403，并经由线L211输出到预测邻接区域取得器212。

预测邻接区域取得器212经由线L201a被输入M个预测区域的坐标信息后，根据该坐标信息，从帧存储器104内的探索区域中取得M个与对象邻接区域403相同形状的区域即预测邻接区域的像素信号。然后，在经由线L211从对象邻接区域取得器211得到的对象邻接区域403的像素信号(邻接像素信号)和所取得的M个预测邻接区域的像素信号之间计算SAD，经由线L201b输出到候选预测信号的组合决定器2200。

这样，运动补偿器201b探索M个预测区域，将用于访问这些预测区域的坐标信息作为对象区域的附加信息，输出到熵编码器。然后，针对探索到的M个预测区域，生成与各预测区域邻接的预测邻接区域的像素信号和对象邻接区域的像素信号之间的SAD、以及用于访问各预测邻接区域的坐标信息，输出到候选预测信号的组合决定器2200。候选预测信号的组合决定器2200根据所输入的信息，如第3实施方式那样，从多个候选中选择用于对M个预测区域的像素信号进行加权平均化的权重系数的组。

图29是示出如下方法的流程图：利用本实施方式的运动补偿器201b，探索针对对象区域(对象块)的像素信号(对象像素信号)的多个(M个)候选预测信号，取得用于访问探索到的候选预测信号的坐标信息，作为对象区域的附加信息。

首先，在对象邻接区域取得器211中，从帧存储器104中取得针对对象块的对象邻接区域(模板信号)。同时，运动补偿器201b从保存输入图像信号的帧存储器中取得对象区域的图像信号(S2902)。

接着，运动补偿器201b将用于选择M个候选预测信号的阈值初始化为充分大的值(S503)。预测区域取得器2801从探索区域中取得预测区域，求出所取得的预测区域的像素信号和对象区域的像素信号之间的绝对值差分和(SAD)(S2903)。进而，对SAD值和阈值进行比较(S505)，在判断为SAD值小于阈值的情况下，进入S2904，在判断为SAD值大于等于阈值的情况下，进入S508。

在处理S2904中，保存/更新用于访问在处理S2903中计算出的SAD中的值小的M个预测区域的坐标信息。同时，运动补偿器201c将阈值更新为第M小的SAD的值(S507)。

然后，通过预测区域取得器2801确认探索区域是否全部已探索(S508)。在判断为不是全部已探索的情况下，返回S2903，在全部已探索的时点，运动补偿器201b实施处理S2905，结束运动补偿处理(S509)。在处理S2905中，将检测到的M个坐标信息作为对象区域的附加信息进行编码。进而，利用预测邻接区域取得器212，计算在处理S2902中取得的对象邻接区域的像素信号和根据M个坐标信息取得的M个预测邻接区域的像素信号的SAD。

图30是示出第4实施方式的图像预测解码装置300b的框图。预测信号生成器308c的输入结构与图像预测解码装置300b的框图中的图像预测解码装置300不同。即，包含用于访问由熵解码器302解码的2个以上的各预测区域的坐标信息在内的对象区域的附加信息被输入到预测信号生成器308c。

接着，说明第4实施方式的图像预测解码装置300b内的预测信号生成器303c。与图22的预测信号生成器的不同之处在于，将模板匹配器201变更为对象邻接区域运动补偿器201b。

图31是第4实施方式的图像预测解码装置300b的预测信号生成器308c的对象邻接区域运动补偿器201c的框图。

在对象邻接区域运动补偿器201c中，根据经由线L309输入的M个坐标信息，取得M个预测邻接区域404、414的像素信号，在与和对象块402邻接的“对象邻接区域403”的像素信号(对象邻接信号)之间计算SAD。

说明对象邻接区域运动补偿器201c的结构。运动补偿器201c构成为包含：对象邻接区域取得器211和预测邻接区域取得器212。

首先，经由线L309输入的用于访问M个预测区域的坐标信息被输入到预测邻接区域取得器212，并且，被输入到候选预测信号的组合决定器2200。

对象邻接区域取得器211经由线L104从帧存储器104中取得对象邻接区域403，并经由线L211输出到预测邻接区域取得器212。

预测邻接区域取得器212经由线L309被输入M个预测区域的坐标信息后，根据该坐标信息，从帧存储器104内的探索区域中取得M个与对象邻接区域403相同形状的区域即预测邻接区域的像素信号。然后，在经由线L211从对象邻接区域取得器211得到的对象邻接区域403的像素信号(邻接像素信号)和所取得的M个预测邻接区域的像素信号之间计算SAD，经由线L201b输出到候选预测信号的组合决定器2200。

这样，对象邻接区域运动补偿器201c计算与M个各预测区域邻接的预测邻接区域的像素信号和对象邻接区域的像素信号之间的SAD，与用于访问各预测邻接区域的坐标信息一起输出到候选预测信号的组合决定器2200。候选预测信号的组合决定器2200根据所输入的信息，如第3实施方式那样，从多个候选中选择用于对M个预测区域的像素信号进行加权平均化的权重系数的组。

图32是示出由本实施方式的对象邻接区域运动补偿器201c实施的处理的流程图。

第1，作为解码器的熵解码器302对对象区域的附加信息进行解码，对用于访问M个预测区域的坐标信息进行解码(S3202)。在对象邻接区域取得器211中，从帧存储器307中取得针对对象块的对象邻接区域(模板信号)(S3203)。

第2，利用预测邻接区域取得器212，计算在处理S3203中取得的对象邻接区域的像素信号和根据解码后的M个坐标信息取得的M个预测邻接区域的像素信号的SAD(S3204)，结束处理(S3205)。

这样，在根据对对象区域附加的信息生成多个预测区域的情况下，对这些预测区域进行加权平均化，能够没有附加信息地从多个候选中决定用于生成对象区域的预测信号的权重系数的组。

另外，与第1～第3实施方式相同，第4实施方式的图像预测编码装置100b和图像预测解码装置300b能够构成为程序或包含该程序的记录介质。其具体的模块结构采取与图11和图13相同的结构。并且，相当于预测信号生成器103c的模块结构采取与图12相同的结构，但是，除了模板匹配模块P201以外，还需要具有运动补偿器201b的功能的运动补偿模块。并且，相当于预测信号生成器308c的模块结构采取与图12相同的结构，但是，除了模板匹配模块P201以外，还需要相当于对象邻接区域运动补偿器201c的对象邻接区域运动补偿模块。

接着，说明本实施方式的图像预测编码装置100和图像预测解码装置300的作用效果。

在第1实施方式的图像预测编码装置100中，模板匹配器201从由已再现图像构成的探索区域401和417中，探索与由已再现的邻接像素信号构成的对象邻接区域403的相关高的多个预测邻接区域404a～404c、414a～414c，该对象邻接区域403与由对象像素信号构成的对象区域(对象块)402邻接。候选预测信号的组合决定器203中的组合设定器231导出2个以上的包含探索到的多个预测邻接区域404a～404c、414a～414c中至少1个在内的任意预测邻接区域的组合。然后，预测邻接区域取得器232提取所导出的预测邻接区域的像素信号，加权器234和加法器235使用预先确定的合成方法，例如通过平均化对提取出的像素信号进行加工，由此，按照每个组合分别针对邻接像素信号生成比较信号。然后，比较/选择器236选择由加权器234等生成的比较信号和由对象邻接区域取得器233取得的邻接像素信号的相关高的组合。预测区域取得器204根据属于选择出的组合的预测邻接区域，生成1个以上的对象像素信号的候选预测信号，加权器205和加法器206使用预先确定的合成方法对候选预测信号进行加工，由此生成预测信号。减法器105从经由块分割器102取得的对象像素信号中减去这样生成的预测信号，生成残差信号，转换器106、量子化器107和熵编码器111对所生成的残差信号进行编码。

由此，能够使用与对象块邻接的由已再现的邻接像素信号构成的对象邻接区域，选择适于平滑化的候选预测信号的组合而不会增多信息量，所以，能够高效地生成考虑了局部噪声特性的预测信号。

并且，本实施方式的图像预测编码装置100中的比较/选择器236选择比较信号和邻接像素信号的差分的绝对值和即SAD小的组合，由此，能够选择更适于平滑化的候选预测信号的组合。

并且，本实施方式的图像预测编码装置100中的加权器234和加法器235对属于在组合设定器231中设定的组合的预测邻接区域的像素信号进行加权平均来生成比较信号，由此，能够生成选择更适于平滑化的候选预测信号的组合时的适当的比较信号。

并且，本实施方式的图像预测编码装置100中的组合设定器231设定的预测邻接区域的组合按照与对象邻接区域的相关从高到低的顺序包含2的n次方个预测邻接区域，由此，能够仅进行相加和移位运算，实际安装时能够采用简易的结构。这里，优选n的值是0以上的整数。

并且，在本实施方式的图像预测解码装置300中，模板匹配器201从由已再现图像构成的探索区域401和417中，探索与由已再现的邻接像素信号构成的对象邻接区域403的相关高的多个预测邻接区域404a～404c、414a～414c，该对象邻接区域403与由对象像素信号构成的对象区域(对象块)402邻接。候选预测信号的组合决定器203中的组合设定器231导出2个以上的包含探索到的多个预测邻接区域404a～404c、414a～414c中至少1个在内的任意预测邻接区域的组合。然后，预测邻接区域取得器232提取所导出的预测邻接区域的像素信号，加权器234和加法器235使用预先确定的合成方法，例如通过平均化对提取出的像素信号进行加工，由此，按照每个组合分别针对邻接像素信号生成比较信号。然后，比较/选择器236选择由加权器234等生成的比较信号和由对象邻接区域取得器233取得的邻接像素信号的相关高的组合。预测区域取得器204根据属于选择出的组合的预测邻接区域，生成1个以上的对象像素信号的候选预测信号，加权器205和加法器206使用预先确定的合成方法对候选预测信号进行加工，由此生成预测信号。

然后，根据经由输入端子301输入的压缩数据，熵解码器302、逆量子化器303、逆转换器304复原差分信号，加法器305将如上所述生成的预测信号和所复原的差分信号进行相加，生成再现图像信号。

由此，能够使用与对象块邻接的由已再现的邻接像素信号构成的对象邻接区域，选择适于平滑化的候选预测信号的组合而不会增多信息量，所以，能够高效地生成考虑了局部噪声特性的预测信号。

并且，本实施方式的图像预测解码装置300中的比较/选择器236选择比较信号和邻接像素信号的差分的绝对值和即SAD小的组合，由此，能够选择更适于平滑化的候选预测信号的组合。

并且，本实施方式的图像预测解码装置300中的加权器234和加法器235对属于在组合设定器231中设定的组合的预测邻接区域的像素信号进行加权平均来生成比较信号，由此，能够生成选择更适于平滑化的候选预测信号的组合时的适当的比较信号。

并且，本实施方式的图像预测解码装置300中的组合设定器231设定的预测邻接区域的组合按照与对象邻接区域的相关从高到低的顺序包含2的n次方个预测邻接区域，由此，能够仅进行相加和移位运算，实际安装时能够采用简易的结构。这里，优选n的值是0以上的整数。

并且，在本实施方式的图像预测编码程序P100中，模板匹配模块P201从由已再现图像构成的探索区域401和417中，探索与由已再现的邻接像素信号构成的对象邻接区域403的相关高的多个预测邻接区域404a～404c、414a～414c，该对象邻接区域403与由对象像素信号构成的对象区域(对象块)402邻接。候选预测信号的组合决定模块P202导出2个以上的包含探索到的多个预测邻接区域404a～404c、414a～414c中至少1个在内的任意预测邻接区域的组合。然后，候选预测信号的组合决定模块P202提取所导出的预测邻接区域的像素信号，使用预先确定的合成方法，例如通过平均化对提取出的像素信号进行加工，由此，按照每个组合分别针对邻接像素信号生成比较信号。然后，预测信号合成模块P203选择所生成的比较信号和所取得的邻接像素信号的相关高的组合。候选预测信号的组合决定模块P202根据属于选择出的组合的预测邻接区域，生成1个以上的对象像素信号的候选预测信号，使用预先确定的合成方法对候选预测信号进行加工，由此生成预测信号。减法模块P105从经由块分割模块P102取得的对象像素信号中减去这样生成的预测信号，生成残差信号，转换模块P106、量子化模块P107和熵编码模块P111对所生成的残差信号进行编码。

并且，在本实施方式的图像预测解码程序P300中，模板匹配模块P201从由已再现图像构成的探索区域401和417中，探索与由已再现的邻接像素信号构成的对象邻接区域403的相关高的多个预测邻接区域404a～404c、414a～414c，该对象邻接区域403与由对象像素信号构成的对象区域(对象块)402邻接。预测信号合成模块P203导出2个以上的包含探索到的多个预测邻接区域404a～404c、414a～414c中至少1个在内的任意预测邻接区域的组合。然后，预测信号合成模块P203提取所导出的预测邻接区域的像素信号，使用预先确定的合成方法，例如通过平均化对提取出的像素信号进行加工，由此，按照每个组合分别针对邻接像素信号生成比较信号。然后，预测信号合成模块P203选择所生成的比较信号和所取得的邻接像素信号的相关高的组合。预测信号合成模块P203根据属于选择出的组合的预测邻接区域，生成1个以上的对象像素信号的候选预测信号，预测信号合成模块P203使用预先确定的合成方法对候选预测信号进行加工，由此生成预测信号。

然后，根据所输入的压缩数据，熵解码模块P302、逆量子化模块P303、逆转换模块P304复原差分信号，加法模块P305将如上所述生成的预测信号和所复原的差分信号进行相加，生成再现图像信号。

在图像预测编码装置100中应用了预测信号生成器103a的第2实施方式发挥以下的作用效果。即，在预测信号生成器103a中，预测邻接区域取得器212从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与对象区域邻接。然后，代表预测区域取得器1802从探索到的多个预测邻接区域中基于对象区域的N个预测区域的像素信号或探索到的N个预测邻接区域中预测邻接区域的像素信号或者其双方的信号中，取得2个信号。

然后，预测区域间的相关评价值计算器1803通过预先确定的方法计算对N个候选预测信号间的相关进行评价的评价值。预测区域取得器204取得该评价值小于规定阈值的情况下的N个候选预测信号，加权器205和加法器206使用预先确定的合成方法对N个候选预测信号进行加工，由此生成预测信号。然后，减法器105从对象像素信号中减去所生成的预测信号，计算残差信号，转换器106、量子化器107和熵编码器111对残差信号进行编码，输出端子112进行输出。

由此，能够根据多个候选预测信号生成适当的预测信号。针对仅候选预测信号的噪声成分不同而信号成分类似的信号特别有效。

并且，在预测信号生成器103a中，在阈值处理器1804判断为评价值大于阈值的情况下，计数器1801对N值进行减法，更新为次大的值，代表预测区域取得器1802再次取得像素信号的组合，预测区域间的相关评价值计算器1803再次计算评价值，阈值处理器1804再次进行评价值的计算和与规定阈值的比较，由此，预测区域取得器204能够选择有效的候选预测信号的数量。

并且，在预测信号生成器103a中，预测区域间的相关评价值计算器1803计算与模板匹配器201探索到的N个预测邻接区域内和对象邻接区域的相关最高的预测邻接区域邻接的预测区域的像素信号以及与和对象邻接区域的相关第N低的预测邻接区域邻接的预测区域的像素信号、或与对象邻接区域的相关最高的预测邻接区域的像素信号以及与对象邻接区域的相关第N低的预测邻接区域的像素信号、或者分别合并像素信号后的信号的差分的绝对值和，将该差分的绝对值和作为评价值。由此，能够计算适当的评价值。

并且，在图像预测解码装置300中应用了预测信号生成器308a的情况下，发挥以下的作用效果。预测邻接区域取得器212从由已再现图像构成的探索区域中，探索与由已再现的邻接像素信号构成的对象邻接区域的相关高的多个预测邻接区域，该对象邻接区域与对象区域邻接。然后，代表预测区域取得器1802从探索到的多个预测邻接区域中基于对象区域的N个预测区域的像素信号或探索到的N个预测邻接区域中预测邻接区域的像素信号或者其双方的信号中，取得2个信号。

然后，预测区域间的相关评价值计算器1803通过预先确定的方法计算对N个候选预测信号间的相关进行评价的评价值。预测区域取得器204取得该评价值小于规定阈值的情况下的N个候选预测信号，加权器205和加法器206使用预先确定的合成方法对N个候选预测信号进行加工，由此生成预测信号。

另一方面，根据经由输入端子301输入的压缩数据，熵解码器302、逆量子化器303、逆转换器304复原差分信号，加法器305将如上所述生成的预测信号和所复原的差分信号进行相加，生成再现图像信号。

由此，能够根据多个候选预测信号生成适当的预测信号。针对仅候选预测信号的噪声成分不同而信号成分类似的信号特别有效。

并且，在预测信号生成器103a中，在阈值处理器1804判断为评价值大于阈值的情况下，计数器1801对N值进行减法，更新为次大的值，代表预测区域取得器1802再次取得像素信号的组合，预测区域间的相关评价值计算器1803再次计算评价值，阈值处理器1804再次进行评价值的计算和与规定阈值的比较，由此，预测区域取得器204能够选择有效的候选预测信号的数量。

并且，在预测信号生成器103a中，预测区域间的相关评价值计算器1803计算与模板匹配器201探索到的N个预测邻接区域内和对象邻接区域的相关最高的预测邻接区域邻接的预测区域的像素信号以及与和对象邻接区域的相关第N低的预测邻接区域邻接的预测区域的像素信号、或与对象邻接区域的相关最高的预测邻接区域的像素信号以及与对象邻接区域的相关第N低的预测邻接区域的像素信号、或者分别合并像素信号后的信号的差分的绝对值和，将该差分的绝对值和作为评价值。由此，能够计算适当的评价值。

在图像预测编码装置100中应用了预测信号生成器103b的第3实施方式发挥以下的作用效果。模板匹配器201根据对象区域或与对象区域邻接的对象邻接区域，从由已再现图像构成的探索区域中，分别取得多个与对象邻接区域相同形状的预测邻接区域。

然后，组合设定器231导出取得的多个预测邻接区域中包含2个以上的该预测邻接区域的任意预测邻接区域的组合。接着，权重系数设定器2201导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，加权平均化器2202针对这些组合，使用该多个权重系数的组，对属于这些组合的预测邻接区域的像素信号进行加权平均，由此，针对邻接像素信号生成2个以上的比较信号。

接着，比较/选择器2203选择该比较信号和邻接像素信号的相关高的权重系数的组，预测区域取得器204根据属于组合的预测邻接区域，根据已再现图像生成2个以上的对象像素信号的候选预测信号，加权平均化器2204使用选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。然后，减法器105从对象像素信号中减去所生成的预测信号，生成残差信号，转换器106、量子化器107和熵编码器111对残差信号进行编码。由此，能够针对每个对象块，没有附加信息地选择权重系数的组。

并且，在第3实施方式的图像预测编码装置100中，模板匹配器201根据对象区域或与对象区域邻接的对象邻接区域，从由已再现图像构成的探索区域中，分别取得多个与对象邻接区域相同形状的预测邻接区域。

然后，组合设定器231导出取得的多个预测邻接区域中包含1个以上的该预测邻接区域的任意预测邻接区域的组合。

然后，权重系数设定器2201针对包含2个以上的预测邻接区域的组合，导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，加权平均化器2202使用该多个权重系数的组对预测邻接区域的像素信号进行加权平均，由此，针对邻接像素信号生成2个以上的比较信号。

接着，比较/选择器2203选择该比较信号和邻接像素信号的相关高的权重系数的组，加权平均化器2202再次使用选择出的权重系数的组，对属于选择出的多个组合的预测邻接区域的像素信号进行加权平均，由此，针对邻接像素信号生成2个以上的比较信号，比较/选择器2203再次选择该比较信号和邻接像素信号的相关高的组合。

然后，预测区域取得器204根据属于该选择出的组合的预测邻接区域，根据已再现图像生成1个以上的对象像素信号的候选预测信号，加权平均化器2204使用针对选择出的组合而预先选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。然后，使用所生成的预测信号，生成与对象像素信号的残差信号，对残差信号进行编码。由此，能够针对每个对象块，没有附加信息地选择在预测信号的生成中有效的候选预测信号的组合和权重系数的组。

并且，在预测信号生成器103b中，权重系数设定器2201设定随着属于组合的多个预测邻接区域的像素信号和邻接像素信号的差分的绝对值和增大而减小的权重系数(例如式(7)所示)，至少计算1个权重系数的组，由此，能够计算适当的权重系数的组。

并且，在预测信号生成器103b中，权重系数设定器2201预先准备根据属于组合的预测邻接区域的数量而确定的权重系数的组(例如式(6)所示)，通过该准备的权重系数的组，导出至少1个权重系数的组，由此，能够计算适当的权重系数的组。

并且，在预测信号生成器103b中，权重系数设定器2201准备对应表(例如图26所示)，该对应表根据属于组合的多个预测邻接区域的像素信号和邻接像素信号的差分的绝对值和来决定权重系数的组，使用该对应表导出至少1个权重系数的组，由此，能够计算适当的权重系数的组。

并且，在图像预测解码装置300中应用了预测信号生成器308b的情况下，发挥以下的作用效果。模板匹配器201根据对象区域或与对象区域邻接的对象邻接区域，从由已再现图像构成的探索区域中，分别取得多个与对象邻接区域相同形状的预测邻接区域。

然后，组合设定器231导出取得的多个预测邻接区域中包含2个以上的该预测邻接区域的任意预测邻接区域的组合。接着，权重系数设定器2201导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，加权平均化器2202针对这些组合，使用该多个权重系数的组，对属于这些组合的预测邻接区域的像素信号进行加权平均，由此，针对邻接像素信号生成2个以上的比较信号。

接着，比较/选择器2203选择该比较信号和邻接像素信号的相关高的权重系数的组，预测区域取得器204根据属于组合的预测邻接区域，根据已再现图像生成2个以上的对象像素信号的候选预测信号，加权平均化器2204使用选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。然后，减法器105从对象像素信号中减去所生成的预测信号，生成残差信号，转换器106、量子化器107和熵编码器111对残差信号进行编码。由此，能够针对每个对象块，没有附加信息地选择权重系数的组。

并且，在第3实施方式的图像预测解码装置300中，模板匹配器201根据对象区域或与对象区域邻接的对象邻接区域，从由已再现图像构成的探索区域中，分别取得多个与对象邻接区域相同形状的预测邻接区域。

然后，组合设定器231导出取得的多个预测邻接区域中包含1个以上的该预测邻接区域的任意预测邻接区域的组合。

然后，权重系数设定器2201针对包含2个以上的预测邻接区域的组合，导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，加权平均化器2202使用该多个权重系数的组对预测邻接区域的像素信号进行加权平均，由此，针对邻接像素信号生成2个以上的比较信号。

接着，比较/选择器2203选择该比较信号和邻接像素信号的相关高的权重系数的组，加权平均化器2202再次使用选择出的权重系数的组，对属于选择出的多个组合的预测邻接区域的像素信号进行加权平均，由此，针对邻接像素信号生成2个以上的比较信号，比较/选择器2203再次选择该比较信号和邻接像素信号的相关高的组合。

然后，预测区域取得器204根据属于该选择出的组合的预测邻接区域，根据已再现图像生成1个以上的对象像素信号的候选预测信号，加权平均化器2204使用针对选择出的组合而预先选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。

另一方面，根据经由输入端子301输入的压缩数据，熵解码器302、逆量子化器303、逆转换器304复原差分信号，加法器305将如上所述生成的预测信号和所复原的差分信号进行相加，生成再现图像信号。由此，能够针对每个对象块，没有附加信息地选择在预测信号的生成中有效的候选预测信号的组合和权重系数的组。

并且，在预测信号生成器308b中，权重系数设定器2201设定随着属于组合的多个预测邻接区域的像素信号和邻接像素信号的差分的绝对值和增大而减小的权重系数(例如式(7)所示)，至少计算1个权重系数的组，由此，能够计算适当的权重系数的组。

并且，在预测信号生成器308b中，权重系数设定器2201预先准备根据属于组合的预测邻接区域的数量而确定的权重系数的组(式(6)所示)，通过该准备的权重系数的组，导出至少1个权重系数的组，由此，能够计算适当的权重系数的组。

并且，在预测信号生成器308b中，权重系数设定器2201准备对应表(图26所示)，该对应表根据属于组合的多个预测邻接区域的像素信号和邻接像素信号的差分的绝对值和来决定权重系数的组，使用该对应表导出至少1个权重系数的组，由此，能够计算适当的权重系数的组。

作为第4实施方式，构成为针对第3实施方式进行运动补偿。例如，在第3实施方式中，模板匹配器201根据对象区域或与对象区域邻接的对象邻接区域，从由已再现图像构成的探索区域中，分别取得多个与对象邻接区域相同形状的预测邻接区域，但是不限于此，例如，也可以根据对对象区域附加的运动向量和参照图像的识别编号等的附加信息，来取得预测邻接区域。

<第5实施方式>

图33是示出本发明的实施方式的能够执行图像预测编码方法的图像预测编码装置100X的框图。该图像预测编码装置100X构成为包含：输入端子101X、块分割器102X(区域分割单元)、预测信号生成器103X(预测信号生成单元)、帧存储器104X、减法器105X(残差信号生成单元)、转换器106X(编码单元)、量子化器107X(编码单元)、逆量子化器108X、逆转换器109X、加法器110X、熵编码器111X以及输出端子112X。转换器106X和量子化器107X作为编码单元发挥功能。

以下说明如上所述那样构成的图像预测编码装置100X的结构。

输入端子101X是输入由多张图像构成的动态图像的信号的端子。

块分割器102X将从输入端子101X输入的动态图像的信号即作为编码对象的图像分割为多个区域。在本发明的实施方式中，分割为由8×8的像素构成的块，但是，也可以分割为除此之外的块的大小或形状。

预测信号生成器103X是针对作为编码处理对象的对象区域(对象块)生成预测信号的部分。该预测信号生成器103X的具体处理在后面叙述。

减法器105X是如下的部分：从经由线L102X输入的由块分割器102X分割而得到的对象区域所示的像素信号中，减去经由线L103X输入的由预测信号生成器103X生成的预测信号，来生成残差信号。减法器105X经由线L105X向转换器106X输出减法得到的残差信号。

转换器106X是对减法得到的残差信号进行离散余弦转换的部分。并且，量子化器107X是对由转换器106X进行离散余弦转换后的转换系数进行量子化的部分。熵编码器111X对由量子化器107X量子化后的转换系数进行压缩编码，经由线L111X输出压缩编码后的压缩数据。输出端子112X向外部输出从熵编码器111X输入的信息即压缩数据。

逆量子化器108X对量子化后的转换系数进行逆量子化，逆转换器109X进行逆离散余弦转换，复原编码后的残差信号。加法器110X将复原后的残差信号和从线L103X发送的预测信号相加，再现对象块的信号，得到再现图像信号，并将该再现图像信号存储在帧存储器104X中。在本实施方式中，使用了转换器106X和逆转换器109X，但是，也可以使用其他转换处理来代替这些转换器，转换器106X和逆转换器109X不是必须的。这样，为了进行后续的针对对象区域的画面内预测或画面间预测，压缩后的对象区域的像素信号通过逆处理而复原，并存储在帧存储器104X中。

接着，说明预测信号生成器103X。预测信号生成器103X是针对作为编码处理对象的对象区域(以下称为对象块)生成预测信号的部分。在本实施方式中，使用3种预测方法。即，预测信号生成器103X使用后述的画面间预测方法和画面内预测方法中的至少任意一方或双方来生成预测信号。

说明本实施方式的预测信号生成器103X的处理。图34是示出在本实施方式的图像预测编码装置100X中使用的预测信号生成器103X的框图，其构成为包含：模板匹配器201X、坐标信息用存储器202X、候选预测信号的组合决定器203X、预测区域取得器204X、加权器205X以及加法器206X。

在模板匹配器201X中，经由线L104X从帧存储器104X输入在过去的处理中已再现的图像信号(再现图像信号)，通过后述的模板匹配，针对对象区域的对象像素信号探索多个预测信号的候选(候选预测信号)，经由线L201aX向坐标信息用存储器202X输出用于访问探索到的候选预测信号的坐标信息。同时，经由线L201bX向候选预测信号的组合决定器203X输出表示对象区域和各候选预测信号之间的关系的差分值数据(相当于后述的绝对误差值的和(SAD(sumof absolute difference)))。

在候选预测信号的组合决定器203X中，利用经由线L201bX输入的差分值数据，设定多个候选预测信号的组合。然后，根据经由线L202aX从坐标信息用存储器202X输入的坐标信息，使用经由线L104X从帧存储器输入的像素信号，决定候选预测信号的组合，作为候选预测信号的组合信息，经由线L203X输出到预测区域取得器204X。

预测区域取得器204X根据经由线L203X输入的候选预测信号的组合信息，经由线L202bX取得属于该组合的候选预测信号的坐标信息。然后，预测区域取得器204X经由线L104X从帧存储器104X中取得与所取得的坐标信息对应的候选预测信号，随时输出到加权器205X。加权器205X使经由线L204X输入的各候选预测信号乘以权重系数，经由线L205X输出到加法器206X。加法器206X依次将加权后的候选预测信号相加，作为预测信号经由线L103X输出到图33的减法器105X。另外，关于加权器的动作，例如存在候选预测信号的数量为N时使各候选预测信号乘以1/N的手法等，但是，也可以是其他手法。

进而，详细说明模板匹配器201X、候选预测信号的组合决定器203X、预测区域取得器204X的各结构。首先，说明模板匹配器201X中的处理内容。模板匹配器201X访问经由线L104X存储在帧存储器104X中的再现图像信号，进行匹配处理。这里，说明该匹配处理。图35和图36是用于说明本发明的实施方式的模板匹配处理的示意图。这里，说明针对对象块402X生成候选预测信号的处理。

首先，利用预先确定的方法针对对象块设定“对象邻接区域”(也称为模板)和“探索区域”。在图35中，与对象块402X相邻，将此前再现且位于相同画面内的再现图像的一部分(也可以是全部)设定为探索区域401X。这里，使对象块402X成为对由8×8的像素构成的编码对象块进行分割后的4×4像素的小块，但是，也可以分割为除此之外的块的大小或形状，也可以不分割。

进而，在图36中，将由与对象块402X不同的画面411X所示的再现图像的一部分设定为探索区域417X。并且，也可以在与对象块402X不同的多个画面中分别设置探索区域。作为“对象邻接区域”，使用与对象块402X邻接的已再现的像素组(倒L文字的区域)403X。另外，在本实施方式中，在2个画面(图35和图36)内设定探索区域，但是，也可以仅在与对象块相同的画面内设定(图35)，还可以仅在与对象块不同的画面内设定(图36)。

如图35所示，探索区域401X和对象块402X不需要相邻，探索区域401X也可以完全不与对象块402X相邻。并且，不需要限定为如图36所示在与对象块不同的一个画面(仅画面411X)中设定探索区域，也可以在与对象块不同的多个画面(如果参照图像已再现，则也可以包含按照显示顺序的未来的帧)中分别设定探索区域。

并且，对象邻接区域403X与对象块402X至少以一个像素相邻即可。这里，对象邻接区域的形状为倒L文字，但是不限于此。由此，如果对象邻接区域由对象块402X周围的已再现像素构成，则形状和像素数预先确定，可以是任意的，也可以利用顺序单位或帧单位和块单位对模板的形状和大小(像素数)进行编码。

模板匹配器201X在探索区域401X和探索区域417X或任一个探索区域中，在与具有和对象邻接区域403X相同形状的像素组之间，求出对应的像素间的绝对误差值的和(SAD值)，检索SAD值小的M个区域，将它们作为“预测邻接区域”。检索精度可以是整数像素单位，也可以生成1/2像素、1/4像素等小数精度的像素，以小数像素精度进行探索。M的值预先设定，可以是任意的值。如图35和图36所示，M＝6，探索预测邻接区域404aX、404bX、404cX、414aX、414bX和414cX。并且，也可以不决定要探索的预测邻接区域的数量，而是探索SAD值小于某个阈值的区域来决定M的值，也可以将小于阈值的区域的数量和所设定的数量中小的一方的值作为M的值。此时，阈值不适用于SAD值本身，也可以适用于最小的SAD值和第2个以后的SAD值的差分值。在后者中，即使在最小的SAD值大的情况下，模板匹配器201X也能够检索多个预测邻接区域而不变更阈值。M的上限值和阈值也可以预先设定，但是，也可以利用顺序单位或帧单位和块单位对适当的值进行编码。

在针对对象块402X的预测区域中决定与预测邻接区域404aX、404bX、404cX、414aX、414bX和414cX相邻的区域405aX、405bX、405cX、415aX、415bX和415cX，在候选预测信号中决定预测区域内的像素信号。另外，这里，预测邻接区域和表示候选预测信号的预测区域的位置关系处于与对象区域和对象邻接区域相同的关系，但是也可以不这样。在本实施方式中，作为用于从帧存储器104X中取得各预测邻接区域(和预测区域)的访问信息，将对象邻接区域(和对象区域)和预测邻接区域(和预测区域)之间的差分坐标406aX、406bX、406cX、416aX、416bX和416cX以及各预测邻接区域(和预测区域)所属的画面(参照图像)的识别编号作为坐标信息，存储在坐标信息用存储器202X中。

说明用于进行以上这种动作的模板匹配器201X的结构。模板匹配器201X构成为包含：对象邻接区域取得器211X、预测邻接区域取得器212X、比较器213X和开关214X。首先，对象邻接区域取得器211X经由线L104X从帧存储器104X中取得对象邻接区域403X。

预测邻接区域取得器212X经由线L104X从帧存储器104X内的探索区域中取得与对象邻接区域相同形状的区域的像素信号，在与经由线L211X从对象邻接区域取得器211X得到的对象邻接区域的像素信号(邻接像素信号)之间计算SAD值。比较器213X经由线L212bX输入所计算出的SAD值，与此前取得的SAD值中第M小的SAD值进行比较。然后，在判断为被输入到比较器213X的SAD值小的情况下，比较器213X临时存储进入该第M个以内的SAD值，删除第M+1个SAD值。另外，比较器213X在处理开始时，作为SAD值的初始值与通常的SAD值进行比较，将充分大的值设定为初始值。

预测邻接区域取得器212X进行该处理，并且，作为用于访问预测邻接区域(和预测区域)的信息，通过比较器213X对开关214X的控制，经由线L202aX向坐标信息用存储器202X输出坐标信息。此时，不需要SAD值为第M+1个坐标信息，所以，也可以在坐标信息用存储器202X中覆盖存储。当预测邻接区域取得器212X在探索区域内的探索结束时，比较器213X经由线L201bX向候选预测信号的组合决定器203X输出临时存储的M个SAD值。

接着，说明候选预测信号的组合决定器203X的动作。候选预测信号的组合决定器203X构成为包含：组合设定器231X、预测邻接区域取得器232X、对象邻接区域取得器233X、加权器234X、加法器235X以及比较/选择器236X。

组合设定器231X根据经由线L201bX输入的M个SAD值，设定多个预测邻接区域的组合。候选预测信号的组合决定器203X中的处理如在图38的说明中详细叙述的那样，将所输入的SAD值小的N个预测邻接区域设定为1个组合。N的值是小于M的2的乘数，当M＝6时，制作N＝1、2、4这3个组合。

这样，通过利用本发明的候选预测信号的组合处理，能够针对各对象块决定适当的候选预测信号的平滑化的强度、即平均化的预测候选信号的数量。换言之，确定对与邻接像素信号之间的绝对误差值即差分SAD值小的N个预测邻接区域的像素信号进行平均化后的比较信号和邻接像素信号之间的差分SAD值最小的N，由此，能够从探索到的M个候选预测信号中，没有附加信息地选别适于生成预测信号的候选预测信号。另外，使N的值为2的乘数是因为考虑了仅利用加法和位移运算来进行信号的平均化处理。

并且，M值和N值以及N个预测信号区域的组合不限于此。1个组合中包含的预测邻接区域的数量可以从1～M个中任意设定。例如，在制作由小于M的N个预测邻接区域构成的组合的情况下，能够从M个中选择N个来设定全部组合。此时，N的值可以是固定的，也可以在1～M之间选择2个以上来设定组合。但是，为了使作为编码器的图像预测编码装置100X和作为解码器的后述的图像预测解码装置300X自动选择相同的预测邻接区域的组合，需要使两者的组合的设定方法一致。

预测邻接区域取得器232X经由线L231aX输入1个预测邻接区域的组合信息时，经由线L202aX从坐标信息用存储器202X中取得针对该组合中包含的预测邻接区域的坐标信息。然后，预测邻接区域取得器232X经由线L104X取得与坐标信息对应的预测邻接区域的像素信号，随时输出到加权器234X。

加权器234X使经由线L232X输入的各预测邻接区域的像素信号乘以权重系数，经由线L234X输出到加法器235X。

加法器235X对加权后的预测邻接区域的像素信号进行累积相加并累计，由此，生成用于与对象邻接区域的像素信号(邻接像素信号)进行比较的比较信号，经由线L235X向比较/选择器236X输出所生成的比较信号。另外，关于加权器234X的动作，例如存在预测邻接区域的数量为N时使各预测邻接区域的像素信号乘以1/N的手法等，但是，也可以是其他手法。例如，考虑如下方法：计算N个预测邻接区域的像素信号和邻接像素信号的差分值(绝对误差和、平方误差和、方差等)，根据其比率来决定针对各预测邻接区域的权重系数。

这里，使加权器205X和加权器234X的加权方法相同，由此，能够使用预测邻接区域推测候选预测信号(预测区域的像素信号)的适当组合。预测邻接区域由编码器和解码器共用，所以，使用本手法的解码器即后述的图像预测解码装置300X具有如下效果：能够没有附加信息地取得由作为编码器的图像预测编码装置100X选择出的候选预测信号的组合。另外，加权器205X和加权器234X的加权方法不需要一定相同。例如，如下方法也是有效的：为了削减运算量，在加权器234X中应用单纯的加权处理，在加权器205X中应用基于局部信号的特征的适当的加权处理。

对象邻接区域取得器233X经由线L104X从帧存储器104X中取得对象邻接区域的像素信号(邻接像素信号)，并输出到比较/选择器236X。

比较/选择器236X在与多个预测邻接区域的组合对应的比较信号和邻接像素信号之间计算SAD值，选择其值最小的对象邻接区域的组合作为候选预测信号的组合。选择出的候选预测信号的组合作为候选预测信号的组合信息，经由线L203X输出到预测区域取得器204X。

这样，根据本实施方式，针对每个对象块，能够没有附加信息地从多个候选预测信号中选择在预测信号的生成中有效的候选预测信号的组合。

图37是示出利用本实施方式的模板匹配器201X针对每个对象区域(对象块)探索多个(M个)针对像素信号(对象像素信号)的候选预测信号、并取得用于访问探索到的候选预测信号的坐标信息的方法的流程图。首先，在对象邻接区域取得器211X中，从帧存储器104X中取得针对对象块的对象邻接区域(模板信号)(S502X)。

接着，模板匹配器201X将用于选择M个候选预测信号的阈值初始化为充分大的值(S503X)。在预测邻接区域取得器212X中，求出对象邻接区域和与探索区域内的对象邻接区域相同形状的像素组的差分绝对值和(SAD)(S504X)。通过模板匹配器201X内的比较器213X对SAD和阈值进行比较(S505X)，在判断为SAD值小于阈值的情况下，进入S506X，在判断为SAD值大于等于阈值的情况下，进入S508X。

在模板匹配器201X内的比较器213X中，对所求出的SAD值和以前的SAD值进行比较，在以从小到大的顺序在第M之前包含所求出的SAD值时，在候选预测信号(和预测邻接区域的像素信号)中追加探索到的像素组，更新候选信号。在本实施方式中，除了候选预测信号(和预测邻接区域的像素信号)以外，还根据开关214X的切换控制，在坐标信息用存储器202X中存储用于访问候选预测信号(和预测邻接区域的像素信号)的时空间的坐标信息(空间位置和包含有探索到的像素组的画面的识别编号)，由此更新坐标信息(S506X)。同时，模板匹配器201X将阈值更新为第M小的SAD值(S507X)。

然后，通过预测邻接区域取得器212X确认探索区域是否全部已探索(S508X)。在判断为不是全部已探索的情况下，返回S504X，通过预测邻接区域取得器212X，求出对象邻接区域和与探索区域内的对象邻接区域相同形状的下一像素组的差分绝对值和(SAD)。

在全部已探索的时点，一个对象块的模板匹配处理结束(S509X)。

这样，通过模板匹配器201X的处理，能够确定包含与对象邻接区域中的像素信号的相关高的像素信号在内的上位M个预测邻接区域。

接着，使用附图说明候选预测信号的组合决定器203X的处理。图38是示出本实施方式的候选预测信号的组合决定器203X中的、利用多个候选预测信号的平滑化(加权平均)来选择适于生成预测信号的N个候选预测信号的组合的方法的流程图。首先，组合决定器203X的组合设定器231X将候选预测信号的数量N设定为1(S602X)。接着，在对象邻接区域取得器233X中，从帧存储器104X中取得针对对象块的对象邻接区域(模板信号)(S603X)。

然后，利用预测邻接区域取得器232X经由线L104X取得属于由组合设定器231X设定的组合的N个预测邻接区域。即，预测邻接区域取得器232X从坐标信息用存储器202X中取得与对象块的像素信号和针对该对象块的对象邻接区域的邻接像素信号的差分值即SAD值小的N个预测邻接区域对应的坐标信息。然后，从帧存储器104X中取得与所取得的坐标信息对应的N个预测邻接区域(S604X)。

然后，在加权器234X和加法器235X中，通过N个预测邻接区域的像素信号的平均化(也可以是加权平均)生成比较信号(S605X)，利用比较/选择器236X计算所生成的比较信号和邻接像素信号的差分值即SAD值(S606X)。同时，在比较/选择器236X中，将计算出的SAD值与此前最小的SAD值进行比较(S607X)，在判断为SAD值是最小值的情况下，进入S608X，在判断为SAD值不是最小值的情况下，进入S609X。另外，在S607X中，在计算出的SAD值和此前最小的SAD值相同的情况下，进入S609X，但是也可以进入S608X。

在计算出的SAD值是此前最小的SAD值的情况下，利用比较/选择器236X存储在S604X中取得的坐标信息的组合(S608X)。

这里，组合决定器203X将N的值更新为2倍(S609X)。然后，比较更新后的N和M的大小(S610X)，在更新后的N的值小于M的情况下，返回S604X，在更新后的N的值大于M的情况下，将在S608X中存储的坐标信息的组合决定为候选预测信号的组合，结束候选预测信号的组合选择处理(S611X)。

这样，通过利用本实施方式的候选预测信号的组合处理，能够针对各对象块决定适当的候选预测信号的平滑化的强度、即平均化的预测候选信号的数量。换言之，确定对与邻接像素信号之间的差分值即SAD值小的N个预测邻接区域的像素信号进行平均化后的对象信号和邻接像素信号之间的差分SAD值最小的N，由此，能够从探索到的M个候选预测信号中，没有附加信息地选别适于生成预测信号的候选预测信号。

另外，使N的值为2的乘数是因为考虑了仅利用加法和位移运算来进行信号的平均化处理。在本实施方式中，N的值不限于2的乘数。并且，设定多个预测邻接区域的组合的方法不限于图38的方法。1个组合中包含的预测邻接区域的数量可以从1～M个中任意设定。例如，在制作由小于M的N个预测邻接区域构成的组合的情况下，能够从M个中选择N个来设定全部组合。此时，N的值可以是固定的，也可以在1～M之间选择2个以上来设定组合。并且，为了使编码器和解码器自动选择相同的预测邻接区域的组合，需要使两者的组合的设定方法一致。

图39是示出本实施方式的利用多个候选预测信号的平滑化(加权平均)来生成预测信号的方法的流程图。

在预测区域取得器204X中，根据选择出的坐标信息，从帧存储器104X中取得1个以上的与对象块对应的候选预测信号(S702X)。然后，在加权器205X和加法器206X中，对所取得的候选预测信号进行加权平均，由此生成对象块的预测信号(S703X)。由此，针对一个对象块的处理结束(S704X)。

图40是示出本实施方式的图像预测编码装置100X中的图像预测编码方法的流程图。首先，利用图34的预测信号生成器103X，生成对象块的预测信号(S102X)。接着，通过转换器106X、量子化器107X和熵编码器111X对表示对象块的信号和对象块的预测信号的差分的残差信号进行编码(S103X)。然后，经由输出端子112X输出编码后的残差信号(S105X)。

然后，为了对后续的对象块进行预测编码，通过逆量子化器108X和逆转换器109X对编码后的残差信号进行解码。然后，通过加法器110X在解码后的残差信号中加上预测信号，再现对象块的信号，在帧存储器104X中存储为参照图像(S106X)。然后，在全部对象块的处理未完成的情况下，返回S102X，进行针对下一对象块的处理，在完成的情况下，结束处理(S107X)。

如以上说明的那样，在本实施方式的图像预测编码装置100X中，不使用附加信息，就能够得到使用多个预测信号进行平滑化后的预测信号。

接着，说明本实施方式的图像预测解码方法。图41是示出本实施方式的图像预测解码装置300X的框图。该图像预测解码装置300X具有：输入端子301X、熵解码器302X(数据解码单元)、逆量子化器303X(残差信号复原单元)、逆转换器304X(残差信号复原单元)、加法器305X(再现图像信号生成单元)、输出端子306X、帧存储器307X以及预测信号生成器308X(预测信号生成单元)。基于逆量子化器303X和逆转换器304X的残差信号复原单元也可以使用除此之外的部件。并且，也可以没有逆转换器304X。下面，说明各结构。

输入端子301X输入利用上述图像预测编码方法压缩编码后的压缩数据。在该压缩数据中包含有预测将图像分割为多个块后的对象块并进行了编码的残差信号。

熵解码器302X对由输入端子301X输入的压缩数据进行熵解码，由此，对对象块的残差信号的编码数据进行解码。

逆量子化器303X经由线L302X输入解码后的对象块的残差信号，并进行逆量子化。逆转换器304X对逆量子化后的数据进行逆离散余弦转换。逆量子化器303X和逆转换器304X分别输出进行逆量子化和逆离散余弦转换而得到的信号，作为差分信号(再现残差信号)。

预测信号生成器308X基本上具有与图34所示的结构相同的结构或与其相当的功能，通过与图34的预测信号生成器103X相同的处理来生成预测信号。预测信号生成器308X仅根据存储在帧存储器307X中的已再现信号来生成预测信号，所以，利用相同方法来管理针对帧存储器307X和图33的帧存储器104X的输入数据，由此，能够生成与图33的预测信号生成器103X相同的预测信号。该预测信号生成器308X的详细结构已经在图34中进行了说明，因而省略。这样动作的预测信号生成器308X经由线L308X向加法器305X输出所生成的预测信号。

加法器305X在通过逆量子化器303X和逆转换器304X复原的差分信号(再现残差信号)中加上由预测信号生成器308X生成的预测信号，经由线L305X向输出端子306X和帧存储器307X输出对象块的再现图像信号。然后，输出端子306X向外部(例如显示器)输出。

作为用于下一解码处理的参照用的再现图像，帧存储器307X存储从加法器305X输出的再现图像作为参照图像。此时，利用与图33的图像预测编码装置100X相同的方法来管理再现图像。

接着，使用图42说明本实施方式的图像预测解码装置300X的图像预测解码方法。首先，经由输入端子301X输入被压缩的压缩数据(S302X)。然后，在熵解码器302X中，对压缩数据进行熵解码，提取量子化后的转换系数(S303X)。这里，利用预测信号生成器308X生成预测信号(S304X)。S304X的处理基本上与图40的处理S102X相同，实施图37～39的处理。

另一方面，在逆量子化器303X中，使用量子化参数对量子化后的转换系数进行逆量子化，在逆转换器304X中进行逆转换，生成再现差分信号(S305X)。然后，对所生成的预测信号和再现差分信号进行相加，生成再现信号，为了再现下一对象块，将再现信号存储在帧存储器中(S306X)。在存在下一压缩数据的情况下，再次重复该处理(S307X)，直到最后对全部数据进行了处理(S308X)。另外，也可以根据需要返回S302X，取入压缩数据。

能够将本实施方式的图像预测编码方法和图像预测解码方法作为程序存储在记录介质中来提供。作为记录介质，可以例示软盘(注册商标)、CD-ROM、DVD、或者ROM等记录介质、或者半导体存储器等。

图43是示出能够执行图像预测编码方法的程序的模块的框图。图像预测编码程序P100X构成为包含：块分割模块P102X、预测信号生成模块P103X、存储模块P104X、减法模块P105X、转换模块P106X、量子化模块P107X、逆量子化模块P108X、逆转换模块P109X、加法模块P110以及熵编码模块P111。另外，如图44所示，预测信号生成模块P103X构成为包含：模板匹配模块P201X、候选预测信号的组合决定模块P202X以及预测信号合成模块P203X。

通过执行上述各模块而实现的功能与上述图像预测编码装置100X的各结构要素相同。即，图像预测编码程序P100X的各模块的功能与块分割器102X、预测信号生成器103X、帧存储器104X、减法器105X、转换器106X、量子化器107X、逆量子化器108X、逆转换器109X、加法器110X以及熵编码器111X的功能相同，预测信号生成模块P103X的各模块的功能与模板匹配器201X、候选预测信号的组合决定器203X、用于信号合成的预测区域取得器204X～加法器206X的功能相同。

并且，图45是示出能够执行图像预测解码方法的程序的模块的框图。图像预测解码程序P300X构成为包含：熵解码模块P302X、逆量子化模块P303X、逆转换模块P304X、加法模块P305X、存储模块P307X以及预测信号生成模块P308X。

通过执行上述各模块而实现的功能与上述图像预测解码装置300X的各结构要素相同。即，图像预测解码程序P300X的各模块的功能与熵解码器302X、逆量子化器303X、逆转换器304X、加法器305X以及帧存储器307X的功能相同。另外，预测信号生成模块P308X具有与图像预测编码程序P100X中的预测信号生成模块P103X相同的功能，具有模板匹配器201X、候选预测信号的组合决定器203X、用于信号合成的预测区域取得器204X～加法器206X的功能。

这样构成的图像预测编码程序P100X或图像预测解码程序P300X存储在记录介质10X中，由后述的计算机来执行。

图48是示出用于执行记录在记录介质中的程序的计算机的硬件结构的图，图49是用于执行存储在记录介质中的程序的计算机的立体图。作为计算机，包含具有CPU并进行基于软件的处理和控制的DVD播放器、机顶盒、便携电话等。

如图48所示，计算机30X具有：软盘驱动装置、CD-ROM驱动装置、DVD驱动装置等读取装置12X；使操作系统常驻的作业用存储器(RAM)14X；存储在记录介质10X中存储的程序的存储器16X；被称为显示器的显示装置18X；作为输入装置的鼠标20X和键盘22X；用于进行数据等的收发的通信装置24X；以及控制程序的执行的CPU26X。在将记录介质10X插入到读取装置12X中时，计算机30X能够从读取装置12X访问存储在记录介质10X中的图像预测编码程序P100X或图像预测解码程序P300X，能够通过图像预测编码程序P100X或图像预测解码程序P300X，作为本实施方式的图像预测编码装置100X或图像预测解码装置300X来动作。

如图49所示，图像预测编码程序P100X或图像预测解码程序P300X也可以作为载波中重叠的计算机数据信号40X而经由网络提供。在该情况下，计算机30X将通过通信装置24X接收到的图像预测编码程序P100X或图像预测解码程序P300X存储在存储器16X中，从而能够执行该图像预测编码程序P100X或图像预测解码程序P300X。

此前说明的本实施方式可以如下变形。在图34的候选预测信号的组合决定器203X中，计算与对对象块的对象邻接区域的像素信号和多个邻接预测区域的像素信号进行加权平均后的比较信号之间的差分值即SAD值(绝对误差值的和)，来决定最佳的候选预测信号的组合，但是，不使用SAD值，使用差分信号的平方误差的和(SSD)或方差(VAR)，也能够决定组合。3个评价基准的运算量按照SAD、SSD、VAR的顺序增加，但是，另一方面，评价的精度提高，得到能够减少误差信号的编码量这样的效果。

并且，在得到多个对象邻接信号和对象信号的差分值即SAD值为相同值的组合时，使用SSD和VAR来决定最终的组合的方法也是有效的。即，在预测邻接区域取得器232X中计算出的SAD值与此前计算出的最小值一致的情况下，比较/选择器236X进一步将SSD或VAR作为比较对象，比较哪个值小。这里，将判断为SSD或VAR小的组合作为具有最小值的组合存储在比较/选择器236X中。该情况下，比较/选择器236X与SAD一起计算SSD或VAR，并临时存储。

进而，也可以是如下方法：不是邻接预测区域的像素信号，而针对多个候选预测信号的组合来计算其方差，并用于组合的决定。具体而言，能够通过将图34的预测邻接区域取得器232X、加权器234X、加法器235X分别置换为预测区域取得器204X、加权器205X、加法器206X来实现。该变形例不需要对象邻接区域取得器233X的处理，并且，能够从比较/选择器236X向图33的减法器105X输出预测信号，所以，具有能够缩减电路规模的效果。

在模板匹配器201X的比较器213X中，在对象块的对象邻接区域和与探索到的对象邻接区域相同形状的像素组的评价中使用差分值即SAD值，但是，也可以用SSD或VAR代替，能够期待与上述候选预测信号的组合决定器203X的情况相同的效果。

图33的预测信号生成器103X不限于图34的结构。例如，在图34中，将用于访问由模板匹配器检索到的多个候选预测信号的坐标信息存储在坐标信息用存储器202X中，但是，也可以构成为预先存储候选预测信号和预测邻接区域的像素信号。虽然图34内的存储量增加，但是，具有减少针对帧存储器104X的访问的效果。并且，模板匹配器201X经由线L201bX向候选预测信号的组合决定器203X输出对象邻接区域和M个预测邻接区域之间的差分值即SAD值，但是，在组合的设定中不使用它们的差分值即SAD值的情况下，不需要线L201bX。

在本实施方式中，利用已再现像素构成对象邻接区域，但是，也可以利用邻接块的预测信号构成。在希望使预测区域比误差信号的编码块单位小的情况下、或者希望不进行编码/解码处理而生成对象邻接区域的信号的情况下，是有效的。

本实施方式能够应用于如下手法：利用模板匹配来探索不确定的数量的候选信号，并选择适当数量的候选信号。

接着，说明本实施方式的图像预测编码装置100X和图像预测解码装置300X的作用效果。

在本实施方式的图像预测编码装置100X中，模板匹配器201X从由已再现图像构成的探索区域401X和417X中，探索与由已再现的邻接像素信号构成的对象邻接区域403X的相关高的多个预测邻接区域404aX～404cX、414aX～414cX，该对象邻接区域403X与由对象像素信号构成的对象区域(对象块)402X邻接。候选预测信号的组合决定器203X中的组合设定器231X导出2个以上的包含探索到的多个预测邻接区域404aX～404cX、414aX～414cX中至少1个在内的任意预测邻接区域的组合。然后，预测邻接区域取得器232X提取所导出的预测邻接区域的像素信号，加权器234X和加法器235X使用预先确定的合成方法，例如通过平均化对提取出的像素信号进行加工，由此，按照每个组合分别针对邻接像素信号生成比较信号。然后，比较/选择器236X选择由加权器234X等生成的比较信号和由对象邻接区域取得器233X取得的邻接像素信号的相关高的组合。预测区域取得器204X根据属于选择出的组合的预测邻接区域，生成1个以上的对象像素信号的候选预测信号，加权器205X和加法器206X使用预先确定的合成方法对候选预测信号进行加工，由此生成预测信号。减法器105X从经由块分割器102X取得的对象像素信号中减去这样生成的预测信号，生成残差信号，转换器106X、量子化器107X和熵编码器111X对所生成的残差信号进行编码。

由此，能够使用与对象块邻接的由已再现的邻接像素信号构成的对象邻接区域，选择适于平滑化的候选预测信号的组合而不会增多信息量，所以，能够高效地生成考虑了局部噪声特性的预测信号。

并且，本实施方式的图像预测编码装置100X中的比较/选择器236X选择比较信号和邻接像素信号的差分的绝对值和即SAD值小的组合，由此，能够选择更适于平滑化的候选预测信号的组合。

并且，本实施方式的图像预测编码装置100X中的加权器234X和加法器235X对属于在组合设定器231X中设定的组合的预测邻接区域的像素信号进行加权平均来生成比较信号，由此，能够生成选择更适于平滑化的候选预测信号的组合时的适当的比较信号。

并且，本实施方式的图像预测编码装置100X中的组合设定器231X设定的预测邻接区域的组合按照与对象邻接区域的相关从高到低的顺序包含2的n次方个预测邻接区域，由此，能够仅进行相加和移位运算，实际安装时能够采用简易的结构。这里，优选n的值是0以上的整数。

并且，在本实施方式的图像预测解码装置300X中，模板匹配器201X从由已再现图像构成的探索区域401X和417X中，探索与由已再现的邻接像素信号构成的对象邻接区域403X的相关高的多个预测邻接区域404aX～404cX、414aX～414cX，该对象邻接区域403X与由对象像素信号构成的对象区域(对象块)402X邻接。候选预测信号的组合决定器203X中的组合设定器231X导出2个以上的包含探索到的多个预测邻接区域404aX～404cX、414aX～414cX中至少1个在内的任意预测邻接区域的组合。然后，预测邻接区域取得器232X提取所导出的预测邻接区域的像素信号，加权器234X和加法器235X使用预先确定的合成方法，例如通过平均化对提取出的像素信号进行加工，由此，按照每个组合分别针对邻接像素信号生成比较信号。然后，比较/选择器236X选择由加权器234X等生成的比较信号和由对象邻接区域取得器233X取得的邻接像素信号的相关高的组合。预测区域取得器204X根据属于选择出的组合的预测邻接区域，生成1个以上的对象像素信号的候选预测信号，加权器205和加法器206X使用预先确定的合成方法对候选预测信号进行加工，由此生成预测信号。

然后，根据经由输入端子301X输入的压缩数据，熵解码器302X、逆量子化器303X、逆转换器304X复原差分信号，加法器305X将如上所述生成的预测信号和所复原的差分信号进行相加，生成再现图像信号。

由此，能够使用与对象块邻接的由已再现的邻接像素信号构成的对象邻接区域，选择适于平滑化的候选预测信号的组合而不会增多信息量，所以，能够高效地生成考虑了局部噪声特性的预测信号。

并且，本实施方式的图像预测解码装置300X中的比较/选择器236X选择比较信号和邻接像素信号的差分的绝对值和即SAD值小的组合，由此，能够选择更适于平滑化的候选预测信号的组合。

并且，本实施方式的图像预测解码装置300X中的加权器234X和加法器235X对属于在组合设定器231X中设定的组合的预测邻接区域的像素信号进行加权平均来生成比较信号，由此，能够生成选择更适于平滑化的候选预测信号的组合时的适当的比较信号。

并且，本实施方式的图像预测解码装置300X中的组合设定器231X设定的预测邻接区域的组合按照与对象邻接区域的相关从高到低的顺序包含2的n次方个预测邻接区域，由此，能够仅进行相加和移位运算，实际安装时能够采用简易的结构。这里，优选n的值是0以上的整数。

并且，在本实施方式的图像预测编码程序P100X中，模板匹配模块P201X从由已再现图像构成的探索区域401X和417X中，探索与由已再现的邻接像素信号构成的对象邻接区域403X的相关高的多个预测邻接区域404aX～404cX、414aX～414cX，该对象邻接区域403X与由对象像素信号构成的对象区域(对象块)402X邻接。候选预测信号的组合决定模块P202X导出2个以上的包含探索到的多个预测邻接区域404aX～404cX、414aX～414cX中至少1个在内的任意预测邻接区域的组合。然后，候选预测信号的组合决定模块P202X提取所导出的预测邻接区域的像素信号，使用预先确定的合成方法，例如通过平均化对提取出的像素信号进行加工，由此，按照每个组合分别针对邻接像素信号生成比较信号。然后，预测信号合成模块P203X选择所生成的比较信号和所取得的邻接像素信号的相关高的组合。候选预测信号的组合决定模块P202X根据属于选择出的组合的预测邻接区域，生成1个以上的对象像素信号的候选预测信号，使用预先确定的合成方法对候选预测信号进行加工，由此生成预测信号。减法模块P105X从经由块分割模块P102X取得的对象像素信号中减去这样生成的预测信号，生成残差信号，转换模块P106X、量子化模块P107X和熵编码模块P111X对所生成的残差信号进行编码。

并且，在本实施方式的图像预测解码程序P300X中，模板匹配模块P201X从由已再现图像构成的探索区域401X和417X中，探索与由已再现的邻接像素信号构成的对象邻接区域403X的相关高的多个预测邻接区域404aX～404cX、414aX～414cX，该对象邻接区域403X与由对象像素信号构成的对象区域(对象块)402X邻接。预测信号合成模块P203X导出2个以上的包含探索到的多个预测邻接区域404aX～404cX、414aX～414cX中至少1个在内的任意预测邻接区域的组合。然后，预测信号合成模块P203X提取所导出的预测邻接区域的像素信号，使用预先确定的合成方法，例如通过平均化对提取出的像素信号进行加工，由此，按照每个组合分别针对邻接像素信号生成比较信号。然后，预测信号合成模块P203X选择所生成的比较信号和所取得的邻接像素信号的相关高的组合。预测信号合成模块P203X根据属于选择出的组合的预测邻接区域，生成1个以上的对象像素信号的候选预测信号，预测信号合成模块P203X使用预先确定的合成方法对候选预测信号进行加工，由此生成预测信号。

然后，根据所输入的压缩数据，熵解码模块P302X、逆量子化模块P303X、逆转换模块P304X复原差分信号，加法模块P305X将如上所述生成的预测信号和所复原的差分信号进行相加，生成再现图像信号。

<第6实施方式>

接着，关于候选预测信号的组合决定器203X(参照图34)和候选预测信号的组合决定方法(参照图38)，示出能够使平滑化的候选预测信号具有多样性的其他实施方式。这些实施方式除了候选预测信号的组合决定器203X(参照图34)和候选预测信号的组合决定方法(参照图38)以外的部分，与第5实施方式的预测信号生成器103X结构相同，所以省略说明。另外，本实施方式的发明能够应用于图像预测编码装置、图像预测解码装置、图像预测编码方法、图像预测解码方法能够执行图像预测编码方法的程序、以及用于执行记录在记录介质中的程序的计算机的硬件结构。并且，在图34和图38中用相同编号示出的功能或方法也是与上述相同的动作和处理，所以，以下省略说明。并且，本实施方式也能够应用于上述图像预测编码装置100X或图像预测解码装置300X。

图50是示出第6实施方式的预测信号生成器103aX的结构的框图。该预测信号生成器103aX构成为包含：模板匹配器201X、坐标信息用存储器202X、候选预测信号的组合决定器203bX、预测区域取得器204X、加权器205X以及加法器206X。与上述第5实施方式的预测信号生成器103X的不同之处在于，候选预测信号的组合决定器203bX的结构。即，在图34的候选预测信号的组合决定器203X中，使用经由L201bX输入的M个SAD值(对象邻接区域和M个各预测邻接区域之间的绝对值误差和)，设定预测邻接区域的组合，但是，在图50的候选预测信号的组合决定器203bX中，使用经由L201bX输入的M个SAD值和经由L202cX输入的预测邻接区域的坐标信息，设定预测邻接区域的组合。

更具体而言，图50的组合设定器237X的结构与图34的组合设定器231X的结构不同，进而，图50的候选预测信号的组合决定器203bX在图34的候选预测信号的组合决定器203X的结构的基础上，构成为包含预测邻接区域数量的设定器230X。

预测邻接区域数量的设定器230X是根据由模板匹配器201X探索到的预测邻接区域的数量M来确定平滑化的预测邻接区域的数量的候选的部分。即，预测邻接区域数量的设定器230X经由线L201bX输入由模板匹配器201X探索到的预测邻接区域的数量M。然后，预测邻接区域数量的设定器230X计算1个以上的小于M值的2的乘数N，依次改变N的值并经由线L230X输出到组合设定器237X。例如，在M为6的情况下，输出N＝1、2、4，在M为30的情况下，输出N＝1、2、4、8、16。

组合设定器237X是使用经由线L230X输入的N值、经由L201bX输入的M个SAD值和经由L202cX输入的M个预测邻接区域的坐标信息，选择N个预测邻接区域的部分。然后，将选择信息(能够识别选择出的预测邻接区域的信息)作为预测邻接区域的组合信息，依次改变N个预测邻接区域的组合，并经由线L237X输出多个到预测邻接区域取得器232X。

这样，在候选预测信号的组合决定器203bX中，组合设定器237X生成针对不同N值的预测邻接区域的组合信息，利用图34中说明的步骤选择1个组合信息。

图51是示出组合设定器237X的详细结构的框图。该组合设定器237X构成为包含：评价对象的预测邻接区域的决定器281X、计数器282X、参照图像的评价器283X以及运动向量的评价器284X。组合设定器237X针对输入值N，使用由模板匹配器201X探索到的M个预测邻接区域的坐标信息，选择N个预测邻接区域，输出选择信息作为预测邻接区域的组合信息。另外，在该实施方式中，使用坐标信息、即参照图像的识别编号(参照图像编号)、对象邻接区域和预测邻接区域之间的画面内的空间的差分坐标(以下称为运动向量)，选择由N个预测邻接区域构成的预测邻接区域的组合，但是，在选择中使用的数据不限于参照图像编号和运动向量。该坐标信息只要是与各候选预测信号的生成有关、且唯一确定预测邻接区域的信息即可，只要是用于访问预测邻接区域的信息即可。例如，在使用预测邻接区域的像素信号从预先确定的多个预测方法中决定1个预测方法的情况下，在选择中使用的数据也可以包含预测方法。

评价对象的预测邻接区域的决定器281X是如下部分：在从由模板匹配器201X探索到的M个预测邻接区域中选择N个预测邻接区域之前，将作为选择对象的预测邻接区域的数量限制为R个。该R值如后所述，是通过对M个预测邻接区域中规定阈值以上的SAD的预测邻接区域进行计数而确定的数值。该R值的决定具有如下效果：在N值相对于M值非常小的情况下，不选择与对象邻接区域之间的SAD值大的预测邻接区域。

在评价对象的预测邻接区域的决定器281X中，经由线L201bX输入有与由模板匹配器201X探索到的M个预测邻接区域对应的M个SAD值(对象邻接区域和M个各预测邻接区域之间的差分数据)，同时，经由线L230X输入有应该选择的预测邻接区域的数量N。评价对象的预测邻接区域的决定器281X对针对所输入的N值而预先确定的阈值和M个SAD值进行比较，对小于阈值的SAD值的数量进行计数。然后，将这样计数得到的小于阈值的SAD值的数量作为评价对象的预测邻接区域的数量R，经由线L281X输出到计数器282X。但是，在R值小于N值或与N值相同的情况下，不需要选择预测邻接区域，所以，评价对象的预测邻接区域的决定器281X将该信息作为N个(R个)预测邻接区域的组合信息，经由线L237X输出到预测邻接区域取得器232X。另外，如上述所示，R值的决定具有如下效果：在N值相对于M值过小的情况下，不选择与对象邻接区域之差大的预测邻接区域。因此，只要满足该条件，在R值的决定中也可以使用阈值以外的手段。例如，也可以对2×N值和M值进行比较，将较小的一方作为R值输出，在通过阈值处理而决定的R值大于2×N值的情况下，也可以将R值限制为2×N值。并且，阈值也可以不预先确定，而进行编码。

在计数器282X中输入有经由线L281X输入的评价对象的预测邻接区域的数量R后，计数器282X从1到R逐一更新计数器值P，并且经由线L282aX和线L282bX输出到参照图像的评价器283X和运动向量的评价器284X。

参照图像的评价器283X是从R个参照图像编号中，考虑其多样性来选择N个参照图像编号的部分。首先，该参照图像的评价器283X经由线L282aX被输入P值后，经由线L202cX从坐标信息用存储器202X中取得用于访问与对象邻接区域之间的SAD值第P小的预测邻接区域的参照图像编号。取得R个参照图像编号后，参照图像的评价器283X确认探索区域内的各参照图像中包含的预测邻接区域的数量Ref[i](i＝1、2、…、F；i是参照图像编号，F是作为模板匹配器201X的探索对象的参照图像的数量)。接着，参照图像的评价器283X将与对象邻接区域之间的SAD值最小的预测邻接区域所属的参照图像编号i作为初始值，实施以下动作。

1)选择参照图像编号i。

2)逐一减去预测邻接区域的数量Ref[i]的值。将预测邻接区域的数量Ref[i]为0的参照图像编号从选择对象中排除出去。

3)使参照图像编号i增加1。当i为F时，将i复位为1。

循环地反复进行该动作，直到选择出N个参照图像为止。选择出的N个参照图像编号经由线L283X输出到运动向量的评价器284X。

例如，在图58所示的示出参照图像450X和预测邻接区域的数量Ref[i]之间的关系的概念图中，在每个参照图像中形成有预测邻接区域。参照图像编号为1表示形成有3个该预测邻接区域404iX，该情况下，Ref[1]＝3。反复进行上述处理1)-处理3)，由此，取得Ref[i]值为上位N个的参照图像编号。

另外，参照图像的选择方法只要能够确保预测邻接区域的多样性即可，所以，不限于向上计数识别编号的方法。例如，也可以考虑与参照图像编号i对应的Ref[i]的比率Ref[i]/R来选择参照图像。并且，也可以考虑参照图像相对于编码对象图像的位置(过去、未来、现在)，以预先确定的比率进行选择。

运动向量的评价器284X是如下的部分：从参照图像的评价器283X输入N个参照图像编号后，考虑运动向量的多样性，并从R个运动向量中选择N个运动向量。该R个运动向量对应于上述R个预测邻接区域。运动向量的评价器284X经由线L282bX输入P值后，经由线L202cX取得用于访问与对象邻接区域之间的SAD值第P小的预测邻接区域的参照图像编号和运动向量信息。取得R个运动向量后，运动向量的评价器284X针对每个参照图像，确认与和对象邻接区域之间的SAD值最小的预测邻接区域对应的运动向量SMV[i]。接着，运动向量的评价器284X针对经由线L283X输入的N个参照图像编号，对应运动向量。具体而言，

4)按照参照图像编号对R个运动向量进行分类，分别计算应该选择的运动向量的数量NumMV[i]。

5)接着，选择NumMV[i]大于1的参照图像编号i的SMV[i]。

6)然后，针对各参照图像编号i，按照与SMV[i]的绝对值差分和从大到小的顺序，选择“NumMV[i]-1”个运动向量。

将与这样选择出的运动向量和参照图像编号的组对应的N个预测邻接区域的信息作为预测邻接区域的组合信息，经由线L237X输出到预测邻接区域取得器232X。

图59示出与该运动向量有关的处理4)～6)的处理概念。根据图59，各参照图像中存在有多个预测邻接区域，与其对应地还存在有运动向量。例如，在图59的例子中，在参照图像编号1中存在运动向量MV1和MV2。该情况下，NumMV[1]＝2。并且，例如在运动向量MV1小于MV2的情况下，选择运动向量MV1作为SMV[1]。并且，运动向量的数量NumMV[3]＝0，所以，在处理2)中，不选择参照图像编号3，而选择其他参照图像编号1、2、4、5。

另外，运动向量的选择方法只要能够确保多样性即可，所以，不限于上述所示的方法。例如，也可以利用选择出的参照图像i的运动向量来更新SMV[i]，由此，接着选择与之前选择出的运动向量的绝对值差分和大的运动向量。

并且，如图51所示，通过使用用于访问各预测邻接区域的坐标信息(参照图像编号和运动向量)，由此，能够选择在时空间方向上具有多样性的预测邻接区域。另外，在上述中，组合设定器237X从R个预测邻接区域中选择N个预测邻接区域，但是，不需要使用坐标信息选择全部N个。例如，还可考虑针对N/2个选择与对象邻接区域之间的SAD值小的预测邻接区域的方法，该情况下，得到预测性能稳定的效果。并且，还可考虑对与SMV[i]的运动向量的绝对值差分和施加限制，在大于预先确定的阈值的情况下从选择对象中排除，该手段也使预测性能稳定。另外，组合设定器237X内的结构不限于图51。例如，在设R值为M值的情况下、以及相对于N值预先设定R值的情况下，不一定需要评价对象的预测邻接区域的决定器281X。该情况下，能够仅利用坐标信息、即运动参数来实施预测邻接区域的选择。

如以上说明的那样，一并使用图51所示的能够考虑多样性来选择预测邻接区域的组合的组合设定器237X、以及图50所示的能够使用对象邻接区域和预测邻接区域的关系来选择平滑化的候选预测信号的数量的候选预测信号的组合决定器203bX(预测信号生成器103aX)，由此，能够考虑时空间的多样性，实施平滑化的候选预测信号的数量的选择动作。另外，候选预测信号的组合决定器203bX内的结构不限于图50的结构。例如，预测邻接区域数量的设定器230X也可以包含在组合设定器237X中。

接着，说明图50和图51所示的预测信号生成器103aX的动作、即候选预测信号的组合决定方法。图52是示出使用组合设定器237X的预测信号生成器103aX的动作的流程图，示出以使平滑化的候选预测信号具有多样性为目的的候选预测信号的组合决定方法。在图52中，与图38不同，利用预测邻接区域数量的设定器230X来实施设定候选预测信号的数量N的处理(S602X、S609X)。

首先，组合决定器203X的组合设定器237X将候选预测信号的数量N设定为1(S602X)。接着，在对象邻接区域取得器233X中，从帧存储器104X中取得针对对象块的对象邻接区域(模板信号)(S603X)。

另一方面，利用组合设定器237X，使用用于访问预测邻接区域的坐标信息(参照图像编号和运动向量)、以及对象邻接区域和预测邻接区域的差分SAD值，选择N个预测邻接区域(S604aX)。以后的处理与图38相同。

即，在预测邻接区域取得器232X、加权器234X和加法器235X中，取得N个预测邻接区域的像素信号，通过其平均化(也可以是加权平均)生成比较信号(S605X)，利用比较/选择器236X计算所生成的比较信号和邻接像素信号的差分值即SAD值(S606X)。同时，在比较/选择器236X中，将计算出的SAD值与此前最小的SAD值进行比较(S607X)，在判断为SAD值是最小值的情况下，进入S608X，在判断为SAD值不是最小值的情况下，进入S609X。另外，在S607X中，在计算出的SAD值和此前最小的SAD值相同的情况下，进入S609X，但是也可以进入S608X。

在计算出的SAD值是此前最小的SAD值的情况下，利用比较/选择器236X存储在S604X中取得的坐标信息的组合(S608X)。

这里，组合设定器237X将N值更新为2倍(S609X)。然后，比较更新后的N值和M值的大小(S610X)，在更新后的N值小于M值的情况下，返回S604X，在更新后的N值大于M值的情况下，将在S608X中存储的坐标信息的组合决定为候选预测信号的组合，结束候选预测信号的组合选择处理(S611X)。

接着，说明上述处理S604aX的详细处理。图53是示出使用预测邻接区域的坐标信息来选择N个预测邻接区域时的组合设定器237X的动作的流程图。在该处理中，针对输入值N，使用在由模板匹配器201X探索候选预测信号的处理(参照图37)中探索到的M个预测邻接区域的坐标信息，来选择N个预测邻接区域。

另外，该实施方式的组合设定器237X使用坐标信息、即参照图像编号和运动向量选择由N个预测邻接区域构成的组合，但是，在选择中使用的数据不限于参照图像编号和运动向量。只要是与各候选预测信号的生成有关、且使用预测邻接区域唯一确定的信息，也可以包含于在选择中使用的数据，只要是用于访问预测邻接区域的信息即可。例如，在使用预测邻接区域的信号从预先确定的多个预测方法中决定1个预测方法的情况下，在选择中使用的数据也可以包含预测方法。

首先，在评价对象的预测邻接区域的决定器281X中，在从由模板匹配器201X探索到的M个预测邻接区域中选择N个预测邻接区域之前，将作为选择对象的预测邻接区域的数量设定为R个来进行限制(S802X)。该R值的设定具有如下效果：在N值相对于M值非常小的情况下，不选择与对象邻接区域之间的SAD值大的预测邻接区域。因此，只要满足该条件，在R值的决定方法中也可以使用阈值以外的方法。例如，也可以对2×N和M进行比较，将较小的一方作为R输出，在通过阈值处理而计算出的R大于2×N的情况下，也可以将R限制为2×N。并且，阈值也可以不预先确定，而进行编码。

接着，评价对象的预测邻接区域的决定器281X对R值和N值进行比较，在R值小于N值或与N值相同的情况下，不需要选择预测邻接区域，所以，结束预测邻接区域的选择处理(S803X：否)。在R值大于N值的情况下，计数器282X对计数值P进行初始化(S804X)。参照图像的评价器283X和运动向量的评价器284X依次从坐标信息用存储器202X中，取得用于访问与对象邻接区域之间的SAD值第P小的预测邻接区域的参照图像编号和运动向量(S805X)。对P值和R值进行比较(S806X)，在P值小于R值的情况下(S806X：是)，在计数值P中加1(S807X)，反复进行S805X的处理。

当P值到达R值时(S805X：否)，参照图像的评价器283X从R个参照图像编号中，考虑其多样性来选择N个参照图像编号(S808X)。具体而言，首先，将取得的R个参照图像编号作为对象，确认探索区域内的各参照图像中包含的预测邻接区域的数量Ref[i](i＝1、2、…、F；i是参照图像编号，F是作为模板匹配器201X的探索对象的参照图像的数量)。接着，参照图像的评价器283X将与对象邻接区域之间的SAD值最小的预测邻接区域所属的参照图像编号i作为初始值，实施以下处理。

1)选择参照图像编号i。

2)逐一减去预测邻接区域的数量Ref[i]的值。将Ref[i]为0的参照图像编号从选择对象中排除出去。

3)使参照图像编号i增加1。当i为F时，将i复位为1。

循环地反复进行该处理，直到选择出N个参照图像为止。另外，参照图像的选择方法只要能够确保多样性即可，所以，不限于向上计数识别编号的方法。例如，也可以考虑与参照图像编号i对应的预测邻接区域的数量Ref[i]的比率Ref[i]/R来选择参照图像。并且，也可以考虑参照图像相对于编码对象图像的位置(过去、未来、现在)，以预先确定的比率进行选择。

接着，运动向量的评价器284X从R个运动向量中，考虑其多样性选择N个运动向量(S809X)。具体而言，首先，运动向量的评价器284X针对每个参照图像，确认与对象邻接区域之间的SAD值最小的运动向量SMV[i]。接着，运动向量的评价器284X针对在S808X中选择出的N个参照图像编号，对应运动向量。具体而言，

4)按照参照图像编号对R个运动向量进行分类，分别计算应该选择的运动向量的数量NumMV[i]。

5)选择NumMV[i]大于1的参照图像编号i的SMV[i]。

6)然后，针对各参照图像编号i，按照与SMV[i]的绝对值差分和从大到小的顺序，选择“NumMV[i]-1”个运动向量。另外，运动向量的选择方法只要能够确保多样性即可，所以，不限于上述所示的方法。例如，也可以利用选择出的参照图像i的运动向量来更新SMV[i]，由此，接着选择与之前选择出的运动向量的绝对值差分和大的运动向量。

这样，除了对象邻接区域和多个预测邻接区域之间的差分数据以外，还使用用于访问各预测邻接区域的运动参数，由此，能够选择在时空间方向上具有多样性的预测邻接区域。另外，在上述中，从R个中选择N个预测邻接区域，但是，不需要使用运动参数选择全部N个。例如，选择N/2个与对象邻接区域之间的SAD值小的预测邻接区域的方法也得到预测性能稳定的效果。并且，还可考虑对与SMV[i]的运动向量的绝对值差分和施加限制，在大于预先确定的阈值的情况下从选择对象中排除，该方法也使预测性能稳定。另外，在设R值为M值的情况下、以及相对于N值预先设定R值的情况下，不需要处理S803X，该情况下，能够仅利用坐标信息、即运动参数来实施预测邻接区域的选择处理。

并且，一并使用图53所示的“考虑多样性来选择预测邻接区域的组合的处理”、以及图52所示的“使用对象邻接区域和预测邻接区域的关系来选择平滑化的候选预测信号的数量的处理”，由此，能够考虑时空间的多样性，实施平滑化的候选预测信号的数量的选择处理。

能够将本实施方式的图像预测编码方法和图像预测解码方法作为程序存储在记录介质中来提供。作为记录介质，可以例示软盘(注册商标)、CD-ROM、DVD、或者ROM等记录介质、或者半导体存储器等。其具体的模块结构如图43、图44和图45所示。另外，这里，预测信号生成模块P103X的功能相当于上述预测信号生成器103aX。并且，相当于组合设定器237X的组合设定模块如图60所述。图60是示出组合设定模块P237X的模块结构的框图。该组合设定模块P237X由评价对象的预测邻接区域的决定模块P281X、计数模块P282X、参照图像的评价模块P283X以及运动向量的评价模块P284X构成。这些各模块具有与图51所示的组合设定器237X中的评价对象的预测邻接区域的决定器281X、计数器282X、参照图像的评价器283X以及运动向量的评价器284X相同的功能。

这样构成的图像预测编码程序P100X或图像预测解码程序P300X存储在记录介质10X中，由上述图48、图49所示的计算机来执行。

接着，说明该第6实施方式的图像预测编码装置100X和图像预测解码装置300X的作用效果。

第6实施方式的图像预测编码装置100X具有：块分割器102X，其将输入图像分割为多个区域；预测信号生成器103X，其针对分割后的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；减法器106X，其作为生成所生成的预测信号和对象像素信号的残差信号的残差信号生成单元发挥功能；以及对所生成的残差信号进行编码的转换器106X、量子化器107X和熵编码器111X。

然后，在预测信号生成器103aX中，模板匹配器201X从由已再现图像构成的探索区域401X、417X中，探索与由已再现的邻接像素信号构成的对象邻接区域403X的相关高的多个预测邻接区域404aX-414cX，该对象邻接区域403X与由对象像素信号构成的对象区域402X邻接。然后，组合设定器237X至少使用表示预测邻接区域的位置的坐标信息，生成2个以上的包含不同数量的预测邻接区域的预测邻接区域的组合。

预测邻接区域取得器232X、加权器234X和加法器235X使用预先确定的合成方法对属于组合的预测邻接区域的像素信号进行加工，由此，针对邻接像素信号分别生成比较信号。比较/选择器236X选择比较信号和邻接像素信号的相关高的预测邻接区域的组合，输出到预测区域取得器204X。

预测区域取得器204X根据属于选择出的组合的预测邻接区域，生成1个以上的对象像素信号的候选预测信号，加权器205X和加法器206X使用预先确定的合成方法对候选预测信号进行加工，由此生成预测信号。

由此，能够使平滑化的候选预测信号具有多样性，能够更高效地生成考虑了局部噪声特性的预测信号。由此，能够高效地生成编码数据。

并且，第6实施方式的图像预测解码装置300X具有：熵解码器302X，其对压缩数据内的与作为处理对象的对象区域有关的残差信号的编码数据进行解码；根据解码而得到的信号复原再现残差信号的逆量子化器303X和逆转换器304X；预测信号生成器308X，其针对对象区域的对象像素信号，生成预测信号；以及加法器305X，其对所生成的预测信号和所复原的再现残差信号进行相加，由此生成再现图像信号。

然后，预测信号生成器103aX从由已再现图像构成的探索区域401X、417X中，探索与由已再现的邻接像素信号构成的对象邻接区域403X的相关高的多个预测邻接区域404aX-414cX，该对象邻接区域403X与由对象像素信号构成的对象区域401X邻接。然后，组合设定器237X至少使用表示预测邻接区域的位置的坐标信息，生成2个以上的包含不同数量的预测邻接区域的预测邻接区域的组合。

预测邻接区域取得器232X、加权器234X和加法器235X使用预先确定的合成方法对属于组合的预测邻接区域的像素信号进行加工，由此，针对邻接像素信号分别生成比较信号。比较/选择器236X选择比较信号和邻接像素信号的相关高的预测邻接区域的组合，输出到预测区域取得器204X。

预测区域取得器204X根据属于选择出的组合的预测邻接区域，生成1个以上的对象像素信号的候选预测信号，加权器205X和加法器206X使用预先确定的合成方法对候选预测信号进行加工，由此生成预测信号。

由此，能够使平滑化的候选预测信号具有多样性，能够更高效地生成考虑了局部噪声特性的预测信号。由此，能够高效地对编码后的编码数据进行解码。

<第7实施方式>

如上所述，在图50～图53中，一并使用“考虑多样性来选择预测邻接区域的组合的处理”、以及“使用对象邻接区域和预测邻接区域的关系来选择平滑化的候选预测信号的数量的处理”。但是，即使“考虑多样性来选择预测邻接区域的组合的处理”是不与“使用对象邻接区域和预测邻接区域的关系来选择平滑化的候选预测信号的数量的处理”组合的处理，也具有效果。下面说明该实施方式。

在本实施方式中，设定平滑化的候选预测信号的数量FN后，利用“考虑多样性来选择预测邻接区域的组合的处理”，能够决定候选预测信号的组合。即，仅针对所确定的FN值实施图51所示的组合设定器237X的动作和图53所示的处理S604aX的处理，通过组合设定器237X从M个预测邻接区域中选择FN个预测邻接区域。然后，根据选择出的FN个预测邻接区域的组合，实施FN个候选预测信号的加权平均化处理。

图54和图55是使用对象邻接区域和预测邻接区域的关系来选择平滑化的候选预测信号的数量的情况下的实施方式。以下说明第6实施方式的预测信号生成器103aX和本实施方式的预测信号生成器103bX的差异。另外，本实施方式的预测信号生成器103bX当然能够应用于第5实施方式所记载的图像预测编码装置100X和图像预测解码装置300X。

图54是示出第7实施方式的包含候选预测信号的组合设定器237X在内的预测信号生成器103bX的结构的框图。在图54的候选预测信号的组合决定器203cX中，与图50的候选预测信号的组合决定器203bX不同，不经由组合设定器237X，而直接从预测邻接区域数量的设定器230X向预测邻接区域取得器232X输入多个不同的N值(N个预测邻接区域)。

然后，如图34中说明的那样，预测邻接区域数量的设定器230X改变N值(即改变小于M值的2的乘数N)，向预测邻接区域取得器232X输出N值，预测邻接区域取得器232X、加权器234X和加法器235X使用多个N值(N个预测邻接区域)，对与对象邻接区域的SAD值小的N个预测邻接区域进行加权平均化，针对N个预测邻接区域的组合生成多个比较信号。比较/选择器236X对该N值不同的多个比较信号和对象邻接区域进行比较，将差最小时的N值决定为FN值，将其输出到组合设定器237X。另外，比较/选择器236X在超过M值之前改变N值，同时进行上述处理，更新最小的SAD值。

组合设定器237X使用所决定的FN值、经由线L201bX输入的M个SAD值和经由线L202cX输入的预测邻接区域的坐标信息，从M个预测邻接区域中选择FN个预测邻接区域。即，组合设定器237X对小于与FN值对应而确定的阈值的SAD值的数量进行计数，根据该计数后的值选择FN个预测邻接区域。其详细处理如图51所示。

然后，组合设定器237X将预测邻接区域的组合作为候选预测信号的组合信息，经由线L203X输出到预测区域取得器204X。组合设定器237X中的动作如在上述图51中说明的那样。

然后，在预测区域取得器204X中，根据经由线L203X输入的候选预测信号的组合信息，经由线L202bX取得属于该组合的候选预测信号的坐标信息。然后，预测区域取得器204X经由线L104X从帧存储器104X中取得与所取得的坐标信息对应的候选预测信号，随时输出到加权器205X。加权器205X使经由线L204X输入的各候选预测信号乘以权重系数，经由线L205X输出到加法器206X。加法器206X依次将加权后的候选预测信号相加，作为预测信号经由线L103X输出到图33的减法器105X。

图55是示出第7实施方式的预测信号生成器103bX选择预测邻接区域时的处理的流程图。在该方法中，与图38所示的处理相同，预测邻接区域数量的设定器230X将候选预测信号的数量N设定为1(S602X)，在对象邻接区域取得器233X中，从帧存储器104X中取得针对对象块的对象邻接区域(模板信号)(S603X)，利用预测邻接区域取得器232X，经由线L104X取得属于由预测邻接区域数量的设定器230X设定的组合的N个预测邻接区域(S604X)。

然后，在预测邻接区域取得器232X、加权器234X和加法器235X中，通过N个预测邻接区域的像素信号的平均化(也可以是加权平均)生成比较信号(S605X)，利用比较/选择器236X计算所生成的比较信号和邻接像素信号的差分值即SAD值(S606X)。同时，在比较/选择器236X中，将计算出的SAD值与此前最小的SAD值进行比较(S607X)，在判断为SAD值是最小值的情况下，进入S608aX，在判断为SAD值不是最小值的情况下，进入S609X。另外，在S607X中，在计算出的SAD值和此前最小的SAD值相同的情况下，进入S609X，但是也可以进入S608aX。

然后，当通过比较/选择器236X判断为在S606X中计算出的SAD值小于此前计算出的SAD的最小值时，将最小值更新为新计算出的SAD值，并且，将此时的N值决定为候选预测信号的数量FN(S608aX)。

然后，将N值更新为2倍(S609X)，在更新后的N值小于M值的情况下，返回S604X，在更新后的N值大于M值的情况下，将在S608aX中决定的坐标信息的组合决定为候选预测信号的组合。然后，利用组合设定器237X，使用用于访问预测邻接区域的坐标信息(参照图像编号和运动向量)、以及对象邻接区域和预测邻接区域的差分SAD值，从M个预测邻接区域中选择FN个预测邻接区域，将FN个预测邻接区域的再现信号作为对象区域的候选预测信号(S610aX)。该S610aX的处理与S604aX(参照图53)相同，所以省略说明。

能够将本实施方式的图像预测编码方法和图像预测解码方法作为程序存储在记录介质中来提供。作为记录介质，可以例示软盘(注册商标)、CD-ROM、DVD、或者ROM等记录介质、或者半导体存储器等。其具体的模块结构如图43、图44、图45和图60所示。另外，这里，预测信号生成模块P103X的功能相当于上述预测信号生成器103bX。这样构成的图像预测编码程序P100X或图像预测解码程序P300X存储在记录介质10X中，由上述图48、图49所示的计算机来执行。

接着，说明第7实施方式的图像预测编码装置100X和图像预测解码装置300X的作用效果。

第7实施方式的图像预测编码装置100X具有：块分割器102X，其将输入图像分割为多个区域；预测信号生成器103bX，其针对分割后的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；减法器106X，其作为生成所生成的预测信号和对象像素信号的残差信号的残差信号生成单元发挥功能；以及对所生成的残差信号进行编码的转换器106X、量子化器107X和熵编码器111X。

然后，预测信号生成器103bX中的模板匹配器201X从由已再现图像构成的探索区域401X、417X中，探索与由已再现的邻接像素信号构成的对象邻接区域403X的相关高的多个预测邻接区域404aX-414cX，该对象邻接区域403X与由对象像素信号构成的对象区域402X邻接。

另一方面，预测邻接区域数量的设定器230X设定要选择的预测邻接区域的数量N。

然后，组合设定器237X至少使用表示预测邻接区域的位置的坐标信息，从探索区域中选择设定的数量的预测邻接区域。预测区域取得器204X根据选择出的预测邻接区域，生成设定的数量的对象像素信号的候选预测信号，加权器205X和加法器206X使用预先确定的合成方法对候选预测信号进行加工，由此生成预测信号。

另外，在本实施方式中，根据由预测邻接区域数量的设定器230X设定的预测邻接区域的数量N，通过预测邻接区域取得器232X、加权器234X和加法器235X生成比较信号。这里，适当变更N值的值并输入到预测邻接区域取得器232X，根据N值来生成比较信号。根据该比较信号，通过比较/选择器236X选择与对象邻接区域的像素信号的差分SAD值最小的比较信号，将用于确定基于该选择出的比较信号的N个预测邻接区域的N值输出到组合设定器237X。

由此，能够使平滑化的候选预测信号具有多样性，能够更高效地生成考虑了局部噪声特性的预测信号。由此，能够高效地生成编码数据。

并且，第7实施方式的图像预测解码装置300X具有：熵解码器302X，其对压缩数据内的与作为处理对象的对象区域有关的残差信号的编码数据进行解码；根据解码而得到的信号复原再现残差信号的逆量子化器303X和逆转换器304X；预测信号生成器308X，其针对对象区域的对象像素信号，生成预测信号；以及加法器305X，其对所生成的预测信号和所复原的再现残差信号进行相加，由此生成再现图像信号。

然后，预测信号生成器103X中的模板匹配器201X从由已再现图像构成的探索区域401X、417X中，探索与由已再现的邻接像素信号构成的对象邻接区域403X的相关高的多个预测邻接区域404aX-414cX，该对象邻接区域403X与由对象像素信号构成的对象区域402X邻接。

另一方面，预测邻接区域数量的设定器230X设定要选择的预测邻接区域的数量N。

然后，组合设定器237X至少使用表示预测邻接区域的位置的坐标信息，从探索区域中选择设定的数量的预测邻接区域。预测区域取得器204X根据选择出的预测邻接区域，生成设定的数量的对象像素信号的候选预测信号，加权器205X和加法器206X使用预先确定的合成方法对候选预测信号进行加工，由此生成预测信号。

另外，在第7实施方式中，根据由预测邻接区域数量的设定器230X设定的预测邻接区域的数量N，通过预测邻接区域取得器232X、加权器234X和加法器235X生成比较信号。这里，适当变更N值的值并输入到预测邻接区域取得器232X，根据N值来生成比较信号。根据该比较信号，通过比较/选择器236X选择与对象邻接区域的像素信号的差分SAD值最小的比较信号，将用于确定基于该选择出的比较信号的N个预测邻接区域的N值输出到组合设定器237X。

由此，能够使平滑化的候选预测信号具有多样性，能够更高效地生成考虑了局部噪声特性的预测信号。由此，能够使用该预测信号高效地对编码后的编码数据进行解码。

<第8实施方式>

图56是示出第8实施方式的候选预测信号的组合决定器的结构的框图。该第8实施方式是通过使用对象邻接区域和预测邻接区域之间的SAD值的阈值处理来决定平滑化的候选预测信号的数量的情况下的实施方式。在该第8实施方式的预测信号生成器103cX中，候选预测信号的组合决定器203dX与其他的预测信号生成器103X、103aX或103bX不同。以下，说明作为不同点的候选预测信号的组合决定器203dX。

图56的候选预测信号的组合决定器203dX构成为包含：候选预测信号数量的决定器238X和组合设定器237dX。

候选预测信号数量的决定器238X经由线L201bX输入有对象邻接区域和M个各预测邻接区域之间的M个SAD值，对小于预先确定的阈值的SAD值的数量进行计数。然后，将小于阈值的SAD值的数量作为平滑化的候选预测信号的数量FN，输出到组合设定器237dX。

组合设定器237dX采取图51所示的结构，使用预测邻接区域的坐标信息，从M个预测邻接区域中选择FN个预测邻接区域，将预测邻接区域的组合作为候选预测信号的组合信息，经由L203X输出到预测区域取得器204X。更具体而言，在判断为FN值小于M值的情况下，该组合设定器237dX进行如下处理：使用预测邻接区域的坐标信息，从M个预测邻接区域中选择FN个预测邻接区域，将与其邻接的FN个预测区域的再现信号作为对象区域的候选预测信号。在FN值和M值相同的情况下，该组合设定器237dX不进行选择处理，输出FN个预测邻接区域的组合。

接着，说明候选预测信号的组合决定器203dX的动作。图57是示出候选预测信号的组合决定器203dX的动作的流程图。

利用候选预测信号数量的决定器238X，比较对象邻接区域和M个各预测邻接区域之间的SAD值与预先确定的阈值，将小于阈值的SAD值的数量决定为平滑化的候选预测信号的数量FN(S615X)。然后，在组合设定器237X中比较FN值和M值(S616X)。然后，在组合设定器237X中判断为FN值小于M值的情况下，使用预测邻接区域的坐标信息，从M个预测邻接区域中选择FN个预测邻接区域，将与其邻接的FN个预测区域的再现信号作为对象区域的候选预测信号(S617X)。

另外，这里的处理S617X是与图55中的处理S610aX相同的处理。并且，在M值和FN值相同的情况下(S616X：否)，不进行选择处理，直接向预测区域取得器204X输出M个预测邻接区域的组合，结束候选预测信号数量的决定器238X中的处理。

如以上图50～图57所示，“使用坐标信息和运动参数来生成在时空间方向上具有多样性的预测邻接区域的组合的动作和处理”，完全能够应用于选择指定数量的候选预测信号或预测邻接区域的组合的装置和方法。

进而，在上述中，单独评价N个参照帧和N个运动向量来进行选择，但是，不限于该评价方法。也可以使用λ*(第“P-1”个选择出的参照图像编号-评价对象的参照图像编号)+(第“P-1”个选择出的运动向量-评价对象的运动向量)的差分绝对值和这种评价函数(λ是换算系数)，同时评价第P个预测邻接信号。

进而，图34的组合设定器231X的输出数据和图50、图54和图56所示的候选预测信号的组合决定器的输出数据都是预测邻接区域的组合信息，所以，图34的组合设定器231X也能够构成为包含图50、图54和图56的功能。即，也能够构成为，在图34的组合设定器231X和图50、图54和图56的组合设定器237X(237dX)中，生成要输出的2个以上的预测邻接区域的组合信息，利用图34的候选预测信号的组合决定器203X选择1个。

能够将本实施方式的图像预测编码方法和图像预测解码方法作为程序存储在记录介质中来提供。作为记录介质，可以例示软盘(注册商标)、CD-ROM、DVD、或者ROM等记录介质、或者半导体存储器等。其具体的模块结构如图43、图44、图45和图60所示。另外，这里，预测信号生成模块P103X的功能相当于上述预测信号生成器103cX。这样构成的图像预测编码程序P100X或图像预测解码程序P300X存储在记录介质10X中，由上述图48、图49所示的计算机来执行。

接着，说明第8实施方式的图像预测编码装置100X和图像预测解码装置300X的作用效果。第8实施方式的图像预测编码装置100X具有：块分割器102X，其将输入图像分割为多个区域；预测信号生成器103cX，其针对分割后的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；减法器106X，其作为生成所生成的预测信号和对象像素信号的残差信号的残差信号生成单元发挥功能；以及对所生成的残差信号进行编码的转换器106X、量子化器107X和熵编码器111X。

然后，在预测信号生成器103cX中，模板匹配器201X从由已再现图像构成的探索区域401X和417X中，探索与由已再现的邻接像素信号构成的对象邻接区域403X的相关高的多个预测邻接区域404aX-414cX，该对象邻接区域403X与由对象像素信号构成的对象区域402X邻接。然后，组合设定器237X至少使用表示预测邻接区域的位置的坐标信息、例如参照图像编号和运动向量，从探索到的多个预测邻接区域中选择1个以上的预测邻接区域。

预测区域取得器204X根据选择出的预测邻接区域，生成1个以上的对象像素信号的候选预测信号，加权器205X和加法器206X使用预先确定的合成方法对候选预测信号进行加工，由此生成预测信号。

另外，在第8实施方式中，通过候选预测信号数量的决定器238X设定预测邻接区域的数量N，组合设定器237X选择该设定的数量的预测邻接区域。

由此，能够使平滑化的候选预测信号具有多样性，能够更高效地生成考虑了局部噪声特性的预测信号。由此，能够高效地生成编码数据。

并且，第8实施方式的图像预测解码装置300X具有：熵解码器302X，其对压缩数据内的与作为处理对象的对象区域有关的残差信号的编码数据进行解码；根据解码而得到的信号复原再现残差信号的逆量子化器303X和逆转换器304X；预测信号生成器308X，其针对对象区域的对象像素信号，生成预测信号；以及加法器305X，其对所生成的预测信号和所复原的再现残差信号进行相加，由此生成再现图像信号。

然后，在预测信号生成器308X中，模板匹配器201X从由已再现图像构成的探索区域401X和417X中，探索与由已再现的邻接像素信号构成的对象邻接区域403X的相关高的多个预测邻接区域404aX-414cX，该对象邻接区域403X与由对象像素信号构成的对象区域402X邻接。然后，组合设定器237X至少使用表示预测邻接区域的位置的坐标信息、例如参照图像编号和运动向量，从探索到的多个预测邻接区域中选择1个以上的预测邻接区域。

预测区域取得器204X根据选择出的预测邻接区域，生成1个以上的对象像素信号的候选预测信号，加权器205X和加法器206X使用预先确定的合成方法对候选预测信号进行加工，由此生成预测信号。

由此，能够使平滑化的候选预测信号具有多样性，能够更高效地生成考虑了局部噪声特性的预测信号。由此，能够使用该预测信号高效地对编码后的编码数据进行解码。

Claims (10)

1.一种图像预测编码装置，其特征在于，该图像预测编码装置具有：

区域分割单元，其将输入图像分割为多个区域；

预测信号生成单元，其针对由所述区域分割单元分割后的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；

残差信号生成单元，其生成由所述预测信号生成单元生成的预测信号和所述对象像素信号的残差信号；以及

编码单元，其对由所述残差信号生成单元生成的所述残差信号进行编码，

所述预测信号生成单元从由已再现图像构成的探索区域中，分别取得多个与和对象邻接区域相同形状的区域的像素信号之间的相关性高的预测邻接区域，所述对象邻接区域是与所述对象区域邻接的区域，

导出所述取得的多个预测邻接区域中包含2个以上的该预测邻接区域的任意预测邻接区域的组合，导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，

针对所述预测邻接区域的组合，使用该多个权重系数的组，对属于所述组合的预测邻接区域的像素信号进行加权平均，由此，针对作为所述对象邻接区域的像素信号的邻接像素信号生成2个以上的比较信号，

选择该比较信号和所述邻接像素信号的相关高的权重系数的组，

根据属于所述组合的预测邻接区域，根据所述已再现图像生成2个以上的所述对象像素信号的候选预测信号，使用所述选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。

2.根据权利要求1所述的图像预测编码装置，其特征在于，

所述预测信号生成单元设定随着属于所述组合的多个预测邻接区域的像素信号和所述邻接像素信号的差分的绝对值和增大而减小的权重系数，至少计算1个所述权重系数的组。

3.根据权利要求1所述的图像预测编码装置，其特征在于，

所述预测信号生成单元预先准备根据属于所述组合的预测邻接区域的数量而确定的权重系数的组，通过该准备的权重系数的组，导出至少1个权重系数的组。

4.根据权利要求1所述的图像预测编码装置，其特征在于，

所述预测信号生成单元准备对应表，该对应表根据属于所述组合的多个预测邻接区域的像素信号和所述邻接像素信号的差分的绝对值和来决定权重系数的组，使用该对应表导出至少1个权重系数的组。

5.一种图像预测解码装置，其特征在于，该图像预测解码装置具有：

数据解码单元，其对压缩数据中与作为处理对象的对象区域有关的残差信号的编码数据进行解码；

残差信号复原单元，其根据由所述数据解码单元解码而得到的信号复原再现残差信号；

预测信号生成单元，其针对所述对象区域的对象像素信号，生成预测信号；以及

再现图像信号生成单元，其对由所述预测信号生成单元生成的预测信号和由所述残差信号复原单元复原的再现残差信号进行相加，由此生成再现图像信号，

所述预测信号生成单元从由已再现图像构成的探索区域中，分别取得多个与和对象邻接区域相同形状的区域的像素信号之间的相关性高的预测邻接区域，所述对象邻接区域是与所述对象区域邻接的区域，

导出包含2个以上的所述取得的多个预测邻接区域的任意预测邻接区域的组合，导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，

针对所述预测邻接区域的组合，使用该多个权重系数的组，对属于所述组合的预测邻接区域的像素信号进行加权平均，由此，针对作为所述对象邻接区域的像素信号的邻接像素信号生成2个以上的比较信号，

选择该比较信号和所述邻接像素信号的相关高的权重系数的组，

根据属于所述组合的预测邻接区域，根据所述已再现图像生成2个以上的所述对象像素信号的候选预测信号，使用所述选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。

6.根据权利要求5所述的图像预测解码装置，其特征在于，

所述预测信号生成单元设定随着属于所述组合的多个预测邻接区域的像素信号和所述邻接像素信号的差分的绝对值和增大而减小的权重系数，至少计算1个所述权重系数的组。

7.根据权利要求5所述的图像预测解码装置，其特征在于，

所述预测信号生成单元预先准备根据属于所述组合的预测邻接区域的数量而确定的权重系数的组，通过该准备的权重系数的组，导出至少1个权重系数的组。

8.根据权利要求5所述的图像预测解码装置，其特征在于，

所述预测信号生成单元准备对应表，该对应表根据属于所述组合的多个预测邻接区域的像素信号和所述邻接像素信号的差分的绝对值和来决定权重系数的组，使用该对应表导出至少1个权重系数的组。

9.一种图像预测编码方法，其特征在于，该图像预测编码方法具有以下步骤：

区域分割步骤，在该步骤中，将输入图像分割为多个区域；

预测信号生成步骤，在该步骤中，针对由所述区域分割步骤分割后的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；

残差信号生成步骤，在该步骤中，生成由所述预测信号生成步骤生成的预测信号和所述对象像素信号的残差信号；以及

编码步骤，在该步骤中，对由所述残差信号生成步骤生成的所述残差信号进行编码，

在所述预测信号生成步骤中，从由已再现图像构成的探索区域中，分别取得多个与和对象邻接区域相同形状的区域的像素信号之间的相关性高的预测邻接区域，所述对象邻接区域是与所述对象区域邻接的区域，

导出所述取得的多个预测邻接区域中包含2个以上的该预测邻接区域的任意预测邻接区域的组合，导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，

针对所述预测邻接区域的组合，使用该多个权重系数的组，对属于所述组合的预测邻接区域的像素信号进行加权平均，由此，针对作为所述对象邻接区域的像素信号的邻接像素信号生成2个以上的比较信号，

选择该比较信号和所述邻接像素信号的相关高的权重系数的组，

根据属于所述组合的预测邻接区域，根据所述已再现图像生成2个以上的所述对象像素信号的候选预测信号，使用所述选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。

10.一种图像预测解码方法，其特征在于，该图像预测解码方法具有以下步骤：

数据解码步骤，在该步骤中，对压缩数据中与作为处理对象的对象区域有关的残差信号的编码数据进行解码；

残差信号复原步骤，在该步骤中，根据由所述数据解码步骤解码而得到的信号复原再现残差信号；

预测信号生成步骤，在该步骤中，针对所述对象区域的对象像素信号，生成预测信号；以及

再现图像信号生成步骤，在该步骤中，对由所述预测信号生成步骤生成的预测信号和由所述残差信号复原步骤复原的再现残差信号进行相加，由此生成再现图像信号，

在所述预测信号生成步骤中，从由已再现图像构成的探索区域中，分别取得多个与和对象邻接区域相同形状的区域的像素信号之间的相关性高的预测邻接区域，所述对象邻接区域是与所述对象区域邻接的区域，

导出包含2个以上的所述取得的多个预测邻接区域的任意预测邻接区域的组合，导出2个以上的用于对属于该组合的预测邻接区域的像素信号进行加权平均的权重系数的组，

针对所述预测邻接区域的组合，使用该多个权重系数的组，对属于所述组合的预测邻接区域的像素信号进行加权平均，由此，针对作为所述对象邻接区域的像素信号的邻接像素信号生成2个以上的比较信号，

选择该比较信号和所述邻接像素信号的相关高的权重系数的组，

根据属于所述组合的预测邻接区域，根据所述已再现图像生成2个以上的所述对象像素信号的候选预测信号，使用所述选择出的权重系数的组对该候选预测信号进行加权平均，由此生成预测信号。