CN103747263A - 图像预测编码装置和方法以及图像预测解码装置和方法 - Google Patents

Abstract

图像预测编码装置和方法以及图像预测解码装置和方法。图像预测编码装置具有：区域分割单元，其将输入图像分割为多个区域；预测信号生成单元，其针对由所述区域分割单元分割出的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；残差信号生成单元，其生成由所述预测信号生成单元生成的预测信号与所述对象像素信号的残差信号；以及编码单元，其对由所述残差信号生成单元生成的所述残差信号进行编码，生成压缩数据，所述预测信号生成单元根据由与所述对象像素信号相邻的已再现像素信号构成的相邻区域来生成纹理信号，利用预定的纹理合成方法对所生成的纹理信号进行加工，由此来生成预测信号。

Description

图像预测编码装置和方法以及图像预测解码装置和方法

本发明专利申请是发明名称为“图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序”、申请日为2007年04月23日、国际申请号为“PCT/JP2007/058723”、国家申请号为“200780015355.6”的发明专利申请的分案申请。

技术领域

本发明涉及图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序，尤其涉及利用纹理合成方法进行预测编码和解码的图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序。

背景技术

为了高效地对静态图像和动态图像进行传送和蓄积而采用压缩编码技术。在动态图像的情况下，广泛采用MPEG－1～4或ITU（International Telecommunication Union：国际电信联盟）H.261～H.264的方式。

在这些编码方式中，在将作为编码对象的图像分割成多个块之后进行编码/解码处理。在画面内的预测编码中，利用位于与对象块相同的画面内的相邻的已再现的图像信号（将被压缩的图像数据恢复后的图像信号）来生成预测信号，之后对从对象块信号中减去该预测信号的差分信号进行编码。在画面间的预测编码中，通过参照位于与对象块不同的画面内的相邻的已再现的图像信号，来对动作进行校正，生成预测信号，对从对象块信号中减去该预测信号的差分信号进行编码。

例如，在H.264的画面内预测编码中，采用了沿规定方向外插与成为编码对象的块相邻的已再现的像素值来生成预测信号的方法。图18是用于说明ITU H.264所采用的画面内预测方法的示意图。在图18（A）中，对象块1802是成为编码对象的块，由与该对象块1802的边界相邻的像素A～M构成的像素组1801是相邻区域，是在过去的处理中已再现的图像信号。

在该情况下，向下方拉伸位于对象块1802正上方的相邻像素即像素组1801来生成预测信号。并且在图18（B）中，向右拉伸位于对象块1804左侧的已再现像素（I～L）来生成预测信号。生成预测信号的具体方法例如记载于专利文献1中。这样，取得对象块的像素信号与利用图18（A）～（I）所示的方法生成的9个预测信号的每一个的差分，将差分值最小的预测信号作为最佳预测信号。如上所述，通过外插像素可以生成预测信号。以上内容记载于下述专利文献1中。

在通常的画面间预测编码中，针对作为编码对象的块，利用从已再现的画面中搜索与该像素信号类似的信号的方法来生成预测信号。然后，对搜索到的信号所构成的区域与对象块之间的空间位移量即运动矢量、以及对象块的像素信号与预测信号之间的残差信号进行编码。像这样按照每个块来搜索运动矢量的方法被称为块匹配。

图4是用于说明块匹配处理的示意图。这里，以编码对象的画面401上的对象块402为例说明预测信号的生成步骤。画面403已再现完毕，区域404是在空间上与对象块402同一位置的区域。在块匹配中，设定包围区域404的搜索范围405，从该搜索范围的像素信号中检测与对象块402的像素信号的绝对值误差和最小的区域406。该区域406的信号成为预测信号，检测从区域404向区域406的位移量作为运动矢量407。在H.264中，为了对应于图像局部特征的变化，而准备了用于对运动矢量进行编码的、块大小不同的多个预测类型。H.264的预测类型记载于例如专利文献2中。

在动态图像数据的压缩编码中，各帧的编码顺序可以是任意的。因此，在通过参照已再现画面来生成预测信号的画面间预测中，还具有针对编码顺序的3种方法。第1种方法是按照再现顺序参照过去的已再现画面来生成预测信号的前方向预测；第2种方法是按照再现顺序参照未来的已再现画面的后方向预测；第3种方法是同时进行前方向预测和后方向预测，并对2个预测信号进行平均化的双方向预测。画面间预测的种类记载于例如专利文献3中。

专利文献1：美国专利公报第6765964号

专利文献2：美国专利公报第7003035号

专利文献3：美国专利公报第6259739号

但是，在现有技术中，通过复制包含由编码引起的失真（例如量子化噪声）的再现像素值来生成各像素的预测信号，因此预测信号也包含该失真。包含由编码引起的失真的预测信号成为残差信号的编码量增加和再现图质劣化等使编码效率下降的主要原因。

由编码引起的失真的影响可以通过预测信号的平滑化来抑制，也可以通过对2个预测信号进行平均化的双方向预测来抑制。但是，双方向预测为了在再现侧生成2个预测信号，需要对2个运动矢量进行编码，因此，当为了提高预测信号的平滑化效果而增加平均化信号的数量时，要进行编码的运动矢量的个数也会增加。

并且，在利用现有技术所采用的基于外插的预测信号的生成方法来生成画面内预测信号的情况下，存在针对远离对象块边界的像素的预测精度下降的问题。并且，图18所示的在几何学的方向上拉伸像素值的方法存在不能高效预测具有复杂的纹理信号（图案）的图像信号的问题。而且，如图18所示，相邻的像素组（例如1801、1803、1805…）是解码后的像素值，包含由编码引起的失真（例如量子化噪声），因此，在基于这些像素组来生成预测信号时，预测信号中也包含编码失真。

发明内容

因此，为了解决上述课题，本发明的目的在于提供可以高效地生成预测信号的图像预测编码装置、图像预测编码方法、图像预测解码装置以及图像预测解码方法。

为了解决上述课题，本发明的图像预测编码装置的特征在于，该图像预测编码装置具有：区域分割单元，其将输入图像分割为多个区域；预测信号生成单元，其针对由所述区域分割单元分割出的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；残差信号生成单元，其生成由所述预测信号生成单元生成的预测信号与所述对象像素信号的残差信号；以及编码单元，其对由所述残差信号生成单元生成的所述残差信号进行编码，生成压缩数据，所述预测信号生成单元根据由与所述对象像素信号相邻的已再现像素信号构成的相邻区域来生成纹理信号，利用预定的纹理合成方法对所生成的纹理信号进行加工，由此来生成预测信号。

根据该发明，可以将输入图像分割为多个区域，针对分割出的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号，生成所生成的预测信号与所述对象像素信号的残差信号，对所生成的所述残差信号进行编码来生成压缩数据。这里，在该发明中，可以根据由与对象像素信号相邻的已再现像素信号构成的相邻区域来生成纹理信号，并利用预定的纹理合成方法对所生成的纹理信号进行加工，由此来生成预测信号。由此，由于利用图像的纹理合成方法来生成预测信号，因此可以防止针对远离对象区域边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

并且，优选本发明的图像预测编码装置中的所述预测信号生成单元根据由与所述对象像素信号相邻的已再现像素信号构成的相邻区域，来生成与该相邻区域相关性高的多个纹理信号，并利用预定的合成方法对所生成多个的纹理信号进行加工，由此来生成预测信号。

根据该发明，可以根据由与所述对象像素信号相邻的已再现像素信号构成的相邻区域来生成与该相邻区域相关性高的多个纹理信号，并利用预定的纹理合成方法对所生成的多个纹理信号进行加工，由此来生成预测信号。由此，可以利用对象区域与相邻于该对象区域的相邻区域相关性高的性质，可以防止针对远离对象区域边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

并且，优选本发明的图像预测编码装置中的所述预测信号生成单元根据由与所述对象像素信号相邻的已再现像素信号构成的多个相邻区域，来生成与该多个相邻区域的每一个相关性高的多个纹理信号，并利用预定的合成方法对所生成的多个纹理信号进行加工，由此来生成预测信号。

根据该发明，可以根据由与所述对象像素信号相邻的已再现像素信号构成的多个相邻区域来生成与该多个相邻区域的每一个相关性高的多个纹理信号，并利用预定的纹理合成方法对所生成的多个纹理信号进行加工，由此来生成预测信号。由此，可以利用对象区域与相邻于该对象区域的相邻区域相关性高的性质，可以防止针对远离对象区域边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

并且，优选本发明的图像预测编码装置中的所述预测信号生成单元还重复与所述对象像素信号相邻的已再现像素值来形成像素，由此生成外插纹理信号，并利用预定的合成方法对所述纹理信号和所述外插纹理信号进行合成，由此来生成预测信号。

根据该发明，可以重复与对象像素信号相邻的已再现像素值来形成像素，由此生成外插纹理信号，并利用预定的合成方法对纹理信号和外插纹理信号进行合成，由此来生成预测信号。由此，可以防止针对远离对象区域边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

并且，优选本发明的图像预测编码装置中的所述预测信号生成单元从预定的已再现图像即搜索区域中搜索与由相邻于所述对象像素信号的已再现像素信号构成的相邻区域相关性高的预测相邻区域，将根据该搜索到的预测相邻区域所决定的图像区域作为纹理信号。

根据该发明，可以从预定的已再现图像即搜索区域中搜索与由相邻于对象像素信号的已再现像素信号构成的相邻区域相关性高的预测相邻区域，将根据该搜索到的预测相邻区域所决定的图像区域作为纹理信号。由此，可以利用对象区域与相邻于该对象区域的相邻区域相关性高的性质，从已再现图像区域中检测相对于相邻区域误差最少的区域，来作为预测相邻区域，将与该预测相邻区域相邻并且与对象区域对应的像素组作为对象区域的纹理信号，由此即使在纹理比较复杂的情况下也能够生成与相邻区域相同图案的预测信号，并且即使远离对象区域边界，也能够生成相同图案的纹理信号。

并且，优选本发明的图像预测编码装置中的所述编码单元对表示所述纹理合成方法的关联信息进行编码，具有发送单元，该发送单元将编码后的所述关联信息与由所述编码单元编码的编码信号一起进行发送。

根据该发明，可以对表示纹理合成方法的关联信息进行编码，并与编码后的编码信号一起发送编码后的关联信号。由此，在接收侧可以获知图像的纹理合成方法，并在接收侧利用该所获知的纹理合成方法生成预测信号，因此可以防止针对远离对象区域边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

并且，优选本发明的图像预测编码装置中的所述预测信号生成单元利用预定的加权系数对针对所述对象像素信号的多个纹理信号进行加权平均处理，由此进行合成，生成预测信号。

根据该发明，可以利用预定的加权系数对针对对象像素信号的多个纹理信号进行加权平均处理，由此进行合成，生成预测信号。由此，通过所生成的纹理信号的合成（平均化），可以生成在统计上误差少的预测信号。

而且，根据相邻区域而与已再现图像区域之间的差分值不是很大的差的情况下的不确定性的课题例如具有以下效果，即：通过利用例如模板匹配以相关性高的方式生成的纹理信号的合成（平均化），可以生成在统计上误差少的预测信号。并且，根据本发明，通过对多个纹理信号进行加权平均处理，由此具有可以抑制各纹理中所包含的编码失真的效果，可以生成误差少的预测信号。

并且，优选本发明的图像预测编码装置中的所述预测信号生成单元从与对象像素信号相同的画面内即第1搜索区域中，根据由与所述对象像素信号相邻的已再现像素信号构成的相邻区域，至少生成一个与该相邻区域相关性高的纹理信号，从与所述第1搜索区域不同的画面即第2搜索区域中，根据由与所述对象像素信号相邻的已再现像素信号构成的相邻区域，至少生成一个与该相邻区域相关性高的纹理信号，并利用预定的纹理合成方法对分别生成的纹理信号进行合成，由此来生成预测信号。

根据该发明，可以从与对象像素信号相同的画面内即第1搜索区域中，根据由与所述对象像素信号相邻的已再现像素信号构成的相邻区域，至少生成一个与该相邻区域相关性高的纹理信号，从与所述第1搜索区域不同的画面即第2搜索区域中，根据由与所述对象像素信号相邻的已再现像素信号构成的相邻区域，至少生成一个与该相邻区域相关性高的纹理信号，并利用预定的纹理合成方法对分别生成的纹理信号进行合成，由此来生成预测信号。由此，由于利用图像的纹理合成方法来生成预测信号，因此可以防止针对远离对象区域边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

并且，本发明的图像预测编码装置的特征在于，该图像预测编码装置具有：区域分割单元，其将输入图像分割为多个区域；预测信号生成单元，其针对由所述区域分割单元分割出的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；残差信号生成单元，其生成由所述预测信号生成单元生成的预测信号与所述对象像素信号的残差信号；以及编码单元，其对由所述残差信号生成单元生成的所述残差信号进行编码，生成压缩信号，所述预测信号生成单元重复与所述对象像素信号相邻的已再现像素值来形成像素，由此生成外插纹理信号，并利用预定的合成方法对所述外插纹理信号进行合成，由此来生成预测信号。

根据本发明，可以将输入图像分割为多个区域，针对分割出的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号，生成所生成的预测信号与所述对象像素信号的残差信号，对所生成的所述残差信号进行编码来生成压缩信号。而且，可以重复与所述对象像素信号相邻的已再现像素值来形成像素，由此生成外插纹理信号，并利用预定的合成方法对所述外插纹理信号进行合成，由此来生成预测信号。由此，可以防止针对远离对象区域边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

此外，本发明的图像预测解码装置的特征在于，该图像预测解码装置具有：残差信号恢复单元，其从压缩数据中提取与作为处理对象的对象区域有关的残差信号，并将其恢复为再现残差信号；预测信号生成单元，其针对所述对象区域的对象像素信号，生成预测信号；以及图像恢复单元，其将由所述预测信号生成单元生成的预测信号与由所述残差信号恢复单元恢复的再现残差信号相加，由此来恢复所述对象区域的像素信号，所述预测信号生成单元根据由与对象像素信号相邻的已再现像素信号构成的相邻区域，来生成纹理信号，利用预定的合成方法对所生成的纹理信号进行加工，由此来生成预测信号。

根据该发明，可以从压缩数据中提取与作为处理对象的对象区域有关的残差信号，并将其恢复为再现残差信号，针对所述对象区域的对象像素信号，生成预测信号，将所生成的预测信号与由所述残差信号恢复单元恢复的再现残差信号相加，由此来恢复所述对象区域的像素信号，将所恢复的像素信号作为参照图像进行存储。然后，可以根据由所存储的与对象像素信号相邻的已再现像素信号构成的相邻区域来生成纹理信号，并利用预定的合成方法对所生成的纹理信号进行加工，由此来生成预测信号。

并且，优选本发明的图像预测解码装置中的所述预测信号生成单元根据由与所述对象像素信号相邻的已再现像素信号构成的相邻区域，来生成与该相邻区域相关性高的多个纹理信号，利用预定的合成方法对所生成多个的纹理信号进行加工，由此来生成预测信号。

根据该发明，可以根据由与所述对象像素信号相邻的已再现像素信号构成的相邻区域，来生成与该相邻区域相关性高的多个纹理信号，利用预定的合成方法对所生成的多个纹理信号进行加工，由此来生成预测信号。由此，可以利用对象区域与相邻于该对象区域的相邻区域相关性高的性质，可以防止针对远离对象区域边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

并且，优选本发明的图像预测解码装置中的所述预测信号生成单元根据由与所述对象像素信号相邻的已再现像素信号构成的多个相邻区域，来生成与该多个相邻区域的每一个相关性高的多个纹理信号，利用预定的合成方法对所生成的多个纹理信号进行加工，由此来生成预测信号。

根据该发明，可以根据由与所述对象像素信号相邻的已再现像素信号构成的多个相邻区域，来生成与该多个相邻区域的每一个相关性高的多个纹理信号，利用预定的合成方法对所生成多个的纹理信号进行加工，由此来生成预测信号。

由此，可以利用对象区域与相邻于该对象区域的相邻区域相关性高的性质，可以防止针对远离对象区域边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

并且，优选本发明的图像预测解码装置中的所述预测信号生成单元还重复与所述对象像素信号相邻的已再现像素值来形成像素，由此生成外插纹理信号，并利用预定的合成方法对所述纹理信号和所述外插纹理信号进行合成，由此来生成预测信号。

根据该发明，可以重复与对象像素信号相邻的已再现像素值来形成像素，由此生成外插纹理信号，并利用预定的合成方法对纹理信号和外插纹理信号进行合成，由此来生成预测信号。由此，可以防止针对远离对象区域边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

并且，优选本发明的图像预测解码装置中的所述预测信号生成单元从预定的已再现图像即搜索区域中搜索与由相邻于所述对象像素信号的已再现像素信号构成的相邻区域相关性高的预测相邻区域，将根据该搜索到的预测相邻区域所决定的图像区域作为纹理信号。

根据该发明，可以从预定的已再现图像即搜索区域中搜索与由相邻于所述对象像素信号的已再现像素信号构成的相邻区域相关性高的预测相邻区域，将根据该搜索到的预测相邻区域所决定的图像区域作为纹理信号。由此，可以利用对象区域与相邻于该对象区域的相邻区域相关性高的性质，从已再现图像区域中检测相对于对象相邻区域误差最少的区域，来作为预测相邻区域，将与该预测相邻区域相邻同时与对象区域对应的像素组作为对象区域的纹理信号，由此即使在纹理比较复杂的情况下也能够生成与对象相邻区域相同图案的预测信号，并且即使远离对象区域边界，也能够生成相同图案的纹理信号。

并且，优选本发明的图像预测解码装置中的所述压缩数据包含表示纹理合成方法的关联信息，所述预测信号生成单元利用所述关联信息来形成所述对象区域的纹理信号。

根据该发明，可以使压缩数据中包含表示纹理合成方法的关联信息，并利用该关联信息来形成对象区域的纹理信号。由此，在接收侧可以获知纹理合成方法，并可以利用该所获知的纹理合成方法生成预测信号，因此可以防止针对远离对象区域边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

并且，优选本发明的图像预测解码装置中的所述预测信号生成单元利用预定的加权系数对针对所述对象像素信号的多个纹理信号进行加权平均处理，由此进行合成，生成预测信号。

根据该发明，可以利用预定的加权系数对针对所述对象像素信号的多个纹理信号进行加权平均处理，由此进行合成，生成预测信号。由此，具有如下这样的效果，即：通过利用例如模板匹配以相关性高的方式生成的纹理信号的合成（平均化），可以生成在统计上误差少的预测信号。

而且，根据相邻区域而与已再现图像区域之间的差分值不是很大的差的情况下的不确定性的课题，例如具有以下效果，即：通过利用例如模板匹配以相关性高的方式生成的纹理信号的合成（平均化），可以生成在统计上误差少的预测信号。并且，根据本发明，通过对多个纹理信号进行加权平均处理，由此具有可以抑制各纹理中所包含的编码失真的效果，可以生成误差少的预测信号。

并且，本发明的图像预测解码装置的特征在于，该图像预测解码装置具有：残差信号恢复单元，其从压缩数据中提取与所述对象区域有关的残差信号，并将其恢复为再现残差信号；预测信号生成单元，其针对所述对象区域的对象像素信号，生成预测信号；以及图像恢复单元，其将所述预测信号与所述再现残差信号相加，由此来恢复所述对象区域的像素信号，所述预测信号生成单元重复与所述对象像素信号相邻的已再现像素值来形成像素，由此生成外插纹理信号，并利用预定的合成方法对所述外插纹理信号进行合成，由此来生成预测信号。

根据该发明，可以从压缩数据中提取与所述对象区域有关的残差信号，并将其恢复为再现残差信号，针对所述对象区域的对象像素信号，生成预测信号，将预测信号与再现残差信号相加，由此来恢复对象区域的像素信号。然后，可以重复与对象像素信号相邻的已再现像素值来形成像素，由此生成外插纹理信号，并利用预定的合成方法对所述外插纹理信号进行合成，由此来生成预测信号。由此，可以防止针对远离对象区域边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

另外，本发明除了可以描述为如上所述的图像预测编码装置和图像预测解码装置的发明之外，还可以描述为如下所述的图像预测编码方法和图像预测解码方法的发明。这只是范畴等的不同，实质上是同一发明，发挥相同的作用和效果。

本发明的图像预测编码方法的特征在于，该图像预测编码方法包括以下步骤：区域分割步骤，其将输入图像分割为多个区域；预测信号生成步骤，其针对由所述区域分割步骤分割出的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；残差信号生成步骤，其生成由所述预测信号生成步骤生成的预测信号与所述对象像素信号的残差信号；以及编码步骤，其对由所述残差信号生成步骤生成的所述残差信号进行编码，生成压缩数据，在所述预测信号生成步骤中，根据由与所述对象像素信号相邻的已再现像素信号构成的相邻区域来生成纹理信号，利用预定的纹理合成方法对所生成的纹理信号进行加工，由此来生成预测信号。

并且，本发明的图像预测编码方法的特征在于，该图像预测编码方法包括以下步骤：区域分割步骤，其将输入图像分割为多个区域；预测信号生成步骤，其针对由所述区域分割步骤分割出的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；残差信号生成步骤，其生成由所述预测信号生成步骤生成的预测信号与所述对象像素信号的残差信号；以及编码步骤，其对由所述残差信号生成步骤生成的所述残差信号进行编码，生成压缩信号，在所述预测信号生成步骤中，重复与所述对象像素信号相邻的已再现像素值来形成像素，由此生成外插纹理信号，并利用预定的合成方法对所述外插纹理信号进行合成，由此来生成预测信号。

并且，本发明的图像预测解码方法的特征在于，该图像预测解码方法包括以下步骤：残差信号恢复步骤，其从压缩数据中提取与作为处理对象的对象区域有关的残差信号，并将其恢复为再现残差信号；预测信号生成步骤，其针对所述对象区域的对象像素信号，生成预测信号；以及图像恢复步骤，其将由所述预测信号生成步骤生成的预测信号与由所述残差信号恢复步骤恢复的再现残差信号相加，由此来恢复所述对象区域的像素信号，在所述预测信号生成步骤中，根据由与对象像素信号相邻的已再现像素信号构成的相邻区域，来生成纹理信号，利用预定的合成方法对所生成的纹理信号进行加工，由此来生成预测信号。

并且，本发明的图像预测解码方法的特征在于，该图像预测解码方法包括以下步骤：残差信号恢复步骤，其从压缩数据中提取与所述对象区域有关的残差信号，并将其恢复为再现残差信号；预测信号生成步骤，其针对所述对象区域的对象像素信号，生成预测信号；以及图像恢复步骤，其将所述预测信号与所述再现残差信号相加，由此来恢复所述对象区域的像素信号，在所述预测信号生成步骤中，重复与所述对象像素信号相邻的已再现像素值来形成像素，由此生成外插纹理信号，并利用预定的合成方法对所述外插纹理信号进行合成，由此来生成预测信号。

根据本发明的图像预测编码装置、图像预测编码方法、图像预测解码装置以及图像预测解码方法，可以根据1个运动矢量等较少的预测关联信息来生成多个纹理信号，因此伴随纹理信号的平滑化处理可以高效地生成预测信号。

并且，根据本发明，由于利用图像的纹理合成方法生成预测信号，因此可以防止针对远离对象区域边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

附图说明

图1是示出第1实施方式所涉及的图像预测编码装置的框图。

图2是示出图1所示的预测信号生成器的框图。

图3是示出图2所示的纹理合成器的框图。

图4是用于说明预测关联信息生成处理（块匹配处理）的示意图，（A）示出参照图像，（B）示出编码对象的画面。

图5是示出图3所示的纹理生成器的框图。

图6是与匹配处理和候选纹理生成处理有关的示意图，（A）示出参照图像，（B）示出编码对象的画面。

图7是与匹配处理和候选纹理生成处理的变形例有关的第1示意图，（A）示出参照图像，（B）示出编码对象的画面。

图8是与匹配处理和候选纹理生成处理的变形例有关的第2示意图，（A）示出参照图像，（B）示出编码对象的画面。

图9是与匹配处理和候选纹理生成处理的变形例有关的第3示意图，（A）示出参照图像，（B）示出编码对象的画面。

图10是与匹配处理和候选纹理生成处理的变形例有关的第4示意图，（A）示出参照图像，（B）示出编码对象的画面。

图11是模板信号的形状与纹理信号的形状不同的第1情况下的与匹配处理和候选纹理生成处理有关的示意图，（A）示出参照图像，（B）示出编码对象的画面。

图12是模板信号的形状与纹理信号的形状不同的第2情况下的与匹配处理和候选纹理生成处理有关的示意图，（A）示出参照图像，（B）示出编码对象的画面。

图13是用于说明预测关联信息生成处理（块匹配处理）的变形例的示意图，（A）示出参照图像，（B）示出编码对象的画面。

图14是用于说明匹配处理和候选纹理生成处理中采用画面内预测方法的变形例的示意图。

图15是用于说明候选纹理信号的生成方法和合成方法的步骤的流程图。

图16是用于说明候选纹理信号的选择方法的步骤的变形例的流程图。

图17是示出图1所示的图像预测编码装置的图像预测编码方法的步骤的流程图。

图18是用于说明画面内预测方法的示意图。

图19是示出本实施方式所涉及的图像预测解码装置的框图。

图20是示出图19所示的纹理合成器的框图。

图21是示出图19所示的图像预测解码装置的图像预测解码方法的步骤的流程图。

图22是示出可以执行本实施方式所涉及的图像预测编码方法的程序的框图。

图23是示出图22所示的预测信号生成模块的框图。

图24是示出图23所示的纹理合成模块的框图。

图25是示出可以执行本实施方式所涉及的图像预测解码方法的程序的框图。

图26是示出用于执行记录在记录介质中的程序的计算机硬件结构的图。

图27是用于执行存储在记录介质中的程序的计算机的立体图。

图28是示出本发明第2实施方式所涉及的图像预测编码装置的框图。

图29是示出图像预测编码装置所使用的预测信号生成器103X的框图。

图30是示出纹理合成器201X的框图。

图31是用于说明纹理生成方法中的匹配处理的示意图。

图32是示出纹理生成器307X的纹理生成方法的流程图。

图33是示出对象相邻区域的形状的一例的图。

图34是示出另一对象相邻区域的形状的一例的图。

图35是示出图像预测编码装置100X的图像预测编码方法的流程图。

图36是示出变形例中的合成纹理信号的生成方法的流程图。

图37是示出图像预测解码装置900X的框图。

图38是示出纹理合成器908X的框图。

图39是示出图像预测解码装置900X的图像预测解码方法的流程图。是用于执行存储在记录介质中的程序的计算机的立体图。

图40是示出可以执行图像预测编码方法的程序的模块的框图。

图41是示出预测信号生成模块P103X的模块的框图。

图42是示出可以执行图像预测解码方法的程序的模块的框图。

符号说明

100图像预测编码装置；101输入端子；102块分割器；103预测信号生成器；104帧存储器；105减法器；106变换器；107量子化器；108逆量子化器；109逆变换器；110加法器；111熵编码器；112输出端子；201预测关联信息生成器；202纹理合成器；301模板信号生成器；302纹理生成器；303合成器；1900图像预测解码装置；1901输入端子；1902数据分析器；1903逆量子化器；1904逆变换器；1905加法器；1906输出端子；1907帧存储器；1908纹理合成器；2001模板信号生成器；2002纹理生成器；2003合成器；100X图像预测编码装置；101X输入端子；102X块分割器；103X预测信号生成器；104X帧存储器；105X减法器；106X变换器；107X量子化器；108X逆量子化器；109X逆变换器；110X加法器；111X熵编码器；112X输出端子；201X纹理合成器；202X纹理信号决定器；301X合成器；302X加法器；307X纹理生成器；308X纹理生成器；309X第1外插器；310X第N外插器；900X图像预测解码装置；901X输入端子；902X数据分析器；903X逆量子化器；904X逆变换器；905X加法器；906X输出端子；907X帧存储器；908X纹理合成器；1001X合成器；1007X纹理生成器；1008X纹理生成器；1009X第1外插器；1010X第N外插器。

具体实施方式

以下，参照附图详细对本实施方式进行详细说明。另外，在附图说明中，对相同或同等的要素赋予相同的符号，省略重复的说明。

<第1实施方式>

图1是示出本实施方式所涉及的图像预测编码装置100的框图。该图像预测编码装置100具有：输入端子101；块分割器102；预测信号生成器103；帧存储器104；减法器105；变换器106；量子化器107；逆量子化器108；逆变换器109；加法器110；熵编码器111以及输出端子112。变换器106和量子化器107作为编码单元发挥功能。

输入端子101是输入由多个图像构成的动态图像的信号的端子。

块分割器102将从输入端子101输入的信号所表示的作为编码对象的图像分割为多个区域。在实施方式中，分割为由8×8的像素构成的块，但是也可以分割为其他大小或形状的块。

预测信号生成器103是针对作为编码处理对象的对象区域（对象块）生成预测信号，将该预测信号输出给减法器105，并将与预测方法有关的信息输出给熵编码器111的部分。关于该预测信号生成器103的具体处理，将在后面进行叙述。

减法器105是从经由线L102输入的由块分割器102分割而成的对象区域中，减去经由线L103输入的由预测信号生成器103生成的预测信号，来生成残差信号的部分。减法器105经由线L105将相减得到的残差信号输出给变换器106。

变换器106是对相减得到的残差信号进行离散余弦变换的部分。并且，量子化器107是对由变换器106离散余弦变换后的变换系数进行量子化的部分。熵编码器111对由量子化器107量子化后的变换系数进行编码，并且对与预测方法有关的信息进行编码，经由线L111输出编码后的信息。输出端子112将从熵编码器111输入的信息输出到外部。

逆量子化器108对量子化后的变换系数进行逆量子化。逆变换器109利用逆离散余弦变换来恢复残差信号。加法器110将恢复后的残差信号与从线L103发送来的预测信号相加，再现对象块的信号，并将其存储到帧存储器104中。在本实施方式中，使用了变换器106和逆变换器109，但是，也可以使用其他变换处理来代替这些变换器。并且，变换器106和逆变换器109不是必须的。这样，为了进行针对后续对象区域的画面内预测或画面间预测，压缩后的对象区域的像素信号通过逆处理而恢复，并存储到帧存储器104中。

接着，对预测信号生成器103进行说明。预测信号生成部103针对作为编码处理对象的对象区域（以下，称为对象块）生成预测信号。在本实施方式中，使用2种预测方法。即，预测信号生成器103使用后述的画面间预测方法和画面内预测方法中的至少一个方法来生成预测信号。用于选择画面间预测方法和画面内预测方法的选择信息与量子化后的变换系数以及与预测信号的生成有关的预测关联信息一起，利用熵编码器111进行编码，并由输出端子112输出。

图2是图1所示的预测信号生成器103的框图。预测信号生成器103具有预测关联信息生成器201和纹理合成器202。

预测关联信息生成器201接受经由线L102输入的对象块的信号，并且接受从帧存储器104经由线L104输入的、在过去的处理中已经再现的图像信号（再现图像信号）。预测关联信息生成器201求出根据再现图像信号来生成相对于对象块误差最小的预测信号所需要的预测关联信息。即，预测关联信息生成器201生成根据已再现信号来生成与对象区域的对象像素信号相关性高的信号的方法，作为预测关联信息。预测关联信息经由线L201发送给纹理合成器202，并且还经由线L113发送给熵编码器111。

这里，对预测关联信息的生成处理进行说明。在使用画面间预测方法的情况下，预测关联信息生成器201将与对象块不同的画面（帧或场）的再现图像信号作为参照图像，利用块匹配处理来检测运动矢量。检测出的运动矢量作为预测关联信息从预测关联信息生成器201分别输出到熵编码器（经由线L113）和纹理合成器202（经由线L201）。

使用图4更详细地说明使用了画面间预测方法的预测关联信息的生成方法。图4是用于说明使用了画面间预测方法的预测关联信息的生成方法、即运动矢量的检测方法的示意图，图4（A）示出参照图像，图4（B）示出编码对象的画面。这里，说明在编码对象的画面401中，检测针对对象块402的运动矢量的情况。

首先，将在过去的处理中已经再现的画面403作为参照图像，在参照画面上设定搜索区域405。在图4中，将搜索区域405设定在与对象块402空间上位置相同的区域404的周围，然而也可以设定在空间上有所偏离的位置上。接着，在搜索区域405中，求出对象块402与具有相同形状的像素组之间，对应的像素间的绝对值误差和（SAD），检索贡献最小SAD的区域406。此时，用于检索区域406的评价值也可以是SAD以外的其他值。然后，检测从区域404向区域406的位移量来作为对象块的运动矢量407。

另外，还可以通过将对象模块再次分割，以再次分割出的小区域为单位来检测运动矢量。在该情况下，所选择的分割方法和各小区域的运动矢量包含在预测关联信息中。并且，也可以将多个已再现画面用作参照图像。针对多个参照图像来检测最佳运动矢量，选择SAD最小的一个。在该情况下，所选择的参照图像的帧号（可以按每个小区域，也可以使对象块有一个）也包含在预测关联信息中。

另一方面，在使用画面内预测方法的情况下，向预测关联信息生成器201输入位于与对象块相同画面内的再现图像信号，选择利用图18所示的预测方法向对象块提供最小的预测信号的方法。所选择的预测方法作为预测关联信息从预测关联信息生成器201分别输出到熵编码器（经由线L113）和纹理合成器202（经由线L201）。

接着，使用图3说明本实施方式所涉及的纹理信号的生成/合成处理。图3是示出图2所示的纹理合成器202的结构的框图。纹理合成器202具有模板信号生成器301、纹理生成器302以及合成器303。模板信号生成器301接受经由线L201输入的预测关联信息，并且接受从帧存储器104经由线L104输入的再现图像信号。然后，模板信号生成器301基于预测关联信息，从再现图像信号生成模板信号，并经由线L301向纹理生成器302输出。

在纹理合成器202中，纹理生成器302接受从帧存储器104经由线L104输入的、在过去的处理中已经再现的图像信号（再现图像信号），并且模板信号生成器301接受经由线L201输入的预测关联信息。预测关联信息生成器302利用如下所说明的方法生成根据所输入的预测关联信息而预先指定的区域（指定区域）的信号，作为模板信号，利用模板匹配处理从再现图像信号生成多个纹理信号。进而，合成器303对所生成的多个纹理信号进行合成，生成针对对象块的预测信号。然后，合成器303通过L103向减法器105输出所生成的预测信号。

在本实施方式中，包含该模板信号的区域的形状是任意的。由于该形状是通过如上所述的方式而指定的，因此在本实施方式中将包含模板信号的区域称为“指定区域”。并且，将利用模板匹配处理而检测出的区域称为“类似区域”。而且，将输入到合成器303中的多个纹理信号所属于的区域、即与预测对象区域相同形状的区域称为“纹理区域”。

指定区域的形状与类似区域的形状始终一致。纹理区域的形状与预测对象的区域相同。类似区域与纹理区域的位置关系在同一平面上由“表示2个区域的相对坐标位置的位移量”所预先规定。使用图11简单地说明。在画面403中，区域761是指定区域，区域751是纹理区域。此时，已经预先规定了区域761左上角的坐标与区域751左上角的坐标之间的位移量。关于如图11所示的类似区域的形状与纹理区域的形状不同的例子，将在后面进行叙述。这里，如图6所示，对类似区域的形状与纹理区域的形状一致的情况进行说明。在类似区域的形状与纹理区域的形状一致的情况下，表示类似区域与纹理区域的相对坐标位置的位移量为0。另外，包含模板信号的区域的形状不限于块状。

纹理生成器302搜索再现图像信号，针对具有与模板相同形状的区域的区域，求出与模板对应的像素间的绝对值误差和（SAD）。在本实施方式中，由于与对象块的像素信号相关性高的信号被选择为模板信号，因此纹理生成器302能够搜索与对象块的像素信号相近的信号。

针对图4所示的画面间预测方法的情况，来说明模板信号生成器301中的模板信号生成处理。关于画面内预测方法的情况，将在后面叙述（图17）。在图4中，示出了生成编码对象的画面401中的对象块402的预测信号的情况。对象块402的预测关联信息是运动矢量407，其经由线L201输入到模板信号生成器301中。模板信号生成器301经由线L104访问保存在图1的帧存储器104中的参照图像403，根据运动矢量407取得与对象块402对应的区域406。所取得的区域406（指定区域）的信号作为模板信号从模板信号生成器301输出。

由运动矢量407所示的指定区域406是与对象块402的像素信号的差分最小的信号。因此，只要将该指定区域406作为模板信号，纹理生成器302就能够检索到与对象块402的像素信号类似的多个纹理信号。另外，由于可以根据解码后的动作矢量来取得指定区域406的模板信号，因此可以利用解码装置来检索相同的纹理信号。

在纹理生成器302中，经由线L301从模板信号生成器301输入模板信号，并且经由线L104从帧存储器104输入再现图像信号。纹理生成器302根据所输入的模板信号及再现图像信号，利用以下说明的设定来进行模板匹配，生成N个纹理信号。所生成的N个纹理信号经由线L302输出到合成器303。合成器303利用后述的预定方法对这N个纹理信号进行合成来生成预测信号，并经由线L103输出该预测信号。之后，在本实施方式中，以N的值为5来进行说明，但是可以将N的值设定为1以上的任意值。

这里，使用图5和图6，详细说明纹理生成器302中的纹理信号的生成方法。图5是图3所示的纹理生成器302的框图。图6是与本实施方式所涉及的匹配处理和纹理生成处理有关的示意图，图6（A）示出参照图像，图6（B）示出编码对象的画面。

纹理生成器302具有匹配器501、候选纹理选择器502以及纹理取得器503。首先，匹配器501接受经由线L301输入的模板信号。接着，匹配器501经由线L104访问位于帧存储器104中的再现图像信号，利用预定的步骤实施匹配处理，依次取得具有与指定区域相同形状的像素组。然后，匹配器501针对所取得的各像素组分别计算与模板信号之间对应像素间的绝对值误差和（SAD）。所计算出的各SAD值与用于访问所取得的像素组的坐标信息一起经由线L501向候选纹理选择器502输出。

另外，在本实施方式中，采用SAD作为计量与模板信号的类似性的评价值，但是并不限定于此，也可以是误差平方和或者根据坐标信息和SAD计算出的值等。

候选纹理选择器502将所输入的多个SAD值与预定的阈值进行比较，提取SAD值小于阈值的像素组及其坐标信息。然后，候选纹理选择器502从所提取出的像素组中按照SAD值从小到大的顺序选择最大N个区域，经由线L502向纹理取得器503输出对应的坐标信息。这里，所提取出的N个区域是类似区域。在小于阈值的SAD值不到N个的情况下，候选纹理选择器502更新该对象块中的N的值。向纹理生成器302输入的输入信号全部是通过解码装置解码的数据，因此在解码装置中也能够利用同样的方法对N的值进行更新。因此，不需要对更新后的N的值进行编码。另外，坐标信息的选择方法也可以不按照SAD值从小到大的顺序。关于N个坐标信息的选择方法，将在后面进行叙述（图16）。

纹理取得器503接受从线L502输入的N个坐标信息。纹理取得器503经由线L104访问位于帧存储器104中的再现图像信号，根据N个坐标信息取得N个与对象块相同形状的区域、即纹理区域的信号（纹理信号），并经由线L302将它们依次输出到合成器303。另外，在本实施方式中，由于纹理区域与类似区域一致，因此表示类似区域与纹理区域的相对坐标位置的位移量为0。因此，纹理取得器503可以从指定区域的坐标信息直接取得纹理信号。

在图6所示的例子中，针对编码对象画面401中的对象块402生成多个纹理信号。在图6中，匹配处理中使用的模板信号是与对象块相同形状的区域406（指定区域）的信号，由模板信号生成器301根据运动矢量407决定。

在匹配器501的匹配处理中，首先利用预定方法设定针对对象块402的搜索区域。在本实施方式中，将已经再现的整个画面403设为搜索区域。另外，也可以不将整个画面设为搜索区域，而是将画面的一部分设为搜索区域。

匹配器501对整个搜索区域403进行搜索，求出指定区域406与具有相同形状的多个像素组（区域601、602…）之间，对应的像素间的绝对值误差值的和（SAD）。另外，搜索方法也可以是间除搜索等。

接着，候选纹理选择器502检测SAD值小于阈值的5个区域（区域601、602、603、604和406）来作为类似区域的候选。这里所使用的阈值可以是预定的值，也可以是由纹理合成器202决定用于获得最佳纹理信号的值并由熵编码器111对该值进行编码后的值（未图示）。在本实施方式的画面间预测方法中，模板匹配的搜索区域包含指定区域406，因此在纹理信号的候选中必然包含模板信号。该模板信号是与对象块的像素信号差分最小的信号，是为了生成噪声少且与对象块的差分小的预测信号所必须的。

候选纹理选择器502检测所检测出的类似区域601～604以及406各自左上角的坐标，经由线L501将这些坐标输出到纹理取得器503。这里所输出的坐标信息是用于访问帧存储器的信息，并不一定为各类似区域的左上角，也可以是右下角等。即，所输出的坐标信息只要是用于确定位置的信息即可。

这样，当所决定的坐标信息被输入到纹理取得器503时，纹理取得器503根据表示类似区域与纹理区域的相对坐标位置的位移量，将N个类似区域的坐标信息分别变换为纹理区域的坐标信息。该变换处理可以由候选纹理选择器502进行。然后，纹理取得器503根据变换后的坐标信息经由线L104访问帧存储器104的参照图像403，取得N个纹理信号的候选。所取得的N个纹理信号经由线L302向合成器303输出。另外，在图6所示的例子中，由于类似信息与纹理区域一致，因此纹理生成器302在执行该例子时可以省略坐标信息的变换处理。

关于图6所示情况的搜索区域，例如可以按照图4的搜索区域405所示的部分区域包围区域406的方式进行设定。在搜索区域没有包含区域406的情况下，也可以按照纹理信号包含模板信号的方式来设定搜索对象。并且，搜索区域并不限定为一个画面区域，也可将多个画面的部分区域设定为搜索区域。此时，只要预先决定了用于选择作为搜索对象的画面的规则，就不需要对该画面的信息进行编码。但是，在利用纹理生成器302从多个候选中选择搜索区域的情况下，需要对与搜索对象的画面和搜索区域有关的信息进行编码。在进行编码的情况下，从纹理合成器202经由线L113向熵编码器111输出所选择的画面信息和搜索区域的信息（未图示）。可以与预测关联信息相同地按照每个对象块对这些关联信息进行编码，但是在每个块的变更效果较小的情况下，也可以以帧为单位或以序列为单位来进行编码。

合成器303接受来自纹理生成器302的N个纹理信号的输入，利用加权平均处理生成对象块的预测信号。合成器303具有加权器304和加法器305。加权器304中的权重值被定为1/N等。加权器304对所输入的纹理信号分别赋予1/N的权重，之后经由线L304向加法器305输出。加法器305将加权处理后的N个纹理信号相加，将相加后的纹理信号作为预测信号经由线L103输出。

另外，合成器303中的权重值可以是预定设定的，但是也可以利用合成器303以成为最佳预测信号的方式来求出赋予给各纹理信号的权重值。在预先设定的情况下，权重值可以是任意的值。例如，合成器303可以按照相对于模板信号为1/2、相对于其他纹理信号为1/（2×（N－1））的方式来设定权重值。并且，合成器303可以根据区域内的位置来改变权重值。在利用合成器303来决定权重值的情况下，对象块的信号经由线L102输入到合成器303，求出预测信号最小的权重值，将该值经由线L113向图1的熵编码器111输出（未图示）。熵编码器111对权重值进行编码后从输出端子112输出编码后的权重值。此时，可以以块为单位进行权重值的变更，也可以以帧为单位或以序列为单位进行权重值的变更。

另外，合成器303不限于图3的结构。也可以构成为，将针对纹理信号的权重值设为整数，在将加权处理处理后的N个纹理信号相加后，用相加后的信号除以N个权重值的和。此时，如果预先设定了除法的取整方法，则与运算器无关，都能得到相同的结果。例如，在将针对模板信号的权重值设定为N＋1，并将针对其他N个纹理信号的权重值设定为1的情况下，用相加后的信号以及N除以2×N。

这样，在本实施方式的预测处理中，根据运动矢量等预测关联信息来生成多个纹理信号。由于这些纹理信号是从画面的不同区域中取得的，因此所包含的噪声成分（主要为高频成分）彼此的相关性低。根据本实施方式，对噪声成分不同的多个纹理信号进行平均化，因此利用平滑化效果可以生成在统计上噪声少的预测信号。

在目前为止的说明中，将纹理区域的形状设定为与对象区域（对象块）相同的形状。但是，只要明确编码对象块与纹理区域（指定区域）的位置关系，则即使对象区域与纹理区域是不同的形状，也能够实施本发明。下面，示出一些其他例子。与使用图6的说明同样，针对画面401的对象块402说明纹理信号的生成步骤。

图7～图10是纹理区域的形状与对象区域的形状不同的情况下与匹配处理和纹理生成处理有关的示意图。另外，在本实施例中，设指定区域和类似区域与纹理区域是相同的形状来进行说明。

在图7中，小区域411表示对象块402的左上1/4的部分，左上区域412表示指定区域。模板信号生成器301根据预测关联信息从区域406中切取面积为左上1/4的部分的区域412，将区域412的信号作为模板信号输出。此时，从区域406的左上角向指定区域412（纹理区域）的左上角的位移量和与指定区域及纹理区域的形状有关的信息一起记录在纹理合成器202中。纹理生成器302经由线L104访问参照图像403，利用模板匹配取得多个与指定区域412相同形状的像素组，计算与模板信号之间对应像素间的SAD值。然后，纹理生成器302检测SAD值小的N个区域711、712、713、714以及412作为类似区域（纹理区域）的候选（在本实施方式中N的值为5）。

在合成器303中对这N个纹理区域的纹理信号进行加权平均，由此生成小区域411的预测信号。此时，从所记录的位移量和类似区域的形状可知对象块中的预测区域的位置和形状。另外，这里省略对搜索区域、N的值以及阈值等的设定方法的说明，但是与图6的情况相同，可以进行编码。

使用图8～图10说明对象块的其他区域的预测信号的生成处理。在图8～图10的情况下，与图7同样，图3的模板信号生成器301根据预测关联信息从图7的区域406中切取面积为1/4的部分的区域，但是其切取位置不同。

在图8中，小区域421表示对象块402的右上1/4的部分，区域422表示指定区域。图3的模板信号生成器301根据预测关联信息从图6的区域406中切取面积为左上1/4的部分的区域422，将区域422作为模板信号输出。此时，从区域406的左上角向指定区域422（纹理区域）的左上角的位移量和与指定区域及纹理区域的形状有关的信息一起记录在纹理合成器202中。纹理生成器302经由线L104访问参照图像403，利用模板匹配取得多个与指定区域422相同形状的像素组，计算与模板信号之间对应像素间的SAD值。然后，纹理生成器302检测SAD值小的N个区域721、722、723、724以及422作为纹理信号的候选（在本实施方式中N的值为5）。

在合成器303中对这N个纹理区域的纹理信号进行加权平均，由此生成小区域421的预测信号。此时，从所记录的位移量和类似区域的形状可知对象块中的预测区域的位置和形状。

在图9中，小区域431表示对象块402的左下1/4的部分，区域432表示指定区域。模板信号生成器301根据预测关联信息从图6的区域406中切取面积为左下1/4的部分的区域432，将区域432作为模板信号输出。此时，从区域406的左上角向指定区域432（纹理区域）的左上角的位移量和与指定区域及纹理区域的形状有关的信息一起记录在纹理合成器202中。纹理生成器302经由线L104访问参照图像403，利用模板匹配取得多个与指定区域432相同形状的像素组，计算与模板信号之间对应像素间的SAD值。然后，纹理生成器302检测SAD值小的N个区域731、732、733、734以及432作为类似区域（纹理区域）的候选（在本实施方式中N的值为5）。

在图3的合成器303中对这N个纹理区域的纹理信号进行加权平均，由此生成小区域431的预测信号。此时，从所记录的位移量和类似区域的形状可知对象块中的预测区域的位置和形状。

在图10中，小区域441表示对象块402的右下1/4的部分，区域442表示指定区域。模板信号生成器301根据预测关联信息从图6的区域406中切取面积为右下1/4的部分的区域442，将区域442作为模板信号输出。此时，从区域406的左上角向指定区域442（纹理区域）的左上角的位移量和与指定区域及纹理区域的形状有关的信息一起记录在纹理合成器202中。纹理生成器302经由线L104访问参照图像403，利用模板匹配取得多个与指定区域442相同形状的像素组，计算与模板信号之间对应像素间的SAD值。然后，纹理生成器302检测SAD值小的N个区域741、742、743、744以及442作为类似区域（纹理区域）的候选（在本实施方式中N的值为5）。

在合成器303中对这N个纹理区域的纹理信号进行加权平均，由此生成小区域441的预测信号。此时，从所记录的位移量和类似区域的形状可知对象块中的预测区域的位置和形状。

这样，即使纹理区域的形状与对象块的形状不同，但只要预先决定输入到纹理取得器503中的坐标信息与对象块的位置关系，即可根据坐标信息，取得与对象块相同形状的区域的信号。

在图7～图10的处理中，将图6的对象块分割为4个部分，根据分割为4个部分后的模板信号，按照每个分割区域生成预测信号。这样，在本发明中，可以对根据预测关联信息所生成的信号进行分割，从而生成模板信号。因此，可以在不增加预测关联信息的情况下，利用小于对象块的区域单位生成高性能的预测信号。另外，对象块的分割数和分割后的形状不限于上述变形例，可以任意设定。

在图6～图10所示的处理中，纹理区域的形状与类似区域的形状一致。但是，只要明确用于表示类似区域与纹理区域的相对坐标位置的位移量，则作为预测对象的区域的纹理区域与类似区域也可以是不同的形状。图11和图12示出纹理区域与类似区域的形状不同的例子。

图11是用于说明纹理区域的形状与类似区域的形状不同的例子的匹配处理和纹理生成处理的示意图。图11（A）示出参照图像，图11（B）示出编码对象的画面。在图11中，区域462表示指定区域，区域461表示与指定区域对应的纹理区域。

在图11所示的变形例中，纹理区域461的形状与对象区域402的形状相同。模板信号生成器301根据预测关联信息从图6所示的区域406中切取预先指定的区域462，经由线L301向纹理生成器302输出属于指定区域462的模板信号。此时，从纹理区域461的左上角向指定区域462的左上角的位移量以及与指定区域（类似区域）的形状和纹理区域的形状有关的信息被记录在纹理合成器202中。

匹配器501经由线L104访问参照图像403，利用模板匹配取得多个与指定区域462相同形状的像素组，计算与模板信号之间对应像素间的SAD值。然后，候选纹理选择器502检测SAD值小的N个区域761、762、763、764以及462作为类似区域，向纹理取得器503输出其坐标位置（在本实施方式中N的值为5）。纹理取得器503根据所输入的坐标信息和所记录的上述位移量，从参照图像403中取得N个纹理区域751、752、753、754以及461的信号。在合成器303中对这N个纹理信号进行加权平均，由此生成对象块402的预测信号。另外，这里省略对搜索区域、N的值以及阈值等的设定方法的说明，但是与图6的情况相同，可以进行编码。

这样，即使纹理区域与类似区域的形状不同，但只要明确用于表示类似区域与纹理区域的相对坐标位置的位移量，则也能够根据输入到纹理取得器503中的坐标信息来取得纹理区域（对象区域）的区域信号。即，可以从根据预测关联信息所生成的区域（区域406）的信号中，切取部分信号（区域462的信号）并将其设定为模板信号。根据该方法，具有如下优点，即：在根据预测关联信息所得到的区域（区域406）的信号中包含不适于匹配处理的具有较强特征的信号的情况下，可以从模板信号中排除该信号区域。

与使用图11的说明相关联地，在本发明中，还可以在纹理区域中，利用不属于类似区域的像素和属于类似区域的像素来切换加权处理的权重系数。例如，对与纹理区域（区域461）对应的指定区域（区域462）的信号进行分析，针对被认定为不需要进行平滑化处理的区域，可以将赋予给指定区域的模板信号的权重值设定为1，将赋予给其他模板信号的权重值设定为0。

图12是用于说明纹理区域的形状与类似区域的形状不同的另一个例子的匹配处理和纹理生成处理的示意图。图12（A）示出参照图像，图12（B）示出编码对象的画面。在图12中，区域472表示指定区域，区域471表示与指定区域对应的纹理区域。这样，在本发明中，可以将指定区域设定为根据预测关联信息所生成的区域471的外部。并且，指定区域不一定要与区域471接触。在该变形例中，纹理区域471的形状与对象区域402的形状相同。

模板信号生成器301根据预测关联信息从画面403中切取区域472，并将指定区域472作为模板信号经由线L301向纹理生成器302输出。此时，从纹理区域471的左上角向指定区域472的左上角的位移量以及与指定区域（类似区域）的形状和纹理区域的形状有关的信息被记录在纹理合成器202中。

匹配器501经由线L104访问参照图像403，利用模板匹配取得多个与指定区域472相同形状的像素组，计算与模板信号之间对应像素间的SAD值。然后，候选纹理选择器502检测SAD值小的N个区域781、782、783、784以及472作为类似区域，向纹理取得器503输出其坐标位置（在本实施方式中N的值为5）。纹理取得器503根据所输入的坐标信息和所记录的上述位移量，从参照图像403中取得N个纹理区域771、772、773、774以及471的信号。在合成器303中对这N个纹理信号进行加权平均，由此生成对象块402的预测信号。另外，这里省略对搜索区域、N的值以及阈值等的设定方法的说明，但是与图6的情况相同，可以进行编码。

这样，在本发明中，针对根据预测关联信息而生成的区域，还可以将其相邻区域的信号设定为模板信号。例如，图12所示的方法对于希望保持相邻块与对象块的信号的连续性的情况有效。在该情况下，如图13所示，可以通过使用了对象块402的相邻区域1301的像素信号的匹配处理来检测作为预测关联信息的动作矢量408。在该情况下，在已再现画面403中所设定的搜索区域1304中，从与区域1301相同形状的像素组中检测对应像素间的SAD为最小的区域1305。然后，检测从与对象块402相同的空间位置的块1303向区域1305的位移量来作为运动矢量408。另外，没有对区域1305与对应于该区域的纹理区域的位置关系进行限定。

在本发明中，还可以将图7～图10所示的处理与图11或图12所示的处理进行组合。并且，在本实施方式中，以各自区域的左上角为基准来求出类似区域与纹理区域之间的位移量以及纹理区域与对象区域之间的位移量，但是也可以是与左上角不同的预定基准。而且，指定区域与类似区域及纹理区域的形状不限于上述例子，可以任意设定。例如，指定区域的形状可以大于纹理区域的形状。

对于图7～图12的搜索区域，也可以与图6同样地设定多个画面（多个参照图像）的部分区域来作为搜索区域。在该情况下，只要预先决定了用于选择作为搜索对象的画面的规则，则也不需要对该画面的信息进行编码。

关于搜索区域，可以设定M个（M是小于等于N的值）搜索区域，并预先决定分别进行搜索的候选纹理的数量。例如，当设M＝N，并将M个搜索区域设定在不同的画面上时，可以从多个参照图像中分别搜索候选纹理信号。此时，在无法从预定的参照图像中搜索到满足SAD阈值等条件的候选纹理信号的情况下，可以削减N的数量，并可以预先决定替代的用于搜索候选纹理信号的参照图像的优先顺序。并且，可以将多个参照图像中所包含的搜索区域的集合设定为一个搜索区域。例如，可以在P个参照图像中分别设置搜索区域，并在M个搜索区域中包含这样的设定，即：从P个搜索区域中，搜索指定区域的像素组与对应像素组之间的绝对值误差值的和（SAD）小的Q个（小于N的正整数）的类似区域。另外，在多个参照图像中设定搜索区域的情况下，在从候选纹理选择部502向纹理取得部503输出的坐标信息中包含用于识别参照图像所属帧的信息（参照图像帧号）。

接着，叙述画面内预测方法的情况。与使用图6的说明同样，针对画面401的对象块402，说明纹理信号的生成步骤。另外，在本实施方式中，如图14所示，以4×4块为单位来进行画面内预测处理，因此，这里关注对象块内的4×4像素的区域1402。

图14是用于说明画面内预测方法的情况下的匹配处理和候选纹理生成处理的示意图。区域1402表示指定区域。模板信号生成器301按照预测关联信息所提供的预测方法，根据对象块402的相邻区域1401的已再现信号生成区域1402的信号。区域1402的信号作为模板信号输出。此时，从区域402的左上角向指定区域1402（纹理区域）的左上角的位移量以及指定区域（类似区域）和纹理区域的形状记录在纹理合成器202中。

纹理生成器302将与对象块402相同的画面401中的已再现信号设为搜索区域。另外，在本实施方式中，将画面401内的所有已再现区域设为搜索区域，但是也可以将其一部分设定为搜索区域。纹理生成器302经由线L104进行访问，利用模板匹配取得多个与指定区域1402形状相同的像素组，计算与模板信号之间对应像素间的SAD值。然后，纹理生成器302检测SAD值小的N－1个区域1403、1404、1405以及1406来作为纹理信号的候选（在本实施方式中N为5）。在合成器303中对在这N－1个纹理信号中加入模板信号1402后的N个信号进行加权平均，由此生成对象块402的左上角1/4的区域1402的预测信号。此时，从所记录的纹理区域的形状可知对象区域中的纹理区域的形状。

另外，也可以将利用画面内预测方法而生成的模板信号应用于画面间预测方法。在该情况下，在图14所示的例子中，搜索区域包含已再现的其他画面。省略对搜索区域、N的值以及阈值等的设定方法的说明，但是与图6的情况相同，可以进行编码。

在本实施方式中，通过变更纹理合成器202的模板信号生成器301和纹理生成器302的设定来对应图6～图12以及图14所示的多个纹理合成方法，但是也可以使图像预测编码装置100对应其他方法。例如，可以是准备模板信号生成器301和纹理生成器302的设定不同的多个纹理合成器202，并通过适当的切换来使用的方法。通过将图像预测编码装置100构成为如下结构，可以对纹理合成方法进行适当的应用，即：准备从多个纹理合成方法中选择一个方法的单元（例如，选择与对象块的误差最小的方法的单元）（未图示），并利用熵编码器111对所选择的纹理合成方法进行编码。

图15是示出图2所示的纹理合成器202中的对象块的纹理生成方法的步骤的流程图。首先，在模板信号生成器301中，根据预测关联信息来取得指定区域的模板信号（步骤S302）。

接着，通过纹理生成器302的匹配器501来求出指定区域与位于搜索区域中的相同形状的像素组的绝对值和（SAD值）（步骤S303）。然后，纹理生成器302的候选纹理选择器502将SAD值和预定的阈值进行比较（步骤S304），在判断为SAD值小于阈值的情况下，进入到步骤S305，而在判断为并非如此的情况下，进入到步骤S306。

在纹理生成器302的候选纹理选择器502中，将所求出的SAD值和以前的SAD值进行比较。然后，在按照所求出的SAD值从小到大的顺序直到包含N个的情况下，将搜索到的类似区域追加为类似区域的候选，对类似区域的候选进行更新（步骤S305）。

之后，纹理生成器302的匹配器501对搜索区域是否已全部搜索完毕进行确认（步骤S306）。在判断为还未全部搜索完毕的情况下，返回到步骤S303，通过纹理生成器302的匹配器501来求出指定区域与位于搜索区域中的相同形状的其它像素组的绝对值和SAD。

在已全部搜索完毕的时刻，在纹理生成器302的纹理取得器503中取得多个纹理信号的候选，在合成器303中进行加权平均，由此生成纹理信号（步骤S308）。到这里，针对一个对象块的处理结束（步骤S309）。

在步骤S305中，选择了SAD值小的N个纹理信号作为纹理信号的候选，但是也可以是其他方法。由于利用候选纹理信号的平均化来取得在统计上噪声小的纹理信号，因此多个纹理信号候选彼此之间的相关性越低越好。即，存在优选候选信号具有多样性的情况。作为使候选纹理信号具有多样性的简单的方法之一，具有如下这样的方法，即：从SAD值小于预定的阈值的类似区域中，按照与指定区域之间的空间位置从远到近的顺序选择N个纹理信号。并且，如图16所示，还具有以增大成为候选的类似区域彼此间的空间距离的方式来选择N个区域的方法。

图16是示出在图15所示的步骤S305中选择N个类似区域的一个方法的步骤的流程图。在图16中，A[p][i]表示SAD值小于预定的阈值的像素区域中第p个被检索到的像素区域在参照图像上的坐标信息。值i被设定为表示水平坐标的0或表示垂直坐标的1。C[k][i]表示在步骤S305中第k个被选择的类似区域的坐标。以下，在不需要区别水平坐标和垂直坐标的情况下，记载为A[p]和C[p]。

首先，将利用模板生成器所得到的指定区域的坐标保存在C[1]中（步骤S502），将到此为止所选择的类似区域的数量K设定为1。

接着，针对SAD值小于预定阈值的像素区域，将参照图像上的坐标A[p]与C[1]进行比较，选择其距离差（矢量大小）最大的A[m]（步骤S503）。然后，将k的值更新为K＋1（＝2），设定为C[K]＝A[m]（步骤S504）。此时，A[m]确定为类似区域，因此从选择对象中删除第m个检索到的纹理。

之后，对K和N进行比较（步骤S505），当判断为K小于N时，返回到步骤S503，当判断为K＝N时，结束处理。

然后，在步骤S503中，将C[1]～C[K]的每一个与其余的A[p]进行比较，选择距离差的和最大的A[m]。根据该方法，可以保证所选择的候选类似区域间的距离。

图17是示出本实施方式所涉及的图像预测编码装置100中的图像预测编码方法的步骤的流程图。首先，在预测关联信息生成器201中使用对象块的像素信号来实施预测处理，生成预测关联信息（步骤S102）。接着，纹理合成器202根据预测关联信息生成多个纹理信号的候选，并利用纹理合成处理生成对象块的预测信号（步骤S103）。此时，纹理合成器202可以采用多种纹理生成方法来生成预测信号，并选择与对象块的信号对应的像素间的误差平方和最小的预测信号。

这样，表示所决定的预测信号与对象块的信号的差分的残差信号由变换器106、量子化器107以及熵编码器111进行编码（步骤S104）。然后，编码后的残差信号、预测关联信息以及纹理生成方法的选择信息（必要的情况下）经由输出端子112输出（步骤S105）。这里，预测关联信息除了包含有画面间预测方法中的运动矢量和参照图像帧号、画面内预测方法中的预测方法以及与画面内预测方法和画面间预测方法的选择有关的选择信息之外，有时还包含纹理信号候选的生成和选择所使用的搜索区域（候选纹理信号的搜索）、N的值（候选纹理信号的数量）、阈值（计量候选纹理信号与模板信号的类似性的评价值）以及权重值（纹理合成时的权重系数）等的各种设定信息。

为了对后续的对象块进行预测编码，逆量子化器108和逆变换器109在这些处理后或者与这些处理并行地，对编码后的残差信号进行解码。然后，由加法器110对解码后的残差信号加上预测信号，对象块的信号被再现，并作为参照图像存储在帧存储器104中（步骤S106）。然后，在所有对象块的处理未结束的情况下，返回步骤S102，执行针对下一对象块的处理。在所有对象块的处理都结束的情况下，结束处理（步骤S108）。

接着，说明本实施方式所涉及的图像预测解码方法。图19是示出本实施方式所涉及的图像预测解码装置1900的框图。该图像预测解码装置1900具有：输入端子1901、数据分析器1902、逆量子化器1903、逆变换器1904、加法器1905、输出端子1906、帧存储器1907以及纹理合成器1908。由逆量子化器1903和逆变换器1904所构成的解码单元也可以使用其他部件来构成。并且，也可以不具有逆变器1904。

输入端子1901输入利用上述图像预测编码方法压缩编码后的压缩数据。在该压缩数据中包含用于预测将图像分割为多个块后的对象块并进行了编码的残差信号和预测关联信息。这里，预测关联信息除了包含有画面内预测方法中的预测方法、与画面内预测方法和画面间预测方法的选择有关的选择信息、以及画面间预测方法中的运动矢量和参照图像帧号之外，有时还包含纹理信号候选的生成和选择所使用的搜索区域（候选纹理信号的搜索）、N的值（候选纹理信号的数量）、阈值（计量候选纹理信号与模板信号的类似性的评价值）以及权重值（纹理合成时的权重系数）等的各种设定信息。另外，在预定方式的情况下，不需要各种设定信息。

数据分析器1902通过对输入到输入端子1901的压缩数据进行分析，来提取对象块的残差信号、预测关联信息以及各种设定信息（必要的情况下）。

逆量子化器1903经由线L1902a输入对象块的残差信号，并进行逆量子化。逆变换器1904对逆量子化后的数据进行逆离散余弦变换。

纹理合成器1908经由线L1902b从数据分析器1902输入预测辅助信号信息。该纹理合成器1908（利用后述的方法）根据预测关联信息从帧存储器907中取得参照图像，生成预测信号。纹理合成器1908经由线L1908向加法器1905输出所生成的预测信号。

加法器1905将由纹理合成器1908生成的预测信号与由逆量子化器1903和逆变换器1904解码的残差信号相加，经由线L1905向输出端子1906和帧存储器1907输出对象块的再现图像信号。输出端子1906向外部（例如显示器）输出。

帧存储器1907作为用于接下来的解码处理的参照用的再现图像，存储从加法器1905输出的再现图像来作为参照图像。

接着，说明纹理合成器1908。纹理合成器1908的详细结构如图20所示，具有基本与图3所示的结构相同的结构或者与其相当的功能。

使用图20详细说明本实施方式所涉及的纹理信号的生成/合成处理。图20是图19所示的纹理合成器1908的框图。纹理合成器1908具有模板信号生成器2001、纹理生成器2002以及合成器2003。模板信号生成器2001接受经由线L2001输入的预测关联信息，并且接受经由线L1907输入的来自帧存储器1907的再现图像信号。模板信号生成器2001基于预测关联信息，从再现图像信号生成模板信号，并经由线L2001向纹理生成器2002输出该模板信号。模板信号是根据针对画面内预测方法和画面间预测方法的选择信息以及预测关联信息，利用画面内预测方法或画面间预测方法生成的。

纹理生成器2002接受从模板信号生成器2001经由线L2001输入的模板信号，并且接受从帧存储器1907经由线L1907输入的再现图像信号。纹理生成器2002从模板信号和再现图像信号，利用与编码装置的纹理生成器302相同的方法来生成N个纹理信号。所生成的N个纹理信号经由线L2002输出到合成器2003。合成器2003接受从线L2002输入的N个纹理信号。合成器2003利用与编码装置的合成器303相同的方法来对这N个纹理信号进行合成，生成预测信号，并经由线L1908输出该预测信号。

合成器2003接受N个候选纹理信号的输入，利用加权平均处理生成对象块的预测信号。合成器2003具有加权器2004和加法器2005。加权器2004的加权值可以预先决定，也可以包含在压缩数据中。加权器2004向所输入的N个纹理信号赋予所决定的权重值，并经由线L2004向加法器2005输出。加法器2005将加权处理后的N个纹理信号相加，并将相加后的纹理信号作为预测信号经由线L1908输出。

纹理合成器1908根据搜索区域（候选纹理信号的搜索）、N的值（候选纹理信号的数量）、阈值（计量候选纹理信号与模板信号的类似性的评价值）以及权重值（纹理合成时的权重系数）等的各种设定信息，来执行纹理合成处理。需要使所生成的多个候选纹理信号与由图像预测编码装置生成的信号一致，并且通过纹理合成而生成的预测信号也必须与由图像预测编码装置生成的信号一致。因此，需要使纹理合成器1908所使用的各种设定信息与图像预测编码装置的纹理合成器202所使用的信息完全一致。所以，没有被预先决定的信息从图像预测编码装置100传送，并在图像预测解码装置1900中恢复。

另外，与图像预测编码装置100内的合成器303相同，图像预测解码装置1900内的合成器2003也不限于图20的结构。例如，可以构成为，将针对加权纹理信号的权重值设为整数，在将加权处理后的N个纹理信号相加后，用相加后的信号除以N个权重值的和。

接着，使用图21说明图19所示的图像预测解码装置1900中的图像预测解码方法。首先，经由输入端子1901输入压缩后的压缩数据（步骤S1902）。然后，在数据分析器1902中，对压缩数据进行熵解码，提取量子化后变换系数、预测关联信息（步骤S1903）。这里，纹理合成器1908根据提取出的预测关联信息生成多个纹理信号，对所生成的多个纹理信号进行合成，由此生成预测信号（步骤S1904）。

另一方面，在逆量子化器1903中使用量子化参数对量子化后的变换系数进行逆量子化，在逆变换器1904中进行逆变换，生成再现差分信号（步骤S1905）。然后，通过将所生成的预测信号与再现差分信号相加来生成再现信号，由于该再现信号用于再现接下来的对象块，因此存储在帧存储器1907中（步骤S1906）。在存在下一个压缩数据的情况下，再次重复该过程（步骤S1907），直到最后处理了所有数据为止（步骤S1908）。另外，也可以根据需要返回到步骤S1902，来取入压缩数据。

本实施方式所涉及的图像预测编码方法和图像预测解码方法还可以作为程序以记录在记录介质中的方式来提供。作为记录介质，可以例示出FLOPPY DISC（软盘）（注册商标）、CD－ROM、DVD、或者ROM等记录介质、或者半导体存储器等。

图22是示出可以执行图像预测编码方法的程序的模块的框图。图像预测编码程序P100具有：块分割模块P102；预测信号生成模块P103；存储模块P104；减法模块P105；变换模块P106；量子化模块P107；逆量子化模块P108；逆变换模块P109；加法模块P110以及熵编码模块P111。另外，如图23所示，预测信号生成模块P103具有预测关联信息生成模块P201以及纹理合成模块P202。而且，如图24所示，纹理信号模块P202具有模板信号生成模块P301、纹理生成模块P302以及合成模块P303。

通过执行上述各模块所实现的功能与上述图像预测编码装置100的功能相同。即，图像预测编码程序P100的各模块的功能与下述各部分的功能相同：块分割器102；预测信号生成器103；帧存储器104；减法器105；变换器106；量子化器107；逆量子化器108；逆变换器109；加法器110；熵编码器111；预测关联信息生成器201；纹理合成器202；模板信号生成器301；纹理生成器302以及合成器303。

并且，图25是示出可以执行图像预测解码方法的程序的模块的框图。图像预测解码程序P1900具有数据分析模块P1902、逆量子化模块P1903、逆变换模块P1904、加法模块P1905、存储模块P1907以及纹理合成模块P1908。

通过执行上述各模块所实现的功能与上述图像预测解码装置1900的各结构要素相同。即，图像预测解码程序P1900的各模块的功能与下述各部分的功能相同：数据分析器1902、逆量子化器1903、逆变换器1904、加法器1905、帧存储器1907以及纹理合成器1908。

如此构成的图像预测编码程序P100或者图像预测解码程序P1900存储在记录介质10中，由后述的计算机来执行。

图26是示出用于执行记录在记录介质中的程序的计算机硬件结构的图，图27是用于执行存储在记录介质中的程序的计算机的立体图。另外，执行存储在记录介质中的程序的设备不限于计算机，也可以是具有CPU并且进行基于软件的处理和控制的DVD播放器、机顶盒、移动电话等。

如图26所示，计算机30具有：软盘驱动装置、CD－ROM驱动装置以及DVD驱动装置等读取装置12；使操作系统常驻的工作用存储器（RAM：Random AccessMemory：随机存取存储器）14；存储记录介质10中所存储的程序的存储器16；被称为显示器的显示装置18；作为输入装置的鼠标20和键盘22；用于进行数据等的发送接收的通信装置24；以及控制程序的执行的CPU26。在将记录介质10插入到读取装置12中时，计算机30可以从读取装置12来访问存储在记录介质10中的图像预测编码/解码程序，并可以利用该图像编码/解码程序，作为本实施方式所涉及的图像编码装置或图像解码装置来动作。

如图27所示，图像预测编码程序和图像解码程序可以作为载波中重叠的计算机数据信号40经由网络提供。在该情况下，计算机30将通过通信装置24接收到的图像预测编码程序或图像解码程序存储在存储器16中，从而可以执行该图像预测编码程序或图像预测解码程序。

如以上所说明的那样，根据本实施方式所涉及的图像预测编码装置，首先，块分割器102将输入到输入端子101中的动态图像分割为多个区域，预测信号生成器103针对分割出的多个区域中作为处理对象的对象块的对象像素信号生成预测信号。然后，减法器105生成该预测信号与对象像素信号的残差信号，熵编码器111对该残差信号进行编码。这里，利用合成器303将根据预测关联信息而生成的多个纹理信号相加，由此来生成预测信号。另外，所生成的预测关联信号也与残差信号同样地由熵编码器111进行编码。这样，由于根据多个纹理信号来生成预测信号，因此可以降低预测信号中所包含的噪声。并且，可以利用较少的预测关联信息来高效地生成这些多个纹理信号。因此，可以高效地生成噪声少的预测信号。

并且，本实施方式所涉及的图像预测编码装置100可以将指定区域的形状和对象区域的形状（例如将区域406的形状和区域402的形状）设定为相同，因此可以更容易地生成预测信号。

并且，本实施方式所涉及的图像预测编码装置100可以将对象区域402进行分割，针对分割出的各小区域（小区域411、421、431以及441）生成预测信号，对每个小区域的预测信号进行合成，由此来生成对象区域402的预测信号。因此，可以进一步提高最终生成的对象区域402的预测信号的性能，即，生成噪声更少的预测信号。

并且，在本实施方式所涉及的图像预测编码装置100中，候选纹理选择器502选择与对象区域的像素信号的差分最小的模板信号作为纹理信号中的一个。即，模板信号包含在纹理信号中。因此，可以生成噪声更少的预测信号。

并且，在本实施方式所涉及的图像预测编码装置100中，合成器303对纹理信号实施加权平均处理，因此，多个纹理信号被平均化。因此，可以生成统计上误差少的预测信号。

并且，在本实施方式所涉及的图像预测编码装置100中，预测关联信息包含表示对象区域的空间位移量的运动矢量。因此可以更容易地导出与对象区域的对象像素信号相关性高的信号，可以更容易地生成预测信号。

在本实施方式所涉及的图像预测解码装置1900中，数据分析器1902从压缩数据中提取预测关联信息和残差信号。之后，纹理合成器1908根据预测关联信息生成预测信号，逆量子化器1903和逆变换器1904恢复残差信号。然后，加法器1905将预测信号与残差信号相加，恢复对象区域的再现像素信号。这里，合成器2003利用加权平均处理对纹理生成器2002根据恢复后的预测关联信息而生成的多个纹理信号进行加工，由此来生成预测信号。这样，由于根据多个纹理信号来生成预测信号，因此可以降低预测信号中所包含的噪声。并且，可以利用较少的预测关联信息来高效地生成这些多个纹理信号。因此，可以高效地生成噪声少的预测信号。

并且，本实施方式所涉及的图像预测解码装置1900可以将指定区域的形状和对象区域的形状设定为相同，因此可以更容易地生成预测信号。

并且，在本实施方式所涉及的图像预测解码装置1900中，可以将对象区域进行分割，针对分割出的各小区域生成预测信号，对每个小区域的预测信号进行合成，由此来生成对象区域的预测信号。因此，可以进一步提高最终生成的对象区域的预测信号的性能，即，生成噪声更少的预测信号。

并且，在本实施方式所涉及的图像预测解码装置1900中，纹理选择器2002可以生成包含与对象区域的像素信号的差分最小的模板信号的纹理信号，因此可以生成噪声更少的预测信号。

并且，在本实施方式所涉及的图像预测解码装置1900中，合成器2003对纹理信号实施加权平均处理，将经过该处理的纹理信号相加来生成预测信号。这样，在生成预测信号时，纹理信号被平均化，因此可以生成统计上误差少的预测信号。

并且，在本实施方式所涉及的图像预测解码装置1900中，数据分析器1902可以提取出包含表示对象区域的空间位移量的运动矢量的预测关联信息。因此，可以更容易地导出与对象区域的对象像素信号相关性高的信号，可以更容易地生成预测信号。

以上，根据该实施方式对本发明进行了详细说明。但是，本发明不限于上述实施方式。在不脱离本发明的主旨的范围内，可以对本发明进行各种变形。

<第2实施方式>

接着，说明本发明可以在提高针对远离对象块边界的像素的预测精度的同时，高效地生成针对具有复杂纹理信号（图案）的图像的预测信号的图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序。

图28是示出本发明实施方式所涉及的图像预测编码装置100X的框图。该图像预测编码装置100X构成为包括以下部分：输入端子101X；块分割器102X；预测信号生成器103X；帧存储器104X；减法器105X；变换器106X；量子化器107X；逆量子化器108X；逆变换器109X；加法器110X；熵编码器111X以及输出端子112X。变换器106X和量子化器107X作为编码单元发挥功能。

对如上构成的图像预测编码装置100X的以下结构进行说明。

输入端子101X是输入由多个图像构成的动态图像的信号的端子。

块分割器102X将从输入端子101X输入的动态图像的信号、即作为编码对象的图像分割为多个区域。在本发明所涉及的实施方式中，分割为由8×8的像素构成的块，但是也可以分割为其他大小或形状的块。

预测信号生成器103X是针对作为编码处理对象的对象区域（对象块）生成预测信号的部分。关于该预测信号生成器103X的具体处理，将在后面进行叙述。

减法器105X是从经由线L102X输入的由块分割器102X分割而成的对象区域中，减去经由线L103X输入的由预测信号生成器103X生成的预测信号，来生成残差信号的部分。减法器105X经由线L105X将相减而得到的残差信号输出给变换器106X。

变换器106X是对相减得到的残差信号进行离散余弦变换的部分。并且，量子化器107X是对由变换器106X离散余弦变换后的变换系数进行量子化的部分。熵编码器111X对由量子化器107X量子化后的变换系数进行编码，并经由线L111X将编码后的变换系数与有关预测方法的信息一起输出。输出端子112X将从熵编码器111X输入的信息输出到外部。

逆量子化器108X对量子化后的变换系数进行逆量子化，逆变换器109X进行逆离散余弦变换来恢复残差信号。加法器110X将恢复后的残差信号与从线L103X发送来的预测信号相加，再现对象块的信号，并将其存储到帧存储器104X中。在本实施方式中，使用了变换器106X和逆变换器109X，但是，也可以使用其他变换处理来代替这些变换器。并且，变换器106X和逆变换器109X不是必须的。这样，为了进行后续的针对对象区域的画面内预测或画面间预测，压缩后的对象区域的像素信号通过逆处理而恢复，并存储到帧存储器104中。

接着，对预测信号生成器103X进行详细说明。预测信号生成部103X针对作为编码处理对象的对象区域（以下，称为对象块）生成预测信号。在本发明所涉及的实施方式中，使用2种预测方法。即，预测信号生成器103X使用画面间预测方法和画面内预测方法中的至少一个方法来生成预测信号。

使用了画面间预测方法的预测信号生成器103X将过去进行编码后而恢复的再现图像作为参照图像，从该参照图像，求出给对象块给予误差最小的预测信号的运动信息。该处理被称为运动检测。并且，可以根据情况将对象块再次分割，针对再次分割出的小区域来决定画面间预测方法。在该情况下，预测信号生成器103X从各种分割方法中，决定对象块整体中最高效的分割方法和各自的运动信息。在本发明所涉及的实施方式中，预测信号生成器103X经由线L102X输入对象块，经由L104X输入参照图像，以用于生成上述预测信号。并且，作为参照图像，预测信号生成器103X使用在过去被编码并恢复后的多个图像作为参照图像。详细情况与作为现有技术的MPEG－2或4、以及ITUH.264中的任意一种方法相同。

通过这种方式所决定的运动信息和小区域的分割方法经由线L112X被发送到熵编码器111X中来进行编码，之后从输出端子112X输出。在预测信号生成器103X中，根据小区域的分割方法和与各小区域对应的运动信息，从帧存储器104X中取得参照图像，生成画面间预测信号。通过这种方式生成的画面间预测信号经由线L103X输出到减法器105X。

使用了画面内预测方法的预测信号生成器103X使用空间上与对象块相邻的已再现像素值来生成画面内预测信号。具体而言，预测信号生成器103X从帧存储器104X中取得位于相同画面内的已再现的像素信号，决定利用预定的方法来生成预测信号的画面内预测方法，根据该所决定的画面内预测方法生成画面内预测信号。另一方面，与预测方法有关的信息经由线L112X发送到熵编码器111X中来进行编码，之后从输出端子112X输出。通过这种方式所生成的画面间预测信号被发送到减法器105X。后面对预测信号生成器103X进行详细说明。

针对通过上述方式所求出的画面间预测信号和画面内预测信号，选择误差最小的预测信号，并将其发送到减法器105X。但是，由于针对第一个图像而言，不存在过去的图像，因此利用画面内预测对所有对象块进行处理。另外，下面所叙述的画面内预测信号的生成方法还可以应用于照片等静态图像的编码/解码。

在减法器105X中，从对象块信号（经由线L102X）中减去预测信号（经由线L103X），生成残差信号。该残差信号在变换器106X中进行离散余弦变换，其各变换系数由量子化器107X进行量子化。最后，量子化后的变换系数和有关预测信号的生成方法的信息一起在熵编码器111X中进行编码，并从输出端子112X输出。

接着，对本发明所涉及的预测信号生成器103X的处理进行说明，并以画面内预测方法的情况为中心来进行说明。也可以以相同的方式应用于画面间预测方法的情况。图29是示出本发明实施方式的图像预测编码装置所使用的预测信号生成器103X的框图，预测信号生成器103X构成为具有纹理合成器201X和纹理信号决定器202X。

纹理合成器201X经由线L104X从图28的帧存储器104X输入在过去的处理中已经再现的图像信号（再现图像信号）。并且，纹理合成器201X在使用了画面内预测方法的情况下，输入与对象块相同的画面中的再现图像信号，在使用了画面间预测方法的情况下，输入与对象块不同的画面（帧或者场）中的再现图像信号。而且，该纹理合成器201X利用如下所说明的方法来生成多个纹理信号，并向纹理信号决定器202X输出所生成的多个纹理信号。

纹理信号决定器202X在从纹理合成器201X输出纹理信号的同时，经由线L102X输入对象块的图像信号。然后，纹理信号决定器202X将所输入的多个纹理信号的每一个与对象块的图像信号进行比较，将误差最小的纹理信号作为对象块的预测信号经由线L103X输出。在本实施方式中，纹理信号决定器202X使用对象块的图像信号与纹理信号之间的像素值的绝对差分值的总和来求出误差值，将给予最小误差值的纹理信号决定为预测信号。

接着，使用图30来对纹理合成器201X进行说明。图30是示出本发明实施方式的图像预测编码装置100X所使用的纹理合成器201X的框图。该纹理合成器201X构成为包括：合成器301X；加法器302X；加权器303X～306X；纹理生成器307X～308X；以及第1外插器309X～第N外插器310X。这里，纹理生成器307X具有第1纹理取得器311X和第1匹配器312X，纹理生成器308X具有第M纹理取得器313X和第M匹配器314X。在图30中，使用了M个纹理生成器和N个信号外插器。在本实施方式中，M=5、N=9，但是也可以是其它数值。例如，可以为M=0、N=9；或者M=5、N=0。

首先，说明纹理生成器307X的动作。第1匹配器312X经由线L104X访问帧存储器104X中的再现图像信号，进行匹配处理。这里，对该匹配处理进行说明。图31是用于说明本发明实施方式的纹理生成方法中的匹配处理示意图。这里，说明生成针对对象块402X的预测信号的情况。

利用预定的方法对某对象块设定“对象相邻区域”（也称为模板）和“搜索区域”。在本实施方式中，将与对象块402X接触的、在其之前再现的位于相同画面内的再现图像的一部分（也可以是全部）设定为搜索区域401X。利用与对象块402X相邻的已再现像素组（倒L文字的区域）406X，来作为“对象相邻区域”。

另外，搜索区域401X也可以不与对象块402X完全接触。并且，对象相邻区域406X只要与对象块402至少接触一个像素即可。并且，在搜索区域401X中，求出对象相邻区域406X与具有相同形状的像素组之间，对应像素间的绝对值误差和（SAD），检索给予最小SAD的区域，将其设为“预测相邻区域”。

在图31中，“预测相邻区域”被决定为预测相邻区域408X。然后，与预测相邻区域408X接触的区域407X被决定为针对对象块402X的纹理信号。这里，预测相邻区域408X与表示纹理信号的区域407X的位置关系，和对象块402X与对象相邻区域406X的关系相同，但也可以不同。

这样，当决定了纹理信号时，第1匹配器312X经由L312X向第1纹理取得器311X输出与预测相邻区域408X的坐标有关的坐标信息或者与作为纹理信号的区域407X的坐标有关的坐标信息。第1纹理取得器311X根据上述坐标信息经由线L314X从帧存储器104X（参照图28）中取得作为纹理信号的区域407X的像素信号，并经由线L307X将其输出到合成器301X。

通过这样的处理，从搜索区域401X中搜索到与对象块402X的相邻区域406X相近的（误差小的）区域407X，并生成为纹理信号。

图32是示出本发明实施方式的纹理生成器307X中的纹理生成方法的流程图。由第1匹配器312X来取得与对象块相邻的对象相邻区域（S411X）。接着，第1纹理取得器311X针对由第1匹配器312X取得的对象相邻区域，求出对象相邻区域与位于搜索区域中的相同形状的像素组的绝对值和SAD值（S412X）。第1纹理取得器311X将SAD值和到目前为止的SAD值的最小值进行比较（S413X），在第1纹理取得器311X判断为SAD值小于最小值的情况下，进入到S414X，而在判断为并非如此的情况下，进入到S415X。另外，设最小值的初始值被预先决定。

第1纹理取得器311X将S412X中所求出的SAD值设定为最小值，第1纹理取得器311X决定与预测对象区域相邻区域的像素信号是对象块的纹理信号（S414X）。之后，第1匹配器312X对搜索区域401X是否已全部搜索完毕进行确认（S415X），在判断为还未全部搜索完毕的情况下，返回到S412X，通过第1纹理取得器311X来求出对象相邻区域406X与位于搜索区域401X中的（相同形状的）另一像素组的绝对值和SAD。在已全部搜索完毕的情况下，针对一个对象块（在这里，为对象块402X）的处理结束。然后，对接下来的对象块403X～405X依次进行同样的处理。

根据以上处理，在纹理生成器307X中，可以使用与对象块402X相邻的对象相邻区域406X来从搜索区域401X中搜索预测相邻区域408X，并通过将与该预测相邻区域408X相邻的区域407X决定为纹理信号来获得纹理信号。

另外，在图32中，说明了使用位于与对象块相同的画面内（可以是帧或场中的任意一个）的搜索区域401X的处理，但是搜索区域也可以使用位于与对象块不同的画面内的已再现信号。在该情况下，从与对象块不同的画面中取得预测相邻区域以及与预测相邻区域相邻的纹理信号。而且，作为搜索区域，还可以使用位于与对象块相同的画面和不同的画面的双方中的已再现的图像信号。在该情况下，作为合成对象的纹理信号是从与对象块相同的画面内搜索到的纹理信号和从不同的画面内搜索到的纹理信号。

接着，说明纹理生成器308X的动作。纹理生成器308X的动作与纹理生成器307X基本相同，但是该纹理生成器308X使用具有与图31所示的对象相邻区域406X不同形状的区域来进行搜索。图33是示出该不同的对象相邻区域的形状的一例的图。如图33所示，可以考虑到以下形状：形成在对象块502X的左侧的长方形的区域501X；形成在对象块504X的上侧的长方形的区域503X；形成在对象块504X的左斜上的区域505X；以及从对象块508X的上侧到左侧形成为三角形状的区域507X，但是并不限定于这些形状。

然后，纹理生成器308X在采用图33（D）的形状的对象相邻区域中进行图32所示的处理，生成对应的纹理信号。并且，其他纹理生成器（未图示）分别使用图33（A）、（B）、（C）所示的形状的对象相邻区域来生成纹理信号。

这样，纹理生成器307X、308X以及其他未图示的纹理生成器分别生成M个（M=5）纹理信号，并向合成器301X输出。另外，在图33中，说明了对象块由2×2像素构成的情况，但是如图34所示，在对象块为4×4像素或者8×8像素的情况下，也可以利用相同的处理来生成纹理信号。另外，针对对象块为4×4像素的情况，可以考虑针对对象块602X的区域601X、针对对象块604X的区域603X、针对对象块606X的区域605X以及针对对象块608X的区域607aX和607bX。并且同样地，针对8×8像素的情况，可以考虑针对对象块610X的区域609X、针对对象块612X的区域611X、针对对象块614X的区域613X以及针对对象块616X的区域615aX和615bX。

接着，说明第1外插器309X的动作。信号外插器309X外插使用通过直接重复与对象块（例如对象块402X）相邻的已再现像素的值而形成的像素的所谓信号，由此来生成纹理信号。图18是示出使用该方法来生成纹理信号的示意图。在图18（A）中，沿箭头方向重复位于对象块1802X上部的已再现像素1801X（A～D）的值，由此来外插信号。在图18（B）中，沿箭头方向重复已再现像素1803X（I～L），由此来外插信号。在图18（C）中，用已再现像素1805（A～D和I～L）的平均值来设定对象块1806X的像素值。

图18（D）到（I）的处理也如图所示，通过沿箭头方向重复已再现像素（1807～1817）来外插信号，由此形成信号。图30所示的N个（N＝9）第1外插器309X～第N外插器310X利用这些方法来生成N个纹理信号，并将所生成的纹理信号输出到合成器301X中。

接着，说明图30所示的结构。合成器301X对所输入的多个纹理信号进行预定的运算处理，由此对多个（M＋N个）纹理信号进行合成，并经由线L202X输出。在本实施方式中，从所输入的多个纹理信号，生成多个即K个合成纹理信号（或纹理信号）。

即，合成器301X对来自纹理生成器307X、308X的纹理信号进行平均化，生成第1合成纹理信号。在该情况下，加权器303X、304X的权重值为（1/M），加权器305X、306X的权重值为0。并且，合成器301X使用第1外插器309X的输出来生成第2合成纹理信号。在该情况下，加权器305X的权重值为1，其他加权器的权重值为0。而且，合成器301X使用第N外插器310X的输出来生成第3合成纹理信号。在该情况下，加权器306X的权重值为1，其他加权器的权重值为0。

并且，合成器301X将使用来自未图示的其他信号外插器的输出而生成的纹理信号（外插纹理信号）生成为合成纹理信号并输出。另外，合成器301X也可以使用上述权重值以外的权重值来生成多个合成纹理信号。例如，可以使用以下情况：加权器303X的权重值为1并且其他加权器的权重值为0、加权器304X的权重值为1并且其他加权器的权重值为0、与信号外插器连接的加权器305X、306X的权重值分别为1/N并且其他加权器的权重值为0。并且，作为另一组合，还可以将输入到合成器301X中的纹理信号按每2个一组进行组合，通过加权平均来生成合成纹理信号。在该情况下，还可以组合基于纹理生成器的纹理信号和基于信号外插器的纹理信号来进行合成。

如上所述，合成器301X只要使用至少一个纹理信号来生成合成纹理信号（即预测信号）即可，例如，只要使用从纹理生成器307X～308X以及第1外插器309X～第N外插器310X中的任意一个纹理生成器或外插器输出的纹理信号（或外插纹理信号）来作为合成纹理信号即可。

这样，多个（K个）合成纹理信号（或纹理信号）经由线L202X发送到图29的纹理信号决定器202，决定在对象块中信号上最相近（即，误差小的）的纹理信号，作为预测信号经由线L103X输出。

图35是示出本发明实施方式的图像预测编码装置100X中的图像预测编码方法的流程图。首先，由纹理生成器308X～309X和第1外插器309X～第N外插器310X针对对象块生成（M+N）个纹理信号（步骤802X）。接着，由合成器301X对M个纹理信号进行合成，由此生成至少2个纹理信号（在本实施方式中为M个），并生成L个合成纹理信号（在本实施方式中L=1）（步骤803X）。另外，虽然这里生成至少2个纹理信号，但是只要生成至少一个纹理信号（或者外插纹理信号）即可。

从N个纹理信号和L个合成纹理信号这K（=N+L）个中，选择与对象块最相近的一个纹理信号或合成纹理信号，将选择出的纹理信号或合成纹理信号决定为预测信号（步骤804X）。表示通过这种方式决定的预测信号与对象块的信号的差分的残差信号通过变换器106X、量子化器107X以及熵编码器111X进行编码（S805X）。然后，编码后的残差信号和预测信号生成关联信息经由输出端子112X输出（S806X）。

这里，作为预测信号生成关联信息，包含以下两者中的至少一方：与可以利用哪种纹理生成方法来生成预测信号有关的信息、与所使用的加权器的权重值有关的信息。在接收侧根据这些信息来生成预测信号。为了对后续的对象块进行预测编码，逆量子器108X和逆变换器109X在这些处理后（或者与这些处理并行地），对编码后的残差信号进行解码。然后，由加法器110X对解码后的残差信号加上预测信号，对象块的信号被再现，并作为参照图像存储在帧存储器104X中（S807X）。然后，在所有对象区域的处理未结束的情况下，返回到S802X，执行针对下一对象块的处理，在所有对象区域的处理都结束的情况下，结束处理（S808X）。

接着，说明上述图31所示的处理的变形例。图36是示出变形例的合成纹理信号的生成方法的流程图。首先，由第1匹配器312X来取得对象块相邻的对象相邻区域（S901X）。接着，第1纹理取得器311X针对由第1匹配器312X取得的对象相邻区域，求出对象相邻区域与形成在搜索区域中的相同形状的像素组的绝对值和SAD（S902X）。

第1纹理取得器311X将SAD与预定的阈值进行比较，在判断为小于阈值的情况下，进入到S904X，而在判断为并非如此的情况下，进入到S905X（S903X）。在判断为小于阈值的情况下，与提供小于阈值的SAD的预测相邻区域接触的纹理信号（例如图31的407X）被保存为候选纹理信号（S904X）。然后，第1匹配器312X对搜索区域是否已全部搜索完毕进行确认（S905X）。

在判断为还未全部搜索完毕的情况下，返回到S902X，求出对象相邻区域与位于搜索区域中的另一像素组的绝对值和SAD（S902X）。在已全部搜索完毕的时刻，由第1纹理取得器311X将所获得的一个或多个候选纹理信号全部平均化，由此生成纹理信号（S906X）。

针对该纹理信号以及由上述纹理生成器308X和第1外插器309X～第N外插器310X生成的其他纹理信号，由图29所示的纹理信号决定器202X选择与对象块最相近（误差最小的）的纹理信号，所选择出的纹理信号被决定为预测信号。

在该实施方式中，再现侧也需要使用相同的阈值，并需要在发送侧和接收侧预先决定阈值。并且，作为另一实施方式，阈值可以与压缩数据一起从发送侧向接收侧传送，接收侧可以使用接收到的阈值并利用图36所示的方法来生成合成纹理信号。即，可以采用以下方式：预测信号生成器103X可以经由线L112X向熵编码器111X输出表示阈值的信息，熵编码器111X将阈值信息与压缩数据一起从输出端子112X传送到接收侧，从而将阈值传送到接收侧。

而且，除阈值之外，还可以考虑设定进行平均化的候选纹理信号的个数的上限。在该情况下，当候选纹理信号的个数超过上限时，只对上限值以下的个数的候选纹理信号进行平均化。并且，该上限值可以根据帧来变更，在该情况下，发送侧按照每个帧向接收侧发送上限值。例如，与上述相同，预测信号生成器103X可以经由线L112X向熵编码器111X输出，并经由输出端子112X向接收侧发送。并且，也可以在不使用阈值的情况下来决定进行平均化的候选纹理信号的个数，并始终对该个数的候选纹理信号进行合成。与该个数有关的信息可以按照帧内的每个区域、按照每个帧或者按照每个序列来进行发送，也可以使用在发送侧和接收侧预先决定的值。

利用上述方法即模板匹配所求出的SAD值小于某阈值的含义表示这些SAD值没有较大的差异。这种最佳解的不确定性的课题具有以下效果：通过由模板匹配所生成的类似的多个纹理信号的合成（平均化），可以生成在统计上误差少的预测信号。并且，本实施方式所涉及的图像预测编码装置具有这样的效果：在再现侧（作为接收侧的图像预测解码装置）可以唯一地求出这些纹理信号，从而不需要向再现侧发送（表示利用哪个纹理信号来进行合成的）辅助信息，因此可以在不需要处理这样的辅助信息的情况下进行编码。

在本发明所涉及的纹理信号的加权平均中，也可以在决定了当利用由SAD值的预定函数表示的关系（例如反比例关系）对候选纹理信号进行平均化时所使用的权重后，来进行加权平均。而且，这些权重值可以使用以块单元或帧单位通过学习而更新后的值。具体而言，使用与SAD值对应的逐次更新式来进行更新。

另外，作为变形例，可以将图36中的处理变更为下面的处理。即，在图像预测编码装置100X中，取得在步骤904X中所决定的候选纹理信号在相同帧中的位置信息，将其存储在缓冲部（未图示）中，存储后的位置信息在进行熵编码后，与差分信号一起发送到接收侧的图像预测解码装置中。

在接收侧的图像预测解码装置中，对从图像预测编码装置100X接收到的位置信息进行熵解码，之后根据该位置信息，从帧存储器中取得多个候选纹理信号，对它们进行加权平均，生成纹理信号。即，在该变形例中，在图像预测解码装置中，进行根据所接收到的位置信息从帧存储器中取得多个候选纹理信号的处理，来取代步骤901X～905X的处理。

并且，作为另一变形例，图像预测编码装置100X不在图36的S901X中取得对象相邻区域（模板），而是在S902X中，从对象块与位于搜索区域中的像素组求出差分值SAD，在决定候选纹理信号的同时，取得该候选纹理信号的位置信息（例如，画面中的坐标信息），将其与差分信号一起发送到接收侧的图像预测解码装置中。在接收侧的图像预测解码装置中，在对所接收到的位置信息进行熵解码后，根据该位置信息从帧存储器中取得多个候选纹理信号，对所取得的候选纹理信号进行加权平均，生成纹理信号。

这样，在图像预测编码装置100X中，取得候选纹理信号的位置信息并将其发送到接收侧的图像预测解码装置中，从而在接收侧的图像预测解码装置中可以使用该位置信息来取得候选纹理信号，可以减轻接收侧的图像预测解码装置的处理负担。

接着，说明本发明所涉及的图像预测解码方法。图37是示出本发明的实施方式所涉及的图像预测解码装置900X的框图。该图像预测解码装置900X具有：输入端子901X、数据分析器902X、逆量子化器903X、逆变换器904X、加法器905X、输出端子906X、帧存储器907X以及纹理合成器908X。逆量子化器903X和逆变换器904X作为解码单元发挥功能，但是作为解码单元也可以使用其它部件。并且，也可以不具有逆变器904X。以下，对各结构进行说明。

输入端子901X输入利用上述图像预测编码方法压缩编码后的压缩数据。在该压缩数据中包含用于对将图像分割为多个块后的对象块进行预测编码的残差信号和与预测信号的生成相关联的信息。作为与预测信号的生成相关联的预测信号生成关联信息包含指示信息，该指示信息表示利用图30所示的纹理生成器307X、308X和第1外插器309X、第N外插器310X中的哪一个（一个或者一个以上的组合）。并且，还可以包含与配置在合成器301X中的加权器303X～306X所使用的权重值有关的信息。而且，在使用图36所示的模板匹配方法来生成合成纹理信号的情况下，上述阈值以及在合成中所使用的纹理信号个数的上限值包含在与预测信号的生成相关联的信息中。

数据分析器902X通过对输入端子901X所输入的压缩数据进行分析，来提取对象块的残差信号、与预测信号的生成相关联的预测信号生成关联信息以及量子化参数。

逆量子化器903X根据量子化参数（经由线L902X）对对象块的残差信号进行逆量子化。逆变换器904X对逆量子化后的数据进行逆离散余弦变换。

纹理合成器908X经由线L902bX从数据分析器902X输入与预测信号的生成相关联的信息。该纹理合成器908X（利用后述的方法）根据与预测信号的生成相关联的预测信号生成关联信息从帧存储器907X中取得参照图像，生成预测信号。纹理合成器908X经由线L908X向加法器905X输出所生成的预测信号。另外，也可以预先决定预测信号生成关联信息，而不用输入用于生成预测信号的信息。例如，可以预先存储图36所示的阈值和加权器303X～306X的权重值。

加法器905X将由纹理合成器908X生成的预测信号与由逆量子器903X和逆变换器904X恢复的残差信号相加，经由线L905X向输出端子906X和帧存储器907X输出作为对象块的再现图像。然后，输出端子906X向外部（例如显示器）输出。

帧存储器907X作为用于接下来的解码处理的参照用的再现图像而存储从加法器905X输出的再现图像，来作为参照图像。

接着，说明纹理合成器908X。纹理合成器908X的详细结构如图38所示，具有基本与图30所示的结构相同的结构或者与其相当的功能。利用经由线L902bX输入的与预测信号的生成相关联的预测信号生成关联信息来控制使用纹理生成器1007X～1008X、第1外插器1009X～第N外插器1010X中的哪一个来生成纹理信号。

例如，在针对作为再现对象的对象块，接收到表示使用纹理生成器1007X～1008X的预测信号生成关联信息的情况下，只有纹理生成器1007X～1008X工作，除此之外的第1外插器1009X～第N外插器1010X不工作。并且，例如，在接收到表示使用第1外插器1009X来生成纹理信号的预测信号生成关联信息的情况下，除此之外的第N外插器1010X以及纹理生成器1007X～1008X不工作。另外，还可以利用除此之外的组合来生成预测信号生成关联信息。例如，还可以是表示仅使用纹理生成器1007X和第1外插器1009X的预测信号生成关联信息。

如上所述，合成器1001X只要使用至少一个纹理信号来生成合成纹理信号（即预测信号）即可，例如，根据经由线902b X接收到的预测信号生成关联信息，只要使用从纹理生成器1007X～1008X以及第1外插器1009X～第N外插器1010X中的任意一个纹理生成器或外插器输出的纹理信号（或外插信号）来作为合成纹理信号即可。

纹理生成器1007X、1008X分别利用与图30中的纹理生成器307X、308X相同的处理来生成纹理信号。详细情况如上所述。并且，第1外插器1009X、第N外插器1010X分别利用与图30中所说明的第1外插器309X、第N外插器310X相同的方法来生成纹理信号。

这样，利用由与预测信号的生成相关联的预测信号生成关联信息（经由线L902bX）所指定的纹理生成器1007X或1008X、第1外插器1009X或第N外插器1010X来生成纹理信号，并向合成器1001X发送。在本实施方式中，加权器1003X～1006X利用预定的权重值对发送来的纹理信号进行加权处理并将其发送到加法器1002X中。在加法器1002X中，将加权处理后的纹理信号相加，并将相加后的纹理信号作为预测信号经由线L908X输出。另外，在没有预先决定加权器1003X～1006X所使用的加权值的情况下，可以使加权器1003X～1006X应用附加在与预测信号的生成相关联的预测信号生成关联信息中的权重值。

另外，在图38中，在只利用纹理生成器来生成纹理信号的情况下，也可以不具有信号外插器。在该情况下，在与预测信号的生成相关联的预测信号生成关联信息中不需要表示使用纹理生成器、第1外插器或第N外插器中的哪个的指示信息。

如上所述，在从图像预测编码装置100X接收到根据对象相邻区域或对象块而求出的候选纹理信号的位置信息的情况下，图像预测解码装置900X在对所接收到的位置信息进行熵解码后，根据该位置信息，从帧存储器907X中取得多个候选纹理信号，对所取得的候选纹理信号进行加权平均，生成纹理信号。由此，可以减轻候选纹理信号的生成处理。

接着，使用图39说明本发明的实施方式所涉及的图像预测解码装置900X中的图像预测解码方法。首先，经由输入端子901X输入压缩后的压缩数据（S1102X）。然后，在数据分析器902X中，对压缩数据进行熵解码，提取量子化后变换系数、量子化参数以及预测信号生成关联信息（S1103X）。这里，纹理合成器908X根据提取出的预测信号生成关联信息生成多个纹理信号，对所生成的多个纹理信号进行合成，由此生成预测信号（S1104X）。

另一方面，在逆量子化器903X中使用量子化参数对量子化后的变换系数进行逆量子化，在逆变换器904X中进行逆变换，生成再现差分信号（S1105X、S1106X）。然后，将所生成的预测信号与再现差分信号相加生成再现信号（S1107X）。该所生成的再现信号存储在帧存储器中用于对下一对象块进行再现（S1108X）。在存在下一个压缩数据的情况下，再次重复该过程（步骤S1103X），直到最后处理了所有数据为止（步骤S1109X）。另外，也可以根据需要返回到S1102X，来取入压缩数据。

本发明所涉及的图像预测编码方法和图像预测解码方法还可以作为程序以存储在记录介质中的方式来提供。作为记录介质，可以例示出FLOPPY DISC（软盘）（注册商标）、CD－ROM、DVD、或者ROM等记录介质、或者半导体存储器等。

图40是示出可以执行图像预测编码方法的程序的模块的框图。图像预测编码程序P100X构成为包含以下部分：块分割模块P102X；预测信号生成模块P103X；存储模块P104X；减法模块P105X；变换模块P106X；量子化模块P107X；逆量子化模块P108X；逆变换模块P109X；加法模块P110X以及熵编码模块P111X。另外，如图41所示，预测信号生成模块P103X构成为包含以下部分：合成模块P301X；纹理生成模块P311X以及外插模块P309X。

通过执行上述模块所实现的功能与上述图像预测编码装置100X的各结构要素相同。即，图像预测编码程序P100X的各模块的功能与下述各部分的功能相同：块分割器102X；预测信号生成器103X；帧存储器104X；减法器105X；变换器106X；量子化器107X；逆量子化器108X；逆变换器109X；加法器110X；熵编码器111X。

并且，图42是示出可以执行图像预测解码方法的程序的模块的框图。图像预测解码程序P900X构成为包含以下部分：数据分析模块P902X；逆量子化模块P903X；逆变换模块P904X；加法模块P905X；存储模块P907X以及纹理合成模块P908X。

通过执行上述各模块所实现的功能与上述图像预测解码装置900X的各结构要素相同。即，图像预测解码程序P900X的各模块的功能与下述各部分的功能相同：数据分析器902X、逆量子化器903X、逆变换器904X、加法器905X、帧存储器907X以及纹理合成器908X。

如此构成的图像预测编码程序P100X或者图像预测解码程序P900X存储在记录介质10中，由上述计算机来执行。

如上所述，图17是示出用于执行记录在记录介质中的程序的计算机硬件结构的图，图18是用于执行存储在记录介质中的程序的计算机的立体图。作为计算机，包含具有CPU并且进行基于软件的处理和控制的DVD播放器、机顶盒、移动电话等。

如图17所示，计算机30具有：软盘驱动装置、CD－ROM驱动装置以及DVD驱动装置等读取装置12；使操作系统常驻的工作用存储器（RAM）14；存储记录介质10中所存储的程序的存储器16；被称为显示器的显示装置18；作为输入装置的鼠标20和键盘22；用于进行数据等的发送接收的通信装置24；以及控制程序的执行的CPU26。在将记录介质10插入到读取装置12中时，计算机30可以从读取装置12来访问存储在记录介质10中的图像预测编码/解码程序，并可以利用该图像编码/解码程序，作为本发明所涉及的图像编码装置或图像解码装置来动作。

如图18所示，图像预测编码程序或图像解码程序可以作为载波中重叠的计算机数据信号40经由网络提供。在该情况下，计算机30将通过通信装置24接收到的图像预测编码程序或图像解码程序存储在存储器16中，从而可以执行该图像预测编码程序或图像预测解码程序。

这样，根据本发明所涉及的图像预测编码装置、图像预测解码装置、图像预测编码方法、图像预测解码方法、图像预测编码程序以及图像预测解码程序，在使用现有技术中所使用的外插的方法来生成画面内预测信号的情况下，可以防止针对远离对象块边界的像素的预测精度的下降，可以高效地预测具有复杂图案的图像信号。

接着，说明本实施方式的图像预测编码装置100X的作用效果。在本实施方式的图像预测编码装置100X中，块分割器102将从输入端子101X输入的输入图像分割为多个区域，预测信号生成器103X针对分割出的上述多个区域中作为处理对象的对象区域的对象像素信号生成预测信号。然后，减法器105X可以生成所生成的该预测信号与对象像素信号的残差信号，变换器106X、量子化器107X以及熵编码器111X可以对残差信号进行编码，生成压缩信号。

这里，预测信号生成器103X可以根据由与对象像素信号相邻的已再现像素信号构成的相邻区域来生成纹理信号，并可以利用预定的纹理合成方法对所生成的纹理信号进行加工，由此来生成预测信号。由此，由于利用图像的纹理合成方法来生成预测信号，因此可以防止针对远离对象块边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

并且，预测信号生成器103X可以根据由与对象像素信号相邻的已再现像素信号构成的相邻区域来生成与该相邻区域相关性高的多个纹理信号，并可以利用预定的纹理合成方法对所生成的多个纹理信号进行加工，由此来生成预测信号。由此，可以利用对象块与相邻于该对象块的“对象相邻区域”相关性高的性质，可以防止针对远离对象块边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

并且，预测信号生成器103X可以根据由与对象像素信号相邻的已再现像素信号构成的多个相邻区域来生成与该多个相邻区域的每一个相关性高的多个纹理信号，并可以利用预定的合成方法对所生成的多个纹理信号进行加工，由此来生成预测信号。由此，可以利用对象块与相邻于该对象块的“对象相邻区域”相关性高的性质，可以防止针对远离对象块边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

并且，预测信号生成器103X可以在第1外插器309X或第N外插器310X中，重复与对象像素信号相邻的已再现像素值来形成像素，由此生成外插纹理信号，并可以利用预定的合成方法对纹理信号和外插纹理信号进行合成，由此来生成预测信号。由此，可以防止针对远离对象块边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

并且，预测信号生成器103X可以从预定的已再现图像即搜索区域中搜索与由相邻于对象像素信号的已再现像素信号构成的相邻区域相关性高的预测相邻区域，将根据该搜索到的预测相邻区域所决定的图像区域作为纹理信号。由此，可以利用对象块与相邻于该对象块的“对象相邻区域”相关性高的性质，从已再现图像区域中检测相对于对象相邻区域误差最少的区域，来作为预测相邻区域，将与该预测相邻区域相邻同时与对象块对应的像素组作为对象块的纹理信号，由此即使在纹理比较复杂的情况下也能够生成与相邻区域相同图案的预测信号，并且即使远离对象块的边界，也能够生成相同图案的纹理信号。

并且，熵编码器111X可以对表示纹理合成方法的关联信息（例如，权重值、表示使用哪个纹理生成器的信息等）进行编码，并经由输出端子112X将编码后的关联信息与编码后的编码信号一起输出。由此，在接收侧可以获知图像的纹理合成方法，并在接收侧利用该所获知的纹理合成方法生成预测信号，因此可以防止针对远离对象块边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

并且，纹理合成器201X可以针对由各纹理生成器307X、308X、第1外插器309X以及第N外插器310X生成的、针对像素信号的多个纹理信号，在合成器301X（加权器303X～306X）中使用预定的加权系数进行加权平均处理，由此进行合成，生成预测信号。由此，具有通过利用模板匹配所生成的纹理信号的合成（平均化），可以生成在统计上误差少的预测信号的效果。

而且，根据“对象相邻区域”利用与已再现图像区域的匹配（模板匹配）所求出的差分值不是很大的差的情况下的不确定性的课题，具有以下效果，即：通过利用模板匹配所生成的纹理信号的合成（平均化），可以生成在统计上误差少的预测信号。并且，根据本发明，通过对多个纹理信号进行合成，由此具有可以抑制各纹理中所包含的编码失真的效果，可以生成误差少的预测信号。

并且，例如纹理生成器307X可以从与对象像素信号相同的画面内即第1搜索区域中，根据由与所述对象像素信号相邻的已再现像素信号构成的相邻区域，至少生成一个与该相邻区域相关性高的纹理信号，例如纹理生成器308X可以从与所述第1搜索区域不同的画面即第2搜索区域中，根据由与所述对象像素信号相邻的已再现像素信号构成的相邻区域，至少生成一个与该相邻区域相关性高的纹理信号，并可以利用预定的纹理合成方法对分别生成的纹理信号进行合成，由此来生成预测信号。由此，由于使用图像的纹理合成方法来生成预测信号，因此可以防止针对远离对象块边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

并且，块分割器102X将经由输入端子101X输入的输入图像分割为多个区域，预测信号生成器103X针对分割出的所述多个区域中作为处理对象的对象区域的对象像素信号生成预测信号。然后，减法器105X可以生成所生成的预测信号与所述对象像素信号的残差信号，变换器106X、量子化器107X以及熵编码器111X可以对所生成的所述残差信号进行编码，生成压缩信号。然后，在预测信号生成器103X中，第1外插器309X和第N外插器310X可以重复与对象像素信号相邻的已再现像素值来形成像素，由此生成至少一个外插纹理信号，合成器301X可以利用预定的合成方法对所述外插纹理信号进行合成，由此来生成预测信号。由此，可以防止针对远离对象块边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

接着，说明图像预测解码装置900X的作用效果。在图像预测解码装置900X中，数据分析器902X从由输入端子901X输入的压缩数据中提取与作为处理对象的对象区域有关的残差信号，并在逆量子化器903X和逆变换器904X中将其恢复为再现残差信号。然后，纹理合成器908X可以针对所述对象区域的对象像素信号生成预测信号，加法器905X可以将所生成的预测信号与所恢复的残差信号相加，由此恢复所述对象区域的像素信号，并可以将所恢复的像素信号作为参照图像存储到帧存储器907X中。然后，可以根据由存储在帧存储器907X中的、由与对象像素信号相邻的已再现像素信号构成的相邻区域来生成纹理信号，并利用预定的合成方法对所生成的纹理信号进行加工，由此来生成预测信号。

并且，纹理合成器908X可以根据由与对象像素信号相邻的已再现像素信号构成的相邻区域，来生成与该相邻区域相关性高的多个纹理信号，并利用预定的合成方法对所生成多个的纹理信号进行加工，由此来生成预测信号。由此，可以利用对象块与相邻于该对象块的“对象相邻区域”相关性高的性质，可以防止针对远离对象块边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

并且，纹理合成器908X可以根据由与所述对象像素信号相邻的已再现像素信号构成的多个相邻区域，来生成与该多个相邻区域的每一个相关性高的多个纹理信号，并可以利用预定的合成方法对所生成多个的纹理信号进行加工，由此来生成预测信号。由此，可以利用对象块与相邻于该对象块的“对象相邻区域”相关性高的性质，可以防止针对远离对象块边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

并且，纹理合成器908X的第1外插器1009X或第N外插器1010X可以重复与对象像素信号相邻的已再现像素值来形成像素，由此生成外插纹理信号，并可以利用预定的合成方法对纹理信号和外插纹理信号进行合成，由此来生成预测信号。由此，可以防止针对远离对象块边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

并且，纹理合成器908X可以从预定的已再现图像即搜索区域中搜索与由相邻于对象像素信号的已再现像素信号构成的相邻区域相关性高的预测相邻区域，将根据该搜索到的预测相邻区域所决定的图像区域作为纹理信号。由此，可以利用对象块与相邻于该对象块的“对象相邻区域”相关性高的性质，从已再现图像区域中检测相对于对象相邻区域误差最少的区域，来作为预测相邻区域，将与该预测相邻区域相邻同时与对象块对应的像素组作为对象块的纹理信号，由此即使在纹理比较复杂的情况下也能够生成与对象相邻区域相同图案的预测信号，并且即使远离对象块边界，也能够生成相同图案的纹理信号。

并且，纹理合成器908X可以利用预定的加权系数对针对对象像素信号的多个纹理信号进行加权平均处理，由此进行合成，生成预测信号。由此，具有如下这样的效果，即：通过利用模板匹配所生成的纹理信号的合成（平均化），可以生成在统计上误差少的预测信号。

而且，根据“对象相邻区域”利用与已再现图像区域的匹配（模板匹配）所求出的差分值不是很大的差的情况下的不确定性的课题，具有以下效果，即：通过利用模板匹配所生成的纹理信号的合成（平均化），可以生成在统计上误差少的预测信号。并且，根据本发明，通过对多个纹理信号进行合成，由此具有可以抑制各纹理中所包含的编码失真的效果，可以生成误差少的预测信号。

并且，在纹理合成器908X中，例如纹理生成器1007X从与对象像素信号相同的画面内即第1搜索区域中，根据由与所述对象像素信号相邻的已再现像素信号构成的相邻区域，至少生成一个与该相邻区域相关性高的纹理信号，并且，例如纹理生成器1008X从与所述第1搜索区域不同的画面即第2搜索区域中，根据由与所述对象像素信号相邻的已再现像素信号构成的相邻区域，至少生成一个与该相邻区域相关性高的纹理信号，合成器1001X利用预定的纹理合成方法对分别生成的纹理信号进行合成，由此可以生成预测信号。由此，由于利用图像的纹理合成方法来生成预测信号，因此可以防止针对远离对象块边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

并且，在图像预测解码装置900X中，数据分析器902X从压缩数据中提取与所述对象区域有关的残差信号，逆量子化器903X和逆变换器904X将其恢复为再现残差信号，纹理合成器908X针对所述对象区域的对象像素信号，生成预测信号。然后，加法器905X将预测信号与再现残差信号相加，由此可以恢复对象区域的像素信号。然后，在纹理合成器908X中，第1外插器1009X和第N外插器1010X重复与对象像素信号相邻的已再现像素值来形成像素，由此生成至少一个外插纹理信号，并利用预定的合成方法对所述外插纹理信号进行合成，由此可以生成预测信号。由此，可以防止针对远离对象块边界的像素的预测精度的下降，即使在纹理信号比较复杂的情况下也能够高效地生成预测信号。

另外，根据本实施方式，还可以理解为以下的图像预测编码方法和图像预测解码方法。

即，在图像预测编码方法中，优选在所述预测信号生成步骤中，根据由与所述对象像素信号相邻的已再现像素信号构成的相邻区域，生成与该相邻区域相关性高的多个纹理信号，并利用预定的合成方法对所生成的多个纹理信号进行加工，由此来生成预测信号。

并且，在图像预测编码方法中，优选在所述预测信号生成步骤中，根据由与所述对象像素信号相邻的已再现像素信号构成的多个相邻区域，来生成与该多个相邻区域的每一个相关性高的多个纹理信号，利用预定的合成方法对所生成多个的纹理信号进行加工，由此来生成预测信号。

并且，在图像预测编码方法中，优选在所述预测信号生成步骤中，还重复与所述对象像素信号相邻的已再现像素值来形成像素，由此生成外插纹理信号，并利用预定的合成方法对所述纹理信号和所述外插纹理信号进行合成，由此来生成预测信号。

并且，在图像预测编码方法中，优选在所述预测信号生成步骤中，从预定的已再现图像即搜索区域中搜索与由相邻于所述对象像素信号的已再现像素信号构成的相邻区域相关性高的预测相邻区域，将根据该搜索到的预测相邻区域所决定的图像区域作为纹理信号。

并且，在图像预测解码方法中，优选在所述预测信号生成步骤中，根据由与所述对象像素信号相邻的已再现像素信号构成的相邻区域，生成与该相邻区域相关性高的多个纹理信号，并利用预定的合成方法对所生成的多个纹理信号进行加工，由此来生成预测信号。

并且，在图像预测解码方法中，优选在所述预测信号生成步骤中，根据由与所述对象像素信号相邻的已再现像素信号构成的多个相邻区域，来生成与该多个相邻区域的每一个相关性高的多个纹理信号，利用预定的合成方法对所生成的多个纹理信号进行加工，由此来生成预测信号。

并且，在图像预测解码方法中，优选在所述预测信号生成步骤中，还重复与所述对象像素信号相邻的已再现像素值来形成像素，由此生成外插纹理信号，并利用预定的合成方法对所述纹理信号和所述外插纹理信号进行合成，由此来生成预测信号。

并且，在图像预测解码方法中，优选在所述预测信号生成步骤中，从预定的已再现图像即搜索区域中搜索与由相邻于所述对象像素信号的已再现像素信号构成的相邻区域相关性高的预测相邻区域，将根据该搜索到的预测相邻区域所决定的图像区域作为纹理信号。

Claims (20)

1.一种图像预测编码装置，其特征在于，该图像预测编码装置具有：

区域分割单元，其将输入图像分割为多个区域；

预测信号生成单元，其针对由所述区域分割单元分割出的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；

残差信号生成单元，其生成由所述预测信号生成单元生成的预测信号与所述对象像素信号的残差信号；以及

编码单元，其对由所述残差信号生成单元生成的所述残差信号进行编码，生成压缩数据，

所述预测信号生成单元根据由与所述对象像素信号相邻的已再现像素信号构成的相邻区域来生成纹理信号，利用预定的纹理合成方法对所生成的纹理信号进行加工，由此来生成预测信号。

2.根据权利要求1所述的图像预测编码装置，其特征在于，

所述预测信号生成单元根据由与所述对象像素信号相邻的已再现像素信号构成的相邻区域，来生成与该相邻区域相关性高的多个纹理信号，利用预定的合成方法对所生成多个的纹理信号进行加工，由此来生成预测信号。

3.根据权利要求1所述的图像预测编码装置，其特征在于，

所述预测信号生成单元根据由与所述对象像素信号相邻的已再现像素信号构成的多个相邻区域，来生成与该多个相邻区域的每一个相关性高的多个纹理信号，利用预定的合成方法对所生成多个的纹理信号进行加工，由此来生成预测信号。

4.根据权利要求1～3中的任意一项所述的图像预测编码装置，其特征在于，

所述预测信号生成单元还重复与所述对象像素信号相邻的已再现像素值来形成像素，由此生成外插纹理信号，并利用预定的合成方法对所述纹理信号和所述外插纹理信号进行合成，由此来生成预测信号。

5.根据权利要求1～3中的任意一项所述的图像预测编码装置，其特征在于，

所述预测信号生成单元从预定的已再现图像即搜索区域中搜索与由相邻于所述对象像素信号的已再现像素信号构成的相邻区域相关性高的预测相邻区域，将根据该搜索到的预测相邻区域所决定的图像区域作为纹理信号。

6.根据权利要求1～3中的任意一项所述的图像预测编码装置，其特征在于，

所述编码单元对表示所述纹理合成方法的关联信息进行编码，

具有发送单元，该发送单元将编码后的所述关联信息与由所述编码单元编码的编码信号一起进行发送。

7.根据权利要求2或3所述的图像预测编码装置，其特征在于，

所述预测信号生成单元利用预定的加权系数对针对所述对象像素信号的多个纹理信号进行加权平均处理，由此进行合成，生成预测信号。

8.一种图像预测编码装置，其特征在于，该图像预测编码装置具有：

区域分割单元，其将输入图像分割为多个区域；

预测信号生成单元，其针对由所述区域分割单元分割出的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；

残差信号生成单元，其生成由所述预测信号生成单元生成的预测信号与所述对象像素信号的残差信号；以及

编码单元，其对由所述残差信号生成单元生成的所述残差信号进行编码，生成压缩信号，

所述预测信号生成单元重复与所述对象像素信号相邻的已再现像素值来形成像素，由此生成至少一个外插纹理信号，并利用预定的合成方法对所述至少一个外插纹理信号进行合成，由此来生成预测信号。

9.一种图像预测解码装置，其特征在于，该图像预测解码装置具有：

残差信号恢复单元，其从压缩数据中提取与作为处理对象的对象区域有关的残差信号，并将其恢复为再现残差信号；

预测信号生成单元，其针对所述对象区域的对象像素信号，生成预测信号；以及

图像恢复单元，其将由所述预测信号生成单元生成的预测信号与由所述残差信号恢复单元恢复的再现残差信号相加，由此来恢复所述对象区域的像素信号，

所述预测信号生成单元根据由与对象像素信号相邻的已再现像素信号构成的相邻区域来生成纹理信号，利用预定的纹理合成方法对所生成的纹理信号进行加工，由此来生成预测信号。

10.根据权利要求9所述的图像预测解码装置，其特征在于，

所述预测信号生成单元根据由与所述对象像素信号相邻的已再现像素信号构成的相邻区域，来生成与该相邻区域相关性高的多个纹理信号，利用预定的合成方法对所生成的多个纹理信号进行加工，由此来生成预测信号。

11.根据权利要求9所述的图像预测解码装置，其特征在于，

所述预测信号生成单元根据由与所述对象像素信号相邻的已再现像素信号构成的多个相邻区域，来生成与该多个相邻区域的每一个相关性高的多个纹理信号，利用预定的合成方法对所生成的多个纹理信号进行加工，由此来生成预测信号。

12.根据权利要求9～11中的任意一项所述的图像预测解码装置，其特征在于，

所述预测信号生成单元还重复与所述对象像素信号相邻的已再现像素值来形成像素，由此生成外插纹理信号，并利用预定的合成方法对所述纹理信号和所述外插纹理信号进行合成，由此来生成预测信号。

13.根据权利要求9～11中的任意一项所述的图像预测解码装置，其特征在于，

所述预测信号生成单元从预定的已再现图像即搜索区域中搜索与由相邻于所述对象像素信号的已再现像素信号构成的相邻区域相关性高的预测相邻区域，将根据该搜索到的预测相邻区域而决定的图像区域作为纹理信号。

14.根据权利要求9～11中的任意一项所述的图像预测解码装置，其特征在于，

所述压缩数据包含表示纹理合成方法的关联信息，

所述预测信号生成单元利用所述关联信息来形成所述对象区域的纹理信号。

15.根据权利要求10或11所述的图像预测解码装置，其特征在于，

所述预测信号生成单元利用预定的加权系数对针对所述对象像素信号的多个纹理信号进行加权平均处理，由此进行合成，从而生成预测信号。

16.一种图像预测解码装置，其特征在于，该图像预测解码装置具有：

残差信号恢复单元，其从压缩数据中提取与对象区域有关的残差信号，并将其恢复为再现残差信号；

预测信号生成单元，其针对所述对象区域的对象像素信号，生成预测信号；以及

图像恢复单元，其将所述预测信号与所述再现残差信号相加，由此来恢复所述对象区域的像素信号，

所述预测信号生成单元重复与所述对象像素信号相邻的已再现像素值来形成像素，由此生成至少一个外插纹理信号，并利用预定的合成方法对所述至少一个外插纹理信号进行合成，由此来生成预测信号。

17.一种图像预测编码方法，其特征在于，该图像预测编码方法包括以下步骤：

区域分割步骤，其将输入图像分割为多个区域；

预测信号生成步骤，其针对由所述区域分割步骤分割出的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；

残差信号生成步骤，其生成由所述预测信号生成步骤生成的预测信号与所述对象像素信号的残差信号；以及

编码步骤，其对由所述残差信号生成步骤生成的所述残差信号进行编码，生成压缩数据，

在所述预测信号生成步骤中，根据由与所述对象像素信号相邻的已再现像素信号构成的相邻区域来生成纹理信号，利用预定的纹理合成方法对所生成的纹理信号进行加工，由此来生成预测信号。

18.一种图像预测编码方法，其特征在于，该图像预测编码方法包括以下步骤：

区域分割步骤，其将输入图像分割为多个区域；

预测信号生成步骤，其针对由所述区域分割步骤分割出的所述多个区域中作为处理对象的对象区域的对象像素信号，生成预测信号；

残差信号生成步骤，其生成由所述预测信号生成步骤生成的预测信号与所述对象像素信号的残差信号；以及

编码步骤，其对由所述残差信号生成步骤生成的所述残差信号进行编码，生成压缩信号，

在所述预测信号生成步骤中，

重复与所述对象像素信号相邻的已再现像素值来形成像素，由此生成外插纹理信号，

并利用预定的合成方法对所述外插纹理信号进行合成，由此来生成预测信号。

19.一种图像预测解码方法，其特征在于，该图像预测解码方法包括以下步骤：

残差信号恢复步骤，其从压缩数据中提取与作为处理对象的对象区域有关的残差信号，并将其恢复为再现残差信号；

预测信号生成步骤，其针对所述对象区域的对象像素信号，生成预测信号；以及

图像恢复步骤，其将由所述预测信号生成步骤生成的预测信号与由所述残差信号恢复步骤恢复的再现残差信号相加，由此来恢复所述对象区域的像素信号，

在所述预测信号生成步骤中，根据由与对象像素信号相邻的已再现像素信号构成的相邻区域来生成纹理信号，利用预定的合成方法对所生成的纹理信号进行加工，由此来生成预测信号。

20.一种图像预测解码方法，其特征在于，该图像预测解码方法包括以下步骤：

残差信号恢复步骤，其从压缩数据中提取与所述对象区域有关的残差信号，并将其恢复为再现残差信号；

预测信号生成步骤，其针对所述对象区域的对象像素信号，生成预测信号；以及

图像恢复步骤，其将所述预测信号与所述再现残差信号相加，由此来恢复所述对象区域的像素信号，

在所述预测信号生成步骤中，

重复与所述对象像素信号相邻的已再现像素值来形成像素，由此生成外插纹理信号，

并利用预定的合成方法对所述外插纹理信号进行合成，由此来生成预测信号。

Images