CN102017637A - 图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序 - Google Patents

图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序 Download PDF

Info

Publication number
CN102017637A
CN102017637A CN2009801144708A CN200980114470A CN102017637A CN 102017637 A CN102017637 A CN 102017637A CN 2009801144708 A CN2009801144708 A CN 2009801144708A CN 200980114470 A CN200980114470 A CN 200980114470A CN 102017637 A CN102017637 A CN 102017637A
Authority
CN
China
Prior art keywords
signal
prediction
candidate
picture
prediction signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801144708A
Other languages
English (en)
Other versions
CN102017637B (zh
Inventor
铃木芳典
文仲丞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of CN102017637A publication Critical patent/CN102017637A/zh
Application granted granted Critical
Publication of CN102017637B publication Critical patent/CN102017637B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供利用较少的附加信息和较少的运算量来高效生成预测信号的图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序。图像预测编码装置(100)具有：预测信号生成器(103)，其针对由块分割器(102)分割后的多个区域之一即对象区域的对象像素信号，生成预测信号；运动估计器(113)，其从已再现信号中检索生成预测信号所需要的运动向量；以及减法器(105)，其生成预测信号和对象像素信号的残差信号。预测信号生成器(103)具有候选预测信号合成器(203)，该候选预测信号合成器(203)根据运动向量，决定作为已再现信号的部分区域的检索区域，从检索区域中生成一个以上的第2种候选预测信号，使用预先确定的合成方法，对这些多个第2种候选预测信号和根据上述运动向量而生成的第1种候选预测信号进行加工，由此生成预测信号。

Description

图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序
技术领域
本发明涉及图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序，特别涉及使用运动检索方法和信号合成方法进行预测编码和解码的图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序。
背景技术
为了高效地进行静态图像和动态图像数据的传送和蓄积，使用压缩编码技术。在动态图像的情况下，广泛使用MPEG-1～4或ITU(International Telecommunication Union：国际电信联盟)H.261～H.264的方式。
在这些编码方式中，在将作为编码对象的图像分割成多个块之后进行编码/解码处理。在画面内的预测编码中，使用位于与对象块相同的画面内的邻接的已再现的图像信号(对被压缩的图像数据进行复原后的图像信号)生成预测信号后，对从对象块信号中减去该预测信号后的差分信号进行编码。在画面间的预测编码中，参照位于与对象块不同的画面内的邻接的已再现的图像信号，进行运动的校正，生成预测信号，对从对象块信号中减去该预测信号后的差分信号进行编码。
例如，在H.264的画面内预测编码中，采用了在规定方向外插与成为编码对象的块邻接的已再现的像素值来生成预测信号的方法。图22是用于说明在ITU H.264中使用的画面内预测方法的示意图。在图22(A)中，对象块1802是成为编码对象的块，由与该对象块1802的边界邻接的像素A～M构成的像素组1801是邻接区域，是在过去的处理中已再现的图像信号。
在该情况下，向下方拉伸位于对象块1802正上方的邻接像素即像素组1801来生成预测信号。并且，在图22(B)中，向右拉伸位于对象块1804左侧的已再现像素(I～L)来生成预测信号。生成预测信号的具体方法例如记载于专利文献1中。这样，取得利用图22(A)～(I)所示的方法生成的9个预测信号分别与对象块的像素信号的差分，将差分值最小的预测信号作为最佳预测信号。如上所述，能够通过外插像素来生成预测信号。以上内容记载于下述专利文献1中。
在通常的画面间预测编码中，针对作为编码对象的块，利用从已再现的画面中检索与该像素信号类似的信号的方法来生成预测信号。然后，对对象块和检索到的信号构成的区域之间的空间位移量即运动向量、以及对象块的像素信号和预测信号之间的残差信号进行编码。这样按照每个块来检索运动向量的方法被称为块匹配。
图5是用于说明块匹配处理的示意图。这里，以编码对象的画面401上的对象块402为例说明预测信号的生成步骤。画面403是已再现的画面，区域404是在空间上与对象块402同一位置的区域。在块匹配中，设定包围区域404的检索范围405，检测该检索范围的像素信号与对象块402的像素信号的绝对值误差和最小的区域406。该区域406的信号成为预测信号，检测从区域404向区域406的位移量作为运动向量407。在H.264中，为了对应于图像局部特征的变化，准备了用于对运动向量进行编码的块尺寸不同的多个预测类型。H.264的预测类型例如记载于专利文献2中。
在动态图像数据的压缩编码中，各画面(帧、场)的编码顺序可以是任意的。因此，在参照已再现画面来生成预测信号的画面间预测中，针对编码顺序具有3种手法。第1手法是按照再现顺序参照过去的已再现画面来生成预测信号的前方向预测，第2手法是按照再现顺序参照未来的已再现画面的后方向预测，第3手法是同时进行前方向预测和后方向预测并对2个预测信号进行平均化的双方向预测。画面间预测的种类例如记载于专利文献3中。
如上所示，在H.264中，为了对应于图像局部特征的变化，准备了用于对运动向量进行编码的块尺寸不同的预测类型。但是，当块尺寸减小时，进行编码的运动向量的数量增加。因此，存在如下方法：将一个运动向量作为参考，利用与各块邻接的已再现的像素值，生成对作为编码对象的块进行四分割后的块的运动向量。该方法记载于专利文献4中。
进而，存在不使用运动向量，而利用与作为编码对象的块邻接的已再现的像素值来生成预测信号的方法。此时，生成多个候选预测信号并对它们进行平均，由此，能够与双方向预测同样地去除预测信号中包含的噪声分量。该方法记载于专利文献5中。
专利文献1：美国专利公报第6765964号
专利文献2：美国专利公报第7003035号
专利文献3：美国专利公报第6259739号
专利文献4：日本特开平2-62180号公报
专利文献5：日本特开2007-300380号公报
在复制再现像素值来生成各像素的预测信号的信号预测手法中，再现像素值包含由编码引起的失真(例如量化噪声)，因此预测信号也包含该失真。包含该由编码引起的失真的预测信号成为残差信号的编码量增加和再现画质劣化等使编码效率下降的主要原因。
由编码引起的失真的影响能够通过预测信号的平滑化来抑制。因此，在对2个预测信号进行平均化的双方向预测中也具有抑制效果。但是，双方向预测在再现侧生成2个预测信号，因此，需要对2个运动向量进行编码。
另一方面，如现有技术所示，如果利用与作为编码对象的块邻接的已再现的像素值，则不进行运动向量的编码，就能够生成预测信号。但是，为了利用高预测性能对具有较大运动的输入图像进行编码，需要扩大检索范围，与对运动向量进行编码的手法相比，解码时预测信号的生成需要大量时间。
发明内容
因此，为了解决上述课题，本发明的目的在于，提供能够利用较少的附加信息和较少的运算量来高效生成预测信号的图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序。
为了解决上述课题，本发明的图像预测编码装置具有：区域分割单元，其将输入图像分割为多个区域；运动估计单元，其从已再现信号中检索与由所述区域分割单元分割后的多个区域中作为处理对象的对象区域的对象像素信号之间的相关度高的信号，提取指示该检索到的信号的运动信息；预测信号生成单元，其生成针对所述对象区域的对象像素信号的预测信号；残差信号生成单元，其生成由所述预测信号生成单元生成的预测信号与所述对象像素信号之间的残差信号；以及编码单元，其对由所述残差信号生成单元生成的残差信号和由所述运动估计单元提取出的运动信息进行编码，所述预测信号生成单元具有：运动补偿单元，其根据所述运动信息，由已再现信号生成第1种候选预测信号；检索区域决定单元，其根据所述运动信息，决定作为已再现信号的部分区域的检索区域；模板匹配单元，其从所述检索区域中检索一个以上的和与所述对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域之间的相关度高的预测邻接区域，根据所述多个预测邻接区域，由已再现信号生成一个以上的所述对象像素信号的第2种候选预测信号；以及候选预测信号合成单元，其根据由所述运动补偿单元生成的第1种候选预测信号和由所述模板匹配单元生成的一个以上的第2种候选预测信号，生成预测信号。
根据该结构，能够根据运动信息来决定检索区域，从该检索区域生成第2种候选预测信号。由此，能够减少检索时间，能够高效地生成预测信号。
并且，在本发明的图像预测编码装置中，优选由所述运动信息单元提取出的所述运动信息至少包含表示用于生成所述第1种候选预测信号的第1再现画面的信息、以及指示所述第1种候选预测信号的运动向量的信息，所述检索区域决定单元根据所述第1再现画面的信息，选择包含所述检索区域的第2再现画面，使用包含所述对象区域的画面与所述第1再现画面之间的时间方向的画面间隔、包含所述对象区域的画面与所述第2再现画面之间的时间方向的画面间隔、以及所述运动向量，确定所述检索区域在第2再现画面内的空间位置。
根据本发明，能够决定用于检索第2种候选预测信号的检索区域，能够迅速地进行第2种候选预测信号的检索处理。
并且，在本发明的图像预测编码装置中，优选所述候选预测信号合成单元生成用于根据所述对象邻接区域的邻接像素信号和与所述多个候选预测信号邻接的候选预测邻接区域的像素信号之间的差分值进行所述加权平均的权重系数，使用该权重系数对所述多个候选预测信号进行加权平均，由此生成对象区域的预测信号。
根据本发明，能够对预测信号进行平均化，能够生成更加适当的预测信号。
并且，在本发明的图像预测编码装置中，优选在构成所述运动向量的各分量为0值，所述检索区域属于与所述第1再现画面不同的画面的情况下，所述模板匹配单元进行选择，以使构成指示所述第2种候选预测信号的运动向量的分量中的至少任意一个分量不是0。根据本发明，能够更加有效地得到平均化处理的效果。
并且，在本发明的图像预测编码装置中，优选所述检索区域决定单元在相对于包含所述对象区域的画面在时间上与第1再现画面相反方向的画面中，决定所述第2再现画面。
并且，在本发明的图像预测编码装置中，优选所述检索区域决定单元在与第1再现画面不同且在时间上与包含所述对象区域的画面最接近的画面中，决定所述第2再现画面。
并且，在本发明的图像预测编码装置中，优选所述检索区域决定单元选择多个画面作为所述第2再现画面，由此选择多个检索区域。
并且，在本发明的图像预测编码装置中，优选所述检索区域决定单元选择第1再现画面作为所述第2再现画面。
并且，在本发明的图像预测编码装置中，优选所述检索区域决定单元选择所述输入图像的已再现区域作为所述第2再现画面。
并且，在本发明的图像预测编码装置中，优选所述检索区域决定单元选择与所述第1种候选预测信号不同的像素信号，作为所述第2种候选预测信号。
在这些发明中，决定/选择第2再现画面或第2种候选预测信号，由此，能够更加适当地对候选预测信号进行平均化，能够生成适当的预测信号。
并且，本发明的图像预测解码装置具有：数据解码单元，其从压缩数据中对与作为处理对象的对象区域有关的运动信息的编码数据和残差信号的编码数据进行解码；残差信号复原单元，其根据由所述数据解码单元解码得到的残差信号，复原再现残差信号；预测信号生成单元，其生成针对所述对象区域的对象像素信号的预测信号；以及图像复原单元，其对由所述预测信号生成单元生成的预测信号和由所述残差信号复原单元复原的再现残差信号进行相加，由此复原所述对象区域的像素信号，所述预测信号生成单元具有：运动补偿单元，其根据由所述数据解码单元解码的运动信息，由已再现信号生成第1种候选预测信号；检索区域决定单元，其根据所述运动信息，决定作为已再现信号的部分区域的检索区域；模板匹配单元，其从所述检索区域中检索一个以上的和与所述对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域之间的相关度高的预测邻接区域，根据所述多个预测邻接区域，由已再现信号生成一个以上的所述对象像素信号的第2种候选预测信号；以及候选预测信号合成单元，其根据由所述运动补偿单元生成的第1种候选预测信号和由所述模板匹配单元生成的一个以上的第2种候选预测信号，生成预测信号。
并且，在本发明的图像预测解码装置中，优选由所述运动信息单元提取出的所述运动信息至少包含表示用于生成所述第1种候选预测信号的第1再现画面的信息、以及指示所述第1种候选预测信号的运动向量的信息，所述检索区域决定单元根据所述第1再现画面，选择包含所述检索区域的第2再现画面，使用包含所述对象区域的画面与所述第1再现画面之间的时间方向的画面间隔、包含所述对象区域的画面与所述第2再现画面之间的时间方向的画面间隔、以及所述运动向量，确定所述检索区域在第2再现画面内的空间位置。
根据本发明，能够决定用于检索第2种候选预测信号的检索区域，能够迅速地进行第2种候选预测信号的检索处理。
并且，在本发明的图像预测解码装置中，优选所述候选预测信号合成单元生成用于根据所述对象邻接区域的邻接像素信号和与所述多个候选预测信号邻接的候选预测邻接区域的像素信号之间的差分值进行所述加权平均的权重系数，根据该权重系数对所述多个候选预测信号进行加权平均，由此生成对象区域的预测信号。
根据本发明，能够对预测信号进行平均化，能够生成更加适当的预测信号。
并且，在本发明的图像预测解码装置中，优选在构成所述运动向量的各分量为0值，所述检索区域属于与所述第1画面不同的画面的情况下，所述模板匹配单元进行选择，以使构成指示所述第2种候选预测信号的运动向量的分量中的至少任意一个分量不是0。根据本发明，能够更加有效地得到平均化处理的效果。
并且，在本发明的图像预测解码装置中，优选所述检索区域决定单元在相对于包含所述对象区域的画面在时间上与第1再现画面相反方向的画面中，决定所述第2再现画面。
并且，在本发明的图像预测解码装置中，优选所述检索区域决定单元在与第1再现画面不同且在时间上与包含所述对象区域的画面最接近的画面中，决定所述第2再现画面。
并且，在本发明的图像预测解码装置中，优选所述检索区域决定单元选择多个画面作为所述第2再现画面，由此选择多个检索区域。
并且，在本发明的图像预测解码装置中，优选所述检索区域决定单元选择第1再现画面作为所述第2再现画面。
并且，在本发明的图像预测解码装置中，优选所述检索区域决定单元选择包含所述对象区域的画面作为所述第2再现画面。
并且，在本发明的图像预测解码装置中，优选所述检索区域决定单元选择与所述第1种候选预测信号不同的像素信号，作为所述第2种候选预测信号。
在这些发明中，决定/选择第2再现画面或第2种候选预测信号，由此，能够更加适当地对候选预测信号进行平均化，能够生成适当的预测信号。
并且，如下所述，除了本发明的图像预测编码装置、图像预测解码装置以外，还能够记述为图像预测编码方法、图像预测解码方法、图像预测编码程序、图像预测解码程序。这些发明的范畴不同，发挥与装置同样的作用效果。
即，本发明的图像预测编码方法具有以下步骤：区域分割步骤，在该步骤中，将输入图像分割为多个区域；运动估计步骤，在该步骤中，从已再现信号中检索与由所述区域分割步骤分割后的多个区域中作为处理对象的对象区域的对象像素信号之间的相关度高的信号，提取指示该检索到的信号的运动信息；预测信号生成步骤，在该步骤中，生成针对所述对象区域的对象像素信号的预测信号；残差信号生成步骤，在该步骤中，生成由所述预测信号生成步骤生成的预测信号与所述对象像素信号之间的残差信号；以及编码步骤，在该步骤中，对由所述残差信号生成步骤生成的残差信号和由所述运动估计步骤提取出的运动信息进行编码，所述预测信号生成步骤具有以下步骤：运动补偿步骤，在该步骤中，根据所述运动信息，由已再现信号生成第1种候选预测信号；检索区域决定步骤，在该步骤中，根据所述运动信息，决定作为已再现信号的部分区域的检索区域；模板匹配步骤，在该步骤中，从所述检索区域中检索一个以上的和与所述对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域之间的相关度高的预测邻接区域，根据所述多个预测邻接区域，由已再现信号生成一个以上的所述对象像素信号的第2种候选预测信号；以及候选预测信号合成步骤，在该步骤中，根据由所述运动补偿步骤生成的第1种候选预测信号和由所述模板匹配步骤生成的一个以上的第2种候选预测信号，生成预测信号。
并且，本发明的图像预测解码方法具有以下步骤：数据解码步骤，在该步骤中，从压缩数据中对与作为处理对象的对象区域有关的运动信息的编码数据和残差信号的编码数据进行解码；残差信号复原步骤，在该步骤中，根据由所述数据解码步骤解码得到的残差信号，复原再现残差信号；预测信号生成步骤，在该步骤中，生成针对所述对象区域的对象像素信号的预测信号；以及图像复原步骤，在该步骤中，对由所述预测信号生成步骤生成的预测信号和由所述残差信号复原步骤复原的再现残差信号进行相加，由此复原所述对象区域的像素信号，所述预测信号生成步骤具有以下步骤：运动补偿步骤，在该步骤中，根据由所述数据解码步骤解码的运动信息，由已再现信号生成第1种候选预测信号；检索区域决定步骤，在该步骤中，根据所述运动信息，决定作为已再现信号的部分区域的检索区域；模板匹配步骤，在该步骤中，从所述检索区域中检索一个以上的和与所述对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域之间的相关度高的预测邻接区域，根据所述多个预测邻接区域，由已再现信号生成一个以上的所述对象像素信号的第2种候选预测信号；以及候选预测信号合成步骤，在该步骤中，根据由所述运动补偿步骤生成的第1种候选预测信号和由所述模板匹配步骤生成的一个以上的第2种候选预测信号，生成预测信号。
并且，本发明的图像预测编码程序具有：区域分割模块，其将输入图像分割为多个区域；运动估计模块，其从已再现信号中检索与由所述区域分割模块分割后的多个区域中作为处理对象的对象区域的对象像素信号之间的相关度高的信号，提取指示该检索到的信号的运动信息；预测信号生成模块，其生成针对所述对象区域的对象像素信号的预测信号；残差信号生成模块，其生成由所述预测信号生成模块生成的预测信号与所述对象像素信号之间的残差信号；以及编码模块，其对由所述残差信号生成模块生成的残差信号和由所述运动估计模块提取出的运动信息进行编码，所述预测信号生成模块具有：运动补偿模块，其根据所述运动信息，由已再现信号生成第1种候选预测信号；检索区域决定模块，其根据所述运动信息，决定作为已再现信号的部分区域的检索区域；模板匹配模块，其从所述检索区域中检索一个以上的和与所述对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域之间的相关度高的预测邻接区域，根据所述多个预测邻接区域，由已再现信号生成一个以上的所述对象像素信号的第2种候选预测信号；以及候选预测信号合成模块，其根据由所述运动补偿模块生成的第1种候选预测信号和由所述模板匹配模块生成的一个以上的第2种候选预测信号，生成预测信号。
并且，本发明的图像预测解码程序具有：数据解码模块，其从压缩数据中对与作为处理对象的对象区域有关的运动信息的编码数据和残差信号的编码数据进行解码；残差信号复原模块，其根据由所述数据解码模块解码得到的残差信号，复原再现残差信号；预测信号生成模块，其生成针对所述对象区域的对象像素信号的预测信号；以及图像复原模块，其对由所述预测信号生成模块生成的预测信号和由所述残差信号复原模块复原的再现残差信号进行相加，由此复原所述对象区域的像素信号，所述预测信号生成模块具有：运动补偿模块，其根据由所述数据解码模块解码的运动信息，由已再现信号生成第1种候选预测信号；检索区域决定模块，其根据所述运动信息，决定作为已再现信号的部分区域的检索区域；模板匹配模块，其从所述检索区域中检索一个以上的和与所述对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域之间的相关度高的预测邻接区域，根据所述多个预测邻接区域，由已再现信号生成一个以上的所述对象像素信号的第2种候选预测信号；以及候选预测信号合成模块，其根据由所述运动补偿模块生成的第1种候选预测信号和由所述模板匹配模块生成的一个以上的第2种候选预测信号，生成预测信号。
根据本发明的图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序，能够根据较少的运动信息，以较少的检索时间来生成多个候选预测信号，因此，能够高效地生成伴有平均化效果的预测信号。并且，在适当地利用不使用运动信息的预测手法和本手法的情况下，存在能够限制前者的预测手法的检索范围的效果。
附图说明
图1是示出本实施方式的图像预测编码装置的框图。
图2是示出图1所示的预测信号生成器的框图。
图3是示出图2所示的模板匹配器的框图。
图4是示出图2所示的候选预测信号合成器和权重系数计数器的框图。
图5是用于说明运动估计处理(块匹配处理)的示意图，(a)示出参照画面，(b)示出编码对象的画面。
图6是与检索区域设定处理有关的示意图。
图7是与画面间预测中的模板匹配处理有关的示意图，(a)示出参照画面，(b)示出编码对象的画面。
图8是与画面间预测模板匹配处理的变形例有关的第1示意图，(a)示出参照画面，(b)示出编码对象的画面。
图9是示出图1所示的图像预测编码装置的图像预测编码方法的步骤的流程图。
图10是用于说明预测信号的生成方法的步骤的流程图。
图11是用于说明模板匹配处理的步骤的流程图。
图12是用于说明多个候选预测信号的合成方法的步骤的流程图。
图13是示出本实施方式的图像预测解码装置的框图。
图14是示出图13所示的图像预测解码装置的图像预测解码方法的步骤的流程图。
图15是示出能够执行本实施方式的图像预测编码方法的程序的框图。
图16是示出图15所示的预测信号生成模块的框图。
图17是示出能够执行本实施方式的图像预测解码方法的程序的框图。
图18是示出用于执行在记录介质中记录的程序的计算机的硬件结构的图。
图19是用于执行在记录介质中存储的程序的计算机的立体图。
图20是与画面内预测中的运动估计处理(a)和模板匹配处理(b)有关的示意图。
图21是与画面内预测中的模板匹配处理的变形例有关的示意图。
图22是用于说明现有的画面内预测方法的示意图。
标号说明
100：图像预测编码装置；101：输入端子；102：块分割器；103：预测信号生成器；104：帧存储器；105：减法器；106：转换器；107：量化器；108：逆量化器；109：逆转换器；110：加法器；111：熵编码器；112：输出端子；113：运动估计器；201：检索区域设定器；202：模板匹配器；203：候选预测信号合成器；204：运动补偿器；205：候选预测区域取得器；206：权重系数计算器；211：对象邻接区域取得器；212：预测邻接区域取得器；213：候选预测区域选择器；214：候选预测区域决定器；221：对象邻接区域取得器；223：候选预测邻接区域取得器；224：权重系数决定器；225：权重系数乘法器；226：加法/除法器；300：图像预测解码装置；301：输入端子；302：熵解码器；303：逆量化器；304：逆转换器；305：加法器；306：输出端子。
具体实施方式
下面，参照附图详细说明本实施方式。另外，在附图的说明中，对相同或相等的要素标注相同的标号并省略重复的说明。
<图像预测编码方法>
图1是示出本实施方式的图像预测编码装置100的框图。该图像预测编码装置100具有：输入端子101、块分割器102(区域分割单元)、预测信号生成器103(预测信号生成单元)、帧存储器104、减法器105(残差信号生成单元)、转换器106、量化器107、逆量化器108、逆转换器109(编码单元)、加法器110(编码单元)、熵编码器111(编码单元)、输出端子112以及运动估计器113(运动估计单元)。转换器106和量化器107作为编码单元发挥功能。
输入端子101是输入由多幅图像构成的动态图像的信号的端子。
块分割器102将从输入端子101输入的信号所表示的作为编码对象的图像分割为多个区域。在本实施方式中，分割为由8×8的像素构成的块，但是，也可以分割为除此之外的块的大小或形状。
运动估计器113检测生成作为编码处理对象的对象区域(对象块)的预测信号所需要的运动信息。该运动估计器113的具体处理在后面叙述。
预测信号生成器103是如下的部分：使用经由线L113输入的运动信息，生成对象块的预测信号，将该预测信号输出到减法器105，将与预测方法有关的信息输出到熵编码器111。该预测信号生成器103的具体处理在后面叙述。
帧存储器104存储参照图像，并存储如后所述通过再现对象块的信号而生成的参照图像。
减法器105是如下的部分：从经由线L102输入的由块分割器102分割而得到的对象区域中，减去经由线L103输入的由预测信号生成器103生成的预测信号，来生成残差信号。减法器105经由线L105向转换器106输出减法得到的残差信号。
转换器106是对减法得到的残差信号进行离散余弦转换的部分。并且，量化器107是对由转换器106进行离散余弦转换后的转换系数进行量化的部分。熵编码器111对由量化器107量化后的转换系数进行编码，并且对与预测方法有关的信息进行编码，经由线L111输出编码后的信息。输出端子112向外部输出从熵编码器111输入的信息。
逆量化器108对量化后的转换系数进行逆量化。逆转换器109通过逆离散余弦转换来复原残差信号。加法器110将复原后的残差信号和从线L103发送的预测信号相加，再现对象块的信号，将其存储在帧存储器104中。在本实施方式中，使用了转换器106和逆转换器109，但是，也可以使用代替这些转换器的其他转换处理。并且，转换器106和逆转换器109不是必须的。这样，为了进行后续的针对对象区域的画面内预测或画面间预测，压缩后的对象区域的像素信号通过逆处理而复原，并存储在帧存储器104中。
接着，说明运动估计器113和预测信号生成器103。运动估计器113从存储在帧存储器104中的已再现信号中，检索与作为编码处理对象的对象区域(以下称为对象块)类似的候选预测区域，提取从已再现信号取得检索到的候选预测区域所需要的运动信息。预测信号生成器103使用提取出的运动信息和已再现信号，生成对象块的预测信号。在本实施方式中，使用2种预测方法。即，预测信号生成器103使用画面间预测方法和画面内预测方法中的至少一方来生成预测信号。用于选择画面间预测方法和画面内预测方法的选择信息与量化后的转换系数和运动信息一起被熵编码器111编码，并从输出端子112送出。
首先，说明运动估计器113中的运动信息的生成处理。运动估计器113在使用画面内预测方法的情况下，将与对象块相同的画面(帧或场)的已再现的图像信号作为参照画面(相当于第1再现画面)，通过块匹配处理来检测运动向量。这里，参照画面表示实施运动向量的检索的对象的再现画面。在使用画面间预测方法的情况下，将与对象块不同的画面(帧或场)的再现图像信号作为参照画面(相当于第1再现画面)，通过块匹配处理来检测运动向量。检测到的运动向量作为运动信息，经由L113从运动估计器113分别输出到预测信号生成器103和熵编码器(经由线L113)。
使用图5进一步详细叙述运动估计器113中的画面间预测中的运动向量的检索方法。在图5中，说明块匹配处理作为其例子。运动估计器113只要能够检索运动信息即可，不限于块匹配处理。图5是用于说明运动向量的检测方法的示意图，图5(a)示出参照画面(相当于第1再现画面)，图5(b)示出编码对象的画面。这里，说明在编码对象的画面401中针对对象块402检测运动向量的情况。
首先，将在过去的处理中已经再现的画面403作为参照画面，在参照画面上设定检索区域405。在图5中，在空间上与对象块402位于相同位置的区域404的周围设定检索区域405，但是，也可以在空间上错开的位置设定。接着，在检索区域405中，在具有与对象块402相同形状的像素组之间，求出对应的像素间的绝对值误差和(SAD)，检索赋予最小的SAD的区域406。该区域406成为第1种候选预测信号。此时，用于检索区域406的评价值也可以不是SAD。然后，检测从区域404到区域406的位移量作为对象块的运动向量407。在图5中，参照画面为一幅，但是，还存在在多个已再现画面上设定检索区域来进行运动向量的检索的方法。该情况下，在运动信息中包含用于识别检测到的运动向量所属的已再现画面的参照画面编号。另外，在画面内预测方法中，如图20(a)所示，检索区域439设定在编码对象的画面401内，因此，不需要参照画面编号的编码。在图20(a)中，区域431表示赋予与对象块402之间最小的SAD的区域，运动向量432表示从对象区域402到区域431的位移量。
接着，以画面间预测方法的情况为例说明预测信号生成器103中的对象块的预测信号的生成处理。图2是预测信号生成器103的框图。预测信号生成器103具有：检索区域设定器201(检索区域决定单元)、模板匹配器202(模板匹配单元)、候选预测信号合成器203(候选预测信号合成单元)、运动补偿器204(运动补偿单元)、候选预测区域取得器205(包含于模板匹配单元)以及权重系数计算器206(包含于候选预测信号合成单元)。在预测信号生成器103中，检索区域设定器201根据上述运动信息，在已再现的画面上设定作为模板匹配对象的检索区域，模板匹配器202从检索区域中检索针对对象块的多个候选预测信号(第2种候选预测信号)。然后，运动补偿器204和候选预测区域取得器205取得从已再现信号中取得的候选预测信号(分别是第1种候选预测信号和第2种候选预测信号)，候选预测信号合成器203使用由权重系数计算器206决定的权重系数，通过加权平均对这些候选预测信号进行合成，生成针对对象块的预测信号。
此时，预测信号生成器103根据在运动估计器113中生成并经由L113输入的运动信息(输入到检索区域设定器201、运动补偿器204和权重系数计算器206)，生成预测信号，即，将与对象块402的图像信号的误差小的预测区域406的图像信号作为候选预测信号之一(第1种候选预测信号、区域406为第1种候选预测区域)，由此，实现预测性能的提高。即，预测信号生成器103包含运动补偿器204(运动补偿单元)，该运动补偿器204根据经由L113输入的运动信息，从帧存储器104的参照画面(第1再现画面)中取得第1种候选预测信号，将其输出到候选预测信号合成器203。并且，检索区域设定器201根据经由L113输入的运动信息，决定参照画面(第2再现画面)和检索区域，经由L201输出到模板匹配器202。
模板匹配器202从上述检索区域(帧存储器104内的参照画面的一部分)检索一个以上的候选预测信号(第2种候选预测信号)，经由L202向候选预测区域取得器205输出用于从第2再现画面取得检索到的信号的访问信息。候选预测区域取得器205从帧存储器104的参照画面(第2再现画面)中取得第2种候选预测信号，将其输出到候选预测信号合成器203。这样，根据上述运动信息，从该参照画面和运动向量决定针对其他候选预测信号(第2种候选预测信号)的检索区域，因此，能够在狭小的检索区域中高效地检索候选预测信号。另外，第2种候选预测信号只要是一个以上即可，其数量不受限定。
(检索区域设定器201的说明)
在检索区域设定器201中，根据经由L113输入的运动信息，决定对第2种候选预测信号进行检索的参照画面和检索区域。图6是说明从多个再现画面中选择用于检索针对编码对象的画面401内的对象块402的第2种候选预测信号的参照画面409的方法、以及决定检索区域的中心位置(检索中心)的方法的图。在该例子中，从由已再现信号构成的参照画面的候选中，选择与运动信息所示的参照画面403(检索到第1种候选预测信号的画面：第1再现画面)不同、且在时间上与编码对象的画面401最接近的再现画面，作为检索第2种候选预测信号的参照画面(第2再现画面)。
图6(1)和图6(2)示出全部参照画面的候选相对于编码对象的画面在时间上为过去的画面时的参照画面409。如图6(1)那样，在参照画面的候选中运动信息所示的参照画面403(时间t-a)在时间上与编码对象的画面401(时间t)最接近的情况下，选择相对于画面403在时间上为过去的参照画面(时间t-b、a＜b)，作为检索第2种候选预测信号的参照画面409。如图6(2)那样，在运动信息所示的参照画面403(时间t-a)和编码对象的画面401(时间t)之间存在参照画面的其他候选的情况下，选择两个画面之间的画面中在时间上与编码对象的画面401(时间t)最接近的参照画面(时间t-b、a＞b)，作为检索第2种候选预测信号的参照画面409。
图6(3)和图6(4)示出在参照画面的候选中包含相对于编码对象的画面在时间上为未来的画面时的参照画面409。如图6(3)那样，在参照画面的候选中运动信息所示的参照画面403(时间t+a、a＜0)在时间上相对于编码对象的画面401(时间t)为过去的画面的情况下，选择在时间上相对于编码对象的画面401为未来且与编码对象的画面401最接近的画面(时间t+b、b＞0)，作为检索第2种候选预测信号的参照画面409。如图6(4)那样，在参照画面的候选中运动信息所示的参照画面403(时间t+a、a＞0)在时间上相对于编码对象的画面401(时间t)为未来的画面的情况下，选择在时间上相对于编码对象的画面401为过去且与编码对象的画面401最接近的画面(时间t+b、b＜0)，作为检索第2种候选预测信号的参照画面409。
如图6(3)和图6(4)那样，在预测信号的生成中能够使用在时间上相对于编码对象的画面为未来的画面的情况下，相对于画面401，在时间上与参照画面403(第1再现画面)相反的方向选择参照画面409(第2再现画面)，由此，能够得到基于双方向预测的预测效率改善效果。
图6(5)和图6(6)示出参照画面的候选为一幅时的参照画面409。在这些情况下，检索第2种候选预测信号的参照画面409与运动信息所示的参照画面403相同。另外，即使在参照画面的候选不是一幅的情况下，作为检索第2种候选预测信号的参照画面409，也可以选择运动信息中包含的参照画面编号指示的参照画面403。
在参照画面409上对编码对象的画面401、与运动信息所示的参照画面403和检索第2种候选预测信号的参照画面409之间的画面间时间差(分别为t1和t2)、以及运动信息中包含的运动向量407进行定标，由此来决定检索区域的中心位置即检索中心。式(1)示出运动信息中包含的运动向量407，式(2)示出在参照画面409上对运动向量407进行定标的定标运动向量408。
[数式1]
MV＝(mvx，mvy)...(1)
[数式2]
scaledMV＝((t2×mvx)/t1，(t2×mvy)/t1)...(2)
以定标运动向量408所示的像素位置为中心，在参照画面409中设定检索区域。此时，在定标运动向量408的水平/垂直分量的值为1/2像素、1/4像素等小数值的情况下，也可以归整为整数值。检索区域的大小是任意的，可以预先确定。并且，也可以利用顺序单位或画面单位对检索区域的大小进行编码。
在图6中，设检索第2种候选预测信号的参照画面409为一幅，但是，也可以选择多幅并在各个画面中设定检索区域。如后所述，第2种候选预测信号使用与对象区域邻接的已再现的像素组，来检索候选预测信号。因此，即使增加要检索的参照画面的数量，关于第2种候选预测信号的检索，也不需要对参照画面的信息进行编码。
另外，在运动向量407和定标运动向量408均为零向量的情况下，在模板匹配器202中，将检索中心位置的块信号、即由定标运动向量指示的块信号从模板匹配的检索对象中排除。这是因为，该情况下，可认为检索中心位置的块信号与第1种候选预测信号相同的可能性高，难以得到平均化的效果。特别地，在运动信息中包含的参照画面编号如图6(1)那样表示在时间上与编码对象的画面邻接的画面的情况下，该倾向强烈。因此，也可以仅在参照画面编号为特定值的情况下，在运动向量407和定标运动向量408均为零向量的情况下，将检索中心位置的块信号从模板匹配的检索对象中排除。即，优选在构成运动向量的分量为零，检索区域属于与参照画面403(第1再现画面)不同的画面的情况下，模板匹配器202进行选择，以使构成指示第2种候选预测信号的运动向量的分量中的至少任意一个分量不是0。
在应用画面内预测的情况下，不需要检索区域设定器201。在画面内预测中，检索第2种候选预测信号的检索中心被设定为，在编码对象的画面401上由运动信息中包含的运动向量指示的像素位置。该情况下，检索中心的像素位置表示第1种候选预测信号，因此从检索对象中排除。
并且，如图6(5)和图6(6)那样，在检索第2种候选预测信号的参照画面409与运动信息所示的参照画面403相同的情况下，定标运动向量408与运动向量407一致。该情况下，检索中心的像素位置表示第1种候选预测信号，因此从第2种候选预测信号的检索对象中排除。另外，与参照画面的候选为一幅的情况无关，在选择运动信息中包含的参照画面编号指示的参照画面403作为检索第2种候选预测信号的参照画面409的情况下，同样地，将检索中心的像素位置从第2种候选预测信号的检索对象中排除。
总结这里所示的3个情况，可以将定标运动向量408指示的块信号从用于检索第2种候选预测信号的模板匹配检索对象中排除。并且，也可以限制为第2种候选预测信号为与第1种候选预测信号不同的信号，还可以限制为在第2种候选预测信号中不包含第1种候选预测信号。
(模板匹配器202的说明)
在模板匹配器202中，根据经由L201输入的参照画面和检索区域的信息，从参照画面内的检索区域中检索多个第2种候选预测信号。在模板匹配中，从再现信号中检索和与对象块邻接的由再现像素组构成的对象邻接区域类似的区域。使用图3和图7进行说明。
图3是示出模板匹配器202的结构的框图。模板匹配器202由对象邻接区域取得器211、预测邻接区域取得器212、候选预测区域选择器213、候选预测区域决定器214构成。
(画面间预测中的模板匹配器202的说明)
图7是说明在画面间预测的情况下利用模板匹配器202检索多个第2种候选预测信号的方法的图。从参照画面409内的检索区域414中检索多个第2种候选预测信号。坐标410表示检索中心。
首先，在对象邻接区域取得器211中，经由L104，针对对象块，利用预先确定的方法从帧存储器104中取得对象邻接区域(也称为模板)。所取得的模板信号经由L211输出到预测邻接区域取得器212和候选预测区域选择器213。在本实施方式中，设与对象块402邻接的已再现的像素组(倒L字的区域)415为对象邻接区域。该对象邻接区域415只要由对象块402周围的已再现像素构成即可，形状和像素数预先确定，可以是任意的。并且，也可以利用顺序单位或画面单位或块单位对模板的形状和尺寸(像素数)进行编码。
接着，在预测邻接区域取得器212中，针对经由L201输入的参照画面409上的检索区域414，经由L104从帧存储器中依次取得具有与对象邻接区域415相同形状的检索区域内的像素组。所取得的像素组经由L212输出到候选预测区域选择器213。
在候选预测区域选择器213中，在经由L211输入的对象邻接区域415和经由L212输入的与对象邻接区域415形状相同的像素组之间，依次求出对应的像素间的绝对误差值之和(SAD)。然后，检测SAD小的M个区域，将其作为第2种候选预测信号进行选择。关于检索区域414内的像素精度，可以利用整数像素单位进行检索，也可以准备1/2像素、1/4像素等小数精度的像素，利用小数像素精度进行检索。M的值预先设定即可，可以是任意值。在图7中，M＝3，检测到候选预测邻接区域412a、412b、412c。
在候选预测区域选择器213中，将与候选预测邻接区域412a、412b、412c相接的区域413a、413b、413c决定为针对对象块402的第2种候选预测区域，将各候选预测区域内的像素信号作为第2种候选预测信号。另外，这里，候选预测邻接区域和候选预测区域的位置关系为与对象区域和对象邻接区域相同的关系，但是，也可以不是这样。最后，作为用于从帧存储器104取得各候选预测邻接区域和候选预测区域的访问信息，候选预测区域选择器213经由L213向候选预测区域决定器214输出对象邻接区域(和对象区域)与各候选预测邻接区域(和候选预测区域)之间的差分坐标411a、411b、411c以及各候选预测区域所属的参照画面的参照画面编号。
候选预测区域决定器214从3个第2种候选预测区域(图7的情况下不限于3个)中选择一个候选预测区域。作为候选预测区域的选择方法，存在如下方法：利用模板匹配器202的候选预测区域选择器213，选择和与对象邻接区域之间的SAD小的候选预测邻接区域邻接的候选预测信号(其他例子后述)。候选预测区域决定器214经由L202向候选预测区域取得器205和权重系数计算器206输出针对选择出的第2种候选预测区域的访问信息(差分坐标和参照画面编号)。
(画面内预测中的模板匹配器202的说明)
在画面内预测的情况下，如图20(b)所示，利用模板匹配器202检索多个第2种候选预测信号。从参照画面401内的检索区域437中检索多个第2种候选预测信号。坐标438表示检索中心。
首先，在对象邻接区域取得器211中，经由L104，针对对象块，利用预先确定的方法从帧存储器104中取得对象邻接区域(也称为模板)。所取得的模板信号经由L211输出到预测邻接区域取得器212和候选预测区域选择器213。在本实施方式中，设与对象块402邻接的已再现的像素组(倒L字的区域)415为对象邻接区域。该对象邻接区域415只要由对象块402周围的已再现像素构成即可，形状和像素数预先确定，可以是任意的。并且，也可以利用顺序单位或画面单位或块单位对模板的形状和尺寸(像素数)进行编码。
接着，在预测邻接区域取得器212中，针对经由L201输入的参照画面401上的检索区域437，经由L104从帧存储器中依次取得具有与对象邻接区域415相同形状的检索区域内的像素组。所取得的像素组经由L212输出到候选预测区域选择器213。
在候选预测区域选择器213中，在经由L211输入的对象邻接区域415和经由L212输入的与对象邻接区域415形状相同的像素组之间，依次求出对应的像素间的绝对误差值之和(SAD)。然后，检测SAD小的M个区域，将其作为第2种候选预测信号进行选择。关于检索区域437内的像素精度，可以利用整数像素单位进行检索，也可以准备1/2像素、1/4像素等小数精度的像素，利用小数像素精度进行检索。M的值预先设定即可，可以是任意值。在图20(b)中，M＝3，检测到候选预测邻接区域436a、436b、436c。
候选预测区域选择器213将与候选预测邻接区域436a、436b、436c相接的区域435a、435b、435c决定为针对对象块402的第2种候选预测区域，将各候选预测区域内的像素信号作为第2种候选预测信号。另外，这里，候选预测邻接区域和候选预测区域的位置关系为与对象区域和对象邻接区域相同的位置关系，但是，也可以不是这样。最后，作为用于从帧存储器104取得各候选预测邻接区域和候选预测区域的访问信息，候选预测区域选择器213经由L213向候选预测区域决定器214输出对象邻接区域(和对象区域)与各候选预测邻接区域(和候选预测区域)之间的差分坐标434a、434b、434c以及属于各候选预测区域的参照画面的参照画面编号。候选预测区域决定器214从3个第2种候选预测区域(图20的情况下不限于3个)中选择一个候选预测区域。作为候选预测区域的选择方法，存在如下方法：利用模板匹配器202的候选预测区域选择器213，选择和与对象邻接区域之间的SAD小的候选预测邻接区域邻接的候选预测信号(其他例子后述)。候选预测区域决定器214经由L202向候选预测区域取得器205和权重系数计算器206输出针对选择出的第2种候选预测区域的访问信息(差分坐标和参照画面编号)。
(对对象块进行分割时的模板匹配器的说明)
在图7中，第1种候选预测区域406、第2种候选预测区域413a、413b、413c为与对象块402相同的块尺寸，但是，如果将候选预测区域分割为比对象块402小的块，针对分割后的每个对象小块来生成预测信号，则能够期待预测性能的进一步提高。因此，在本实施方式中，说明将对象块402分割为4个块，利用分割块单位来进行预测信号的生成处理的情况。
关于第1种候选预测信号，为了抑制运动信息的增加，对第1种候选预测区域406进行四分割，由此，生成针对4个对象小块的第1种候选预测信号。换言之，根据相同的运动信息来生成针对4个对象小块的第1种候选预测信号。
图8是说明利用模板匹配器202，针对画面间预测来检索多个针对对象小块的第2种候选信号的方法的图。图中示出4个分割块中的对象小块420的例子。从参照画面409内的检索区域426中检索多个第2种候选预测信号。坐标422表示检索中心。这里，检索区域426和坐标422是根据对象块402的左上端的坐标和对象小块的左上端的坐标之差，来移动检索区域414和坐标410而得到的。
模板匹配器的处理步骤与图7的情况大致相同。在本实施方式中，将与对象小块420邻接的已再现的像素组(倒L字的区域)421作为对象邻接区域。
接着，关于经由L201输入的参照画面409上的检索区域426，在对象邻接区域421的像素和具有与对象邻接区域421相同形状的检索区域内的像素组之间，依次求出对应的像素间的绝对误差值之和(SAD)，检测SAD小的M个区域。将其作为预测邻接区域。M的值预先设定即可，可以是任意值。在图8中，M＝3，检测到候选预测邻接区域424a、424b、424c。
在针对对象小块421的第2种候选预测区域中，决定与候选预测邻接区域424a、424b、424c相接的区域425a、425b、425c，在第2种候选预测信号中决定各候选预测区域内的像素信号。作为用于从帧存储器104取得各候选预测邻接区域和候选预测区域的访问信息，经由L213向候选预测区域决定器214输出对象邻接区域(和对象区域)与各候选预测邻接区域(和候选预测区域)之间的差分坐标423a、423b、423c、以及各候选预测区域所属的参照画面的参照画面编号。候选预测区域决定器214从3个第2种候选预测区域(图8的情况下不限于3个)中选择一个候选预测区域。作为候选预测区域的选择方法，存在如下方法：利用模板匹配器202的候选预测区域选择器213，选择和与对象邻接区域之间的SAD小的候选预测邻接区域邻接的候选预测信号(其他例子后述)。候选预测区域决定器214经由L202向候选预测区域取得器205和权重系数计算器206输出针对选择出的第2种候选预测区域的访问信息(差分坐标和参照画面编号)。
图21是说明利用模板匹配器202，针对画面内预测来检索多个针对对象小块的第2种候选信号的方法的图。图中示出4个分割块中的对象小块420的例子。从参照画面401内的检索区域447中检索多个第2种候选预测信号。坐标448表示检索中心。这里，检索区域447和坐标448是根据对象块402的左上端的坐标和对象小块的左上端的坐标之差，来移动检索区域437和坐标438而得到的。
模板匹配器的处理步骤与图20(b)的情况大致相同。在本实施方式中，将与对象小块420邻接的已再现的像素组(倒L字的区域)421作为对象邻接区域。
接着，关于经由L201输入的参照画面401上的检索区域447，在对象邻接区域421的像素和具有与对象邻接区域421相同形状的检索区域内的像素组之间，依次求出对应的像素间的绝对误差值之和(SAD)，检测SAD小的M个区域。将其作为预测邻接区域。M的值预先设定即可，可以是任意值。在图21中，M＝3，检测到候选预测邻接区域446a、446b、446c。
在针对对象小块421的第2种候选预测区域中，决定与候选预测邻接区域446a、446b、446c相接的区域455a、455b、455c，在第2种候选预测信号中决定各候选预测区域内的像素信号。作为用于从帧存储器104取得各候选预测邻接区域和候选预测区域的访问信息，经由L213向候选预测区域决定器214输出对象邻接区域(和对象区域)与各候选预测邻接区域(和候选预测区域)之间的差分坐标444a、444b、444c、以及各候选预测区域所属的参照画面的参照画面编号。候选预测区域决定器214从3个第2种候选预测区域(图21的情况下不限于3个)中选择一个候选预测区域。作为候选预测区域的选择方法，存在如下方法：利用模板匹配器202的候选预测区域选择器213，选择和与对象邻接区域之间的SAD小的候选预测邻接区域邻接的候选预测信号(其他例子后述)。候选预测区域决定器214经由L202向候选预测区域取得器205和权重系数计算器206输出针对选择出的第2种候选预测区域的访问信息(差分坐标和参照画面编号)。
关于其余的3个对象小块，如果进行图1的转换/量化的块尺寸与对象小块相同，则能够利用与对象小块421的情况相同的方法来生成预测信号。但是，在进行图1的转换/量化的块尺寸大于对象小块的情况下，与对象小块邻接的倒L字的区域的信号的一部分或全部还未再现。该情况下，代替已再现像素而使用已预测像素即可。并且，也可以根据对象块内的对象小块的位置，以能够由已再现像素构成的方式来变更模板的形状。
能够利用块单位来选择上述说明的针对对象块来生成预测信号的方法、以及按照对对象块进行分割后的每个小块来生成预测信号的方法。该情况下，选择信息与运动信息等一起被输出到熵编码器111。
(权重系数计算器206和候选预测信号合成器203的说明)
在权重系数计算器206中，根据经由L113输入的运动信息和经由L202输入的访问信息，计算对第1种候选预测信号和第2种候选预测信号进行加权平均时的权重系数，经由L206输出到候选预测信号合成器203。在候选预测信号合成器203中，分别经由L204和L205输入运动补偿器204和候选预测区域取得器205从帧存储器104取得的第1种候选预测信号和第2种候选预测信号。候选预测信号合成器203根据经由L206输入的权重系数对这些候选预测信号进行加权平均，由此，生成针对对象块的预测信号，经由L103输出。
图4是示出权重系数计算器206和候选预测信号合成器203的结构的框图。权重系数计算器206具有候选预测邻接区域取得器223、对象邻接区域取得器221、权重系数决定器224。候选预测信号合成器203具有权重系数乘法器225、加法/除法器226。
利用式(3)，对由权重系数计算器206和候选预测信号合成器203生成的预测信号Pb(i，j)的基于加权平均化处理的生成步骤进行整理。这里，(i，j)表示对象区域中的各像素的坐标。
[数式3]
Pb(i，j)＝(w0×p0(i，j)+w1×p1(i，j)+…+wN-1×pN-1(i，j))/(w0+w1+…+wN-1)...(3)
在式(3)中，N表示第1种和第2种候选预测信号的数量，这里，N＝2(其他例子后述)。从运动补偿器204和候选预测区域取得器205向候选预测信号合成器203输入N个候选预测区域的候选预测信号Pn(i，j)(n＝0～N-1)。
另一方面，在权重系数计算器206中，首先，候选预测邻接区域取得器223根据经由L113和L202输入的访问信息，经由L104从帧存储器104中取得N个候选预测邻接区域的候选预测邻接信号sn(r)(n＝0～N-1)，经由L223输出到权重系数决定器224。对象邻接区域取得器221经由L104从帧存储器104中取得对象邻接区域的对象邻接信号t(r)(r为对象邻接区域内的R个像素的位置)，经由L221输出到权重系数决定器224。权重系数决定器224根据经由L223输入的N个候选预测邻接信号sn(r)和经由L221输入的对象邻接信号t(r)，决定针对N个候选预测信号的权重系数wn(详细后述)。然后，权重系数决定器224经由线L206向候选预测信号合成器203的权重系数乘法器225输出权重系数wn。
在候选预测信号合成器203的权重系数乘法器225中，如式(3)所示，将第n个权重系数wn与第n个候选预测信号Pn(i，j)内的各像素相乘，经由L225输出到加法/除法器226。加法/除法器226对加权后的N个候选预测信号的各像素进行累积相加后，如式(3)那样利用权重系数的相加值进行除法运算，计算各像素的预测信号Pb(i，j)。
(候选预测区域决定器214的其他例子的说明)
进一步说明候选预测区域决定器214中N的决定方法。在上述中，N的值为预先确定为N＝2的值，但是不限于此，例如，也可以是如下的方法：通过任意N个候选预测邻接信号的加权平均来生成对象邻接区域的预测信号，选择生成的预测信号与对象邻接区域之差最小的N。该情况下，能够利用权重系数计算器206内的机构。
并且，例如还存在如下的方法：关于3个候选预测邻接区域的候选预测邻接信号，分别在与第1候选预测区域邻接的候选预测邻接区域的候选预测信号之间，实际进行加权平均处理，生成3个对象邻接信号的预测信号。在该方法中，对这些预测信号和对象邻接信号进行比较，选择与差(例如绝对值误差和)最小的候选预测邻接区域邻接的候选预测区域的候选预测信号。另外，也可以使第1种候选预测信号不包含于候选预测信号中，而是从第2种候选预测信号中选择N个候选预测信号(该情况下不需要运动补偿器204)。并且，能够从在M个第2种候选预测信号中加入第1种候选预测信号后的M+1个候选预测信号中选择N个候选预测信号。作为选择方法，与上述同样，能够应用如下的方法：从与M+1个候选预测区域邻接的候选预测邻接区域的候选预测邻接信号中选择任意的N个进行加权平均，由此，生成对象邻接区域的预测信号。该情况下，选择该预测信号与对象邻接信号的绝对值误差和最小的N个候选预测邻接区域，最终选择与该N个候选预测邻接区域邻接的N个候选预测区域的候选预测信号。
(权重系数计算器206的说明)
进一步说明权重系数决定器224中的权重系数的决定方法。权重系数可以如式(4)所示为简单平均，但是，也可以根据对象邻接信号t(r)和N个候选预测邻接信号sn(r)之间的SAD，决定N个权重系数。在前者的情况下，权重系数预先确定，因此不需要权重系数计算器206。
[数式4]
wn＝1/N    ...(4)
根据后者的方法，能够根据N个候选预测区域和对象块的相关度来决定权重系数。在该方法中，如式(5)所示，根据对象邻接信号t(r)(r为对象邻接区域内的R个像素的位置)和N个候选预测邻接信号sn(r)(n＝0～N-1)之间的SAD(LSADn、通过式(6)计算出)，来计算N个权重系数。
[数式5]
wn＝(LSAD0+LSAD1+…+LSADN)/LSADn    ...(5)
[数式6]
LSAD n = &Sigma; 0 r - 1 | s n ( r ) - t ( r ) | . . . ( 6 )
这样，在本发明的编码器的预测方法中，使用对象块的原信号，根据由编码器检测到的运动向量等的运动信息，生成多个候选预测信号。在本发明中，使用运动信息来推测与对象块的原信号接近的像素位置，因此，能够在狭小的检索范围内高效地生成多个候选预测信号。从画面的不同区域取得这些候选预测信号，因此，所包含的噪声分量(主要为高频分量)相互降低。因此，对噪声分量不同的多个候选预测信号进行平均化，通过平滑化效果，能够生成在统计上噪声较少的预测信号。
进而，关于本发明的编码器的预测方法，能够利用块单位适当选择使用运动信息进行生成的预测信号生成方法、以及如专利文献5所示不使用运动信息来生成多个候选预测信号的方法。本发明的编码器的预测方法在伴随运动信息编码的码量增加和预测误差信号的削减效果的折衷性能的观点下，具有提高彼此的效果的关系。因此，通过适当选择这些方法，能够期待进一步改善编码效率的效果。
图9是示出本实施方式的图像预测编码装置100的图像预测编码方法的步骤的流程图。首先，运动估计器113从已再现信号中检索与对象块之间的相关度高的信号，生成该信号的生成所需要的运动信息。即，在运动估计器113中，通过图5或图20(a)中说明的块匹配处理，检测用于指示对象块的第1种候选预测区域的运动信息(运动向量407和参照画面403的编号)。利用熵编码器111对该运动信息进行编码(步骤S102)。接着，预测信号生成器103根据该运动信息生成多个候选预测信号，通过这些候选预测信号的合成处理，生成对象块的预测信号(步骤S103)。步骤S103的详细内容通过图10在后面叙述。
通过转换器106、量化器107和熵编码器111对表示这样决定的预测信号和对象块的信号之间的差分的残差信号进行编码(步骤S104)。然后，经由输出端子112输出编码后的残差信号、运动信息和预测信号生成方法的选择信息(必要的情况下，画面内预测和画面间预测的选择等)(步骤S105)。这里，在运动信息中，除了画面间/画面内预测方法中的运动向量和参照画面编号以外，有时还包含第2种候选预测信号的检索范围的大小、N的值(候选预测信号的数量)等的各种设定信息。
在这些处理后或者与这些处理并行地，为了对后续的对象块进行预测编码，通过逆量化器108和逆转换器109对编码后的残差信号进行解码。然后，通过加法器110在解码后的残差信号中加上预测信号，再现对象块的信号，在帧存储器104中作为参照画面进行存储(步骤S106)。然后，在全部对象块的处理未完成的情况下，返回步骤S102，进行针对下一对象块的处理，在全部对象块的处理完成的情况下，结束处理(步骤S107和步骤S108)。
图10是示出由预测信号生成器103实施的步骤S103中的对象块的预测信号生成方法的详细步骤的流程图。
首先，运动补偿器204根据在步骤S102中检测到的运动信息，生成第1种候选预测信号(步骤S202)。在检索区域设定器201中，根据图6所示的步骤，从上述运动信息包含的参照画面编号中选择用于检索第2种候选预测信号的参照画面409(步骤S203)。进而，检索区域设定器201根据式(2)，在参照画面409上对运动向量407进行定标，根据图7或图8或图20(b)或图21所示的步骤，决定检索中心和检索区域(步骤S204)。在模板匹配器202中，从检索区域中检索N-1个第2种候选预测信号(步骤S205，详细内容在后面叙述)。然后，候选预测信号合成器203和权重系数计算器206对N个候选预测信号进行合成(加权平均)，生成对象块的预测信号(步骤S206，详细内容在后面叙述)，结束处理(步骤S207)。
图11是示出模板匹配器202中的N-1个第2种候选预测信号的检索方法的流程图(步骤S205的详细内容)。在对象邻接区域取得器211中，从帧存储器104中取得针对对象块的倒L字的对象邻接区域(模板信号)(步骤S212)。接着，候选预测区域选择器213将检索N-1个候选预测区域时使用的阈值设定为最大值(步骤S213)。接着，预测邻接区域取得器212从在步骤S204中决定的检索区域中依次取得与对象邻接区域相同形状的像素组。候选预测区域选择器213计算模板信号与从检索区域中取得的像素信号组之间的差分值SAD(步骤S214)。进而，候选预测区域选择器213对计算出的SAD与上述阈值进行比较(步骤S215)。如果计算出的SAD大于阈值，则进入后述的步骤S218。如果计算出的SAD小于阈值，则更新第2种候选预测区域(步骤S216)。此时，将从检索区域取得的像素信号组中SAD小的最大N-1个作为候选预测区域。然后，候选预测区域选择器213将阈值更新为第N-1小的SAD的值(步骤S217)。如果检索区域内的全部像素信号组的检索未完成，则候选预测区域选择器213返回步骤S214，如果已完成，则结束处理(步骤S218和步骤S219)。
图12是说明候选预测信号合成器203和权重系数计算器206中的N个候选预测信号的合成方法的流程图(步骤S206的详细内容)。在对象邻接区域取得器221中，取得针对对象块的对象邻接区域(步骤S222)。在候选预测邻接区域取得器223中，从帧存储器104中取得与由运动补偿器204和候选预测区域取得器205取得的N个候选预测区域邻接的N个候选预测邻接区域(步骤S223)。接着，在权重系数决定器224中，使用式(6)计算对象邻接区域的邻接像素信号与N个候选预测邻接区域的候选预测邻接信号之间的SAD(LSAD)(步骤S224)。进而，权重系数决定器224根据N个LSAD，利用式(5)计算针对各候选预测区域的权重系数(步骤S225)。权重系数乘法器225和加法/除法器226利用式(3)，通过N个候选预测信号的加权平均处理，生成对象块的预测信号(步骤S226)，结束处理(步骤S227)。另外，如图4的说明所示，N个候选预测信号的合成方法不限于这里所示的实施方式。
说明这样构成的图像预测编码装置100的作用效果。在该图像预测编码装置100中，块分割器102将输入图像分割为多个区域，运动估计器113从已再现信号中检索与分割后的多个区域中作为处理对象的对象区域的对象像素信号之间的相关度高的信号，提取指示该检索到的信号的运动信息。预测信号生成器103针对对象区域的对象像素信号生成预测信号，减法器105生成所生成的预测信号和对象像素信号的残差信号。转换器106、量化器107和熵编码器111对所生成的残差信号和由运动估计单元提取出的运动信息进行编码。
这里，预测信号生成器103的运动补偿器204根据运动信息，由已再现信号生成第1种候选预测信号。并且，预测信号生成器103中的检索区域设定器201根据该运动信息，决定作为已再现信号的部分区域的检索区域(参照画面409中的检索区域414)。
模板匹配器202从检索区域414中检索一个以上的和与对象区域402邻接的由已再现的邻接像素信号构成的对象邻接区域415之间的相关度高的候选预测邻接区域412a～412c，根据多个预测邻接区域，由已再现信号生成一个以上的对象像素信号的第2种候选预测信号。
候选预测信号合成器203根据由运动估计器113生成的第1种候选预测信号和由模板匹配器202生成的第2种候选预测信号的至少任意一方，生成预测信号。
根据该结构，能够限定检索区域，能够减少第2种候选预测信号用的检索时间，能够以较少的信息、运算量，高效地生成预测信号。
并且，在本实施方式的图像预测编码装置100中，由运动估计器113提取出的运动信息至少包含表示用于生成第1种候选预测信号的第1再现画面即画面403的信息(参照画面编号)、以及指示第1种候选预测信号的运动向量的信息。
而且，检索区域设定器201根据包含对象区域的画面401与第1再现画面即参照画面403之间的时间方向的画面间隔、以及运动向量，决定包含第2种候选预测信号的检索区域414在内的第2再现画面即参照画面409。
由此，能够决定用于检索第2种候选预测信号的检索区域，能够迅速地进行第2种候选预测信号的检索处理。
并且，在本实施方式的图像预测编码装置100中，候选预测信号合成器203和重系数计算器206生成用于根据对象邻接区域的邻接像素信号和与多个候选预测信号邻接的候选预测邻接区域的像素信号之间的差分值进行加权平均的权重系数，使用该权重系数对多个候选预测信号进行加权平均，由此生成对象区域的预测信号。由此，能够对预测信号进行平均化，能够生成更加适当的预测信号。
并且，在本实施方式的图像预测编码装置100中，在构成运动向量的各分量为0值，检索区域414属于与第1再现画面不同的画面的情况下，模板匹配器202进行选择，以使构成指示第2种候选预测信号的运动向量的分量中的至少任意一个分量不是0。由此，能够更加有效地得到平均化的效果。
并且，在本实施方式的图像预测编码装置100中，检索区域设定器201在相对于包含对象区域402的画面401在时间上与第1再现画面即参照画面403相反方向的画面中，决定第2再现画面即参照画面409。即，在第1再现画面即参照画面403位于过去的情况下，设第2再现画面409位于未来。
并且，在本实施方式的图像预测编码装置100中，检索区域设定器201在与第1再现画面即参照画面403不同且在时间上与包含对象区域的画面401最接近的画面中，决定第2再现画面即参照画面409。
并且，在本实施方式的图像预测编码装置100中，检索区域设定器201选择多个画面作为第2再现画面即参照画面409，由此选择多个检索区域414。
并且，在本实施方式的图像预测编码装置100中，检索区域设定器201选择第1再现画面即参照画面403作为第2再现画面即参照画面409。
并且，在本实施方式的图像预测编码装置100中，检索区域设定器201选择输入图像的已再现区域作为第2再现画面即参照画面409。
并且，在本实施方式的图像预测编码装置100中，检索区域设定器201选择与第1种候选预测信号不同的像素信号，作为第2种候选预测信号。
如上所述，决定/选择第2再现画面或第2种候选预测信号，由此，能够更加适当地对候选预测信号进行平均化，能够生成适当的预测信号。
<图像预测解码方法>
接着，说明本实施方式的图像预测解码方法。图13是示出本实施方式的图像预测解码装置300的框图。该图像预测解码装置300具有：输入端子301、熵解码器302(数据解码单元)、逆量化器303(数据解码单元)、逆转换器304(残差信号复原单元)、加法器305(图像复原单元)、输出端子306、帧存储器104以及预测信号生成器103(预测信号生成单元)。基于逆量化器303和逆转换器304的数据解码单元也可以使用除此之外的部件。并且，也可以没有逆转换器304。
输入端子301输入利用上述图像预测编码方法压缩编码后的压缩数据。在该压缩数据中包含有预测将图像分割为多个块后的对象块并进行了编码的残差信号信息和运动预测信息。这里，在运动预测信息中，除了画面间/画面内预测方法中的运动向量和参照画面编号以外，有时还包含第2种候选预测信号的检索范围的大小、N的值(候选预测信号的数量)等的各种设定信息。
熵解码器302对输入到输入端子301的压缩数据进行熵解码，由此，提取对象块的残差信号信息和运动预测信息。
逆量化器303经由线L302a输入对象块的残差信号信息，并进行逆量化。逆转换器304对逆量化后的数据进行逆离散余弦转换。
预测信号生成器103经由线L302b从熵解码器302输入运动信息。该预测信号生成器103根据输入的运动信息，从帧存储器104中取得参照画面，生成预测信号。
预测信号生成器103经由线L103向加法器305输出所生成的预测信号。
加法器305在由逆量化器303和逆转换器304复原的残差信号中加上由预测信号生成器103生成的预测信号，经由线L305向输出端子306和帧存储器104输出对象块的再现图像信号。输出端子306向外部(例如显示器)输出。
作为用于下一解码处理的参照用的再现图像，帧存储器104存储从加法器305输出的再现图像作为参照画面。
帧存储器104和预测信号生成器103与图1的图像预测编码装置100中的动作相同，因此省略说明。预测信号生成器103根据解码后的运动信息，生成多个候选预测信号，对这些信号进行合成，由此，生成针对解码对象块的预测信号。经由L302b输入到预测信号生成器103的运动信息与经由L113输入到预测信号生成器103的运动信息相同。
接着，使用图14说明图13所示的图像预测解码装置300的图像预测解码方法。首先，经由输入端子301输入被压缩的压缩数据(步骤S302)。然后，在熵解码器302中，对压缩数据进行熵解码，提取量化后的转换系数、运动信息(步骤S303)。根据这里提取出的运动信息，利用预测信号生成器103生成多个候选预测信号，对生成的多个候选预测信号进行合成，由此生成预测信号(步骤S103)。
另一方面，在逆量化器303中，使用量化参数对量化后的转换系数进行逆量化，在逆转换器304中进行逆转换，生成再现差分信号(步骤S305)。然后，对生成的预测信号和再现差分信号进行相加，由此生成再现信号，为了再现下一对象块，将该再现信号存储在帧存储器104中(步骤S306)。在存在下一压缩数据的情况下，再次重复该过程(步骤S307)，直到最后对全部数据进行了处理为止(步骤S308)。另外，也可以根据需要返回步骤S302，取入压缩数据。
另外，步骤S103的处理流程与图10～图12中的处理流程相同，因此省略说明。
接着，说明本实施方式的图像预测解码方法的作用效果。在本发明的图像预测解码装置300中，熵解码器302和逆量化器303从压缩数据中对与作为处理对象的对象区域有关的运动信息的编码数据和残差信号的编码数据进行解码。逆转换器304根据解码得到的残差信号，复原再现残差信号。
预测信号生成器103针对对象区域的对象像素信号生成预测信号。加法器305对生成的预测信号和复原的再现残差信号进行相加，由此复原对象区域的像素信号，并且，将其输出到帧存储器104进行存储。
这里，预测信号生成器103根据解码后的运动信息，从在帧存储器104中存储的已再现信号生成第1种候选预测信号。并且，根据该运动信息，决定作为已再现信号的部分区域的检索区域414。
模板匹配器202从检索区域414中检索一个以上的和与对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域415之间的相关度高的预测邻接区域412a～412c，根据多个预测邻接区域，由已再现信号生成一个以上的对象像素信号的第2种候选预测信号。
候选预测信号合成器203根据生成的第1种候选预测信号和生成的第2种候选预测信号的至少任意一方，生成预测信号。
并且，在本实施方式的图像预测解码装置300中，解码得到的运动信息至少包含表示用于生成第1种候选预测信号的第1再现画面即参照画面403的信息(参照画面编号)、以及指示第1种候选预测信号的运动向量的信息。
而且，检索区域设定器201根据包含对象区域的画面401与第1再现画面即参照画面403之间的时间方向的画面间隔、以及运动向量，决定包含第2种候选预测信号的检索区域414在内的第2再现画面即参照画面409。
由此，能够决定用于检索第2种候选预测信号的检索区域，能够迅速地进行第2种候选预测信号的检索处理。
并且，在本实施方式的图像预测解码装置300中，候选预测信号合成器203生成用于根据对象邻接区域的邻接像素信号和与多个候选预测信号邻接的候选预测邻接区域的像素信号之间的差分值进行加权平均的权重系数，使用该权重系数对多个候选预测信号进行加权平均，由此生成对象区域的预测信号。由此，能够对预测信号进行平均化，能够生成更加适当的预测信号。
并且，在本实施方式的图像预测解码装置300中，在构成运动向量的各分量为0值，检索区域414属于与第1再现画面不同的画面的情况下，模板匹配器202进行选择，以使构成指示第2种候选预测信号的运动向量的分量中的至少任意一个分量不是0。由此，能够更加有效地得到平均化的效果。
并且，在本实施方式的图像预测解码装置300中，检索区域设定器201在相对于包含对象区域402的画面401在时间上与第1再现画面即参照画面403相反方向的画面中，决定第2再现画面即参照画面409。即，在第1再现画面即参照画面403位于过去的情况下，在第2再现画面即参照画面409位于未来的情况下，检索区域设定器201优先选择该画面作为第2再现画面即参照画面409。
并且，在本实施方式的图像预测解码装置300中，检索区域设定器201在与第1再现画面即参照画面403不同且在时间上与包含对象区域的画面401最接近的画面中，决定第2再现画面即参照画面409。
并且，在本实施方式的图像预测解码装置300中，检索区域设定器201选择多个画面作为第2再现画面即参照画面409，由此选择多个检索区域414。
并且，在本实施方式的图像预测解码装置300中，检索区域设定器201选择第1再现画面即参照画面403作为第2再现画面即参照画面409。
并且，在本实施方式的图像预测解码装置300中，检索区域设定器201选择输入图像的已再现区域作为第2再现画面即参照画面409。
并且，在本实施方式的图像预测解码装置300中，检索区域设定器201选择与第1种候选预测信号不同的像素信号，作为第2种候选预测信号。
如上所述，决定/选择第2再现画面或第2种候选预测信号，由此，能够更加适当地对候选预测信号进行平均化，能够生成适当的预测信号。
<图像预测编码方法和图像预测解码方法中的程序>
能够将本实施方式的图像预测编码方法和图像预测解码方法作为程序存储在记录介质中来提供。作为记录介质，可以例示floppy disk(注册商标)、CD-ROM、DVD、或者ROM等记录介质、或者半导体存储器等。
图15是示出能够执行图像预测编码方法的程序的模块的框图。图像预测编码程序P100具有：块分割模块P101、运动估计模块P102、预测信号生成模块P103、存储模块P104、减法模块P105、转换模块P106、量化模块P107、逆量化模块P108、逆转换模块P109、加法模块P110以及熵编码模块P111。如图16所示，预测信号生成模块P103具有：检索区域设定模块P201、模板匹配模块P202以及候选预测信号合成模块P203。
通过执行上述各模块而实现的功能与上述图像预测编码装置100的功能相同。即，图像预测编码程序P100的各模块的功能与运动估计器113、块分割器102、预测信号生成器103、帧存储器104、减法器105、转换器106、量化器107、逆量化器108、逆转换器109、加法器110、熵编码器111、检索区域设定器201、模板匹配器202以及候选预测信号合成器203的功能相同。
并且，图17是示出能够执行图像预测解码方法的程序的模块的框图。图像预测解码程序P300具有：熵解码模块P302、逆量化模块P303、逆转换模块P304、加法模块P305、存储模块P104以及预测信号生成模块P103。
通过执行上述各模块而实现的功能与上述图像预测解码装置300的各结构要素相同。即，图像预测解码程序P300的各模块的功能与熵解码器302、逆量化器303、逆转换器304、加法器305、帧存储器104以及预测信号生成器103的功能相同。
这样构成的图像预测编码程序P100或图像预测解码程序P300存储在记录介质10中，由后述的计算机来执行。
图18是示出用于执行记录在记录介质中的程序的计算机的硬件结构的图，图19是用于执行存储在记录介质中的程序的计算机的立体图。另外，执行存储在记录介质中的程序的部件不限于计算机，也可以是具有CPU并进行基于软件的处理和控制的DVD播放器、机顶盒、便携电话等。
如图18所示，计算机30具有：floppy disk驱动装置(floppy disk为注册商标)、CD-ROM驱动装置、DVD驱动装置等读取装置12；使操作系统常驻的作业用存储器(RAM)14；存储在记录介质10中存储的程序的存储器16；被称为显示器的显示装置18；作为输入装置的鼠标20和键盘22；用于进行数据等的收发的通信装置24；以及控制程序的执行的CPU 26。在将记录介质10插入到读取装置12中时，计算机30能够从读取装置12访问存储在记录介质10中的图像预测编码/解码程序，能够通过该图像编码/解码程序，作为本实施方式的图像编码装置或图像解码装置来动作。
如图19所示，图像预测编码程序和图像解码程序也可以作为叠加在载波中的计算机数据信号40而经由网络提供。在该情况下，计算机30将通过通信装置24接收到的图像预测编码程序或图像解码程序存储在存储器16中，从而能够执行该图像预测编码程序或图像预测解码程序。
以上，根据其实施方式详细说明了本发明。但是，本发明不限于上述实施方式。本发明能够在不脱离其主旨的范围内进行各种变形。

Claims (24)

1.一种图像预测编码装置，其特征在于，该图像预测编码装置具有：
区域分割单元，其将输入图像分割为多个区域；
运动估计单元，其从已再现信号中检索与由所述区域分割单元分割后的多个区域中作为处理对象的对象区域的对象像素信号之间的相关度高的信号，提取指示该检索到的信号的运动信息；
预测信号生成单元，其生成针对所述对象区域的对象像素信号的预测信号；
残差信号生成单元，其生成由所述预测信号生成单元生成的预测信号与所述对象像素信号之间的残差信号；以及
编码单元，其对由所述残差信号生成单元生成的残差信号和由所述运动估计单元提取出的运动信息进行编码，
所述预测信号生成单元具有：
运动补偿单元，其根据所述运动信息，由已再现信号生成第1种候选预测信号；
检索区域决定单元，其根据所述运动信息，决定作为已再现信号的部分区域的检索区域；
模板匹配单元，其从所述检索区域中检索一个以上的和与所述对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域之间的相关度高的预测邻接区域，根据所述多个预测邻接区域，由已再现信号生成一个以上的所述对象像素信号的第2种候选预测信号；以及
候选预测信号合成单元，其根据由所述运动补偿单元生成的第1种候选预测信号和由所述模板匹配单元生成的一个以上的第2种候选预测信号，生成预测信号。
2.根据权利要求1所述的图像预测编码装置，其特征在于，
由所述运动信息单元提取出的所述运动信息至少包含表示用于生成所述第1种候选预测信号的第1再现画面的信息、以及指示所述第1种候选预测信号的运动向量的信息，
所述检索区域决定单元根据所述第1再现画面的信息，选择包含所述检索区域的第2再现画面，使用包含所述对象区域的画面与所述第1再现画面之间的时间方向的画面间隔、包含所述对象区域的画面与所述第2再现画面之间的时间方向的画面间隔、以及所述运动向量，确定所述检索区域在第2再现画面内的空间位置。
3.根据权利要求1或2所述的图像预测编码装置，其特征在于，
所述候选预测信号合成单元生成用于根据所述对象邻接区域的邻接像素信号和与所述多个候选预测信号邻接的候选预测邻接区域的像素信号之间的差分值进行所述加权平均的权重系数，使用该权重系数对所述多个候选预测信号进行加权平均，由此生成对象区域的预测信号。
4.根据权利要求2或3所述的图像预测编码装置，其特征在于，
在构成所述运动向量的各分量为0值，所述检索区域属于与所述第1再现画面不同的画面的情况下，所述模板匹配单元进行选择，以使构成指示所述第2种候选预测信号的运动向量的分量中的至少任意一个分量不是0。
5.根据权利要求2～4中的任意一项所述的图像预测解码装置，其特征在于，
所述检索区域决定单元在相对于包含所述对象区域的画面在时间上与第1再现画面相反方向的画面中，决定所述第2再现画面。
6.根据权利要求2～4中的任意一项所述的图像预测编码装置，其特征在于，
所述检索区域决定单元在与第1再现画面不同且在时间上与包含所述对象区域的画面最接近的画面中，决定所述第2再现画面。
7.根据权利要求2～4中的任意一项所述的图像预测编码装置，其特征在于，
所述检索区域决定单元选择多个画面作为所述第2再现画面，由此选择多个检索区域。
8.根据权利要求2～4、7中的任意一项所述的图像预测编码装置，其特征在于，
所述检索区域决定单元选择第1再现画面作为所述第2再现画面。
9.根据权利要求2～4、7中的任意一项所述的图像预测编码装置，其特征在于，
所述检索区域决定单元选择所述输入图像的已再现区域作为所述第2再现画面。
10.根据权利要求1～9中的任意一项所述的图像预测编码装置，其特征在于，
所述检索区域决定单元选择与所述第1种候选预测信号不同的像素信号，作为所述第2种候选预测信号。
11.一种图像预测解码装置，其特征在于，该图像预测解码装置具有：
数据解码单元，其从压缩数据中对与作为处理对象的对象区域有关的运动信息的编码数据和残差信号的编码数据进行解码；
残差信号复原单元，其根据由所述数据解码单元解码得到的残差信号，复原再现残差信号；
预测信号生成单元，其生成针对所述对象区域的对象像素信号的预测信号；以及
图像复原单元，其对由所述预测信号生成单元生成的预测信号和由所述残差信号复原单元复原的再现残差信号进行相加，由此复原所述对象区域的像素信号，
所述预测信号生成单元具有：
运动补偿单元，其根据由所述数据解码单元解码的运动信息，由已再现信号生成第1种候选预测信号；
检索区域决定单元，其根据所述运动信息，决定作为已再现信号的部分区域的检索区域；
模板匹配单元，其从所述检索区域中检索一个以上的和与所述对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域之间的相关度高的预测邻接区域，根据所述多个预测邻接区域，由已再现信号生成一个以上的所述对象像素信号的第2种候选预测信号；以及
候选预测信号合成单元，其根据由所述运动补偿单元生成的第1种候选预测信号和由所述模板匹配单元生成的一个以上的第2种候选预测信号，生成预测信号。
12.根据权利要求11所述的图像预测解码装置，其特征在于，
由所述运动信息单元提取出的所述运动信息至少包含表示用于生成所述第1种候选预测信号的第1再现画面的信息、以及指示所述第1种候选预测信号的运动向量的信息，
所述检索区域决定单元根据所述第1再现画面，选择包含所述检索区域的第2再现画面，使用包含所述对象区域的画面与所述第1再现画面之间的时间方向的画面间隔、包含所述对象区域的画面与所述第2再现画面之间的时间方向的画面间隔、以及所述运动向量，确定所述检索区域在第2再现画面内的空间位置。
13.根据权利要求11或12所述的图像预测解码装置，其特征在于，
所述候选预测信号合成单元生成用于根据所述对象邻接区域的邻接像素信号和与所述多个候选预测信号邻接的候选预测邻接区域的像素信号之间的差分值进行所述加权平均的权重系数，根据该权重系数对所述多个候选预测信号进行加权平均，由此生成对象区域的预测信号。
14.根据权利要求12或13所述的图像预测解码装置，其特征在于，
在构成所述运动向量的各分量为0值，所述检索区域属于与所述第1画面不同的画面的情况下，所述模板匹配单元进行选择，以使构成指示所述第2种候选预测信号的运动向量的分量中的至少任意一个分量不是0。
15.根据权利要求12～14中的任意一项所述的图像预测解码装置，其特征在于，
所述检索区域决定单元在相对于包含所述对象区域的画面在时间上与第1再现画面相反方向的画面中，决定所述第2再现画面。
16.根据权利要求12～14中的任意一项所述的图像预测解码装置，其特征在于，
所述检索区域决定单元在与第1再现画面不同且在时间上与包含所述对象区域的画面最接近的画面中，决定所述第2再现画面。
17.根据权利要求12～14中的任意一项所述的图像预测解码装置，其特征在于，
所述检索区域决定单元选择多个画面作为所述第2再现画面，由此选择多个检索区域。
18.根据权利要求12或17所述的图像预测编码装置，其特征在于，
所述检索区域决定单元选择第1再现画面作为所述第2再现画面。
19.根据权利要求12～14、17中的任意一项所述的图像预测解码装置，其特征在于，
所述检索区域决定单元选择包含所述对象区域的画面作为所述第2再现画面。
20.根据权利要求11～19中的任意一项所述的图像预测解码装置，其特征在于，
所述检索区域决定单元选择与所述第1种候选预测信号不同的像素信号，作为所述第2种候选预测信号。
21.一种图像预测编码方法，其特征在于，该图像预测编码方法具有以下步骤：
区域分割步骤，在该步骤中，将输入图像分割为多个区域；
运动估计步骤，在该步骤中，从已再现信号中检索与由所述区域分割步骤分割后的多个区域中作为处理对象的对象区域的对象像素信号之间的相关度高的信号，提取指示该检索到的信号的运动信息；
预测信号生成步骤，在该步骤中，生成针对所述对象区域的对象像素信号的预测信号；
残差信号生成步骤，在该步骤中，生成由所述预测信号生成步骤生成的预测信号与所述对象像素信号之间的残差信号；以及
编码步骤，在该步骤中，对由所述残差信号生成步骤生成的残差信号和由所述运动估计步骤提取出的运动信息进行编码，
所述预测信号生成步骤具有以下步骤：
运动补偿步骤，在该步骤中，根据所述运动信息，由已再现信号生成第1种候选预测信号；
检索区域决定步骤，在该步骤中，根据所述运动信息，决定作为已再现信号的部分区域的检索区域；
模板匹配步骤，在该步骤中，从所述检索区域中检索一个以上的和与所述对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域之间的相关度高的预测邻接区域，根据所述多个预测邻接区域，由已再现信号生成一个以上的所述对象像素信号的第2种候选预测信号；以及
候选预测信号合成步骤，在该步骤中，根据由所述运动补偿步骤生成的第1种候选预测信号和由所述模板匹配步骤生成的一个以上的第2种候选预测信号，生成预测信号。
22.一种图像预测解码方法，其特征在于，该图像预测解码方法具有以下步骤：
数据解码步骤，在该步骤中，从压缩数据中对与作为处理对象的对象区域有关的运动信息的编码数据和残差信号的编码数据进行解码；
残差信号复原步骤，在该步骤中，根据由所述数据解码步骤解码得到的残差信号，复原再现残差信号；
预测信号生成步骤，在该步骤中，生成针对所述对象区域的对象像素信号的预测信号；以及
图像复原步骤，在该步骤中，对由所述预测信号生成步骤生成的预测信号和由所述残差信号复原步骤复原的再现残差信号进行相加，由此复原所述对象区域的像素信号，
所述预测信号生成步骤具有以下步骤：
运动补偿步骤，在该步骤中，根据由所述数据解码步骤解码的运动信息，由已再现信号生成第1种候选预测信号；
检索区域决定步骤，在该步骤中，根据所述运动信息，决定作为已再现信号的部分区域的检索区域；
模板匹配步骤，在该步骤中，从所述检索区域中检索一个以上的和与所述对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域之间的相关度高的预测邻接区域，根据所述多个预测邻接区域，由已再现信号生成一个以上的所述对象像素信号的第2种候选预测信号；以及
候选预测信号合成步骤，在该步骤中，根据由所述运动补偿步骤生成的第1种候选预测信号和由所述模板匹配步骤生成的一个以上的第2种候选预测信号，生成预测信号。
23.一种图像预测编码程序，其特征在于，该图像预测编码程序具有：
区域分割模块，其将输入图像分割为多个区域；
运动估计模块，其从已再现信号中检索与由所述区域分割模块分割后的多个区域中作为处理对象的对象区域的对象像素信号之间的相关度高的信号，提取指示该检索到的信号的运动信息；
预测信号生成模块，其生成针对所述对象区域的对象像素信号的预测信号；
残差信号生成模块，其生成由所述预测信号生成模块生成的预测信号与所述对象像素信号之间的残差信号；以及
编码模块，其对由所述残差信号生成模块生成的残差信号和由所述运动估计模块提取出的运动信息进行编码，
所述预测信号生成模块具有：
运动补偿模块，其根据所述运动信息，由已再现信号生成第1种候选预测信号；
检索区域决定模块，其根据所述运动信息，决定作为已再现信号的部分区域的检索区域；
模板匹配模块，其从所述检索区域中检索一个以上的和与所述对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域之间的相关度高的预测邻接区域，根据所述多个预测邻接区域，由已再现信号生成一个以上的所述对象像素信号的第2种候选预测信号；以及
候选预测信号合成模块，其根据由所述运动补偿模块生成的第1种候选预测信号和由所述模板匹配模块生成的一个以上的第2种候选预测信号，生成预测信号。
24.一种图像预测解码程序，其特征在于，该图像预测解码程序具有：
数据解码模块，其从压缩数据中对与作为处理对象的对象区域有关的运动信息的编码数据和残差信号的编码数据进行解码；
残差信号复原模块，其根据由所述数据解码模块解码得到的残差信号，复原再现残差信号；
预测信号生成模块，其生成针对所述对象区域的对象像素信号的预测信号；以及
图像复原模块，其对由所述预测信号生成模块生成的预测信号和由所述残差信号复原模块复原的再现残差信号进行相加，由此复原所述对象区域的像素信号，
所述预测信号生成模块具有：
运动补偿模块，其根据由所述数据解码模块解码的运动信息，由已再现信号生成第1种候选预测信号；
检索区域决定模块，其根据所述运动信息，决定作为已再现信号的部分区域的检索区域；
模板匹配模块，其从所述检索区域中检索一个以上的和与所述对象区域邻接的由已再现的邻接像素信号构成的对象邻接区域之间的相关度高的预测邻接区域，根据所述多个预测邻接区域，由已再现信号生成一个以上的所述对象像素信号的第2种候选预测信号；以及
候选预测信号合成模块，其根据由所述运动补偿模块生成的第1种候选预测信号和由所述模板匹配模块生成的一个以上的第2种候选预测信号，生成预测信号。
CN2009801144708A 2008-04-24 2009-04-17 图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序 Expired - Fee Related CN102017637B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008114166A JP5406465B2 (ja) 2008-04-24 2008-04-24 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
JP2008-114166 2008-04-24
PCT/JP2009/057788 WO2009131075A1 (ja) 2008-04-24 2009-04-17 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム

Publications (2)

Publication Number Publication Date
CN102017637A true CN102017637A (zh) 2011-04-13
CN102017637B CN102017637B (zh) 2013-06-05

Family

ID=41216811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801144708A Expired - Fee Related CN102017637B (zh) 2008-04-24 2009-04-17 图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序

Country Status (12)

Country Link
US (1) US8705611B2 (zh)
EP (1) EP2280549B1 (zh)
JP (1) JP5406465B2 (zh)
KR (2) KR20120092684A (zh)
CN (1) CN102017637B (zh)
AU (1) AU2009239127B2 (zh)
BR (1) BRPI0911485A2 (zh)
CA (1) CA2722027A1 (zh)
MX (1) MX2010011609A (zh)
RU (1) RU2012102341A (zh)
TW (1) TW200950530A (zh)
WO (1) WO2009131075A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833533A (zh) * 2011-06-15 2012-12-19 富士通株式会社 视频的解码装置/方法、编码装置/方法及存储介质
CN107105279A (zh) * 2011-09-23 2017-08-29 株式会社Kt 用于引导合并候选块的方法和使用该方法的设备
CN107534766A (zh) * 2015-03-27 2018-01-02 高通股份有限公司 于视频译码中针对子块推导运动信息
CN108391124A (zh) * 2011-09-16 2018-08-10 韩国电子通信研究院 视频解码/编码设备、介质、生成/存储比特流的设备

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3567855B1 (en) 2009-03-23 2023-01-11 Ntt Docomo, Inc. Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program
WO2011064673A1 (en) * 2009-11-30 2011-06-03 France Telecom Method of and apparatus for encoding video frames, method of and apparatus for decoding video frames
US9516341B2 (en) 2010-01-19 2016-12-06 Thomson Licensing Methods and apparatus for reduced complexity template matching prediction for video encoding and decoding
JP5911809B2 (ja) 2010-01-22 2016-04-27 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ サンプリングベースの超解像度ビデオ符号化および復号化方法並びに装置
KR101791919B1 (ko) 2010-01-22 2017-11-02 톰슨 라이센싱 예시-기반의 초 해상도를 이용하여 비디오 압축을 위한 데이터 프루닝
CN102823248B (zh) * 2010-04-08 2015-06-24 株式会社东芝 图像编码方法以及图像编码装置
EP2534841B1 (en) * 2010-04-22 2017-11-29 HFI Innovation Inc. Motion vector prediction method
JP5455229B2 (ja) * 2010-04-26 2014-03-26 株式会社Ｋｄｄｉ研究所 画像符号化装置及び画像復号装置
WO2012011432A1 (ja) * 2010-07-20 2012-01-26 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び、画像予測復号プログラム
US9544598B2 (en) 2010-09-10 2017-01-10 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
US20130170564A1 (en) 2010-09-10 2013-07-04 Thomson Licensing Encoding of a picture in a video sequence by example-based data pruning using intra-frame patch similarity
CN108965870B (zh) * 2010-09-10 2022-11-01 交互数字麦迪逊专利控股公司 通过基于图像内容搜索和分级在视频压缩中对至参考块的链接进行编码
WO2012097376A1 (en) 2011-01-14 2012-07-19 General Instrument Corporation Spatial block merge mode
CN102685504B (zh) 2011-03-10 2015-08-19 华为技术有限公司 视频图像的编解码方法、编码装置、解码装置及其系统
JP2012209705A (ja) * 2011-03-29 2012-10-25 Jvc Kenwood Corp 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP2012209706A (ja) * 2011-03-29 2012-10-25 Jvc Kenwood Corp 画像復号装置、画像復号方法及び画像復号プログラム
CN103797795B (zh) 2011-07-01 2017-07-28 谷歌技术控股有限责任公司 用于运动矢量预测的方法和设备
CN104041041B (zh) 2011-11-04 2017-09-01 谷歌技术控股有限责任公司 用于非均匀运动向量栅格的运动向量缩放
JP5485969B2 (ja) * 2011-11-07 2014-05-07 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
TWI714349B (zh) * 2011-12-13 2020-12-21 日商Ｊｖｃ建伍股份有限公司 動態影像解碼裝置、動態影像解碼方法、及儲存動態影像解碼程式之記錄媒體
SI3703371T1 (sl) * 2011-12-16 2021-11-30 Jvckenwood Corporation Naprava za kodiranje dinamičnih slik, postopek za kodiranje dinamičnih slik, program za kodiranje dinamičnih slik, naprava za dekodiranje dinamičnih slik, postopek za dekodiranje dinamičnih slik in program za dekodiranje dinamičnih slik
US9020294B2 (en) * 2012-01-18 2015-04-28 Dolby Laboratories Licensing Corporation Spatiotemporal metrics for rate distortion optimization
US9531990B1 (en) 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
US8908767B1 (en) 2012-02-09 2014-12-09 Google Inc. Temporal motion vector prediction
US8947449B1 (en) 2012-02-21 2015-02-03 Google Inc. Color space conversion between semi-planar YUV and planar YUV formats
US8737824B1 (en) 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
US9172970B1 (en) 2012-05-29 2015-10-27 Google Inc. Inter frame candidate selection for a video encoder
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US9185414B1 (en) 2012-06-29 2015-11-10 Google Inc. Video encoding using variance
US9503746B2 (en) 2012-10-08 2016-11-22 Google Inc. Determine reference motion vectors
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
CN104982035B (zh) * 2012-12-18 2018-12-11 西门子公司 用于对数字图像的序列进行编码的方法
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
JP5890794B2 (ja) * 2013-02-28 2016-03-22 株式会社東芝 画像処理装置
US9547915B2 (en) * 2013-03-19 2017-01-17 Thomson Licensing Inter-image prediction method and device and corresponding coding method and apparatus
US9374578B1 (en) 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
US9313493B1 (en) 2013-06-27 2016-04-12 Google Inc. Advanced motion estimation
US9609343B1 (en) 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
US9438910B1 (en) 2014-03-11 2016-09-06 Google Inc. Affine motion prediction in video coding
CN103997645B (zh) * 2014-04-29 2017-02-15 长沙理工大学 一种快速的hevc帧内编码单元和模式决策方法
CN105338281B (zh) * 2014-06-27 2018-07-31 阿里巴巴集团控股有限公司 一种视频显示方法和装置
KR102248172B1 (ko) * 2015-03-16 2021-05-04 한양대학교 산학협력단 영상 분석을 이용한 비디오 부호화/복호화 방법 및 장치
WO2017035831A1 (en) * 2015-09-06 2017-03-09 Mediatek Inc. Adaptive inter prediction
EP3139613A1 (en) * 2015-09-07 2017-03-08 Universite De Nantes Method for encoding video frames based on local texture synthesis and corresponding device
CN109565592B (zh) * 2016-06-24 2020-11-17 华为技术有限公司 一种使用基于分割的视频编码块划分的视频编码设备和方法
US10880570B2 (en) 2016-10-05 2020-12-29 Qualcomm Incorporated Systems and methods of adaptively determining template size for illumination compensation
CN110720216B (zh) * 2017-07-05 2022-05-10 华为技术有限公司 用于视频编码的设备和方法
US10735763B2 (en) * 2018-07-27 2020-08-04 Tencent America LLC Method and apparatus for motion vector prediction using spatial and temporal combination
JP7324065B2 (ja) * 2019-06-26 2023-08-09 キヤノン株式会社 動きベクトル検出装置、撮像装置、動きベクトル検出方法、及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0262180A (ja) 1988-08-26 1990-03-02 Fujitsu Ltd 動画像の動き補償予測符号化方式
US6259739B1 (en) 1996-11-26 2001-07-10 Matsushita Electric Industrial Co., Ltd. Moving picture variable bit rate coding apparatus, moving picture variable bit rate coding method, and recording medium for moving picture variable bit rate coding program
US6765964B1 (en) 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
BRPI0413988A (pt) * 2003-08-26 2006-11-07 Thomson Licensing método e aparelho para decodificar blocos intra-inter codificador hìbridos
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
JP2007043651A (ja) 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
KR20070038396A (ko) * 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
JP4879558B2 (ja) * 2005-11-02 2012-02-22 パナソニック株式会社 動きベクトル検出装置
KR20080096768A (ko) * 2006-02-06 2008-11-03 톰슨 라이센싱 사용 가능한 움직임 정보를 비디오 인코딩을 위한 움직임추정 예측자로서 재사용하는 방법 및 장치
JP2007300380A (ja) * 2006-04-28 2007-11-15 Ntt Docomo Inc 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
EP2453657A1 (en) * 2006-04-28 2012-05-16 NTT DoCoMo, Inc. Image predictive decoding device
JP4994767B2 (ja) * 2006-10-03 2012-08-08 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
WO2009085232A1 (en) * 2007-12-20 2009-07-09 Integrated Device Technology, Inc. Estimation of true motion vectors using an adaptive search range
US8358700B2 (en) * 2008-06-03 2013-01-22 Omnivision Technologies, Inc. Video coding apparatus and method for supporting arbitrary-sized regions-of-interest
CN101826159B (zh) * 2009-03-07 2013-01-09 鸿富锦精密工业（深圳）有限公司 实现灰度图像分区二值化的方法和数据处理设备

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833533A (zh) * 2011-06-15 2012-12-19 富士通株式会社 视频的解码装置/方法、编码装置/方法及存储介质
CN104539963A (zh) * 2011-06-15 2015-04-22 富士通株式会社 由视频解码装置执行的方法
CN104539950A (zh) * 2011-06-15 2015-04-22 富士通株式会社 视频编码装置和视频编码方法
CN102833533B (zh) * 2011-06-15 2015-05-13 富士通株式会社 视频解码装置和视频解码方法
CN104539950B (zh) * 2011-06-15 2018-10-12 富士通株式会社 视频编码装置和视频编码方法
CN108391124A (zh) * 2011-09-16 2018-08-10 韩国电子通信研究院 视频解码/编码设备、介质、生成/存储比特流的设备
CN108391124B (zh) * 2011-09-16 2022-09-02 韩国电子通信研究院 视频解码/编码设备、介质、生成/存储比特流的设备
CN107105279A (zh) * 2011-09-23 2017-08-29 株式会社Kt 用于引导合并候选块的方法和使用该方法的设备
CN107105279B (zh) * 2011-09-23 2020-03-06 株式会社Kt 用于引导合并候选块的方法和使用该方法的设备
CN107534766A (zh) * 2015-03-27 2018-01-02 高通股份有限公司 于视频译码中针对子块推导运动信息
CN107534766B (zh) * 2015-03-27 2020-05-08 高通股份有限公司 于视频译码中针对子块推导运动信息方法、装置
US10958927B2 (en) 2015-03-27 2021-03-23 Qualcomm Incorporated Motion information derivation mode determination in video coding
US11330284B2 (en) 2015-03-27 2022-05-10 Qualcomm Incorporated Deriving motion information for sub-blocks in video coding

Also Published As

Publication number Publication date
KR20100119562A (ko) 2010-11-09
EP2280549B1 (en) 2018-08-29
CA2722027A1 (en) 2009-10-29
US8705611B2 (en) 2014-04-22
US20110261886A1 (en) 2011-10-27
BRPI0911485A2 (pt) 2018-03-27
JP5406465B2 (ja) 2014-02-05
AU2009239127B2 (en) 2013-06-27
TW200950530A (en) 2009-12-01
RU2012102341A (ru) 2013-07-27
EP2280549A1 (en) 2011-02-02
EP2280549A4 (en) 2015-07-29
JP2009267710A (ja) 2009-11-12
KR20120092684A (ko) 2012-08-21
AU2009239127A1 (en) 2009-10-29
MX2010011609A (es) 2010-12-02
CN102017637B (zh) 2013-06-05
WO2009131075A1 (ja) 2009-10-29

Similar Documents

Publication Publication Date Title
CN102017637B (zh) 图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序
CN102177716B (zh) 动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法、动态图像处理系统以及动态图像处理方法
CN103891288B (zh) 动态图像预测解码装置及方法
CN102227911B (zh) 图像预测编码装置和方法、图像预测解码装置和方法、以及编码/解码系统和方法
CN101653009B (zh) 图像预测编码装置、图像预测编码方法、图像预测解码装置、图像预测解码方法
US5859932A (en) Vector quantization coding apparatus and decoding apparatus
CN102027746B (zh) 动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法
CN101433094B (zh) 图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序
CN106131559B (zh) 动态图像的预测编码装置和方法、预测解码装置和方法
CN104065961B (zh) 图像预测编码装置及其方法、图像预测解码装置及其方法
CN103747263A (zh) 图像预测编码装置和方法以及图像预测解码装置和方法
TWI736186B (zh) 影像預測解碼裝置及影像預測解碼方法
CN101836455A (zh) 用于处理视频信号的方法和装置
RU2699412C1 (ru) Способ кодирования видео с предсказанием движения, устройство кодирования видео с предсказанием движения, программа кодирования видео с предсказанием движения, способ декодирования видео с предсказанием движения, устройство декодирования видео с предсказанием движения и программа декодирования видео с предсказанием движения
JP5415495B2 (ja) 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
JP4438949B2 (ja) 動き補償予測符号化装置、動き補償予測符号化方法及びプログラム
CA2488796C (en) Digital image encoding and decoding method and digital image encoding and decoding device using the same
JPH07274173A (ja) 動きベクトル検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130605