CN103024382B - 动态图像编码装置、方法以及动态图像解码装置、方法 - Google Patents

动态图像编码装置、方法以及动态图像解码装置、方法 Download PDF

Info

Publication number
CN103024382B
CN103024382B CN201210539613.3A CN201210539613A CN103024382B CN 103024382 B CN103024382 B CN 103024382B CN 201210539613 A CN201210539613 A CN 201210539613A CN 103024382 B CN103024382 B CN 103024382B
Authority
CN
China
Prior art keywords
block
mentioned
dynamic image
decoding
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210539613.3A
Other languages
English (en)
Other versions
CN103024382A (zh
Inventor
铃木芳典
文仲丞
小林充
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Korea Co Ltd
Original Assignee
NTT Korea Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Korea Co Ltd filed Critical NTT Korea Co Ltd
Publication of CN103024382A publication Critical patent/CN103024382A/zh
Application granted granted Critical
Publication of CN103024382B publication Critical patent/CN103024382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

本发明提供动态图像编码装置、方法以及动态图像解码装置、方法，在动态图像数据的编码中，不使用运动矢量即可决定预测信号，能进行有效的编码。动态图像编码装置具有：区域分割部，其将构成动态图像数据的帧图像分割成多个区域作为成为编码对象的区域；编码部，其对各区域的图像进行编码；逆变换部和加法部，其生成编码后的图像的再现图像；存储部，其存储再现图像；预测生成部，其从再现图像中检索以规定的位置关系与编码对象的图像的区域邻接且与作为再现图像的一部分的模板区域的再现图像相关性高的图像的区域，并根据检索到的区域和上述位置关系来决定预测信号；以及减法部，其生成预测信号和编码对象图像之间的差值信号作为编码用的信号。

Description

动态图像编码装置、方法以及动态图像解码装置、方法
本发明专利申请是发明名称为“动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法以及动态图像解码程序”、申请日为2006年07月05日、国际申请号为“PCT/JP2006/313416”、国家申请号为“200680024625.5”的发明专利申请的分案申请。
技术领域
本发明涉及动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法以及动态图像解码程序。
背景技术
动态图像数据的编码使用例如ITU－T(国际电信联盟电信标准化部门)规定的国际标准规范即H.264动态图像编码方式。与H.264动态图像编码方式有关的技术例如在下述非专利文献1等中作了公开。
在上述的H.264动态图像编码方式中，通过进行运动补偿并对运动矢量进行编码，来削减动态图像帧间的冗余，削减信息量。在该方法中，通过缩小可使用一个运动矢量进行运动补偿的区域，也能应对细微的运动，提高帧间预测的预测精度。另一方面，由于运动矢量的数量增加，信息量变得庞大，因而有必要对此加以抑制。以往，作为在减少运动矢量的数量的同时提高预测精度的方法，提出了下述专利文献1记载的方法。
专利文献1：日本特开平2－62180号公报
非专利文献1：角野他，「H.264/AVC教科書インプレス標準教科書シリーズ」，インプレスネットビジネスカンパニー，2004年
然而，在上述专利文献1记载的方法中也需要运动矢量没有改变，不得不对运动矢量进行编码。根据这种状况，需要进一步提高压缩效率的动态图像数据编码方法。
发明内容
本发明正是鉴于上述情况而完成的，本发明可提供一种与使用运动矢量进行帧间预测来进行编码的情况相比能更有效地进行编码的动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法以及动态图像解码程序。
本发明的动态图像编码装置，其以块为单位对动态图像数据进行编码，其特征在于，该动态图像编码装置具有：分割单元，其将构成动态图像数据的帧图像分割成多个编码对象块；编码单元，其对编码对象块进行编码；再现图像生成单元，其生成编码对象块的再现信号即解码块；存储单元，其存储根据再现信号而生成的已再现动态图像数据；检索单元，其从由存储单元存储的已再现动态图像数据中，检索与根据再现信号而生成的模板相关性高的像素组，其中，上述再现信号以规定的位置关系与编码对象块邻接且属于由存储单元存储的已再现动态图像数据；以及预测信号决定单元，其基于由检索单元检索到的像素组和规定的位置关系，根据由存储单元存储的已再现动态图像数据决定编码对象块的预测信号即预测块；编码单元以像素为单位从编码对象块减去预测块来生成该编码对象块的差值信号即差值块，并对该差值块进行编码；再现图像生成单元生成由编码单元编码后的差值块的再现信号即解码差值块，并以像素为单位将该解码差值块和预测块相加，生成解码块，该动态图像编码装置还具有：估计单元，其对上述模板和由上述存储单元存储的已再现动态图像数据进行比较，根据其比较结果估计上述编码对象块的图像的空间连续性；以及设定单元，其根据由上述估计单元估计出的图像的空间连续性，进一步分割上述编码对象块，将该分割后的编码对象块设定为新的编码对象块，并设定针对该新的编码对象块的模板。
根据该结构，从已再现动态图像数据中检索与模板相关性高的像素组，并根据检索到的像素组和规定的位置关系来决定预测块。因此，能可靠地决定预测块，能可靠地实施本发明。
并且，根据该结构，由于能根据再现图像数据的空间连续性适当地选择预测块的尺寸，因而即使在运动量变化剧烈的动态图像数据的编码中，也可提高编码效率。并且，由于根据信号特征变更模板区域和预测区域的形状和尺寸，因而可提高预测信号的预测性能。
本发明的动态图像解码装置，其以块为单位将动态图像数据的编码数据再现为已再现动态图像数据，其特征在于，该动态图像解码装置具有：解码单元，其对成为解码对象的解码对象块的再现所需要的编码数据进行解码；再现图像生成单元，其根据由解码单元解码后的编码数据生成解码对象块的再现信号即解码块；存储单元，其存储根据再现信号而生成的已再现动态图像数据；检索单元，其从由存储单元存储的已再现动态图像数据中，检索与根据再现信号而生成的模板相关性高的像素组，其中，上述再现信号以规定的位置关系与解码对象块邻接且属于由存储单元存储的已再现动态图像数据；以及预测信号决定单元，其基于由检索单元检索到的像素组和规定的位置关系，根据由存储单元存储的已再现动态图像数据决定解码对象块的预测信号即预测块；解码单元生成解码对象块的差值信号即解码差值块；再现图像生成单元以像素为单位将解码差值块和预测块相加，生成解码块，该动态图像解码装置还具有：估计单元，其对上述模板和由上述存储单元存储的已再现动态图像数据进行比较，根据其比较结果估计上述解码对象块的图像的空间连续性；以及设定单元，其根据由上述估计单元估计出的图像的空间连续性，进一步分割上述解码对象块，将该分割后的上述解码对象块设定为新的解码对象块，并设定针对该新的解码对象块的模板。
根据该结构，可对由上述动态图像编码装置编码后的动态图像数据进行正确解码。
并且，根据该结构，可对由上述动态图像编码装置编码后的动态图像数据进行正确解码。
优选的是，编码单元通过利用规定方法使像素数减少的缩小处理，将差值块生成为像素数比该差值块少的缩小差值块，并对该缩小差值块进行编码；再现图像生成单元生成缩小差值块的再现信号即解码缩小差值块，通过利用规定方法使像素数增加的放大处理，根据该解码缩小差值块生成解码块。根据该结构，由于能减少编码对象的缩小差值块的像素数，因而对于预测性能相对于具有强的特征的区域低的平坦区域，不降低画质即可效率良好地减少预测信号的码量。
优选的是，解码单元通过对编码数据进行解码，生成像素数比差值块少的解码缩小差值块；再现图像生成单元通过利用规定方法使像素数增加的放大处理，根据解码缩小差值块生成解码块。根据该结构，可对由上述动态图像编码装置编码后的动态图像数据进行正确解码。
优选的是，编码单元把缩小处理应用于编码对象块和预测块而分别得到缩小块和缩小预测块，以像素为单位从该缩小块减去该缩小预测块来生成缩小差值块；再现图像生成单元生成由编码单元编码后的缩小差值块的再现信号即解码缩小差值块，以像素为单位将该解码缩小差值块和缩小预测块相加来生成解码缩小块，并将放大处理应用于该解码缩小块来生成解码块。根据该结构，由于能可靠地生成编码对象的缩小差值块，因而能可靠地实施本发明。
优选的是，编码单元通过把缩小处理应用于差值块来生成缩小差值块；再现图像生成单元生成由编码单元编码后的缩小差值块的再现信号即解码缩小块，通过将放大处理应用于该解码缩小块来生成解码差值块，并以像素为单位将该解码差值块和预测块相加来生成解码块。根据该结构，由于能可靠地生成编码对象的缩小差值块，因而能可靠地实施本发明。
优选的是，再现图像生成单元将缩小处理应用于预测块而得到缩小预测块，以像素为单位将解码缩小差值块和该缩小预测块相加来生成解码缩小块，并将放大处理应用于该解码缩小块来生成解码块。根据该结构，可对由上述动态图像编码装置编码后的动态图像数据进行正确解码。
优选的是，再现图像生成单元通过将放大处理应用于解码缩小差值块来生成解码差值块，并以像素为单位将该解码差值块和预测块相加来生成解码块。根据该结构，可对由上述动态图像编码装置编码后的动态图像数据进行正确解码。
优选的是，预测信号决定单元从形状不同的多个模板中选择1个模板。根据该结构，可有效地生成预测块，可提高编码处理效率。
优选的是，预测信号决定单元参照由存储单元存储的已再现动态图像数据的再现信号或与该再现信号有关的信息，选择1个模板。根据该结构，可适当地选择模板。
优选的是，编码单元对指定由预测信号决定单元选择出的模板的信息进行编码。根据该结构，使动态图像解码装置中的模板选择变得容易，可进行更有效的解码。
优选的是，预测信号决定单元从形状不同的多个模板中选择1个模板。根据该结构，可对由上述动态图像编码装置编码后的动态图像数据进行正确解码。
优选的是，预测信号决定单元参照由存储单元存储的已再现动态图像数据的再现信号或与该再现信号有关的信息，选择1个模板。根据该结构，可对由上述动态图像编码装置编码后的动态图像数据进行正确解码。
优选的是，解码单元对指定所选择的模板的信息进行解码；预测信号决定单元参照由解码单元解码后的指定所选择的模板的信息，从形状不同的多个模板中选择1个模板。根据该结构，可对由上述动态图像编码装置编码后的动态图像数据进行正确解码。
另外，本发明除了如上所述可作为动态图像编码装置和动态图像解码装置的发明进行描述以外，还可如下所述作为动态图像编码方法、动态图像编码程序、动态图像解码方法以及动态图像解码程序的发明进行描述。这是仅类别等不同而实质相同的发明，取得相同的作用和效果。
本发明的动态图像编码方法，其是以块为单位对动态图像数据进行编码的动态图像编码装置中的动态图像编码方法，其特征在于，该动态图像编码方法具有：分割步骤，其将构成动态图像数据的帧图像分割成多个编码对象块；编码步骤，其对编码对象块进行编码；再现图像生成步骤，其生成编码对象块的再现信号即解码块；存储步骤，其存储根据再现信号而生成的已再现动态图像数据；检索步骤，其从在存储步骤中存储的已再现动态图像数据中，检索与根据再现信号而生成的模板相关性高的像素组，其中，上述再现信号以规定的位置关系与编码对象块邻接且属于在存储步骤中存储的已再现动态图像数据；以及预测信号决定步骤，其基于在检索步骤中检索到的像素组和规定的位置关系，根据在存储步骤中存储的已再现动态图像数据决定编码对象块的预测信号即预测块；在编码步骤中，以像素为单位从编码对象块减去预测块来生成该编码对象块的差值信号即差值块，对该差值块进行编码；在再现图像生成步骤中，生成在编码步骤中编码后的差值块的再现信号即解码差值块，并以像素为单位将该解码差值块和预测块相加，生成解码块，该动态图像编码方法还具有：估计步骤，对上述模板和在上述存储步骤中存储的已再现动态图像数据进行比较，根据其比较结果估计上述编码对象块的图像的空间连续性；以及设定步骤，根据在上述估计步骤中估计出的图像的空间连续性，进一步分割上述编码对象块，将该分割后的编码对象块设定为新的编码对象块，并设定针对该新的编码对象块的模板。
本发明的动态图像解码方法，其是以块为单位将动态图像数据的编码数据再现为已再现动态图像数据的动态图像解码装置中的动态图像解码方法，其特征在于，该动态图像解码方法具有：解码步骤，其对成为解码对象的解码对象块的再现所需要的编码数据进行解码；再现图像生成步骤，其根据在解码步骤中解码后的编码数据生成解码对象块的再现信号即解码块；存储步骤，其存储根据再现信号而生成的已再现动态图像数据；检索步骤，其从在存储步骤中存储的已再现动态图像数据中，检索与根据再现信号而生成的模板相关性高的像素组，其中，上述再现信号以规定的位置关系与解码对象块邻接且属于在存储步骤中存储的已再现动态图像数据；以及预测信号决定步骤，其基于在检索步骤中检索到的像素组和规定的位置关系，根据在存储步骤中存储的已再现动态图像数据决定解码对象块的预测信号即预测块；在解码步骤中，生成解码对象块的差值信号即解码差值块；在再现图像生成步骤中，以像素为单位将解码差值块和预测块相加，生成解码块，该动态图像解码方法还具有：估计步骤，对上述模板和在上述存储步骤中存储的已再现动态图像数据进行比较，根据其比较结果估计上述解码对象块的图像的空间连续性；以及设定步骤，根据在上述估计步骤中估计出的图像的空间连续性，进一步分割上述解码对象块，将该分割后的上述解码对象块设定为新的解码对象块，并设定针对该新的解码对象块的模板。
另外，本发明除了如上所述可作为动态图像编码装置和动态图像解码装置的发明进行描述以外，还可如下所述作为动态图像编码方法、动态图像编码程序、动态图像解码方法以及动态图像解码程序的发明进行描述。这是仅类别等不同而实质相同的发明，取得相同的作用和效果。
本发明的动态图像编码方法，其是对动态图像数据进行编码的动态图像编码装置中的动态图像编码方法，其特征在于，该动态图像编码方法具有：分割步骤，其将构成动态图像数据的帧图像分割成多个区域作为成为编码对象的区域；编码步骤，其对在分割步骤中分割后的各区域的图像进行编码；再现图像生成步骤，其生成在编码步骤中编码后的图像的再现图像；存储步骤，其存储在再现图像生成步骤中生成的再现图像；检索步骤，其从在存储步骤中存储的再现图像中，检索以规定的位置关系与在编码步骤中成为编码对象的图像的区域邻接、且与作为在存储步骤中存储的再现图像的一部分的模板区域的再现图像相关性高的图像的区域；以及预测信号决定步骤，其基于在检索步骤中检索到的区域和规定的位置关系，根据在存储步骤中存储的再现图像决定成为编码对象的区域的预测信号；在编码步骤中，生成在预测信号决定步骤中决定的预测信号与成为编码对象的区域的图像之间的差值信号，并对该差值信号进行编码。
本发明的动态图像编码程序，其是控制对动态图像数据进行编码的动态图像编码装置的动态图像编码程序，其特征在于，该动态图像编码程序使动态图像编码装置作为以下单元来发挥作用：分割单元，其将构成动态图像数据的帧图像分割成多个区域作为成为编码对象的区域；编码单元，其对由分割单元分割后的各区域的图像进行编码；再现图像生成单元，其生成由编码单元编码后的图像的再现图像；存储单元，其存储由再现图像生成单元生成的再现图像；检索单元，其从由存储单元存储的再现图像中，检索以规定的位置关系与成为编码单元的编码对象的图像的区域邻接、且与作为由存储单元存储的再现图像的一部分的模板区域的再现图像相关性高的图像的区域；以及预测信号决定单元，其基于由检索单元检索到的区域和规定的位置关系，根据由存储单元存储的再现图像决定成为编码对象的区域的预测信号；编码单元生成由预测信号决定单元决定的预测信号和成为编码对象的区域的图像之间的差值信号，对该差值信号进行编码。
本发明的动态图像解码方法，其是对被分割成多个区域的帧图像被编码后的动态图像数据进行解码的动态图像解码装置中的动态图像解码方法，其特征在于，该动态图像解码方法具有：解码步骤，其对编码后的各区域的数据进行解码；再现图像生成步骤，其根据在解码步骤中解码后的图像生成再现图像；存储步骤，其存储在再现图像生成步骤中生成的图像；检索步骤，其从在存储步骤中存储的再现图像中，检索以规定的位置关系与成为解码步骤的解码对象的图像的区域邻接、且与作为在存储步骤中存储的再现图像的一部分的模板区域的再现图像相关性高的图像的区域；以及预测信号决定步骤，其基于在检索步骤中检索到的区域和规定的位置关系，根据在存储步骤中存储的再现图像决定成为解码对象的区域的预测信号；在再现图像生成步骤中，通过生成在预测信号决定步骤中决定的预测信号和在解码步骤中解码后的图像之间的和信号来得到再现图像。
本发明的动态图像解码程序，其是控制对被分割成多个区域的帧图像被编码后的动态图像数据进行解码的动态图像解码装置的动态图像解码程序，其特征在于，该动态图像解码程序使动态图像解码装置作为以下单元来发挥作用：解码单元，其对编码后的各区域的数据进行解码；再现图像生成单元，其根据由解码单元解码后的图像生成再现图像；存储单元，其存储由再现图像生成单元生成的图像；检索单元，其从由存储单元存储的再现图像中，检索以规定的位置关系与成为解码单元的解码对象的图像的区域邻接、且与作为由存储单元存储的再现图像的一部分的模板区域的再现图像相关性高的图像的区域；以及预测信号决定单元，其基于由检索单元检索到的区域和规定的位置关系，根据由存储单元存储的再现图像决定成为解码对象的区域的预测信号；再现图像生成单元通过生成由预测信号决定单元决定的预测信号和由解码单元解码后的图像之间的和信号来得到再现图像。
根据本发明，由于检索以规定的位置关系与成为编码对象的图像的区域邻接且与模板区域相关性高的再现区域，并根据该检索到的区域和上述位置关系来决定预测信号，因而不使用运动矢量即可进行有效的编码。
附图说明
图1是示出本发明的第1实施方式的动态图像编码装置的结构的图。
图2是示出动态图像编码装置中的预测生成部的结构的图。
图3是示出模板区域与预测对象区域的位置关系的图。
图4是用于对使用模板匹配决定预测信号的详细动作进行说明的图。
图5是示出由本发明的第1实施方式的动态图像编码装置执行的处理的流程图。
图6是示出本发明的第1实施方式的动态图像解码装置的结构的图。
图7是示出由本发明的第1实施方式的动态图像解码装置执行的处理的流程图。
图8是示出第2实施方式中的预测生成部的结构的图。
图9是示出在第2实施方式中所分割的预测对象区域的图。
图10是示出由本发明的第2实施方式的动态图像编码装置执行的处理的流程图。
图11是示出由本发明的第2实施方式的动态图像解码装置执行的处理的流程图。
图12是示出编码顺序的图。
图13是示出与编码顺序对应的模板区域和预测对象区域的位置关系例的图。
图14是用于在第2实施方式中对判断部的功能进行说明的图。
图15是用于在第2实施方式中对判断部的功能进行说明的图。
图16是示出本发明的实施方式的动态图像编码程序的结构的图。
图17是示出本发明的实施方式的动态图像解码程序的结构的图。
图18是示出第1实施方式的动态图像编码装置的变形例的结构的图。
图19是示出第1实施方式的动态图像解码装置的变形例的结构的图。
图20是示出第1实施方式的预测生成部的变形例的结构的图。
图21是示出本发明的第3实施方式的动态图像编码装置的结构的图。
图22是示出本发明的第3实施方式的动态图像解码装置的结构的图。
图23是示出第3实施方式中的块的缩小/放大处理的图。
图24是示出由本发明的第3实施方式的动态图像编码装置执行的处理的流程图。
图25是示出由本发明的第3实施方式的动态图像解码装置执行的处理的流程图。
图26是示出第3实施方式的动态图像编码装置的变形例的结构的图。
图27是示出第3实施方式的动态图像解码装置的变形例的结构的图。
图28是示出第3实施方式中的块的缩小/放大处理的另一个例子的图。
图29是示出第3实施方式中的块的缩小/放大处理的另一个例子的图。
图30是示出第3实施方式的动态图像编码装置的变形例的结构的图。
图31是示出第3实施方式的动态图像解码装置的变形例的结构的图。
图32是示出第3实施方式的动态图像编码装置的变形例的结构的图。
图33是示出第3实施方式的动态图像解码装置的变形例的结构的图。
图34是示出第3实施方式的动态图像编码装置的变形例的结构的图。
图35是示出第3实施方式的动态图像解码装置的变形例的结构的图。
图36是示出第3实施方式的预测生成部的变形例的结构的图。
图37是示出第3实施方式中的预测处理例的图。
符号说明
100，1800，2100，2600，3000，3200，3400：动态图像编码装置；600，1900，2200，2700，3100，3300，3500：动态图像解码装置；101：区域分割部；102，2102：减法部；103，2103：变换部；104，2104，3004：编码部；105，602，2105，2202：逆变换部；106，603，2106，2203：加法部；107，604：存储部；108，605，800，1108，3408，3505，3608：预测生成部；201，802，3602：模板区域决定部；202：匹配部；203，3603：填补部；601，2201，3101：解码部；801：判断部；109，2612，3012：选择部；204：信号生成部；2110，2207，3210：缩小部；2111，2208，3211，3308：放大部；2613，2709，3109：切换部；3013，3110：开关；1600，1700：记录介质；1600a，1700a：程序存储区域；1601：动态图像编码程序；1701：动态图像解码程序；1601a，1701a：主模块；1601b：区域分割模块；1601c：减法模块；1601d：变换模块；1601e：编码模块；1601f，1701c：逆变换模块；1601g，1701d：加法模块；1601h，1701e：存储模块；1601i，1701f：预测生成模块；1601j，1701g：模板区域决定模块；1601k，1701h：匹配模块；1601m，1701i：填补模块；1701b：解码模块。
具体实施方式
以下，结合附图对本发明的动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法以及动态图像解码程序的优选实施方式进行详细说明。另外，在附图说明中，对相同要素附上相同符号，省略重复说明。
[第1实施方式]
图1示出第1实施方式的动态图像编码装置100。动态图像编码装置100是以块为单位对动态图像数据进行编码的装置。动态图像编码装置100通过把构成动态图像数据的帧图像作为输入而对该帧图像进行顺次编码，来对动态图像数据进行编码。动态图像编码装置100由具有CPU(Central Processing Unit：中央处理单元)、帧存储器、硬盘等的信息处理装置等硬件来实现。动态图像编码装置100通过使上述硬件构成要素进行动作，来实现以下说明的功能构成要素。
如图1所示，动态图像编码装置100构成为具有：区域分割部101、减法部102、变换部103、编码部104、逆变换部105、加法部106、存储部107以及预测生成部108。以下，对各部的功能进行说明。
区域分割部101是将构成所输入的动态图像数据的帧图像分割为多个区域作为成为编码对象的区域的分割单元。即，区域分割部101是将构成所输入的动态图像数据的帧图像分割成多个编码对象块的分割单元。具体地说，区域分割部101分割成预定的规定大小的块(例如8像素×8像素、编码对象块)。所分割的原图像按进行编码的顺序被输出并被输入到减法部102。作为被输出的顺序，可以是如图12的(a)所示从帧图像的左上朝右下的顺序即光栅扫描顺序，也可以是如图12的(b)所示将从帧图像的左端朝右端的顺序和从右端朝左端的顺序一级一级地交替从上重复的Z字形顺序。另外，输出的顺序被预先存储在区域分割部101内。
减法部102是生成并输出上述的编码对象块的原信号与后面说明的预测信号之间的差值信号的编码单元的一个构成要素。差值信号是通过以像素为单位从由区域分割部101输出的编码对象块的原信号减去由预测生成部108输出的编码对象块的预测信号而生成的。所输出的差值信号是成为编码对象的信号，为了编码而被输入到变换部103。
变换部103是根据预定的变换方法变换从减法部102输入的差值信号并输出变换系数数据的变换单元。变换例如可利用以离散余弦变换(DCT：Discrete CosineTransform)为代表的正交变换。变换用的关系式等被预先存储在变换部103内。该变换可以是可逆的，也可以是不可逆的。该变换能使此后进行的编码更有效地进行。所输出的变换系数数据被输入到编码部104和逆变换部105。另外，为了压缩信息量，可以对正交变换后的系数进行量子化。
编码部104是对从变换部103输入的变换系数数据进行熵编码的编码单元的一个构成要素。编码后的数据成为动态图像编码装置100的输出。作为熵编码，可利用哈夫曼编码那样的可变长度编码方式、或者以CABAC(Context-based Adaptive BinaryArithmetic Coding：基于上下文的自适应二进制算术编码)为代表的算术编码方式。无论哪种方式都可通过根据变换系数数据的产生概率的不均匀变更变换方法来压缩信息量。
逆变换部105是生成用于生成再现图像的差值信号的、再现图像生成单元的一个构成要素。差值信号是通过对从变换部103输入的变换系数数据进行在变换部103中所进行的变换处理的逆处理而生成的。逆变换用的关系式等被预先存储在逆变换部105内。在逆变换部105中生成的差值信号被输入到加法部106。
加法部106是将从后面说明的预测生成部108输出的预测信号(与输入到减法部102的预测信号相同)和由逆变换部105生成的差值信号相加得到和信号而生成再现信号的、再现图像生成单元的一个构成要素。这里，再现信号构成再现图像。由加法部106生成的再现信号与在解码装置中生成的再现信号相同。由加法部106生成的再现信号被输入到存储部107。
存储部107是将从加法部106输入的再现信号作为已再现动态图像数据而存储并保存到帧存储器等动态图像编码装置100所具有的存储装置内的存储单元。再现信号在动态图像数据编码全部结束之前全部预先保存。这样，已再现动态图像数据被依次保存。
预测生成部108是成为本发明特征的部分，其读出由存储部107保存的再现图像，根据再现信号进行预测对象(编码对象)块的预测信号的生成。以下，对预测生成部108的详细动作进行说明。图2示出对预测生成部108的功能进一步详细化而成的功能块。如图2所示，预测生成部108构成为具有模板区域决定部201、匹配部202以及填补部203。
模板区域决定部201是根据来自存储部107的输入来决定用于生成预测信号的模板区域和该区域的信号(模板)的、检索单元的一个构成要素。即，模板区域决定部201是根据以规定的位置关系与编码对象块邻接且属于由存储部17存储的已再现动态图像数据的再现信号来生成模板的、检索单元的一个构成要素。并且，模板区域决定部201也是使用模板来生成编码对象块的预测信号即预测块的预测信号生成单元的一个构成要素。如图3所示，模板区域301是以规定的位置关系与成为编码对象的图像的区域302邻接且由存储部107存储的再现图像的区域、即由已再现动态图像数据的再现信号构成的像素区域。具体地说，模板区域对应的是与存储在存储部107内的预测对象块相同帧的已再现区域，即包含存在于与预测对象块空间邻接的位置的像素区域在内的规定大小的像素组。因此，模板区域的位置取决于块的编码顺序(从区域分割部101输出并进行编码处理的顺序)。在模板区域决定部201内预先存储用于决定模板区域的以下说明的条件。
图13示出模板区域与预测对象区域的位置关系的一例。如图13的(a)所示，当编码顺序按光栅扫描顺序执行时，模板区域1301成为位于预测对象块1302的左侧和上侧的区域。如图13的(a)所示，位于预测对象块1302的左侧和上侧的区域1303是在存储部107内保存有再现图像的区域。并且，当编码顺序是Z字形顺序时，可根据编码的进行程度改变模板区域的位置。当正在如图13的(b)所示从画面左边向右边进行编码时，预测对象块1304成为位于预测对象块1305的右侧和上侧的区域。当正在如图13的(c)所示从画面右边向左边进行编码时，预测对象块1304成为位于预测对象块1305的左侧和上侧的区域。
匹配部202是使用由模板区域决定部201决定的模板区域的再现信号，把由存储部107保存的再现图像作为检索区域来实施模板匹配，并在检索区域内检索(检测)与模板区域的再现信号的相关性最高的区域的检索单元。即，匹配部202是从由存储部107存储的已再现动态图像数据中检索与由模板区域决定部201决定的模板相关性高的像素组的检索单元。并且，匹配部202也是使用模板来生成编码对象块的预测信号即预测块的预测信号生成单元的一个构成要素。后面对模板匹配进行更详细描述。
填补部203是基于由匹配部202检索到的区域(高相关性区域)、以及预测对象块和模板区域之间的位置关系，根据再现图像设定并决定与预测对象块相同尺寸的预测信号的预测信号决定单元。即，填补部203是基于由匹配部202检索到的像素组和上述位置关系，根据由存储部107存储的已再现动态图像数据决定编码对象块的预测信号即预测块的预测信号决定单元。并且，填补部203也是使用模板来生成编码对象块的预测信号即预测块的预测信号生成单元的一个构成要素。检索到的高相关性区域和作为预测信号的图像的区域之间的位置关系与模板区域和预测对象块之间的位置关系相同。例如，当块的编码顺序是光栅扫描顺序时，与高相关性区域的右侧和下侧邻接的区域成为预测信号的区域。所决定的预测信号作为来自预测生成部108的输出被输入到减法部102和加法部106。
使用图4对匹配部202和填补部203使用模板匹配决定预测信号的详细动作进行说明。匹配部202进行从检索范围403、404内检索与模板区域401的图像类似的部位的模板匹配。检索范围包含有：包含模板区域401和预测对象区域402的帧(预测对象帧)中的已再现像素区域403、以及除此以外的已再现的帧的图像404。首先，测定模板区域401的信号和位于检索范围内的任意地方的与模板区域401相同形状的像素组的信号之间的相关性。作为表示此时的相关性的指标值，可使用表示差值信号的绝对值和的SAD(sum of absolute difference)、表示差值信号的平方误差平均的MSE(mean square error)等。针对在检索范围内能取得的所有像素组取得相关性的指标值，将表示指标值最小的像素组(不过，模板区域401的图像自身除外)的信息(地址)作为检索结果来输出。
填补部203将与通过模板匹配检索到的高相关性区域邻接的像素组设定为预测信号。在与模板区域相关性高的地方，与模板区域邻接的区域由于相关性变高的可能性高，因而也可用作预测信号。因此，使用本方法的预测方法成立。
接下来，使用图5的流程图对本实施方式的动态图像编码装置100中的编码处理(动态图像编码方法)进行说明。
首先，当编码对象的动态图像数据被输入到动态图像编码装置100时，按照构成动态图像的每帧图像被输入到区域分割部101。所输入的帧图像由区域分割部101分割成规定大小的多个块(S501，分割步骤)。以后的处理全部以块为单位进行。块作为编码对象区域的图像被输入到减法部102。
然后，如下所述由预测生成部108生成编码对象块的预测信号。另外，预测生成部108被在动态图像编码装置100中总括编码处理的控制器(未作图示)通知块的编码顺序。或者，预测生成部108预先存储块的编码顺序。首先，由模板区域决定部201在与块邻接的再现图像上决定模板区域(S502，检索步骤)。然后，由匹配部202对与编码对象块相同和不同的帧中的再现图像进行模板匹配，检索与模板区域的再现信号相关性高的区域(S503，检索步骤)。然后，由填补部203将与编码对象块相同大小的区域设定为预测信号，该编码对象块以规定的位置关系(在图4的例子中，右侧和下侧)与通过模板匹配得到的高相关性区域邻接(S504，预测信号决定步骤)。所设定的预测信号被输入到减法部102和加法部106。
然后，由减法部102通过在像素区域从由区域分割部101输入的原图像减去由预测生成部108(填补部203)输入的预测信号来生成差值信号(S505，编码步骤)。所生成的差值信号被输入到变换部103，由变换部103进行变换(S506)。变换后的差值信号被输入到编码部104和逆变换部105。输入到编码部104的变换后的差值信号由编码部104进行熵编码，生成压缩编码数据(S507，编码步骤)。
输入到逆变换部105的变换后的差值信号由逆变换部105进行逆变换，生成逆变换后的差值信号(S508，再现图像生成步骤)。逆变换后的差值信号被输入到加法部106，由加法部106与从预测生成部108(填补部203)输入的预测信号相加而得到和信号，生成再现信号(S509，再现图像生成步骤)。所生成的再现信号被输入到存储部107，由存储部107保存到与帧存储器等中的成为编码对象的帧对应的规定地址(S510，存储步骤)。
接下来，判断在帧图像的所有块中上述处理(S502～S510)是否已结束(S511)。在已结束的情况下，结束该帧的处理，输出由编码部104熵编码后的压缩编码数据，转移到下一帧的处理。当还留有未处理的块时，转移到下一块处理。另外，上述判断例如可以由上述任意一个构成要素进行，也可以设置总括动态图像编码装置100中的编码处理的单元来使该单元进行。
另外，在上述处理中，存储在存储部107内的再现信号是以由变换部103变换并由逆变换部105逆变换后的差值信号为基础的。这是因为，由于假定编码部104进行的编码是可逆的，因而在上述处理中能获得在解码装置中再现的再现图像。
在上述处理中，列举了仅通过使用模板匹配的填补进行预测的例子，但也可以进行除此以外的处理。例如，在帧图像的上端或两端的编码时，有时不存在已再现的邻接像素，为了使用本方法，有必要预先假定邻接像素。在这样的部分中，如以往那样进行使用运动矢量的预测有时编码效率更加良好。并且，不限于画面端，在与使用本方法的预测相比使用运动矢量的预测的编码效率高的情况下，也可以利用使用运动矢量的预测。在该情况下，例如通过把表示预测是使用本方式还是使用利用运动矢量的方式的哪种方式的信息以及运动矢量值新赋予给块信息的头部，可有效地分开使用两种方式。
如上所述，根据本实施方式的动态图像编码装置100，在进行帧间预测时，通过使用已编码的再现图像，不使用运动矢量即可进行帧间预测，能进行有效的编码。即，由本实施方式的动态图像编码装置100编码后的数据实质上是仅变换后的差值信号被编码的数据，与现有的编码方法相比较删除了运动矢量。并且，除此以外，在进行预测信号的决定时，由于在该时刻仅使用已再现的区域，因而总是能按照动态图像数据的扫描顺序进行编码。
下面，对本实施方式的动态图像解码装置进行说明。图6示出本实施方式的动态图像解码装置600。动态图像解码装置600是对由动态图像编码装置100编码后的动态图像数据进行解码而生成已再现动态图像数据的装置。动态图像解码装置600由具有CPU(Central Processing Unit：中央处理单元)、帧存储器、硬盘等的信息处理装置等硬件来实现。动态图像解码装置600通过使上述的硬件构成要素进行动作来实现以下说明的功能构成要素。
如图6所示，动态图像解码装置600构成为具有：解码部601、逆变换部602、加法部603、存储部604以及预测生成部605。以下，对各部的功能进行说明。
解码部601是对所输入的压缩编码数据进行解码的解码单元。压缩编码数据如上所述是由本实施方式的动态图像编码装置100编码后的数据，是将帧图像分割成多个区域的信号(编码对象块)来编码的数据(解码对象块)。解码部601中的解码方式与动态图像编码装置100进行的熵编码方式对应，用于解码的信息由解码部601预先进行存储。并且，解码部601中的解码和输出以所编码的单位(块单位)进行，并按照所编码的顺序来进行。解码后的数据被输入到逆变换部602。
逆变换部602是通过对从解码部601输入的数据进行由动态图像编码装置100所进行的变换处理的逆处理，来生成用于生成已再现图像的差值信号的再现图像生成单元的一个构成要素。逆变换部602与动态图像编码装置100中的逆变换部105对应。逆变换用的关系式等被预先存储在逆变换部602内。在逆变换部602中生成的差值信号被输入到加法部603。
加法部603是将从后面说明的预测生成部605输出的预测信号和由逆变换部602生成的差值信号相加而得到和信号来生成再现信号的再现图像生成单元的一个构成要素。加法部603与动态图像编码装置100中的加法部106对应。由加法部106生成的再现信号被输入到存储部604并成为动态图像解码装置600的输出。
存储部604是将从加法部603输入的解码块(解码后的编码对象块)即再现信号作为已再现动态图像数据存储并保存到帧存储器等动态图像解码装置600所具有的存储装置内的存储单元。存储部604与动态图像编码装置100中的存储部107对应。解码块在动态图像数据的解码全部结束之前全部预先保存。这样，已再现动态图像数据被依次保存。
预测生成部605读出由存储部604保存的再现图像，根据再现图像生成预测对象(解码对象)块的预测信号。预测生成部605与动态图像编码装置100中的预测生成部108对应，由于具有相同功能，因而这里省略说明。
接下来，使用图7的流程图对本实施方式的动态图像解码装置600中的解码处理(动态图像解码方法)进行说明。假定由动态图像解码装置600解码的压缩编码数据是由动态图像编码装置100编码后的数据。
首先，当解码对象的压缩编码数据被输入到动态图像解码装置600时，由解码部601进行解码(S701，解码步骤)。解码后取出以块为单位的变换数据。该变换数据由解码部601输入到逆变换部602。并且，解码对象块在帧中的位置信息从在动态图像解码装置600中总括解码处理的控制器(未作图示)被输入到预测生成部605。另外，解码对象块的位置取决于编码顺序。
然后，如下所述由预测生成部605生成解码对象块的预测信号。首先，由模板区域决定部201在与块邻接的再现图像上设定模板区域(S702，检索步骤)。然后，由匹配部202对与编码对象块相同和不同的帧中的再现图像进行模板匹配，检索与模板区域的再现信号相关性高的区域(S703，检索步骤)。然后，由填补部203将与编码对象块相同大小的区域设定为预测信号，该编码对象块以规定的位置关系(在图4的例子中，右侧和下侧)与通过模板匹配得到的高相关性区域邻接(S704，预测信号决定步骤)。所设定的预测信号被输入到加法部603。
然后，由逆变换部602对从解码部601输入的变换数据进行逆变换，生成差值信号(S705，再现图像生成步骤)。另外，由于S702～S704的一系列处理和S705的处理可以在以下说明的S706以后的处理前进行，因而顺序可以相反。
然后，由加法部603将从逆变换部602输入的差值信号与从预测生成部605(填补部203)输入的预测信号相加而得到和信号，生成再现信号即解码块(S706，再现图像生成步骤)。所生成的解码块被输入到存储部604，由存储部604保存到与帧存储器等中的成为解码对象的帧对应的规定地址(S707，存储步骤)。
接下来，判断在帧图像的所有块中上述处理(S701～S707)是否已结束(S708)。在已结束且完成了已再现的帧图像的情况下，把已再现的帧图像输出到屏幕等显示单元(未作图示)。并且，也可以输出到别的显示用装置。当还留有未处理的块时，转移到下一块的处理。另外，上述判断例如可以由上述任意一个构成要素进行，也可以设置总括动态图像解码装置600中的编码处理的单元来使该单元进行。
如上所述，根据本实施方式的动态图像解码装置600，可与动态图像编码装置100相同地决定预测信号来对动态图像进行解码。即，根据本实施方式的动态图像解码装置600，可对由上述动态图像编码装置100进行了有效编码的动态图像数据进行正确解码来生成再现图像。
另外，在本实施方式中可考虑以下的变形例。以下的变形例对动态图像编码装置和动态图像解码装置作了说明，但对于动态图像编码处理和动态图像解码处理也同样能实施。
(1)检索范围
至此，将模板匹配对象即检索范围设为编码对象帧内的已再现区域(403)和已再现帧的再现图像404，但也可以以帧为单位选择任意一方。例如，如果限于已再现区域403，则本发明还能应用于仅把帧内的再现信号设为预测对象的帧内。同样通过仅把再现图像404限定为检索对象，具有能减少伴随帧间预测产生的帧间解码时的运算量的效果。并且，准备并以块为单位来选择把已再现区域403设为模板匹配的检索对象的预测模式(模板内匹配预测)和把再现图像404设为模板匹配的检索对象的预测模式(模板间匹配预测)的方法也由于会实现解码时运算量的削减，因而是有效的。此时，如图5的说明所示，还能与非专利文献1记载的多个预测模式组合起来使用。另外，将各图像内的检索范围设为预先设定的小区域也由于会实现运算量的减少，因而是有效的。
(2)多帧
至此，尽管对作为模板匹配对象的已再现帧的张数未作特别描述，然而将多张设为对象由于会提高预测性能，因而是有效的。此时，可以包含编码对象帧内的再现图像区域。以下，将这些成为模板匹配对象的已再现帧的再现图像和编码对象帧的再现图像区域统称为参照帧的参照图像。此时，参照图像可以使用不仅包含整数像素而且包含通过滤波处理而生成的实数像素的高分辨率的图像。实数像素的生成方法例如记载在非专利文献1中。要选择的参照帧编号可以以块为单位或以帧为单位进行编码，也可以根据SAD等指标值无附加信息地进行选择。在明示地进行编码的情况下，将(编码对象块中的)预测对象区域的原信号与根据多个参照帧的参照图像而生成的(编码对象块中的)预测对象区域的预测信号相比较，选择1张参照帧。
该编码处理如图18所示，可通过在图1所示的动态图像编码装置100中在预测生成部108与减法部102之间追加选择部109来实施。选择部109针对由预测生成部108以多个参照帧为对象而生成的预测信号，计算与编码对象块的原信号之间的指标值(SAD或MSE等)，选择指标值最小的参照帧。选择出的参照帧编号由编码部104进行熵编码。另外，选择部109的处理包含在预测生成部108内也能获得相同结果，因而该结构也能实施本变形例。在解码处理中，如图19所示，预测生成部606利用与由解码部601解码后的参照帧编号对应的参照帧来生成预测信号。
并且，可以不是选择1张参照帧来生成编码对象块的预测信号(1帧选择处理)，而是选择2张参照帧并以像素为单位对从选择出的参照帧取得的编码对象块的预测信号进行平均化来计算最终的预测信号(平均化处理)。此时，还可考虑从相同的参照帧取得编码对象块的预测信号的选择候选。当从相同的参照帧选择2个偏移了1像素(或1/2像素或1/4像素)的位置的预测信号时，还具有通过内插处理提高要检索的运动矢量的精度的效果。另外，平滑化处理由于具有去除预测误差信号的噪音分量的效果，因而一般与变换编码的配合性良好。
在选择2张参照帧的情况下，不仅能通过单纯的平均化还能通过各像素的加权平均化处理来计算预测对象区域的最终的预测信号(加权平均化处理)。加权系数具有在块内使用恒定值的方法或者以像素为单位进行变更的方法。关于加权系数的设定方法或编码方法未作特别限定，可应用非专利文献1记载的方法。
并且，还有选择奇数张的参照帧、并以像素为单位选择预测对象区域的预测信号的中央值的方法(中央值预测处理)。并且，还能实施这样的方法，即：以像素为单位从4张以上的偶数张的帧中选择预测对象区域的预测信号中央的2个值，并通过平均化或加权平均化来计算预测值。这样的利用中央值的预测方法具有减小平均预测误差的效果。
这些平均化处理、加权平均化处理以及中央值预测处理如图20所示，可由向图2所示的预测生成部108追加信号生成部204后的预测生成部1108来实现(适用于图1的预测生成部108和图6的预测生成部605)。在信号生成部204中，把由多帧生成的预测对象区域的预测信号设为输入，使用上述所示的处理方法来生成最终的预测信号。由于信号生成部204的处理可使用根据再现图像或者(作为与再现图像有关的数据的)属于再现图像的特征数据(运动矢量等)导出的信息来实施，因而在解码侧也能实施相同处理。
还可考虑这样的方法，即：根据1帧选择处理、平均化处理、加权平均化处理、中央值预测处理等准备多个处理方法，并以块为单位或者以帧为单位选择处理方法。在使用由解码值构成的模板的预测处理中，没有保证指标值最佳的运动使预测误差信号最小化。因此，从预测对象区域的预测信号特性不同的多个处理方法中选择适当方法的方法是有效的。
作为处理方法的选择方法，可考虑这样的方法，即：首先在编码侧选择使预测对象区域的预测误差绝对值和(或者预测误差平方和)最小的方法(图18的选择部109)，并传送到解码侧。该选择方法可通过将图18的预测生成部108和图19的预测生成部606置换成图20的预测生成部1108来实现。另外，这里图18的选择部109把所选择的处理方法的信息输出到编码部104，而取代所选择的参照帧编号。由于选择部109的处理包含在预测生成部1108内的结构也能获得相同结果，因而该结构也能实施。
并且，还可考虑这样的方法，即：根据各自的处理方法生成模板区域的预测信号，并在与模板区域的生成信号之间计算指标值(SAD或MSE等)来自动选择处理方法。例如，在平均化处理中，以像素为单位对模板区域的2个预测信号的候选进行平均化来计算预测信号，在计算出的预测信号与模板区域的再现信号之间计算指标值。根据该方法，可使用根据再现图像或属于再现图像的特征数据(运动矢量等)导出的信息来唯一地决定处理方法，因而无需对处理方法的信息进行编码。
并且，还可考虑这样的方法，即：通过模板区域内的信号的方差值(TaV)与针对多个参照帧的指标值的方差值(EvV)的组合，设定4个条件，在TaV和EvV都小于阈值的情况下使用平均化处理，在仅TaV小于阈值的情况下使用加权平均化处理，在仅EvV小于阈值的情况下使用中央值预测处理，在TaV和EvV都大于阈值的情况下，使用1帧选择处理。在该情况下，根据模板区域的再现信号的方差来评价模板的空间方向的特征强度，并根据指标值的方差来评价模板区域的时间方向的特征强度。在该方法中，根据这样的假定来实施处理方法的选择，即：方差值越小，预测对象区域的预测信号中的多个候选的差就越小，去除平滑化引起的预测误差信号的噪音的效果就越高。这种自动选择方法可通过将图18的预测生成部108置换成图20的预测生成部1108、并将上述所示的选择方法导入到图18的选择部109内来实现。在该选择方法中，也可使用根据再现图像或属于再现图像的特征数据(方差值等)导出的信息来唯一地决定处理方法，因而无需对处理方法的信息进行编码。因此，省略了从选择部109向编码部104的输出。
此时，在上述所示的使用方差值的选择方法中，需要的是：把向选择部109的输入从编码对象块的原信号置换成模板区域的再现信号，并把多个参照帧的指标值追加到从预测生成部1108向选择部109的输入。另外，由于预测生成部1108包含选择部109的处理的结构也能获得相同结果，因而该结构也能实施。解码侧的处理可通过按照编码处理，把图6的预测生成部605置换成图20的预测生成部1108和图18的选择部109的组合来实现。另外，自动选择方法不限于这里记载的方法，只要是仅利用根据再现图像或属于再现图像的特征数据导出的信息的方法就能实现。
(3)预测生成部的结构
预测生成部108由模板区域决定部201、匹配部202以及填补部203构成，然而本发明可不限于该结构地实现。例如，只要构成为将模板区域的再现信号通过预定的过程根据编码对象帧的再现信号直接输入，就不需要模板区域决定部201。并且，只要构成为在匹配部201中在从参照帧取得模板区域的预测信号时同时取得预测对象区域的预测信号，没有填补部也能生成预测信号。
(4)编码对象块的尺寸
在本实施例中编码对象块的尺寸设为8像素×8像素，然而本发明即使是其他的块尺寸也能实施，因而不限于该尺寸。并且，对模板区域的尺寸也不作限定。例如，对于8像素×8像素有以下各种情况，即：使模板区域和预测对象区域加在一起而得到12像素×12像素，将模板区域的尺寸取一半的10像素×10像素等。并且，以块为单位或者以帧为单位变更编码对象块的尺寸和模板区域的尺寸也是有效的。如非专利文献1所示，准备不同尺寸的编码对象块和模板区域的组可应对图像内的不同图案，因而是有效的。并且，在考虑到模板内匹配预测和模板间匹配预测的情况下，当减小模板区域和检索范围的冗余性一般低的模板内匹配预测的块尺寸时，可期待预测效率的提高。
并且，即使预测对象块和编码对象块是不同的块尺寸，也能实施本发明的预测。
(5)模板区域的再现信号
至此，模板区域的再现信号由编码对象帧的已再现像素构成，然而其他参照帧上的已再现像素也在解码侧是已知的，因而可利用。例如，考虑这样的情况，即：将8像素×8像素块的预测对象区域分割成4像素×4像素块，以4×4块为单位生成预测信号。当使模板区域和预测对象区域加在一起而得到6像素×6像素块时，对于8×8块的左上的4×4块的模板区域，可由编码对象帧的已再现像素构成。然而，在8×8块的右上的4×4块的模板区域中，块上部的6×2像素可由编码对象帧的已再现像素构成，然而由于块左部的2×2像素还未编码，因而用左上的4×4块的预测信号代替。同样，对于8×8块的左下的4×4块中的块上部的2×2像素、以及右下的4×4块模板区域的所有像素，由于编码对象帧的已再现像素尚未编码，因而用预测信号代替。
并且，至此取得与编码对象块邻接的块的已再现像素来构成模板区域的再现信号，但也可以对已再现信号实施去除噪音的滤波等来生成模板区域的再现信号。例如，在噪音多的图像中，可通过对模板区域的再现信号和参照图像实施滤波处理来进行没有噪音影响的运动检测。
(6)关于指标值
至此，通过模板匹配生成对象区域内的预测信号时的指标值使用模板区域中的预测信号和对象信号的差值绝对值和(SAD)或平均平方误差(MSE)，然而不限于此。例如，如T.Wiegand et.al.，“Rate-Constrained Coder Control and Comparison of VideoCoding Standards”，IEEE Trans.Circuits and Systems for Video Technology,vol.13，No.7，July 2003，688-703.(非专利文献2)所记载的那样，对差值运动矢量的大小加以考虑后的值也能用作本发明的指标值。
并且，对各像素的差值绝对值或平方误差进行加权也是有效的。例如，可考虑这样的方法，即，在把SAD设为评价值的情况下，对模板区域和预测区域的边界像素的差值绝对值设定4，每当离开边界就减小权重而为3、2、1。这样通过使接近边界的像素优先，可期待预测性能的提高。
(7)逆变换部的结构
在图1中，逆变换部105的输入成为来自变换部103的输出，但也可以是来自编码部104的输出。在该情况下，在逆变换部105的处理前实施图6的解码部601的处理。此外，在将动态图像编码装置和动态图像解码装置的处理进行集成的安装方法中也能实施本发明。即，还可考虑这样的结构，即：由图6的解码部601对编码部104的输出进行处理，并把解码图像输入到存储部107。
[第2实施方式]
第2实施方式中的动态图像编码装置和动态图像解码装置的装置结构除了预测生成部的详细结构以外，与第1实施方式中的装置结构相同。以下，对本实施方式中的预测生成部与第1实施方式中的预测生成部108、605的不同点进行说明。
如图8所示，本实施方式的预测生成部800构成为具有：判断部801、模板区域决定部802、匹配部803以及填补部804。
判断部801是将模板区域的再现信号与由存储部107、604存储的再现图像相比较，并根据该比较结果估计成为编码或解码对象的区域(预测对象块)的信号的空间连续性的估计单元。另外，空间连续性是表示某空间内的运动的方向、大小等特征在哪种程度一致的指标。即，在某区域内，在该区域的上半部分和下半部分运动特征不同的情况下，没有空间连续性。并且，判断部801是根据估计出的图像的空间连续性，进一步分割成为编码或解码对象的区域，将该分割后的区域设定为新的编码或解码对象的区域(预测对象区域、填补区域)，并设定针对该新的编码或解码对象的区域的模板区域的设定单元。判断部801对由存储部107、604存储的再现图像进行分析，决定包含模板区域的尺寸和预测对象区域的尺寸的预测参数，并将其信息输出到模板区域决定部802和填补部804。预测参数的具体决定方法在后面描述。
模板区域决定部802是根据从判断部801输入的模板区域的尺寸信息，设定用于生成预测信号的模板区域和该区域的图像的检索单元的一个构成要素。模板区域决定部802对应于第1实施方式中的模板区域决定部201且具有相同功能。
匹配部803是使用由模板区域决定部802所设定的模板区域的图像，把由存储部107、604存储的再现图像作为检索区域来实施模板匹配，并在检索区域内检索与模板区域的像素组的相关性最高的区域的检索单元。匹配部803对应于第1实施方式中的匹配部202且具有相同功能。
填补部804是基于由匹配部803检索到的区域(高相关性区域)、以及预测对象块和模板区域之间的位置关系，根据再现图像设定并决定与预测对象块相同尺寸的预测信号的预测信号决定单元。此时的预测对象块的尺寸是由判断部801所设定的尺寸。填补部804对应于第1实施方式中的填补部203且具有相同功能。
这里，使用图14和图15对判断部801中的模板区域的尺寸和预测对象区域的尺寸的决定方法进行说明。在决定模板区域的尺寸和预测对象区域的尺寸时利用与预测对象块邻接的已再现像素。图14是示出预测对象块1401的像素和其周边的已再现像素1402的图。首先，如图14的(a)和(b)所示，准备以下4个区域，即；完全覆盖与预测对象块1401邻接的区域1402的区域A，以及对区域1402进行分割而分别覆盖区域1402的一部分的区域B、C、D(区域B、C、D各自不重合，加在一起而成为区域1402)。
然后，实施把区域A、B、C、D作为模板区域的针对由存储部存储的再现图像的模板匹配，并分别求出相关性高的区域。这里，作为相关性值，假定使用例如SAD。把针对各个区域A、B、C、D的SAD设为SADA、SADB、SADC、SADD，将SADA与(SADB+SADC+SADD)相比较。在SADA非常大的情况下，估计为在区域A内没有空间连续性，且在预测对象块1401中也没有空间连续性。即，如图15所示，估计为是与区域A相关性高的区域1501a以及与区域B、C、D相关性高的区域1501b、1501c、1501d分别位于已再现图像的区域1501内的状态。根据该估计，判断为在使用空间A的模板匹配中预测进行不顺利(所决定的预测信号与编码和解码对象图像之间的偏离增大)。SADA非常大的判断可通过预先决定阈值等来进行。当这样进行判断后，进一步分割块，把模板区域的尺寸和预测对象区域的尺寸设定得比块的尺寸小。此时的预测对象区域的尺寸例如可使用与区域B、C、D的分割对应的尺寸。并且，模板区域使用与该预测对象区域的尺寸对应的尺寸。
反之在SADA与(SADB+SADC+SADD)不大有差异的情况下，估计为在区域A内有空间连续性，且在预测对象块1401内也有空间连续性。根据该估计，判断为使用区域A的模板匹配是有效的，预测对象区域使用块的尺寸(将预测对象区域作为块未被分割的区域)。另外，对与在上述判断中使用的预测对象块1401邻接的区域1402进行分割后的区域不仅是图14的(b)所示的区域B、C、D那样的图形，还可以如图14的(c)所示进一步进行细分。
在使用本发明那样的模板匹配的预测中，与使用运动矢量的预测不同，不会达到准确的预测。因此，有必要尽可能避免误预测。而且，一般认为当模板区域的尺寸小时容易发生误预测。另一方面，在运动细微且无空间连续性的部分中，当模板区域或预测对象区域大时，不能应对细微运动，预测误差增加。因此，如使用本发明的方法那样，减小模板区域的尺寸和预测对象区域的尺寸来提高适合于细微运动的概率变得有效。
使用图9对变更了模板区域的尺寸和预测对象区域的尺寸时的预测推移进行说明。在与预测对象块901邻接的区域存在空间连续性、并且预测对象区域的尺寸是预测对象块901整体的情况下，与第1实施方式相同地通过1度的模板匹配进行处理。例如，如图9所示，对将预测对象块901分割成区域901a、901b、901c、901d的4个区域，减小预测对象区域的尺寸，并也相应减小模板区域的尺寸的情况进行说明。另外，假定预测对象块901的左侧和上侧的区域是已再现的图像区域。
首先，如图9的(a)所示，针对预测对象块901左上的区域901a，把左侧和上侧的区域902a设定为模板区域，进行使用模板匹配的预测信号设定。然后，如图9的(b)所示，针对区域901a右侧的区域901b，把上侧的区域902b设定为模板区域，进行使用模板匹配的预测信号设定。然后，如图9的(c)所示，针对最初进行了预测信号设定的区域901a下侧的区域901c，把左侧的区域902c设定为模板区域，进行使用模板匹配的预测信号设定。然后，如图9的(d)所示，针对剩余区域即右下的区域901d，把包含区域901a、901b、901c的左侧和上侧的区域902d设定为模板区域，把预测信号作为模板区域的对象信号来进行使用模板匹配的预测信号设定。由此，针对预测对象块901的所有区域设定预测信号，能进行编码和解码。
另外，作为模板区域的尺寸和预测对象区域的尺寸的变更方法，不仅如图9的(a)～(d)所示在纵横的两个方向进行分割，还可以如图9的(e)、(f)所示仅在纵横的任意一个方向进行分割。例如，在图14的(b)中，在区域A中的高相关性区域内包含有区域B、C、D、E中的高相关性区域、而不是仅包含区域F中的高相关性区域的情况下，可以如图9的(e)、(f)所示在纵向进行分割。这是因为，在这种情况下可判断为预测对象块的上半部分和下半部分没有空间连续性。
在该情况下，首先，如图9的(e)所示，针对预测对象块901上半部分的区域901e，把左侧和上侧的区域902e设定为模板区域，进行使用模板匹配的预测信号设定。然后，如图9的(f)所示，针对区域901e下侧的区域901f，把左侧的区域902f设定为模板区域，进行使用模板匹配的预测信号设定。由此，针对预测对象块901的所有区域设定预测信号，能进行编码和解码。
接下来，使用图10的流程图对本实施方式的动态图像编码装置中的编码处理(动态图像编码方法)进行说明。
首先，当编码对象的动态图像数据被输入到动态图像编码装置时，按照构成动态图像的各帧图像输入到区域分割部101。所输入的帧图像由区域分割部101分割成规定大小的多个块(S1001)。以后的处理全部以块为单位进行。块作为编码对象区域的像素被输入到预测生成部800和减法部102。
然后，如下所述由预测生成部800生成编码对象块的预测信号。首先，如上所述由判断部801使用与编码对象块邻接的已再现像素来决定在该编码对象块中使用的预测参数(S1002，估计步骤和判断步骤)。所决定的预测参数被输入到模板区域决定部802。然后，由模板区域决定部802根据所设定的预测参数设定编码对象区域，将与该区域邻接的已再现像素组在已再现像素区域(模板区域)上设定为模板(S1003)。另外，这里所设定的编码对象区域有时是如上所述对编码对象块进行了分割后的区域。然后，由匹配部803对与编码对象块相同和不同的帧中的再现图像进行模板匹配，检索与模板区域的像素组相关性高的区域(S1004)。然后，由填补部804将以规定的位置关系与通过模板匹配而得到的高相关性区域邻接且与编码对象区域相同大小的区域设定为预测信号(S1005)。
然后，判断编码对象块的所有区域是否都已设定预测信号(S1006)。在不是所有区域都已设定预测信号的情况下，重复S1003～S1005的一系列处理，直到编码对象块的所有区域都已设定预测信号为止。另外，上述判断例如可以由上述任意一个构成要素进行，也可以设置总括动态图像编码装置中的编码处理的单元来使该单元进行。
以下的处理(S1007～S1013)与第1实施方式中的对应的处理(S505～S511)相同。
如上所述，根据本实施方式的动态图像编码装置，与第1实施方式相同，在进行帧间预测时，通过使用已编码的再现图像，不使用运动矢量即可进行帧间预测，能进行有效的编码。并且，由于能根据已再现信号的空间连续性适当地选择预测信号的区域的尺寸，因而即使在运动量变化剧烈的动态图像数据的编码中，也可提高编码效率。
接下来，使用图11的流程图对本实施方式的动态图像解码装置中的解码处理(动态图像解码方法)进行说明。假定由本实施方式的动态图像解码装置所解码的压缩编码数据是由上述本实施方式的动态图像编码装置编码后的数据。
首先，当解码对象的压缩编码数据被输入到动态图像解码装置时，由解码部601进行解码(S1101)。解码后取出以块为单位的变换数据。该变换数据由解码部601输入到逆变换部602。并且，解码对象块在帧中的位置信息由解码部601输入到预测生成部800。另外，解码对象块的位置取决于编码顺序。
然后，如下所述由预测生成部800生成解码对象块的预测信号。首先，如上所述由判断部801使用与解码对象块邻接的再现图像来决定在该解码对象块中使用的预测参数(S1102，估计步骤和判断步骤)。所决定的预测参数被输入到模板区域决定部802。然后，由模板区域决定部802根据所设定的预测参数设定解码对象区域，将与该区域邻接的已再现像素组设定为模板(S1103)。另外，这里所设定的解码对象区域有时是如上所述将解码对象块分割而成的区域。然后，由匹配部803对与解码对象块相同和不同的帧中的再现图像进行模板匹配，检索与模板区域的像素组相关性高的区域(S1104)。然后，由填补部804将以规定的位置关系与通过模板匹配而得到的高相关性区域邻接且与解码对象区域相同大小的区域设定为预测信号(S1105)。
然后，判断解码对象块的所有区域是否都已设定预测信号(S1106)。在不是所有区域都已设定预测信号的情况下，重复S1103～S1105的一系列处理，直到解码对象块的所有区域都已设定预测信号为止。另外，上述判断例如可以由上述任意一个构成要素进行，也可以设置总括动态图像解码装置中的解码处理的单元来使该单元进行。
以下的处理(S1107～S1110)与第1实施方式中的对应的处理(S705～S708)相同。另外，与第1实施方式相同，S1102～S1106的一系列处理和S1107的处理可以在S1108以后的处理前进行，因而顺序可以相反。
如上所述，根据本实施方式的动态图像解码装置，可与本实施方式的动态图像编码装置相同地决定预测信号来对动态图像进行解码。即，根据本实施方式的动态图像解码装置，可对由本实施方式的上述动态图像编码装置进行了有效编码后的动态图像数据进行正确解码来生成再现图像。
另外，在本实施方式中可考虑以下的变形例。以下的变形例对动态图像编码装置和动态图像解码装置作了说明，然而对于动态图像编码处理和动态图像解码处理也同样能实施。
(1)模板区域和预测对象区域的分离
如上所述，由图8的判断部801同时决定预测对象区域和模板区域的尺寸和形状，然而也可以使一方的尺寸和形状固定。因此，在使预测对象区域的尺寸和形状固定、并想要自适应地切换模板区域的尺寸或形状的情况下，也能应用本发明。在该情况下，不需要从判断部801向填补部804的输出。例如，在图14中，可考虑从图14的(a)、(b)的区域A、区域B、区域C、区域D中选择针对预测对象区域1401的模板的方法。作为预测对象区域1401的模板，与预测对象区域1401之间具有图案连续性且构成该模板的像素数可以多。因此，通常区域A是优选的，然而在某方向没有图案连续性的情况下，可以使用小尺寸的模板。另外，判断部801中的判定处理不限于上述所示的方法。例如，可考虑这样的方法，即：将模板区域的预测信号与实际对该区域的像素进行编码后的预测信号相比较，选择平均差值绝对值小的模板形状和尺寸。还可以使用该区域所属的编码对象块的再现信号而不是使用进行编码后的预测信号来再次重新生成预测信号。并且，还可考虑这样的方法，即：选择模板区域的预测信号和对象信号(再现信号)的平均差值绝对值小的模板形状和尺寸。
另一方面，确保运动连续性而不是确保图案的方法也是有效的。例如，计算把区域A作为模板区域而检测到的运动矢量与邻接块的运动矢量或者根据邻接块计算的预测运动矢量之间的差。然后，在差值的运动矢量小于预定的阈值的情况下，把检测到的运动矢量作为预测区域的运动矢量。另一方面，在差值的运动矢量大于预定的阈值的情况下，针对不同的模板形状(例如，图14的(b)的区域B、C、D或者图14的(c)的区域B、D、F等)检测运动矢量。而且，还可考虑这样的方法，即：针对各个模板区域，将对该区域内的像素进行编码时的运动矢量与检测到的运动矢量相比较，把差小的运动矢量选择为预测对象区域的运动矢量。还可以替代对该区域内的像素进行编码时的运动矢量，而使用该区域所属的编码对象块的再现信号来再次重新检测运动矢量。无论在哪个方法中，都能使用从再现信号或(作为与再现信号有关的信息的)属于再现信号的特征数据(运动矢量等)导出的信息来实施。并且，还能根据多个模板形状将检测到的运动矢量的大小相比较来决定模板形状和预测区域的尺寸。同样还能将邻接块的运动矢量的大小相比较来决定模板形状和预测区域的尺寸。
成为候选的模板的形状和尺寸不限于图14所示的模板分割。例如，以下情况也包含在本变形例内，即：对于8像素×8像素，从12像素×12像素、10像素×10像素以及14像素×14像素中选择使模板区域和预测对象区域加在一起的尺寸。
(2)模板区域和预测对象区域的尺寸决定
如上所述，由图8的判断部801通过计算决定模板区域和预测对象区域的尺寸和形状，然而也可以利用预测对象区域的原信号(编码对象块)来对最佳的尺寸和形状的信息进行编码。该决定方法例如能通过以下方式来实施，即：输出如图18所示预测生成部108使用多种模板而生成的预测对象区域的预测信号，由选择部选择使指标值(SAD、MSE等)最小的模板尺寸和形状，由编码部104对该信息进行熵编码。选择部109的处理包含在预测生成部108内的结构也能实施。
并且，根据预测对象区域的位置，有时不存在模板区域的对象信号。在该情况下，仅根据存在的对象信号生成模板。例如，在图像的左端把图14的(b)所示的区域C设为模板区域，在图像的上端把区域D设为模板区域。
[第3实施方式]
在使用由再现信号构成的模板的本发明的运动预测中，从检索范围检测根据模板区域的对象信号和预测信号计算出的差值信号的指标值最小的运动。因此，在模板区域的对象信号有显著特征的情况下，可根据该特征实施适当的运动预测。然而，在如平坦区域那样，模板区域的对象信号未表现出显著特征的情况下，即使指标值最小，检测与实际不同的运动的可能性也增高。在该情况下，当预测对象区域的预测信号与对象信号之间的差值大时，其码量也增加。另一方面，没有显著特征的平坦区域，信号内包含的高频分量少，降低了分辨率的信号与原始信号之间的空间相似性高。因此，降低预测对象区域的对象信号的分辨率来进行编码，并在解码侧使用简单方法对降低了分辨率的再现信号进行扩展，也能抑制从原始信号的退化。因此，在本实施方式中，作为适于平坦区域的差值编码方法，示出降低预测对象区域的对象信号和预测信号的分辨率、并对该低分辨率差值信号进行编码的方法(缩小编码对象块和预测块并对其缩小差值块进行编码的方法)。
另外，在本实施方式中，为了方便起见，把由预测信号构成的块称为预测块，把由差值信号构成的块称为差值块，把由再现信号构成的块称为解码块。而且，编码对象块是把由动态图像数据的编码对象帧的原信号构成的块称为编码对象块。
图21示出实施第3实施方式的动态图像编码装置2100。可通过在图1的动态图像编码装置100内设置缩小部2110(缩小部2110－1和缩小部2110－2的总称)和放大部2111来实现。另外，减法部2102、变换部2103、编码部2104、逆变换部2105以及加法部2106的功能只是减小要处理的块尺寸(例如4像素×4像素)，且分别与图1的减法部102、变换部103、编码部104、逆变换部105以及加法部106的功能相同。另外，关于变换部2103和逆变换部2015，在图1的变换部103和逆变换部105中也如非专利文献1所示，能以4像素×4像素为单位进行处理。在该情况下，图1的变换部103和逆变换部105与图21的变换部2103和逆变换部2105的不同是指，要处理的块的数量从4个减至1个。
缩小部2110－1和缩小部2110－2分别将从区域分割部108得到的编码对象块和从预测生成部108得到的预测块缩小成缩小编码对象块和缩小预测块，并输出到减法部2102。在减法部2102中，以像素为单位计算2个缩小块的差值，并把缩小差值块输出到变换部2103。在变换部2103中实施变换(和量子化)处理，变换数据(量子化数据)被编码部2104编码。同时，变换数据(量子化数据)被逆变换部实施(逆量子化和)逆变换处理，并把解码缩小差值块输出到加法部2106。在加法部2106中，以像素为单位将解码缩小差值块和缩小预测块相加，生成解码缩小块。放大部2111将解码缩小块放大到与编码对象块相同尺寸的解码块，并输出到记录部107。缩小部2110和放大部2111的处理使用图23在后面描述。
图22示出实施第3实施方式的动态图像解码装置2200。可通过在图6的动态图像解码装置600内设置缩小部2207和放大部2208来实现。缩小部2207和放大部2208的处理分别具有与图21中的缩小部2110和放大部2111相同的功能。另外，解码部2201、逆变换部2202以及加法部2203的功能只是减小要处理的块尺寸(例如4像素×4像素)，且分别与图6的解码部601、逆变换部602以及加法部603的功能相同。另外，逆变换部与图1的编码装置相同，在图6的逆变换部602中也如非专利文献1所示，能以4像素×4像素为单位进行处理。在该情况下，图6的逆变换部602与图22的逆变换部2202的不同是指，要处理的块的数量从4个减至1个。
缩小部2207将从预测生成部605得到的预测块缩小成缩小预测块，并输出到加法部2203。在加法部2203中，以像素为单位将通过解码部2201和逆变换部2202的处理而解码后的解码缩小块与缩小预测块相加，生成解码缩小块。与图22的编码装置相同，逆变换部2202可以包含量子化处理。放大部2208将解码缩小块放大到与解码块相同尺寸的解码块，并输出到记录部604。
图23示出缩小部2110、2207和放大部2111、2208中的缩小/放大处理。块2301表示被缩小前的块。处理2304对缩小处理中的缩小块上的像素生成方法进行说明。像素j、k、m、n表示块2301上的像素，像素P表示所生成的缩小块上的像素。在处理2304中，以4像素为单位实施像素的平均化处理，并计算缩小块上的像素。块2302表示通过缩小处理得到的缩小块。
处理2305表示放大处理中的放大块上的像素生成方法。像素A～D表示块2302上的像素，像素a～i表示放大图像上的像素。在处理2305中，根据像素位置使用不同的方法来实施像素的内插/外插处理。像素a由于邻接的缩小块上的像素仅是A，因而将像素A直接用作像素a。同样，块2303的由白圆圈表示的像素使用复制缩小块上的邻接像素的方法来计算。关于像素b～e，邻接的缩小块上的像素存在2像素。因此，这些像素通过使用缩小块上的邻接2像素的外插处理来计算。同样，块2303的由黑方块表示的像素通过使用缩小块上的邻接2像素的外插处理来计算。关于像素f～i，邻接的缩小块上的像素存在4像素。因此，这些像素通过使用缩小块上的邻接4像素的线性内插处理来计算。同样，块2303的由黑圆圈表示的像素通过使用缩小块上的邻接4像素的线性内插处理来计算。
图24和图25分别示出实现第3实施方式的动态图像编码处理和动态图像解码处理。图24和图25分别对应于第1实施方式中的图5和图7。在图24和图25中，将图5和图7中的模板区域决定处理(S502，S702)、模板匹配处理(S503，S703)、预测信号决定处理(S504)以及预测信号生成处理(S704)汇集成预测信号生成处理(S2404，S2504)来记载。并且，图24中的S2401、S2405、S2406、S2407、S2408、S2410、S2411分别对应于图5中的S501、S505、S506、S507、S508、S510、S511。这些处理只是使要处理的块尺寸不同，由于实施相同的处理，因而这里省略说明。并且，图25中的S2501、S2505、S2507、S2508分别对应于图7中的S701、S705、S707、S708。这些处理也只是使要处理的块尺寸不同，由于实施相同的处理，因而这里省略说明。
在图24的处理S2412的编码块缩小处理中，由缩小部2110－1将从区域分割部101输入的编码对象块缩小成缩小编码对象块，并把缩小后的块输出到减法部2102。在处理S2313的预测块缩小处理中，由缩小部2110－2将从预测生成部108输入的预测块缩小成缩小预测块，并把缩小后的块输出到减法部2102和加法部2106。通过以下处理S2405～处理S2408，实施缩小差值块的编码和解码处理，生成解码缩小差值块。在处理S2409的解码缩小块生成处理中，由加法部2106以像素为单位将缩小预测块和解码缩小差值块相加，生成解码缩小块。在处理S2414的放大处理中，由放大部2111将解码缩小块放大成解码块。
在图25的处理S2509的预测块缩小处理中，由缩小部2207将从预测生成部605输入的预测块缩小成缩小预测块，并把缩小后的块输出到加法部2203。在处理S2505中，实施缩小差值块的解码处理，生成解码缩小差值块。在处理S2506的解码缩小块生成处理中，由加法部2203以像素为单位将缩小预测块和解码缩小差值块相加，生成解码缩小块。在处理S2510的放大处理中，由放大部2208将解码缩小块放大成解码块。
在本实施方式中可考虑以下的变形例。以下的变形例对动态图像编码装置和动态图像解码装置作了说明，然而对于动态图像编码处理和动态图像解码处理也同样能实施。
(1)使用模板匹配的预测方法
在本实施方式中，预测生成部中的模板匹配方法不限于图2的方法。即，在本实施方式和变形例中，也能应用第1实施方式、第2实施方式以及它们的变形例所示的使用模板匹配的预测信号生成方法。如图18和图19所示，还能追加选择部，并还能将预测生成部108、605置换成图20所示的预测生成部1108。并且，由于信号的输入输出流程不变，因而将预测生成部108、605置换成图8所示的预测生成部800也可直接应用。
至此，作为使用模板匹配的预测方法，采用了使用模板来根据保存在存储部107、604内的已再现动态图像数据生成预测块的方法。然而，还具有如非专利文献1记载的内部预测那样，根据模板的再现信号使用规定方法来生成预测信号的方法。在该方法中，使用本实施方式的缩小/放大处理的编码/解码处理由于具有削减码量的效果，因而也是有效的。
图36示出该变形例中的预测生成部的结构。该图是根据模板的信号生成预测信号的内部预测的例子。根据模板的再现信号生成预测信号的方法可通过将图21和图22的预测生成部108置换成图36的预测生成部3608来实施。在模板区域决定部3602中，使用与编码对象块邻接的13个已再现像素来构成模板。在填补部3603中，使用图37所示的处理3711所示的方法，根据模板内的像素生成预测块。另外，图37示出了9种填补方法，而本发明可通过预先定义其中至少1种来实施。并且，也可以在填补部内从多个填补方法中选择1种，并输出使用所选择的填补方法生成的预测块。此时，填补方法的选择方法在本发明中不作限定。可以传送所选择的填补方法的信息，也可以是仅使用编码器(动态图像编码装置)和解码器(动态图像解码装置)共享的数据来决定的方法。
并且，模板形状不限于图37所示的形状。不仅是块边界的像素，只要是编码对象块所属的帧的已再现区域的像素，即使是由离开块边界的像素构成的模板，也能实现本发明。
(2)缩小/放大处理的结构
在图21所示的动态图像编码装置2100和图22所示的动态图像解码装置2200中，通过缩小编码对象块和预测块并放大解码后的缩小块，来生成解码块。然而，使用缩小和放大处理的码量的削减即使在不同的结构中也能实现，并不限于该方法。图32和图34示出动态图像编码装置的其他例，图33和图35示出动态图像解码装置的其他例。
在图32的动态图像编码装置3200中，不是将预测块，而是将通过以像素为单位从编码对象块减去预测块而生成的差值块由缩小部3210缩小。然后，将解码后的解码缩小差值块由放大部3211放大，以像素为单位将放大块和预测块相加，得到解码块。
图33的动态图像解码装置3300是与图32所示的动态图像编码装置3200对应的解码装置。在该方法中，不实施预测块的缩小，而将解码后的解码缩小差值块由放大部3308放大，以像素为单位将放大块和预测块相加，得到解码块。
图34的动态图像编码装置3400具有将图21中的缩小部2110－2的功能包含在预测生成部3408内的填补部中的结构。同样，图35的动态图像解码装置3500具有将图22中的缩小部2207包含在预测生成部的填补部中的结构。此时，填补部还能将缩小处理和填补处理进行组合，以便直接生成缩小预测块。在图2、图8或图20所示的填补部203中，填补部203具有的存储尺寸是能保存缩小预测块而不能保存预测块的大小，根据存储部107内的已再现动态图像数据直接仅取得所需要的信息，生成缩小预测块。在该情况下，模板区域决定部和匹配部可以如上述所示根据存储部107内的已再现动态图像数据取得模板区域内的所有像素，还可以对模板区域也实施缩小，仅取得所需要的信息来实施匹配处理。另一方面，在图35所示的动态图像解码装置3500中，模板区域决定部也可以根据存储部604内的已再现动态图像数据直接仅取得所需要的信息。
另外，上述动态图像编码装置3200、3400以及动态图像解码装置3300、3500中的预测生成部的结构，无论是图2所示的结构还是图36所示的结构都能实现。并且，如图18和图19所示的动态图像编码装置1800和动态图像解码装置1900那样，在伴有选择部的情况下，也可通过追加选择部来实现，因而还能置换成图2和图20所示的预测生成部。并且，由于信号的输入输出流程不变，因而将图2置换成图8所示的预测生成部也可直接应用。
并且，在图21中也可以不实施解码缩小块的放大处理，而是直接保存到帧存储器内。并且，在别的帧中，使用通过集成解码缩小块而得到的缩小图像来进行模板匹配，生成缩小预测块。然后，进行缩小编码对象块和缩小预测块的差值编码。或者，也可以放大缩小预测块，进行与编码对象块的差值编码。同样在图22中也可以不实施解码缩小块的放大处理，而是直接保存到帧存储器内。在别的帧中，使用通过集成缩小块而得到的缩小图像来进行模板匹配，生成缩小预测块。然后，将解码后的缩小差值块和缩小预测块相加来再现缩小块。或者，也可以放大缩小预测块，将解码后的差值块和放大后的块相加来再现解码块。这样，即使变更缩小处理和放大处理的应用方法，也能取得削减码量的效果。
缩小处理和放大处理的方法可以是图23所示的方法，也可以是后述的别的例子。
(3)TMP－E、TMP－L的选择方法
图21和图22所示的动态图像编码装置2100和动态图像解码装置2200表示假定模板区域的图案全部是平坦的情况，伴有块的缩小/放大处理的装置的结构。实际上，在图像的图案内混合存在平坦部分和有特征的部分，因而与第1实施方式中说明的不实施块的缩小/放大处理的结构进行组合来实施。图26示出将图1和图21所示的动态图像编码装置100、2100组合而成的动态图像编码装置2600，图27示出将图6和图22所示的动态图像解码装置600、2200组合而成的动态图像解码装置2700。在图中，与图1、图6、图21、图22相同编号的块表示相同功能，因而这里省略详细说明。
在图26中，由区域分割部101分割出的编码对象块被分别输入到减法部102和缩小部2110－1。编码对象块使用2种预测编码方法(TMP－E模式：图1所示的动态图像编码装置100的编码方式、TMP－L模式：图21所示的动态图像编码装置2100的编码方式)进行编码处理，2种变换数据(量子化数据)从变换部103和变换部2103被输出到切换部2613。并且，使用2种方法进行了局部解码后的2种解码块被输出到选择部2612。在选择部2612中，从这2种解码块中选择1种，把该选择信息输出到切换部2613和编码部2604。切换部2613根据选择信息，把变换数据(量子化数据)输出到编码部2604。编码部将选择信息和变换数据(量子化数据)一并进行熵编码。
作为选择部2612中的TMP－E和TMP－L模式的选择方法，例如列举以下方法，即：将被另行输入的编码对象块与2种解码块的差值信号相比较，选择差值的平方和小的一方。然而，在该方法中，由于码量不被换算，因而不选择编码效率高的编码方法。作为考虑到编码效率的选择方法，例如，列举非专利文献2所记载的方法。根据该方法，对使用2种预测编码方法生成的变换数据(量子化数据)分别进行虚拟编码。然后，分别计算解码块和编码对象块之间的总失真(例如差值的平方和)和码量的加权指标值，选择指标值小的编码方法。只要是该方法，就能选择编码效率高的预测编码方法。另外，变换数据(量子化数据)的编码可以将这些数据输入到选择部2612而由选择部2612实施，也可以由编码部2604实施，并把码量的信息输入到选择部。
在图27所示的动态图像解码装置2700中，由解码部2701对TMP－E模式和TMP－L模式的选择信息和使用所选择的预测编码方法的变换数据(量子化数据)进行熵解码。切换部2709根据选择信息，当选择信息表示TMP－E时，把变换数据(量子化数据)输出到逆变换部602，当选择信息表示TMP－L模式时，把变换数据(量子化数据)输出到逆变换部2202。变换数据(量子化数据)使用选择信息表示的解码方法来解码。
如上所述，将TMP－E和TMP－L作为不同的预测编码方法来处理，在编码侧对该选择信息进行编码。然而，还能将2种预测编码方法作为1种来处理，使用编码侧和解码侧共享的解码信息(根据再现图像或属于再现图像的特征数据导出的信息)来自动选择。作为特征数据可利用模板区域的对象信号。例如，具有使用模板区域的对象信号的方差的方法。可考虑这样的方法，即：预先设定阈值，当方差值大于阈值时使用TMP－E，当方差值小于阈值时使用TMP－L。并且，除了方差值以外，还可考虑这样的方法，即：计算模板区域的对象信号的像素梯度(邻接像素间的差值)，当差值超过阈值的像素数多于预定数时使用TMP－E，当差值超过阈值的像素数少于预定数时使用TMP－L。并且，还能将通过模板匹配检测到的运动矢量与对模板区域的像素组进行解码时的运动矢量(可以利用解码块的信号来再次检索)相比较，在其差小于预定的阈值的情况下使用TMP－E，在其差大于预定的阈值的情况下使用TMP－L。可以以检测到的运动矢量的大小或者邻接块的运动矢量为基准来选择。可以将使用这些方差值、像素梯度以及运动矢量的选择进行组合。在根据各方所选择的方法不同的情况下，可以采用多数决定进行最终的选择，还能实现只有在所选择的方法不同的情况下才传送选择信息的方法，可取得稳定的选择结果。
在该情况下，在图27的动态图像解码装置2700中，由于选择信息未被解码，因而有必要另行设置选择部。该选择部进行与编码装置的选择部相同的动作，并把选择信息输出到切换部2709。
图26和图27所示的各装置2600、2700中的预测生成部如上述的变形例(1)所示不限于图2所示的结构。还能应用图8、图20和图36所示的结构。
另外，在图36所示的预测生成部3608中，只有在预定的填补方法的情况下才应用TMP－L那样的缩小/放大处理，在其他填补方法中还能仅应用TMP－E那样的差值编码。并且，还能针对由填补部使用所选择的填补方法而生成的预测块，实施应用TMP－L和TMP－E那样的编码方法并自适应进行选择的方法。
(4)与现有的预测编码方法的自适应
上述所示的预测编码方法TMP－E和TMP－L能与非专利文献1所记载的多个预测编码方法(对运动矢量进行编码的外部预测模式和内部预测模式)进行组合来选择性使用。此时，关于各个预测编码方法，可以准备多个块尺寸。预测编码方法和块尺寸的最佳选择例如可使用非专利文献2所示的方法来实现。通过在图26和图27所示的各装置2600、2700(预测生成方法能进行变形例(1)所示的变形)内组合现有的预测编码方法，并扩展选择部来实现。并且，还能仅使TMP－L与现有的预测编码方法自适应。在该情况下，可以在图21和图22所示的各装置2100、2200、图32和图33所示的各装置3200、3300、以及图34和图35所示的各装置3400、3500中的任意一方内组合现有的预测编码方法。
(5)缩小/放大处理
缩小部的块缩小处理和放大部中的块放大处理的方法不限于图23的方法。图28和图29示出其他例子。
在图28中，块2801表示被缩小前的块，块2802表示缩小块。在该例子中，通过不伴有处理2304那样的滤波处理的单纯的像素抽样来生成缩小块。处理2805表示放大处理中的放大块上的像素生成方法。像素A～D表示块2802上的像素，像素a～c表示放大图像上的像素。像素A～D由于本来是缩小处理前的像素，因而被直接复制成放大块2803。关于通过缩小处理而被除外的像素，如处理2305的像素a～c那样，通过单纯的线性内插处理来计算。块2803的由方块表示的像素同样通过使用邻接像素的线性内插处理来计算。另外，关于放大块2803的上端和左端的黑方块的像素，仅存在1个或2个由圆圈表示的邻接像素。在该情况下，利用像素组2806所示的邻接块的已解码像素。另外，由于像素组2806被保存在存储部内，因而为了实现该处理，在图21、图22、图26、图27所示的各装置中需要从存储部向放大部的输入路径。
在图29中，块2901是被缩小前的块，块2902表示缩小块，在处理2904中对缩小处理方法进行说明。在该缩小方法中，如处理2904所示，通过利用与像素p邻接的8像素(j，k，l，m，n，o，q，r)的滤波处理来生成缩小块上的像素P。处理2905表示放大处理中的放大块2903上的像素生成方法。该处理由于与图28的2805相同，因而省略说明。在该情况下，由于像素组2906被保存在存储部内，因而为了实现该处理，在图21、图22、图26、图27中需要从存储部向放大部的输入路径。
在这些例子中，缩小块的尺寸是纵/横的缩小率分别为1/2，然而缩小率不限于此。例如，缩小率可以是1/4，纵/横的缩小率可以不同。
缩小/放大方法不限于1种，可以从多个方法中选择。作为选择方法，可以在编码侧以帧为单位或以块为单位选择编码误差的绝对值和或平方和最小的方法，并对选择信息进行编码，还可以从多个解码块候选中自动决定。作为决定方法，只要使用从再现图像或属于再现图像的特征数据导出的信息即可，例如可考虑以像素为单位计算平均值的方法，或者以像素为单位选择中央值的方法等。
另外，关于针对编码对象块的缩小方法，在解码装置中不作限定。因此，只要缩小块的像素数相同，就可以将不同的缩小方法应用于预测块和编码对象块。并且，在解码装置和解码处理中，没有规定编码对象块的缩小方法。
(6)放大块的再编码
在图26和图27所示的各装置2600、2700中，由放大部2111、2208放大后的块用作解码块的候选，然而还能将该块作为预测块的候选来处理，并与由预测生成部108、605生成的预测块自适应地选择。由放大部放大后的块由于高频分量受滤波处理限制，因而具有通过对该块进行再编码来提高画质的效果。
图30和图31分别示出实施本变形例的动态图像编码装置3000和动态图像解码装置3100。
在图30的动态图像编码装置3000中，与图26相比较，选择部3012和编码部3004的功能、以及从变换部2103输出的变换数据(量子化数据)的处理不同。在图26的选择部2612中，输入2种解码块的候选，而在本变形例的选择部3012中，从预测生成部108和放大部2111输入2种预测块的候选。作为选择方法可利用图26的说明所示的方法。然而，在利用非专利文献2的方法的情况下，为了计算总失真和码量，有必要对2种预测块的候选进行虚拟编码/解码。并且，关于TMP－L，从变换部2103输出的变换数据(量子化数据)也有必要进行虚拟编码，并换算成码量。所选择的预测块被输出到加法部106和减法部102，进行变换/编码。由选择部选择出TMP－L的情况下，接通开关3013，并把从变换部2103输出的变换数据(量子化数据)输出到编码部3004。在编码部3004中，汇集来自变换部103、变换部2103(TMP－L的情况下)以及选择部(必要的情况下)的数据进行编码。
另外，在由变换部103、2103实施量子化的情况下，当把变换部2103的量子化精度设定得比变换部103的量子化精度高时，编码效率提高。由于缩小块能以比编码对象块少的码量进行编码，因而即使提高量子化精度，码量也不增大。因此，具有不会使编码效率恶化而可提高画质的效果。
在图31的动态图像解码装置3001中，与图27相比较，解码部3101和切换部3109的功能、以及从预测生成部605输出的预测块的处理不同。在解码部3101中，首先对选择信息进行熵解码。当预测编码方法是TMP－L模式时，对缩小块的变换数据(量子化数据)进行熵解码。缩小块的变换数据(量子化数据)通过切换部3109的控制被输出到逆变换部2202。对放大块的变换数据(量子化数据)进行熵解码，并通过切换部3109的控制输出到逆变换部602。并且，通过基于选择信息的开关3110的控制，由预测生成部605通过模板匹配而生成的预测块被输出到缩小部2207。加法部603将从逆变换部602得到的差值块和从放大部2208得到的预测块相加来生成解码块。另一方面，当预测编码方法是TMP－E模式时，进行了熵解码后的变换数据(量子化数据)通过切换部3109的控制被输出到逆变换部602。并且，通过基于选择信息的开关3110的控制，由预测生成部605通过模板匹配而生成的预测块被输出到加法部603。在加法部603中，将从逆变换部602得到的差值块和通过开关3110从预测生成部605得到的预测块相加来生成解码块。
另外，在本变形例中，能应用本实施方式的变形例(1)所示的模板预测方法以及变形例(3)和(4)所示的模式选择方法。
这里，对用于使动态图像编码装置执行上述一系列编码处理的动态图像编码程序进行说明。如图16所示，动态图像编码程序1601被存储在形成于可由动态图像编码装置读取、或者所配备的记录介质1600中的程序存储区域1600a内。
动态图像编码程序1601构成为具有：对动态图像编码处理进行统一控制的主模块1601a、区域分割模块1601b、减法模块1601c、变换模块1601d、编码模块1601e、逆变换模块1601f、加法模块1601g、存储模块1601h以及预测生成模块1601i。并且，预测生成模块1601i具有模板区域决定模块1601j、匹配模块1601k以及填补模块1601m。
通过执行上述各模块来实现的功能与上述动态图像编码装置100的各构成要素的功能相同。即，通过执行区域分割模块1601b、减法模块1601c、变换模块1601d、编码模块1601e、逆变换模块1601f、加法模块1601g、存储模块1601h以及预测生成模块1601i的各模块来实现的功能与上述实施方式的动态图像编码装置100中的区域分割部101、减法部102、变换部103、编码部104、逆变换部105、加法部106、存储部107以及预测生成部108的功能相同。并且，通过执行模板区域决定模块1601j、匹配模块1601k以及填补模块1601m的各模块来实现的功能与上述实施方式的动态图像编码装置100中的模板区域决定部201、匹配部202以及填补部203的功能相同。
接下来，对用于使动态图像解码装置执行上述一系列解码处理的动态图像解码程序进行说明。如图17所示，动态图像解码程序1701被存储在形成于可由动态图像解码装置读取、或者所配备的记录介质1700中的程序存储区域1700a内。
动态图像解码程序1701构成为具有：对动态图像解码处理进行统一控制的主模块1701a、解码模块1701b、逆变换模块1701c、加法模块1701d、存储模块1701e以及预测生成模块1701f。并且，预测生成模块1701f具有模板区域决定模块1701g、匹配模块1701h以及填补模块1701i。
通过执行上述各模块来实现的功能与上述动态图像解码装置600的各构成要素的功能相同。即，通过执行解码模块1701b、逆变换模块1701c、加法模块1701d、存储模块1701e以及预测生成模块1701f的各模块来实现的功能与上述实施方式的动态图像解码装置600中的解码部601、逆变换部602、加法部603、存储部604以及预测生成部605的功能相同。并且，通过执行模板区域决定模块1701g、匹配模块1701h以及填补模块1701i的各模块来实现的功能与上述实施方式的动态图像编码装置100或动态图像解码装置600中的模板区域决定部201、匹配部202以及填补部203的功能相同。
另外，动态图像编码程序1601和动态图像解码程序1701可以采用这样的结构，即：其一部分或全部经由通信线路等传送介质传送，并由另一个设备接收并记录(包含安装)。
这里，对与第1实施方式所示的图1和图6记载的动态图像编码装置100和动态图像解码装置600对应的动态图像编码程序1601和动态图像解码程序1701作了说明，然而关于第1实施方式的变形例、第2和第3实施方式及其变形例，通过准备实施动态图像编码装置和动态图像解码装置的功能的模块，可构成动态图像编码程序和动态图像解码程序，因而也包含在本发明内。

Claims (16)

1.一种动态图像编码装置，其以块为单位对动态图像数据进行编码，其特征在于，该动态图像编码装置具有：
分割单元，其将构成上述动态图像数据的帧图像分割成多个编码对象块；
编码单元，其对上述编码对象块进行编码；
再现图像生成单元，其生成上述编码对象块的再现信号即解码块；
存储单元，其存储根据上述再现信号而生成的已再现动态图像数据；
检索单元，其从由上述存储单元存储的已再现动态图像数据中，检索与根据再现信号而生成的模板相关性高的像素组，其中，上述再现信号以规定的位置关系与上述编码对象块邻接且属于由上述存储单元存储的已再现动态图像数据；以及
预测信号决定单元，其基于由上述检索单元检索到的像素组和上述规定的位置关系，根据由上述存储单元存储的已再现动态图像数据决定上述编码对象块的预测信号即预测块；
上述编码单元以像素为单位从上述编码对象块减去上述预测块来生成该编码对象块的差值信号即差值块，并对该差值块进行编码；
上述再现图像生成单元生成由上述编码单元编码后的差值块的再现信号即解码差值块，并以像素为单位将该解码差值块和上述预测块相加，生成解码块，
该动态图像编码装置还具有：
估计单元，其对上述模板和由上述存储单元存储的已再现动态图像数据进行比较，根据其比较结果估计上述编码对象块的图像的空间连续性；以及
设定单元，其根据由上述估计单元估计出的图像的空间连续性，进一步分割上述编码对象块，将该分割后的编码对象块设定为新的编码对象块，并设定针对该新的编码对象块的模板。
2.根据权利要求1所述的动态图像编码装置，其特征在于，
上述编码单元通过利用规定方法使像素数减少的缩小处理，将上述差值块生成为像素数比该差值块少的缩小差值块，并对该缩小差值块进行编码；
上述再现图像生成单元生成上述缩小差值块的再现信号即解码缩小差值块，通过利用规定方法使像素数增加的放大处理，根据该解码缩小差值块生成解码块。
3.根据权利要求2所述的动态图像编码装置，其特征在于，
上述编码单元把上述缩小处理应用于上述编码对象块和上述预测块而分别得到缩小块和缩小预测块，以像素为单位从该缩小块减去该缩小预测块来生成缩小差值块；
上述再现图像生成单元生成由上述编码单元编码后的缩小差值块的再现信号即解码缩小差值块，以像素为单位将该解码缩小差值块和上述缩小预测块相加来生成解码缩小块，并将放大处理应用于该解码缩小块来生成解码块。
4.根据权利要求2所述的动态图像编码装置，其特征在于，
上述编码单元通过把上述缩小处理应用于上述差值块来生成缩小差值块；
上述再现图像生成单元生成由上述编码单元编码后的缩小差值块的再现信号即解码缩小块，通过将放大处理应用于该解码缩小块来生成解码差值块，并以像素为单位将该解码差值块和上述预测块相加来生成解码块。
5.根据权利要求1或2所述的动态图像编码装置，其特征在于，上述预测信号决定单元从形状不同的多个上述模板中选择1个模板。
6.根据权利要求5所述的动态图像编码装置，其特征在于，上述预测信号决定单元参照由上述存储单元存储的已再现动态图像数据的再现信号或与该再现信号有关的信息，选择上述1个模板。
7.根据权利要求5所述的动态图像编码装置，其特征在于，上述编码单元对指定由上述预测信号决定单元选择出的模板的信息进行编码。
8.一种动态图像解码装置，其以块为单位将动态图像数据的编码数据再现为已再现动态图像数据，其特征在于，该动态图像解码装置具有：
解码单元，其对成为解码对象的解码对象块的再现所需要的编码数据进行解码；
再现图像生成单元，其根据由上述解码单元解码后的编码数据生成上述解码对象块的再现信号即解码块；
存储单元，其存储根据上述再现信号而生成的已再现动态图像数据；
检索单元，其从由上述存储单元存储的已再现动态图像数据中，检索与根据再现信号而生成的模板相关性高的像素组，其中，上述再现信号以规定的位置关系与上述解码对象块邻接且属于由上述存储单元存储的已再现动态图像数据；以及
预测信号决定单元，其基于由上述检索单元检索到的像素组和上述规定的位置关系，根据由上述存储单元存储的已再现动态图像数据决定上述解码对象块的预测信号即预测块；
上述解码单元生成上述解码对象块的差值信号即解码差值块；
上述再现图像生成单元以像素为单位将上述解码差值块和上述预测块相加，生成解码块，
该动态图像解码装置还具有：
估计单元，其对上述模板和由上述存储单元存储的已再现动态图像数据进行比较，根据其比较结果估计上述解码对象块的图像的空间连续性；以及
设定单元，其根据由上述估计单元估计出的图像的空间连续性，进一步分割上述解码对象块，将该分割后的上述解码对象块设定为新的解码对象块，并设定针对该新的解码对象块的模板。
9.根据权利要求8所述的动态图像解码装置，其特征在于，
上述解码单元通过对上述编码数据进行解码，生成像素数比上述差值块少的解码缩小差值块；
上述再现图像生成单元通过利用上述规定方法使像素数增加的放大处理，根据上述解码缩小差值块生成解码块。
10.根据权利要求9所述的动态图像解码装置，其特征在于，上述再现图像生成单元将上述缩小处理应用于上述预测块而得到缩小预测块，以像素为单位将上述解码缩小差值块和该缩小预测块相加来生成解码缩小块，并将放大处理应用于该解码缩小块来生成解码块。
11.根据权利要求9所述的动态图像解码装置，其特征在于，上述再现图像生成单元通过将上述放大处理应用于上述解码缩小差值块来生成解码差值块，并以像素为单位将该解码差值块和上述预测块相加来生成解码块。
12.根据权利要求8或9所述的动态图像解码装置，其特征在于，上述预测信号决定单元从形状不同的多个上述模板中选择1个模板。
13.根据权利要求12所述的动态图像解码装置，其特征在于，上述预测信号决定单元参照由上述存储单元存储的已再现动态图像数据的再现信号或与该再现信号有关的信息，选择上述1个模板。
14.根据权利要求12所述的动态图像解码装置，其特征在于，
上述解码单元对指定所选择的模板的信息进行解码；
上述预测信号决定单元参照由上述解码单元解码后的指定所选择的模板的信息，从形状不同的多个上述模板中选择1个模板。
15.一种动态图像编码方法，其是以块为单位对动态图像数据进行编码的动态图像编码装置中的动态图像编码方法，其特征在于，该动态图像编码方法具有：
分割步骤，其将构成上述动态图像数据的帧图像分割成多个编码对象块；
编码步骤，其对上述编码对象块进行编码；
再现图像生成步骤，其生成上述编码对象块的再现信号即解码块；
存储步骤，其存储根据上述再现信号而生成的已再现动态图像数据；
检索步骤，其从在上述存储步骤中存储的已再现动态图像数据中，检索与根据再现信号而生成的模板相关性高的像素组，其中，上述再现信号以规定的位置关系与上述编码对象块邻接且属于在上述存储步骤中存储的已再现动态图像数据；以及
预测信号决定步骤，其基于在上述检索步骤中检索到的像素组和上述规定的位置关系，根据在上述存储步骤中存储的已再现动态图像数据决定上述编码对象块的预测信号即预测块；
在上述编码步骤中，以像素为单位从上述编码对象块减去上述预测块来生成该编码对象块的差值信号即差值块，对该差值块进行编码；
在上述再现图像生成步骤中，生成在上述编码步骤中编码后的差值块的再现信号即解码差值块，并以像素为单位将该解码差值块和上述预测块相加，生成解码块，
该动态图像编码方法还具有：
估计步骤，对上述模板和在上述存储步骤中存储的已再现动态图像数据进行比较，根据其比较结果估计上述编码对象块的图像的空间连续性；以及
设定步骤，根据在上述估计步骤中估计出的图像的空间连续性，进一步分割上述编码对象块，将该分割后的编码对象块设定为新的编码对象块，并设定针对该新的编码对象块的模板。
16.一种动态图像解码方法，其是以块为单位将动态图像数据的编码数据再现为已再现动态图像数据的动态图像解码装置中的动态图像解码方法，其特征在于，该动态图像解码方法具有：
解码步骤，其对成为解码对象的解码对象块的再现所需要的编码数据进行解码；
再现图像生成步骤，其根据在上述解码步骤中解码后的编码数据生成上述解码对象块的再现信号即解码块；
存储步骤，其存储根据上述再现信号而生成的已再现动态图像数据；
检索步骤，其从在上述存储步骤中存储的已再现动态图像数据中，检索与根据再现信号而生成的模板相关性高的像素组，其中，上述再现信号以规定的位置关系与上述解码对象块邻接且属于在上述存储步骤中存储的已再现动态图像数据；以及
预测信号决定步骤，其基于在上述检索步骤中检索到的像素组和上述规定的位置关系，根据在上述存储步骤中存储的已再现动态图像数据决定上述解码对象块的预测信号即预测块；
在上述解码步骤中，生成上述解码对象块的差值信号即解码差值块；
在上述再现图像生成步骤中，以像素为单位将上述解码差值块和上述预测块相加，生成解码块，
该动态图像解码方法还具有：
估计步骤，对上述模板和在上述存储步骤中存储的已再现动态图像数据进行比较，根据其比较结果估计上述解码对象块的图像的空间连续性；以及
设定步骤，根据在上述估计步骤中估计出的图像的空间连续性，进一步分割上述解码对象块，将该分割后的上述解码对象块设定为新的解码对象块，并设定针对该新的解码对象块的模板。
CN201210539613.3A 2005-07-05 2006-07-05 动态图像编码装置、方法以及动态图像解码装置、方法 Active CN103024382B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005196351 2005-07-05
JP2005-196351 2005-07-05
JP2006094391A JP2007043651A (ja) 2005-07-05 2006-03-30 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2006-094391 2006-03-30

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800246255A Division CN101218829A (zh) 2005-07-05 2006-07-05 动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法以及动态图像解码程序

Publications (2)

Publication Number Publication Date
CN103024382A CN103024382A (zh) 2013-04-03
CN103024382B true CN103024382B (zh) 2015-03-25

Family

ID=37604537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210539613.3A Active CN103024382B (zh) 2005-07-05 2006-07-05 动态图像编码装置、方法以及动态图像解码装置、方法

Country Status (7)

Country Link
US (2) US8369628B2 (zh)
EP (3) EP2475175A3 (zh)
JP (1) JP2007043651A (zh)
KR (4) KR20120030585A (zh)
CN (1) CN103024382B (zh)
RU (2) RU2391794C2 (zh)
WO (1) WO2007004678A1 (zh)

Families Citing this family (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4956556B2 (ja) * 2006-02-17 2012-06-20 トムソン ライセンシング イントラ予測モードを使用した画像符号化方法
AU2007244443A1 (en) * 2006-04-28 2007-11-08 Ntt Docomo, Inc. Image predictive coding device, image predictive coding method, image predictive coding program, image predictive decoding device, image predictive decoding method and image predictive decoding program
JP4994767B2 (ja) * 2006-10-03 2012-08-08 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
CN101573985B (zh) * 2006-11-03 2012-07-04 三星电子株式会社 用于视频预测编码的方法和装置以及用于视频预测解码的方法和装置
CN101573982B (zh) * 2006-11-03 2011-08-03 三星电子株式会社 利用运动矢量跟踪编码/解码图像的方法和装置
KR101365567B1 (ko) * 2007-01-04 2014-02-20 삼성전자주식회사 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8472522B2 (en) 2007-02-23 2013-06-25 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
JP4685825B2 (ja) * 2007-04-06 2011-05-18 学校法人東京理科大学 動画像復号装置、方法及びプログラム、並びに、動画像符号化装置、方法及びプログラム
JP5372341B2 (ja) * 2007-05-18 2013-12-18 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラム
JP5372352B2 (ja) * 2007-04-09 2013-12-18 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラム
CN101653009B (zh) * 2007-04-09 2013-07-31 株式会社Ntt都科摩 图像预测编码装置、图像预测编码方法、图像预测解码装置、图像预测解码方法
JP4767908B2 (ja) * 2007-05-29 2011-09-07 シャープ株式会社 画像復号装置及び画像符号化装置
KR101378338B1 (ko) 2007-06-14 2014-03-28 삼성전자주식회사 영상 복구를 이용한 인트라 예측 부호화, 복호화 방법 및장치
US20090003443A1 (en) * 2007-06-26 2009-01-01 Nokia Corporation Priority-based template matching intra prediction video and image coding
EP2034742A3 (en) 2007-07-25 2009-10-14 Hitachi Ltd. Video coding method and device
KR101403343B1 (ko) 2007-10-04 2014-06-09 삼성전자주식회사 부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화방법 및 장치
CN101415122B (zh) * 2007-10-15 2011-11-16 华为技术有限公司 一种帧间预测编解码方法及装置
JP5324594B2 (ja) * 2007-11-28 2013-10-23 フランス・テレコム 動きの符号化及び復号
JPWO2009084340A1 (ja) * 2007-12-28 2011-05-19 シャープ株式会社 動画像符号化装置、および、動画像復号装置
JP5011138B2 (ja) * 2008-01-25 2012-08-29 株式会社日立製作所 画像符号化装置、画像符号化方法、画像復号化装置、画像復号化方法
KR20090095012A (ko) * 2008-03-04 2009-09-09 삼성전자주식회사 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
JP2011515060A (ja) * 2008-03-09 2011-05-12 エルジー エレクトロニクス インコーポレイティド ビデオ信号のエンコーディングまたはデコーディング方法及び装置
JP4623111B2 (ja) * 2008-03-13 2011-02-02 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
BRPI0911061A2 (pt) * 2008-04-11 2015-12-29 Thomson Licensing filtragem de desblocagem para predição intra deslocada e correspondência de modelos
CN101557514B (zh) * 2008-04-11 2011-02-09 华为技术有限公司 一种帧间预测编解码方法、装置及系统
JP5406465B2 (ja) * 2008-04-24 2014-02-05 株式会社Ｎｔｔドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
JP2010016453A (ja) * 2008-07-01 2010-01-21 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
JP2010035137A (ja) * 2008-07-01 2010-02-12 Sony Corp 画像処理装置および方法、並びにプログラム
JP2010016454A (ja) * 2008-07-01 2010-01-21 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
WO2010016534A1 (ja) * 2008-08-08 2010-02-11 シャープ株式会社 動画像符号化装置および動画像復号装置
CN102160384A (zh) * 2008-09-24 2011-08-17 索尼公司 图像处理设备和方法
US20110170604A1 (en) * 2008-09-24 2011-07-14 Kazushi Sato Image processing device and method
US20110170605A1 (en) * 2008-09-24 2011-07-14 Kazushi Sato Image processing apparatus and image processing method
JPWO2010035735A1 (ja) * 2008-09-24 2012-02-23 ソニー株式会社 画像処理装置および方法
JP5422168B2 (ja) 2008-09-29 2014-02-19 株式会社日立製作所 動画像符号化方法および動画像復号化方法
US8831103B2 (en) * 2008-10-02 2014-09-09 Sony Corporation Image processing apparatus and method
KR101098739B1 (ko) * 2008-11-24 2011-12-23 한국전자통신연구원 비디오 신호의 부호화/복호화 장치 및 방법
CN102301713B (zh) * 2009-01-28 2014-10-29 法国电信公司 使用预测掩膜对图像进行编码的方法和装置、对应的解码方法和装置
TWI405469B (zh) * 2009-02-20 2013-08-11 Sony Corp Image processing apparatus and method
TW201032600A (en) * 2009-02-20 2010-09-01 Sony Corp Image processing device and method
ES2964540T3 (es) * 2009-03-23 2024-04-08 Ntt Docomo Inc Dispositivo de descodificación predictiva de imágenes y procedimiento de descodificación predictiva de imágenes
JP2010258738A (ja) * 2009-04-24 2010-11-11 Sony Corp 画像処理装置および方法、並びにプログラム
JP2010268259A (ja) * 2009-05-15 2010-11-25 Sony Corp 画像処理装置および方法、並びにプログラム
US8873626B2 (en) * 2009-07-02 2014-10-28 Qualcomm Incorporated Template matching for video coding
EP2493196A4 (en) * 2009-10-20 2013-06-05 Sharp Kk IMAGE ENCODING APPARATUS, IMAGE DECODING APPARATUS, AND CODED DATA STRUCTURE
KR101457418B1 (ko) * 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
JP5321426B2 (ja) 2009-11-26 2013-10-23 株式会社Ｊｖｃケンウッド 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
KR101601854B1 (ko) * 2009-12-04 2016-03-10 에스케이 텔레콤주식회사 공간적 예측장치 및 그 예측방법, 그것을 이용한 영상 부호화 장치 및 방법, 및 영상 복호화 장치 및 방법
CN102742268B (zh) 2009-12-08 2016-05-04 汤姆森特许公司 视频编码和解码的自适应模版匹配预测的方法和装置
JP5321439B2 (ja) 2009-12-15 2013-10-23 株式会社Ｊｖｃケンウッド 画像符号化装置、画像復号化装置、画像符号化方法、及び、画像復号化方法
KR101782661B1 (ko) 2010-01-19 2017-10-23 톰슨 라이센싱 비디오 인코딩 및 디코딩을 위한 템플릿 매칭 예측의 복잡도를 감소시키는 방법 및 장치
CN102726044B (zh) 2010-01-22 2016-08-10 汤姆逊许可证公司 使用基于示例的超分辨率的用于视频压缩的数据剪切
JP5911809B2 (ja) 2010-01-22 2016-04-27 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ サンプリングベースの超解像度ビデオ符号化および復号化方法並びに装置
CN106210733B (zh) 2010-04-13 2020-03-24 Ge视频压缩有限责任公司 解码器、重建数组的方法、编码器、编码及解码方法
LT3955579T (lt) 2010-04-13 2023-09-11 Ge Video Compression, Llc Vaizdo kodavimas naudojant kadrų multimedžių poskaidinius
CN106101724B (zh) 2010-04-13 2019-09-06 Ge视频压缩有限责任公司 跨平面预测
CN106210736B (zh) * 2010-04-13 2020-06-16 Ge视频压缩有限责任公司 样本区域合并技术
JP5455229B2 (ja) * 2010-04-26 2014-03-26 株式会社Ｋｄｄｉ研究所 画像符号化装置及び画像復号装置
KR101836981B1 (ko) * 2010-07-09 2018-03-09 한국전자통신연구원 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
LT3101901T (lt) 2010-07-09 2017-09-25 Samsung Electronics Co., Ltd. Transformacijos koeficientų entropinis dekodavimo būdas
WO2012005537A2 (ko) * 2010-07-09 2012-01-12 한국전자통신연구원 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
US10091529B2 (en) * 2010-07-09 2018-10-02 Samsung Electronics Co., Ltd. Method and apparatus for entropy encoding/decoding a transform coefficient
CN103155554B (zh) * 2010-09-10 2018-08-10 汤姆逊许可公司 通过基于图像内容搜索和分级在视频压缩中对至参考块的链接进行编码
US9338477B2 (en) 2010-09-10 2016-05-10 Thomson Licensing Recovering a pruned version of a picture in a video sequence for example-based data pruning using intra-frame patch similarity
WO2012033972A1 (en) 2010-09-10 2012-03-15 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
CN102447895B (zh) * 2010-09-30 2013-10-02 华为技术有限公司 扫描方法及装置、反扫描方法及装置
KR101927282B1 (ko) * 2010-10-06 2018-12-10 가부시키가이샤 엔.티.티.도코모 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램
US8428375B2 (en) * 2010-11-17 2013-04-23 Via Technologies, Inc. System and method for data compression and decompression in a graphics processing system
KR101825768B1 (ko) 2010-11-24 2018-02-05 벨로스 미디어 인터내셔널 리미티드 움직임 벡터 산출 방법, 화상 부호화 방법, 화상 복호 방법, 움직임 벡터 산출 장치 및 화상 부호화 복호 장치
JP5711514B2 (ja) * 2010-12-14 2015-04-30 日本電信電話株式会社 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム及び復号プログラム
EP2645719A4 (en) 2010-12-23 2014-12-03 Samsung Electronics Co Ltd METHOD AND DEVICE FOR CODING AN INTRAPREDICTION MODULE FOR AN IMAGE PREDICTING UNIT AND METHOD AND DEVICE FOR DECODING AN INTRAPREDICTION MODE FOR AN IMAGE PREDICTING UNIT
JP5594841B2 (ja) 2011-01-06 2014-09-24 Ｋｄｄｉ株式会社 画像符号化装置及び画像復号装置
US8913662B2 (en) * 2011-01-06 2014-12-16 Qualcomm Incorporated Indicating intra-prediction mode selection for video coding using CABAC
KR101820997B1 (ko) * 2011-01-12 2018-01-22 선 페이턴트 트러스트 동화상 부호화 방법 및 동화상 복호화 방법
CA2961824C (en) * 2011-01-12 2019-07-23 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
JP5498972B2 (ja) * 2011-01-21 2014-05-21 日本放送協会 符号化装置、復号装置及びプログラム
US10404998B2 (en) 2011-02-22 2019-09-03 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, and moving picture decoding apparatus
KR101878008B1 (ko) 2011-03-03 2018-07-13 선 페이턴트 트러스트 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 동화상 부호화 복호 장치
US8923633B2 (en) * 2011-03-07 2014-12-30 Panasonic Intellectual Property Corporation Of America Image decoding method, image coding method, image decoding apparatus, and image coding apparatus
US9832460B2 (en) * 2011-03-09 2017-11-28 Canon Kabushiki Kaisha Image coding apparatus, method for coding image, program therefor, image decoding apparatus, method for decoding image, and program therefor
US9648334B2 (en) 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
KR101383775B1 (ko) 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치
JP2011205693A (ja) * 2011-06-14 2011-10-13 Sharp Corp 画像復号装置及び画像符号化装置
JP5807402B2 (ja) * 2011-06-15 2015-11-10 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
US9313494B2 (en) * 2011-06-20 2016-04-12 Qualcomm Incorporated Parallelization friendly merge candidates for video coding
JP5649524B2 (ja) 2011-06-27 2015-01-07 日本電信電話株式会社 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
JP5729817B2 (ja) 2011-06-29 2015-06-03 日本電信電話株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラム
MX2014000159A (es) * 2011-07-02 2014-02-19 Samsung Electronics Co Ltd Metodo y aparato para la codificacion de video, y metodo y aparato para la decodificacion de video acompañada por inter prediccion utilizando imagen co-localizada.
US20130016769A1 (en) * 2011-07-17 2013-01-17 Qualcomm Incorporated Signaling picture size in video coding
EP3675498A1 (en) 2011-10-17 2020-07-01 Kabushiki Kaisha Toshiba Encoding method and decoding method
JP2013102295A (ja) * 2011-11-07 2013-05-23 Canon Inc 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
MX355319B (es) 2011-11-08 2018-04-16 Kt Corp Método y aparato para exploración de coeficientes con base en el modo de división de la unidad de predicción.
SG11201400290XA (en) * 2011-11-08 2014-06-27 Toshiba Kk Image encoding method, image decoding method, image encoding device and image decoding device
JP2013115583A (ja) * 2011-11-28 2013-06-10 Canon Inc 動画像符号化装置及びその制御方法並びにプログラム
WO2013094199A1 (ja) * 2011-12-21 2013-06-27 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号化方法、画像復号化装置、および画像符号化復号化装置
RU2589297C9 (ru) * 2011-12-28 2017-01-23 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство декодирования движущегося изображения и способ декодирования движущегося изображения
EP2615832A1 (en) * 2012-01-13 2013-07-17 Thomson Licensing Method and device for encoding a block of an image and corresponding reconstructing method and device
WO2013145642A1 (ja) * 2012-03-28 2013-10-03 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム
CN106899849B (zh) 2012-06-27 2019-08-13 株式会社东芝 一种电子设备和解码方法
BR112014033040B1 (pt) 2012-07-02 2020-09-29 Samsung Electronics Co., Ltd Método de decodificação de um vídeo
WO2014017809A1 (ko) * 2012-07-24 2014-01-30 한국전자통신연구원 영상의 복호화 방법 및 이를 이용하는 장치
JP5798539B2 (ja) * 2012-09-24 2015-10-21 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法
JP6158337B2 (ja) * 2012-09-24 2017-07-05 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 深度マップコーディング
RU2619199C1 (ru) * 2012-11-08 2017-05-12 Кт Корпорейшен Способ декодирования видеосигнала
CN104982035B (zh) * 2012-12-18 2018-12-11 西门子公司 用于对数字图像的序列进行编码的方法
EP2946550A1 (en) * 2013-04-09 2015-11-25 Siemens Aktiengesellschaft A method for coding a sequence of digital images
CN104104961B (zh) * 2013-04-10 2018-09-21 华为技术有限公司 一种视频编码方法、解码方法和装置
JP2019213242A (ja) * 2014-04-28 2019-12-12 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化方法、復号方法、符号化装置および復号装置
JPWO2015166639A1 (ja) * 2014-04-28 2017-04-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化方法、復号方法、符号化装置および復号装置
CN105338351B (zh) * 2014-05-28 2019-11-12 华为技术有限公司 基于模板匹配的帧内预测编、解码、阵列扫描方法及装置
CN104363449B (zh) * 2014-10-31 2017-10-10 华为技术有限公司 图像预测方法及相关装置
CN115278232A (zh) 2015-11-11 2022-11-01 三星电子株式会社 对视频进行解码的方法和对视频进行编码的方法
EP3417618A4 (en) * 2016-02-17 2019-07-24 Telefonaktiebolaget LM Ericsson (publ) METHOD AND DEVICES FOR CODING AND DECODING VIDEO IMAGES
RU2638756C2 (ru) * 2016-05-13 2017-12-15 Кабусики Кайся Тосиба Устройство кодирования, устройство декодирования, способ кодирования и способ декодирования
US10397569B2 (en) * 2016-06-03 2019-08-27 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
CN109565592B (zh) * 2016-06-24 2020-11-17 华为技术有限公司 一种使用基于分割的视频编码块划分的视频编码设备和方法
WO2018097077A1 (ja) * 2016-11-22 2018-05-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CA3091356A1 (en) * 2018-02-15 2019-08-22 Arris Enterprises Llc Variable template size for template matching
CN112204963B (zh) * 2018-03-29 2024-06-07 弗劳恩霍夫应用研究促进协会 逐块图像编码的帧内预测模式概念
BR112021004690B1 (pt) 2019-03-08 2021-10-26 Jvckenwood Corporation Dispositivo de conversão em código de imagem em movimento, método de conversão em código de imagem em movimento, dispositivo de decodificação de imagem em movimento e método de decodificação de imagem em movimento
TWI749676B (zh) * 2020-08-03 2021-12-11 緯創資通股份有限公司 影像品質評估裝置及其影像品質評估方法
WO2024091002A1 (ko) * 2022-10-26 2024-05-02 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 이를 위한 장치
WO2024148106A2 (en) * 2023-01-04 2024-07-11 Qualcomm Incorporated Multiple modes and multiple templates for template matching related video coding tools
WO2024155170A1 (ko) * 2023-01-20 2024-07-25 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 이를 위한 장치
WO2024159187A1 (en) * 2023-01-27 2024-08-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. . Systems and methods for indicating intra template matching prediction

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6289052B1 (en) * 1999-06-07 2001-09-11 Lucent Technologies Inc. Methods and apparatus for motion estimation using causal templates

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0262180A (ja) 1988-08-26 1990-03-02 Fujitsu Ltd 動画像の動き補償予測符号化方式
SU1730724A1 (ru) 1990-04-17 1992-04-30 Всесоюзный научно-исследовательский институт телевидения Кодер сигнала изображени
JPH0795566A (ja) 1993-09-21 1995-04-07 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法および装置
US5768438A (en) * 1994-10-19 1998-06-16 Matsushita Electric Industrial Co., Ltd. Image encoding/decoding device
RU2093968C1 (ru) 1995-08-02 1997-10-20 Закрытое акционерное общество "Техно-ТМ" Способ кодирования-декодирования изображений и устройство для его осуществления
DE69709835T2 (de) * 1996-05-28 2002-08-22 Matsushita Electric Industrial Co., Ltd. Vorrichtung zur bildvorhersage und decodierung
JP3343554B1 (ja) 1996-05-28 2002-11-11 松下電器産業株式会社 画像予測復号化方法及び画像予測符号化装置
JP3466032B2 (ja) 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
TW358296B (en) 1996-11-12 1999-05-11 Matsushita Electric Ind Co Ltd Digital picture encoding method and digital picture encoding apparatus, digital picture decoding method and digital picture decoding apparatus, and data storage medium
JP3604864B2 (ja) * 1997-04-25 2004-12-22 シャープ株式会社 動画像符号化装置
US6359929B1 (en) * 1997-07-04 2002-03-19 Matsushita Electric Industrial Co., Ltd. Image predictive decoding method, image predictive decoding apparatus, image predictive coding apparatus, and data storage medium
SG116400A1 (en) * 1997-10-24 2005-11-28 Matsushita Electric Ind Co Ltd A method for computational graceful degradation inan audiovisual compression system.
JPH11341496A (ja) * 1998-05-28 1999-12-10 Matsushita Electric Ind Co Ltd 画像処理方法，画像処理装置，及びデータ記憶媒体
US6625215B1 (en) 1999-06-07 2003-09-23 Lucent Technologies Inc. Methods and apparatus for context-based inter/intra coding mode selection
JP4258694B2 (ja) * 2000-10-06 2009-04-30 日本電気株式会社 動画像符号化方法、動画像符号化装置、動画像復号化装置及びそれらを備えた動画像通信システム
JP3675429B2 (ja) * 2002-09-12 2005-07-27 独立行政法人産業技術総合研究所 適応型予測符号化、復号化方法およびそれらの装置ならびに適応型予測符号化、復号化プログラムを記録した記録媒体
JP3715283B2 (ja) * 2003-02-04 2005-11-09 株式会社半導体理工学研究センター 動画像の画像圧縮符号化方法及び装置
CN100534192C (zh) * 2003-10-28 2009-08-26 松下电器产业株式会社 帧内预测编码方法
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
US8014613B2 (en) * 2007-04-16 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image parameter prediction

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6289052B1 (en) * 1999-06-07 2001-09-11 Lucent Technologies Inc. Methods and apparatus for motion estimation using causal templates

Also Published As

Publication number Publication date
EP1919223A1 (en) 2008-05-07
EP2475175A3 (en) 2012-11-07
EP1919223A4 (en) 2011-06-15
US20120320976A1 (en) 2012-12-20
US20090116759A1 (en) 2009-05-07
RU2009149744A (ru) 2011-07-10
RU2008104131A (ru) 2009-08-10
EP2475175A2 (en) 2012-07-11
EP2627091B1 (en) 2016-09-07
KR20120030585A (ko) 2012-03-28
KR20080019294A (ko) 2008-03-03
RU2391794C2 (ru) 2010-06-10
WO2007004678A1 (ja) 2007-01-11
KR20120138248A (ko) 2012-12-24
CN103024382A (zh) 2013-04-03
EP2627091A1 (en) 2013-08-14
KR20100019541A (ko) 2010-02-18
JP2007043651A (ja) 2007-02-15
US8369628B2 (en) 2013-02-05
US9282340B2 (en) 2016-03-08

Similar Documents

Publication Publication Date Title
CN103024382B (zh) 动态图像编码装置、方法以及动态图像解码装置、方法
CN101218829A (zh) 动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法以及动态图像解码程序
US11070802B2 (en) Moving image coding device, moving image decoding device, moving image coding/decoding system, moving image coding method and moving image decoding method
US9781443B2 (en) Motion vector encoding/decoding method and device and image encoding/decoding method and device using same
CN102640496B (zh) 图像编码装置、图像解码装置、图像编码方法及图像解码方法
US20060159354A1 (en) Method and apparatus for predicting frequency transform coefficients in video codec, video encoder and decoder having the apparatus, and encoding and decoding method using the method
TW201043039A (en) Image encoding apparatus, method, and program, and image decoding apparatus, method, and program
KR20190117708A (ko) 부호화유닛 심도 확정 방법 및 장치
JP5367097B2 (ja) 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム
CN109429071A (zh) 图像编码装置、图像解码装置及图像处理方法
KR20110114524A (ko) 화상 예측 부호화 장치, 방법 및 프로그램, 화상 예측 복호 장치, 방법 및 프로그램, 및 부호화·복호 시스템 및 방법
CN101009839A (zh) 基于正交变换和向量量化的视频编码/解码的方法和设备
CN100411444C (zh) 用于视频数据的空间预测编码和/或解码的方法和设备
JP6426648B2 (ja) 動画像予測復号方法及び動画像予測復号装置
CN102239694A (zh) 图像编码器和图像解码器
JP6992825B2 (ja) 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム
JP5375697B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、及びプログラム
JP4184249B2 (ja) 画像符号化装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant