CN102577391A - 图像编码装置、图像解码装置、以及编码数据的数据结构 - Google Patents

图像编码装置、图像解码装置、以及编码数据的数据结构 Download PDF

Info

Publication number
CN102577391A
CN102577391A CN201080046955.0A CN201080046955A CN102577391A CN 102577391 A CN102577391 A CN 102577391A CN 201080046955 A CN201080046955 A CN 201080046955A CN 102577391 A CN102577391 A CN 102577391A
Authority
CN
China
Prior art keywords
rectangular region
picture
template
unit
mentioned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201080046955.0A
Other languages
English (en)
Inventor
山本智幸
猪饲知宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN102577391A publication Critical patent/CN102577391A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明的图像编码装置包括针对每个预测单位生成预测图像的TM预测部(105)。该TM预测部(105)将与对象预测单位的长边相向的解码图像上的长方形区域作为模板，在将与上述模板的与上述对象预测单位相向的一侧的相反侧的长边相向的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域，由此生成上述对象预测单位上的预测图像。据此，在作为编码对象的图像由曲率发生变化的边缘等构成的情况下，也实现编码效率较高的图像编码装置。

Description

图像编码装置、图像解码装置、以及编码数据的数据结构
技术领域
本发明涉及通过对图像进行编码而生成编码数据的图像编码装置以及图像编码方法。另外，涉及通过对使用这种图像编码装置生成的编码数据进行解码而生成图像的图像解码装置以及图像解码方法。
背景技术
为了高效地传输或记录运动图像，使用运动图像编码装置。作为运动图像编码装置中的运动图像的编码方式，例如举出非专利文献1所示的H.264/AVC。
在上述编码方式中，将作为编码对象的图像分割为多个块，然后进行编码。另外，为了提高编码效率，采用参照与对象块位于同一帧内的已解码的区域生成预测图像，对该预测图像与上述对象块的差图像进行编码的技术。
专利文献1中公开了具有如下特征的图像预测编码装置：设定与预测对象区域邻接的倒L字型的对象邻接区域、以及搜索区域，在该搜索区域中搜索作为相对于上述对象邻接区域绝对误差值的和最小的区域的预测邻接区域，将与该预测邻接区域邻接的区域作为对上述预测对象区域的纹理信号，由此生成对该预测对象区域的预测信号。
现有技术文献
专利文献
专利文献1：日本专利公开公报“特开2007-300380号公报”(2007年11月15日公开)
非专利文献
非专利文献1：ITU-T Recommendation H.264(11/07)(2007年11月公开)
发明内容
发明要解决的问题
但是，专利文献1记载的技术通过二维扫描搜索区域，进行与倒L字型的对象邻接区域类似的区域的搜索，因此具有进行搜索时的计算量多、生成预测图像的速度降低的问题。
另外，专利文献1记载的技术将预测对象区域设定为正方形。因此，例如，在编码对象的图像包含曲率发生变化的边缘的情况下，无法搜索适当的预测邻接区域，因此具有编码效率下降的问题。
本发明鉴于上述问题而作，其目的在于实现一种图像编码装置，其削减进行搜索时的计算量，并且在编码对象的图像包含曲率发生变化的边缘的情况下编码效率也较高。
用于解决问题的手段
为了解决上述问题，本发明涉及的图像编码装置的特征在于，该装置是将分割为多个块的对象图像针对每个块进行编码的图像编码装置，包括：量化单元，对从分割为长边之间相互邻接的多个长方形区域的对象块上的对象图像中减去预测图像而得到的预测残差，针对每个由从上述多个长方形区域中选择的一个以上长方形区域构成的量化单位进行量化；逆量化单元，作为针对每个上述量化单位生成上述对象块上的解码图像的逆量化单元，将对上述量化单元生成的量化值进行逆量化而得到的预测残差与上述预测图像相加，由此生成对象量化单位上的解码图像；以及预测图像生成单元，作为针对每个上述长方形区域生成上述对象块上的预测图像的预测图像生成单元，将与对象长方形区域的长边相向的解码图像上的长方形区域作为模板，在将与上述模板的与上述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域，由此生成对象长方形区域上的预测图像。
根据本发明涉及的上述图像编码装置，将与对象长方形区域的长边相向的解码图像上的长方形区域作为模板，在将与上述模板的与上述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域，由此能够生成上述对象长方形区域上的预测图像。
即，根据上述图像编码装置，通过一维扫描将上述长方形区域沿长边方向平行移动而得到的解码图像上的区域，搜索与上述模板的相关性最高的区域。因此，根据上述图像编码装置，与如专利文献1记载的技术那样进行二维扫描的情况相比，能够削减进行搜索时的计算量，因此具有能够高速地进行预测图像的生成的效果。
另外，上述图像编码装置针对每个上述长方形区域进行搜索，因此在对象图像包含曲率发生变化的边缘的情况下，也能够准确地进行预测图像的生成。即，在对象图像包含曲率发生变化的边缘的情况下，也取得编码效率较高的效果。
为了解决上述问题，本发明涉及的编码数据的数据结构的特征在于：该数据结构是将分割为多个块的对象图像针对每个块进行编码而得到的编码数据的数据结构，包括对从分割为长边之间相互邻接的多个长方形区域的对象块上的对象图像中减去预测图像而得到的预测残差，针对每个由从上述多个长方形区域中选择的一个以上长方形区域构成的量化单位进行量化而生成的编码数据，上述对象块上的预测图像针对每个上述长方形区域生成，各长方形区域上的预测图像通过以下方式生成：将与该长方形区域的长边相向的解码图像上的长方形区域作为模板，在将与上述模板的与该长方形区域相向的一侧的相反侧的长边相向的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域。
根据本发明涉及的上述编码数据的数据结构，在解码装置中，能够基于各长方形区域的预测图像与各量化单位的量化了的预测残差进行解码处理。因此，根据上述结构，具有能够实现解码效率较好的编码数据的数据结构的效果。
为了解决上述问题，本发明涉及的图像解码装置的特征在于：该装置是将分割为多个块的解码图像针对每个块进行生成的图像解码装置，包括：逆量化单元，作为对分割为长边之间相互邻接的多个长方形区域的对象块上的解码图像，针对每个由从上述多个长方形区域中选择的一个以上长方形区域构成的量化单位进行生成的逆量化单元，将对量化值进行逆量化而得到的预测残差与预测图像相加，由此生成对象量化单位上的解码图像；以及预测图像生成单元，作为针对每个上述长方形区域生成上述预测图像的预测图像生成单元，将与对象长方形区域的长边相向的解码图像上的长方形区域作为模板，在将与上述模板的与上述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域，由此生成上述对象长方形区域上的预测图像。
根据本发明涉及的上述图像解码装置，将与对象长方形区域的长边相向的解码图像上的长方形区域作为模板，在将与上述模板的与上述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域，由此能够生成上述对象长方形区域上的预测图像。
即，根据上述图像解码装置，通过一维扫描将上述长方形区域沿长边方向平行移动而得到的解码图像上的区域，搜索与上述模板的相关性最高的区域。因此，根据上述图像解码装置，与如专利文献1记载的技术那样进行二维扫描的情况相比，能够削减进行搜索时的计算量，因此具有能够高速地进行预测图像的生成的效果。
另外，上述图像解码装置针对每个上述长方形区域进行搜索，因此收到在对象图像包含曲率发生变化的边缘的情况下也能够准确地进行预测图像的生成的效果。
发明效果
按照上述方式，根据本发明，与通过二维搜索进行预测图像的生成的情况相比，能够高速地进行预测图像的生成。另外，在编码对象图像包含曲率发生变化的边缘等的情况下，也能够进行编码效率较高的编码。
附图说明
图1是表示本发明的第一实施方式涉及的MB编码部的结构的模块图。
图2是表示图1所示的MB编码部所包括的TM预测部的结构的模块图。
图3是用于说明图2所示的TM预测部的动作的图。(a)表示预测对象区域、模板、以及搜索区域的关系，(b)表示搜索区域与搜索候补的关系。
图4是表示对象宏块与预测单位的关系的图。(a)表示预测单位的大小为16像素×1像素的情况，(b)表示预测单位的大小为1像素×16像素的情况，(c)表示预测单位的大小为4像素×1像素的情况，(d)表示预测单位的大小为1像素×4像素的情况。
图5是表示图1所示的MB编码部中的编码数据生成的过程的流程图。
图6是用于说明本发明的效果的图。(a)表示在对象宏块中存在从上方向下方延伸的两条曲线边缘，越靠近MB下方则曲线边缘的曲率越大的情况，(b)表示通过方向预测进行了预测的情况下的预测图像，(c)表示进行以正方形区域为预测单位的帧内TM预测的情况，(d)表示以16×1像素为预测单位，使用图1所示的MB编码部进行编码的情况。
图7是表示包括图1所示的MB编码部的图像编码装置的结构的模块图。
图8是表示本发明的第一实施方式涉及的MB解码部的结构的模块图。
图9是表示图8所示的MB解码部中的解码处理的过程的流程图。
图10是表示包括图7所示的MB解码部的图像解码装置的结构的模块图。
图11是表示本发明的第二实施方式涉及的图像编码装置的结构的模块图。
图12是表示构成图11所示的图像编码装置的MB编码部的结构的模块图。
图13是表示由图11所示的图像编码装置生成的编码数据的比特流结构的图。
图14是表示本发明的第二实施方式涉及的图像解码装置的结构的模块图。
图15是表示构成图14所示的图像解码装置的MB解码部的结构的模块图。
图16是表示构成本发明的第三实施方式涉及的图像编码装置的MB编码部的结构的模块图。
图17是表示构成图16所示的MB编码部的TM预测部的结构的模块图。
图18是表示构成本发明的第三实施方式涉及的图像解码装置的MB解码部的结构的模块图。
图19是用于说明第三实施方式中的模板设定部以及搜索区域设定部的动作的图。
图20是表示图16所示的MB编码部中的编码数据生成的过程的流程图。
具体实施方式
(实施方式1)
参照图1～图10说明作为本发明涉及的图像编码装置以及图像解码装置的第一实施方式的图像编码装置100以及图像解码装置150。此外，在附图的说明中，对于具有相同功能的要素标注相同符号并省略说明。
此外，在以下的说明中，假定将图像分割为多个宏块(以下称为“MB”)，以光栅扫描(raster scan)的顺序对每个MB进行编码处理/解码处理的图像编码装置/图像解码装置。另外，假设将MB分割为多个预测单位，针对每个预测单位生成预测图像。将在某个时刻成为处理对象的预测单位称为预测对象区域。
1.1TM预测部105
首先，基于图2～图3说明作为图像编码装置100以及图像解码装置150的共同结构要素的TM预测部105。
图2是表示TM预测部105的结构的模块图。TM预测部105由搜索区域设定部101、模板设定部102、模板比较部103、以及预测图像生成部104构成。TM预测部105用于基于后述的预测单位信息#106、以及后述的帧存储器109中记录的解码图像#109执行模板匹配，基于模板匹配的结果生成预测图像#105。预测单位信息#106如后所述包括表示预测对象区域的形状与位置的信息。
此外，在以下的TM预测部105的说明中，预测单位信息#106除了表示预测对象区域的宽度(width)与高度(height)以外，还作为预测对象区域的位置，表示该预测对象区域的左上角的像素的坐标(以输入图像的左上角的像素为基准)。并且，将预测对象区域的宽度记为puw，预测对象区域的高度记为puh，预测对象区域的位置，即预测对象区域的左上角的像素的坐标记为(pux，puy)。puw、puh、pux、以及puy的单位均为“像素”。此外，关于本实施方式中的理想的预测单位的大小在后面进行描述，但在TM预测部105的说明中，无须特别地假定特定大小的预测单位。
模板设定部102
模板设定部102基于输入的预测单位信息#106设定与预测对象区域对应的模板，输出作为关于该模板的信息的模板信息#102。
更具体而言，模板设定部102在预测对象区域为横长的长方形的情况下，将与预测对象区域的上边邻接、宽度与预测对象区域的宽度相等、高度为1像素的区域设定为模板。即，在puw≥puh的情况下，将位于(pux，puy-1)的puw×1像素大小的区域设定为模板。另一方面，在预测对象区域为纵长的长方形的情况下，将与预测对象区域的左边邻接、高度与预测对象区域的高度相等、宽度为1像素的区域设定为模板。即，在puw＜puh的情况下，将位于(pux-1，puy)的1×puh大小的区域设定为模板。预测对象区域的大小为4×1像素的情况下的模板在图3的(a)中示出。图3的(a)是表示预测对象区域与对应的模板的图。此外，关于图3的(a)所示的搜索区域，在后面进行描述。
搜索区域设定部101
搜索区域设定部101基于输入的预测单位信息#106以及模板信息#102，设定与预测对象区域对应的搜索区域，输出作为关于该搜索区域的信息的搜索区域信息#101。
更具体而言，搜索区域设定部101在预测对象区域为横长的长方形的情况下，将作为以预测对象区域为基准的相对坐标(以像素为单位)位于(-α，-2)、宽度为(预测对象区域的宽度+2α)像素、高度为1像素的区域设定为搜索区域。换言之，在puw≥puh的情况下，将位于(pux-α，puy-2)的(puw+2α)×1像素大小的区域设定为搜索区域。此处，值α是表示搜索区域的宽阔程度的指定的参数(0以上)，例如使用α＝1。另一方面，在预测对象区域为纵长的长方形的情况下，将作为以预测对象区域为基准的相对坐标位于(-2，-α)、高度为(预测对象区域的高度+2α)像素、宽度为1像素的区域设定为搜索区域。换言之，在puw＜puh的情况下，将位于(pux-2，puy-α)的1像素×(puh+2α)像素大小的区域设定为搜索区域。预测对象区域的大小为4×1像素的情况下的搜索区域在图3的(a)中示出。
模板比较部103
模板比较部103基于模板信息#102、搜索区域信息#101、以及后述的帧存储器109中记录的解码图像#109执行模板匹配，据此导出预测图像生成用参数#103并输出。预测图像生成用参数#103是表示与预测对象区域近似的区域的位置的信息。例如，能够将搜索区域内的部分区域中的与模板上的解码图像最准确地近似的部分区域的位置(相对于模板的位置)用作预测图像生成用参数#103。在此情况下，能够通过如下过程S1～S3导出预测图像生成用参数#103。
(过程S1)首先，模板比较部103生成搜索候补的列表。此处，所谓搜索候补，是与模板重合的搜索区域内的部分区域。此处，各搜索候补能够由该搜索区域中分配的搜索索引确定。例如，如图3的(b)所示，在模板的大小为4×1像素，搜索区域的大小为8×1像素的情况下，根据相对于搜索区域左端的偏移值spos(0，1，2，3，4)设定5种搜索候补。在此情况下，能够将偏移值作为搜索索引进行利用。
(过程S2)接着，模板比较部103关于各搜索候补，计算表示模板上的解码图像与搜索候补上的解码图像的非类似度的评价值。作为此处使用的评价值，例如举出SAD(Sum of Absolute Difference，绝对误差和)、SSD(Sum of Squared Difference，误差平方和)等。
(过程S3)接着，模板比较部103确定过程S2中计算的非类似度最小的搜索候补(即与模板最好地近似的搜索候补)。并且，计算确定的搜索候补相对于模板的相对位置，作为表示计算出的位置的预测图像生成用参数#103输出。
此外，根据搜索候补的大小、MB内的预测单位的处理顺序不同，有时在搜索候补的一部分中不存在解码图像。在此情况下，代替搜索候补内不存在解码图像的各像素，利用与各像素最接近的存在解码图像的像素的拷贝。
搜索候补的设定方法的其他例子
在上述说明中，示出了模板比较部103中的搜索候补的设定方法的一例，但也可以用其他方法设定搜索候补。例如，通过削减搜索候补数，精度会下降，但能够用更少的处理量导出预测图像生成用参数#103。另一方面，也能够用比1像素更小的单位，例如0.5像素单位或0.25像素单位设定搜索候补在搜索区域内的位置。在此情况下，作为搜索候补中的解码图像的像素值，使用对整数位置的解码图像的像素值适用插值滤波器而得到的插值值。能够精细地调整搜索候补的位置，能够对更多搜索候补执行模板匹配。因此，虽然处理量增加，但可以提高能够检测出与模板上的解码图像更准确地近似的搜索候补的可能性。
预测图像生成部104
预测图像生成部104基于由模板比较部103导出的预测图像生成用参数#103、以及帧存储器109中记录的解码图像#109，生成与预测对象区域对应的预测图像#105并输出。
在预测图像生成用参数#103中包含的、与模板近似的搜索候补相对于模板的相对位置为(sx，sy)的情况下，预测图像的各像素值P(pux+i，puy+j)(i，j满足0≤i＜puw，0≤j＜puh)由下式导出。
P(pux+i，puy+j)＝Ir(pux+sx+i，puy+sy+j)
此处，Ir(x，y)表示解码图像的像素(x，y)的像素值。此外，在x或y为小数的情况下，使用通过对附近的解码图像的像素值适用插值滤波器而生成的插值后的像素值。
如以上所说明，在TM预测部105中，基于输入的预测单位信息#106、以及帧存储器109中记录的解码图像#109，生成与预测对象区域对应的预测图像#105并输出。
1.2MB编码部110
接着，参照图1、4～6说明作为结构要素包括TM预测部105的MB编码部110。该MB编码部110用于对与各MB对应的输入图像进行编码，以生成与该MB对应的编码数据，如后所述在图像编码装置100中被利用。
图1是表示MB编码部110的结构的模块图。MB编码部110由TM预测部105、预测单位分割部106、预测残差编码部107、解码图像生成部108、以及帧存储器109构成。
此外，以下将在某个时刻成为MB编码部110的处理对象的MB称为处理对象MB。
预测单位分割部106
预测单位分割部106将处理对象宏块分割为预先确定的指定单位(以下称为“预测单位”)，输出作为关于各预测单位的信息的预测单位信息#106。预测单位信息#106包含关于各预测单位的位置以及大小的信息。
另外，以下以处理对象宏块的大小为16像素×16像素的情况为例进行说明，但本发明不限于此，能够适用于一般的宏块的大小。
预测单位分割部106中的分割为预测单位的例子在图4的(a)～(d)中示出。在图4中，(a)表示预测单位的大小为16像素×1像素的情况，(b)表示预测单位的大小为1像素×16像素的情况，(c)表示预测单位的大小为4像素×1像素的情况，(d)表示预测单位的大小为1像素×4像素的情况。
如图4的(a)所示，在预测单位的大小为16像素×1像素的情况下，预测单位分割部106利用在横向上延伸的分割线将处理对象宏块分割为在纵向上排列的16个预测单位。另外，如图4的(b)所示，在预测单位的大小为1像素×16像素的情况下，预测单位分割部106利用在纵向上延伸的分割线将处理对象宏块分割为在横向上排列的16个预测单位。另外，如图4的(c)所示，在预测单位的大小为4像素×1像素的情况下，预测单位分割部106将处理对象宏块分割为纵向上16个、横向上4个、合计64个预测单位。另外，如图4的(d)所示，在预测单位的大小为1像素×4像素的情况下，预测单位分割部106将处理对象宏块分割为纵向上4个、横向上16个、合计64个预测单位。
另外，对各预测单位标注预测单位索引。如图4的(a)～(d)所示，预测单位索引是0以上的整数，以按照宏块内的光栅扫描顺序成为升序的方式标注。预测单位信息#106按照预测单位索引的升序依次输出。
预测残差编码部107
预测残差编码部107基于输入的与各预测单位对应的预测图像#105、预测单位信息#106、以及输入图像#113，生成并输出编码数据#110以及解码残差#107。编码数据#110以及解码残差#107由以下的过程S11～S15生成。
(过程S11)首先，预测残差编码部107基于输入的预测单位信息#106确定预测对象区域，生成预测对象区域中的输入图像#113与预测图像#105的差图像，即预测残差。
(过程S12)接着，预测残差编码部107对过程S11生成的预测残差，适用与预测单位的大小相同大小的频率变换(例如对16×1像素的预测单位适用16×1DCT(Discrete Cosine Transform，离散余弦变换)，生成预测残差的变换系数。换言之，预测残差编码部107对与预测单位相同大小的每个量化单位进行频率变换，生成预测残差的变换系数。此处，所谓频率变换，是指将图像的空间域表示变换为频域表示的正交变换。
(过程S13)接着，预测残差编码部107对过程S12生成的变换系数进行量化，以生成量化变换系数。
(过程S14)接着，预测残差编码部107对过程S13生成的量化变换系数适用CABAC或CAVLC等可变长编码方法以生成可变长码，将该可变长码作为编码数据#110输出。
(过程S15)另外，预测残差编码部107对过程S13生成的量化变换系数适用逆量化，随后适用过程S12适用的频率变换的逆变换(逆频率变换)，由此生成解码残差#107并输出。
此外，本发明并不限定于上述的过程。例如，也可以省略过程S12中的频率变换，在过程13中对预测残差进行直接量化。
解码图像生成部108
解码图像生成部108通过对输入的解码残差#107加上预测图像#105生成解码图像#108并输出。
帧存储器109
帧存储器109中记录输入的解码图像#108。在对特定的MB进行编码时，与按照光栅扫描顺序位于该MB前面的全部MB对应的解码图像存储在帧存储器109中。
MB编码处理
以下参照图5说明上述MB编码部110中的编码处理。图5是表示MB编码部110中的、对与处理对象MB对应的输入图像#113进行编码以生成编码数据#110的过程的流程图。
(过程S21)首先，输入到MB编码部110的与处理对象MB对应的输入图像#113被输入到预测单位分割部106以及预测残差编码部107。在预测单位分割部106中，输入图像#113被分割为指定大小的N个预测单位，对各预测单位标注取0以上N-1以下的范围中的整数值的预测单位索引(puid)。
(过程S22)接着，将解码图像的生成未完成的预测单位中puid最小的预测单位设定为预测对象区域。与预测对象区域对应的预测单位信息#106从预测单位分割部106向TM预测部105以及预测残差编码部107输入。
(过程S23)在TM预测部105中，基于过程S22中输入的预测单位信息#106，在帧存储器109中记录的解码图像#109上进行模板匹配。并且，基于模板匹配的结果生成与预测对象区域对应的预测图像#105，对预测残差编码部107以及解码图像生成部108输出。
(过程S24)在预测残差编码部107中，基于过程S23中生成的预测图像#105、过程S22中生成的预测单位信息#106、以及输入图像#113，生成并输出与预测对象区域对应的编码数据#110。
(过程S25)另外，在预测残差编码部107中，基于过程S23中生成的预测图像#105、过程S22中生成的预测单位信息#106、以及输入图像#113，生成与预测对象区域对应的解码残差#107，并对解码图像生成部108输出。在解码图像生成部108中，基于输入的解码残差#107与过程S23中输入的预测图像#105，生成与预测对象区域对应的解码图像#108，并记录到帧存储器109中。
(过程S26)若与处理对象MB内的全部预测单位对应的解码图像#108的生成已完成，则结束处理，若未完成，则进入过程S22的处理。
利用上述过程S21～S26，在MB编码部110中，根据与处理对象MB对应的输入图像#113，能够生成并输出与相同MB对应的编码数据#110。
MB编码部110中的编码的效果
在MB编码部110中对以MB为单位的输入图像#113进行了编码的情况下，能够以较高的预测精度生成对存在曲线边缘或多种方向的直线边缘的区域的预测图像#105。以下，参照图6详细地说明该效果。
此外，在以下的说明中，假定16×1像素的预测单位进行说明，但在使用宽度或高度为1像素的预测单位(例如8×1像素、4×1像素、1×16像素、1×8像素、1×4像素的预测单位)的情况下，也具有相同的效果。另外，对于与宽度相比高度极其小的预测单位(例如8×2像素、16×2像素的预测单位)、与高度相比宽度极其小的预测单位(例如2×8像素、2×16像素的预测单位)，也有基本相同的效果。
首先，如图6(a)所示，考虑在MB内存在从MB上方向下方延伸的两条曲线边缘，越靠近MB下方则曲线边缘的曲率越大的区域。
在利用称为方向预测的预测方法预测这种区域的情况下，假定图6(b)所示的虚线的方向，通过对与MB上边邻接的像素沿该方向进行外插，能够生成预测图像。但是，在方向预测中，存在着虽然在曲率较小的MB上方能够精度较好地与曲线边缘近似，但在MB下方精度降低的问题。
另外，在进行以正方形区域为预测单位的帧内TM预测的情况下，如图6(c)所示，存在着即使从存在解码图像的区域中搜索与MB下方的曲率较大的曲线边缘相应的区域，也无法检测出曲率一致的曲线边缘的问题。
另一方面，在使用MB编码部110进行编码的情况下会有如下情形。图6(d)是表示以16×1像素为预测单位，利用MB编码部110进行编码的情况下的编码处理的图。
首先，将MB内位于最上部的16×1像素的预测单位设定为预测对象区域，在该区域的1像素上方设定16×1像素的模板，进而在模板的1像素上方设定搜索区域。通过在该条件下执行模板匹配，检测出预测对象区域中的边缘位置与预测对象区域的1像素上方中的边缘位置的错位(包含在由图2的模板比较部103导出的预测图像生成用参数#103中)，基于该错位生成预测对象区域的预测图像#105。随后，如上所述，预测对象区域的解码图像#108被生成并记录到帧存储器109中。
接着，将预测对象区域移动至1像素下方的预测单位，同样生成预测图像#105以及解码图像#108，以后同样地将预测对象区域每次向下移动1像素，反复进行预测图像#105以及解码图像#108的生成。
此处，在将任一预测单位设定为预测对象区域并生成预测图像的情况下，始终通过检测预测对象区域中的边缘位置与该区域的1像素上方中的边缘位置的错位，进行上述预测图像#105的生成。
因此，即使是如图6(a)所示的在MB内曲率发生变化的曲线边缘，也能够检测出预测对象区域与1像素上方的区域中的边缘位置的错位，即曲线边缘的曲率，并生成预测图像。
因此，通过使用MB编码部110，在存在曲率在MB内发生变化的曲线边缘的区域中，也能够生成精度较高的预测图像#105。因此，能够以较高的编码效率对这种区域进行编码。同样，对于直线边缘，也能够通过检测预测对象区域与1像素上方的区域中的边缘位置的错位，检测直线的倾斜并生成预测图像。因此，通过使用MB编码部110，对于存在具有多种倾斜的直线边缘的区域，能够以较高的编码效率进行编码。
预测单位信息#106的输出顺序的其他例子
在上述说明中，作为预测单位分割部106按照预测单位索引的升序依次输出预测单位信息#106进行了说明，但本发明不限于此。即，预测单位分割部106中的预测单位信息#106的输出顺序可以不必是预测单位索引的升序。
例如，在预测单位是横长的长方形的情况下，采用越是与MB的上边接近的预测单位越先得到处理的顺序是较为理想的。通过这样做，在TM预测部中的TM执行时模板以及搜索区域上的解码图像存在，因而能够提高预测图像的精度。基于同样的理由，在预测单位是纵长的长方形的情况下，采用越是与MB的左边接近的预测单位越先得到处理的顺序是较为理想的。
1.3图像编码装置100
接着，参照图7说明作为结构要素包括MB编码部110的图像编码装置100。图7是表示本发明涉及的图像编码装置100的结构的模块图。
如图7所示，图像编码装置100包括MB编码部110、头部信息决定部111、头部信息编码部112、MB设定部113、以及可变长码复用部114。
输入图像#100被输入到图像编码装置100中。图像编码装置100进行输入图像#100的编码处理，输出编码数据#180。
头部信息决定部111基于输入图像#100决定头部信息。决定的头部信息作为头部信息#111输出。头部信息#111中包含输入图像#100的图像大小。头部信息#111被输入MB设定部113，并且被输入头部信息编码部112。
头部信息编码部112对头部信息#111进行编码，输出已编码的头部信息#112。已编码的头部信息#112被输入到可变长码复用部114。
MB设定部113基于输入图像#100与头部信息#111，将输入图像#100分割为多个宏块。MB设定部113针对每个宏块将输入图像#100输入到MB编码部110。
MB编码部110对依次输入的1个宏块的输入图像#113进行编码，生成MB编码数据#110。生成的MB编码数据#110被输入到可变长码复用部114。
可变长码复用部114对已编码的头部信息#112与MB编码数据#110进行复用，生成编码数据#180并输出。
此外，为了与复用了已编码的头部信息#112的编码数据#180相区别，此处将由MB编码部110生成的编码数据#110(即复用已编码的头部信息#112之前的编码数据#110)称为“MB编码数据”。
1.4MB解码部153
接着，参照图8～9说明MB解码部153，该MB解码部153接收由MB编码部110生成的以MB为单位的编码数据#110，输出以MB为单位的解码图像#190。
图8是表示MB解码部153的结构的模块图。MB解码部153由TM预测部105、解码图像生成部108、帧存储器109、预测单位设定部151、以及预测残差解码部152构成。
预测单位设定部151在输入以MB为单位的编码数据#110时起动，以指定的顺序依次输出表示MB内的预测单位的位置、大小的预测单位信息#151。此外，将MB分割为预测单位的方法能够适用与MB编码部110内的预测单位分割部106(参照图1)中适用的分割方法相同的方法。另外，输出预测单位信息#151的顺序也能够使用与预测单位分割部106中适用的顺序相同的顺序。
预测残差解码部152对输入的以MB为单位的编码数据#110适用可变长码解码，生成与表示输入的预测单位信息#151的预测单位对应的变换系数。接着，对于生成的变换系数，适用与预测单位信息#151所表示的预测单位的大小相同大小的逆DCT变换(DCT的逆变换)，由此生成解码残差#152并输出。
MB解码部153中的解码处理
参照图9说明在以上说明的MB解码部153中，对与特定的MB对应的编码数据#110进行解码以生成解码图像#190的处理过程。图9是表示MB解码部153中的解码处理的过程的流程图。
(过程S31)首先，输入到MB解码部153的与处理对象MB对应的编码数据#110被输入到预测单位设定部151以及预测残差解码部152。在预测单位设定部151中，处理对象MB被分割为指定大小的N个预测单位，对各预测单位标注取1～N的范围中的整数值的预测单位索引(puid)。
(过程S32)接着，在预测单位设定部151中，将解码图像的生成未完成的预测单位中puid最小的预测单位设定为预测对象区域。与预测对象区域对应的预测单位信息#151向TM预测部105以及预测残差解码部152输入。
(过程S33)接着，在TM预测部105中，基于过程S32中生成的预测单位信息#151，在帧存储器109中记录的解码图像#109上进行模板匹配。并且，基于模板匹配的结果生成与预测对象区域对应的预测图像#105，并对解码图像生成部108输出。
(过程S34)另外，在预测残差解码部152中，基于过程S32中生成的预测单位信息#151与编码数据#110，生成与预测对象区域对应的解码残差#152，并对解码图像生成部108输出。
(过程S35)在解码图像生成部108中，基于过程S33中输入的预测图像#105、以及过程S34中生成的解码残差#152，生成与预测对象区域对应的解码图像#190。解码图像#190对MB解码部153的外部输出，并且记录到帧存储器109中。
(过程S36)若与处理对象MB内的全部预测单位对应的解码图像#190的生成已完成，则结束处理，若未完成，则进入过程S32的处理。
利用上述过程，在MB解码部153中，根据与处理对象MB对应的编码数据#110，能够生成与相同的MB对应的解码图像#190。
1.5图像解码装置150
接着，参照图10说明作为结构要素包括上述MB解码部153的图像解码装置150。图像解码装置150将上述图像编码装置100生成的编码数据#180作为输入，生成解码图像#190并输出。
图10是表示图像解码装置150的结构的模块图。如图10所示，图像解码装置150由MB解码部153、可变长码逆复用部154、头部信息解码部155、以及MB设定部156构成。
输入到图像解码装置150的编码数据#180被输入到可变长码逆复用部154。可变长码逆复用部154对输入的编码数据#180进行逆复用，分离为作为与头部信息有关的编码数据的头部编码数据#154a、以及作为与宏块有关的编码数据的MB编码数据#154b，并将头部编码数据#154a输出到头部信息解码部155，将MB编码数据#154b输出到MB设定部156。
在头部信息解码部155中，从头部编码数据#154a中解码头部信息#155。此处，头部信息#155是包含输入图像的大小的信息。
在MB设定部156中，基于输入的头部信息#155，将MB编码数据#154b分离为与各个MB对应的编码数据#156，对MB解码部153依次输出。
MB解码部153对输入的与各个MB对应的编码数据#156依次进行解码，生成与各个MB对应的解码图像#190并输出。在对于图像内的全部MB，由MB解码部153进行的以MB为单位的解码图像生成处理结束的时刻，与输入到图像解码装置150的编码数据对应的解码图像#190的生成处理完成。
1.6总结
如上所述，本发明涉及的图像编码装置100是将分割为多个块的对象图像针对每个块(MB)进行编码的图像编码装置，包括：量化单元(预测残差编码部107)，作为对分割为长边之间相互邻接的多个长方形区域(预测单位)的对象块(对象MB)上的对象图像，针对每个由一个以上长方形区域(预测单位)构成的连续的量化单位进行量化的量化单元，对从对象量化单位上的对象图像中减去预测图像而得到的预测残差进行量化；逆量化单元(预测残差编码部107)，作为针对每个上述量化单位生成上述对象块(对象MB)上的解码图像的逆量化单元，将对上述量化单元生成的量化值进行逆量化而得到的预测残差与上述预测图像相加，由此生成上述对象量化单位上的解码图像；以及预测图像生成单元(TM预测部105)，作为针对每个上述长方形区域(预测单位)生成上述预测图像的预测图像生成单元，将与对象长方形区域的长边相向的解码图像上的长方形区域作为模板，在将与上述模板的与上述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域，由此生成上述对象长方形区域上的预测图像。
根据上述图像编码装置，通过一维扫描将上述长方形区域沿长边方向平行移动而得到的解码图像上的区域，搜索与上述模板的相关性最高的区域。因此，根据上述图像编码装置，与如专利文献1记载的技术那样进行二维扫描的情况相比，能够削减进行搜索时的计算量，因此能够高速地进行预测图像的生成。
另外，上述图像解码装置针对每个上述长方形区域进行搜索，因此与专利文献1记载的技术相比，在对象图像包含曲率发生变化的边缘的情况下，也能够准确地进行预测图像的生成。即，在对象图像包含曲率发生变化的边缘的情况下，编码效率也较高。
另外，如上所述，本发明涉及的图像解码装置150是将分割为多个块(MB)的解码图像针对每个块进行生成的图像解码装置，包括：逆量化单元(预测残差解码部152)，作为对分割为长边之间相互邻接的多个长方形区域的对象块(对象MB)上的对象图像，针对每个由一个以上长方形区域(预测单位)构成的连续的量化单位进行生成的逆量化单元，将对量化值进行逆量化而得到的预测残差与预测图像相加，由此生成对象量化单位上的解码图像；以及预测图像生成单元(TM预测部105)，作为针对每个上述长方形区域生成上述预测图像的预测图像生成单元，将与对象长方形区域的长边相向的解码图像上的长方形区域作为模板，在将与上述模板的与上述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域，由此生成上述对象长方形区域上的预测图像。
因此，根据图像解码装置150，能够高速地进行预测图像的生成。另外，上述图像解码装置针对每个上述长方形区域进行搜索，因此收到在对象图像包含曲率发生变化的边缘的情况下也能够准确地进行预测图像的生成的效果。
(实施方式2)
以下参照图11～图15说明作为本发明涉及的图像编码装置以及图像解码装置的第二实施方式的图像编码装置300以及图像解码装置350。此外，对与已经说明的结构相同的部分标注相同的符号，并省略说明。
2.1图像编码装置300
基于图11～13说明本实施方式涉及的图像编码装置300如下。
图11是表示本发明涉及的图像编码装置300的结构的模块图。如图11所示，图像编码装置300包括头部信息决定部111、头部信息编码部112、MB设定部113、可变长码复用部114、以及MB编码部205。
关于头部信息决定部111、头部信息编码部112、MB设定部113、以及可变长码复用部114已经进行了说明，以下对MB编码部205进行说明。
2.1.1MB编码部205
对于图11所示的图像编码装置300所包括的MB编码部205，参照图12进行说明。该MB编码部205用于基于从MB设定部113输出的、与处理对象MB对应的输入图像#113，生成编码数据#205并输出。
图12是表示MB编码部205的结构的模块图。如图12所示，MB编码部205由预测单位结构比较部201、预测单位分割部202、TM预测部105、预测残差编码部107、解码图像生成部108、帧存储器109、辅助信息编码部203、以及MB编码数据复用部204构成。
关于TM预测部105、预测残差编码部107、解码图像生成部108、以及帧存储器109已经进行了说明，以下对预测单位结构比较部201、预测单位分割部202、辅助信息编码部203、以及MB编码数据复用部204进行说明。
预测单位结构比较部201
预测单位结构比较部201分析与处理对象MB对应的输入图像#113，从预先确定的预测单位集所包含的预测单位中，选择适合于该MB的预测单位。另外，预测单位结构比较部201输出作为表示所选择的预测单位的结构的信息的预测单位结构信息#201。
以下，以上述预先确定的预测单位集中包括16×1像素的预测单位与1×16像素的预测单位的情况为例进行说明，但本发明并不限定于此，作为预测单位集的组合可以考虑其他各种组合。此外，较为理想的是，上述预先确定的预测单位集中包括纵长长方形的预测单位与横长长方形的预测单位。
另外，通过将纵长长方形作为预测单位，将预测单位上方的像素用于预测，能够精度较好地进行具有与铅直方向的直线接近的方向性的边缘的预测。另一方面，通过将横长长方形作为预测单位，将预测单位左方的像素用于预测，能够精度较好地进行具有与水平方向的直线接近的方向性的边缘的预测。
因此，通过在预测单位集中包括纵长长方形的预测单位以及横长长方形的预测单位这两者，在输入图像#113中的边缘与铅直与水平中的任一者接近的情况下，都能够进行精度较高的预测。
另外，预测单位结构比较部201在预测单位集所包括的预测单位中，选择编码效率较高的预测单位。
例如，预测单位结构比较部201根据率失真(rate-distortion)判定的结果选择预测单位。即，预测单位结构比较部201对于上述预先确定的预测单位集所包括的各预测单位，计算使用各预测单位对处理对象MB的输入图像#113进行了编码时的码量R与变形D(处理对象上的输入图像与解码图像的SSD)，以计算评价值RD＝R+Dλ，根据该结果，在各预测单位中选择某一个预测单位。更具体而言，选择上述评价值RD较小的预测单位。
另外，表示所选择的预测单位的结构的预测单位结构信息#201对预测单位分割部202以及辅助信息编码部203输出。
此外，预测单位结构比较部201也可以通过分析边缘的方向性来选择预测单位，还可以通过其他方法来选择预测单位。
预测单位分割部202
预测单位分割部202将与处理对象MB对应的输入图像#113分割为由预测单位结构信息#201确定的指定的预测单位。另外，预测单位分割部106输出作为关于各预测单位的信息的预测单位信息#106。如上所述，预测单位信息#106包含关于各预测单位的位置以及大小的信息。
另外，如使用图4(a)～(d)已经说明的那样，对各预测单位标注预测单位索引。
辅助信息编码部203
辅助信息编码部203基于预测单位结构信息#201生成辅助信息#203。生成的辅助信息#203对MB编码数据复用部204输出。
例如，在预测单位集由16×1像素以及1×16像素的两个预测单位构成的情况下，辅助信息编码部203在由预测单位结构信息#201表示的预测单位为16×1像素的情况下生成比特串0，在由预测单位结构信息#201表示的预测单位为1×16像素的情况下生成比特串1。
另外，在预测单位集由16×1像素、1×16像素、4×1像素、以及1×4像素的四个预测单位构成的情况下，辅助信息编码部203在由预测单位结构信息#201表示的预测单位为16×1像素的情况下作为辅助信息#203生成比特串00，在由预测单位结构信息#201表示的预测单位为1×16像素的情况下生成比特串10，在由预测单位结构信息#201表示的预测单位为8×1像素的情况下生成比特串01，在由预测单位结构信息#201表示的预测单位为1×8像素的情况下生成比特串11。此处，上述比特串的高位是表示预测单位的长边方向的信息，上述比特串的低位是表示预测单位的大小的信息。通过以此方式分为与预测单位的方向有关的信息(方向信息)和与预测单位的大小有关的信息(大小信息)而进行编码，比特串中表示方向信息的位容易连续发生相同的码元，因而能够进行效率更好的编码处理。例如，通过汇集表示方向信息的位的比特以构成新的比特串，并对该比特串适用霍夫曼编码或算术编码，能够利用码元的发生概率的不均衡来削减该比特串的比特数。
MB编码数据复用部204
MB编码数据复用部204基于从预测残差编码部107输出的编码数据#110、以及从辅助信息编码部203输出的辅助信息#203，生成并输出编码数据#205。
图13是表示编码数据#205的比特流结构的图。如图13所示，编码数据#205包括表示在预测单位集中选择了哪一种预测单位的辅助信息#203、以及编码数据#110。
MB编码部205中的编码处理的效果
通过使用上述MB编码部205，提高对以MB为单位的输入图像#113进行编码时的编码效率。
更具体而言，能够通过预测单位结构比较部201，从预测单位集所包括的多个预测单位中，选择最适合于输入图像#113的局部特性的预测单位，即编码效率最高的预测单位，使用该预测单位进行输入图像#113的编码，因而具有提高编码效率的效果。
另外，预测单位集包括纵长的预测单位与横长的预测单位，据此能够高效地进行各种特性的输入图像#113的编码。
如上所述，通过使用MB编码部205，能够进行编码效率更高的编码。
2.2图像解码装置350
接着，参照图14以及图15说明本实施方式涉及的图像解码装置350。图像解码装置350接收编码数据#181，生成并输出解码图像#254。
图14是表示图像解码装置350的结构的模块图。如图14所示，图像解码装置350包括可变长码逆复用部154、头部信息解码部155、MB设定部156、以及MB解码部254。
关于可变长码逆复用部154、头部信息解码部155、以及MB设定部156已经进行了说明，以下对MB解码部254进行说明。
2.2.1MB解码部254
对于图14所示的图像解码装置350所包括的MB解码部254，参照图15进行说明。该MB解码部254用于对从MB设定部156输出的、与各个MB对应的编码数据#156依次进行解码，据此生成与各个MB对应的解码图像#254并输出。
图15是表示MB解码部254的结构的模块图。如图15所示，MB解码部254由MB编码数据逆复用部251、辅助信息解码部253、预测单位设定部252、预测残差解码部152、TM预测部105、解码图像生成部108、以及帧存储器109构成。
对预测残差解码部152、TM预测部105、解码图像生成部108、以及帧存储器109已经进行了说明，因而以下对MB编码数据逆复用部251、辅助信息解码部253、以及预测单位设定部252进行说明。
MB编码数据逆复用部251
MB编码数据逆复用部251通过对编码数据#156进行逆复用，分离为辅助信息#251b以及以MB为单位的编码数据#251a。辅助信息#251b对辅助信息解码部253输出，以MB为单位的编码数据#251a对预测单位设定部252以及预测残差解码部152输出。此外，辅助信息#251b是与上述辅助信息#203对应的信息。
辅助信息解码部253
辅助信息解码部253对辅助信息#251b进行解码，生成预测单位结构信息#253。此外，预测单位结构信息#253是与预测单位结构信息#201对应的信息。
预测单位设定部252
预测单位设定部252基于以MB为单位的编码数据#251a以及预测单位结构信息#253，生成表示MB内的预测单位的位置、大小的预测单位信息#252，并以指定的顺序依次输出。
MB解码部254中的解码的效果
通过使用以上述方式构成的MB解码部254，能够使用辅助信息中包含的最适合的预测单位即编码效率最高的预测单位进行解码处理，因而具有提高解码效率的效果。
如上所述，本实施方式涉及的图像编码装置300除了实施方式1涉及的图像编码装置100的结构以外，还包括分割单元(预测单位结构比较部201)，作为将多个块(MB)的每个分割为长边之间相互邻接的多个长方形区域(预测单位)的分割单元，针对每个块切换上述多个长方形区域的长边方向。
另外，如上所述，本实施方式涉及的图像编码装置300还包括标记编码单元(辅助信息编码部203)，对于上述多个块(MB)的每个，对表示上述多个长方形区域(预测单位)的长边方向的标记(预测单位结构信息#201)进行编码。
因此，能够生成解码装置通过参照该标记能够解码的、编码效率较高的编码数据。
(实施方式3)
以下参照图16～图20说明本发明涉及的图像编码装置以及图像解码装置的第三实施方式。此外，对与已经说明的结构相同的部分标注相同的符号，并省略说明。
3.1MB编码部309
对于本发明涉及的图像编码装置所包括的MB编码部309，参照图16进行说明。本发明涉及的图像编码装置代替上述图像编码装置100中的MB编码部110，包括MB编码部309。
图16是表示第三实施方式涉及的图像编码装置所包括的MB编码部309的结构的模块图。如图16所示，MB编码部309包括量化单位分割部306、预测单位分割部106、TM预测部305、帧存储器109、预测残差编码部307、以及解码图像生成部308。
MB编码部309接收以MB为单位的输入图像#113，输出编码数据#309。
量化单位分割部306将输入图像#113分割为多个量化单位。此处，量化单位的大小取得比预测单位的大小大。另外，关于各量化单位的大小的信息作为量化单位信息#306输出。
TM预测部305接收从量化单位分割部306输出的量化单位信息#306、以及从预测单位分割部106输出的预测单位信息#106，输出预测图像#305。关于TM预测部305的详细情况，代替参照的附图在后面进行描述。
预测残差编码部307基于预测图像#305、量化单位信息#306、预测单位信息#106、以及输入图像#113，生成并输出编码数据#309以及解码残差#307。
解码图像生成部308通过对输入的解码残差#307加上预测图像#305生成解码图像#308并输出。输出的解码图像#308被存储到帧存储器109中。
3.1.1TM预测部305
接着，对于图16所示的MB编码部309所包括的TM预测部305，参照图17以及图19更详细地进行说明。
图17是表示TM预测部305的结构的模块图。如图17所示，TM预测部305包括搜索区域设定部301、模板设定部302、模板比较部303、以及预测图像生成部304。
模板设定部302基于量化单位信息#306以及预测单位信息#106设定与预测对象区域对应的模板，输出作为关于该模板的信息的模板信息#302。
搜索区域设定部301基于量化单位信息#306以及预测单位信息#106，设定与预测对象区域对应的搜索区域，输出作为关于该搜索区域的信息的搜索区域信息#301。
图19是用于说明模板设定部302以及搜索区域设定部301的动作的图。如图19所示，上述模板设定在包含上述预测对象区域的量化单位的外侧。
另外，如图19所示，较为理想的是，从存在于包含上述预测对象区域的变换区域以外的区域中的、与上述预测对象区域最近的区域中选择上述模板。另外，如图19所示，较为理想的是，在与上述模板相距同上述预测对象区域与上述模板之间的距离相同的距离的区域中设定上述搜索区域。另外，较为理想的是，在上述距离较大的情况下，根据该情况将上述搜索区域的范围取得较大。
模板比较部303基于模板信息#302、搜索区域信息#301、以及解码图像#109执行模板匹配，据此导出预测图像生成用参数#303并输出。更具体而言，模板比较部301从由搜索区域信息#301表示的搜索区域中求出与由模板信息#302表示的模板最近似的搜索候补，计算该搜索候补相对于该模板的相对位置(位移)。另外，作为预测图像生成用参数#303输出，该预测图像生成用参数#303是表示该相对位置的信息。
预测图像生成部304基于由模板比较部303导出的预测图像生成用参数#303、以及帧存储器109中记录的解码图像#109，生成与预测对象区域对应的预测图像#305并输出。具体而言，预测图像生成部304对预测对象区域的各像素，分配位于以预测图像生成用参数#303表示的位移量进行了错位的位置的解码图像的各像素。
3.2MB解码部353
对于本发明涉及的图像解码装置所包括的MB解码部353，参照图18进行说明。本发明涉及的图像解码装置代替上述图像解码装置150中的MB解码部153，包括MB解码部353。该MB解码部353用于接收编码数据#156，生成并输出解码图像#254。
图18是表示MB解码部353的结构的模块图。MB解码部353由TM预测部305、解码图像生成部308、帧存储器109、预测单位设定部151、量化单位设定部351、以及预测残差解码部352构成。
量化单位设定部351按照指定的顺序依次输出表示MB内的量化单位的位置、大小的量化单位信息#351。
预测残差解码部352对输入的编码数据#156适用可变长码解码，以生成变换系数。接着，对于生成的变换系数，适用与量化单位信息#351所表示的量化单位的大小相同大小的逆DCT变换(DCT的逆变换)，由此生成解码残差#352并输出。
另外，MB解码部353中的解码图像生成部308通过对输入的解码残差#352加上预测图像#305生成解码图像#254并输出。
3.3MB编码部309中的MB编码处理
以下参照图20说明上述MB编码部309中的编码处理。图20是表示MB编码部309中的、对与处理对象MB对应的输入图像#113进行编码以生成编码数据#110的过程的流程图。
(过程S41)首先，输入到MB编码部309的与处理对象MB对应的输入图像#113被输入到量化单位分割部306、预测单位分割部106、以及预测残差编码部307。在量化单位分割部306中，输入图像#113被分割为指定大小的M个量化单位，对各量化单位标注取0以上M-1以下的范围中的整数值的量化单位索引(tuid)。
(过程S42)接着，在预测单位分割部106中，输入图像#113被分割为指定大小的N个预测单位，对各预测单位标注取0以上N-1以下的范围中的整数值的预测单位索引(puid)。
(过程S43)接着，将解码图像的生成未完成的预测单位中puid最小的预测单位设定为预测对象区域。另外，包含该预测对象区域的量化单位被设定为变换对象区域。另外，与预测对象区域对应的预测单位信息#106从预测单位分割部106向TM预测部305输入，与变换对象区域对应的量化单位信息#306从量化单位分割部306向TM预测部305输入。
(过程S44)接着，在TM预测部305中，基于预测单位信息#106以及量化单位信息#306，在帧存储器109中记录的解码图像#109上进行模板匹配。并且，基于其结果生成与预测对象区域对应的预测图像#305。预测图像#305对预测残差编码部307以及解码图像生成部308输出。
(过程S45)另外，MB编码部309对变换对象区域内的全部预测单位进行是否生成了预测图像#305的判定。
(过程S46)在变换对象区域内的全部预测单位已生成了预测图像#305的情况下(过程S45的“是”)，预测残差编码部307生成变换对象区域的解码残差#307。
(过程S47)接收了过程S46中生成的解码残差#307的解码图像生成部308生成变换对象区域的解码图像#308。
(过程S48)在变换对象区域中包含未生成预测图像#350的预测单位的情况下(过程S45的“否”)，或者在过程S47中生成了解码图像#308的情况下，MB编码部309进行处理对象MB内的全部预测单位是否已完成解码的判定。在处理对象MB内的全部预测单位已完成解码的情况下，结束该处理对象MB的编码处理(过程S48的“是”)，在处理对象MB内包含未解码的预测单位的情况下(过程S48的“否”)，进行过程S43的处理。
利用上述过程S41～S48，在MB编码部309中，根据与处理对象MB对应的输入图像#113，能够生成并输出与相同MB对应的编码数据#309。
此外，在本实施方式中，量化单位的大小与预测单位的大小相同，或者比预测单位的大小大。即，上述量化单位的数目M在上述预测单位的数目N以上，上述量化单位包含一个或多个上述预测单位。
3.4MB编码部309中的编码的效果
通过使用上述MB编码部309，提高对以MB为单位的输入图像#113进行编码的编码效率。另外，通过使用MB编码部309，削减编码处理的处理时间。
更具体而言，通过使用MB编码部309，能够针对包含单一的预测单位的量化单位进行频率变换以及量化，因而具有除去预测单位的短边方向的相关性，提高编码效率的效果。
另外，通过使用MB编码部309，还能够针对包含多个预测单位的量化单位进行频率变换以及量化。即，能够并行地执行关于同一量化单位中包含的多个预测单位的预测图像#305的生成，因而具有处理速度提高的效果。另外，通过以此方式进行并行处理，具有处理负担减少的效果。
3.5总结
如上所述，在本实施方式中，其特征在于，上述量化单位由两个以上长方形区域(预测单位)构成，上述预测图像生成单元(TM预测部305)将与对象长方形区域的长边相向的解码图像上的长方形区域中的、与上述对象长方形区域最接近的长方形区域作为模板，在将作为与上述模板的与上述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域，且与上述模板的间隔等于上述对象长方形区域与上述模板的间隔的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域。
根据上述结构，上述量化单位由两个以上长方形区域，即两个以上预测单位构成。此外，量化单位中包含的各预测单位的预测图像能够在不参照相同量化单位上的解码图像的情况下生成。即，根据上述结构，能够并行处理各量化单位包含的多个预测单位。因此，根据上述结构，能够削减编码处理的处理时间。
另外，较为理想的是，上述量化单位包含长边相向的两个以上的长方形区域，上述量化单元(预测残差编码部107)按照上述量化单位进行频率变换，上述逆量化单元(预测残差编码部107)按照上述量化单位进行上述频率变换的逆变换即逆频率变换，上述预测图像生成单元(TM预测部305)将与对象长方形区域的长边相向的解码图像上的长方形区域中的、与上述对象长方形区域最接近的长方形区域作为模板，在将作为与上述模板的与上述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域，且与上述模板的间隔等于上述对象长方形区域与上述模板的间隔的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域。
根据上述结构，上述量化单位由长边相向的两个以上的长方形区域，即长边相向的两个以上的预测单位构成。此外，量化单位中包含的各预测单位的预测图像能够在不参照相同量化单位上的解码图像的情况下生成。据此，能够按照量化单位适用频率变换，因而除去预测单位的短边方向的相关性，进一步提高编码效率。
4.补充事项
补充事项1
本发明并不限定于上述实施方式。
例如，实施方式1中的TM预测部105在模板的DC值与位于模板上方的搜索候补的DC值的差较小时，可以将作为预测单位的1像素上方的区域，且与该预测单位相同形状的区域的DC值设定为该预测单位的各像素的预测值(以下称为“平坦预测”)。
更具体而言，TM预测部105执行如下过程。
(过程SA1)首先，计算模板上的解码图像的DC值与搜索候补上的解码图像的DC值的差ΔDC。
(过程SA2)使用ΔDC，利用Ev＝ΔDC×ΔDC×(模板的像素数)，计算评价指标Ev。
(过程SA3)在评价指数Ev比模板比较部103中计算的全部非类似度(SSD)小的情况下，选择平坦预测。
(过程SA4)在选择了平坦预测的情况下，使预测对象区域的各像素的值为模板的DC值。
实施方式2以及3基本上也是同样。
通过使用上述平坦预测，能够在维持较高的编码效率的同时削减编码处理的处理量。另外，上述平坦预测在边缘部分与平坦部分共存的MB中，特别是在对MB的平坦部分的编码中是有效的。
补充事项2
另外，本发明涉及的图像编码装置也可以将处理对象MB分割为多个子块，针对每个子块，选择是使用基于上述模板匹配的预测，还是使用H.264/AVC中的帧内预测等方向预测。
通过进行上述选择，能够根据处理对象MB所具有的局部特性使用适当的预测方式进行编码，因此能够提高编码效率。
补充事项3
另外，本发明涉及的图像编码装置可以在对量化了的变换系数进行编码之前，在预测单位的短边方向上以指定长度进行可逆变换。
更具体而言，本发明涉及的图像解码装置可以通过以下过程进行编码。
(过程SA21)首先，导出全部预测单位的量化了的变换系数。
(过程SA22)接着，对于由与处理对象MB内的各预测单位中的相同频率成分对应的量化了的变换系数构成的变换系数群，进行可逆变换。
(过程SA23)接着，对在过程SA22中进行了可逆变换的值进行可变长编码。
通过进行上述编码，能够进行利用了预测残差中的预测单位的短波方向的相关性的编码，因而能够进行效率更好的编码。
补充事项4
另外，本发明涉及的图像解码装置也可以基于模板上的解码图像的特性，切换预测单位以及预测方法。
例如，本发明涉及的图像解码装置可以通过使用模板上的解码图像的各像素的像素值的分散等指标，判定模板上是否存在边缘，在存在边缘的情况下，选择4×1像素的预测单位，以该大小进行DCT，在不存在边缘的情况下，选择16×1像素的预测单位，以该大小进行DCT。
一般而言，在不存在边缘的情况下，通过以较大范围进行DCT能够提高编码效率，因而通过采用上述结构，能够在不增加辅助信息的情况下选择适当的预测单位。
另外，本发明涉及的图像解码装置也可以在模板上的解码图像的各像素的像素值的分散较小的情况下，使用上述平坦预测。
一般而言，在处理对象MB中的边缘部分与平坦部分中，平坦部分的各像素的像素值的分散较小。另外，对于平坦部分，通过使用上述平坦预测能够削减编码处理的处理量。
因此，通过采用上述结构，能够在维持较高的编码效率的同时削减编码所需的处理量。
本发明并不限定于上述各实施方式，在权利要求表示的范围内能够进行各种变形，适当组合不同实施方式中分别公开的技术手段而得到的实施方式也包含在本发明的技术范围内。
(附记事项)
例如，本发明还能够以如下方式表现。
1、一种图像编码装置，其特征在于，该装置是将分割为多个块的对象图像针对每个块进行编码的图像编码装置，包括：量化单元，对从分割为长边之间相互邻接的多个长方形区域的对象块上的对象图像中减去预测图像而得到的预测残差，针对每个由一个以上长方形区域构成的连续的量化单位进行量化；逆量化单元，作为针对每个上述量化单位生成上述对象块上的解码图像的逆量化单元，将对上述量化单元生成的量化值进行逆量化而得到的预测残差与上述预测图像相加，由此生成对象量化单位上的解码图像；以及预测图像生成单元，作为针对每个上述长方形区域生成上述对象块上的预测图像的预测图像生成单元，将与对象长方形区域的长边相向的解码图像上的长方形区域作为模板，在将与上述模板的与上述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域，由此生成对象长方形区域上的预测图像。
2、根据项1所述的图像编码装置，其特征在于：上述量化单位由单一的长方形区域构成，上述预测图像生成单元将与对象长方形区域的长边邻接的解码图像上的长方形区域作为模板，在将与该模板的长边邻接的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域。
3、根据项1所述的图像编码装置，其特征在于，上述量化单位由两个以上长方形区域构成，上述预测图像生成单元将与对象长方形区域的长边相向的解码图像上的长方形区域中的、与上述对象长方形区域最接近的长方形区域作为模板，在将作为与上述模板的与上述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域，且与上述模板的间隔等于上述对象长方形区域与上述模板的间隔的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域。
4、根据项3所述的图像编码装置，其特征在于：上述量化单元对从上述两个以上长方形区域得到的各个预测残差进行并行量化。
5、根据项1至4中任一项所述的图像编码装置，其特征在于：上述多个长方形区域中的每个是短边方向的宽度为1像素的长方形区域。
6、根据项1至5中任一项所述的图像编码装置，其特征在于包括：分割单元，作为将上述多个块的每个分割为长边之间相互邻接的多个长方形区域的分割单元，针对每个块切换上述多个长方形区域的长边方向。
7、根据项6所述的图像编码装置，其特征在于：上述分割单元根据编码效率，针对每个块切换上述多个长方形区域的长边方向。
8、根据项1至7中任一项所述的图像编码装置，其特征在于还包括：标记编码单元，对于上述多个块的每个，对表示上述多个长方形区域的长边方向的标记进行编码。
9、一种编码数据的数据结构，其特征在于：该数据结构是将分割为多个块的对象图像针对每个块进行编码而得到的编码数据的数据结构，包括对从分割为长边之间相互邻接的多个长方形区域的对象块上的对象图像中减去预测图像而得到的预测残差，针对每个由一个以上长方形区域构成的连续的量化单位进行量化而生成的编码数据，上述对象块上的预测图像针对每个上述长方形区域生成，各长方形区域上的预测图像通过以下方式生成：将与该长方形区域的长边相向的解码图像上的长方形区域作为模板，在将与上述模板的与该长方形区域相向的一侧的相反侧的长边相向的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域。
10、一种图像解码装置，其特征在于：该装置是将分割为多个块的解码图像针对每个块进行生成的图像解码装置，包括：逆量化单元，作为对分割为长边之间相互邻接的多个长方形区域的对象块上的对象图像，针对每个由一个以上长方形区域构成的连续的量化单位进行生成的逆量化单元，将对量化值进行逆量化而得到的预测残差与预测图像相加，由此生成对象量化单位上的解码图像；以及预测图像生成单元，作为针对每个上述长方形区域生成上述预测图像的预测图像生成单元，将与对象长方形区域的长边相向的解码图像上的长方形区域作为模板，在将与上述模板的与上述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域，由此生成上述对象长方形区域上的预测图像。
11、一种图像编码方法，其特征在于，该方法是将分割为多个块的对象图像针对每个块进行编码的图像编码方法，包括：量化步骤，作为对分割为长边之间相互邻接的多个长方形区域的对象块上的对象图像，针对每个由一个以上长方形区域构成的连续的量化单位进行量化的量化步骤，对从对象量化单位上的对象图像中减去预测图像而得到的预测残差进行量化；逆量化步骤，作为针对每个上述量化单位生成上述对象块上的解码图像的逆量化步骤，将对上述量化步骤生成的量化值进行逆量化而得到的预测残差与上述预测图像相加，由此生成上述对象量化单位上的解码图像；以及预测图像生成步骤，作为针对每个上述长方形区域生成上述预测图像的预测图像生成步骤，将与对象长方形区域的长边相向的解码图像上的长方形区域作为模板，在将与上述模板的与上述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域，由此生成上述对象长方形区域上的预测图像。
12、一种图像解码方法，其特征在于：该方法是将分割为多个块的解码图像针对每个块进行生成的图像解码方法，包括：逆量化步骤，作为对分割为长边之间相互邻接的多个长方形区域的对象块上的对象图像，针对每个由一个以上长方形区域构成的连续的量化单位进行生成的逆量化步骤，将对量化值进行逆量化而得到的预测残差与预测图像相加，由此生成对象量化单位上的解码图像；以及预测图像生成步骤，作为针对每个上述长方形区域生成上述预测图像的预测图像生成步骤，将与对象长方形区域的长边相向的解码图像上的长方形区域作为模板，在将与上述模板的与上述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域，由此生成上述对象长方形区域上的预测图像。
本发明涉及的图像编码装置的特征在于，该装置是将分割为多个块的对象图像针对每个块进行编码的图像编码装置，包括：量化单元，对从分割为长边之间相互邻接的多个长方形区域的对象块上的对象图像中减去预测图像而得到的预测残差，针对每个由一个以上长方形区域构成的连续的量化单位进行量化；逆量化单元，作为针对每个上述量化单位生成上述对象块上的解码图像的逆量化单元，将对上述量化单元生成的量化值进行逆量化而得到的预测残差与上述预测图像相加，由此生成对象量化单位上的解码图像；以及预测图像生成单元，作为针对每个上述长方形区域生成上述对象块上的预测图像的预测图像生成单元，将与对象长方形区域的长边相向的解码图像上的长方形区域作为模板，在将与上述模板的与上述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域，由此生成对象长方形区域上的预测图像。
根据本发明涉及的上述图像编码装置，将与对象长方形区域的长边相向的解码图像上的长方形区域作为模板，在将与上述模板的与上述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域，由此能够生成上述对象长方形区域上的预测图像。
即，根据上述图像编码装置，通过一维扫描将上述长方形区域沿长边方向平行移动而得到的解码图像上的区域，搜索与上述模板的相关性最高的区域。因此，根据上述图像编码装置，与如专利文献1记载的技术那样进行二维扫描的情况相比，能够削减进行搜索时的计算量，因此具有能够高速地进行预测图像的生成的效果。
另外，上述图像编码装置针对每个上述长方形区域进行搜索，因此在对象图像包含曲率发生变化的边缘的情况下，也能够准确地进行预测图像的生成。即，在对象图像包含曲率发生变化的边缘的情况下，也取得编码效率较高的效果。
另外，较为理想的是，上述量化单位由单一的长方形区域构成，上述预测图像生成单元将与对象长方形区域的长边邻接的解码图像上的长方形区域作为模板，在将与该模板的长边邻接的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域。
根据上述结构，能够将与对象长方形区域的长边邻接的解码图像上的长方形区域作为模板，在将与该模板的长边邻接的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域，因而能够通过检测预测对象区域中的边缘位置与邻接于该预测对象区域的区域中的边缘位置的错位，来生成预测图像。即，在该边缘为曲线的情况下，也能够通过检测该曲线的曲率生成预测图像，因而具有能够进一步提高编码效率的更好的效果。
另外，较为理想的是，上述量化单位由两个以上长方形区域构成，上述预测图像生成单元将与对象长方形区域的长边相向的解码图像上的长方形区域中的、与上述对象长方形区域最接近的长方形区域作为模板，在将作为与上述模板的与上述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域，且与上述模板的间隔等于上述对象长方形区域与上述模板的间隔的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域。
根据上述结构，上述量化单位由两个以上长方形区域，即两个以上预测单位构成。此外，量化单位中包含的各预测单位的预测图像能够在不参照相同量化单位上的解码图像的情况下生成。即，根据上述结构，能够并行处理各量化单位包含的多个预测单位。因此，根据上述结构，具有能够削减编码处理的处理时间的更好的效果。
另外，较为理想的是，上述量化单位包含长边相向的两个以上的长方形区域，上述量化单元按照上述量化单位进行频率变换，上述逆量化单元按照上述量化单位进行上述频率变换的逆变换即逆频率变换，上述预测图像生成单元将与对象长方形区域的长边相向的解码图像上的长方形区域中的、与上述对象长方形区域最接近的长方形区域作为模板，在将作为与上述模板的与上述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域，且与上述模板的间隔等于上述对象长方形区域与上述模板的间隔的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域。
根据上述结构，上述量化单位由长边相向的两个以上的长方形区域，即长边相向的两个以上的预测单位构成。此外，量化单位中包含的各预测单位的预测图像能够在不参照相同量化单位上的解码图像的情况下生成。据此，能够按照量化单位适用频率变换，因而具有除去预测单位的短边方向的相关性，进一步提高编码效率的更好的效果。
另外，较为理想的是，上述多个长方形区域的每个是短边方向的宽度为1像素的长方形区域。
根据上述结构，能够使用短边方向的宽度为1像素的长方形区域生成预测图像。因此，通过更准确地检测预测对象区域中的边缘(曲线)的曲率，能够进行更准确的预测，因此具有进一步提高编码效率的效果。
另外，较为理想的是，上述图像编码装置包括：分割单元，作为将上述多个块的每个分割为长边之间相互邻接的多个长方形区域的分割单元，针对每个块切换上述多个长方形区域的长边方向。
根据上述结构，包括针对每个块切换上述多个长方形区域的长边方向的分割单元，因此能够使用具有最适合于编码对象图像的局部特性的长边方向的长方形区域进行预测图像的生成，因此具有能够进一步提高编码效率的更好的效果。
另外，较为理想的是，上述图像编码装置还包括：标记编码单元，对于上述多个块的每个，对表示上述多个长方形区域的长边方向的标记进行编码。
根据上述结构，还包括：标记编码单元，对于上述多个块的每个，对表示上述多个长方形区域的长边方向的标记进行编码，因此在图像解码装置中对编码数据进行解码时，能够参照该标记进行解码。因此，根据上述结构，具有能够生成能够由解码装置解码的、编码效率较高的编码数据的更好的效果。
另外，本发明涉及的编码数据的数据结构的特征在于：该数据结构是将分割为多个块的对象图像针对每个块进行编码而得到的编码数据的数据结构，包括对从分割为长边之间相互邻接的多个长方形区域的对象块上的对象图像中减去预测图像而得到的预测残差，针对每个由一个以上长方形区域构成的连续的量化单位进行量化而生成的编码数据，上述对象块上的预测图像针对每个上述长方形区域生成，各长方形区域上的预测图像通过以下方式生成：将与该长方形区域的长边相向的解码图像上的长方形区域作为模板，在将与上述模板的与该长方形区域相向的一侧的相反侧的长边相向的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域。
根据本发明涉及的上述编码数据的数据结构，在解码装置中，能够基于各长方形区域的预测图像与各量化单位的量化了的预测残差进行解码处理。因此，根据上述结构，具有能够实现解码效率较好的编码数据的数据结构的效果。
另外，本发明涉及的图像解码装置的特征在于：该装置是将分割为多个块的解码图像针对每个块进行生成的图像解码装置，包括：逆量化单元，作为对分割为长边之间相互邻接的多个长方形区域的对象块上的对象图像，针对每个由一个以上长方形区域构成的连续的量化单位进行生成的逆量化单元，将对量化值进行逆量化而得到的预测残差与预测图像相加，由此生成对象量化单位上的解码图像；以及预测图像生成单元，作为针对每个上述长方形区域生成上述预测图像的预测图像生成单元，将与对象长方形区域的长边相向的解码图像上的长方形区域作为模板，在将与上述模板的与上述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域，由此生成上述对象长方形区域上的预测图像。
根据本发明涉及的上述图像解码装置，将与对象长方形区域的长边相向的解码图像上的长方形区域作为模板，在将与上述模板的与上述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与上述模板的相关性最高的区域，由此能够生成上述对象长方形区域上的预测图像。
即，根据上述图像解码装置，通过一维扫描将上述长方形区域沿长边方向平行移动而得到的解码图像上的区域，搜索与上述模板的相关性最高的区域。因此，根据上述图像解码装置，与如专利文献1记载的技术那样进行二维扫描的情况相比，能够削减进行搜索时的计算量，因此具有能够高速地进行预测图像的生成的效果。
另外，上述图像解码装置针对每个上述长方形区域进行搜索，因此收到在对象图像包含曲率发生变化的边缘的情况下也能够准确地进行预测图像的生成的效果。
产业上的可利用性
本发明能够较好地适用于对图像进行编码的图像编码装置、以及对编码了的图像数据进行解码的图像解码装置。
符号说明
100图像编码装置
105TM预测部(预测图像生成单元)
106预测单位分割部
107预测残差编码部(量化单元、逆量化单元)
108解码图像生成部
109帧存储器
110MB编码部
150图像解码装置
152预测残差解码部(逆量化单元)
203辅助信息编码部(标记编码单元)
权利要求书(按照条约第19条的修改)
1.一种图像编码装置，其特征在于：该装置是将分割为多个块的对象图像针对每个块进行编码的图像编码装置，包括：
预测单位分割单元，将对象块分割为多个长方形区域；
量化单元，对从所述对象块上的对象图像中减去预测图像而得到的预测残差，进行量化；
逆量化单元，将对所述量化单元生成的量化值进行逆量化而得到的预测残差与所述预测图像相加，由此生成所述对象块上的解码图像；以及
预测图像生成单元，针对每个所述长方形区域生成所述对象块上的预测图像，并且将与对象长方形区域的长边相向的解码图像上的长方形区域作为模板，搜索与所述模板的类似度高的解码图像上的区域，由此生成对象长方形区域上的预测图像。
2.根据权利要求1所述的图像编码装置，其特征在于：
所述预测单位分割单元将所述对象块分割为长边之间相互邻接的多个长方形区域，
所述量化单元针对每个由从所述多个长方形区域中选择的一个以上长方形区域构成的量化单位，对所述预测残差进行量化，
所述逆量化单元针对每个所述量化单位生成所述对象块上的解码图像，
所述预测图像生成单元，在将与所述模板的与所述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与所述模板的类似度高的解码图像上的区域，由此生成所述对象长方形区域上的预测图像。
3.根据权利要求2所述的图像编码装置，其特征在于：
所述量化单位由单个长方形区域构成，
所述预测图像生成单元，将与对象长方形区域的长边邻接的解码图像上的长方形区域作为模板，在将与该模板的长边邻接的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与所述模板的相关性最高的区域。
4.根据权利要求2所述的图像编码装置，其特征在于：
所述量化单位由两个以上长方形区域构成，
所述预测图像生成单元将与对象长方形区域的长边相向的解码图像上的长方形区域中的、与所述对象长方形区域最接近的长方形区域作为模板，在将作为与所述模板的与所述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域，且与所述模板的间隔等于所述对象长方形区域与所述模板的间隔的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与所述模板的相关性最高的区域。
5.根据权利要求2所述的图像编码装置，其特征在于：
所述量化单位包含长边相互相向的两个以上的长方形区域，
所述量化单元按照所述量化单位进行频率变换，
所述逆量化单元按照所述量化单位进行所述频率变换的逆变换即逆频率变换，
所述预测图像生成单元将与对象长方形区域的长边相向的解码图像上的长方形区域中的、与所述对象长方形区域最接近的长方形区域作为模板，在将作为与所述模板的与所述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域，且与所述模板的间隔等于所述对象长方形区域与所述模板的间隔的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与所述模板的相关性最高的区域。
6.根据权利要求2至5中任一项所述的图像编码装置，其特征在于：
所述多个长方形区域的每个是短边方向的宽度为1像素的长方形区域。
7.根据权利要求2至6中任一项所述的图像编码装置，其特征在于包括：
分割单元，将所述多个块的每个分割为长边之间相互邻接的多个长方形区域，并且针对每个块切换所述多个长方形区域的长边方向。
8.根据权利要求2至7中任一项所述的图像编码装置，其特征在于还包括：
标记编码单元，对于所述多个块的每个，对表示所述多个长方形区域的长边方向的标记进行编码。
9.一种编码数据的数据结构，其特征在于：该数据结构是将分割为多个块的对象图像针对每个块进行编码而得到的编码数据的数据结构，
包括对从分割为多个长方形区域的对象块上的对象图像中减去预测图像而得到的预测残差进行量化而生成的编码数据，
所述对象块上的预测图像针对每个所述长方形区域生成，各长方形区域上的预测图像通过以下方式生成：将与该长方形区域的长边相向的解码图像上的长方形区域作为模板，搜索与所述模板的类似度高的解码图像上的区域。
10.一种图像解码装置，其特征在于：该装置是将分割为多个块的解码图像针对每个块进行生成的图像解码装置，包括：
预测单位分割单元，将对象块分割为多个长方形区域；
逆量化单元，将对量化值进行逆量化而得到的预测残差与预测图像相加，由此生成所述对象块上的解码图像；以及
预测图像生成单元，针对每个所述长方形区域生成所述预测图像，并且将与对象长方形区域的长边相向的解码图像上的长方形区域作为模板，搜索与所述模板的类似度高的解码图像上的区域，由此生成所述对象长方形区域上的预测图像。

Claims (9)

1.一种图像编码装置，其特征在于：该装置是将分割为多个块的对象图像针对每个块进行编码的图像编码装置，包括：
量化单元，对从分割为长边之间相互邻接的多个长方形区域的对象块上的对象图像中减去预测图像而得到的预测残差，针对每个由从所述多个长方形区域中选择的一个以上长方形区域构成的量化单位进行量化；
逆量化单元，针对每个所述量化单位生成所述对象块上的解码图像，并且将对所述量化单元生成的量化值进行逆量化而得到的预测残差与所述预测图像相加，由此生成对象量化单位上的解码图像；以及
预测图像生成单元，针对每个所述长方形区域生成所述对象块上的预测图像，并且将与对象长方形区域的长边相向的解码图像上的长方形区域作为模板，在将与所述模板的与所述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与所述模板的相关性最高的区域，由此生成对象长方形区域上的预测图像。
2.根据权利要求1所述的图像编码装置，其特征在于：
所述量化单位由单一的长方形区域构成，
所述预测图像生成单元将与对象长方形区域的长边邻接的解码图像上的长方形区域作为模板，在将与该模板的长边邻接的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与所述模板的相关性最高的区域。
3.根据权利要求1所述的图像编码装置，其特征在于：
所述量化单位由两个以上长方形区域构成，
所述预测图像生成单元将与对象长方形区域的长边相向的解码图像上的长方形区域中的、与所述对象长方形区域最接近的长方形区域作为模板，在将作为与所述模板的与所述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域，且与所述模板的间隔等于所述对象长方形区域与所述模板的间隔的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与所述模板的相关性最高的区域。
4.根据权利要求1所述的图像编码装置，其特征在于：
所述量化单位包含长边相向的两个以上的长方形区域，
所述量化单元按照所述量化单位进行频率变换，
所述逆量化单元按照所述量化单位进行所述频率变换的逆变换即逆频率变换，
所述预测图像生成单元将与对象长方形区域的长边相向的解码图像上的长方形区域中的、与所述对象长方形区域最接近的长方形区域作为模板，在将作为与所述模板的与所述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域，且与所述模板的间隔等于所述对象长方形区域与所述模板的间隔的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与所述模板的相关性最高的区域。
5.根据权利要求1至4中任一项所述的图像编码装置，其特征在于：
所述多个长方形区域的每个是短边方向的宽度为1像素的长方形区域。
6.根据权利要求1至5中任一项所述的图像编码装置，其特征在于包括：
分割单元，将所述多个块的每个分割为长边之间相互邻接的多个长方形区域，并且针对每个块切换所述多个长方形区域的长边方向。
7.根据权利要求1至6中任一项所述的图像编码装置，其特征在于还包括：
标记编码单元，对于所述多个块的每个，对表示所述多个长方形区域的长边方向的标记进行编码。
8.一种编码数据的数据结构，其特征在于：该数据结构是将分割为多个块的对象图像针对每个块进行编码而得到的编码数据的数据结构，
包括对从分割为长边之间相互邻接的多个长方形区域的对象块上的对象图像中减去预测图像而得到的预测残差，针对每个由从所述多个长方形区域中选择的一个以上长方形区域构成的量化单位进行量化而生成的编码数据，
所述对象块上的预测图像针对每个所述长方形区域生成，各长方形区域上的预测图像通过以下方式生成：将与该长方形区域的长边相向的解码图像上的长方形区域作为模板，在将与所述模板的与该长方形区域相向的一侧的相反侧的长边相向的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与所述模板的相关性最高的区域。
9.一种图像解码装置，其特征在于：该装置是将分割为多个块的解码图像针对每个块进行生成的图像解码装置，包括：
逆量化单元，对分割为长边之间相互邻接的多个长方形区域的对象块上的解码图像，针对每个由从所述多个长方形区域中选择的一个以上长方形区域构成的量化单位进行生成，并且将对量化值进行逆量化而得到的预测残差与预测图像相加，由此生成对象量化单位上的解码图像；以及
预测图像生成单元，针对每个所述长方形区域生成所述预测图像，并且将与对象长方形区域的长边相向的解码图像上的长方形区域作为模板，在将与所述模板的与所述对象长方形区域相向的一侧的相反侧的长边相向的长方形区域沿长边方向平行移动而得到的解码图像上的区域中，搜索与所述模板的相关性最高的区域，由此生成所述对象长方形区域上的预测图像。
CN201080046955.0A 2009-10-20 2010-09-17 图像编码装置、图像解码装置、以及编码数据的数据结构 Pending CN102577391A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009241339 2009-10-20
JP2009-241339 2009-10-20
PCT/JP2010/066248 WO2011048904A1 (ja) 2009-10-20 2010-09-17 画像符号化装置、画像復号装置、および、符号化データのデータ構造

Publications (1)

Publication Number Publication Date
CN102577391A true CN102577391A (zh) 2012-07-11

Family

ID=43900144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080046955.0A Pending CN102577391A (zh) 2009-10-20 2010-09-17 图像编码装置、图像解码装置、以及编码数据的数据结构

Country Status (5)

Country Link
US (1) US20120219232A1 (zh)
EP (1) EP2493196A4 (zh)
JP (1) JPWO2011048904A1 (zh)
CN (1) CN102577391A (zh)
WO (1) WO2011048904A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201501511A (zh) * 2013-06-25 2015-01-01 Hon Hai Prec Ind Co Ltd 框內預測方法及系統
US10958927B2 (en) 2015-03-27 2021-03-23 Qualcomm Incorporated Motion information derivation mode determination in video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761686A (en) * 1996-06-27 1998-06-02 Xerox Corporation Embedding encoded information in an iconic version of a text image
US6142376A (en) * 1993-08-06 2000-11-07 Spectra-Physics Scanning Systems, Inc. Method and apparatus for reading symbols on items moved by conveyor
CN1465193A (zh) * 2001-06-29 2003-12-31 株式会社Ntt都科摩 图像编码装置、图像译码装置、图像编码方法和图像译码方法
EP2023639A1 (en) * 2006-04-28 2009-02-11 NTT DoCoMo, Inc. Image predictive coding device, image predictive coding method, image predictive coding program, image predictive decoding device, image predictive decoding method and image predictive decoding program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3478836B2 (ja) * 1997-05-07 2003-12-15 シーメンス アクチエンゲゼルシヤフト デジタル画像シーケンスの符号化方法および符号化装置
JP2897761B2 (ja) * 1997-07-18 1999-05-31 日本電気株式会社 ブロック・マッチング演算装置及びプログラムを記録した機械読み取り可能な記録媒体
US6654419B1 (en) * 2000-04-28 2003-11-25 Sun Microsystems, Inc. Block-based, adaptive, lossless video coder
US6711211B1 (en) * 2000-05-08 2004-03-23 Nokia Mobile Phones Ltd. Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2007300380A (ja) 2006-04-28 2007-11-15 Ntt Docomo Inc 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
CA2676709C (en) * 2007-02-23 2013-06-25 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
KR101712351B1 (ko) * 2009-06-26 2017-03-06 에스케이 텔레콤주식회사 다차원 정수 변환을 이용한 영상 부호화/복호화 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6142376A (en) * 1993-08-06 2000-11-07 Spectra-Physics Scanning Systems, Inc. Method and apparatus for reading symbols on items moved by conveyor
US5761686A (en) * 1996-06-27 1998-06-02 Xerox Corporation Embedding encoded information in an iconic version of a text image
CN1465193A (zh) * 2001-06-29 2003-12-31 株式会社Ntt都科摩 图像编码装置、图像译码装置、图像编码方法和图像译码方法
EP2023639A1 (en) * 2006-04-28 2009-02-11 NTT DoCoMo, Inc. Image predictive coding device, image predictive coding method, image predictive coding program, image predictive decoding device, image predictive decoding method and image predictive decoding program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
THIOW KENG TAN ET AL: "Intra Prediction by Averaged Template Matching Predictors", 《 CONSUMER COMMUNICATIONS AND NETWORKING CONFERENCE 》, no. 4, 1 January 2007 (2007-01-01), pages 405 - 409, XP031087817 *

Also Published As

Publication number Publication date
EP2493196A1 (en) 2012-08-29
EP2493196A4 (en) 2013-06-05
US20120219232A1 (en) 2012-08-30
JPWO2011048904A1 (ja) 2013-03-07
WO2011048904A1 (ja) 2011-04-28

Similar Documents

Publication Publication Date Title
US11006145B2 (en) Intra prediction method and apparatus using the method
CN103190151B (zh) 帧间预测编码方法
CN108781285B (zh) 基于帧内预测的视频信号处理方法及装置
RU2761511C2 (ru) Окно ограниченного доступа к памяти для уточнения вектора движения
CN109792529A (zh) 图像编译系统中的基于照度补偿的间预测方法和设备
CN109845258A (zh) 用于对图像进行编码或解码的设备和方法
CN114584765A (zh) 解码和编码视频的方法以及传送比特流的方法
CN108462874A (zh) 运动图像编码装置以及运动图像解码装置
KR20160039549A (ko) 비디오 신호 처리 방법 및 장치
KR20180075556A (ko) 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
TWI722465B (zh) 子塊的邊界增強
CN103262539A (zh) 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
CN108810532B (zh) 图像解码装置
CN112055204A (zh) 编码装置、解码装置以及程序
CN106134194A (zh) 用于低复杂度编码及后台检测的系统及方法
CN102577391A (zh) 图像编码装置、图像解码装置、以及编码数据的数据结构
CN116980590A (zh) Ibc参考区域的自适应选择
JP5298082B2 (ja) 適応的に直交変換係数の走査順序を決定する符号化装置及び復号装置
KR102125969B1 (ko) 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
CN116684577A (zh) 基于运动矢量差的快速仿射模式决策

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120711