CN102656889B - 图像编码装置、图像解码装置、图像编码方法及图像解码方法 - Google Patents

Abstract

图像编码装置包括：位移矢量检测部（103），使用已被编码了的块的局部解码图像来检索与编码对象块相关性高的信号，将相关性最高的信号作为位移预测信号，计算出位移矢量；缩小图像位移矢量检测部（104），使用相对于已被编码了的块的局部解码图像，在水平和垂直的至少一方缩小了的信号，检索与编码对象块相关性高的信号，将相关性最高的信号作为缩小位移预测信号，求出被缩小了的编码对象块与缩小位移预测信号的画面内的位移即位移矢量；位移预测模式判断/信号生成部（105），从位移预测信号和缩小位移预测信号中选择与编码对象块相关性高的信号作为预测信号。

Description

图像编码装置、图像解码装置、图像编码方法及图像解码方法

技术领域

本发明涉及一种图像信号的编解码技术，尤其涉及一种使用画面内预测处理的图像编码装置、图像解码装置、图像编码方法以及图像解码方法，其中画面内预测处理指的是利用已编码的图像生成针对对象图像信号的预测信号，从而对与预测信号的差分信号进行编码。

背景技术

近年来，将被数字化的图像、声音内容（contents）经由卫星、地面波等广播波或网络而分发的服务被实用化，从而需要高效地对含有庞大信息量的图像、声音信息进行记录或传输的高效率编码。随着内容的高精细化、多样化，要被编码的图像的数量以及数据量进一步增大，于是要求进行预计到将来的内容服务的更加高效率的图像信号编码。

作为图像的高效率编码，目前使用如下的方式，即：MPEG2、MPEG4-AVC（Advanced Video Coding）所代表的、利用在动图像信号的同一帧内空间上相邻的像素间的相关以及时间上相邻的帧间、场间的相关来压缩信息量的方式。

在MPEG4-AVC（ISO/IEC 14496-10Advanced Video Coding）中，将图像分成多个二维块，以块为单位使用同一帧内或帧间的相关生成预测信号，对与预测信号的差分信息进行编码，从而实现高编码效率。在MPEG4-AVC中使用了同一帧内的相关的预测处理被称为帧内（intra）预测，如图11所示，使用与对象块相邻的已编码部分的解码图像生成编码对象块的预测图像。在帧内预测中，根据以相邻的解码图像相对于图11所示那样的一定方向预计相关较高的多个（在4×4像素块单位下进行预测时为9种）预测模式所生成的预测图像，选择与编码对象块的误差最小的预测模式，按照预测模式信息进行编码。

帧内预测成为仅利用了与相邻区域的相关性的预测处理，当与编码对象块的边界处的相关性少时，预测效果减小。

在图像信号中，在远离作为对象的块的位置，也存在物体的形状或图案、背景等具有相似的图像成分的信号。在专利文献1中，提出了利用远离对象块的位置处的图像相关性来进行预测处理的方法。具体而言，如图12所示那样，计算自对象块起移动了画面内的位移量（以后称作位移矢量）后的位置处的已编码解码图像与编码对象块之间的误差，将误差最小的按位移矢量来参照的参照图像作为预测图像，结合位移矢量进行编码。

在能够生成高于传输位移矢量的码量的、相关性高的预测图像时，能够实现相对于帧内预测更高的编码效率，但是在位移矢量的传输量较大时，无法发挥出足够的预测效率。

在专利文献2中，提出了一种为减少上述位移矢量所需要的码量而不传输位移矢量地确定位移矢量的方法。在专利文献2中，使用与对象块相邻的已编码的解码图像作为模板，计算移动了位移矢量后的位置的已编码解码图像与上述相邻于对象块的已编码的解码图像之间的误差，将误差最少的位移矢量判断为编码对象块的位移矢量，将按位移矢量来参照的参照图像作为预测图像。在该方式中，在解码侧与编码侧同样，使用已编码的解码图像检测出位移矢量，从而能够不接收位移矢量地算出位移矢量，不会引起因附加信息而导致的码量增大。

〔在先技术文献〕

〔专利文献〕

〔专利文献1〕日本特开2005-159947号公报

〔专利文献2〕日本特开2007-043651号公报

发明内容

〔发明要解决的问题〕

在MPEG4-AVC中，对于在时间上具有连续性的图像信号，以在时间方向上不同的帧的已解码图像信号为基准，进行运动补偿预测处理，从而能够实现高编码效率，但进行运动补偿预测处理的基准帧必须仅使用在同一帧内的帧内预测进行编码，在与编码对象块的边界处的相关性少的情况下，存在预测效果降低的课题。在动图像信号没有时间上的连续性时，由于运动补偿预测不发挥作用，也会出现因帧内预测的性能限制而导致的编码效率降低这样的课题。

如专利文献1和专利文献2所提示的那样，在传输或自行生成与对象块的位移矢量来利用远离对象块的位置处的图像相关性时，由于相对于图像信号的相邻区域以外的部分的自我相似性、或者根据具有相同的纹理成分的不同物体进行预测，因此存在位于画面内的物体的形状变化、亮度变化等的影响，因而无法充分地灵活运用图像信号所具有的自我相似性或纹理的相似性。

在专利文献1中，存在如下课题：当无法计算具有超过位移矢量的码量的效果的预测信号时，效率降低；在专利文献2中，存在如下课题：由于将编码对象块的相邻图像作为模板计算位移矢量，因此在相邻图像与对象块之间相关性低、或者按在专利文献1中生成的位移矢量来参照的参照块与相邻图像的相关性低等情况下，无法求出精度高的位移矢量，效率没有提高。

因此，本发明的目的在于，为了使帧内的预测效率大幅提高，而实现一种进一步有效地利用远离对象块的位置处的图像相关性的帧内预测方法。

〔用于解决问题的方案〕

为了达到上述目的，本发明的图像编码装置包括：位移矢量检测部，针对编码对象块，使用已被编码了的同一图像信号内的块的局部解码图像来检索与编码对象块相关性高的信号，将相关性最高的信号作为位移预测信号，计算出上述编码对象块与上述位移预测信号的画面内的位移、即位移矢量；缩小图像位移矢量检测部，针对编码对象块，使用相对于已被编码了的同一图像信号内的块的局部解码图像、在水平和垂直的至少一方缩小了的信号，检索与编码对象块相关性高的信号，将相关性最高的信号作为缩小位移预测信号，求出被缩小了的编码对象块与上述缩小位移预测信号的画面内的位移、即位移矢量；以及位移预测模式判断/信号生成部，从上述位移预测信号和上述缩小位移预测信号中选择与编码对象块相关性高的信号作为预测信号，输出被选择的信号所使用的位移矢量和表示所选择的结果的信息。本图像编码装置对上述预测信号与上述编码对象块的差分信号、上述位移矢量、以及上述表示所选择的结果的信息进行编码。

本发明的图像解码装置包括：位移矢量/模式解码部，从按块单位被实施了编码的编码流中，针对解码对象块，解码位移矢量和表示是否将在上述位移矢量中所指定的上述解码图像缩小来生成预测信号的信息，其中所述位移矢量是基于已被解码了的同一图像信号内的块的解码图像而生成的预测信号与上述解码对象块的画面内的位移；以及位移预测信号生成部，根据上述位移矢量和表示是否将上述解码图像缩小来生成预测信号的信息，基于上述解码图像生成预测信号；通过将上述预测信号与被解码了的残差信号相加来计算出解码图像。

本发明的图像编码方法，包括如下步骤：针对编码对象块，使用已被编码的同一图像信号内的块的局部解码图像来检索与编码对象块相关性高的信号，将相关性最高的信号作为位移预测信号，计算出上述编码对象块与上述位移预测信号的画面内的位移、即位移矢量的步骤；针对编码对象块，使用相对于已被编码的同一图像信号内的块的局部解码图像、在水平和垂直的至少一方缩小了的信号，来检索与编码对象块相关性高的信号，将相关性最高的信号作为缩小位移预测信号，求出被缩小了的编码对象块与上述缩小位移预测信号的画面内的位移、即位移矢量的步骤；以及从上述位移预测信号和上述缩小位移预测信号中选择与编码对象块相关性高的信号作为预测信号，输出被选择的信号所使用的位移矢量和表示所选择的结果的信息的步骤；对上述预测信号与上述编码对象块的差分信号、上述位移矢量、以及上述表示所选择的结果的信息进行编码。

本发明的图像解码方法包括如下步骤：从按块单位被实施了编码的编码流中，针对解码对象块，解码位移矢量和表示是否将在上述位移矢量中所指定的上述解码图像缩小来生成预测信号的信息的步骤，其中所述位移矢量是基于已被解码了的同一图像信号内的块的解码图像而生成的预测信号与上述解码对象块的画面内的位移；以及根据上述位移矢量和表示是否将上述解码图像缩小来生成预测信号的信息，基于上述解码图像生成预测信号的步骤；通过将上述预测信号与被解码了的残差信号相加来计算出解码图像。

〔发明效果〕

在本发明的图像编码装置和图像解码装置中，生成将以纹理成分作为预测用模板信号来使用的、相对于已编码解码图像缩小了的参照图像，并作为预测图像来使用，从而能够使以往方式中的帧内的图像信号预测的精度提高。另外，关于生成缩小图像时的滤波器特性，通过评价编码时的输入图像的特性，能够使缩小图像的信号特性接近于输入图像，能够进一步提高预测精度。通过组合这些方案，能够使编码效率提高。

附图说明

图1是表示本发明第一实施例的图像编码装置的结构图。

图2是表示本发明第一实施例的图像解码装置的结构图。

图3是说明本发明的画面内位移预测的示意图。

图4是说明本发明第一实施例中的位移预测模式判断信号生成处理的流程图。

图5是表示本发明第二实施例的图像编码装置的结构图。

图6是说明本发明第二实施例的编码处理的流程图。

图7是表示本发明第二实施例的图像解码装置的结构图。

图8是说明本发明第二实施例的解码处理的流程图。

图9是表示本发明第三实施例的图像编码装置的结构图。

图10是说明本发明第三实施例的编码处理的流程图。

图11是以往方法的帧内预测的示意图。

图12是以往方法的画面内位移预测的示意图。

图13是表示MPEG4-AVC中的对象块与预测运动矢量计算所用的相邻块的关系的图。

具体实施方式

接着，参照附图说明用于实施发明的最佳实施方式。

〔实施例1〕

首先，说明作为本发明第一实施例的图像编码装置、图像解码装置的实施方式。

图1是表示作为本发明第一实施例的图像编码装置的方式的结构图。如图1所示，本实施例的图像编码装置包括：输入端子100、输入图像缓存器101、块划分部102、位移矢量检测部103、缩小图像位移矢量检测部104、位移预测模式判断/信号生成部105、减法器106、正交变换部107、量化部108、逆量化部109、逆正交变换部110、加法器111、帧内解码图像存储器112、缩小图像生成部113、缩小解码图像存储器114、熵编码部115、流缓存器116、输出端子117、以及码量控制部118。

本发明第一实施例的特征在于，设有位移矢量检测部103、缩小图像位移矢量检测部104、位移预测模式判断/信号生成部105、缩小图像生成部113和缩小解码图像存储器114，以及这些处理块的工作。对于其他的处理块，是构成MPEG4-AVC等图像编码装置中的帧内编码处理的处理块。

从输入端子100输入的数字图像信号被存储到输入图像缓存器101中。存储到输入图像缓存器101中的数字图像信号被提供给块划分部102，按16×16像素构成的二维微块单位划分出编码对象块。块划分部102将划分出的编码对象块提供给位移矢量检测部103、缩小图像位移矢量检测部104、位移预测模式判断/信号生成部105、以及减法器106。减法器106计算从块划分部102所提供的编码对象块与由后述的位移预测模式判断/信号生成部105提供的预测图像块之间的差分，将结果作为差分块提供给正交变换部107。

正交变换部107对差分块按预定的二维块（例如水平8像素×垂直8像素）单位进行DCT变换，由此生成相当于进行正交变换后的频率分量信号的DCT系数。另外，正交变换部107将所生成的DCT系数汇集成二维微块单位而输出到量化部108。量化部108通过以按频率分量不同的值除DCT系数来进行量化处理。量化部108将经过量化处理后的DCT系数提供给逆量化部109和熵编码部115。逆量化部109对由量化部108所输入的经过量化处理后的DCT系数乘以在量化时所被除的值来进行逆量化，将经过逆量化后的结果作为被解码后的DCT系数而输出到逆正交变换部110。逆正交变换部110进行逆DCT处理，生成被解码后的差分块。逆正交变换部110将被解码后的差分块提供给加法器111。加法器111将由位移预测模式判断/信号生成部105提供的预测图像块加上由逆正交变换部110提供的经过解码后的差分块，从而生成局部解码块。在加法器111中生成的局部解码块以被逆块变换后的形式存储在帧内解码图像存储器112中。

位移矢量检测部103在由块划分部102所输入的编码对象块的图像信号与存储在帧内解码图像存储器112中的局部解码图像信号之间计算位移矢量。具体而言，以绝对值误差的总和、乘方误差的总和等所定义的评价式，算出位移矢量DV所对应的局部解码图像信号与编码对象块之间的相关值，将评价式所示的值最小的位移矢量作为用于位移预测的位移矢量值，其中位移矢量DV是相对于编码对象块的画面内位置，参照块整体被配置在图12所示的已编码部分解码图像的位置的位移矢量。

位移矢量检测部103将与检测出的位移矢量值对应的局部解码图像信号作为位移预测图像，与检测出的位移矢量值一起输出到位移预测模式判断/信号生成部105。

在加法器111中所生成的局部解码块被输入到帧内解码图像存储器112和缩小图像生成部113，对局部解码块实施缩小处理，将缩小后的局部解码块输出到缩小解码图像存储器114。

关于用于缩小处理的滤波器，在本实施例中，将缩小方向和滤波器系数定义成固定的。作为一例，缩小处理被定义成水平、垂直均缩小1/2，滤波器系数被定义成按照水平/垂直的顺序实施3抽头的一维滤波121（/4）。

由缩小图像生成部113所输出的缩小后的局部解码块存储在缩小解码图像存储器114中，作为缩小解码图像而被用于缩小图像位移矢量检测部104中的位移矢量检测。

缩小后的局部解码块与编码对象块之间的关系如图3所示，假想地缩小了编码对象块时的编码对象块的画面内位置与作为预测图像的候选的参照块的画面内位置的位移量被定义为位移矢量。

缩小图像位移矢量检测部104将以位移矢量所表示的画面内位置作为基准，从缩小解码图像存储器114输入与编码对象块为相同块尺寸的二维块，以绝对值误差的总和、乘方误差的总和等所定义的评价式来算出与编码对象块之间的相关值，检测出评价式所表示的值最小的位移矢量作为用于缩小位移预测的位移矢量值。

缩小图像位移矢量检测部104将与检测出的位移矢量值对应的缩小解码图像作为缩小位移预测图像，将其与检测出的位移矢量值一起输出到位移预测模式判断/信号生成部105。

位移预测模式判断/信号生成部105根据从位移矢量检测部103输入的位移矢量值和位移预测图像、以及从缩小图像位移矢量检测部104输入的位移矢量值和缩小位移预测图像，选择最佳的预测模式，将所选择的预测图像输出到减法器106和加法器111，并且向熵编码部115输出表示所选择的预测模式和位移矢量的信息。位移预测模式判断/信号生成部105的详细动作将在后面说明。

熵编码部115利用由量化部108提供的经过量化处理后的DCT系数、以及由位移预测模式判断/信号生成部105提供的表示所选择的预测模式和位移矢量的信息，进行位移矢量信息和预测模式信息、以及量化后的DCT系数的可变长度编码。实施了可变长度编码的信息被输出到流缓存器116。

存储在流缓存器116中的编码流经由输出端子117输出到记录介质或传输路径。编码流的码量控制如下：向码量控制部118提供存储在流缓存器116中的比特流的码量，与作为目标的码量之间进行比较，为了接近目标码量而控制量化部108的量化的粗细（量化标度）。

接着，说明对本发明第一实施例的图像编码装置所生成的编码比特流进行解码的图像解码装置的方式。

图2是表示本发明第一实施例的图像解码装置的方式的结构图。如图2所示，本实施方式的图像解码装置包括输入端子200、流缓存器201、熵解码部202、位移矢量/模式解码部203、位移预测信号生成部204、逆量化部205、逆正交变换部206、加法器207、帧内解码图像存储器208、输出端子209及缩小图像生成部210。

本发明第一实施例的特征在于，设有位移矢量/模式解码部203、位移预测信号生成部204和缩小图像生成部210，以及这些处理块的动作。关于其他的处理块，是构成MPEG4-AVC等的图像编码装置中的帧内解码处理的处理块。

从输入端子200输入的编码比特流被存储在流缓存器201中，所存储的编码比特流由流缓存器201提供给熵解码部202，熵解码部202基于所输入的比特流，对经过编码后的位移矢量信息和预测模式信息、以及经过量化后的DCT系数进行可变长度解码，向逆量化部205输出经过量化后的DCT系数，向位移矢量/模式解码部203输出位移矢量信息和预测模式信息。逆量化部205、逆正交变换部206、加法器207和帧内解码图像存储器208进行与第一实施例的动图像编码装置的局部解码处理同样的处理。存储在帧内解码图像存储器208中的解码图像作为解码图像信号经由输出端子209显示在显示装置中。

位移矢量/模式解码部203具有如下功能：基于从熵解码部202输入的位移矢量信息和预测模式信息，计算出位移矢量值、和位移预测信号是实施了通常的位移预测处理的预测信号还是实施了使用缩小图像的位移预测处理的预测信号的选择信号，将其输出到位移预测信号生成部204。

位移预测信号生成部204基于位移矢量/模式解码部203所输出的位移矢量值和选择信号来生成预测图像。在选择信号表示是通常的位移预测时，从帧内解码图像存储器208输入自解码对象块起移动了位移矢量值后的位置的解码图像信号，生成预测信号。另一方面，在选择信号表示是使用了缩小图像的位移预测时，向缩小图像生成部210输出位移矢量值，接受所生成的缩小图像。

缩小图像生成部210在由位移预测信号生成部204输入位移矢量值时，如图3所示，为了生成假想地缩小了编码对象块时的编码对象块的画面内位置、以及相当于预测图像的候选参照块的画面内位置的参照块，从帧内解码图像存储器208输入将位移矢量修正为缩小前的位移的矢量值所表示的位置的解码图像，将实施了缩小滤波器处理的结果输出到位移预测信号生成部204。

位移预测信号生成部204将所生成或所输入的预测图像输出到加法器207。

在本发明第一实施例的图像解码装置中，在缩小图像生成部210中，仅在被实施了缩小位移预测时通过缩小滤波器生成由位移矢量所示的参照块，但为了在第一实施例的图像编码装置中的局部解码处理中进行，也可以采用如下构成，即始终对被解码后的二维块实施缩小处理，存储在缩小图像存储器中。

接着，使用图4所示的流程图说明本发明第一实施例的图像编码装置中位移预测模式判断/信号生成部105的详细动作。

图4所示的流程图示出以多个编码块定义的片单位中的位移预测模式判断处理的动作。

首先，输入成为对象的编码块Cur（S400），从位移矢量检测部103接收与编码对象块对应的位移矢量DV和位移预测图像DVref（S401）。接着，从缩小图像位移矢量检测部104接收与编码对象块对应的缩小位移矢量DVss和缩小位移预测图像DVrefss（S402）。接着，为了计算基于各预测模式的编码对象块与预测图像的误差评价值，累计编码块Cur与位移预测图像DVref之间的各像素的误差值，计算出误差评价值ErrNorm（DV），并累计Cur与缩小位移预测图像DVrefss之间的各像素的误差值，计算出误差评价值ErrSS（DVss）（S403）。

接着，计算将位移矢量值编码为信息时所需要的码量。具体而言，利用预测值DVpred预测位移矢量，采取对该差分值进行编码的方式。关于预测值DVpred的计算，采用在如图13所示那样的MPEG4-AVC中用于运动矢量的预测的结构。作为相邻块，选择相对于对象块左邻的块A、上邻的块B、以及位于右上的块C这3个块。但是，当如在图像一端那样块C无效时，替代块C而使用位于左上的块D。若将选择出的3个块的位移矢量的水平方向分量记为DVAx、DVBx、DVCx，将垂直方向分量记为DVAy、DVBy、DVCy，则预测位移矢量值PDVx、PDVy如下述式1那样，分别在水平方向分量、垂直方向分量选择3个值的中间值来生成。

（式1）

PDMVx＝Median（DVAx、DVBx、DVCx）

PDMVy＝Median（DVAy、DVBy、DVCy）

这样，计算出所生成的PDMVx、PDMVy作为位移矢量的预测值DVpred（S404）。

接着，求出位移矢量的预测值DVpred与位移矢量DV的差分值DiffDV，计算编码时的矢量估计码量，加入到ErrNorm（DV）（S405）。关于矢量估计码量，例如估计DiffDV作为哥伦布（golomb）码而被编码，能够计算出所需的码量。

同样地，求出缩小了位移矢量的预测值DVpred的值与缩小位移矢量DVss之间的差分值DiffDVss，计算编码时的矢量估计码量，并与ErrSS（DVss）相加（S406）。

关于位移预测，采用如下结构：由于抽取出与编码对象块不同的对象物中具有相同纹理成分的图像信号作为预测信号，因而在缩小解码图像和未缩小状态的解码图像信号中相同位置的图像具有自我相似性时，估计成为选择对象的位移矢量是表示较近的位移，于是将施加了与缩小率相应的修正后的位移矢量作为图13中的相邻块的位移矢量值而加以保存。本发明第一实施例中，基于水平、垂直均缩小1/2的解码图像检测缩小位移矢量，并用作预测图像，因此将DVpred在水平、垂直缩小1/2后的值与DVss的差分值成为DiffDVss。与DiffDV同样地计算出DiffDVss的编码时的矢量估计码量。

比较这样计算出来的误差评价值ErrNorm（DV）与ErrSS（DVss）（S407），当ErrSS（DVss）>ErrNorm（DV）时（S407：是），设置预测模式的选择信号DVsel=0、要编码的位移矢量信息Dvresult=DiffDV，并存储DV作为后续的编码对象块的位移矢量预测所使用的矢量值（S408）。接着，对减法器106、加法器111输出DVref作为预测图像（S409）。

另一方面，当不是ErrSS（DVss）>ErrNorm（DV）时（S407：否），设置DVsel=1、DVresult=DiffDVss，存储将DVss在水平、垂直变为2倍后的值作为后续的编码对象块的位移矢量预测所使用的矢量值（S410）。接着，向减法器106、加法器111输出DVrefss作为预测图像（S411）。

最后，将DVsel和DVresult输出到熵编码部115（S412），结束编码对象块单位的处理。当该编码对象块不是片最后的块时（S413：否），更新编码对象块（S414），返回S400。当为片最后的块时（S413：是），片单位的位移预测模式判断处理结束。

第一实施例的本发明的发明点在于，为了与以往方法相比更充分地灵活运用图像信号具有的自我相似性、纹理的相似性，而将缩小参照图像后的块追加为预测对象信号，与表示是否进行了缩小的信息一起编码，从而生成与编码块的相关性高的预测块。其结果是能够提高以往方式中帧内的图像信号预测精度。关于位移矢量值，在通常位移预测模式和缩小位移预测模式中根据缩小率修正位移矢量的预测值，从而能够恰当地进行基于相邻块的位移矢量预测，能够避免位移矢量信息的码量增大。

另外，在成为参照图像的局部解码图像中，由于编码恶化的影响而产生在输入图像中不存在的失真成分的增加、高频分量的减少，导致与编码对象块的相关性降低，但在生成缩小图像的处理中，失真成分作为高频分量而被除去，并且作为缩小图像的像素基准下的频率分量，其高频分量在编码后残留很多，因此相关性的降低受到抑制，作为与编码块的相关性更高的预测块而被用于预测处理。

其结果，能够尤其提高高压缩时的帧内预测效率，实现高编码效率。

〔实施例2〕

接着，说明作为本发明第二实施例的图像编码装置、图像解码装置的方式。第一实施例是仅利用帧内相关的图像编解码装置的实施例，但第二实施例是利用帧内相关和帧间相关的、可灵活运用动图像的时间相关的图像编解码装置的实施例。

图5是表示本发明第二实施例的图像编码装置的方式的结构图。如图5所示那样，本实施例的图像编码装置包括具有与第一实施例同样功能的输入端子100、输入图像缓存器101、块划分部102、位移矢量检测部103、缩小图像位移矢量检测部104、位移预测模式判断/信号生成部105、减法器106、正交变换部107、量化部108、逆量化部109、逆正交变换部110、加法器111、帧内解码图像存储器112、缩小解码图像存储器114、熵编码部115、流缓存器116、输出端子117、码量控制部118，和相对于第一实施例具有增加的处理的缩小图像生成部513，以及增加的处理块即帧内预测部519、去块滤波器（deblock filter）520、参照图像存储器521、运动矢量检测部522、运动补偿预测部523、模式判断部524及图像分析部525。

在所增加的处理块中，说明实施在MPEG4-AVC中定义的处理的处理块的动作，帧内预测部519从块划分部102接受编码对象块，使用位于帧内解码图像存储器112内的、相邻的已编码区域的解码图像，来进行MPEG4-AVC中所进行的帧内预测处理。帧内预测部519选择预测图像与编码对象块的相关性最高的帧内预测模式，将帧内预测图像和帧内预测模式信号、以及误差评价值输出到模式判断部524。另外，由加法器111输出的局部解码图像在去块滤波器520中被实施用于去除编码处理单位的块边界的失真的滤波处理，并存储在参照图像存储器521中。运动矢量检测部522在从块划分部102取得的编码对象块图像与存储在参照图像存储器521中的参照图像之间进行运动推测。作为一般的运动推测处理，采用块匹配处理，该处理提取出自画面内的同一位置移动了预定移动量的位置的参照图像，将该图像作为预测块时的预测误差最小的移动量作为运动矢量值，一边改变移动量一边进行求取。运动矢量检测部522考虑对运动矢量预测值与运动矢量值的差分进行编码时所需要的码量来检测出最佳的运动矢量值，其中上述运动矢量预测值是基于图13所示那样的相邻的块所使用的运动矢量值而计算出来的。

由运动矢量检测部522求得的运动矢量值被提供给运动补偿预测部523，从多个针对参照图像的预测信号中选择要编码的差分信息最少的预测信号，将选择出的运动补偿预测模式和预测信号输出到模式判断部524。针对上述的处理块，采取适用以往方法的帧内预测和运动补偿预测的结构。

接着，使用图6所示的编码处理的流程图说明进行本发明第二实施例的特征动作的处理块、即图像分析部525、缩小图像生成部513以及模式判断部524的动作。

图6所示的流程图示出以多个编码块定义的1画面的编码处理的工作。

首先，将存储在输入图像缓存器101中的1画面的图像数据输入到图像分析部525，测定1画面内水平、垂直方向的频率分量（S600）。关于测定方法，可以使用基于傅里叶变换的频率分析、基于小波变换的频率解析等，但在本实施例中，存储在水平、垂直方向分别施以一维离散傅里叶变换FFT（Fast Fourier Transfer）后的结果，将画面内整体的结果相加后的值作为测量值。FFT的单位例如取为32像素单位，为了降低解析单位的边界的影响，按每次16像素地移动解析位置。

预先在图像分析部525内准备能够实施多个频带的带限（bandlimiting）的低通滤波器的系数组。滤波器系数的设计方法可以使用现有的数字滤波器设计方法。

接着，选择具有带限特性的水平、垂直用的滤波器系数（S601），该带限特性能够构成最接近测定频率分量的结果的频率分布的缩小图像。作为选择方法，可以采用如下方式，即从使一定频率为阻止频带的滤波器中，选择通过频带最宽的滤波器系数，所述一定频率是指该频率以上的频率分量分布在某阈值之下的频率；也可以针对利用各滤波器系数缩小输入图像后的缩小图像，实际测量1画面内水平、垂直方向的频率分量，选择其频率特性最近似的滤波器系数。

接着，图像分析部525将选择出的滤波器系数或指定系数的参数输出到熵编码部115和缩小图像生成部513。

熵编码部115以追加到例如在MPEG4-AVC（ISO/IEC 14496-10Advanced Video Coding）中所定义的PPS（Picture Parameter Set）等中的形式，对选择出的滤波器系数或指定系数的参数进行编码（S602），作为与1画面整体的编码相关的附加信息。

使用这样选择出的滤波器系数，开始1画面的编码处理。首先，从输入图像划分出编码对象块（S603），在不是I片时（S604：否），进行运动矢量检测、运动补偿预测（S605），并行地进行帧内预测（S606），进行位移矢量检测（S607），进行缩小位移矢量检测（S608）。接着，为了选择将位移预测和缩小位移预测的哪一者用作位移预测，而进行位移模式判定、位移预测（S609）。关于判断方法，采用在第一实施例中说明过的方法。

从该结果计算出的运动矢量预测、帧内预测、位移预测中，模式判断部524选择最佳的预测模式，生成预测图像，并输出到减法器106和加法器111（S610），并且，将预测模式、运动矢量、位移矢量、以及表示是否使用了位移预测中的缩小图像的信息输出到熵编码部115。接着，计算编码对象块与预测图像的差分信号，进行正交变换和量化（S611），对经过量化后的正交变换系数、预测模式、运动矢量、位移矢量、以及表示是否使用了位移预测中的缩小图像的信息进行编码（S612）。

接着，对经过量化后的系数实施逆量化、逆正交变换，将输出信号与预测图像相加（S613），将所生成的局部解码图像存储在帧内解码图像存储器112中（S614）。

缩小图像生成部513基于由加法器111输入的局部解码图像、和由图像分析部525所输入的所选滤波器系数或指定系数的参数，设定在水平、垂直方向实施缩小处理时的滤波器系数，使用该滤波器系数缩小局部解码图像（S615）。缩小图像生成部513将缩小后的局部缩小图像存储在缩小解码图像存储器114中（S616），结束针对对象编码块的编码处理。

当对象编码块是1画面的最终块时（S617：是），去块滤波器520实施针对画面整体的去块滤波，存储在参照图像存储器521中（S618），结束1画面的编码处理。当不是1画面的最终块时（S617：否），更新编码对象块（S619），返回S603。

接着，说明对由本发明第二实施例的图像编码装置所生成的编码比特流进行解码的图像解码装置的方式。

图7是表示本发明第二实施例的图像解码装置的方式的结构图。如图7所示，本实施方式的图像解码装置包括具有与第一实施例同样的功能的输入端子200、流缓存器201、熵解码部202、位移矢量/模式解码部203、逆量化部205、逆正交变换部206、加法器207、帧内解码图像存储器208和输出端子209，和相对于第一实施例具有增加的处理的缩小图像生成部710，以及增加的处理块即缩小滤波器系数解码部711、预测模式解码部712、预测信号选择部713、帧内预测模式解码部714、帧内预测部715、运动矢量解码部716、去块滤波器717、参照图像存储器718和运动补偿预测部719。

关于所增加的处理块中的帧内预测模式解码部714、帧内预测部715、运动矢量解码部716、去块滤波器717、参照图像存储器718及运动补偿预测部719，与图5中第二实施例的图像编码装置的说明同样，是用于对MPEG4-AVC标准下的帧内预测和运动补偿预测进行解码的结构，并非本发明特征的处理块，故省略说明。

接着，使用图8所示的编码处理的流程图说明进行表示本发明第二实施例的特征动作的处理块即缩小滤波器系数解码部711、预测模式解码部712、预测信号选择部713以及缩小图像生成部710的动作。

图8所示的流程图表示以多个编码块所定义的1画面的编码处理的动作。

利用从输入端子200存储在流缓存器201中的编码比特流，在熵解码部202中检测与1画面整体的编码相关的附加信息，输入到缩小滤波器系数解码部711。缩小滤波器系数解码部711对与1画面相关联的参数信息进行解码，对其中所使用的滤波器系数或指定滤波器系数的信息进行解码（S800）。

接下来，开始1画面的解码处理。首先，从熵解码部202输出针对解码对象块的经过量化后的系数到逆量化部205，并且关于解码对象块的附加信息被输出到预测模式解码部712。预测模式解码部712解码关于解码对象块的信息（S801），将解码后的预测模式输出到预测信号选择部713，并且在所解码后的预测模式为帧内预测时（S802：是），在帧内预测模式解码部714中对帧内预测模式进行解码，使用解码后的帧内预测模式，帧内预测部715基于存储在帧内解码图像存储器208中的已解码的相邻像素进行帧内预测（S803），将帧内预测结果输出到预测信号选择部713。

当被解码后的预测模式不是帧内预测时（S802：否），确定被解码后的预测模式是否是运动补偿预测（S804），当是运动补偿预测时（S804：是），使用在运动矢量解码部716中解码后的运动矢量，在运动补偿预测部719中基于存储在参照图像存储器718中的参照图像进行运动补偿（S805），将运动补偿预测结果输出到预测信号选择部713。

当被解码后的预测模式不是运动补偿预测时（S804：否），在位移矢量/模式解码部203中对表示位移预测模式和位移矢量的信息进行解码，输出到位移预测信号生成部204。当被解码后的位移预测模式为缩小位移预测时（S806：是），缩小图像生成部710使用由缩小滤波器系数解码部711输入的缩小滤波器系数信息、和由位移预测信号生成部204输入的表示位移矢量的信息，从帧内解码图像存储器208输入将位移矢量修正为缩小前的位移的矢量值所表示的位置的解码图像，并使用缩小滤波器系数信息所指定的滤波器系数，实施缩小滤波处理，进行缩小位移预测（S807），将缩小位移预测结果输出到位移预测信号生成部204。

当被解码后的位移预测模式不是缩小位移预测时（S806：否），位移预测信号生成部204使用从位移矢量/模式解码部203输入的表示位移矢量的信息，从帧内解码图像存储器208输入自解码对象块移动了位移矢量值后的位置的解码图像信号，生成位移预测信号（S808）。位移预测信号生成部204向预测信号选择部713输出位移预测信号和从缩小图像生成部710输入的缩小位移预测信号中的在解码对象块中所生成的信号。

预测信号选择部713存储从帧内预测部715、运动补偿预测部719、位移预测信号生成部204中的一者所输入的预测信号（S809），将其输出到加法器207。

由熵解码部202输出的经过量化后的系数被实施逆量化、逆正交变换，输出信号和预测信号在加法器207中相加（S810），生成解码图像。所生成的解码图像存储在帧内解码图像存储器208中（S811），针对解码对象块的解码处理结束。

当解码对象块是1画面最后的块时（S812：是），在去块滤波器717中实施针对画面整体的去块滤波，将其存储在参照图像存储器718中（S813），结束1画面的解码处理。

另一方面，当解码对象块不是1画面最后的块时（S812：否），更新解码对象块的位置（S814），返回S801。

在第二实施例中，基于测定输入图像的频带特性的结果来设定使作为模板来使用的已编码的解码图像缩小的带限滤波器的特性，并从多个可定义的滤波器参数中进行选择，从而能够以缩小图像生成与输入图像的信号特性近似的模板，并且即使在解码图像的恶化较大时，由于在缩小图像生成时所保存的分量是缩小前的中、低频带分量，故编码恶化的影响较少，用作模板的信号的品质得到保证，能够生成因编码恶化导致的预测效率降低的影响较小的预测信号。因此，具有预测效率比以往方法高，编码效率变高的效果。

另外，通过从与带限特性相应的预先设定的滤波器组中按画面单位选择用于生成缩小滤波器的信息，能够以较少的信息进行控制，能够抑制附加信息的增加。

此外，将本发明第二实施例的编码装置在数字照相机、摄录像机（camcorder）等光学特性能够特定的装置中使用时，也可以在图像分析部525中输入输入装置（照相机）的特性信息，设定生成缩小图像时的缩小滤波器系数，能够发挥同样的效果。

〔实施例3〕

接着，说明作为本发明第三实施例的图像编码装置的方式。第三实施例与第二实施例的结构相比，并不是进行基于频率分析的缩小滤波器系数的确定，而是通过测定伴随于缩小图像与输入图像的位移的预测效率，来设定最佳的缩小滤波器系数，用于编解码处理的结构。因此，第三实施例的图像解码装置能够用与第二实施例中的图像解码装置相同的结构实现，因此仅进行编码装置的说明。

图9是表示作为本发明第三实施例的图像编码装置的方式的结构图。第三实施例的图像编码装置的结构相对于图5所示的第二实施例的图像编码装置的结构来说，不同点在于取代图像分析部525而采用了缩小滤波器选择部925和缩小图像相关检测部926。

使用图10所示的第三实施例的编码处理流程图说明缩小滤波器选择部925和缩小图像相关检测部926的动作。

图10所示的第三实施例的编码处理流程图是相对于图6所示的第二实施例的编码处理流程图，取代S600和S601的处理而实施S1000、S1001和S1002的处理的流程。

首先，将存储在输入图像缓存器101中的1画面的图像数据输入到缩小滤波器选择部925，使用具有预先准备的多个不同的频带特性的滤波器，生成多个缩小图像（S1000）。

接着，输入图像和通过各缩小滤波器而生成的输入图像的缩小图像被从缩小滤波器选择部925输出到缩小图像相关检测部926，在缩小图像相关检测部926中，检测各缩小图像与输入图像的位移矢量，通过累计检测时的预测误差值（S1001）而测出相关性。关于检测位移矢量时的处理单位，可以与在编码时采用的位移预测的块单位相同，也可不同，另外，也可以检测相对于1画面全部区域的位移矢量，还可以决定特定的区域来检测位移矢量，还可以在输入图像中抽取出与对象块相邻相关少的块，来检测相对于抽取出的块的位移矢量。

使用各缩小滤波器系数时的预测误差的累计值被从缩小图像相关检测部926输出到缩小滤波器选择部925，在缩小滤波器选择部925中比较累计值，选择累计值最小的缩小滤波器系数，设定为滤波器系数（S1002）。

缩小滤波器选择部925将所选择的滤波器系数或指定系数的参数输出到熵编码部115和缩小图像生成部513。

熵编码部115与第二实施例同样，以追加到例如MPEG4-AVC（ISO/IEC 14496-10 Advanced Video Coding）中所定义的PPS（Picture Parameter Set）等中的形式，对所选择的滤波器系数或指定系数的参数进行编码（S602），作为与1画面整体的编码相关联的附加信息。

关于以后的1画面的编码处理，实施与第二实施例同样的处理，因此省略说明。

在第三实施例中，关于使作为模板来使用的已编码的解码图像缩小的带限滤波器的特性，以检测位移矢量的方式测定输入图像与利用多个可定义的滤波器参数对输入图像施以频带限制后的缩小图像之间的相关度，根据所测定的结果选择滤波器参数，从而能够生成对输入图像实际实施位移预测时的相关性高的缩小图像。

因此，能够通过缩小图像生成更适于作为编码处理中的预测信号的模板，能够更加提高预测精度。

在第三实施例中，关于在缩小图像相关检测部926中求得的位移矢量值，也可以在将检测位移矢量的二维块的单位取为与编码对象块相同时，将其输出到缩小图像位移矢量检测部104，从而直接作为使用了缩小解码图像的位移矢量值来使用，另外也可以当作位移矢量检测时的基准值（针对该矢量值的周边N像素，测定预测误差值，检测位移矢量）。

另外，第一、第二、第三实施例所提示的图像编码装置和图像解码装置在物理上能够用具有CPU（中央处理装置）、存储器等记录装置、显示器等显示装置、以及至传输路径的通信单元的计算机来实现，能够将具有所提示的各种功能的单元作为计算机上的程序来实现并加以执行。

〔标号说明〕

100    输入端子

101    输入图像缓存器

102    块划分部

103    位移矢量检测部

104    缩小图像位移矢量检测部

105    位移预测模式判断/信号生成部

106    减法器

107    正交变换部

108    量化部

109    逆量化部

110    逆正交变换部

111    加法器

112    帧内解码图像存储器

113    缩小图像生成部

114    缩小解码图像存储器

115    熵编码部

116    流缓存器

117    输出端子

118    码量控制部

200    输入端子

201    流缓存器

202    熵解码部

203    位移矢量/模式解码部

204    位移预测信号生成部

205    逆量化部

206    逆正交变换部

207    加法器

208    帧内解码图像存储器

209    输出端子

210    缩小图像生成部

513    缩小图像生成部

519    帧内预测部

520    去块滤波器

521    参照图像存储器

522    运动矢量检测部

523    运动补偿预测部

524    模式判断部

525    图像分析部

710    缩小图像生成部

711    缩小滤波器系数解码部

712    预测模式解码部

713    预测信号选择部

714    帧内预测模式解码部

715    帧内预测部

716    运动矢量解码部

717    去块滤波器

718    参照图像存储器

719    运动补偿预测部

925    缩小滤波器选择部

926    缩小图像相关检测部

〔产业上的可利用性〕

本发明能够用于图像信号的编解码技术。

Claims (5)

1.一种图像编码装置，其特征在于，包括：

位移矢量检测部，针对编码对象块，使用已被编码了的同一图像信号内的块的局部解码图像来检索与编码对象块相关性高的信号，将相关性最高的信号作为位移预测信号，计算出上述编码对象块与上述位移预测信号的画面内的位移、即位移矢量，

图像分析部，接受输入图像的画面单位的频率特性作为测定或输入信息，选择缩小图像的频率特性接近于输入图像的频率特性的滤波器系数作为生成缩小图像时使用的缩小滤波器系数，

缩小图像生成部，生成相对于已被编码的同一图像信号内的块的局部解码图像，在水平和垂直的至少一方缩小了的信号，

缩小图像位移矢量检测部，针对编码对象块，使用上述缩小图像生成部所生成的缩小了的信号，检索与编码对象块相关性高的信号，将相关性最高的信号作为缩小位移预测信号，求出被缩小了的编码对象块与上述缩小位移预测信号的画面内的位移、即位移矢量，以及

位移预测模式判断/信号生成部，从上述位移预测信号和上述缩小位移预测信号中选择与编码对象块相关性高的信号作为预测信号，输出被选择的信号所使用的位移矢量和表示所选择的结果的信息；

其中，在上述缩小图像生成部中，使用在上述图像分析部中选择的缩小滤波器系数来生成缩小了的信号；

本图像编码装置对上述预测信号与上述编码对象块的差分信号、上述位移矢量、以及上述表示所选择的结果的信息进行编码。

2.一种图像编码装置，其特征在于，包括：

位移矢量检测部，针对编码对象块，使用已被编码了的同一图像信号内的块的局部解码图像来检索与编码对象块相关性高的信号，将相关性最高的信号作为位移预测信号，计算出上述编码对象块与上述位移预测信号的画面内的位移、即位移矢量，

缩小图像相关检测部，计算出表示输入图像与在具有多个带限特性的滤波器中缩小了上述输入图像的缩小图像之间的相关性的值，

缩小滤波器选择部，从所计算出的表示相关性的值中，选择生成相关性最高的缩小图像的滤波器的系数作为缩小滤波器系数，

缩小图像生成部，生成相对于已被编码的同一图像信号内的块的局部解码图像、在水平和垂直的至少一方缩小了的信号，

缩小图像位移矢量检测部，针对编码对象块，使用上述缩小图像生成部所生成的缩小了的信号，检索与编码对象块相关性高的信号，将相关性最高的信号作为缩小位移预测信号，求出被缩小了的编码对象块与上述缩小位移预测信号的画面内的位移、即位移矢量，以及

位移预测模式判断/信号生成部，从上述位移预测信号和上述缩小位移预测信号中选择与编码对象块相关性高的信号作为预测信号，输出被选择的信号所使用的位移矢量和表示所选择的结果的信息；

其中，在上述缩小图像生成部中，使用在上述缩小滤波器选择部中选择的缩小滤波器系数来生成缩小了的信号；

本图像编码装置对上述预测信号与上述编码对象块的差分信号、上述位移矢量、以及上述表示所选择的结果的信息进行编码。

3.一种图像解码装置，其特征在于，包括：

位移矢量/模式解码部，从按块单位被实施了编码的编码流中，针对解码对象块，解码位移矢量和表示是否将在上述位移矢量中所指定的上述解码图像缩小来生成预测信号的位移预测模式，其中所述位移矢量是基于已被解码了的同一图像信号内的块的解码图像而生成的预测信号与上述解码对象块的画面内的位移，

缩小滤波器系数解码部，其从上述编码流中解码出指定在生成缩小图像时所使用的滤波器系数的信息，以及

位移预测信号生成部，根据上述位移矢量、表示是否将上述解码图像缩小来生成预测信号的所述位移预测模式、以及指定在生成上述缩小图像时所使用的滤波器系数的信息，基于上述解码图像来生成预测信号；

本图像解码装置通过将上述预测信号与差分信号相加来计算出解码图像，其中所述差分信号相当于从上述编码流中解码出的上述预测信号与上述解码对象块的差分。

4.一种图像编码方法，其特征在于，包括：

位移矢量检测步骤：针对编码对象块，使用已被编码了的同一图像信号内的块的局部解码图像来检索与编码对象块相关性高的信号，将相关性最高的信号作为位移预测信号，计算出上述编码对象块与上述位移预测信号的画面内的位移、即位移矢量，

图像分析步骤：接受输入图像的画面单位的频率特性作为测定或输入信息，选择缩小图像的频率特性接近于输入图像的频率特性的滤波器系数作为生成缩小图像时使用的缩小滤波器系数，

缩小图像生成步骤：生成相对于已被编码的同一图像信号内的块的局部解码图像，在水平和垂直的至少一方缩小了的信号，

缩小图像位移矢量检测步骤：针对编码对象块，使用上述缩小图像生成部所生成的缩小了的信号，检索与编码对象块相关性高的信号，将相关性最高的信号作为缩小位移预测信号，求出被缩小了的编码对象块与上述缩小位移预测信号的画面内的位移、即位移矢量，以及

位移预测模式判断/信号生成步骤：从上述位移预测信号和上述缩小位移预测信号中选择与编码对象块相关性高的信号作为预测信号，输出被选择的信号所使用的位移矢量和表示所选择的结果的信息；

其中，在上述缩小图像生成步骤中，使用在上述图像分析步骤中选择的缩小滤波器系数来生成缩小了的信号；

本图像编码方法对上述预测信号与上述编码对象块的差分信号、上述位移矢量、以及上述表示所选择的结果的信息进行编码。

5.一种图像解码方法，其特征在于，包括：

位移矢量/模式解码步骤：从按块单位被实施了编码的编码流中，针对解码对象块，解码位移矢量和表示是否将在上述位移矢量中所指定的上述解码图像缩小来生成预测信号的位移预测模式，其中所述位移矢量是基于已被解码了的同一图像信号内的块的解码图像而生成的预测信号与上述解码对象块的画面内的位移，

缩小滤波器系数解码步骤：从上述编码流中解码出指定在生成缩小图像时所使用的滤波器系数的信息，以及

位移预测信号生成步骤：根据上述位移矢量、表示是否将上述解码图像缩小来生成预测信号的所述位移预测模式、以及指定在生成上述缩小图像时所使用的滤波器系数的信息，基于上述解码图像来生成预测信号；

本图像解码方法通过将上述预测信号与差分信号相加来计算出解码图像，其中所述差分信号相当于从上述编码流中解码出的上述预测信号与上述解码对象块的差分。