CN103404150A - 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序及图像解码程序 - Google Patents

Abstract

图像编码装置按每个编码对象块将在块内具有类似的图像信号的区域作为被摄物体对待，将代表各被摄物体的一个像素值与被摄物体标识符对应地设定为被摄物体像素值。被摄物体图生成部生成用被摄物体标识符表示块内的各像素属于哪个被摄物体的被摄物体图。预测图像生成部使用被摄物体图来生成在编码对象块的预测中使用的预测图像。被摄物体图编码部参照在对完成编码的参照区域进行编码时使用的被摄物体图对被摄物体图进行编码。

Description

图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序及图像解码程序

技术领域

本发明涉及距离图像的编码及其解码技术。

本申请基于2011年3月14日在日本申请的特愿2011－055238号要求优先权，在此引用其内容。

背景技术

距离图像是将从摄影机（camera）到被摄物体的距离表现为像素值的图像。因为从摄影机到被摄物体的距离也可以称为场景的纵深，所以有时也将距离图像称为纵深图像。此外，因为纵深也称为深度（Depth），所以有时也称为深度图（Depth Map）。在计算机图形领域中，因为深度为积蓄在Z缓冲器中的信息，所以有时也称为Z图像或Z图。另外，除了从摄影机到被摄物体的距离以外，有时也将相对于在表现对象空间上展开的三维坐标系的Z轴的坐标值作为距离（深度）使用。一般来说，对所拍摄的图像将水平方向设为X轴、将垂直方向设为Y轴，因此Z轴与摄影机的朝向一致，但是也存在对多个摄影机使用共同的坐标系的情况等Z轴与摄影机的朝向不一致的情况。以下，将距离/纵深/Z值不区分地称为距离信息，将距离信息表示为像素值的图像称为距离图像。

在将距离信息表示为像素值时，有如下方法，即，将与物理量对应的值直接作为像素值的方法、使用将最小值与最大值之间量化为某个数而得到的值的方法、以及使用以某个步长对与最小值的差进行量化而得到的值的方法。在欲表现的范围被限制的情况下，使用最小值等附加信息更能高精度地表现距离信息。

此外，在等间隔地进行量化时，有对物理量直接进行量化的方法和对物理量的倒数进行量化的方法。因为一般来说距离信息的倒数是与视差成比例的值，所以在需要高精度地表现距离信息的情况下，使用前者的情况较多，在需要高精度地表现视差信息的情况下，使用后者的情况较多。以下，与距离信息的像素值化的方法、量化的方法无关地将距离信息被表现为图像的图像全部称为距离图像。

作为距离图像的利用用途之一，有立体图像。在一般的立体图像的表现中，是由观测者的右眼用图像和左眼用图像构成的立体（stereo）图像，但是能使用某个摄影机中的图像及其距离图像来表现立体图像（详细的技术参照非专利文献1）。

在对这样的使用一个视点处的影像和距离图像来表现的立体影像进行编码的方式中，能使用MPEG–C Part. 3（ISO/IEC 23002–3）（详细的内容参照非专利文献2）。

通过对多个视点具有影像和距离图像，从而与在单视点的情况下能表现的立体影像相比，能表现具有更大的视差的立体影像（细节参照非专利文献3）。

此外，除了表现这样的立体影像的用途以外，距离图像还被用作生成鉴赏者不用在意拍摄摄影机的配置而能自由地移动视点的自由视点影像的数据之一。有时将这样的假设从与拍摄摄影机不同的摄影机观察场景时的合成图像称为假想视点图像，在基于图像的绘制（Image-based Rendering）领域中正热烈地研究该生成法。作为根据多视点的影像和距离图像生成假想视点影像的代表性的方法，有非专利文献4所记载的方法。

因为距离图像由一个成分（component）构成，所以能看作是灰度（gray scale）图像。此外，因为被摄物体在实空间上连续地存在，不能瞬间移动到离开的位置，所以可以说与图像信号同样地具有空间相关和时间相关。

因此，利用为了对通常的图像信号、影像信号进行编码而使用的图像编码方式、动态图像编码方式，能对距离图像、距离动态图像一边除去空间冗长性、时间冗长性，一边有效地进行编码。实际上，在MPEG–C Part. 3中，使用现有的动态图像编码方式来进行编码。

在此，对以往的一般的影像信号的编码方式进行说明。一般来说，因为被摄物体在实空间上具有空间的连续性和时间的连续性，所以其视觉效果在空间上和时间上具有高的相关。在影像信号的编码中，利用这样的相关性来实现高的编码效率。

具体地说，根据已经完成编码的影像信号预测编码对象块（block）的影像信号，仅对其预测残差进行编码，由此减少需要进行编码的信息的量，实现高的编码效率。作为代表性的影像信号的预想的方法，有根据邻接的块在空间上生成预测信号的帧内预测、根据在不同的时刻拍摄的编码完成帧估计被摄物体的运动来在时间上生成预测信号的运动补偿预测。

此外，关于被称为预测残差信号的预测的误差，也为了利用空间的相关和人类的视觉特性而使用DCT等将预测残差信号变换为频率空间中的数据，将残差信号的能量集中在低频区域，由此有效地进行编码。各方法的细节请参照动态图像国际标准规范的MPEG–2、H. 264/MPEG–4 AVC（非专利文献5）。

现有技术文献

非专利文献

非专利文献1：C. Fehn， P. Kauff， M. Op de Beeck， F. Emst， W. IJsselsteijn， M. Pollefeys， L. Van Gool， E. Ofek and I. Sexton，“An Evolutionary and Optimised Approach on 3D-TV，” Proceedings of International Broadcast Conference， pp.357-365， Amsterdam， The Netherlands， September 2002.；

非专利文献2：W.H.A. Bruls， C. Varekamp， R. Klein Gunnewiek， B. Barenbrug and A. Bourge，“Enabling Introduction of Stereoscopic (3D) Video: Formats and Compression Standards，” Proceedings of IEEE International Conference on Image Processing， pp.I-89-I-92， San Antonio， USA， September 2007.；

非专利文献3：A. Smolic， K. Mueller， P. Merkle， N. Atzpadin， C. Fehn， M. Mueller， O. Schreer， R. Tanger， P. Kauff and T. Wiegand， “Multi-view video plus depth (MVD) format for advanced 3D video systems，” Joint Video Team of ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6， Doc. JVT-W100， San Jose， USA， April 2007.；

非专利文献4：C. L. Zitnick， S. B. Kang， M. Uyttendaele， S. A. J. Winder， and R. Szeliski，“High-quality Video View Interpolation Using a Layered Representation，” ACM Transactions on Graphics， vol.23， no.3， pp.600-608， August 2004.；

非专利文献5：Recommendation ITU-T H.264，“Advanced video coding for generic audiovisual services，” March 2009.。

发明内容

发明要解决的课题

被摄物体由于在实空间上是连续的，所以具有高的空间相关，由于不可能瞬间移动到离开的位置，所以具有高的时间相关。因此，通过使用利用了空间相关和时间相关的现有的动态图像编码方式，从而能对表示为灰度图像的距离图像有效地进行编码。

然而，因为距离信息在被摄物体内部变化少，而在被摄物体间却存在非常大的差异，所以空间的预测结果或时间的预测结果是以下的任一个，即，要么能实现正确的预测，预测残差变得非常小，要么完全不能进行有效的预测，预测残差变得非常大。即，在预测残差信号生成强的边缘（edge）。当使用DCT等将这样的强的边缘变换为频率空间中的数据时，不能使残差信号的能量集中在低频区域，会产生许多高频成分。其结果是，不能对残差信号有效地进行编码。

在图1中示出了某个距离图像的9×9像素的块的一个例子。在该块中存在两个被摄物体，一个被摄物体的像素值为50左右，另一个被摄物体的像素值为200左右。在空间的预测中，使用该块的第一行和第一列的信息来对剩余的8×8像素进行预测。即，用与上侧及左侧邻接的邻接像素的像素值来预测8×8像素的处理对象块的像素值。

虽然在预测的方法中有各种各样的方法，但是在此示出了在H. 264中采用的代表性的两个预测方法，即水平预测和垂直预测这两个的例子。如图的中央列所示，对预测残差大致地进行划分，只存在–150左右、0左右、150左右这3种值，产生相当大的边缘。

对该预测残差施加了8×8的二维DCT（离散余弦变换）的结果是最右的列。直流（DC）成分为图的最深处，越向左右走，越表示高频。根据图可知，在任一种情况下，都会在大部分的高频区域产生大的信号，残差信号的紧凑化失败。

虽然也能不进行预测而仅使用DCT等的变换来进行编码，但是不能除去与其它块的空间的相关，进而编码效率劣化。此外，虽然也能不进行DCT等的变换而进行编码，但是在该情况下，不能利用块内的局部的相关，不能实现有效的编码。

本发明是鉴于这样的情况而完成的，其目的在于，提供一种对距离图像这样的像素值较大地依赖于对象（object）的图像，通过使用每个对象的代表像素值和对象识别信息，从而有效地对距离图像这样的像素值较大地依赖于对象的图像进行编码的关于图像编码的技术及对其比特流进行解码的关于图像解码的技术。

用于解决课题的方案

在本发明的图像编码中，进行以下的处理。

（1）将块内存在的被摄物体的数量设定为被摄物体数。

（2）假定在块内存在与被摄物体数相等的被摄物体，按每个被摄物体将一个像素值设定为被摄物体像素值。

（3）将识别被摄物体的被摄物体标识符与被摄物体像素值对应起来，根据块内的各像素的像素值和被摄物体像素值，生成被摄物体图，所述被摄物体图用被摄物体标识符示出在块内的各像素拍摄有哪个被摄物体。

（4）将在对块周边的编码完成块的图像（影像）信号进行编码时使用的被摄物体图设定为参照被摄物体图。

（5）按照被摄物体图对各像素分配被摄物体像素值的值，由此生成针对块的预测图像。

（6）一边使用参照被摄物体图进行预测一边对被摄物体图进行编码。

（7）使用预测图像对针对块的图像信号进行预测编码。

（8）对于被摄物体数，存在进行编码的情况和不进行编码的情况。在上述（1）的设定被摄物体数的步骤中，在只使用解码侧可参照的信息设定被摄物体数的情况下，不进行编码。在除此以外的情况下进行编码。作为不进行编码的情况，例如有设定预先确定的被摄物体数的情况、根据块周边的完成编码的块的图像信息、被摄物体数进行预测来设定的情况等。作为进行编码的情况，例如有分析块内的像素值来进行设定的情况。另外，关于编码，有直接对被摄物体数进行编码的方法、为了减少被摄物体数的码量而只使用解码侧可参照的信息生成预测值，对与该预测值的差分值进行编码的方法。

（9）对于被摄物体像素值，也有进行编码的情况和不进行编码的情况。在上述（2）的设定被摄物体像素值的步骤中，在只使用解码侧可参照的信息设定被摄物体像素值的情况下不进行编码。在除此以外的情况下进行编码。作为不进行编码的情况，例如有根据块周边的完成编码的块的图像信息、被摄物体像素值进行预测来进行设定的情况等。作为进行编码的情况，例如有分析块内的像素值来进行设定的情况。另外，关于编码，有直接对被摄物体像素值进行编码的方法、为了减少被摄物体像素值的码量而只使用解码侧可参照的信息生成预测值，对与该预测值的差分值进行编码的方法。在预测值的生成中，能使用块周边的完成编码的块的图像信息、被摄物体像素值、按编码顺序先进行编码的被摄物体像素值。

（10）对以上的被摄物体图的代码数据、图像信号的代码数据进行多路复用并输出，进而，在对被摄物体数进行编码的情况下对其代码数据进行多路复用并输出，此外，在对被摄物体像素值进行编码的情况下，对其代码数据进行多路复用并输出。

像以上那样，在本发明中，为了生成预测图像，使用作为被摄物体的代表性的像素值的被摄物体像素值和按每个像素示出使用哪个被摄物体像素值生成预测图像的被摄物体图这两个附加信息。与在预测图像的生成中使用称为“预测方向”的信息的现有技术相比，在本发明中，虽然附加信息的码量增加，但是通过生成正确的预测图像，从而能大幅减少预测残差的编码所需的码量，能削减作为总数的块平均所需的码量。

进而，因为被摄物体在空间上连续，所以在各像素中拍摄有与邻接的像素相同的被摄物体的可能性很高。因此，在对表现被摄物体的种类的被摄物体图进行编码时，通过参照对周边块进行编码时使用的被摄物体图来预测针对块的被摄物体图的各像素中的被摄物体或控制被摄物体的存在概率，从而能削减所需的码量。

此外，在本发明中，也可以将对块周边的编码完成块进行编码时使用的被摄物体像素值与在上述（2）中设定的被摄物体像素值进行比较，生成将对块周边的编码完成块进行编码时使用的被摄物体标识符置换为在上述（3）中使用的被摄物体标识符的置换矩阵，在上述（4）的设定参照被摄物体图的步骤中，通过使用生成的置换矩阵对在对块周边的编码完成块进行编码时使用的被摄物体图内的被摄物体标识符进行置换，从而生成参照被摄物体图。通过使对应于在参照被摄物体图中使用的被摄物体标识符的被摄物体与对应于在被摄物体图中使用的被摄物体标识符的被摄物体一致，从而即使在块间存在不同的被摄物体的情况下，也能正确地利用被摄物体图中的空间相关。

此外，在本发明中，也可以积蓄对使用预测图像在上述（7）中生成的代码数据进行解码而得到的解码图像，在上述（4）的设定参照被摄物体图的步骤中，使用针对块周边的编码完成块积蓄的解码图像，通过对与各像素的像素值最接近的被摄物体像素值分配在上述（3）中对应起来的被摄物体标识符，从而生成参照被摄物体图。在对周边块进行编码时未使用被摄物体图的情况下，通过使用针对编码对象的块的被摄物体像素值对周边块分配被摄物体标识符，从而能生成参照被摄物体图，能利用针对块间的被摄物体的存在的相关有效地对被摄物体图进行编码。

此外，在本发明中，也可以使用参照被摄物体图的边缘信息设定分割块的方法，按照该分割方法将被摄物体图变换为用树结构表示的被摄物体图，在上述（6）的对被摄物体图进行编码的步骤中，使用参照被摄物体图对用树结构表示的被摄物体图进行编码。通过按照周边块中的被摄物体的分布来决定分割方法，从而能构筑利用空间相关的树结构，能用更少的码量实现编码。

在本发明的解码处理中，进行以下的处理。

（1）将块内存在的被摄物体的数量设定为被摄物体数。在该被摄物体数的设定中，有设定对代码数据进行解码而得到的被摄物体数的情况和只使用在周边块等中已经完成解码的信息设定被摄物体数的情况。作为不根据代码数据来进行解码的情况，例如有设定预先确定的被摄物体数的情况、根据块周边的完成解码的块的图像信息、被摄物体数进行预测来进行设定的情况等。另外，在对被摄物体数进行解码时，有根据代码数据对被摄物体数其本身进行解码的情况和只使用在周边块等已经完成解码的信息生成预测值，根据代码数据只对与该预测值的差分值进行解码的情况。

（2）按各被摄物体标识符的每一个设定一个被摄物体像素值。在该被摄物体像素值的设定中，有设定对代码数据进行解码而得到的被摄物体像素值的情况和只使用在周边块等中已经完成解码的信息来设定被摄物体像素值的情况。作为不根据代码数据来进行解码的情况，例如有根据块周边的完成解码的块的图像信息、被摄物体像素值进行预测来进行设定的情况等。另外，关于解码，有对被摄物体像素值其本身进行解码而直接得到的情况和只使用在周边块等中已经完成解码的信息生成预测值，对与该预测值的差分值进行解码而间接地获取的情况。在预测值的生成中，能使用块周边的完成解码的块的图像信息、被摄物体像素值和在解码过程中的块中按解码顺序先进行解码的被摄物体像素值。

（3）将在对块周边的解码完成块进行解码时使用的被摄物体图设定为参照被摄物体图。

（4）一边使用参照被摄物体图进行预测，一边根据成为解码对象的代码数据对被摄物体图进行解码。

（5）通过按照被摄物体图对各像素分配被摄物体像素值的值，从而生成针对块的预测图像。

（6）使用预测图像根据代码数据对针对块的图像信号进行解码。

由此，能对通过上述图像编码进行编码的图像进行解码。

此外，在本发明中，也可以将在对块周边的解码完成块进行解码时使用的被摄物体像素值与在上述（2）中设定的被摄物体像素值进行比较，生成将在对块周边的解码完成块进行解码时使用的被摄物体标识符置换为针对解码的块的被摄物体标识符的置换矩阵，在上述（3）的设定参照被摄物体图的步骤中，通过使用生成的置换矩阵对在对块周边的解码完成块进行解码时使用的被摄物体图内的被摄物体标识符进行置换，从而生成参照被摄物体图。

此外，在本发明中，也可以积蓄在上述（6）得到的解码图像，在上述（3）的设定参照被摄物体图的步骤中，通过使用针对块周边的块进行积蓄的解码图像来分配与各像素的像素值最接近的被摄物体像素值的被摄物体标识符，从而生成参照被摄物体图。

此外，在本发明中，也可以使用参照被摄物体图的边缘信息，设定分割块的方法，在上述（4）的对被摄物体图进行解码的步骤中，使用参照被摄物体图，按照设定的分割方法对用树结构表示的被摄物体图进行解码。

发明效果

根据本发明，针对像距离图像那样的像素值较大地依赖于对象、局部只存在有限的数量的被摄物体的图像，对图像整体进行分割，对每个区域，使用被摄物体的存在的空间上的连续性，通过预测在各像素拍摄的被摄物体的种类，从而在使用了每个被摄物体的代表像素值和用于识别各像素中的被摄物体的种类的信息的图像信号预测中，能削减所需的附加信息的码量，能实现有效的图像编码。

附图说明

图1是说明本发明的课题的图。

图2是示出根据本发明的第一实施方式的图像编码装置的结构例的框图。

图3是根据第一实施方式的图像编码装置的处理流程图。

图4是示出被摄物体图的例子的图。

图5是对各像素的被摄物体标识符进行编码的处理的流程图。

图6是对树结构被摄物体图进行编码的处理的流程图。

图7是示出树结构被摄物体图的例子的图。

图8是示出树结构被摄物体图的例子的图。

图9是说明使用被摄物体标识符的信息设定可变的块分割的例子的图。

图10是说明以沿边缘的朝向的形式设定块分割的例子的图。

图11是示出图像编码装置的其它结构例的框图。

图12A是设定参照被摄物体图的处理的流程图。

图12B是设定参照被摄物体图的处理的流程图。

图13是示出图像编码装置的其它结构例的框图。

图14是图像编码装置的处理流程图。

图15是示出根据本发明的第二实施方式的图像解码装置的结构例的框图。

图16是根据第二实施方式的图像解码装置的处理流程图。

图17是示出被摄物体数被编码的情况下的图像解码装置的结构例的框图。

图18是示出被摄物体像素值被编码的情况下的图像解码装置的结构例的框图。

图19是被摄物体标识符被编码的情况下的解码处理的流程图。

图20是被摄物体图的各节点的信息被编码的情况下的解码处理的流程图。

图21是示出图像解码装置的其它结构例的图。

图22是示出图像解码装置的其它结构例的图。

图23是示出由计算机和软件程序构成图像编码装置的情况下的硬件结构例的图。

图24是示出由计算机和软件程序构成图像解码装置的情况下的硬件结构例的图。

具体实施方式

本发明的一个实施方式为了解决上述课题，在图像编码中，在传送或积蓄图像时，将图像帧分割为预先确定的大小的处理区域（以下，也称为块），一边按每个块预测各像素的像素值一边进行编码，假定在块内存在固定数量的被摄物体或按每个块存在可变数量的被摄物体，用称为“代表各被摄物体的像素值（以下，称为被摄物体像素值）”、“各像素的被摄物体识别信息”的信息来表现各块的图像。即，对于块内的一个像素分配示出是哪个被摄物体的一个被摄物体识别信息，在一个被摄物体识别信息对应一个被摄物体像素值。因为按照该信息按每个像素分配最类似的值，所以能生成保持复杂的边缘形状的预测图像。另外，因为块内所包括的被摄物体的数量至多限于几个，所以该信息的量是有限的。

在此所说的被摄物体不是意味着被拍摄的每一个物体或人物其本身，而是赋予信息的对象，例如是具有类似的图像信号（亮度、色彩、深度等）的区域。即，即使是单一物体，在根据场所而具有不同的颜色的情况下，也看作是多个被摄物体。此外，无需对图像信号进行编码的物体、物体的一部分不看作是被摄物体。即，被摄物体与帧内的实对象（被摄物体）无关，未赋予信息的实对象并不是在本发明中所说的“被摄物体”。此外，在对一个实对象赋予两个信息的情况下，分别作为不同的被摄物体来对待。

对在本发明及其实施方式的说明中使用的用语进行说明。

“被摄物体数”：被摄物体数是存在于块内的“被摄物体”的数量，是赋予信息的对象的个数。通过对块内的像素值进行解析，从而能生成被摄物体数。例如，能使用像素值、位置等信息对块内的像素进行聚类（clustering），将各类的评价值（例如，像素值的离散）为固定值以下的类数的最大值作为被摄物体数。此外，也能基于经验等从外部给出、或者使用预先确定的值。被摄物体数是为了表现作为附加信息之一的被摄物体像素值的个数而使用的。此外，也为了表现在被摄物体图中出现的被摄物体标识符的最大值而被使用。

“被摄物体像素值”：被摄物体像素值是对“被摄物体”定义一个的值，是代表该“被摄物体”的像素值。作为像素值，能使用亮度值、色差值、R值等。此外，也有使用RGB值等多个颜色成分值的集合的情况。通过对块内的像素值进行解析，从而生成被摄物体像素值。具体地说，使用像素值、位置等信息将块内的像素聚类为“被摄物体数”的类，按各类的每一个对所包含的像素的像素值计算平均值或中央值，由此得到被摄物体像素值。通过对块内的各像素分配与该像素的“被摄物体”对应的被摄物体像素值，从而用于生成该块的预测图像。

“被摄物体图”：被摄物体图是示出了在块内的各像素存在哪个“被摄物体”的图。具体地说，是用与“被摄物体”（被摄物体像素值）对应起来的被摄物体标识符表现各像素的图。在最简单的表现中能表现为二维信息，但是也能使用树结构来表现。通过对块内的各像素分配与最接近该像素值的被摄物体像素值对应的被摄物体标识符，从而生成被摄物体图。另外，不仅鉴于像素值与被摄物体像素值的类似度，有时也鉴于被摄物体图本身的表现所需的比特数而生成。被摄物体图是为了在生成预测图像时示出对块内的各像素分配了哪个被摄物体像素值而被使用的。

“附加信息”：在本发明中将为了预测处理对象帧的图像（影像）信号而使用的信息称为附加信息。附加信息以进行处理的块单位生成。附加信息基本上由被摄物体数、被摄物体像素值、被摄物体图这三个信息构成。

在本发明中，在对图像整体进行分割而一边按每个区域预测图像信号一边进行编码的情况下，通过利用物体针对像素的大小具有某种程度的体积、在空间上连续存在的性质，从而根据处理区域周边的已经结束处理的区域的各像素中的被摄物体的种类的信息，预测在处理区域内的各像素拍摄的被摄物体的种类。由此，能减少进行使用了代表处理区域内的各被摄物体的像素值和用于识别处理区域内的各像素的被摄物体的种类的信息的、与任意的被摄物体形状对应的高精度的图像信号预测时所需的“用于识别处理区域内的各像素的被摄物体的种类的信息”的编码所需的码量，能实现有效的图像编码。

以下，参照附图对本发明的一个实施方式进行说明。

实施例1

（图像编码装置）

首先，对第一实施方式进行说明。图2是示出根据本发明的第一实施方式的图像编码装置的结构例的框图。如图2所示，图像编码装置100具备编码对象帧输入部101、编码对象帧存储部102、被摄物体数设定部103、被摄物体像素值设定部104、被摄物体图生成部105、被摄物体图存储部106、被摄物体图编码部107、预测图像生成部108、图像信号编码部109及多路复用部110。

编码对象帧输入部101输入成为编码对象的图像帧。编码对象帧存储部102积蓄所输入的编码对象帧。被摄物体数设定部103设定预先确定的大小的处理区域所包括的被摄物体数。被摄物体像素值设定部104假定在处理区域存在给出的数量的被摄物体，按每个被摄物体设定被摄物体像素值。

被摄物体图生成部105生成对处理区域的被摄物体图。被摄物体图存储部106积蓄所使用的被摄物体图。被摄物体图编码部107对针对处理区域的被摄物体图进行编码。预测图像生成部108根据对处理区域生成的被摄物体像素值和被摄物体图生成对处理区域的预测图像。图像信号编码部109按每个处理区域使用预测图像对编码对象帧的图像信号进行编码。多路复用部110对被摄物体图的代码数据和编码对象帧的图像信号的代码数据进行多路复用而输出。

图3是用于说明根据第一实施方式的图像编码装置100的动作的流程图。按照该流程图，对图像编码装置100执行的处理详细地进行说明。

首先，由编码对象帧输入部101输入编码对象帧，储存在编码对象帧存储部102（步骤S101）。如果编码对象帧的储存已结束，就分割编码对象帧，按分割的每个区域对编码对象帧的图像信号进行编码（步骤S102～S112）。即，当用blk表示编码对象块索引（index）、用numBlks表示总编码对象块数时，用0对blk进行初始化（步骤S102），此后，一边对blk加1（步骤S111），一边重复以下的处理（步骤S103～S110），直到blk变成numBlks（步骤S112）。

在按每个编码对象块重复的处理中，首先，在被摄物体数设定部103设定块blk所包括的被摄物体的数量numObjs（步骤S103）。关于被摄物体数，只要是与解码侧相同的处理，使用什么样的处理来决定都没有关系。例如，即使始终设定预先确定的数也没有关系。

此外，即使按每个编码对象块将不同的值设定为被摄物体数也没有关系。作为按每个编码对象块设定不同的值的方法，有按照编码对象块的像素值来设定被摄物体数的方法。具体地说，有如下方法，即，对编码对象块的像素使用k－means法、Affinity Propagation等聚类方法，将各类内的像素值离散为预先确定的值以下的聚类结果中的最小的类数设为被摄物体数。作为在聚类中使用的标准，既可以只使用像素值，也可以使用由像素值与像素位置构成的值。作为其它方法，有如下方法，即，按被摄物体数的每个候补，计算在设定其被摄物体数并进行编码的情况下的由码量与失真量的加权和给出的率失真成本，设定该成本变为最小的被摄物体数。

作为其它方法，有使用编码对象块周边的已经完成编码的块的信息设定被摄物体数的方法。具体地说，有如下的方法，即，将在对多个预先确定的周边块进行编码时设定的被摄物体数的平均值或中央值作为编码对象块的被摄物体数的方法、对编码对象块周边的已经完成编码的像素组应用前述的聚类方法，将各类内的像素值离散为预先确定的值以下的聚类结果中的最小的类数作为编码对象块的被摄物体数。

在按每个块设定不同的被摄物体数时，有时当被摄物体数变大时编码效率会降低。因此，也可以预先确定被摄物体数的最大值，以防止被摄物体数变为固定值以上。

另外，在使用对编码对象块的像素的像素值等信息按每个块设定不同的被摄物体数的情况下，需要包括在对被摄物体数进行编码并输出的代码数据中。在对被摄物体数进行编码的情况下，既可以对设定的被摄物体数直接进行编码，也可以对与使用针对编码对象块周边的已经完成编码的块的像素值等信息进行预测的被摄物体数的差分值进行编码。

在对被摄物体数进行编码的情况下，也可以不按每个块进行编码，而是按帧或被称为片段（slice）的多个块的每个集合来对被摄物体数进行设定、编码。通过这样，从而在像被摄物体数依赖于区域而变化的那样的情况下，能有效地对被摄物体数进行编码。另外，还能组合帧或片段单位的被摄物体数的设定、编码与按每个块的被摄物体数的设定、编码。在该情况下，在帧或片段单位中，对可考虑为适合该帧或片段所包括的多个块的多数的被摄物体数进行设定、编码，按每个块对根据该被摄物体数的变化量进行设定、编码。关于按每个块进行设定、编码的变化量，也能使用邻接的已经完成编码的区域的信息进行预测，作为变化量的预测差分进行编码。

如果被摄物体数的设定已结束，接着，在被摄物体像素值设定部104按块blk内的每个被摄物体设定一个像素值，设为被摄物体像素值Value（i）（步骤S104）。在此，i作为用于识别被摄物体的被摄物体标识符，是0以上且小于numObjs的整数。此外，被摄物体标识符按照预先确定的规则进行分配。在此，设以被摄物体像素值小的顺序来分配被摄物体标识符的i的值。

关于按每个被摄物体设定一个像素值的方法，使用什么样的方法都没有关系。例如，可以用被摄物体数对像素值的值域进行均匀量化，设定各范围的中央值。作为其它方法，有如下方法，即，使用前述那样的聚类方法将块blk的像素分割为numObjs个类，将各类所包括的像素的像素值的平均值或中央值设为被摄物体像素值。另外，在设定被摄物体数时，在对块blk的像素进行聚类的情况下，也可以同时设定被摄物体数与被摄物体像素值。

作为其它方法，有如下方法，即，在numObjs个以下的类数中，以类内的像素值离散值的最大值变得比另外确定的阈值小的最小的类数进行分割，将每个类的平均值或中央值设定为被摄物体像素值，关于不足numObjs个的量，适当地设定被摄物体像素值。在被摄物体数始终固定的情况下，即使在本来只存在单一对象的情况下，通过假定存在多个被摄物体，从而也存在提供过于高精度的预测、后述的被摄物体图的码量增大的可能性。但是，通过根据成为目标的比特率来确定阈值，不依赖于numObjs地确定被摄物体标识符，从而能防止码量变得过多。

作为其它方法，有使用对编码对象块周边的已经完成编码的块进行编码时所使用的被摄物体像素值进行设定的方法。具体地说，有如下的方法，即，将在周边块中针对相同的被摄物体标识符分配的被摄物体像素值的平均值或中央值设定为编码对象块的被摄物体标识符的方法、求出在周边块中使用的被摄物体像素值的集合，将其分割为numObjs个类，将各类内的平均值或中央值设定为编码对象块的被摄物体标识符的方法。

作为其它方法，有使用针对编码对象块周边的已经完成编码的像素的像素值进行设定的方法。具体地说，有如下的方法，即，使用前述那样的聚类方法将编码对象块周边的已经完成编码的像素组分割为numObjs个类，将各类所包括的像素的像素值的平均值或中央值设为被摄物体像素值。

另外，在使用针对编码对象块的像素的像素值等信息按每个块设定不同的被摄物体像素值的情况下，需要包括在对被摄物体像素值进行编码并输出的代码数据中。在对被摄物体像素值进行编码的情况下，既可以对设定的被摄物体像素值直接进行编码，此外，也可以对与使用针对编码对象块周边的已经完成编码的块的像素值等信息预测的被摄物体像素值的差分值进行编码。

如果已得到被摄物体像素值，接着，在被摄物体图生成部105对块blk生成被摄物体图（步骤S105）。生成的被摄物体图与块位置相对应地积蓄在被摄物体图存储部106，并且发送到被摄物体图编码部107。在此，被摄物体图是对块blk的各像素分配被摄物体标识符的图。例如，是像图4那样的二维信息。在图4中，0、1、2的值是对各个像素分配的被摄物体标识符。

作为对各像素分配被摄物体标识符的方法，有对各像素分配具有与该像素值最接近的被摄物体像素值的被摄物体标识符的方法。此外，作为其它方法，有如下的方法，即，在设定被摄物体像素值时进行聚类的情况下，利用其结果，将按每个类分配的被摄物体标识符对属于该类的像素进行设定。

作为其它方法，有如下的方法，即，生成多个被摄物体图候补，按每个被摄物体图候补计算使用该被摄物体图候补进行编码时的由码量与失真量的加权和给出的率失真成本，将其值为最小的被摄物体图候补设定为被摄物体图。在该情况下，既可以将存在可能性的所有的被摄物体图设为被摄物体图候补，也可以只将限定的几个特征性的被摄物体图设为被摄物体图候补。作为特征性的被摄物体图，有对各像素分配具有与该像素值最接近的被摄物体像素值的被摄物体标识符而生成的被摄物体图、像所有的像素为相同的被摄物体标识符那样的被摄物体图、呈水平或垂直地进行二分割的被摄物体图等。

接着，将积蓄在被摄物体图存储部106的在对编码对象块周边的已经完成编码的块进行编码时使用的被摄物体图设定为参照被摄物体图（步骤S106）。关于参照被摄物体图的选择方法，只要与解码侧相同，使用什么样的方法都没有关系。例如，既可以设为对处于预先确定的位置关系的块组的被摄物体图，也可以按帧或块组等的每个单位对示出选择方法的信息进行编码，作为代码数据的一部分。作为具体例子，有将对相对于编码对象块位于上、左、左上的块的被摄物体图的集合设定为参照被摄物体图的方法。

接着，使用参照被摄物体图在被摄物体图编码部107对生成的被摄物体图进行编码（步骤S107）。在对二维的图信息进行编码时，有如下方法，即，按光栅扫描（raster scan）顺序或Z字形扫描（zigzag scan）顺序对各像素的被摄物体标识符进行编码的方法、在变换为四叉树（quadtree）或二叉树（binary tree）等树结构的数据之后，以根据深度优先搜索或宽度优先搜索的扫描顺序对各节点的信息进行编码的方法。

按照图5的流程对以光栅扫描顺序或Z字形扫描顺序对各像素的被摄物体标识符进行编码的情况下的处理详细地进行说明。因为这里的处理按编码对象块内的每个像素进行，所以当用pix表示编码对象块内的像素的索引、用numPixs表示编码对象块内的像素数时，用0对pix进行初始化（步骤S1701），此后，一边对pix加1（步骤S1705），一边重复以下的处理（步骤S1702～S1704），直到pix变成numPixs为止（步骤S1706）。

在按每个像素重复的处理中，首先，将像素pix的周围的像素组设定为参照像素组（步骤S1702）。参照像素组从参照被摄物体图内的像素组或比pix小的索引值的像素组进行选择。作为参照像素组的选择方法，只要与解码侧相同，设为什么样的选择方法都没有关系。例如，既可以设为处于预先确定的位置关系的像素组，也可以按帧或块组等的每个单位对示出选择方法的信息进行编码，传送到解码侧。在此，设将在像素pix的上、左、左上邻接的像素组设定为参照像素组。

接着，根据对参照像素组的被摄物体标识符生成像素pix的被摄物体标识符的预测值（步骤S1703）。作为预测值，有生成一个被摄物体标识符的情况、生成各被摄物体标识符的产生概率的情况、生成这两者的情况。至于生成哪个预测值要按照以下的编码的方法来决定。

作为生成一个被摄物体标识符作为预测值的方法，有将在参照像素组之中出现最多的被摄物体标识符设为预测值的方法。另外，在出现最多的被摄物体标识符存在多个的情况下，按照预先确定的规则选择一个被摄物体标识符。例如，有按照被摄物体标识符其本身的大小等来排序或根据相对于像素pix的位置关系来排序的方法。

在生成各被摄物体标识符的产生概率的方法中，在参照像素组之中出现的次数越多，产生概率就变得越高。但是，需要使得一次都未出现的被摄物体标识符的产生概率不为零。另外，至于根据出现次数赋予什么程度的产生概率差，即可以是固定的，也可以是可变的。作为设为可变的方法，有如下的方法，即，按对参照像素组的被摄物体标识符的每个状态准备不同的概率表，在编码开始时进行初始化，每当对一个被摄物体像素值进行编码时，基于进行编码的数据更新所利用的概率表。在该情况下，一边跨越多个块使概率表变动，一边还使其与局部性的变化对应，因此，即使在存在异常值的情况下也能稳健地预测产生概率。另外，为了使代码数据具有随机存取（random access）性，需要以适当的间隔重新对概率表进行初始化。

在生成双方的方法中，既可以独立地进行两个处理，也可以在生成产生概率之后，通过搜索具有最大的产生概率的被摄物体标识符，从而生成双方的信息。

如果已生成预测值，就使用该预测值进行对像素pix的被摄物体标识符的编码（步骤S1704）。在给出一个预测被摄物体标识符的情况下，首先，对表示该预测是否正确的二进制信息进行编码。接着，只在预测不正确的情况下，对针对像素pix的被摄物体标识符进行编码。在给出了产生概率的情况下，按照该概率，对针对像素pix的被摄物体标识符进行熵（entropy）编码。在熵编码中能使用算术编码、哈夫曼编码等。在给出了双方的信息的情况下，首先，对表示该预测是否正确的二进制信息进行编码，然后，在预测不正确的情况下，按照给出的产生概率，对针对像素pix的被摄物体标识符进行熵编码。另外，在使产生概率根据编码历史可变的情况下，如果像素pix的被摄物体标识符的编码已结束，就根据进行编码的被摄物体标识符更新所使用的概率表。

按照图6的流程，对以下情况下的处理详细地进行说明，该情况是，在对被摄物体图进行编码时，在将被摄物体图变换为树结构的数据之后，以深度优先搜索的扫描顺序对各节点的信息进行编码的情况。另外，所谓树结构的数据是如下的数据，即，将块blk作为根（root），使各节点的子节点与分割了父节点的块的多个子块对应，通过将对应的区域的信息赋予给节点而表现二维的信息。通过使用这样的树结构表现，能综合起来高效率地表现存在的单一对象的像素集合，能使编码效率提高。

另外，作为树结构数据的定义，能使用任意的定义。例如，能对各节点附加表示与该节点对应的块内的所有的像素的被摄物体标识符是否相同的二进制信息，作为子节点，在被摄物体标识符全部相同的情况下，定义具有该被摄物体标识符的编号的叶（leaf）（终端节点），在被摄物体标识符不完全相同的情况下，定义与用预先确定的方法分割本身的块而生成的子块对应的节点，生成树结构的信息。另外，在使用该定义的情况下，在对应的块变成一个像素时，能省略表示所有的像素的被摄物体标识符是否相同的二进制信息的节点。

对于图4的被摄物体图，在图7示出像以上那样生成的树结构数据（树结构被摄物体图）的例子。该例子是根据在块分割时分别对纵横进行等分的四叉树（quadtree）的表现。

也可以使用其它的定义作为各节点的定义。例如，还有如下的方法，即，对于各节点，在与该节点对应的块内的所有的像素的被摄物体标识符相同的情况下，赋予对该被摄物体标识符的编号加1的数作为信息，在不是这样的情况下，赋予0作为信息，只对赋予了信息0的节点定义针对分割了该块的子块的子节点。图8是对于图4的被摄物体图使用该定义和分别对纵横进行等分的块分割来生成的树结构被摄物体图。

在经由到树结构数据的变换对被摄物体图进行编码的处理中，从编码对象块开始，进行针对块的节点信息的生成、编码，通过对根据需要分割该块而生成的子块回归性地实施同样的处理，从而对被摄物体图进行编码。即，当将未处理块的集合表示为N、将处理完成像素的集合表示为F、将块blk表示为b1时，在用｛b1｝对N进行初始化、用参照被摄物体图所包括的像素的集合对F进行初始化之后（步骤S1711），重复以下的处理（步骤S1712～S1720），直到N变成空集合为止（步骤S1721）。

在直到N变成空集合为止重复的处理中，首先，从N取出一个块（步骤S1712）。此时，至于取出哪个块要按照预先确定的规则来决定。在将树的扫描顺序设为深度优先搜索的情况下，以LIFO（Last In First Out：后进先出）的方式，即，像进行堆叠那样先取出后进入的。在将扫描顺序设为宽度优先搜索的情况下，以FIFO（First In First Out：后进后出）的方式，即，像排队（queue）那样先取出先进入的。以下，将在此取出的块表示为bs。

接着，生成针对块bs的信息I（bs）（步骤S1713）。在此，按照前述的例子，在块bs内的所有的像素的被摄物体标识符相同的情况下，将对该被摄物体标识符的编号加1的数设为I（bs），在不是这样的情况下，将0设为I（bs）。

接着，使用对像素组F的被摄物体标识符的信息，生成I（bs）的预测值或发生概率分布或这两者（步骤S1714）。关于I（bs）的预测值、发生概率分布的生成方法，能使用任意的方法。

作为生成预测值的方法，例如，有如下方法，即，求出针对F所包括的像素组中的与块bs邻接的像素组的被摄物体标识符中的出现最多的被摄物体标识符及其产生频度，如果产生频度为预先确定的阈值以上，就将对该被摄物体标识符加1的值设为预测值，如果小于阈值就将0设为预测值。此外，还有如下的方法，即，在小于阈值的情况下，将0设为第一的预测值，将对该被摄物体标识符加1的值设为第二预测值。

作为生成发生概率分布的方法，例如，有如下的方法，即，调查针对F所包括的像素组中的与块bs邻接的像素组的被摄物体标识符，根据各被摄物体标识符的产生频度，设定发生概率。具体地说，首先，计算对于0的概率。因为0是块内的被摄物体标识符不是一个的情况，所以以计算的产生频度的最大值越小就成为越大的值的方式进行设定。然后，通过根据产生频度来分配剩余的概率而生成概率分布。但是，除了块尺寸为一个像素的情况，发生概率需要在所有的值中都是比零大的值。

另外，关于决定针对0的概率的方法、进行与产生频度相应的分配的方法，即可以是固定的，也可以是可变的。作为设为可变的方法，有如下的方法，即，按产生频度或对象的值、块的尺寸等的每个状态准备不同的概率表，在编码开始时进行初始化，每当对一个值进行编码时，基于进行编码的数据更新所利用的概率表。在该情况下，一边跨越多个块使概率表变动，一边还使其与局部性的变化相对应，因此，即使在存在异常值的情况下，也能稳健地预测产生概率。另外，也可以使得按多个状态的每一个使用一个概率表。为了使代码数据具有随机存取性，需要以适当的间隔重新对概率表进行初始化。

此外，在生成发生概率分布和预测值这两者的情况下，既可以独立地生成两者，也可以在生成发生概率分布之后，将具有最高的发生概率的值设为预测值。

如果I（bs）的预测值、发生概率分布的生成已结束，就使用这些信息对I（bs）进行编码（步骤S1715）。在步骤S1714中生成了预测值的情况下，对表示预测值是否正确的二进制信息进行编码，然后，只在预测不正确的情况下，对I（bs）进行编码。在未生成预测值的情况下，直接对I（bs）的值进行编码。另外，在对I（bs）进行编码时，在步骤S1714中生成了发生概率分布的情况下，按照该概率，对I（bs）进行熵编码。另外，在使发生概率分布的生成根据编码历史可变的情况下，如果I（bs）的编码已结束，就根据进行编码的I（bs）更新所使用的概率表。

如果对I（bs）的编码已结束，就检查在块bs是否包括多个被摄物体（步骤S1716）。检查方法根据树结构数据的定义而异，但是，在此检查I（bs）是否为0。在I（bs）不为0的情况下，因为块bs所包括的所有的像素都具有相同的被摄物体标识符，所以对于块bs给出了充分的信息，因此，将块bs所包括的像素追加到F（步骤S1717），将bs从N删除，结束对块bs的处理（步骤S1720）。

在I（bs）为0的情况下，因为是还未得到对块bs所包括的各像素的被摄物体标识符的状况，所以对块bs进行分割而生成更小的子块。在子块的生成中，首先，设定块分割（步骤S1718）。

关于块分割的设定方法，只要与解码侧相同，使用什么样的方法来决定都没有关系。例如，有设定预先确定的固定的块分割的方法。具体地说，有始终设定分别将纵横以等分方式进行分割而生成四个子块的块分割的方法。

此外，还有使用对像素组F的被摄物体标识符的信息设定可变的块分割的方法。作为最简单的方法，有如下的方法，即，调查针对F所包括的像素组中的与块bs邻接的像素组的被摄物体标识符，用F所包括的相邻的像素在被摄物体标识符不同的部分设定子块的边界。具体地说，在像图9那样对F的像素组分配有被摄物体标识符的情况下，像图9右那样设定块分割。此时，子块的个数也无需固定。作为稍微复杂的方法，有提取F所包括的像素组中的被摄物体标识符的边缘信息，以沿该边缘的朝向的形式设定块分割的方法。具体地说，有设定像在图10中所表示的那样的块分割的方法。

如果已完成块分割的设定，就按照该块分割来分割块bs，生成多个子块。此时，以光栅扫描顺序或Z字形扫描顺序等预先确定的顺序来扫描生成的子块，以该顺序追加到N（步骤S1719）。另外，在此，将所扫描的子块表示为bs1、bs2、…、bsk。另外，k表示生成的子块数。此后，从N删除bs，结束对块bs的处理（步骤S1720）。

如果被摄物体图的编码已结束，使用被摄物体图和被摄物体像素值，在预测图像生成部108生成对块blk的预测图像（步骤S108）。具体地说，通过对各像素分配与根据被摄物体图得到的被摄物体标识符对应的被摄物体像素值而生成预测图像。另外，在对被摄物体像素值进行编码并传送的情况下，在对被摄物体像素值进行量化之后进行编码的情况下，需要使用进行量化、逆量化而在解码侧得到的值生成预测图像。

另外，对像上述那样制作的预测图像，还可以进一步加抖动（dither）。在使用了被摄物体图与被摄物体像素值的预测图像中，因为只存在与被摄物体数相同的数量的像素值，所以成为具有与自然画不同的性质的图像。因此，能通过加抖动而给出更接近自然画的变化。虽然在抖动生成中能使用任意的方法，但是需要使得能在解码侧产生相同的抖动。在为了初始化等而需要参数的情况下，需要对该参数进行编码。

如果已得到预测图像，在图像信号编码部109对针对块blk的图像信号进行预测编码（步骤S109）。在编码中使用什么样的方法都没有关系。在MPEG－2、H.264/AVC等一般的编码中，通过对块blk的图像信号与预测图像的差分信号依次实施DCT等频率变换、量化、二值化、熵编码而进行编码。

最后，在多路复用部110对被摄物体图的代码数据与图像信号的代码数据进行多路复用并输出（步骤S110）。在对被摄物体数、被摄物体像素值进行编码时，也对针对被摄物体数、被摄物体像素值的代码数据进行多路复用。另外，虽然在此按每个块进行多路复用，但是即使以帧单位进行多路复用也没有关系。但是，在该情况下，在解码时需要对一个帧的量的代码数据进行缓冲之后进行解码。

另外，作为特殊的状况，在被摄物体数为1的情况下，因为被摄物体图只存在一个，所以在被摄物体图设定步骤中只要设定该唯一的被摄物体图候补即可，无需对被摄物体图进行编码、多路复用。

因为被摄物体在空间上具有大小，所以在示出其存在和种类的被摄物体图中存在空间相关。在本实施例中，通过积蓄在对各块进行编码时使用的被摄物体图，从而在对某个块的被摄物体图进行编码时，通过根据周边区域的被摄物体图进行预测，从而能利用空间相关来削减所需的码量。

在按每个块设定不同的被摄物体数、被摄物体像素值的情况下，在积蓄的被摄物体图或进行编码的被摄物体图中，有时相同的被摄物体使用不同的被摄物体标识符来表示。在该情况下，如果直接使用积蓄的被摄物体图则不能正确地预测编码对象块的被摄物体图，不能实现利用空间相关的码量削减。

在这样的情况下，除了被摄物体图以外还积蓄被摄物体像素值，在步骤S106中设定参照被摄物体图时，将对与各被摄物体图对应的块进行编码时使用的被摄物体像素值与针对编码对象块的被摄物体像素值进行比较，将积蓄的被摄物体图的被摄物体标识符变换为对编码对象块设定的被摄物体标识符，将变换的被摄物体图设定为参照被摄物体图。由此，对相同的被摄物体能使用用相同的被摄物体标识符表示的参照被摄物体图，能利用空间相关来削减被摄物体图的码量。此时的图像编码装置用图11表示。

在图11所示的图像编码装置100－1中，与图2的图像编码装置100相同附图标记的装置与在图2中进行说明的装置具有同等的功能。被摄物体像素值存储部120存储被摄物体像素值设定部104设定的被摄物体像素值。被摄物体图变换部121在设定参照被摄物体图时，将对与各被摄物体图对应的块进行编码时使用的被摄物体像素值与针对编码对象块的被摄物体像素值进行比较，生成将积蓄的被摄物体图的被摄物体标识符置换为对编码对象块设定的被摄物体标识符的置换矩阵，通过按照置换矩阵变换对参照区域进行编码时使用的被摄物体图，从而生成参照被摄物体图。

另外，关于变换被摄物体标识符的方法，只要与解码侧相同，就能使用任意的方法。例如，作为最简单的方法，有如下的方法，即，对周边块中的各被摄物体像素值鉴定与该值最接近的编码对象块的被摄物体像素值，将针对该周边块的被摄物体像素值的被摄物体标识符置换为针对鉴定的被摄物体像素值的被摄物体标识符。此时的步骤S106中的详细的处理流程用图12A表示。

首先，设定临时参照被摄物体图（步骤S161）。接着，鉴定临时参照被摄物体图内的用被摄物体标识符表示的被摄物体与在被摄物体图中使用的被摄物体标识符的对应关系（步骤S162）。此后，按照对应关系变换临时参照被摄物体图而生成参照被摄物体图（步骤S163）。

作为其它方法，有如下的方法，即，根据周边块中的被摄物体图和被摄物体像素值生成周边块的预测图像，通过对该预测图像的各像素分配具有与该像素值最接近的被摄物体像素值的被摄物体标识符而生成。此时的步骤S106中的详细的处理流程用图12B表示。

首先，设定临时参照被摄物体图（步骤S161'）。复原对临时参照被摄物体图的预测图像（步骤S162'）。根据上述预测图像和块blk的被摄物体像素值生成参照被摄物体图（步骤S163'）。另外，在该情况下，通过积蓄预测图像来代替被摄物体图、被摄物体像素值，从而能省略生成预测图像的处理。

此外，还存在虽然存在于周边块中但是不存在于编码对象块中的被摄物体。因此，在鉴定对应的被摄物体像素值时，只将其差别收敛在固定以内的作为对象，在求不出对应的被摄物体像素值的情况下，也可以置换为在编码对象块中未被使用的被摄物体标识符。由此，即使在每个块存在不同的被摄物体，也能防止由于错误的预测而造成编码效率降低。

像H.264/AVC那样，在从存在多个的预测模式之中按每个块选择最佳的预测模式进行预测编码的情况下，有可能在编码对象块的周边块中使用未使用被摄物体图的预测模式。在这样的情况下，因为在被摄物体图存储部106等积蓄有对周边块的信息，所以不能实现利用空间相关的码量削减。

在这样的情况下，有如下的方法，即，代替积蓄被摄物体图，积蓄对编码结果进行解码而得到的解码图像，通过对周边块的解码图像的各像素分配具有与该像素值最接近的被摄物体像素值的被摄物体标识符而生成参照被摄物体图。由此，能不依赖于周边块的预测模式地设定参照被摄物体图，能利用空间相关削减被摄物体图的码量。此时的图像编码装置用图13表示。

图13所示的图像编码装置100－2与图2所示的图像编码装置100不同的点在于，代替被摄物体图存储部106，使用了图像信号解码部131、解码图像存储器132、参照被摄物体图生成部133。图像信号解码部131对图像信号编码部109进行编码的编码结果进行解码，将解码图像积蓄在解码图像存储器132。参照被摄物体图生成部133通过对周边块的解码图像的各像素分配具有与该像素值最接近的被摄物体像素值的被摄物体标识符而生成参照被摄物体图。

在图14示出图像编码装置100－2的处理流程。只对与图3所示的处理流程不同的部分进行说明。在步骤S105中生成被摄物体图之后，在步骤S113中，参照周边块的解码图像生成在被摄物体图的编码中使用的参照被摄物体图。此外，在步骤S109中，在对图像信号进行编码之后，在步骤S114中，图像信号解码部131对编码结果进行解码并积蓄在解码图像存储器132。

实施例2

（图像解码装置）

接着，对本发明的第二实施方式进行说明。图15是示出根据第二实施方式的图像解码装置的结构例的框图。如图15所示，图像解码装置200具备代码数据输入部201、代码数据存储部202、分离部203、被摄物体数设定部204、被摄物体像素值设定部205、被摄物体图解码部206、被摄物体图存储部207、预测图像生成部208及图像信号解码部209。

代码数据输入部201输入成为解码对象的图像帧的代码数据。代码数据存储部202积蓄所输入的代码数据。分离部203将进行多路复用的代码数据分离为多个对不同的信息进行编码的代码数据。被摄物体数设定部204设定预先确定的大小的处理区域所包括的被摄物体数。被摄物体像素值设定部205按每个被摄物体设定被摄物体像素值。被摄物体图解码部206根据代码数据对被摄物体图进行解码。被摄物体图存储部207积蓄进行了解码的被摄物体图。预测图像生成部208根据对处理区域得到的被摄物体像素值和被摄物体图生成对处理区域的预测图像。图像信号解码部209按每个处理区域使用预测图像根据代码数据对解码对象帧的图像信号进行解码。

图16是用于说明根据第二实施方式的图像解码装置200的动作的流程图。按照该流程图，对图像解码装置200执行的处理详细地进行说明。

首先，由代码数据输入部201输入对解码对象帧的代码数据，储存在代码数据存储部202（步骤S201）。如果代码数据的储存已结束，分割解码对象帧，按每个该区域对解码对象帧的图像信号进行解码（步骤S202～S211）。即，当用blk表示解码对象块索引，用numBlks表示总解码对象块数时，用0对blk进行初始化（步骤S202），此后，一边对blk加1（步骤S210），一边重复以下的处理（步骤S203～S209），直到blk变成numBlks为止（步骤S211）。

在按每个解码对象块重复的处理中，首先，在分离部203将输入的代码数据分离为多个信息的代码数据（步骤S203）。在本实施方式中，虽然用多个信息的代码数据以块单位进行交错（interleave）的例子进行了说明，但是，在以帧等不同的单位进行交错的情况下，无需以块单位重复该代码数据的分离。

如果代码数据的分离已结束，接着，在被摄物体数设定部204设定块blk所包括的被摄物体的数量numObjs（步骤S204）。关于被摄物体数，使用与编码侧相同的处理进行。例如，在编码侧始终设定预先确定的数的情况下，在此也设定同样的数。

作为其它例子，为了按每个块设定不同的被摄物体数，在被摄物体数被进行编码而包括在代码数据的情况下，被摄物体数设定部204受理被摄物体数的代码数据，将解码的结果的值设定为被摄物体数。

图17是对被摄物体数进行编码的情况下的图像解码装置的框图。在对被摄物体数进行编码的情况下，如图17所示，被摄物体数设定部204'受理在分离部203分离的被摄物体数的代码数据，对其进行解码而获取被摄物体数。另外，在作为与使用对块blk周边的完成处理的块的像素值、被摄物体数等信息生成的预测值的差分值对被摄物体数进行编码的情况下，用与编码侧同样的方法生成预测，在该值加上对代码数据进行解码得到的值而获取被摄物体数。

另外，作为预测值的生成方法，有如下的方法，即，使用在对块blk的周边的块进行编码时使用的被摄物体数的平均值或中央值的方法，对块blk的周边的解码完成像素组的像素值进行分析，将存在于这些像素组的被摄物体数用作预测值的方法。为了生成其它块解码时的预测值，在前一个方法中需要积蓄使用的被摄物体数，在后一个方法中需要积蓄解码图像的像素值。

此外，有时不是按每个块，而是按帧或被称为片段的多个块的每个集合对被摄物体数进行编码。在这样的情况下，以帧、片段单位对被摄物体数代码数据只进行一次解码，通过暂时积蓄其结果，从而直到下一个更新的定时为止重复设定相同的值。

进而，有时也以帧或片段单位对全局（global）的被摄物体数进行编码，按每个块对从此处起的变化量进行编码。在这样的情况下，以帧或片段单位对全局被摄物体数代码数据只进行一次解码，暂时积蓄其结果，在该值加上按每个块进行解码的变化量的值，得到在该块中使用的被摄物体数。进而，在该变化量是根据邻接的块进行预测的情况下，按每个块对被摄物体变化量预测差分进行解码，对该值加上全局被摄物体数和从邻接块起的变化量的预测值，由此得到在该块中使用的被摄物体数。

如果被摄物体数的设定已结束，接着，在被摄物体像素值设定部205按块blk内的每个被摄物体设定一个被摄物体像素值Value（i）（步骤S205）。在此，i作为用于识别被摄物体的被摄物体标识符，是0以上且小于numObjs的整数。此外，被摄物体标识符按照预先确定的规则来分配。在此，设以被摄物体像素值小的顺序进行分配。关于被摄物体像素值，使用与编码侧相同的处理进行。例如，在编码侧用被摄物体数对像素值的值域进行均匀量化，设定各范围的中央值的情况下，在此也设定相同的数。

作为其它方法，有使用在对解码对象块周边的已经完成解码的块进行解码时使用的被摄物体像素值进行设定的方法。具体地说，有如下的方法，即，将在周边块中对相同的被摄物体标识符分配的被摄物体像素值的平均值或中央值设定为解码对象块的被摄物体像素值的方法，求出在周边块中使用的被摄物体像素值的集合，将其分割为numObjs个类，将各类内的平均值或中央值设定为解码对象块的被摄物体像素值的方法。在该情况下，考虑到对其它块进行解码时，需要积蓄所使用的被摄物体像素值。

作为其它方法，有使用对解码对象块周边的已经完成解码的像素的像素值进行设定的方法。具体地说，有如下的方法，即，使用前述那样的聚类方法将解码对象块周边的已经完成解码的像素组分割为numObjs个类，将各类所包括的像素的像素值的平均值或中央值设为被摄物体像素值。在该情况下，考虑到对其它块进行解码时，需要积蓄进行解码的图像的像素值。

作为其它例子，为了按每个块设定不同的被摄物体像素值，有时对被摄物体像素值进行编码而包括在代码数据。在该情况下，被摄物体像素值设定部205受理被摄物体像素值的代码数据，将解码的结果的值设定为被摄物体像素值。

图18是对被摄物体像素值进行编码的情况下的图像解码装置的框图。在对被摄物体像素值进行编码的情况下，如图18所示，被摄物体像素值设定部205'受理在分离部203分离的被摄物体像素值的代码数据，对其进行解码而获取被摄物体像素值。另外，在作为与使用对块blk周边的完成处理的块的像素值、被摄物体像素值等的信息生成的预测值的差分值对被摄物体像素值进行编码的情况下，用与编码侧同样的方法生成预测值，在该值加上对代码数据进行解码得到的值而获取被摄物体像素值。另外，作为预测值的生成方法，有使用在对块blk的周边的块进行解码时使用的被摄物体像素值的平均值或中央值等的方法，对块blk的周边的解码完成像素组的像素值进行分析，将对这些像素组的被摄物体像素值用作预测值的方法。为了在其它块解码时生成预测值，在前一个方法中需要积蓄所使用的被摄物体像素值，在后一个方法中需要积蓄解码图像的像素值。

如果被摄物体像素值的设定已结束，接着，将在对积蓄在被摄物体图存储部207的解码对象块周边的已经完成解码的块进行解码时使用的被摄物体图设定为参照被摄物体图（步骤S206）。参照被摄物体图的选择方法使用与编码侧相同的处理。例如，设定为对处于预先确定的位置关系的块组的被摄物体图。作为具体例子，有将对相对于解码对象块位于上、左、左上的块的被摄物体图的集合设定为参照被摄物体图的方法。另外，在按帧或块组等的每个单位对示出参照被摄物体图的选择方法的信息进行编码的情况下，按照对该数据进行解码得到的信息进行设定。

接着，使用设定的被摄物体参照图，在被摄物体图解码部206根据分离的代码数据对被摄物体图进行解码（步骤S207）。关于二维信息的被摄物体图，有如下的情况，即，以光栅扫描、Z字形扫描等像素扫描顺序对各像素的被摄物体标识符进行编码的情况，在变换为四叉树（quadtree）或二叉树（binary tree）等树结构的数据之后，以根据深度优先搜索或宽度优先搜索的扫描顺序对各节点的信息进行编码的情况。因此，被摄物体图的解码处理根据编码时使用的方法而异。

按照图19的流程，对以光栅扫描、Z字形扫描等像素扫描顺序对各像素的被摄物体标识符进行编码的情况下的解码处理详细地进行说明。因为这里的处理按解码对象块内的每个像素进行，所以当用pix表示解码对象块内的像素的索引、用numPixs表示解码对象块内的像素数时，用0对pix进行初始化（步骤S2701），此后，一边对pix加1（步骤S2705），一边重复以下的处理（步骤S2702～S2704），直到pix变成numPixs为止（步骤S2706）。

在按每个像素重复的处理中，首先，将像素pix周围的像素组设定为参照像素组（步骤S2702），根据对参照像素组的被摄物体标识符生成像素pix的被摄物体标识符的预测值（步骤S2703）。作为预测值，有生成一个被摄物体标识符的情况、生成各被摄物体标识符的产生概率的情况以及生成这两者的情况，生成与编码侧相同的预测值。这里的处理与在图5的流程的步骤S1702及步骤S1703中编码时所进行的处理相同。

如果已生成预测值，使用该预测值根据代码数据对针对像素pix的被摄物体标识符进行解码（步骤S2704）。在给出一个预测被摄物体标识符的情况下，首先，根据代码数据对表示该预测是否正确的二进制信息进行解码。其结果是，在判明预测正确的情况下，将预测值设为对像素pix的被摄物体标识符，在判明预测不正确的情况下，根据代码数据对针对像素pix的被摄物体标识符进行解码。在给出产生概率的情况下，按照该概率，根据代码数据对针对像素pix的被摄物体标识符进行解码。在给出双方的信息的情况下，首先，根据代码数据对表示该预测是否正确的二进制信息进行解码，此后，在判明预测正确的情况下，将预测值设为对像素pix的被摄物体标识符，在判明预测不正确的情况下，按照给出的产生概率，根据代码数据对针对像素pix的被摄物体标识符进行解码。具体的解码处理使用对编码处理的方法。另外，在一边使产生概率根据编码历史可变一边进行算术编码的情况下，如果对像素pix的被摄物体标识符的解码已结束，根据解码的被摄物体标识符更新所使用的概率表。关于更新方法，通过使用与编码时相同的方法，从而能正确地进行解码。

按照图20的流程，对在被摄物体图变换为树结构的数据之后以深度优先搜索的扫描顺序对各节点的信息进行编码的情况下的处理详细地进行说明。另外，所谓树结构的数据是如下的数据，即，将块blk设为根，使各节点的子节点与分割了父节点的块的多个子块对应，通过将对应的区域的信息赋予给节点而表现二维的信息。关于树结构的定义，虽然能使用任意的定义，但是需要使用与在编码侧使用的定义相同的定义。

在对经由到树结构数据的变换而进行编码的代码数据进行解码的处理中，从解码对象块开始，对针对块的节点信息进行解码，根据该解码的节点信息，分割该块而生成子块，通过对子块回归性地实施同样的处理，从而对被摄物体图进行解码。即，当将未处理块的集合表示为N、将处理完成像素的集合表示为F、将块blk表示为b1时，用｛b1｝对N进行初始化，用参照被摄物体图所包括的像素的集合对F进行初始化（步骤S2711），然后重复以下的处理（步骤S2712～S2720），直到N变成空集合为止（步骤S2721）。

在直到N变成空集合为止重复的处理中，首先，从N取出一个块（步骤S2712）。此时，至于取出哪个块要按照预先确定的规则来决定。在将树的扫描顺序设为深度优先搜索的情况下，以LIFO（Last In First Out）的方式，即，像堆叠那样先取出后进入的。在将扫描顺序设为宽度优先搜索的情况下，以FIFO（First In First Out）的方式，即，像排列那样先取出先进入的。以下，将在此取出的块表示为bs。另外，取出的顺序必须是与编码时相同的顺序。

接着，使用对像素组F的被摄物体标识符的信息生成对块bs的信息I（bs）的预测值或发生概率分布或这两者（步骤S2713）。在本实施例中，在块bs内的所有的像素的被摄物体标识符相同的情况下，将在该被摄物体标识符的编号加1的数设为I（bs），在不是这样的情况下，将0设为I（bs）。这里的处理与在图6的流程的步骤S1714中编码时进行的处理相同。

如果I（bs）的预测值、发生概率分布的生成已结束，使用这些信息根据代码数据对I（bs）进行解码（步骤S2714）。在步骤S2713中生成预测值的情况下，首先，对表示预测值是否正确的二进制信息进行解码。在根据得到的二进制信息判明预测正确的情况下，将预测值设为I（bs）。在根据得到的二进制信息判明预测错误的情况下，根据代码数据对I（bs）进行解码。另外，在步骤S2713中生成发生概率分布的情况下，在对I（bs）进行解码时，按照该概率对I（bs）进行熵（entropy）解码。在具体的解码处理中，使用与编码处理对应的方法。另外，在进行使发生概率分布的生成根据历史可变的编码的情况下，如果对I（bs）的解码已结束，根据得到的I（bs）更新所使用的概率表。关于更新方法，通过使用与编码时相同的方法，从而能正确地进行解码。

接着，检查解码得到的I（bs），检查在块bs中是否包括多个被摄物体（步骤S2715）。检查方法根据树结构数据的定义而异，在此检查I（bs）是否为0。在I（bs）不是0的情况下，对被摄物体图上的块bs所包括的所有的像素分配被摄物体标识符I（bs）-1（步骤S2716），在F追加块bs所包括的像素（步骤S2717），从N删除bs，结束对块bs的处理（步骤S2720）。

在I（bs）为0的情况下，首先，设定块bs的分割方法（步骤S2718）。虽然如何进行分割方法的设定都没有关系，但是需要与在编码时进行的设定相同。另外，这里的处理与图6的流程的步骤S1718相同。如果块分割的设定已完成，按照该块分割对块bs进行分割，生成多个子块。此时，以光栅扫描顺序、Z字形扫描顺序等预先确定的顺序对生成的子块进行扫描，以该顺序追加到N。该处理与图6的流程的步骤S1719相同。此后，从N删除bs，结束对块bs的处理（步骤S2720）。

另外，在此示出的树结构的定义等是一个例子，只要能与编码侧对定义进行共有，使用什么样的方法都没有关系。

如果被摄物体图的解码已结束，接着，在预测图像生成部208生成对块blk的预测图像（步骤S208）。具体地说，通过对各像素分配与根据被摄物体图得到的被摄物体标识符对应的被摄物体像素值而生成预测图像。

另外，还可以对像上述那样制作的预测图像进一步加抖动。在使用了被摄物体图和被摄物体像素值的预测图像中，因为只存在与被摄物体数相同的数的像素值，所以变成具有与自然画不同的性质的图像。因此，通过加抖动，从而能给出更接近自然画的变化。虽然在抖动生成中能使用任意的方法，但是需要使用与编码侧相同的方法。另外，在代码数据中包括抖动生成装置的初始化等所需的参数的情况下，对其进行解码而进行使用。

如果已得到预测图像，在图像信号解码部209对针对块blk的图像信号进行解码（步骤S209）。图像信号的解码根据在编码时使用的方法而异。例如，在使用MPEG－2、H.264/AVC等一般的编码的情况下，通过对代码数据进行熵解码、逆二值化、逆量化、IDCT等的频率逆变换而对预测残差进行解码，通过在其结果加上预测图像而对块blk的图像信号进行复原。

作为特殊的状况，在被摄物体数为1的情况下，因为被摄物体图只存在一个，所以有时通过不对针对该块的被摄物体图进行编码而削减码量。在这样的情况下，不对被摄物体图代码数据进行解码，只要将该唯一的被摄物体图候补设定为对该块的被摄物体图即可。另外，在被摄物体数为1的情况下，是否对被摄物体图进行解码，需要与编码时的处理相同。

在按每个块使用不同的被摄物体数、被摄物体像素值进行编码的情况下，在积蓄的被摄物体图和进行解码的被摄物体图中，有时相同的被摄物体使用不同的被摄物体标识符来表示，或者不同的被摄物体用相同的被摄物体标识符来表示。在该情况下，如果直接使用积蓄的被摄物体图，就不能正确地预测解码对象块的被摄物体图。

在这样的情况下，除了被摄物体图以外还积蓄被摄物体像素值，在步骤S206中设定参照被摄物体图时，将对与各被摄物体图对应的块进行解码时使用的被摄物体像素值和对解码对象块的被摄物体像素值进行比较，将积蓄的被摄物体图的被摄物体标识符变换为对解码对象块设定的被摄物体标识符，将变换后的被摄物体图设定为参照被摄物体图。由此，能对相同的被摄物体使用用相同的被摄物体标识符表示的参照被摄物体图，能利用空间相关进行正确的预测。此时的图像解码装置用图21表示。

在图21所示的图像解码装置200－3中，在被摄物体像素值存储部220积蓄在对与各被摄物体图对应的块进行解码时使用的被摄物体像素值，被摄物体图变换部221将积蓄在被摄物体像素值存储部220的被摄物体像素值与对解码对象块的被摄物体像素值进行比较，将积蓄的被摄物体图的被摄物体标识符变换为对解码对象块设定的被摄物体标识符。即，被摄物体图变换部221在设定参照被摄物体图时，将对参照区域进行解码时使用的被摄物体像素值与对处理区域设定的被摄物体像素值进行比较，生成将积蓄的被摄物体图的被摄物体标识符置换为对解码对象块设定的被摄物体标识符的置换矩阵，通过按照置换矩阵变换对参照区域进行编码时使用的被摄物体图，从而生成参照被摄物体图。其它结构与前述的例子相同。

另外，关于变换被摄物体标识符的方法，只要与编码侧相同，就能使用任意的方法。在图12A及图12B示出具体的变换处理流程的例子。

像H.264/AVC那样，在从存在多个的预测模式之中按每个块选择最佳的预测模式进行预测编码的情况下，有可能使用在解码对象块的周边块中不使用被摄物体图的预测模式。在这样的情况下，因为在被摄物体图存储部207等积蓄有对周边块的信息，所以不能实现利用空间相关的码量削减。

在这样的情况下，有如下的方法，即，代替积蓄被摄物体图，积蓄解码结果的解码图像，通过对周边块的解码图像的各像素分配具有与该像素值最接近的被摄物体像素值的被摄物体标识符而生成被摄物体图。由此，能不依赖于周边块的预测模式而设定参照被摄物体图，能进行利用空间相关的正确的预测。此时的图像解码装置用图22表示。

在图22所示的图像解码装置200－4中，在解码图像存储部231积蓄图像信号解码部209进行解码的解码图像，参照被摄物体图设定部232通过对周边块的解码图像的各像素分配具有与该像素值最接近的被摄物体像素值的被摄物体标识符，从而不依赖于周边块的预测模式而设定参照被摄物体图。其它部分与前述的例子相同。

在上述的第一、第二实施方式中，虽然说明了利用本发明对一个帧中的所有的块进行编码及解码的处理，但是也可以只在一部分的块中应用，在其它的块中，使用在H.264/AVC等中使用的画面内预测编码或运动补偿预测编码等来进行编码。在该情况下，需要按每个块对示出使用哪个方法进行编码的信息进行编码及解码。

在上述的第一、第二实施方式中，虽然说明了对一个帧进行编码及解码的处理，但是通过重复多个帧，从而能应用于动态图像编码。此外，还能只在动态图像的一部分的帧或一部分的块中应用。在该情况下，因为关于被摄物体的存在，不仅有空间上的而且有时间上的连续性，所以能容易地进行类推，将在被摄物体图的编码中使用的参照像素、在被摄物体像素值的预测中使用的邻接块的定义不仅在空间方向上进行扩张，而且在时间方向上进行扩张而使用。

以上说明的图像编码及图像解码的处理还能由计算机和软件程序来实现，既能将该程序记录在计算机可读取的记录介质来提供，也能通过网络来提供。

在图23示出由计算机和软件程序构成图像编码装置的情况下的硬件结构例。本系统的结构如下，即，用母线（bus）连接有：执行程序的CPU50；储存有CPU50存取的程序、数据的RAM等存储器51；输入来自摄影机等的编码对象的图像信号的编码对象帧输入部52（也可以是利用盘（disc）装置等的存储图像信号的存储部）；储存有作为使CPU50执行作为第一实施方式说明的图像编码处理的软件程序的图像编码程序531的程序存储装置53；以及例如经由网络输出通过CPU50执行载入到存储器51的图像编码程序531而生成的多路复用代码数据的多路复用代码数据输出部54（也可以是利用盘装置等的存储多路复用代码数据的存储部）。

虽然省略了图，但是，此外还设置有被摄物体数存储部、被摄物体图存储部、被摄物体像素值存储部、预测图像存储部、被摄物体图代码数据存储部、图像信息代码数据存储部、解码图像存储部等硬件，在本方法的实施中被利用。此外，有时还使用被摄物体像素值代码数据存储部，进而，有时还使用被摄物体数代码数据存储部、被摄物体数预测值存储部、被摄物体像素值预测值存储部、被摄物体标识符预测值存储部、被摄物体发生概率分布存储部、变换被摄物体图存储部。

在图24示出由计算机和软件程序构成图像解码装置的情况下的硬件结构例。本系统的结构如下，即，用母线连接有：执行程序的CPU60；储存有CPU60存取的程序、数据的RAM等存储器61；输入图像编码装置根据本方法进行编码的多路复用代码数据的多路复用代码数据输入部62（也可以是利用盘装置等的存储多路复用代码数据的存储部）；储存有作为使CPU60执行作为第二实施方式说明的图像解码处理的软件程序的图像解码程序631的程序存储装置63；以及通过CPU60执行载入到存储器61的图像解码程序631，从而将对多路复用代码数据进行解码而得到的解码图像数据输出到再生装置等的解码图像数据输出部64。

虽然省略了图，但是，此外，还设置有被摄物体数存储部、被摄物体图存储部、被摄物体像素值存储部、预测图像存储部、被摄物体图代码数据存储部、图像信息代码数据存储部等硬件，在本方法的实施中被利用。此外，有时还使用被摄物体像素值代码数据存储部，进而，有时还使用被摄物体数代码数据存储部、被摄物体数预测值存储部、被摄物体像素值预测值存储部、被摄物体标识符预测值存储部、被摄物体发生概率分布存储部、变换被摄物体图存储部。

以上，虽然参照附图对本发明的实施方式进行了说明，但是，上述实施方式只不过是本发明的例示，显然，本发明不限定于上述实施方式。因此，在不脱离本发明的精神及范围的范围中，可以进行构成要素的追加、省略、置换、其它变更。

产业上的可利用性

能生成预测残差变少的预测图像，实现码量的削减或图像品质的提高。

附图标记说明

100：图像编码装置；

101：编码对象帧输入部；

102：编码对象帧存储部；

103：被摄物体数设定部；

104：被摄物体像素值设定部；

105：被摄物体图生成部；

106：被摄物体图存储部；

107：被摄物体图编码部；

108：预测图像生成部；

109：图像信号编码部；

110：多路复用部；

120：被摄物体像素值存储部；

121：被摄物体图变换部；

131：图像信号解码部；

132：解码图像存储器；

133：参照被摄物体图生成部；

201：代码数据输入部；

202：代码数据存储部；

203：分离部；

204：被摄物体数设定部；

205：被摄物体像素值设定部；

206：被摄物体图解码部；

207：被摄物体图存储部；

208：预测图像生成部；

209：图像信号解码部；

220：被摄物体像素值存储部；

221：被摄物体图变换部；

231：解码图像存储部；

232：参照被摄物体图设定部。

Claims (18)

1.一种图像编码方法，在对图像进行传送、积蓄时，将图像帧分割为预先确定的大小的处理区域，一边按每个处理区域预测各像素的像素值一边进行编码，所述图像编码方法包括：

被摄物体数设定步骤，将处理区域内存在的被摄物体的数量设定为被摄物体数；

被摄物体像素值设定步骤，按处理区域内存在的每个被摄物体，与识别该被摄物体的被摄物体标识符对应地将代表各被摄物体的一个像素值设定为被摄物体像素值；

被摄物体图生成步骤，使用所述被摄物体像素值生成用所述被摄物体标识符示出在处理区域内的各像素对哪个被摄物体进行了拍摄的被摄物体图；

参照被摄物体图设定步骤，将在对处理区域周边的作为已经完成编码的区域的地方的参照区域进行编码时使用的被摄物体图设定为参照被摄物体图；

被摄物体图编码步骤，使用所述参照被摄物体图对所述被摄物体图进行编码；

预测图像生成步骤，通过按照所述被摄物体图对各像素分配所述被摄物体像素值的值而生成对处理区域的预测图像；以及

图像信号编码步骤，使用所述预测图像对针对处理区域的图像信号进行预测编码。

2.根据权利要求1所述的图像编码方法，其中，

还包括置换矩阵生成步骤，将在对所述参照区域进行编码时使用的被摄物体像素值与对处理区域设定的所述被摄物体像素值进行比较，生成将在对所述参照区域进行编码时使用的被摄物体标识符置换为对处理区域设定的所述被摄物体标识符的置换矩阵，

在所述参照被摄物体图设定步骤中，通过按照所述置换矩阵变换在对所述参照区域进行编码时使用的被摄物体图，从而生成所述参照被摄物体图。

3.根据权利要求1所述的图像编码方法，其中，

还包括图像信号解码步骤，通过对使用所述预测图像根据所述图像信号编码步骤制作的图像信号代码数据进行解码，从而生成对处理区域的解码图像的图像信号，

在所述参照被摄物体图设定步骤中，通过对处理区域周边的已经完成编码的像素组分配具有与对各像素的解码图像的像素值最接近的所述被摄物体像素值的所述被摄物体标识符，从而生成所述参照被摄物体图。

4.根据权利要求1至3中的任一项所述的图像编码方法，其中，还包括：

区域分割设定步骤，根据所述参照被摄物体图的被摄物体标识符的边缘信息，设定处理对象区域的分割方法；以及

被摄物体图变换步骤，按照所述分割方法，将所述被摄物体图变换为用树结构表示的树结构被摄物体图，

在所述被摄物体图编码步骤中，使用所述参照被摄物体图对所述树结构被摄物体图进行编码。

5.一种图像解码方法，在对图像的代码数据进行解码时，将图像帧分割为预先确定的大小的处理区域，一边按每个处理区域预测各像素的像素值一边进行解码，所述图像解码方法包括：

被摄物体数设定步骤，将处理区域内存在的被摄物体的数量设定为被摄物体数；

被摄物体像素值设定步骤，按处理区域内存在的每个被摄物体，与识别该被摄物体的被摄物体标识符对应地将代表各被摄物体的一个像素值设定为被摄物体像素值；

参照被摄物体图设定步骤，将在对处理区域周边的作为已经完成解码的区域的地方的参照区域进行解码时使用的被摄物体图设定为参照被摄物体图；

被摄物体图解码步骤，使用所述参照被摄物体图，根据所述代码数据对利用所述被摄物体标识符表示在处理区域内的各像素进行拍摄的被摄物体的被摄物体图进行解码；

预测图像生成步骤，通过按照所述被摄物体图对各像素分配所述被摄物体像素值的值而生成对处理区域的预测图像；以及

图像信号解码步骤，使用所述预测图像，根据所述代码数据对针对处理区域的解码图像的图像信号进行解码。

6.根据权利要求5所述的图像解码方法，其中，

还包括置换矩阵生成步骤，将在对所述参照区域进行解码时使用的被摄物体像素值与对处理区域设定的所述被摄物体像素值进行比较，生成将在对所述参照区域进行解码时使用的被摄物体标识符置换为对处理区域设定的所述被摄物体标识符的置换矩阵，

在所述参照被摄物体图设定步骤中，通过按照所述置换矩阵变换在对所述参照区域进行解码时使用的被摄物体图，从而生成所述参照被摄物体图。

7.根据权利要求5所述的图像解码方法，其中，

在所述参照被摄物体图设定步骤中，通过对处理区域周边的已经完成解码的像素组分配具有与对各像素的解码图像的像素值最接近的所述被摄物体像素值的所述被摄物体标识符，从而生成所述参照被摄物体图。

8.根据权利要求5至7中的任一项所述的图像解码方法，其中，

还包括区域分割设定步骤，根据所述参照被摄物体图的被摄物体标识符的边缘信息，设定处理对象区域的分割方法，

在所述被摄物体图解码步骤中，按照所述分割方法，根据所述代码数据对用树结构表示所述被摄物体图的树结构被摄物体图进行解码，变换所述树结构被摄物体图而对所述被摄物体图进行解码。

9.一种图像编码装置，在对图像进行传送、积蓄时，将图像帧分割为预先确定的大小的处理区域，一边按每个处理区域预测各像素的像素值一边进行编码，所述图像编码装置包括：

被摄物体数设定单元，将处理区域内存在的被摄物体的数量设定为被摄物体数；

被摄物体像素值设定单元，按处理区域内存在的每个被摄物体，与识别该被摄物体的被摄物体标识符对应地将代表各被摄物体的一个像素值设定为被摄物体像素值；

被摄物体图生成单元，使用所述被摄物体像素值生成用所述被摄物体标识符示出在处理区域内的各像素对哪个被摄物体进行了拍摄的被摄物体图；

参照被摄物体图设定单元，将在对处理区域周边的作为已经完成编码的区域的地方的参照区域进行编码时使用的被摄物体图设定为参照被摄物体图；

被摄物体图编码单元，使用所述参照被摄物体图对所述被摄物体图进行编码；

预测图像生成单元，通过按照所述被摄物体图对各像素分配所述被摄物体像素值的值而生成对处理区域的预测图像；以及

图像信号编码单元，使用所述预测图像对针对处理区域的图像信号进行预测编码。

10.根据权利要求9所述的图像编码装置，其中，

还包括置换矩阵生成单元，将在对所述参照区域进行编码时使用的被摄物体像素值与对处理区域设定的所述被摄物体像素值进行比较，生成将在对所述参照区域进行编码时使用的被摄物体标识符置换为对处理区域设定的所述被摄物体标识符的置换矩阵，

在所述参照被摄物体图设定单元中，通过按照所述置换矩阵变换在对所述参照区域进行编码时使用的被摄物体图，从而生成所述参照被摄物体图。

11.根据权利要求9所述的图像编码装置，其中，

还包括图像信号解码单元，通过对使用所述预测图像由所述图像信号编码单元制作的图像信号代码数据进行解码，从而生成对处理区域的解码图像的图像信号，

在所述参照被摄物体图设定单元中，通过对处理区域周边的已经完成编码的像素组分配具有与对各像素的解码图像的像素值最接近的所述被摄物体像素值的所述被摄物体标识符，从而生成所述参照被摄物体图。

12.根据权利要求9至11中的任一项所述的图像编码装置，其中，还包括：

区域分割设定单元，根据所述参照被摄物体图的被摄物体标识符的边缘信息，设定处理对象区域的分割方法；以及

被摄物体图变换单元，按照所述分割方法，将所述被摄物体图变换为用树结构表示的树结构被摄物体图，

在所述被摄物体图编码单元中，使用所述参照被摄物体图，对所述树结构被摄物体图进行编码。

13.一种图像解码装置，在对图像的代码数据进行解码时，将图像帧分割为预先确定的大小的处理区域，一边按每个处理区域预测各像素的像素值一边进行解码，所述图像解码装置包括：

被摄物体数设定单元，将处理区域内存在的被摄物体的数量设定为被摄物体数；

被摄物体像素值设定单元，按处理区域内存在的每个被摄物体，与识别该被摄物体的被摄物体标识符对应地将代表各被摄物体的一个像素值设定为被摄物体像素值；

参照被摄物体图设定单元，将在对处理区域周边的作为已经完成解码的区域的地方的参照区域进行解码时使用的被摄物体图设定为参照被摄物体图；

被摄物体图解码单元，使用所述参照被摄物体图，根据所述代码数据对利用所述被摄物体标识符表示在处理区域内的各像素进行拍摄的被摄物体的被摄物体图进行解码；

预测图像生成单元，通过按照所述被摄物体图对各像素分配所述被摄物体像素值的值而生成对处理区域的预测图像；以及

图像信号解码单元，使用所述预测图像，根据所述代码数据对针对处理区域的解码图像的图像信号进行解码。

14.根据权利要求13所述的图像解码装置，其中，

还包括置换矩阵生成单元，将在对所述参照区域进行解码时使用的被摄物体像素值与对处理区域设定的所述被摄物体像素值进行比较，生成将在对所述参照区域进行解码时使用的被摄物体标识符置换为对处理区域设定的所述被摄物体标识符的置换矩阵，

在所述参照被摄物体图设定单元中，通过按照所述置换矩阵变换在对所述参照区域进行解码时使用的被摄物体图，从而生成所述参照被摄物体图。

15.根据权利要求13所述的图像解码装置，其中，

在所述参照被摄物体图设定单元中，通过对处理区域周边的已经完成解码的像素组分配具有与对各像素的解码图像的像素值最接近的所述被摄物体像素值的所述被摄物体标识符，从而生成所述参照被摄物体图。

16.根据权利要求13至15中的任一项所述的图像解码装置，其中，

还包括区域分割设定单元，根据所述参照被摄物体图的被摄物体标识符的边缘信息，设定处理对象区域的分割方法，

在所述被摄物体图解码单元中，按照所述分割方法，根据所述代码数据对用树结构表示所述被摄物体图的树结构被摄物体图进行解码，变换所述树结构被摄物体图而对所述被摄物体图进行解码。

17.一种图像编码程序，用于使计算机执行权利要求1至4中的任一项所述的图像编码方法。

18.一种图像解码程序，用于使计算机执行权利要求5至8中的任一项所述的图像解码方法。

Images