CN105075268A - 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质 - Google Patents

Abstract

提供一种能够一边防止遮挡区域中的编码效率的降低一边作为整体实现用少的码量的编码的图像编码/图像解码装置。图像编码装置在对由多个不同的视点的图像构成的多视点图像进行编码时，使用针对与编码对象图像不同的视点的参照图像和针对参照图像中的被摄物的参照深度图，一边在不同的视点间预测图像一边进行编码，所述图像编码装置具备：视点合成图像生成部，使用参照图像和参照深度图，生成针对编码对象图像的视点合成图像；利用可否判定部，按照分割了编码对象图像的编码对象区域的每个来判定是否能够利用视点合成图像；以及图像编码部，按照每个编码对象区域，在利用可否判定部中判定为不能够利用视点合成图像的情况下，一边选择预测图像生成方法一边对编码对象图像进行预测编码。

Description

图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质

技术领域

本发明涉及对多视点图像进行编码和解码的图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质。

本申请基于在2013年4月11日向日本申请的特愿2013-082957号要求优先权，并将其内容引用于此。

背景技术

以往，已知由用多个摄像机拍摄了相同的被摄物和背景的多个图像构成的多视点图像（Multiviewimages：多视点图像）。将该用多个摄像机拍摄的活动图像称为多视点活动图像（或多视点影像）。在以下的说明中，将用1个摄像机拍摄的图像（活动图像）称为“二维图像（活动图像）”，将用位置、方向（以下称为视点）不同的多个摄像机拍摄了相同的被摄物和背景的二维图像（二维活动图像）组称为“多视点图像（多视点活动图像）”。

二维活动图像关于时间方向具有强的相关，通过利用该相关，从而能够提高编码效率。另一方面，在多视点图像、多视点活动图像中，在各摄像机被同步的情况下，各摄像机的影像的相同的时刻所对应的帧（图像）是从不同的位置拍摄了完全相同的状态的被摄物和背景的帧（图像），因此，在摄像机间（相同的时刻的不同的二维图像间）具有强的相关。在多视点图像、多视点活动图像的编码中，通过利用该相关，从而能够提高编码效率。

在此，对与二维活动图像的编码技术相关的现有技术进行说明。在以作为国际编码标准的H.264、MPEG-2、MPEG-4为首的以往的许多二维活动图像编码方式中，利用运动补偿预测、正交变换、量化、熵编码这样的技术来进行高效率的编码。例如，在H.264中，能够实现利用了编码对象帧与过去或未来的多个帧的时间相关的编码。

关于在H.264中使用的运动补偿预测技术的细节，例如被记载在非专利文献1中。对在H.264中使用的运动补偿预测技术的概要进行说明。H.264的运动补偿预测将编码对象帧分割为各种尺寸的块，在各块中允许具有不同的运动矢量和不同的参考帧。通过在各块中使用不同的运动矢量，从而实现对按照每个被摄物而不同的运动进行补偿后的精度高的预测。另一方面，通过在各块中使用不同的参考帧，从而实现考虑了由于时间变化而产生的遮挡（occlusion）的精度高的预测。

接着，对以往的多视点图像、多视点活动图像的编码方式进行说明。多视点图像的编码方法与多视点活动图像的编码方法的不同在于，在多视点活动图像中除了摄像机间的相关之外还同时存在时间方向的相关。可是，在哪一种情况下均能够使用相同的方法来利用摄像机间的相关。因此，在此，对在多视点活动图像的编码中使用的方法进行说明。

关于多视点活动图像的编码，为了利用摄像机间的相关，以往存在利用将运动补偿预测应用于相同的时刻的被不同的摄像机拍摄的图像的“视差补偿预测”来对多视点活动图像高效率地进行编码的方式。在此，视差是指在配置于不同的位置的摄像机的图像平面上被摄物上的相同的部分所存在的位置的差。图27是示出在摄像机间产生的视差的概念图。在图27所示的概念图中，成为垂直地俯视光轴平行的摄像机的图像平面。像这样，在不同的摄像机的图像平面上投影被摄物上的相同的部分的位置通常被称为对应点。

在视差补偿预测中，基于该对应关系，根据参考帧来预测编码对象帧的各像素值，对其预测残差和示出对应关系的视差信息进行编码。视差按照作为对象的摄像机对、位置的每一个而变化，因此，需要按照进行视差补偿预测的区域的每个对视差信息进行编码。实际上，在H.264的多视点活动图像编码方式中，按照使用视差补偿预测的块的每个对表示视差信息的矢量进行编码。

关于根据视差信息提供的对应关系，通过使用摄像机参数，从而能够基于极几何约束用示出被摄物的三维位置的一维量而不是用二维矢量来表示。作为示出被摄物的三维位置的信息，存在各种表现，但是，使用从成为基准的摄像机到被摄物的距离、与摄像机的图像平面不平行的轴上的坐标值的情况多。再有，还存在不使用距离而使用距离的倒数的情况。此外，由于距离的倒数为与视差成比例的信息，所以，还存在设定2个成为基准的摄像机并且将三维位置表现为在被这些摄像机拍摄的图像间的视差量的情况。无论使用了怎样的表现，都没有本质的不同，因此，在以下，不根据表现来进行区别，将示出这些三维位置的信息表现为深度。

图28是极几何约束的概念图。根据极几何约束，与某个摄像机的图像上的点对应的另外的摄像机的图像上的点被约束在称为极线的直线上。此时，在得到了针对其像素的深度的情况下，对应点被唯一地确定在极线上。例如，如图28所示那样，针对在第一摄像机图像中被投影到m的位置的被摄物的在第二摄像机图像中的对应点在实际空间中的被摄物的位置为M’的情况下被投影到极线上的位置m’，在实际空间中的被摄物的位置为M’’的情况下被投影到极线上的位置m’’。

按照利用该性质由针对参考帧的深度图（距离图像）提供的各被摄物的三维信息，根据参考帧生成针对编码对象帧的合成图像，将其用作预测图像，由此，能够实现精度高的预测，实现高效的多视点活动图像的编码。再有，基于该深度生成的合成图像被称为视点合成图像、视点内插图像或视差补偿图像。

可是，参考帧和编码对象帧为由处于不同的位置的摄像机拍摄的图像，因此，由于构架（framing）、遮挡的影响，存在虽然存在于编码对象帧但是不存在于参考帧的显现有被摄物、背景的区域。因此，在这样的区域中，视点合成图像不能提供适当的预测图像。在以下，将在这样的视点合成图像中不能提供适当的预测图像的区域称为遮挡区域。

在非专利文献2中，通过对编码对象图像与视点合成图像的差分图像进行进一步的预测，从而即使在遮挡区域中也利用空间的或时间的相关来实现高效的编码。此外，在非专利文献3中，将所生成的视点合成图像作为每个区域的预测图像的候补，由此，在遮挡区域中使得能够使用以另外的方法预测的预测图像，实现高效的编码。

现有技术文献。

非专利文献。

非专利文献1：ITU-TRecommendationH.264(03/2009),“Advancedvideocodingforgenericaudiovisualservices”,2009年3月；

非专利文献2：ShinyaSHIMIZU,MasakiKITAHARA,KazutoKAMIKURA,andYoshiyukiYASHIMA,“Multi-viewVideoCodingbasedon3-DWarpingwithDepthMap”,InProceedingsofPictureCodingSymposium2006,SS3-6,2006年4月；

非专利文献3：S.Shimizu,H.Kimata,andY.Ohtani,“AdaptiveappearancecompensatedviewsynthesispredictionforMultiviewVideoCoding”,ImageProcessing(ICIP),200916thIEEEInternationalConferenceonImageProcessing,pp.2949-2952,2009年11月7-10日。

发明内容

发明要解决的课题

根据非专利文献2、非专利文献3所记载的方法，能够将根据视点合成图像的摄像机间的预测和在遮挡区域中的空间或时间的预测进行组合来作为整体实现高效率的预测，所述视点合成图像是使用根据深度图得到的被摄物的三维信息来进行了高精度的视差补偿的图像。

可是，在非专利文献2所记载的方法中，即使对于视点合成图像提供高精度的预测的区域，也必须对示出用于进行针对编码对象图像与视点合成图像的差分图像的预测的方法的信息进行编码，因此，存在产生无用的码量这样的问题。

另一方面，在非专利文献3所记载的方法中，对于视点合成图像能够提供高精度的预测的区域，只要示出进行使用了视点合成图像的预测即可，因此，不需要对无用的信息进行编码。可是，无论是否提供高精度的预测，视点合成图像被包含在预测图像的候补，因此，存在预测图像的候补数目变大这样的问题。也就是说，存在如下这样的问题：不仅增加选择预测图像的生成法所需要的运算量，而且还为了示出预测图像的生成方法而需要许多的码量。

由于本发明是鉴于这样的情况而完成，因此其目的在于提供一种能够在一边将视点合成图像用作预测图像中的一个一边对多视点活动图像进行编码或解码时，一边防止遮挡区域中的编码效率的降低一边作为整体实现用少的码量进行编码的图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录这些程序的记录介质。

用于解决课题的方案

本发明的一个方式是，一种图像编码装置，在对由多个不同的视点的图像构成的多视点图像进行编码时，使用针对与编码对象图像不同的视点的编码过的参考图像和针对所述参考图像中的被摄物的参考深度图，一边在不同的视点间预测图像一边进行编码，其中，所述图像编码装置具备：视点合成图像生成部，使用所述参考图像和所述参考深度图，生成针对所述编码对象图像的视点合成图像；利用可否判定部，按照分割了所述编码对象图像的编码对象区域的每个来判定是否能够利用所述视点合成图像；以及图像编码部，按照每个所述编码对象区域，在所述利用可否判定部中判定为不能够利用所述视点合成图像的情况下，一边选择预测图像生成方法一边对所述编码对象图像进行预测编码。

优选的是，所述图像编码部按照每个所述编码对象区域，在所述利用可否判定部中判定为能够利用所述视点合成图像的情况下，对针对所述编码对象区域的所述编码对象图像与所述视点合成图像的差分进行编码，在所述利用可否判定部中判定为不能够利用所述视点合成图像的情况下，一边选择预测图像生成方法一边对所述编码对象图像进行预测编码。

优选的是，所述图像编码部按照每个所述编码对象区域，在所述利用可否判定部中判定为能够利用所述视点合成图像的情况下，生成编码信息。

优选的是，所述图像编码部决定预测块尺寸来作为所述编码信息。

优选的是，所述图像编码部决定预测方法并且生成针对所述预测方法的编码信息。

优选的是，所述利用可否判定部基于所述编码对象区域中的所述视点合成图像的品质判定所述视点合成图像的利用可否。

优选的是，所述图像编码装置还具备遮挡图生成部，所述遮挡图生成部使用所述参考深度图来在所述编码对象图像上的像素中生成表示所述参考图像的遮盖像素的遮挡图，所述利用可否判定部使用所述遮挡图，基于在所述编码对象区域内存在的所述遮盖像素的数目来判定所述视点合成图像的利用可否。

本发明的一个方式是，一种图像解码装置，在根据由多个不同的视点的图像构成的多视点图像的码数据对解码对象图像进行解码时，使用针对与所述解码对象图像不同的视点的解码过的参考图像和针对所述参考图像中的被摄物的参考深度图，一边在不同的视点间预测图像一边进行解码，其中，所述图像解码装置具备：视点合成图像生成部，使用所述参考图像和所述参考深度图，生成针对所述解码对象图像的视点合成图像；利用可否判定部，按照分割了所述解码对象图像的解码对象区域的每个来判定是否能够利用所述视点合成图像；以及图像解码部，按照每个所述解码对象区域，在所述利用可否判定部中判定为不能够利用所述视点合成图像的情况下，一边生成预测图像一边根据所述码数据对所述解码对象图像进行解码。

优选的是，所述图像解码部按照每个所述解码对象区域，在所述利用可否判定部中判定为能够利用所述视点合成图像的情况下，一边根据所述码数据对所述解码对象图像与所述视点合成图像的差分进行解码一边生成所述解码对象图像，在所述利用可否判定部中判定为不能够利用所述视点合成图像的情况下，一边生成预测图像一边根据所述码数据对所述解码对象图像进行解码。

优选的是，所述图像解码部按照每个所述解码对象区域，在所述利用可否判定部中判定为能够利用所述视点合成图像的情况下，生成编码信息。

优选的是，所述图像解码部决定预测块尺寸来作为所述编码信息。

优选的是，所述图像解码部决定预测方法并且生成针对所述预测方法的编码信息。

优选的是，所述利用可否判定部基于所述解码对象区域中的所述视点合成图像的品质判定所述视点合成图像的利用可否。

优选的是，所述图像解码装置还具备遮挡图生成部，所述遮挡图生成部使用所述参考深度图来在所述解码对象图像上的像素中生成表示所述参考图像的遮盖像素的遮挡图，所述利用可否判定部使用所述遮挡图，基于在所述解码对象区域内存在的所述遮盖像素的数目来判定所述视点合成图像的利用可否。

本发明的一个方式是，一种图像编码方法，在对由多个不同的视点的图像构成的多视点图像进行编码时，使用针对与编码对象图像不同的视点的编码过的参考图像和针对所述参考图像中的被摄物的参考深度图，一边在不同的视点间预测图像一边进行编码，其中，所述图像编码方法具有：视点合成图像生成步骤，使用所述参考图像和所述参考深度图，生成针对所述编码对象图像的视点合成图像；利用可否判定步骤，按照分割了所述编码对象图像后的编码对象区域的每个来判定是否能够利用所述视点合成图像；以及图像编码步骤，按照每个所述编码对象区域，在所述利用可否判定步骤中判定为不能够利用所述视点合成图像的情况下，一边选择预测图像生成方法一边对所述编码对象图像进行预测编码。

本发明的一个方式是，一种图像解码方法，在根据由多个不同的视点的图像构成的多视点图像的码数据对解码对象图像进行解码时，使用针对与所述解码对象图像不同的视点的解码过的参考图像和针对所述参考图像中的被摄物的参考深度图，一边在不同的视点间预测图像一边进行解码，其中，所述图像解码方法具有：视点合成图像生成步骤，使用所述参考图像和所述参考深度图，生成针对所述解码对象图像的视点合成图像；利用可否判定步骤，按照分割了所述解码对象图像的解码对象区域的每个来判定是否能够利用所述视点合成图像；以及图像解码步骤，按照每个所述解码对象区域，在所述利用可否判定步骤中判定为不能够利用所述视点合成图像的情况下，一边生成预测图像一边根据所述码数据对所述解码对象图像进行解码。

本发明的一个方式是，一种图像编码程序，用于使计算机执行所述图像编码方法。

本发明的一个方式是，一种图像解码程序，用于使计算机执行所述图像解码方法。

发明效果

根据本发明，可得到如下这样的效果：在将视点合成图像用作预测图像中的一个时，基于被遮挡区域的有无所代表的视点合成图像的品质，按照每个区域来适合地切换仅将视点合成图像作为预测图像的编码和将视点合成图像以外作为预测图像的编码，由此，能够一边防止遮挡区域中的编码效率的降低一边作为整体用少的码量对多视点图像和多视点活动图像进行编码。

附图说明

图1是示出本发明的一个实施方式中的图像编码装置的结构的框图。

图2是示出图1所示的图像编码装置100a的工作的流程图。

图3是示出生成和利用遮挡图（occlusionmap）的情况下的图像编码装置的结构例的框图。

图4是示出图像编码装置生成解码图像的情况下的处理工作的流程图。

图5是示出针对能够利用视点合成图像的区域进行编码对象图像与视点合成图像的差分信号的编码的情况下的处理工作的流程图。

图6是示出图5所示的处理工作的变形例的流程图。

图7是示出使得能够针对判定为能够利用视点合成图像的区域生成编码信息而在对另外的区域、另外的帧进行编码时参考编码信息的情况下的图像编码装置的结构的框图。

图8是示出图7所示的图像编码装置100c的处理工作的流程图。

图9是示出图8所示的处理工作的变形例的流程图。

图10是示出求取视点合成可能区域数目来进行编码的情况下的图像编码装置的结构的框图。

图11是示出图10所示的图像编码装置100d对视点合成可能区域数目进行编码的情况下的处理工作的流程图。

图12是示出图11所示的处理工作的变形例的流程图。

图13是示出本发明的一个实施方式中的图像解码装置的结构的框图。

图14是示出图13所示的图像解码装置200a的工作的流程图。

图15是示出为了判定是否能够利用视点合成图像而生成遮挡图来使用的情况下的图像解码装置的结构的框图。

图16是示出图15所示的图像解码装置200b按照每个区域生成视点合成图像的情况下的处理工作的流程图。

图17是示出针对能够利用视点合成图像的区域根据位流进行解码对象图像与视点合成图像的差分信号的解码的情况下的处理工作的流程图。

图18是示出使得能够针对判定为能够利用视点合成图像的区域生成编码信息而在对另外的区域、另外的帧进行解码时参考编码信息的情况下的图像解码装置的结构的框图。

图19是示出图18所示的图像解码装置200c的处理工作的流程图。

图20是示出根据位流对解码对象图像与视点合成图像的差分信号进行解码来进行解码对象图像的生成的情况下的处理工作的流程图。

图21是示出根据位流对视点合成可能区域数目进行解码的情况下的图像解码装置的结构的框图。

图22是示出对视点合成可能区域数目进行解码的情况下的处理工作的流程图。

图23是示出一边对设为不能够利用视点合成图像而进行解码的区域的数目进行计数一边进行解码的情况下的处理工作的流程图。

图24是示出一边对设为能够利用视点合成图像而进行解码的区域的数目进行计数还一边进行处理的情况下的处理工作的流程图。

图25是示出通过计算机和软件构成图像编码装置100a~100d的情况下的硬件结构的框图。

图26是示出通过计算机和软件构成图像解码装置200a~200d的情况下的硬件结构的框图。

图27是示出在摄像机间产生的视差的概念图。

图28是极几何约束的概念图。

具体实施方式

以下，参考附图来说明本发明的实施方式的图像编码装置和图像解码装置。

在以下的说明中，设为如下的情况进行说明：设想对由第一摄像机（称为摄像机A）、第二摄像机（称为摄像机B）这2个摄像机拍摄的多视点图像进行编码的情况，并将摄像机A的图像作为参考图像来对摄像机B的图像进行编码或解码。

再有，设为另外提供为了根据深度信息得到视差所需要的信息。具体地，该信息是表示摄像机A和摄像机B的位置关系的外部参数、表示利用摄像机的向图像平面的投影信息的内部参数，但是，即使是这些以外的方式，只要根据深度信息得到视差，则也可以提供另外的信息。与这些摄像机参数相关的详细的说明例如被记载在文献“OlivierFaugeras,“Three-DimensionalComputerVision”,pp.33-66,MITPress;BCTC/UFF-006.37F2591993,ISBN:0-262-06158-9.”中。在该文献记载有与示出多个摄像机的位置关系的参数、表示利用摄像机的向图像平面的投影信息的参数相关的说明。

在以下的说明中，对图像、影像帧、深度图附加能够特别指定以记号[]夹持的位置的信息（坐标值或能够与坐标值对应的索引），由此，设为示出通过该位置的像素采样的图像信号、针对其的深度的情况。此外，设为通过能够与坐标值、块对应的索引值和矢量的相加来表示将该坐标、块错开矢量的量的位置的坐标值、块的情况。

图1是示出本实施方式中的图像编码装置的结构的框图。图像编码装置100a如图1所示那样具备：编码对象图像输入部101、编码对象图像存储器102、参考图像输入部103、参考深度图输入部104、视点合成图像生成部105、视点合成图像存储器106、视点合成可否判定部107、以及图像编码部108。

编码对象图像输入部101输入成为编码对象的图像。在以下，将该成为编码对象的图像称为编码对象图像。在此，设为输入摄像机B的图像的情况。此外，将拍摄编码对象图像的摄像机（在此为摄像机B）称为编码对象摄像机。编码对象图像存储器102存储被输入的编码对象图像。参考图像输入部103输入在生成视点合成图像（视差补偿图像）时参考的图像。在以下，将在此输入的图像称为参考图像。在此，设为输入摄像机A的图像的情况。

参考深度图输入部104输入在生成视点合成图像时参考的深度图。在此，设为输入针对参考图像的深度图的情况，但是，也可以是针对另外的摄像机的深度图。在以下，将该深度图称为参考深度图。再有，深度图是指表示在所对应的图像的各像素中显现的被摄物的三维位置的图。关于深度图，只要是利用另外提供的摄像机参数等信息得到三维位置的信息，则是怎样的信息都可以。例如，能够使用从摄像机到被摄物的距离、相对于与图像平面不平行的轴的坐标值、针对另外的摄像机（例如摄像机B）的视差量。此外，在此只要得到视差量即可，因此，也可以不使用深度图而使用直接表现视差量的视差图。再有，设为在此深度图以图像的方式被给出的情况，但是，只要得到同样的信息，则也可以不是图像的方式。在以下，将与参考深度图对应的摄像机（在此为摄像机A）称为参考深度摄像机。

视点合成图像生成部105使用参考深度图来求取编码对象图像的像素与参考图像的像素的对应关系，生成针对编码对象图像的视点合成图像。视点合成图像存储器106存储被生成的针对编码对象图像的视点合成图像。视点合成可否判定部107按照分割了编码对象图像的区域的每个来判定是否能够利用针对该区域的视点合成图像。图像编码部108基于视点合成可否判定部107的判定，按照分割了编码对象图像的区域的每个来对编码对象图像进行预测编码。

接着，参考图2来说明图1所示的图像编码装置100a的工作。图2是示出图1所示的图像编码装置100a的工作的流程图。首先，编码对象图像输入部101输入编码对象图像Org，并将所输入的编码对象图像Org存储到编码对象图像存储器102中（步骤S101）。接着，参考图像输入部103输入参考图像，并将所输入的参考图像向视点合成图像生成部105输出，参考深度图输入部104输入参考深度图，并将所输入的参考深度图像向视点合成图像生成部105输出（步骤S102）。

再有，设为如下的情况：关于在步骤S102中输入的参考图像、参考深度图，对已经编码过的信息进行解码后的信息等与在解码侧得到的信息相同。这是因为，通过使用与由图像解码装置得到的信息完全相同的信息，从而抑制漂移（drift）等编码噪声的产生。但是，在容许这样的编码噪声发生的情况下，也可以输入编码前的信息等仅在编码侧得到的信息。关于参考深度图，能够设为如下的情况来进行使用：除了对已经编码过的信息进行解码后的信息以外，对于通过对针对多个摄像机进行解码的多视点图像应用立体匹配（stereomatching）等从而估计出的深度图、使用解码的视差矢量、运动矢量等而估计出的深度图等，也可在解码侧得到相同的信息。

接着，视点合成图像生成部105生成针对编码对象图像的视点合成图像Synth，并将所生成的视点合成图像Synth存储到视点合成图像存储器106中（步骤S103）。关于在此的处理，只要是使用参考图像和参考深度图来合成编码对象摄像机中的图像的方法，则使用怎样的方法都可。例如，也可以使用记载在非专利文献2或文献“Y.Mori,N.Fukushima,T.Fujii,andM.Tanimoto,“ViewGenerationwith3DWarpingUsingDepthInformationforFTV”,InProceedingsof3DTV-CON2008,pp.229-232,May2008.”中的方法。

接着，若是得到视点合成图像，则按照分割了编码对象图像后的区域的每个，一边判定视点合成图像的利用可否一边对编码对象图像进行预测编码。即，在用零对示出分割了编码对象图像后的进行编码处理的单位的区域的索引的变量blk进行初始化之后（步骤104），一边对blk进行逐次加1的加法运算（步骤S107），一边重复以下的处理（步骤S105和步骤S106）直到blk变为编码对象图像内的区域数目numBlks为止（步骤S108）。

在按照分割了编码对象图像后的区域的每个来进行的处理中，首先，视点合成可否判定部107针对区域blk判定是否能够利用视点合成图像（步骤S105），根据判定结果，对针对块blk的编码对象图像进行预测编码（步骤S106）。在以后说明在步骤S105中进行的判定是否能够利用视点合成图像的处理。

在判断为能够利用视点合成图像的情况下，结束区域blk的编码处理。另一方面，在判断为不能够利用视点合成图像的情况下，图像编码部108对区域blk的编码对象图像进行预测编码，生成位流（步骤S106）。如果能够在解码侧正确地进行解码，则在预测编码中使用怎样的方法都可以。再有，所生成的位流为图像编码装置100a的输出的一部分。

在MPEG-2、H.264、JPEG等通常的活动图像编码或图像编码中，按照每个区域从多个预测模式之中选择1个模式来生成预测图像，对编码对象图像与预测图像的差分信号实施DCT（离散余弦变换）等频率变换，对作为其结果而得到的值依次应用量化、二值化、熵编码的处理，由此进行编码。再有，在编码中，也可以将视点合成图像用作预测图像的候补中的一个，但是，从预测图像的候补中排除视点合成图像，由此，能够削减模式信息涉及的码量。对于从预测图像的候补中排除视点合成图像的方法，也可以使用在识别预测模式的表中删除针对视点合成图像的条目（entry）或使用不存在针对视点合成图像的条目的表这样的方法。

在此，图像编码装置100a输出针对图像信号的位流。即，设为根据需要对图像编码装置100a输出的位流另外追加示出图像尺寸等信息的参数集合、标题（header）的情况。

关于在步骤S105中进行的判定是否能够利用视点合成图像的处理，如果能够在解码侧利用相同的判定方法，则使用怎样的方法都可以。例如，按照针对区域blk的视点合成图像的品质来判断利用可否，也就是说，只要视点合成图像的品质为另外确定的阈值以上，则判断为可利用，在视点合成图像的品质为不足阈值的情况下，判断为不可利用也可。但是，由于不能在解码侧利用针对区域blk的编码对象图像，所以，需要使用视点合成图像、对邻接区域中的编码对象图像进行编码而解码后的结果来评价品质。作为仅使用视点合成图像来评价品质的方法，能够使用NR画质评价尺度（No-referenceimagequalitymetric，无参考图像质量尺度）。此外，也可以将在邻接区域中对编码对象图像编码而解码后的结果与视点合成图像的误差量作为评价值。

作为另外的方法，存在按照区域blk中的遮挡区域的有无进行判定的方法。也就是说，只要区域blk中的遮挡区域的像素数目为另外确定的阈值以上，则判断为不可利用，也可以在区域blk中的遮挡区域的像素数目不足阈值的情况下判断为能够利用。特别地，在将阈值设为1并且在遮挡区域中包含1个像素的情况下，也可以判断为不可利用。

再有，为了正确地得到遮挡区域，需要在生成视点合成图像的情况下一边适当地判定被摄物的前后关系一边进行视点合成。也就是说，关于编码对象图像的像素之中的在参考图像上被其它被摄物遮盖的像素，需要使得不生成合成图像。在使得不生成合成图像的情况下，在生成视点合成图像之前，以不能取得的值初始化视点合成图像的各像素的像素值，由此，能够使用视点合成图像来判定遮挡区域的有无。此外，也可以在生成视点合成图像时，同时生成示出遮挡区域的遮挡图，使用其进行判定。

接着，参考图3来说明图1所示的图像编码装置的变形例。图3是示出生成和利用遮挡图的情况下的图像编码装置的结构例的框图。图3所示的图像编码装置100b与图1所示的图像编码装置100a不同之处在于，具备视点合成部110和遮挡图存储器111来代替视点合成图像生成部105。再有，对与图1所示的图像编码装置100a相同的结构标注相同的附图标记并省略其说明。

视点合成部110使用参考深度图来求取编码对象图像的像素与参考图像的像素的对应关系，生成针对编码对象图像的视点合成图像和遮挡图。在此，遮挡图是表示是否针对编码对象图像的各像素取得在参考图像上在该像素显现的被摄物的对应的图。遮挡图存储器111存储所生成的遮挡图。

在遮挡图的生成中，只要能够在解码侧进行相同的处理，则使用怎样的方法都可以。例如，也可以对如前述那样以不能取得的值初始化各像素的像素值而生成的视点合成图像进行解析，由此求取遮挡图，也可以设为在全部像素中为遮挡而对遮挡图进行初始化，每当针对像素生成视点合成图像时，以示出不是遮挡区域这一情况的值覆盖针对该像素的值，由此生成遮挡图。此外，还存在如下方法：通过参考深度图的解析来估计遮挡区域，由此生成遮挡图。例如，存在提取参考深度图中的边缘（edge），根据其强度和方向来估计遮挡范围的方法。

在视点合成图像的生成方法之中，存在通过对遮挡区域进行时间空间预测来生成某些像素值的方法。该处理被称为图像修复（inpainting）。在该情况下，利用图像修复生成像素值的像素也可以作为遮挡区域，也可以不作为遮挡区域。再有，在将利用图像修复生成像素值的像素处理为遮挡区域的情况下，由于不能在遮挡判定中使用视点合成图像，因此，需要生成遮挡图。

进一步地作为另外的方法，也可以组合根据视点合成图像的品质的判定和根据遮挡区域的有无的判定。例如，存在在组合双方的判定而在双方的判定中不满足基准的情况下判定为不可利用的方法。此外，也存在按照遮挡区域所包含的像素数目而使视点合成图像的品质的阈值变化的方法。进一步地，也存在仅在遮挡区域的有无的判定中不满足基准的情况下使得进行根据品质的判定的方法。

在到前述为止的说明中未生成编码对象图像的解码图像，但是，在将编码对象图像的解码图像被用于另外的区域、另外的帧的编码的情况下，生成解码图像。图4是示出图像编码装置生成解码图像的情况下的处理工作的流程图。在图4中，对与图2所示的处理工作相同的处理工作标注相同的附图标记来省略其说明。图4所示的处理工作与图2所示的处理工作不同，判定是否能够利用视点合成图像（步骤S105），在判定为能够利用的情况下追加将视点合成图像作为解码图像的处理（步骤S109）以及在判定为不能够利用的情况下追加生成解码图像的处理（步骤S110）。

再有，关于在步骤S110中进行的解码图像的生成处理，只要可得到与解码侧相同的解码图像，则以怎样的方法进行都可以。例如，也可以通过对在步骤S106中生成的位流进行解码来进行，也可以通过对用二值化和熵编码无损编码后的值进行逆量化和逆变换并将其结果得到的值施加到预测图像来简单地进行。

此外，在到前述为止的说明中，对于能够利用视点合成图像的区域不生成位流，但是，也可以使得对编码对象图像与视点合成图像的差分信号进行编码。再有，在此，关于差分信号，只要能够校正视点合成图像相对于编码对象图像的误差，则也可以表现为单纯的差分，也可以表现为编码对象图像的剩余。但是，需要能够在解码侧判定使用怎样的方法来表现差分信号。例如，也可以设为使用常有的表现的情况，也可以按照每个帧对传达表现方法的信息进行编码来进行通知。使用视点合成图像、参考深度图、遮挡图等在解码侧也可得到的信息来决定表现方法，由此，也可以按照像素、帧来使用不同的表现方法。

图5是示出针对能够利用视点合成图像的区域进行编码对象图像与视点合成图像的差分信号的编码的情况下的处理工作的流程图。图5所示的处理工作与图2所示的处理工作不同之处在于追加步骤S111，其它是相同的。对进行相同的处理的步骤标注相同的附图标记并省略其说明。

在图5所示的处理工作中，在判定为在区域blk中能够利用视点合成图像的情况下，对编码对象图像与视点合成图像的差分信号进行编码来生成位流（步骤S111）。如果能够在解码侧正确地解码，则对差分信号的编码使用怎样的方法都可以。所生成的位流成为图像编码装置100a的输出的一部分。

再有，在生成/存储解码图像的情况下，如图6所示，通过对视点合成图像施加编码后的差分信号来生成/存储解码图像（步骤S112）。图6是示出图5所示的处理工作的变形例的流程图。在此，编码后的差分信号是指以位流表现的差分信号，是与在解码侧得到的差分信号相同的信号。

在MPEG-2、H.264、JPEG等通常的活动图像编码或图像编码中的差分信号的编码中，按照每个区域实施DCT等频率变换，对作为其结果而得到的值依次应用量化、二值化、熵编码的处理，由此进行编码。在该情况下，与步骤S106中的预测编码处理不同，省略了预测块尺寸、预测模式、运动/视差矢量等预测图像的生成所需要的信息的编码，不会生成针对其的位流。因此，与针对全部区域编码预测模式等的情况相比，能够削减码量来实现高效的编码。

在到前述为止的说明中，针对能够利用视点合成图像的区域不生成编码信息（预测信息）。可是，也可以使得生成不被位流包含的区域的每个的编码信息，能够在对另外的帧进行编码时参考编码信息。在此，编码信息是指使用于预测块尺寸、预测模式、运动/视差矢量等在预测图像的生成、预测残差的解码的信息。

接着，参考图7来说明图1所示的图像编码装置的变形例。图7是示出使得能够针对判定为能够利用视点合成图像的区域生成编码信息而在对另外的区域或另外的帧进行编码时参考编码信息的情况下的图像编码装置的结构的框图。图7所示的图像编码装置100c与图1所示的图像编码装置100a不同之处在于进一步具备编码信息生成部112。再有，在图7中，对图1所示的相同的结构标注相同的附图标记并省略其说明。

编码信息生成部112针对判定为能够利用视点合成图像的区域生成编码信息并向对另外的区域或另外的帧进行编码的图像编码装置进行输出。在本实施方式中，设为另外的区域或另外的帧的编码也在图像编码装置100c中进行，将生成的信息向图像编码部108给出。

接着，参考图8来说明图7所示的图像编码装置100c的处理工作。图8是示出图7所示的图像编码装置100c的处理工作的流程图。图8所示的处理工作与图2所示的处理工作不同之处在于，在视点合成图像的利用可否判定（步骤S105）中判定为可利用之后，追加生成针对区域blk的编码信息的处理（步骤S113）这一点。再有，关于编码信息的生成，只要解码侧能够生成相同的信息，则生成怎样的信息都可以。

例如，作为预测块尺寸，也可以设为尽可能大的块尺寸，也可以设为尽可能小的块尺寸。此外，也可以根据所使用的深度图、所生成的视点合成图像来进行判定，由此，按照每个区域设定不同的块尺寸。也可以以成为具有类似的像素值、深度值的像素的尽可能大的集合的方式来适当地决定块尺寸。

作为预测模式、运动/视差矢量，也可以针对全部区域设定示出在进行每个区域的预测的情况下使用了视点合成图像的预测的模式信息、运动/视差矢量。此外，也可以将与视点间预测模式对应的模式信息和根据深度等得到的视差矢量分别设定为模式信息、运动/视差矢量。关于视差矢量，也可以通过将针对其区域的视点合成图像作为样板（template）而在参考图像上进行探索来求取。

作为另外的方法，也可以通过将视点合成图像当作编码对象图像来进行解析，从而估计并生成最适合的块尺寸、预测模式。在该情况下，也可以使得能够选择帧内预测、运动补偿预测等来作为预测模式。

像这样，生成无法根据位流得到的信息，在对另外的帧进行编码时，使得能够参考所生成的信息，由此，能够提高另外的帧的编码效率。这是因为，在对时间上连续的帧、拍摄相同的被摄物的帧等类似的帧进行编码的情况下，由于还与运动矢量、预测模式相关，因此能够利用这些相关来去除冗余性。

在此，进行了在能够利用视点合成图像的区域中不生成位流的情况下的说明，但是，如图9所示，也可以进行前述的编码对象图像与视点合成图像的差分信号的编码。图9是示出图8所示的处理工作的变形例的流程图。再有，在将编码对象图像的解码图像用于另外的区域或另外的帧的编码的情况下，若是结束针对区域blk的处理，则如前述的说明那样，使用对应的方法来生成/存储解码图像。

在前述的图像编码装置中，关于设为能够利用视点合成图像而被编码的区域的数目的信息未被包含在所输出的位流中。可是，也可以在进行每个块的处理之前，求取能够利用视点合成图像的区域的数目，使得将示出该数目的信息埋入到位流中也可。在以下，将能够利用视点合成图像的区域的数目称为视点合成可能区域数目。再有，明显也可以使用不能够利用视点合成图像的区域的数目，因此，说明使用能够利用视点合成图像的区域的数目的情况。

接着，参考图10来说明图1所示的图像编码装置的变形例。图10是示出求取视点合成可能区域数目来进行编码的情况下的图像编码装置的结构的框图。图10所示的图像编码装置100d与图1所示的图像编码装置100a不同之处在于，具备视点合成可能区域决定部113和视点合成可能区域数目编码部114来代替视点合成可否判定部107。再有，在图10中，对与图1所示的图像编码装置100a相同的结构标注相同的附图标记并省略其说明。

视点合成可能区域决定不113按照分割了编码对象图像的区域的每个来判定是否能够利用针对其区域的视点合成图像。视点合成可能区域数目编码部114对在视点合成可能区域决定部113中决定为能够利用视点合成图像的区域的数目进行编码。

接着，参考图11来说明图10所示的图像编码装置100d的处理工作。图11是示出图10所示的图像编码装置100d对视点合成可能区域数目进行编码的情况下的处理工作的流程图。图11所示的处理工作与图2所示的处理工作不同，在生成视点合成图像之后，决定设为能够利用视点合成图像的区域（步骤S114），并对作为该区域的数目的视点合成可能区域数目进行编码（步骤S115）。编码结果的位流成为图像编码装置100d的输出的一部分。此外，按照每个区域进行的是否能够利用视点合成图像的判断（步骤S116）以与在前述的步骤S114中的决定相同的方法进行。再有，在步骤S114中，生成示出在各区域中是否能够利用视点合成图像的图，在步骤S116中，也可以使得通过参考该图来判定视点合成图像的利用可否。

再有，对于能够利用视点合成图像的区域的决定，使用怎样的方法都可以。但是需要能够在解码侧使用同样的基准来特别指定区域。例如，针对遮挡区域所包含的像素数目、视点合成图像的品质等，也可以以预先确定的阈值为基准来决定是否能够利用视点合成图像。在那时，也可以根据目标比特率、品质来决定阈值，控制设为能够利用视点合成图像的区域。再有，虽然不需要对所使用的阈值进行编码，但是也可以对阈值进行编码来传输被编码的阈值。

在此，设为图像编码装置输出2种位流的情况，但是，也可以对图像编码部108的输出和视点合成可能区域编码部114的输出进行复用而将作为其结果得到的位流作为图像编码装置的输出。此外，在图11所示的处理工作中，在进行各区域的编码前对视点合成可能区域数目进行了编码，但是，也可以使得如图12所示那样在按照图2所示的处理工作进行编码之后，对作为结果判断为能够利用视点合成图像的区域数目进行编码（步骤S117）。图12是示出图11所示的处理工作的变形例的流程图。

进一步地，在此，在判断为能够利用视点合成图像的区域中省略编码处理的情况下进行了说明，但是，明显也可以在参考图3~图8说明了的方法中组合对视点合成可能区域数目进行编码的方法。

像这样将视点合成可能区域数目包含在位流中，由此，成为在由于某些错误而在编码侧和解码侧得到不同的参考图像、参考深度图的情况下，也能够防止由于该错误所致的位流的读取错误的发生。再有，当在比在编码时设想的区域数目更多的区域中判断为能够利用视点合成图像时，不读入在该帧中本来应该读入的位，在下一个帧等的解码中，将错误的位判断为是排头位，成为不能进行正常的位读入。另一方面，当在比在编码时设想的区域数目更少的区域中判断为能够利用视点合成图像时，使用针对下一个帧等的位进行解码处理，变为不能够从该帧进行正常的位读入。

接着，对本实施方式中的图像解码装置进行说明。图13是示出本实施方式中的图像解码装置的结构的框图。如图13所示，图像解码装置200a具备：位流输入部201、位流存储器202、参考图像输入部203、参考深度图输入部204、视点合成图像生成部205、视点合成图像存储器206、视点合成可否判定部207以及图像解码部208。

位流输入部201输入成为解码对象的图像的位流。在以下，将该成为解码对象的图像称为解码对象图像。在此，解码对象图像指摄像机B的图像。此外，在以下，将拍摄解码对象图像的摄像机（在此为摄像机B）称为解码对象摄像机。位流存储器202存储针对所输入的解码对象图像的位流。参考图像输入部203输入在生成视点合成图像（视差补偿图像）时参考的图像。在以下，将在此所输入的图像称为参考图像。在此，设为输入摄像机A的图像的情况。

参考深度图输入部204输入在生成视点合成图像时参考的深度图。在此，设为输入针对参考图像的深度图的情况，但是，也可以是针对另外的摄像机的深度图。在以下，将该深度图称为参考深度图。再有，深度图是指表示在所对应的图像的各像素显现的被摄物的三维位置的图。关于深度图，只要是可利用另外提供的摄像机参数等信息得到三维位置的信息，则是怎样的信息都可以。例如，能够使用从摄像机到被摄物的距离、相对于与图像平面不平行的轴的坐标值、针对另外的摄像机（例如摄像机B）的视差量。此外，在此只要得到视差量即可，因此，也可以不使用深度图而使用直接表现视差量的视差图。再有，在此设为深度图以图像的方式被给出的情况，但是，只要可得到同样的信息，则也可以不是图像的方式。在以下，将与参考深度图对应的摄像机（在此为摄像机A）称为参考深度摄像机。

视点合成图像生成部205使用参考深度图来求取解码对象图像的像素与参考图像的像素的对应关系，生成针对解码对象图像的视点合成图像。视点合成图像存储器206存储被生成的针对解码对象图像的视点合成图像。视点合成可否判定部207按照分割了解码对象图像后的区域的每个来判定是否能够利用针对该区域的视点合成图像。图像解码部208按照分割了解码对象图像后的区域的每个基于视点合成可否判定部207的判定根据位流对解码对象图像进行解码或者根据视点合成图像生成解码对象图像并输出。

接着，参考图14来说明图13所示的图像解码装置200a的工作。图14是示出图13所示的图像解码装置200a的工作的流程图。首先，位流输入部201输入对解码对象图像进行编码后的位流，将所输入的位流存储到位流存储器202（步骤S201）。接着，参考图像输入部203输入参考图像，将所输入的参考图像向视点合成图像生成部205输出，参考深度图输入部204输入参考深度图，将所输入的参考深度图向视点合成图像生成部205输出（步骤S202）。

再有，设为在步骤S202中输入的参考图像、参考深度图与在编码侧所使用的相同的情况。这是因为，通过使用与由图像编码装置得到的信息完全相同的信息，从而抑制漂移等编码噪声的发生。但是，在容许这样的编码噪声的发生的情况下，也可以输入与在编码时使用的信息不同的信息。关于参考深度图，除了另外解码的深度图以外，有时使用通过对针对多个摄像机进行解码的多视点图像应用立体匹配等而估计出的深度图、使用解码的视差矢量、运动矢量等而估计出的深度图等。

接着，视点合成图像生成部205生成针对解码对象图像的视点合成图像Synth，并将所生成的视点合成图像Synth存储到视点合成图像存储器206（步骤S203）。在此的处理与前述的步骤S103相同。再有，为了抑制漂移等编码噪声的发生，需要使用与在编码时使用的方法相同的方法，但是，在容许这样的编码噪声的产发生的情况下，也可以使用与在编码时使用的方法不同的方法。

接着，在得到视点合成图像之后，按照分割了解码对象图像后的区域的每个一边判定视点合成图像的利用可否一边解码或生成解码对象图像。即，在用零对示出分割了解码对象图像后的进行解码处理的单位的区域的索引的变量blk进行初始化之后（步骤204），一边对blk进行逐次加1的加法运算（步骤S208），一边重复以下的处理（步骤S205~步骤S207）直到blk变为解码对象图像内的区域数目numBlks为止（步骤S209）。

在按照分割了解码对象图像后的区域的每个来进行的处理中，首先，视点合成可否判定部207针对区域blk判定是否能够利用视点合成图像（步骤S205）。在此的处理与前述的步骤S105相同。

在判断为能够利用视点合成图像的情况下，将区域blk的视点合成图像设为解码对象图像（步骤S206）。另一方面，在判断为不能够利用视点合成图像的情况下，图像解码部208用指定的方法一边生成预测图像一边根据位流对解码对象图像进行解码（步骤S207）。再有，所得到的解码对象图像成为图像解码装置200a的输出。在将本发明用于活动图像解码、多视点图像解码等的情况等将解码对象图像使用于解码其它帧时的情况下，将解码对象图像存储到另外确定的解码图像存储器。

在根据位流对解码对象图像进行解码的情况下，使用与在编码时使用的方式对应的方法。例如，在使用非专利文献1所记载的H.264/AVC为标准的方式进行编码的情况下，根据位流解码示出预测方法的信息、预测残差，按照解码后的预测方法对所生成的预测图像施加预测残差，由此对解码对象图像进行解码。再有，在通过在编码时在识别预测模式的表中删除针对视点合成图像的条目或使用不存在针对视点合成图像的条目的表来从预测图像的候补排除视点合成图像的情况下，需要通过同样的处理在识别预测模式的表中删除针对视点合成图像的条目或按照原来不存在针对视点合成图像的条目的表进行解码处理。

在此，向图像解码装置200a输入针对图像信号的位流。即，设为根据需要在图像解码装置200a的外侧解释示出图像尺寸等信息的参数集合、标题，将解码所需要的信息向图像解码装置200a通知。

在步骤S205中，为了判定是否能够利用视点合成图像，也可以生成并使用遮挡图。在图15示出该情况下的图像解码装置的结构例。图15是示出为了判定是否能够利用视点合成图像而生成并使用遮挡图的情况下的图像解码装置的结构的框图。图15所示的图像解码装置200b与图13所示的图像解码装置200a不同之处在于，具备视点合成部209和遮挡图存储器210来代替视点合成图像生成部205这一点。再有，在图15中，对与图13所示的图像解码装置200a相同的结构标注相同的附图标记并省略其说明。

视点合成部209使用参考深度图来求取解码对象图像的像素与参考图像的像素的对应关系，生成针对解码对象图像的视点合成图像和遮挡图。在此，遮挡图是表示是否针对解码对象图像的各像素取得在参考图像上在其像素显现的被摄物的对应的图。在遮挡图的生成中，只要为与编码侧相同的处理，则使用怎样的方法都可以。遮挡图存储器210存储所生成的遮挡图。

此外，在视点合成图像的生成方法之中，存在通过对遮挡区域进行时间空间预测来生成某些像素值的方法。该处理被称为图像修复。在该情况下，利用图像修复生成像素值的像素也可以作为遮挡区域，也可以不作为遮挡区域。再有，在将利用图像修复生成像素值的像素处理为遮挡区域的情况下，不能将视点合成图像使用于遮挡判定，因此，需要生成遮挡图。

在使用遮挡图来判定是否能够利用视点合成图像的情况下，也可以使得不针对解码对象图像整体生成视点合成图像而按照每个区域来生成视点合成图像。通过像这样做，从而能够削减用于存储视点合成图像的存储器量、运算量。但是，需要能够按照每个区域制作视点合成图像，以便得到那样的效果。

接着，参考图16来说明图15所示的图像解码装置的处理工作。图16是示出图15所示的图像解码装置200b按照每个区域生成视点合成图像的情况下的处理工作的流程图。如图16所示那样，以帧为单位生成遮挡图（步骤S213），使用遮挡图判定是否能够利用视点合成图像（步骤S205’）。之后，针对判断为能够利用视点合成图像的区域，生成视点合成图像来作为解码对象图像（步骤S214）。

作为能够按照每个区域制作视点合成图像的状况，存在可得到针对解码对象图像的深度图的状况。例如，也可以提供针对解码对象图像的深度图来作为参考深度图，也可以设为根据参考深度图生成针对解码对象图像的深度图而使用于视点合成图像的生成。再有，在根据参考深度图生成针对视点合成图像的深度图时，也可以在以不能取得的深度值初始化合成深度图之后，通过利用每个像素的投影处理来生成合成深度图，从而利用合成深度图来作为遮挡图。

在到前述为止的说明中，针对能够利用视点合成图像的区域，将视点合成图像按原样作为解码对象图像，但是，在位流中对解码对象图像与视点合成图像的差分信号进行编码的情况下，也可以使得一边对其进行使用一边对解码对象图像进行解码。再有，在此，差分信号是指对视点合成图像相对于解码对象图像的误差进行校正的信息，也可以表现为单纯的差分，也可以表现为解码对象图像的剩余。但是必须知晓在编码时使用的表现方法。例如，也可以设为总是使用特定的表现的情况，也可以设为按照每个帧对传送表现方法的信息进行编码。在后者的情况下，需要在适当的定时根据位流对示出表现形式的信息进行解码。此外，也可以设为通过使用视点合成图像、参考深度图、遮挡图等与编码侧相同的信息来决定表现方法，从而可使用按照每个像素、帧而不同的表现方法。

图17是示出针对能够利用视点合成图像的区域根据位流进行解码对象图像与视点合成图像的差分信号的解码的情况下的处理工作的流程图。图17所示的处理工作与图14所示的处理工作不同之处在于，进行步骤S210和步骤S211来代替步骤S206这一点，其它是相同的。在图17中对进行与图14所示的处理相同的处理的步骤标注相同的附图标记并省略其说明。

在图17所示的流程中，在判断为在区域blk中能够利用视点合成图像的情况下，首先，根据位流对解码对象图像与视点合成图像的差分信号进行解码（步骤S210）。在此的处理使用与在编码侧使用的处理对应的方法。例如，在使用与在MPEG-2、H.264、JPEG等通常的活动图像编码或图像编码中的差分信号的编码相同的方式进行编码的情况下，对熵解码位流而得到的值实施逆二值化、逆量化、IDCT（反离散余弦变换）等频率逆变换，由此解码差分信号。

接着，使用视点合成图像和解码后的差分信号来生成解码对象图像（步骤S211）。在此的处理配合差分信号的表现方法来进行。例如，在以单纯的差分表现差分信号的情况下，对视点合成图像施加差分信号，进行按照像素值的值域的裁剪（clipping）处理，由此生成解码对象图像。在差分信号示出解码对象图像的剩余的情况下，求取最接近视点合成图像的像素值并且与差分信号的剩余相同的像素值，由此生成解码对象图像。此外，在差分信号成为错误订正码的情况下，使用差分信号来订正视点合成图像的错误，由此生成解码对象图像。

再有，与步骤S207中的解码处理不同，不进行根据位流对预测块尺寸、预测模式、运动/视差矢量等预测图像的生成所需要的信息进行解码的处理。因此，与针对全部区域编码预测模式等的情况相比，能够削减码量，实现高效的编码。

在到前述为止的说明中，对于能够利用视点合成图像的区域，不生成编码信息。可是，也可以使得能够生成不包含于位流的区域的每个的编码信息而在解码另外的帧时参考编码信息。在此，编码信息是指预测块尺寸、预测模式、运动/视差矢量等使用于预测图像的生成、预测残差的解码的信息。

接着，参考图18来说明图13所示的图像解码装置的变形例。图18是示出使得能够针对判定为能够利用视点合成图像的区域生成编码信息而在对另外的区域、另外的帧进行解码时参考编码信息的情况下的图像解码装置的结构的框图。图18所示的图像解码装置200c与图13所示的图像解码装置200a不同之处在于进一步具备编码信息生成部211。再有，在图18中对与图13所示的结构相同的结构标注相同的附图标记并省略其说明。

编码信息生成部211针对判定为能够利用视点合成图像的区域生成编码信息，并向对另外的区域、另外的帧进行解码的图像解码装置进行输出。在此，表示也用图像解码装置200c进行另外的区域、另外的帧的解码的情况，将所生成的信息向图像解码部208给出。

接着，参考图19来说明图18所示的图像解码装置200c的处理工作。图19是示出图18所示的图像解码装置200c的处理工作的流程图。图19所示的处理工作与图14所示的处理工作不同之处在于，在视点合成图像的利用可否判定（步骤S105）中判定为可利用而生成解码对象图像之后，追加生成针对区域bllk的编码信息的处理（步骤S212）。再有，在编码信息的生成处理中，只要生成与在编码侧生成的信息相同的信息，则生成怎样的信息都可以。

例如，作为预测块尺寸，也可以设为尽可能大的块尺寸，也可以设为尽可能小的块尺寸。此外，根据所使用的深度图、所生成的视点合成图像来进行判定，由此也可以按照每个区域来设定不同的块尺寸也可。也可以以成为具有类似的像素值、深度值的像素的尽可能大的集合的方式来适当地决定块尺寸。

作为预测模式、运动/视差矢量，也可以针对全部区域设定示出在进行每个区域的预测的情况下使用了视点合成图像的预测的模式信息、运动/视差矢量。此外，也可以将与视点间预测模式对应的模式信息和根据深度等得到的视差矢量分别设定为模式信息、运动/视差矢量。关于视差矢量，也可以通过将针对其区域的视点合成图像作为样板而在参考图像上进行探索来求取。

作为另外的方法，也可以通过将视点合成图像当作解码对象图像的编码前的图像进行解析，从而估计并生成最适合的块尺寸、预测模式。在该情况下，也可以使得能够选择画面内预测、运动补偿预测等来作为预测模式。

像这样，生成无法根据位流得到的信息，在对另外的帧进行解码时，使得能够参考所生成的信息，由此能够提高另外的帧的编码效率。这是因为，在对时间上连续的帧、拍摄相同的被摄物的帧等类似的帧进行编码的情况下，由于在运动矢量、预测模式上也存在相关，因此能够利用这些相关来去除冗余性。

在此，进行了在能够利用视点合成图像的区域中将视点合成图像作为解码对象图像的情况下的说明，但是，如图20所示，也可以根据位流对解码对象图像与视点合成图像的差分信号进行解码（步骤S210），进行解码对象图像的生成（步骤S211）。图20是示出根据位流对解码对象图像与视点合成图像的差分信号进行解码来进行解码对象图像的生成的情况下的处理工作的流程图。此外，也可以组合以前述的帧单位生成遮挡图并且关于视点合成图像按照每个区域来进行生成的方法以及生成编码信息的方法来进行使用。

在前述的图像解码装置中，关于设为能够利用视点合成图像而进行编码的区域的数目的信息未被包含在所输入的位流。可是，也可以使得根据位流对能够利用视点合成图像的区域的数目（或不能够利用的区域的数目）进行解码，按照该数目来控制解码处理。在以下，将解码后的能够利用视点合成图像的区域的数目称为视点合成可能区域数目。

图21是示出根据位流对视点合成可能区域数目进行解码的情况下的图像解码装置的结构的框图。图12所示的图像解码装置200d与图13所示的图像解码装置200a不同之处在于，具备视点合成可能区域数目解码部212和视点合成可能区域决定部213来代替视点合成可否判定部207。再有，在图21中对与图13所示的图像解码装置200a相同的结构标注相同的附图标记并省略其说明。

视点合成可能区域数目解码部212根据位流对分割了解码对象图像后的区域之中的判断为能够利用视点合成图像的区域的数目进行解码。视点合成可能区域决定部213基于所解码的视点合成可能区域数目按照分割了解码对象图像后的区域的每个决定是否能够利用视点合成图像。

接着，参考图22来说明图21所示的图像解码装置200d的处理工作。图22是示出对视点合成可能区域数目进行解码的情况下的处理工作的流程图。图22所示的处理工作与图14所示的处理工作不同，在生成视点合成图像之后，根据位流解码视点合成可能区域数目（步骤S213），使用所解码的视点合成可能区域数目按照分割了解码对象图像后的区域的每个来决定是否设为能够利用视点合成图像（步骤214）。此外，按照每个区域进行的是否能够利用视点合成图像的判断（步骤S215）使用与在步骤S214中的决定相同的方法来进行。

在设为能够利用视点合成图像的区域的决定中，使用怎样的方法都可以。可是，需要使用与编码侧相同的基准来决定区域。例如，也可以使得以视点合成图像的品质、遮挡区域所包含的像素数目为基准对各区域排列顺序而按照视点合成可能区域数目决定设为能够利用视点合成图像的区域。由此，成为能够根据目标比特率、品质来控制设为能够利用视点合成图像的区域的数目，成为能够实现从使得能够进行高品质的解码对象图像的传输的编码到使得能够进行利用低比特率的图像传输的编码的灵活的编码。

再有，在步骤S214中，生成示出在各区域中是否能够利用视点合成图像的图，在步骤S215中，也可以使得通过参考该图来判定视点合成图像的利用可否。此外，在不生成表示视点合成图的利用可否的图的情况下，在步骤S214中在使用所设定的基准时决定满足所解码的视点合成可能区域数目的阈值，在步骤S215的判定中，也可以使得以是否满足所决定的阈值来进行判定。通过像这样做，从而能够削减按照每个区域进行的视频合成图像的利用可否所涉及的运算量。

在此，设为如下的情况：向图像解码装置输入1种位流，所输入的位流被向包含适当的信息的部分位流分离，适当的位流被输入到图像解码部208和视点合成可能区域数目解码部212。可是，也可以使得在图像解码装置的外部进行位流的分离而将各个位流输入到图像解码部208和视点合成可能区域数目解码部212。

此外，在前述的处理工作中，在进行各区域的解码前鉴于图像整体而进行了能够利用视点合成图像的区域的决定，但是，也可以使得一边考虑在此之前处理的区域的判定结果一边按照每个区域判定是否能够利用视点合成图像。

例如，图23是示出一边对设为不能够利用视点合成图像而进行解码的区域的数目进行计数一边进行解码的情况下的处理工作的流程图。在该处理工作中，在进行每个区域的处理之前，对视点合成可能区域数目numSynthBlks进行解码（步骤S214）来求取表示余下的位流内的视点合成可能区域数目以外的区域数目的numNonSynthBlks（步骤S216）。

在每个区域的处理中，在最初，检查numNonSynthBlks是否比0大（步骤S217）。在numNonSynthBlks比0大的情况下，与到此为止的说明同样地判定在该区域中是否能够利用视点合成图像（步骤S205）。另一方面，在numNonSynthBlks为0以下（正确地是0）的情况下，跳过针对该区域的视点合成图像的利用可否的判定而进行在该区域中能够利用视点合成图像的情况下的处理。此外，每当在设为不能够利用视点合成图像而进行处理时，将numNonSynthBlks逐次减1（步骤S218）。

在针对全部区域完成解码处理之后，检查numNonSynthBlks是否比0大（步骤S219）。在numNonSynthBlks比0大的情况下，从位流读入相当于与numNonSynthBlks相同的区域数目的位（步骤S221）。关于所读入的位，也可以直接废弃，也可以用于鉴别出错误位置。

通过像这样做，从而即使在由于某些错误在编码侧和解码侧得到不同的参考图像、参考深度图的情况下，也成为能够防止由于该错误所致的位流的读取错误的发生。具体地，能够防止如下情况：在比在编码时设想的区域数目多的区域中判断为能够利用视点合成图像，不读入在该帧中本来应该读入的位，在下一个帧等的解码中，将错误的位判断为是排头位，成为不能进行正常的位读入。此外，还能够防止如下情况：在比在编码时设想的区域数目少的区域中判断为能够利用视点合成图像，设为使用针对下一个帧等的位进行解码处理，变得不能够从该帧进行正常的位读入。

此外，在图24中示出如下情况下的处理工作：不仅对设为不能够利用视点合成图像而解码的区域的数目进行计数而且还在对设为能够利用视点合成图像而解码的区域的数目进行计数的同时进行处理。图24是示出一边对设为能够利用视点合成图像而解码的区域的数目进行计数一边进行处理的情况下的处理工作的流程图。关于图24所示的处理工作，与图23所示的处理工作相比基本的处理工作是相同的。

说明图24所示的处理工作与图23所示的处理工作的不同。首先，在进行每个区域的处理时，在最初判定numSynthBlks是否比0大（步骤S219）。在numSynthBlks比0大的情况下，特别地，什么都不进行。另一方面，在numSynthBlks为0以下（正确地是0）的情况下，强制地设为在该区域中不能够利用视点合成图像来进行处理。接着，每当在设为能够利用视点合成图像而进行处理时，将numSynthBlks逐次减1（步骤S220）。在最后，在针对全部区域完成解码处理之后立刻结束解码处理。

在此，在判断为能够利用视点合成图像的区域中省略解码处理的情况下进行了说明，但是，明显也可以将参考图15~图20说明了的方法和对视点合成可能区域数目进行解码的方法进行组合。

在前述的说明中，说明了对1个帧进行编码和解码的处理，但是，通过针对多个帧重复进行处理，从而也能够将本方法应用于活动图像编码。此外，也能够将本方法仅应用于活动图像的一部分的帧、一部分的块。进一步地，在前述的说明中，说明了图像编码装置和图像解码装置的结构和处理工作，但是，能够通过与这些图像编码装置和图像解码装置的各部分的工作对应的处理工作来实现本发明的图像编码方法和图像解码方法。

此外，在前述的说明中，设为参考深度图为针对用与编码对象摄像机或解码对象摄像机不同的摄像机拍摄的图像的深度图来进行了说明，但是，也可以将针对由编码对象摄像机或解码对象摄像机拍摄的图像的深度图用作参考深度图。

图25是示出通过计算机和软件程序构成前述的图像编码装置100a~100d的情况下的硬件结构的框图。图25所示的系统为以总线连接有以下各部的结构：执行程序的CPU（CentralProcessingUnit，中央处理单元）50、存储有CPU50所访问的程序、数据的RAM（RandomAccessMemory，随机存取存储器）等存储器51、输入来自摄像机等的编码对象的图像信号的编码对象图像输入部52（也可以是利用磁盘装置等的存储图像信号的存储部）、输入来自摄像机等的参考对象的图像信号的参考图像输入部53（也可以是利用磁盘装置等的存储图像信号的存储部）、输入来自深度摄像机等的针对与拍摄编码对象图像的摄像机不同的位置、方向的摄像机的深度图的参考深度图输入部54（也可以是利用磁盘装置等的存储深度图的存储部）、储存有使CPU50执行图像编码处理的软件程序即图像编码程序551的程序存储装置55、以及例如经由网络输出通过CPU50执行被加载到存储器51中的图像编码程序551而生成的位流的位流输出部56（也可以是利用磁盘装置等的存储位流的存储部）。

图26是示出通过计算机和软件程序构成前述的图像解码装置200a~200d的情况下的硬件结构的框图。图26所示的系统为以总线连接有以下各部的结构：执行程序的CPU60、CPU60访问的储存程序、数据的RAM等存储器61、输入图像编码装置利用本方法来进行编码后的位流的位流输入部62（也可以是利用磁盘装置等的存储位流的存储部）、输入来自摄像机等的参考对象的图像信号的参考图像输入部63（也可以是利用磁盘装置等的存储图像信号的存储部）、输入来自深度摄像机等的针对与拍摄解码对象的摄像机不同的位置、方向的摄像机的深度图的参考深度图输入部64（也可以是利用磁盘装置等的存储深度信息的存储部）、储存有使CPU60执行图像解码处理的软件程序即图像解码程序651的程序存储装置65、以及将通过CPU60执行被加载到存储器61中的图像解码程序651来对位流进行解码而得到的解码对象图像输出到再生装置等中的解码对象图像输出部66（也可以是利用磁盘装置等的存储图像信号的存储部）。

也可以通过计算机实现前述的实施方式中的图像编码装置100a~100d和图像解码装置200a~200d。在该情况下，将用于实现该功能的程序记录在计算机可读取的记录介质中，使计算机系统读入记录在该记录介质中的程序并执行，由此，也可以实现。再有，在此所说的“计算机系统”包含OS（OperatingSystem，操作系统）、周围设备等硬件。此外，“计算机可读取的记录介质”是指软盘、光磁盘、ROM（ReadOnlyMemory，只读存储器）、CD（CompactDisc，紧致盘）-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。进而，“计算机可读取的记录介质”也可以还包含像在经由因特网等网络或电话线路等通信线路来发送程序的情况下的通信线那样在短时间的期间动态地保持程序的记录介质、像在该情况下的成为服务器或客户端的计算机系统内部的易失性存储器那样将程序保持固定时间的记录介质。此外，上述程序也可以是用于实现前述的功能的一部分的程序，进而，还可以是能通过与已经记录在计算机系统中的程序的组合来实现前述的功能的程序，也可以是使用PLD（ProgrammableLogicDevice，可编程逻辑器件）、FPGA（FieldProgrammableGateArray，现场可编程门阵列）等硬件来实现的程序。

以上，参考附图说明了本发明的实施方式，但是，上述实施方式只不过是本发明的例示，显然本发明并不限定于上述实施方式。因此，也可以在不偏离本发明的技术思想和范围的范围内进行结构要素的追加、省略、替换、其它变更。

产业上的可利用性

本发明能够应用于在使用针对从与拍摄编码（解码）对象图像的摄像机不同的位置拍摄的图像的深度图来对编码（解码）对象图像进行视差补偿预测时以较少的运算量达成高的编码效率的用途。

附图标记的说明

101…编码对象图像输入部、102…编码对象图像存储器、103…参考图像输入部、104…参考深度图输入部、105…视点合成图像生成部、106…视点合成图像存储器、107…视点合成可否判定部、108…图像编码部、110…视点合成部、111…遮挡图存储器、112…编码信息生成部、113…视点合成可能区域决定部、114…视点合成可能区域数目编码部、201…位流输入部、202…位流存储器、203…参考图像输入部、204…参考深度图输入部、205…视点合成性图像生成部、206…视点合成图像存储器、207…视点合成可否判定部、208…图像解码部、209…视点合成部、210…遮挡图存储器、211…编码信息生成部、212…视点合成可能区域数目解码部、213…视点合成可能区域决定部。

Claims (18)

1.一种图像编码装置，在对由多个不同的视点的图像构成的多视点图像进行编码时，使用针对与编码对象图像不同的视点的编码过的参考图像和针对所述参考图像中的被摄物的参考深度图，一边在不同的视点间预测图像一边进行编码，所述图像编码装置具备：

视点合成图像生成部，使用所述参考图像和所述参考深度图，生成针对所述编码对象图像的视点合成图像；

利用可否判定部，按照分割了所述编码对象图像的编码对象区域的每个来判定是否能够利用所述视点合成图像；以及

图像编码部，按照每个所述编码对象区域，在所述利用可否判定部中判定为不能够利用所述视点合成图像的情况下，一边选择预测图像生成方法一边对所述编码对象图像进行预测编码。

2.根据权利要求1所述的图像编码装置，其中，所述图像编码部按照每个所述编码对象区域，在所述利用可否判定部中判定为能够利用所述视点合成图像的情况下，对针对所述编码对象区域的所述编码对象图像与所述视点合成图像的差分进行编码，在所述利用可否判定部中判定为不能够利用所述视点合成图像的情况下，一边选择预测图像生成方法一边对所述编码对象图像进行预测编码。

3.根据权利要求1或权利要求2所述的图像编码装置，其中，所述图像编码部按照每个所述编码对象区域，在所述利用可否判定部中判定为能够利用所述视点合成图像的情况下，生成编码信息。

4.根据权利要求3所述的图像编码装置，其中，所述图像编码部决定预测块尺寸来作为所述编码信息。

5.根据权利要求3所述的图像编码装置，其中，所述图像编码部决定预测方法并且生成针对所述预测方法的编码信息。

6.根据权利要求1至权利要求5的任一项所述的图像编码装置，其中，所述利用可否判定部基于所述编码对象区域中的所述视点合成图像的品质来判定所述视点合成图像的利用可否。

7.根据权利要求1至权利要求5的任一项所述的图像编码装置，其中，

所述图像编码装置进一步具备遮挡图生成部，所述遮挡图生成部使用所述参考深度图来在所述编码对象图像上的像素中生成表示所述参考图像的遮盖像素的遮挡图，

所述利用可否判定部使用所述遮挡图，基于在所述编码对象区域内存在的所述遮盖像素的数目来判定所述视点合成图像的利用可否。

8.一种图像解码装置，在根据由多个不同的视点的图像构成的多视点图像的码数据对解码对象图像进行解码时，使用针对与所述解码对象图像不同的视点的解码过的参考图像和针对所述参考图像中的被摄物的参考深度图，一边在不同的视点间预测图像一边进行解码，其中，所述图像解码装置具备：

视点合成图像生成部，使用所述参考图像和所述参考深度图，生成针对所述解码对象图像的视点合成图像；

利用可否判定部，按照分割了所述解码对象图像的解码对象区域的每个来判定是否能够利用所述视点合成图像；以及

图像解码部，按照每个所述解码对象区域，在所述利用可否判定部中判定为不能够利用所述视点合成图像的情况下，一边生成预测图像一边根据所述码数据对所述解码对象图像进行解码。

9.根据权利要求8所述的图像解码装置，其中，所述图像解码部按照每个所述解码对象区域，在所述利用可否判定部中判定为能够利用所述视点合成图像的情况下，一边根据所述码数据对所述解码对象图像与所述视点合成图像的差分进行解码一边生成所述解码对象图像，在所述利用可否判定部中判定为不能够利用所述视点合成图像的情况下，一边生成预测图像一边根据所述码数据对所述解码对象图像进行解码。

10.根据权利要求8或权利要求9所述的图像解码装置，其中，所述图像解码部按照每个所述解码对象区域，在所述利用可否判定部中判定为能够利用所述视点合成图像的情况下，生成编码信息。

11.根据权利要求10所述的图像解码装置，其中，所述图像解码部决定预测块尺寸来作为所述编码信息。

12.根据权利要求10所述的图像解码装置，其中，所述图像解码部决定预测方法并且生成针对所述预测方法的编码信息。

13.根据权利要求8至权利要求12的任一项所述的图像解码装置，其中，所述利用可否判定部基于所述解码对象区域中的所述视点合成图像的品质来判定所述视点合成图像的利用可否。

14.根据权利要求8至权利要求12的任一项所述的图像解码装置，其中，

所述图像解码装置进一步具备遮挡图生成部，所述遮挡图生成部使用所述参考深度图来在所述解码对象图像上的像素中生成表示所述参考图像的遮盖像素的遮挡图，

所述利用可否判定部使用所述遮挡图，基于在所述解码对象区域内存在的所述遮盖像素的数目来判定所述视点合成图像的利用可否。

15.一种图像编码方法，在对由多个不同的视点的图像构成的多视点图像进行编码时，使用针对与编码对象图像不同的视点的编码过的参考图像和针对所述参考图像中的被摄物的参考深度图，一边在不同的视点间预测图像一边进行编码，其中，所述图像编码方法具有：

视点合成图像生成步骤，使用所述参考图像和所述参考深度图，生成针对所述编码对象图像的视点合成图像；

利用可否判定步骤，按照分割了所述编码对象图像的编码对象区域的每个来判定是否能够利用所述视点合成图像；以及

图像编码步骤，按照每个所述编码对象区域，在所述利用可否判定步骤中判定为不能够利用所述视点合成图像的情况下，一边选择预测图像生成方法一边对所述编码对象图像进行预测编码。

16.一种图像解码方法，在根据由多个不同的视点的图像构成的多视点图像的码数据对解码对象图像进行解码时，使用针对与所述解码对象图像不同的视点的解码过的参考图像和针对所述参考图像中的被摄物的参考深度图，一边在不同的视点间预测图像一边进行解码，其中，所述图像解码方法具有：

视点合成图像生成步骤，使用所述参考图像和所述参考深度图，生成针对所述解码对象图像的视点合成图像；

利用可否判定步骤，按照分割了所述解码对象图像的解码对象区域的每个来判定是否能够利用所述视点合成图像；以及

图像解码步骤，按照每个所述解码对象区域，在所述利用可否判定步骤中判定为不能够利用所述视点合成图像的情况下，一边生成预测图像一边根据所述码数据对所述解码对象图像进行解码。

17.一种图像编码程序，用于使计算机执行根据权利要求15所述的图像编码方法。

18.一种图像解码程序，用于使计算机执行根据权利要求16所述的图像解码方法。