CN104871534A - 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质 - Google Patents

图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质 Download PDF

Info

Publication number
CN104871534A
CN104871534A CN201380044060.7A CN201380044060A CN104871534A CN 104871534 A CN104871534 A CN 104871534A CN 201380044060 A CN201380044060 A CN 201380044060A CN 104871534 A CN104871534 A CN 104871534A
Authority
CN
China
Prior art keywords
depth map
image
depth
imaginary
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380044060.7A
Other languages
English (en)
Inventor
志水信哉
杉本志织
木全英明
小岛明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN104871534A publication Critical patent/CN104871534A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供一种在生成处理对象帧的视点合成图像时能够在不使视点合成图像的品质显著降低的情况下以少的运算量生成视点合成图像的图像编码/图像解码方法。图像编码/解码方法在对作为多个视点的图像的多视点图像进行编码/解码时，使用针对与对象图像的视点不同的视点的参考视点图像和作为参考视点图像内的被摄体的深度图的参考视点深度图来一边在视点间预测图像一边进行编码/解码，所述图像编码/解码方法具有：假想深度图生成步骤，生成分辨率比对象图像低并且作为对象图像内的被摄体的深度图的假想深度图；以及视点间图像预测步骤，根据假想深度图和参考视点图像来生成针对对象图像的视差补偿图像，由此，进行视点间的图像预测。

Description

图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
技术领域
本发明涉及对多视点图像进行编码和解码的图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质。
本申请基于在2012年9月25日向日本提出申请的特愿2012-211154号要求优先权，将其内容引用于本文。
背景技术
历来，已知有由用多个摄像机对相同被摄体和背景进行拍摄的多个图像构成的多视点图像。将用该多个摄像机拍摄的活动图像称为多视点活动图像（或多视点视频）。在以下的说明中，将用一个摄像机拍摄的图像（活动图像）称为“二维图像（活动图像）”，将用位置或方向（以下，称为视点）不同的多个摄像机对相同被摄体和背景进行拍摄的二维图像（二维活动图像）群称为“多视点图像（多视点活动图像）”。
二维活动图像关于时间方向具有强的相关，能够通过利用该相关来提高编码效率。另一方面，在多视点图像、多视点活动图像中，在各摄像机同步的情况下，与各摄像机的视频的相同时刻对应的帧（图像）是从不同的位置对完全相同状态的被摄体和背景进行拍摄的帧（图像），因此，在摄像机间具有强的相关。在多视点图像、多视点活动图像的编码中，能够通过利用该相关来提高编码效率。
此处，对涉及二维活动图像的编码技术的现有技术进行说明。在包括作为国际编码标准的H.264、MPEG-2、MPEG-4的现有的许多二维活动图像编码方式中，利用运动补偿预测、正交变换、量化、熵编码这样的技术来进行高效率的编码。例如，在H.264中，能够实现利用与过去或未来的多个帧的时间相关的编码。
例如在非专利文献1中记载了关于H.264中使用的运动补偿预测技术的细节。对H.264中使用的运动补偿预测技术的概要进行说明。H.264的运动补偿预测许可将编码对象帧分割为各种尺寸的块并在各块中具有不同的运动矢量和不同的参考帧。通过在各块中使用不同的运动矢量来实现补偿了按每个被摄体不同的运动的精度高的预测。另一方面，通过在各块中使用不同的参考帧来实现考虑了由于时间变化而产生的遮蔽的精度高的预测。
接下来，对现有的多视点图像、多视点活动图像的编码方式进行说明。多视点图像的编码方法与多视点活动图像的编码方法的不同之处在于，在多视点活动图像中，除了摄像机间的相关之外，还同时存在时间方向的相关。可是，关于利用摄像机间的相关的方法，在哪一种情况下都能够使用相同的方法。因此，此处，对在多视点活动图像的编码中使用的方法进行说明。
关于多视点活动图像的编码，历来存在利用为了利用摄像机间的相关而将运动补偿预测应用于相同时刻的由不同摄像机所拍摄的图像的“视差补偿预测”来高效率地对多视点活动图像进行编码的方式。此处，视差指的是在配置于不同的位置的摄像机的图像平面上，被摄体上的相同部分存在的位置之差。图13是示出在摄像机间产生的视差的概念图。在图13所示的概念图中，垂直地俯视光轴为平行的摄像机的图像平面。像这样，在不同的摄像机的图像平面上被摄体上的相同部分所投影的位置一般称为对应点。
在视差补偿预测中，基于该对应关系，根据参考帧来预测编码对象帧的各像素值，对其预测残差和示出对应关系的视差信息进行编码。视差按照每个成为对象的摄像机对、位置而变化，因此，需要按进行视差补偿预测的每个区域对视差信息进行编码。实际上，在H.264的多视点编码方式中，按使用视差补偿预测的每个块对表示视差信息的矢量进行编码。
由视差信息提供的对应关系能够通过使用摄像机参数基于极几何约束不是以二维矢量而是以示出被摄体的三维位置的一维量来表示。作为示出被摄体的三维位置的信息，存在各种表现，但是多使用从成为基准的摄像机到被摄体的距离、与摄像机的图像平面不平行的轴上的坐标值。再有，也存在不使用距离而使用距离的倒数的情况。此外，由于距离的倒数为与视差成比例的信息，所以也存在设定2个成为基准的摄像机而将被摄体的三维位置表现为由这些摄像机所拍摄的图像间的视差量的情况。由于不管使用怎样的表现，在其物理意义上都没有本质的不同，所以在以下不进行表现的区别，将示出这些三维位置的信息表现为深度。
图14是极几何约束的概念图。根据极几何约束，与某一摄像机的画面上的点对应的其他的摄像机的图像上的点被约束在极线这样的直线上。此时，在得到了针对其像素的深度的情况下，对应点在极线上被单值确定。例如，如图14所示那样，关于针对在第一摄像机图像中投影到m位置的被摄体的第二摄像机图像中的对应点，在实空间中的被摄体的位置为M'的情况下被投影到极线上的位置m'，在实空间中的被摄体的位置为M''的情况下被投影到极线上的位置m''。
在非专利文献2中，利用该性质，依照由针对参考帧的深度图（距离图像）提供的各被摄体的三维信息来根据参考帧合成针对编码对象帧的预测图像，由此，生成精度高的预测图像，实现高效的多视点活动图像的编码。再有，基于该深度而生成的预测图像被称为视点合成图像、视点内插图像、或者视差补偿图像。
进而，在专利文献1中，最初将针对参考帧的深度图变换为针对编码对象帧的深度图，使用该变换后的深度图来求取对应点，由此，能够仅针对需要的区域生成视点合成图像。由此，在一边按成为编码对象或解码对象的帧的每个区域切换生成预测图像的方法一边对图像或活动图像进行编码或解码的情况下，实现了用于生成视点合成图像的处理量、用于临时积累视点合成图像的存储器的量的削减。
现有技术文献
专利文献
专利文献1：日本国特开2010-21844号公报。
非专利文献
非专利文献1：ITU-T Recommendation H.264(03/2009), "Advanced video coding for generic audiovisual services", March, 2009。
非专利文献2：Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and Yoshiyuki YASHIMA, "Multi-view Video Coding based on 3-D Warping with Depth Map", In Proceedings of Picture Coding Symposium 2006, SS3-6, April, 2006。
发明内容
发明要解决的课题
根据专利文献1所记载的方法，由于能针对编码对象帧得到深度图，所以能够根据编码对象帧的像素求取参考帧上的对应的像素。由此，通过仅针对编码对象帧的指定的区域生成视点合成图像，从而在仅编码对象帧的一部分区域需要视点合成图像的情况下，与通常生成1帧量的视点合成图像的情况相比，能够削减处理量、所要求的存储器的量。
然而，在对于编码对象帧的全部需要视点合成图像的情况下，由于产生根据针对参考帧的深度图来合成针对编码对象帧的深度图的需要，所以存在如下问题：与根据针对参考帧的深度图直接生成视点合成图像的情况相比，其处理量增加。
本发明鉴于这样的事情而完成，其目的在于提供一种能够在生成处理对象帧的视点合成图像时在不使视点合成图像的品质显著降低的情况下以少的运算量生成视点合成图像的图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序、以及记录介质。
用于解决课题的方案
本发明是一种图像编码方法，在对作为多个视点的图像的多视点图像进行编码时，使用针对与编码对象图像的视点不同的视点的编码完毕的参考视点图像和作为所述参考视点图像内的被摄体的深度图的参考视点深度图来一边在视点间预测图像一边进行编码，所述图像编码方法具有：假想深度图生成步骤，生成分辨率比所述编码对象图像低并且作为所述编码对象图像内的所述被摄体的深度图的假想深度图；以及视点间图像预测步骤，根据所述假想深度图和所述参考视点图像来生成针对所述编码对象图像的视差补偿图像，由此，进行视点间的图像预测。
优选的是，本发明的图像编码方法还具有：相同分辨率深度图生成步骤，在其中，根据所述参考视点深度图来生成分辨率与所述编码对象图像相同的相同分辨率深度图，在所述假想深度图生成步骤中，通过缩小所述相同分辨率深度图来生成所述假想深度图。
优选的是，在本发明的图像编码方法中的所述假想深度图生成步骤中，通过按所述假想深度图的每个像素从针对在所述相同分辨率深度图中对应的多个像素的深度之中选择示出与视点最近的深度来生成所述假想深度图。
优选的是，本发明的图像编码方法还具有：缩小深度图生成步骤，在其中，通过缩小所述参考视点深度图来生成所述参考视点图像内的所述被摄体的缩小深度图，在所述假想深度图生成步骤中，根据所述缩小深度图来生成所述假想深度图。
优选的是，在本发明的图像编码方法中的所述缩小深度图生成步骤中，仅针对纵方向或者横方向的任一个缩小所述参考视点深度图。
优选的是，在本发明的图像编码方法中的所述缩小深度图生成步骤中，通过按所述缩小深度图的每个像素从针对在所述参考视点深度图中对应的多个像素的深度之中选择示出与视点最近的深度来生成所述假想深度图。
优选的是，本发明的图像编码方法还具有：样本像素选择步骤，在其中，从所述参考视点深度图的像素选择一部分的样本像素，在所述假想深度图生成步骤中，通过变换与所述样本像素对应的所述参考视点深度图来生成所述假想深度图。
优选的是，本发明的图像编码方法还具有：区域分割步骤，在其中，依照所述参考视点深度图与所述假想深度图的分辨率之比将所述参考视点深度图分割为部分区域，在所述样本像素选择步骤中，按每个所述部分区域选择所述样本像素。
优选的是，在本发明的图像编码方法中的所述区域分割步骤中，依照所述参考视点深度图与所述假想深度图的分辨率之比来决定所述部分区域的形状。
优选的是，在本发明的图像编码方法中的所述样本像素选择步骤中，按每个所述部分区域将具有示出与视点最近的深度的像素或者具有示出离视点最远的深度的像素中的任一个选择为所述样本像素。
优选的是，在本发明的图像编码方法中的所述样本像素选择步骤中，按每个所述部分区域将具有示出与视点最近的深度的像素和具有示出离视点最远的深度的像素选择为所述样本像素。
本发明是一种图像解码方法，在根据作为多个视点的图像的多视点图像的码数据对解码对象图像进行解码时，使用针对与所述解码对象图像的视点不同的视点的解码完毕的参考视点图像和作为所述参考视点图像内的被摄体的深度图的参考视点深度图来一边在视点间预测图像一边进行解码，所述图像解码方法具有：假想深度图生成步骤，生成分辨率比所述解码对象图像低并且作为所述解码对象图像内的所述被摄体的深度图的假想深度图；以及视点间图像预测步骤，根据所述假想深度图和所述参考视点图像来生成针对所述解码对象图像的视差补偿图像，由此，进行视点间的图像预测。
优选的是，本发明的图像解码方法还具有：相同分辨率深度图生成步骤，在其中，根据所述参考视点深度图来生成分辨率与所述解码对象图像相同的相同分辨率深度图，在所述假想深度图生成步骤中，通过缩小所述相同分辨率深度图来生成所述假想深度图。
优选的是，在本发明的图像解码方法中的所述假想深度图生成步骤中，通过按所述假想深度图的每个像素从针对在所述相同分辨率深度图中对应的多个像素的深度之中选择示出与视点最近的深度来生成所述假想深度图。
优选的是，本发明的图像解码方法还具有：缩小深度图生成步骤，在其中，通过缩小所述参考视点深度图来生成所述参考视点图像内的所述被摄体的缩小深度图，在所述假想深度图生成步骤中，根据所述缩小深度图来生成所述假想深度图。
优选的是，在本发明的图像解码方法中的所述缩小深度图生成步骤中，仅针对纵方向或者横方向的任一个缩小所述参考视点深度图。
优选的是，在本发明的图像解码方法中的所述缩小深度图生成步骤中，通过按所述缩小深度图的每个像素从针对在所述参考视点深度图中对应的多个像素的深度之中选择示出与视点最近的深度来生成所述假想深度图。
优选的是，本发明的图像解码方法还具有：样本像素选择步骤，在其中，从所述参考视点深度图的像素选择一部分的样本像素，在所述假想深度图生成步骤中，通过变换与所述样本像素对应的所述参考视点深度图来生成所述假想深度图。
优选的是，本发明的图像解码方法还具有：区域分割步骤，在其中，依照所述参考视点深度图与所述假想深度图的分辨率之比将所述参考视点深度图分割为部分区域，在所述样本像素选择步骤中，按每个所述部分区域选择样本像素。
优选的是，在本发明的图像解码方法中的所述区域分割步骤中，依照所述参考视点深度图与所述假想深度图的分辨率之比来决定所述部分区域的形状。
优选的是，在本发明的图像解码方法中的所述样本像素选择步骤中，按每个所述部分区域将具有示出与视点最近的深度的像素或者具有示出离视点最远的深度的像素中的任一个选择为所述样本像素。
优选的是，在本发明的图像解码方法中的所述样本像素选择步骤中，按每个所述部分区域将具有示出与视点最近的深度的像素和具有示出离视点最远的深度的像素选择为所述样本像素。
本发明是一种图像编码装置，在对作为多个视点的图像的多视点图像进行编码时，使用针对与编码对象图像的视点不同的视点的编码完毕的参考视点图像和作为所述参考视点图像内的被摄体的深度图的参考视点深度图来一边在视点间预测图像一边进行编码，所述图像编码装置具备：假想深度图生成部，生成分辨率比所述编码对象图像低并且作为所述编码对象图像内的所述被摄体的深度图的假想深度图；以及视点间图像预测部，根据所述假想深度图和所述参考视点图像来生成针对所述编码对象图像的视差补偿图像，由此，进行视点间的图像预测。
优选的是，本发明的图像编码装置还具备：缩小深度图生成部，其通过缩小所述参考视点深度图来生成所述参考视点图像内的所述被摄体的缩小深度图，所述假想深度图生成部通过变换所述缩小深度图来生成所述假想深度图。
优选的是，本发明的图像编码装置还具备：样本像素选择部，其从所述参考视点深度图的像素选择一部分的样本像素，所述假想深度图生成部通过变换与所述样本像素对应的所述参考视点深度图来生成所述假想深度图。
本发明是一种图像解码装置，在根据作为多个视点的图像的多视点图像的码数据对解码对象图像进行解码时，使用针对与所述解码对象图像的视点不同的视点的解码完毕的参考视点图像和作为所述参考视点图像内的被摄体的深度图的参考视点深度图来一边在视点间预测图像一边进行解码，所述图像解码装置具备：假想深度图生成部，生成分辨率比所述解码对象图像低并且作为所述解码对象图像内的所述被摄体的深度图的假想深度图；以及视点间图像预测部，根据所述假想深度图和所述参考视点图像来生成针对所述解码对象图像的视差补偿图像，由此，进行视点间的图像预测。
优选的是，本发明的图像解码装置还具备：缩小深度图生成部，其通过缩小所述参考视点深度图来生成所述参考视点图像内的所述被摄体的缩小深度图，所述假想深度图生成部通过变换所述缩小深度图来生成所述假想深度图。
优选的是，本发明的图像解码装置还具备：样本像素选择部，其从所述参考视点深度图的像素选择一部分的样本像素，所述假想深度图生成部通过变换与所述样本像素对应的所述参考视点深度图来生成所述假想深度图。
本发明是一种用于使计算机执行前述图像编码方法的图像编码程序。
本发明是一种用于使计算机执行前述图像解码方法的图像解码程序。
本发明是一种记录前述图像编码程序的计算机可读记录介质。
本发明是一种记录前述图像解码程序的计算机可读记录介质。
发明效果
根据本发明，得到如下效果：能够在生成处理对象帧的视点合成图像时在不使视点合成图像的品质显著降低的情况下以少的运算量生成视点合成图像。
附图说明
图1是示出本发明的一个实施方式的图像编码装置的结构的框图。
图2是示出图1所示的图像编码装置100的工作的流程图。
图3是示出通过按每个块交替地重复视点合成图像的生成处理和编码对象图像的编码处理来对编码对象图像进行编码的工作的流程图。
图4是示出图2、图3所示的变换参考摄像机深度图的处理（步骤S3）的处理工作的流程图。
图5是示出图2、图3所示的变换参考摄像机深度图的处理（步骤S3）的处理工作的流程图。
图6是示出图2、图3所示的变换参考摄像机深度图的处理（步骤S3）的处理工作的流程图。
图7是示出根据参考摄像机深度图来生成假想深度图的工作的流程图。
图8是示出本发明的一个实施方式的图像解码装置的结构的框图。
图9是示出图8所示的图像解码装置200的工作的流程图。
图10是示出通过按每个块交替地重复视点合成图像的生成处理和解码对象图像的解码处理来对解码对象图像进行解码的工作的流程图。
图11是示出通过计算机和软件程序构成图像编码装置的情况下的硬件结构的框图。
图12是示出通过计算机和软件程序构成图像解码装置的情况下的硬件结构的框图。
图13是示出在摄像机间产生的视差的概念图。
图14是极几何约束的概念图。
具体实施方式
以下，参考附图来说明本发明的实施方式的图像编码装置和图像解码装置。在以下的说明中，设想对由第一摄像机（称为摄像机A）、第二摄像机（称为摄像机B）的两个摄像机所拍摄的多视点图像进行编码的情况，设为将摄像机A的图像作为参考图像对摄像机B的图像进行编码或解码来进行说明。再有，设为另外提供为了根据深度信息得到视差而需要的信息。具体而言，该信息为表示摄像机A与摄像机B的位置关系的外部参数、表示向摄像机的图像平面的投影信息的内部参数，但是，即使是这些以外的方式，只要能根据深度信息得到视差，则也可以提供其他的信息。关于这些的摄像机参数的详细说明，例如，记载于参考文献1“Olivier Faugeras, "Three-Dimensional Computer Vision", pp.33-66, MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.”中。在该文献中，记载了关于示出多个摄像机的位置关系的参数、表示向摄像机的图像平面的投影信息的参数的说明。
在以下的说明中，通过对图像或视频帧、深度图附加由记号[]夹着的能确定位置的信息（坐标值或者能与坐标值相对应的索引）来示出由该位置的像素所采样的图像信号、针对其的深度。此外，深度为离摄像机越远（视差越小）则具有越小的值的信息。在相反地定义深度的大小与离摄像机的距离的关系的情况下，需要适当地以另外方式来读针对深度的值的大小的记述。
图1是示出本实施方式的图像编码装置的结构的框图。如图1所示，图像编码装置100具备：编码对象图像输入部101、编码对象图像存储器102、参考摄像机图像输入部103、参考摄像机图像存储器104、参考摄像机深度图输入部105、深度图变换部106、假想深度图存储器107、视点合成图像生成部108、以及图像编码部109。
编码对象图像输入部101输入成为编码对象的图像。在以下，将该成为编码对象的图像称为编码对象图像。此处，输入摄像机B的图像。此外，将对编码对象图像进行拍摄的摄像机（此处为摄像机B）称为编码对象摄像机。编码对象图像存储器102存储所输入的编码对象图像。参考摄像机输入部103输入在生成视点合成图像（视差补偿图像）时成为参考图像的参考摄像机图像。此处，输入摄像机A的图像。参考摄像机图像存储器104存储所输入的参考摄像机图像。
参考摄像机深度图输入部105输入针对参考摄像机图像的深度图。在以下，将该针对参考摄像机图像的深度图称为参考摄像机深度图。再有，深度图表示映现于对应的图像的各像素的被摄体的三维位置。只要能根据另外提供的摄像机参数等信息而得到三维位置，则无论是怎样的信息都可。例如，能够使用从摄像机到被摄体的距离、针对与图像平面不平行的轴的坐标值、针对其他的摄像机（例如摄像机B）的视差量。此外，此处虽然深度图以图像的方式交付，但是只要能得到同样的信息，则不是图像的方式也可。在以下，将与参考摄像机深度图对应的摄像机称为参考摄像机。
深度图变换部106使用参考摄像机深度图来生成被拍摄于编码对象图像的被摄体的深度图，即分辨率比编码对象图像低的深度图。即，也能够将所生成的深度图考虑为针对以与编码对象摄像机相同的位置、方向由分辨率低的摄像机所拍摄的图像的深度图。在以下，将此处生成的深度图称为假想深度图。假想深度图存储器107存储所生成的假想深度图。
视点合成图像生成部108使用根据假想深度图得到的编码对象图像的像素与参考摄像机图像的像素的对应关系来生成针对编码对象图像的视点合成图像。图像编码部109使用视点合成图像来对编码对象图像进行预测编码，输出作为码数据的位流。
接下来，参考图2来说明图1所示的图像编码装置100的工作。图2是示出图1所示的图像编码装置100的工作的流程图。首先，编码对象图像输入部101输入编码对象图像，将所输入的编码对象图像存储在编码对象图像存储器102中（步骤S1）。接下来，参考摄像机图像输入部103输入参考摄像机图像，将所输入的参考摄像机图像存储器参考摄像机图像存储器104中。与此并行地，参考摄像机深度图输入部105输入参考摄像机深度图，向深度图变换部106输出所输入的参考摄像机深度图（步骤S2）。
再有，在步骤S2输入的参考摄像机图像、参考摄像机深度图为与对已经编码完毕的信息进行解码的信息等能在解码侧得到的信息相同的信息。这是因为通过使用与在解码装置得到的信息完全相同的信息来抑制漂移等编码噪声的产生。但是，在容许这样的编码噪声的产生的情况下，也可以输入编码前的信息等只能在编码侧得到的信息。关于参考摄像机深度图，除了对已经编码完毕的信息进行解码的信息以外，也能够将通过对针对多个摄像机解码的多视点图像应用立体声匹配等而估计的深度图、使用解码后的视差矢量、运动矢量等而估计的深度图等用作能在解码侧得到相同信息的信息。
接下来，深度图变换部106基于从参考摄像机深度图输入部105输出的参考摄像机深度图来生成假想深度图，将所生成的假想深度图存储在假想深度图存储器107中（步骤S3）。再有，假想深度图的分辨率只要是与解码侧相同，则无论设定怎样的分辨率都可。例如，可以设定针对编码对象图像预先确定的缩小率的分辨率。后面叙述了此处的处理的细节。
接下来，视点合成图像生成部108根据存储在参考摄像机图像存储器104中的参考摄像机图像和存储在假想深度图存储器107中的假想深度图来生成针对编码对象图像的视点合成图像，向图像编码部109输出所生成的视点合成图像（步骤S4）。此处的处理只要是使用分辨率比编码对象图像低的针对编码对象摄像机的深度图和用与编码对象摄像机不同的摄像机所拍摄的图像来合成编码对象摄像机的图像的方法，则无论使用怎样的方法都可。
例如，首先，选择假想深度图的一个像素，求取在编码对象图像上对应的区域，根据深度值求取参考摄像机图像上的对应区域。接下来，求取该对应区域中的图像的像素值。然后，将得到的像素值分配为在编码对象图像上等同的区域的视点合成图像的像素值。通过对假想深度图的全部的像素进行该处理，从而能得到1帧量的视点合成图像。再有，在参考摄像机图像上的对应点为帧外的情况下，既可以设为无像素值，也可以分配预先确定的像素值，还可以分配最近的帧内的像素的像素值或在极线上最近的帧内的像素的像素值。但是，如何决定像素值需要做成与解码侧相同。进而，也可以在得到1帧量的视点合成图像之后施加低通滤波器等滤波器。
接下来，在得到视点合成图像之后，图像编码部109将视点合成图像作为预测图像，对编码对象图像进行预测编码，输出编码结果（步骤S5）。编码的结果所得的位流为图像编码装置100的输出。再有，只要能够在解码侧正确地解码，则无论对编码使用怎样的方法都可。
在MPEG-2、H.264、JPEG等一般的活动图像编码或者图像编码中，将图像分割为预先确定的大小的块，按每个块生成编码对象图像与预测图像的差分信号，对差分图像施行DCT（Discrete Cosine Transform：离散余弦变换）等频率变换，对其结果所得的值按顺序应用量化、二值化、熵编码的处理，由此，进行编码。
再有，在按每个块进行预测编码处理的情况下，也可以通过按每个块交替地重复视点合成图像的生成处理（步骤S4）和编码对象图像的编码处理（步骤S5）来对编码对象图像进行编码。参考图3来说明该情况下的处理工作。图3是示出通过按每个块交替地重复视点合成图像的生成处理和编码对象图像的编码处理来对编码对象图像进行编码的工作的流程图。在图3中，对与图2所示的处理工作相同的部分标注相同的附图标记，简单地进行其说明。在图3所示的处理工作中，将成为进行预测编码处理的单位的块的索引设为blk，用numBlks来表示编码对象图像中的块数。
首先，编码对象图像输入部101输入编码对象图像，将所输入的编码对象图像存储在编码对象图像存储器102中（步骤S1）。接下来，参考摄像机图像输入部103输入参考摄像机图像，将所输入的参考摄像机图像存储在参考摄像机图像存储器104中。与此并行地，参考摄像机深度图输入部105输入参考摄像机深度图，向深度图变换部106输出所输入的参考摄像机深度图（步骤S2）。
接下来，深度图变换部106基于从参考摄像机深度图输入部105输出的参考摄像机深度图来生成假想深度图，将所生成的假想深度图存储在假想深度图存储器107中（步骤S3）。然后，视点合成图像生成部108将0代入到变量blk（步骤S6）。
接下来，视点合成图像生成部108根据存储在参考摄像机图像存储器104中的参考摄像机图像和存储在假想深度图存储器107中的假想深度图来生成针对块blk的视点合成图像，向图像编码部109输出所生成的视点合成图像（步骤S4a）。接着，在得到视点合成图像之后，图像编码部109将视点合成图像作为预测图像来对针对块blk的编码对象图像进行预测编码，输出编码结果（步骤S5a）。然后，视点合成图像生成部108使变量blk递增（blk←blk+1，步骤S7），判定是否满足blk＜numBlks（步骤S8）。如果该判定的结果满足blk＜numBlks，则回到步骤S4a，重复处理，在满足blk＝numBlks的时间点结束处理。
接下来，参考图4~图6来说明图1所示的深度图变换部106的处理工作。图4~图6是示出图2、图3所示的变换参考摄像机深度图的处理（步骤S3）的处理工作的流程图。此处，说明了3种不同的方法来作为根据参考深度图生成假想深度图的方法。虽然无论使用哪一种方法都可以，但是，需要使用与解码侧相同的方法。再有，在按照帧等每一定的大小而变更使用的方法的情况下，也可以对示出使用的方法的信息进行编码并通知到解码侧。
开始，参考图4来说明根据第一方法的处理工作。首先，深度图变换部106根据参考摄像机深度图来合成针对编码对象图像的深度图（步骤S21）。即，此处所得的深度图的分辨率与编码对象图像相同。在此处的处理中，只要是能够在解码侧执行的方法，则无论使用怎样的方法都可，例如可以使用参考文献2“Y. Mori, N. Fukushima, T. Fujii, and M. Tanimoto, "View Generation with 3D Warping Using Depth Information for FTV", In Proceedings of 3DTV-CON2008, pp.229-232, May 2008.”中记载的方法。
作为其他的方法，为了根据参考摄像机深度图得到各像素的三维位置也可以对被摄体空间的三维模型进行恢复，求取从编码对象摄像机观测恢复后的模型时的深度，由此，生成针对该区域（编码对象图像）的假想深度图。进而，作为其他的方法，还可以按参考摄像机深度图的每个像素使用该像素的深度值来求取假想深度图上的对应点，对该对应点分配变换后的深度值，由此，生成假想深度图。此处，变换后的深度值是指将针对参考摄像机深度图的深度值变换为针对假想深度图的深度值后的深度值。在参考摄像机深度图和假想深度图中使用共同的坐标系来作为表现深度值的坐标系的情况下，不进行变换而使用参考摄像机深度图的深度值。
再有，对应点当然未必作为假想深度图的整数像素位置而得到，因此，需要通过假定在参考摄像机深度图上邻接的像素所分别对应的假想深度图上的位置之间的连续性，从而对针对假想深度图的各像素的深度值进行内插来生成对应点。但是，对于在参考摄像机深度图上邻接的像素，仅在该深度值的变化为预先确定的范围内的情况下假定连续性。这是因为，对于深度值较大地不同的像素，考虑不同的被摄体进行映现而不能假定实空间中的被摄体的连续性。此外，也可以根据得到的对应点求取一个或多个整数像素位置，对处于该整数像素位置的像素分配变换后的深度值。在此情况下，不需要进行深度值的内插，能够削减运算量。
此外，由于被摄体的前后关系，在参考摄像机图像的一部分的区域中映现的被摄体被在参考摄像机图像的其他的区域中映现的被摄体所遮蔽，存在未映现于编码对象图像的被摄体存在的参考摄像机图像上的区域，因此，在使用该方法的情况下，需要一边考虑前后关系一边对对应点分配深度值。但是，在编码对象摄像机和参考摄像机的光轴存在于同一平面上的情况下，能够通过依照编码对象摄像机与参考摄像机的位置关系来决定处理参考摄像机深度图的像素的顺序并且依照该决定的顺序来进行处理，从而在不考虑前后关系的情况下对得到的对应点通常进行重写处理，由此，生成假想深度图。具体而言，在编码对象摄像机存在于比参考摄像机右的情况下，按照在各行从左到右扫描的顺序处理参考摄像机深度图的像素，在编码对象摄像机存在于比参考摄像机左的情况下，按照在各行从右到左扫描的顺序处理参考摄像机深度图的像素，由此，不需要考虑前后关系。再有，由于不需要考虑前后关系，所以能够削减运算量。
进而，在根据针对由某一摄像机所拍摄的图像的深度图来合成针对由其他摄像机所拍摄的图像的深度图的情况下，只能对在这两者共同地映现的区域得到有效的深度。关于不能得到有效的深度的区域，既可以使用专利文献1中记载的方法等来分配估计的深度值，也可以采用保持没有有效的值的状态。
接下来，在针对编码对象图像的深度图的合成结束了之后，深度图变换部106通过缩小合成而得到的深度图来生成作为目标的分辨率的假想深度图（步骤S22）。只要能够在解码侧使用相同的方法，则无论使用怎样的方法来作为缩小深度图的方法都可。例如，存在如下方法：按假想深度图的每个像素设定在合成而得到的深度图中对应的多个像素，求取针对这些像素的深度值的平均值、中间值、最频值等来作为假想深度图的深度值。再有，也可以不是单纯地求取平均值而是根据像素间的距离来计算权重，使用该权重来求取平均值、中间值等。再有，在步骤S21中，关于采用了保持没有有效的值的状态的区域，在平均值等的计算中不考虑其像素的值。
作为其他的方法，存在如下方法：按假想深度图的每个像素设定在合成而得到的深度图中对应的多个像素，从针对这些像素的深度值之中选择示出与摄像机最近的深度。由此，提高针对存在于根据主观重要的跟前的被摄体的预测效率，因此，能够以少的符号量实现主观上优秀的编码。
再有，在步骤S21中保持针对一部分的区域不能得到有效的深度的状态的情况下，最后也可以在生成的假想深度图中，针对不能得到有效的深度的区域，使用专利文献1所记载的方法等来分配估计的深度值。
接下来，参考图5，对根据第二方法的处理工作进行说明。首先，深度图变换部106缩小参考摄像机深度图（步骤S31）。只要能够在解码侧执行相同的处理，则无论使用怎样的方法来进行缩小都可。例如，可以使用与前述的步骤S22相同的方法来进行缩小。再有，关于缩小后的分辨率，只要解码侧能够缩小到相同的分辨率，则无论缩小到怎样的分辨率都可。例如，既可以变换为预先确定的缩小率的分辨率，也可以与假想深度图相同。但是，使缩小后的深度图的分辨率与假想深度图的分辨率相同或比其高。
此外，可以仅关于横纵的任一个来进行缩小。关于决定对纵横的哪一个进行缩小的方法，无论使用怎样的方法都可。例如，既可以预先确定，也可以依照编码对象摄像机和参考摄像机的位置关系来决定。作为依照编码对象摄像机和参考摄像机的位置关系来决定的方法，存在将与视差发生的方向尽量不同的方向作为进行缩小的方向的方法。即，在编码对象摄像机和参考摄像机左右平行地排列的情况下，仅关于纵方向进行缩小。通过像这样进行决定，从而能够在接下来的步骤中进行使用高精度的视差的处理，能够生成高品质的假想深度图。
接下来，深度图变换部106在参考摄像机深度图的缩小结束了之后，根据缩小后的深度图来合成假想深度图（步骤S32）。此处的处理除了深度图的分辨率不同的方面之外，与步骤S21相同。再有，当在缩小而得到的深度图的分辨率与假想深度图的分辨率不同时按缩小而得到的深度图的每个像素求取假想深度图上的对应像素时，缩小而得到的深度图的多个像素与假想深度图的一个像素具有对应关系。此时，能够通过分配以小数像素精度的误差为最小的像素的深度值来生成更高品质的假想深度图。此外，也可以通过从该多个像素群之中选择示出与摄像机最近的深度值来提高针对存在于根据主观重要的跟前的被摄体的预测效率。
像这样，能够通过削减在合成假想深度图时使用的深度图的像素数来削减合成时所需要的对应点、三维模型的计算所需要的运算量。
接下来，参考图6来说明根据第三方法的处理工作。在第三方法中，首先，深度图变换部106从参考摄像机深度图的像素之中设定多个样本像素（步骤S41）。关于样本像素的选择方法，只要解码侧能够实现相同的选择，则无论使用怎样的方法都可。例如，可以依照参考摄像机深度图的分辨率与假想深度图的分辨率之比，将参考摄像机深度图分割为多个区域，按每个区域依照一定的规则来选择样本像素。一定的规则例如是选择存在于区域内的特定的位置的像素、具有示出离摄像机最远的深度的像素、具有示出离摄像机最近的深度的像素等。再有，还可以按每个区域选择多个像素。即，可以将存在于区域内的四角的4个像素、具有示出离摄像机最远的深度的像素和具有示出离摄像机最近的深度的像素这两个像素、按顺序3个具有示出离摄像机最近的深度的像素等多个像素作为样本像素。
再有，作为区域分割的方法，除了参考摄像机深度图的分辨率与假想深度图的分辨率之比之外，还可以使用编码对象摄像机与参考摄像机的位置关系。例如，存在仅在与视差发生的方向尽量不同的方向上根据分辨率之比设定多个像素的宽度并且在另一个方向（视差发生的方向）上设定1个像素量的宽度的方法。此外，选择假想深度图的分辨率以上的样本像素，由此，能够在接下来的步骤中使不能得到有效的深度的像素的数量减少，生成高品质的假想深度图。
接下来，深度图变换部106在样本像素的设定结束了之后，仅使用参考摄像机深度图的样本像素来合成假想深度图（步骤S42）。此处的处理除了使用一部分的像素来进行合成的方面之外，与步骤S32相同。
像这样，通过限制在合成假想深度图时使用的参考摄像机深度图的像素，从而能够削减合成时所需要的对应点、三维模型的计算所需要的运算量。此外，与第二方法不同，能够削减缩小参考摄像机深度图所需要的运算、临时存储器。
此外，作为以上说明的三种方法之外的方法，也可以根据参考摄像机深度图来直接生成假想深度图。该情况下的处理等于在第二方法中将缩小率设为1倍的情况、在第三方法中将参考摄像机深度图的全部的像素设定为样本像素的情况。
此处，参考图7来说明在摄像机配置为一维平行的情况下深度图交换部106的具体的工作的一个例子。再有，摄像机配置为一维平行是指摄像机的理论投影面存在于同一平面上并且光轴彼此平行的状态。此外，此处，摄像机在水平方向上相邻地设置，参考摄像机存在于编码对象摄像机的左侧。此时，针对图像平面上的水平线上的像素的极直线成为存在于相同高度的水平的线状。因此，视差通常只存在于水平方向。进而，由于投影面存在于同一平面上，所以在将深度表现为针对光轴方向的坐标轴的坐标值的情况下，在摄像机间深度的定义轴一致。
图7是示出根据参考摄像机深度图来生成假想深度图的工作的流程图。在图7中，将参考摄像机深度图标明为RDepth，将假想深度图标明为VDepth。由于摄像机配置为一维平行，所以按每行变换参考摄像机深度图来生成假想深度图。即，当使示出假想深度图的行的索引为h、使假想深度图的行数为Height时，深度图变换部106在以0初始化h之后（步骤S51）一边对h每次加一（步骤S65）一边重复以下的处理（步骤S52~步骤S64），直到h变为Height（步骤S66）。
在按行进行的处理中，首先，深度图变换部106根据参考摄像机深度图来合成1行量的假想深度图（步骤S52~步骤S62）。之后，判定在该行上是否存在不能根据参考摄像机深度图生成深度的区域（步骤S63），在存在这样的区域的情况下生成深度（步骤S64）。虽然无论使用怎样的方法都可以，但是，例如，可以对未生成深度的区域内的全部的像素分配在该行上生成的深度之中存在于最右侧的深度（VDepth[last]）。
在根据参考摄像机深度图来合成1行量的假想深度图的处理中，首先，深度图变换部106决定与假想深度图的行h对应的样本像素集合S（步骤S52）。此时，由于摄像机配置为一维平行的，所以在参考摄像机深度图与假想深度图的行数之比为N：1的情况下，样本像素集合从自参考摄像机深度图的行N×h到行{N×（h+1）-1}之中选择。对样本像素集合的决定无论使用怎样的方法都可。例如，可以按每个像素列（纵方向的像素的集合）将具有示出与摄像机最近的深度值的像素选择为样本像素。此外，也可以不是按每一列而是按多个列将一个像素选择为样本像素。此时的列的宽度可以基于参考摄像机深度图与假想深度图的列数之比来决定。在决定了样本像素集合之后，以（h, -1）初始化使稍前处理的样本像素变形（warping）后的假想深度图上的像素位置last（步骤S53）。
接下来，深度图变换部106在决定了样本像素集合之后，按包括于样本像素集合的每个像素重复使参考摄像机深度图的深度变形的处理。即，一边从样本像素集合中去除经处理了的样本像素（步骤S61），一边重复以下的处理（步骤S54~步骤S60），直到样本像素集合变为空集合（步骤S62）。
在进行重复直到样本像素集合变为空集合的处理中，深度图变换部106从样本像素集合之中将在参考摄像机深度图上位于最左的像素p选择为处理的样本像素（步骤S54）。接下来，深度图变换部106根据针对样本像素p的参考摄像机深度图的值来求取样本像素p在假想深度图上对应的点cp（步骤S55）。在得到对应点cp之后，深度图变换部106检查该对应点是否存在于假想深度图的帧内（步骤S56）。在对应点为帧外的情况下，深度图变换部106在什么都不做的情况下结束针对样本像素p的处理。
另一方面，在对应点cp为假想深度图的帧内的情况下，深度图变换部106向针对对应点cp的假想摄像机深度图的像素分配针对参考摄像机深度图的像素p的深度（步骤S57）。接下来，深度图变换部106判定在稍前的分配了样本像素的深度的位置last与这次的分配了样本像素的深度的位置cp之间是否存在其他的像素（步骤S58）。在存在这样的像素的情况下，深度图变换部106对存在于像素last与像素cp之间的像素生成深度（步骤S59）。无论使用怎样的处理来生成深度都可。例如，可以对像素last和像素cp的深度进行线性内插。
接下来，在像素last和像素cp之间的深度的生成结束了之后或者在像素last和像素cp之间不存在其他像素的情况下，深度图变换部106将last更新为cp（步骤S60），结束针对样本像素p的处理。
图7所示的处理工作为参考摄像机设置于编码对象摄像机的左侧的情况下的处理，但是在参考摄像机与编码对象摄像机的位置关系相反的情况下，只要使处理的像素的顺序、像素位置的判定条件相反即可。具体而言，在步骤S53中，以（h, Width）初始化last，在步骤S54中，将在参考摄像机深度图上位于最右的样本像素集合之中的像素p选择为处理的样本像素，在步骤S63中，判定在比last左侧是否存在像素，在步骤S64中，生成比last左侧的深度。再有，Width为假想深度图的横方向的像素数。
此外，图7所示的处理工作是摄像机配置为一维平行的情况下的处理，但是在摄像机配置是一维收敛的情况下，根据深度的定义而也能够应用相同的处理流程。具体而言，在表现深度的坐标轴在参考摄像机深度图和假想深度图中相同的情况下，能够应用相同的处理流程。此外，在深度的定义轴不同的情况下，除了不是将参考摄像机深度图的值直接分配给假想深度图而是在依照深度的定义轴对由参考摄像机深度图的深度所表现的三维位置进行变换之后将通过变换而得到的三维位置分配给假想深度图之外，基本上能够应用相同的流程。
接下来，对图像解码装置进行说明。图8是示出本实施方式中的图像解码装置的结构的框图。如图8所示，图像解码装置200具备码数据输入部201、码数据存储器202、参考摄像机图像输入部203、参考摄像机图像存储器204、参考摄像机深度图输入部205、深度图变换部206、假想深度图存储器207、视点合成图像生成部208、以及图像解码部209。
码数据输入部201输入成为解码对象的图像的码数据。在以下，将该成为解码对象的图像称为解码对象图像。此处，解码对象图像是指摄像机B的图像。此外，在以下，将对解码对象图像进行拍摄的摄像机（此处为摄像机B）称为解码对象摄像机。码数据存储器202存储作为输入的解码对象图像的码数据。参考摄像机图像输入部203输入在生成视点合成图像（视差补偿图像）时成为参考图像的参考摄像机图像。此处，输入摄像机A的图像。参考摄像机图像存储器204存储输入的参考摄像机图像。
参考摄像机深度图输入部205输入针对参考摄像机图像的深度图。在以下，将该针对参考摄像机图像的深度图称为参考摄像机深度图。再有，深度图表示映现于对应的图像的各像素的被摄体的三维位置。只要能根据另外提供的摄像机参数等信息而得到三维位置，则无论是怎样的信息都可。例如，能够使用从摄像机到被摄体的距离、针对与图像平面不平行的轴的坐标值、针对其他的摄像机（例如摄像机B）的视差量。此外，此处虽然深度图以图像的方式交付，但是只要能得到同样的信息，则不是图像的方式也可。在以下，将与参考摄像机深度图对应的摄像机称为参考摄像机。
深度图变换部206使用参考摄像机深度图来生成被拍摄于解码对象图像的被摄体的深度图，即分辨率比解码对象图像低的深度图。即，也能够将所生成的深度图考虑为针对以与解码对象摄像机相同的位置、方向由分辨率低的摄像机所拍摄的图像的深度图。在以下，将此处生成的深度图称为假想深度图。假想深度图存储器207存储所生成的假想深度图。视点合成图像生成部208使用根据假想深度图而得到的解码对象图像的像素与参考摄像机图像的像素的对应关系来生成针对解码对象图像的视点合成图像。图像解码部209使用视点合成图像来根据码数据对解码对象图像进行解码，输出解码图像。
接下来，参考图9来说明图8所示的图像解码装置200的工作。图9是示出图8所示的图像解码装置200的工作的流程图。首先，码数据输入部201输入解码对象图像的码数据，在码数据存储器202中存储所输入的码数据（步骤S71）。与此并行地，参考摄像机图像输入部203输入参考摄像机图像，在参考摄像机图像存储器204中存储所输入的参考摄像机图像。此外，参考摄像机深度图输入部205输入参考摄像机深度图，向深度图变换部206输出所输入的参考摄像机深度图（步骤S72）。
再有，在步骤S72输入的参考摄像机图像、参考摄像机深度图与在编码侧使用的信息相同。这是因为通过使用与在编码装置使用的信息完全相同的信息来抑制漂移等编码噪声的发生。但是，在容许这样的编码噪声的产生的情况下，也可以输入与在编码时使用的信息不同的信息。关于参考摄像机深度图，除了另外解码的信息之外，有时还使用通过对针对多个摄像机所解码的多视点图像应用立体声匹配等而估计的深度图、使用解码后的视差矢量、运动矢量等而估计的深度图等。
接下来，深度图变换部206根据参考摄像机深度图生成假想深度图，在假想深度图存储器207中存储所生成的假想深度图（步骤S73）。此处的处理除了编码对象图像和解码对象图像等编码和解码不同之处以外，与图2所示的步骤S3相同。
接下来，若得到了假想深度图的话，视点合成图像生成部208根据参考摄像机图像和假想深度图来生成针对解码对象图像的视点合成图像，向图像解码部209输出所生成的视点合成图像（步骤S74）。此处的处理除了编码对象图像和解码对象图像等编码和解码不同之处以外，与图2所示的步骤S4相同。
接下来，若得到了视点合成图像的话，图像解码部209一边将视点合成图像用作预测图像一边根据码数据对解码对象图像进行解码，输出解码结果（步骤S75）。解码的结果所得的解码图像为图像解码装置200的输出。再有，只要能够正确地对码数据（位流）进行解码，则无论对解码使用怎样的方法都可。一般而言，使用与在编码时使用的方法对应的方法。
在用MPEG-2、H.264、JPEG等一般的活动图像编码或者图像编码进行编码的情况下，在将图像分割为预先确定的大小的块并按每个块施行熵解码、反二值化、反量化等之后施行IDCT（Inverse Discrete Cosine Transform：反离散余弦变换）等反频率变换而得到预测残差信号之后，对预测残差信号附加预测图像，通过在像素值范围中对所得的结果进行削波来进行解码。
再有，在按每个块进行解码处理的情况下，也可以通过按每个块交替地重复视点合成图像的生成处理（步骤S74）和解码对象图像的解码处理（步骤S75）来对解码对象图像进行解码。参考图10来说明该情况下的处理工作。图10是示出通过按每个块交替地重复视点合成图像的生成处理和解码对象图像的解码处理来对解码对象图像进行解码的工作的流程图。在图10中，对与图9所示的处理工作相同的部分标注相同的附图标记，简单地进行其说明。在图10所示的处理工作中，将成为进行解码处理的单位的块的索引设为blk，用numBlks来表示解码对象图像中的块数。
首先，码数据输入部201输入解码对象图像的码数据，在码数据存储器202中存储所输入的码数据（步骤S71）。与此并行地，参考摄像机图像输入部203输入参考摄像机图像，在参考摄像机图像存储器204中存储所输入的参考摄像机图像。此外，参考摄像机深度图输入部205输入参考摄像机深度图，向深度图变换部206输出所输入的参考摄像机深度图（步骤S72）。
接下来，深度图变换部206根据参考摄像机深度图来生成假想深度图，在假想深度图存储器207中存储所生成的假想深度图（步骤S73）。然后，视点合成图像生成部208将0代入到变量blk（步骤S76）。
接下来，视点合成图像生成部208根据参考摄像机图像和假想深度图来生成针对块blk的视点合成图像，向图像解码部209输出所生成的视点合成图像（步骤S74a）。接着，图像解码部209一边将视点合成图像用作预测图像一边根据码数据对针对块blk的解码对象图像进行解码，输出解码结果（步骤S75a）。然后，视点合成图像生成部208使变量blk递增（blk←blk+1，步骤S77），判定是否满足blk<numBlks（步骤S78）。如果该判定结果满足blk<numBlks，则回到步骤S74a重复处理，在满足blk=numBlks的时间点结束处理。
像这样，根据针对参考帧的深度图来生成针对处理对象帧的分辨率小的深度图，由此，能够以少的运算量和消耗存储器实现仅针对指定的区域的视点合成图像的生成，从而实现多视点图像的高效且轻量的图像编码。由此，在使用针对参考帧的深度图来生成处理对象帧（编码对象帧或解码对象帧）的视点合成图像时，能够在不使视点合成图像的品质显著降低的情况下以少的运算量按每个块生成视点合成图像。
在上述的说明中，虽然说明了对1帧中的全部的像素进行编码或解码的处理，但是也可以仅对一部分的像素应用本发明的实施方式的处理，而在其他的像素中使用在H.264/AVC等中使用的画面内预测编码或运动补偿预测编码等来进行编码或解码。在该情况下，需要对示出按每个像素使用什么方法来进行预测的信息进行编码和解码。此外，还可以不是按每个像素而是按每个块使用不同的预测方式来进行编码或解码。再有，在仅对一部分的像素或块进行使用了视点合成图像的预测的情况下，通过仅对该像素进行生成视点合成图像的处理（步骤S4、S4a、S74和S74a），从而能够削减视点合成图像的生成处理所涉及的运算量。
此外，在上述的说明中，虽然说明了对1帧进行编码和解码的处理，但是，也能够通过对多个帧重复处理来将本发明的实施方式应用于活动图像编码。此外，还能够仅对活动图像的一部分的帧或一部分的块应用本发明的实施方式。进而，在上述的说明中，虽然说明了图像编码装置和图像解码装置的结构和处理工作，但是能够利用这些图像编码装置和图像解码装置的各部分的工作所对应的处理工作来实现本发明的图像编码方法和图像解码方法。
图11是示出通过计算机和软件程序来构成前述的图像编码装置的情况下的硬件结构的框图。图11所示的系统为如下部分通过总线连接的结构：执行程序的CPU（Central Processing Unit：中央处理单元）50、存储CPU50访问的程序、数据的RAM（Random Access Memory：随机存取存储器）等存储器51、输入来自摄像机等的编码对象的图像信号的编码对象图像输入部52（也可以为磁盘装置等的存储图像信号的存储部）、输入来自摄像机等的参考对象的图像信号的参考摄像机图像输入部53（也可以为磁盘装置等的存储图像信号的存储部）、输入来自深度图摄像机等的针对与对编码对象图像进行拍摄的摄像机不同的位置、方向的摄像机的深度图的参考摄像机深度图输入部54（也可以为磁盘装置等的存储深度图的存储部）、存储作为使CPU50执行上述的图像编码处理的软件程序的图像编码程序551的程序存储装置55、以及经由例如网络输出通过CPU50执行加载到存储器51的图像编码程序551而生成的码数据的码数据输出部56（也可以为磁盘装置等的存储码数据的存储部）。
图12是示出通过计算机和软件程序来构成前述的图像解码装置的情况下的硬件结构的框图。图12所示的系统为如下部分通过总线连接的结构：执行程序的CPU60、存储CPU60访问的程序、数据的RAM等存储器61、输入图像编码装置利用本手法而编码的码数据的码数据输入部62（也可以为磁盘装置等的存储码数据的存储部）、输入来自摄像机等的参考对象的图像信号的参考摄像机图像输入部63（也可以为磁盘装置等的存储图像信号的存储部）、输入来自深度图摄像机等的针对与对解码对象进行拍摄的摄像机不同的位置、方向的摄像机的深度图的参考摄像机深度图输入部64（也可以为磁盘装置等的存储深度信息的存储部）、存储作为使CPU60执行上述的图像解码处理的软件程序的图像解码程序651的程序存储装置65、以及向再生装置等输出通过CPU60执行加载到存储器61的图像解码程序651来对码数据进行解码而得到的解码对象图像的解码对象图像输出部66（也可以为磁盘装置等的存储图像信号的存储部）。
此外，可以在计算机可读记录介质中记录用于实现图1所示的图像编码装置和图8所示的图像解码装置中的各处理部的功能的程序，将记录在该记录介质中的程序读入到计算机系统来执行，由此，进行图像编码处理和图像解码处理。再有，此处所说的“计算机系统”是指包括OS（Operating System：操作系统）、周围设备等硬件的系统。此外，“计算机系统”还包括具备主页提供环境（或者显示环境）的WWW（World Wide Web：万维网）系统。此外，“计算机可读记录介质”是指软盘、磁光盘、ROM（Read Only Memory：只读存储器）、CD（Compact Disc：压缩盘）-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。进而“计算机可读记录介质”包括如成为经由因特网等网络或电话线路等来发送程序的情况下的服务器或客户端的计算机系统内部的易失性存储器（RAM）那样保持程序一定时间的记录介质。
此外，上述程序可以从在存储装置等中存储该程序的计算机系统经由传送介质或者通过传送介质中的传送波而传送到其他的计算机系统。此处，传送程序的“传送介质”是指如因特网等网络（通信网）或电话线路等通信线路（通信线）那样具有传送信息的功能的介质。此外，上述程序也可以是用于实现前述的功能的一部分的程序。进而，上述的程序也可以是能够以与已经记录于计算机系统的程序的组合来实现前述的功能的程序，所谓的差分文件（差分程序）。
以上，虽然参考附图说明了本发明的实施方式，但是上述实施方式只不过是本发明的例示，本发明不限定于上述实施方式是显而易见的。因而，可以在不脱离本发明的技术思想和范围的范围中进行结构要素的追加、省略、置换、以及其他变更。
产业上的可利用性
本发明能够应用于在使用针对参考帧的表示被摄体的三维位置的深度图来对编码（解码）对象图像进行视差补偿预测时以少的运算量达成高的编码效率是不可缺少的用途。
附图标记说明
100…图像编码装置、101…编码对象图像输入部、102…编码对象图像存储器、103…参考摄像机图像输入部、104…参考摄像机图像存储器、105…参考摄像机深度图输入部、106…深度图变换部、107…假想深度图存储器、108…视点合成图像生成部、109…图像编码部、200…图像解码装置、201…码数据输入部、202…码数据存储器、203…参考摄像机图像输入部、204…参考摄像机图像存储器、205…参考摄像机深度图输入部、206…深度图变换部、207…假想深度图存储器、208…视点合成图像生成部、209…图像解码部。

Claims (32)

1.一种图像编码方法，在对作为多个视点的图像的多视点图像进行编码时，使用针对与编码对象图像的视点不同的视点的编码完毕的参考视点图像和作为所述参考视点图像内的被摄体的深度图的参考视点深度图来一边在视点间预测图像一边进行编码，其中，所述图像编码方法具有：
假想深度图生成步骤，生成分辨率比所述编码对象图像低并且作为所述编码对象图像内的所述被摄体的深度图的假想深度图；以及
视点间图像预测步骤，根据所述假想深度图和所述参考视点图像来生成针对所述编码对象图像的视差补偿图像，由此，进行视点间的图像预测。
2.根据权利要求1所述的图像编码方法，其中，还具有：相同分辨率深度图生成步骤，在其中，根据所述参考视点深度图来生成分辨率与所述编码对象图像相同的相同分辨率深度图，
在所述假想深度图生成步骤中，通过缩小所述相同分辨率深度图来生成所述假想深度图。
3.根据权利要求2所述的图像编码方法，其中，在所述假想深度图生成步骤中，通过按所述假想深度图的每个像素从针对在所述相同分辨率深度图中对应的多个像素的深度之中选择示出与视点最近的深度来生成所述假想深度图。
4.根据权利要求1所述的图像编码方法，其中，还具有：缩小深度图生成步骤，在其中，通过缩小所述参考视点深度图来生成所述参考视点图像内的所述被摄体的缩小深度图，
在所述假想深度图生成步骤中，根据所述缩小深度图来生成所述假想深度图。
5.根据权利要求4所述的图像编码方法，其中，在所述缩小深度图生成步骤中，仅针对纵方向或者横方向的任一个缩小所述参考视点深度图。
6.根据权利要求4或权利要求5所述的图像编码方法，其中，在所述缩小深度图生成步骤中，通过按所述缩小深度图的每个像素从针对在所述参考视点深度图中对应的多个像素的深度之中选择示出与视点最近的深度来生成所述假想深度图。
7.根据权利要求1所述的图像编码方法，其中，还具有：样本像素选择步骤，在其中，从所述参考视点深度图的像素选择一部分的样本像素，
在所述假想深度图生成步骤中，通过变换与所述样本像素对应的所述参考视点深度图来生成所述假想深度图。
8.根据权利要求7所述的图像编码方法，其中，还具有：区域分割步骤，在其中，依照所述参考视点深度图与所述假想深度图的分辨率之比将所述参考视点深度图分割为部分区域，
在所述样本像素选择步骤中，按每个所述部分区域选择所述样本像素。
9.根据权利要求8所述的图像编码方法，其中，在所述区域分割步骤中，依照所述参考视点深度图与所述假想深度图的分辨率之比来决定所述部分区域的形状。
10.根据权利要求8或权利要求9所述的图像编码方法，其中，在所述样本像素选择步骤中，按每个所述部分区域将具有示出与视点最近的深度的像素或者具有示出离视点最远的深度的像素中的任一个选择为所述样本像素。
11.根据权利要求8或权利要求9所述的图像编码方法，其中，在所述样本像素选择步骤中，按每个所述部分区域将具有示出与视点最近的深度的像素和具有示出离视点最远的深度的像素选择为所述样本像素。
12.一种图像解码方法，在根据作为多个视点的图像的多视点图像的码数据对解码对象图像进行解码时，使用针对与所述解码对象图像的视点不同的视点的解码完毕的参考视点图像和作为所述参考视点图像内的被摄体的深度图的参考视点深度图来一边在视点间预测图像一边进行解码，其中，所述图像解码方法具有：
假想深度图生成步骤，生成分辨率比所述解码对象图像低并且作为所述解码对象图像内的所述被摄体的深度图的假想深度图；以及
视点间图像预测步骤，根据所述假想深度图和所述参考视点图像来生成针对所述解码对象图像的视差补偿图像，由此，进行视点间的图像预测。
13.根据权利要求12所述的图像解码方法，其中，还具有：相同分辨率深度图生成步骤，在其中，根据所述参考视点深度图来生成分辨率与所述解码对象图像相同的相同分辨率深度图，
在所述假想深度图生成步骤中，通过缩小所述相同分辨率深度图来生成所述假想深度图。
14.根据权利要求13所述的图像解码方法，其中，在所述假想深度图生成步骤中，通过按所述假想深度图的每个像素从针对在所述相同分辨率深度图中对应的多个像素的深度之中选择示出与视点最近的深度来生成所述假想深度图。
15.根据权利要求12所述的图像解码方法，其中，还具有：缩小深度图生成步骤，在其中，通过缩小所述参考视点深度图来生成所述参考视点图像内的所述被摄体的缩小深度图，
在所述假想深度图生成步骤中，根据所述缩小深度图来生成所述假想深度图。
16.根据权利要求15所述的图像解码方法，其中，在所述缩小深度图生成步骤中，仅针对纵方向或者横方向的任一个缩小所述参考视点深度图。
17.根据权利要求15或权利要求16所述的图像解码方法，其中，在所述缩小深度图生成步骤中，通过按所述缩小深度图的每个像素从针对在所述参考视点深度图中对应的多个像素的深度之中选择示出与视点最近的深度来生成所述假想深度图。
18.根据权利要求12所述的图像解码方法，其中，还具有：样本像素选择步骤，在其中，从所述参考视点深度图的像素选择一部分的样本像素，
在所述假想深度图生成步骤中，通过变换与所述样本像素对应的所述参考视点深度图来生成所述假想深度图。
19.根据权利要求18所述的图像解码方法，其中，还具有：区域分割步骤，在其中，依照所述参考视点深度图与所述假想深度图的分辨率之比将所述参考视点深度图分割为部分区域，
在所述样本像素选择步骤中，按每个所述部分区域来选择样本像素。
20.根据权利要求19所述的图像解码方法，其中，在所述区域分割步骤中，依照所述参考视点深度图与所述假想深度图的分辨率之比来决定所述部分区域的形状。
21.根据权利要求19或权利要求20所述的图像解码方法，其中，在所述样本像素选择步骤中，按每个所述部分区域将具有示出与视点最近的深度的像素或者具有示出离视点最远的深度的像素中的任一个选择为所述样本像素。
22.根据权利要求19或权利要求20所述的图像解码方法，其中，在所述样本像素选择步骤中，按每个所述部分区域将具有示出与视点最近的深度的像素和具有示出离视点最远的深度的像素选择为所述样本像素。
23.一种图像编码装置，在对作为多个视点的图像的多视点图像进行编码时，使用针对与编码对象图像的视点不同的视点的编码完毕的参考视点图像和作为所述参考视点图像内的被摄体的深度图的参考视点深度图来一边在视点间预测图像一边进行编码，其中，所述图像编码装置具备：
假想深度图生成部，生成分辨率比所述编码对象图像低并且作为所述编码对象图像内的所述被摄体的深度图的假想深度图；以及
视点间图像预测部，根据所述假想深度图和所述参考视点图像来生成针对所述编码对象图像的视差补偿图像，由此，进行视点间的图像预测。
24.根据权利要求23所述的图像编码装置，其中，还具备：缩小深度图生成部，其通过缩小所述参考视点深度图来生成所述参考视点图像内的所述被摄体的缩小深度图，
所述假想深度图生成部通过变换所述缩小深度图来生成所述假想深度图。
25.根据权利要求23所述的图像编码装置，其中，还具备：样本像素选择部，其从所述参考视点深度图的像素选择一部分的样本像素，
所述假想深度图生成部通过变换与所述样本像素对应的所述参考视点深度图来生成所述假想深度图。
26.一种图像解码装置，在根据作为多个视点的图像的多视点图像的码数据对解码对象图像进行解码时，使用针对与所述解码对象图像的视点不同的视点的解码完毕的参考视点图像和作为所述参考视点图像内的被摄体的深度图的参考视点深度图来一边在视点间预测图像一边进行解码，其中，所述图像解码装置具备：
假想深度图生成部，生成分辨率比所述解码对象图像低并且作为所述解码对象图像内的所述被摄体的深度图的假想深度图；以及
视点间图像预测部，根据所述假想深度图和所述参考视点图像来生成针对所述解码对象图像的视差补偿图像，由此，进行视点间的图像预测。
27.根据权利要求26所述的图像解码装置，其中，还具备：缩小深度图生成部，其通过缩小所述参考视点深度图来生成所述参考视点图像内的所述被摄体的缩小深度图，
所述假想深度图生成部通过变换所述缩小深度图来生成所述假想深度图。
28.根据权利要求26所述的图像解码装置，其中，还具备：样本像素选择部，其从所述参考视点深度图的像素选择一部分的样本像素，
所述假想深度图生成部通过变换与所述样本像素对应的所述参考视点深度图来生成所述假想深度图。
29.一种用于使计算机执行权利要求1至11中的任一项所述的图像编码方法的图像编码程序。
30.一种用于使计算机执行权利要求12至22中的任一项所述的图像解码方法的图像解码程序。
31.一种记录权利要求29所述的图像编码程序的计算机可读记录介质。
32.一种记录权利要求30所述的图像解码程序的计算机可读记录介质。
CN201380044060.7A 2012-09-25 2013-09-24 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质 Pending CN104871534A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012211154 2012-09-25
JP2012-211154 2012-09-25
PCT/JP2013/075735 WO2014050827A1 (ja) 2012-09-25 2013-09-24 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体

Publications (1)

Publication Number Publication Date
CN104871534A true CN104871534A (zh) 2015-08-26

Family

ID=50388224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380044060.7A Pending CN104871534A (zh) 2012-09-25 2013-09-24 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质

Country Status (5)

Country Link
US (1) US20150249839A1 (zh)
JP (1) JP5883153B2 (zh)
KR (1) KR101648094B1 (zh)
CN (1) CN104871534A (zh)
WO (1) WO2014050827A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113271464A (zh) * 2021-05-11 2021-08-17 北京奇艺世纪科技有限公司 视频编码方法、解码方法及相关装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3171598A1 (en) * 2015-11-19 2017-05-24 Thomson Licensing Methods and devices for encoding and decoding a matrix of views obtained from light-field data, corresponding computer program and non-transitory program storage device
KR101876007B1 (ko) * 2015-12-28 2018-07-06 전자부품연구원 분산 및 병렬 프로그래밍 기반의 실시간 초다시점 3d 콘텐츠 합성 시스템 및 방법
US11457196B2 (en) 2019-08-28 2022-09-27 Snap Inc. Effects for 3D data in a messaging system
US11189104B2 (en) 2019-08-28 2021-11-30 Snap Inc. Generating 3D data in a messaging system
US11410401B2 (en) 2019-08-28 2022-08-09 Snap Inc. Beautification techniques for 3D data in a messaging system
US11488359B2 (en) 2019-08-28 2022-11-01 Snap Inc. Providing 3D data for messages in a messaging system
CN110519607B (zh) * 2019-09-27 2022-05-20 腾讯科技（深圳）有限公司 视频解码方法及装置，视频编码方法及装置
US11410387B1 (en) * 2020-01-17 2022-08-09 Facebook Technologies, Llc. Systems, methods, and media for generating visualization of physical environment in artificial reality
US10950034B1 (en) 2020-01-27 2021-03-16 Facebook Technologies, Llc Systems, methods, and media for generating visualization of physical environment in artificial reality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090103616A1 (en) * 2007-10-19 2009-04-23 Gwangju Institute Of Science And Technology Method and device for generating depth image using reference image, method for encoding/decoding depth image, encoder or decoder for the same, and recording medium recording image generated using the method
CN101536529A (zh) * 2006-09-20 2009-09-16 日本电信电话株式会社 图像编码方法和解码方法、其装置、图像解码装置、以及其程序和记录有程序的记录介质
JP2010021844A (ja) * 2008-07-11 2010-01-28 Nippon Telegr & Teleph Corp <Ntt> 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
US20120154533A1 (en) * 2010-12-17 2012-06-21 Electronics And Telecommunications Research Institute Device and method for creating multi-view video contents using parallel processing

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3231618B2 (ja) * 1996-04-23 2001-11-26 日本電気株式会社 ３次元画像符号化復号方式
JP4698831B2 (ja) * 1997-12-05 2011-06-08 ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド 画像変換および符号化技術
JP3593466B2 (ja) * 1999-01-21 2004-11-24 日本電信電話株式会社 仮想視点画像生成方法およびその装置
CN101292538B (zh) * 2005-10-19 2012-11-28 汤姆森特许公司 使用可缩放的视频编码的多视图视频编码
US20080278582A1 (en) * 2007-05-07 2008-11-13 Sentinel Ave Llc Video Fusion Display Systems
WO2011046607A2 (en) * 2009-10-14 2011-04-21 Thomson Licensing Filtering and edge encoding
WO2012090181A1 (en) * 2010-12-29 2012-07-05 Nokia Corporation Depth map coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101536529A (zh) * 2006-09-20 2009-09-16 日本电信电话株式会社 图像编码方法和解码方法、其装置、图像解码装置、以及其程序和记录有程序的记录介质
US20090103616A1 (en) * 2007-10-19 2009-04-23 Gwangju Institute Of Science And Technology Method and device for generating depth image using reference image, method for encoding/decoding depth image, encoder or decoder for the same, and recording medium recording image generated using the method
JP2010021844A (ja) * 2008-07-11 2010-01-28 Nippon Telegr & Teleph Corp <Ntt> 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
US20120154533A1 (en) * 2010-12-17 2012-06-21 Electronics And Telecommunications Research Institute Device and method for creating multi-view video contents using parallel processing

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113271464A (zh) * 2021-05-11 2021-08-17 北京奇艺世纪科技有限公司 视频编码方法、解码方法及相关装置
CN113271464B (zh) * 2021-05-11 2022-11-18 北京奇艺世纪科技有限公司 视频编码方法、解码方法及相关装置

Also Published As

Publication number Publication date
KR101648094B1 (ko) 2016-08-12
JP5883153B2 (ja) 2016-03-09
WO2014050827A1 (ja) 2014-04-03
US20150249839A1 (en) 2015-09-03
KR20150034205A (ko) 2015-04-02
JPWO2014050827A1 (ja) 2016-08-22

Similar Documents

Publication Publication Date Title
CN104871534A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
JP5934375B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP6053200B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP5833757B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
US20170310997A1 (en) Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, and image decoding program
JP6232076B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
JP6307152B2 (ja) 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
JP5281632B2 (ja) 多視点画像符号化方法，多視点画像復号方法，多視点画像符号化装置，多視点画像復号装置およびそれらのプログラム
JP5926451B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
CN104885462A (zh) 视频编码装置和方法、视频解码装置和方法、以及其程序
WO2015056712A1 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
CN106464899A (zh) 活动图像编码装置及方法和活动图像解码装置及方法
CN104509114A (zh) 动图像编码方法、动图像解码方法、动图像编码装置、动图像解码装置、动图像编码程序、动图像解码程序以及记录介质

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150826

WD01 Invention patent application deemed withdrawn after publication