CN104429077A - 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质 - Google Patents

图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质 Download PDF

Info

Publication number
CN104429077A
CN104429077A CN201380036309.XA CN201380036309A CN104429077A CN 104429077 A CN104429077 A CN 104429077A CN 201380036309 A CN201380036309 A CN 201380036309A CN 104429077 A CN104429077 A CN 104429077A
Authority
CN
China
Prior art keywords
image
pixel
depth information
corresponding points
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380036309.XA
Other languages
English (en)
Inventor
志水信哉
杉本志织
木全英明
小岛明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN104429077A publication Critical patent/CN104429077A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明在使用参照图像中的表示被摄物的三维位置的深度信息来对编码（解码）对象图像进行视差补偿预测时实现高的编码效率。对编码对象图像的各像素设定参照图像上的对应点。对由对应点表示的编码对象图像上的整数像素位置的像素的深度信息即被摄物深度信息进行设定。使用由对应点表示的参照图像上的整数像素位置或小数像素位置的周围的整数像素位置的像素的参照图像深度信息和被摄物深度信息来决定像素内插用的抽头长度。使用按照抽头长度的内插滤波器来生成由对应点表示的参照图像上的整数像素位置或小数像素位置的像素值。通过将所生成的像素值设为由对应点表示的编码对象图像上的整数像素位置的像素的预测值，从而进行视点间的图像预测。

Description

图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
技术领域
本发明涉及对多视点图像进行编码和解码的图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质。
本申请基于在2012年7月9日向日本申请的特愿2012–154065号要求优先权，并将其内容引用于此。
背景技术
多视点图像是指用多个摄像机（camera）拍摄了相同的被摄物和背景的多个图像，多视点活动图像（多视点视频）是指其活动图像。在以下，将用1个摄像机拍摄的图像（活动图像）称为“二维图像（活动图像）”，将拍摄了相同的被摄物和背景的二维图像（活动图像）组称为“多视点图像（活动图像）”。二维活动图像关于时间方向具有强的相关性，通过利用该相关性来提高编码效率。
另一方面，在多视点图像或多视点活动图像中，在各摄像机被同步的情况下，各摄像机的视频的相同时刻所对应的帧（图像）是从不同的位置拍摄了完全相同的状态的被摄物和背景的帧（图像），因此，在摄像机间具有强的相关性。在多视点图像或多视点活动图像的编码中，能够通过利用该相关性来提高编码效率。
在此，对与二维活动图像的编码技术相关的现有技术进行说明。在以作为国际编码标准的H. 264、MPEG–2、MPEG–4为首的以往的许多二维活动图像编码方式中，利用运动补偿、正交变换、量化、熵编码的技术来进行高效率的编码。例如，在H. 264中，能够实现利用了与过去或未来的多个帧的时间相关性的编码。
关于在H. 264中使用的运动补偿技术的细节，例如在专利文献1中进行了记载。对其概要进行说明。在H. 264的运动补偿中，能够将编码对象帧分割为各种尺寸的块并且在各块中具有不同的运动矢量和不同的参照图像。进而，通过对参照图像进行滤波处理，从而生成1/2像素位置、1/4像素位置的视频，能够进行更精密的1/4像素精度的运动补偿，由此，实现比以往的国际编码标准方式更高效率的编码。
接着，对以往的多视点图像、多视点活动图像的编码方式进行说明。多视点图像的编码方法与多视点活动图像的编码方法的区别在于，在多视点活动图像中除了摄像机间的相关性之外还同时存在时间方向的相关性。可是，关于利用摄像机间的相关性的方法，在哪一种情况下均能使用相同的方法。因此，在此，对在多视点活动图像的编码中使用的方法进行说明。
关于多视点活动图像的编码，为了利用摄像机间的相关性，以往存在利用将运动补偿应用于相同时刻的被不同摄像机拍摄的图像的“视差补偿”来对多视点活动图像高效率地进行编码的方式。在此，视差是指在配置于不同的位置的摄像机的图像平面上被摄物上的相同部分所存在的位置的差。图16是在摄像机间产生的视差的概念图。在图16所示的概念图中，垂直地俯视光轴平行的摄像机的图像平面。像这样，在不同的摄像机的图像平面上投影被摄物上的相同部分的位置通常被称为对应点。
在视差补偿中，基于其对应关系，根据参照帧来预测编码对象帧的各像素值，对其预测残差和表示对应关系的视差信息进行编码。由于视差按照作为对象的摄像机的每个图像发生变化，所以，需要按照每个编码处理对象帧对视差信息进行编码。实际上，在H. 264的多视点编码方式中，按照每个帧（更正确的是使用视差补偿预测的块）对视差信息进行编码。
关于根据视差信息得到的对应关系，通过使用摄像机参数，从而能够基于对极（epipolar）几何约束用表示被摄物的三维位置的一维量而不是二维矢量来进行表示。作为表示被摄物的三维位置的信息，存在各种表现，但是，使用从成为基准的摄像机到被摄物的距离或者与摄像机的图像平面不平行的轴上的坐标值的情况较多。再有，也存在不使用距离而使用距离的倒数的情况。此外，由于距离的倒数为与视差成比例的信息，所以，也存在设定2个成为基准的摄像机并将被摄物的三维位置表现为在被这些摄像机拍摄的图像间的视差量的情况。无论使用了怎样的表现，在其物理意义上都没有本质的区别，因此，在以下，不根据表现来进行区别，将表示这些三维位置的信息表现为深度（depth）。
图17是对极几何约束的概念图。根据对极几何约束，与某个摄像机的图像上的点对应的另外的摄像机的图像上的点被约束在极线这样的直线上。此时，在得到了针对其像素的深度的情况下，对应点被唯一地确定在极线上。例如，如图17所示那样，针对在摄像机A的图像中被投影到m的位置的被摄物的在摄像机B的图像中的对应点在实空间中的被摄物的位置为M’的情况下被投影到极线上的位置m’，在实空间中的被摄物的位置为M’’的情况下被投影到极线上的位置m’’。
图18是示出在对1个摄像机的图像给出深度时在多个摄像机的图像间得到对应点的情况的图。深度是表示被摄物的三维位置的信息，由于该三维位置是利用物理上的被摄物的位置来决定的，所以，深度并不是依赖于摄像机的信息。因此，能够用深度这样的1个信息来表示多个摄像机图像上的对应点。例如，如图18所示那样，在从摄像机A的视点位置到被摄物上的点的距离D被作为深度而给出的情况下，通过根据深度来特别指定被摄物上的点M，从而能够表示针对摄像机A的图像上的点ma的摄像机B的图像上的对应点mb、摄像机C的图像上的对应点mc这两者。根据该性质，通过使用针对参照图像的深度来表示视差信息，从而能够根据该参照图像实现对用（摄像机间的位置关系被得到的）其它的摄像机在同一时刻拍摄的全部帧的视差补偿。
在非专利文献2中，利用该性质，减少需要编码的视差信息的量，实现高效率的多视点活动图像编码。已知在使用运动补偿预测或视差补偿预测时通过使用比整数像素单位更详细的对应关系而能进行高精度的预测。例如，如上所述，在H. 264中通过使用1/4像素单位的对应关系来实现高效的编码。因此，即使在给出针对参照图像的像素的深度的情况下，也存在通过更详细地给出该深度来提高预测精度的方法。
当在对参照图像的像素给出深度的情况下提高该深度的精度时，只是更详细地得到参照图像上的像素所对应的编码对象图像上的位置，并非更详细地得到编码对象图像上的像素所对应的参照图像上的位置。在专利文献1中，针对该问题，在维持视差的大小的状态下使对应关系平行移动来用作针对编码对象图像上的像素的详细的视差信息，由此，提高预测精度。
现有技术文献
专利文献
专利文献1：国际公开第08/035665号；
非专利文献
非专利文献1：ITU-T Recommendation H.264 (03/2009), “Advanced video coding for generic audiovisual services”, 2009年3月；
非专利文献2：Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and Yoshiyuki YASHIMA, “Multi-view Video Coding based on 3-D Warping with Depth Map”, In Proceedings of Picture Coding Symposium 2006, SS3-6, 2006年4月。
发明内容
发明要解决的课题
确实，根据专利文献1的方法，能够根据将参照图像的整数像素作为基准而给出的针对编码（解码）对象图像的对应点信息来求取编码（解码）对象图像的整数像素的位置所对应的参照图像上的小数像素精度的位置。然后，通过使用根据整数像素位置的像素值进行内插而求取的小数像素位置的像素值来生成预测图像，从而能够实现精度更高的视差补偿预测，能够实现高效率的多视点图像（活动图像）的编码。针对小数像素位置的像素值的内插是通过求取周围的整数像素位置的像素值的加权平均值来进行的。在此时，为了实现更自然的内插，需要使用考虑了空间上的连续性、即内插像素和距离的加权系数。在参照图像上求取小数像素位置的像素值的方式中，假定用于该内插的像素和被内插的像素的全部的位置关系在编码（解码）对象图像上也相同。
可是，实际上，没有这些像素的位置关系相同的保证，在该假定不成立的情形中，存在内插像素的品质极差的问题。用于内插的像素和成为内插对象的像素的距离越远，在参照图像和编码（解码）对象图像之间位置关系发生变化的可能性越高。因此，针对上述的问题，考虑通过仅将与成为内插对象的像素邻接的像素用于内插来抑制上述假定不成立的情形的发生的应对方法。可是，通常，用于内插的像素越多，能够实现越高性能的内插，因此，在像这样的能容易类推的手法中，即使进行错误的内插的可能性变低，其内插性能也显著地低。
此外，也存在以下方法：在求取了针对用于内插的像素的编码（解码）对象图像上的全部对应点之后，按照该对应点与编码（解码）对象图像上的内插对象的像素的位置关系来决定权重。可是，由于需要按照每个内插像素求取针对参照图像上的多个像素的编码（解码）对象图像上的对应点，所以产生计算成本非常高的问题。
本发明是鉴于这样的情况而完成的，其目的在于提供在使用参照图像中的表示被摄物的三维位置的深度信息来对编码（解码）对象图像进行视差补偿预测时能够实现高的编码效率的图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质。
用于解决课题的方案
本发明是一种图像编码方法，在对作为多个视点的图像的多视点图像进行编码时，使用针对与编码对象图像的视点不同的视点的编码完毕的参照图像和作为所述参照图像中的被摄物的深度信息的参照图像深度信息，一边在视点间预测图像一边进行编码，其中，所述图像编码方法具有：对应点设定步骤，对所述编码对象图像的各像素设定所述参照图像上的对应点；被摄物深度信息设定步骤，对由所述对应点表示的所述编码对象图像上的整数像素位置的像素的深度信息即被摄物深度信息进行设定；内插抽头长度决定步骤，使用由所述对应点表示的所述参照图像上的整数像素位置或小数像素位置的周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度信息来决定像素内插用的抽头长度；像素内插步骤，使用按照所述抽头长度的内插滤波器来生成由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的像素值；以及视点间图像预测步骤，通过将利用所述像素内插步骤生成的所述像素值设为由所述对应点表示的所述编码对象图像上的所述整数像素位置的像素的预测值来进行视点间的图像预测。
本发明是一种图像编码方法，在对作为多个视点的图像的多视点图像进行编码时，使用针对与编码对象图像的视点不同的视点的编码完毕的参照图像和作为所述参照图像中的被摄物的深度信息的参照图像深度信息，一边在视点间预测图像一边进行编码，其中，所述图像编码方法具有：对应点设定步骤，对所述编码对象图像的各像素设定所述参照图像上的对应点；被摄物深度信息设定步骤，对由所述对应点表示的所述编码对象图像上的整数像素位置的像素的深度信息即被摄物深度信息进行设定；内插参照像素设定步骤，使用由所述对应点表示的所述参照图像上的整数像素位置或小数像素位置的周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度信息，将用于像素内插的所述参照图像的整数像素位置的像素设定为内插参照像素；像素内插步骤，利用所述内插参照像素的像素值的加权和，生成由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的像素值；以及视点间图像预测步骤，通过将利用所述像素内插步骤生成的所述像素值设为由所述对应点表示的所述编码对象图像上的所述整数像素位置的像素的预测值来进行视点间的图像预测。
优选的是，在本发明中，还具有：内插系数决定步骤，按照每个所述内插参照像素，基于针对所述内插参照像素的所述参照图像深度信息与所述被摄物深度信息的差，决定针对所述内插参照像素的内插系数，在所述内插参照像素设定步骤中，将由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的所述周围的整数像素位置的像素设定为所述内插参照像素，在所述像素内插步骤中，通过求取基于所述内插系数的所述内插参照像素的像素值的加权和，从而生成由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的像素值。
优选的是，在本发明中，还具有：内插抽头长度决定步骤，使用由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的所述周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度信息来决定像素内插用的抽头长度，在所述内插参照像素设定步骤中，将存在于所述抽头长度的范围内的像素设定为所述内插参照像素。
优选的是，在本发明中，在所述内插系数决定步骤中，在针对所述内插参照像素之一的所述参照图像深度信息与所述被摄物深度信息的差的大小比预先确定的阈值大的情况下，将所述内插系数设为零来将所述内插参照像素之一从所述内插参照像素中除去，在所述差的大小为所述阈值以内的情况下，基于所述差来决定所述内插系数。
优选的是，在本发明中，在所述内插系数决定步骤中，基于针对所述内插参照像素之一的所述参照图像深度信息与所述被摄物深度信息的差、以及所述内插参照像素之一与由所述对应点表示的所述参照图像上的整数像素或小数像素的距离来决定所述内插系数。
优选的是，在本发明中，在所述内插系数决定步骤中，在针对所述内插参照像素之一的所述参照图像深度信息与所述被摄物深度信息的差的大小比预先确定的阈值大的情况下，将所述内插系数设为零来将所述内插参照像素之一从所述内插参照像素中除去，在所述差的大小为所述阈值以内的情况下，基于所述差、以及所述内插参照像素之一与由所述对应点表示的所述参照图像上的整数像素或小数像素的距离来决定所述内插系数。
本发明是一种图像解码方法，在对多视点图像的解码对象图像进行解码时，使用解码完毕的参照图像和作为所述参照图像中的被摄物的深度信息的参照图像深度信息，一边在视点间预测图像一边进行解码，其中，所述图像解码方法具有：对应点设定步骤，对所述解码对象图像的各像素设定所述参照图像上的对应点；被摄物深度信息设定步骤，对由所述对应点表示的所述解码对象图像上的整数像素位置的像素的深度信息即被摄物深度信息进行设定；内插抽头长度决定步骤，使用由所述对应点表示的所述参照图像上的整数像素位置或小数像素位置的周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度信息来决定像素内插用的抽头长度；像素内插步骤，使用按照所述抽头长度的内插滤波器来生成由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的像素值；以及视点间图像预测步骤，通过将利用所述像素内插步骤生成的所述像素值设为由所述对应点表示的所述解码对象图像上的所述整数像素位置的像素的预测值来进行视点间的图像预测。
本发明是一种图像解码方法，在对多视点图像的解码对象图像进行解码时，使用解码完毕的参照图像和作为所述参照图像中的被摄物的深度信息的参照图像深度信息，一边在视点间预测图像一边进行解码，其中，所述图像解码方法具有：对应点设定步骤，对所述解码对象图像的各像素设定所述参照图像上的对应点；被摄物深度信息设定步骤，对由所述对应点表示的所述解码对象图像上的整数像素位置的像素的深度信息即被摄物深度信息进行设定；内插参照像素设定步骤，使用由所述对应点表示的所述参照图像上的整数像素位置或小数像素位置的周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度信息，将用于像素内插的所述参照图像的整数像素位置的像素设定为内插参照像素；像素内插步骤，利用所述内插参照像素的像素值的加权和，生成由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的像素值；以及视点间图像预测步骤，通过将利用所述像素内插步骤生成的所述像素值设为由所述对应点表示的所述解码对象图像上的所述整数像素位置的像素的预测值来进行视点间的图像预测。
优选的是，在本发明中，还具有：内插系数决定步骤，按照每个所述内插参照像素，基于针对所述内插参照像素的所述参照图像深度信息与所述被摄物深度信息的差，决定针对所述内插参照像素的内插系数，在所述内插参照像素设定步骤中，将由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的所述周围的整数像素位置的像素设定为所述内插参照像素，在所述像素内插步骤中，通过求取基于所述内插系数的所述内插参照像素的像素值的加权和，从而生成由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的像素值。
优选的是，在本发明中，还具有：内插抽头长度决定步骤，使用由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的所述周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度信息来决定像素内插用的抽头长度，在所述内插参照像素设定步骤中，将存在于所述抽头长度的范围内的像素设定为所述内插参照像素。
优选的是，在本发明中，在所述内插系数决定步骤中，在针对所述内插参照像素之一的所述参照图像深度信息与所述被摄物深度信息的差的大小比预先确定的阈值大的情况下，将所述内插系数设为零来将所述内插参照像素之一从所述内插参照像素中除去，在所述差的大小为所述阈值以内的情况下，基于所述差来决定所述内插系数。
优选的是，在本发明中，在所述内插系数决定步骤中，基于针对所述内插参照像素之一的所述参照图像深度信息与所述被摄物深度信息的差、以及所述内插参照像素之一与由所述对应点表示的所述参照图像上的整数像素或小数像素的距离来决定所述内插系数。
优选的是，在本发明中，在所述内插系数决定步骤中，在针对所述内插参照像素之一的所述参照图像深度信息与所述被摄物深度信息的差的大小比预先确定的阈值大的情况下，将所述内插系数设为零来将所述内插参照像素之一从所述内插参照像素中除去，在所述差的大小为所述阈值以内的情况下，基于所述差、以及所述内插参照像素之一与由所述对应点表示的所述参照图像上的整数像素或小数像素的距离来决定所述内插系数。
本发明是一种图像编码装置，在对作为多个视点的图像的多视点图像进行编码时，使用针对与编码对象图像的视点不同的视点的编码完毕的参照图像和作为所述参照图像中的被摄物的深度信息的参照图像深度信息，一边在视点间预测图像一边进行编码，其中，所述图像编码装置具备：对应点设定部，对所述编码对象图像的各像素设定所述参照图像上的对应点；被摄物深度信息设定部，对由所述对应点表示的所述编码对象图像上的整数像素位置的像素的深度信息即被摄物深度信息进行设定；内插抽头长度决定部，使用由所述对应点表示的所述参照图像上的整数像素位置或小数像素位置的周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度信息来决定像素内插用的抽头长度；像素内插部，使用按照所述抽头长度的内插滤波器来生成由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的像素值；以及视点间图像预测部，通过将利用所述像素内插部生成的所述像素值设为由所述对应点表示的所述编码对象图像上的所述整数像素位置的像素的预测值来进行视点间的图像预测。
本发明是一种图像编码装置，在对作为多个视点的图像的多视点图像进行编码时，使用针对与编码对象图像的视点不同的视点的编码完毕的参照图像和作为所述参照图像中的被摄物的深度信息的参照图像深度信息，一边在视点间预测图像一边进行编码，其中，所述图像编码装置具备：对应点设定部，对所述编码对象图像的各像素设定所述参照图像上的对应点；被摄物深度信息设定部，对由所述对应点表示的所述编码对象图像上的整数像素位置的像素的深度信息即被摄物深度信息进行设定；内插参照像素设定部，使用由所述对应点表示的所述参照图像上的整数像素位置或小数像素位置的周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度信息，将用于像素内插的所述参照图像的整数像素位置的像素设定为内插参照像素；像素内插部，利用所述内插参照像素的像素值的加权和，生成由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的像素值；以及
视点间图像预测部，通过将利用所述像素内插部生成的所述像素值设为由所述对应点表示的所述编码对象图像上的所述整数像素位置的像素的预测值来进行视点间的图像预测。
本发明是一种图像解码装置，在对多视点图像的解码对象图像进行解码时，使用解码完毕的参照图像和作为所述参照图像中的被摄物的深度信息的参照图像深度信息，一边在视点间预测图像一边进行解码，其中，所述图像解码装置具备：对应点设定部，对所述解码对象图像的各像素设定所述参照图像上的对应点；被摄物深度信息设定部，对由所述对应点表示的所述解码对象图像上的整数像素位置的像素的深度信息即被摄物深度信息进行设定；
内插抽头长度决定部，使用由所述对应点表示的所述参照图像上的整数像素位置或小数像素位置的周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度信息来决定像素内插用的抽头长度；像素内插部，使用按照所述抽头长度的内插滤波器来生成由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的像素值；以及视点间图像预测部，通过将利用所述像素内插部生成的所述像素值设为由所述对应点表示的所述解码对象图像上的所述整数像素位置的像素的预测值来进行视点间的图像预测。
本发明是一种图像解码装置，在对多视点图像的解码对象图像进行解码时，使用解码完毕的参照图像和作为所述参照图像中的被摄物的深度信息的参照图像深度信息，一边在视点间预测图像一边进行解码，其中，所述图像解码装置具备：对应点设定部，对所述解码对象图像的各像素设定所述参照图像上的对应点；被摄物深度信息设定部，对由所述对应点表示的所述解码对象图像上的整数像素位置的像素的深度信息即被摄物深度信息进行设定；
内插参照像素设定部，使用由所述对应点表示的所述参照图像上的整数像素位置或小数像素位置的周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度信息，将用于像素内插的所述参照图像的整数像素位置的像素设定为内插参照像素；像素内插部，利用所述内插参照像素的像素值的加权和，生成由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的像素值；以及视点间图像预测部，通过将利用所述像素内插部生成的所述像素值设为由所述对应点表示的所述解码对象图像上的所述整数像素位置的像素的预测值来进行视点间的图像预测。
本发明是一种用于使计算机执行所述图像编码方法的图像编码程序。
本发明是一种用于使计算机执行所述图像解码方法的图像解码程序。
本发明是一种记录有所述图像编码程序的计算机可读取的记录介质。
本发明是一种记录有所述图像解码程序的计算机可读取的记录介质。
发明效果
根据本发明，通过考虑三维空间上的距离来内插像素值，从而得到能够实现更高品质的预测图像的生成并且实现多视点图像的高效率的图像编码的效果。
附图说明
图1是示出本发明的第一实施方式中的图像编码装置的结构的图。
图2是示出图1所示的图像编码装置100的工作的流程图。
图3是示出图1所示的视差补偿图像生成部110的结构的框图。
图4是示出图1所示的对应点设定部109和图3所示的视差补偿图像生成部110所进行的处理（视差补偿图像生成处理：步骤S103）的处理工作的流程图。
图5是示出生成视差补偿图像的视差补偿图像生成部110的结构的变形例的图。
图6是示出由对应点设定部109和图5所示的视差补偿图像生成部110进行的视差补偿图像处理（步骤S103）的工作的流程图。
图7是示出生成视差补偿图像的视差补偿图像生成部110的结构的变形例的图。
图8是示出由对应点设定部109和图7所示的视差补偿图像生成部110进行的视差补偿图像处理（步骤S103）的工作的流程图。
图9是示出在仅使用参照图像深度信息的情况下的图像编码装置100a的结构例的图。
图10是示出图9所示的图像编码装置100a所进行的视差补偿图像处理的工作的流程图。
图11是示出本发明的第三实施方式的图像解码装置的结构例的图。
图12是示出图11所示的图像解码装置200的处理工作的流程图。
图13是示出在仅使用参照图像深度信息的情况下的图像解码装置200a的结构例的图。
图14是示出在通过计算机和软件程序构成图像编码装置的情况下的硬件结构例的图。
图15是示出在通过计算机和软件程序构成图像解码装置的情况下的硬件结构例的图。
图16是在摄像机间产生的视差的概念图。
图17是对极几何约束的概念图。
图18是示出在对1个摄像机的图像给出深度时在多个摄像机的图像间得到对应点的情况的图。
具体实施方式
以下，参照附图，对本发明的实施方式的图像编码装置和图像解码装置进行说明。在以下的说明中，说明设想对用第一摄像机（称为摄像机A）、第二摄像机（称为摄像机B）这2个摄像机拍摄的多视点图像进行编码的情况，并将摄像机A的图像作为参照图像来对摄像机B的图像进行编码或解码。再有，假设另外给出为了根据深度信息得到视差而需要的信息。具体地，该信息为表示摄像机A和摄像机B的位置关系的外部参数或表示利用摄像机的向图像平面的投影信息的内部参数，但是，即使为这些以外的方式，只要根据深度信息得到视差，就可以给出另外的信息。与这些摄像机参数相关的详细的说明例如被记载在文献“Olivier Faugeras, “Three-Dimensional Computer Vision”, pp. 33-66, MIT Press; BCTC/UFF-006.37 F259 1993, ISBN: 0-262-06158-9.”中。在其中，记载了与表示多个摄像机的位置关系的参数、表示利用摄像机的向图像平面的投影信息的参数相关的说明。
<第一实施方式>
图1是示出第一实施方式中的图像编码装置的结构的框图。如图1所示，图像编码装置100具备：编码对象图像输入部101、编码对象图像存储器102、参照图像输入部103、参照图像存储器104、参照图像深度信息输入部105、参照图像深度信息存储器106、处理对象图像深度信息输入部107、处理对象图像深度信息存储器108、对应点设定部109、视差补偿图像生成部110、以及图像编码部111。
编码对象图像输入部101输入成为编码对象的图像。在以下，将该成为编码对象的图像称为编码对象图像。在此，输入摄像机B的图像。编码对象图像存储器102存储被输入的编码对象图像。参照图像输入部103输入在生成视差补偿图像时成为参照图像的图像。在此，输入摄像机A的图像。参照图像存储器104存储被输入的参照图像。
参照图像深度信息输入部105输入针对参照图像的深度信息。在以下，将该针对参照图像的深度信息称为参照图像深度信息。参照图像深度信息存储器106存储被输入的参照图像深度信息。处理对象图像深度信息输入部107输入针对编码对象图像的深度信息。在以下，将该针对编码对象图像的深度信息称为处理对象图像深度信息。处理对象图像深度信息存储器108存储被输入的处理对象图像深度信息。
再有，深度信息是指表示在参照图像的各像素中显现的被摄物的三维位置的信息。此外，关于深度信息，只要是利用另外给出的摄像机参数等信息得到三维位置的信息，那么怎样的信息都可以。例如，能够使用从摄像机到被摄物的距离、相对于与图像平面不平行的轴的坐标值、针对另外的摄像机（例如摄像机B）的视差量。
对应点设定部109使用处理对象图像深度信息，按照编码对象图像的每个像素来设定参照图像上的对应点。视差补偿图像生成部110使用参照图像和对应点的信息来生成视差补偿图像。图像编码部111将视差补偿图像作为预测图像来对编码对象图像进行预测编码。
接着，参照图2，对图1所示的图像编码装置100的工作进行说明。图2是示出图1所示的图像编码装置100的工作的流程图。首先，编码对象图像输入部101输入编码对象图像，并存储到编码对象图像存储器102中（步骤S101）。接着，参照图像输入部103输入参照图像，并存储到参照图像存储器104中。与此并行地，参照图像深度信息输入部105输入参照图像深度信息，并存储到参照图像深度信息存储器106中。此外，处理对象图像深度信息输入部107输入处理对象图像深度信息，并存储到处理对象图像深度信息存储器108中（步骤S102）。
再有，假设在步骤S102中输入的参照图像、参照图像深度信息、处理对象图像深度信息与对已经编码完毕的信息进行解码后的信息等在解码侧得到的信息相同。这是因为，通过使用与由解码装置得到的信息完全相同的信息，从而抑制漂移（drift）等编码噪声的产生。但是，在容许这样的编码噪声的产生的情况下，也可以输入编码前的信息等仅在编码侧得到的信息。关于深度信息，除了对已经编码完毕的信息进行解码后的信息以外，还能够得到根据针对另外的摄像机进行解码后的深度信息来生成的深度信息、或者通过对针对多个摄像机进行解码后的多视点图像应用立体匹配（stereo matching）等而估计出的深度信息等也是在解码侧相同的信息来进行使用。
接着，如果输入结束了，则对应点设定部109使用参照图像和参照图像深度信息、处理对象图像深度信息按照编码对象图像的每个像素或预先确定的每个块来生成参照图像上的对应点或对应块。与此并行地，视差补偿图像生成部110生成视差补偿图像（步骤S103）。关于在此的处理的细节，在后面进行叙述。
如果得到了视差补偿图像，则图像编码部111将视差补偿图像作为预测图像来对编码对象图像进行预测编码并输出（步骤S104）。作为编码的结果而得到的位流成为图像编码装置100的输出。再有，如果能够在解码侧正确地解码，则在编码中使用怎样的方法都可以。
在MPEG–2、H. 264、JPEG等通常的活动图像编码或图像编码中，将图像分割为预先确定的大小的块，按照每个块生成编码对象图像和预测图像的差分信号，对差分图像实施DCT（Discrete Cosine Transform，离散余弦变换）等频率变换，对作为其结果而得到的值依次应用量化、二值化、熵编码的处理，由此，进行编码。再有，在按照每个块进行预测编码处理的情况下，也可以通过在块后交替地重复进行视差补偿图像的生成处理（步骤S103）和编码对象图像的编码处理（步骤S104）来对编码对象图像进行编码。
接着，参照图3，对图1所示的视差补偿图像生成部110的结构进行说明。图3是示出图1所示的视差补偿图像生成部110的结构的框图。视差补偿图像生成部110具备内插参照像素设定部1101和像素内插部1102。内插参照像素设定部1101决定作为为了对由对应点设定部109设定的对应点的像素值进行内插而使用的参照图像的像素的内插参照像素的集合。像素内插部1102使用针对所设定的内插参照像素的参照图像的像素值来内插对应点的位置的像素值。
接着，参照图4，对图1所示的对应点设定部109和图3所示的视差补偿图像生成部110的处理工作进行说明。图4是示出图1所示的对应点设定部109和图3所示的视差补偿图像生成部110所进行的处理（视差补偿图像生成处理：步骤S103）的处理工作的流程图。在该处理中，通过对编码对象图像整体按照每个像素重复进行处理来生成视差补偿图像。即，当将像素索引设为pix、将图像中的总像素数设为numPixs时，在将pix初始化为0之后（步骤S201），一边对pix进行每次加上1的加法运算（步骤S205），一边重复进行以下的处理（步骤S202~步骤S205）直到pix变为numPixs（步骤S206），由此，生成视差补偿图像。
在此，可以代替像素而按照预先确定的大小的每个区域重复进行处理，也可以代替编码对象图像整体而对预先确定的大小的区域生成视差补偿图像。此外，将两者进行组合，按照预先确定的大小的每个区域重复进行处理，对同一或不同的预先确定的大小的区域生成视差补偿图像也可。在图4所示的处理流程中，将像素替换为“重复进行处理的块”，将编码对象图像替换为“生成视差补偿图像的对象的区域”，由此，相当于这些处理流程。使重复进行该处理的单位与相当于被给出处理对象图像深度信息的单位的大小相配合的那样的实施、使生成视差补偿图像的对象的区域与在对编码对象图像进行区域分割来进行预测编码时的区域相配合的那样的实施也是优选的。
在按照每个像素进行的处理中，首先，对应点设定部109使用针对像素pix的处理对象图像深度信息dpix来得到针对像素pix的参照图像上的对应点qpix（步骤S202）。再有，根据深度信息计算对应点的处理是配合被给出的深度信息的定义来进行的，但是，只要得到该深度信息所表示的正确的对应点，那么使用怎样的处理都可以。例如，在将深度信息作为从摄像机到被摄物的距离或相对于与摄像机平面不平行的轴的坐标值而给出的情况下，使用拍摄了编码对象图像的摄像机和拍摄了参照图像的摄像机的摄像机参数，恢复针对像素pix的三维点，将该三维点向参照图像投影，由此，能够得到对应点。
即，在深度信息表示从摄像机到被摄物的距离的情况下，利用下面的式1来进行三维点g的恢复，利用式2来进行向参照图像的投影，得到在参照图像上的对应点的坐标（x，y）。在此，（upix，vpix）表示像素pix在编码对象图像上的坐标值。Ax、Rx、tx表示摄像机x（x为c或r）的内部参数、旋转矩阵、平移矢量。c表示拍摄了编码对象图像的摄像机，r表示拍摄了参照图像的摄像机。再有，将旋转矩阵和平移矢量合称为摄像机的外部参数。在这些数式中，摄像机的外部参数表示从摄像机坐标系向世界坐标系的变换，但是，在进行另外的定义的情况下，需要按照其使用不同的数式。distance（x，d）为将针对摄像机x的深度信息d变换为从摄像机x到被摄物的距离的函数，与深度信息的定义一起被给出。也存在代替函数而使用查找表（lookup table）来定义变换的情况。k为满足数式的任意的实数。
[数式1]
[数式2]
再有，在将深度信息作为相对于与摄像机平面不平行的轴的坐标值而给出的情况下，在上述式1中，distance（c，dpix）为待定数，但是，由于g存在于某个平面上的制约，所以用2个变量来表现g，因此，能够使用式1来恢复三维点。
此外，也可以不经由三维点而使用被称为单应性矩阵（homography）的矩阵来求取对应点。单应性矩阵为针对在三维空间存在的平面上的点将某个图像上的坐标值变换为另外的图像上的坐标值的3×3矩阵。即，在将深度信息作为从摄像机到被摄物的距离或相对于与摄像机平面不平行的轴的坐标值而给出的情况下，单应性矩阵为按照深度信息的每个值而不同的矩阵，用下面的式3得到在参照图像上的对应点的坐标。Hc，r，d表示将与深度信息d对应的三维平面上的点从摄像机c的图像上的坐标值向摄像机r的图像上的坐标值变换的单应性矩阵，k’为满足数式的任意的实数。再有，关于单应性矩阵的详细的说明例如被记载在“Olivier Faugeras, “Three-Dimensional Computer Vision”, pp. 206-211, MIT Press; BCTC/UFF-006.37 F259 1993, ISBN: 0-262-06158-9.”中。
[数式3]
此外，在拍摄了编码对象图像的摄像机与拍摄了参照图像的摄像机相同且被配置于相同方向的情况下，Ac和Ar相等以及Rc和Rr相等，因此，根据式1和式2得到下面的式4。k”为满足数式的任意的实数。
[数式4]
式4表示图像上的位置的差即视差与从摄像机到被摄物的距离的倒数成比例。据此，求取针对成为基准的深度信息的视差，利用深度信息对该视差进行缩放，由此，能够求取对应点。此时，由于视差不依赖于图像上的位置，所以，出于削减运算量的目的，制作针对各深度信息的视差的查找表并通过参照该表来求取视差和对应点的那样的实施也是优选的。
在得到了针对像素pix的参照图像上的对应点qpix之后，接着，内插参照像素设定部1101使用参照图像深度信息和针对像素pix的处理对象图像深度信息dpix来决定用于内插并生成针对参照图像上的对应点的像素值的内插参照像素的集合（内插参照像素组）（步骤S203）。再有，在参照图像上的对应点为整数像素位置的情况下，将其对应的像素设定为内插参照像素。
关于内插参照像素组，可以决定为与qpix的距离、即内插滤波器的抽头（tap）长度，也可以决定为任意的像素集合。再有，关于内插参照像素组，相对于qpix针对一维方向来决定也可，针对二维方向来决定也可。例如，在qpix在上下方向处于整数位置的情况下，仅将相对于qpix在左右方向存在的像素作为对象的那样的实施也是优选的。
在此，对将内插参照像素组决定为抽头长度的方法进行说明。首先，将比预先确定的最小的抽头长度大1个尺寸的抽头长度设定为临时抽头长度。接着，将在使用临时抽头长度的内插滤波器来对参照图像上的点qpix的像素值进行内插时所参照的点qpix的周围的像素的集合设定为临时内插参照像素组。在针对像素p的参照图像深度信息rdp和dpix的差超过预先确定的阈值的像素比另外确定的个数更多地存在于临时内插参照像素组之中的情况下，将比临时抽头长度小1的长度决定为抽头长度。在不是这样的情况下，将临时抽头长度变大1个尺寸，再次进行临时内插参照像素组的设定和评价。再有，可以在决定抽头长度之前使临时抽头长度变大并且重复进行内插参照像素组的设定，也可以对抽头长度设定最大值并且在临时抽头长度比该最大值大时将该最大值决定为抽头长度。进而，能够取得的抽头长度可以是连续的，也可以是离散的。例如，将能够取得的抽头长度设为1、2、4、6，在抽头长度为1以外的情况下，仅使用内插参照像素的数量相对于内插对象的像素位置为对称的抽头长度的实施也是优选的。
接着，对将内插参照像素组设定为任意的像素的集合的方法进行说明。首先，将参照图像上的点qpix周围的预先确定的范围内的像素的集合设定为临时内插参照像素组。接着，按照临时内插参照像素组的每个像素进行检查，决定是否作为内插参照像素来采用。即，当将检查对象的像素设为p时，在针对像素p的参照图像深度信息rdp和dpix的差比阈值大的情况下，将像素p从内插参照像素中除去，在差为阈值以下的情况下采用像素p来作为内插参照像素。对于阈值，可以使用预先确定的值，也可以使用针对临时内插参照像素组的各像素的深度信息和dpix的差的平均值或中间值或者以它们为基准而决定的值。此外，也存在采用按照针对像素p的参照图像深度信息rdp和dpix的差从小到大的顺序来预先确定的数量作为内插参照像素的方法。也能够将这些条件组合起来使用。
再有，在设定内插参照像素组时，也可以将上述说明了的2个方法组合起来。例如，在决定了抽头长度之后缩减内插参照像素来生成任意的像素的集合的那样的实施、在内插参照像素的数量变为另外确定的数量之前一边使抽头长度增加一边重复进行任意的像素的集合的形成的那样的实施是优选的。
此外，也可以代替像上述那样比较深度信息而将深度信息向某个共同的信息变换之后进行比较。例如，将深度信息rdp变换为从拍摄了参照图像的摄像机或拍摄了编码对象图像的摄像机到针对其像素的被摄物的距离之后进行比较的方法、将深度信息rdp变换为相对于与摄像机图像不平行的任意的轴的坐标值或针对任意的摄像机对的视差来进行比较的方法是优选的。进而，根据深度信息得到与其像素对应的三维点并使用该三维点间的距离来进行评价的方法也是优选的。在该情况下，需要将与dpix对应的三维点设为针对像素pix的三维点并使用深度信息rdp来计算针对像素p的三维点。
接着，在决定了内插参照像素组之后，像素内插部1102内插针对像素pix的参照图像上的对应点qpix的像素值，并设为视差补偿图像的像素pix的像素值（步骤S204）。关于内插处理，只要是使用内插参照像素组中的参照图像的像素值来决定内插对象位置qpix的像素值的方法，那么使用怎样的方式都可以。例如，存在将内插对象位置qpix的像素值决定为各内插参照像素的像素值的加权平均值的方法。在该情况下，基于该内插参照像素和内插对象位置qpix的距离来决定权重也可。再有，距离越近给出越大的权重也可，使用Bicubic法、Lanczos法等的依赖于假定在固定区间中的变化的平滑度而生成的距离的权重也可。此外，将内插参照像素作为样本来估计针对像素值的模型（函数），按照该模型决定内插对象位置qpix的像素值，由此，进行内插也可。
此外，在将内插参照像素决定为抽头长度的情况下，使用按照每个该抽头长度预先定义的内插滤波器来进行内插的那样的实施也是优选的。例如，在抽头长度为1时进行最近邻内插（0次内插），在抽头长度为2时使用双线性滤波器（bilinear filter）来进行内插，在抽头长度为4时使用Bicubic滤波器来进行内插，在抽头长度为6时使用Lanczos3滤波器或AVC–6抽头滤波器来进行内插也可。
在视差补偿图像的生成中，也存在以下方法：将固定的抽头长度、即离对应点固定距离处存在的参照图像上的像素作为内插对象像素，使用参照图像深度信息和编码对象图像深度信息按照内插的每个像素来设定针对各内插参照像素的滤波器系数。图5是示出在该情况下的生成视差补偿图像的视差补偿图像生成部110的结构的变形例的图。图5所示的视差补偿图像生成部110具备滤波器系数设定部1103和像素内插部1104。滤波器系数设定部1103针对离由对应点设定部109设定的对应点预先确定的距离处存在的参照图像的各像素，决定在内插对应点的像素值时使用的滤波器的系数。像素内插部1104使用所设定的滤波器系数和参照图像来内插对应点的位置的像素值。
图6是示出由对应点设定部109和图5所示的视差补偿图像生成部110进行的视差补偿图像处理（步骤S103）的工作的流程图。图6所示的处理工作是一边自适应地决定滤波器系数一边生成视差补偿图像的处理工作，通过对编码对象图像整体按照每个像素重复进行处理来生成视差补偿图像。在图6中，对与图4所示的处理相同的处理标注相同的附图标记。首先，当将像素索引设为pix、将图像中的总像素数设为numPixs时，在将pix初始化为0之后（步骤S201），一边对pix进行每次加上1的加法运算（步骤S205），一边重复进行以下的处理（步骤S202、步骤S207、步骤S208）直到pix变为numPixs（步骤S206），由此，生成视差补偿图像。
与上述的情况同样地，可以代替像素而按照预先确定的大小的每个区域重复进行处理，也可以代替编码对象图像整体而对预先确定的大小的区域生成视差补偿图像。此外，将两者进行组合，按照预先确定的大小的每个区域重复进行处理，对同一或不同的预先确定的大小的区域生成视差补偿图像也可。在图6所示的处理流程中，将像素替换为“重复进行处理的块”，将编码对象图像替换为“生成视差补偿图像的对象的区域”，由此，相当于这些处理流程。
在按照每个像素进行的处理中，首先，对应点设定部109使用针对像素pix的处理对象图像深度信息dpix来得到针对像素pix的参照图像上的对应点（步骤S202）。在此的处理与上述的情况相同。在得到了针对像素pix的参照图像上的对应点qpix之后，接着，滤波器系数设定部1103使用参照图像深度信息和针对像素pix的处理对象图像深度信息dpix，按照作为在离参照图像上的对应点预先确定的距离的范围内存在的像素的内插参照像素的每一个，决定在内插并生成针对对应点的像素值时使用的滤波器系数（步骤S207）。再有，在参照图像上的对应点为整数像素位置的情况下，将针对对应点所表示的整数像素位置的内插参照像素的滤波器系数设为1，将针对其它的内插参照像素的滤波器系数设为0。
针对某个内插参照像素的滤波器系数是使用针对该内插参照像素p的参照深度信息rdp来决定的。对于具体的决定法，能够使用各种方法，但是，只要能够使用与解码侧相同的手法，那么使用怎样的方法都可以。例如，也可以将rdp和dpix进行比较来决定其差越大权重越小的那样的滤波器系数。作为基于rdp和dpix的差的滤波器系数的例子，有单纯地使用与差的绝对值成比例的值的方法、如下面的式5那样使用高斯函数来决定的方法。在此，α和β为用于调整滤波器的强度的参数，e为纳皮尔常数。
[数式5]
此外，不仅是rdp和dpix的差，对p和qpix的距离越扩大权重越小的那样的滤波器系数进行决定的那样的实施也是优选的。例如，也可以如下面的式6那样使用高斯函数来决定滤波器系数。在此，γ为用于调整p和qpix的距离的影响的强度的参数。
[数式6]
再有，也可以不像上述那样直接比较深度信息而是将深度信息向某个共同的信息变换之后进行比较。例如，将深度信息rdp变换为从拍摄了参照图像的摄像机或拍摄了编码对象图像的摄像机到针对其像素的被摄物的距离之后进行比较的方法、将深度信息rdp变换为相对于与摄像机图像不平行的任意的轴的坐标值或针对任意的摄像机对的视差来进行比较的方法是优选的。进而，根据深度信息得到与其像素对应的三维点并使用该三维点间的距离来进行评价的方法也是优选的。在该情况下，需要将与dpix对应的三维点设为针对像素pix的三维点并使用深度信息rdp来计算针对像素p的三维点。
接着，在决定了滤波器系数之后，像素内插部1104内插针对像素pix的参照图像上的对应点qpix的像素值，并设为像素pix中的视差补偿图像的像素值（步骤S208）。在此的处理由下面的式7给出。再有，S表示内插参照像素的集合，DCPpix表示被内插的像素值，Rp表示针对像素p的参照图像的像素值。
[数式7]
在视差补偿图像的生成中，也存在如下方法：将上述说明了的2个方法进行组合，使用参照图像深度信息和编码对象图像深度信息按照内插的每个像素来设定内插参照像素的选择和针对该内插参照像素的滤波器系数的决定这两者。图7是示出在该情况下的生成视差补偿图像的视差补偿图像生成部110的结构的变形例的图。图7所示的视差补偿图像生成部110具备内插参照像素设定部1105、滤波器系数设定部1106、以及像素内插部1107。内插参照像素设定部1105决定作为为了对由对应点设定部109设定的对应点的像素值进行内插而使用的参照图像的像素的内插参照像素的集合。滤波器系数设定部1106针对由内插参照像素设定部1105设定的内插参照像素，决定在内插对应点的像素值时使用的滤波器的系数。像素内插部1107使用被设定的内插参照像素和滤波器系数来内插对应点的位置的像素值。
图8是示出由对应点设定部109和图7所示的视差补偿图像生成部110进行的视差补偿图像处理（步骤S103）的工作的流程图。在图8所示的处理工作中，一边自适应地决定滤波器系数一边生成视差补偿图像，通过对编码对象图像整体按照每个像素重复进行处理来生成视差补偿图像。在图8中，对与图4所示的处理相同的处理标注相同的附图标记。首先，当将像素索引设为pix、将图像中的总像素数设为numPixs时，在将pix初始化为0之后（步骤S201），一边对pix进行每次加上1的加法运算（步骤S205），一边重复进行以下的处理（步骤S202、步骤S209~步骤S211）直到pix变为numPixs（步骤S206），由此，生成视差补偿图像。
与上述的情况相同地，可以代替像素而按照预先确定的大小的每个区域重复进行处理，也可以代替编码对象图像整体而对预先确定的大小的区域生成视差补偿图像。此外，将两者进行组合，按照预先确定的大小的每个区域重复进行处理，对同一或不同的预先确定的大小的区域生成视差补偿图像也可。在图8所示的处理流程中，将像素替换为“重复进行处理的块”，将编码对象图像替换为“生成视差补偿图像的对象的区域”，由此，相当于这些处理流程。
在按照每个像素进行的处理中，首先，对应点设定部109使用针对像素pix的处理对象图像深度信息dpix来得到针对像素pix的参照图像上的对应点（步骤S202）。在此的处理与上述的情况相同。在得到了针对像素pix的参照图像上的对应点qpix之后，接着，内插参照像素设定部1105使用参照图像深度信息和针对像素pix的处理对象图像深度信息dpix，决定用于内插并生成针对参照图像上的对应点的像素值的内插参照像素的集合（内插参照像素组）（步骤S209）。在此的处理与上述的步骤S203相同。
接着，在决定了内插参照像素的集合之后，滤波器系数设定部1106使用参照图像深度信息和针对像素pix的处理对象图像深度信息dpix，按照每个被决定的内插参照像素，决定在内插并生成针对对应点的像素值时使用的滤波器系数（步骤S210）。在此的处理与上述的步骤S207相同，除了针对被给出的内插参照像素的集合决定滤波器系数以外。
接着，在决定了滤波器系数之后，像素内插部1107内插针对像素pix的参照图像上的对应点qpix的像素值，并设为像素pix中的视差补偿图像的像素值（步骤S211）。在此的处理与上述的步骤S208相同，除了使用在步骤S209中决定的内插参照像素的集合以外。即，作为在上述的式7中的内插参照像素的集合S，使用在步骤S209中决定的内插参照像素的集合。
<第二实施方式>
接着，对本发明的第二实施方式进行说明。在上述的图1所示的图像编码装置100中，使用处理对象图像深度信息和参照图像深度信息这2种深度信息，但是，也可以仅使用参照图像深度信息。图9是示出在仅使用参照图像深度信息的情况下的图像编码装置100a的结构例的图。图9所示的图像编码装置100a与图1所示的图像编码装置100的区别之处在于，不具备处理对象图像深度信息输入部107和处理对象图像深度信息存储器108，代替对应点设定部109具备对应点变换部112。再有，对应点变换部112使用参照图像深度信息来设定针对编码对象图像的整数像素的参照图像上的对应点。
图像编码装置100a所执行的处理除了下面的2点以外均与图像编码装置100所执行的处理相同。首先第一个区别之处在于：在图2的流程图的步骤S102中，在图像编码装置100中，输入参照图像、参照图像深度信息和处理对象图像深度信息，但是，在图像编码装置100a中，仅输入参照图像和参照图像深度信息。第二个区别之处在于，视差补偿图像生成处理（步骤S103）由对应点变换部112和视差补偿图像生成部110进行并且其内容不同。
对图像编码装置100a中的视差补偿图像的生成处理详细地进行说明。再有，图9所示的视差补偿图像生成部110的结构与图像编码装置100的情况相同，如上所述，可以设定内插参照像素的集合，也可以设定滤波器系数，还可以设定这两者。在此，对设定内插参照图像的集合的情况进行说明。图10是示出图9所示的图像编码装置100a进行的视差补偿图像处理的工作的流程图。在图10所示的处理工作中，通过对参照图像整体按照每个像素重复进行处理来生成视差补偿图像。首先，当将像素索引设为refpix、将参照图像中的总像素数设为numRefPixs时，在将refpix初始化为0之后（步骤S301），一边对refpix进行每次加上1的加法运算（步骤S306），一边重复进行以下的处理（步骤S302~步骤S305）直到refpix变为numRefPixs（步骤S307），由此，生成视差补偿图像。
在此，可以代替像素而按照预先确定的大小的每个区域重复进行处理，也可以生成使用了预先决定的区域的参照图像来代替参照图像整体的视差补偿图像。此外，将两者进行组合，按照预先确定的大小的每个区域重复进行处理来生成使用了同一或不同的预先确定的区域的参照图像的视差补偿图像也可。在图10所示的处理流程中，将像素替换为“重复进行处理的块”，将参照图像替换为“用于视差补偿图像的生成的区域”，由此，相当于这些处理流程。使重复进行该处理的单位与相当于被给出参照图像深度信息的单位的大小相配合的那样的实施、使生成视差补偿图像的对象的区域与在对编码对象图像进行区域分割来进行预测编码时的区域所对应的参照图像的区域相配合的那样的实施也是优选的。
在按照每个像素进行的处理中，首先，对应点变换部112使用针对像素refpix的参照图像深度信息rdrefpix，得到针对像素refpix的处理对象图像上的对应点qrefpix（步骤S302）。在此的处理与上述的步骤S202相同，除了调换了参照图像和处理对象图像以外。在得到了针对像素refpix的处理对象图像上的对应点qrefpix之后，根据该对应点关系来估计针对处理对象图像的整数像素pix的参照图像上的对应点qpix（步骤S303）。关于该方法，使用怎样的方法都可以，例如，也可以使用在专利文献1中记载的方法。
接着，在得到了针对处理对象图像的整数像素pix的参照图像上的对应点qpix之后，将针对像素pix的深度信息设为rdrefpix，使用参照图像深度信息来决定用于内插并生成针对参照图像上的对应点的像素值的内插参照像素的集合（内插参照像素组）（步骤S304）。在此的处理与上述的步骤S203相同。
接着，在决定了内插参照像素组之后，内插针对像素pix的参照图像上的对应点qpix的像素值，并设为视差补偿图像的像素pix的像素值（步骤S305）。在此的处理与上述的步骤S204相同。
<第三实施方式>
接着，对本发明的第三实施方式进行说明。图11是示出本发明的第三实施方式的图像解码装置的结构例的图。如图11所示，图像解码装置200具备：码数据输入部201、码数据存储器202、参照图像输入部203、参照图像存储器204、参照图像深度信息输入部205、参照图像深度信息存储器206、处理对象图像深度信息输入部207、处理对象图像深度信息存储器208、对应点设定部209、视差补偿图像生成部210、以及图像解码部211。
码数据输入部201输入成为解码对象的图像的码数据。在以下，将该成为解码对象的图像称为解码对象图像。在此，解码对象图像是指摄像机B的图像。码数据存储器202存储被输入的码数据。参照图像输入部203输入在生成视差补偿图像时成为参照图像的图像。在此，输入摄像机A的图像。参照图像存储器204存储被输入的参照图像。参照图像深度信息输入部205输入参照图像深度信息。参照图像深度信息存储器206存储被输入的参照图像深度信息。处理对象图像深度信息输入部207输入针对解码对象图像的深度信息。在以下，将该针对解码对象图像的深度信息称为处理对象图像深度信息。处理对象图像深度信息存储器208存储被输入的处理对象图像深度信息。
对应点设定部209使用处理对象图像深度信息按照解码对象图像的每个像素来设定参照图像上的对应点。视差补偿图像生成部210使用参照图像和对应点的信息来生成视差补偿图像。图像解码部211将视差补偿图像作为预测图像来根据码数据对解码对象图像进行解码。
接着，参照图12，对图11所示的图像解码装置200的处理工作进行说明。图12是示出图11所示的图像解码装置200的处理工作的流程图。首先，码数据输入部201输入码数据（解码对象图像），并存储到码数据存储器202中（步骤S401）。与此并行地，参照图像输入部203输入参照图像，并存储到参照图像存储器204中。此外，参照图像深度信息输入部205输入参照图像深度信息，并存储到参照图像深度信息存储器206中。进而，处理对象图像深度信息输入部207输入处理对象图像深度信息，并存储到处理对象图像深度信息存储器208中（步骤S402）。
再有，假设在步骤S402中输入的参照图像、参照图像深度信息、处理对象图像深度信息与在编码侧使用的信息相同。这是因为，通过使用与在编码装置中使用的信息完全相同的信息，从而抑制漂移等编码噪声的产生。但是，在容许这样的编码噪声的产生的情况下，也可以输入与在编码时使用的信息不同的信息。关于深度信息，除了另外进行解码后的信息以外，有时还使用根据针对另外的摄像机进行解码后的深度信息来生成的深度信息、或者通过对针对多个摄像机进行解码后的多视点图像应用立体匹配等而估计出的深度信息等。
接着，如果输入结束了，则对应点设定部209使用参照图像和参照图像深度信息、处理对象图像深度信息按照解码对象图像的每个像素或预先确定的每个块来生成参照图像上的对应点或对应块。与此并行地，视差补偿图像生成部210生成视差补偿图像（步骤S403）。在此的处理与图2所示的步骤S103相同，除了编码对象图像和解码对象图像等编码和解码不同以外。
接着，如果得到了视差补偿图像，则图像解码部211将视差补偿图像作为预测图像来根据码数据对解码对象图像进行解码（步骤S404）。作为解码的结果而得到的解码对象图像成为图像解码装置200的输出。再有，如果能够对码数据（位流）正确地解码，则在解码中使用怎样的方法都可以。通常，使用与在编码时使用的方法对应的方法。
在MPEG–2、H. 264、JPEG等通常的活动图像编码或图像编码中进行编码的情况下，将图像分割为预先确定的大小的块，按照每个块实施熵解码、逆二值化、逆量化等之后，实施IDCT（Inverse Discrete Cosine Transform，反离散余弦变换）等逆频率变换得到预测残差信号，之后，对预测残差信号施加预测图像，对所得到的结果在像素值范围内进行裁剪（clipping），由此，进行解码。
再有，在按照每个块进行解码处理的情况下，也可以通过在块后交替地重复进行视差补偿图像的生成处理（步骤S403）和解码对象图像的解码处理（步骤S404）来对解码对象图像进行解码。
<第四实施方式>
接着，对本发明的第四实施方式进行说明。在图11所示的图像解码装置200中，使用处理对象图像深度信息和参照图像深度信息这2种深度信息，但是，也可以仅使用参照图像深度信息。图13是示出在仅使用参照图像深度信息的情况下的图像解码装置200a的结构例的图。图13所示的图像解码装置200a与图11所示的图像解码装置200的区别之处在于，不具备处理对象图像深度信息输入部207和处理对象图像深度信息存储器208，代替对应点设定部209具备对应点变换部212。再有，对应点变换部212使用参照图像深度信息来设定针对解码对象图像的整数像素的参照图像上的对应点。
图像解码装置200a所执行的处理除了下面的2点以外均与图像解码装置200所执行的处理相同。首先第一个区别之处在于：在图12所示的步骤S402中，在图像解码装置200中，输入参照图像、参照图像深度信息和处理对象图像深度信息，但是，在图像解码装置200a中，仅输入参照图像和参照图像深度信息。第二个区别之处在于，视差补偿图像生成处理（步骤S403）由对应点变换部212和视差补偿图像生成部210进行并且其内容不同。关于图像解码装置200a中的视差补偿图像的生成处理，与参照图10来说明的处理相同。
在上述的说明中说明了对1帧中的全部像素进行编码和解码的处理，但是，也可以仅对一部分像素应用本发明的实施方式的处理并且在其它的像素中使用在H. 264/AVC等中使用的帧内预测编码、运动补偿预测编码等来进行编码。在该情况下，需要将表示对每个像素使用哪一种方法来进行了编码的信息编码和解码。此外，也可以不按照每个像素而按照每个块使用不同的预测方式来进行编码。
此外，在上述的说明中，说明了对1帧进行编码和解码的处理，但是，通过对多个帧重复进行处理，从而能够在活动图像编码中也应用本发明的实施方式。此外，也能够仅对活动图像的一部分的帧或一部分的块应用本发明的实施方式。
在上述的说明中以图像编码装置和图像解码装置为中心进行了说明，但是，能够通过这些图像编码装置和图像解码装置的各部的工作所对应的步骤来实现本发明的图像编码方法和图像解码方法。
在图14中示出在通过计算机和软件程序构成图像编码装置的情况下的硬件结构例。图14所示的系统为以总线连接有以下各部的结构：执行程序的CPU（Central Processing Unit，中央处理单元）50、CPU50访问的储存程序、数据的RAM（Random Access Memory，随机存取存储器）等存储器51、输入来自摄像机等的编码对象的图像信号的编码对象图像输入部52（也可以是利用磁盘装置等的存储图像信号的存储部）、输入来自深度摄像机等的编码对象的图像的深度信息的编码对象图像深度信息输入部53（也可以是利用磁盘装置等的存储深度信息的存储部）、输入来自摄像机等的参照对象的图像信号的参照图像输入部54（也可以是利用磁盘装置等的存储图像信号的存储部）、输入来自深度摄像机等的参照图像的深度信息的参照图像深度信息输入部55（也可以是利用磁盘装置等的存储深度信息的存储部）、储存有使CPU50执行作为第一实施方式或第二实施方式说明了的图像编码处理的软件程序即图像编码程序561的程序存储装置56、以及例如经由网络输出通过CPU50执行被加载到存储器51中的图像编码程序561而生成的码数据的位流输出部57（也可以是利用磁盘装置等的存储复用码数据的存储部）。
在图15中示出在通过计算机和软件程序构成图像解码装置的情况下的硬件结构例。图15所示的系统为以总线连接有以下各部的结构：执行程序的CPU60、CPU60访问的储存程序、数据的RAM等存储器61、输入图像编码装置利用本手法来进行编码后的码数据的码数据输入部62（也可以是利用磁盘装置等的存储图像信号的存储部）、输入来自深度摄像机等的解码对象的图像的深度信息的解码对象图像深度信息输入部63（也可以是利用磁盘装置等的存储深度信息的存储部）、输入来自摄像机等的参照对象的图像信号的参照图像输入部64（也可以是利用磁盘装置等的存储图像信号的存储部）、输入来自深度摄像机等的参照图像的深度信息的参照图像深度信息输入部65（也可以是利用磁盘装置等的存储深度信息的存储部）、储存有使CPU60执行作为第三实施方式或第四实施方式说明了的图像解码处理的软件程序即图像解码程序661的程序存储装置66、以及将通过CPU60执行被加载到存储器61中的图像解码程序661来对码数据进行解码而得到的解码对象图像输出到再生装置等中的解码对象图像输出部67（也可以是利用磁盘装置等的存储图像信号的存储部）。
此外，也可以通过将用于实现图1、图9所示的图像编码装置、图11、图13所示的图像解码装置中的各处理部的功能的程序记录在计算机可读取的记录介质中，使计算机系统读入记录在该记录介质中的程序并执行，从而进行图像编码处理和图像解码处理。再有，在此所说的“计算机系统”包含OS（Operating System，操作系统）、周围设备等硬件。此外，“计算机系统”还包含具备主页提供环境（或显示环境）的WWW（World Wide Web，万维网）系统。此外，“计算机可读取的记录介质”是指软盘、光磁盘、ROM（Read Only Memory，只读存储器）、CD（Compact Disc，紧致盘）–ROM等可移动介质、内置于计算机系统的硬盘等存储装置。进而，“计算机可读取的记录介质”还包含像在经由因特网等网络或电话线路等通信线路来发送程序的情况下的成为服务器或客户端的计算机系统内部的易失性存储器（RAM）那样将程序保持固定时间的记录介质。
此外，也可以将上述程序从将该程序储存在存储装置等中的计算机系统经由传输介质或利用传输介质中的传输波传输到其它计算机系统。在此，传输程序的“传输介质”是指像因特网等网络（通信网）或电话线路等通信线路（通信线）那样具有传输信息的功能的介质。此外，上述程序也可以是用于实现上述的功能的一部分的程序。进而，上述程序也可以是能通过与已经记录在计算机系统中的程序的组合来实现上述的功能的程序、所谓的差分文件（差分程序）。
以上，参照附图说明了本发明的实施方式，但是，上述实施方式只不过是本发明的例示，显然本发明并不限定于上述实施方式。因此，也可以在不偏离本发明的技术思想和范围的范围内进行结构要素的追加、省略、替换、其它变更。
产业上的可利用性
本发明能够应用于在使用参照图像中的表示被摄物的三维位置的深度信息来对编码（解码）对象图像进行视差补偿预测时实现高的编码效率是不可缺少的用途中。
附图标记的说明
100、100a…图像编码装置、101…编码对象图像输入部、102…编码对象图像存储器、103…参照图像输入部、104…参照图像存储器、105…参照图像深度信息输入部、106…参照图像深度信息存储器、107…处理对象图像深度信息输入部、108…处理对象图像深度信息存储器、109…对应点设定部、110…视差补偿图像生成部、111…图像编码部、1103…滤波器系数设定部、1104…像素内插部、1105…内插参照像素设定部、1106…滤波器系数设定部、1107…像素内插部、112…对应点变换部、200、200a…图像解码装置、201…码数据输入部、202…码数据存储器、203…参照图像输入部、204…参照图像存储器、205…参照图像深度信息输入部、206…参照图像深度信息存储器、207…处理对象图像深度信息输入部、208…处理对象图像深度信息存储器、209…对应点设定部、210…视差补偿图像生成部、211…图像解码部、212…对应点变换部。

Claims (22)

1.一种图像编码方法，在对作为多个视点的图像的多视点图像进行编码时，使用针对与编码对象图像的视点不同的视点的编码完毕的参照图像和作为所述参照图像中的被摄物的深度信息的参照图像深度信息，一边在视点间预测图像一边进行编码，其中，所述图像编码方法具有：
对应点设定步骤，对所述编码对象图像的各像素设定所述参照图像上的对应点；
被摄物深度信息设定步骤，对由所述对应点表示的所述编码对象图像上的整数像素位置的像素的深度信息即被摄物深度信息进行设定；
内插抽头长度决定步骤，使用由所述对应点表示的所述参照图像上的整数像素位置或小数像素位置的周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度信息来决定像素内插用的抽头长度；
像素内插步骤，使用按照所述抽头长度的内插滤波器来生成由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的像素值；以及
视点间图像预测步骤，通过将利用所述像素内插步骤生成的所述像素值设为由所述对应点表示的所述编码对象图像上的所述整数像素位置的像素的预测值来进行视点间的图像预测。
2.一种图像编码方法，在对作为多个视点的图像的多视点图像进行编码时，使用针对与编码对象图像的视点不同的视点的编码完毕的参照图像和作为所述参照图像中的被摄物的深度信息的参照图像深度信息，一边在视点间预测图像一边进行编码，其中，所述图像编码方法具有：
对应点设定步骤，对所述编码对象图像的各像素设定所述参照图像上的对应点；
被摄物深度信息设定步骤，对由所述对应点表示的所述编码对象图像上的整数像素位置的像素的深度信息即被摄物深度信息进行设定；
内插参照像素设定步骤，使用由所述对应点表示的所述参照图像上的整数像素位置或小数像素位置的周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度信息，将用于像素内插的所述参照图像的整数像素位置的像素设定为内插参照像素；
像素内插步骤，利用所述内插参照像素的像素值的加权和，生成由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的像素值；以及
视点间图像预测步骤，通过将利用所述像素内插步骤生成的所述像素值设为由所述对应点表示的所述编码对象图像上的所述整数像素位置的像素的预测值来进行视点间的图像预测。
3.根据权利要求2所述的图像编码方法，其中，
还具有：内插系数决定步骤，按照每个所述内插参照像素，基于针对所述内插参照像素的所述参照图像深度信息与所述被摄物深度信息的差，决定针对所述内插参照像素的内插系数，
在所述内插参照像素设定步骤中，将由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的所述周围的整数像素位置的像素设定为所述内插参照像素，
在所述像素内插步骤中，通过求取基于所述内插系数的所述内插参照像素的像素值的加权和，从而生成由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的像素值。
4.根据权利要求3所述的图像编码方法，其中，
还具有：内插抽头长度决定步骤，使用由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的所述周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度信息来决定像素内插用的抽头长度，
在所述内插参照像素设定步骤中，将存在于所述抽头长度的范围内的像素设定为所述内插参照像素。
5.根据权利要求3或4所述的图像编码方法，其中，
在所述内插系数决定步骤中，在针对所述内插参照像素之一的所述参照图像深度信息与所述被摄物深度信息的差的大小比预先确定的阈值大的情况下，将所述内插系数设为零来将所述内插参照像素之一从所述内插参照像素中除去，在所述差的大小为所述阈值以内的情况下，基于所述差来决定所述内插系数。
6.根据权利要求3或4所述的图像编码方法，其中，
在所述内插系数决定步骤中，基于针对所述内插参照像素之一的所述参照图像深度信息与所述被摄物深度信息的差、以及所述内插参照像素之一与由所述对应点表示的所述参照图像上的整数像素或小数像素的距离来决定所述内插系数。
7.根据权利要求3或4所述的图像编码方法，其中，
在所述内插系数决定步骤中，在针对所述内插参照像素之一的所述参照图像深度信息与所述被摄物深度信息的差的大小比预先确定的阈值大的情况下，将所述内插系数设为零来将所述内插参照像素之一从所述内插参照像素中除去，在所述差的大小为所述阈值以内的情况下，基于所述差、以及所述内插参照像素之一与由所述对应点表示的所述参照图像上的整数像素或小数像素的距离来决定所述内插系数。
8.一种图像解码方法，在对多视点图像的解码对象图像进行解码时，使用解码完毕的参照图像和作为所述参照图像中的被摄物的深度信息的参照图像深度信息，一边在视点间预测图像一边进行解码，其中，所述图像解码方法具有：
对应点设定步骤，对所述解码对象图像的各像素设定所述参照图像上的对应点；
被摄物深度信息设定步骤，对由所述对应点表示的所述解码对象图像上的整数像素位置的像素的深度信息即被摄物深度信息进行设定；
内插抽头长度决定步骤，使用由所述对应点表示的所述参照图像上的整数像素位置或小数像素位置的周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度信息来决定像素内插用的抽头长度；
像素内插步骤，使用按照所述抽头长度的内插滤波器来生成由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的像素值；以及
视点间图像预测步骤，通过将利用所述像素内插步骤生成的所述像素值设为由所述对应点表示的所述解码对象图像上的所述整数像素位置的像素的预测值来进行视点间的图像预测。
9.一种图像解码方法，在对多视点图像的解码对象图像进行解码时，使用解码完毕的参照图像和作为所述参照图像中的被摄物的深度信息的参照图像深度信息，一边在视点间预测图像一边进行解码，其中，所述图像解码方法具有：
对应点设定步骤，对所述解码对象图像的各像素设定所述参照图像上的对应点；
被摄物深度信息设定步骤，对由所述对应点表示的所述解码对象图像上的整数像素位置的像素的深度信息即被摄物深度信息进行设定；
内插参照像素设定步骤，使用由所述对应点表示的所述参照图像上的整数像素位置或小数像素位置的周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度信息，将用于像素内插的所述参照图像的整数像素位置的像素设定为内插参照像素；
像素内插步骤，利用所述内插参照像素的像素值的加权和，生成由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的像素值；以及
视点间图像预测步骤，通过将利用所述像素内插步骤生成的所述像素值设为由所述对应点表示的所述解码对象图像上的所述整数像素位置的像素的预测值来进行视点间的图像预测。
10.根据权利要求9所述的图像解码方法，其中，
还具有：内插系数决定步骤，按照每个所述内插参照像素，基于针对所述内插参照像素的所述参照图像深度信息与所述被摄物深度信息的差，决定针对所述内插参照像素的内插系数，
在所述内插参照像素设定步骤中，将由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的所述周围的整数像素位置的像素设定为所述内插参照像素，
在所述像素内插步骤中，通过求取基于所述内插系数的所述内插参照像素的像素值的加权和，从而生成由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的像素值。
11.根据权利要求10所述的图像解码方法，其中，
还具有：内插抽头长度决定步骤，使用由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的所述周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度信息来决定像素内插用的抽头长度，
在所述内插参照像素设定步骤中，将存在于所述抽头长度的范围内的像素设定为所述内插参照像素。
12.根据权利要求10或权利要求11所述的图像解码方法，其中，
在所述内插系数决定步骤中，在针对所述内插参照像素之一的所述参照图像深度信息与所述被摄物深度信息的差的大小比预先确定的阈值大的情况下，将所述内插系数设为零来将所述内插参照像素之一从所述内插参照像素中除去，在所述差的大小为所述阈值以内的情况下，基于所述差来决定所述内插系数。
13.根据权利要求10或权利要求11所述的图像解码方法，其中，
在所述内插系数决定步骤中，基于针对所述内插参照像素之一的所述参照图像深度信息与所述被摄物深度信息的差、以及所述内插参照像素之一与由所述对应点表示的所述参照图像上的整数像素或小数像素的距离来决定所述内插系数。
14.根据权利要求10或权利要求11所述的图像解码方法，其中，
在所述内插系数决定步骤中，在针对所述内插参照像素之一的所述参照图像深度信息与所述被摄物深度信息的差的大小比预先确定的阈值大的情况下，将所述内插系数设为零来将所述内插参照像素之一从所述内插参照像素中除去，在所述差的大小为所述阈值以内的情况下，基于所述差、以及所述内插参照像素之一与由所述对应点表示的所述参照图像上的整数像素或小数像素的距离来决定所述内插系数。
15.一种图像编码装置，在对作为多个视点的图像的多视点图像进行编码时，使用针对与编码对象图像的视点不同的视点的编码完毕的参照图像和作为所述参照图像中的被摄物的深度信息的参照图像深度信息，一边在视点间预测图像一边进行编码，其中，所述图像编码装置具备：
对应点设定部，对所述编码对象图像的各像素设定所述参照图像上的对应点；
被摄物深度信息设定部，对由所述对应点表示的所述编码对象图像上的整数像素位置的像素的深度信息即被摄物深度信息进行设定；
内插抽头长度决定部，使用由所述对应点表示的所述参照图像上的整数像素位置或小数像素位置的周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度信息来决定像素内插用的抽头长度；
像素内插部，使用按照所述抽头长度的内插滤波器来生成由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的像素值；以及
视点间图像预测部，通过将利用所述像素内插部生成的所述像素值设为由所述对应点表示的所述编码对象图像上的所述整数像素位置的像素的预测值来进行视点间的图像预测。
16.一种图像编码装置，在对作为多个视点的图像的多视点图像进行编码时，使用针对与编码对象图像的视点不同的视点的编码完毕的参照图像和作为所述参照图像中的被摄物的深度信息的参照图像深度信息，一边在视点间预测图像一边进行编码，其中，所述图像编码装置具备：
对应点设定部，对所述编码对象图像的各像素设定所述参照图像上的对应点；
被摄物深度信息设定部，对由所述对应点表示的所述编码对象图像上的整数像素位置的像素的深度信息即被摄物深度信息进行设定；
内插参照像素设定部，使用由所述对应点表示的所述参照图像上的整数像素位置或小数像素位置的周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度信息，将用于像素内插的所述参照图像的整数像素位置的像素设定为内插参照像素；
像素内插部，利用所述内插参照像素的像素值的加权和，生成由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的像素值；以及
视点间图像预测部，通过将利用所述像素内插部生成的所述像素值设为由所述对应点表示的所述编码对象图像上的所述整数像素位置的像素的预测值来进行视点间的图像预测。
17.一种图像解码装置，在对多视点图像的解码对象图像进行解码时，使用解码完毕的参照图像和作为所述参照图像中的被摄物的深度信息的参照图像深度信息，一边在视点间预测图像一边进行解码，其中，所述图像解码装置具备：
对应点设定部，对所述解码对象图像的各像素设定所述参照图像上的对应点；
被摄物深度信息设定部，对由所述对应点表示的所述解码对象图像上的整数像素位置的像素的深度信息即被摄物深度信息进行设定；
内插抽头长度决定部，使用由所述对应点表示的所述参照图像上的整数像素位置或小数像素位置的周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度信息来决定像素内插用的抽头长度；
像素内插部，使用按照所述抽头长度的内插滤波器来生成由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的像素值；以及
视点间图像预测部，通过将利用所述像素内插部生成的所述像素值设为由所述对应点表示的所述解码对象图像上的所述整数像素位置的像素的预测值来进行视点间的图像预测。
18.一种图像解码装置，在对多视点图像的解码对象图像进行解码时，使用解码完毕的参照图像和作为所述参照图像中的被摄物的深度信息的参照图像深度信息，一边在视点间预测图像一边进行解码，其中，所述图像解码装置具备：
对应点设定部，对所述解码对象图像的各像素设定所述参照图像上的对应点；
被摄物深度信息设定部，对由所述对应点表示的所述解码对象图像上的整数像素位置的像素的深度信息即被摄物深度信息进行设定；
内插参照像素设定部，使用由所述对应点表示的所述参照图像上的整数像素位置或小数像素位置的周围的整数像素位置的像素的所述参照图像深度信息和所述被摄物深度信息，将用于像素内插的所述参照图像的整数像素位置的像素设定为内插参照像素；
像素内插部，利用所述内插参照像素的像素值的加权和，生成由所述对应点表示的所述参照图像上的所述整数像素位置或所述小数像素位置的像素值；以及
视点间图像预测部，通过将利用所述像素内插部生成的所述像素值设为由所述对应点表示的所述解码对象图像上的所述整数像素位置的像素的预测值来进行视点间的图像预测。
19.一种图像编码程序，用于使计算机执行根据权利要求1至7的任一项所述的图像编码方法。
20.一种图像解码程序，用于使计算机执行根据权利要求8至14的任一项所述的图像解码方法。
21.一种计算机可读取的记录介质，记录有根据权利要求19所述的图像编码程序。
22.一种计算机可读取的记录介质，记录有根据权利要求20所述的图像解码程序。
CN201380036309.XA 2012-07-09 2013-07-09 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质 Pending CN104429077A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-154065 2012-07-09
JP2012154065 2012-07-09
PCT/JP2013/068728 WO2014010584A1 (ja) 2012-07-09 2013-07-09 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体

Publications (1)

Publication Number Publication Date
CN104429077A true CN104429077A (zh) 2015-03-18

Family

ID=49916036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380036309.XA Pending CN104429077A (zh) 2012-07-09 2013-07-09 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质

Country Status (5)

Country Link
US (1) US20150172715A1 (zh)
JP (1) JP5833757B2 (zh)
KR (1) KR101641606B1 (zh)
CN (1) CN104429077A (zh)
WO (1) WO2014010584A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108369751A (zh) * 2015-12-14 2018-08-03 松下电器（美国）知识产权公司 三维数据编码方法、解码方法、编码装置、解码装置
CN108632609A (zh) * 2016-03-17 2018-10-09 联发科技股份有限公司 视频编解码装置及方法
CN111886642A (zh) * 2018-03-12 2020-11-03 日本电信电话株式会社 秘密表参照系统、方法、秘密计算装置以及程序
CN113056909A (zh) * 2018-12-31 2021-06-29 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3142365A1 (en) 2015-09-14 2017-03-15 Thomson Licensing Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product
KR102466996B1 (ko) 2016-01-06 2022-11-14 삼성전자주식회사 눈 위치 예측 방법 및 장치
US10638126B2 (en) * 2017-05-05 2020-04-28 Qualcomm Incorporated Intra reference filter for video coding
EP3699861B1 (en) * 2017-10-19 2024-05-15 Panasonic Intellectual Property Corporation of America Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
JP7294776B2 (ja) * 2018-06-04 2023-06-20 オリンパス株式会社 内視鏡プロセッサ、表示設定方法、表示設定プログラムおよび内視鏡システム
JP2022548555A (ja) * 2019-09-24 2022-11-21 アリババ グループ ホウルディング リミテッド 映像符号化のための動き補償方法
FR3125150B1 (fr) * 2021-07-08 2023-11-17 Continental Automotive Procédé d’étiquetage d’une image 3D
CN117438056B (zh) * 2023-12-20 2024-03-12 达州市中心医院(达州市人民医院) 用于消化内镜影像数据的编辑筛选与存储控制方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101491101A (zh) * 2006-07-18 2009-07-22 汤姆森许可贸易公司 用于自适应参考滤波的方法和装置
CN101796847A (zh) * 2008-07-03 2010-08-04 松下电器产业株式会社 运动图像编码方法、运动图像解码方法、运动图像编码装置、运动图像解码装置、程序以及集成电路
WO2011145601A1 (ja) * 2010-05-18 2011-11-24 ソニー株式会社 画像処理装置と画像処理方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3334342B2 (ja) 1994-07-21 2002-10-15 松下電器産業株式会社 高周波加熱器
WO2000052642A1 (en) * 1999-02-26 2000-09-08 Koninklijke Philips Electronics N.V. Filtering a collection of samples
CA2316610A1 (en) * 2000-08-21 2002-02-21 Finn Uredenhagen System and method for interpolating a target image from a source image
US20040037366A1 (en) * 2002-08-23 2004-02-26 Magis Networks, Inc. Apparatus and method for multicarrier modulation and demodulation
CN101616330B (zh) * 2003-07-16 2012-07-04 三星电子株式会社 用于色彩图像的视频编码/解码装置和方法
US7778328B2 (en) * 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
US7508997B2 (en) * 2004-05-06 2009-03-24 Samsung Electronics Co., Ltd. Method and apparatus for video image interpolation with edge sharpening
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
BRPI0716814A2 (pt) * 2006-09-20 2013-11-05 Nippon Telegraph & Telephone Método de codificação de imagem, e método de decodificação, aparelhos para isso, aparelho de decodificação de imagem, programas para isso, e mídias de armazenamento para armazenar os programas
JP5011168B2 (ja) * 2008-03-04 2012-08-29 日本電信電話株式会社 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2009131688A2 (en) * 2008-04-25 2009-10-29 Thomson Licensing Inter-view skip modes with depth
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
KR101663819B1 (ko) * 2008-08-20 2016-10-10 톰슨 라이센싱 정제된 깊이 맵
WO2010063881A1 (en) * 2008-12-03 2010-06-10 Nokia Corporation Flexible interpolation filter structures for video coding
WO2010073513A1 (ja) * 2008-12-26 2010-07-01 日本ビクター株式会社 画像符号化装置、画像符号化方法およびそのプログラム、ならびに画像復号装置、画像復号方法およびそのプログラム
CN102598660B (zh) * 2009-04-20 2015-04-29 杜比实验室特许公司 用于多层视频传输的自适应内插滤波器
JP5614900B2 (ja) * 2009-05-01 2014-10-29 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ３ｄ映像符号化フォーマット
KR20110039988A (ko) * 2009-10-13 2011-04-20 엘지전자 주식회사 인터폴레이션 방법
WO2012006299A1 (en) * 2010-07-08 2012-01-12 Dolby Laboratories Licensing Corporation Systems and methods for multi-layered image and video delivery using reference processing signals
JP2012085211A (ja) 2010-10-14 2012-04-26 Sony Corp 画像処理装置および方法、並びにプログラム
JP5858380B2 (ja) * 2010-12-03 2016-02-10 国立大学法人名古屋大学 仮想視点画像合成方法及び仮想視点画像合成システム
US9565449B2 (en) * 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
US9363535B2 (en) * 2011-07-22 2016-06-07 Qualcomm Incorporated Coding motion depth maps with depth range variation
WO2013072484A1 (en) * 2011-11-18 2013-05-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-view coding with efficient residual handling

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101491101A (zh) * 2006-07-18 2009-07-22 汤姆森许可贸易公司 用于自适应参考滤波的方法和装置
CN101796847A (zh) * 2008-07-03 2010-08-04 松下电器产业株式会社 运动图像编码方法、运动图像解码方法、运动图像编码装置、运动图像解码装置、程序以及集成电路
WO2011145601A1 (ja) * 2010-05-18 2011-11-24 ソニー株式会社 画像処理装置と画像処理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108369751A (zh) * 2015-12-14 2018-08-03 松下电器（美国）知识产权公司 三维数据编码方法、解码方法、编码装置、解码装置
CN108369751B (zh) * 2015-12-14 2023-09-08 松下电器（美国）知识产权公司 三维数据编码方法、解码方法、编码装置、解码装置
CN108632609A (zh) * 2016-03-17 2018-10-09 联发科技股份有限公司 视频编解码装置及方法
CN108632609B (zh) * 2016-03-17 2021-10-15 联发科技股份有限公司 视频编解码装置及方法
CN111886642A (zh) * 2018-03-12 2020-11-03 日本电信电话株式会社 秘密表参照系统、方法、秘密计算装置以及程序
CN113056909A (zh) * 2018-12-31 2021-06-29 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法

Also Published As

Publication number Publication date
KR101641606B1 (ko) 2016-07-21
KR20150015483A (ko) 2015-02-10
JP5833757B2 (ja) 2015-12-16
US20150172715A1 (en) 2015-06-18
JPWO2014010584A1 (ja) 2016-06-23
WO2014010584A1 (ja) 2014-01-16

Similar Documents

Publication Publication Date Title
CN104429077A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
US10798416B2 (en) Apparatus and method for motion estimation of three dimension video
JP5934375B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP5947977B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP6053200B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP5883153B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
US9924197B2 (en) Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, and image decoding program
JP6307152B2 (ja) 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
JP5219199B2 (ja) 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP5926451B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
WO2015056712A1 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JP5531282B2 (ja) 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP5759357B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150318