CN101518090A - 图像编码方法及解码方法、它们的装置、图像解码装置、以及它们的程序和记录有程序的存储介质 - Google Patents

图像编码方法及解码方法、它们的装置、图像解码装置、以及它们的程序和记录有程序的存储介质 Download PDF

Info

Publication number
CN101518090A
CN101518090A CNA2007800342670A CN200780034267A CN101518090A CN 101518090 A CN101518090 A CN 101518090A CN A2007800342670 A CNA2007800342670 A CN A2007800342670A CN 200780034267 A CN200780034267 A CN 200780034267A CN 101518090 A CN101518090 A CN 101518090A
Authority
CN
China
Prior art keywords
image
distance
pseudo
vector
region segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800342670A
Other languages
English (en)
Other versions
CN101518090B (zh
Inventor
志水信哉
北原正树
上仓一人
八岛由幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN101518090A publication Critical patent/CN101518090A/zh
Application granted granted Critical
Publication of CN101518090B publication Critical patent/CN101518090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供图像编码方法，根据从摄影了参照图像的照相机至被摄体的距离、与照相机间的位置关系，求取与上述参照图像的各像素对应的各编码对象图像上的对应点，对从上述像素位置朝向上述对应点的像素空间上的视差矢量进行运算；对与上述视差矢量具有相同的始点、作为各成分具有将上述视差矢量的各成分舍入为整数值后所得的值的预测对象矢量进行运算；对与上述视差矢量具有相同的始点，并具有与上述预测对象矢量和上述视差矢量的差分矢量相同的大小和方向的参照对象矢量进行运算；使由上述参照对象矢量表示的参照图像上的像素值作为由上述预测对象矢量表示的编码对象图像上的像素的预测值。

Description

图像编码方法及解码方法、它们的装置、图像解码装置、以及它们的程序和记录有程序的存储介质
技术领域
本发明涉及多视点图像的编码和解码技术。
本申请根据2006年9月20日提出的日本专利申请2006-253845号请求优先权，在此引用其内容。
背景技术
所谓多视点图像，是指利用多个照相机对相同的被摄体和背景摄影所得的多个图像，所谓多视点活动图像(多视点影像)，是指其活动图像。以下，将以一个照相机摄影所得的活动图像称为“二维活动图像”，将对相同的被摄体和背景摄影所得的二维活动图像组称为“多视点活动图像”。
二维活动图像在时间方向上具有强的相关，在进行编码时，通过利用其相关而提高编码效率。另一方面，在多视点图像或多视点活动图像中，在各个照相机被同步的情况下，因为与相同的时间对应的各个照相机的影像，是从不同的位置对完全相同的状态的被摄体和背景摄影所得的影像，所以在照相机之间具有强的相关。在多视点图像或多视点活动图像的编码中，通过利用该相关能够提高编码效率。
首先，说明与二维活动图像的编码技术相关的现有技术。
在以国际编码标准H.264、MPEG-2、MPEG-4为首的现有的众多二维活动图像编码方式中，利用运动补偿、正交变换、量子化、熵编码(entropy encoding)等技术，进行高效率的编码。例如，在H.264中，能够利用与过去或将来的多个帧的时间相关进行编码。
关于在H.264中使用的运动补偿技术的详细情况，例如，记载在非专利文献1中。对其概要进行说明。
H.264的运动补偿将编码对象帧分割成各种大小的块(block)，在各块中能够具有不同的运动矢量和不同的参照图像。进而，通过对参照图像进行滤波处理，生成1/2像素位置或1/4像素位置的影像，能够进行更精细的1/4像素精度的运动补偿，由此，能够实现比现有的国际编码方式更高效率的编码。
接着，对现有的多视点图像、多视点活动图像的编码方式进行说明。
多视点图像的编码方法与多视点活动图像的编码方法的不同是，多视点活动图像中除了照相机之间的相关以外，还同时存在时间方向的相关。但是，利用照相机之间的相关的方法在上述各情况下均能够使用相同的方法。因此，这里对在多视点活动图像的编码中使用的方法进行说明。
关于多视点活动图像的编码，历来就有以下方式，即，为了利用照相机之间的相关，通过将运动补偿应用于相同时刻的不同照相机的图像中的“视差补偿”，高效率地对多视点活动图像进行编码的方式。这里，所谓视差，是在配置在不同位置的照相机的图像平面上，被摄体上的相同位置被投影的位置的差。
图8是在照相机之间产生的视差的概念图。
在图8所示的概念图中，垂直地俯视光轴平行的照相机的图像平面。这样，在不同的照相机的图像平面上被摄体上的相同位置被投影的位置一般被称为对应点。
视差补偿，基于此对应关系，根据参照帧预测编码对象帧的各像素值，对其预测残差和表示对应关系的视差信息进行编码。
该对应关系通过利用照相机参数，根据对极几何约束(epipolargeometry constraint)，不以二维矢量，而能够将一个照相机作为基准，以从该照相机至被摄体为止的距离这种一维量表示。
图9是对极几何约束的概念图。根据对极几何约束，与某个照相机的图像上的点对应的其它照相机的图像上的点被约束在称为极线的直线上。这时，在获得从该像素的照相机至被摄体的距离的情况下，对应点在极线上单一地确定。
例如，如图9所示，在照相机A的图像中被投影在m的位置的被摄体的点，在照相机B的图像中，在实际空间中的被摄体的对应的点的位置是M’的情况下，被投影在极线上的位置m’处，在实际空间中的被摄体的对应的点的位置是M”的情况下，被投影在极线上的位置m”处，在实际空间中的被摄体的对应的点的位置是M”’的情况下，被投影在极线上的位置m”’处。
图10是表示在对于一个照相机赋予至被摄体的距离时，在多个照相机之间获得的对应点的情况的图。
一般而言，视差通过编码对象帧而变化，因此，视差信息必需针对每个编码对象帧进行编码。但是，从照相机至被摄体的距离由被摄体的物理的状态决定，因此，能够以从照相机至被摄体的距离这样的一个信息表示多个照相机的图像上的对应点。
例如，如图10所示，以从照相机A的视点位置起至被摄体的点M的距离这样的一个信息，能够表示与照相机A的图像的点ma对应的照相机B的图像的对应点mb、照相机C的图像的对应点mc的双方。
利用此性质，通过以从参照图像的照相机至被摄体的距离表示视差信息，能够根据该参照图像(照相机之间的位置关系已被获得)，针对以其它照相机在同时刻摄影所得的所有的帧实现视差补偿。在非专利文献2中，利用该性质减少必需进行编码的视差信息的数量，实现了高效率的多视点活动图像编码。
再有，非专利文献3是记载有在后述的本发明的实施方式的说明中参照的技术的在先技术文献，其中记载有关于表示多个照相机的位置关系的参数、和表示基于照相机的向图像平面的投影信息的参数的说明。
非专利文献1：ITU-T Rec.H.264/ISO/IEC 11496-10，“Editor″sProposed Draft Text Modifications for Joint Video Specification(ITU-TRec.H.264/ISO/IEC 14496-10 AVC)，Draft 7”，Final Committee Draft，Document JVT-E022，pp.10-13，and 62-68，September 2002.
非专利文献2：Shinya SHIMIZU，Masaki KITAHARA，KazutoKAMIKURA and Yoshiyuki YASHIMA，“multi-view Video Coding basedon 3-D Warping with Depth Map”，In Proceedings of Picture CodingSymposium 2006，SS3-6，April，2006.
非专利文献3：Oliver Faugeras，Three-Dimension ComputerVision-MIT Press；BCTC/UFF-006.37 F259 1993-ISBN：0-262-06158-9，pp.33-68.
发明要解决的问题
确实，根据非专利文献2的方法，通过针对每个编码对象图像对视差信息进行编码，也能够以较少的码量对视差信息进行编码。
在多视点图像编码中，因为目的是对编码对象图像的各像素的值进行编码，所以在视差补偿中必需对编码对象图像的各像素的值进行预测。但是，在对参照图像的各像素赋予从照相机至被摄体的距离的方法中，因为参照图像侧的对应点被固定，所以编码对象图像中的对应点不一定与像素一致。在此情况下，作为预测编码对象图像的所有像素的值的方法，考虑有以下3个能够容易地类推的方法。
第一个是以使得编码对象图像中的对应点必定成为像素位置的方式确定距离的方法。
但是，因为对于多个编码对象图像，必定与像素位置对应的这样距离有限，所以在此方法中，不能得到预测误差变得较小的视差补偿，结果是整体的编码效率变差。
第二个是将在编码对象图像中得到的对应点舍入(round off)为最接近的像素的方法。
在此方法中，认为能够实现大致正确的视差补偿，但是由于舍入而使其预测精度降低不少。此外，因为将从已编码的视差信息得到的信息在之后进行舍入，所以与对舍入后的信息进行编码的情况相比，对无用的信息进行了编码。
第三个是在求得相对于参照图像的全部像素的编码对象图像中的对应点后，针对编码对象图像的每个像素，根据在周围获得的对应点的像素值进行增补(interpolation)并加以求取的方法。
在第三个方法中，能够完全地利用编码后的视差信息。但是，在该方法中，因为必需根据被离散地赋予的像素值对编码对象图像整体的像素值进行增补，所以用于进行高精度的增补的计算成本非常高。此外，因为只有在求得全部像素的对应点之后才知道视差补偿的预测误差，所以在要求取用于使预测误差最小化的这样的编码的距离的情况下，对于所有的视差信息的组合反复进行以下处理，即，假定相对于全部像素的视差信息，利用假定的视差信息求取相对于参照图像的全部像素的编码对象图像中的对应点，对于像素值被离散地赋予的图像进行增补，由此生成相对于编码对象图像的预测图像，求取预测误差这样的处理，这样需要非常多的运算量，非常难以获得最优的视差信息的集合。
此外，在非专利文献2的方法那样的对参照图像的各像素赋予从照相机至被摄体的距离的方法中，因为参照图像侧的对应点被固定为整数像素单位，所以也不能如H.264的运动预测那样，进行使用参照图像的小数像素位置(1/2像素位置、1/4像素位置等)处的像素值的、对应于精细的运动的高精度的补偿。
单纯地关于参照图像的小数像素(1/2像素、1/4像素)，通过赋予从照相机至被摄体的距离，虽然也能够进行高精度的视差补偿，但是存在必须编码的视差信息的数量增加，编码效率下降的问题。
例如即使根据对整数像素赋予的距离推定使用小数像素的距离，也存在用于求取对应点的运算次数增加数倍的问题。
发明内容
本发明是鉴于上述问题而完成的，其目的在于提供一种图像编码技术和解码技术，该图像编码技术在采用如下结构，即使用根据参照图像的从照相机至被摄体的距离表示的视差信息，对编码对象图像进行视差补偿的结构的情况下，不用增加编码所需的视差信息的数量，通过最大限度地利用包含在用于该编码的视差信息中的信息，进行小数像素单位的视差补偿，由此使得能够实现高的编码效率。
用于解决问题的方法
本发明为了解决上述问题，提供一种图像编码方法，其在对由多个照相机摄影的多视点图像进行编码时，使用已完成编码的参照图像、和从上述多个照相机中的摄影了上述参照图像的照相机至被摄体的距离，一边在照相机之间预测图像，一边进行编码，该图像编码方法的特征在于，包括：
视差矢量设定步骤，根据对上述参照图像的各像素赋予的上述距离、和摄影了上述参照图像的照相机与摄影了编码对象图像的各照相机的位置关系，求取与上述参照图像的各像素对应的各编码对象图像上的对应点，对从上述参照图像的像素位置朝向上述编码对象图像上的对应点的像素空间上的视差矢量进行运算；
预测对象矢量设定步骤，对预测对象矢量进行运算，该预测对象矢量具有与所述视差矢量相同的始点，通过舍去所述视差矢量的各成分的小数部分或选择与各成分的值最接近的整数值，作为矢量的各成分具有将所述视差矢量的各成分舍入为整数值后所得的值；
参照对象矢量设定步骤，对参照对象矢量进行运算，该参照对象矢量具有与上述视差矢量相同的始点，并具有与上述预测对象矢量和上述视差矢量的差分矢量(differential vector)相同的大小和方向；以及
照相机间图像预测步骤，通过将由上述参照对象矢量表示的参照图像上的整数或小数像素位置的像素值，作为由上述预测对象矢量表示的编码对象图像上的像素的预测值，进行照相机之间的图像预测。
由此，使用不仅限于针对参照图像的整数像素位置的每一个赋予的编码对象图像上的整数像素位置的对应点的信息，对于编码对象图像的整数像素位置，能够进行基于使用参照图像的小数像素位置的像素值的视差补偿的图像预测，能够实现高的编码效率。
作为典型例，也可以为以下方式，具有：
伪距离设定步骤，对于上述参照图像的各像素设定伪距离，该伪距离表示基于对极几何约束，从上述参照图像预测编码对象的图像时的对应点；和
伪距离编码步骤，对在上述伪距离设定步骤中设定的伪距离进行编码，
在上述视差矢量设定步骤中，也可以使用上述伪距离作为对上述参照图像的各像素赋予的距离。
这里所述的伪距离，是在考虑相对于参照图像的某个像素的编码对象图像上的极直线的情况下，特定该直线上的1点的值。具体而言，表示从照相机至拍摄在参照图像中的对象像素上的对象的推定距离。伪距离可以是距离本身，也可以是通过立体匹配等获得的推定距离，也可以是与它们相对应的标志(index)值。
利用此方法，即使在不能明确地得到从照相机至被摄体的距离的情况下，也能够将在编码侧在视差补偿中使用的参数通知解码侧，从而能够执行使用距离参数的视差补偿。
作为上述典型例的优选例，上述伪距离设定步骤包括：
设定像素空间上的推定视差矢量的过程，该推定视差矢量以根据推定能够取得的值而确定的推定伪距离和照相机的位置关系求取的编码对象图像上的对应点为终点，以被赋予该推定伪距离的参照图像中的像素为始点；
设定推定预测对象矢量的过程，该推定预测对象矢量通过将上述推定视差矢量的终点舍入为整数像素而获得；
设定推定参照对象矢量的过程，该推定参照对象矢量具有与上述推定视差矢量相同的始点，并且具有与上述推定预测对象矢量和上述推定视差矢量的差分矢量相同的大小和方向；和
将所述推定伪距离作为所述伪距离进行设定的过程，所述推定伪距离是将使用上述推定预测对象矢量和上述推定参照对象矢量进行的照相机间的图像预测的处理，对摄影了完全相同的状态的被摄体的各编码对象图像进行时的、预测误差的合计变为最小的情况下的推定伪距离。
即，在上述伪距离设定步骤中，实施与上述视差矢量设定步骤相同的处理而求取推定视差矢量，对推定视差矢量实施与预测对象矢量设定步骤相同的处理而求取推定预测对象矢量，对推定视差矢量和推定预测对象矢量实施与上述参照对象矢量设定步骤相同的处理而求取推定参照对象矢量，将使用推定预测对象矢量和推定参照对象矢量进行图像预测的处理，对摄影了完全相同的状态的被摄体的各编码对象图像进行时的、预测误差的合计变为最小的情况下的上述推定伪距离作为上述伪距离进行设定。
再有，求取推定预测对象矢量时的舍入为整数像素的方法，既能够使用舍去小数部分的方法，也能够使用舍入为最接近的整数像素的方法，但与视差补偿时进行的对应的处理一致。
当对某个像素的从照相机至被摄体的距离被赋予时，虽然能够假定对于从该像素稍微偏离的位置的从照相机至被摄体的距离与赋予该像素的距离几乎相同，但是不能说总完全一致。因此，不用说在使用随意的伪距离的情况下，假设即使在使用与实际的距离非常相近的伪距离的情况下，根据状态，也存在使用预测误差较大的对应点进行视差补偿的可能性。
另一方面，根据本发明，因为求取视差补偿的预测误差小于其它距离的伪的距离并使用该伪距离，所以能够避免在视差补偿中使用视差补偿的预测误差较大的对应点，能够实现高的编码效率。
此外，也可以采用以下方式，求取使速率失真成本(rate-distortioncost)最小化的伪距离，该速率失真成本是对于预测误差加上在对伪距离进行编码时的码量的预测值上乘上一定的权重所得的值而获得的，由此，即使预测误差增加，也能够在编码效率的观点上求取最优的伪距离。
再有，在伪距离的编码中存在失真的情况下，将对已编码的伪距离解码所得的解码伪距离作为距离在视差矢量设定步骤中加以使用，由此，使在编码侧和解码侧使用的参数一致，能够防止作为一种编码失真的漂移(drift)。
作为上述典型例的另一优选例，具有：区域分割设定步骤，设定参照图像的区域分割，
在上述伪距离设定步骤中，针对在上述区域分割设定步骤中设定的区域的每一个设定上述伪距离，
在上述伪距离编码步骤中，针对在上述区域分割设定步骤中设定的区域的每一个对上述伪距离进行编码。
从照相机至被摄体的距离在图像上并不频繁地变化，在一定程度地集中在一起的区域中多具有相同的距离。因此，通过适当地设定区域分割，针对每个区域设定一个伪距离并进行编码，从而能够减少进行编码的伪距离的个数，能够削减码量。
在此情况下，区域分割的信息也需要编码并交付给解码侧，但是在对参照图像的图像整体进行区域分割，针对每个区域施加处理，且与该区域分割信息一起被编码的情况下，通过使基于包含在该参照图像的编码数据中的区域分割信息的区域分割、与设定各伪距离的区域分割一致，能够对区域分割信息不进行编码。
图像编码时的区域分割多被划分成表示各被摄体的形状的形状。此外，因为从照相机至被摄体的距离也能够被认为针对每个被摄体具有相同的值，所以通过如上所述那样使区域分割一致，能够高效地削减区域分割信息的码量。
但是，图像编码时的区域分割也有根据纹理(texture)(外观)的不同而被设定的情况。因此，存在图像编码时的区域分割与伪距离变为相同的区域分割之间产生差的情况。在此情况下，通过仅对表示其不同的信息进行编码，能够防止对图像整体的区域分割进行编码而产生大量的码量，并能够防止因区域分割错误而引起的视差补偿的预测效率下降。
此外，利用在实际空间中的被摄体的空间特性上，从照相机至被摄体的距离在相邻的像素、区域间不大幅变化的情况，在对伪距离进行编码时，选择已完成编码的伪距离，通过对表示该已完成编码的伪距离的信息、和编码对象的伪距离与上述已选择的伪距离的差分进行编码，由此，也能够削减伪距离的码量。
此外，关于对一个参照图像赋予的伪距离组，考虑被赋予的区域的位置和大小，能够看作为图像。因此，通过使用JPEG、JPEG2000等图像编码方法对该图像进行编码，能够高效地对伪距离进行编码。
此外，因为从照相机至被摄体的距离在时间上不大幅变化，所以通过在将本发明的方法应用于各时刻的图像组而对多视点活动图像进行编码的情况下，能够将各时刻的伪距离组看作为图像，通过将其集合看作影像，使用MPEG-2、H.264/AVC等影像编码方法对伪距离全体进行编码，由此，也能够高效地对伪距离进行编码。
此外，在上述预测对象矢量设定步骤中，也可以将各成分具有与上述视差矢量的各成分最接近的编码处理块大小的整数倍的值的矢量作为预测对象矢量。
作为多视点活动图像整体，为了实现高效率的编码，必须在抑制伪距离的码量的同时进行高效率的视差补偿残差的编码。即，在针对每个编码处理块推定伪距离时，除了需要考虑在该伪距离的编码中所需的码量之外，还必须考虑利用该伪距离被视差补偿过的块的残差的码量。但是，通过对参照图像的某个编码对象块赋予的伪距离被视差补偿的块，有在编码对象图像中跨越多个编码处理块的可能性。在此情况下，因为非常难以估计该块的视差补偿残差的码量，因此不能高精度地进行用于实现高效率的编码的最优化。
另一方面，如上所述，如果将各成分具有与上述视差矢量的各成分最接近的编码处理块大小的整数倍的值的矢量作为预测对象矢量，则能够保证编码对象图像上的被视差补偿的块必定与编码处理块一致，因此，能够在考虑视差补偿残差的编码方式的基础上，对为了对该块的视差补偿残差进行编码所需的码量进行计算。结果是，整体上能够实现高效率的多视点图像编码。
再有，在对多视点活动图像进行编码(解码)的情况下，将各时刻的对应的帧的集合看作多视点图像，能够应用本发明的图像编码方法(图像解码方法)。
进而，在多视点活动图像中，不是仅以本发明的图像编码方法对整个图像进行编码，而是针对每个编码处理对象适当地选择利用时间方向的相关的运动补偿等其它方法进行编码，也能够提高编码效率。
发明的效果
根据本发明，根据以参照图像的整数像素为基准被赋予的编码对象图像的对应点信息，能够以高精度和低运算成本求取与编码对象图像的整数像素的位置对应的参照图像的小数像素单位的位置，能够实现与更精细的视差对应的视差补偿，并能够实现多视点图像整体的高效率的图像编码。
附图说明
图1是表示本发明中的各矢量的关系的图。
图2是表示基于本发明的实施方式的图像编码装置的构成例的图。
图3是图像编码装置进行的图像编码处理流程图。
图4是距离图像生成部进行的距离图像生成处理流程图。
图5是视差补偿图像生成部进行的视差补偿图像生成处理流程图。
图6是表示基于本发明的实施方式的图像解码装置的构成例的图。
图7是图像解码装置的图像解码处理流程图。
图8是在照相机之间产生的视差的概念图。
图9是对极几何约束的概念图。
图10是表示在对一个照相机赋予至被摄体的距离时在多个照相机之间得到对应点的情况的图。
附图标记的说明
100  图像编码装置
101  图像输入部
102  参照图像输入部
103  参照图像存储器
104  距离图像生成部
105  距离图像编码部
106  距离图像解码部
107  视差补偿图像生成部
108  编码对象图像编码部
200  图像解码装置
201  距离图像解码部
202  参照图像存储器
203  视差补偿图像生成部
204  编码对象图像解码部
具体实施方式
以下，根据实施方式，对本发明进行详细的说明。
首先，参照图1，说明本发明的原理。
最初，使用对参照图像的各像素赋予的从照相机至被摄体的距离、和照相机之间的位置关系，求取参照图像的各像素的在编码对象图像上的对应点。
这时，将在像素空间上以参照图像的像素为始点、以该像素的编码对象图像上的对应点为终点的矢量称为视差矢量。为了采用这种求取方法，视差矢量的始点必定是整数像素位置，终点不一定限定为整数像素位置。
接着，对于各视差矢量，求取始点相同，且舍去矢量的水平成分和垂直成分的小数部分所得的矢量，称呼该矢量为预测对象矢量。该预测对象矢量是在由视差矢量的始点和终点确定的长方形(在坐标平面上，由始点坐标和终点坐标定义的以视差矢量为对角线的长方形)的内部，以最接近视差矢量的终点的整数像素位置为终点的矢量。
然后，针对每个视差矢量，求取与该视差矢量具有相同的始点，且与从在之前的步骤中求得的预测对象矢量减去该视差矢量所得的矢量具有相同的大小和方向的矢量，称呼该矢量为参照对象矢量。该参照对象矢量的终点并不一定被限定为整数像素位置。
在本发明中，针对这样获得的预测对象矢量和参照对象矢量的组的每一个，将由参照对象矢量表示的参照图像上的位置的值作为由预测对象矢量表示的编码对象图像上的像素位置的预测值而使用，由此实现照相机之间的图像预测。
在本发明中，根据从与某个像素偏离非常少的位置的照相机至被摄体的距离与该像素的照相机至被摄体的距离大致相同的这种假定，求取对应点。即，从照相机至被摄体的距离的结构越单纯，图像预测的精度越高。
另一方面，在上述的能够容易地类推的方法中的第二个方法和第三个方法中，使用被摄体的纹理(外观)在相邻部分中大致相同这种假定。即，纹理的构造越单纯，图像预测的精度越高。
关于自然图像，当比较距离的构造和纹理的构造时，因为存在现实空间中的连续性的制约，所以与纹理相比，距离具有单纯的构造的倾向。因此，本发明的方法与上述的能够容易地类推的方法相比，能够实现高精度的图像预测，能够提高编码效率。
再有，在如上所述那样求取预测对象矢量时，也能够进行舍去小数部分而舍入为整数部分的处理，但是也能够采取舍入为最接近的整数的方法。
因为在进行舍入为最接近的整数的处理的情况下，假定与参照图像的像素更接近的点具有相同的距离，所以能够实现预测误差变小的视差补偿。但是，在此情况下，与舍去小数部分的情况相比，存在运算成本增加的可能性。
在以下说明的实施方式的例子中，对以下方法进行说明，即，设想对由照相机A、照相机B这2个照相机摄影的多视点图像进行编码的情况，以照相机A的图像为参照图像，对照相机B的图像进行编码的方法。
再有，表示照相机A和照相机B的位置关系的外部参数和表示照相机的向图像平面的投影信息的内部参数，以另外的方式赋予。
关于这些参数的详细的说明，在非专利文献3中有记载，但是也能够在设置照相机时求取，或从摄影了的图像对进行推定。
图2是表示本发明的实施方式的图像编码装置的构成例的图。
图像编码装置100具备：图像输入部101，输入作为编码对象图像的照相机B的原图像；参照图像输入部102，输入作为参照图像的照相机A的解码图像；参照图像存储器103，存储参照图像；距离图像生成部104，生成距离图像；距离图像编码部105，进行距离图像的编码；距离图像解码部106，对已编码的距离图像进行解码；视差补偿图像生成部107，根据参照图像和被解码后的距离图像生成视差补偿图像；以及编码对象图像编码部108，利用视差补偿图像对编码对象图像进行编码。
这里，在图像编码装置100和后述的图像解码装置200(参照图6)的任一个中，对于表示从实际的照相机至被摄体的距离的距离图像，和表示为了视差补偿而被使用的伪的距离的伪距离图像，装置和处理并未区别地进行处理。因此，在以下说明中，不区别两者，仅记作距离图像，由此表示的距离或伪的距离也不加区别地仅记作距离。
以下，使用图3～图5的流程图，对如图2所示那样构成的图像编码装置100所执行的图像编码处理进行详细的说明。
图3是图像编码装置的图像编码处理流程图。图3所示的流程图表示图像编码装置100的图像编码处理整体的概要。
在图像编码装置100中，通过图像输入部101输入照相机B的图像(步骤S10)。再有，通过参照图像输入部102，照相机A的解码图像被输入参照图像存储器103。
以下，将输入的照相机B的图像记作编码对象图像，将参照图像存储器103上的图像记作参照图像。
接着，使用编码对象图像和参照图像，在距离图像生成部104中生成相对于参照图像的距离图像。
然后，为了在图像编码装置100侧和图像解码装置200侧实现使用完全相同的信息的视差补偿图像生成，在距离图像编码部105中对已生成的距离图像进行编码(步骤S12)，在距离图像解码部106中对该编码数据进行解码(步骤S13)。
接着，根据解码所得的距离图像和参照图像，在视差补偿图像生成部107中生成视差补偿图像(步骤S14)。最后，使用已生成的视差补偿图像，在编码对象图像编码部108中对编码对象图像进行编码(步骤S15)。
图3所示的图像编码处理表示在对照相机B的一个图像进行编码时所进行的处理，通过对各时刻的图像反复进行该处理，能够进行多视点活动图像的编码。
再有，在距离图像编码部105中，可以使用现有的任意的编码方法。作为静止图像可以应用JPEG2000那样的图像编码方式，也可以与相对于其它时刻的参照图像生成的距离图像一起应用H.264等活动图像编码方式，也可以单纯地对像素值进行可变长度编码。
但是，距离图像解码部106必须能够对以在距离图像编码部105中使用的方式生成的编码数据进行解码。
此外，在将本发明应用于多视点活动图像编码中的情况下，在编码对象图像编码部108中，只要是利用视差补偿图像进行编码的编码方式，能够使用任意的方式。
例如有以下方式：生成视差补偿图像和编码对象图像的差分图像进行编码的方式；不直接对差分图像进行编码，而使用不同时刻的差分图像并进行在H.264中使用的运动补偿，由此进行编码的方式；以及对使用视差补偿图像进行的影像预测、和通过运动补偿进行的影像预测进行比较，使用预测效率较好的预测法进行编码的方式等。
在本实施方式中，虽然采用在图像编码装置100的内部生成距离图像的方式，但对使用传感器等在外部生成的距离图像直接使用也可。在此情况下，不需要距离图像生成部104，能够省略图3的流程图中的步骤S11的处理。
进而，在距离图像编码部105中使用可逆编码方式的情况下，不需要距离图像解码部106，能够省略图3的流程图中的步骤S13的处理。但是，在此情况下，距离图像被直接输入视差补偿图像生成部107。
图4是距离图像生成部104的距离图像生成处理流程图。
这里，对根据图3的步骤S11中的编码对象图像和参照图像生成距离图像的距离图像生成处理进行更详细的说明。
在图4的流程图中，将参照图像分割为多个块，针对每个块进行求取距离的处理。这里，当使块的大小全部为1×1(像素)时，相当于针对每个像素求取距离。
优选使成为设定该距离的单位的块与区域分割参照图像进行编码处理时的编码处理块一致。再有，将表示各个块的标志表示为blk，将相对于一个图像的块数量表示为maxBlk。
将blk初始化为0之后(步骤S20)，一边在blk上每次加上1(步骤S35)，直至blk为maxBlk为止(步骤S36)，一边针对每个块，重复执行步骤S21～步骤S36的处理。
在针对每个块进行的处理中，首先，求取标志blk的块的参照图像的像素空间上的位置，使其为blk_pos(步骤S21)。
这里，将表示距离候补的标志表示为depth，将其最小值表示为minDepth，将其最大值表示为maxDepth。minDepth和maxDepth是考虑摄影的风景被任意地赋予的编码时的参数。
此外，在以下的处理中对各距离候补进行评价，使作为其评价值绝对不可能获得的最大值表示为maxCost。进而，为了反复进行评价，将最优的评价值表示为minCost，将此时的距离候补标志表示为bestDepth。
在将depth初始化为minDepth，将minCost初始化为maxCost之后(步骤S22)，一边在depth上每次加上1(步骤S32)，直至depth为maxDepth为止(步骤S33)，一边针对每个距离候补，重复执行步骤S23～步骤S33的处理。
然后，在depth成为maxDepth时，将存储在bestDepth中的值决定为相对于块标志blk的距离的值(步骤S34)。
以下，对针对每个距离候补进行的处理(步骤S23～步骤S33)进行说明。
首先，考虑在距离图像编码部105中使用的编码方式，在距离图像的blk_pos的位置的距离成为depth的情况下，求取对该depth进行编码所需的码量，使其为rate(步骤S23)。这可以是实际的码量，也可以是码量的预测值。
接着，求取将depth编码然后解码时所得的值，使其为dec_depth(步骤S24)。然后，求取从blk_pos的位置的照相机至被摄体的距离是以dec_depth赋予的距离的情况下的视差矢量，使其为DISP_V(步骤S25)。该视差矢量能够通过以下的数学式(1)求取。
[式1]
3p∈blk_pos
e ~ = A t R t - 1 ( R r A r - 1 p ^ d + t r - t r )
DISP_V＝p-e                          (1)
在数学式(1)中，黑体的变量表示矢量，大写的变量表示矩阵。
矩阵A表示照相机的内部参数矩阵，矩阵R表示照相机的旋转矩阵，矢量t表示照相机的平移矢量(translational vector)。再有，下标t表示是摄影了编码对象图像的照相机的参数，下标r表示是摄影了参照图像的照相机的参数。
d表示从由距离标志dec_depth表示的照相机至被摄体的距离。“～x”(～被标注在x的上部)表示矢量x的齐次(homogeneous)矢量。此外，“^x”(^被标注在x的上部)表示矢量x的齐次矢量中的最终成分为1的齐次矢量。再有，相对于N维矢量齐次矢量具有N+1个要素。将第1～N个成分除以该齐次矢量的第N+1个成分所得的值作为第1～N维的成分而具有的矢量，成为相对于齐次矢量的通常的矢量(在上述的例子中为矢量x)。即，关于N维矢量，存在以下的关系。
[式2]
x = x 1 . . . x N ⇔ x ^ = x 1 . . . x N 1 ⇔ x ~ = ax 1 . . . ax N a 其中 a≠0
在求得DISP_V之后，求取将其各个成分整数化后所得的预测对象矢量TAR_V(步骤S26)。进行整数化的方法可以使用以下方法中的任一个：
(1)舍去小数部分的方法，
(2)进行四舍五入的方法。
然后，通过以下的数学式(2)求取参照对象矢量REF_V(步骤S27)。
REF_V＝TAR_V-DISP_V    (2)
这时，对于包含在blk_pos中的所有的像素p，编码对象图像上的位置p+TAR_V与参照图像上的位置p+REF_V成为对应点。
求取该对应点的确切度的评价值、即以参照图像的位置blk_pos+DISP_V的块预测编码对象图像的位置blk_pos+TAR_V的块时的预测误差，使其为diff(步骤S28)。
在确切度的评价中，能够使用差分绝对值的和、平方误差的和、差分值的方差(dispersion)、或相关系数等任意的方法。作为一个示例，利用差分绝对值的和的评价式由以下的数学式(3)表示。
[数3]
diff = Σ p ∈ blk _ pos | I r ( p + TAR _ V ) - I r ( p + REF _ V ) | - - - ( 3 )
在数学式(3)中，I表示返回由自变量赋予的位置的图像的像素值的函数。p+TAR_V肯定表示整数像素位置，但是p+REF_V不一定表示整数像素位置。
整数像素位置以外的位置的值能够根据周围的像素的值通过滤波处理等生成。此外，对于被赋予的位置，没有必要严格地求取与该位置对应的值，也可以仅求取到某种程度的小数像素位置的值，使用最接近的点的值。
对于这样求得的rate和diff，为了从多视点活动图像的编码效率这个方面评价距离候补，计算由以下的数学式(4)表示的速率失真成本cost(步骤S29)。
cost＝diff+λ×rate    (4)
在数学式(4)中，λ是不定的拉格朗日乘子(Lagrange multiplier)，利用被预先设定的值。在不以编码效率，而仅以单纯的预测误差评价距离候补的情况下，相当于λ＝0。这里求取的cost越小越好。
将距离候补depth的评价值cost与到此为止的距离候补中的最优的评价值minCost相比(步骤S30)，如果评价良好，则将距离候补depth保存为最优候补bestDepth，以cost改写最优评价值minCost(步骤S31)。
然后，在距离候补标志depth上仅加上1(步骤S32)，此外，如果存在其它距离候补，则对该距离候补反复进行同样的处理(步骤S33)。
图5是视差补偿图像生成部107的视差补偿图像生成处理流程图。这里，对图3的步骤S14中的根据距离图像和参照图像生成视差补偿图像的视差补偿图像生成处理进行更详细的说明。
在图5的流程图中，针对被赋予距离的参照图像的块的每一个，进行生成视差补偿图像的处理。再有，将表示各个块的标志表示为blk，将相对于一个图像的块数量表示为maxBlk。
将blk初始化为0之后(步骤S40)，一边在blk上每次加上1(步骤S47)，直至blk成为maxBlk为止(步骤S48)，一边针对每个块，重复执行步骤S41～步骤S48的处理。
在针对每个块进行的处理中，首先，求取标志blk的块的参照图像的像素空间上的位置，使其为blk_pos(步骤S41)，根据距离图像得到块blk的距离d(步骤S42)。
然后，求取从blk_pos的位置的照相机至被摄体的距离是以d赋予的距离的情况下的视差矢量DISP_V(步骤S43)。DISP_V能够通过以下的数学式(5)求取。
[式4]
3p∈blk_pos
e ~ = A t R t - 1 ( R r A r - 1 p ^ d + t r - t r )
DISP_V＝p-e    (5)
与数学式(1)相同，在数学式(5)中，黑体的变量表示矢量，大写的变量表示矩阵。矩阵A表示照相机的内部参数矩阵，矩阵R表示照相机的旋转矩阵，矢量t表示照相机的平移矢量。再有，下标t表示是摄影了编码对象图像的照相机的参数，下标r表示是摄影了参照图像的照相机的参数。“～x”(～被标注在x的上部)表示矢量x的齐次矢量(同次矢量)。此外，“^x”(^被标注在x的上部)表示矢量x的齐次矢量中的最终成分为1的齐次矢量。
在求得DISP_V之后，求取将其各个成分整数化后所得的预测对象矢量TAR_V(步骤S44)。进行整数化的方法可以使用以下方法中的任一个：
(1)舍去小数部分的方法，
(2)进行四舍五入的方法，
但是，在进行距离图像生成的情况下，使用与在距离图像生成部104进行的图4所示的步骤S26的处理中使用的方法相同的方法。
接着，通过以下的数学式(6)求取参照对象矢量REF_V(步骤S45)。
REF_V＝TAR_V-DISP_V     (6)
然后，对于包含在blk_pos中的所有的像素p，以参照图像上的位置p+REF_V的值对视差补偿图像的位置p+TAR_V的像素值进行补偿(步骤S46)。
这里，p+REF_V不限定于表示整数像素位置。整数像素位置以外的位置的值能够根据周围的像素的值通过滤波处理等生成。此外，对于被赋予的位置，没有必要严格地求取与该位置对应的值，也可以仅求取到某种程度的小数像素位置的值，使用最接近的点的值。但是，在距离图像是在距离图像生成部104生成的情况下，使用与在图4所示的步骤S28的处理中使用的方法相同的方法。
在以上的实施例中，当使所有的块大小为1×1时，针对每个像素求取距离，但是也可以以n×m像素(n、m可变)的块分割参照图像，针对将参照图像区域分割所得的每个块设定距离(伪距离)，对表示该区域分割的信息和每个区域的距离(伪距离)进行编码。
如上所述，在针对将参照图像区域分割所得的每个块设定距离(伪距离)的情况下，当参照图像整体被区域分割且针对各个区域被进行编码处理，与其区域分割信息一起被编码时，也能够根据包含在参照图像的编码数据中的区域分割信息，设定同样的区域分割，省略表示区域分割的信息的编码。
此外，在与参照图像的编码处理块相关的区域分割、和设定上述距离的区域分割不同的情况下，在表示区域分割的信息的编码中，其中，该区域分割决定设定距离的块，仅对表示与参照图像的编码数据中包含的区域分割信息表示区域分割的不同的信息进行编码，由此，抑制码量的增加。
此外，在上述距离(伪距离)的编码中，从已完成编码的距离中选择一个参照距离，对表示该参照距离的信息、和编码对象的距离与该参照距离的差异进行编码，由此也能够抑制码量的增加。
此外，在上述距离(伪距离)的编码中，也可以将对一个参照图像赋予的伪距离组看作图像，使用JPEG等规定的图像编码方法对这些伪距离的集合进行编码。
接着，说明对以上述方式生成的编码数据进行解码的本发明的图像解码装置200。
图6是表示本发明的实施方式的图像解码装置的构成例的图。
图像解码装置200具备：距离图像解码部201，对距离图像进行解码；参照图像存储器202，存储作为参照图像的照相机A的解码图像；视差补偿图像生成部203，根据被解码的距离图像和参照图像生成视差补偿图像；以及编码对象图像解码部204，一边参照生成的视差补偿图像，一边对编码对象图像的编码数据进行解码。
图7是图像解码装置进行的图像解码处理流程图。在图7中，表示对照相机B的图像的一帧进行解码的流程图。以下，对图7所示的流程进行详细的说明。
再有，使与被解码的帧同时刻的照相机A的图像的帧先被解码，该解码图像作为参照图像被存储在参照图像存储器202中。
首先，在距离图像解码部201中对距离图像的编码数据进行解码(步骤S50)。接着，使用已解码的距离图像和存储在参照图像存储器202中的参照图像，在视差补偿图像生成部203中生成视差补偿图像(步骤S51)。最后，一边参照生成的视差补偿图像，一边在编码对象图像解码部204中对编码对象图像的编码数据进行解码(步骤S52)。
这里，在编码对象图像解码部204中进行的处理使用符合在图像编码装置100的内部的编码对象图像编码部108中使用的编码方式的方式。即，在使用在编码对象图像编码部108中对视差补偿图像和编码对象图像的差分进行编码的方式的情况下，编码对象图像解码部204对被赋予的编码数据进行解码，与生成的视差补偿图像相加，由此得到编码对象图像的解码图像。
再有，图像解码装置200内的距离图像解码部201进行与图像编码装置100内的距离图像解码部106相同的处理。
图像解码装置200内的视差补偿图像生成部203与图像编码装置100内的视差补偿图像生成部107一样，进行图5所示的处理。
在本实施方式中，采用赋予距离图像的编码数据的方式，但是在以其它方法赋予距离图像的情况下，不需要距离图像解码部201，能够省略图7的流程图中的步骤S50的处理。在此情况下，在视差补偿图像生成部203中直接使用被赋予的距离图像。
在图4的流程图的步骤S26的处理和图5的流程图的步骤S44的处理中的生成TAR_V的部分中，不仅使各个成分为整数，也可以使各个成分为与视差矢量的对应的各个成分最接近的编码处理块大小的整数倍。
这时，在图4的流程图的步骤S28的处理中，因为blk_pos+TAR_V一定表示一个编码处理块，所以求取为了对以编码对象图像的blk_pos+TAR_V表示的块进行编码所需的码量code，求取进行该编码时的原图像和解码图像的平方误差的和SSD，利用以下的数学式(7)求取diff，由此，根据实际的码量和影像品质之间的关系能够生成距离图像，因此，能够实现更高效率的编码。
diff＝SSD+λ’×code     (7)
在数学式(7)中，λ’是不定的拉格朗日乘子，能够利用预先设定的值。
再有，在本实施方式中，对编码对象图像进行摄影的照相机是1台。在照相机为2台以上的情况下，除了以下说明的处理以外，能够以相同的处理进行图像编码和解码。
在照相机为2台以上的情况下，针对每个编码对象图像进行图4所示的生成距离图像的处理的流程图中的步骤S25～步骤S28的处理，将分别求得的diff的合计值作为diff进行距离候补的评价，生成距离图像。
以上的图像编码的处理，不限于硬件、软件，通过计算机和软件程序也能够实现，既能够将该程序记录在计算机能够读取的记录介质中加以提供，也能够通过网络提供。
以上，参照附图对本发明的实施方式进行了说明，但上述实施方式仅是本发明的例示，很明显本发明并不被上述实施方式限定。因此，在不脱离本发明的宗旨和范围的范围内，能够对上述实施方式进行构成要素的追加、省略、置换等其它变更。
产业上的可利用性
利用本发明，能够根据以参照图像的整数像素为基准被赋予的编码对象图像的对应点信息，以高精度低运算成本求取与编码对象图像的整数像素的位置对应的参照图像的小数像素单位的位置，能够实现对应于更精细的视差的视差补偿，能够实现多视点活动图像整体的高效率的图像编码。

Claims (28)

1.一种图像编码方法，在对以多个照相机摄影了的多视点图像进行编码时，使用已完成编码的参照图像、和从所述多个照相机中的摄影了所述参照图像的照相机至被摄体的距离，在照相机之间一边预测图像，一边进行编码，该图像编码方法的特征在于，具有：
视差矢量设定步骤，根据对所述参照图像的各像素赋予的所述距离、和摄影了所述参照图像的照相机与摄影了编码对象图像的各照相机的位置关系，求取与所述参照图像的各像素对应的各编码对象图像上的对应点，对从所述参照图像的像素位置朝向所述编码对象图像上的对应点的像素空间上的视差矢量进行计算；
预测对象矢量设定步骤，对预测对象矢量进行计算，该预测对象矢量具有与所述视差矢量相同的始点，通过舍去所述视差矢量的各成分的小数部分或选择与各成分的值最接近的整数值，作为矢量的各成分具有将所述视差矢量的各成分舍入为整数值后所得的值；
参照对象矢量设定步骤，对参照对象矢量进行计算，该参照对象矢量具有与所述视差矢量相同的始点，并具有与所述预测对象矢量和所述视差矢量的差分矢量相同的大小和方向；以及
照相机间图像预测步骤，通过将由所述参照对象矢量表示的参照图像上的整数或小数像素位置的像素值，作为由所述预测对象矢量表示的编码对象图像上的像素的预测值，进行照相机之间的图像预测。
2.如权利要求1所述的图像编码方法，其特征在于，具有：
伪距离设定步骤，对于所述参照图像的各像素设定伪距离，该伪距离表示根据对极几何约束，从所述参照图像预测编码对象的图像时的对应点；以及
伪距离编码步骤，对在所述伪距离设定步骤中设定的伪距离进行编码，其中，
在所述视差矢量设定步骤中，使用所述伪距离作为对所述参照图像的各像素赋予的距离。
3.如权利要求2所述的图像编码方法，其特征在于，
所述伪距离设定步骤，包括：
设定像素空间上的推定视差矢量的过程，该推定视差矢量以根据推定能够取得的值而确定的推定伪距离和照相机的位置关系求取的编码对象图像上的对应点为终点，以被赋予该推定伪距离的参照图像中的像素为始点；
设定推定预测对象矢量的过程，该推定预测对象矢量通过将所述推定视差矢量的终点舍入为整数像素而获得；
设定推定参照对象矢量的过程，该推定参照对象矢量具有与所述推定视差矢量相同的始点，并且具有与所述推定预测对象矢量和所述推定视差矢量的差分矢量相同的大小和方向；以及
将所述推定伪距离作为所述伪距离进行设定的过程，所述推定伪距离是将使用上述推定预测对象矢量和上述推定参照对象矢量进行的照相机间的图像预测的处理，对摄影了完全相同的状态的被摄体的各编码对象图像进行时的、预测误差的合计变为最小的情况下的推定伪距离。
4.如权利要求3所述的图像编码方法，其特征在于，
在所述伪距离设定步骤中，设定所述伪距离，使得由所述预测误差的合计值、与对所述推定伪距离进行编码所需的码量乘以权重所得的值的和所表示的速率失真成本最小。
5.如权利要求2所述的图像编码方法，其特征在于，
具有：已完成编码伪距离解码步骤，对在所述伪距离编码步骤中已被编码的伪距离的编码数据进行解码，
在所述视差矢量设定步骤中，使用在所述已完成编码伪距离解码步骤中解码所得的解码伪距离作为对所述参照图像的各像素赋予的距离。
6.如权利要求2所述的图像编码方法，其特征在于，
具有：区域分割设定步骤，设定参照图像的区域分割，
在所述伪距离设定步骤中，针对在所述区域分割设定步骤中设定的区域的每一个设定所述伪距离，
在所述伪距离编码步骤中，针对在所述区域分割设定步骤中设定的区域的每一个对所述伪距离进行编码。
7.如权利要求6所述的图像编码方法，其特征在于，还具有：
区域分割编码步骤，对表示在所述区域分割设定步骤中设定的区域分割的信息进行编码。
8.如权利要求6所述的图像编码方法，其特征在于，
在所述参照图像的图像整体被区域分割，各个区域的每一个与其区域分割信息一起被编码的情况下，
在所述区域分割设定步骤中，根据包含在参照图像的编码数据中的区域分割信息，设定同样的区域分割。
9.如权利要求7所述的图像编码方法，其特征在于，
在所述参照图像的图像整体被区域分割，各个区域的每一个与其区域分割信息一起被编码的情况下，
在所述区域分割编码步骤中，仅对表示与包含在参照图像的编码数据中的区域分割信息所示的区域分割的不同的信息进行编码。
10.如权利要求2所述的图像编码方法，其特征在于，
在所述伪距离编码步骤中，从已完成编码的伪距离中选择一个参照伪距离，对表示该参照伪距离的信息、与在所述伪距离设定步骤中设定的伪距离和该参照伪距离的差异进行编码。
11.如权利要求2所述的图像编码方法，其特征在于，
在所述伪距离编码步骤中，将对一个参照图像设定的伪距离组看作图像，使用规定的图像编码方法对这些伪距离的集合进行编码。
12.如权利要求1所述的图像编码方法，其特征在于，
在所述预测对象矢量设定步骤中，使各成分具有与所述视差矢量的各成分最接近的编码处理块大小的整数倍的值的矢量作为预测对象矢量。
13.一种图像解码方法，在对由多个照相机摄影了的多视点图像的编码数据进行解码时，使用已解码的参照图像、和从所述多个照相机中的摄影了所述参照图像的照相机至被摄体的距离，在照相机之间一边预测图像，一边对图像进行解码，该图像解码方法的特征在于，具有：
视差矢量设定步骤，根据对所述参照图像的各像素赋予的所述距离、和摄影了所述参照图像的照相机与摄影了解码对象图像的各照相机的位置关系，求取各解码对象图像上的对应点，对从所述参照图像的像素位置朝向所述解码对象图像上的对应点的像素空间上的视差矢量进行计算；
预测对象矢量设定步骤，对预测对象矢量进行计算，该预测对象矢量具有与所述视差矢量相同的始点，通过舍去所述视差矢量的各成分的小数部分或选择与各成分的值最接近的整数值，作为矢量的各成分具有将所述视差矢量的各成分舍入为整数值后所得的值；
参照对象矢量设定步骤，对参照对象矢量进行计算，该参照对象矢量具有与所述视差矢量相同的始点，并具有与所述预测对象矢量和所述视差矢量的差分矢量相同的大小和方向；以及
照相机间图像预测步骤，通过将由所述参照对象矢量表示的参照图像上的整数或小数像素位置的像素值，作为由所述预测对象矢量表示的解码对象图像上的像素的预测值，进行照相机之间的图像预测。
14.如权利要求13所述的图像解码方法，其特征在于，
具有：伪距离解码步骤，从编码数据对伪距离进行解码，其中，该伪距离根据对极几何约束表示从所述参照图像预测解码对象图像时的对应点，
在所述视差矢量设定步骤中，使用所述伪距离作为对所述参照图像的各像素赋予的距离。
15.如权利要求13所述的图像解码方法，其特征在于，
具有：区域分割解码步骤，从编码数据对表示参照图像的区域分割的信息进行解码，
在所述伪距离解码步骤中，对针对在所述区域分割解码步骤中解码的信息所表示的每个区域赋予的伪距离进行解码。
16.如权利要求15所述的图像解码方法，其特征在于，
在所述参照图像的图像整体被区域分割，各个区域的每一个与其区域分割信息一起被编码的情况下，
在所述区域分割解码步骤中，对包含在参照图像的编码数据中的区域分割信息进行解码。
17.如权利要求15所述的图像解码方法，其特征在于，
在所述参照图像的图像整体被区域分割，各个区域的每一个与其区域分割信息一起被编码的情况下，
在所述区域分割解码步骤中，仅对表示与包含在参照图像的编码数据中的区域分割信息所示的区域分割的不同的信息进行解码，使用包含在参照图像的编码数据中的区域分割信息和表示所述不同的信息设定区域分割。
18.如权利要求14所述的图像解码方法，其特征在于，
在所述伪距离解码步骤中，从编码数据对表示已完成编码的多个伪距离中的一个参照伪距离的信息，和表示解码对象的伪距离与所述参照伪距离的差异的信息进行解码，对所述伪距离进行解码。
19.如权利要求14所述的图像解码方法，其特征在于，
在所述伪距离解码步骤中，将对一个参照图像赋予的伪距离组看作图像，从编码数据使用规定的图像解码方法对所述伪距离组进行解码。
20.如权利要求13所述的图像解码方法，其特征在于，
在所述预测对象矢量设定步骤中，使各成分具有与所述视差矢量的各成分最接近的解码处理块大小的整数倍的值的矢量为预测对象矢量。
21.一种图像编码装置，其特征在于，具备：
用于执行权利要求1所述的图像编码方法中的各步骤的单元。
22.一种图像编码装置，其特征在于，设置有：
用于执行权利要求2所述的图像编码方法中的各步骤的单元。
23.一种图像编码程序，其特征在于，
用于使计算机执行权利要求1所述的图像编码方法中的各步骤。
24.一种图像编码程序，其特征在于，
用于使计算机执行权利要求2所述的图像编码方法中的各步骤。
25.一种计算机能够读取的记录介质，其特征在于，
记录有用于使计算机执行权利要求1所述的图像编码方法中的各步骤的图像编码程序。
26.一种图像解码装置，其特征在于，具备：
用于执行权利要求13所述的图像解码方法中的各步骤的单元。
27.一种图像解码程序，其特征在于，
用于使计算机执行权利要求13所述的图像解码方法中的各步骤。
28.一种计算机能够读取的记录介质，其特征在于，
记录有用于使计算机执行权利要求13所述的图像解码方法中的各步骤的图像解码程序。
CN2007800342670A 2006-09-20 2007-09-18 图像编码方法及解码方法、图像编码装置及解码装置 Active CN101518090B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP253845/2006 2006-09-20
JP2006253845 2006-09-20
PCT/JP2007/068065 WO2008035665A1 (fr) 2006-09-20 2007-09-18 procédé DE CODAGE D'IMAGE, PROCÉDÉ DE DÉCODAGE, DISPOSITIF associÉ, DISPOSITIF DE DÉCODAGE D'IMAGE, programme associÉ, et support de stockage contenant le programme

Publications (2)

Publication Number Publication Date
CN101518090A true CN101518090A (zh) 2009-08-26
CN101518090B CN101518090B (zh) 2011-11-16

Family

ID=39200491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800342670A Active CN101518090B (zh) 2006-09-20 2007-09-18 图像编码方法及解码方法、图像编码装置及解码装置

Country Status (10)

Country Link
US (2) US8290289B2 (zh)
EP (1) EP2066133A4 (zh)
JP (1) JP4999854B2 (zh)
KR (1) KR101023262B1 (zh)
CN (1) CN101518090B (zh)
BR (1) BRPI0716810A2 (zh)
CA (1) CA2663672C (zh)
RU (1) RU2407220C2 (zh)
TW (1) TWI346509B (zh)
WO (1) WO2008035665A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103098475A (zh) * 2010-09-29 2013-05-08 日本电信电话株式会社 图像编码方法和装置、图像解码方法和装置以及它们的程序
CN103404150A (zh) * 2011-03-14 2013-11-20 日本电信电话株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序及图像解码程序
CN104854862A (zh) * 2012-12-27 2015-08-19 日本电信电话株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
CN103118256B (zh) * 2013-01-29 2017-02-15 北京大学深圳研究生院 基于方向和距离判别的运动矢量预测方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5219199B2 (ja) * 2008-07-11 2013-06-26 日本電信電話株式会社 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP5024962B2 (ja) * 2008-07-11 2012-09-12 日本電信電話株式会社 多視点距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
EP2329653B1 (en) 2008-08-20 2014-10-29 Thomson Licensing Refined depth map
CN102272778B (zh) 2009-01-07 2015-05-20 汤姆森特许公司 联合深度估计
JP5307896B2 (ja) * 2009-08-20 2013-10-02 トムソン ライセンシング ステレオ画像符号化方法、ステレオ画像符号化装置及びステレオ画像符号化プログラム
JP2011082683A (ja) * 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
KR20120084775A (ko) * 2009-10-30 2012-07-30 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 입체 디스플레이 시스템
KR101594048B1 (ko) * 2009-11-09 2016-02-15 삼성전자주식회사 카메라들의 협력을 이용하여 3차원 이미지를 생성하는 방법 및 상기 방법을 위한 장치
US20120320153A1 (en) * 2010-02-25 2012-12-20 Jesus Barcons-Palau Disparity estimation for stereoscopic subtitling
KR101628383B1 (ko) * 2010-02-26 2016-06-21 연세대학교 산학협력단 영상 처리 장치 및 방법
JP5248583B2 (ja) 2010-12-13 2013-07-31 株式会社東芝 動画像復号装置及び動画像復号方法
JP5092011B2 (ja) 2010-12-17 2012-12-05 株式会社東芝 動画像復号装置及び動画像復号方法
RU2480941C2 (ru) * 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
CN107274475A (zh) * 2011-03-18 2017-10-20 索尼公司 图像处理设备、图像处理方法和计算机可读存储介质
US9648334B2 (en) 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
WO2013002342A1 (ja) * 2011-06-30 2013-01-03 ソニー株式会社 画像処理装置および方法
JP5749595B2 (ja) * 2011-07-27 2015-07-15 日本電信電話株式会社 画像伝送方法、画像伝送装置、画像受信装置及び画像受信プログラム
JP2013110643A (ja) * 2011-11-22 2013-06-06 Sharp Corp 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置およびそれらのプログラム
BR122020008353B1 (pt) * 2011-12-28 2022-05-10 JVC Kenwood Corporation Dispositivo de codificação de foto em movimento e método de codificação de foto em movimento
JP2013258577A (ja) * 2012-06-13 2013-12-26 Canon Inc 撮像装置、撮像方法及びプログラム、画像符号化装置、画像符号化方法及びプログラム
JP5531282B2 (ja) * 2012-06-18 2014-06-25 日本電信電話株式会社 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
US9667942B2 (en) * 2012-11-20 2017-05-30 Qualcomm Incorporated Adaptive luminance compensation in three dimensional video coding
US9350970B2 (en) 2012-12-14 2016-05-24 Qualcomm Incorporated Disparity vector derivation
CN107318027B (zh) 2012-12-27 2020-08-28 日本电信电话株式会社 图像编码/解码方法、图像编码/解码装置、以及图像编码/解码程序
US10027947B2 (en) * 2013-06-05 2018-07-17 Sony Corporation Image processing apparatus and image processing method
EP3142366A1 (en) 2015-09-14 2017-03-15 Thomson Licensing Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product
US9716875B2 (en) * 2015-09-18 2017-07-25 Intel Corporation Facilitating quantization and compression of three-dimensional graphics data using screen space metrics at computing devices
EP3171598A1 (en) * 2015-11-19 2017-05-24 Thomson Licensing Methods and devices for encoding and decoding a matrix of views obtained from light-field data, corresponding computer program and non-transitory program storage device
EP3383035A1 (en) * 2017-03-29 2018-10-03 Koninklijke Philips N.V. Image generation from video
JP7168848B2 (ja) * 2018-11-21 2022-11-10 日本電信電話株式会社 評価装置、評価方法、及びプログラム。
US10638130B1 (en) * 2019-04-09 2020-04-28 Google Llc Entropy-inspired directional filtering for image coding

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2030119C1 (ru) 1991-04-19 1995-02-27 Смирнов Александр Иванович Устройство формирования стереотелевизионного изображения подвижного объекта
US5790086A (en) 1995-01-04 1998-08-04 Visualabs Inc. 3-D imaging system
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JP3693407B2 (ja) * 1996-04-04 2005-09-07 シャープ株式会社 多視点画像符号化装置および復号装置
FR2756399B1 (fr) 1996-11-28 1999-06-25 Thomson Multimedia Sa Procede et dispositif de compression video pour images de synthese
JP4013286B2 (ja) * 1997-01-22 2007-11-28 松下電器産業株式会社 画像符号化装置と画像復号化装置
JP3519594B2 (ja) * 1998-03-03 2004-04-19 Ｋｄｄｉ株式会社 ステレオ動画像用符号化装置
WO1999058927A1 (en) * 1998-05-08 1999-11-18 Sony Corporation Image generating device and method
JP4608136B2 (ja) 2001-06-22 2011-01-05 オリンパス株式会社 動きベクトル及び視差ベクトル検出装置
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
CN1204757C (zh) * 2003-04-22 2005-06-01 上海大学 一种立体视频流编码/解码器及其立体视频编解码系统
US7778328B2 (en) 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
JP4937741B2 (ja) 2005-01-07 2012-05-23 日本電信電話株式会社 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
JP2006253845A (ja) 2005-03-08 2006-09-21 Ricoh Co Ltd 画像処理システム、画像処理装置、設定変更方法、設定変更プログラム、および該プログラムを記録した記録媒体
KR101276720B1 (ko) * 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
CN100463527C (zh) * 2005-10-18 2009-02-18 宁波大学 一种多视点视频图像视差估计的方法
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
TW200806040A (en) * 2006-01-05 2008-01-16 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
US8548064B2 (en) * 2006-01-05 2013-10-01 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method by using selected parallax for parallax compensation, apparatuses therefor, programs therefor, and storage media for storing the programs
WO2008010929A2 (en) * 2006-07-18 2008-01-24 Thomson Licensing Methods and apparatus for adaptive reference filtering

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103098475A (zh) * 2010-09-29 2013-05-08 日本电信电话株式会社 图像编码方法和装置、图像解码方法和装置以及它们的程序
CN103098475B (zh) * 2010-09-29 2016-06-01 日本电信电话株式会社 图像编码方法和装置、图像解码方法和装置
CN103404150A (zh) * 2011-03-14 2013-11-20 日本电信电话株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序及图像解码程序
CN104854862A (zh) * 2012-12-27 2015-08-19 日本电信电话株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
CN103118256B (zh) * 2013-01-29 2017-02-15 北京大学深圳研究生院 基于方向和距离判别的运动矢量预测方法

Also Published As

Publication number Publication date
RU2407220C2 (ru) 2010-12-20
JPWO2008035665A1 (ja) 2010-01-28
KR101023262B1 (ko) 2011-03-21
JP4999854B2 (ja) 2012-08-15
US20130058584A1 (en) 2013-03-07
CN101518090B (zh) 2011-11-16
CA2663672A1 (en) 2008-03-27
BRPI0716810A2 (pt) 2013-11-05
US20100021072A1 (en) 2010-01-28
EP2066133A4 (en) 2015-11-18
US8290289B2 (en) 2012-10-16
RU2009109204A (ru) 2010-09-20
WO2008035665A1 (fr) 2008-03-27
TW200822762A (en) 2008-05-16
EP2066133A1 (en) 2009-06-03
KR20090053820A (ko) 2009-05-27
CA2663672C (en) 2014-08-12
TWI346509B (en) 2011-08-01

Similar Documents

Publication Publication Date Title
CN101518090B (zh) 图像编码方法及解码方法、图像编码装置及解码装置
US11412137B2 (en) Image data encoding/decoding method and apparatus
JP5234586B2 (ja) 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
US11539979B2 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
CN101536529B (zh) 图像编码方法和解码方法、其装置
JP6232076B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
US11831915B1 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
CN104871534A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
JP6232075B2 (ja) 映像符号化装置及び方法、映像復号装置及び方法、及び、それらのプログラム
JP5759357B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
US20240357168A1 (en) Image data encoding/decoding method and apparatus
Harshalatha et al. Joint Bit Allocation for 3D Video with Nonlinear Depth Distortion—An SSIM-Based Approach

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant