CN107318027B - 图像编码/解码方法、图像编码/解码装置、以及图像编码/解码程序 - Google Patents

图像编码/解码方法、图像编码/解码装置、以及图像编码/解码程序 Download PDF

Info

Publication number
CN107318027B
CN107318027B CN201710701442.2A CN201710701442A CN107318027B CN 107318027 B CN107318027 B CN 107318027B CN 201710701442 A CN201710701442 A CN 201710701442A CN 107318027 B CN107318027 B CN 107318027B
Authority
CN
China
Prior art keywords
image
region
depth
decoding
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710701442.2A
Other languages
English (en)
Other versions
CN107318027A (zh
Inventor
志水信哉
杉本志织
木全英明
小岛明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN107318027A publication Critical patent/CN107318027A/zh
Application granted granted Critical
Publication of CN107318027B publication Critical patent/CN107318027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

公开了图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序。图像编码/解码装置在对由多个不同的视点的图像构成的多视点图像进行编码/解码时，使用针对与处理对象图像不同的视点的参照图像和作为针对参照图像中的被摄体的深度图的参照深度图来一边在不同的视点之间对图像进行预测一边进行编码/解码，所述图像编码/解码装置具有：参照深度区域设定部，针对分割了处理对象图像的处理对象区域设定作为参照深度图上的对应区域的参照深度区域；以及视点间预测部，将参照深度区域中的深度信息作为针对处理对象区域的深度信息，根据参照图像来生成针对处理对象区域的视点间预测图像。

Description

图像编码/解码方法、图像编码/解码装置、以及图像编码/解 码程序
技术领域
本发明涉及对多视点图像进行编码和解码的图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序。
本申请是优先权为在2012年12月27日向日本申请的特愿2012-284616号的、于2015年6月25日进入中国国家阶段的中国专利申请No.201380068069.1的分案申请。
背景技术
历来，已知有由用多个摄像机对相同的被摄体和背景进行拍摄的多个图像构成的多视点图像（Multiview images：多视点图像）。将该用多个摄像机拍摄的活动图像称为多视点活动图像（或多视点视频）。在以下的说明中，将用一个摄像机拍摄的图像（活动图像）称为“二维图像（活动图像）”，将用位置、方向（以下，称为视点）不同的多个摄像机对相同的被摄体和背景进行拍摄的二维图像（二维活动图像）组称为“多视点图像（多视点活动图像）”。
二维活动图像关于时间方向存在强的相关性，能够通过利用该相关性来提高编码效率。另一方面，在多视点图像、多视点活动图像中，在各摄像机同步的情况下，与各摄像机的视频的相同时刻对应的帧（图像）为从其他的位置对完全相同状态的被摄体和背景进行拍摄的帧（图像），因此，在摄像机之间（相同时刻的不同的二维图像之间）存在强的相关性。在多视点图像、多视点活动图像的编码中，能够通过利用该相关性来提高编码效率。
在此，对二维活动图像的编码技术相关的现有技术进行说明。在包括作为国际编码标准的H.264、MPEG-2、MPEG-4的现有的许多的二维活动图像编码方式中，利用运动补偿预测、正交变换、量化、熵编码这样的技术来进行高效率的编码。例如，在H.264中，能够实现利用与过去或未来的多个帧的时间相关性的编码。
例如，在非专利文献1中记载了在H.264中使用的运动补偿预测技术的细节。对在H.264中使用的运动补偿预测技术的概要进行说明。H.264的运动补偿预测许可将编码对象帧分割为各种尺寸的块而具有按照各块不同的运动矢量和不同的参照帧。通过使用按照各块不同的运动矢量来实现对按照每个被摄体不同的运动进行了补偿的精度高的预测。另一方面，通过使用按照各块不同的参照帧来实现考虑了由于时间变化而产生的遮挡的精度高的预测。
接着，对历来的多视点图像、多视点活动图像的编码方式进行说明。多视点图像的编码方法和多视点活动图像的编码方法的不同在于，在多视点活动图像中，除了摄像机之间的相关性之外，还同时存在时间方向的相关性。但是，无论在哪种情况下，都能够通过相同的方法利用摄像机之间的相关性。因此，在此，对在多视点活动图像的编码中使用的方法进行说明。
关于多视点活动图像的编码，历来存在通过为了利用摄像机之间的相关性而将运动补偿预测应用于相同时刻的用不同的摄像机拍摄的图像的“视差补偿预测”来高效率地对多视点活动图像进行编码的方式。在此，视差是指在配置于不同位置的摄像机的图像平面上被摄体上的相同部分存在的位置之差。图15是示出在摄像机之间产生的视差的概念图。在图15所示的概念图中，为垂直地俯视光轴平行的摄像机的图像平面的图。像这样，被摄体上的相同部分投影在不同的摄像机的图像平面上的位置一般被称为对应点。
在视差补偿预测中，基于该对应关系根据参照帧来预测编码对象帧的各像素值，对其预测残差和示出对应关系的视差信息进行编码。视差按照成为对象的每个摄像机对、每个位置而变化，因此，需要按照进行视差补偿预测的每个区域对视差信息进行编码。实际上，在H.264的多视点活动图像编码方式中，按照使用视差补偿预测的每个块对表示视差信息的矢量进行编码。
由视差信息提供的对应关系能够通过使用摄像机参数基于对极几何约束不是由二维矢量而是由示出被摄体的三维位置的一维量来表示。作为示出被摄体的三维位置的信息存在各种表现，但是使用从成为基准的摄像机到被摄体的距离、与摄像机的图像平面不平行的轴上的坐标值的情况较多。再有，还存在不是使用距离而是使用距离的倒数的情况。此外，距离的倒数为与视差成比例的信息，因此，还存在设定两个成为基准的摄像机而表现为用这些摄像机拍摄的图像之间的视差量的情况。无论使用怎样的表现，都没有本质上的不同，因此，在以下，不进行根据表现的区别而将这些示出三维位置的信息表现为深度。
图16是对极几何约束的概念图。根据对极几何约束，与某一摄像机的图像上的点对应的其他的摄像机的图像上的点被约束在对极线这样的直线上。此时，在得到了针对其像素的深度的情况下，对应点在对极线上唯一地确定。例如，如图16所示，关于针对在第一摄像机图像中投影在m的位置的被摄体的第二摄像机图像中的对应点，在实空间的被摄体的位置为M’的情况下投影在对极线上的位置m’，在实空间的被摄体的位置为M’’的情况下投影在对极线上的位置m’’。
在非专利文献2中，利用该性质依照由针对参照帧的深度图（距离图像）提供的各被摄体的三维信息根据参照帧来合成针对编码对象帧的预测图像，由此，生成精度高的预测图像，实现高效的多视点活动图像的编码。再有，基于该深度而生成的预测图像被称为视点合成图像、视点内插图像或视差补偿图像。
进而，在专利文献1中，最初将针对参照帧的深度图变换为针对编码对象帧的深度图，使用该变换后的深度图来求取对应点，由此，能够仅针对需要的区域生成视点合成图像。由此，在按照成为编码对象或解码对象的帧的每个区域一边切换生成预测图像的方法一边对图像或活动图像进行编码或解码的情况下，实现了用于生成视点合成图像的处理量、用于临时积累视点合成图像的存储器量的削减。
现有技术文献
专利文献
专利文献1：日本特开2010-21844号公报；
非专利文献
非专利文献1：ITU-T Recommendation H.264(03/2009), “Advanced videocoding for generic audiovisual services”, March, 2009.
非专利文献2：Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA andYoshiyuki YASHIMA, “Multi-view Video Coding based on 3-D Warping with DepthMap”, In Proceedings of Picture Coding Symposium 2006, SS3-6, April, 2006。
发明内容
发明要解决的课题
根据专利文献1所记载的方法，由于针对编码对象帧得到深度，所以能够根据码对象帧的像素求取参照帧上的对应的像素。由此，在通过仅针对编码对象帧的指定的区域生成视点合成图像而仅在编码对象帧的一部分的区域中需要视点合成图像的情况下，与总是生成1帧量的视点合成图像的情况相比，能够削减处理量、要求的存储器的量。
然而，在针对编码对象帧的全部需要视点合成图像的情况下，存在如下问题：由于产生根据针对参照帧的深度图来合成针对编码对象帧的深度图的需要，所以与根据针对参照帧的深度图直接生成视点合成图像的情况相比，其处理量增加。
本发明鉴于这样的情况而完成，其目的在于提供一种能够在生成处理对象帧的视点合成图像时抑制视点合成图像的品质降低并以少的运算量生成视点合成图像的图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序。
用于解决课题的方案
本发明是一种图像解码装置，在根据由多个不同的视点的图像构成的多视点图像的码数据对解码对象图像进行解码时，使用针对与解码对象图像不同的视点的解码完毕的参照图像和作为针对所述参照图像中的被摄体的深度图的参照深度图来一边在不同的视点之间对图像进行预测一边进行解码，所述图像解码装置具备：参照深度区域设定部，针对分割了所述解码对象图像的解码对象区域设定作为所述参照深度图上的对应区域的参照深度区域；以及视点间预测部，将所述参照深度区域中的深度信息作为针对所述解码对象区域的深度信息，根据所述参照图像来生成针对所述解码对象区域的视点间预测图像。
本发明的图像解码装置可以还具有：深度参照视差矢量设定部，所述深度参照视差矢量设定部针对所述解码对象区域设定作为针对参照深度图的视差矢量的深度参照视差矢量，在所述参照深度设定部中，可以将由所述深度参照视差矢量所示的区域设定为所述参照深度区域。
在本发明的图像解码装置中，在所述深度参照视差矢量设定部中，可以使用对与所述解码对象区域相邻的区域进行解码时使用的视差矢量来设定所述深度参照视差矢量。
在本发明的图像解码装置中，在所述深度参照视差矢量设定部中，可以使用针对与所述解码对象区域相同位置的所述参照深度图上的区域的深度信息来设定所述深度参照视差矢量。
在本发明的图像解码装置中，在所述视点间预测部中，可以按照分割了所述解码对象区域的每个预测区域使用对应的所述参照深度区域内的深度信息来设定代表深度，也可以根据该代表深度和所述参照图像来生成视点合成图像，由此，生成针对所述解码对象区域的视点间预测图像。
在本发明的图像解码装置中，在所述视点间预测部中，可以按照分割了所述解码对象区域的每个预测区域使用对应的所述参照深度区域内的深度信息来设定作为针对所述参照图像的视差矢量的图像参照视差矢量，也可以使用该图像参照视差矢量和所述参照图像来生成视差补偿图像，由此，生成针对所述解码对象区域的视点间预测图像。
本发明的图像解码装置可以还具有：图像参照视差矢量积累部，对所述图像参照视差矢量进行积累；以及视差预测部，使用所述积累的图像参照视差矢量来生成针对与所述解码对象区域相邻的区域的预测视差信息。
在本发明的图像解码装置中，在所述视差预测部中，可以生成针对与所述解码对象区域相邻的区域的深度参照视差矢量。
在本发明的图像解码装置中，可以还具有：补正视差矢量部，所述补正视差矢量部设定作为对所述图像参照视差矢量进行补正的矢量的补正视差矢量，在所述视点间预测部中，可以使用通过所述补正视差矢量对所述图像参照视差矢量进行补正后的矢量和所述参照图像来生成视差补偿图像，由此，生成所述视点间预测图像。
在本发明的图像解码装置中，在所述补正视差矢量设定部中，可以针对所述解码对象区域将一个矢量设定为所述补正视差矢量。
在本发明的图像解码装置中，可以还具有：预测区域分割设定部，所述预测区域分割设定部基于所述参照深度区域内的深度信息来设定所述解码对象区域内的区域分割，在所述视点间预测部中，可以将依照所述区域分割而得到的区域作为所述预测区域。
本发明是一种图像解码方法，在根据由多个不同的视点的图像构成的多视点图像的码数据对解码对象图像进行解码时，使用针对与解码对象图像不同的视点的解码完毕的参照图像和作为针对所述参照图像中的被摄体的深度图的参照深度图来一边在不同的视点之间对图像进行预测一边进行解码，所述图像解码方法具有：参照深度区域设定步骤，在其中，针对分割了所述解码对象图像的解码对象区域设定作为所述参照深度图上的对应区域的参照深度区域；以及视点间预测步骤，在其中，将所述参照深度区域中的深度信息作为针对所述解码对象区域的深度信息，根据所述参照图像来生成针对所述解码对象区域的视点间预测图像。
本发明是一种图像编码装置，在对由多个不同的视点的图像构成的多视点图像进行编码时，使用针对与编码对象图像不同的视点的编码完毕的参照图像和作为针对所述参照图像中的被摄体的深度图的参照深度图来一边在不同的视点之间对图像进行预测一边进行编码，所述图像编码装置具备：参照深度区域设定部，针对分割了所述编码对象图像的编码对象区域设定作为所述参照深度图上的对应区域的参照深度区域；以及视点间预测部，将所述参照深度区域中的深度信息作为针对所述编码对象区域的深度信息，根据所述参照图像来生成针对所述编码对象区域的视点间预测图像。
本发明是一种图像编码方法，在对由多个不同的视点的图像构成的多视点图像进行编码时，使用针对与编码对象图像不同的视点的编码完毕的参照图像和作为针对所述参照图像中的被摄体的深度图的参照深度图来一边在不同的视点之间对图像进行预测一边进行编码，所述图像编码方法具有：参照深度区域设定步骤，在其中，针对分割了所述编码对象图像的编码对象区域设定作为所述参照深度图上的对应区域的参照深度区域；以及视点间预测步骤，在其中，将所述参照深度区域中的深度信息作为针对所述编码对象区域的深度信息，根据所述参照图像来生成针对所述编码对象区域的视点间预测图像。
本发明是一种用于使计算机执行前述图像编码方法的图像编码程序。
本发明是一种用于使计算机执行前述图像解码方法的图像解码程序。
发明效果
根据本发明，能得到如下的效果：在使用针对处理对象帧以外的深度图来生成处理对象帧的视点合成图像时，直接参照并使用针对处理对象帧以外的深度图，由此，能够省略针对处理对象帧生成深度图的处理，以少的运算量生成视点合成图像。
附图说明
图1是示出本发明的一个实施方式中的图像编码装置的框图。
图2是示出图1所示的图像编码装置的工作的流程图。
图3是示出图2所示的生成针对块blk的视点合成图像的处理（步骤S14）的详细的处理工作的流程图。
图4是示出图1所示的图像编码装置的变形例的框图。
图5是示出图1所示的图像编码装置的工作的变形例的流程图。
图6是示出图1所示的图像编码装置的其他的变形例的框图。
图7是示出本发明的一个实施方式中的图像解码装置的框图。
图8是示出图7所示的图像解码装置的工作的流程图。
图9是示出图7所示的图像解码装置的变形例的框图。
图10是示出图7所示的图像解码装置的工作的变形例的流程图。
图11是示出图7所示的图像解码装置的工作的其他的变形例的流程图。
图12是示出图7所示的图像解码装置的其他的变形例的框图。
图13是示出由计算机和软件程序构成图像编码装置的情况下的硬件结构的框图。
图14是示出由计算机和软件程序构成图像解码装置的情况下的硬件结构的框图。
图15是示出在摄像机之间产生的视差的概念图。
图16是示出对极几何约束的概念图。
具体实施方式
以下，参照附图来说明本发明的实施方式的图像编码装置和图像解码装置。在以下的说明中，设想对由第一摄像机（称为摄像机A）、第二摄像机（称为摄像机B）两个摄像机拍摄的多视点图像进行编码的情况，将摄像机A的图像作为参照图像并将摄像机B的图像作为编码或解码的图像来说明。
再有，另外提供为了根据深度信息得到视差而需要的信息。具体而言，为表示摄像机A和摄像机B的位置关系的外部参数、表示由摄像机向图像平面的投影信息的内部参数，但是，即使为这些以外的方式，只要能根据深度信息得到视差，则也可以提供其他的信息。例如，在文献“Oliver Faugeras, “Three-Dimension Computer Vision”, MIT Press;BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.”中记载了这些摄像机参数相关的详细的说明。在该文献中记载了示出多个摄像机的位置关系的参数、表示由摄像机向图像平面的投影信息的参数相关的说明。
在以下的说明中，针对图像、视频帧、深度图附加由记号[]夹着的能确定位置的信息（坐标值或能与坐标值相对应的索引），由此，示出通过该位置的像素采样的图像信号、针对其的深度。此外，通过能与坐标值、块相对应的索引值和矢量的相加，从而使该坐标、块为表示错开了矢量的量的位置的坐标值、块。
图1是示出本实施方式中的图像编码装置的结构的框图。图像编码装置100如图1所示那样具备：编码对象图像输入部101、编码对象图像存储器102、参照图像输入部103、参照图像存储器104、参照深度图输入部105、参照深度图存储器106、视差矢量设定部107、视点合成图像生成部108、以及图像编码部109。
编码对象图像输入部101输入成为编码对象的图像。在以下，将该成为编码对象的图像称为编码对象图像。在此，输入摄像机B的图像。此外，将对编码对象图像进行拍摄的摄像机（在此，为摄像机B）称为编码对象摄像机。
编码对象图像存储器102存储输入的编码对象图像。参照图像输入部103输入在生成视点合成图像（视差补偿图像）时参照的图像。在以下，将在此输入的图像称为参照图像。在此，输入摄像机A的图像。
参照图像存储器104存储所输入的参照图像。在以下，将对参照图像进行拍摄的摄像机（在此为摄像机A）称为参照摄像机。
参照深度图输入部105输入在生成视点合成图像时参照的深度图。在此，输入针对参照图像的深度图，但是，也可以为针对其他的摄像机的深度图。在以下，将该深度图称为参照深度图。
深度图表示在对应的图像的各像素中映现的被摄体的三维位置。只要能通过另外提供的摄像机参数等信息而得到三维位置，则无论是怎样的信息都可以。例如，能够使用从摄像机到被摄体的距离、针对与图像平面不平行的轴的坐标值、针对其他的摄像机（例如摄像机B）的视差量。此外，在此，由于只要能得到视差量就可以，所以不是使用深度图而是使用直接表现视差量的视差图也可以。再有，在此，作为深度图而以图像的方式进行传递，但是，只要能得到同样的信息，则不是图像的方式也可以。参照深度图存储器106存储所输入的参照深度图。在以下，将与参照深度图对应的摄像机（在此为摄像机A）称为参照深度摄像机。
视差矢量设定部107按照编码对象帧或分割了编码对象帧的每个块设定针对参照深度图的视差矢量。视点合成图像生成部108（视点间预测部）使用参照深度图来求取编码对象图像的像素与参照图像的像素的对应关系，生成针对编码对象图像的视点合成图像。图像编码部109使用视点合成图像针对编码对象图像进行预测编码，并输出作为码数据的位流。
接着，参照图2来说明图1所示的图像编码装置100的工作。图2是示出图1所示的图像编码装置100的工作的流程图。编码对象图像输入部101输入编码对象图像，并存储在编码对象图像存储器102中（步骤S11）。接着，参照图像输入部103输入参照图像，并存储在参照图像存储器104中。与此并行地，参照深度图输入部105输入参照深度图，并存储在参照深度图存储器106中（步骤S12）。
在步骤S12中输入的参照图像、参照深度图为与对已经编码完毕的信息解码后的信息等能在解码侧得到的信息相同的信息。这是因为，通过使用与能在解码装置中得到的信息完全相同的信息来抑制漂移等编码噪声的产生。但是，在容许这样的编码噪声的产生的情况下，也可以输入编码前的信息等只能在编码侧得到的信息。关于参照深度图，除了对已经编码完毕的信息进行解码的信息以外，还能够将通过对针对多个摄像机解码的多视点图像应用立体声匹配等而估计的深度图、使用解码后的视差矢量、运动矢量等而估计的深度图等用作能在解码侧得到相同的信息的信息。
接着，图像编码装置100按照分割了编码对象图像的每个块一边制作视点合成图像一边对编码对象图像进行编码。即，在将示出编码对象图像的块的索引的变量blk初始化为0之后（步骤S13），一边对blk每次加一（步骤S16）一边重复以下的处理（步骤S14、步骤S15）直到blk变为numBlks（步骤S17）。再有，numBlks表示编码对象图像中的进行编码处理的单位块的个数。
在按照编码对象图像的每个块进行的处理中，首先，在视差矢量设定部107和视点合成图像生成部108中，生成针对块blk的视点合成图像（步骤S14）。在后文详细地说明此处的处理。
接着，在得到了视点合成图像之后，图像编码部109将视点合成图像作为预测图像，对编码对象图像进行预测编码并输出（步骤S15）。编码的结果所得的位流成为图像编码装置100的输出。再有，只要能够在解码侧正确地解码，则无论对编码使用怎样的方法都可以。
在MPEG-2、H.264、JPEG等一般的活动图像编码或图像编码中，按照每个块，生成编码对象图像与预测图像的差分信号，针对差分图像施行DCT等频率变换，对其结果所得的值按顺序应用量化、二值化、熵编码的处理，由此，进行编码。
在本实施方式中，在全部的块中将视点合成图像用作预测图像，但是，也可以将按照每个块用不同的方法生成的图像用作预测图像。在该情况下，需要能够在解码侧判别将用哪个方法生成的图像用作了预测图像。例如，可以如H.264那样对示出了生成预测图像的方法（模式、矢量信息等）的信息进行编码并包括于位流，由此，能够在解码侧进行判断。
接着，参照图3来说明图1所示的视差矢量设定部107和视点合成图像生成部108的处理工作。图3是示出图2所示的生成针对分割了编码对象图像的块blk（编码对象区域）的视点合成图像的处理（步骤S14）的详细的处理工作的流程图。首先，视差矢量设定部107（参照深度区域设定部）针对块blk设定用于示出对应的参照深度图上的块（参照深度区域）的视差矢量dv（深度参照视差矢量）（步骤S1401、参照深度区域设定步骤和深度参照视差矢量设定步骤）。无论使用怎样的方法来设定视差矢量都可以，但是，需要能在解码侧得到相同的视差矢量。
视差矢量dv例如能够根据与块blk相同的位置的参照深度图的深度值来求取。具体而言，视差矢量dv能够使用存在于与块blk相同的位置的参照深度图的块内的深度值的最大值、最小值、中间值、平均值等。此外，视差矢量也可以不是使用针对与块blk相同的位置的参照深度图上的块内的全部的像素的深度值，而是仅使用针对位于中央、4个顶点的像素等特别指定的像素的深度值来求取。
此外，作为其他的方法，也可以通过对参照深度图上进行探索来将任意的矢量设定为视差矢量，对设定的视差矢量进行编码，由此，向解码侧通知。在该情况下，如图4所示，图像编码装置100还具备视差矢量编码部110和复用部111即可。图4是示出图1所示的图像编码装置100的变形例的框图。视差矢量编码部110对视差矢量设定部107设定的视差矢量进行编码，复用部111对视差矢量的位流和编码对象图像的位流进行复用并输出。
再有，也可以不是按照每个块设定视差矢量来编码，而是按照帧、片（slice）等大的每个单位设定全局的视差矢量，在该帧、片内的块中，作为相同的视差矢量而使用设定的全局视差矢量。在该情况下，如图5所示，在按照每个块进行的处理之前（步骤S13之前），设定针对参照深度图的视差矢量（步骤S18），而跳过图3所示的步骤S1401即可。图5是示出图2所示的工作的变形例的流程图。
全局视差矢量能够使用各种方法来设定。例如，可以将设定全局视差矢量的区域整体视为一个块而进行块匹配，由此，求取矢量。此外，也可以从通过将设定全局视差矢量的区域整体分割为多个块并按照每个块进行块匹配而得到的多个矢量中选择最可能的矢量，由此，求取一个全局视差矢量。此外，也可以通过解析针对与设定的区域相同位置的参照深度图上的区域的深度值来求取一个深度值，将与该深度值对应的视差矢量作为全局视差矢量。
进而，作为其他的方法，也可以根据在对块blk进行编码之前被编码的块中被编码的矢量信息来设定针对块blk的视差矢量。具体而言，在对与块blk空间或时间上相邻的块、帧等进行编码时使用了视差补偿预测的情况下，在该块中一些视差矢量被编码。因而，也可以依照预先确定的方法，根据这些视差矢量来求取块blk的视差矢量。
作为预先确定的方法，存在根据相邻块中的视差矢量来进行中值预测的方法、直接使用特别指定的块中的视差矢量的方法。在该情况下，如图6所示，图像编码装置100只要还具备矢量信息存储器112即可。图6是示出图1所示的图像编码装置100的变形例的框图。矢量信息存储器112积累在图像编码部109中生成预测图像时使用的矢量信息。所积累的矢量信息在视差矢量设定部107中设定针对其他的块blk的视差矢量时被利用。
此外，可以将该方法与前述的通过对视差矢量进行编码来将任意的矢量作为视差矢量的方法进行组合。例如，可以生成所设定的任意的矢量与根据在对块blk进行编码之前被编码的块中被编码的矢量信息而估计的矢量的差分矢量，对该差分矢量进行编码。
回到图3，在设定了针对块blk的视差矢量之后，接着，按照分割了块blk的每个子块生成视点合成图像。即，在将示出子块的索引的变量sblk初始化为0之后（步骤S1402），一边对sblk每次加一（步骤S1406），一边重复以下的处理（步骤S1403~S1405）直到sblk变为numSBlks（步骤S1407）。
在此，numSBlks表示块blk内的子块的个数。
再有，关于子块的大小、形状，虽然能够使用各种的大小、形状，但是，需要能在解码侧得到相同的子块分割。关于子块的大小，例如，可以使用按照纵×横为2像素×2像素、4像素×4像素、8像素×8像素等预先确定的分割。再有，作为预先确定的分割，也可以使用1像素×1像素（即每个像素）、与块blk相同的尺寸（即，不进行分割）。
作为使用与解码侧相同的子块分割的其他的方法，也可以通过对子块分割的方法进行编码来向解码侧通知。在该情况下，针对子块分割的方法的位流与编码对象图像的位流进行复用，成为图像编码装置100输出的位流的一部分。再有，在选择子块分割的方法的情况下，选择使得包括于一个子块的像素针对参照图像具有尽可能相同的视差并且分割为数量尽可能少的子块的方法，由此，能够通过后述的视点合成图像的生成处理来以少的处理量生成高品质的预测图像。再有，在该情况下，在解码侧，从位流解码示出子块分割的信息，依照基于所解码的信息的方法来进行子块分割。
进而，作为其他的方法，也可以根据针对由在步骤S1401中设定的视差矢量dv所示的参照深度图上的块blk+dv的深度来决定子块分割（编码对象区域内的区域分割）（预测区域分割设定步骤）。例如，能够通过对参照深度图的块blk+dv的深度进行聚集（clustering）来求取子块分割。此外，也可以不是进行聚集，而是从预先确定的分割的种类之中选择最正确地对深度进行分类的分割。
在按照每个子块进行的处理中，首先使用参照深度图来针对子块sblk决定一个深度值（步骤S1403）。具体而言，从针对由在步骤S1401中设定的视差矢量dv所示的参照深度图上的块sblk+dv内的像素的深度决定一个深度值。
能够对从针对块内的像素的深度决定一个深度的方法使用各种方法。但是，需要使用与解码侧相同的方法。例如，可以使用针对块内的像素的深度值的平均值/最大值/最小值/中间值的任一个。此外，也可以使用针对块的4个顶点的像素的深度值的平均值/最大值/最小值/中间值的任一个。进而，还可以使用块的特别指定的地方（左上、中央等）的深度值。
再有，在用小数像素提供视差矢量dv的情况下利用针对块内的某一地方的深度值时，该位置的深度值不存在于参照深度图。在该情况下，既可以在对针对对应的小数像素位置的深度值进行内插来求取之后使用，也可以通过向整数像素位置化成整数而使用针对整数像素位置的深度值。
在对子块sblk得到了深度值之后，接着，根据该深度值求取针对参照图像的视差矢量sdv（图像参照视差矢量）（步骤S1404）。从深度值向视差矢量的变换依照所提供的摄像机参数等的定义而进行。再有，在需要针对子块的坐标值的情况下，能够使用子块的左上等特别指定的位置的像素位置、子块的中央位置。此外，在摄像机配置为一维平行的情况下，不管子块的位置如何，视差的方向依赖于摄像机的配置，视差量依赖于深度值，因此，能够通过参照预先制作的查找表来根据深度值求取视差矢量。
接着，使用得到的视差矢量sdv和参照图像来生成针对子块sblk的视差补偿图像（视点间预测图像）（步骤S1405，视点间预测步骤）。此处的处理只要使用所提供的矢量和参照图像，就能够使用与以往的视差补偿预测、运动补偿预测同样的方法。
再有，通过步骤S1404和步骤S1405实现的处理是在针对子块blk提供了一个深度值时生成视点合成图像的处理的一个例子。在此处，只要能够根据针对子块提供的一个深度值生成视点合成图像，则也可以使用其他的方法。例如，可以假定子块属于一个深度平面，由此，辨识参照图像上的对应区域（不需要为与子块相同的形状、大小），对针对该对应区域的参照图像进行变形，由此，生成视点合成图像。
此外，由于存在对摄像机的投影模型进行模型化、多视点图像的平行化（调整）、深度等的误差，所以在根据深度基于摄像机参数求取的视差矢量中包括误差。为了补偿其，可以针对视差矢量sdv使用参照图像上的补正矢量cmv。在该情况下，在步骤S1405中，将矢量sdv+cmv作为视差矢量并生成视差补偿图像。再有，无论将怎样的矢量作为补正矢量都可以，但是，为了高效的补正矢量的设定，能够使用编码对象区域中的视差补偿图像和编码对象图像的误差、编码对象区域中的率失真成本的最小化。
关于补正矢量，只要能在解码侧得到相同的矢量，则可以使用任意的矢量。
例如，可以通过设定任意的矢量并对该矢量进行编码来向解码侧通知。在进行编码并传输的情况下，可以按照每个块blk设定一个补正矢量，由此，能够抑制在该编码中需要的码量。
再有，在补正矢量被编码的情况下，在解码侧，从位流在适当的定时（每个子块、每个块）对矢量进行解码，将解码后的矢量用作补正矢量。
在按照每个块、每个子块对使用的摄像机间预测图像相关的信息进行积累的情况下，既可以对示出参照了使用深度的视点合成图像的信息进行积累，也可以对实际上生成摄像机间预测图像时使用的信息（图像参照视差矢量）进行积累（图像参照视差矢量积累步骤）。再有，所积累的信息在对其他的块、其他的帧进行编码或解码时被参照。例如，可以在对针对某一块的矢量信息（视差补偿预测中使用的矢量等）进行编码或解码时，根据在该块周围的已经编码完毕块中积累的矢量信息来生成预测矢量信息，而仅对与预测矢量信息的差分进行编码或解码。作为其他的例子，也可以使用在该块周围的已经编码或解码完毕的块中积累的矢量信息来设定针对某一块的视差矢量dv。
可以对对应的预测模式信息进行积累来作为示出参照了使用深度的视点合成图像的信息，也可以对与帧间预测模式对应的信息进行积累来作为预测模式，对与视点合成图像对应的参照帧信息进行积累来作为此时的参照帧。此外，作为矢量信息，既可以对视差矢量dv进行积累，也可以对视差矢量dv和补正矢量cmv进行积累。
作为实际上生成摄像机间预测图像时使用的信息，可以对与帧间预测模式对应的信息进行积累来作为预测模式，对参照图像进行积累来作为此时的参照帧。此外，作为矢量信息，可以按照每个子块对针对参照图像的视差矢量sdv或经补正的针对参照图像的视差矢量sdv+cmv进行积累。再有，在使用了变形等的情况下等，有在子块内使用两个以上的矢量的情况。在该情况下，既可以对全部的矢量进行积累，也可以通过预先确定的方法按照每个子块选择一个矢量来积累。作为选择一个矢量的方法，例如存在采用视差量最大的矢量的方法、采用子块的特别指定的位置（左上等）的矢量的方法等。
接着，对图像解码装置进行说明。图7是示出本实施方式中的图像解码装置的结构的框图。图像解码装置200如图7所示那样具备：位流输入部201、位流存储器202、参照图像输入部203、参照图像存储器204、参照深度图输入部205、参照深度图存储器206、视差矢量设定部207、视点合成图像生成部208、以及图像解码部209。
位流输入部201输入对成为解码对象的图像进行编码后的码数据的位流。在以下，将该成为解码对象的图像称为解码对象图像。在此是指摄像机B的图像。此外，在以下，将拍摄了解码对象图像的摄像机（在此为摄像机B）称为解码对象摄像机。
位流存储器202存储针对输入的解码对象图像的位流。参照图像输入部203输入生成视点合成图像（视差补偿图像）时参照的图像。在以下，将在此输入的图像称为参照图像。在此，输入摄像机A的图像。参照图像存储器204存储输入的参照图像。在以下，将拍摄了参照图像的摄像机（在此为摄像机A）称为参照摄像机。
参照深度图输入部205输入生成视点合成图像时参照的深度图。在此，输入针对参照图像的深度图，但是，也可以为针对其他的摄像机的深度图。在以下，将该深度图称为参照深度图。
深度图表示在对应的图像的各像素中映现的被摄体的三维位置。只要能通过另外提供的摄像机参数等信息而得到三维位置，则无论是怎样的信息都可以。例如，能够使用从摄像机到被摄体的距离、针对与图像平面不平行的轴的坐标值、针对其他的摄像机（例如摄像机B）的视差量。此外，在此，由于只要能得到视差量则都可以，所以也可以不是深度图而是使用直接表现视差量的视差图。
再有，在此，作为深度图而以图像的方式进行传递，但是，只要能得到同样的信息，则不是图像的方式也可以。参照深度图存储器206存储输入的参照深度图。在以下，将与参照深度图对应的摄像机（在此为摄像机A）称为参照深度摄像机。
视差矢量设定部207按照解码对象图像或分割了解码对象图像的每个块设定针对参照深度图的视差矢量。视点合成图像生成部208（视点间预测部）使用参照深度图来求取解码对象图像的像素与参照图像的像素的对应关系，生成针对解码对象图像的视点合成图像。图像解码部209使用视点合成图像来从位流对解码对象图像进行解码，并输出解码图像。
接着，参照图8来说明图7所示的图像解码装置200的工作。图8是示出图7所示的图像解码装置200的工作的流程图。
位流输入部201输入对解码对象图像进行了编码的位流，并存储在位流存储器202中（步骤S21）。与此并行地，参照图像输入部203输入参照图像，并存储在参照图像存储器204中。此外，参照深度图输入部205输入参照深度图，并存储在参照深度图存储器206中（步骤S22）。
在步骤S22中输入的参照图像和参照深度图与在编码侧使用的信息相同。这是因为，通过使用与在图像编码装置100中使用的信息完全相同的信息，从而抑制漂移等编码噪声的产生。但是，在容许这样的编码噪声的产生的情况下，也可以输入与在编码时使用信息不同的信息。关于参照深度图，除了另外解码的信息以外，有时也使用通过对针对多个摄像机解码的多视点图像应用立体声匹配等而估计的深度图、使用解码后的视差矢量、运动矢量等而估计的深度图等。
接着，图像解码装置200按照分割了解码对象图像的每个块一边制作视点合成图像一边从位流对解码对象图像进行解码。即，在将示出解码对象图像的块的索引的变量blk初始化为0之后（步骤S23），一边对blk每次加一（步骤S26）一边重复以下的处理（步骤S24、步骤S25）直到blk变为numBlks（步骤S27）。再有，numBlks表示解码对象图像中的进行解码处理的单位块的个数。
在按照解码对象图像的每个块进行的处理中，首先，在视差矢量设定部207（参照深度区域设定部）和视点合成图像生成部208（视点间预测部）中，生成针对块blk的视点合成图像（步骤S24）。此处的处理与前述的图2所示的步骤S14（图3所示的步骤S1401~S1407）相同，因此，省略详细的说明。关于由作为预测区域分割设定部的视点合成图像生成部208进行的子块分割（编码对象区域内的区域分割）、按照每个子块进行的处理也是同样的。
接着，在得到了视点合成图像之后，图像解码部209一边将视点合成图像用作预测图像，一边从位流对解码对象图像进行解码并输出（步骤S25）。该结果所得的解码图像成为图像解码装置200的输出。再有，只要能够对位流正确地解码，则无论对解码使用怎样的方法都可以。一般，使用与在编码时使用的方法对应的方法。
在MPEG-2、H.264、JPEG等一般的活动图像编码或图像编码中被编码的情况下，在按照每个块施行了熵解码、反二值化、反量化等之后施行IDCT等反频率变换而得到了预测残差信号之后，加上预测图像，在像素值范围内进行削波，由此，进行解码。
在本实施方式中，在全部的块中将视点合成图像用作预测图像，但是，也可以将按照每个块用不同的方法生成的图像用作预测图像。在该情况下，需要判别将用哪种方法生成的图像用作了预测图像来使用适当的预测图像。例如，在如H.264那样对示出了生成预测图像的方法（模式、矢量信息等）的信息进行编码并包括于位流的情况下，可以通过对该信息进行解码，从而选择适当的预测图像来进行解码。
再有，图8所示的步骤S24的详细处理与图3所示的处理工作同等，但是，在设定视差矢量dv的步骤S1401中，需要进行与编码侧相同的处理。作为其一种方法，存在将视差矢量dv复用到位流的情况。在该情况下，如图9所示，图像解码装置200只要还具备位流分离部210和视差矢量解码部211（深度参照视差矢量设定部）即可。图9是示出图7所示的图像解码装置200的变形例的框图。
位流分离部210将输入的位流分离为针对视差矢量dv的位流和针对解码对象图像的位流。此外，在视差矢量解码部211中，根据分离的位流来解码视差矢量dv，在视点合成图像生成部208中使用解码后的视差矢量。即，如图10所示，在按照每个块blk对视差矢量进行解码之后（步骤S28），进行视点合成图像的生成（步骤S24）和解码对象图像的解码（步骤S25）。图10是示出图8所示的工作的变形例的流程图。
再有，也可以不是按照每个块对视差矢量进行解码，而是按照帧、片等大的每个单位对全局的视差矢量进行解码，在该帧、片内的块中，作为相同的视差矢量而使用解码后的全局视差矢量。在该情况下，如图11所示，在按照每个块进行的处理之前，对针对参照深度图的视差矢量进行解码（步骤S29）。图11是示出图8所示的工作的变形例的流程图。
作为其他的方法，也可以根据在对块blk进行解码之前被解码的块中被解码的矢量信息来设定针对块blk的视差矢量。
具体而言，在对与块blk空间或时间上相邻的块、帧等进行解码时使用了视差补偿预测的情况下，在该块中一些视差矢量被解码。因而，也可以依照预先确定的方法，根据这些视差矢量来求取块blk的视差矢量。
作为预先确定的方法，存在根据相邻块中的视差矢量进行中值预测的方法、直接使用特别指定的块中的视差矢量的方法。在该情况下，如图12所示，图像解码装置200只要还具备矢量信息存储器212（图像参照视差矢量积累部）即可。图12是示出图7所示的图像解码装置200的变形例的框图。矢量信息存储器212积累在图像解码部209中生成预测图像时使用的矢量信息。所积累的矢量信息在视差矢量设定部207中设定针对其他的块blk的视差矢量时被利用。
此外，可以将该方法与前述的通过对视差矢量进行解码来将任意的矢量作为视差矢量的方法进行组合。例如，可以对根据在对块blk进行解码之前被解码的块中被解码的矢量信息而估计的矢量，加上根据位流而解码的矢量来作为视差矢量dv。再有，如前述的那样，也可以根据与块blk相同的位置的参照深度图的深度值来求取视差矢量dv。
在前述的说明中，说明了对1帧中的全部的像素进行编码和解码的处理，但是也能够仅应用于一部分的像素，而在其他的像素中，可以使用在H.264/AVC等中使用的画面内预测编码、运动补偿预测编码等来进行编码或解码。在该情况下，需要对示出按照每个像素使用哪种方法进行了预测的信息进行编码和解码。此外，也可以不是按照每个像素而是按照每个块使用其他的预测方式来进行编码或解码。再有，在仅针对一部分的像素、块进行使用视点合成图像的预测的情况下，通过仅针对该像素进行生成视点合成图像的处理（图2所示的步骤S14、图8所示的步骤S24、S28），从而能够削减视点合成处理所涉及的运算量。
此外，在前述的说明中，说明了对1帧进行编码和解码的处理，但是，也能够通过重复多帧来应用于活动图像编码。此外，也能够仅应用于活动图像的一部分的帧、一部分的块。进而，在前述的说明中，说明了图像编码装置和图像解码装置的结构和处理工作，但是，能够通过与这些图像编码装置和图像解码装置的各部分的工作对应的处理工作来实现本发明的图像编码方法和图像解码方法。
进而，在前述的说明中，设为参照深度图为针对用与编码对象摄像机或解码对象摄像机不同的摄像机拍摄的图像的深度图来进行了说明，但是，也能够将针对在与编码对象摄像机或解码对象摄像机不同的时刻由编码对象摄像机或解码对象摄像机拍摄的图像的深度图用作参照深度图。在该情况下，在步骤S1401、步骤S18、步骤S28、步骤S29中，不是对视差矢量而是对运动矢量进行设定或解码。
图13是示出通过计算机和软件程序来构成前述的图像编码装置100的情况下的硬件结构的框图。
图13所示的系统为通过总线连接如下部分的结构：执行程序的CPU50、存储器51、编码对象图像输入部52、参照图像输入部53、参照深度图输入部54、程序存储装置55、以及位流输出部56。
RAM等存储器51储存CPU50访问的程序、数据。编码对象图像输入部52输入来自摄像机等的编码对象的图像信号。该编码对象图像输入部52也可以为存储图像信号的磁盘装置等存储部。参照图像输入部53输入来自摄像机等的参照对象的图像信号。该参照图像输入部53也可以为存储图像信号的磁盘装置等存储部。参照深度图输入部54输入来自深度摄像机等的针对与对编码对象图像进行拍摄的摄像机不同的位置、方向的摄像机的深度图。该参照深度图输入部54也可以为存储深度图的磁盘装置等存储部。程序存储装置55储存作为使CPU50执行图像编码处理的软件程序的图像编码程序551。位流输出部56经由例如网络输出通过CPU50执行加载到存储器51的图像编码程序551而生成的位流。该位流输出部56也可以为存储位流的磁盘装置等存储部。
图14是示出通过计算机和软件程序来构成前述的图像解码装置200的情况下的硬件结构的框图。
图14所示的系统为通过总线连接如下部分的结构：执行程序的CPU60、存储器61、位流输入部62、参照图像输入部63、参照深度图输入部64、程序存储装置65、以及解码对象图像输出部66。
RAM等存储器61储存CPU60访问的程序、数据。位流输入部62输入图像编码装置利用本手法而编码的位流。该位流输入部62也可以为存储图像信号的磁盘装置等存储部。参照图像输入部63输入来自摄像机等的参照对象的图像信号。该参照图像输入部63也可以为存储图像信号的磁盘装置等存储部。参照深度图输入部64输入来自深度摄像机等的针对与对解码对象进行拍摄的摄像机不同的位置、方向的摄像机的深度图。该参照深度图输入部64也可以为存储深度信息的磁盘装置等存储部。程序存储装置65储存作为使CPU60执行图像解码处理的软件程序的图像解码程序651。解码对象图像输出部66向再现装置等输出通过CPU60执行加载到存储器61的图像解码程序651来对位流进行解码而得到的解码对象图像。该解码对象图像输出部66也可以为存储图像信号的磁盘装置等存储部。
此外，可以在计算机可读取的记录介质中记录用于实现图1所示的图像编码装置100和图7所示的图像解码装置200中的各处理部的功能的程序，将记录在该记录介质中的程序读入到计算机系统来执行，由此，进行图像编码处理和图像解码处理。再有，此处所说的“计算机系统”包括OS、周围设备等硬件。此外，“计算机系统”还包括具备主页提供环境（或者显示环境）的WWW系统。此外，“计算机可读取的记录介质”是指软盘、磁光盘、ROM、CD-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。进而“计算机可读取的记录介质”包括如成为经由因特网等网络或电话线路等通信线路来发送程序的情况下的服务器或客户端的计算机系统内部的易失性存储器（RAM）那样保持程序一定时间的记录介质。
此外，上述程序可以从在存储装置等中储存该程序的计算机系统经由传输介质或者通过传输介质中的传输波而传输到其他的计算机系统。此处，传输程序的“传输介质”是指如因特网等网络（通信网）或电话线路等通信线路（通信线）那样具有传输信息的功能的介质。此外，上述程序也可以是用于实现前述的功能的一部分的程序。进而，也可以是能够以与已经记录于计算机系统的程序的组合来实现前述的功能的程序，所谓的差分文件（差分程序）。
以上，虽然参照附图说明了本发明的实施方式，但是上述实施方式只不过是本发明的例示，本发明不限定于上述实施的方式是显而易见的。因而，可以在不脱离本发明的技术思想和范围的范围中进行构成要素的追加、省略、置换、其他变更。
产业上的可利用性
本发明能够应用于使用针对从与对编码（解码）对象图像进行拍摄的摄像机不同的位置拍摄的图像的深度图来对编码（解码）对象图像进行视差补偿预测时以少的运算量达成高的编码效率是不可欠缺的用途。
附图标记的说明
101…编码对象图像输入部
102…编码对象图像存储器
103…参照图像输入部
104…参照图像存储器
105…参照深度图输入部
106…参照深度图存储器
107…视差矢量设定部
108…视点合成图像生成部
109…图像编码部
110…视差矢量编码部
111…复用部
112…矢量信息存储器
201…位流输入部
202…位流存储器
203…参照图像输入部
204…参照图像存储器
205…参照深度图输入部
206…参照深度图存储器
207…视差矢量设定部
208…视点合成图像生成部
209…图像解码部
210…位流分离部
211…视差矢量解码部
212…矢量信息存储器。

Claims (19)

1.一种图像解码装置，在根据由多个不同的视点的图像构成的多视点图像的码数据对解码对象图像进行解码时，使用针对与解码对象图像不同的视点的解码完毕的参照图像和作为针对所述参照图像中的被摄体的深度图的参照深度图来一边在不同的视点之间对图像进行预测一边进行解码，其中，所述图像解码装置具备：
参照深度区域设定部，针对分割了所述解码对象图像的解码对象区域设定作为所述参照深度图上的对应区域的参照深度区域；以及
视点间预测部，将所述参照深度区域中的深度信息作为针对所述解码对象区域的深度信息，根据所述参照图像来生成针对所述解码对象区域的视点间预测图像，
其中，在所述视点间预测部中，按照分割了所述解码对象区域的每个预测区域使用对应的所述参照深度区域内的深度信息来设定代表深度，根据该代表深度和所述参照图像来生成视点合成图像，由此，生成针对所述解码对象区域的视点间预测图像。
2.根据权利要求1所述的图像解码装置，其中，还具有：深度参照视差矢量设定部，所述深度参照视差矢量设定部针对所述解码对象区域设定作为针对参照深度图的视差矢量的深度参照视差矢量，
在所述参照深度区域设定部中，将由所述深度参照视差矢量所示的区域设定为所述参照深度区域，
其中，在所述深度参照视差矢量设定部中，使用针对与所述解码对象区域相同位置的所述参照深度图上的区域的深度信息来设定所述深度参照视差矢量。
3.根据权利要求1所述的图像解码装置，其中，还具有：预测区域分割设定部，所述预测区域分割设定部基于所述参照深度区域内的深度信息来设定所述解码对象区域内的区域分割，
在所述视点间预测部中，将依照所述区域分割而得到的区域作为所述预测区域。
4.一种图像解码装置，在根据由多个不同的视点的图像构成的多视点图像的码数据对解码对象图像进行解码时，使用针对与解码对象图像不同的视点的解码完毕的参照图像和作为针对所述参照图像中的被摄体的深度图的参照深度图来一边在不同的视点之间对图像进行预测一边进行解码，其中，所述图像解码装置具备：
参照深度区域设定部，针对分割了所述解码对象图像的解码对象区域设定作为所述参照深度图上的对应区域的参照深度区域；以及
视点间预测部，将所述参照深度区域中的深度信息作为针对所述解码对象区域的深度信息，根据所述参照图像来生成针对所述解码对象区域的视点间预测图像，
其中，在所述视点间预测部中，按照分割了所述解码对象区域的每个预测区域使用对应的所述参照深度区域内的深度信息来设定作为针对所述参照图像的视差矢量的图像参照视差矢量，使用该图像参照视差矢量和所述参照图像来生成视差补偿图像，由此，生成针对所述解码对象区域的视点间预测图像。
5.根据权利要求4所述的图像解码装置，其中，还具有：深度参照视差矢量设定部，所述深度参照视差矢量设定部针对所述解码对象区域设定作为针对参照深度图的视差矢量的深度参照视差矢量，
在所述参照深度区域设定部中，将由所述深度参照视差矢量所示的区域设定为所述参照深度区域，
其中，在所述深度参照视差矢量设定部中，使用针对与所述解码对象区域相同位置的所述参照深度图上的区域的深度信息来设定所述深度参照视差矢量。
6.根据权利要求4所述的图像解码装置，其中，还具有：
图像参照视差矢量积累部，对所述图像参照视差矢量进行积累；以及
视差预测部，使用所述积累的图像参照视差矢量来生成针对与所述解码对象区域相邻的区域的预测视差信息。
7.根据权利要求6所述的图像解码装置，其中，在所述视差预测部中，生成针对与所述解码对象区域相邻的区域的深度参照视差矢量。
8.根据权利要求4所述的图像解码装置，其中，还具有：补正视差矢量部，所述补正视差矢量部设定作为对所述图像参照视差矢量进行补正的矢量的补正视差矢量，
在所述视点间预测部中，使用通过所述补正视差矢量对所述图像参照视差矢量进行补正后的矢量和所述参照图像来生成视差补偿图像，由此，生成所述视点间预测图像。
9.根据权利要求8所述的图像解码装置，其中，在所述补正视差矢量设定部中，针对所述解码对象区域将一个矢量设定为所述补正视差矢量。
10.一种图像编码装置，在对由多个不同的视点的图像构成的多视点图像进行编码时，使用针对与编码对象图像不同的视点的编码完毕的参照图像和作为针对所述参照图像中的被摄体的深度图的参照深度图来一边在不同的视点之间对图像进行预测一边进行编码，其中，所述图像编码装置具备：
参照深度区域设定部，针对分割了所述编码对象图像的编码对象区域设定作为所述参照深度图上的对应区域的参照深度区域；以及
视点间预测部，将所述参照深度区域中的深度信息作为针对所述编码对象区域的深度信息，根据所述参照图像来生成针对所述编码对象区域的视点间预测图像，
其中，在所述视点间预测部中，按照分割了所述编码对象区域的每个预测区域使用对应的所述参照深度区域内的深度信息来设定代表深度，根据该代表深度和所述参照图像来生成视点合成图像，由此，生成针对所述编码对象区域的视点间预测图像。
11.一种图像编码装置，在对由多个不同的视点的图像构成的多视点图像进行编码时，使用针对与编码对象图像不同的视点的编码完毕的参照图像和作为针对所述参照图像中的被摄体的深度图的参照深度图来一边在不同的视点之间对图像进行预测一边进行编码，其中，所述图像编码装置具备：
参照深度区域设定部，针对分割了所述编码对象图像的编码对象区域设定作为所述参照深度图上的对应区域的参照深度区域；以及
视点间预测部，将所述参照深度区域中的深度信息作为针对所述编码对象区域的深度信息，根据所述参照图像来生成针对所述编码对象区域的视点间预测图像，
其中，在所述视点间预测部中，按照分割了所述编码对象区域的每个预测区域使用对应的所述参照深度区域内的深度信息来设定作为针对所述参照图像的视差矢量的图像参照视差矢量，使用该图像参照视差矢量和所述参照图像来生成视差补偿图像，由此，生成针对所述编码对象区域的视点间预测图像。
12.一种图像编码装置，在对由多个不同的视点的图像构成的多视点图像进行编码时，使用针对与编码对象图像不同的视点的编码完毕的参照图像和作为针对所述参照图像中的被摄体的深度图的参照深度图来一边在不同的视点之间对图像进行预测一边进行编码，其中，所述图像编码装置具备：
参照深度区域设定部，针对分割了所述编码对象图像的编码对象区域设定作为所述参照深度图上的对应区域的参照深度区域；以及
视点间预测部，将所述参照深度区域中的深度信息作为针对所述编码对象区域的深度信息，根据所述参照图像来生成针对所述编码对象区域的视点间预测图像，
其中，在所述视点间预测部中，按照分割了所述编码对象区域的每个预测区域使用对应的所述参照深度区域内的深度信息来设定代表深度，根据该代表深度和所述参照图像来生成视点合成图像，由此，生成针对所述编码对象区域的视点间预测图像，
其中，还具有：预测区域分割设定部，所述预测区域分割设定部基于所述参照深度区域内的深度信息来设定所述编码对象区域内的区域分割，
在所述视点间预测部中，将依照所述区域分割而得到的区域作为所述预测区域。
13.一种图像编码装置，在对由多个不同的视点的图像构成的多视点图像进行编码时，使用针对与编码对象图像不同的视点的编码完毕的参照图像和作为针对所述参照图像中的被摄体的深度图的参照深度图来一边在不同的视点之间对图像进行预测一边进行编码，其中，所述图像编码装置具备：
参照深度区域设定部，针对分割了所述编码对象图像的编码对象区域设定作为所述参照深度图上的对应区域的参照深度区域；以及
视点间预测部，将所述参照深度区域中的深度信息作为针对所述编码对象区域的深度信息，根据所述参照图像来生成针对所述编码对象区域的视点间预测图像，
其中，在所述视点间预测部中，按照分割了所述编码对象区域的每个预测区域使用对应的所述参照深度区域内的深度信息来设定作为针对所述参照图像的视差矢量的图像参照视差矢量，使用该图像参照视差矢量和所述参照图像来生成视差补偿图像，由此，生成针对所述编码对象区域的视点间预测图像，
其中，还具有：
图像参照视差矢量积累部，对所述图像参照视差矢量进行积累；以及
视差预测部，使用所述积累的图像参照视差矢量来生成针对与所述编码对象区域相邻的区域的预测视差信息。
14.一种图像解码方法，在根据由多个不同的视点的图像构成的多视点图像的码数据对解码对象图像进行解码时，使用针对与解码对象图像不同的视点的解码完毕的参照图像和作为针对所述参照图像中的被摄体的深度图的参照深度图来一边在不同的视点之间对图像进行预测一边进行解码，其中，所述图像解码方法具有：
参照深度区域设定步骤，在其中，针对分割了所述解码对象图像的解码对象区域设定作为所述参照深度图上的对应区域的参照深度区域；以及
视点间预测步骤，在其中，将所述参照深度区域中的深度信息作为针对所述解码对象区域的深度信息，根据所述参照图像来生成针对所述解码对象区域的视点间预测图像，
其中，在所述视点间预测步骤中，按照分割了所述解码对象区域的每个预测区域使用对应的所述参照深度区域内的深度信息来设定代表深度，根据该代表深度和所述参照图像来生成视点合成图像，由此，生成针对所述解码对象区域的视点间预测图像。
15.一种图像解码方法，在根据由多个不同的视点的图像构成的多视点图像的码数据对解码对象图像进行解码时，使用针对与解码对象图像不同的视点的解码完毕的参照图像和作为针对所述参照图像中的被摄体的深度图的参照深度图来一边在不同的视点之间对图像进行预测一边进行解码，其中，所述图像解码方法具有：
参照深度区域设定步骤，在其中，针对分割了所述解码对象图像的解码对象区域设定作为所述参照深度图上的对应区域的参照深度区域；以及
视点间预测步骤，在其中，将所述参照深度区域中的深度信息作为针对所述解码对象区域的深度信息，根据所述参照图像来生成针对所述解码对象区域的视点间预测图像，
其中，在所述视点间预测步骤中，按照分割了所述解码对象区域的每个预测区域使用对应的所述参照深度区域内的深度信息来设定作为针对所述参照图像的视差矢量的图像参照视差矢量，使用该图像参照视差矢量和所述参照图像来生成视差补偿图像，由此，生成针对所述解码对象区域的视点间预测图像。
16.一种图像编码方法，在对由多个不同的视点的图像构成的多视点图像进行编码时，使用针对与编码对象图像不同的视点的编码完毕的参照图像和作为针对所述参照图像中的被摄体的深度图的参照深度图来一边在不同的视点之间对图像进行预测一边进行编码，其中，所述图像编码方法具有：
参照深度区域设定步骤，在其中，针对分割了所述编码对象图像的编码对象区域设定作为所述参照深度图上的对应区域的参照深度区域；以及
视点间预测步骤，在其中，将所述参照深度区域中的深度信息作为针对所述编码对象区域的深度信息，根据所述参照图像来生成针对所述编码对象区域的视点间预测图像，
其中，在所述视点间预测步骤中，按照分割了所述编码对象区域的每个预测区域使用对应的所述参照深度区域内的深度信息来设定代表深度，根据该代表深度和所述参照图像来生成视点合成图像，由此，生成针对所述编码对象区域的视点间预测图像。
17.一种图像编码方法，在对由多个不同的视点的图像构成的多视点图像进行编码时，使用针对与编码对象图像不同的视点的编码完毕的参照图像和作为针对所述参照图像中的被摄体的深度图的参照深度图来一边在不同的视点之间对图像进行预测一边进行编码，其中，所述图像编码方法具有：
参照深度区域设定步骤，在其中，针对分割了所述编码对象图像的编码对象区域设定作为所述参照深度图上的对应区域的参照深度区域；以及
视点间预测步骤，在其中，将所述参照深度区域中的深度信息作为针对所述编码对象区域的深度信息，根据所述参照图像来生成针对所述编码对象区域的视点间预测图像，
其中，在所述视点间预测步骤中，按照分割了所述编码对象区域的每个预测区域使用对应的所述参照深度区域内的深度信息来设定作为针对所述参照图像的视差矢量的图像参照视差矢量，使用该图像参照视差矢量和所述参照图像来生成视差补偿图像，由此，生成针对所述编码对象区域的视点间预测图像。
18.一种计算机可读的非暂态存储介质，存储有用于使计算机执行权利要求14或者15所述的图像解码方法的图像解码程序。
19.一种计算机可读的非暂态存储介质，存储有用于使计算机执行权利要求16或者17所述的图像编码方法的图像编码程序。
CN201710701442.2A 2012-12-27 2013-12-20 图像编码/解码方法、图像编码/解码装置、以及图像编码/解码程序 Active CN107318027B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012284616 2012-12-27
JP2012-284616 2012-12-27
CN201380068069.1A CN104885450B (zh) 2012-12-27 2013-12-20 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380068069.1A Division CN104885450B (zh) 2012-12-27 2013-12-20 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序

Publications (2)

Publication Number Publication Date
CN107318027A CN107318027A (zh) 2017-11-03
CN107318027B true CN107318027B (zh) 2020-08-28

Family

ID=51021049

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380068069.1A Active CN104885450B (zh) 2012-12-27 2013-12-20 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
CN201710701442.2A Active CN107318027B (zh) 2012-12-27 2013-12-20 图像编码/解码方法、图像编码/解码装置、以及图像编码/解码程序

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201380068069.1A Active CN104885450B (zh) 2012-12-27 2013-12-20 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序

Country Status (5)

Country Link
US (3) US9924197B2 (zh)
JP (1) JP6027143B2 (zh)
KR (1) KR101737595B1 (zh)
CN (2) CN104885450B (zh)
WO (1) WO2014103966A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6039178B2 (ja) * 2011-09-15 2016-12-07 シャープ株式会社 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
KR102137266B1 (ko) * 2012-09-28 2020-07-23 삼성전자주식회사 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치
KR20190034199A (ko) * 2016-07-29 2019-04-01 소니 주식회사 화상 처리 장치 및 화상 처리 방법
US10032307B2 (en) * 2016-08-10 2018-07-24 Viacom International Inc. Systems and methods for a generating an interactive 3D environment using virtual depth
US20200242832A1 (en) * 2017-08-09 2020-07-30 Sharp Kabushiki Kaisha Image processing device, display device, image transmission device, image processing method, control program, and recording medium
EP3481067A1 (en) * 2017-11-07 2019-05-08 Thomson Licensing Method, apparatus and stream for encoding/decoding volumetric video
CN111971968B (zh) * 2018-04-11 2024-03-12 交互数字Vc控股公司 一种用于当3d点集正交投影到投影平面的至少一个图像区域时编码该3d点集的深度值的方法
CN109714598B (zh) * 2019-01-31 2021-05-14 上海国茂数字技术有限公司 视频的编码方法、解码方法、处理方法以及视频处理系统
CN113141494A (zh) * 2020-01-20 2021-07-20 北京芯海视界三维科技有限公司 3d图像处理方法、装置和3d显示终端
KR20240020051A (ko) * 2022-08-05 2024-02-14 숙명여자대학교산학협력단 자동차 내부 카메라를 이용한 hud 캘리브레이션 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4605716B2 (ja) * 2006-07-14 2011-01-05 Ｋｄｄｉ株式会社 多視点画像圧縮符号化方法、装置及びプログラム
WO2011001851A1 (ja) * 2009-06-29 2011-01-06 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置、立体画像データ受信方法、画像データ送信装置および画像データ受信装置
CN102413353A (zh) * 2011-12-28 2012-04-11 清华大学 立体视频编码过程的多视点视频和深度图的码率分配方法

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7203356B2 (en) * 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
US8823821B2 (en) * 2004-12-17 2014-09-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using motion vector predictor list
PL2008460T3 (pl) * 2006-03-30 2017-10-31 Lg Electronics Inc Sposób i urządzenie do dekodowania/kodowania sygnału wideo
CN101455084A (zh) * 2006-03-30 2009-06-10 Lg电子株式会社 用于解码/编码视频信号的方法和装置
BRPI0716814A2 (pt) * 2006-09-20 2013-11-05 Nippon Telegraph & Telephone Método de codificação de imagem, e método de decodificação, aparelhos para isso, aparelho de decodificação de imagem, programas para isso, e mídias de armazenamento para armazenar os programas
JP4999854B2 (ja) 2006-09-20 2012-08-15 日本電信電話株式会社 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
KR101365567B1 (ko) * 2007-01-04 2014-02-20 삼성전자주식회사 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP5303556B2 (ja) * 2007-08-06 2013-10-02 トムソン ライセンシング 複数のインタービュー参照ピクチャを用いたモーションスキップモードのための方法及び装置
BRPI0821500A2 (pt) 2008-01-11 2015-06-16 Thomson Licensing Codificação de vídeo e profundidade
WO2009131703A2 (en) * 2008-04-25 2009-10-29 Thomson Licensing Coding of depth signal
CN100563339C (zh) 2008-07-07 2009-11-25 浙江大学 一种利用深度信息的多通道视频流编码方法
JP5219199B2 (ja) 2008-07-11 2013-06-26 日本電信電話株式会社 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
EP2328337A4 (en) * 2008-09-02 2011-08-10 Huawei Device Co Ltd 3D VIDEO COMMUNICATION, TRANSMISSION DEVICE, SYSTEM AND IMAGE RECONSTRUCTION, SYSTEM
US8311111B2 (en) * 2008-09-11 2012-11-13 Google Inc. System and method for decoding using parallel processing
US7932843B2 (en) * 2008-10-17 2011-04-26 Texas Instruments Incorporated Parallel CABAC decoding for video decompression
KR101158491B1 (ko) 2008-12-08 2012-06-20 한국전자통신연구원 다시점 영상 부호화, 복호화 방법 및 그 장치.
WO2010073513A1 (ja) * 2008-12-26 2010-07-01 日本ビクター株式会社 画像符号化装置、画像符号化方法およびそのプログラム、ならびに画像復号装置、画像復号方法およびそのプログラム
JP2010157826A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像復号装置、画像符復号方法およびそのプログラム
JP5436458B2 (ja) 2009-02-12 2014-03-05 日本電信電話株式会社 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム
WO2010093351A1 (en) * 2009-02-13 2010-08-19 Thomson Licensing Depth map coding to reduce rendered distortion
JP5521202B2 (ja) 2009-02-23 2014-06-11 日本電信電話株式会社 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム
KR20100117888A (ko) 2009-04-27 2010-11-04 주식회사 훈솔루션 시점확인이 가능한 이메일 시스템 및 그 방법
JP5614900B2 (ja) * 2009-05-01 2014-10-29 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ３ｄ映像符号化フォーマット
CN101695139B (zh) * 2009-10-14 2011-08-17 宁波大学 一种基于可分级块的虚拟视点图像绘制方法
CN101729891B (zh) 2009-11-05 2012-06-20 宁波大学 一种多视点深度视频的编码方法
BR112012020856A2 (pt) 2010-02-23 2019-09-24 Nippon Telegraph & Telephone ver anexo.
KR101374812B1 (ko) 2010-02-24 2014-03-18 니폰덴신뎅와 가부시키가이샤 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 다시점 영상 부호화 장치, 다시점 영상 복호 장치 및 프로그램
FI3962081T3 (fi) * 2010-05-25 2024-03-25 Lg Electronics Inc Uusi planaarinen ennustustila
KR20120000485A (ko) 2010-06-25 2012-01-02 삼성전자주식회사 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법
CN101895749B (zh) * 2010-06-29 2012-06-27 宁波大学 一种快速视差估计和运动估计方法
CN101917619B (zh) * 2010-08-20 2012-05-09 浙江大学 一种多视点视频编码快速运动估计方法
JP2012100019A (ja) * 2010-11-01 2012-05-24 Sharp Corp 多視点画像符号化装置及び多視点画像復号装置
US20120106622A1 (en) * 2010-11-03 2012-05-03 Mediatek Inc. Method and Apparatus of Slice Grouping for High Efficiency Video Coding
JP5281632B2 (ja) * 2010-12-06 2013-09-04 日本電信電話株式会社 多視点画像符号化方法，多視点画像復号方法，多視点画像符号化装置，多視点画像復号装置およびそれらのプログラム
JPWO2012086829A1 (ja) 2010-12-21 2014-06-05 日本電気株式会社 動き推定装置、動き推定方法、動き推定プログラム、および動画像符号化装置
JP5357199B2 (ja) * 2011-03-14 2013-12-04 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
WO2012172634A1 (ja) * 2011-06-13 2012-12-20 株式会社東芝 画像符号化装置、画像復号化装置、方法およびプログラム
SG10201505808YA (en) * 2011-06-30 2015-09-29 Sony Corp Image processing device and image processing method
RU2583040C2 (ru) * 2011-08-30 2016-05-10 Нокиа Текнолоджиз Ой Устройство, способ и компьютерная программа для кодирования и декодирования видеосигналов
US9712819B2 (en) * 2011-10-12 2017-07-18 Lg Electronics Inc. Image encoding method and image decoding method
US9560362B2 (en) * 2011-12-22 2017-01-31 Mediatek Inc. Method and apparatus of texture image compression in 3D video coding
US20130336405A1 (en) * 2012-06-15 2013-12-19 Qualcomm Incorporated Disparity vector selection in video coding
CN102801995B (zh) 2012-06-25 2016-12-21 北京大学深圳研究生院 一种基于模板匹配的多视点视频运动和视差矢量预测方法
CN104813669B (zh) * 2012-09-21 2018-05-22 诺基亚技术有限公司 用于视频编码的方法和装置
WO2014103967A1 (ja) * 2012-12-27 2014-07-03 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
US20140218473A1 (en) * 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
US9641853B2 (en) * 2013-04-15 2017-05-02 Futurewei Technologies, Inc. Method and apparatus of depth prediction mode selection
WO2015104451A1 (en) * 2014-01-07 2015-07-16 Nokia Technologies Oy Method and apparatus for video coding and decoding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4605716B2 (ja) * 2006-07-14 2011-01-05 Ｋｄｄｉ株式会社 多視点画像圧縮符号化方法、装置及びプログラム
WO2011001851A1 (ja) * 2009-06-29 2011-01-06 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置、立体画像データ受信方法、画像データ送信装置および画像データ受信装置
CN102413353A (zh) * 2011-12-28 2012-04-11 清华大学 立体视频编码过程的多视点视频和深度图的码率分配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于depth-map和分布式视频编码的多视点视频传输方法;吴琳;《计算机应用》;20120901;第2441-2444页 *

Also Published As

Publication number Publication date
KR101737595B1 (ko) 2017-05-18
CN104885450A (zh) 2015-09-02
CN107318027A (zh) 2017-11-03
WO2014103966A1 (ja) 2014-07-03
JP6027143B2 (ja) 2016-11-16
US9924197B2 (en) 2018-03-20
US20170310996A1 (en) 2017-10-26
CN104885450B (zh) 2017-09-08
JPWO2014103966A1 (ja) 2017-01-12
US20170310997A1 (en) 2017-10-26
US20150334418A1 (en) 2015-11-19
KR20150085027A (ko) 2015-07-22

Similar Documents

Publication Publication Date Title
CN107318027B (zh) 图像编码/解码方法、图像编码/解码装置、以及图像编码/解码程序
JP6446488B2 (ja) ビデオデータデコーディング方法及びビデオデータデコーディング装置
JP6053200B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
KR101648094B1 (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체
JP5947977B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP6307152B2 (ja) 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
JP5281623B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
US20140348242A1 (en) Image coding apparatus, image decoding apparatus, and method and program therefor
JP6571646B2 (ja) マルチビュービデオのデコード方法及び装置
KR101750421B1 (ko) 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 프로그램, 및 동화상 복호 프로그램
JP6232117B2 (ja) 画像符号化方法、画像復号方法、及び記録媒体
KR20160086414A (ko) 영상 부호화 방법, 영상 복호 방법, 영상 부호화 장치, 영상 복호 장치, 영상 부호화 프로그램 및 영상 복호 프로그램
KR20160140622A (ko) 동화상 부호화 장치 및 방법, 및 동화상 복호 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant