CN107105294A - 图像编码装置、图像解码装置、图像编码方法以及图像解码方法 - Google Patents

图像编码装置、图像解码装置、图像编码方法以及图像解码方法 Download PDF

Info

Publication number
CN107105294A
CN107105294A CN201610930345.6A CN201610930345A CN107105294A CN 107105294 A CN107105294 A CN 107105294A CN 201610930345 A CN201610930345 A CN 201610930345A CN 107105294 A CN107105294 A CN 107105294A
Authority
CN
China
Prior art keywords
image
visual point
coding
depth image
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610930345.6A
Other languages
English (en)
Inventor
内海端
山本贵也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority claimed from CN201380017830.9A external-priority patent/CN104221368B/zh
Publication of CN107105294A publication Critical patent/CN107105294A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种图像编码装置、图像解码装置、图像编码方法以及图像解码方法。图像解码装置包括：代码提取部，从编码数据串提取分别对与不同的视点对应的视点图像进行编码的编码视点图像、对与视点图像对应的深度图像进行编码的编码深度图像、按每个预定的编码单位表示在对视点图像或者深度图像进行编码时的视点图像和深度图像的参照关系的图像间参照信息；视点图像解码部，对所提取的编码视点图像进行解码；深度图像解码部，对所提取的编码深度图像进行解码；解码控制部，基于所提取的图像间参照信息表示的参照关系，对解码对象的编码视点图像是参照深度图像进行解码还是不参照深度图像进行解码进行控制。

Description

图像编码装置、图像解码装置、图像编码方法以及图像解码 方法
本申请是国际申请日为2013年3月25日、国际申请号为PCT/JP2013/058497、国家申请号为201380017830.9、发明名称为“图像编码装置、图像解码装置、图像编码方法、图像解码方法以及程序”的发明专利申请的分案申请。
技术领域
本发明涉及图像编码装置、图像解码装置、图像编码方法以及图像解码方法。
背景技术
通过记录或者传输多个视点的图像，并将其再现，能够观赏基于作为视听者的用户的喜好的观察角度的图像。
作为一例，DVD视频中的多角度影像预先准备了基于认为视听者可能感兴趣或者制作方想让视听者看的多个视点的同时刻的影像。用户通过在再现时进行适当的操作，能够切换到任意的影像的再现而视听。
为了实现如上述多角度影像的功能，需要预先记录与各角度(视点)对应的多个影像的全部。因此，例如视点的数目越多则影像内容的数据尺寸越庞大。因此，现实中，例如限定于制作方尤其想让视听者看或者视听者可能尤其感兴趣的场景而准备多角度影像，例如在不超过记录介质的容量的范围内制作影像内容。
例如，尤其，对体育、演唱会、舞台剧等的影像，用户感兴趣的视点是多样的。从这样的观点出发，优选能够对用户提供基于尽可能多的视点的影像。
以这样的期望为背景，已知如下的图像编码装置：对多个视点图像进行编码，且还对与这些视点图像对应的深度信息进行编码，生成包括这些编码数据的流数据(例如，参照专利文献1)。
该深度信息是表示视点图像内的各个被拍摄体与观察位置(照相机位置)的距离的信息。通过基于深度信息和与照相机位置有关的信息的运算而求出视点图像内的各被拍摄体在三维空间上的位置，从而能够虚拟地再现所拍摄到的场景。并且，通过在与其他照相机位置对应的屏幕上将所再现的场景进行投影变换，能够生成与从任意的视点观察的影像相同的影像。
深度信息是将通过照相机等的摄影装置拍摄时的视点位置(照相机位置)至摄影图像内的各被拍摄体的距离(＝深度)在预定的数值范围(例如8比特)进行了数值化的信息。而且，深度信息是将如上所述那样进行了数值化的距离变换为像素的亮度值的单色图像的形式。由此，也可以将深度信息作为图像来进行编码(压缩)。
在专利文献1的图像编码装置中，关于输入的多个视点图像，根据作为多视点图像编码方式之一的MVC(Multi-view Video Coding，多视点视频编码)，采用并用了时间方向的预测编码和视点方向的预测编码的编码方式。而且，在专利文献1的图像编码装置中，关于深度信息，也通过并用时间方向和视点方向的预测编码而提高编码效率。
此外，作为对多视点图像和深度图像进行编码的影像编码方法，已知如下的方法。即，在该影像编码方法中，有如下方法：基于深度图像(距离图像)和照相机的位置关系，生成基准视点以外的视点中的视差补偿图像，在所生成的视差补偿图像与实际的输入图像之间进行预测编码(例如，参照专利文献2)。即，该影像编码方法试图利用深度图像来提高视点图像的编码效率。在这样的影像编码方法中，需要在编码时和解码时获得相同的视差补偿图像，且使用一旦编码之后再次解码的深度图像而生成视差补偿图像。因此，视点图像的编码以及解码依赖深度图像的编码结果和解码结果。
此外，还已知如下的影像编码方法。即，如下方法：在与视点图像(Video)一同对深度图像(定义为多个辅助分量(DEPTH：MultipleAuxiliary Components)之一)进行编码时，将在视点图像的预测编码时获得的运动向量等的信息利用于深度图像的编码(例如，参照非专利文献1)。在该影像编码方法的情况下，与专利文献2时相反，深度图像的编码以及解码依赖视点图像的编码结果和解码结果。
现有技术文献
专利文献
专利文献1：特开2010-157823号公报
专利文献2：特开2007-36800号公报
非专利文献
非专利文献1："Coding of audio-visual objects：Visual"，ISO/IEC14496-2：2001
发明内容
发明要解决的课题
通过如上述专利文献2或非专利文献1那样对视点图像和深度图像进行编码，能够以比较少的数据量来生成与多个视点对应的影像。但是，这些编码方法例如一方面将深度图像的信息利用于视点图像的编码，另一方面将视点图像的信息利用于深度图像的编码这样相互的依赖关系不同。此外，专利文献1的编码在视点图像和深度图像之间没有利用关系。
这样，这些多视点图像编码方式中视点图像和深度图像的依赖关系分别不同。而且，这些多视点图像编码方式分别具有不同的优点。
但是，由于这些图像编码方式在编码和解码时的视点图像和深度图像的依赖关系不同，所以不能同时并用。因此，目前，对每个机器或服务确定一个图像编码方式，固定地使用该图像编码方式。此时，例如，即使根据在一个机器或服务中内容的变化等，产生了与确定使用的编码方式相比采用其他的编码方式更有利的状况，也不能应对这个状况。
本发明是鉴于这样的情况而完成的，其目的在于，使得在对视点图像和深度图像进行编码或者解码时，能够统一使用编码和解码时的视点图像和深度图像的依赖关系不同的多个方式。
用于解决课题的手段
(1)为了解决上述课题，作为本发明的一个方式的图像编码装置，包括：视点图像编码部，当分别对与不同的视点对应的多个视点图像进行编码时，在应参照表示从视点相对在所述视点图像的被拍摄空间中包含的对象物的距离的深度图像时，参照所述深度图像对编码方式切换数据单位中的所述视点图像进行编码，在不应参照所述深度图像时，不参照所述深度图像对所述编码方式切换数据单位中的所述视点图像进行编码；深度图像编码部，当对所述深度图像进行编码时，在应参照所述视点图像时，参照所述视点图像对所述编码方式切换数据单位中的所述深度图像进行编码，在不应参照所述视点图像时，不参照所述视点图像对所述编码方式切换数据单位中的所述深度图像进行编码；以及图像间参照信息处理部，将按每个所述编码方式切换数据单位表示在编码时的所述视点图像和所述深度图像的参照关系的图像间参照信息插入到包括已编码的视点图像和已编码的深度图像的编码数据串中。
(2)此外，在本发明的图像编码装置中，所述图像间参照信息处理部对应于所述编码方式切换数据单位被设为序列的情况，将所述图像间参照信息插入到所述编码数据串中的序列的头中。
(3)此外，在本发明的图像编码装置中，所述图像间参照信息处理部对应于所述编码方式切换数据单位被设为图片的情况，将所述图像间参照信息插入到所述编码数据串中的图片的头中。
(4)此外，在本发明的图像编码装置中，所述图像间参照信息处理部对应于所述编码方式切换数据单位为片段的情况，将所述图像间参照信息插入到所述编码数据串中的片段的头中。
(5)此外，在本发明的图像编码装置中，所述图像间参照信息处理部对应于所述编码方式切换数据单位为编码单元单位的情况，将所述图像间参照信息插入到所述编码数据串中的编码单元单位的头中。
(6)此外，作为本发明的一个方式的图像解码装置，包括：代码提取部，从编码数据串提取分别对与不同的视点对应的视点图像进行编码的编码视点图像、对表示从视点相对在所述视点图像的被拍摄空间中包含的对象物的距离的深度图像进行编码的编码深度图像、按每个预定的编码方式切换数据单位表示在对所述视点图像或者所述深度图像进行编码时的所述视点图像和所述深度图像的参照关系的图像间参照信息；视点图像解码部，对所提取的所述编码视点图像进行解码；深度图像解码部，对所提取的所述编码深度图像进行解码；以及解码控制部，基于所提取的所述图像间参照信息表示的参照关系，决定所述编码视点图像和所述编码深度图像的解码顺序。
(7)此外，在本发明的图像解码装置中，所述解码控制部进行控制，使得在所述图像间参照信息表示作为编码视点图像和编码深度图像中的一个的解码对象图像参照另一个图像而编码的情况下，在所述另一个图像的解码完成之后开始所述解码对象图像的解码，所述解码控制部进行控制，使得在所述图像间参照信息表示作为编码视点图像和编码深度图像中的一个的解码对象图像未参照另一个图像而编码的情况下，即使所述另一个图像的解码未完成也开始所述解码对象图像的解码。
(8)此外，在本发明的图像解码装置中，所述解码控制部基于从所述编码数据串中的序列的头中所提取的所述图像间参照信息，决定作为所述编码方式切换数据单位的所述序列中的所述编码视点图像和所述编码深度图像的解码顺序。
(9)此外，在本发明的图像解码装置中，所述解码控制部基于从所述编码数据串中的图片的头中所提取的所述图像间参照信息，决定作为所述编码方式切换数据单位的所述图片中的所述编码视点图像和所述编码深度图像的解码顺序。
(10)此外，在本发明的图像解码装置中，所述解码控制部基于从所述编码数据串中的片段的头中所提取的所述图像间参照信息，决定作为所述编码方式切换数据单位的所述片段中的所述编码视点图像和所述编码深度图像的解码顺序。
(11)此外，在本发明的图像解码装置中，所述解码控制部基于从所述编码数据串中的编码单元的头中所提取的所述图像间参照信息，决定作为所述编码方式切换数据单位的所述编码单元中的所述编码视点图像和所述编码深度图像的解码顺序。
(12)此外，作为本发明的一个方式的图像编码方法，包括：视点图像编码步骤，当分别对与不同的视点对应的多个视点图像进行编码时，在应参照表示从视点相对在所述视点图像的被拍摄空间中包含的对象物的距离的深度图像时，参照所述深度图像对编码方式切换数据单位中的所述视点图像进行编码，在不应参照所述深度图像时，不参照所述深度图像对所述编码方式切换数据单位中的所述视点图像进行编码；深度图像编码步骤，当对所述深度图像进行编码时，在应参照所述视点图像时，参照所述视点图像对所述编码方式切换数据单位中的所述深度图像进行编码，在不应参照所述视点图像时，不参照所述视点图像对所述编码方式切换数据单位中的所述深度图像进行编码；以及图像间参照信息处理步骤，将按每个所述编码方式切换数据单位表示在编码时的所述视点图像和所述深度图像的参照关系的图像间参照信息插入到包括所述编码视点图像和所述编码深度图像的编码数据串中。
(13)此外，作为本发明的一个方式的图像解码方法，包括：代码提取步骤，从编码数据串提取分别对与不同的视点对应的视点图像进行编码的编码视点图像、对表示从视点相对在所述视点图像的被拍摄空间中包含的对象物的距离的深度图像进行编码的编码深度图像、按每个预定的编码方式切换数据单位表示在对所述视点图像或者所述深度图像进行编码时的所述视点图像和所述深度图像的参照关系的图像间参照信息；视点图像解码步骤，对所提取的所述编码视点图像进行解码；深度图像解码步骤，对所提取的所述编码深度图像进行解码；以及解码控制步骤，基于所提取的所述图像间参照信息表示的参照关系，决定所述编码视点图像和所述编码深度图像的解码顺序。
(14)此外，作为本发明的一个方式的程序，用于使计算机执行如下步骤：视点图像编码步骤，当分别对与不同的视点对应的多个视点图像进行编码时，在应参照表示从视点相对在所述视点图像的被拍摄空间中包含的对象物的距离的深度图像时，参照所述深度图像对编码方式切换数据单位中的所述视点图像进行编码，在不应参照所述深度图像时，不参照所述深度图像对所述编码方式切换数据单位中的所述视点图像进行编码；深度图像编码步骤，当对所述深度图像进行编码时，在应参照所述视点图像时，参照所述视点图像对所述编码方式切换数据单位中的所述深度图像进行编码，在不应参照所述视点图像时，不参照所述视点图像对所述编码方式切换数据单位中的所述深度图像进行编码；以及图像间参照信息处理步骤，将按每个所述编码方式切换数据单位表示在编码时的所述视点图像和所述深度图像的参照关系的图像间参照信息插入到包括所述编码视点图像和所述编码深度图像的编码数据串中。
(15)此外，作为本发明的一个方式的程序，用于使计算机执行如下步骤：代码提取步骤，从编码数据串提取分别对与不同的视点对应的视点图像进行编码的编码视点图像、对表示从视点相对在所述视点图像的被拍摄空间中包含的对象物的距离的深度图像进行编码的编码深度图像、按每个预定的编码方式切换数据单位表示在对所述视点图像或者所述深度图像进行编码时的所述视点图像和所述深度图像的参照关系的图像间参照信息；视点图像解码步骤，对所提取的所述编码视点图像进行解码；深度图像解码步骤，对所提取的所述编码深度图像进行解码；以及解码控制步骤，基于所提取的所述图像间参照信息表示的参照关系，决定所述编码视点图像和所述编码深度图像的解码顺序。
发明效果
如以上所说明，根据本发明，在对视点图像和深度图像进行编码或者解码时，能够统一使用编码和解码时的视点图像和深度图像的依赖关系不同的多个方式。而且，能够获得根据依赖关系而适当地设定视点图像和深度图像的解码顺序的效果。
附图说明
图1是表示本发明的实施方式中的图像编码装置的结构例的图。
图2是表示本实施方式的第一编码方式中的图像的参照关系例的图。
图3是表示本实施方式中的编码对象的图像的参照关系例的图。
图4是表示本实施方式的编码对象数据中的图片的结构例的图。
图5是表示本实施方式中的编码数据串的结构例的图。
图6是表示根据本实施方式中的编码方式切换数据单位的类别的图像间参照信息的插入位置的例的图。
图7是表示本实施方式的图像编码装置执行的处理步骤例的图。
图8是表示本实施方式的图像解码装置的结构例的图。
图9是表示本实施方式的视点图像对应表和深度图像对应表的结构例的图。
图10是表示本实施方式的图像解码装置执行的处理步骤例的图。
具体实施方式
[图像编码装置的结构]
图1表示本发明的实施方式中的图像编码装置100的结构例。
该图所示的图像编码装置100包括视点图像编码部110、深度图像编码部120、编码方式决定部130、编码图像存储部140、摄影条件信息编码部150、视点图像生成部160、图像间参照信息处理部170以及复用部180。
视点图像编码部110分别输入与不同的视点对应的多个视点图像Pv，对这些多个视点图像Pv进行编码。
另外，与各视点对应的视点图像Pv是，例如分别设置在不同的位置(视点)，拍摄在同一个视野(被拍摄空间)中包含的被拍摄体的图像的图像。即，一个视点图像Pv是通过某一个视点来观察了被拍摄体的图像。此外，作为视点图像Pv的图像信号是，对配置在二维平面中的每个像素具有表示在被拍摄空间中包含的被拍摄体或背景的色彩或浓淡的信号值(亮度值)、且具有表示每个像素的颜色空间的信号值的图像信号。这样的具有表示颜色空间的信号值的图像信号的一例是RGB信号。RGB信号包括表示红色分量的亮度值的R信号、表示绿色分量的亮度值的G信号、表示蓝色分量的亮度值的B信号。
深度图像编码部120对深度图像Pd进行编码。
深度图像(也称为“深度图(depth map)”、“深度图像”、“距离图像”)Pd是，将表示从视点相对在被拍摄空间中包含的被拍摄体或背景等对象物的距离的信号值(也称为“depth值”、“深度值”、“深度”等)设为配置在二维平面中的每个像素的信号值(像素值)的图像信号。形成该深度图像Pd的像素与形成视点图像的像素对应。深度图像是用于使用将被拍摄空间投射到二维平面时的视点图像而表现三维的被拍摄空间的信息。
另外，这些视点图像Pv和深度图像Pd既可以是与动画对应的图像，也可以是与静止图像对应的图像。此外，深度图像Pd也可以不对全部视点的每个视点图像Pv对应而准备。作为一例，在具有三个视点量的三个视点图像Pv的情况下，深度图像Pd也可以准备与这些三个视点图像Pv中的两个对应的图像。
这样，图像编码装置100通过具有视点图像编码部110和深度图像编码部120，能够进行多视点图像编码。而且，图像编码装置100作为多视点图像编码，对应第一～第三编码方式的3种编码方式。
第一编码方式是，对视点图像Pv和深度图像Pd分别例如将时间方向的预测编码和视点方向的预测编码并用等而单独进行编码的方式。在该第一编码方式中，视点图像Pv的编码以及解码、和深度图像Pd的编码以及解码不分别互相参照而独立进行。即，在第一编码方式的情况下，视点图像Pv的编码以及解码与深度图像Pd的编码以及解码相互都不依赖。
另外，第一编码方式例如对应专利文献1的编码方法。
第二编码方式是，基于深度图像Pd和视点(例如摄影装置的位置)的位置关系而生成基准视点以外的视点中的视差补偿图像，并利用所生成的视差补偿图像进行视点图像Pv的编码的方式。在该第二编码方式中，在进行视点图像Pv的编码和解码时，参照深度图像Pd。即，在第二编码方式的情况下，视点图像Pv的编码和解码依赖深度图像Pd。
另外，第二编码方式例如对应专利文献2的编码方法。
第三编码方式是，将在视点图像Pv的预测编码时能够获得的运动向量等的信息利用于深度图像Pd的编码的方式。在该第三编码方式中，在进行深度图像Pd的编码和解码时，参照视点图像Pv。即，在第三编码方式的情况下，深度图像Pd的编码和解码依赖视点图像Pv。
另外，第三编码方式例如对应非专利文献1的编码方法。
而且，第一～第三编码方式分别具有不同的优点。
例如，在第一编码方式中，由于视点图像和深度图像的编码数据不相互依赖，所以能够抑制编码和解码的各自中的处理延迟。此外，即使是在深度图像或者视点图像的质量部分恶化的情况下，也因进行相互独立的编码，所以恶化的影响在视点图像和深度图像之间不会传播。
此外，在第二编码方式中，由于视点图像的编码和解码依赖深度图像的编码结果和解码结果，所以处理延迟比较大。但是，在该编码方法中，若深度图像的质量越高则视差补偿图像的生成精度也越高，利用了该视差补偿图像的预测编码的压缩效率大幅提高。
此外，在第三编码方式中，在深度图像的编码时利用编码后的视点图像的运动向量等的信息，在深度图像的解码时利用解码后的视点图像的运动向量等的信息。由此，能够省略以深度图像为对象的运动探索等的一部分处理，例如削减了编码/解码时的处理量。
由此，图像编码装置100能够按预定的每个编码方式变更单位，在第一至第三编码方式之间变更编码方式的同时进行多视点图像编码。
例如，通过根据编码对象的影像内容的内容等而以活用其优点的方式切换编码方式，能够兼顾影像内容的质量的提高和编码效率的提高。
编码方式决定部130决定应通过例如第一至第三编码方式中的哪一个编码方式进行多视点图像编码。在该决定时，编码方式决定部130参照例如从外部输入的编码参数的内容。编码参数是，例如指定在进行多视点图像编码时的各种参数的信息。
在编码方式决定部130决定为第一编码方式的情况下，视点图像编码部110在对视点图像Pv进行编码时不应参照深度图像Pd。此时，视点图像编码部110关于视点图像Pv，不参照深度图像Pd而进行编码。此外，此时，深度图像编码部120在对深度图像Pd进行编码时不应参照视点图像Pv。此时，深度图像编码部120关于深度图像Pd，不参照视点图像Pv而进行编码。
此外，在编码方式决定部130决定为第二编码方式的情况下，视点图像编码部110在对视点图像Pv进行编码时应参照深度图像Pd。此时，视点图像编码部110关于视点图像Pv，参照深度图像Pd而进行编码。另一方面，此时的深度图像编码部120在对深度图像Pd进行编码时，不应参照视点图像Pv。因此，此时的深度图像编码部120关于深度图像Pd，不参照视点图像Pv而进行编码。
此外，在编码方式决定部130决定为第三编码方式的情况下，视点图像编码部110在对视点图像Pv进行编码时不应参照深度图像Pd。此时，视点图像编码部110关于视点图像Pv，不参照深度图像Pd而进行编码。另一方面，此时，深度图像编码部120在对深度图像Pd进行编码时应参照视点图像Pv。此时，深度图像编码部120关于深度图像Pd，参照视点图像Pv而进行编码。
编码图像存储部140存储在视点图像编码部110对视点图像Pv进行编码的过程中生成的解码视点图像。此外，编码图像存储部140存储在深度图像编码部120对深度图像Pd进行编码的过程中生成的解码深度图像。
在图1的结构的情况下，视点图像编码部110在参照深度图像Pd时，将在该编码图像存储部140中存储的解码深度图像利用作为参照图像。此外，深度图像编码部120在参照视点图像Pv时，将在编码图像存储部140中存储的解码视点图像利用作为参照图像。
此外，摄影条件信息编码部150对摄影条件信息Ds进行编码而生成编码摄影条件信息Ds＿enc。
摄影条件信息Ds在视点图像Pv是基于由摄影装置拍摄而获得的影像信号的图像的情况下，作为表示该摄影装置的摄影条件的信息，包括例如每个视点的摄影装置的位置或间隔等的配置位置关系的信息。此外，摄影条件信息Ds在视点图像Pv是通过例如CG(Computer Graphics，计算机图形学)而生成的图像的情况下，包括表示想要拍摄该图像的虚拟的摄影装置的摄影条件的信息。
视点图像生成部160基于在编码图像存储部140中存储的解码视点图像和解码深度图像以及摄影条件信息，生成视点图像Pv＿i。编码图像存储部140存储所生成的视点图像Pv＿i。这样生成的视点图像Pv＿i是成为视点合成预测编码的对象的视点图像。由此，例如，能够生成视点图像编码部110输入的视点图像Pv以外的任意的视点的编码视点图像。
图像间参照信息处理部170将图像间参照信息插入到编码数据串STR中。
即，图像间参照信息处理部170生成按每个编码方式切换数据单位表示编码时的视点图像和深度图像的参照关系的图像间参照信息。并且，图像间参照信息处理部170指定其插入位置，将生成的图像间参照信息输出到复用部180。
图像间参照信息表示的“参照关系”表示具体而言关于在对编码视点图像Pv＿enc进行编码时是否参照了深度图像Pd或者在对编码深度图像Pd＿enc进行编码时是否参照了视点图像Pv的关系性。
另外，图像间参照信息处理部170能够基于视点图像编码部110的编码处理结果和深度图像编码部120的编码结果来识别该参照关系。此外，还能够基于编码方式决定部130的决定结果来识别。
复用部180在预定的定时，适当输入视点图像编码部110生成的编码视点图像Pv＿enc、深度图像编码部120生成的编码深度图像Pd＿enc、编码摄影条件信息Ds＿enc，通过时分复用进行复用。复用部180将这样进行了复用的数据作为比特流形式的编码数据串STR而输出。
此时，复用部180将图像间参照信息Dref插入到在编码数据串STR中所指定的插入位置。另外，图像间参照信息处理部170指定的插入位置根据确定为编码方式切换数据单位的数据单位而不同，关于这一点在后面叙述。
[每个编码方式中的图像间的参照关系]
图2表示第一编码方式中的图像的参照(依赖)关系例。另外，在该图中，表示对应于全部视点的每个而生成深度图像Pd时的例。
在该图中，表示了在视点#0、#1、#2的三个视点和时间方向的二维上的15个视点图像Pv0～Pv4、Pv10～Pv14、Pv20～Pv24以及与这些相同的视点以及相同时刻的深度图像Pd0～Pd4、Pd10～Pd14、Pd20～Pd24。
在该图中，箭头的终点侧的图像是编码的对象图像。此外，箭头的始点侧的图像是在对该对象图像进行编码时参照的参照图像。
作为一例，视点#1中的视点图像Pv11参照同一个视点#1中的前一个时刻的视点图像Pv10和后一个时刻的视点图像Pv12以及同一个时刻中的其他的视点#0、#2的视点图像Pv1和Pv21的四个视点图像Pv进行编码。
并且，在该图中，为了便于容易理解图示，只表示了视点图像Pv的参照关系，但关于深度图像Pd，也能够采取同样的参照关系。
在图2中，视点#0设定为基准视点。基准视点是在对该视点的图像进行编码或者解码时不将其他的视点的图像使用作为参照图像的视点。如同图所示，视点#0中的视点图像Pv0～Pv4都不参照其他的视点#1或者#2的视点图像Pv10～Pv14、Pv20～Pv24。
另外，在对将图2所示的各视点图像Pv和深度图像Pd进行了编码的图像进行解码时，也通过与图2相同的参照关系而参照其他的图像进行解码。
从上述说明也能够理解，在第一编码方式中，在进行预测编码时，在视点图像Pv间进行参照，相同地在深度图像Pd间进行参照。但不进行视点图像Pv和深度图像Pd之间的参照。
图3表示在并用了本实施方式的第一～第三编码方式的情况下的视点图像Pv和深度图像Pd的参照关系例。如前所述，在第一～第三编码方式中，由于视点图像Pv和深度图像Pd的参照关系分别不同，所以不能对相同的编码对象的数据并用多个编码方式而使用。但是，在本实施方式中，例如按图片等的每个预定的编码的单位(编码方式切换数据单位)切换编码方式而使用。图3是例如按图片单位切换了编码方式的情况下的例。
在该图中，表示了在视点#0、#1的两个视点和时间方向的二维上的六个视点图像Pv0～Pv2、Pv10～Pv12以及与其对应的六个深度图像Pd0～Pd2、Pd10～Pd12。
在该图中，箭头的终点侧的图像也是要进行编码或者解码的对象图像，箭头的始点侧的图像是在对该对象图像进行编码或者解码时参照的参照图像。
作为一例，视点#1中的深度图像Pd11参照同一个视点#1中的前一时刻的深度图像Pd10和后一时刻的深度图像Pd12以及同一个时刻中的其他的视点#0的深度图像Pd1。此外，深度图像Pd11参照与同一个视点以及时刻对应的视点图像Pv11。
此外，深度图像Pd11所参照的视点图像Pv11参照相同的视点#1中的前一时刻的视点图像Pv10和后一时刻的视点图像Pv12以及相同的时刻中的其他的视点#0的视点图像Pv1。此外，视点图像Pv11参照对应于与视点图像Pv1相同的视点以及时刻的深度图像Pd1。
根据图3所示的参照关系，例如视点图像Pv0～Pv2分别通过第一编码方式进行编码。此外，视点图像Pv10～Pv12通过第二编码方式进行编码。此外，深度图像Pd0～Pd2、Pd10～Pd12通过第三编码方式进行编码。
此外，在如上述那样参照其他的图像进行编码时，应参照的图像需要一旦进行编码。因此，视点图像Pv和深度图像Pd的编码顺序根据图像间的参照关系而决定。
具体而言，在图3的参照关系的情况下，编码顺序成为Pv0、Pd0、Pv10、Pd10、Pv2、Pd2、Pv12、Pd12、Pv1、Pd1、Pv11、Pd11……。
[编码数据结构例]
图4作为本实施方式的图像编码装置100设为编码对象的数据的一例，表示与视点图像Pv对应的图片300。
与视点图像Pv对应的图片300是，例如与影像中的帧对应的图像数据。该图片300由预定数的像素而形成，其最小单位是构成一个像素的颜色分量的信号(R、G、B信号或者Y、Cb、Cr信号等)。
该图片300分割为作为预定数的像素的集合的块的单位。而且，本实施方式中的图片300分割为作为块的集合的片段。在同图中，示意性地表示图片300由片段#1、#2、#3的三个片段形成的状态。片段是编码的基本单位。
另外，与深度图像Pd对应的图片也和与视点图像Pv对应的图片300相同地，由预定的像素数形成。此外，分割为作为块的集合的片段。但是，与视点图像Pv的不同点在于，深度图像Pd只具有亮度值而不具有颜色的信息。
图5示意性地表示已编码的图片300进行了复用的编码数据串STR的结构例。该编码数据串STR遵照例如作为图像编码标准规格之一的H.264/AVC(Advanced Video Coding，高级视频编码)或者MVC(Multi-view Video Coding，多视点视频编码)。
图5所示的编码数据串STR从数据的前方朝着后方依次存储有SPS(SequenceParameter Set，序列参数集)#1、PPS(Picture Parameter Set，图片参数集)#1、片段#1、片段#2、片段#3、PPS#2、片段#4……。
SPS是存储在包括多个图片的动画的序列整体中公共的参数的信息，例如，包括构成图片的像素数或像素结构(像素的比特数)等。
PPS是存储图片单位的参数的信息，例如，包括表示图片单位的编码预测方式的信息或编码中的量化参数的初始值等。
在图5的例中，SPS#1存储包括与PPS#1和PPS#2对应的图片的序列公共的参数。PPS#1和PPS#2存储SPS#1的SPS序号“1”，由此，认识到应对与PPS#1和PPS#2对应的每个图片应用SPS#1内的哪个参数集。
PPS#1存储对形成对应的图片的每个片段#1、#2、#3应用的参数。对应于此，片段#1、#2、#3存储PPS#1的序号“1”，由此，认识到应对每个片段#1、#2、#3应用PPS#1内的哪个参数集。
此外，PPS#2存储形成对应的图片的每个片段#4……的参数。对应于此，片段#4……存储PPS#2的序号“2”，由此，认识到应对每个片段#4……应用PPS#2内的哪个参数集。
此外，如图5所示编码数据串STR包括的SPS、PPS、片段等的数据存储在NAL(NetworkAbstractionLayer，网络提取层)单元(编码单元)400的数据结构内。即，NAL单元是存储SPS、PPS、片段等的单位信息的单元。
如相同的图5所示，NAL单元400由NAL单元头和接着该NAL单元头的RBSP(Raw ByteSequence Payload，原始字节序列载荷)形成。
SPS、PPS、片段等存储的参数集或图像编码数据包含在该RBSP内。NAL单元头包括NAL单元的识别信息。该识别信息表示在RBSP中存储的数据的类别。
[编码方式切换数据单位的例]
视点图像编码部110和深度图像编码部120在对视点图像Pv以及深度图像Pd进行编码时，如图3中所说明，进行基于参照时间方向以及视点方向上的其他的图像的帧间预测编码。
而且，视点图像编码部110在对视点图像Pv进行编码时，能够进行与利用深度图像Pd而生成的合成图像的预测编码(视点合成预测编码)。即，视点图像编码部110能够进行第二编码方式。
此外，深度图像编码部120在对深度图像Pd进行编码时，能够进行利用了视点图像Pv的编码完毕的信息(运动向量等)的编码。由此，例如与只通过图1所示的第一编码方式(在视点图像Pv和深度图像Pd中单独地只通过时间方向预测进行编码的方式)进行了编码的情况相比，能够提高编码效率。
此外，相反地，在只通过第二或者第三编码方法进行了编码的情况下，虽然存在处理延迟的增加成为不利的情况，但通过并用第一编码方式，能够抑制处理延迟的增加，也实现了画质的维持。
而且，视点图像编码部110和深度图像编码部120在如上述那样并用多个编码方式对视点图像Pv以及深度图像Pd进行编码时，如前述那样，按预定的每个编码方式切换数据单位切换编码方式。此外，图像间参照信息处理部170对编码数据串STR插入图像间参照信息，使得与每个编码方式切换数据单位的编码方式对应地进行解码。
因此，说明本实施方式中的编码方式切换数据单位的例以及与每个编码方式切换数据单位对应的编码数据串STR中的图像间参照信息的插入位置的例。
首先，编码方式切换数据单位的一例是序列。此时，编码方式决定部130对每个序列决定应从第一～第三编码方式中应用哪个方式。并且，视点图像编码部110和深度图像编码部120将每个序列中的视点图像Pv和深度图像Pd分别根据所决定的编码方式进行编码。
图6(a)表示与将序列设为编码方式切换数据单位的例对应的图像间参照信息Dref的插入位置的例。在编码方式切换数据单位为序列的情况下，图像间参照信息处理部170如同图所示，将图像间参照信息Dref插入到编码数据串STR中的SPS的RBSP内的预定位置。
即，图像间参照信息Dref将该预定位置指定为插入位置并将图像间参照信息Dref输出到复用部180。复用部180进行编码数据串STR的复用处理，使得将图像间参照信息Dref插入到所指定的插入位置。
此外，编码方式切换数据单位的一例是图片。此时，编码方式决定部130对每个图片决定应从第一～第三编码方式中应用哪个方式。并且，视点图像编码部110和深度图像编码部120将每个图片中的视点图像Pv和深度图像Pd分别根据所决定的编码方式进行编码。
图6(b)表示与将图片设为编码方式切换数据单位的例对应的图像间参照信息Dref的插入位置的例。在编码方式切换数据单位为图片的情况下，如同图所示，图像间参照信息处理部170将图像间参照信息Dref插入到编码数据串STR中的各PPS的RBSP内的预定位置。
此外，编码方式切换数据单位的一例是片段。此时，编码方式决定部130对每个片段决定应从第一～第三编码方式中应用哪个方式。并且，视点图像编码部110和深度图像编码部120将每个片段中的视点图像Pv和深度图像Pd分别根据所决定的编码方式进行编码。
图6(c)表示与将片段设为编码方式切换数据单位的例对应的图像间参照信息Dref的插入位置的例。在编码方式切换数据单位为片段的情况下，图像间参照信息处理部170如同图所示，将图像间参照信息Dref插入到NAL单元400的RBSP的开头配置的片段头内。
图6(d)表示在NAL单元400中的NAL单元头内存储了图像间参照信息Dref的例。
如图5中所说明，NAL单元头附加到SPS、PPS、片段等的各种数据中。因此，如图6(d)所示，在NAL单元头中存储有图像间参照信息Dref的情况下，根据该AL单元400存储的信息，图像间参照信息Dref对应的编码方式切换数据单位发生变更。这意味着，在进行多视点图像编码时，例如能够在序列和图片和片段之间切换编码方式切换数据单位的类别。
即，在图像间参照信息Dref插入到在RBSP中存储SPS的NAL单元400的NAL单元头中的情况下，编码方式切换数据单位成为序列。
此外，在图像间参照信息Dref插入到在RBSP中存储PPS的NAL单元400的NAL单元头中的情况下，编码方式切换数据单位成为图片。此外，PPS还能够指定例如图片的一部分中的多个图片。因此，在只要以多个片段单位切换编码方式(参照关系)即可的情况下，与图6(c)的情况相比，能够削减编码数据的冗长。
此外，在对RBSP插入片段的NAL单元400的NAL单元头中存储有图像间参照信息Dref的情况下，编码方式切换数据单位成为片段。
此外，在图6(d)的例中，需要以NAL单元单位区分是视点图像和深度图像中的哪一个。为此，只要作为表示图像的类别的信息而在NAL单元头中存储分量类别信息即可。分量是指成为编码对象的图像的类别。视点图像和深度图像分别是分量的一种。
另外，表示该图像的类别的信息也可以代替分量类别信息而利用在标准上包含在NAL单元头中的NAL单元识别信息。即，也可以根据NAL单元识别信息，识别视点图像的SPS、视点图像的PPS、视点图像的片段、深度图像的SPS、深度图像的PPS、深度图像的片段等。
此外，图像间参照信息Dref例如只要是关于作为视点图像或者深度图像的分量的一个，表示在其编码时是否参照了另一个分量的信息即可。此时，图像间参照信息Dref能够定义为通过“1”和“0”来表示是否参照了其他的图像的1比特的标记(inter_component_flag)。
具体而言，在第一编码方式的情况下，关于编码视点图像Pv＿enc的图像间参照信息Dref，存储表示未参照深度图像Pd的“0”。此外，关于编码深度图像Pd＿enc的图像间参照信息Dref也存储表示未参照视点图像Pv的“0”。
此外，在第二编码方式的情况下，关于编码视点图像Pv＿enc的图像间参照信息Dref，存储表示参照深度图像Pd的“1”。另一方面，关于编码深度图像Pd＿enc的图像间参照信息Dref，存储表示未参照视点图像Pv的“0”。
此外，在第三编码方式的情况下，关于编码视点图像Pv＿enc的图像间参照信息Dref，存储表示未参照深度图像Pd的“0”。另一方面，关于编码深度图像Pd＿enc的图像间参照信息Dref，存储表示参照视点图像Pv的“1”。
另外，也可以代替图像间参照信息Dref，例如是表示通过第一至第三编码方式中的哪个方式而编码的信息。
[图像编码装置的处理步骤例]
图7的流程图表示图像编码装置100执行的处理步骤例。
这里，首先，从视点图像Pv的编码开始说明。编码方式决定部130对预先确定的每个编码方式切换数据单位决定视点图像Pv的编码方式(步骤S101)。
接着，视点图像编码部110以在编码方式切换数据单位中包含的视点图像Pv为对象，开始基于所决定的编码方式的编码。在开始该编码时，视点图像编码部110判定所决定的编码方式是否为应参照其他的分量、即深度图像Pd的方式(步骤S102)。
在应参照深度图像Pd的情况下(步骤S102-是)，视点图像编码部110参照作为其他的分量的深度图像Pd而执行编码(步骤S103)。即，如前所述，视点图像编码部110从编码图像存储部140读出对应的解码深度图像，并利用该读出的解码深度图像而进行视点图像Pv的编码。
并且，图像间参照信息处理部170生成表示通过步骤S103进行了编码的分量(视点图像)是参照其他的分量(深度图像)而编码的图像间参照信息Dref(步骤S104)。具体而言，图像间参照信息处理部170对1比特的图像间参照信息Dref设定“1”。
另一方面，在不应参照深度图像Pd的情况下(步骤S102-否)，视点图像编码部110不参照作为其他的分量的深度图像Pd，只通过在相同的分量(视点图像)间的预测编码而执行编码(步骤S105)。
并且，图像间参照信息处理部170生成表示步骤S105而编码的分量(视点图像)是未参照其他的分量(深度图像)而编码的图像间参照信息Dref(步骤S106)。具体而言，图像间参照信息处理部170对1比特的图像间参照信息Dref设定“0”。
此外，编码方式决定部130在步骤S101中，对深度图像Pd也同样地决定编码方式。根据这个决定，深度图像编码部120执行与步骤S102、S103、S105对应的处理而对深度图像Pd进行编码。此外，图像间参照信息处理部170通过与步骤S104、S106相同的处理而生成图像间参照信息Dref。
并且，图像间参照信息处理部170将如上述那样生成的图像间参照信息Dref根据预先确定的编码方式切换数据单位，如图6所示，将图像间参照信息Dref插入到编码数据串STR中的预定位置(步骤S107)。即，图像间参照信息处理部170指定其插入位置并向复用部180输出图像间参照信息Dref。
另外，虽然在该图中没有示出，但与步骤S103和S105的分量的编码的同时，还进行摄影条件信息编码部150的摄影条件信息的编码。并且，复用部180输入已编码的分量(编码视点图像Pv＿enc和编码深度图像Pd＿enc)和编码摄影条件信息以及通过步骤S108而生成的头。并且，复用部180进行时分复用，使得将输入的这些数据按照适当的排列顺序排列，并作为编码数据串STR而输出(步骤S108)。
[图像解码装置的结构]
图8表示本实施方式中的图像解码装置200的结构例。该图所示的图像解码装置200包括代码提取部210、视点图像解码部220、深度图像解码部230、解码图像存储部240、解码控制部250、摄影条件信息解码部260、视点图像生成部270、视点图像对应表存储部280以及深度图像对应表存储部290。
代码提取部210从输入的编码数据串STR中，提取辅助信息Dsub、编码视点图像Pv＿enc、编码深度图像Pd＿enc以及编码摄影条件信息Ds＿enc。另外，在辅助信息Dsub中，包括通过图6而说明的图像间参照信息Dref。
视点图像解码部220对从编码数据串STR分离的编码视点图像Pv＿enc进行解码而生成视点图像Pv＿dec，并输出到解码图像存储部240。视点图像解码部220在对编码视点图像Pv＿enc进行解码时，需要参照深度图像的情况下，读出在解码图像存储部240中存储的深度图像Pd＿dec。并且，利用该读出的深度图像Pd＿dec对编码视点图像Pv＿enc进行解码。
深度图像解码部230对从编码数据串STR分离的编码深度图像Pd＿enc进行解码而生成深度图像Pd＿dec，并输出到解码图像存储部240。深度图像解码部230在对编码深度图像Pd＿enc进行解码时，需要参照视点图像的情况下，读出在解码图像存储部240中存储的视点图像Pv＿dec。并且，利用该读出的视点图像Pv＿dec对编码深度图像Pd＿enc进行解码。
解码图像存储部240将视点图像解码部220解码的视点图像Pv＿dec和深度图像解码部230生成的深度图像Pd＿dec进行存储。此外，将通过后述的视点图像生成部270而生成的视点图像Pv＿i进行存储。视点图像Pv＿i利用于例如对通过视点合成预测编码进行了编码的编码视点图像Pv＿enc进行解码。
如前述那样，解码图像存储部240存储的视点图像Pv＿dec利用于深度图像解码部230参照视点图像进行解码时。同样地，解码图像存储部存储的深度图像Pd＿dec利用于视点图像解码部220参照深度图像进行解码时。
此外，解码图像存储部240将所存储的视点图像Pv＿dec和深度图像Pd＿dec例如按照根据指定的显示顺序等的输出顺序输出到外部。
如上述那样，从图像解码装置200输出的视点图像Pv＿dec和深度图像Pd＿dec通过未图示的再现装置或应用等而再现。由此，例如进行多视点图像的显示。
解码控制部250基于输入的辅助信息Dsub的内容来解释编码数据串STR，并根据其解释结果，控制视点图像解码部220和深度图像解码部230的解码处理。作为对于该解码处理的控制之一，解码控制部250基于在辅助信息Dsub中包含的图像间参照信息Dref，如下进行控制。
即，设为图像间参照信息Dref表示编码方式切换数据单位中的解码对象的分量(解码对象图像)参照其他的分量(参照图像)进行了编码。此时，解码控制部250控制视点图像解码部220或者深度图像解码部230，使得参照其他的分量对解码对象的分量进行解码。
具体而言，在图像间参照信息Dref表示参照其他的分量进行了编码的情况下，在解码对象的分量是视点图像且其他的分量是深度图像的情况下，解码控制部250如下进行控制。即，解码控制部250控制视点图像解码部220，使得编码视点图像Pv＿enc参照深度图像Pd＿dec而被解码。
另一方面，在图像间参照信息Dref表示参照其他的分量进行了编码的情况下，在解码对象的分量是深度图像且其他的分量是视点图像的情况下，解码控制部250如下进行控制。即，解码控制部250控制深度图像解码部230，使得编码深度图像Pd＿enc参照视点图像Pv＿dec而被解码。
此外，设为图像间参照信息Dref表示编码方式切换数据单位中的解码对象的分量未参照其他的分量进行了编码。
此时，解码控制部250进行控制，使得不参照其他的分量对解码对象的分量进行解码。
具体而言，此时的解码控制部250控制视点图像解码部220，使得在解码对象的分量是视点图像的情况下，编码视点图像Pv＿enc不参照深度图像Pd＿dec而被解码。另一方面，在解码对象的分量是深度图像的情况下，控制深度图像解码部230，使得编码深度图像Pd＿enc不参照视点图像Pv＿dec而被解码。
这里，如上述那样，在参照其他的分量对解码对象的分量进行解码时，需要参照的其他的分量已经进行了解码。因此，解码控制部250在编码视点图像Pv＿enc和编码深度图像Pd＿enc的解码时，控制要对编码视点图像Pv＿enc和编码深度图像Pd＿enc进行解码的顺序，使得应参照的分量成为解码完毕的状态。
在该控制时，解码控制部250利用在视点图像对应表存储部280中存储的视点图像对应表和在深度图像对应表存储部290中存储的深度图像对应表。另外，关于利用了视点图像对应表和深度图像对应表的解码顺序控制的例，在后面叙述。
摄影条件信息解码部260对分离的编码摄影条件信息Ds＿enc进行解码而生成摄影条件信息Ds＿dec。摄影条件信息Ds＿dec输出到外部，并且输出到视点图像生成部270。
视点图像生成部270利用在解码图像存储部240中存储的解码视点图像以及解码深度图像以及摄影条件信息Ds＿dec，生成视点图像Pv＿i。解码图像存储部240存储所生成的视点图像Pv＿i。
视点图像对应表存储部280存储视点图像对应表。
图9(a)表示视点图像对应表281的结构例。如该图所示，视点图像对应表281中，按每个视点序号，图像间参照信息值和解码结果信息建立对应。
视点序号是对与视点图像Pv对应的多个视点的每个视点预先赋予的序号。例如，对图2所示的视点#0、#1、#2分别赋予了视点序号0、1、2。
图像间参照信息值存储关于相同时刻的每个视点序号的编码视点图像Pv＿enc的图像间参照信息Dref的内容，即存储图像间参照信息Dref表示的值。如前述那样，图像间参照信息Dref通过“1”的值来表示参照其他的分量(此时是深度图像)，通过“0”的值来表示不参照其他的分量。
解码结果信息表示关于对应的视点序号的编码视点图像Pv＿enc的解码是否结束。此时，解码结果信息例如设为1比特的信息，通过“1”的值来表示完成了解码，通过“0”的值来表示没有完成解码。
在图9(a)的例中，视点序号表示“0”～“5”。即，此时，表示设定了六个不同的视点的例。
而且，图9(a)中的图像间参照信息值表示虽然视点序号“0”的编码视点图像Pv＿enc没有参照深度图像而编码，但剩余的视点序号“1”～“5”的编码视点图像Pv＿enc参照深度图像而编码。这表示视点序号“0”的编码视点图像Pv＿enc不应参照深度图像而解码，但视点序号“1”～“5”的编码视点图像Pv＿enc应参照深度图像而解码。
此外，图9(a)中的解码结果信息表示在某一时刻，视点序号“0”和“1”的编码视点图像Pv＿enc完成了解码，但视点序号“2”～“5”的编码视点图像Pv＿enc没有完成解码。
深度图像对应表存储部290存储深度图像对应表。
图9(b)表示深度图像对应表291的结构例。如该图所示，深度图像对应表291中，按每个视点序号，图像间参照信息值和解码结果信息建立对应。
视点序号是对与深度图像Pd对应的视点图像Pv的多个视点的每个视点预先赋予的序号。
图像间参照信息值存储关于相同时刻的每个视点序号的编码深度图像Pd＿enc的图像间参照信息表示的值。
解码结果信息表示关于对应的视点序号的编码深度图像Pd＿enc的解码是否结束。此时，解码结果信息例如设为1比特的信息，通过“1”的值来表示完成了解码，通过“0”的值来表示没有完成解码。
在图9(b)中，也表示作为视点序号而示出“0”～“5”，设定了六个不同的视点的例。
而且，图9(b)中的图像间参照信息值表示虽然视点序号“0”和“2”～“5”的编码深度图像Pd＿enc没有参照视点图像而编码，但视点序号“1”的编码深度图像Pd＿enc参照视点图像而编码。这表示视点序号“0”和“2”～“5”的编码深度图像Pd＿enc不应参照视点图像而解码，但视点序号“1”的编码深度图像Pd＿enc应参照视点图像而解码。
此外，图9(b)中的解码结果信息表示在某一时刻，视点序号“0”～“2”的深度图像Pd＿enc完成了解码，但视点序号“3”～“5”的深度图像Pd＿enc没有完成解码。
图10的流程图表示图像解码装置200用于对某一个视点的编码视点图像Pv＿enc进行解码的处理步骤例。
首先，解码控制部250参照在输入的辅助信息Dsub中包含的图像间参照信息Dref(步骤S201)，将参照的图像间参照信息Dref的值存储到在视点图像对应表281中与解码对象的编码视点图像Pv＿enc对应的视点序号的图像间参照信息值中(步骤S202)。
此外，与此同时，解码控制部250在视点图像对应表281中与解码对象的编码视点图像Pv＿enc对应的视点序号的解码结果信息中，作为初始值而存储表示没有完成解码的“0”(步骤S203)。
接着，解码控制部250判定通过步骤S202而存储的图像间参照信息值是否为“1”(步骤S204)。这相当于，判定解码对象的编码视点图像Pv＿enc是否为参照深度图像而进行了编码的图像，即解码对象的编码视点图像Pv＿enc是否应参照深度图像而进行解码。
在图像间参照信息值为“1”的情况下(步骤S204-是)，解码控制部250等待在深度图像对应表291中与解码对象的编码视点图像Pv＿enc相同的视点序号的解码结果信息成为“1”(步骤S205-否)。
即，解码控制部250在解码对象的编码视点图像Pv＿enc的解码时，等待至应参照的深度图像Pd＿dec(其他分量)进行解码为止。
并且，若根据深度图像Pd＿dec进行了解码而解码结果信息成为“1”(步骤S205-是)，则解码控制部250对视点图像解码部220指示解码开始(步骤S206)。
此外，在图像间参照信息值不是“1”的情况下(步骤S204-否)，解码控制部250跳过步骤S205而对视点图像解码部220指示解码开始(步骤S206)。即，此时的解码控制部250是不等待与相同的视点序号和时刻对应的编码深度图像Pd＿enc的解码而是对视点图像解码部220指示解码开始的部件。
根据解码开始指示，视点图像解码部220判定在视点图像对应表281中解码对象的编码视点图像Pv＿enc的视点序号的图像间参照信息值是否为“1”(步骤S207)。即，视点图像解码部220判定解码对象的编码视点图像Pv＿enc是否应参照深度图像而解码。
在图像间参照信息值为“1”的情况下(步骤S207-是)，视点图像解码部220开始利用了参照图像的编码对象图像的解码(步骤S208)。
即，视点图像解码部220从解码图像存储部240作为参照图像而读入对应于与解码对象的编码视点图像Pv＿enc相同的视点序号和时刻的深度图像Pd＿dec。并且，利用该读入的深度图像Pd＿dec而开始编码视点图像Pv＿enc的解码。
另一方面，在图像间参照信息值为“0”的情况下(步骤S207-否)，视点图像解码部220开始不利用深度图像Pd＿dec(参照图像)的编码视点图像Pv＿enc(解码对象图像)的解码(步骤S209)。
这样，视点图像解码部220参照解码控制部250存储的图像间参照信息值，对解码对象的编码视点图像Pv＿enc决定是否应参照深度图像而解码。这意味着视点图像解码部220的解码处理被解码控制部250所控制。
在开始了步骤S208或者S209的编码视点图像Pv＿enc的解码之后，解码控制部250等待该解码完成(步骤S210-否)。并且，若解码完成(步骤S210-是)，则视点图像解码部220对在视点图像对应表281中与解码对象的编码视点图像Pv＿enc的视点序号对应的解码结果信息存储表示完成了解码的“1”(步骤S211)。
另外，在对编码深度图像Pd＿enc进行解码时，也应用与图10相同的处理。
此时，解码控制部250参照与解码对象的编码深度图像Pd＿enc对应的图像间参照信息Dref(步骤S201)。并且，解码控制部250将参照的图像间参照信息Dref的值存储到在深度图像对应表291中解码对象的编码深度图像Pd＿enc所对应的视点序号的图像间参照信息值中(步骤S202)。此外，解码控制部250在深度图像对应表291中与解码对象的编码深度图像Pd＿enc对应的视点序号的解码结果信息中，作为初始值而存储表示没有完成解码的“0”(步骤S203)。
解码控制部250在判定为图像间参照信息值是“1”的情况下(步骤S204-是)，等待在视点图像对应表281中与解码对象的编码深度图像Pd＿enc相同的视点序号的解码结果信息成为“1”(步骤S205-否)。
根据解码结果信息成为“1”(步骤S205-是)，解码控制部250对深度图像解码部230指示解码开始(步骤S206)。
此外，在图像间参照信息值不是“1”的情况下(步骤S204-否)，解码控制部250跳过步骤S205而对深度图像解码部230指示解码开始(步骤S206)。
根据解码开始指示，深度图像解码部230判定在深度图像对应表291中解码对象的编码深度图像Pd＿enc的视点序号的图像间参照信息值是否为“1”(步骤S207)。
在图像间参照信息值为“1”的情况下(步骤S207-是)，深度图像解码部230利用从解码图像存储部240读入的视点图像Pv＿dec而开始编码深度图像Pd＿enc的解码。
另一方面，在图像间参照信息值为“0”的情况下(步骤S207-否)，深度图像解码部230开始不利用视点图像Pv＿dec(参照图像)的编码深度图像Pd＿enc(解码对象图像)的解码(步骤S209)。
在开始了步骤S208或者S209的编码深度图像Pd＿enc的解码之后，解码控制部250等待该解码结束(步骤S210-否)。并且，若解码结束(步骤S210-是)，则深度图像解码部230对在深度图像对应表291中与解码对象的编码深度图像Pd＿enc的视点序号对应的解码结果信息存储表示完成了解码的“1”(步骤S211)。
如在图3中所说明，编码数据串STR中的编码视点图像Pv＿enc和编码深度图像Pd＿enc的排列顺序是根据编码的参照关系的顺序。
因此，例如用于图10的步骤S204的判定，在视点图像对应表281或者深度图像对应表291的图像间参照信息值的定时开始了参照目标的图像的解码。因此，通过在应参照其他的分量的图像而解码的编码图像的解码时应用图10的步骤S204和S205，能够在可靠地完成了参照目标的图像的解码之后，开始解码对象的编码图像的解码。即，本实施方式能够大幅抑制在参照其他的分量而解码的方式的图像解码处理的延迟。
另外，也可以将用于实现图1以及图8中的各部分的功能的程序记录在计算机能够读取的记录介质中，使在该记录介质中记录的程序读入计算机系统而执行，从而进行图像的编码和解码。另外，这里所称的“计算机系统”包括OS或外围设备等的硬件。
此外，“计算机系统”只要是利用WWW系统的情况，则还包括主页提供环境(或者显示环境)。
此外，“计算机能够读取的记录介质”是指，软盘、光磁盘、ROM、CD-ROM等的可移动介质、在计算机系统中内置的硬盘等的存储装置。此外，“计算机能够读取的记录介质”还包括如成为在经由互联网等的网络或电话线路等的通信线路而发送了程序的情况下的服务器或客户机的计算机系统内部的易失性存储器(RAM)那样、固定时间保持程序的介质。此外，上述程序既可以是用于实现前述的功能的一部分的程序，此外，也可以是能够通过已经记录在计算机系统中的程序的组合而实现前述的功能的程序。
以上，参照附图详细叙述了本发明的实施方式，但具体的结构并不限定于该实施方式，也包括不脱离本发明的主旨的范围的设计等。
符号说明
100 图像编码装置
110 视点图像编码部
120 深度图像编码部
130 编码方式决定部
140 编码图像存储部
150 摄影条件信息编码部
160 视点图像生成部
170 图像间参照信息处理部
180 复用部
200 图像解码装置
210 代码提取部
220 视点图像解码部
230 深度图像解码部
240 解码图像存储部
250 解码控制部
260 摄影条件信息解码部
270 视点图像生成部
280 视点图像对应表存储部
281 视点图像对应表
290 深度图像对应表存储部
291 深度图像对应表

Claims (4)

1.一种图像解码装置，其特征在于，包括：
代码提取部，从编码数据串提取分别对与不同的视点对应的视点图像进行编码的编码视点图像、对与所述视点图像对应的深度图像进行编码的编码深度图像、按每个预定的编码单位表示在对所述视点图像或者所述深度图像进行编码时的所述视点图像和所述深度图像的参照关系的图像间参照信息；
视点图像解码部，对所提取的所述编码视点图像进行解码；
深度图像解码部，对所提取的所述编码深度图像进行解码；以及
解码控制部，基于所提取的所述图像间参照信息表示的参照关系，对解码对象的编码视点图像是参照所述深度图像进行解码还是不参照所述深度图像进行解码进行控制。
2.一种图像编码装置，其特征在于，包括：
视点图像编码部，当分别对与不同的视点对应的多个视点图像进行编码时，在应参照与所述视点图像对应的深度图像时，参照所述深度图像对编码单位中的所述视点图像进行编码，在不应参照所述深度图像时，不参照所述深度图像对所述编码单位中的所述视点图像进行编码；
深度图像编码部，当对所述深度图像进行编码时，在应参照所述视点图像时，参照所述视点图像对所述编码单位中的所述深度图像进行编码，在不应参照所述视点图像时，不参照所述视点图像对所述编码单位中的所述深度图像进行编码；以及
图像间参照信息处理部，将按每个所述编码单位表示编码对象的所述视点图像是参照所述深度图像进行编码还是不参照所述深度图像进行编码的参照关系的图像间参照信息，插入到包括已编码的视点图像和已编码的深度图像的编码数据串中。
3.一种图像解码方法，其特征在于，包括：
代码提取步骤，从编码数据串提取分别对与不同的视点对应的视点图像进行编码的编码视点图像、对与所述视点图像对应的深度图像进行编码的编码深度图像、按每个预定的编码单位表示在对所述视点图像或者所述深度图像进行编码时的所述视点图像和所述深度图像的参照关系的图像间参照信息；
视点图像解码步骤，对所提取的所述编码视点图像进行解码；
深度图像解码步骤，对所提取的所述编码深度图像进行解码；以及
解码控制步骤，基于所提取的所述图像间参照信息表示的参照关系，对关于解码对象的编码视点图像是参照编码深度图像进行解码还是未参照编码深度图像进行解码进行控制。
4.一种图像编码方法，其特征在于，包括：
视点图像编码步骤，当分别对与不同的视点对应的多个视点图像进行编码时，在应参照与所述视点图像对应的深度图像时，参照所述深度图像对编码单位中的所述视点图像进行编码，在不应参照所述深度图像时，不参照所述深度图像对所述编码单位中的所述视点图像进行编码；
深度图像编码步骤，当对所述深度图像进行编码时，在应参照所述视点图像时，参照所述视点图像对所述编码单位中的所述深度图像进行编码，在不应参照所述视点图像时，不参照所述视点图像对所述编码单位中的所述深度图像进行编码；以及
图像间参照信息处理步骤，将按每个所述编码单位表示编码对象的所述视点图像是参照所述深度图像进行编码还是未参照所述深度图像进行编码的参照关系的图像间参照信息，插入到包括所述编码视点图像和所述编码深度图像的编码数据串中。
CN201610930345.6A 2012-03-30 2013-03-25 图像编码装置、图像解码装置、图像编码方法以及图像解码方法 Pending CN107105294A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012081867A JP2013211776A (ja) 2012-03-30 2012-03-30 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
JP2012-081867 2012-03-30
CN201380017830.9A CN104221368B (zh) 2012-03-30 2013-03-25 图像编码装置、图像解码装置、图像编码方法、图像解码方法以及程序

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380017830.9A Division CN104221368B (zh) 2012-03-30 2013-03-25 图像编码装置、图像解码装置、图像编码方法、图像解码方法以及程序

Publications (1)

Publication Number Publication Date
CN107105294A true CN107105294A (zh) 2017-08-29

Family

ID=49259887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610930345.6A Pending CN107105294A (zh) 2012-03-30 2013-03-25 图像编码装置、图像解码装置、图像编码方法以及图像解码方法

Country Status (4)

Country Link
US (1) US20150071362A1 (zh)
JP (1) JP2013211776A (zh)
CN (1) CN107105294A (zh)
WO (1) WO2013146636A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11252315B2 (en) * 2017-08-04 2022-02-15 Sony Interactive Entertainment Inc. Imaging apparatus and information processing method
GB2571306A (en) 2018-02-23 2019-08-28 Sony Interactive Entertainment Europe Ltd Video recording and playback systems and methods
CN110278366B (zh) * 2018-03-14 2020-12-01 虹软科技股份有限公司 一种全景图像虚化方法、终端及计算机可读存储介质
US10812818B2 (en) * 2018-12-14 2020-10-20 Tencent America LLC Network abstraction unit layer type classes in network abstraction layer unit header
KR102295264B1 (ko) * 2019-11-28 2021-08-30 주식회사 알파서클 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100008677A (ko) * 2008-07-16 2010-01-26 광주과학기술원 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
CN102017627A (zh) * 2008-04-25 2011-04-13 汤姆森许可贸易公司 使用基于深度信息的视差估计的多视点视频编码
US20110221861A1 (en) * 2008-11-18 2011-09-15 Lg Electronics Inc. Method and apparatus for processing video signal
CN102265617A (zh) * 2008-12-26 2011-11-30 日本胜利株式会社 图像编码装置、图像编码方法及其程序、以及图像解码装置、图像解码方法及其程序

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100679740B1 (ko) * 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
JP2006129338A (ja) * 2004-11-01 2006-05-18 Mitsubishi Electric Corp 映像記録再生装置及び記録媒体
JP4414379B2 (ja) * 2005-07-28 2010-02-10 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
KR20100014552A (ko) * 2007-03-23 2010-02-10 엘지전자 주식회사 비디오 신호의 인코딩/디코딩 방법 및 장치
US20120050475A1 (en) * 2009-05-01 2012-03-01 Dong Tian Reference picture lists for 3dv
JP4828630B2 (ja) * 2009-12-09 2011-11-30 三菱電機株式会社 動画像復号方法
US9565449B2 (en) * 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102017627A (zh) * 2008-04-25 2011-04-13 汤姆森许可贸易公司 使用基于深度信息的视差估计的多视点视频编码
KR20100008677A (ko) * 2008-07-16 2010-01-26 광주과학기술원 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
US20110221861A1 (en) * 2008-11-18 2011-09-15 Lg Electronics Inc. Method and apparatus for processing video signal
CN102265617A (zh) * 2008-12-26 2011-11-30 日本胜利株式会社 图像编码装置、图像编码方法及其程序、以及图像解码装置、图像解码方法及其程序

Also Published As

Publication number Publication date
WO2013146636A1 (ja) 2013-10-03
CN104221368A (zh) 2014-12-17
JP2013211776A (ja) 2013-10-10
US20150071362A1 (en) 2015-03-12

Similar Documents

Publication Publication Date Title
JP6229962B2 (ja) 符号化装置及び符号化方法
CA2559131C (en) Stereoscopic parameter embedding apparatus and stereoscopic image reproducer
CN102396236B (zh) 广播接收机及其视频数据处理方法
JP5336666B2 (ja) 符号化方法、表示装置、復号方法
CN104380743B (zh) 用于立体显示器和自动立体显示器的深度图传送格式
KR102320455B1 (ko) 미디어 콘텐트를 전송하는 방법, 디바이스, 및 컴퓨터 프로그램
TWI277349B (en) Animation image decoding method, animation image decoding program, animation image decoder, animation image encoding method, animation image encoding program, and animation image encoder
TW201230768A (en) Encoding method, display device, and decoding method
WO2003092305A1 (en) Image encodder, image decoder, record medium, and image recorder
US9578298B2 (en) Method for decoding 2D-compatible stereoscopic video flows
TWI539790B (zh) 用於產生及重建一視訊串流之裝置、方法與軟體產品
TW201246940A (en) Video encoding device, video encoding method, video encoding program, video playback device, video playback method, and video playback program
CN107105294A (zh) 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
JP2004240469A (ja) 画像データ作成装置およびそのデータを再生する画像データ再生装置
US9357200B2 (en) Video processing device and video processing method
CN104137558B (zh) 用于显示三维图像的数字广播接收方法及其接收设备
WO2012169204A1 (ja) 送信装置、受信装置、送信方法及び受信方法
JP6008292B2 (ja) ビデオストリームの映像のデータ作成装置及び再生装置
Dziembowski et al. Immersive video postprocessing for efficient video coding
CN102934452A (zh) 用于传送在数字视频流内的信息和/或应用数据的方法，以及用于生成和播放这样的视频流的相关设备
CN104221368B (zh) 图像编码装置、图像解码装置、图像编码方法、图像解码方法以及程序
CN105103543B (zh) 兼容的深度依赖编码方法
KR20200095408A (ko) 이머시브 비디오 포맷팅 방법 및 장치
JP2017147749A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
JP2013211777A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170829

WD01 Invention patent application deemed withdrawn after publication