CN103202019A - 编码装置和编码方法、以及解码装置和解码方法 - Google Patents

编码装置和编码方法、以及解码装置和解码方法 Download PDF

Info

Publication number
CN103202019A
CN103202019A CN2011800550434A CN201180055043A CN103202019A CN 103202019 A CN103202019 A CN 103202019A CN 2011800550434 A CN2011800550434 A CN 2011800550434A CN 201180055043 A CN201180055043 A CN 201180055043A CN 103202019 A CN103202019 A CN 103202019A
Authority
CN
China
Prior art keywords
image
unit
composition
multiplexing
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800550434A
Other languages
English (en)
Inventor
高桥良知
服部忍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103202019A publication Critical patent/CN103202019A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本技术涉及能够提高多视点三维图形的编码效率的编码装置和编码方法以及解码装置和解码方法。多视点图像编码单元设置当对复用图像进行编码时使用的编码参数，以使得在该复用图像中包括的彩色图像和深度图像之间共享该编码参数。多视点图像编码单元通过使用所设置的编码参数来对复用图像进行编码。本技术适用于例如用于对多视点三维图像进行编码的编码装置。

Description

编码装置和编码方法、以及解码装置和解码方法
技术领域
本技术涉及编码装置、编码方法、解码装置和解码方法，尤其涉及能够改进多视点三维图像的编码效率的编码装置、编码方法、解码装置和解码方法。
背景技术
近来，作为对由多视点彩色图像和呈现彩色图像的差异的深度图像配置的多视点三维图像进行编码的一种方法，提出了分别对彩色图像和深度图像进行编码的方法（参见例如专利文献1）。
图1是示出了以该方式对多视点三维图像进行编码和解码的图像处理系统的配置的示例的框图。
图1中的图像处理系统10包括：彩色图像编码装置11、深度图像编码装置12、复用装置13、分离装置14、彩色图像解码装置15和深度图像解码装置16。
图像处理系统10的彩色图像编码装置11根据编码方案例如多视点视频编码（MVC）方案、高级视频编码（AVC）方案等对输入至图像处理系统10的多视点三维图像中的彩色图像进行编码。彩色图像编码装置11给复用装置13提供由于编码而获得的比特流作为彩色图像比特流。
深度图像编码装置12根据编码方案例如MVC方案、AVC方案等对输入至图像处理系统10的多视点三维图像中的深度图像进行编码。深度图像编码装置12给复用装置13提供由于编码而获得的比特流作为深度图像比特流。
复用装置13对从彩色图像编码装置11提供的彩色图像比特流和从深度图像编码装置12提供的深度图像比特流进行复用，并将作为结果的复用比特流提供给分离装置14。
分离装置14对从复用装置13提供的复用比特流进行分离，并获得彩色图像比特流和深度图像比特流。分离装置14将彩色图像比特流提供给彩色图像解码装置15，并且将深度图像比特流提供给深度图像解码装置16。
彩色图像解码装置15根据与MVC方案、AVC方案等对应的方案对从分离装置14提供的彩色图像比特流进行解码，并输出所得的多视点彩色图像。
深度图像解码装置16根据与MVC方案、AVC方案等对应的方案对从分离装置14提供的深度图像比特流进行解码，并输出所得的多视点深度图像。
引用列表
非专利文献
非专利文献1：INTERNATIONAL ORGANISATION FORSTANDARDISATION ORGANISATION INTERNATIONALE DENORMALISATION ISO/IEC JTC1/SC29/WG11CODING OF MOVINGPICTURES AND AUDIO,Guangzhou,China,October2010
发明内容
技术问题
在上述的方法中，由于对彩色图像和深度图像进行独立地编码，所以不能在彩色图像和深度图像之间共享编码参数例如运动矢量。因此，编码效率低。
考虑到这样的情况而提出本技术，并致力于提高多视点三维图像的编码效率。
问题的解决方案
根据本发明的第一方面的编码装置包括：设置单元，被配置成以如下方式进行设置：使得在对多视点三维图像的彩色图像和该多视点三维图像的深度图像进行编码时使用的编码参数在彩色图像和深度图像中共享；以及编码单元，被配置成通过使用由设置单元设置的编码参数，对该多视点三维图像的彩色图像和该多视点三维图像的深度图像进行编码。
根据本技术的第一方面的编码方法对应于根据本技术的第一方面的编码装置。
根据本发明的第一方面，当对多视点三维图像的彩色图像和多视点三维图像的深度图像进行编码时使用的编码参数被设置成在彩色图像和深度图像中共享。使用编码参数对多视点三维图像的彩色图像和多视点三维图像的深度图像进行编码。
根据本发明的第二方面，提供的解码装置包括：接收单元，被配置成接收编码参数和编码流，其中，该编码参数被设置成在多视点三维图像的彩色图像和该多视点三维图像的深度图像中共享并在对该多视点三维图像的彩色图像和该多视点三维图像的深度图像进行编码时使用，并且在述编码流中，该多视点三维图像的彩色图像和该多视点三维图像的深度图像已被编码；以及解码单元，被配置成通过使用由该接收单元接收的编码参数，对由该接收单元接收的编码流进行解码。
根据本技术的第二方面，对编码参数和编码流进行接收，通过使用接收的编码参数对编码流进行解码，该编码参数被设置成在多视点彩色图像和多视点深度图像中共享且当对多视点三维图像的彩色图像和多视点三维图像的深度图像进行编码时使用，在该编码流中包含有编码的多视点三维图像的彩色图像和多视点三维图像的深度图像。
而且，根据第一方面的编码装置和根据第二方面的解码装置可以通过在计算机上执行程序来实现。
此外，为了实现根据第一方面的编码装置和根据第二方面的解码装置而在计算机上执行的程序可以由通过传输介质的传输来提供或由在记录介质上的记录来提供。
此外，根据第一方面的编码装置和根据第二方面的解码装置可以是独立的装置，或可以是组成一个装置的内部块。
本发明的有益效果
根据本技术的第一方面，可以提高多视点三维图像的编码效率。
此外，根据本技术的第二方面，可以对由编码效率已经提高的编码而获得的多视点三维图像的编码数据进行解码。
附图说明
[图1]图1是示出了常规的图像处理系统的配置的示例的框图；
[图2]图2是示出了应用本技术的编码装置的第一实施方式的配置示例的框图；
[图3]图3是示出了图2中的图像复用单元的配置的示例的框图；
[图4]图4是描绘了图3中的图像复用单元的复用处理的示例的概念图；
[图5]图5是描绘了对YUV444图像进行复用处理的示例的图；
[图6]图6是描绘了对YUV422图像进行复用处理的示例的图；
[图7]图7是描绘了对YUV420图像进行复用处理的示例的图；
[图8]图8是示出了对复用信息的描述的示例的图；
[图9]图9是示出了当进行如图4至图7所示的复用处理时对复用信息的描述的示例的图；
[图10]图10是描绘了图2中的编码装置的编码处理的流程图；
[图11]图11是描绘了图10中的复用处理的细节的流程图；
[图12]图12是示出了解码装置的配置的示例的框图；
[图13]图13是示出了图12中的图像分离单元的配置的示例的框图；
[图14]图14是描绘了图12中的解码装置的解码处理的流程图；
[图15]图15是描绘了图14中的分离处理的细节的流程图；
[图16]图16是示出了应用本技术的编码装置的第二实施方式的配置的示例的框图；
[图17]图17是示出了图16中的图像复用单元的配置的示例的框图；
[图18]图18是描绘了图17中的画面复用单元的复用处理的图；
[图19]图19是示出了解码单元的配置的示例的框图；
[图20]图20是示出了图19中的画面内预测单元的配置的示例的框图；
[图21]图21是示出了图19中的运动补偿单元的配置的示例的框图；
[图22]图22是示出了图19中的无损编码单元的配置的示例的框图；
[图23]图23是描绘了当最佳预测模式是最佳帧内预测模式时有效系数标志的图；
[图24]图24是描绘了当最佳预测模式是最佳帧间预测模式时有效系数标志的图；
[图25]图25是示出了和系数相关的语法的示例的图；
[图26]图26是示出了和系数相关的语法的示例的图；
[图27]图27是示出了和系数相关的语法的示例的图；
[图28]图28是示出了和系数相关的语法的示例的图；
[图29]图29是描述图16中的编码装置的编码处理的流程图；
[图30]图30是描绘图29中的复用处理的细节的流程图；
[图31]图31是描绘图29中的复用图像编码处理的细节的流程图；
[图32]图32是描绘图29中的复用图像编码处理的细节的流程图；
[图33]图33是描绘图31中的画面内预测处理的细节的流程图；
[图34]图34是描绘图19中的运动补偿处理的细节的流程图；
[图35]图35是描绘图31中的无损编码处理的细节的流程图；
[图36]图36是示出与图16中的编码装置对应的解码装置的配置的示例的框图；
[图37]图37是示出解码单元的配置的示例的框图；
[图38]图38是示出图37中的无损解码单元的配置的示例的框图；
[图39]图39是示出图37中的画面内预测单元的配置的示例的框图；
[图40]图40是示出图37中的运动补偿单元的配置的示例的框图；
[图41]图41是示出图36中的图像分离单元的配置的示例的框图；
[图42]图42是描绘图36中的解码装置的解码处理的流程图；
[图43]图43是描绘图42中的复用图像解码处理的细节的流程图；
[图44]图44是描绘图43中的无损解码处理的细节的流程图；
[图45]图45是描绘图42中的分离处理的细节的流程图；
[图46]图46是示出应用本技术的编码装置的第三实施方式的配置的示例的框图；
[图47]图47是示出图46中的编码单元的配置的示例的框图；
[图48]图48是示出图47中的深度编码单元的配置的示例的框图；
[图49]图49是示出图46中的生成单元的配置的示例的框图；
[图50]图50是示出多视点图像编码流的配置的示例的图；
[图51]图51是示出类型信息的示例的图；
[图52]图52是示出用于深度图像的SPS的语法的示例的图；
[图53]图53是示出非基准图像的条带头部的语法的示例的图；
[图54]图54是示出深度图像的条带头部的语法的示例的图；
[图55]图55是示出编码流的语法的示例的图；
[图56]图56是示出亮度方法有效系数信息的语法的示例的图；
[图57]图57是示出色差方法有效系数信息的语法的示例的图；
[图58]图58是描绘图46中的编码装置的编码处理的流程图；
[图59]图59是描绘深度图像编码处理的细节的流程图；
[图60]图60是描绘深度图像编码处理的细节的流程图；
[图61]图61是描绘图58中的生成处理的细节的流程图；
[图62]图62是示出与图46中的编码装置对应的解码装置的配置的示例的框图；
[图63]图63是示出图62中的分离单元的配置的示例的框图；
[图64]图64是示出图62中的解码单元的配置的示例的框图；
[图65]图65是示出图64中的深度解码单元的配置的示例的框图；
[图66]图66是描绘图62中的解码装置的解码处理的流程图；
[图67]图67是描绘图66中的分离处理的细节的流程图；
[图68]图68是描绘深度解码处理的细节的流程图；
[图69]图69是描绘可解码的多视点图像编码流的图；
[图70]图70是示出计算机的实施方式的配置的示例的框图；
[图71]图71是示出应用本技术的电视机装置的配置的示例的框图；
[图72]图72是示出应用本技术的移动电话的配置的示例的框图；
[图73]图73是示出应用本技术的记录/再现装置的配置的示例的框图；以及
[图74]图74是示出应用本技术的图像拾取装置的配置的示例的框图。
具体实施方式
<第一实施方式>
[编码装置的第一实施方式的配置的示例]
图2是示出应用本技术的编码装置的第一实施方式的配置的示例的框图。
图2中的编码装置20包括：多视点图像分离单元21、图像复用单元22-1至图像复用单元22-N（N是多视点三维图像的视点的数量，在本实施方式中，N是等于或大于3的整数）和多视点图像编码单元23。编码装置20在每个视点处对配置多视点三维图像的多视点彩色图像和深度图像进行编码。
具体地，编码装置20的多视点图像分离单元21对输入至编码装置20的由多视点彩色图像和深度图像配置的多视点三维图像进行分离，并获得每个视点的彩色图像和深度图像。
此外，多视点图像分离单元21将每个视点的彩色图像和深度图像提供给在每个视点处的图像复用单元22-1至图像复用单元22-N。具体地，多视点图像分离单元21将作为第一视点的视点#1的彩色图像和深度图像提供给图像复用单元22-1。随后，以类似的方式，多视点图像分离单元21将作为第二视点至第N视点的视点#2至视点#N的彩色图像和深度图像分别提供给在每个视点处的图像复用单元22-2至图像复用单元22-N。
图像复用单元22-1至图像复用单元22-N的每一个进行复用处理，以将从多视点图像分离单元21提供的彩色图像和深度图像复用到单个画面图像中。图像复用单元22-1至图像复用单元22-N的每一个给多视点图像编码单元23提供由于复用处理而获得的每个视点的、作为单个画面图像的复用图像，以及作为与复用处理相关的信息的复用信息。
而且，在下文中，当不需要特别区分图像复用单元22-1至图像复用单元22-N时，将其统称为图像复用单元22。
多视点图像编码单元23根据编码方案（例如MVC方案或AVC方案）对从图像复用单元22提供的复用信息和每个视点的复用图像进行编码。多视点图像编码单元23用作发送单元，其将由于编码而获得的每个视点的比特流作为复用图像比特流输出（发送）。而且，将用于编码的编码参数作为头部添加在比特流中。
[图像复用单元的配置示例]
图3是示出了图2中的图像复用单元22的配置示例的框图。
图3中的图像复用单元22包括：成分分离处理单元31、缩小处理单元32、色度分辨率转换处理单元33、画面合成处理单元34、像素布置处理单元35和成分合成处理单元36。而且，在图3中，实线表示图像，虚线表示信息。
图像复用单元22的成分分离处理单元31对从图2中的多视点图像分离单元21提供的预定视点的彩色图像的成分进行分离，并获得Y成分（其为彩色图像的亮度成分），以及Cb成分和Cr成分（其为彩色图像的色度成分）。成分分离处理单元31将彩色图像的Y成分提供给像素布置处理单元35作为Y图像。而且，成分分离处理单元31将彩色图像的Cb成分和Cr成分提供给缩小处理单元32作为Cb图像和Cr图像。
缩小处理单元32将从成分分离处理单元31提供的Cb图像和Cr图像的水平分辨率或垂直分辨率缩小二分之一。缩小处理单元32将缩小后的Cb图像和Cr图像提供给画面合成处理单元34。而且，缩小处理单元32给像素布置处理单元35提供像素位置信息，该像素位置信息表示缩小后的Cb图像和Cr图像的每个像素的缩小前的位置是奇数编号的像素的位置还是偶数编号的像素的位置。而且，缩小处理单元32给图2中的多视点图像编码单元23提供像素位置信息作为复用信息。
色度分辨率转换处理单元33进行转换以使得从图2中的多视点图像分离单元21提供的预定视点的深度图像的分辨率变成等于Cb图像和Cr图像的分辨率。而且，在本实施方式中，假定输入至编码装置20的深度图像具有与Y图像相同的分辨率。色度分辨率转换处理单元33给画面合成处理单元34提供分辨率转换后的深度图像。
画面合成处理单元34对从缩小处理单元32提供的缩小后的Cb图像和Cr图像以及从色度分辨率转换处理单元33提供的分辨率转换后的深度图像进行复用。具体地，画面合成处理单元34将分辨率转换后的深度图像的半区的图像与缩小后的Cb图像进行合成，并且将与所得的Cb图像具有相同分辨率的一个画面的合成图像设置为Cb合成图像。而且，画面合成处理单元34将分辨率转换后的深度图像的半区的图像与缩小后的Cr图像进行合成，将与所得的Cr图像具有相同分辨率的一个画面的合成图像设置为Cr合成图像。画面合成处理单元34给成分合成处理单元36提供Cb合成图像和Cr合成图像。
而且，画面合成处理单元34给像素布置处理单元35提供：画面位置信息，该画面位置信息表示Cb合成图像内的缩小后的Cb图像的位置和Cr合成图像内的缩小后的Cr图像的位置；以及表示复用方案的复用方案信息。而且，作为复用方案，存在对画面的左半区和右半区中的复用目标图像进行布置和合成的并排方案、对在画面的上半区和下半区中的复用目标图像进行布置和合成的上下方案等。而且，画面合成处理单元34给图2的多视点图像编码单元23提供画面位置信息和复用模式信息作为复用信息。
像素布置处理单元35基于从缩小处理单元32提供的像素位置信息和从画面合成处理单元34提供的画面位置信息和复用模式信息，对从成分分离处理单元31提供的Y图像的像素进行布置。具体地，像素布置处理单元35基于像素位置信息、画面位置信息和复用模式信息对Y图像的每个像素进行布置，以使得Y图像的每个像素的位置与Cb合成图像和Cr合成图像的每个像素的分辨率转换前的位置对应。像素布置处理单元35给成分合成处理单元36提供布置后的Y图像。
成分合成处理单元36通过将从像素布置处理单元35提供的布置后的Y图像与从画面合成处理单元34提供的Cb合成图像和Cr合成图像分别作为复用图像的Y成分、Cb成分和Cr成分进行合成，来生成复用图像。成分合成处理单元36给图2中的多视点图像编码单元23提供复用图像。
[复用的描述]
图4至图7是描绘由图3中的图像复用单元22进行的复用处理的示例的图。
图4是描绘由图3中的图像复用单元22进行的复用处理的示例的概念图。
此外，在图4中，白色矩形表示偶数编号的像素的行，灰色矩形表示奇数编号的像素的行。
如图4所示，在由成分分离处理单元31获得的Cb图像中，例如，缩小处理单元32仅留下奇数编号的像素，且水平分辨率缩小二分之一。另一方面，在由成分分离处理单元31获得的Cr图像中，例如，缩小处理单元32仅留下偶数编号的像素，且水平分辨率缩小二分之一。而且，深度图像被色度分辨率转换处理单元33转换成与Cb图像和Cr图像具有相同的分辨率。
画面合成处理单元34例如以这样的方式进行合成：将分辨率转换后的深度图像的偶数编号的像素布置在Cb合成图像的左半区，将仅由缩小后的奇数编号的像素配置的Cb图像布置在Cb合成图像的右半区。此外，画面合成处理单元34例如以这样的方式进行合成：将分辨率转换后的深度图像的奇数编号的像素布置在Cr合成图像的右半区，将仅由缩小后的偶数编号的像素配置的Cr图像布置在Cr合成图像的左半区。
而且，基于偶数编号的像素的位置（该位置是缩小后的Cr图像的相应像素的缩小前的位置）和左半区的位置（其为Cr合成图像内的布置缩小后的Cr图像的位置），像素布置处理单元35对Y图像的像素进行布置以使得Y图像的偶数编号的像素被布置在左半区中。而且，基于奇数编号的像素的位置（该位置是缩小后的Cb图像的各像素的缩小前的位置）和右半区的位置（其为Cb合成图像内的布置缩小后的Cb图像的位置），像素排列处理单元35对Y图像的像素进行排列以使得Y图像的奇数编号的像素被布置在右半区中。
成分合成处理单元36以将布置后的Y图像、Cb合成图像和Cr合成图像作为成分进行合成的方式生成复用图像。
通过以上述方式进行复用，将彩色图像的偶数编号的像素的Y成分和Cb成分以及分辨率转换后的深度图像的偶数编号的像素布置在复用图像的左半区中，将彩色图像的奇数编号的像素的Y成分和Cb成分以及和分辨率转换后的深度图像的奇数编号的像素布置在右半区中。
图5是描绘了当每个视点的彩色图像是被所谓YUV444的图像时复用处理的示例的图。
而且，在图5中，白色的圆圈、矩形、三角形和六边形表示偶数编号的像素，灰色的圆圈、矩形、三角形和六边形表示奇数编号的像素。这与将在下面描述的图6和图7中的相同。
在图5的示例中，由于彩色图像是被称为YUV444的图像，所以彩色图像的Y成分、Cb成分和Cr成分的分辨率彼此相等。
在这种情况下，如图5所示，在彩色图像的Cb图像中，例如，仅留下奇数编号的像素，且水平分辨率缩小二分之一，如图4所示。另一方面，在彩色图像的Cr图像中，例如，仅留下偶数编号的像素，且水平分辨率缩小二分之一。而且，在本实施方式中，由于输入至编码装置20的深度图像的分辨率等于Y图像的分辨率，所以在图5的情况下具有与Cb图像和Cr图像相同的分辨率，且深度图像的分辨率不变。
如图4所示，例如，以这样的方式进行合成：将分辨率转换后的深度图像的偶数编号的像素布置在Cb合成图像的左半区，将仅由缩小后的奇数编号的像素配置的Cb图像布置在Cb合成图像的右半区。而且，例如，以这样的方式进行合成：将分辨率转换后的深度图像的奇数编号的像素布置在Cr合成图像的右半区，将仅由缩小后的偶数编号的像素配置的Cr图像布置在Cr合成图像的左半区。
而且，如图4所示，基于偶数编号的像素的位置（该位置是缩小后的Cr图像的各像素的缩小前的位置）和左半区的位置（其为Cr合成图像内的布置缩小后的Cr图像的位置），对Y图像的像素进行布置以使得Y图像的偶数编号的像素被布置在左半区中。而且，基于奇数编号的像素的位置（该位置是缩小后的Cb图像的各像素的缩小前的位置）和右半区的位置（其为Cb合成图像内的布置缩小后的Cb图像的位置），对Y图像的像素进行布置以使得Y图像的奇数编号的像素被布置在右半区中。
以将布置后的Y图像、Cb合成图像和Cr合成图像作为成分进行合成的方式生成复用图像。而且，布置后的Y图像、Cb合成图像和Cr合成图像的水平分辨率和垂直分辨率彼此相等，复用图像是被称为YUV444的图像。
图6是描绘了当每个视点的彩色图像是被称为YUV422的图像时复用处理的示例的图。
在图6的示例中，由于彩色图像是被称为YUV422的图像，所以彩色图像的Cb成分和Cr成分的水平分辨率是Y成分的水平分辨率的二分之一。因此，深度图像的水平分辨率被缩小二分之一。
在这种情况下，由于除了Cb图像、Cr图像和分辨率转换后的深度图像的水平分辨率是Y图像的水平分辨率的二分之一外，复用与图5中的复用相同，所以省略其描述。而且，Cb合成图像和Cr合成图像的水平分辨率是布置后的Y图像的水平分辨率的二分之一，所以复用图像是被称为YUV422的图像。
图7是示出了当每个视点的彩色图像是被称为YUV420的图像时复用处理的示例的图。
在图7的示例中，由于彩色图像是被称为YUV420的图像，所以彩色图像的Cb成分和Cr成分的水平分辨率和垂直分辨率是Y成分的水平分辨率和垂直分辨率的二分之一。因此，深度图像的水平分辨率和垂直分辨率均缩小二分之一。
在这种情况下，由于除了Cb图像、Cr图像和分辨率转换后的深度图像的水平分辨率和垂直分辨率分别是Y图像的水平分辨率和垂直分辨率的二分之一外，复用与图5中的复用相同，所以省略其描述。而且，Cb合成图像和Cr合成图像的水平分辨率是布置后的Y图像的水平分辨率和垂直分辨率的二分之一，所以复用图像是被称为YUV420的图像。
而且，当彩色图像是被称为YUV420的图像时，图像复用单元22可以通过下述方式进行合成：在不将Cb图像和Cr图像的水平分辨率缩小二分之一的情况下，将Cb图像和Cr图像布置在画面的上半区中，并且将分辨率转换后的深度图像布置在画面的下半区中。在这种情况下，复用图像变成被称为YUV422的图像。
而且，当彩色图像是被称为YUV422或是被称为YUV420的图像时，复用图像中的Y成分的像素与Cb成分和Cr成分的像素的位置关系等同于偶数编号像素的Y图像的像素与Cb图像和Cr图像的像素的位置关系，但不同于奇数编号像素的Y图像的像素与Cb图像和Cr图像的像素的位置关系。因此，图像复用单元22可以校正复用图像的Y成分、Cb成分和Cr成分的各个像素的位置，以使得复用图像的Y成分的像素与Cb成分和Cr成分的像素中的位置关系能够变成等同于所有像素中的Y图像的像素与Cb图像和Cr图像的像素间的位置关系。在这种情况下，例如，表示已经校正了复用图像的像素位置的标志被包含在复用信息中，并且该标志被发送给解码装置，解码装置恢复复用图像的像素位置。
[对复用信息的描述的示例]
图8和图9是示出了当根据MVC方案或AVC方案对复用图像和复用信息进行编码时的复用信息的描述的示例的图。
如图8所示，当根据MVC方案或AVC方案对复用图像和复用信息进行编码时，例如，提供补充增强信息（SEI）用于对复用信息的描述。
在为描述复用信息而提供的SEI中，描述了1比特的复用模式信息（packing_pattern）。当表示并排模式时复用模式信息是0，当表示上下模式时复用模式信息是1。
在为描述复用信息而提供的SEI中，还描述了用于Y图像、Cb图像和Cr图像的每一个的1比特的深度图像标志（depth_present_flag）、1比特的像素位置信息（subsampling_position）和1比特的画面位置信息（packing_position）。深度图像标志是表示是否合成了深度图像的标志。当深度图像没有被合成时将0描述为深度图像标志，当深度图像被合成时将1描述为深度图像标志。
在本实施方式中，由于在Y图像中没有合成深度图像，所以将0描述为Y图像的深度图像标志（depth_present_flag_Y）。而且，由于在Cb图像和Cr图像中没有合成深度图像，所以将1描述为Cb图像的深度图像标志（depth_present_flag_Cb）和Cr图像的深度图像标志（depth_present_flag_Cr）。
而且，当表示每个缩小后的像素的缩小前位置是偶数编号的像素的位置时，像素位置信息是0，当表示每个缩小后的像素的缩小前位置是奇数编号的像素的位置时，像素位置信息是1。当表示左半区或上半区时，画面位置信息是0，当表示右半区或下半区时，画面位置信息是1。
因此，例如，当进行如图4至图7所述的复用处理时，在图9中示出了为描述复用信息而提供的SEI。
具体地，在图4至图7描述的复用处理中，由于将深度图像布置在Cb合成图像的左半区和Cr合成图像的右半区中，所以将表示并排模式的0描述为复用模式信息，如图9所示。而且，由于在Y图像中没有合成深度图像，所以将0描述为用于Y图像的深度图像标志（depth_present_flag_Y），对用于Y图像的像素位置信息（subsampling_position_Y）和用于Y图像的画面位置信息（packing_position_Y）没有进行描述。
此外，由于在Cb图像和Cr图像中合成了深度图像，所以将1描述为用于Cb图像的深度图像标志（depth_present_flag_Cb）和用于Cr图像的深度图像标志（depth_present_flag_Cr）。而且，在Cb图像中，在缩小时留下奇数编号的像素，并且在Cb合成图像内的缩小后的Cb图像的位置是右半区。因此，将1描述为用于Cb图像的像素位置信息（subsampling_position_Cb）和用于Cb图像的画面位置信息（packing_position_Cb）。
另一方面，在Cr图像中，在缩小时留下偶数编号的像素，并且在Cr合成图像内的缩小后的Cr图像的位置是左半区。因此，将0描述为用于Cr图像的像素位置信息（subsampling_position_Cr）和用于Cr图像的画面位置信息（packing_position_Cr）。
[对编码装置的处理的描述]
图10是描绘了由图2中的编码装置20进行的编码处理的流程图。编码处理开始于例如将多视点三维图像输入至编码装置20时。
在图10的步骤S11中，编码装置20的多视点图像分离单元21对输入至编码装置20的多视点三维图像进行分离，并获得每个视点的彩色图像和深度图像。多视点图像分离单元21在每个视点处给图像复用单元22提供每个视点的彩色图像和深度图像。
在步骤S12中，图像复用单元22进行复用处理。将参照图11在下面描述复用处理的细节。图像复用单元22给多视点图像编码单元23提供由于复用处理而获得的每个视点的复用图像和复用信息。
在步骤S13中，多视点图像编码单元23根据编码方案（例如MVC方案或AVC方案）对从图像复用单元22提供的每个视点的复用图像和复用信息进行编码。
多视点图像编码单元23输出所得的比特流作为复用图像比特流，并结束处理。
图11是描绘了图10中的步骤S12的复用处理的细节的流程图。
在图11中的步骤S31中，图像复用单元22的成分分离处理单元31（图3）对从图2的多视点图像分离单元21提供的预定视点的彩色图像的成分进行分离，并获得Y成分、Cb成分和Cr成分。成分分离处理单元31给像素排列处理单元35提供彩色图像的Y成分作为Y图像。而且，成分分离处理单元31给缩小处理单元32提供彩色图像的Cb成分和Cr成分作为Cb图像和Cr图像。
在步骤S32中，色度分辨率转换处理单元33进行转换以使得从图2中的多视点图像分离单元21提供的预定视点的深度图像的分辨率变成等于Cb图像和Cr图像的分辨率。色度分辨率转换处理单元33给画面合成处理单元34提供分辨率转换后的深度图像。
在步骤S33中，缩小处理单元32将从成分分离处理单元31提供的Cb图像和Cr图像的水平分辨率或垂直分辨率缩小二分之一。缩小处理单元32给画面合成处理单元34提供缩小后的Cb图像和Cr图像。而且，缩小处理单元32给像素布置处理单元35提供像素位置信息，还给图2中的多视点图像编码单元23提供像素位置信息作为复用信息。
在步骤S34中，画面合成处理单元34对从缩小处理单元32提供的缩小后的Cb图像和Cr图像以及从色度分辨率转换处理单元33提供的分辨率转换后的深度图像进行复用。画面合成处理单元34给成分合成处理单元36提供所得的Cb合成图像和Cr合成图像。而且，画面合成处理单元34给像素布置处理单元35提供画面位置信息和复用模式信息，还给图2中的多视点图像编码单元23提供画面位置信息和复用模式信息作为复用信息。
在步骤S35中，像素布置处理单元35基于从缩小处理单元32提供的像素位置信息和从画面合成处理单元34提供的画面位置信息和复用模式信息，对从成分分离处理单元31提供的Y图像的像素进行布置。像素布置处理单元35给成分合成处理单元36提供布置后的Y图像。
在步骤S36中，成分合成处理单元36将从像素布置处理单元35提供的布置后的Y图像和从画面合成处理单元34提供的Cb合成图像和Cr合成图像分别合成为复用图像的Y成分、Cb成分和Cr成分，并生成复用图像。成分合成处理单元36给图2中的多视点图像编码单元23提供所生成的复用图像。然后，该处理返回至图10中的步骤S12，并且该处理进行到步骤S13。
如上所述，由于编码装置20通过将Cb图像、Cr图像和深度图像复用至一个画面来进行编码，所以可以在彩色图像和深度图像间共享编码参数，例如运动矢量、编码块模式（CBP）和编码模式。因此，提高了编码效率。
具体地，例如，在例如AVC模式的编码中，假定在Y成分的运动矢量和彩色图像的Cb成分和Cr成分的运动矢量之间存在相关性，并且仅检测Y成分的运动矢量。运动矢量被设置为在Y成分、Cb成分和Cr成分中共享，且被发送给解码装置。因此，当编码装置20进行例如AVC模式的编码时，编码装置20仅需要单独地对复用图像的Y成分的运动矢量进行检测，并将该运动矢量发送给解码装置。因此，提高了编码效率。另一方面，当如现有技术那样独立地对彩色图像和深度图像进行编码时，必须检测彩色图像和深度图像的Y成分的运动矢量，并将该运动矢量发送给解码装置。
而且，在多视点三维图像是这样的图像的情况下：其中静止图像的深度方向位置不发生相对变化的图像或者是其中相对于相机平行移动的物体的图像的深度方向位置不发生相对变化的图像，彩色图像和深度图像的运动矢量之间的相关性强。因此，进一步提高了编码效率。
此外，编码装置20还将复用信息与复用图像一起进行编码。因此，在下面将描述的解码装置中，基于复用信息可以正确地分离Cb图像、Cr图像和深度图像。
而且，在图像复用单元22中，只要Y图像的分辨率等于或大于Cb合成图像和Cr合成图像的分辨率且Cb合成图像和Cr合成图像内的分辨率转换后的深度图像的分辨率等于或大于缩小后的Cb图像和Cr图像的分辨率，就可以对Cb图像和Cr图像以及深度图像的分辨率中进行任何变化。
[解码装置的配置的示例]
图12是示出了对由图2中的编码装置20输出的复用图像比特流进行解码的解码装置的配置的示例的框图。
图12中的解码装置50包括：多视点图像解码单元51、图像分离单元52-1至图像分离单元52-N、和多视点图像合成单元53。解码装置50在每个视点对由编码装置20输出的复用图像比特流进行解码。
具体地，解码装置50的多视点图像解码单元51用作接收单元来接收从编码装置20发送的复用图像比特流。多视点图像解码单元51根据与MVC方案、AVC方案等对应的方案，通过使用作为复用图像比特流的头部而添加的编码参数，对每个视点处的复用图像比特流进行解码。多视点图像解码单元51给图像分离单元52-1至图像分离单元52-N提供由于解码获得的每个视点的复用图像和复用信息。具体地，多视点图像解码单元51给图像分离单元52-1提供视点#1的复用图像和复用信息。随后，以类似的方式，多视点图像解码单元51给图像分离单元52-2至图像分离单元52-N分别提供视点#2至视点#N的复用图像和每个视点处的复用信息。
图像分离单元52-1至图像分离单元52-N中的每一个基于从多视点图像解码单元51提供的复用信息，进行分离处理以将复用图像分离成彩色图像和深度图像。图像分离单元52-1至图像分离单元52-N中的每一个给多视点图像合成单元53提供由于分离处理而获得的每个视点的彩色图像和深度图像。
而且，在下面，当不特别需要区分图像分离单元52-1至图像分离单元52-N时，将其统称为图像分离单元52。
多视点图像合成单元53对从图像分离单元52提供的每个视点的彩色图像进行合成，并生成多视点彩色图像。而且，多视点图像合成单元53对从图像分离单元52提供的每个视点的深度图像进行合成，并生成多视点深度图像。多视点图像合成单元53输出多视点彩色图像和多视点深度图像作为多视点三维图像。
[图像分离单元的配置的示例]
图13是示出了图12中的图像分离单元52的配置的示例的框图。
图13中的图像分离单元52包括：成分分离处理单元61、画面分离处理单元62、色度分辨率逆转换处理单元63、扩大处理单元64、像素逆布置处理单元65和成分合成处理单元66。而且，在图13中，实线表示图像，虚线表示信息。
图像分离单元52的成分分离处理单元61对从图12中的多视点图像解码单元51提供的复用图像的成分进行分离，并获得复用图像的Y成分、Cb成分和Cr成分。成分分离处理单元61给像素逆布置处理单元65提供布置后的Y图像，该布置后的Y图像是复用图像的Y成分。而且，成分分离处理单元61给画面分离处理单元62提供Cb合成图像和Cr合成图像，该Cb合成图像是复用图像的Cb成分，该Cr合成图像是复用图像的Cr成分。
画面分离处理单元62基于从图12中的多视点图像解码单元51提供的复用信息中的画面位置信息和复用模式信息，将缩小后的Cb图像和分辨率转换后的深度图像的半区图像从成分分离处理单元61提供的Cb合成图像中分离出来。而且，画面分离处理单元62基于画面位置信息和复用模式信息，将缩小后的Cr图像和分辨率转换后的深度图像的半区图像从成分分离处理单元61提供的Cr合成图像中分离出来。
例如，如图9所示，当复用模式信息表示并排模式且Cb图像的画面位置信息是1时，画面位置信息表示右半区。因此，画面分离处理单元62将Cb合成图像的左半区分离为分辨率转换后的深度图像的半区图像，将右半区分离为缩小后的Cb图像。此外，如图9所示，当复用模式信息表示并排模式且Cr图像的画面位置信息是0时，画面位置信息表示左半区。因此，画面分离处理单元62将Cr合成图像的右半区分离为分辨率转换后的深度图像的半区图像，将左半区分离为缩小后的Cr图像。
此外，画面分离处理单元62基于复用信息中的像素位置信息，对经分离的分辨率转换后的深度图像的半区图像进行合成。
例如，如图9所示，当Cb图像的像素位置信息表示缩小后的Cb图像的每个像素的缩小前的位置是奇数编号的像素的位置时，画面分离处理单元62对从Cb合成图像分离出来的、分辨率转换后的深度图像的半区图像的每个像素布置为分辨率转换后的深度图像的偶数编号的像素。而且，当Cr图像的像素位置信息表示缩小后的Cr图像的每个像素的缩小前的位置是偶数编号的像素的位置时，画面分离处理单元62对从Cr合成图像分离出来的、分辨率转换后的深度图像的半区图像的每个像素布置为分辨率转换后的深度图像的奇数编号的像素。以这种方式，生成了分辨率转换后的深度图像。
画面分离处理单元62给色度分辨率逆转换处理单元63提供所生成的分辨率转换后的深度图像。此外，画面分离处理单元62给扩大处理单元64提供经分离的缩小后的Cb图像和Cr图像。
此外，当分辨率转换后的深度图像的全区图像布置在Cb合成图像和Cr合成图像内时，例如，如上所述，当彩色图像是YUV420图像且复用图像是YUV422图像时，画面分离处理单元62给色度分辨率逆转换处理单元63提供从Cb合成图像和Cr合成图像分离出来的分辨率转换后的深度图像中的一个。
色度分辨率逆转换处理单元63将从画面分离处理单元62提供的分辨率转换后的深度图像的分辨率转换成等于编码前的深度图像的分辨率，即Y图像的分辨率。例如，当彩色图像是被称为YUV420的图像时，色度分辨率逆转换处理单元63将分辨率转换后的深度图像的水平分辨率和垂直分辨率的每一个扩大一倍。色度分辨率逆转换处理单元63给图12中的多视点图像合成单元53提供深度图像，该深度图像的分辨率回到编码前的分辨率作为分辨率转换的结果。
扩大处理单元64基于从图12中的多视点图像解码单元51提供的复用信息中的像素位置信息，对从画面分离处理单元62提供的缩小后的Cb图像和Cr图像进行扩大。
例如，如图9所示，当Cb图像的像素位置信息表示缩小后的Cb图像的每个像素的缩小前的位置是奇数编号的像素的位置时，扩大处理单元64通过在将缩小后的Cb图像的每个像素设置成扩大后的Cb图像的奇数编号的像素时进行插值，来将水平分辨率和垂直分辨率扩大一倍。此外，如图9所示，当Cr图像的像素位置信息表示缩小后的Cr图像的每个像素的缩小前的位置是偶数编号的像素的位置时，扩大处理单元64通过在将缩小后的Cr图像的每个像素设置成扩大后的Cr图像的偶数编号的像素时进行插值，来将水平分辨率和垂直分辨率扩大一倍。扩大处理单元64给成分合成处理单元66提供由于扩大而获得的Cb图像和Cr图像。
像素逆布置处理单元65用作像素布置单元，并基于从图12中的多视点图像解码单元51提供的复用信息，对从成分分离处理单元61提供的布置后的Y图像的每个像素的位置进行恢复。
例如，如图9所示，当复用模式信息表示并排模式且Cb图像的画面位置信息是1时，画面位置信息表示右半区。因此，如图9所示，当Cb图像的像素位置信息表示缩小后的Cb图像的每个像素的缩小前的位置是奇数编号的像素的位置时，像素逆布置处理单元65将布置后的Y图像的右半区的像素布置成初始Y图像的奇数编号的像素。
而且，如图9所示，当复用模式信息表示并排模式且Cr图像的画面位置信息是0时，画面位置信息表示左半区。因此，如图9所示，当Cr图像的像素位置信息表示缩小后的Cr图像的每个像素的缩小前的位置是偶数编号的像素的位置时，像素逆布置处理单元65将布置后的Y图像的左半区的像素布置成初始Y图像的偶数编号的像素。以上述的方式，排列后的Y图像的每个像素的位置回到布置前的Y图像的每个像素的位置。像素逆布置处理单元65给成分合成处理单元66提供其每个像素的位置被恢复的Y图像。
成分合成处理单元66将从像素逆布置处理单元65提供的Y图像和从扩大处理单元64提供的Cb图像和Cr图像合成为彩色图像的Y成分、Cb成分和Cr成分，并获得彩色图像。成分合成处理单元66给图12中的多视点图像合成单元53提供所获得的彩色图像。
[对解码装置的处理的描述]
图14是描绘了由图12中的解码装置50进行的解码处理的流程图。例如，当从图2中的编码装置20输入复用图像比特流时开始解码处理。
在图14中的步骤S51中，解码装置50的多视点图像解码单元51根据与MVC方案、AVC方案等对应的方案，针对每个视点对从编码装置20输入的复用图像比特流进行解码。多视点图像解码单元51给图像分离单元52-1至图像分离单元52-N提供由于解码而获得的每个视点的复用图像和复用信息。
在步骤S52中，图像分离单元52基于从多视点图像解码单元51提供的复用信息进行分离处理，以将复用图像分离成彩色图像和深度图像。将在下面参照图15对分离处理的细节进行描述。图像分离单元52给多视点图像合成单元53提供由于分离处理而获得的彩色图像和深度图像。
在步骤S53中，多视点图像合成单元53对从图像分离单元52提供的每个视点的彩色图像进行合成，并对从图像分离单元52提供的每个视点的深度图像进行合成。
在步骤S54中，多视点图像合成单元53输出由于合成而获得的多视点彩色图像和多视点深度图像作为多视点三维图像，并且结束处理。
图15是描绘了图14中的分离处理步骤S52的细节的流程图。
在图15中的步骤S71中，图像分离单元52的成分分离处理单元61对从图12中的多视点图像解码单元51提供的复用图像的成分进行分离，并获得复用图像的Y成分、Cb成分和Cr成分。成分分离处理单元61给像素逆布置处理单元65提供布置后的Y图像，该布置后的Y图像是复用图像的Y成分。而且，成分分离处理单元61给画面分离处理单元62提供Cb合成图像和Cr合成图像，该Cb合成图像是复用图像的Cb成分，该Cr合成图像是复用图像的Cr成分。
在步骤S72中，画面分离处理单元62基于从图12中的多视点图像解码单元51提供的复用信息中的画面位置信息和复用模式信息，对从成分分离处理单元61提供的Cb合成图像和Cr合成图像进行分离。画面分离处理单元62给扩大处理单元64提供缩小后的Cb图像和Cr图像，该缩小后的Cb图像通过将Cb合成图像进行分离而获得，该缩小后的Cr图像通过将Cr合成图像进行分离而获得。
在步骤S73中，画面分离处理单元62基于像素位置信息，对通过将Cb合成图像进行分离而获得的分辨率转换后的深度图像的半区图像和通过将Cr合成图像进行分离而获得的分辨率转换后的深度图像的半区图像进行合成。以这种方式，生成了分辨率转换后的深度图像。画面分离处理单元62给色度分辨率逆转换处理单元63提供所生成的分辨率转换后的深度图像。
在步骤S74中，像素逆布置处理单元65基于从图12中的多视点图像解码单元51提供的复用信息，恢复从成分分离处理单元61提供的布置后的Y图像的每个像素的位置。像素逆布置处理单元65给成分合成处理单元66提供其每个像素的位置被恢复的Y图像。
在步骤S75中，扩大处理单元64基于从图12中的多视点图像解码单元51提供的复用信息中的像素位置信息，扩大从画面分离处理单元62提供的缩小后的Cb图像和Cr图像。扩大处理单元64给成分合成处理单元66提供由于扩大而获得的Cb图像和Cr图像。
在步骤S76中，色度分辨率逆转换处理单元63将从画面分离处理单元62提供的分辨率转换后的深度图像的分辨率转换成等于编码前的深度图像的分辨率，即Y图像的分辨率。色度分辨率逆转换处理单元63给图12中的多视点图像合成单元53提供深度图像，该深度图像的分辨率由于分辨率转换而被恢复成编码前的分辨率。
在步骤S77中，成分合成处理单元66将从像素逆布置处理单元65提供的Y图像和从扩大处理单元64提供的Cb图像和Cr图像合成为彩色图像的Y成分、Cb成分和Cr成分，并获得彩色图像。成分合成处理单元66给图12中的多视点图像合成单元53提供所获得的彩色图像。然后，处理返回到图14中的步骤S52，并且处理进行到步骤S53。
以这种方式，解码装置50可以对通过下述提高编码效率的编码而获得的复用图像比特流进行解码，上述提高编码效率的编码是通过将Cb图像、Cr图像和深度图像复用成一个画面而进行的编码。而且，在复用图像比特流中，由于通过复用将Cb图像、Cr图像和深度图像编码成一个画面，所以解码装置50仅需要包括一个多视点图像解码单元51以对多视点三维图像进行解码。
相对地，独立地对彩色图像和深度图像进行编码的传统图像处理系统10需要包括两个解码装置：用于对彩色图像进行解码的彩色图像解码装置15和用于对深度图像进行解码的深度图像解码装置16。由于经常在显示等中同时使用解码的彩色图像和深度图像，所以一个解码装置难以对彩色图像和深度图像两者都独立地进行解码。
而且，在本实施方式中，虽然将深度图像复用成Cb图像和Cr图像，但也可以将深度图像复用成Y图像、Cb图像和Cr图像中的一个。
<第二实施方式>
[编码装置的配置的示例]
图16是示出了应用本技术的编码装置的第二实施方式的配置的示例的框图。
在图16示出的配置中，将相同的附图标记分配给与图2相同的配置。适当地省略冗余的描述。
图16中的编码装置80的配置与图2中的配置的不同之处在于，设置了图像复用单元81-1至图像复用单元81-N（N是多视点三维图像的视点的数量，在本实施方式中，N是等于或大于3的整数）和多视点图像编码单元82，而不是设置图像复用单元22-1至图像复用单元22-N和多视点图像编码单元23。编码装置80将彩色图像的亮度成分和色度成分以及深度图像编码成复用图像的成分。
具体地，编码装置80的图像复用单元81-1至图像复用单元81-N中的每一个对来自多视点图像分离单元21的深度图像进行分辨率转换。图像复用单元81-1至图像复用单元81-N的每一个对来自多视点图像分离单元21的彩色图像的亮度成分和色度成分以及分辨率转换后的深度图像进行复用处理，该亮度成分和色度成分以及分辨率转换后的深度图像被设置为复用图像的每个成分。图像复用单元81-1至图像复用单元81-N的每一个给多视点图像编码单元82提供作由于复用处理而获得的复用图像。
此外，在下面，当不特别需要区分图像复用单元81-1至图像复用单元81-N时，将其统称为图像复用单元81。
多视点图像编码单元82根据与高效视频编码（HEVC）方案等对应的编码方案对从图像复用单元81提供的每个视点的复用图像进行编码。多视点图像编码单元82将每个视点的所得的编码流（比特流）输出为复用图像编码流。
此外，关于HEVC方案，至2011年8月，在2011年5月20日发布了"WD3:Working Draft3of High-Efficiency Video Coding",JCTVC-E603_d5(version5),by Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,and GaryJ.Sullivian作为草案。
[图像复用单元的配置的示例]
图17是示出了图16中的图像复用单元81的配置的示例的框图。
图17中的图像复用单元81包括：分辨率转换处理单元101和成分合成处理单元102。
图像复用单元81的分辨率转换处理单元101进行转换，以使得从图16中的多视点图像分离单元21提供的预定视点的深度图像的分辨率变成等于彩色图像的Cb成分和Cr成分的分辨率。分辨率转换处理单元101给成分合成处理单元102提供分辨率转换后的深度图像。
成分合成处理单元102通过将来自多视点图像分离单元21的预定视点的彩色图像的亮度成分和色度成分与来自分辨率转换处理单元101的分辨率转换后的深度图像分别合成为复用图像的亮度成分、色度成分和深度成分，来生成复用图像。成分合成处理单元102给图2中的多视点图像编码单元82提供复用图像。
[对画面复用单元的处理的描述]
图18是描绘了图17中的画面复用单元81的复用处理的图。
此外，在图18的示例中，假定输入至编码装置80的深度图像具有与Y图像相同的分辨率。
如图18所示，画面复用单元81将从图16中的多视点图像分离单元21提供的预定视点的彩色图像的Y成分设置为复用图像的Y成分。而且，图像复用单元81将预定视点的彩色图像的Cb成分设置为复用图像的Cb成分，并且将预定视点的彩色图像的Cr成分设置为复用图像的Cr成分。此外，图像复用单元81进行转换以使得深度图像的分辨率变成等于Cb成分和Cr成分的分辨率，并将分辨率转换后的深度图像设置为复用图像的深度成分。
[多视点图像编码单元的配置的示例]
图19是示出了图16中的多视点图像编码单元82中的对一个任意视点的复用图像进行编码的编码单元的配置的示例的框图。换言之，多视点图像编码单元82包括N个图19中的编码单元120。
图19中的编码单元120包括：A/D转换单元121、画面布置缓冲器122、计算单元123、正交变换单元124、量化单元125、无损编码单元126、累积缓冲器127、逆量化单元128、逆正交变换单元129、加法单元130、去块滤波器131、帧存储器132、画面内预测单元133、运动补偿单元134、运动估计单元135、选择单元136和速率控制单元137。
编码单元120的A/D转换单元121对从图16中的图像复用单元81提供的、预定视点的基于帧的复用图像进行A/D转换，并将基于帧的复用图像输出给存储复用图像的画面布置缓冲器122。画面布置缓冲器122将根据画面组（GOP）结构的、存储的显示顺序的基于帧的复用图像按照用于编码目的的顺序进行布置，并将基于帧的复用图像输出给计算单元123、画面内预测单元133和运动估计单元135。
计算单元123用作编码单元，通过计算从选择单元136提供的预测图像与从画面布置缓冲器122输出的待编码的复用图像间的差异，来对待编码的复用图像进行编码。具体地，计算单元123从画面布置缓冲器122提供的待编码的复用图像中减去从选择单元136提供的预测图像。计算单元123将由于减法而获得的图像作为剩余信息输出给正交变换单元124。而且，当选择单元136没有提供预测图像时，计算单元123直接将从画面布置缓冲器122读取的图像作为剩余信息输出给正交变换单元124。
正交变换单元124对来自计算单元123的剩余信息进行正交变换（例如离散余弦变换或卡洛南-洛伊（Karhunen-Loeve）变换），并给量化单元125提供所得的系数。
量化单元125对从正交变换单元124提供的系数进行量化。经量化的系数被输入给无损编码单元126。
无损编码单元126从画面内预测单元133获得表示最佳帧内预测模式等的画面内预测信息，并且从运动补偿单元134获得表示最佳帧间预测模式、运动矢量等的运动信息。
无损编码单元126对从量化单元125提供的经量化的系数进行无损编码例如可变长编码（例如，基于内容的自适应变长编码（CAVLC）等）和算术编码（例如，基于内容的自适应二进制算术编码（CABAC）等），并将所得的编码流设置为系数编码流。而且，无损编码单元126对画面内预测信息或运动信息进行编码，并将所得的编码流设置为信息编码流。无损编码单元126将系数编码流和信息编码流作为复用图像编码流提供给累积缓冲器127，并在累积缓冲器127中对流进行累积。
累积缓冲器127暂时存储并发送从无损编码单元126提供的复用编码流。
此外，也可以将从量化单元125输出的经量化的系数输入给逆量化单元128进行逆量化，然后提供给逆正交变换单元129。
逆正交变换单元129对从逆量化单元128提供的系数进行逆正交变换（例如逆离散余弦变换或逆卡洛南-洛伊（Karhunen-Loeve）变换），并给加法单元130提供所得的剩余信息。
加法单元130通过将从逆正交变换单元129提供的剩余信息作为待解码的图像添加到从选择单元136提供的预测图像，来获得经局部解码的复用图像。而且，当选择单元136没有提供预测图像时，加法单元130将从逆正交变换单元129提供的剩余信息设置为经局部解码的复用图像。加法单元130给去块滤波器131提供经局部解码的复用图像，也给画面内预测单元133提供经局部解码的复用图像作为参考图像。
去块滤波器131通过对从加法单元130提供的经局部解码的复用图像进行滤波来去除块失真。去块滤波器131给帧存储器132提供所得的复用图像，并在帧存储器132中累积复用图像。在帧存储器132中累积的复用图像输出给运动补偿单元134和运动估计单元135作为参考图像。
画面内预测单元133通过使用从加法单元130提供的参考图像对作为候选的所有帧内预测模式进行画面内预测处理，来生成预测图像。
而且，画面内预测单元133通过使用预测图像和从画面布置缓冲器122提供的复用图像来针对作为候选的所有帧内预测模式（细节将在下面描述）计算代价函数值。画面内预测单元133将代价函数值最小的帧内预测模式确定为最佳帧内预测模式。画面内预测单元133给选择单元136提供以最佳帧内预测模式生成的预测图像和对应的代价函数值。当从选择单元136通知对以最佳帧内预测模式生成的预测图像进行选择时，画面内预测单元133给无损编码单元126提供表示最佳帧内预测模式的画面内预测信息等。
而且，代价函数值也被称为率失真（RD）代价。例如，如由作为H.264/AVC中的参考软件的联合模型（JM）所定义的那样，基于高复杂度模式技术和低复杂度模式技术两者之一来计算代价函数值。
具体地，当采用高复杂度模式作为计算代价函数值的技术时，通过对作为候选的所有预测模式临时地进行相当于无损编码，来针对每个预测模式计算由下面数学公式（1）表达的代价函数值。
Cost(Mode)=D+λ·R…(1)
D是初始图像和解码图像间的差（失真），R是包括相当于正交变换系数的生成码的量，λ是随量化参数QP变化的拉格朗日（Lagrange）乘数。
另一方面，当采用低复杂度模式作为计算代价函数值的技术时，通过对作为候选的所有预测模式进行生成解码图像和计算表示预测模式的信息的头部比特，来针对每个预测模式计算由下面数学公式（2）表达的代价函数值。
Cost(Mode)=D+QPtoQuant(QP)·Header_Bit…(2)
D是初始图像和解码图像间的差（失真），Header_Bit是预测模式的头部比特，QPtoQuant是随量化参数QP变化的函数。
在低复杂度模式中，针对所有预测模式，仅需要生成解码图像，不需要进行无损编码。因此，即使计算的量小也是足够的。而且，这里假定采用高复杂度模式作为计算代价函数值的技术。
运动补偿单元134基于最佳帧间预测模式和从运动估计单元135提供的运动矢量，通过从帧存储器132读取参考图像来进行运动补偿处理。运动补偿单元134给选择单元136提供所得的预测图像和从运动估计单元135提供的代价函数值。而且，当从选择单元136通知对以最佳帧间预测模式生成的预测图像进行选择时，运动补偿单元134将表示最佳帧间预测模式的运动信息、对应的运动矢量等输出给无损编码单元126。
运动估计单元135基于从画面布置缓冲器122提供的、待编码的复用图像的亮度成分和从帧存储器132提供的、参考图像的亮度成分，来对作为候选的所有帧间预测模式进行运动估计处理，并生成运动矢量。具体地，运动估计单元135针对每个帧间预测模式，在待编码的复用图像的亮度成分与参考图像的亮度成分之间进行匹配，并生成运动矢量。
在这种情况下，运动估计单元135针对作为候选的所有帧间预测模式计算代价函数值，并将代价函数值最小的帧间预测模式确定为最佳帧间预测模式。运动估计单元135给运动补偿单元134提供最佳帧间预测模式以及对应的运动矢量和代价函数值。
此外，帧间预测模式是表示待帧间预测的块的大小、预测方向和参考索引的信息。预测方向包括：使用这样的参考图像的前向预测（L0预测）：该参考图像的显示时间早于待帧间预测的复用图像的显示时间；使用这样的参考图像的后向预测（L1预测）：该参考图像的显示时间晚于待帧间预测的复用图像的显示时间；以及使用其显示时间早于待帧间预测的复用图像的显示时间的参考图像以及其显示时间晚于待帧间预测的复用图像的显示时间的参考图像的双向预测（双预测）。而且，参考索引是用于指定参考图像的数字。例如，图像越接近待帧间预测的复用图像，图像的参考索引越小。
选择单元136基于从画面内预测单元133和运动补偿单元134提供的代价函数值，将代价函数值最小的最佳帧内预测模式和最佳帧间预测模式两者之一确定为最佳预测模式。选择单元136将最佳预测模式的预测图像提供给计算单元123和加法单元130。而且，选择单元136通知画面内预测单元133或运动补偿单元134对最佳预测模式的预测图像进行选择。
速率控制单元137基于在累积缓冲器127中累积的复用图像编码流对量化单元125的量化操作的速率进行控制，以防止上溢或下溢的发生。
[画面内预测单元的配置的示例]
图20是示出了图19中的画面内预测单元133的配置的示例的框图。
图20中的画面内预测单元133包括：成分分离单元151、亮度画面内预测单元152、色度画面内预测单元153、深度画面内预测单元154和成分合成单元155。
画面内预测单元133的成分分离单元151对从图19中的加法单元130提供的参考图像的亮度成分、色度成分和深度成分进行分离，以及对从画面布置缓冲器122提供的待编码的复用图像的亮度成分、色度成分和深度成分进行分离。成分分离单元151给亮度画面内预测单元152提供参考图像和待编码的复用图像的亮度成分，给色度画面内预测单元153提供色度成分。而且，成分分离单元151给深度画面内预测单元154提供参考图像和待编码的复用图像的深度成分。
亮度画面内预测单元152通过使用从成分分离单元151提供的参考图像的亮度成分，对作为候选的所有帧内预测模式进行画面内预测，来生成预测图像的亮度成分。而且，亮度画面内预测单元152通过使用从成分分离单元151提供的待编码的复用图像的亮度成分和预测图像的亮度成分来计算代价函数值，并将代价函数值最小的帧内预测模式确定为用于亮度成分的最佳帧内预测模式。亮度画面内预测单元152给成分合成单元155提供用于亮度成分的、以最佳帧内预测模式生成的预测图像的亮度成分、用于亮度成分的最佳帧内预测模式和对应的代价函数值。
色度画面内预测单元153通过使用从成分分离单元151提供的参考图像的色度成分，对作为候选的所有帧内预测模式进行画面内预测，来生成预测图像的色度成分。而且，色度画面内预测单元153通过使用从成分分离单元151提供的待编码的复用图像的色度成分和预测图像的色度成分来计算代价函数值，并将代价函数值最小的帧内预测模式确定为用于色度成分的最佳帧内预测模式。
色度画面内预测单元153给成分合成单元155提供用于色度成分的、以最佳帧内预测模式生成的预测图像的色度成分、用于色度成分的最佳帧内预测模式和对应的代价函数值。而且，色度画面内预测单元153给深度画面内预测单元154提供用于色度成分的最佳帧内预测模式。
深度画面内预测单元154用作设置单元，将从色度画面内预测单元153提供的用于色度成分的最佳帧内预测模式设置为用于深度成分的最佳帧内预测模式。换言之，深度画面内预测单元154将最佳帧内预测模式设置为与色度画面内预测单元153共享。深度画面内预测单元154通过使用从成分分离单元151提供的参考图像的深度成分，对深度成分进行最佳帧内预测模式的画面内预测来生成预测图像的深度成分。
而且，深度画面内预测单元154通过使用从成分分离单元151提供的待编码的复用图像的深度成分和预测图像的深度成分来计算代价函数值。深度画面内预测单元154给成分合成单元155提供预测图像的深度成分和代价函数值。
成分合成单元155对来自亮度画面内预测单元152的预测图像的亮度成分、来自色度画面内预测单元153的预测图像的色度成分和来自深度画面内预测单元154的预测图像的深度成分进行合成。成分合成单元155给图19中的选择单元136提供由于合成而获得的预测图像、预测图像的亮度成分和色度成分以及深度成分的代价函数值。而且，当从图19中的选择单元136通知对以最佳帧内预测模式生成的预测图像进行选择时，成分合成单元155给无损编码单元126提供表示亮度成分和色度成分的最佳帧内预测模式的画面内预测信息等。
而且，在本实施方式中，确定用于色度成分的最佳帧内预测模式，并将该最佳帧内预测模式设置为用于深度成分的最佳帧内预测模式。然而，可以确定用于深度成分的最佳帧内预测模式，并可以将该最佳帧内预测模式设置为用于色度成分的最佳帧内预测模式。
[运动补偿单元的配置的示例]
图21是示出了图19中的运动补偿单元134的配置的示例的框图。
图21中的运动补偿单元134包括：成分分离单元171、运动信息转换单元172、亮度运动补偿单元173、色度运动补偿单元174、深度运动补偿单元175和成分合成单元176。
运动补偿单元134的成分分离单元171对从图19中的加法单元130提供的参考图像的亮度成分、色度成分和深度成分进行分离。成分分离单元171给亮度运动补偿单元173提供参考图像的亮度成分，给色度运动补偿单元174提供色度成分。而且，成分分离单元171给深度运动补偿单元175提供参考图像的深度成分。
运动信息转换单元172给亮度运动补偿单元173提供从图19中的运动估计单元135提供的最佳帧间预测模式和运动矢量。而且，运动信息转换单元172基于彩色图像的亮度成分、彩色图像的色度成分和分辨率转换后的深度图像的分辨率对运动矢量进行转换。例如，当彩色图像是被称为YUV420的图像时，运动信息转换单元172将运动矢量乘以二分之一。运动信息转换单元172给色度运动补偿单元174和深度运动补偿单元175提供转换后的运动矢量和最佳帧间预测模式。而且，运动信息转换单元172给成分合成单元176提供从运动估计单元135提供的代价函数值、最佳帧间预测模式和运动矢量。
亮度运动补偿单元173基于从运动信息转换单元172提供的最佳帧间预测模式和运动矢量，通过经由成分分离单元171读取参考图像的亮度成分来进行运动补偿处理，并生成预测图像的亮度成分。亮度运动补偿单元173给成分合成单元176提供预测图像的亮度成分。
色度运动补偿单元174基于从运动信息转换单元172提供的最佳帧间预测模式和运动矢量，通过经由成分分离单元171读取参考图像的色度成分来进行运动补偿处理。换言之，色度运动补偿单元174用作设置单元，将最佳帧间预测模式和运动矢量设置为与亮度运动补偿单元173共享，并进行运动补偿处理。色度运动补偿单元174给成分合成单元176提供所得的预测图像的色度成分。
深度运动补偿单元175基于从运动信息转换单元172提供的最佳帧间预测模式和运动矢量，通过经由成分分离单元171读取参考图像的深度成分来进行运动补偿处理。换言之，深度运动补偿单元175用作设置单元，将最佳帧间预测模式和运动矢量设置为与亮度运动补偿单元173共享，并进行运动补偿处理。深度运动补偿单元175给成分合成单元176提供所得的预测图像的深度成分。
成分合成单元176对来自亮度运动补偿单元173的预测图像的亮度成分、来自色度运动补偿单元174的预测图像的色度成分和来自深度运动补偿单元175的预测图像的深度成分进行合成。成分合成单元176给图19中的选择单元136提供由于合成而获得的预测图像和从运动信息转换单元172提供的代价函数值。而且，当从图19中的选择单元136通知对以最佳帧间预测模式生成的预测图像进行选择时，成分合成单元176给无损编码单元126提供表示最佳帧间预测模式、运动矢量等的运动信息。
[无损编码单元的配置的示例]
图22是示出了图19中的无损编码单元126的配置的示例的框图。
图22中的无损编码单元126包括：系数编码单元191、信息编码单元192和输出单元193。
无损编码单元126的系数编码单元191包括：成分分离单元201、深度有效系数确定单元202、亮度有效系数确定单元203、色度有效系数确定单元204、深度系数编码单元205、亮度系数编码单元206、色度系数编码单元207和成分合成单元208。
成分分离单元201将从图19中的量化单元125提供的系数分离成亮度成分、色度成分和深度成分。成分分离单元201给深度有效系数确定单元202提供系数的深度成分，给亮度有效系数确定单元203提供亮度成分，给色度有效系数确定单元204提供色度成分。而且，当最佳预测模式是最佳帧间预测模式时，成分分离单元201通过设置no_residual_data标志（其细节将在下面描述）来进行编码，并给成分合成单元208提供no_residual_data标志。
深度有效系数确定单元202基于从成分分离单元201提供的系数的深度成分来确定系数的深度成分是否为0。当确定系数的深度成分是0时，深度有效系数确定单元202给深度系数编码单元205提供表示没有有效系数的0作为表示深度成分的有效系数是否存在的有效系数标志。另一方面，当确定系数的深度成分是非0时，深度有效系数确定单元202给深度系数编码单元205提供表示有效系数存在的1作为深度成分的有效系数标志，并给深度系数编码单元205提供系数的深度成分。
由于亮度有效系数确定单元203和色度有效系数确定单元204除了其处理对象分别是亮度成分和色度成分外，与深度有效系数确定单元202进行相同的处理，所以省略其描述。
当从深度有效系数确定单元202提供的深度成分的有效系数标志是1时，深度系数编码单元205对系数的深度成分进行无损编码。深度系数编码单元205给成分合成单元208提供0作为深度成分的有效系数标志或提供1作为深度成分的有效系数标志，并且提供系数的无损编码的深度成分作为系数编码流的深度成分。
由于亮度系数编码单元206和色度系数编码单元207除了其处理对象分别是亮度成分和色度成分外，与深度系数编码单元205进行相同的处理，所以省略其描述。
成分合成单元208对来自深度系数编码单元205的系数编码流的深度成分、来自亮度系数编码单元206的系数编码流的亮度成分和来自色度系数编码单元207的系数编码流的色度成分进行合成。而且，当从成分分离单元201提供具有no_residual_data标志的编码流时，成分合成单元208将具有no_residual_data标志的编码流包含在由于合成而获得的系数编码流中。成分合成单元208给输出单元193提供系数编码流。
信息编码单元192包括：画面内预测信息编码单元211和运动信息编码单元212。
信息编码单元192的画面内预测信息编码单元211对从画面内预测单元133的成分合成单元155（图20）提供的、用于亮度成分的画面内预测信息和用于色度成分的画面内预测信息进行编码。画面内预测信息编码单元211给输出单元193提供由于编码而获得的编码流作为信息编码流。
运动信息编码单元212对从运动补偿单元134的成分合成单元176（图21）提供的运动信息进行编码，并给输出单元193提供所得的编码流作为信息编码流。
输出单元193给图19中的累积缓冲器127提供从成分合成单元208提供的系数编码流和从信息编码单元192提供的信息编码流作为复用图像编码流。
[对有效系数标志的描述]
图23是描绘了当最佳预测模式是最佳帧内预测模式时有效系数标志的图，图24是示出了当最佳预测模式是最佳帧间预测模式时有效系数标志的图。
在图23和图24中，方块表示以HEVC模式定义的编码单元。编码单元也被称为编码树块（CTB），其为基于图片的图像的部分区域，该基于图片的图像用作AVC模式中的宏块。当将宏块固定为16×16的像素大小时，编码单元的大小不固定并在每个序列中被指定。
而且，当分割标志（split flag）的值是1时将编码单元向下一层划分，当分割标志的值是0时不对编码单元进行划分。
如图23所示，当最佳预测模式是最佳帧内预测模式时，针对分割标志的值是0的编码单元，设置亮度成分的有效系数标志（cbf_luma）、色度成分的有效系数标志（cbf_cb、cbf_cr）和深度成分的有效系数标志（cbf_dm）。
另一方面，如图24所示，当最佳预测模式是最佳帧内预测模式时，针对最上层的编码单元对表示在编码单元的所有成分中是否存在有效系数的no_residual_data标志进行设置。当表示在编码单元的所有成分中不存在有效系数时no_residual_data标志是1，当表示在编码单元的至少一个成分中存在有效系数时no_residual_data标志是0。
而且，色度成分的有效系数标志和深度成分的有效系数标志不取决于分割标志的值，且当1在比其自身编码单元更高的一层编码单元中时或者其自身编码单元是最上层的编码单元时，设置色度成分的有效系数标志和深度成分的有效系数标志。而且，针对分割标志的值是0的编码单元来设置亮度成分的有效系数标志。
[和系数相关的语法的示例]
图25至图28是示出了和系数相关的语法的示例的图。
在图25的语法中，在最佳预测模式不是最佳帧内预测模式的情况下，换言之，当最佳预测模式是最佳帧间预测模式的情况下，对no_residual_data标志（no_residual_data_flag）的设置进行描述。
而且，在图26的语法中，在系数的无损编码是CAVLC且no_residual_data标志是0的情况下，当处理对象的层不是最上层且在处理对象的层之上的层的色度成分或深度成分的有效系数标志是1时，对色度成分或深度成分的有效系数标志的设置进行描述。
而且，在图27的语法中，在无损编码模式是CAVAC且最佳预测模式是最佳帧间预测模式的情况下，当在处理对象的层之上的层的色度成分或深度成分的有效系数标志是1时，对色度成分或深度成分的有效系数标志的设置进行描述，以及当处理对象的层是最上层时，对色度成分和深度成分的有效系数标志的设置进行描述。
在图28的语法中，在分割标志是0、且最佳预测模式是最佳帧内预测模式或最佳预测模式是最佳帧间预测模式、且处理对象的层是除了最上层外的层或处理对象的层是最上层且no_residual_data标志是0、且除了亮度成分外的成分的有效系数标志是1的情况下，对亮度成分的有效系数标志的设置进行描述。换言之，在分割标志是0，最佳预测模式是最佳帧间预测模式，处理对象的层是最上层且no_residual_data标志是0的情况下，当除了亮度成分外的成分的有效系数标志是0时，亮度成分的有效系数标志必然是1。因此，不对亮度成分的有效系数标志进行设置。
[对编码处理的描述]
图29是描绘了由图16中的编码装置80进行的编码处理的流程图。
在图29的步骤S91中，编码装置80的多视点图像分离单元21对输入至编码装置80的多视点三维图像进行分离，并获得每个视点的彩色图像和深度图像。多视点图像分离单元21在每个视点处给图像复用单元81提供每个视点的彩色图像和深度图像。
在步骤S92中，图像复用单元81进行复用处理。复用处理的细节将在下面参考图30进行描述。
在步骤S93中，多视点图像编码单元82根据与HEVC方案对应的编码方案进行复用图像编码处理，以对从图像复用单元81提供的每个视点的复用图像进行编码。复用图像编码处理的细节将在下面参考图31和图32进行描述。
图30是描绘了图29中的步骤S92的复用处理的细节的流程图。
在图30的步骤S111中，图像复用单元81的分辨率转换处理单元101（图17）进行变换，以使得从图16中的多视点图像分离单元21提供的、预定视点的深度图像的分辨率变成等于彩色图像的Cb成分和Cr成分的分辨率。分辨率转换处理单元101给成分合成处理单元102提供分辨率转换后的深度图像。
在步骤S112中，成分合成处理单元102通过将来自多视点图像分离单元21的预定视点的彩色图像的亮度成分和色度成分与来自分辨率转换处理单元101的分辨率转换后的深度图像分别合成为复用图像的亮度成分、色度成分和深度成分，来生成复用图像。成分合成处理单元102给图2中的多视点图像编码单元82提供复用图像。然后，处理返回到图29中的步骤S92的处理，并且进行到步骤S93。
图31和图32是描绘了图29中的步骤S93的复用图像编码处理的细节的流程图。在每个视点进行复用图像编码处理。
在图31的步骤S131中，编码单元120的A/D转换单元121（图19）对从图16中的图像复用单元81提供的、预定视点的基于帧的复用图像进行A/D转换，并将基于帧的复用图像输出给存储复用图像的画面布置缓冲器122。
在步骤S132中，画面布置缓冲器122根据GOP结构、将以存储的显示顺序布置的帧的复用图像布置为了编码目的的顺序。画面布置缓冲器122将布置后的基于帧的复用图像提供给计算单元123、画面内预测单元133和运动估计单元135。
在步骤S133中，画面内预测单元133通过使用从加法单元130提供的参考图像，对作为候选的所有帧内预测模式进行画面内预测处理。画面内预测处理的细节将在下面参考图33进行描述。
在步骤S134中，运动估计单元135通过使用从画面布置缓冲器122提供的待编码的复用图像的亮度成分和从帧存储器132提供的参考图像的亮度成分，对作为候选的所有帧间预测模式进行运动估计处理，来生成运动矢量。在这种情况下，运动估计单元135针对作为候选的所有帧间预测模式计算代价函数，并将代价函数值最小的帧间预测模式确定为最佳帧间预测模式。运动估计单元135给运动补偿单元134提供最佳帧间预测模式以及对应的运动矢量和代价函数值。
在步骤S135中，运动补偿单元134基于从运动估计单元135提供的运动矢量和最佳帧间预测模式，通过从帧存储器132读取参考图像来进行运动补偿处理。运动补偿处理的细节将在下面参考图34进行描述。
在步骤S136中，选择单元136基于从画面内预测单元133和运动补偿单元134提供的代价函数值，将代价函数值最小的最佳帧内预测模式和最佳帧间预测模式两者之一确定为最佳预测模式。选择单元136将最佳预测模式的预测图像提供给计算单元123和加法单元130。
在步骤S137中，选择单元136确定最佳预测模式是否是最佳帧间预测模式。在步骤S137中，当确定最佳预测模式是最佳帧间预测模式时，选择单元136通知运动补偿单元134对以最佳帧间预测模式生成的预测图像进行选择。因此，运动补偿单元134的成分合成单元176（图21）通过运动信息转换单元172将从运动估计单元135提供的表示最佳帧间预测模式、运动矢量等的运动信息输出给无损编码单元126。
在步骤S138中，无损编码单元126的信息编码单元192的运动信息编码单元212（图22）对从运动补偿单元134提供的运动信息进行编码，并将经编码的运动信息提供给输出单元193。然后，处理进行到步骤S140。
另一方面，当在步骤S137中确定最佳预测模式不是最佳帧间预测模式时，换言之，当最佳预测模式是最佳帧内预测模式时，选择单元136通知画面内预测单元133对以最佳帧内预测模式生成的预测图像进行选择。因此，画面内预测单元133的成分合成单元155（图20）给无损编码单元126提供用于亮度成分和色度成分的画面内预测信息。
在步骤S139中，无损编码单元126的信息编码单元192的画面内预测信息编码单元211对从画面内预测单元133提供的画面内预测信息进行编码，并将经编码的画面内预测信息提供给输出单元193。然后，处理进行到步骤S140。
在步骤S140中，计算单元123从画面布置缓冲器122提供的复用图像减去从选择单元136提供的预测图像。计算单元123将由于减法而获得的图像作为剩余信息输出给正交变换单元124。
在步骤S141中，正交变换单元124对来自计算单元123的剩余信息进行正交变换，并将所得的系数提供给量化单元125。
在步骤S142中，量化单元125对从正交变换单元124提供的系数进行量化。经量化的系数被输入给无损编码单元126和逆量化单元128。
在步骤S143中，无损编码单元126进行无损编码处理以对从量化单元125提供的经量化的系数进行无损编码。无损编码处理的细节将在下面参考图35进行描述。
在图32的步骤S144中，无损编码单元126给累积缓冲器127提供由于无损编码处理而获得的复用图像编码流，并在累积缓冲器127中对复用图像编码流进行累积。
在步骤S145中，累积缓冲器127发送累积的复用图像编码流。
在步骤S146中，逆量化单元128对从量化单元125提供的经量化的系数进行逆量化。
在步骤S147中，逆正交变换单元129对从逆量化单元128提供的系数进行逆正交变换，并将所得的剩余信息提供给加法单元130。
在步骤S148中，加法单元130通过将从逆正交变换单元129提供的剩余信息加到从选择单元136提供的预测图像来获得局部解码的复用图像。加法单元130给去块滤波器131提供所获得的复用图像，也给画面内预测单元133提供参考图像。
在步骤S149中，去块滤波器131通过对从加法单元130提供的局部解码的复用图像进行滤波来去除块失真。
在步骤S150中，去块滤波器131给帧存储器132提供经滤波的复用图像，并在帧存储器132中对复用图像进行累积。在帧存储器132中累积的复用图像被作为参考图像输出给运动补偿单元134和运动估计单元135。然后，处理结束。
而且，基于例如编码单元进行图31和图32中的步骤S133至步骤S140的处理。而且，在图31和图32的复用图像编码处理中，为描述简单起见，总是进行画面内预测处理和运动补偿处理，但实际上，根据图片类型等仅进行画面内预测处理和运动补偿处理中的一个。
图33是描绘了图31中的步骤S133的画面内预测处理的细节的流程图。
在图33中的步骤S171中，画面内预测单元133的成分分离单元151（图20）对从图19中的加法单元130提供的参考图像和从画面布置缓冲器122提供的待编码的复用图像的亮度成分、色度成分和深度成分进行分离。成分分离单元151给亮度画面内预测单元152提供参考图像和待编码的复用图像的亮度成分，给色度画面内预测单元153提供色度成分。而且，成分分离单元151给深度画面内预测单元154提供参考图像和待编码的复用图像的深度成分。
在步骤S172中，亮度画面内预测单元152对从成分分离单元151提供的参考图像的亮度成分进行画面内预测处理。具体地，亮度画面内预测单元152通过使用从成分分离单元151提供的参考图像的亮度成分对作为候选的所有帧内预测模式进行画面内预测，来生成预测图像的亮度成分。而且，亮度画面内预测单元152通过使用从成分分离单元151提供的、待编码的复用图像的亮度成分和预测图像的亮度成分来计算代价函数值，并将代价函数值最小的帧内预测模式确定为用于亮度成分的最佳帧内预测模式。亮度画面内预测单元152给成分合成单元155提供以用于亮度成分的最佳帧内预测模式生成的预测图像的亮度成分、用于亮度成分的最佳帧内预测模式和对应的代价函数值。
在步骤S173中，色度画面内预测单元153对从成分分离单元151提供的参考图像的色度成分进行画面内预测处理。具体地，色度画面内预测单元153通过使用从成分分离单元151提供的参考图像的色度成分对作为候选的所有帧内预测模式进行画面内预测，来生成预测图像的色度成分。而且，色度画面内预测单元153通过使用从成分分离单元151提供的待编码的复用图像的色度成分和预测图像的色度成分来计算代价函数值，并将代价函数值最小的帧内预测模式确定为用于色度成分的最佳帧内预测模式。
色度画面内预测单元153给成分合成单元155提供以用于色度成分的最佳帧内预测模式生成的预测图像的色度成分、用于色度成分的最佳帧内预测模式和对应的代价函数值。而且，色度画面内预测单元153给深度画面内预测单元154提供用于色度成分的最佳帧内预测模式。
在步骤S174中，深度画面内预测单元154将从色度画面内预测单元153提供的用于色度成分的最佳帧内预测模式设置为用于深度成分的最佳帧内预测模式，并对来自成分分离单元151的参考图像的深度成分进行画面内预测处理。
具体地，深度画面内预测单元154通过使用从成分分离单元151提供的参考图像的深度成分对用于深度成分的最佳帧内预测模式（其为用于色度成分的最佳帧内预测模式）进行画面内预测，来生成预测图像的深度成分。而且，深度画面内预测单元154通过使用从成分分离单元151提供的待编码的复用图像深度成分和预测图像的深度成分来计算代价函数值。深度画面内预测单元154给成分合成单元155提供预测图像的深度成分和代价函数值。
在步骤S175中，成分合成单元155对来自亮度画面内预测单元152的预测图像的亮度成分、来自色度画面内预测单元153的预测图像的色度成分和来自深度画面内预测单元154的预测图像的深度成分进行合成。成分合成单元155给图19中的选择单元136由于合成而获得的预测图像、预测图像的亮度成分和色度成分以及深度成分的代价函数值。然后处理返回到图31中的步骤S133，并且进行到S134。
图34是描绘了图31中的运动补偿处理步骤S135的细节的流程图。
在图34的步骤S191中，运动补偿单元134的成分分离单元171（图21）对从图19中的加法单元130提供的参考图像的亮度成分、色度成分和深度成分进行分离。成分分离单元171给亮度运动补偿单元173提供参考图像的亮度成分，给色度运动补偿单元174提供色度成分。而且，成分分离单元171给深度运动补偿单元175提供参考图像的深度成分。
在步骤S192中，亮度运动补偿单元173基于从运动信息转换单元172提供的最佳帧间预测模式和运动矢量，通过经由成分分离单元171读取参考图像的亮度成分来进行亮度成分的运动补偿处理。亮度运动补偿单元173给成分合成单元176提供作所得的预测图像的亮度成分。
在步骤S193中，运动信息转换单元172基于彩色图像的亮度成分、彩色图像的色度成分和分辨率转换后的深度图像的分辨率，对运动矢量进行转换。运动信息转换单元172给色度运动补偿单元174和深度运动补偿单元175提供转换后的运动矢量和最佳帧内预测模式。
在步骤S194中，色度运动补偿单元174基于从运动信息转换单元172提供的最佳帧间预测模式和运动矢量，通过经由成分分离单元171读取参考图像的色度成分来进行色度成分的运动补偿处理。色度运动补偿单元174给成分合成单元176提供作所得的预测图像的色度成分。
在步骤S195中，深度运动补偿单元175基于从运动信息转换单元172提供的最佳帧间预测模式和运动矢量，通过经由成分分离单元171读取参考图像的深度成分来进行深度成分的运动补偿处理。深度运动补偿单元175给成分合成单元176提供所得的预测图像的深度成分。
在步骤S196中，成分合成单元176对来自亮度运动补偿单元173的预测图像的亮度成分、来自色度运动补偿单元174的预测图像的色度成分和来自深度运动补偿单元175的预测图像的深度成分进行合成。成分合成单元176给图19中的选择单元136提供由于合成而获得的预测图像和通过运动信息转换单元172从运动估计单元135提供的代价函数值。然后，处理返回到图31中的步骤S135，并进行到步骤S136。
图35是描绘了图31中的步骤S143的无损编码处理的细节的流程图。
在图35的步骤S211中，无损编码单元126的系数编码单元191的成分分离单元201将从图19中的量化单元125提供的系数分离成亮度成分、色度成分和深度成分。成分分离单元201给深度有效系数确定单元202提供系数的深度成分，给亮度有效系数确定单元203提供亮度成分，给色度有效系数确定单元204提供色度成分。
在步骤S212中，无损编码单元126确定最佳预测模式是否是最佳帧间预测模式，换言之，运动信息是否从运动补偿单元134提供。当在步骤S212中确定最佳预测模式是最佳帧间预测模式时，成分分离单元201通过设置no_residual_data标志来进行编码，并给成分合成单元208提供步骤S213中的no_residual_data标志。然后，处理进行到步骤S214。
另一方面，当在步骤S212中确定最佳预测模式不是帧间预测模式时，换言之，当最佳预测模式是帧内预测模式时，处理进行到步骤S214。
在步骤S214中，深度有效系数确定单元202基于从成分分离单元201提供的系数的深度成分来确定深度成分的有效系数标志。具体地，深度有效系数确定单元202确定系数的深度成分是否是0。当确定系数的深度成分是0时，深度有效系数确定单元202确定深度成分的有效系数标志为0，并给深度系数编码单元205提供深度成分的有效系数标志。另一方面，当确定系数的深度成分不是0时，深度有效系数确定单元202将深度成分的有效系数标志确定为1，并给深度系数编码单元205提供深度成分的有效系数标志和系数的深度成分。
在步骤S215中，深度系数编码单元205确定从深度有效系数确定单元202提供的深度成分的有效系数标志是否是1。当在步骤S215中确定深度成分的有效系数标志是1时，深度系数编码单元205在步骤S216中对从深度有效系数确定单元202提供的系数的深度成分进行无损编码。深度系数编码单元205给成分合成单元208提供系数的经无损编码的深度成分和深度成分的有效系数标志作为系数编码流的深度成分，处理进行到步骤S218。
另一方面，当在步骤S215中确定深度成分的有效系数标志不是1时，换言之，当深度成分的有效系数标志是0时，处理进行到步骤S217。在步骤S217中，深度系数编码单元205给成分合成单元208提供深度成分的有效系数标志作为系数编码流的深度成分，处理进行到步骤S218。
在步骤S218中，如在深度有效系数确定单元202中那样，亮度有效系数确定单元203基于从成分分离单元201提供的系数的亮度成分来确定亮度成分的有效系数标志，并给亮度系数编码单元206提供亮度成分的有效系数标志。而且，如在深度有效系数确定单元202中那样，如果必要，则亮度有效系数确定单元203给亮度系数编码单元206提供系数的亮度成分。
在步骤S219中，亮度系数编码单元206确定从亮度有效系数确定单元203提供的亮度成分的有效系数标志是否是1。当在步骤S219中确定亮度成分的有效系数标志是1时，亮度系数编码单元206在步骤S220对从亮度有效系数确定单元203提供的系数的亮度成分进行无损编码。亮度系数编码单元206给成分合成单元208提供系数的经无损编码的亮度成分和亮度成分的有效系数标志作为系数编码流的亮度成分，处理进行到步骤S222。
另一方面，当确定在步骤S219中亮度成分的有效系数标志不是1时，在步骤S221中，亮度系数编码单元206给成分合成单元208提供亮度成分的有效系数标志作为系数编码流的亮度成分。然后，处理进行到步骤S222。
在步骤S222中，如在深度有效系数确定单元202中那样，色度有效系数确定单元204基于从成分分离单元201提供的系数的色度成分来确定色度成分的有效系数标志，并给色度系数编码单元207提供色度成分的有效系数标志。而且，如在深度有效系数确定单元202中那样，如果必要，则色度有效系数确定单元204给色度系数编码单元207提供系数的色度成分。
在步骤S223中，色度系数编码单元207确定从色度有效系数确定单元204提供的色度成分的有效系数标志是否是1。当在步骤S223中确定色度成分的有效系数标志是1时，在步骤S224中，色度系数编码单元207对从色度有效系数确定单元204提供的系数的色度成分进行无损编码。色度系数编码单元207给成分合成单元208提供系数的经无损编码的色度成分和色度成分的有效系数标志作为系数编码流的色度成分，处理进行到步骤S226。
另一方面，当在步骤S223中确定色度成分的有效系数标志不是1时，色度系数编码单元207给成分合成单元208提供色度成分的有效系数标志作为步骤S225中的系数编码流的色度成分。然后，处理进行到步骤S226。
在步骤S226中，成分合成单元208对来自亮度系数编码单元206的系数编码流的亮度成分、来自色度系数编码单元207的系数编码流的色度成分和来自深度系数编码单元205的系数编码流的深度成分进行合成。而且，当从成分分离单元201提供了no_residual_data标志的编码流时，成分合成单元208将no_residual_data标志包括在由于合成而获得的系数编码流中。成分合成单元208给输出单元193提供系数编码流。
在步骤S227中，输出单元193给图19中的累积缓冲器127提供从成分合成单元208提供的系数编码流和从信息编码单元192提供的信息编码流作为复用图像编码流。然后，处理返回到图31中的步骤S143，并且进行到图32的步骤S144。
以这种方式，编码装置80通过将最佳帧内预测模式或最佳帧间预测模式以及运动矢量作为与复用图像的色度成分和深度成分的编码相关的信息（编码参数）进行共享，来对复用图像进行编码。因此，降低了画面内预测信息或复用图像的运动信息的信息量，提高了编码效率。而且，在多视点三维图像是其中静止图像的深度方向位置不发生相对变化的图像或者是其中相对于相机平行移动的物体的图像的深度方向位置不发生相对变化的图像的情况下，彩色图像和深度图像的运动矢量之间的相关性强。因此，进一步提高了编码效率。
而且，由于复用图像的色度成分和深度成分的编码方法相同，所以易于从彩色图像的传统的编码方法扩展到复用图像的编码方法。
[解码装置的配置的示例]
图36是示出了对由图16中的编码装置80输出的复用图像编码流进行解码的解码装置的配置的示例的框图。
在图36示出的配置中，将相同的附图标记分配给与图12相同的配置。适当地省略冗余的描述。
图36中的解码装置230的配置与图12中的配置的不同之处在于，设置了多视点图像解码单元231和图像分离单元232-1至图像分离单元232-N，而不是设置多视点图像解码单元51和图像分离单元52-1至图像分离单元52-N。
解码装置230的多视点图像解码单元231根据与HEVC方案等对应的方案，在每个视点处对从编码装置80接收的复用图像编码流进行解码。多视点图像解码单元231给图像分离单元232-1至图像分离单元232-N提供由于解码而获得的每个视点的复用图像。具体地，多视点图像解码单元231给图像分离单元232-1提供视点#1的复用图像。随后，以类似的方式，多视点图像解码单元231分别在每个视点给图像分离单元232-2至图像分离单元232-N提供视点#2至视点#N的复用图像。
图像分离单元232-1至图像分离单元232-N的每一个通过将从多视点图像解码单元231提供的复用图像的亮度成分和色度成分设置为彩色图像的亮度成分和色度成分以及将分辨率转换后的深度成分设置为深度图像来进行分离处理。图像分离单元232-1至图像分离单元232-N的每一个给多视点图像合成单元53提供由于分离处理而获得的每个视点的彩色图像和深度图像。
而且，在下面，当不特别需要区分图像分离单元232-1至图像分离单元232-N时，将其统称为图像分离单元232。
[多视点图像解码单元的配置的示例]
图37是示出对在图36的多视点图像解码单元231中的任意一个视点的复用图像编码流进行解码的解码单元的配置的示例的框图。换言之，多视点图像解码单元231包括N个图37中的解码单元250。
图37中的解码单元250包括：累积缓冲器251、无损解码单元252、逆量化单元253、逆正交变换单元254、加法单元255、去块滤波器256、画面布置缓冲器257、D/A转换单元258、帧存储器259、画面内预测单元260、运动补偿单元261和开关262。
解码单元250的累积缓冲器251对从图16中的编码装置80发送的预定视点的复用图像编码流进行接收并累积。累积缓冲器251给无损解码单元252提供累积的复用图像编码流。
无损解码单元252对来自累积缓冲器251的复用图像编码流中的系数编码流进行无损解码（例如变长解码或算术解码）来获得经量化的系数。无损解码单元252给逆量化单元253提供经量化的系数。而且，无损解码单元252对复用图像编码流中的信息编码流进行解码。
当获得由于解码信息编码流而获得的画面内预测信息时，无损解码单元252给画面内预测单元260提供画面内预测信息，并通知开关262最佳预测模式是帧内预测模式。另一方面，当由于对信息编码流进行解码而获得了运动信息时，无损解码单元252给运动补偿单元261提供运动信息，并通知开关262最佳预测模式是帧间预测模式。
逆量化单元253、逆正交变换单元254、加法单元255、去块滤波器256、帧存储器259、画面内预测单元260和运动补偿单元261分别进行与图19中的逆量化单元128、逆正交变换单元129、加法单元130、去块滤波器131、帧存储器132、画面内预测单元133和运动补偿单元134相同的处理。以此方式，对系数编码流进行解码。
具体地，逆量化单元253对来自无损解码单元252的经量化的系数进行逆量化，并给逆正交变换单元254提供所得的系数。
逆正交变换单元254对来自逆量化单元253的系数进行逆正交变换（例如逆离散余弦变换或逆卡洛南-洛伊变换），并给加法单元255提供所得的剩余信息。
加法单元255将从逆正交变化单元254提供的剩余信息作为待解码的图像加到从开关262提供的预测图像，给去块滤波器256提供所得的复用图像，也给画面内预测单元260提供复用图像作为参考图像。而且，当从开关262没有提供预测图像时，加法单元255给去块滤波器256提供复用图像（该复用图像是从逆正交变换单元254提供的剩余信息），也给画面内预测单元260提供该复用图像作为参考图像。
去块滤波器256通过对从加法单元255提供的复用图像进行滤波来去除块失真。去块滤波器256给帧存储器259提供所得的复用图像，在帧存储器259中对复用图像进行累积，并给画面布置缓冲器257提供复用图像。在帧存储器259中累积的复用图像被提供给运动补偿单元261作为参考图像。
画面布置缓冲器257在帧的基础上对从去块滤波器256提供的复用图像进行存储。画面布置缓冲器257将以用于存储的顺序的基于帧的复用图像以初始显示顺序进行布置，并给D/A转换单元258提供所布置的基于帧的复用图像。
D/A转换单元258对从画面布置缓冲器257提供的基于帧的复用图像进行D/A转换，并输出D/A转换后的基于帧的复用图像作为预定视点的复用图像。
画面内预测单元260通过使用从加法单元255提供的参考图像，对由从无损解码单元252提供的画面内预测信息表示的最佳帧内预测模式进行画面内预测，来生成预测图像。画面内预测单元260给开关262提供预测图像。
运动补偿单元261基于从无损解码单元252提供的运动信息，通过从帧存储器259读取参考图像来进行运动补偿处理。运动补偿单元261给开关262提供作为所得的预测图像。
当从无损解码单元252通知最佳预测模式是帧内预测模式时，开关262给加法单元255提供从画面内预测单元260提供的预测图像。另一方面，当从无损解码单元252通知最佳预测模式是帧间预测模式时，从运动补偿单元261提供的预测图像被提供给加法单元255。
[无损解码单元的配置的示例]
图38是示出了图37中的无损解码单元252的配置的示例的框图。
图38中的无损解码单元252包括：分离单元281、系数解码单元282和信息解码单元283。
无损解码单元252的分离单元281将从图37中的累积缓冲器251提供的复用流分离成系数编码流和信息编码流。分离单元281给系数解码单元282提供系数编码流，给信息解码单元283提供信息编码流。
系数解码单元282包括：有效系数确定单元291、深度有效系数确定单元292、亮度有效系数确定单元293、色度有效系数确定单元294、深度系数解码单元295、亮度系数解码单元296、色度系数解码单元297和成分合成单元298。
而且，当在从分离单元281提供的系数编码流中包括no_residual_data标志时，系数解码单元282的有效系数确定单元291确定no_residual_data标志是否是0。当no_residual_data标志是0或在系数编码流中不包括no_residual_data标志时，有效系数确定单元291将系数编码流分离成深度成分、亮度成分和色度成分。有效系数确定单元291给深度有效系数确定单元292提供系数编码流的深度成分，给亮度有效系数确定单元293提供亮度成分，以及给色度有效系数确定单元294提供色度成分。
深度有效系数确定单元292确定在从有效系数确定单元291提供的系数编码流的深度成分中包含的深度成分的有效系数标志是否是1。当确定深度成分的有效系数标志是1时，深度有效系数确定单元292给深度系数解码单元295提供在系数编码流的深度成分中包含的系数的经无损编码的深度成分。
由于亮度有效系数确定单元293和色度有效系数确定单元294除了待处理的成分分别是亮度成分和色度成分外，与深度有效系数确定单元292进行相同的处理，所以省略其描述。
深度系数解码单元295对从深度有效系数确定单元292提供的系数的无损编码的深度成分进行无损解码，并给成分合成单元298提供所得的系数的深度成分。
由于亮度系数解码单元296和色度系数解码单元297除了待处理的成分分别是亮度成分和色度成分外，与深度系数解码单元295进行相同的处理，所以省略其描述。
成分合成单元298对来自深度系数解码单元295的系数的深度成分、来自亮度系数解码单元296的系数的亮度成分和来自色度系数解码单元297的系数的色度成分进行合成。在这种情况下，每个成分（其未被提供）的系数变成0。因此，当no_residual_data标志是1时，最上层的编码单元的系数的所有成分变成0。而且，编码单元的、预定成分的有效系数标志是0的成分，变成0。成分合成单元298给图37中的逆量化单元253提供合成后的系数。
信息解码单元283包括：画面内预测信息解码单元301和运动信息解码单元302。
当从分离单元281提供的信息编码流是画面内预测信息的编码流时，信息解码单元283的画面内预测信息解码单元301对信息编码流进行解码，并获得画面内预测信息。画面内预测信息解码单元301给画面内预测单元260（图37）提供获得的画面内预测信息，还给开关262提供最佳预测模式是帧内预测模式的结果。
当从分离单元281提供的信息编码流是编码流时，运动信息解码单元302对信息编码流进行解码，并获得运动信息。运动信息解码单元302给运动补偿单元261（图37）提供获得的运动信息，也给开关262提供最佳预测模式是帧间预测模式的结果。
[画面内预测单元的配置的示例]
图39是示出了图37中的画面内预测单元260的配置的示例的框图。
图39中的画面内预测单元260包括：成分分离单元321、亮度画面内预测单元322、色度画面内预测单元323、深度画面内预测单元324和成分合成单元325。
画面内预测单元260的成分分离单元321对从图37中的加法单元255提供的参考图像的亮度成分、色度成分和深度成分进行分离。成分分离单元321给亮度画面内预测单元322提供参考图像的亮度成分，给色度画面内预测单元323提供色度成分。而且，成分分离单元321给深度画面内预测单元324提供参考图像的深度成分。
亮度画面内预测单元322通过使用从成分分离单元321提供的参考图像的亮度成分来对下述最佳帧内预测模式进行画面内预测，该最佳帧内预测模式由从图37中的无损解码单元252提供的用于亮度成分的画面内预测信息表示。亮度画面内预测单元322给成分合成单元325提供所得的预测图像的亮度成分。
色度画面内预测单元323通过使用从成分分离单元321提供的参考图像的色度成分来对下述最佳帧内预测模式进行画面内预测，该最佳帧内预测模式由从图37中的无损解码单元252提供的用于色度成分的画面内预测信息表示。色度画面内预测单元323给成分合成单元325提供所得的预测图像的色度成分。
深度画面内预测单元324将由从图37中的无损解码单元252提供的用于色度成分的画面内预测信息所表示的最佳帧内预测模式设置为用于深度成分的最佳帧内预测模式。换言之，深度画面内预测单元324将最佳帧内预测模式与色度画面内预测单元323共享。深度画面内预测单元324通过使用从成分分离单元321提供的参考图像的深度成分，对用于深度成分的最佳帧内预测模式进行画面内预测，来生成预测图像的深度成分。深度画面内预测单元324给成分合成单元325提供预测图像的深度成分。
成分合成单元325对来自亮度画面内预测单元322的预测图像的亮度成分、来自色度画面内预测单元323的预测图像的色度成分和来自深度画面内预测单元324的预测图像的深度成分进行合成。成分合成单元325给图37中的开关262提供由于合成而获得的预测图像。
[运动补偿单元的配置的示例]
图40是示出了图37中的运动补偿单元261的配置的示例的框图。
图40中的运动补偿单元261包括：成分分离单元341、运动信息转换单元342、亮度运动补偿单元343、色度运动补偿单元344、深度运动补偿单元345和成分合成单元346。
运动补偿单元261的成分分离单元341对从图37中的加法单元255提供的参考图像的亮度成分、色度成分和深度成分进行分离。成分分离单元341给亮度运动补偿单元343提供参考图像的亮度成分，给色度运动补偿单元344提供色度成分。而且，成分分离单元341给深度运动补偿单元345提供参考图像的深度成分。
运动信息转换单元342给亮度运动补偿单元343提供从图37中的无损解码单元252提供的运动信息。而且，如在图21中的运动信息转换单元172中那样，运动信息转换单元342基于彩色图像的亮度成分、彩色图像的色度成分和分辨率转换后的深度图像的分辨率，对运动信息的运动矢量进行转换。运动信息转换单元342给色度运动补偿单元344和深度运动补偿单元345提供转换后的运动矢量和最佳帧间预测模式。
亮度运动补偿单元343基于从成分分离单元341提供的运动信息，通过经由运动信息转换单元342读取参考图像的亮度成分来进行运动补偿处理，并获得预测图像的亮度成分。亮度运动补偿单元343给成分合成单元346提供预测图像的亮度成分。
色度运动补偿单元344基于从运动信息转换单元342提供的最佳帧间预测模式和转换后的运动矢量，通过经由成分分离单元341读取参考图像的色度成分来进行运动补偿。换言之，色度运动补偿单元344通过与亮度运动补偿单元343共享最佳帧间预测模式和运动矢量来进行运动补偿处理。色度运动补偿单元344给成分合成单元346提供所得的预测图像的色度成分。
深度运动补偿单元345基于从运动信息转换单元342提供的最佳帧间预测模式和转换后的运动矢量，通过经由成分分离单元341读取参考图像的深度成分来进行运动补偿。换言之，深度运动补偿单元345通过与亮度运动补偿单元343共享最佳帧间预测模式和运动矢量来进行运动补偿处理。深度运动补偿单元345给成分合成单元346提供所得的预测图像的深度成分。
成分合成单元346对来自亮度运动补偿单元343的预测图像的亮度成分、来自色度运动补偿单元344的预测图像的色度成分和来自深度运动补偿单元345的预测图像的深度成分进行合成。成分合成单元346给图37中的开关262提供由于合成而获得的预测图像。
[图像分离单元的配置的示例]
图41是示出了图36中的图像分离单元232的配置的示例的框图。
图41中的图像分离单元232包括：成分分离处理单元361和分辨率转换处理单元362。
图像分离单元232的成分分离处理单元361对来自图36中的多视点图像解码单元231的、预定视点的复用图像的亮度成分、色度成分和深度成分进行分离。成分分离处理单元361通过将分离的、预定视点的复用图像的亮度成分设置为亮度成分并将分离的、复用图像的分离的色度成分作为色度成分进行合成，来生成预定视点的彩色图像。成分分离处理单元361给图36中的多视点图像合成单元53提供预定视点的彩色图像。而且，成分分离处理单元361给分辨率转换处理单元362提供分离的预定视点的复用图像的深度成分。
分辨率转换处理单元362进行转换，以使得从成分分离处理单元361提供的、预定视点的复用图像的深度成分的分辨率变成等于预定视点的彩色图像的亮度成分的分辨率。分辨率转换处理单元362生成分辨率转换后的深度成分作为预定视点的深度图像，并给多视点图像合成单元53提供分辨率转换后的深度成分。
[对解码装置的处理的描述]
图42是示出由图36中的解码装置230进行的解码处理的流程图。解码处理开始于例如，当从图16的编码装置80输入复用图像编码流时。
在图42中的步骤S241中，解码装置230的多视点图像解码单元231根据与HEVC方案等对应的方案进行复用图像解码处理，以在每个视点处对从图16中的编码装置80接收的复用图像编码流进行解码。复用图像解码处理的细节将在下面参考图43进行描述。
在步骤S242中，图像分离单元232进行分离处理以将从多视点图像解码单元231提供的复用图像分离成彩色图像和深度图像。分离处理的细节将在下面参考图45进行描述。
由于步骤S243和步骤S244的处理与图14中的步骤S53和步骤S54的处理相同，所以省略其描述。
图43是描绘了图42中的步骤S241的复用图像解码处理的细节的流程图。在每个视点进行复用图像解码处理。
在图43的步骤S260中，解码单元250的累积缓冲器251对从图16中的编码装置80发送的、预定视点的复用图像编码流进行接收并累积。累积缓冲器251给无损解码单元252提供累积的复用图像编码流。
在步骤S261中，无损解码单元252的信息解码单元283（图38）对通过分离单元281从累积缓冲器251提供的复用图像编码流中的信息编码流进行解码。
具体地，当信息编码流是画面内预测信息的编码流时，画面内预测信息解码单元301对信息编码流进行解码，并给画面内预测单元260提供所得的画面内预测信息。而且，画面内预测信息解码单元301给开关262提供最佳预测模式是帧内预测模式的结果。
另一方面，当信息编码流是编码流时，运动信息解码单元302对信息编码流进行解码，并给画面内预测单元260提供作为所得的运动信息。而且，运动信息解码单元302给开关262提供最佳预测模式是帧间预测模式的结果。
在步骤S262中，无损解码单元252的系数解码单元282（图38）进行无损解码处理，以对通过分离单元281从累积缓冲器251提供的复用图像编码流中的系数编码流进行无损解码。无损解码处理的细节将在下面参考图44进行描述。
在步骤S263中，逆量化单元253对来自无损解码单元252的经量化的系数进行逆量化，并给逆正交变换单元254提供所得的系数。
在步骤S264中，逆正交变换单元254对来自逆量化单元253的系数进行逆正交变换，并给加法单元255提供所得的剩余信息。
在步骤S265中，运动补偿单元261确定从无损解码单元252的运动信息解码单元302（图38）是否提供了运动信息。当在步骤S265中确定已经提供了运动信息时，处理进行到步骤S266。
在步骤S266中，运动补偿单元261基于运动信息，通过从帧存储器259读取参考图像来进行运动补偿处理。由于除了不提供且不输出代价函数值外，运动补偿处理与图34中的运动补偿处理相同，所以省略其详细的描述。运动补偿单元261通过开关262将由于运动补偿处理而生成的预测图像提供给加法单元255，处理进行到步骤S268。
另一方面，当在步骤S265中确定还没有提供运动信息时，换言之，当从画面内预测信息解码单元301（图38）提供画面内预测信息时，处理进行到步骤S267。
在步骤S267中，画面内预测单元260通过使用从加法单元255提供的参考图像对由画面内预测信息表示的最佳帧内预测模式进行画面内预测处理。由于除了仅进行最佳帧内预测模式的画面内预测以及不通过计算代价函数值来确定最佳帧内预测模式外，该画面内预测处理与图33中的画面内预测处理相同，所以省略其详细的描述。画面内预测单元260通过开关262将所得的预测图像提供给加法单元255，处理进行到步骤S268。
在步骤S268中，加法单元255将从逆正交变换单元254提供的剩余信息与给从开关262提供的预测图像相加。加法单元255给去块滤波器256提供所得的复用图像，也给画面内预测单元260提供复用图像作为参考图像。
在步骤S269中，去块滤波器256通过对从加法单元255提供的复用图像进行滤波来去除块失真。
在步骤S270中，去块滤波器256给帧存储器259提供经滤波的复用图像，在帧存储器259中对经滤波的复用图像进行累积，也给画面布置缓冲器257提供经滤波的复用图像。在帧存储器259中累积的复用图像被提供给运动补偿单元261作为参考图像。
在步骤S271中，画面布置缓冲器257在帧的基础上对从去块滤波器256提供的复用图像进行存储，将存储的为了编码的顺序的复用图像以初始显示顺序进行排列，并给D/A转换单元258提供经布置的基于帧的复用图像。
在步骤S272中，D/A转换单元258对从画面布置缓冲器257提供的基于帧的复用图像进行D/A转换，并将经D/A转换的基于帧的复用图像输出给图36中的图像分离单元232作为预定视点的复用图像。
图44是描绘了图43中步骤S262的无损解码处理的细节的流程图。
在图44的步骤S290中，系数解码单元282的有效系数确定单元291确定在从分离单元281提供的系数编码流中是否包括no_residual_data标志。
在步骤S290中，当在步骤S290中确定在系数编码流中包括no_residual_data标志时，处理进行到步骤S291。在步骤S291中，有效系数确定单元291确定在最上层的编码单元的所有成分的系数中是否存在有效系数，换言之，no_residual_data标志是否是0。
当在步骤S291中确定在最上层的编码单元的所有成分的系数中存在有效系数时，或当在步骤S290中确定在系数编码流中不包括no_residual_data标志时，有效系数确定单元291将系数编码流分离成深度成分、亮度成分和色度成分。有效系数确定单元291给深度有效系数确定单元292提供系数编码流的深度成分，给亮度有效系数确定单元293提供亮度成分，给色度有效系数确定单元294提供色度成分。
在步骤S292中，亮度有效系数确定单元293基于在从有效系数确定单元291提供的系数编码流的亮度成分中所包括的亮度成分的有效系数标志，来确定是否存在亮度成分的有效系数。
当亮度成分的有效系数标志是1时，亮度有效系数确定单元293在步骤S292中确定存在亮度成分的有效系数，并给亮度系数解码单元296提供在系数编码流的亮度成分中包括的系数的无损编码的亮度成分。
在步骤S293中，亮度系数解码单元296对从亮度有效系数确定单元293提供的系数的经无损编码的亮度成分进行无损解码，并给成分合成单元298提供经无损解码的亮度成分。然后，处理进行到步骤S294。
另一方面，当亮度成分的有效系数标志是0时，亮度有效系数确定单元293在步骤S292中确定不存在亮度成分的有效系数，处理进行到步骤S294。
在步骤S294中，色度有效系数确定单元294基于在从有效系数确定单元291提供的系数编码流的色度成分中所包括的色度成分的有效系数标志，来确定是否存在色度成分的有效系数。
当色度成分的有效系数标志是1时，色度有效系数确定单元294在步骤S294中确定存在色度成分的有效系数，并给色度系数解码单元297提供在系数编码流的色度成分中包括的系数的无损编码的色度成分。
在步骤S295中，色度系数解码单元297对从色度有效系数确定单元294提供的系数的经无损编码的色度成分进行无损解码，并给成分合成单元298提供无损解码的色度成分。然后，处理进行到步骤S296。
另一方面，当色度成分的有效系数标志是0时，色度有效系数确定单元294在步骤S294中确定不存在色度成分的有效系数，处理进行到步骤S296。
在步骤S296中，深度有效系数确定单元292基于在从有效系数确定单元291提供的系数编码流的深度成分中包括的深度成分的有效系数标志，来确定是否存在深度成分的有效系数。
当深度成分的有效系数标志是1时，深度有效系数确定单元292在步骤S296中确定存在深度成分的有效系数，并给深度系数解码单元295提供在系数编码流的深度成分中包括的系数的无损编码的深度成分。
在步骤S297中，深度系数解码单元295对从深度有效系数确定单元292提供的系数的无损编码的深度成分进行无损解码，并给成分合成单元298提供无损解码的深度成分。然后，处理进行到步骤S298。
另一方面，当深度成分的有效系数标志是0时，深度有效系数确定单元292在步骤S296中确定不存在深度成分的有效系数，处理进行到步骤S298。
在步骤S298中，成分合成单元298对来自亮度系数解码单元296的系数的亮度成分、来自色度系数解码单元297的系数的色度成分以及来自深度系数解码单元295的系数的深度成分进行合成。在这种情况下，没有提供的每个成分的系数是0。成分合成单元298给图37中的逆量化单元253提供合成后的系数，处理返回到图43中的步骤S262。然后，处理进行到步骤S263。
图45是描绘图42中的步骤S242的分离处理的流程图。
在图45的步骤S311中，图像分离单元232的成分分离处理单元361（图41）对来自多视点图像解码单元231的预定视点的复用图像的亮度成分、色度成分和深度成分进行分离。此外，成分分离处理单元361给分辨率转换处理单元362提供预定视点的复用图像的分离的深度成分。
在步骤S312中，成分分离处理单元361通过将预定视点的复用图像的分离的亮度成分设置为亮度成分且将复用图像的分离的色度成分作为色度成分进行合成，来生成预定视点的彩色图像。成分分离处理单元361给图36中的多视点图像合成单元53提供预定视点的彩色图像。
在步骤S313中，分辨率转换处理单元362进行转换，以使得从成分分离处理单元361提供的预定视点的复用图像的深度成分的分辨率变成等于预定视点的彩色图像的亮度成分的分辨率。分辨率转换处理单元362给多视点图像合成单元53提供分辨率转换后的深度成分作为预定视点的深度图像。然后，处理返回到图42中的步骤S242，并且进行到步骤S243。
以这种方式，解码装置230通过对最佳帧内预测模式或最佳帧间预测模式以及运动矢量作为与色度成分和深度成分的编码相关的信息进行共享，来进行编码。因此，解码装置230可以对具有提高的编码效率的复用图像编码流进行解码。
<第三实施方式>
[编码装置的配置的示例]
图46是示出了应用本技术的编码装置的第三实施方式的配置的示例的框图。
在图46示出的配置中，将相同的附图标记分配给与图2相同的配置。适当地省略冗余的描述。
图46中的编码装置380的配置与图2中的配置的不同之处在于，设置了图像复用单元381-1至图像复用单元381-N（N是多视点三维图像的视点的数量，在本实施方式中，N是等于或大于3的整数）和生成单元382，而不是设置图像复用单元22-1至图像复用单元22-N和多视点图像编码单元23。编码装置380通过共享编码参数对彩色图像和深度图像进行编码，并发送彩色图像的编码流和深度图像的编码流作为单独的网络抽象层（NAL）单元。
具体地，编码装置380的编码单元381-1根据HEVC方案将从多视点图像分离单元21提供的视点#1的彩色图像作为基准图像进行编码。而且，编码单元381-1根据与HEVC方案对应的方案通过使用视点#1的彩色图像的亮度成分或色度成分的编码参数，对从多视点图像分离单元21提供的视点#1的深度图像进行编码。编码单元381-1给生成单元382提供由于编码而获得的基准图像和深度图像的基于条带的编码流。
编码单元381-2至编码单元381-N的每一个根据与HEVC方案对应的方案将从多视点图像分离单元21提供的彩色图像作为非基准图像进行编码。在这种情况下，基准图像也被用作参考图像。而且，编码单元381-2至编码单元381-N的每一个根据与HEVC方案对应的方案，通过使用对应视点的彩色图像的亮度成分或色度成分的编码参数，对从多视点图像分离单元21提供的深度图像进行编码。在这种情况下，基准图像的深度图像也被用作参考图像。编码单元381-2至编码单元381-N给生成单元382提供由于编码而获得的非基准图像和深度图像的基于条带的编码流。
而且，在下面，当不特别需要区分编码单元381-1至编码单元381-N时，将其统称为编码单元381。
生成单元382根据从编码单元381提供的基准图像、非基准图像和深度图像的基于条带的编码流分别生成单独的NAL单元。具体地，生成单元382通过将包括表示不同的NAL单元类型的信息（在下文，称为类型信息）的NAL头部添加到基准图像、非基准图像和深度图像的基于条带的编码流来生成NAL单元。
而且，生成单元382生成用于基准图像的序列参数集（SPS）的NAL单元、用于非基准图像的SPS的NAL单元、用于深度图像的SPS的NAL单元和图像参数集（PPS）的NAL单元。生成单元382对在其中布置了各个生成的NAL单元的多视点图像编码流进行发送。
[编码单元的配置的示例]
图47是示出了图46中的编码单元381-1的配置的示例的框图。
图47中的编码单元381-1包括：彩色编码单元401、条带头部编码单元402、深度编码单元403和条带头部编码单元404。
除了不存在深度成分并且将运动信息和画面内信息提供给深度编码单元403外，彩色编码单元401与图19中的编码单元120相同。具体地，彩色编码单元401根据HEVC方案对从图46中的多视点图像分离单元21提供的基准图像的亮度成分和色度成分进行编码。而且，彩色编码单元401给深度编码单元403提供运动信息或画面内信息作为在编码中使用的亮度成分和色度成分的编码参数。
条带头部编码单元402将与由于彩色编码单元401的编码而获得的基准图像的、基于条带的编码流相关的信息生成为条带头部。条带头部编码单元402将生成的条带头部添加给基准图像的基于条带的编码流，并将编码流提供给图46中的生成单元382。
深度编码单元403根据HEVC方案，通过使用从彩色编码单元401提供的运动信息或画面内信息。对从多视点图像分离单元21提供的基准图像的深度图像进行编码。深度编码单元403给条带头部编码单元404提供由于编码而获得的基准图像的深度图像的编码流。
条带头部编码单元404将与从深度编码单元403提供的、基准图像的深度图像的基于条带的编码流相关的信息生成为条带头部。条带头部编码单元404将生成的条带头部添加给基准图像的深度图像的基于条带的编码流，并将编码流提供给生成单元382。
而且，尽管省略了附图，但除了彩色编码单元还通过参考基准图像来对非基准图像进行编码并且深度编码单元还通过参考基准图像的深度图像来对非基准图像的深度图像进行编码外，编码单元381-2至编码单元381-N的配置与图47中的配置相同。
[深度编码单元的配置的示例]
图48是示出了图47中的深度编码单元403的配置的示例的框图。
在图48示出的配置中，将相同的附图标记分配给与图19相同的配置。适当地省略冗余的描述。
图48中的深度编码单元403的配置与图19中的配置的不同之处在于，设置了无损编码单元420、画面内预测单元421、运动补偿单元422和选择单元423，而不是设置无损编码单元126、画面内预测单元133、运动补偿单元134和选择单元136，并且没有设置运动估计单元135。
如在图19的无损编码单元126中那样，深度编码单元403的无损编码单元420对从量化单元125提供的经量化的系数进行无损编码，给累积缓冲器127提供所得的编码流，并在累积缓冲器127中累积编码流。
画面内预测单元421在从图47中的彩色编码单元401提供的亮度成分和色度成分的各个画面内预测信息中，选择与深度图像具有相同分辨率的亮度成分或色度成分的画面内预测信息作为深度图像的画面内预测信息。换言之，画面内预测单元421用作设置单元，将画面内预测信息设置为在彩色图像的亮度成分或色度成分和深度图像中共享。
画面内预测单元421通过使用从加法单元130提供的参考图像对由选择的画面内预测信息表示的最佳帧内预测模式进行画面内预测处理，来生成预测图像。画面内预测单元421给选择单元423提供生成的预测图像。
运动补偿单元422在从彩色编码单元401提供的亮度成分和色度成分的各个运动信息中，选择与深度图像具有相同分辨率的亮度成分或色度成分的运动信息。换言之，运动补偿单元422用作设置单元，将运动信息设置为在彩色图像的亮度成分或色度成分和深度图像中共享。
运动补偿单元422基于由选择的运动信息表示的最佳帧间预测模式和运动矢量，通过从帧存储器132读取参考图像来进行运动补偿处理。运动补偿单元422给选择单元136提供作为所得的预测图像。
选择单元423给计算单元123和加法单元130提供从画面内预测单元421或运动补偿单元422提供的预测图像。
[生成单元的配置的示例]
图49是示出了图46中的生成单元382的配置的示例的框图。
图49中的生成单元382包括：NAL单元450、PPS编码单元451和SPS编码单元452。
生成单元382的NAL单元450用作生成单元，其根据从图46中的编码单元381提供的基准图像的基于条带的编码流、非基准图像的基于条带的编码流和深度图像的基于条带的编码流来分别生成单独的NAL单元，并给PPS编码单元451提供NAL单元。
PPS编码单元451生成PPS的NAL单元。PPS编码单元451将PPS的NAL单元加到从NAL单元450提供的编码流的NAL单元，并给SPS编码单元452提供NAL单元。
SPS编码单元452生成用于基准图像的SPS的NAL单元、用于非基准图像的SPS的NAL单元和用于深度图像的SPS的NAL单元。SPS编码单元452将生成的SPS的NAL单元加到从PPS编码单元451提供的NAL单元，生成并输出多视点图像编码流。
[多视点图像编码流的配置]
图50是示出多视点图像编码流的配置的示例的图。
如图50所示，在多视点图像编码流中，用于基准图像的SPS的NAL单元、用于非基准图像的SPS的NAL单元、用于深度图像的SPS的NAL单元、PPS的NAL单元、视点#1的彩色图像的基于条带的编码流的NAL单元、视点#1的深度图像的基于条带的编码流的NAL单元、视点#2的彩色图像的基于条带的编码流的NAL单元、视点#2的深度图像的基于条带的编码流、……、视点#N的彩色图像的基于条带的编码流的NAL单元和视点#N的深度图像的基于条带的编码流的NAL单元被按照顺序进行排列。
[类型信息的示例]
图51是示出了类型信息的示例的图。
在图51的示例中，在用于非基准图像的SPS的NAL头部中包括的类型信息是24，在用于深度图像的SPS的NAL头部中包括的类型信息是25。此外，在非基准图像的基于条带的编码流的NAL头部中包括的类型信息是26，在深度图像的基于条带的编码流的NAL头部中包括的类型信息是27。
[用于深度图像的SPS的语法的示例]
图52是示出了用于深度图像的SPS的语法的示例的图。
此外，在图52的左边上的数字表示行号，其不是语法的组成部分。这与下面待描述的图53和图57相同。
如图52中的第二行所示，在用于深度图像的SPS中，描述了表示是否在编码单元的基础上控制量化参数（QP）的QP控制标志（cu_qp_delta_enabled_flag）。以这种方式，可以单独地对深度图像和彩色图像的QP进行控制。
而且，如第三行所示，在用于深度图像的SPS中，描述了表示深度图像的分辨率是等于彩色图像的亮度成分的分辨率还是等于色度成分的分辨率的分辨率标志（luma_resolution_flag）（分辨率信息）。当深度图像的分辨率等于彩色图像的亮度成分的分辨率时，假定分辨率标志为1，当深度图像的分辨率等于彩色图像的色度成分的分辨率时，假定分辨率标志为0。
[非基准图像的条带头部的语法的示例]
图53是示出了非基准图像的条带头部的语法的示例的图。
如图53中的第三行所示，在非基准图像的条带头部中，描述了视点ID（view_id），该视点ID是对于对应的视点唯一的ID。如下所述，在深度图像的条带头部中也描述了视点ID。在条带头部中包含相同的视点ID的非基准图像和深度图像彼此对应。
[深度图像的条带头部的语法的示例]
图54是示出了深度图像的条带头部的语法的示例的图。
深度图像和彩色图像的QP被独立地控制。因此，如图54中的第二行所示，在深度图像的条带头部中，描述了表示QP是在基于条带的深度图像中的基准的基准QP值（slice_qp_delta）。
此外，如第三行至第七行所示，在深度图像的条带头部中，描述了表示深度编码单元403的去块滤波器131（图48）的参数的信息。以这种方式，彩色图像和深度图像的去块滤波器可以被独立地控制。
此外，在深度图像的条带头部中，描述了环路内滤波器例如与去块滤波器131不同的自适应环路滤波器（ALF）或样本自适应偏移（SAO）的参数，可以在彩色图像和深度图像中对环路内滤波器进行单独地控制。
此外，如第十行所示，在深度图像的条带头部中，描述了视点ID。
此外，尽管省略了附图，但视点ID还被包含在基准图像的条带头部中。在条带头部中包含相同的视点ID的基准图像和深度图像彼此对应。
[最上层的基于编码单元的编码流的语法的示例]
图55是示出最上层的基于编码单元（CU）的编码流的语法的示例的图。
如图55中的第二十行至第三十五行所示，在基于CU的编码流中，当分辨率标志（luma_resolution_flag）是1时，描述了包含图23和图24示出的亮度成分的有效系数标志的模式的有效系数标志（在下文，称为亮度模式有效系数信息）和基于CU的QP（transform_disparity_coeff）的信息（transform_tree_disparity_to_luma）。另一方面，当分辨率标志不是1时，描述了包含图23和图24示出的色度成分的有效系数标志的模式的有效系数标志（在下文，称为色度模式有效系数信息）和基于CU的QP（transform_disparity_coeff）的信息（transform_tree_disparity_to_chroma）。
换言之，当深度图像的分辨率等于亮度成分的分辨率时，在CU编码流中，描述了亮度模式有效系数信息和基于CU的QP。当深度图像的分辨率等于色度成分的分辨率时，描述了色度模式有效系数信息和基于CU的QP。
图56是示出了亮度模式有效系数信息的语法的示例的图。
如图56中的第三行和第四行所示，在亮度模式有效系数信息中，当彩色图像的亮度成分的最佳预测模式是最佳帧间预测模式时，描述了no_residual_data标志。
此外，如第十三行至第二十行所示，在亮度模式有效系数信息中，描述了表示最下层的CU的大小的信息。而且，如第二十二行和第二十三行所示，当彩色图像的亮度成分的最佳预测模式是帧内预测模式时，描述了与深度图像的最上层CU不同的CU的有效系数标志（cbf_dp）。
图57是示出了色度模式有效系数信息的语法的示例的图。
如图57中的第三行和第四行所示，在色度模式有效系数信息中，当彩色图像的色度成分的最佳预测模式是最佳帧间预测模式时，描述了no_residual_data标志。
而且，如第十四行至第二十行所示，在色度模式有效系数信息中，当彩色图像的色度成分的最佳预测模式是帧间预测模式时，如果高于自身的一层的CU的有效系数标志是1或者如果自身是最上层的CU，则对深度图像的有效系数标志（cbf_dp）进行描述。
而且，如第二十三行至第二十九行所示，在色度模式有效系数信息中，描述了表示最下层的CU的大小的信息。而且，如第三十一行至第三十五行所示，在色度模式有效系数信息中，当彩色图像的色度成分的最佳预测模式是最佳帧内预测模式时，描述了与深度图像的最上层CU不同的CU的有效系数标志（cbf_dp）。
[编码装置的处理]
图58是描绘了图46中的编码装置380的编码处理的流程图。
在图58的步骤S331中，编码装置380的多视点图像分离单元21对输入至编码装置380的多视点三维图像进行分离，并获得每个视点的彩色图像和深度图像。多视点图像分离单元21在每个视点处给编码单元381提供每个视点的彩色图像和深度图像。
在步骤S332中，编码单元381进行多视点编码处理以对每个视点的彩色图像和深度图像进行编码。编码单元381给生成单元382提供对应的深度图像和由于多视点编码处理而获得的基准图像或非基准图像的基于条带的编码流。
在步骤S333中，生成单元382进行生成处理以根据从编码单元381提供的编码流生成多视点编码流。生成处理的细节将在下面参考图61进行描述。生成单元382输出由于生成处理而获得的多视点编码流，并结束处理。
图59和图60是描绘了在图58的步骤S332的多视点编码处理中的由图47中的编码单元381-1进行的深度图像编码处理的细节的流程图。
在图59的步骤S351中，深度编码单元403的A/D转换单元121（图48）对从图46中的多视点图像分离单元21提供的基于帧的基准图像的深度图像进行A/D转换，并将该深度图像输出并存储到画面布置缓冲器122。
在步骤S352中，画面布置缓冲器122根据GOP结构、对存储的显示顺序的帧的基准图像的深度图像按照用于编码的顺序进行布置。画面布置缓冲器122给计算单元123提供经布置的基于帧的深度图像。
在步骤S353中，画面内预测单元421确定从图47中的彩色编码单元401是否提供了彩色图像的亮度成分和色度成分的画面内预测信息。当在步骤S353中确定已经提供了彩色图像的亮度成分和色度成分的画面内预测信息时，画面内预测单元421在步骤S354中确定深度图像的分辨率是否等于彩色图像的亮度成分的分辨率。
当在步骤S354中确定深度图像的分辨率等于彩色图像的亮度成分的分辨率时，处理进行到步骤S355。在步骤S355中，画面内预测单元421基于亮度成分的画面内预测信息，通过使用从加法单元130提供的参考图像对由亮度成分的画面内预测信息表示的最佳帧内预测模式进行画面内预测处理，来生成预测图像。画面内预测单元421给选择单元423提供生成的预测图像，处理进行到步骤S360。
另一方面，当在步骤S354中确定深度图像的分辨率不等于彩色图像的亮度成分的分辨率时，换言之，当深度图像的分辨率等于彩色图像的色度成分的分辨率时，处理进行到步骤S356。
在步骤S356中，画面内预测单元421基于色度成分的画面内预测信息，通过使用从加法单元130提供的参考图像对由色度成分的画面内预测信息表示的最佳帧内预测模式进行画面内预测处理，来生成预测图像。画面内预测单元421给选择单元423提供生成的预测图像，处理进行到步骤S360。
当在步骤S353中确定还没有提供彩色图像的亮度成分和色度成分的画面内预测信息时，换言之，当彩色图像的亮度成分和色度成分的运动信息已经从彩色编码单元401提供给运动补偿单元422时，处理进行到步骤S357。
在步骤S357中，运动补偿单元422确定深度图像的分辨率是否等于彩色图像的亮度成分的分辨率。当在步骤S357中确定深度图像的分辨率等于彩色图像的亮度成分的分辨率时，处理进行到步骤S358。
在步骤S358中，运动补偿单元422基于亮度成分的运动信息以及由运动信息表示的最佳帧间预测模式和运动矢量，通过从帧存储器132读取参考图像来进行运动补偿处理。运动补偿单元422给选择单元423提供所得的预测图像，处理进行到步骤S360。
另一方面，当在步骤S357中确定深度图像的分辨率不等于彩色图像的亮度成分的分辨率时，处理进行到步骤S359。在步骤S359中，运动补偿单元422基于色度成分的运动信息以及由运动信息表示的最佳帧间预测模式和运动矢量，通过从帧存储器132读取参考图像来进行运动补偿处理。运动补偿单元422给选择单元423提供所得的预测图像，处理进行到步骤S360。
由于步骤S360至步骤S362是与图31中的步骤S140至步骤S142相同的处理，因此省略其描述。
在步骤S363中，无损编码单元420进行无损编码处理。具体地，当深度图像的分辨率等于彩色图像的亮度成分的分辨率时，无损编码单元420基于来自量化单元125的系数生成亮度模式有效系数信息。另一方面，当深度图像的分辨率等于彩色图像的色度成分的分辨率时，无损编码单元420基于来自量化单元125的系数生成色度模式有效系数信息。而且，当在亮度模式有效系数信息或色度模式有效系数信息中包含的有效系数标志是1时，无损编码单元420对来自量化单元125的系数进行无损编码。无损编码单元420将经无损编码的系数和亮度模式有效系数信息或色度有效系数信息设置为深度图像的编码流。
在图60的步骤S364中，无损编码单元420给累积缓冲器127提供由于无损编码处理而获得的深度图像的编码流，并在累积缓冲器127中对编码流进行累积。
在步骤S365中，累积缓冲器127给图47中的条带头部编码单元404提供所累积的深度图像的编码流。在步骤S366中，条带头部编码单元404生成图54示出的条带头部，将条带头部添加给深度图像的基于条带的编码流，并将该编码流提供给图46中的生成单元382。
由于步骤S367至步骤S371的处理与图32中的步骤S146至步骤S150的处理相同，因此省略其描述。
图61是描绘了图58中的步骤S333的生成处理的细节的流程图。
在图61的步骤S390中，生成单元382的NAL单元450（图49）生成从编码单元381提供的基准图像的基于条带的编码流的NAL单元、非基准图像的基于条带的编码流的NAL单元和深度图像的基于条带的编码流的NAL单元，并给PPS编码单元451提供NAL单元。
在步骤S391中，PPS编码单元451生成PPS的NAL单元。PPS编码单元451将PPS的NAL单元加到从NAL单元450提供的编码流的NAL单元，并给SPS编码单元452提供NAL单元。
在步骤S392中，SPS编码单元452生成用于基准图像的SPS的NAL单元。在步骤S393中，SPS编码单元452生成用于非基准图像的SPS的NAL单元。在步骤S394中，SPS编码单元452生成用于深度图像的SPS的NAL单元。SPS编码单元452将生成的SPS的NAL单元加到从PPS编码单元451提供的NAL单元，生成并输出多视点图像编码流。然后，处理返回到图58中的步骤S333，处理结束。
以这种方式，编码装置380通过共享编码参数来对彩色图像和深度图像进行编码。因此，降低了在多视点编码流中包含的编码参数的信息量，从而提高了编码效率。而且，在多视点三维图像是静止图像或者是其中相对于相机平行移动的物体的图像的深度方向位置不发生相对变化的图像时，彩色图像和深度图像的运动矢量之间的相关性强。因此，进一步提高了编码效率。
而且，编码装置380以不同的NAL单元类型分别对彩色图像和深度图像的基于图像的编码流进行布置。因此，在对与深度图像不对应的现有二维图像进行解码的解码装置或对两个视点的三维图像进行解码的解码装置中，可以对多视点编码流的部分进行解码。换言之，多视点编码流可以与现有的二维图像的编码流或两个视点的三维图像的编码流具有兼容性。
[解码装置的配置的示例]
图62是示出了对由图46中的编码装置380输出的多视点图像编码流进行解码的解码装置的配置的示例的框图。
在图62示出的配置中，将相同的附图标记分配给与图12相同的配置。适当地省略冗余的描述。
图62中的解码装置470的配置与图12中的配置的不同之处在于，设置了分离单元471和解码单元472-1至解码单元472-N，而不是设置多视点图像解码单元51和图像分离单元52-1至图像分离单元52-N。解码装置470通过使用彩色图像的编码参数对深度图像进行解码。
具体地，解码装置470的分离单元471接收从编码装置380发送的多视点图像编码流。分离单元471将多视点图像编码流分离成相应的NAL单元。分离单元471基于在NAL单元的NAL头部中包含的类型信息，在用于基准图像的SPS的NAL单元、用于非基准图像的SPS的NAL单元、用于深度图像的SPS的NAL单元、PPS的NAL单元、基准图像的基于条带的编码流的NAL单元、非基准图像的基于条带的编码流的NAL单元和深度图像的基于条带的编码流的NAL单元中识别所分离的NAL单元是哪种NAL单元。
分离单元471从基准图像的基于条带的编码流的NAL单元、非基准图像的基于条带的编码流的NAL单元和深度图像的基于条带的编码流的NAL单元提取条带头部。分离单元471基于在条带头部中包含的视点ID，在每个视点处识别基准图像和深度图像的一对基于条带的编码流或者非基准图像和深度图像的一对基于条带的编码流。
分离单元471从用于基准图像的SPS的NAL单元、PPS的NAL单元、基准图像的基于条带的编码流的NAL单元和基准图像的深度图像的基于条带的编码流的NAL单元中提取用于基准图像的SPS、PPS以及基准图像和深度图像的基于条带的编码流，并将其提供给解码单元472-1。
而且，分离单元471在每个视点从该视点的用于非基准图像的SPS的NAL单元、PPS的NAL单元、非基准图像的基于条带的编码流的NAL单元和非基准图像的深度图像的基于条带的编码流的NAL单元中提取用于非基准图像的SPS、PPS以及非基准图像和深度图像的基于条带的编码流。分离单元471给解码单元472-2至解码单元472-N提供在每个视点的用于非基准图像的SPS、PPS以及非基准图像和深度图像的基于条带的编码流。
解码单元472-1基于从分离单元471提供的PPS和用于基准图像的SPS，根据与HEVC方案对应的方案，对从分离单元471提供的基准图像的基于条带的编码流进行解码。而且，解码单元472-1基于基准图像的编码参数以及从分离单元471提供的用于深度图像的SPS和PPS，根据与于HEVC方案对应的方案，对基准图像的深度图像的基于条带的编码流进行解码。解码单元472-1给多视点图像合成单元53提供由于解码而获得的基准图像以及基准图像的深度图像。
解码单元472-2至解码单元472-N的每一个基于从分离单元471提供的用于非基准图像的SPS和PPS，根据与HEVC方案对应的方案，对非基准图像的基于条带的编码流进行解码。在这种情况下，基准图像也被用作参考图像。解码单元472-2至解码单元472-N的每一个基于非基准图像的编码参数以及从分离单元471提供的用于深度图像的SPS和PPS，根据与HEVC方案对应的方案，对非基准图像的深度图像的基于条带的编码流进行解码。在这种情况下，基准图像的深度图像也被用作参考图像。解码单元472-2至解码单元472-N给多视点图像合成单元53提供由于解码而获得的非基准图像以及非基准图像的深度图像。
而且，在下面，当不特别需要区分解码单元472-1至解码单元472-N时，将其统称为解码单元472。
[分离单元的配置的示例]
图63是示出了图62中的分离单元471的配置的示例的框图。
图63中的分离单元471包括：SPS解码单元491、PPS解码单元492和条带头部解码单元493。
分离单元471的SPS解码单元491用作接收单元，对从编码装置380发送的多视点图像编码流进行接收。SPS解码单元491基于在多视点图像编码流的每个NAL单元的NAL头部中包含的类型信息，从多视点图像编码流提取用于基准图像的SPS的NAL单元、用于非基准图像的SPS的NAL单元和用于深度图像的SPS的NAL单元。例如，SPS解码单元491提取具有类型信息是24的NAL头部的NAL单元作为用于非基准图像的SPS的NAL单元。而且，SPS解码单元491提取具有类型信息是25的NAL头部的NAL单元作为用于非基准图像的SPS的NAL单元。
SPS解码单元491从用于基准图像的SPS的NAL单元提取用于基准图像的SPS，并给解码单元472-1提供提取的SPS。而且，SPS解码单元491从用于非基准图像的SPS的NAL单元提取用于非基准图像的SPS，并给解码单元472-2至解码单元472-N提供提取的SPS。而且，SPS解码单元491从用于深度图像的SPS的NAL单元提取用于深度图像的SPS，并给解码单元472-1至解码单元472-N提供提取的SPS。而且，SPS解码单元491给PPS解码单元492提供从其中提取用于基准图像的SPS的NAL单元、用于非基准图像的SPS的NAL单元和用于深度图像的SPS的NAL单元的多视点图像编码流。
PPS解码单元492基于在从SPS解码单元491提供的且从其中提取用于基准图像的SPS、用于非基准图像的SPS和用于深度图像的SPS的NAL单元的多视点图像编码流的每个NAL单元的NAL头部中包含的类型信息，提取PPS的NAL单元。PPS解码单元492从PPS的NAL单元提取PPS，并给解码单元472-1至解码单元472-N提供提取的PPS。而且，PPS解码单元492给条带头部解码单元493提供从其中提取PPS的NAL单元的多视点图像编码流。
条带头部解码单元493用作分离单元，并且基于在从PPS解码单元492提供的且从其中提取PPS的NAL单元的、多视点图像编码流的每个NAL单元的NAL头部中包含的类型信息，来提取基准图像、非基准图像和深度图像的、基于条带的编码流的NAL单元。例如，条带头部解码单元493提取具有类型信息是26的NAL头部的NAL单元作为非基准图像的基于条带的编码流的NAL单元。而且，条带头部解码单元493提取具有类型信息是27的NAL头部的NAL单元作为深度图像的基于条带的编码流的NAL单元。
条带头部解码单元493从基准图像的基于条带的编码流的NAL单元提取基准图像的基于条带的编码流，并从该编码流分离出条带头部。条带头部解码单元493给解码单元472-1提供基准图像的基于条带的编码流以及条带头部。
而且，条带头部解码单元493从非基准图像的基于条带的编码流的NAL单元提取非基准图像的基于条带的编码流，并从该编码流分离出条带头部。基于在条带头部中包含的视点ID，条带头部解码单元493给与视点ID对应的视点的解码单元472提供该条带头部以及已添加该条带头部的非基准图像的基于条带的编码流。
而且，条带头部解码单元493从深度图像的基于条带的编码流的NAL单元提取深度图像的基于条带的编码流，并从该编码流分离出条带头部。基于在条带头部中包含的视点ID，条带头部解码单元493给与视点ID对应的视点的解码单元472提供该条带头部以及已添加该条带头部的深度图像的基于条带的编码流。
[解码单元的配置的示例]
图64是示出了图62中的解码单元472-1的配置的示例的框图。
图64中的解码单元472-1包括：彩色解码单元511和深度解码单元512。
除了不存在深度成分以及将运动信息和画面内信息提供给深度解码单元512外，解码单元472-1的彩色解码单元511与图37中的解码单元250相同。具体地，彩色解码单元511基于从分离单元471提供的用于基准图像的SPS、PPS、条带头部，根据与HEVC方案对应的方案，对从分离单元471提供的基准图像的基于条带的编码流进行解码。而且，彩色解码单元511给深度解码单元512提供运动信息或画面内信息作为在解码中使用的亮度成分和色度成分的编码参数。
深度解码单元512基于从彩色解码单元511提供的运动信息或画面内信息以及从分离单元471提供的用于深度图像的SPS、PPS和条带头部，根据与HEVC方案对应的方案，对从分离单元471提供的基准图像的深度图像的基于条带的编码流进行解码。深度解码单元512给多视点图像合成单元53（图62）提供由于解码而获得的基准图像的深度图像。
而且，尽管省略了附图，但除了彩色解码单元也通过参考基准图像对非基准图像的基于条带的编码流进行解码，以及深度解码单元也通过参考基准图像的深度图像对非基准图像的深度图像的基于条带的编码流进行解码外，解码单元472-2至解码单元472-N的配置与图64中的配置相同。
[深度解码单元的配置的示例]
图65是示出了图64中深度解码单元512的配置的示例的框图。
在图65示出的配置中，将相同的附图标记分配给与图37相同的配置。适当地省略冗余的描述。
图65中的深度解码单元512的配置与图37中的配置的不同之处在于，设置了无损解码单元531、画面内预测单元532、运动补偿单元533和开关534，而不是设置无损解码单元252、画面内预测单元260、运动补偿单元261和开关262。而且，在图65中，为描述方便起见，没有描述从分离单元471提供的用于深度图像的SPS、PPS和条带头部的提供线路，但是，如果必要，在每个单元中也可以包括这些信息。
深度解码单元512的无损解码单元531通过对来自累积缓冲器251的深度图像的编码流进行无损解码来获得经量化的系数。无损解码单元531给逆量化单元253提供经量化的系数。
画面内预测单元532基于在用于深度图像的SPS中包含的分辨率标志，来确定深度图像的分辨率是等于彩色图像的亮度成分的分辨率还是等于色度成分的分辨率。当确定深度图像的分辨率等于彩色图像的亮度成分的分辨率时，画面内预测单元532在从图64中的彩色解码单元511提供的亮度成分和色度成分的各个画面内预测信息中，选择亮度成分的画面内预测信息。画面内预测单元532基于亮度成分的画面内预测信息，通过使用从加法单元255提供的参考图像对由亮度成分的画面内预测信息表示的最佳帧内预测模式进行画面内预测，来生成预测图像。
另一方面，当确定深度图像的分辨率等于彩色图像的色度成分的分辨率时，在从彩色解码单元511提供的亮度成分和色度成分的各个画面内预测信息中选择色度成分的画面内预测信息。画面内预测单元532基于亮度成分的画面内预测信息，通过使用从加法单元255提供的参考图像，对由亮度成分的画面内预测信息表示的最佳帧内预测模式进行画面内预测。来生成预测图像。画面内预测单元532给开关534提供生成的预测图像。
运动补偿单元533基于在用于深度图像的SPS中包含的分辨率标志，确定深度图像的分辨率是等于彩色图像的亮度成分的分辨率还是等于色度成分的分辨率。当确定深度图像的分辨率等于彩色图像的亮度成分的分辨率时，在从彩色解码单元511提供的亮度成分和色度成分的各个运动信息中选择亮度成分的运动信息。运动补偿单元533基于由选择的运动信息表示的最佳帧间预测模式和运动矢量，通过从帧存储器259读取参考图像来进行运动补偿处理。
另一方面，当确定深度图像的分辨率等于彩色图像的色度成分的分辨率时，在从彩色解码单元511提供的亮度成分和色度成分的各个运动信息中选择色度成分的运动信息。运动补偿单元533基于由选择的运动信息表示的最佳帧间预测模式和运动矢量，通过从帧存储器259读取参考图像来进行运动补偿处理。运动补偿单元533给开关534提供所生成的预测图像。
当从画面内预测单元532已经提供了预测图像时，开关534给加法单元255提供预测图像。而且，当从运动补偿单元533已经提供了预测图像时，开关534给加法单元255提供预测图像。
[对解码装置的处理的描述]
图66是描绘了由图62中的解码装置470进行的解码处理的流程图。解码处理开始于例如，当从图46中的编码装置380输入多视点图像编码流时。
在图66的步骤S411中，解码装置470的分离单元471进行分离处理以将多视点图像编码流的每个NAL单元分离。分离处理的细节将在下面参考图67进行描述。
在步骤S412中，解码单元472进行多视点解码处理以对从分离单元471提供的、每个视点的彩色图像和深度图像的基于条带的编码流进行解码。解码单元472给多视点图像合成单元53提供由于多视点解码处理而获得的每个视点的彩色图像和深度图像。
由于步骤S413和步骤S414的处理与图42中的步骤S243和步骤S244的处理相同，所以省略其描述。
图67是描绘了图66中的步骤S411的分离处理的细节的流程图。
在图67的步骤S430中，分离单元471的SPS解码单元491（图63）从由编码装置380发送的多视点图像编码流提取用于基准图像的SPS。具体地，SPS解码单元491基于在多视点图像编码流的每个NAL单元的NAL头部中包含的类型信息，从多视点图像编码流提取用于基准图像的SPS的NAL单元。SPS解码单元491从该NAL单元提取用于基准图像的SPS。SPS解码单元491给解码单元472-1提供用于基准图像的SPS。
在步骤S431中，如用于基准图像的SPS中那样，SPS解码单元491从多视点图像编码流提取用于非基准图像的SPS，给解码单元472-2至解码单元472-N提供用于非基准图像的SPS。
在步骤S432中，如用于基准图像的SPS中那样，SPS解码单元491从多视点图像编码流提取用于深度图像的SPS，给解码单元472-1至解码单元472-N提供用于深度图像的SPS。而且，SPS解码单元491给PPS解码单元492提供多视点图像编码流，从该多视点图像编码流提取用于基准图像的SPS的NAL单元、用于非基准图像的SPS的NAL单元和用于深度图像的SPS的NAL单元。
在步骤S433中，PPS解码单元492从由SPS解码单元491提供的且从其中提取用于基准图像的SPS、用于非基准图像的SPS和用于深度图像的SPS的NAL单元的多视点图像编码流中，提取PPS。具体地，PPS解码单元492基于在从其中提取用于基准图像的SPS、用于非基准图像的SPS和用于深度图像的SPS的NAL单元的多视点图像编码流的、每个NAL单元的NAL头部中包含的类型信息，来提取PPS的NAL单元。PPS解码单元492从PPS的NAL单元提取PPS。PPS解码单元492给解码单元472-1至解码单元472-N提供PPS，给条带头部解码单元493提供从其中提取PPS的NAL单元的多视点图像编码流。
在步骤S434中，条带头部解码单元493从由PPS解码单元492提供的且从其中提取PPS的NAL单元的多视点图像编码流提取基准图像、非基准图像和深度图像的基于条带的编码流。
具体地，条带头部解码单元493基于在从其中提取PPS的NAL单元的多视点图像编码流的每个NAL单元的NAL头部中包含的类型信息，来提取基准图像、非基准图像和深度图像的基于条带的编码流的NAL单元。条带头部解码单元493从基准图像、非基准图像和深度图像的基于条带的编码流的NAL单元提取基准图像、非基准图像和深度图像的基于条带的编码流。
在步骤S435中，条带头部解码单元493从基准图像、非基准图像和深度图像的基于条带的编码流提取条带头部。条带头部解码单元493给解码单元472-1提供基准图像的基于条带的编码流以及条带头部。而且，基于在非基准图像的基于条带的编码流的条带头部中包含的视点ID，条带头部解码单元493给与视点ID对应的视点的解码单元472提供该条带头部和非基准图像的已添加该条带头部的基于条带的编码流。
而且，基于在深度图像的基于条带的编码流的条带头部中包含的视点ID，条带头部解码单元493给与视点ID对应的视点的解码单元472提供该条带头部和深度图像的已添加该条带头部的基于条带的编码流。然后，处理返回到图66的步骤S411，并进行到步骤S412。
图68是描绘了在图66的步骤S412的多视点解码处理中、由图65中的深度解码单元512进行的深度解码处理的细节的流程图。
在图68的步骤S450中，深度解码单元512的累积缓冲器251对从图46中的编码装置380发送的多视点图像编码流进行接收并累积。累积缓冲器251给无损解码单元531提供累积的多视点图像编码流。
在步骤S451中，无损解码单元531进行无损解码处理以对从累积缓冲器251提供的多视点图像编码流进行无损解码。除了不存在系数的深度成分外，无损解码处理与图44的步骤S290至步骤S295和步骤S298的处理相同。
在步骤S452中，逆量化单元253对来自无损解码单元252的经量化的系数进行逆量化，并且给逆正交变换单元254提供所得的系数。
在步骤S453中，逆正交变换单元254对来自逆量化单元253的系数进行逆正交变换，给加法单元255提供作为所得的剩余信息。
在步骤S454中，运动补偿单元533确定是否从图64的彩色解码单元511已经提供了亮度成分和色度成分的运动信息。当在步骤S454中确定已经提供了亮度成分和色度成分的运动信息时，在步骤S455中，运动补偿单元533确定在用于深度图像的SPS中包含的分辨率标志是否是1。
当在步骤S455中确定在用于深度图像的SPS中包含的分辨率标志是1时，在步骤S456中运动补偿单元533在从彩色解码单元511提供的亮度成分和色度成分的各个运动信息中选择亮度成分的运动信息。然后，处理进行到步骤S458。
另一方面，当在步骤S455中确定在用于深度图像的SPS中包含的分辨率标志不是1时，即，当确定在用于深度图像的SPS中包含的分辨率标志是0时，在步骤S457中运动补偿单元533在从彩色解码单元511提供的亮度成分和色度成分的各个运动信息中选择色度成分的运动信息。然后，处理进行到步骤S458。
在步骤S458中，运动补偿单元533基于所选择的亮度成分或色度成分的运动信息，通过从帧存储器259读取参考图像来进行运动补偿处理。运动补偿单元261将由于运动补偿处理而生成的预测图像通过开关534提供给加法单元255，处理进行到步骤S463。
另一方面，当在步骤S454中确定没有提供亮度成分和色度成分的运动信息时，换言之，当将亮度成分和色度成分的画面内预测信息从彩色解码单元511提供给画面内预测单元532时，处理进行到步骤S459。在步骤S459中，画面内预测单元532确定在用于深度图像的SPS中包含的分辨率标志是否是1。
当在步骤S459中确定在用于深度图像的SPS中包含的分辨率标志是1时，在步骤S460中画面内预测单元532在从彩色解码单元511提供的亮度成分和色度成分的各个画面内预测信息中选择亮度成分的画面内预测信息。然后，处理进行到步骤S462。
另一方面，当在步骤S459中确定在用于深度图像的SPS中包含的分辨率标志不是1时，在步骤S461中画面内预测单元532在从彩色解码单元511提供的亮度成分和色度成分的各个画面内预测信息中选择色度成分的画面内预测信息。然后，处理进行到步骤S462。
在步骤S462中，画面内预测单元532通过使用从加法单元255提供的参考图像，对由亮度成分或色度成分的所选择的画面内预测信息表示的最佳帧内预测模式进行画面内预测处理。画面内预测单元260将所得的预测图像通过开关534提供给加法单元255，处理进行到步骤S463。
由于步骤S463至步骤S467的处理与图43中的步骤S268至步骤S272的处理相同，所以省略其描述。
[对可解码图像的描述]
图69是描绘了由对现有的二维图像进行解码的解码装置、对现有的两个视点的三维图像进行解码的解码装置以及图62中的解码装置470可以解码的多视点图像编码流的图。
对现有的二维图像进行解码的解码装置（在下文，称为二维解码装置）对用于基准图像的SPS、PPS和基准图像的基于条带的编码流的NAL单元的类型信息进行识别。因此，如图69所示，二维解码装置可以获得这样的NAL单元，在该NAL单元的NAL头部中包括：7，是用于基准图像的SPS的NAL单元的类型信息；8，是PPS的NAL单元的类型信息；或者1或5，是基准图像的基于条带的编码流的NAL单元的类型信息。因此，二维解码装置可以基于用于基准图像的SPS以及PPS对基准图像的基于条带的编码流进行解码。
另一方面，对现有的两个视点的三维图像进行解码的解码装置（在下文，称为两个视点的三维解码装置）对用于非基准图像的SPS的NAL单元的类型信息和非基准图像的基于条带的编码流的NAL单元的类型信息进行识别，并且对用于基准图像的SPS、PPS和基准图像的基于条带的编码流进行识别。
因此，如图69所示，如在二维解码装置中那样，两个视点的三维解码装置可以获得用于基准图像的SPS的NAL单元、PPS的NAL单元和基准图像的基于条带的编码流的NAL单元。而且，两个视点的三维解码装置可以获得NAL单元，在该NAL单元的NAL头部中包含：24，是用于非基准图像的SPS的NAL单元的类型信息；或26，是非基准图像的基于条带的编码流的NAL单元的类型信息。
因此，如在二维解码装置中那样，两个视点的三维解码装置可以基于用于基准图像的SPS以及PPS，对基准图像的基于条带的编码流进行解码。而且，两个视点的三维解码装置可以基于用于非基准图像的SPS以及PPS，对非基准图像的基于条带的编码流中的一个视点（图69的示例中的视点#2）的非基准图像的基于条带的编码流——在条带头部中包括预定的视点ID——进行解码。
而且如上所述，解码装置470对表示用于基准图像的SPS、用于非基准图像的SPS、用于深度图像的SPS、PPS以及基准图像、非基准图像和深度图像的基于条带的编码流的NAL单元的类型信息进行识别。
因此，如图69所示，如在两个视点的三维解码装置中那样，解码装置470可以获得用于基准图像的SPS的NAL单元、用于非基准图像的SPS的NAL单元、PPS的NAL单元以及基准图像和非基准图像的基于条带的编码流的NAL单元。而且，解码装置470可以获得下述NAL单元，在该NAL单元的NAL头部中包含：25，是用于深度图像的SPS的NAL单元的类型信息；或27，是深度图像的基于条带的编码流的NAL单元的类型信息。
因此，如在二维解码装置中那样，解码装置470可以基于用于基准图像的SPS以及PPS，对基准图像的基于条带的编码流进行解码。因此，解码装置470可以基于用于非基准图像的SPS以及PPS，对N-1个视点的非基准图像的基于条带的编码流进行解码。而且，解码装置470可以基于用于深度图像的SPS以及PPS，对深度图像的基于条带的编码流进行解码。
如上所述，二维解码装置和两个视点的三维解码装置可以对多视点编码流的部分进行解码。因此，多视点图像编码流与现有的二维图像的编码流或两个视点的三维图像的编码流具有兼容性。
此外，由于解码装置470通过共享编码参数对彩色图像和深度图像进行解码，所以解码装置470可以对在其中通过共享编码参数进行编码以提高编码效率的编码流进行解码。
<第四实施方式>
[对可以适用本技术的计算机的描述]
接下来，上述各个系列的处理可以通过硬件来进行并且也可以通过软件来进行。当通过软件来进行各个系列的处理时，构成该软件的程序被安装在通用计算机等上。
图70示出了在其上安装了进行上述各个系列的处理的程序的计算机的实施方式的配置的示例。
可以将程序预先记录在作为嵌入到计算机中的记录介质的存储单元608或只读存储器（ROM）602中。
而且，可以将程序存储（记录）在可移动介质611中。可移动介质611可以作为所谓的套装软件来提供。可移动介质611的示例包括：软盘、光盘只读存储器（CD-ROM）、磁光（MO）盘、数字化视频光盘（DVD）、磁盘和半导体存储器。
此外，替代如上所述将程序从可移动介质611通过驱动器610安装在计算机上，可以通过通信网络或广播网络将程序下载到计算机上并安装在嵌入式存储单元608中。换言之，例如，可以从下载站点经由用于数字卫星广播的人造卫星通过无线方式将程序发送到计算机，或经由网络（例如局域网（LAN）或因特网）通过有线方式将程序发送到计算机。
计算机嵌入有中央处理单元（CPU）601，输入/输出接口605通过总线604连接到CPU601。
当用户通过对输入单元606的操作经由输入/输出接口605输入指令时，CPU601执行存储在ROM602中的程序。可替换地，CPU601将存储在存储单元608中的程序加载到随机存取存储器（RAM）603中，并执行该程序。
以这种方式，CPU601根据上述的流程图或由框图的上述配置进行的处理来执行处理。如果必要，例如，CPU601经由输入/输出接口605从输出单元607输出处理结果，或将处理结果从通信单元609记录到存储单元608。
而且，输入单元606包括键盘、鼠标、麦克风等。而且，输出单元607包括液晶显示器（LCD）或扬声器等。
在本说明书中，计算机根据程序进行的处理不一定以根据流程图中描述的时间序列来执行。换言之，计算机根据程序进行的处理包括并行进行或单独进行的处理（例如，并行处理或以对象的处理）。
而且，程序可以由一台计算机执行，或可以由多台计算机分布式地执行。而且，可以将程序发送到远程计算机并在远程计算机处执行。
可以将本技术应用到当通过网络介质（例如卫星广播、有线电视、因特网和移动电话）接收时或当对存储介质（例如光盘、磁盘和闪存）进行处理时使用的编码装置和解码装置。
而且，可以将上述的编码装置和解码装置应用到任何电子设备。将在下面描述示例。
[电视机装置的配置的示例]
图71示出了应用本技术的电视机装置的示意性的配置。电视机装置900包括：天线901、调谐器902、多路信号分离器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908和外部接口单元909。而且，电视机装置900包括：控制单元910和用户接口单元911。
调谐器902从在天线901中接收的广播波信号中选择期望的频道，进行解调，并将获得的编码比特流输出给多路信号分离器903。
多路信号分离器903从编码比特流中提取待观看的节目的视频或音频分组，并将提取的分组的数据输出给解码器904。此外，多路信号分离器903给控制单元910提供数据分组例如电子节目指南（EPG）等。而且，当进行扰频时，在多路信号分离器等中进行解扰。
解码器904对分组进行解码处理，将通过解码处理而生成的视频数据输出给视频信号处理单元905，并将音频数据输出给音频信号处理单元907。
视频信号处理单元905从视频数据去除噪声，或根据用户设置对视频数据进行视频处理。视频信号处理单元905生成待在显示单元906上显示的节目的视频数据，或通过基于经由网络提供的应用而进行的处理来生成视频数据。而且，视频信号处理单元905生成用于显示菜单画面例如条目选择等的视频数据，并将其叠加到节目的视频数据上。视频信号处理单元905基于以这种方式生成的视频数据来生成驱动信号，并驱动显示单元906。
显示单元906基于来自视频信号处理单元905的驱动信号，通过驱动显示装置（例如，液晶显示装置等）来显示节目的视频等。
音频信号处理单元907对音频数据进行预定的处理（例如噪声去除），对经处理的音频数据进行D/A转换处理或放大处理，并将音频数据提供给扬声器908以输出音频。
外部接口单元909是用于连接到外部设备或网络的接口，其进行视频数据或音频数据的数据发送/接收。
用户接口单元911连接到控制单元910。用户接口单元911包括操作开关或遥控信号接收单元等，其根据用户操作给控制单元910提供操作信号。
使用中央处理单元（CPU）或存储器等配置控制单元910。存储器存储由CPU执行的程序、当CPU进行处理时所需的各种数据、EPG数据、通过网络获得的数据等。在预定的定时例如电视机装置900启动时由CPU对存储在存储器中的程序进行读取和执行。通过执行程序，CPU控制每个单元以使得根据用户操作来操作电视机装置900。
而且，在电视机装置900中，设置了总线912，用于将控制单元910与调谐器902、多路信号分离器903、视频信号处理单元905、音频信号处理单元907和外部接口单元909连接起来。
在如上配置的电视机装置中，在解码器904中提供本发明的解码装置（解码方法）的功能。因此，可以对期望频道的多视点三维图像的、为提高编码效率而进行编码的编码比特流进行解码。
[移动电话的配置的示例]
图72示出了应用本技术的移动电话的示意性的配置。移动电话920包括：通信单元922、音频编解码器923、相机单元926、图像处理单元927、多重分离单元（multiple separation unit）928、记录/再现单元929、显示单元930和控制单元931。这些组成部分通过总线933而相互连接。
而且，天线921连接到通信单元922，扬声器924和麦克风925连接到音频编解码器923。而且，操作单元932连接到控制单元931。
移动电话920以各种模式(例如语音呼叫模式或数据通信模式)进行各种操作，例如音频信号的发送/接收、电子邮件或图像数据的发送/接收、图像拾取或数据记录。
在语音呼叫模式中，音频编解码器923将由麦克风925生成的音频信号转换成音频数据或对其进行数据压缩，并将其提供给通信单元922。通信单元922对音频数据进行调制处理或频率转换处理，并生成发送信号。而且，通信单元922将发送信号提供给天线921，并将发送信号发送给没有示出的基站。而且，通信单元922对在天线921中接收的接收信号进行放大或频率转换处理和解调处理，并给音频编解码器923提供获得的音频数据。音频编解码器923对音频数据进行数据解压或将其转换成模拟音频信号，并将所得数据或信号输出给扬声器924。
而且，在数据通信模式中，当发送电子邮件时，控制单元931接收通过操作操作单元932而输入的字符数据，并将输入的字符显示在显示单元930上。而且，控制单元931基于操作单元932中的用户指令生成电子邮件数据，并给通信单元922提供电子邮件数据。通信单元922对电子邮件数据进行调制处理或频率转换处理，并将获得的发送信号发送给天线921。而且，通信单元922对在天线921中接收的接收信号进行放大或频率转换处理和解调处理，并恢复电子邮件数据。将电子邮件数据提供给显示单元930以显示电子邮件的内容。
而且，移动电话920通过记录/再现单元929可以在记录介质中存储接收的电子邮件数据。记录介质是任何可重写的存储介质。例如，存储介质是可移动介质（例如半导体存储器，诸如RAM或内部闪存、硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡）。
当以数据通信模式发送图像数据时，在相机单元926中生成的图像数据被提供给图像处理单元927。图像处理单元927进行图像数据的编码处理，并生成编码数据。
多路分离单元928根据预定的方案对在图像处理单元927中生成的编码数据和从音频编解码器923提供的音频数据进行复用，并给通信单元922提供复用的数据。通信单元922对复用的数据进行调制处理或频率转换处理，并将获得的发送信号发送给天线921。而且，通信单元922对在天线921中接收的接收信号进行放大或频率转换处理和解调处理，并恢复复用的数据。复用数据被提供给多路分离单元928。多路分离单元928对复用数据进行分离，给图像处理单元927提供编码数据，并给音频编解码器923提供音频数据。图像处理单元927对图像数据进行解码处理，并生成图像数据。图像数据被提供给显示单元930以显示接收的图像的内容。音频编解码器923将音频数据转换成模拟音频信号，并将模拟音频信号提供给扬声器924以输出接收的音频。
在如上配置的移动电话中，在图像处理单元927中提供有本发明的编码装置（编码方法）的功能和解码装置（解码方法）的功能。因此，可以提高在相机单元926中生成的多视点三维图像的图像数据的编码效率，并可以对为提高编码效率而编码的多视点三维图像的编码数据进行接收并解码。
[记录/再现装置的配置的示例]
图73示出了应用本技术的记录/再现装置的示意性的配置。例如，记录/再现装置940将接收的广播节目的音频数据和视频数据记录在记录介质中，并根据用户指令在某一定时为用户提供记录的数据。而且，例如，记录/再现装置940也可以从其他设备获得音频数据或视频数据，并将音频数据或视频数据记录在记录介质中。而且，记录/再现装置940通过对记录在记录介质中的音频数据或视频数据进行解码并输出解码的音频数据或视频数据来在监控设备等中进行图像显示或音频输出。
记录/再现装置940包括：调谐器941、外部接口单元942、编码器943、硬盘驱动（HDD）单元944、盘驱动器945、选择器946、解码器947、屏幕显示（OSD）单元948、控制单元949和用户接口单元950。
调谐器941从没有示出的天线中接收的广播信号，选择期望的频道。调谐器941将通过对期望的频道的接收信号进行解调而获得的编码比特流输出给选择器946。
外部接口单元942配置有IEEE1394接口、网络接口单元、USB接口和闪存接口中的至少一个。外部接口单元942是用于连接外部设备或网络、存储卡等的接口，并对待记录的视频数据或音频数据进行数据接收。
当从外部接口单元942提供的视频数据或音频数据没有被编码时，编码器943根据预定的方案进行编码，并将编码比特流输出给选择器946。
HDD单元944将内容数据（例如视频或音频、各种节目或其他数据）记录在内部硬盘中，并在再现的时候从对应的硬盘读取这些内容数据。
盘驱动器945针对安装的光盘进行信号的记录和再现。光盘的示例包括：DVD盘（DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）或蓝光光盘。
在记录视频或音频的时候，选择器946从调谐器941或编码器943选择编码比特流，并将编码比特流提供给HDD单元944或盘驱动器945。而且，在再现视频或音频的时候，选择器946给解码器947提供从HDD单元944或盘驱动器945输出的编码比特流。
解码器947对编码比特流进行解码处理。解码器947给OSD单元948提供通过进行解码处理而生成的视频数据。而且，解码器947输出通过进行解码处理而生成的音频数据。
OSD单元948生成用于显示菜单画面（例如条目选择）的视频数据，并在将图像数据叠加到从解码器947输出的视频数据上时输出图像数据。
用户接口单元950连接到控制单元949。用户接口单元950包括：操作开关或远程控制信号接收单元等，并根据用户操作给控制单元949提供操作信号。
使用CPU或存储器等来配置控制单元949。存储器存储由CPU执行的程序或当CPU进行处理时所需的各种数据。在预定的定时（例如记录/再现装置940启动时）由CPU对存储在存储器中的程序进行读取并执行。通过执行程序，CPU控制每个单元以使得根据用户操作对记录/再现装置940进行操作。
在如上配置的记录/再现装置中，在编码器943中提供有本发明的编码装置（编码方法）的功能。因此，可以接收多视点三维图像的图像数据并对图像数据进行编码以提高编码效率。而且，给解码器947提供了本发明的解码装置（解码方法）的功能。因此，可以对为提高编码效率而编码的多视点三维图像的编码比特流进行解码并输出。
[图像拾取装置的配置的示例]
图74示出了应用本技术的图像拾取装置的示意性的配置。图像拾取装置960捕获对象，在显示单元上显示对象的图像，或将对象的图像记录在记录介质中作为图像数据。
图像拾取装置960包括：光学块961、图像拾取单元962、相机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970。而且，用户接口单元971连接到控制单元970。而且，图像数据处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970通过总线972连接。
使用聚焦透镜或光圈机构配置光学块961。光学块961在图像拾取单元962的成像平面上形成对象的光学图像。使用CCD或CMOS图像传感器配置图像拾取单元962，图像拾取单元962根据光学图像、通过光电转换来生成电信号，并将电信号提供给相机信号处理单元963。
相机信号处理单元963针对从图像拾取单元962提供的电信号，对各种相机信号进行处理，例如拐点校正器、灰度校正或色彩校正。相机信号处理单元963给图像数据处理单元964提供对其进行相机信号处理的图像数据。
图像数据处理单元964对从图像拾取信号处理单元963提供的图像数据进行编码处理。图像数据处理单元964给外部接口单元966或介质驱动器968提供通过进行编码处理而生成的编码数据。此外，图像数据处理单元964对从外部接口单元966或介质驱动器968提供的编码数据进行解码处理。图像数据处理单元964给显示单元965提供通过进行解码处理而生成的图像数据。此外，图像数据处理单元964给显示单元965提供从相机信号处理单元963提供的图像数据，或当在图像数据上进行叠加时给显示单元965提供从OSD单元969获得的用于显示的数据。
OSD单元969生成用于显示的数据，例如包括符号、字符或数字的菜单画面或图标，并将数据输出给图像数据处理单元964。
例如，外部接口单元966包括USB输入/输出端口，并在打印图像时连接到打印机。而且，如果必要，将驱动器连接到外部接口单元966，并适当地安装可移动介质例如磁盘或光盘。因此，如果必要，对从可移动介质读出的计算机程序进行安装。而且，外部接口单元966包括连接到预定网络（例如LAN或因特网）的网络接口。例如，控制单元970可以根据来自用户接口单元971的指令从存储器单元967读取编码数据，并将编码数据从外部接口单元966提供给通过网络连接的其他设备。而且，控制单元970可以经由外部接口单元966获得通过网络从其他设备提供的编码数据或图像数据，并将编码数据或图像数据提供给图像数据处理单元964。
如在介质驱动器968中驱动的记录介质那样，例如，使用任何可重写的可移动介质，例如磁盘、磁光盘或半导体存储器。而且，记录介质可以是可移动介质、磁带设备、盘或存储卡中的任何类型。当然，介质驱动器968也可以是非接触式IC卡等。
而且，介质驱动器968和记录介质可以被集成，例如，可以由非便携式记录介质（例如内部硬盘驱动器或固态驱动器（SSD））进行配置。
使用CPU或存储器等配置控制单元970。存储器存储由CPU执行的程序或当CPU进行处理时所需的各种数据。在预定的定时例如图像拾取装置960启动时由CPU对存储在存储器中的程序进行读取并执行。通过执行程序，CPU控制每个单元以使得根据用户操作对摄像装置960进行操作。
在上述配置的图像拾取装置中，在图像数据处理单元964中提供有本发明的编码装置（编码方法）的功能和解码装置（解码方法）的功能。因此，可以对由图像拾取单元962捕获的多视点三维图像的图像数据进行编码以提高编码效率，或可以对记录在存储器单元967或记录介质中为提高编码效率而编码的编码数据进行解码。
而且，本技术既可以应用于对彩色图像和深度图像进行编码的编码装置，也可以应用到对除深度图像和彩色图像之外的、与彩色图像相关的图像进行编码的编码装置。
而且，在本说明书中，系统指的是由多个装置配置的整个装置。
而且，本技术的实施方式不限于上述的实施方式，其可以在不偏离本技术的范围的情况下可以做出各种修改。
另外，本技术也可以被配置成如下。
（1）一种编码装置，包括：
设置单元，被配置成以如下方式进行设置：使得在对多视点三维图像的彩色图像和多视点三维图像的深度图像进行编码时使用的编码参数在彩色图像和深度图像中共享；以及
编码单元，被配置成通过使用由设置单元设置的编码参数，对多视点三维图像的彩色图像和多视点三维图像的深度图像进行编码。
（2）根据（1）所述的编码装置，还包括：
成分内复用单元，被配置成通过将彩色图像的色度成分和深度图像复用成一个画面的色度成分，生成成分内复用图像；以及
成分间复用单元，被配置成将彩色图像的亮度成分设置为成分间复用图像的亮度成分，将成分内复用图像设置为成分间复用图像的色度成分，并生成成分间复用图像，
其中，设置单元以如下方式进行设置：使得在由成分间复用单元生成的成分间复用图像的色度成分和亮度成分中共享编码参数，以及
其中，编码单元通过使用由设置单元设置的编码参数，对由成分间复用单元生成的成分间复用图像进行编码。
（3）根据（2）所述的编码装置，其中，彩色图像的亮度成分的分辨率等于或大于所述成分内复用图像的分辨率，并且复用后的深度图像的分辨率等于或大于复用后的彩色图像的色度成分的分辨率。
（4）根据（2）或（3）所述的编码装置，还包括：
像素布置单元，被配置成以如下方式对彩色图像的亮度成分的每个像素进行布置：使得彩色图像的亮度成分的每个像素的位置与成分内复用图像的每个像素的复用前的位置相对应，
其中，成分间复用单元将其中每个像素由像素布置单元进行布置的所述彩色图像的所述亮度成分设置为成分间复用图像的亮度成分，并将成分内复用图像设置为成分间复用图像的色度成分。
（5）根据（2）至（4）中任一项所述的编码装置，
其中，成分内复用单元通过将彩色图像的色度成分布置在成分内复用图像的半区中，并且将深度图像布置在成分内复用图像的另一半区中，来进行复用，以及
其中，编码单元输出位置信息和像素位置信息，该位置信息表示在经编码的成分间复用图像和成分内复用图像的内部的彩色图像的色度成分的位置，该像素位置信息表示在成分内复用图像中所包括的彩色图像的色度成分的每个像素的复用前的位置。
（6）根据（2）至（5）中任一项所述的编码装置，
其中，色度成分的类型是两种类型，
其中，成分内复用单元通过将彩色图像的两种类型的色度成分中的一种类型的色度成分和深度图像的半区中的图像复用成一个画面的一种类型的色度成分，来生成第一成分内复用图像，并通过将彩色图像的另一种类型的色度成分和深度图像的另一半区中的图像复用成一个画面的另外一种类型的色度成分，来生成第二成分内复用图像，以及
其中，成分间复用单元通过将彩色图像的亮度成分设置为成分间复用图像的亮度成分，并将第一成分内复用图像和第二成分内复用图像设置为成分间复用图像的色度成分，来生成成分间复用图像。
（7）根据（2）至（5）中任一项所述的编码装置，
其中，色度成分的类型是两种类型，
其中，成分内复用单元通过将彩色图像的两种类型的色度成分中的一种类型的色度成分和深度图像复用成一个画面的一种类型的色度成分，来生成第一成分内复用图像，并通过将彩色图像的另一种类型的色度成分和深度图像复用成一个画面的另外一种类型的色度成分，来生成第二成分内复用图像，以及
其中，成分间复用单元通过将彩色图像的亮度成分设置为成分间复用图像的亮度成分，并将第一成分内复用图像和第二成分内复用图像设置为成分间复用图像的色度成分，来生成成分间复用图像。
（8）根据（2）至（7）中任一项所述的编码装置，其中，成分内复用图像的分辨率等于复用前的彩色图像的色度成分的分辨率。
（9）根据（1）所述的编码装置，还包括：
成分间复用单元，被配置成通过将彩色图像的色度成分和亮度成分以及深度图像分别设置为成分间复用图像的色度成分、亮度成分以及深度成分，来生成成分间复用图像，
其中，设置单元以如下方式进行设置：使得在由成分间复用单元生成的成分间复用图像的色度成分和深度成分中共享编码参数，以及
其中，编码单元通过使用由设置单元设置的编码参数，对由成分间复用单元生成的成分间复用图像进行编码。
（10）根据（9）所述的编码装置，
其中，设置单元以如下方式进行设置：使得在成分间复用图像的亮度成分、色度成分和深度成分中共享编码参数，以及
其中，编码单元通过使用由设置单元设置的编码参数，对由成分间复用单元生成的成分间复用图像进行编码。
（11）根据（1）所述的编码装置，还包括：
生成单元，被配置成生成第一单元和第二单元，该第一单元包括由于编码单元进行编码而获得的多视点三维图像的彩色图像的编码流以及表示第一类型的信息，所述第二单元包括由于编码单元进行编码而获得的多视点三维图像的深度图像的编码流以及表示与第一类型不同的第二类型的信息。
（12）根据（11）所述的编码装置，还包括：
发送单元，被配置成发送由生成单元生成的第一单元和第二单元，
其中，设置单元以如下方式进行设置：使得在所述深度图像以及与所述深度图像具有相同的分辨率的彩色图像的亮度成分或色度成分中共享编码参数，以及
其中，发送单元发送分辨率信息，该分辨率信息表示深度图像的分辨率是等于彩色图像的亮度成分的分辨率还是等于彩色图像的色度成分的分辨率。
（13）根据（1）至（12）中任一项所述的编码装置，其中，该编码参数是预测模式或运动矢量。
（14）根据（1）至（11）中任一项所述的编码装置，还包括：
发送单元，被配置成发送由设置单元设置的编码参数和由于编码单元进行编码而生成的编码流。
（15）根据（14）所述的编码装置，其中，发送单元将由设置单元设置的编码参数作为编码流的头部发送。
（16）一种用于编码装置的编码方法，包括：
设置步骤，用于以如下方式进行设置：使得在对多视点三维图像的彩色图像和多视点三维图像的深度图像进行编码时使用的编码参数在彩色图像和深度图像中共享；以及
编码步骤，用于通过使用在设置步骤的处理中设置的编码参数，对多视点三维图像的彩色图像和多视点三维图像的深度图像进行编码。
（17）一种解码装置，包括：
接收单元，被配置成接收编码参数和编码流，其中，编码参数被设置成在多视点三维图像的彩色图像和多视点三维图像的深度图像中共享并在对多视点三维图像的彩色图像和多视点三维图像的深度图像进行编码时使用，并且在编码流中，多视点三维图像的彩色图像和多视点三维图像的深度图像已被编码；以及
解码单元，被配置成通过使用由接收单元接收的编码参数，对由接收单元接收的编码流进行解码。
（18）根据（17）所述的解码装置，还包括：
分离单元，被配置成将由于解码单元进行解码而获得的多视点三维图像的彩色图像与由于解码单元进行解码而获得的多视点三维图像的深度图像分离，
其中，编码流是通过对成分间复用图像进行编码而获得的，成分间复用图像通过将成分内复用图像设置为成分间复用图像的色度成分并将彩色图像的亮度成分设置为成分间复用图像的亮度成分而生成，成分内复用图像通过将彩色图像的色度成分和深度图像复用成一个画面的色度成分而生成，
其中，编码参数被设置成在成分间复用图像的色度成分和亮度成分中共享，以及
其中，分离单元将由于解码单元进行解码而获得的成分间复用图像的亮度成分和色度成分分离，并将彩色图像的色度成分和深度图像从成分间复用图像的色度成分分离。
（19）根据（18）所述的解码装置，其中，彩色图像的亮度成分的分辨率等于或大于成分内复用图像的分辨率，并且复用后的深度图像的分辨率等于或大于复用后的彩色图像的色度成分的分辨率。
（20）根据（18）或（19）所述的解码装置，还包括：
像素布置单元，被配置成对由分离单元分离的成分间复用图像的亮度成分的每个像素进行布置，
其中，以如下方式对成分间复用图像的亮度成分的每个像素进行布置：使得每个像素的位置与成分内复用图像的每个像素的复用前的位置相对应，以及
其中，分离单元以如下方式对成分间复用图像的亮度成分的每个像素进行布置：使得成分间复用图像的亮度成分的每个像素的位置变成布置前的位置。
（21）根据（18）至（20）中任一项所述的解码装置，
其中，彩色图像的色度成分被布置在成分内复用图像的半区中，
其中，深度图像被布置在成分内复用图像的另一半区中，以及
其中，接收单元对编码参数、编码流、位置信息和像素位置信息进行接收，该位置信息表示成分内复用图像的彩色图像的色度成分的位置，像素位置信息表示在成分内复用图像中所包括的彩色图像的色度成分的每个像素的复用前的位置。
（22）根据（18）至（21）中任一项所述的解码装置，
其中，色度成分的类型是两种类型，以及
其中，成分间复用图像的色度成分是第一成分内复用图像和第二成分内复用图像，第一成分内复用图像是通过将彩色图像的两种类型的色度成分中的一种类型的色度成分和深度图像的半区中的图像复用成一个画面的一种类型的色度成分而获得的，第二成分内复用图像是通过将彩色图像的另一种类型的色度成分和深度图像的另一半区中的图像复用成一个画面的另外一种类型的色度成分而获得的。
（23）根据（18）至（21）中任一项所述的解码装置，
其中，色度成分的类型是两种类型，以及
其中，成分间复用图像的色度成分是第一成分内复用图像和第二成分内复用图像，第一成分内复用图像是通过将彩色图像的两种类型的色度成分中的一种类型的色度成分和所述深度图像复用成一个画面的一种类型的色度成分而获得的，第二成分内复用图像是通过将彩色图像的另一种类型的色度成分和深度图像复用成一个画面的另外一种类型的色度成分而获得的。
（24）根据（18）至（23）中任一项所述的解码装置，其中，成分内复用图像的分辨率等于复用前的彩色图像的色度成分的分辨率。
（25）根据（17）所述的解码装置，还包括：
分离单元，被配置成将由于解码单元进行解码而获得的多视点三维图像的彩色图像与多视点三维图像的深度图像分离，
其中，该编码流是通过对成分间复用图像进行编码而获得的，成分间复用图像通过将彩色图像的色度成分和亮度成分以及深度图像分别设置为成分间复用图像的色度成分、亮度成分和深度成分而生成，
其中，编码参数被设置成在成分间复用图像的色度成分和深度成分中共享，以及
其中，分离单元将由于所述解码单元进行解码而获得的成分间复用图像的亮度成分、色度成分以及深度成分分离，并生成彩色图像和深度图像，该彩色图像包括成分间复用图像的亮度成分和色度成分作为亮度成分和色度成分，该深度图像包括成分间复用图像的深度成分。
（26）根据（25）所述的解码装置，其中，编码参数被设置成在成分间复用图像的亮度成分、色度成分和深度成分中共享。
（27）根据（17）所述的解码装置，还包括：
分离单元，被配置成将多视点三维图像的彩色图像的编码流和多视点三维图像的深度图像的编码流与由接收单元接收的编码流分离，
其中，接收单元接收第一单元和第二单元，第一单元包括编码参数、多视点三维图像的彩色图像的编码流以及表示第一类型的信息，第二单元包括多视点三维图像的深度图像的编码流以及表示与第一类型不同的第二类型的信息，
其中，分离单元基于表示第一类型的信息将所述第一单元分离，并且基于表示第二类型的信息将第二单元分离，以及
其中，解码单元通过使用编码参数对包括在由分离单元分离的第一单元中的、多视点三维图像的彩色图像的编码流进行解码，并通过使用所述编码参数对包括在由分离单元分离的第二单元中的、多视点三维图像的深度图像的编码流进行解码。
（28）根据（17）所述的解码装置，
其中，接收单元接收分辨率信息，分辨率信息表示深度图像的分辨率是等于彩色图像的亮度成分的分辨率还是等于色度成分的分辨率，以及
其中，解码单元基于由接收单元接收的分辨率信息，通过使用与深度图像具有相同分辨率的彩色图像的亮度成分或色度成分的编码参数，对编码流中的多视点三维图像的深度图像的编码流进行解码。
（29）根据（17）至（28）中任一项所述的解码装置，其中，编码参数是预测模式或运动矢量。
（30）根据（17）至（29）中任一项所述的解码装置，其中，接收单元接收作为编码流的头部的编码参数。
（31）一种用于解码装置的解码方法，包括：
接收步骤，用于接收编码参数和编码流，其中，编码参数被设置为在多视点三维图像的彩色图像和多视点三维图像的深度图像中共享并且在对多视点三维图像的彩色图像和多视点三维图像的深度图像进行编码时使用，并且在编码流中，多视点三维图像的彩色图像和多视点三维图像的深度图像已被编码；以及
解码步骤，用于通过使用在接收步骤的处理中接收的编码参数，对在接收步骤的处理中接收的编码流进行解码。

Claims (31)

1.一种编码装置，包括：
设置单元，被配置成以如下方式进行设置：使得在对多视点三维图像的彩色图像和所述多视点三维图像的深度图像进行编码时使用的编码参数在所述彩色图像和所述深度图像中共享；以及
编码单元，被配置成通过使用由所述设置单元设置的所述编码参数，对所述多视点三维图像的所述彩色图像和所述多视点三维图像的所述深度图像进行编码。
2.根据权利要求1所述的编码装置，还包括：
成分内复用单元，被配置成通过将所述彩色图像的色度成分和所述深度图像复用成一个画面的色度成分，生成成分内复用图像；以及
成分间复用单元，被配置成将所述彩色图像的亮度成分设置为成分间复用图像的亮度成分，将所述成分内复用图像设置为所述成分间复用图像的色度成分，并生成所述成分间复用图像，
其中，所述设置单元以如下方式进行设置：使得在由所述成分间复用单元生成的所述成分间复用图像的色度成分和亮度成分中共享所述编码参数，以及
其中，所述编码单元通过使用由所述设置单元设置的所述编码参数，对由所述成分间复用单元生成的所述成分间复用图像进行编码。
3.根据权利要求2所述的编码装置，其中，所述彩色图像的亮度成分的分辨率等于或大于所述成分内复用图像的分辨率，并且复用后的深度图像的分辨率等于或大于复用后的彩色图像的色度成分的分辨率。
4.根据权利要求3所述的编码装置，还包括：
像素布置单元，被配置成以如下方式对所述彩色图像的亮度成分的每个像素进行布置：使得所述彩色图像的亮度成分的每个像素的位置与所述成分内复用图像的每个像素的复用前的位置相对应，
其中，所述成分间复用单元将其中每个像素由所述像素布置单元进行布置的所述彩色图像的所述亮度成分设置为所述成分间复用图像的亮度成分，并将所述成分内复用图像设置为所述成分间复用图像的色度成分。
5.根据权利要求3所述的编码装置，
其中，所述成分内复用单元通过将所述彩色图像的色度成分布置在所述成分内复用图像的半区中，并且将所述深度图像布置在所述成分内复用图像的另一半区中，来进行复用，以及
其中，所述编码单元输出位置信息和像素位置信息，所述位置信息表示在经编码的成分间复用图像和所述成分内复用图像的内部的彩色图像的色度成分的位置，所述像素位置信息表示在所述成分内复用图像中所包括的所述彩色图像的色度成分的每个像素的复用前的位置。
6.根据权利要求3所述的编码装置，
其中，所述色度成分的类型是两种类型，
其中，所述成分内复用单元通过将所述彩色图像的所述两种类型的色度成分中的一种类型的色度成分和所述深度图像的半区中的图像复用成一个画面的一种类型的色度成分，来生成第一成分内复用图像，并通过将所述彩色图像的另一种类型的色度成分和所述深度图像的另一半区中的图像复用成所述一个画面的另外一种类型的色度成分，来生成第二成分内复用图像，以及
其中，所述成分间复用单元通过将所述彩色图像的亮度成分设置为所述成分间复用图像的亮度成分，并将所述第一成分内复用图像和所述第二成分内复用图像设置为所述成分间复用图像的色度成分，来生成所述成分间复用图像。
7.根据权利要求3所述的编码装置，
其中，所述色度成分的类型是两种类型，
其中，所述成分内复用单元通过将所述彩色图像的所述两种类型的色度成分中的一种类型的色度成分和所述深度图像复用成一个画面的一种类型的色度成分，来生成第一成分内复用图像，并通过将所述彩色图像的另一种类型的色度成分和所述深度图像复用成一个画面的另外一种类型的色度成分，来生成第二成分内复用图像，以及
其中，所述成分间复用单元通过将所述彩色图像的亮度成分设置为所述成分间复用图像的亮度成分，并将所述第一成分内复用图像和所述第二成分内复用图像设置为所述成分间复用图像的色度成分，来生成所述成分间复用图像。
8.根据权利要求3所述的编码装置，其中，所述成分内复用图像的分辨率等于复用前的所述彩色图像的色度成分的分辨率。
9.根据权利要求1所述的编码装置，还包括：
成分间复用单元，被配置成通过将所述彩色图像的色度成分和亮度成分以及所述深度图像分别设置为所述成分间复用图像的色度成分、亮度成分以及深度成分，来生成所述成分间复用图像，
其中，所述设置单元以如下方式进行设置：使得在由所述成分间复用单元生成的所述成分间复用图像的所述色度成分和所述深度成分中共享所述编码参数，以及
其中，所述编码单元通过使用由所述设置单元设置的所述编码参数，对由所述成分间复用单元生成的所述成分间复用图像进行编码。
10.根据权利要求9所述的编码装置，
其中，所述设置单元以如下方式进行设置：使得在所述成分间复用图像的亮度成分、色度成分和深度成分中共享所述编码参数，以及
其中，所述编码单元通过使用由所述设置单元设置的所述编码参数，对由所述成分间复用单元生成的所述成分间复用图像进行编码。
11.根据权利要求1所述的编码装置，还包括：
生成单元，被配置成生成第一单元和第二单元，所述第一单元包括由于所述编码单元进行编码而获得的所述多视点三维图像的所述彩色图像的编码流以及表示第一类型的信息，所述第二单元包括由于所述编码单元进行编码而获得的所述多视点三维图像的所述深度图像的编码流以及表示与所述第一类型不同的第二类型的信息。
12.根据权利要求11所述的编码装置，还包括：
发送单元，被配置成发送由所述生成单元生成的所述第一单元和所述第二单元，
其中，所述设置单元以如下方式进行设置：使得在所述深度图像以及与所述深度图像具有相同的分辨率的彩色图像的亮度成分或色度成分中共享所述编码参数，以及
其中，所述发送单元发送分辨率信息，所述分辨率信息表示所述深度图像的分辨率是等于所述彩色图像的亮度成分的分辨率还是等于所述彩色图像的色度成分的分辨率。
13.根据权利要求1所述的编码装置，其中，所述编码参数是预测模式或运动矢量。
14.根据权利要求1所述的编码装置，还包括：
发送单元，被配置成发送由所述设置单元设置的编码参数和由于所述编码单元进行编码而生成的编码流。
15.根据权利要求14所述的编码装置，其中，所述发送单元将由所述设置单元设置的所述编码参数作为所述编码流的头部发送。
16.一种用于编码装置的编码方法，包括：
设置步骤，用于以如下方式进行设置：使得在对多视点三维图像的彩色图像和所述多视点三维图像的深度图像进行编码时使用的编码参数在所述彩色图像和所述深度图像中共享；以及
编码步骤，用于通过使用在所述设置步骤的处理中设置的所述编码参数，对所述多视点三维图像的所述彩色图像和所述多视点三维图像的所述深度图像进行编码。
17.一种解码装置，包括：
接收单元，被配置成接收编码参数和编码流，其中，所述编码参数被设置成在多视点三维图像的彩色图像和所述多视点三维图像的深度图像中共享并在对所述多视点三维图像的所述彩色图像和所述多视点三维图像的所述深度图像进行编码时使用，并且在所述编码流中，所述多视点三维图像的所述彩色图像和所述多视点三维图像的所述深度图像已被编码；以及
解码单元，被配置成通过使用由所述接收单元接收的所述编码参数，对由所述接收单元接收的所述编码流进行解码。
18.根据权利要求17所述的解码装置，还包括：
分离单元，被配置成将由于所述解码单元进行解码而获得的所述多视点三维图像的所述彩色图像与由于所述解码单元进行解码而获得的所述多视点三维图像的所述深度图像分离，
其中，所述编码流是通过对所述成分间复用图像进行编码而获得的，所述成分间复用图像通过将成分内复用图像设置为所述成分间复用图像的色度成分并将所述彩色图像的亮度成分设置为所述成分间复用图像的亮度成分而生成，所述成分内复用图像通过将所述彩色图像的色度成分和所述深度图像复用成一个画面的色度成分而生成，
其中，所述编码参数被设置成在所述成分间复用图像的色度成分和亮度成分中共享，以及
其中，所述分离单元将由于所述解码单元进行解码而获得的所述成分间复用图像的亮度成分和色度成分分离，并将所述彩色图像的所述色度成分和所述深度图像从所述成分间复用图像的所述色度成分分离。
19.根据权利要求18所述的解码装置，其中，所述彩色图像的亮度成分的分辨率等于或大于所述成分内复用图像的分辨率，并且复用后的深度图像的分辨率等于或大于复用后的彩色图像的色度成分的分辨率。
20.根据权利要求19所述的解码装置，还包括：
像素布置单元，被配置成对由所述分离单元分离的所述成分间复用图像的亮度成分的每个像素进行布置，
其中，以如下方式对所述成分间复用图像的亮度成分的每个像素进行布置：使得每个像素的位置与所述成分内复用图像的每个像素的复用前的位置相对应，以及
其中，所述分离单元以如下方式对所述成分间复用图像的亮度成分的每个像素进行布置：使得所述成分间复用图像的亮度成分的每个像素的位置变成布置前的位置。
21.根据权利要求19所述的解码装置，
其中，所述彩色图像的色度成分被布置在所述成分内复用图像的半区中，
其中，所述深度图像被布置在所述成分内复用图像的另一半区中，以及
其中，所述接收单元接收所述编码参数、所述编码流、位置信息和像素位置信息，所述位置信息表示所述成分内复用图像的所述彩色图像的色度成分的位置，所述像素位置信息表示在所述成分内复用图像中所包括的所述彩色图像的色度成分的每个像素的复用前的位置。
22.根据权利要求19所述的解码装置，
其中，所述色度成分的类型是两种类型，以及
其中，所述成分间复用图像的色度成分是第一成分内复用图像和第二成分内复用图像，所述第一成分内复用图像是通过将所述彩色图像的所述两种类型的色度成分中的一种类型的色度成分和所述深度图像的半区中的图像复用成一个画面的一种类型的色度成分而获得的，所述第二成分内复用图像是通过将所述彩色图像的另一种类型的色度成分和所述深度图像的另一半区中的图像复用成所述一个画面的另外一种类型的色度成分而获得的。
23.根据权利要求19所述的解码装置，
其中，所述色度成分的类型是两种类型，以及
其中，所述成分间复用图像的所述色度成分是第一成分内复用图像和第二成分内复用图像，所述第一成分内复用图像是通过将所述彩色图像的所述两种类型的色度成分中的一种类型的色度成分和所述深度图像复用成一个画面的一种类型的色度成分而获得的，所述第二成分内复用图像是通过将所述彩色图像的另一种类型的色度成分和所述深度图像复用成所述一个画面的另外一种类型的色度成分而获得的。
24.根据权利要求19所述的解码装置，其中，所述成分内复用图像的分辨率等于复用前的所述彩色图像的色度成分的分辨率。
25.根据权利要求17所述的解码装置，还包括：
分离单元，被配置成将由于所述解码单元进行解码而获得的所述多视点三维图像的彩色图像与所述多视点三维图像的深度图像分离，
其中，所述编码流是通过对所述成分间复用图像进行编码而获得的，所述成分间复用图像通过将所述彩色图像的色度成分和亮度成分以及所述深度图像分别设置为所述成分间复用图像的色度成分、亮度成分和深度成分而生成，
其中，所述编码参数被设置成在所述成分间复用图像的所述色度成分和所述深度成分中共享，以及
其中，所述分离单元将由于所述解码单元进行解码而获得的所述成分间复用图像的亮度成分、色度成分以及深度成分分离，并生成所述彩色图像和所述深度图像，该彩色图像包括所述成分间复用图像的亮度成分和色度成分作为亮度成分和色度成分，该深度图像包括所述成分间复用图像的深度成分。
26.根据权利要求25所述的解码装置，其中，所述编码参数被设置成在所述成分间复用图像的亮度成分、色度成分和深度成分中共享。
27.根据权利要求17所述的解码装置，还包括：
分离单元，被配置成将所述多视点三维图像的彩色图像的编码流和所述多视点三维图像的深度图像的编码流与由所述接收单元接收的所述编码流分离，
其中，所述接收单元接收第一单元和第二单元，所述第一单元包括所述编码参数、所述多视点三维图像的彩色图像的编码流以及表示第一类型的信息，所述第二单元包括所述多视点三维图像的深度图像的编码流以及表示与所述第一类型不同的第二类型的信息，
其中，所述分离单元基于表示所述第一类型的所述信息将所述第一单元分离，并且基于表示所述第二类型的所述信息将所述第二单元分离，以及
其中，所述解码单元通过使用所述编码参数对包括在由所述分离单元分离的所述第一单元中的、所述多视点三维图像的彩色图像的所述编码流进行解码，并通过使用所述编码参数对包括在由所述分离单元分离的所述第二单元中的、所述多视点三维图像的深度图像的编码流进行解码。
28.根据权利要求17所述的解码装置，
其中，所述接收单元接收分辨率信息，所述分辨率信息表示所述深度图像的分辨率是等于所述彩色图像的亮度成分的分辨率还是等于色度成分的分辨率，以及
其中，所述解码单元基于由所述接收单元接收的所述分辨率信息，通过使用与所述深度图像具有相同分辨率的所述彩色图像的亮度成分或色度成分的所述编码参数，对所述编码流中的所述多视点三维图像的所述深度图像的所述编码流进行解码。
29.根据权利要求17所述的解码装置，其中，所述编码参数是预测模式或运动矢量。
30.根据权利要求17所述的解码装置，其中，所述接收单元接收作为所述编码流的头部的所述编码参数。
31.一种用于解码装置的解码方法，包括：
接收步骤，用于接收编码参数和编码流，其中，所述编码参数被设置为在多视点三维图像的彩色图像和所述多视点三维图像的深度图像中共享并且在对所述多视点三维图像的所述彩色图像和所述多视点三维图像的所述深度图像进行编码时使用，并且在所述编码流中，所述多视点三维图像的所述彩色图像和所述多视点三维图像的所述深度图像已被编码；以及
解码步骤，用于通过使用在所述接收步骤的处理中接收的所述编码参数，对在所述接收步骤的处理中接收的所述编码流进行解码。
CN2011800550434A 2010-11-22 2011-11-18 编码装置和编码方法、以及解码装置和解码方法 Pending CN103202019A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2010259943 2010-11-22
JP2010-259943 2010-11-22
JP2011-188816 2011-08-31
JP2011188816 2011-08-31
PCT/JP2011/076699 WO2012070500A1 (ja) 2010-11-22 2011-11-18 符号化装置および符号化方法、並びに、復号装置および復号方法

Publications (1)

Publication Number Publication Date
CN103202019A true CN103202019A (zh) 2013-07-10

Family

ID=46145842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800550434A Pending CN103202019A (zh) 2010-11-22 2011-11-18 编码装置和编码方法、以及解码装置和解码方法

Country Status (4)

Country Link
US (1) US20130329008A1 (zh)
JP (1) JPWO2012070500A1 (zh)
CN (1) CN103202019A (zh)
WO (1) WO2012070500A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012147740A1 (ja) * 2011-04-25 2012-11-01 シャープ株式会社 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
KR20130098122A (ko) * 2012-02-27 2013-09-04 세종대학교산학협력단 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법
WO2013129822A1 (ko) * 2012-02-27 2013-09-06 세종대학교산학협력단 영상 부호화와 복호화 장치 및 영상을 부호화와 복호화하는 방법
TWI630815B (zh) 2012-06-14 2018-07-21 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
CN104509114A (zh) * 2012-07-09 2015-04-08 日本电信电话株式会社 动图像编码方法、动图像解码方法、动图像编码装置、动图像解码装置、动图像编码程序、动图像解码程序以及记录介质
US9544612B2 (en) 2012-10-04 2017-01-10 Intel Corporation Prediction parameter inheritance for 3D video coding
ITTO20130503A1 (it) * 2013-06-18 2014-12-19 Sisvel Technology Srl Metodo e dispositivo per la generazione, memorizzazione, trasmissione, ricezione e riproduzione di mappe di profondita¿ sfruttando le componenti di colore di un¿immagine facente parte di un flusso video tridimensionale
US9355468B2 (en) * 2013-09-27 2016-05-31 Nvidia Corporation System, method, and computer program product for joint color and depth encoding
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
US9319576B2 (en) 2014-01-29 2016-04-19 Google Technology Holdings LLC Multi-processor support for array imagers
US10283091B2 (en) * 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization
US20160277751A1 (en) * 2015-03-19 2016-09-22 Patrick J. Sweeney Packaging/mux and unpackaging/demux of geometric data together with video data
US10187655B2 (en) * 2015-09-30 2019-01-22 Apple Inc. Memory-to-memory low resolution motion estimation systems and methods
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing
CN109168000B (zh) * 2018-10-09 2021-02-12 北京佳讯飞鸿电气股份有限公司 一种基于rc预测的hevc帧内预测快速算法
US11259006B1 (en) 2019-01-08 2022-02-22 Avegant Corp. Encoded depth data for display
US10757410B1 (en) * 2019-07-26 2020-08-25 Google Llc Spatially adaptive video compression for multiple streams of color and depth

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036800A (ja) * 2005-07-28 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2010010521A2 (en) * 2008-07-24 2010-01-28 Koninklijke Philips Electronics N.V. Versatile 3-d picture format
CN101641954A (zh) * 2007-03-23 2010-02-03 Lg电子株式会社 用于解码/编码视频信号的方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2193661A4 (en) * 2007-06-27 2011-10-19 Thomson Licensing METHOD AND APPARATUS FOR ENCODING AND / OR DECODING VIDEO DATA USING RESIDUAL PREDICTION OF IMPROVING LAYER FOR SCALABILITY OF BINARY DEPTH
WO2009011492A1 (en) * 2007-07-13 2009-01-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image
WO2009091383A2 (en) * 2008-01-11 2009-07-23 Thomson Licensing Video and depth coding
JP5195032B2 (ja) * 2008-05-28 2013-05-08 富士通株式会社 符号化装置／復号化装置、符号化方法／復号化方法及びプログラム
KR101636539B1 (ko) * 2009-09-10 2016-07-05 삼성전자주식회사 입체영상 압축 처리 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036800A (ja) * 2005-07-28 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN101641954A (zh) * 2007-03-23 2010-02-03 Lg电子株式会社 用于解码/编码视频信号的方法和装置
WO2010010521A2 (en) * 2008-07-24 2010-01-28 Koninklijke Philips Electronics N.V. Versatile 3-d picture format

Also Published As

Publication number Publication date
WO2012070500A1 (ja) 2012-05-31
JPWO2012070500A1 (ja) 2014-05-19
US20130329008A1 (en) 2013-12-12

Similar Documents

Publication Publication Date Title
CN103202019A (zh) 编码装置和编码方法、以及解码装置和解码方法
JP6580648B2 (ja) 画像処理装置および記録媒体
KR101768857B1 (ko) 다시야 비디오 코딩에서 로우 다이내믹 레인지 이미지들로부터 하이 다이내믹 레인지 이미지들의 생성
TWI595776B (zh) Image processing device and method
US20190313095A1 (en) Image processing apparatus and image processing method
WO2012147621A1 (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
CN103583045A (zh) 图像处理装置以及图像处理方法
WO2013031575A1 (ja) 画像処理装置および画像処理方法
CN105915908A (zh) 图像处理装置和图像处理方法
CN105874801B (zh) 解码设备和解码方法、以及编码设备和编码方法
CN105594208A (zh) 解码装置、解码方法、编码装置以及编码方法
JP6891895B2 (ja) 画像処理装置および画像処理方法
WO2013115024A1 (ja) 画像処理装置および画像処理方法
CN107113443A (zh) 影像处理设备和影像处理方法
CN107920243B (zh) 解码装置和编码装置
CN104584551A (zh) 解码装置、解码方法、编码装置以及编码方法
CN105659609A (zh) 图像处理设备和方法
WO2013031573A1 (ja) 符号化装置および符号化方法、復号装置および復号方法
TWI545935B (zh) Encoding apparatus and an encoding method, a decoding apparatus and decoding method
CN104838655A (zh) 编码设备和编码方法、及解码设备和解码方法
WO2013154029A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130710