CN103748883B

CN103748883B - 编码设备、编码方法、解码设备和解码方法

Info

Publication number: CN103748883B
Application number: CN201280040938.5A
Authority: CN
Inventors: 高桥良知
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-08-31
Filing date: 2012-08-21
Publication date: 2017-12-15
Anticipated expiration: 2032-08-21
Also published as: MX2014002066A; AU2012303085A1; RU2016120771A; MX338738B; ZA201400565B; EP2753080A4; RU2597256C2; MX358407B; CA2842150A1; US20140198847A1; KR20140057269A; CN103748883A; RU2014106532A; US9900595B2; WO2013031573A1; EP2753080A1; BR112014004062A2

Abstract

本技术涉及一种编码设备、编码方法、解码设备以及解码方法，其能够使用关于视差图像的信息来提高视差图像的编码效率。校正单元使用关于基准视点的视差图像的信息来校正基准视点的视差图像的估计图像。算数运算单元使用经校正的估计图像对基准视点的视差图像进行编码。发送经编码的基准视点的视差图像和关于基准视点的视差图像的信息。例如，本技术可以应用于视差图像编码设备。

Description

编码设备、编码方法、解码设备和解码方法

技术领域

本技术涉及一种编码设备、编码方法、解码设备以及解码方法，并且更具体地涉及一种能够使用关于视差图像的信息来提高视差图像的编码效率的编码设备、编码方法、解码设备以及解码方法。

背景技术

近年来，3D图像受到关注，并且提出了一种对用于生成多视点3D图像的视差图像进行编码的方法(例如，参见非专利文献1)。应当注意的是，视差图像是包括对应于该视差图像的视点的彩色图像的每个像素以及视差值的图像，该视差值表示作为与该像素相对应的基点的视点的彩色图像的像素在画面上的位置在水平方向上的距离。

为了与AVC(高级视频编码)方法相比进一步提高编码效率，目前正在对被称为HEVC(高效视频编码)的编码方法进行标准化，并且非专利文献2已于2011年8月今日作为草案出版。

引文列表

非专利文献

[非专利文献1]“Call for Proposals on 3D Video Coding Technology”,ISO/IEC JTC1/SC29/WG11,MPEG2011/N12036,日内瓦,瑞士,2011年3月

[非专利文献2]Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-RainerOhm,Gary J.Sullivian，“WD3:Working Draft 3of High-Efficiency Video Coding”,JCTVC-E603_d5(version5),2011年5月20日

发明内容

发明要解决的问题

然而，还没有产生使用关于视差图像的信息来提高视差图像的编码效率的方法。

本技术是鉴于这种情形作出的，并且本技术使得能够使用关于视差图像的信息来提高视差图像的编码效率。

问题的解决方案

本技术的第一方面的编码设备是这样的编码设备，其包括：校正单元，被配置成使用关于基准视点的视差图像的信息来校正基准视点的视差图像的预测图像；编码单元，被配置成使用由校正单元校正的预测图像对基准视点的视差图像进行编码；以及发送单元，被配置成发送由编码单元编码的基准视点的视差图像以及关于基准视点的视差图像的信息。

本技术的第一方面的编码方法对应于本技术的第一方面的编码设备。

在本技术的第一方面中，使用关于基准视点的视差图像的信息来校正基准视点的视差图像的预测图像，并且使用经校正的预测图像对基准视点的视差图像进行编码，并且发送经编码的基准视点的视差图像以及关于基准视点的视差图像的信息。

本技术的第二方面的解码设备是这样的解码设备，其包括：接收单元，被配置成接收使用基准视点的视差图像的预测图像编码的基准视点的视差图像以及关于基准视点的视差图像的信息，其中该预测图像是使用关于基准视点的视差图像的信息校正的；校正单元，被配置成使用由接收单元接收的关于基准视点的视差图像的信息来校正基准视点的视差图像的预测图像；以及解码单元，被配置成使用由校正单元校正的预测图像对由接收单元接收的经编码的基准视点的视差图像进行解码。

本技术的第二方面的解码方法对应于本技术的第二方面的解码设备。

在本技术的第二方面中，接收使用基准视点的视差图像的预测图像编码的基准视点的视差图像以及关于基准视点的视差图像的信息，其中该预测图像是使用关于基准视点的视差图像的信息校正的；使用所接收的关于基准视点的视差图像的信息来校正基准视点的视差图像的预测图像；以及使用经校正的预测图像对经编码的基准视点的视差图像进行解码。

应当注意的是，可以通过使计算机执行程序来实现第一方面的编码设备和第二方面的解码设备。

为了实现第一方面的编码设备和第二方面的解码设备，可以通过经由传输介质传输或者将程序记录到记录介质，来提供由计算机执行的程序。

发明的效果

根据本技术的第一方面，可以通过使用关于视差图像的信息来提高视差图像的编码效率。

根据本技术的第二方面，可以对视差图像的编码数据进行解码，其中该编码数据的编码效率通过使用关于视差图像的信息进行编码而被提高。

附图说明

图1是示出应用了本技术的编码设备的第一实施方式的配置示例的框图。

图2是说明视点生成信息的视差最大值和视差最小值的曲线图。

图3是说明视点生成信息的视差准确度参数的图。

图4是说明视点生成信息的摄像机间距离的图。

图5是示出图1的多视点图像编码单元的配置示例的框图。

图6是示出编码单元的配置示例的框图。

图7是示出编码比特流的配置示例的图。

图8是示出图7的PPS的语法示例的图。

图9是示出切片报头的语法示例的图。

图10是示出切片报头的语法示例的图。

图11是说明图1的编码设备的编码处理的流程图。

图12是说明图11的多视点编码处理的细节的流程图。

图13是说明图12的视差图像编码处理的细节的流程图。

图14是说明图12的视差图像编码处理的细节的流程图。

图15是示出应用了本技术的解码设备的第一实施方式的配置示例的框图。

图16是示出图15的多视点图像解码单元的配置示例的框图。

图17是示出解码单元的配置示例的框图。

图18是说明图15的解码设备150的解码处理的流程图。

图19是说明图18的多视点解码处理的细节的流程图。

图20是说明图16的视差图像解码处理的细节的流程图。

图21是说明用于对预测图像进行校正的信息的发送方法的表。

图22是示出根据第二发送方法的编码比特流的配置示例的图。

图23是示出根据第三发送方法的编码比特流的配置示例的图。

图24是示出计算机的实施方式的配置示例的框图。

图25是示出应用了本技术的电视设备的示意性配置示例的图。

图26是示出应用了本技术的便携式电话的示意性配置示例的图。

图27是示出应用了本技术的记录/再现设备的示意性配置示例的图。

图28是示出应用了本技术的图像拍摄设备的示意性配置示例的图。

具体实施方式

<第一实施方式>

[编码设备的第一实施方式的配置示例]

图1的编码设备50包括多视点彩色图像图像拍摄单元51、多视点彩色图像校正单元52、多视点视差图像生成单元53、视点生成信息生成单元54以及多视点图像编码单元55。

编码设备50使用关于视差图像的信息对预定视点的视差图像进行编码。

更具体地，编码设备50的多视点彩色图像图像拍摄单元51拍摄多视点的彩色图像，并且将其作为多视点彩色图像提供给多视点彩色图像校正单元52。多视点彩色图像图像拍摄单元51生成外部参数、视差最大值以及视差最小值(下文将描述其细节)。多视点彩色图像图像拍摄单元51将外部参数、视差最大值以及视差最小值提供给视点生成信息生成单元54，并且将视差最大值和视差最小值提供给多视点视差图像生成单元53。

应当注意的是，外部参数是用于限定多视点彩色图像图像拍摄单元51在水平方向上的位置的参数。视差最大值和视差最小值分别是可以在多视点视差图像中出现的、世界坐标中的视差值的最大值和最小值。

多视点彩色图像校正单元52对从多视点彩色图像图像拍摄单元51提供的多视点彩色图像进行色彩校正、亮度校正、失真校正等。因此，多视点彩色图像图像拍摄单元51在校正后的多视点彩色图像中在水平方向(X方向)上的焦距在所有的视点处是相同的。多视点彩色图像校正单元52将校正后的多视点彩色图像作为多视点校正彩色图像提供给多视点视差图像生成单元53和多视点图像编码单元55。

多视点视差图像生成单元53基于从多视点彩色图像图像拍摄单元51提供的视差最大值和视差最小值来根据由多视点彩色图像校正单元52提供的多视点校正彩色图像生成多视点视差图像。更具体地，多视点视差图像生成单元53根据多个视点(基准视点)中的每个视点的多视点校正彩色图像得到每个像素的视差值，并且基于视差最大值和视差最小值来对视差值进行规范化。然后，多视点视差图像生成单元53生成下述视差图像，在该视差图像中，每个经规范化的像素的视差值是多个视点中的每个视点的每个像素的像素值。

多视点视差图像生成单元53将所生成的多视点视差图像作为多视点视差图像提供给多视点图像编码单元55。此外，多视点视差图像生成单元53生成表示多视点视差图像的像素值的准确度的视差准确度参数，并且将该视差准确度参数提供给视点生成信息生成单元54。

视点生成信息生成单元54使用多视点校正彩色图像和视差图像生成用于生成与该多视点不同的视点的彩色图像的视点生成信息(视点生成信息)。更具体地，视点生成信息生成单元54基于由多视点彩色图像图像拍摄单元51提供的外部参数来获得摄像机间距离。摄像机间距离是当多视点彩色图像图像拍摄单元51在多视点视差图像的每个视点处拍摄彩色图像时多视点彩色图像图像拍摄单元51在水平方向上的位置和当多视点彩色图像图像拍摄单元51拍摄相对于因此拍摄的彩色图像具有与视差图像相对应的视差的彩色图像时多视点彩色图像图像拍摄单元51在水平方向上的位置之间的距离。

视点生成信息生成单元54采用由多视点彩色图像图像拍摄单元51提供的视差最大值和视差最小值、摄像机间距离以及由多视点视差图像生成单元53提供的视差准确度参数，作为视点生成信息。视点生成信息生成单元54将所生成的视点生成信息提供给多视点图像编码单元55。

多视点图像编码单元55根据HEVC方法对从多视点彩色图像校正单元52提供的多视点校正彩色图像进行编码。多视点图像编码单元55通过使用由视点生成信息生成单元54提供的视点生成信息中的视差最大值、视差最小值以及摄像机间距离作为关于视差的信息，根据基于HEVC方法的方法，对由多视点视差图像生成单元53提供的多视点视差图像进行编码。

多视点图像编码单元55对由视点生成信息生成单元54提供的视点生成信息中的视差最大值、视差最小值以及摄像机间距离进行差分编码，并且使这种信息被包括在关于多视点视差图像的编码的信息(编码参数)中。然后，多视点图像编码单元55将包括下述项的比特流作为编码比特流发送：经编码的多视点校正彩色图像和经编码的多视点视差图像、经差分编码的视差最大值和经差分编码的视差最小值以及经差分编码的摄像机间距离、由视点生成信息生成单元54提供的视差准确度参数等。

如上所述，多视点图像编码单元55对视差最大值、视差最小值以及摄像机间距离进行差分编码和发送，并且因此能够减少视点生成信息的代码量。为了提供舒适的3D图像，不太可能很大地改变画面间的视差最大值、视差最小值以及摄像机间距离，并且因此差分编码对于减少代码量是有效的。

在编码设备50中，根据多视点校正彩色图像来生成多视点视差图像，但是也可以在对多视点彩色图像进行图像拍摄期间通过传感器检测视差值来生成多视点视差图像。

[关于视点生成信息的说明]

在图2中，横轴表示非规范化的视差值，纵轴表示视差图像的像素值。

如图2所示，例如，多视点视差图像生成单元53使用视差最小值Dmin和视差最大值Dmax将每个像素的视差值规范化为0至255的值。然后，多视点视差图像生成单元53生成下述视差图像，在该视差图像中，经规范化的像素中的每个像素的具有0至255的值的视差值是像素值。

更具体地，视差图像的每个像素的像素值I通过下述等式(1)由像素的非规范化的视差值d、视差最小值Dmin以及视差最大值Dmax表示。

[等式1]

因此，根据下述等式(2)，后述的解码设备需要使用视差最小值Dmin和视差最大值Dmax根据视差图像的每个像素的像素值I来恢复非规范化的视差值d。

[等式2]

因此，视差最小值Dmin和视差最大值Dmax被发送给解码设备。

图3是说明视点生成信息的视差准确度参数的图。

如图3的上行所示，在每个经规范化的视差值1的非规范化视差值为0.5的情形下，视差准确度参数表示视差值的准确度为0.5。如图3的下行所示，在每个经规范化的视差值1的非规范化视差值为1的情况下，视差准确度参数表示视差值的准确度为1.0。

在图3的示例中，在作为第一视点的视点#1处非规范化视差值为1.0并且在作为第二视点的视点#2处非规范化视差值为0.5。因此，虽然视差值的准确度为0.5或1.0，但是视点#1的经规范化的视差值为1.0。另一方面，在视差值的准确度为0.5的情况下视点#2的视差值为0.5，当视差值的准确度为1.0的情况下视点#2的视差值为零。

图4是说明视点生成信息的摄像机间距离的图。

如图4所示，相对于视点#2，视点#1的视差图像的摄像机间距离是在由视点#1的外部参数所表示的位置和由视点#2的外部参数所表示的位置之间的距离。

[多视点图像编码单元的配置示例]

图5是示出图1的多视点图像编码单元55的配置示例的框图。

图5的多视点图像编码单元55包括切片编码单元61、切片报头编码单元62、PPS编码单元63以及SPS编码单元64。

多视点图像编码单元55的切片编码单元61根据HEVC方法以切片为单位来对由多视点彩色图像校正单元52提供的多视点校正彩色图像进行编码。切片编码单元61通过使用由图1的视点生成信息生成单元54所提供的视点生成信息中的视差最大值、视差最小值以及摄像机间距离作为关于视差的信息，根据基于HEVC方法的方法以切片为单位对由多视点视差图像生成单元53提供的多视点视差图像进行编码。切片编码单元61将作为编码结果获得的以切片为单位的编码数据等提供给切片报头编码单元62。

切片报头编码单元62确定由视点生成信息生成单元54提供的视点生成信息中的视差最大值、视差最小值以及摄像机间距离是当前处理目标的切片的视差最大值、视差最小值以及摄像机间距离，并且保存它们。

切片报头编码单元62还确定当前处理目标的切片的视差最大值、视差最小值以及摄像机间距离是否分别与按照编码顺序相对于当前切片的前一切片的视差最大值、视差最小值以及摄像机间距离相同，并且在被给以相同PPS的单元中(在下文中称作为相同的PPS单元)进行这种确定。

然后，当确定构成相同的PPS单元的切片的视差最大值、视差最小值以及摄像机间距离全部都与按照编码顺序的前一切片的视差最大值、视差最小值以及摄像机间距离相同时，切片报头编码单元62添加不同于该切片的视差最大值、视差最小值以及摄像机间距离的关于编码的信息作为构成相同的PPS单元的每个切片的编码数据的切片报头，并且将该信息提供给PPS编码单元63。切片报头编码单元62向PPS编码单元63提供发送标记，该发送标记指示不存在对视差最大值、视差最小值以及摄像机间距离的差分编码结果的发送。

另一方面，当确定构成相同的PPS单元的至少一个切片的视差最大值、视差最小值以及摄像机间距离不是全部都与按照编码顺序的前一切片的视差最大值、视差最小值以及摄像机间距离相同时，切片报头编码单元62将包括该切片的视差最大值、视差最小值以及摄像机间距离的关于编码有关的信息作为切片报头添加到帧内类型切片的编码数据，并且将信息提供给PPS编码单元63。

切片报头编码单元62对帧间类型切片的视差最大值、视差最小值以及摄像机间距离进行差分编码。更具体地，切片报头编码单元62分别从帧间类型切片的视差最大值、视差最小值以及摄像机间距离减去按照编码顺序相对于当前切片的前一切片的视差最大值、视差最小值以及摄像机间距离并且获得差分编码结果。然后，切片报头编码单元62将包括视差最大值、视差最小值以及摄像机间距离的差分编码结果的关于编码的信息作为切片报头添加到帧间类型切片的编码数据，并且将信息提供给PPS编码单元63。

在该情况下，切片报头编码单元62向PPS编码单元63提供发送标记，该发送标记指示存在视差最大值、视差最小值以及摄像机间距离的差分编码结果的发送。

PPS编码单元63生成PPS，其包括从切片报头编码单元62提供的发送标记和从图1的视点生成信息生成单元54提供的视点生成信息中的视差准确度参数。PPS编码单元63在相同的PPS单元中将PPS添加到被添加有从切片报头编码单元62提供的切片报头的以切片为单位的编码数据，并且将编码数据提供给SPS编码单元64。

SPS编码单元64生成SPS。然后，SPS编码单元64以序列为单位将SPS添加到添加有由PPS编码单元63提供的PPS的编码数据。SPS编码单元64用作发送单元，并且将作为结果获得的比特流作为编码比特流发送。

[切片编码单元的配置示例]

图6是示出用于在图5的切片编码单元61中对任何给定视点的视差图像进行编码的编码单元的配置示例的框图。更具体地，用于在切片编码单元61中对多视点视差图像进行编码的编码单元由图6中的和视点的数目一样多的编码单元120构成。

图6的编码单元120包括A/D转换单元121、画面排序缓冲器122、算术运算单元123、正交变换单元124、量化单元125、无损编码单元126、累积缓冲器127、逆量化单元128、逆正交变换单元129、加法单元130、去块效应滤波器131、帧存储器132、帧内预测单元133、运动预测/补偿单元134、校正单元135、选择单元136以及速率控制单元137。

编码单元120的A/D转换单元121对由图1的多视点视差图像生成单元53提供的预定视点的以帧为单位的多路复用图像进行A/D转换，并且将图像输出到画面排序缓冲器122进行存储，以使得图像被存储到画面排序缓冲器122中。画面排序缓冲器122根据GOP(画面组)结构将按照存储的显示顺序的以帧为单位的视差图像排序成编码顺序，并且将图像输出到算术运算单元123、帧内预测单元133以及运动预测/补偿单元134。

算术运算单元123用作编码单元，并且计算由选择单元136提供的预测图像和从画面排序缓冲器122输出的编码目标的视差图像之间的差，从而对编码目标的视差图像进行编码。更具体地，算术运算单元123从由画面排序缓冲器122输出的编码目标的视差图像减去由选择单元136提供的预测图像。算术运算单元123将作为减法的结果获得的图像作为残差信息输出给正交变换单元124。当选择单元136不提供预测图像时，算术运算单元123在不处理的情况下将从画面排序缓冲器122读取的视差图像作为残差信息输出给正交变换单元124。

正交变换单元124对由算术运算单元123提供的残差信息施加正交变换诸如离散余弦变换和卡洛变换(Karhunen-Loeve transform)，并且将由此获得的系数提供给量化单元125。

量化单元125对由正交变换单元124提供的系数进行量化。经量化的系数被输入到无损编码单元126中。

无损编码单元126对由量化单元125量化的系数进行无损编码诸如可变长编码(例如，CAVLC(上下文自适应可变长编码))和算术编码(例如，CABAC(上下文自适应二进制算术编码))。无损编码单元126将作为无损编码的结果获得的编码数据提供给累积缓冲器127，并且将数据累积在累积缓冲器127中。

累积缓冲器127暂时存储由无损编码单元126提供的编码数据，并且以切片为单位将该数据提供给切片报头编码单元62。

从量化单元125输出的量化系数还被输入到逆量化单元128中，并且在逆量化该系数后将该系数提供给逆正交变换单元129。

逆正交变换单元129对由逆量化单元128提供的系数施加逆正交变换诸如逆离散余弦变换和逆卡洛变换，并且将作为结果获得的残差信息提供给加法单元130。

加法单元130将由逆正交变换单元129所提供的用作解码目标的视差图像的残差信息和由选择单元136提供的预测图像相加，并获得本地解码的视差图像。应当注意的是，当选择单元136不提供预测图像时，加法单元130采用由逆正交变换单元129提供的残差信息作为本地解码的视差图像。加法单元130将本地解码的视差图像提供给去块效应滤波器131，并且将该图像作为参考图像提供给帧内预测单元133。

去块效应滤波器131对由加法单元130提供的本地解码的视差图像进行滤波，从而消除块失真。去块效应滤波器131将由此获得的视差图像提供给帧存储器132，以使得该图像累积在帧存储器132中。累积在帧存储器132中的视差图像作为参考图像输出到运动预测/补偿单元134。

帧内预测单元133使用由加法单元130提供的参考图像在所有候选帧内预测模式下进行帧内预测，从而生成预测图像。

帧内预测单元133针对所有候选帧内预测模式计算成本函数值(在下文将详细描述其细节)。然后，帧内预测单元133确定其中成本函数值最小的帧内预测模式作为最佳帧内预测模式。帧内预测单元133将在最佳帧内预测模式下生成的预测图像和对应的成本函数值提供给选择单元136。当帧内预测单元133从选择单元136接收到选择在最佳帧内预测模式下生成的预测图像的通知时，帧内预测单元133将指示最佳帧内预测模式的帧内预测信息等提供给图5的切片报头编码单元62。该帧内预测信息被包括在切片报头中作为关于编码的信息。

成本函数值也被称作为RD(率失真)成本，并且例如根据H.264/AVC方法基于作为参考软件的JM(联合模型)中限定的高复杂度模式和低复杂度模式中的任一种模式的方法来计算成本函数值。

更具体地，当高复杂度模式被采用作为计算成本函数值的方法时，临时在所有候选预测模式下进行无损编码，并且在每个预测模式下计算由随后的等式(3)表示的成本函数值。

Cost(Mode)＝D+λ·R (3)

D表示原始图像与经解码的图像的差(失真)。R表示包括正交变换的系数的生成的符号的量。λ表示根据量化参数QP给出的拉格朗日乘子。“·”表示相乘。

另一方面，更具体地，当低复杂度模式被用作计算成本函数值的方法时，针对所有候选预测模式来生成解码图像，并且计算报头位诸如指示预测模式的信息，并且针对每个预测模式来计算由以下方程(4)表示的成本函数。

Cost(Mode)＝D+QPtoQuant(QP)·Header_Bit (4)

D表示原始图像与经解码的图像的差(失真)。Header_Bit表示预测模式下的报头位。QPtoQuant表示作为量化参数QP的函数给出的函数。“·”表示相乘。

在低复杂度模式下，可以在所有预测模式下生成经解码的图像，并且不必要进行无损编码，并且因此计算量更小。在该情况下，假定采用高复杂度模式作为计算成本函数值的方法。

运动预测/补偿单元134基于由画面排序缓冲器122提供的视差图像和由帧存储器132提供的参考图像，在所有候选帧间预测模式下进行运动预测处理，从而生成运动矢量。更具体地，运动预测/补偿单元134在每个帧间预测模式下将由画面排序缓冲器122提供的视差图像与参考图像与进行比较，从而生成运动矢量。

应当注意的是，帧间预测模式是表示作为帧间预测目标的块的大小、预测方向以及参考索引的信息。预测方向包括：使用显示时间比作为帧间预测目标的视差图像更早的参考图像的向前方向的预测(L0预测)；使用显示时间比作为帧间预测目标的视差图像更晚的参考图像的向后方向的预测(L1预测)；以及使用显示时间比作为帧间预测目标的视差图像更早的参考图像和显示时间比作为帧间预测目标的视差图像更晚的参考图像的向前方向和向后方向二者的预测(双向预测)。参考索引是用于标识参考图像的数字，并且例如与作为帧间预测目标的视差图像接近的图像的参考索引具有更小的数字。

运动预测/补偿单元134用作预测图像生成单元，并且基于在帧间预测模式下生成的运动矢量，运动预测/补偿单元134从帧存储器132读取参考图像，从而进行运动补偿处理。运动预测/补偿单元134将作为结果生成的预测图像提供给校正单元135。

校正单元135通过使用由图1的视点生成信息生成单元54提供的视点生成信息中的视差最大值、视差最小值以及摄像机间距离作为关于视差图像的信息来生成(设定)对预测图像进行校正时使用的校正系数。校正单元135使用该系数来在由运动预测/补偿单元134提供的每个帧间预测模式下对预测图像进行校正。

在该情况下，编码目标的视差图像的对象在深度方向上的位置Z_c和预测图像的对象在深度方向上的位置Z_p由下述等式(5)表示。

[等式3]

在等式(5)中，L_c、L_p分别是编码目标的视差图像的摄像机间距离和预测图像的摄像机间距离。应当注意的是，f是预测图像和编码目标的视差图像共同的焦距。应当注意的是，d_c、d_p分别是编码目标的视差图像的非规范化视差值的绝对值和预测图像的非规范化视差值的绝对值。

使用非规范化视差值的绝对值d_c、d_p由下述等式(6)表示编码目标的视差图像的视差值I_c和预测图像的视差值I_p。

[等式4]

在等式(6)中，D^c _min、D^p _min分别是编码目标的视差图像的视差最小值和预测图像的视差最小值。D^c _max、D^p _max分别是编码目标的视差图像的视差最大值和预测图像的视差最大值。

因此，即使当编码目标的视差图像的对象在深度方向上的位置Z_c与预测图像的对象在深度方向上的位置Z_p相同时，当摄像机间距离L_c和L_p、视差最小值D^c _min和D^p _min以及视差最大值D^c _max、D^p _max中的至少一个不同时，则视差值I_c与视差值I_p不同。

因此，当位置Z_c与位置Z_p相同时，校正单元135生成用于对预测图像进行校正以使得视差值I_c与视差值I_p变得相同的校正系数。

更具体地，当位置Z_c与位置Z_p相同时，基于上述等式(5)来建立下述等式(7)。

[等式5]

当对等式(7)进行修改时，获得下述等式(8)。

[等式6]

然后，当使用上述等式(6)用视差值I_c和视差值I_p替换等式(8)的非规范化视差值的绝对值d_c、d_p时，则获得下述等式(9)。

[等式7]

因此，使用视差值I_p由下述等式(10)表示视差值I_c。

[等式8]

因此，校正单元135生成等式(10)的a和b作为校正系数。然后，校正单元135使用校正系数a、b和视差值I_p来获得等式(10)的视差值I_c作为校正后的预测图像的视差值。

校正单元135使用经校正的预测图像在每个帧间预测模式下计算成本函数值，并且确定成本函数值最小的帧间预测模式作为最佳帧间测量模式。然后，校正单元135将在最佳帧间预测模式下生成的成本函数值和预测图像提供给选择单元136。

此外，当校正单元135从选择单元136接收到选择在最佳帧间预测模式下生成的预测图像的通知时，校正单元135将运动信息输出给切片报头编码单元62。该运动信息包括最佳帧间预测模式、预测矢量索引、通过从当前运动矢量减去由预测矢量索引表示的运动矢量而获得的运动矢量残差等。应当注意的是，运动矢量索引是用于从用于生成经解码的视差图像的预测图像的候选运动矢量中识别运动矢量的信息。运动信息被包括在切片报头中作为关于编码的信息。

选择单元136基于由帧内预测单元133和校正单元135提供的成本函数值来确定最佳帧内预测模式和最佳帧间预测模式之一作为最佳预测模式。然后，选择单元136将最佳预测模式下的预测图像提供给算术运算单元123和加法单元130。选择单元136通知帧内预测单元133或者校正单元135选择最佳预测模式下的预测图像。

速率控制单元137基于累积在累积缓冲器127中的编码数据来控制量化单元125的量化操作的速率，以便不会引起溢出和下溢。

[编码比特流的配置示例]

图7是示出编码比特流的配置示例的图。

在图7中，为了便于说明，仅描述多视点视差图像的切片的编码数据。然而，实际上，编码比特流也设置有多视点彩色图像的切片的编码数据。这适用于后述的图22和图23。

在图7的示例中，构成为第零个PPS的PPS#0的相同的PPS单元的一个帧内类型切片和两个帧间类型切片的视差最大值、视差最小值以及摄像机间距离分别与按照编码顺序的前一切片的视差最大值、视差最小值以及摄像机间距离不相同。因此，PPS#0包括指示存在发送的发送标记“1”。在图7的示例中，构成PPS#0的相同的PPS单元的切片的视差准确度为0.5，并且PPS#0包括表示视差准确度0.5的“1”作为视差准确度参数。

此外，在图7的示例中，构成PPS#0的相同的PPS单元的帧内类型切片的视差最小值为10，并且其视差最大值为50，并且其摄像机间距离为100。因此，切片的切片报头包括视差最小值“10”、视差最大值“50”以及摄像机间距离“100”。

在图7的示例中，构成PPS#0的相同的PPS单元的第一帧间类型切片的视差最小值为9，并且其视差最大值为48，并且其摄像机间距离为105。因此，切片的切片报头包括差“-1”作为视差最小值的差分编码结果，差“-1”是通过从所讨论的切片的视差最小值“9”减去按照编码顺序设置在所讨论的切片前的帧内类型的切片的视差最小值“10”而获得的。同样，包括视差最大值的差“-2”作为视差最大值的差分编码结果，并且包括摄像机间距离的差“5”作为摄像机间距离的差分编码结果。

此外，在图7的示例中，构成PPS#0的相同的PPS单元的第二帧间类型切片的视差最小值为7，并且其视差最大值为47，并且其摄像机间距离为110。因此，切片的切片报头包括差“-2”作为视差最小值的差分编码结果，差“-2”是通过从所讨论的切片的视差最小值“7”减去按照编码顺序设置在所讨论的切片前的第一帧间类型切片的视差最小值“9”而获得的。同样，包括视差最大值的差“-1”作为视差最大值的差分编码结果，并且包括摄像机间距离的差“5”作为摄像机间距离的差分编码结果。

在图7的示例中，构成作为第一PPS的PPS#1的相同的PPS单元的一个帧内类型切片和两个帧间类型切片的视差最大值、视差最小值以及摄像机间距离分别与按照编码顺序的前一切片的视差最大值、视差最小值以及摄像机间距离相同。更具体地，构成作为第一PPS的PPS#1的相同的PPS单元的一个帧内类型切片和两个帧间类型切片的视差最大值、视差最小值以及摄像机间距离分别为“7”、“47”以及“110”，其与构成PPS#0的相同的PPS单元的第二帧间类型切片的视差最大值、视差最小值以及摄像机间距离相同。因此，PPS#1包括指示不存在发送的发送标记“0”。在图7的示例中，构成PPS#1的相同的PPS单元的切片的视差准确度为0.5，并且PPS#1包括表示视差准确度0.5的“1”作为视差准确度参数。

[PPS的语法的示例]

图8是示出图7的PPS的语法示例的图。

如图8所示，PPS包括视差准确度参数(disparity_precision)和发送标记(dsiparity_pic_same_flag)。例如，当视差准确度参数指示视差准确度1时，视差准确度参数为“0”，而当视差准确度参数指示视差准确度(深度信息的准确度)0.25时视差准确度参数为“2”。如上所述，当视差准确度参数指示视差准确度(深度信息的准确度)0.5时，视差准确度参数为“1”。如上所述，当发送标记指示存在发送时发送标记为“1”，而当发送标记指示不存在发送时发送标记为“0”。

[切片报头的语法的示例]

图9和图10是示出切片报头的语法示例的图。

如图10所示，当发送标记为1并且切片的类型是帧内类型时，切片报头包括视差最小值(minimum_disparity)、视差最大值(maximum_disparity)以及摄像机间距离(translation_x)。

另一方面，当发送标记为1并且切片的类型为帧间类型时，切片报头包括视差最小值的差分编码结果(delta_minimum_disparity)、视差最大值的差分编码结果(delta_maximum_disparity)以及摄像机间距离的差分编码结果(delta_translation_x)。

[关于编码设备的处理的说明]

图11是说明图1的编码设备50的编码处理的流程图。

在图11的步骤S111中，编码设备50的多视点彩色图像图像拍摄单元51拍摄多视点的彩色图像，并且将所拍摄的多视点彩色图像作为多视点彩色图像提供给多视点彩色图像校正单元52。

在步骤S112中，多视点彩色图像图像拍摄单元51生成视差最大值、视差最小值以及外部参数。多视点彩色图像图像拍摄单元51将视差最大值、视差最小值以及外部参数提供给视点生成信息生成单元54，并且将视差最大值和视差最小值提供给多视点视差图像生成单元53。

在步骤S113中，多视点彩色图像校正单元52对从多视点彩色图像图像拍摄单元51提供的多视点彩色图像进行色彩校正、亮度校正、失真校正等。因此，在经校正的多视点彩色图像中，多视点彩色图像图像拍摄单元51在水平方向(X方向)上的焦距在所有的视点处是相同的。多视点彩色图像校正单元52将经校正的多视点彩色图像作为多视点校正彩色图像提供给多视点视差图像生成单元53和多视点图像编码单元55。

在步骤S114中，多视点视差图像生成单元53基于从多视点彩色图像图像拍摄单元51提供的视差最大值和视差最小值，根据由多视点彩色图像校正单元52提供的多视点校正彩色图像来生成多视点视差图像。然后，多视点视差图像生成单元53将所生成的多视点视差图像作为多视点视差图像提供给多视点图像编码单元55。

在步骤S115中，多视点视差图像生成单元53生成视差准确度参数，并且将该视差准确度参数提供给视点生成信息生成单元54。

在步骤S116中，视点生成信息生成单元54基于由多视点彩色图像图像拍摄单元51提供的外部参数来获得摄像机间距离。

在步骤S117中，视点生成信息生成单元54生成由多视点彩色图像图像拍摄单元51提供的视差最大值和视差最小值和摄像机间距离以及由多视点视差图像生成单元53提供的视差准确度参数，作为视点生成信息。视点生成信息生成单元54将所生成的视点生成信息提供给多视点图像编码单元55。

在步骤S118中，多视点图像编码单元55进行多视点编码处理以对由多视点彩色图像校正单元52提供的多视点校正彩色图像和由多视点视差图像生成单元53提供的多视点视差图像进行编码。将参照后述的图12来描述多视点编码处理的细节。

在步骤S119中，多视点图像编码单元55发送作为多视点编码处理的结果而获得的编码比特流，并且终止该处理。

图12是说明图11的步骤S118中的多视点编码处理的流程图。

在图12的步骤S131中，多视点图像编码单元55的切片编码单元61(图5)以切片为单位对由多视点彩色图像校正单元52提供的多视点校正彩色图像和由多视点视差图像生成单元53提供的多视点视差图像进行编码。更具体地，切片编码单元61进行彩色图像编码处理，以根据HEVC方法以切片为单位对多视点校正彩色图像进行编码。切片编码单元61进行视差图像编码处理，以使用图1的视点生成信息生成单元54所提供的视点生成信息中的视差最大值、视差最小值以及摄像机间距离，根据HEVC方法以切片为单位对多视点视差图像进行编码。将参照后述的图13和图14来描述视差图像编码处理的细节。切片编码单元61向切片报头编码单元62提供作为编码结果获得的以切片为单位的编码数据。

在步骤S132中，切片报头编码单元62确定由视点生成信息生成单元54提供的视点生成信息中的视差最大值、视差最小值以及摄像机间距离是当前处理目标的切片的视差最大值、视差最小值以及摄像机间距离，并且保存该视差最大值、视差最小值以及摄像机间距离。

在步骤S133中，切片报头编码单元62确定构成相同的PPS单元的所有切片的视差最大值、视差最小值以及摄像机间距离是否与按照编码顺序相对于当前切片的前一切片的视差最大值、视差最小值以及摄像机间距离相同。

当在步骤S133中确定摄像机间距离、视差最大值以及视差最小值相同时，在步骤S134中切片报头编码单元62生成指示不存在对视差最大值、视差最小值以及摄像机间距离的差分编码结果的发送的发送标记，并且将该发送标记提供给PPS编码单元63。

在步骤S135中，切片报头编码单元62将不同于该切片的摄像机间距离、视差最大值以及视差最小值的关于编码的信息作为切片报头添加到作为步骤S133的处理目标的构成相同的PPS单元的每个切片的编码数据。应当注意的是，关于编码的信息包括由切片编码单元61提供的运动信息或者帧内预测信息。然后，切片报头编码单元62向PPS编码单元63提供作为结果获得的构成相同的PPS单元的每个切片的编码数据，并且进行到步骤S140中的处理。

另一方面，当在步骤S133中确定摄像机间距离、视差最大值以及视差最小值不相同时，在步骤S136中，切片报头编码单元62生成指示存在视差最大值、视差最小值以及摄像机间距离的差分编码结果的发送的发送标记，并且将该标记提供给PPS编码单元63。针对作为步骤S133的处理目标的构成相同的PPS单元的每个切片进行后述步骤S137至步骤S139中的处理。

在步骤S137中，切片报头编码单元62确定作为步骤S133的处理目标的构成相同的PPS单元的切片的类型是不是帧内类型。当在步骤S137中确定切片的类型是帧内类型时，在步骤S138中，切片报头编码单元62将包括该切片的视差最大值、视差最小值以及摄像机间距离的关于编码的信息作为切片报头添加到该切片的编码数据。应当注意的是，关于编码的信息包括由切片编码单元61提供的运动信息或者帧内预测信息。然后，切片报头编码单元62向PPS编码单元63提供作为结果获得的以切片为单位的编码数据，并且进行到步骤S140中的处理。

另一方面，当在步骤S137中确定切片的类型不是帧内类型时，更具体地，当确定切片的类型是帧间类型时，处理进行到步骤S139。在步骤S139中，切片报头编码单元62对该切片的摄像机间距离、视差最大值以及视差最小值进行差分编码，并且将包括差分编码结果的关于编码的信息作为切片报头添加到该切片的该编码数据。应当注意的是，关于编码的信息包括由切片编码单元61提供的运动信息或者帧内预测信息。然后，切片报头编码单元62向PPS编码单元63提供作为结果获得的以切片为单位的编码数据，并且进行到步骤S140中的处理。

在步骤S140中，PPS编码单元63生成PPS，该PPS包括从切片报头编码单元62提供的发送标记和从图1的视点生成信息生成单元54提供的视点生成信息中的视差准确度参数。

在步骤S141中，PPS编码单元63在相同的PPS单元中将PPS添加到被添加有从切片报头编码单元62提供的切片报头的以切片为单位的编码数据，并且将编码数据提供给SPS编码单元64。

在步骤S142中，SPS编码单元64生成SPS。

在步骤S143中，SPS编码单元64以序列为单位将SPS添加到被添加有从PPS编码单元63提供的PPS的编码数据，并且生成编码比特流。然后，再次进行图11中的步骤S118中的处理，并且随后进行到步骤S119。

图13和图14是说明图5的切片编码单元61的视差图像编码处理的流程图。针对每个视点进行视差图像编码处理。

在图13的步骤S160中，编码单元120的A/D转换单元121对从多视点视差图像生成单元53接收的预定视点的以帧为单位的视差图像进行A/D转换，并且将该图像输出到画面排序缓冲器122，以便将该图像存储在画面排序缓冲器122中。

在步骤S161中，画面排序缓冲器122根据GOP结构将按照存储的显示顺序的视差图像帧排序成编码顺序。画面排序缓冲器122将经排序的以帧为单位的视差图像提供给算术运算单元123、帧内预测单元133以及运动预测/补偿单元134。

在步骤S162中，帧内预测单元133使用由加法单元130提供的参考图像，在所有候选帧内预测模式下进行帧内预测。在该情况下，帧内预测单元133针对所有候选帧内预测模式计算成本函数值。然后，帧内预测单元133确定成本函数值最小的帧内预测模式作为最佳帧内预测模式。帧内预测单元133将在最佳帧内预测模式下生成的预测图像和对应的成本函数值提供给选择单元136。

在步骤S163中，运动预测/补偿单元134基于由画面排序缓冲器122提供的视差图像和由帧存储器132提供的参考图像进行运动预测/补偿处理。

更具体地，运动预测/补偿单元134基于由画面排序缓冲器122提供的视差图像和由帧存储器132提供的参考图像，在所有候选帧间预测模式下进行运动预测处理，并生成运动矢量。基于在帧间预测模式下生成的运动矢量，运动预测/补偿单元134从帧存储器132读取参考图像，从而进行运动补偿处理。运动预测/补偿单元134将作为结果生成的预测图像提供给校正单元135。

在步骤S164中，校正单元135基于由图1的视点生成信息生成单元54提供的视点生成信息中的视差最大值、视差最小值以及摄像机间距离来计算校正系数。

在步骤S165中，校正单元135使用该系数在由运动预测/补偿单元134提供的每个帧间预测模式下对预测图像进行校正。

在步骤S166中，校正单元135使用经校正的预测图像在每个帧间预测模式下计算成本函数值，并且确定成本函数值最小的帧间预测模式作为最佳帧间测量模式。然后，校正单元135将在最佳帧间预测模下生成的成本函数值和预测图像提供给选择单元136。

在步骤S167中，选择单元136基于由校正单元135和帧内预测单元133提供的成本函数值来确定最佳帧内预测模式和最佳帧间预测模式二者中成本函数值最小的一个作为最佳预测模式。然后选择单元136将在最佳预测模式下的预测图像提供给算术运算单元123和加法单元130。

在步骤S168中，选择单元136确定最佳预测模式是不是最佳帧间预测模式。当在步骤S168中确定最佳预测模式是最佳帧间预测模式时，选择单元136通知校正单元135选择在最佳帧间预测模式下生成的预测图像。

然后，在步骤S169中，校正单元135将运动信息输出给切片报头编码单元62(图5)，并且进行到步骤S171中的处理。

另一方面，当在步骤S168中确定最佳预测模式不是最佳帧间预测模式时，更具体地，当最佳预测模式是最佳帧内预测模式时，则选择单元136通知帧内预测单元133选择在最佳帧内预测模式下生成的预测图像。

然后，在步骤S170中，帧内预测单元133将帧内预测信息输出给切片报头编码单元62，并且随后处理进行到步骤S171。

在步骤S171中，算术运算单元123从由画面排序缓冲器122提供的视差图像中减去由选择单元136提供的预测图像。算术运算单元123将作为减法的结果获得的图像作为残差信息输出给正交变换单元124。

在步骤S172中，正交变换单元124对从算术运算单元123提供的残差信息施加正交变换，并且将由此获得的系数提供给量化单元125。

在步骤S173中，量化单元125对从正交变换单元124提供的系数进行量化。经量化的系数被输入到无损编码单元126和逆量化单元128中。

在步骤S174中，无损编码单元126对由量化单元125提供的经量化的系数进行无损编码。

在图14的步骤S175中，无损编码单元126将作为无损编码的结果获得的编码数据提供给累积缓冲器127，并且将数据累积在累积缓冲器127中。

在步骤S176中，累积缓冲器127将所累积的编码数据输出给切片报头编码单元62。

在步骤S177中，逆量化单元128对由量化单元125提供的经量化的系数进行逆量化。

在步骤S178中，逆正交变换单元129对由逆量化单元128提供的系数施加逆正交变换，并且将作为结果获得的残差信息提供给加法单元130。

在步骤S179中，加法单元130将由逆正交变换单元129提供的残差信息与由选择单元136提供的预测图像相加，从而获得本地解码的视差图像。加法单元130将所获得的视差图像提供给去块效应滤波器131，并且将该图像作为参考图像提供给帧内预测单元133。

在步骤S180中，去块效应滤波器131对由加法单元130提供的本地解码的视差图像进行滤波，从而消除块失真。

在步骤S181中，去块效应滤波器131将经滤波的视差图像提供给帧存储器132，使得该图像累积在帧存储器132中。累积在帧存储器132中的视差图像被作为参考图像输出给运动预测/补偿单元134。然后，处理结束。

例如，按照具有层级结构的编码单位进行图13和图14的步骤S162至步骤S181中的处理。为了简化说明，在图13和图14的视差图像编码处理过程中，总是进行帧内预测处理和运动补偿处理，但是实际上，可以根据画面类型等进行帧内预测处理和运动补偿处理中的任何一种处理。

如上所述，编码设备50使用关于视差图像的信息来对预测图像进行校正，并且使用经校正的预测图像来对视差图像进行编码。更具体地，编码设备50使用摄像机间距离、视差最大值以及视差最小值作为关于视差图像的信息来对预测图像进行校正，使得当在预测图像和视差图像中对象在深度方向上的位置相同时视差值变得相同，并且使用经校正的预测图像来对视差图像进行编码。因此，减少了视差图像和基于关于视差图像的信息生成的预测图像之间的差，并且提高了编码效率。特别地，当关于视差图像的信息在每个画面中变化时，提高了编码效率。

编码设备50发送用于计算校正系数的摄像机间距离、视差最大值以及视差最小值，而不是发送校正系数作为用于校正预测图像的信息。在该情况下，摄像机间距离、视差最大值以及视差最小值是视点生成信息的一部分。因此，摄像机间距离、视差最大值以及视差最小值可以被共享为视点生成信息和用于对预测图像进行校正的信息的一部分。因此，可以减少编码比特流的信息量。

[解码设备的第一实施方式的配置示例]

图15是示出对从图1的编码设备50发送的编码比特流进行解码的、应用了本技术的解码设备的第一实施方式的配置示例的框图。

图15的解码设备150包括多视点图像解码单元151、视点合成单元152以及多视点图像显示单元153。解码设备150对从编码设备50发送的编码比特流进行解码，并且使用由此获得的多视点彩色图像、多视点深度图像以及视点生成信息来生成并且显示显示视点的彩色图像。

更具体地，解码设备150的多视点图像解码单元151接收从图1的编码设备50发送的编码比特流。多视点图像解码单元151从接收的编码比特流中包括的PPS中提取视差准确度参数和发送标记。多视点图像解码单元151根据发送标记从编码比特流的切片报头提取摄像机间距离、视差最大值以及视差最小值。多视点图像解码单元151生成包括视差准确度参数、摄像机间距离、视差最大值以及视差最小值的视点生成信息，并且将该视点生成信息提供给视点合成单元152。

多视点图像解码单元151根据与图1的多视点图像编码单元55的编码方法相对应的方法对编码比特流中包括的以切片为单位的多视点校正彩色图像的编码数据进行解码，并且生成多视点校正彩色图像。多视点图像解码单元151用作解码单元。多视点图像解码单元151使用摄像机间距离、视差最大值以及视差最小值，根据与多视点图像编码单元55的编码方法相对应的方法对编码比特流中包括的多视点视差图像的编码数据进行解码，并且生成多视点视差图像。多视点图像解码单元151将所生成的多视点校正彩色图像和多视点视差图像提供给视点合成单元152。

视点合成单元152使用由多视点图像解码单元151提供的视点生成信息，针对与对应于多视点图像显示单元153的视点的数目同样多的显示视点，对由多视点图像解码单元151提供的多视点视差图像进行变形(warping)处理。更具体地，视点合成单元152基于视点生成信息中包括的摄像机间距离、视差最大值、视差最小值等对多视点视差图像进行变形处理，以根据具有对应于视差准确度参数的准确度的显示视点来变形图像。变形处理用于将某一视点的图像几何转变成为另一视点的图像。显示视点包括与对应于多视点彩色图像的视点不同的视点。

视点合成单元152对由多视点图像解码单元151提供的多视点校正彩色图像进行变形处理，以使用作为变形处理的结果获得的显示视点的视差图像根据显示视点来对多视点校正彩色图像进行变形。视点合成单元152将作为结果获得的显示视点的彩色图像作为多视点合成彩色图像提供给多视点图像显示单元153。

多视点图像显示单元153以针对每个视点来说可视角度不同的方式来显示由视点合成单元152提供的多视点合成彩色图像。观看者用其右眼和左眼观看两个给定视点的图像，从而在不戴眼镜的情况下从多个视点观看3D图像。

如上所述，视点合成单元152基于视差准确度参数对多视点图像解码单元81所提供的多视点校正彩色图像进行变形处理，以根据具有与视点准确度参数相对应的准确度的显示视点对多视点校正彩色图像进行变形，并且因此，视点合成单元152不必要浪费地进行具有很高的准确度的变形处理。

视点合成单元152基于摄像机间距离来将多视点视差图像变形处理到显示视点，并且因此，当与经受了变形处理的多视点视差图像的视差值相对应的视差不在适当范围中时，可以基于摄像机间距离将视差值校正到与适当范围的视差相对应的值。

[多视点图像解码单元的配置示例]

图16是示出图15的多视点图像解码单元151的配置示例的框图。

图16的多视点图像解码单元151包括SPS解码单元171、PPS解码单元172、切片报头解码单元173以及切片解码单元174。

多视点图像解码单元151的SPS解码单元171用作接收单元，并且接收从图1的编码设备50发送的编码比特流，并且提取编码比特流中的SPS。SPS解码单元171向PPS解码单元172提供所提取的SPS和与SPS不同的编码比特流。

PPS解码单元172从SPS解码单元171所提供的与SPS不同的编码比特流中提取PPS。PPS解码单元172向切片报头解码单元173提供所提取的PPS和SPS、与SPS和PPS不同的编码比特流。

切片报头解码单元173从PPS解码单元172所提供的与SPS和PPS不同的编码比特流中提取切片报头。当由PPS解码单元172提供的PPS中包括的发送标记是指示存在发送的“1”时，切片报头解码单元173保存切片报头中包括的摄像机间距离、视差最大值以及视差最小值，或者基于摄像机间距离、视差最大值以及视差最小值的差分编码结果来更新保存在切片报头解码单元173中的摄像机间距离、视差最大值以及视差最小值。切片报头解码单元173根据所保存的摄像机间距离、视差最大值以及视差最小值和PPS中包括的视差准确度参数来生成视点生成信息，并且将该视点生成信息提供给视点合成单元152。

此外，切片报头解码单元173向切片解码单元174提供切片报头的与关于SPS、PPS、摄像机间距离、视差最大值、视差最小值的信息不同的信息和作为与SPS、PPS以及切片报头不同的编码比特流的以切片为单位的编码数据。切片报头解码单元173将摄像机间距离、视差最大值以及视差最小值提供给切片解码单元174。

切片解码单元174基于从切片报头解码单元173提供的切片报头的与摄像机间距离、视差最大值以及视差最小值不同的信息、SPS以及PPS，根据与切片编码单元61(图5)的编码方法相对应的方法以切片为单位对多路复用彩色图像的编码数据进行解码。切片解码单元174基于切片报头的与摄像机间距离、视差最大值以及视差最小值不同的信息、SPS以及PPS，并且基于摄像机间距离、视差最大值以及视差最小值，根据与切片编码单元61的编码方法相对应的方法以切片为单位对多路复用彩色图像的编码数据进行解码。切片报头解码单元173向图15的视点合成单元152提供作为解码结果获得的多视点校正彩色图像和多视点视差图像。

[切片解码单元的配置示例]

图17是示出图16的切片解码单元174中的用于对任何给定视点的视差图像进行解码的解码单元的配置示例的框图。更具体地，切片解码单元174中的用于对多视点视差图像进行解码的解码单元由与视点的数目同样多的图17的解码单元250构成。

图17的解码单元250包括累积缓冲器251、无损解码单元252、逆量化单元253、逆正交变换单元254、加法单元255、去块效应滤波器256、画面排序缓冲器257、D/A转换单元258、帧存储器259、帧内预测单元260、运动矢量生成单元261、运动补偿单元262、校正单元263以及开关264。

解码单元250的累积缓冲器251以切片为单位从图16的切片报头解码单元173接收并且累积预定视点的视差图像的编码数据。累积缓冲器251将所累积的编码数据提供给无损解码单元252。

无损解码单元252对由累积缓冲器251给出的编码数据施加无损解码如算术解码和可变长度解码，从而获得量化的系数。无损解码单元252将量化的系数提供给逆量化单元253。

逆量化单元253、逆正交变换单元254、加法单元255、去块效应滤波器256、帧存储器259、帧内预测单元260、运动补偿单元262以及校正单元263进行与图6的逆量化单元128、逆正交变换单元129、加法单元130、去块效应滤波器131、帧存储器132、帧内预测单元133、运动预测/补偿单元134以及校正单元135相同的处理，使得对预定视点的视差图像进行解码。

更具体地，逆量化单元253对由无损解码单元252提供的量化的系数进行逆量化，并且将由此获得的系数提供给逆正交变换单元254。

逆正交变换单元254对由逆量化单元253提供的系数施加逆正交变换如逆离散余弦变换和逆卡洛变换，并且将作为结果获得的残差信息提供给加法单元255。

加法单元255用作解码单元，并且将从逆正交变换单元254提供的用作解码目标的视差图像的残差信息与由开关264提供的预测图像相加，从而对解码目标的视差图像进行解码。加法单元255将由此获得的视差图像提供给去块效应滤波器256，并且将该图像作为参考图像提供给帧内预测单元260。当开关264不提供预测图像时，加法单元255将作为从逆正交变换单元254提供的残差信息的视差图像提供给去块效应滤波器256，并且将该图像作为参考图像提供给帧内预测单元260。

去块效应滤波器256对由加法单元255提供的视差图像进行滤波，从而消除块失真。去块效应滤波器256将由此获得的视差图像提供给帧存储器259，使得图像累积在帧存储器259中，并且去块效应滤波器256还将该图像提供给画面排序缓冲器257。累积在帧存储器259中的视差图像被作为参考图像提供给运动补偿单元262。

画面排序缓冲器257存储由去块效应滤波器256提供的以帧为单位的视差图像。画面排序缓冲器257将按照编码顺序以帧为单位存储的视差图像排序成为原始的显示顺序，并且将视差图像提供给D/A转换单元258。

D/A转换单元258对从画面排序缓冲器257提供的以帧为单位的视差图像进行D/A转换，并且将该图像作为预定视点的视差图像提供给视点合成单元152(图15)。

帧内预测单元260使用由加法单元255提供的参考图像在由切片报头解码单元173(图16)提供的帧内预测信息所表示的最佳帧内预测模式下进行帧内预测，并且生成预测图像。然后，帧内预测单元260将预测图像提供给开关264。

运动矢量生成单元261将运动矢量残差与包括在所存储的运动矢量中的由切片报头解码单元173提供的运动信息中的预测矢量索引所表示的运动矢量相加，并且恢复该运动矢量。运动矢量生成单元261存储所恢复的运动矢量。运动矢量生成单元261将所恢复的运动矢量、运动信息中包括的最佳帧间预测模式等提供给运动补偿单元262。

运动补偿单元262用作预测图像生成单元，并且基于由运动矢量生成单元261提供的最佳帧间预测模式和运动矢量，通过从帧存储器259读取参考图像来进行运动补偿处理。运动补偿单元262将由此生成的预测图像提供给校正单元263。

如图6的校正单元135，校正单元263基于由图16的切片报头解码单元173提供的视差最大值、视差最小值以及摄像机间距离来生成用于对预测图像进行校正的校正系数。如校正单元135，校正单元263使用校正系数来在由运动补偿单元262提供的最佳帧间预测模式下对预测图像进行校正。校正单元263将经校正的预测图像提供给开关264。

当帧内预测单元260提供了预测图像时，开关264将其预测图像提供给加法单元255。当运动补偿单元262提供了预测图像时，开关264将其预测图像提供给加法单元255。

[关于解码设备的处理的说明]

图18是说明图15的解码设备150的解码处理的流程图。例如，该解码处理在从图1的编码设备50发送了编码比特流时开始。

在图18的步骤S201中，解码设备150的多视点图像解码单元151接收从图1的编码设备50发送的编码比特流。

在步骤S202中，多视点图像解码单元151进行多视点解码处理，以对所接收的编码比特流进行解码。将参照后述的图19描述多视点解码处理的细节。

在步骤S203中，视点合成单元152用作生成单元，并且使用由多视点图像解码单元151提供的视点生成信息、多视点校正彩色图像以及多视点视差图像来生成多视点合成彩色图像。

在步骤S204中，多视点图像显示单元153以针对每个视点来说可视角度不同的方式来显示由视点合成单元152提供的多视点合成彩色图像，并且终止处理。

图19是说明图18的步骤S202中多视点解码处理的细节的流程图。

在图19的步骤S221中，多视点图像解码单元151的SPS解码单元171(图16)从所接收的编码比特中流提取SPS。SPS解码单元171向PPS解码单元172提供所提取的SPS和与SPS不同的编码比特流。

在步骤S222中，PPS解码单元172从SPS解码单元171所提供的与SPS不同的编码比特流中提取PPS。PPS解码单元172向切片报头解码单元173提供所提取的PPS和SPS以及与SPS和PPS不同的编码比特流。

在步骤S223中，切片报头解码单元173将从PPS解码单元172提供的PPS中包括的视差准确度参数作为视点生成信息的一部分提供给视点合成单元152。

在步骤S224中，切片报头解码单元173确定由PPS解码单元172提供的PPS中包括的发送标记是不是指示存在发送的“1”。应该注意的是，随后以切片为单位进行步骤S225至步骤S234中的处理。

当在步骤S224中确定发送标记为指示存在发送的“1”时，处理进行到步骤S225。在步骤S225中，切片报头解码单元173从由PPS解码单元172提供的与SPS和PPS不同的编码比特流中提取视差最大值、视差最小值以及摄像机间距离或者包括视差最大值、视差最小值以及摄像机间距离的差分编码结果的切片报头。

在步骤S226中，切片报头解码单元173确定切片的类型是不是帧内类型。当在步骤S226中确定切片的类型为帧内类型时，处理进行到步骤S227。

在步骤S227中，切片报头解码单元173保存在步骤S225中提取的切片报头中包括的视差最小值，并且将该视差最小值作为视点生成信息的一部分提供给视点合成单元152。

在步骤S228中，切片报头解码单元173保存在步骤S225中提取的切片报头中包括的视差最大值，并且将该视差最大值作为视点生成信息的一部分提供给视点合成单元152。

在步骤S229中，切片报头解码单元173保存在步骤S225中提取的切片报头中包括的摄像机间距离，并且将该摄像机间距离作为视点生成信息的一部分提供给视点合成单元152。然后，处理进行到步骤S235。

另一方面，当在步骤S226中确定切片的类型不是帧内类型时，更具体地，当确定切片的类型为帧间类型时，处理进行到步骤S230。

在步骤S230中，切片报头解码单元173将在步骤S225中提取的切片报头中包括的视差最小值的差分编码结果添加到所保存的视差最小值。切片报头解码单元173将通过添加操作而恢复的视差最小值作为视点生成信息的一部分提供给视点合成单元152。

在步骤S231中，切片报头解码单元173将在步骤S225中提取的切片报头中包括的视差最大值的差分编码结果添加到所保存的视差最大值。切片报头解码单元173将通过添加操作而恢复的视差最大值作为视点生成信息的一部分提供给视点合成单元152。

在步骤S232中，切片报头解码单元173将在步骤S225中提取的切片报头中包括的摄像机间距离的差分编码结果添加到所保存的摄像机间距离。切片报头解码单元173将通过添加操作而恢复的摄像机间距离作为视点生成信息的一部分提供给视点合成单元152。然后，处理进行到步骤S235。

当在步骤S224中确定发送标记不是指示存在发送的“1”，即确定发送标记是指示不存在发送的“0”时，处理进行到步骤S233。

在步骤S233中，切片报头解码单元173从PPS解码单元172所提供的与SPS和PPS不同的编码比特流中提取视差最大值、视差最小值以及摄像机间距离和不包括视差最大值、视差最小值以及摄像机间距离的差分编码结果的切片报头。

在步骤S234中，切片报头解码单元173确定所保存的视差最大值、视差最小值以及摄像机间距离，即按照编码顺序的前一切片的视差最大值、视差最小值以及摄像机间距离是处理目标的切片的视差最大值、视差最小值以及摄像机间距离，由此恢复处理目标的切片的视差最大值、视差最小值以及摄像机间距离。然后，切片报头解码单元173将由此恢复的视差最大值、视差最小值以及摄像机间距离作为视点生成信息的一部分提供给视点合成单元152，并且进行到步骤S235中的处理。

在步骤S235中，切片解码单元174根据与切片编码单元61(图5)的编码方法相对应的方法，以切片为单位对编码数据进行解码。更具体地，切片解码单元174基于由切片报头解码单元173给出的SPS、PPS以及与关于摄像机间距离、视差最大值以及视差最小值的信息不同的切片报头，根据与切片编码单元61的编码方法相对应的方法，以切片为单位对多视点彩色图像的编码数据进行解码。切片解码单元174基于由切片报头解码单元173给出的SPS、PPS以及与关于摄像机间距离、视差最大值以及视差最小值的信息不同的切片报头以及摄像机间距离、视差最大值以及视差最小值，根据与切片编码单元61的编码方法相对应的方法，以切片为单位进行用于对多视点校正图像的编码数据进行解码的视差图像解码处理。将参照后述的图20来描述视差图像解码处理的细节。切片报头解码单元173向图15的视点合成单元152提供作为解码的结果获得的多视点校正彩色图像和多视点视差图像。

图20是说明由图16的切片解码单元174进行的视差图像解码处理的细节的流程图。针对每个视点进行该视差图像解码处理。

在图20的步骤S261中，解码单元250的累积缓冲器251以切片为单位从图16的切片报头解码单元173接收并且累积预定视点的视差图像的编码数据。累积缓冲器251将所累积的编码数据提供给无损解码单元252。

在步骤S262中，无损解码单元252对由累积缓冲器251提供的编码数据进行无损解码，并且将由此获得的量化的系数提供给逆量化单元253。

在步骤S263中，逆量化单元253对由无损解码单元252给出的量化的系数进行逆量化，并且将由此获得的系数提供给逆正交变换单元254。

在步骤S264中，逆正交变换单元254对由逆量化单元253给出的系数进行逆正交变换，并且将由此获得的残差信息提供给加法单元255。

在步骤S265中，运动矢量生成单元261确定图16的切片报头解码单元173是否提供运动信息。当在步骤S265中确定切片报头解码单元173提供运动信息时，进行步骤S266中的处理。

在步骤S266中，运动矢量生成单元261基于所保存的运动矢量和运动信息来恢复并保存运动矢量。运动矢量生成单元261例如将所恢复的运动矢量、运动信息中包括的最佳帧间预测模式提供给运动补偿单元262。

在步骤S267中，运动补偿单元262基于由运动矢量生成单元261提供的最佳帧间预测模式和运动矢量，通过从帧存储器259读取参考图像来进行运动补偿处理。运动补偿单元262将作为运动补偿处理的结果生成的预测图像提供给校正单元263。

在步骤S268中，如图6的校正单元135，校正单元263基于由图16的切片报头解码单元173提供的视差最大值、视差最小值以及摄像机间距离来计算校正系数。

在步骤S269中，如校正单元135，校正单元263使用校正系数来在由运动补偿单元262提供的最佳帧间预测模式下对预测图像进行校正。校正单元263将经校正的预测图像经由开关264提供给加法单元255，并且处理进行到步骤S271。

另一方面，当在步骤S265中确定不提供运动信息时，更具体地，当将帧内预测信息从切片报头解码单元173提供给帧内预测单元260时，处理进行到步骤S270。

在步骤S270中，帧内预测单元260使用由加法单元255提供的参考图像，在由切片报头解码单元173提供的帧内预测信息所表示的最佳帧内预测模式下进行帧内预测处理。帧内预测单元260将作为结果生成的预测图像经由开关264提供给加法单元255，并且随后处理进行到步骤S271。

在步骤S271中，加法单元255将由逆正交变换单元254提供的残差信息与由开关264提供的预测图像相加。加法单元255将由此获得的视差图像提供给去块效应滤波器256，并且将该图像作为参考图像提供给帧内预测单元260。

在步骤S272中，去块效应滤波器256对由加法单元255提供的视差图像进行滤波，从而消除块失真。

在步骤S273中，去块效应滤波器256将经滤波的视差图像提供给帧存储器259，使得该图像累积在帧存储器259中，并且去块效应滤波器256还将该图像提供给画面排序缓冲器257。累积在帧存储器259中的视差图像被作为参考图像提供给运动补偿单元262。

在步骤S274中，画面排序缓冲器257存储由去块效应滤波器256提供的以帧为单位存储的视差图像，并且将按照编码顺序存储的视差图像排序成为原始的显示顺序，并且将该视差图像提供给D/A转换单元258。

在步骤S275中，D/A转换单元258对从画面排序缓冲器257提供的以帧为单位的视差图像进行D/A转换，并且将该图像作为预定视点的视差图像提供给图15的视点合成单元152。

如上所述，解码设备150接收通过使用利用关于视差图像的信息而校正的预测图像进行编码来提高其编码效率的视差图像的编码数据，和包括关于视差图像的信息的编码比特流。解码设备150使用关于视差图像的信息来对预测图像进行校正，并且使用经校正的预测图像对使用经校正的预测图像的视差图像的编码数据进行解码。

更具体地，解码设备150接收使用将摄像机间距离、视差最大值以及视差最小值用作关于视差图像的信息而校正的预测图像和摄像机间距离、视差最大值以及视差最小值进行编码的编码数据。解码设备150使用摄像机间距离、视差最大值以及视差最小值来对预测图像进行校正，并且使用经校正的预测图像来对视差图像的编码数据进行解码。因此，解码设备150可以对通过使用用关于视差图像的信息而校正的预测图像进行编码来使其编码效率提高的视差图像的编码数据进行解码。

编码设备50以在切片报头中包括视差最大值、视差最小值以及摄像机间距离的方式将视差最大值、视差最小值以及摄像机间距离作为用来对预测图像进行校正的信息进行发送。然而，发送方法不限于此。

[关于用于对预测图像进行校正的信息的发送方法的说明]

如上所述，图21的第一发送方法是用于以在切片报头中包括视差最大值、视差最小值以及摄像机间距离的方式将视差最大值、视差最小值以及摄像机间距离作为用来对预测图像进行校正的信息进行发送的方法。在该情况下，用于对预测图像进行校正的信息和视点生成信息可以被共享，并且可以减少编码比特流的信息量。然而解码设备150需要使用视差最大值、视差最小值以及摄像机间距离来计算校正系数，并且与后述的第二发送方法相比，解码设备150的处理负荷更高。

另一方面，图21的第二发送方法是用于以在切片报头中包括校正系数的方式将校正系数作为用来对预测图像进行校正的信息进行发送的方法。在该情况下，视差最大值、视差最小值以及摄像机间距离不用于对预测图像进行校正，因此，例如以在编码期间不需要查找的SEI(补充增强信息)中包括视差最大值、视差最小值以及摄像机间距离的方式将视差最大值、视差最小值以及摄像机间距离作为视点生成信息的一部分发送。在第二发送方法中，发送校正系数，因此解码设备150不需要计算校正系数从而解码设备150的处理负荷小于第一发送方法的处理负荷。然而，由于新发送校正系数，因此增加了编码比特流的信息量。

在上述说明中，使用视差最大值、视差最小值以及摄像机间距离来对预测图像进行校正。可替代地，也可以使用关于视差的其他信息来对预测图像进行校正(例如，表示多视点彩色图像图像拍摄单元51在深度方向上的图像拍摄位置的图像拍摄位置信息)。

在该情况下，根据图21的第三发送方法，以在切片报头中包括附加校正系数的方式将该附加校正系数作为用于校正视差图像的信息发送，其中该附加校正系数是使用视差最大值、视差最小值以及摄像机间距离和关于视差的其他信息生成的校正系数。如上所述，当还使用与视差最大值、视差最小值以及摄像机间距离不同的关于视差的信息对预测图像进行校正时，进一步减少了视差图像与基于关于视差的信息的预测图像的差，由此可以提高编码效率。然而，由于新发送附加校正系数，所以与第一发送方法相比增加了编码比特流的信息量。此外，解码设备150需要使用视差最大值、视差最小值以及摄像机间距离来计算校正系数，因此与第二发送方法相比，解码设备150的处理负荷更高。

图22是示出在根据第二发送方法发送用于对预测图像进行校正的信息的情况下的编码比特流的配置示例的图。

在图22的示例中，构成PPS#0的相同的PPS单元的一个帧内类型切片和两个帧间类型切片的校正系数分别与按照编码顺序的前一切片的校正系数不同。因此，PPS#0包括指示存在发送的发送标记“1”。在该情形下，发送标记是指示存在/不存在校正系数的发送的标记。

在图22的示例中，构成PPS#0的相同的PPS单元的帧内类型切片的校正系数a是1，并且其校正系数b是0。因此，该切片的切片报头包括校正系数a“1”和校正系数b“0”。

此外，在图22的示例中，构成PPS#0的相同的PPS单元的第一帧间类型切片的校正系数a是3，并且校正系数b是2。因此，切片的切片报头包括通过从所讨论的切片的校正系数a“3”减去按照编码顺序在所讨论的切片之前设置的帧内类型切片的校正系数a“1”而获得的差“+2”作为校正系数的差分编码结果。同样，校正系数b的差“+2”被包括作为校正系数b的差分编码结果。

此外，在图22的示例中，构成PPS#0的相同的PPS单元的第二帧间类型切片的校正系数a是0，并且校正系数b是-1。因此，切片的切片报头包括通过从所讨论的切片的校正系数a“0”减去按照编码顺序在所讨论的切片之前设置的第一帧间类型切片的校正系数a“3”而获得的差“-3”作为校正系数的差分编码结果。同样，校正系数b的差“-3”被包括作为校正系数b的差分编码结果。

在图22的示例中，构成PPS#1的相同的PPS单元的一个帧内类型切片和两个帧间类型切片的校正系数分别与按照编码顺序的前一切片的校正系数相同。因此，PPS#1包括指示不存在发送的发送标记“0”。

图23是示出根据第三发送方法发送用于对预测图像进行校正的信息的情形下的编码比特流的配置示例的图。

在图23的示例中，构成PPS#0的相同的PPS单元的一个帧内类型切片和两个帧间类型切片的视差最小值、视差最大值、摄像机间距离以及附加校正系数分别与按照编码顺序的前一切片的视差最小值、视差最大值、摄像机间距离以及附加校正系数不相同。因此，PPS#0包括指示存在发送的发送标记“1”。在该情况下，发送标记是指示存在/不存在视差最小值、视差最大值、摄像机间距离以及附加校正系数的发送的标记。

在图23的示例中，构成PPS#0的相同的PPS单元切片的视差最小值、视差最大值以及摄像机间距离与图7的情况相同，并且每个切片的切片报头中包括的关于视差最小值、视差最大值以及摄像机间距离的信息与图7的情况相同，从而省略了与其有关的说明。

在图23的示例中，构成相同PPS单元PPS#0的帧内类型切片的附加校正系数是5。因此，其切片的切片报头包括附加校正系数“5”。

此外，在图23的示例中，构成PPS#0的相同的PPS单元的第一帧间类型切片的附加校正系数是7。因此，该切片的切片报头包括通过从所讨论的切片的附加校正系数“7”减去按照编码顺序在所讨论的切片之前设置的帧内类型切片的附加校正系数“5”而获得的差“+2”作为附加校正系数的差分编码结果。

此外，在图23的示例中，构成PPS#0的相同的PPS单元的第二帧间类型切片的附加校正系数是8。因此，该切片的切片报头包括通过从所讨论的切片的附加校正系数“8”减去按照编码顺序在所讨论的切片之前设置的第一帧间类型切片附加校正系数“7”而获得的差“+1”作为附加校正系数的差分编码结果。

在图23的示例中，构成PPS#1的相同的PPS单元的一个帧内类型切片和两个帧间类型切片的视差最小值、视差最大值、摄像机间距离以及附加校正系数分别与按照编码顺序的前一切片的视差最小值、视差最大值、摄像机间距离以及附加校正系数相同。因此，PPS#1包括指示不存在发送的发送标记“0”。

编码设备50可以按照图21的第一发送方法至第三发送方法中的任何一种方法来发送用于对预测图像进行校正的信息。编码设备50可以以在编码比特流中包括标识信息的方式来发送用于识别被用作发送方法的第一发送方法至第三发送方法中的任何一种方法的标识信息(例如，标记、ID)。此外，可以根据使用编码比特流的应用，在考虑到编码比特流的数据量和解码的处理负荷之间的平衡的情况下适当选择图21的第一发送方法至第三发送方法。

在本实施方式中，在切片报头中设置用于对预测图像进行校正的信息作为关于编码的信息，但是用于对预测图像进行校正的信息的布置区域不限于切片报头，只要在编码期间可以查找到该区域即可。例如，可以在HEVC标准中所建议的新的NAL单元诸如APS(适配参数集)的NAL单元和现有的NAL(网络抽象层)单元诸如PPS的NAL单元中设置用于对预测图像进行校正的信息。

例如，当多个画面中校正系数和附加校正系数相同时，在可以施加到多个画面的NAL单元中设置相同的值(例如，PPS的NAL单元)，从而可以提高传输效率。更具体地，在该情况下，可以在多个画面间传输相同的校正系数和附加校正系数，因此，如在切片报头中设置该校正系数和附加校正系数的情况，不必要针对每个切片传输校正系数和附加校正系数。

因此，例如，当彩色图像是具有闪光效果和渐变效果的彩色图像时，参数如视差最小值、视差最大值以及摄像机间距离不太可能变化，因此，在PPS的NAL单元中设置校正系数和附加校正系数，使得发送效率提高。

例如，当校正系数和附加校正系数对于每个画面不同时，在切片报头中设置该校正系数和附加校正系数，当校正系数和附加校正系数在多个画面中相同时，可以在切片报头之上的层(例如，PPS的NAL单元)中设置该校正系数和附加校正系数。

此外，视差图像可以是包括表示对应于视差图像的视点的彩色图像的每个像素对象在深度方向上的位置的深度值的图像。在该情况下，视差最大值和视差最小值分别是可以在多视点视差图像中出现的深度方向上的位置的世界坐标值的最大值和最小值。

本技术还可以被应用到与HEVC方法不同的编码方法诸如AVC、MVC(多视图视频编码)等。

<第二实施方式>

[关于应用了本技术的计算机的说明]

随后，上述一系列处理可以由硬件或者软件进行。当通过软件进行该些列的处理时，在通用计算机等中安装构成软件的程序。

图24是安装有执行上述一系列处理的程序的计算机的实施方式的示例配置。

可以在作为记录介质结合到计算机中的存储单元808和ROM(只读存储器)802中预先存储程序。

或者，可以将程序存储(记录)到可移除介质811中。该可移除介质811可以以所谓的封装软件的形式提供。在该情况下，可移除介质811的示例包括例如软盘、CD-ROM(压缩盘只读存储器)、MO(磁光)盘、DVD(数字化通用盘)、磁盘、半导体存储器等。

可以使用驱动器810将程序从如上所述的可移除介质811安装到计算机。或者，可以经由通信网络或广播网络将程序下载到计算机并且可以将程序安装到计算机中设置的存储单元808。更具体地，例如，可以经由用于数字卫星广播的人造卫星将程序从下载站点无线传送到计算机，或者可以经由有线方式即网络诸如LAN(局域网)和因特网将程序传送到计算机。

计算机具有CPU(中央处理单元)801。CPU 801经由总线804连接到输入/输出接口805。

当用户操作输入单元806来经由输入/输出接口805向CPU 801输入命令时，CPU801执行ROM 802中存储的程序以对该命令做出响应。或者，CPU 801将在存储单元808中存储的程序加载到RAM(随机存取存储器)803，并执行该程序。

因此，CPU 801根据上述流程图进行处理或者CPU 801按照如上所述的框图中的配置进行处理。然后，例如，根据需要，CPU 801经由输入/输出接口805从输出单元807输出其处理结果、从通信单元809发送其处理结果，或者将其处理结果记录到存储单元808。

输入单元806由键盘、鼠标、麦克风等构成。输出单元807由LCD(液晶显示器)、扬声器等构成。

此处，在本说明书中，由计算机根据程序来进行的处理不必要根据流程图所描述的顺序按照时间序列来进行。换句话说，由计算机根据程序进行的处理包括独立执行的处理或者并行执行的处理(例如，对象进行的处理或者并行处理)。

程序可以由一个计算机(处理器)来处理或者可以由多个计算机作为分布式处理来处理。此外，程序可以被传送给相距很远的计算机，并且可以被执行。

本技术可以应用于用于经由网络介质如卫星广播、有线TV(电视)、因特网以及便携式电话进行通信的编码设备和解码设备，或者用于在记录介质如光盘、磁盘以及快闪存储器上进行处理的编码设备和解码设备。

上述编码设备和解码设备可以应用到任意给定的电子设备。在下文中将对电子设备的示例进行描述。

<第三实施方式>

[电视设备的配置示例]

图25示出应用了本技术的电视设备的示意性配置的示例。电视设备900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口单元909。此外，电视设备900还包括控制单元910和用户接口单元911。

调谐器902从由天线901接收的广播信号中调谐并且解调期望的频道，并且将因此获得的编码比特流输出到解复用器903。

解复用器903从编码比特流提取作为观看目标的TV节目的视频和音频包，并且将所提取的包的数据输出到解码器904。解复用器903还将数据包如EPG(电子节目指南)提供给控制单元910。在加扰的情况下，解复用器等进行解扰。

解码器904进行包的解码处理，并且将通过解码处理生成的视频数据输出到视频信号处理单元905，并且将通过解码处理生成的音频数据输出到音频信号处理单元907。

视频信号处理单元905根据用户设置对视频数据进行降噪和视频处理。例如，视频信号处理单元905基于经由网络提供的应用进行的处理来生成在显示单元906上显示的TV节目的视频数据和图像数据。视频信号处理单元905生成用于显示使得能够选择项目的菜单屏幕等的视频数据，并且将其叠加到TV节目的视频数据上。视频信号处理单元905基于因此生成的视频数据来生成驱动信号，并且驱动显示单元906。

例如，显示单元906通过基于由视频信号处理单元905提供的驱动信号来驱动显示设备(例如，液晶显示设备等)来显示TV节目的视频。

音频信号处理单元907对音频数据进行预定处理诸如降噪，执行D/A转换处理以及经处理的音频数据的放大处理，并且将该音频数据提供给扬声器908，从而输出音频。

外部接口单元909是用于连接外部设备和网络的接口，并且交换数据诸如视频数据和音频数据。

控制单元910连接到用户接口单元911。例如，用户接口单元911由操作开关和远程控制信号接收单元构成，并且根据用户操作将操作信号提供给控制单元910。

控制单元910由CPU(中央处理单元)、存储器等构成。例如，存储器存储由CPU执行的程序、CPU进行处理时所需的各种数据、EPG数据、经由网络获得的数据。存储在存储器中的程序由CPU在预定的定时诸如在电视设备900启动期间读取并执行。CPU执行程序从而控制每个单元，以便使电视设备900根据用户操作来工作。

电视设备900设置有总线912，总线912用于将调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909等连接到控制单元910。

在如上所述配置的电视设备中，解码器904中设置有本申请的解码设备(解码方法)的功能。因此，可以对通过使用关于视差图像的信息进行编码来提高其编码效率的视差图像的编码数据进行解码。

<第四实施方式>

[便携式电话的配置示例]

图26示出应用了本技术的便携式电话的示意性配置的示例。便携式电话920包括通信单元922、音频编解码器923、摄像机单元926、图像处理单元927、解多路复用单元928、记录/再现单元929、显示单元930以及控制单元931。它们经由总线933彼此连接。

通信单元922连接到天线921，并且音频编解码器923连接到扬声器924和麦克风925。此外，控制单元931连接到操作单元932。

便携式电话920在各种模式诸如音频通话模式和数据通信模式下进行各种操作诸如音频信号的发送和接收、电子邮件和图像数据的发送和接收、图像拍摄或者数据记录。

在音频通话模式下，例如，由麦克风925生成的模拟音频信号被转换为音频数据并且由音频编解码器923压缩，并且提供给通信单元922。通信单元922，例如对音频数据进行调制处理和频率转换处理，并生成发送信号。通信单元922将发送信号提供给天线921，并且将该发送信号发送给基站(未示出)。通信单元922，例如还对由天线921接收的接收信号进行放大、频率转换处理以及解调处理，并且将获得的音频数据提供给音频编解码器923。音频编解码器923例如对音频数据进行数据扩展，并转换为模拟音频信号，并且将该数据输出到扬声器924。

当在数据通信模式下发送邮件时，控制单元931接收通过操作单元932的操作而输入的字符数据，并且将输入的字符显示在显示单元930上。控制单元931例如还基于操作单元932的用户指令来生成邮件数据，并且将该邮件数据提供给通信单元922。通信单元922例如对邮件数据进行调制处理和频率转换处理，并且经由天线921发送所获得的发送信号。通信单元922例如对由天线921接收的接收信号进行放大、频率转换处理以及解调处理，并恢复邮件数据。邮件数据被提供给显示单元930，并显示邮件内容。

便携式电话920也可以使用记录/再现单元929将接收的邮件数据存储到存储介质中。存储介质是任意给定的可重写存储介质。例如，存储介质可以是半导体存储器如RAM和内部快闪存储器、硬盘或者可移除介质如磁盘、磁光盘、光盘、USB存储器或者存储卡。

当在数据通信模式下发送图像数据时，由摄像机单元926生成的图像数据被提供给图像处理单元927。图像处理单元927对图像数据进行编码处理并且生成编码数据。

解多路复用单元928根据预定的方法对由图像处理单元927生成的编码数据和由音频编解码器923提供的音频数据进行复用，并且将该数据提供给通信单元922。通信单元922例如对复用的数据进行调制处理和频率转换处理，并且将获得的发送信号经由天线921进行发送。通信单元922例如还对由天线921接收的接收信号进行放大、频率转换处理以及解调处理，并恢复复用的数据。复用的数据被提供给解多路复用单元928。解多路复用单元928分离复用数据，并且将编码数据提供给图像处理单元927，并且将音频数据提供给音频编解码器923。图像处理单元927对编码数据进行解码处理并且生成图像数据。图像数据被提供给显示单元930，并且显示所接收的图像。音频编解码器923将音频数据转换为模拟音频信号，并且将模拟音频信号提供给扬声器924以便输出所接收的音频。

在如上所述进行配置的便携式电话中，图像处理单元927设置有本申请的编码设备和解码设备(编码方法和解码方法)的功能。因此，可以通过使用关于视差图像的信息来提高视差图像的编码效率。此外，可以对通过使用关于视差图像的信息进行编码提高其编码效率的视差图像的编码数据进行解码。

<第五实施方式>

[记录/再现设备的配置示例]

图27示出应用了本技术的记录/再现设备的示意性配置的示例。例如，记录/再现设备940将所接收的广播节目的音频数据和视频数据记录到记录介质，并且在根据用户的指令的定时为用户提供所记录的数据。例如，记录/再现设备940可以从另外的设备获得音频数据和视频数据，并且能够将获得的音频数据和视频数据记录到记录介质。此外，记录/再现设备940对记录在记录介质中的音频数据和视频数据进行解码和输出，从而使得监视器设备等能够显示图像并且输出音频。

记录/再现设备940包括调谐器941、外部接口单元942、编码器943、HDD(硬盘驱动器)单元944、盘驱动器945、·选择器946、解码器947、OSD(屏幕上显示)单元948、控制单元949以及用户接口单元950。

调谐器941从由天线(未示出)接收的广播信号中调谐预期的频道。调谐器941将通过对预期的频道的接收信号进行解调而获得的编码比特流输出到选择器946。

外部接口单元942例如可以包括IEEE1349接口、网络接口单元、USB接口、快闪存储器接口等中的任何一个。外部接口单元942是用于连接到外部设备、网络、存储卡等的接口，并且接收因此被记录的数据诸如视频数据、音频数据等。

当由外部接口单元942提供的视频数据和音频数据没有被编码时，编码器943根据预定的方法进行编码，并且将编码比特流输出到选择器946。

HDD单元944将内容数据如视频和音频、各种程序的其它数据等记录到内部硬盘上，并且在回放期间等从硬盘读出内容数据。

盘驱动器945将信号记录到装载的光盘/从光盘再现该信号。例如，光盘是DVD盘(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)、蓝光盘等。

在记录视频和音频期间，选择器946从调谐器941和编码器943中的任何一个选择编码比特流，并且将其提供给HDD单元944和磁盘驱动器945中的任何一个。在再现视频和音频期间，选择器946向解码器947提供从HDD单元944或者磁盘驱动器945输出的编码比特流。

解码器947对编码比特流进行解码处理。解码器947进行解码处理，从而将生成的视频数据提供给OSD单元948。解码器947进行解码处理，从而输出所生成的音频数据。

OSD单元948生成用于显示菜单屏幕等如项目选择的视频数据，并且将其叠加和输出到从解码器947输出的视频数据上。

控制单元949连接到用户接口单元950。用户接口单元950例如由操作开关和远程控制信号接收单元构成，并且根据用户操作将操作信号提供给控制单元949。

控制单元949由CPU、存储器等构成。存储器例如存储由CPU执行的程序和当CPU进行处理时所需的各种数据。存储在存储器中的程序由CPU在预定定时如记录/再现设备940启动期间被读取并执行。CPU执行程序，从而控制每个单元以便使记录/再现设备940根据用户操作工作。

在如上所述配置的记录/再现设备中，解码器947设置有本申请的解码设备(解码方法)的功能。因此，可以对通过使用关于视差图像的信息进行编码提高其编码效率的视差图像的编码数据进行解码。

<第六实施方式>

[图像拍摄设备的配置示例]

图28示出应用了本技术的图像拍摄设备的示意性配置的示例。图像拍摄设备960拍摄目标图像，在显示单元上显示目标图像，并且将图像数据记录到记录介质。

图像拍摄设备960包括光学块961、图像拍摄单元962、摄像机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969以及控制单元970。控制单元970连接到用户接口单元971。此外，图像数据处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969、控制单元970等经由总线972连接。

光学块961例如由聚焦透镜、光圈机构等构成。光学块961将对象的光学图像形成在图像拍摄单元962的成像表面上。图像拍摄单元962包括CCD或CMOS图像传感器，并且通过电转换根据光学图像生成电信号，并且将生成的电信号提供给摄像机信号处理单元963。

摄像机信号处理单元963对由图像拍摄单元962提供的电信号进行各种摄像机信号处理，诸如拐点校正、伽玛校正以及色彩校正。摄像机信号处理单元963向图像数据处理单元964提供经摄像机信号处理的图像数据。

图像数据处理单元964对由摄像机信号处理单元963提供的图像数据进行编码处理。图像数据处理单元964向外部接口单元966和介质驱动器968提供通过进行编码处理产生的编码数据。图像数据处理单元964对由外部接口单元966和介质驱动器968提供的编码数据进行解码处理。图像数据处理单元964向显示单元965提供通过进行解码处理生成的图像数据。图像数据处理单元964进行将由摄像机信号处理单元963提供的图像数据提供给显示单元965的处理，并且将从OSD单元969获得的显示数据叠加在图像数据上从而将该数据提供给显示单元965。

OSD单元969生成显示数据如菜单画面和包括符号、字符或图形的图标，并且将该显示数据输出到图像数据处理单元964。

外部接口单元966例如由USB输入/输出端子构成，并且当打印图像时连接到打印机。外部接口单元966还根据需要连接到驱动器和根据需要装载的可移除介质诸如磁盘和光盘，并且根据需要安装从其读取的计算机程序。此外，外部接口单元966包括连接到预定网络如LAN或因特网的网络接口。例如，控制单元970根据来自用户接口单元971的命令从存储器单元967读取编码数据，并且能够将该数据从外部接口单元966提供给经由网络连接的另外的设备。控制单元970例如经由外部接口单元966获得由另外的设备经由网络提供的编码数据和图像数据，并且能够将该数据提供给图像数据处理单元964。

由介质驱动器968驱动的记录介质可以是任意给定的可读并且可写的可移除介质如磁盘、磁光盘、光盘或者半导体存储器。记录介质可以是任意类型的如可移除介质，并且可以是磁带设备或盘或者存储卡。要理解的是，其可以是非接触式IC卡等。

可以集成介质驱动器968与记录介质等，例如可以通过不可移除存储介质配置内部硬盘驱动器和SSD(固态驱动器)、介质驱动器968以及记录介质。

控制单元970由CPU、存储器等构成。存储器例如存储由CPU执行的程序、当CPU进行处理时所需的各种数据。存储在存储器中的程序由CPU在预定定时如在图像拍摄设备960启动期间读取并执行。CPU执行程序，从而控制每个单元以使图像拍摄设备960根据用户的操作工作。

在如上所述配置的图像拍摄设备中，图像数据处理单元964设置有本申请的编码设备和解码设备(编码方法和解码方法)的功能。因此，可以通过使用关于视差图像的信息提高视差图像的编码效率。此外，可以对通过使用关于视差图像的信息进行编码而提高了其编码效率的视差图像的编码数据进行解码。

更具体地，本技术的实施方式不限于上述的实施方式，并且可以以各种方式进行变化，只要其在本技术的要旨内即可。

应当注意的是，本技术可以如下配置。

(1)

一种编码设备，包括：

校正单元，被配置成使用关于基准视点的视差图像的信息来校正所述基准视点的所述视差图像的预测图像；

编码单元，被配置成使用经所述校正单元校正的所述预测图像对所述基准视点的所述视差图像进行编码；以及

发送单元，被配置成发送由所述编码单元编码的所述基准视点的所述视差图像以及关于所述基准视点的所述视差图像的所述信息。

(2)

根据(1)所述的编码设备，其中，关于所述基准视点的所述视差图像的所述信息包括视点生成信息，所述视点生成信息是用于使用所述基准视点的所述视差图像和所述基准视点的彩色图像来生成与所述基准视点不同的视点的彩色图像的信息，并且

所述发送单元将所述视点生成信息作为用于对所述基准视点的所述视差图像进行编码的编码参数来发送。

(3)

根据(2)所述的编码设备，其中，所述校正单元基于所述视点生成信息，使用用于校正所述预测图像的校正系数来校正所述预测图像，并且

所述发送单元将校正系数作为所述编码参数来发送。

(4)

根据(2)所述的编码设备，其中，关于所述基准视点的所述视差图像的所述信息包括表示用于拍摄所述基准视点的所述彩色图像的图像拍摄单元在深度方向上的图像拍摄位置的图像拍摄位置信息，

所述校正单元基于所述图像拍摄位置信息和所述视点生成信息，使用用于校正所述预测图像的所述校正系数来校正所述预测图像，并且

所述发送单元将所述校正系数作为所述编码参数来发送。

(5)

根据(3)或(4)所述的编码设备，其中，所述校正单元设定所述校正系数。

(6)

根据(1)至(5)中任一项所述的编码设备，其中，所述编码单元按照具有层级结构的单位对所述基准视点的所述视差图像进行编码。

(7)

根据(1)至(6)中任一项所述的编码设备，还包括：预测图像生成单元，用于生成所述基准视点的所述视差图像的所述预测图像。

(8)

一种用于编码设备的编码方法，包括：

校正步骤：使用关于基准视点的视差图像的信息来校正所述基准视点的所述视差图像的预测图像；

编码步骤：使用经所述校正步骤中的处理校正的所述预测图像对所述基准视点的所述视差图像进行编码；以及

发送步骤：发送通过所述编码步骤中的处理编码的所述基准视点的所述视差图像以及关于所述基准视点的所述视差图像的所述信息。

(9)

一种解码设备，包括：

接收单元，被配置成接收使用基准视点的视差图像的预测图像编码的所述基准视点的所述视差图像以及关于所述基准视点的所述视差图像的信息，其中所述预测图像是使用关于所述基准视点的所述视差图像的所述信息校正的；

校正单元，被配置成使用由所述接收单元接收的关于所述基准视点的所述视差图像的所述信息来校正所述基准视点的所述视差图像的预测图像；以及

解码单元，被配置成使用由所述校正单元校正的所述预测图像对由所述接收单元接收的经编码的所述基准视点的所述视差图像进行解码。

(10)

根据(9)所述的解码设备，还包括：彩色图像生成单元，被配置成使用由所述解码单元解码的所述基准视点的所述视差图像以及所述基准视点的彩色图像来生成与所述基准视点不同的视点的彩色图像，

其中，关于所述基准视点的所述视差图像的所述信息包括视点生成信息，所述视点生成信息是用于使用所述基准视点的所述视差图像以及所述基准视点的所述彩色图像来生成与所述基准视点不同的视点的彩色图像的信息，

所述接收单元接收作为用于对经编码的所述基准视点的所述视差图像进行解码的编码参数而被发送的所述视点生成信息，并且

所述彩色图像生成单元使用由所述解码单元解码的所述基准视点的所述视差图像、所述基准视点的所述彩色图像以及由所述接收单元接收的所述视点生成信息来生成与所述基准视点不同的所述视点的所述彩色图像。

(11)

根据(10)所述的解码设备，其中，所述接收单元接收作为所述编码参数发送的在编码过程中用于校正所述预测图像的校正系数，

基于所述视点生成信息来生成所述校正系数，并且

所述校正单元使用由所述接收单元接收的所述校正系数来校正所述预测图像。

(12)

根据(10)所述的解码设备，其中，关于所述基准视点的所述视差图像的所述信息包括表示用于拍摄所述基准视点的所述彩色图像的图像拍摄单元在深度方向上的图像拍摄位置的图像拍摄位置信息，

所述接收单元接收作为所述编码参数发送的在编码过程中用于校正所述预测图像的校正系数，并且

所述校正单元使用由所述接收单元接收的所述校正系数以及所述视点生成信息来校正所述预测图像。

(13)

根据(12)所述的设备，其中，所述校正系数是基于所述视点生成信息而设定的。

(14)

根据(9)至(13)中任一项所述的解码设备，其中，所述基准视点的所述视差图像是按照具有层级结构的单位来进行编码的。

(15)

根据(9)至(14)中任一项所述的解码设备，还包括：预测图像生成单元，用于生成所述基准视点的所述视差图像的所述预测图像。

(16)

一种用于解码设备的解码方法，包括：

接收步骤：接收使用基准视点的视差图像的预测图像编码的所述基准视点的所述视差图像以及关于所述基准视点的所述视差图像的信息，其中所述预测图像是使用关于所述基准视点的所述视差图像的所述信息校正的；

校正步骤：使用通过所述接收步骤中的处理接收的关于所述基准视点的所述视差图像的所述信息来校正所述基准视点的所述视差图像的预测图像；以及

解码步骤：使用通过所述校正步骤中的处理校正的所述预测图像，对通过所述接收步骤中的处理接收的经编码的所述基准视点的所述视差图像进行解码。

参考标记列表

50编码设备，64SPS编码单元，123算术运算单元，134运动预测/补偿单元，135校正单元，150解码设备，152视点合成单元，171SPS解码单元，255加法单元，262运动补偿单元，263校正单元。

Claims

1.一种编码设备，包括：

校正单元，被配置成使用关于基准视点的视差图像的信息来校正所述基准视点的所述视差图像的预测图像，使得减少所述视差图像和所述预测图像之间的差，所述信息包括视差最大值、视差最小值以及摄像机间距离；

2.根据权利要求1所述的编码设备，其中，关于所述基准视点的所述视差图像的所述信息包括视点生成信息，所述视点生成信息是用于使用所述基准视点的所述视差图像和所述基准视点的彩色图像来生成与所述基准视点不同的视点的彩色图像的信息，并且所述发送单元将所述视点生成信息作为用于对所述基准视点的所述视差图像进行编码的编码参数来发送。

3.根据权利要求2所述的编码设备，其中，所述校正单元基于所述视点生成信息，使用用于校正所述预测图像的校正系数来校正所述预测图像，并且

所述发送单元将所述校正系数作为所述编码参数来发送。

4.根据权利要求3所述的编码设备，其中，所述发送单元将所述视差最大值、所述视差最小值以及所述摄像机间距离作为在解码期间不用于对所述预测图像进行校正的信息来发送。

5.根据权利要求4所述的编码设备，其中，所述发送单元将所述视差最大值、所述视差最小值以及所述摄像机间距离作为补充增强信息来发送。

6.根据权利要求2所述的编码设备，其中，关于所述基准视点的所述视差图像的所述信息包括表示用于拍摄所述基准视点的所述彩色图像的图像拍摄单元在深度方向上的图像拍摄位置的图像拍摄位置信息，

所述校正单元基于所述图像拍摄位置信息和所述视点生成信息，使用用于校正所述预测图像的校正系数来校正所述预测图像，并且

所述发送单元将所述校正系数作为所述编码参数来发送。

7.根据权利要求6所述的编码设备，其中，所述校正单元设定所述校正系数。

8.根据权利要求7所述的编码设备，其中，所述编码单元按照具有层级结构的单位对所述基准视点的所述视差图像进行编码。

9.根据权利要求1所述的编码设备，还包括：预测图像生成单元，用于生成所述基准视点的所述视差图像的所述预测图像。

10.一种用于编码设备的编码方法，包括：

校正步骤：使用关于基准视点的视差图像的信息来校正所述基准视点的所述视差图像的预测图像，使得减少所述视差图像和所述预测图像之间的差，所述信息包括视差最大值、视差最小值以及摄像机间距离；

11.一种解码设备，包括：

接收单元，被配置成接收使用基准视点的视差图像的预测图像编码的所述基准视点的所述视差图像以及关于所述基准视点的所述视差图像的信息，其中所述预测图像是使用关于所述基准视点的所述视差图像的所述信息校正的，所述信息包括视差最大值、视差最小值以及摄像机间距离；

校正单元，被配置成使用由所述接收单元接收的关于所述基准视点的所述视差图像的所述信息来校正所述基准视点的所述视差图像的预测图像，使得减少所述视差图像和所述预测图像之间的差；以及

12.根据权利要求11所述的解码设备，还包括：彩色图像生成单元，被配置成使用由所述解码单元解码的所述基准视点的所述视差图像以及所述基准视点的彩色图像来生成与所述基准视点不同的视点的彩色图像，

13.根据权利要求12所述的解码设备，其中，所述接收单元接收作为所述编码参数发送的在编码过程中用于校正所述预测图像的校正系数，

基于所述视点生成信息来生成所述校正系数，并且

14.根据权利要求13所述的解码设备，其中，所述接收单元将所述视差最大值、所述视差最小值以及所述摄像机间距离作为在解码期间不用于对所述预测图像进行校正的信息来接收。

15.根据权利要求14所述的解码设备，其中，所述接收单元将所述视差最大值、所述视差最小值以及所述摄像机间距离作为补充增强信息来接收。

16.根据权利要求12所述的解码设备，其中，关于所述基准视点的所述视差图像的所述信息包括表示用于拍摄所述基准视点的所述彩色图像的图像拍摄单元在深度方向上的图像拍摄位置的图像拍摄位置信息，

17.根据权利要求16所述的解码设备，其中，所述校正系数是基于所述视点生成信息而设定的。

18.根据权利要求17所述的解码设备，其中，所述基准视点的所述视差图像是按照具有层级结构的单位来进行编码的。

19.根据权利要求11所述的解码设备，还包括：预测图像生成单元，用于生成所述基准视点的所述视差图像的所述预测图像。

20.一种用于解码设备的解码方法，包括：

接收步骤：接收使用基准视点的视差图像的预测图像编码的所述基准视点的所述视差图像以及关于所述基准视点的所述视差图像的信息，其中所述预测图像是使用关于所述基准视点的所述视差图像的所述信息校正的，所述信息包括视差最大值、视差最小值以及摄像机间距离；

校正步骤：使用通过所述接收步骤中的处理接收的关于所述基准视点的所述视差图像的所述信息来校正所述基准视点的所述视差图像的预测图像，使得减少所述视差图像和所述预测图像之间的差；以及