CN103416059A - 图像处理设备，图像处理方法和程序 - Google Patents

Abstract

本技术涉及一种能够改善解码图像的图像质量的图像处理设备、图像处理方法和程序。校正单元把至少通过量化和逆量化把对应于预定数据，比如视差的值作为像素值的深度图像而获得的解码图像的像素值校正为预定的规定值，所述把对应于预定数据，比如视差的值作为像素值的深度图像是其中按照所述预定数据的最大值和最小值，把作为像素值的可能值规定为所述预定的规定值的深度图像。本技术适用于把关于颜色图像的每个像素的视差的深度信息作为像素值的深度图像等的编码和解码。

Description

图像处理设备,图像处理方法和程序

技术领域

本技术涉及图像处理设备，图像处理方法和程序，涉及能够改善至少通过量化和逆量化图像而获得的解码图解的图像质量的图像处理设备，图像处理方法和程序。

背景技术

编码诸如3D(维)图像之类的多视点图像的编码系统包括MVC(多视点视频编码)系统等，例如，MVC是扩展的AVC(高级视频编码)(H.264/AVC)系统。

在MVC系统中，待编码的图像是把与来自被摄物体的光对应的值作为像素值的颜色图像，并且不仅参考本视点的颜色图像，而且必须时，参考另一个视点的颜色图像，编码多个视点的颜色图像中的每个颜色图像。

即，在MVC系统中，使多个视点的颜色图像中的一个视点的颜色图像成为基本视点的图像，使另一个视点的颜色图像成为从属视点的图像。

基本视点的图像(颜色图像)是仅仅参考基本视点的图像编码的，而从属视点的图像(颜色图像)是不仅参考该从属视点的图像，而且必要时，参考另一个从属视点的图像编码的。

最近，正在开发诸如MPEG3DV系统之类的标准，作为通过除了每个视点的颜色图像之外，还把将具有关于每个视点的颜色图像的每个像素的视差的视差信息作为像素值的视差信息图像采用为多视点的图像，编码每个视点的颜色图像和每个视点的视差信息图像的编码系统。

在MPEG3DV系统中，提出原则上和MVC系统中一样，编码每个视点的每个颜色图像和每个视点的视差信息图像。在MPEG3DV系统中，提出了视差信息图像的各种处理(例如，参见非专利文献1)。

引文列表

非专利文献

非专利文献1：“Draft Call for Proposals on3D Video CodingTechnology”，INTERNATIONAL ORGANISATION FORSTANDARDISATION,ORGANISATION INTERNATIONALE DENORMALISATION,ISO/IEC JTC1/SC29/WG11,CODING OFMOVING PICTURES AND AUDIO,ISO/IEC JTC1/SC29/WG11,MPEG2010/N11679，中国广州，2010年10月。

发明内容

当按照和MVC系统相同的方式，编码和解码视差信息图像时，存在通过解码获得的解码图像的图像质量退化的情况。

鉴于这种情况，实现了本技术，本技术的目的是改善解码图像的图像质量。

按照本技术的一个方面的图像处理设备或程序是一种图像处理设备或使计算机可以充当所述图像处理设备的程序，所述图像处理设备包括校正单元，所述校正单元把至少通过量化和逆量化把对应于预定数据的值作为像素值的图像而获得的解码图像的像素值校正为预定的规定值，所述把对应于预定数据的值作为像素值的图像是其中按照所述预定数据的最大值和最小值，把作为像素值的可能值规定为所述预定的规定值的图像。

按照本技术的一个方面的图像处理方法是包括以下步骤的图像处理方法：把至少通过量化和逆量化把对应于预定数据的值作为像素值的图像而获得的解码图像的像素值校正为预定的规定值，所述把对应于预定数据的值作为像素值的图像是其中按照所述预定数据的最大值和最小值，把作为像素值的可能值规定为所述预定的规定值的图像。

在上述一个方面中，至少通过量化和逆量化把对应于预定数据的值作为像素值的图像而获得的解码图像的像素值被校正为预定的规定值，所述把对应于预定数据的值作为像素值的图像是其中按照所述预定数据的最大值和最小值，把作为像素值的可能值规定为所述预定的规定值的图像。

同时，图像处理设备可以是独立的设备，或者可以是构成一个设备的内部部件。

另外，可通过经传输介质传送，或者记录在记录介质上而提供所述程序。

按照本技术的一个方面，能够改善解码图像的图像质量。

附图说明

图1是图解说明生成多视点图像的多视点图像生成设备的结构例子的方框图。

图2是图解说明视差图像的处理的视图。

图3是图解说明本技术的概况的视图。

图4是图解说明应用本技术的多视点图像编码器的一个实施例的结构例子的方框图。

图5是图解说明MVC系统中的预测编码中的当生成预测图像时参照的图片的视图。

图6是图解说明MVC系统中的图片（picture）的编码(和解码)的顺序的视图。

图7是图解说明编码器11的结构例子的方框图。

图8是图解说明MVC(AVC)系统中的宏块种类的视图。

图9是图解说明MVC(AVC)系统中的预测运动向量(PMV)的视图。

图10是图解说明MVC(AVC)系统中的预测运动向量(PMV)的视图。

图11是图解说明编码器22的结构例子的方框图。

图12是图解说明校正单元232的结构例子的方框图。

图13是图解说明映射信息的例子的视图。

图14是图解说明编码视点#2的视差图像D#2的编码处理的流程图。

图15是图解说明校正处理的流程图。

图16是图解说明像素值改变处理的流程图。

图17是图解说明像素值校正处理的流程图。

图18是图解说明应用本技术的多视点图像解码器的一个实施例的结构例子的方框图。

图19是图解说明解码器311的结构例子的方框图。

图20是图解说明解码器322的结构例子的方框图。

图21是图解说明校正单元462的结构例子的方框图。

图22是图解说明解码视点#2的视差图像D#2的编码数据的解码处理的流程图。

图23是图解说明校正处理的流程图。

图24是图解说明像素值校正处理的流程图。

图25是图解说明包含在报头信息中的预测器标记的例子的示图。

图26是图解说明包含在报头信息中的预测器标记的例子的示图。

图27是图解说明包含在报头信息中的预测器标记的例子的示图。

图28是图解说明到规定值的校正和拍摄视差向量d的动态范围|dmax-dmin|之间的关系的视图。

图29是图解说明到规定值的校正和目标块的量化步长之间的关系的视图。

图30是图解说明编码器22的另一个结构例子的方框图。

图31是图解说明校正单元532的结构例子的方框图。

图32是图解说明编码视点#2的视差图像D#2的编码处理的流程图。

图33是图解说明校正处理的流程图。

图34是图解说明像素值校正处理的流程图。

图35是图解说明解码器322的结构例子的方框图。

图36是图解说明校正单元662的结构例子的方框图。

图37是图解说明解码视点#2的视差图像D#2的编码数据的解码处理的流程图。

图38是图解说明视差和深度的视图。

图39是图解说明应用本技术的计算机的一个实施例的结构例子的方框图。

图40是图解说明应用本技术的电视机的示意结构例子的视图。

图41是图解说明应用本技术的移动电话机的示意结构例子的视图。

图42是图解说明应用本技术的记录/再现设备的示意结构例子的视图。

图43是图解说明应用本技术的摄像设备的示意结构例子的视图。

具体实施方式

[本说明书中的深度图像(视差信息图像)的说明]

图38是图解说明视差和深度的视图。

如图38中图解所示，当利用布置在位置C1的摄像机c1和布置在位置C2的摄像机c2，拍摄被摄物体M的颜色图像时，作为深度方向上，被摄物体M和摄像机c1(摄像机c2)之间的距离的深度Z由下式(a)定义。

Z=(L/d)×f    …(a)

其中，L代表水平方向上，位置C1和C2之间的距离(下面称为摄像机间距离)。另外，d代表通过从在利用摄像机c1拍摄的颜色图像上的被摄物体M的位置与颜色图像的中心之间的水平方向的距离u1中，减去利用摄像机c2拍摄的颜色图像上的被摄物体M的位置与颜色图像的中心之间的水平方向的距离u2而获得的值，即，视差。此外，f代表摄像机c1的焦距，在式(a)中，摄像机c1的焦距和摄像机c2的焦距相同。

如式(a)所示，视差d和深度Z是可以唯一地转换的。于是，在本说明书中，利用摄像机c1和c2拍摄的2视点的颜色图像的表示视差d的图像和表示深度Z的图像被共同称为深度图像(视差信息图像)。

同时，表示视差d或者深度Z的图像可用作深度图像(视差信息图像)，并且不是视差d或者深度Z本身，而是通过使视差d归一化而获得的值，通过使深度Z的倒数1/Z归一化而获得的值等可被采用为深度图像(视差信息图像)的像素值。

利用下式(b)，可获得通过把视差d归一化成8比特(0～255)而获得的值I。同时，视差d可不必被归一化成8比特，视差d也可被归一化成10比特、12比特等等。

[式1]

$I=\frac{255\×(d-D_{\min })}{D_{\max }-D_{\min }}\·\·\·\left(b\right)$

其中在式(b)中，D_max代表视差d的最大值，而D_min代表视差d的最小值。可以一个画面为单位，或者以多个画面为单位，设定最大值D_max和最小值D_min。

利用下式(c)，可获得通过把深度Z的倒数1/Z归一化成8比特(0～255)而获得的值y。同时，深度Z的倒数1/Z不必被归一化成8比特，也可被归一化成10比特、12比特等等。

[式2]

$y=255\×\frac{\frac{1}{Z}-\frac{1}{Z_{\mathrm{far}}}}{\frac{1}{Z_{\mathrm{near}}}-\frac{1}{Z_{\mathrm{far}}}}\·\·\·\left(c\right)$

其中在式(c)中，Z_far代表深度Z的最大值，而Z_near代表深度Z的最小值。可以一个画面为单位，或者以多个画面为单位，设定最大值Z_far和最小值Z_near。

按照这种方式，在本说明书中，考虑到视差d和深度Z可以唯一地转换的事实，其中通过使视差d归一化而获得的值I是像素值的图像，和其中通过使深度Z的倒数1/Z归一化而获得的值y是像素值的图像被共同称为深度图像(视差信息图像)。尽管在这里，深度图像(视差信息图像)的颜色格式是YUV420或YUV400，不过也可以使用另一种颜色格式。

同时，当注意力未集中在作为深度图像(视差信息图像)的像素值的值I或值y上，而是集中在所述值的信息本身上时，值I或值y变成深度信息(视差信息)。此外，映射值I到值y的图成为深度图(视差图)。

[多视点图像]

下面参考附图，说明本技术的一个实施例；作为所述说明的预备步骤，说明多视点图像。

图1是图解说明生成多视点图像的多视点图像生成设备的结构例子的方框图。

在多视点图像生成设备中，为了拍摄多个视点，例如，2个视点的图像，在可以拍摄不同视点的颜色图像的位置，安装2部摄像机41和42。

这里，在本实施例中，为了简化说明，摄像机41和42被布置在某个水平面上的相同直线上的不同位置，以致摄像机41和42的光轴都在垂直于所述直线的方向上。

摄像机41在布置所述摄像机41的位置，拍摄被摄物体的图像，从而输出作为移动图像的颜色图像C#1。

此外，摄像机41使另一个可选的摄像机，例如，摄像机42的位置成为基准视点，并输出视差向量d1，视差向量d1代表颜色图像C#1的每个像素的相对于基准视点的视差。

摄像机42在布置所述摄像机42的位置，拍摄被摄物体的图像，从而输出作为移动图像的颜色图像C#2。

此外，摄像机42使另一个可选的摄像机，例如，摄像机41的位置成为基准视点，并输出视差向量d2，视差向量d2代表颜色图像C#2的每个像素的相对于基准视点的视差。

这里，当其中颜色图像的横向(水平)方向和纵向(垂直)方向分别沿着其x轴和y轴的二维平面被称为颜色图像平面时，摄像机41和42被布置在与颜色图像平面正交，并且平行于x轴的平面(水平平面)上的相同直线上。于是，视差向量d1和d2是其y分量为0，而x分量是与摄像机41和42之间的水平方向的位置关系等对应的值的向量。

同时，下面也把从摄像机41和42输出的视差向量d1和d2称为拍摄视差向量d1和d2，以便与后面说明的代表利用ME获得的视差的视差向量区分开。

从摄像机41输出的颜色图像C#1和拍摄视差向量d1，和摄像机42输出的颜色图像C#2和拍摄视差向量d2被提供给多视点图像信息生成单元43。

多视点图像信息生成单元43直接输出来自摄像机41和42的颜色图像C#1。

多视点图像信息生成单元43还从来自摄像机41的拍摄视差向量d1中，获得关于颜色图像#1的每个像素的视差的视差信息(深度信息)，从而生成和输出把所述视差信息作为像素值的视差信息图像(深度图像)D#1。

此外，多视点图像信息生成单元43从来自摄像机42的拍摄视差向量d2中，获得关于颜色图像#2的每个像素的视差的视差信息，从而生成和输出把所述视差信息作为像素值的视差信息图像D#2。

这里，如上所述，作为视差信息(深度信息)，例如存在视差值(值I)，它是与拍摄视差向量(视差)对应的值，和深度值(值y)，它是与到被摄物体的距离(深度Z)对应的值。

这里，视差信息图像的像素值取例如用8比特表示的从0～255的整数值。此外，拍摄视差向量(的x分量)用d表示，拍摄视差向量(的x分量)的最大值和最小值分别用dmax(Dmax)和dmin(Dmin)表示(例如在图片中，作为一个内容的移动图像等)。

在这种情况下，例如，利用拍摄视差向量d(的x分量)及其最大值dmax和最小值dmin，按照式(1)获得视差值ν(值I)。

ν=255×(d-dmin)/(dmax-dmin)    …(1)

同时，按照式(2)，式(1)中的视差值ν可被转换成拍摄视差向量d(的x分量)。

d=ν×(dmax-dmin)/255+dmin    …(2)

深度Z代表从布置摄像机41和42的直线到被摄物体的距离。

当作为摄像机41和布置在相同直线上的摄像机42之间的距离(距基准视点的距离)的基线长度用L表示，而摄像机41的焦距用f表示时，利用拍摄视差向量d(d1)(的x分量)，按照式(3)可获得从摄像机41(这同样适用于摄像机42)到被摄物体的距离Z(深度Z)。

Z=(L/d)×f    …(3)

作为视差信息的视差值ν和到被摄物体的距离Z(从而此外拍摄视差向量d)可按照式(1)-(3)相互转换，以致它们是等价的信息。

下面，把视差值ν(值I)作为像素值的视差信息图像(深度图像)也被称为视差图像，把深度值(值y)作为像素值的图像也被称为深度图像。

同时，尽管下面把视差图像和深度图像中的例如视差图像用作视差信息图像，不过也可把深度图像用作视差信息图像。

除了上述颜色图像#1和#2，以及视差图像(视差信息图像)D#1和#2之外，多视点图像信息生成单元43还输出视差相关信息(深度相关信息)，所述视差相关信息是视差信息的元数据。

即，作为摄像机41和42之间的距离(各个摄像机41和42与基准视点之间的距离)的基线长度L，和焦距f从外部被提供给多视点图像信息生成单元43。

多视点图像信息生成单元43分别关于来自摄像机41的拍摄视差向量d1和来自摄像机41的拍摄视差向量d2，检测拍摄视差向量d(的x分量)的最大值dmax和最小值dmin。

随后，多视点图像信息生成单元43输出拍摄视差向量d的最大值dmax和最小值dmin，基线长度L和焦距f，作为视差相关信息。

同时，尽管在这里，摄像机41和42被布置在与颜色图像平面正交的相同平面上的相同直线上，并且拍摄视差向量d(d1和d2)是其y分量为0的向量，以便简化说明，不过，摄像机41和42可被布置在与颜色图像平面正交的不同平面上。在这种情况下，拍摄视差向量d是其x分量和y分量可以取除0以外的值的向量。

下面，说明酌情利用从多视点图像信息生成单元43输出的视差相关信息，对同样从多视点图像信息生成单元43输出的作为多视点图像的颜色图像C#1和C#2，以及视差图像D#1和D#2编码，和对它们解码的方法。

[视差图像的处理]

图2是图解说明在非专利文献1中提出的视差图像的处理的视图。

如图1中图解所示，在假定作为视差图像的像素值的视差值ν取用8比特表示的从0～255的整数值时，非专利文献1提出可使视差值ν和拍摄视差向量d(的x分量)具有利用式(1)和(2)表示的关系。

按照式(1)和(2)，拍摄视差向量d被映射到视差值ν，以致拍摄视差向量d的最小值dmin为0，它是作为像素值的视差值ν的最小值，而拍摄视差向量d的最大值dmax为255，它是作为像素值的视差值ν的最大值。

于是，按照拍摄视差向量d的最小值dmin和最大值dmax，作为视差图像的像素值的视差值ν的可能值被规定为预定值(下面也称为规定值)。

即，当拍摄视差向量d的动态范围，即，最大值dmax和最小值dmin之差dmax-dmin例如为51时，如图2中图解所示，视差值ν的可能值被规定(设定)成作为间距为5(=255/(dmax-dmin)=255/51)的整数值的规定值0、5、10等，

于是，可以说视差图像是把与作为预定数据的拍摄视差向量d对应的值(视差值ν)作为像素值的图像，其中按照拍摄视差向量d的最大值dmax和最小值dmin，作为像素值的可能值被规定成预定规定值的图像。

同时，也可按照和视差图像相同的方式，处理深度图像。

在如同MVC系统等中一样，至少借助量化对视差图像编码，并至少借助逆量化对视差图像解码的情况下，由于量化和逆量化生成的量化噪声(量化失真)(量化误差)，通过解码获得的解码图像(视差图像)的图像质量可能退化(像素值不同于原始图像的像素值)。

于是，本技术利用作为视差图像的像素值的视差值ν的可能值变成按照拍摄视差向量d的最大值dmax和最小值dmin规定的规定值的特性，改善视差图像的解码图像的图像质量。

[本技术的概况]

图3是图解说明本技术的概况的视图。

如上所述，当例如利用MVC系统编码和解码视差图像时，由于量化和逆量化生成的量化失真，通过解码获得的解码图像的图像质量退化。

即，例如，如图3中图解所示，当作为视差图像的某个像素值的视差值ν为10时，由于量化失真，通过利用MVC系统，编码和解码视差图像而获得的解码图像的像素值(下面也称为解码像素值)不同于原始图像(编码前的视差图像)的像素值；例如，该像素值被设定为8等。

这里，当作为视差图像的视差值ν的可能值的规定值为0、5、10等时，视差值ν不可能是作为非规定值的8。

于是，本技术把解码的像素值从当前值8校正(移动)到规定值0、5、10等之中的最接近于当前值的值(最近的邻近值)10。

结果，按照本技术，解码图像的像素值(解码像素值)与原始图像的像素值(编码前的视差图像的视差值ν)相符，以致可以改善解码图像的图像质量。

同时，本技术可把解码图像的每个解码像素值从当前值校正为规定值之中的最接近于当前值的值。

不过，取决于解码像素值，存在未校正的当前值比校正值更接近于原始图像的像素值的情况。

于是，对视差图像编码的编码器可按诸如宏块之类的预定单元，判定(决定)是否校正解码像素值，并输出例如指示是把解码像素值校正为规定值，还是使解码像素值保持不变(不校正该解码像素值)的1比特校正标记。

解码视差图像的解码器可根据校正标记，把解码像素值校正为规定值，或者使解码像素值保持不变。

[应用本技术的多视点图像编码器的一个实施例]

图4是图解说明应用本技术的多视点图像编码器的一个实施例的结构例子的方框图。

图4中的多视点图像编码器例如是利用MVC系统，编码多视点的图像的编码器，下面适当省略与MVC系统相同的处理的说明。

同时，多视点图像编码器并不局限于利用MVC系统的编码器。

下面，作为2个视点#1和#2的颜色图像的视点#1的颜色图像C#1和视点#2的颜色图像C#2，和作为2个视点#1和#2的视差信息图像的视点#1的视差图像D#1和视点#2的视差图像D#2被采用为多视点的图像。

此外，视点#1的颜色图像C#1和视差图像D#1被视为基本视点的图像，而另一个视点#2的颜色图像C#2和视差图像D#2被视为从属视点的图像。

同时，3个视点或者更多视点的颜色图像和视差信息图像可被采用为多视点的图像，所述3个视点或者更多视点的颜色图像和视差信息图像之中的一个可选视点的颜色图像和视差信息图像可被视为基本视点的图像，而其它视点的颜色图像和视差信息图像可被视为从属视点的图像。

在图4中，多视点图像编码器包括编码器11、12、21和22，DPB31和多路复用单元32，从图1中的多视点图像生成设备输出的视点#1的颜色图像C#1和视差图像D#1，视点#2的颜色图像C#2和视差图像D#2，和视差相关信息被提供给多视点图像编码器。

视点#1的颜色图像C#1和视差相关信息被提供给编码器11。

编码器11酌情利用视差相关信息，编码视点#1的颜色图像C#1，并把作为结果获得的视点#1的颜色图像C#1的编码数据提供给多路复用单元32。

视点#2的颜色图像C#2和视差相关信息被提供给编码器12。

编码器12酌情利用视差相关信息，编码视点#2的颜色图像C#2，并把作为结果获得的视点#2的颜色图像C#2的编码数据提供给多路复用单元32。

视点#1的视差图像D#1和视差相关信息被提供给编码器21。

编码器21酌情利用视差相关信息，编码视点#1的视差图像D#1，并把作为结果获得的视点#1的视差图像D#1的编码数据提供给多路复用单元32。

视点#2的视差图像D#2和视差相关信息被提供给编码器22。

编码器22酌情利用视差相关信息，编码视点#2的视差图像D#2，并把作为结果获得的视点#2的视差图像D#2的编码数据提供给多路复用单元32。

DPB31把通过利用每个编码器11、12、21和22，编码待编码图像，并局部解码所述图像而获得的局部解码后的图像(解码图像)临时保存为当生成预测图像时参照的(候选)参考图片。

即，每个编码器11、12、21和22预测地编码待编码图像。于是，每个编码器11、12、21和22编码待编码图像，并局部解码所述图像，从而获得解码图像，以便生成用于预测编码的预测图像。

DPB31是所谓的共用缓冲器，它临时保存利用编码器11、12、21和22获得的解码图像，并且每个编码器11、12、21和22从保存在DPB31中的解码图像中，选择当编码待编码图像时参照的参考图片。每个编码器11、12、21和22利用参考图片，生成预测图像，并利用预测图像编码(预测编码)图像。

DPB31由编码器11、12、21和22共用，以致除了自身获得的解码图像之外，每个编码器11、12、21和22还可参照利用另一个编码器获得的解码图像。

多路复用单元32多路复用来自编码器11、12、21和22的编码数据，并输出作为结果获得的多路复用数据。

从多路复用单元32输出的多路复用数据被记录在未例示的记录介质上，或者通过未例示的传输介质传送。

同时，多路复用单元32也可多路复用视差相关信息和编码数据。

[MVC系统的概况]

图5是图解说明利用MVC系统的预测编码中，当生成预测图像时参照的图片的视图。

作为基本视点的图像的视点#1的图像的图片按照(显示)时间顺序，被表示成p11、p12、p13等，作为从属视点的图像的视点#2的图像的图片按照时间顺序，被表示成p21、p22、p23等。

例如，作为基本视点的图片的图片p12是酌情参照基本视点的图片，比如图片p11和p13预测编码的。

即，仅参照作为基本视点的在其它时间的图片的图片p11和p13，能够预测基本视点的图片12(生成图片p12的预测图像)。

另外，例如，从属视点的图片，例如图片p22是酌情参照从属视点的图片，比如图片p21和p23，此外参照作为另一个视点的基本视点的图片p12预测编码的。

即，除了参照图片p21和p23(它们是从属视点的在其它时间的图片)之外，还参照作为另一个视点的基本视点的图片p12(它是与图片p22相同时间的图片)，可以预测该从属视点的图片p22。

这里，参照与待编码图片的视点相同的视点的图片进行的预测也被称为时间预测，参照与待编码图片的视点不同的视点的图片进行的预测也被称为视差预测。

如上所述，在MVC系统中，对于基本视点的图片，只进行时间预测，而对于从属视点的图片，进行时间预测和视差预测。

同时，在MVC系统中，在视差预测中参照的与待编码图片的视点不同的视点的图片应是与待编码图片同时的图片。

构成图4中的多视点图像编码器的编码器11、12、21和22原则上按照MVC系统进行预测(生成预测图像)。

图6是图解说明MVC系统中的图片的编码(和解码)的顺序的示图。

和图5中一样，作为基本视点的图像的视点#1的图像的图片按照(显示)时间顺序，被表示成p11、p12、p13等，作为从属视点的图像的视点#2的图像的图片按照时间顺序，被表示成p21、p22、p23等。

为了简化说明，假定每个视点的图片是按时间顺序编码的，基本视点的在初始时间t=1的图片p11首先被编码，随后，从属视点的在相同时间t=1的图片p21被编码。

当完成从属视点的在相同时间t=1的(所有)图片的编码时，编码基本视点的在下一个时间t=2的图片p12，然后，编码从属视点的在相同时间t=2的图片p22。

下面，基本视点的图片和从属视点的图片是按照相同的顺序编码的。

图4中的构成多视点图像编码器的编码器11、12、21和22按照MVC系统，顺序编码各个图片。

[编码器11的结构例子]

图7是图解说明图4中的编码器11的结构例子的方框图。

同时，图4中的编码器12也是按照和编码器11相同的方式构成的，并且例如按照MVC系统，编码图像。

在图7中，编码器11包括A/D(模/数)转换单元111、画面重排缓冲器112、计算单元113、正交变换单元114、量化单元115、变长编码单元116、累积缓冲器117、逆量化单元118、逆正交变换单元119、计算单元120、解块滤波器121、画面内（in-screen prediction）预测单元122、帧间预测单元123和预测图像选择单元124。

作为待编码图像(移动图像)的视点#1的颜色图像C#1的图片按照显示顺序，被顺序提供给A/D转换单元111。

当提供给A/D转换单元111的图片是模拟信号时，该A/D转换单元111转换模拟信号，以提供给画面重排缓冲器112。

画面重排缓冲器112临时保存来自A/D转换单元111的图片，并按照预先确定的GOP(图片组)的结构，读取图片，从而进行把图片的顺序从显示顺序重排成编码顺序(解码顺序)的重排。

从画面重排缓冲器112读取的图片被提供给计算单元113、画面内预测单元122和帧间预测单元123。

除了从画面重排缓冲器112供给的图片之外，由画面内预测单元122或帧间预测单元123生成的预测图像也从预测图像选择单元124被提供给计算单元113。

计算单元113使从画面重排缓冲器112读取的图片成为待编码的目标图片，此外，顺序使构成目标图片的宏块成为待编码的目标块。

随后，计算单元113酌情计算通过从目标块的像素值中，减去从预测图像选择单元124供给的预测图像的像素值而获得的减法值，并把所述减法值提供给正交变换单元114。

正交变换单元114对来自计算单元113的目标块(的像素值，或者通过从中减去预测图像而获得的残差)实施正交变换，比如离散余弦变换和Karhunen-Loeve变换，然后把作为结果获得的变换系数提供给量化单元115。

量化单元115量化从正交变换单元114供给的变换系数，并把作为结果获得的量化值提供给变长编码单元116。

变长编码单元116对来自量化单元115的量化值实施无损编码，比如变长编码(例如，CAVLC(上下文自适应变长编码)等)和算术编码(例如，CABAC(上下文自适应二进制算术编码)等)，然后把作为结果获得的编码数据提供给累积缓冲器117。

同时，除了从量化单元115供给的量化值之外，还从画面内预测单元122和帧间预测单元123向变长编码单元116供给待包含在编码数据的报头中的报头信息。

变长编码单元116编码来自画面内预测单元122和帧间预测单元123的报头信息，并把所述报头信息包含在编码数据的报头中。

累积缓冲器117临时保存来自变长编码单元116的编码数据，并以预定数据速率输出所述编码数据。

从累积缓冲器117输出的编码数据被提供给多路复用单元32(图4)。

利用量化单元115获得的量化值被提供给变长编码单元116，还被提供给逆量化单元118，以由便逆量化单元118、逆正交变换单元119和计算单元120局部解码。

即，逆量化单元118逆量化来自量化单元115的量化值，以获得变换系数，然后把所述变换系数提供给逆正交变换单元119。

逆正交变换单元119进行来自逆量化单元118的变换系数的逆正交变换，然后提供给计算单元120。

计算单元120酌情相加从预测图像选择单元124供给的预测图像的像素值和从逆正交变换单元119供给的数据，从而获得通过解码(局部解码)目标块得到的解码图像，然后把该解码图像提供给解块滤波器121。

解块滤波器121对来自计算单元120的解码图像滤波，以除去(减小)在解码图像中生成的块失真，然后把滤波后的解码图像提供给DPB31(图4)。

这里，DPB31把来自解块滤波器121的解码图像的图片，即，利用编码器11编码和局部解码的颜色图像C#1保存为当生成在随后进行的预测编码(其中计算单元113减去预测图像的编码)中使用的预测图像时，参照的(候选)参考图片。

如图4中所示，由于DPB31被编码器11、12、21和22共用，因此除了保存由解码器11编码和局部解码的颜色图像C#1的图片之外，DPB31还保存由解码器12编码和局部解码的颜色图像C#2的图片，由编码器21编码和局部解码的视差图像D#1的图片，和由编码器22编码和局部解码的视差图像D#2的图片。

同时，逆量化单元118、逆正交变换单元119和计算单元120的局部解码的目标是作为可参考图片，可能成为参考图片的I图片、P图片和Bs图片，DPB31保存I图片、P图片和Bs图片的解码图像。

当目标图片是可能是帧内预测(画面内预测)的I图片、P图片和B图片(包括Bs图片)时，画面内预测单元122从DPB31读取目标图片的已局部解码部分(解码图像)。然后，画面内预测单元122使从DPB31读取的目标图片的解码图像的一部分成为从画面重排缓冲器112供给的目标图片的目标块的预测图像。

此外，画面内预测单元122获得利用预测图像，编码目标块所需的编码成本，即，编码目标块和预测图像之间的残差等所需的编码成本，并把所述编码成本连同预测图像一起提供给预测图像选择单元124。

当目标图片是可被帧间预测的P图片或B图片(包括Bs图片)时，帧间预测单元123从DPB31读取在目标图片之前的一个或多个编码并且局部解码的图片，作为(候选)参考图片。

另外，帧间预测单元123利用从画面重排缓冲器112供给的目标图片的目标块，借助ME(运动估计)检测位移向量，位移向量代表目标块和参考图片的与目标块对应的对应块(使对应块与目标块之间的诸如SAD(绝对差分和)之类的编码成本降至最小的块(区域))之间的位移(视差和运动)。

这里，当参考图片是与目标图片相同的视点的图片，即，时间与视点#2的视差图像D#2的目标图片的时间不同的图片时，利用目标块和参考图片，借助ME检测的位移向量是代表目标块和参考图片之间的运动(时间位移)的运动向量。

当参考图片是与目标图片不同的视点的图片，即，与视点#1的视差图像D#1的目标图片同时的图片时，利用目标块和参考图片，借助ME检测的位移向量是代表目标块和所述参考图片之间的视差(空间位移)的视差向量。

按照上述方式，借助ME获得的视差向量也被称为计算视差向量，以与图1中图解说明的拍摄视差向量区分开。

在本实施例中，尽管拍摄视差向量是其y分量为0的向量，以便简化说明，不过借助ME检测的计算视差向量代表目标块和参考图片的使之与目标块之间的SAD等降至最小的块(对应块)之间的位移(位置关系)，从而y分量不一定为0。

帧间预测单元123按照目标块的位移向量，进行作为来自DPB31的参考图片的MC(运动补偿)的位移补偿(补偿运动方面的位移的运动补偿，或者补偿视差方面的位移的视差补偿)，从而生成预测图像。

即，帧间预测单元123获得参考图片的对应块，作为预测图像，所述对应块是在从目标块的位置，按照目标块的位移向量移动(位移)的位置的块(区域)。

此外，帧间预测单元123按照预测成本函数，获得其中用于生成预测图像的参考图片，后面说明的宏块种类等不同的每种帧间预测模式的利用预测图像编码目标块所需的编码成本。

帧间预测单元123使编码成本最小的帧间预测模式成为最佳帧间预测模式(最好的帧间预测模式)，并把按最佳帧间预测模式获得的预测图像和编码成本提供给预测图像选择单元124。

这里，基于位移向量(视差向量和运动向量)的预测图像的生成也被称为位移预测(视差预测和运动预测)或者位移补偿(视差补偿和运动补偿)。同时，位移预测酌情包括位移向量的检测。

预测图像选择单元124选择来自画面内预测单元122和帧间预测单元123的预测图像之中的编码成本较小的预测图像，并将其提供给计算单元113和120。

这里，画面内预测单元122把关于帧内预测的信息作为报头信息提供给变长编码单元116，帧间预测单元123把关于帧间预测的信息(位移向量的信息，赋予参考图片的指定用于生成预测图像的参考图片的参考索引等)作为报头信息提供给变长编码单元116。

变长编码单元116选择来自画面内预测单元122和帧间预测单元123中的以较小的编码成本生成预测图像的一方的报头信息，并把所述报头信息包含在编码数据的报头中。

[宏块种类]

图8是图解说明MVC(AVC)系统中的宏块种类的视图。

尽管在MVC系统中，成为目标块的宏块是16×16像素块(在横向方向和纵向方向上)，不过可对通过分割宏块而获得的每个分区进行ME(以及预测图像的生成)。

即，在MVC系统中，能够把宏块分成16×16像素分区、16×8像素分区、8×16像素分区和8×8像素分区任意之一，并对每个分区进行ME，以检测位移向量(运动向量和计算视差向量)。

另外，在MVC系统中，能够把8×8像素分区进一步分割成8×8像素子分区、8×4像素子分区、4×8像素子分区和4×4像素子分区任意之一，并对每个子分区进行ME，以检测位移向量(运动向量和计算视差向量)。

宏块种类指示宏块被分割成的分区(此外，子分区)的种类。

在帧间预测单元123(图7)的帧间预测中，计算每个宏块种类的编码成本，作为每种帧间预测模式的编码成本，编码成本最小的帧间预测模式(宏块种类)被选为最佳帧间预测模式。

[预测的运动向量(PMV)]

图9是图解说明MVC(AVC)系统中的预测运动向量(PMV)的视图。

在帧间预测单元123(图7)的帧间预测中，利用ME检测目标块的位移向量(运动向量和计算视差向量)，并利用位移向量生成预测图像。

在解码方解码图像需要位移向量，从而需要对位移向量的信息编码，并将其包含在编码数据中；不过，当直接对位移向量编码时，位移向量的代码量增大，从而会降低编码效率。

即，在MVC系统中，如图7中图解所示，存在其中宏块被分割成8×8像素分区，并且每个8×8像素分区被进一步分割成4×4像素子分区的情况。在这种情况下，由于一个宏块最终被分成4×4个子分区，以致对于一个宏块，可能生成16(=4×4)个位移向量，从而当直接对位移向量编码时，位移向量的代码量增大，从而降低编码效率。

于是，在MVC(AVC)系统中，进行预测位移向量的向量预测，并对位移向量和利用向量预测获得的预测向量之间的残差编码，作为位移向量的信息(位移向量信息(视差向量信息和运动向量信息))。

即，假定某个宏块X是待编码的目标块。另外，为了简化说明，假定目标块X被分割成16×16像素分区(目标块X直接成为分区)。

如图9中图解所示，当编码目标块X时，利用(按照光栅扫描顺序)已编码的宏块之中的相邻地位于目标块X之上的宏块A的位移向量mvA，相邻地位于目标块X的左侧的宏块B的位移向量mvB，和相邻地位于目标块X的右上方的宏块C的位移向量mvC，按照式(4)计算目标块X的位移向量mvX的预测向量PMVX。

PMVX=med(mvA,mvB,mvC)    …(4)

这里，在式(4)中，med()代表括号中的值的中值(中心值)。

同时，当不可获得宏块C的位移向量mvC时，比如当目标块X是图片的最右侧宏块时，代替位移向量mvC，利用相邻地位于目标块X的左上方的宏块D的位移向量mvD，计算预测向量PMVX。

另外，分别对于x分量和y分量，按照式(4)单独计算预测向量PMVX。

在帧间预测单元123(图7)中，目标块X的位移向量mvX和其预测向量PMVX之间的差分mvX-PMV作为目标块X的位移向量信息，被包含在报头信息中。

图10是进一步图解说明MVC(AVC)系统中的预测向量的视图。

生成目标块的位移向量的预测向量的方法随赋予用于生成在目标块周围的宏块的预测图像的参考图片的参考索引(下面也称为预测用参考索引)的不同而不同。

这里，说明MVC(AVC)系统中的参考图片(可能成为MVC(AVC)系统中的参考图片的参考图片)和参考索引。

在AVC系统中，当生成预测图像时，使多个图片成为参考图片。

在AVC系统中的编解码器中，在解码(局部解码)之后，参考图片被保存在称为DPB的缓冲器中。

在DPB中，短时间参照的图片，长时间参照的图片和不被参照的图片被分别标示成用于短时间参照的图片，用于长时间参照的图片，和不用于参照的图片。

控制DPB的控制方法有两种，即，滑移窗处理和自适应存储器控制处理。

在滑移窗处理中，利用FIFO(先入先后)方法管理DPB，从具有较小的frame_num的图片(是不用于参照的图片)开始，顺序释放保存在DPB中的图片。

即，在滑移窗处理中，I(帧内)图片、P(预测)图片和作为可参照的B(双向预测)图片的Bs图片作为用于短时间参照的图片，被保存在DPB中。

当DPB保存它能够保存的最多的(图片，所述图片可能成为)参考图片时，存储在PDB中的用于短时间参照的图片之中的用于短时间参照的最早(最老)的图片被释放。

同时，当用于长时间参照的图片被保存在DPB中时，移动窗处理不影响保存在DPB中的用于长时间参照的图片。即，在移动窗处理中，FIFO方法只管理参考图片中用于短时间参照的图片。

在自适应存储器控制处理中，利用称为MMCO(存储器管理控制操作)的命令，管理保存在DPB中的图片。

按照MMCO命令，对于保存在DPB中的参考图片，能够把用于短时间参照的图片设定成不用于参照的图片，通过把作为管理用于长时间参照的图片的参考索引的长时间帧索引赋予用于短时间参照的图片，把用于短时间参照的图片设定成用于长时间参照的图片，设定长时间帧索引的最大值，和把所有的参考图片设定成不用于参照的图片。

在AVC系统中，利用保存在DPB中的参考图片的运动补偿，进行生成预测图像的帧间预测；能够把多达2个参考图片用于B图片(包括Bs图片)的帧间预测。利用2个参考图片的帧间预测被称为L0(List0)预测和L1(List1)预测。

就B图片(包括Bs图片)而论，L0预测和/或L1预测被用作帧间预测。就P图片而论，只有L0预测被用作帧间预测。

在帧间预测中，利用参考图片列表，管理当生成预测图像时参照的参考图片。

在参考图片列表中，作为指定当生成预测图像时参照的参考图片的索引的参考索引被赋予保存在DPB中的参考图片。

当目标图片是P图片时，由于如上所述，对于P图片，只有L0预测被用作帧间预测，因此只为L0预测分配参考索引。

当目标图片是B图片(包括Bs图片)时，如上所述，对于B图片，存在L0预测和L1预测都被用作帧间预测的情况，以致为L0预测和L1预测都分配参考索引。

这里，用于L0预测的参考索引也被称为L0索引，用于L1预测的参考索引也被称为L1索引。

当目标图片是P图片时，在AVC系统中默认地(依据规定值)，把值较小的参考索引(L0索引)赋予保存在DPB中的其解码顺序较后的参考图片。

参考索引是不小于0的整数值，其最小值为0。于是，当目标图片是P图片时，向刚好在目标图片之前解码的参考图片赋予0，作为L0索引。

当目标图片是B图片(包括Bs图片)时，在AVC中默认地按照POC(图片顺序号)的顺序，即，按照显示顺序，向保存在DPB中的参考图片赋予参考索引(L0索引和L1索引)。

即，就L0预测来说，按照显示顺序，对于时间上在目标图片之前的参考图片，向更靠近目标图片的参考图片分配值较小的L0索引，之后，按照显示顺序，对于时间上在目标图片之后的参考图片，向更靠近目标图片的参考图片分配值较小的L0索引。

另外，就L1预测来说，按照显示顺序，对于时间上在目标图片之后的参考图片，向更靠近目标图片的参考图片分配值较小的L1索引，之后，按照显示顺序，对于时间上在目标图片之前的参考图片，向更靠近目标图片的参考图片分配值较小的L1索引。

同时，对用于短时间参照的图片，进行AVC系统中默认的参考索引(L0索引和L1索引)的上述分配。在向用于短时间参照的图片分配参考索引之后，向用于长时间参照的图片分配参考索引。

于是，在AVC中，默认地向用于长时间参照的图片分配与用于短时间参照的图片的参考索引相比，值更大的参考索引。

在AVC系统中，利用上述默认方法，分配参考索引，或者可利用称为参考图片列表重排序的命令(下面也称为RPLR命令)，可选地分配参考索引。

同时，当在利用RPLR命令分配参考索引之后，存在未被赋予参考索引的参考图片时，利用默认方法向参考图片分配参考索引。

如图10中图解所示，当宏块X(图10中的阴影块)是目标块时，利用随相邻地位于目标块X之上的宏块A，相邻地位于目标块X的左侧的宏块B，和相邻地位于目标块X的右上方的宏块C每一个的预测用参考索引(分配给用于生成宏块A、B和C每一个的预测图像的参考图片的参考索引)的不同而不同的方法，获得目标块X的位移向量mvX的预测向量PMVX。

例如，假定目标块X的预测用参考索引ref_idx为0。

如图10A中图解所示，当在邻近目标块X的3个宏块A-C中，只存在与目标块X的预测用参考索引ref_idx相同，其预测用参考索引ref_idx为0的一个宏块时，使所述一个宏块(其预测用参考索引ref_idx为0的宏块)的位移向量成为目标块X的位移向量mvX的预测向量PMVX。

这里，在图10A中，在与目标块X相邻的3个宏块中，只有宏块A是其预测用参考索引ref_idx为0的宏块，于是，使宏块A的位移向量mvA成为目标块X(的位移向量mvX)的预测向量PMVX。

另外，如图10B中图解所示，当在邻近目标块X的3个宏块A-C中，存在与目标块X的预测用参考索引ref_idx相同，其预测用参考索引ref_idx为0的2个或者更多的宏块时，使其预测用参考索引ref_idx为0的所述2个或者更多的宏块的位移向量的中值成为目标块X的预测向量PMVX。

这里，在图10B中，与目标块X相邻的所有3个宏块A-C都是其预测用参考索引ref_idx为0的宏块，于是，使宏块A的位移向量mvA、宏块B的位移向量mvB和宏块C的位移向量mvC的中值med(mvA,mvB,mvC)成为目标块X的预测向量PMVX。

另外，如图10C中图解所示，当在邻近目标块X的3个宏块A-C中，不存在与目标块X的预测用参考索引ref_idx相同，其预测用参考索引ref_idx为0的宏块时，使0向量成为目标块X的预测向量PMVX。

这里，在图10C中，在与目标块X相邻的3个宏块中，不存在其预测用参考索引ref_idx为0的宏块，以致使0向量成为目标块X的预测向量PMVX。

同时，在MVC(AVC)系统中，当利用被赋予其值为0的参考索引rev_idx的参考图片对目标块编码时，可以使目标块成为跳过的宏块。

就跳过的宏块来说，该宏块和预测图像之间的残差不被编码，位移向量的信息也不被编码。在解码时，预测向量被直接采用为跳过的宏块的位移向量，使在从跳过的宏块的位置移动位移向量的大小的位置的参考图片的块(对应块)的副本成为跳过的宏块的解码结果。

尽管是否使目标块成为跳过的宏块取决于编码器的规格，不过例如，这可根据编码数据的代码量，目标块的编码成本等来决定(判定)。

[编码器22的结构例子]

图11是图解说明图4中的编码器22的结构例子的方框图。

编码器22利用MVC系统，对作为待编码图像的视点#2的视差图像D#2编码。

在图11中，编码器22包括A/D转换单元211、画面重排缓冲器212、计算单元213、正交变换单元214、量化单元215、变长编码单元216、累积缓冲器217、逆量化单元218、逆正交变换单元219、计算单元220、解块滤波器221、画面内预测单元222、帧间预测单元223、预测图像选择单元224、映射信息生成单元231和校正单元232。

A/D转换单元211～预测图像选择单元224是按照和图7中的编码器11的A/D转换单元111～预测图像选择单元124相同的方式构成的，从而适当地省略它们的说明。

在图11中，解码图像，即，利用编码器22编码和局部解码的视差图像(下面，也称为解码视差图像)D#2的图片从解块滤波器221被提供给DPB31，并被保存为(图片，所述图片可能是)参考图片。

另外，利用编码器11编码和局部解码的颜色图像C#1的图片，利用编码器12编码和局部解码的颜色图像C#2的图片，和利用编码器21编码和局部解码的视差图像(解码视差图像)D#1的图片也被提供给DPB31，以便保存，如图4和7中图解所示。

为编码器22的编码目标的视差图像D#2的拍摄视差向量d(视点#2的拍摄视差向量d2)的最大值dmax和最小值dmin等，作为视差相关信息(图4)被提供给映射信息生成单元231。

映射信息生成单元231根据视差相关信息，获得作为视差图像D#2的像素值的视差值ν可取的规定值的信息，并把所述信息作为映射信息提供给校正单元232。

即，映射信息生成单元231按照视差图像D#2的拍摄视差向量d的最大值dmax和最小值dmin，获得式(1)中的视差值ν可取的规定值，生成指示每个规定值与转换(映射)成该规定值的拍摄视差向量d之间的对应的列表，作为映射信息，然后将其提供给校正单元232。

同时，视差相关信息(中的作为生成映射信息所必需的信息的拍摄视差向量d的至少最大值dmax和最小值dmin)被提供给映射信息生成单元231，还被提供给变长编码单元216。在变长编码单元216中，视差相关信息作为报头信息被包括在编码数据的报头中。

除了从映射信息生成单元231供给的映射信息之外，还从计算单元220向校正单元232供给通过解码(局部解码)目标块而获得的解码图像(解码视差图像D#2)。

此外，作为原始图像的视差图像D#2的目标图片从画面重排缓冲器212被提供给校正单元232。

校正单元232利用来自映射信息生成单元231的映射信息，和来自画面重排缓冲器212的目标图片中的目标块(下面也称为原始目标块)，校正作为来自计算单元220的目标块(下面也称为解码目标块)的解码图像的像素值的解码像素值，并把校正后的目标块(下面也称为校正后目标块)提供给解块滤波器221。

校正单元232还生成关于解码像素值的校正的校正标记，并把所述标记作为报头信息提供给变长编码单元216。

这里，变长编码单元216把作为报头信息的校正标记包含在编码数据的报头中。

同时，图4中的编码器21也是按照和图11中的编码器22相同的方式构成的。不过，在编码作为基本视点的图像的视差图像D#1的编码器21中，在帧间预测中不进行视差预测。

图12是图解说明图11中的校正单元232的结构例子的方框图。

在图12中，校正单元232包括像素值改变单元251和像素值校正单元252。

除了从计算单元220供给的作为目标块的解码视差图像D#2的解码目标块之外，还从映射信息生成单元231向像素值改变单元251供给映射信息。

像素值改变单元251把作为来自计算单元220的解码目标块的像素值的解码像素值改变成基于来自映射信息生成单元231的映射信息的规定值，并把由作为改变后的像素值的改变后像素值构成的目标块(下面也称为改变后目标块)提供给像素值校正单元252。

这里，改变后目标块的所有像素值(改变后像素值)都是规定值。

从画面重排缓冲器212向像素值校正单元252供给目标图片，并从计算单元220向像素值校正单元252供给解码目标块。

像素值校正单元252根据来自画面重排缓冲器212的目标图片中的目标块，即，作为编码前的目标块(作为原始图像的视差图像D#2的目标块)的原始目标块，来自像素值改变单元251的其像素值被改变成规定值的改变后目标块，和来自计算单元220的解码目标块，校正解码目标块的像素值(解码像素值)，并把作为校正后的目标块的校正后目标块提供给解块滤波器221。

即，根据与改变后目标块的每个像素值和原始目标块的每个像素值之间的差分对应的SAD(下面也称为改变后目标块的SAD)，和与解码目标块的每个像素值和原始目标块的每个像素值之间的差分对应的SAD(下面也称为解码目标块的SAD)，当解码目标块的SAD不大于改变后目标块的SAD时，像素值校正单元252使解码目标块成为校正后目标块(使解码目标块的像素值保持不变)。

另一方面，当解码目标块的SAD大于改变后目标块的SAD时，像素值校正单元252使改变后目标块成为校正目标块(把解码目标块的像素值校正为规定值，所述规定值是改变后目标块的像素值)。

如上所述，当作为解码目标块(的像素值)相对于原始目标块(的像素值)的误差的SAD不大于作为改变后目标块(的像素值)相对于原始目标块(的像素值)的误差的SAD时，像素值校正单元252不校正解码目标块，而是直接使解码目标块成为校正后目标块。

另外，当解码目标块(的像素值)相对于原始目标块的误差大于改变后目标块相对于原始目标块的误差时，像素值校正单元252校正解码目标块，并使校正后的解码目标块成为改变后目标块，使其所有像素值都变成规定值。

另外，像素值校正单元252生成校正标记，所述校正标记指示校正后目标块(的像素值)是被校正成改变后目标块(作为改变后目标块的像素值的规定值)，还是仍然是解码目标块(的像素值)，并把所述校正标记提供给变长编码单元216。

图13是图解说明利用图11中的映射信息生成单元231生成的映射信息的例子的视图。

映射信息生成单元231按照视差图像D#2的拍摄视差向量d的最大值dmax和最小值dmin，获得式(1)中的视差值ν可取的规定值，并生成指示每个规定值与转换成该规定值的拍摄视差向量d之间的对应的列表，作为映射信息。

按照图13中的映射信息，可以认识到拍摄视差向量d=dmin,dmin+1,dmin+2等被转换(映射)成视差图像D#2中的为规定值的视差值ν=0,5,10等。

图14是图解说明由图11中的编码器22进行的编码视点#2的视差图像D#2的编码处理的流程图。

在步骤S11，A/D转换单元211A/D转换提供给它的视点#2的视差图像D#2的图片的模拟信号，并将其提供给画面重排缓冲器212，之后处理进入步骤S12。

在步骤S12，画面重排缓冲器212临时保存来自A/D转换单元211的视差图像D#2的图片，并按照预先确定的GOP的结构，读取图片，从而进行把图片的顺序从显示顺序重排成编码顺序(解码顺序)的重排。

从画面重排缓冲器212读取的图片被提供给计算单元213、画面内预测单元222、帧间预测单元223和校正单元232，然后处理从步骤S12进入步骤S13。

在步骤S13，计算单元213使来自画面重排缓冲器212的视差图像D#2的图片成为待编码的目标图片，并且进一步顺序使构成目标图片的宏块成为待编码的目标块。

然后，计算单元213酌情计算目标块的像素值和从预测图像选择单元224供给的预测图像的像素值之间的差分(残差)，并把所述差分提供给正交变换单元214，然后处理从步骤S13进入步骤S14。

在步骤S14，正交变换单元214对来自计算单元213的目标块应用正交变换，并把作为结果获得的变换系数提供给量化单元215，然后处理进入步骤S15。

在步骤S15，量化单元215量化从正交变换单元214供给的变换系数，把作为结果获得的量化值提供给逆量化单元218和变长编码单元216，然后处理进入步骤S16。

在步骤S16，逆量化单元218逆量化来自量化单元215的量化值，从而获得变换系数，并把变换系数提供给逆正交变换单元219，然后处理进入步骤S17。

在步骤S17，逆正交变换单元219进行来自逆量化单元218的变换系数的逆正交变换，然后将其提供给计算单元220，随后处理进入步骤S18。

在步骤S18，计算单元220酌情相加从预测图像选择单元224供给的预测图像的像素值和从逆正交变换单元219供给的数据，从而获得解码目标块，所述解码目标块是通过解码(局部解码)目标块而获得的解码视差图像D#2。随后，计算单元220把解码目标块提供给校正单元232，然后处理从步骤S18进入步骤S19。

在步骤S19，映射信息生成单元231根据视差相关信息，获得作为视差图像D#2的目标图片的像素值的视差值ν可取的规定值的信息，并将其作为映射信息提供给校正单元232，然后处理进入步骤S20。

在步骤S20，校正单元232进行利用来自映射信息生成单元231的映射信息，和作为来自画面重排缓冲器212的目标图片中的目标块的原始目标块，校正来自计算单元220的解码目标块(作为所述解码目标块的像素值的解码像素值)的校正处理。随后，校正单元232把作为校正处理之后的目标块的校正后目标块提供给解块滤波器221，处理从步骤S20进入步骤S21。

在步骤S21，解块滤波器221对作为来自校正单元232的校正后的目标块的解码视差图像D#2滤波，然后将其提供给DPB31(图4)，以便保存，随后处理进入步骤S22。

在步骤S22，画面内预测单元222进行下一个目标块的帧内预测处理(画面内预测处理)，所述下一个目标块是接下来待编码的宏块。

即，画面内预测单元222对于下一个目标块，进行根据保存在DPB31中的解码视差图像D#2的图片，生成预测图像(帧内预测的预测图像)的帧内预测(画面内预测)。

随后，画面内预测单元222获得利用帧内预测的预测图像，编码目标块所需的编码成本，并把所述编码成本连同帧内预测的预测图像一起提供给预测图像选择单元224，然后处理从步骤S22进入步骤S23。

在步骤S23，帧间预测单元223利用保存在DPB31中的解码视差图像D#1和D#2的图片作为参考图片，进行下一个目标块的帧间预测处理。

即，帧间预测单元223利用保存在DPB31中的解码视差图像D#1和D#2的图片作为参考图片，进行下一个目标块的帧间预测(视差预测和时间预测)，从而获得具有不同宏块种类等的每个帧间预测模式的预测图像、编码成本等。

此外，帧间预测单元223使编码成本最小的帧间预测模式成为最佳帧间预测模式，并把最佳帧间预测模式的预测图像连同编码成本一起提供给预测图像选择单元224，然后处理从步骤S23进入步骤S24。

在步骤S24，预测图像选择单元224选择来自画面内预测单元222的预测图像(帧内预测的预测图像)和来自帧间预测单元223的预测图像(帧间预测的预测图像)之中的编码成本较小的预测图像，并把该预测图像提供给计算单元213和220，然后处理进入步骤S25。

这里，在步骤S27，由预测图像选择单元224选择的预测图像用于在下一个目标块的编码中进行的步骤S13和S18的处理中。

另外，画面内预测单元222把在步骤S22的帧内预测处理中获得的关于帧内预测的信息作为报头信息，提供给变长编码单元216，帧间预测单元223把在步骤S23的帧间预测处理中获得的关于帧间预测的信息(指示最佳帧间预测模式的模式相关信息，位移向量信息，预测用参考索引等)作为报头信息，提供给变长编码单元216。

在步骤S25，变长编码单元216对来自量化单元215的量化值应用变长编码，以获得编码数据。

此外，变长编码单元216从来自画面内预测单元222的报头信息和来自帧间预测单元223的报头信息中，选择来自以较小的编码成本生成预测图像的单元的报头信息，并把该报头信息包含在编码数据的报头中。

另外，变长编码单元216把视差相关信息，和利用在步骤S20进行的校正处理从校正单元232输出的校正标记包含在编码数据的报头中。

随后，变长编码单元216把编码数据提供给累积缓冲器217，之后处理从步骤S25进入步骤S26。

在步骤S26，累积缓冲器217临时保存来自变长编码单元216的编码数据，并按预定数据速率输出所述编码数据。

从累积缓冲器217输出的编码数据被提供给多路复用单元32(图4)。

编码器22适当地重复进行在步骤S11-S26的上述处理。

图15是图解说明在图14的步骤S20，由图12中的校正单元232进行的校正处理的流程图。

在步骤S31，校正单元232(图12)获得来自计算单元220的作为目标块的解码视差图像D#2的解码目标块，然后把所述解码目标块提供给像素值改变单元251和像素值校正单元252，然后处理进入步骤S32。

在步骤S32，校正单元232获得来自映射信息生成单元231的映射信息，并把所述映射信息提供给像素值改变单元251，然后处理进入步骤S33。

在步骤S33，像素值改变单元251进行根据来自映射信息生成单元231的映射信息，把作为来自计算单元220的解码目标块的像素值的解码像素值改变成规定值的像素值改变处理。

然后，像素值改变单元251把作为由改变后像素值构成的目标块的改变后目标块提供给像素值校正单元252，所述改变后像素值是利用像素值改变处理获得的改变成规定值的像素值，然后处理进入步骤S34。

在步骤S34，校正单元232获得作为来自画面重排缓冲器212的目标图片中的目标块的原始目标块，并将其提供给像素值校正单元252，然后处理进入步骤S35。

在步骤S35，像素值校正单元252根据来自画面重排缓冲器212的原始目标块，来自像素值改变单元251的改变后的目标块，和来自计算单元220的解码目标块，进行像素值校正处理，以校正解码目标块的像素值(解码像素值)，然后处理进入步骤S36。

在步骤S36，像素值校正单元252把校正后的目标块(利用在步骤S35的像素值校正处理获得的目标块)提供给解块滤波器221，然后处理进入步骤S37。

在步骤S37，像素值校正单元252把利用步骤S35的像素值校正处理获得的关于目标块的校正标记提供(输出)给变长编码单元216，然后处理返回。

图16是图解说明在图15中的步骤S33，由图12中的像素值改变单元251进行的像素值改变处理的流程图。

在步骤S41，像素值改变单元251从解码目标块中选择还未被选择为关注像素的像素之一，作为关注像素，然后处理进入步骤S42。

在步骤S42，像素值改变单元251根据来自映射信息生成单元231的映射信息，检测关注像素的像素值(解码像素值)介于它们之间的两个规定值valueA和valueB，然后处理进入步骤S43。

这里，规定值valueA是从映射信息获得的规定值中的不大于(或者小于)关注像素的像素值的最大规定值，规定值valueB是从映射信息获得的规定值中的大于(或者不小于)关注像素的像素值的最小规定值。

在步骤S43，像素值改变单元251判定规定值valueA和关注像素的像素值V之间的差分绝对值|valueA-V|是否大于规定值valueB和关注像素的像素值V之间的差分绝对值|valueB-V|。

在步骤S43，当判定差分绝对值|valueA-V|不大于差分绝对值|valueB-V|时，即，当关注像素的像素值V的最近邻居是从映射信息获得的规定值中的规定值valueA时，处理进入步骤S45，像素值改变单元251把关注像素的像素值(解码像素值)改变成规定值valueA(规定值valueA是关注像素的像素值V的最近邻居)，然后处理进入步骤S47。

于是，在这种情况下，在关注像素的像素值V的改变后的改变后像素值是规定值valueA。

另一方面，在步骤S43，当判定差分绝对值|valueA-V|大于差分绝对值|valueB-V|时，即，当关注像素的像素值V的最近邻居是从映射信息获得的规定值中的规定值valueB时，处理进入步骤S46，像素值改变单元251把关注像素的像素值(解码像素值)改变成规定值valueB(规定值valueB是关注像素的像素值V的最近邻居)，然后处理进入步骤S47。

于是，在这种情况下，在关注像素的像素值V的改变后的改变后像素值是规定值valueB。

在步骤S47，像素值改变单元251判定解码目标块的所有像素值(解码像素值)是否被改变成改变后像素值。

当在步骤S47，判定解码目标块的所有像素值并未都被改变成改变后像素值时，处理返回步骤S41，之后重复类似的处理。

在步骤S47，当判定解码目标块的所有像素值都被改变成改变后像素值时，即，当获得其中解码目标块的所有像素值都被改变成作为最近邻居的规定值的改变后像素值的改变后目标块时，像素值改变单元251把改变后目标块提供给像素值校正单元252，然后处理返回。

图17是图解说明在图15中的步骤S35，由图12中的像素值校正单元252进行的像素值校正处理。

在步骤S51，像素值校正单元252获得SAD1，SAD1是来自计算单元220的解码目标块和来自画面重排缓冲器212的原始目标块之间的SAD(解码目标块的SAD)，然后处理进入步骤S52。

在步骤S52，像素值校正单元252获得SAD2，SAD2是来自像素值改变单元251的改变后目标块和来自画面重排缓冲器212的原始目标块之间的SAD(改变后目标块的SAD)，然后处理进入步骤S53。

在步骤S53，像素值校正单元252判定解码目标块的SAD1是否不大于改变后目标块的SAD2。

在步骤S53，当判定解码目标块的SAD1不大于改变后目标块的SAD2时，即，当解码目标块(相对于原始目标块)的误差不大于改变后目标块(相对于原始目标块)的误差，以致解码目标块的图像质量好于改变后目标块的图像质量(解码目标块比改变后目标块更像原始目标块)时，处理进入步骤S54，像素值校正单元252使解码目标块成为校正后目标块(不校正解码目标块的像素值)，然后处理进入步骤S55。

在步骤S55，像素值校正单元252设定指示校正后目标块是解码目标块，并且未被校正的值，例如0，作为校正标记，然后处理返回。

另外在步骤S53，当判定解码目标块的SAD1大于改变后目标块的SAD2时，即，当解码目标块(相对于原始目标块)的误差大于改变后目标块(相对于原始目标块)的误差，以致改变后目标块的图像质量好于解码目标块的图像质量(改变后目标块比解码目标块更像原始目标块)时，处理进入步骤S56，像素值校正单元252使改变后目标块成为校正后目标块(通过把解码目标块的像素值校正成作为改变后目标块的改变后像素值的规定值)，然后处理进入步骤S57。

在步骤S57，像素值校正单元252设定指示校正后目标块是改变后目标块，并被校正为规定值的值，例如1，作为校正标记，然后处理返回。

[应用本技术的多视点图像解码器的一个实施例]

图18是图解说明应用本技术的多视点图像解码器的一个实施例的结构例子的方框图。

图18中的多视点图像解码器例如是利用MVC系统，解码通过编码多个视点的图像而获得的数据的解码器，下面适当省略与MVC系统相同的处理的说明。

同时，多视点图像解码器并不局限于利用MVC系统的解码器。

在图18中的多视点图像解码器中，从图4中的多视点图像编码器输出的多路复用数据被解码成作为2个视点#1和#2的颜色图像的视点#1的颜色图像C#1和视点#2的颜色图像C#2，和作为2个视点#1和#2的视差信息图像的视点#1的视差图像D#1和视点#2的视差图像D#2。

在图18中，多视点图像解码器包括分离单元301，解码器311、312、321和322，和DPB331。

从图4中的多视点图像编码器输出的多路复用数据通过未例示的记录介质和传送介质，被提供给分离单元301。

分离单元301从提供给它的多路复用数据中，分离颜色图像C#1的编码数据，颜色图像C#2的编码数据，视差图像D#1的编码数据和视差图像D#2的编码数据。

随后，分离单元301把颜色图像C#1的编码数据提供给解码器311，把颜色图像C#2的编码数据提供给解码器312，把视差图像D#1的编码数据提供给解码器321，和把视差图像D#2的编码数据提供给解码器322。

解码器311解码来自分离单元301的颜色图像C#1的编码数据，并输出作为结果获得的颜色图像C#1。

解码器312解码来自分离单元301的颜色图像C#2的编码数据，并输出作为结果获得的颜色图像C#2。

解码器321解码来自分离单元301的视差图像D#1的编码数据，并输出作为结果获得的视差图像D#1。

解码器322解码来自分离单元301的视差图像D#2的编码数据，并输出作为结果获得的视差图像D#2。

DPB331临时保存通过利用各个解码器311、312、321和322对待解码图像解码而获得的解码之后的图像(解码图像)，作为当生成预测图像时参照的候选参考图片。

即，解码器311、312、321和322分别解码由图4中的编码器11、12、21和22预测编码的图像。

为了解码预测编码的图像，需要在预测编码中使用的预测图像，从而在解码待解码图像之后，各个解码器311、312、321和322把用于生成预测图像的解码后的图像(解码图像)临时保存在DPB331中，以便生成用于预测编码的预测图像。

DPB331是临时保存利用各个解码器311、312、321和322获得的解码之后的图像(解码图像)的共用缓冲器，各个解码器311、312、321和322从保存在DPB331中的解码图像中，选择当解码待解码图像时参照的参考图片，并利用所述参考图片，生成预测图像。

由于DPB31由各个解码器311、312、321和322共用，因此除了自己获得的解码图像之外，各个解码器311、312、321和322还可参照由另一个解码器获得的解码图像。

[解码器311的结构例子]

图19是图解说明图18中的解码器311的结构例子的方框图。

同时，图18中的解码器312是按照和解码器311相同的方式构成的，并按照例如MVC系统编码图像。

在图19中，解码器311包括累积缓冲器341、变长解码单元342、逆量化单元343、逆正交变换单元344、计算单元345、解块滤波器346、画面重排缓冲器347、D/A转换单元348、画面内预测单元349、帧间预测单元350和预测图像选择单元351。

颜色图像C#1的编码数据从分离单元301(图18)被提供给累积缓冲器341。

累积缓冲器341临时保存提供给它的编码数据，并把所述编码数据提供给变长解码单元342。

变长解码单元342进行来自累积缓冲器341的编码数据的变长解码，从而恢复量化值和报头信息。然后，变长解码单元342把量化值提供给逆量化单元343，并把报头信息提供给画面内预测单元349和帧间预测单元350。

逆量化单元343逆量化来自变长解码单元342的量化值，从而获得变换系数，并把所述变换系数提供给逆正交变换单元344。

逆正交变换单元344进行来自逆量化单元343的变换系数的逆正交变换，并以宏块为单位，把逆正交变换结果提供给计算单元345。

计算单元345使来自逆正交变换单元344的宏块成为待解码的目标块，酌情把从预测图像选择单元351供给的预测图像与该目标块相加，从而获得解码图像，并把解码图像提供给解块滤波器346。

解块滤波器346例如按照和图7中的解块滤波器121相同的方式，对来自计算单元345的解码图像滤波，然后把滤波后的解码图像提供给画面重排缓冲器347。

画面重排缓冲器347临时保存来自解决滤波器346的解码图像的图片，以便读取，从而把图片的顺序重排成其原始顺序(显示顺序)，并把重排后的图片提供给D/A(数/模)转换单元348。

当需要以模拟信号的形式，输出来自画面重排缓冲器347的图片时，D/A转换单元348D/A转换输出所述图片。

另外，解块滤波器346将滤波之后的解码图像之中的作为可参照图片的I图片、P图片和Bs图片的解码图像提供给DPB331。

这里，DPB331保存来自解块滤波器346的解码图像的图片，即，颜色图像C#1的图片，作为当生成在后面进行的解码中使用的预测图像时参照的候选参考图片。

如图18中图解所示，DPB331由解码器311、312、321和322共用，以致DPB331不仅保存由解码器311解码的颜色图像C#1的图片，而且保存由解码器312解码的颜色图像C#2的图片，由解码器321解码的视差图像D#1的图片，和由解码器322解码的视差图像D#2的图片。

画面内预测单元349根据来自变长解码单元342的报头信息，识别目标块是否是利用借助帧内预测(画面内预测)生成的预测图像编码的。

当目标块是利用借助帧内预测生成的预测图像编码的时，画面内预测单元349按照和图7中的画面内预测单元122相同的方式，从DPB331读取包括目标块的图片(目标图片)的已解码部分(解码图像)。随后，画面内预测单元349把从DPB331读取的目标图片的解码图像的一部分提供给预测图像选择单元351，作为目标块的预测图像。

帧间内预测单元350根据来自变长解码单元342的报头信息，识别目标块是否是利用借助帧间预测生成的预测图像编码的。

当目标块是利用借助帧间预测生成的预测图像编码的时，帧间预测单元350根据来自变长解码单元342的报头信息，识别预测用参考索引，即，赋予当生成目标块的预测图像时使用的参考图片的参考索引。

随后，帧间预测单元350从保存在DPB331中的参考图片中，读取被赋予所述预测用参考索引的参考图片。

此外，帧间预测单元350根据来自变长解码单元342的报头信息，识别用于生成目标块的预测图像的位移向量(视差向量和运动向量)，并通过以和图7中的帧间预测单元123相同的方式，按照位移向量进行参考图片的位移补偿(补偿运动方面的位移的运动补偿，或补偿视差方面的位移的视差补偿)，生成预测图像。

即，帧间预测单元350获得参考图片的在从目标块的位置，按照目标块的位移向量移动(位移)的位置的块(对应块)，作为预测图像。

随后，帧间预测单元350把预测图像提供给预测图像选择单元351。

当从画面内预测单元349供给预测图像时，预测图像选择单元351选择该预测图像，而当从帧间预测单元350供给预测图像时，预测图像选择单元351选择该预测图像，以提供给计算单元345。

[解码器322的结构例子]

图20是图解说明图18中的解码器322的结构例子的方框图。

解码器322利用MVC系统，即，按照与图11中的编码器22进行的局部解码相同的方式，对待解码的视点#2的视差图像D#2的编码数据解码。

在图20中，解码器322包括累积缓冲器441、变长解码单元442、逆量化单元443、逆正交变换单元444、计算单元445、解块滤波器446、画面重排缓冲器447、D/A转换单元448、画面内预测单元449、帧间预测单元450、预测图像选择单元451、映射信息生成单元461和校正单元462。

累积缓冲器441～预测图像选择单元451是按照和图19中的累积缓冲器341～预测图像选择单元351相同的方式构成的，从而适当地省略其说明。

在图20中，解码图像，即，作为由解码器322解码的视差图像的解码视差图像D#2的图片从解块滤波器446被提供给DBP331，以便保存为参考图片。

另外，如图18和19中图解所示，由解码器311解码的颜色图像C#1的图片，由解码器312解码的颜色图像C#2的图片，和由解码器321解码的视差图像(解码视差图像)D#1的图片也被提供给DPB331，以便保存。

作为包含在报头信息中的视差相关信息(图4)的视差图像D#2(编码器322的解码目标)的拍摄视差向量d(视点#2的拍摄视差向量d2)的最大值dmax和最小值dmin等从变长解码单元442被提供给映射信息生成单元461。

映射信息生成单元461按照和图11中的映射信息生成单元231相同的方式，根据视差相关信息，获得映射信息，所述映射信息是作为视差图像D#2的像素值的视差值ν可取的规定值的信息，并把所述映射信息提供给校正单元462。

除了从映射信息生成单元461供给的映射信息之外，还从计算单元445把通过解码目标块而获得的解码图像(解码视差图像D#2)提供给校正单元462。

此外，从变长解码单元442向校正单元462供给包含在报头信息中的校正标记。

校正单元462以和图11中的校正单元232相同的方式，按照来自变长解码单元442的校正标记，利用来自映射信息生成单元461的映射信息，校正来自计算单元445的作为目标块的解码图像的解码目标块(为所述解码目标块的像素值的解码像素值)，并把作为校正之后的目标块的校正后目标块提供给解块滤波器446。

同时，图18中的解码器321也是按照和图20中的解码器322相同的方式构成的。不过，在解码作为基本视点的图像的视差图像D#1的解码器321中，与编码器21中一样，在帧间预测中不进行视差预测。

图21是图解说明图20中的校正单元462的结构例子的方框图。

在图21中，校正单元462包括像素值校正单元471。

除了从计算单元445供给的作为目标块的解码视差图像D#2的解码目标块之外，还从映射信息生成单元461向像素值校正单元471供给映射信息。

此外，校正标记从变长解码单元442被提供给像素值校正单元471。

像素值校正单元471从来自变长解码单元442的校正标记中，获得目标块(解码目标块)的校正标记，按照该校正标记，校正来自计算单元445的解码目标块，并把作为校正之后的目标块的校正后目标块提供给解块滤波器446。

图22是图解说明由图20中的解码器322进行的解码视点#2的视差图像D#2的编码数据的解码处理的流程图。

在步骤S111，累积缓冲器441保存提供给它的视点#2的视差图像D#2的编码数据，处理进行到步骤S112。

在步骤S112，变长解码单元442读取保存在累积缓冲器441中的编码数据，进行该编码数据的变长解码，从而恢复量化值和报头信息。随后，变长解码单元442把量化值提供给逆量化单元443，把报头信息提供给画面内预测单元449、帧间预测单元450、映射信息生成单元461和校正单元462，随后处理进入步骤S113。

在步骤S113，逆量化单元443逆量化来自变长解码单元442的量化值，从而获得变换系数，并把变换系数提供给逆正交变换单元444，然后处理进入步骤S114。

在步骤S114，逆正交变换单元444进行来自逆量化单元443的变换系数的逆正交变换，并以宏块为单位，把逆正交变换的结果提供给计算单元445，随后处理进入步骤S115。

在步骤S115，计算单元445使来自逆正交变换单元444的宏块成为待解码的目标块(残差图像)，并酌情相加从预测图像选择单元451供给的预测图像和目标块，从而获得作为目标块的解码视差图像D#2的解码目标块。随后，计算单元445把解码目标块提供给校正单元462，然后处理从步骤S115进入步骤S116。

在步骤S116，映射信息生成单元461根据作为编码器322的解码目标的视差图像D#2的拍摄视差向量d(视点#2的拍摄视差向量d2)的最大值dmax和最小值dmin，按照与图11中的映射信息生成单元231相同的方式，获得视差值ν(视差图像D#2的像素值)可取的映射信息(规定值的信息)，作为包含在来自变长解码单元442的报头信息中的视差相关信息。随后，映射信息生成单元461把映射信息提供给校正单元462，处理进入步骤S117。

在步骤S117，校正单元462按照包含在来自变长解码单元442的报头信息中的校正标记，利用来自映射信息生成单元461的映射信息，以与图11中的校正单元232相同的方式，进行校正来自计算单元445的解码目标块的校正处理。随后，校正单元462把校正后目标块(校正之后的解码目标块)提供给解块滤波器446，然后处理从步骤S117进入步骤S118。

在步骤S118，解块滤波器446对来自校正单元462的校正后目标块的解码视差图像D#2滤波，把滤波后的解码视差图像D#2提供给DPB31和画面重排缓冲器447，随后处理进入步骤S119。

在步骤S119，画面内预测单元449和帧间预测单元450根据从变长解码单元442供给的报头信息，识别帧内预测(画面内预测)和帧间预测之中，用其生成当编码下一个目标块(接下来待解码的宏块)时使用的预测图像的预测系统。

当利用借助画面内预测生成的预测图像，编码下一个目标块时，画面内预测单元449进行帧内预测处理(画面内预测处理)。

即，画面内预测单元449对于下一个目标块，进行根据保存在DPB31中的解码视差图像D#2的图片，生成预测图像(帧内预测的预测图像)的帧内预测(画面内预测)，并把预测图像提供给预测图像选择单元451，随后处理从步骤S119进入步骤S120。

当利用借助帧间预测生成的预测图像，编码下一个目标块时，帧间预测单元450进行帧间预测处理。

即，帧间预测单元450对于下一个目标块，选择保存在DPB31中的解码视差图像D#1和D#2的图片之中的，被赋予包含在来自变长解码单元442的报头信息中的下一个目标块的预测用参考索引的图片，作为参考图片。

此外，帧间预测单元450利用包含在来自变长解码单元442的报头信息中的模式相关信息和位移向量信息，进行帧间预测(视差补偿和运动补偿)，从而生成预测图像，并把该预测图像提供给预测图像选择单元451，随后处理从步骤S119进入步骤S120。

在步骤S120，预测图像选择单元451选择来自画面内预测单元449和帧间预测单元450之中的供给预测图像的单元的预测图像，并把所述预测图像提供给计算单元445，随后处理进入步骤S121。

这里，在步骤S120，由预测图像选择单元451选择的预测图像用在当解码下一个目标块时进行的步骤S115的处理中。

在步骤S121，画面重排缓冲器447临时保存来自解块滤波器446的解码视差图像D#2的图片，以便读取，从而把图片的顺序重排成其原始顺序，并把重排后的图片提供给D/A转换单元448，随后处理进入步骤S122。

在步骤S122，当要求以模拟信号的形式，从画面重排缓冲器447输出图片时，D/A转换单元348D/A转换该图片，以便输出。

解码器322适当地重复进行步骤S111-S122的上述处理。

图23是图解说明在图22中的步骤S117，由图21中的校正单元462进行的校正处理的流程图。

在步骤S131，校正单元462(图21)获得来自计算单元445的解码目标块(目标块的解码视差图像D#2)，并将其提供给像素值校正单元471，随后处理进入步骤S132。

在步骤S132，校正单元462获得来自映射信息生成单元461的映射信息，并把所述映射信息提供给像素值校正单元471，随后处理进入步骤S133。

在步骤S133，校正单元462获得包含在来自变长解码单元442的报头信息中的(解码目标块的)校正标记，并把所述校正标记提供给像素值校正单元471，随后处理进入步骤S134。

在步骤S134，像素值校正单元471按照来自变长解码单元442的校正标记，酌情利用来自映射信息生成单元461的映射信息，进行校正来自计算单元445的解码目标块的像素值校正处理，然后处理进入步骤S135。

在步骤S135，像素值校正单元471把校正后目标块(利用步骤S134的像素值校正处理而获得的目标块)提供给解块滤波器446，然后处理返回。

图24是图解说明在图23中的步骤S134，由图21中的像素值校正单元471进行的像素值校正处理的流程图。

在步骤S141，像素值校正单元471判定来自变长解码单元442的校正标记为0还是为1。

在步骤S141，当判定校正标记为0时，即，当解码目标块未被编码视差图像D#2的编码器22校正时，处理进入步骤S142，像素值校正单元471直接采用来自计算单元445的解码目标块作为通过校正解码目标块而获得的校正后目标块，然后处理返回。

当在步骤S141，判定校正标记为1时，即，当解码目标块被编码视差图像D#2的编码器22校正成规定值时，处理进入步骤S143，像素值校正单元471利用来自计算单元445的解码目标块和来自映射信息生成单元461的映射信息，进行与图16中的处理类似的像素值改变处理。

当像素值校正单元471利用像素值改变处理，与图16中图解所示的处理类似地获得其中来自计算单元445的解码目标块的所有像素值都被改变成改变后像素值(最近邻的规定值)的改变后目标块时，处理从步骤S143进入步骤S144。

在步骤S144，像素值校正单元471采用在步骤S143，用改变后目标块获得的改变后目标块，作为通过校正解码目标块而获得的校正后目标块，然后处理返回。

图25-27图解说明当编码数据是MVC(AVC)系统中的编码数据时，包含在报头中的校正标记。

这里，可以利用宏块作为最小单位，进行到规定值的校正。

通过利用把目标块分成不比8×8像素分区小的分区的宏块种类(不小于8×8的种类)，即，把目标块分成8×8像素分区的宏块种类(8×8种类)，把目标块分成16×8像素分区的宏块种类(16×8种类)，和把目标块分成8×16像素分区的宏块种类(8×16种类)的分区作为最小单位，可进行到规定值的校正。

此外，通过利用把目标块分成比8×8像素分区小的分区，即，8×4像素、4×8像素或4×4像素子分区的宏块种类(小于8×8的种类)的分区(子分区)作为最小单位，可进行到规定值的校正。

当利用宏块作为最小单位，进行到规定值的校正时，利用宏块作为最小单位，设定校正标记。

当利用不小于8×8的种类的分区作为最小单位，进行到规定值的校正时，利用不小于8×8的种类的分区作为最小单位，设定校正标记。

此外，当利用小于8×8的种类的分区(子分区)作为最小单位，进行到规定值的校正时，利用小于8×8的种类的分区(子分区)作为最小单位，设定校正标记。

图25是图解说明利用宏块作为最小单元设定的校正标记的示图。

即，图25图解说明MVC系统中的mb_pred(mb_type)的语法。

当利用宏块作为最小单元，设定校正标记时，校正标记被包含在mb_pred(mb_type)中。

在图25中，refinement_pixel_mode指示校正标记。

图26是图解说明利用不小于8×8的种类的分区作为最小单位，设定校正标记的视图。

即，图26图解说明MVC系统中的mb_pred(mb_type)的一部分的语法。

当利用不小于8×8的种类的分区作为最小单位，设定校正标记时，校正标记包含在mb_pred(mb_type)中。

在图26中，refinement_pixel_mode[mbPartIdx]指示校正标记。

同时，校正标记refinement_pixel_mode[mbPartIdx]的变元mbPartIdx是用于区分不小于8×8的种类的各个分区的索引。

图27是图解说明利用小于8×8的种类的分区作为最小单位，设定校正标记的视图。

即，图27图解说明MVC系统中的sub_mb_pred(mb_type)的一部分的语法。

当利用小于8×8的种类的分区作为最小单位，设定校正标记时，校正标记包含在mb_pred(mb_type)和sub_mb_pred(mb_type)中。

同时，当利用小于8×8的种类的分区作为最小单位，设定校正标记时，包含在mb_pred(mb_type)中的校正标记如图26中图解所示，图27图解说明包含在sub_mb_pred(mb_type)中的校正标记。

在图27中，refinement_pixel_mode[mbPartIdx][subMbPartIdx]指示校正标记。

同时，校正标记refinement_pixel_mode[mbPartIdx][subMbPartIdx]的变元subMbPartIdx是用于区分小于8×8的种类的各个分区的索引。

这里，当利用宏块作为最小单位，设定校正标记时，可以使编码数据的报头的数据量(开销数据量)的增加降至最小。

另一方面，当利用小于8×8的种类的分区(子分区)作为最小单位，设定校正标记时，能够控制关于每个小尺寸分区的像素值(解码像素值)的校正，从而进一步改善解码图像(解码视差图像D#2)的图像质量。

另外，当利用不小于8×8的种类的分区作为最小单位，设定校正标记时，能够获得介于其中宏块是最小单位的情况和其中小于8×8的种类的分区是最小单位的情况之间的中间图像质量，同时抑制编码数据的报头的数据量的增加。

[到规定值的校正与拍摄视差向量d的动态范围|dmax-dmin|或量化步长之间的关系]

图28是图解说明到规定值的校正与拍摄视差向量d的动态范围|dmax-dmin|之间的关系的视图。

按照式(1)获得为视差值ν的规定值，所述视差值ν是视差图像D#2的像素值(这同样适用于视差图像D#1)，以致规定值之间的间距在拍摄视差向量d2的动态范围|dmax-dmin|较大时变窄，而在动态范围|dmax-dmin|较小时变宽。

当规定值之间的间隔较窄时，量化失真对规定值之间的窄间隔的影响较大，以致即使当解码目标块的像素值(解码像素值)被校正(改变)成最近邻的规定值时，它也很可能被校正成与为原始图像的视差值ν的规定值不同的规定值。

即，如图28中图解所示，当作为视差图像D#2(原始图像)的某个像素值的视差值ν为10时，如果规定值之间的间隔较窄，那么由于量化失真，很可能与作为原始视差值ν的10相比，解码视差图像D#2的目标块(解码目标块)的解码像素值更靠近15，所述15是不同于视差值ν的规定值。

在这种情况下，当解码目标块的解码像素值被校正成最近邻的规定值时，它被校正成15，15是不同于原始视差值ν=10的规定值。

另一方面，当规定值之间的间隔较宽时，量化失真对规定值之间的宽间隔的影响较小，以致当解码目标块的解码像素值被校正成最近邻的规定值时，它很可能被校正成作为原始图像的视差值ν的规定值。

即，如图28中图解所示，当作为视差图像D#2(原始图像)的某个像素值的视差值ν为10时，如果规定值之间的间隔较宽，那么即使当受量化失真影响时，解码视差图像D#2的目标块(解码目标块)的解码像素值也很可能更靠近作为原始视差值ν=10的规定值。

在这种情况下，当解码目标块的解码像素值被校正成最近邻的规定值时，它被校正成与原始视差值ν=10相同的规定值。

于是，在本技术中，能够根据拍摄视差向量d的动态范围|dmax-dmin|，判定是否进行到规定值的校正。

即，在本技术中，当动态范围|dmax-dmin|较小，并且规定值之间的间隔较窄时，可不进行到规定的校正(增大不进行到规定值的校正的可能性)。

另外，在本技术中，当动态范围|dmax-dmin|较大，并且规定值之间的间隔较宽时，可校正成规定值(增大校正成规定值的可能性)。

图29是图解说明到规定值的校正与目标块的量化步长之间的关系的视图。

当量化步长较大时，量化失真较大(倾向于较大)，结果，量化失真对规定值之间的间隔的影响较大，以致即使当解码目标块的像素值(解码像素值)被校正(改变)成最近邻的规定值时，它也很可能被校正成与作为原始图像的视差值ν的规定值不同的规定值。

即，如图29中图解所示，在其中作为视差图像D#2(原始图像)的某个像素值的视差值ν为10的情况下，当量化步长较大，从而结果量化失真也较大时，由于量化失真，很可能与作为原始视差值ν的10相比，解码视差图像D#2的目标块(解码目标块)的解码像素值更靠近15，所述15是不同于视差值ν的规定值。

在这种情况下，当解码目标块的解码像素值被校正成最近邻的规定值时，它被校正成15，15是不同于原始视差值ν=10的规定值。

另一方面，当量化步长较小时，量化失真较小(倾向于较小)，结果量化失真对规定值之间的间隔的影响较小，以致当解码目标块的解码像素值被校正成最近邻的规定值时，它很可能被校正成作为原始图像的视差值ν的规定值。

即，如图29中图解所示，在作为视差图像D#2(原始图像)的某个像素值的视差值ν为10的情况下，当量化步长较小，结果量化失真也较小时，即使受量化失真影响，解码视差图像D#2的目标块(解码目标块)的解码像素值也很可能更靠近作为原始视差值ν=10的规定值。

这种情况下，当解码目标块的解码像素值被校正成最近邻的规定值时，它被校正成与原始视差值ν=10相同的规定值。

于是，本技术可根据目标块的量化步长，判定是否进行到规定值的校正。

即，在本技术中，在量化步长较大，并且量化失真较大的情况下，可不进行到规定值的校正(可增大不进行到规定值的校正的可能性)。

另外，在本技术中，在量化步长较小，并且量化失真较小的情况下，可进行到规定值的校正(可增大进行到规定值的校正的可能性)。

[编码器22的另一种结构例子]

图30是图解说明图4中的编码器22的另一种结构例子的方框图。

同时在图30中，与图11中对应的部分被赋予相同的附图标记，并且下面适当地省略其说明。

即，图30中的编码器22和图11中的编码器22的相同之处在于它包括A/D转换单元211～预测图像选择单元224，和映射信息生成单元231。

不过，图30中的编码器22和图11中的编码器22的不同之处在于它设置有代替校正单元232的校正单元532，并且新设置有阈值设定单元501。

包含在视差相关信息(图4)中的作为编码器22的编码目标的视差图像D#2的拍摄视差向量d(视点#2的拍摄视差向量d2)的最大值dmax和最小值dmin被提供给阈值设定单元501。

阈值设定单元501根据提供给它的视差图像D#2的拍摄视差向量d2的最大值dmax和最小值dmin，获得最大值dmax和最小值dmin之间的差分绝对值|dmax-dmin|，所述差分绝对值|dmax-dmin|是拍摄视差向量d2的动态范围。

然后，阈值设定单元501根据动态范围|dmax-dmin|，设定校正阈值Th，校正阈值Th是用于判定是否进行到规定值的校正的阈值，并把所述校正阈值Th提供给校正单元532。

即，阈值设定单元501利用其函数值随着变元值的变大而变小的函数，作为计算校正阈值Th的阈值用函数，利用动态范围|dmax-dmin|作为所述变元，计算阈值用函数，从而获得所述阈值用函数的函数值，作为校正阈值Th。

于是，在本实施例中，当动态范围|dmax-dmin|越大时，可获得其值越小的校正阈值Th。

在本实施例中，如后所述，当校正阈值Th较小时，不太可能进行到规定值的校正(当校正阈值Th较大时，可能进行到规定值的校正)。

同时，其函数值是连续值的函数，和其函数值是不少于2值的离散值的函数可被采用为阈值用函数。

除了从阈值设定单元501供给的校正阈值Th之外，还从映射信息生成单元231向校正单元532供给映射信息，从计算单元220向校正单元532供给解码目标块(解码视差图像D#2)。

按照和图11中的校正单元232相同的方式，校正单元532利用来自映射信息生成单元231的映射信息，把来自计算单元220的解码目标块(为所述解码目标块的像素值的解码像素值)校正成规定值，并把校正后目标块(校正之后的目标块)提供给解块滤波器221。

不过，校正单元532根据来自阈值设定单元501的校正阈值Th，和在量化单元215(及逆量化单元218)中的目标块的量化中使用的量化步长(宏块的Qp)，判定是否把解码目标块(的解码像素值)校正成规定值。

即，当目标块的量化步长大于校正阈值Th时，量化失真的影响较大，即使当解码像素值被校正成最近邻的规定值时，解码像素值也很可能被校正成与正确的规定值(原始目标块的像素值)不同的规定值，因而校正单元532不进行到规定值的校正，而是把解码目标块直接提供给解块滤波器221，作为校正后目标块。

另一方面，当目标块的量化步长不大于校正阈值Th时，量化失真的影响较小，从而当被校正成最近邻的规定值时，解码像素值很可能被校正成正确的规定值(原始目标块的像素值)，因而校正单元532进行到规定值的校正。

即，按照和图11中的校正单元232相同的方式，校正单元532获得由通过把解码像素值改变成最近邻的规定值而获得的改变后像素值构成的改变后目标块，并把所述改变后目标块作为校正后目标块，提供给解块滤波器221。

图31是图解说明图30中的校正单元532的结构例子的方框图。

同时在图31中，与图12中的校正单元232对应的部分被赋予相同的附图标记，并且下面适当地省略其说明。

在图31中，校正单元532包括像素值改变单元251和像素值校正单元552。

于是，校正单元532和图12中的校正单元232的相同之处在于它包括像素值改变单元251，与图12中的校正单元232的不同之处在于它包括代替像素值校正单元252的像素值校正单元552。

改变后目标块从像素值改变单元251被提供给像素值校正单元552，所述改变后目标块是由改变后像素值构成的目标块，而所述改变后像素值是通过根据来自映射信息生成单元231的映射信息，把作为来自计算单元220的解码目标块的像素值的解码像素值改变成规定值而获得的改变后的像素值。

解码目标块从计算单元220被提供给像素值校正单元552，校正阈值Th从阈值设置单元501被提供给像素值校正单元552。

像素值校正单元552根据来自阈值设置单元501的校正阈值Th与目标块的量化步长(宏块的Qp)之间的大小关系，判定是否把解码目标块(的解码像素值)校正成规定值。

即，当目标块的量化步长大于校正阈值Th时，量化失真的影响较大，从而即使当被校正成最近邻的规定值时，解码像素值也很可能被校正成与正确的规定值(原始目标块的像素值)不同的规定值，因而像素值校正单元552判定不进行到规定值的校正。

然后，像素值校正单元552把来自计算单元220的解码目标块作为校正后目标块，直接提供给解块滤波器221。

另一方面，当目标块的量化步长不大于校正阈值Th时，量化失真的影响较小，从而当被校正成最近邻的规定值时，解码像素值很可能被校正成正确的规定值(原始目标块的像素值)，因而像素值校正单元552判定进行到规定值的校正。

随后，像素值校正单元552把来自像素值改变单元251的，由通过把解码像素值改变成最近邻的规定值而获得的改变后像素值构成的改变后目标块，作为校正后目标块提供给解块滤波器221。

如上所述，由于当目标块的量化步长不大于校正阈值Th时，校正单元532进行到规定值的校正，因此当校正阈值Th较小时，不太可能进行到规定的校正，而当校正阈值Th较大时，可能进行到规定值的校正。

这里，如图28中图解所示，当动态范围|dmax-dmin|较大时，规定值之间的间隔变窄，从而量化失真的影响较大，以致即使当被校正成最近邻的规定值时，解码目标块的像素值(解码像素值)也很可能被校正成与作为原始图像的视差值ν的规定值不同的规定值。

于是，当动态范围|dmax-dmin|较大时，阈值设定单元501(图30)设定较小的值作为校正阈值Th，以致不太可能进行到规定值的校正。

另一方面，如图28中图解所示，当动态范围|dmax-dmin|较小时，规定值之间的间隔较宽，从而量化失真的影响较小，以致当解码目标块的解码像素值被校正成最近邻的规定值时，它很可能被校正成作为原始图像的视差值ν的规定值。

于是，当动态范围|dmax-dmin|较小时，阈值设定单元501(图30)设定较大的值作为校正阈值Th，以致可能进行到规定值的校正。

图32是图解说明由图30中的编码器22进行的编码视点#2的视差图像D#2的编码处理的流程图。

在步骤S211-S218，进行与在图14中的步骤S11-S18的处理类似的处理。

随后，计算单元220把在步骤S218获得的解码目标块提供给校正单元532，处理从步骤S218进入步骤S219。

在步骤S219，与在图14中的步骤S19一样，映射信息生成单元231根据视差相关信息，获得(生成)映射信息，并把所述映射信息提供给校正单元532，随后处理进入步骤S220。

在步骤S220，阈值设定单元501根据包含在视差相关信息中的拍摄视差向量d2的最大值dmax和最小值dmin，获得拍摄视差向量d2的动态范围|dmax-dmin|。

随后，阈值设定单元501根据动态范围|dmax-dmin|，如上所述设定当动态范围|dmax-dmin|较大时，其值较小的校正阈值Th(当动态范围|dmax-dmin|较小时，其值较大的校正阈值Th)，并把所述校正阈值Th提供给校正单元532，随后处理从步骤S220进入步骤S221。

在步骤S221，校正单元532利用来自映射信息生成单元231的映射信息，和来自阈值设定单元501的校正阈值Th，进行校正来自计算单元220的解码目标块(为所述解码目标块的像素值的解码像素值)的校正处理。随后，校正单元532把作为校正处理之后的目标块的校正后目标块提供给解块滤波器221，然后处理从步骤S221进入步骤S222。

之后，在步骤S222-S227进行与在图14中的步骤S21-26的处理类似的处理。

同时，尽管在图14中的步骤S25，变长编码单元216把由图11中的校正单元232输出的校正标记包含在编码数据的报头中，不过，图30中的校正单元532不输出校正标记，以致在图32中的与图14中的步骤S25对应的步骤S226，变长编码单元216不在编码数据的报头中包含校正标记。

图33是图解说明在图32的步骤S221中，由图31的校正单元532进行的校正处理的流程图。

在步骤S231-S233，进行与在图15的步骤S31-S33的处理类似的处理。

即，在步骤S231，校正单元532(图31)获得来自计算单元220的解码目标块，并把所述解码目标块提供给像素值改变单元251和像素值校正单元552，随后处理进入步骤S232。

在步骤S232，校正单元532获得来自映射信息生成单元231的映射信息，并把所述映射信息提供给像素值改变单元251，随后处理进入步骤S233。

在步骤S233，像素值改变单元251进行根据来自映射信息生成单元231的映射信息，把来自计算单元220的解码目标块(的解码像素值)改变成规定值的像素值改变处理，该像素值改变处理与图16中的像素值改变处理类似。

然后，像素值改变单元251把改变后目标块提供给像素值校正单元552，所述改变后目标块是由利用像素值改变处理获得的，为改变成规定值的像素值的改变后像素值构成的目标块，随后处理进入步骤S234。

在步骤S234，校正单元532获得来自阈值设定单元501的校正阈值Th，并把所述校正阈值Th提供给像素值校正单元552，随后处理进入步骤S235。

在步骤S235，像素值校正单元552进行根据来自像素值改变单元251的改变后目标块，来自计算单元220的解码目标块，和来自阈值设定单元501的校正阈值Th，校正解码目标块的像素值(解码像素值)的像素值校正处理，随后处理进入步骤S236。

在步骤S236，像素值校正单元552把作为利用步骤S235的像素值校正处理而获得的目标块的校正后目标块提供给解块滤波器221，然后处理返回。

图34是图解说明在图33中的步骤S235，由图31中的像素值校正单元552进行的像素值校正处理的流程图。

在步骤S251，像素值校正单元552判定目标块的量化步长(在量化单元215（图30）进行的目标块的量化中使用的量化步长)是否大于来自阈值设定单元501的校正阈值Th。

当在步骤S251，判定目标块的量化步长大于校正阈值Th时，即，当与规定值之间的间隔相比，量化失真(的影响)较大时，处理进入步骤S252，像素值校正单元552使解码目标块成为校正后目标块(使解码目标块的像素值保持不变，而不校正所述像素值)，然后处理返回。

当在步骤S251，判定目标块的量化步长不大于校正阈值Th时，即，当与规定值之间的间隔相比，量化失真较小时，处理进入步骤S253，像素值校正单元552使来自像素值改变单元251的改变后目标块成为校正后目标块(把解码目标块的像素值校正成作为改变后目标块的改变后像素值的规定值)，然后处理返回。

[解码器322的另一种结构例子]

图35是图解说明图18中的解码器322的另一种结构例子的方框图。

即，图35图解说明在如图30中图解所示构成编码器22的情况下的解码器322的结构例子。

同时在图35中，与图20中对应的部分被赋予相同的附图标记，并且下面适当地省略其说明。

在图35中，解码器322和图20中的解码器322的相同之处在于包括累积缓冲器441～预测图像选择单元451，和映射信息生成单元461。

不过，图35中的解码器322和图20中的解码器322的不同之处在于设置有代替校正单元462的校正单元662，并且新设置有阈值设定单元601。

包含在报头信息中的作为解码器322的解码目标的视差图像D#2的拍摄视差向量d2的最大值dmax和最小值dmin从变长解码单元442被提供给阈值设定单元601。

阈值设定单元601根据来自变长解码单元442的拍摄视差向量d2的最大值dmax和最小值dmin，获得拍摄视差向量d2的动态范围|dmax-dmin|，并按照和图30中的阈值设定单元501相同的方式，根据动态范围|dmax-dmin|设定校正阈值Th。随后，阈值设定单元601把校正阈值Th提供给校正单元662。

除了从阈值设定单元601供给的校正阈值Th之外，还从映射信息生成单元461向校正单元662供给映射信息，从计算单元445向校正单元662供给解码目标块(解码视差图像D#2)。

校正单元662按照和图20中的校正单元532相同的方式，根据来自阈值设定单元601的校正阈值Th，和用于逆量化单元443进行的目标块的逆量化的量化步长(与用于图30中的量化单元215进行的目标块的量化的量化步长相同)，判定是否把解码目标块(的解码像素值)校正为规定值。

随后，校正单元662按照判定的结果，利用来自映射信息生成单元461的映射信息，把来自计算单元445的解码目标块(为所述解码目标块的像素值的解码像素值)校正成规定值，并把作为校正后的目标块的校正后目标块提供给解块滤波器446。

图36是图解说明图35中的校正单元662的结构例子的方框图。

在图36中，校正单元662包括像素值改变单元671和像素值校正单元672。

像素值改变单元671和像素值校正单元672进行与构成图31中的校正单元532的像素值改变单元251和像素值校正单元552的处理相同的处理。

即，作为目标块的解码视差图像D#2的解码目标块从计算单元445被提供给像素值改变单元671，映射信息从映射信息生成单元461被提供给像素值改变单元671。

像素值改变单元671按照与图31(及图12)中的像素值改变单元251相同的方式，根据来自映射信息生成单元461的映射信息，把作为来自计算单元445的解码目标块的像素值的解码像素值改变成规定值，并把改变后目标块提供给像素值校正单元672，所述改变后目标块是由作为改变后的像素值的改变后像素值构成的目标块。

除了从像素值改变单元671供给的改变后目标块之外，还从计算单元445向像素值校正单元672供给解码目标块，从阈值设定单元601向像素值校正单元672供给校正阈值Th。

像素值校正单元672按照和图31中的像素值校正单元552相同的方式，根据来自阈值设定单元601的校正阈值Th和目标块的量化步长(在逆量化单元443(图35)进行的目标块的逆量化中使用的量化步长)之间的大小关系，判定是否把来自计算单元445的解码目标块(的解码像素值)校正成规定值。

即，当目标块的量化步长大于校正阈值Th时，量化失真的影响较大，从而即使当解码像素值被校正成最近邻的规定值时，解码像素值也很可能被校正成与正确的规定值(原始目标块的像素值)不同的规定值，以致像素值校正单元672判定不进行到规定值的校正。

然后，像素值校正单元672把来自计算单元445的解码目标块作为校正后目标块，直接提供给解块滤波器446。

另一方面，当目标块的量化步长不大于校正阈值Th时，量化失真的影响较小，从而当解码像素值被校正成最近邻的规定值时，解码像素值很可能被校正成正确的规定值(原始目标块的像素值)，以致像素值校正单元672判定进行到规定值的校正。

随后，像素值校正单元672把来自像素值改变单元671的，由通过把解码像素值改变成最近邻的规定值而获得的改变后像素值构成的改变后目标块作为校正后目标块，提供给解块滤波器446。

图37是图解说明由图35中的解码器322进行的解码视点#2的视差图像D#2的编码数据的解码处理的流程图。

在步骤S311-S315，进行与图22中的步骤S111-S115的处理类似的处理。

随后，计算单元445把在步骤S315获得的解码目标块提供给校正单元662，处理从步骤S315进入步骤S316。

在步骤S316，映射信息生成单元461获得映射信息，并将其提供给校正单元662，然后处理从步骤S316进入步骤S317。

在步骤S317，阈值设定单元601设定校正阈值Th，并把校正阈值Th提供给校正单元662，然后处理进入步骤S318。

在步骤S318，校正单元662利用来自映射信息生成单元461的映射信息和来自阈值设定单元601的校正阈值Th，进行校正来自计算单元445的解码目标块(为所述解码目标块的像素值的解码像素值)的校正处理，该校正处理与图33中的校正处理相同。随后，校正单元662把作为校正处理之后的目标块的校正后目标块提供给解块滤波器446，然后处理从步骤S318进入步骤S319。

之后在步骤S319-S323，进行与在图20中的步骤S118-S122的处理类似的处理。

同时，在上面的说明中，尽管根据动态范围|dmax-dmin|和量化步长这两者，判定是否进行到规定值的校正，即，根据动态范围|dmax-dmin|设定校正阈值Th，并借助利用校正阈值Th的量化步长的阈值处理，判定是否进行到规定值的校正，不过可以根据动态范围|dmax-dmin|和量化步长之一，判定是否进行到规定值的校正。

即，通过设定固定阈值，并通过利用固定阈值，进行动态范围|dmax-dmin|或者量化步长的阈值处理，能够判定是否进行到规定值的校正。

[应用本技术的计算机的说明]

上述一系列处理可以利用硬件或者利用软件进行。当利用软件进行一系列处理时，构成所述软件的程序被安装在多用途计算机等上。

图39图解说明上面安装执行上述一系列处理的程序的计算机的一个实施例的结构例子。

程序可被预先记录在作为嵌入计算机中的记录介质的硬盘805和ROM803上。

另一方面，程序可被保存(记录)在可拆卸记录介质811中。可以所谓的套装软件的形式，提供这样的可拆卸介质811。这里，可拆卸介质811包括例如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字通用光盘)、磁盘、半导体存储器等等。

同时，程序可从上述可拆卸记录介质811安装在计算机上，或者可通过通信网络和广播网络下载到计算机，以便安装在嵌入式硬盘805上。即，程序可通过数字卫星广播用卫星，从下载站点无线传送到计算机，或者可通过诸如LAN(局域网)和因特网之类的网络，有线传送到计算机。

CPU(中央处理器)802被嵌入计算机中，输入/输出接口810通过总线801连接到CPU802。

当通过输入/输出接口810，利用用户对输入单元807的操作等输入指令时，CPU802按照所述指令，执行保存在ROM(只读存储器)中的程序。另一方面，CPU把保存在硬盘805中的程序下载到RAM(随机存取存储器)804，以便执行。

据此，CPU802进行与上述流程图相应的处理，或者利用上述方框图的结构进行的处理。然后，CPU802酌情从输出单元806输出处理结果，或者从通信单元808传送处理结果，或者通过输入/输出接口810把处理结果记录在硬盘805上。

同时，输入单元807由键盘、鼠标、麦克风等构成。输出单元806由LCD(液晶显示器)、扬声器等构成。

这里，在本说明书中，计算机按照程序进行的处理不一定按照作为流程图说明的顺序时序地执行。即，计算机按照程序进行的处理还包括并行地或者独立地执行的处理(例如，并行处理和依据对象的处理)。

另外，所述程序可由一个计算机(处理器)处理，或者可由多个计算机处理。此外，所述程序可被传送给远程计算机执行。

[电视机的结构例子]

图40图解说明应用本技术的电视机的示意结构。电视机900包括天线901、调谐器902、多路分解器903、解码器904、视频信号处理器905、显示单元906、音频信号处理器907、扬声器908和外部接口单元909。此外，电视机900包括控制器910、用户接口单元911等。

调谐器902从利用天线901接收的广播信号中选择预定频道，以便解调，并把获得的编码比特流输出给多路分解器903。

多路分解器903从编码比特流中，提取待观看的节目的视频和音频的分组，并把所提取分组的数据输出给解码器904。多路分解器903把诸如EPG(电子节目指南)之类的数据的分组提供给控制器910。同时，当实施加扰时，多路分解器等解除加扰。

解码器904进行所述分组的解码处理，并把利用解码处理生成的视频数据和音频数据分别输出给视频信号处理器905和音频信号处理器907。

视频信号处理器905进行视频数据的降噪，与用户设定相应的视频处理等。视频信号处理器905生成待显示在显示单元906上的节目的视频数据，和与基于通过网络供给的应用程序的处理相应的图像数据。视频信号处理器905还生成用于显示选择项目等的菜单画面等的视频数据，并把所述视频数据叠加在节目的视频数据上。视频信号处理器905根据按照这种方式生成的视频数据，生成驱动信号，以驱动显示单元906。

显示单元906根据来自视频信号处理器905的驱动信号，驱动显示设备(例如，液晶显示设备等)，以显示节目的视频等。

音频信号处理器907对音频数据实施诸如降噪之类的预定处理，进行所述预定处理之后的音频数据的D/A转换处理和放大处理，并把音频数据提供给扬声器908，从而输出音频。

外部接口单元909是用于连接到外部设备和网络的接口，外部接口单元909传送和接收诸如视频数据和音频数据之类的数据。

用户接口单元911连接到控制器910。用户接口单元911由操作开关、遥控信号接收单元等构成，并把与用户操作相应的操作信号提供给控制器910。

控制器910由CPU(中央处理器)、存储器等构成。存储器保存CPU执行的程序，为CPU执行处理所必需的各种数据，EPG数据，通过网络获得的数据等。保存在存储器中的程序由CPU在预定定时(例如，在启动电视机900时)读取，以便被执行。CPU执行所述程序，以控制每个单元，以致电视机900按照用户操作工作。

同时，电视机900具备把调谐器902、多路分解器903、视频信号处理器905、音频信号处理器907、外部接口单元909等连接到控制器910的总线912。

在按照这种方式构成的电视机中，解码器904具备本申请的图像处理设备(图像处理方法)的功能。于是，能够改善解码图像的图像质量。

[移动电话机的结构例子]

图41图解说明应用本技术的移动电话机的示意结构。移动电话机920包括通信单元922、音频编解码器923、摄像机单元926、图像处理器927、多路复用/分离单元928、记录/再现单元929、显示单元930和控制器931。这些组件通过总线933相互连接。

天线921连接到通信单元922，扬声器924和麦克风925连接到音频编解码器923。此外，操作单元932连接到控制器931。

移动电话机920按照各种模式，比如音频通话模式和数据通信模式，进行各种操作，比如音频信号的传送和接收、电子邮件和图像数据的传送和接收、摄像和数据记录。

在音频通话模式下，利用麦克风925生成的音频信号由音频编解码器923转换成音频数据并压缩，以便提供给通信单元922。通信单元922进行音频数据的调制处理、频率转换处理等，从而生成传送信号。通信单元922把传送信号提供给天线921，以便传送给未例示的基站。通信单元922还放大利用天线921接收的接收信号，并进行所述接收信号的频率转换处理、解调处理等，随后把获得的音频数据提供给音频编解码器923。音频编解码器923解压缩音频数据，并将其转换成模拟音频信号，以输出给扬声器924。

另外，当按数据通信模式传送邮件时，控制器931接受利用操作单元932的操作而输入的字符数据，并把输入的字符显示在显示单元930上。控制器931还根据操作单元932中的用户指令等，生成邮件数据，并把所述邮件数据提供给通信单元922。通信单元922进行邮件数据的调制处理、频率转换处理等，然后从天线921传送获得的传送信号。通信单元921放大利用天线921接收的接收信号，并进行所述接收信号的频率转换处理、解调处理等，从而恢复邮件数据。邮件数据被提供给显示单元930，从而显示邮件内容。

同时，移动电话机920还可利用记录/再现单元929，把接收的邮件数据保存在存储介质中。存储介质是任意的可重写存储介质。例如，存储介质是诸如RAM和嵌入式闪存之类的半导体存储器，和诸如硬盘、磁盘、磁光盘、光盘、USB存储器和存储卡之类的可拆卸介质。

当按数据通信模式传送图像数据时，利用摄像机单元926生成的图像数据被提供给图像处理器927。图像处理器927进行图像数据的编码处理，从而生成编码数据。

多路复用/分离单元928利用预定系统，多路复用由图像处理器927生成的编码数据，和从音频编解码器923供给的音频数据，并把多路复用数据提供给通信单元922。通信单元922进行多路复用数据的调制处理、频率转换处理等，并从天线921传送获得的传送信号。通信单元922还放大利用天线921接收的接收信号，并进行所述接收信号的频率转换处理、解调处理等，从而恢复多路复用数据。多路复用数据被提供给多路复用/分离单元928。多路复用/分离单元928分离多路复用数据，把编码数据和音频数据分别提供给图像处理器927和音频编解码器923。图像处理器927进行编码数据的解码处理，从而生成图像数据。图像数据被提供给显示单元930，从而显示接收的图像。音频编解码器923把音频数据转换成模拟音频信号，并把模拟音频信号提供给扬声器924，以便输出接收的音频。

在按照这种方式构成的移动电话机设备中，图像处理器927具备本申请的图像处理设备(图像处理方法)的功能。于是，能够改善解码图像的图像质量。

[记录/再现设备的结构例子]

图42图解说明应用本技术的记录/再现设备的示意结构。记录/再现设备940把例如接收的广播节目的音频数据和视频数据记录在记录介质上，并在按照用户的指令的定时，把记录的数据提供给用户。记录/再现设备940还可从例如另一个设备获得音频数据和视频数据，并把它们记录在记录介质上。此外，记录/再现设备940可对记录在记录介质上的音频数据和视频数据解码，以便输出，从而利用监视器设备等显示图像和输出音频。

记录/再现设备940包括调谐器941、外部接口单元942、编码器943、HDD(硬盘驱动器)单元944、硬盘驱动器945、选择器945、解码器947、OSD(屏幕显示)单元948、控制器949和用户接口单元950。

调谐器941从利用未例示的天线接收的广播信号中，选择预定的频道。调谐器941把通过解调预定频道的接收信号而获得的编码比特流输出给选择器946。

外部接口单元942至少由IEEE1394接口、网络接口单元、USB接口、闪存接口等中的任意之一构成。外部接口单元942是连接到外部设备、网络、存储卡等的接口，接收待记录的诸如视频数据和音频数据之类的数据。

当从外部接口单元942供给的视频数据和音频数据未被编码时，编码器943利用预定系统对它们编码，并把编码的比特流输出给选择器946。

HDD单元944把诸如视频和音频之类的内容数据、各种程序、另外的数据等记录在嵌入的硬盘上，并在再现的时候等，从硬盘读取所述内容数据库、各种程序、另外的数据等。

磁盘驱动器945把信号记录在装在其上的光盘上，和从所述光盘再现信号。例如，光盘是DVD(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)、蓝光光盘等。

选择器946选择来自调谐器941或编码器943的编码比特流，并在记录视频和音频的时候，把所述编码比特流提供给HDD单元944或者磁盘驱动器945。当再现视频和音频的时候，选择器946还把从HDD单元944或者磁盘驱动器945输出的编码比特流提供给解码器947。

解码器947进行编码比特流的解码处理。解码器947把利用解码处理生成的视频数据提供给OSD单元948。解码器947输出利用解码处理生成的音频数据。

OSD单元948生成用于显示选择项目的菜单画面等的视频数据，并把所述视频数据叠加在从解码器947输出的视频数据上，以便输出。

用户接口单元950连接到控制器949。用户接口单元950由操作开关、遥控信号接收单元等构成，并把与用户操作相应的操作信号提供给控制器949。

控制器949由CPU、存储器等构成。存储器保存CPU执行的程序，和为CPU执行处理所必需的各种数据。保存在存储器中的程序由CPU在预定定时(例如，在启动记录/再现设备940时)读取，以便被执行。CPU执行所述程序，以控制每个单元，以致记录/再现设备940按照用户操作工作。

在按照这种方式构成的记录/再现设备中，解码器947具备本申请的图像处理设备(图像处理方法)的功能。于是，能够改善解码图像的图像质量。

[摄像设备的结构例子]

图43图解说明应用本技术的摄像设备的示意结构。摄像设备960拍摄被摄物体的图像，把被摄物体的图像显示在显示单元上，或者作为图像数据记录在记录介质上。

摄像设备960包括光学部件961、摄像单元962、摄像机信号处理器963、图像数据处理器964、显示单元965、外部接口单元966、存储单元967、介质驱动器968、OSD单元969和控制器970。用户接口单元971连接到控制器970。此外，图像数据处理器964、外部接口单元966、存储单元967、介质驱动器968、OSD单元969和控制器970等通过总线972相互连接。

光学部件961由聚焦透镜、光圈机构等构成。光学部件961在摄像单元962的成像区域上，形成被摄物体的光学图像。由CCD或CMOS图像传感器构成的摄像单元962利用光电转换，生成与光学图像相应的电信号，并把所述电信号提供给摄像机信号处理器963。

摄像机信号处理器963对从摄像单元962供给的电信号实施各种摄像机信号处理，比如Knee校正、γ校正和彩色校正。摄像机信号处理器963把摄像机信号处理之后的图像数据提供给图像数据处理器964。

图像数据处理器964进行从摄像机信号处理器963供给的图像数据的编码处理。图像数据处理器964把利用编码处理生成的编码数据提供给外部接口单元966和介质驱动器968。图像数据处理器964还进行从外部接口单元966和介质驱动器968供给的编码数据的解码处理。图像数据处理器964把利用解码处理生成的图像数据提供给显示单元965。图像数据处理器964进行把从摄像机信号处理器963供给的图像数据提供给显示单元965的处理，并把从OSD单元969获得的显示用数据叠加在图像数据上，以便提供给显示单元965。

OSD单元969生成显示用数据，比如由符号、字符或图形形成的菜单画面和图标，并把所述显示用数据输出给图像数据处理器964。

外部接口单元966由例如USB输入/输出端子等构成，并在打印图像时，被连接到打印机。驱动器酌情连接到外部接口单元966，在所述驱动器上适当地装上诸如磁盘和光盘之类的可拆卸介质，并酌情安装从所述可拆卸介质读取的计算机程序。此外，外部接口单元966包括连接到预定网络，比如LAN和因特网的网络接口。控制器970可按照来自用户接口单元971的指令，从存储单元967读取编码数据，并把所述编码数据从外部接口单元966提供给通过网络连接的另一个设备。控制器970还可通过外部接口单元966，获得通过网络，从另一个设备供给的编码数据和图像数据，并把所述编码数据和图像数据提供给图像数据处理器94。

任选的可读/可写可拆卸介质，比如磁盘、磁光盘、光盘和半导体存储器用作由介质驱动器968驱动的记录介质。任意种类的可拆卸介质可用作记录介质：可以是磁盘设备、磁盘或存储卡。当然，可以使用非接触式IC卡等。

也可使介质驱动器968和记录介质一体化，以致由诸如嵌入式硬盘驱动器、SSD(固态驱动器)之类的不可移植存储介质构成。

控制器970由CPU、存储器等构成。存储器保存CPU执行的程序，CPU进行处理所需的各种数据等。保存在存储器中的程序由CPU在预定定时(例如，在启动摄像设备960时)读取，以便被执行。CPU执行所述程序，以控制每个单元，以致摄像设备960按照用户操作工作。

在按照这种方式构成的摄像设备中，图像数据处理器964具备本申请的图像处理设备(图像处理方法)的功能。于是，能够改善解码图像的图像质量。

同时，本技术的实施例并不局限于上述实施例，可以作出各种修改，而不脱离本技术的范围。

即，本技术并不局限于视差图像(视差信息图像)的利用MVC的编码和解码。

本技术适用于至少量化把对应于预定数据的值作为像素值的图像(所述图像是其中按照所述预定数据的最大值和最小值，把作为像素值的可能值规定为预定的规定值的图像)的编码，和至少逆量化编码结果的解码。

附图标记列表

11,12,21,22编码器，31DPB，32多路复用单元，41,42摄像机，43多视点图像信息生成单元，111A/D转换单元，112画面重排缓冲器，113计算单元，114正交变换单元，115量化单元，116变长编码单元，117累积缓冲器，118逆量化单元，119逆正交变换单元，120计算单元，121解块滤波器，122画面内预测单元，123帧间预测单元，124预测图像选择单元，211A/D转换单元，212画面重排缓冲器，213计算单元，214正交变换单元，215量化单元，216变长编码单元，217累积缓冲器，218逆量化单元，219逆正交变换单元，220计算单元，221解块滤波器，222画面内预测单元，223帧间预测单元，224预测图像选择单元，231映射信息生成单元，232校正单元，251像素值改变单元，252像素值校正单元，301分离单元，311,312,321,322解码器，331DPB，341累积缓冲器，342变长解码单元，343逆量化单元，344逆正交变换单元，345计算单元，346解块滤波器，347画面重排单元，348D/A转换单元，349画面内预测单元，350帧间预测单元，351预测图像选择单元，441累积缓冲器，442变长解码单元，443逆量化单元，444逆正交变换单元，445计算单元，446解块滤波器，447画面重排单元，448D/A转换单元，449画面内预测单元，450帧间预测单元，451预测图像选择单元，461映射信息生成单元，462校正单元，471像素值校正单元，501阈值设定单元，532校正单元，552像素值校正单元，601阈值设定单元，662校正单元，671像素值改变单元，672像素值校正单元，801总线，802CPU，803ROM，804RAM，805硬盘，806输出单元，807输入单元，808通信单元，809驱动器，810输入/输出接口，811可拆卸记录介质

权利要求书(按照条约第19条的修改)

1.一种图像处理设备，包括：

校正单元，所述校正单元将至少通过量化和逆量化把关于视差的深度信息作为像素值的图像而获得的解码图像的像素值校正为预定的规定值，所述把关于视差的深度信息作为像素值的图像是其中按照所述深度信息的最大值和最小值，把作为像素值的可能值规定为所述预定的规定值的图像。

2.按照权利要求1所述的图像处理设备，其中

校正单元把解码图像的像素值校正成最靠近该像素值的规定值。

3.按照权利要求2所述的图像处理设备，其中

校正单元根据通过把解码图像的像素值改变成最靠近该像素值的规定值而获得的改变之后的像素值与原始图像的像素值之差，和解码图像的像素值与原始图像的像素值之差，把解码图像的像素值校正成最靠近该像素值的规定值或者使像素值保持不变。

4.按照权利要求3所述的图像处理设备，其中

校正单元输出校正标记，所述校正标记指示是把解码图像的像素值校正成最靠近该像素值的规定值还是使像素值保持不变。

5.按照权利要求2所述的图像处理设备，其中

校正单元获得校正标记，所述校正标记指示是把解码图像的像素值校正成最靠近该像素值的规定值还是使像素值保持不变，并根据校正标记，把解码图像的像素值校正成最靠近该像素值的规定值或者使像素值保持不变。

6.按照权利要求2所述的图像处理设备，其中

校正单元根据所述深度信息的最大值和最小值之差，把解码图像的像素值校正成最靠近该像素值的规定值或者使像素值保持不变。

7.按照权利要求2所述的图像处理设备，其中

校正单元根据量化图像的量化步长，把解码图像的像素值校正成最靠近该像素值的规定值或者使像素值保持不变。

8.按照权利要求7所述的图像处理设备，其中

当量化步长大于预定阈值时，校正单元使解码图像的像素值保持不变，并且

当量化步长不大于预定阈值时，校正单元把解码图像的像素值校正成最靠近该像素值的规定值，

所述图像处理设备还包括：

阈值设定单元，所述阈值设定单元根据所述深度信息的最大值和最小值之差，设定所述预定阈值。

9.按照权利要求1所述的图像处理设备，其中

所述图像是把颜色图像的每个像素的深度信息作为像素值的深度图像。

10.一种图像处理方法，包括以下步骤：

将至少通过量化和逆量化把关于视差的深度信息作为像素值的图像而获得的解码图像的像素值校正为预定的规定值，所述把关于视差的深度信息作为像素值的图像是其中按照所述深度信息的最大值和最小值把作为像素值的可能值规定为所述预定的规定值的图像。

11.一种程序，所述程序使计算机可以起以下作用：

校正单元，所述校正单元把至少通过量化和逆量化把关于视差的深度信息作为像素值的图像而获得的解码图像的像素值校正为预定的规定值，所述把关于视差的深度信息作为像素值的图像是其中按照所述深度信息的最大值和最小值，把作为像素值的可能值规定为所述预定的规定值的图像。

Claims (11)

1.一种图像处理设备，包括：

校正单元，所述校正单元将至少通过量化和逆量化把对应于预定数据的值作为像素值的图像而获得的解码图像的像素值校正为预定的规定值，所述把对应于预定数据的值作为像素值的图像是其中按照所述预定数据的最大值和最小值把作为像素值的可能值规定为所述预定的规定值的图像。

2.按照权利要求1所述的图像处理设备，其中

校正单元把解码图像的像素值校正成最靠近该像素值的规定值。

3.按照权利要求2所述的图像处理设备，其中

校正单元根据通过把解码图像的像素值改变成最靠近该像素值的规定值而获得的改变之后的像素值与原始图像的像素值之差，和解码图像的像素值与原始图像的像素值之差，把解码图像的像素值校正成最靠近该像素值的规定值，或者使像素值保持不变。

4.按照权利要求3所述的图像处理设备，其中

校正单元输出校正标记，所述校正标记指示是把解码图像的像素值校正成最靠近该像素值的规定值还是使像素值保持不变。

5.按照权利要求2所述的图像处理设备，其中

校正单元获得校正标记，所述校正标记指示是把解码图像的像素值校正成最靠近该像素值的规定值还是使像素值保持不变，并根据校正标记，把解码图像的像素值校正成最靠近像素值的规定值或者使像素值保持不变。

6.按照权利要求2所述的图像处理设备，其中

校正单元根据预定数据的最大值和最小值之差，把解码图像的像素值校正成最靠近该像素值的规定值或者使像素值保持不变。

7.按照权利要求2所述的图像处理设备，其中

校正单元根据量化图像的量化步长，把解码图像的像素值校正成最靠近该像素值的规定值或者使像素值保持不变。

8.按照权利要求7所述的图像处理设备，其中

当量化步长大于预定阈值时，校正单元使解码图像的像素值保持不变，并且

当量化步长不大于预定阈值时，校正单元把解码图像的像素值校正成最靠近该像素值的规定值，

所述图像处理设备还包括：

阈值设定单元，所述阈值设定单元根据预定数据的最大值和最小值之差，设定所述预定阈值。

9.按照权利要求1所述的图像处理设备，其中

所述图像是把关于颜色图像的每个像素的视差的深度信息作为像素值的深度图像。

10.一种图像处理方法，包括以下步骤：

将至少通过量化和逆量化把对应于预定数据的值作为像素值的图像而获得的解码图像的像素值校正为预定的规定值，所述把对应于预定数据的值作为像素值的图像是其中按照所述预定数据的最大值和最小值，把作为像素值的可能值规定为所述预定的规定值的图像。

11.一种程序，所述程序使计算机可以起以下作用：

校正单元，所述校正单元将至少通过量化和逆量化把对应于预定数据的值作为像素值的图像而获得的解码图像的像素值校正为预定的规定值，所述把对应于预定数据的值作为像素值的图像是其中按照所述预定数据的最大值和最小值，把作为像素值的可能值规定为所述预定的规定值的图像。

Images