CN103430549B - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN103430549B
CN103430549B CN201280012725.1A CN201280012725A CN103430549B CN 103430549 B CN103430549 B CN 103430549B CN 201280012725 A CN201280012725 A CN 201280012725A CN 103430549 B CN103430549 B CN 103430549B
Authority
CN
China
Prior art keywords
block
predicted motion
motion vector
parallax
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280012725.1A
Other languages
English (en)
Other versions
CN103430549A (zh
Inventor
高桥良知
服部忍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103430549A publication Critical patent/CN103430549A/zh
Application granted granted Critical
Publication of CN103430549B publication Critical patent/CN103430549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本技术涉及图像处理装置、图像处理方法和程序，其可以计算预测精度高的矢量作为视差矢量的预测运动矢量。预测运动矢量产生单元（243）根据深度信息使用预测标准，用与视点#1不同的视点#2的视差信息图像D#2来产生视差矢量的预测运动矢量，所述视差矢量代表视点#2彩色图像C#2的操作目标的目标块相对于视点#1的彩色图像C#1的视差，视点#2的视差信息图像D#2具有作为像素值的与视点#2的彩色图像C#2的每个像素的视差相关的视差信息。本发明可以应用于，例如在编码或解码多个视点图像时产生用于产生预测图像的视差矢量的预测运动矢量。

Description

图像处理装置和图像处理方法
技术领域
本技术涉及图像处理装置、图像处理方法和程序，并且更具体地讲，涉及可以计算出精确预测的运动矢量作为视差矢量的预测运动矢量的图像处理装置、图像处理方法和程序，所述视差矢量代表给定视点图像相对于另一个视点图像的视差。
背景技术
对多个视点图像诸如3D(维)图像进行编码的编码标准包括(例如)通过扩展AVC(高级视频编码)(H.264/AVC)标准得到的MVC(多视点视频编码)标准。
根据MVC标准，编码目标图像是以与来自被摄体的光对应的值作为像素值的彩色图像，并且如有必要，除了这个视点彩色图像之外还参考其它视点彩色图像对多个视点彩色图像中的每个进行编码。
也就是说，根据MVC标准，多个视点彩色图像之中的一个视点彩色图像是基础视点图像，并且其它视点彩色图像是从属视点图像。
另外，只参考这个基础视点图像对基础视点彩色图像进行编码，并且如有必要，对从属视点彩色图像的编码除了参考该从属视点图像之外还参考其它视点图像。
也就是说，如有必要，从属视点彩色图像经受参考其它视点彩色图像产生预测图像的视差预测，并且使用这个预测图像对从属视点彩色图像进行编码。
下文中，给定视点#1彩色图像是基础视点图像，并且另一个视点#2彩色图像是从属视点图像。
根据MVC标准，当视点#2彩色图像经受参照视点#1彩色图像的视差预测并且使用通过这个视差预测得到的预测图像对视点#2彩 色图像进行编码(经受预测编码)时，检测代表视点#2彩色图像的编码目标(也就是说，例如，作为宏块的目标块)相对于视点#1彩色图像的视差的视差矢量。
另外，根据MVC标准，计算通过预测目标块的视差矢量得到的预测运动矢量，并且对残差向量(residual vector)(即视差矢量和预测运动矢量之差)进行编码。
根据MVC标准，因为当残差向量较大时残差向量的比特率往往较高，因此当残差向量的程度较小时，也就是说，当预测运动矢量的预测精度较好(预测运动矢量更近似于视差矢量)时，可以提高编码效率。
顺带一提，近年来，作为采用视差信息图像(深度图像)并且对每个视点彩色图像和每个视点视差信息图像进行编码的编码标准，例如，定义诸如MPEG3DV标准的标准，除了作为多个视点图像的每个视点彩色图像之外，视差信息图像还包括与每个视点彩色图像的每个像素的视差相关的视差信息作为像素值。
根据MPEG3DV标准，主要以与MVC标准相同的方式，对每个视点彩色图像和每个视点视差信息图像进行编码。
根据MVC标准，尽管用彩色图像的目标块周围的块的视差矢量计算出目标块的(视差矢量的)预测运动矢量，但当目标块处于前景对象的边界部分中时，前景块、背景块和其中存在遮挡的那部分的块作为这个目标块的周围块存在，因此用这些块计算出的目标块的预测运动矢量在某些情况下造成预测精度降低。
因此，提出了一种基于视差信息图像来选择彩色图像中的目标块的周围块的视差矢量之一作为目标块的预测运动矢量的方法(参见例如非专利文献1)。
引用列表
非专利文献
非专利文献1：Tadashi Uchiumi，Makoto Ohtsu，Junsei Sato， YoshiyaYamamoto，Atsutoshi Shimeno的″A Method of Disparity Vector Prediction usingDepth Map(使用深度图预测视差矢量的方法)″，国际标准化组织(INTERNATIONALORGANISATION FOR STANDARDISATION，ORGANISATION INTERNATIONALE DENORMALISATION)，ISO/IEC JTC1/SC29/WG11，CODING OF MOVING PICTURES AND AUDIO(《运动画面和音频的编码》)，ISO/IEC JTC1/SC29/WG11，MPEG2010/M18367，2010年10月，中国广州。
发明内容
本发明要解决的问题
如上所述，在某些情况下，基于视差信息图像选择彩色图像中的目标块周围的块的视差矢量中的一个作为目标块的预测运动矢量难以得到具有良好预测性能的预测运动矢量。
依据这种情形，本技术可以计算预测精度高的矢量作为视差矢量的预测运动矢量。
问题的解决方案
根据本技术的一个方面的图像处理装置或程序是一种图像处理装置或指使计算机用作图像处理装置的程序，所述图像处理装置具有预测运动矢量产生单元，所述预测运动矢量产生单元按照深度信息使用预测标准、根据与第一视点不同的第二视点的深度图像产生视差矢量的预测运动矢量，所述视差矢量代表所述第二视点的彩色图像的操作目标的目标块相对于第一视点的彩色图像的视差，所述第二视点的深度图像包括作为像素值的与所述第二视点的彩色图像的每个像素的视差相关的深度信息。
根据本技术的一个方面的图像处理方法是包括以下步骤的一种图像处理方法：按照深度信息使用预测标准、根据与第一视点不同的第二视点的深度图像产生视差矢量的预测运动矢量，所述视差矢量代表 所述第二视点的彩色图像的操作目标的目标块相对于第一视点的彩色图像的视差，所述第二视点的深度图像包括作为像素值的与所述第二视点的彩色图像的每个像素的视差相关的深度信息。
根据以上一个方面，按照深度信息使用预测标准、根据与第一视点不同的第二视点的深度图像产生视差矢量的预测运动矢量，所述视差矢量代表所述第二视点的彩色图像的操作目标的目标块相对于第一视点的彩色图像的视差，所述第二视点的深度图像包括作为像素值的与所述第二视点的彩色图像的每个像素的视差相关的深度信息。
另外，图像处理装置可以是独立的装置或者形成一个装置的内部块。
程序可以通过传输介质来传输或者被记录在记录介质中的方式来提供。
本发明的效果
本技术可以计算预测精度高的矢量作为视差矢量的预测运动矢量。
附图说明
图1是用于说明SAD最小预测标准的视图。
图2是用于说明SAD最小预测标准的视图。
图3是用于说明本技术的概要的视图。
图4是示出应用本技术的多视点图像编码器的实施例的示例结构的框图。
图5是示出在多视点图像编码器中产生多个视点图像作为编码目标的多视点图像产生装置的示例结构的框图。
图6是用于说明在根据MVC标准进行预测编码时产生预测图像所参考的图片的视图。
图7是用于说明根据MVC标准对图片进行编码(和解码)的次序的视图。
图8是示出编码器11的示例结构的框图。
图9是用于说明根据MVC(AVC)标准的宏块类型的视图。
图10是用于说明根据MVC(AVC)标准的预测运动矢量(PMV)的视图。
图11是用于说明根据MVC(AVC)标准的预测运动矢量和参考索引之间的关系的视图。
图12是示出编码器12的示例结构的框图。
图13是示出视差预测单元232的示例结构的框图。
图14是用于说明对视点#2彩色图像C#2进行编码的编码操作的流程图。
图15是用于说明视差预测操作的流程图。
图16是用于说明预测运动矢量产生操作的流程图。
图17是用于说明矢量预测操作的视图。
图18是用于说明矢量预测操作的流程图。
图19是示出应用本技术的多视点图像解码器的实施例的示例结构的框图。
图20是示出解码器311的示例结构的框图。
图21是示出解码器312的示例结构的框图。
图22是示出视差预测单元462的示例结构的框图。
图23是用于说明对视点#2彩色图像C#2编码数据进行解码的解码操作的流程图。
图24是用于说明视差预测操作的流程图。
图25是用于说明预测运动矢量产生操作的流程图。
图26是用于说明基于编码成本的根据视差信息使用预测标准和MVC标准估计预测精度的方法的视图；
图27是示出视差预测单元232的示例结构的框图。
图28是用于说明视差预测操作的流程图。
图29是用于说明预测运动矢量产生操作的流程图。
图30是用于说明矢量预测操作的流程图。
图31是用于说明视差矢量检测操作的流程图。
图32是示出视差预测单元462的示例结构的框图。
图33是用于说明视差预测操作的流程图。
图34是用于说明预测运动矢量产生操作的流程图。
图35是示出头信息中包括的预测标志的例子的视图。
图36是示出头信息中包括的预测标志的例子的视图。
图37是示出头信息中包括的预测标志的例子的视图。
图38是用于说明基于视差矢量的偏差程度根据视差信息使用预测标准和MVC标准估计预测精度的方法的视图。
图39是示出视差预测单元232的示例结构的框图。
图40是用于说明预测运动矢量产生操作的流程图。
图41是用于说明矢量预测操作的流程图。
图42是示出视差预测单元462的示例结构的框图。
图43是用于说明预测运动矢量产生操作的流程图。
图44是用于说明视差和深度的视图。
图45是示出应用本技术的计算机的实施例的示例结构的框图。
图46是示出应用本技术的电视装置的示意性示例结构的框图。
图47是示出应用本技术的便携式电话装置的示意性示例结构的框图。
图48是示出应用本技术的记录/再现装置的示意性示例结构的框图。
图49是示出应用本技术的成像装置的示意性示例结构的框图。
具体实施方式
[在本说明书中对深度图像(视差信息图像)的说明]
图44是用于说明视差和深度的视图。
如图44中所示，当用布置在位置C1的相机c1和布置在位置C2的相机c2拍摄被摄体M的彩色图像时，根据下面的等式(a)定义被摄体M的深度Z，即，在深度方向上与相机c1(相机c2)的距 离。
Z＝(L/d)×f…(a)
另外，L是水平方向上的位置C1和位置C2之间的距离(下文中，被称为“相机间距离”)。另外，d是通过距离u1减去距离u2得到的值(即视差)，距离u2是水平方向上的相机c2拍摄的彩色图像上的被摄体M的位置与该彩色图像的中心之间的距离，距离u1是水平方向上的相机c1拍摄的彩色图像上的被摄体M的位置与该彩色图像的中心之间的距离。此外，f是相机c1的焦距，并且在等式(a)中，相机c1的焦距和相机c2的焦距是相同的。
如等式(a)所指示的，视差d和深度Z可以被唯一地转换。因此，在本说明书中，代表视差d的图像和代表相机c1和相机c2拍摄的两个视点彩色图像的深度Z的图像被统称为深度图像(视差信息图像)。
另外，深度图像(视差信息图像)只需要是代表视差d或深度Z的图像，并且作为深度图像(视差信息图像)的像素值，可以取通过归一化视差d得到的值或通过归一化深度Z的倒数1/Z得到的值来替代视差d或深度Z本身。
可以根据下面的等式(b)计算通过归一化8比特(0至255)的视差d得到的值I。另外，视差d的归一化比特数不限于8比特，并且可以是其它比特数，诸如10比特或12比特。
[数学公式4]
另外，在等式(b)中，Dmax是视差d的最大值，并且Dmin是视差d的最小值。可以以1个画面单位设置最大值Dmax和最小值Dmin，或者可以以多个画面单位设置最大值Dmax和最小值Dmin。
另外，可以根据下面的等式(c)，计算通过按照8比特(0至 255)归一化深度Z的倒数1/Z得到的值y。另外，深度Z的倒数1/Z的归一化比特数不限于8比特，并且可以是其它比特数，诸如10比特或12比特。
[数学公式5]
另外，在等式(c)中，Zfar是深度Z的最大值，并且Znear是深度Z的最小值。可以以1个画面单位设置设置最大值Zfar和最小值Znear，或者可以以多个画面单位设置最大值Zfar和最小值Znear。
因此，在本说明书中，考虑到视差d和深度Z可以被唯一地转换，以通过归一化视差d得到的值I作为像素值的图像和以通过归一化深度Z的倒数1/Z得到的值y作为像素值的图像被统称为深度图像(视差信息图像)。下文中，尽管深度图像(视差信息图像)的彩色格式是YUV420或YUV400格式，但是彩色格式可以是其它的彩色格式。
另外，当关注值I或值y的信息作为深度图像(视差信息图像)的像素值的替代时，值I或值y是深度信息(视差信息)。另外，上面映射有值I或值y的地图被称为“深度图”。
下文中，尽管将参考附图描述本技术的实施例，但将描述SAD最小预测标准(SAN最小预测器)作为前一步骤的准备，SAD最小预测标准是在针对多个视点彩色图像和视差信息图像(深度图像)进行编码和解码时计算视差矢量的预测运动矢量的方法的例子。
[SAN最小预测标准]
图1是用于说明非专利文献1提出的作为计算视差矢量的预测运动矢量的方法的SAD最小预测标准的视图。
现在，存在作为多个视点图像的视点#1彩色图像C#1和与视点#1不同的视点#2彩色图像C#2(即，两个视点彩色图像)以及视点 #1视差信息图像D#1和视点#2视差信息图像D#2(即，两个视点视差信息图像)。
另外，视差信息图像D#i(其中，i＝1、2)是包括与彩色图像C#i的每个像素的视差相关的视差信息(深度信息)作为像素值的图像。
另外，下文中，求出使用视点#1彩色图像C#1和视点#2彩色图像C#2之中的视点#1彩色图像C#1(的图片)作为参考图像来产生视点#2彩色图像C#2的预测图像的视差预测所使用的视差矢量的预测运动矢量。
现在，块(宏块)CX是编码(或解码)目标的目标块，它包括第t个图片，即从视点#2彩色图像C#2的头部开始的第t个(时刻t)图片。
同时，包括彩色图像C#2的目标块的图片，也就是说，编码目标图片也被称为“目标图片”。
根据MVC标准，由这个目标块CX周围的块(下文中，也被称为“周围彩色块”)之中被编码(解码(以光栅扫描次序))的块的视差矢量，计算彩色图像C#2的目标块CX的(视差矢量的)预测运动矢量。
也就是说，根据MVC标准，通过计算邻近目标块CX左侧的周围彩色块CA、邻近上侧的周围彩色块CB和邻近对角右上侧的周围彩色块CC的视差矢量的中值(中心值)作为目标块CX的预测运动矢量的矢量预测标准(下文中，也被称为“中值预测标准”或“中值预测器”)，计算预测运动矢量。
另外，根据中值预测标准，中值被计算为单独针对x分量和y分量的目标块CX的预测运动矢量。
现在，如图1中所示，在彩色图像C#2中示出背景和作为存在于背景前方的物体的矩形前景，并且目标块CX是前景的边界部分处的块。
也就是说，例如，目标块CX是矩形前景中邻近左上块的右侧的 块。
在这种情况下，邻近目标块CX左侧的周围彩色块CA是矩形前景中的左上块。另外，邻近目标块CX上侧的周围彩色块CB和邻近对角右上侧的周围彩色块CC是背景块。
在彩色图像C#2中，在前景和背景之间，视差是相对显著不同的，并且前景块的目标块CX和背景块的周围彩色块CB和CC具有显著不同的视差矢量。
另外，前景块的目标块CX和周围彩色块CA具有几乎相同的视差矢量。
因此，在这种情况下，通过采用前景块的周围彩色块CA，可以计算预测运动矢量，该预测运动矢量被精确预测为前景块的目标块CX的预测运动矢量。
然而，根据中值预测标准(中值预测器)，周围彩色块CA、CB和CC的视差矢量的中值被计算为目标块CX的预测运动矢量，因此，采用周围彩色块CB和CC的视差矢量作为前景块的目标块CX的预测运动矢量，周围彩色块CB和CC是周围彩色块CA、CB和CC之中的数量较大的背景块。
在这种情况下，目标块CX的预测运动矢量的预测精度降低。
因此，根据SAD最小预测标准(SAD最小预测器)，计算相同位置块DX和这个相同位置块DX周围的块(以下也被称为“周围视差块”)之中的左侧、上侧和对角右上侧的块DA、DB和DC的SAD(绝对差之和)，该相同位置块DX是位置与目标块CX相同的块。
另外，根据SAD最小预测标准，检测视差信息图像D#2的周围视差块(周围深度块)DA、DB和DC之中的与相同位置块DX具有最小SAD的周围视差块(也被称为“SAD最小视差块”)，并且采用彩色图像C#的周围彩色块CA至CC之中的与SAD最小视差块处于相同位置的周围彩色块的视差矢量作为目标块CX的预测运动矢量。
在视差信息图像D#2中，当(例如)相同位置块DX和周围视差块是同一对象的块(也就是说，没有(极小)视差的被摄体的块)时，相同位置块DX和周围视差块的SAD变小。
在图1中的视差信息图像D#2中，相同位置块DX和周围视差块DA是前景块，并且周围视差块DB和DC是背景块。因此，周围视差块DA至DC之中的与相同位置块DX同为前景块的周围视差块DA是与相同位置块DX具有最小SAD的SAD最小视差块。
结果，根据SAD最小预测标准，采用彩色图像C#2的周围彩色块CA至CC之中的位置与SAD最小视差块DA的位置相同的周围彩色块DA的视差矢量作为目标块CX的预测运动矢量，使得可以计算预测精度高的预测运动矢量。
如上所述，根据SAD最小预测标准，使用视差信息图像D#2，检测(确定)彩色图像C#2的周围彩色块CA至CC之中的示出与目标块CX的对象相同的对象的周围彩色块CX，并且采用这个周围彩色块CA的视差矢量作为标块CX的预测运动矢量。
然而，SAD最小预测标准提供了与中值预测标准的预测精度(性能)相同的预测精度(性能)，并且在某些情况下提供了比中值预测标准的预测精度差的预测精度。
图2是用于说明SAD最小预测标准(SAD最小预测器)提供了与中值预测标准的预测精度相同的预测精度以及提供了比中值预测标准(中值预测器)的预测精度差的预测精度的视图。
也就是说，图2的A是用于说明SAD最小预测标准提供了与中值预测标准的预测精度相同的预测精度的视图。
与图1类似，在图2的A中，在彩色图像C#2中示出背景和作为在这个背景的前方存在的对象的矩形前景。
另外，图2的A示出目标块CX是矩形前景的左上块。
因此，邻近目标块CX左侧的周围彩色块CA、邻近上侧的周围彩色块CB和邻近对角右上侧的周围彩色块CC都是背景块。
如上所述，当目标块CX是前景块并且周围彩色块CA至CC是 背景块时，目标块CX的视差矢量与周围彩色块CA至CC的视差矢量显著不同(低相关性)。
因此，即使就计算周围彩色块CA至CC的视差矢量的中值作为目标块CX的预测运动矢量的中值预测标准或者在与视差信息图像D#2的SAD最小视差块的位置相同处计算周围彩色块的视差矢量的SAD最小预测标准而言，预测运动矢量的预测精度降低。
图2的B是用于说明SAD最小预测标准提供了比中值预测标准的预测精度差的预测精度的视图。
与图1类似，在图2的B中，在彩色图像C#2中示出背景和作为在这个背景的前方存在的对象的矩形前景。
另外，与图1类似，图2的B示出目标块CX是邻近矩形前景的左上块的右侧的块。
因此，邻近目标块CX左侧的周围彩色块CA是矩形前景的左上块，并且邻近上侧的周围彩色块CB和邻近目标块CX的对角右上侧的周围彩色块CC是背景块。
如上所述，当目标块CX和周围彩色块CA是前景块并且周围彩色块CB和CC是背景块时，如参考图1描述的，视差信息图像D#2的周围视差块DA至DC的周围视差块DA是SAD最小视差块，并且根据SAD最小预测标准，采用位置与SAD最小视差块DA的位置相同的周围彩色块CA的视差矢量作为目标块CX的预测运动矢量。
然而，如图2的B中所示，当邻近目标块CX左侧的周围彩色块CA是矩形前景中的左上块(邻近前景边界的块或者包括边界的块)时，由于遮挡的影响，导致作为前景块的目标块CX和周围彩色块CA的预测运动矢量具有显著不同的矢量(不相关(低相关性)的矢量)。
也就是说，彩色图像C#2的块(宏块)用作与(例如)彩色图像C#2视点#2不同的视点#1彩色图像C#1的参考图片(图片)，经受ME(运动估计)(运动检测)，并且检测位移矢量作为视差矢量，位移矢量是代表相对于块(以下也被称为“对应块”)的位置的 位移的矢量，所述对应块是作为参考图片的彩色图像C#1(的图片)中的使得与彩色图像C#2块的SAD最小的区域。
因此，当彩色图像C#2块中示出的整个部分(纹理)也在彩色图像C#1中示出时，检测位移矢量作为视差矢量，该位移矢量代表相对于彩色图像C#1中的与彩色图像C#2块中示出的部分相同的部分的位置位移。
然而，在前景边界部分，具体地讲，由于视差的影响，导致产生遮挡部分，也就是说，在视点#2彩色图像C#2中示出但在视点#1彩色图像C#1中未示出的部分(或者在彩色图像C#1中示出但在彩色图像C#2中未示出的部分)。
因此，在彩色图像C#2块中示出的(前景)部分的一部分在彩色图像C#1中未示出，在这种情况下，示出与彩色图像C#2块中示出的部分不同的部分的彩色图像C#1块变成对应块，并且在某些情况下，检测与视差显著不同的矢量作为视差矢量。
在图2的B中，在前景边界处的周围彩色块CA中，由于遮挡的影响，导致检测到与前景视差显著不同的视差矢量。
如上所述，尽管根据SAD最小预测标准采用周围彩色块CA的视差矢量作为目标块CX的预测运动矢量，但是当由于遮挡的影响导致周围彩色块CA的视差矢量与前景视差显著不同时，在某些情况下，根据中值预测标准计算的预测运动矢量提供更好的预测精度。
另外，当目标块CX是前景的左上边界部分的块时并且另外当(例如)目标块是前景的右上边界部分的块时，会出现参考图2描述的情况。
因此，本技术采用视差信息使用预测标准作为产生预测运动矢量的矢量预测标准，视差信息使用预测标准用于由视差信息图像产生目标块的预测运动矢量。
根据视差信息使用预测标准(深度信息使用预测标准)，由视差信息图像(深度图像)产生目标块的预测运动矢量，使得可以计算平均而言预测精度高的预测运动矢量。
因此，可以只采用视差信息使用预测标准来产生预测运动矢量。
同时，下文中，将描述通过除了视差信息使用预测标准之外还采用(例如)MVC标准的另一个矢量预测标准(中值预测标准)，适应性地在包括视差信息使用预测标准的多个矢量预测标准之间进行切换的方法，也就是说，采用将由根据视差信息使用预测标准和其它矢量预测标准产生的预测运动矢量的估计被精确预测的预测运动矢量作为用于操作目标块的预测运动矢量的方法。
[本技术的概况]
图3是用于说明本技术的概况的视图。
与图2的A类似，在图3中，在彩色图像C#2中示出背景和作为在这个背景的前方存在的对象的矩形前景，并且彩色图像C#2目标块CX是矩形前景的左上块。
因此，邻近目标块CX左侧的周围彩色块CA、邻近上侧的周围彩色块CB和邻近对角右上侧的周围彩色块CC都是背景块。
如上所述，当目标块CX是前景块并且周围彩色块CA至CC是背景块时，即使中值预测标准(中值预测器)或SAD最小预测标准(SAD最小预测器)也提供了如参考图2的A描述的预测运动矢量的较差的预测精度。
因此，根据本技术，计算与相同位置块DX(即位置与视差信息图像D#2中的目标块的位置相同的块)和这个相同位置块DX周围的块之中的邻近左侧、上侧和对角右上侧的周围视差块DA、DB和DC之间的差异对应的SAD。
另外，根据本技术，产生基于视差信息图像D#2的周围视差块DA至DC和相同位置块DX之间的SAD根据视差信息使用预测标准(视差信息使用预测器)产生的预测运动矢量以及根据另一个矢量预测标准(诸如中值预测标准(中值预测器))产生的预测运动矢量之中被估计为预测精度高的预测运动矢量作为用于操作目标块CX的预测运动矢量。
也就是说，根据本技术，计算在视差信息图像D#2的周围视差 块DA至DC这三个周围视差块之中的与相同位置块DX的SAD等于或大于预定阈值或更大(或超过预定阈值)的周围视差块的数量。
同时，基于周围视差块和相同位置块DX的SAD，可以判定在位置与这个周围视差块的位置相同的彩色图像C#2周围彩色块和目标块CX(位置与相同位置块DX相同的彩色图像C#2块)中是否示出相同对象。
也就是说，估计在周围视差块之中的同与相同位置块DX的SAD等于或大于预定阈值或更大的周围视差块的位置相同的彩色图像C#2周围彩色块中示出与目标块CX的对象不同的对象。
根据本技术，当与相同位置块DX的SAD等于或大于预定阈值或更大的周围视差块的数量不是2个或更多个(一半或更大)时，估计根据中指预测标准产生的预测运动矢量的预测精度没有问题，并且根据中值预测标准产生目标块CX的预测运动矢量。
同时，当与相同位置块DX的SAD等于或大于预定阈值的周围视差块的数量是2个或更多个(一半或更大)时，估计根据视差信息使用预测标准产生的预测运动矢量比根据中值预测标准产生的预测运动矢量得到更高的预测精度，并且根据视差信息使用预测标准产生目标块CX的预测运动矢量。
同时，根据视差信息使用预测标准，由视差信息图像D#2产生彩色图像C#2目标块的预测运动矢量。
也就是说，根据视差信息使用预测标准，通过使用视差信息(即视差信息图像D#2中的位置与目标块的位置相同的块(相同位置块)DX的像素值)执行预定计算来产生预测运动矢量。
[应用本技术的多视点图像编码器的实施例]
图4是示出应用本技术的多视点图像编码器的实施例的示例结构的框图。
图4中的多视点图像编码器是使用(例如)MVC标准对多个视点图像进行编码的编码器，以下将适当地不描述与MVC标准的操作相同的操作。
另外，多视点图像编码器不限于使用MVC标准的编码器。
下文中，采用视点#1彩色图像C#1和视点#2彩色图像C#2(即，两个视点彩色图像)以及视点#1视差信息图像D#1和视点#2视差信息图像D#2(即，两个视点视差信息图像)作为多个视点图像。
另外，视点#1彩色图像C#1和视差信息图像D#1被用作基础视点图像，并且剩下的视点#2彩色图像C#2和视差信息图像D#2被用作从属视点图像。
另外，可以采用三个或更多个视点彩色图像和视差信息图像作为多个视点图像，并且这三个或更多个视点彩色图像和视差信息图像之中的任意一个视点彩色图像和视差信息图像可以被用作基础视点图像，并且剩下的视点彩色图像和视差信息图像可以被用作从属视点图像。
在图4中，多视点图像编码器具有编码器11、12、21和22、DPB 31和多路复用单元32。
编码器11接收视点#1彩色图像C#1和视差相关信息(深度相关信息)的供给。
同时，视差相关信息(深度相关信息)是视差信息(深度信息)的元数据，以下将对此进行详细描述。
编码器11在必要时使用视差相关信息对视点#1彩色图像C#1进行编码，并且将所得的视点#1彩色图像C#1的编码数据供应到多路复用单元32。
编码器12接收视点#2彩色图像C#2和视差相关信息的供给。
编码器12在必要时使用视差相关信息对视点#2彩色图像C#2进行编码，并且将所得的视点#2彩色图像C#2的编码数据供应到多路复用单元32。
编码器21接收视点#1视差信息图像D#1和视差相关信息的供给。
编码器21在必要时使用视差相关信息对视点#1视差信息图像 D#1进行编码，并且将所得的视点#1视差信息图像D#1的编码数据供应到多路复用单元32。
编码器22接收视点#2视差信息图像D#2和视差相关信息的供给。
编码器22在必要时使用视差相关信息对视点#2视差信息图像D#2进行编码，并且将所得的视点#2视差信息图像D#2的编码数据供应到多路复用单元32。
DPB 31暂时存储通过在编码器11、12、21和22中对编码目标图像进行编码并且对这些图像进行本地解码而得到的本地解码图像(解码图像)作为在产生预测图像时参考的参考图片(的候选)。
也就是说，编码器11、12、21和22对编码目标图像进行预测编码。因此，编码器11、12、21和22对编码目标图像进行编码，然后对图像进行本地解码以得到解码图像，从而产生用于进行预测编码的预测图像。
DPB 31是所谓的公共缓冲器，它暂时存储通过编码器11、12、21和22得到的解码图像，并且编码器11、12、21和22从DPB 31中存储的解码图像中选择对编码目标图像进行编码时参考的参考图片。另外，编码器11、12、21和22使用参考图片产生预测图像，并且使用预测图像对图像进行编码(执行预测编码)。
DPB 31被编码器11、12、21和22共享，使得除了通过所关注的编码器得到的解码图像之外，编码器11、12、21和22还可以参考其它编码器得到的解码图像。
多路复用单元32多路复用来自编码器11、12、21和22的编码数据，并且输出所得的多路复用数据。
多路复用单元32输出的多路复用数据被记录在记录介质(未示出)中，或者通过传输介质(未示出)传输。
[多视点图像产生装置]
图5是示出产生多个视点图像作为图4中的多视点图像编码器中的编码目标的多视点图像产生装置的示例结构的框图。
在多视点图像产生装置中，在可以拍摄不同视点彩色图像的位置安装两个相机41和42，以拍摄多个视点图像，也就是说，例如，两个视点图像。
下文中，在本实施例中，为了便于描述，相机41和42被布置在给定水平平面的一条线上的不同位置，使光轴指向与这条线垂直的方向。
相机41在布置相机41的位置处拍摄被摄体的图像，并且输出作为运动图像的彩色图像C#1。
另外，相机41输出彩色图像C#1的每个像素的视差矢量d1，视差矢量d1代表相对于基于相机42(即作为参考视点的另一个任意相机)的位置的参考视点的视差。
相机42在布置相机42的位置处拍摄被摄体的图像，并且输出作为运动图像的彩色图像C#2。
另外，相机42输出彩色图像C#2的每个像素的视差矢量d2，视差矢量d2代表相对于基于相机41(即作为参考视点的另一个任意相机)的位置的参考视点的视差。
同时，当其中彩色图像的横向(水平)方向是x轴而纵向(垂直)方向是y轴的二维平面被称作彩色图像平面时，相机41和42被布置在与彩色图像平面正交的平面(水平平面)上的一条线上。因此，视差矢量d1和d2是其y分量是0而其x分量是与(例如)水平方向上相机41和42之间的位置关系对应的值的矢量。
另外，从相机41和42输出的视差矢量(视差)d1和d2也被称为“图像拍摄视差矢量d1和d2”，用于与代表使用彩色图像C#1和C#2通过ME计算的视差的视差矢量区分开。
从相机41输出的彩色图像C#1和图像拍摄视差矢量d1，以及从相机42输出的彩色图像C#2和图像拍摄视差矢量d2被供应到多视点图像信息产生单元43。
多视点图像信息产生单元43将来自相机41和42的彩色图像C#1原样输出。
另外，多视点图像信息产生单元43根据来自相机41的图像拍摄视差矢量d1计算与彩色图像#1的每个像素的视差相关的视差信息，并且产生并输出以这个视差信息作为像素值的视差信息图像D#1。
此外，多视点图像信息产生单元43根据来自相机42的图像拍摄视差矢量d2计算与彩色图像#2的每个像素的视差相关的视差信息，并且产生并输出以这个视差信息作为像素值的视差信息图像D#2。
如上所述，视差信息(深度信息)包括(例如)视差值(值I)或值y，值I是与图像拍摄视差矢量对应的值，值y是通过归一化深度Z得到的，深度Z代表与被摄体的距离(深度)。
现在，视差信息图像的像素值取(例如)用8比特表示的整数值0至255。另外，用d表示图像拍摄视差矢量(的x分量)，用dmax和dmin表示(例如，作为一个内容的图片或运动图像中的)图像拍摄视差矢量(的x分量)的最大值和最小值。
在这种情况下，使用图像拍摄矢量d(的x分量)和图像拍摄视差矢量d的最大值dmax(Dmax)和最小值dmin(Dmin)根据(例如)如上所述的等式(I)计算视差值v(值I)。
v＝255×(d-dmin)/(dmax-dmin)…(1)
另外，可以根据等式(2)将等式(1)中的视差值v转换成图像拍摄视差矢量d(的x分量)。
d＝v×(dmax-dmin)/255+dmin…(2)
另外，深度Z代表从其上布置了相机41和42的那条线到被摄体的距离。
作为相机41(与相机42类似)，当基线长度即布置在该条线上的相机41和相机42之间的距离(与参考视点的距离)被表示为L并且相机41的焦距被表示为f时，可以使用图像拍摄视差矢量d(d1)(的x分量)根据等式(3)计算深度Z。
Z＝(L/d)×f…(3)
作为视差信息的视差值v和深度Z可以根据等式(1)至(3)相互转换，并且是等价的信息。
下文中，包括视差值v作为像素值的视差信息图像(深度图像)也被称为“视差图像”，并且包括通过归一化深度Z得到的值y作为像素值的图像也被称为“深度图像”。
另外，下文中，尽管(例如)视差图像和深度图像之中的视差图像被用作视差信息图像，但深度图像也可以被用作视差信息图像。
除了以上的彩色图像#1和#2以及视差图像D#1和#2之外，多视点图像信息产生单元43还输出视差相关信息。
也就是说，多视点图像信息产生单元43从外部接收基线长度L即相机41和相机42之间的距离(相机41和相机42之间的距离，以及参考视点)和焦距f的供给。
多视点图像信息产生单元43针对来自相机41的图像拍摄视差矢量d1和来自相机42的图像拍摄视差矢量d2，检测图像拍摄视差矢量d(的x分量)的最大值dmax和最小值dmin。
另外，多视点图像信息产生单元43输出图像拍摄视差矢量d的最大值dmax和最小值dmin、基线长度L和焦距f作为视差相关信息。
从多视点图像信息产生单元43输出的彩色图像C#1和C#2、视差图像D#1和D#2以及视差相关信息被供应到图4中的多视点图像编码器。
另外，尽管相机41和42布置在与彩色图像平面相同且正交的平面上的线上并且图像拍摄视差矢量d(d1和d2)是其y分量为0 (为了便于描述)的矢量，但相机41和42可以布置在与彩色图像平面不同且正交的平面上。在这种情况下，图像拍摄视差矢量d是x分量和y分量取不同于0的值的矢量。
[MVC标准的概况]
图6是用于说明在根据MVC标准进行预测编码时产生预测图像所参考的图片的视图。
现在，作为基础视点图像的视点#1图像的图片以(显示)时间次序用p11、p12、p13和…来表示，并且作为从属视点图像的视点#2图像的图片以时间次序用p21、p22、p23和…来表示。
例如，如有必要，作为基础视点图片的图片p12经受参考(例如)作为基础视点图片的图片p11和p13进行的预测编码。
也就是说，可以只参考作为这个基础视点的其它时间的图片的图片p11和p13来预测基础视点图片p12(可以产生预测图像)。
另外，例如，作为从属视点图片的图片p22经受参考(例如)作为从属视点图片的图片p21和p23以及另外的作为另一个视点的基础视点图片p12进行的预测编码。
也就是说，可以参考作为这个从属视点的其它时间的图片的图片p21和p23和另外的作为另一个视点图片的基础视点图片p12来预测从属视点图片p22。
同时，参考与编码目标图片相同的(另一个时间的)视点图片执行的预测也被称为“时间预测”，并且参考与编码目标图片不同的视点图片执行的预测也被称为“视差预测”。
如上所述，根据MVC标准，可以只对基础视点图片执行时间预测并且对从属视点图片执行时间预测和视差预测。
另外，根据MVC标准，与编码目标图片不同并且在视差预测时被参考的视点图片需要是与编码目标图片同时的图片。
形成图4中的多视点图像编码器的编码器11、12、21和22主要根据MVC标准执行预测(产生预测图像)。
图7是用于说明根据MVC标准对图片进行编码(和解码)的次序的视图。
现在，与图6类似，作为基础视点图像的视点#1图像的各个图片以(显示)时间次序用p11、p12、p13和…来表示，并且作为从属视点图像的视点#2图像的各个图片以时间次序用p21、p22、p23和…来表示。
现在，为了便于描述，当以时间次序对各个视点图片进行编码时，对基础视点的第一时刻t＝1的图片p11进行编码，然后对从属视点的同一时刻t＝1的图片p21进行编码。
当完成对从属视点的同一时刻t＝1的(所有)图片的编码时，对基础视点的下一时刻t＝2的图片p12进行编码，然后对从属视点的同一时刻t＝2的图片p22进行编码。
下文中，以相同次序对基础视点图片和从属视点图片进行编码。
形成图4中的多视点图像编码器的编码器11、12、21和22根据MVC标准依次对各个图片进行编码。
[编码器11的示例结构]
图8是示出图4中的编码器11的示例结构的框图。
另外，图4中的编码器21和22采用与编码器11的构造相同的构造，并且例如根据MVC标准对图像进行编码。
在图8中，编码器11具有A/D(模拟/数字)转换器111、画面重排缓冲器112、算术运算单元113、正交变换单元114、量化单元115、可变长度编码单元116、蓄积缓冲器117、逆量化单元118、逆正交变换单元119、算术运算单元120、解块滤波器121、画面内预测单元122、帧间预测单元123和预测图像选择单元124。
A/D转换器111顺序地接收以显示次序供给的作为编码目标图像(运动图像)的视点#1彩色图像C#1图片。
当提供给A/D转换器111的图片是模拟信号时，A/D转换器111对这个模拟信号执行A/D转换，并且将这个模拟信号供应到画面重排缓冲器112。
画面重排缓冲器112暂时存储来自A/D转换器111的图片，根据预先确定的GOP(图片组)结构来读取图片，并且以编码次序(解码次序)代替显示次序来重排图片的布置。
从画面重排缓冲器112读取的图片被供应到算术运算单元113、画面内预测单元122和帧间预测单元123。
算术运算单元113从画面重排缓冲器112接收图片的供给并且从预测图像选择单元124接收由画面内预测单元122或帧间预测单元123产生的预测图像的供给。
算术运算单元113将从画面重排缓冲器112读取的图片设置为编码目标的目标图片，并且将形成目标图片的宏块顺序设置为编码目标的目标块。
另外，如有必要，算术运算单元113计算通过将目标块的像素值减去预测图像选择单元124供应的预测图像的像素值而得到的减法运算值，并且将减法运算值供应到正交变换单元114。
正交变换单元114对来自算术运算单元113的目标块(或从其减去预测图像的残差)(的图片值)执行正交变换，诸如离散正弦变换或卡洛南-洛伊变换(Karhunen Loévetransform)，并且将所得的变换系数供应到量化单元115。
量化单元115将正交变换单元114供应的变换系数量化，并且将所得的量化值供应到可变长度编码单元116。
可变长度编码单元116对来自量化单元115的量化值执行无损编码，诸如可变长度编码(诸如CAVLC(上下文自适应可变长度编码))或算术编码(诸如CABAC(文本自适应二进制算术编码))，并且将所得的编码数据供应到蓄积缓冲器117。
另外，可变长度编码单元116从量化单元115接收量化值的供给，并且另外还从画面内预测单元122或帧间预测单元123接收编码数据的头部中包括的头部信息的供给。
可变长度编码单元116对来自画面内预测单元122或帧间预测单元123的头部信息进行编码，并且将编码数据包括到头部中。
蓄积缓冲器117暂时存储来自可变长度编码单元116的编码数据，并且以预定数据速率输出编码数据。
从蓄积缓冲器117输出的编码数据被供应到多路复用单元32(图4)。
通过量化单元115得到的量化值被供应到可变长度编码单元116并且还被供应到逆量化单元118，并且被逆量化单元118、逆正交变换单元119和算术运算单元120进行本地解码。
也就是说，逆量化单元118将来自量化单元115的量化值逆量化成变换系数，并且将变换系数供应到逆正交变换单元119。
逆正交变换单元119对来自逆量化单元118的变换系数进行逆变换，并且将变换系数供应到算术运算单元120。
如有必要，算术运算单元120将预测图像选择单元124供应的预测图像的像素值加上逆正交变换单元119供应的数据，得到通过对目标块进行解码(本地解码)得到的解码图像并且将解码图像供应到解块滤波器121。
解块滤波器121过滤来自算术运算单元120的解码图像，去除(减少)解码图像中产生的块失真并且将解码图像供应到DPB 31(图4)。
同时，DPB 31存储来自解块滤波器121的解码图像(也就是说，被编码器11编码和本地解码的彩色图像C#1)作为产生用于随后执行的预测编码(通过在算术运算单元113中执行预测图像的减法而执行的编码)的预测图像所参考的参考图片(候选)。
如图4中所示，DPB 31是由编码器11、12、21和22共享的，并且存储被编码器11编码和本地解码的彩色图像C#1图片，另外也存储被编码器12编码和本地解码的彩色图像C#2图片、被编码器21编码和本地解码的视差图像D#1图片和被编码器22编码和本地解码的视差图像D#2图片。
另外，逆量化单元118、逆正交变换单元119和算术运算单元120对作为可参考图片(可以是参考图片)的I图片、P图片和Bs图 片进行本地解码，并且DPB 31存储I图片、P图片和Bs图片的解码图像。
当目标图片是可以经受帧内预测(画面内预测)的I图片、P图片或B图片(包括Bs图片)时，画面内预测单元122从DPB 31读取目标图片的本地解码部分(解码图像)。另外，画面内预测单元122将从DPB 31读取的目标图片的解码图像的一部分设置为画面重排缓冲器112供应的目标图片的目标块的预测图像。
此外，画面内预测单元122计算使用预测图像对目标块进行编码所需的编码成本，也就是说，对(例如)来自预测图像的目标块的残差进行编码所需的编码成本，并且将编码成本连同预测图像一起供应到预测图像选择单元124。
当目标图片是可以经受帧间预测的P图片或B图片(包括Bs图片)时，帧间预测单元123从DPB 31读取在目标图片之前被编码和本地解码的一个或多个图片作为参考图片。
另外，帧间预测单元123使用来自画面重排缓冲器112的目标图片的目标块和参考图片通过ME来检测位移矢量，位移矢量代表目标块和与目标块对应的参考图片的对应块(例如，使得与目标块的SAD最小的块)之间的位移(视差或运动)。
同时，当参考图片是与目标图片相同视点的图片时，使用目标块和参考图片通过ME检测到的位移矢量是代表目标块和参考图片之间的运动(时间上的位移)的运动矢量。
另外，当参考图片是与目标图片不同视点的图片时，使用目标块和参考图片通过ME检测到的位移矢量是代表目标块和参考图片之间的视差(空间上的位移)的视差矢量。
如上所述，通过ME计算出的视差矢量也被称为“计算视差矢量”，其用于区分参考图5描述的图像拍摄视差矢量。
尽管为了便于描述在本实施例中图像拍摄视差矢量是y分量为0的矢量，但是通过ME检测到的计算视差矢量代表目标块和使得参考图片与目标块的SAD最小的块(对应块)之间的位移(位置关 系)，因此y分量不一定为0。
帧间预测单元123通过执行位移补偿(用于补偿与运动对应的位移的运动补偿或者用于补偿与视差对应的位移的视差补偿)来产生预测图像，所述位移补偿是根据目标块的位移矢量对来自的DPB 31的参考图片的MC(运动补偿)。
也就是说，帧间预测单元123获取参考图片的对应块作为预测图像，所述参考图片的对应块是从目标块的位置根据这个目标块的位移矢量移动(位移)到达的位置处的块(区域)。
另外，帧间预测单元123按照下述不同宏块的帧间预测模式计算使用预测图像对目标块进行编码所需的编码成本。
此外，基于作为最佳帧间预测模式的最低编码成本的帧间预测模式，帧间预测单元123将通过这个最佳帧间预测模式得到的编码成本和预测图像供应到预测图像选择单元124。
同时，基于位移矢量(视差矢量和运动矢量)产生预测图像也被称为“位移预测(视差预测和运动预测)”或者“位移补偿(视差补偿和运动补偿)”。另外，如有必要，位移预测包括位移矢量检测。
预测图像选择单元124从来自画面内预测单元122和帧间预测单元123的预测图像之中选择编码成本较低的预测图像，并且将该预测图像供应到算术运算单元113和120。
另外，画面内预测单元122将与帧内预测相关的信息作为头部信息供应到可变长度编码单元116，并且帧间预测单元123将与帧间预测相关的信息(分配给参考图片的参考索引或位移矢量信息)作为头部信息供应到可变长度编码单元116。
可变长度编码单元116从来自画面内预测单元122和帧间预测单元123的头部信息之中选择作为产生编码成本较低的预测图像的依据的头部信息，并且将该头部信息包括在编码数据的头部中。
[宏块类型]
图9是用于说明根据MVC(AVC)标准的宏块类型的视图。
尽管目标块的宏块是根据MVC标准的16个水平像素×16个垂 直像素的块，但是通过将宏块划分成分块，可以按照分块执行ME(和预测图像的产生)。
也就是说，根据MVC标准，通过将宏块划分成16×16个像素、16×8个像素、8×16个像素或8×8个像素的分块中的一种，可以通过按照分块执行ME来检测位移矢量(运动矢量或计算视差矢量)。
另外，根据MVC标准，通过将8×8个像素的分块划分成8×8个像素、8×4个像素、4×8个像素或4×4个像素中的一种的子分块，可以通过按照子分块执行ME来检测位移矢量(运动矢量或计算视差矢量)。
宏块类型代表宏块被划分成那种分块(子分块)。
在帧间预测单元123(图8)进行帧间预测时，每种宏块类型的编码成本被计算为每种帧间预测模式的编码成本，并且选择编码成本最低的帧间预测模式(宏块类型)作为最佳帧间预测模式。
[预测运动矢量(PMV)]
图10是用于说明根据MVC(AVC)标准的预测运动矢量(PMV)的视图。
在帧间预测单元123(图8)进行帧间预测时，通过ME检测目标块的位移矢量(运动矢量或计算视差矢量)，并且使用这个位移矢量产生预测图像。
尽管在解码侧对图像进行解码需要位移矢量，并因此位移矢量的信息需要被编码和包括在编码数据中，但是如果位移矢量被原样编码，则在某些情况下位移矢量的比特率增大并且编码效率降低。
也就是说，根据MVC标准，如图9中所示，宏块被划分成8×8个像素的分块，并且进一步地，在某些情况下，8×8个像素的分块被划分成4×4个像素的子分块。在这种情况下，一个宏块最终被划分成4×4个子分块，针对一个宏块，产生16(＝4×4)个位移矢量，并且当位移矢量被原样编码时，位移矢量的比特率增大并且编码效率降低。
因此，根据MVC(AVC)标准，执行预测位移矢量的矢量预测，并且对通过这个矢量预测得到的预测运动矢量的位移矢量的残差(残差矢量)进行编码。
当(例如)作为编码目标的目标块X的宏块被划分成16×16个像素的分块(目标块X被原样用作分块)时，根据中值预测标准，针对作为这个分块的目标块X产生预测运动矢量PMVX。
也就是说，对于16×16个像素的分块，根据等式(4)，用邻近目标块X左侧的宏块A的位移矢量mvA、邻近上侧的宏块B的位移矢量mvB和邻近对角右上侧的宏块C的位移矢量mvC计算预测运动矢量PMVX。
PMVX＝med(mvA，mvB，mvC)…(4)
同时，在等式(4)中，med()表示括号中的值的中值(中心值)。
另外，当目标块X是图片右端的宏块时，也就是说，当(例如)宏块C的位移矢量mvC不可用时，使用邻近目标块X的对角左上侧的宏块的位移矢量替代位移矢量mvC来计算预测运动矢量PMVX。
另外，根据等式(4)，针对x分量和y分量单独地计算预测运动矢量PMVX。
当(例如)作为编码目标的目标块X的宏块被划分成8×8个像素的X1、X2、X3和X4的四个分块时，计算邻近分块X2左侧的分块X1的位移矢量、邻近上侧的宏块B的位移矢量和邻近对角右上侧的宏块C的位移矢量的中值作为右上分块X2的符合中值预测标准的预测运动矢量。
对于其它分块X1、X3和X4，如MVC(AVC)标准中定义地，计算预测运动矢量。
当(例如)作为编码目标的目标块X的宏块被划分成8×16个像素的两个块(左分块XL和右分块XR)时，邻近这个左分块XL 左侧的宏块A的位移矢量被原样用作左分块XL的预测运动矢量。
另外，对于右分块XR，邻近这个右分块XR右上侧的宏块C的位移矢量被原样用作预测运动矢量。
当(例如)作为编码目标的目标块X的宏块被划分成16×8个像素的两个块(上分块XU和下分块XD)时，邻近这个下分块XD左侧的宏块A的位移矢量被原样用作下分块XD的预测运动矢量。
另外，对于上分块XU，邻近这个上分块XU上侧的宏块B的位移矢量被原样用作预测运动矢量。
帧间预测单元123(图8)在头部信息中包括残差矢量mvX-PMV，残差矢量mvX-PMV是目标块X的位移矢量mvX和预测运动矢量PMVX之差。
图11是用于说明根据MVC(AVC)标准的预测运动矢量和参考索引之间的关系的视图。
根据分配给产生目标块周围的宏块的预测图像所使用的参考图片的参考索引(以下，也被称为“预测参考索引”)，根据MVC标准产生的预测运动矢量有所不同。
同时，将描述根据MVC(AVC)标准的参考图片(可以作为参考图片的图片)和参考索引。
根据AVC标准，在产生预测图像时，可以使用多个图片作为参考图片。
另外，在根据AVC标准的编解码器中，参考图片在解码(本地解码)之后被存储在被称为“DPB”的缓冲器中。
DPB将短期参考的图片标记为短期参考图片(用于短期参考)，将长期参考的图片标记为长期参考图片(用于长期参考)并且将不参考的图片标记为非参考图片(不用于参考)。
管理DPB的管理标准管理两种类型的滑动窗口过程和自适应性存储控制过程。
根据滑动窗口过程，根据FIFO(先进先出)标准管理DPB，并且以较小的frame_num的图片的次序，释放DPB中存储的图片(变 成非参考图片)。
也就是说，根据滑动窗口过程，将I(帧内)图片、P(预测)图片和作为参考B(双向预测)图片的Bs图片作为短期参考图片存储在DPB中。
另外，在DPB可以尽可能多地存储参考图片(可以是参考图片)之后，释放存储在DPB中的短期参考图片中的最早的(最老的)短期参考图片。
另外，当将长期参考图片存储在DPB中时，滑动窗口过程并不影响存储在DPB中的长期参考图片。因此，根据滑动窗口过程，参考图片之中的按FIFO标准管理的图片只是短期参考图片。
根据自适应性存储控制过程，使用被称为MMCO(存储管理控制操作)的命令来管理存储在DPB中的图片。
根据MMCO命令，通过将短期参考图片设置成非参考图片，或者通过以存储在DPB中的参考图片为目标将长期帧索引(即管理长期参考图片的参考索引)分配给短期参考图片，可以将短期参考图片设置为长期参考图片，设置长期帧索引的最大值并且将所有参考图片设置成非参考图片。
尽管通过根据AVC标准对存储在DPB中的参考图片执行运动补偿(位移补偿)来执行产生预测图像的帧间预测，但是可以针对B图片(包括Bs图片)的帧间预测最多使用两个图片的参考图片。使用这两个图片的参考图片的帧间预测被称为L0(列表0)预测和L1(列表1)预测。
对于B图片(包括Bs图片)、L0预测、L1预测或者L0预测和L1预测这两者被用作帧间预测。对于P图片，只有L0预测被用作帧间预测。
在进行帧间预测时，通过参考图片列表来管理产生预测图像所参考的参考图片。
在参考图片列表中，参考索引被分配到存储在DPB中的参考图片(可以作为参考图片的图片)，该参考索引是用于指明产生预测图 像所参考的参考图片(可以是参考图片的参考图片)的索引。
当目标图片是P图片时，如上所述，对于P图片，只有L0预测被用作帧间预测，并且只在进行L0预测时分配参考索引。
另外，当目标图片是B图片(包括Bs图片)时，如上所述，在某些情况下，对于B图片，L0预测和L1预测都用作帧间预测，并且在进行L0预测和L1预测时都分配参考索引。
同时，用于L0预测的参考索引也被称为“L0索引”，并且用于L1预测的参考索引也被称为“L1索引”。
当目标图片是P图片时，作为根据AVC标准的默认(默认值)，值较小的参考索引(L0索引)被分配给存储在DPB中的解码次序靠后的参考图片。
参考索引是等于或大于0的整数，并且最小值是0。因此，当目标图片是P图片时，0被作为L0索引分配给紧挨在目标图片之前被解码的参考图片。
当目标图片是B图片(包括Bs图片)时，作为AVC默认，参考索引(L0索引和L1索引)被分配给以POC(图片序列号)次序(也就是说，以显示次序)存储在DPB中的参考图片。
也就是说，在进行L0预测时，值较小的L0索引被以显示次序分配给时间上处于目标图片之前并且较靠近目标图片的参考图片，然后值较小的L0索引被以显示次序分配给时间上处于目标图片之后并且靠近目标图片的参考图片。
也就是说，在进行L1预测时，值较小的L1索引被以显示次序分配给时间上处于目标图片之后并且较靠近目标图片的参考图片，然后值较小的L1索引被以显示次序分配给时间上处于目标图片之前并且靠近目标图片的参考图片。
另外，针对短期参考图片，分配作为以上根据AVC标准的默认的参考索引(L0索引和L1索引)。在将参考索引分配给短期参考图片之后，将参考索引分配给长期参考图片。
因此，作为AVC默认，比短期参考图片的值更高的参考索引被 分配给长期参考图片。
根据AVC标准，可以使用被称为参考图片列表重排序(Reference Picture ListReordering)的命令(以下，也被称为“RPLR命令”)，可以根据以上默认方法分配或者以任意方式分配参考索引。
另外，当使用RPLR命令分配参考索引之后存在没有被分配参考索引的参考图片时，根据默认方法将参考索引分配给这个参考图片。
根据MVC(AVC)方法，如图11中所示，按照根据邻近目标块X左侧的宏块A、邻近上侧的宏块B和邻近对角右上侧的宏块C的预测参考索引(被分配给产生宏块A、B和C的预测图像所使用的参考图片的参考索引)而不同的方法，计算目标块X的位移矢量mvX的预测运动矢量PMVX。
也就是说，例如，目标块X的预测参考索引ref_idx是0。
如图11的A所指示的，当邻近目标块X的三个宏块A至C之中存在预测参考索引ref_idx与目标块X同为0的一个宏块时，这一个宏块(预测参考索引ref_idx是0的宏块)的位移矢量是目标块X的位移矢量mvX的预测运动矢量PMVX。
同时，在图11的A中，邻近目标块X的三个宏块A至C之中只有宏块B是预测参考索引ref_idx是0的宏块，因此宏块A的位移矢量mvB是目标块X的(位移矢量mvX的)预测运动矢量PMVX。
另外，如图11的B所指示的，当邻近目标块X的三个宏块A至C之中存在预测参考索引ref_idx与目标块X同为0的两个或更多个宏块时，预测参考索引ref_idx是0的两个或更多个宏块的位移矢量的中值是目标块X的预测运动矢量PMVX(根据中值预测标准计算预测运动矢量PMVX)。
同时，如图11的B所指示的，邻近目标块X的三个宏块A至C的预测参考索引ref_idx全都是0，因此宏块A的位移矢量mvA、宏 块B的位移矢量mvB和宏块C的位移矢量mvC的中值med(mvA、mvB和mvC)是目标块X的预测运动矢量PMVX。
另外，如图11的C所指示的，当邻近目标块X的三个宏块A至C之中根本不存在预测参考索引ref_idx与目标块X同为0的宏块时，0矢量是目标块X的预测运动矢量PMVX。
另外，如图11的C所指示的，当邻近目标块X的三个宏块A至C之中不存在预测参考索引ref_idx同样为0的宏块时，0矢量是目标块X的预测运动矢量PMVX。
另外，根据MVC(AVC)标准，当目标块X的预测参考索引ref_idx是0时，目标块X可以被编码为跳过宏块(跳过模式)。
至于跳过宏块，目标块的残差和残差矢量都没有被编码。另外，在进行解码时，预测运动矢量被原样用作跳过宏块的位移矢量，并且从跳过宏块的位置按位移矢量(预测运动矢量)位移的位置处的参考图片的块(对应块)的副本是跳过宏块的解码结果。
目标块是否是跳过宏块取决于编码器的规格并且基于(例如)编码数据的比特率或目标块的编码成本来判定。
[编码器12的示例结构]
图12是示出图4中的编码器12的示例结构的框图。
尽管编码器12使用MVC标准对作为编码目标图像的视点#2彩色图像C#2进行编码，但是如参考图3描述地产生预测运动矢量(经受矢量预测)。
在图12中，编码器12具有A/D转换器211、画面重排缓冲器212、算术运算单元213、正交变换单元214、量化单元215、可变长度编码单元216、蓄积缓冲器217、逆量化单元218、逆正交变换单元219、算术运算单元220、解块滤波器221、画面内预测单元222、预测图像选择单元224、MB索引计算单元231和视差预测单元232。
A/D转换器211至画面内预测单元222和预测图像选择单元224采用与图8中的编码器11的A/D转换器111至画面内预测单元122 和预测图像选择单元124的构造相同的构造，因此将适当地不对此进行描述。
在图12中，DPB 31从解块滤波器221接收解码图像(也就是说，被编码器12编码和本地解码的彩色图像(以下，也被称为“解码彩色图像”)C#2图片)的供给，并且将图片存储为参考图片(可以作为参考图片的图片)。
另外，如参考图4和图8描述的，DPB 31还接收被编码器11编码和本地解码的彩色图像(解码彩色图像)C#1图片、被编码器21编码和本地解码的视差图像(解码视差图像)D#1图片和被编码器22编码和本地解码的视差图像(解码视差图像)D#2图片的供给并且存储这些图片。
除了来自解块滤波器221的解码彩色图像C#2图片之外，编码器12还使用通过编码器11得到的解码彩色图像C#1和通过编码器22得到的解码视差图像D#2对作为编码目标的彩色图像C#2进行编码。因此，图12示出指示向DPB 31供给通过编码器11得到的解码彩色图像C#1和通过编码器22得到的解码视差图像D#2的箭头。
MB索引计算单元231查找(计算)MB索引，该MB索引是用于指明视差预测单元232根据其产生预测图像的彩色图像C#2目标块(的位置)的信息，并且将MB索引供应到视差预测单元232。
视差预测单元232接收图像拍摄视差矢量d(视点#2图像拍摄视差矢量d2)的最大值dmax和最小值dmin、基线长度L和焦距f的供给作为视差相关信息(图4)。
如有必要，使用存储在DPB 31中的视差相关信息和解码视差图像D#2图片(与目标图片同时的图片)，视差预测单元232使用存储在DPB 31中的视点#1解码彩色图像D#1作为参考图片，对目标块执行视差预测(产生预测图像)。
也就是说，视差预测单元232使用存储在DPB 31中的解码彩色图像C#1作为参考图片执行ME，并且计算目标块的计算视差矢量。
另外，视差预测单元232根据目标块的计算视差矢量，使用存储 在DPB 31中的解码彩色图像C#1作为参考图片执行ME，并且产生目标块的预测图像。
此外，针对每种宏块类型，视差预测单元232计算使用通过用参考图片进行视差预测而得到的预测图像对目标块进行编码(执行预测编码)所需的编码成本。
进一步地，视差预测单元232选择编码成本最低的宏块类型作为最佳帧间预测模式，并且将通过这种最佳帧间预测模式产生的预测图像供应到预测图像选择单元224。
此外，视差预测单元232将诸如最佳帧间预测模式的信息输出到可变长度编码单元216作为头部信息。
另外，如上所述，参考索引被分配给参考图片，并且视差预测单元232选择被分配给在最佳帧间预测模式下产生预测图像的产生过程中所参考的参考图片作为目标块的预测参考索引，并且将参考索引作为头部信息之一输出到可变长度编码单元216。
另外，尽管为了便于描述在图12的编码器12中设置只执行帧间预测之中的视差预测的视差预测单元232，但是与图8中的编码器11的帧间预测单元123类似，除了视差预测之外，编码器12还可以执行时间预测。
当既执行视差预测又执行时间预测时，编码器12将参考索引分配给解码彩色图像C#1图片和解码彩色图像C#2图片(在与目标图片不同时间的另一个时间图片)，解码彩色图像C#1图片是在进行视差预测时可以参考的参考图片，解码彩色图像C#2图片是进行时间预测时可以参考的参考图片。
另外，编码器12从通过视差预测产生的预测图像和通过时间预测产生的预测图像之中选择分配给产生(例如)目标块的编码成本较低的预测图像所参考的参考图片的参考索引作为目标块的预测编码索引，并且将其用作头部信息之一。
图13是示出图12中的视差预测单元232的示例结构的框图。
在图13中，视差预测单元232具有视差检测单元241、视差补 偿单元242、预测运动矢量产生单元243、成本函数计算单元244、模式选择单元245和编码信息缓冲器246。
视差检测单元241接收存储在DPB31中的作为参考图片的解码彩色图像C#1图片的供给，并且接收来自画面重排缓冲器212的编码目标的彩色图像C#2图片(目标图片)的供给。
另外，视差检测单元241从MB索引计算单元231接收目标块的MB索引的供给，并且从预测运动矢量产生单元243接收预测运动矢量信息的供给。
基于来自MB索引计算单元231的MB索引，视差检测单元241识别来自画面重排缓冲器212的目标图片中的目标块。
另外，与MVC标准类似，通过使用目标块和作为参考图片的解码彩色图像C#1图片执行ME，视差检测单元241按照宏块类型检测位移矢量，所述位移矢量代表目标块和解码彩色图像C#1图片中的使得与目标块的SAD最小的对应块之间的位移，即代表相对于视点#1的视差的目标块的计算视差矢量mv。
另外，尽管为了便于描述，解码彩色图像C#1图片中的使得与目标块的SAD最小的块是用于计算所述计算视差矢量mv的对应块，但是视差检测单元241可以检测使目标块的编码成本COST最低的对应块(此外，计算视差矢量mv)，用(例如)等式COST＝D+λR来表示编码成本COST。
同时，在等式COST＝D+λR中，D表示目标块和解码彩色图像C#1图片中从目标块按照计算视差矢量mv移动到达的位置处的块的SAD，并且λ是相对于R的权重并且根据目标块的残差(目标块和对应块之间的残差)的量化步骤来设置。
另外，在等式COST＝D+λR中，R是与计算视差矢量mv的比特率对应的值。
另外，根据MVC标准，对计算视差矢量mv和预测运动矢量之间的残差矢量进行编码，使得值R可以取与残差矢量的比特率对应的值。
当值R取与残差矢量的比特率对应的值时，视差检测单元241从预测运动矢量产生单元243供应的预测运动矢量信息中识别出预测运动矢量，并且用预测运动矢量和计算视差矢量mv来计算残差矢量。
当检测目标块的计算视差矢量mv时，视差检测单元241计算残差矢量，即目标块的计算视差矢量mv和用预测运动矢量产生单元243供应的预测运动矢量信息得到的预测运动矢量之差，并且将残差矢量供应到视差补偿单元242。
视差补偿单元242从视差检测单元241接收计算视差矢量mv的残差矢量的供给，并且另外还接收存储在DPB 31中的作为参考图片的解码彩色图像C#1图片的供给。
另外，视差补偿单元242接收来自预测运动矢量产生单元243的预测运动矢量信息的供给。
视差补偿单元242用来自视差检测单元241的残差矢量和来自预测运动矢量产生单元243的预测运动矢量信息来恢复目标块的计算视差矢量mv。
另外，以与MVC标准相同的方式，视差补偿单元242使用目标块的计算视差矢量mv，通过对来自DPB 31的参考图片即解码彩色图像C#1图片执行位移补偿(视差补偿)，对每个宏块类型产生目标块的预测图像。
也就是说，视差补偿单元242获取对应块作为预测图像，所述对应块是从解码彩色图像C#1图片中的目标块的位置按照计算视差矢量mv位移到达的位置处的块。
另外，视差补偿单元242将预测图像连同来自视差检测单元241的残差矢量和分配给产生预测图像所使用的参考图片(这里，解码彩色图像C#1图片)一起，供应到成本函数计算单元244。
预测运动矢量产生单元243接收存储在DPB 31中的解码视差图像D#2的供给，并且接收来自MB索引计算单元231的MB索引的供给。
另外，预测运动矢量产生单元243接收视差相关信息(图4)诸如图像拍摄视差矢量d(视点#2图像拍摄视差矢量d2)的最大值dmax和最小值dmin的供给。
此外，预测运动矢量产生单元243从编码信息缓冲器246接收彩色图像C#2中的目标块周围的编码周围彩色块(也就是说，图3中的周围彩色块CA至CC)的编码信息的供给。
同时，周围彩色块的编码信息包括下述的模式相关信息、计算视差矢量和通过将周围彩色块编码为目标块时得到的参考索引(预测参考索引)。
基于来自MB索引计算单元231的MB索引，预测运动矢量产生单元243识别来自画面重排缓冲器212的目标图片中的目标块。
另外，基于来自编码信息缓冲器246的周围彩色块CA至CC的编码信息，预测运动矢量产生单元243产生根据视差信息使用预测标准产生的预测运动矢量和根据MVC标准产生的预测运动矢量之中的被估计为预测精度高的预测运动矢量作为用于操作目标块的预测运动矢量。
预测运动矢量产生单元243针对每个宏块类型(图9)产生预测运动矢量，并且将预测运动矢量作为预测运动矢量信息供应到视差检测单元241、视差补偿单元242和成本函数计算单元244。
同时，供应到预测运动矢量产生单元243的视差相关信息被用于根据视差信息使用预测标准产生预测运动矢量。
也就是说，当根据视差信息使用预测标准产生预测运动矢量时，预测运动矢量产生单元243使用视差相关信息中包括的图像拍摄视差矢量d(d2)的最大值dmax和最小值dmin，根据等式(2)，按照像素，将视差值v转换成图像拍摄视差矢量d(d2)，视差值v是与来自DBP 31的解码视差图像D#2图片(与目标图片同时的图片)中的目标块的位置相同的位置处的块(相同位置块)的像素值。
同时，当深度图像作为视差图像的替代被用作视差信息图像时，使用视差相关信息中包括的基线长度L和焦距f，根据等式(3)， 将深度Z转换成图像拍摄视差矢量d，深度Z是在归一化值y之前的值，值y是深度图像的像素值。
另外，预测运动矢量产生单元243计算(例如)相同位置块的每个像素的图像拍摄视差矢量d(d2)的平均值(平均矢量)，并且根据视差信息使用预测标准使用这个平均值作为预测运动矢量。
成本函数计算单元244从视差补偿单元242接收预测图像、残差矢量和参考索引的供给，从预测运动矢量产生单元243接收预测运动矢量信息的供给并且从画面重排缓冲器212接收彩色图像C#2目标图片的供给。
根据针对每个宏块类型(图9)计算编码成本的预定成本函数，成本函数计算单元244计算对来自画面重排缓冲器212的目标图片的目标块进行编码所需的编码成本。
也就是说，成本函数计算单元244计算与从视差补偿单元242的残差矢量信息中识别出的残差矢量的比特率对应的值MV，并且计算与来自视差补偿单元242的参考索引(预测参考索引)的比特率对应的值IN。
另外，成本函数计算单元244计算SAD，即，与相对于来自视差补偿单元242的预测图像的目标块的残差对应的值D。
此外，成本函数计算单元244使用λ1和λ2作为权重，根据等式COST＝D+λ1×MV+λ2×IN针对每个宏块类型计算编码成本。
当针对每个宏块类型计算编码成本(成本函数值)时，成本函数计算单元244将编码成本连同参考索引、预测图像和残差矢量一起供应到模式选择单元245。
模式选择单元245检测来自成本函数计算单元244的每种宏块类型的编码成本中的最低成本，即最小值。
此外，模式选择单元245选择可以从其得到最低成本的宏块类型作为最佳帧间预测模式。
此外，模式选择单元245将(例如)代表最佳帧间预测模式、最佳帧间预测模式的参考索引(预测参考索引)和最佳帧间预测模式的 残差矢量的模式相关信息作为头部信息供应到可变长度编码单元216。
进一步地，模式选择单元245将预测图像和最佳帧间预测模式的编码成本(最低成本)供应到预测图像选择单元224。
另外，当用其可以得到最低成本的参考索引是值为0的参考索引时，模式选择单元245基于(例如)最低成本来判定是否将目标块编码为跳过宏块。
当在模式选择单元245中判定将目标块编码为跳过宏块时，最佳帧间预测模式被设置成将目标块编码为跳过宏块的跳过模式。
另外，模式选择单元245从预测运动矢量产生单元243供应到成本函数计算单元244的预测运动矢量信息中，识别用于在最佳帧间预测模式下对目标块进行编码的预测运动矢量，并且通过将这个预测运动矢量与最佳帧间预测模式的残差矢量相加来恢复目标块的计算视差矢量。
此外，模式选择单元245将目标块的计算视差矢量、模式相关信息和预测参考索引作为目标块的编码信息供应到编码信息缓冲器246。
编码信息缓冲器246暂时存储来自模式选择单元245的编码信息。
图14是用于说明图12中的编码器12对视点#2彩色图像C#2进行编码的编码操作的流程图。
在步骤S11中，A/D转换器211对提供给A/D转换器211的视点#2彩色图像C#2图片的模拟信号执行A/D转换并且将模拟信号供应到画面重排缓冲器212，并且进程前进至步骤S12。
在步骤S12中，画面重排缓冲器212暂时存储来自A/D转换器211的彩色图像C#2图片，根据预先确定的GOP结构来读取图片，并且以编码次序(解码次序)作为显示次序的替代来重排图片的布置。
从画面重排缓冲器212读取的图片被供应到算术运算单元213、 画面内预测单元222和帧间预测单元223，并且进程从步骤S12前进至步骤S13。
在步骤S13中，算术运算单元213将来自画面重排缓冲器212的彩色图像C#2图片设置为编码目标的目标图片，并且将形成目标图片的宏块顺序设置为编码目标的目标块。
另外，如有必要，算术运算单元213计算目标块的像素值和预测图像选择单元224供应的预测图像的像素值之间的差值(残差)，并且将差值供应到正交变换单元214，并且进程从步骤S13前进至步骤S14。
在步骤S14中，正交变换单元214对来自算术运算单元213的目标块执行正交变换，并且将所得的变换系数供应到量化单元215，并且进程前进至步骤S15。
在步骤S15中，量化单元215将正交变换单元214供应的变换系数量化并且将所得的量化值供应到逆量化单元218和可变长度编码单元216，并且进程前进至步骤S16。
在步骤S16中，逆量化单元218将来自量化单元215的量化值逆量化成变换系数并且将变换系数供应到逆正交变换单元219，并且操作前进至步骤S17。
在步骤S17中，逆正交变换单元219对来自逆量化单元218的变换系数执行逆正交变换并且将变换系数供应到算术运算单元220，并且进程前进至步骤S18。
在步骤S18中，如有必要，算术运算单元220将预测图像选择单元224供应的预测图像的像素值与逆正交变换单元219供应的数据相加，计算通过对目标块进行解码(本地解码)得到的解码彩色图像C#2。另外，算术运算单元220将通过对目标块进行本地解码得到的解码彩色图像C#2供应到解块滤波器221，并且进程从步骤S18前进至步骤S19。
在步骤S19中，解块滤波器221过滤来自算术运算单元220的解码彩色图像C#2并且将解码彩色图像供应到DPB 31(图4)，并且 进程前进至步骤S20。
在步骤S20中，DPB 31存储来自解块滤波器221的解码彩色图像C#2，并且进程前进至步骤S21。
在步骤S21中，DPB 31等待来自对彩色图像C#1进行编码的编码器11的通过对彩色图像C#1进行编码和本地解码而得到的解码彩色图像C#1的供给并且存储这个解码彩色图像C#1，并且进程前进至步骤S22。
在步骤S22中，DPB 31等待来自对视差图像D#2进行编码的编码器22的通过对视差图像D#2进行编码和本地解码而得到的解码视差图像D#2的供给并且存储这个解码视差图像D#2，并且进程前进至步骤S23。
在步骤S23中，MB索引计算单元231计算作为下一个编码目标的宏块的下一个目标块的MB索引并且将MB索引供应到视差预测单元232，并且进程前进至步骤S24。
在步骤S24中，画面内预测单元222对下一个目标块执行帧内预测操作(画面内预测操作)。
也就是说，画面内预测单元222对下一个目标块执行用存储在DPB 31中的解码彩色图像C#2图片产生预测图像(帧内预测的预测图像)的帧内预测(画面内预测)。
另外，画面内预测单元222使用帧内预测的预测图像计算对下一个目标块进行编码所需的编码成本并且将编码成本连同帧内预测的预测图像一起供应到预测图像选择单元224，并且进程从步骤S24前进至步骤S25。
在步骤S25中，视差预测单元232使用解码彩色图像C#1图片作为参考图片，对下一个目标块执行视差预测操作。
也就是说，通过使用存储在DPB 31中的解码彩色图像C#1图片对下一个目标块执行视差预测，视差预测单元232针对不同宏块类型的每个帧间预测模式计算(例如)预测图像或编码成本。
另外，视差预测单元232将编码成本最低的帧间预测模式设置为 最佳帧间预测模式并且将这种最佳帧间预测模式的预测图像连同编码成本一起供应到预测图像选择单元224，并且进程从步骤S25前进至步骤S26。
在步骤S26中，预测图像选择单元224从来自画面内预测单元222的预测图像(帧内预测的预测图像)和来自视差预测单元232的预测图像(帧间预测的预测图像)中选择编码成本较低的预测图像，并且将该预测图像供应到算术运算单元213和220，并且进程前进至步骤S27。
同时，步骤S26中预测图像选择单元224选择的预测图像被用于在对下一个目标块进行编码时执行的步骤S13或S18中的操作。
另外，画面内预测单元222将与步骤S24中的帧内预测操作得到的帧内预测相关的信息作为头部信息供应到可变长度编码单元216，并且视差预测单元232将与通过步骤S25中的视差预测操作得到的视差预测(帧间预测)相关的信息(代表最佳帧间预测模式的模式相关信息)作为头部信息供应到可变长度编码单元216。
在步骤S27中，可变长度编码单元216对来自量化单元215的量化值执行可变长度编码，并且获取编码数据。
另外，可变长度编码单元216选择来自画面内预测单元222和视差预测单元232的头部信息之中的用于产生编码成本较低的预测图像的头部信息，并且将该头部信息包括在编码数据的头部中。
另外，可变长度编码单元216将编码数据供应到蓄积缓冲器217，并且进程从步骤S27前进至步骤S28。
同时，另外，可变长度编码单元216(图12)还接收视差相关信息(图像拍摄矢量d(视点#2图像拍摄视差矢量d2)的最大值dmax和最小值dmin)的供给。可变长度编码单元216将该视差相关信息包括在(例如)编码数据的头部中。
另外，视差相关信息可以被(例如)多路复用单元32(图4)多路复用，而不是被可变长度编码单元216包括在编码数据的头部中。
在步骤S28中，蓄积缓冲器217暂时存储来自可变长度编码单元 216的编码数据，并且以预定数据速率输出编码数据。
从蓄积缓冲器217输出的编码数据被供应到多路复用单元32(图4)。
编码器12适当地重复执行步骤S11至S28中的操作。
图15是用于说明图14中的步骤S25中的图13中的视差预测单元232执行的视差预测操作的流程图。
在步骤S41中，视差预测单元232获取MB索引计算单元231供应的(下一个)目标块的MB索引并且将MB索引供应到视差检测单元241和预测运动矢量产生单元243，并且进程前进至步骤S42。
在步骤S42中，视差预测单元232从DPB 31获取作为参考图片的解码彩色图像C#1图片，并且获取解码视差图像D#2。
另外，视差预测单元232将解码彩色图像C#1图片供应到视差检测单元241和视差补偿单元242并且将解码视差图像D#2供应到预测运动矢量产生单元243，并且进程前进至步骤S43。
在步骤S43中，基于来自MB索引计算单元231的MB索引，预测运动矢量产生单元243识别画面重排缓冲器212供应的目标图片中的(下一个)目标块。
另外，预测运动矢量产生单元243使用编码信息缓冲器246中存储的编码信息、来自DPB 31的解码视差图像D#2和(另外)视差相关信息(如有必要)，对每种宏块类型(图9)执行产生(下一个)目标块的预测运动矢量的预测运动矢量产生操作。
此外，预测运动矢量产生单元243将通过预测运动矢量产生操作得到的目标块的预测运动矢量作为预测运动矢量信息供应到视差检测单元241、视差补偿单元242和成本函数计算单元244，并且进程从步骤S43前进至步骤S44。
在步骤S44中，基于来自MB索引计算单元231的MB索引，视差检测单元241识别画面重排缓冲器212供应的目标图片中的目标块。
另外，视差检测单元241使用来自DPB 31的解码彩色图像C#1图片作为参考图片对(下一个)目标块执行ME，并且检测代表相对于视点#1的目标块的视差的计算视差矢量mv。
此外，视差检测单元241计算残差矢量，即目标块的计算视差矢量mv和从预测运动矢量产生单元243供应的预测运动矢量信息得到的预测运动矢量之差，并且将残差矢量供应到视差补偿单元242，并且进程从步骤S44前进至步骤S45。
在步骤S45中，视差补偿单元242用来自视差检测单元241的残差矢量和来自预测运动矢量产生单元243的预测运动矢量信息来恢复目标块的计算视差矢量mv。
另外，视差补偿单元242根据目标块的计算视差矢量mv，使用作为参考图片的来自DPB 31的解码彩色图像C#1图片执行ME，并且产生(下一个)目标块的预测图像。
也就是说，视差补偿单元242获取对应块作为预测图像，所述对应块是从解码彩色图像C#1图片中的目标块的位置按照计算视差矢量mv位移到达的位置处的块。
另外，视差补偿单元242将预测图像连同来自视差检测单元241的残差矢量和分配给产生预测图像所使用的参考图片(解码彩色图像C#1图片)的参考索引一起，供应到成本函数计算单元244，并且进程从步骤S45前进至步骤S46。
在步骤S46中，根据每个宏块类型(图9)的预定成本函数，成本函数计算单元244计算对来自画面重排缓冲器212的目标图片的目标块进行编码所需的编码成本，并且将编码成本连同来自视差补偿单元242的参考索引、预测图像和残差矢量一起供应到模式选择单元245，并且进程前进至步骤S47。
在步骤S47中，模式选择单元245检测来自成本函数计算单元244的每种宏块类型的编码成本中的最低成本，即最小值。
另外，模式选择单元245选择可以从其得到最低成本的宏块类型作为最佳帧间预测模式，并且进程从步骤S47前进至步骤S48。
在步骤S48中，模式选择单元245将预测图像和最佳帧间预测模式的编码成本(最低成本)供应到预测图像选择单元224，并且进程前进至步骤S49。
在步骤S49中，模式选择单元245将代表最佳帧间预测模式、最佳帧间预测模式的参考索引(预测参考索引)和最佳帧间预测模式的残差矢量的模式相关信息作为头部信息供应到可变长度编码单元216。
另外，在步骤S49中，模式选择单元245从预测运动矢量产生单元243供应到成本函数计算单元244的预测运动矢量中，识别用于在最佳帧间预测模式下对目标块进行编码的预测运动矢量，并且通过将这个预测运动矢量与最佳帧间预测模式的残差矢量相加来恢复目标块的计算视差矢量。
此外，模式选择单元245将目标块的计算视差矢量、模式相关信息和预测参考索引作为目标块的编码信息供应到编码信息缓冲器246加以存储，并且进程返回。
图16是用于说明图15中的步骤S43中的预测运动矢量产生单元243(图13)执行的预测运动矢量产生操作的流程图。
在步骤S51中，预测运动矢量产生单元243从编码信息缓冲器246获取彩色图像C#2中的目标块周围的编码周围彩色块的编码信息(也就是说，图3中的三个周围彩色块CA至CC的编码信息)，并且进程前进至步骤S52。
在步骤S52中，预测运动矢量产生单元243从DPB 31获取位置与目标块的位置相同的块(相同位置块)和这个相同位置块周围的周围视差块(位置与步骤S51中被从其获取编码信息的周围彩色块的位置相同的周围视差块)，也就是说，例如，来自解码视差图像D#2图片(与目标图片同时的图片)的图3中的三个周围视差块DA至DC，并且进程前进至步骤S53。
下文中，在步骤S53至S56中，每种宏块类型经受产生目标块的预测运动矢量的矢量预测操作，并且进程返回。
也就是说，在步骤S53中，预测运动矢量产生单元243对将目标块划分成16×16个像素的分块的宏块类型(16×16类型)执行矢量预测操作，并且进程前进至步骤S54。
在步骤S54中，预测运动矢量产生单元243对将目标块划分成16×8个像素的分块的宏块类型(16×8类型)执行矢量预测操作，并且进程前进至步骤S55。
在步骤S55中，预测运动矢量产生单元243对将目标块划分成8×16个像素的分块的宏块类型(8×16类型)执行矢量预测操作，并且进程前进至步骤S56。
在步骤S56中，预测运动矢量产生单元243对将目标块划分成8×8个像素或更少像素的分块的每种宏块类型(8×8类型或更小类型)执行矢量预测操作，并且进程返回。
图17是用于说明图16中的步骤S53至S56中的由预测运动矢量产生单元243(图13)对每种宏块类型执行的矢量预测操作的视图。
在矢量预测操作中，对于具有代表产生预测图像所参考的参考图片的参考索引，并且匹配彩色图像C#2中的目标块CX周围的周围彩色块(例如，三个周围彩色块CA至CC)之中的目标块的参考索引匹配块，预测运动矢量产生单元243计算位置与参考索引匹配块的位置相同的周围视差块(例如，图3中的三个周围视差块DA至DC)和(解码)视差图像D#2中的相同位置块DX之差。
另外，在矢量预测操作中，基于位置与参考索引匹配块的位置相同的周围视差块和相同位置块之差，预测运动矢量产生单元243产生根据视差信息使用预测标准的预测运动矢量和根据MVC标准的预测运动矢量之中被估计为预测精度高的预测运动矢量作为用于操作目标块CX的预测运动矢量。
也就是说，对于16×16类型，例如，基于根据MVC标准产生预测运动矢量所使用的彩色图像C#2的三个周围彩色块的编码信息，也就是说，图10中示出的邻近目标块X左侧的周围彩色块A、 邻近上侧的周围彩色块B和邻近对角右上侧的周围彩色块C的编码信息，预测运动矢量产生单元243计算周围彩色块A至C之中的其预测参考索引匹配目标块X的参考索引匹配块的数量。
同时，16×16类型的参考索引匹配块的数量的范围是0至3。
当参考索引匹配块的数量是0时，预测运动矢量产生单元243根据视差信息使用预测标准(视差信息使用预测器)产生目标块的预测运动矢量。
同时，根据MVC标准，当参考索引匹配块的数量是0时，0矢量是如参考图11描述的目标块的预测运动矢量。
同时，根据视差信息使用预测标准，如图13中所示，用视差值v计算出的图像拍摄视差矢量d(d2)的平均值是目标块的预测运动矢量，视差值v是位置与解码视差图像D#2中的目标块的位置相同的块(相同位置块)的像素值。
用解码视差图像D#2计算出的图像拍摄视差矢量d(d2)是代表彩色图像C#2的视差的矢量，使得估计与通过用图像拍摄视差矢量d(d2)计算预测运动矢量根据MVC标准计算的0矢量的预测运动矢量相比，该预测运动矢量的预测精度更高。
当参考索引匹配块的数量是1或更多时，预测运动矢量产生单元243针对参考索引匹配块计算SAD(以下也被称为“视差SAD”)，SAD是对应于位置与参考索引匹配块的位置相同的周围视差块(图3中的周围视差块DA至DC)和相同位置块(图3中的相同位置块DX)之差的值。
另外，基于具有超过预定阈值的视差SAD的参考索引匹配块的数量，预测运动矢量产生单元243根据视差信息使用预测标准产生预测运动矢量并且根据MVC标准产生预测运动矢量作为目标块的预测运动矢量。
也就是说，当参考索引匹配块的数量是1并且具有超过预定阈值的视差SAD的参考索引匹配块的数量是0时，也就是说，当参考索引匹配块的数量是1并且参考索引匹配块的视差SAD是预定阈值或 更小时，预测运动矢量产生单元243根据MVC标准产生目标块的预测运动矢量。
同时，根据MVC标准，当参考索引匹配块的数量是1时，参考索引匹配块的计算视差矢量是如参考图11描述的目标块的预测运动矢量。
当参考索引匹配块的数量是1并且这个参考索引匹配块的视差SAD是预定阈值或更小时，估计在这一个参考索引匹配块和目标块中示出相同被摄体(视差之间没有显著差别)(存在视差相关性)。
因此，通过使用这个参考索引匹配块的计算视差矢量作为目标块的预测运动矢量，估计将得到与用图像拍摄视差矢量d(d2)计算预测运动矢量的视差信息使用预测标准相比预测精度更高的预测运动矢量。
当参考索引匹配块的数量是1并且具有超过预定阈值的视差SAD的参考索引匹配块的数量是1时，也就是说，当参考索引匹配块的数量只是1并且这个参考索引匹配块的视差SAD超过预定阈值时，预测运动矢量产生单元243根据视差信息使用预测标准产生目标块的预测运动矢量。
同时，当参考索引匹配块的视差SAD超过预定阈值时，估计在这一个参考索引匹配块和目标块中示出不同被摄体(视差之间存在显著差别)(不存在视差相关性)。
因此，作为使用这个参考索引匹配块的计算视差矢量作为目标块的预测运动矢量的替代，估计将得到根据用图像拍摄视差矢量d(d2)计算预测运动矢量的视差信息使用预测标准的预测精度高的预测运动矢量。
当参考索引匹配块的数量是2并且这些块之中的具有超过预定阈值的视差SAD的参考索引匹配块的数量是0时，也就是说，当参考索引匹配块的数量是2并且这两个参考索引匹配块的视差SAD是预定阈值或更小时，预测运动矢量产生单元243根据MVC标准产生目标块的预测运动矢量。
同时，根据MVC标准，当参考索引匹配块的数量是2(或更多)时，根据使用参考图11描述的两个(或更多个)参考索引匹配块的计算视差矢量的中值预测标准(中值预测器)，计算目标块的预测运动矢量。
另外，周围彩色块A至C的两个周围彩色块是参考索引匹配块，并且这两个参考索引匹配块的所有视差SAD是预定阈值或更小，估计在这两个参考索引匹配块和目标块中示出相同被摄体(视差之间没有显著差别)。
因此，具有等于或小于预定阈值的视差SAD的两个参考索引匹配块的计算视差矢量与这些参考索引匹配块的计算视差矢量和目标块的计算视差矢量类似。
因此，通过使用具有等于或小于预定值的视差SAD的这两个参考索引匹配块的计算视差矢量之一作为目标块的预测运动矢量，估计将得到与用图像拍摄视差矢量d(d2)计算预测运动矢量的视差信息使用标准相比被预测精度更高的预测运动矢量。
当在三个周围彩色块A至C中包括具有等于或小于预定阈值的视差SAD的这两个参考索引匹配块时，具有等于或小于预定阈值的视差SAD的这两个参考索引匹配块中的一个的计算视差矢量是根据中值预测标准的目标块的预测运动矢量，使得可以得到预测精度高的预测运动矢量。
当参考索引匹配块的数量是2并且这些块之中的具有超过预定阈值的视差SAD的参考索引匹配块的数量是2时，也就是说，当参考索引匹配块的数量是2并且这两个参考索引匹配块的一个参考索引匹配块的视差SAD超过预定阈值并且另一个参考索引匹配块的视差SAD是预定阈值或更小时，预测运动矢量产生单元243根据视差信息使用预测标准产生目标块的预测运动矢量。
同时，根据MVC标准，当如上所述参考索引匹配块的数量是2或更多时，根据使用这两个或更多个参考索引匹配块的计算视差矢量的中值预测标准(中值预测器)，得到目标块的预测运动矢量。
当用于中值预测标准的周围彩色块A至C的两个周围彩色块是参考索引匹配块，这两个参考索引匹配块的一个参考索引匹配块的视差SAD超过预定阈值并且另一个参考索引匹配块的视差SAD是预定阈值或更小时，估计在一个参考索引匹配块和另一个参考索引匹配块中示出不同被摄体(视差之间存在显著差别)，并且估计在另一个参考索引匹配块和目标块中示出相同被摄体(视差之间没有显著差别)。
因此，具有超过预定阈值的视差SAD的这个(一个)参考索引匹配块的计算视差矢量与具有等于或小于预定阈值的视差SAD的(另一个)参考索引匹配块的计算视差矢量并不相似。
另外，通过使用具有等于或小于预定阈值的视差SAD的参考索引匹配块的计算视差矢量作为目标块的预测运动矢量，估计将得到预测精度高的预测运动矢量。
然而，当这两个参考索引匹配块是具有超过预定阈值的视差SAD的一个参考索引匹配块和具有等于或小于预定阈值的视差SAD的一个参考索引匹配块时，不必根据中值预测标准将具有等于或大于预定阈值的视差SAD的参考索引匹配块的计算视差矢量设置为目标块的预测运动矢量。
也就是说，在有些情况下，根据中值预测标准，将与具有等于或小于预定阈值的视差SAD的参考索引匹配块不同的周围彩色块的计算视差矢量设置为目标块的预测运动矢量，并且在这些情况下，预测精度降低。
因此，当参考索引匹配块的数量是2并且这些块之中的具有超过预定阈值的视差SAD的参考索引匹配块的数量是1时，预测运动矢量产生单元243根据作为使预测精度降低的MVC标准(中值预测标准)的替代的视差信息使用预测标准产生目标块的预测运动矢量。
因此，当参考索引匹配块的数量是2并且这些块之中的具有超过预定阈值的视差SAD的参考索引匹配块的数量是2时，预测运动矢量产生单元243根据视差信息使用预测标准产生目标块的预测运动矢 量。
也就是说，当参考索引匹配块的数量是2并且这两个参考索引匹配块的所有视差SAD都超过预定阈值时，根据中值预测标准的预测精度与以上参考索引匹配块的数量是2并且这两个参考索引匹配块中的一个的视差SAD超过预定阈值的情况类似，因此根据提供相对良好的预测精度的视差信息使用预测标准产生目标块的预测运动矢量。
当参考索引匹配块的数量是3并且这些块之中的具有超过预定阈值的视差SAD的参考索引匹配块的数量是0时，估计与以上参考索引匹配块的数量是2并且这两个参考索引匹配块之中的具有超过预定阈值的视差SAD的参考索引匹配块的数量是0的情况类似，可以得到与用图像拍摄预测运动矢量d(d2)计算预测运动矢量的视差信息使用预测标准相比根据MVC标准(中值预测标准)预测精度高的预测运动矢量。
因此，预测运动矢量产生单元243根据MVC标准(中值预测标准)产生目标块的预测运动矢量。
当参考索引匹配块的数量是3并且这些块之中的具有超过预定阈值的视差SAD的参考索引匹配块的数量是1时，也就是说，当这三个参考索引匹配块的一个参考索引匹配块的视差SAD超过预定阈值并且其它参考索引匹配块的视差SAD是预定阈值或更小时，预测运动矢量产生单元243根据MVC标准产生目标块的预测运动矢量。
同时，根据MVC标准，当如上所述参考索引匹配块的数量是3时，根据使用作为这三个参考索引匹配块的三个周围彩色块的计算视差矢量的中值预测标准(中值预测器)，计算目标块的预测运动矢量。
当用于中值预测标准的所有周围彩色块都是参考索引匹配块时，这三个参考索引匹配块的一个参考索引匹配块的视差SAD超过预定阈值并且其它两个参考索引匹配块的视差SAD是预定阈值或更小时，估计在一个参考索引匹配块和其它两个参考索引匹配块中示出不同被摄体(视差之间存在显著差别)，并且估计在其它两个参考索引 匹配块和目标块中示出相同被摄体(视差之间没有显著差别)。
因此，具有等于或小于预定阈值的视差SAD的两个参考索引匹配块的计算视差矢量类似。
因此，通过使用具有等于或小于预定阈值的视差SAD的参考索引匹配块的两个计算视差矢量中的一个作为目标块的预测运动矢量，估计将得到与用图像拍摄视差矢量d(d2)计算预测运动矢量的视差信息使用标准相比预测精度更高的预测运动矢量。
当在三个周围彩色块A至C中包括具有等于或小于预定阈值的视差SAD的这两个参考索引匹配块时，具有等于或小于预定阈值的视差SAD的这两个参考索引匹配块中的一个的计算视差矢量是根据中值预测标准的目标块的预测运动矢量，使得可以得到预测精度高的预测运动矢量。
当参考索引匹配块的数量是3并且这些块之中的具有超过预定阈值的视差SAD的参考索引匹配块的数量是2时，也就是说，当这三个参考索引匹配块的两个参考索引匹配块的视差SAD超过预定阈值并且另一个参考索引匹配块的视差SAD是预定阈值或更小时，预测运动矢量产生单元243根据视差信息使用预测标准产生目标块的预测运动矢量。
同时，根据MVC标准，当如上所述参考索引匹配块的数量是3时，根据使用作为三个或更多个参考索引匹配块的三个周围彩色块的计算视差矢量的中值预测标准(中值预测器)，得到目标块的预测运动矢量。
当用于中值预测标准的所有周围彩色块都是参考索引匹配块时，这三个参考索引匹配块的两个参考索引匹配块的视差SAD超过预定阈值并且另一个参考索引匹配块的视差SAD是预定阈值或更小时，估计在两个参考索引匹配块和另一个参考索引匹配块中示出不同被摄体(视差之间存在显著差别)，并且估计在另一个参考索引匹配块和目标块中示出相同被摄体(视差之间没有显著差别)。
因此，具有超过预定阈值的视差SAD的两个参考索引匹配块的 计算视差矢量与具有等于或小于预定阈值的视差SAD的另一个参考索引匹配块的计算视差矢量并不类似。
另外，通过使用具有等于或小于预定阈值的视差SAD的(另一个)参考索引匹配块的计算视差矢量作为目标块的预测运动矢量，估计将得到预测精度高的预测运动矢量。
然而，当这三个周围彩色块是具有超过预定阈值的视差SAD的两个参考索引匹配块和具有等于或小于预定阈值的视差SAD的一个参考索引匹配块时，不必根据中值预测标准将具有等于或大于预定阈值的视差SAD的参考索引匹配块的计算视差矢量设置为目标块的预测运动矢量。
也就是说，在某些情况下，根据中值预测标准，将与具有等于或小于预定阈值的视差SAD的参考索引匹配块不同的周围彩色块的计算视差矢量设置为目标块的预测运动矢量，并且在这些情况下，预测精度降低。
因此，当参考索引匹配块的数量是3并且这些块之中的具有超过预定阈值的视差SAD的参考索引匹配块的数量是2时，预测运动矢量产生单元243根据作为使预测精度降低的MVC标准(中值预测标准)的替代的视差信息使用预测标准产生目标块的预测运动矢量。
也就是说，当参考索引匹配块的数量是3并且这三个参考索引匹配块的所有视差SAD都超过预定阈值时，根据中值预测标准的预测精度与以上参考索引匹配块的数量是3并且这三个参考索引匹配块中的两个的视差SAD超过预定阈值的情况类似，因此预测运动矢量产生单元243根据提供相对良好的预测精度的视差信息使用预测标准产生目标块的预测运动矢量。
另外，与16×16类型的情况类似，预测运动矢量产生单元243对不同于16×16类型的宏块类型执行矢量预测操作。
同时，被视为参考索引匹配块的目标变成(例如)根据MVC标准产生预测运动矢量所使用的周围彩色块。
也就是说，在(例如)16×16类型的情况下，根据MVC标准 产生预测运动矢量所使用的周围彩色块是如图10中示出的邻近目标块X左侧的周围彩色块A、邻近上侧的周围彩色块B和邻近对角右上侧的周围彩色块C这三者，并且这三个周围彩色块A至C是被视为参考索引匹配块的目标。
也就是说，在(例如)8×16类型和16×8类型的情况下，根据MVC标准产生预测运动矢量所使用的周围彩色块是仅仅一个邻近目标块X左侧的周围彩色块A、仅仅一个邻近上侧的周围彩色块B或者仅仅一个邻近对角右上侧的周围彩色块C，并且一个周围彩色块是被视为参考索引匹配块的目标。
因此，8×16类型和16×8类型的参考索引匹配块的数量范围是0或1。
图18是用于说明图16中的步骤S53至S56中的由预测运动矢量产生单元243(图13)对每种宏块类型执行的矢量预测操作的流程图。
在步骤S61中，基于编码信息，预测运动矢量产生单元243判定具有代表产生预测图像所参考的参考图片的参考索引、并且匹配彩色图像C#2中的目标块周围的周围彩色块(例如，图13中的三个周围彩色块CA至CC)之中的目标块的参考索引匹配块的数量。
当在步骤S61中判定参考索引匹配块的数量是0时，进程前进至步骤S67，预测运动矢量产生单元243根据视差信息使用预测标准用解码视差图像D#2产生目标块的预测运动矢量，并且进程返回。
另外，当在步骤S61中判定参考索引匹配块的数量是1或更多时，进程前进至步骤S62，预测运动矢量产生单元243针对参考索引匹配块计算视差SAD，视差SAD是对应于位置与这个参考索引匹配块的位置相同的解码视差图像D#2的周围视差块(例如，图3中的周围视差块DA至DC)和相同位置块(图3中的相同位置块DX)之差的SAD，并且进程前进至步骤S63。
在步骤S63中，预测运动矢量产生单元243判定参考索引匹配块的数量是否是1并且具有超过预定阈值的视差SAD的参考索引匹配 块的数量是否是1。
当在步骤S63中判定参考索引匹配块的数量是1并且判定具有超过预定值的视差SAD的参考索引匹配块的数量是1时，进程前进至步骤S67，预测运动矢量产生单元243根据视差信息使用预测标准用解码视差图像D#2产生目标块的预测运动矢量，并且进程返回。
另外，当在步骤S63中判定参考索引匹配块的数量不是1或者当判定即使参考索引匹配块的数量是1但具有超过预定阈值的视差SAD的参考索引匹配块的数量不是1时，进程前进至步骤S64，预测运动矢量产生单元243判定参考索引匹配块的数量是否是2以及具有超过预定阈值的视差SAD的参考索引匹配块的数量是否是1或更多。
当在步骤S64中判定参考索引匹配块的数量是2并且判定具有超过预定值的视差SAD的参考索引匹配块的数量是1或更多时，进程前进至步骤S67，预测运动矢量产生单元243根据视差信息使用预测标准用解码视差图像D#2产生目标块的预测运动矢量，并且进程返回。
另外，当在步骤S64中判定参考索引匹配块的数量不是2或者当判定即使参考索引匹配块的数量是2但具有超过预定阈值的视差SAD的参考索引匹配块的数量不是1或更多时，进程前进至步骤S65，预测运动矢量产生单元243判定参考索引匹配块的数量是否是3以及具有超过预定阈值的视差SAD的参考索引匹配块的数量是否是2或更多。
当在步骤S65中判定参考索引匹配块的数量是3并且判定具有超过预定值的视差SAD的参考索引匹配块的数量是2或更多时，进程前进至步骤S67，预测运动矢量产生单元243根据视差信息使用预测标准用解码视差图像D#2产生目标块的预测运动矢量，并且进程返回。
另外，当在步骤S65中判定参考索引匹配块的数量不是3或者判定即使参考索引匹配块的数量是3但具有超过预定阈值的视差SAD 的参考索引匹配块的数量不是2或更多时，进程前进至步骤S66，预测运动矢量产生单元243根据MVC标准产生目标块的预测运动矢量，并且进程返回。
如上所述，在矢量预测操作中，基于对应于位置与参考索引匹配块的位置相同的周围视差块和相同位置块之差的视差SAD，可以得到通过产生根据视差信息使用预测标准的预测运动矢量和根据MVC标准的预测运动矢量之中的被精确估计的预测运动矢量作为用于操作目标块的预测运动矢量而被精确预测的预测运动矢量。
[应用本技术的多视点图像解码器的实施例]
图19是示出应用本技术的多视点解码器的实施例的示例结构的框图。
图19中的多视点图像解码器是对通过使用(例如)MVC标准对多个视点图像进行编码而得到的数据进行解码的解码器，并且以下适当地将不描述与MVC标准的操作相同的操作。
另外，多视点解码器不限于使用MVC标准的解码器。
图19中的多视点图像解码器将图4中的多视点图像编码器输出的多路复用数据解码成视点#1彩色图像C#1和视点#2彩色图像C#2(两个视点#1和视点#2彩色图像)和视点#1视差图像D#1和视点#2视差图像D#2(两个视点#1和视点#2视差信息图像)。
在图19中，多视点图像解码器具有分离单元301、解码器311、312、321和322以及DPB 331。
通过记录介质或传输介质(未示出)将图4中的多视点图像编码器输出的多路复用数据供应到分离单元301。
分离单元301从供应到分离单元301的多路复用数据中分离出彩色图像C#1编码数据、彩色图像C#2编码数据、视差图像D#1编码数据和视差图像D#2编码数据。
另外，分离单元301将彩色图像C#1编码数据供应到解码器311，将彩色图像C#2编码数据供应到解码器312，将视差图像D#1编码数据供应到解码器321并且将视差图像D#2编码数据供应到解 码器322。
解码器311对来自分离单元301的彩色图像C#1编码数据进行解码，并且输出所得的彩色图像C#1。
解码器312对来自分离单元301的彩色图像C#2编码数据进行解码，并且输出所得的彩色图像C#2。
解码器321对来自分离单元301的视差图像D#1编码数据进行解码，并且输出所得的视差图像D#1。
解码器322对来自分离单元301的视差图像D#2编码数据进行解码，并且输出所得的视差图像D#2。
DPB 331暂时存储通过在解码器311、312、321和322中对解码目标图像进行解码而得到的解码图像作为在产生预测图像时所参考的参考图片(候选)。
也就是说，解码器311、312、321和322对在图4中的编码器11、12、21和22中经受预测编码的图像进行解码。
对经受预测编码的图像进行解码需要在进行预测编码时使用的预测图像，因此解码器311、312、321和322暂时对解码目标图像进行解码，然后暂时将用于产生预测图像的解码图像存储在DPB 31中，以产生在进行预测编码时使用的预测图像。
DPB 331是公共缓冲器，它暂时存储通过解码器311、312、321和322得到的解码图像，并且从DPB 331中存储的解码图像中选择对解码目标图像进行解码时参考的参考图片，并且使用参考图片产生预测图像。
DPB 331是解码器311、312、321和322共用的，使得除了每个解码器得到的解码图像之外，解码器311、312、321和322还可以参考其它编码器得到的解码图像。
[解码器311的示例结构]
图20是示出图19中的解码器311的示例结构的框图。
另外，图19中的解码器321和322也采用与解码器311的构造相同的构造，并且例如根据MVC标准对图像进行编码。
在图20中，解码器311具有蓄积缓冲器341、可变长度解码单元342、逆量化单元343、逆正交变换单元344、算术运算单元345、解块滤波器346、画面重排缓冲器347、D/A转换器348、画面内预测单元349、帧间预测单元350和预测图像选择单元351。
蓄积缓冲器341从分离单元301(图19)接收彩色图像C#1编码数据的供给。
蓄积缓冲器341暂时存储施加到蓄积缓冲器341的编码数据，并且将编码数据供应到可变长度解码单元342。
可变长度解码单元342通过对来自蓄积缓冲器341的编码数据执行可变长度解码来恢复量化值和头部信息。另外，可变长度解码单元342将量化值供应到逆量化单元343，并且将头部信息供应到画面内预测单元349和帧间预测单元350。
逆量化单元343将来自可变长度解码单元342的量化值逆量化成变换系数，并且将变换系数供应到逆正交变换单元344。
逆正交变换单元344对来自逆量化单元343的变换系数执行逆变换，并且以宏块为单位将变换系数供应到算术运算单元345。
算术运算单元345通过将预测图像选择单元351供应的预测图像(如有必要)加上逆正交变换单元344供应的作为解码目标宏块的目标块来得到解码图像，并且将解码图像供应到解块滤波器346。
以与图8中的解块滤波器121相同的方式，解块滤波器346过滤来自算术运算单元345的解码图像，并且将经过滤波的解码图像供应到画面重排缓冲器347。
画面重排缓冲器347通过暂时存储和读取来自解块滤波器346的解码图像的图片，以原始次序(显示次序)重排图片的布置，并且将图片供应到D/A(数字/模拟)转换器348。
当需要从画面重排缓冲器347将图片作为模拟信号输出时，D/A转换器348对这个图片执行D/A转换并且将其输出。
另外，解块滤波器346将经过滤波的解码图像之中的作为可参考图片的I图片、P图片和Bs图片的解码图像供应到DPB 331。
同时，DPB 331存储来自解块滤波器346的解码图像图片(也就是说，彩色图像C#1图片)作为产生随后执行解码时使用的预测图像所参考的参考图片。
如参考图19所描述的，DPB 331是在解码器311、312、321和322之间共用的，并且因此存储被解码器311解码的彩色图像C#1图片，另外被解码器312解码的彩色图像C#2图片、被解码器321解码的视差图像D#1图片和被解码器322解码的视差图像D#2图片。
基于来自可变长度解码单元342的头部信息，画面内预测单元349识别是否使用通过帧内预测(画面内预测)产生的预测图像对目标块进行编码。
当使用通过帧内预测产生的预测图像对目标块进行编码时，与图8中的画面内预测单元122类似，画面内预测单元349读取来自DPB 331的包括目标块的图片(目标图片)的解码部分(解码图像)。另外，画面内预测单元349将从DPB 331读取的目标图片的解码图像的一部分作为目标块的预测图像供应到预测图像选择单元351。
基于来自可变长度解码单元342的头部信息，帧间预测单元350识别是否使用通过帧间预测产生的预测图像对目标块进行编码。
当使用通过帧间预测产生的预测图像对目标块进行编码时，基于来自可变长度解码单元342的头部信息，帧间预测单元350识别预测参考索引，也就是说，分配给产生目标块的预测图像时使用的参考图片的参考索引。
另外，帧间预测单元350从存储在DPB 331中的参考图片读取被分配预测参考索引的参考图片。
此外，基于来自可变长度解码单元342的头部信息，帧间预测单元350识别产生目标块的预测图像时使用的位移矢量(视差矢量或运动矢量)，并且与图8中的帧间预测单元123类似，通过根据这个位移矢量，对参考图片执行位移补偿(补偿与运动对应的位移的运动补偿或者补偿与位移对应的位移的视差补偿)来产生预测图像。
也就是说，帧间预测单元350获取从目标块的位置根据这个目标 块的位移矢量移动(位移)到达的位置处的参考图片的块(对应块)作为预测图像。
另外，帧间预测单元350将预测图像供应到预测图像选择单元351。
预测图像选择单元351当从画面内预测单元349接收到预测图像的供给时选择预测图像并且将预测图像供应到算术运算单元345，并且当从帧间预测单元350接收到预测图像的供给时选择预测图像并且将预测图像供应到算术运算单元345。
[解码器312的示例结构]
图21是示出图19中的解码器312的示例结构的框图。
解码器312使用MVC标准(也就是说，以与图12中的编码器12执行的本体解码相同的方式)对作为解码目标的视点#2彩色图像C#2进行解码。
在图21中，解码器312具有蓄积缓冲器441、可变长度解码单元442、逆量化单元443、逆正交变换单元444、算术运算单元445、解块滤波器446、画面重排缓冲器447、D/A转换器448、画面内预测单元449、预测图像选择单元451、MB索引计算单元461和视差预测单元462。
蓄积缓冲器441直至画面内预测单元449和预测图像选择单元451采用与图20中的蓄积缓冲器341直至画面内预测单元349和预测图像选择单元351相同的构造，因此将适当地不对此进行描述。
在图21中，DPB 31从解块滤波器446接收解码图像(也就是说，解码彩色图像C#2图片即在解码器312中被解码的彩色图像)的供给，并且将图片存储为参考图片。
另外，如参考图19和图20描述的，DPB 331还接收被解码器311解码的彩色图像(解码彩色图像)C#1图片、被解码器321解码的视差图像(解码视差图像)D#1图片和被解码器322解码的视差图像(解码视差图像)D#2图片的供给并且存储这些图片。
同时，解码器312使用来自解块滤波器446的解码彩色图像C#2 图片，并且另外还使用通过解码器311得到的解码彩色图像C#1和通过解码器322得到的解码视差图像D#2以对作为解码目标的彩色图像C#2进行解码，然后，图21示出指示向DPB 331供应通过解码器311得到的解码彩色图像C#1和通过解码器322得到的解码视差图像D#2的箭头。
与图12中的MB索引计算单元231类似，MB索引计算单元461计算目标块的MB索引，并且将MB索引供应到视差预测单元462。
基于来自可变长度解码单元442的头部信息，视差预测单元462识别是否使用通过视差预测(帧间预测)产生的预测图像对目标块进行编码。
当使用通过视差预测产生的预测图像对目标块进行编码时，基于来自可变长度解码单元442的头部信息，视差预测单元462识别(获取)预测参考索引，也就是说，分配给产生目标块的预测图像时使用的参考图片的参考索引。
另外，视差预测单元462选择存储在DPB 331中的解码彩色图像C#1中的被分配预测参考索引的图片作为参考图片。
此外，基于来自可变长度解码单元442的头部信息，视差预测单元462恢复产生候选块的预测图像时使用的计算视差矢量，并且与图12中的视差预测单元232类似，通过根据这个计算视差矢量执行视差预测来产生预测图像。
也就是说，视差预测单元462获取从目标块的位置根据这个目标块的计算视差矢量移动(位移)到达的位置处的参考图片的块(对应块)作为预测图像。
另外，视差预测单元462将预测图像供应到预测图像选择单元451。
另外，尽管与图12中的编码器12类似，为了便于描述在图21的解码器312中设置只执行帧间预测的视差预测的视差预测单元462，但当图12中的编码器12除了视差预测之外还执行时间预测 时，解码器312以与编码器12相同的方式执行视差预测和时间预测(产生预测图像)。
图22是示出图21中的视差预测单元462的示例结构的框图。
在图22中，视差预测单元462具有预测运动矢量产生单元471和视差补偿单元472。
预测运动矢量产生单元471接收存储在DPB 331中的解码视差图像D#2图片的供给，并且从MB索引计算单元461接收MB索引的供给。
另外，预测运动矢量产生单元471接收视差相关信息(图4)(诸如来自可变长度解码单元442的头部信息中包括的图像拍摄视差矢量d(视点#2图像拍摄视差矢量d2)的最大值dmax和最小值dmin)的供给。
此外，预测运动矢量产生单元471从可变长度解码单元442接收头部信息中包括的邻近目标块的左侧、上侧和对角右上侧的周围彩色块(也就是说，例如，解码彩色图像C#2块中的图3中的周围彩色块CA至CC)的编码信息的供给。
同时，来自可变长度解码单元442的头部信息中包括的周围彩色块的编码信息包括这个周围彩色块的模式相关信息(宏块类型)和参考索引(预测参考索引)，并且来自可变长度解码单元442的头部信息中包括的目标块的编码信息包括这个目标块的模式相关信息(宏块类型)、残差矢量和参考索引(预测参考索引)。
另外，预测运动矢量产生单元471从视差补偿单元472接收解码周围彩色块的计算视差矢量的供给。
基于MB索引计算单元461的MB索引，预测运动矢量产生单元471识别目标图片中的目标块。
另外，与图13中的预测运动矢量产生单元243类似，预测运动矢量产生单元471使用存储在DPB 331中的解码视差图像D#2图片、视差相关信息、编码信息和来自视差补偿单元472的周围彩色块的计算视差矢量(如有必要)来产生目标块的预测运动矢量，并且将 预测运动矢量供应到视差补偿单元472。
也就是说，预测运动矢量产生单元471基于目标块的编码信息识别目标块的宏块模式，并且产生根据视差信息使用预测标准产生的预测运动矢量和根据MVC标准产生的预测运动矢量之中的被估计预测精度高的预测运动矢量作为目标块的预测运动矢量。
同时，与图13中的预测运动矢量产生单元243类似，供应到预测运动矢量产生单元471的视差相关信息被用于根据视差信息使用预测标准产生预测运动矢量。
视差补偿单元472从预测运动矢量产生单元471接收目标块的预测运动矢量的供给，并且另外还从可变长度解码单元442接收包括在头部信息中的目标块的模式相关信息、残差矢量和预测参考索引。
另外，视差补偿单元472接收存储在DPB 331中的作为参考图片的解码彩色图像C#1的供给。
视差补偿单元472通过将来自可变长度解码单元442的残差矢量加上来自预测运动矢量产生单元471的预测运动矢量来恢复目标块的计算视差矢量mv。
另外，与MVC标准类似，视差补偿单元472使用目标块的计算视差矢量mv，对存储在DPB 331中的解码彩色图像C#1图片中的被分配来自可变长度解码单元442的预测参考索引的图片即参考图片执行位移补偿(视差补偿)，并且针对代表来自可变长度解码单元442的模式相关信息的宏块类型，产生目标块的预测图像。
也就是说，视差补偿单元472获取对应块作为预测图像，所述对应块是从目标块的位置按照计算视差矢量mv位移到达的位置处的解码彩色图像C#1图片的块。
另外，视差补偿单元472将预测图像供应到预测图像选择单元451。
图23是用于说明图21中的由解码器312对视点#2彩色图像C#2编码数据进行解码的解码操作的流程图。
在步骤S111中，蓄积缓冲器441存储供应到蓄积缓冲器441的 视点C#2彩色图像C#2编码数据，并且进程前进至步骤S112。
在步骤S112中，可变长度解码单元442通过读取存储在蓄积缓冲器441中的编码数据并且对编码数据执行可变长度解码来恢复量化值和头部信息。另外，可变长度解码单元442将量化值供应到逆量化单元443，并且将头部信息供应到画面内预测单元449和视差预测单元462，并且进程前进至步骤S113。
在步骤S113中，逆量化单元443将来自可变长度解码单元442的量化值逆量化成变换系数，并且将变换系数供应到逆正交变换单元444，并且进程前进至步骤S114。
在步骤S114中，逆正交变换单元444对来自逆量化单元443的变换系数执行逆正交变换，并且以宏块为单位将变换系数供应到算术运算单元445，并且进程前进至步骤S115。
在步骤S115中，算术运算单元445通过将预测图像选择单元451供应的预测图像(如有必要)加上逆正交变换单元444供应的作为解码目标宏块的目标块(残差图像)来得到解码图像。另外，算术运算单元445将解码图像供应到解块滤波器446，并且进程从步骤S115前进至步骤S116。
在步骤S116中，解块滤波器446过滤来自算术运算单元445的解码图像，并且将经过滤波的解码图像(解码彩色图像C#2)供应到DPB 331和画面重排缓冲器447，并且进程前进至步骤S117。
在步骤S117中，DPB 331存储来自解块滤波器446的解码彩色图像C#2，并且进程前进至步骤S118。
在步骤S118中，DPB 331等待来自对彩色图像C#1进行解码的解码器311的解码彩色图像C#1的供给并且存储解码彩色图像C#1，并且进程前进至步骤S119。
在步骤S119中，DPB 331等待来自对视差图像D#2进行解码的解码器322的解码视差图像D#2的供给并且存储这个解码视差图像D#2，并且进程前进至步骤S120。
在步骤S120中，基于可变长度解码单元442供应的头部信息， 画面内预测单元449和视差预测单元462识别使用帧内预测(画面内预测)的预测标准和视差预测(帧间预测)的预测标准中的哪个来产生对下一个目标块(下一个解码目标的宏块)进行编码时使用的预测图像。
另外，当使用通过画面内预测产生的预测图像对下一个目标块进行编码时，画面内预测单元449执行帧内预测操作(画面内预测操作)。
也就是说，画面内预测单元449对下一个目标块执行用存储在DPB 331中的解码彩色图像C#2图片产生预测图像(帧内预测的预测图像)的帧内预测(画面内预测)，并且将这个预测图像供应到预测图像选择单元451，并且进程从步骤S120前进至步骤S121。
另外，当使用通过视差预测(帧间预测)产生的预测图像对下一个目标块进行编码时，视差预测单元462执行视差预测操作(帧间预测操作)。
也就是说，针对下一个目标块，视差预测单元462选择包括在来自可变长度解码单元442的头部信息中并且在存储在DPB 331中的解码彩色图像C#1图片中的被分配下一个目标块的预测参考索引的图片作为参考图片。
另外，视差预测单元462使用(例如)来自可变长度解码单元442的头部信息中包括的模式相关信息执行视差预测(视差补偿)来产生预测图像，并且将这个预测图像供应到预测图像选择单元451，并且进程从步骤S120前进至步骤S121。
在步骤S121中，预测图像选择单元451选择画面内预测单元449和视差预测单元462中的一个供应的预测图像并且将这个预测图像供应到算术操作单元445，并且进程前进至步骤S122。
同时，在步骤S121中由预测图像选择单元451选择的预测图像被用于在对下一个目标块进行解码时执行的步骤S115中的操作。
在步骤S122中，画面重排缓冲器447暂时存储和读取来自解块滤波器446的解码视差图像D#2，以原始次序重排图片的布置，并且 将图片供应到D/A转换器448，并且进程前进至步骤S123。
在步骤S123中，当需要从画面重排缓冲器447将图片作为模拟信号输出时，D/A转换器448对这个图片执行D/A转换并且将其输出。
解码器312适当地重复执行以上步骤S111至S123中的操作。
图24是用于说明图23中的步骤S120中的图22中的视差预测单元462执行的视差预测操作的流程图。
在步骤S131中，视差预测单元462从MB索引计算单元461获取(下一个)目标块的MB索引，并且将MB索引供应到预测运动矢量产生单元471。
另外，视差预测单元462从可变长度解码单元442获取视差相关信息(图4)，诸如头部信息中包括的图像拍摄视差矢量d(视点#2图像拍摄视差矢量d2)的最大值dmax和最小值dmin，并且将视差相关信息供应到预测运动矢量产生单元471。
此外，视差预测单元462从可变长度解码单元442获取头部信息中包括的(下一个)目标块的编码信息(模式相关信息、残差矢量和预测参考索引)并且将编码信息供应到预测运动矢量产生单元471和视差补偿单元472，并且进程从步骤S131前进至步骤S132。
在步骤S132中，视差预测单元462从DPB 331获取解码视差图像D#2图片(与目标图片同时的图片)并且将图片供应到预测运动矢量产生单元471，并且进程前进至步骤S133。
在步骤S133中，预测运动矢量产生单元471基于来自MB索引计算单元461的MB索引识别目标图片中的(下一个)目标块，并且执行产生这个目标块的预测运动矢量的预测运动矢量产生操作。
另外，预测运动矢量产生单元471将通过预测运动矢量产生操作得到的目标块的预测运动矢量供应到视差补偿单元472，并且进程从步骤S133前进至步骤S134。
在步骤S134中，视差补偿单元472通过将来自可变长度解码单元442的头部信息中包括的目标块的残差矢量加上来自预测运动矢量 产生单元471的预测运动矢量来恢复目标块的计算视差矢量mv，并且进程前进至步骤S135。
另外，视差补偿单元472将目标块的计算视差矢量mv供应到预测运动矢量产生单元471。预测运动矢量产生单元471使用视差补偿单元472供应的计算视差矢量mv作为随后变成目标块的块的周围彩色块的计算视差矢量来执行以上步骤S133中的预测运动矢量产生操作。
在步骤S135中，视差补偿单元472从DPB 331获取被分配目标块的预测参考索引的解码彩色图像C#1图片作为参考图片，并且进程前进至步骤S136。
在步骤S136中，视差补偿单元472通过根据目标块的计算视差矢量mv，对来自DPB331的作为参考图片的解码彩色图像C#1图片执行MC来产生目标块的预测图像，并且进程前进至步骤S137。
也就是说，视差补偿单元472获取对应块作为预测图像，所述对应块是从目标块的位置按照计算视差矢量mv位移到达的位置处的解码彩色图像C#1图片的块。
在步骤S137中，视差补偿单元472将预测图像供应到预测图像选择单元451，并且进程返回。
图25是用于说明图24中的步骤S133中的由预测运动矢量产生单元471(图22)执行的预测运动矢量产生操作的流程图。
在步骤S141中，预测运动矢量产生单元471从来自可变长度解码单元442的头部信息获取编码彩色图像C#2周围彩色块(例如，图3中的三个周围块CA至CC)的编码信息，并且进程前进至步骤S142。
在步骤S142中，预测运动矢量产生单元471从DPB 331获取位置与目标块的位置相同的块(相同位置块)和来自解码视差图像D#2图片的这个相同位置块周围的周围视差块(位置与在步骤S141中被从其获取编码信息的周围彩色块的位置相同的解码视差图像D#2图片的块)(例如，图3中的三个周围视差块DA至DC)，并且进程 前进至步骤S143.
在步骤S143中，如有必要，预测运动矢量产生单元471使用(例如)步骤S141和S142中获取的信息，通过执行如参考图17和图18描述的相同矢量预测操作，产生作为目标块的编码信息中包括的模式相关信息所指示的最佳帧间预测模式的宏块模式的目标块的预测运动矢量。
另外，预测运动矢量产生单元471将目标块的预测运动矢量供应到视差补偿单元472，并且进程返回。
另外，尽管以上已经采用MVC标准(中值预测标准)作为除了视差信息使用预测标准之外的矢量预测标准，但(例如)可以额外采用参考图1和图2描述的SAD最小预测标准作为除了视差信息使用预测标准之外的矢量预测标准。
[基于编码成本估计预测精度的方法]
图26是用于说明基于编码成本的根据视差信息使用预测标准和MVC标准(中值预测标准)估计预测精度的方法的视图。
同时，虽然在图3中基于视差(信息)图像D#2的周围视差块DA至DC和相同位置块DX之间的SAD(视差SAD)估计根据视差信息使用预测标准和中值预测标准(MVC标准)的预测精度，并且根据视差信息使用预测标准和中值预测标准之中的估计提供更好预测精度的矢量预测标准来产生预测运动矢量，可以基于目标块的编码成本估计根据视差信息使用预测标准和中值预测标准的预测精度。
与图2的A和图3类似，在图26中，在彩色图像C#2中示出背景和矩形前景，矩形前景是在这个背景的前方存在的对象，并且彩色图像C#2目标块CX是矩形前景的左上块。
因此，邻近目标块CX左侧的周围彩色块CA、邻近上侧的周围彩色块CB和邻近对角右上侧的周围彩色块CC都是背景块。
如上所述，当目标块CX是前景块并且周围彩色块CA至CC是背景块时，甚至中值预测标准(中值预测器)或SAD最小预测标准(SAD最小预测器)提供了如参考图2的A描述的预测运动矢量的 较低的预测精度。
因此，本技术计算通过使用根据视差信息使用预测标准(视差信息使用预测器)的预测运动矢量PMVD对目标块进行编码而得到的编码成本COSTD以及通过根据中值预测标准(中值预测器)使用预测运动矢量PMVC对目标块进行编码而得到的编码成本COSTC。
另外，基于编码成本COSTD和COSTC，从根据视差信息使用预测标准的预测运动矢量PMVD和根据中值预测标准的预测运动矢量PMVC中，选择编码成本较低的预测运动矢量作为目标块的预测运动矢量。
另外，当基于如上所述的编码成本COSTD和COSTC来选择目标块的预测运动矢量时，解码器侧难以计算编码成本COSTD和COSTC，因此本技术将预测器标志即代表根据视差信息使用预测标准的预测运动矢量PMVD和根据中值预测标准的预测运动矢量PMVC之中的成本较低的编码(被选择作为目标块的预测运动矢量)的标志发送到解码器侧。
另外，基于预测器标志，解码器侧产生根据视差信息使用预测标准的预测运动矢量PMVD和根据中值预测标准的预测运动矢量PMVC中的一个作为目标块的预测运动矢量。
图27是示出当基于编码成本估计预测精度时图12中的视差预测单元232的示例结构的框图。
在图27中，视差预测单元232具有视差检测单元541、视差补偿单元542、预测运动矢量产生单元543、成本函数计算单元544、模式选择单元545和编码信息缓冲器546。
视差检测单元541接收存储在DPB 31中的作为参考图片的解码彩色图像C#1图片的供给，并且从画面重排缓冲器212接收编码目标的彩色图像C#2图片(目标图片)的供给。
另外，视差检测单元541从MB索引计算单元231接收目标块的MB索引的供给，并且从预测运动矢量产生单元543接收预测运动矢量信息的供给。
基于来自MB索引计算单元231的MB索引，视差检测单元541识别来自画面重排缓冲器212的目标图片中的目标块。
另外，与MVC标准类似，通过使用目标块和作为参考图片的解码彩色图像C#1图片执行ME，视差检测单元541针对每个宏块类型检测位移矢量，也就是说，代表解码彩色图像C#1图片中的相对于视点#1的视差的目标块的计算视差矢量mv，所述位移矢量代表相对于使得与目标块的SAD最小的对应块的位移。
此外，视差检测单元541用来自预测运动矢量产生单元543的预测运动矢量信息来识别根据视差信息使用预测标准的预测运动矢量PMVD和根据MVC标准(中值预测标准)的预测运动矢量PMVC，并且计算预测运动矢量PMVD和PMVC的编码成本。
也就是说，从预测运动矢量产生单元543供应到视差检测单元541的预测运动矢量信息包括根据视差信息使用预测标准的预测运动矢量PMVD和代表这个预测运动矢量PMVD的预测器标志(例如，1比特标志)以及根据MVC标准的预测运动矢量PMVC和代表这个预测运动矢量PMVC的预测器标志。
根据(例如)等式COST＝D+λR，视差检测单元541计算使用根据视差信息使用预测标准的预测运动矢量PMVD对目标块进行编码而得到的编码成本(预测运动矢量PMVD的编码成本)COSTD以及使用根据MVC标准的预测运动矢量PMVC对目标块进行编码而得到的编码成本(预测运动矢量PMVC的编码成本)COSTC。
同时，在等式COST＝D+λR中，D表示目标块和从目标块按照计算视差矢量mv移动到达的位置处的解码彩色图像C#1图片的块(对应块)的SAD，并且λ是相对于R的权重并且根据目标块的残差的量化步骤来设置。
另外，在等式COST＝D+λR中，R是与残差矢量(即计算视差矢量mv和预测运动矢量之差)的比特率对应的值。根据MVC标准，当残差矢量的程度更显著时，比特率变得更高。
当计算预测运动矢量PMVD的编码成本COSTD和预测运动矢 量PMVC的编码成本COSTC时，视差检测单元541从预测运动矢量产生单元543供应的预测运动矢量中包括的根据视差信息使用预测标准的预测运动矢量PMVD和根据MVC标准的预测运动矢量PMVC中选择编码成本COSTD和COSTC中的较低成本得到的预测运动矢量(以下，也被称为“最低成本预测运动矢量”)作为目标块的预测运动矢量。
也就是说，视差检测单元541估计根据视差信息使用预测标准的预测运动矢量PMVD和根据MVC标准的预测运动矢量PMVC之中的编码成本较低(最低)的预测运动矢量的预测精度，并且选择编码成本较低的预测运动矢量作为目标块的预测运动矢量。
另外，视差检测单元541计算残差矢量，即目标块的计算视差矢量mv和最低成本预测运动矢量之差，并且将残差矢量连同代表最低成本预测运动矢量的预测器标志一起供应到视差补偿单元542。
视差补偿单元542接收计算视差矢量mv的残差矢量和预测器标志的供给，另外还从视差检测单元541接收存储在DPB 31中作为参考图片的解码彩色图像C#1图片的供给。
另外，视差补偿单元542从预测运动矢量产生单元543接收预测运动矢量信息的供给。
基于来自视差检测单元541的预测器标志，视差补偿单元542从来自预测运动矢量产生单元543的预测运动矢量信息中包括的根据视差信息使用预测标准的预测运动矢量PMVD和根据MVC标准的预测运动矢量PMVC中，选择最低成本预测运动矢量作为目标块的预测运动矢量。
另外，视差补偿单元542通过将来自视差检测单元541的残差矢量加上目标块的预测运动矢量(最低成本预测运动矢量)来恢复目标块的计算视差矢量mv。
此外，与MVC标准类似，视差补偿单元542通过使用目标块的计算视差矢量mv，对来自DPB 31的参考图片即解码彩色图像C#1图片执行位移补偿(视差补偿)来针对每个宏块类型产生目标块的预 测图像。
另外，视差补偿单元542将预测图像连同来自视差检测单元541的残差矢量、被分配给产生预测图像时使用的参考图片(这里，解码彩色图像C#1图片)的参考索引和来自视差检测单元541的预测器标志(代表最低成本预测运动矢量的预测器标志)一起供应到成本函数计算单元544。
预测运动矢量产生单元543接收存储在DPB 31中的解码视差图像D#2图片的供给，并且从MB索引计算单元231接收MB索引的供给。
另外，预测运动矢量产生单元543接收视差相关信息(图4)诸如图像拍摄视差矢量d(视点#2图像拍摄视差矢量d2)的最大值dmax和最小值dmin的供给。
此外，预测运动矢量产生单元543从编码信息缓冲器546接收编码彩色图像C#2目标块周围的周围彩色块(也就是说，图26(图3)中的周围彩色块CA至CC)的编码信息的供给。
同时，周围彩色块的编码信息包括模式相关信息、计算视差矢量和当将周围彩色块编码为目标块时(与图13类似)得到的参考索引(预测参考索引)。
基于来自MB索引计算单元231的MB索引，预测运动矢量产生单元543识别来自画面重排缓冲器212的目标图片中的目标块。
另外，与图13中的预测运动矢量产生单元243类似，预测运动矢量产生单元543针对每种宏块类型(图9)使用视差相关信息和解码视差图像D#2图片来产生根据视差信息使用预测标准的预测运动矢量PMVD，并且产生代表根据视差信息使用预测标准的预测运动矢量PMVC的预测器标志。
此外，与图13中的预测运动矢量产生单元243类似，预测运动矢量产生单元543针对每种宏块类型(图9)使用(例如)来自编码信息缓冲器546的编码信息的目标块周围的周围彩色块CA至CC的编码信息来产生根据MVC标准的预测运动矢量PMVC，并且产生代 表根据这个MVC标准的预测运动矢量PMVC的预测器标志。
进一步地，预测运动矢量产生单元543将每种宏块类型(图9)的根据视差信息使用预测标准的预测运动矢量PMVD和代表预测运动矢量PMVD的预测器标志以及根据MVC标准的预测运动矢量PMVC和代表预测运动矢量PMVC的预测器标志作为预测运动矢量信息供应到视差检测单元541和视差补偿单元542。
成本函数计算单元544从视差补偿单元542接收预测图像、残差矢量、参考索引和预测器标志的供给，另外还从画面重排缓冲器212接收彩色图像C#2目标图片的供给。
与图13中的成本函数计算单元244类似，根据每个宏块类型(图9)的预定成本函数，成本函数计算单元544计算对来自画面重排缓冲器212的目标图片的目标块进行编码所需的编码成本。
当针对每个宏块类型计算编码成本(成本函数值)时，成本函数计算单元544将编码成本连同参考索引、预测图像、残差矢量和预测器标志一起供应到模式选择单元545。
模式选择单元545检测来自成本函数计算单元544的每种宏块类型的编码成本中的最低成本，即最小值。
另外，模式选择单元545选择可以从其得到最低成本的宏块类型作为最佳帧间预测模式。
此外，模式选择单元545将(例如)代表最佳帧间预测模式、最佳帧间预测模式的参考索引(预测参考索引)、最佳帧间预测模式的残差矢量和最佳帧间预测模式的预测器标志的模式相关信息作为头部信息供应到可变长度编码单元216。
进一步地，模式选择单元545将预测图像和最佳帧间预测模式的编码成本(最低成本)供应到预测图像选择单元224。
另外，与图13中的模式选择单元245类似，模式选择单元545判定是否将目标块编码为跳过宏块。
另外，模式选择单元545从视差检测单元541获取在最佳帧间预测模式下对目标块进行编码时使用的目标块的计算视差矢量。
此外，模式选择单元545将目标块的计算视差矢量、模式相关信息和预测参考索引作为目标块的编码信息供应到编码信息缓冲器546。
编码信息缓冲器546暂时存储来自模式选择单元545的编码信息。
图28是用于说明图14中的步骤S25中的由图27中的视差预测单元232执行的视差预测操作的流程图。
在步骤S241中，视差预测单元232获取MB索引计算单元231供应的(下一个)目标块的MB索引并且将MB索引供应到视差检测单元541和预测运动矢量产生单元543，并且进程前进至步骤S242。
在步骤S242中，视差预测单元232从DPB 31获取作为参考图片的解码彩色图像C#1图片，并且获取解码视差图像D#2。
另外，视差预测单元232将解码彩色图像C#1图片供应到视差检测单元541和视差补偿单元542并且将解码视差图像D#2供应到预测运动矢量产生单元243，并且进程前进至步骤S243。
在步骤S243中，基于来自MB索引计算单元231的MB索引，预测运动矢量产生单元543识别画面重排缓冲器212供应的目标图片中的(下一个)目标块。
另外，预测运动矢量产生单元543使用编码信息缓冲器546中存储的编码信息、存储在DPB 31中的解码视差图像D#2和(另外)视差相关信息(如有必要)，对每种宏块类型(图9)执行产生(下一个)目标块的预测运动矢量的预测运动矢量产生操作。
同时，在预测运动矢量产生操作中，预测运动矢量产生单元543产生(例如)根据视差信息使用预测标准的预测运动矢量PMVD和代表这个预测运动矢量PMVD的预测器标志以及根据MVC标准的预测运动矢量PMVC和代表这个预测运动矢量PMVC的预测器标志。
同时，预测运动矢量产生单元543将预测运动矢量产生过程中得 到的根据视差信息使用预测标准的预测运动矢量PMVD和代表这个预测运动矢量PMVD的预测器标志以及根据MVC标准的预测运动矢量PMVC和代表这个预测运动矢量PMVC的预测器标志作为预测运动矢量信息供应到视差检测单元541和视差补偿单元542，并且进程从步骤S243前进至步骤S244。
在步骤S244中，基于来自MB索引计算单元231的MB索引，视差检测单元541识别画面重排缓冲器212供应的目标图片中的目标块。
另外，针对(下一个)目标块，视差检测单元542执行检测计算视差矢量mv并且计算对这个目标块进行编码时使用的预测运动矢量的(计算出的)视差矢量检测操作。
也就是说，与MVC标准类似，在视差矢量检测操作中，视差检测单元541使用来自DPB 31的解码彩色图像C#1图片作为参考图片对(下一个)目标块执行ME，并且检测代表相对于视点#1的目标块的视差的计算视差矢量mv。
另外，视差检测单元541计算当使用来自预测运动矢量产生单元543的预测运动矢量信息中包括的根据视差信息使用预测标准的预测运动矢量PMVD对目标块进行编码时得到的编码成本(预测运动矢量PMVD的编码成本)COSTD。
此外，视差检测单元541计算当使用来自预测运动矢量产生单元543的预测运动矢量信息中包括的根据MVC标准的预测运动矢量PMVC对目标块进行编码时得到的编码成本(预测运动矢量PMVC的编码成本)COSTC。
进一步地，视差检测单元541从预测运动矢量PMVD和PMVC之中选择可以从其得到编码成本COSTD和COSTC中的较低编码成本的预测运动矢量(最低成本预测运动矢量)作为目标块的预测运动矢量。
此外，视差检测单元541计算残差矢量即目标块的计算视差矢量mv和作为最低成本预测运动矢量的预测运动矢量之差，并且将残差 矢量连同代表这个预测运动矢量(最低成本预测运动矢量)的预测器标志一起供应到视差补偿单元542，并且进程从步骤S244前进至步骤S245。
在步骤S245中，视差补偿单元542用来自视差检测单元541的残差矢量、预测器标志和来自预测运动矢量产生单元543的预测运动矢量信息来恢复目标块的计算视差矢量mv。
另外，视差补偿单元542根据目标块的计算视差矢量mv，使用来自DPB 31的解码彩色图像C#1图片作为参考图片执行MC，产生(下一个)目标块的预测图像。
也就是说，视差补偿单元542获取对应块作为预测图像，所述对应块是从目标块的位置按照计算视差矢量mv位移到达的位置处的解码彩色图像C#1图片的块。
另外，视差补偿单元542将预测图像连同来自视差检测单元541的残差矢量、预测器标志和分配给产生预测图像时使用的参考图片(解码彩色图像C#1图片)一起，供应到成本函数计算单元544，并且进程从步骤S245前进至步骤S246。
在步骤S246中，根据针对每个宏块类型(图9)的预定成本函数，成本函数计算单元544计算对来自画面重排缓冲器212的目标图片的目标块进行编码所需的编码成本，并且将编码成本连同来自视差补偿单元542的参考索引、预测器标志、预测图像和残差矢量一起供应到模式选择单元545，并且进程前进至步骤S247。
在步骤S247中，模式选择单元545检测来自成本函数计算单元544的每种宏块类型的编码成本中的最低成本，即最小值。
另外，模式选择单元545选择可以从其得到最低成本的宏块类型作为最佳帧间预测模式，并且进程从步骤S247前进至步骤S248。
在步骤S248中，模式选择单元545将预测图像和最佳帧间预测模式的编码成本(最低成本)供应到预测图像选择单元224，并且进程前进至步骤S249。
在步骤S249中，模式选择单元545将代表最佳帧间预测模式、 最佳帧间预测模式的参考索引(预测参考索引)、最佳帧间预测模式的残差矢量和最佳帧间预测模式的预测器标志的模式相关信息作为头部信息供应到可变长度编码单元216。
另外，在步骤S249中，模式选择单元545从视差检测单元541获取在最佳帧间预测模式下对目标块进行编码时使用的目标块的计算视差矢量。
此外，模式选择单元545将目标块的计算视差矢量、模式相关信息和预测参考索引作为目标块的编码信息供应到编码信息缓冲器546加以存储，并且进程返回。
图29是用于说明图28中的步骤S243中由图27中的预测运动矢量产生单元543执行的预测运动矢量产生操作的流程图。
在步骤S251中，预测运动矢量产生单元543从编码信息缓冲器546获取彩色图像C#2中的目标块的编码周围彩色块(例如，图26(图3)中的三个周围彩色块CA至CC)的编码信息，并且进程前进至步骤S252。
在步骤S252中，预测运动矢量产生单元543从DPB 31获取解码视差图像D#2图片(与目标图片同时的图片)的位置与目标块的位置相同的块(相同位置块)，并且进程前进至步骤S253。
下文中，在步骤S253至S256中，使用步骤S251中获取的编码信息和步骤S252中获取的位置块(如有必要)，针对每个宏块类型执行产生根据视差信息使用预测标准的预测运动矢量PMVD、代表这个预测运动矢量PMVD的预测器标志以及根据MVC标准的预测运动矢量PMVC和代表这个预测运动矢量PMVC的预测器标志的矢量预测操作，并且进程返回。
也就是说，在步骤S253中，预测运动矢量产生单元543对16×16类型执行矢量预测操作，并且进程前进至步骤S254。
在步骤S254中，预测运动矢量产生单元543对16×8类型执行矢量预测操作，并且进程前进至步骤S255。
在步骤S255中，预测运动矢量产生单元543对8×16类型执行 矢量预测操作，并且进程前进至步骤S256。
在步骤S256中，预测运动矢量产生单元543对8×8类型或更小类型执行矢量预测操作，并且进程返回。
图30是用于说明图29中的步骤S253至S256中由图27中的预测运动矢量产生单元543对每种宏块类型执行的矢量预测操作的流程图。
在步骤S261中，预测运动矢量产生单元543基于如参考图11描述的周围彩色块的编码信息计算根据MVC标准的预测运动矢量PMVC并且产生代表这个预测运动矢量PMVC的预测器标志，并且进程前进至步骤S262。
在步骤S262中，预测运动矢量产生单元543用相同位置块(也就是说，解码视差图像D#2中的位置与目标块的位置相同的块)计算根据视差信息使用预测标准的预测运动矢量PMVD并且产生代表这个预测运动矢量PMVD的预测器标志，并且进程返回。
图31是用于说明图28中的S244中由图27中的视差检测单元541执行的视差矢量检测操作的流程图。
在步骤S271中，视差检测单元541使用来自DBP 31的解码彩色图像C#1图片作为参考图片对目标块执行ME，并且检测目标块的计算视差矢量mv，并且进程前进至步骤S272。
在步骤S272中，视差检测单元541计算当使用来自预测运动矢量产生单元543的预测运动矢量信息中包括的根据MVC标准的预测运动矢量PMVC对目标块进行编码时得到的编码成本(预测运动矢量PMVC的编码成本)COSTC，并且进程前进至步骤S273。
在步骤S273中，视差检测单元541计算当使用来自预测运动矢量产生单元543的预测运动矢量信息中包括的根据视差信息使用预测标准的预测运动矢量PMVD对目标块进行编码时得到的编码成本(预测运动矢量PMVD的编码成本)COSTD，并且进程前进至步骤S274。
在步骤S274中，视差检测单元541判定关于编码成本COSTC 和编码成本COSTD中的哪一个更高的关系。
当在步骤S274中判定编码成本COSTC高于编码成本COSTD时，进程前进至步骤S275，视差检测单元541选择根据视差信息使用预测标准的预测运动矢量作为最低成本预测矢量即目标块的预测运动矢量，并且将预测器标志的值设置为“视差图像模式”，这代表着目标块的预测运动矢量是根据视差信息使用预测标准的预测运动矢量，并且进程返回。
另外，当在步骤S274中判定编码成本COSTC并不高于编码成本COSTD时，进程前进至步骤S276，视差检测单元541选择根据MVC标准的预测运动矢量PMVC作为最低成本预测矢量即目标块的预测运动矢量，并且将预测器标志的值设置为“MVC模式”，这代表着目标块的预测运动矢量是根据MVC标准的预测运动矢量PMVC，并且进程返回。
如上所述，图27中的视差预测单元232产生根据视差信息使用预测标准的预测运动矢量PMVD和根据作为另一个矢量预测标准的MVC标准的预测运动矢量PMVC，计算使用预测运动矢量PMVD和使用预测运动矢量PMVC时对目标块进行编码时所需的编码成本COSTD和COSTC，并且基于编码成本COSTD和COSTC从预测运动矢量PMVD和预测运动矢量PMVC之中选择编码成本较低的预测运动矢量，作为估计为预测精度高并且用于操作目标块的预测运动矢量，使得可以得到使残差矢量具有较低比特率并且预测精度高的预测运动矢量。
另外，残差矢量的比特率降低，使得可以将比特率分配给目标块的残差部分，并且结果，提高了彩色图像C#2解码图像的图像品质。
另外，图27中的视差预测单元232产生代表从预测运动矢量PMVD和PMVC中选择的目标块的预测运动矢量的预测器标志，并且将预测器标志包括在编码数据的头部信息中，使得解码器侧可以容易地基于这个预测器标志计算目标块的预测运动矢量。
同时，预测器标志可以被包括在编码数据的头部信息中或者可以与编码数据分开来提供(发送)。
图32是示出当如图27中所示地构造图12中的视差预测单元232时图21中的视差预测单元462的示例结构的框图。
另外，将为与图22中的组件对应的组件赋予相同的附图标记，并且以下将不再对此进行描述。
图32与图22的共同之处在于，视差预测单元462包括视差补偿单元472。
然而，图32与图22的不同之处在于，视差预测单元462包括预测运动矢量产生单元671作为预测运动矢量产生单元471的替代。
预测运动矢量产生单元671接收存储在DPB 331中的解码视差图像D#2图片的供给，并且从MB索引计算单元461接收MB索引的供给。
另外，预测运动矢量产生单元671从可变长度解码单元442接收视差相关信息(图4)的供给，诸如头部信息中包括的图像拍摄视差矢量d(视点#2图像拍摄视差矢量d2)的最大值dmax和最小值dmin。
此外，预测运动矢量产生单元671接收来自可变长度解码单元442的头部信息中包括的彩色图像C#2中的目标块周围的解码周围彩色块(例如，图26(图3)中的周围彩色块CA至CC)的编码信息和目标块的编码信息的供给。
同时，来自可变长度解码单元442的头部信息中包括的周围彩色块的编码信息包括这个周围彩色块的模式相关信息(宏块类型)和参考索引(预测参考索引)，并且来自可变长度解码单元442的头部信息中包括的目标块的编码信息包括这个目标块的模式相关信息(宏块类型)残差矢量和参考索引(预测参考索引)。
另外，预测运动矢量产生单元671从可变长度解码单元442接收头部信息中包括的目标块的预测器标志的供给。
此外，预测运动矢量产生单元671从视差补偿单元472接收解码 周围彩色块的计算视差矢量的供给。
基于来自MB索引计算单元461的MB索引，预测运动矢量产生单元671识别目标图片中的目标块。
另外，与图27中的预测运动矢量产生单元543类似，预测运动矢量产生单元671使用来自可变长度解码单元442的头部信息中包括预测器标志、视差相关信息和编码信息、存储在DPB 331中的解码视差图像D#2图片和来自视差补偿单元472的周围彩色块的计算视差矢量(如有必要)，产生根据视差信息使用预测标准的预测运动矢量PMVD或者根据MVC标准的预测运动矢量PMVC，并且将预测运动矢量作为目标块的预测运动矢量供应到视差补偿单元472。
也就是说，预测运动矢量产生单元671基于预测器标志识别产生目标块的预测运动矢量的矢量预测标准。
另外，预测运动矢量产生单元671基于目标块的编码信息识别目标块的宏块模式，并且针对这种宏块模式，根据视差信息使用预测标准和MVC标准中的基于预测器标志识别的矢量预测标准，产生目标块的预测运动矢量。
图33是用于说明图23中的步骤S120中由图32中的视差预测单元462执行的视差预测操作的流程图。
在步骤S331中，视差预测单元462从MB索引计算单元461获取(下一个)目标块的MB索引，并且将MB索引供应到预测运动矢量产生单元671。
另外，视差预测单元462获取视差相关信息(图4)，诸如来自可变长度解码单元442的头部信息中包括的图像拍摄视差矢量d(视点#2图像拍摄视差矢量d2)的最大值dmax和最小值dmin，并且将视差相关信息供应到预测运动矢量产生单元671。
此外，视差预测单元462获取来自可变长度解码单元442的头部信息中包括的(下一个)目标块的编码信息(模式相关信息、残差矢量和预测参考索引)和预测器标志并且将编码信息和预测器标志供应到预测运动矢量产生单元671和视差补偿单元472，并且进程从步骤 S331前进至步骤S332。
在步骤S332中，视差预测单元462从DPB 331获取解码视差图像D#2图片(与目标图片同时的图片)并且将该图片供应到预测运动矢量产生单元671，并且进程前进至步骤S333。
在步骤S333中，预测运动矢量产生单元671基于来自MB索引计算单元461的MB索引识别目标图片中的(下一个)目标块。另外，预测运动矢量产生单元671基于预测器标志使用步骤S331和S332中供应的信息，根据视差信息预测标准或MVC标准执行产生目标块的预测运动矢量的预测运动矢量产生操作。
此外，预测运动矢量产生单元671将通过预测运动矢量产生操作得到的目标块的预测运动矢量供应到视差补偿单元472，并且进程从步骤S333前进至步骤S334。
随后，在步骤S334至S337中执行与图24中的步骤S134至S137的操作相同的操作。
图34是用于说明图33中的步骤S333中由图32中的预测运动矢量产生单元671执行的预测运动矢量产生操作的流程图。
在步骤S341中，预测运动矢量产生单元671判定将预测标志的值设置为“视差图像模式”和“MVC模式”中的哪一个。
当在步骤S341中判定预测器标志的值被设置成“视差图像模式”时，进程前进至步骤S342，预测运动矢量产生单元671用解码视差图像D#2产生视差信息使用预测标准(视差信息使用预测器)的预测运动矢量PMVD作为目标块的预测运动矢量，并且进程返回。
另外，当在步骤S341中判定预测器标志的值被设置成“MVC模式”时，进程前进至步骤S343，预测运动矢量产生单元671使用目标块的编码信息、周围彩色块的编码信息和计算视差矢量(如有必要)，如参考图10描述地，产生根据MVC标准的预测运动矢量PMVC作为目标块的预测运动矢量，并且进程返回。
如上所述，图32中的预测运动矢量产生单元671可以基于预测 器标志识别目标块的预测运动矢量是根据视差信息使用预测标准的预测运动矢量PMVD还是根据MVC标准的预测运动矢量PMVC，并且与图22中的预测运动矢量产生单元471相比，运算负荷降低。
另外，尽管编码器12选择根据视差信息使用预测标准的预测运动矢量和根据MVC标准的预测运动矢量中的编码成本较低的预测运动矢量(即最低成本预测运动矢量)作为目标块的预测运动矢量，并且将代表这个最低成本预测运动矢量的预测器标志发送到解码器312，但编码器12可以额外地从根据视差信息使用预测标准的预测运动矢量和一个或多个其它矢量之中选择编码成本最低的矢量作为目标块的预测运动矢量。
也就是说，编码器12可以从根据视差信息使用预测标准的预测运动矢量和周围彩色块CA、CB和CC(图3)(图26)这四个矢量之中，选择编码成本最低的矢量作为目标块的预测运动矢量。
在这种情况下，预测器标志是代表目标块的预测运动矢量是根据视差信息使用预测标准的预测运动矢量和周围彩色块CA、CB和CC这四个矢量中的哪一个的标志。
图35至图37是示出头信息中包括的预测器标志的例子的视图。
如参考图27所描述的，模式选择单元545将预测器标志包括在头部信息中，并且将预测器标志供应到可变长度编码单元216。
可变长度编码单元216将头部信息包括在编码数据的头部中。
图35至图37示出当编码数据是根据MVC(AVC)标准的编码数据时这个头部中包括的预测器标志。
同时，预测器标志可以将宏块设置为最小单位。
另外，预测器标志可以把将目标块划分成等于或大于8×8个像素的分块的宏块类型(以下也被称为8×8或更大类型)的分块设置为最小单位，也就是说，将目标块划分成8×8个像素的分块的宏块类型(8×8类型)、将目标块划分成16×8个像素的分块的宏块类型(16×8类型)和将目标块划分成8×16个像素的分块的宏块类型(8×16类型)。
此外，预测标志可以把将目标块划分成小于8×8个像素分块的分块的宏块类型(以下也被称为小于8×8类型)的分块(子分块)，也就是说，8×4个像素、4×8个像素或4×4个像素的子分块设置为最小单位。
图35是示出以宏块的最小单位设置的预测器标志的视图。
也就是说，图35示出根据MVC标准的mb_pred(mb_type)的语法。
当预测器标志将宏块设置为最小单位时，预测器标志被包括在mb_pred(mb_type)中。
在图35中，mv_pred_mode_10和mv_pred_mode_11指示预测器标志。
另外，在图35中，mv_pred_mode_10是当执行L0预测时使用的预测器标志，并且mv_pred_mode_11是当执行L1预测时使用的预测器标志。
图36是示出将8×8或更大类型的分块设置为最小单位的预测器标志的视图。
也就是说，图36示出根据MVC标准的mb_pred(mb_type)的部分的语法。
当预测器标志将8×8或更大类型的分块设置为最小单位时，预测器标志被包括在mb_pred(mb_type)中。
在图36中，mv_pred_mode_10[mbPartIdx]和mv_pred_mode_11[mbPartIdx]指示预测器标志。
另外，在图36中，mv_pred_mode_10[mbPartIdx]是当执行L0预测时使用的预测器标志，并且mv_pred_mode_11[mbPartIdx]是当执行L1预测时使用的预测器标志。
另外，预测器标志mv_pred_mode_10[mbPartIdx]和mv_pred_mode_11[mbPartIdx]的自变量mbPartIdx是用于区分每个8×8或更大类型的分块的索引。
图37是示出以小于8×8类型的分块的最小单位设置的预测器标 志的视图。
也就是说，图37示出根据MVC标准的sub_mb_pred(mb_type)的部分的语法。
当预测器标志将8×8或更小类型的分块设置为最小单位时，预测器标志被包括在mb_pred(mb_type)和sub_mb_pred(mb_type)中。
当预测器标志将8×8或更小类型的分块设置为最小单位时，包括在mb_pred(mb_type)中的预测器标志如图36中所示，并且图37示出sub_mb_pred(mb_type)中包括的预测器标志。
在图37中，mv_pred_mode_10[mbPartIdx][subMbPartIdx]和mv_pred_mode_11[mbPartIdx][subMbPartIdx]指示预测器标志。
另外，在图37中，mv_pred_mode_10[mbPartIdx][subMbPartIdx]是当执行L0预测时使用的预测器标志，并且mv_pred_mode_11[mbPartIdx][subMbPartIdx]是当执行L1预测时使用的预测器标志。
另外，预测器标志mv_pred_mode_10[mbPartIdx][subMbPartIdx]和mv_pred_mode_11[mbPartIdx][subMbPartIdx]的自变量subMbPartIdx是用于区分每个小于8×8类型的分块的索引。
同时，当预测器标志将宏块设置为最小单位时，可以使编码数据的头部的数据量(开销的数据量)的增大最少。
同时，当预测器标志将小于8×8类型的分块(子分块)设置为最小单位时，可以针对每个小尺寸的分块来控制预测运动矢量，因此提高了预测精度。
另外，当预测器标志将8×8或更大类型的分块设置为最小单位时，可以实现当宏块被设置为最小单位时和当小于8×8类型的分块被设置为最小单位时之间的中间预测精度，同时抑制编码数据的头部的数据量的增大。
[基于视差矢量的偏差程度估计预测精度的方法]
图38是用于说明基于视差矢量的偏差程度估计根据视差信息使用预测标准和MVC标准(中值预测标准)的预测精度的方法的视图。
同时，虽然在图3中基于视差(信息)图像D#2的周围视差块DA至DC和相同位置块DX之间的视差SAD来估计根据视差信息使用预测标准和中值预测标准(MVC标准)的预测精度，并且根据视差信息使用预测标准和中值预测标准之中的估计提供更好预测精度的矢量预测标准来产生预测运动矢量，但可以基于目标块周围的周围彩色块的计算视差矢量的偏差程度来估计根据视差信息使用预测标准和中值预测标准的预测精度。
与图2的A和图3类似，在图38中，在彩色图像C#2中示出背景和矩形前景，矩形前景是在这个背景的前方存在的对象，并且彩色图像C#2目标块CX是矩形前景的左上侧的块。
因此，邻近目标块CX左侧的周围彩色块CA、邻近上侧的周围彩色块CB和邻近对角右上侧的周围彩色块CC都是背景块。
如上所述，当目标块CX是前景块并且周围彩色块CA至CC是背景块时，即使中值预测标准(中值预测器)或SAD最小预测标准(SAD最小预测器)也提供了如参考图2的A描述的预测运动矢量的较差预测精度。
因此，例如，本技术计算分散程度(或标准偏差)作为目标块周围的编码(解码)周围彩色块CA至CC的计算视差矢量的偏差程度。
另外，根据本技术，产生基于分散程度即周围彩色块CA至CC的计算视差矢量的偏差程度根据视差信息使用预测标准(视差信息使用预测器)产生的预测运动矢量和根据另一个矢量预测标准诸如中值预测标准(中值预测器)产生的预测运动矢量之中的估计预测精度高的预测运动矢量作为用于操作目标块CX的预测运动矢量。
也就是说，根据本技术，计算分散程度(以下，也被称为“周围 矢量分散程度”)即周围彩色块CA至CC的计算视差矢量的偏差程度，并且判定分散程度是否是预定阈值或更大。
另外，当周围矢量分散程度不是预定阈值也没有更大时，也就是说，当周围彩色块CA至CC的计算视差矢量之间没有显著差别时，估计根据中值预测标准产生的预测运动矢量和根据中值预测标准(MVC标准)产生的目标块CX的预测运动矢量的预测精度不存在问题。
同时，当周围矢量分散程度是预定阈值或更大时，也就是说，当周围彩色块CA至CC的计算视差矢量的偏差程度显著时，估计根据视差信息使用预测标准产生的预测运动矢量比根据中值预测标准产生的预测运动矢量具有更高的预测精度，并且根据视差信息使用预测标准产生目标块CX的预测运动矢量。
图39是示出当基于编码成本估计预测精度时图12中的视差预测单元232的示例结构的框图。
另外，在图39中，将为与图13中的组件对应的组件赋予相同的附图标记，并且以下将不再对此进行描述。
图39与图13的共同之处在于，视差预测单元232包括视差检测单元241、视差补偿单元242、成本函数计算单元244、模式选择单元245和编码信息缓冲器246。
同时，图39与图13的不同之处在于，视差预测单元232具有预测运动矢量产生单元743作为预测运动矢量产生单元243的替代。
预测运动矢量产生单元743接收存储在DPB 31中的解码视差图像D#2图片的供给，并且从MB索引计算单元231接收MB索引的供给。
另外，预测运动矢量产生单元743接收视差相关信息(图4)的供给，诸如图像拍摄视差矢量d(视点#2图像拍摄视差矢量d2)的最大值dmax和最小值dmin。
此外，预测运动矢量产生单元743从编码信息缓冲器246接收彩色图像C#2中的目标块周围的编码周围彩色块(例如，图38中的周 围彩色块CA至CC)的编码信息的供给。
同时，周围彩色块的编码信息包括当如参考图13描述地将周围彩色块编码为目标块时得到的模式相关信息、计算视差矢量和参考索引(预测参考索引)。
基于来自MB索引计算单元231的MB索引，预测运动矢量产生单元743识别来自画面重排缓冲器212的目标图片中的目标块。
另外，基于来自编码信息缓冲器246的编码信息中的目标块的周围块中的周围彩色块(例如，图38中的周围彩色块CA至CC)的编码信息，预测运动矢量产生单元743产生根据视差信息使用预测标准产生的预测运动矢量和根据MVC标准产生的预测运动矢量之中的估计预测精度高的预测运动矢量作为用于操作目标块的预测运动矢量。
预测运动矢量产生单元743针对每种宏块类型(图9)产生预测运动矢量，并且将预测运动矢量作为预测运动矢量信息供应到视差检测单元241、视差补偿单元242和成本函数计算单元244。
图40是用于说明图15中的步骤S43中由图39中的预测运动矢量产生单元743执行的预测运动矢量产生操作的流程图。
在步骤S451中，预测运动矢量产生单元743从编码信息缓冲器246获取彩色图像C#2中的目标块周围的编码周围彩色块(例如，图38(图3)中的三个周围彩色块CA至CC)的编码信息，并且进程前进至步骤S452。
在步骤S452中，预测运动矢量产生单元743从DPB 31获取解码视差图像D#2图片(与目标图片同时的图片)的位置与目标块的位置相同的块(相同位置块)，并且进程前进至步骤S453。
下文中，在步骤S453至S456中，每种宏块类型经受使用步骤S451和S452中获取的信息(如有必要)产生目标块的预测运动矢量的矢量预测操作，并且进程返回。
也就是说，在步骤S453中，预测运动矢量产生单元743对16×16类型执行矢量预测操作，并且进程前进至步骤S454。
在步骤S454中，预测运动矢量产生单元743对16×8类型执行矢量预测操作，并且进程前进至步骤S455。
在步骤S455中，预测运动矢量产生单元743对8×16类型执行矢量预测操作，并且进程前进至步骤S456。
在步骤S456中，预测运动矢量产生单元743对8×8类型或更小类型执行矢量预测操作，并且进程返回。
图41是用于说明图40中的步骤S453至S456中由图39中的预测运动矢量产生单元743(图39)对每种宏块类型执行的矢量预测操作的流程图。
在步骤S461中，预测运动矢量产生单元743基于编码信息确定彩色图像C#2的目标块周围的周围彩色块(例如，图38中的三个周围彩色块CA至CC)之中的具有匹配目标块的参考索引的参考索引匹配块的数量。
当在步骤S461中判定参考索引匹配块的数量是0时，进程前进至步骤S464，与图13中的预测运动矢量产生单元243类似，预测运动矢量产生单元743根据视差信息使用预测标准用解码视差图像D#2产生目标块的预测运动矢量，并且进程返回。
另外，当在步骤S461中判定参考索引匹配块的数量是1时，进程前进至步骤S465，预测运动矢量产生单元743根据MVC标准产生目标块的预测运动矢量，并且进程返回。
同时，当在步骤S461中判定参考索引匹配块的数量是2或更多(2或3)时，进程前进至步骤S462，预测运动矢量产生单元743计算周围矢量的分散程度即作为目标块周围的周围彩色块(例如，图38中的三个周围彩色块CA至CC)之中的两个或三个参考索引匹配块的计算视差矢量的偏差程度的分散程度，并且进程前进至步骤S463。
在步骤S463中，预测运动矢量产生单元743判定周围矢量分散程度是否是预定阈值或更大。
当在步骤S463中判定周围矢量分散程度是预定阈值或更大时， 目标块和周围彩色块的视差不存在相关性，并且估计根据MVC标准的预测运动矢量的预测精度差，然后进程前进至步骤S464，预测运动矢量产生单元743根据视差信息使用预测标准用解码视差图像D#2产生目标块的预测运动矢量，并且进程返回。
另外，当在步骤S463中判定周围矢量分散程度不是预定阈值或没有更大时，估计根据MVC标准的预测运动矢量的预测精度好，然后进程前进至步骤S465，预测运动矢量产生单元743根据MVC标准产生目标块的预测运动矢量，并且进程返回。
图42是示出当如图39中示出地构造图12中的视差预测单元232时图21中的视差预测单元462的示例结构的框图。
另外，将为与图22中的组件对应的组件赋予相同的附图标记，并且以下将不再对此进行描述。
图42与图22的共同之处在于，视差预测单元462包括视差补偿单元472。
然而，图42与图22的不同之处在于，视差预测单元462包括预测运动矢量产生单元871作为预测运动矢量产生单元471的替代。
预测运动矢量产生单元871接收存储在DPB 331中的解码视差图像D#2图片的供给，并且从MB索引计算单元461接收MB索引的供给。
另外，预测运动矢量产生单元871接收视差相关信息(图4)的供给，诸如来自可变长度解码单元442的头部信息中包括的图像拍摄视差矢量d(视点#2图像拍摄视差矢量d2)的最大值dmax和最小值dmin。
此外，预测运动矢量产生单元871接收来自可变长度解码单元442的头部信息中包括的彩色图像C#2中的目标块周围的解码周围彩色块(例如，图38中的周围彩色块CA至CC)的编码信息和目标块的编码信息的供给。
同时，与图22类似，来自可变长度解码单元442的头部信息中包括的周围彩色块的编码信息包括这个周围彩色块的模式相关信息 (宏块类型)和参考索引(预测参考索引)，并且来自可变长度解码单元442的头部信息中包括的目标块的编码信息包括这个目标块的模式相关信息(宏块类型)、残差矢量和参考索引(预测参考索引)。
另外，预测运动矢量产生单元871从视差补偿单元472接收解码周围彩色块的计算视差矢量的供给。
基于来自MB索引计算单元461的MB索引，预测运动矢量产生单元871识别目标图片中的目标块。
另外，与图39中的预测运动矢量产生单元743类似，预测运动矢量产生单元871使用存储在DPB 331中的解码视差图像D#2图片、视差相关信息、编码信息和来自视差补偿单元472的周围彩色块的计算视差矢量(如有必要)来产生目标块的预测运动矢量，并且将预测运动矢量供应到视差补偿单元472。
也就是说，预测运动矢量产生单元871基于目标块的编码信息识别目标块的宏块模式，并且针对这种宏块模式，产生根据视差信息使用预测标准产生的预测运动矢量和根据MVC标准产生的预测运动矢量之中的被估计为预测精度高的预测运动矢量作为目标块的预测运动矢量。
图43是用于说明图24中的步骤S133中由图42中的预测运动矢量产生单元871执行的预测运动矢量产生操作的流程图。
在步骤S541中，预测运动矢量产生单元871从来自可变长度解码单元442的头部信息获取编码彩色图像C#2周围彩色块(例如，图38中的三个周围块CA至CC)的编码信息，并且进程前进至步骤S542。
在步骤S542中，预测运动矢量产生单元871从DPB 331获取解码视差图像D#2图片(与目标图片同时的图片)的位置与目标块的位置相同的块(相同位置块)，并且进程前进至步骤S543。
在步骤S543中，预测运动矢量产生单元871使用(例如)步骤S541和S542中获取的信息(如有必要)，通过执行与参考图41描述相同的矢量预测操作，针对模块模式(即目标块的编码信息中包括 的模式相关信息所指示的最佳帧间预测模式)产生目标块的预测运动矢量。
另外，预测运动矢量产生单元871将目标块的预测运动矢量供应到视差补偿单元472，并且进程返回。
如上所述，当基于周围矢量分散程度(即彩色图像C#2中的目标块周围的周围彩色块的计算视差矢量的偏差程度)，产生根据视差信息使用预测标准的预测运动视差和根据MVC标准的预测运动矢量之中的被估计为预测精度高的预测运动矢量作为用于操作目标块的预测运动矢量时，周围矢量分散程度使得计算量能够比视差SAD小，从而使得可以更容易地得到与当基于参考图3描述的视差SAD得到预测运动矢量时相比预测精度高的预测运动矢量。
另外，尽管以上已经采用MVC标准(中值预测标准)作为除了视差信息使用预测标准之外的矢量预测标准，但(例如)可以额外采用参考图1和图2描述的SAD最小预测标准作为除了视差信息使用预测标准之外的矢量预测标准。
[对应用本技术的计算机的描述]
接下来，上述一系列操作可以由硬件来执行，并且还可以由软件来执行。在用软件执行一系列操作的情况下，将形成该软件的程序安装在通用计算机等中。
据此，图45示出其中安装了用于执行上述一系列操作的程序的计算机的实施例的示例结构。
程序可以被预先记录在被设置为计算机中的记录介质的硬盘805或ROM 803中。
可供选择地，程序可以被存储(记录)在可移动介质811中。这种可移动介质811可以被设置为所谓的封装软件。这里，例如，可移动介质811可以是软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字万用盘)、磁盘或半导体存储器。
另外，可以将程序从上述的可移动介质811安装到计算机中，但是还可以经由网络或广播网络将程序下载到计算机中并且将程序安装 在内置硬盘805中。也就是说，可以借助用于数字卫星广播的人造卫星将程序从下载站点无线传输至(例如)计算机，或者可以通过电缆经由网络诸如LAN(局域网)或互联网将程序传输至计算机。
计算机包括内置CPU(中央处理单元)802，并且输入/输出接口810经由总线801连接到CPU 802。
当经由输入/输出接口810通过用户操作输入单元807等来输入指令时，CPU 802相应执行ROM(只读存储器)803中存储的程序。可供选择地，CPU 802将存储在硬盘805中的程序下载到RAM(随机存取存储器)804中，并且执行程序。
通过这样做，CPU 802根据上述流程图执行操作，或者用上述框图中示出的结构执行操作。如有必要，例如，CPU 802从输出单元806输出操作结果或者经由输入/输出接口810从通信单元808发送操作结果，并且进一步地将操作结果存储在硬盘805中。
输入单元807由键盘、鼠标、麦克风等形成。输出单元806由LCD(液晶显示器)、扬声器等形成。
在本说明书中，计算机按照程序执行的操作不一定以与流程图中示出的顺序兼容的时间次序来执行。也就是说，将由计算机按照程序执行的操作包括并行或相互独立执行的操作(诸如，并行操作或基于对象的操作)。
程序可以由一个计算机(处理器)来执行，或者可以以分布方式由不止一个计算机来执行。另外，程序可以被传送至远程计算机并且可以在远程计算机中执行。
应该注意，本技术的实施例不限于上述实施例，可以在不脱离本技术的范围的情况下，对这些实施例进行各种修改。
也就是说，本技术不限于使用MVC进行编码和解码。也就是说，当使用预测运动矢量对多个视点图像进行编码和解码时，可以应用本技术。
[电视装置的示例结构]
图46示出应用本技术的电视装置的示意性结构。电视装置900 包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908和外部接口单元909。另外，电视装置900还包括控制单元910、用户接口单元911等。
调谐器902从天线901接收的广播波信号中选择所需频道，并且执行解套。所得的编码位流被输出到解复用器903。
解复用器903从编码位流中提取将观看的演出的视频和音频包，并且将所提取的包的数据输出到解码器904。另外，解复用器903还将数据包诸如EPG(电子节目指南)供应到控制单元910。在执行扰频时，解复用器903等消除了扰频。
解码器904执行包解码操作，并且将通过解码操作产生的视频数据输出到视频信号处理单元905，并且将音频数据输出到音频信号处理单元907。
视频信号处理单元905根据用户设置使视频数据经受去噪和音频处理等。视频信号处理单元905产生将在显示单元906上显示的表演的视频数据，或者通过基于经由网络供应的应用程序的操作，产生图像数据等。另外，视频信号处理单元905还产生用于显示菜单画面等(作为选项)的视频数据，并且将视频数据叠加在演出的视频数据上。基于以此方式产生的视频数据，视频信号处理单元905产生用于驱动显示单元906的驱动信号。
基于来自视频信号处理单元905的驱动信号，显示单元906驱动显示装置(例如，液晶显示元件)来显示演出视频。
音频信号处理单元907使音频数据经受预定处理诸如去噪，并且对处理后的音频数据执行D/A转换操作和放大操作。所得的音频数据被作为音频输出供应到扬声器908。
外部接口单元909是用于与外部装置或网络连接的接口，并且发送和接收数据诸如视频数据和音频数据。
用户接口单元911连接到控制单元910。用户接口单元911由操作开关、远程控制信号接收单元等形成，并且将根据用户操作的操作 信号供应到控制单元910。
控制单元910由CPU(中央处理单元)、存储器等形成。存储器存储将由CPU执行的程序、CPU执行操作必须的各种数据、EPG数据、经由网络得到的数据等。CPU在预定时间比如在开启电视装置900时读取并执行存储器中存储的程序。CPU执行程序以控制各个组件，使得电视装置900按照用户操作来操作。
另外，在电视装置900中，提供总线912，总线912用于将调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元等连接到控制单元910。
在具有这种结构的电视装置中，在解码器904中提供本发明的图像处理装置的功能(图像处理方法)。因此，可以计算被精确预测为视差矢量的预测运动矢量的矢量。
[便携式电话装置的示例结构]
图47示出应用本技术的便携式电话装置的示意性示例结构。便携式电话装置920包括通信单元922、音频编解码器923、相机单元926、图像处理单元927、多路复用/分离单元928、记录/再现单元929、显示单元930和控制单元931。这些组件通过总线933相互连接。
另外，天线921连接到通信单元922，并且扬声器924和麦克风925连接到音频编解码器923。另外，操作单元932连接到控制单元931。
便携式电话装置920以各种模式诸如音频通信模式和数据通信模式执行各种操作，诸如发送和接收音频信号、发送和接收电子邮件和图像数据、拍摄图像和数据记录。
在音频通信模式下，麦克风925产生的音频信号被转换成音频数据，并且用音频编解码器923压缩数据。经压缩数据被供应到通信单元922。通信单元922对音频数据执行调制操作、频率转换操作等，以产生发送信号。另外，通信单元922还将发送信号供应到天线921，并且发送信号被发送到基站(未示出)。此外，通信单元922 还放大天线921接收的信号，并且执行频率转换操作、解调操作等。所得的音频数据被供应到音频编解码器923。音频编解码器923将音频数据解压缩，并且将音频输出转换成模拟音频数据，以输出到扬声器924。
当以通信模式执行邮件发送时，控制单元931接收通过操作单元932的操作而输入的文本数据，并且在显示单元930上显示输入的文本。另外，根据通过操作单元932的用户指令等，控制单元931产生邮件数据并且将邮件数据供应到通信单元922。通信单元922对邮件数据执行调制操作、频率转换操作等，并且从天线921发送所得的发送信号。另外，通信单元922还放大天线921接收的信号，并且执行频率转换操作、解调操作等，以恢复邮件数据。这个邮件数据被供应到显示单元930，并且显示邮件内容。
另外，便携式电话装置920可以致使记录/再现单元929将接收到的邮件数据存储在存储介质中。存储介质是可重写的存储介质。例如，存储介质可以是半导体存储器，诸如RAM或内部闪存存储器、硬盘或可移动介质，诸如磁盘、磁光盘、光盘、USB存储器或存储卡。
当以数据通信模式发送图像数据时，相机单元926产生的图像数据被供应到图像处理单元927。图像处理单元927对图像数据执行编码操作，以产生编码数据。
多路复用/分离单元928通过预定技术多路复用图像处理单元927产生的编码数据和音频编解码器923供应的音频数据，并且将多路复用数据供应到通信单元922。通信单元922对多路复用数据执行调制操作、频率转换操作等，并且从天线921发送所得的发送信号。另外，通信单元922还放大天线921接收的信号，并且执行频率转换操作、解调操作等，以恢复多路复用数据。这个多路复用数据被供应到多路复用/分离单元928。多路复用/分离单元928划分多路复用数据，并且将编码数据供应到图像处理单元927，并且将音频数据供应到音频编解码器923。图像处理单元927对编码数据执行解码操作， 以产生图像数据。这个图像数据被供应到显示单元930，以显示接收到的图像。音频编解码器923将音频数据转换成模拟音频信号，并且将模拟音频信号供应到扬声器924，并且输出接收到的声音。
在具有以上结构的便携式电话装置中，图像处理单元927具有本发明的图像处理装置的功能(图像处理方法)。因此，可以计算被精确预测为视差矢量的预测运动矢量的矢量。
[记录/再现装置的示例结构]
图48示出应用本技术的记录/再现装置的示意性结构。记录/再现装置940例如将接收到的广播演出的音频数据和音频数据记录在记录介质上，并且在有来自用户的指令时将记录的数据提供给用户。另外，记录/再现装置940还可以例如从另一个装置获取音频数据和视频数据，并且将数据记录在记录介质上。此外，记录/再现装置940解码并输出记录介质上记录的音频数据和视频数据，使得显示器装置等可以显示图像并且输出声音。
记录/再现装置940包括调谐器941、外部接口单元942、编码器943、HDD(硬盘驱动)单元944、盘驱动945、选择器946、解码器947、OSD(屏上显示)单元948、控制单元949和用户接口单元950。
调谐器941从天线(未示出)接收的广播信号中接收所需频道。调谐器941解调接收到的所需频道的信号，并且将所得的编码位流输出到选择器946。
外部接口单元942由IEEE1394接口、网络接口单元、USB接口、闪存存储器接口等中的至少一个形成。外部接口单元942是用于与外部装置、网络、存储卡等连接的接口，并且接收数据，诸如将被记录的视频数据和音频数据等。
编码器943对外部接口单元942供应的没有被编码的音频数据和音频数据执行预定编码，并且将经编码位流供应到选择器946。
HDD单元944将内容数据诸如视频和声音、各种程序、其它数据等记录在内部硬盘上，并且在再现等时从硬盘读取数据。
盘驱动945对所安装的光盘执行信号记录和再现。例如，光盘可以是DVD盘(诸如DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)或蓝光(Blu-ray)盘。
选择器946在记录视频和音频时从调谐器941或编码器943选择编码位流，并且将编码位流供应到HDD单元944或盘驱动945。另外，选择器946还在再现视频和音频时将HDD单元944或盘驱动945输出的编码位流供应到解码器947。
解码器947对编码位流执行解码操作。解码器947将通过执行解码操作产生的视频数据供应到OSD单元948。解码器947还输出通过执行解码操作产生的音频数据。
OSD单元948产生用于显示菜单画面等(作为选项)的视频数据，并且将视频数据叠加在解码器947输出的视频数据上。
用户接口单元950连接到控制单元949。用户接口单元950由操作开关、远程控制信号接收单元等形成，并且将根据用户操作的操作信号供应到控制单元949。
控制单元949由CPU、存储器等形成。存储器存储将由CPU执行的程序和CPU执行操作必须的各种数据。CPU在预定时间比如在开启记录/再现装置940时读取并执行存储器中存储的程序。CPU执行程序以控制各个组件，使得记录/再现装置940按照用户操作来操作。
在具有这种结构的记录/再现装置中，在解码器947中提供本发明的图像处理装置的功能(图像处理方法)。因此，可以计算被精确预测为视差矢量的预测运动矢量的矢量。
[成像装置的示例结构]
图49示出应用本技术的成像装置的示意性结构。成像装置960拍摄对象的图像，并且致使显示单元显示对象的图像或者将图像作为图像数据记录在记录介质上。
成像装置960包括光学块961、成像单元962、相机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、 存储单元967、介质驱动器968、OSD单元969和控制单元970。另外，用户接口单元971连接到控制单元970。此外，图像数据处理单元964、外部接口单元966、存储单元967、介质驱动器968、OSD单元969、控制单元970等通过总线972连接。
光学块961由调焦镜头、光阑等形成。光学块961在成像单元962的成像表面上形成对象的光学图像。由于形成有CCD或CMOS图像传感器，成像单元962通过光电转换根据光学图像产生电信号，并且将电信号供应到相机信号处理单元963。
相机信号处理单元963对成像单元962供应的电信号执行各种相机信号处理，诸如拐点校正、伽玛校正和颜色校正。相机信号处理单元963将经受相机信号处理的图像数据供应到图像数据处理单元964。
图像数据处理单元964对相机信号处理单元963供应的图像数据执行编码操作。图像数据处理单元964将通过执行编码操作而产生的编码数据供应到外部接口单元966和介质驱动器968。另外，图像数据处理单元964还对外部接口单元966和介质驱动器968供应的编码数据执行解码操作。图像数据处理单元964将通过解码操作而产生的图像数据供应到显示单元965。图像数据处理单元964还执行操作以将相机信号处理单元963供应的图像数据供应到显示单元965，或者将从OSD单元969获取的显示数据叠加在图像数据上并且将图像数据供应到显示单元965。
OSD单元969产生由符号、字母或图形成的菜单画面和图标的显示数据，并且将数据输出到图像数据处理单元964。
外部接口单元966由例如USB输入/输出端子等形成，并且在执行图像打印时连接到打印机。另外，如有必要，驱动器也连接到外部接口单元966，并且可移动介质诸如磁盘或光盘适当地安装在驱动上。如有必要，安装从这种可移动介质读取的计算机程序。此外，外部接口单元966包括与预定网络诸如LAN或互联网连接的网络接口。控制单元970例如根据来自用户接口单元971的指令从存储器单 元967读取编码数据，并且可以将编码数据从外部接口单元966经由网络供应到与其连接的另一个装置。另外，控制单元970还可以借助外部接口单元966得到经由网络从另一个装置供应的编码数据或图像数据，并且将编码数据或图像数据供应到图像数据处理单元964。
将被介质驱动器968驱动的记录介质可以是可读/可重写的移动介质，诸如磁盘、磁光盘、光盘或半导体存储器。另外，记录介质可以是任何类型的移动介质，并且可以是带装置、盘或存储卡。记录介质当然可以是非接触式IC卡等。
可供选择地，介质驱动器968和记录介质可以被集成，并且可以由不可移动存储介质诸如内部硬盘驱动器或SSD(固态驱动器)形成。
控制单元970由CPU、存储器等形成。存储器存储CPU将执行的程序、CPU执行操作必须的各种数据等。CPU在预定时间比如在开启成像装置960时读取并执行存储器中存储的程序。CPU执行程序以控制各个组件，使得成像装置960根据用户操作来操作。
在具有以上结构的成像装置中，图像数据处理单元964具有本发明的图像处理装置的功能(图像处理方法)。因此，可以计算被精确预测为视差矢量的预测运动矢量的矢量。
附图标记列表
11、12、21、22 编码器、31 DPB、32 多路复用单元、41、42 相机、43 多视点图像信息产生单元、111 A/D转换器、112 画面重排缓冲器、113 算术运算单元、114 正交变换单元、115 量化单元、116 可变长度编码单元、117 蓄积缓冲器、118 逆量化单元、119 逆正交变换单元、120 算术运算单元、121 解块滤波器、122 画面内预测单元、123 帧间预测单元、124 预测图像选择单元、211 A/D转换器、212 画面重排缓冲器、213 算术运算单元、214 正交变换单元、215 量化单元、216 可变长度编码单元、217 蓄积缓冲器、218 逆量化单元、219 逆正交变换单元、220 算术运算单元、221 解块滤 波器、222 画面内预测单元、224 预测图像选择单元、231 MB索引计算单元、232 视差预测单元、241 视差检测单元、242 视差补偿单元、243 预测运动矢量产生单元、244 成本函数计算单元、245 模式选择单元、246编码信息缓冲器、245 模式选择单元、246 编码信息缓冲器、301 分离单元、311、312、321、322 解码器、331 DPB、341 蓄积缓冲器、342 可变长度解码单元、343 逆量化单元、344 逆正交变换单元、345 算术运算单元、346 解块滤波器、347 画面重排缓冲器、348 D/A转换器、349 画面内预测单元、350 帧间预测单元、351 预测图像选择单元、441 蓄积缓冲器、442 可变长度解码单元、443 逆量化单元、444 逆正交变换单元、445 算术运算单元、446解块滤波器、447 画面重排缓冲器、448 D/A转换器、449 画面内预测单元、451 预测图像选择单元、461 MB索引计算单元、462 视差预测单元、471 预测运动矢量产生单元、472 视差补偿单元、541 视差检测单元、542 视差补偿单元、543 预测运动矢量产生单元、544 成本函数计算单元、545 模式选择单元、546 编码信息缓冲器、671、743、871 预测运动矢量产生单元、801 总线、802 CPU、803 ROM、804 RAM、805 硬盘、806 输出单元、807 输入单元、808通信单元、809 驱动器、810 输入/输出接口、811 可移动记录介质。

Claims (10)

1.一种图像处理装置，包括预测运动矢量产生单元，所述预测运动矢量产生单元按照深度信息使用预测标准、根据与第一视点不同的第二视点的深度图像产生视差矢量的预测运动矢量，所述视差矢量代表所述第二视点的彩色图像的操作目标的目标块相对于第一视点的彩色图像的视差，所述第二视点的深度图像包括作为像素值的与所述第二视点的彩色图像的每个像素的视差相关的深度信息，
其中所述预测运动矢量产生单元基于相同位置块和邻近深度块之差，产生被估计为第一预测运动矢量和第二预测运动矢量中的、预测精度高的用于操作所述目标块的预测运动矢量，其中所述相同位置块是与所述第二视点的所述深度图像的目标块相同位置的块，所述邻近深度块是与所述相同位置块相邻的块，
所述预测运动矢量产生单元在与所述相同位置块之差在预定阈值以上的所述邻近深度块的数量为预定数量以上时，按照所述深度信息使用预测标准生成所述预测运动矢量。
2.根据权利要求1所述的图像处理装置，其中所述预测运动矢量产生单元产生预测运动矢量，该预测运动矢量被估计为根据所述深度信息使用预测标准产生的第一预测运动矢量和根据另一个矢量预测标准产生的第二预测运动矢量之中的、预测精度高的用于操作所述目标块的预测运动矢量。
3.根据权利要求1所述的图像处理装置，其中所述预测运动矢量产生单元针对包括参考索引的参考索引匹配块，计算与所述参考索引匹配块的位置相同的所述邻近深度块和所述第二视点的所述深度图像中的所述相同位置块之差，所述参考索引代表产生预测图像时参考的参考图片并且匹配作为所述第二视点的彩色图像中的与所述目标块相邻的块的邻近彩色块中的目标块，并且
基于位置与所述参考索引匹配块的位置相同的所述邻近深度块和所述相同位置块之差，产生被估计为所述第一预测运动矢量和所述第二预测运动矢量之中的、预测精度高的预测运动矢量作为用于操作所述目标块的预测运动矢量。
4.根据权利要求2所述的图像处理装置，其中所述预测运动矢量产生单元基于作为所述第二视点的彩色图像中的与所述目标块相邻的块的邻近彩色块的视差矢量的偏差程度，产生被估计为所述第一预测运动矢量和所述第二预测运动矢量之中、预测精度高的预测运动矢量作为用于操作所述目标块的预测运动矢量。
5.根据权利要求4所述的图像处理装置，其中所述预测运动矢量产生单元
计算包括参考索引的参考索引匹配块的视差矢量的偏差程度，所述参考索引代表产生预测图像时参考的参考图片并且匹配作为所述第二视点的彩色图像中的与所述目标块相邻的块的邻近彩色块中的目标块，并且
基于所述参考索引匹配块的视差矢量的偏差程度，产生被估计为所述第一预测运动矢量和所述第二预测运动矢量之中的、预测精度高的预测运动矢量作为用于操作所述目标块的预测运动矢量。
6.根据权利要求1所述的图像处理装置，还包括：
成本计算单元，按照块类型计算对所述目标块进行编码所需的编码成本，所述块类型代表将所述目标块划分成用于检测视差矢量的分块的模式；以及
选择单元，基于所述编码成本选择对所述目标块进行编码的块类型，
其中，所述预测运动矢量产生单元根据所述深度信息使用预测标准，针对每种块类型产生预测运动矢量。
7.根据权利要求1所述的图像处理装置，其中所述预测运动矢量产生单元
产生根据所述深度信息使用预测标准产生的第一预测运动矢量和根据另一个矢量预测标准产生的第二预测运动矢量，
计算在使用所述第一预测运动矢量的情况下和使用所述第二预测运动矢量的情况下对所述目标块进行编码各自所需的编码成本，并且
基于所述编码成本，选择所述第一预测运动矢量和所述第二预测运动矢量之中被估计为预测精度高的预测运动矢量作为用于操作所述目标块的预测运动矢量；以及
所述图像处理单元还包括输出标志的处理单元，所述标志指示所述第一预测运动矢量和所述第二预测运动矢量中被选择作为用于操作所述目标块的预测运动矢量的预测运动矢量。
8.根据权利要求1所述的图像处理装置，其中所述预测运动矢量产生单元获取标志，所述标志指示根据所述深度信息使用预测标准产生的第一预测运动矢量和根据另一个矢量预测标准产生的第二预测运动矢量中被选择作为用于操作所述目标块的预测运动矢量的预测运动矢量，并且基于所述标志产生所述第一预测运动矢量或所述第二预测运动矢量。
9.根据权利要求1所述的图像处理装置，其中所述预测运动矢量产生单元产生代表用深度信息计算出的视差的矢量的平均值作为根据所述深度信息使用预测标准的预测运动矢量，所述深度信息是相同位置块的像素值，所述相同位置块是与所述第二视点的所述深度图像中的所述目标块处于相同位置的块。
10.一种图像处理方法，包括以下步骤：按照深度信息使用预测标准、根据与第一视点不同的第二视点的深度图像产生视差矢量的预测运动矢量，所述视差矢量代表所述第二视点的彩色图像的操作目标的目标块相对于第一视点的彩色图像的视差，所述第二视点的深度图像包括作为像素值的与所述第二视点的彩色图像的每个像素的视差相关的深度信息，
其中所述图像处理方法还包括：基于相同位置块和邻近深度块之差，产生被估计为第一预测运动矢量和第二预测运动矢量中的、预测精度高的用于操作所述目标块的预测运动矢量，其中所述相同位置块是与所述第二视点的所述深度图像的目标块相同位置的块，所述邻近深度块是与所述相同位置块相邻的块，
其中所述图像处理方法还包括：在与所述相同位置块之差在预定阈值以上的所述邻近深度块的数量为预定数量以上时，按照所述深度信息使用预测标准生成所述预测运动矢量。
CN201280012725.1A 2011-03-18 2012-03-09 图像处理装置和图像处理方法 Active CN103430549B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011061792 2011-03-18
JP2011-061792 2011-03-18
PCT/JP2012/056082 WO2012128068A1 (ja) 2011-03-18 2012-03-09 画像処理装置、画像処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
CN103430549A CN103430549A (zh) 2013-12-04
CN103430549B true CN103430549B (zh) 2017-05-10

Family

ID=46879222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280012725.1A Active CN103430549B (zh) 2011-03-18 2012-03-09 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US9363500B2 (zh)
JP (1) JP6061150B2 (zh)
CN (1) CN103430549B (zh)
WO (1) WO2012128068A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9445092B2 (en) * 2011-03-18 2016-09-13 Sony Corporation Image processing apparatus, image processing method, and program
CN103493493A (zh) * 2011-04-28 2014-01-01 索尼公司 编码装置和编码方法以及解码装置和解码方法
JP6039178B2 (ja) * 2011-09-15 2016-12-07 シャープ株式会社 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
WO2013190814A1 (ja) * 2012-06-22 2013-12-27 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
WO2014010464A1 (ja) * 2012-07-10 2014-01-16 シャープ株式会社 予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成方法、およびプログラム
JP6101067B2 (ja) * 2012-12-12 2017-03-22 日本放送協会 画像処理装置及び画像処理プログラム
US10021414B2 (en) 2013-01-04 2018-07-10 Qualcomm Incorporated Bitstream constraints and motion vector restriction for inter-view or inter-layer reference pictures
EP2945385A4 (en) * 2013-01-08 2016-07-06 Lg Electronics Inc METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL
CN103916652B (zh) * 2013-01-09 2018-01-09 浙江大学 视差矢量生成方法及装置
CN104104933B (zh) * 2013-04-12 2016-12-28 浙江大学 一种视差矢量生成方法及装置
US9595083B1 (en) * 2013-04-16 2017-03-14 Lockheed Martin Corporation Method and apparatus for image producing with predictions of future positions
US10045014B2 (en) * 2013-07-15 2018-08-07 Mediatek Singapore Pte. Ltd. Method of disparity derived depth coding in 3D video coding
CN103546747B (zh) * 2013-09-29 2016-11-23 北京航空航天大学 一种基于彩色视频编码模式的深度图序列分形编码方法
WO2015051498A1 (en) * 2013-10-08 2015-04-16 Mediatek Singapore Pte. Ltd. Methods for view synthesis prediction
CN104581182B (zh) * 2013-10-18 2019-08-16 浙江大学 一种视点合成预测中的深度视差矢量的确定方法和装置
KR20160075705A (ko) 2013-10-25 2016-06-29 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩에서의 해시 기반 블록 매칭
CN105684409B (zh) 2013-10-25 2019-08-13 微软技术许可有限责任公司 在视频和图像编码和解码中使用散列值来表示各块
WO2015085575A1 (en) 2013-12-13 2015-06-18 Mediatek Singapore Pte. Ltd. Methods for background residual prediction
JP6565188B2 (ja) * 2014-02-28 2019-08-28 株式会社リコー 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
US10567754B2 (en) 2014-03-04 2020-02-18 Microsoft Technology Licensing, Llc Hash table construction and availability checking for hash-based block matching
WO2015131326A1 (en) * 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
US9888229B2 (en) * 2014-06-23 2018-02-06 Ricoh Company, Ltd. Disparity estimation for multiview imaging systems
CN105706450B (zh) 2014-06-23 2019-07-16 微软技术许可有限责任公司 根据基于散列的块匹配的结果的编码器决定
CN110582001B (zh) 2014-09-30 2022-10-14 微软技术许可有限责任公司 用于视频编码的基于散列的编码器判定
WO2016056782A1 (ko) 2014-10-08 2016-04-14 엘지전자 주식회사 비디오 코딩에서 뎁스 픽처 코딩 방법 및 장치
JP2017103744A (ja) * 2015-12-04 2017-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置
US10554947B1 (en) * 2015-12-16 2020-02-04 Marvell International Ltd. Method and apparatus for stereo vision matching including disparity refinement based on matching merit values
DE102017103588A1 (de) * 2016-02-24 2017-08-24 Jtekt Corporation Analysevorrichtung und analysesystem
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
JP2017204898A (ja) * 2017-08-24 2017-11-16 シャープ株式会社 画像復号装置
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks
CN113055670B (zh) * 2021-03-08 2024-03-19 浙江裕瀚科技有限公司 一种基于hevc/h.265的视频编码的方法及系统
CN117948988B (zh) * 2024-03-26 2024-06-04 山东大学 地基共视观测确定目标初轨的观测时刻选取方法及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US8644386B2 (en) * 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR100667830B1 (ko) * 2005-11-05 2007-01-11 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
WO2007110000A1 (en) * 2006-03-29 2007-10-04 Huawei Technologies Co., Ltd. A method and device of obtaining disparity vector and its multi-view encoding-decoding
KR101336204B1 (ko) * 2006-08-18 2013-12-03 주식회사 케이티 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들을 압축 또는 복호하는 인코더와 인코딩하는 방법 및디코더와 디코딩하는 방법
CN101222639B (zh) * 2007-01-09 2010-04-21 华为技术有限公司 多视点视频技术中的视间预测方法、编码器和解码器
KR20080066522A (ko) * 2007-01-11 2008-07-16 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
US8953684B2 (en) * 2007-05-16 2015-02-10 Microsoft Corporation Multiview coding with geometry-based disparity prediction
EP3512202A1 (en) * 2008-04-25 2019-07-17 Interdigital VC Holdings, Inc Inter-view skip modes with depth
CN100563339C (zh) * 2008-07-07 2009-11-25 浙江大学 一种利用深度信息的多通道视频流编码方法
KR101625058B1 (ko) * 2008-11-10 2016-05-27 엘지전자 주식회사 시점간 예측을 이용한 비디오 신호 처리 방법 및 장치
CN103647972B (zh) 2008-12-03 2017-04-12 日立麦克赛尔株式会社 运动图像解码方法和运动图像编码方法
ES2524973T3 (es) * 2009-02-23 2014-12-16 Nippon Telegraph And Telephone Corporation Codificación y decodificación de imágenes multivista usando corrección de iluminación y de color localizada
JP2010222819A (ja) 2009-03-23 2010-10-07 Kubota Corp 有孔ブロック
JP2010233135A (ja) * 2009-03-30 2010-10-14 Kddi R & D Laboratories Inc 動画像符号化装置および動画像復号装置
KR20110007928A (ko) * 2009-07-17 2011-01-25 삼성전자주식회사 다시점 영상 부호화 및 복호화 방법과 장치
KR101660312B1 (ko) * 2009-09-22 2016-09-27 삼성전자주식회사 3차원 비디오의 움직임 탐색 장치 및 방법
KR101807886B1 (ko) * 2009-10-14 2017-12-11 돌비 인터네셔널 에이비 깊이 맵 처리를 위한 방법 및 디바이스
CN101729891B (zh) * 2009-11-05 2012-06-20 宁波大学 一种多视点深度视频的编码方法
KR101628383B1 (ko) * 2010-02-26 2016-06-21 연세대학교 산학협력단 영상 처리 장치 및 방법
JP4938884B2 (ja) * 2010-09-30 2012-05-23 シャープ株式会社 予測ベクトル生成方法、画像符号化方法、画像復号方法、予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成プログラム、画像符号化プログラムおよび画像復号プログラム

Also Published As

Publication number Publication date
JPWO2012128068A1 (ja) 2014-07-24
US9363500B2 (en) 2016-06-07
CN103430549A (zh) 2013-12-04
WO2012128068A1 (ja) 2012-09-27
US20130335527A1 (en) 2013-12-19
JP6061150B2 (ja) 2017-01-18

Similar Documents

Publication Publication Date Title
CN103430549B (zh) 图像处理装置和图像处理方法
CN105122812B (zh) 用于三维(3d)视频译码的高级合并模式
US20200351492A1 (en) Encoding method, decoding method, encoding apparatus, decoding apparatus, and encoding and decoding apparatus
CN104539969B (zh) 图像处理装置和图像处理方法
CN104521238B (zh) 用于3d视频编码的装置和方法
CN104956678B (zh) 用于三维视频的高级合并/跳过模式及高级运动向量预测(amvp)模式
CN106471806B (zh) 3d-hevc中的简化移位合并候选者及合并列表导出
CN104769949B (zh) 用于视差向量导出的图片的选择的方法和装置
CN104662909B (zh) 用于3d视频的视图间运动预测
CN105144715B (zh) 后向视图合成预测
CN105379282B (zh) 用于纹理译码的先进残余预测(arp)的方法和设备
CN103416060B (zh) 图像处理装置和方法
CN104247428B (zh) 解码装置和解码方法以及编码装置和编码方法
CN109691106A (zh) 时间运动向量预测符的偏移向量识别
CN104396241B (zh) 图像处理装置和方法
US9445092B2 (en) Image processing apparatus, image processing method, and program
CN103650494B (zh) 图像处理装置及图像处理方法
CN104247427A (zh) 使用分区编码的有效预测
CN103563387A (zh) 图像处理设备和图像处理方法
CN105874799A (zh) 用于3d视频译码的基于块的高级残差预测
WO2012147621A1 (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
CN107241604A (zh) 图像处理设备和方法
US20130336589A1 (en) Image processing apparatus, image processing method, and program
CN107113443A (zh) 影像处理设备和影像处理方法
CN106105190B (zh) 用于3d-hevc的简化高级残余预测

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant