CN104471944A - 图像处理装置和方法 - Google Patents

Abstract

本公开内容涉及能够减少编码/解码的负担的图像处理装置和方法。该图像处理装置包括：控制信息设定单元，该控制信息设定单元用于在对多视点图像进行编码时、在运动预测中设定控制信息以对是否使用基本视图的矢量作为相关视图的预测矢量候选进行控制；IVMP处理单元，该IVMP处理单元用于在根据控制信息将基本视图的矢量设定成用作相关视图的预测矢量候选时执行IVMP处理；列表生成单元，该列表生成单元用于生成当前块的预测矢量候选列表，并且当存在包括基本视图的矢量的候选时，将该候选添加至该列表；以及传送单元，该传送单元用于传送该控制信息。本公开内容适用于图像处理装置。

Description

图像处理装置和方法

技术领域

本公开内容涉及图像处理装置和方法，并且特别涉及能够减少编码和解码的负荷的图像处理装置和方法。

背景技术

近年来，为了信息的高效传送和累积，符合运动图片专家组(MPEG)方案等(其中，以数字方式处理图像信息，并且同时使用特定于该图像信息的冗余通过正交变换比如离散余弦变换等和运动补偿来压缩该图像信息)的装置在广播站等处的信息分发中以及在普通家庭处的信息接收中已变得普遍。

具体地，MPEG2(国际标准化组织(ISO)/国际电工委员会(IEC)13818-2)已被定义为通用图像编码方案，并且MPEG2目前在包括专业人员使用和消费者使用在内的广范围应用中被广泛用作包括以下图像的标准：隔行扫描图像和顺序扫描图像以及标准分辨率图像和高清晰度图像。通过使用MPEG2压缩方案，例如，在具有720×480像素的标准分辨率的隔行扫描图像的情况下，分配4到8Mbps的代码量(比特率)，并且在具有1920×1088像素的高分辨率的隔行扫描图像的情况下，分配18到22Mbps的代码量(比特率)，使得能够实现高压缩率和满意的图像质量。

MPEG2主要意在用于适合广播的高图像质量编码，但是MPEG2与比MPEG1低的比特率(即高的压缩比)的编码方案不兼容。随着移动终端的激增，预期未来对这种编码方案的需求会增大，最终实现了MPEG4编码方案的标准化。图像编码方案的规范在1998年12月被批准为国际标准ISO/IEC 14496-2。

此外，近年来，原用于视频会议的图像编码的H.26L国际电信联盟电信标准化部门(ITU-T)Q6/16视频编码专家组(VCEG)的标准化正在进行。与现有编码方案比如MPEG2和MPEG4相比，H.26L针对编码和解码涉及更大量的计算，但是H.26L实现了更高的编码效率。此外，在MPEG4的活动之中，已基于H.26L引入了不被H.26L支持的功能，并且已将用于实现更高编码效率的标准化实现为增强型压缩视频编码的联合模型。

根据标准化计划表，名称为H.264和MPEG-4部分10(高级视频编码(AVC))的标准在2003年3月变为国际标准。

然而，存在的问题是：对于可能成为下一代编码方案的对象的且被称为超高清(UHD；4000像素×2000像素)的大图像帧，将宏块设定成16像素×16像素不是最佳的。

因此，为了相比于H.264/AVC进一步改进编码效率，联合协作组-视频编码(JCTVC)(其为ITU-T和ISO/IEC的联合标准化组织)目前正在进行被称为高效率视频编码(HEVC)的编码方案的标准化。相对于HEVC标准，2012年2月发布了委员会草案，其为规范的初始草案版本(例如，参见非专利文献1)。

同时，在现有的多视图图像编码中，存在用于将基本视图的运动矢量或视差矢量(MV)设定为针对相关视图的预测矢量(PMV)的候选的视图间运动预测(IVMP)处理。在此IVMP处理中，通过选择在改变了视差量的位置处的块的运动矢量或视差矢量(MV)，可以获得更精确的预测矢量(PMV)。

IVMP工具为用于执行IVMP处理的工具，并且IVMP添加编码在不同视图中的矢量作为针对当前块的预测矢量的一个候选。通过IVMP处理获得的候选矢量被添加至以高级MV预测(AMVP)模式生成的预测矢量的候选列表(称为AMVP列表)的第零个索引。

然而，IVMP工具涉及大量吞吐量，并且从而已考虑了在不使用该工具的情况下执行编码以便于减少负荷的方法(例如，参见非专利文献2)。

引用列表

非专利文献

非专利文献1：Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,Gary J.Sullivan,Thomas Wiegand,“High efficiency video coding(HEVC)text specification draft 6”,JCTVC-H1003ver20,2012年2月17日。

非专利文献2：Yoshiya Yamamoto,Tomohiro Ikai,Tadashi Uchiumi,“3D-CE5.h related:Simplification of AMVP”,JCT2-A0014,JointCollaborative Team on 3D Video Coding Extension Development of ITU-TSG 16WP 3and ISO/IEC JTC 1/SC 29/WG 111st Meeting:Stockholm,SE,2012年7月16日至20日。

发明内容

技术问题

然而，甚至在非专利文献2中陈述的方法中，视图间运动预测(IVMP)工具在解码时操作，并且从而存在解码负荷增加的问题。

鉴于这样的情形作出了本公开内容，并且本公开内容旨在减少编码和解码的负荷。

问题的解决方案

根据本公开内容的一方面，提供了一种图像处理装置，包括：控制信息设定单元，所述控制信息设定单元被配置成：在对多视图图像进行编码时在运动预测中设定控制信息以对是否使用基本视图的矢量作为针对相关视图的预测矢量的候选进行控制；视图间运动预测(IVMP)处理单元，所述IVMP处理单元被配置成在根据由所述控制信息设定单元设定的控制信息将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时执行IVMP处理以将所述基本视图的矢量设定为针对所述相关视图的当前块的预测矢量的候选；列表生成单元，所述列表生成单元被配置成生成针对所述当前块的预测矢量的候选列表，并且当存在由所述IVMP处理单元生成并且包括所述基本视图的矢量的候选时，将所述候选添加至所述列表；以及传送单元，所述传送单元被配置成传送由所述控制信息设定单元设定的控制信息。

还可以包括不可用性设定单元，所述不可用性设定单元被配置成：当根据由所述控制信息设定单元设定的控制信息没有将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时，将所述基本视图的矢量设定成不能够用作所述相关视图的预测矢量。

还可以包括值设定单元，所述值设定单元被配置成：当根据由所述控制信息设定单元设定的控制信息没有将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时，在所述列表中设定预定值来代替包括所述基本视图的矢量的候选。

在所述当前块的当前矢量为运动矢量时，所述值设定单元可以在所述列表中设定所述运动矢量的代表值来代替包括所述基本视图的矢量的候选。

在所述当前块的当前矢量为视差矢量时，所述值设定单元可以在所述列表中设定所述视差矢量的代表值来代替包括所述基本视图的矢量的候选。

所述传送单元还可以传送由所述值设定单元设定的预定值。

所述控制信息设定单元可以针对每个预定数据单位设定所述控制信息，以及所述传送单元可以在与所述预定数据单位相对应的信息中来传送所述控制信息。

所述控制信息设定单元可以针对每个序列或每个片段设定所述控制信息，以及所述传送单元可以在序列参数集合或片段头部中来传送所述控制信息。

所述控制信息设定单元可以针对多级层次化数据单位中的每一者设定所述控制信息，以及所述传送单元可以在与已设定所述控制信息的各个层次级别相对应的信息中来传送所述控制信息。

所述控制信息设定单元可以针对每个序列和每个片段来设定所述控制信息，以及所述传送单元可以在序列参数集合和片段头部中传送所述控制信息。

根据本公开内容的一方面，提供了一种信息处理装置的信息处理方法中的图像处理方法，所述图像处理方法包括：在对多视图图像进行编码时，在运动预测中通过所述信息处理装置设定控制信息以对是否使用基本视图的矢量作为针对相关视图的预测矢量的候选进行控制；当根据所设定的控制信息将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时，通过所述信息处理装置执行视图间运动预测(IVMP)处理以将所述基本视图的矢量设定为针对所述相关视图的当前块的预测矢量的候选；通过所述信息处理装置生成针对所述当前块的预测矢量的候选列表，并且当存在包括所述基本视图的矢量的候选时，将所述候选添加至所述列表；以及通过所述信息处理装置传送所设定的控制信息。

根据本公开内容的另一方面，提供了一种图像处理装置，包括：控制信息获取单元，所述控制信息获取单元被配置成在对多视图图像进行解码时在运动预测中获取控制信息以对是否使用基本视图的矢量作为针对相关视图的预测矢量的候选进行控制；视图间运动预测(IVMP)处理单元，所述IVMP处理单元被配置成当根据由所述控制信息获取单元获取的控制信息将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时执行IVMP处理，以将所述基本视图的矢量设定为针对所述相关视图的当前块的预测矢量的候选；以及列表生成单元，所述列表生成单元被配置成生成针对所述当前块的预测矢量的候选列表，并且当存在由所述IVMP处理单元生成的并且包括所述基本视图的矢量的候选时，将所述候选添加至所述列表。

还可以包括不可用性设定单元，所述不可用性设定单元被配置成：当根据由所述控制信息获取单元获取的控制信息没有将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时，将所述基本视图的矢量设定成不能够用作所述相关视图的预测矢量。

还可以包括值设定单元，所述值设定单元被配置成：当根据由所述控制信息获取单元获取的控制信息没有将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时，在所述列表中设定预定值来代替包括所述基本视图的矢量的候选。

在所述当前块的当前矢量为运动矢量时，所述值设定单元可以在所述列表中设定所述运动矢量的代表值来代替包括所述基本视图的矢量的候选。

在所述当前块的当前矢量为视差矢量时，所述值设定单元可以在所述列表中设定所述视差矢量的代表值来代替包括所述基本视图的矢量的候选。

所述控制信息获取单元还可以获取所述预定值，以及所述值设定单元可以在所述列表中设定由所述控制信息获取单元获取的预定值。

所述控制信息获取单元可以获取下述控制信息：所述控制信息针对每个预定数据单位而设定并且在与所述数据单位相对应的信息中进行传送。

所述控制信息获取单元可以获取下述控制信息：所述控制信息针对多级层次化数据单位中的每一者来设定并且在与已设定了所述控制信息的各个层次级别相对应的信息中进行传送。

根据本公开内容的另一方面，提供了一种图像处理装置的图像处理方法，所述图像处理方法包括：在对多视图图像进行解码时在运动预测中通过所述图像处理装置获取控制信息以对是否使用基本视图的矢量作为针对相关视图的预测矢量的候选进行控制；当根据所获取的控制信息将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时，通过所述图像处理装置执行视图间运动预测(IVMP)处理以将所述基本视图的矢量设定为针对所述相关视图的当前块的预测矢量的候选；以及通过所述图像处理装置生成针对所述当前块的预测矢量的候选列表，并且当存在包括所述基本视图的矢量的候选时，将所述候选添加至所述列表。

根据本公开内容的一方面，在对多视图图像进行编码时在运动预测中，设定控制信息以对是否使用基本视图的矢量作为针对相关视图的预测矢量的候选进行控制。在根据所设定的控制信息将基本视图的矢量设定成用作针对相关视图的预测矢量的候选时，执行视图间运动预测(IVMP)处理以将基本视图的矢量设定为针对相关视图的当前块的预测矢量的候选，从而生成该当前块的预测矢量的候选列表，并且当存在包括基本视图的矢量的候选时，将该候选添加至该列表，并且传送所设定的控制信息。

根据本公开内容的另一方面，在对多视图图像进行解码时在运动预测中，获取控制信息以对是否使用基本视图的矢量作为针对相关视图的预测矢量的候选进行控制。当根据所获取的控制信息将基本视图的矢量设定成用作针对相关视图的预测矢量的候选时，执行IVMP处理以将基本视图的矢量设定为针对相关视图的当前块的预测矢量的候选，从而生成当前块的预测矢量的候选列表，并且当存在包括基本视图的矢量的候选时，将该候选添加至该列表。

本发明的有益效果

根据本公开内容，能够处理图像。特别地，可以减少编码和解码的负荷。

附图说明

图1为示出高级运动矢量预测(AMVP)列表的示例的示意图。

图2为示出AMVP列表的其他的示例的示意图。

图3为示出图像编码装置的主要配置的示例的框图。

图4为示出语法的示例的示意图。

图5为示出编码处理的流程的示例的流程图。

图6为示出AMVP列表生成处理的流程的示例的流程图。

图7为示出AMVP列表生成处理的流程的示例的接续图6的流程图。

图8为示出图像解码装置的主要配置的示例的框图。

图9为示出解码处理的流程的示例的流程图。

图10为示出语法的示例的示意图。

图11为示出语法的示例的示意图。

图12为示出语法的示例的示意图。

图13为示出AMVP列表生成处理的流程的另一示例的流程图。

图14为示出AMVP列表生成处理的流程的示例的接续图13的流程图。

图15为示出计算机的主要配置的示例的框图。

图16为示出电视的示意性配置的示例的框图。

图17为示出移动电话的示意性配置的示例的框图。

图18为示出记录/重现装置的示意性配置的示例的框图。

图19为示出图像捕获装置的示意性配置的示例的框图。

具体实施方式

在后文中，将对用于实现本公开内容的方式(在后文中称为实施方式)进行描述。将按照以下顺序来提供描述。

1.第一实施方式(图像编码装置)

2.第二实施方式(图像解码装置)

3.第三实施方式(高级运动矢量预测(AMVP)列表生成处理的另一示例)

4.第四实施方式(计算机)

5.第五实施方式(示例应用)

<1.第一实施方式>

[视图间运动预测]

在图像编码比如高级视频编码(AVC)和高效率视频编码(HEVC)等中，使用(帧之间)时间方向的相关性来执行运动预测。

作为这种预测处理的处理单元，分层结构的块比如宏块和子宏块在AVC中被定义，而编码单元(CU)在HEVC中被定义。

CU还被称为编码树块(CTB)，并且CU为图片单元中图像的局部区域并且与AVC中的宏块起着相同的作用。后者具有16×16像素的固定尺寸，而前者的尺寸不固定并且从而在每个序列中的图像压缩信息中被指定。

例如，在包含于输出编码数据中的序列参数集合(SPS)中，定义CU的最大尺寸(最大编码单元(LCU))和最小尺寸(最小编码单元(SCU))。

除非CU的尺寸小于SCU的尺寸，否则可以通过将split_flag设定成1来将每个LCU分成较小尺寸的CU。当split_flag的值为“1”时，具有2N×2N的尺寸的CU被分成具有N×N的尺寸的CU，这是层次中更低的一级。

此外，CU被分成预测单元(PU)，该PU为用作用于帧内或帧间预测的处理单元的区域(图片单元中图像的局部区域)，并且CU还被分成变换单元(TU)，该TU为用作用于正交变换的处理单元的区域(图片单元中图像的局部区域)。目前，在HEVC中，除了4×4和8×8正交变换外还可以使用16×16和32×32正交变换。

如上述HEVC中，在定义CU并且在CU的单元中执行各种处理的编码方案的情况下，可以认为在AVC中的宏块对应于LCU。然而，由于CU具有分层结构，所以通常将处于分层结构的最高级别的LCU的尺寸设定成大于AVC的宏块的尺寸，例如，128×128像素。

从现在起，“区域”包括上述区域中的全部区域(或者可以包括上述区域中的任意区域)(例如，宏块、子宏块、LCU、CU、SCU、PU和TU等)。不必说，区域可以包括除上述区域之外的单元，并且适当地排除根据描述而不可用的单元。

同时，在现有编码方案比如HEVC中，通过预测模式之一来执行运动预测。作为预测模式，准备了用于计算当前块的矢量与预测矢量之间的差分矢量并且对该差分矢量进行编码的合并模式和AMVP模式。

而且，在AMVP模式中，空间上或时间上的周围块的矢量成为预测矢量(PMV)的候选，而在对多视图图像进行编码时，另外准备了用于将基本视图的运动矢量或视差矢量(MV)设定为针对相关视图的预测矢量(PMV)的候选的视图间运动预测(IVMP)处理。在此IVMP处理中，通过选择在改变了视差量的位置处的块的运动矢量或视差矢量(MV)，可以获得更精确的预测矢量(PMV)。

IVMP工具为用于执行IVMP处理的工具，并且IVMP工具添加编码在不同视图中的矢量作为针对当前块的预测矢量的一个候选。通过IVMP处理获得的候选矢量被添加至以AMVP模式生成的预测矢量的候选列表(称为AMVP列表)的第零个索引。后续，当前块的空间上的周围块的矢量等(例如与当前块的左侧相邻的块的矢量)和当前块的时间上的周围块(例如，在具有与当前块相同的视图的不同图片中的同位块)的矢量等被添加至AMVP列表作为候选。

而且，比较具有0和1的AMVP列表索引的两个矢量的长度和方向，并且当长度和方向相同时，执行用于选择这两个矢量中任一矢量的修剪处理。

然而，IVMP工具涉及大量吞吐量。因此，优选的是，在不需要IVMP候选矢量时不使用IVMP工具以便于减少编码和解码的负荷。

图1为示出了AMVP列表的配置的示例的示意图。当IVMP不可用时，将后续矢量上移。换句话说，如图1的A所示，将位于当前块左边的块的矢量(来自左空间)设定成索引＝0的矢量，将位于当前块上方的块的矢量(来自上空间)设定成索引＝1的矢量，并且将在具有与当前块相同的视图的不同图片中的同位块的矢量(来自时间运动矢量预测(TMVP))设定成索引＝2的矢量。

另一方面，当IVMP可用时，如图1的B所示，将通过IVMP处理获得的候选矢量(来自IVMP)设定成索引＝0的矢量，将位于当前块左边的块的矢量(来自左空间)设定成索引＝1的矢量，将位于当前块上方的块的矢量(来自上空间)设定成索引＝2的矢量，并且将在具有与当前块相同的视图的不同图片中的同位块的矢量(来自TMVP)设定成索引＝3的矢量。

在此情况下，使用索引为0和1的矢量来执行修剪处理，以比较这两个矢量的长度和方向。当长度和方向相同时，如图1的C所示，从列表中去除通过IVMP处理获得的候选矢量(来自IVMP)，并且将后续矢量上移。

如上所述，由索引＝1指示的矢量根据情形而变化。因此，为了不造成编码侧和解码侧的AMVP列表的不一致，需要在编码时和在解码时以相同序列生成AMVP列表。换句话说，在编码时和在解码时，不管通过IVMP处理获得的矢量是否被设定为候选，均需要使用IVMP工具。因此，存在编码和解码的负荷增加的问题。

因此，非专利文献2已提出了在不使用IVMP工具的情况下执行编码以便于减少编码和解码的负荷的方法。

在此方法中，将通过IVMP处理获得的矢量设定至AMVP列表的索引＝0。甚至在不存在通过IVMP处理获得的矢量时，代替“不可用”而将零矢量设定至索引＝0。这样，不需要确定IVMP的可用性。

而且，从AMVP的候选矢量的修剪处理目标中排除通过IVMP处理获得的候选矢量。换句话说，使用AMVP列表的索引＝1和索引＝2来执行该修剪处理。

特定地，当IVMP不可用时，如图2的A所示，将零矢量设定成索引＝0的矢量。因此，索引＝1一直指示相同的矢量。

另一方面，当IVMP可用时，如图2的B所示，将通过IVMP处理获得的候选矢量设定成索引＝0的矢量。这时，使用索引＝1的矢量和索引＝2的矢量来执行修剪处理，并且从而由索引＝1指示的矢量不受IVMP矢量的值影响。

因此，通过如上所述来设定AMVP列表，由索引＝1指示的矢量与解码时的该矢量相符，即使在编码时忽略IVMP也如此。换句话说，通过将AMVP索引设定成1或更大并且执行编码，可以在编码时跳过IVMP处理。

然而，即使在非专利文献2中陈述的方法的情况下，IVMP工具在解码时仍操作。换句话说，由于解码侧(解码器侧)不知道通常传送1或更大的AMVP索引，所以需要通过操作IVMP工具来创建候选对应于索引＝0的矢量。因此，存在解码的负荷增加的问题。

此外，尽管可以从0起按照升序以少量代码来传送AMVP索引，然而需要传送1或更大的AMVP索引，使得可以在无IVMP处理的情况下执行编码。因此，存在编码效率被非必要地降低的问题。

因此，为了减少解码的负荷以及编码的负荷，并且还为了防止编码效率降低，通过高级语法来传送用于对IVMP工具的使用进行控制的控制信息。

使用例如用于对是否使用IVMP工具进行控制的IVMP使用标记inter_view_mvp_enable_flag来作为控制信息。例如，当IVMP使用标记为1时，使编码侧(编码器)和解码侧(解码器)二者使用IVMP工具，并且当IVMP使用标记为0时，使编码侧(编码器)和解码侧(解码器)均不使用IVMP工具。例如，当IVMP使用标记为0时，通常将IVMP候选矢量设定成不可用。

通过例如用户指令等在编码和解码之前(至少在运动预测之前)在任意定时设定IVMP使用标记。高级语法为例如SPS或片段头部等。

这样，通过将IVMP使用标记设定成0，可以不仅在编码中而且在解码中跳过IVMP处理。因此，可以减少解码的负荷以及编码的负荷。

此外，由于在解码侧(解码器)基于IVMP使用标记的值来创建AMVP列表，所以即使在编码侧(编码器)没有将AMVP索引设定成1或更大时，编码侧(编码器)和解码侧(解码器)的AMVP列表相符。因此，不必将AMVP索引设定成1或更大并且传送该AMVP索引，并且可以防止编码效率的不必要的降低。

[图像编码装置]

图3为示出了作为图像处理装置的图像编码装置的主要配置的示例的框图。

图3所示的图像编码装置100使用如同在例如AVC或HEVC等编码方案中的预测处理来对图像数据进行编码。然而图像编码装置100对包括多个视图的多视图图像进行编码。

如图3所示，图像编码装置100包括模拟/数字(A/D)转换单元101、画面重排缓冲器102、计算单元103、正交变换单元104、量化单元105、可逆编码单元106和累积缓冲器107。而且，图像编码装置100包括逆量化单元108、逆正交变换单元109、计算单元110、环路滤波器111、解码图片缓冲器112、画面内预测单元114、运动预测和补偿单元115、预测图像选择单元116和基本视图编码器121。

A/D转换单元101对输入图像数据进行A/D转换并且将转换后的图像数据(数字数据)提供至画面重排缓冲器102，并且使该图像数据被存储。画面重排缓冲器102按照根据图片组(GOP)进行编码的帧顺序对所存储的与显示顺序相对应的图像帧进行重排，并且画面重排缓冲器102将其中帧顺序已被重排的图像连同该图像的视图标识符(ID)和图片顺序计数(POC)提供至计算单元103。

而且，画面重排缓冲器102还将其中帧顺序已被重排的图像连同该图像的视图ID和POC提供至画面内预测单元114以及运动预测和补偿单元115。这里，视图ID为用于标识视点的信息，以及POC为用于标识时刻的信息。

计算单元103从自画面重排缓冲器102读出的图像中减去经由预测图像选择单元116从画面内预测单元114或者运动预测和补偿单元115提供的预测图像，并且该计算单元103将该预测图像与该图像之间的差信息输出至正交变换单元104。

例如，在对图像执行帧内编码——该帧内编码为使用画面内预测(帧内预测)的编码——的情况下，计算单元103从自画面重排缓冲器102读出的图像中减去从画面内预测单元114提供的预测图像。而且，例如，在对图像执行帧间编码——该帧间编码为使用画面间预测(帧间预测)的编码——的情况下，计算单元103从自画面重排缓冲器102读出的图像中减去从运动预测和补偿单元115提供的预测图像。

正交变换单元104对从计算单元103提供的差信息进行正交变换比如离散余弦变换或者卡-洛变换(Karhunen-Loeve transform)。用于正交变换的方法为任意的。正交变换单元104将正交变换的变换系数提供至量化单元105。

量化单元105对从正交变换单元104提供的变换系数进行量化。量化单元105基于与代码量的目标值相关的信息来设定量化参数，并且执行量化。用于量化的方法为任意的。量化单元105将量化的变换系数提供至可逆编码单元106。

可逆编码单元106使用任意的编码方案对在量化单元105处量化的变换系数进行编码。而且，可逆编码单元106从画面内预测单元114获取包括指示帧内预测模式等的信息在内的帧内预测信息，并且从运动预测和补偿单元115获取包括指示帧间预测模式和运动视差矢量信息等的信息在内的帧间预测信息。此外，可逆编码单元106获取在环路滤波器111处使用的滤波系数等。

可逆编码单元106使用任意的编码方案对各种信息进行编码，并且将该信息设定(复用)为编码数据的头部信息的一部分。可逆编码单元106将通过编码而获得的编码数据提供至累积缓冲器107，并且使该编码数据被累积。

引用例如可变长度编码或者算术编码等作为可逆编码单元106的编码方案。引用例如在H.264/AVC方案中定义的上下文自适应可变长度编码(CAVLC)等作为可变长度编码。引用例如上下文自适应二进制算术编码(CABAC)等作为算术编码。

累积缓冲器107临时保持从可逆编码单元106提供的编码数据。累积缓冲器107在预定定时将所保持的编码数据输出至例如在附图没有示出的后续阶段中的传送路径或者记录装置(记录介质)等。换句话说，将各种编码信息提供至解码侧。

还将在量化单元105处量化的变换系数提供至逆量化单元108。逆量化单元108使用与由量化单元105执行的量化相对应的方法对所量化的变换系数进行逆量化。用于逆量化的方法可以为与量化单元105的量化处理相对应的任何方法。逆量化单元108将所获得的变换系数提供至逆正交变换单元109。

逆正交变换单元109使用与正交变换单元104的正交变换处理相对应的方法对从逆量化单元108提供的变换系数执行逆正交变换。用于逆正交变换的方法可以为与正交变换单元104的正交变换处理相对应的任何方法。将经过逆正交变换的输出(局部恢复的差信息)提供至计算单元110。

计算单元110通过将经由预测图像选择单元116从画面内预测单元114或者运动预测和补偿单元115提供的预测图像加到从逆正交变换单元109提供的逆正交变换结果即局部恢复的差信息来获得局部重构图像(后文中称为重构图像)。将重构图像提供至环路滤波器111。

环路滤波器111包括去块滤波器和自适应环路滤波器等，并且适当地对从计算单元110提供的解码图像执行滤波处理。例如，环路滤波器111通过对解码图像执行去块滤波处理来去除解码图像的块失真。而且，例如，环路滤波器111使用维纳(Wiener)滤波器对去块滤波处理的结果(去除了块失真的解码图像)执行环路滤波处理，从而改进图像质量。

此外，环路滤波器111可以对解码图像执行任意滤波处理。而且，环路滤波器111可以根据需要将信息比如在滤波处理中使用的滤波系数等提供至可逆编码单元106，并且使该信息被编码。

环路滤波器111将滤波处理结果(后文中称为解码图像)提供至解码图片缓冲器112。而且，环路滤波器111将从计算单元110提供的重构图像提供至画面内预测单元114。

解码图片缓冲器112存储从环路滤波器111提供的每个解码图像。而且，解码图片缓冲器112存储该图像的视图ID和POC。

在预定定时或基于来自外部比如运动预测和补偿单元115等的请求，解码图片缓冲器112将所存储的解码图像(以及该图像的视图ID和POC)提供至运动预测和补偿单元115。

当从环路滤波器111获取位于处理目标区域(当前块)附近的周围区域(周围块)的图像时，画面内预测单元114基本上使用预测单元(PU)作为处理单元来执行生成预测图像的帧内预测。画面内预测单元114以预先准备的多个模式(帧内预测模式)来执行帧内预测。

画面内预测单元114以用作候选的所有帧内预测模式来生成预测图像，使用从画面重排缓冲器102提供的输入图像来评价各个预测图像的代价函数值，并且选择最佳模式。在选择最佳帧内预测模式时，画面内预测单元114将以最佳模式生成的预测图像提供至预测图像选择单元116。

而且，画面内预测单元114适当地将包括与帧内预测相关的信息比如最佳帧内预测模式等在内的帧内预测信息提供至可逆编码单元106，并且使该帧内预测信息被编码。

基本视图编码器121对多视图图像的基本视图进行编码。基本视图编码器121将基本视图的解码图像提供至解码图片缓冲器112并且使解码图像被存储。在解码图片缓冲器112中，进一步存储从环路滤波器111提供的非基本视图的解码图像。

基本视图编码器121将基本视图的运动信息提供至运动预测和补偿单元115。

运动预测和补偿单元115使用从解码图片缓冲器112获取的解码图像和从基本视图编码器121获取的基本视图的运动信息来执行帧间预测(运动预测和视差预测)。

运动预测和补偿单元115根据检测的矢量(运动矢量或者视差矢量)来执行补偿处理并且生成预测图像(帧间预测图像信息)。运动预测和补偿单元115以预先准备的多个模式(帧间预测模式)来执行这种帧间预测(画面间预测)。

运动预测和补偿单元115以用作候选的所有帧间预测模式来生成预测图像，评价各个预测图像的代价函数值，并且选择最佳模式。在选择最佳帧间预测模式时，运动预测和补偿单元115将以最佳模式生成的预测图像提供至预测图像选择单元116。

而且，运动预测和补偿单元115将包括与帧间预测相关的信息比如最佳帧间预测模式等在内的帧间预测信息提供至可逆编码单元106，并且使该帧间预测信息被编码。

预测图像选择单元116选择被提供至计算单元103和计算单元110的预测图像的提供源。例如，在帧内编码的情况下，预测图像选择单元116选择画面内预测单元114作为预测图像的提供源，并且将从画面内预测单元114提供的预测图像提供至计算单元103和计算单元110。而且，例如，在帧间编码的情况下，预测图像选择单元116选择运动预测和补偿单元115作为预测图像的提供源，并且将从运动预测和补偿单元115提供的预测图像提供至计算单元103和计算单元110。

[IVMP处理控制]

如上所述，准备AMVP模式作为一种帧间预测模式。在AMVP模式下，如上所述，图像编码装置100设定IVMP使用标记作为用于对IVMP工具的使用进行控制的控制信息，基于该IVMP使用标记来执行AMVP模式的处理，并且将该IVMP使用标记传送至解码侧。

可逆编码单元106设定IVMP使用标记。能够基于任意信息来设定该IVMP使用标记。例如，可逆编码单元106基于从外部提供的信息比如用户指令等来设定IVMP使用标记。

可逆编码单元106可以针对每个任意数据单位来对IVMP工具的使用进行控制。换句话说，可逆编码单元106可以针对每个任意数据单位设定IVMP使用标记。而且，可逆编码单元106可以针对多级层次化数据单位中的每一者来对IVMP工具的使用进行控制。换句话说，可逆编码单元106可以针对该多级层次化数据单位来设定这些IVMP使用标记。

可逆编码单元106将所设定的IVMP使用标记提供至累积缓冲器107，并且使所设定的IVMP使用标记被传送至解码侧(解码器)。可逆编码单元106将该IVMP使用标记包括在例如图像编码装置100通过对图像进行编码而生成的编码数据的比特流中，并且使该IVMP使用标记被传送至解码侧。

这时，可逆编码单元106可以传送针对每个预定数据单位设定的且在与该数据单位相对应的信息中的IVMP使用标记。图4的A示出了SPS的语法的示例。例如，作为图4的A所示出的示例，可逆编码单元106可以针对每个序列设定IVMP使用标记，可以将所设定的IVMP使用标记sps_inter_view_mvp_enable_flag包括在SPS中，并且可以使IVMP使用标记被传送。

在此情况下，在AMVP模式的处理中，运动预测和补偿单元115从可逆编码单元106获取包括作为处理目标的当前块在内的序列的SPS的IVMP使用标记sps_inter_view_mvp_enable_flag，并且基于该IVMP使用标记sps_inter_view_mvp_enable_flag的值来对作为处理目标的当前块的IVMP处理的执行进行控制。

换句话说，当IVMP使用标记sps_inter_view_mvp_enable_flag的值为1时，运动预测和补偿单元115操作IVMP工具并且执行IVMP处理。当存在通过IVMP处理获得的候选矢量时，运动预测和补偿单元115将该候选矢量添加至AMVP列表的索引＝0的矢量。而且，当不存在候选矢量时，运动预测和补偿单元115搜索当前块的空间周围块和时间周围块的矢量，而不将通过IVMP处理获得的候选矢量添加至AMVP列表。

另一方面，当IVMP使用标记sps_inter_view_mvp_enable_flag的值为0时，运动预测和补偿单元115在没有操作IVMP工具即没有执行IVMP处理的情形下，将来自IVMP的矢量设定为不可用。换言之，运动预测和补偿单元115搜索当前块的空间周围块和时间周围块的矢量，而无需将通过IVMP处理所获得的候选矢量添加至AMVP列表。

这样，通过传送IVMP使用标记，可以基于该IVMP使用标记在编码侧和解码侧二者以相同方式来控制IVMP处理。因此，通过将IVMP使用标记设定成0，图像编码装置100可以不仅使编码侧而且使解码侧能够生成AMVP列表，而无需操作IVMP工具(跳过IVMP处理)。换句话说，图像编码装置100不仅能够减少编码的负荷而且能够减少解码的负荷。

此外，在不将AMVP索引设定成1或更大并且传送该AMVP索引的情况下，可以基于IVMP使用标记在编码侧和解码侧二者以相同方式控制IVMP处理，并且从而图像编码装置100能够改进编码效率。

图4的B示出了片段头部的语法的示例。例如，作为图4的B所示出的示例，当针对每个序列的IVMP使用标记sps_inter_view_mvp_enable_flag为1时，可逆编码单元106可以进一步针对每个片段设定IVMP使用标记pic_inter_view_mvp_enable_flag，可以将针对每个片段所设定的IVMP使用标记包括在片段头部slice_header中，并且可以使该IVMP使用标记被传送。

在此情况下，在AMVP模式的处理中，运动预测和补偿单元115从可逆编码单元106获取包括作为处理目标的当前块在内的序列的SPS的IVMP使用标记sps_inter_view_mvp_enable_flag和包括该当前块在内的片段的片段头部slice_header的IVMP使用标记pic_inter_view_mvp_enable_flag，并且基于该IVMP使用标记sps_inter_view_mvp_enable_flag和pic_inter_view_mvp_enable_flag的值来对该当前块的IVMP处理的执行进行控制。

这样，通过针对多级层次化数据单位设定IVMP使用标记，图像编码装置100能够更适应地对IVMP处理的执行进行控制。

在图4中，已描述了针对每个序列和每个片段来设定IVMP使用标记，然而可以仅针对每个片段来设定IVMP使用标记。在此情况下，IVMP使用标记仅被存储在片段头部中。

如上所述，可以针对每个任意数据单位来设定IVMP使用标记。因此，除图4所示出的序列和片段之外，可以针对每个数据单位来设定IVMP使用标记。例如，可以针对每个图片和每个块(LCU、CU、PU或TU等)来设定IVMP使用标记。而且，其中针对多个层次级别来设定IVMP使用标记的情况不限于图4的示例。例如，可以针对每个序列和每个图片来设定IVMP使用标记。而且，例如，可以针对每个序列、每个图片和每个片段来设定IVMP使用标记。

以上已描述了将IVMP使用标记包括在与该IVMP使用标记的设定数据单位相对应的信息中，然而可以将IVMP使用标记存储在比特流中的任意位置处。例如，可以将针对每个片段所设定的IVMP使用标记以整合方式存储在SPS中。然而，在此情况下，需要指定每个IVMP使用标记对应于哪条数据。

以上已描述了，在IVMP使用标记为1时使用IVMP工具而在IVMP使用标记为0时不使用该IVMP工具来执行控制，然而作为用于执行IVMP处理的控制信息的、IVMP使用标记的值是任意的。例如，可以在IVMP使用标记为0时使用IVMP工具而在IVMP使用标记为1时不使用该IVMP工具来执行控制。不必说，控制信息可以为多个比特的信息。

[编码处理的流程]

接下来，将描述通过上述图像编码装置100执行的每个处理的流程。首先，参照图5的流程图，将描述编码处理的流程的示例。

当开始编码处理时，在步骤S101中，可逆编码单元106基于例如用户指令等来设定IVMP使用标记。

在步骤S102中，A/D转换单元101对输入图像进行A/D转换。在步骤S103中，画面重排缓冲器102存储经A/D转换的图像并且将各个图片的显示顺序重排至编码顺序。

在步骤S104中，画面内预测单元114执行帧内预测处理。在步骤S105中，运动预测和补偿单元115执行帧间运动预测处理。在步骤S106中，预测图像选择单元116选择通过帧内预测生成的预测图像和通过帧间预测生成的预测图像中的任一者。

在步骤S107中，计算单元103计算在步骤S103的处理中重排的图像与在步骤S106的处理中选择的预测图像之间的差(生成差图像)。所生成的差图像与原始图像相比具有减少的数据量。因此，与按原样对图像进行编码的情况相比，可以压缩数据量。

在步骤S108中，正交变换单元104对在步骤S107的处理中生成的差图像执行正交变换。特定地，执行正交变换比如离散余弦变换或者卡-洛变换等，并且输出正交变换系数。在步骤S109中，量化单元105对在在步骤S108的处理中获得的正交变换系数进行量化。

以下述方式对在步骤S109的处理中量化的差图像进行局部解码。也就是说，在步骤S110中，逆量化单元108根据与量化单元105的特性相对应的特性来对在步骤S109的处理中生成并且量化的正交变换系数(也称为量化系数)进行逆量化。在步骤S111中，逆正交变换单元109根据与正交变换单元104的特性相对应的特性来对在步骤S110的处理中获得的正交变换系数执行逆正交变换。这样，恢复了差图像。

在步骤S112中，计算单元110将在步骤S106中选择的预测图像与在步骤S111中生成的差图像相加，并且生成已被局部解码的解码图像(重构图像)。在步骤S113中，环路滤波器111对在步骤S112的处理中获得的重构图像执行包括去块滤波处理和自适应环路滤波处理等在内的环路滤波处理，并且生成解码图像。

在步骤S114中，解码图片缓冲器112存储在步骤S113的处理中生成的解码图像。

在步骤S115中，可逆编码单元106对在步骤S109的处理中量化的正交变换系数进行编码。换句话说，对差图像执行可逆编码，比如可变长度编码或者算术编码等。而且可逆编码单元106对与预测相关的信息、与量化相关的信息和与滤波处理相关的信息等进行编码，并且将编码信息添加至比特流。

此外，可逆编码单元106将在步骤S101中设定的IVMP使用标记存储在预定位置例如SPS或片段头部等处。

在步骤S116中，累积缓冲器107累积在步骤S115的处理中获得的比特流。适当地读出在累积缓冲器107中累积的编码数据，并且将其经由传送路径或记录介质传送至解码侧。

在步骤S117中，量化单元105基于在步骤S116的处理中在累积缓冲器107中累积的编码数据的代码量(所生成的代码的量)来对量化操作的速率进行控制，使得不发生溢出和下溢。

当结束步骤S117的处理时，结束编码处理。

[AMVP列表生成处理的流程]

接下来，将参照图6和图7的流程图来对图5的步骤S105所执行的帧间运动预测处理中执行的AMVP列表生成处理的流程进行描述。

当开始AMVP列表生成处理时，在步骤S131中，运动预测和补偿单元115参照通过可逆编码单元106设定的IVMP使用标记。

在步骤S132中，运动预测和补偿单元115基于在步骤S131中参照的IVMP使用标记的值来确定是否使用IVMP工具。例如，当IVMP使用标记的值为1并且确定出使用IVMP工具时，该过程进行至步骤S133。

在步骤S133中，运动预测和补偿单元115使用IVMP工具来执行IVMP处理，并且根据IVMP获取候选矢量。

在步骤S134中，运动预测和补偿单元115确定是否存在在步骤S133的处理中获得的来自IVMP的候选矢量。

当确定出存在候选矢量时，该过程进行至步骤S135。在步骤S135中，运动预测和补偿单元115将在步骤S133的处理中获得的候选矢量添加至AMVP列表的索引＝0。

当结束步骤S135的处理时，该过程进行至步骤S137。而且，当在步骤S134中确定出不存在候选矢量时，该过程进行至步骤S137。

例如，当IVMP使用标记的值为0并且在步骤S132中确定出不使用IVMP工具时，该过程进行至步骤S136。在步骤S136中，运动预测和补偿单元115将来自IVMP的矢量设定成不可用。当结束步骤S136的处理时，该过程进行至步骤S137。

在步骤S137中，运动预测和补偿单元115根据在空间中左位置处的块(来自左空间)来获取候选矢量。

在步骤S138中，运动预测和补偿单元115确定是否存在空间中左位置处的块的候选矢量。

当确定出存在候选矢量时，该过程进行至步骤S139。在步骤S139中，运动预测和补偿单元115将该候选矢量添加至AMVP列表。

当结束步骤S139的处理时，该过程进行至步骤S140。而且，当在步骤S138中确定出不存在在空间中左位置处的块的候选矢量时，该过程进行至步骤S140。在步骤S140中，运动预测和补偿单元115根据在空间中上位置处的块(来自上空间)获取候选矢量。

当结束步骤S140的处理时，该过程进行至图7的步骤S151。

在图7的步骤S151中，运动预测和补偿单元115确定是否存在在空间中上位置处的块的候选矢量。

当确定出存在候选矢量时，该处理进行至步骤S152。在步骤S152中，运动预测和补偿单元115将该候选矢量添加至AMVP列表。

当结束步骤S152的处理时，该处理进行至步骤S153。在步骤S153中，运动预测和补偿单元115确定列表中元素的数目是否为三。

当列表中元素的数目为三时，该过程进行至步骤S154。在步骤S154中，运动预测和补偿单元115对左位置处和右位置处的矢量执行修剪处理。

当结束步骤S154的处理时，该过程进行至步骤S155。而且，当在步骤S153中确定出列表中元素的数目不是三时，该过程进行至步骤S155。此外，当在步骤S151中确定出不存在在空间中上位置处的块的候选矢量时，该过程进行至步骤S155。

在步骤S155中，运动预测和补偿单元115使用在具有与当前块相同的视图的不同图片中的同位块的矢量作为候选来执行TMVP处理，并且获取来自TMVP的候选矢量(来自TMVP)。

在步骤S156中，运动预测和补偿单元115确定是否存在TMVP候选矢量。

当确定出存在候选矢量时，该过程进行至步骤S157。在步骤S157中，运动预测和补偿单元115将该候选矢量添加至AMVP列表。

当结束步骤S157的处理时，结束AMVP列表生成处理。而且，当在步骤S156中确定出不存在候选矢量时，结束AMVP列表生成处理。

运动预测和补偿单元115使用如上所述而生成的AMVP列表来搜索预测矢量。这样，运动预测和补偿单元115可以根据IVMP使用标记的值来对IVMP处理的执行进行控制。换句话说，通过如上所述来执行每个处理，图像编码装置100不仅能够减少编码的负荷而且能够减少解码的负荷，并且还能够改进编码效率。

<2.第二实施方式>

[图像解码装置]

接下来，将对解码侧(解码器)进行描述。图8为示出作为图像处理装置的图像解码装置的主要配置的示例的框图。图8所示的图像解码装置300为与图3的图像编码装置100相对应的装置。换句话说，图像解码装置300使用与图像编码装置100的编码方法相对应的解码方法对图像编码装置100通过对多视图图像进行编码而生成的编码数据(比特流)进行解码，并且获得多视点的解码图像。

如图8所示，图像解码装置300包括累积缓冲器301、可逆解码单元302、逆量化单元303、逆正交变换单元304、计算单元305、环路滤波器306、画面重排缓冲器307和D/A转换单元308。而且，图像解码装置300包括解码图片缓冲器309、画面内预测单元311、运动补偿单元312和选择单元313。

此外，图像解码装置300包括基本视图解码器321。

累积缓冲器301累积所接收的编码数据，并且在预定定时将该编码数据提供至可逆解码单元302。可逆解码单元302使用与可逆编码单元106的编码方案相对应的方案来对已由图3的可逆编码单元106编码的并且由累积缓冲器301提供的信息进行解码。可逆解码单元302将通过解码所获得的差图像的量化系数数据提供至逆量化单元303。

此外，参照与通过对编码数据进行解码而获得的与最佳预测模式相关的信息，可逆解码单元302确定是帧内预测模式已被选择为最佳预测模式还是帧间预测模式已被选择为最佳预测模式。基于确定的结果，可逆解码单元302将与最佳预测模式相关的信息提供至画面内预测单元311或者运动补偿单元312。换句话说，例如，当在图像编码装置100中已将帧内预测模式选择为最佳预测模式时，将作为与最佳预测模式相关的信息的帧内预测信息等提供至画面内预测单元311。而且，例如，当在图像编码装置100中已将帧间预测模式选择为最佳预测模式时，将作为与最佳预测模式相关的信息的帧间预测信息等提供至运动补偿单元312。

逆量化单元303使用与图3的量化单元105的量化方案相对应的方案来对已由可逆解码单元302通过解码而获得的量化系数数据执行逆量化，并且将所获得的系数数据提供至逆正交变换单元304。逆正交变换单元304使用与图3的正交变换单元104的正交变换方案相对应的方案来对从逆量化单元303提供的系数数据执行逆正交变换。通过逆正交变换处理，逆正交变换单元304获得与在图像编码装置100中尚未对其执行正交变换的差图像相对应的差图像。

将通过逆正交变换而获得的差图像提供至计算单元305。而且，将预测图像从画面内预测单元311或者运动补偿单元312经由选择单元313提供至计算单元305。

计算单元305将差图像与预测图像相加，并且获得与以下图像相对应的重构图像：图像编码装置100的计算单元103尚未从该图像减去预测图像。计算单元305将重构图像提供至环路滤波器306。

环路滤波器306对所提供的重构图像适当地执行包括去块滤波处理和自适应环路滤波处理等在内的环路滤波处理，并且生成解码图像。例如，环路滤波器306通过对重构图像执行去块滤波处理来去除块失真。而且，例如，环路滤波器306使用维纳滤波器来对去块滤波处理的结果(已从其中去除了块失真的重构图像)执行环路滤波处理，从而改进图像质量。

由环路滤波器306执行的滤波处理的类型为任意的，并且还可以执行除上述之外的滤波处理。此外，环路滤波器306可以使用从图3的图像编码装置100提供的滤波系数来执行滤波处理。

环路滤波器306将作为滤波处理结果的解码图像提供至画面重排缓冲器307和解码图片缓冲器309。而且，环路滤波器306在不执行滤波处理的情况下将计算单元305的输出(重构图像)提供至画面内预测单元311。例如，画面内预测单元311使用图像中包括的像素的像素值作为周围像素的像素值。

画面重排缓冲器307对所提供的解码图像进行重排。换句话说，按照原始显示顺序重排由图3的画面重排缓冲器102以编码顺序而重排的帧顺序。D/A转换单元308对从画面重排缓冲器307提供的解码图像进行D/A转换，并且将经D/A转换的解码图像输出至附图中没有示出的显示器，并且使该经D/A转换的解码图像被显示。

解码图片缓冲器309存储所提供的解码图像(以及该图像的视图ID和POC)。而且，解码图片缓冲器309在预定定时或基于来自外部比如画面内预测单元311或者运动补偿单元312等的请求将所存储的解码图像(以及该图像的视图ID和POC)提供至运动补偿单元312。

画面内预测单元311执行与图3的画面内预测单元114基本上相同的处理。然而，画面内预测单元311仅对已在编码时通过帧内预测生成其预测图像的区域执行帧内预测。针对预测处理单元的每个区域，画面内预测单元311将所生成的预测图像经由选择单元313提供至计算单元305。

运动补偿单元312基于从可逆解码单元302提供的帧间预测信息来执行运动补偿，并且生成预测图像。基于从可逆解码单元302提供的帧间预测信息，运动补偿单元312仅对已在编码时对其执行帧间预测的区域执行运动视差补偿。针对预测处理单元的每个区域，运动补偿单元312将所生成的预测图像经由选择单元313提供至计算单元305。

选择单元313将从画面内预测单元311提供的预测图像或者从运动补偿单元312提供的预测图像提供至计算单元305。

基本视图解码器321对基本视图进行解码。该基本视图解码器321将基本视图的解码图像提供至解码图片缓冲器309，并且使解码图像被存储。在解码图片缓冲器309中，进一步存储从环路滤波器306提供的非基本视图的解码图像。

而且，基本视图解码器321将基本视图的运动信息提供至运动补偿单元312。运动补偿单元312使用从解码图片缓冲器309获取的解码图像和从基本视图解码器321获取的基本视图的运动信息来生成关于视图方向上的块的预测矢量。

[IVMP处理控制]

图像解码装置300获取从图像编码装置100提供的IVMP使用标记作为用于对IVMP工具的使用进行控制的控制信息，并且如同编码的情况下一样基于该IVMP使用标记的值执行AMVP模式的处理。

可逆解码单元302获取从图像编码装置100提供的IVMP使用标记。例如，可逆解码单元302参照预定位置比如SPS或片段头部等，并且获取存储在该位置处的IVMP使用标记。可逆解码单元302将所获取的IVMP使用标记提供至运动补偿单元312。

在针对解码的帧间预测处理中生成AMVP列表时，运动补偿单元312基于所提供的IVMP使用标记的值，针对作为处理目标的当前块，对IVMP处理的执行(IVMP工具的使用)进行控制。

这样，运动补偿单元312可以如同在图像编码装置100中编码的情况下一样对IVMP处理的执行(IVMP工具的使用)进行控制。换句话说，运动补偿单元312可以生成与由运动补偿单元115生成的AMVP列表相同的AMVP列表。

因此，图像解码装置300可以如同图像编码装置100一样跳过IVMP处理，并且可以减少解码的负荷。而且，图像解码装置300可以正确地对从图像编码装置100提供的比特流进行解码。换句话说，不必将AMVP索引设定成1或者更多并且传送该AMVP索引。因此，图像解码装置300能够实现防止编码效率降低。

[解码处理的流程]

接下来，将参照图9的流程图来描述通过上述图像解码装置300执行的解码处理的流程的示例。

当开始解码处理时，在步骤S301中，可逆解码单元302经由累积缓冲器301获取所接收的比特流，并且获取存储在比特流中预定位置例如SPS或者片段头部等处的IVMP使用标记。

在步骤S302中，累积缓冲器301累积所接收的比特流。在步骤S303中，可逆解码单元302对从累积缓冲器301提供的比特流(编码差图像信息)进行解码。此时，还对包括在比特流中的除差图像信息之外的各种信息比如帧内预测信息或者帧间预测信息等进行解码。

在步骤S304中，逆量化单元303对在步骤S303的处理中获得的经量化的正交变换系数执行逆量化。在步骤S305中，逆正交变换单元304对已在步骤S304中经过逆量化的正交变换系数执行逆正交变换。

在步骤S306中，画面内预测单元311或者运动补偿单元312使用所提供的信息来执行预测处理。在步骤S307中，计算单元305将在步骤S306中生成的预测图像与在步骤S305中通过逆正交变换而获得的差图像信息相加。这样，生成重构图像。

在步骤S308中，环路滤波器306适当地对在步骤S307中获得的重构图像执行包括去块滤波处理和自适应环路滤波处理等在内的环路滤波处理。

在步骤S309中，画面重排缓冲器307对在步骤S308中通过滤波处理而生成的解码图像进行重排。换句话说，按照原始显示顺序对由图像编码装置100的画面重排缓冲器102针对编码而重排的帧顺序进行重排。

在步骤S310中，D/A转换单元308对已重排其帧顺序的解码图像进行D/A转换。将解码图像输出至附图中没有示出的显示器，并且显示该解码图像。

在步骤S311中，解码图片缓冲器309存储在步骤S307中通过滤波处理而获得的解码图像。在帧间预测处理中使用该解码图像作为参考图像。

当结束步骤S311的处理时，结束解码处理。

在上述编码处理的步骤S306中的预测处理(特别地，帧间预测处理的AMVP模式)中，执行AMVP列表生成处理。以与在第一实施方式中参照图6和图7的流程图而描述的图像编码装置100中的AMVP列表生成处理相同的方式来执行AMVP列表生成处理。因此，以上使用图6和图7的流程图已作出的描述还可以应用于图像解码装置300的AMVP列表生成处理，并且将省略对图像解码装置300的AMVP列表生成处理的描述。

通过执行如上所述的每个处理，图像解码装置300能够减少解码的负荷，并且还能够实现编码效率的改进。

<3.第三实施方式>

[IVMP控制的另一示例]

以上描述了，当IVMP使用标记为0时，将IVMP候选矢量设定成一直不可用，然而IVMP控制不限于此示例。例如，当IVMP使用标记为0时，可以将预定值添加至AMVP列表(作为候选矢量)来代替IVMP候选矢量。

可以将预定值设定成任意值，并且可以将该预定值设定成例如运动矢量或者视差矢量的代表值。可以使用任意值作为该代表值。例如，可以使用作为全局(在例如序列、图片、片段、LCU或CU等的预定单元中)代表矢量的全局运动矢量或者全局视差矢量。而且，可以使用通过预定操作例如图片内平均等而计算出的值。

可逆编码单元106将预定值连同IVMP使用标记一起传送至解码侧，使得解码侧可以使用相同的值来生成AMVP列表。图10的A示出了SPS的语法的示例。例如，如图10的A所示，当IVMP使用标记sps_inter_view_mvp_enable_flag的值为0时，可逆编码单元106不仅将IVMP使用标记sps_inter_view_mvp_enable_flag而且将作为上述预定值的全局运动矢量global_motion_vector_x和global_motion_vector_y以及全局视差矢量global_inter_view_vector_x和global_inter_view_vector_y包括在SPS中，从而使IVMP使用标记sps_inter_view_mvp_enable_flag、全局运动矢量global_motion_vector_x和global_motion_vector_y以及全局视差矢量global_inter_view_vector_x和global_inter_view_vector_y被传送。

在此情况下，运动预测和补偿单元115将全局运动矢量global_motion_vector_x和global_motion_vector_y或者全局视差矢量global_inter_view_vector_x和global_inter_view_vector_y而非IVMP候选矢量设定至AMVP列表的索引＝0。由于在运动预测处理中阐明了当前块的矢量是运动矢量还是视差矢量，所以运动预测和补偿单元115将与当前块的矢量种类相同的全局矢量设定至AMVP列表的索引＝0。

在图像解码装置300中，可逆解码单元302从SPS获取全局运动矢量global_motion_vector_x和global_motion_vector_y以及全局视差矢量global_inter_view_vector_x和global_inter_view_vector_y以及IVMP使用标记。

运动补偿单元312将全局运动矢量global_motion_vector_x和global_motion_vector_y或者全局视差矢量global_inter_view_vector_x和global_inter_view_vector_y而非IVMP候选矢量设定至AMVP列表的索引＝0。如上所述，由于在编码时在运动预测处理中阐明了当前块的矢量是运动矢量还是视差矢量，所以运动补偿单元312将与当前块的矢量种类相同的全局矢量设定为AMVP列表的索引＝0。

如上所述，甚至在此情况下，可以在图像编码装置100和图像解码装置300二者中以相同方式来对IVMP处理的执行进行控制。

可以用处于任意层次级别的信息来执行对如上所述的设定的预定值而非IVMP候选矢量的传送。例如，当用SPS和片段头部来传送IVMP使用标记时，可以如图10所示用SPS来传送预定值。在此情况下，用片段头部来传送IVMP使用标记pic_inter_view_mvp_enable_flag而不传送预定值，如图10的B所示所示。

此外，作为图11所示的示例，可以用片段头部来传送设定的预定值而非IVMP候选矢量。在此情况下，用SPS来传送IVMP使用标记sps_inter_view_mvp_enable_flag而不传送预定值，如图11的A所示。反之，如图11的B所示，当IVMP使用标记pic_inter_view_mvp_enable_flag为0时，用片段头部来传送预定值。

此外，作为图12所示的示例，可以按照多个层次级别来传送设定的预定值而非IVMP候选矢量。例如，可以用SPS和片段头部二者来传送预定值。在此情况下，如图12的A所示，当IVMP使用标记sps_inter_view_mvp_enable_flag为0时，用SPS来传送预定值。同样地，如图12的B所示，当IVMP使用标记pic_inter_view_mvp_enable_flag为0时，还用片段头部来传送预定值。

这样，甚至在针对每个序列来对IVMP处理的执行进行控制或针对每个片来对IVMP处理的执行进行控制时，可以设定预定值来代替IVMP候选矢量并且传送该值。

不必说，可以使用除上述方法之外的方法来传送预定值。例如，代替IVMP使用标记，可以使用不仅指示是否使用IVMP工具而且指示用哪条信息来传送预定值的控制信息。

此外，以上已举例说明了将序列单元和片段单元，然而如同在第一实施方式和第二实施方式的情况中一样，用于控制的数据单位是任意的。

在编码处理中，在图5的步骤S101的处理中执行对如上所述的预定值的设定。

[AMVP列表生成处理的流程]

接下来，将参照图13和图14的流程图来对使用如上所述而设定的预定值的AMVP列表生成处理的流程的示例进行描述。如第一实施方式和第二实施方式中所述，在图像编码装置100和图像解码装置300二者中以相同方式来执行AMVP列表生成处理。下面将描述在图像编码装置100内执行AMVP列表生成处理的情况。

当开始AMVP列表生成处理时，在步骤S431中，运动预测和补偿单元115参照由可逆编码单元106设定的IVMP使用标记。

在步骤S432中，运动预测和补偿单元115基于在步骤S431中参照的IVMP使用标记的值来确定是否使用IVMP工具。例如，当IVMP使用标记的值为1并且确定出使用IVMP工具时，该过程进行至步骤S433。

在步骤S433中，运动预测和补偿单元115使用IVMP工具来执行IVMP处理，并且根据该IVMP来获取候选矢量。

在步骤S434中，运动预测和补偿单元115来确定是否存在在步骤S433的处理中从IVMP获得的候选矢量。

当确定出存在候选矢量时，该过程进行至步骤S435。在步骤S435中，运动预测和补偿单元115将在步骤S433的处理中获得的候选矢量添加至AMVP列表的索引＝0。

当结束步骤S435的处理时，该过程进行至步骤S439。而且，当在步骤S434中确定出存在候选矢量时，该过程进行至步骤S439。

当在步骤S432中确定出IVMP使用标记的值为0并且确定出不使用IVMP工具时，该过程进行至步骤S436。在步骤S436中，运动预测和补偿单元115确定作为当前块的矢量的当前矢量是否为运动矢量。

当确定出当前矢量为运动矢量时，该处理进行至步骤S437。在步骤S437中，运动预测和补偿单元115在AMVP列表中设定运动矢量的代表值。当结束S437的处理时，该过程进行至步骤S439。

当在步骤S436中确定出当前矢量为视差矢量时，该过程进行至步骤S438。在步骤S438中，运动预测和补偿单元115在AMVP列表中设定视差矢量的代表值。当结束S438的处理时，该过程进行至步骤S439。

分别以与图6的步骤S137至步骤S140的处理相同的方式来执行步骤S439至步骤S442的处理。而且，分别以与图7的步骤S151至步骤S157的处理相同的方式来执行图14的步骤S451至步骤S457的处理。

运动预测和补偿单元115使用如上所述而生成的AMVP列表来搜索预测矢量。这样，运动预测和补偿单元115可以根据IVMP使用标记的值来对IVMP处理的执行进行控制。换句话说，通过如上所述来执行每个处理，图像编码装置100不仅能够减少编码的负荷而且能够减少解码的负荷，并且还能够改进编码效率。

已描述了对IVMP处理的执行的控制，然而例如还可以一起施加对空间周围块的矢量的使用的控制和对TMVP矢量的使用的控制。换句话说，可以通过一条控制信息(例如称为总体控制信息)来施加对每个矢量的使用的控制。在此情况下，基于该总体控制信息，图像编码装置100和图像解码装置300能够对是否将IVMP矢量、空间周围块的矢量和TMVP矢量中的每一者设定为候选矢量进行控制。因此，更适应的控制成为可能。而且，通过将从编码侧传送至解码侧的控制信息与总体控制信息进行整合，与对各个类型的矢量进行独立控制的情况相比可以改进编码效率。

此外，本技术可以应用于在经由网络介质比如卫星广播、有线电视、因特网或者移动电话等接收图像信息(比特流)时使用的图像编码装置和图像解码装置，其中，该图像信息以如同在运动图片专家组(MPEG)或者H.26X等中那样的方式通过正交变换比如离散余弦变换等和运动补偿来压缩。此外，本技术可以应用于在存储介质比如光盘、磁盘和闪存上执行处理时使用的图像编码装置和图像解码装置。此外，本技术还可以应用于这些图像编码装置和图像解码装置中包括的运动预测和补偿装置。

<4.第四实施方式>

[计算机]

可以通过硬件来执行上述一系列过程，而且还可以通过软件来执行上述一系列过程。当通过软件来执行该一系列过程时，将构造这样的软件的程序安装至计算机中。这里，表术“计算机”包括其中合并了专用硬件的计算机或者能够在安装了各种程序时执行各种功能的通用个人计算机等。

在图15中，计算机700的中央处理器(CPU)701根据存储在只读存储器(ROM)702中的程序或者从存储单元713加载至随机存取存储器(RAM)703的程序来执行各种处理。在RAM 703中，适当地存储用于CPU701执行各种处理所需的数据。

CPU 701、ROM 702和RAM 703经由总线704相互连接。输入/输出(I/O)接口710还连接至总线704。

包括键盘或者鼠标等的输入单元711、包括由阴极射线管(CRT)构成的显示器、液晶显示器(LCD)和扬声器的输出单元712、使用硬盘来配置的存储单元713以及使用调制解调器来配置的通信单元714连接至输入/输出接口710。通信单元714通过包括因特网的网络执行通信处理。

驱动715根据需要连接至输入/输出接口710，适当地安装可移除介质721比如磁盘、光盘、磁光盘或者半导体存储器，以及根据需要在存储单元713中安装从可移除介质721中读取的计算机程序。

在基于软件来执行上述一系列处理的情况中，通过网络或者从记录介质安装软件中包括的程序。

包括这种程序的记录介质不仅如图15所示由与装置的主体分离地分布以便于向用户分发这类程序的可移除介质721来形成，而且由记录有该程序并且在被预先合并在装置的主体中的状态下被提供至用户的ROM702、或者存储单元713中包括的硬盘等来形成。可移除介质111由记录有程序的磁盘(包括软盘)、光盘(包括(致密盘只读存储器CD-ROM)和数字通用盘(DVD))、磁光盘(包括微型盘(MD))或者半导体存储器等形成。

应当注意的是，由计算机执行的程序可以是根据在本说明书中描述的序列按照时间顺序进行处理的程序，或者可以是并行或在需要定时比如在调用时进行处理的程序。

还应当注意的是，在本说明书中，描述存储在记录介质中的程序的步骤不仅包括根据文中所示出的序列按照时间顺序执行的处理，而且包括并行或者独立地执行而未必按照时间顺序执行的处理。

此外，在本公开内容中，系统具有多个配置元件的集合(比如装置或者模块(部分))的含义，而不考虑所有配置元件是否在相同的壳体中。因此，系统可以为存储在分离壳体中并且通过网络连接的多个装置中的任一个，或者可以为单个壳体内的多个模块中的任一个。

此外，可以将以上描述为单个装置(或者处理单元)的元件划分成被配置为多个装置(或者处理单元)。相比之下，可以将以上描述为多个装置(或者处理单元)的元件共同地配置为单个装置(或者处理单元)。此外，可以将除上述这些元件之外的元件添加至每个装置(或者处理单元)。此外，可以将给定装置(或者处理单元)的元件的一部分包括在另一装置(或者另一处理单元)的元件中，只要该系统的配置或者操作总体上基本相同即可。

以上已参照附图描述了本发明的优选实施方式，而本发明当然不限于以上示例。本领域内技术人员可以在所附权利要求的范围内找到各种替换和修改，从而应当理解，这些替换和修改自然将归入本发明的技术范围。

例如，本公开内容可以采用由多个装置通过网络而分配并且连接一个功能来进行处理的云计算的配置。

此外，可以通过一个装置或者可以通过分配多个装置来执行由以上提到的流程图描述的每个步骤。

此外，在一个步骤中包括多个处理的情况下，可以通过一个装置或者通过分配多个装置来执行此一个步骤中包括的多个处理。

<5.示例应用>

根据上述实施方式的图像编码装置和图像解码装置可以应用于各种电子设备，比如：发射器和接收器，该发射器和接收器用于卫星广播和比如有线TV的有线广播、因特网上的分发、和经由蜂窝通信向终端的分发等；记录装置，该记录装置将图像记录在介质中，该介质比如光盘、磁盘或闪存；以及重现装置，该重现装置对来自这样的存储介质的图像进行重现，等等。以下将描述四个示例应用。

[第一应用示例：电视接收器]

图16为示出了应用前述实施方式的电视装置的示意性配置的示例的示意图。电视装置900包括天线901、调谐器902、多路分用器903、解码器904、视频信号处理单元905、显示器906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。

调谐器902从通过天线901接收到的广播信号中提取期望信道的信号并对所提取的信号进行解调。调谐器902然后将通过解调所获得的编码比特流输出至多路分用器903。即，在电视装置900中，调谐器902起到传送单元的作用，该传输单元接收编码后图像的编码流。

多路分用器903从编码比特流中将要被观看的节目中的视频流和音频流分离，并将分离的流中的每个流输出至解码器904。多路分用器903还从编码比特流中提取辅助数据(比如EPG(电子节目导航))，并将所提取的数据提供至控制单元910。这里，多路分用器903可以在编码比特流被扰频时对其进行解扰。

解码器904对从多路分用器903输入的视频流和音频流进行解码。然后，解码器904将通过解码处理所生成的视频数据输出至视频信号处理单元905。此外，解码器904将通过解码处理所生成的音频数据输出至音频信号处理单元907。

视频信号处理单元905对从解码器904输入的视频数据进行重现，并在显示器906上显示视频。视频信号处理单元905还可以在显示器906上显示通过网络所提供的应用屏幕。视频信号处理单元905还可以根据设定对视频数据执行另外的处理，比如噪声降低。此外，视频信号处理单元905可以生成GUI(图形用户界面)(比如菜单、按钮或光标)的图像，并使生成的图像叠加到输出图像上。

显示器906被从视频信号处理单元905提供的驱动信号驱动，并在显示装置(比如液晶显示器、等离子体显示器或OELD(有机电致发光显示器))的视频屏幕上显示视频或图像。

音频信号处理单元907对从解码器904输入的音频数据执行重现处理(比如D/A转换和放大)，并从扬声器908输出音频。音频信号处理单元907还可以对音频数据执行另外的处理，比如噪声降低。

外部接口909为将电视装置900与外部装置或网络连接的接口。例如，解码器904可以对通过外部接口909接收到的视频流或音频流进行解码。这意味着，在电视装置900中，外部接口909还起到传送单元的作用，该传输单元接收编码后图像的编码流。

控制单元910包括处理器(比如中央处理单元(CPU))和存储器(比如RAM和ROM)。存储器存储被CPU执行的程序、节目数据、EPG数据和通过网络获取的数据。例如，存储在存储器中的程序在电视装置900启动时被CPU读取并执行。例如，通过执行该程序，CPU根据从用户接口911输入的操作信号来控制电视装置900的操作。

用户接口911连接至控制单元910。例如，用户接口911包括用于用户操作电视装置900的按钮和开关以及接收远程控制信号的接收部。用户接口911通过这些部件检测用户操作，生成操作信号，并将所生成的操作信号输出至控制单元910。

总线912将调谐器902、多路分用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910相互连接。

在具有这样的配置的电视装置900中，解码器904具有根据上述实施方式的图像解码装置的功能。因此，在电视装置900中的图像解码时，可以实现防止编码效率降低并且减少负荷。

[第二应用示例：移动电话]

图17为示出了应用前述实施方式的移动电话的示意性配置的示例的示意图。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像机单元926、图像处理单元927、多路分用单元928、记录/重现单元929、显示器930、控制单元931、操作单元932和总线933。

天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制单元931。总线933将通信单元922、音频编解码器923、摄像机单元926、图像处理单元927、多路分用单元928、记录/重现单元929、显示器930和控制单元931相互连接。

移动电话920执行以下操作：比如发射/接收音频信号、发射/接收电子邮件或图像数据、使图像成像、或以各种操作模式记录数据，该操作模式包括音频通话模式、数据通信模式、摄像模式和视频电话模式。

在音频通话模式中，通过麦克风925生成的模拟音频信号被提供至音频编解码器923。然后，音频编解码器923将模拟音频信号转换成音频数据，对经转换的音频数据执行A/D转换，并压缩数据。之后，音频编解码器923将经压缩的音频数据输出到通信单元922。通信单元922对音频数据进行编码和调制以生成发射信号。然后，通信单元922通过天线921将生成的发射信号发射至基站(未示出)。此外，通信单元922对通过天线921接收的无线电信号进行放大，转换信号的频率，并获取接收信号。之后，通信单元922对接收信号进行解调和解码以生成音频数据，并将生成的音频数据输出至音频编解码器923。音频编解码器923扩展音频数据，对数据执行D/A转换，并生成模拟音频信号。然后，音频编解码器923通过将生成的音频信号提供至扬声器924来输出音频。

在数据通信模式中，例如，控制单元931根据通过操作单元932的用户操作来生成配置电子邮件的字符数据。控制单元931还在显示器930上显示字符。此外，控制单元931根据经由操作单元932的来自用户的发射指令来生成电子邮件数据，并将生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制以生成发射信号。然后，通信单元922通过天线921将生成的发射信号发射到基站(未示出)。此外，通信单元922对通过天线921接收到的无线电信号进行放大，转换信号的频率，并获取接收信号。之后，通信单元922对接收信号进行解调和解码，恢复电子邮件数据，并将恢复的电子邮件数据输出至控制单元931。控制单元931将电子邮件的内容显示在显示器930上以及将电子邮件数据存储在记录/重现单元929的存储介质中。

记录/重现单元929包括为可读可写的任意存储介质。例如，存储介质可以为内置存储介质(比如RAM或闪存)，或可以为外部安装式存储介质(比如硬盘、磁盘、磁光盘、光盘、USB(未分配空间位图)存储器或存储卡)。

在摄像模式中，例如，摄像机单元926使对象成像，生成图像数据，并将生成的图像数据输出至图像处理单元927。图像处理单元927对从摄像机单元926输入的图像数据进行编码，并将编码流存储在存储/重现单元929的存储介质中。

在视频电话模式中，例如，多路分用单元928对通过图像处理单元927所编码的视频流和从音频编解码器923输入的音频流进行复用，并将复用流输出至通信单元922。通信单元922对流进行编码和调制以生成发射信号。然后，通信单元922通过天线921将生成的发射信号发射至基站(未示出)。此外，通信单元922放大通过天线921接收到的无线电信号，转换信号的频率，并获取接收信号。发射信号和接收信号能够包括编码比特流。然后，通信单元922对接收信号进行解调和解码以恢复流，并将经恢复的流输出至多路分用单元928。多路分用单元928从输入流中分离视频流和音频流，并分别将视频流和音频流输出至图像处理单元927和音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。然后，视频数据被提供至显示一系列图像的显示器930。音频编解码器923对音频流进行扩展并执行D/A转换以生成模拟音频信号。然后，音频编解码器923将生成的音频信号提供至扬声器924以输出音频。

以前述方式配置的移动电话920中的图像处理单元927具有根据前述实施方式的图像编码装置和图像解码装置的功能。因此，在移动电话920中的图像编码和解码时，可以减少负荷并且防止编码效率降低。

[第三应用示例：存储/重现单元]

图18为示出了应用前述实施方式的记录/重现装置的示意性配置的示例的示意图。例如，记录/重现装置940对接收到的广播节目的音频数据和视频数据进行编码，并将数据记录到记录介质中。例如，记录/重现装置940还可以对从另一个装置获取的音频数据和视频数据进行编码，并将数据记录在记录介质中。例如，记录/重现装置940响应于用户指令在监视器和扬声器上重现被记录在记录介质中的数据。这时，记录/重现装置940对音频数据和视频数据进行解码。

记录/重现装置940包括调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、盘驱动器945、选择器946、解码器947、OSD(屏幕上显示器)948、控制单元949和用户接口950。

调谐器941从通过天线(未示出)接收到的广播信号中提取期望信道的信号并对所提取的信号进行解调。调谐器941然后将通过解调所获得的编码比特流输出至选择器946。即，在记录/重现装置940中，调谐器941具有传送单元的作用。

外部接口942为将记录/重现装置940与外部装置或网络连接的接口。例如，外部接口942可以为IEEE 1394接口、网络接口、USB接口或闪存接口。例如，通过外部接口942接收到的视频数据和音频数据被输入至编码器943。即，在记录/重现装置940中，外部接口942具有传送单元的作用。

当从外部接口942输入的视频数据和音频数据未被编码时，编码器943对该视频数据和音频数据进行编码。之后，编码器943将编码比特流输出至选择器946。

HDD 944将其中比如视频和音频等内容数据被压缩的编码比特流、各种程序和其他数据记录到内部硬盘中。当重现视频和音频时，HDD 944从硬盘中读取这些数据。

盘驱动器945将数据记录到被安装至盘驱动器的记录介质中/从该记录介质中读取数据。被安装至盘驱动器945的记录介质可以为例如DVD盘(比如DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)或蓝光(注册商标)盘。

当记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码比特流，并将选定的编码比特流输出至HDD 944或盘驱动器945。另一方面，当重现视频和音频时，选择器946将从HDD 944或盘驱动器945输入的编码比特流输出至解码器947。

解码器947对编码比特流进行解码以生成视频数据和音频数据。然后，解码器947将生成的视频数据输出至OSD 948，并将生成的音频数据输出至外部扬声器。

OSD 948重现从解码器947输入的视频数据并显示视频。OSD 948还可以将GUI比如菜单、按钮或光标的图像叠加到所显示的视频上。

控制单元949包括处理器比如CPU和存储器(比如RAM和ROM)。存储器存储被CPU执行的程序以及节目数据。例如，存储在存储器中的程序在记录/重现装置940启动时被CPU读取并执行。例如，通过执行该程序，CPU根据从用户接口950输入的操作信号来控制记录/重现装置940的操作。

用户接口950连接至控制单元949。例如，用户接口950包括用于用户操作记录/重现装置940的按钮和开关以及接收远程控制信号的接收部。用户接口950通过这些部件检测用户操作，生成操作信号，并将生成的操作信号输出至控制单元949。

以前述方式配置的记录/重现装置940中的编码器943具有根据前述实施方式的图像编码装置的功能。另一方面，解码器947具有根据前述实施方式的图像解码装置的功能。因此，在记录/重现装置940中的图像编码和解码时，可以减少负荷并且防止编码效率降低。

[第四应用示例：图像捕获装置]

图19示出了应用前述实施方式的图像捕获装置的示意性配置的示例。成像装置960使对象成像，生成图像，对图像数据进行编码，并将数据记录到记录介质中。

成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示器965、外部接口966、存储器967、介质驱动器968、OSD 969、控制单元970、用户接口971和总线972。

光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示器965连接至图像处理单元964。用户接口971连接至控制单元970。总线972将图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD 969和控制单元970相互地连接。

光学块961包括聚焦透镜和光阑机构。光学块961使对象的光学图像形成在成像单元962的成像表面上。成像单元962包括图像传感器(比如CCD(电荷耦合装置)或CMOS(互补金属氧化物半导体))，并执行光电转换以将形成在成像表面上的光学图像转换成作为电信号的图像信号。随后，成像单元962将图像信号输出至信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号执行各种摄像机信号处理，比如拐点校正、伽马校正和颜色校正。信号处理单元963将已被执行了摄像机信号处理的图像数据输出至图像处理单元964。

图像处理单元964对从信号处理单元963输入的图像数据进行编码，并生成经编码的数据。然后，图像处理单元964将所生成的经编码的数据提供至外部接口966或介质驱动器968。图像处理单元964还对从外部接口966或介质驱动器968输入的经编码的数据进行解码以生成图像数据。然后，图像处理单元964将所生成的图像数据输出至显示器965。而且，图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示器965以显示图像。此外，图像处理单元964可以将从OSD 969获取的显示数据叠加到在显示器965上输出的图像上。

OSD 969生成GUI(比如菜单、按钮或光标)的图像，并将生成的图像输出至图像处理单元964。

例如，外部接口966被配置为USB输入/输出端子。例如，在打印图像时，外部接口966将成像装置960与打印机连接。而且，驱动器在需要时被连接至外部接口966。例如，可移除介质(比如磁盘或光盘)被安装至驱动器，使得从可移除介质读取的程序能够被安装至成像装置960。外部接口966还可以被配置为与网络(比如LAN或因特网)连接的网络接口。即，在成像装置960中，外部接口966具有传送单元的作用。

安装至介质驱动器968的记录介质可以为可读可写的任意可移除介质，比如磁盘、磁光盘、光盘或半导体存储器。此外，例如，记录介质可以被固定地安装至介质驱动器968，使得非移动型存储单元(non-transportable storage)(比如内置硬盘驱动器或SSD(固态驱动器))被配置。

控制单元970包括处理器(比如CPU)和存储器(比如RAM和ROM)。存储器存储被CPU执行的程序以及节目数据。存储在存储器中的程序在成像装置960启动时被CPU读取并然后执行。例如，通过执行该程序，CPU根据从用户接口971输入的操作信号来控制成像装置960的操作。

用户接口971连接至控制单元970。例如，用户接口971包括用于用户操作成像装置960的按钮和开关。用户接口971通过这些部件检测用户操作，生成操作信号，并将生成的操作信号输出至控制单元970。

以前述方式配置的成像装置960中的图像处理单元964具有根据前述实施方式的图像编码装置10和图像解码装置60的功能。因此，在成像装置960中的图像编码和解码时，可以减少负荷并且防止编码效率降低。

本文中描述了示例，其中，各条信息比如IVMP使用标记和矢量的代表值被复用至编码流的头部并且从编码侧被传送至解码侧。然而，传送送这些条信息的方法不限于这样的示例。例如，这些条信息可以在未被复用到编码比特流的情况下被传送或记录为与编码比特流相关联的独立数据。这里，术语“相关联”意味着使包括在比特流中的图像(可以为图像的一部分比如切片或块)和与当前图像对应的信息能够在解码时建立链接。即，可以将信息在与图像(比特流)不同的传送路径上进行传送。还可以将信息记录在与图像(或比特流)不同的记录介质(或相同记录介质中的不同记录区域)中。此外，信息和图像(或比特流)可以以任意单位(比如多个帧、一个帧或帧内的一部分)来彼此相关联。

以上已参照附图描述了本公开的优选实施方式，而本公开当然不限于以上示例。本领域内技术人员可以在所附权利要求的范围内找到各种替换和修改，从而应当理解，这些替换和修改自然将归入本发明的技术范围。

另外地，本技术还可以配置如下。

(1)一种图像处理装置，包括：

控制信息设定单元，所述控制信息设定单元被配置成：在对多视图图像进行编码时在运动预测中设定用于对是否使用基本视图的矢量作为针对相关视图的预测矢量的候选进行控制的控制信息；

视图间运动预测(IVMP)处理单元，所述IVMP处理单元被配置成：在根据由所述控制信息设定单元设定的控制信息将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时，执行用于将所述基本视图的矢量设定为针对所述相关视图的当前块的预测矢量的候选的IVMP处理；

列表生成单元，所述列表生成单元被配置成：生成针对所述当前块的预测矢量的候选列表；以及当存在由所述IVMP处理单元生成的并且包括所述基本视图的矢量的候选时，将所述候选添加至所述列表；以及

传送单元，所述传送单元被配置成传送由所述控制信息设定单元设定的控制信息。

(2)根据(1)所述的图像处理装置，还包括：

不可用性设定单元，所述不可用性设定单元被配置成：当根据由所述控制信息设定单元设定的控制信息没有将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时，将所述基本视图的矢量设定成不能够用作所述相关视图的预测矢量。

(3)根据(1)或(2)所述的图像处理装置，还包括：

值设定单元，所述值设定单元被配置成：在根据由所述控制信息设定单元设定的控制信息没有将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时，在所述列表中设定预定值来代替包括所述基本视图的矢量的候选。

(4)根据(3)所述的图像处理装置，

其中，当所述当前块的当前矢量为运动矢量时，所述值设定单元在所述列表中设定所述运动矢量的代表值来代替包括所述基本视图的矢量的候选。

(5)根据(3)或(4)所述的图像处理装置，

其中，当所述当前块的当前矢量为视差矢量时，所述值设定单元在所述列表中设定所述视差矢量的代表值来代替包括所述基本视图的矢量的所述候选。

(6)根据(3)至(5)中任一项所述的图像处理装置，

其中，所述传送单元还传送由所述值设定单元设定的预定值。

(7)根据(1)至(6)中任一项所述的图像处理装置，

其中，所述控制信息设定单元针对每个预定数据单位设定所述控制信息，以及

其中，所述传送单元在与所述预定数据单位相对应的信息中传送所述控制信息。

(8)根据(7)所述的图像处理装置，

其中，所述控制信息设定单元针对每个序列或每个片段来设定所述控制信息，以及

其中，所述传送单元在序列参数集合或片段头部中传送所述控制信息。

(9)根据(1)至(8)中任一项所述的图像处理装置，

其中，所述控制信息设定单元针对多级层次化数据单位中的每一者设定所述控制信息，以及

其中，所述传送单元在与已设定所述控制信息的各个层次级别相对应的信息中传送所述控制信息。

(10)根据(9)所述的图像处理装置，

其中，所述控制信息设定单元针对每个序列和每个片段设定所述控制信息，以及

其中，所述传送单元在序列参数集合和片段头部中传送所述控制信息。

(11)一种信息处理装置的信息处理方法中的图像处理方法，所述图像处理方法包括：

在对多视图图像进行编码时，在运动预测中通过所述信息处理装置设定用于对是否使用基本视图的矢量作为针对相关视图的预测矢量的候选进行控制的控制信息；

当根据所设定的控制信息将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时，通过所述信息处理装置执行用于将所述基本视图的矢量设定为针对所述相关视图的当前块的预测矢量的候选的视图间运动预测(IVMP)处理；

通过所述信息处理装置生成针对所述当前块的预测矢量的候选列表，并且当存在包括所述基本视图的矢量的候选时，将所述候选添加至所述列表；以及

通过所述信息处理装置传送所设定的控制信息。

(12)一种图像处理装置，包括：

控制信息获取单元，所述控制信息获取单元被配置成：在对多视图图像进行解码时在运动预测中获取用于对是否使用基本视图的矢量作为针对相关视图的预测矢量的候选进行控制的控制信息；

视图间运动预测(IVMP)处理单元，所述IVMP处理单元被配置成：当根据由所述控制信息获取单元获取的控制信息将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时，执行用于将所述基本视图的矢量设定为针对所述相关视图的当前块的预测矢量的候选的IVMP处理；以及

列表生成单元，所述列表生成单元被配置成：生成针对所述当前块的预测矢量的候选列表，以及当存在由所述IVMP处理单元生成的并且包括所述基本视图的矢量的候选时，将所述候选添加至所述列表。

(13)根据(12)所述的图像处理装置，还包括：

不可用性设定单元，所述不可用性设定单元被配置成：当根据由所述控制信息获取单元获取的控制信息没有将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时，将所述基本视图的矢量设定成不能够用作所述相关视图的预测矢量。

(14)根据(12)或(13)所述的图像处理装置，还包括：

值设定单元，所述值设定单元被配置成：当根据由所述控制信息获取单元获取的控制信息没有将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时，在所述列表中设定预定值来代替包括所述基本视图的矢量的候选。

(15)根据(14)所述的图像处理装置，

其中，在所述当前块的当前矢量为运动矢量时，所述值设定单元在所述列表中设定所述运动矢量的代表值来代替包括所述基本视图的矢量的候选。

(16)根据(14)或(15)所述的图像处理装置，

其中，在所述当前块的当前矢量为视差矢量时，所述值设定单元在所述列表中设定所述视差矢量的代表值来代替包括所述基本视图的矢量的候选。

(17)根据(14)至(16)中任一项所述的图像处理装置，

其中，所述控制信息获取单元还获取所述预定值，以及

其中，所述值设定单元在所述列表中设定由所述控制信息获取单元获取的预定值。

(18)根据(12)至(17)中任一项所述的图像处理装置，

其中，所述控制信息获取单元获取下述控制信息：所述控制信息针对每个预定数据单位来设定并且在与所述数据单位相对应的信息中进行传送。

(19)根据(12)至(18)中任一项所述的图像处理装置，

其中，所述控制信息获取单元获取下述控制信息：所述控制信息针对多级层次化数据单位中的每一者来设定并且在与已设定所述控制信息的各个层次级别相对应的信息中进行传送。

(20)一种图像处理装置的图像处理方法，所述图像处理方法包括：

在对多视图图像进行解码时，在运动预测中通过所述图像处理装置获取用于对是否使用基本视图的矢量作为针对相关视图的预测矢量的候选进行控制的控制信息；

当根据所获取的控制信息将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时，通过所述图像处理装置执行用于将所述基本视图的矢量设定为针对所述相关视图的当前块的预测矢量的候选的视图间运动预测(IVMP)处理；以及

通过所述图像处理装置生成针对所述当前块的预测矢量的候选列表，并且当存在包括所述基本视图的矢量的候选时，将所述候选添加至所述列表。

附图标记列表

100 图像编码装置

106 可逆编码单元

115 运动预测和补偿单元

300 图像解码装置

302 可逆解码单元

312 运动补偿单元

Claims (20)

1.一种图像处理装置，包括：

控制信息设定单元，所述控制信息设定单元被配置成：在对多视图图像进行编码时，在运动预测中设定控制信息以对是否使用基本视图的矢量作为针对相关视图的预测矢量的候选进行控制；

视图间运动预测(IVMP)处理单元，所述IVMP处理单元被配置成：当根据由所述控制信息设定单元设定的控制信息将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时，执行IVMP处理以将所述基本视图的矢量设定为针对所述相关视图的当前块的预测矢量的候选；

列表生成单元，所述列表生成单元被配置成：生成针对所述当前块的预测矢量的候选列表；以及当存在由所述IVMP处理单元生成并且包括所述基本视图的矢量的候选时，将所述候选添加至所述列表；以及

传送单元，所述传送单元被配置成传送由所述控制信息设定单元设定的控制信息。

2.根据权利要求1所述的图像处理装置，还包括：

不可用性设定单元，所述不可用性设定单元被配置成：当根据由所述控制信息设定单元设定的控制信息没有将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时，将所述基本视图的矢量设定成不能够用作所述相关视图的预测矢量。

3.根据权利要求1所述的图像处理装置，还包括：

值设定单元，所述值设定单元被配置成：当根据由所述控制信息设定单元设定的控制信息没有将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时，在所述列表中设定预定值来代替包括所述基本视图的矢量的候选。

4.根据权利要求3所述的图像处理装置，

其中，在所述当前块的当前矢量为运动矢量时，所述值设定单元在所述列表中设定所述运动矢量的代表值来代替包括所述基本视图的矢量的候选。

5.根据权利要求3所述的图像处理装置，

其中，在所述当前块的当前矢量为视差矢量时，所述值设定单元在所述列表中设定所述视差矢量的代表值来代替包括所述基本视图的矢量的候选。

6.根据权利要求3所述的图像处理装置，

其中，所述传送单元还传送由所述值设定单元设定的预定值。

7.根据权利要求1所述的图像处理装置，

其中，所述控制信息设定单元针对每个预定数据单位设定所述控制信息，以及

其中，所述传送单元在与所述预定数据单位相对应的信息中传送所述控制信息。

8.根据权利要求7所述的图像处理装置，

其中，所述控制信息设定单元针对每个序列或每个片段来设定所述控制信息，以及

其中，所述传送单元在序列参数集合或片段头部中传送所述控制信息。

9.根据权利要求1所述的图像处理装置，

其中，所述控制信息设定单元针对多级层次化数据单位中的每一个来设定所述控制信息，以及

其中，所述传送单元在与已设定所述控制信息的各个层次级别相对应的信息中传送所述控制信息。

10.根据权利要求9所述的图像处理装置，

其中，所述控制信息设定单元针对每个序列和每个片段来设定所述控制信息，以及

其中，所述传送单元在序列参数集合和片段头部中传送所述控制信息。

11.一种信息处理装置的信息处理方法中的图像处理方法，所述图像处理方法包括：

通过所述信息处理装置、在对多视图图像进行编码时在运动预测中设定控制信息以对是否使用基本视图的矢量作为针对相关视图的预测矢量的候选进行控制；

当根据所设定的控制信息将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时，通过所述信息处理装置来执行视图间运动预测(IVMP)处理以将所述基本视图的矢量设定为针对所述相关视图的当前块的预测矢量的候选；

通过所述信息处理装置生成针对所述当前块的预测矢量的候选列表，并且当存在包括所述基本视图的矢量的候选时，将所述候选添加至所述列表；以及

通过所述信息处理装置传送所设定的控制信息。

12.一种图像处理装置，包括：

控制信息获取单元，所述控制信息获取单元被配置成：在对多视图图像进行解码时，在运动预测中获取控制信息以对是否使用基本视图的矢量作为针对相关视图的预测矢量的候选进行控制；

视图间运动预测(IVMP)处理单元，所述IVMP处理单元被配置成：当根据由所述控制信息获取单元获取的控制信息将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时，执行IVMP处理以将所述基本视图的矢量设定为针对所述相关视图的当前块的预测矢量的候选；以及

列表生成单元，所述列表生成单元被配置成：生成针对所述当前块的预测矢量的候选列表；以及当存在由所述IVMP处理单元生成并且包括所述基本视图的矢量的候选时，将所述候选添加至所述列表。

13.根据权利要求12所述的图像处理装置，还包括：

不可用性设定单元，所述不可用性设定单元被配置成：当根据由所述控制信息获取单元获取的控制信息没有将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时，将所述基本视图的矢量设定成不能够用作所述相关视图的预测矢量。

14.根据权利要求12所述的图像处理装置，还包括：

值设定单元，所述值设定单元被配置成：当根据由所述控制信息获取单元获取的控制信息没有将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时，在所述列表中设定预定值来代替包括所述基本视图的矢量的候选。

15.根据权利要求14所述的图像处理装置，

其中，在所述当前块的当前矢量为运动矢量时，所述值设定单元在所述列表中设定所述运动矢量的代表值来代替包括所述基本视图的矢量的候选。

16.根据权利要求14所述的图像处理装置，

其中，在所述当前块的当前矢量为视差矢量时，所述值设定单元在所述列表中设定所述视差矢量的代表值来代替包括所述基本视图的矢量的候选。

17.根据权利要求14所述的图像处理装置，

其中，所述控制信息获取单元还获取所述预定值，以及

其中，所述值设定单元在所述列表中设定由所述控制信息获取单元获取的预定值。

18.根据权利要求12所述的图像处理装置，

其中，所述控制信息获取单元获取下述控制信息：所述控制信息针对每个预定数据单位来设定并且在与所述数据单位相对应的信息中进行传送。

19.根据权利要求12所述的图像处理装置，

其中，所述控制信息获取单元获取下述控制信息：所述控制信息针对多级层次化数据单位中的每一个来设定并且在与已设定所述控制信息的各个层次级别相对应的信息中进行传送。

20.一种图像处理装置的图像处理方法，所述图像处理方法包括：

在对多视图图像进行解码时在运动预测中通过所述图像处理装置获取控制信息以对是否使用基本视图的矢量作为针对相关视图的预测矢量的候选进行控制；

当根据所获取的控制信息将所述基本视图的矢量设定成用作针对所述相关视图的预测矢量的候选时，通过所述图像处理装置执行视图间运动预测(IVMP)处理以将所述基本视图的矢量设定为针对所述相关视图的当前块的预测矢量的候选；以及

通过所述图像处理装置生成针对所述当前块的预测矢量的候选列表，并且当存在包括所述基本视图的矢量的候选时，将所述候选添加至所述列表。