CN103563364A - 图像处理设备及方法 - Google Patents

Abstract

本发明涉及一种图像处理设备以及方法，其可以提高多视点编码的编码效率。参考图像索引分配器把在预测目标图像时所参考的参考图像索引交替分配给可以在视点方向上参考的参考图像以及可以在时间方向上参考的参考图像。在分配中，参考图像索引分配器参考累积在解码图片缓存器中的时间信息和视点信息，以及例如来自语法处理单元的序列参数组和片段头部等的信息。本发明可用于例如图像处理设备。

Description

图像处理设备及方法

技术领域

本发明涉及图像处理设备及方法，更特别地涉及一种能提高多视点编码的编码效率的图像处理设备及方法。

背景技术

近几年，通过使用编码格式而对图像应用压缩编码的设备得到广泛传播。该编码格式将图像数据作为数字进行处理，为了实现高效的信息传输、存储，在进行处理时利用图像信息的固有的冗长性通过离散余弦变换等正交变换和运动补偿等来进行压缩。这种编码格式的示例包括MPEG（动态图像专家组）等。

特别地，MPEG2（ISO/IEC13818-2）被定义为一种通用目标的图像编码标准，并且是一种包括了交织扫描图像和按序扫描图像、标准分辨率图像和高清晰度图像的标准。例如，MPEG2目前被广泛用于例如专业人士和普通消费者。通过使用MPEG2压缩方法，例如，4至8Mbps的比特率被赋给720×480像素的标准分辨率交织图像。通过使用MPEG2压缩方法，例如，18至22Mbps的比特率被赋给1920×1088像素的高分辨率交织图像。因此，高压缩率和优越的图像质量能够得以实现。

MPEG2主要用于适于广播用途的高质量图像编码，但不能应付比MPEG1（也即具有更高压缩率的编码格式）的比特率更低的码量（比特率）的编码格式。随着移动终端变得流行，今后对这种编码方法的需求有望增加，为了满足这种需求，MPEG4编码方法实现了标准化。关于图像编码格式，ISO/IEC14496-2标准在1998年12月被认定为国际标准。

对于标准化日程，2003年3月，H.264以及MPEG-4第10部分（高级视频码，以下用H.AVC代替）成为国际标准。

另外，作为H.264/AVC的延伸，FRExt（保真度范围延伸）在2005年2月被标准化。FRExt包括操作所需的编码工具，例如RGB，4:2:2和4:4:4，以及MPEG-2中规定的8×8DCT和量化矩阵。从而，一种能使得包含胶片噪音的电影优质地呈现出来的编码方法可使用H.264/AVC来实现，并且这种编码方法目前被广泛用于例如蓝光光碟（注册商标）。

然而，最近对于较高压缩编码的需求增加，例如，为了压缩具有大约4000×2000个像素的分辨率的压缩图像（该分辨率是高清（Hi-Vision）图像的四倍），或者在如今传播容量有限的互联网上发布高清图像，对于以更高压缩率而进行的编码有了更多的需求。因此，上述的ITU-T下的VCEG（视频码专家组）仍在继续对于提高编码效率进行研究（见非专利文献1）。

目前，为了进一步提高H.264/AVC的编码效率，由ITU-T和ISO/IEC构成的联合标准体联合合作团队-视频码（JCTVC）在叫做高效视频码（HEVC）的编码格式的标准化进程中取得进展。与HEVC相关的非专利文献2已经作为初稿发布。

顺便指出，在H.264/AVC中，当为了解码B图片而分配参考图像索引时，参考图像索引被以降序图片顺序计数（POC，其为表示图片输出顺序的信息）分配给列表L0。参考图像索引以POC升序分配给列表L1。

另外，当为了解码P图片而分配参考图像索引时，参考图像索引以降序分配。

引用清单

非专利文献

非专利文献1：“ITU-T推荐用于视听类的H.264高级视频码”，2010年3月

非专利文献2：Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,以及Gary J.Sullivian,“WD3:Working Draft3ofHigh-Efficiency Video Coding”，JCTVc-E603,2011年3月

发明内容

本发明解决的问题

然而，上述的H.264/AVC中分配参考图像索引的方法主要在相同视点内处理。因此，在多视点编码的情况下，在将参考图像索引分配给时间方向的所有参考图像之后，参考图像索引被分配给视点方向的参考图像。当被分配的参考图像索引无效率并且需要改变参考图像索引时，改变指令被传送。

这样，在多视点编码的情况下，分配参考图像索引的方法效率很低。

本发明就是针对上述情况而做出的，并且能够提高多视点编码的编码效率。

解决问题的手段

本发明的一个方面的一种图像处理设备包括：解码器，构造为解码比特流以产生图像；索引分配单元，构造为将在预测由解码器产生的图像时所参考的参考图像索引交替分配给视点方向的可参考图像和时间方向的可参考图像；以及预测器，构造为参考由索引分配单元所分配的参考图像索引的参考图像以预测解码器所产生的图像。

索引分配单元可以重复将参考图像索引按照先时间方向的可参考图像、后视点方向的可参考图像的顺序分配给时间方向的可参考图像和视点方向的可参考图像的处理。

在将参考图像索引分配给视点方向的所有可参考图像之后，索引分配单元可以将参考图像索引分配给时间方向的可参考图像。

索引分配单元可以重复将参考图像索引按照先视点方向的可参考图像、后时间方向的可参考图像的顺序分配给视点方向的可参考图像和时间方向的可参考图像的处理

在将参考图像索引分配给视点方向的所有可参考图像之后，索引分配单元可以将参考图像索引分配给时间方向的可参考图像。

索引分配单元可以从时间方向优先模式和视点方向优先模式中选择一种模式，并分配参考图像索引，其中在时间方向优先模式中，在参考图像索引被分配给时间方向的可参考图像后，参考图像索引被分配给视点方向的可参考图像，在视点方向优先模式中，在参考图像索引被分配给视点方向的可参考图像后，参考图像索引被分配给时间方向的可参考图像。

索引分配单元可以从时间方向优先模式和视点方向优先模式中选择一种模式来分配参考图像索引，并分配参考图像索引，其中在时间方向优先模式中重复将参考图像索引按照先时间方向的可参考图像、后视点方向的可参考图像的顺序分配给时间方向的可参考图像和视点方向的可参考图像的处理，在视点方向优先模式中，重复将参考图像索引按照先视点方向的可参考图像、后时间方向的可参考图像的顺序分配给视点方向的可参考图像以及分配给时间方向的可参考图像的处理。

索引分配单元可以根据识别出使用了时间方向优先模式还是视点方向优先模式的模式识别信息来分配参考图像索引。

索引分配单元可以基于序列参数集的视点参考信息来将参考图像索引分配给视点方向上的可参考图像。

在P图片的情况下基于解码顺序，在B图片的情况下基于图片顺序计数（POC），索引分配单元可以将参考图像索引分配给时间方向上的可参考图像。

索引分配单元可以从时间方向优先交替模式和视点方向优先交替模式中选择模式来分配参考图像索引，在时间方向优先交替模式中，重复以将参考图像索引分配给时间方向的可参考图像作为开始，并且将参考图像索引按照先时间方向的可参考图像、后视点方向的可参考图像的顺序分配给时间方向的可参考图像和视点方向的可参考图像的处理，在视点方向优先交替模式中，重复以将参考图像索引分配给视点方向的可参考图像作为开始，并且将参考图像索引按照先视点方向的可参考图像、后时间方向的可参考图像的顺序分配给视点方向的可参考图像和时间方向的可参考图像的处理。

索引分配单元可以根据识别出使用了时间方向优先模式还是视点方向优先模式的模式识别信息来分配参考图像索引。

本发明的一个方面一种图像处理方法，其中图像处理设备：解码比特流以产生图像；将在预测产生的图像时所参考的参考图像索引交替分配给视点方向的可参考图像和时间方向的可参考图像；以及参考所分配的参考图像索引的参考图像，并预测产生的图像。

本发明的另一方面的一种图像处理设备包括：索引分配单元，构造为将在预测图像时参考的参考图像索引交替分配给视点方向的可参考图像和时间方向的可参考图像；预测器，构造为参考由索引分配单元所分配的参考图像索引的参考图像以预测图像；以及编码器，构造为将预测器所预测的图像进行编码以产生比特流。

索引分配单元可以重复将参考图像索引按照先时间方向的可参考图像、后视点方向的可参考图像的顺序分配给时间方向的可参考图像和视点方向的可参考图像的处理。

在将参考图像索引分配给视点方向的所有可参考图像之后，索引分配单元可以将参考图像索引分配给时间方向的可参考图像。

索引分配单元可以重复将参考图像索引按照先视点方向的可参考图像、后时间方向的可参考图像的顺序分配给视点方向的可参考图像和时间方向的可参考图像的处理。

在将参考图像索引分配给视点方向的所有可参考图像之后，索引分配单元可以将参考图像索引分配给时间方向的可参考图像。

索引分配单元可以从时间方向优先模式和视点方向优先模式中选择一种模式，并分配参考图像索引，其中在时间方向优先模式中，在参考图像索引被分配给时间方向的可参考图像后，参考图像索引被分配给视点方向的可参考图像，在视点方向优先模式中，在参考图像索引被分配给视点方向的可参考图像后，参考图像索引被分配给时间方向的可参考图像。

索引分配单元可以从时间方向优先模式和视点方向优先模式中选择一种模式，并分配参考图像索引，其中在时间方向优先模式中，重复将参考图像索引按照先时间方向的可参考图像、后视点方向的可参考图像的顺序分配给时间方向的可参考图像和视点方向的可参考图像的处理，在视点方向优先模式中，重复将参考图像索引按照先视点方向的可参考图像、后时间方向的可参考图像的顺序分配给视点方向的可参考图像和时间方向的可参考图像的处理。

还可以包括传输单元，其构造为传输识别出使用了时间方向优先模式还是视点方向优先模式的模式识别信息以及由编码器产生的比特流。

基于序列参数组的视点参考信息，索引分配单元可将参考图像索引分配给视点方向的可参考图像。

在P图片的情况下基于解码顺序，在B图片的情况下基于图片顺序计数（POC），索引分配单元可将参考图像索引分配给时间方向的可参考图像。

索引分配单元可以从时间方向优先交替模式和视点方向优先交替模式中选择模式，并分配参考图像索引，在时间方向优先交替模式中，重复以将参考图像索引分配给时间方向的可参考图像作为开始，并且将参考图像索引按照先时间方向的可参考图像、后视点方向的可参考图像的顺序分配给时间方向的可参考图像和视点方向的可参考图像的处理，在视点方向优先交替模式中，重复以将参考图像索引的分配给视点方向的可参考图像作为开始，并且将参考图像索引按照先视点方向的可参考图像、后时间方向的可参考图像的顺序分配给视点方向的可参考图像和时间方向的可参考图像的处理。

还可以包括传输单元，构造为传输识别出使用了时间方向优先交替模式还是视点方向优先交替模式的模式识别信息，还可包括由编码器产生的比特流。

本发明的另一方面的一种图像处理方法，其中图像处理设备：将在预测图像时参考的参考图像索引交替分配给视点方向的可参考图像和时间方向的可参考图像；参考所分配的参考图像索引的参考图像以预测图像；以及编码由预测器预测的图像以产生比特流。

本发明的一个方面中，比特流被解码，且产生图像。进一步，在预测产生的图像时参考的参考图像的索引被交替分配给视点方向的可参考图像和时间方向的可参考图像，分配的索引的参考图像被参考，并且所产生的图像被预测。

本发明的另一个方面中，在预测产生的图像时参考的参考图像的索引被交替分配给视点方向的可参考图像和时间方向的可参考图像。然后，分配的索引的参考图像被参考，并且图像被预测，预测的图像被编码，并产生比特流。

应注意，上述图像处理设备可以是独立的设备或者可以是构造成单一图像编码设备或图像解码设备的内部块。

发明的效果

根据本发明的一个方面，图像可被解码。特别地，编码效率能够得到提高。

根据本发明的另一个方面，图像可被编码。特别地，编码效率能够得到提高。

附图说明

图1是示出了图像编码设备的典型示例结构的框图。

图2是解释分配参考图像索引的传统方法的示例的图。

图3是示出了在三视点图像的情况下视点之间的参考关系的示例的示意图。

图4是示出了在三视点图像的情况下分配参考图像索引的方法的示例的示意图。

图5是示出了序列参数组的语法的示例的示意图。

图6是示出了片段头部的语法的示例的图。

图7是解释了编码过程的流程的示例的流程图。

图8是解释参考图像索引分配过程的流程的示例的流程图。

图9是示出了图像解码设备的典型示例结构的框图。

图10是解释了编码处理的流程的示例的流程图。

图11是解释了参考图像索引分配过程的流程的示例的流程图。

图12是示出了时间第一（时间方向优先）模式的示例的图。

图13是示出了视点第一（视点方向优先）模式的示例的示意图。

图14是示出了时间第一锯齿形（时间方向优先交替）模式的示例的示意图。

图15是示出了视点第一（视点方向优先交替）模式的示例的图。

图16是示出了序列参数组的语法的示例的图。

图17是示出了分配模式和假设场景的示例的图。

图18是示出了图像编码设备的另一种典型示例结构的框图。

图19是示出了图像解码设备的另一种典型示例结构的框图。

图20是示出了计算机的典型示例结构的框图。

图21是示出了电视装置的示例结构的一个示例的框图。

图22是示出了移动电话设备的示例结构的一个示例的框图。

图23是示出了记录/再现设备的示例结构的一个示例的框图。

图24是示出了图像装置的示例结构的一个示例的框图。

具体实施方式

如下是实施本发明的方式的说明（以下简称实施例）。将按照以下顺序进行解释。

1.第一实施例（图像编码设备）

2.第二实施例（图像解码设备）

3.第三实施例（默认分配模式的四种类型的示例）

4.第四实施例（图像编码设备）

5.第五实施例（图像解码设备）

6.第六实施例（计算机）

7.修改例

<1.第一实施例>

[图像编码设备的示例结构]

图1示出了作为本发明所应用的图像处理设备的图像编码设备的一个实施例的结构。

图1所示的图像编码设备100使用预测处理来编码图像数据。编码格式的示例包括H.264和MPEG（移动图像专家组）4第10部分（AVC(高级视频码)）（以下简称H.264/AVC）系统，以及HEVC（高效视频码）系统。

在图1所示的实施例中，图像编码设备100包括模/数（A/D）转换器101、帧重排缓存器102、算法运算单元103、正交变换器104、量化器105、无损编码器106以及累积缓存器107。此外，图像编码设备100还包括逆向量化器108、逆向正交变换器109、算法运算单元110、去块滤波器111、解码图片缓存器112、选择器113、帧内预测器114、运动估计器/补偿器115、选择器116和速率控制器117。

图像编码设备100还包括语法处理单元121和参考图像索引分配单元122。

该A/D转换器101为输入图像数据实施A/D转换，将所得图像数据输出并存储在帧重排缓存器102中。

帧重排缓存器102根据GOP（图像组）结构而将所存储的、以播放顺序排列的图像帧重新安排为以编码顺序排列。帧重排缓存器102将具有重新排列的帧顺序的图像提供给语法处理单元121。

语法处理单元121按序对从帧重排缓存器102中读出的图像数据进行确认，并在图像数据中插入头部信息。头部信息包括序列参数组（SPS）、图像参数组（PPS）等。另外，语法处理单元121在片段的开始加上片段头部（SH）。

语法处理单元121将被插入了头部信息等的图像提供给算法运算单元103、帧内预测器114和运动估计器/补偿器115中。另外，语法操作单元121将头部信息以及例如片段头部等的信息提供给参考图像索引分配单元122。

算法运算单元103从由语法处理单元121提供的图像上减去预测图像，并将其差分信息输出到正交变换器104，该预测图像由帧内预测器114或运动估计器/补偿器115通过选择器116提供。

例如，当对图像实施帧内编码时，算法运算单元103从语法处理单元121提供的图像上减去由帧内预测器114提供的预测图像。进一步的，例如，当对图像实施帧间编码时，算法运算单元103从语法处理单元121提供的图像上减去由运动估计器/补偿器115提供的预测图像。

正交变换器104对由算法运算单元103提供的差分信息执行正交变换，例如，离散余弦变换或Karhunen-Loeve变换，并将变换系数提供给量化器105。

量化器105将从正交变换器104输出的变换系数进行量化。量化器105将量化变换系数提供给无损编码器106。

无损编码器106对量化的变换系数执行无损编码，例如变长编码或算法编码。

无损编码器106从帧内预测器114获取指示帧内预测模式等的信息，并从运动估计器/补偿器115获取指示帧间预测模式、运动矢量信息等。

无损编码器106对量化的变换系数进行编码，还使得帧内预测模式信息、帧间预测模式信息、运动矢量信息以及量化参数作为编码数据的头部信息的一部分（多路复用信息）被包含在其中。无损编码器106将通过编码所获得的编码后的数据提供并储存在累积缓存器107中。

例如，在无损编码器106中执行无损编码处理，例如变长编码或算法编码。变长编码的示例包括上下文的自适应变长码（CAVLC）。算法编码的一个例子包括上下文的自适应二进制算法码（CABAC）。

累积缓存器107暂时存储由无损编码器106提供的编码后的数据，并将编码后的数据作为编码图像输出给后续步骤中的录制设备（未示出）和传输路径等。

由量化器105所量化的变换系数也被提供给逆向量化器108。该逆向量化器108通过对应于量化器105执行的量化的方法将量化的变换系数进行逆向量化。逆向量化器108将所得的变换系数提供给逆向正交变换器109。

逆向正交变换器109采用对应于正交变换器104执行的正交变换处理的方法对所提供的变换系数执行逆向正交变换。向逆向正交变换（恢复的差分信息）的输出被提供给算法运算单元110。

算法运算单元110将由帧内预测器114或运动估计器/补偿器115通过选择器116提供的预测图像与由逆向正交变换器109所提供的逆向正交变换结果（也即恢复的差分信息）相加而获取本地解码图像（被解码的图像）。

例如，当差分信息对应于施加帧内编码的图像时，算法运算单元110将帧内预测器114提供的预测图像与差分信息相加。进一步，例如，当差分信息对应于施加帧间编码的图像时，算法运算单元110将运动估计器/补偿器115提供的预测图像与差分信息相加。

相加结果被提供给去块滤波器111和解码图片存储器112。

去块滤波器111通过合适地执行去块滤波处理而从解码图像上移除块失真。去块滤波器111将滤波结果提供给解码图片存储器112。

在预定的时机，解码图片存储器112通过选择器113输出所累积的参考图像至帧内预测器114或运动估计器/补偿器115。

例如，当对图像施加帧内编码时，解码图片存储器112通过选择器113将参考图像提供给帧内预测器114。进一步，例如，当对图像施加帧间编码时，解码图片存储器112通过选择器113将参考图像提供给运动估计器/补偿器115。

当解码图片存储器112所提供的参考图像是待执行帧内解码的图像时，选择器113将该参考图像提供给帧内预测器114。进一步，当解码图片存储器112所提供的参考图像是施加帧间解码的图像时，选择器113将该参考图像提供给运动估计器/补偿器115。

帧内预测器114通过使用由语法处理单元121提供的输入图像帧内的像素值执行帧内预测（帧内预测）以产生预测图像。帧内预测器114以多种的模式（帧内预测模式）执行帧内预测。

帧内预测器114产生所有帧内预测模式的预测图像，评估预测图像，并选择最佳模式。在选择了最佳帧内预测模式之后，帧内预测器114把以最佳预测模式所产生的预测图像通过选择器116提供给算法运算单元113以及算法运算单元110。

另外，如上所述的，帧内预测器114还把信息，例如，指示出所采用的帧内预测模式的帧内预测模式信息合适地提供给无损编码器106。

通过使用由语法处理单元121提供的输入图像以及通过选择器113由解码图片缓存器112提供的参考图像，运动估计器/补偿器115对待执行帧间编码的图像执行运动差别预测。此时，运动估计器/补偿器115使用由参考图像索引分配单元122分配的参考图像索引的参考图像。根据探测到的运动矢量和差别矢量，运动估计器/补偿器115执行运动补偿处理，从而产生预测图像（帧间预测图像信息）。

运动估计器/补偿器115以所有备选的帧间预测模式执行帧间预测处理，以产生预测图像。运动估计器/补偿器115通过选择器116将产生的预测图像提供给算法运算单元103和算法运算单元110。

进一步，运动估计器/补偿器115将指示出所采用的帧间预测模式的帧间预测模式信息以及指示出计算所得的运动矢量的运动矢量信息提供给无损编码器106。

当对图像施加帧内编码时，选择器116将帧内预测器114的输出提供给算法运算单元103和算法运算单元110，并且当对图像施加帧间编码时，选择器116将运动估计器/补偿器115的输出提供给算法运算单元103和算法运算单元110。

基于在累积缓存器107中积累的压缩图像，速率控制器117控制量化器105的量化处理速率，从而不会导致溢位或不足。

参考图像索引分配单元122可替换地将参考图像的索引分配给视点方向上的可参考图像和时间方向上的可参考图像，其中，参考图像是当预测待处理的图像时，由运动估计器/补偿器115参考的。在分配中，头部信息（例如头部信息）和来自语法处理单元121的序列参数组作为图像的信息而被参考。另外，作为参考图像的信息，可从参考图像的头部信息中获得的参考图像的时间信息和视点信息被累积在解码图片缓存器112中。

参考图像索引分配单元122将分配的参考图像索引提供给运动估计器/补偿器115。

[分配参考图像索引的方法]

在H.264/AVC和HEVC中，分配在相同的视点中的参考图像索引的方法在下文中介绍。

当解码图像时，参考图像索引可被分配给被解码的图像。

参考图像的索引可被分配给在解码图片缓存器112中的可参考图像。参考图像索引的最大值可通过作为头部信息被传送中而被改变。

当解码图像是P图片时，相对于列表L0，较小的参考图像索引被分配给在可参考图像中在解码顺序上更接近的可参考图像。

当解码图像是B图片时，较小的参考图像索引被分配给在可参考图像中以POC（图片顺序计数，其为指示在向前方向上输出图像的顺序的信息）降序排列的可参考图像，并且之后，相对于列表L0，较小的参考图像索引被分配给在可参考图像中在向后方向上以POC升序排列的可参考图像。另外，较小的参考图像索引被分配给在可参考图像中在向后方向上以POC升序排列的可参考图像，并且现在，相对于列表L1，较小的参考图像索引被分配给在可参考图像中在向前方向上以POC降序排列的可参考图像。

图2是示出了分配参考图像索引的传统方法的示例的示意图。在图2所示的例子中，PicNum代表解码顺序的索引，POC代表时间索引（图片的输出顺序），并且方形表示图片。

应注意，图2的例子是在相同的视点（View_id=0）内的例子。图2的例子从最上面开始示出以POC顺序排列的图片，以解码顺序排列的图片以及以解码顺序排列的、在解码图片中用到的分配有参考图像索引的参考图像。进一步，在图2所示的例子中，作为参考图像索引，相对于列表L0示出ref_idx_10=0至2，相对于列表L1示出ref_idx_11=0至2。

在下文中，从左边开始的解码顺序进行说明。I_vi0是POC（输出顺序）的第0个，代表view_id=0的I图片,并且也是PicNum(解码顺序)的第0个。由于Since I_vi0是I图片，所以图像没有被参考，如带有0的箭头所示。

P_vi0在POC（输出顺序）中是第八个，代表view_id=0的P图片，并且在PicNum（解码顺序）中是第一个。P_vi0是P图片，且迄今为止仅I_vi0已被解码。因此，如带有1的箭头所示的，列表L0的参考图像索引ref_idx_l0=0被分配给I_vi0。

在POC（输出顺序）中是第四个的B4_vi0代表view_id=0的B图片，并且且在PicNum（解码顺序）中是第二个。B4_vi0是B图片，且仅I_vi0和P_vi0已被解码。因此，如带有2的箭头所示的，列表L0的参考图像索引ref_idx_l0=0被分配给I_vi0且ref_idx_l0=1被分配给P_vi0。另外，列表L1的参考图像索引ref_idx_l1=0被分配给P_vi0且ref_idx_l1=1被分配给I_vi0。

在POC（输出顺序）中是第二个的B2_vi0代表view_id=0的B图片，且在PicNum（解码顺序）中是第三个。B2_vi0是B图片,且I_vi0、P_vi0和B4_vi0已被解码。因此，如带有3的箭头所示的，列表L0的参考图像索引ref_idx_l0=0被分配给I_vi0，ref_idx_l0=1被分配给B4_vi0，ref_idx_l0=2被分配给P_vi0。另外，列表L1的参考图像索引ref_idx_l1=01被分配给P_vi0，ref_idx_l1=1被分配给B4_vi0且ref_idx_l1=2被分配给I_vi0。

在POC（输出顺序）中是第六个的B6_vi0代表view_id=0的B图片，且在PicNum（解码顺序）中是第四个。B6_vi0是B图片，且I_vi0、P_vi0、B4_vi0和B2_vi0已被解码。因此，如带有4的箭头所示的，列表L0的参考图像索引ref_idx_l0=0被分配给B2_vi0，ref_idx_l0=1被分配给B4_vi0，且ref_idx_l0=2被分配给I_vi0。另外，作为列表L1的参考图像索引的ref_idx_l1=0被分配给P_vi0，ref_idx_l1=1被分配给B4_vi0且ref_idx_l1=2被分配给B2_vi0。

在POC（输出顺序）中是第一个的B1_vi0代表view_id=0的B图片，且在PicNum（解码顺序）中是第五个。B1_vi0是B图片，且I_vi0、P_vi0、B4_vi0、B2_vi0和B6_vi0已被解码。因此，如带有5的箭头所示的，作为列表L0的参考图像索引的ref_idx_l0=0被分配给I_vi0,ref_idx_l0=1被分配给B2_vi0且ref_idx_l0=2被分配给B4_vi0。另外，作为列表L1的参考图像索引的ref_idx_l1=0被分配给B2_vi0，ref_idx_l1=1被分配给B4_vi0，且ref_idx_l1=2被分配给B6_vi0。

在POC（输出顺序）中是第三个的B3_vi0代表view_id=0的B图片，且在PicNum（解码顺序）中是第六个。B3_vi0是B图片，且I_vi0、P_vi0、B4_vi0、B2_vi0、B6_vi0和B1_vi0已被解码。因此，如带有6的箭头所示的，作为对列表L0的参考图像索引的ref_idx_l0=0被分配给B2_vi0，ref_idx_l0=1被分配给B1_vi0且ref_idx_l0=2被分配给I_vi0。另外，作为对列表L1的参考图像索引ref_idx_l1=0被分配给B4_vi0，ref_idx_l1=1被分配给B6_vi0，且ref_idx_l1=2被分配给P_vi0。

在POC（输出顺序）中是第五个的B5_vi0代表view_id=0的B图片，且在PicNum（解码顺序）中是第七个。B5_vi0是B图片，且I_vi0、P_vi0、B4_vi0、B2_vi0、B6_vi0、B1_vi0和B3_vi0已被解码。因此，如带有7的箭头所示的，作为对列表L0的参考图像索引的ref_idx_l0=0被分配给B4_vi0，ref_idx_l0=1被分配给B3_vi0且ref_idx_l0=2被分配给B2_vi0。另外，作为对列表L1的参考图像索引的ref_idx_l1=0被分配给B6_vi0，ref_idx_l1=1被分配给P_vi0，且ref_idx_l1=2被分配给B4_vi0。

在POC（输出顺序）中是第七个的B7_vi0代表view_id=0的B图片，且在PicNum（解码顺序）中是第八个。B7_vi0是B图片，且I_vi0、P_vi0、B4_vi0、B2_vi0、B6_vi0、B1_vi0、B3_vi0和B5_vi0已被解码。因此，如带有8的箭头所示的，作为对列表L0的参考图像索引的ref_idx_l0=0被分配给B6_vi0，ref_idx_l0=1被分配给B5_vi0且ref_idx_l0=2被分配给B4_vi0。另外，作为对列表L1的参考图像索引的ref_idx_l1=0被分配给P_vi0，ref_idx_l1=1被分配给B6_vi0，且ref_idx_l1=2被分配给B5_vi0。

然而，上述分配参考图像索引的方法是在相同视点的情况下进行的。相反的，在多视点编码的情况下，在H.264/AV和HEVC中，当索引被分配给所有的时间方向上的参考图像之后，参考图像索引被分配给视点方向上的参考图像。然后，如果因为分配了参考图像索引的编码效率而需要改变参考图像索引时，在每个情况下都传送改变指令，并且传送本身将导致编码效率的下降。

以下描述在多视点情况下为了提高编码效率而分配参考图像索引的默认方法。

图3是示出了在三视点图像的情况下视点之间的参考关系的示意图。图3中的例子示出了从左边开始以POC升序（也即，以升序排列的时间信息）排列的I图片、B2图片、B1图片、B2图片、B0图片、B2图片、B1图片、B2图片和P图片。PicNum的索引也在POC索引的上方示出。

另外，从上面开始也示出了视点0(View_id_0)、视点1(View_id_1)和视点2(View_id_2)具有相同的时间信息和不同的差别信息。

图3的例子示出了视点0、视点2和视点1以这种顺序进行解码。

视点0被称为基视点，其图像可以使用时间预测来编码。视点1和视点2被称为非基视点，其图像可使用时间预测和差别预测来编码。

在差别预测中，视点1的图像可参考视点0和视点2的编码图像，如箭头所示。因此，其中的视点1在POC中是第八个的P图片是时间预测的P图片，但在差别预测中称为B图片。

在差别预测中，视点2的图像可参考视点0的编码图像，如箭头所示。

在图3的三视点图像中，解码如下进行，首先，基视点的图像被解码，其他视点的图像被全部解码，并且然后，开始下一时间（PicNum）的基视点图像的解码。

这里，通常有这样的情况：在参考图像中，具有高参考率的参考图像通常是时间上最接近要被预测的图像的参考图像，并且与预测图像相同时间的图像并具有不同视角的图像。

根据前述，在图像解码设备100中，相对于三视点图像，如下的参考图像索引的分配默认执行。

参考图像索引分配单元122参考解码图像的时间信息和视点信息以及参考图像的时间信息和视点信息，并且执行参考图像索引至可参考图像的分配。此处，时间信息是POC和PicNum。视点信息是视点ID和下文所述的序列参数的视点参考信息。

参考图像索引分配单元122按序将来自相同视点的较小的参考图像分配给不同的视点，并且将较小的参考图像索引分配给与被解码图像的时间较近的参考图像。

作为分配的方法，参考图像索引分配单元122交替将参考图像索引分配给相同视点、不同时间的参考图像以及相同时间、不同视点的参考图像。应注意，参考图像索引可以连续的分配给相同时间的多个视点。

当解码视点1的图像时，参考图像索引分配单元122将同一时间的视点0和视点2的图像和过去时间的所有视点的图像都作为可参考图像。

另外，当解码视点1的图像时，参考图像索引分配单元122将同一时间的视点1和视点0的图像作为相对于列表L0的参考图像，将同一时间的视点1和视点2的图像作为相对于列表L1的参考图像。然后，在任一情况下，参考图像索引被交替地分配给相同视点、不同时间的参考图像以及相同时间、不同视点的参考图像。应注意，一个视点中参考图像的顺序相对于列表L0是向前方向的POC升序，并且相对于L1是向后方向的POC降序。在P图片的情况下，顺序是降序。

例如，相对于列表L0，参考图像索引分配单元122首先将参考图像索引=0分配给相同视点（视点1）的、且在过去的时间中具有最近的时间距离的参考图像。接下来，参考图像索引分配单元122将参考图像索引=1分配给视点0的、相同时间的参考图像。另外，参考图像索引分配单元122将参考图像索引=2分配给相同视点（视点1）的、且具有下一个最近的时间距离的参考图像。然后，参考图像索引分配单元122将参考图像索引=3分配给相同视点0的、且具有下一个最近的时间距离的参考图像。这种重复对于参考图像索引=4以及后续的索引按需执行。

另外，相对于列表L1，参考图像索引分配单元122首先将参考图像索引=0分配给相同视点（视点1）的、且在过去的时间中具有最近的时间距离的参考图像。接下来，参考图像索引分配单元122将参考图像索引=1分配给视点2的、相同时间的参考图像。另外，参考图像索引分配单元122将参考图像索引=2分配给相同视点（视点1）的、且具有下一个最近的时间距离的参考图像。然后，参考图像索引分配单元122将参考图像索引=3分配给相同视点2的、且具有下一个最近的时间距离的参考图像。这种重复对于参考图像索引=4以及后续的索引按需执行。

应注意，下文中，相同视点和不同时间的参考图像也将称为时间方向上的可参考图像，相同时间、不同视点的参考图像也将称为视点方向上的可参考图像。

基于上述三视点图像情况下的分配参考图像索引的方法，将描述图4的例子。

图4是示出了通过参考图像索引分配单元122进行分配参考图像索引的方法的示意图。在图4的例子中，PicNum代表解码顺序的索引，POC代表时间的索引（图片的输出顺序），方块代表图片。

应注意，图4的例子是视点0(View_id_0)、视点1(View_id_1)和视点2(View_id_2)的三视点图片的例子，并且三视点的解码顺序按照视点0、视点2和视点1进行。

在图4的例子中，从上边开始，示出了按照POC顺序安排的三视点图片，按照解码顺序安排的三视点图片以及在解码视点1的图片（解码顺序）时使用的参考图像索引被分配的参考图片。另外，在图4所示的例子中，作为参考图像索引，相对于列表L0示出ref_idx_l0=0至3，相对于列表L1示出ref_idx_l1=0至3。

下文中，视点1的解码图像的例子用具有白色字的黑色方块来示出，下面以从左开始的解码顺序进行描述。在POC（输出顺序）中是第0个的I_vi1代表view_id=1的I图片，并且在PicNum(decodingorder)中是第0个。因为I_vi1是I图片，图像没有被参考，如带有0的箭头所示。

在POC（输出顺序）中是第八个的P_vi1代表view_id=1的P图片，且在PicNum（解码顺序）中是第一个。P_vi1是P图片，且I_vi0、I_vi2、I_vi1、Pvi0和P_vi2已被解码。应注意，参考图3，如上所述的，P_vi1在视点中是B图片。

因此，如带有1的箭头所示的，列表L0的参考图像索引ref_idx_l0=0被分配给作为相同视点的I_vi1，ref_idx_l0=2被分配给作为不同视点的P_vi0。另外，作为对列表L1的参考图像索引的ref_idx_l0=0被分配给作为相同视点的I_vi1，ref_idx_l0=2被分配给作为不同视点的P_vi2。

在POC（输出顺序）中是第四个的B4_vi1代表view_id=1的B图片，且在PicNum（解码顺序）中是第二个。B4_vi1是B图片，且仅I_vi0、I_vi2、I_vi1、Pvi0、P_vi2、P_vi1、B4_vi0和B4_vi2已被解码。

因此，如带有2的箭头所示的，作为对列表L0的参考图像索引的ref_idx_l0=0被分配给作为相同视点的I_vi1，且ref_idx_l0=1被分配给作为不同视点的B4_vi0。接下来，ref_idx_l0=2被分配给作为相同视点的P_vi1，且ref_idx_l0=3被分配给作为不同视点的I_vi0。

另外，作为列表L1的参考图像索引的ref_idx_l1=0被分配给作为相同视点的P_vi1，且ref_idx_l0=1被分配给作为不同视点的B4_vi2。接下来，ref_idx_l0=2被分配给作为相同视点的I_vi1，且ref_idx_l0=3被分配给作为不同视点的P_vi2。

在POC（输出顺序）中是第二个的B2_vi1代表view_id=1的B图片，且在PicNum（解码顺序）中是第三个。B2_vi1是B图片,且I_vi0、I_vi2、I_vi1、Pvi0、P_vi2、P_vi1、B4_vi0、B4_vi2、B4_vi1、B2_vi0和B2_vi2已被解码。

因此，如带有3的箭头所示的，作为对列表L0的参考图像索引ref_idx_l0=0被分配给作为相同视点的I_vi1，ref_idx_l0=1被分配给作为不同视点的B2_vi0。接下来，ref_idx_l0=2被分配给作为相同视点的B4_vi1，参考图像索引ref_idx_l0=3被分配给作为不同视点的I_vi0。

另外，作为列表L1的参考图像索引的ref_idx_l1=0被分配给作为相同视点的B4_vi1，且ref_idx_l0=1被分配给作为不同视点的B2_vi2。接下来，ref_idx_l0=2被分配给作为相同视点的P_vi1，且ref_idx_l0=3被分配给作为不同视点的B4_vi2。

在POC（输出顺序）中是第六个的B6_vi1代表view_id=1的B图片，且在PicNum（解码顺序）中是第四个。B6_vi1是B图片，且I_vi0、I_vi2、I_vi1、Pvi0、P_vi2、P_vi1、B4_vi0、B4_vi2、B4_vi1、B2_vi0、B2_vi2、B2_vi1、B6_vi0和B6_vi2已被解码。

因此，如带有4的箭头所示的，作为对列表L0的参考图像索引的ref_idx_l0=0被分配给作为相同视点的B4_vi1，ref_idx_l0=1被分配给作为不同视点的B6_vi0。接下来，ref_idx_l0=2被分配给作为相同视点的B2_vi1，ref_idx_l0=3被分配给作为不同视点的B4_vi0。

另外，作为对列表L1的参考图像索引的ref_idx_l1=0被分配给作为相同视点的P_vi1，ref_idx_l0=1被分配给作为不同视点的B6_vi2。接下来，ref_idx_l0=2被分配给作为相同视点的B4_vi1，ref_idx_l0=3被分配给作为不同视点的P_vi2。

在POC（输出顺序）中是第一个的B1_vi1代表view_id=1的B图片，且在PicNum（解码顺序）中是第五个。B1_vi1是B图片，且I_vi0、I_vi2、I_vi1、Pvi0、P_vi2、P_vi1、B4_vi0、B4_vi2、B4_vi1、B2_vi0、B2_vi2、B2_vi1、B6_vi0、B6_vi2、B6_vi1、B1_vi0和B1_vi2已被解码。

因此，如带有5的箭头所示的，作为对列表L0的参考图像索引的ref_idx_l0=0被分配给作为相同视点的I_vi1，ref_idx_l0=1被分配给作为不同视点的B1_vi0。接下来，ref_idx_l0=2被分配给作为相同视点的B2_vi1，ref_idx_l0=3被分配给作为不同视点的I_vi0。

另外，作为对列表L1的参考图像索引的ref_idx_l1=0被分配给作为相同视点的B2_vi1，ref_idx_l0=1被分配给作为不同视点的B1_vi2。接下来，ref_idx_l0=2被分配给作为相同视点的B4_vi1，ref_idx_l0=3被分配给作为不同视点的B2_vi2。

在POC（输出顺序）中是第三个的B3_vi1代表view_id=1的B图片，且在PicNum（解码顺序）中是第六个。B3_vi1是B图片，且I_vi0、I_vi2、I_vi1、Pvi0、P_vi2、P_vi1、B4_vi0、B4_vi2、B4_vi1、B2_vi0、B2_vi2、B2_vi1、B6_vi0、B6_vi2、B6_vi1、B1_vi0、B1_vi2、B1_vi1、B3_vi0和B3_vi2已被解码。

因此，如带有6的箭头所示的，作为对列表L0的参考图像索引的ref_idx_l0=0被分配给作为相同视点的B2_vi1，ref_idx_l0=1被分配给作为不同视点的B3_vi0。接下来，ref_idx_l0=2被分配给作为相同视点的B1_vi1，ref_idx_l0=3被分配给作为不同视点的B2_vi0。

另外，作为对列表L1的参考图像索引的ref_idx_l1=0被分配给作为相同视点的B4_vi1，ref_idx_l0=1被分配给作为不同视点的B3_vi2。接下来，ref_idx_l0=2被分配给作为相同视点的B6_vi1，ref_idx_l0=3被分配给作为不同视点的B4_vi2。

在POC（输出顺序）中是第五个的B5_vi1代表view_id=1的B图片，且在PicNum（解码顺序）中是第七个。B5_vi1是B图片，且I_vi0、I_vi2、I_vi1、P_vi0、P_vi2、P_vi1、B4_vi0、B4_vi2、B4_vi1、B2_vi0、B2_vi2、B2_vi1、B6_vi2、B6_vi1、B1_vi0、B1_vi2、B1_vi1、B3_vi0、B3_vi2、B3_vi1、B5_vi0和B5_vi2已被解码。

因此，如带有7的箭头所示的，作为对列表L0的参考图像索引的ref_idx_l0=0被分配给作为相同视点的B4_vi1，ref_idx_l0=1被分配给作为不同视点的B5_vi0。接下来，ref_idx_l0=2被分配给作为相同视点的B3_vi1，ref_idx_l0=3被分配给作为不同视点的B4_vi0。

另外，作为对列表L1的参考图像索引的ref_idx_l1=0被分配给作为相同视点的B6_vi1，ref_idx_l0=1被分配给作为不同视点的B5_vi2。接下来，ref_idx_l0=2被分配给P_vi1。接下来，ref_idx_l2=0被分配给作为相同视点的P_vi1，ref_idx_l0=3被分配给作为不同视点的B6_vi2。

在POC（输出顺序）中是第七个的B7_vi1代表view_id=1的B图片，且在PicNum（解码顺序）中是第八个。B7_vi1是B图片，且I_vi0、I_vi2、I_vi1、Pvi0、P_vi2、P_vi1、B4_vi0、B4_vi2、B4_vi1、B2_vi0、B2_vi2、B2_vi1、B6_vi0、B6_vi2、B6_vi1、B1_vi0、B1_vi2、B1_vi1、B3_vi0、B3_vi2、B3_vi1、B5_vi0、B5_vi2、B5_vi1、B7_vi0和B7_vi2已被解码。

因此，如带有8的箭头所示的，作为对列表L0的参考图像索引的ref_idx_l0=0被分配给作为相同视点的B6_vi1，ref_idx_l0=1被分配给作为不同视点的B7_vi0。接下来，ref_idx_l0=2被分配给作为相同视点的B5_vi1，ref_idx_l0=3被分配给作为不同视点的B6_vi0。

另外，作为对列表L1的参考图像索引的ref_idx_l1=0被分配给作为相同视点的P_vi1，ref_idx_l0=1被分配给作为不同视点的B7_vi2。接下来，ref_idx_l0=2被分配给作为相同视点的B6_vi1，ref_idx_l0=3被分配给作为不同视点的P_vi2。

如上所述的，参考图像索引交替分配给时间方向上的可参考图像和视点方向上的可参考图像。因此，较小的参考图像索引被分配给具有更高参考率的参考图像。结果，编码效率得到提高。

也即，较小的参考图像索引对应较小的编码量。因此，较小的索引被分配给具有更高参考率的参考图像，进而使得整体编码量很小。

另外，参考图像索引可以通过传送参考图像索引的改变指令而自由地改变。此时，需要编码改变指令信息。

同时，通过使用上述默认的分配参考图像索引，有更多的机会适当地分配参考图像索引，并且更少的机会传送改变指令。因此，编码效率能够进一步提高。

图5是示出了序列参数组的语法的例子。图中各行的左端是为了说明而采用的行号。

在图5所示的例子中，max_num_ref_frames设在第21行。max_num_ref_frames是在该流中参考图像的最大值（数量）。借此，参考图像索引分配单元122识别可分配的参考图像的数量。

视点参考信息写在第31至38行。例如，视点参考信息由视点的总数、视点的标识符、列表L0中差别预测的数量、列表L0中的参考视点的标识符、列表L1中的差别预测的数量以及列表L1中参考视点的标识符构造成。

具体的，num_views设置在第31行。num_views是包括在该流中的视点的总数。

view_id[i]设置在第33行。view_id[i]是区别视点的标识符。

num_ref_views_l0[i]设置在第34行。num_ref_views_l0[i]是列表L0中差别预测的数量。例如，当“num_ref_views_l0[i]”是2时，其表示在列表L0中有两个视点可参考。

ref_view_id_l0[i][j]设置在第35行。ref_view_id_l0[i][j]是列表L0中差别预测所参考的视点的标识符。例如，即使有三个视点，当“num_ref_views_l0[i]”是2时，“ref_view_id_l0[i][j]”仍设置为识别在三个视点中哪两个由列表L0参考。

num_ref_views_l1[i]设置在第36行。num_ref_views_l1[i]是列表L1中差别预测的数量。例如，当“num_ref_views_l1[i]”是2时，表示在列表L1中仅两个视点可参考。

ref_view_id_l1[i][j]设置在第37行。ref_view_id_l1[i][j]是列表L1中差别预测中所参考的视点的标识符。例如，即使有三个视点，当“num_ref_views_l1[i]”是2时，“ref_view_id_l1[i][j]”设置为识别在三个视点中哪两个由列表L1参考。

图6是示出了片段头部的语法的例子的示意图。图中各行的左端是为了说明而采用的行号。

在图6所示的例子中，slice_type设置在第5行。slice_type指示出片段中哪个是I片段、P片段和B片段。

view_id设置在第8行。view_id是识别视点的ID。借此，参考图像索引分配单元122可以识别视点。

pic_order_cnt_lsb设置在第12行。pic_order_cnt_lsb是时间信息（也即，POC：图片顺序量）。

num_ref_idx_active_override_flag设置在第14行。num_ref_idx_active_override_flag是指示出是否参考图像索引的有效数量由默认改变的标识。当该标识是1时，在第16和17行中的设置变得有效。应注意，参考图像索引的默认有效数量设置在图片参数组（未示出）中，并且当该标识是0时，默认值变得有效。

num_ref_idx_l0_active_minus1设置在第16行。num_ref_idx_l0_active_minus1指示出当第15行的标识是1时，列表L0中的参考图像索引的有效数量。

num_ref_idx_l1_active_minus1设置在第17行。num_ref_idx_l1_active_minus1指示出第5行的片段类型是B片段，并指示出当第15行的标识是1时，列表L1中的参考图像索引的有效数量。

[编码处理流程]

接下来描述上述图像编码设备100执行的每个处理中的流程。首先参考图7所示的流程图，描述了编码处理中的一个示例流程。

在步骤S101中，A/D转换器101对输入图像执行A/D转换。在步骤S102中，帧重排缓存器102存储由A/D转换所得的图像，并把每个图像由播放顺序排列为编码顺序。

在步骤S103中，语法处理单元121依序确认从帧重排缓存器102中读出的图像数据，并将头部信息插入在图像的数据中。语法处理单元121将插入了头部信息等的图像提供给算法运算单元103、帧内预测单元114和运动估计器/补偿器115。另外，语法处理单元121将例如序列参数组和片段头部等信息提供给参考图像索引分配单元122。

在步骤S104中，算法运算单元103计算由语法处理单元121提供的图像与预测图像之间的差分。预测图像通过选择器116在执行帧间预测时由运动估计器/补偿器115提供给算法运算单元103，并且在执行帧内预测时由帧内预测器114提供给算法运算单元103。

差分数据的数据量小于原始图像数据的量。因此，可以使得数据量小于对图像直接编码的情况。

在步骤S105中，正交变换器104对由步骤S104中的处理所产生的差分信息执行正交变换。特别地，执行例如离散余弦变换或Karhunen-Loeve变换等正交变换，并输出变换系数。

在步骤S106中，量化器105对由步骤S105中的处理获取的正交变换系数进行量化。

由步骤S106中的处理量化了的差分信息按以下方式进行本地解码。在步骤S107中，通过使用与量化器105的特征相对应的特征，逆向量化器108将由步骤S106中的处理所产生的量化后的正交变换系数（还被称作量化后的系数）进行逆向量化。

在步骤S108中，通过使用与正交变换器104的特征相对应的特征，逆向正交变换器109对由步骤S107中的处理获取的正交变换系数执行逆向正交变换。

在步骤S109中，算法运算单元110将预测图像与本地解码差分信息相加，并产生本地解码图像（对应于输入至算法运算单元103的图像）。

在步骤S110中，去块滤波器111对由步骤S109中的处理所产生的图像执行去块滤波处理。因此，块失真被移除。

在步骤S111中，解码图片缓存器112存储已经由步骤S110的处理移除了块失真的图像。应当注意的是，未经过由去块滤波器111执行的滤波处理的图像由算法运算单元110提供给解码图片缓存器112，且存储在解码图片缓存器112中。

在步骤S112中，帧内预测器114以帧内预测模式执行帧内预测处理。

在步骤S113中，参考图像分配单元122执行参考图像索引的分配过程。将参考图8来详细描述参考图像索引的分配过程。参考图像分配单元122将分配的参考图像索引提供给运动估计器/补偿器115。

在步骤S114中，运动估计器/补偿器115执行帧间运动差别预测过程，其通过使用由步骤S113的处理分配的参考图像索引的参考图像，以帧间预测模式执行运动差别预测或运动差别补偿。

在步骤S115中，基于从帧内预测器114和运动估计器/补偿器115输出的成本函数值，选择器116确定最佳预测模式。也即，选择器116选择由帧内预测器114产生的预测图像或者由运动估计器/补偿器115产生的预测图像。

进一步的，指示哪幅预测图像已被选择的选择信息被提供给帧内预测器114或运动估计器/补偿器115中其预测图像已经被选择的那个。当最佳帧内预测模式的预测图像被选择时，帧内预测器114将指示出最佳帧内预测模式的信息（即帧内预测模式信息）提供给无损编码器106。

当最佳帧间预测模式的预测图像被选择时，运动估计器/补偿器115将指示最佳帧间预测模式的信息以及根据最佳帧间预测模式的信息按照需要提供给无损编码器106。根据最佳帧间预测模式的信息的例子可以包括运动矢量信息、标识信息、和参考帧信息等。

在步骤S116中，无损编码器106对由步骤S106中的处理量化的变换系数进行编码。也即，无损编码（例如变长编码或算法编码）被施加到差分图像（在帧间预测的情况下，是次差分图像）。

无损编码器106还将由步骤S115中的处理选择的预测图像的预测模式进行编码与通过编码差分图像而获得的编码数据相加。也即，无损编码器106还将由帧内预测器114提供的帧内预测模式信息或者由运动估计器/补偿器115提供的根据最佳帧间预测模式的信息等与编码数据相加。

在步骤S117中，累积缓存器107累积由无损编码器106输出的编码数据。在累积缓存器107累积的编码数据被按照需要读取，并通过传输路径被传送至解码侧。

在步骤S118中，基于由步骤S115中的处理在累积缓存器107中累积的压缩图像，速率控制器117控制量化器105的量化处理速率，以防止溢位或不足。

在步骤S118完成后，编码处理结束。

[参考图像索引分配流程]

接下来参考图8中的流程图来描述图7的步骤S113中执行的参考图像索引分配过程的流程的示例。应注意，该过程仅在解码图像（即，待预测的图像）是P图片或B图片的情况下执行。

在上述图7的步骤S103中，语法处理单元121将解码图像的例如序列参数组和片段头部等信息提供给参考图像索引分配单元122。

在步骤S131中，参考图像索引分配单元122接收解码图像的视点参考信息。该视点参考信息被写在来自于语法处理单元121的序列参数上，如参考图5所述的。通过获得视点参考信息，参考图像索引分配单元122能识别将要在列表L0和L1中参考的视点的数量和标识符。

在步骤S132中，参考图像索引分配单元122接收参考图像的最大值。该参考图像的最大值设置在参考图5描述的序列参数的max_num_ref_frames中。

在步骤S133中，参考图像索引分配单元122判断解码图像的图片类型是否是P图片。解码图像的图片类型写在上述参考图6的片段头部slice_type中。在步骤S133中，当判断为解码的图像类型是P图片时，处理过程继续至步骤S134。

应注意，在下面的过程中，参考来自解码图片缓存器122中的参考图像的时间信息和视点信息。

在步骤S134中，参考图像索引分配单元122将列表L0的参考图像索引分配给没被分配参考图像索引且在解码顺序上最接近的相同视点的参考图像。

在步骤S135中，参考图像索引分配单元122将列表L0的参考图像索引分配给没被分配参考图像索引且具有虽小于但最接近解码图像的视点的ID的相同时间的参考图像。

在步骤S136中，参考图像索引分配单元122判断是否已经完成将参考图像索引分配至同一时间的所有视点的参考图像。在步骤S136中，当判断为还没有完成将参考图像索引分配至同一时间的所有视点的参考图像时，处理返回步骤S135，并重复后续步骤。

在步骤S136中，当判断为已经完成将参考图像索引分配至同一时间的所有视点的参考图像时，处理继续进行至步骤S137。在步骤S137中，参考图像索引分配单元122判断参考图像的索引是否小于步骤S132中接收的参考图像的最大值（数量）。

在步骤S137中，当判断为参考图像的索引小于参考图像的最大值时，处理返回步骤S134并重复后续步骤。在步骤S137中，当判断为参考图像的索引是大于参考图像的最大值，则没有待分配索引的参考图像，并且因此，参考图像索引分配处理终止，并且处理返回图7的步骤S133。

同时，在步骤S133，当判断为解码图像的图片类型是B图片，处理继续进行至步骤S138。

在步骤S138中，参考图像索引分配单元122将列表L0的一个参考图像索引分配给没有被分配参考图像索引且具有在解码顺序上最接近的相同视点的参考图像。

在步骤S139中，参考图像索引分配单元122将列表L0的一个参考图像索引分配给没有被分配参考图像索引且具有虽ID小于但最接近解码图像的视点的参考图像。

在步骤S140中，参考图像索引分配单元122判断是否已经完成将参考图像索引分配到同一时间所有视点的参考图像。在步骤S140中，当判断为还没有完成将参考图像索引分配到同一时间所有视点的参考图像时，处理回到步骤S139，并重复后续流程。

在步骤S140中，当判断为已经完成将参考图像索引分配到同一时间所有视点的参考图像时，处理进行至步骤S141。在步骤S141中，参考图像索引分配单元122将列表L1的一个参考图像索引分配给未被分配参考图像索引且在解码顺序上最接近的相同视点的参考图像。

在步骤S142中，参考图像索引分配单元122将列表L1的一个参考图像索引分配给未被分配参考图像索引且具有虽小于但最接近解码图像的视点的ID的相同时间的参考图像。

在步骤S143中，参考图像索引分配单元122判断是否已经完成将参考图像索引分配到相同时间所有视点的参考图像。在步骤S143中，当判断为还没有完成将参考图像索引分配到相同时间所有视点的参考图像时，处理回到步骤S142，并重复后续流程。

在步骤S143中，当确定了将参考图像索引分配到相同时间所有视点的参考图像已完成时，处理往下进行至步骤S144。在步骤S144中，参考图像索引分配单元122判断参考图像的索引是否小于在步骤S132中接收到的参考图像的最大值（数量）。

在步骤S144中，当判断为参考图像的索引小于参考图像的最大值时，处理回到步骤S138，并重复后续流程。在步骤S144中，当判断为参考图像的索引是参考图像的最大值或更大时，没有需要分配索引的参考图像。因此，参考图像索引分配过程终止，流程回到图7的步骤S113中。

应注意，当参考图像的索引在步骤S137和S144中在达到参考图像的最大值之前参考图像的索引为片段头部设置的默认有效数或在达到参考图像的最大值之前设置的图片参数时，现在的流程也终止。

如上所述，参考图像索引被交替的分配给时间方向的参考图像和视点方向的参考图像。因此，较小的参考图像索引被分配给具有更高参考率的参考图像。因此，编码效率能够得到提高。

应注意，在图8的例子中描述了一个示例，其中，索引被分配给相同时间的所有视点的参考图像，然后索引被分配给下一个最近的解码顺序的参考图像。也即，上述描述了一个示例，其中，连续的索引被分配给相同时间所有视点的参考图像，但分配不限于上述例子。例如，索引可以一个接一个的交替分配给在时间方向和视点方向的参考图像。

可替换的，连续的索引可以仅分配给图5的序列参数组的视点参考信息所指示的数量的视点。

也即，列表L0和列表L1的差别预测的数量在序列参数组的视点参考信息中设在“num_ref_views_l0”和“num_ref_views_l1”中。进一步的，差别预测中参考的视点的标识符设在“ref_view_id_l1”和“ref_view_id_l0”中。因此，当索引被分配给视点方向上的参考图像时，连续的索引仅分配给基于参考信息的视点参考信息中所设置的视点。

进一步的，当索引被交替分配给时间方向和视点方向的参考图像时，索引的分配可以基于视点参考信息而确定。

可以认为，由视点参考信息所指示的视点在图像中有相对好的相关性，而视点参考信息所未指示的视点在图像中有相对低的相关性。因此，编码效率可以通过使用索引的分配信息来进一步得到提高，在未被视点参考信息所指示的视点没有用作待分配的视点的位置的情况下，被视点参考信息所指示的视点被优先分配。

进一步的，在图8的例子中，索引首先已经在时间方向上被分配给参考图像。然而，索引可以首先在视点方向上分配给参考图像，然后可以在时间方向上分配。此外，将参考图像索引首先在视点方向上分配给所有的参考图像，然后将参考图像索引在时间方向上分配给参考图像是可能的。此外，视点方向上的参考图像可以限制在由视点参考信息所指示的视点上。

进一步的，按照类似于图8的顺序交替分配索引给时间方向上的参考图像以及在视点方向上的参考图像的模式是时间方向优先模式。相反的，交替将索引分配至视点方向上的参考图像和时间方向上的参考图像的模式是视点方向优先模式。

可以构造为将这两种模式提前设定，并且指示出两种模式中选择了哪种的一个比特模式标识符被传送给解码侧，索引的分配根据解码侧的标识符来执行。这种模式标识符可以为例如每个片段传送。

例如，良好的模式是取决于图像而不同的，例如，静止的图像或移动的图像。因此，通过传输这种模式选择标识符，编码效率相对于例如由图像传送改变指令的情况得到了提高。

<2.第二实施例>

[图像解码设备]

图9示出了应用本发明的作为图像处理设备的图像解码设备的一个实施例的结构。图9所示的图像解码设备200是一个对应于图1所示的图像编码设备100的解码设备。

由图像编码设备100所编码的编码数据通过预定的传输路径被传输至对应于图像编码设备100的图像解码设备200，然后被解码。

如图9所示的，图像解码设备200包括累积缓存器201、无损解码器202、逆向量化器203、逆向正交变换器204、算法运算单元205、去块滤波器206、帧重排缓存器207以及D/A转换器208。图像解码设备200还包括解码图片缓存器209、选择器210、帧内预测器211、运动估计器/补偿器212和选择器213。

此外，图像解码设备200包括语法处理单元221和参考图像索引分配单元222。

累积缓存器201累积传输的编码数据。该编码数据已由图像编码设备100编码。在预定的时间，语法处理单元221从累积缓存器201中读出的编码数据中获得序列参数组、图片参数组、片段头部等，并将所得的头部信息与编码信息提供给无损解码器202。另外，语法处理单元221将所获得的的头部信息等提供给参考图像索引分配单元222。

以对应于图1所示的无损编码器106所使用的编码格式的格式，无损解码器202对从语法处理单元221读取的编码数据进行解码。逆向量化器203对通过由无所解码器202以与图1的量化器105的量化格式相对应的格式解码而获得的系数数据（量化系数）进行逆向量化。也即，通过与图1中逆向量化器108使用的由图像编码设备100所提供的量化参数相似的方法，逆向量化器203执行量化系数的逆向量化。

逆向量化器203将逆向量化系数数据，即正交变换系数，提供给逆向量化变换单元204。以使用对应于图1所示的正交变换器104所用的正交变换格式的格式，逆向正交变换器204将正交变换系数进行逆向正交变换，并获取对应于图像编码设备100执行正交变换之前的残余误差数据的解码的残余误差数据。

通过逆向正交变换而得到的解码的残余数据被提供给算法运算单元205。另外，来自帧内预测器205或运动估计器/补偿器212的预测图像也通过选择器213被提供给算法运算单元205。

算法运算单元205将解码的残余数据与预测图像相加，得到与图像编码设备100的算法运算单元103执行预测图像相减之前的图像数据相对应的解码图像数据。算法运算单元205将解码的图像数据提供给去块滤波器206。

去块滤波器206通过适当地执行去块滤波处理而从解码图像上移除块失真。去块滤波器206将滤波处理结果提供给帧重排缓存器207。

帧重排缓存器207执行图像重排。特别地，由图1中的帧重排缓存器102重排成编码顺序的帧序列被重排成原始的播放顺序。D/A转换器208对由帧重排缓存器207所提供的图像执行D/A转换，并将转换后的图像输出至显示器（未示出）来显示图像。

进一步的，去块滤波器206的输出被提供给解码图片缓存器209。

解码图像存储器209、选择器210、帧内预测器211、运动估计器/补偿器212以及选择器213分别相当于图像编码设备100的解码图片缓存器112、选择器113、帧内预测器114、运动估计器/补偿器115以及选择器116。

选择器210读取来自解码图片缓存器209的待帧间处理的图像和待参考的图像，并将这些图像提供给运动估计器/补偿器212。选择器210还读取来自解码图片缓存器209的待帧内处理的图像，并将该图像提供给帧内预测器211。

无损解码器202将通过解码头部信息所获得、指示出帧内预测模式等的信息，在合适的时候，提供给帧内预测器211。基于该信息，帧内预测器211从解码图片缓存器209获得的参考图像产生预测图像，并将产生的预测图像提供给选择器213。

通过解码头部信息（预测模式信息、运动矢量信息、差别矢量信息、参考帧信息、各种参数等）所得到的信息从无损解码器202被提供给运动估计器/补偿器212。另外，由参考图像索引分配单元222所分配的参考图像索引被提供给运动估计器/补偿器212。

基于无损解码器202所提供的信息以及由参考图像索引分配单元222分配的参考图像索引，运动估计器/补偿器212从解码图片缓存器209获取的参考图像产生预测图像。运动估计器/补偿器212将产生的图像提供给选择器213。

选择器213对运动估计器/补偿器212或帧内预测器211所产生的预测图像进行选择，并将所选择的预测图像提供给算法运算单元205。

参考图像索引分配单元222的结构与图像编码设备100的参考图像索引分配单元122的结构基本相同。当预测待处理的图像时，参考图像索引分配单元222交替将由运动估计器/补偿器212所参考的参考图像的索引分配给视点方向上的可参考图像和在时间方向上的可参考图像。在分配中，头部信息，例如来自语法处理单元221的序列参数组和片段头部作为待处理的图像信息而被参考。另外，从累积在解码图片缓存器209中的参考图像的头部信息所得到的参考图像时间信息和视点信息也作为参考图像的信息而被参考。

参考图像索引分配单元222将分配的参考图像索引提供给运动估计器/补偿器212。

[解码处理流程]

接下来描述上述图像解码设备200执行的每个处理的流程。首先参考图10中的流程图，描述解码处理中的一个示例流程。

当解码处理开始时，在步骤S201中，累积缓存器201累积传输的编码数据。在步骤S202中，语法处理单元221在预定的时间从累积缓存器201中读出的编码数据中获得头部信息。语法处理单元221将获得的头部信息和编码数据提供给无损解码器202。另外，语法处理单元221将获得的头部信息等提供给参考图像索引分配单元222。

在步骤S203中，无损解码器202对由语法处理单元221提供的编码数据进行解码。特别地，图1中由无损编码器106编码的I图片，P图片，B图片被解码。

此处，从头部信息中获得运动矢量信息、差别矢量信息、参考帧信息、预测模式信息（帧内预测模式或帧间预测模式）以及例如标识符和量化参数的信息。

在预测模式信息是帧内预测模式信息时，预测模式信息被提供给帧内预测器211。在预测模式信息是帧间预测模式信息时，与预测模式信息对应的运动矢量信息被提供给运动估计器/补偿器212。

在步骤S204中，逆向量化器203对通过无损解码器202解码而获得量化的正交变换系数进行逆向量化。在步骤S205中，通过与图1所示的正交变换器104所使用的方法相对应的方法，逆向正交变换器204对通过逆向量化器203所执行的逆向量化而获得的正交变换系数执行逆向正交变换。结果，对应于图1所示的正交变换器104的输入（或算法运算单元103的输出）的差分信息被解码。

在步骤S206中，算法运算单元205将预测图像与由步骤S205的处理获取的差分信息相加。以这种方式，原始图像数据被解码。

在步骤S207中，去块滤波器206对由步骤S206的处理获取的解码图像适当地执行滤波。结果，块失真能够从解码图像上合适地移除。

在步骤S208中，解码图片缓存器209存储经滤波的解码图像。

在步骤S209中，参数图像索引分配单元222执行参考图像索引的分配过程。参考图像索引分配过程的细节将参考图11进行描述。参考图像索引分配单元222将分配的参考图像索引提供给运动估计器/补偿器212。

在步骤S210中，帧内预测器211和运动估计器/补偿器212根据从无损解码器202提供的预测模式信息来各自执行图像的预测处理。

也即，在从无损解码器202提供帧内预测模式信息的情况下，帧内预测器211执行帧内预测模式的帧内预测处理。进一步，在无损解码器202提供帧间预测模式信息的情况下，运动估计器/补偿器212通过使用由步骤S209的处理分配的参考图像索引的参考图像，以执行帧间预测模式的运动差别预测补偿处理。

在步骤S211中，选择器213选择预测图像。也即，由帧内预测器211或由运动估计器/补偿器212产生的预测图像被提供给选择器213。选择器213选择从哪一侧提供预测图像，并将预测图像提供给算法运算单元205。该预测图像由步骤S205的处理与差分信息相加。

在步骤S212中，帧重排缓存器207对解码图像数据的帧进行重排。也即，解码图像数据的为了图像编码设备100（图1）的帧重排缓存器102解码而重排的帧的顺序被重新安排为原始播放顺序。

在步骤S213中，D/A转换器208在其帧已经在帧重排缓存器207中重排的解码图像数据上执行D/A转换。解码图像被输出至显示器（未示出），并因此而显示图像。当步骤S213中的过程结束时，解码过程终止。

[参考图像索引分配的处理流程]

接下来，参考图11的流程图来描述图10中在步骤S209所执行的参考图像索引分配过程的示例。应注意，该过程仅在解码图像是P图片或B图片的情况下执行。进一步的，图11的参考图像索引分配与图8的参考图像索引分配过程基本类似。图8的处理的效果和条件也可应用于图11的处理，为了防止重复以下将不再描述这些效果和条件。

在图10的步骤S202中，语法处理单元221将例如解码图像的序列参数组和片段头部等信息提供给参考图像索引分配单元222。

在步骤S231中，参考图像索引分配单元222接收视点参考信息。该视点参考信息被写在来自于语法处理单元221的序列参数上，如参考图5所述的。通过获得视点参考信息，参考图像索引分配单元222能识别将要在列表L0和L1中参考的视点的数量和标识符。

在步骤S232中，参考图像索引分配单元222接收参考图像的最大值。该参考图像的最大值设置在参考图5描述的序列参数的max_num_ref_frames中。

在步骤S233中，参考图像索引分配单元222判断解码图像的图片类型是否是P图片。解码图像的图片类型写在上述参考图6的片段头部slice_type中。在步骤S233中，当判断为解码的图像类型是P图片时，处理过程继续至步骤S234。

应注意，在下面的过程中，参考来自解码图片缓存器209中的参考图像的时间信息和视点信息。

在步骤S234中，参考图像索引分配单元222将列表L0的一个参考图像索引分配给没被分配参考图像索引且在解码顺序上最接近的相同视点的参考图像。

在步骤S235中，参考图像索引分配单元222将列表L0的一个参考图像索引分配给没被分配参考图像索引且具有虽小于但最接近解码图像的视点的ID的相同时间的参考图像。

在步骤S236中，参考图像索引分配单元222判断是否已经完成将参考图像索引分配至同一时间的所有视点的参考图像。在步骤S236中，当判断为还没有完成将参考图像索引分配至同一时间的所有视点的参考图像时，处理返回步骤S235，并重复后续步骤。

在步骤S236中，当判断为已经完成将参考图像索引分配至同一时间的所有视点的参考图像时，处理继续进行至步骤S237。在步骤S237中，参考图像索引分配单元222判断参考图像的索引是否小于步骤S232中接收的参考图像的最大值（数量）。

在步骤S237中，当判断为参考图像的索引小于参考图像的最大值时，处理返回步骤S234并重复后续步骤。在步骤S237中，当判断为参考图像的索引是大于参考图像的最大值，那么就没有待分配索引的参考图像，因此，参考图像索引分配处理终止，并且处理返回图10的步骤S209。

同时，在步骤S233，当判断为解码图像的图片类型是B图片，处理继续进行至步骤S238。

在步骤S238中，参考图像索引分配单元222将列表L0的一个参考图像索引分配给没有被分配参考图像索引且具有在解码顺序上最接近的相同视点的参考图像。

在步骤S239中，参考图像索引分配单元222将列表L0的一个参考图像索引分配给没有被分配参考图像索引、且其ID小于但与解码图像的视点最近的参考图像。

在步骤S240中，参考图像索引分配单元222判断是否已经完成将参考图像索引分配到同一时间所有视点的参考图像。在步骤S240中，当判断为还没有完成将参考图像索引分配到同一时间所有视点的参考图像时，处理回到步骤S239，并重复后续流程。

在步骤S240中，当判断为已经完成将参考图像索引分配到同一时间所有视点的参考图像时，处理进行至步骤S241。在步骤S241中，参考图像索引分配单元222将列表L1的一个参考图像索引分配给未被分配参考图像索引且在解码顺序上最接近的相同视点的参考图像。

在步骤S242中，参考图像索引分配单元222将列表L1的一个参考图像索引分配给未被分配参考图像索引且具有虽小于但最接近解码图像的视点的ID的相同时间的参考图像。

在步骤S243中，参考图像索引分配单元222判断是否已经完成将参考图像索引分配到相同时间所有视点的参考图像。在步骤S243中，当判断为还没有完成将参考图像索引分配到相同时间所有视点的参考图像时，处理回到步骤S242，并重复后续流程。

在步骤S243中，当确定了将参考图像索引分配到相同时间所有视点的参考图像已完成时，处理往下进行至步骤S244。在步骤S244中，参考图像索引分配单元222判断参考图像的索引是否小于在步骤S232中接收到的参考图像的最大值（数量）。

在步骤S244中，当判断为参考图像的索引小于参考图像的最大值时，处理回到步骤S238，并重复后续流程。在步骤S244中，当判断为参考图像的索引是参考图像的最大值或更大时，没有需要分配索引的参考图像。因此，参考图像索引分配过程终止，流程回到图10的步骤S209中。

如上所述，参考图像索引交替的分配给时间方向和视点方向的参考图像。因此，较小的参考图像索引被分配给具有更高参考率的参考图像。因此，编码效率能够得到提高。

应注意，在上文中描述了一个示例，其中，时间方向优先的模式和视点方向优先的模式的两种类型被提前设定，且指示出两种模式中哪个被选择的一个比特类型标识符被传送给解码侧。然而，模式的类型并不局限于这两种类型。例如，如下所述的，分配模式（方法）的四种类型可提前准备，编码侧可以指定四种类型中的一种作为默认方法。

<3.第三实施例>

[分配模式的四种类型]

接下来参考图12至15来描述可被指定为默认类型的分配模式的四种类型。在图12至15的例子中，中间的B图片代表待编码的图片。在该图片右和左方向上的待编码图片代表相同视点但不同时间的参考图像（时间方向上的参考图像）。POC表示时间的索引（图片的输出顺序），并指示出时间以从A到E的顺序前进。

另外，在该图片的上和下方向上的待编码图片代表相同时间但不同视点的参考图像（视点方向的参考图像）。较小的视点ID按照ViewID=V至Z的顺序分配。

另外，粗实线箭头表示列表L0的索引的分配顺序，粗虚线箭头表示列表L1的索引的分配顺序。应注意，在图12至15的例子中，对于相对于列表L0的时间方向上的参考图像来说，较小的参考图像索引被分配给在可参考图像中向前方向上的以POC降序排列的参考图像。相对于列表L1，较小的参考图像索引被分配在可参考图像中向后方向上的以POC升序排列的参考图像。

图12的例子示出了时间第一（时间方向优先）模式。时间第一模式是一种如图12的例子所示的模式，其中索引被分配给相同视点但不同时间（时间方向的可参考图片）的参考图片，然后索引被分配给相同时间但不同视点（在视点方向的可参考图片）的参考图片。

例如，如粗实线箭头所示的，相对于列表L0，refPicList0[0]的索引被分配给B图片，其中，ViewID是X，POC是B，refPicList0[1]的索引被分配给B图片，其中，ViewID是X，POC是A。接着，refPicList0[2]的索引被分配配给B图片，其中，ViewID是W，POC是C，refPicList0[3]的索引被分配配给B图片，其中，ViewID是V，POC是C。

另外，如粗虚线箭头所示，相对于列表L1，refPicList1[0]的索引被分配给B图片，其中，ViewID是X，POC是D，refPicList1[1]的索引被分配给B图片，其中，ViewID是X，POC是E。接着，refPicList1[2]的索引被分配配给B图片，其中，ViewID是Y，POC是C，refPicList1[3]的索引被分配配给B图片，其中，ViewID是Z，POC是C。

图13的例子示出了视点第一（视点方向优先）模式。时间第一模式是一种如图13的例子所示的模式，其中索引被分配给相同时间但不同视点（视点方向的可参考图片）的参考图片，然后索引被分配给相同视点但不同时间（在时间方向的可参考图片）的参考图片。

例如，如粗实线箭头所示的，相对于列表L0，refPicList0[0]的索引被分配给B图片，其中，ViewID是W，POC是C，refPicList0[1]的索引被分配给B图片，其中，ViewID是V，POC是C。接着，refPicList0[2]的索引被分配配给B图片，其中，ViewID是X，POC是B，refPicList0[3]的索引被分配配给B图片，其中，ViewID是X，POC是A。

另外，如粗虚线箭头所示，相对于列表L1，refPicList1[0]的索引被分配给B图片，其中，ViewID是Y，POC是C，refPicList1[1]的索引被分配给B图片，其中，ViewID是Z，POC是C。接着，refPicList1[2]的索引被分配配给B图片，其中，ViewID是X，POC是D，refPicList1[3]的索引被分配配给B图片，其中，ViewID是X，POC是E。

图14的例子示出了时间第一锯齿形（时间方向优先交替模式）模式。时时间第一锯齿形模式是一种如图14的例子所示模式，其中，索引被交替分配给相同视点但不同时间（时间方向的可参考图片）的参考图片，以及相同时间但不同视点（在视点方向的可参考图片）的参考图片。应注意，在被称为时间方向优先的时间第一锯齿形模式中，索引的分配开始于相同视点但不同时间的参考图像。

例如，如粗实线箭头所示的，相对于列表L0，refPicList0[0]的索引被分配给B图片，其中，ViewID是X，POC是B，然后，refPicList0[1]的索引被分配给B图片，其中，ViewID是W，POC是C。接着，refPicList0[2]的索引被分配配给B图片，其中，ViewID是X，POC是A，refPicList0[3]的索引被分配配给B图片，其中，ViewID是V，POC是C。

另外，如粗虚线箭头所示，相对于列表L1，refPicList1[0]的索引被分配给B图片，其中，ViewID是X，POC是D，然后，refPicList1[1]的索引被分配给B图片，其中，ViewID是Y，POC是C。接着，refPicList1[2]的索引被分配配给B图片，其中，ViewID是X，POC是E，refPicList1[3]的索引被分配配给B图片，其中，ViewID是Z，POC是C。

图15的例子示出了视点第一锯齿形模式（视点方向优先交替模式）。视点第一模式是一种模式，如图13的例子所示，其索引被分配给相同时间但不同视点（视点方向的可参考图片）的参考图片，然后索引被分配给相同视点但不同时间（在时间方向的可参考图片）的参考图片。

例如，如粗实线箭头所示的，相对于列表L0，refPicList0[0]的索引被分配给B图片，其中，ViewID是W，POC是C，然后，refPicList0[1]的索引被分配给B图片，其中，ViewID是X，POC是B。接着，refPicList0[2]的索引被分配配给B图片，其中，ViewID是V，POC是C，然后，refPicList0[3]的索引被分配配给B图片，其中，ViewID是X，POC是A。

另外，如粗虚线箭头所示，相对于列表L1，refPicList1[0]的索引被分配给B图片，其中，ViewID是Y，POC是C，refPicList1[1]的索引被分配给B图片，其中，ViewID是X，POC是D。接着，refPicList1[2]的索引被分配配给B图片，其中，ViewID是Z，POC是C，refPicList1[3]的索引被分配配给B图片，其中，ViewID是X，POC是E。

上述分配模式的四种类型在图像编码设备100的下述语法中指定。例如，模式由语法处理单元121指定（相加）。

[序列参数组的语法示例]

图16是示出了序列参数组（SPS）的语法示例的示意图。图中各行的左端是为了说明而采用的行号。

在图16的例子中，default_reference_picture_index_pattern_idc设置在第13行。default_reference_picture_index_pattern_idc是模式ID，其指示出在序列中哪个分配模式被指定为默认参数图片索引。

default_reference_picture_index_pattern_idc选择下面方式中参考图片索引的初始化过程。

例如，当default_reference_picture_index_pattern_idc=0时，默认参考图片索引被分配给相同视点的图片，之后分配给不同视点的图片。也即，当default_reference_picture_index_pattern_idc=0时，参考图13所述的时间第一模式被指定为序列的默认分配模式。

当default_reference_picture_index_pattern_idc=1时，默认参考图片索引被分配给相同视点的图片，之后分配给不同视点的图片。也即，当default_reference_picture_index_pattern_idc=1时，参考图14所述的视点第一模式被指定为序列的默认分配模式。

当default_reference_picture_index_pattern_idc=2时，默认参考图片索引被交替地分配给相同视点的图片和不同视点的图片，并且分配的顺序开始于相同视点的图片。也即，当default_reference_picture_index_pattern_idc=2时，参考图15所述的时间第一锯齿形模式被指定为序列的默认分配模式。

当default_reference_picture_index_pattern_idc=3时，默认参考图片索引被交替地分配给相同视点的图片和不同视点的图片，分配的顺序开始于不同视点的图片。也即，当default_reference_picture_index_pattern_idc=3时，参考图15所述的视点第一锯齿形模式被指定为序列的默认分配模式。

在上述说明书中，描述了一个示例，其中默认分配模式在之前的序列参数组的每个序列中确定且被指定。相反的，上述的模式ID在作为例如现存的NAL单元的图片参数组（PPS）中提供，并且默认分配模式可以按照每个场景的变化或淡出的开始和结束来切换，如下所述。

[分配模式和假设场景的示例]

图17示出了表，其表示出分配模式的四种类型，以及哪种模式被设定为所假设的哪种场景的默认模式。

例如，当假设场景是其时间相关性显著高于视点间的相关性的场景时，在编码侧，0被写入图片参数组的模式ID中并且时间第一模式被设定为默认分配模式。

例如，当假设场景是其视点间的相关性显著高于时间相关性的场景时，在编码侧，1被写入图片参数组的模式ID中，视点第一模式被设定为默认分配模式。

例如，当假设场景是其时间相关性约为视点间的相关性，但时间相关性相对高于视点间的相关性的场景时，在编码侧执行如下的设置。也即，2被写入图片参数组的模式ID中，时间第一锯齿形模式被设定为默认分配模式。

例如，当假设场景是其时间相关性约为关于视点间的相关性，但视点间的相关性相对高于时间相关性的场景时，在编码侧执行如下的设置。也即，3被写入图片参数组的模式ID中，视点第一锯齿形模式被设定为默认分配模式。

通过这样做，当图像解码设备200接收到其模式ID刚被设定的图片参数组时，默认分配模式被切换。相应的，默认分配模式可以根据每个场景的变化来切换，在场景的变化中，场景立即变化或者在淡出（其中亮度逐渐变化）的开始或结束。结果，较小的参考图像索引可被分配给具有更高参考率的参考图像，因而编码效率可以进一步得到提高。

应注意，在上述说明书，已描述为模式ID在作为现存的NAL单元的图片参数组（PPS）中提供。然而，其并不局限于PPS，并且模式ID可以提供给其他NAL单元，只要NAL单元适于多个图片。例如，模式ID可以提供给作为新的NAL单元的适应性参数组（APS）。

进一步的，假设相比于通过为上述的每个序列参数传送模式ID，比特量通过为多个图片中的每个传送参数组中的模式ID而增加。因此，当比特量的增加不变成负担时，需要为多个图片中的每个传送图片参数组中的模式ID。

应注意，在上述说明中，已经描述了其中默认的分配模式从模式的四种类型中选择的示例。然而，模式的几种类型（例如，两种类型）可以从模式的四种类型中选择，作为默认分配模式的备选。进一步，备选模式的数量不限于四种模式，可以是几种模式。

另外，在上述说明中描述了模式标识符的例子和模式ID的例子。然而，模式标识符和模式ID是识别模式的模式识别信息的例子，模式识别信息包括模式标识符和模式ID。

应注意，本发明可应用于下述HEVC系统的图像编码设备和图像解码设备。

<4.第四实施例>

[图像编码设备的示例结构]

图18示出了本发明所应用的作为图像处理设备的图像编码设备的另一个实施例的结构。

图18所示的图像编码设备311通过HEVC系统的预测处理来编码图像数据。

在图1所示的实施例中，图像编码设备311包括模/数（A/D）转换器321，帧重排缓存器322、算法运算单元323、正交变换器324、量化器325、无损编码器326以及累积缓存器327。图像编码设备311还包括逆向量化器328、逆向正交变换器329、算法运算单元330、去块滤波器331、帧存储器332、选择器333、帧内预测器334、运动估计器/补偿器335、预测图像选择器336和速率控制器337。

另外，图像编码设备311在去块滤波器331和帧存储器332之间还包括适应性偏移滤波器341和适应性循环滤波器342。

该A/D转换器321为输入图像数据实施A/D转换，将所得图像数据输出并存储在帧重排缓存器322中。

帧重排缓存器322根据GOP（图像组）结构而将所存储的、以播放顺序排列的图像帧重新安排为以编码顺序排列。帧重排缓存器322将具有重新排列的帧顺序的图像提供给算法运算单元323。另外，帧重排缓存器322将重新排列的图像提供给帧内预测器334和运动估计器/补偿器335。

算法运算单元323从由帧重排缓存器322提供的图像上减去预测图像，该预测图像由帧内预测器334或运动估计器/补偿器335通过预测图像选择器336提供，并将所得到的差分信息输出到正交变换器324。

例如，当对图像实施帧内编码时，算法运算单元323从帧重排缓存器322读取的图像上减去由帧内预测器324提供的预测图像。进一步的，例如，当对图像实施帧间编码时，算法运算单元323从帧重排缓存器322读取的图像上减去由运动估计器/补偿器335提供的预测图像。

正交变换器324在由算法运算单元323提供的差分信息上执行正交变换处理，例如，离散余弦变换或Karhunen-Loeve变换，并将变换系数提供给量化器325。

量化器325将从正交变换器324输出的变换系数进行量化。量化器325将量化变换系数提供给无损编码器326。

无损编码器326对量化的变换系数执行无损编码，例如变长编码或算法编码。

无损编码器326从帧内预测器334获取指示帧内预测模式及类似的信息，并从运动估计器/补偿器335获取指示帧间预测模式、运动矢量信息及类似的信息。

无损编码器326对量化的变换系数进行编码，并对获得的参数（语法元素）编码，还使得帧内预测模式信息、帧间预测模式信息、运动矢量信息以及量化参数作为编码数据的头部信息的一部分（多路复用信息）被包含在其中。无损编码器326将通过编码所获得的编码后的数据提供并储存在累积缓存器327中。

例如，在无损编码器326中执行无损编码处理，例如变长编码或算法编码。变长编码可以是例如上下文的自适应变长码（CAVLC）。算法编码的一个例子包括上下文的自适应二进制算法码（CABAC）。

累积缓存器327暂时存储由无损编码器326提供的编码流（数据），并将编码后的数据作为编码图像在预定的时间输出给后续步骤中的记录设备（未示出）或传输路径等。也即，累积缓存器327也作为传输编码流的传输单元。

由量化器325所量化的变换系数也被提供给逆向量化器328。该逆向量化器328通过对应于量化器325执行的量化的方法将量化的变换系数进行逆向量化。逆向量化器328将所得的变换系数提供给逆向正交变换器329。

逆向正交变换器329采用对应于正交变换器324执行的正交变换处理的方法对所提供的变换系数执行逆向正交变换。向逆向正交变换（恢复的差分信息）的输出被提供给算法运算单元330。

算法运算单元330将由帧内预测器334或运动估计器/补偿器335通过预测图像选择器336提供的预测图像与逆向正交变换结果（也即由逆向正交变换器329所提供的恢复的差分信息）相加而获取本地解码图像（被解码的图像）。

例如，当差分信息对应于待施加帧内编码的图像时，算法运算单元330将帧内预测器334提供的预测图像与差分信息相加。进一步，例如，当差分信息对应于待帧间编码的图像时，算法运算单元330将运动估计器/补偿器335提供的预测图像与差分信息相加。

作为相加结果的解码图像被提供给去块滤波器331和帧存储器332。

去块滤波器331通过合适地执行去块滤波处理而从解码图像上移除块失真。去块滤波器331将滤波结果提供给适应性偏移滤波器341。

适应性偏移滤波器341执行偏移滤波过程（样本适应性偏移：SAO），相对于由去块滤波器331所滤波的图像，该过程主要移除振铃。

偏移滤波器共有9种类型，包括两种类型的带偏移，六种类型的边缘偏移，以及无偏移。适应性偏移滤波器341在去块滤波器331滤波后的图像上通过使用四叉树结构来实施滤波步骤，其中，偏移的类型由每个划分区域和每个划分区域的偏移值来确定。

应注意，图像编码设备311中，每个划分区域的四叉树结构和偏移值由适应性偏移滤波器341来计算并使用。每个划分区域的计算的四叉树结构和偏移值由无损解码器362进行解码，并传送至下述图19的图像解码设备351

在滤波处理之后，适应性偏移滤波器341将图像提供给适应性循环滤波器342。

适应性循环滤波器342在LCU单元内执行适应性循环滤波（ALF），作为ALF处理的单元。经滤波的图像被提供给帧存储器332。在适应性偏移滤波器342中使用二维Wiener滤波器作为滤波器。也可以使用除Wiener滤波器之外的其他滤波器。

适应性循环滤波器342通过使用滤波器系数为每个LCU在由适应性偏移滤波器341所滤波的图像上实施滤波处理，并将滤波处理结果提供给帧存储器332。

应注意，在图像编码设备311中，滤波器系数由适应性循环滤波器342计算并使用，从而为每个LCU将滤波器系数和来自帧重排缓存器312的原始图像之间的残余最小化。计算的滤波器系数由无损编码器326进行编码，并传送给如下所述的图19的图像解码设备351。在本说明书中描述了为每个LUC执行处理的例子。然而，适应性循环滤波器342的过程的单元不局限于该例子。

帧存储器332在预定的时间将累积的参考图像输出至帧内预测器334或运动估计器/补偿器335。

例如，当对图像执行帧内编码时，帧存储器332通过选择器333将参考图像提供给帧内预测器334。进一步，例如，当对图像执行帧间编码时，帧存储器332通过选择器333将参考图像提供给运动估计器/补偿器335。

在帧存储器332所提供的参考图像是待执行帧内编码的图像的情况下，选择器333将该参考图像提供给帧内预测器334。进一步，当解码图片存储器332所提供的参考图像是待执行帧间编码的图像时，选择器333将该参考图像提供给运动估计器/补偿器335。

帧内预测器334通过使用帧内的像素值执行内预测（帧内预测）以产生一预测图像。帧内预测器334以多种模式（帧内预测模式）执行帧内预测。

帧内预测器334在所有帧内预测模式中产生预测图像，评估预测图像，并选择最佳模式。在选择了最佳预测模式之后，帧内预测器334把以最佳预测模式所产生的预测图像通过预测图像选择器336提供给算法运算单元323以及算法运算单元330。

另外，如上所述的，帧内预测器334还把参数（例如，指示出所采用的帧内预测模式的帧内预测模式信息）合适地提供给无损编码器326。

通过使用由帧重排缓存器322提供的输入图像以及通过选择器333由帧存储器332提供的参考图像，运动估计器/补偿器335对待执行帧间编码的图像执行运动估计。另外，根据由运动估计器探测到的运动矢量，运动估计器/补偿器335执行运动补偿处理，以产生预测图像（帧间预测图像信息）。

运动估计器/补偿器335执行所有备选的帧间预测模式的帧间预测处理，以产生预测图像。运动估计器/补偿器335通过预测图像选择器336将产生的预测图像提供给算法运算单元323和算法运算单元330。

进一步，运动估计器/补偿器335将指示出所采用的帧间预测模式的帧间预测模式信息以及指示出计算所得的运动矢量的运动矢量信息提供给无损编码器326。

当对图像执行帧内编码时，预测图像选择器336将帧内预测器334的输出提供给算法运算单元323和算法运算单元330，并且当对图像执行帧间编码时，预测图像选择器336将运动估计器/补偿器335的输出提供给算法运算单元323和算法运算单元330。

基于在累积缓存器327中积累的压缩图像，速率控制器337控制量化器325的量化处理速率，从而不会导致溢位或不足。

<5.第五实施例>

[图像解码设备的示例结构]

图19示出了应用本发明的作为图像处理设备的图像解码设备的一个实施例的结构。图19所示的图像解码设备351是一个对应于图18所示的图像编码设备311的解码设备，并在HEVC系统中对来自图像编码设备311的编码数据进行解码。

由图像编码设备311所编码的数据通过预定的传输路径被传输至对应于图像编码设备311的图像解码设备351，然后进行解码。

如图19所示的，图像解码设备351包括累积缓存器361、无损解码器362、逆向量化器363、逆向正交变换器364、算法运算单元365、去块滤波器366、帧重排缓存器367以及D/A转换器368。图像解码设备351还包括帧存储器369、选择器370、帧内预测器371、运动估计器/补偿器372和选择器373。

进一步，图像解码设备351在去块滤波器366、帧重排缓存器367和帧存储器369之间还包括包括适应性偏移滤波器381和适应性循环滤波器382。

累积缓存器361也作为接收传输的编码数据的接收单元。累积缓存器361接收并累积传输的编码数据。编码数据由图像编码设备311编码。在预定的时间，无损解码器362用对应于图18的无损解码器326的编码格式的格式将从累积缓存器361中读出的编码数据进行解码。

无损解码器362将参数（例如指示出解码帧内预测模式的信息）提供给帧内预测器371，并将参数（例如指示出帧间预测模式和运动矢量信息的信息）提供给运动估计器/补偿器372。另外，无损解码器362将解码的适应性循环滤波器参数（滤波器系数等）提供给适应性循环滤波器382。无损解码器362将解码适应性偏移参数（四叉树结构和每个划分区域的偏移值）提供给适应性偏移滤波器381。

逆向量化器363将由无损解码器362采用对应于图18的量化器325的量化格式的格式进行解码而获得的系数数据（量化系数）进行逆向量化。也即，通过使用与图18的逆向量化器328所使用的由图像编码设备311提供的量化参数相类似的方法，逆向量化器363对量化系数进行逆向量化。

逆向量化器363将逆向量化的系数数据，也即，正交变换数据提供给逆向正交变换器364。逆向正交变换器364使用对应于图18的正交变换器324的正交变换格式的格式对正交变换系数进行逆向量化变换，来获得对应于在图像编码装置311中受到正交变换之前的残余数据的解码的残余数据。

通过逆向正交变换而得到的解码的残余误差数据被提供给算法运算单元365。另外，来自帧内预测器371或运动估计器/补偿器372的预测图像也通过选择器373被提供给算法运算单元365。

算法运算单元365将解码的残余误差数据与预测图像相加，以获得与图像编码设备311的算法运算单元323执行预测图像相减之前的图像数据相对应的解码图像数据。算法运算单元365将解码的图像数据提供给去块滤波器366。

去块滤波器366通过执行去块滤波处理而从解码图像上移除块失真。去块滤波器366将滤波处理结果提供给适应性偏移滤波器381。

适应性偏移滤波器381执行偏移滤波器去块（SAO）过程，相对于由去块滤波器366所滤波的图像，该过程其主要移除振铃。

适应性偏移滤波器381在由去块滤波器366所滤波的图像上使用每个划分区域的四叉树结构（其中，在每个划分区域中确定偏移滤波器的类型）和偏移值来实施滤波器处理。适应性偏移滤波器381将滤波的图像提供给适应性循环滤波器382。

应注意，每个分开的区域的四叉树结构和偏移值由图像编码设备311的适应性偏移滤波器341来计算并编码，并且被传送。然后，每个划分区域的由图像编码设备311编码的四叉树结构和偏移值由图像解码设备351接收，并由无损解码器362进行解码，并由适应性偏移滤波器381使用。

适应性循环滤波器382构造为与图18的适应性循环滤波器342相类似的结构，并执行LCU单元的适应性循环滤波器（ALF）处理，LCU单元是作为ALF过程的单元的最大的编码器。适应性循环滤波器382使用每个LCU的滤波器系数，相对于由适应性偏移滤波器381滤波的图像执行滤波处理，并将滤波处理结果提供给帧存储器369和帧重排缓存器367。

应注意，在图像编码设备351中，滤波器系数由每个LCU中的图像编码设备311的适应性循环滤波器342计算，且编码并传输的图像被无损解码器进行解码并使用。

帧重排缓存器367执行图像重排。特别地，由图18中的帧重排缓存器322重排为编码顺序的帧被重新排列成原始播放顺序。D/A转换器368在由帧重排缓存器提供的图像上执行D/A转换，并将转换后的图像输出至显示器（未示出）以显示图像。

适应性循环滤波器382的输出进一步提供给帧存储器369。

帧存储器369、选择器370、帧内预测器371、运动估计器/补偿372以及选择器373分别对应于图像编码设备311的帧存储器332、选择器333、帧内预测器334、运动估计器/补偿335以及预测图像选择器336。

选择器370从帧存储器369中读出待受到帧间处理的图像和待参考的图像，并将图像提供给运动估计器/补偿372。另外，选择器370从帧存储器369中读出用于帧内预测的图像，并将图像提供给帧内预测器371。

在需要的时候，无损解码器362将由解码头部信息所获得的的指示出帧内预测模式等的信息提供给帧内预测器371。基于该信息，帧内预测器371在从帧存储器396获得的参考图像中产生预测图像，并将产生的预测图像提供给选择器373。

从头部信息被解码而获得的信息（预测模式信息、运动矢量信息、参考帧信息、标识符、各种参数等）从无损解码器362被提供给运动估计器/补偿372。

基于由无损解码器362提供的信息，运动估计器/补偿372在从帧存储器369获得的参考图像产生预测图像，并将产生的预测图像提供给选择器373。

选择器373选择由运动估计器/补偿372或帧内预测器371所产生的预测图像，并将预测图像提供刚给算法运算单元365。

应注意，在上述说明中，H.264/AVC格式或HEVC格式被用作编码格式的基础。然而，本说明书并不局限于这种格式，可以应用其他可以实施运动差别预测和补偿的编码格式/解码格式。

本发明能够用于图像编码设备和图像解码设备，在通过正交变换（例如离散余弦正交和运动补偿）进行压缩的图像信息（比特流）通过网络媒介（例如卫星广播，有线电视，互联网或移动电话设备）与例如MPEG或H.26x一样被接收时，使用这些设备。本发明还可以用于图像编码设备和图像解码设备，当压缩图像信息在存储介质（例如光学或磁盘或闪存上）处理的情况下使用这些设备。进一步的，本发明可以用于包括这些图像编码设备和图像解码设备的运动估计器/补偿设备中。

<6.第六实施例>

[计算机]

上述的一系列处理可通过硬件执行，也可以通过软件执行。当这些处理由软件执行时，构成软件的程序安装在计算机中。应注意，计算机的例子包括嵌入专用硬件的计算机，通过安装各种软件而能执行各种功能的通用目的个人计算机等。

在图20中，个人计算机501的CPU（中央处理单元）501根据存储在ROM（只读存储器）502中的程序或者由存储单元513安装在RAM（随机存取存储器）503中的程序执行各种处理。CPU501为了执行各种处理等所必须的数据也存储在RAM503的所需位置中。

CPU501、ROM502和RAM503通过总线504相互连接。输入/输出接口510也连接至总线504。

输入/输出接口510具有以下连接在其上的部件：输入单元511，包括键盘，鼠标等；输出单元512，包括显示器（例如CRT（阴极射线管）或LCD（液晶显示器）以及扬声器；存储单元513，包括硬盘等；以及通讯单元514，包括调制解调器等。通讯单元514通过网络（包括互联网）执行通讯。

驱动器515也在需要的情况下连接至输入/输出接口510，可移动介质512（例如磁盘、光盘、磁光盘或半导体存储器）按需安装在驱动器上。从可移动盘上读取的计算机程序安装在存储单元513所需的位置。

在上述处理由硬件执行的情况下，构成软件的程序通过网络或记录介质来安装。

如图20所示，记录介质的例子包括独立于该设备而将程序传送给用户的可移动介质521，例如，其上记录有程序的磁盘（包括软盘）、光盘（包括CD-ROM（压缩盘-只读存储器））或DVD（数字式激光视盘）、磁光盘（包括MD（迷你光盘））或半导体存储器。可替换的，记录介质可以由其上记录有程序的ROM502构成或者包括在存储单元513中的硬盘构成。这种记录介质在传送给用户之前就提前组装进设备。

由计算机执行的程序可以是与本发明所述的顺序一致的时间顺序而执行处理的程序，或者是并行执行命令的程序，或者是在需要的时候，例如当有命令时执行处理的程序。

在本发明中，描述记录在记录介质上的程序的步骤不仅包括按照与所公开的顺序一致的时间顺序执行的处理，还包括如果不一定要按时间顺序时并行执行的处理或彼此独立的处理。

在本发明中，“系统”指的是由两个或更多设备（装置）构成的整个装置。

另外，在上述的例子中，作为一个设备（或一个处理单元）的任何结构都可以分成两个或更多的设备（或处理单元）。相反的，作为两个或更多的设备（或处理单元）的任何结构可以组合构成一个设备（或处理单元）。当然也有可能将除了上述结构之外的结构与任何设备（或任何的处理单元）的结构相加。进一步的，只要整个系统的结构和处理保持实质上相同，设备（或处理单元）的部分结构可以并入其他设备（或处理单元）的结构中。也即，目前的方法的实施方式不局限于上述的实施例，可以不脱离该方法的范围而做各种改进。

根据上述实施例的图像编码设备和图像解码设备能用在各种电子装置中，包括：卫星广播的传送器和接收器；有线广播（例如，有线电视）、借由因特网的传送、由蜂窝通信系统至终端的传送等；将图像记录在介质上的记录装置，例如光盘，磁盘或闪存；或从那些存储介质再现图像的再现装置。下面将描述四种示例应用。

<7.修改例>

[第一种应用：电视接收器]

图21示意性的示出了应用上述实施例的电视装置的示例结构。电视装置900包括天线901、调谐器902、多路分用器903、解码器904、视频信号处理器905、显示单元906、音频信号处理器907、扬声器908、外部接口909、控制器910、用户接口911和总线912。

调谐器902从天线901接收的广播信号中提取所需的频道信号，并解调所提取的信号。调谐器902然后将解调所获得的编码比特流输出至多路分用器903。也即，调谐器902在电视装置900中作为接收由编码图像构成的编码流的传输装置。

多路分用器903将待观看的节目的视频流和音频流与编码比特流分离，并输出各个经分离的流至解码器904。多路分用器903还从编码比特流中提取辅助数据，例如EPG（电子节目指南），并将提取的数据提供给控制器910。在编码的比特流被扰频的情况下，多路分用器903可以执行解扰。

解码器904将来自多路分用器903的视频流和音频流进行解码。解码器904然后输出由解码处理产生的视频数据至视频信号处理器905。解码器904还将由解码处理产生的视频数据输出至音频信号处理器907。

视频信号处理器905再现由解码器904输入的视频数据，并使得显示单元906显示视频图像。视频信号处理器905也可以在显示单元906上显示由网络提供的应用屏幕。此外，视频信号处理器905可以执行附加处理，例如根据设置对视频数据降噪。视频信号处理器905还可以产生GUI（图形用户界面）图像，例如菜单和按钮或光标，并在输出图像上附加产生的图像。

显示单元906由来自视频信号处理器905的驱动信号进行驱动，并显示视频图像或在显示设备（例如液晶显示器、等离子显示器或OELD（有机电致发光显示））的视频屏幕上的图像。

音频信号处理器907执行再现处理，例如D/A转换，以及放大由解码器904输入的音频数据，并从扬声器908输出声音。另外，音频信号处理器907可以执行附加处理，例如对音频数据降噪。

外部接口909是连接电视装置900与外部设备或网络的接口。例如，由外部接口909接收的视频流或音频流可由解码器904进行解码。也即，外部接口909还在电视装置900中作为接收由编码图像构成的编码流的传输方式。

控制器910包括处理器（例如CPU）以及存储器（例如RAM或ROM）。存储器存储将由CPU执行的程序，程序数据，EPG数据，通过网络获得的数据等。存储器中存储的程序在例如电视装置900激活的时候由CPU读取，然后执行。通过执行程序，根据由用户接口911所输入的操作信号，CPU控制电视设备900的操作。

用户接口911连接至控制器910。用户接口911包括按钮和开关，以便用户操作电视装置900，以及接收单元来接收例如远程控制信号。用户接口911通过探测用户通过这些部件的操作来产生操作信号，并输出产生的操作信号至控制器910。

总线912将调谐器902、多路分用器903、解码器904、视频信号处理器905、音频信号处理器907、外部接口909和控制器910相互连接。

在具有上述结构的电视装置900中，解码器904具有根据上述实施例的图像解码设备的功能。因此，当图像在电视装置900中解码时，多视点编码中的编码效率可得到提高。

[第二种应用：移动电话设备]

图22示意性的示出了应用上述实施例的移动电话设备的示例结构。移动电话设备920包括天线921、通信单元922、音频编码解码器923、扬声器924、耳机925、相机单元926、图像处理器927、多路分用器928、记录/再现单元929、显示单元930、控制器931、操作单元932以及总线933。

天线921连接到通信单元922。扬声器924和耳机925连接至音频编码解码器923。操作单元932连接至控制器931。总线933使得通信单元922、音频编码解码器923、相机单元926、图像处理器927、多路分用器928、显示单元930和控制器931互相连接。

移动电话设备920以各种处理模式（包括音频通信模式、数据通信模式、图像模式和视频电话模式）执行处理，例如传输和接收音频信号的处理、传输和接收电子邮件或图像数据、图像处理和数据记录。

在语音呼叫模式中，由耳机925产生的模拟音频信号被提供给音频编码解码器923。音频编码解码器923将模拟音频信号转换成音频数据，并在转换后的音频数据上执行压缩和A/D转换。音频编码解码器923输出压缩音频数据至通信单元922。通信单元922将音频数据编码并调制，产生传输信号。通信单元922将产生的传输信号通过天线921传送至基站（未示出）。通信单元922还对通过天线921所接收的广播信号执行放大和频率转换，并获得接收信号。通信单元922通过对接收信号进行解调和解码产生音频数据，并将产生的音频数据输出至音频编码解码器923。音频编码解码器923对音频数据执行解压和D/A转换，并产生模拟音频信号。音频编码解码器923然后将产生的音频信号输出至扬声器924以输出声音。

在数据通信模式中，控制器931根据用户通过操作单元932的操作而产生组成电子邮件的文本数据。控制器931也在显示单元930上显示文本。控制器931还响应于用户通过操作单元932的传输指令产生电子邮件数据，并将产生的电子邮件数据输出至通信单元922。通信单元922将电子邮件数据进行编码和调制，以产生传输信号。通信单元922将产生的传输信号通过天线921传输至基站（未示出）。通信单元922还对由天线921接收的广播信号执行放大和频率转换，并获得接收信号。通信单元922然后通过将接收信号解调和解码来存储电子邮件数据，并将存储的电子邮件数据输出至控制器931。控制器931使得显示单元930显示电子邮件的内容，并将电子邮件数据存储在记录/再现单元929的存储介质中。

记录/再现单元929包括可读/可写存储介质。例如，存储介质可以是内部存储介质，例如RAM或闪存，或可以是外部安装类型的存储介质，例如硬盘、磁盘、磁光盘、光盘、USB（未分配的空间位图）存储器或存储卡。

在成像模式中，相机单元926通过捕捉物体的图像来产生图像数据，并将产生的图像数据输出至例如图像处理器927。图像处理器927对由相机单元926输入的图像数据编码，并将编码流存储在记录/再现单元929的存储介质中。

在视频电话模式中，多路分用器928将由图像处理器927编码的视频流以及音频编码解码器923输入的音频流进行多路复用，并将多路复用的流输出至通信单元922。通信单元922对流进行编码和调制以产生一个传输信号。通信单元922将产生的传输信号通过天线921传输至基站（未示出）。通信单元922还对由天线921接收的广播信号执行放大和频率转换，并获得接收信号。传输信号和接收信号均包括编码的比特流。通信单元922通过将接收信号解调和解码来存储流，并将存储的流输出至多路分用器928。多路分用器928将输入流与视频和音频流分开，并将视频流输出至图像处理器927，将音频流输出至音频编码解码器923。图像处理器927对视频流解码产生视频数据。视频数据被提供给显示单元930，由显示单元930显示一系列图像。音频编码解码器923对音频流执行解压缩和D/A转换，以产生模拟音频信号。音频编码解码器923记录/再现单元929然后将产生的视频信号输出至扬声器924以输出声音。

在具有上述结构的可移动电话设备920中，图像处理器927具有根据上述实施例的图像编码设备和图像解码设备的功能。因此，当图像在可移动电话设备920中被编码和解码时，多视点编码中的编码效率可得到提高。

[第三种应用：记录/再现装置]

图23示意性的示出了应用上述实施例的记录/再现装置的示例结构。记录/再现装置940对接收的例如广播节目的音频数据和视频数据进行编码，并在记录介质上记录编码数据。记录/再现装置940还可以对例如来自其他装置获取的音频和视频数据进行编码，并在记录介质上记录音频和视频数据。记录/再现装置940还响应于来自于例如用户的指令，在监视器上或通过扬声器再现记录在记录介质上的数据。通过这样做，记录/再现装置940对音频和视频数据解码。

记录/再现装置940包括调谐器941、外部接口942、编码器943、HDD（硬盘驱动器）944、光盘驱动器945、选择器946、解码器947、OSD（屏上显示）948、控制器949以及用户接口950。

调谐器941从通过天线（未示出）接收的广播信号中提取所需的频道信号，并解调所提取的信号。调谐器941将解调所获得的编码比特流输出至选择器946。也即，调谐器941在记录/再现装置940中作为传输方式。

外部接口942是记录/再现装置940与外部设备或网络的接口。外部接口942可以是例如IEEE1394接口、网络接口、USB接口或闪存接口。例如，由外部接口942接收的视频数据和音频数据可输入至编码器943。也即，外部接口942还在记录/再现装置940中作为传输方式。

当从外部接口942所输入的视频数据和音频数据没有被编码的情况下，编码器943对视频数据和音频数据进行编码。编码器943然后将经编码的比特流输出至选择器946。

HDD944将由压缩内容数据（例如视频图像和声音）、各种程序及其他数据构成的编码比特流记录在内部硬盘上。HDD944从硬盘上读取这些数据，以进行视频和音频的再现。

盘驱动器945记录数据，并其上所安装的记录介质上读取数据。安装在盘驱动器945上的记录介质可以是例如DVD盘（例如DVD视频盘、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW）或蓝光（商标名）盘。

当记录视频图像和声音时，选择器946选择从调谐器941或编码器943输入的编码的比特流，并将所选择的编码比特流输出至HDD944或盘驱动器945。当再现视频图像和声音时，选择器946选择从HDD944或盘驱动器945输入的编码的比特流，并输出至解码器947。

解码器947对编码比特流进行解码，以产生视频数据和音频数据。解码器947将产生的视频数据输出至OSD948。解码器904还将产生的音频数据输出至外部扬声器。

OSD948再现由解码器947输入的视频数据，并播放视频图像。OSD948还可以在待显示的视频图像上添加GUI，例如，菜单和按钮或光标。

控制器949包括处理器，例如CPU，以及存储器，例如RAM或ROM。存储器存储将由CPU执行的程序、程序数据等。存储器中存储的程序在例如记录/再现装置940例如激活的时候由CPU读取，然后执行。通过执行程序，根据由用户接口950所输入的操作信号，CPU控制记录/再现装置940的操作。

用户接口950连接至控制器949。用户接口950包括按钮和开关，以便用户操作记录/再现装置940，以及接收单元来接收例如远程控制信号。用户接口950通过探测用户通过这些部件的操作来产生操作信号，并输出产生的操作信号至控制器949。

在具有上述结构的记录/再现装置940中，编码器943具有根据上述实施例的图像编码设备的功能，且解码器947具有根据上述实施例的图像解码设备的功能。因此，当图像在记录/再现装置940中被编码和解码时，多视点编码中的编码效率可得到提高。

[第四种应用：成像装置]

图24示意性的示出了应用上述实施例的成像装置的示例结构。成像装置960通过对物体成像而产生图像，编码图像，并将图像数据存储在存储介质中。

成像装置960包括光学块961、成像单元962、信号处理器963、图像处理器964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD969、控制器970、用户接口971和总线972。

光学块961连接至成像单元962。成像单元962连接至信号处理器963。显示单元965连接至图像处理器964。用户接口971连接至控制器970。总线972将图像处理器964、外部接口966、存储器967、介质驱动器968、OSD969、控制器970相互连接。

光学块961包括聚焦透镜和光圈等。光学块961在成像单元962的成像表面上形成物体的光学图像。成像单元962包括图像传感器，例如CCD（电荷耦合元件）或CMOS（互补金属氧化物半导体），并通过光电转换将形成在成像表面的光学图像转换成图像信号作为电信号。成像单元962将图像信号输出给信号处理器963。

信号处理器963在由成像单元962输入的图像信号上执行各种相机信号处理，例如拐点校正、gamma校正和颜色校正。信号处理器963输出图像数据至图像处理器964进行相机信号处理。

图像处理器964对信号处理器963所输入的图像数据进行编码，以产生编码数据。图像处理器964将产生的编码数据输出至外部接口966或介质驱动器968。图像处理器964还将由外部接口966或介质驱动器968输入的编码数据进行解码，并产生图像数据。图像处理器964将产生的图像数据输出至显示单元965。可替换的，图像处理器964可以将来自信号处理器963的图像数据输出至显示单元965以显示图像。图像处理器964还可以在待输出至显示单元965的图像上添加从OSD969获取的显示数据。

OSD969产生GUI的图像，例如，菜单、按钮或光标，并将产生的图像输出至图像处理器964。

外部接口966由例如USB输入/输出端口构成。例如，当打印图像时，外部接口966将成像装置960连接至打印机。此外，如果需要，驱动器也连接至外部接口966。可移动介质，例如磁盘或光盘安装在驱动器上，从而从可移动介质中读取的程序能安装在成像装置960上。进一步的，外部接口966可以是网络接口以连接至网络，例如LAN或因特网。也即，外部接口966在成像装置960上用作传输方式。

安装在介质驱动器968上的记录介质可以是可读/可写的可移动介质，例如，磁盘、磁光盘、光盘或半导体存储器。另外，记录介质可以固定在介质驱动器968上以形成不可移动存储单元，例如，内部硬盘驱动器或SSD（固态驱动器）。

控制器970包括处理器，例如CPU，以及存储器，例如RAM或ROM。存储器存储将由CPU执行的程序，程序数据等。存储器中存储的程序在例如成像装置960激活的时候由CPU读取，然后执行。通过执行程序，根据由用户接口971所输入的操作信号，CPU控制成像装置960的处理。

用户接口971连接至控制器970。例如，用户接口971包括按钮和开关，以便用户操作成像装置960。用户接口971通过探测用户通过这些部件的操作来产生操作信号，并输出产生的操作信号至控制器970。

在具有上述结构的成像装置960中，图像处理器964具有根据上述实施例的图像编码设备和图像解码设备的功能。因此，当图像在成像装置960中被编码和解码时，块失真可被更合适的移除，且能实现解码图像更高的主观图像质量。

如上所述的，在本说明书中，已经描述了其中诸如模式识别信息（例如模式标识或模式ID）被多路复用到编码流，并从编码侧传送至解码侧。然而，传输信息的方法并不局限于上述示例。信息可以不与编码比特流一起多路复用，而可以作为与解码比特流相关联的独立数据被传输或记录。注意，术语“关联”指的是将包含在比特流中的图像（或部分图像，例如，片段或块）与对应于解码时的图像的信息进行链接。也即，信息可通过与图像（或比特流）不同的传输路径传输。并且，信息可记录在与图像（或比特流）不同的记录介质（或相同记录介质的不同记录区域）上。进一步的，信息的每个部分可以与图像（或比特流）的多个帧、一帧或部分帧相关联。

虽然本发明已结合附图描述了优选实施例，但本发明并不局限于这些例子。对于本领域的技术人员来说，在此处所声明的技术精神范围内作出各种改变或变型是显而易见的，且这些改变或变型自然被认为是落在了本发明的技术范围之内。

本技术还可以具有如下结构。

（1）一种图像处理设备包括：

解码器，构造为解码比特流以产生图像；

索引分配单元，构造为将在预测由解码器产生的图像时所参考的参考图像索引交替分配给视点方向的可参考图像和时间方向的可参考图像；以及

预测器，构造为参考由索引分配单元所分配的参考图像索引的参考图像以预测解码器所产生的图像。

（2）根据（1）所述的图像处理设备，其中，索引分配单元重复将参考图像索引按照先时间方向的可参考图像、后视点方向的可参考图像的顺序分配给时间方向的可参考图像和视点方向的可参考图像的处理。

（3）根据（2）所述的图像处理设备，其中，在将参考图像索引分配给视点方向的所有可参考图像之后，索引分配单元将参考图像索引分配给时间方向的可参考图像。

（4）根据（1）所述的图像处理设备，其中，索引分配单元重复将参考图像索引按照先视点方向的可参考图像、后时间方向的可参考图像的顺序分配给视点方向的可参考图像和时间方向的可参考图像的处理。

（5）根据（4）所述的图像处理设备，其中，在将参考图像索引分配给视点方向的所有可参考图像之后，索引分配单元将参考图像索引分配给时间方向的可参考图像。

（6）根据（1）所述的图像处理设备，其中，索引分配单元从时间方向优先模式和视点方向优先模式中选择一种模式，并分配参考图像索引，其中在时间方向优先模式中，在参考图像索引被分配给时间方向的可参考图像后，参考图像索引被分配给视点方向的可参考图像，在视点方向优先模式中，在参考图像索引被分配给视点方向的可参考图像后，参考图像索引被分配给时间方向的可参考图像。

（7）根据（6）所述的图像处理设备，其中，索引分配单元从时间方向优先模式和视点方向优先模式中选择一种模式来分配参考图像索引，并分配参考图像索引，其中在时间方向优先模式中重复将参考图像索引按照先时间方向的可参考图像、后视点方向的可参考图像的顺序分配给时间方向的可参考图像和视点方向的可参考图像的处理，在视点方向优先模式中，重复将参考图像索引按照先视点方向的可参考图像、后时间方向的可参考图像的顺序分配给视点方向的可参考图像以及分配给时间方向的可参考图像的处理。

（8）根据（6）所述的图像处理设备，其中，索引分配单元根据识别出使用了时间方向优先模式还是视点方向优先模式的模式识别信息来分配参考图像索引。

（9）根据（1）至（8）中任一所述的图像处理设备，其中，索引分配单元基于序列参数集的视点参考信息来将参考图像索引分配给视点方向上的可参考图像。

（10）根据（1）至（9）任一所述的图像处理设备，其中，在P图片的情况下基于解码顺序，在B图片的情况下基于图片顺序计数（POC），索引分配单元将参考图像索引分配给时间方向上的可参考图像。

（11）根据（1）所述的图像处理设备，其中，索引分配单元从时间方向优先交替模式和视点方向优先交替模式中选择模式来分配参考图像索引，在时间方向优先交替模式中，重复以将参考图像索引分配给时间方向的可参考图像作为开始，并且将参考图像索引按照先时间方向的可参考图像、后视点方向的可参考图像的顺序分配给时间方向的可参考图像和视点方向的可参考图像的处理，在视点方向优先交替模式中，重复以将参考图像索引分配给视点方向的可参考图像作为开始，并且将参考图像索引按照先视点方向的可参考图像、后时间方向的可参考图像的顺序分配给视点方向的可参考图像和时间方向的可参考图像的处理。

（12）根据（11）所述的图像处理设备，其中，索引分配单元根据识别出使用了时间方向优先交替模式还是视点方向优先交替模式的模式识别信息来分配参考图像索引。

（13）一种图像处理方法，其中图像处理设备：

解码比特流以产生图像；

将在预测产生的图像时所参考的参考图像索引交替分配给视点方向的可参考图像和时间方向的可参考图像；以及

参考所分配的参考图像索引的参考图像，并预测产生的图像。

（14）一种图像处理设备包括：

索引分配单元，构造为将在预测图像时参考的参考图像索引交替分配给视点方向的可参考图像和时间方向的可参考图像；

预测器，构造为参考由索引分配单元所分配的参考图像索引的参考图像以预测图像；以及

编码器，构造为将预测器所预测的图像进行编码以产生比特流。

（15）根据（14）所述的图像处理设备，其中，索引分配单元重复将参考图像索引按照先时间方向的可参考图像、后视点方向的可参考图像的顺序分配给时间方向的可参考图像和视点方向的可参考图像的处理。

（16）根据（15）所述的图像处理设备，其中，在将参考图像索引分配给视点方向的所有可参考图像之后，索引分配单元将参考图像索引分配给时间方向的可参考图像。

（17）根据（14）所述的图像处理设备，其中，索引分配单元重复将参考图像索引按照先视点方向的可参考图像、后时间方向的可参考图像的顺序分配给视点方向的可参考图像和时间方向的可参考图像的处理。

（18）根据（17）所述的图像处理设备，其中，在将参考图像索引分配给视点方向的所有可参考图像之后，索引分配单元将参考图像索引分配给时间方向的可参考图像。

（19）根据（14）所述的图像处理设备，其中，索引分配单元从时间方向优先模式和视点方向优先模式中选择一种模式，并分配参考图像索引，其中在时间方向优先模式中，在参考图像索引被分配给时间方向的可参考图像后，参考图像索引被分配给视点方向的可参考图像，在视点方向优先模式中，在参考图像索引被分配给视点方向的可参考图像后，参考图像索引被分配给时间方向的可参考图像。

（20）根据（19）所述的图像处理设备，其中，索引分配单元从时间方向优先模式和视点方向优先模式中选择一种模式，并分配参考图像索引，其中在时间方向优先模式中，重复将参考图像索引按照先时间方向的可参考图像、后视点方向的可参考图像的顺序分配给时间方向的可参考图像和视点方向的可参考图像的处理，在视点方向优先模式中，重复将参考图像索引按照先视点方向的可参考图像、后时间方向的可参考图像的顺序分配给视点方向的可参考图像和时间方向的可参考图像的处理。

（21）根据（19）所述的图像处理设备，进一步包括传输单元，构造为传输识别出使用了时间方向优先模式还是视点方向优先模式的模式识别信息以及由编码器产生的比特流。

（22）根据（14）至（21）任一所述的图像处理设备，其中，基于序列参数组的视点参考信息，索引分配单元将参考图像索引分配给视点方向的可参考图像。

（23）根据（14）至（22）所述的图像处理设备，其中，在P图片的情况下基于解码顺序，在B图片的情况下基于图片顺序计数（POC），索引分配单元将参考图像索引分配给时间方向的可参考图像。

（24）根据（14）所述的图像处理设备，其中，索引分配单元从时间方向优先交替模式和视点方向优先交替模式中选择模式，并分配参考图像索引，在时间方向优先交替模式中，重复以将参考图像索引分配给时间方向的可参考图像作为开始，并且将参考图像索引按照先时间方向的可参考图像、后视点方向的可参考图像的顺序分配给时间方向的可参考图像和视点方向的可参考图像的处理，在视点方向优先交替模式中，重复以将参考图像索引的分配给视点方向的可参考图像作为开始，并且将参考图像索引按照先视点方向的可参考图像、后时间方向的可参考图像的顺序分配给视点方向的可参考图像和时间方向的可参考图像的处理。

（25）根据（24）所述的图像处理设备，进一步包括传输单元，构造为传输识别出使用了时间方向优先交替模式还是视点方向优先交替模式的模式识别信息以及由编码器产生的比特流。

（26）一种图像处理方法，其中图像处理设备：

将在预测图像时参考的参考图像索引交替分配给视点方向的可参考图像和时间方向的可参考图像；

参考所分配的参考图像索引的参考图像以预测图像；以及

编码由预测器预测的图像以产生比特流。

参考符号列表

100图像编码设备

106无损编码器

115运动估计器/补偿器

121语法处理单元

122参考图像索引分配单元

200图像解码设备

202无损解码器

212运动估计器/补偿器

221语法处理单元

222参考图像索引分配单元

311图像编码设备

351图像解码设备

Claims (26)

1.一种图像处理设备，包括：

解码器，构造为解码比特流以产生图像；

索引分配单元，构造为将在预测由解码器产生的图像时所参考的参考图像索引交替分配给视点方向的可参考图像和时间方向的可参考图像；以及

预测器，构造为参考由索引分配单元所分配的参考图像索引的参考图像以预测解码器所产生的图像。

2.根据权利要求1所述的图像处理设备，其中，索引分配单元重复将参考图像索引按照先时间方向的可参考图像、后视点方向的可参考图像的顺序分配给时间方向的可参考图像和视点方向的可参考图像的处理。

3.根据权利要求2所述的图像处理设备，其中，在将参考图像索引分配给视点方向的所有可参考图像之后，索引分配单元将参考图像索引分配给时间方向的可参考图像。

4.根据权利要求1所述的图像处理设备，其中，索引分配单元重复将参考图像索引按照先视点方向的可参考图像、后时间方向的可参考图像的顺序分配给视点方向的可参考图像和时间方向的可参考图像的处理。

5.根据权利要求4所述的图像处理设备，其中，在将参考图像索引分配给视点方向的所有可参考图像之后，索引分配单元将参考图像索引分配给时间方向的可参考图像。

6.根据权利要求1所述的图像处理设备，其中，索引分配单元从时间方向优先模式和视点方向优先模式中选择一种模式，并分配参考图像索引，其中在时间方向优先模式中，在参考图像索引被分配给时间方向的可参考图像后，参考图像索引被分配给视点方向的可参考图像，在视点方向优先模式中，在参考图像索引被分配给视点方向的可参考图像后，参考图像索引被分配给时间方向的可参考图像。

7.根据权利要求6所述的图像处理设备，其中，索引分配单元从时间方向优先模式和视点方向优先模式中选择一种模式来分配参考图像索引，并分配参考图像索引，其中在时间方向优先模式中重复将参考图像索引按照先时间方向的可参考图像、后视点方向的可参考图像的顺序分配给时间方向的可参考图像和视点方向的可参考图像的处理，在视点方向优先模式中，重复将参考图像索引按照先视点方向的可参考图像、后时间方向的可参考图像的顺序分配给视点方向的可参考图像以及分配给时间方向的可参考图像的处理。

8.根据权利要求6所述的图像处理设备，其中，索引分配单元根据识别出使用了时间方向优先模式还是视点方向优先模式的模式识别信息来分配参考图像索引。

9.根据权利要求1所述的图像处理设备，其中，索引分配单元基于序列参数集的视点参考信息来将参考图像索引分配给视点方向上的可参考图像。

10.根据权利要求1所述的图像处理设备，其中，在P图片的情况下基于解码顺序，在B图片的情况下基于图片顺序计数（POC），索引分配单元将参考图像索引分配给时间方向上的可参考图像。

11.根据权利要求1所述的图像处理设备，其中，索引分配单元从时间方向优先交替模式和视点方向优先交替模式中选择模式来分配参考图像索引，在时间方向优先交替模式中，重复以将参考图像索引分配给时间方向的可参考图像作为开始，并且将参考图像索引按照先时间方向的可参考图像、后视点方向的可参考图像的顺序分配给时间方向的可参考图像和视点方向的可参考图像的处理，在视点方向优先交替模式中，重复以将参考图像索引分配给视点方向的可参考图像作为开始，并且将参考图像索引按照先视点方向的可参考图像、后时间方向的可参考图像的顺序分配给视点方向的可参考图像和时间方向的可参考图像的处理。

12.根据权利要求11所述的图像处理设备，其中，索引分配单元根据识别出使用了时间方向优先交替模式还是视点方向优先交替模式的模式识别信息来分配参考图像索引。

13.一种图像处理方法，其中图像处理设备：

解码比特流以产生图像；

将在预测产生的图像时所参考的参考图像索引交替分配给视点方向的可参考图像和时间方向的可参考图像；以及

参考所分配的参考图像索引的参考图像，并预测产生的图像。

14.一种图像处理设备包括：

索引分配单元，构造为将在预测图像时参考的参考图像索引交替分配给视点方向的可参考图像和时间方向的可参考图像；

预测器，构造为参考由索引分配单元所分配的参考图像索引的参考图像以预测图像；以及

编码器，构造为将预测器所预测的图像进行编码以产生比特流。

15.根据权利要求14所述的图像处理设备，其中，索引分配单元重复将参考图像索引按照先时间方向的可参考图像、后视点方向的可参考图像的顺序分配给时间方向的可参考图像和视点方向的可参考图像的处理。

16.根据权利要求15所述的图像处理设备，其中，在将参考图像索引分配给视点方向的所有可参考图像之后，索引分配单元将参考图像索引分配给时间方向的可参考图像。

17.根据权利要求14所述的图像处理设备，其中，索引分配单元重复将参考图像索引按照先视点方向的可参考图像、后时间方向的可参考图像的顺序分配给视点方向的可参考图像和时间方向的可参考图像的处理。

18.根据权利要求17所述的图像处理设备，其中，在将参考图像索引分配给视点方向的所有可参考图像之后，索引分配单元将参考图像索引分配给时间方向的可参考图像。

19.根据权利要求14所述的图像处理设备，其中，索引分配单元从时间方向优先模式和视点方向优先模式中选择一种模式，并分配参考图像索引，其中在时间方向优先模式中，在参考图像索引被分配给时间方向的可参考图像后，参考图像索引被分配给视点方向的可参考图像，在视点方向优先模式中，在参考图像索引被分配给视点方向的可参考图像后，参考图像索引被分配给时间方向的可参考图像。

20.根据权利要求19所述的图像处理设备，其中，索引分配单元从时间方向优先模式和视点方向优先模式中选择一种模式，并分配参考图像索引，其中在时间方向优先模式中，重复将参考图像索引按照先时间方向的可参考图像、后视点方向的可参考图像的顺序分配给时间方向的可参考图像和视点方向的可参考图像的处理，在视点方向优先模式中，重复将参考图像索引按照先视点方向的可参考图像、后时间方向的可参考图像的顺序分配给视点方向的可参考图像和时间方向的可参考图像的处理。

21.根据权利要求19所述的图像处理设备，进一步包括传输单元，构造为传输识别出使用了时间方向优先模式还是视点方向优先模式的模式识别信息以及由编码器产生的比特流。

22.根据权利要求14所述的图像处理设备，其中，基于序列参数组的视点参考信息，索引分配单元将参考图像索引分配给视点方向的可参考图像。

23.根据权利要求14所述的图像处理设备，其中，在P图片的情况下基于解码顺序，在B图片的情况下基于图片顺序计数（POC），索引分配单元将参考图像索引分配给时间方向的可参考图像。

24.根据权利要求14所述的图像处理设备，其中，索引分配单元从时间方向优先交替模式和视点方向优先交替模式中选择模式，并分配参考图像索引，在时间方向优先交替模式中，重复以将参考图像索引分配给时间方向的可参考图像作为开始，并且将参考图像索引按照先时间方向的可参考图像、后视点方向的可参考图像的顺序分配给时间方向的可参考图像和视点方向的可参考图像的处理，在视点方向优先交替模式中，重复以将参考图像索引的分配给视点方向的可参考图像作为开始，并且将参考图像索引按照先视点方向的可参考图像、后时间方向的可参考图像的顺序分配给视点方向的可参考图像和时间方向的可参考图像的处理。

25.根据权利要求24所述的图像处理设备，进一步包括传输单元，构造为传输识别出使用了时间方向优先交替模式还是视点方向优先交替模式的模式识别信息以及由编码器产生的比特流。

26.一种图像处理方法，其中图像处理设备：

将在预测图像时参考的参考图像索引交替分配给视点方向的可参考图像和时间方向的可参考图像；

参考所分配的参考图像索引的参考图像以预测图像；以及

编码由预测器预测的图像以产生比特流。

Images