CN103369316A

CN103369316A - 图像处理设备和方法

Info

Publication number: CN103369316A
Application number: CN2013100903193A
Authority: CN
Inventors: 近藤健治
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-03-29
Filing date: 2013-03-21
Publication date: 2013-10-23
Also published as: JP2013207755A; US20130259131A1

Abstract

本发明涉及图像处理设备和方法。一种图像处理设备包括生成单元、选择单元、编码单元以及发送单元。生成单元生成表示视点与当前块的图像视点不同的编码图像的不同块的多条参考块信息作为参考运动信息的参考块。选择单元从由所述生成单元生成的多条参考块信息分别表示的块中选择充当运动信息的参考对象的块。编码单元对参考由所述选择单元选择的块的运动信息而生成的当前块的预测图像与当前块的图像之间的差值图像进行编码。发送单元发送所述编码单元生成的编码数据和表示所述选择单元选择的块的参考块信息。

Description

图像处理设备和方法

技术领域

本技术涉及图像处理设备和方法，特别是涉及能够改进编码效率的图像处理设备和方法。

背景技术

在现有技术中，在广播站的信息传输和普通家庭中的信息接收中已经广泛使用如下设备：其接收数字格式的图像信息，然后旨在此时基于诸如运动图像专家组(MPEG)之类的方法高效传输并累积信息，所述方法用于使用诸如离散余弦变换之类的正交变换和利用图像信息特有的冗余性的运动补偿来执行压缩。

近年来，联合协作组-视频编码(JCT-VC)正在对称为高效视频编码(HEVC)的编码方法进行标准化，以与H.264和MPEG-4Part10相比进一步改进编码效率(高级视频编码，以下称为"AVC")，联合协作组-视频编码是国际电信联盟电信标准化分部(ITU-T)和国际标准化组织(ISO)/国际电子技术委员会(IEC)的联合标准化组织(例如，参见ThomasWiegand,Woo-Jin Han,Benjamin Bross,Jens-Rainer Ohm,Gary J.Sullivan,"Working Draft1of High-Efficiency Video Coding",JCTVC-C403,Joint Collaborative Team on Video Coding(JCT-VC)ofITU-T SG16WP3and ISO/IEC JTC1/SC29/WG113rd Meeting:Guangzhou,CN,7-15October,2010)。

在HEVC编码方法中，将编码单位（CU）定义为与AVC的宏块相同的处理单位。与AVC的宏块不同，CU的大小不固定为16×16像素，而是在每个序列中在图像压缩信息中被指定。

此外，利用这种编码技术，已经提出了对使用视差立体显示的多视点图像进行编码的用途。

顺便指出，作为运动信息编码方法之一，已经提出了一种称为运动分区合并（Motion Partition Merging）的方法（合并方法），其中传输Merge_Flag和Merge_Left_Flag（例如，参见Martin Winken,SebastianBosse,Benjamin Bross,Philipp Helle,Tobias Hinz,Heiner Kirchhoffer,Haricharan Lakshman,Detlev Marpe,Simon Oudin,Matthias Preiss,Heiko Schwarz,Mischa Siekmann,Karsten Suehring,and ThomasWiegand,"Description of video coding technology proposed byFraunhofer HHI",JCTVC-A116,April,2010）。

考虑将这种合并方法用于对多视点图像进行编码。在多视点图像的情况下，由于图像包括多个视图（各个视点的图像），因此可以使用利用视图（视差方向）之间的相关性的视点预测，以进一步改进编码效率。

发明内容

然而，存在在具有相应视图的图像中被摄对象的位置相互偏离的可能性。因此，在参照具有不同视点的编码图片区域的视点预测的情况下，如果参考与具有不同视点的当前块靠近的位置，如现有技术中的空间预测和时间预测，会参考与当前块的运动不同的运动，结果是运动信息的预测精度降低，因此存在编码效率降低的问题。

期望改进编码效率。

根据本技术的第一实施例的一种图像处理设备，包括：生成单元，生成表示视点与当前块的图像视点不同的编码图像的不同块的多条参考块信息作为参考运动信息的参考块；选择单元，从由所述生成单元生成的多条参考块信息分别表示的块中选择充当运动信息的参考对象的块；编码单元，对参考由所述选择单元选择的块的运动信息而生成的当前块的预测图像与当前块的图像之间的差值图像进行编码；以及发送单元，发送所述编码单元生成的编码数据和表示所述选择单元选择的块的参考块信息。

所述多条参考块信息是标识参考块的识别信息。

各个参考块是视点与当前块的图像视点不同的编码图像的位于彼此不同的方向的与同位块相互隔开的块，所述同位块位于与当前块相同的位置处。

所述发送单元发送表示视点与当前块的图像视点不同的编码图像的各个参考块的位置的多条视点预测信息。

所述多条视点预测信息是表示参考块相对于位于与当前块相同的位置处的同位块的相对位置的信息。

所述多条视点预测信息包括表示参考块相对于同位块的距离的信息。

所述多条视点预测信息包括表示彼此不同的参考块的距离的多条信息。

所述多条视点预测信息还包括表示各个参考块相对于同位块的方向的信息。

所述发送单元发送表示是否使用视点与当前块的图像视点不同的编码图像的块作为参考块的标记信息。

所述编码单元对图像进行多视点编码。

根据本技术第一实施例的一种图像处理设备的图像处理方法，包括：生成表示视点与当前块的图像视点不同的编码图像的不同块的多条参考块信息作为参考运动信息的参考块；从由所生成的多条参考块信息分别表示的块中选择充当运动信息的参考对象的块；对参考所选择的块的运动信息而生成的当前块的预测图像与当前块的图像之间的差值图像进行编码；以及发送所生成的编码数据和表示所选择的块的参考块信息。

根据本技术第二实施例的一种图像处理设备，包括：接收单元，接收表示从视点与当前块的图像视点不同的解码图像的多个块中作为运动信息的参考对象而选择的参考块的多条参考块信息；生成单元，利用使用由所述接收单元接收的所述多条参考块信息表示的参考块的运动信息来生成当前块的运动信息；以及解码单元，利用由所述生成单元生成的运动信息对当前块的编码数据进行解码。

所述多条参考块信息是表示参考块的识别信息。

视点与当前块的图像视点不同的解码图像的所述多个块是位于不同方向的与同位块相互隔开的块，所述同位块位于与当前块相同的位置处。

所述图像处理设备还包括：指定单元，指定所述参考块。所述接收单元接收表示视点与当前块的图像视点不同的解码图像的参考块的位置的多条视点预测信息，所述指定单元利用由所述接收单元接收的所述多条参考块信息和所述多条视点预测信息来指定参考块，以及所述生成单元利用由所述指定单元指定的参考块的运动信息来生成当前块的运动信息。

所述视点预测信息还包括表示各个参考块相对于同位块的方向的信息。

根据本技术第二实施例的一种图像处理设备的图像处理方法，包括：接收表示从视点与当前块的图像视点不同的解码图像的多个块中作为运动信息的参考对象而选择的参考块的多条参考块信息；利用使用所接收的多条参考块信息表示的参考块的运动信息来生成当前块的运动信息；以及利用所生成的运动信息对当前块的编码数据进行解码。

根据本技术第一实施例，生成表示视点与当前块的图像视点不同的编码图像的不同块的多条参考块信息作为参考运动信息的参考块；从由所生成的多条参考块信息分别表示的块中选择充当运动信息的参考对象的块；对参考所选择的块的运动信息而生成的当前块的预测图像与当前块的图像之间的差值图像进行编码；以及发送所生成的编码数据和表示由选择单元所选择的块的参考块信息。

根据本技术第二实施例，接收表示从视点与当前块的图像视点不同的解码图像的多个块中作为运动信息的参考对象而选择的参考块的多条参考块信息；利用使用所接收的多条参考块信息表示的参考块的运动信息来生成当前块的运动信息；以及利用所生成的运动信息对当前块的编码数据进行解码。

根据本技术，可以处理信息。具体来说，可以改进编码效率。

附图说明

图1是示出视差和深度的图；

图2是示出合并模式的图；

图3是示出多视点图像的编码示例的图；

图4是示出视差与运动信息之间的关系示例的图；

图5是示出视差与运动信息之间的另一关系示例的图；

图6是示出合并模式中的参考块的示例的图；

图7是示出合并模式中的参考块的示例的图；

图8是示出图像编码设备的主配置示例的框图；

图9是示出编码单位的图；

图10是示出合并模式处理单元的主配置示例的框图；

图11是示出序列参数组的语法示例的图；

图12是示出图片参数组的语法示例的图；

图13是示出序列编码处理的流程示例的流程图；

图14是示出序列参数组编码处理的流程示例的流程图；

图15是示出图片编码处理的流程示例的流程图；

图16是示出图片参数组编码处理的流程示例的流程图；

图17是示出切片编码处理的流程示例的流程图；

图18是示出CU编码处理的流程示例的流程图；

图19是示出从图18延续的CU编码处理的流程示例的流程图；

图20是示出合并模式处理的流程示例的流程图；

图21是示出CU合并模式编码处理的流程示例的流程图；

图22是示出PU编码处理的流程示例的流程图；

图23是示出TU编码处理的流程示例的流程图；

图24是示出图像解码设备的主配置示例的框图；

图25是示出合并模式处理单元的主配置示例的框图；

图26是示出序列解码处理的流程示例的流程图；

图27是示出序列参数组解码处理的流程示例的流程图；

图28示出图片解码处理的流程示例的流程图；

图29是示出图片参数组解码处理的流程示例的流程图；

图30是示出切片解码处理的流程示例的流程图；

图31是示出CU解码处理的流程示例的流程图；

图32是示出从图31延续的CU解码处理的流程示例的流程图；

图33是示出CU合并模式解码处理的流程示例的流程图；

图34是示出PU解码处理的流程示例的流程图；

图35是示出TU解码处理的流程示例的流程图；

图36是示出计算机的主配置示例的框图；

图37是示出电视设备的示意配置示例的框图；

图38是示出移动电话的示意配置示例的框图；

图39是示出记录再现设备的示意配置示例的框图；

图40是示出成像设备的示意配置示例的框图。

具体实施方式

以下，描述实现本公开的形式（以下称为实施例）。同时，按以下顺序进行描述：

1.第一实施例(图像编码设备)

2.第二实施例(图像解码设备)

3.第三实施例(其他方法)

4第四实施例(计算机)

3.第五实施例(应用示例)

1.第一实施例

1-1.本说明书的深度图像（视差图像）的描述

图1是示出视差和深度的图。

如图1所示，当布置在位置C1处的照相机c1和布置在位置C2处的照相机c2拍摄被摄对象M的彩色图像时，如以下公式a所示定义作为在深度方向上从照相机c1（照相机c2）起被摄对象M的距离的深度Z：

Z=(L/d)*f(a)

同时，L是在水平方向上在位置C1与位置C2之间的距离（以下称为照相机之间的距离）。此外，d是通过将在水平方向上在照相机c1拍摄的彩色图像上从彩色图像的中心起被摄对象M的位置处的距离u1减去在照相机c2拍摄的彩色图像上从彩色图像的中心起被摄对象M的位置处的距离u2而获得的值，即，视差。此外，f是照相机c1的焦距，假设在公式a中照相机c1的焦距与照相机c2的焦距相同。

如公式a所示，可以对视差d和深度Z进行唯一转换。因此，在本说明书中，将表示由照相机c1和照相机c2拍摄的双视点彩色图像的视差d的图像和表示深度Z的图像统称为深度图像（视差图像）。

同时，深度图像（视差图像）可以是表示视差d或深度Z的图像，可以使用通过将视差d归一化获得的值和通过将深度Z的倒数（即，1/Z）归一化获得的值作为深度图像（视差图像）的像素值，而不使用视差d或深度Z。

可以使用以下公式b，通过使用8比特（0到255）对视差d进行归一化而获得值I。同时，用于对视差d进行归一化的比特数并不限于8比特，可以使用其他比特数，如10比特或12比特。

I={255*(d-D_min)}/{D_max-D_min} (b)

同时，在公式b中，D_max是视差d的最大值，D_min是视差d的最小值。可以按1个画面的单位或者按多个画面的单位设定最大值D_max和最小值D_min。

此外，可以使用以下公式c，通过使用8比特（0到255）对深度Z的倒数1/Z进行归一化获得值y。同时，用于对深度Z的倒数1/Z进行归一化的比特数并不限于8比特，可以使用其他比特数，如10比特或12比特。

y=255*(1/Z-1/Z_far)/(1/Z_near-1/Z_far) (c)

同时，在公式c中，Z_far是深度Z的最大值，Z_near是深度Z的最小值。可以按1个画面的单位或者按多个画面的单位设定最大值Z_far和最小值Z_near。

如上所述，在本说明书中，在考虑到可以对视差d和深度Z进行唯一转换的同时，将使用通过对视差d进行归一化获得的值I作为像素值的图像和使用通过对深度Z的倒数1/Z进行归一化获得的值y作为像素值的图像统称为深度图像（视差图像）。在此，尽管假设深度图像（视差图像）的颜色格式是YUV420或YUV400，但是所使用的深度彩色图像可以是其他颜色格式的。

同时，当关注与值I或值y本身有关的信息而不是深度图像(视差图像)的像素值时，使用值I或值y作为深度信息（视差信息）。此外，使用通过对值I或值y进行映射而获得的值作为深度图（视差图）。

1-2.合并模式

图2是示出合并模式的图.参考Martin Winken,Sebastian Bosse,Benjamin Bross,Philipp Helle,Tobias Hinz,Heiner Kirchhoffer,Haricharan Lakshman,Detlev Marpe,Simon Oudin,Matthias Preiss,Heiko Schwarz,Mischa Siekmann,Karsten Suehring,and ThomasWiegand,"Description of video coding technology proposed byFraunhofer HHI",JCTVC-A116,April,2010，如图2所示，作为运动信息编码方法之一，提出了一种称为运动分区合并的方法（合并模式）。在该方法中，作为合并信息，发送两个标记，即，Merge_Flag和Merge_Left_Flag，合并信息是与合并模式有关的信息。

Merge_flag=1指示当前块X的运动信息与在当前块X的顶部相邻的相邻块T的运动信息相同，或者当前块X的运动信息与在当前块X的左侧相邻的相邻块L的运动信息相同。此时，在合并信息中包括并传输Merge_Left_Flag。Merge_flag=0指示当前块X的运动信息不同于相邻块T或相邻块L的运动信息。在此情况下，传输当前块X的运动信息。

当当前块X的运动信息与相邻块L的运动信息相同时，Merge_Flag=1并且Merge_Left_Flag=1。当当前块X的运动信息与相邻块T的运动信息相同时，Merge_Flag=1并且Merge_Left_Flag=0。

如上所述，在合并模式中，空间相邻块是参考运动信息的候选块（参考块）。利用空间方向上的相关性的这种运动信息的预测称为空间预测。

然而，在运动图片的情况下，在时间方向上排列具有高相关性的多个图片。在此，在这种合并模式中，除了空间相邻块以外，时间相邻块（即，已经被编码的不同图片块）可以是合并模式中的候选参考块。利用时间方向上的相关性的这种预测称为时间预测。

1-3.多视点图像

此外，当对诸如所谓的3D图像的多视点图像进行编码时，存在具有彼此不同的视点（视图（view））的多个系统中的图像。即，在视点方向（观看方向）上排列多个具有高相关性的图片。

在此，假设视点相邻块（即，另一视图的编码图像的块（与当前块的视图不同的视图的编码图像））是合并模式中的候选参考块。利用视点方向上的相关性的这种运动信息的预测称为视点预测。

图3是示出多视点图像的编码示例的图。例如，当对包括作为右眼图像的视图R和作为左眼图像的视图L的立体3D图像进行编码时，如图中用箭头所示，对每个图片（即，视图R和视图L）交替进行编码。

在图3中，假设作为编码对象的当前图片是左眼图像Lt。在此情况下，类似于单视点图像的情况，将位于当前图片Lt的当前块附近的（包括与其相邻的）块设定为作为合并模式中的候选参考块的空间相邻块。

此外，类似于单视点图像的情况，例如，作为位于与紧接在当前图片Lt之前编码的图片L(t-1)（时间预测参考图片）的当前块相同位置处的块的同位块或者位于当前块附近的块被设定为时间相邻块，其为合并模式中的候选参考块。

与此对照，在与右眼图像的当前图片近似相同的时间在图片Rt中的块被设定为视点相邻块，其被用作合并模式中的候选参考块。

例如，当紧接在产生了场景变化之后时间方向上的相关性降低时，以及当在运动物体与背景之间的边界附近在时间方向上的相关性降低时，在如上所述的视点方向上的合并模式中的候选参考块尤其有用。即，通常，可以通过提供视点方向上的合并模式中的候选参考块来改进编码效率。

然而，在视图之间存在视差。即，任意被摄对象在图片中的位置随每个视图而不同。因此，考虑作为在与图片Rt的当前块近似相同的位置处的块的同位块或者位于当前块附近的块的信息显著不同于图片Lt的当前块的运动信息。

图4是示出视差与运动信息之间的关系示例的图。

在图4所示的示例的情况下，如用虚线所示，运动物体10的位置在L图像面和R图像面中彼此不同。即，如果假设运动物体10在L图像面上的位置是当前块（当前），那么运动对象10的图像在R图像面上不位于同位块（同位）中。因此，例如，如果将R图像面的同位块设定为参考运动信息，那么会获得与当前块的运动信息（表示运动对象10的运动的运动信息）完全不同的运动信息。

如果使用这种块的运动信息生成预测图像，那么会存在预测精度降低并且编码量增大的问题。即，存在编码效率降低的问题。此外，如果将这种块设定为合并模式中的候选参考块之一，那么该块不会被选择为参考块，因为预测精度很低。即，这种块无助于改进编码效率。

在此，在视点预测的情况下，将具有正确的运动信息的块而不是同位块和在参考块附近的块设定为候选参考块。

例如，可以考虑基于过去的深度信息和运动信息预测当前时间的深度信息，然后基于预测的深度信息来预测具有正确的运动信息的块的位置。然而，在该方法的情况下，应当详细地获得被设定为参考块的块的位置，并且处理量急剧增大到不现实的程度。

此外，可以考虑对于每个图片逐个地将具有正确运动信息的块的位置与同位块的位置之间的距离信息附加到编码数据。然而，在该方法的情况下，不可能将具有正确运动信息的块的位置指定为当前图片中的单个位置。因此，例如，不可能在具有相交视差（intersecting parallax）的图像中正确地指定具有正确运动信息的块的位置。

图5是示出视差与运动信息之间的另一关系示例的图。

在此，被摄对象11被投射在L图像面的当前块A（当前A）上。此外，被摄对象12被投射在L图像面的当前块B（当前B）上。R图像面的同位块A（同位A）是位于与L图像面的当前块A（当前A）相同的位置处的块。R图像面的同位块B（同位B）是位于与L图像面的当前块B（当前B）相同的位置处的块。

如图5所示，被摄对象11投射在R图像面上的块（即，具有正确运动信息的块A）位于同位块B处，被摄对象12投射在R图像面上的块（即，具有正确运动信息的块B）位于同位块A处。

即，具有正确运动信息的块A位于比同位块A（同位A）更靠右侧的位置。与此对照，具有正确运动信息的块B位于比同位块B（同位B）更靠左侧的位置。即，对具有正确运动信息的块与同位块(同位)之间的位置关系的确定在图片中并不一定被确定为一种关系。

1-4.当对多视点图像进行编码时的合并模式

在此，当在合并模式中候选参考块包括视点相邻块时，将多个块设定为候选参考块。即，将多个候选参考块设定为具有与当前块的视图不同的视图的图片以及与当前块近似相同的时间的图片。按此方式，可以在合并模式的候选块中包括具有高预测精度的块，并且可以改进预测精度。即，可以改进编码效率。

可以将所述多个块设定在与同位块分开一定程度的位置处。该距离可以例如根据视图之间的视差量来设定。例如，可以基于对被摄对象进行成像并生成编码对象的图像的照相机的设置信息来设定该距离。此外，可以由用户输入距离。再者，对于各个块，可以逐块地设定距离以使其彼此独立。

此外，可以在从同位块观察时彼此不同的方向上设定各个块。例如，在上述左右图像的情况下，由于图像在水平方向上偏离，因此可以将用作合并模式中的候选参考块的块设定在同位块的左方和右方中的每一个上。

图6是示出当编码图3所示的3D图像时合并模式中的参考块的示例的图。在此情况下，如图6所示，不仅可以将空间相邻块S0到S4以及时间相邻块T0和T1而且可以将视点相邻块V0和V1设定为合并模式中的参考块。

块V0是位于从同位块向左相隔length_from_col0的位置处的块。块V1是位于从同位块向右相隔length_from_col1的位置处的块。

图7是示出合并模式中的参考块的示例的图。图7示出了空间预测、时间预测以及视点预测中的候选参考块之间的相互空间位置关系。使用斜线示出的块表示当前块。

按此方式，即使如图5的示例所示，存在图像根据被摄对象的位置而向左方和右方偏离的可能性，也可以改进预测精度，由此可以改进编码效率。

同时，可以将图6和7所示的表示当前块(同位块)与块V0之间的距离的length_from_col0和表示当前块(同位块)与块V1之间的距离的length_from_col1传输到解码侧设备。例如，length_from_col0和length_from_col1可以被存储在编码数据的预定位置处（如序列参数组或图片参数组），并且可以被传输到解码侧。同时，length_from_col0和length_from_col1可以包括表示从当前块起的方向的信息。此外，length_from_col0和length_from_col1可用作表示从位于与当前块相同的位置处的同位块起的相对位置的信息。

由于至少以图片的单位，视图之间的视差量是恒定的，因此各个候选同位块与参考块之间的距离在图片中可以是相同的。更准确地说，由于如上所述左图像与右图像之间的偏离量随被摄对象的位置（深度）而变化，因此优选的是根据被摄对象的位置为每个块设定所述距离。然而，在此情况下，存在处理量急剧增大的问题。此外，如上所述，可以通过提供用作候选块的多个块来获得足够的预测精度。因此，可以按大于至少一个图片单位的单位来同化所述距离。

即，可以作为视点预测信息来传输各个候选同位块与参考块之间的距离。例如，可以将所述距离包括在要传输的图片参数组或序列参数组中。

在此情况下，可以使用要传输的表示合并模式中的参考块的信息而不是每个块的运动信息，作为识别候选参考块的识别信息。即，可以减小每个块的要传输的信息量，由此可以提高编码效率。

在解码侧设备中，可以基于所接收到的识别信息和由识别信息表示的块与当前块的距离的信息，来指定参考块。

1-5.图像编码设备

图8是示出作为应用了本技术的图像处理设备的图像编码设备的主配置示例的框图。

图8所示的图像编码设备100通过使用高效视频编码(HEVC)方法或H.264以及运动图像专家组(MPEG)4Part10高级视频编码(AVC)方法对运动图片的图像数据进行编码。

图8所示的图像编码设备100包括A/D转换单元101、画面排序缓冲器102、操作单元103、正交变换单元104、量化单元105、可逆编码单元106以及存储缓冲器107。此外，图像编码设备100包括逆量化单元108、逆正交变换单元109、操作单元110、环路滤波器111、帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115、预测图像选择单元116以及速率控制单元117。

A/D转换单元101对输入的图像数据执行A/D转换，将转换后获得的图像数据（数字数据）提供给画面排序缓冲器102，并存储图像数据。画面排序缓冲器102根据图片组（GOP）将存储显示顺序的图像帧排序成编码用帧顺序，并将帧顺序被排序的图像提供给操作单元103。画面排序缓冲器102针对作为编码处理的处理单位（编码单位）的每个预定子区，将每个帧图像提供给操作单元103。

此外，按相同的方式，针对每个子区，画面排序缓冲器102将帧顺序被排序的图像提供给帧内预测单元114和运动预测/补偿单元115。

操作单元103从读自画面排序缓冲器102的图像减去从帧内预测单元114或运动预测/补偿单元115经过预测图像选择单元116提供的预测图像，并将其差信息输出到正交变换单元104。例如，在执行帧内编码的图像的情况下，操作单元103从读自画面排序缓冲器102的图像减去从帧内预测单元114提供的预测图像。此外，例如，在执行帧间编码的图像的情况下，操作单元103从读自画面排序缓冲器102的图像减去从运动预测/补偿单元115提供的预测图像。

正交变换单元104对从操作单元103提供的差信息执行正交变换，如离散余弦变换或Karhunen-Loeve变换。同时，正交变换的方法是任意的。正交变换单元104将通过正交变换获得的变换系数提供给量化单元105。

量化单元105对从正交变换单元104提供的变换系数进行量化。量化单元105将量化后的变换系数提供给可逆编码单元106。

可逆编码单元106利用任意编码方法对通过量化单元105量化的变换系数进行编码，并生成编码数据（比特流）。由于在速率控制单元117的控制下对系数数据进行量化，因此编码数据的编码量是由速率控制单元117设定的所需值（或接近所需值）。

此外，可逆编码单元106从帧内预测单元114获得包括表示帧内预测模式的信息的帧内预测信息，并从运动预测/补偿单元115获得包括表示帧间预测模式的信息或运动矢量信息的帧间预测信息。此外，可逆编码单元106获得环路滤波器111使用的滤波系数。

可逆编码单元106使用任意编码方法对这些各种信息进行编码，并将信息包括（复用）在编码数据（比特流）中。可逆编码单元106将如上所述生成的编码数据提供给存储缓冲器107以存储它。

作为可逆编码单元106使用的编码方法，例如，可以使用变长编码或算术编码。作为变长编码，例如，可以采用H.264/AVC方法确定的上下文自适应变长编码(CAVLC)。作为算术编码，例如，可以使用上下文自适应二进制算术编码(CABAC)。

存储缓冲器107临时保持从可逆编码单元106提供的编码数据。存储缓冲器107按预定定时将保持的编码数据变换成比特流，并将比特流输出到例如位于图中未示出的后端的记录设备（记录介质）或传输路径。即，将信息的各个编码项目提供给对通过由图像编码设备100编码图像数据而获得的编码数据进行解码的设备（以下称为解码侧设备）（例如，稍后在图24中描述的图像解码设备300）。

此外，将量化单元105量化的变换系数也提供给逆量化单元108。逆量化单元108使用与量化单元105执行的量化对应的方法对量化变换系数执行逆量化。逆量化单元108将所获得的变换系数提供给逆正交变换单元109。

逆正交变换单元109使用与正交变换单元104执行的正交变换对应的方法，对从逆量化单元108提供的变换系数执行逆正交变换。将通过逆正交变换获得的输出（局部解码差信息）提供给操作单元110。

操作单元110将从帧内预测单元114或运动预测/补偿单元115提供的预测图像与从逆正交变换单元109通过预测图像选择单元116提供的逆正交变换的结果（即，局部解码差信息）相加，并获得局部再配置图像（reconfigured image）（以下称为再配置图像）。将再配置图像提供给环路滤波器111或帧存储器112。

环路滤波器111包括去块滤波器和自适应环路滤波器，并对从操作单元110提供的再配置图像执行合适的滤波处理。例如，环路滤波器111通过对再配置图像执行去块滤波处理，去除再配置图像的块失真。此外，例如，环路滤波器111通过使用Wiener滤波器对去块滤波处理的结果（执行了块失真的去除的再配置图像）执行环路滤波处理，改进图像质量。

同时，环路滤波器111可以对再配置图像进一步执行其他任意滤波处理。此外，如果需要的话，环路滤波器111可以向可逆编码单元106提供诸如用于滤波处理的滤波系数之类的信息，以对信息进行编码。

环路滤波器111将滤波处理的结果（以下，称为解码图像）提供给帧存储器112。

帧存储器112分别存储从操作单元110提供的再配置图像和从环路滤波器111提供的解码图像。帧存储器112按预定定时或者基于来自诸如帧内预测单元114的外部的请求，将所存储的再配置图像经过选择单元113提供给帧内预测单元114。此外，帧存储器112按预定定时或者基于来自诸如运动预测/补偿单元115的外部的请求，将所存储的解码图像经过选择单元113提供给运动预测/补偿单元115。

选择单元113示出从帧存储器112输出的图像的供应目的地。例如，在帧内预测的情况下，选择单元113读取未由帧存储器112执行滤波处理的图像（再配置图像），并将该图像作为相邻像素提供给帧内预测单元114。

此外，例如，在帧间预测的情况下，选择单元113读取由帧存储器112执行了滤波处理的图像（解码图像），并将该图像作为参考图像提供给运动预测/补偿单元115。

当帧内预测单元114从帧存储器112获得与处理目标区域相邻的相邻区域的图像（相邻图像）时，帧内预测单元114使用相邻图像的像素值，执行帧内预测（画面内的预测），其在基本上使用预测单位（PU）作为处理单位的同时生成预测图像。帧内预测单元114以预先准备的多种模式（帧内预测模式）执行帧内预测。

即，帧内预测单元114以作为候选模式的所有帧内预测模式生成预测图像，使用从画面排序缓冲器102提供的输入图像估计每个预测图像的成本函数值，并选择最优模式。当选择了最优帧内预测模式时，帧内预测单元114将以最优模式生成的预测图像提供给预测图像选择单元116。

此外，帧内预测单元114将包括与帧内预测有关的信息的帧内预测信息（如最优帧内预测模式）提供给合适的可逆编码单元106，并对帧内预测信息进行编码。

运动预测/补偿单元115使用从画面排序缓冲器102提供的输入图像和从帧存储器112提供的参考图像，在基本上使用PU（帧间PU）作为处理单位的同时执行运动预测（帧间预测），根据检测到的运动矢量预测图像执行运动补偿处理，并生成预测图像（帧间预测图像信息）。运动预测/补偿单元115以预先准备的多个模式（帧间预测模式）执行帧间预测。

即，运动预测/补偿单元115以作为候选模式的帧间预测模式生成所有预测图像，并估计每个预测图像的成本函数值，并选择最优模式。当选择了最优帧间预测模式时，运动预测/补偿单元115将以最优模式生成的预测图像提供给预测图像选择单元116。

此外，运动预测/补偿单元115将包括与帧间预测有关的信息的帧间预测信息（如最优帧间预测模式）提供给可逆编码单元106，并对帧间预测信息进行编码。

预测图像选择单元116选择要提供给操作单元103和操作单元110的预测图像的提供源。例如，在帧内编码的情况下，预测图像选择单元116选择帧内预测单元114作为预测图像的提供源，并将从帧内预测单元114提供的预测图像提供给操作单元103或操作单元110。此外，在帧间编码的情况下，预测图像选择单元116选择预测/补偿单元115作为预测图像的提供源，并将从预测/补偿单元115提供的预测图像提供给操作单元103或操作单元110。

速率控制单元117基于存储缓冲器107中存储的编码数据的编码量，控制量化单元105执行量化操作的速率，使得不会出现上溢或下溢。

此外，图像编码设备100包括合并模式处理单元121，该单元执行与帧间预测的合并模式有关的处理。

1-6.编码单位

顺便指出，在AVC中，将使用宏块和子宏块的分层结构定义为编码处理单位（编码单位）。但是，当将宏块的大小设定为16×16像素时，对于作为下一代编码方法的对象的称为超高清晰度（UHD;4,000×2,000像素）的大图片帧来说，该宏块大小并不是最优的。

因此，在作为后AVC编码方法的高效视频编码(HEVC)中，将编码单位（CU）而不是宏块定义为编码单位。

编码单位（CU）称为编码树块（CTB），并且是图像中的与AVC中的宏块作用相同的子区域，其具有按图片单位的图像的多层结构。即，CU是编码处理单位（编码单位）。尽管宏块的大小固定为16×16像素，但是CU的大小并不固定，而是在每个序列中在图像压缩信息中被指定。

具体来说，具有最大大小的CU称为最大编码单位(LCU)，具有最小大小的CU称为最小编码单位(SCU)。即，LCU是最大编码单位，SCU是最小编码单位。例如，这些区域的大小是在包括在图像压缩信息中的序列参数组中指定的，并且每个区域都限于正方形的大小，并用2次幂来显示。即，通过将某个层级中的（正方）CU分成2×2=4份而获得的每个区域是低一层的（正方）CU。

图2示出了按照HEVC定义的编码单位的示例。在图2所示的示例中，LCU的大小是128(2N(N=64))，最大层级深度是5(深度=4)。当split_flag的值是“1”时，将大小为2N×2N的CU分成每个的大小都为N×N的多个低一层的CU。

此外，CU被分成预测单位（PU），每个预测单位是充当帧内或帧间预测的处理单位的区域（图片单位中的图像的子区域），并且CU被分成变换单位（TU），每个变换单位是充当正交变换的处理单位的区域（图片单位中的图像的子区域）。

在帧间预测单位PU的情况下，可以对2N×2N大小的CU设定四种大小，即，2N×2N,2N×N,N×2N以及N×N。即，对于单个CU，可以定义与CU大小相同的单个PU，通过对CU进行垂直或水平分割获得的两个PU，或者通过对CU垂直且水平分成两份而获得的四个PU。

图像编码设备100在使用图片单位的图像的这种子区域作为处理单位的同时执行与编码有关的每个处理。以下，描述图像编码设备100使用按照HEVC定义的CU作为编码单位的情况。即，LCU是最大编码单位，SCU是最小编码单位。不过，图像编码设备100执行编码所用的处理单位并不限于此，可以使用任何任意处理单位。例如，可以将按照AVC定义的宏块或子宏块设定为处理单位。

同时，以下，“块”包括所有各种区域（例如，宏块、子宏块、LCU、CU、SCU、PU以及TU）（可以使用每个区域）。显然，可以包括以上没有描述的单位，并且根据描述内容适当去除了不可接受的单位。

1-7.合并模式处理单元

图10是示出合并模式处理单元的主配置示例的框图。

如图10所示，运动预测/补偿单元115包括运动搜索单元151、成本函数计算单元152、模式确定单元153、运动补偿单元154以及运动信息缓冲器155。

此外，合并模式处理单元121包括视点预测确定单元171、标记生成单元172、视点预测信息生成单元173、视点预测信息存储单元174、视点预测参考块指定单元175、候选块指定单元176、运动信息获取单元177、参考图像获取单元178以及差值图像生成单元179。

将来自画面排序缓冲器102的输入图像像素值和来自帧存储器112的参考图像像素值输入到运动搜索单元151。此外，运动搜索单元151从运动信息缓冲器155获得相邻运动信息，其为与当前块相邻并且在过去被编码的相邻块的运动信息。运动搜索单元151关于所有帧间预测模式执行运动搜索处理，并生成包括运动矢量和参考索引（reference index）的运动信息。运动搜索单元151将运动信息提供给成本函数计算单元152。

此外，运动搜索单元151利用找到的运动矢量对参考图像执行补偿处理，并生成预测图像。此外，运动搜索单元151计算预测图像与输入图像之间的差值图像，并将作为其像素值的差值像素值提供给成本函数计算单元152。

成本函数计算单元152从运动搜索单元151获得每个帧间预测模式的差值像素值。此外，成本函数计算单元152从合并模式处理单元121的差值图像生成单元179获得诸如差值像素值、候选块运动信息以及识别信息merge_idx之类的信息。

成本函数计算单元152使用差值像素值，计算每个帧间预测模式（包括合并模式）的成本函数值。成本函数计算单元152将诸如每个帧间预测模式的成本函数值、运动信息以及merge_idx之类的信息提供给模式确定单元153。

模式确定单元153从成本函数计算单元152获得诸如成本函数值、运动信息以及merge_idx之类的每个帧间预测模式的信息。模式确定单元153从所有帧间预测模式选择具有最小成本函数值的模式作为最优模式。模式确定单元153将作为表示选择为最优模式的帧间预测模式的信息的最优模式信息连同选择为最优模式的帧间预测模式的运动信息或merge_idx一起提供给运动补偿单元154。

运动补偿单元154获得从模式确定单元153提供的诸如最优模式信息、运动信息或merge_idx之类的信息。运动补偿单元154利用运动信息或merge_idx从帧存储器112获得基于最优模式信息显示的帧间预测模式的参考图像像素值，并生成基于最优模式信息显示的帧间预测模式的预测图像。

运动补偿单元154将所生成的预测图像像素值提供给预测图像选择单元116。此外，运动补偿单元154将诸如最优模式信息、运动信息或merge_idx之类的信息提供给可逆编码单元106，并将该信息发送到解码侧。

此外，运动补偿单元154将运动信息或运动信息表示的merge_idx提供给运动信息缓冲器155以存储它。

运动信息缓冲器155存储从运动补偿单元154提供的运动信息，并将所存储的运动信息提供给运动搜索单元151，作为与当前块相邻的编码相邻块的运动信息(相邻运动信息)。此外，运动信息缓冲器155将所存储的运动信息提供给合并模式处理单元121的运动信息获取单元177，作为候选块运动信息。

合并模式处理单元121的视点预测确定单元171基于例如来自外部（如用户）的指示或编码对象的图像类型，确定是否参考视点方向上的相邻块的运动信息（是否执行视点预测），并将确定结果通知给标记生成单元172。标记生成单元172基于确定结果设定标记信息merge_support_3d_flag的值。

例如，当编码对象的图像是具有左右视图的3D图像时，视点预测确定单元171确定执行视点预测，并且标记生成单元172将merge_support_3d_flag的值设定为某个值（例如1），该值表示合并模式中的候选参考块包括视点方向上的相邻块（视点预测参考块）。

此外，例如，当编码对象的图像是包括单个视图的2D图像时，视点预测确定单元171确定不执行视点预测，并且标记生成单元172将merge_support_3d_flag的值设定为某个值（例如0），该值表示合并模式中的候选参考块不包括视点方向上的相邻块（视点预测参考块）。

同时，标记生成单元172除了merge_support_3d_flag以外还可以生成标记信息。标记生成单元172将包括merge_support_3d_flag的标记信息提供给可逆编码单元106，并将该标记信息发送到解码侧。可逆编码单元106将标记信息包括在序列参数组中，如图11所示的语法中那样，并将标记信息发送到解码侧。显然，除了序列参数组以外，还可以将标记信息存储在任意区域中，例如存储在图片参数组中。此外，可以作为与编码数据分开的数据发送标记信息。

如果候选参考块的数量增大，存在编码处理负荷增大并且编码量增大的问题。因此，可以通过确定是否执行视点预测并发送表示其确定结果的标记信息，来改变候选参考块的数量。即，由于可以基于标记信息识别候选参考块的数量，因此即使候选参考块数量变化，解码侧设备也可以正确地识别参考块的识别信息。即，通过发送merge_support_3d_flag，可以抑制不需要的候选参考块的数量的增大。

同时，是否执行视点预测取决于图像的视图数量。即，如果视图数量不变，那么merge_support_3d_flag的值是恒定的。通常，对每个序列确定视图数量。至少，在一个图片中视图数量不会改变。因此，通过增加merge_support_3d_flag导致的信息量的增加很少。与此相比，如果候选参考块的数量增加，那么每个块的信息量增加。即，可以通过发送merge_support_3d_flag来抑制编码量的增加，因此可以改进编码效率。

视点预测确定单元171还将该确定结果提供给视点预测信息生成单元173、视点预测参考块指定单元175以及候选块指定单元176。

当视点预测信息生成单元173基于确定结果确定执行视点预测时，视点预测信息生成单元173生成视点预测信息，该信息包括表示同位块与具有与当前块不同的视图并且与当前块的时间近似相同的图片中的候选参考块之间的距离的信息(length_from_col0和length_from_col1)。可以预先确定该距离，可以基于编码对象的图像的视图之间的视差信息确定该距离，并且可以基于对被摄对象进行成像并生成编码对象图像的照相机的设置信息来确定该距离。此外，该距离可以从诸如用户的外部指定。

视点预测信息生成单元173将所生成的视点预测信息提供给可逆编码单元106，并将视点预测信息发送到解码侧设备。可逆编码单元106将视点预测信息包括在图片参数组中，如图12所示的语法那样，并将视点预测信息发送到解码侧。显然，除了图片参数组以外，还可以将视点预测信息存储在任意区域中，例如存储在序列参数组中。此外，可以作为与编码数据分开的数据发送视点预测信息。

视点预测信息生成单元173将所生成的视点预测信息提供给视点预测信息存储单元174。视点预测信息存储单元174存储视点预测信息。视点预测信息存储单元174例如根据来自外部（如视点预测参考块指定单元175）的请求，将所存储的视点预测信息提供给视点预测参考块指定单元175。

当视点预测参考块指定单元175基于视点预测确定单元171执行的确定的结果，确定执行视点预测时，视点预测参考块指定单元175从视点预测信息存储单元174获得视点预测信息，并基于视点预测信息指定作为合并模式中的视点方向上的候选参考块的多个视点预测参考块。例如，视点预测参考块指定单元175利用length_from_col0指定当前块的块V0，并利用length_from_col1指定当前块的块V1。

视点预测参考块指定单元175将表示所指定的视点预测参考块的信息提供给候选块指定单元176。

候选块指定单元176指定用作合并模式中的候选参考块的块（候选块）。候选块指定单元176指定用作合并模式中的空间方向候选参考块的块和用作时间方向候选参考块的块。

然后，当候选块指定单元176基于视点预测确定单元171执行的确定的结果，确定执行视点预测时，候选块指定单元176连同空间方向和时间方向候选块一起，包括视点方向候选块。此外，当基于视点预测确定单元171执行的确定的结果确定不执行视点预测时，候选块指定单元176包括空间方向和时间方向候选块。

候选块指定单元176将表示按此方式指定的候选块的位置的信息和用于识别每个候选块的识别信息merge_idx提供给运动信息获取单元177。

运动信息获取单元177从运动信息缓冲器155获得每个候选块的运动信息（候选块运动信息），并将每个候选块的运动信息连同识别信息merge_idx一起提供给参考图像获取单元178。

参考图像获取单元178从帧存储器112获得与每个运动信息对应的参考图像(候选块像素值)。参考图像获取单元178将所获得的每个参考图像(候选块像素值)连同识别信息merge_idx和候选块运动信息一起提供给差值图像生成单元179。

差值图像生成单元179生成从画面排序缓冲器102获得的输入图像（输入图像像素值）与从参考图像获取单元178获得的每个参考图像(候选块像素值)之间的差值图像(差值像素值)。差值图像生成单元179将所生成的每个差值图像(差值像素值)连同识别信息merge_idx和候选块运动信息一起提供给成本函数计算单元152。

成本函数计算单元152计算每个候选块的成本函数值。当这些候选块的任一成本函数值最小时，模式确定单元153使用合并模式作为最优帧间预测模式，并将候选块确定为参考块。在此情况下，模式确定单元153连同最优模式信息一起将识别信息merge_idx提供给运动补偿单元154。运动补偿单元154生成预测图像并将所生成的预测图像提供给预测图像选择单元116，将最优模式信息和识别信息merge_idx提供给可逆编码单元106，并将最优模式信息和识别信息merge_idx发送到解码侧设备。可逆编码单元106将信息例如包括在编码数据中，并发送该信息。显然，可以作为与编码数据分开的数据发送该信息。

如上所述，视点预测参考块指定单元175指定多个视点预测参考块，结果是图像编码设备100改进了合并模式的预测精度，从而可以改进编码效率。

1-8.处理流程

随后，描述上述图像编码设备100执行的每个处理的流程。首先，参照图13所示的流程图描述序列编码处理的流程示例。

在步骤S101中，可逆编码单元106和合并模式处理单元121对序列参数组进行编码。

在步骤S102中，A/D转换单元101对输入图片执行A/D转换。在步骤S103中，画面排序缓冲器102存储通过A/D转换获得的图片。

在步骤S104中，画面排序缓冲器102确定是否对图片进行排序。当确定对图片进行排序时，处理进行到步骤S105。在步骤S105中，画面排序缓冲器102对图片进行排序。当图片被排序了时，处理进行到步骤S106。此外，在步骤S104中，当确定不对图片进行排序时，处理进行到步骤S106。

在步骤S106中，操作单元103至速率控制单元117以及合并模式处理单元121执行图片编码处理以对作为处理对象的当前图片进行编码。

在步骤S107中，图像编码设备100确定是否处理了处理对象时间的从所有视点看到的图片。当确定存在未处理视点时，处理进行到步骤S108。

在步骤S108中，图像编码设备100将未处理视点设定为处理对象。处理返回到步骤S102，然后重复处理。即，对每个视点执行步骤S102到S108的处理。

在步骤S107中，当确定处理了处理对象时间的从所有视点看到的图片时，处理进行到步骤S109，并将随后时间的图片设定为处理对象。

在步骤S109中，图像编码设备100确定是否处理了所有图片。当确定存在未处理图片时，处理返回到步骤S102，然后重复处理。即，通过重复执行步骤S102到S109中的处理，对所有时间的从所有视点看到的图片（即，所有序列中的图片）进行编码。

当在步骤S109中确定编码了所有图片时，结束序列编码处理。

随后，参照图14的流程图描述序列参数组编码处理的流程示例。

在步骤S111中，可逆编码单元106将profile_idc和level_idc包括在流（编码数据）中。

此外，标记生成单元172生成包括merge_support_3d_flag的标记信息，并将该标记信息提供给可逆编码单元106。在步骤S112中，可逆编码单元106对标记信息进行编码，并将编码的标记信息包括在例如编码数据的序列参数组中。解码侧设备可以利用merge_support_3d_flag识别合并模式中的候选参考块中是否包括视点预测参考块。

当步骤S112中的处理结束时，处理返回到图13。

随后，将参照图15的流程图描述图片编码处理的流程示例。

在步骤S121中，可逆编码单元106对图片参数组进行编码。

在步骤S122中，操作单元103至可逆编码单元106、逆量化单元108至操作单元110、选择单元113至预测图像选择单元116以及合并模式处理单元121执行切片编码处理，以对当前图片中的作为处理对象的当前切片进行编码。

在步骤S123中，图像编码设备100确定是否编码了当前图片中的所有切片。当存在未处理切片时，处理返回到步骤S122。即，对所有切片执行步骤S122中的处理。在步骤S123中，当确定处理了当前图片中的所有切片时，处理进行到步骤S124。

在步骤S124中，存储缓冲器107存储并累积可逆编码单元106生成的处理对象图片的编码数据（流）。

在步骤S125中，速率控制单元117基于累积在存储缓冲器107中的编码数据的编码量，通过控制量化单元105的参数来控制编码数据的速率。

在步骤S126中，环路滤波器111对通过在步骤S122中执行的处理而生成的再配置图像执行去块滤波处理。在步骤S127中，环路滤波器111加上采样自适应偏移（sample adaptive offset）。在步骤S128中，环路滤波器111执行自适应环路滤波处理。

在步骤S129中，帧存储器112存储如上所述执行了滤波处理的解码图像。

当结束了步骤S129中的处理时，处理返回到图13.

随后，参照图16的流程图描述图片参数组编码处理的流程示例。

在步骤S131中，可逆编码单元106按照图片参数组的语法执行编码。

在步骤S132中，视点预测确定单元171确定是否包括视点方向上的相邻块作为合并模式中的候选参考块。当确定包括视点方向上的相邻块时，处理进行到步骤S133。

在此情况下，视点预测信息生成单元173生成视点预测信息。在步骤S133中，可逆编码单元106对视点预测信息(length_from_col0和length_from_col1)进行编码，并将视点预测信息包括在图片参数组中。

当步骤S133中的处理结束时，处理返回到图15。此外，在步骤S132中，当确定不包括视点方向的相邻块时，处理返回到图15.

随后，参照图17的流程图描述切片编码处理的流程示例。

在步骤S141中，可逆编码单元106将modify_bip_small_mrg_l0包括在流中。

在步骤S142中，操作单元103至可逆编码单元106、逆量化单元108到操作单元110、选择单元113到预测图像选择单元116以及合并模式处理单元121执行CU编码处理，以对当前切片中的作为处理对象的当前CU进行编码。

在步骤S143中，图像编码设备100确定是否处理了当前切片中的所有LCU。当确定在当前切片中存在未处理LCU时，处理返回到步骤S142。即，对当前切片中的所有LCU执行步骤S142中的处理。

在步骤S143中，当确定处理了当前切片中的所有LCU时，处理返回到图15。

随后，参照图18和19中的流程图描述CU编码处理的流程示例。

在步骤S151中，运动搜索单元151对当前CU执行运动搜索。在步骤S152中，合并模式处理单元121执行合并模式处理。

在步骤S153中，成本函数计算单元152计算每个帧内预测模式的成本函数。在步骤S154中，模式确定单元153基于计算出的成本函数，确定最优帧内预测模式。

在步骤S155中，图像编码设备100确定是否对当前CU执行分割。当确定要分割当前CU时，处理进行到步骤S156。

在步骤S156中，可逆编码单元106对cu_split_flag=1进行编码，并将编码的cu_split_flag=1包括在编码数据（流）中。

在步骤S157中，图像编码设备100对当前CU执行分割。

在步骤S158中，操作单元103到可逆编码单元106、逆量化单元108到操作单元110、选择单元113到预测图像选择单元116以及合并模式处理单元121对通过分割获得的CU递归地执行CU编码处理。

在步骤S159中，对于当前CU，图像编码设备100确定是否对通过分割获得的所有CU进行了编码。当确定存在未处理CU时，处理返回到步骤S158。当对通过分割获得的所有CU执行了步骤S158中的处理并且确定对通过分割获得的所有CU进行了编码时，处理返回到图17。

此外，在步骤S155中，当确定没有对当前CU执行分割时，处理进行到步骤S160。

在步骤S160中，可逆编码单元106对cu_split_flag=0进行编码，并将编码的cu_split_flag=0包括在编码数据（流）中。

在步骤S161中，图像编码设备100确定在步骤S154中选择的当前CU的最优帧内预测模式是否是合并模式。当确定最优帧内预测模式是合并模式时，处理进行到步骤S162。

在步骤S162中，可逆编码单元106对skip_flag=1和识别信息merge_idx进行编码，并将编码的skip_flag=1和编码的识别信息merge_idx包括在编码数据（流）中。

在步骤S163中，图像编码设备100执行CU合并模式编码处理，以通过用合并模式对当前CU执行帧内预测来对当前CU进行编码。当步骤S163中的处理结束时，处理返回到图17。

此外，当在步骤S161中确定最优帧内预测模式不是合并模式时，处理进行到图19。

在图19中的步骤S164中，可逆编码单元106、选择单元113到预测图像选择单元116以及合并模式处理单元121执行PU编码处理，以对作为当前CU的处理对象的当前PU进行编码。

在步骤S165中，操作单元103生成通过执行步骤S164中的处理而获得的当前PU的预测图像与输入图像之间的差值图像。

在步骤S166中，正交变换单元104到可逆编码单元106、逆量化单元108以及逆正交变换单元109执行TU编码处理，以对作为当前CU的处理对象的当前TU进行编码。

在步骤S167中，操作单元110将通过执行步骤S166中的处理生成的差值图像与通过执行步骤S164中的处理生成的预测图像相加，并生成再配置图像。

在步骤S168中，图像编码设备100确定是否处理了当前PU中的所有TU。当确定存在未处理TU时，处理返回到步骤S166。

当对每个TU执行了步骤S166到S168中的每个处理并且确定在步骤S168中处理了当前PU中的所有TU时，处理进行到步骤S169。

在步骤S169中，图像编码设备100确定是否处理了当前CU的所有PU。当确定存在未处理PU时，处理返回到步骤S164。

当对每个PU执行了步骤S164到S169中的每个处理并且确定在步骤S169中处理了当前CU中的所有PU时，处理返回到图17。

随后，参照图20的流程图描述在图18的步骤S152中执行的合并模式处理的流程示例。

在步骤S171中，候选块指定单元176指定作为候选参考块的空间预测和时间预测的参考块，并将参考块设定为候选块。

在步骤S172中，视点预测参考块指定单元175和候选块指定单元176确定是否在合并模式的候选参考块中包括视点方向的相邻块。当确定在合并模式的候选参考块中包括视点方向的相邻块时，处理进行到步骤S173。

在步骤S173中，视点预测参考块指定单元175指定多个视点预测参考块，并且候选块指定单元176将该多个视点预测参考块包括在候选块中。

在步骤S174中，运动信息获取单元177获得每个候选块的运动信息。在步骤S175中，运动信息获取单元177从候选块去除运动信息与另一块的运动信息重叠的块。在步骤S176中，运动信息获取单元177将零矢量与候选块相加。

在步骤S177中，参考图像获取单元178获得与每条运动信息对应的参考图像。在步骤S178中，差值图像生成单元179生成每条参考信息与输入图像之间的差值图像。

当步骤S178中的处理结束时，处理返回到图18.

随后，参照图21中的流程图描述在图18的步骤S163中执行的CU合并模式编码处理的流程示例。

在步骤S181中，运动补偿单元154生成当前CU的预测图像。在步骤S182中，操作单元103生成当前CU的差值图像。

在步骤S183中，正交变换单元104对当前CU的差值图像执行正交变换。在步骤S184中，量化单元105对当前CU的正交变换系数进行量化。在步骤S185中，可逆编码单元106对当前CU的量化正交变换系数进行编码。

在步骤S186中，逆量化单元108对当前CU的量化正交变换系数进行逆量化。在步骤S187中，逆正交变换单元109对通过逆量化获得的当前CU的正交变换系数执行逆正交变换。

在步骤S188中，操作单元110将在步骤S181中生成的预测图像与利用逆正交变换获得的当前CU的差值图像相加，并生成再配置图像。

当步骤S188中的处理结束时，处理返回到图18。

参照图22的流程图描述图19的步骤S164中执行的PU编码处理的流程示例。

在步骤S191中，图像编码设备100确定模式是否为合并模式。当确定模式是合并模式时，处理进行到步骤S192。

在步骤S192中，可逆编码单元106对merge_flag=1进行编码，并将编码的merge_flag=1包括在编码数据（流）中。

在步骤S193中，运动补偿单元154生成当前PU的预测图像。当步骤S193中的处理结束时，处理返回到图19。

此外，当在步骤S191中确定模式不是合并模式时，处理进行到步骤S194。

在步骤S194中，可逆编码单元106对merge_flag=0进行编码，并将编码的merge_flag=0包括在编码数据（流）中。在步骤S195中，可逆编码单元106对预测模式进行编码，并将编码的预测模式包括在编码数据（流）中。在步骤S196中，可逆编码单元106对分区类型进行编码。

在步骤S197中，预测图像选择单元116确定预测是否为帧内预测。当确定预测是帧内预测时，处理进行到步骤S198。

在步骤S198中，可逆编码单元106对MPM标记和帧内方向模式进行编码，并将编码的MPM标记和帧内方向模式包括在编码流中。

在步骤S199中，帧内预测单元114生成当前PU的预测图像。当步骤S199中的处理结束时，处理返回到图19。

此外，当在步骤S197中确定预测不是帧内预测时，处理进行到步骤200。

在步骤S200中，可逆编码单元106对运动信息进行编码，并将编码的运动信息包括在编码数据（流）中。

在步骤S201中，运动补偿单元154生成当前PU的预测图像。当步骤S201中的处理结束时，处理返回到图19。

随后，参照图23中的流程图描述图19的步骤S166中执行的TU编码处理的流程示例。

在步骤S211中，图像编码设备100确定是否执行对当前TU的分割。当确定对当前TU执行分割时，处理进行到步骤S212。

在步骤S212中，可逆编码单元106对tu_split_flag=1进行编码，并将编码的tu_split_flag=1包括在编码数据（流）中。

在步骤S213中，图像编码设备100对当前TU执行分割。在步骤S214中，正交变换单元104到可逆编码单元106、逆量化单元108以及逆正交变换单元109对通过分割获得的每个TU递归地执行TU编码处理。

在步骤S215中，图像编码设备100确定是否处理了通过对当前TU进行分割获得的所有TU。当存储未处理TU时，处理返回到步骤S214。此外，当在步骤S215中确定对所有TU执行了TU编码处理时，处理返回到图19。

此外，当在步骤S211中确定不对当前TU执行分割时，处理进行到步骤S216。

在步骤S216中，可逆编码单元106对tu_split_flag=0进行编码，并将编码的tu_split_flag=0包括在编码数据（流）中。

在步骤S217中，正交变换单元104对当前TU的差值图像（残差图像）进行正交变换。在步骤S218中，量化单元105利用当前CU的量化参数QP对当前TU的正交变换系数进行量化。

在步骤S219中，可逆编码单元106对当前TU的量化正交变换系数进行编码。

在步骤S220中，逆量化单元108使用当前CU的量化参数QP对当前TU的量化正交变换系数进行逆量化。在步骤S221中，逆正交变换单元109对通过执行逆量化获得的当前TU的正交变换系数执行逆正交变换。

当步骤S221中的处理结束时，处理返回到图19。

图像编码设备100可以通过执行上述处理中的每一个，将视点方向上的多个相邻块设定为合并模式中的候选参考块。因此，图像编码设备100改进了预测精度，由此可以改进编码效率。

2.第二实施例

2-1.图像解码设备

图24是示出作为应用了本技术的图像处理设备的图像解码设备的主配置示例的框图。图24所示的图像解码设备300对应于上述图像编码设备100，对按照图像编码设备100对图像数据进行编码的方式生成的比特流（编码数据）进行正确的解码，并生成解码图像。即，图像解码设备300对将执行场编码（field coding）并且通过对隔行格式的图像进行编码而获得的编码数据进行解码，在隔行格式中，在亮度信号与色差信号之间在垂直方向上的分辨率不同。

图24所示的图像解码设备300包括存储缓冲器301、可逆解码单元302、逆量化单元303、逆正交变换单元304、操作单元305、环路滤波器306、画面排序缓冲器307以及D/A转换单元308。此外，图像解码设备300包括帧存储器309、选择单元310、帧内预测单元311、运动预测/补偿单元312以及选择单元313。

存储缓冲器301累积并发送编码数据，并按预定定时将编码数据提供给可逆解码单元302。可逆解码单元302利用与可逆编码单元106的编码方法对应的方法，对从存储缓冲器301提供并且由图8中的可逆编码单元106编码的信息进行解码。可逆解码单元302将通过解码获得的差值图像的量化系数数据提供给逆量化单元303。

此外，可逆解码单元302参考通过对编码数据进行解码而获得的信息，确定是帧内预测模式还是帧间预测模式被选择为最优预测模式，并关联到最优预测模式。即，可逆解码单元302确定在所发送的编码数据中使用的预测模式是帧内预测还是帧间预测。

可逆解码单元302基于确定结果，将涉及预测模式的信息提供给帧内预测单元311或运动预测/补偿单元312。例如，当在图像编码设备100中选择帧内预测模式作为最优预测模式时，可逆解码单元302将从编码侧提供并且指示涉及所选择的帧内预测模式的信息的帧内预测信息提供给帧内预测单元311。此外，例如，当在图像编码设备100中选择帧间预测模式作为最优预测模式时，可逆解码单元302将从编码侧提供并且指示涉及所选择的帧间预测模式的信息的帧间预测信息提供给运动预测/补偿单元312。

逆量化单元303使用与图8中的量化单元105的量化方法对应的方法（使用与逆量化单元108的方法相同的方法），对可逆解码单元302解码并获得的量化系数数据进行逆量化。逆量化单元303将逆量化系数数据提供给逆正交变换单元304。

逆正交变换单元304使用与图8中的正交变换单元104的正交变换方法对应的方法，对从逆量化单元303提供的系数数据进行逆正交变换。逆正交变换单元304利用逆正交变换获得与在图像编码设备100中执行正交变换之前获得的差值图像对应的差值图像。

将通过执行逆正交变换获得的差值图像提供给操作单元305。此外，通过选择单元313从帧内预测单元311或运动预测/补偿单元312将预测图像提供给操作单元305。

操作单元305将差值图像与预测图像相加，并获得与在由图像编码设备100的操作单元103减去了预测图像之前获得的图像对应的再配置图像。操作单元305将再配置图像提供给环路滤波器306。

环路滤波器306通过对所提供的再配置图像适当执行包括去块滤波处理和自适应环路滤波处理的环路滤波处理，生成解码图像。例如，环路滤波器306通过对再配置图像执行去块滤波处理，去除块失真。此外，例如，环路滤波器306使用Wiener滤波器，通过对去块滤波处理的结果（去除了块失真的再配置图像）执行环路滤波处理来改进图像质量。

同时，环路滤波器306执行任意类型的滤波处理，除了上述滤波处理以外，还可以执行其他滤波处理。此外，环路滤波器306可以使用从图8中的图像编码设备100提供的滤波系数来执行滤波处理。

环路滤波器306将作为滤波处理的结果的解码图像提供给画面排序缓冲器307和帧存储器309。同时，可以略去环路滤波器306执行的滤波处理。即，可以将来自操作单元305的输出存储在帧存储器309中而不对其执行滤波处理。例如，帧内预测单元311使用图像中包括的像素的像素值作为相邻像素的像素值。

画面排序缓冲器307对所提供的解码图像进行排序。即，按原始显示顺序对由图8中的画面排序缓冲器102为编码顺序而排序的帧顺序进行排序。D/A转换单元308对从画面排序缓冲器307提供的解码图像执行D/A转换，并将通过D/A转换获得的解码图像输出并显示到图中未示出的显示器。

帧存储器309存储所提供的再配置图像和解码图像。此外，帧存储器309按预定定时或者基于来自外部（如帧内预测单元311和运动预测/补偿单元312）的请求，通过选择单元310将所存储的再配置图像和解码图像提供给帧内预测单元311和运动预测/补偿单元312。

帧内预测单元311执行与图8中的帧内预测单元114的处理基本相同的处理。不过，帧内预测单元311仅对在执行编码时通过帧内预测生成了预测图像的区域执行帧内预测。

运动预测/补偿单元312通过对从可逆解码单元302提供的帧间预测信息执行帧间预测（包括运动预测和运动补偿），生成预测图像。同时，运动预测/补偿单元312基于从可逆解码单元302提供的帧间预测信息，仅对在执行编码时执行了帧间预测的区域执行帧间预测。

帧内预测单元311和运动预测/补偿单元312对于预测处理单位的每个区域，将所生成的预测图像通过选择单元313提供给操作单元305。

选择单元313将从帧内预测单元311提供的预测图像或从运动预测/补偿单元312提供的预测图像提供给操作单元305。

图像解码设备300还包括合并模式处理单元321。

可逆解码单元302向合并模式处理单元321提供从图像编码设备100发送的涉及合并模式的信息（例如，标记信息（包括merge_support_3d_flag、MergeFlag以及MergeLeftFlag）、视点预测信息(包括length_from_col0和length_from_col1)），和指示参考运动信息的参考块的信息（包括识别信息merge_idx）。

合并模式处理单元321利用所提供的信息生成（再配置）当前块的运动信息。合并模式处理单元321将所生成的运动信息提供给运动预测/补偿单元312。

2-2.合并模式处理单元

图25是示出合并模式处理单元的主配置示例的框图。

如图25所示，运动预测/补偿单元312包括最优模式信息缓冲器351、运动信息重构单元352、运动补偿单元353以及运动信息缓冲器354。

此外，合并模式处理单元321包括合并模式控制单元371、空间预测运动信息重构单元372、时间预测运动信息重构单元373以及视点预测运动信息重构单元374。

最优模式信息缓冲器351获得从可逆解码单元302提供的最优模式信息。当最优模式不是合并模式时，最优模式信息缓冲器351将最优模式信息提供给运动信息重构单元352。此外，当最优模式是合并模式时，最优模式信息缓冲器351将最优模式信息提供给合并模式控制单元371。

运动信息重构单元352利用从可逆解码单元302提供的运动信息，生成（重构）当前块的运动信息。例如，当从可逆解码单元302提供了当前块的运动信息与当前块的预测运动信息之间的差值运动信息时，运动信息重构单元352从运动信息缓冲器354获得相邻块的解码运动信息。运动信息重构单元352利用运动信息生成当前块的预测运动信息。然后，运动信息重构单元352通过将预测运动信息与差值运动信息相加，生成（重构）当前块的运动信息。运动信息重构单元352将所生成的运动信息提供给运动补偿单元353。此外，运动信息重构单元352将所生成的运动信息提供给运动信息缓冲器354。

当最优模式不是合并模式时，运动补偿单元353从帧存储器309获得与从运动信息重构单元352提供的运动信息对应的参考图像。此外，当最优模式是合并模式时，运动补偿单元353获得从空间预测运动信息重构单元372、时间预测运动信息重构单元373或视点预测运动信息重构单元374提供的运动信息。运动补偿单元353从帧存储器309获得与所获得的运动信息对应的参考图像，并将参考图像设定为预测图像。运动补偿单元353将预测图像像素值提供给选择单元313。

运动信息缓冲器354存储从运动信息重构单元352提供的运动信息。运动信息缓冲器354将所存储的运动信息作为相邻块的运动信息提供给运动信息重构单元352、空间预测运动信息重构单元372、时间预测运动信息重构单元373以及视点预测运动信息重构单元374。

在合并模式的情况下，合并模式控制单元371获得从可逆解码单元302提供的涉及合并模式的信息，基于该信息指定参考块的预测方向，并通过控制空间预测运动信息重构单元372、时间预测运动信息重构单元373以及视点预测运动信息重构单元374来生成（重构）运动信息。

例如，当merge_support_3D_flag=1并且利用识别信息merge_idx将视点方向的相邻块指定为参考块时，合并模式控制单元371利用视点预测信息指定视点预测参考块。合并模式控制单元371将指示所指定的视点预测参考块的信息提供给视点预测运动信息重构单元374。

此外，例如，当利用识别信息merge_idx将时间方向的相邻块指定为参考块时，合并模式控制单元371指定时间预测参考块。合并模式控制单元371将指示所指定的时间预测参考块的信息提供给时间预测运动信息重构单元373。

此外，例如，当利用识别信息merge_idx将空间方向的相邻块指定为参考块时，合并模式控制单元371指定空间预测参考块。合并模式控制单元371将指示所指定的空间预测参考块的信息提供给空间预测运动信息重构单元372。

空间预测运动信息重构单元372从运动信息缓冲器354获得所指定的空间预测参考块的运动信息，并将该运动信息作为当前块的运动信息提供给运动补偿单元353。

此外，时间预测运动信息重构单元373从运动信息缓冲器354获得所指定的时间预测参考块的运动信息，并将该运动信息作为当前块的运动信息提供给运动补偿单元353。

此外，视点预测运动信息重构单元374从运动信息缓冲器354获得所指定的视点预测参考块的运动信息，并将该运动信息作为当前块的运动信息提供给运动补偿单元353。

如上所述，合并模式控制单元371利用从图像编码设备100提供的涉及合并模式的信息（识别信息merge_idx、merge_support_3d_flag,length_from_col0以及length_from_col1），生成（重构）当前块的运动信息。因此，图像解码设备300可以利用从图像编码设备100提供并且从包括时间方向上的多个相邻块的候选块中选择的参考块，对以合并模式编码的编码数据进行适当的解码。因此，图像解码设备300可以实现编码效率的改进。

2-3.处理流程

随后，将描述由上述图像解码设备300执行的每个处理的流程。首先，参照图26的流程图描述序列解码处理的流程示例。

当存储缓冲器301获得编码数据时，在步骤S301中可逆解码单元302对序列参数组进行解码。

在步骤S302中，可逆解码单元302到环路滤波器306、帧存储器309到选择单元313以及合并模式处理单元321执行图片解码处理，以对作为处理对象的当前图片的编码数据进行解码。

在步骤S303中，画面排序缓冲器307存储以利用步骤S302中的处理对编码数据进行解码而获得的当前图片的图像数据。

在步骤S304中，画面排序缓冲器307确定是否对图片进行排序。当确定执行排序时，处理进行到步骤S305。

在步骤S305中，画面排序缓冲器307对图片进行排序。当步骤S305中的处理结束时，处理进行到步骤S306。此外，在步骤S304中，当确定不执行排序时，处理进行到步骤S306。

在步骤S306中，D/A转换单元308对图片的图像数据执行D/A转换。在步骤S307中，图像解码设备300确定是否处理了处理对象时间的从所有视点看到的图片。当确定存在未处理视点时，处理进行到步骤S308。

在步骤S308中，图像解码设备300将在处理对象时间从未处理视点看到的图片（视图）设定为处理对象（当前图片）。当步骤S308中的处理结束时，处理返回到步骤S302。

如上所述，对每个视图的图片执行步骤S302到步骤S308中的每个处理。因此，所有视点的图片都被解码。在步骤S307中，当确定处理了处理对象时间的从所有视点看到的图片（视图）时，处理进行到步骤S309。因此，利用随后的时间（随后的图片）更新处理对象。

在步骤S309中，图像解码设备300确定是否处理了序列中的所有图片。当确定在序列中存在未处理图片时，处理返回到步骤S302。即，重复执行步骤S302到S309中的每个处理，对每个时间的所有视图的图片进行编码，由此最终解码了序列中的所有图片。

当在步骤S309中确定处理了所有图片时，结束序列解码处理。

随后，参照图27的流程图描述图26中的步骤S301中执行的序列参数组解码处理的流程示例。

在步骤S311中，可逆解码单元302从编码数据的序列参数组提取profile_idc和lvel_idc。

在步骤S312中，可逆解码单元302从编码数据的序列参数组提取merge_support_3d_flag，并对merge_support_3d_flag进行解码。由于如上所述地读取并使用序列参数组中包括的merge_support_3d_flag，因此图像解码设备300可以使候选参考块的数量可变，并且可以实现对识别信息merge_idx的编码量的增加的抑制。

当步骤S312中的处理结束时，处理返回到图26。

随后，参照图28的流程图描述图26中的步骤S302中执行的图片解码处理的流程示例。

在步骤S321中，可逆解码单元302执行图片参数组解码处理以对图片参数组进行解码。

在步骤S322中，可逆解码单元302到操作单元305、选择单元310到选择单元313以及合并模式处理单元321执行切片解码处理，以对作为当前图片的处理对象的当前切片的编码数据进行解码。

在步骤S323中，图像解码设备300确定是否处理了当前图片的所有切片。当确定在当前图片中存在未处理切片时，处理返回到步骤S322。即，对当前图片的每个切片执行步骤S322中的处理。

当在步骤S323中确定解码了当前图片中的所有切片的编码数据时，处理进行到步骤S324。

在步骤S324中，环路滤波器306对通过执行步骤S322中的处理而获得的再配置图像执行去块滤波处理。在步骤S325中，环路滤波器306加上采样自适应偏移。在步骤S326中，环路滤波器306执行自适应环路滤波处理。

在步骤S327中，帧存储器309存储如上所述通过滤波处理获得的当前图片的图像数据（解码图像）。

当步骤S327中的处理结束时，处理返回到图26。

随后，参照图29的流程图描述图28中的步骤S321中执行的图片参数组解码处理的流程示例。

在步骤S331中，可逆解码单元302按照图片参数组的语法执行解码。

在步骤S332中，可逆解码单元302基于从序列参数组提取的merge_support_3d_flag的值，确定是否将视点方向的相邻块包括在合并模式中的候选参考块中。当确定使用视点预测作为合并模式中的候选预测之一时，处理进行到步骤S333。

在步骤S333中，可逆解码单元302从图片参数组提取视点预测信息（包括例如length_from_col0和length_from_col1），并对视点预测信息进行解码。当步骤S333中的处理结束时，处理返回到图28。

此外，当确定不存在merge_support_3d_flag时或者当在步骤S332中确定不将视点方向的相邻块包括在合并模式中的候选参考块时，处理返回到图28。

随后，参照图30的流程图描述图28中的步骤S322中执行的切片解码处理的流程示例。

在步骤S341中，可逆解码单元302从编码数据的切片头部提取modify_bip_small_mrg_l0。

在步骤S342中，可逆解码单元302到操作单元305、选择单元310到选择单元313以及合并模式处理单元321执行CU解码处理，以对作为当前切片的处理对象的当前CU的编码数据进行解码。

在步骤S343中，图像解码设备300确定是否解码了当前切片的所有LCU的编码数据。当确定存在未处理LCU时，处理返回到步骤S342。即，对当前切片的所有CU（LCU）执行步骤S342中的处理。

在步骤S343中，当确定解码了所有LCU的编码数据时，处理返回到图28。

随后，参照图31和32的流程图描述图30中的步骤S342中执行的CU解码处理的流程示例。

在步骤S351中，可逆解码单元302从当前CU的编码数据提取标记信息cu_split_flag，并对标记信息cu_split_flag进行解码。

在步骤S352中，图像解码设备300确定cu_split_flag的值是否为1。当确定作为表示应当对CU执行分割的值的cu_split_flag的值是1时，处理进行到步骤S353。

在步骤S353中，图像解码设备300对当前CU执行分割。在步骤S354中，可逆解码单元302到操作单元305、选择单元310到选择单元313以及合并模式处理单元321对通过分割获得的CU递归地执行CU解码处理。

在步骤S355中，图像解码设备300确定是否处理了通过对当前CU执行分割而获得的所有CU。当确定存在未处理CU时，处理返回到步骤S354。即，对通过对当前CU执行分割而获得的所有CU递归地执行CU解码处理。

当在步骤S355中处理了所有CU时，处理返回到图30。

此外，当在步骤S352中确定cu_split_flag的值是表示不应当再对当前CU执行分割的0时，处理进行到步骤S356。

在步骤S356中，可逆解码单元302从当前CU的编码数据提取标记信息skip_flag。

在步骤S357中，图像解码设备300确定标记信息skip_flag的值是否为1。当确定skip_flag的值是作为表示跳过模式的值的1时，处理进行到步骤S358。

在步骤S358中，可逆解码单元302从当前CU的编码数据提取识别信息merge_idx。

在步骤S359中，逆量化单元303到操作单元305、运动预测/补偿单元312、选择单元313以及合并模式处理单元321执行CU合并模式解码处理，以按合并模式对当前CU的编码数据进行解码。

当步骤S359中的处理结束时，处理返回到图30。

此外，在步骤S357中，当确定skip_flag的值是表示不是跳过模式的模式的0时，处理进行到图32。

在图32中的步骤S361中，可逆解码单元302到逆正交变换单元304、选择单元310到选择单元313以及合并模式处理单元321执行PU解码处理，以对作为当前CU的处理对象的当前PU的编码数据进行解码。

在步骤S362中，可逆解码单元302到逆正交变换单元304、选择单元310到选择单元313以及合并模式处理单元321执行TU解码处理，以对作为当前PU的处理对象的当前TU的编码数据进行解码。

在步骤S363中，操作单元305通过将通过执行步骤S362中的处理获得的当前TU的差值图像与预测图像相加，生成再配置图像。

在步骤S364中，图像解码设备300确定是否解码了当前PU中的所有TU的编码数据。当确定存在未处理TU时，处理返回到步骤S362。即，对当前PU的所有TU执行步骤S362和S363中的每个处理。

此外，当在步骤S364中确定处理了所有TU时，处理进行到步骤S365。

在步骤S365中，图像解码设备300确定是否解码了当前CU中的所有PU的编码数据。当确定存在未处理PU时，处理返回到步骤S361。即，对当前CU的所有PU执行步骤S361到S365中的每个处理。

此外，当在步骤S365中确定处理了所有PU时，处理返回到图30。

随后，参照图33的流程图描述图31中的步骤S359中执行的CU合并模式解码处理的流程示例。

在步骤S371中，合并模式控制单元371基于标记信息、识别信息merge_idx以及视点预测信息指定参考块。

在步骤S372中，由合并模式控制单元371控制的空间预测运动信息重构单元372到视点预测运动信息重构单元374中的任何一个从运动信息缓冲器354获得参考块的运动信息。

在步骤S373中，由合并模式控制单元371控制的空间预测运动信息重构单元372到视点预测运动信息重构单元374中的任何一个利用在步骤S372中获得的运动信息生成（重构）当前CU的运动信息。

在步骤S374中，运动补偿单元353通过选择单元310从帧存储器309获得与在步骤S373中生成（重构）的运动信息对应的参考图像。

在步骤S375中，运动补偿单元353利用在步骤S374中获得的参考图像，生成当前CU的预测图像。

在步骤S376中，可逆解码单元302对当前CU的编码数据进行解码。逆量化单元303对通过解码获得的差值图像的量化正交变换系数进行逆量化。

在步骤S377中，逆正交变换单元304对在步骤S376中通过逆量化获得的差值图像的正交变换系数执行逆正交变换。

在步骤S378中，操作单元305通过将通过执行步骤S375中的处理生成的预测图像与通过执行步骤S377中的逆正交变换获得的差值图像的图像数据相加，生成当前CU的再配置图像。

当步骤S378中的处理结束时，处理返回到图30。

随后，参照图34的流程图描述图32中的步骤S361中执行的PU解码处理的流程示例。

在步骤S381中，可逆解码单元302从当前PU的编码数据提取标记信息merge_flag，并对标记信息merge_flag进行解码。

在步骤S382中，图像解码设备300基于标记信息merge_flag的值确定当前PU的预测模式是否为合并模式。当确定是合并模式时，处理进行到步骤S383。

在步骤S383中，可逆解码单元302从当前PU的编码数据提取标记信息merge_idx。

在步骤S384中，合并模式控制单元371基于标记信息、识别信息merge_idx以及视点预测信息指定参考块。

在步骤S385中，由合并模式控制单元371控制的空间预测运动信息重构单元372到视点预测运动信息重构单元374中的任何一个从运动信息缓冲器354获得参考块的运动信息。

在步骤S386中，由合并模式控制单元371控制的空间预测运动信息重构单元372到视点预测运动信息重构单元374中的任何一个利用在步骤S385中获得的运动信息生成（重构）当前PU的运动信息。

在步骤S387中，运动补偿单元353通过选择单元310从帧存储器309获得与在步骤S386中生成（重构）的运动信息对应的参考图像。

在步骤S388中，运动补偿单元353利用在步骤S387中获得的参考图像，生成当前PU的预测图像。

当步骤S386中的处理结束时，处理返回到图32。

此外，当在步骤S382中确定模式不是合并模式时，处理进行到步骤S389。

在步骤S389中，可逆解码单元302从编码数据提取最优模式信息，并对最优模式信息进行解码。在步骤S390中，可逆解码单元302对分区类型进行解码。

在步骤S391中，图像解码设备300基于最优预测模式确定当前PU的预测模式是否为帧内预测。当确定预测模式是帧内预测时，处理进行到步骤S392。

在步骤S392中，可逆解码单元302从编码数据提取MPM标记和帧内方向模式，并对MPM标记和帧内方向模式进行解码。

在步骤S393中，帧内预测单元311利用在步骤S392中解码的信息生成当前PU的预测图像。

当步骤S393中的处理结束时，处理返回到图32。

此外，当在步骤S391中确定预测模式是帧间预测时，处理进行到步骤S394。

在步骤S394中，可逆解码单元302从编码数据提取运动信息，并对运动信息进行解码。

在步骤S395中，运动信息重构单元352利用在步骤S394中提取的运动信息生成（重构）当前PU的运动信息。运动补偿单元353利用当前PU的生成的运动信息，生成当前PU的预测图像。

当步骤S395中的处理结束时，处理返回到图32。

随后，参照图35中的流程图描述图32中的步骤S362中执行的TU解码处理的流程示例。

在步骤S401中，可逆解码单元302从编码数据提取标记信息tu_split_flag，并对标记信息tu_split_flag进行解码。

在步骤S402中，图像解码设备300确定标记信息tu_split_flag的值是否为表示应当对TU执行分割的1。当确定标记信息tu_split_flag的值是1时，处理进行到步骤S403。

在步骤S403中，图像解码设备300对当前TU执行分割。

在步骤S404中，可逆解码单元302到逆正交变换单元304、选择单元310到选择单元313以及合并模式处理单元321对通过对当前TU执行分割而获得的每个TU递归地执行TU解码处理。即，在步骤S405中图像解码设备300确定是否对通过对当前TU执行分割而获得的所有TU进行了处理。然后，当确定存在未处理TU时，处理返回到步骤S404。如上所述，对通过对当前TU执行分割而获得的所有TU执行步骤S404中的TU解码处理。当在步骤S405中确定处理了所有TU时，处理返回到图32。

此外，当在步骤S402中确定标记信息tu_split_flag的值是表示不再对当前TU执行分割的0时，处理进行到步骤S406。

在步骤S406中，可逆解码单元302对当前TU的编码数据进行解码。

在步骤S407中，逆量化单元303利用当前CU的量化参数(QP)，对通过执行步骤S406中的处理而获得的当前TU的差值图像的量化正交变换系数进行逆量化。

在步骤S408中，逆正交变换单元304对通过执行步骤S407中的处理而获得的当前TU的差值图像的正交变换系数执行逆正交变换。

当步骤S408中的处理结束时，处理返回到图32。

图像解码设备300通过执行如上所述的每个处理，可以对使用合并模式编码的编码数据进行合适的解码，所述合并模式使用从包括从图像编码设备100提供的时间方向的多个相邻块的候选块中选择的参考块。因此，图像解码设备300能够实现编码效率的改进。

3.第三实施例

其他

同时，可以使用作为合并模式中的候选参考块的视点方向的多个相邻块，并且可以使用三个或更多个相邻块。此外，可以关于同位块在多个方向上设置相应的候选块，并且每个方向和方向的数量是任意的。此外，可以在单个方向上设定多个候选块。例如，在图7中的示例中，位于同位块的垂直方向上的块V2和块V3可以是候选参考块。此外，可以将所有块V0到块V2包括在候选参考块中。在这些情况下，图像编码设备100可以设定块V2和块V3的视点预测信息（例如length_from_col2和length_from_col3），并且可以将视点预测信息发送到解码侧设备(图像解码设备300)。显然，可以将位于同位块的倾斜方向上的块设置为候选参考块。

不过，如果候选块数量增加，那么预期预测精度会改进。但是，由于预测处理的负荷和编码量增大到这样的程度，因此优选地综合确定这些事实并将候选块数量设定为合适的值。此外，每个候选块的方向是任意的，优选的是沿着视图之间的视差方向设置候选块的方向。同时，至此，作为编码和解码对象的图像，主要描述了双视点3D图像的示例。不过，可以使用作为编码和解码对象的任意多个数量的视点的图像。即，作为图像编码设备100或图像解码设备300的处理对象的图像可以是三个或更多个视点的多视点视频图片（三个或更多个视图）。

此外，描述了作为视差预测信息提供表示视差方向上的用作候选参考块的相邻块与同位块之间的距离的多条信息（length_from_col0和length_from_col1）。不过，可以将该多条信息组合在单条信息中。即，对于视差预测，每个候选块与同位块之间的距离可以是相同的（length_from_col）。按此方式，减小了视差预测信息的编码量，由此可以提高编码效率。

同时，可以将视差预测信息(length_from_col)包括在序列头部中。例如，在照相机的视点之间关系相同的情况下，length_from_col信息几乎不变，因此可以通过将视差预测信息包括在序列头部中来减小编码量。

此外，可以略去在图像编码设备100与图像解码设备300之间预先确定的信息（两个设备都已知的信息）的传输。

例如，在视点之间的关系基本上相同的情况下，如立体图像，在图像编码设备100与图像解码设备300之间预先确定length_from_col信息，因此不必将该信息包括在流中。按此方式，可以进一步改进编码效率。

至此，在不同时间相同视点的编码图片的时间预测块区分于相同时间不同视点的编码图片的视点校正块，以用作候选块。然而，为了减小处理量，即使在相同视点的编码图片的情况下或在不同视点的编码图片的情况下，也可以使用时间预测块和视点校正块作为候选块。

4.第四实施例

计算机

可以使用硬件或软件执行上述处理序列。当使用软件执行处理序列时，将构成软件的程序安装在计算机中。在此，计算机包括嵌入有专用硬件的计算机，例如，能够通过安装各种程序来执行各种功能的通用个人计算机。

图36是示出使用程序执行上述处理序列的计算机的硬件的配置示例的框图。

在图36所示的计算机500中，通过总线504彼此连接中央处理器（CPU）501、只读存储器(ROM)502以及随机存取存储器(RAM)503。

此外，输入/输出接口510连接到总线504。输入单元511、输出单元512、存储单元513、通信单元514以及驱动器515连接到输入/输出接口510。

输入单元511例如包括键盘、鼠标、麦克风、触摸面板以及输入端子。输出单元512例如包括显示器、扬声器以及输出端子。存储单元513例如包括硬盘、RAM磁盘以及非易失性存储器。通信单元514包括网络接口。驱动器515驱动可移动介质521，如磁盘、光盘、磁光盘或半导体存储器。

在如上所述地配置的计算机500中，执行上述系列处理，使得CPU501通过输入/输出接口510和总线504将存储在存储单元513中的程序加载到RAM503上，并执行该程序。此外，将CPU501执行各种处理所需的数据也适当地存储在RAM503中。

可以将由计算机(CPU501)执行的程序记录在充当包介质的可移动介质521中并在该可移动介质521中使用。此外，可以通过有线或无线传输介质（如局域网、因特网或数字卫星业务）提供程序。

在计算机中，可以通过将可移动介质521安装在驱动器515中经由输入/输出接口510将程序安装在存储单元513中。此外，可以由通信单元514通过有线或无线传输介质接收程序并且可以将其安装在存储单元513中。此外，可以预先将程序安装在ROM502或存储单元513中。

同时，由计算机执行的程序可以是按照本说明书中描述的顺序以时间顺序处理的程序，也可以是并行处理的程序或在调用的所需时间处理的程序。

此外，在本说明书中，描述要记录在记录介质中的程序的步骤可以包括按撰写顺序的时间顺序处理的处理，也可以包括并行执行的处理或单独执行的处理，而不一定按时间顺序处理。

此外，在本说明书中，系统是指一组多个组件（设备和模块（产品）），而不管所有组件是否包括在同一机壳中。因此，容纳在各个机壳中并通过网络连接的多个设备或容纳在单个机壳中的多个模块的单个设备都可以是一个系统。

此外，如上所述，被描述为单个设备（或处理单元）的配置可以在多个设备（或处理单元）之间共享。与此对照，可以将使用多个设备（或处理单元）描述的配置组合在使用单个设备（或处理单元）的配置中。此外，除了上述配置以外，可以将其他配置添加到每个设备（或每个处理单元）的配置中。此外，如果作为整个系统的配置或操作基本上相同，那么设备的一部分配置（或处理单元）可以被包括在另一设备（或另一处理单元）的配置中。

以上，尽管参照附图详细描述了本公开的优选实施例，但是本公开的技术范围并不限于这些示例。显然，本公开的技术领域的技术人员能够明了在权利要求的范围内公开的技术精神的范围内的各种修改或替换，应当明白这些修改或替换显然包括在本公开的技术范围中。

例如，本技术可以使用云计算的配置，其通过网络在多个设备之间共享单个功能并联合地处理该功能。

此外，可以使用单个设备执行上述流程图中描述的各个步骤或者可以在多个设备之间共享所述各个步骤。

此外，当将多个处理包括在单个步骤中时，可以在单个设备中执行单个步骤中包括的多个处理或者在多个设备之间共享这些处理。

根据上述实施例的图像编码设备100(图8)和图像解码设备300(图24)可以应用于各种类型的电子设备，如发送设备或接收设备，用于卫星广播、诸如有线电视的有线广播、因特网上的传输以及使用蜂窝通信对终端的发射；记录设备，将图像记录在诸如光盘、磁盘以及闪速存储器之类的介质上；以及再现设备，从这些存储介质再现图像。以下，描述四个应用示例。

5.第五实施例

5-1．应用示例1：电视设备

图37示出了应用了上述实施例的电视设备的示意配置示例。电视设备900包括天线901、调谐器902、分解器903、解码器904、视频信号处理单元905、显示单元906、声音信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911以及总线912。

调谐器902从通过天线901接收的广播信号提取所需频道信号，并对提取的信号进行解调。然后，调谐器902将通过解调获得的编码比特流输出到分解器903。即，调谐器902具有作为接收编码有图像的编码流的电视设备900的发射单元的功能。

分解器903从编码比特流分离观看目标节目的视频流和音频流，并将分开的每个流输出到解码器904。此外，分解器903从编码比特流提取诸如电子节目向导（EPG）的辅助数据，并将提取的数据提供给控制单元910。同时，分解器903可以在编码比特流被加扰时执行去扰。

解码器904对从分解器903输入的视频流和音频流进行解码。然后，解码器904将通过执行解码处理生成的视频数据输出到视频信号处理单元905。此外，解码器904将通过执行解码处理生成的声音数据输出到声音信号处理单元907。

视频信号处理单元905再现从解码器904输入的视频数据，并在显示单元906上显示视频。此外，视频信号处理单元905可以将通过网络提供的应用画面显示在显示单元906上。此外，视频信号处理单元905可以根据设置对视频数据执行其他处理，如去噪。此外，视频信号处理单元905可以生成图形用户界面(GUI)图像，如菜单、按钮或光标，并且可以使所生成的图像与输出图像重叠。

响应于从视频信号处理单元905提供的驱动信号驱动显示单元906，并在显示装置的视频画面上显示视频或图像（例如，液晶显示器、等离子显示器或有机电致发光显示器(OELD)）。

声音信号处理单元907对从解码器904输入的声音数据执行再现处理，如D/A转换和放大，并从扬声器908输出声音。此外，声音信号处理单元907可以对声音数据执行附加处理，如去噪。

外部接口909是用于将电视设备900连接到外部设备或网络的接口。例如，可以通过解码器904解码通过外部接口909接收的视频流或音频流。即，外部接口909还具有作为接收编码有图像的编码流的电视设备900的发射单元的功能。

控制单元910包括诸如CPU的处理器，和诸如RAM或ROM的存储器。存储器存储由CPU执行的程序、程序数据、EPG数据以及通过网络获得的数据。当驱动电视设备900时，CPU读取并执行存储器存储的程序。CPU通过响应于从用户接口911输入的操作信号执行程序，来控制电视设备900的操作。

用户接口911连接到控制单元910。用户接口911包括例如供用户操作电视设备900的按钮和开关，以及遥控信号接收单元。用户接口911通过检测用户执行的操作通过这些组件生成操作信号，并将所生成的操作信号输出到控制单元910。

总线912相互连接调谐器902、分解器903、解码器904、视频信号处理单元905、声音信号处理单元907、外部接口909、以及控制单元910。

在如上所述配置的电视设备900中，解码器904具有根据上述实施例的图像解码设备300(图24)的功能。因此，电视设备900可以实现编码效率的改进。

5-2.应用示例2：移动电话

图38示出了应用了上述实施例的移动电话的示意配置示例。移动电话920包括天线921、通信单元922、声音编解码器923、扬声器924、麦克风925、照相机单元926、图像处理单元927、分解单元928、记录再现单元929、显示单元930、控制单元931、操作单元932以及总线933。

天线921连接到通信单元922。扬声器924和麦克风925连接到声音编解码器923。操作单元932连接到控制单元931。总线933相互连接通信单元922、声音编解码器923、照相机单元926、图像处理单元927、分解单元928、记录再现单元929、显示单元930以及控制单元931。

移动电话920执行操作，如声音信号的发射和接收、电子邮件或图像数据的发射和接收、图像拍摄、各种操作模式的数据记录，如声音谈话模式、数据通信模式、图片采集模式以及电视电话模式。

在声音谈话模式中，将由麦克风925生成的模拟声音信号提供给声音编解码器923。声音编解码器923将模拟声音信号转换成声音数据，对转换后的声音数据执行A/D转换，然后将对通过A/D转换获得的声音数据进行压缩。然后，声音编解码器923将在执行压缩后获得的声音数据输出到通信单元922。通信单元922通过对声音数据进行编码和调制来生成发送信号。然后，通信单元922将所生成的发送信号发送通过天线921发射到基站（未示出）。此外，通信单元922通过对经由天线921接收的无线信号进行放大来获得接收信号，并对无线信号执行变频。然后，通信单元922通过对接收信号进行解调和解码生成声音数据，并将所生成的声音数据输出到声音编解码器923。声音编解码器923通过对声音数据进行扩展并对声音数据执行D/A转换来生成模拟声音信号。然后，声音编解码器923通过将所生成的声音信号提供给扬声器924来输出声音。

此外，在数据通信模式下，例如，控制单元931根据用户使用操作单元932执行的操作来生成构成电子邮件的文本数据。此外，控制单元931将文本显示在显示单元930上。此外，控制单元931根据用户使用操作单元932产生的发送指令，生成电子邮件数据，并将所生成的电子邮件数据输出到通信单元922。通信单元922通过对电子邮件数据进行编码和调制来生成发送信号。然后，通信单元922将所生成的发送信号通过天线921发射到基站（未示出）。此外，通信单元922通过对通过天线921接收的无线信号进行放大和变频，获得接收信号。然后，通信单元922通过对接收信号进行解调和解码来恢复电子邮件数据，并将恢复的电子邮件数据输出到控制单元931。控制单元931将电子邮件的内容显示在显示单元930上，并将电子邮件数据存储在记录再现单元929的记录介质中。

记录再现单元929包括能够读取和写入的任意存储介质。例如，存储介质可以是嵌入式存储介质，如RAM或闪速存储器，或者可以是安装在外部的存储介质，如硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡。

此外，在成像模式中，例如，照相机单元926对被摄对象进行成像，生成图像数据，并将所生成的图像数据输出到图像处理单元927。图像处理单元927对从照相机单元926输入的图像数据进行编码，并将编码流存储在记录再现单元929的存储介质中。

此外，在电视电话模式中，例如，分解单元928对通过图像处理单元927编码的视频流和从声音编解码器923输入的音频流进行复用，并将复用流输出到通信单元922。通信单元922通过对流进行编码和调制来生成发送信号。然后，通信单元922将所生成的发送信号通过天线921发射到基站（未示出）。此外，通信单元922通过对经由天线921接收的无线信号进行放大和变频来获得接收信号。将编码比特流包括在发送信号和接收信号中。然后，通信单元922通过对接收信号进行解调和解码来恢复流，并将恢复的流输出到分解单元928。分解单元928从输入流分离视频流和音频流，将视频流输出到图像处理单元927，并将音频流输出到声音编解码器923。图像处理单元927通过对视频流进行解码来生成视频数据。将视频数据提供给显示单元930，并由显示单元930显示系列图像。声音编解码器923通过对音频流进行扩展并对音频流进行D/A转换来生成模拟声音信号。然后，声音编解码器923通过将所生成的声音信号提供给扬声器924来输出声音。

在如上所述的移动电话920中，图像处理单元927包括根据上述实施例的图像编码设备100（图8）的功能和图像解码设备300（图24）的功能。因此，移动电话920能够改进编码效率。

此外，至此，描述了移动电话920。然而，如果诸如个人数字助理（PDA）、智能电话、超级移动个人计算机（UMPC）、网络或笔记本式个人计算机之类的设备具有与移动电话920相同的成像功能或通信功能，可以将应用了本技术的图像编码设备和图像解码设备应用于任何类型的设备，如移动电话920的情况那样。

5-3.应用示例：记录再现设备

图39示出了应用了上述实施例的记录再现设备的示意配置示例。记录再现设备940对接收的广播节目的音频数据和视频数据进行编码，并将它们记录在记录介质中。此外，记录再现设备940可以对从另一设备获得的音频数据和视频数据进行编码，并将它们记录在记录介质中。此外，记录再现设备940响应于例如来自用户的指令将记录在记录介质中的数据再现在监视器或扬声器上。此时，记录再现设备940对音频数据和视频数据进行解码。

记录再现设备940包括调谐器941、外部接口942、编码器943、硬盘驱动器(HDD)944、盘驱动器945、选择器946、解码器947、屏上显示器(OSD)948、控制单元949以及用户接口950。

调谐器941从经由天线（未示出）接收的广播信号提取所需频道信号，对提取的信号进行解调。然后，调谐器941将通过解调获得的编码比特流输出到选择器946。即，调谐器941具有作为记录再现设备940的发送单元的功能。

外部接口942具有将记录再现设备940连接到外部设备或网络的接口。外部接口942可以包括例如IEEE1394接口、网络接口、USB接口或闪速存储器接口。例如，将通过外部接口942接收的视频数据和音频数据输入到编码器943。即，外部接口942具有作为记录再现设备940的发送单元的功能。

当从外部接口942输入的视频数据和音频数据未被编码时，编码器943对视频数据和音频数据进行编码。然后，编码器943将编码比特流输出到选择器946。

HDD944将压缩了诸如视频和音频的内容数据的编码比特流、各种程序和其他数据记录在内部硬盘中。此外，HDD944在再现视频和音频时从硬盘读取这些数据。

盘驱动器945将数据记录在安装的记录介质中并从记录介质读取输出。安装在盘驱动器945中的记录介质可以例如包括DVD盘(DVD-视频,DVD-RAM,DVD-R,DVD-RW,DVD+R或DVD+RW)和蓝光(注册商标)盘。

当记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码比特流，并将所选择的编码比特流输出到HDD944或盘驱动器945。此外，当再现视频和音频时，选择器946将从HDD944或盘驱动器945输入的编码比特流输出到解码器947。

解码器947对编码比特流进行解码，并生成视频数据和音频数据。然后，解码器947将所生成的视频数据输出到OSD948。此外，解码器904将所生成的音频数据输出到外部扬声器。

OSD948再现从解码器947输入的视频数据，并显示视频。此外，OSD948可以使显示的视频与诸如菜单、按钮或光标之类的GUI图像叠加在一起。

控制单元949包括诸如CPU的处理器和诸如RAM或ROM的存储器。存储器存储由CPU执行的程序并存储程序数据。存储在存储器中的程序由CPU读取并在记录再现设备940被驱动时被执行。CPU通过响应于从用户接口950输入的操作信号执行程序，控制记录再现设备940的操作。

用户接口950连接到控制单元949。用户接口950包括例如用户用于操作记录再现设备940的按钮和开关，以及遥控信号接收单元。用户接口950通过检测用户通过这些组件执行的操作来生成操作信号，并将所生成的操作信号输出到控制单元949。

在如上所述配置的记录再现设备940中，编码器943包括根据上述实施例的图像编码设备100（图8）的功能。此外，解码器947包括根据上述实施例的图像解码设备300(图24)的功能。因此，记录再现设备940可以改进编码效率。

5-4．应用示例4：成像设备

图40示出了应用了上述实施例的成像设备的示意配置示例。成像设备960通过对被摄对象成像来生成图像，对图像数据进行编码，并将编码的图像数据记录在记录介质中。

成像设备960包括光学模块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD969、控制单元970、用户接口971以及总线972。

光学模块961连接到成像单元962。成像单元962连接到信号处理单元963。显示单元965连接到图像处理单元964。用户接口971连接到控制单元970。总线972相互连接信号处理单元964、外部接口966、存储器967、介质驱动器968、OSD969以及控制单元970。

光学模块961包括聚焦透镜和光圈机构。光学模块961在成像单元962的成像面上形成被摄对象的光学图像。成像单元962包括诸如CCD或CMOS的图像传感器，并通过执行光电转换将形成在成像面上的光学图像转换成作为电信号的图像信号。然后，成像单元962将图像信号输出到信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号执行诸如膝校正、伽马校正以及颜色校正之类的各种照相机信号处理。信号处理单元963将在执行照相机信号处理之后获得的图像数据输出到图像处理单元964。

图像处理单元964对从图像处理单元963输入的图像数据进行编码，生成编码数据。然后，图像处理单元964将所生成的编码数据输出到外部接口966或介质驱动器968。此外，图像处理单元964对从外部接口966或介质驱动器968输入的编码数据进行解码，并生成图像数据。然后，图像处理单元964将所生成的图像数据输出到显示单元965。此外，图像处理单元964可以通过将从信号处理单元963输入的图像数据输出到显示单元965来显示图像。此外，图像处理单元964可以使从OSD969获得的显示数据与输出到显示单元965的图像叠加起来。

OSD969生成诸如菜单、按钮或光标之类的GUI图像，并将所生成的图像输出到图像处理单元964。

外部接口966被配置成例如USB输入/输出端子。例如，当当打印图像时，外部接口966将成像设备960连接到打印机。此外，在需要时将驱动器连接到外部接口966。例如，将诸如磁盘或光盘的可移动介质安装在驱动器上，并且可以将从可移动介质读取的程序安装在成像设备960中。此外，外部接口966可以被配置成连接到诸如LAN或因特网的网络的网络接口。即，外部接口966具有作为成像设备960的发送单元的功能。

安装在介质驱动器968上的记录介质可以是例如用于读写的任意可移动介质，如磁盘、磁光盘、光盘或半导体存储器。此外，可以将记录介质固定地安装在介质驱动器968上，由此可以通过不可转移存储单元来构成记录介质，如嵌入式硬盘或固态驱动器(SSD)。

控制单元970包括诸如CPU的处理器和诸如RAM或ROM的存储器。存储器存储由CPU执行的程序并存储程序数据。存储在存储器中的程序由CPU读取并在成像设备960被驱动时被执行。CPU通过响应于从用户接口971输入的操作信号执行程序，控制成像设备960的操作。

用户接口971连接到控制单元970。用户接口971包括例如用户用于操作成像设备960的按钮和开关。用户接口971通过检测用户通过这些组件执行的操作来生成操作信号，并将所生成的操作信号输出到控制单元970。

在如上所述配置的成像设备960中，图像处理设备964包括根据上述实施例的图像编码设备100（图8）的功能和图像解码设备300(图24)的功能。因此，成像设备960可以改进编码效率。

显然，除了上述设备以外，应用了本技术的图像编码设备和图像解码设备可以应用于其他设备或系统。

同时，在本说明书中，描述了将量化参数从编码侧发送到解码侧的示例。作为发送量化参数的方法，可以将量化参数作为与编码比特流相关联的单独的数据进行发送或记录，而不被复用在编码比特流中。在此，术语“关联”是指包括在比特流中的图像（其可以是图像的一部分，如切片或块）在被执行解码时与对应于图像的信息相关。即，可以在与图像不同的发送路径（或比特流）上发送所述信息。此外，可以将信息记录在与图像（或比特流）不同的记录介质中（或同一记录介质的不同记录区）。此外，信息和图像（或比特流）可以按任意单位彼此关联，如按多个帧、单个帧、或部分帧的单位。

同时，本技术可以包括如下配置：

（1）一种图像处理设备，包括：生成单元，生成表示视点与当前块的图像视点不同的编码图像的不同块的多条参考块信息作为参考运动信息的参考块；选择单元，从由所述生成单元生成的多条参考块信息分别表示的块中选择充当运动信息的参考对象的块；编码单元，对参考由所述选择单元选择的块的运动信息而生成的当前块的预测图像与当前块的图像之间的差值图像进行编码；以及发送单元，发送所述编码单元生成的编码数据和表示所述选择单元选择的块的参考块信息。

（2）根据（1）中所述的图像处理设备，其中所述多条参考块信息是标识参考块的识别信息。

（3）根据（1）或（2）中所述的图像处理设备，各个参考块是视点与当前块的图像视点不同的编码图像的位于不同方向的与同位块相互隔开的块，所述同位块位于与当前块相同的位置处。

（4）根据（1）到（3）中的任何一项所述的图像处理设备，所述发送单元发送表示视点与当前块的图像视点不同的编码图像的各个参考块的位置的多条视点预测信息。

（5）根据（1）到（4）中的任何一项所述的图像处理设备，所述多条视点预测信息是表示参考块相对于位于与当前块相同的位置处的同位块的相对位置的信息。

（6）根据（5）所述的图像处理设备，所述多条视点预测信息包括表示参考块相对于同位块的距离的信息。

（7）根据（6）所述的图像处理设备，所述多条视点预测信息包括表示彼此不同的参考块的距离的多条信息。

（8）根据（6）或（7）所述的图像处理设备，所述多条视点预测信息还包括表示各个参考块相对于同位块的方向的信息。

（9）根据（1）到（8）中的任何一项所述的图像处理设备，所述发送单元发送表示是否使用视点与当前块的图像视点不同的编码图像的块作为参考块的标记信息。

（10）根据（1）到（9）中的任何一项所述的图像处理设备，所述编码单元对图像进行多视点编码。

（11）一种图像处理设备的图像处理方法，包括：生成表示视点与当前块的图像视点不同的编码图像的不同块的多条参考块信息作为参考运动信息的参考块；从由所生成的多条参考块信息分别表示的块中选择充当运动信息的参考对象的块；对参考所选择的块的运动信息而生成的当前块的预测图像与当前块的图像之间的差值图像进行编码；以及发送所生成的编码数据和表示所选择的块的参考块信息。

（12）一种图像处理设备，包括：接收单元，接收表示从视点与当前块的图像视点不同的解码图像的多个块中作为运动信息的参考对象而选择的参考块的多条参考块信息；生成单元，利用使用由所述接收单元接收的所述多条参考块信息表示的参考块的运动信息来生成当前块的运动信息；以及解码单元，利用由所述生成单元生成的运动信息对当前块的编码数据进行解码。

（13）根据（12）所述的图像处理设备，所述多条参考块信息是表示参考块的识别信息。

（14）根据（12）或（13）所述的图像处理设备，

（15）根据（12）到（14）中的任何一项所述的图像处理设备，还包括指定单元，指定所述参考块。所述接收单元接收表示视点与当前块的图像视点不同的解码图像的参考块的位置的多条视点预测信息，所述指定单元利用由所述接收单元接收的所述多条参考块信息和所述多条视点预测信息来指定参考块，以及所述生成单元利用由所述指定单元指定的参考块的运动信息来生成当前块的运动信息。

（16）在（15）中所述的图像处理设备，所述多条视点预测信息是表示参考块相对于位于与当前块相同的位置处的同位块的相对位置的信息。

（17）在（16）中所述的图像处理设备，所述多条视点预测信息包括表示参考块相对于同位块的距离的信息。

（18）在（17）中所述的图像处理设备，所述多条视点预测信息包括表示彼此不同的参考块的距离的多条信息。

（19）在（17）或（18）中所述的图像处理设备，所述视点预测信息还包括表示各个参考块相对于同位块的方向的信息。

（20）一种图像处理设备的图像处理方法，包括：接收表示从视点与当前块的图像视点不同的解码图像的多个块中作为运动信息的参考对象而选择的参考块的多条参考块信息；利用使用所接收的多条参考块信息表示的参考块的运动信息来生成当前块的运动信息；以及利用所生成的运动信息对当前块的编码数据进行解码。

本技术包含与在2012年3月29日向日本专利局提交的日本优先权专利申请JP2012-077823中公开的主题相关的主题，该专利申请的整个内容在此引为参考。

Claims

1.一种图像处理设备，包括：

生成单元，生成表示视点与当前块的图像视点不同的编码图像的不同块的多条参考块信息作为参考运动信息的参考块；

选择单元，从由所述生成单元生成的多条参考块信息分别表示的块中选择充当运动信息的参考对象的块；

编码单元，对参考由所述选择单元选择的块的运动信息而生成的当前块的预测图像与当前块的图像之间的差值图像进行编码；以及

发送单元，发送所述编码单元生成的编码数据和表示所述选择单元选择的块的参考块信息。

2.根据权利要求1所述的图像处理设备，

其中所述参考块信息是标识参考块的识别信息。

3.根据权利要求1所述的图像处理设备，

其中各个参考块是视点与当前块的图像视点不同的编码图像的位于不同方向的与同位块相互隔开的块，所述同位块位于与当前块相同的位置处。

4.根据权利要求1所述的图像处理设备，

其中所述发送单元发送表示视点与当前块的图像视点不同的编码图像的各个参考块的位置的视点预测信息。

5.根据权利要求1所述的图像处理设备，

其中所述视点预测信息是表示参考块相对于位于与当前块相同的位置处的同位块的相对位置的信息。

6.根据权利要求5所述的图像处理设备，

其中所述视点预测信息包括表示参考块相对于同位块的距离的信息。

7.根据权利要求6所述的图像处理设备，

其中所述视点预测信息包括表示彼此不同的参考块的距离的多条信息。

8.根据权利要求6所述的图像处理设备，

其中所述视点预测信息还包括表示各个参考块相对于同位块的方向的信息。

9.根据权利要求1所述的图像处理设备，

其中所述发送单元发送表示是否使用视点与当前块的图像视点不同的编码图像的块作为参考块的标记信息。

10.根据权利要求1所述的图像处理设备，

其中所述编码单元对图像进行多视点编码。

11.一种图像处理设备的图像处理方法，包括：

生成表示视点与当前块的图像视点不同的编码图像的不同块的多条参考块信息作为参考运动信息的参考块；

从由所生成的多条参考块信息分别表示的块中选择充当运动信息的参考对象的块；

对参考所选择的块的运动信息而生成的当前块的预测图像与当前块的图像之间的差值图像进行编码；以及

发送所生成的编码数据和表示所选择的块的参考块信息。

12.一种图像处理设备，包括：

接收单元，接收表示从视点与当前块的图像视点不同的解码图像的多个块中作为运动信息的参考对象而选择的参考块的参考块信息；

生成单元，利用使用由所述接收单元接收的所述参考块信息表示的参考块的运动信息来生成当前块的运动信息；以及

解码单元，利用由所述生成单元生成的运动信息对当前块的编码数据进行解码。

13.根据权利要求12所述的图像处理设备，

其中所述参考块信息是表示参考块的识别信息。

14.根据权利要求12所述的图像处理设备，

其中视点与当前块的图像视点不同的解码图像的所述多个块是位于不同方向的与同位块相互隔开的块，所述同位块位于与当前块相同的位置处。

15.根据权利要求12所述的图像处理设备，还包括：

指定单元，指定所述参考块，

其中所述接收单元接收表示视点与当前块的图像视点不同的解码图像的参考块的位置的视点预测信息，

其中所述指定单元利用由所述接收单元接收的所述参考块信息和所述视点预测信息来指定参考块，以及

其中所述生成单元利用由所述指定单元指定的参考块的运动信息来生成当前块的运动信息。

16.根据权利要求15所述的图像处理设备，

17.根据权利要求16所述的图像处理设备，

18.根据权利要求17所述的图像处理设备，

其中所述多条视点预测信息包括表示彼此不同的参考块的距离的多条信息。

19.根据权利要求17所述的图像处理设备，

20.一种图像处理设备的图像处理方法，包括：

接收表示从视点与当前块的图像视点不同的解码图像的多个块中作为运动信息的参考对象而选择的参考块的参考块信息；

利用使用所接收的参考块信息表示的参考块的运动信息来生成当前块的运动信息；以及

利用所生成的运动信息对当前块的编码数据进行解码。