CN104041030B - 图像处理设备和方法 - Google Patents

Abstract

本技术属于能够防止装置变为高成本的图像处理设备和方法。设置单元设置用于识别图像块的尺寸与在该块上所使用的预测方法的改变之间的对应关系的识别信息，以及帧间预测单元根据识别信息生成预测图像。编码器使用预测图像对块进行编码，并且生成编码流。另外，编码器传送编码流和识别信息。本技术例如可以用应到当对图像进行编码/解码时的情况。

Description

图像处理设备和方法

技术领域

本技术涉及一种图像处理设备和图像处理方法，并且具体地，涉及一种例如能够防止设备的成本增加的图像处理设备和图像处理方法。

背景技术

近年，遵照诸如运动图像专家组(MPEG)的方法的设备已经被广泛地用于在广播站等中的信息递送和在普通家庭中的信息接收两者。MPEG将图像信息处理为数字化的值，并且此时，为了高效地传送并且累积信息，通过使用图像信息所特有的冗余、凭借诸如离散余弦变换的正交变换和运动补偿，对图像信息进行压缩。

具体地，MPEG2(国际标准化组织(ISO)/国际电工技术委员会(IEC)13818-2)被定义为通用图像编码方法，并且当前被广泛地用在用于专业用途和消费者用途的大量应用中，作为涵盖隔行扫描图像和逐行扫描图像两者以及标准分辨率图像和高清晰度图像的标准。通过使用MPEG2压缩方法，例如通过将4Mbps至8Mbps的比特率分配至具有720×480像素的标准分辨率的隔行扫描图像以及将18Mbps至22Mbps的比特率分配至具有1920×1088的高分辨率的隔行扫描图像，可以实现高的图像压缩率以及好的图像质量。

MPEG2主要以适合于广播的高图像质量编码为目标，但是不能应付比特率低于MPEG1的比特率(即，较高压缩率)的编码方法。随着便携式终端的广泛使用，考虑到对于这种编码方法的需求将增加，因此响应于此，已经对MPEG4编码方法进行标准化。关于图像编码方法，其标准在1998年12月被批准为题为ISO/IEC14496-2的国际标准。

另外，近年，针对用于视频会议用途的图像编码的最初用途，被称为H.26L(国际电信联盟电信标准化部(ITU-T)Q6/16视频编码专家组(VCEG))的标准的标准化已经取得了进展。与诸如MPEG2或MPEG4的现有技术的编码方法相比，由于编码和解码，H.26L需要更大的计算量，但是其实现更高的编码效率是公知的。此外，作为MPEG4的活动的一部分，当前还基于H.26L、通过包含H.26L不支持的功能，正在对增强压缩视频编码的联合模型进行标准化，以便实现更高的编码效率。

关于其标准化的日程，该编码方法已经在2003年3月以H.264和MPEG-4部分10(在下文将被称为AVC的先进视频编码)的名义成为国际标准。

然而，存在下述担忧：对于将成为下一代编码方法的目标的大图片帧(诸如超高清晰度(UHD；4000像素×2000像素))，16个像素×16个像素的宏块尺寸不会是最佳的。

因此，当前，出于改进高于AVC的编码效率的目的，由作为ITU-T和ISO/IEC的联合标准化组织的联合合作组-视频编码(JCTVC)进行的被称为高效视频编码(HEVC)的编码方法的标准化正在进展中(例如，参见NPL1)。

在HEVC编码方法中，定义了作为与AVC中的宏块相同的处理单位的编码单位(CU)。与AVC的宏块中不同，CU未被固定为16×16个像素的尺寸，并且在用于每个序列的图像压缩信息中指定CU。

同时，提出了下述方法：在该方法中，为了改进AVC中使用中值预测的运动向量的编码，除了在AVC中所定义的并且通过中值预测所获得的“空间预测器”之外，“时间预测器”和“空间-时间预测器”中的任一个自适应地用作预测运动向量信息(例如，参见NPL2)。

图像信息编码设备计算当在每个块中使用预测运动向量信息时的成本函数并且选择最佳的预测运动向量信息。在图像压缩信息中传送标志信息，标志信息指示关于在每个块中使用哪个预测运动向量信息的信息。

另外，作为运动信息的编码方法之一，已经提出了被称为运动分区合并的方法(在下文中被称为合并模式)(例如，参见NPL3)。在此方法中，在相对应的块的运动信息与邻近块的运动信息相同的情况下，仅传送标志信息，并且在解码期间，通过使用邻近块的运动信息重建相对应块的运动信息。

引用列表

非专利文献

NPL1:"Test Model under Consideration",JCTVC-B205,Joint CollaborativeTeam on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG112ndMeeting:Geneva,CH,21to28July,2010

NPL2:Joel Jung,Guillaume Laroche,"Competition-Based Scheme for MotionVector Selection and Coding",VCEG-AC06,ITU-Telecommunications StandardizationSector STUDY GROUP16Question6Video Coding Experts Group(VCEG)29th Meeting:Klagenfurt,Austria,17and18July,2006

NPL3:Martin Winken,Sebastian Bosse,Benjamin Bross,PhilippHelle,TobiasHinz,Heiner Kirchhoffer,Haricharan Lakshman,Detlev Marpe,Simon Oudin,MatthiasPreiss,Heiko Schwarz,Mischa Siekmann,Karsten Suehring,and Thomas Wiegand,"Description of video coding technology proposed by Fraunhofer HHI",JCTVC-A116,April,2010

发明内容

技术问题

在AVC或HEVC中，执行在其中生成预测图像的预测编码，并且通过使用该预测图像对图像进行编码。

在预测编码中，因为之前(编码和)解码的解码图像被用于生成预测图像，因此如果需要解码图像被存储在被称为解码图像缓冲器(DPB)的存储器等中。当生成预测图像时，从DPB读出在DPB中所存储的解码图像作为参考图像。

然而，如果作为从DPB读出解码图像的传送速率的存储器带宽，要确保高的速率，则设备的成本增加。

考虑到这些情形提出本技术，并且本技术能够防止设备的成本的增加。

问题的解决方案

根据本技术的第一方面，提供了一种图像处理设备，该图像处理设备包括：设置单元，设置识别信息，该识别信息用于识别图像的块的尺寸与应用到该块的预测方法的改变之间的对应关系；预测单元，根据由设置单元所设置的识别信息生成预测图像；编码单元，通过使用由预测单元所生成的预测图像对图像进行编码，以便生成编码流；以及传送单元，传送由编码单元所生成的编码流和由设置单元所设置的识别信息。

根据本技术的第一方面，提供了一种图像处理方法，该图像处理方法包括：设置步骤，设置识别信息，该识别信息用于识别图像的块的尺寸与应用到块的预测方法的改变之间的对应关系；预测步骤，根据在设置步骤中所设置的识别信息生成预测图像；编码步骤，通过使用在预测步骤中所生成的预测图像对图像进行编码，以便生成编码流；以及传送步骤，传送在编码步骤中所生成的编码流以及在设置步骤中所设置的识别信息。

在以上所述的第一方面中，设置用于识别图像的块的尺寸与应用到该块的预测方法的改变之间的对应关系的识别信息，并且根据识别信息生成预测图像。另外，通过使用预测图像对图像进行编码，因此生成编码流。此外，传送编码流和识别信息。

根据本技术的第二方面，提供了一种图像处理设备，该图像处理设备包括：接收单元，接收识别信息和编码流，识别信息用于识别图像的块的尺寸与应用到块的预测方法的改变之间的对应关系，编码流是通过对图像进行编码所生成的；预测单元，根据由接收单元所接收的识别信息生成预测图像；以及解码单元，通过使用由预测单元所生成的预测图像对由接收单元所接收的编码流进行解码。

根据本技术的第二方面，提供了一种图像处理方法，该图像处理方法包括：接收步骤，接收识别信息和编码流，识别信息用于识别图像的块的尺寸与应用到块的预测方法的改变之间的对应关系，编码流是通过对图像进行编码所生成的；预测步骤，根据在接收步骤中所接收的识别信息生成预测图像；以及解码步骤，通过使用在预测步骤中所生成的预测图像对在接收步骤中所接收的编码流进行解码。

在以上所述的第二方面中，接收识别信息和编码流，识别信息用于识别图像的块的尺寸与应用到该块的预测方法的改变之间的对应关系，编码流是通过对图像进行编码所生成的；以及根据识别信息生成预测图像。另外，通过使用预测图像对编码流进行解码。

发明的有利效果

根据本技术，可以防止设备的成本的增加。

附图说明

图1是示出了图像编码装置的主要配置示例的框图。

图2是示出了编码单位的图。

图3是示出了切片与编码单位之间的关系的图。

图4是示出了合并模式的图。

图5是示出了可逆编码单元(coding unit)和编码控制单元的主要配置示例的框图。

图6是示出了编码处理的流程的示例的流程图。

图7是示出了可逆编码处理的流程的示例的流程图。

图8是示出了CU编码处理的流程的示例的流程图。

图9是示出了前接图8的CU编码处理的流程的示例的流程图。

图10是示出了图像解码装置的主要配置示例的框图。

图11是示出了可逆解码单元和解码控制单元的主要配置示例的框图。

图12是示出了解码处理的流程的示例的流程图。

图13是是出了可逆解码处理的流程的示例的流程图。

图14是示出了CU解码处理的流程的示例的流程图。

图15是示出了前接图14的CU解码处理的流程的示例的流程图。

图16是示出了根据应用了本技术的图像处理设备的实施例的配置示例的框图。

图17是示出了disable_bip_small_mrg_idc信息的图。

图18是示出了当使用disable_bip_small_mrg_idc信息时由编码器1000和解码器2000所执行的处理的流程图。

图19是示出了disable_bip_small_mrg_idc扩展信息的图。

图20是示出了modify_bip_small_mrg_l0信息的图。

图21是示出了由编码器1000所执行的SPS的编码和由解码器2000所执行的SPS的解码的流程图。

图22是示出了由编码器1000所执行的切片头的编码和由解码器2000所执行的切片头的解码的流程图。

图23是示出了由编码器1000所执行的CU的编码和由解码器2000所执行的CU的解码的流程图。

图24是示出了合并候选的选取(选择)的流程图。

图25是示出了约束(restriction)模式RB的图。

图26是示出了当使用约束模式RB时由编码器1000和解码器2000所执行的处理的流程图。

图27是示出了垂直长块的预测比水平长块的预测消耗更多存储器带宽的图。

图28是示出了垂直长块的预测比水平长块的预测消耗更多存储器带宽的图。

图29是示出了约束模式RV的图。

图30是示出了包括识别信息的编码数据的头信息的语法的第一示例的图。

图31是示出了标志disable_bip_small_mrg_idc的值以及由于在每个值处的标志disable_bip_small_mrg_idc禁止双向预测的块的尺寸的图。

图32是示出了包括识别信息的编码数据的头信息的语法的第二示例的图。

图33是示出了包括识别信息的编码数据的头信息的语法的第二示例的图。

图34是示出了个人计算机的主要配置示例的框图。

图35是示出了电视机设备的示意配置的示例的框图。

图36是示出了移动电话的示意配置的示例的框图。

图37是示出了记录/再现设备的示意配置的示例的框图。

图38是示出了成像设备的示意配置的示例的框图。

图39是示出了多视图图像编码方法的示例的图。

图40是示出了应用了本技术的多视图图像编码装置的主要配置示例的图。

图41是示出了应用了本技术的多视图图像解码装置的主要配置示例的图。

图42是示出了层图像编码方法的示例的图。

图43是示出了应用了本技术的层图像编码装置的主要配置示例的图。

图44是示出了应用了本技术的层图像解码装置的主要配置示例的图。

图45是示出了使用可伸缩编码的示例的框图。

图46是示出了使用可伸缩编码的另一示例的框图。

图47是示出了使用可伸缩编码的又一示例的框图。

具体实施方式

在下文中，在本技术的实施例的描述之前，将描述构成本技术的基础。

[图像编码装置]

图1是示出了图像编码装置的主要配置示例的框图。

图1所示的图像编码装置100通过以与在H.264和运动图像专家组(MPEG)4部分10(先进视频编码(AVC))编码方法中相同的方式使用预测处理对图像数据进行编码。

如图1所示，图像编码装置100包括A/D转换单元101、画面重排缓冲器102、计算单元103、正交变换单元104、量化单元105、可逆编码单元106、以及累积缓冲器107。另外，图像编码装置100包括逆量化单元108、逆正交变换单元109、计算单元110、环路滤波器111、帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115、预测图像选择单元116、以及速率控制单元117。

图像编码装置100还包括编码控制单元121。

A/D转换单元101对输入图像数据执行A/D转换，以及将转换后的图像数据(数字化的数据)提供到并且存储在画面重排缓冲器102中。画面重排缓冲器102依照图片组(GOP)将按照显示顺序所存储的帧的图像，按照用于进行编码的帧的顺序进行重排，并且将重排了帧的顺序的图像提供给计算单元103。另外，画面重排缓冲器102还将重排了帧的顺序的图像提供给帧内预测单元114和运动预测/补偿单元115。

计算单元103从在画面重排缓冲器102中所读出的图像中减去经由预测图像选择单元116从帧内预测单元114或运动预测/补偿单元115所提供的预测图像，并且将其差分信息输出到正交变换单元104。

例如，在对其执行了帧间编码的图像的情况下，计算单元103从在画面重排缓冲器102中所读出的图像中减去从运动预测/补偿单元115所提供的预测图像。

正交变换单元104对从计算单元103所提供的差分信息执行诸如离散余弦变换或Karhuen-Loeve变换的正交变换。另外，可以使用任何方法的正交变换。正交变换单元104将通过正交变换所获得的变换系数提供给量化单元105。

量化单元105对从正交变换单元104所提供的变换系数进行量化。量化单元105基于与从速率控制单元117所提供的比特率的目标值有关的信息设置量化参数，并且对参数进行量化。另外，可以使用任何方法的量化。量化单元105将量化的变换系数提供给可逆编码单元106。

可逆编码单元106通过使用任意编码方法对在量化单元105中所量化的变换系数进行编码。在速率控制单元117的控制之下对变换系数进行量化，因此比特率变为由速率控制单元117所设置的目标值(或近似为目标值)。

另外，可逆编码单元106从帧内预测单元114获取指示帧内预测模式的信息等，并且从运动预测/补偿单元115获取指示帧间预测模式的信息或运动向量信息。此外，可逆编码单元106获取在环路滤波器111中已经使用的滤波器系数。

可逆编码单元106通过使用任意编码方法对各种信息进行编码，并且使用编码信息作为编码数据的头信息的一部分(复用)。可逆编码单元106将通过进行编码所获得的编码数据提供给累积缓冲器107，并且使得编码数据累积在累积缓冲器107中。

例如，作为用于可逆编码单元106的编码方法，可以使用可变长度编码、算术编码等。可变长度编码可以包括，例如，在H.264/AVC方法中所定义的上下文自适应可变长度编码(CAVLC)等。算术编码可以包括，例如，上下文自适应二进制算术编码(CABAC)等。

累积缓冲器107临时地保存从可逆编码单元106所提供的编码数据。累积缓冲器107在随后的阶段，以预定的定时，将在其中所保存的编码数据输出到例如记录装置(记录介质)或传送路径(未示出)。

另外，在量化单元105中所量化的变换系数还被提供给逆量化单元108。逆量化单元108以与在量化单元105中进行的量化相对应的方法对量化的变换系数进行逆量化。可以使用任何方法的逆量化，只要该方法与在量化单元105中进行的量化处理相对应即可。逆量化单元108将所获得的变换系数提供给逆正交变换单元109。

逆正交变换单元109以与在正交变换单元104中进行的正交变换处理相对应的方法，对从逆量化单元108所提供的变换系数执行逆正交变换。可以使用任何方法的逆正交变换，只要该方法与在正交变换单元104中进行的正交变换处理相对应即可。将经受了逆正交变换的输出(恢复的差分信息)提供给计算单元110。

计算单元110将经由预测图像选择单元116从帧内预测单元114或运动预测/补偿单元115所提供的预测图像加到从逆正交变换单元109所提供的逆正交变换结果(即，恢复的差分信息)，从而获得本地解码图图像(解码图像)。解码图像被提供给环路滤波器111或帧存储器112。

环路滤波器111包括去块滤波器、自适应环路滤波器等，并且对从计算单元110所提供的解码图像执行适当的滤波处理。例如，环路滤波器111对解码图像执行去块滤波处理，以便从解码图像中移除块失真。另外，例如，环路滤波器111通过使用维纳(Wiener)滤波器对去块滤波处理结果(从其中移除了块失真的解码图像)执行环路滤波处理，从而改进图像质量。

此外，环路滤波器111可以对解码图像执行任何滤波处理。此外，如果需要环路滤波器111可以将诸如在滤波处理中所使用的滤波器系数的信息提供给可逆编码单元106以便使得能够对信息进行编码。

环路滤波器111将滤波处理结果(经受了滤波处理的解码图像)提供给帧存储器112。另外，如上所述，从计算单元110所输出的解码图像可以被提供给帧存储器112而不使用环路滤波器111。换言之，可以省略由环路滤波器111所进行的滤波处理。

帧存储器112存储所提供的解码图像，并且以预定的定时将所存储的解码图像作为参考图像提供给选择单元113。

选择单元113选择从帧存储器112所提供的参考图像的供给目的地。例如，在帧间预测的情况下，选择单元113将从帧存储器112所提供的参考图像提供给运动预测/补偿单元115。

通过使用作为经由选择单元113从帧存储器112所提供的参考图像的处理目标图片中的像素值，帧内预测单元114执行帧内预测(画面内预测)，以用于采用作为处理单位的基本预测单位(PU)生成预测图像。帧内预测单元114在预先准备的多个模式(帧内预测模式)中执行帧内预测。

帧内预测单元114在所有候选帧内预测模式中生成预测图像，通过使用从画面重排缓冲器102所提供的输入图像评估每个预测图像的成本函数值，以及选择最佳模式。如果选择了最佳帧内预测模式，则帧内预测单元114将在最佳模式中所生成的预测图像提供给预测图像选择单元116。

另外，如上所述，帧内预测单元114适当地将指示所采用的帧内预测模式的帧内预测模式信息等提供给可逆编码单元106，以便使得能够对信息进行编码。

通过使用从画面重排缓冲器102所提供的输入图像和经由选择单元113从帧存储器112所提供的参考图像，运动预测/补偿单元115采用作为处理单位的基本PU执行运动预测(帧间预测)，并且依照所检测到的运动向量执行运动补偿处理以便生成预测图像(帧间预测图像信息)。运动预测/补偿单元115在预先准备的多个模式(帧间预测模式)中执行帧间预测。

运动预测/补偿单元115在所有候选帧间预测模式中生成预测图像，评估每个预测图像的成本函数值，以及选择最佳模式。如果选择了最佳帧间预测模式，则运动预测/补偿单元115将在最佳模式中所生成的预测图像提供给预测图像选择单元116。

另外，运动预测/补偿单元115将指示所采用的帧间预测模式的信息、在对编码数据进行解码时在帧间预测模式中执行处理所需要的信息等提供给可逆编码单元106，以便使得能够对信息进行编码。

预测图像选择单元116选择要被提供给计算单元103或计算单元110的预测图像的供给源。例如，在帧间编码的情况下，预测图像选择单元116选择运动预测/补偿单元115作为预测图像的供给源，并且将从运动预测/补偿单元115所提供的预测图像提供给计算单元103或计算单元110。

基于在累积缓冲器107中所累积的编码数据的比特率，速率控制单元117控制量化单元105的量化操作的速率，使得不发生上溢或下溢。

编码控制单元121控制由可逆编码单元106所执行的编码处理。此时，编码控制单元121确定是否在合并模式中执行编码。

另外，编码控制单元121还在除了合并模式之外的模式(诸如例如跳过(skip)模式、帧内预测模式、帧间预测模式以及直接模式)中控制编码处理。

可逆编码单元106在由编码控制单元121所选择的模式中执行可逆编码处理。

[编码单位]

同时，在AVC编码方法中，宏块或由宏块所分割成的多个子宏块被用作用于预测处理、编码处理等的处理单位。然而，对于将成为下一代编码方法的目标的大图像帧(诸如超高清晰度(UHD；4000像素×2000像素))，16个像素×16个像素的宏块尺寸不是最佳的。

因此，当前，出于改进比AVC的编码效率更高的编码效率的目的，对由作为国际电信联盟电信标准化部(ITU-T)和国际标准化组织(ISO)/国际电工技术委员会(IEC)的联合标准化组织的联合合作组-视频编码(JCTVC)进行的被称为高效视频编码(HEVC)的编码方法的标准化正在进展中。

在AVC中，根据宏块和子宏块定义层结构，但是，在HEVC中，如图2所示地定义编码单位(CU)。

CU(还被称为编码树状块(CTB))是图片单位中的图像的部分区域，并且具有与AVC中的宏块的功能相同的功能。然而，后者被固定为16×16个像素的尺寸，前者尺寸未被固定，并且在每个序列中的图像压缩信息中指定前者的尺寸。

例如，在作为输出的编码数据中所包括的序列参数集(SPS)中，定义CU的最大编码单位(LCU)和最小编码单位(SCU)。

在LCU的尺寸不小于SCU的尺寸的范围中，每个LCU被设置为split-flag＝1，并且因此，每个LCU可以被分割为具有更小尺寸的CU。在图2的示例中，LCU的尺寸为128，并且最大层深为5。当split_flag为“1”时，具有2N×2N的尺寸的CU被分割为具有N×N的尺寸的CU(其为低一阶的层)。

此外，如图3所示，CU被分割为作为用作帧内预测或帧间预测的处理单位的区域(图片单位中的图像的部分区域)的预测单位(PU)，并且还被分割为作为用作正交变换的处理单位的区域(图片单位中的图像的部分区域)的变换单位(TU)。当前，在HEVC方法中，除了4×4和8×8之外，还可以使用16×16和32×32的正交变换。

如在以上的HEVC中一样，在定义CU并且采用CU作为处理单位执行各种处理的编码方法的情况下，可以认为AVC中的宏块对应于LCU。然而，如图2所示，因为CU具有层结构，所以在最高阶层中的LCU的尺寸被设置为大于AVC中的宏块的尺寸，例如，被设置为128×128个像素。

本技术适用于使用CU、PU、TU等来代替宏块的编码方法。换言之，用于预测处理的处理单位可以是任何区域。即，在下面，作为预测处理的处理目标的区域(也称为相对应的区域或目标区域)或作为相对应的区域的近邻的邻近区域，不仅包括宏块或子宏块，而且还包括CU、PU、TU等。

[运动分区的合并]

同时，作为运动信息的编码方法的一种，提出了如图4所示的被称为运动分区合并的方法(合并模式)。在此方法中，传送包括Merge_Flag和Merge_Left_Flag的两个标志作为合并信息，合并信息是与合并模式有关的信息。

Merge_Flag＝1指示相对应的区域X的运动信息与作为相对应的区域的上近邻的邻近区域T或作为相对应区域的左近邻的邻近区域L的运动信息相同。此时，合并信息包括Merge_Left_Flag并且被传送。Merge_Flag＝0指示相对应区域X的运动信息与邻近区域T和邻近区域L两者的运动信息均不同。在这种情况下，传送相对应区域X的运动信息。

在相对应区域X的运动信息与邻近区域L的运动信息相同的情况下，Merge_Flag被设置为1，而Merge_Left_Flag被设置为1。在相对应区域X的运动信息与邻近区域T的运动信息相同的情况下，Merge_Flag被设置为1，而Merge_Left_Flag被设置为0。

[可逆编码单元和编码控制单元]

图5是示出了可逆编码单元106和编码控制单元121的主要配置示例的框图。

如图5所示，可逆编码单元106包括网络抽象层(NAL)编码部131和CU数据编码部132。

NAL编码部131对NAL的数据(诸如序列参数集(SPS)、图像参数集(PPS)、以及切片头)进行编码。CU数据编码部132对在等于或低于CU的层的层中的数据(视频编码层(VCL))进行编码。

CU数据编码部132包括跳过标志编码部141、跳过模式编码部142、合并标志编码部143、以及合并模式编码部144。另外，CU数据编码部132包括PredMode编码部145、帧内编码部146、帧间编码部147以及直接模式编码部148。

跳过标志编码部141在编码控制单元121的控制之下，生成跳过标志并且对跳过标志进行编码，跳过标志指示是否采用跳过模式。跳过模式编码部142在编码控制单元121的控制之下、在跳过模式中执行编码处理。

合并标志编码部143在编码控制单元121的控制之下，生成合并标志并且对合并标志进行编码，合并标志指示是否采用合并模式。合并模式编码部144在编码控制单元121的控制之下、在合并模式中执行编码处理。

PredMode编码部145在编码控制单元121的控制之下对作为指示预测模式的参数的PredMode进行编码。帧内编码部146在编码控制单元121的控制之下、执行与通过使用帧内预测所生成的差分图像的编码有关的处理。帧间编码部147在编码控制单元121的控制之下、执行与通过使用帧间预测所生成的差分图像的编码有关的处理。直接模式编码部148在编码控制单元121的控制之下、执行与通过使用直接模式所生成的差分图像的编码有关的处理。

[编码处理的流程]

接下来，将对由以上所述的图像编码装置100所执行的每个处理的流程进行描述。首先，将参照图6的流程图描述编码处理的流程的示例。

在步骤S101中，A/D转换单元101对输入图像进行A/D转换。在步骤S102中，画面重排缓冲器102存储A/D转换后的图像，并且将图像的显示顺序重排为编码顺序。

在步骤S103中，帧内预测单元114在帧内预测模式中执行帧内预测处理。在步骤S104中，运动预测/补偿单元115在帧间预测模式中执行帧间运动预测处理，在帧间运动预测处理中执行运动预测或运动补偿。

在步骤S105中，预测图像选择单元116基于从帧内预测单元114和运动预测/补偿单元115所输出的各个成本函数值确定最佳模式。换言之，预测图像选择单元116选择由帧内预测单元114所生成的预测图像和由运动预测/补偿单元115所生成的预测图像中的任一个。

在步骤S106中，计算单元103计算由于步骤S102中的处理所重排的图像与由于步骤S105中的处理所选择的预测图像之间的差分。差分数据的数据量小于原始图像数据的数据量。因此，与当如原样地对图像进行编码时相比，可以压缩数据量。

在步骤S107中，正交变换单元104对由于步骤S106中的处理所生成的差分信息执行正交变换。具体地，执行诸如离散余弦变换或Karhunen_Loeve变换的正交变换，并且因此输出变换系数。

在步骤S108中，量化单元105对由于步骤S017中的处理所获得的变换系数进行量化。

如下地对由于步骤S108中的处理所量化的差分信息进行本地解码。换言之，在步骤S109中，逆量化单元108以与量化单元105的特征相对应的特征，对由于步骤S108中的处理所生成的量化变换系数(还称为量化系数)进行逆量化。在步骤S110中，逆正交变换单元109以与正交变换单元104的特征相对应的特征对由于步骤S107中的处理所获得的变换系数执行逆正交变换，以便对差分信息进行本地解码，并且将解码结果提供给计算单元110。

在步骤S111中，计算单元110将预测图像加到本地解码的差分信息，以便生成本地解码图像(与计算单元103的输入相对应的图像)。在步骤S112中，环路滤波器111对由于步骤S111中的处理所获得的本地解码图像执行适当的环路滤波处理，诸如去块滤波处理或自适应环路滤波处理。

在步骤S113中，帧存储器112存储由于步骤S112中的处理经受了环路滤波处理的解码图像。另外，帧存储器112还存储未经受环路滤波器111中的滤波处理、从计算单元110所提供的图像。

在步骤S114中，可逆编码单元106对由于步骤S108中的处理所量化的变换系数(量化系数)进行编码。换言之，对差分图像执行可逆编码，诸如可变长度编码或算术编码。

另外，可逆编码单元106对在步骤S108中所计算的量化参数进行编码，并且将编码结果加到(包括到)编码数据(中)。此外，可逆编码单元106对与由于步骤S105中的处理所选择的预测图像的预测模式有关的信息进行编码，并且将编码结果加到通过对差分图像进行编码所获得的编码数据。换言之，可逆编码单元106还对从帧内预测单元114所提供的最佳帧内预测模式信息、与从运动预测/补偿单元115所提供的最佳帧间预测模式相对应的信息等进行编码，并且将编码结果加到编码数据。

在步骤S115中，累积缓冲器107累积由于步骤S114中的处理所获得的编码数据。在累积缓冲器107中所累积的编码数据被读出并且经由适当的传送路径或记录介质被传送到解码侧。

在步骤S116中，速率控制单元117基于由于步骤S115中的处理而在累积缓冲器107中所累积的编码数据的比特率(所生成的比特率)，控制量化单元105的量化操作的速率，使得不发生上溢或下溢。

如果完成步骤S116中的处理，则编码处理结束。

另外，在步骤S114中，可逆编码单元106在编码控制单元121的控制之下执行编码处理。

[可逆编码处理的流程]

接下来，将参照图7的流程图，对在图6的步骤S114中所执行的可逆编码处理的流程的示例进行描述。如图7所示，针对图像的每个层执行可逆编码处理。

换言之，NAL编码部131在步骤S121中生成SPS并且对SPS进行编码，在步骤S122中生成PSP并且对PSP进行编码，以及在步骤S123中生成切片头并且对切片头进行编码。在步骤S124中，CU数据编码部132对作为处理目标的相对应的CU进行编码。

CU数据编码部132对在作为处理目标的相对应的切片中的所有CU反复地执行步骤S124中的处理。在步骤S125中，如果确定在相对应的切片中不存在未处理的CU，则CU数据编码部132使得处理继续到步骤S126。

NAL编码部131对在作为处理目标的相对应的图片中的所有切片反复地执行步骤S123至步骤S125中的处理。在步骤S126中，如果确定在相对应的图片中不存在未处理的切片，则NAL编码部131使得处理继续到步骤S127。

NAL编码部131对在作为处理目标的相对应的序列中的所有图片反复地执行步骤S122至步骤S126中的处理。在步骤S127中，如果确定在相对应的序列中不存在未处理的图片，则NAL编码部131结束可逆编码处理，并且使得处理返回到图6。

[CU编码处理的流程]

接下来，将参照图8和图9的流程图，对在图7的步骤S124中所执行的CU编码处理的流程的示例进行描述。

当CU编码处理开始时，在步骤S131中，编码控制单元121根据由NAL编码部131所生成的NAL数据确定相对应的切片的类型，并且确定相对应的切片是否为I切片。仅在相对应的切片不是I切片(该切片为P切片或B切片)的情况下，跳过标志编码部141在步骤S132中生成跳过标志并且对跳过标志进行编码。

如果编码控制单元121在步骤S133中确定跳过标志的值为1，则从编码控制单元121获取确定结果的跳过模式编码部142在步骤S134中在跳过模式中对CU数据进行编码。如果编码完成，则CU编码处理结束，并且处理返回到图7。

另外，如果编码控制单元121在图8的步骤S133中确定跳过标志的值为0或不存在跳过标志，则编码控制单元121使得处理继续到步骤S135。在这种情况下，不在跳过模式中执行编码。

在步骤S135中，合并标志编码部143生成合并标志并且对合并标志进行编码。

如果在编码控制单元121在步骤S136中确定合并标志的值为1，则从编码控制单元121获取确定结果的合并模式编码部144在步骤S137中在合并模式中对CU数据进行编码。如果编码完成，则CU编码处理结束，并且处理返回到图7。

另外，如果编码控制单元121在图8的步骤S136中确定合并标志的值为0或不存在合并标志，则处理继续到图9的流程图，并且执行基于所采用的预测模式的编码。

换言之，仅在编码控制单元121在图9的步骤S141中确定作为处理目标的相对应的切片不是I切片的情况下，PredMode编码部145在步骤S142中生成pred_mode并且对pred_mode进行编码，pred_mode是指示用于相对应的切片的预测模式的类型的参数。

如果编码控制单元121在步骤S143中确定用于相对应的区域的预测模式是帧内预测模式，则帧内编码部146在步骤S144中在帧内预测模式中对CU数据进行编码。换言之，对差分图像信息(量化系数)、与帧内预测模式有关的信息等进行编码。如果编码完成，则CU编码处理结束，并且处理返回到图7。

另外，如果编码控制单元121确定用于相对应的区域的预测模式不是帧内预测模式而是帧间预测模式(步骤S143和步骤S145)，则帧间编码部147在步骤S146中在帧间预测模式中对CU数据进行编码。换言之，对差分图像信息(量化系数)、与帧间预测模式有关的信息等进行编码。如果编码完成，则CU编码处理结束，并且处理返回到图7。

另外，如果编码控制单元121确定用于相对应区域的预测模式既不是帧内预测模式也不是帧间预测模式(步骤S143和步骤S145)，则直接模式编码部148在步骤S147中在直接预测模式中对CU数据进行编码。如果编码完成，则CU编码处理结束，并且处理返回到图7。

[图像解码装置]

图10是示出了图像解码装置的主要配置示例的框图。图10所示的图像解码装置200通过使用与编码方法相对应的解码方法对由图像编码装置100所生成的编码数据进行解码。另外，假定图像解码装置200以与图像编码装置100相同的方式执行用于每个任意区域(例如，预测单位(PU)等)的预测处理。

如图10所示，图像解码装置200包括累积缓冲器201、可逆解码单元202、逆量化单元203、逆正交变换单元204、计算单元205、环路滤波器206、画面重排缓冲器207、以及D/A转换单元208。另外，图像解码装置200包括帧存储器209、选择单元210、帧内预测单元211、运动预测/补偿单元212、以及选择单元213。

此外，图像解码装置200包括解码控制单元221。

累积缓冲器201累积所传送的编码数据，并且以预定的定时将编码数据提供给可逆解码单元202。可逆解码单元202通过使用与在可逆编码单元106中的编码方法相对应的方法，对从累积缓冲器201所提供的并且由图1的可逆编码单元106所编码的信息进行解码。可逆解码单元202将通过解码所获得的差分图像的量化系数提供给可逆量化单元203。

另外，可逆解码单元202确定作为最佳预测模式选择了帧内预测模式还是帧间预测模式，并且将与最佳预测模式有关的信息提供给帧内预测单元211和运动预测/补偿单元212中确定为被选择的模式侧。换言之，例如，在图像编码装置100中选择帧间预测模式作为最佳预测模式的情况下，与最佳预测模式有关的信息被提供给运动预测/补偿单元212。

可逆量化单元203通过使用与在图1的量化单元105中的量化方法相对应的方法，对由可逆解码单元202解码并且获得的量化系数进行逆量化，并且将所获得的变换系数提供给逆正交变换单元204。

逆正交变换单元204通过使用与图1的正交变换单元104中的正交变换相对应的方法，对从逆量化单元203所提供的变换系数执行逆正交变换。由于逆正交变换处理，逆正交变换单元204获得与在图像编码装置100中经历正交变换之前的剩余数据相对应的解码剩余数据(其为与由图像编码装置100的逆正交变换单元109所输出的本地解码差分信息相同的数据)。

将通过逆正交变换所获得的解码剩余数据提供给计算单元205。另外，预测图像被从帧内预测单元211或运动预测/补偿单元212经由选择单元213提供给计算单元205。

计算单元205将解码剩余数据加到预测图像，以便获得与未由图像编码装置100的计算单元103从其中减去预测图像的图像数据相对应的解码图像数据。计算单元205将解码图像数据提供给环路滤波器206。

环路滤波器206对所提供的解码图像执行适当的环路滤波处理，诸如去块滤波处理或自适应环路滤波处理，并且将其结果提供给画面重排缓冲器207。

环路滤波器206包括去块滤波器或自适应环路滤波器，并且对从计算单元205所提供的解码图像执行适当的滤波处理。例如，环路滤波器206对解码图像执行去块滤波处理以便从解码图像中移除块失真。另外，例如，环路滤波器206通过使用维纳(Wiener)滤波器对去块滤波处理结果(从其中移除了块失真的解码图像)执行环路滤波处理。

此外，环路滤波器206可以对解码图像执行任何滤波处理。此外，环路滤波器206可以通过使用从图1的图像编码装置100所提供的滤波器系数执行滤波器处理。

环路滤波器206将滤波处理结果(经历了滤波处理的解码图像)提供给画面重排缓冲器207和帧存储器209。另外，从计算单元205所输出的解码图像可以被提供给画面重排缓冲器207或帧存储器209而不使用环路滤波器206。换言之，可以省略由环路滤波器206进行的滤波处理。

画面重排缓冲器207重排图像。换言之，将由图1的画面重排缓冲器102重排为编码顺序的帧的顺序被重排为原始显示顺序。D/A转换单元208对从画面重排缓冲器207所提供的图像进行D/A转换，并且将D/A转换后的图像输出到并且显示在显示器(未示出)。

帧存储器209存储所提供的解码图像，并且以预定的定时或基于来自外部元件(诸如，帧内预测单元211或运动预测/补偿单元212)的请求将所存储的解码图像提供给选择单元210作为参考图像。

选择单元210选择从帧存储器209所提供的参考图像的供给目的地。在对帧内编码图像进行解码的情况下，选择单元210将从帧存储器209所提供的参考图像提供给帧内预测单元211。另外，在对帧间编码图像进行解码的情况下，选择单元210将从帧存储器209所提供的参考图像提供给运动预测/补偿单元212。

指示通过对在编码数据中所包括的头信息进行解码所获得的帧内预测模式的信息等被适当地从可逆解码单元202提供给帧内预测单元211。帧内预测单元211通过使用从帧存储器209所获取的参考图像，在图1的帧内预测单元114中使用的帧内预测模式中执行帧内预测，以便生成预测图像。帧内预测单元211将所生成的预测图像提供给选择单元213。

运动预测/补偿单元212从可逆解码单元202获取通过对头信息进行解码所获得的信息(最佳预测模式信息、差分信息、预测运动向量信息的编码数量等)。

运动预测/补偿单元212在图1的运动预测/补偿单元115中使用的帧间预测模式中，通过使用从帧存储器209所获取的参考图像执行帧间预测，以便生成预测图像。

解码控制单元221控制由可逆解码单元202所执行的解码处理。可逆解码单元202基本上以与图1的可逆编码单元106的方法相对应的方法执行解码处理，并且因此解码控制单元221的控制方法基本上与图1的编码控制单元121的控制方法相同。通过将在编码侧与解码侧的控制方法彼此匹配，解码控制单元221可以选择与由编码控制单元121所选择的编码方法相对应的解码方法，并且因此可以执行控制使得执行正确的解码处理。

换言之，解码控制单元221确定是否将在合并模式中执行解码。

另外，例如，解码控制单元221还在除了合并模式之外的模式(诸如，跳过模式、帧内预测模式、帧间预测模式以及直接模式)中控制解码处理。

可逆解单元202在由解码控制单元221所选择的模式中执行可逆解码处理。

[可逆解码单元和解码控制单元]

图11是示出了可逆解码单元202和解码控制单元221的主要配置示例的框图。

如图11所示，可逆解码单元202包括NAL解码部231和CU数据解码部232。

NAL解码部231对NAL的编码数据(诸如序列参数集、图像参数集、以及切片头)进行解码。CU数据解码部232对在等于或低于CU的层的层中的编码数据进行解码。

CU数据解码部232包括跳过标志解码部241、跳过模式解码部242、合并标志解码部243、以及合并模式解码部244。另外，CU数据解码部232包括PredMode解码部245、帧内解码部246、帧间解码部247、以及直接模式解码部248。

跳过标志解码部241在解码控制单元221的控制之下对跳过标志进行解码。跳过模式解码部242在解码控制单元221的控制之下、在跳过模式中执行解码处理。

合并标志解码部243在解码控制单元221的控制之下对合并标志进行解码。合并模式解码部244在解码控制单元221的控制之下在合并模式中执行解码处理。

PredMode解码部245在解码控制单元221的控制之下对PredMode进行解码。帧内解码部246在解码控制单元221的控制之下、执行与关于通过使用帧内预测所生成的差分图像的编码数据的解码有关的处理。帧间解码部247在解码控制单元221的控制之下、执行与关于通过使用帧间预测所生成的差分图像的编码数据的解码有关的处理。直接模式解码部248在解码控制单元221的控制之下、执行与关于通过使用直接模式所生成的差分图像的编码数据的解码有关的处理。

[解码处理的流程]

接下来，将对由以上所述的图像解码装置200所执行的每个处理的流程进行描述。首先，将参照图12的流程图描述解码处理的流程的示例。

当解码处理开始时，在步骤S201中，累积缓冲器201累积所传送的编码数据(编码流)。在步骤S202中，可逆解码单元202对从累积缓冲器201所提供的编码数据进行解码。换言之，对由图1的可逆编码单元106所编码的I图像、P图像、以及B图像进行解码。另外，对在编码数据中所包括的差分图像信息之外的各种信息(诸如，差分运动信息、预测运动向量信息的编码数量、以及合并信息)进行解码。

在步骤S203中，逆量化单元203对由于步骤S202中的处理所获得的量化变换系数(量化系数)进行逆量化。在步骤S204中，逆正交变换单元204对在步骤S203中逆量化的变换系数执行逆正交变换。

在步骤S205中，帧内预测单元211或运动预测/补偿单元212通过使用所提供的信息执行预测处理。在步骤S206中，选择单元213选择在步骤S205中所生成的预测图像。在步骤S207中，计算单元205将在步骤S206中所选择的预测图像加到由于步骤S204中的逆正交变换所获得的差分信息。因此，获得解码图像。

在步骤S208中，环路滤波器206对在步骤S207中所获得的解码图像执行适当的环路滤波处理，诸如去块滤波处理或自适应环路滤波处理。

在步骤S209中，画面重排缓冲器207对经历了步骤S208中的滤波处理的图像进行重排。换言之，由图像编码装置100的画面重排缓冲器102重排为编码顺序的帧的顺序被重排为原始显示顺序。

在步骤S210中，D/A转换单元208对在步骤S209中重排了帧顺序的图像进行D/A转换。这些图像被输出到显示器(未示出)，并且显示图像。

在步骤S211中，帧存储器209存储经历了步骤S208中的滤波处理的图像。这些图像在步骤S205中作为参考图像用于预测图像的生成(预测处理)。

如果完成步骤S211中的处理，则解码处理结束。

[可逆解码处理的流程]

接下来，将参照图13的流程图对在图12的步骤S202中所执行的可逆解码处理的流程的示例进行描述。

以与可逆编码处理相同的方式，针对图像的每个层执行可逆解码处理。

换言之，NAL解码部231在步骤S221中对与SPS有关的编码数据进行解码，在步骤S222中对与PPS有关的编码数据进行解码，以及在步骤S223中对与切片头有关的编码数据进行解码。在步骤S224中，CU数据解码部223对作为处理目标的相对应的CU进行解码。

CU数据解码部232对在作为处理目标的相对应的切片中的所有CU反复地执行步骤S224中的处理。在步骤S225中，如果确定在相对应的切片中不存在未处理的CU，则CU数据解码部232使得处理继续到步骤S226。

NAL解码部231对作为处理目标的相对应的图片中的所有切片反复地执行步骤S223至步骤S225中的处理。在步骤S226中，如果确定在相对应的图片中不存在未处理的切片，则NAL解码部231使得处理继续到步骤S227。

NAL解码部231对在作为处理目标的相对应的序列中的所有图片反复地执行步骤S222至步骤S226中的处理。在步骤S227中，如果确定在相对应的序列中不存在未处理的图片，则NAL解码部231结束可逆解码处理，并且使得处理返回到图12。

[CU解码处理]

接下来，将参照图14和图15的流程图对图13的步骤S224中所执行的CU解码处理的流程的示例进行描述。

当CU解码处理开始时，在步骤S231中，解码控制单元221根据由NAL解码部231所生成的NAL数据确定相对应的切片的类型，并且确定相对应的切片是否为I切片。

在相对应的切片不是I切片(该切片为P切片或B切片)的情况下，跳过标志解码部241在步骤S232中对跳过标志进行解码。如果相对应的切片被确定为I切片，则未对跳过标志进行编码，并且因此省略此处理。

如果解码控制单元221在步骤S233中确定跳过标志的值为1，则存在跳过标志并且在步骤S234中跳过模式解码部242在跳过模式中对CU数据进行解码。如果已经对CU数据进行解码，则跳过模式解码部242结束CU解码处理，并且将处理返回到图13。

如果解码控制单元221在步骤S233中确定不存在跳过标志或跳过标志的值为0，则合并标志解码部243在步骤S235中对合并标志进行解码。

如果解码控制单元221在步骤S236中确定存在合并标志并且其值为1，则合并模式解码部244在步骤S237中在合并模式中对CU数据进行解码。如果已经对CU数据进行了解码，则合并模式解码部244结束CU解码处理，并且使得处理返回到图13。

在步骤S238中，如果解码控制单元221确定不存在合并标志，或其值为0，则处理继续到图15。

在这种情况下，在基于预测模式的方法中对CU数据进行解码。换言之，在解码控制单元221在图15的步骤S241中确定相对应的切片不是I切片的情况下，PredMode解码部245在步骤S242中对pred_mode(PredMode)进行解码。如果相对应的切片被确定为I切片，则未对pred_mode进行编码，并且因此省略此处理。

在步骤S243中，如果解码控制单元221确定用于相对应的区域的预测模式是帧内预测模式，则帧内解码部246在步骤S244中在帧内预测模式中对CU数据进行解码(通过使用适当的方法在帧内预测模式中对编码的CU数据进行解码)。如果已经对CU数据进行了解码，则帧内解码部246结束CU解码处理，并且使得处理返回到图13。

另外，如果解码控制单元221在步骤S243中确定用于相对应的区域的预测模式不是帧内预测模式，并且在步骤S245中确定用于相对应的区域的预测模式是帧间预测模式，则帧间解码部247在步骤S246中在帧间预测模式中对CU数据进行解码(通过使用适当的方法在帧间预测模式中对编码的CU数据进行解码)。如果已经对CU数据进行了解码，则帧间解码部247结束CU解码处理，并且使得处理返回到图13。

此外，如果解码控制单元221在步骤S243中确定用于相对应的区域的预测模式不是帧内预测模式，并且在步骤S245中确定用于相对应的区域的预测模式不是帧间预测模式，则直接模式解码部248在步骤S247中在直接预测模式中对CU数据进行解码(通过使用适当的方法在直接预测模式中对编码的CU数据进行解码)。如果已经对CU数据进行了解码，则直接模式解码部248结束CU解码处理，并且使得处理返回到图13。

[应用了本技术的图像处理设备的一个实施例]

图16是示出了应用了本技术的图像处理设备的一个实施例的配置示例的框图。

在图16中，图像处理设备包括编码器1000和解码器2000。另外，编码器1000和解码器2000可以作为分离的块安装在独立的单个设备中，并且编码器1000和解码器2000中的每个可以安装在独立的分离设备中。此外，编码器1000和解码器2000中的每个可以配置为独立的单个设备。

以与图1的图像编码装置100相同的方式配置编码器1000。

换言之，在编码器1000中，输入图片缓冲器1001对应于图1的画面重排缓冲器102，而计算单元1002对应于图1的计算单元103。正交变换单元1003对应于图1的正交变换单元104，而量化单元1004对应于图1的量化单元105。熵编码单元1005对应于图1的可逆编码单元106，而逆量化单元1006对应于图1的逆量化单元108。逆正交变换单元1007对应于图1的逆正交变换单元109，而计算单元1008对应于图1的计算单元110。去块滤波器1009、自适应样本偏移单元1010、自适应样本偏移估计单元1011、自适应环路滤波器1012、以及自适应环路滤波器估计单元1013对应于图1的环路滤波器111，而解码图像缓冲器(DPB)1014对应于图1的帧存储器112。帧内方向估计单元1015和帧内预测单元1016对应于图1的帧内预测单元114，而运动估计单元1017和帧间预测单元1018对应于图1的运动预测/补偿单元115。模式确定单元1019对应于图1的预测图像选择单元116。

另外，编码器1000与图1的图像编码装置100不同之处在于：额外地设置了设置单元1021，帧间预测单元1018通过使用由设置单元1021所输出的信息执行处理，以及由设置单元1021所输出的信息被包括在熵编码单元1005的编码数据中。

此外，在图16的编码器1000中，未示出与图1的A/D转换单元101、累积缓冲器107、速率控制单元117、以及编码控制单元121相对应的块。

以与图10的图像解码装置200相同的方式配置解码器2000。

换言之，在解码器2000中，熵解码单元2001对应于图10的可逆解码单元202，而逆量化单元2002对应于图10的逆量化单元203。逆正交变换单元2003对应于图10的逆正交变换单元204，而计算单元2004对应于图10的计算单元205。去块滤波器2005、自适应样本偏移单元2006、以及自适应样本偏移估计单元2007对应于图10的环路滤波器206，而DPB2008对应于图10的帧存储器209。帧内预测单元2009对应于图10的帧内预测单元211，而帧间预测单元2010对应于图10的运动预测/补偿单元212。模式选择单元2011对应于图10的选择单元213。

另外，解码器2000与图10的图像解码装置200的不同之处在于：帧间预测单元2010通过使用在编码器1000中所获得的编码数据中所包括的并且由设置单元1021所输出的信息执行处理。

此外，在图16的解码器2000中，未示出与图10的累积缓冲器201、画面重排缓冲器207、D/A转换单元208、以及解码控制单元221相对应的块。

在如上所述地配置的图16的图像处理设备中，在编码器1000中，以与图1的图像编码装置100相同的方式，对图像进行编码，并且传送作为其结果所获得的编码数据(编码流)。

然而，在编码器1000中，设置单元1021设置并且输出预定信息。将由设置单元1021所输出的信息(在下文中，称为设置信息)提供给帧间预测单元1018和熵编码单元1005。

帧间预测单元1018基于来自设置单元1021的设置信息生成预测图像。如果需要，预测图像被用于在计算单元1002至熵编码单元1005中对图像的块(诸如CU、PU、PU分区、以及TU)进行编码(预测编码)。

另外，熵编码单元1005将来自设置单元1021的设置信息包括在编码数据中，并且传送设置信息。

另一方面，解码器2000接收从编码器1000所传送的编码数据，并且以与图10的图像解码装置200相同的方式将编码数据解码为图像。

在此，在解码器2000中，熵解码单元2001从编码数据中分离出设置信息，并且将设置信息提供给帧间预测单元2010。

帧间预测单元2010基于来自熵解码单元2001的设置信息生成预测图像。如果需要，预测图像被用于在熵解码单元2001至计算单元2004中对预测编码图像的块进行解码。

在图16的图像处理设备中，由设置单元1021所设置的设置信息包括例如识别信息或约束信息。

在下文中，将描述识别信息和约束信息。

[识别信息]

首先，将描述由设置单元1021所设置的识别信息。

在此，如上所述，合并模式是下述技术：在该技术中，代替运动信息(预测方向、运动向量、以及参考指标)传送标志(标志信息)(不传送运动信息)，并且可以改进编码效率。

合并模式可以用在包括CU和PU的任何块单位中，并且下述技术可以应用到在包括CU和PU的任何块单位中所执行的合并模式。

现在，将在编码器1000中作为编码目标的块(相对应的区域)称为目标块。

在合并模式中，从空间上并且时间上接近目标块的区域(邻近区域)中选择作为与目标块合并的区域的合并区域的候选(在下文中，称为合并候选)。另外，为了提高编码效率，在合并候选中选择合并区域(用作合并区域的合并候选)，并且指示合并区域的merge_idx被包括在编码流(编码数据)中。

另外，如下地描述merge_idx。

merge_idx[x0][y0]指定合并候选列表的合并候选指标，其中，x0、y0指定所考虑的预测块的左上亮度样本相对于图像的左上亮度样本的位置(x0，y0)。

merge_idx是代替以上所述的Merge_Left_Flag所使用的、指示用作合并区域的区域的信息(或区域的运动信息)。Merge_Left_Flag指示在目标块的上部位置或左部位置处的区域，但是merge_idx甚至可以指示在其它位置处的区域。

同时，如果在编码器1000的运动补偿(MC)中频繁地发生对存储解码图像的DPB1014的访问，则存储器带宽增加，其为从DPB1014读出解码图像的传送速率。

换言之，在不是L0预测和L1预测中的任一个(在下文中，称为单向预测)，而是L0预测和L1预测两者(在下文中，称为双向预测)被用作用于MC的预测图像的预测的情况下，或在目标块的块尺寸小的情况下，存储器带宽增加。

然而，如果作为存储器带宽要确保高速率，则编码器1000的成本增加。这对于包括DPB2008的解码器2000也同样成立。

如上所述，在MC中需要的最大存储器带宽(在下文中，称为需要最大带宽)是安装编码器1000和解码器2000中的瓶颈。

例如，作为减少需要最大带宽的方法，存在禁止使用具有小尺寸的块的方法，或根据块的尺寸禁止使用双向预测的方法。然而，例如，在禁止在具有预定尺寸或更小尺寸的块中使用双向预测的情况下，当合并候选都是进行了双向预测的区域时，关于具有预定尺寸或更小尺寸的块未选择将成为合并区域的合并候选，并且作为结果，存在不可以使用合并模式并且因此编码效率会劣化的担忧。

因此，在编码器1000中，设置单元1021设置识别信息，并且帧间预测单元1018基于识别信息执行预测(预测图像的生成)，从而使得能够将需要最大带宽最小化。

在此，识别信息是用于识别图像的块的尺寸与应用到该块的预测方法的改变之间的对应关系的信息，并且例如，可以使用下面的第一信息、第二信息、以及第三信息中的任一个作为识别信息。

可以用作识别信息的第一信息是disable_bip_small_mrg_idc信息(标志)，并且disable_bip_small_mrg_idc信息例如可以取四个值，包括：0、1、2、以及3。

图17是示出了disable_bip_small_mrg_idc信息的图。

在每个值处的disable_bip_small_mrg_idc信息指示下述块(在此，例如PU分区)的尺寸(块尺寸)，改变该块的预测方法使得代替双向预测应用单向预测。

换言之，具有值0的disable_bip_small_mrg_idc信息指示合并候选的预测方法未改变，而与目标块的PU分区的块尺寸无关。

具有值1的disable_bip_small_mrg_idc信息指示在目标块的PU分区的块尺寸是4×4(宽度×高度的像素的数量)的情况下，改变(代替)应用了双向预测的合并候选的预测方法，使得代替双向预测应用单向预测，并且在合并模式中执行处理。

在此，改变应用了双向预测的合并候选的预测方法使得代替双向预测应用单向预测并且在合并模式中执行处理的事实指示应用了双向预测的合并候选的预测方法实际上未改变成单向预测，而是在单向预测中执行合并候选的预测并且与单向预测有关的运动信息被用于目标块(其PU分区)的处理。因此，通过使用针对合并候选所确定(选择)的预测方法而不进行改变地执行(不是目标块，而是)合并候选自身的预测。

在设置具有值1的disable_bip_small_mrg_idc的情况下，改变应用了双向预测的合并候选的预测方法，使得代替双向预测应用单向预测，并且对于具有4×4的块尺寸的PU分区在合并模式中执行处理。

因此，例如，当在具有4×4的块尺寸的PU分区中禁止使用双向预测的情况下，即使所有合并候选都是双向预测的区域，双向预测也改变为单向预测，并且在合并模式中执行处理。

作为结果，当禁止在具有预定尺寸或更小尺寸的PU分区中使用双向预测的情况下，可以防止由于不能够使用合并模式所导致的编码效率的劣化。

在此，从双向预测到单向预测的合并候选的预测方法的改变的损失小于不能够使用合并模式的损失。

具有值2的disable_bip_small_mrg_idc信息指示，在目标块的PU分区的块尺寸是4×4、8×4、以及4×8中的任一个的情况下，改变应用了双向预测的合并候选的预测方法使得代替双向预测应用单向预测，并且在合并模式中执行处理。

具有值3的disable_bip_small_mrg_idc信息指示，在目标块的PU分区的块尺寸是4×4、8×4、4×8以及8×8中的任一个的情况下，改变应用了双向预测的合并候选的预测方法使得代替双向预测应用单向预测，并且在合并模式中执行处理。

在此，作为在其中改变合并候选的预测方法使得代替双向预测应用单向预测的PU分区的块尺寸，可以采用除了以上的4×4、8×4、4×8以及8×8之外的块尺寸。

另外，由disable_bip_small_mrg_idc信息所取的值不限于包括0至3的四个值。

此外，例如，双向预测是执行L0预测和L1预测两者的预测，并且代替双向预测应用到合并候选的单向预测是作为双向预测的L0预测和L1预测中的任一个。

在使用disable_bip_small_mrg_idc信息作为第一信息的情况下，需要预先确定作为代替双向预测应用到合并候选的单向预测的L0预测和L1预测中的任一个，并且需要在编码器1000和解码器2000中进行统一。

图18是示出了在使用disable_bip_small_mrg_idc信息作为第一信息的情况下，由编码器1000和解码器2000所执行的处理的概要的流程图。

在编码器1000中，在步骤S1001中，设置单元1021例如基于DPB1014的存储器带宽的最大值设置目标块中的disable_bip_small_mrg_idc信息，并且将该信息提供给帧间预测单元1018和熵编码单元1005。

在步骤S1002中，帧间预测单元1018在合并模式中执行处理，并且还基于来自设置单元1021的disable_bip_small_mrg_idc信息执行预测图像的生成。换言之，当在合并模式中执行处理(编码)的情况下，帧间预测单元1018基于来自设置单元1021的disable_bip_small_mrg_idc信息生成预测图像。

另外，设置单元1021随着DPB1014的存储器带宽的最大值变小设置具有较大值的disable_bip_small_mrg_idc信息。因此，随着DPB1014的存储器带宽的最大值变小，PU分区的合并候选的预测方法从双向预测改变到单向预测，直至具有较大块尺寸的PU分区，并且当为了生成预测图像从DPB1014读出解码图像时，使得存储器带宽最小化。

如上所述，当从DPB1014读出解码图像时使得存储器带宽最小化，并且因此可以防止编码器1000的成本的增加。

在步骤S1003中，如果需要，计算单元1002至熵编码单元1005通过使用在步骤S1002中所生成的预测图像对目标块进行编码。

在步骤S1004中，熵编码单元1005将来自设置单元1021的disable_bip_small_mrg_idc信息包括到(例如，复用到)编码数据(中)，并且传送该信息。

此外，熵编码单元1005可以将disable_bip_small_mrg_idc信息包括在例如编码数据(编码流)的SPS、PPS、APS、或切片头中。

另一方面，在解码器2000中，在步骤S1011中，熵解码单元2001接收包括disable_bip_small_mrg_idc信息的编码数据。另外，熵解码单元2001从解码数据中分离出disable_bip_small_mrg_idc信息，并且将该信息提供给帧间预测单元2010。

在步骤S1012中，帧间预测单元2010以与帧间预测单元1018相同的方式在合并模式中执行处理，并且还基于disable_bip_small_mrg_idc信息执行预测图像的生成。换言之，当在合并模式中执行处理(编码)的情况下，帧间预测单元2010基于来自熵解码单元2001的disable_bip_small_mrg_idc信息生成预测图像。

另外，在步骤S1013中，如果需要，熵解码单元2001至计算单元2004通过使用在步骤S1012中所生成的预测图像对在步骤S1021中所接收的编码数据进行解码。

此外，在编码器1000中，设置单元1021可以响应于由用户(诸如编码器1000的操作者)所执行的操作设置disable_bip_small_mrg_idc信息。

另外，在编码器1000中，关于在每个值处的存储器带宽，根据在每个值处的需要最大带宽，用于规定解码器的处理量的配置文件(profile)或级别可以被定义为需要最大带宽，并且配置文件信息和级别信息(profile_idc和level_idc)可以被包括在编码数据中。

在此，如下地描述profile_idc和level_idc。

profile_idc和level_idc指示编码视频序列所遵照的配置文件和级别。

因此，尚未详细地定义profile_idc和level_idc，但是，例如，可以定义profile_idc和level_idc以便将关于需要最大带宽的信息包括在MC中。

例如，可以定义profile_idc和level_idc以便包括诸如PU分区的块尺寸的最小值、是否使用双向预测、以及PU分区的块尺寸的最小值和是否使用双向预测的组合的信息。

在设置单元1021中，例如，如上所述，基于DPB1014的存储器带宽的最大值设置disable_bip_small_mrg_idc信息。

另外，在编码器1000中，依赖于profile_idc或level_idc，禁止具有等于或小于预定尺寸的块尺寸的PU分区的使用、或禁止具有等于或小于预定尺寸的块尺寸的PU分区的双向预测的应用。

然而，例如，尽管禁止将双向预测应用到具有4×4的块尺寸的PU分区，但是在设置具有值为1的disable_bip_small_mrg_idc信息的情况下，在编码器1000中，关于4×4的(块尺寸的)PU分区，改变应用了双向预测的合并候选的预测方法，使得代替双向预测应用单向预测，并且在合并模式中执行处理。

因此，关于禁止了应用双向预测的4×4的PU分区，即使所有合并候选都是双向预测的区域，双向预测也被改变为单向预测，并且因此可以在合并模式中执行处理。

另外，在解码器2000中，以与编码器1000中相同的方式，如果需要，基于disable_bip_small_mrg_idc信息，将应用了双向预测的合并候选的预测方法从双向预测改变为单向预测。

接下来，将描述作为识别信息可以采用的第二信息。

作为识别信息可以采用的第二信息是通过对作为第一信息的disable_bip_small_mrg_idc进行扩展所获得的disable_bip_small_mrg_idc扩展信息，并且可以取七个值，包括例如0、1、2、3、4、5、以及6。

图19是示出了disable_bip_small_mrg_idc扩展信息的图。

在每个值处的disable_bip_small_mrg_idc扩展信息指示改变了预测方法使得代替双向预测应用了单向预测的PU分区的块尺寸，以及代替双向预测应用了单向预测的预测方向，并且其语义如下。

换言之，具有为0的值的disable_bip_small_mrg_idc扩展信息以与具有为0的值的disable_bip_small_mrg_idc信息相同的方式、指示与目标块的PU分区的块尺寸无关地不改变合并候选的预测方法。

具有为1或2的值的disable_bip_small_mrg_idc扩展信息以与具有值为1的disable_bip_small_mrg_idc信息相同的方式均指示，在目标块的PU分区的块尺寸为4×4的情况下，改变应用了双向预测的合并候选的预测方法，使得代替双向预测应用单向预测，并且在合并模式中执行处理。

另外，具有值为1的disable_bip_small_mrg_idc扩展信息指示代替双向预测所应用的单向预测的预测方向是例如L0预测和L1预测中的L0预测。此外，具有值为2的disable_bip_small_mrg_idc扩展信息指示代替双向预测所应用的单向预测的预测方向是例如L0预测和L1预测中的L1预测。

具有值为3或4的disable_bip_small_mrg_idc扩展信息以与具有值为2的disable_bip_small_mrg_idc信息相同的方式均指示，在目标块的PU分区的块尺寸是4×4、8×4、以及4×8中的任一个的情况下，改变应用了双向预测的合并候选的预测方法使得代替双向预测应用单向预测，并且在合并模式中执行处理。

另外，具有值为3的disable_bip_small_mrg_idc扩展信息指示代替双向预测所应用的单向预测的预测方向是例如L0预测和L1预测中的L0预测。此外，具有值为4的disable_bip_small_mrg_idc扩展信息指示代替双向预测所应用的单向预测的预测方向是例如L0预测和L1预测中的L1预测。

具有值为5或6的disable_bip_small_mrg_idc扩展信息以与具有值为3的disable_bip_small_mrg_idc信息相同的方式均指示，在目标块的PU分区的块尺寸是4×4、8×4、4×8以及8×8中的任一个的情况下，改变应用了双向预测的合并候选的预测方法使得代替双向预测应用单向预测，并且在合并模式中执行处理。

另外，具有值为5的disable_bip_small_mrg_idc扩展信息指示代替双向预测所应用的单向预测的预测方向是例如L0预测和L1预测中的L0预测。此外，具有值为6的disable_bip_small_mrg_idc扩展信息指示代替双向预测所应用的单向预测的预测方向是例如L0预测和L1预测中的L1预测。

作为第二信息的disable_bip_small_mrg_idc扩展信息不仅指示改变了预测方法使得代替双向预测应用了单向预测的PU分区的块尺寸，而且还指示代替双向预测所应用的单向预测的预测方向。因此，以与作为第一信息的disable_bip_small_mrg_idc信息相同的方式，在编码器1000和解码器2000中，不需要预先将L0预测和L1预测中的任一个确定为代替双向预测应用到合并候选的单向预测。

当使用disable_bip_small_mrg_idc扩展信息时，由图16的编码器1000和解码器2000所执行的处理与图18中所描述的处理相同，除了使用disable_bip_small_mrg_idc扩展信息代替disable_bip_small_mrg_idc信息之外，因此将不再重复对其的描述。

接下来，将描述作为识别信息可以采用的第三信息。

作为识别信息可以采用的第三信息对应于包括作为第一信息的disable_bip_small_mrg_idc信息和modify_bip_small_mrg_l0信息的两个信息。

图20是示出了modify_bip_small_mrg_l0信息的图。

modify_bip_small_mrg_l0信息取包括例如0和1的两个值，并且指示代替双向预测所应用的单向预测的预测方向。

换言之，具有值为0的modify_bip_small_mrg_l0信息指示代替双向预测所应用的单向预测是例如L1预测，并且具有值为1的modify_bip_small_mrg_l0信息指示代替双向预测所应用的单向预测是例如L0预测。

根据第三信息，可以通过使用disable_bip_small_mrg_idc信息控制改变了预测方法的PU分区的块尺寸使得代替双向预测应用单向预测，并且可以通过使用modify_bip_small_mrg_l0信息控制代替双向预测所应用的单向预测的预测方向。

作为结果，可以以较小的单位控制参考方向。

在依赖于单向预测的预测方向(即，参考方向)存在预测质量的差异(预测误差)的情况下，与L0预测相比L1预测倾向于具有更高的预测质量，并且在作为预测目标的目标图像时间上接近参考图片(参考图像)的情况下，通常，L1预测倾向于具有较高的预测质量。在这种情况下，L1预测被用作代替双向预测所应用的单向预测，并且因此可以增加编码效率。

另外，当在对L0预测和L1预测的参考图片进行编码时的量化参数QP中存在差异的情况下，期望以较高质量预测具有较小量化参数QP的参考图片。另外，当改变运动图像的情景时，采用其中选择了相同情景的参考方向增加了预定质量。换言之，在存在情景改变的情况下，当对情景改变之前的图像进行编码时使用情景改变之前的图片作为参考图片，并且当对情景改变之后的图片进行编码时使用情景改变之后的图片用作参考图片，从而增加了预测质量。

根据modify_bip_small_mrg_l0信息，可以选择L0预测和L1预测之中提供更好预测质量的一个作为代替双向预测所应用的单向预测。

另外，当disable_bip_small_mrg_idc信息具有除了0之外的值时，modify_bip_small_mrg_l0信息可以被包括在编码数据中。

因此，modify_bip_small_mrg_l0信息可以被包括在低于disable_bip_small_mrg_idc信息的层中的编码数据中。

例如，disable_bip_small_mrg_idc信息可以被包括在SPS中，并且modify_bip_small_mrg_l0信息可以被包括在切片头中。modify_bip_small_mrg_l0信息可以包括在其他元素中，例如，PPS、图块(tile)头、LCU、CU、PU等。

可以通过以精细单位基于modify_bip_small_mrg_l0信息和disable_bip_small_mrg_idc信息控制预测方法的改变程度与由于在编码数据中所包括的modify_bip_small_mrg_l0信息和disable_bip_small_mrg_idc信息所导致的数据量的增加之间的折中，确定modify_bip_small_mrg_l0信息和disable_bip_small_mrg_idc信息被包括在哪层中。

当使用modify_bip_small_mrg_l0信息和disable_bip_small_mrg_idc信息时由图16的编码器1000和解码器2000所执行的处理与图18中所描述的处理相同，除了在disable_bip_small_mrg_idc信息之外还使用modify_bip_small_mrg_l0信息之外，并且因此将不再重复其描述。

图21是示出了当使用disable_bip_small_mrg_idc信息或disable_bip_small_mrg_idc扩展信息时，由编码器1000所执行的SPS的编码和由解码器2000所执行的SPS的解码的概要的流程图。

在编码器1000中，在步骤S1021中，熵编码单元1005将profile_idc和level_idc包括在编码数据(编码流)的SPS中。

另外，在步骤S1022中，熵编码单元1005将从设置单元1021所提供的disable_bip_small_mrg_idc信息或disable_bip_small_mrg_idc扩展信息包括在编码数据的SPS中。

另一方面，在解码器2000中，在步骤S1031中，熵解码单元2001从编码数据中分离出(读出)profile_idc和level_idc。

另外，在步骤S1032中，熵解码单元2001从编码数据中分离出disable_bip_small_mrg_idc信息或disable_bip_small_mrg_idc扩展信息，并且将该信息提供给帧间预测单元2010。

图22是示出了当使用disable_bip_small_mrg_idc信息和modify_bip_small_mrg_l0信息时由编码器1000所执行的切片头的编码和由解码器2000所执行的切片头的解码的概要的流程图

在编码器1000中，在步骤S1041中，熵编码单元1005将来自设置单元1021的modify_bip_small_mrg_l0信息包括在编码数据的切片头中。

另一方面，在解码器2000中，在步骤S1051中，熵解码单元2001从编码数据中分离出(读出)modify_bip_small_mrg_l0信息，并且将该信息提供给帧间预测单元2010。

另外，例如如图21所述，执行诸如将所使用的disable_bip_small_mrg_idc信息连同modify_bip_small_mrg_l0信息一起包括在SPS中的处理。

图23是示出了由编码器1000所执行的CU的编码和由解码器2000所执行的CU的编码的概要的流程图。

在CU的编码中，在步骤S1061中，编码器1000在包括分割作为目标块的CU的情况和未分割CU的情况的各个情况下计算成本函数值。在此，关于成本函数值，例如，已知被称为RD成本的值，在其中考虑所生成的比特率和编码失真。

在步骤S1062中，编码器1000基于在步骤1061中所计算出的RD成本确定是否将分割作为目标块的CU。

在此，在步骤S1062中，当在分割CU时的RD成本小于未分割CU时的RD成本的情况下(在当与未分割CU时相比，当分割CU时所生成的比特率和编码失真总体上进一步改进的情况下)，确定分割CU。

如果在步骤S1062中确定将分割CU，则处理继续到步骤S1063，其中，编码器1000例如在作为与CU的分割有关的标志的cu_split_flag中设置指示将分割CU的值1，并且将该标志包括在编码数据(编码流)中。

另外，在步骤S1064中，编码器1000将作为目标块的CU分割为例如新的四个(2×2)CU。

此外，在步骤S1065中，编码器1000对于由于在步骤S1064中的分割所获得的新的四个CU，顺序递归地执行作为目标块的CU的编码处理。

另一方面，如果在步骤S1062中确定将不分割CU，则处理继续到步骤S1066，其中，编码器1000例如在cu_split_flag中设置指示将不分割CU的值0，并且将该标志包括在编码数据中。

然后，在步骤S1067中，编码器1000执行选择合并候选的合并候选选择处理，并且处理继续到步骤S1068。

在步骤S1068中，编码器1000计算包括通过使用合并模式对作为目标块的CU进行编码的情况和通过不使用合并模式对作为目标块的CU进行编码的情况的各个情况的RD成本。

另外，在步骤S1068中，编码器1000基于在步骤S1068中所计算出的RD成本，确定是否将在合并模式中对作为目标块的CU进行编码。

在此，在步骤S1068中，当在合并模式中对目标块进行编码的RD成本小于在未使用合并模式时的RD成本的情况下(当与在未使用合并模式时相比，在使用合并模式时整体地进一步改进了所生成的比特率和编码失真的情况下)，确定将在合并模式中执行编码。

如果在步骤S1068中确定将在合并模式中执行编码(将使用合并模式)，则处理继续到步骤S1069，其中，编码器1000在作为与合并模式有关的标志的merg_flag中设置指示将使用合并模式的值1，在指示合并区域的merge_idx中设置指示合并区域的位置的值，以及将标志和信息包括在编码数据中。

另外，在步骤S1069中，编码器1000在合并模式中对作为目标块的CU进行编码(通过使用作为目标块的运动信息的合并区域的运动信息生成预测图像，并且对目标块进行编码)。

另一方面，如果在步骤S1068中确定将不在合并模式中执行编码(将不使用合并模式)，则处理进行到步骤S1070，其中，编码器1000对形成作为目标块的CU的PU执行编码处理。

在步骤S1071中，编码器1000从在形成作为目标块的CU的PU中所包括的TU(输入图像)中减去由于在步骤S1070中对PU进行的编码处理所获得的预测图像，并且生成用于TU的差分图像。

在步骤S1072中，编码器1000对TU执行编码处理，在步骤S1071中针对TU生成了差分图像。

另外，在步骤S1073中，编码器1000对由于对TU进行编码处理所获得的用于TU的差分图像执行正交变换和量化以便获得量化系数；并且对所获得的量化系数执行逆量化和逆正交变换，以便对差分图像进行解码。

此外，在步骤S1073中，编码器1000将由于对PU进行编码处理所获得的预测图像加到在步骤S1073中所解码的差分图像，从而生成用于TU的解码图像。解码图像存储在DPB1014中，并且然后如果需要被用作参考图像(图片)。

另一方面，在CU的解码中，在步骤S1081中，解码器2000对来自编码数据(编码流)的作为目标块的CU的cu_split_flag进行解码。

另外，在步骤S1082中，解码器2000确定cu_split_flag的值是否为1。

在步骤S1082中，如果cu_split_flag的值为1，即，分割作为目标块的CU，则处理继续到步骤S1083，其中，解码器2000以与步骤S1064的情况相同的方式，将作为目标块的CU分割为新的四个CU。

此外，在步骤S1084中，解码器2000顺序递归地对由于步骤S1083中的分割所获得的新的四个CU执行作为目标块的CU的解码处理。

另一方面，如果在步骤S1082中cu_split_flag的值不是1(是0)，即，未分割作为目标块的CU，则处理进行到步骤S1085，其中，解码器2000确定merge_flag的值是否为1。

在步骤S1085中，如果merge_flag的值为1，即，在合并模式中对作为目标块的CU进行编码，则处理继续到步骤S1086，其中，解码器2000从编码数据中读出merge_idx并且执行与步骤S1067的情况相同的合并候选选择处理。

另外，在步骤S1086中，解码器2000在由于合并候选选择处理所获得的合并候选之中，选择在由merge_idx所指示的位置处的合并候选作为合并区域，并且通过使用合并区域(的运动信息)在合并模式中对作为目标块的CU进行解码(通过使用作为目标块的运动信息的合并区域的运动信息生成预测图像，并且对目标块进行解码)。

另外，在步骤S1085中，如果merge_flag的值不为1(为0)，即，不使用合并模式对作为目标块的CU进行编码，则处理继续到步骤S1087，其中，解码器2000对形成作为目标块的CU的PU执行解码处理，并且在步骤S1088中对在PU中所包括的TU执行解码处理。

此外，在步骤S1089中，解码器2000将由于对PU进行解码处理所获得的预测图像加到作为通过对由于对TU进行解码处理所获得的量化系数执行逆量化和逆正交变换所获得的差分图像，从而生成用于TU的解码图像。解码图像被存储在DPB2008中，并且然后如果需要被用作参考图像(图片)。

图24是示出了图23中的步骤S1067中的合并候选的选取(选择)的流程图。

换言之，图24是示出了当使用disable_bip_small_mrg_idc信息和modify_bip_small_mrg_l0信息时的合并候选的选取的流程图。

在步骤S1101中，在作为空间上和时间上接近目标块的块的邻近块之中，编码器1000将作为帧间预测的帧间预测块加到合并候选中。

另外，在此步骤中，如果帧间预测块的预测方法是双向预测，则帧间预测块被加到双向预测状态中的合并候选。

在步骤S1102中，编码器1000从合并候选中排除其运动信息与作为合并候选的其他帧间预测块的运动信息重叠的帧间预测块。

在步骤S1103中，编码器1000将其运动向量为零向量的(虚拟)帧间预测块加到合并候选。

然后，在步骤S1104中，编码器1000确定目标块的切片类型是否为B。

如果在步骤S1104中目标块的切片类型不是B，即，目标块不是双向预测的，则合并候选选择处理结束。在这种情况下，通过使用在步骤S1101和步骤S1103中所获得的合并候选选择合并区域而不进行改变。

另外，如果在步骤S1104中目标块的切片类型是B，即，目标块是双向预测的，则处理继续到步骤S1105，其中，编码器1000确定目标块的块尺寸是否与由disable_bip_small_mrg_idc信息所指示的改变了预测方法的块尺寸相对应。

在步骤S1105中，如果确定目标块的块尺寸不与由disable_bip_small_mrg_idc信息所指示的块尺寸相对应，则合并候选选择处理结束。另外，在此情况下，通过使用在步骤S1101和步骤S1103中所获得的合并候选选择合并区域而不进行改变。

另外，在步骤S1105中，如果确定目标块的块尺寸与由disable_bip_small_mrg_idc信息所指示的块尺寸相对应，则处理继续到步骤S1106，其中，编码器1000确定modify_bip_small_mrg_l0信息是否具有为0的值。

在步骤S1106中，如果确定modify_bip_small_mrg_l0信息不具有为0的值，即，modify_bip_small_mrg_l0信息具有为1的值，则处理继续到步骤S1107，其中，编码器1000将用于其的预测方向为双向预测的合并候选的双向预测改变为单向预测的L0预测，并且结束合并候选选择处理。在这种情况下，在步骤S1101和步骤S1103中所获得的合并候选之中，关于用于其的预测方法为双向预测的合并候选，双向预测被改变为L0预测，并且然后在合并候选中选择合并区域。

另外，在步骤S1106中，如果确定modify_bip_small_mrg_l0信息具有为0的值，则处理继续到步骤S1108，其中，编码器1000将用于其的预测方向为双向预测的合并候选的双向预测改变为单向预测的L1预测，并且结束合并候选选择处理。在这种情况下，在步骤S1101和步骤S1103中所获得的合并候选之中，关于用于其的预测方法为双向预测的合并候选，双向预测被改变为L0预测，并且然后在合并候选中选择合并区域。

[约束信息]

接下来，将描述由设置单元1021所设置的约束信息。

如在识别信息中所描述地，在MC中需要的最大存储器带宽(需要最大带宽)是安装编码器1000和解码器2000的瓶颈。

因此，在编码器1000中，设置单元1021设置约束信息，并且帧间预测单元1018基于约束信息执行预测(预测图像的生成)，从而使得能够将需要最大带宽最小化。

在此，约束信息是用于约束图像编码(解码)处理的信息，并且包括例如以下描述的约束模式RB或约束模式RV。

根据约束模式RB，约束图像的块的尺寸和应用到具有该尺寸的块的预测方法，并且根据约束模式RV，约束被用于生成图像的块的MC中的预测图像的运动向量的数量(参考块的数量)。

图25是示出了约束模式RB的图。

在图25中，例如，在约束模式RB为B4的情况下，禁止双向4×4、双向4×8、双向8×4、以及单向4×4。

在此，例如，双向4×4指示双向预测(Bi)被应用到具有4×4的块尺寸的PU分区。

另外，例如，单向4×4指示单向预测(Uni)被应用到具有4×4的块尺寸的PU分区。

因此，在约束模式RB是B4的情况下，约束通过使用双向4×4和单向4×4将双向预测和单向预测应用到具有4×4的块尺寸的PU分区，并且还约束具有4×4的块尺寸的PU分区使用(帧间预测)。

另外，在约束模式RB是B4的情况下，约束通过使用双向4×8将双向预测应用到具有4×8的块尺寸的PU分区。

此外，在约束模式RB是B4的情况下，约束通过使用双向8×4将双向预测应用到具有8×4的块尺寸的PU分区。

在编码器1000中，设置单元1021例如基于DPB1014的存储器带宽的最大值设置约束模式RB，并且将所设置的约束模式提供给帧间预测单元1018和熵编码单元1005。

帧间预测单元1018根据来自设置单元1021的约束模式RB执行预测图像的生成。

同时，熵编码单元1005将来自设置单元1021的约束模式RB包括在编码数据中，并且传送约束模式。

在熵编码单元1005中，约束模式RB可以被包括在例如编码数据(编码流)的SPS、PPS、APS、以及切片头等中。

另外，随着DPB1014的存储器带宽的最大值变小，设置单元1021设置具有较大值B#i的约束模式RB。

在此，大的约束模式RB的值B#i指示数量#i大。

在图25中，约束模式RB具有按照B1、B2、……、以及B7的顺序的下降的MC中的需要最大带宽。

在此，在图25中，在约束模式为B1的情况下，约束双向4×4，并且在约束模式为B2的情况下，除了约束双向4×4之外还约束双向4×8。在约束模式RB为B3的情况下，除了约束双向4×4和双向4×8之外，还约束双向8×4。如上所述，在RB＝B#i的特定约束模式下，将新的约束内容加到之前的约束模式B#i-1的约束内容中。

新的约束内容是在该时刻存储器带宽消耗最大的块尺寸与应用到具有该块尺寸的PU分区的预测方法的组合。

如上所述，在图25中，在约束模式RB为B1的情况下，约束双向4×4，并且在约束模式为B2的情况下，除了约束双向4×4之外还约束双向4×8。在约束模式RB为B3的情况下，除了约束双向4×4和双向4×8之外，还约束双向8×4。

因此，双向4×4的预测(将双向预测应用到具有4×4的块尺寸的PU分区的预测)消耗最大的存储器带宽，并且双向4×8的预测消耗第二大的存储器带宽，并且。另外，双向8×4的预测消耗第三大的存储器带宽。

在此，如上所述，双向4×8的预测(即，具有4×8个像素的宽度×高度的垂直长块(PU分区)的预测)与双向8×4的预测(即，具有8×4个像素的宽度×高度的水平长块的预测)相比，消耗更大的存储器带宽，并且将稍后描述其原因。

如以上所提及的，因为约束模式RB具有按照B1、B2、……、以及B7的顺序的下降的MC中的需要最大带宽，所以由设置单元1021设置具有较大值B#i的约束模式RB，并且因此可以当从DPB1014读出解码图像以用于生成预测图像时使得存储器带宽最小化。作为结果，可以防止编码器1000的成本的增加。

另外，根据图25，在随着DPB1014的存储器带宽的最大值变小，设置单元1021设置具有较大值B#i的约束模式RB的情况下，随着DPB1014的存储器带宽的最大值变小，约束应用双向预测或单向预测直至具有较大尺寸的块。

在解码器2000中，熵解码单元2001从编码数据中分离出约束模式RB，并且将约束模式提供给帧间预测单元2010。

帧间预测单元2010根据约束模式RB执行预测图像的生成。

换言之，在编码数据适合于约束模式RB的情况下，例如当在约束模式RB中约束了双向4×4并且根据约束模式RB双向4×4未被包括在编码数据中的情况下，帧间预测单元2010例如生成预测图像。

另外，在编码数据不适合于约束模式RB的情况下，例如当在约束模式RB中约束了双向4×4但是双向4×4被包括在编码数据中的情况下，例如帧间预测单元2010未生成预测图像并且使得解码器2000停止处理。

另外，在编码器1000中，设置单元1021可以响应于由用户(诸如编码器1000的操作者)所执行的操作设置约束模式RB。

另外，在编码器1000中，关于在每个值处的存储器带宽，根据在每个值处的需要最大带宽，配置文件或级别可以被定义为需要最大带宽，并且约束模式RB可以被链接到配置文件或级别。

在此，当级别由Lv.#i所指示时，并且随着级别的值#i变大，需要最大带宽变小时，级别Lv.#i可以被链接到例如约束模式RB＝B#i。

在这种情况下，在编码器1000中，例如，如果设置级别Lv.1，则设置单元1021将约束模式RB设置为链接到级别Lv.1的B1。

另外，在编码器1000中，根据约束模式RB，不使用由约束模式RB所指示的块尺寸与预测方法的组合执行编码，并且关于配置文件和级别的信息被包括在编码数据中，以便被传送。

在解码器2000中，可以从编码数据解码关于配置文件和级别的信息，并且例如，可以根据级别识别出链接到级别的约束模式RB。

另外，在编码器1000中，约束模式RB可以被包括在编码数据中，以便被传送，并且在解码器2000中，可以对被包括在编码数据的约束模式RB进行解码。

解码器2000可以检查由约束模式RB所约束的块尺寸和预测方法的组合是否被包括在编码数据中。

在编码数据不适合于约束模式RB的情况下，即，在由约束模式RB所约束的块尺寸和预测方法的组合包括在编码数据中的情况下，解码器2000可以将编码数据不适合于约束模式RB的事实通知给高阶系统，并且高阶系统可以确定如何处理编码数据。

另外，在由配置文件或级别指示图像(图片帧)的尺寸的情况下，例如，随着由配置文件或级别所指示的图像的尺寸变大，编码器1000可以设置用于约束双向预测或单向预测应用到具有较大尺寸的块的约束模式RB。

图26是示出了当使用约束模式RB时由编码器1000和解码器2000所执行的处理的流程图。

在解码器1000中，在步骤S1121中，设置单元1021基于例如DPB1014的存储器带宽的最大值、用户的操作、级别等在目标块中设置约束模式RB，并且将所设置的约束模式提供给帧间预测单元1018和熵编码单元1005。

在步骤S1122中，帧间预测单元1018根据来自设置单元1021的约束模式RB，生成预测图像而同时约束PU分区的块尺寸以及应用到具有该块尺寸的PU分区的预测方法。

在步骤S1123中，如果需要，计算单元1002至熵编码单元1005通过使用在步骤S112中所生成的预测图像对目标块进行编码，以便生成编码数据。

在步骤S1124中，熵编码单元1005将来自设置单元1021的约束模式RB包括在编码数据中，并且传送约束模式。

另外，因为配置文件和级别可以包括在编码数据中，所以在约束模式RB链接到级别(或配置文件)的情况下，可以从关于在编码数据中所包括的级别的信息中识别出约束模式RB，并且因此约束模式RB不需要被包括在编码数据中。

因此，在约束模式RB链接到级别的情况下，编码数据可以被传送而不包括约束模式RB。

同时，在解码器2000中，在步骤S1131中，熵解码单元2001接收编码数据。另外，熵解码单元2001从编码数据中分离出约束模式RB，并且将约束模式RB提供给帧间预测单元2010。

另外，在约束模式RB链接到级别并且因此约束模式未被包括在编码数据中的情况下，熵解码单元2001将在编码数据中所包括的级别传送到帧间预测单元2010，并且帧间预测单元2010基于来自熵解码单元2001的级别识别出约束模式RB。

在步骤S1132中，帧间预测单元2010根据约束模式RB生成预测图像。

换言之，帧间预测单元1018生成预测图像，而同时检查编码数据是否适合于约束模式RB，即，检查由约束模式RB所约束的块尺寸与预测方法的组合是否被包括在编码数据中。

另外，在编码数据不适合于约束模式RB的情况下，解码器2000将该事实通知给高阶系统。

另一方面，在编码数据适合于约束模式RB的情况下，在步骤S1133中，如果需要，熵解码单元2001至计算单元2004通过使用在步骤S1132中所生成的预测图像对在步骤S1131中所接收到的编码数据进行解码。

图27和图28是示出了即使在具有相同尺寸(像素的数量)的块中，与诸如8×4的水平长块的预测相比，诸如4×8的垂直长块的预测消耗较大的存储器带宽。

当从诸如DPB1014的存储器中读出在存储器中所存储的解码图像(图片)的像素的情况下，64位或128位变为总线宽度(数据传送路径宽度)单位。

如果一个像素由8位形成，则以64位的总线宽度并行地同时读出八个像素，并且以128位的总线宽度并行地同时读出十六个像素。

在通常的安装中，由于实验方便等，采用水平长矩形块作为从存储器中同时读出的像素组的最小单位。

例如，在图27中，针对由虚线所分区的、具有4×2个像素的宽度×高度的每个块读出像素(值)。

在此，从存储器中同时读出的像素组的最小单位被称为最小块。

另外，在图27中，正方形(□标记)指示在存储器中所存储的一个像素(其数据)，并且圆圈(O标记)指示预测图像的像素位置。在图27中，预测图像是在水平方向和垂直方向中的每个方向上与在存储器中所存储的图像(参考图像)的像素偏离1/2像素的图像。

另外，块B指示预测图像的像素的块，并且在图27中块B是8×4个像素的块。

块P指示当根据参考图像生成预测图像时对其应用了作为插值滤波的有限脉冲响应(FIR)滤波的参考图像的像素的块，并且是通过对预测图像的块B进行扩展所获得的块(在下文中，称为预测块)。

在图27中，块P是15×11个像素的块。在帧间预测单元1018和2010中，将插值滤波应用到块P的像素，并且因此生成块B的预测图像。

块R是当从存储器中读出块P的像素时需要从存储器所读出的像素的块，并且是由以宽度×高度为5×6个最小块所形成的块，即，图27中的20×12个像素的块。

在此，当在从存储器中读出块P的像素时所需要读出的块R(在下文中，还称为读出需要块)的像素数量由NUM_R所指示，并且预测块B的像素的数量由NUM_B所指示时，例如存储器带宽bandwidth由等式(1)所表达。

bandwidth＝NUM_R/NUM_B (1)

当水平像素的数量和垂直像素的数量分别地由B_H和B_V所指示时，预测块B的像素数量NUM_B由等式(2)所表达。

NUM_B＝B_H×B_V (2)

在图27中，B_H×B_V是8×4个像素。

当水平像素的数量和垂直像素的数量分别地由R_H和R_V所指示时，读出需要块R的像素数量NUM_R由等式(3)所表达。

NUM_R＝R_H×R_V (3)

在此，当最小块的水平像素数量和垂直像素数量分别地由Align_H和Aligh_V所指示时，通过等式(4)和(5)表达最坏情况下读出需要块R的水平像素的数量R_H和垂直像素的数量R_V。

R_H＝Align_H+Align_H×ceil((P_H-1)/Align_H) (4)

R_V＝Align_V+Align_V×ceil((P_V-1)/Align_V) (5)

另外，在等式(4)和(5)中，ceil(x)指示等于或大于x的最小整数。此外，P_H和P_V分别地指示应用了插值滤波的块P的水平像素的数量和垂直像素的数量，并且分别地通过等式(6)和等式(7)所表达。

P_H＝B_H+Tap_H-1 (6)

P_V＝B_V+Tap_V-1 (7)

在等式(6)和(7)中，Tap_H和Tap_V分别地指示作为插值滤波器的FIR滤波器的水平抽头的数量和垂直抽头的数量。

在最小块由多个像素所形成的情况下，可以从存储器读出在帧间预测中不需要的像素，但是在从存储器中读出之后丢弃不需要的像素。

在最小块具有水平长矩形形状的情况下，与在从存储器所读出的读出需要块R的上部部分和下部部分相比，在其左部部分和右部部分读出更多的剩余像素。

如在诸如4×8的垂直长块和诸如8×4的水平长块中，像素的数量相同，但是关于具有不同形状的预测块B，在从存储器中用于生成预测图像所读出的像素之中包括在帧间预测中不需要的最多像素的预测块B是消耗最大存储器带宽的块。

在最小块具有水平长矩形形状的情况下，如图28所示，当读出包括预测块B的扩展块(应用了插值滤波的块)的读出需要块R的像素时，与当预测块B具有水平长矩形形状(图8的B)相比，当预测块B具有垂直长矩形形状(图28的A)时，包括更多在帧间预测(具有插值滤波的滤波)中不需要的像素。

出于这个原因，诸如4×8的垂直长预测块B和诸如8×4的水平长预测块B具有相同的像素数量，但是垂直长预测块B的预测与水平长预测块B的预测相比消耗更大的存储器带宽。

图29是示出了约束模式RV的图。

如上所述，根据约束模式RV，约束被用于在图像的块的MC(ME)中生成预测图像的运动向量的数量(参考块的数量)。

在图29中，约束模式RV＝V#i可以取三个值，包括V1、V2、以及V3，并且依赖于帧率(帧率)和LCU的尺寸(LCU尺寸)约束运动向量的数量。

例如，在帧率rate是在由表达式0<rate<＝30所表达的范围中的值并且LCU的尺寸是16×16个像素的情况下，当约束模式RV被设置为值V1时，在MC中可以使用的运动向量的数量被约束为32。

在此，在约束模式RV中，代替运动向量的数量，可以约束从DPB1014(DPB2008)所读出的参考块的数量。

根据图29，参考块的数量或运动向量的数量的最大值由帧率和LCU的尺寸所约束。

例如，如果帧率增加，则需要最大带宽也增加，并且因此根据图29参考块的数量或运动向量的数量与帧率成比例的下降。

在编码器1000中，设置单元1021基于例如DPB1014的存储器带宽的最大值以及帧率和LCU的尺寸设置约束模式RV，并且将所设置的约束模式RV提供给帧间预测单元1018和熵编码单元1005。

帧间预测单元1018根据来自设置单元1021的约束模式RV执行预测图像的生成。

同时，熵编码单元1005将来自设置单元1021的约束模式RV包括在编码数据中，并且传送约束模式。

在熵编码单元1005中，约束模式RV可以被包括在例如编码数据的SPS、PPS、APS、以及切片头等中。

另外，随着DPB1014的存储器带宽的最大值变小，设置单元1021设置具有较大值V#i的约束模式RV。

在此，大的约束模式RV的值V#i指示数量#i大。

约束模式RV具有按照V1、V2、以及V3的顺序的下降的MC中的需要最大带宽。

具有大的值V#i的约束模式RV由设置单元1021所设置，并且因此当从DPB1014读出解码图像以用于生成预测图像时可以使得存储器带宽最小化。作为结果，可以防止编码器1000的成本增加。

在解码器2000中，熵解码单元2001从编码数据中分离出约束模式RV，并且将约束模式提供给帧间预测单元2010。

帧间预测单元2010根据约束模式RV执行预测图像的生成。

换言之，在编码数据适合于约束模式RV的情况下，例如，当在约束模式RV中运动向量的数量被约束为两个并且在对于其通过使用超过两个的运动向量生成预测图像的块未被包括在编码数据中的情况下，帧间预测单元2010生成例如预测图像。

另外，在编码数据不适合于约束模式RV的情况下，例如，当在约束模式RV中运动向量的数量被约束为两个，但是对于其通过使用超过两个的运动向量生成预测图像的块被包括在编码数据中的情况下，帧间预测单元2010执行与在编码数据不适合于约束模式RB的上述情况中相同的处理。

另外，在编码器1000中，设置单元1021可以响应于由用户(诸如编码器1000的操作者)所执行的操作设置约束模式RV。

另外，在编码器1000中，关于DPB1014的存储器带宽的最大值，根据需要最大带宽的约束量，配置文件或级别可以被定义为需要最大带宽，并且约束模式RV可以被链接到配置文件或级别。

在此，当随着级别Lv.#i的值#i变大需要最大带宽变小时，级别Lv.#i例如可以链接到例如约束模式RV＝V#i。

在这种情况下，在编码器1000中，例如，如果设置级别Lv.1，则设置单元1021将约束模式RV设置为链接到级别Lv.1的V1。

另外，在编码器1000中，根据约束模式RV，通过将运动向量的数量约束到由约束模式RV所指示的数量(或更少)执行编码，并且关于配置文件和级别的信息(level_idc等)被包括在编码数据中，以便被传送。

在解码器2000中，可以从编码数据解码关于配置文件和级别的信息，并且例如，可以根据级别识别出链接到级别的约束模式RV。

另外，在编码器1000中，约束模式RV可以被包括在编码数据中，以便被传送，并且在解码器2000中，可以对被包括在编码数据的约束模式RV进行解码。

在编码数据不适合于约束模式RV的情况下，解码器2000将编码数据不适合于约束模式RV的事实通知给高阶系统。高阶系统确定如何处理编码数据。

另外，图像(图片帧)的尺寸可以由配置文件或级别所指示。例如，在图像的尺寸由级别所指示的情况下，当级别的值越大则图像的尺寸越大时，级别Lv.#i链接到约束模式RV＝V#i，并且因此例如，随着由级别所指示的图像的尺寸变大，编码器1000将运动向量的数量约束为较小的数量，从而降低存储器带宽。

在级别(或配置文件)被链接到约束模式RV的情况下，以与级别被链接到约束模式RB的情况相同的方式，可以从级别中识别出约束模式RV，以及因此在编码器1000中，约束模式RV可以不被包括在编码数据中。

在此，如果LCU尺寸增加，则因为每个图片的LCU的数量降低，所以随着LCU的数量降低，可以由单个LCU所使用的参考块或MV的数量增加。

另外，如果图像尺寸增加，则例如因为在单个图片中具有预定LCU尺寸的LCU的数量增加，所以随着LCU的数量的增加，可以由单个LCU所使用的参考块或MV的数量降低。

此外，如上所述，在参考块(或运动向量)的数量与帧率成比例的下降的情况下，在图29中，如果当帧率为0<rate<＝30、LCU尺寸为8×8以及约束模式RV为V3时参考块的数量为二被用作参考，则当帧率为30<rate<＝60、LCU尺寸为8×8以及约束模式RV为V3时，参考块的数量被约束为一个(＝2×1/2)。当帧率为0<rate<＝30、LCU尺寸为8×8以及约束模式RV为V3时，参考块的数量被限制为0.5(＝2×1/2×1/2)。

然而，因为诸如0.5的非整数作为参考块的数量是不合适的，所以在图29中，计算为0.5的参考块的数量向上舍入为1，其为作为(一个或更多个)参考块的数量所取的值的最小值。

如上所述，在对参考块的数量进行向上舍入的情况下，需要安装编码器1000的DPB1014和解码器2000的DPB2008，以便读出向上舍入的数量的参考块。

另外，约束模式RB和RV可以一起使用。此外，识别信息和约束信息可以一起使用。

此外，尽管在图29的约束模式RV中，依赖于LCU尺寸而约束在LCU中所使用的运动向量或参考块的数量，但是可以依赖于在诸如PU、TU、SCU或图片以及LCU的区域单位中的区域的尺寸约束运动向量或参考块的数量。然而，如果对于其约束了运动向量等的数量的区域被设置为过宽的区域，则许多运动向量可以被分配至宽区域的一部分，并且作为结果可以适当地约束分配到其他部分的运动向量。另外，如果对于其约束了运动向量等的数量的区域被设置为过窄的区域，则分配至过窄区域的运动向量的数量原始地较小，并且因此约束运动向量的数量的自由度降低。因此，对于其约束了运动向量的数量的区域优选地是考虑到上述因素具有诸如LCU的适当尺寸的区域。

[包括识别信息的头信息的语法的第一示例]

图30是示出了包括识别信息的编码数据的头信息的语法的第一示例的图。

换言之，图30示出了头信息seq_parameter_set_rbsp()的语法，并且作为识别信息的标志disable_bip_small_mrg_idc被包括在头信息seq_parameter_set_rbsp()中。

图30的标志disable_bip_small_mrg_idc指示对于其禁止了双向预测的块(预测块)的尺寸。

图31是示出了由作为图30的识别信息的标志disable_bip_small_mrg_idc所取的值，以及在每个值处由标志disable_bip_small_mrg_idc禁止了其双向预测的块的尺寸。

在图31中，标志disable_bip_small_mrg_idc可以取包括0、1、2、以及3的值。

在标志disable_bip_small_mrg_idc的值为0的情况下，未禁止双向预测。

在标志disable_bip_small_mrg_idc的值为1的情况下，针对4×4的块(具有4×4的块尺寸的块)禁止双向预测。

在标志disable_bip_small_mrg_idc的值为2的情况下，针对4×4、8×4、以及4×8的三个类型的块禁止双向预测，并且在标志disable_bip_small_mrg_idc的值为3的情况下，针对4×4、8×4、4×8以及8×8的四个类型的块禁止双向预测。

另外，例如，作为图30的识别信息的标志disable_bip_small_mrg_idc由图16的图像处理设备的设置单元1021设置，以便被用于由帧间预测单元1018所进行的帧间预测并且被包括在熵编码单元1005的编码数据中。

此外，例如，作为图30的识别信息的标志disable_bip_small_mrg_idc被图16的图像处理设备的熵解码单元2001从编码数据中分离，并且被用于由帧间预测单元2010进行的帧间预测。

[包括识别信息的头信息的语法的第二示例]

图32和图33是示出了包括识别信息的编码数据的头信息的语法的第二示例的图。

换言之，图32示出了头信息seq_parameter_set_rbsp()的语法，并且作为识别信息的标志disable_inter_4×8_8×4_8×8_bidir_flag和disable_inter_4×8_8×4_bidir_flag被包括在头信息seq_parameter_set_rbsp()中。

在图32中，作为识别信息的标志disable_inter_4×8_8×4_8×8_bidir_flag指示双向预测是否可以应用到4×8、8×4、以及8×8的三个类型的块。

例如，在标志disable_inter_4×8_8×4_8×8_bidir_flag的值为0的情况下，针对4×8、8×4、以及8×8的三个类型的块未禁止双向预测，并且在标志disable_inter_4×8_8×4_8×8_bidir_flag的值为1的情况下，针对4×8、8×4、以及8×8的三个类型的块禁止双向预测。

另外，在图32中，作为识别信息的标志disable_inter_4×8_8×4_bidir_flag指示双向预测是否可以应用到4×8和8×4的两个类型的块。

例如，在标志disable_inter_4×8_8×4_bidir_flag的值为0的情况下，针对4×8和8×4的两个类型的块未禁止双向预测，并且在标志disable_inter_4×8_8×4_bidir_flag的值为1的情况下，针对4×8和8×4的两个类型的块禁止双向预测。

因此，在标志disable_inter_4×8_8×4_8×8_bidir_flag为1的情况下，当目标块是4×8、8×4、或8×8的块时，替换对于其应用了双向预测的合并候选的预测方法，使得代替双向预测应用单向预测，并且在合并模式中对目标块执行处理。

另外，在标志disable_inter_4×8_8×4_bidir_flag的值为1的情况下，当目标块是4×8或8×4的块时，替换对于其应用了双向预测的合并候选的预测方法，使得代替双向预测应用单向预测，并且在合并模式中对目标块执行处理。

在图32中，在标志log2_min_coding_block_size_minus3的值等于或小于1的情况下，标志disable_inter_4×8_8×4_8×8_bidir_flag被包括在头信息seq_parameter_set_rbsp()中。另外，在标志log2_min_coding_block_size_minus3的值为0并且标志disable_inter_4×8_8×4_8×8_bidir_flag的值为0的情况下，标志disable_inter_4×8_8×4_bidir_flag被包括在头信息seq_parameter_set_rbsp()中。

在此，标志log2_min_coding_block_size_minus3指示CU(编码块)的最小尺寸。

在由标志log2_min_coding_block_size_minus3所指示的CU的最小尺寸为大于16×16的尺寸(32×32或64×64)的情况下，对于作为目标块的PU，使用具有16×16的尺寸(或更大的尺寸)的块，并且不使用具有8×8的尺寸(或更小的尺寸)的块。

因此，在由标志log2_min_coding_block_size_minus3所指示的CU的最小尺寸为大于16×16的尺寸的情况下，因为标志disable_inter_4×8_8×4_8×8_bidir_flag和标志disable_inter_4×8_8×4_bidir_flag作为识别信息没有意义，所以即使该标志被包括在编码数据中，熵解码单元2001(图16)也不读出(丢弃)该标志。

另外，在标志disable_inter_4×8_8×4_8×8_bidir_flag未被包括在头信息seq_parameter_set_rbsp()中的情况下，标志disable_inter_4×8_8×4_8×8_bidir_flag的值被估计为0。

此外，在标志disable_inter_4×8_8×4_bidir_flag未被包括在头信息seq_parameter_set_rbsp()中的情况下，如果标志disable_inter_4×8_8×4_8×8_bidir_flag的值为0，则标志disable_inter_4×8_8×4_bidir_flag的值也被估计为0，并且如果标志disable_inter_4×8_8×4_8×8_bidir_flag的值为1，则标志disable_inter_4×8_8×4_bidir_flag的值也被估计为1。

图33示出了头信息prediction_unit(x0，y0，log2CbSize)的语法，并且作为识别信息的标志disable_bidir被包括在头信息prediction_unit(x0，y0，log2CbSize)中。

依赖于作为图32的识别信息的标志disable_inter_4×8_8×4_8×8_bidir_flag和标志disable_inter_4×8_8×4_bidir_flag，作为识别信息的标志disable_bidir被设置为0或1的值。

在标志disable_bidir的值为0的情况下，未禁止双向预测，并且在标志disable_bidir的值为1的情况下，禁止双向预测。

在图33中，在标志disable_bidir之后描述的标志inter_pred_flag[x0][y0]指示在由x0和y0所指示的位置处的块的预测方法是单向预测还是双向预测，但是在标志disable_bidir的值为1并且禁止双向预测的情况下，熵解码单元2001(图16)不从编码数据中读出标志inter_pred_flag[x0][y0]，并且在由x0和y0所指示的位置处的块的预测方法被解释为单向预测。

另外，例如，作为图32的识别信息的标志disable_inter_4×8_8×4_8×8_bidir_flag和标志disable_inter_4×8_8×4_bidir_flag，以及作为图33的识别信息的标志disable_bidir由图16的图像处理设备的设置单元1021所设置，以便被用于由帧间预测单元1018进行的帧间预测并且被包括在熵编码单元1005的编码数据中。

此外，例如，作为图32的识别信息的标志disable_inter_4×8_8×4_8×8_bidir_flag和disable_inter_4×8_8×4_bidir_flag，以及作为图33的识别信息的标志disable_bidir是由图16的图像处理设备的熵解码单元2001从编码数据中所分离的，以便被用于由帧间预测单元2010进行的帧间预测。

在此，例如，在除了执行合并模式的情况之外的情况下，在除了合并模式之外的模式中执行帧间预测的情况下，还可以采用作为图32的识别信息的标志disable_inter_4×8_8×4_8×8_bidir_flag和标志disable_inter_4×8_8×4_bidir_flag，以及作为图33的识别信息的标志disable_bidir。

此外，指示双向预测是否可以应用到在具有等于或小于8×8的尺寸的块之中的4×4的块的信息未被包括在作为在图32的头信息seq_parameter_set_rbsp()中所包括的识别信息的标志disable_inter_4×8_8×4_8×8_bidir_flag和disable_inter_4×8_8×4_bidir_flag中。这是因为在当前时刻，在头信息seq_parameter_set_rbsp()中存在标志inter_4×4_enabled_flag。

换言之，在当前时刻，在图30所示的头信息seq_parameter_set_rbsp()中定义指示是否使用4×4的块的标志inter_4×4_enabled_flag，并且跟随标志inter_4×4_enabled_flag对4×4的块进行处理。因此，在图32中，未定义指示双向预测是否可以应用到4×4的块的标志。

因此，例如，在将来删除标志inter_4×4_enabled_flag的情况下，指示双向预测是否可以应用到4×4的块或具有4×4的块尺寸或更大的块尺寸的块的标志可以被定义并且包括在图32的头信息seq_parameter_set_rbsp()中，代替标志disable_inter_4×8_8×4_8×8_bidir_flag和disable_inter_4×8_8×4_bidir_flag(或与标志disable_inter_4×8_8×4_8×8_bidir_flag和disable_inter_4×8_8×4_bidir_flag一起)，其不包括4×4的块的信息。

另外，本技术可应用到当经由网络介质(诸如卫星广播、有线电视、因特网或移动电话)接收通过诸如离散余弦变换的正交变换和诸如例如MPEG或H.26x的运动补偿所压缩的图像信息(比特流)时所使用的图像编码装置和图像解码装置。此外，本技术可应用到当对诸如光盘、磁盘以及闪速存储器的存储介质执行处理时所使用的图像编码装置和图像解码装置。此外，本技术还可应用到在这些图像编码装置和图像解码装置中所包括的运动预测补偿装置。

[个人计算机]

以上所述的处理系列可以由硬件或软件执行。当处理的系列由软件所执行时，构成软件的程序被安装到计算机。在此，计算机包括专用硬件中所包含的计算机，或通用个人计算机等，其可以通过安装各种程序执行各种功能。

在图34中，个人计算机500的CPU(中央处理单元)501根据在只读存储器(ROM)502中所存储的程序或根据从存储单元513载入到随机存取存储器(RAM)503的程序执行各种处理。RAM503存储对于CPU501执行各种处理所需要的数据等。

CPU501、ROM502、以及RAM503经由总线504彼此连接。另外，输入和输出接口510还连接到总线504。

输入和输出接口510连接到：输入单元511，包括键盘、鼠标等；输出单元512，包括诸如阴极射线管(CRT)或液晶显示器(LCD)的显示器、扬声器等；存储单元513，包括硬盘等；以及通信单元514，包括调制解调器等。通信单元514经由包括互联网的网络执行通信处理。

驱动器515如果需要连接到输入和输出接口510，可移除介质521(诸如，磁盘、光盘、磁光盘或半导体存储器)适当地安装到其中，并且如果需要从其中所读出的计算机程序安装在存储单元513中。

当在软件中执行以上所述的处理系列的情况下，构成软件的程序从网络或记录介质安装。

例如，如图34所示，记录介质不仅包括可移除介质521(诸如磁盘(包括软盘)、光盘(包括压缩盘只读存储器(CD-ROM)以及通用数字盘(DVD)、磁光盘(包括迷你盘(MD))、或半导体存储器，其被分发以便将程序与装置主体分离地递送给用户并且将程序记录在其上；而且还包括ROM502，其以预先包含在装置主体中的状态被发送给用户，并且在其中记录程序，或在存储单元513中所包括的硬盘。

另外，由计算机所执行的程序可以是根据在本说明书中所描述的顺序按照时间序列执行处理的程序，并且可以是并行地执行处理或在诸如被访问时的需要定时执行处理的程序。

此外，在本说明书中，用于描述在记录介质上所记录的程序的步骤不仅包括根据所描述的顺序按照时间序列执行的处理，而且还包括并行地或甚至不需要按照时间顺序分离地执行的处理。

另外，在本说明书中，系统指的是包括多个装置的整个设备。

此外，在以上的描述中，被描述为单一装置(或处理单元)的配置可以被分割为多个装置(或处理单元)或可以由多个装置(或处理单元)形成。相反地，在以上的描述中，被描述为多个装置(或处理单元)的配置可以由单个装置(或处理单元)完全地形成。另外，除了以上所述的配置之外的配置可以被加到每个装置(或处理单元)的配置。此外，一个装置(或处理单元)的配置的一部分可以被包括在另一装置(或另一处理单元)的配置中，只要整个系统的配置和操作基本上相同即可。另外，本技术不限于以上所述的实施例，并且可以在不背离本技术的范围的情况下做出各种修改。

根据以上所述的实施例的图像处理设备可应用到各种电子设备，诸如关于卫星广播、有线广播(诸如有线电视)、以及互联网的递送中的以及通过蜂窝通信到终端的递送中的传送器或接收器，将图像记录在诸如光盘、磁盘以及闪速存储器的介质上的记录设备，以从存储介质再现图像的再现设备。在下文中，将描述四个应用示例。

[第一应用示例：电视接收机]

图35示出了应用了上述实施例的电视设备的示例性配置的示例。电视设备900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911、以及总线912。

调谐器902从经由天线901所接收的广播信号中提取期望的频道的信号，并且对所提取的信号进行解调。另外，调谐器902将通过解调所获得的编码流输出到解复用器903。换言之，调谐器902用作电视设备900中的传送工具，其用于接收在其中图像被编码了的编码流。

解复用器903将来自编码流的观看目标节目的图像(视频)流和音频流进行解复用，并且将所分离的流输出到解码器904。另外，解复用器903从编码流中提取诸如电子节目指南(EPG)的辅助数据，并且将所提取的数据提供给控制单元910。此外，当对编码流进行扰频的情况下，解复用器903可以执行解扰。

解码器904对从解复用器903所输入的图像流和音频流进行解码。另外，解码器904将由于解码处理所生成的图像数据输出到视频信号处理单元905。此外，解码器904将由于解码处理所生成的音频数据输出到音频信号处理单元907。

视频信号处理单元905对从解码器904所输入的图像数据进行再现，使得图像显示在显示单元906上。另外，视频信号处理单元905还可以将经由网络所提供的应用程序画面显示在显示单元906上。此外，视频信号处理单元905可以依照设置对图像数据执行额外的处理，例如诸如噪声移除。此外，视频信号处理单元905可以生成例如诸如菜单、按钮或光标的图形用户接口(GUI)图像，并且将所生成的图像叠加在输出图像上。

显示单元906由从视频信号处理单元905所提供的驱动信号所驱动，并且将图像显示在显示装置(例如，液晶显示器、等离子显示器、或有机电致发光显示器(OELD))的画面上。

音频信号处理单元907对从解码器904所输入的音频数据执行诸如D/A转换和放大的再现处理，以便使得能够从扬声器908输出声音。另外，音频信号处理单元907可以对音频数据执行诸如噪声移除的额外处理。

外部接口909是将电视设备900与外部装置或网络连接的接口。例如，经由外部接口909所接收的图像流或音频流可以由解码器904进行解码。换言之，外部接口909还用作电视设备900中的传送工具，其用于接收在其中图像被编码了的编码流。

控制单元910包括诸如CPU的处理器，以及诸如RAM和ROM的存储器。存储器将由CPU所执行的程序、程序数据、EPG数据、经由网络所获取的数据等。例如在电视设备900起动时，在存储器中所存储的程序被CPU读出并执行。CPU执行程序，并且因此例如响应于从用户接口911所输入的操作信号控制电视设备900的操作。

用户接口911连接到控制单元910。用户接口911例如包括使得用户能够操作电视设备900的按钮和开关、远程控制信号的接收单元等。用户接口911通过检测用户经由这些构成元件所执行的操作来生成操作信号，并且将所生成的操作信号输出到控制单元910。

总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909以及控制单元910彼此连接。

在具有上述配置的电视设备900中，解码器904具有根据以上所述的实施例的解码器2000的功能。

[第二应用示例：移动电话]

图36示出了应用了上述实施例的移动电话的示例性配置的示例。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像装置单元926、图像处理单元927、复用器/解复用器928、记录/再现单元929、显示单元930、控制单元931、操作单元932、以及总线933。

天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制单元931。总线933将通信单元922、音频编解码器923、摄像装置单元926、图像处理单元927、复用器/解复用器928、记录/再现单元929、显示单元930、以及控制单元931彼此连接。

移动电话920在包括语音模式、数据通信模式、成像模式、以及视频电话模式的各种操作模式中执行操作，诸如音频信号的传送和接收、电子邮件或图像数据的传送和接收、图像的捕获、以及数据的记录。

在语音模式中，将由麦克风925所生成的模拟音频信号提供给音频编解码器923。音频编解码器923将模拟音频信号转换为音频数据，并且通过A/D转换对转换后的音频数据进行压缩。另外，音频编解码器923将压缩后的音频数据输出到通信单元922。通信单元922对音频数据进行编码和调制，并且生成传送信号。此外，通信单元922将所生成的传送信号经由天线921传送到基站(未示出)。此外，通信单元922对通过经由921所接收的无线信号进行放大，对其执行频率转换，以便获取接收信号。另外，通信单元922对接收信号进行解调和解码，以便生成音频数据，并且将所生成的音频数据输出到音频编解码器923。音频编解码器923对音频数据进行解压和D/A转换，以便生成模拟音频信号。另外，音频编解码器923将所生成的音频信号输出到扬声器924，以便输出音频。

此外，在数据通信模式中，例如，控制单元931响应于用户通过使用操作单元932所执行的操作，生成构成电子邮件的文本数据。此外，控制单元931将文本显示在显示单元930上。另外，控制单元931响应于用户通过使用操作单元932所发出的传送指令生成电子邮件数据，并且将所生成的电子邮件数据输出到通信单元922。通信单元922对电子邮件数据进行编码和调制，以便生成传送信号。另外，通信单元922将所生成的传送信号经由天线921传送到基站(未示出)。此外，通信单元922对经由天线921接收的无线信号进行放大，并且对其进行频率转换，以便获取接收信号。此外，通信单元922对接收信号进行解调和解码以便恢复电子邮件数据，并且将所恢复的电子邮件数据输出到控制单元931。控制单元931将电子邮件内容显示在显示单元930上，并且将电子邮件数据存储在记录/再现单元929中的存储介质上。

记录/再现单元929包括任意的可读和可写存储介质。例如，存储介质可以是内置存储介质诸如RAM或闪速存储器，并且可以是外部地附接的存储介质诸如硬盘、磁盘、磁光盘、光盘、未分配空间位图的USB存储器、或存储卡。

另外，在成像模式中，例如，摄像装置单元926对对象成像以便生成图像数据，并且将所生成的图像数据输出到图像处理单元927。图像处理单元927对从摄像装置单元926所输入的图像数据进行编码，并且将编码流存储在记录/再现单元929中的存储介质上。

另外，在视频电话模式中，例如，复用器/解复用器928对由图像处理单元927所编码的图像流和从音频编解码器923所输入的音频流进行复用，并且将复用的流输出到通信单元922。通信单元922对流进行编码和调制，以便生成传送信号。此外，通信单元922将所生成的传送信号经由天线921传送到基站(未示出)。另外，通信单元922对经由天线921所接收的无线信号进行放大，并且对其执行频率转换，以便获取接收信号。编码流可以被包括在传送信号和接收信号中。此外，通信单元922对接收信号进行解调和解码以便恢复流，以及将所恢复的流输出到复用器/解复用器928。复用器/解复用器928将来自输入流的图像流和音频流解复用，以及将视频流输出到图像处理单元927并且将音频流输出到音频编解码器923。图像处理单元927对图像流进行解码，以便生成图像数据。图像数据被提供给显示单元930，以便使得系列图像能够显示在显示单元930上。音频编解码器923对音频流进行解压和D/A转换，以便生成模拟音频信号。此外，音频编解码器923将所生成的音频信号提供给扬声器924，以便输出音频。

在具有上述的配置的移动电话920中，图像处理单元927具有根据以上所述的实施例的编码器1000和解码器2000的功能。

[第三应用示例：记录/再现设备]

图37示出了应用了上述实施例的记录/再现设备的示例性配置的示例。记录/再现设备940例如对所接收的广播节目的音频数据和图像数据进行编码，并且将编码数据记录在记录介质中。另外，记录/再现设备940可以例如对从另一设备所获取的音频数据和图像数据进行编码，并且将编码数据记录在记录介质中。此外，记录/再现设备940例如响应于来自用户的指令，将在记录介质上所记录的数据再现到监视器和扬声器上。此时，记录/再现设备940对音频数据和图像数据进行解码。

记录/再现设备940包括调谐器941、外部接口942、编码器943、硬盘驱动器(HDD)944、磁盘驱动器945、选择器946、解码器947、屏幕上显示器(OSD)948、控制单元949、以及用户接口950。

调谐器941从经由天线(未示出)所接收的广播信号中提取期望频道的信号，并且对所提取的信号进行解调。另外，调谐器941将通过解调所获得的编码流输出到选择器946。换言之，调谐器941用作记录/再现设备940中的传送工具。

外部接口942是将记录/再现设备940连接到外部装置或网络的接口。外部接口942例如可以是IEEE1394接口、网络接口、USB接口、闪速存储器接口等。例如，将经由外部接口942所接收的图像数据和音频数据输入到编码器943。换言之，外部接口942用作记录/再现设备940中的传送工具。

在未对从外部接口942所输入的图像数据和音频数据进行编码的情况下，编码器943对图像数据和音频数据进行编码。另外，编码器943将编码流输出到选择器946。

HDD944将其中对诸如图像或声音的内容数据进行压缩的编码流、各种程序、以及其他数据记录在内部硬盘中。另外，当对图像和声音进行再现时，HDD944从硬盘读出数据。

磁盘驱动器945将数据记录在安装的记录介质中并且从安装的记录介质读出数据。安装到磁盘驱动器945的记录介质可以是例如DVD盘(DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)、蓝光盘(注册商标)等。

记录图像和声音时，选择器946选择从调谐器941或编码器943所输入的编码流，并且将所选择的编码流输出到HDD944或磁盘驱动器945。另外，在对图像和声音进行再现时，选择器946将从HDD944或磁盘驱动器945所输入的编码流输出到解码器947。

解码器947对编码流进行解码，以便生成图像数据和声音数据。另外，解码器947将所生成的图像数据输出到OSD948。另外，解码器904将所生成的音频数据输出到外部扬声器。

OSD948对从解码器947所输入的图像数据进行再现，以便显示图像。另外，OSD948还可以将例如诸如菜单、按钮或光标的GUI图像叠加在所显示的图像上。

控制单元949包括诸如CPU的处理器和诸如RAM或ROM的存储器。存储器存储由CPU所执行的程序、程序数据等。例如在记录/再现设备940起动时，在存储器中所存储的程序由CPU读出并且执行。CPU执行程序，并且因此例如响应于从用户接口950所输入的操作信号控制记录/再现设备940的操作。

用户接口950连接到控制单元949。用户接口950例如包括使得用户能够操作记录/再现设备940的按钮和开关、远程控制信号的接收单元等。用户接口950通过检测由用户通过这些构成元件所执行的操作生成操作信号，并且将所生成的操作信号输出到控制单元949。

在具有上述配置的记录/再现设备940中，编码器943具有根据以上所述的实施例的编码器1000的功能。另外，解码器947具有根据以上所述的解码器2000的功能。

[第四应用示例：成像设备]

图38示出了应用了上述实施例的成像设备的示例配置的示例。成像设备960对对象成像以便生成图像，并且对图像数据进行编码以便将编码数据记录在记录介质上。

成像设备960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD969、控制单元970、用户接口971、以及总线972。

光学块961连接到成像单元962。成像单元962连接到信号处理单元963。显示单元965连接到图像处理单元964。用户接口971连接到控制单元970。总线972将图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD969以及控制单元970彼此连接。

光学块961包括聚焦透镜、光阑机构等。光学块961将对象的光学图像成像形成在成像单元962的成像表面上。成像单元962包括图像传感器，诸如CCD(电荷耦合装置)或CMOS(互补金属氧化物半导体)，并且将形成在成像表面的光学图像通过光电转换转换为作为电信号的图像信号。另外，成像单元962将图像信号输出到信号处理单元963。

信号处理单元963对从成像单元962所输入的图像信号执行各种摄像装置信号处理，诸如拐点(knee)校正、伽马校正、以及颜色校正。信号处理单元963将经历摄像装置信号处理之后的图像数据输出到图像处理单元964。

图像处理单元964对从信号处理单元963所输入的图像数据进行编码，以便生成编码数据。另外，图像处理单元964将所生成的编码数据输出到外部接口966或介质驱动器968。此外，图像处理单元964对从外部接口966或介质驱动器968输入的编码数据进行解码，以便生成图像数据。此外，图像处理单元964将所生成的图像数据输出到显示单元965。另外，图像处理单元964还可以将从信号处理单元963所输入的图像数据输出到显示单元965，以便显示图像。另外，图像处理单元964还可以将从OSD969所获取的显示数据叠加在输出到显示单元965的图像上。

OSD969生成例如诸如菜单、按钮或光标的GUI图像，并且将所生成的图像输出到图像处理单元964。

外部接口966例如由USB输入和输出端子构成。例如在打印图像时，外部接口966将成像设备960连接到打印机。另外，适当地将外部接口966连接到驱动器。例如将诸如磁盘或光盘的可移除介质安装到驱动器，并且从可移除介质所读出的程序可以被安装到成像设备960中。此外，外部接口966可以被配置为连接到诸如LAN或因特网的网络的网络接口。换言之，外部接口966用作成像设备960中的传送工具。

安装在介质驱动器968中的记录介质可以是例如诸如磁盘、磁光盘、光盘或半导体存储器的任意的可读和可写的可移除介质。另外，记录介质可以固定地安装到介质驱动器968，以便构成诸如例如内置硬磁盘驱动器或固态驱动器(SSD)的非便携式存储单元。

控制单元970包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储由CPU所执行的程序、程序数据等。例如，成像设备960起动时，由CPU读出并且执行在存储器中所存储的程序。CPU执行程序，并且因此例如响应于从用户接口971所输入的操作信号控制成像设备960的操作。

用户接口971连接到控制单元970。用户接口971包括例如使得用户能够操作成像设备960的按钮、开关等。通过检测用户经由这些构成元件所执行的操作，用户接口971生成操作信号、并且将所生成的操作信号输出到控制单元970。

在具有上述配置的成像设备960中，图像处理单元964具有根据上述实施例的编码器1000和解码器2000的功能。

[到多视图图像编码和多视图图像解码的应用]

图39是示出了多视图编码方法的示例的图。

上述的处理系列可以应用到多视图图像编码/多视图图像解码。

如图39所示，多视图图像包括在多个视图处的图像，并且在多个视图之中特定视图处的图像被指定为基本视图图像。在除了基本视图图像之外的各个视图处的图像被当做非基本视图图像。

在图39中，作为多视图图像存在三视图图像，并且具有用于识别在每个视图处的图像的view_id为0的图像是基本视图图像。另外，具有为1和2的view_id的图像为非基本视图图像。

在此，在多视图图像编码和多视图图像解码中，不参考在其他视图处的图像对基本视图图像进行处理(编码和解码)。另一方面，可以通过参考在其他视图处的图像对非基本视图图像进行处理。在图39中，箭头指示图像的基准，并且如果需要可以参考在箭头的终止点处的图像对箭头的起始点处的图像进行处理。

在对如图39所示的多视图图像进行编码和解码的情况下，对每个视图图像进行编码和解码，并且用于图16的图像处理设备的技术适用于每个视图的编码和解码。因此，如上所述，可以防止成本增加。

另外，在每个视图的编码和解码中，可以共享被用于图16的图像处理设备的技术的标志和其他信息。

[多视图图像编码装置]

图40是示出了执行上述多视图图像编码的多视图图像编码装置的配置示例的框图。

如图40所示，多视图图像编码装置600包括编码单元601、编码单元602、以及复用器603；并且对例如由包括基本视图图像和非基本视图图像的双视图图像所形成的多视图图像进行编码。作为由双视图图像所形成的多视图图像，例如存在由采用左眼所观察的左眼图像和采用右眼所观察的右眼图像所形成的三维(3D)图像。

编码单元601对基本视图图像进行编码，并且生成基本视图图像编码流。编码单元602对非基本视图图像进行编码，而同时如果需要、参考基本视图图像(由编码单元601所编码的并且本地解码的基本视图图像)，以便生成非基本视图图像编码流。复用器603对在编码单元601中所生成的基本视图图像编码流和在编码单元602中所生成的非基本视图图像编码流进行复用，以便生成多视图图像编码流。

用于图16的图像处理设备的编码器1000的技术适用于多视图图像编码装置600的编码单元601和编码单元602。另外，如上所述，编码单元601和编码单元602可以共享标志和其他信息。

[多视图图像解码装置]

图41是示出了执行上述多视图图像解码的多视图图像解码装置的配置示例的框图。

如图41所示，多视图图像解码装置610包括解复用器611、解码单元612以及解码单元613；并且例如对由图40的多视图图像编码装置所获得的多视图图像编码流进行解码。

解复用单元611对在其中对基本视图图像编码流和非基本视图图像编码流进行复用的多视图图像编码流进行解复用，以便提取基本视图图像编码流和非基本视图图像编码流。解码单元612对由解复用器611所提取的基本视图图像编码流进行解码，以便获得基本视图图像。解码单元613对由解复用器611所提取的非基本视图图像编码流进行解码，而同时如果需要、参考由解码单元612所解码的基本视图图像，以便获得非基本视图图像。

图16的图像处理设备的解码器2000适用于多视图图像解码装置610的解码单元612和解码单元613。另外，如上所述，解码单元612和解码单元613可以共享标志和其他信息。

[到层图像编码和层图像解码的应用]

图42是示出了层图像编码方法的示例的图。

上述的处理系列可以应用到层图像编码和层图像解码。

如图42所示，层图像包括多个层(分辨率)的图像，并且指定多个层至中的特定层的图像(例如，具有最低分辨率的图像)作为基本层图像。除了基本层图像之外的各个层的图像被当做非基本层图像。

在图42中，作为层图像存在三层图像，并且具有用于识别每层的图像的layer_id为0的图像是基本层图像。另外，具有layer_id为1和2的图像是非基本层图。此外，具有layer_id为2的非基本层图像是例如具有特定内容的原始分辨率的图像，并且具有layer_id为1的非基本层图像是通过劣化具有layer_id为2的非基本层图像的分辨率所获得的图像。此外，具有为0的layer_id的基本层图像是通过劣化具有layer_id为1的非基本层图像的分辨率所获得的图像。

在此，在层图像编码和层图像解码中，不参考其他层的图像对基本层图像进行处理(编码和解码)。另一方面，通过参考其他层的图像对非基本层图像进行处理。在图42中，以与图39类似的方式，箭头指示图像的基准，并且如果需要，可以通过参考在箭头的终止点处的图像对箭头的起始点处的图像进行处理。

在对如图42所示的层图像进行编码和解码的情况下，对每个层的图像进行编码和解码，并且用于图16的图像处理设备的技术适用于每个层的编码和解码。因此，如上所述，可以防止成本增加。

另外，在每个层的编码和解码中，可以共享用于图16的图像处理设备的技术的标志和其他信息。

[层图像编码装置]

图43是示出执行上述层图像编码的层图像编码装置的配置示例的框图。

如图43所示，层图像编码装置620包括编码单元621、编码单元622以及复用器623；并且对例如由包括基本层图像和非基本层图像的双层图像所形成的层图像进行编码。

编码单元621对基本层图像进行编码以便生成基本层图像编码流。编码单元622对非基本层图像进行编码，而同时如果需要、参考基本层图像(由编码单元621所获的并且本地解码的基本层图像)，以便生成非基本层图像编码流。复用器623对在编码单元621中所生成的基本层图像编码流和在编码单元622中所生成的非基本层图像编码流进行复用，以便生成层图像编码流。

用于图16的图像处理设备的编码器1000的技术适用于层图像编码装置620的编码单元621和编码单元622。另外，如上所述，编码单元621和编码单元622可以共享标志和其他信息。

[层图像解码装置]

图44是示出执行上述层图像解码的层图像解码装置的配置示例的框图。

如图44所示，层级图像解码装置630包括解复用器631、解码单元632以及解码单元633；并且例如对由图43的层图像编码装置所获得的层图像编码流进行解码。

解复用单元631对在其中对基本层图像编码流和非基本层图像编码流进行复用的层图像编码流进行解复用，以便提取基本层图像编码流和非基本层图像编码流。解码单元632对由解复用器631所提取的基本层图像编码流进行解码，以便获得基本层图像。解码单元633对由解复用器631所提取的非基本层图像编码流进行解码，而同时如果需要、参考由解码单元632所解码的基本层图像，以便获得非基本层图像。

用于图16的图像处理设备的解码器2000的技术适用于层图像解码装置630的解码单元632和编码单元633。另外，如上所述，解码单元632和解码单元633可以共享标志和其他信息。

[使用层图像编码方法的示例]

将对使用以上所述的层级图像编码方法的示例进行描述。

[使用层图像编码方法的第一示例]

图45是示出了使用层图像编码方法的第一示例的图。

例如，可以使用层图像编码(在下文中，还称为可伸缩编码)来选择要传送的数据，如在图45所示的示例中一样。

在图45所示的数据传送系统3000中，将通过对层图像进行可伸缩编码所获得的可伸缩编码数据存储在可伸缩编码数据存储单元3001中。

递送服务器3002读出在可伸缩编码数据存储单元3001中所存储的可伸缩编码数据，并且将可伸缩编码数据经由网络3003递送到终端设备，诸如个人计算机3004、AV设备3005、平板式装置3006、以及移动电话3007。

此时，递送服务器3002基于终端设备的性能、通信环境等选择并且传送具有适当的质量(分辨率等)的编码数据。如果递送服务器3002不必要传送高质量数据，则不能说在终端设备中获得了高质量图像，并且存在会发生延迟或上溢的担忧。另外，存在高质量数据会不必要地占据通信频带并且会不必要地增加终端设备的负载的担忧。相反，如果递送服务器3002仅传送低质量数据，则即使终端设备的性能或通信环境是足够的也难以获得高质量图像。出于这个原因，递送服务器3002从可伸缩编码数据存储单元3001读出并且传送具有适合于终端设备的性能或通信环境的质量(层)的编码数据。

在此，在图45中，可伸缩编码数据存储单元3001存储可伸缩编码数据(BL+EL)3011。可伸缩编码数据(BL+EL)3011是在其中对基本层图像编码流BL和非基本层图像变流EL进行复用的层图像编码流。

基本层图像编码流BL是通过对基本层图像进行编码所获得的编码数据。另外，非基本层图像编码流EL是通过对非基本层(增强层)图像进行编码而同时如果需要参考基本层图像所获得的编码数据。

因此，可伸缩编码数据(BL+EL)3011是包括基本层和非基本层两者的图像的编码数据，并且是使得能够通过解码获得基本层图像和非基本层图像两者的数据。

递送服务器3002基于接收数据(接收所递送的数据)的终端设备的性能或通信环境选择适当的层，并且从可伸缩编码数据存储单元3001中读出层的数据(对图像进行解码所必须的)。例如，递送服务器3002关于具有高处理性能的个人计算机3004或平板式终端3006，从可伸缩编码数据存储单元3001读出具有高质量(使得能够获得高质量图像)的可伸缩编码数据(BL+EL)3011，并且如原样地传送该数据。相比之下，例如，关于具有低处理性能的AV设备3005或移动电话3007，递送服务器3002从可伸缩编码数据(BL+EL)3011中提取基本层数据(基本层图像编码流BL)，并且传送作为可伸缩编码数据(BL)3012的数据，其就内容而言是与可伸缩编码数据(BL+EL)3011相同的内容数据，但是与可伸缩编码数据(BL+EL)3011相比具有较低的质量。

如上所提及的，因为通过使用可伸缩编码数据可以容易地调整数据量，所以可以使得延迟或上溢的发生最小化，或可以使得对终端设备或通信介质的不必要的负载增加最小化。

另外，在可伸缩编码中，因为执行非基本层(增强层)图像的编码而同时参考基本层图像，所以在可伸缩编码数据(BL+EL)3011中减少层之间的冗余，并且因此与在对非基本层进行编码而不参考其他层的图像的情况(即，独立方式)相比数据量变小。因此，可以更充分地使用可伸缩编码数据存储单元3001的存储区域。

另外，作为从递送服务器3002接收数据的终端设备可以采用诸如个人计算机3004至移动电话3007的各种设备，并且存在终端设备的各种硬件性能。此外，存在由终端设备所执行的各种应用程序，并且还存在其软件的各种性能。此外，作为通信介质的网络3003可以采用包括诸如例如互联网或局域网(LAN)的有线网络、无线网络、或两者的网络的所有通信线网络，并且存在各种数据传送性能。此外，用作通信介质的网络3003的数据传送性能可以依赖于通信量或其他通信环境而变化。

因此，在开始数据传送之前，递送服务器3002可以与作为数据的传送目的地的终端设备执行通信，以便获得与终端设备的性能(诸如终端设备的硬件性能和由终端设备所执行的应用程序(软件)的性能)有关的信息，和与通信环境有关的信息诸如网络3003的可用带宽。另外，递送服务器3002可以基于与终端设备的性能有关的信息和与通信环境有关的信息选择适当的层。

此外，可以由终端设备以及递送服务器3002执行从可伸缩编码数据(BL+EL)3011中提取可伸缩编码数据(BL)302。例如，个人计算机3004不仅可以对从递送服务器3002所传送的可伸缩编码数据(BL+EL)3011进行解码以便显示非基本层图像，而且还可以在从递送服务器3002所传送的可伸缩编码数据(BL+EL)3011中提取基本层可伸缩编码数据(BL)3012，以便存储数据，将数据传送到其他装置，或对数据进行解码以用于基本层图像的显示。

当然，可伸缩编码数据存储单元3001的数量、递送服务器3002的数量、网络3003的数量以及终端设备的数量均是任意的。

另外，例如终端设备可以从递送服务器3002接收多个内容项的可伸缩编码数据。此外，在从递送服务器3002接收多个内容项的可伸缩编码数据的情况下，终端设备可以执行例如诸如被称为双屏显示的多个屏幕显示，其中，关于多个内容项之中的特定内容项显示非基本层图像，并且关于其他内容项显示基本层图像。

[使用层图像编码方法的第二示例]

图46是示出了使用层图像编码方法的第二示例的图。

例如可伸缩编码可以用于使用多个通信介质的传送，如在图46所示的示例中一样。

在图46所示的数据传送系统3100中，广播站3101通过使用地面广播3111传送基本层可伸缩编码数据(BL)3121。另外，广播站3101经由通过有线网络、无线网络或两者的网络所形成的任意网络3112传送(例如，打包并且传送)非基本层可伸缩编码数据(EL)3122。

终端设备3102具有由广播站3101所广播的地面广播3111的接收功能，并且接收经由地面广播3111所传送的基本层可伸缩编码数据(BL)3121。另外，终端设备3102还具有使用网络3112执行通信的通信功能，并且接收经由网络3112所传送的非基本层可伸缩编码数据(EL)3122。

终端设备3102可以例如响应于来自用户的指令对经由地面广播3111所获取的基本层可伸缩编码数据(BL)3121进行解码，以便获得基本层图像，以存储图像，并且将图像传送到其他设备。

另外，例如，响应于来自用户的指令，终端设备3102可以将经由地面广播3111所获取的基本层可伸缩编码数据(BL)3121与经由网络3112所获取的非基本层可伸缩编码数据(EL)3122进行组合以便获得可伸缩编码数据(BL+EL)，并且可以对数据进行解码以便获得基本层图像以存储图像，并且将图像传送到其他设备。

如上所述，例如，可伸缩编码数据可以经由针对每个层而不同的通信介质而传送。在这种情况下，可以分散负载，并且因此可以使得延迟或上溢的发生最小化。

另外，可以依赖于环境针对每个层选择用于传送的通信介质。例如，可以经由具有较大带宽的通信介质传送具有相对大的数据量的基本层可伸缩编码数据(BL)3121，并且可以经由具有较小的带宽的通信介质传送具有相对较小数据量的非基本层可伸缩编码数据(EL)3122。另外，例如，可以依赖于网络3112的可用带宽在网络3122与地面广播3111之间改变用于传送非基本层可伸缩编码数据(EL)3122的通信介质。当然，对于任何层的数据这也相同。

如上所述的执行控制，并且因此可以进一步使得在数据传送中的负载增加最小化。

另外，层的数量是任意的，并且用于传送的通信介质的数量也是任意的。此外，用作数据传送目的地的终端设备3102的数量也是任意的。此外，将可伸缩地编码的编码数据以层为单位分割为多个数据项并且经由如图46所示的多个线路传送数据项的数据传送系统3100不限于使用广播的系统。

[使用层图像编码方法的第三示例]

图47是示出了使用层图像编码方法的第三示例的图。

例如可伸缩编码可以用于存储编码数据，如图47所示的示例一样。

在图47所示的成像系统3200中，成像设备3201对通过对对象3211成像所获得的图像数据可伸缩地进行编码，并且将生成的数据提供给可伸缩编码数据存储装置3202作为可伸缩编码数据(BL+EL)3221。

可伸缩编码数据存储装置3202以基于环境的质量(分辨率)存储从成像设备3201所提供的可伸缩编码数据(BL+EL)3221。例如，在通常时间的情况下，可伸缩编码数据存储装置3202从可伸缩编码数据(BL+EL)3221中提取基本层数据，并且将数据存储为基本层可伸缩编码数据(BL)3222，其具有低质量的较小数据量。相比之下，例如，在关注时间的情况下，可伸缩编码数据存储装置3202如原样地存储具有较大数据量的高质量的可伸缩编码数据(BL+EL)3221。

因此，因为可伸缩编码数据存储装置302可以仅当需要时保存高质量图像，所以可以使得数据量的增加最小化、同时使得由于图像质量劣化所导致的图像值的降低最小化，并且因此改进存储区域的使用效率。

例如，假定成像设备3201是监视摄像装置。在监视目标(例如入侵者)未反映在捕获图像(由成像设备3201所捕获的图像数据)的情况下(在通常时间的情况下)，存在较高的可能性所捕获的图像的内容可能是不重要的，并且因此，优先的是降低数据量，并且以低质量存储捕获图像(可伸缩编码数据)。相比之下，在监视目标反映在捕获图中作为对象3211的情况下(在关注时间的情况下)，存在很高的可能性所捕获的图像的内容可能是重要的，并且因此图像质量是优先的，以及存储具有高质量的捕获图像(可伸缩编码数据)。

另外，例如可以通过可伸缩编码数据存储装置3202对图像进行分析来确定通常时间和关注时间。此外，例如可以由成像设备3201确定通常时间和关注时间，并且确定结果可以被传送到可伸缩编码数据存储装置3202。

另外，通常时间和关注时间的确定标准是任意的，并且用作确定标准的捕获图像的内容是任意的。当然，可以使用捕获图像的内容之外的条件作为确定标准。例如，通常时间和关注时间可以基于所记录的声音的幅度、波形等确定。另外，通常时间和关注时间例如可以针对每个预定时间间隔改变，或根据诸如来自用户的指令的外部指令而改变。

另外，在以上的说明中，已经描述了改变包括通常时间和关注时间的两个状态的示例，但是状态的数量是任意的，并且例如，可以改变为三个或更多个状态，诸如通常时间、轻微关注时间、关注时间、较大关注时间。在此，改变的状态的数量的上限依赖于可伸缩编码数据的层的数量。

另外，成像设备3201可以基于状态确定可伸缩编码层的数量。例如，在通常时间的情况下，成像设备3201可以生成具有低质量且较小的数据量的基本层可伸缩编码数据(BL)3222，并且可以将该数据提供给可伸缩编码数据存储装置3202。此外，例如，在关注时间的情况下，成像设备3201可以生成具有高质量且较大数据量的基本层和非基本层可伸缩编码数据(BL+EL)3221，并且可以将数据提供给可伸缩编码数据存储装置3202。

另外，成像系统3200的使用是任意地并且不限制于监视摄像装置。

另外，在本说明书中，描述了下述示例：在该示例中，将诸如预测模式信息和合并信息的多个信息复用到编码流的头中，并且被从编码侧传送到解码侧。然而，传送信息的方法不限于此示例。例如，信息可以作为与编码流相关联的分离数据传送或记录，而不被复用到编码流中。在此，术语“相关联”指示在编码流中所包括的图像(可以是诸如切片或块的图像的一部分)可以在解码期间被链接到与图像相对应的信息。换言之，信息可以在不同于图像(或编码流)的传送路径之外的传送路径上传送。此外，信息可以记录在不同于图像(或编码流)的记录介质之外的记录介质上(或同一记录介质的不同记录区域)。此外，例如可以以诸如多个帧、一个帧、或帧的部分的任意单位将信息与图像(或编码流)彼此相关联。

如上所述，尽管参照附图详细地描述了本技术的优选实施例，但是本发明不限于此示例。明显的，本领域内普通技术人员可以想到在权利要求中所描述的技术理念的范围中的各种修改或替选，并且可以理解其也自然地落入本技术的技术范围。

另外，本技术还可以具有下面的配置。

[1]一种图像处理设备，包括：

设置单元，设置识别信息，所述识别信息用于识别图像的块的尺寸与应用到所述块的预测方法的改变之间的对应关系；预测单元，根据由所述设置单元所设置的识别信息生成预测图像；编码单元，通过使用由所述预测单元所生成的预测图像对所述图像进行编码，以便生成编码流；以及传送单元，传送由所述编码单元所生成的编码流和由所述设置单元所设置的识别信息。

[2]根据[1]所述的图像处理设备，其中，所述设置单元基于存储器带宽设置所述识别信息，所述存储器带宽是从存储被用于生成所述预测图像的解码图像的存储单元读出所述解码图像的传送速率。

[3]根据[1]或[2]所述的图像处理设备，其中，所述设置单元将指示下述块的尺寸的信息设置为所述识别信息，改变所述块的预测方法，使得应用单向预测代替双向预测。

[4]根据[1]或[2]所述的图像处理设备，其中，所述设置单元将指示下述块的尺寸以及代替双向预测所应用的单向预测的预测方向的信息设置为所述识别信息：改变所述块的预测方法，使得应用单向预测代替双向预测。

[5]根据[1]或[2]所述的图像处理设备，其中，所述设置单元将指示下述块的尺寸的信息以及指示代替双向预测所施加的单向预测的预测方向的信息设置为所述识别信息：改变所述块的预测方法，使得应用单向预测代替双向预测。

[6]根据[1]至[5]中任一项所述的图像处理设备，其中，所述传送单元作为所述编码流的序列参数集(SPS)传送所述识别信息。

[7]一种图像处理方法，包括：设置步骤，设置识别信息，所述识别信息用于识别图像的块的尺寸与应用到所述块的预测方法的改变之间的对应关系；预测步骤，根据在所述设置步骤中所设置的识别信息生成预测图像；编码步骤，通过使用在所述预测步骤中所生成的所述预测图像对所述图像进行编码，以便生成编码流；以及传送步骤，传送在所述编码步骤中所生成的编码流以及在所述设置步骤中所设置的识别信息。

[8]一种图像处理设备，包括：接收单元，接收识别信息和编码流，所述识别信息用于识别图像的块的尺寸与应用到所述块的预测方法的改变之间的对应关系，所述编码流是通过对所述图像进行编码所生成的；预测单元，根据由所述接收单元所接收的所述识别信息生成预测图像；以及解码单元，通过使用由所述预测单元所生成的预测图像，对由所述接收单元所接收的编码流进行解码。

[9]根据[8]所述的图像处理设备，其中，所述识别信息是指示下述块的尺寸的信息：改变所述块的预测方法，使得应用单向预测代替双向预测。

[10]根据[8]所述的图像处理设备，其中，所述识别信息是指示下述块的尺寸以及代替双向预测所应用的单向预测的预测方向的信息：改变所述块的预测方向，使得应用单向预测代替双向预测。

[11]根据[8]所述的图像处理设备，其中，所述识别信息是包括指示下述块的尺寸的信息和指示代替双向预测所应用的单向预测的预测方向的信息的两个信息：改变所述块的预测方法，使得应用单向预测代替双向预测。

[12]根据[8]至[11]中任一项所述的图像处理设备，其中，所述接收单元接收作为所述编码流的序列参数集(SPS)所传送的所述识别信息。

[13]一种图像处理方法，包括：接收步骤，接收识别信息和编码流，所述识别信息用于识别图像的块的尺寸与应用到所述块的预测方法的改变之间的对应关系，所述编码流是通过对所述图像进行编码所生成的；预测步骤，根据在所述接收步骤中所接收的识别信息生成预测图像；以及解码步骤，通过使用在所述预测步骤中所生成的预测图像，对在所述接收步骤中所接收的编码流进行解码。

附图标记列表

100图像编码装置，106可逆编码单元，121编码控制单元，143合并标志编码部，144合并模式编码部，200图像解码装置，202可逆解码单元，221解码控制单元，243合并标志解码部，244合并模式解码部，1001输入图片缓冲器，1002计算单元，1003正交变换单元，1004量化单元，1005熵编码单元，1006逆量化单元，1007逆正交变换单元，1008计算单元，1009去块滤波器，1010自适应样本偏移单元，1011自适应样本偏移估计单元，1012自适应环路滤波器，1013自适应环路滤波器估计单元，1014DPB，1015帧内方向估计单元，1016帧内预测单元，1017运动估计单元，1018帧间预测单元，1019模式确定单元，1021设置单元，2001熵解码单元，2002逆量化单元，2003逆正交变换单元，2004计算单元，2005去块滤波器，2006自适应样本偏移单元，2007自适应环路滤波器，2008DPB，2009帧内预测单元，2010帧间预测单元，2011模式选择单元。

Claims (12)

1.一种图像处理设备，包括：

设置单元，设置识别信息，所述识别信息用于识别在使用合并模式对运动信息进行编码的情况下，其所有合并候选都是进行了双向预测的区域的编码单位的尺寸与应用到所述编码单位的预测方法的改变之间的对应关系，其中，所述编码单位是由图像的层结构所表示的块，通过对于合并候选应用单向预测代替双向预测来改变所述编码单位的预测方法；

预测单元，根据由所述设置单元所设置的识别信息生成预测图像；

编码单元，通过使用由所述预测单元所生成的预测图像对所述图像进行编码，以便生成编码流；以及

传送单元，传送由所述编码单元所生成的编码流和由所述设置单元所设置的识别信息，

其中，所述设置单元基于存储器带宽设置用于禁止具有8×8尺寸的块的双向预测发生的所述识别信息，所述存储器带宽是从存储被用于生成所述预测图像的解码图像的存储单元读取所述解码图像的传送速率。

2.根据权利要求1所述的图像处理设备，

其中，所述设置单元将指示下述块的尺寸的信息设置为所述识别信息：改变所述块的预测方法，使得应用单向预测代替双向预测。

3.根据权利要求1所述的图像处理设备，

其中，所述设置单元将指示下述块的尺寸以及代替双向预测所应用的单向预测的预测方向的信息设置为所述识别信息：改变所述块的预测方法，使得应用单向预测代替双向预测。

4.根据权利要求1所述的图像处理设备，

其中，所述设置单元将指示下述块的尺寸的信息以及指示代替双向预测所应用的单向预测的预测方向的信息设置为所述识别信息：改变所述块的预测方法，使得应用单向预测代替双向预测。

5.根据权利要求1所述的图像处理设备，

其中，所述传送单元作为所述编码流的序列参数集传送所述识别信息。

6.一种图像处理方法，包括：

设置步骤，设置识别信息，所述识别信息用于识别在使用合并模式对运动信息进行编码的情况下，其所有合并候选都是进行了双向预测的区域的编码单位的尺寸与应用到所述编码单位的预测方法的改变之间的对应关系，其中，所述编码单位是由图像的层结构所表示的块，通过对于合并候选应用单向预测代替双向预测来改变所述编码单位的预测方法；

预测步骤，根据在所述设置步骤中所设置的识别信息生成预测图像；

编码步骤，通过使用在所述预测步骤中所生成的预测图像对所述图像进行编码，以便生成编码流；以及

传送步骤，传送在所述编码步骤中所生成的编码流以及在所述设置步骤中所设置的识别信息，

其中，在所述设置步骤中，基于存储器带宽设置用于禁止具有8×8尺寸的块的双向预测发生的所述识别信息，所述存储器带宽是从存储被用于生成所述预测图像的解码图像的存储单元读取所述解码图像的传送速率。

7.一种图像处理设备，包括：

接收单元，接收识别信息和编码流，所述识别信息用于识别在使用合并模式对运动信息进行编码的情况下，其所有合并候选都是进行了双向预测的区域的编码单位的尺寸与应用到所述编码单位的预测方法的改变之间的对应关系，其中，所述编码单位是由图像的层结构所表示的块，通过对于合并候选应用单向预测代替双向预测来改变所述编码单位的预测方法，所述编码流是通过对所述图像进行编码所生成的；

预测单元，根据由所述接收单元所接收的识别信息生成预测图像；以及

解码单元，通过使用由所述预测单元所生成的预测图像，对由所述接收单元所接收的编码流进行解码，

其中，所述识别信息是用于基于存储器带宽禁止具有8×8尺寸的块的双向预测发生的信息，所述存储器带宽是从存储被用于生成所述预测图像的解码图像的存储单元读取所述解码图像的传送速率。

8.根据权利要求7所述的图像处理设备，

其中，所述识别信息是指示下述块的尺寸的信息：改变所述块的预测方法，使得应用单向预测代替双向预测。

9.根据权利要求7所述的图像处理设备，

其中，所述识别信息是指示下述块的尺寸以及代替双向预测所应用的单向预测的预测方向的信息：改变所述块的预测方法，使得应用单向预测代替双向预测。

10.根据权利要求7所述的图像处理设备，

其中，所述识别信息是包括指示下述块的尺寸的信息和指示代替双向预测所应用的单向预测的预测方向的信息的两个信息：改变所述块的预测方法，使得应用单向预测代替双向预测。

11.根据权利要求7所述的图像处理设备，

其中，所述接收单元接收作为所述编码流的序列参数集所传送的所述识别信息。

12.一种图像处理方法，包括：

接收步骤，接收识别信息和编码流，所述识别信息用于识别在使用合并模式对运动信息进行编码的情况下，其所有合并候选都是进行了双向预测的区域的编码单位的尺寸与应用到所述编码单位的预测方法的改变之间的对应关系，其中，所述编码单位是由图像的层结构所表示的块，通过对于合并候选应用单向预测代替双向预测来改变所述编码单位的预测方法，所述编码流是通过对所述图像进行编码所生成的；

预测步骤，根据在所述接收步骤中所接收的识别信息生成预测图像；以及

解码步骤，通过使用在所述预测步骤中所生成的预测图像，对在所述接收步骤中所接收的编码流进行解码，

其中，所述识别信息是用于基于存储器带宽禁止具有8×8尺寸的块的双向预测发生的信息，所述存储器带宽是从存储被用于生成所述预测图像的解码图像的存储单元读取所述解码图像的传送速率。