CN104041034B - 图像处理设备和方法 - Google Patents

Abstract

本技术涉及一种能够防止设备的成本变高的图像处理设备和方法。设置单元设置用于限制图像块的大小和将被应用于具有该大小的块的预测方法的限制信息。帧间预测单元根据限制信息产生预测图像。编码器(1000)利用预测图像将块编码，并产生编码流。另外，编码器(1000)发送编码流和限制信息。本技术可应用于诸如将图像编码/解码的情况。

Description

图像处理设备和方法

技术领域

本技术涉及一种图像处理设备及其方法，具体地讲，涉及一种被配置为例如防止设备的成本的增加的图像处理设备及其方法。

背景技术

近年来，基于诸如运动图像专家组(MPEG)的方法的设备被广泛用于在广播站等的信息分发和在家庭的信息接收，在MPEG中，图像信息被视为数字数据，并且此时，通过使用对于图像信息而言独一无二的冗余通过正交变换(诸如，离散余弦变换)和运动补偿来压缩图像信息以便以高效率执行信息的传输和累积。

具体地讲，MPEG2(国际标准化组织(ISO)/国际电工委员会(IEC)13818-2)被定义为通用图像编码方法，并且当前被广泛地用在专业使用和消费者使用的很大范围的应用中作为覆盖所有的隔行扫描图像、顺序扫描图像、标准分辨率图像和高清晰度图像的标准。通过使用MPEG2压缩方法，通过在包括720×480像素的标准分辨率隔行扫描图像的情况下分派4Mbps至8Mbps的编码率(比特率)以及在包括1920×1088像素的高分辨率隔行扫描图像的情况下分派18Mbps至22Mbps的编码率，能够实现高压缩比和极好的图像质量。

MPEG2主要用于适合用于广播的高图像质量编码，但不与使用比MPEG1的编码率(比特率)低的编码率(比特率)(也就是说，具有更高的压缩率)的编码方法兼容。预期对这种编码方法的需求在未来随着便携式终端的普及而增加，并且响应于此执行了MPEG4编码方法的标准化。对于图像编码方法的标准，ISO/IEC14496-2的标准在1998年12月被批准作为国际标准。

另外，近年来，首先，以用于电话会议的图像编码为目标的H.26L(国际电信联盟电信标准化部门(ITU-T)Q6/16视频编码专家组(VCEG))正在进行中。与现有技术的编码方法(例如，MPEG2或MPEG4)相比，H.26L由于编码和解码而需要更大的计算量，但它是用于实现更高编码效率的公知方法。另外，当前，作为MPEG4的操作的一部分，执行通过甚至基于H.26L引入在H.26L中不支持的功能来实现更高编码效率的标准化，作为增强压缩视频编码的联合模型。

在该标准化的方案中，H.264/MPEG-4部分10(高级视频编码，以下，被称为AVC)在2003年3月变为国际标准。

然而，存在这样的担心：针对可能是下一代编码方法的目标的超高清晰度(UHD；4000像素×2000像素)的大帧，16像素×16像素的宏块大小可能不是最佳的。

这里，当前，为了AVC的编码效率的进一步提高，正在由联合协作团队-视频编码(JCTVC)进行被称为高效率视频编码(HEVC)的编码方法的标准化，JCTVC是ITU-T和ISO/IEC的联合标准化组织(例如，参见NPL1)。

在HEVC的编码方法中，编码单元(CU)被定义为与AVC的宏块相同的处理单元。与AVC的宏块不同，CU的大小并不固定为16×16像素，而是在各序列的图像压缩信息中被指定。

然而，为了改进使用AVC的中值预测的运动向量的编码，已提出除了在AVC中定义并且通过中值预测获取的“空间预测器”之外还自适应地使用“时间预测器”和“时空预测器”中的任何一个作为预测运动向量信息(例如，参见NPL2)。

在图像信息编码装置中，针对每个块计算在使用每个预测运动向量信息项的情况下的成本函数，并且执行最佳预测运动向量信息的选择。在图像压缩信息中，发送示出指示针对每个块使用哪个预测运动向量信息的信息的图表信息。

另外，作为运动信息的编码方法之一，提出了一种被称为运动分割合并的方法(以下，也被称为合并模式)(例如，参见NPL3)。在这个方法中，在对应块的运动信息与周围块的运动信息相同的情况下，仅发送标记信息，并且当执行解码时，使用周围块的运动信息重建对应块的运动信息。

引用列表

非专利文献

NPL1:"Test Model under Consideration",JCTVC-B205,Joint CollaborativeTeam on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG112ndMeeting:Geneva,CH,2010年7月21日至28日

NPL2:Joel Jung,Guillaume Laroche,"Competition-Based Scheme for MotionVector Selection and Coding",VCEG-AC06,ITU-Telecommunications StandardizationSectorSTUDY GROUP16Question6Video Coding Experts Group(VCEG)29th Meeting:Klagenfurt,Austria,2006年7月17日和18日

NPL3:Martin Winken,Sebastian Bosse,Benjamin Bross,PhilippHelle,TobiasHinz,Heiner Kirchhoffer,Haricharan Lakshman,Detlev Marpe,Simon Oudin,MatthiasPreiss,Heiko Schwarz,Mischa Siekmann,Karsten Suehring,and Thomas Wiegand,"Description of video coding technology proposed by Fraunhofer HHI",JCTVC-A116,2010年4月

发明内容

技术问题

在AVC或HEVC中，执行产生预测图像的预测编码以及使用预测图像对图像进行编码。

在预测编码中，预先解码(编码随后解码)的解码图像被用于产生预测图像，因此，如果必要，则将解码图像存储在被称为解码图片缓冲器(DPB)的存储器中。当产生预测图像时，从DPB读出存储在DPB中的解码图像作为参考图像。

然而，当尝试确保大范围的带宽(高速率)作为存储器带宽时，设备的成本增加，其中存储器带宽是从DPB读出解码图像的传输速率。

考虑到这些情况而提出本技术，并且本技术用于防止设备的成本的增加。

问题的解决方案

根据本技术的第一方面，提供了一种图像处理设备，该设备包括：设置单元，设置用于限制图像块的大小和将被应用于具有该大小的块的预测方法的限制信息；预测单元，根据由设置单元设置的限制信息产生预测图像；编码单元，利用由预测单元产生的预测图像将图像编码，并产生编码流；以及发送单元，发送由编码单元产生的编码流和由设置单元设置的限制信息。

根据本技术的第一方面，提供了一种图像处理方法，该方法包括：设置步骤，设置用于限制图像块的大小和将被应用于具有该大小的块的预测方法的限制信息；预测步骤，根据在设置步骤中设置的限制信息产生预测图像；编码步骤，利用在预测步骤中产生的预测图像将图像编码，并产生编码流；以及发送步骤，发送在编码步骤中产生的编码流和在设置步骤中设置的限制信息。

在上述第一方面中，设置了用于限制图像块的大小和将被应用于具有该大小的块的预测方法的限制信息，并且根据限制信息产生预测图像。另外，利用预测图像将图像编码并产生编码流。另外，发送编码流和限制信息。

根据本技术的第二方面，提供了一种图像处理设备，该设备包括：接收单元，接收用于限制图像块的大小和将被应用于具有该大小的块的预测方法的限制信息、和通过将图像编码产生的编码流；预测单元，根据由接收单元接收到的限制信息产生预测图像；以及解码单元，利用由预测单元产生的预测图像将由接收单元接收到的编码流解码。

根据本技术的第二方面，提供了一种图像处理方法，该方法包括：接收步骤，接收用于限制图像块的大小和将被应用于具有该大小的块的预测方法的限制信息、和通过将图像编码产生的编码流；预测步骤，根据在接收步骤中接收到的限制信息产生预测图像；以及解码步骤，利用在预测步骤中产生的预测图像将在接收步骤中接收到的编码流解码。

在上述第二方面中，接收用于限制图像块的大小和将被应用于具有该大小的块的预测方法的限制信息和通过将图像编码产生的编码流，并且根据限制信息产生预测图像。另外，利用预测图像将编码流解码。

根据本技术的第三方面，提供了一种图像处理设备，该设备包括：设置单元，基于档次(profile)和级别(level)设置用于限制图像块的大小和将被应用于具有该大小的块的预测方法的限制信息；预测单元，根据由设置单元设置的限制信息产生预测图像；编码单元，利用由预测单元产生的预测图像将图像编码，并产生编码流；以及发送单元，发送由编码单元产生的编码流。

根据本技术的第三方面，提供了一种图像处理方法，该方法包括：设置步骤，基于档次和级别设置用于限制图像块的大小和将被应用于具有该大小的块的预测方法的限制信息；预测步骤，根据在设置步骤中设置的限制信息产生预测图像；编码步骤，利用在预测步骤中产生的预测图像将图像编码，并产生编码流；以及发送步骤，发送在编码步骤中产生的编码流。

在上述第三方面中，基于档次和级别设置用于限制图像块的大小和将被应用于具有该大小的块的预测方法的限制信息，并且根据限制信息产生预测图像。另外，利用预测图像将图像编码，产生编码流，并且发送编码流。

根据本技术的第四方面，提供了一种图像处理设备，该设备包括：接收单元，接收根据基于框架或级别的用于限制图像块的大小和将被应用于具有该大小的块的预测方法的限制信息编码的编码流；预测单元，根据基于档次或级别识别的限制信息产生预测图像；以及解码单元，利用由预测单元产生的预测图像将由接收单元接收到的编码流解码。

根据本技术的第四方面，提供了一种图像处理方法，该方法包括：接收步骤，接收根据基于框架或级别的用于限制图像块的大小和将被应用于具有该大小的块的预测方法的限制信息编码的编码流；预测步骤，根据基于档次或级别识别的限制信息产生预测图像；以及解码步骤，利用在预测步骤中产生的预测图像将在接收步骤中接收到的编码流解码。

在上述第四方面中，接收根据基于档次或级别的用于限制图像块的大小和将被应用于具有该大小的块的预测方法的限制信息编码的编码流，并且根据基于档次或级别识别的限制信息产生预测图像。另外，利用预测图像将编码流解码。

发明的有益效果

根据本技术，可防止设备的成本的增加。

附图说明

图1是显示图像编码装置的主要配置示例的方框图。

图2是表示编码单元的示图。

图3是表示片和编码单元之间的关系的示图。

图4是表示合并模式的示图。

图5是显示可逆编码单元和编码控制单元的主要配置示例的方框图。

图6是表示编码处理的流程的示例的流程图。

图7是表示可逆编码处理的流程的示例的流程图。

图8是表示CU编码处理的流程的示例的流程图。

图9是表示CU编码处理的流程的示例的在图8之后的流程图。

图10是显示图像解码装置的主要配置示例的方框图。

图11是显示可逆解码单元和解码控制单元的主要配置示例的方框图。

图12是表示解码处理的流程的示例的流程图。

图13是表示可逆解码处理的流程的示例的流程图。

图14是表示CU解码处理的流程的示例的流程图。

图15是表示CU解码处理的流程的示例的在图14之后的流程图。

图16是显示应用本技术的图像处理设备的一个实施例的配置示例的方框图。

图17是表示disable_bip_small_mrg_idc信息的示图。

图18是表示在使用disable_bip_small_mrg_idc信息的情况下的编码器1000和解码器2000的处理的流程图。

图19是表示disable_bip_small_mrg_idc扩展信息的示图。

图20是表示modify_bip_small_mrg_l0信息的示图。

图21是表示由编码器1000执行的SPS的编码和由解码器2000执行的SPS的解码的流程图。

图22是表示由编码器1000执行的片头的编码和由解码器2000执行的片头的解码的流程图。

图23是表示由编码器1000执行的CU的编码和由解码器2000执行的CU的解码的流程图。

图24是表示合并候选项的选定(选择)的流程图。

图25是表示限制模式RB的示图。

图26是表示在使用限制模式RB的情况下的编码器1000和解码器2000的处理的流程图。

图27是表示与水平块的预测相比在垂直块的预测中使用更大范围的存储器带宽的示图。

图28是表示与水平块的预测相比在垂直块的预测中使用更大范围的存储器带宽的示图。

图29是表示限制模式RV的示图。

图30是显示包括识别信息的编码数据的头信息的语法的第一示例的示图。

图31是显示由标记disable_bip_small_mrg_idc采用的值并且显示双向预测被标记disable_bip_small_mrg_idc的每个值禁止的块的大小的示图。

图32是显示包括识别信息的编码数据的头信息的语法的第二示例的示图。

图33是显示包括识别信息的编码数据的头信息的语法的第二示例的示图。

图34是显示个人计算机的主要配置示例的方框图。

图35是显示电视设备的示意性配置示例的方框图。

图36是显示移动电话的示意性配置示例的方框图。

图37是显示记录和再现设备的示意性配置示例的方框图。

图38是显示成像设备的示意性配置示例的方框图。

图39是显示多视图图像编码方法的示例的示图。

图40是显示应用本技术的多视图图像编码装置的主要配置示例的示图。

图41是显示应用本技术的多视图图像解码装置的主要配置示例的示图。

图42是显示分层图像编码方法的示例的示图。

图43是显示应用本技术的分层图像编码装置的主要配置示例的示图。

图44是显示应用本技术的分层图像解码装置的主要配置示例的示图。

图45是显示可扩展编码(scalable encoding)的使用的示例的方框图。

图46是显示可扩展编码的使用的另一示例的方框图。

图47是显示可扩展编码的使用的另一示例的方框图。

具体实施方式

以下，将描述本技术的实施例，但在此之前，将描述基本的技术。

[图像编码装置]

图1是显示图像编码装置的主要配置示例的方框图。

图1中示出的图像编码装置100使用作为H.264/运动图像专家组(MPEG)4部分10(高级视频编码(AVC))的编码方法的预测处理对图像数据进行编码。

图1中示出的图像编码装置100包括A/D转换单元101、画面重新布置缓冲器102、计算单元103、正交变换单元104、量化单元105、可逆编码单元106和累积缓冲器107。图像编码装置100还包括逆量化单元108、逆正交变换单元109、计算单元110、环路滤波器111、帧存储器112、选择单元113、帧内预测单元114、运动预测补偿单元115、预测图像选择单元116和速率控制单元117。

图像编码装置100还包括编码控制单元121。

A/D转换单元101执行输入图像数据的A/D转换，将在转换之后的图像数据(数字数据)提供给画面重新布置缓冲器102，并且将图像数据存储在画面重新布置缓冲器102中。画面重新布置缓冲器102根据图片组(GOP)将按照存储的显示次序的帧的图像重新布置为用于编码的帧的次序，并且将具有改变的帧的次序的图像提供给计算单元103。另外，画面重新布置缓冲器102还将具有改变的帧的次序的图像提供给帧内预测单元114和运动预测补偿单元115。

计算单元103用从画面重新布置缓冲器102读出的图像减去通过预测图像选择单元116从帧内预测单元114或运动预测补偿单元115提供的预测图像，并且将其差信息输出到正交变换单元104。

例如，在将要对图像进行帧间编码的情况下，计算单元103用从画面重新布置缓冲器102读出的图像减去从运动预测补偿单元115提供的预测图像。

正交变换单元104针对从计算单元103提供的差信息执行正交变换，诸如离散余弦变换或Karhunen-Loeve变换。另外，这种正交变换的方法是任意的。正交变换单元104将通过正交变换获得的变换系数提供给量化单元105。

量化单元105对从正交变换单元104提供的变换系数进行量化。量化单元105基于从速率控制单元117提供的与编码率的目标值相关的信息设置量化参数，并且执行其量化。另外，其量化的方法是任意的。量化单元105将量化的变换系数提供给可逆编码单元106。

可逆编码单元106通过任意编码方法对在量化单元105中量化的变换系数进行编码。由于变换系数在速率控制单元117的控制下被量化，所以其编码率是由速率控制单元117设置的目标值(或近似目标值)。

另外，可逆编码单元106从帧内预测单元114获取显示帧内预测的模式的信息等，并且从运动预测补偿单元115获取显示帧间预测的模式的信息、运动向量信息等。另外，可逆编码单元106获取在环路滤波器111中使用的滤波器系数等。

可逆编码单元106通过任意编码方法对各种信息项进行编码，并且将信息项设置(多路复用)为编码数据的某一头信息。可逆编码单元106将通过编码获得的编码数据提供给累积缓冲器107，并且将编码数据累积在累积缓冲器107中。

作为可逆编码单元106的编码方法，例如，使用可变长度编码、算术编码等。作为可变长度编码，例如，使用基于H.264/AVC方法获得的上下文自适应可变长度编码(CAVLC)。作为算术编码，例如，使用上下文自适应二进制算术编码(CABAC)。

累积缓冲器107暂时保存从可逆编码单元106提供的编码数据。累积缓冲器107例如在预定时间将保存的编码数据输出到在后面阶段的记录设备(记录介质)或传输路径(未示出)。

另外，在量化单元105中量化的变换系数也被提供给逆量化单元108。逆量化单元108通过与量化单元105的量化对应的方法执行量化的变换系数的逆量化。这种逆量化方法可以是任何方法，只要它是与由量化单元105执行的量化处理对应的方法即可。逆量化单元108将获得的变换系数提供给逆正交变换单元109。

逆正交变换单元109通过与由正交变换单元104执行的正交变换处理对应的方法执行从逆量化单元108提供的变换系数的逆正交变换。这种逆正交变换方法可以是任何方法，只要它是与由正交变换单元104执行的正交变换处理对应的方法即可。经过了逆正交变换的输出(恢复的差信息)被提供给计算单元110。

计算单元110将通过预测图像选择单元116从帧内预测单元114或运动预测补偿单元115提供的预测图像与从逆正交变换单元109提供的逆正交变换结果(也就是说，恢复的差信息)相加，并且获得在本地解码的图像(解码图像)。解码图像被提供给环路滤波器111或帧存储器112。

环路滤波器111包括去块滤波器、适应性环路滤波器等，并且针对从计算单元110提供的解码图像执行合适的滤波处理。例如，环路滤波器111通过针对解码图像执行去块滤波处理来去除解码图像的块失真。另外，例如，环路滤波器111通过针对其去块滤波处理结果(去除了块失真的解码图像)使用维纳滤波器执行环路滤波处理来执行图像质量改进。

另外，环路滤波器111可针对解码图像执行任意滤波处理。另外，如果必要，则环路滤波器111还能够被配置为将信息(诸如，用于滤波处理的滤波器系数)提供给可逆编码单元106并且对该信息进行编码。

环路滤波器111将滤波处理结果(在滤波处理之后的解码图像)提供给帧存储器112。另外，如上所述，从计算单元110输出的解码图像能够被提供给帧存储器112而不使用环路滤波器111。也就是说，由环路滤波器111执行的滤波处理能够被省略。

帧存储器112存储提供的解码图像，并且在预定时间将存储的解码图像提供给选择单元113作为参考图像。

选择单元113选择从帧存储器112提供的参考图像的提供目的地。例如，在帧间预测的情况下，选择单元113将从帧存储器112提供的参考图像提供给运动预测补偿单元115。

帧内预测单元114通过使用待处理图片(该待处理图像是通过选择单元113从帧存储器112提供的参考图像)中的像素值，基本上使用预测单元(PU)作为处理单元来执行产生预测图像的帧内预测(画面内预测)。帧内预测单元114在预先准备的多种模式(帧内预测模式)下执行这种帧内预测。

帧内预测单元114在作为候选项的所有帧内预测模式下产生预测图像，使用从画面重新布置缓冲器102提供的输入图像评估每个预测图像的成本函数值，并且选择最佳模式。如果选择了最佳帧内预测模式，则帧内预测单元114将在这种最佳模式下产生的预测图像提供给预测图像选择单元116。

另外，如上所述，帧内预测单元114合适地将显示所采用的帧内预测模式的帧内预测模式信息等提供给可逆编码单元106以使该信息等被编码。

运动预测补偿单元115通过使用从画面重新布置缓冲器102提供的输入图像和经选择单元113从帧存储器112提供的参考图像，基本上使用PU作为处理单位来执行运动预测(帧间预测)，基于检测到的运动向量执行运动补偿，并且产生预测图像(帧间预测图像信息)。运动预测补偿单元115在预先准备的多种模式(帧间预测模式)下执行这种帧间预测。

运动预测补偿单元115在作为候选项的所有帧间预测模式下产生预测图像，评估每个预测图像的成本函数值，并且选择最佳模式。如果选择了最佳帧间预测模式，则运动预测补偿单元115将在这种最佳模式下产生的预测图像提供给预测图像选择单元116。

另外，当对显示所采用的帧间预测模式的信息或编码数据进行解码时，运动预测补偿单元115将在这种帧间预测模式下执行处理所需的信息等提供给可逆编码单元106以使该信息等被编码。

预测图像选择单元116选择将要被提供给计算单元103或计算单元110的预测图像的提供源。例如，在帧间编码的情况下，预测图像选择单元116选择运动预测补偿单元115作为预测图像的提供源，并且将从运动预测补偿单元115提供的预测图像提供给计算单元103或计算单元110。

速率控制单元117基于累积在累积缓冲器107中的编码数据的编码率控制量化单元105的量化操作的速率，以免产生上溢或下溢。

编码控制单元121控制可逆编码单元106的编码处理。此时，编码控制单元121执行这样的确定：是否在合并模式下执行编码。

另外，编码控制单元121也在除合并模式之外的模式(例如，跳跃模式、帧内预测模式、帧间预测模式、直接模式等)下执行编码处理的控制。

可逆编码单元106在由编码控制单元121选择的模式下执行可逆编码处理。

[编码单元]

同时，在AVC编码方法中，宏块或通过将宏块分割为多个块而获得的子宏块被用作预测处理或编码处理的处理单位。然而，针对可能是下一代编码方法的目标的超高清晰度(UHD；4000像素×2000像素)的大帧，设置16像素×16像素的宏块大小不是最佳的。

这里，当前，为了AVC的编码效率的进一步提高，正在由联合协作团队-视频编码(JCTVC)进行被称为高效率视频编码(HEVC)的编码方法的标准化，JCTVC是国际电信联盟电信标准化部门(ITU-T)和国际标准化组织(ISO)/国际电工委员会(IEC)的联合标准化组织。

在AVC中，定义了具有宏块和子宏块的分层结构，但在HEVC中，如图2中所示定义编码单元(CU)。

CU也被称为编码树块(CTB)，并且是图片单位的图像的部分区域，它与AVC的宏块具有相同的作用。尽管在后者方法中的大小被固定为16×16像素的大小，但在前者方法中的大小不是固定的并且在各序列的图像压缩信息中被指定。

例如，在将要被输出的编码数据中所包括的序列参数集(SPS)中，定义了CU的最大大小(最大编码单元(LCU))及其最小大小(最小编码单元(SCU))。

在每个LCU中，通过在不小于SCU的大小的范围中将split_flag设置为1，可将CU划分为具有更小大小的CU。在图2的示例中，LCU的大小是128，并且最大分层深度是5。在split_flag的值为“1”时，具有2N×2N的大小的CU被划分为具有N×N的大小的CU，具有N×N的大小的CU位于比具有2N×2N的大小的CU的分层低一个级别的分层中。

另外，如图3中所示，CU被划分为预测单元(PU)，每个PU是用作帧内预测或帧间预测的处理单位的区域(图片单位的图像的部分区域)，并且CU被进一步划分为变换单位(TU)，每个TU是用作正交变换的处理单位的区域(图片单位的图像的部分区域)。当前，在HEVC中，除了4×4和8×8之外，还可使用16×16和32×32的正交变换。

在上述HEVC中，在定义了CU并且利用CU作为单位执行各种处理的编码方法的情况下，能够认为AVC的宏块对应于LCU。然而，由于如图2中所示CU具有分层结构，所以通常将最高分层中的LCU的大小设置为大于AVC的宏块，例如，设置为128×128像素。

本技术还能够被应用于使用CU、PU和TU而不是宏块的编码方法。也就是说，用于执行预测处理的处理单位可以是任意区域。也就是说，在下面的描述中，不仅宏块或子宏块被包括在预测处理的待处理的区域(也被称为对应区域或目标区域)或周围区域(周围区域是位于对应区域周围的区域)中，CU、PU和TU也被包括在预测处理的待处理的区域或周围区域中。

[运动分割的合并]

同时，提出如图4中所示的被称为运动分割合并的方法(合并模式)作为运动信息的编码方法之一。在这种方法中，发送两个标记(Merge_Flag和Merge_Left_Flag)作为合并信息(合并信息是与合并模式相关的信息)。

Merge_Flag＝1显示：对应区域X的运动信息与与对应区域的上部分相邻的周围区域T或与对应区域的左部分相邻的周围区域L的运动信息相同。此时，合并信息包括Merge_Left_Flag并且被发送。Merge_Flag＝0显示：对应区域X的运动信息与周围区域T和周围区域L的运动信息都不同。在这种情况下，发送对应区域X的运动信息。

在对应区域X的运动信息与周围区域L的运动信息相同的情况下，Merge_Flag＝1并且Merge_Left_Flag＝1。在对应区域X的运动信息与周围区域T的运动信息相同的情况下，Merge_Flag＝1并且Merge_Left_Flag＝0。

[可逆编码单元和编码控制单元]

图5是显示可逆编码单元106和编码控制单元121的主要配置示例的方框图。

如图5中所示，可逆编码单元106包括网络抽象层(NAL)编码单元131和CU数据编码单元132。

NAL编码单元131对NAL的数据(诸如，序列参数集(SPS)、图片参数集(PPS)和片头)进行编码。CU数据编码单元132对比CU更低的分层(视频编码层(VCL))中的数据进行编码。

CU数据编码单元132包括跳跃标记编码单元141、跳跃模式编码单元142、合并标记编码单元143和合并模式编码单元144。CU数据编码单元132还包括PredMode(预测模式)编码单元145、帧内编码单元146、帧间编码单元147和直接模式编码单元148。

跳跃标记编码单元141产生显示是否采用跳跃模式的跳跃标记并且根据编码控制单元121的控制执行编码。跳跃模式编码单元142根据编码控制单元121的控制在跳跃模式下执行编码处理。

合并标记编码单元143根据编码控制单元121的控制产生显示是否采用合并模式的MergeFlag(合并标记)并且对其进行编码。合并跃模式编码单元144根据编码控制单元121的控制在合并模式下执行编码处理。

PredMode编码部分145根据编码控制单元121的控制对作为显示预测模式的参数的PredMode(预测模式)进行编码。帧内编码单元146根据编码控制单元121的控制执行与使用帧内预测产生的差图像的编码相关的处理。帧间编码单元147根据编码控制单元121的控制执行与使用帧间预测产生的差图像的编码相关的处理。直接模式编码单元148根据编码控制单元121的控制执行与使用直接模式产生的差图像的编码相关的处理。

[编码处理的流程]

接下来，将描述由上述图像编码装置100执行的每个处理的流程。首先，将参照图6的流程图描述编码处理的流程的示例。

在步骤S101中，A/D转换单元101执行输入图像的A/D转换。在步骤S102中，画面重新布置缓冲器102存储经A/D转换的图像，并且执行从显示每个图片的顺序至被编码的顺序的重新布置。

在步骤S103中，帧内预测单元114按照帧内预测模式执行帧内预测处理。在步骤S104中，运动预测补偿单元115按照帧间预测模式执行用于执行运动预测或运动补偿的帧间运动预测处理。

在步骤S105中，预测图像选择单元116基于从帧内预测单元114和运动预测补偿单元115输出的每个成本函数值确定最佳模式。也就是说，预测图像选择单元116选择由帧内预测单元114产生的预测图像和由运动预测补偿单元115产生的预测图像中的任何一个。

在步骤S106中，计算单元103计算通过步骤S102的处理重新布置的图像与通过步骤S105的处理选择的预测图像之间的差。与原始图像数据的数据量相比，差数据的数据量减小。因此，与按原样编码图像的情况相比，可压缩该数据量。

在步骤S107中，正交变换单元104对通过步骤S106的处理产生的差信息执行正交变换。详细地说，执行诸如离散余弦变换或Karhunen-Loeve变换的正交变换，并且输出变换系数。

在步骤S108中，量化单元105将通过步骤S107的处理获得的变换系数量化。

如下地对通过步骤S108的处理量化的差信息进行本地解码。也就是说，在步骤S109中，逆量化单元108利用对应于量化单元105的属性的属性，将通过步骤S108的处理产生和量化的变换系数(也被称作量化系数)逆量化。在步骤S110中，逆正交变换单元109利用对应于正交变换单元104的属性的属性，对通过步骤S107的处理获得的变换系数执行逆正交变换，将差信息本地解码，并且将差信息供应至计算单元110。

在步骤S111中，计算单元110将预测图像添加至经本地解码的差信息，并产生经本地解码的图像(对应于输入到计算单元103的图像)。在步骤S112中，环路滤波器111针对通过步骤S111的处理获得的经本地解码的图像，合适地执行包括去块滤波处理或适应性环路滤波处理的环路滤波处理。

在步骤S113中，帧存储器112存储通过步骤S112的处理而经过了环路滤波处理的解码图像。另外，还将未经过环路滤波器111的滤波处理的图像从计算单元110供应至帧存储器112并存储在帧存储器112中。

在步骤S114中，可逆编码单元106编码通过步骤S108的处理量化的变换系数(量化系数)。也就是说，针对差图像执行诸如可变长度编码或算术编码的可逆编码。

另外，可逆编码单元106编码在步骤S108中计算的量化的参数，并将量化的参数添加(包括)至编码数据。另外，可逆编码单元106编码与通过步骤S105的处理选择的预测图像的预测模式有关的信息，并将该信息添加至通过编码差图像获得的编码数据。也就是说，可逆编码单元106还编码从帧内预测单元114供应的最佳帧内预测模式信息、从运动预测补偿单元115供应的基于最佳帧内预测模式信息的信息等，并将信息添加至编码数据。

在步骤S115中，累积缓冲器107累积通过步骤S114的处理获得的编码数据。合适地读出在累积缓冲器107中累积的编码数据，并将其通过传输路径或记录介质发送至解码侧。

在步骤S116中，速率控制单元117基于通过步骤S115的处理在累积缓冲器107中累积的编码数据的编码率(产生的编码率)控制量化单元105的量化操作的速率，从而不产生上溢或下溢。

当步骤S116的处理结束时，编码处理结束。

另外，在步骤S114中，可逆编码单元106根据编码控制单元121的控制执行编码处理。

[可逆编码处理的流程]

接着，将参照图7的流程图描述在图6的步骤S114中执行的可逆编码处理的流程的示例。如图7所示，针对图像的每个分层执行可逆编码处理。

也就是说，NAL编码单元131在步骤S121中产生并编码SPS，在步骤S122中产生并编码PPS，以及在步骤S123中产生并编码片头。在步骤S124中，CU数据编码单元132编码作为处理目标的对应的CU。

CU数据编码单元132针对作为处理目标的对应的片中的所有CU重复步骤S124的处理。在步骤S125中，在确定对应的片中不存在未处理的CU的情况下，CU数据编码单元132允许处理前进至步骤S126。

NAL编码单元131针对作为处理目标的对应的图片中的所有片重复步骤S123至步骤S125的处理。在步骤S126中，在确定对应的图片中不存在未处理的片的情况下，NAL编码单元131允许处理前进至步骤S127。

NAL编码单元131针对作为处理目标的对应的序列中的所有图片重复步骤S122至步骤S126的处理。在步骤S127中，在确定对应的序列中不存在未处理的图片的情况下，NAL编码单元131允许可逆编码处理结束，并且处理返回至图6。

[CU编码处理的流程]

接着，将参照图8和图9的流程图描述在图7的步骤S124中执行的CU编码处理的流程的示例。

当CU编码处理开始时，在步骤S131中，编码控制单元121根据由NAL编码单元131产生的NAL数据确定对应的片的类型，并且确定对应的片是否为I片。仅在对应的片不是I片(为P片或B片)的情况下，在步骤S132中，跳跃标记编码单元141产生跳跃标记并且编码该跳跃标记。

在步骤S133中，在编码控制单元121确定跳跃标记的值为1的情况下，在步骤S134中，已从编码控制单元121获得其确定结果的跳跃模式编码部分142按照跳跃模式编码CU数据。当编码结束时，CU编码处理结束，并且处理返回至图7。

另外，在图8的步骤S133中，在编码控制单元121确定跳跃标记的值为0或者不存在跳跃标记的情况下，编码控制单元121允许处理前进至步骤S135。在这种情况下，不执行跳跃模式的编码。

合并标记编码部分143在步骤S135中产生并编码合并标记。

在步骤S136中，在编码控制单元121确定合并标记的值为1的情况下，在步骤S137中，已从编码控制单元121获得其确定结果的合并模式编码部分144按照合并模式编码CU数据。当编码结束时，CU编码处理结束，并且处理返回至图7。

另外，在图8的步骤S136中，在编码控制单元121确定合并标记的值为0或不存在合并标记的情况下，处理前进至图9的流程图并且执行基于采用的预测模式的编码。

也就是说，仅在编码控制单元121在图9的步骤S141中确定作为处理目标的对应的片不是I片的情况下，PredMode编码部分145在步骤S142中产生并编码作为示出对应的片的预测模式的类型的参数的pred_mode。

在编码控制单元121在步骤S143中参照PredMode确定对应的区域的预测模式为帧内预测模式的情况下，帧内编码部分146在步骤S144中按照帧内预测模式编码CU数据。也就是说，差图像信息(量化系数)、关于帧内预测模式的信息等被编码。当编码结束时，CU编码处理结束，并且处理返回至图7。

另外，在编码控制单元121确定对应的区域的预测模式为帧间预测模式而不是帧内预测模式(步骤S143和步骤S145)的情况下，帧间编码部分147在步骤S146中按照帧间预测模式编码CU数据。也就是说，差图像信息(量化系数)、关于帧间预测模式的信息等被编码。当编码结束时，CU编码处理结束，并且处理返回至图7。

另外，在编码控制单元121确定对应的区域的预测模式既非帧内预测模式也非帧间预测模式(步骤S143和步骤S145)的情况下，直接模式编码部分148在步骤S147中按照直接预测模式编码CU数据。当编码结束时，CU编码处理结束，并且处理返回至图7。

[图像解码装置]

图10是示出图像解码装置的主要配置示例的框图。图10所示的图像解码装置200通过对应于其编码方法的解码方法解码由图像编码装置100产生的编码数据。另外，图像解码装置200按照与图像编码装置100的方式相同的方式针对每个任意区域(例如，预测单元(PU)等)执行预测处理。

如图10所示，图像解码装置200包括累积缓冲器201、可逆解码单元202、逆量化单元203、逆正交变换单元204、计算单元205、环路滤波器206、画面重新布置缓冲器207和D/A转换单元208。图像解码装置200还包括帧存储器209、选择单元210、帧内预测单元211、运动预测补偿单元212和选择单元213。

图像解码装置200还包括解码控制单元221。

累积缓冲器201累积发送的编码数据，并在预定时刻将编码数据供应至可逆解码单元202。可逆解码单元202通过对应于可逆编码单元106的编码方法的方法将通过累积缓冲器201供应并通过图1的可逆编码单元106编码的信息解码。可逆解码单元202将通过解码获得的差图像的量化系数供应至逆量化单元203。

另外，可逆解码单元202确定针对最佳预测模式选择了帧内预测模式还是选择了帧间预测模式，并将关于最佳预测模式的信息供应至帧内预测单元211和运动预测补偿单元212中的具有确定被选择的模式的单元。也就是说，例如，在图像编码装置100中选择帧间预测模式作为最佳预测模式的情况下，将关于最佳预测模式的信息供应至运动预测补偿单元212。

逆量化单元203通过对应于图1的量化单元105的量化方法的方法逆量化通过可逆解码单元202执行的解码获得的量化系数，并将获得的变换系数供应至逆正交变换单元204。

逆正交变换单元204通过对应于图1的正交变换单元104的正交变换方法的方法对从逆量化单元203供应的变换系数执行逆正交变换。通过该逆正交变换处理，逆正交变换单元204获得与在图像编码装置100中经过正交变换之前的残余数据对应的解码的残余数据(与通过图像编码装置100的逆正交变换单元109输出的经本地解码的差信息相同的数据)。

将通过执行逆正交变换获得的解码的残余数据供应至计算单元205。另外，通过选择单元213将预测图像从帧内预测单元211或运动预测补偿单元212供应至计算单元205。

计算单元205将解码的残余数据与预测图像相加，并获得与通过图像编码装置100的计算单元103对预测图像执行减法之前的图像数据对应的解码图像数据。计算单元205将解码图像数据供应至环路滤波器206。

环路滤波器206针对供应的解码图像合适地执行包括去块滤波处理或适应性环路滤波处理的环路滤波处理，并将其供应至画面重新布置缓冲器207。

环路滤波器206包括去块滤波器、适应性环路滤波器等，并针对从计算单元205供应的解码图像执行合适的滤波处理。例如，环路滤波器206通过针对解码图像执行去块滤波处理去除解码图像的块失真。另外，例如，环路滤波器206通过利用威纳滤波器针对去块滤波处理的结果(其中去除了块失真的解码图像)执行环路滤波处理来执行图像质量提高。

另外，环路滤波器206可针对解码图像执行任意滤波处理。另外，环路滤波器206可利用从图1的图像编码装置100供应的滤波系数执行滤波处理。

环路滤波器206将滤波处理结果(在滤波处理之后的解码图像)供应至画面重新布置缓冲器207和帧存储器209。另外，可不使用环路滤波器206将从计算单元205输出的解码图像供应至画面重新布置缓冲器207或帧存储器209。也就是说，可省略通过环路滤波器206执行的滤波处理。

画面重新布置缓冲器207执行图像的重新布置。也就是说，针对通过图1的画面重新布置缓冲器102编码的顺序重新布置的帧的顺序被重新布置为原始显示的顺序。D/A转换单元208对从画面重新布置缓冲器207供应的图像执行D/A转换，输出到并在显示器(未示出)上显示图像。

帧存储器209存储供应的解码图像，并在预定时刻或基于帧内预测单元211或运动预测补偿单元212的外部请求将存储的解码图像作为参考图像供应至选择单元210。

选择单元210选择从帧存储器209供应的参考图像的供应目的地。在对经过了帧内编码的图像进行解码的情况下，选择单元210将从帧存储器209供应的参考图像供应至帧内预测单元211。另外，在对经过了帧间编码的图像进行解码的情况下，选择单元210将从帧存储器209供应的参考图像供应至运动预测补偿单元212。

示出通过解码包括在编码数据中的头信息获得的帧内预测模式的信息等被从可逆解码单元202合适地供应至帧内预测单元211。帧内预测单元211利用从帧存储器209获得的参考图像，按照在图1的帧内预测单元114中使用的帧内预测模式执行帧内预测，并产生预测图像。帧内预测单元211将产生的预测图像供应至选择单元213。

运动预测补偿单元212从可逆解码单元202获得通过解码头信息得到的信息(最佳预测模式信息、差信息、预测运动向量信息的码号等)。

运动预测补偿单元212利用从帧存储器209获得的参考图像，按照在图1的运动预测补偿单元115中使用的帧间预测模式执行帧间预测，并产生预测图像。

解码控制单元221控制可逆解码单元202的解码处理。由于可逆解码单元202基本上通过对应于图1的可逆编码单元106的方法执行解码处理，因此解码控制单元221的控制方法与图1的编码控制单元121的控制方法基本相同。由于在编码侧和解码侧使用相同的控制方法，因此解码控制单元221可选择对应于由编码控制单元121选择的编码方法的解码方法，并且可进行控制以便正确地执行解码处理。

也就是说，解码控制单元221执行关于是否按照合并模式执行解码的确定。

另外，解码控制单元221还按照除合并模式以外的模式(例如，跳跃模式、帧内预测模式、帧间预测模式、直接模式等)执行对解码处理的控制。

可逆解码单元202按照由解码控制单元221选择的模式执行可逆解码处理。

[可逆解码单元和解码控制单元]

图11是示出可逆解码单元202和解码控制单元221的主要配置示例的框图。

如图11所示，可逆解码单元202包括NAL解码单元231和CU数据解码单元232。

NAL解码单元231解码诸如序列参数集、图片参数集、片头等的NAL的编码数据。CU数据解码单元232在比CU更低的分层中解码编码数据。

CU数据解码单元232包括跳跃标记解码单元241、跳跃模式解码单元242、合并标记解码单元243和合并模式解码单元244。CU数据解码单元232还包括PredMode(预测模式)解码单元245、帧内解码单元246、帧间解码单元247和直接模式解码单元248。

跳跃标记解码单元241根据解码控制单元221的控制解码跳跃标记。跳跃模式解码单元242根据解码控制单元221的控制按照跳跃模式执行解码处理。

合并标记解码单元243根据解码控制单元221的控制解码合并标记(MergeFlag)。合并模式解码单元244根据解码控制单元221的控制按照合并模式执行解码处理。

PredMode解码部分245根据解码控制单元221的控制解码PredMode。帧内解码单元246根据解码控制单元221的控制执行关于解码通过利用帧内预测产生的差图像的编码数据的处理。帧间解码单元247根据解码控制单元221的控制执行关于解码通过利用帧间预测产生的差图像的编码数据的处理。直接模式解码单元248根据解码控制单元221的控制执行关于解码通过利用直接模式产生的差图像的编码数据的处理。

[解码处理的流程]

接着，将描述通过上述图像解码装置200执行的每个处理的流程。首先，将参照图12的流程图描述解码处理的流程的示例。

如果开始解码处理，则在步骤S201中，累积缓冲器201累积发送的编码数据(编码流)。在步骤中S202，可逆解码单元202解码从累积缓冲器201供应的编码数据。也就是说，通过图1的可逆编码单元106编码的I图片、P图片和B图片被解码。另外，除包括在编码数据中的差图像信息之外的诸如差运动信息、预测运动向量信息的码号、合并信息等的各个信息项也被解码。

在步骤S203中，逆量化单元203逆量化通过步骤S202的处理获得的量化的变换系数(量化系数)。在步骤S204中，逆正交变换单元204对在步骤S203中逆量化的变换系数执行逆正交变换。

在步骤S205中，帧内预测单元211或运动预测补偿单元212利用供应的信息执行预测处理。在步骤S206中，选择单元213选择在步骤S205中产生的预测图像。在步骤S207中，计算单元205将在步骤S206中选择的预测信息添加至通过在步骤S204中执行逆正交变换获得的差信息。因此，获得解码图像。

在步骤S208中，环路滤波器206针对在步骤S207中获得的解码图像合适地执行包括去块滤波处理或适应性环路滤波处理的环路滤波处理。

在步骤S209中，画面重新布置缓冲器207对在步骤S208中经过滤波处理的图像执行重新布置。也就是说，通过图像编码装置100的画面重新布置缓冲器102编码而重新布置的帧的顺序被重新布置为原始显示顺序。

在步骤S210中，D/A转换单元208对其中帧的顺序在步骤S209中被重新布置的图像执行D/A转换。将该图像输出至显示器(未示出)并且显示该图像。

在步骤S211中，帧存储器209存储在步骤S208中经过滤波处理的图像。该图像在步骤S205中用于产生作为参考图像的预测图像(预测处理)。

当步骤S211的处理结束时，解码处理结束。

[可逆解码处理的流程]

接着，将参照图13的流程图描述在图12的步骤S202中执行可逆解码处理的流程的示例。

按照与可逆编码处理的情况中的相同的方式针对图像的每个分层执行该可逆解码处理。

也就是说，NAL解码单元231在步骤S221中解码SPS的编码数据，在步骤S222中解码PPS的编码数据，并且在步骤S223中解码片头的编码数据。在步骤S224中，CU数据解码单元232解码作为处理目标的对应的CU。

CU数据解码单元232针对作为处理目标的对应的片中的所有CU重复步骤S224的处理。在步骤S225中，在确定对应的片中不存在未处理的CU的情况下，CU数据解码部232允许处理前进至步骤226。

NAL解码单元231针对作为处理目标的对应的图片中的所有片重复步骤S223至步骤S225的处理。在步骤S226中，在确定对应的图片中不存在未处理的片的情况下，NAL解码单元231允许处理前进至步骤S227。

NAL解码单元231针对作为处理目标的对应的序列中的所有图片重复步骤S222至步骤S226的处理。在步骤S227中，在确定对应的序列中不存在未处理的图片的情况下，NAL解码单元231允许可逆解码处理结束，并且处理返回至图12。

[CU解码处理]

接着，将参照图14和图15的流程图描述在图13的步骤S224中执行的CU解码处理的流程的示例。

当CU解码处理开始时，在步骤S231中，解码控制单元221根据通过NAL解码单元231解码的NAL数据确定对应的片的类型，并确定对应的片是否为I片。

在对应的片不是I片(为P片或B片)的情况下，跳跃标记解码部分241在步骤S232中解码跳跃标记。在确定对应的片为I片的情况下，不编码跳跃标记，因此省略该处理。

在解码控制单元221在步骤S233中确定跳跃标记存在且其值为1的情况下，跳跃模式解码部分242在步骤S234中按照跳跃模式解码CU数据。当解码CU数据时，跳跃模式解码部分242允许CU解码处理结束，并且处理返回至图13。

在解码控制单元221在步骤S233中确定不存在跳跃标记或者其值为0的情况下，合并标记解码部分243在步骤S235中解码合并标记。

在解码控制单元221在步骤S236中确定合并标记存在且其值为1的情况下，合并模式解码部分244在步骤S237中按照合并模式解码CU数据。当解码CU数据时，合并模式解码部分244允许CU解码处理结束，并且处理返回至图13。

在解码控制单元221在步骤S238中确定不存在合并标记或者其值为0的情况下，处理前进至图15。

在这种情况下，通过基于预测模式的方法解码CU数据。也就是说，在解码控制单元221在图15的步骤S241中确定对应的片不是I片的情况下，PredMode解码部分245在步骤S242中解码pred_mode(PredMode)。在确定对应的片为I片的情况下，不编码pred_mode，因此省略其处理。

在解码控制单元221在S243步骤中确定对应的区域的预测模式为帧内预测模式的情况下，帧内解码部分246在步骤S244中按照帧内预测模式执行解码(通过合适的方法解码按照帧内预测模式编码的CU数据)。当解码CU数据时，帧内解码部分246允许CU解码处理结束，并且处理返回至图13。

另外，在解码控制单元221在步骤S243中确定对应的区域的预测模式不是帧内预测模式并且在步骤S245中确定其预测模式为帧间预测模式的情况下，帧间解码部分247在步骤S246中按照帧间预测模式执行解码(通过合适的方法解码按照帧间预测模式编码的CU数据)。当解码CU数据时，帧间解码部分247允许CU解码处理结束，并且处理返回至图13。

另外，在解码控制单元221在步骤S243中确定对应的区域的预测模式不是帧内预测模式并且在步骤S245中确定其预测模式不是帧间预测模式的情况下，直接模式解码部分248在步骤S247中按照直接预测模式执行解码(通过合适的方法解码按照直接预测模式编码的CU数据)。当解码CU数据时，直接模式解码部分248允许CU解码处理结束，并且处理返回至图13。

[应用本技术的图像处理设备的一个实施例]

图16是示出应用本技术的图像处理设备的一个实施例的配置示例的框图。

在图16中，图像处理设备包括编码器1000和解码器2000。另外，编码器1000和解码器2000可在一个独立设备中作为分离的块安装，或者可分别安装在分离的独立的设备中。另外，编码器1000和解码器2000的每一个可被配置为一个独立的设备。

编码器1000与图1的图像编码装置100按照相同的方式配置。

也就是说，在编码器1000中，输入图片缓冲器1001对应于图1的画面重新布置缓冲器102，而计算单元1002对应于图1的计算单元103。正交变换单元1003对应于图1的正交变换单元104，而量化单元1004对应于图1的量化单元105。熵编码单元1005对应于图1的可逆编码单元106，而逆量化单元1006对应于图1的逆量化单元108。逆正交变换单元1007对应于图1的逆正交变换单元109，而计算单元1008对应于图1的计算单元110。去块滤波器1009、适应性采样偏移单元1010、适应性采样偏移估计单元1011、适应性环路滤波器1012和适应性环路滤波器估计单元1013对应于图1的环路滤波器111，而解码图片缓冲器(DPB)1014对应于图1的帧存储器112。帧内方向估计单元1015和帧内预测单元1016对应于图1的帧内预测单元114，而运动估计单元1017和帧间预测单元1018对应于图1的运动预测补偿单元115。模式确定单元1019对应于图1的预测图像选择单元116。

另外，编码器1000与图1的图像编码装置100的不同之处在于：新设置了设置单元1021；帧间预测单元1018利用由设置单元1021输出的信息执行处理；以及设置单元1021输出的信息被包括在熵编码单元1005中的编码数据中。

另外，在图16的编码器1000中，在附图中省略了对应于图1的A/D转换单元101、累积缓冲器107、速率控制单元117和编码控制单元121的块。

解码器2000与图10的图像解码装置200按照相同的方式配置。

也就是说，在解码器2000中，熵解码单元2001对应于图10的可逆解码单元202，而逆量化单元2002对应于图10的逆量化单元203。逆正交变换单元2003对应于图10的逆正交变换单元204，而计算单元2004对应于图10的计算单元205。去块滤波器2005、适应性采样偏移单元2006和适应性环路滤波器2007对应于图10的环路滤波器206，而DPB2008对应于图10的帧存储器209。帧内预测单元2009对应于图10的帧内预测单元211，而帧间预测单元2010对应于图10的运动预测补偿单元212。模式选择单元2011对应于图10的选择单元213。

另外，解码器2000与图10的图像解码装置200的不同之处在于，帧间预测单元2010利用包括在由编码器1000获得的编码数据中并且由设置单元1021输出的信息执行处理。

另外，在图16的解码器2000中，在附图中省略了对应于图10的累积缓冲器201、画面重新布置缓冲器207、D/A转换单元208和解码控制单元221的块。

在如上述配置的图16的图像处理设备中，在编码器1000中按照与图1的图像编码装置100的方式相同的方式编码图像和发送作为其结果获得的编码数据(编码流)。

然而，在编码器1000中，设置单元1021设置并输出预定信息。设置单元1021输出的信息(下文中，也被称作设置信息)被供应至帧间预测单元1018和熵编码单元1005。

帧间预测单元1018基于来自设置单元1021的设置信息产生预测图像。根据需要，该预测图像在计算单元1002至熵编码单元1005中用于诸如CU、PU、PU分区和TU的图像块的编码(预测编码)。

另外，熵编码单元1005在编码数据中包括来自设置单元1021的设置信息，并发送设置信息。

同时，解码器2000接收从编码器1000发送的编码数据和按照与图10的图像解码装置200的方式相同的方式将编码数据解码为图像。

然而，在解码器2000中，熵解码单元2001将设置信息从编码数据中分离，并将设置信息供应至帧间预测单元2010。

帧间预测单元2010基于来自熵解码单元2001的设置信息产生预测图像。该预测图像用于解码在熵解码单元2001至计算单元2004中经过预测编码的图像块。

在图16的图像处理设备中，例如针对由设置单元1021设置的设置信息使用识别信息、限制信息等。

下文中，将描述识别信息和限制信息。

[识别信息]

首先，将描述在设置单元1021中设置的识别信息。

这里，如上所述，合并模式是一种发送标记(标记信息)而不是运动信息(预测方向、运动向量或参考索引)(而不发送运动信息)的技术，并且可提高编码效率。

合并模式可关于CU单元和PU单元二者的块单元使用，并且将在下面描述的技术可应用于通过CU单元和PU单元二者的块单元执行的任何合并模式。

现在，作为在编码器1000中的编码目标的块(对应的区域)被称作目标块。

在合并模式中，从在空间上和在时间上靠近目标块的区域(周边区域)中选择作为将要与目标块合并的区域的合并区域的候选(下文中，也被称作合并候选)。然后，从合并候选中选择(将成为合并区域的合并候选)合并区域以增大编码效率，并且在编码流(编码数据)中包括指示其合并区域的merge_idx。

另外，merge_idx描述如下。

merge_idx[x0][y0]指明合并候选列表的合并候选索引，其中x0、y0指明考虑的预测块的左上亮度样本相对于图片的左上亮度样本的位置(x0，y0)。

merge_idx是指示将成为合并区域的区域的信息(或该区域的运动信息)，其代替上述Merge_Left_Flag使用。Merge_Left_Flag指示位于目标块左部或上部的区域，但根据merge_idx，还可指示在其它位置的区域。

然而，在编码器1000的运动补偿(MC)中，如果频繁发生对存储解码图像的DPB1014的访问，则作为从DPB1014中读出解码图像的传输速率的存储器带宽的范围增大。

也就是说，作为用于MC中的预测图像的预测，在执行L0预测和L1预测二者(下文中，也被称作双向预测(双预测))而非L0预测和L1预测中的一个预测(下文中，也被称作单向预测(单预测))的情况下，或者在目标块的块大小较小的情况下，存储器带宽的范围增大。

然而，当尝试确保大范围的带宽(高速率)作为存储器带宽时，编码器1000的成本增加。这也按照相同方式应用于包括DPB2008的解码器2000。

上文中，在安装编码器1000和解码器2000的过程中，MC中需要的最大存储器带宽(下文中，也被称作最大必要带宽)成为瓶颈。

作为一种减小最大必要带宽的范围的方法，例如，提出了一种禁止使用小尺寸的块的方法，或者一种禁止根据块的尺寸使用双向预测的方法。然而，在针对大小小于预定大小的小的块禁止使用双向预测的情况下，当所有合并候选处于将进行双向预测的区域中时，针对大小小于预定大小的块不能选择将成为合并区域的合并候选，结果，不能使用合并模式，并且编码效率会降低。

这里，在编码器1000中，通过在设置单元1021中设置识别信息抑制最大必要带宽，并且基于识别信息在帧间预测单元1018中执行预测(预测图像的产生)。

这里，识别信息是用于识别图像的块的大小和应用于块的预测方法的改变之间的对应关系的信息，并且作为识别信息，可例如采用将在后面描述的第一信息、第二信息和第三信息中的任一个。

可采用作为识别信息的第一信息是disable_bip_small_mrg_idc信息(标记)，并且disable_bip_small_mrg_idc信息可具有0、1、2和3这四个值。

图17是示出disable_bip_small_mrg_idc信息的示图。

具有各个值的disable_bip_small_mrg_idc信息指示其中预测方法改变的块(这里，例如，PU分区)的大小(块大小)，以应用单向预测而非双向预测。

也就是说，值为0的disable_bip_small_mrg_idc信息指示不管目标块的PU分区的块大小如何，合并候选的预测方法都不变。

值为1的disable_bip_small_mrg_idc信息指示，在目标块的PU分区的块大小为4×4(宽度像素×高度像素的数量)的情况下，应用双向预测的合并候选的预测方法改变(被取代)，以便应用单向预测而非双向预测，并且执行合并模式的处理。

这里，应用双向预测的合并候选的预测方法改变以应用单向预测而非双向预测并且执行合并模式的处理的事实意味着应用双向预测的合并候选的预测方法实际上不改变为单向预测，而是假定按照单向预测执行合并候选的预测，并且关于单向预测的运动信息用于目标块(其PU分区)的处理。因此，通过使用针对合并候选确定(选择)的预测方法而不改变，来执行(非目标块而是)合并候选本身的预测。

在设置了值为1的disable_bip_small_mrg_idc的情况下，将应用双向预测的合并候选的预测方法改变，从而应用单向预测而非双向预测，并且针对块大小为4×4的PU分区执行合并模式的处理。

因此，例如，在块大小为4×4的PU分区中禁止使用双向预测的情况下，即使所有合并候选是双预测的区域，双向预测也改变为单向预测，并且执行合并模式的处理。

结果，由于在具有预定大小或更小的PU分区中禁止使用双向预测的情况下不能使用合并模式，因此可防止编码效率降低。

这里，改变在合并模式中将合并候选从双向预测改变为单向预测的预测方法的损失小于不能使用合并模式的损失。

值为2的disable_bip_small_mrg_idc信息指示，在目标块的PU分区的块大小为4×4、8×4和4×8中的任一个的情况下，应用双向预测的合并候选的预测方法改变，从而应用单向预测而非双向预测，并且执行合并模式的处理。

值为3的disable_bip_small_mrg_idc信息指示，在目标块的PU分区的块大小为4×4、8×4、4×8和8×8中的任一个的情况下，应用双向预测的合并候选的预测方法改变，从而应用单向预测而非双向预测，并且执行合并模式的处理。

这里，可采用除上述4×4、8×4、4×8和8×8之外的块大小作为其中合并候选的预测方法改变以应用单向预测而非双向预测的PU分区的块大小。

另外，disable_bip_small_mrg_idc信息采用的值不限于0至3这四个值。

另外，双向预测是执行例如L0预测和L1测二者的预测，代替双向预测应用于合并候选的单向预测是作为双向预测的L0预测和L1预测中的任一个。

在使用作为第一信息的disable_bip_small_mrg_idc信息的情况下，需要事先确定将L0预测和L1预测中的哪一个设为代替双向预测应用于合并候选的单向预测，并且使编码器1000和解码器2000中的预测统一。

图18是示出在使用disable_bip_small_mrg_idc信息作为第一实施例的情况下通过编码器1000和解码器2000执行的处理的概要的流程图。

在编码器1000中，在步骤S1001中，设置单元1021例如基于DPB1014的存储器带宽的最大值针对目标块设置disable_bip_small_mrg_idc信息，并将信息供应至帧间预测单元1018和熵编码单元1005。

在步骤S1002中，帧间预测单元1018在合并模式中执行处理，并且还基于来自设置单元1021的disable_bip_small_mrg_idc信息执行预测图像的产生。也就是说，在执行合并模式中的处理(编码)的情况下，帧间预测单元1018基于来自设置单元1021的disable_bip_small_mrg_idc信息产生预测图像。

另外，设置单元1021随着DPB1014的存储器带宽的最大值变小设置具有较大值的disable_bip_small_mrg_idc信息。因此，随着DPB1014的存储器带宽的最大值变小，PU分区的合并候选的预测方法从双向预测改变为单向预测，直至PU分区具有较大的块大小，并且抑制当从DPB1014读出解码图像以产生预测图像时的存储器带宽。

如上所述，抑制了当从DPB1014读出解码图像时的存储器带宽被，因此可防止编码器1000的成本增加。

在步骤S1003中，计算单元1002至熵编码单元1005根据需要通过利用在步骤S1002中产生的预测图像来编码目标块。

在步骤S1004中，熵编码单元1005在编码数据中包括(例如，多路复用)来自设置单元1021的disable_bip_small_mrg_idc信息，并发送该信息。

另外，熵编码单元1005可在例如编码数据(编码流)的SPS、PPS、APS或片头中包括disable_bip_small_mrg_idc信息。

相反，在解码器2000中，在步骤S1011中，熵解码单元2001接收包括disable_bip_small_mrg_idc信息的编码数据。另外，熵解码单元2001从编码数据中分离disable_bip_small_mrg_idc信息，并将信息供应至帧间预测单元2010。

在步骤S1012中，帧间预测单元2010执行合并模式的处理，并且还基于disable_bip_small_mrg_idc信息按照与帧间预测单元1018相同的方式执行预测图像的产生。也就是说，在执行合并模式的处理(编码)的情况下，帧间预测单元2010基于来自熵解码单元2001的disable_bip_small_mrg_idc信息产生预测图像。

另外，在步骤S1013中，熵解码单元2001至计算单元2004通过利用在步骤S1012中产生的预测图像根据需要来解码在步骤S1021中接收到的编码数据。

另外，在编码器1000中，设置单元1021可响应于诸如编码器1000的操作员的用户执行的操纵设置disable_bip_small_mrg_idc信息。

另外，在编码器1000中，通过使用各个值的存储器带宽作为最大必要带宽，可根据各个值的最大必要带宽定义用于调节解码器的处理量的档次或级别，并且档次和级别信息(profile_idc和level_idc)可被包括在编码数据中。

这里，profile_idc和level_idc描述如下。

profile_idc和level_idc指示编码的视频序列符合的档次和级别。

因此，profile_idc和level_idc还未详细定义，但是例如可将profile_idc和level_idc定义为在MC中包括最大必要带宽的信息。

例如，可定义profile_idc和level_idc以包括以下信息：所述信息例如是PU分区的块大小的最小值、是否使用双向预测、以及PU分区的块大小的最小值与是否使用双向预测的组合。

在设置单元1021中，例如，如上所述，基于DPB1014的存储器带宽的最大值设置disable_bip_small_mrg_idc信息。

另外，在编码器1000中，根据profile_idc或level_idc禁止使用块大小等于或小于预定大小的PU分区，或禁止块大小等于或小于预定大小的PU分区应用双向预测。

然而，例如，虽然禁止块大小为4×4的PU分区应用双向预测，在设置了值为1的disable_bip_small_mrg_idc信息的情况下，在编码器1000中，针对4×4的PU分区(块大小)，应用双向预测的合并候选的预测方法改变，从而应用单向预测而非双向预测，并且执行合并模式的处理。

因此，针对禁止应用双向预测的4×4的PU分区，即使所有合并候选是双预测的区域，双向预测也改变为单向预测，因此可执行合并模式的处理。

同样在解码器2000中，应用双向预测的合并候选的预测方法基于disable_bip_small_mrg_idc信息根据需要按照与编码器1000相同的方式从双向预测改变为单向预测。

接着，将描述可被采用作为识别信息的第二信息。

可被采用作为识别信息的第二信息是通过扩展作为第一信息的disable_bip_small_mrg_idc信息获得的disable_bip_small_mrg_idc扩展信息，并且可具有包括例如0、1、2、3、4、5和6的七个值。

图19是示出disable_bip_small_mrg_idc扩展信息的示图。

各个值的disable_bip_small_mrg_idc扩展信息指示其预测方法改变从而应用单向预测而非双向预测的PU分区的块大小，并指示代替双向预测应用的单向预测的预测方向，并且其语义如下。

也就是说，值为0的disable_bip_small_mrg_idc扩展信息指示不管目标块的PU分区的块大小如何，不改变合并候选的预测方法，其方式与值为0的disable_bip_small_mrg_idc信息的方式相同。

值为1或2的disable_bip_small_mrg_idc扩展信息均指示在目标块的PU分区的块大小为4×4的情况下，应用双向预测的合并候选的预测方法改变从而应用单向预测而非双向预测，并且执行合并模式的处理，其方式与值为1的disable_bip_small_mrg_idc信息的方式相同。

另外，值为1的disable_bip_small_mrg_idc扩展信息指示代替双向预测应用的单向预测的预测方向是例如L0预测和L1预测中的L0预测。另外，值为2的disable_bip_small_mrg_idc扩展信息指示代替双向预测应用的单向预测的预测方向是例如L0预测和L1预测中的L1预测。

值为3或4的disable_bip_small_mrg_idc扩展信息均指示在目标块的PU分区的块大小为4×4、8×4和4×8中的任一个的情况下，应用双向预测的合并候选的预测方法改变，从而应用单向预测而非双向预测，并且执行合并模式的处理，其方式与值为2的isable_bip_small_mrg_idc信息的方式相同。

另外，值为3的disable_bip_small_mrg_idc扩展信息指示代替双向预测应用的单向预测的预测方向是例如L0预测和L1预测中的L0预测。另外，值为4的disable_bip_small_mrg_idc扩展信息指示代替双向预测应用的单向预测的预测方向是例如L0预测和L1预测中的L1预测。

值为5或6的disable_bip_small_mrg_idc扩展信息均指示在目标块的PU分区的块大小为4×4、8×4、4×8和8×8中的任一个的情况下，应用双向预测的合并候选的预测方法改变，从而应用单向预测而非双向预测，并且执行合并模式的处理，其方式与值为3的disable_bip_small_mrg_idc信息的方式相同。

另外，值为5的disable_bip_small_mrg_idc扩展信息指示代替双向预测应用的单向预测的预测方向是例如L0预测和L1预测中的L0预测。另外，值为6的disable_bip_small_mrg_idc扩展信息指示代替双向预测应用的单向预测的预测方向是例如L0预测和L1预测中的L1预测。

按照与作为第一信息的disable_bip_small_mrg_idc信息的方式相同的方式，作为第二信息的disable_bip_small_mrg_idc扩展信息不仅指示其预测方法改变从而应用单向预测而非双向预测的PU分区的块大小，而且指示代替双向预测应用的单向预测的预测方向，因此不需要事先确定利用编码器1000和解码器2000设置L0预测和L1预测中的哪一个作为代替双向预测应用于合并候选的单向预测。

当使用disable_bip_small_mrg_idc扩展信息时，除使用disable_bip_small_mrg_idc扩展信息代替disable_bip_small_mrg_idc信息之外，图16的编码器1000和解码器2000的处理与在图18中描述的处理相同，因此将省略其描述。

接着，将描述可采用作为识别信息的第三信息。

可采用作为识别信息的第三信息是包括作为第一信息的disable_bip_small_mrg_idc信息和modify_bip_small_mrg_l0信息的两个信息项。

图20是示出modify_bip_small_mrg_l0信息的示图。

modify_bip_small_mrg_l0信息具有包括例如0和1的两个值，并指示代替双向预测应用的单向预测的预测方向。

也就是说，值为0的modify_bip_small_mrg_l0信息指示代替双向预测应用的单向预测是例如L1预测，并且值为1的modify_bip_small_mrg_l0信息指示代替双向预测应用的单向预测是例如L0预测。

根据第三信息，可通过利用disable_bip_small_mrg_idc信息控制其预测方法改变的PU分区的块大小，以应用单向预测而非双向预测，并且可通过利用modify_bip_small_mrg_l0信息控制代替双向预测应用的单向预测的预测方向。

结果，可在更小的单元中控制参考方向。

在根据单向预测的预测方向(也就是说，参考方向)存在预测质量的差异(预测误差)的情况下，在作为预测目标的目标图片在L1预测中(与L0预测相比)在时间上更靠近参考图片(参考图像)的情况下，L1预测通常往往具有更高的预测质量。在这种情况下，将L1预测用作代替双向预测应用的单向预测，因此可增大编码效率。

另外，在其中当L0预测和L1预测的参考图片被编码时在量化参数QP中存在差异的情况下，预测具有较小量化参数QP的参考图片具有更高的质量。另外，当运动图像的场景改变时，采用其中选择相同的场景的参考方向提高了预定质量。也就是说，在其中存在场景变化的情况下，当在场景改变之前的图片被编码时采用在场景改变之前的图片作为参考图片，并且当在场景改变之后的图片被编码时采用在场景改变之后的图片作为参考图片，从而提高预测质量。

根据modify_bip_small_mrg_l0信息，可选择L0预测和L1预测中的具有优异预测质量的那一个作为代替双向预测应用的单向预测。

另外，当disable_bip_small_mrg_idc信息具有非0的值时，modify_bip_small_mrg_l0信息可被包括在编码数据中。

因此，modify_bip_small_mrg_l0信息可被包括在比disable_bip_small_mrg_idc信息更低的分层中的编码数据中。

例如，disable_bip_small_mrg_idc信息可被包括在SPS中，并且modify_bip_small_mrg_l0信息可被包括在片头中。modify_bip_small_mrg_l0信息可被包括在例如PPS、瓦片头(tile header)、LCU、CU、PU等其它元素中。

可通过在精细单元中控制的基于modify_bip_small_mrg_l0信息和disable_bip_small_mrg_idc信息的预测方法的改变程度与由于modify_bip_small_mrg_l0信息和disable_bip_small_mrg_idc信息被包括在编码数据中导致的数据量的增加之间的平衡，来确定其中包括modify_bip_small_mrg_l0信息和disable_bip_small_mrg_idc信息的分层。

当使用modify_bip_small_mrg_l0信息和disable_bip_small_mrg_idc信息时的图16的编码器1000和解码器2000的处理与图18中描述的处理相同，不同的是除了disable_bip_small_mrg_idc信息以外还使用modify_bip_small_mrg_l0信息，因此将省略其描述。

图21是示出当使用disable_bip_small_mrg_idc信息或disable_bip_small_mrg_idc扩展信息时，由编码器1000执行的SPS的编码和由解码器2000执行的SPS的解码的概要的流程图。

在编码器1000中，在步骤S1021中，熵编码单元1005在编码数据(编码流)的SPS中包括profile_idc和level_idc。

另外，在步骤S1022中，熵编码单元1005在编码数据的SPS中包括从设置单元1021供应的disable_bip_small_mrg_idc信息或disable_bip_small_mrg_idc扩展信息。

另一方面，在解码器2000中，在步骤S1031中，熵解码单元2001从编码数据中分离(读出)profile_idc和level_idc。

另外，在步骤S1032中，熵解码单元2001从编码数据中分离disable_bip_small_mrg_idc信息或disable_bip_small_mrg_idc扩展信息，并将该信息供应至帧间预测单元2010。

图22是示出当使用disable_bip_small_mrg_idc信息和modify_bip_small_mrg_l0信息时由编码器1000执行的片头的编码和由解码器2000执行的片头的解码的概要的流程图。

在编码器1000中，在步骤S1041中，熵编码单元1005在编码数据的片头中包括来自设置单元1021的modify_bip_small_mrg_l0信息。

另一方面，在解码器2000中，在步骤S1051中，熵解码单元2001从编码数据中分离(读出)modify_bip_small_mrg_l0信息，并将该信息供应至帧间预测单元2010。

另外，例如如在图21中所述的，执行诸如在SPS中包括与modify_bip_small_mrg_l0信息一起使用的disable_bip_small_mrg_idc信息的处理。

图23是示出通过编码器1000执行的CU的编码和通过解码器2000执行的CU的解码的概要的流程图。

在CU的编码中，在步骤S1061中，编码器1000计算在包括作为目标块的CU被分割的情况和CU不被分割的情况的各种情况下的成本函数值。这里，关于成本函数值，例如已知其中考虑了产生的编码率和编码失真的被称作RD成本的值。

在步骤S1062中，编码器1000基于在步骤S1061中计算的RD成本确定作为目标块的CU是否将被分割。

这里，在步骤S1062中，在其中当CU被分割时的RD成本低于当CU不被分割时的RD成本的情况下(在其中与CU不被分割时相比当CU被分割时产生的编码率和编码失真综合进一步提高的情况下)，确定分割CU。

在步骤S1062中，在确定CU将被分割的情况下，处理前进至步骤S1063，并且编码器1000在作为关于CU的分割的标记的cu_split_flag中设置例如1(指示分割CU的值)，并在编码数据(编码流)中包括该标记。

另外，在步骤S1064中，编码器1000将作为目标块的CU分割为例如四个(2×2)新的CU。

另外，在步骤S1065中，编码器1000在通过在步骤S1064中的分割获得的四个新的CU上按顺序以递归方式对作为目标块的CU执行编码处理。

另一方面，在其中在步骤S1062中确定不分割CU的情况下，处理前进至步骤S1066，并且编码器1000在cu_split_flag中设置例如0(指示不执行CU分割的值)，并在编码数据中包括该标记。

然后，在步骤S1067中，编码器1000执行用于选择合并候选的合并候选选择处理，并且处理前进至步骤S1068。

在步骤S1068中，编码器1000计算在包括其中采用合并模式编码作为目标块的CU和不采用合并模式编码作为目标块的CU的情况的各种情况下的RD成本。

另外，在步骤S1068中，编码器1000基于在步骤S1068中计算的RD成本确定是否按照合并模式编码作为目标块的CU。

这里，在步骤S1068中，在其中当按照合并模式编码目标块时的RD成本小于当不采用合并模式时的RD成本的情况下(在其中与不采用合并模式相比当采用合并模式时产生的编码率和编码失真综合进一步提高的情况下)，确定按照合并模式执行编码。

在其中在步骤S1068中确定按照合并模式执行编码(采用合并模式)的情况下，处理前进至步骤S1069，并且编码器1000在作为关于合并模式的标记的merge_flag中设置1(指示采用合并模式的值)，在指示合并区域的merge_idx中设置指示合并区域的位置的值，并在编码数据中包括标记和信息。

另外，在步骤S1069中，编码器1000按照合并模式编码作为目标块的CU(通过使用关于合并区域的运动信息作为关于目标块的运动信息产生预测图像，并且编码目标块)。

另一方面，在其中在步骤S1068中确定不按照合并模式执行编码(不采用合并模式)的情况下，处理前进至步骤S1070，并且编码器1000对形成作为目标块的CU的PU执行编码处理。

在步骤S1071中，编码器1000从形成作为目标块的CU的PU中包括的TU(输入图像)中减去通过在步骤S1070中对PU的编码处理获得的预测图像，并产生用于TU的差图像。

在步骤S1072中，编码器1000对其中在步骤S1071中产生差图像的TU执行编码处理。

另外，在步骤S1073中，编码器1000针对通过TU的编码处理获得的TU执行差图像的正交变换和量化，以获得量化系数，并且对获得的量化系数执行逆量化和逆正交变换，以解码差图像。

另外，在步骤S1073中，编码器1000将通过PU的编码处理获得的预测图像添加至在步骤S1073中解码的差图像，以产生用于TU的解码图像。解码图像存储在DPB1014中，随后根据需要用作参考图像(图片)。

另一方面，在CU的解码中，在步骤S1081中，解码器2000从编码数据(编码流)解码作为目标块的CU的cu_split_flag。

另外，在步骤S1082中，解码器2000确定cu_split_flag的值是否为1。

在其中在步骤S1082中确定cu_split_flag的值为1的情况下，也就是说，在其中作为目标块的CU被分割的情况下，处理前进至步骤S1083，并且解码器2000按照与步骤S1064的情况中的方式相同的方式将作为目标块的CU分割为四个新的CU。

另外，在步骤S1084中，解码器2000在通过在步骤S1083中的分割获得的四个新的CU上按顺序以递归方式对作为目标块的CU执行解码处理。

另一方面，在其中在步骤S1082中确定cu_split_flag的值不为1(为0)的情况下，也就是说，在其中不分割作为目标块的CU的情况下，处理前进至步骤S1085，并且解码器2000确定merge_flag的值是否为1。

在步骤S1085中，在其中确定merge_flag的值为1的情况下，也就是说，在按照合并模式编码作为目标块的CU的情况下，处理前进至步骤S1086，并且解码器2000从编码数据中读出merge_idx，并执行与步骤S1067的情况中的合并候选选择处理相同的合并候选选择处理。

另外，在步骤S1086中，解码器2000在通过合并候选选择处理获得的合并候选中选择由merge_idx指示的位置的合并候选作为合并区域，并通过使用合并区域(关于合并区域的运动信息)按照合并模式解码作为目标块的CU(通过使用关于合并区域的运动信息作为关于目标块的运动信息产生预测图像，并解码目标块)。

另外，在步骤S1085中，在其中确定merge_flag的值不为1(为0)的情况下，也就是说，在其中不采用合并模式编码作为目标块的CU的情况下，处理前进至步骤S1087，并且解码器2000对形成作为目标块的CU的PU执行解码处理，并在步骤S1088中对包括在PU中的TU执行解码处理。

另外，在步骤S1089中，解码器2000将通过对PU的解码处理获得的预测图像添加至通过对量化系数(通过对TU的解码处理获得)执行逆量化和逆正交变换获得的差图像，以产生用于TU的解码图像。解码图像存储在DPB2008中，并且随后根据需要用作参考图像(图片)。

图24是示出在图23的步骤S1067中对合并候选的选择的流程图。

也就是说，图24是示出当使用disable_bip_small_mrg_idc信息和modify_bip_small_mrg_l0信息时对合并候选的选择的流程图。

在步骤S1101中，在作为在空间上和在时间上靠近目标块的块的周边块中，编码器1000将作为经过帧间预测的块的帧间预测块添加至合并候选。

另外，在该步骤中，在帧间预测块的预测方法是双向预测的情况下，帧间预测块在双向预测的状态下被添加至合并候选。

在步骤S1102中，编码器1000从合并候选中的作为合并候选的帧间预测块中排除具有交叠的运动信息的帧间预测块。

在步骤S1103中，编码器1000将运动向量为零向量的(虚拟)帧间预测块添加至合并候选。

此后，在步骤S1104中，编码器1000确定目标块的片类型是否为B。

在其中在步骤S1104中确定目标块的片类型不是B的情况下，也就是说，在目标块不被双预测的情况下，合并候选选择处理结束。在这种情况下，通过利用在步骤S1101和S1103中获得的合并候选选择合并区域而不改变。

另外，在其中在步骤S1104中确定目标块的片类型为B的情况下，也就是说，在目标块被双预测的情况下，处理前进至步骤S1105，并且编码器1000确定目标块的块大小是否对应于由disable_bip_small_mrg_idc信息指示的其中预测方法改变的块大小。

在步骤S1105中，在确定目标块的块大小不对应于由disable_bip_small_mrg_idc信息指示的块大小的情况下，合并候选选择处理结束。另外，在这种情况下，通过利用在步骤S1101和S1103中获得的合并候选选择合并区域而不改变。

另外，在步骤S1105中，在确定目标块的块大小对应于由disable_bip_small_mrg_idc信息指示的块大小的情况下，处理前进至步骤S1106，并且编码器1000确定modify_bip_small_mrg_l0信息的值是否为0。

在步骤S1106中，在确定modify_bip_small_mrg_l0信息的值不为0，也就是说，modify_bip_small_mrg_l0信息的值为1的情况下，处理前进至步骤S1107，并且编码器1000将其预测方向为双向预测的合并候选的双向预测改变为单向预测的L0预测，并允许合并候选选择处理结束。在这种情况下，在步骤S1101和S1103中获得的合并候选中，针对其预测方法为双向预测的合并候选，双向预测改变为L0预测，然后，在合并候选中选择合并区域。

另外，在步骤S1106中，在确定modify_bip_small_mrg_l0信息的值为0的情况下，处理前进至步骤S1108，并且编码器1000将其预测方向为双向预测的合并候选的双向预测改变为单向预测的L1预测，并允许合并候选选择处理结束。在这种情况下，对于在步骤S1101和S1103中获得的合并候选中的预测方法为双向预测的合并候选，双向预测改变为L0预测，然后，在合并候选中选择合并区域。

[限制信息]

接着，将描述通过设置单元1021设置的限制信息。

如在识别信息中的描述，MC中需要的最大存储器带宽(最大必要带宽)是在安装编码器1000和解码器2000的过程中的瓶颈。

这里，在编码器1000中，设置单元1021设置限制信息，并且帧间预测单元1018基于限制信息执行预测(预测图像的产生)，从而允许抑制最大必要带宽。

这里，限制信息是用于限制图像编码(解码)处理的信息，并包括例如下面描述的限制模式RB或限制模式RV。

根据限制模式RB，限制了图像块的大小和应用于具有该大小的块的预测方法，并且根据限制模式RV，限制了用于在图像块的MC中产生预测图像的运动向量的数量(参考块的数量)。

图25是示出限制模式RB的示图。

在图25中，例如，在限制模式RB为B4的情况下，Bi-4×4、Bi-4×8、Bi-8×4和Uni-4×4被禁止。

这里，例如，Bi-4×4指示双向预测(Bi)应用于块大小为4×4的PU分区。

另外，例如，Uni-4×4指示单向预测(Uni)应用于块大小为4×4的PU分区。

因此，在限制模式RB为B4的情况下，限制了通过利用Bi-4×4和Uni-4×4将双向预测和单向预测应用于块大小为4×4的PU分区，以及限制了利用(帧间预测)块大小为4×4的PU分区。

另外，在限制模式RB为B4的情况下，限制了通过利用Bi-4×8将双向预测应用于块大小为4×8的PU分区。

另外，在限制模式RB为B4的情况下，限制了通过利用Bi-8×4将双向预测应用于块大小为8×4的PU分区。

在编码器1000中，设置单元1021例如基于DPB1014的存储器带宽的最大值设置限制模式RB，并将设置的限制模式供应至帧间预测单元1018和熵编码单元1005。

帧间预测单元1018根据来自设置单元1021的限制模式RB执行预测图像的产生。

同时，熵编码单元1005在编码数据中包括来自设置单元1021的限制模式RB，并发送该限制模式。

在熵编码单元1005中，限制模式RB可被包括在编码数据(编码流)的例如SPS、PPS、APS、片头等中。

另外，随着DPB1014的存储器带宽的最大值变小，设置单元1021设置具有较大的值B#i的限制模式RB。

这里，限制模式RB的大的值B#i指示数#i大。

在图25中，限制模式RB按照B1、B2、…和B7的顺序在MC中具有减小的最大必要带宽。

这里，图25中，在限制模式RB为B1的情况下，Bi-4×4被限制，在限制模式RB为B2的情况下，除Bi-4×4之外还限制Bi-4×8。在限制模式RB为B3的情况下，除Bi-4×4和Bi-4×8之外还限制Bi-8×4。如上所述，在特定限制模式RB＝B#i下，将新的限制内容添加至限制先前限制模式B#i-1中的内容。

新的限制内容是其中此时在存储器带宽的消耗最大的块大小和应用于具有该块大小的PU分区的预测方法的组合。

如上所述，在图25中，在限制模式RB为B1的情况下，Bi-4×4被限制，在限制模式RB为B2的情况下，除Bi-4×4之外还限制Bi-4×8。在限制模式RB为B3的情况下，除Bi-4×4和Bi-4×8之外还限制Bi-8×4。

因此，Bi-4×4的预测(对块大小为4×4的PU分区应用双向预测的预测)消耗最大的存储器带宽，Bi-4×8的预测消耗第二大的存储器带宽。另外，Bi-8×4的预测消耗第三大的存储器带宽。

这里，如上所述，与Bi-8×4的预测(也就是说，宽度×高度为8×4的水平的长块的预测)相比，Bi-4×8的预测(也就是说，宽度×高度为4×8的竖直的长块(PU分区)的预测)消耗较大的存储器带宽，并且其原因将在稍后描述。

如上所述，由于限制模式RB在MC中具有按照B1、B2、…和B7的顺序减小的最大必要带宽，通过设置单元1021设置具有大的值B#i的限制模式RB，因此当从DPB1014中读出解码图像以产生预测图像时可抑制存储器带宽。结果，可防止增加编码器1000的成本。

另外，根据图25，在其中随着DPB1014的存储器带宽的最大值变小，设置单元1021设置具有较大的值B#i的限制模式RB的情况下，随着DPB1014的存储器带宽的最大值变小，限制应用双向预测或单向预测，直至块具有较大的大小为止。

在解码器2000中，熵解码单元2001从编码数据中分离限制模式RB，并将限制模式供应至帧间预测单元2010。

帧间预测单元2010根据限制模式RB执行预测图像的产生。

也就是说，在编码数据适于限制模式RB的情况下，例如，在其中在限制模式RB中限制Bi-4×4，并且根据限制模式RB在编码数据中不包括Bi-4×4的情况下，帧间预测单元2010产生例如预测图像。

另外，在其中编码数据不适于限制模式RB的情况下，例如，在其中在限制模式RB中限制Bi-4×4，但是在编码数据中包括Bi-4×4的情况下，例如，帧间预测单元2010不产生预测图像，并使得解码器2000停止处理。

另外，在编码器1000中，设置单元1021可响应于由诸如编码器1000的操作员的用户执行的操纵设置限制模式RB。

另外，在编码器1000中，针对各个值的存储器带宽，可根据各个值的最大必要带宽将档次或级别定义为最大必要带宽，并且限制模式RB可连接至档次或级别。

这里，当由Lv.#i指示级别，并且最大必要带宽随着所述级别的值#i变大而变小时，级别Lv.#i可连接至例如限制模式RB＝B#i。

在这种情况下，在编码器1000中，例如，如果设置级别Lv.1，则设置单元1021将限制模式RB设置为连接至级别Lv.1的B1。

另外，在编码器1000中，根据限制模式RB，在不使用限制模式RB指示的预测方法与块大小的组合的情况下执行编码，并且关于档次和级别的信息被包括在编码数据中以发送。

在解码器2000中，可从编码数据解码关于档次和级别的信息，并且，例如，可从所述级别识别出连接至该级别的限制模式RB。

另外，在编码器1000中，限制模式RB可被包括在编码数据中以发送，在解码器2000中，可解码包括在编码数据中的限制模式RB。

解码器2000可检查由限制模式RB限制的预测方法与块大小的组合是否被包括在编码数据中。

在编码数据不适于限制模式RB的情况下，也就是说，在由限制模式RB限制的预测方法与块大小的组合被包括在编码数据中的情况下，解码器2000可通知高等级系统编码数据不适于限制模式RB的事实，并且高等级系统可确定怎样处理编码数据。

另外，在由档次或级别指示图像(图片帧)的大小的情况下，例如，随着由档次或级别指示的图像的大小变大，编码器1000可设置用于限制双向预测或单向预测应用于具有较大大小的块的限制模式RB。

图26是示出当使用限制模式RB时编码器1000和解码器2000执行的处理的流程图。

在编码器1000中，在步骤S1121中，设置单元1021基于例如DPB1014的存储器带宽的最大值、用户的操纵、级别等在目标块中设置限制模式RB，并将设置的限制模式供应至帧间预测单元1018和熵编码单元1005。

在步骤S1122中，帧间预测单元1018产生预测图像，同时根据来自设置单元1021的限制模式RB限制PU分区的块大小和应用于具有这种块大小的PU分区的预测方法。

在步骤S1123中，计算单元1002至熵编码单元1005通过根据需要使用在步骤S1122中产生的预测图像来编码目标块，并产生编码数据。

在步骤S1124中，熵编码单元1005在编码数据中包括来自设置单元1021的限制模式RB，并发送该限制模式。

另外，由于档次和级别可被包括在编码数据中，因此在限制模式RB连接至该级别(或该档次)的情况下，从关于包括在编码数据中的级别的信息中可识别限制模式RB，因此不需要在编码数据中包括限制模式RB。

因此，在限制模式RB连接至该级别的情况下，可发送编码数据而不包括限制模式RB。

同时，在解码器2000中，在步骤S1131中，熵解码单元2001接收编码数据。另外，熵解码单元2001从编码数据中分离限制模式RB，并将限制模式RB供应至帧间预测单元2010。

另外，在限制模式RB连接至该级别，因此在编码数据中不包括限制模式RB的情况下，熵解码单元2001将在编码数据中包括的级别供应至帧间预测单元2010，并且帧间预测单元2010基于来自熵解码单元2001的级别识别限制模式RB。

在步骤S1132中，帧间预测单元2010根据限制模式RB产生预测图像。

也就是说，帧间预测单元1018产生预测图像，同时检查编码数据是否适于限制模式RB，也就是说，检查由限制模式RB限制的预测图像与块大小的组合是否被包括在编码数据中。

另外，在编码数据不适于限制模式RB的情况下，解码器2000向高等级系统通知其要点。

另一方面，在编码数据适于限制模式RB的情况下，在步骤S1133中，熵解码单元2001至计算单元2004通过根据需要利用在步骤S1132中产生的预测图像来解码在步骤S1131中接收到的编码数据。

图27和图28是示出即使在具有相同大小(像素数量)的块中，诸如4×8的竖直的长块的预测也比诸如8×4的水平的长块的预测消耗更大的存储器带宽的图。

在其中从诸如DPB1014的存储器中读出存储在存储器中的解码图像(图片)的像素的情况下，64比特或128比特变为总线宽度(数据传输路径宽度)单元。

在由8比特形成一个像素的情况，在64比特的总线宽度中平行地同时读出八个像素，并且在128比特的总线宽度中平行地同时读出十六个像素。

在通常的安装中，由于实验方便等，采用水平的长矩形块作为从存储器中同时读出的像素组的最小单元。

例如，在图27中，针对由虚线分隔的宽度×高度为4×2的像素的各个块读出像素(值)。

这里，从存储器中同时读出的像素组的最小单元被称作最小块。

另外，在图27中，方形(□标记)指示存储在存储器中的一个像素(其数据)，而圆形(O标记)指示预测图像的像素的位置。在图27中，预测图像是沿着水平方向和竖直方向的每一个从存储在存储器中的图像(参考图像)的像素偏离1/2像素的图像。

另外，块B指示预测图像的像素块，并且在图27中是8×4的像素块。

块P指示当从参考图像中产生预测图像时应用作为内插滤波器的有限冲击响应(FIR)滤波器的参考图像的像素块，并且是通过扩展预测图像的块B获得的块(下文中，被称作预测块)。

在图27中，块P是15×11的像素块。在帧间预测单元1018和2010中，内插滤波器应用于块P的像素，因此产生块B的预测图像。

块R是当从存储器中读出块P的像素时要求从存储器中读出(必要地从存储器中读出)的像素块，并且在图27中是由宽度×高度为5×6的最小块形成的块，也就是说，20×12的像素块。

这里，在当从存储器中读出块P的像素时，要求从存储器中读出的块(下文中，也被称作必要读出块)R的像素数量由NUM_R指示，并且预测块B的像素数量由NUM_B指示时，存储器带宽带宽由例如等式(1)表达。

带宽＝NUM_R/NUM_B…(1)

当水平像素的数量和竖直像素的数量分别由B_H和B_V指示时，预测块B的像素的数量NUM_B由等式(2)表达。

NUM_B＝B_H×B_V…(2)

在图27中，B_H×B_V是8×4像素。

当水平像素的数量和竖直像素的数量分别由R_H和R_V指示时，必要读出块R的像素的数量NUM_R由等式(3)表达。

NUM_R＝R_H×R_V…(3)

这里，在最糟的情况下，当最小块的水平像素的数量和竖直像素的数量分别由Align_H和Align_V指示时，必要读出块R的水平像素的数量R_H和竖直像素的数量R_V由等式(4)和(5)表达。

R_H＝Align_H+Align_H×ceil((P_H-1)/Align_H)…(4)

R_V＝Align_V+Align_V×ceil((P_V-1)/Align_V)…(5)

另外，在等式(4)和(5)中，ceil(x)指示等于或大于x的最小整数。另外，P_H和P_V分别指示应用内插滤波器的块P的水平像素的数量和竖直像素的数量，并且分别由等式(6)和(7)表示。

P_H＝B_H+Tap_H-1…(6)

P_V＝B_V+Tap_V-1…(7)

在等式(6)和(7)中，Tap_H和Tap_V分别指示作为内插滤波器的FIR滤波器的水平抽头的数量和竖直抽头的数量。

在由多个像素形成最小块的情况下，可从存储器中读出在帧间预测中不必要的像素，但是不必要像素在从存储器读出之后被丢弃。

在最小块具有水平的长矩形形状的情况下，在从存储器读出的必要读出块R的左部和右部而非上部和下部读出更多的残余像素。

在诸如4×8的竖直的长块和诸如8×4的水平的长块中，像素的数量相同，但是针对具有不同形状的预测块B，包括最多在像素(针对预测图像的产生从存储器中读出)的帧间预测中不必要的像素的预测块B是消耗最大存储器带宽的块。

在最小块具有水平的长矩形形状的情况下，如图28所示，当读出包括预测块B的扩展块P(应用内插滤波器的块)的必要读出块R的像素时，与当预测块B具有水平的长矩形形状(图28的B)时相比，当预测块B具有竖直的长矩形形状(图28的A)时，包括更多在帧间预测(通过内插滤波器滤波)中不必要的像素。

为此，诸如4×8的竖直的长预测块B和诸如8×4的水平的长预测块B具有相同数量的像素，但是竖直的长预测块B的预测比水平的长预测块B的预测消耗更大的存储器带宽。

图29是示出限制模式RV的示图。

如上所述，根据限制模式RV，限制了用于在图像块的MC(ME)中产生预测图像的运动向量的数量(参考块的数量)。

在图29中，限制模式RV＝V#i可采用包括V1、V2和V3的三个值，并且根据帧率(Frame rate)和LCU的大小(LCU size)限制运动向量的数量。

例如，在其中帧率是由表达式0＜速率≤30表达的范围内的值的情况下，LCU的大小是16×16像素，当限制模式RV设为值V1时，可在MC中使用的运动向量的数量限制为32。

这里，在限制模式RV中，作为运动向量的数量的替代，可限制从DPB1014(DPB2008)中读出的参考块的数量。

根据图29，参考块的数量或运动向量的数量的最大值由帧率和LCU的大小限制。

例如，如果帧率增大，则最大必要带宽也增大，因此根据图29，参考块的数量或运动向量的数量与帧率成比例地减小。

在编码器1000中，设置单元1021基于例如DPB1014的存储器带宽的最大值以及帧率和LCU的大小设置限制模式RV，并且将设置的限制模式供应至帧间预测单元1018和熵编码单元1005。

帧间预测单元1018根据来自设置单元1021的限制模式RV执行预测图像的产生。

同时，熵编码单元1005在编码数据中包括来自设置单元1021的限制模式RV，并发送该限制模式。

在熵编码单元1005中，限制模式RV可被包括在编码数据的例如SPS、PPS、APS、片头等中。

另外，随着DPB1014的存储器带宽的最大值变小，设置单元1021设置具有较大值V#i的限制模式RV。

这里，限制模式RV的大的值V#i指示数#i大。

限制模式RV在MC中按照V1、V2和V3的顺序具有减小的最大必要带宽。

设置单元1021设置具有大的值V#i的限制模式RV，因此当从DPB1014中读出解码图像以用于产生预测图像时可抑制存储器带宽。结果，可防止编码器1000的成本增加。

在解码器2000中，熵解码单元2001从编码数据中分离限制模式RV，并将限制模式供应至帧间预测单元2010。

帧间预测单元2010根据限制模式RV执行预测图像的产生。

也就是说，在编码数据适于限制模式RV的情况下，例如，在其中在限制模式RV中运动向量的数量被限制为两个，并且在编码数据中不包括通过使用超过两个运动向量产生的预测图像的块的情况下，帧间预测单元2010产生例如预测图像。

另外，在编码数据不适于限制模式RV的情况下，例如，在其中在限制模式RV中运动向量的数量被限制为两个，但是在编码数据中包括通过使用超过两个运动向量产生的预测图像的块的情况下，帧间预测单元2010执行与编码数据不适于限制模式RB的上述情况中的处理相同的处理。

另外，在编码器1000中，设置单元1021可响应于由诸如编码器1000的操作员的用户执行的操纵设置限制模式RV。

另外，在编码器1000中，针对DPB1014的存储器带宽的最大值，可根据最大必要带宽的限制量将档次或级别定义为最大必要带宽，并且限制模式RV可连接至档次或级别。

这里，当最大必要带宽随着等级的值#i变大而变小时，级别Lv.#i可连接至例如限制模式RV＝V#i。

在这种情况下，在编码器1000中，例如，如果设置了级别Lv.1，则设置单元1021将限制模式RV设置为连接至级别Lv.1的V1。

另外，在编码器1000中，根据限制模式RB，通过将运动向量的数量限制为由限制模式RV指示的数量(或更少)来执行编码，并且关于档次和级别的信息(level_idc等)被包括在编码数据中以发送。

在解码器2000中，可从编码数据解码关于档次和级别的信息，例如，可从该等级中识别连接至该等级的限制模式RV。

另外，在编码器1000中，限制模式RV可被包括在编码数据中以发送，在解码器2000中，可解码包括在编码数据中的限制模式RV。

在编码数据不适于限制模式RV的情况下，解码器2000向高等级系统通知编码数据不适于限制模式RV的事实。在这种情况下，高等级系统确定怎样处理编码数据。

另外，可由档次或级别指示图像(图片帧)的大小。例如，在由该级别指示图像的大小的情况下，当等级的值越大时，图像的大小越大，级别Lv.#i连接至限制模式RV＝V#i，因此，例如，随着由该级别指示的图像的大小变大，编码器1000将运动向量的数量限制为较小的量，从而减小存储器带宽。

在该等级(或该档次)按照与在该等级连接至限制模式RB的情况下的方式相同的方式连接至限制模式RV的情况下，可从该等级中识别限制模式RV，因此在编码器1000中，在编码数据中可不包括限制模式RV。

这里，如果LCU大小增大，例如，由于每个图片的LCU数量减少，可被单个LCU使用的参考块或MV的数量随着LCU的数量减少而增大。

另外，例如，如果图像大小增大，则由于在单个图片中具有预定LCU大小的LCU的数量增大，可被单个LCU使用的参考块或MV的数量随着LCU的数量增大而减小。

另外，如上所述，在其中参考块(或运动向量)的数量与帧率成比例地减小的情况下，在图29中，作为参考，当帧率为0＜速率≤30时，参考块的数量为二，LCU大小为8×8，并且限制模式RV为V3，当帧率为30＜速率≤60时，参考块的数量限制为一(＝2×1/2)，LCU大小为8×8，并且限制模式RV为V3。当帧率为0＜速率≤30时，参考块的数量限制为0.5(＝2×1/2×1/2)，LCU大小为8×8，并且限制模式RV为V3。

然而，由于诸如0.5的非整数作为参考块的数量不合适，因此在图29中，在计算中将0.5的参考块的数量向上取整为作为(一个或更多个)参考块的数量的值中的最小值1。

如上所述，在参考块的数量被向上取整的情况下，需要安装编码器1000的DPB1014和解码器2000的DPB2008，以读出向上取整的数量的参考块。

另外，限制模式RB和RV可组合使用。另外，识别信息和限制信息可组合使用。

另外，虽然在图29的限制模式RV中，根据LCU大小限制LCU中使用的运动向量或参考块的数量，但是可根据诸如PU、TU、SCU或图片的区域单元中的区域的大小以及LCU限制运动向量或参考块的数量。然而，如果将用于其的运动向量的数量等被限制的区域设置为太宽的区域，则将许多运动向量分配给所述宽区域的一部分，结果，分配给其它部分的运动向量可被显著限制。另外，如果将用于其的运动向量的数量等被限制的区域设置为太窄的区域，分配给所述窄区域的运动向量的数量起初较少，因此限制运动向量的数量的自由度减少。因此，考虑到以上事实，用于其的运动向量的数量等被限制的区域优选为具有合适大小的区域，诸如LCU。

[包括识别信息的头信息的句法的第一示例]

图30是示出包括识别信息的编码数据的头信息的句法的第一示例的示图。

也就是说，图30示出了头信息seq_parameter_set_rbsp()的句法，并且在头信息seq_parameter_set_rbsp()中包括作为识别信息的标记disable_bip_small_mrg_idc。

图30的标记disable_bip_small_mrg_idc指示针对其禁止双向预测(双预测)的块(预测块)的大小。

图31是示出图30的作为识别信息的标记disable_bip_small_mrg_id采用的值的示图和针对其通过各个值的标记disable_bip_small_mrg_idc禁止双向预测的块的大小。

在图31中，标记disable_bip_small_mrg_idc可采用包括0、1、2和3的值。

在其中标记disable_bip_small_mrg_idc的值为0的情况下，不禁止双向预测。

在其中标记disable_bip_small_mrg_idc的值为1的情况下，针对4×4的块(块大小为4×4的块)禁止双向预测。

在其中标记disable_bip_small_mrg_idc的值为2的情况下，针对4×4、8×4和4×8这三种类型的块禁止双向预测，在其中标记disable_bip_small_mrg_idc的值为3的情况下，针对4×4、8×4、4×8和8×8这四种类型的块禁止双向预测。

另外，例如，通过图16的图像处理设备的设置单元1021设置图30的作为识别信息的标记disable_bip_small_mrg_idc，该标记通过帧间预测单元1018用于帧间预测，并通过熵编码单元1005被包括在编码数据中。

另外，例如，通过图16的图像处理设备的熵解码单元2001从编码数据中分离图30的作为识别信息的标记disable_bip_small_mrg_idc，并将其通过帧间预测单元2010用于帧间预测。

[包括识别信息的头信息的句法的第二示例]

图32和图33是示出包括识别信息的编码数据的头信息的句法的第二示例的图。

也就是说，图32示出了头信息seq_parameter_set_rbsp()的句法，并且在头信息seq_parameter_set_rbsp()中包括作为识别信息的标记disable_inter_4×8_8×4_8×8_bidir_flag和disable_inter_4×8_8×4_bidir_flag。

在图32中，作为识别信息的标记disable_inter_4×8_8×4_8×8_bidir_flag指示双向预测是否可应用于4×8、8×4和8×8这三种类型的块。

例如，在其中标记disable_inter_4×8_8×4_8×8_bidir_flag的值为0的情况下，针对4×8、8×4和8×8这三种类型的块不禁止双向预测，在其中标记disable_inter_4×8_8×4_8×8_bidir_flag的值为1的情况下，针对4×8、8×4和8×8这三种类型的块不禁止双向预测。

另外，在图32中，作为识别信息的标记disable_inter_4×8_8×4_bidir_flag指示双向预测是否可应用于4×8和8×4这两种类型的块。

例如，在其中标记disable_inter_4×8_8×4_bidir_flag的值为0的情况下，针对4×8和8×4这两种类型的块不禁止双向预测，在其中标记disable_inter_4×8_8×4_bidir_flag的值为1的情况下，针对4×8和8×4这两种类型的块禁止双向预测。

因此，在其中标记disable_inter_4×8_8×4_8×8_bidir_flag的值为1的情况下，当目标块是4×8、8×4或8×8的块时，更换应用双向预测的合并候选的预测方法，从而应用单向预测而非双向预测，并在目标块上执行合并模式的处理。

另外，在其中标记disable_inter_4×8_8×4_bidir_flag的值为1的情况下，当目标块是4×8或8×4的块时，更换应用双向预测的合并候选的预测方法，从而应用单向预测而非双向预测，并在目标块上执行合并模式的处理。

在图32中，在其中标记log2_min_coding_block_size_minus3的值等于或小于1的情况下，在头信息seq_parameter_set_rbsp()中包括标记disable_inter_4×8_8×4_8×8_bidir_flag。另外，在其中标记log2_min_coding_block_size_minus3的值为0并且标记disable_inter_4×8_8×4_8×8_bidir_flag的值为0的情况下，在头信息seq_parameter_set_rbsp()中包括标记disable_inter_4×8_8×4_bidir_flag。

这里，标记log2_min_coding_block_size_minus3指示CU(编码块)的最小大小。

在其中由标记log2_min_coding_block_size_minus3指示的CU的最小大小是比16×16更大的大小(32×32或64×64)的情况下，将大小为16×16(或更大的大小)的块用作作为目标块的PU，并且不使用大小为8×8(或更小的大小)的块。

因此，在其中由标记log2_min_coding_block_size_minus3指示的CU的最小大小是大于16×16的大小的情况下，作为识别信息的标记disable_inter_4×8_8×4_8×8_bidir_flag和disable_inter_4×8_8×4_bidir_flag无意义，因此即使在编码数据中包括所述标记，熵解码单元2001(图16)也不读出(不理会)所述标记。

另外，在其中在头信息seq_parameter_set_rbsp()中不包括标记disable_inter_4×8_8×4_8×8_bidir_flag的情况下，估计标记disable_inter_4×8_8×4_8×8_bidir_flag的值为0。

另外，在其中在头信息seq_parameter_set_rbsp()中不包括标记disable_inter_4×8_8×4_bidir_flag的情况下，如果标记disable_inter_4×8_8×4_8×8_bidir_flag的值为0，则标记disable_inter_4×8_8×4_bidir_flag的值也被估计为0，如果标记disable_inter_4×8_8×4_8×8_bidir_flag的值为1，则标记disable_inter_4×8_8×4_bidir_flag的值也被估计为1。

图33示出了头信息prediction_unit(x0,y0,log2CbSize)的句法，并且在头信息prediction_unit(x0,y0,log2CbSize)中包括作为识别信息的标记disable_bidir。

根据图32的作为识别信息的标记disable_inter_4×8_8×4_8×8_bidir_flag和disable_inter_4×8_8×4_bidir_flag，将作为识别信息的标记disable_bidir设为值0或1。

在其中标记disable_bidir的值为0的情况下，不禁止双向预测，在其中标记disable_bidir的值为1的情况下，禁止双向预测。

在图33中，在标记disable_bidir之后描述的标记inter_pred_flag[x0][y0]指示在由x0和y0指示的位置的块的预测方法为单向预测还是双向预测，但是在其中标记disable_bidir的值为1并且禁止双向预测的情况下，熵解码单元2001(图16)不从编码数据中读出标记inter_pred_flag[x0][y0]，将在由x0和y0指示的位置的块的预测方法解释为单向预测。

另外，例如，通过图16的图像处理设备的设置单元1021设置图32的作为识别信息的标记disable_inter_4×8_8×4_8×8_bidir_flag和disable_inter_4×8_8×4_bidir_flag以及图33的作为识别信息的标记disable_bidir，以通过帧间预测单元1018用于帧间预测，并通过熵编码单元1005被包括在编码数据中。

另外，例如，通过图16的图像处理设备的熵解码单元2001从编码数据中分离图32的作为识别信息的标记disable_inter_4×8_8×4_8×8_bidir_flag和disable_inter_4×8_8×4_bidir_flag以及图33的作为识别信息的标记disable_bidir，以通过帧间预测单元2010用于帧间预测。

这里，在除执行合并模式的情况之外的情况下，图32的作为识别信息的标记disable_inter_4×8_8×4_8×8_bidir_flag和disable_inter_4×8_8×4_bidir_flag以及图33的作为识别信息的标记disable_bidir也可按照除合并模式之外的模式应用于执行帧间预测的情况。

另外，在图32的头信息seq_parameter_set_rbsp()中包括的作为识别信息的标记disable_inter_4×8_8×4_8×8_bidir_flag和disable_inter_4×8_8×4_bidir_flag中不包括指示双向预测是否可应用于大小等于或小于8×8的块中的4×4的块的信息。这是因为此时在头信息seq_parameter_set_rbsp()中存在标记inter_4×4_enabled_flag。

也就是说，此时，在图30所示的头信息seq_parameter_set_rbsp()中定义了指示是否使用4×4的块的标记inter_4×4_enabled_flag，并且在标记inter_4×4_enabled_flag之后对4×4的块进行处理。因此，在图32中，未定义指示双向预测是否可应用于4×4的块的标记。

因此，例如，在其中在以后删除标记inter_4×4_enabled_flag的情况下，可定义指示双向预测是否可应用于4×4的块或块大小为4×4或更大的块大小的块的标记，并且在图32的头信息seq_parameter_set_rbsp()中包括该标记而非不包括关于4×4的块的信息的标记disable_inter_4×8_8×4_8×8_bidir_flag和disable_inter_4×8_8×4_bidir_flag(或者也包括标记disable_inter_4×8_8×4_8×8_bidir_flag和disable_inter_4×8_8×4_bidir_flag)。

另外，本技术可应用于当通过诸如卫星广播、有线电视、互联网或移动电话的网络介质接收通过诸如离散余弦变换和运动补偿(诸如，例如，MPEG或H.26x)的正交变换压缩的图像信息(比特流)时使用的图像编码装置和图像解码装置。另外，本技术可应用于当在诸如光盘、磁盘和闪速存储器的存储介质上执行处理时使用的图像编码装置和图像解码装置。此外，本技术还可应用于包括在图像编码装置和图像解码装置中的运动预测补偿装置。

[个人计算机]

可通过硬件或软件执行一连串的上述处理。当通过软件执行所述一连串的处理时，在计算机中安装构成所述软件的程序。这里，计算机包括可通过安装各种程序执行各种功能的并入专用硬件中的计算机或通用个人计算机等。

在图34中，个人计算机500的CPU(中央处理单元)501根据存储在只读存储器(ROM)502中的程序或从存储单元513装载到随机存取存储器(RAM)503中的程序执行各种处理。RAM503合适地存储CPU501执行各种处理必要的数据等。

CPU501、ROM502和RAM503通过总线504彼此连接。另外，输入和输出接口510也连接至总线504。

输入和输出接口510连接至包括键盘、鼠标等的输入单元511；包括诸如阴极射线管(CRT)或液晶显示器(LCD)的显示器、扬声器等的输出单元512；包括硬盘等的存储单元513；以及包括调制解调器等的通信单元514。通信单元514通过包括互联网的网络执行通信处理。

驱动器515根据需要连接至输入和输出接口510，诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质521合适地安装在所述驱动器515中，并且从其中读出的计算机程序根据需要安装在存储单元513中。

在其中在软件中执行一连串上述处理的情况下，从网络或记录介质安装构成所述软件的程序。

如图34所示，例如，记录介质不仅包括诸如磁盘(包括软盘)、光盘(包括压缩盘-只读存储器(CD-ROM)和数字多功能盘(DVD))、磁光盘(包括迷你盘(MD))或半导体存储器(被分布以将程序与装置主体分离地递送至用户，并在其中记录程序)的可移动介质521，而且包括在预先并入装置主体中的状态下被发送至用户并在其中记录程序的ROM502，或者在存储单元513中包括的硬盘。

另外，计算机执行的程序可为根据在本说明书中描述的顺序按照时间顺序执行处理的程序，并且可为平行地或在必要时刻(诸如当被访问时)执行处理的程序。

另外，在本说明书中，用于描述在记录介质上记录的程序的步骤不仅包括根据描述的顺序按照时间顺序执行的处理，而且包括平行或分离地执行的处理(如果没必要按照时间顺序执行)。

另外，在本说明书中，系统指包括多个装置的整个设备。

另外，在以上描述中，被描述为单个装置(或处理单元)的配置可分为多个装置(或处理单元)，并且通过多个装置(或处理单元)一起形成。相反，在以上描述中，被描述为多个装置(或处理单元)的配置可通过单个装置(或处理单元)形成。另外，除上述那些以外的配置可加至各个装置(或各个处理单元)的配置。另外，一个装置(或处理单元)的配置的一部分可被包括在另一装置(或另一处理单元)的配置中，只要整个系统的配置和操作基本相同即可。也就是说，在不脱离本技术的范围的情况下，本技术不限于上述实施例，而是可具有各种修改形式。

根据上述实施例的图像处理设备可应用于在卫星广播、诸如有线TV的有线广播和互联网上的递送以及用于通过蜂窝通信至终端的递送的诸如发送器或接收器的各种电子设备、在诸如光盘、磁盘和闪速存储器的介质上记录图像的记录设备以及从存储介质再现图像的再现设备。下文中，将描述四个应用示例。

[第一应用示例：电视接收器]

图35示出了应用上述实施例的电视设备的示意性配置的示例。电视设备900包括天线901、调谐器902、多路解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。

调谐器902从通过天线901接收的广播信号中提取期望信道的信号并解调提取的信号。另外，调谐器902将通过解调获得的编码流输出至多路解复用器903。也就是说，调谐器902用作电视设备900中的传输装置，以接收其中图像被编码的编码流。

多路解复用器903从编码流中多路解复用观看的目标程序的图像(视频)流和音频流，并将分离的流输出至解码器904。另外，多路解复用器903从编码流中提取诸如电子节目指南(EPG)的辅助数据，并将提取的数据供应至控制单元910。另外，当编码流被扰乱时，多路解复用器903可执行解扰。

解码器904解码从多路解复用器903输入的图像流和音频流。另外，解码器904将由于解码处理产生的图像数据输出至视频信号处理单元905。另外，解码器904将由于解码处理产生的音频数据输出至音频信号处理单元907。

视频信号处理单元905再现从解码器904输入的图像数据，以在显示单元906上显示图像。另外，视频信号处理单元905可在显示单元906上显示通过网络供应的应用画面。另外，视频信号处理单元905可根据其设置对图像数据执行诸如(例如)噪声去除的额外处理。此外，视频信号处理单元905可产生诸如(例如)菜单、按钮或光标的图形用户接口(GUI)图像，并且可在输出图像上叠加产生的图像。

显示单元906通过从视频信号处理单元905供应的驱动信号驱动，并在显示装置(例如，液晶显示器、等离子体显示器或有机电致发光显示器(OLED))的画面上显示图像。

音频信号处理单元907对从解码器904输入的音频数据执行诸如D/A转换和放大的再现处理，以允许从扬声器908输出声音。另外，音频信号处理单元907可对音频数据执行诸如噪声去除的额外处理。

外部接口909是将电视设备900连接至外部设备或网络的接口。例如，可通过解码器904解码通过外部接口909接收的图像流或音频流。也就是说，外部接口909还在电视设备900中用作传输装置，以接收其中图像被编码的编码流。

控制单元910包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储通过CPU执行的程序、程序数据、EPG数据、通过网络获得的数据等。例如，当电视设备900起动时，通过CPU读和执行存储在存储器中的程序。CPU执行所述程序，因此响应于从用户接口911输入的例如操纵信号控制电视设备900的操作。

用户接口911连接至控制单元910。用户接口911包括例如用于用户操纵电视设备900的按钮和开关、遥控信号的接收单元等。用户接口911通过检测用户通过这些构成元件执行的操纵产生操纵信号，并将产生的操纵信号输出至控制单元910。

总线912将调谐器902、多路解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910彼此连接。

在如上所述配置的电视设备900中，解码器904具有根据上述实施例的解码器2000的功能。

[第二应用示例：移动电话]

图36示出了应用上述实施例的移动电话的示意性配置的示例。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927、多路复用和多路解复用单元928、记录和再现单元929、显示单元930、控制单元931、操纵单元932和总线933。

天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操纵单元932连接至控制单元931。总线933将通信单元922、音频编解码器92、相机单元926、图像处理单元927、多路复用和多路解复用单元928、记录和再现单元929、显示单元930和控制单元931彼此连接。

移动电话920在包括言语模式、数据通信模式、摄影模式和视频电话模式各种操作模式下执行诸如传输和接收音频信号、传输和接收电子邮件或图像数据、俘获图像和记录数据的操作。

在言语模式中，由麦克风925产生的模拟音频信号供应至音频编解码器923。音频编解码器923通过A/D转换将模拟音频信号转换为音频数据，并压缩转换的音频数据。另外，音频编解码器923将压缩的音频数据输出至通信单元922。通信单元922编码和调制音频数据，以产生传输信号。另外，通信单元922将产生的传输信号通过天线921发送至基站(未示出)。此外，通信单元922放大通过天线921接收的无线信号，并转换其频率，以获得接收到的信号。而且，通信单元922解调和解码接收到的信号以产生音频数据，并将产生的音频数据输出至音频编解码器923。音频编解码器923解压缩音频数据并对其进行D/A转换，以产生模拟音频信号。另外，音频编解码器923将产生的音频信号供应至扬声器924以输出声音。

另外，例如，在数据通信模式中，控制单元931响应于用户利用操纵单元932执行的操纵产生形成电子邮件的文本数据。另外，控制单元931在显示单元930上显示文本。此外，控制单元931响应于用户利用操纵单元932作出的传输命令产生电子邮件数据，并将产生的电子邮件数据输出至通信单元922。通信单元922编码和调制电子邮件数据以产生传输信号。另外，通信单元922通过天线921将产生的传输信号发送至基站(未示出)。另外，通信单元922放大通过天线921接收到的无线信号并转换其频率，以获得接收到的信号。此外，通信单元922解调和解码接收到的信号以恢复电子邮件数据，并将恢复的电子邮件数据输出至控制单元931。控制单元931在显示单元930上显示电子邮件的内容并将电子邮件数据存储在记录和再现单元929的记录介质上。

记录和再现单元929包括任意可读和可写存储介质。例如，存储介质可为诸如RAM或闪速存储器的内置存储介质，并且可为诸如硬盘、磁盘、磁光盘、光盘、未分配的空间位图(USB)存储器或存储卡的外部附接的存储介质。

另外，例如，在摄影模式中，相机单元926使主体成像以产生图像数据，并将产生的图像数据输出至图像处理单元927。图像处理单元927将从相机单元926输入的图像数据编码，并将编码流存储在记录和再现单元929的存储介质上。

另外，例如，在视频电话模式中，多路复用和多路解复用单元928将通过图像处理单元927编码的图像流和从音频编解码器923输入的音频流多路复用，并将多路复用的流输出至通信单元922。通信单元922将流编码和调制以产生传输信号。此外，通信单元922通过天线921将产生的传输信号发送至基站(未示出)。另外，通信单元922放大通过天线921接收的无线信号，并转换其频率，以获得接收到的信号。编码流可被包括在传输信号和接收到的信号中。另外，通信单元922将接收到的信号解调和解码，以恢复流，并将恢复的流输出至多路复用和多路解复用单元928。多路复用和多路解复用单元928从输入流中多路解复用图像流和音频流，并将视频流输出至图像处理单元927和将音频流输出至音频编解码器923。图像处理单元927解码图像流，以产生图像数据。将图像数据供应至显示单元930，以允许在显示单元930上显示一连串图像。音频编解码器923解压缩音频流并对其进行D/A转换，以产生模拟音频信号。此外，音频编解码器923将产生的音频信号供应至扬声器924以输出声音。

在具有以上配置的移动电话920中，图像处理单元927具有根据上述实施例的编码器1000和解码器2000的功能。

[第三应用示例：记录和再现设备]

图37示出了应用了上述实施例的记录和再现设备的示意性配置的示例。记录和再现设备940将例如接收到的广播程序的音频数据和图像数据编码，并在记录介质上记录编码数据。另外，记录和再现设备940可将例如从其它设备获得的音频数据和图像数据编码，并且可在记录介质上记录编码数据。另外，记录和再现设备940例如响应于来自用户的命令在监视器和扬声器上再现记录在记录介质上的数据。此时，记录和再现设备940将音频数据和图像数据解码。

记录和再现设备940包括调谐器941、外部接口942、编码器943、硬盘驱动器(HDD)944、盘驱动器945、选择器946、解码器947、屏幕显示器(OSD)948、控制单元949和用户接口950。

调谐器941从通过天线(未示出)接收的广播信号中提取期望信道的信号，并将提取的信号解调。另外，调谐器941将通过解调获得的编码流输出至选择器946。也就是说，调谐器941在记录和再现设备940中用作传输装置。

外部接口942是将记录和再现设备940连接至外部设备或网络的接口。外部接口942可为例如IEEE1394接口、网络接口、USB接口、闪速存储器接口等。例如，通过外部接口942接收的图像数据和音频数据被输入至编码器943。也就是说，外部接口942在记录和再现设备940中用作传输装置。

编码器943在其中从外部接口942输入的图像数据和音频数据未编码的情况下将图像数据和音频数据编码。另外，编码器943将编码流输出至选择器946。

HDD944将其中诸如图像和声音的内容数据被压缩的编码流、各种程序和其它数据记录在内部硬盘中。另外，当再现图像和声音时，HDD944从硬盘中读出数据。

盘驱动器945将数据记录在安装在其中的记录介质上和从中读出数据。安装在盘驱动器945中的记录介质可为例如DVD盘(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)、蓝光(注册商标)盘等。

当记录图像和声音时，选择器946选择从调谐器941或编码器943输入的编码流，并将选择的编码流输出至HDD944或盘驱动器945。另外，当再现图像和声音时，选择器946将从HDD944或盘驱动器945输入的编码流输出至解码器947。

解码器947将编码流解码，以产生图像数据和音频数据。另外，解码器947将产生的图像数据输出至OSD948。另外，解码器904将产生的音频数据输出至外部扬声器。

OSD948再现从解码器947输入的图像数据，以显示图像。另外，OSD948可将诸如(例如)菜单、按钮或光标的GUI图像叠加在显示的图像上。

控制单元949包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储通过CPU执行的程序、程序数据等。例如，当记录和再现设备940起动时，通过CPU读和执行存储在存储器中的程序。CPU执行程序，因此响应于例如从用户接口950输入的操纵信号控制记录和再现设备940的操作。

用户接口950连接至控制单元949。用户接口950包括例如允许用户操纵记录和再现设备940的按钮和开关、遥控信号的接收单元等。用户接口950通过检测用户通过这些构成元件执行的操纵产生操纵信号，并将产生的操纵信号输出至控制单元949。

在具有以上配置的记录和再现设备940中，编码器943具有根据上述实施例的编码器1000的功能。另外，解码器947具有根据上述实施例的解码器2000的功能。

[第四应用示例：成像设备]

图38示出了应用上述实施例的成像设备的示意性配置的示例。成像设备960使主体成像以产生图像，并将图像数据编码以在记录介质上记录编码数据。

成像设备960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD969、控制单元970、用户接口971和总线972。

光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示单元965连接至图像处理单元964。用户接口971连接至控制单元970。总线972将图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD969和控制单元970彼此连接。

光学块961包括聚焦透镜、隔膜机构等。光学块961在成像单元962的成像表面上形成主体的光学图像。成像单元962包括诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的图像传感器，并通过光电转换将在成像表面上形成的光学图像转换为作为电信号的图像信号。另外，成像单元962将图像信号输出至信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号执行诸如拐点校正、伽马校正和色彩校正的各种相机信号处理。信号处理单元963将已经历相机信号处理的图像数据输出至图像处理单元964。

图像处理单元964将从信号处理单元963输入的图像数据编码，以产生编码数据。另外，图像处理单元964将产生的编码数据输出至外部接口966或介质驱动器968。另外，图像处理单元964将从外部接口966或介质驱动器968输入的编码数据解码，以产生图像数据。此外，图像处理单元964将产生的图像数据输出至显示单元965。而且，图像处理单元964可将从信号处理单元963输入的图像数据输出至显示单元965，以显示图像。另外，图像处理单元964可将从OSD969获得的显示数据叠加在输出至显示单元965的图像上。

OSD969产生诸如(例如)菜单、按钮和光标的GUI图像，并将产生的图像输出至图像处理单元964。

外部接口966通过例如USB输入和输出终端形成。例如，当打印图像时，外部接口966将成像设备960连接至打印机。另外，外部接口966根据需要连接至驱动器。诸如(例如)磁盘或光盘的可移动介质可安装在驱动器中，并且从可移动介质读出的程序可安装在成像设备960中。另外，外部接口966可被配置为连接至诸如LAN或互联网的网络的网络接口。也就是说，外部接口966在成像设备960中用作传输装置。

安装在介质驱动器968中的记录介质可为诸如(例如)磁盘、磁光盘、光盘或半导体存储器的任何可读和可写可移动介质。另外，记录介质可固定地安装在介质驱动器968中，以配置诸如(例如)内置硬盘驱动器或固态驱动器(SSD)的非便携式存储单元。

控制单元970包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储通过CPU执行的程序、程序数据等。例如，当成像设备960起动时，通过CPU读和执行存储在存储器中的程序。CPU执行该程序，因此响应于例如从用户接口971输入的操纵信号控制成像设备960的操作。

用户接口971连接至控制单元970。例如，用户接口971包括允许用户操纵成像设备960的按钮和开关等。用户接口971通过检测用户通过这些构成元件执行的操纵产生操纵信号，并将产生的操纵信号输出至控制单元970。

在具有以上配置的成像设备960中，图像处理单元964具有根据上述实施例的编码器1000和解码器2000的功能。

[多视图图像编码和多视图图像解码的应用]

图39是示出多视图图像编码方法的示例的示图。

上述一连串处理可应用于多视图图像编码和多视图图像解码。

如图39所示，多视图图像包括来自多个视图的图像，并且将来自多个视图中的特定视图的图像指定为基本视图图像。将除基本视图图像以外的来自各个视图的图像看作非基本视图图像。

在图39中，呈现三个视图图像作为多视图图像，并且用于在各个视图中识别图像的view_id为0的图像是基本视图图像。另外，view_id为1和2的图像是非基本视图图像。

这里，在多视图图像编码和多视图图像解码中，不参照其它视图的图像处理(编码和解码)基本视图图像。另一方面，可通过参照其它视图的图像处理非基本视图图像。在图39中，箭头指示图像的参考，并且可根据需要通过参照箭头终点的图像处理箭头起点的图像。

在其中如图39所示的多视图图像被编码和解码的情况下，各个视图图像被编码和解码，并且用于图16的图像处理设备的技术可应用于各个视图的编码和解码。因此，如上所述，可防止成本增加。

另外，在各个视图的编码和解码中，可共享用于图16的图像处理设备的技术的标记和其它信息。

[多视图图像编码装置]

图40是示出执行上述多视图图像编码的多视图图像编码装置的配置示例的框图。

如图40所示，多视图图像编码装置600包括编码单元601、编码单元602和多路复用单元603，并将通过包括例如基本视图图像和非基本视图图像的两个视图图像形成的多视图图像编码。作为通过两个视图图像形成的多视图图像，存在例如通过由左眼观察到的左眼图像和由右眼观察到的右眼图像形成的三维(3D)图像。

编码单元601将基本视图图像编码以产生基本视图图像编码流。编码单元602在根据需要参照基本视图图像(通过编码单元601编码并局部解码的基本视图图像)的同时编码非基本视图图像，以产生非基本视图图像编码流。多路复用单元603将在编码单元601中产生的基本视图图像编码流和在编码单元602中产生的非基本视图图像编码流多路复用，以产生多视图图像编码流。

用于图16的图像处理设备的编码器1000的技术可应用于多视图图像编码装置600的编码单元601和编码单元602。另外，如上所述，编码单元601和编码单元602可共享标记和其它信息。

[多视图图像解码装置]

图41是示出执行上述多视图图像解码的多视图图像解码装置的配置示例的框图。

如图41所示，多视图图像解码装置610包括多路解复用单元611、解码单元612和解码单元613，并且将例如通过图40的多视图图像编码装置获得的多视图图像编码流解码。

多路解复用单元611将其中多路复用基本视图图像编码流和非基本视图图像编码流的多视图图像编码流多路解复用，以提取基本视图图像编码流和非基本视图图像编码流。解码单元612将通过多路解复用单元611提取的基本视图图像编码流解码，以获得基本视图图像。解码单元613在根据需要参照通过解码单元612解码的基本视图图像的同时将通过多路解复用单元611提取的非基本视图图像编码流解码，以获得非基本视图图像。

图16的图像处理设备的解码器2000可应用于多视图图像解码装置610的解码单元612和解码单元613。另外，如上所述，解码单元612和解码单元613可共享标记和其它信息。

[分层图像编码和分层图像解码的应用]

图42是示出分层图像编码方法的示例的示图。

上述一连串处理可应用于分层图像编码和分层图像解码。

如图42所示，分层图像包括多个分层(分辨率)的图像，并且将多个分层中的特定层的图像(例如，具有最低分辨率的图像)指定为基本层图像。将除基本层图像以外的各个分层的图像看作非基本层图像s。

在图42中，呈现三个分层图像作为分层图像，并且用于识别各个层的图像的layer_id为0的图像是基本层图像。另外，layer_id为1和2的图像为非基本层图像。另外，layer_id为2的非基本层图像是例如具有原始分辨率的特定内容的图像，而layer_id为1的非基本层图像是例如通过将layer_id为2的非基本层图像的分辨率降低获得的图像。此外，layer_id为0的基本层图像是通过将layer_id为1的非基本层图像的分辨率降低获得的图像。

这里，在分层图像编码和分层图像解码中，不参照其它层(分层)的图像处理(编码和解码)基本层图像。另一方面，可通过参照其它层的图像处理非基本层图像。在图42中，按照与图39中的方式相同的方式，箭头指示图像的参考，并且可通过根据需要参照箭头终点的图像处理箭头起点的图像。

在其中编码和解码如图42所示的分层图像的情况下，编码和解码各个分层图像，并且图16的图像处理设备的技术可应用于各个分层的编码和解码。因此，如上所述，可防止成本的增加。

另外，在各个分层的编码和解码中，可共享用于图16的图像处理设备的技术的标记和其它信息。

[分层图像编码装置]

图43是示出执行上述分层图像编码的分层图像编码装置的配置示例的框图。

如图43所示，分层图像编码装置620包括编码单元621、编码单元622和多路复用单元623，并将通过包括例如基本层图像和非基本层图像的两个分层图像形成的分层图像编码。

编码单元621编码基本层图像以产生基本层图像编码流。编码单元622在根据需要参照基本层图像(通过编码单元621编码并局部解码的基本层图像)的同时将非基本层图像编码，以产生非基本层图像编码流。多路复用单元623将在编码单元621中产生的基本层图像编码流和在编码单元622中产生的非基本层图像编码流多路复用，以产生分层图像编码流。

用于图16的图像处理设备的编码器1000的技术可应用于分层图像编码装置620的编码单元621和编码单元622。另外，如上所述，编码单元621和编码单元622可共享标记和其它信息。

[分层图像解码装置]

图44是示出执行上述分层图像解码的层图像解码装置的配置示例的框图。

如图44所示，分层图像解码装置630包括多路解复用单元631、解码单元632和解码单元633，并将例如通过图43的分层图像编码装置获得的分层图像编码流解码。

多路解复用单元631将其中多路复用了基本层图像编码流和非基本层图像编码流的分层图像编码流多路解复用，以提取基本层图像编码流和非基本层图像编码流。解码单元632将通过多路解复用单元631提取的基本层图像编码流解码，以获得基本层图像。解码单元633在根据需要参照通过解码单元632解码的基本层图像的同时将由多路解复用单元631提取的非基本层图像编码流解码，以获得非基本层图像。

图16的图像处理设备的解码器2000的技术可应用于分层图像解码装置630的解码单元632和解码单元633。另外，如上所述，解码单元632和解码单元633可共享标记和其它信息。

[利用分层图像编码方法的示例]

将描述利用上述分层图像编码方法的示例。

[利用分层图像编码方法的第一示例]

图45是示出利用分层图像编码方法的第一示例的示图。

分层图像编码(下文中，还称作可扩缩编码)可用于例如选择将被发送的数据，如图45所示的示例。

在图45所示的数据传输系统3000中，通过将分层图像以可扩缩方式编码获得的可扩缩编码数据被存储在可扩缩编码数据存储单元3001中。

递送服务器3002读出存储在可扩缩编码数据存储单元3001中的可扩缩编码数据，并将可扩缩编码数据通过网络3003递送至诸如个人计算机3004、AV设备3005、平板装置3006和移动电话3007的终端设备。

此时，递送服务器3002基于终端设备的性能、通信环境等选择和发送具有合适质量(分辨率等)的编码数据。即使递送服务器3002不必要地发送高质量数据，也不能说在终端设备中获得高质量图像，并且对可发生的延迟或上溢有所考虑。另外，考虑到高质量数据可不必要地占据通信频带，并且可不必要地增大终端设备上的负载。相反，如果递送服务器3002仅发送低质量数据，则即使终端设备的性能或通信环境合适，也难以获得高质量图像。为此，递送服务器3002适当地从可扩缩编码数据存储单元3001读出并发送具有适合终端设备的性能或通信环境的质量(层)的编码数据。

这里，在图45中，可扩缩编码数据存储单元3001存储可扩缩编码数据(BL+EL)3011。可扩缩编码数据(BL+EL)3011是其中多路复用了基本层图像编码流BL和非基本层图像编码流EL的分层图像编码流。

基本层图像编码流BL是通过将基本层图像编码获得的编码数据。另外，非基本层图像编码流EL是在根据需要参照基本层图像的同时通过将非基本层(增强层)图像编码获得的编码数据。

因此，可扩缩编码数据(BL+EL)3011是包括基本层和非基本层二者的图像的编码数据，并且是允许通过解码获得基本层图像和非基本层图像二者的数据。

递送服务器3002基于接收数据(接收递送的数据)的终端设备的性能或通信环境选择合适的层，并从可扩缩编码数据存储单元3001中读出(解码图像所需的)层的数据。例如，针对具有高处理性能的个人计算机3004或平板装置3006，递送服务器3002从可扩缩编码数据存储单元3001中读出具有高质量的可扩缩编码数据(BL+EL)3011(这允许获得高质量图像)，并按原样发送数据。相反，例如，针对具有低处理性能的AV设备3005或移动电话3007，递送服务器3002从可扩缩编码数据(BL+EL)3011中提取基本层数据(基本层图像编码流BL)，并将该数据作为可扩缩编码数据(BL)3012发送，可扩缩编码数据(BL)3012是内容与可扩缩编码数据(BL+EL)3011的内容相同(就内容而言)，但是质量比可扩缩编码数据(BL+EL)3011的质量更差的数据。

如上所述，由于利用可扩缩编码数据可容易地调节数据量，因此可抑制发生延迟或上溢，或者抑制不必要增加终端设备或通信介质上的负载。

另外，在可扩缩编码中，由于在参照基本层图像的同时执行非基本层(增强层)图像的编码，因此在可扩缩编码数据(BL+EL)3011中减少了层之间的冗余，并且因此与在其中不参照其它层的图像对非基本层图像编码(也就是说，按照独立的方式)的情况相比，数据量变得更少。因此，可更有效地使用可扩缩编码数据存储单元3001的存储区。

另外，可采用诸如个人计算机3004至移动电话3007的各种设备作为从递送服务器3002接收数据的终端设备，并且终端设备的硬件具有变化的各种性能。另外，终端设备执行各种应用，并且其软件也具有各种性能。此外，可采用包括诸如(例如)互联网或局域网(LAN)的有线网络、无线网络或这两种网络的所有通信线路网络作为网络3003(通信介质)，并且具有各种数据传输性能。而且，用作通信介质的网络3003的数据传输性能可根据流量或其它通信环境而改变。

因此，在开始数据传输之前，递送服务器3002可执行与作为数据的传输目的地的终端设备的通信，以获得关于终端设备的性能(诸如终端设备的硬件性能和通过终端设备执行的应用(软件)的性能)的信息和关于诸如网络3003的可用带宽的通信环境的信息。另外，递送服务器3002可基于关于终端设备的性能信息的和关于通信环境的信息选择合适的层。

另外，可通过终端设备以及通过递送服务器3002执行从可扩缩编码数据(BL+EL)3011中提取可扩缩编码数据(BL)3012。例如，个人计算机3004可不仅将从递送服务器3002发送的可扩缩编码数据(BL+EL)3011解码以显示非基本层图像，而且从从递送服务器3002发送的可扩缩编码数据(BL+EL)3011中提取基本层可扩缩编码数据(BL)3012，以存储数据，从而将数据发送至其它装置，或解码数据以显示基本层图像。

当然，可扩缩编码数据存储单元3001的数量、递送服务器3002的数量、网络3003的数量和终端设备的数量全部是任意的。

另外，终端设备可从递送服务器3002接收例如多个内容项的可扩缩编码数据。另外，在其中从递送服务器3002接收到多个内容项的可扩缩编码数据的情况下，终端设备可执行其中显示关于多个内容项中的特定内容项的非基本层图像的例如多个屏幕的显示(诸如所谓的双屏幕显示)，并且关于其它内容项显示基本层图像。

[使用分层图像编码方法的第二示例]

图46是示出使用分层图像编码方法的第二示例的示图。

可扩缩编码可用于例如利用多个通信介质的传输，如图46所示的示例。

在图46所示的数据传输系统3100中，广播站3101通过利用陆地广播3111发送基本层可扩缩编码数据(BL)3121。另外，广播站3101通过由有线网络、无线网络或二者形成的任何网络3112发送(例如，分包和发送)非基本层可扩缩编码数据(EL)3122。

终端设备3102具有通过广播站3101广播的陆地广播3111的接收功能，并接收经陆地广播3111发送的基本层可扩缩编码数据(BL)3121。另外，终端设备3102还具有利用网络3112执行通信的通信功能，并接收经网络3112发送的非基本层可扩缩编码数据(EL)3122。

终端设备3102可例如响应于来自用户的命令将经陆地广播3111获得的基本层可扩缩编码数据(BL)3121解码，以获得基本层图像，以存储图像，并且将图像发送至其它设备。

另外，例如，响应于来自用户的命令，终端设备3102可将经陆地广播3111获得的基本层可扩缩编码数据(BL)3121与经网络3112获得的非基本层可扩缩编码数据(EL)3122组合，以获得可扩缩编码数据(BL+EL)，并且可解码数据，从而获得非基本层图像，以存储图像，以及将图像发送至其它设备。

如上所述，例如，可经针对各个层不同的通信介质发送可扩缩编码数据。在这种情况下，可分布负载，因此可抑制延迟或上溢的发生。

另外，根据环境可针对各个层选择用于传输的通信介质。例如，可经具有大带宽的通信介质发送具有相对大量的数据的基本层可扩缩编码数据(BL)3121，并且可经具有小带宽的通信介质发送具有相对少量的数据的非基本层可扩缩编码数据(EL)3122。另外，例如，用于发送非基本层可扩缩编码数据(EL)3122的通信介质可根据网络3112的可用带宽在网络3112与陆地广播3111之间改变。当然，这对于任何层的数据也是相同的。

如上所述执行控制，因此可进一步抑制数据传输的负载的增加。

另外，层的数量是任意的，并且用于传输的通信介质的数量也是任意的。另外，用作数据传输目的地的终端设备3102的数量也是任意的。此外，如图46所示，在层单元中将以可扩缩方式编码的编码数据分割为多个数据项并通过多个线路发送数据项的数据传输系统3100不限于使用广播的系统。

[使用分层图像编码方法的第三示例]

图47是示出利用分层图像编码方法的第三示例的示图。

可扩缩编码可用于例如存储编码数据，如图47所示的示例。

在图47所示的成像系统3200中，成像设备3201以可扩缩方式编码通过使主体3211成像获得的图像数据，并将所得数据供应至可扩缩编码数据存储装置3202作为可扩缩编码数据(BL+EL)3221。

可扩缩编码数据存储装置3202存储具有基于环境的质量(分辨率)的从成像设备3201供应的可扩缩编码数据(BL+EL)3221。例如，在正常时间的情况下，可扩缩编码数据存储装置3202从可扩缩编码数据(BL+EL)3221中提取基本层数据，并将该数据作为具有低质量的少量数据的基本层可扩缩编码数据(BL)3222存储。相反，例如，在通知时间的情况下，可扩缩编码数据存储装置3202按原样存储具有高质量的大量数据的可扩缩编码数据(BL+EL)3221。

因此，由于可扩缩编码数据存储装置3202可仅在必要时保持高质量图像，因此在抑制图像的值由于图像质量变差而减小的同时可抑制数据量的增加，因此提高了存储区的使用效率。

例如，假设成像设备3201为监视相机。在俘获到的图像(成像设备3201获得的图像数据)中不反射监视目标(例如，侵入者)的情况下(正常时间的情况)，俘获到的图像的内容很可能不重要，因此数据量的减少优先，并且以低质量存储俘获到的图像(可扩缩编码数据)。相反，在作为主体3211的俘获到的图像中反射监视目标的情况下(通知时间的情况)，俘获到的图像的内容很可能重要，因此图像质量优先，并且以高质量存储俘获到的图像(可扩缩编码数据)。

另外，可例如通过分析图像的可扩缩编码数据存储装置3202确定正常时间和通知时间。另外，可例如通过成像设备3201确定正常时间和通知时间，并且可将确定结果发送至可扩缩编码数据存储装置3202。

另外，正常时间和通知时间的确定标准是任意的，并且用作确定标准的俘获到的图像的内容是任意的。当然，除俘获到的图像的内容以外的条件可用作确定标准。例如，可基于记录的声音的量值、波形等确定正常时间和通知时间。另外，正常时间和通知时间可例如针对各个预定时间间隔变化，或者通过诸如用户的命令的外部命令变化。

另外，在以上描述中，已描述了改变包括正常时间和通知时间的两种状态的示例，但是状态的数量是任意的，例如，诸如正常时间、小通知时间、通知时间和大通知时间的三个或更多个状态可改变。这里，改变的状态的最大数量取决于可扩缩编码数据的层数。

另外，成像设备3201可基于状态确定可扩缩编码层的数量。例如，在正常时间的情况下，成像设备3201可产生具有低质量的少量数据的基本层可扩缩编码数据(BL)3222，并可将该数据供应至可扩缩编码数据存储装置3202。另外，例如，在通知时间的情况下，成像设备3201可产生具有高质量的大量数据的基本层和非基本层可扩缩编码数据(BL+EL)3221，并可将该数据供应至可扩缩编码数据存储装置3202。

另外，成像系统3200的使用是任意的，并且不限于监视相机。

另外，在本说明书中，描述了这样一个示例，其中诸如预测模式信息和合并信息的各种信息多路复用到编码流的头中，并将其从编码侧发送至解码侧。然而，发送所述信息的方法不限于该示例。例如，可将信息作为与编码流相关的分离数据发送或记录，而不多路复用到编码流中。这里，术语“相关”指示在解码中，在编码流中包括的图像(可为诸如片或块的图像的一部分)可连接至对应于图像的信息。也就是说，可在与图像(或编码流)不同的传输路径上发送信息。此外，可将信息记录在与图像(或编码流)的记录介质不同的记录介质(或者相同记录介质的不同记录区域)上。而且，信息和图像(或编码流)可在任何单元(诸如(例如)多个帧、一个帧或帧的一部分)中彼此关联。

如上所述，虽然已经参照附图详细描述了本技术的优选实施例，但是本发明不限于该示例。明显的是，本领域技术人员可构想出权利要求记录的技术精神的范围内的各种修改或改变，并且应该理解，它们自然落入本技术的技术范围内。

另外，本技术可具有以下配置。

[1]

一种图像处理设备，包括：设置单元，设置用于限制图像块的大小和将被应用于具有该大小的块的预测方法的限制信息；预测单元，根据由设置单元设置的限制信息产生预测图像；编码单元，利用由预测单元产生的预测图像将图像编码，并产生编码流；以及发送单元，发送由编码单元产生的编码流和由设置单元设置的限制信息。

[2]

根据[1]所述的图像处理设备，其中，设置单元基于存储器带宽设置限制信息，存储器带宽是从存储当产生预测图像时使用的解码图像的存储单元中读出解码图像的传输速率。

[3]

根据[2]所述的图像处理设备，其中，在存储器带宽小时，设置单元设置用于限制将被应用于大小较大的块的预定预测方法的限制信息。

[4]

根据[3]所述的图像处理设备，其中，预定预测方法是双向预测，或者双向预测和单向预测二者。

[5]

根据[1]所述的图像处理设备，其中，设置单元基于档次或级别设置限制信息。

[6]

根据[5]所述的图像处理设备，其中，在由档次或级别表示的图像的大小较大时，设置单元设置用于限制将被应用于大小较大的块的预定预测方法的限制信息。

[7]

根据[6]所述的图像处理设备，其中，预定预测方法是双向预测，或双向预测和单向预测二者。

[8]

一种图像处理方法，包括：设置步骤，设置用于限制图像块的大小和将被应用于具有该大小的块的预测方法的限制信息；预测步骤，根据在设置步骤中设置的限制信息产生预测图像；编码步骤，利用在预测步骤中产生的预测图像将图像编码，并产生编码流；以及发送步骤，发送在编码步骤中产生的编码流和在设置步骤中设置的限制信息。

[9]

一种图像处理设备，包括：接收单元，接收用于限制图像块的大小和将被应用于具有该大小的块的预测方法的限制信息、和通过将图像编码产生的编码流；预测单元，根据由接收单元接收到的限制信息产生预测图像；以及解码单元，利用由预测单元产生的预测图像将由接收单元接收到的编码流解码。

[10]

根据[9]所述的图像处理设备，其中，在编码流适合于限制信息的情况下，预测单元产生预测图像。

[11]

一种图像处理方法，包括：接收步骤，接收用于限制图像块的大小和将被应用于具有该大小的块的预测方法的限制信息、和通过将图像编码产生的编码流；预测步骤，根据在接收步骤中接收到的限制信息产生预测图像；以及解码步骤，利用在预测步骤中产生的预测图像将在接收步骤中接收到的编码流解码。

[12]

一种图像处理设备，包括：基于档次和级别设置用于限制图像块的大小和将被应用于具有该大小的块的预测方法的限制信息；预测单元，根据由设置单元设置的限制信息产生预测图像；编码单元，利用由预测单元产生的预测图像将图像编码，并产生编码流；以及发送单元，发送由编码单元产生的编码流。

[13]

一种图像处理方法，包括：设置步骤，基于档次和级别设置用于限制图像块的大小和将被应用于具有该大小的块的预测方法的限制信息；预测步骤，根据在设置步骤中设置的限制信息产生预测图像；编码步骤，利用在预测步骤中产生的预测图像将图像编码，并产生编码流；以及发送步骤，发送在编码步骤中产生的编码流。

[14]

一种图像处理设备，包括：接收单元，接收根据基于框架或级别的用于限制图像块的大小和将被应用于具有该大小的块的预测方法的限制信息编码的编码流；预测单元，根据基于档次或级别识别的限制信息产生预测图像；以及解码单元，利用由预测单元产生的预测图像将由接收单元接收到的编码流解码。

[15]

一种图像处理方法，包括：接收步骤，接收根据基于框架或级别的用于限制图像块的大小和将被应用于具有该大小的块的预测方法的限制信息编码的编码流；预测步骤，根据基于档次或级别识别的限制信息产生预测图像；以及解码步骤，利用在预测步骤中产生的预测图像将在接收步骤中接收到的编码流解码。

参考标号列表

100 图像编码装置， 106 可逆编码单元，

121 编码控制单元， 143 合并标记编码单元，

144 合并模式编码单元， 200 图像解码装置，

202 可逆解码单元， 221 解码控制单元，

243 合并标记解码单元， 244 合并模式解码单元，

1001 输入图片缓冲器， 1002 计算单元，

1003 正交变换单元， 1004 量化单元，

1005 熵编码单元， 1006 逆量化单元，

1007 逆正交变换单元， 1008 计算单元，

1009 去块滤波器， 1010 适应性采样偏移单元，

1011 适应性采样偏移估计单元，

1012 适应性环路滤波器，

1013 适应性环路滤波器估计单元，

1014 DPB， 1015 帧内方向估计单元，

1016 帧内预测单元， 1017 运动估计单元，

1018 帧间预测单元， 1019 模式确定单元，

1021 设置单元， 2001 熵解码单元，

2002 逆量化单元， 2003 逆正交变换单元，

2004 计算单元， 2005 去块滤波器，

2006 适应性采样偏移单元， 2007 适应性环路滤波器，

2008 DPB， 2009 帧内预测单元，

2010 帧间预测单元， 2011 模式选择单元

Claims (15)

1.一种图像处理设备，包括：

设置单元，设置限制信息，以限制图像块的大小和应用于具有所述大小的块的预测方法，并且基于帧率和最大编码单元的大小限制用于在图像块的运动补偿中产生预测图像的运动向量的数量；

预测单元，根据由设置单元设置的限制信息产生预测图像；

编码单元，利用由预测单元产生的预测图像将图像编码，并产生编码流；以及

发送单元，发送由编码单元产生的编码流和由设置单元设置的限制信息。

2.根据权利要求1所述的图像处理设备，其中，设置单元基于存储器带宽设置限制信息，存储器带宽是从存储当产生预测图像时使用的解码图像的存储单元中读出解码图像的传输速率。

3.根据权利要求2所述的图像处理设备，其中，在存储器带宽小时，设置单元设置用于禁止将被应用于大小较大的块的预定预测方法的限制信息。

4.根据权利要求3所述的图像处理设备，其中，预定预测方法是双向预测，或者双向预测和单向预测二者。

5.根据权利要求1所述的图像处理设备，其中，设置单元基于简档或级别设置限制信息。

6.根据权利要求5所述的图像处理设备，其中，在由简档或级别表示的图像的大小较大时，设置单元设置用于禁止将被应用于大小较大的块的预定预测方法的限制信息。

7.根据权利要求6所述的图像处理设备，其中，预定预测方法是双向预测，或双向预测和单向预测二者。

8.一种图像处理方法，包括：

设置步骤，设置限制信息，以限制图像块的大小和应用于具有所述大小的块的预测方法，并且基于帧率和最大编码单元的大小限制用于在图像块的运动补偿中产生预测图像的运动向量的数量；

预测步骤，根据在设置步骤中设置的限制信息产生预测图像；

编码步骤，利用在预测步骤中产生的预测图像将图像编码，并产生编码流；以及

发送步骤，发送在编码步骤中产生的编码流和在设置步骤中设置的限制信息。

9.一种图像处理设备，包括：

接收单元，接收限制信息和通过将图像编码产生的编码流，所述限制信息用于限制图像块的大小和应用于具有所述大小的块的预测方法并且基于帧率和最大编码单元的大小限制用于在图像块的运动补偿中产生预测图像的运动向量的数量；

预测单元，根据由接收单元接收到的限制信息产生预测图像；以及

解码单元，利用由预测单元产生的预测图像将由接收单元接收到的编码流解码。

10.根据权利要求9所述的图像处理设备，其中，在编码流适合于限制信息的情况下，预测单元产生预测图像。

11.一种图像处理方法，包括：

接收步骤，接收限制信息和通过将图像编码产生的编码流，所述限制信息用于限制图像块的大小和应用于具有所述大小的块的预测方法并且基于帧率和最大编码单元的大小限制用于在图像块的运动补偿中产生预测图像的运动向量的数量；

预测步骤，根据在接收步骤中接收到的限制信息产生预测图像；以及

解码步骤，利用在预测步骤中产生的预测图像将在接收步骤中接收到的编码流解码。

12.一种图像处理设备，包括：

设置单元，基于简档和级别设置限制信息，以限制图像块的大小和应用于具有所述大小的块的预测方法，并且基于帧率和最大编码单元的大小限制用于在图像块的运动补偿中产生预测图像的运动向量的数量；

预测单元，根据由设置单元设置的限制信息产生预测图像；

编码单元，利用由预测单元产生的预测图像将图像编码，并产生编码流；以及

发送单元，发送由编码单元产生的编码流。

13.一种图像处理方法，包括：

设置步骤，基于简档和级别设置限制信息，以限制图像块的大小和应用于具有所述大小的块的预测方法，并且基于帧率和最大编码单元的大小限制用于在图像块的运动补偿中产生预测图像的运动向量的数量；

预测步骤，根据在设置步骤中设置的限制信息产生预测图像；

编码步骤，利用在预测步骤中产生的预测图像将图像编码，并产生编码流；以及

发送步骤，发送在编码步骤中产生的编码流。

14.一种图像处理设备，包括：

接收单元，接收根据基于简档或级别的限制信息编码的编码流，所述限制信息用于限制图像块的大小和应用于具有所述大小的块的预测方法并且基于帧率和最大编码单元的大小限制用于在图像块的运动补偿中产生预测图像的运动向量的数量；

预测单元，根据基于简档或级别识别的限制信息产生预测图像；以及

解码单元，利用由预测单元产生的预测图像将由接收单元接收到的编码流解码。

15.一种图像处理方法，包括：

接收步骤，接收根据基于简档或级别的限制信息编码的编码流，所述限制信息用于限制图像块的大小和应用于具有所述大小的块的预测方法并且基于帧率和最大编码单元的大小限制用于在图像块的运动补偿中产生预测图像的运动向量的数量；

预测步骤，根据基于简档或级别识别的限制信息产生预测图像；以及

解码步骤，利用在预测步骤中产生的预测图像将在接收步骤中接收到的编码流解码。