CN103460696B - 图像处理装置和方法 - Google Patents

Abstract

本发明的技术涉及图像处理装置和方法，其中使得能够更容易地执行速度控制。提供了一种对图像数据进行编码并生成编码流的图像编码装置，其设置有：设置单元，设置当以通过算术编码生成的二进制数据来限定由作为对图像数据进行编码的结果的编码流限定的假设解码器的大小和假设解码器中累积的数据量时要使用的二进制参数；编码单元，对图像数据进行编码并生成编码流；以及传送单元，经由诸如存储介质或网络的预定的传送路径，将由设置单元设置的二进制参数和由编码单元生成的编码流传送到用于对编码流进行解码的图像解码装置。本发明可以应用于例如图像处理装置。

Description

图像处理装置和方法

技术领域

本发明涉及图像处理装置和方法，更具体地，涉及能够更容易地执行速度控制的图像处理装置和方法。

背景技术

在作为图像编码技术的AVC（高级视频编码）中，引入了假设参考解码器（HRD）的概念，以便无失败地传送流（例如，参见非专利文献1）。编码器需要生成速度受控制的比特流，以便不在假设解码器中导致失败。

提出了各种方法作为用于速度控制的方法（例如，参见专利文献1和专利文献2）。

引用列表

非专利文件

非专利文献1：Sakae OKUBO,Shinya KADONO,Yoshihiro KIKUCHI,TeruhikoSUZUKI,″H.264/AVC Textbook,3rd Revised Edition″，2009年1月1日,IMPRESS R&D,pp.185-194

专利文献

专利文献1：JP2009-55384A

专利文献2：JP2009-111625A

发明内容

本发明要解决的问题

然而，期望存在更合适的速度控制方法，并进行了进一步的研究。例如，期望更容易的速度控制方法。

本公开内容是考虑到这些情况而作出的，并且本公开内容的目标是允许更容易的速度控制。

问题的解决方案

本公开内容的一个方面是一种图像处理装置，包括：被配置成设置用于以二进制数据来限定在编码流中限定的假设解码器的二进制参数的设置单元；被配置成对图像数据进行编码以生成编码流的编码单元；以及被配置成传送由设置单元设置的二进制参数和由编码单元生成的编码流的传送单元。

设置单元可以设置假设解码器的缓冲器的大小和表示在缓冲器中累积的数据的数据量的位置作为二进制参数。

设置单元可以设置用于将编码流的编码量转换为二进制数据的数据量的转换参数作为二进制参数。

设置单元可以设置指示是否通过使用转换参数将假设解码器从由编码流进行的限定转换为由二进制数据进行的限定的参数作为二进制参数。

设置单元可以设置指示是否通过使用不同的参数来设置以编码流限定的假设解码器和以二进制数据限定的假设解码器的参数作为二进制参数。

传送单元可以将二进制参数作为由编码单元生成的编码流的附加信息进行传送。

传送单元可以通过将二进制参数插入到由编码单元生成的编码流中来传送二进制参数。

设置单元可以设置用于限定对二进制数据处理速度进行限定的假设解码器的参数作为二进制参数。

设置单元可以设置指示二进制数据处理速度的参数作为二进制参数。

设置单元可以设置指示假设解码器的缓冲器的大小的参数作为二进制参数。

还可以设置有确定单元，该确定单元被配置成通过使用根据二进制参数确定的编码流的最大处理量和二进制数据的最大处理量来确定作为编码流的目标速度的目标比特。

另外，本公开内容的一个方面是一种用于图像处理装置的图像处理方法，包括：由设置单元设置用于以二进制数据来限定在编码流中限定的假设解码器的二进制参数；由编码单元对图像数据进行编码以生成编码流；以及由传送单元传送所设置的二进制参数和所生成的编码流。

本公开内容的另一个方面是一种图像处理装置，包括：被配置成接收用于以二进制数据来限定在编码流中限定的假设解码器的二进制参数和通过对图像数据进行编码而获得的编码流的接收单元；以及被配置成通过使用由接收单元接收到的二进制参数对由接收单元接收到的编码流进行解码的解码单元。

另外，本发明的另一个方面是一种用于图像处理装置的图像处理方法，该方法包括：由接收单元接收用于以二进制数据来限定在编码流中限定的假设解码器的二进制参数和通过对图像数据进行编码而获得的编码流；以及由解码单元通过使用所接收到的二进制参数对所接收到的编码流进行解码。

在本公开内容的一个方面中，设置用于以二进制数据来限定在编码流中限定的假设解码器的二进制参数，对图像数据进行编码以生成编码流，并且传送所设置的二进制参数和所生成的编码流。

在本公开内容的另一个方面中，接收用于以二进制数据来限定在编码流中限定的假设解码器的二进制参数和通过对图像数据进行编码而获得的编码流，并且通过使用所接收到的二进制参数对所接收到的编码流进行解码。

本发明的效果

根据本公开内容，可以对图像进行处理。特别地，可以更容易地执行速度控制。

附图说明

图1是示出图像编码装置的典型示例结构的框图。

图2是示出HRD模型的示例的图。

图3是示出语法的示例的表。

图4是示出编码过程的时序图的示例的图。

图5是用于说明由比特限定的HRD速度控制的状态的示例的图。

图6是用于比较通过比特（Bit）限定HRD和通过二进制（Bin）限定HRD的示例的图。

图7是用于说明由二进制限定的HRD速度控制的状态的示例的图。

图8是示出语法的其它示例的表。

图9是示出无损编码器的典型示例结构的框图。

图10是示出速度控制器的典型示例结构的框图。

图11是用于说明编码过程的流程的示例的流程图。

图12是用于说明速度控制过程的流程的示例的流程图。

图13是用于说明参数设置过程的流程的示例的流程图。

图14是用于说明CPB位置转换过程的流程的示例的流程图。

图15是示出图像解码装置的典型示例结构的框图。

图16是示出无损解码器的典型示例结构的框图。

图17是用于说明解码过程的流程的示例的流程图。

图18是用于说明无损解码过程的流程的示例的流程图。

图19示出用于说明二进制HRD的图。

图20是示出语法的其它示例的表。

图21是示出速度控制器的另一个示例结构的框图。

图22是用于说明速度控制过程的流程的另一个示例的流程图。

图23是示出个人计算机的典型示例结构的框图。

图24是示出电视装置的示意性结构的一个示例的框图。

图25是示出便携式电话装置的示意性结构的一个示例的框图。

图26是示出记录/再现装置的示意性结构的一个示例的框图。

图27是示出成像装置的示意性结构的一个示例的框图。

具体实施方式

下面将描述用于实现本公开内容的模式（在下文中被称为各实施例）。将按下列顺序进行描述。

1.第一实施例（图像编码装置）

2.第二实施例（图像解码装置）

3.第三实施例（图像编码装置）

4.第四实施例（个人计算机）

5.第五实施例（电视接收机）

6.第六实施例（便携式电话装置）

7.第七实施例（硬盘录像机）

8.第八实施例（摄像机）

<1.第一实施例>

[图像编码装置]

图1是示出图像编码装置的典型示例结构的框图。

如在H.264和MPEG（运动图像专家组）4第10部分（AVC（高级视频编码））编码技术中一样，图1所示的图像编码装置100在对码流执行速度控制的同时对图像数据进行编码，以便无失败地传送流。

如图1所示，图像编码装置100包括A/D转换器101、帧重排序缓冲器102、算术运算单元103、正交变换器104、量化器105、无损编码器106和累积缓冲器107。图像编码装置100还包括逆量化器108、逆正交变换器109、算术运算单元110、环路滤波器111、帧存储器112、选择器113、帧内预测器114、运动估计器/补偿器115、预测图像选择器116和速度控制器117。

A/D转换器101对输入图像数据执行A/D转换，将通过转换获得的图像数据（数字数据）提供到帧重排序缓冲器102，并在帧重排序缓冲器102中存储图像数据。帧重排序缓冲器102根据GOP（图片组）将以显示顺序存储的图像的帧重排序为编码顺序，并将重排序的图像提供到算术运算单元103、帧内预测器114和运动估计器/补偿器115。

算术运算单元103将从帧重排序缓冲器102中读取的图像减去经由预测图像选择器116从帧内预测器114或运动估计器/补偿器115提供的预测图像，并将作为结果的差信息输出到正交变换器104。

正交变换器104对从算术运算单元103提供的差信息执行正交变换，例如离散余弦变换或卡南-洛维（Karhunen-Loeve）变换，并将作为结果的信息提供到量化器105。量化器105量化从正交变换器104提供的变换系数。量化器105根据有关从速度控制器117提供的编码量的目标值的信息来设置量化参数，并执行量化。可以使用任何方法来进行量化。量化器105将量化的变换系数提供到无损编码器106。

无损编码器106根据编码技术对由量化器105量化的变换系数进行编码。由于系数数据是在速度控制器117的控制之下量化的，因此系数数据的编码量是由速度控制器117设置的目标值（或接近于目标值）。

无损编码器106还从帧内预测器114获取指示帧内预测模式等的信息，并从运动估计器/补偿器115获取指示帧间预测模式的信息、运动向量信息等。无损编码器106还获取环路滤波器111所使用的滤波器系数等。

无损编码器106根据编码技术对这些各种信息片段进行编码，以便将各种信息片段包含为编码数据的头信息的一部分（对信息片段进行多路复用）。无损编码器106将通过编码获得的编码数据提供到累积缓冲器107，并将编码数据累积在累积缓冲器107中。

无损编码器106所使用的编码技术的示例包括可变长度编码和算术编码。可变长度编码的示例包括H.264/AVC标准中定义的CAVLC（上下文自适应可变长度编码）。算术编码的示例包括CABAC（上下文自适应二进制算术编码）。

累积缓冲器107临时保存从无损编码器106提供的编码数据。累积缓冲器107将保存的编码数据输出到未示出的下游记录装置（记录介质）、传送路径等。

由量化器105量化的变换系数还提供给逆量化器108。逆量化器108通过对应于由量化器105进行的量化的方法，对量化的变换系数执行逆量化，并将作为结果的变换系数提供到逆正交变换器109。

逆正交变换器109通过对应于由正交变换器104执行的正交变换过程的方法，对从逆量化器108提供的变换系数执行逆正交变换，并将通过逆正交变换获得的输出（恢复的差信息）提供到算术运算单元110。

算术运算单元110将经由预测图像选择器116从帧间预测器114或运动估计器/补偿器115提供的预测图像加到逆正交变换的结果、即从逆正交变换器109提供的恢复的差信息，以获得本地解码的图像（解码图像）。解码图像被提供到环路滤波器111和帧存储器112。

环路滤波器111包括去块滤波器、自适应环路滤波器等，并对从算术运算单元110提供的解码图像执行合适的滤波。例如，环路滤波器111对解码图像执行去块滤波，以从解码图像去除块失真。另外，例如，环路滤波器111通过使用维纳（Wiener）滤波器对去块滤波的结果（从中去除了块失真的解码图像）执行环路滤波，以提高图像质量。

可替选地，环路滤波器111可以对解码图像执行某些滤波。必要时，环路滤波器111也可将诸如用于滤波的滤波器系数的信息提供到无损编码器106，从而该信息将被编码。

环路滤波器111将滤波的结果（由滤波产生的解码图像）提供到帧存储器112。

选择器113选择从帧存储器112提供的参考图像要被提供到的组件。例如，在帧内预测中，选择器113将从帧存储器112提供的参考图像提供到帧内预测器114。可替选地，例如，在帧间预测中，选择器113将从帧存储器112提供的参考图像提供到运动估计器/补偿器115。

帧内预测器114通过使用经由选择器113从帧存储器112提供的参考图像来执行帧内预测（帧内预测）。帧内预测器114将在最佳模式下生成的预测图像提供到预测图像选择器116。必要时，帧内预测器114还将指示所使用的帧内预测模式的帧内预测模式信息和类似的信息提供到无损编码器106，从而该信息将被编码。

运动估计器/补偿器115通过使用从帧重排序缓冲器102提供的输入图像和经由选择器113从帧存储器112提供的参考图像来执行运动估计（帧间预测），并通过运动补偿生成预测图像（帧间预测图像）。运动估计器/补偿器115将在最佳帧间预测模式下生成的预测图像提供到预测图像选择器116。运动估计器/补偿器115还将指示所使用的帧间预测模式的信息、在帧间预测模式下对编码数据进行解码的处理所需的信息和类似的信息提供到无损编码器106，从而该信息将被编码。

预测图像选择器116选择要被提供到算术运算单元103和算术运算单元110的预测图像的源。具体地，预测图像选择器116选择从帧内预测器114提供的预测图像和从运动估计器/补偿器115提供的预测图像中的任何一个，并将选择的预测图像提供到算术运算单元103和算术运算单元110。

速度控制器117确定用于控制量化器105的量化操作的速度的方法，并通过控制方法，根据由无损编码器106生成的二进制数据的数据量（也被称为生成的二进制（Bin））、累积在累积缓冲器107中的编码数据的编码量（也被称为生成的比特（Bit））等来实际控制速度，以便防止上溢或下溢。

量化器105获取目标比特（Target Bit），控制量化参数，以便获得目标比特（目标速度），并执行量化，其中目标比特是从速度控制器117提供的用于控制速度的控制信息（比特率的目标值）。

在执行诸如CABAC的算术编码时，无损编码器106将二进制数据的数据量（生成的二进制）提供到速度控制器117。

当无损编码器106执行诸如CAVLC的可变长度编码时，累积缓冲器107将码流的数据量（生成的比特）提供到速度控制器117。累积缓冲器107还获取由速度控制器117设置的有关假设解码器的各种参数，并与编码流一起传送参数。

[HRD模型]

在经由传送路径获取从编码器提供的比特流时，解码器将比特流保存在缓冲器中。为了对比特流进行解码，解码器从缓冲器读出需要的数据，并执行解码。在此情况下，如果缓冲器上溢（如果比特流漫过缓冲器）或如果缓冲器下溢（如果当解码器开始解码时比特流未完全输入），则解码器无法成功地对比特流进行解码。

相应地，编码器必须生成比特流，以便不在对比特流进行解码的解码器中导致失败（以便不导致上溢或下溢）。

为了实现上面的目标，在诸如AVC的编码技术中引入了假设解码器的概念。假设解码器是解码器的行为（缓冲器的状态）的假设模型。编码器可以通过执行编码来生成不在解码器中导致失败的比特流，以便不在假设解码器中导致失败。

HRD（假设参考解码器）是由H.264/AVC标准定义的假设解码器模型。例如，HRD包括CPB（编码图片缓冲器），CPB是被配置成在比特流输入到解码器之前保存比特流的缓冲器。

图2是用于说明由速度控制器117计算出的HRD模型的示例的图。对于HRD，限定了流入到CPB的比特流的速度（跟踪速度）和CPB的大小（CPB大小）。跟踪速度由bit_rate_scale和bit_rate_value_minus1来限定，而CPB大小由cpb_size_scale和cpb_size_value_minus1来限定。

这些变量（bit_rate_scale、bit_rate_value_minus1、cpb_size_scale和cpb_size_value_minus1）以如图3所示的语法（HRD参数语法）来编写。

在图2的图中，水平轴表示时间的方向，而垂直轴表示CPB中累积的比特流的编码量。垂直虚线表示从CPB中读出数据的定时。换言之，虚线的时间间隔表示帧时间间隔（frame_rate）。图2的图中的曲线表示比特流的累积量。

在假设解码器模型中，从编码器提供的比特流在CPB中累积，直到下一垂直虚线（读出定时）为止。因此，该情况下的曲线的斜率表示比特流的跟踪速度。

在读出定时，立即读出CPB中累积的预定量的比特流。因此，图2的图中的曲线变得垂直地向下。然后，累积比特流，直到下一读出定时（垂直虚线）为止。

在CPB中，重复这样的比特流的输入和输出。在图2中，水平虚线表示CPB的缓冲区大小（CPB大小）（可以累积的编码量的最大值）。因此，图2的图中的曲线变为在水平虚线上方意味着在解码定时发生了缓冲器的上溢。

相比之下，图2的图中的曲线作为从CPB读出比特流的结果变为在水平轴下方意味着，在解码定时发生了数据没有到达的下溢。

因此，编码器（图像编码装置100）需要执行速度控制，以便不导致关于CPB大小的下溢或上溢。

在相关技术中，这些参数都由所生成的编码量来限定。然而，在CABAC的情况下，在编码器中，数据通过被称为“二进制化”的过程被实际转换为二进制数据（也被称为二进制（Bin）），以便输入到算术编码器，此后通过算术编码被转换为最后的比特流（也被称为比特）。通常，由于在算术编码中发生了延迟，所以在限定了一个帧的最后比特的定时，诸如针对宏块的模式确定的条件选择都完成了。

图4示出有关编码的过程的时序图的示例。每个框表示都每个处理单位中的处理。如图3所示，在确定了算术编码之后的生成的比特量的定时，完成编码（其它处理）。虽然取决于体系结构，但是在某些情况下，存在几个帧的延迟直到根据二进制确定比特为止。

在速度控制中，获得在编码开始的定时可被使用以便不在HRD中导致下溢的比特量。当通过CABAC执行编码时，如图5所示，即使对宏块执行反馈控制，也需要一定的余量，这是因为在确定比特时发生了延迟。

换言之，由于如图5所示需要确保在考虑比特确定的延迟的情况下的余量，因此存在这样的可能性：编码器只能确保通过从实际可用的比特量减去余量而获得的比特量。

当如上所述存在几个帧的延迟直到根据二进制确定比特为止时，例如存在这样的可能性：当要确定由缓冲时间段sei限定的initial_cpb_removal_delay等时，以比特进行的HRD跟踪没有完成。在此情况下，需要确保更大的余量，这可能进一步降低可以确保的可用的比特量。

这不仅导致编码量的不必要的降低，而且导致使得编码困难的更严格的条件。

[由二进制进行的限定]

因此，图1中的图像编码装置100的速度控制器117通过二进制来限定HRD控制。具体地，速度控制器117通过二进制来限定到CPB中的比特流的跟踪速度和CPB大小（跟踪速度二进制和CPB大小二进制）。

注意，生成的二进制总是大于生成的比特。此外，比特的转变总是小于二进制的HRD的变化。因此，通过由二进制来限定HRD并确保对应于CPB中的二进制的大小的量，在比特流中也总是满足条件。换言之，可以生成不在解码器中导致失败的比特流。

与通过由比特来限定HRD相比，通过以此方式由二进制来限定HRD，HRD的限定更容易，这是因为没有必要为延迟确保余量。因此，图像编码装置100可以更容易地执行速度控制。

例如，通过限定HRD（CPB）的大小和位置（累积量）来限定HRD（CPB）。例如，速度控制器117通过使用预定的参数将由比特限定的HRD（CPB）转换为由二进制限定的HRD（CPB）。用于由二进制来限定由比特限定的HRD（CPB）的参数将被称为缓冲器模型参数（也被称为二进制参数）。

通常，CABAC中的二进制大约是比特的1.2倍。因此，二进制的HRD可以是比特的HRD的1.2倍。图6是示出由二进制限定的HRD模型与由比特限定的HRD模型之间的比较的示例的图。通过将由二进制限定的HRD模型的示例叠加在图2的图上获得图6所示的图。

如图6所示，在由二进制限定的HRD模型的情况下的CPB大小（CPB大小二进制）大于在由比特限定的HRD模型的情况下的（CPB大小）。此外，在由二进制限定的HRD模型的情况下的表示此时CPB中的数据累积量的CPB位置（CPB pos bin）大于在由比特限定的HRD模型的情况下的（CPB pos）。另外，在由二进制限定的HRD模型的情况下，CPB位置的变化更大。

因此，速度控制器117可以执行速度控制，使得通过控制比特率生成在由比特限定的HRD模型中也不导致失败的比特流，以便通过使用由二进制限定的HRD模型不导致失败。

为了这样的控制，速度控制器117设置表示由二进制进行的限定与由比特进行的限定的比率的bit_to_bin作为缓冲器模型参数。换言之，bit_to_bin是用于将比特流的编码量转换为二进制数据的数据量的参数。速度控制器117通过使用缓冲器模型参数bit_to_bin将由比特限定的HRD（CPB）转换为由二进制限定的HRD（CPB）。

首先，如在下面的等式（1）和（2）中一样，使用生成的比特量限定到CPB中的比特流的跟踪速度（BitRate）和CPB大小（CpbSize）。

BitRate[SchedSelIdx]=(bit_rate_value_minus1[SchedSelIdx]+1)×2(6+bit_rate_scale)...(1)

CpbSize[SchedSelIdx]=(cpb_size_value_minus1[SchedSelIdx]+1)×2(4+cpb_size_scale)...(2)

通过使用bit_to_bin参数，如下面的等式（3）和（4）所表示的，重新计算这里获得的BitRate（跟踪速度）和CpbSize（CPB大小），以便转换为由二进制进行的限定。

Bitrate=Bitrate×(32+bit_to_bin)>>5...(3)

CpbSize=CpbSize×(32+bit_to_bin)>>5...(4)

在等式中，“>>5”表示向右移位五比特。参数bit_to_bin是在“0”到“32”的范围内的值。例如当bit_to_bin是“0”时，由二进制限定的BitRate（跟踪速度）和CpbSize（CPB大小）是由比特限定的BitRate（跟踪速度）和CpbSize（CPB大小）的1.0倍。例如当bit_to_bin是“32”时，由二进制限定的BitRate（跟踪速度）和CpbSize（CPB大小）是由比特限定的BitRate（跟踪速度）和CpbSize（CPB大小）的2.0倍。因此，bit_to_bin可以将1.0至2.0表示到1/32的精度。

注意，可以在流的中间在CABAC和CAVLC之间进行切换。当以此方式切换编码技术时，速度控制器117通过使用如下面的等式（5）或等式（6）所表示的bit_to_bin参数，进一步重新计算CPB位置（CPB pos）。

当编码技术从CABAC切换到CAVLC时：

CpbPos=CpbPos×32/(32+bit_to_bin)...(5)

当编码技术从CAVLC切换到CABAC时：

CpbPos=CpbPos×(32+bit_to_bin)>>5...(6)

图7示出当切换编码技术时HRD模型的示例。图7中所示的图是与图2和图6中所示的那些图相类似的图。然而，在图7的示例中，编码技术在中间从CABAC切换到CAVLC，然后从CAVLC切换到CABAC。

假设bit_to_bin参数的值在CABAC中为“1.2”，而在CAVLC中为“1.0”。因此，在CABAC中由二进制来限定HRD，而在CAVLC中由比特来限定HRD。

直线131表示在CABAC的第一编码时间段内的CPB缓冲器大小（CPB大小）。直线132表示在CAVLC的编码时间段内的CPB缓冲器大小（CPB大小）。直线133表示在CABAC的第二编码时间段内的CPB缓冲器大小（CPB大小）。换言之，直线131和直线133表示由二进制限定的CPB缓冲器大小（CPB大小），而直线132表示由比特限定的CPB缓冲器大小（CPB大小）。

在以CABAC进行的编码开始之后，CPB位置如曲线134所表示地进行变化。具体地，当比特流在CPB中累积并到达读出定时时，累积到CPB位置134-1的比特流被读出到CPB位置134-2。此后，继续进行累积，并且累积到CPB位置134-3的比特流在下一读出定时被读出到CPB位置134-4。类似地，在下一读出定时，累积到CPB位置134-5的比特流被读出到CPB位置134-6，并且在再下一个读出定时，累积到CPB位置134-7的比特流被读出到CPB位置134-8。

这些是以二进制进行的。这些被转换为比特（1/1.2），比特流将在相应的读出定时被累积到CPB位置P1到P4。因此，由比特限定的CPB位置（P1到P4）总是小于由二进制限定的CPB位置（CPB位置134-1、CPB位置134-3、CPB位置134-5和CPB位置134-7）。因此，在由比特限定的HRD中也将不导致溢出。

当编码技术从CABAC切换到CAVLC时，使用bit_to_bin参数，如前述等式（5）中一样重新计算CPB位置（CPB pos）。具体地，CPB位置134-8被转换为CPB位置135-1。

在此情况下，CPB位置135-1小于CPB位置134-8，但是作为该转换的结果将不导致下溢，这是因为由二进制限定的HRD中的CPB位置的变化小于由比特限定的HRD中的CPB位置的变化。

作为以CAVLC进行编码的结果，CPB位置如曲线135所表示地进行变化。当编码技术从CAVLC切换到CABAC时，使用bit_to_bin参数如前述等式（6）一样重新计算CPB位置（CPBpos）。具体地，CPB位置135-2被转换为CPB位置136-1。

在此情况下，CPB位置136-1大于CPB位置135-2，并且该转换将不导致下溢。此后，作为以CABAC进行编码的结果，CPB位置如曲线136所表示地进行变化。

由于速度控制器117如上所述可以容易地在由二进制进行的限定和由比特进行的限定之间进行切换而不导致上溢或下溢，因此即使在切换编码技术时，也可以容易地控制速度。

[语法]

速度控制器117将图8所示的语法添加到图3所示的HRD参数，用于如上所述的速度控制。在图8所示的HRD参数中，use_bin_hrd_flag、use_bit_to_bin_flag和bit_to_bin被添加到图3所示的HRD参数（从顶部起的9到11行）。

二进制参数use_bin_hrd_flag是指示是否向由二进制限定的HRD提供除用于由比特限定的HRD的HRD参数以外的HRD参数的参数（标志）。当此use_bin_hrd_flag为真时，由比特限定的HRD和由二进制限定的HRD被单独地限定并被单独地跟踪。

二进制参数use_bit_to_bin是用于确定是否通过bit_to_bin来执行HRD跟踪转换的参数（标志）。

二进制参数bit_to_bin是用于利用二进制跟踪HRD的转换参数。仅在use_bin_hrd_flag为真时限定该bit_to_bin。

将这样的语法传送到解码端。

[无损编码器]

接下来，将更具体地描述图1中的图像编码装置100的各个组件。图9是示出无损编码器106的典型示例结构的框图。

如图9所示，图像编码装置100包括编码模式设置单元141、CABAC处理器142和CAVLC处理器143。

编码模式设置单元141设置无损编码的模式。更具体地，编码模式设置单元141控制CABAC处理器142和CAVLC处理器143，并且设置是否以CABAC或CAVLC执行无损编码。编码模式设置单元141生成作为指示所选择的编码模式的参数（标志）的entropy_coding_mode_flag，并将参数提供到速度控制器117。

CABAC处理器142根据编码模式设置单元141的控制以CABAC执行编码。具体地，如果CABAC被编码模式设置单元141选择为编码模式，则CABAC处理器142执行编码。

如图9所示，CABAC处理器142包括二值化单元151、上下文计算单元152和二进制算术编码单元153。二值化单元151将从量化器105提供的多值信号二值化，并将作为结果的二进制信号（二进制数据）提供到二进制算术编码单元153。二进制算术编码单元153通过使用从上下文计算单元152提供的二进制信号发生概率，对从二值化单元151提供的二进制信号进行编码，并将作为结果的编码比特提供到累积缓冲器107。

二值化单元151还将作为二值化的结果生成的二进制数据的数据量（生成的二进制）提供到速度控制器117。

CAVLC处理器143根据编码模式设置单元141的控制以CAVLC执行编码。具体地，如果CAVLC被编码模式设置单元141选择为编码模式，则CAVLC处理器143执行编码。CAVLC处理器143对从量化器105提供的多值信号进行编码，并将作为结果的编码比特提供到累积缓冲器107。

[速度控制器]

图10是示出图1中的速度控制器117的典型示例结构的框图。如图10所示，速度控制器117包括参数设置单元161、HRD跟踪单元162、CPB位置转换单元163和目标比特确定单元164。

参数设置单元161设置诸如参数（包括标志）的语法值。可以以任何方式来设置这些值。例如，参数设置单元161可以从诸如开发人员或用户的外部获取值，并将该值设置为参数。可替选地，例如，参数设置单元161可以根据要被编码的图像数据或编码的结果来设置值。可替选地，例如，参数设置单元161可以将预定值设置为参数。

注意，参数设置单元161可以设置任何参数，只要该参数用于以二进制来确定以比特限定的HRD即可。

在图10的示例中，参数设置单元161包括use_bin_hrd_flag设置单元171、use_bit_to_bin_flag设置单元172和bit_to_bin设置单元173。

use_bin_hrd_flag设置单元171设置use_bin_hrd_flag。use_bit_to_bin_flag设置单元172设置use_bit_to_bin_flag。bit_to_bin设置单元173设置bit_to_bin。这些值被提供到累积缓冲器107，并被作为语法传送到解码端。

bit_to_bin设置单元173还将生成的bit_to_bin提供到CPB位置转换单元163。

HRD跟踪单元162获取最新的CPB位置。例如，HRD跟踪单元162根据生成的二进制或生成的比特来计算最新的CPB位置，并且当编码技术被切换时或在类似的情况下，随着在由二进制进行的限定与由比特进行的限定之间进行切换，通过使用CPB位置转换单元163来更新CPB位置。

如图10所示，HRD跟踪单元162包括entropy_coding_mode_flag获取单元181、entropy_coding_mode_flag确定单元182、last_entropy_coding_mode_flag存储单元183、生成量获取单元184和CPB位置更新单元185。

entropy_coding_mode_flag获取单元181从无损编码器106获取entropy_coding_mode_flag，并将该entropy_coding_mode_flag提供到entropy_coding_mode_flag确定单元182。entropy_coding_mode_flag确定单元182判断从entropy_coding_mode_flag获取单元181提供的entropy_coding_mode_flag的值与作为存储在last_entropy_coding_mode_flag存储单元183中的前一entropy_coding_mode_flag的last_entropy_coding_mode_flag的值是否彼此匹配。

如果这些值彼此匹配，则entropy_coding_mode_flag确定单元182判断编码模式将不切换，并将指示在与前一模式相同的模式下更新CPB位置的控制信息提供到CPB位置更新单元185。如果这些值彼此不匹配，则entropy_coding_mode_flag确定单元182将entropy_coding_mode_flag提供到CPB位置转换单元163，以与编码模式的切换一起执行CPB位置转换。

在CABAC中，生成量获取单元184从无损编码器106获取生成的二进制（生成的二进制数据的数据量），并将生成的二进制提供到CPB位置更新单元185。在CAVLC中，生成量获取单元184从累积缓冲器107获取生成的比特（生成的比特流的编码量），并将生成的比特提供到CPB位置更新单元185。

CPB位置更新单元185根据从entropy_coding_mode_flag确定单元182提供的控制信息来更新CPB位置。例如，如果entropy_coding_mode_flag确定单元182指示根据生成的二进制或生成的比特来更新CPB位置，则CPB位置更新单元185使生成量获取单元184获取生成的二进制或生成的比特，并根据生成的二进制或生成的比特获取最新的CPB位置。在CABAC中，例如，CPB位置更新单元185通过使用从生成量获取单元184提供的生成的二进制来获得最新的CPB位置。在CAVLC中，例如，CPB位置更新单元185通过使用从生成量获取单元184提供的生成的比特来获得最新的CPB位置。CPB位置更新单元185将获得的最新的CPB位置提供到目标比特确定单元164。

当entropy_coding_mode_flag确定单元182向CPB位置更新单元185通知要切换编码模式时，CPB位置更新单元185将从CPB位置转换单元163提供的CPB位置作为最新的CPB位置提供到目标比特确定单元164。

当从HRD跟踪单元162的entropy_coding_mode_flag确定单元182提供了entropy_coding_mode_flag时，CPB位置转换单元163确定编码模式被切换，并转换CPB位置。CPB位置转换单元163通过使用由参数设置单元161设置的参数bit_to_bin，将CPB位置从由比特限定的位置转换为由二进制限定的位置，或从由二进制限定的位置转换为由比特限定的位置。

如图10所示，CPB位置转换单元163包括entropy_coding_mode_flag获取单元191、entropy_coding_mode_flag确定单元192、bit_to_bin获取单元193和CPB位置计算单元194。

entropy_coding_mode_flag获取单元191获取从HRD跟踪单元162提供的entropy_coding_mode_flag，并将获取的entropy_coding_mode_flag提供到entropy_coding_mode_flag确定单元192。entropy_coding_mode_flag确定单元192确定该entropy_coding_mode_flag的值是否为真，并将确定结果提供到bit_to_bin获取单元193。

bit_to_bin获取单元193从参数设置单元161（bit_to_bin设置单元173）获取bit_to_bin，并将获取的bit_to_bin与确定结果一起提供到CPB位置计算单元194。

如果entropy_coding_mode_flag为真，则CPB位置计算单元194确定编码模式已经从CABAC切换到CAVLC，并通过使用前述等式（5）来转换CPB位置。如果entropy_coding_mode_flag为假，则CPB位置计算单元194确定编码模式已经从CAVLC切换到CABAC，并通过使用前述等式（6）来转换CPB位置。

CPB位置计算单元194将计算出的CPB位置提供到HRD跟踪单元162（CPB位置更新单元185）。

目标比特设置单元164根据从HRD跟踪单元162（CPB位置更新单元185）提供的最新的CPB位置，确定目标比特（Target Bit）的值。目标比特确定单元164将确定的值提供到量化器105。

通过如上所述的各个组件的处理，速度控制器117可以通过使用由二进制限定的HRD来更容易地执行速度控制。

[编码处理的流程]

接下来，将描述由上述图像编码装置100执行的处理的流程。首先，将参考图11的流程图来描述编码处理的流程的示例。

在步骤S101中，A/D转换器101对输入的图像进行A/D转换。在步骤S102中，帧重排序缓冲器102存储通过A/D转换获得的图像，并将显示顺序的各个图片重排序为编码顺序。

在步骤S103中，帧内预测器114在帧内预测模式下执行帧内预测处理。在步骤S104中，运动估计器/补偿器115执行帧间运动估计处理，在帧间运动估计处理中，运动估计和运动补偿是在帧间预测模式下执行的。

在步骤S105中，预测图像选择器116根据从帧内预测器114和运动估计器/补偿器115输出的成本函数值来确定最佳模式。具体地，预测图像选择器116选择由帧内预测器114生成的预测图像和由运动估计器/补偿器115生成的预测图像中的任何一个。

在步骤S106中，算术运算单元103计算通过步骤S102中的处理获得的重排序图像和通过步骤S105中的处理选择的预测图像之间的差。与原始图像数据相比，差数据的数据量减少了。因此，与直接对图像进行编码的情况相比，可以使数据量更小。

在步骤S107中，正交变换器104对通过步骤S106中的处理生成的差信息执行正交变换。具体地，执行诸如离散余弦变换或卡南-洛维变换的正交变换，并输出变换系数。

在步骤S108中，量化器105将通过步骤S107中的处理获得的正交变换系数量化。

如下地对通过步骤S108中的处理而量化的差信息进行本地解码。在步骤S109中，逆量化器108利用与量化器105的特征对应的特征，对通过步骤S108中的处理生成的已量化的正交变换系数（也被称为已量化的系数）执行逆量化。在步骤S110中，逆正交变换器109利用与正交变换器104的特征对应的特征，对通过步骤S107中的处理获得的正交变换系数执行逆正交变换。

在步骤S111中，算术运算单元110将预测图像与本地解码的差信息相加，以生成本地解码的图像（与输入到算术运算单元103的图像对应的图像）。在步骤S112中，环路滤波器111根据需要，对通过步骤S111中的处理获取的本地解码的图像执行包括去块滤波、自适应环路滤波等的环路滤波处理。

在步骤S113中，帧存储器112存储通过步骤S112中的处理进行了环路滤波处理的解码图像。注意，没有进行环路滤波器111的滤波的图像也从算术运算单元110提供，并存储在帧存储器112中。

在步骤S114中，无损编码器106对通过步骤S108中的处理而量化的变换系数进行编码。具体地，对差图像执行诸如可变长度编码或算术编码的无损编码。

无损编码器106也对步骤S108中计算出的量化参数进行编码，并将该参数与编码数据相加。无损编码器106还对关于通过步骤S105中的处理选择的预测图像的预测模式的信息进行编码，并将编码信息与通过对差图像进行编码获得的编码数据相加。具体地，无损编码器106也对诸如从帧内预测器114提供的最佳帧内预测模式信息或根据从运动估计器/补偿器115提供的最佳帧间预测模式的信息的信息进行编码，并将编码信息与编码数据相加。

在步骤S115中，累积缓冲器107累积通过步骤S114中的处理获得的编码数据。累积在累积缓冲器107中的编码数据根据需要被读出，并经由传送路径或记录介质被传送到解码端。

在步骤S116中，根据通过步骤S115中的处理在累积缓冲器107中累积的编码数据的编码量（生成的编码量），或通过步骤S114中的处理生成的二进制数据的数据量，速度控制器117使用HRD来控制量化器105的量化操作的速度，以便不导致在HRD处的上溢或下溢。

当在步骤S114中执行诸如CABAC的算术编码时，速度控制器117通过使用由二进制限定的HRD来执行速度控制。如果在步骤S114中执行诸如CAVLC的可变长度编码，则速度控制器117通过使用由比特限定的HRD来执行速度控制。

当步骤S116中的处理结束时，编码处理结束。

[速度控制处理的流程]

接下来，将参考图12的流程图来描述在图11的步骤S116中执行的速度控制处理的流程的示例。

当速度控制处理开始时，参数设置单元161在步骤S121中设置用于由二进制来限定由比特限定的HRD的缓冲器模型参数。

当设置了各种参数时，参数设置单元161继续进行处理。在步骤S122中，HRD跟踪单元162的entropy_coding_mode_flag获取单元181获取从无损编码器106提供的entropy_coding_mode_flag。

在步骤S123中，entropy_coding_mode_flag确定单元182确定步骤S122中获取的entropy_coding_mode_flag是否与存储在last_entropy_coding_mode_flag存储单元183中的last_entropy_coding_mode_flag匹配。

如果确定entropy_coding_mode_flag和last_entropy_coding_mode_flag彼此匹配，则entropy_coding_mode_flag确定单元182使处理前进到步骤S124。在步骤S124中，生成量获取单元184获取从累积缓冲器107提供的生成的比特或从无损编码器106提供的生成的二进制。

相比之下，如果确定entropy_coding_mode_flag和last_entropy_coding_mode_flag彼此不匹配，则entropy_coding_mode_flag确定单元182使处理前进到步骤S125。在步骤S125中，CPB位置转换单元163执行CPB位置转换过程，以在编码模式的切换中转换CPB位置。

在步骤S124或步骤S125中的处理结束之后，CPB位置更新单元185在步骤S126中更新CPB位置。

在步骤S127中，last_entropy_coding_mode_flag存储单元183利用从entropy_coding_mode_flag确定单元182提供的entropy_coding_mode_flag来更新（替换）存储在last_entropy_coding_mode_flag存储单元183中的last_entropy_coding_mode_flag。

在步骤S128中，目标比特确定单元164根据步骤S126中更新的CPB位置来确定目标比特（Target Bit），并将目标比特提供到量化器105。

在结束步骤S128中的处理之后，目标比特确定单元164结束速度控制处理。

[参数设置处理的流程]

接下来，将参考图13的流程图来描述在图12的步骤S121中执行的参数设置处理的流程的示例。

当参数设置处理开始时，use_bin_hrd_flag设置单元171在步骤S131中设置use_bin_hrd_flag。在步骤S132中，use_bit_to_bin_flag设置单元172设置use_bit_to_bin_flag。在步骤S133中，bit_to_bin设置单元173设置bit_to_bin。

在步骤S134中，参数设置单元161将在步骤S131到步骤S133中设置的参数提供到累积缓冲器107，将参数作为语法存储在诸如SEI（补充增强信息）的参数集中，并传送参数集。例如，速度控制器117可以使用与缓冲器管理有关的SEI（缓冲时间段sei）来定义语法，并且传送定义的语法。此外，例如，速度控制器117可以将语法包括在比特流（例如，头部）中，并将比特流传送到解码端。

在结束步骤S134中的处理之后，参数设置单元161结束参数设置过程，并使处理返回到图12。

[CPB位置转换处理的流程]

接下来，将参考图14的流程图来描述在图12的步骤S125中执行的CPB转换处理的流程的示例。

当CPB转换处理开始时，entropy_coding_mode_flag获取单元191在步骤S141中获取从HRD跟踪单元162提供的entropy_coding_mode_flag。在步骤S142中，entropy_coding_mode_flag确定单元192确定在步骤S141中获取的entropy_coding_mode_flag的值是否为真。

如果确定entropy_coding_mode_flag为真，则entropy_coding_mode_flag确定单元192确定编码模式已经从CABAC切换到CAVLC，并使处理前进到步骤S143。在步骤S143中，bit_to_bin获取单元193获取由参数设置单元161设置的bit_to_bin。在步骤S144中，CPB位置计算单元194通过使用等式（5）来计算CPB位置。

如果在步骤S142中确定entropy_coding_mode_flag为假，则entropy_coding_mode_flag确定单元192确定编码模式已经从CAVLC切换到CABAC，并使处理前进到步骤S145。在步骤S145中，bit_to_bin获取单元193获取由参数设置单元161设置的bit_to_bin。在步骤S146中，CPB位置计算单元194通过使用等式（6）来计算CPB位置。

当步骤S144或步骤S146中的处理结束时，CPB位置转换单元163结束CPB位置转换处理，并使处理返回到图12。

作为执行上述处理的结果，速度控制器117可以由二进制来限定HRD，并且还设置所使用的缓冲器模型参数，以及将参数传送到解码端。结果，速度控制器117可以更容易地执行速度控制。

尽管上文说明了速度控制器117通过使用bit_to_bin将由比特限定的HRD转换为由二进制限定的HRD的情况，但是可以彼此独立地设置由比特限定的HRD和由二进制限定的HRD。

<2.第二实施例>

[图像解码装置]

图15是示出图像解码装置的典型示例结构的框图。图15所示的图像解码装置200以对应于编码方法的解码方法来解码由图像编码装置100生成的编码数据。

如图15所示，图像解码装置200包括累积缓冲器201、无损解码器202、逆量化器203、逆正交变换器204、算术运算单元205、环路滤波器206、帧重排序缓冲器207和D/A转换器208。图像解码装置200还包括帧存储器209、选择器210、帧内预测器211、运动估计器/补偿器212和选择器213。

累积缓冲器201累积传送的编码数据，并将编码数据提供到无损解码器202。无损解码器202通过与无损编码器106的编码技术对应的技术，根据从图像编码装置100提供的语法，解码由图1中的无损编码器106编码的并从累积缓冲器201提供的信息。无损解码器202将通过解码获取的差图像的量化系数数据提供到逆量化器203。

无损解码器202还确定是选择帧内预测模式还是选择帧间预测模式作为最佳预测模式，并将有关最佳预测模式的信息提供到与被确定为要选择的模式对应的帧内预测器211和运动估计器/补偿器212中的任何一个。

逆量化器203根据与图1中的量化器105的量化技术对应的技术，对通过由无损解码器202进行解码获得的量化系数数据执行逆量化，并将作为结果的系数数据提供到逆正交变换器204。

逆正交变换器204根据与图1中的正交变换器104的正交变换技术对应的技术，对从逆量化器203提供的系数数据执行逆正交变换。逆正交变换器204获得与在图像编码装置100中进行正交变换之前的残差数据对应的解码的残差数据。

将通过逆正交转换获得的解码的残差数据提供给算术运算单元205。另外，经由选择器213将预测图像从帧内预测器211或运动估计器/补偿器212提供到算术运算单元205。

算术运算单元205将解码的残差数据和预测图像相加，以获得与被图像编码装置100中的算术运算单元103减去预测图像之前的图像数据对应的解码的图像数据。算术运算单元205将解码的图像数据提供到环路滤波器206。

环路滤波器206根据需要对提供的解码图像执行包括去块滤波、自适应环路滤波等的环路滤波，并将作为结果的图像提供到帧重排序缓冲器207。

环路滤波器206包括去块滤波器、自适应环路滤波器等，并对从算术运算单元205提供的解码图像执行合适的滤波。例如，环路滤波器206对解码图像执行去块滤波，以从解码图像去除块失真。另外，例如，环路滤波器206通过使用维纳滤波器对去块滤波的结果（从中去除了块失真的解码图像）执行环路滤波，以提高图像质量。

可替选地，环路滤波器206可以对解码图像执行某些滤波。此外，环路滤波器206还可以通过使用从图1的图像编码装置100提供的滤波器系数来执行滤波。

环路滤波器206将滤波的结果（由滤波产生的解码图像）提供到帧重排序缓冲器207和帧存储器209。注意，从算术运算单元205输出的解码图像可被提供到帧重排序缓冲器207和帧存储器209，而不用经过环路滤波器206。因此，可以省略由环路滤波器206进行的滤波。

帧重排序缓冲器207执行图像重排序。具体地，由图1中的帧重排序缓冲器102重排序为编码顺序的帧被重排序为原始显示顺序。D/A转换器208对从帧重排序缓冲器207提供的图像执行D/A转换，并将转换的图像输出到显示器（未示出）以显示图像。

帧存储器209存储提供的解码图像，并在预定的定时或根据诸如来自帧内预测器211或运动估计器/补偿器212的请求的外部请求，将存储的解码图像作为参考图像提供到选择器210。

选择器210选择从帧存储器209提供的参考图像要被提供到的组件。为解码帧内编码的图像，选择器210将从帧存储器209提供的参考图像提供到帧内预测器211。为解码帧间编码的图像，选择器210将从帧存储器209提供的参考图像提供到运动估计器/补偿器212。

根据需要，向帧内预测器211提供通过解码来自无损解码器202的头信息而获得的指示帧内预测模式的信息等。帧内预测器211在由图1中的帧内预测器114使用的帧内预测模式下，通过使用从帧存储器209获取的参考图像来执行帧内预测，以生成预测图像。帧内预测器211将生成的预测图像提供到选择器213。运动估计器/补偿器212获取通过解码来自无损解码器202的头信息获得的信息。

运动估计器/补偿器212在由图1中的运动估计器/补偿器115使用的帧间预测模式下，通过使用从帧存储器209获取的参考图像来执行帧间预测，以生成预测图像。

以此方式，无损解码器202可以解码从图像编码装置100提供的编码流。换言之，图像解码装置200可以实现速度控制的容易化。

[无损解码器]

图16是示出无损解码器202的典型示例结构的框图。

如图16所示，无损解码器202包括参数获取单元231、编码流获取单元232和解码处理器233。

参数获取单元231接收从累积缓冲器201提供的、作为语法从图像编码装置100提供的缓冲器模型参数，并将接收到的参数提供到解码处理器233。

编码流获取单元232接收从累积缓冲器201提供的、从图像编码装置100提供的编码流，并将接收到的编码流提供到解码处理器233。

解码处理器233根据从参数获取单元231提供的二进制参数，与由图像编码装置100设置的HRD类似地对从编码流获取单元232提供的编码流进行操作。具体地，解码处理器233与由图像编码装置100的速度控制器117设置的HRD类似地对从编码流获取单元232提供的编码流进行解码。解码处理器233将获得的解码图像数据提供到逆量化器203。解码处理器233还根据需要将头信息等提供到帧内预测器211或运动估计器/补偿器212。

作为与图像编码装置100中设置的HRD的操作类似的无损解码器202的操作的结果，图像解码装置200可以实现速度控制的容易化。

[解码处理的流程]

接下来，将描述由上述图像解码装置200执行的处理的流程。首先，将参考图17的流程图来描述解码处理的流程的示例。

当解码处理开始时，在步骤S201中，累积缓冲器201累积传送的编码流。在步骤S202中，无损解码器202解码从累积缓冲器201提供的编码流。具体地，解码由图1中的无损编码器106编码的I图片、P图片和B图片。另外，还解码包含在编码流中的除差图像信息之外的各种信息片段，例如差运动信息和差量化参数。

在步骤S203中，逆量化器203对通过步骤S202中的处理获得的量化的正交变换系数执行逆量化。

在步骤S204中，逆正交变换器204对通过步骤S203中的逆量化获得的正交变换系数执行逆正交变换。

在步骤S205中，帧内预测器211或运动估计器/补偿器212使用提供的信息来执行预测处理。

在步骤S206中，选择器213选择在步骤S205中生成的预测图像。

在步骤S207中，算术运算单元205将在步骤S206中选择的预测图像与在步骤S204中通过逆正交变换获得的差图像信息相加。结果，可以获得解码图像。

在步骤S208中，环路滤波器206根据需要，对在步骤S207中获得的解码图像执行包括去块滤波、自适应环路滤波等的环路滤波处理。

在步骤S209中，帧重排序缓冲器207重排序在步骤S208中进行了滤波的图像。具体地，由图像编码装置100的帧重排序缓冲器102重排序为编码顺序的帧被重排序为原始显示顺序。

在步骤S210中，D/A转换器208对在步骤S209中进行了帧重排序的图像执行D/A转换。该图像被输出到显示器（未示出），并显示在显示器上。

在步骤S211中，帧存储器209存储在步骤S208中进行了滤波的图像。该图像被用作用于在步骤S205中生成预测图像的参考图像。

当步骤S211中的处理结束时，解码处理结束。

[无损解码处理的流程]

接下来，将参考图18的流程图来描述在图17的步骤S202中执行的无损解码处理的流程的示例。

当无损解码处理开始时，参数获取单元231接收在图像编码装置100中生成的并在步骤S231中作为语法提供的缓冲器模型参数。

在步骤S232中，解码处理器233根据在步骤S231中接收到的二进制参数的值来确定解码方法。

在步骤S233中，编码流获取单元232接收在图像编码装置100中生成的并提供到编码流获取单元232的编码流。

在步骤S234中，解码处理器233通过在步骤S232中确定的解码方法，对在步骤S233中接收到的编码流进行解码。

在对编码流进行解码之后，无损解码器202结束无损解码处理，并使处理返回到图17。

作为执行上述处理的结果，图像解码装置200可以实现速度控制的容易化。

<3.第三实施例>

[解码器的设计]

在诸如AVC的现有标准中，认为在以CABAC设计解码器时必须立即执行从比特流到二进制数据的转换。因此，在设计解码器时，解码器必须能够以一个访问单位（AU）的最大比特长度的最大帧速度执行到二进制数据的转换。

然而，在实际比特流中，最大比特长度很少持续长时间，而是，对于I图片，比特长度实际上具有大值，而对于P图片或B图片，比特长度具有足够小的值。因此，一般而言，当应用时间平均时，常常不需要以最大帧速度立即执行到二进制数据的转换。因此，由于当前情况下的解码器的设计是所谓的最坏情况设计，所以解码器会被设计为与实际需要的性能相比具有过多的性能。换言之，由于约束，可能难以以CABAC设计解码器。

所以，限定了假设解码器，该假设解码器限定二进制数据的处理速度。以此方式，解码器的设计可以更灵活。此外，还可以根据语法检查是否可以成功地执行解码，这可以扩展应用范围。例如，在要将解码器安装在移动装置等上的情况下，可以进行设计，使得通过稍微降低二进制数据的处理速度来降低功耗。

如上所述，编码器生成与假设解码器兼容的流。换言之，编码器被配置成限定假设解码器，并通过使用假设解码器来执行速度控制，其中假设解码器限定二进制数据的处理速度。以此方式，可以生成即使在具有相对较低性能的解码器中也不导致失败的编码流。换言之，作为在编码器处限定假设解码器（该假设解码器限定二进制数据的处理速度）的结果，可以使解码器的设计更灵活，并防止解码器具有过多的性能（将解码器的性能控制在合适的水平）。

[二进制HRD]

图19示出限定二进制数据的处理速度的假设解码器的示例。在图19中，上部表示传统假设解码器（传统HRD），而下部表示限定二进制数据的处理速度的假设解码器（二进制HRD）。

如箭头301和302所示，累积在传统HRD中的比特流被转换为二进制数据，从而流入二进制HRD中作为二进制数据并累积在二进制HRD中。注意，假设立即执行从比特流到二进制数据的转换。

图19的下部所示的二进制HRD的图基本上类似于图19的上部所示的传统HRD的图。二进制缓冲器大小表示二进制HRD的大小。二进制处理速度表示读出二进制HRD中累积的二进制数据的速度。如果处理在一个帧期间完成，则二进制HRD变空。通过控制二进制HRD的大小不超过二进制缓冲器大小，保证编码和解码之间的一致性。

尽管以二进制处理速度读出二进制HRD中累积的二进制数据，但是传统解码器需要被设计为使得在一个帧期间读出整个二进制数据（以frame_rate）。然而，在此情况下，如上所述根据具有大编码量的I图片进行设计，这导致具有小编码量的P图片和B图片的过多的性能。因此，如双箭头303所示，允许在几个帧（例如大约两个帧或三个帧）内的处理。

具体地，读出二进制数据的速度（二进制处理速度）可以降低，可能要花费对应于多个帧的时间量以读出二进制HRD中的整个二进制数据。以此方式，尤其要花费对应于多个帧的时间量以读出具有大编码量的I图片的二进制数据，但是如上所述，因为P图片和B图片的编码量小，并且因为I图片持续长时间的可能性非常低，所以二进制HRD上溢的可能性非常低。

如上所述，通过限定假设解码器（该假设解码器限定二进制数据的处理速度），解码器可被设计成具有更低的二进制数据处理速度。

[语法]

在此情况下，如图20所示，添加了语法。如图20所示，在此情况下，添加二进制参数bin_rate和bin_buffer_size。二进制参数bin_rate表示二进制数据处理速度（从二进制HRD读出二进制数据的速度），而二进制参数bin_buffer_size表示二进制HRD的大小。

如果没有设置这些值，可以使用根据级别和图像大小的最大值。

[图像编码装置]

该情况下的图像编码装置的结构与图1所示出的示例相同。

[速度控制器]

图21是示出该情况下的速度控制器117的典型示例结构的框图。

如图21所示，速度控制器117包括参数设置单元311、HRD跟踪单元312、二进制HRD跟踪单元313和目标比特确定单元314。

参数设置单元311设置诸如参数（包括标志）的语法值。可以以任何方式来设置这些值。例如，参数设置单元311可以从诸如开发人员或用户的外部获取值，并将该值设置为参数。可替选地，例如，参数设置单元311可以根据要编码的图像数据或编码的结果来设置值。可替选地，例如，参数设置单元311可以将预定值设置为参数。

参数设置单元311可以设置有关假设解码器的任何参数。

在图21所示的示例中，参数设置单元311包括bit_rate设置单元321、bin_rate设置单元322和bin_buffer_size设置单元323。

bit_rate设置单元321设置作为对比特流进行处理的速度的bit_rate。bin_rate设置单元322设置作为对二进制数据进行处理的速度的bin_rate。bin_buffer_size设置单元323设置表示二进制HRD的大小的bin_buffer_size。这些值被提供给累积缓冲器107，并被作为语法传送到解码端。

bit_rate设置单元321还将生成的bit_rate提供到HRD跟踪单元312。bin_rate设置单元322还将生成的bin_rate提供到二进制HRD跟踪单元313。

HRD跟踪单元312模拟对比特流进行处理的假设解码器（HRD）的动作。具体地，HRD跟踪单元312获取HRD的最新的CPB位置。如图21所示，HRD跟踪单元312包括bit_rate获取单元331、生成比特获取单元332和CPB位置更新单元333。

bit_rate获取单元331获取从参数设置单元311（bit_rate设置单元321）提供的bit_rate，并将bit_rate提供到CPB位置更新单元333。生成比特获取单元332获取生成的比特，并将生成的比特提供到CPB位置更新单元333，其中生成的比特是来自累积缓冲器107的编码流（比特流）的读出量（编码量）。

CPB位置更新单元333根据从bit_rate获取单元331提供的bit_rate和从生成比特获取单元332提供的所生成的比特，更新HRD的CPB位置。具体地，生成的比特量的比特流累积在CPB中，并且在预定的读出定时从CPB读出对应于bit_rate的比特流。CPB位置更新单元333以CPB位置反映比特流的这样的输入/输出。CPB位置更新单元333将最新的CPB位置提供到目标比特确定单元314。

二进制HRD跟踪单元313模拟限定二进制数据处理速度的假设解码器（二进制HRD）的动作。具体地，二进制HRD跟踪单元313获取二进制HRD的最新的二进制数据累积量（二进制缓冲器（BinBuffer）位置）。如图21所示，二进制HRD跟踪单元313包括bin_rate获取单元341、生成二进制获取单元342和二进制缓冲器位置更新单元343。

bin_rate获取单元341获取从参数设置单元311（bin_rate设置单元322）提供的bin_rate，并将bin_rate提供到二进制缓冲器位置更新单元343。生成二进制获取单元342获取生成的二进制，并将生成的二进制提供到二进制缓冲器位置更新单元343，其中生成的二进制是从无损编码器106提供的二进制数据的数据量。

二进制缓冲器位置更新单元343根据从bit_rate获取单元341提供的bit_rate和从生成二进制获取单元342提供的所生成的二进制，更新二进制HRD的二进制缓冲器位置。具体地，生成的二进制量的二进制数据累积在二进制HRD中，并且以由bin_rate表示的速度读出二进制数据。二进制缓冲器位置更新单元343以二进制缓冲器位置反映二进制数据的这样的输入/输出。二进制缓冲器位置更新单元343将最新的二进制缓冲器位置提供到目标比特确定单元314。

目标比特确定单元314根据CPB位置和二进制缓冲器位置来确定目标比特（TargetBit）。

如图21所示，目标比特确定单元314包括CPB位置获取单元351、最大允许比特计算单元352、二进制缓冲器位置获取单元353、最大允许二进制计算单元354和设置单元355。

CPB位置获取单元351获取从HRD跟踪单元312（CPB位置更新单元333）提供的最新的CPB位置，并将最新的CPB位置提供到最大允许比特计算单元352。最大允许比特计算单元352根据从CPB位置获取单元351提供的最新的CPB位置，计算表示可以从HRD中读取的比特流的最大量的最大允许比特。最大允许比特计算单元352将计算出的最大允许比特提供到设置单元355。

二进制缓冲器位置获取单元353获取从二进制HRD跟踪单元313（二进制缓冲器位置更新单元343）提供的最新的二进制缓冲器位置，并将最新的二进制缓冲器位置提供到最大允许二进制计算单元354。最大允许二进制计算单元354根据从二进制缓冲器位置获取单元353提供的最新的二进制缓冲器位置，计算表示可以从二进制HRD中读取的比特流的最大量的最大允许二进制。最大允许二进制计算单元354将计算出的最大允许二进制提供到设置单元355。

设置单元355根据从最大允许比特计算单元352提供的最大允许比特和从最大允许二进制计算单元354提供的最大允许二进制，获取目标比特。更具体地，二进制HRD和HRD需要满足两者。因此，设置单元355根据最大允许比特和最大允许二进制中的较小者，获取目标比特。设置单元355将获取的目标比特提供到量化器105。

通过如上所述的各个组件的处理，速度控制器117可以通过限定假设解码器（该假设解码器限定二进制处理速度）使解码器的设计容易。此外，还可以根据语法检查是否可以成功地执行解码，这可以扩展应用范围。结果，更容易地防止假设解码器中的失败，并可以更容易地执行速度控制。

[速度控制处理的流程]

将参考图22的流程图来描述该情况下的速度控制处理的流程的示例。注意，与参考图11的流程图所描述的第一实施例的情况类似地执行编码处理。

当速度控制处理开始时，bit_rate设置单元321在步骤S321中设置bit_rate。在步骤S322中，bin_rate设置单元322设置bin_rate。在步骤S323中，bin_buffer_size设置单元323设置bin_buffer_size。

在步骤S324中，参数设置单元311将在步骤S321到步骤S323中生成的各种参数提供到累积缓冲器107，并将参数作为语法传送到解码端。

在步骤S325中，HRD跟踪单元312的bit_rate获取单元331获取在步骤S321中设置的bit_rate。在步骤S326中，生成比特获取单元332获取生成的比特。在步骤S327中，CPB位置获取单元333通过使用在步骤S325中获取的bit_rate和在步骤S326中获取的所生成的比特，更新CPB位置。

在步骤S328中，二进制HRD跟踪单元313的bin_rate获取单元341获取在步骤S322中设置的bin_rate。在步骤S329中，生成二进制获取单元342获取生成的二进制。在步骤S330中，二进制缓冲器位置更新单元343通过使用在步骤S328中获取的bin_rate和在步骤S329中获取的所生成的二进制，更新二进制缓冲器位置。

在步骤S331中，目标比特确定单元314的二进制缓冲器位置获取单元353获取在步骤S330中更新的最新的二进制缓冲器位置。在步骤S332中，最大允许二进制计算单元354根据在步骤S331中获取的最新的二进制缓冲器位置，获得最大允许二进制。

在步骤S333中，CPB位置获取单元351获取在步骤S327中更新的最新的CPB位置。在步骤S334中，最大允许比特计算单元352根据在步骤S333中获取的最新的CPB位置，获得最大允许比特。

在步骤S335中，设置单元355通过使用在步骤S332中获得的最大允许二进制和在步骤S334中获得的最大允许比特中的较小者，获得目标比特，并将目标比特提供到量化器105。

当步骤S335中的处理结束时，速度控制器117结束速度控制处理，并使处理返回到图11。

作为执行如上所述的速度控制处理的结果，速度控制器117可以更容易地执行速度控制。

注意，该情况下的图像解码装置的结构类似于参考图15描述的图像解码装置200。此外，无损解码器的结构也类似于参考图16描述的无损解码器202，其中，解码处理器233只需根据从图像编码装置100提供的参数，与上述假设解码器类似地进行操作。

本技术可以应用于用于经由诸如卫星广播、有线电视、因特网或便携式电话装置的网络介质接收在MPEG或H.26x中使用诸如离散余弦变换的正交变换和运动补偿进行压缩的图像信息（比特流）的图像编码装置和图像解码装置。本技术也可以应用于当在诸如光盘或磁盘或闪存的存储介质上对压缩的图像信息进行处理时所使用的图像编码装置和图像解码装置。此外，本技术也可以应用于包括在图像编码装置、图像解码装置等中的运动估计器/补偿器。

<4.第四实施例>

[个人计算机]

以上描述的处理序列可以通过硬件或通过软件来执行。当通过软件来执行以上描述的处理序列时，构成软件的程序安装计算机中。注意，计算机的示例包括嵌入在专用硬件中的计算机和能够通过安装各种程序来执行各种功能的通用个人计算机。

在图23中，个人计算机500的CPU（中央处理单元）501根据存储在ROM（只读存储器）502中的程序、或从存储单元513加载到RAM（随机访问存储器）503中的程序来执行各种处理。RAM503还根据需要存储CPU501执行各种处理所需的数据等。

CPU501、ROM502和RAM503经由总线504彼此连接。输入/输出接口510也连接到总线504。

输入/输出接口510具有与输入/输出接口510连接的下列组件：包括键盘、鼠标等的输入单元511；输出单元512，包括诸如CRT（阴极射线管）或LCD（液晶显示器）的显示器、和扬声器；包括硬盘等的存储单元513；包括调制解调器等的通信单元514。通信单元514经由包括因特网的网络执行通信。

驱动器515在必要时还连接到输入/输出接口510，适当地将诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质521安装在驱动器上，并且在必要时将从这样的可移除盘中读取的计算机程序安装在存储单元513中。

当通过软件执行上述处理序列时，从网络或记录介质安装构成软件的程序。

如图23所示，记录介质的示例包括记录有程序的、被分配为与装置分离地向用户递送程序的可移除介质521，例如磁盘（包括软盘）、光盘（包括CD-ROM（压缩盘-只读存储器）或DVD（数字多功能盘））、磁光盘（包括MD（微型盘））和半导体存储器，以及可替选地，在递送给用户之前预先安装到装置中的、记录有程序的ROM502和包括在存储单元513中的硬盘。

要由计算机执行的程序可以是用于根据该说明书中描述的序列按时间顺序执行处理的程序，或用于并行地或在需要的定时（例如响应于调用）执行处理的程序。

在本说明书中，描述要被记录在记录介质中的程序的步骤包括要被并行地或彼此独立地执行（如果不必按时间顺序）的处理、和要根据本文中描述的序列按时间顺序执行的处理。

在本说明书中，系统是指包括多于一个装置的设备的整体。

此外，以上作为一个装置（或一个处理单元）描述的任何结构可被分成两个或更多个装置（或处理单元）。相反，以上作为两个或更多个装置（或处理单元）描述的任何结构可以合并成一个装置（或处理单元）。此外，当然还可以将上述组件之外的组件添加到任何一个装置（或处理单元）的结构中。此外，装置（或处理单元）中的一些组件还可以集成到其它装置（或处理单元）的结构中，只要作为整体的系统的结构和功能基本上相同即可。即，本技术不仅限于上述实施例，而是在不偏离本技术的范围的情况下可以进行各种修改。

根据上述各实施例的图像编码装置和图像解码装置可以应用于各种电子装置，例如卫星广播、诸如有线TV的有线广播、经由因特网的分发、经由蜂窝式通信到终端的分发等中的发射器和接收器，被配置成将图像记录在诸如磁盘和闪存的介质中的记录装置，以及被配置成从存储介质再现图像的再现装置。下面将描述四个应用实例。

<5.第五实施例>

[第一应用：电视接收机]

图24示出上述各实施例所应用于的电视设备的示意结构的示例。电视设备900包括天线901、调谐器902、多路解复用器903、解码器904、视频信号处理器905、显示单元906、音频信号处理器907、扬声器908、外部接口909、控制器910、用户接口911和总线912。

调谐器902从经由天线901接收到的广播信号提取期望频道的信号，并解调所提取的信号。然后，调谐器902向多路解复用器903输出通过解调而获得的编码比特流。即，调谐器902充当接收编码图像的编码流的电视设备900中的传送装置。

多路解复用器903从编码比特流分离要观看的节目的视频流和音频流，并将分离的流输出到解码器904。多路解复用器903还从编码比特流提取诸如EPG（电子节目指南）的辅助数据，并将所提取的数据提供到控制器910。如果编码比特流被加扰，则多路解复用器903可以对编码比特流进行解扰。

解码器904解码从多路解复用器903输入的视频流和音频流。然后，解码器904将通过解码生成的视频数据输出到视频信号处理器905。解码器904还将通过解码生成的音频数据输出到音频信号处理器907。

视频信号处理器905再现从解码器904输入的视频数据，并在显示单元906上显示视频数据。视频信号处理器905还可在显示单元906上显示经由网络提供的应用画面。此外，视频信号处理器905还可以根据设置对视频数据执行诸如噪声消除的附加处理。视频信号处理器905还可以进一步生成诸如菜单、按钮或光标的GUI（图形用户界面）的图像，并将所生成的图像叠加在输出的图像上。

显示单元906由从视频信号处理器905提供的驱动信号来驱动，并在显示装置（例如液晶显示器、等离子体显示器或OELD（有机电致发光显示器））的视频屏幕上显示视频或图像。

音频信号处理器907对从解码器904输入的音频数据执行诸如D/A转换和放大的再现处理，并通过扬声器908输出音频。此外，音频信号处理器907还可以对音频数据执行诸如噪声消除的附加处理。

外部接口909是用于将电视设备900与外部装置或网络连接的接口。例如，经由外部接口909接收到的视频流或音频流可以由解码器904解码。即，外部接口909还充当接收编码图像的编码流的电视设备900中的传送装置。

控制器910包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储由CPU执行的程序、节目数据、EPG数据、经由网络获取的数据等。例如，当激活电视设备900时，存储在存储器中的程序由CPU读取和执行。CPU例如通过执行程序，根据从用户接口911输入的控制信号，控制电视设备900的操作。

用户接口911连接到控制器910。用户接口911包括例如供用户操作电视设备900的按钮和开关、以及用于接收遥控信号的接收单元。用户接口911经由这些组件来检测用户的操作，生成控制信号，并将所生成的控制信号输出到控制器910。

总线912将调谐器902、多路解复用器903、解码器904、视频信号处理器905、音频信号处理器907、外部接口909和控制器910彼此连接。

在具有这样的结构的电视设备900中，解码器904具有根据上述各实施例的图像解码装置的功能。结果，在电视设备900中进行图像的解码时可以更容易地控制速度。

<6.第六实施例>

[第二应用：便携式电话装置]

图25示出上述各实施例所应用于的便携式电话装置的示意性结构的示例。便携式电话装置920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像机单元926、图像处理器927、多路解复用器928、记录/再现单元929、显示单元930、控制器931、操作单元932和总线933。便携式电话装置920可以是典型的便携式电话装置，或可以是类似于被称为智能电话的具有电话呼叫功能的便携式信息终端。

天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制器931。总线933将通信单元922、音频编解码器923、摄像机单元926、图像处理器927、多路解复用器928、记录/再现单元929、显示单元930和控制器931彼此连接。

便携式电话设备920在包括语音呼叫模式、数据通信模式、成像模式和视频电话模式的各种操作模式下执行诸如发送/接收音频信号、发送/接收电子邮件和图像数据、拍摄图像、记录数据等的操作。便携式电话装置920例如可以通过存储和执行经由数据通信获取的软件程序或通过从可移除介质中读出程序，执行各种应用（应用执行模式）。

在语音呼叫模式下，由麦克风925生成的模拟音频信号被提供到音频编解码器923。音频编解码器923将模拟音频信号转换为音频数据，对转换的音频数据执行A/D转换，并压缩音频数据。然后，音频编解码器923将由压缩产生的音频数据输出到通信单元922。通信单元922编码并调制音频数据，以生成要传送的信号。然后，通信单元922经由天线921将生成的要传送的信号传送到基站（未示出）。通信单元922还放大经由天线921接收到的无线电信号并对无线电信号执行频率转换，以获得接收到的信号。然后，通信单元922解调和解码接收到的信号以生成音频数据，并将生成的音频数据输出到音频编解码器923。音频编解码器923对音频数据进行解压缩并执行D/A转换，以生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供到扬声器924以输出音频。

在数据通信模式下，控制器931经由例如操作单元932，根据用户的操作生成要包括在电子邮件中的文本数据。控制器931还在显示单元930上显示文本。控制器931还响应于经由操作单元932来自用户的用于传送的指令，生成电子邮件数据，并将生成的电子邮件数据输出到通信单元922。通信单元922编码并调制电子邮件数据，以生成要传送的信号。然后，通信单元922经由天线921将生成的要传送的信号传送到基站（未示出）。通信单元922还放大经由天线921接收到的无线电信号并对无线电信号执行频率转换，以获得接收到的信号。然后，通信单元922解调和解码接收到的信号，以恢复电子邮件数据，并将恢复的电子邮件数据输出到控制器931。控制器931在显示单元930上显示电子邮件的内容，并将电子邮件数据存储到记录/再现单元929的存储介质中。

记录/再现单元929包括可读/可写存储介质。例如，存储介质可以是诸如RAM或闪存的内部存储介质，或可以是诸如硬盘、磁盘、磁光盘、USB（未分配的空间位图）存储器或存储卡的外部安装的存储介质。

在成像模式下，摄像机单元926例如对被摄体进行成像以生成图像数据，并将生成的图像数据输出到图像处理器927。图像处理器927对从摄像机单元926输入的图像数据进行编码，并将编码流存储在存储/再现单元929的存储介质中。

在视频电话模式下，多路解复用器928例如对由图像处理器927编码的视频流和从音频编解码器923输入的音频流进行多路复用，并将多路复用的流输出到通信单元922。通信单元922编码并调制流，以生成要传送的信号。然后，通信单元922经由天线921将生成的要传送的信号传送到基站（未示出）。通信单元922还放大经由天线921接收到的无线电信号并对无线电信号执行频率转换，以获得接收到的信号。要传送的信号和接收的信号可以包括编码比特流。然后，通信单元922解调和解码接收到的信号以恢复流，并将恢复的流输出到多路解复用器928。多路解复用器928从输入的流分离视频流和音频流，并将视频流输出到图像处理器927，而将音频流输出到音频编解码器923。图像处理器927对视频流进行解码以生成视频数据。视频数据被提供给显示单元930，并且一系列图像由显示单元930显示。音频编解码器923对音频流进行解压缩并执行D/A转换，以生成模拟音频信号。然后，音频编解码器923将生成的音频信号提供到扬声器924以输出音频。

此外，在应用执行模式下，控制器931根据例如通过操作单元932接收到的来自用户的指令，读出和执行存储在记录/再现单元929等中的软件程序。结果，应用被执行，并且根据需要，图像处理由图像处理器927执行，图像由显示单元920显示，图像输入通过摄像机单元926接收到，音频从扬声器924输出，音频输入通过麦克风925接收到，数据被记录到记录/再现单元929中，数据从记录/再现单元929读出，或经由通信单元922执行与其它装置的通信。

在具有这样的结构的便携式电话装置920中，图像处理器927具有根据上述各实施例的图像编码装置和图像解码装置的功能。结果，在便携式电话装置920中进行图像的编码和解码时可以更容易地执行速度控制。

<7.第七实施例>

[第三应用：记录/再现装置]

图26示出上述各实施例所应用于的记录/再现装置的示意性结构的示例。记录/再现装置940例如对接收到的播放的节目的音频数据和视频数据进行编码，并将编码数据记录到记录介质中。记录/再现装置940例如还可对从其它装置获取的音频数据和视频数据进行编码，并将编码数据记录到记录介质中。记录/再现装置940例如还响应于来自用户的指令，在监测器上并通过扬声器再现记录在记录介质中的数据。在此情况下，记录/再现装置940对音频数据和视频数据进行解码。

记录/再现装置940包括调谐器941、外部接口942、编码器943、HDD（硬盘驱动器）944、盘驱动器945、选择器946、解码器947、OSD（屏上显示）948、控制器949和用户接口950。

调谐器941从经由天线（未示出）接收到的广播信号提取期望频道的信号，并解调所提取的信号。然后，调谐器941向选择器946输出通过解调获得的编码比特流。即，调谐器941具有作为记录/再现装置940中的传送装置的作用。

外部接口942是用于将记录/再现装置940与外部装置或网络连接的接口。外部接口942可以是例如IEEE1394接口、网络接口、USB接口、或闪存接口。例如，经由外部接口942接收到的视频数据和音频数据输入到编码器943。即，外部接口942具有作为记录/再现装置940中的传送装置的作用。

如果从外部接口942输入的视频数据和音频数据未被编码，则编码器943对视频数据和音频数据进行编码。然后，编码器943将编码比特流输出到选择器946。

HDD944将诸如视频和音频的压缩内容数据的编码比特流、各种程序及其它数据记录在内部硬盘中。HDD944还从硬盘中读出数据，以再现视频和音频。

盘驱动器945从安装在盘驱动器945上的记录介质读出数据并将数据记录到记录介质中。安装在盘驱动器945上的记录介质可以是例如DVD盘（诸如DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R，或DVD+RW）或蓝光（注册商标）盘。

为记录视频和音频，选择器946选择从调谐器941或编码器943输入的编码比特流，并将选择的编码比特流输出到HDD944或盘驱动器945。为再现视频和音频，选择器946将从HDD单元944或盘驱动器945输入的编码比特流选择到解码器947。

解码器947对编码比特流进行解码，以生成视频数据和音频数据。然后，解码器947将生成的视频数据输出到OSD948。解码器904还将生成的音频数据输出到外部的扬声器。

OSD948再现从解码器947输入的视频数据，并显示视频。OSD948还可在要显示的视频上叠加诸如菜单、按钮或光标的GUI图像。

控制器949包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储要由CPU执行的程序、程序数据等。例如，当激活记录/再现装置940时，存储在存储器中的程序由CPU读取和执行。CPU通过执行程序，根据从用户接口950输入的控制信号，控制记录/再现装置940的操作。

用户接口950连接到控制器949。用户接口950包括例如供用户操作记录/再现装置940的按钮和开关、和用于接收遥控信号的接收单元。用户接口950经由这些组件检测用户的操作，生成控制信号，并将生成的控制信号输出到控制器949。

在具有这样的结构的记录/再现装置940中，编码器943具有根据上述各实施例的图像编码装置的功能。此外，解码器947还具有根据上述各实施例的图像解码装置的功能。结果，在对记录/再现装置940中进行图像的编码和解码时可以更容易地执行速度控制。

<8.第八实施例>

[第四应用：成像装置]

图27示出上述各实施例所应用于的成像装置的示意性结构的一个示例。成像装置960对被摄体进行成像以生成图像，对图像数据进行编码，并将编码的图像数据记录在记录介质中。

成像装置960包括光学块961、成像单元962、信号处理器963、图像处理器964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD969、控制器970、用户接口971和总线972。

光学块961连接到成像单元962。成像单元962连接到信号处理器963。显示单元965连接到图像处理器964。用户接口971连接到控制器970。总线972将图像处理器964、外部接口966、存储器967、介质驱动器968、OSD969和控制器970彼此连接。

光学块961包括聚焦透镜、光圈等。光学块961在成像单元962的成像表面上形成被摄体的光学图像。成像单元962包括诸如CCD（电荷耦合器件）或CMOS（互补金属氧化物半导体）的图像传感器，并通过光电转换将在成像平面上形成的光学图像转换为作为电信号的图像信号。然后，成像单元962将图像信号输出到信号处理器963。

信号处理器963对从成像单元962输入的图像信号执行各种类型的摄像机信号处理，例如拐点（Knee）校正、伽马校正和色彩校正。信号处理器963将进行了摄像机信号处理的图像数据输出到图像处理器964。

图像处理器964对从信号处理器963输入的图像数据进行编码，以生成编码数据。然后，图像处理器964将生成的编码数据输出到外部接口966或介质驱动器968。图像处理器964还解码从外部接口966或介质驱动器968输入的编码数据，以生成图像数据。然后，图像处理器964将生成的图像数据输出到显示单元965。图像处理器964可以将从信号处理器963输入的图像数据输出到显示单元965，以显示图像。图像处理器964还在要输出到显示单元965的图像上叠加从OSD969获取的用于显示的数据。

例如，OSD969可以生成诸如菜单、按钮或光标的GUI图像，并将生成的图像输出到图像处理器964。

外部接口966例如是USB输入/输出端子。外部接口966例如连接成像装置960和用于打印图像的打印机。另外，根据需要，驱动器连接到外部接口966。例如，诸如磁盘或光盘的可移除介质安装到驱动器，并且从可移除介质中读出的程序可以安装在成像装置960中。此外，外部接口966还可以是连接到诸如LAN或因特网的网络的网络接口。即，外部接口966具有作为成像装置960中的传送装置的作用。

要安装在介质驱动器968上的记录介质可以是可读/可写的可移除介质，例如磁盘、磁光盘、光盘或半导体存储器。可替选地，记录介质例如可以以固定方式安装在介质驱动器968上，以形成不可移动的存储单元，例如内部硬盘驱动器或SSD（固态驱动器）。

控制器970包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储要由CPU执行的程序、程序数据等。例如，当激活成像装置960时，存储在存储器中的程序由CPU读取和执行。CPU通过执行程序，根据从用户接口971输入的控制信号，控制成像装置960的操作。

用户接口971与控制器970连接。用户接口971包括例如供用户操作成像装置960的按钮和开关。用户接口971经由这些组件来检测用户的操作，生成控制信号，并将生成的控制信号输出到控制器970。

在具有这样的结构的成像装置960中，图像处理器964具有根据上述各实施例的图像编码装置和图像解码装置的功能。结果，在成像装置960中进行图像的编码和解码时可以更容易地执行速度控制。

在本说明书中，描述了诸如差量化参数的各种信息片段与编码流进行多路复用并从编码端传送到解码端的示例。然而，传送信息片段的方法不仅限于这些示例。例如，信息片段可被传送或记录为与编码比特流相关联的单独的数据，而不与编码比特流进行多路复用。注意，术语“相关联”意味着允许包含在比特流中的图像（可以是图像的一部分，例如切片或块）与有关解码中的图像的信息链接。即，可以通过与用于图像（或比特流）的传送路径不同的传送路径来传送信息。可替选地，信息可以记录在除用于图像（或比特流）的记录介质之外的记录介质中（或同一记录介质的不同区域上）。此外，信息和图像（或比特流）可以以任何单位彼此相关联，例如以几个帧、一个帧或一个帧中的一部分为单位。

尽管以上参考附图描述了本发明的优选实施例，但是本公开内容不限于这些示例。显然，本发明所属领域的技术人员在权利要求书中描述的技术构思内可以想到各种变型和修改，并且当然可以理解，这些变型和修改属于本公开内容的技术范围内。

流、比特流、码流、编码流和编码比特流都是指（由图像编码装置生成的并且）由图像编码装置输出的编码数据。即，狭义上来说，这些术语可以彼此具有不同的含义，但是基本上具有相同的含义，除非特别说明。编码流可以包含诸如VCL（视频编码层）NAL（网络抽象层）单位、Filler数据NAL单位和非VCL NAL单位的任何数据。例如，编码流可以是比特流或字节流。视频流是有关视频的数据流，而音频流是有关音频的流。视频流和音频流包含在编码流中。

此外，参数包括上面的描述中的标志。

本技术也可以具有下列结构。

(1)一种图像处理装置，包括：

设置单元，被配置成设置用于以二进制数据来限定在编码流中限定的假设解码器的二进制参数；

编码单元，被配置成对图像数据进行编码以生成编码流；以及

传送单元，被配置成传送由所述设置单元设置的所述二进制参数和由所述编码单元生成的所述编码流。

(2)如（1）的图像处理装置，其中，设置单元设置假设解码器的缓冲器的大小和表示在缓冲器中累积的数据的数据量的位置作为二进制参数。

(3)如（1）或（2）的图像处理装置，其中，设置单元设置用于将编码流的编码量转换为二进制数据的数据量的转换参数作为二进制参数。

(4)如（3）的图像处理装置，其中，所述设置单元设置指示是否通过使用所述转换参数将所述假设解码器从由所述编码流进行的限定转换为由二进制数据进行的限定的参数作为所述二进制参数。

(5)如（1）到（4）中的任何一个的图像处理装置，其中，设置单元设置指示是否通过使用不同的参数来设置以编码流限定的假设解码器和以二进制数据限定的假设解码器的参数作为二进制参数。

(6)如（1）到（5）中的任何一个的图像处理装置，其中，传送单元将二进制参数作为由编码单元生成的编码流的附加信息来传送。

(7)如（1）到（5）中的任何一个的图像处理装置，其中，传送单元通过将二进制参数插入到由编码单元生成的编码的流中来传送二进制参数。

(8)如（1）的图像处理装置，其中，所述设置单元设置用于限定对二进制数据处理速度进行限定的假设解码器的参数作为所述二进制参数。

(9)如（8）的图像处理装置，其中，所述设置单元设置指示所述二进制数据处理速度的参数作为所述二进制参数。

(10)如（8）或（9）的图像处理装置，其中，设置单元设置指示假设解码器的缓冲器的大小的参数作为二进制参数。

(11)如（8）到（10）中的任何一个的图像处理装置，还包括：确定单元，被配置成通过使用根据所述二进制参数确定的所述编码流的最大处理量和二进制数据的最大处理量来确定作为编码流的目标速度的目标比特。

(12)一种用于图像处理装置的图像处理方法，所述方法包括：

由设置单元设置用于以二进制数据来限定在编码流中限定的假设解码器的二进制参数；

由编码单元对图像数据进行编码以生成编码流；以及

由传送单元传送所设置的二进制参数和所生成的编码流。

(13)一种图像处理装置，包括：

接收单元，被配置成接收用于以二进制数据来限定在编码流中限定的假设解码器的二进制参数和通过对图像数据进行编码而获得的编码流；以及

解码单元，被配置成通过使用由所述接收单元接收到的所述二进制参数来解码由所述接收单元接收到的所述编码流。

(14)一种用于图像处理装置的图像处理方法，所述方法包括：

由接收单元接收用于以二进制数据来限定在编码流中限定的假设解码器的二进制参数和通过对图像数据进行编码而获得的编码流；以及

由解码单元通过使用所接收到的二进制参数来解码所接收到的编码流。

参考符号列表

100图像编码装置，105量化器，106无损编码器，107累积缓冲器，117速度控制器，161参数设置单元，162HRD跟踪单元，163CPB位置转换单元，164目标比特确定单元，200图像解码装置，201累积缓冲器，202无损解码器，203逆量化器，231参数获取单元，232编码流获取单元，233解码处理器，311参数设置单元，312HRD跟踪单元，313二进制HRD跟踪单元，314目标比特确定单元。

Claims (12)

1.一种图像处理装置，包括：

设置单元，被配置成设置用于以二进制数据来限定在编码流中限定的假设解码器的二进制参数，其中，所述二进制数据是通过对量化的图像数据进行二进制化而获得的；

编码单元，被配置成对所述二进制数据执行算术编码以生成编码流；以及

传送单元，被配置成传送由所述设置单元设置的所述二进制参数和由所述编码单元生成的所述编码流，

其中，所述设置单元设置用于将所述编码流的编码量转换为所述二进制数据的数据量的转换参数作为所述二进制参数，

其中，所述设置单元设置指示是否通过使用所述转换参数将所述假设解码器从由所述编码流进行的限定转换为由二进制数据进行的限定的参数作为所述二进制参数。

2.根据权利要求1所述的图像处理装置，其中，所述设置单元设置所述假设解码器的缓冲器的大小和表示在所述缓冲器中累积的数据的数据量的位置作为所述二进制参数。

3.根据权利要求1所述的图像处理装置，其中，所述设置单元设置指示是否通过使用不同的参数来设置以所述编码流限定的假设解码器和以二进制数据限定的假设解码器的参数作为所述二进制参数。

4.根据权利要求1所述的图像处理装置，其中，所述传送单元将所述二进制参数作为由所述编码单元生成的所述编码流的附加信息进行传送。

5.根据权利要求1所述的图像处理装置，其中，所述传送单元通过将所述二进制参数插入到由所述编码单元生成的所述编码流中来传送所述二进制参数。

6.根据权利要求1所述的图像处理装置，其中，所述设置单元设置用于限定对二进制数据处理速度进行限定的假设解码器的参数作为所述二进制参数。

7.根据权利要求6所述的图像处理装置，其中，所述设置单元设置指示所述二进制数据处理速度的参数作为所述二进制参数。

8.根据权利要求6所述的图像处理装置，其中，所述设置单元设置指示所述假设解码器的缓冲器的大小的参数作为所述二进制参数。

9.根据权利要求6所述的图像处理装置，还包括：确定单元，被配置成通过使用根据所述二进制参数确定的编码流的最大处理量和二进制数据的最大处理量来确定作为所述编码流的目标速度的目标比特。

10.一种用于图像处理装置的图像处理方法，所述方法包括：

由设置单元设置用于以二进制数据来限定在编码流中限定的假设解码器的二进制参数，其中，所述二进制数据是通过对量化的图像数据进行二进制化而获得的；

由编码单元对所述二进制数据执行算术编码以生成编码流；以及

由传送单元传送所设置的二进制参数和所生成的编码流，

其中，由所述设置单元设置用于将所述编码流的编码量转换为所述二进制数据的数据量的转换参数作为所述二进制参数，

其中，由所述设置单元设置指示是否通过使用所述转换参数将所述假设解码器从由所述编码流进行的限定转换为由二进制数据进行的限定的参数作为所述二进制参数。

11.一种图像处理装置，包括：

接收单元，被配置成接收用于以二进制数据来限定在编码流中限定的假设解码器的二进制参数和通过对所述二进制数据执行算术编码而获得的编码流，其中，所述二进制数据是通过对量化的图像数据进行二进制化而获得的；以及

解码单元，被配置成通过使用由所述接收单元接收到的所述二进制参数对由所述接收单元接收到的所述编码流进行解码，

其中，用于将所述编码流的编码量转换为所述二进制数据的数据量的转换参数被设置作为所接收到的二进制参数，

其中，指示是否通过使用所述转换参数将所述假设解码器从由所述编码流进行的限定转换为由二进制数据进行的限定的参数被设置作为所接收到的二进制参数。

12.一种用于图像处理装置的图像处理方法，所述方法包括：

由接收单元接收用于以二进制数据来限定在编码流中限定的假设解码器的二进制参数和通过对所述二进制数据执行算术编码而获得的编码流，其中，所述二进制数据是通过对量化的图像数据进行二进制化而获得的；以及

由解码单元通过使用所接收到的二进制参数对所接收到的编码流进行解码，

其中，用于将所述编码流的编码量转换为所述二进制数据的数据量的转换参数被设置作为所接收到的二进制参数，

其中，指示是否通过使用所述转换参数将所述假设解码器从由所述编码流进行的限定转换为由二进制数据进行的限定的参数被设置作为所接收到的二进制参数。