CN102318345A - 动态图像编码装置、动态图像编码方法以及动态图像编码用计算机程序 - Google Patents

Abstract

动态图像编码装置将动态图像数据分割成多个子数据，使用多个编码器并行地对各子数据进行编码，然后，将编码后的各子比特流数据结合成一个比特流，该动态图像编码装置具有收敛目标导出功能，在该收敛目标导出功能中，决定第1占有量的目标值，使得在从第1虚拟缓存中取出第1子比特流数据所包含的相当于最后图片的数据的时点的第1占有量成为，该时点的第2子比特流数据在第2虚拟缓存中占据的第2占有量以上。

Description

动态图像编码装置、动态图像编码方法以及动态图像编码用计算机程序

技术领域

这里公开的实施方式涉及如下的动态图像编码装置、动态图像编码方法以及动态图像编码用计算机程序：通过并行地对将动态图像数据分割后的多个数据进行编码，高速地生成数据量比该动态图像数据少的比特流数据。

背景技术

动态图像数据一般具有非常大的数据量。因此，在处理动态图像数据的装置要向其他装置发送动态图像数据的情况下、或者要在存储装置中存储动态图像数据的情况下，通过对动态图像数据进行编码，对其数据量进行压缩。特别地，提出了如下的动态图像编码装置：为了高速地对动态图像数据进行编码，将动态图像数据分割成多个子数据，使用多个编码器并行地对各子数据进行编码，然后，将编码后的各子数据结合成一个比特流数据。

另外，在向解码装置传送编码后的动态图像数据时，该解码装置必须能够对编码后的动态图像数据进行解码。因此，假设解码装置具有用于临时存储编码后的动态图像数据的具有规定容量的缓存。该情况下，要求动态图像数据编码装置以在该缓存中蓄积的数据量始终收敛于该规定容量的范围内的方式，对动态图像数据进行编码。以下，将该解码装置所具有的虚拟缓存称为标准解码器缓存。例如，在Moving PictureExperts Group(MPEG)中，将与编码后的动态图像数据在标准解码器缓存中占据的占有量的推移有关的想法规定为Video Buffeting Verifier(VBV)。在VBV中，采用如下的模型：将编码后的动态图像数据以最大传送比特率、以初始延迟量蓄积在标准解码器缓存中后，以一定的时间间隔，从标准解码器缓存中瞬间取出1个图片量的数据。而且，在以固定比特率对动态图像数据进行编码的情况下，向标准解码器缓存传送的编码动态图像数据在标准解码器缓存中占据的占有量必须收敛于标准解码器缓存的最大允许值与最小允许值之间。

但是，在结合单独编码的多个动态图像数据的情况下，即使各个编码动态图像数据满足标准解码器缓存的规定，结合了这些编码动态图像数据后的比特流数据有时也不满足标准解码器缓存的规定。该问题是由于以下原因而产生的。即，定义为，在比特流数据的传送结束之前的期间，该比特流数据始终以最大传送比特率蓄积到标准解码器缓存中。但是，由于对连续传送的2个编码动态图像数据进行结合的定时，在对后侧被结合的编码动态图像数据进行结合之前的缓存的恢复量、与在结合点作为未被分割的连续动态图像数据进行处理时的缓存的恢复量之间，有时无法动态地取得匹配性。因此，在对这2个编码动态图像数据中的前侧的编码动态图像数据的最后图片进行解码时，后侧的编码动态图像数据在标准解码器缓存中占据的占有量与比特流数据的占有量不一致。

针对这种问题，提出了如下技术：根据对标准解码器缓存的占有量的迁移进行模拟后的结果，计算进行分割的各分割点中的初始延迟量，由此，以满足标准解码器缓存的规定的方式对动态图像数据进行编码。并且，提出了如下技术：在对分割后的MPEG图像数据的结合区间所包含的数据进行解码后，以使标准解码器缓存的占有量收敛于该缓存的最大允许值与最小允许值之间的方式，对结合区间所包含的数据进行再次编码。

专利文献1：日本特开2008-85673号公报

专利文献2：日本特开2004-297829号公报

发明内容

在对缓存占有量的迁移进行模拟的技术中，在该模拟结果表示违反标准解码器缓存的规定的情况下，需要调整用于决定针对各图片的编码比特的分配量的参数，并反复进行模拟。因此，使用该技术的动态图像编码装置可能在动态图像数据的编码处理中需要较长时间。

并且，在临时对结合区间所包含的数据进行解码后、对该解码后的数据进行再次编码的技术中，额外需要用于执行该再次编码处理的时间。进而，该技术不调整对分割后的各动态图像数据进行结合的时点的缓存量。因此，在该结合时点的设定不合适的情况下，对特定图片分配的编码比特量极少，其结果，可能产生剧烈的画质劣化。

因此，本说明书的目的在于，提供满足标准解码器缓存的规定、且能够在短时间内对动态图像数据进行编码的动态图像编码装置、动态图像编码方法以及动态图像编码程序。

根据一个实施方式，提供一种动态图像编码装置。该动态图像编码装置具有：存储部，其存储至少包含第1子数据和第2子数据的动态图像数据，该第1子数据和第2子数据分别包含多个图片；处理部，其通过对动态图像数据进行编码，生成数据量比该动态图像数据的数据量少的比特流数据；以及输出部，其输出比特流数据。该处理部实现如下功能：收敛目标导出功能，其决定第1占有量的目标值，使得在以规定的传送率向虚拟解码器传送比特流数据且蓄积在该解码器的缓存中、并以规定的时间间隔从该解码器的缓存中依次取出比特流数据所包含的与各个图片相当的数据时，在从该解码器的缓存中取出对第1子数据进行编码得到的第1子比特流数据所包含的与最后图片相当的数据的第1时点、比特流数据在该解码器的缓存中占据的第1占有量为在该第1时点对第2子数据进行编码得到的第2子比特流数据在该解码器的缓存中占据的第2占有量以上；第1编码功能，其以使第1占有量成为目标值的方式，决定针对第1子数据所包含的各个图片的编码比特的分配量，根据该分配量对第1子数据进行编码，从而生成第1子比特流数据；第2编码功能，其通过对第2子数据进行编码，生成第2子比特流数据；以及结合功能，其通过对第1子比特流数据和第2子比特流数据进行结合，生成比特流数据。

并且，根据其他实施方式，提供一种动态图像编码方法，该动态图像编码方法对至少包含分别包含有多个图片的第1子数据和第2子数据的动态图像数据进行编码，从而生成数据量比该动态图像数据的数据量少的比特流数据。在该动态图像编码方法中，决定第1占有量的目标值，使得在以规定的传送率向虚拟解码器传送比特流数据且蓄积在该解码器的缓存中、并以规定的时间间隔从该解码器的缓存中依次取出比特流数据所包含的与各个图片相当的数据时，在从该解码器的缓存中取出对第1子数据进行编码得到的第1子比特流数据所包含的与最后图片相当的数据的第1时点、比特流数据在该解码器的缓存中占据的第1占有量为在该第1时点对第2子数据进行编码得到的第2子比特流数据在该解码器的缓存中占据的第2占有量以上，以使第1占有量成为目标值的方式，决定针对第1子数据所包含的各个图片的编码比特的分配量，根据该分配量对第1子数据进行编码，从而生成第1子比特流数据，通过对第2子数据进行编码，生成第2子比特流数据，通过对第1子比特流数据和第2子比特流数据进行结合，生成比特流数据。

进而，根据其他实施方式，提供一种动态图像编码用计算机程序，该动态图像编码用计算机程序对至少包含分别包含有多个图片的第1子数据和第2子数据的动态图像数据进行编码，从而使计算机生成数据量比该动态图像数据的数据量少的比特流数据。该计算机程序包含使计算机执行如下步骤的命令：决定第1占有量的目标值，使得在以规定的传送率向虚拟解码器传送比特流数据且蓄积在该解码器的缓存中、并以规定的时间间隔从该解码器的缓存中依次取出比特流数据所包含的与各个图片相当的数据时，在从该解码器的缓存中取出对第1子数据进行编码得到的第1子比特流数据所包含的与最后图片相当的数据的第1时点、比特流数据在该解码器的缓存中占据的第1占有量为在该第1时点对第2子数据进行编码得到的第2子比特流数据在该解码器的缓存中占据的第2占有量以上，以使第1占有量成为目标值的方式，决定针对第1子数据所包含的各个图片的编码比特的分配量，根据该分配量对第1子数据进行编码，从而生成第1子比特流数据，通过对第2子数据进行编码，生成第2子比特流数据，通过对第1子比特流数据和第2子比特流数据进行结合，生成比特流数据。

通过权利要求书中特别指出的要素和组合，实现并达成本发明的目的和优点。

希望理解到，上述的一般记述和下述的详细记述均为例示性和说明性的，而不像权利要求书那样限制本发明。

本说明书所公开的动态图像编码装置、动态图像编码方法以及动态图像编码程序满足标准解码器缓存的规定，且能够在短时间内对动态图像数据进行编码。

附图说明

图1是一个实施方式的动态图像编码装置的概略结构图。

图2是示出为了执行对动态图像数据进行编码的处理而实现的功能的动态图像编码装置的处理部的功能框图。

图3(a)是示出1个子比特流数据在标准解码器缓存中占据的占有量的迁移的一例的图。图3(b)是示出被结合的2个子比特流数据分别在标准解码器缓存中占据的占有量的迁移的一例的图。图3(c)是示出将2个子比特流数据结合成1个后的比特流数据在标准解码器缓存中占据的占有量的迁移的一例的图。

图4是示出迁移时刻附近的被结合的2个子比特流数据中的后侧的子比特流数据在标准解码器缓存中占据的占有量的迁移的一例的图。

图5是编码部的功能框图。

图6(a)是示出标准解码器缓存的占有量的下限值的迁移的一例的曲线图。并且，图6(b)是示出标准解码器缓存的占有量的上限值的迁移的一例的曲线图。

图7是示出在迁移时刻中比特流数据在标准解码器缓存中占据的占有量的迁移与该比特流数据所包含的被结合的2个子比特流数据的对应关系的图。

图8是示出由在动态图像编码装置的处理部上执行的计算机程序控制的动态图像数据的编码处理的动作流程的图。

图9是示出由在动态图像编码装置的处理部上执行的计算机程序控制的各编码部进行的子数据的编码处理的动作流程的图。

标号说明

1：动态图像编码装置；11：存储部；12：处理部；13：输入输出部；21：控制部；22：分割部；23-1、23-2、…、23-n：编码部；24-1、24-2、…、24-(n-1)：收敛目标导出部；25-1、25-2、…、25-(n-1)：结合部；31：数据管理部；32：正交转换/量化部；33：可变长度编码部；34：缓存上限/下限控制部；35：信息量控制部。

具体实施方式

下面，参照附图说明一个实施方式的动态图像编码装置。

该动态图像编码装置将动态图像数据分割成多个子数据，将按照每个子数据使用不同编码器进行编码而生成的子比特流数据结合成一个比特流数据。该动态图像编码装置控制针对被结合的2个子比特流数据中的前侧的子比特流数据的编码比特分配量，以满足标准解码器缓存的规定。进而，该动态图像编码装置在前侧的子比特流数据与后侧的子比特流数据之间，插入对其最后图片进行解码时一并取出的无效比特列。由此，该动态图像编码装置消除了在对前侧的子比特流数据所包含的最后图片进行了解码的时点比特流数据在标准解码器缓存中占据的占有量与后侧的子比特流数据在标准解码器缓存中占据的占有量之差。

另外，作为编码对象的动态图像数据所包含的图片可以是以交错方式取得的字段、或者以渐进方式取得的帧的任一方。

图1是一个实施方式的动态图像编码装置1的概略结构图。如图1所示，动态图像编码装置1具有存储部11、处理部12、输入输出部13。

存储部11例如具有半导体存储器、磁盘装置或光盘装置中的至少任意一方。而且，存储部11存储在动态图像编码装置1中使用的计算机程序和各种数据。并且，存储部11存储作为编码对象的动态图像数据。并且，存储部11也可以存储由处理部12对动态图像数据进行编码而生成的比特流数据。

输入输出部13例如具有用于将动态图像编码装置1与通信网络(未图示)连接起来的通信接口及其控制电路。而且，输入输出部13经由通信网络向其他装置输出由处理部12对动态图像数据进行编码而生成的比特流数据。并且，输入输出部13也可以经由通信网络从其他装置取得作为编码对象的动态图像数据，将该动态图像数据转交给处理部12。

处理部12具有一个或多个处理器、存储器及其周边电路。而且，处理部12对从存储部11读入的动态图像数据或经由输入输出部13取得的动态图像数据进行编码。

图2是示出为了对动态图像数据进行编码而实现的功能的处理部12的功能框图。如图2所示，处理部12具有控制部21、分割部22、n个编码部23-1、23-2、…、23-n、(n-1)个收敛目标导出部24-1、24-2、…、24-(n-1)、(n-1)个结合部25-1、25-2、…、25-(n-1)。其中，n为2以上的整数。

处理部12所具有的这些各部是通过在处理部12所具有的处理器上执行的计算机程序而安装的功能模块。处理部12所具有的这些各部也可以分别作为单独的运算电路、或者作为对这些运算电路进行集成后的一个集成电路，安装在动态图像编码装置1上。

控制部21控制处理部12全体。因此，控制部21向各编码部23-m(其中m＝1、2、…、n)输入用于使各编码部23-m决定针对输入到该编码部的子数据的编码比特分配量的参数。并且，控制部21向各收敛目标导出部24-k(其中k＝1、2、…、n-1)输入用于使各收敛目标导出部24-k决定比特流数据在标准解码器缓存中占据的占有量的目标值的参数。另外，关于这些参数，与编码部23-m和收敛目标导出部24-k一起在后面叙述。

并且，控制部21从存储部11读入作为编码对象的动态图像数据、或者经由输入输出部13取得作为编码对象的动态图像数据，将该动态图像数据转交给处理部12。此时，在与动态图像数据一起取得与该动态图像数据的内容有关的信息的情况下，也可以将该信息转交给处理部12。并且，控制部21也可以从存储部11读入多个动态图像数据、或者经由输入输出部13取得多个动态图像数据，将这些多个动态图像数据转交给分割部22。进而，处理部12也可以通过单独的编码部23-m对预先分割得到的多个动态图像数据进行编码，结合对各个动态图像数据进行编码得到的子比特流数据，由此，生成一个比特流数据。该情况下，也可以省略分割部22。而且，控制部21将这些多个动态图像数据直接输入到各编码部23-m。

分割部22根据处理部12所具有的编码部23-m的个数n，对从控制部21受理的动态图像数据进行分割，从而生成子数据。例如，分割部22在时间上均等地将动态图像数据分割成n个，从而生成n个子数据。并且，在从控制部21受理与动态图像数据的内容有关的信息的情况下，分割部22也可以根据该信息而使各个子数据的时间长度不同。例如，分割部22也可以以使针对各子数据的编码处理所需要的时间均等的方式，对动态图像数据进行分割。因此，例如，分割部22也可以参照与动态图像数据的内容有关的信息，以延长包含大量静止场景等的编码处理所需要的时间相对较短即可的图片的子数据的时间长度的方式，对动态图像数据进行分割。相反，分割部22也可以以缩短包含大量运动较多的场景等的编码处理所需要的时间相对较长的图片的子数据的时间长度的方式，对动态图像数据进行分割。进而，分割部22也可以从动态图像数据中的多个部位取出动态图像数据中的一定长度的数据，将取出的各个数据作为要编码的子数据。进而，在从控制部21受理多个动态图像数据的情况下，分割部22也可以以编码部23-m的个数n，对结合了这些多个动态图像数据后的一个动态图像数据进行分割，生成子数据。

并且，分割部22也可以以各子数据所包含的图片的张数为Group Of Pictures(GOP)的倍数的方式，调整子数据的长度。另外，GOP是规定以一定周期重复的包含连续的多个图片的图片组的构造，在GOP中，规定针对各图片应用帧内编码方法还是应用帧间编码方法。另外，帧内编码方法是仅使用编码对象的一张图片内所包含的信息对该图片进行编码的方法。另一方面，帧间编码方法是使用编码对象的图片及其前后图片的信息对编码对象的图片进行编码的方法。

分割部22按照再现时的时间顺序，向编码部23-1、23-2、…、23-n中的任一方输入所生成的各个子数据。并且，分割部22向输入该子数据的编码部输入各子数据所包含的图片的数量。

收敛目标导出部24-1、24-2、…、24-(n-1)分别计算对被结合的2个子比特流数据中的前侧的子比特流数据所包含的最后图片进行解码的时点的与标准解码器缓存的占有量有关的目标值。另外，收敛目标导出部24-1、24-2、…、24-(n-1)具有相同的结构和功能，所以，下面对一个收敛目标导出部24-m(1≤m≤n-1)进行说明。

设对2个子比特流数据进行结合从而生成1个比特流数据，并向标准解码器缓存传送该比特流数据。该情况下，优选在前侧的子比特流数据的最后图片的解码时点该比特流数据在标准解码器缓存中占据的占有量与在该时点之前后侧的子比特流数据在标准解码器缓存中占据的占有量相等。如果满足该条件，则仅以遵守标准解码器缓存的规定的方式生成各子比特流数据，占有量不会高于标准解码器缓存的最大允许值，且不会低于标准解码器缓存的最小允许值。另外，以下，将被结合的2个子比特流数据中的前侧的子比特流数据的最后图片的解码时刻称为迁移时刻。并且，将被结合的2个子比特流数据中的后侧的子比特流数据开始蓄积在标准解码器缓存中的时点称为结合时刻。

使用图3(a)～图3(c)说明该状况。图3(a)是示出1个子比特流数据SBS_m在标准解码器缓存中占据的占有量的迁移的一例的图。并且，图3(b)是示出被结合的2个子比特流数据SBS_m、SBS_m+1分别在标准解码器缓存中占据的占有量的迁移的一例的图。进而，图3(c)是示出将图3(b)所示的2个子比特流数据SBS_m、SBS_m+1结合成1个后的比特流数据BS在标准解码器缓存中占据的占有量的迁移的一例的图。

在图3(a)～图3(c)中，横轴表示时间，纵轴表示标准解码器缓存的占有量。并且，线301表示标准解码器缓存的占有量的最大允许值。并且，时刻t₀表示子比特流数据SBS_m开始蓄积在标准解码器缓存中的时刻。进而，期间t_d表示初始缓存延迟量，期间t_f0表示由帧率确定的图片间隔，例如期间t_f0为1/30秒。并且，在图3(a)和图3(b)中，曲线310表示子比特流数据SBS_m在标准解码器缓存中占据的占有量的迁移。并且，在图3(b)和图3(c)中，曲线320表示与子比特流数据SBS_m结合的下一个子比特流数据SBS_m+1在标准解码器缓存中占据的占有量的迁移。进而，在图3(c)中，曲线330表示比特流数据BS在标准解码器缓存中占据的占有量的迁移。而且，在图3(b)和图3(c)中，时刻t_tr表示对前侧的子比特流数据SBS_m的最后图片进行解码的迁移时刻，时刻t_j表示后侧的子比特流数据SBS_m+1开始蓄积在标准解码器缓存中的结合时刻。

如图3(a)所示，从时刻t₀起到经过初始缓存延迟量t_d为止，子比特流数据SBS_m在标准解码器缓存中占据的占有量每单位时间以最大传送比特率增加。然后，在从时刻t₀起经过了初始缓存延迟量t_d的时点，从标准解码器缓存中取出相当于最初图片的数据d₁。因此，占有量降低d₁。在该时点以后，每经过图片间隔t_f0时，从标准解码器缓存中取出一张图片量的数据。并且，在向标准解码器缓存传送子比特流数据SBS_m的过程中，在取出一张图片量的数据后到取出下一个图片量的数据为止的期间，占有量每单位时间以最大传送比特率增加。另一方面，在结束向标准解码器缓存传送子比特流数据SBS_m的时刻t_e以后，占有量已经不增加，每经过图片间隔t_f0时，减少一张图片量的数据。然后，当取出相当于最后图片的数据时，占有量成为0。

并且，如图3(b)所示，在结合时刻tj以后，子比特流数据SBS_m+1接着子比特流数据SBS_m而蓄积在标准解码器缓存中。该情况下，根据标准解码器缓存的规定，视为在时刻t_e以后也连续地向标准解码器缓存传送比特流数据BS。因此，如点线311所示，在时刻t_e以后，在对一张图片进行解码后到对下一张图片进行解码为止的期间，比特流数据BS在标准解码器缓存中占据的占有量视为每单位时间以最大传送比特率增加。另一方面，如曲线320所示，在结合时刻t_j以后，在经过初始延迟量t_d之前，子比特流数据SBS_m+1在标准解码器缓存中占据的占有量每单位时间以最大传送比特率增加。但是，如果时刻t_e以后解码的相当于子比特流数据SBS_m的图片的数据较少，则迁移时刻t_tr的比特流数据BS的残留占有量S_r比子比特流数据SBS_m+1在标准解码器缓存中占据的迁移时占有量S_tr多。

因此，如图3(c)所示，在迁移时刻t_tr以后，比特流数据BS在标准解码器缓存中占据的占有量成为，对子比特流数据SBS_m+1在标准解码器缓存中占据的占有量加上残留占有量S_r与迁移时占有量S_tr之差的绝对值ΔS_r而得到的值。另一方面，有时以在任意的时刻t_n子比特流数据SBS_m+1在标准解码器缓存中占据的占有量为标准解码器缓存的最大允许值附近的方式，生成子比特流数据SBS_m+1。该情况下，对子比特流数据SBS_m+1在标准解码器缓存中占据的占有量加上ΔS_r，由此，比特流数据BS在标准解码器缓存中占据的占有量超过标准解码器缓存的最大允许值。

相反，如果时刻t_e以后解码的相当于子比特流数据SBS_m的图片的数据较多，则迁移时刻t_tr的比特流数据BS的残留占有量S_r比子比特流数据SBS_m+1的迁移时占有量S_tr少。该情况下，在迁移时刻t_tr以后，比特流数据BS在标准解码器缓存中占据的占有量成为，从子比特流数据SBS_m+1在标准解码器缓存中占据的占有量中减去残留占有量S_r与迁移时占有量S_tr之差的绝对值ΔS_r而得到的值。另一方面，有时以在任意的时刻中子比特流数据SBS_m+1在标准解码器缓存中占据的占有量为标准解码器缓存的最小允许值附近的方式，生成子比特流数据SBS_m+1。该情况下，从子比特流数据SBS_m+1在标准解码器缓存中占据的占有量中减去ΔS_r，由此，比特流数据BS在标准解码器缓存中占据的占有量低于标准解码器缓存的最小允许值。

因此，收敛目标导出部24-m求出在与由编码部23-m生成的子比特流数据SBS_m有关的迁移时刻下、由编码部23-(m+1)生成的子比特流数据SBS_m+1在标准解码器缓存中占据的迁移时占有量，作为一个目标值。并且，收敛目标导出部24-m决定在迁移时刻对子比特流数据SBS_m和子比特流数据SBS_m+1进行结合得到的比特流数据BS在标准解码器缓存中占据的残留占有量的收敛目标值。设该收敛目标值为迁移时占有量以上、且标准解码器缓存的最大允许值以下。

为了决定迁移时占有量和收敛目标值，从控制部21向收敛目标导出部24-m输入初始缓存延迟量、最大传送比特率、结合点帧间时间。另外，结合点帧间时间是从迁移时刻起到从标准解码器缓存中取出与子比特流数据SBS_m+1的最初图片对应的数据的时刻为止的期间。

图4是示出迁移时刻附近的子比特流数据SBS_m+1在标准解码器缓存中占据的占有量的迁移的图。在图4中，时刻t_j表示结合时刻，时刻t_tr表示迁移时刻。进而，时刻t₁表示从标准解码器缓存中取出与子比特流数据SBS_m+1的最初图片对应的数据的时刻。并且，期间t_d表示初始缓存延迟量，期间t_f表示结合点帧间时间。进而，曲线401表示子比特流数据SBS_m+1在标准解码器缓存中占据的占有量。并且，曲线402表示标准解码器缓存中的对子比特流数据SBS_m和子比特流数据SBS_m+1进行结合得到的比特流数据BS在标准解码器缓存中占据的占有量。

这里，根据标准解码器缓存的定义，在从时刻t_j到时刻t₁为止的期间蓄积在标准解码器缓存中的子比特流数据SBS_m+1的占有量成为，在初始缓存延迟量t_d中乘以最大传送比特率而得到的值。并且，在从迁移时刻t_tr到时刻t₁为止的期间蓄积在标准解码器缓存中的子比特流数据SBS_m+1的占有量成为，对结合点帧间时间t_f乘以最大传送比特率而得到的值。因此，如图4所示，收敛目标导出部24-m能够根据以下的式子计算迁移时占有量S_tr。

[数式1]

S_tr＝br×(t_d-t_rt)    (1)

这里，br是最大传送比特率。

收敛目标导出部24-m计算出迁移时占有量S_tr后，对迁移时占有量S_tr加上规定的偏差，由此，计算收敛目标值。另外，规定的偏差具有0或正值。而且，规定的偏差被设定为，在迁移时刻t_tr，取出与子比特流数据SBS_m的最后图片对应的数据后，比特流数据BS在标准解码器缓存中占据的占有量为迁移时占有量S_tr以上。并且，规定的偏差被设定为，在迁移时刻t_tr，在取出与子比特流数据SBS_m的最后图片对应的数据之前，比特流数据BS在标准解码器缓存中占据的占有量为标准解码器缓存的最大允许值以下。因此，规定的偏差例如能够成为通过对一张图片或一个GOP进行编码而得到的编码比特数相对于分配比特数的偏移的标准偏差的3倍的值。

收敛目标导出部24-m将迁移时占有量转交给结合部25-m。并且，收敛目标导出部24-m将收敛目标值转交给编码部23-m。

编码部23-1、23-2、…、23-n对所输入的子数据进行编码，从而生成子比特流数据SBS₁、SBS₂、…、SBS_n。另外，编码部23-1、23-2、…、23-n具有相同的结构和功能，所以，下面对一个编码部23-m进行说明。

图5是编码部23-m的功能框图。如图5所示，编码部23-m具有数据管理部31、正交转换/量化部32、可变长度编码部33、缓存上限/下限控制部34、信息量控制部35。

数据管理部31按照被编码的图片的顺序，将从分割部22受理的子数据以一张张图片的方式转交给正交转换/量化部32。并且，数据管理部31还向正交转换/量化部32输入表示对转交给正交转换/量化部32的图片进行帧间编码还是进行帧内编码的信号。

进而，数据管理部31向缓存上限/下限控制部34输入作为当前编码处理对象的图片的编码即当前图片编号，以便决定针对各图片的标准解码器缓存的占有量的上限值和下限值。

正交转换/量化部32对从数据管理部31受理的图片进行正交转换，并对通过该正交转换处理而得到的频率信号进行量化。由此，正交转换/量化部32生成比特数比原来图片所具有的比特数少的量化信号。因此，正交转换/量化部32例如也可以按照MPEG-2、MPEG-4或H.264MPEG-4Advanced Video Coding(H.264MPEG-4AVC)等的各种动态图像编码标准中的任一方，执行正交转换处理和量化处理。

作为正交转换处理和量化处理的一例，首先，正交转换/量化部32将从数据管理部31受理的当前图片分割成具有规定数像素的多个块。以下将该块称为宏块。并且，宏块例如包含16×16个像素。

正交转换/量化部32执行各个宏块与预测图像之间的差分运算。然后，正交转换/量化部32生成与通过该差分运算而得到的宏块内的各像素对应的差分值，作为预测误差信号。此时，正交转换/量化部32根据表示对从数据管理部31受理的当前图片进行帧间编码还是进行帧内编码的信号，选择帧间编码用的预测图像或帧内编码用的预测图像中的任一方。另外，如后所述，帧间编码用的预测图像是根据已经编码的图片而生成的。另一方面，帧内编码用的预测图像是根据当前图片的已经编码的宏块而生成的。

正交转换/量化部32通过对各宏块的预测误差信号进行正交转换，求出表示预测误差信号的水平方向的频率成分和垂直方向的频率成分的频率信号。例如，作为正交转换处理，正交转换/量化部32对预测误差信号执行离散余弦转换(Discrete CosineTransform、DCT)，由此，得到每个宏块的DCT系数的组，作为频率信号。

接着，正交转换/量化部32根据由信息量控制部35决定的量化参数，对频率信号进行量化。该量化处理是利用一个信号值表示一定区间所包含的信号值的处理。而且，该一定区间被称为量化幅度。例如，正交转换/量化部32从频率信号中舍去相当于量化幅度的规定数的下位比特，由此对该频率信号进行量化。量化幅度由量化参数决定。例如，正交转换/量化部32根据表示针对量化参数的值的量化幅度的值的函数，决定使用的量化幅度。并且，该函数可以是针对量化参数的值的递增函数，是预先设定的。或者，预先准备多个用于规定与水平方向和垂直方向的频率成分分别对应的量化幅度的量化矩阵，将其存储在存储部11中。然后，正交转换/量化部32根据量化参数，选择存储在存储部11中的这些量化矩阵中的特定的量化矩阵。然后，正交转换/量化部32参照选择出的量化矩阵，决定针对频率信号的各频率成分的量化幅度。该情况下，正交转换/量化部32选择量化参数的值越大、针对各频率成分的量化幅度越大的量化矩阵。

正交转换/量化部32执行量化处理，由此，能够削减用于表示频率信号的各频率成分的比特数量，所以，能够减少各宏块所包含的信息量。正交转换/量化部32向可变长度编码部33提供量化信号。

并且，为了生成预测图像，正交转换/量化部32在量化信号中乘以相当于由量化参数决定的量化幅度的规定数，由此进行逆量化。通过该逆量化，对各宏块的频率信号、例如DCT系数的组进行复原。然后，正交转换/量化部32对频率信号进行逆正交转换处理。例如，在正交转换部22中进行DCT处理的情况下，正交转换/量化部32针对逆量化信号执行逆DCT处理。通过对量化信号执行逆量化处理和逆正交转换处理，再现具有与编码前的预测误差信号相同程度的信息的预测误差信号。

正交转换/量化部32针对帧间编码后的图片，对后述的运动补偿后的预测图像的各像素值加上与该像素对应的再现后的预测误差信号。另一方面，正交转换/量化部32针对帧内编码后的图片，对根据已经编码的宏块而生成的预测图像的各像素值加上与该像素对应的再现后的预测误差信号。针对各宏块执行这些处理，由此，正交转换/量化部32得到针对当前图片的预测图片。

正交转换/量化部32在处理部12所具有的存储器中临时存储预测图片，作为新的参照图片。然后，正交转换/量化部32在生成预测图像时利用该参照图片。另外，正交转换/量化部32存储预先确定的规定张数的参照图片，当参照图片的张数超过该规定张数时，按顺序丢弃旧的参照图片。

为了生成帧间编码用的预测图像，正交转换/量化部32使用当前图片的各宏块和已经编码的参照图片，求出运动矢量。运动矢量表示当前图片的宏块和与该宏块最相似的参照图片的块在空间上的移动量。例如，正交转换/量化部32执行当前图片的关注宏块与各参照图片的块匹配，由此，从各参照图片中决定与宏块最一致的参照图片和该参照图片上的区域。然后，正交转换/量化部32将分别具有如下要素的矢量作为运动矢量：当前图片的宏块位置和与该宏块最一致的区域在水平方向和垂直方向的移动量、以及表示该区域所属的参照图片的识别信息。

正交转换/量化部32针对当前图片所包含的各宏块，分别求出运动矢量。然后，正交转换/量化部32根据求出的运动矢量对参照图片进行运动补偿，由此，生成运动补偿后的块单位的预测图像。另外，运动补偿是如下处理：为了抵消由运动矢量表示的宏块和与该宏块最相似的参照图片的块的位置偏移量，移动该最相似的参照图片的块的位置。

并且，正交转换/量化部32针对当前图片中的关注宏块，从与该关注宏块的左侧或上侧相邻的已经编码的宏块所包含的像素值进行插值，生成帧内编码用的预测图像。

可变长度编码部33对从正交转换/量化部32受理的量化信号和运动矢量进行编码，由此，生成针对原来图片压缩了数据量后的比特的组。然后，可变长度编码部33按照编码处理的执行顺序，连接针对输入到编码部23-m的子数据所包含的各图片而生成的比特的组，由此，生成与该子数据对应的子比特流数据。因此，例如，可变长度编码部33针对该量化信号，执行分配发生概率越高信号值越短的、可变长度的码字的可变长度编码处理。例如，可变长度编码部33能够进行哈夫曼编码处理或算术编码处理，作为可变长度编码处理。

可变长度编码部33向结合部25-m输出所生成的子比特流数据。并且，可变长度编码部33向信息量控制部35通知实际对所生成的子比特流数据所包含的各图片、各宏块或各GOP分配的编码比特长度。

缓存上限/下限控制部34决定比特流数据在标准解码器缓存中占据的占有量的限制值。具体而言，缓存上限/下限控制部34决定从标准解码器缓存中取出与作为编码对象的当前图片对应的编码数据的时点的、标准解码器缓存的占有量的下限值。并且，缓存上限/下限控制部34决定在标准解码器缓存中蓄积与作为编码对象的当前图片对应的编码数据的时点的标准解码器缓存的占有量的上限值。

为了决定上限值和下限值，从控制部21向缓存上限/下限控制部34输入标准解码器缓存的初始设定上限值和初始设定下限值、以及输入到编码部23-m的子数据所包含的图片数量。并且，从数据管理部31向缓存上限/下限控制部34输入作为编码处理对象的当前图片的编号。进而，从收敛目标导出部24-m向缓存上限/下限控制部34输入对由编码部23-m生成的子比特流数据所包含的最后图片进行解码的迁移时刻的收敛目标值。

缓存上限/下限控制部34针对结合了分别由编码部23-m、23-(m+1)生成的子比特流数据SBS_m、SBS_m+1后的比特流数据BS在标准解码器缓存中占据的占有量，设定下限值。具体而言，缓存上限/下限控制部34如下决定下限值：在从子比特流数据SBS_m向SBS_m+1迁移的迁移时刻，比特流数据BS在标准解码器缓存中占据的占有量不低于收敛目标值。进而，缓存上限/下限控制部34设定从标准解码器缓存中取出子比特流数据SBS_m的各图片的时点的比特流数据BS的占有量的下限值，使得对各图片分配的编码比特数不会急剧变动。

例如，在从子比特流数据SBS_m开始蓄积在标准解码器缓存中起的经过时间到达规定的控制开始时刻之前，缓存上限/下限控制部34将下限值设为从控制部21输入的初始设定下限值。另外，根据下述式子计算该经过时间t。

[数式2]

t＝(n_p-1)×f_r+t_d    (2)

这里，n_p表示从数据管理部31取得的作为编码处理对象的当前图片的编号。并且，fr表示每秒从标准解码器缓存中取出的子数据所包含的图片的张数。进而，t_d表示从子比特流数据SBS_m开始蓄积在标准解码器缓存中后到取出与最初图片对应的数据为止的初始缓存延迟量。

另一方面，在经过时间t大于控制开始时刻的情况下，缓存上限/下限控制部34使下限值递增，使得经过时间t越大，下限值越接近收敛目标值。另外，控制开始时刻被设定为0以上且小于规定的控制结束时刻的值。但是，当仅修正针对接近子数据末端的几张图片的下限值时，能够对这些图片分配的比特数极少，针对这些图片的解码画质急剧劣化。因此，优选控制开始时刻被设定为，将由于伴随每个图片的下限值的上升而使编码比特数减少所导致的画质劣化抑制为观察者注意不到的程度。例如，控制开始时刻被设定为，与子数据所包含的图片的张数的一半以下的值对应的经过时间。并且，控制结束时刻能够设定为，从子比特流数据SBS_m向子比特流数据SBS_m+1迁移的迁移时刻以前、且在控制结束时刻以后的规定的定时。但是，优选控制开始时刻与控制结束时刻的间隔尽量长。通过这样设定控制结束时刻，缓存上限/下限控制部34能够使标准解码器缓存的占有量的下限值接近收敛目标值，而不使针对各图片的编码比特分配量急剧减少。

缓存上限/下限控制部34例如能够根据下述式子设定针对当前图片的下限值L_np。

[数式3]

L_np＝L_ini        (t_p≤t_start)

L_np＝α(t_p-t_start)

(t_start＜t_p＜t_end)    (3)

$\mathrm{\α}=\frac{S_{t\arg \mathrm{et}}-L_{\mathrm{ini}}}{t_{\mathrm{end}}-t_{\mathrm{start}}}$

L_np＝S_target        (t_end≤t_p)

这里，t_p表示与当前图片对应的时刻。并且，t_start表示开始修正下限值的控制开始时刻，t_end表示结束修正下限值的控制结束时刻。进而，S_target表示收敛目标值，L_ini表示初始设定下限值。

并且，假设由控制部21决定的标准解码器缓存的初始设定上限值低于收敛目标值的情况。该情况下，编码部23-m无法以超过该初始设定上限值的方式决定针对各图片的编码比特分配量。因此，编码部23-m无法使从标准解码器缓存中取出子比特流数据SBS_m所包含的相当于最后图片的数据的时点的比特流数据BS的残留占有量接近收敛目标值。因此，在这种情况下，缓存上限/下限控制部34将上限值修正为高于收敛目标值。例如，缓存上限/下限控制部34将针对全部图片的上限值设定为标准解码器缓存的占有量的最大允许值。或者，缓存上限/下限控制部34也可以在规定的控制开始时刻之后且控制结束时刻之前，逐渐提高从标准解码器缓存中取出图片的时刻的上限值，直到该上限值高于收敛目标值。另外，与上限值的设定有关的控制开始时刻和与下限值的设定有关的控制开始时刻也可以不一致。同样，与上限值的设定有关的控制结束时刻和与下限值的设定有关的控制结束时刻也可以不一致。但是，优选以如下方式设定上限值和下限值：在上限值与下限值之间始终设有与至少一张图片量的编码比特数相当的差。

图6(a)是示出由缓存上限/下限控制部34设定的标准解码器缓存的下限值的迁移的一例的曲线图。并且，图6(b)是示出由缓存上限/下限控制部34设定的标准解码器缓存的上限值的迁移的一例的曲线图。

在图6(a)和图6(b)中，横轴表示时间，纵轴表示标准解码器缓存的占有量。并且，在图6(a)中，线601表示标准解码器缓存的占有量的上限值，线602表示标准解码器缓存的占有量的下限值。进而，点线603和604分别表示收敛目标值和迁移时占有量。而且，曲线605表示对由编码部23-m生成的子比特流数据SBS_m和由下一个编码部23-(m+1)生成的子比特流数据SBS_m+1进行结合后的比特流数据BS在标准解码器缓存中占据的占有量的迁移。

如图6(a)所示，在从子比特流数据SBS_m开始蓄积在标准解码器缓存中的时刻t₀到控制开始时刻t₁为止的期间，标准解码器缓存的占有量的下限值602被设定为初始设定下限值。然后，当经过控制开始时刻t₁后到控制结束时刻t₂为止的期间，下限值602直线地增加。然后，在控制结束时刻t₂，下限值602达到被设定为迁移时占有量604以上的值的收敛目标值603，在时刻t₂以后保持恒定。这样设定下限值，所以，在对子比特流数据SBS_m的最后图片进行解码的迁移时刻t_tr，比特流数据BS在标准解码器缓存中占据的占有量可靠地高于子比特流数据SBS_m+1的迁移时占有量。另一方面，在该例子中，标准解码器缓存的占有量的上限值601被设定为，即使将下限值602设定为收敛目标值603，占有量605也不会超过该上限值601的充分高的值，所以，缓存上限/下限控制部34不修正上限值。

在图6(b)中，线611表示标准解码器缓存的占有量的上限值，线612表示标准解码器缓存的占有量的下限值。进而，点划线613表示收敛目标值。

如图6(b)所示，在从子比特流数据开始蓄积在标准解码器缓存中的时刻t₀到控制开始时刻t₁为止的期间，标准解码器缓存的占有量的下限值612被设定为初始设定下限值。然后，当经过控制开始时刻t₁后到控制结束时刻t₂为止的期间，下限值612直线地增加。然后，在控制结束时刻t₂，下限值612达到收敛目标值613。另一方面，在从时刻t₀到控制开始时刻t₃为止的期间，标准解码器缓存的占有量的上限值611被设定为初始设定上限值。然后，当经过控制开始时刻t₃后到控制结束时刻t₄为止的期间，上限值611直线地增加。然后，在控制结束时刻t₄，上限值611达到标准解码器缓存的最大允许值，在时刻t₄以后保持恒定。

缓存上限/下限控制部34向信息量控制部35通知针对当前图片的上限值和下限值。

信息量控制部35决定量化参数，该量化参数用于控制对由正交转换/量化部32编码的图片分配的编码比特数。

因此，信息量控制部35能够采用与对图片分配的编码比特数对应的目标信息量的值越大、量化参数的值越小的各种量化参数的决定方法中的任意方法。作为这种方法，信息量控制部35可以采用如下的反馈型方法：根据将实际对已经编码的图片分配的编码比特数作为目标的编码比特数的计划，决定对下一个图片分配的编码比特数。并且，信息量控制部35也可以采用如下的前馈型方法：根据正交转换/量化部32中的运动预测处理等计算表示图片性质的统计量，根据该统计量决定对下一个图片分配的编码比特数。进而，信息量控制部35也可以使用对这种反馈型方法和前馈型方法进行组合后的方法。

例如，信息量控制部35根据在MPEG-2的标准测试模型5中采用的方法，求出各图片的基本目标信息量。该情况下，从控制部21向信息量控制部35输入最大传送比特率和帧率。并且，从数据管理部31向信息量控制部35输入表示作为编码对象的当前图片是帧间编码的图片还是帧内编码的图片的图片类别信息。进而，从缓存上限/下限控制部34向信息量控制部35输入针对当前图片的上限值和下限值。然后，信息量控制部35根据这些输入的参数，求出基本目标信息量，使得在向标准解码器缓存传送与当前图片对应的编码比特列时，标准解码器缓存的占有量不会超过上限值。并且，信息量控制部35根据这些输入的参数，求出基本目标信息量，使得在从标准解码器缓存中取出与当前图片对应的编码比特列时，标准解码器缓存的占有量不会低于下限值。

进而，信息量控制部35求出针对各图片的校正信息量，使得在将缓存占有量的下限值从初始设定下限值修正为接近收敛目标值的情况下，标准解码器缓存的占有量不会低于该修正后的下限值。然后，信息量控制部35从基本目标信息量中减去校正目标信息量，从而求出最终的目标信息量。然后，信息量控制部35求出与目标信息量的值对应的量化参数。另外，关于与MPEG-2的标准测试模型5有关的基本目标信息量和量化参数的计算方法，希望参照由http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.html确定的URL。并且，信息量控制部35也可以使用日本特开2008-252562号公报所公开的表示目标信息量和量化参数的关系的率失真函数，来决定量化参数。该情况下，在从初始设定下限值修正缓存占有量的下限值的情况下，信息量控制部35从目标信息量中减去针对各图片的校正信息量，由此，修正该目标信息量。

作为一例，首先，信息量控制部35计算针对当前图片估计出的复杂度。针对进行帧内编码的图片的复杂度、针对通过单向预测而进行帧间编码的图片的复杂度、以及针对通过双向预测而进行帧间编码的图片的复杂度分别通过下式计算。以下，将进行帧内编码的图片称为I图片。并且，将使用在时间上靠前的图片的信息进行帧间编码的图片称为P图片。进而，将使用在时间上靠前的图片和靠后的图片的双方的信息进行帧间编码的图片称为B图片。

[数式4]

X_i＝S_iQ_i

X_p＝S_pQ_p    (4)

X_b＝S_bQ_b

这里，Xi是针对I图片的复杂度，Xp是针对P图片的复杂度，Xb是针对B图片的复杂度。并且，Si是在已经编码的前一个图片为I图片的情况下、针对该前一个图片通过编码而产生的比特数。同样，Sp是在已经编码的前一个图片为P图片的情况下、针对该前一个图片通过编码而产生的比特数。进而，Sb是在已经编码的前一个图片为B图片的情况下、针对该前一个图片通过编码而产生的比特数。并且，Qi、Qp、Qb分别是在前一个图片为I图片、P图片、B图片的情况下、对前一个图片进行编码时使用的平均量化参数，该平均量化参数是通过对全部宏块的量化参数进行平均而计算出的。另外，作为例子，如下设定Xi、Xp、Xb的初始值。

Xi＝(160*bitrate)/115

Xp＝(60*bitrate)/115

Xb＝(42*bitrate)/115

其中，bitrate是最大传送比特率，表示在编码中赋予的每秒的信息量(bit/s)。

接着，信息量控制部35根据计算出的复杂度Xi、Xp、Xb，依据下式计算针对I图片的基本目标信息量Ti、针对P图片的基本目标信息量Tp以及针对B图片的基本目标信息量Tb。

[数式5]

$T_i=\max \{\frac{R}{(1+\frac{N_p{X}_p}{X_i{K}_p}+\frac{N_b{X}_b}{X_i{K}_b})},\frac{\mathrm{bitrate}}{8\×\mathrm{picturerate}}\}$

$T_p=\max \{\frac{R}{{(N}_p+\frac{N_b{K}_p{X}_b}{K_b{X}_p})},\frac{\mathrm{bitrate}}{8\×\mathrm{picturerate}}\}---\left(5\right)$

$T_b=\max \{\frac{R}{{(N}_b+\frac{N_p{K}_b{X}_p}{K_p{X}_b})},\frac{\mathrm{bitrate}}{8\×\mathrm{picturerate}}\}$

这里，Kp、Kb是常数，一般设定为Kp＝1.0、Kb＝1.4。并且，R是能够对GOP分配的编码比特数的余量。在各图片的编码完成后，如下更新R。

R＝R-Sj

其中，如果前一个图片为I图片，则Sj＝Si。并且，如果前一个图片为P图片，则Sj＝Sp。或者，如果前一个图片为B图片，则Sj＝Sb。

并且，在对GOP的最初图片即I图片进行编码时，使用针对上一个GOP计算出的比特数的余量R，如下更新比特数的余量R。

R＝G+R

G＝bitrate*N/picturerate

其中，N是GOP所包含的图片的张数。另外，针对动态图像数据的最初的GOP，将R设定为0。进而，picturerate是在编码对象的动态图像数据中每秒期间内扫描的图片的张数(Hz)。

并且，在(5)式中，Np、Nb分别是编码顺序中的GOP内的未编码的剩余P图片和B图片的张数。并且，函数max(a、b)是输出变量a和b中的较大一方的值的函数。

进而，信息量控制部35使用校正信息量ΔT，调整针对在标准解码器缓存的占有量的下限值的控制开始时刻以后编码的图片的目标信息量，使得标准解码器缓存的占有量不会小于该下限值。即，在控制开始时刻之后对当前图片进行编码的情况下，信息量控制部35计算校正信息量ΔT。然后，如果当前图片为I图片，则信息量控制部35将从通过(5)式计算出的基本目标信息量Ti中减去校正信息量ΔT而得到的值作为针对当前图片的目标信息量T。并且，如果当前图片为P图片，则信息量控制部35将从基本目标信息量Tp中减去校正信息量ΔT而得到的值作为针对当前图片的目标信息量T。进而，如果当前图片为B图片，则信息量控制部35将从基本目标信息量Tb中减去校正信息量ΔT而得到的值作为针对当前图片的目标信息量T。

其中，优选校正信息量ΔT为与从标准解码器缓存中取出前一张被编码的图片时的下限值和从标准解码器缓存中取出当前图片时的下限值之差对应的值。例如，在通过(3)式求出下限值的情况下，通过下式计算校正信息量ΔT。

[数式6]

$\mathrm{\ΔT}=\frac{S_{t\arg \mathrm{et}}-L_{\mathrm{ini}}}{N_a}---\left(6\right)$

这里，S_target表示由收敛目标导出部24-m计算出的收敛目标值，L_ini表示初始设定下限值。并且，N_a是在从缓存上限/下限控制部34开始调整标准解码器缓存的占有量的下限值的控制开始时刻到结束调整该下限值的控制结束时刻为止的期间内编码的图片的张数。另外，信息量控制部35也可以将针对对其他图片的编码影响较大的I图片的校正信息量ΔT设定为0。该情况下，为了决定针对P图片和B图片的校正信息量ΔT，只要使(6)式中的N_a为在从控制开始时刻到控制结束时刻为止的期间内编码的P图片和B图片的张数的合计即可。

接着，信息量控制部35根据目标信息量T决定量化参数。因此，信息量控制部35计算对第j个宏块进行编码之前的标准解码器缓存的充足度d_ij、d_pj、d_bj。另外，充足度d_ij对应于I图片，充足度d_pj对应于P图片，充足度d_bj对应于B图片。根据下式计算该充足度d_ij、d_pj、d_bj。

[数式7]

$d_{\mathrm{ij}}=d_{i0}+B_{j-1}-\left(\frac{T_i\×(j-1)}{\mathrm{MBN}}\right)$

$d_{\mathrm{pj}}=d_{p0}+B_{j-1}-\left(\frac{T_p\×(j-1)}{\mathrm{MBN}}\right)---\left(7\right)$

$d_{\mathrm{bj}}=d_{b0}+B_{j-1}-\left(\frac{T_b\×(j-1)}{\mathrm{MBN}}\right)$

这里，B_j-1是通过对第1个到第(j-1)个的全部宏块进行编码而生成的比特数。MBN是图片所包含的宏块的数量。并且，d_i0、d_p0、d_b0是充足度的初始值。另外，关于特定图片，对最后宏块进行编码时的充足度d_iMBN、d_pMBN、d_bMBN成为针对下一个相同类型的图片的充足度的初始值d_i0、d_p0、d_b0。

最后，信息量控制部35使用该充足度d_ij、d_pj、d_bj，通过下式决定针对第j个宏块的量化参数。

[数式8]

$Q_j=\left(\frac{d_j\×31}{r}\right)$

$r=2\×\frac{\mathrm{bitrate}}{\mathrm{picturerate}}---\left(8\right)$

其中，如果当前图片为I图片，则d_j为d_ij，如果当前图片为P图片，则d_j为d_pj，如果当前图片为B图片，则d_j为d_bj。

信息量控制部35将求出的量化参数转交给正交转换/量化部32。并且，信息量控制部35向结合部25-m通知根据针对从可变长度编码部33受理的子比特流数据SBS_m所包含的各图片的实际编码比特数计算出的迁移时刻的、包含子比特流数据SBS_m的比特流数据BS的残留占有量。为了求出该残留占有量，信息量控制部35对从子比特流数据SBS_m开始蓄积在标准解码器缓存中后到对子比特流数据SBS_m的最后图片进行解码为止的期间长度，乘以最大传送比特率。然后，信息量控制部35从该乘法值中减去子比特流数据SBS_m所包含的全部图片的编码比特数的合计，由此，计算残留占有量。

结合部25-1、25-2、…、25-(n-1)分别按照再现的时间顺序，结合输入到结合部25-1、25-2、…、25-(n-1)中的2个子比特流数据。如图2所示，向结合部25-1输入从编码部23-1输出的子比特流数据SBS₁和从编码部23-2输出的子比特流数据SBS₂。然后，结合部25-1在子比特流数据SBS₁之后结合子比特流数据SBS₂。然后，结合部25-1输出结合成一个的子比特流数据。

并且，向结合部25-m(其中2≤m≤n-1)输入从结合部25-(m-1)输出的子比特流数据和从编码部23-(m+1)输出的子比特流数据SBS_m+1。然后，结合部25-m在从结合部25-(m-1)输出的子比特流数据之后结合子比特流数据SBS_m+1。然后，结合部25-m输出结合成一个的子比特流数据。然后，结合部25-(n-1)输出结合了全部由各编码部生成的子比特流数据后的比特流数据。该比特流数据是对处理部12取得的动态图像数据进行编码后的数据。

另外，结合部25-1、25-2、…、25-(n-1)具有相同的结构和功能，所以，以下对一个结合部25-m进行说明。

结合部25-m求出从编码部23-m的信息量控制部35通知的残留占有量S_r与从收敛目标导出部24-m受理的迁移时占有量S_tr之差ΔS_r。然后，如果该差ΔS_r不为0，则结合部25-m在从结合部25-(m-1)输出的子比特流数据与子比特流数据SBS_m+1之间，插入与该差ΔS_r相当的量的无效比特列。在对子比特流数据SBS_m的最后图片进行解码时，与相当于该最后图片的数据一起从标准解码器缓存中取出该无效比特列。因此，结合部25-m能够使迁移时刻的标准解码器缓存的占有量与迁移时占有量S_tr一致。另外，优选该无效比特列是不对要解码的图片的画质造成影响的比特列。例如，该无效比特列可以是在H.264MPEG-4AVC中规定的Network Abstraction Layer(NAL)格式的Filler数据。或者，该无效比特列可以是在MPEG-2中规定的填充字节。

图7是示出在迁移时刻中比特流数据在标准解码器缓存中占据的占有量的迁移与由结合部25-m结合后的子比特流数据的对应关系的图。在图7的上侧示出比特流数据701的概略结构。并且，在图7的下侧示出曲线710，该曲线710表示该比特流数据701在标准解码器缓存中占据的占有量的推移。关于下侧的曲线710，横轴表示时间，纵轴表示占有量。并且，时刻t_tr表示迁移时刻。

如图7所示，比特流数据701具有前侧的子比特流数据702和后侧的子比特流数据703。进而，比特流数据701在这2个子比特流数据之间具有无效比特列704。其中，在从标准解码器缓存中取出与前侧的子比特流数据702所包含的最后图片对应的有效数据705时，如曲线710所示，标准解码器缓存的占有量减少与该有效数据705相当的量S_v。在迁移时刻t_tr，与有效数据705一起从标准解码器缓存中取出无效比特列704，所以，标准解码器缓存的占有量进一步减少与无效比特列704相当的量ΔS_r。因此，在迁移时刻t_tr从标准解码器缓存中取出与前侧的子比特流数据702所包含的最后图片对应的有效数据705后的占有量，与后侧的子比特流数据703的迁移时占有量S_tr一致。

图8示出由在动态图像编码装置1的处理部12上执行的计算机程序控制的动态图像数据的编码处理的动作流程。

如图8所示，当处理部12取得作为编码对象的动态图像数据后，处理部12开始编码处理。然后，处理部12的分割部22将动态图像数据分割成n个子数据(步骤S101)。其中，n为2以上的整数，与编码部的个数相等。然后，分割部22按照再现的时间顺序，向各编码部23-m(1≤m≤n)输入各子数据。

并且，处理部12的收敛目标导出部24-k(1≤k≤n-1)分别计算从由编码部23-k生成的子比特流数据SBS_k向由编码部23-(k+1)生成的子比特流数据SBS_k+1迁移的迁移时刻的迁移时占有量和收敛目标值(步骤S102)。如上所述，该迁移时占有量是在迁移时刻子比特流数据SBS_k+1在标准解码器缓存中占据的占有量。进而，收敛目标值是在迁移时刻对子比特流数据SBS_k和子比特流数据SBS_k+1进行结合后的比特流数据BS在标准解码器缓存中占据的占有量的目标值。收敛目标导出部24-k向结合部25-k通知迁移时占有量。并且，收敛目标导出部24-k向处理部12的编码部23-k通知收敛目标值。

各编码部23-m(1≤m≤n)根据所通知的收敛目标值或由控制部21设定的标准解码器缓存的上限值和下限值，对所输入的子数据所包含的各图片进行编码。然后，各编码部23-m生成对子数据所包含的各图片进行编码后的子比特流数据(步骤S103)。此时，各编码部23-k(1≤k≤n-1)分别生成子比特流数据SBS_k，使得结合了所生成的子比特流数据SBS_k和SBS_k+1后的比特流数据在迁移时刻在标准解码器缓存中占据的残留占有量S_r接近收敛目标值。并且，编码部23-n生成子比特流数据SBS_n，使得子比特流数据SBS_n在标准解码器缓存中占据的占有量收敛于标准解码器缓存的最大允许值与最小允许值之间。然后，编码部23-1和编码部23-2向结合部25-1输出所生成的子比特流数据。并且，编码部23-m(3≤m≤n)向结合部25-(m-1)输出所生成的子比特流数据。

各结合部25-k(1≤k≤n-1)求出从编码部23-k的信息量控制部35通知的实际残留占有量S_r与从收敛目标导出部24-k受理的迁移时占有量S_tr之差ΔS_r(步骤S104)。然后，结合部25-k在从结合部25-(k-1)输出的子比特流数据与从编码部23-(k+1)受理的子比特流数据之间，插入与该差ΔS_r相当的量的无效比特列。然后，各结合部25-k对这2个子比特流数据进行结合(步骤S105)。

然后，全部结合部结束子比特流数据的结合，由此，生成对动态图像数据进行编码后的比特流数据。然后，处理部12结束动态图像编码处理。

图9示出由在动态图像编码装置1的处理部12上执行的计算机程序控制的各编码部23-k(1≤k≤n-1)进行的子数据的编码处理的动作流程。

如图9所示，编码部23-k的缓存上限/下限控制部34根据从收敛目标导出部24-k受理的收敛目标值，决定针对所输入的子数据的各图片的标准解码器缓存的上限值和下限值(步骤S201)。此时，缓存上限/下限控制部34以如下方式决定针对各图片的下限值，图片的位置越接近通过对所输入的子数据进行编码而得到的子比特流数据的末端，下限值越接近收敛目标值。并且，在上限值低于收敛目标值的情况下，缓存上限/下限控制部34修正针对各图片的上限值，以使该上限值高于收敛目标值。然后，缓存上限/下限控制部34向编码部23-k的信息量控制部35通知该上限值和下限值。

信息量控制部35决定与针对各图片的编码比特分配量对应的目标信息量(步骤S202)。此时，信息量控制部35将条件设为，对由编码部23-k生成的子比特流数据SBS_k和由编码部23-(k+1)生成的子比特流数据SBS_k+1进行结合后的比特流数据在标准解码器缓存中占据的占有量包含在该上限值与下限值之间。并且，信息量控制部35关于设定了与针对前一个被编码的图片的下限值不同的下限值的图片，计算与该下限值之差对应的校正信息量，从目标信息量中减去校正信息量，由此，对目标信息量进行校正(步骤S203)。然后，信息量控制部35根据该目标信息量，求出用于决定量化幅度的量化参数(步骤S204)。信息量控制部35向编码部23-k的正交转换/量化部32通知所求出的量化参数。

正交转换/量化部32针对所输入的子数据的各图片进行正交转换处理，求出频率信号。然后，正交转换/量化部32以根据从信息量控制部35通知的量化参数而决定的量化幅度，对该频率信号进行量化(步骤S205)。正交转换/量化部32将通过该量化处理而得到的量化信号转交给编码部23-k的可变长度编码部33。然后，可变长度编码部33针对从正交转换/量化部32受理的量化信号执行可变长度编码处理(步骤S206)。可变长度编码部33结合针对输入到编码部的子数据所包含的各图片而得到的编码比特列，由此，生成对该子数据进行编码后的子比特流数据(步骤S207)。然后，可变长度编码部33向对应的结合部输出所生成的子比特流数据(步骤S208)。并且，可变长度编码部33向信息量控制部35通知实际对所生成的子比特流数据的各图片分配的编码比特数(步骤S209)。然后，编码部23-k结束子数据的编码处理。

另外，在编码部23-n中，在上述步骤S201中，缓存上限/下限控制部34将标准解码器缓存的上限值和下限值分别设定为由控制部21决定的上限值和下限值本身。并且，省略上述步骤S203的处理。关于其他动作，编码部23-n与其他编码部同样动作。

另外，由动态图像编码装置1生成的比特流数据例如可以是以MPEG-2、MPEG-4或H.264MPEG-4AVC为基准的数据。因此，能够通过现有的动态图像解码装置对由动态图像编码装置1生成的比特流数据进行解码。

如以上说明的那样，该动态图像编码装置控制针对由结合部结合2个子比特流数据而生成的比特流数据中的前侧的子比特流数据的编码比特分配量。由此，该动态图像编码装置调整对前侧的子比特流数据的最后图片进行解码的迁移时刻、结合后的比特流数据在标准解码器缓存中占据的占有量。具体而言，动态图像编码装置使迁移时刻的结合后的比特流数据在标准解码器缓存中占据的占有量比在迁移时刻之前蓄积在标准解码器缓存中的后侧的子比特流数据占据的占有量高。进而，该动态图像编码装置在前侧的子比特流数据与后侧的子比特流数据之间，插入在对前侧的子比特流数据的最后图片进行解码时一并取出的无效比特列。由此，该动态图像编码装置能够消除迁移时刻的结合后的比特流数据在标准解码器缓存中占据的占有量与后侧的子比特流数据在标准解码器缓存中占据的占有量之差。因此，该动态图像编码装置不需要进行占有量的迁移的模拟，也不需要在临时对编码后的图片进行解码后再次进行编码，能够满足标准解码器缓存的规定。因此，该动态图像编码装置能够在短时间内对动态图像数据进行编码。进而，该动态图像编码装置逐渐修正结合后的比特流数据在标准解码器缓存中占据的占有量的下限值，所以，对该比特流数据所包含的各图片分配的编码比特数不会急剧减少。因此，该动态图像编码装置能够防止在动态图像数据全体中出现编码导致的画质劣化。

另外，本发明不限于上述实施方式。例如，该动态图像编码装置也可以以可变比特率对动态图像数据进行编码。该情况下，比特流数据在标准解码器缓存中占据的占有量不低于该占有量的最小允许值即可。因此，即使迁移时刻的比特流数据的残留占有量比迁移时刻之前蓄积在标准解码器缓存中的后侧的子比特流数据占据的占有量多，各结合器也可以不插入无效比特列。

并且，在动态图像编码装置按照规定的动态图像编码标准进行动作的情况下，根据该标准的种类，由结合部插入的无效比特列有时仅具有字节的整数倍的长度。另一方面，迁移时刻的对2个子比特流数据进行结合后的比特流数据在标准解码器缓存中占据的残留占有量与这2个子比特流数据中的后侧的子比特流数据占据的迁移时占有量之差为比特单位。因此，在该差不是字节的整数倍的情况下，即使结合部插入无效比特列，也无法使迁移时刻的残留占有量与迁移时占有量完全一致。因此，由于该无效比特列插入后的残留占有量与迁移时占有量的误差，比特流数据在标准解码器缓存中占据的占有量可能未收敛于标准解码器缓存的最大允许值与最小允许值之间。

因此，优选各编码部的缓存上限/下限控制部将迁移时刻的标准解码器缓存的下限值设定为比收敛目标值高规定的余量。并且，优选各编码部的缓存上限/下限控制部将标准解码器缓存的上限值设定为比标准解码器缓存的最大允许值低规定的余量。该规定的余量是与上述误差相当的量，例如可以是8比特。进而，优选各结合部从前一个结合器取得上述误差的合计，决定无效比特列的长度，使得在所取得的误差的合计中加上在该结合部中产生的误差而得到的值的绝对值始终在规定的余量以下。

该图像编码装置用于各种用途。例如，该图像编码装置组装在动态图像数据发布用服务器、影像传送装置、视频电话系统、计算机或便携电话机中。例如，在该图像编码装置组装在动态图像数据发布用服务器中的情况下，通过其处理部，与声音信号等的与动态图像数据同时取得的其他信号一起，将由该动态图像编码装置生成的编码后的动态图像数据转换为基于规定通信标准的数据流。然后，组装了图像编码装置的动态图像数据发布用服务器经由通信线路向动态图像解码装置发布该数据流。

并且，也可以以记录在计算机可读取的介质中的形式，提供使计算机实现该动态图像编码装置的处理部所具有的控制部、分割部、编码部、收敛目标导出部和结合部的各功能的计算机程序。

这里列举的全部例子和特定用语应该解释为，是以教示为目的的，用于帮助读者理解本发明和本发明人为推进该技术而提出的概念，不限于与表示本发明的优势和劣势有关的本说明书的任意例子的结构、以及这种特定的例子和条件。详细说明了本发明的实施方式，但是，希望理解到，在不脱离本发明的精神和范围的前提下能够对其进行各种变更、置换和修正。

Claims (8)

1.一种动态图像编码装置，其具有：

存储部，其存储至少包含第1子数据和第2子数据的动态图像数据，该第1子数据和第2子数据分别包含多个图片；

处理部，其通过对所述动态图像数据进行编码，生成数据量比该动态图像数据的数据量少的比特流数据；以及

输出部，其输出所述比特流数据，

所述处理部实现如下功能：

收敛目标导出功能，其决定第1占有量的目标值，使得在以规定的传送率向虚拟解码器传送所述比特流数据且蓄积在该解码器的缓存中、并以规定的时间间隔从所述缓存中依次取出所述比特流数据所包含的与各个图片相当的数据时，在从所述缓存中取出对所述第1子数据进行编码得到的第1子比特流数据所包含的与最后图片相当的数据的第1时点、所述比特流数据在所述缓存中占据的所述第1占有量为在该第1时点对所述第2子数据进行编码得到的第2子比特流数据在所述缓存中占据的第2占有量以上；

第1编码功能，其以使所述第1占有量成为所述目标值的方式，决定针对所述第1子数据所包含的各个图片的编码比特的分配量，根据该分配量对所述第1子数据进行编码，从而生成所述第1子比特流数据；

第2编码功能，其通过对所述第2子数据进行编码，生成所述第2子比特流数据；以及

结合功能，其通过对所述第1子比特流数据和所述第2子比特流数据进行结合，生成所述比特流数据。

2.根据权利要求1所述的动态图像编码装置，其中，

在所述结合功能中，在所述第1子比特流数据与所述第2子比特流数据之间，插入具有与从所述第1时点的所述第1占有量中减去所述第2占有量而得到的差相当的长度的比特列。

3.根据权利要求2所述的动态图像编码装置，其中，

所述比特列是在所述虚拟解码器中对所述第1子比特流数据所包含的最后图片进行解码时与相当于该最后图片的数据一起从所述缓存中取出、且不对该最后图片的解码造成影响的无效比特列。

4.根据权利要求1～3中的任一项所述的动态图像编码装置，其中，

所述第1编码功能具有：

占有量限制值决定功能，其在从所述缓存中取出所述第1子比特流数据所包含的与第1图片相当的数据时，增加所述比特流数据在所述缓存中占据的占有量的下限值，使得所述第1图片的位置越接近所述第1子比特流数据的最后，该下限值越接近所述目标值；以及

信息量控制功能，其在从所述缓存中取出所述第1图片时，以使所述比特流数据在所述缓存中占据的占有量为所述下限值以上的方式，决定针对所述第1图片的编码比特的分配量。

5.根据权利要求4所述的动态图像编码装置，其中，

在所述占有量限制值决定功能中，在所述虚拟缓存中蓄积了所述第1子比特流数据所包含的与第2图片相当的数据时，在所述比特流数据在所述虚拟缓存中占据的占有量的事先确定的上限值小于所述目标值的情况下，将该上限值修正为高于所述目标值。

6.根据权利要求4或5所述的动态图像编码装置，其中，

所述第1编码功能还具有：

量化功能，其分别针对所述第1子比特流数据所包含的多个图片，对与该图片的各像素对应的信号进行正交转换，从而生成频率信号，以所述编码比特的分配量越大、该频率信号越小的量化幅度，对所述频率信号进行量化；以及

可变长度编码功能，其通过对所述量化后的所述频率信号进行可变长度编码，生成所述第1子比特流数据，

在所述信息量控制功能中，从在第1下限值与第2下限值相等时对所述第1图片分配的编码比特的基本量中，减去相当于所述第1下限值与所述第2下限值之差的校正量，从而决定针对所述第1图片的所述编码比特的分配量，其中，所述第1下限值是针对所述第1子比特流数据所包含的所述第1图片的所述下限值，所述第2下限值是针对该第1图片的前一个被编码的图片的下限值。

7.一种动态图像编码方法，对至少包含分别包含有多个图片的第1子数据和第2子数据的动态图像数据进行编码，从而生成数据量比该动态图像数据的数据量少的比特流数据，其中，

决定第1占有量的目标值，使得在以规定的传送率向虚拟解码器传送所述比特流数据且蓄积在该解码器的缓存中、并以规定的时间间隔从所述缓存中依次取出所述比特流数据所包含的与各个图片相当的数据时，在从所述缓存中取出对所述第1子数据进行编码得到的第1子比特流数据所包含的与最后图片相当的数据的第1时点、所述比特流数据在所述缓存中占据的所述第1占有量为在该第1时点对所述第2子数据进行编码得到的第2子比特流数据在所述缓存中占据的第2占有量以上，

以使所述第1占有量成为所述目标值的方式，决定针对所述第1子数据所包含的各个图片的编码比特的分配量，根据该分配量对所述第1子数据进行编码，从而生成第1子比特流数据，

通过对所述第2子数据进行编码，生成第2子比特流数据，

通过对所述第1子比特流数据和所述第2子比特流数据进行结合，生成所述比特流数据。

8.一种动态图像编码用计算机程序，其对至少包含分别包含有多个图片的第1子数据和第2子数据的动态图像数据进行编码，从而使计算机生成数据量比该动态图像数据的数据量少的比特流数据，其中，

该动态图像编码用计算机程序具有使计算机执行如下步骤的命令：

决定第1占有量的目标值，使得在以规定的传送率向虚拟解码器传送所述比特流数据且蓄积在该解码器的缓存中、并以规定的时间间隔从所述缓存中依次取出所述比特流数据所包含的与各个图片相当的数据时，在从所述缓存中取出对所述第1子数据进行编码得到的第1子比特流数据所包含的与最后图片相当的数据的第1时点、所述比特流数据在所述缓存中占据的所述第1占有量为在该第1时点对所述第2子数据进行编码得到的第2子比特流数据在所述缓存中占据的第2占有量以上，

以使所述第1占有量成为所述目标值的方式，决定针对所述第1子数据所包含的各个图片的编码比特的分配量，根据该分配量对所述第1子数据进行编码，从而生成第1子比特流数据，

通过对所述第2子数据进行编码，生成第2子比特流数据，

通过对所述第1子比特流数据和所述第2子比特流数据进行结合，生成所述比特流数据。

Images