CN101960858A - 运动图像编码装置、摄像装置以及运动图像编码方法 - Google Patents

Abstract

在进行帧间预测编码的运动图像编码装置中，削减伴随着图像尺寸的扩大而造成的参考图像的存储器流量的增大。具有：编码联动完全解码方式参考图像生成部，与编码联动地在需要时随时生成需要的参考图像；以及多帧并行处理方式帧间预测编码部，并行地对多个帧进行编码。据此，由于无需将参考图像作为图像预先存储在存储器中，因此能够大幅削减存储器容量与存储器流量，由于一次对多个帧并行地进行编码，因此能够抑制编码联动完全解码方式参考图像生成部中的解码处理量，并进一步削减存储器流量。

Description

运动图像编码装置、摄像装置以及运动图像编码方法

技术领域

本发明涉及用于对运动图像进行压缩并编码的运动图像编码装置、包括该装置的摄像装置以及运动图像编码方法。

背景技术

近年来，在摄像机(ビデオム一ビ一)之外，数字静态照相机(デジタルスチルカメラ)和带照相机的手机广泛普及，逐渐能够简便地处理图像。与静止画面相比，数据量多的运动画面也因压缩技术的进步而变得易于处理，不仅是现有的摄像机，数字静态照相机和带照相机的手机也能够处理运动画面。运动画面的压缩通常使用利用了帧间相关性的帧间预测编码来提高压缩率，为此需要预先存储至少一帧的图像作为参考用图像(以下记为参考图像)。另外，为了高效地进行帧间预测编码，需要检测出图像的运动，与此相应进行运动补偿，即检测出图像的相关性最高的部分并进行编码，但这样会导致对参考图像的存取增加。在数字静态照相机和带照相机的手机这样小型的便携设备中，这种对参考图像的存取的增加逐渐成为严重的问题。

图9是作为包括运动图像编码装置的摄像装置的例子而准备的数字静态照相机的结构图。

在图9中，801为CCD等图像传感器，802为驱动图像传感器801的定时脉冲发生器(TG，Timing Generator)，803为对图像传感器801的输出信号进行模拟处理的模拟前端(AFE，Analog Front End)，804为将模拟信号转换为数字信号的AD转换器，805为照相机图像处理装置。照相机图像处理装置805由照相机信号处理部806、运动图像编码部807a、显示部808、存储卡控制部809、存储器控制器810以及CPU811构成。812为SDRAM等存储器，813为存储卡。此外，照相机图像处理装置805一般由一个半导体芯片(LSI)构成。

从图像传感器801输出的信号通过AFE803以及AD转换器804被转换为数字信号，该数字信号由照相机图像处理装置805的照相机信号处理部806转换为亮度信号和颜色信号，为了压缩数据量而由运动图像编码部807a进行编码。编码后的数据通过存储卡控制部809被保存到外部的存储卡813等中。另外，通过显示部808显示图像。照相机信号处理部806、运动图像编码部807a、显示部808等通过存储器控制器810将需要的数据存储在存储器812中来进行处理。CPU811对上述所有处理进行控制。

图10示出所述数字静态照相机的运动图像编码部807a所采用的现有例的运动图像编码装置的结构。

在图10中，来自于照相机信号处理部806的输入图像通过存储器控制器810被存储到存储器812的输入图像缓冲区域901中。通常，运动图像编码处理以称为宏块的矩形小区域为单位进行处理。输入图像被存储直到其数据完整。另外，在帧间预测编码中，有时会参考未来的帧来进行预测，此时为使输入图像的编码顺序与输入帧的时刻顺序不同，需要进行一帧以上的存储。

接着，在帧间预测编码部902中，通过获得具有时间相关性的参考图像的差分从而压缩数据量。此时，按照图像的运动检测出相关性最高的地方从而提高压缩效率。这称为运动补偿。因此，根据存储在存储器812中的参考图像，将规定的区域输入到参考图像缓冲器903，通过运动矢量搜索部904，使用参考图像缓冲器903内的图像和输入图像，来进行运动矢量搜索。运动矢量搜索使用公知的块匹配法等来进行。当通过运动矢量搜索部904确定出运动矢量后，据此在预测图像生成部905中生成预测图像。当运动矢量的精度为整数精度时，预测图像为参考图像的部分截取，当运动矢量的精度为小数精度时，通过规定的滤波处理来生成插值图像。接着，在差分图像生成部906中，生成预测图像与输入图像的差分图像。

接着，在帧内编码部907中，对差分图像进行帧内编码。在帧内编码中，首先在DCT(离散余弦变换，Discrete Cosine Transform)部908中，将图像数据转换为频率分量。这是因为转换为频率分量能够使图像成为易于压缩的形式。一般而言，图像的高频分量即使与原来的图像相比有所变化，人类也难以感知。因此，将图像转换为频率分量，在量化部909中进行量化来削减数据量。最后，在可变长编码部910中进行可变长编码。可变长编码是对出现频率高的数据分配短代码从而削减代码量的编码方式。一般使用哈夫曼(ハフマン)编码或算术编码。

接着，通过参考图像生成部911，生成下一帧以后的输入帧的预测编码所用的参考图像。由于参考图像也用于解码装置中的解码，因此对编码数据进行解码来生成参考图像，而由于可变长编码为可逆编码，因此对进行到量化的代码进行解码来生成参考图像。即，由逆量化部912进行逆量化，由逆DCT部913进行逆DCT来对差分图像进行解码，最后，通过图像加法部914加上预测图像来生成被解码的图像作为参考图像。参考图像经由存储器控制器810被存储到存储器812的参考图像缓冲区域915中。此外，生成的编码数据经由存储器控制器810被存储到存储器812的编码数据缓冲区域916中。

这样一来，在现有的运动图像编码装置中，为了执行帧间预测编码，需要将至少一帧的图像数据作为参考图像预先存储到存储器812中。今后，预计处理的图像尺寸会更大，在处理HDTV级别的运动图像时，为存储参考图像所需的存储器的增加，以及，对存储器进行写入和读出的存储器流量的增大，在实现数码相机这样要求小型且低功耗的便携设备时，逐渐成为严重的问题。

迄今为止，为了降低参考图像的存储器容量和存储器流量，提出了几个方案。

在专利文献1中，提出了通过阿达玛变换来压缩参考图像的方法。在专利文献2中，不将参考图像作为图像预先存储，而是通过对已编码图像的编码数据进行解码，从而在仅对需要的参考图像区域进行编码时随时获得参考图像，以便削减存储参考图像的存储器及其存储器流量。

专利文献1：日本专利第3568392号公报

专利文献2：日本特开2003-070000号公报

在专利文献1中，存在如下问题，即阿达玛变换为非可逆压缩，如果对参考图像实施该变换，会发生与解码装置侧的失配，从而损害画质。在专利文献1中，为了减轻该问题而进行如下处理，即部分削减编码数据的AC系数并去除高频分量，但是会导致图像的分辨率下降。

在专利文献2中，虽然不会发生失配，但是为了对参考图像进行解码，需要对包含最初进行帧间预测编码的帧在内的编码中使用的所有帧进行解码，因此在每帧的编码中，要进行预测次数的多次解码处理，存在解码处理量变得庞大的问题。因此，需要为了实现而抑制预测次数等的制约，导致编码效率下降。

发明内容

有鉴于此，本发明的目的在于解决有关运动图像编码中帧间预测编码的参考图像存取增加的问题。

本发明是一种利用运动图像的帧间相关性进行压缩的运动图像编码装置，包括：输入图像缓冲器，存储连续的多个输入帧；多帧并行处理方式帧间预测编码部，对所述输入图像缓冲器内的多个输入帧，同时并行地进行帧间预测编码处理；编码数据缓冲器，存储编码后的多个帧的编码数据；以及编码联动完全解码方式参考图像生成部，从所述编码数据缓冲器读出对参考图像进行解码所需的所有帧的编码数据，与所述帧间预测编码处理同时并行地对所述所有的编码数据进行解码，从而在需要时生成所述帧间预测编码处理所需的区域的参考图像。

所述多帧并行处理方式帧间预测编码部还可以包括：多个图像编码部，同时并行地实施多个帧的帧间预测编码，以及编码用参考图像缓冲器，存储从所述编码联动完全解码方式参考图像生成部输出的为所述图像编码部使用而所需的区域的参考图像。

另外，所述多帧并行处理方式帧间预测编码部还可以包括：多个图像编码部，同时并行地实施多个帧的帧间预测编码；编码用参考图像缓冲器，存储从所述编码联动完全解码方式参考图像生成部输出的为所述图像编码部使用而所需的区域的参考图像；局部解码部，为将输入帧作为参考图像使用而对所述图像编码部的输出进行解码并生成参考图像；以及局部解码参考图像缓冲器，用于存储由所述局部解码部生成的参考图像。

所述编码联动完全解码方式参考图像生成部还可以包括：多个图像解码部，读入对参考图像进行解码所需的所有帧的编码数据，同时并行地实施所述所有帧的解码；以及多个解码用参考图像缓冲器，存储为所述图像解码部使用而所需的参考图像。

所述多帧并行处理方式帧间预测编码部的所述图像编码部还可以包括：至少一个I/P图像编码部，对仅能实施帧内编码的I(Intra)图像或能实施前向预测帧间预测编码的P(Predictive)图像进行编码；以及多个B图像编码部，对能实施双向预测帧间预测编码的B(Bidirectionally predictive)图像进行编码。

另外，至少所述多帧并行处理方式帧间预测编码部与所述编码联动完全解码方式参考图像生成部可以在一个半导体芯片(LSI)内构成。

优选地，本发明的摄像装置包括上述运动图像编码装置，为数字静态照相机、摄像机、带照相机的手机或监控照相机的任一种。

本发明是一种运动图像编码方法，利用运动图像的时间相关性进行压缩，因而包括：参考图像生成步骤，生成与输入帧具有相关性的图像作为参考图像；以及帧间预测编码步骤，根据输入帧与所述参考图像进行所谓的帧间预测编码，输出编码数据，所述参考图像生成步骤包括：编码数据存储步骤，存储所述帧间预测编码步骤输出的代码；以及参考图像解码步骤，对为了解码由所述编码数据存储步骤存储的参考图像而所需的所有的编码数据进行解码，从而生成参考图像，所述帧间预测编码步骤包括：输入图像存储步骤，存储连续的多个输入帧；以及多个帧间预测编码步骤，对由所述输入图像存储步骤存储的多个输入帧，同时并行地进行帧间预测编码。

根据本发明，通过与编码联动地在需要时随时生成需要的参考图像的编码联动完全解码方式参考图像生成部，无需将参考图像作为图像预先存储在存储器中，能够大幅削减存储器容量与存储器流量。进而，通过对多个帧并行进行编码的多帧并行处理方式帧间预测编码部，一次对多个帧进行编码，因此无需以一帧为单位来进行编码联动完全解码方式参考图像生成部中的解码处理，能够抑制因预测次数的增加而造成的解码处理的增加，即便使预测次数增加至充分必要的次数，在现实的电路规模中也易于实现。加之，由于对于多个帧，编码联动完全解码方式参考图像生成部中的编码数据读入只进行一次即可，因此存储器流量也进一步减少。所以，能够实现要求小型且低功耗的数字静态照相机、带照相机的手机等运动图像编码装置的进一步的低功耗化、抑制功率增大、及处理HDTV级别的运动图像等的性能强化。

根据本发明，由于从编码数据缓冲器中，通过编码联动完全解码方式参考图像生成部来生成参考图像，从而无需将参考图像作为图像存储在存储器中，因此能够大幅削减参考图像用存储器及其存储器流量，并且通过多帧并行处理方式帧间预测编码部，能够同时对多个输入帧进行编码，因此不用每次针对每一帧进行编码联动完全解码方式参考图像生成部中的多个帧的解码，由于对于多个帧一并仅进行一次，所以能够削减每一帧的处理量，即便使预测次数增加至充分必要的次数，也易于实现。

附图说明

图1是本发明的实施方式的摄像装置的结构图；

图2是图1的摄像装置所包括的运动图像编码装置的结构图；

图3是本发明的实施方式的I/P图像编码部与局部解码部的结构图；

图4是本发明的实施方式的P图像解码部的结构图；

图5A是按照时刻顺序表示本发明的实施方式的运动图像编码装置所处理的GOP的例子的图；

图5B是按照编码处理顺序表示本发明的实施方式的运动图像编码装置所处理的GOP的例子的图；

图6是本发明的实施方式中的图5A、图5B的GOP的例子的处理内容的说明图；

图7是本发明的实施方式的更详细的处理内容的说明图；

图8是本发明的实施方式的参考图像缓冲器的存储内容的说明图；

图9是包括运动图像编码装置的数字静态照相机的结构图；

图10是现有例的运动图像编码装置的结构图。

符号说明

101 多帧并行处理方式帧间预测编码部

102 编码联动完全解码方式参考图像生成部

103 输入图像缓冲区域

104 编码数据缓冲区域

105 I/P图像编码部

106 第一B图像编码部

107 第二B图像编码部

108 第一编码用参考图像缓冲器

109 局部解码部

110 局部解码参考图像缓冲器

111 第二编码用参考图像缓冲器

112 I图像解码部

113 第一P图像解码部

114 第二P图像解码部

115 第三P图像解码部

116 第一解码用参考图像缓冲器

117 第二解码用参考图像缓冲器

118 第三解码用参考图像缓冲器

119 选择器

具体实施方式

下面根据图1～8，对本发明的实施方式进行说明。

首先，图5A、图5B示出进行帧间预测编码时各帧间的参考关系的例子。这是被称为图像组(GOP，Group of pictures)的进行帧间预测编码的多个帧的汇总单位，以使用了运动图象专家组(MPEG，Moving Picture coding Experts Group)所制定的运动图像编码标准MPEG-2的DVD等中可见到的一般形式为例。I为帧内图像(Intra picture)，仅进行帧内的编码，不参考任何帧，是GOP内的所有帧的原始图像。P为前向预测图像(Predictive picture)，以时间上过去的帧为参考图像，根据该参考图像预测并进行编码。B为双向预测图像(Bidirectionally predictive picture)，以过去和未来的帧为参考图像。为使B图像参考未来的帧，实际的帧的时刻关系与编码顺序不同。图5A为时刻顺序，图5B为编码处理顺序。

首先，I1被编码。如前所述这不需要参考图像。接着，在时刻上位于I1的过去的B1、B2以I1为参考图像被预测编码。为了使说明简单，这个例子的GOP在被称为封闭GOP(Closed GOP)的一个GOP内完成编码，而不需要其他的GOP。因此，B1、B2仅根据本GOP的I1被预测编码。接着，P1根据I1被预测编码。然后，以I1和P1为参考图像，双向预测图像B3、B4被预测编码。接着，P2以P1为参考图像被预测编码，之后以P1和P2为参考图像的B5、B6被预测编码。接着，同样地，P3根据P2被预测编码，之后B7和B8根据P2和P3被预测编码。进而，同样地，P4根据P3被预测编码，之后B9和B10根据P3和P4被预测编码。

下面，使用图1和图2对本发明的实施方式进行说明。图1是本发明的实施方式所述的、例如由数字静态照相机构成的摄像装置的结构图，对与上述图9对应的部分标注相同的参考符号，省略其说明。

图2是构成图1的摄像装置的运动图像编码部807的本发明的实施方式所述的运动图像编码装置的结构图，对与上述图10对应的部分标注相同的参考符号。

本实施方式的运动图像编码装置大致由两个部分构成。一个是多帧并行处理方式帧间预测编码部101，另一个是编码联动完全解码方式参考图像生成部102。由上述多帧并行处理方式帧间预测编码部101与编码联动完全解码方式参考图像生成部102构成的运动图像编码部807在一个半导体芯片(LSI)内构成。

多帧并行处理方式帧间预测编码部101用于并行地实施多个帧的编码，花费多个帧期间来输出多个帧的编码数据。为了并行地将多个帧输入到多帧并行处理方式帧间预测编码部101，在存储器812内设置有输入图像缓冲区域103。输入图像缓冲区域103中暂时存储有连续的多个输入帧，多个帧被并行输出到多帧并行处理方式帧间预测编码部101。此外，通常存储器812与存储器控制器810由不同芯片(LSI)构成，由于难以将两者的物理性连接设置多个，因此实际上以较小的数据单位来分割图像帧，按顺序发送不同帧的数据，从而实现并行化。

编码联动完全解码方式参考图像生成部102与编码联动地随时生成编码所需的参考图像。因此，不需要用于如现有技术那样预先存储一个帧的参考图像的上述图10所示的参考图像缓冲区域915。为了与编码联动地随时生成参考图像，根据编码数据，对生成对象的参考图像的编码所使用的所有帧进行解码，从而生成参考图像。因此，将需要的所有帧的编码数据存储到存储器812内的编码数据缓冲区域104中。如此，为了生成参考图像读入编码数据即可，无需如现有的运动图像编码装置那样读入图像，因此存储器流量大幅减少。

下面，对多帧并行处理方式帧间预测编码部101的内部结构进行说明。本实施方式实现前述的图5A、图5B所示的GOP结构的最优化，并行处理连续的一个I图像与两个B图像、或者一个P图像与两个B图像进行处理。即，最初并行处理图5A、图5B中的I1、B1、B2，接着并行处理P1、B3、B4，以下同样地并行处理一个P与两个B。为此，多帧并行处理方式帧间预测编码部101包括：I/P图像编码部105，对一个I图像或P图像进行编码；以及两个B图像编码部，即第一B图像编码部106和第二B图像编码部107。另外包括：第一编码用参考图像缓冲器108，从编码联动完全解码方式参考图像生成部102获得并预先存储对P图像进行编码所需的参考图像。为使B图像将由I/P图像编码部105进行编码的P图像作为后向预测用参考图像来使用，多帧并行处理方式帧间预测编码部101包括：局部解码部109，从I/P图像编码部105获得直到可逆压缩工序之前的编码过程中的数据，并进行局部解码；以及局部解码参考图像缓冲器110，为将由局部解码部109解码的图像作为参考图像来使用而将其预先存储。另外，B图像与P图像同样，将从编码联动完全解码方式参考图像生成部102获得的参考图像用于前向预测，但由于编码的时序必然在P图像之后，因此多帧并行处理方式帧间预测编码部101包括：第二编码用参考图像缓冲器111，用于预先存储该参考图像直到被编码为止。

下面，对编码联动完全解码方式参考图像生成部102的内部结构例进行说明。同样考虑与图5A、图5B的GOP结构对应。后面会详细叙述，在图5A、图5B的GOP结构中，在最后阶段并行对P4、B9、B10进行编码。为此需要生成P3作为参考图像。即，需要对I1、P1、P2、P3进行解码。为此，编码联动完全解码方式参考图像生成部102包括：一个I图像解码部112；以及三个P图像解码部，即第一P图像解码部113、第二P图像解码部114、第三P图像解码部115。另外包括：作为存储对三个P图像进行解码所需的参考图像的三个解码用参考图像缓冲器，即第一解码用参考图像缓冲器116、第二解码用参考图像缓冲器117、第三解码用参考图像缓冲器118。此外，选择器119用于选择多帧并行处理方式帧间预测编码部101所需的参考图像。例如，在图5A、图5B的GOP结构中，最初仅对I1进行解码即可，因此仅I图像解码部112动作，向多帧并行处理方式帧间预测编码部101输出据此获得的参考图像。

下面，进一步对各结构单元的内部结构进行说明。首先，对多帧并行处理方式帧间预测编码部101内的各结构单元的内部结构进行说明。图3是I/P图像编码部105和局部解码部109的结构图。基本上与上述图10的现有例相同。因此，各结构单元标注与现有例相同的参考符号，省略详细说明。同样，B图像编码部106、107也是与现有技术相同的结构，与I/P图像编码部105是基本上相同的结构。参考图像仅在输入前向预测用与后向预测用的2个帧这点上有所不同。

下面，对编码联动完全解码方式参考图像生成部102的各结构单元的内部结构进行说明。图4是P图像解码部113～115的结构图。大致分为两部分，即由帧内解码部301与帧间预测解码部302构成。帧内解码部301进一步由可变长代码解码部303、逆量化部304以及逆DCT部305构成。据此进行帧内的解码，获得进行了帧间预测编码的帧间预测编码图像。

接着，通过帧间预测解码部302对所述帧间预测编码图像进行解码。帧间预测解码部302由根据参考图像生成预测图像的预测图像生成部306，以及对预测图像与帧间预测编码图像进行加法运算而获得解码的P图像的图像加法部307构成。另外，为了根据参考图像生成预测图像，从可变长代码解码部303向预测图像生成部306发送运动矢量。此外，I图像解码部仅具有帧内解码部，仅在帧内解码部完成I图像的解码。

下面，对本实施方式的运动图像编码装置的动作进行说明。图6是示出进行图5A、图5B所示的GOP的编码时，图2所示的各结构单元进行的处理的时序图。具体而言，图6示出：输入图像帧、I图像解码部112、第一P图像解码部113、第二图像解码部114、第三图像解码部115、I/P图像编码部105、局部解码部109、第一B图像编码部106、第二B图像编码部107以及处理量。

在本实施方式中，由于并行地对三个帧进行编码，因此由将三个帧的处理汇总为一个的五个阶段构成。

在第一阶段，I1、B1、B2被并行编码。首先，由I/P图像编码部105对I1进行编码。然后，当进行规定量的编码后，由局部解码部109对B1、B2的编码所需的参考图像进行解码，并存储到局部解码参考图像缓冲器110中。然后，使用存储到局部解码参考图像缓冲器110中的参考图像，由第一B图像编码部106对B1进行编码，由第二B图像编码部107对B2进行编码。

在第二阶段，P1、B3、B4被并行编码。首先，由I图像解码部112对I1进行解码，生成对P1进行编码所需的参考图像。生成的编码所需的参考图像通过选择器119被发送到多帧并行处理方式帧间预测编码部101，并被存储到第一编码用参考图像缓冲器108中。接着，由I/P图像编码部105对P1进行编码。然后，当与I1同样进行规定量的编码后，由局部解码部109对B3、B4的编码所需的参考图像进行解码，并存储到局部解码参考图像缓冲器110中。另一方面，存储到第一编码用参考图像缓冲器108中的参考图像被发送到第二编码用参考图像缓冲器111。该参考图像是B图像的前向编码所需的，但由于B图像的编码在P1的编码之后进行，因此该参考图像是为了填补该时间差而被存储的。然后，使用存储到局部解码参考图像缓冲器110和第二编码用参考图像缓冲器111中的参考图像，由第一B图像编码部106对B3进行编码，由第二B图像编码部107对B4进行编码。

在第三阶段，P2、B5、B6被并行编码。首先，由I图像解码部112再次对I1进行解码，生成对P1进行解码所需的参考图像，并存储到第一解码用参考图像缓冲器116中。接着，由第一P图像解码部113使用存储到第一解码用参考图像缓冲器116中的参考图像对P1进行解码，生成编码所需的参考图像。生成的编码所需的参考图像通过选择器119被发送到多帧并行处理方式帧间预测编码部101，并被存储到第一编码用参考图像缓冲器108中。接着，由I/P图像编码部105对P2进行编码。然后，当与P1的编码时同样进行规定量的编码后，由局部解码部109对B5、B6的编码所需的参考图像进行解码，并存储到局部解码参考图像缓冲器110中。另一方面，存储到第一编码用参考图像缓冲器108中的参考图像被发送到第二编码用参考图像缓冲器111。然后，与B3和B4的编码时同样，使用存储到局部解码参考图像缓冲器110和第二编码用参考图像缓冲器111中的参考图像，由第一B图像编码部106对B5进行编码，由第二B图像编码部107对B6进行编码。

在第四阶段，P3、B7、B8被并行编码。首先，由I图像解码部112再次对I 1进行解码，生成对P1进行解码所需的参考图像，并存储到第一解码用参考图像缓冲器116中。接着，由第一P图像解码部113使用存储到第一解码用参考图像缓冲器116中的参考图像对P1进行解码，生成对P2进行解码所需的参考图像，并存储到第二解码用参考图像缓冲器117中。接着，由第二P图像解码部114使用存储到第二解码用参考图像缓冲器117中的参考图像对P2进行解码，生成编码所需的参考图像。生成的编码所需的参考图像通过选择器119被发送到多帧并行处理方式帧间预测编码部101，并被存储到第一编码用参考图像缓冲器108中。接着，由I/P图像编码部105对P3进行编码。然后，当与P2的编码时同样进行规定量的编码后，由局部解码部109对B7、B8的编码所需的参考图像进行解码，并存储到局部解码参考图像缓冲器110中。另一方面，存储到第一编码用参考图像缓冲器108中的参考图像被发送到第二编码用参考图像缓冲器111。然后，与B5和B6的编码时同样，使用存储到局部解码参考图像缓冲器110和第二编码用参考图像缓冲器111中的参考图像，由第一B图像编码部106对B7进行编码，由第二B图像编码部107对B8进行编码。

在第五阶段，P4、B9、B10被并行编码。首先，由I图像解码部112对I1进行解码，生成对P1进行解码所需的参考图像，并存储到第一解码用参考图像缓冲器116中。接着，由第一P图像解码部113使用存储到第一解码用参考图像缓冲器116中的参考图像对P1进行解码，生成对P2进行解码所需的参考图像，并存储到第二解码用参考图像缓冲器117中。接着，由第二P图像解码部114使用存储到第二解码用参考图像缓冲器117中的参考图像对P2进行解码，生成对P3进行解码所需的参考图像，并存储到第三解码用参考图像缓冲器118中。接着，由第三P图像解码部115使用存储到第三解码用参考图像缓冲器118中的参考图像对P3进行解码，生成编码所需的参考图像。生成的编码所需的参考图像通过选择器119被发送到多帧并行处理方式帧间预测编码部101，并被存储到第一编码用参考图像缓冲器108中。接着，由I/P图像编码部105对P4进行编码。然后，当与P3的编码时同样进行规定量的编码后，由局部解码部109对B9、B10的编码所需的参考图像进行解码，并存储到局部解码参考图像缓冲器110中。另一方面，存储到第一编码用参考图像缓冲器108中的参考图像被发送到第二编码用参考图像缓冲器111。然后，与B7和B8的编码时同样，使用存储到局部解码参考图像缓冲器110和第二编码用参考图像缓冲器111中的参考图像，由第一B图像编码部106对B9进行编码，由第二B图像编码部107对B10进行编码。

另外，在最下方示出各阶段的处理量。在处理量最大的第五阶段，在三个帧的期间中，对三个帧进行编码、对五个帧进行解码。在通常的处理中，在一个帧的期间中，对一个帧进行编码、对一个帧进行解码，因此与通常处理相比较，虽然处理量在编码中相同，在解码中为5/3倍，整体为4/3倍，但并不是难以实现的程度。

下面，以更细的时间尺度对动作进行说明。对处理最多的第五阶段进行说明。图7是以宏块行为单位示出第五阶段的动作的时序图。具体而言，是示出I图像解码部112的I1解码、第一解码用参考图像缓冲器116、第一P图像解码部113的P1解码、第二解码用参考图像缓冲器117、第二P图像解码部114的P2解码、第三解码用参考图像缓冲器118、第三P图像解码部115的P3解码、第一编码用参考图像缓冲器108、第二编码用参考图像缓冲器111、I/P图像编码部105的P4编码、局部解码部109的P4解码、局部编码参考图像缓冲器110、第一B图像编码部106的B9编码、第二B图像编码部107的B10编码的时序图。

宏块行是指作为编码的基本单位的宏块沿水平方向在整个被编码的帧内排满，为了进行运动补偿预测编码，需要准备垂直方向的运动补偿范围部分的宏块行作为参考图像。图8示出上述内容。在图8的例子中，将用于运动补偿的运动矢量搜索范围设为水平方向±32像素(两个宏块部分)、垂直方向±16像素(一个宏块部分)。因此，运动搜索范围内的宏块为水平五个、垂直三个，该区域的参考图像需要在运动矢量搜索的处理过程中保存。由图8判断需要将至少两个宏块行+水平搜索区域部分的参考图像保存在参考图像缓冲器内。

以上述为前提对图7进行说明。T1～T7表示处理一个宏块行的期间。首先，由I图像解码部112对I1进行解码，生成对P1进行解码所需的参考图像。P1的第一个宏块行的解码需要I1的第一个宏块行和第二个宏块行的图像作为参考图像。即，在T1期间，I1的第一个宏块行被解码，在T2期间，当第二个宏块行的水平方向的运动补偿部分被解码后，可以开始对第一P图像解码部113中的P1的第一个宏块行进行解码。由于图7以宏块行为单位来表记时间，因此I1的第二个宏块行的解码与P1的第一个宏块行的解码在相同期间T2实施。此外，在第一解码用参考图像缓冲器116内，存储有在I1的第一个宏块行和第二个宏块行中进行运动补偿所需的区域。接着，P1的第二个宏块行的解码需要I1的第一个宏块行到第三个宏块行的图像作为参考图像。在T2期间中I1的第二个宏块行的解码之后，接着在T3期间，当第三个宏块行的水平方向的运动补偿部分被解码后，可以开始对P1的第二个宏块行进行解码，I1的第三个宏块行的解码与P1的第二个宏块行的解码在相同期间T3实施。另外，在第一解码用参考图像缓冲器116内，存储有在I1的第一个宏块行到第三个宏块行中进行运动补偿所需的区域。以下，同样地对P1的第三个以后的宏块行进行解码。

接着，由第二P图像解码部114对P2进行解码。与P1的解码同样，P2的第一个宏块行的解码需要P1的第一个宏块行和第二个宏块行的图像。即，在T2期间，P1的第一个宏块行被解码，在T3期间，当第二个宏块行的水平方向的运动补偿部分被解码后，可以开始对第二P图像解码部114中的P2的第一个宏块行进行解码，P1的第二个宏块行的解码与P2的第一个宏块行的解码在相同期间T3实施。另外，在第二解码用参考图像缓冲器117内，存储有在P1的第一个宏块行和第二个宏块行中进行运动补偿所需的区域。接着，P2的第二个宏块行的解码需要P1的第一个宏块行到第三个宏块行的图像。在T4期间，当第三个宏块行的水平方向的运动补偿部分被解码后，可以开始对P2的第二个宏块行进行解码，P1的第三个宏块行的解码与P2的第二个宏块行的解码在相同期间T4实施。另外，在第二解码用参考图像缓冲器117内，存储有在P1的第一个宏块行到第三个宏块行中进行运动补偿所需的区域。以下，同样地对P2的第三个以后的宏块行进行解码。

接着，由第三P图像解码部115对P3进行解码。与P2的解码同样，P3的第一个宏块行的解码需要P2的第一个宏块行和第二个宏块行的图像作为参考图像。即，在T3期间，P2的第一个宏块行被解码，在T4期间，当第二个宏块行的水平方向的运动补偿部分被解码后，可以开始对第三P图像解码部115中的P3的第一个宏块行进行解码，P2的第二个宏块行的解码与P3的第一个宏块行的解码在相同期间T4实施。另外，在第三解码用参考图像缓冲器118内，存储有在P2的第一个宏块行和第二个宏块行中进行运动补偿所需的区域。接着，P3的第二个宏块行的解码需要P2的第一个宏块行到第三个宏块行的图像。在T5期间，当第三个宏块行的水平方向的运动补偿部分被解码后，可以开始对P3的第二个宏块行进行解码，P2的第三个宏块行的解码与P3的第二个宏块行的解码在相同期间T5实施。另外，在第三解码用参考图像缓冲器118内，存储有在P2的第一个宏块行到第三个宏块行中进行运动补偿所需的区域。以下，同样地对P3的第三个以后的宏块行进行解码。此外，由第三P图像解码部115解码的P3的图像被存储到第一编码用参考图像缓冲器108中。

接着，由I/P图像编码部105对P4进行编码。在T4期间，P3的第一个宏块行被解码，当在T5期间中第二个宏块行的水平方向的运动补偿部分被解码，并被存储到第一编码用参考图像缓冲器108中后，在I/P图像编码部105中，可以开始对P4的第一个宏块行进行编码。即，在T5期间，对P4的第一个宏块行进行编码。接着，在T6期间，当第三个宏块行的水平方向的运动补偿部分被解码后，可以开始对P4的第二个宏块行进行编码，P3的第三个宏块行的解码与P4的第二个宏块行的解码在相同期间T6实施。

接着，通过由局部解码部109对P4进行解码从而生成用于B9和B10的后向预测编码的参考图像。即，在相同期间T5中对P4的第一个宏块行进行解码，生成用于B9和B10的后向预测编码的参考图像的第一个宏块行。同样在T6期间，对P4的第二个宏块行进行解码。这些参考图像被存储到局部解码参考图像缓冲器110中。

接着，由第一B图像编码部106和第二B图像编码部107分别对B9和B10进行编码。B9和B10的第一个宏块行的编码需要P3的第一个宏块行和第二个宏块行的图像作为前向预测用的参考图像，并需要P4的第一个宏块行和第二个宏块行的图像作为后向预测用的参考图像。如前所述，在T5期间，P4的第一个宏块行被解码，当在T6期间中P4的第二个宏块行的水平方向的运动补偿部分被解码，并被存储到局部解码参考图像缓冲器110中后，可以开始对B9和B10的第一个宏块行进行后向预测编码。为了在相同期间T6中进行前向预测编码，存储到第一编码用参考图像缓冲器108中的作为前向预测编码用参考图像的P3的图像被转送到第二编码用参考图像缓冲器111中。第二编码用参考图像缓冲器111存储第一编码用参考图像缓冲器108的1T前的内容。即，在T6期间中，在第二编码用参考图像缓冲器111中存储有P3的第一个宏块行和第二个宏块行的图像作为前向预测用的参考图像，在局部解码参考图像缓冲器110中存储有P4的第一个宏块行和第二个宏块行的图像作为后向预测用的参考图像。而且，由第一B图像编码部106和第二B图像编码部107在T6期间内使用两者分别对B9和B10进行编码。接着，同样地对B9和B10的第二个宏块行进行编码。第二个宏块行的编码需要P3的第一个到第三个宏块行的图像作为前向预测用的参考图像，并需要P4的第一个到第三个宏块行的图像作为后向预测用的参考图像。在T7期间中，P3的第一个到第三个宏块行的图像被存储到第二编码用参考图像缓冲器111中，P4的第一个到第三个宏块行的图像被存储到局部解码参考图像缓冲器110中，由第一B图像编码部106和第二B图像编码部107分别对B9和B10的第二个宏块行进行编码。以下，同样地对B9和B10的第三个以后的宏块行进行编码。

这样，在本实施方式中，具有一个宏块行的时间差并依次进行解码和编码。此外，当垂直方向的运动补偿范围进一步扩大时，应存储到缓冲器中的参考图像增加，各解码和编码的时间差也扩大。

另外，在本实施方式中编码的并行数为3，仅对一个P图像进行编码，但在不脱离本发明的思想、主要特长的范围内可以施加变形或扩展来实施诸如进一步增加并行数，或与多个P图像对应等。

本发明作为要求小型且低功耗的数字静态照相机、摄像机、带照相机的手机、监控照相机等摄像装置中的运动图像编码装置等是有用的。

Claims (9)

1.一种运动图像编码装置，利用运动图像的帧间相关性进行压缩，包括：

输入图像缓冲器，存储连续的多个输入帧；

多帧并行处理方式帧间预测编码部，对所述输入图像缓冲器内的多个输入帧，同时并行地进行帧间预测编码处理；

编码数据缓冲器，存储编码后的多个帧的编码数据；以及

编码联动完全解码方式参考图像生成部，从所述编码数据缓冲器读出对参考图像进行解码所需的所有帧的编码数据，与所述帧间预测编码处理同时并行地对所述所有的编码数据进行解码，从而在需要时生成所述帧间预测编码处理所需的区域的参考图像。

2.根据权利要求1所述的运动图像编码装置，所述多帧并行处理方式帧间预测编码部包括：

多个图像编码部，同时并行地实施多个帧的帧间预测编码；以及

编码用参考图像缓冲器，存储从所述编码联动完全解码方式参考图像生成部输出的为所述图像编码部使用而所需的区域的参考图像。

3.根据权利要求1所述的运动图像编码装置，所述多帧并行处理方式帧间预测编码部包括：

多个图像编码部，同时并行地实施多个帧的帧间预测编码；

编码用参考图像缓冲器，存储从所述编码联动完全解码方式参考图像生成部输出的为所述图像编码部使用而所需的区域的参考图像；

局部解码部，为将输入帧作为参考图像使用而对所述图像编码部的输出进行解码并生成参考图像；以及

局部解码参考图像缓冲器，用于存储由所述局部解码部生成的参考图像。

4.根据权利要求1所述的运动图像编码装置，所述编码联动完全解码方式参考图像生成部包括：

多个图像解码部，读入对参考图像进行解码所需的所有帧的编码数据，同时并行地实施所述所有帧的解码；以及

多个解码用参考图像缓冲器，存储为所述图像解码部使用而所需的参考图像。

5.根据权利要求2或3所述的运动图像编码装置，所述多帧并行处理方式帧间预测编码部的所述图像编码部包括：

至少一个I/P图像编码部，对仅能实施帧内编码的帧内I图像或能实施前向预测帧间预测编码的前向预测P图像进行编码；以及

多个B图像编码部，对能实施双向预测帧间预测编码的双向预测B图像进行编码。

6.根据权利要求1所述的运动图像编码装置，至少所述多帧并行处理方式帧间预测编码部与所述编码联动完全解码方式参考图像生成部在一个半导体芯片LSI内构成。

7.一种摄像装置，包括权利要求1、2、3、4或6的任一项所述的运动图像编码装置。

8.根据权利要求7所述的摄像装置，该摄像装置为数字静态照相机、摄像机、带照相机的手机或监控照相机的任一种。

9.一种运动图像编码方法，利用运动图像的时间相关性进行压缩，因而包括：参考图像生成步骤，生成与输入帧具有相关性的图像作为参考图像；以及帧间预测编码步骤，根据输入帧与所述参考图像进行所谓的帧间预测编码，输出编码数据，

所述参考图像生成步骤包括：编码数据存储步骤，存储所述帧间预测编码步骤输出的代码；以及参考图像解码步骤，对为了解码由所述编码数据存储步骤存储的参考图像而所需的所有的编码数据进行解码，从而生成参考图像，

所述帧间预测编码步骤包括：输入图像存储步骤，存储连续的多个输入帧；以及多个帧间预测编码步骤，对由所述输入图像存储步骤存储的多个输入帧，同时并行地进行帧间预测编码。

Images