CN101184238A - 编码装置及编码方法 - Google Patents

Abstract

本发明涉及编码装置及编码方法。根据本发明能够抑制编码效率的下降，并且能够降低编码处理中的计算处理量。本发明的编码方法具有以下的步骤：根据规定的参照帧的图像生成预测图像数据的步骤；根据该预测图像数据与所述输入图像数据中的一个帧的图像数据的差分生成差分图像数据的步骤；对该差分图像数据进行离散余弦变换处理与量子化处理，生成编码图像数据的步骤；对该编码图像数据进行可变长度编码处理，生成编码流的步骤；和判定所述参照帧与所述一个帧的图像的相关，进行决定是否将所述一个帧作为新的参照帧的参照帧更新判定处理的步骤。

Description

编码装置及编码方法

技术领域

本发明是涉及动态图像的编码技术。

背景技术

在根据参照图像生成预测图像，并用于动态图像编码的编码技术中，已知的有决定是否从参照图像存储器删除图像的日本特开2006-217180号公报。

然而，在现有技术中，在对于变动少的影像进行画面间预测的情况下，在经常以时间最近的图像作为参照帧的情况下，存在有在参照帧的更新处理中计算量的浪费过多的问题。

而且，在相对于变动大的影像将在时间上分离的图像作为参照帧的情况下，存在有编码效率大幅度下降的问题。

发明内容

本发明是鉴于上述问题而提出的，其目的在于抑制编码效率的下降，同时降低编码处理中的计算处理量。

本发明的一个实施方式，具有以下的步骤：根据规定的参照帧的图像生成预测图像数据的步骤；根据该预测图像数据与上述输入图像数据中的一个帧的图像数据的差分生成差分图像数据的步骤；对该差分图像数据进行离散余弦变换处理与量子化处理，生成编码图像数据的步骤；对该编码图像数据进行可变长度编码处理，生成编码流的步骤；和判定上述参照帧与上述一个帧的图像的相关，进行决定是否将上述一个帧作为新的参照帧的参照帧更新判定处理的步骤。

根据上述结构，能够通过控制参照帧的更新处理的有无，来抑制编码效率的下降，同时降低编码处理中的计算处理量。

根据本发明，能够抑制编码效率的下降，同时降低编码处理中的计算处理量。

本发明的其它特征、目的与优点，可以通过附图以及实施方式得到进一步的理解。

附图说明

图1是本发明的一个实施例中图像编码装置的一例的方框图。

图2是本发明的一个实施例中参照帧更新判定处理部的一例的方框图。

图3是本发明的一个实施例中图像编码装置的一例的方框图。

图4是本发明的一个实施例中参照帧更新判定处理部的一例的方框图。

图5(a)是现有技术的图像编码方法的说明图。

图5(b)是本发明的一个实施例中图像编码方法的一例的说明图。

图6(a)是现有技术的图像编码方法的说明图。

图6(b)是本发明的一个实施例中图像编码方法的一例的说明图。

图6(c)是本发明的一个实施例中图像编码方法的一例的说明图。

图6(d)是本发明的一个实施例中图像编码方法的一例的说明图。

图6(e)是本发明的一个实施例中图像编码方法的一例的说明图。

图7是本发明的一个实施例中图像编码处理流程的一例的说明图。

图8是本发明的一个实施例中图像编码处理流程的一例的说明图。

图9(a)是本发明的一个实施例中图像编码处理的一例的说明图。

图9(b)是本发明的一个实施例中参照帧与编码对象帧的关系的一例的说明图。

图10是本发明的一个实施例中图像编码处理的一例的说明图。

具体实施方式

下面的实施方式仅是为了实施本发明的具体化的例子，并不能由此对本发明的技术范围进行限定性的解释。就是说，本发明在不脱离其技术思想、或其主要特征的前提下，能够以各种形式进行实施。

下面，参照附图详细说明本发明的实施方式。

而且，在各图中，赋予同样的符号的结构要素都具有共同功能。

而且，本说明书的各项记载及各图中的“更新处理”或“参照帧更新处理”的表现形式，是指在保持参照图像数据的存储器、存储部等中，将成为对象的图像数据作为参照图像数据而进行存储、保持与保存。在这种情况下，与至此以前存储器、存储部中所保持着的参照图像数据的废弃、删除无关。

另外，本说明书的各项记载及各图中的所谓“I画面(picture)”，是指不参照其它帧而进行编码的帧。

另外，本说明书的各项记载及各图中的所谓“P画面”，是指参照比该编码对象帧在时间上靠前的帧而进行编码的帧。即所谓“P画面”，是指通过前方向预测而进行编码的帧。

另外，本说明书的各项记载及各图中的所谓“B画面”，是指参照比该编码对象帧在时间上靠前的帧及在时间上靠后的帧而进行编码的帧。即所谓“B画面”，是指通过双向预测而进行编码的帧。

另外，本说明书的各项记载及各图中单纯记述“下一帧”的情况，是指时间上紧随其后的帧。

[实施例1]

首先，参照附图对本发明的实施例1加以说明。图5(a)与图5(b)表示动态图像数据中包含的多个帧，是分别表示现有的编码处理动作的一例与本发明的实施例1的编码处理动作的一例的图。各帧中记载有画面类型。而图中所示箭头是表示编码时的预测关系。箭头的始点的帧作为参照图像，箭头的终点表示生成用于进行帧编码的预测图像。此外，如图5(a)与图5(b)所示，本发明的实施例1中所涉及的画面结构是I画面与P画面，不利用B画面。

使用图5(a)的帧(501)～(507)，对现有技术中经常以与编码对象图像在时间上最近的图像作为参照帧的情况加以说明。此时，P画面全部参照前一个的图像，即帧(501)是被下一帧(502)所参照，(502)则是被下一帧(503)所参照。在这种情况下，各画面中，在进行编码处理之后有必要进行参照帧的更新处理。因此，更新处理的次数多，更新处理的处理量也多。特别是在编码对象的图像是变动少的场面，例如在帧(501)～(503)为止的图像几乎没有变化等的情况下，即使是以帧(502)、帧(503)作为新的参照图像，也需要更新处理的处理量，但编码效率却几乎没有变化。因此，在这样的情况下，计算处理量尚有降低的余地。

因此，在本实施例中，通过对应于动态图像的性质而判断是否需要参照帧的更新处理，能够抑制编码效率的下降，同时降低编码处理中的计算处理量。

以图5(b)的帧(508)～(514)为例，对该方法进行说明。首先，由于帧(508)是最初的帧，所以作为I画面，不参照其它帧而进行编码。接着，以帧(509)作为P画面，参照其前面毗邻的帧(508)而进行编码。接着，判定编码对象帧(509)与参照帧(508)的相关性。在判断了相关性高的情况下，即帧间变动变化少的情况下，判断更新参照帧的效果少，不进行更新处理。在这种情况下，下一帧(510)与帧(509)利用相同的参照帧(508)而进行编码。对于帧(510)，也在编码处理后对编码对象帧(510)与参照帧(508)的相关性进行判定。使用相同的参照帧(508)进行该编码处理，直至判定编码对象帧与参照帧的相关性低。例如，参照帧(508)对帧(512)进行编码的结果，判定与参照帧的相关性低。在这种情况下，进行对于帧(512)的参照帧的更新处理，对于从此以后的帧(513)及帧(514)，参照帧(512)进行编码。

根据以上的处理，由于减少了参照帧的更新处理，所以能够降低编码中所必要的处理量。例如，在图5(a)的现有技术的编码处理中，进行帧(502)、帧(503)、帧(504)、帧(505)、帧(506)、及帧(507)的各自的编码处理后的合计6次的参照帧的更新处理。与此相对，在图5(b)的从帧(508)到帧(514)的编码处理中，参照帧的更新处理仅帧(512)的编码处理后的一次。

如果使用以上的说明的方法，则使用参照帧与编码对象帧的相关性而进行参照帧的更新处理的判定。由此，能够降低更新处理的次数。

而且，使用上述说明的图5(b)所示的编码处理方法的一例，生成编码流，即如图5(b)所示，生成下述有特征的编码流，其至少存在有一组以上的、以同一帧(例如，图5(b)的帧(508))作为参照帧在时间上连续的2个P画面(例如图5(b)的帧(509)与帧(510))。

而且，使用以上说明的图5(b)所示的编码处理方法的一例，生成编码流，即如图5(b)所示，生成下述有特征的编码流，在从其它帧进行前方预测的规定的参照帧(例如图5(b)的帧(508))与不是其它画面参照帧的多个P画面的帧(例如图5(b)的帧(509)、帧(510)、帧(511))，从该参照帧是时间上连续的情况下，该多个P画面的帧都是参照所述规定的参照帧而进行编码。

而且，此时，在该多个P画面的帧(例如图5(b)的帧(509)、帧(510)、帧(511))的时间上紧随其后的帧(例如图5(b)的帧(512))是P画面的帧的情况下，该P画面的帧，生成参照所述规定的参照帧(例如图5(b)的帧(508))的有特征的编码流。

此外，关于相关性的判定方法，后面将进行详细的叙述。

接着，使用图1对本实施例的动态图像编码装置的一例加以说明。这里，在图1的结构中，进行使用画面类型是I画面与P画面的画面所构成的画面结构的编码。

动态图像编码装置(100)，例如，包括：保持所输入的图像数据的输入图像存储器(101)；对输入图像数据按照块单位进行画面内预测或画面间预测，生成预测图像数据的预测图像生成部(102)；通过预测图像数据与输入图像数据的差分计算而生成差分图像数据的减法器(109)；对差分图像数据进行频率变换及量子化处理与编码处理的编码处理部(103)；根据记号的发生概率而有效地进行编码的可变长度编码部(104)；决定是否更新参照帧的参照帧更新判定处理部(105)；对被编码后的差分图像数据实施逆量子化处理及逆直行变换(逆直行变换)从而进行译码的译码处理部(106)；对被译码后的差分图像数据与预测图像数据进行合成而生成参照图像数据的加法器(110)；保持所生成的参照图像数据的参照图像存储器(107)；连接参照帧更新判定处理部(105)与译码处理部(106)之间的开关部(108)；以及控制动态图像编码装置(100)的各构成要素的控制部(150)。这里，所谓块是将图像分割为小区域后的块。而且，可变长度编码部(104)也被称为输出编码流的输出部。

输入图像存储器(101)保持输入图像数据，并将其发送到预测图像生成部(102)。预测图像生成部(102)将输入图像分割为规定尺寸的块，对每个块从预先设定的编码模式中选择预测效率最高的编码模式。就是说，处理输入图像的一部分。接着，按照所选择的编码模式生成预测图像数据。这里，所谓编码模式，是指预测方法及块尺寸、像素的扫描方法等，能够以块单位进行切换的编码方法的组合。

而且，根据编码模式，取得参照图像存储器(107)所保持的参照帧的参照图像数据或其一部分。接着，使用所取得的数据生成预测图像数据。预测图像生成部(102)将生成的预测图像数据发送到减法器(109)、及加法器(110)。

接着，减法器(109)进行输入图像数据或其一部分图像数据与预测图像数据的像素单位的差分计算，生成差分图像数据。减法器(109)将生成的差分图像数据发送到编码处理部(103)及参照帧更新判定处理部(105)。编码处理部(103)对取得的差分图像数据进行DCT(Discrete Cosine Transformation：离散余弦变换)处理及量子化处理。而且，将处理后的编码图像数据发送到可变长度编码处理部(104)、参照帧更新判定处理部(105)及开关部(108)。进而，可变长度编码处理部(104)基于记号的发生概率，对编码图像数据进行可变长度编码，生成编码流，向动态图像编码装置(100)的外部输出。可变长度编码处理部(104)将编码流也发送到参照帧更新判定处理部(105)。在参照帧更新判定处理部(105)中，根据取得的差分图像数据、编码图像数据或编码流等，判定编码对象帧的画面类型。在画面类型是P画面的情况下，进而计算编码对象图像中的预测误差值或发生编码量。而且，例如使用预先确定的固定判定基准、统计判定基准或局部判定基准，判定编码对象图像与参照帧的相关性。参照帧更新判定处理部(105)利用画面类型判定或相关判定的结果，将开关开闭控制信号发送到开关部(108)。此时，参照帧更新判定处理部(105)在判定了画面类型是I画面的情况下，及画面类型是P画面且相关性低的情况下，发送开关的关闭信号。而且，参照帧更新判定处理部(105)在判定了画面类型是P画面且相关性高的情况下，发送开关的打开信号。

在从参照帧更新判定处理部(105)发送了开关的关闭信号的情况下，开关部(108)关闭开关，将编码图像数据发送到译码处理部(106)。译码处理部(106)对取得的编码图像数据或编码流按照块单位进行逆量子化处理及IDCT(Inverse DCT：逆离散余弦变换)处理，译码为差分图像数据，发送到加法器(110)。接着，加法器(110)对从译码处理部(106)取得的差分图像数据与从预测图像生成部(102)取得的预测图像数据进行合成，生成参照图像帧的图像数据。接着，加法器(110)将该参照图像数据发送到参照图像存储器(107)，参照图像存储器(107)存储参照图像数据。所存储的参照图像数据根据需要而使用于预测图像生成部(102)的预测图像生成处理。

在从参照帧更新判定处理部(105)发送了开关的打开信号的情况下，开关部(108)打开开关，不向译码处理部(106)发送编码图像数据。由此，以后的处理也不发生。

此外，在图1的动态图像编码装置100的说明中，减法器(109)将差分图像数据发送到参照帧更新判定处理部(105)。而且，编码处理部(103)将编码图像数据发送到参照帧更新判定处理部(105)。而且，可变长度编码处理部(104)将编码流发送到参照帧更新判定处理部(105)。这里，向参照帧更新判定处理部(105)发送的数据并非全部必须。参照帧更新判定处理部(105)的判定处理中所使用的数据，是任意的一个数据即可。由此，只要输入任意的一个数据即可。因此，在这种情况下，将其它数据发送到参照帧更新判定处理部(105)的结构是没有必要的。

根据以上说明的动态图像编码装置(100)，能够提供能根据编码对象图像与参照帧的相关性而选择参照图像数据的生成及存储的有无的动态图像编码装置。

图2是详细表示参照帧更新判定处理部(105)的一例的图。参照帧更新判定处理部(105)例如具有以下部件：从控制部(150)取得画面类型信息，判定编码对象帧的画面类型的画面类型判定部(210)；计算编码对象图像中的预测误差值的预测误差值计算部(201)；计算在对编码对象图像进行编码时发生的编码量的发生编码量计算部(202)；对是否更新参照帧进行判定的更新判定处理部(203)；用于保存预先确定的固定判定基准信息的固定判定基准存储器(209)；用于保存编码对象图像与参照帧之间的相关中的统计判定基准信息的统计判定基准存储器(204)；用于保存帧间的局部判定基准信息的局部判定基准存储器(205)；对统计判定基准存储器(204)中存储的统计判定基准信息进行变更的统计判定基准更新部(206)；以及对局部判定基准存储器(205)中存储的局部判定基准信息进行变更的局部判定基准更新部(207)。

画面类型判定部(210)基于从控制部(150)取得的画面类型信息，对输入于参照帧更新判定处理部(105)的编码对象帧的画面类型进行判定。在编码对象帧的画面类型是I画面的情况下，画面类型判定部(210)，向开关部(108)发送开关的关闭信号，作为开关开闭控制信号。而且，在编码对象帧的画面类型是P画面的情况下，向预测误差值计算部(201)发送差分图像数据，向发生编码量计算部(202)发送编码图像数据或编码流。这里，从控制部(150)所取得的画面类型信息，例如是由控制部(150)根据编码图像数据或编码流在存储器上的始点及终点的地址等进行判断的。

接着，预测误差值计算部(201)对于从减法器(109)输入的差分图像数据的各成分，计算其大小，以帧单位将其合计值作为预测误差值而计算出。发生编码量计算部(202)使用从可变长度编码处理部(104)取得的编码流或从编码处理部(103)取得的编码图像数据，计算对对象帧进行编码时所发生的编码量。

进而，由更新判定处理部(203)，使用固定判定基准存储器(209)中保存的预先确定的固定判定基准信息、局部判定基准存储器(205)中保存的局部判定基准信息，或统计判定基准存储器(204)中保存的统计判定基准信息，进行编码对象图像与参照帧之间的相关的判定处理。

这里，对本实施例中分别使用固定判定基准信息、局部判定基准信息、统计判定基准信息的各判定方法进行说明。在判定方法的说明中再次使用图5(b)。图5(b)的帧(508)～帧(514)，为了说明而设定为Xi、Yij的名称。这里，名称为Xi的帧，是作为结果经第i次的更新处理而成为参照帧的帧。而名称为Yij的帧，是以参照帧Xi作为参照帧的第k个帧。就是说，例如如图5(b)所示，参照帧X1(508)以后的帧(509)、帧(510)、帧(511)，分别是以参照帧Xi(508)作为参照帧的第1、第2、第3个帧。由此，名称分别为帧Y11(509)、帧Y12(510)、帧Y13(511)。参照帧X2(512)与帧Y21(513)及帧Y22(514)也是与上述同样的关系。

首先，作为第一判定方法的例子，对使用固定判定基准的信息的判定方法加以说明。这里，在第一判定方法中，例如，对编码对象帧Yij的参数与预先决定的规定数据进行比较，进行参照帧的更新的判定。例如，使用下述的公式1进行判定。

(公式1)

SAD(Yij)≤α  或者FB(Yij)≤β

公式中，SAD(Yij)表示编码对象帧Yij的预测误差和。这里，所谓预测误差和，是指以帧为单位对图像内各块中的预测误差进行加和计算的结果。该预测误差，例如由图2的预测误差值计算部(201)所计算。而且，FB(Yij)表示编码对象帧Yij的发生编码量。这里该发生编码量，例如由图2的发生编码量计算部(202)所计算。而α与β是常数，都是正值。

这里，本判定方法的例子中使用的所谓固定判定基准信息，例如是指α、β等信息。固定判定基准信息，例如，可以是进行编码效率的测验等，预先设定，保存于固定判定基准存储器(209)中。

而且，公式1的右边称为固定判定基准的判定基准值，左边称为判定对象计算值。

这里，本判定方法中满足公式1，是判定为参照帧Xi与编码对象帧Yij的相关性高。SAD(Yij)与FB(Yij)超过规定的量而不满足公式1，是判定为该相关性低。

例如，在使用第一判定方法的情况下，在图2的参照帧更新判定处理部(105)中，更新判定处理部(203)，在判定处理时从固定判定基准存储器(209)取得固定判定基准信息α或β。而此时的更新判定处理部(203)，分别从预测误差值计算部(201)或发生编码量计算部(202)取得关于编码对象帧的参数SAD(Yij)或FB(Yij)。由此，更新判定处理部(203)能够进行公式1的判定处理。

这里，更新判定处理部(203)在判定了公式1不成立的情况下，判定参照帧Xi与编码对象帧Yij的相关性低。而且，向开关部(108)发送开关的关闭信号。由此，开关部(108)将从编码处理部(103)发送来的编码对象帧Yij的编码图像数据发送到译码处理部(106)。编码对象帧Yij的编码图像数据由加法器(110)进行与编码对象帧Yij的预测图像数据的加法计算处理。加法计算处理后的数据，作为新的参照图像数据而保存于参照图像存储器(107)，参照帧的更新处理结束。由此，结果，编码对象帧Yij，成为新的参照帧Xk(这里k＝i+1)。

这里，在更新判定处理部(203)判定了公式1成立的情况下，更新判定处理部(203)向开关部(108)发送开关的打开信号。接收了该信号的开关部(108)打开开关，不进行参照帧的更新处理，能够降低更新处理的次数。

通过进行以上的使用固定判定基准信息的判定处理，例如，在判断了编码对象帧与现在的参照帧的相关比预先确定的规定基准低的情况下，能够进行参照帧的更新处理。

例如，在切换为相关性低的场面的情况下，或者在输入图像从变动少的场面向变动多的场面切换的帧等中，编码对象帧Yij的预测误差和SAD(Yij)、编码对象帧Yij的发生编码量FB(Yij)的值增大。在这样的情况下，如果预先设定α或β，使得公式1不满足，则进行参照帧的更新处理。但是，其后在输入图像成为变动小的场面的情况下，SAD(Yij)或FB(Yij)不超过α或β，能够抑制参照帧的更新处理的发生。由此，能够降低更新处理中所需要的计算处理量。而且，由于通过使用固定判定基准信息的判定处理，对编码量的增大也有限制，所以能够抑制编码效率的下降。由此，通过进行使用了固定判定基准信息的参照帧的更新判定处理，能够抑制编码效率的下降，同时能够降低编码处理中的计算处理量。

接着，作为第二判定方法的例子，对使用局部判定基准信息的判定方法加以说明。这里，在第二判定方法中，例如，将编码对象帧Yij的参数与参照帧为帧Xi的下一帧的帧Yi1的参数进行比较，对参照帧的更新进行判定。

在使用局部判定基准信息的判定处理的一例中，例如使用下述的公式2进行判定。

(公式2)

SAD(Yij)≤SAD(Yi1)×γ或者FB(Yij)≤FB(Yi1)×δ

公式中，SAD(Yij)表示编码对象帧Yij的预测误差和，SAD(Yi1)表示参照帧为帧Xi的下一帧的帧Yi1的预测误差和。而且，FB(Yij)是表示编码对象帧Yij的发生编码量，FB(Yi1)是表示参照帧为帧Xi的下一帧的帧Yi1的发生编码量。而γ与δ是常数。

这里，本实施例中使用的所谓局部判定基准信息，例如是指SAD(Yi1)、FB(Yi1)、γ、δ等信息。就是说，是指关于公式1中编码对象帧的参数(公式1中的SAD(Yij)、FB(Yij))以外的参数。

而且，公式2的右边称为局部判定基准的判定基准值，左边称为判定对象计算值。

这里，在图2的参照帧更新判定处理部(105)中，该局部判定基准信息保持于局部判定基准存储器(205)。而且，更新判定处理部(203)在判定处理时从局部判定基准存储器(205)取得该局部判定基准信息。而此时更新判定处理部(203)分别从预测误差值计算部(201)或发生编码量计算部(202)取得关于编码对象帧的参数SAD(Yij)或FB(Yij)。由此，更新判定处理部(203)能够进行公式2的判定处理。

在更新判定处理部(203)判定了公式2不成立的情况下，即在判定了参照帧Xi与编码对象帧Yij的相关不满足局部判定基准的情况下的参照帧的更新处理，与判定了公式1不成立时是同样的。结果是，将新的参照图像Xk(这里k＝i+1)的数据保存于参照图像存储器(107)。

而且，现在的参照图像成为新的参照图像Xk，由此，紧接着的后面编码对象帧Yk1的预测误差和或发生编码量，成为新的局部判定基准信息的一个。由此，局部判定基准更新部(207)，从更新判定处理部(203)取得该帧Yk1的预测误差和或发生编码量，存储于局部判定基准存储器(205)。该帧Yk1的预测误差和或发生编码量在以后的判定处理中使用。

这里，更新判定处理部(203)在判定了公式2成立的情况下的处理，也与判定了公式1不成立时同样。在这种情况下，不进行参照帧的更新处理，能够降低更新处理的次数。

通过以上使用局部判定基准信息的判定处理，例如，编码对象帧与现在的参照帧的相关，和现在的参照帧与该参照帧后面毗邻的帧的相关进行比较，在相关变差的情况下，能够进行参照帧的更新处理。

例如，在输入图像是变动少的场面等的情况下，如果抑制参照帧的更新处理，则随着编码对象帧与现在的参照帧在时间上的分离，相关降低。就是说，编码对象帧Yij的预测误差和SAD(Yij)及编码对象帧Yij的发生编码量FB(Yij)的值会逐渐增大。如果使用本判定方法，以参照帧Xi的下一帧Yi1的参数为基准，能够决定参照帧的更新处理的有无。

这里，在相关满足以参照帧的下一帧为基准的局部判定基准期间，抑制参照帧的更新处理。而且，在相关不满足局部判定基准时，进行参照帧的更新处理。由此，通过进行使用了局部判定基准的参照帧的更新判定处理，能够抑制编码效率的下降，同时能够降低编码处理中的计算处理量。

而且，与第一判定方法不同，在第二判定方法中，由于判定基准没有固定，所以能够进一步根据输入的图像而判定其相关性。例如，即使是如在第一判定方法中那样不容易预先决定有效的固定判定基准信息(α或β)等绝对值的情况，也可以使用第二判定方法。就是说，设定以参照帧的下一帧的参数为基准的、相对的局部判定基准即可。

这里，在公式1的右边，虽然对帧Yi1的参数乘以一个常数，但这仅是一例，右边也可以是以Yi1的参数作为变量的函数。例如，以Yi1的参数作为变量，可以是计算出其平均值，也可以是计算出其加权和。而且，也可以是根据多个Yi1的参数的分布，统计地计算出的平均值、中值、出现频率最高值(最频度)等。在任何一种情况下，通过进行使用公式2的判定处理，都能够抑制编码效率的下降，同时能够降低编码处理中的计算处理量。

接着，作为第三判定方法的例子，对使用统计判定基准信息的判定方法加以说明。这里，在第三判定方法中，例如与编码对象帧Yij的参数相比较的数据，是根据多个帧的参数计算出的数据。这里，作为与编码对象帧Yij的参数相比较的数据的一例，列举比编码对象帧Yij的参照帧Xi在时间上靠前的参照帧(过去的参照帧)Xm(m＜i)后方毗邻的帧Ym1的参数。就是说，在使用本实施例的统计判定基准信息的判定处理中，使得m从a变化至b(a＜b＜i)，将以多个帧Ya1～Yb1的参数作为变量的统计函数作为统计判定基准信息而进行使用。

(公式3)

$\mathrm{SAD}\left(\mathrm{Yij}\right)\≤\stackrel{\‾}{\mathrm{SAD}}\left(\mathrm{ab}\right)\×\mathrm{\ϵ}$ 或者 $\mathrm{FB}\left(\mathrm{Yij}\right)\≤\stackrel{\‾}{\mathrm{FB}}\left(\mathrm{ab}\right)\×\mathrm{\ζ}$

公式中，SAD(Yij)与FB(Yij)是与公式1公式2同样的编码对象图像的参数。而且，例如

表示多个帧Ya1～Yb1的预测误差和的平均值，

表示多个帧Ya1～Yb1的发生编码量的平均值。ε与ζ表示常数。

这里，本实施例中使用的所谓统计判定基准信息，例如是指

ε、ζ等信息。就是说，是指公式2中关于编码对象帧的参数(公式3中的SAD(Yij)及FB(Yij))以外的参数。

而且，公式3的右边称为统计判定基准的判定基准值，左边称为判定对象计算值。

这里，在图2的参照帧更新判定处理部(105)中，该统计判定基准信息保存于统计判定基准存储器(204)。而且，更新判定处理部(203)在判定处理时从统计判定基准存储器(204)取得该统计判定基准信息。而且，此时，更新判定处理部(203)分别从预测误差值计算部(201)或发生编码量计算部(202)取得关于编码对象帧的参数SAD(Yij)或FB(Yij))。由此，更新判定处理部(203)能够进行公式3的判定处理。

在更新判定处理部(203)判定公式3不成立，并判定了编码对象帧Yij的参数不满足统计判定基准的情况下的参照帧的更新处理，与判定了公式1不成立时同样。结果是，将新的参照图像Xk(这里k＝i+1)的数据保存于参照图像存储器(107)。

这里，更新判定处理部(203)在判定了公式3成立的情况下的处理，也与判定了公式1不成立时同样。在这种情况下，不进行参照帧的更新处理，就能够降低更新处理的次数。

而且，在统计判定基准信息中，使用过去的参照图像的参数。由此，例如，连接于新的参照图像Xk的编码对象帧Yk1的参数(例如预测误差和或发生编码量)，也成为使用于以后的统计判定基准信息中的参数的一个。由此，统计判定基准更新部(206)从更新判定处理部(203)取得该帧Yk1的预测误差和或发生编码量，存储于统计判定基准存储器(204)。该帧Yk1的预测误差和或发生编码量，在以后的判定处理中使用。

这里，对在参照帧的更新判定处理中使用统计判定基准信息的优点加以说明。

首先，对于使用通过第一判定方法预先确定的固定判定基准信息，进行参照帧的更新处理的情况在前面已经进行了叙述。但是，固定判定基准信息α及β等值的适当的值，会因输入图像的种类而不同。因此，如果使用第三判定方法，参照帧的更新处理的判定基准，就能够根据连接至编码对象帧的多个帧Ym1的参数而变化。就是说，能够根据连接至编码对象帧的一定期间的场面的输入图像的图像变动而确定参照帧的更新处理的判定基准。例如，在输入图像从变动少的场面向变动多的场面切换的情况下，切换为变动多的场面之后的各帧中的预测误差和或发生编码量，与输入图像为变动少的场面相比，增大。因此，如果使用第三判定方法，则能够以该输入图像的变动少的场面为基准，决定参照帧的更新处理的判定基准。

由此，即使是预先不知道输入怎样的输入图像的装置，输入图像的场面进行切换，也能够比较输入图像的变动的多少，适当地进行参照帧的更新处理的判定。

而且，由第二判定方法也能够根据输入图像而决定参照帧的更新处理的判定基准。这里，在第二判定方法中，例如，在输入图像从变动少的场面向变动多的场面切换的情况下，切换为变动多的场面时，例如进行参照帧的更新处理。其后，在变动多的场面连续的情况下，由于输入图像的变动多，所以连续的帧之间的相关性维持为低的状态。这样，为了降低发生编码量、保持编码效率的良好，希望参照帧的更新次数增多。但是，即使在发生编码量多的状态下，如果编码对象帧的参数与参照帧Xi的下一帧Yi1的参数为大体相同的量，则有满足公式2的情况。由于这种情况下是发生编码量多的状态，所以从编码效率的观点出发，进行参照帧的更新能够降低发生编码量，是优选的。由此，在这种情况下，通过合并使用第二判定方法与第三判定方法，就能够以输入图像中变动少的场面的参数为基准判定变动多的场面，通过适当地增加参照帧的更新次数，能够适当地实现发生编码量的降低。

而且，在第三方法中，主要是通过以输入图像中变动少的场面的参数为基准判定变动多的场面，能够抑制编码效率的下降，同时能够降低编码处理中的计算处理量。由此，就公式3中所使用的参数的计算中所使用的帧Ya1～Yb1的选定条件来说，例如，在过去的帧Ym1(m＜i)中，仅选择参数(预测误差和或发生编码量)在预先设定的规定值以下的帧即可。而且，也可以选定参数(预测误差和或发生编码量)在预先设定的规定值以下、在规定次数以上连续的多个帧。这样，能够得到所希望的变动少的场面的参数的平均值。

而且，在公式3的右边，虽然对多个帧Ya1～Yb1的参数乘以一个常数，但这仅是一例，右边也可以是以多个帧Ya1～Yb1的参数作为变量的函数。例如，以Yi1的参数作为变量，可以是计算出其平均值，也可以是计算出其加权和。而且，也可以是根据多个Yi1的参数的分布，统计地计算其平均值、中央值、出现频率最高值(最频度)等。在任何一种情况下，通过进行使用公式3的判定处理，都能够抑制编码效率的下降，同时能够降低编码处理中的计算处理量。

以上，对3个判定方法进行了说明，第二判定方法及第三判定方法的判定处理中使用的参数，除了预测误差和及发生编码量之外，例如还可以使用动态矢量的大小、动态矢量的编码量、量子化误差值、帧内进行内部预测的块的比例、对于预测误差值实施阿达玛(Hadamardtransform)变换等频率变换的参数等。就是说，只要是与编码对象图像的编码效率或预测效率的大小相关的参数即可。

而且，在以上的说明中，虽然该参数是使用以帧为单位合计的值，但是，例如也可以是使用由块的位置及种类而设定加权，进行计算的值。由此，也可以由块的位置及种类而选择使用参数。

而且，以上说明的3种判定方法，可以是各自独立地使用，也可以是组合使用，都能够构成本实施例的一个判定方法。

接着，第一实施例的编码处理的流程的一例示于图7。

首先，进行成为编码对象的帧的编码处理(701)，处理(701)是通过在图1的动态图像编码装置(100)的动作的说明中的，预测图像生成部(102)、减法器(109)、编码处理部(103)及可变长度编码部(104)的动作而进行的。接着，参照帧更新判定处理部(105)判定编码对象帧的画面类型(702)。进而，如果参照帧更新判定处理部(105)判定了对象帧是I画面，则参照帧更新判定处理部(105)向开关部(108)发送开关的关闭信号，因该信号而由开关部(108)、译码处理部(106)、加法器(110)及参照图像存储器(107)进行参照帧的更新处理(703)。其后进入判定(706)。

另一方面，在判定(702)中，如果编码对象帧是P画面，则参照帧更新判定处理部(105)通过上述本实施例的判定方法判定是否有必要进行参照帧的更新(705)。这里，在参照帧更新判定处理部(105)判定了有必要更新的情况下，进行参照帧的更新处理(703)，进入判定(706)。而且，在参照帧更新判定处理部(105)判定了没有必要更新的情况下，参照帧更新判定处理部(105)向开关部(108)发送开关的打开信号。由此，不进行参照帧的更新处理，进入判定(706)。

在判定(706)中，判定对于全部帧的编码处理是否已经结束。该判定例如由控制部(150)所进行。这里，如果是未结束，则进行下一帧的编码处理(701)。另一方面，如果已经结束，则编码处理结束。

如上所述，第一实施例中的更新判定处理部、动态图像编码装置或通过这些进行的编码处理的流程中各构成要素的动作，都是既可以由各构成要素的独立(自律)动作来实现，也可以是根据例如控制部(150)的指示来实现。还可以由控制部(150)与软件的协同动作来实现。

根据以上说明的第一实施例的更新判定处理部、动态图像编码装置或通过这些进行的编码处理，就能够通过控制参照帧的更新处理的有无，例如在变动少的画面中，降低参照帧的更新处理的次数，能够降低译码处理、存储器转送处理、或使用译码图像数据的其它处理等的参照帧的更新处理中的计算处理的发生量。而该计算处理发生量的降低，能够在抑制编码效率下降的同时来实现。

就是说，根据本发明的第一实施例，能够抑制编码效率的下降，同时能够降低编码处理中的计算处理量。

[实施例2]

接着，参照附图对本发明的第二实施例加以说明。图6(a)～图6(e)是表示动态图像数据中包含的多个帧。它们分别表示现有编码处理动作的一例及本发明第二实施例的编码处理动作的一例。各帧记录有画面类型。而且，图示的箭头是表示编码时的预测关系。这里，表示以箭头始点的帧作为参照图像，生成箭头终点的帧的编码用的预测图像。此外，如图5(a)及图5(b)所示，本发明的第二实施例中所涉及的画面结构，可以利用于I画面、P画面及B画面中的任意种类。

对于在现有技术中，利用于I画面、P画面、及B画面中任意种类的情况，使用图6(a)的帧(601)～(607)加以说明。首先，由于帧(601)是最初的帧，所以作为I画面，不参照其它的帧而进行编码。接着，在对帧(601)进行编码之后，将数帧后的帧作为P画面。在本图中，是以帧(604)作为P画面。对P画面(604)，参照前面毗邻的I画面(601)进行编码。接着，帧(601)与帧(604)之间的帧(602)、帧(603)，以帧(601)及帧(604)为参照帧，作为B画面而进行编码。接着，将从P画面(604)离开数帧的帧(607)作为P画面。P画面(607)是以帧(604)为参照帧而进行编码。进而，帧(605)、帧(606)，以帧(604)及帧(607)为参照帧，作为B画面而进行编码。

在这种情况下，全部的I画面或P画面中，在编码处理后有必要进行参照帧的更新处理。由此，更新处理的次数变多，更新处理中的处理量也变多。

因此，在第二实施例中，除了使用在第一实施例中说明的更新处理方法，还使用根据动态图像的性质而变更画面结构的方法，由此，能够抑制编码效率的下降，同时能够降低编码处理中的计算处理量。

使用图6(b)～(e)对该方法加以说明。首先，使用图6(b)进行说明。这里，在本实施例的编码方法中，例如使用图6(b)所示的编码画面结构。就是说，在图6(b)所示的画面结构中，表示从I画面(608)开始插有数帧的画面而成为P画面的帧(610)，与插有数帧而成为P画面的帧(614)。这些帧是预先决定了画面类型的帧。在本实施例中，为了进行说明，将预先决定了画面类型的帧中第i个帧表示为帧Vi。而且，在图6(b)中，配置在各帧V之间的帧，是未预先决定帧类型的帧。在本实施例中，为了进行说明，将未预先决定画面类型的帧中配置在帧Vi的后面第j个的帧表示为帧Zij。

这里，在本实施例的编码方法中，各帧Zij画面类型，是根据比该帧Zij在时间上靠前的帧Vi与在时间上靠后的帧Vn(n＝i+1)的相关而确定的。

而且，在帧Vn的编码处理的时刻，由于各帧Zij的各帧是未进行编码处理的帧，所以也称为在该时刻于时间上配置在帧Vi与帧Vn之间的未编码处理帧。

此时，在帧Vi与帧Vn的相关低的情况下，各帧Zij的画面类型为B画面。在这种情况下，与图6(a)所示的现有技术同样，该数据中帧的顺序为，参照画面、B画面、P画面的顺序。在本实施例的说明中，将这样的画面类型的顺序的数据表现为“画面结构是PB结构”。

这里，在帧Vi与帧Vn的相关性低的情况下，使各帧Zij的画面类型为B画面的理由如下。就是说，对帧Vi与帧Vn之间的帧进行编码的情况下，两者间配置的编码对象帧与帧Vj的相关，随着接近帧Vn而下降。由此，在以帧Vi为参照帧的前方预测的编码中，预测图像是使用帧Vi而生成。这样，编码对象帧越接近帧Vn，预测误差值及编码发生量越增大。相对于此，如果使用以帧Vi与帧Vn作为参照帧的双向预测的编码，则预测图像就能够选择使用帧Vi与帧Vn的编码，或使用任意帧的编码中编码效率高的编码而进行。由此，能够抑制此时的预测误差值及发生编码量。

接着，在帧Vi与帧Vn的相关高的情况下，各帧Zij的画面类型为P画面。在本实施例的说明中，将这样的画面类型的顺序的数据表现为“画面结构是PP结构”。

这里，在帧Vi与帧Vn的相关高的情况下，使各帧Zij的画面类型为P画面的理由如下。就是说，对帧Vi与帧Vn之间的帧进行编码的情况下，配置在两者间的编码对象帧与帧Vi的相关，无论编码对象帧在两者间的任何位置，都维持为高的状态。这是因为帧Vn自身与帧Vi的相关高。在这样的情况下，不论是以帧Vi为参照帧的前方预测的编码，还是以帧Vi与帧Vn作为参照帧的双向预测的编码，预测误差值及发生编码量的变化都小。由此，在这种情况下，与该双向预测的编码相比，如果进行前方预测的编码，就能够抑制以帧Vn作为参照帧的参照帧更新处理的发生。

通过进行以上的判定处理，能够抑制编码效率的下降，同时能够降低编码处理中的计算处理量。

以下，使用图6(c)～图6(e)，对该判定方法进行更详细的说明。在图6(c)～图6(e)中，表示的是动态图像数据中包含的多个帧的一例、以及表示这些编码时的预测关系的一例的箭头，除了各帧的画面类型，还表示了由一部分帧所构成的画面结构。

首先，图6(c)表示了作为I画面的帧V1(608)与作为P画面的帧V2(611)的相关性低，作为P画面的帧V2(611)与作为P画面的帧V3(614)的相关性高的情况。

首先，由于帧V1(608)是最初的帧，所以作为I画面，不参照其它的帧而进行编码。帧V1(608)作为参照画面的数据而保存于存储器。接着，将从帧V1(608)离开数帧的帧V2(611)作为P画面，以帧V1(608)作为参照帧，对帧V2(611)进行编码。此时，相应地判定帧V2(611)与参照帧V1(608)的相关性。这里，图6(c)的情况是帧V2(611)与参照帧V1(608)的相关性低。这种情况相当于判定了相关性低的情况，以帧V2(611)作为新的参照帧，对存储于存储器的参照帧进行更新处理。进而，在这种情况下，帧Z11(609)与帧Z12(610)为B画面。帧Z11(609)与帧Z12(610)，是以帧V1(608)与帧V2(611)作为参照帧而进行编码。这里，在图6(c)的编码处理中，从帧Z11(609)到帧V2(611)的画面结构是如图所示的PB结构。

接着，使用新的参照帧V2(611)，对下一个P画面V3(614)进行编码。此时，判定P画面V3(614)与参照帧V2(611)的相关。这里，图6(c)的情况，是帧V3(614)与参照帧V2(611)的相关性高。这种情况是相当于判定了相关性高的情况。在这种情况下，不以帧V3(614)作为新的参照帧，使帧V3(614)的编码结果一同存储于存储器。接着，帧Z21(612)与帧Z22(613)的画面类型为P画面，参照现在的参照帧V2(611)，分别进行编码。而且，在帧Z21(612)与帧Z22(613)的编码结束的时刻，从存储器读出存储着的对于帧(614)的编码结果。由以上的动作，帧(608)到帧(614)的编码结束。这里，在图6(c)的编码处理中，从帧Z21(612)到帧V3(614)的画面结构是如图所示的PP结构。

由此，在图6(c)中判定P画面V3(614)与参照帧V2(611)的相关性的时刻，也进行将该编码数据中的画面结构从PB结构变换为PP结构的决定。

接着，在图6(d)中，表示的是作为I画面的帧V1(608)与作为P画面的帧V2(611)的相关高，作为P画面的帧V2(611)与作为P画面的帧V3(614)的相关低的情况。

首先，帧V1(608)作为I画面，不参照其它的帧而进行编码。其后，帧V2(610)作为P画面，参照帧V1(608)进行编码。此时，与图6(c)的例相同，判定帧V1(608)与帧V2(611)的相关性。使用其结果，决定参照帧的更新处理的有无。进而决定画面结构，决定帧Z11(609)与帧Z12(610)的画面类型。这里，在图6(d)中，帧V1(608)与帧V2(611)的相关高。这种情况相当于判定了相关性高的情况。由此，从图6(d)的帧Z11(609)到帧V2(611)，进行与图6(c)的从帧Z21(612)到帧V3(614)同样的编码处理。就是说，在帧V2(611)的编码中的判定时，不进行参照帧的更新处理。而且，从帧Z11(609)到帧V2(611)的画面结构为PP结构，帧Z11(609)与帧Z12(610)中的任意一个都是作为参照着帧V1(608)的P画面而进行编码。

接着，由于参照图像是维持为帧V1(608)，所以作为P画面的帧V3(614)是参照着帧V1(608)进行编码。此时，虽然进行相关性的判定处理，但其对象是现在的参照帧V1(608)与现在的编码对象图像的帧V3(614)。这里，图6(d)中的情况是帧V1(608)与帧V2(611)的相关性高，帧V2(611)与帧V3(614)的相关性低的情况。由此，帧V1(608)与帧V3(614)的相关性也低。因此，这种情况是判定了相关性高的情况，将帧V3(614)作为新的参照帧存储于存储器，进行参照帧的更新处理。而且，从帧Z21(612)到帧V3(614)的画面结构是PB结构，帧Z21(612)与Z22(613)，都是作为参照帧V1(608)与帧V3(614)的B画面而进行编码。

另外，如果使用以上说明的图6(d)所示的编码处理方法的一例而得到编码流，则如图6(d)所示的那样，从其它帧开始，前方预测的规定参照帧(例如图6(b)的帧(608))，与不是其它画面的参照帧的多个P画面的帧(例如图6(b)的帧(609)、帧(610)、帧(611))，从该参照帧在时间上是连续的情况下，该多个P画面的帧都参照所述规定的参照帧(例如图6(b)的帧(608))进行编码。

而且，此时，在该多个P画面的帧(例如图6(b)的帧(609)、帧(610)、帧(611))的时间上毗邻的后面，有一个或一个以上的B画面的帧(例如图6(b)的帧(612)、帧(613))的情况下，该一个或一个以上的B画面的帧，都至少是对于参照帧的一个生成以包含所述规定参照帧(例如图6(b)的帧(608))为特征的编码流。

而且，此时，在一个或一个以上的B画面的帧之后毗邻的帧(例如图6(b)的帧(614))是P画面的帧的情况下，该P画面的帧生成参照所述规定参照帧(例如图6(b)的帧(608))的有特征的编码流。

接着，在图6(e)中，表示的是I画面的帧V1(608)与P画面的帧V2(611)的相关性高，进而P画面的帧V2(611)与P画面的帧V3(614)的相关性也高的情况。

首先，帧V1(608)作为I画面，不参照其它的帧而进行编码。其后，帧V2(610)作为P画面，参照帧V1(608)进行编码。这里，关于帧V1(608)与帧V2(611)的相关性高这一点，与图6(d)相同。由此，关于帧V2(611)、帧Z11(609)、帧Z12(610)的编码处理，也与图6(d)相同。

接着，在对作为P画面的帧V3(614)进行编码处理时，与图6(d)同样，参照图像维持帧V1(608)的状态。由此，作为P画面的帧V3(614)参照帧V1(608)进行编码。这里，虽然判定参照帧V1(608)与编码对象帧V3(614)的相关性，但在图6(e)中，帧V1(608)与帧V2(611)的相关性高，进而帧V2(611)与帧V3(614)相关性也高。由此，参照帧V1(608)与编码对象帧V3(614)的相关性也高。这样，此时也不进行参照帧的更新处理。接着，从帧Z21(612)到帧V3(614)的画面结构也成为PP结构，帧Z21(612)与帧Z22(613)都是作为参照着帧V1(608)的P画面而进行编码。

作为结果，在图6(e)的例子中，连接最初的I画面的帧V1(608)以后的帧，都是参照着帧V1(608)的P画面。

对于动态图像数据的规定的帧的相关性不同的多种情况，使用图6(b)～图6(e)，对本实施例的编码处理方法的一个例子进行了说明。根据以上说明的处理，减少了参照帧的更新处理，所以能够削减编码所必要的处理量。例如，在图6(a)是现有技术的编码处理中，进行帧(603)的编码处理后及帧(607)的编码时刻的2次参照帧的更新处理。与此相对，在图6(c)的编码处理中，在帧V2(611)的编码时刻进行一次参照帧的更新处理。而在图6(d)的情况下，在帧V3(614)的编码时刻进行一次参照帧的更新处理。而且，在图6(e)的情况下，参照图像维持为当初的帧V1(608)，参照帧的更新处理的次数为0。

因此，使用以上说明的方法，距参照帧数帧后的帧作为P画面，使用该P画面与参照帧的相关性，进行参照帧的更新处理的判定，由此，能够降低更新处理的次数。

接着，使用图3对本实施例的动态图像编码装置的一例加以说明。这里，在图1的结构中，进行画面类型是由I画面、P画面、B画面的画面所构成的画面结构的编码。

图3的动态图像编码装置(300)，为了使第一实施例的动态图像编码装置(100)与包含B画面的画面结构相对应，增加了构成要素，这里，在图3的动态图像编码装置(300)的各构成要素中，使用与图1的动态图像编码装置(100)的各构成要素相同的符号所表示的要素，都具有同样的功能。所以对它们的说明予以省略。仅对图3的动态图像编码装置(300)中新的构成要素进行说明。

就是说，图3的动态图像编码装置(300)与第一实施例的动态图像编码装置(100)相比，增添了以下新的部件：存储现在的画面结构的画面结构存储存储器(311)，变更画面结构的画面结构变更处理部(3 12)，以及暂时存储一枚P画面的编码结果的编码结果一次存储存储器(313)。而且，与此相对应，参照帧更新判定部(305)是与第一实施例不同的结构。而且，预测图像生成部(302)也与画面结构存储存储器(311)连接，进行一部分不同的动作。

这里，画面结构存储存储器(311)保存关于现在的画面结构(例如是PB结构，还是PP结构)的信息。在该信息更新的情况下，或要求该信息的发送的情况下，向预测图像生成部(302)与参照帧更新判定部(305)发送。预测图像生成部(302)基于被通知的画面结构信息，进行对象图像的编码。

而且，参照帧更新判定部(305)除了具有参照帧更新判定部(105)的功能之外，还具有使用参照帧更新的判定结果，进行判定是否有必要从现在的画面结构变更画面结构的新功能。这里，在判断了有必要变更画面结构的情况下，参照帧更新判定部(305)向画面结构变更处理部(312)发送画面结构控制信号。画面结构变更处理部(312)基于发送的信号，将画面结构存储存储器(311)中保存的现在画面结构的信息，向PP结构的信息或PB结构的信息中任意一个变更内容。

而且，作为画面结构变更的结果，在有必要将对应于编码对象帧的流信息临时保存于存储器中的情况下，使之保存于编码结果一次存储存储器(313)中。其后，在该保存的编码流的部分与输出的编码流合成输出的情况下，从编码结果一次存储存储器(313)输出该部分，与现在的输出编码流合成输出即可。

接着，使用图4对参照帧更新判定处理部(305)的结构的一例进行表示。图4所示的参照帧更新判定处理部(305)，与第一实施例的参照帧更新判定处理部(105)相比，具有追加了画面结构判定部(408)的结构。画面结构判定部(408)取得更新判定处理部(403)的判定结果，基于该判定结果而进行是否有必要变更画面结构的判定。画面结构判定部(408)基于该画面结构的变更的判定结果，将画面结构控制信号发送到画面结构变更处理部(312)。

第二实施例中的更新判定处理部(403)，也与第一实施例同样，使用固定判定基准信息、局部判定基准信息、统计判定基准，进行编码对象图像与参照帧之间的相关的判定处理。

这里，在第二实施例中，更新判定处理部(403)进行参照帧的更新判定处理，是仅对于现在的编码对象帧是图6(b)～(e)中的各帧V的情况。由此，在更新判定处理部(403)的参照帧的更新判定处理中，不涉及帧Z的存在。在现在的编码对象帧是图6(b)～(e)中的帧Z的情况下，更新判定处理部(403)向开关部(108)发送作为开关开闭控制信号的开关打开信号。由此，在编码对象帧是图6(b)～(e)中的帧Z的情况下，能够抑制参照帧的更新处理。

而且，在现在的编码对象帧是图6(b)～(e)中的帧V的情况下，进行以下的判定。就是说，此时第二实施例中更新判定处理部(403)的动作，能够通过以下的换读而实现第一实施例中的更新判定处理部(203)的动作的说明、固定判定基准信息的说明、局部判定基准信息的说明、及统计判定基准信息的说明。

首先，将第一实施例的图5(b)的说明中的各帧，分别换读为第二实施例的图6(b)～(e)的帧V即可。首先，图(b)～(e)的各帧中，将成为参照帧的帧Vs(第s个帧V)作为第一实施例的说明中的Xi。参照帧Vs的下一帧Vt(t＝s+1)作为第一实施例的说明中的Xi的下一帧Yi1。同样，将从参照帧Vs开始第i个后的帧V，置换为第一实施例的说明中的帧Yij即可。就是说，将第二实施例的帧V的排列，例如V1、V2、V3、V4、V5、V6…，置换为第一实施例的帧的排列，例如X1、Y11、Y12、X2、Y21、Y22，适用第一实施例的实施例的各说明，及公式1、公式2、公式3 即可。

以上，第二实施例中的更新判定处理部(203)，在现在的对象图象是图6(b)～(e)中的帧V的情况下，通过实行与第一实施例的图5(b)中说明的各帧相对应的判定处理，就能够进行在抑制编码效率的下降的同时降低编码处理中的计算处理量用的判定。

而且，如果更新判定处理部(403)的判定结果是编码对象图像与参照图像的相关性高的结果，则画面结构判定部(408)向图3的画面结构变更处理部(312)发送用于将画面结构变更为PP结构的画面结构控制信号。而且，如果更新判定处理部(403)的判定结果是编码对象图像与参照图像的相关性低的结果，则画面结构判定部(408)向图3的画面结构变更处理部(312)发送用于将画面结构变更为PB结构的画面结构控制信号。

此外，也可以是使画面结构判定部(408)从参照帧更新判定处理部(305)独立，进而将画面结构判定部(408)、画面结构变更处理部(312)与画面结构存储存储器(311)合并，称为一个预测方向决定部。这是因为，这里，决定画面结构的情况，在帧V是现在的编码对象图像的情况下，与决定在时间上处于编码对象图像和参照图像之间的帧Z的画面类型，是相等的。换言之，也可以说是，决定在帧Z的编码处理中使用的预测图像的预测方法是前方预测还有双向预测。

接着，第二实施例的编码处理的流程的一例示于图8。在图8中，有必要区别P画面是帧V的P画面，还是帧Z的P画面。由此，将其各自区别地记为“P画面(帧V)”与“P画面(帧Z)”。

首先，对成为编码对象的一枚帧进行编码(801)。处理(801)可以由图3的动态图像编码装置(300)的动作中的预测图像生成部(302)、减法器(109)、编码处理部(103)及可变长度编码部(104)的动作而执行。接着，参照帧更新判定处理部(305)判定编码对象帧的画面类型(802)。这里，如果对象帧是I画面，则参照帧更新判定处理部(305)向开关部(108)发送开关的关闭信号。接着，由该信号为起因，由开关部(108)、译码处理部(106)、加法器(110)、参照图像存储器(107)而进行参照帧的更新处理(803)。其后，在判定(810)中，判定全部帧的编码处理是否已经结束。该判定(810)，例如由控制部(350)实行。如果全部帧的编码处理未结束，则回到编码处理(801)。如果全部帧的编码处理结束，则结束编码处理。

另一方面，在判定(802)中，如果编码对象帧是帧V的P画面，则更新判定处理部(305)根据上述本实施例的判定方法，进行是否有必要更新参照帧的判定(805)。

这里，在判定(805)中，在更新判定处理部(305)判定了有必要更新的情况(805)下，进入判定(806)。在判定(806)中，画面结构判定部(408)判定画面结构是PP结构，还是PB结构。这里，如果是PP结构，则进行画面结构的变更处理(807)。该处理按照以下步骤进行。就是说，画面结构判定部(408)向画面结构变更处理部(312)发送用于将画面结构从PP结构变换为PB结构的画面结构控制信号。接着，画面结构变更处理部(312)将画面结构存储存储器(311)中保存的现在的画面结构的信息从PP结构的信息变换为PB结构的信息。通过以上步骤而完成画面结构的变更处理(807)。接着进入参照帧的更新处理(803)。而且，在判定(806)中，在画面结构是PB结构的情况下，不进行画面结构的变更处理，进入参照帧的更新处理(803)。就是说，在帧V的P画面的编码处理后，在有必要进行参照帧的更新处理的情况(参照帧与编码对象帧的相关性低的情况)下，则不论现在的画面结构如何，画面结构都为PB结构。其后，进行参照帧的更新处理(803)，进入判定(810)。在判定(810)中，如果全部帧的编码处理未结束，则回到编码处理(801)。如果全部帧的编码处理结束，则结束编码处理。

而且，在判定(805)中，在更新判定处理部(305)判定了没有必要更新的情况(805)下，进入判定(808)。在判定(808)中，画面结构判定部(408)判定画面结构是PP结构，还是PB结构。这里，如果是PB结构，则进行画面结构的变更处理(809)。该处理按照以下步骤进行。就是说，画面结构判定部(408)向画面结构变更处理部(312)发送用于将画面结构从PB结构变换为PP结构的画面结构控制信号。接着，画面结构变更处理部(312)将画面结构存储存储器(311)中保存的现在的画面结构的信息从PB结构的信息变换为PP结构的信息。通过以上步骤而画面结构的变更处理(809)完成。接着进入判定(810)。而且，在判定(808)中，是画面结构是PP结构的情况下，不进行画面结构的变更处理，进入判定(810)。就是说，在帧V的P画面的编码处理后，在没有必要进行参照帧的更新处理的情况(参照帧与编码对象帧的相关性高的情况)下，则不论现在的画面结构如何，画面结构都为PP结构。接着，在判定(810)中，如果全部帧的编码处理未结束，则回到编码处理(801)。如果全部帧的编码处理结束，则结束编码处理。

而且，在判定(802)中，如果编码对象帧是帧Z的P画面，或帧Z的B画面，则进入判定(810)。在判定(810)中，如果全部帧的编码处理未结束，则回到编码处理(801)。如果全部帧的编码处理结束，则结束编码处理。

此外，进行过编码处理(801)的编码流被适宜地输出。这里，根据画面的结构，进行将一部分的编码流临时保存于编码结果一次存储存储器(313)的处理。由此，能够调整输出时刻或输出顺序而输出。

以上说明的、第二实施例中的更新判定处理部、动态图像编码装置或由它们进行编码处理的流程中的各构成要素的动作，都是既可以由各构成要素的独立动作来实现，而且例如也可以是根据控制部(350)的指示来实现。而且，还可以是由控制部(350)与软件的协同动作来实现。

根据以上说明的第二实施例中的更新判定处理部、动态图像编码装置或由它们进行编码处理，即使是在使用B画面的动态图像编码处理中，通过控制参照帧的更新处理的有无，例如在变动少的场面中，能够降低参照帧的更新处理的次数，能够降低译码处理、存储器转送处理、使用译码图像数据的其它处理等的参照帧的更新处理中的计算处理的发生量。而且，此外，通过参照帧的更新处理的次数的控制，并变更编码数据的一部分的画面结构，就能够同时实现计算处理发生量的降低与编码效率下降的抑制。

就是说，根据本发明的第二实施例，能够抑制编码效率的下降，同时能够降低编码处理中的计算处理量。

接着，使用图9、图10，对上述第一实施例及第二实施例的编码处理的一例加以说明。

首先，使用图9(a)对第一实施例的编码处理的一例加以说明。图9(a)的横坐标表示时间或帧编号。纵坐标例如表示每一帧的预测误差量或发生编码量。此外，纵坐标的值也可以是参照帧的更新处理的说明中列举的其它参数。纵坐标的值越大，表示参照帧与编码对象帧的图像的差越大。由此，例如在动态图像中1帧之间的图像的变动多的场面提高。反之，在动态图像中1帧之间的图像的变动少的场面降低，此外，由于I画面的帧成为使用帧内预测的编码，所以帧间前后的差没有关系。由此，在本图中，省略了I画面的帧的预测误差量或发生编码量。

在以后的图9(a)的说明中，为了说明的方便，横坐标为帧编号，纵坐标为发生编码量。首先，图9(a)的图从初期参照帧的下一帧中的发生编码量FB₀(902)开始。这里，在图9(a)的数据(901)中，比较缓和的变动发生的场面持续至帧f₂-1。接着，在帧f₂中，变动急剧增多，其后，变动多的场面连续。

这里，例如是对在第一实施例的参照帧更新判定处理部(105)中，使用所述局部判定基准信息与所述固定判定基准信息而进行参照帧的更新判定处理的例子进行的说明。这里，本图中的所述局部判定基准是使用公式2。就是说，以初期参照帧的下一帧中的发生编码量乘以常数σ的值作为阈值，进行参照帧的更新处理。而且，固定判定基准的阈值为发生编码量SH(904)。该发生编码量SH(904)相当于公式1中的β。

首先，编码开始时，以发生编码量FB₀(902)为基础的FB₀×σ(903)，作为局部判定基准的阈值。这里，根据局部判定基准，在编码对象帧的编码量下降的情况下，不进行参照帧的更新处理。在本图中，在帧编号f1的时刻，到达编码对象帧的局部判定基准的阈值FB₀×σ(903)。此时，通过由参照帧更新判定处理部(105)的判定处理，实施参照帧的更新处理。这样，通过参照帧的更新处理，参照帧与编号对象帧的相关性提高。由此，新的参照帧的下一帧、帧f₁+1中的发生编码量就下降到帧f₁。由此，在第一实施例中，在变动少的场面中，通过进行局部的判定基准的判定，能够抑制编码效率的下降，同时能够降低参照帧的更新处理次数，降低编码处理中的计算处理量。

接着，在数据(901)中，帧f₂中激烈的变动增多，发生编码量增大。这里，首先，对本图中假定参照帧更新判定处理部(105)不使用固定判定基准的情况加以说明。首先，由于帧f₂的发生编码量超过了局部判定基准阈值FB₀×σ(903)，所以发生参照帧的更新处理。由此，帧f₂成为新的参照帧。这样，根据该帧f₂的下一帧f₂+1的发生编码量FB₂(905)而决定新的局部判定基准的阈值FB₂×σ(906)。由此，在这种情况下，发生编码量的数据，例如从点(907)开始如虚线所示的数据(908)那样增加。

接着，对本图中参照帧更新判定处理部(105)设置阈值SH(904)而作为固定判定基准的情况进行说明。在这种情况下，由于帧f₂的发生编码量，不仅超过局部判定基准的阈值FB₀×σ(903)，而且超过了固定判定基准的阈值SH(904)，所以参照帧的更新处理发生。接着，帧f₂+1的发生编码量FB₂(905)虽然比新的局部判定基准的阈值FB₂×σ(906)小，但是由于比固定判定基准的阈值SH(904)大，所以也发生参照帧的更新处理。以后，对每帧进行参照帧的更新处理，直至编码对象帧的发生编码量下降到固定判定基准的阈值SH(904)以下。由此，在使用固定判定基准的情况下，本图中点(907)以后的发生编码量，比所述数据(908)减小，例如按照实线所示的数据(909)而推移变化。这样，在第一实施例的变动多的场面中，通过进行根据固定判定基准的判定，能够控制参照帧的更新处理次数，抑制编码效率的下降，能够降低编码处理中的计算处理量。

接着，图9(a)的第一实施例的情况下的参照帧与编码对象帧的关系的一例示于图9(b)。图9(b)的横坐标与图9(a)相同，是帧编号。图9(a)的纵坐标表示参照帧与编码对象帧的时间的距离。0的情况表示参照帧是编码对象帧之前毗邻的帧。距离越大，表示参照帧相对于编码对象帧在时间上越向过去的方向离开。这里，在图9(a)的第一实施例的情况下，首先对帧f₁及f₂进行参照帧的更新处理。由此，象数据(910)那样，参照帧与编码对象帧的时间上的距离变化。就是说，直至参照帧的更新处理，该时间的距离增加，在参照帧的更新处理的时刻成为0。接着，关于点(911)以后，在仅使用上述说明的局部判定基准的情况下，例如象虚线所示的数据(913)那样推移。而且，在一并使用上述说明的局部判定基准与固定判定基准的情况下，例如如实线所示的数据(912)那样推移。

进而，使用图10，对第一实施例的参照帧更新判定处理部(105)中，使用所述统计判定基准信息的情况下的编码处理的一例加以说明。在图10中，数据(1000)表示发生编码量数据的一例。SH₁(1001)，表示固定判定基准阈值。SH₂(1002)，表示统计判定基准阈值的一例。这里，第一实施例的固定判定基准的阈值SH₁(1001)，作为固定判定基准信息，预先保存于所述固定判定基准存储器(209)等中。这里，该SH₁(1001)例如是预先研究设定统计数据而设定，或考虑其它条件等而设定。但是，在预先对设想的动态图像数据以外的数据进行编码的情况下，或用于设定固定判定基准信息的统计数据不充分的情况下等，也考虑了不能够设定适当的固定判定基准阈值SH₁(1001)的情况。例如，如图示的发生编码量数据(1000)那样，即使是变动多的场面，也考虑了变动少的场面的任意都未超过固定判定基准的阈值SH₁(1001)等的情况。在这种情况下，就不能得到使用固定判定基准信息的判定方法的效果。因此，如果是将该阈值SH₁(1001)变换为使用第一实施例中说明的统计判定基准的阈值，则如图示的箭头(1004)那样，阈值自身能够由统计数据而变动。此时，例如与预先设想的动态图像的发生编码量相比，实际处理的发生编码量少等的情况下，通过使用第一实施例中说明的统计数据，阈值自身下降。例如如果阈值下降到图示的SH₂(1002)，则即使是在图10的数据(1000)中的变动多的场面中，也对每帧进行参照帧的更新处理。由此，能够得到与图9(a)的固定判定基准的阈值SH的判定处理同样的效果。

而且，在变动少的场面中与图9(a)同样，也能够得到参照帧的更新处理的抑制效果。由此，在第一实施例中，通过进行由统计判定基准的判定，即使是在输入了不是预先设想的输入图像的情况下，也能够同时做到编码效率下降的抑制，以及由参照帧的更新处理的抑制所引起的编码处理的计算处理量的降低。

接着，使用图9、图10，也能够对第二实施例的编码处理的一例进行说明。在说明第二实施例的情况下，在图9(a)中，不仅是I画面的帧，而且对图6的说明中的帧Z的帧预测误差量或发生编码量，也考虑将其从图中省略。这种情况下，图9(a)的横坐标，相当于从图6的帧V去除了I画面的帧的值。关于图9(b)、图10，也是对于第一实施例的说明进行了同样的置换，由此，在第二实施例的编码处理中，也能够确认与第一实施例同样的效果。

就是说，在第二实施例的编码处理中，在变动少的场面中，进行基于局部判定基准的判定，由此，能够降低参照帧的更新处理的次数，抑制编码效率的下降，因此能够降低编码处理中的计算处理量。

而且，在第二实施例的编码处理中，在变动少的场面中，进行基于局部判定基准的判定，由此，能够控制参照帧的更新处理的次数，抑制编码效率的下降，因此能够降低编码处理中的计算处理量。

而且，在第二实施例的编码处理中，通过进行基于统计判定基准的判定，即使是在输入了不是预先设想的输入图像的情况下，也能够同时做到编码效率下降的抑制，以及由参照帧的更新处理的抑制所引起的编码处理的计算处理量的降低。

以上，根据本发明的第一实施例或第二实施例，能够抑制编码效率的下降，同时能够降低编码处理中的计算处理量。

在以上说明的本发明的各实施例中，仅能够对记述为PB结构、PP结构的部分的画面结构进行变更。但是，此时，例如如果参照帧的更新频率低，也可以进行使GOP(画面组)周期延长的处理，及使插入P画面的周期延长的处理。在这种情况下，由输入数据能够更有效地进行编码处理。

以上的实施例中的编码处理，是作为帧单位的编码处理进行的说明。但是，以上实施例中的任意一个也都能够适用于隔行扫描(interlace)图像信号中的场(field)单位的编码中。就是说，实施例的说明的记述中，可以将“帧”换读为“场(field)”。

使用以上说明的本发明的各实施例中的编码处理方法或编码处理装置，例如，也可以提供对高速动态图像数据进行编码的技术。而且，也能够提供在保持图像质量的同时，对高速动态图像数据进行编码的动态图像编码技术。

而且，以上说明的本发明的各实施例中的编码处理方法或编码处理装置，在使用于对监视影像及电视会议系统等变动少的影像进行编码的装置及系统中的情况下，也是有效的。

而且，以上说明的实施例还可以组合使用，构成本发明的一个实施方式。

根据以上说明的本发明的各实施例中的编码处理方法或编码处理装置，能够抑制编码效率的下降，同时能够降低编码处理中的计算处理量。

Claims (17)

1.一种编码方法，其为对具有多个图像的帧的输入图像数据进行编码的编码装置中的编码方法，其特征在于，包括：

根据规定的参照帧的图像生成预测图像数据的步骤；

根据该预测图像数据与所述输入图像数据中的一个帧的图像数据的差分生成差分图像数据的步骤；

对该差分图像数据进行离散余弦变换处理与量子化处理，生成编码图像数据的步骤；

对该编码图像数据进行可变长度编码处理，生成编码流的步骤；和

判定所述参照帧与所述一个帧的图像的相关，进行决定是否将所述一个帧作为新的参照帧的参照帧更新判定处理的步骤。

2.根据权利要求1所述的编码方法，其特征在于：

在所述参照帧更新判定处理的步骤中，当已经决定将所述一个帧作为新的参照帧时，还包括：

对所述编码图像数据进行逆量子化处理与逆离散余弦变换处理，对差分图像数据进行译码的步骤；和

将该译码后的差分图像数据与所述预测图像数据相加，生成新的参照图像帧的图像数据的步骤。

3.根据权利要求1所述的编码方法，其特征在于：

所述参照帧更新判定处理的步骤中的判定处理，将使用所述差分图像数据、所述编码图像数据或所述编码流中的任意一个而计算出的判定对象计算值，与所述编码装置具有的存储器中存储的判定基准值进行比较，判定所述参照帧与所述一个帧的图像的相关。

4.根据权利要求3所述的编码方法，其特征在于：

所述判定基准值是基于所述参照帧在时间上紧随其后的帧中的判定对象计算值而确定的。

5.根据权利要求3所述的编码方法，其特征在于：

所述判定基准值是对在时间上处于所述一个帧之前的多个帧的编码处理中计算出的各个判定对象计算值进行统计处理而确定的。

6.根据权利要求1所述的编码方法，其特征在于：

生成所述预测图像数据的步骤是选择使用前方预测或双向预测的各预测方法的步骤，

在所述参照帧与所述一个帧在时间上的间隔中至少存在一个以上未进行编码处理的未编码帧的情况下，还包括：

根据所述参照帧更新判定处理步骤的判定结果，决定将前方预测还是双向预测作为该未编码帧的编码处理中使用的预测图像的预测方法的步骤，

使用该决定的预测方法，生成在所述未编码帧的编码处理中使用的预测图像。

7.一种编码装置，其对具有多个图像的帧的输入图像数据进行编码，其特征在于，包括：

根据规定的参照帧的图像生成预测图像数据的预测图像生成部；

根据该预测图像数据与所述输入图像数据中的一个帧的图像数据的差分生成差分图像数据的差分器；

对该差分图像数据进行离散余弦变换处理与量子化处理，生成编码图像数据的编码处理部；

对该编码图像数据进行可变长度编码处理，生成编码流的可变长度编码处理部；和

判定所述参照帧与所述一个帧的图像的相关，决定是否将所述一个帧作为新的参照帧的参照帧更新判定处理部。

8.根据权利要求7所述的编码装置，其特征在于，

所述编码装置还包括：

对所述编码处理部输出的所述编码图像数据进行逆量子化处理与逆离散余弦变换处理，对差分图像数据进行译码的译码处理部；

将该译码后的差分图像数据与所述预测图像数据相加，生成新的参照图像帧的图像数据的加法器；

存储该新的参照图像的参照图像存储器；和

对是否从所述编码处理部向所述译码处理部发送所述差分数据进行切换的开关部，

所述参照帧更新判定处理部，在已经决定将所述一个帧作为新的参照帧时，向所述开关部发送用于从所述编码处理部向所述译码处理部发送所述差分数据的控制信号。

9.根据权利要求7所述的编码装置，其特征在于：

所述参照帧更新判定处理部中的判定处理，将使用所述差分图像数据、所述编码图像数据或所述编码流中的任意一个而计算出的判定对象计算值，与所述编码装置具有的存储器中存储的判定基准值进行比较，判定所述参照帧与所述一个帧的图像的相关。

10.根据权利要求9所述的编码装置，其特征在于：

所述判定基准值是基于所述参照帧在时间上紧随其后的帧中的判定对象计算值而确定的。

11.根据权利要求9所述的编码装置，其特征在于：

所述判定基准值是对在时间上处于所述一个帧之前的多个帧的编码处理中计算出的各个判定对象计算值进行统计处理而确定的。

12.根据权利要求7所述的编码装置，其特征在于：

所述预测图像生成部选择使用前方预测或双向预测的各预测方法，

在所述参照帧与所述一个帧在时间上的间隔中至少存在一个以上未进行编码处理的未编码帧的情况下，还包括：

根据所述参照帧更新判定处理部的判定结果，决定将前方预测还是双向预测作为该未编码帧的编码处理中使用的预测图像的预测方法的预测方向决定部，

使用该预测方向决定部所决定的预测方法，所述预测图像生成部生成在所述未编码帧的编码处理中使用的预测图像。

13.一种编码装置，其对具有多个图像的帧的输入图像数据进行编码，其特征在于，包括：

通过选择使用帧内预测、基于前方预测的帧间预测、或基于双向预测的帧间预测中的任意一个预测方法而生成预测图像数据的预测图像生成部；和

对使用该预测图像数据与所述输入图像数据而生成的编码流进行输出的输出部，

在将使用所述帧内预测进行编码的帧作为I画面、将使用基于所述前方预测的帧间预测进行编码的帧作为P画面、将使用基于所述双向预测的帧间预测进行编码的帧作为B画面的情况下，在从所述输出部输出的所述编码流中，至少存在一组以上以同一帧作为参照帧并在时间上连续的2个P画面。

14.根据权利要求13所述的编码装置，其特征在于：

在从所述输出部输出的所述编码流中，当根据其它帧进行前方预测的规定的参照帧与不是其它画面的参照帧的多个P画面的帧从该参照帧在时间上是连续的情况下，该多个P画面的帧都是参照所述规定的参照帧进行编码的。

15.根据权利要求13所述的编码装置，其特征在于：

在所述多个P画面的帧中，在时间上最后的帧的在时间上紧随其后的帧，是参照所述规定的参照帧的P画面的帧。

16.根据权利要求13所述的编码装置，其特征在于：

当所述多个P画面的帧中，在时间上最后的帧，在时间上紧随其后存在一个或一个以上的B画面的帧的情况下，该一个或一个以上的B画面的帧，均至少在参照帧的一个中包含所述规定的参照帧。

17.根据权利要求16所述的编码装置，其特征在于：

在所述一个或一个以上的B画面的帧的紧随其后存在P画面的帧的情况下，该紧随其后的P画面的帧参照所述规定的参照帧。

Images