CN1258924C - 运动图像编码设备及其方法 - Google Patents

Abstract

本发明涉及一种运动图像编码设备，基于帧图像数据通过压缩编码装置对运动图像数据进行压缩编码，同时将其存储在缓冲器中一次，根据缓冲器的累积数据量通过帧频改变装置改变帧频，该帧频改变装置根据运动图像的图像的变化适当地改变每单位时间要压缩编码的每段帧图像数据的数量，以稳定压缩率并稳定运动图像的图像质量，因此能够适当地提供所需的图像质量的运动图像。此外，跟踪装置通过使用所检测的运动图像数据的帧图像数据的简单运动矢量跟踪在帧图像数据中的抽取图像数据，高层运动矢量检测装置通过公共地使用简单运动矢量检测帧图像数据的运动矢量，以及压缩编码装置基于跟踪的结果抽取抽取图像数据并通过使用运动矢量对它进行压缩编码，由此使得能够极大地降低检测运动矢量的操作量并进一步加速抽取图像数据的压缩编码处理。

Description

运动图像编码设备及其方法

技术领域

本发明涉及一种运动图像编码设备，例如适合应用于在使用因特网发布运动图像数据时用于压缩编码运动图像数据的运动图像编码设备。

背景技术

近年来，一般称为流型的发布方法已经开始作为通过使用因特网发布运动图像数据的方法传播，在这种方法中通过因特网将以摄像机等拍摄的物体而获得的运动图像数据发布给用户的个人计算机等以基于运动图像数据实时地显示运动图像。

至于这种通过流型实施的发布方法，因特网的数据传输率相对降低，因此在发送器侧例如通过在其中使用称为MPEG2(运动图象专家组2)的压缩编码方法的压缩编码运动图像编码设备。

现在，通过组织比如ISO/IEC JTC1/SC2/WG11(国际标准化组织/国际电化学委员会技术咨询联合委员会/分委员会2/工作组11)标准化MPEG2标准，即通过采用运动补偿预测编码和离散余弦变换(DCT)的组合的混合编码方法进行标准化。

MPEG2标准规定了三种图像类型，即称为I(内)-图像的内帧编码图像(内编码图像)、称为P(预测)-图像的帧间前向预测编码图像和称为B(双向预测)-图像的双向预测编码图像，以便以预定的顺序将I-图像、P-图像和B-图像中的任何图像顺序地分配给构成运动图像数据的帧图像数据，然后执行压缩编码。

实际上，MPEG2标准规定了四种类型的预测模式，即帧内编码、前向预测编码、后向预测编码和双向预测编码，其中它规定，基于16像素×16线的宏块的单元通过帧内编码对I-图像所分配给的帧图像进行压缩编码，基于该宏块通过帧内编码或者前向预测编码中的一种对P-图像所分配给的帧图像数据进行压缩编码，以及基于该宏块通过帧内编码、前向预测编码和双向预测编码中的任一种对B-图像所分配给的帧图像数据进行压缩编码。

顺便指出，如在附图26中所示，适用MPEG2的运动图像编码设备1基于帧图像数据将从外部输入的运动图像数据捕获到具有记录许多帧的容量的输入帧存储器2，接着以预定的顺序将任何I-图像、P-图像和B-图像顺序地分配给捕获在输入帧存储器2的帧图像数据，并且还通过将它与在输入帧存储器2中的帧图像数据关联起来来记录表示I-图像、P-图像和B-图像的图像类型信息。

控制器3顺序地读取在输入帧存储器2中已经将I-图像分配其中的帧图像数据(在下文中称为第一帧图像数据)作为在宏块单元中的数据(在下文中称为第一宏块数据)。

每次控制器3从输入帧存储器2中读取第一宏块数据，运动矢量检测器4读取对应于第一宏块数据的图像类型信息(即，表示I-图像)，并基于该图像类型信息产生表示通过帧内编码对第一宏块数据进行压缩编码的预测模式数据，然后将它发送给运动补偿器5和可变长度编码器6。

运动补偿器5由此基于来自运动矢量检测器4的预测模式数据(表示帧内编码)停止了相应的第一宏块数据的运动补偿处理。

因此，控制器3从输入帧存储器2读取第一宏块数据，并将第一宏块数据按照原样发送给离散余弦变换器7，因为在这时从运动补偿器5没有给出数据。

离散余弦变换器7对从来自控制器3的第一宏块数据进行离散余弦变换，并将所获得的离散余弦变换系数发送到量化器8。

量化器8以预定的周期检测在输出级的缓冲器9中积累的经编码的数据量(在下文中称为积累的数据量)，并根据积累的数据的检测量选择量化步骤。

量化器8由此基于对应的量化步骤量化离散余弦变换，并随着量化步骤一起将所获得的量化系数发送给可变长度编码器6和去量化器10。

可变长度编码器6以赫夫曼编码(Huffman code)等对来自量化器8的量化系数进行可变长度编码(VLC)，并且还对从量化器8中给出的量化级和来自运动矢量检测器4的预测模式数据进行可变长度编码，然后通过缓冲器9将所获得的编码数据输出到外部。

因此，运动图像编码设备1通过帧内编码基于第一宏块数据对在输入帧存储器2中的第一帧图像数据进行顺序压缩编码，并将所获得的编码数据输出到外部。

此外，去量化器10基于从量化器8中给出的量化级对同样从量化器8中给出的量化系数进行去量化，并将所获得的离散余弦变换系数发送给反向离散余弦变换器11。

反向离散余弦变换器11对从去量化器10中给出的离散余弦变换系数执行反向离散余弦变换(DCT)，并将所获得的第一宏块数据发送给加法器12。

在第一宏块数据来自反向离散余弦变换器11时，加法器12将第一宏块数据按照原样发送给具有许多帧记录容量的参考帧存储器13以将它存储在其中，因为在时从自运动补偿器5中没有给出数据，由此在参考帧存储器13中重构第一帧图像数据。

在另一方面，控制器3顺序地读取在输入帧存储器2中将向其分配P-图像的帧图像数据(在下文中称为第二帧图像数据)作为在单元宏块中的数据(在下文中称为第二宏块数据)。

在这种情况下，每次控制器3从输入帧存储器2中读取第二宏块数据，运动矢量检测器4从输入帧存储器2中读取第二宏块数据和与其对应的图像类型信息(即，表示P-图像)，并且基于图像类型信息在比第二宏块数据更加朝前的一侧(以过去时间方式)上还读取第一或第二帧图像数据以在前向预测中用于参考。

在运动矢量检测器4在第一或第二帧图像数据中通过块匹配方法顺序地使第二宏块数据与用于比较的许多块数据关联起来的同时，它分别计算在第二帧图像数据中的像素的像素值和与其对应的用于比较的块数据的像素的像素值之间的差的绝对值之和(在下文中称为预测误差)。

因此，运动矢量检测器4从连续计算的在第二宏块数据和相应的对应于的用于比较的块数据之间的预测误差中选择具有最小值的预测误差(在下文中特别称为最小预测误差)，并且还检测在获得了最小预测误差时所使用的用于比较的块数据(在下文中称为前向近似块数据)作为与第二宏块数据匹配的最佳匹配数据，然后基于在所检测的前向近似块数据和第二宏块数据之间的运动量检测第二宏块数据的前向运动矢量。

此外，运动矢量检测器4计算在第二宏块数据中的像素的像素值的平均值，然后计算在所计算的平均值和像素值之间的差值的绝对值之和(在下文中称为分布值)，然后将所计算的分布值与最小预测误差进行比较。

结果，运动矢量检测器4确定，如果分布值小于最小预测误差，第二宏块数据的像素的分布(像素值的变化)较小，因此，即使按照原样对第二宏块数据进行压缩编码，所编码的数据的数据量(在下文中称为编码数据量)也可能相当小，因此它产生了表示通过帧内编码对第二宏块数据进行压缩编码的预测模式数据，然后将它发送给运动补偿器5和可变长度编码器6。

与之相对的是，运动矢量检测器4确定，如果分布值大于最小预测误差，则第二宏块数据的像素的分布(像素值的变化)较大，因此很难使编码数据量较小，除非通过前向预测编码对第二宏块数据进行压缩编码，因此它产生了表示通过前向预测编码对第二宏块数据进行压缩编码的预测模式数据，然后将它与第二宏块数据的运动矢量一起发送给运动补偿器5和可变长度编码器6。

然后，在表示帧内编码应用到第二宏块数据的预测模式数据是来自运动矢量检测器4时，运动补偿器5停止第二宏块数据的运动补偿处理。

此外，在第二宏块数据的运动矢量和表示前向预测编码的预测模式数据从运动矢量检测器4中给出时，运动补偿器5执行运动补偿处理，并从参考帧存储器13中读取在比第二宏块数据更朝前的一侧(以过去时间方式)上的第一或第二帧图像数据以用于参考目的。

然后，运动补偿器5基于运动矢量从第一或第二帧图像数据中抽取与第二宏块数据最佳匹配的块操作数据，然后将它送给控制器3和加法器12。

在选择帧内编码作为对从输入帧存储器2中读取的第二宏块数据的预测模式时，由于从运动补偿器5中没有给出块操作数据，所以控制器3将第二宏块数据按照原样发送给离散余弦变换器7。

因此，在选择帧内编码作为第二宏块数据的预测模式时，运动图像编码设备1使离散余弦变换器7、量化器8、可变长度编码器6、缓冲器9、去量化器10、反向离散余弦变换器11、加法器12和参考帧存储器13每个都按照在上述的第一宏块数据进行压缩编码的情况一样地运行。

因此，运动图像编码设备1对第二宏块数据与量化级和预测模式数据一起执行可变长度编码，然后将所获得的编码数据输出到外面，并且还对经压缩的第二宏块数据进行解码并将它存储在参考帧存储器13中。

此外，在选择前向预测编码作为从输入帧存储器2中读取的第二宏块数据的预测模式时，控制器3将从运动补偿器5中给出的块操作数据从第二宏块数据中减去，然后将所获得的差值数据发送到离散余弦变换器7。

在这种情况下，离散余弦变换器7对从控制器3中给出的差值数据进行离散余弦变换，并将所获得的离散余弦变换系数发送给量化器8。

此外，量化器8与上述的处理第一宏块数据的情况一样基于所选择的相应的量化级对离散余弦变换系数进行量化，然后将所获得的量化系数连同量化级一起发送给可变长度编码器6和去量化器10。

然后，可变长度编码器6以赫夫曼编码等对该量化系数进行可变长度编码，并且对相应的量化级、预测模式数据(表示前向预测编码)和运动矢量还执行可变长度编码，然后将由此所获得的编码数据通过缓冲器9输出外部。

在这时，去量化器10基于从量化器8中给出的量化级对同样从量化器8中给出的量化系数进行去量化，并将所获得的离散余弦变换系数发送给反向离散余弦变换器11。

此外，反向离散余弦变换器11对从去量化器10中给出的离散余弦变换系数执行反向离散余弦变换，并将所获得的差值数据发送给加法器12。

加法器12将来自反向离散余弦变换器11的差值数据和这时来自运动补偿器5的块操作数据相加，并将所获得的第二宏块数据发送给参考帧存储器13以将它存储在其中。

因此，在运动图像编码设备1基于第二宏块数据对第二帧图像数据进行顺序压缩编码时，它还在参考帧存储器13中重构第二帧图像数据。

除此以外，对于在输入帧存储器2中将B-图像分配其中的帧图像数据(在下文中称为第三帧图像数据)，控制器3顺序地读取它作为在单元宏块中的数据(在下文中称为第三宏块数据)。

在这种情况下，控制器3每次从输入帧存储器2中读取第三宏块数据，运动矢量检测器4从输入帧存储器2中读取相同的第三宏块数据和与其对应的图像类型信息(即，表示B-图像)，并且基于图像类型信息还读取在更朝前的一侧(以过去时间方式)上的第一或者第二帧图像数据和在比第三宏块数据更朝后的一侧(以将来时间方式)上的第一或第二帧图像数据以在前向预测、后向预测和双向预测中用于参考目的。

运动矢量检测器4通过块匹配方法检测在前向侧上在第一或第二帧图像数据中具有最小预测误差(在下文中特别称为前向最小预测误差)的前向近似块数据，由此检测第三宏块数据的前向运动矢量，与上述的第二宏块数据一样。

同样地，运动矢量检测器4通过块匹配方法检测在后向侧上在第一或第二帧图像数据中具有最小预测误差(在下文中特别称为后向最小预测误差)的比较块数据(在下文中称为后向近似块数据)，由此检测第三宏块数据的后向运动矢量。

此外，运动矢量检测器4通过对由此所检测的前向近似块数据和后向近似块数据进行平均产生了平均近似块数据，以便然后计算在所产生的平均近似块数据和第三宏块数据之间的预测误差(在下文中称为双向预测误差)。

因此，运动矢量检测器4从前向最小预测误差、后向最小预测误差和双向预测误差中选择具有最小值的一个前向最小预测误差、后向最小预测误差或者双向预测误差，与上述的第二宏块数据一样，也计算第三宏块数据的分布值，然后将所计算的分布值与所选择的一个前向最小预测误差、后向最小预测误差或者双向预测误差(在下文中特别称为选择的预测误差)进行比较。

结果，运动矢量检测器4确定，如果分布值小于所选择的预测误差，则第三宏块数据的像素的分布(变化)较小，因此编码数据量可能相对较小，即使按照原样对第三宏块数据进行压缩编码，因此它产生了表示通过帧内编码对第三宏块数据进行压缩编码的预测模式数据，然后将它发送给运动补偿器5和可变长度编码器6。

与之相对的是，运动矢量检测器4确定，如果分布值大于选择的预测误差，则第三宏块数据的像素的分布(变化)较大，因此很难使编码数据量较小，除非通过除了帧内编码以外的前向预测编码对第三宏块数据进行压缩编码。

在这种情况下，在选择的预测误差是前向最小预测误差时，运动矢量检测器4检测表示通过前向预测编码对第三宏块数据进行压缩编码的预测模式数据，然后将它与第三宏块数据的前向运动矢量一起发送给运动补偿器5和可变长度编码器6。

此外，在选择的预测误差是后向最小预测误差时，运动矢量检测器4检测表示通过后向预测编码对第三宏块数据进行压缩编码的预测模式数据，然后将它与第三宏块数据的后向运动矢量一起发送给运动补偿器5和可变长度编码器6。

此外，在选择的预测误差是双向最小预测误差时，运动矢量检测器4检测表示通过双向预测编码对第三宏块数据进行压缩编码的预测模式数据，然后将它与第三宏块数据的前向和后向运动矢量一起发送给运动补偿器5和可变长度编码器6。

然后，在表示帧内编码应用到第三宏块数据的预测模式数据是来自运动矢量检测器4时，运动补偿器5停止对第三宏块数据的运动补偿处理。

此外，在第三宏块数据的前向运动矢量和表示前向预测编码的预测模式数据从运动矢量检测器4中给出时，运动补偿器5执行运动补偿处理，并从参考帧存储器13中读取在比第三宏块数据更朝前的一侧(以过去时间方式)上的第一或第二帧图像数据以用于参考目的，并基于前向运动矢量从所读取的第一或第二帧图像数据中抽取与第三宏块数据最佳匹配的块操作数据，然后将它发送给控制器3和加法器12。

此外，在第三宏块数据的后向运动矢量和表示后向预测编码的预测模式数据从运动矢量检测器4中给出时，运动补偿器5也执行运动补偿处理，并从参考帧存储器13中读取在比第三宏块数据更朝后的一侧(以将来时间方式)上的第一或第二帧图像数据以用于参考目的，并基于后向运动矢量从所读取的第一或第二帧图像数据中抽取与第三宏块数据最佳匹配的块操作数据，然后将它发送给控制器3和加法器12。

除此之外，在第三宏块数据的前向和后向运动矢量和表示双向预测编码的预测模式数据从运动矢量检测器4中给出时，运动补偿器5也执行运动补偿处理，并从参考帧存储器13中读取在比第三宏块数据更朝前的一侧(以过去时间方式)上的第一或第二帧图像数据和在比第三宏块数据更朝后的一侧(以将来时间方式)上的第一或第二帧图像数据以用于参考目的。

然后，运动补偿器5基于前向运动矢量从在前向侧上的第一或第二帧图像数据中抽取与第三宏块数据最佳匹配的块操作数据，并且还基于后向运动矢量从后向侧上的第一或第二帧图像数据中抽取与第三宏块数据最佳匹配的块操作数据，然后通过对所抽取的两段块操作数据进行平均产生平均的块操作数据并将它发送给控制器3和加法器12。

在选择帧内编码作为从输入帧存储器2中读取的第三宏块数据的预测模式时，控制器3将第三宏块数据按照原样发送给离散余弦变换器7，因为从运动补偿器5中没有给出数据。

因此，在选择帧内编码作为第三宏块数据的预测模式时，运动图像编码设备1使离散余弦变换器7、量化器8、可变长度编码器6、缓冲器9、去量化器10、反向离散余弦变换器11、加法器12和参考帧存储器13每个都象对上述的第一宏块数据进行压缩编码时一样地运行，由此对第三宏块数据连同量化级和预测模式数据一起执行可变长度编码，然后将所获得的编码数据输出到外面，并且还对经压缩的第三宏块数据进行解码并将它存储在参考帧存储器13中。

此外，在选择前向预测编码、后向预测编码和双向预测编码选择为从输入帧存储器2中读取的第三宏块数据的预测模式时，控制器3从第三宏块数据中减去从运动补偿器5中给出的平均的块操作数据或者块操作数据，然后将所获得的差值数据发送到离散余弦变换器7。

在这种情况下，离散余弦变换器7对从控制器3中给出的差值数据进行离散余弦变换，并将所获得的离散余弦变换系数发送给量化器8。

此外，量化器8与上述处理第一宏块数据的情况一样基于所选择的相应的量化级对离散余弦变换系数进行量化，然后将所获得的量化系数连同量化级一起发送给可变长度编码器6和去量化器10。

在前向预测编码被选择为作为量化系数的基础的第三宏块数据的预测模式时，可变长度编码器6对以赫夫曼编码等对该量化系数进行可变长度编码，并且对相应的量化级、预测模式数据(表示前向预测编码)和前向运动矢量也执行可变长度编码，然后通过缓冲器9将由此所获得的编码数据输出外部。

此外，在后向预测编码被选择为作为量化系数的基础的第三宏块数据的预测模式时，可变长度编码器6对以赫夫曼编码等对该量化系数进行可变长度编码，并且对相应的量化级、预测模式数据(表示后向预测编码)和后向运动矢量也执行可变长度编码，然后通过缓冲器9将由此所获得的编码数据输出外部。

此外，在双向预测编码被选择为作为量化系数的基础的第三宏块数据的预测模式时，可变长度编码器6对以赫夫曼编码等对该量化系数进行可变长度编码，并且对相应的量化级、预测模式数据(表示双向预测编码)和前向和后向运动矢量也执行可变长度编码，然后通过缓冲器9将由此所获得的编码数据输出外部。

在这时，去量化器10基于从量化器8中给出的量化级对同样从量化器8中给出的量化系数进行去量化，并将所获得的离散余弦变换系数发送给反向离散余弦变换器11。

此外，反向离散余弦变换器11对从去量化器10中给出的离散余弦变换系数执行反向离散余弦变换，并将所获得的差值数据发送给加法器12。

然后，加法器12将来自反向离散余弦变换器11的差值数据和这时来自运动补偿器5的平均块操作数据或者块操作数据相加，并将所获得的第三宏块数据发送给参考帧存储器13以将它存储在其中。

因此，在运动图像编码设备1基于第三宏块数据对第三帧图像数据进行顺序压缩编码时，它还重构在参考帧存储器13中的第三帧图像数据。

因此，通过重复I-图像、P-图像和在I-图像和P-图像之间或者在两个P-图像之间的B-图像的顺序，运动图像编码设备1基于帧图像数据对运动图像数据顺序地压缩编码，然后将所获得的编码数据输出到外部。

顺便指出，对于使用运动图像编码设备1的运动图像数据的这种发布，通过运动图像编码设备1以与因特网的数据传输率兼容的相对较高的压缩率对运动图像数据进行压缩编码，因此提供给用户的运动图像的图像质量(表示是否有噪声的程度)降低，因此人们日益需要使发布的运动图像的图像质量更高。

因此，对于运动图像数据的这种发布，提供了这样的一种方法，即从要提供给运动图像编码设备1的运动图像数据中以预定的间隔预先排除帧图像数据以改变帧频(即，每单位时间在运动图像中的帧图像的数量)，然后进行压缩编码。

根据这种方法，可以认为，由于通过降低运动图像数据的帧频可以减小每单元时间要压缩编码的帧图像数据段的数量，可以以相对较低的压缩率对剩余的帧图像数据进行压缩编码，因此可以使提供给用户的运动图像的图像质量更高。

然而，根据这种方法，仅仅以与在运动图像中的图像的变化无关的预定的间隔从运动图像数据中排除帧图像数据，这造成了这样的问题，即，如果运动图像的图像在排除之后剩余的帧图像数据之间显著变化，于是压缩率变化，因此提供给用户的运动图像的图像质量变化。

此外，在运动图像数据的这种发布中，已经提出了这样的方法：在该方法中运动图像编码设备1从运动图像数据的连续帧图像数据中顺序地跟踪并抽取任意形状的图像数据，并对所抽取的图像数据(在下文中称为抽取图像数据)进行压缩编码。

通过这种方法，因为从运动图像数据中抽取连续的抽取图像数据，因此可以减小要压缩编码的数据的数据量，以相对较低的压缩率对连续抽取图像数据进行顺序压缩编码，结果，可以将作为运动图像的一部分的连续的抽取图像提供给用户，同时使它的图像质量更高。

在这种方法中，对于每帧图像数据检测每段宏块数据的运动矢量，并通过使用所检测的运动矢量在帧图像数据中顺序地跟踪任意形状的抽取图像数据。

此外，在这种方法中，对于每帧图像数据检测每段宏块数据的运动矢量，并基于跟踪抽取图像数据的结果，与从帧图像数据中顺序抽取的抽取图像数据一起对所检测的运动矢量进行压缩编码。

因此，这种方法存在的问题是，因为，每次为了抽取图像数据的跟踪和压缩编码，检测宏块数据的运动矢量，所以检测运动矢量的操作量增加，结果，抽取图像数据的压缩编码需要许多处理时间。

发明内容

考虑到上述的问题实施本发明，并且本发明希望提供一种能够适当提供具有理想的图像质量的运动图像的运动图像编码设备和方法。

为解决上述问题，本发明提供一种运动图像编码设备，包括：

基于帧图像数据对运动图像数据顺序地压缩编码以产生编码数据的压缩编码装置；

累积所述编码数据一次然后将其输出的缓冲器；

根据所述缓冲器的累积数据量改变所述运动图像数据的帧频的帧频改变装置；以及

检测在所述帧图像数据之间的运动矢量并结合运动矢量的检测计算在所述帧图像数据之间的相关值的运动矢量检测装置，

其中，所述压缩编码装置基于所述帧图像数据通过使用所述运动矢量的运动补偿预测编码对所述运动图像数据顺序地压缩编码；

其中，所述帧频改变装置基于在所述帧图像数据之间的所述相关值预测所述编码数据的编码数据量，并根据所述累积数据量和预测的编码数据量改变所述运动图像数据的所述帧频；并且

其中，在由于所述帧频的所述变化的缘故从所述运动图像数据中排除所述帧图像数据时，所述运动矢量检测装置对由于所述帧频的变化被排除的所述帧图像数据的所述运动矢量和使用被排除的帧图像数据作为参考的所述其它帧图像数据的所述运动矢量进行合成来再检测在所述其它的帧图像数据和用于参考的新分配的帧图像数据之间的所述运动矢量。

根据本发明的另一方面，提供一种运动图像编码方法，包括：

基于帧图像数据对运动图像数据顺序地压缩编码以产生编码数据的压缩编码步骤；

将所述编码数据在缓冲器中累积一次然后输出它的输出步骤；

根据所述缓冲器的累积数据量改变所述运动图像数据的帧频的帧频改变步骤；以及

检测在所述帧图像数据之间的运动矢量并结合运动矢量的检测计算在所述帧图像数据之间的相关值的运动矢量检测步骤，

其中所述压缩编码步骤基于所述帧图像数据通过使用所述运动矢量的运动补偿预测编码顺序地压缩编码所述运动图像数据；

所述帧频改变步骤基于在所述帧图像数据之间的所述相关值预测所述编码数据的编码数据量，并根据所述累积数据量和预测的编码数据量改变所述运动图像数据的所述帧频；并且

其中，在由于所述帧频的所述变化的缘故从所述运动图像数据中排除所述帧图像数据时，所述运动矢量检测步骤对由于所述帧频的变化被排除的所述帧图像数据的所述运动矢量和使用被排除的帧图像数据作为参考的所述其它帧图像数据的所述运动矢量来再检测在所述其它的帧图像数据和用于参考的新分配的帧图像数据之间的所述运动矢量。因此，基于运动图像数据根据在运动图像的图像中的变化可以适当地改变每单位时间要压缩编码的帧图像数据段的数量，由此稳定了压缩率，因此稳定了运动图像的图像质量，因此适当提供了具有所需的图像质量的运动图像。

此外，考虑到上述的问题实施本发明，并且本发明希望提供一种能够加速在任意形状的抽取图像数据的压缩编码处理的运动图像编码设备。

为了解决上述问题，在本发明中，低层运动矢量检测检测装置在比规定的层更低的层中检测运动图像数据的连续帧图像数据之间的简单运动矢量，跟踪装置通过使用该简单运动矢量在运动图像数据的连续帧图像数据中抽取任意形状的抽取图像数据，高层运动矢量检测装置共享简单运动矢量以在比规定的层更高的层中检测运动图像数据的连续帧图像数据之间的原始图像级的运动矢量，以及压缩编码装置使用运动矢量通过运动补偿预测编码对所抽取的抽取图像数据进行压缩编码，同时基于跟踪抽取图像数据的结果从运动图像数据的连续帧图像数据中顺序地抽取抽取图像数据

因此，与分别地检测用于抽取图像数据的跟踪的运动矢量和抽取图像数据的压缩编码的情况相比较，可以极大地降低检测运动矢量的操作量，因此使得可以加速以任意形状的抽取图像数据的压缩编码处理。

附图说明

附图1所示为在运动图像数据发布系统中的运动图像数据的发布形式的原理图。

附图2所示为根据部门的运动图像编码设备的电路构造的第一实施例的方块图。

附图3所示为解释分配给运动图像数据的帧图像数据的图像类型的示意性附图。

附图4所示为解释运动图像数据的压缩编码的示意性附图。

附图5所示为解释在运动图像数据的帧频中的变化的示意性附图。

附图6所示为运动图像数据的压缩编码程序的流程图。

附图7所示为运动图像数据的压缩编码程序的流程图。

附图8所示为分配给运动图像数据的帧图像数据的I-图像、P-图像和B-图像的示意性附图。

附图9所示为解释在运动图像数据的帧频变化时运动矢量的再检测的示意性附图。

附图10所示为根据本发明的第二实施例的运动图像编码设备的电路构造的方块图。

附图11所示为解释分层宏块数据和分层帧图像数据的产生的示意性附图。

附图12所示为解释分层搜索运动矢量检测方法的示意性附图。

附图13所示为运动图像数据的压缩编码过程的流程图。

附图14所示为运动图像数据的压缩编码过程的流程图。

附图15所示为根据第三实施例的运动图像编码设备的电路构造的方块图。

附图16所示为解释帧图像的抽取图像的任意形状和初始位置的详细描述的示意性附图。

附图17所示为解释在帧图像之间的抽取图像的跟踪的示意性附图。

附图18所示为屏蔽图像的结构的示意性附图。

附图19所示为解释使用屏蔽图像数据确定第二宏块数据的示意性附图。

附图20所示为解释与边缘重叠的第二宏块数据的运动矢量的检测的示意性附图。

附图21所示为运动图像数据的压缩编码过程的流程图。

附图22所示为运动图像数据的压缩编码过程的流程图。

附图23所示为运动图像数据的压缩编码过程的流程图。

附图24所示为运动图像数据的压缩编码过程的流程图。

附图25所示为解释指定帧图像的抽取图像的任意形状的方法的示意性附图。

附图26所示为常规的运动图像编码设备的电路构造的方块图。

具体实施方式

在下文中，参考附图详细地描述本发明的实施例。

(1)在运动图像数据发布系统中的运动图像数据发布形式

如在附图1中所示，运动图像数据发布系统20具有运动图像编码设备21，在这种运动图像编码设备21中在发送器侧应用通过组织比如ISO/IEC(国际标准化组织/国际电化学委员会)标准化的称为MPEG4(运动图象专家组4)的压缩编码方法。

这种MPEG4标准规定了以几乎与MPEG2标准相同的方式基于帧图像数据对运动图像数据进行顺序压缩编码，此外，它还能够改变运动图像数据的帧频(即，每单位时间在运动图像中的帧图像的数量)。

此外，这种MPEG4标准规定了能够跟踪并从运动图像的连续帧图像中抽取任意形状的图像，并能够对所抽取的图像(在下文中称为抽取图像)的数据(在下文中称为抽取图像数据)进行顺序压缩编码。

因此，在运动图像数据发布系统20中，通过在发送器侧以摄像机22对物体拍摄所获得的运动图像捕获到运动图像编码设备21中，然后运动图像编码设备21对该运动图像数据进行压缩编码同时适当地改变它的帧频，或者从运动图像数据中抽取抽取图像数据并对它进行压缩编码同时适当地改变它的帧频，然后将所获得的编码位流从网络传输设备23通过因特网24发送到接收器侧的个人计算机25。

一旦通过因特网24接收到从网络传输设备23发送的编码的位流，个人计算机25对所接收的编码的位流进行解码并将它发送到显示器以在显示器上显示已经改变了帧频的运动图像或者已经改变了帧频的运动图像的抽取图像。

因此，这种运动图像数据发布系统20能够在适当地改变它的帧频的同时发布运动图像数据，或者从已经改变了其帧频的运动图像数据中抽取抽取图像数据并发布它，以便通过个人计算机25以更高的图像质量给用户显示运动图像或者同样以更高的图像质量显示抽取图像。

(2)第一实施例

在附图2中，参考标号30整体地表示根据第一实施例的运动图像编码设备，其中从拍摄物体的外部摄像机(未示)中输送的运动图像数据D1基于帧图像数据顺序地捕获进在帧频改变处理部分31中的输入帧存储器32，该输入帧存储器32具有记录许多帧的容量。

在这种情况下，如附图3所示，每次将帧图像数据捕获进输入帧存储器32，帧频改变处理部分31的帧结构转换器33以某一顺序将图像类型比如I-图像和P-图像分配给所捕获的帧图像数据：其中一个I-图像和预定数量的P-图像都顺序地并且交替地连续，并且在输入帧存储器32中记录表示I-图像和P-图像的图像类型和向其指定了图像类型的帧图像数据唯一的帧标识信息作为图像信息。

在I-图像被分配给在输入帧存储器32中的帧图像数据时，运动矢量检测处理部分34的运动矢量检测器35读取分配了I-图像的帧图像数据(在下文中称为第一帧图像数据)的图像信息。

运动矢量检测器35产生预测模式数据D3，该预测模式数据D3表示作为要编码的帧的标识信息的关于第一帧图像数据的帧标识信息，并且还表示通过帧内编码基于该图像信息将该第一帧图像数据顺序压缩编码为在单元宏块中的数据(在下文中称为第一宏块数据)D2，然后将所产生的预测模式数据D3发送到运动矢量缓冲器36以将它存储在其中。

此外，在将P-图像分配给在输入帧存储器32中的帧图像数据时，运动矢量检测器35读取关于分配了P-图像的帧图像数据(在下文中称为第二帧图像数据)的图像信息。

运动矢量检测器35产生预测模式数据D5，该预测模式数据D5表示作为要编码的帧的标识信息的关于第二帧图像数据的帧标识信息，并且还表示通过前向预测编码基于该图像信息将该第二帧图像数据顺序压缩编码为在单元宏块中的数据(在下文中称为第二宏块数据)D4。

除此之外，运动矢量检测器35从输入帧存储器32中基于第二宏块数据D4顺序地读取第二帧图像数据，并还读取在前向侧(以过去时间方式)上的第二帧图像数据附近的第一或第二帧图像数据D6，用于参考目的。

在通过块匹配的方法将第二宏块数据D4与在用于参考的第一或第二帧图像数据D6的预定的搜索范围内用于比较的许多块数据顺序地关联起来的同时，运动矢量检测器35计算在第二宏块数据D4中的像素的像素值和与其相对应的用于比较的块数据的像素的像素值之间的差值(在下文中称为预测误差)。

然后，运动矢量检测器35从在第二宏块数据D4和相对应的用于比较的块数据之间顺序地计算的预测误差中选择最小值的预测误差(在下文中特别称为最小预测误差)。

运动矢量检测器35在获得最小预测误差时所使用的用于比较的块数据(在下文中称为近似块数据)作为与第二宏块数据D4最佳匹配的最佳匹配数据，以便基于所检测的近似块数据的运动量和第二宏块数据D4检测第二宏块数据D4的运动矢量D7。

因此，运动矢量检测器35产生用于在输入帧存储器32中的第二帧图像数据的预测模式数据D5，在它检测在第二帧图像数据中的每段第二宏块数据D4的运动矢量D7时，它将预测模式数据D5与运动矢量D7关联起来，然后将它们发送给运动矢量缓冲器36以将它们存储在其中。

在帧图像数据顺序地捕获在输入帧存储器32中并如上分配I-图像和P-图像时，运动矢量检测器35每次同样地产生预测模式数据D3和D5，并检测每段第二宏块数据D4的运动矢量D7，然后将它发送给运动矢量缓冲器36以将它存储在其中。

在运动矢量检测器35从在输入帧存储器32中的领先的第一帧图像数据中通过预定数量的帧依次产生帧图像数据的预测模式数据D3和D5时，压缩编码部分37开始对第一和第二帧图像数据进行压缩编码，并也检测每段第二宏块数据D4的运动矢量D7。

实际上，在压缩编码部分37开始对第一和第二帧图像数据进行压缩编码时，控制器38从输入帧存储器32中基于第一宏块数据D2读取领先的第一帧图像数据。

在第一和第二帧图像数据的压缩编码开始时，运动补偿器39开始以第一和第二帧图像数据的压缩编码的顺序从运动矢量缓冲器36中读预测模式数据D3、预测模式数据D5和运动矢量D7，在控制器38从输入帧存储器32中读取第一宏块数据D2时停止基于从运动矢量缓冲器36中读取的预测模式数据D3(表示帧内编码)对第一宏块数据D2的运动补偿处理。

因此，控制器38从输入帧存储器32中读取第一宏块数据D2，并将第一宏块数据D2按照原样发送给离散余弦变换器40，因为在这时从运动补偿器39中没有给出数据。

离散余弦变换器40对从控制器38中给出的第一宏块数据D2执行离散余弦变换，并将所获得的离散余弦变换系数K1发送给量化器41。

量化器41检测在缓冲器42中的累积编码数据量(在下文中称为累积数据量)DR，该缓冲器42以预定的间隔提供在输出级中，并根据所检测的累积数据量DR选择量化级ST。

量化器41由此基于对应的量化级ST对从离散余弦变换器40中给出的离散余弦变换系数K1进行量化，并将所获得的量化系数K2与用于该量化的量化级ST一起发送给可变长度编码器43和去量化器44。

在第一和第二帧图像数据的压缩编码开始时，可变长度编码器43开时从运动矢量缓冲器36中以第一和第二帧图像数据的压缩编码的顺序读取预测模式数据D3、预测模式数据D5和运动矢量D7，并以赫夫曼编码等对从量化器41中给出的量化系数K2进行可变长度编码，并且也对从量化器41中给出的量化级ST和从运动矢量缓冲器36中读取的相应的预测模式数据D3执行可变长度编码，以便在缓冲器42中累积所获得的编码数据D10一次并将它作为已经平滑了的编码的数据量的编码位流BS1输出到外部。

这样，运动图像编码设备30能够基于第一宏块数据D2通过帧内编码对在输入帧存储器32中的第一帧图像数据进行顺序压缩编码。

此外，去量化器44基于同样从量化器41中给出的量化级ST对来自量化器41的量化系数K2进行去量化，并将所获得的离散余弦变换系数K3发送到反向离散余弦变换器45中。

反向离散余弦变换器45对来自去量化器44的离散余弦变换系数K3进行反向离散余弦变换并将所获得的第一宏块数据D11发送给加法器46。

在从反向离散余弦变换器45中接收第一宏块数据D11时，加法器46将第一宏块数据D11按照原样发送给具有许多帧的记录容量的参考帧存储器47，由此将它存储在其中，因为这时运动补偿器39没有提供数据。

因此，每次通过第一帧图像数据的压缩编码从反向离散余弦变换器45中顺序地给出第一宏块数据D11，加法器46将第一宏块数据D11按照原样发送给参考帧存储器47以将它存储在其中，以便在参考帧存储器47中以第一宏块数据D11重构第一帧图像数据以在运动补偿处理中用于参考目的。

此外，控制器38从输入帧存储器32中读取在第一帧图像数据中的所有的第一宏块数据D2，然后基于第二宏块数据D4读取在输入帧存储器32中作为编码的对象的第二帧图像数据。

这时，运动补偿器39基于从运动矢量缓冲器36中所读取的相应的预测模式数据D5(表示前向预测编码)执行运动补偿处理，并从参考帧存储器47中读取在这时在前向侧上(以过去时间方式)是编码的对象的第二帧图像数据的附近的第一或第二帧图像数据用于参考目的。

然后，运动补偿器39基于从运动矢量缓冲器36中给出的相应的第二宏块数据D4的运动矢量D7从用于参考的第一或第二帧图像数据中抽取与第二宏块数据D4最佳匹配的块操作数据D12，然后将它发送给控制器38和加法器46。

因此，控制器38从输入帧存储器32中读取第二宏块数据D4，从第二宏块数据D4中减去从运动补偿器39中给出的块操作数据D12，然后将所获得的差值数据D13发送给离散余弦变换器40。

在这种情况下，离散余弦变换器40对从控制器38中给出的差值数据D13执行离散余弦变换，并将所获得的离散余弦变换系数K4发送给量化器41。

此外，与上述处理第一宏块数据的情况完全一样，量化器41基于所选择的相应量化级ST对从离散余弦变换器40中给出的离散余弦变换系数K4进行量化，并将所获得的量化系数K5连同它的量化级ST一起发送给可变长度编码器43和去量化器44。

可变长度编码器43由此以赫夫曼编码等对来自量化器41的量化系数K5执行可变长度编码，也对来自量化器41的量化级ST、相应的预测模式数据D5和从运动矢量缓冲器36中读取的预测模式数据D7执行可变长度编码，然后将所获得的编码数据D14积累在缓冲器42中一次并将它作为由此已经平滑了的编码的数据量的编码位流BS1输出到外部。

因此，运动图像编码设备30能够基于第二宏块数据D4通过前向预测编码对在输入帧存储器32中的第二帧图像数据进行顺序压缩编码。

这时，去量化器44基于同样从量化器41中给出的量化级ST对从量化器41中给出的量化系数K5进行去量化，并将所获得的离散余弦变换系数K6发送给反向离散余弦变换器45。

此外，反向离散余弦变换器45对从去量化器44中给出的离散余弦变换系数K46进行反向离散余弦变换并将所获得的差值数据D15发送给加法器46。

在从反向离散余弦变换器45中给出差值数据D15时，加法器46将差值数据D15和块操作数据D 13相加，因为这时块操作数据D13是从运动补偿器39中给出，然后将所获得的第二宏块数据D16发送到参考帧存储器47以将它存储在其中。

如上文所述，每次通过第二帧图像数据的压缩编码从反向离散余弦变换器45中给出差值数据D15，加法器46通过将差值数据D15和与其对应的块操作数据D13相加而产生第二宏块数据D16，并将所产生的第二宏块数据D16发送给参考帧存储器47以将它存储在其中，以便在参考帧存储器47中以第二宏块数据D16重构第二帧图像数据以在运动补偿处理的过程中用于参考的目的。

因此，如附图4所示，运动图像编码设备30基于帧图像数据对运动图像数据D1进行顺序压缩编码，即，通过帧内预测编码对I-图像的数据进行压缩编码并通过使用在过去一帧的I-图像或者P-图像的前向预测编码对P-图像的数据进行压缩编码，因此可以将所获得的编码位流BS1输出到外部。

除了这种结构以外，在这种运动图像编码设备30(附图2)的情况下，每次运动矢量检测器35检测一个帧的第二宏块数据D4每段的运动矢量D7，它利用在第二宏块数据D4和用于参考的第一或第二帧图像数据D6之间计算的预测误差，然后计算在作为编码的对象的第二帧图像数据的像素的像素值和用于参考的第一或第二帧图像数据D6的相应的像素的像素值之间的差值的绝对值之和SH1(在下文中称为帧间相关值)，然后将所计算的帧间相关值SH1发送到帧结构转换器33。

因此，以为在发布的每个目的地上得到所需的图像质量的运动图像而选择的压缩率(在下文中称为选择的压缩率)在对作为编码的对象的第一和第二帧图像数据进行压缩编码的情况下，帧结构转换器33基于从运动矢量检测器35中给出的帧间相关值SH1预测所获得的编码数据D10和D14的数据量(在下文中称为预测编码数据量)。

一旦开始对作为编码对象的第一和第二帧图像数据进行压缩编码，帧结构转换器33检测以预定的间隔的缓冲器42中的累积数据量DR，即，每次例如对一帧的第一和第二帧图像数据进行压缩编码，并且还将累积数据量DR的检测量与当前的预定的第一阈值和比第一阈值更小的第二阈值进行比较。

结果，如果累积数据量DR落在第一和第二阈值之间的范围内，则帧结构转换器33确定它几乎能够以所选择的压缩率对在检测累积数据量DR时正压缩编码的第一或第二帧图像数据之后作为编码对象的第一或第二帧图像数据进行压缩编码，因此能够保持运动图像数据D1的帧频不变。

与之相反的是，如果累积数据量DR大于第一阈值，则帧结构转换器33确定缓冲器42溢出并且运动图像的图像质量根据压缩率的变化而降低，除非通过以比所选择的压缩率更高的压缩率对在检测累积数据量DR时正压缩编码的第一或第二帧图像数据之后作为编码对象的第一或第二帧图像数据进行压缩编码来减小编码数据量。

在这种情况下，基于在这时正压缩编码的第一或第二帧图像数据之后作为编码对象的预定数量的帧的第一和第二帧图像数据的预测编码数据量和从缓冲器42中输出的编码位流BS1的位速率，帧结构转换器33估算在以所选择的压缩率对预定数量的帧的第一和第二帧图像数据进行压缩编码时的累积数据量DR。

帧结构转换器33基于所估算的累积数据量DR和第一和第二阈值从预定数量的帧的第一和第二帧图像数据中选择一段或多段第二帧图像数据，并使所选择的第二帧图像数据从输入帧存储器32中不可读以便排除中，由此降低或改变了运动图像数据D1的帧频。

因此，即使基于运动图像数据D1由于在运动图像中的图像的突然变化等造成的在累积数据量DR与从第一和第二帧图像数据中所获得的编码数据量一起增加时，输入帧存储器32仍然能够基于增加的累积数据量DR降低运动图像数据D1的帧频，由此能够降低每单位时间要压缩编码的第一和第二帧图像数据段数，由此能够防止累积数据量DR的突然增加，以便能够预先防止压缩率的突然增加和运动图像的图像质量的突然降低。

除此之外，在使用预定数量的帧的第一和第二帧图像数据的预测编码数据量降低运动图像数据D1的帧频时，甚至在基于运动图像数据D1在运动图像中图像在许多帧上移动十分艰难时(即，在连续的第一和第二帧图像数据之间的帧间相关值SH1相对较低时)，帧结构转换器33仍然能够事先降低每单位时间的要压缩编码的第一和第二帧图像数据的数量，以便预先防止在许多帧上的压缩率变得相对较高，并且防止在许多帧上的运动图像的图像质量不降低。

此外，即使由此降低了运动图像数据D1的帧频，帧结构转换器33也能够检测缓冲器42的累积数据量DR，并且在所检测的累积数据量DR小于第二阈值时，它确定，即使作为编码对象的第一和第二帧图像数据增加并且对其进行压缩编码，在发布的目的地上仍然能够保持运动图像的所需的图像质量。

在这时，基于在这时正压缩编码着的第一和第二帧图像数据之后作为编码对象的预定数量的帧的第一和第二帧图像数据(在排除之后剩余的第一和第二帧图像数据)的预测编码数据量和从预定数量的帧的第一和第二帧图像数据中已经排除的一段或多段第二帧图像数据和从缓冲器42中输出的编码位流BS1的位速率，帧结构转换器33估计以选择的压缩率对预定数量的帧的第一和第二帧图像数据和所排除的第二帧图像数据进行压缩编码的情况的累积数据量DR。

基于所估算的累积数据量DR和第一和第二阈值，帧结构转换器33从已经由预定数量的第一和第二帧图像数据中排除的第二帧图像数据中选择一段或多段第二帧图像数据以取消排除，并通过使所选择的第二帧图像数据可从输入帧存储器32中读取来取消排除，以便增加并改变降低的帧频以使不超过预定的帧频。

因此，即使在由于运动图像等的图像的变化突然降低在累积数据量DR连同从第一或第二帧图像数据中所获得的编码数据量一起基于运动图像数据D1降低时，帧结构转换器33仍然能够基于降低的累积数据量DR升高运动图像数据D1的帧频，由此增加每单位时间要压缩编码的第一和第二帧图像数据的数量，由此增加在第一和第二阈值的范围内的累积数据量DR，以防止运动图像的图像质量不变得高于所需的图像质量并能够防止由于运动图像数据D1的帧图像数据的连续排除引起的变化。

除此之外，使用预定数量的帧的第一和第二帧图像数据的预测编码数据量和从预定数量的帧的第一和第二帧图像数据中已经排除的第二帧图像数据，在升高运动图像数据D1的帧频时，甚至在运动图像中基于运动图像数据D1在图像中的变化在许多帧上十分稳定时(即，在连续的帧图像数据之间的帧间相关值SH1相对较高时)，帧结构转换器33仍然能够事先增加每单位时间的要压缩编码的第一和第二帧图像数据的数量，以便防止在许多帧图像数据上运动图像数据D1的连续排除。

实际上，如附图5(A)至(C)所示，在帧结构转换器33降低运动图像数据D1的帧频时，它留下第一帧图像数据以便在对编码位流BS1进行解码时允许对运动图像数据D1进行充分地解码。

此外，结合帧频的变化在从运动图像数据D1中排除许多帧图像数据时，帧结构转换器33能够例如每隔一帧地排除第二帧图像数据，由此防止基于运动图像数据D1的运动图像的连续性显著地受到损害。

此外，如果将第二帧图像数据从运动图像数据D1中排除，在后向侧(以将来时间方式)上在排除的第二帧图像数据的附近的剩余的第二帧图像数据要求运动矢量的再检测，因为以所排除的第二帧图像数据作为参考检测每段宏块数据D4的运动矢量。

因此，在帧结构转换器33从运动图像数据D1的连续的第一和第二帧图像数据中每隔一帧地排除一段或多段第二帧图像数据时，它产生运动矢量再检测标志FG1，该运动矢量再检测标志FG1表示关于所排除的第二帧图像数据(在下文中特别称为排除的帧图像数据)的帧标识信息(在下文中特别称为排除的帧标识信息)和关于由于排除的缘故要求每段宏块数据D4的运动矢量的再检测的第二帧图像数据(在下文中特别称为再检测帧图像数据)的帧标识信息(在下文中特别称为再检测帧标识信息)，并且它还表示由于排除的缘故要求运动矢量的再检测，然后将它发送给运动矢量再检测器48。

因此，如附图5(C)所示，在从帧结构转换器33中接收运动矢量再检测标志FG1时，运动矢量再检测器48从输入帧存储器32中读取由运动矢量再检测标志FG1所指定的再检测帧标识信息所指示的再检测帧图像数据的图像信息，并由此产生预测模式数据D5，该预测模式数据D5表示关于再检测帧图像数据的帧标识信息并且还表示基于所读取的图像信息通过前向预测编码在宏块数据D4的基础上对再检测帧图像数据进行顺序压缩编码。

此外，在这时运动矢量再检测器48基于第二宏块数据D4从输入帧存储器32中顺序地读取由运动矢量再检测标志FG1所指定的再检测帧标识信息所指示的再检测帧图像数据，并且还读取由于排除的缘故在前向侧上再检测帧图像数据最近的第一或第二帧图像数据D6以用于参考的目的。

与上述的运动矢量检测器35一样，在通过块匹配方法使第二宏块数据D4与在用于参考的第一或第二帧图像数据D6的预定的搜索范围内用于比较的多个块数据顺序地关联起来时，运动矢量再检测器48检测具有最小预测误差的近似块数据，以便基于第二宏块数据D4和所检测的近似块数据的运动量检测第二宏块数据D4的运动矢量D17。

因此，运动矢量再检测器48产生再检测帧图像数据的预测模式数据D5，并且在它检测在再检测帧图像数据中的每段第二宏块数据D4的运动矢量D17时，它将预测模式数据D5与每个运动矢量D17关联起来并将它们发送给运动矢量缓冲器36以将它们累积在其中，以便应用运动补偿器39和可变长度编码器43从运动矢量缓冲器36中可读取预测模式数据D5和每个运动矢量D17。

除此之外，在运动矢量再检测器48将预测模式数据D5和每个运动矢量D17累积在运动矢量缓冲器36中时，基于由运动矢量再检测标志FG所指定的再检测帧标识信息和被排除的帧标识信息，它使从运动矢量缓冲器36中不可读取在再检测帧图像数据的再检测之前的预测模式数据D5和运动矢量D7和所排除的帧图像数据的预测模式数据D5和运动矢量D7。

此外，在通过升高运动图像数据D1的帧频取消所排除的帧图像数据的排除时，帧结构转换器33产生运动矢量再检测标志FG2，该运动矢量再检测标志FG2表示由于排除帧图像数据的排除所引起的对其运动矢量进行再检测的再检测帧图像数据的再检测帧标识信息和关于要取消其排除的所排除的帧图像数据的排除帧标识信息，以及也表示该排除的取消，并且将它发送给运动矢量再检测器48。

因此，在运动矢量再检测标志FG2从帧结构转换器33中给出时，运动矢量再检测器48使对于再检测帧图像数据所再检测的预测模式数据D5和运动矢量D17从运动矢量缓冲器36中不可读，并且，基于再检测帧标识信息和由运动矢量再检测标志FG2所指定的排除取消帧标识信息，使在再检测之前对于再检测帧图像数据的预测模式数据D5和运动矢量D7以及所排除的帧图像数据的预测模式数据D5和运动矢量D7可读。

因此，即使在运动图像数据D1的帧频改变时，通过使用运动矢量D7和运动矢量D17，运动矢量再检测器48仍然能够对每段第一和第二帧图像数据进行充分地压缩编码。

现在，简要描述通过运动图像编码设备30的帧频改变处理部分31、运动矢量检测处理部分34和压缩编码部分37进行的运动图像数据D1的压缩编码过程。运动矢量检测处理部分34输入程序RT1的开始步骤并移动到步骤SP1，如附图6(A)和7(A)所示。

在步骤SP1中，在运动矢量检测处理部分34中，运动矢量检测器35从输入帧存储器32中基于第二宏块数据D4顺序地读取第二帧图像数据，并且也为第二帧图像数据读取用于参考的第一或第二帧图像数据D6，然后通过块匹配方法使用用于参考的第一或第二帧图像数据检测每段第二宏块数据D4的运动矢量D7，然后将运动矢量D7累积在运动矢量缓冲器36以检测一帧的每段第二宏块数据D4的运动矢量D7，然后移到步骤SP2。

在步骤SP2中，在运动矢量检测处理部分34中，运动矢量检测器35使用在检测每段第二宏块数据D4的运动矢量D7时所计算的预测误差，以便计算在从其中抽取第二宏块数据D4的第二帧图像数据和用于参考的第一或第二帧图像数据D6之间的帧间相关值SH1，然后将所计算的帧间相关值SH1发送给帧结构转换器33，并移到步骤SP3。

在步骤SP3中，运动矢量检测处理部分34使用运动矢量再检测器48来确定运动图像数据D1的帧频是否已经改变。

在步骤SP3中获得否定的结果意味着运动图像数据D1的第一和第二帧图像数据的压缩编码还没有开始或者正在以所选择的压缩率对第一和第二帧图像数据进行顺序压缩编码，并且在这种情况下，运动矢量检测处理部分34返回到步骤SP1而不通过运动矢量再检测器48执行运动矢量的再检测过程，此后它重复步骤SP1-PS2-SP3的处理环直到在运动图像数据D1的帧频的变化完成，以便顺序地检测在第二帧图像数据中的第二宏块数据D4的运动矢量D7，并且也计算在第二帧图像数据和用于参考的第一或第二帧图像数据D6之间的帧间相关值SH1。

在这种情况下，如在附图6(B)所示，压缩编码部分37输入程序RT2的开始步骤并移到步骤SP11，在步骤SP11中，例如控制器38等待通过运动矢量检测处理部分34(实际上是运动矢量检测器35)要检测的预定数量的帧的第二帧图像数据的每段第二宏块数据D4的运动矢量D7，并在检测到预定数量的帧的第二帧图像数据中的每段第二宏块数据D4的运动矢量D7时移到步骤SP12。

在步骤SP12中，压缩编码部分37开始在输入帧存储器32中的第一和第二帧图像数据的压缩编码，并将应用控制器38、离散余弦变换器40、量化器41和可变长度编码器43通过帧内编码对第一帧图像数据进行压缩编码所获得的编码数据D10在缓冲器42中累积一次，或者以从运动矢量缓冲器36中读取的运动矢量D7通过前向预测编码对第二帧图像数据进行压缩编码所获得的编码数据D14在缓冲器42中累积一次，并且应用去量化器44、反向离散余弦变换器45、加法器46和运动补偿器39在参考帧存储器47中还重构压缩编码的第一或第二帧图像数据以在运动补偿处理的过程中用于参考的目的，然后移到步骤SP13。

步骤SP13中，压缩编码部分37平滑在缓冲器42中一次累积的编码数据D10和D14的编码数据量，由此将编码数据D10和D14作为编码位流BS1输出到外部，然后移到步骤SP14。

在步骤SP14中，压缩编码部分37根据通过控制器38从输入帧存储器32中读取的第一和第二帧图像数据的读出状态确定作为编码对象的所有的第一和第二帧图像数据是否已经都压缩编码了，如果作为编码对象的所有的第一和第二帧图像数据还没有都被压缩编码，则它返回到步骤SP12。

然后，此后压缩编码部分37重复步骤SP12-PS13-SP14的处理环直到作为编码对象的所有的第一和第二帧图像数据都已经被压缩编码，以通过帧内编码对作为编码对象的第一帧图像数据进行压缩编码，也应用从运动矢量缓冲器36中读取的运动矢量D7通过前向预测编码对作为编码对象的第二帧图像数据进行压缩编码，然后将所获得的编码数据D10和D14作为编码位流BS1输出。

在另一方面，如附图6(C)和7(C)所示，帧频改变处理部分31输入程序RT3的开始步骤，并移到步骤SP21，在步骤SP21中帧结构转换器33基于从运动矢量检测器35中给出的帧间相关值SH1预测第一或第二帧图像数据的预测编码数据量，然后移到步骤SP22。

在步骤SP22中，帧频改变处理部分31确定帧结构转换器33是否已经开始了第一和第二帧图像数据的压缩编码，如果还没有开始第一和第二帧图像数据的压缩编码，则它返回到步骤SP21。

因此，输入帧存储器32重复步骤SP21-SP22的处理环直到第一和第二帧图像数据的压缩编码开始，以便顺序地预测第一和第二帧图像数据的预测编码数据量。

在压缩编码部分37中通过控制器38从输入帧存储器32中基于第一和第二宏块数据D2和D4顺序地读取第一和第二帧图像数据来开始第一和第二帧图像数据的压缩编码时，帧频改变处理部分31移到步骤SP23。

在步骤SP23中，帧频改变处理部分31以帧结构转换器33检测缓冲器42的累积数据量DR，并将所检测的累积数据量DR与第一阈值和第二阈值进行比较，以确定累积数据量DR是否是在从第一阈值到第二阈值的范围内的值。

在步骤SP23中获得肯定的结果意味着几乎可以以所选择的压缩率对在这时正在压缩编码的第一或第二帧图像数据之后的第一或第二帧图像数据进行压缩编码，并且在这种情况下，帧频改变处理部分31返回到步骤SP21而不以帧结构转换器33改变运动图像数据D1的帧频，并重复步骤SP21-SP22-SP23的处理环直到运动图像数据D1需要改变它的帧频。

此外，在步骤SP23中获得否定的结果意味着累积数据量DR是在从第一阈值到第二阈值的范围之外的值，因此它需要改变运动图像数据D1的帧频，在这种情况下，帧频改变处理部分31移到步骤SP24。

在步骤SP24中，帧频改变处理部分31以帧结构转换器33确定累积数据量DR是否是大于第一阈值的值。

在步骤SP24中获得肯定的结果意味着，由于累积数据量DR是大于第一阈值的值，因此由于在这时正在以高于所选择的压缩率的压缩率压缩编码的第一或第二帧图像数据之后的第一或第二帧图像数据引起运动图像的图像质量降低，并且在这种情况下，帧频改变处理部分31移到步骤SP25。

在步骤SP25中，基于在这时正在压缩编码的帧图像数据之后的预定数量的帧的帧图像数据的预测编码数据量和编码位流BS1的位速率，帧频改变处理部分31应用帧结构转换器33估算累积数据量DR的变化，并基于所估算的累积数据量DR和第一和第二阈值通过排除帧图像数据来降低运动图像数据D1的帧频，并将运动矢量再检测标志FG1发送给运动矢量再检测器48，然后移到步骤SP26。

相反，在步骤SP24中获得否定的结构意味着，虽然通过从运动图像数据D1中排除了第二帧图像数据来降低帧频，但是累积数据量DR仍然是比第二阈值更小的值，因此即使增加第二帧图像数据仍然能够保持运动图像的所需的图像质量，并且在这种情况下，帧频改变处理部分31移到步骤SP27。

在步骤SP27中，基于在这时正在被压缩编码的帧图像数据之后的预定数量的帧图像数据和从预定数量的帧的帧图像数据中已经排除的帧图像数据的预测编码数据量和编码位流BS1的位速率，帧频改变处理部分31应用帧结构转换器33估计在取消所排除的帧图像数据的排除时累积数据量DR的变化。

然后，帧频改变处理部分31基于估计的累积数据量DR和第一和第二阈值取消已经排除的帧图像数据的排除，由此增加降低的帧频，以便不超过规定的帧频，并将运动矢量再检测标志FG2发送给运动矢量再检测器48，然后移到步骤SP26。

在步骤SP26中，帧频改变处理部分31使用帧结构转换器33根据控制器38从输入帧存储器32中读的第一和第二帧图像数据的读出状态确定作为编码对象的所有的第一和第二帧图像数据是否已经压缩编码，如果作为编码对象的所有的第一和第二帧图像数据还没有被压缩编码，则它返回到步骤SP21。

因此，帧频改变处理部分31重复步骤SP21-SP22-SP23-SP24-SP25-SP26的处理环直到对作为编码对象的所有的第一和第二帧图像数据都进行了压缩编码，以在顺序地预测第一和第二帧图像数据的预测编码数据量的同时适当地改变运动图像数据D1的帧频。

这时，在步骤SP3中，运动矢量检测处理部分34使用运动矢量再检测器48来基于从帧结构转换器33中给出的运动矢量再检测标志FG1和FG2确定运动图像数据D1的帧频已经改变，然后移到步骤SP4中。

在步骤SP4中，运动矢量检测处理部分34应用运动矢量再检测器48结合在运动图像数据D1的帧频的变化确定是否需要再检测运动矢量D17。

在步骤SP4中获得肯定的结果意味着基于从帧结构转换器3中给出的运动矢量再检测标志FG1要再检测在所排除的第二帧图像数据的附近的再检测帧图像数据的每段第二宏块数据D4的运动矢量D17，因为已经降低了运动图像数据D1的帧频，在这种情况下，运动矢量检测处理部分34移到步骤SP5以应用运动矢量再检测器48再检测在再检测帧图像数据中的每段第二宏块数据D4的运动矢量D17，然后移到步骤SP6。

在步骤SP6中，运动矢量检测处理部分34使用运动矢量再检测器48以将基于运动矢量再检测标志FG1通过控制运动矢量缓冲器36所再检测的运动矢量D17累积一次，并且还使在再检测帧图像数据的再检测之前的运动矢量D7和所排除的帧图像数据的运动矢量D7不可读，然后移到步骤SP7。

相反，在步骤SP4中获得否定的结果意味着不需要再检测运动矢量D17，因为运动图像数据D1的帧频已经增加，在这种情况下，运动矢量检测处理部分34移到步骤SP6。

在步骤SP6中，运动矢量检测处理部分34使用运动矢量再检测器48来基于从帧结构转换器3中给出的运动矢量再检测标志FG2控制运动矢量缓冲器36以使为再检测帧图像数据而再检测的运动矢量D17不可读，并且使在再检测帧图像数据的再检测之前的运动矢量D7和被排除的帧图像数据的运动矢量D7可读以取消排除，然后移到步骤SP7。

在步骤SP7中，运动矢量检测处理部分34确定运动矢量检测器35是否已经检测了在输入帧存储器32中在所有的第一和第二帧图像数据中的第一和第二宏块数据D2和D4的运动矢量，并且如果还没有检测在输入帧存储器32中的所有的第一和第二帧图像数据中的第一和第二宏块数据D2和D4的运动矢量，则它返回到步骤SP1。

因此，在检测第一和第二宏块数据D2和D4的运动矢量的第一和第二帧图像数据存储在输入帧存储器32中的同时，运动矢量检测处理部分34重复步骤SP1-SP2-SP3-SP4-SP5-SP6-SP7的处理环，由此顺序地检测在输入帧存储器32中的第一和第二帧图像数据中的第一和第二宏块数据D2和D4的运动矢量D7，并且还适当地再检测在再检测帧图像数据中的每段第二宏块数据D4的运动矢量D17。

在步骤SP7中，运动矢量检测处理部分34检测在输入帧存储器32中的所有的第一和第二帧图像数据中的第一和第二宏块数据D2和D4的运动矢量D7，然后移到步骤SP8中。

在步骤SP8中，运动矢量检测处理部分34根据通过运动补偿器39从运动矢量缓冲器36中读的运动矢量D7和D17的读出状态确定是否已经压缩编码了作为编码对象的所有的第一和第二帧图像数据，如果还没有完成第一和第二帧图像数据的压缩编码，则它返回到步骤SP3。

此后，运动矢量检测处理部分34重复步骤SP3-SP4-SP5-SP6-SP7-SP8的处理环直到作为编码对象的所有的第一和第二帧图像数据都被压缩编码，以便适当地再检测在再检测帧图像数据中的每段第二宏块数据D4的运动矢量D17。

因此，压缩编码部分37重复步骤SP12-SP13-SP14的处理环直到作为编码对象的所有的第一和第二帧图像数据都被压缩编码，但在由于降低了运动图像数据D1的帧频造成为再检测帧图像数据而再检测运动矢量D17时，通过使用从运动矢量缓冲器36中读取的运动矢量D17通过前向预测编码，对作为编码对象的第二帧图像数据进行压缩编码。

在步骤SP14中在压缩编码部分37确定对作为编码对象的所有的第一和第二帧图像数据已经进行压缩编码时，它移到步骤SP15以完成在压缩编码部分37中的过程。

此外，在压缩编码部分37完成了处理过程时，在步骤SP26中帧频改变处理部分31确定作为编码对象的所有的第一和第二帧图像数据已经被压缩编码，并移到步骤SP28以完成在帧频改变处理部分31中的处理过程，并且在步骤SP8中运动矢量检测处理部分34还确定对作为编码对象的所有的第一和第二帧图像数据都已经压缩编码并移到步骤SP9中以完成在运动矢量检测处理部分34中的处理过程，因此完成了在运动图像编码设备30中的运动图像数据D1的压缩编码过程。

在上述的结构中，运动图像编码设备30基于帧图像数据将从外部输送的运动图像数据D1顺序地捕获到输入帧存储器32中，并以预定的顺序给捕获到输入帧存储器32中的帧图像数据分配I-图像或P-图像。

在运动图像编码设备30中，运动矢量检测器35基于第二宏块数据D4顺序地读取在输入帧存储器32中的第二帧图像数据，以便检测所读取的每段第二宏块数据D4的运动矢量D7。

在这种状态下，在运动图像编码设备30中，压缩编码部分37基于第一宏块数据D2从输入帧存储器32中顺序地读取第一帧图像数据，并通过帧内编码对它进行压缩编码，并将所获得的编码数据D10在缓冲器42中累积一次，此外，基于第二宏块数据D4从输入帧存储器32中顺序地读取第二帧图像数据，并使用相应的运动矢量D7通过前向预测编码对它进行压缩编码，并将所获得的编码数据D14在缓冲器42中累积一次，然后将编码数据D10和D14作为编码位流BS1从缓冲器42输出外部。

因此，在运动图像编码设备30中，一旦开始了构成运动图像数据D1的第一和第二帧图像数据的压缩编码，帧结构转换器33周期性地检测缓冲器42的累积数据量DR以将它与第一和第二阈值进行比较，并且它根据累积的数据量以如下的方式改变运动图像数据D1的帧频：在累积数据量DR大于第一阈值时降低运动图像数据D1的帧频，而在帧频较低的情况下在累积数据量DR小于第二阈值时升高运动图像数据D1的帧频。

因此，即使由于基于要发布的运动图像数据D1运动图像的图像的突然变化引起从第一和第二帧图像数据中所获得的编码数据量增加，运动图像编码设备30通过降低运动图像数据D1的帧频来降低每单位时间要压缩编码的第二帧图像数据的数量来适当地对付这种情况，因此它可以防止保持增加的累积数据量DR，由此防止了急剧地升高压缩率，因此能够防止运动图像的图像质量的急剧降低。

即使由于在要发布的运动图像数据D1的帧频较低的状态下基于运动图像数据D1运动图像的图像的变化显著降低或者由于其它的原因，造成从第一和第二帧图像数据中所获得的编码数据量降低，运动图像编码设备30通过升高运动图像数据D1的帧频来增加每单位时间要压缩编码的第二帧图像数据的段数，因此它能够防止累积数据量DR保持在由于运动图像数据D1的第二帧图像数据的连续排除引起的降低，由此压缩率变得相对较低，因此能够防止运动图像的图像质量临时地变得高于所需的图像质量。

因此，运动图像编码设备30能够稳定提供给用户的运动图像的图像质量，因为它根据表示编码数据D10和D14的编码数据量的缓冲器42的累积数据量DR适当地改变帧频。

此外，在累积数据量DR是高于第一阈值的值时，运动图像编码设备30使用这时作为编码对象的预定数量的第一和/或第二帧图像数据的预测编码数据量，以通过从预定数量的帧的第一和/或第二帧图像数据中排除一段或多段第二帧图像数据来降低运动图像数据D1的帧频，因此即使在基于运动图像数据D1的运动图像中的图像移过许多帧十分困难时，仍然能够防止在许多帧上压缩率变得相当高，因此使它能够事先防止在许多帧上运动图像的图像质量降低。

此外，即使在累积数据量DR是小于第二阈值的值时，运动图像编码设备30使用这时作为编码对象的预定数量的帧的第一和/第二帧图像数据和从预定数量的帧的第一和/第二帧图像数据中已经排除了的一段或多段第二帧图像数据的预测编码数据量，以增加运动图像数据D1的帧频，因此即使在基于运动图像数据D1运动图像的图像的变化在多帧上相对较稳定时，仍然能够预先防止压缩率在许多帧上变得相对较低，因此它能够预先地防止在许多帧上运动图像的图像质量变得高于所需的图像质量，由此防止图像质量急剧变化。

在运动图像编码设备30通过使用预定数量的帧的第一和第二帧图像数据的编码数据量以改变运动图像数据D1的帧频来防止运动图像的图像质量在许多帧上变化的同时，它顺序地检测累积数据量DR并在以上述的方式已经改变了帧频的状态下对第一和第二帧图像数据进行压缩编码的同时监测压缩编码的状态，因此即使在由于预测预测编码数据量的精度较低的缘故造成预测编码数据量不同于已经实际压缩编码的编码数据量时，例如，根据运动图像的所需的图像质量容易并且充分地校正曾经改变的帧频。

根据上述的结构，基于第一和第二帧图像数据对从外部输送的运动图像数据D1进行顺序压缩编码，并周期性地检测缓冲器42的累积数据量DR，根据累积数据量DR的变化改变运动图像数据D1的帧频，同时将所获得的编码数据D10和D14在缓冲器42中累积一次并输出到外部作为已经平滑了的编码数据量的编码位流BS1，因此可以实现能够运动图像编码设备，该运动图像编码设备基于要发布的运动图像数据D1根据运动图像的图像的变化充分地改变每单位时间要压缩编码的第一和第二帧图像数据的段数，由此稳定了压缩率，因此稳定了运动图像的图像质量，并且适当地提供了所需的图像质量的运动图像。

注意，如上述附图3所示，在所描述的上述的第一实施例中，基于帧图像数据将从外部输送的运动图像数据D1顺序地捕获进输入帧存储器32，并以预定的顺序将I-图像和P-图像顺序地分配给捕获在输入帧存储器32中的帧图像数据。本发明并限于这些，还可以将I-图像、P-图像和B-图像分配给顺序地捕获在输入帧存储器32中的帧图像数据，如在附图8(A)和(B)中所示。

此外，在I-图像、P-图像和B-图像都用作图像类型时，如果以领先的帧图像数据开始顺序地分配B-图像、I-图像、B-图像、P-图像、B-图像、P-图像、B-图像、P-图像、…，例如，通过使用第二帧的第一帧图像数据作为参考通过后向预测编码对向其分配B-图像的领先的帧图像数据(在下文中称为第三帧图像数据)进行压缩编码，通过使用在前向侧上附近的第一或第二帧图像数据作为参考并使用在后向侧上附近的第一或第二帧图像数据作为参考的双向预测编码，对在第二帧之后的第三帧图像数据进行压缩编码。

此外，通过使用在前向侧上最近的第一或第二帧图像数据作为参考的前向预测编码可以对第二帧图像数据进行压缩编码。

如附图9(A)至(C)所示，在将I-图像、P-图像和B-图像分配给在输入帧存储器32中的帧图像数据的状态下，如果例如通过排除第三帧的第三帧图像数据和第五帧的第二帧图像数据来改变运动图像数据D1的帧频，则不使用第三帧的第三帧图像数据作为在前向侧和在后向侧上的第一和第二帧图像数据的参考，因此由于排除的缘故不需要再检测在后向侧上和在前向侧上的第一和第二帧图像数据的每段第一和第二宏块数据的运动矢量。

与此相反的是，使用第五帧的第二帧图像数据作为在前向侧(第四帧)上的第三帧图像数据和在后向侧(第六和第七帧)上的第三和第二帧图像数据的参考。

因此，根据这种排除，至于第四帧的第三帧图像数据，可以使用在后向侧上的第七帧的第二帧图像数据作为参考来检测在后向侧上的每段的宏块数据的运动矢量，至于第六帧的第三帧图像数据，可以使用在前向侧上的第三帧的第二帧图像数据作为参考来检测在前向侧上的每段的宏块数据的运动矢量，至于第七帧的第二帧图像数据，可以使用在前向侧上的第三帧的第二帧图像数据作为参考来检测在前向侧上的每段的第二宏块数据的运动矢量。

此外，上述的第一实施例已经描述了这样的情况：为降低运动图像数据D1的帧频，在排除第二帧图像数据时，通过使用块匹配方法，运动矢量再检测器48再检测再检测帧图像数据的每段第二宏块数据D4的运动矢量D17。本发明并不限于这些，在再检测帧图像数据中的每段第二宏块数据D4的预先检测的运动矢量D7与在再检测帧图像数据附近的被排除的帧图像数据的每段第二宏块数据D4的运动矢量合成之后，可以再检测在再检测帧图像数据中的每段第二宏块数据D4的运动矢量，或者通过使用简单的运动矢量检测方法比如远视搜索方法可以再检测该运动矢量，以显著地降低在运动矢量再检测器中的运动矢量的再检测处理的操作量，由此加速了再检测处理。

此外，上述的第一实施例已经描述了这样的情况：通过前向预测编码对第二帧图像数据的每段第二宏块数据D4进行压缩编码。但是本发明并不限于这些，通过帧内编码和前向预测编码之中的一种编码并通过使用每段第二宏块数据D4的分布值也可以执行压缩编码。

此外，上述的第一实施例已经描述了这样的情况：通过使用通过运动矢量再检测器48从输入帧存储器32中读取的用于参考的第一或第二帧图像数据D6再检测每段第二宏块数据D4的运动矢量D17。但是本发明并不限于这些，运动矢量再检测还可以从参考帧存储器47中读取第一或第二帧图像数据用于参考以便再检测每段第二宏块数据D4的运动矢量D17。通过上述的操作，在压缩编码、解码以及然后重构的过程中通过使用具有由压缩编码所产生的块噪声等的第一和第二帧图像数据可以再检测运动矢量D17，因此可以提高检测运动矢量D17的精度。

此外，上述的第一实施例描述了这样的情况：根据缓冲器42的累积数据量DR和预测编码数据量改变运动图像数据D1的帧频。然而，本发明并不限于这些，也可以根据缓冲器42的累积数据量DR改变运动图像数据D1的帧频。即使这样改变帧频，也可以足够地对付累积数据量DR的突然增加和降低，由此稳定了运动图像的图像质量。

(3)第二实施例

附图10所示为根据第二实施例的运动图像编码设备60，在附图10中相同的参考编号表示与在附图2中相对应的部件，除了帧频改变处理部分61的帧结构转换器62和运动矢量检测处理部分63的结构以外，以与运动图像编码设备30相同的方式构造运动图像编码设备60。

与在上述的附图3中所述情况一样，每次将帧图像数据捕获进输入帧存储器32中，帧频改变处理部分61的帧结构转换器62将图像类型(即I-图像和P-图像)分配给所捕获的帧图像数据，并且也将每个都表示I-图像或P-图像的图像类型和向其分配了图像类型的帧图像数据所唯一的帧标识信息记录在输入帧存储器32中作为图像信息。

在运动矢量检测处理部分63中，在将I-图像分配给在输入帧存储器32中的帧图像数据时，简单运动矢量检测器64读取关于已经向其分配了I-图像的第一帧图像数据的图像信息并基于所读取的图像信息产生预测模式数据D3，然后将所产生的预测模式数据D3发送给简单运动矢量缓冲器65以将它累积在其中。

此外，在将P-图像分配给在输入帧存储器32中的帧图像数据时，简单运动矢量检测器64读取关于已经向其分配了P-图像的第二帧图像数据的图像信息，并且也读取关于在前向侧上的第二帧图像数据附近的用于参考的第一或第二帧图像数据D6的图像信息。

简单运动矢量检测器64基于图像信息产生预测模式数据D20，该预测模式数据D20表示关于作为编码对象的对应的第二帧图像数据的作为要编码的帧的信息的帧标识信息，以及表示关于用于参考的第一或第二帧图像数据D6的作为参考帧标识信息的帧标识信息，并且进一步表示通过前向预测编码基于第二宏块数据D4对作为编码对象的第二帧图像数据进行顺序压缩编码。

此外，在这时，基于图像信息从输入帧存储器32中，简单运动矢量检测器64基于第二宏块数据D4顺序地读取作为编码对象的第二帧图像数据，并且还读取用于参考的第一或第二帧图像数据D6。

如附图11(A)和(B)所示，假设原始图像处于最高层(在下文中称为第一层)，并且通过降低原始图像而降低其分辨率的图像是在比原始图像更低的层中的图像，简单运动矢量检测器64通过使用在这些不同的层中的图像的分层搜索运动矢量检测方法以降低的检测精度检测第二宏块数据D4的简单运动矢量以检测原始图像级的最终运动矢量。

即，在比原始图像级更低的第二层中，通过分层搜索运动矢量检测方法，例如通过将第二宏块数据D4降低到四分之一左右由此降低了它的分辨率，简单运动矢量检测器64产生分层的第二宏块数据(在下文中称为分层宏块数据)D21，并且同样地，通过将用于参考的第一或第二帧图像数据D6降低到四分之一左右由此降低了它的分辨率，产生了用于参考的分层的第一或第二帧图像数据(在下文中称为分层的帧图像数据)D22。

此外，如附图12所示，通过块匹配方法在分层的帧图像数据D22的相对较宽的搜索范围中使分层的宏块数据D21顺序地与用于比较的多段块数据关联而计算的预测误差之外，基于用于比较的块数据的运动矢量和在计算最小预测误差时所使用的分层的宏块数据D21，简单运动矢量检测器64检测分层的宏块数据D21的运动矢量(在下文中称为低分辨率运动矢量)D23。

此外，简单运动矢量检测器64通过放大低分辨率运动矢量D23例如四倍以便与第二宏块数据D4的分辨率相匹配(即，原始图像的分辨率)来检测第二宏块数据D4的第二层的简单运动矢量D24。

简单运动矢量检测器64将在输入帧存储器32中作为编码对象的第二帧图像数据的预测模式数据D20与每段的第二宏块数据D4的简单运动矢量D24关联起来，然后将它们发送给简单运动矢量缓冲器65以将它们累积在其中。

因此，每次将帧图像数据顺序地捕获进输入帧存储器32中，并将I-图像和P-图像分配给它们，简单运动矢量检测器64产生预测模式数据D3和D20，并且还检测每段的运动矢量检测器4的简单运动矢量D24，然后将它们累积在简单运动矢量缓冲器65中。

此外，每次检测一帧的每段第二宏块数据D4的简单运动矢量D24，简单运动矢量检测器64利用通过使用分层的宏块数据D21和分层的帧图像数据D22所计算的预测误差以计算在作为编码对象的分层第二帧图像数据(即通过分层的宏块数据D21所产生的第二帧图像数据)和用于参考的分层帧图像数据之间的帧间相关值SH2，并将所计算的帧间相关值SH2发送给帧结构转换器62。

因此，基于从简单运动矢量检测器64中给出的帧间相关值SH2，帧结构转换器62预测在以所选择的压缩率对作为编码对象的第一和第二帧图像数据进行压缩编码的情况下所获得的编码数据D10和D14的预测编码数据量。

因此，简单运动矢量检测器64利用在分层的宏块数据D21和提供服务器数据的分层的帧图像数据D22之间的预测误差以计算帧间相关值SH2，与原始图像相比每个提供服务器数据的分层的帧图像数据D22的像素的数量减小了，这可以显著地降低帧间相关值SH2的操作量。

此外，帧结构转换器62也基于具有比原始图像级的帧间相关值SH1(附图2)更小的信息量的帧间相关值SH2计算预测编码数据量，这可以显著地降低计算预测编码数据量的操作量。

在作为编码对象的第一和第二帧图像数据的压缩编码开始时，帧结构转换器62以与在上述附图2中所描述的相同方式检测预定间隔的缓冲器42的累积数据量DR，并根据所检测的累积数据量DR改变运动图像数据D1的帧频。

此外，在控制器38从输入帧存储器32中基于第一宏块数据D2读取作为编码对象的第一帧图像数据时，在作为编码对象的第一和第二帧图像数据的压缩编码开始之后，基于在输入帧存储器32中的对应的图像信息，帧结构转换器62产生表示关于第一帧图像数据的作为要编码的帧的信息的帧标识信息，然后将标志CF1发送给运动矢量检测器66。

此外，在控制器38从输入帧存储器32中基于第二宏块数据D4读取作为编码对象的第二帧图像数据时，基于相应的图像信息和关于在输入帧存储器32中的第二帧图像数据的用于参考的第一或第二帧图像数据D6的图像信息，帧结构转换器62产生控制标志CF2，该控制标志CF2表示关于编码对象的第二帧图像数据的作为要编码帧的标识信息的帧标识信息，并且还表示关于用于参考的第一或第二帧图像数据D6的帧标识信息作为参考帧标识信息，并将它发送给运动矢量检测器66。

现在，除非为改变帧频排除在检测作为编码对象的第二帧图像数据的简单运动矢量D24中所使用的用于参考目的第一或第二帧图像数据(包括排除的取消)，帧结构转换器62通过将作为编码对象的第二帧图像数据与它们的用于参考的第一或第二帧图像数据D6关联而产生控制标志CF2。

此外，在为改变帧频排除在检测作为编码对象的第二帧图像数据的简单运动矢量D24的过程中使用的用于参考的第一或第二帧图像数据D6时，帧结构转换器62通过使作为编码对象的第二帧图像数据与新的用于参考目的的第一或第二帧图像数据D6而不是被排除的第一或第二帧图像数据关联起来而产生控制标志CF2。

此外，在控制器38通过排除作为编码对象的帧图像数据并结合运动图像数据D1的帧频的变化而不执行从输入帧存储器32中读出时，帧结构转换器62产生控制标志CF3，该控制标志CF3表示关于作为被排除的帧标识信息的第二帧图像数据的帧标识信息，并且还表示已经排除了第二帧图像数据，并将它发送给运动矢量检测器66。

因此，帧结构转换器62以作为编码对象的第一和第二帧图像数据的压缩编码的顺序顺序地产生控制标志CF1、CF2和CF3，并将它们发送给运动矢量检测器66。

在作为编码对象的第一和第二帧图像数据的压缩编码开始时，运动矢量检测器66以作为编码对象的第一和第二帧图像数据的压缩编码的顺序从简单运动矢量缓冲器65中顺序地读取预测模式数据D3和D20。

每次从简单运动矢量缓冲器65中读取预测模式数据D3和D20，运动矢量检测器66将基于预测模式数据D3和D20所获得的要编码的帧标识信息和参考帧标识信息与在这时基于从帧结构转换器62中给出的相应的控制标志CF1、CF2和CF3所获得的要编码的帧标识信息、参考帧标识信息和被排除的帧标识信息进行比较。

在这种情况下，在从简单运动矢量缓冲器65中读取第一帧图像数据的预测模式数据D3时，运动矢量检测器66如上述的附图5(A)和(C)一样确定从排除的对象中排除第一帧图像数据，因为基于预测模式数据D3和控制标志CF1所获得的要编码的帧标识信息相匹配，因此还没有排除第一帧图像数据，然后将预测模式数据D3发送给运动补偿器39和可变长度编码器43。

此外，运动矢量检测器66确定，在从简单运动矢量缓冲器65中读取第二帧图像数据的预测模式数据D20时，如果要编码的帧标识信息和基于预测模式数据D20所获得的帧标识信息和对应于的控制标志CF2相匹配，则还没有排除第二帧图像数据和在检测到简单运动矢量D24时与其关联用于参考的第一或第二帧图像数据D6，然后从简单运动矢量缓冲器65中读取与预测模式数据D20相关的简单运动矢量D24。

这时，运动矢量检测器66基于控制标志CF2从输入帧存储器32中基于第二宏块数据D4顺序地读取作为编码对象的第二帧图像数据，并且还读取用于参考的第一或第二帧图像数据D6。

如附图12所示，在第一层中根据分层搜索运动矢量检测方法，运动矢量检测器66通过块匹配方法在简单运动矢量D24的端点周围设定第一或第二帧图像数据的非常狭窄的搜索范围，并通过将用于比较的多段块数据与在搜索范围中的第二宏块数据D4顺序关联来计算预测误差。

结果，应用用于比较的块数据的运动量和在计算在所计算的预测误差之外的最小预测误差时所使用的第二宏块数据D4，运动矢量检测器66检测用于校正在原始图像级上的简单运动矢量D24的运动矢量(在下文中称为校正的运动矢量)D25，并将所检测的用于校正的运动矢量D25和简单运动矢量D24相加以产生第二宏块数据D4的第一层的最终运动矢量D26，然后将它与预测模式数据D20一起发送给运动补偿器39和可变长度编码器43。

此外，运动矢量检测器66确定，在从简单运动矢量缓冲器65中读取第二帧图像数据的预测模式数据D20时，如果基于预测模式数据D20所获得的要编码的帧标识信息和控制标志CF2相匹配但参考帧标识信息不相配，则仅仅已经排除了在检测简单运动矢量D24时与第二帧图像数据相关的用于参考的第一或第二帧图像数据，然后开始作为编码对象的第二帧图像数据的运动矢量D26的再检测处理而不从简单运动矢量缓冲器65中读取与预测模式数据D20相关的简单运动矢量D24。

实际上，基于控制标志CF2，运动矢量检测器66从输入帧存储器32中基于第二宏块数据D4顺序地读取作为编码对象的第二帧图像数据，并且还读取在帧结构转换器62中新近关联的用于参考的第一或第二帧图像数据D6。

如上述关于附图11(A)和(B)中的情况一样，在第二层中根据分层搜索运动矢量检测方法，运动矢量检测器66检测第二宏块数据D4的简单运动矢量D24，然后在第一层中检测第二宏块数据D4的原始图像级的最终运动矢量D26。

此外，运动矢量检测器66通过替换事先存储在预测模式数据D20中的参考帧标识信息存储基于控制标志CF2所获得的新的参考帧标识信息以产生根据运动矢量D26的再检测已经修改了其内容的预测模式数据D27，并将所产生的预测模式数据D27连同运动矢量D26一起发送到运动补偿器39和可变长度编码器43。

此外，在从简单运动矢量缓冲器65中读取第二帧图像数据的预测模式数据D20时，如果已经排除了第二帧图像数据，运动矢量检测器66不执行没有从简单运动矢量缓冲器65中读取与预测模式数据D20关联的简单运动矢量D24的第二帧图像数据的运动矢量的检测过程，因为基于控制标志CF3检测到，即使要编码的帧标识信息和基于预测模式数据D20和相应的控制标志CF3所获得的被排除的帧标识信息相匹配，仍然已经排除了第二帧图像数据。

因此，运动矢量检测器66能够根据通过帧结构转换器62在运动图像数据D1的帧频的变化充分地检测(包括再检测)作为编码对象的第二帧图像数据的运动矢量D26。

现在，为总结通过运动图像编码设备60的帧频改变处理部分61、运动矢量检测处理部分63和压缩编码部分37对运动图像数据D1进行压缩编码的过程，运动矢量检测处理部分63首先输入程序RT4的步骤，并移到步骤SP31中，如在附图13(A)和附图14(A)中所示，其中相同的参考标号应用到与在附图6(A)和附图7(A)中部分相对应的部分中。

在步骤SP31中，在运动矢量检测处理部分63中，运动矢量检测器64从输入帧存储器32中基于第二宏块数据D4顺序地读取第二帧图像数据，并且也为第二帧图像数据读取用于参考的第一或第二帧图像数据D6，并根据分层搜索运动矢量检测方法在第二层中检测一帧的每段第二宏块数据D4的简单运动矢量D24，然后移到步骤SP32。

在步骤SP32中，在运动矢量检测处理部分63中，运动矢量检测器64使用在检测每段第二宏块数据D4的简单运动矢量D24中所计算的预测误差以计算在作为编码对象的分层第二帧图像数据和用于参考的分层帧图像数据之间的帧间相关值SH2，并将所计算的帧间相关值SH2发送给帧结构转换器62，然后移到步骤SP33。

这时，如在附图13(A)和附图14(A)中所示，其中相同的参考标号应用到与在附图6(A)和附图7(A)中部分相对应的部分，帧频改变处理部分61输入程序RT5的开始步骤并移到步骤SP21，执行在步骤SP21的处理之后的步骤SP22的处理，然后移到步骤SP41中。

在步骤SP41中，在帧频改变处理部分61中，帧结构转换器62产生用于作为编码对象的第一和第二帧图像数据的控制标志CF1、CF2和CF3，并将所产生的控制标志CF1、CF2和CF3发送到运动矢量检测器66，然后移到步骤SP23。

因此，在对第一和第二帧图像数据进行压缩编码的同时帧频改变处理部分61通过重复步骤SP21-SP22-SP23-SP24-SP25-SP26-SP27的处理环将控制标志CF1、CF2和CF3顺序地发送到运动矢量检测器66，以便适当地改变运动图像数据D1的帧频，然后，在步骤SP26中如果确定已经对作为编码对象的所有的第一和第二帧图像数据进行了压缩编码，则它移到步骤SP42以完成在帧频改变处理部分61中的过程。

在另一方面，在步骤SP33中，如果运动矢量检测处理部分63使用例如运动矢量检测器66来通过监测控制器38是否已经访问了输入帧存储器32来确定是否已经开始了第一和第二帧图像数据的压缩编码，并重复步骤SP31-SP32-SP33的处理环直到第一和第二帧图像数据的压缩编码开始，以顺序地检测在第二帧图像数据中每段第二宏块数据D4的简单运动矢量D24，并且也计算帧间相关值SH2。

然后，在步骤SP33中在运动矢量检测器66检测到第一和第二帧图像数据的压缩编码已经开始时，运动矢量检测处理部分63移到步骤SP34。

在步骤SP34中，在运动矢量检测处理部分63中，基于来自帧结构转换器62的控制标志CF1、CF2和CF3，运动矢量检测器66确定是否由于帧频的变化的缘故已经排除了作为编码对象的第二帧图像数据。

在步骤SP34中获得否定的结果意味着还没有排除作为编码对象的第二帧图像数据，然后运动矢量检测处理部分63移到步骤SP35以确定是否需要再检测作为编码对象的第二帧图像数据的每段第二宏块数据D4的运动矢量。

在步骤SP35中获得肯定的结果意味着，结合运动图像数据D1的帧频的变化，将与在检测简单运动矢量D24中所使用的不同的用于参考的第一或第二帧图像数据D6分配给作为编码对象的第二帧图像数据，在这种情况下，运动矢量检测处理部分63移到步骤SP36，在步骤SP36中运动矢量检测器66使用作为编码对象的第二帧图像数据和新的用于参考的第一或第二帧图像数据D6以根据分层搜索运动矢量检测方法再检测在第二层中每段第二宏块数据D4的简单运动矢量D24，并移到步骤SP37。

在步骤SP37中，在运动矢量检测处理部分63中，在第一层中根据分层搜索运动矢量检测方法，通过使用作为编码对象的第二帧图像数据、用于参考的第一或第二帧图像数据和简单运动矢量D24，运动矢量检测器66检测在原始图像级上的每段第二宏块数据D4的运动矢量D26，并移到步骤SP38。

此外，在步骤SP34中获得肯定的结果意味着由于帧频变化的缘故已经排除了作为编码对象的第二帧图像数据，在这种情况下，运动矢量检测处理部分63移到步骤SP38。

此外，在步骤SP35中获得否定的结果意味着与在检测简单运动矢量D24的过程中使用的相同的用于参考的第一或第二帧图像数据D6分配给作为编码对象的第二帧图像数据，在这种情况下，运动矢量检测处理部分63移到步骤SP37，在步骤SP37中，在第一层中根据分层搜索运动矢量检测方法，通过使用作为编码对象的第二帧图像数据、用于参考的第一或第二帧图像数据D6和从简单运动矢量缓冲器65中读取的相应的简单运动矢量D24，运动矢量检测器66检测在原始图像级上的每段第二宏块数据D4的运动矢量D26，并移到步骤SP38。

步骤SP38中，运动矢量检测处理部分63使用运动矢量检测器66来确定是否已经检测了在输入帧存储器32中所有的第二帧图像数据的每段第二宏块数据D4的简单运动矢量D24，如果确定还没有检测在输入帧存储器32中所有的第二帧图像数据的每段第二宏块数据D4的简单运动矢量D24，则移到步骤SP31。

因此，在用于检测第二宏块数据D4的简单运动矢量D24的第二帧图像数据捕获到输入帧存储器32中的同时，运动矢量检测处理部分63重复步骤SP31-SP32-SP33-SP34-SP35-SP36-SP37-SP38的处理环，由此顺序地检测在输入帧存储器32中的第二帧图像数据的第二宏块数据D4的简单运动矢量D24，并且还顺序地检测第二宏块数据D4的运动矢量D26，同时顺序地计算帧间相关值SH2。

在步骤SP38中，运动矢量检测处理部分63检测在输入帧存储器32中的所有的第二帧图像数据的每段第二宏块数据D4的简单运动矢量D24，并移到步骤SP8。

在步骤SP8中，运动矢量检测处理部分63使用运动矢量检测器66以通过监测控制器38是否访问输入帧存储器32来确定是否已经对作为编码对象的所有的第一和第二帧图像数据进行了压缩编码，如果还没有完成第一和第二帧图像数据的压缩编码，则它返回到步骤SP34。

因此，运动矢量检测处理部分63此后重复步骤SP34-SP35-SP36-SP37-SP38-SP8的处理环直到对作为编码对象的所有的第一和第二帧图像数据进行压缩编码，以便顺序地检测作为编码对象的第二帧图像数据的第二宏块数据D4的运动矢量D26。

如上文所述，在步骤SP8中，在运动矢量检测处理部分63确定已经对作为编码对象的所有的第一和第二帧图像数据进行压缩编码，它移到步骤SP39以完成在运动矢量检测处理部分63中的过程，因此完成在运动图像编码设备60中的运动图像数据D1的压缩编码过程。

在上述的结构中，在运动图像编码设备60对构成发布的对象的运动图像数据D1的第一和第二帧图像数据进行压缩编码的情况中，在第二层中根据分层搜索运动矢量检测方法，对于同样具有通过降低每段第二宏块数据D4的像素所获得的降低的分辨率的分层宏块数据D21，简单运动矢量检测器64搜索具有通过降低用于参考的第一或第二帧图像数据D6的像素所获得的降低的分辨率的分层帧图像数据D22的相当窄的搜索范围，以事先检测分层宏块数据D21的低分辨率运动矢量D23，并通过扩展低分辨率运动矢量D23以与原始图像的分辨率相匹配来检测第二宏块数据D4的简单运动矢量D24。

在运动图像编码设备60中，在基于第二宏块数据D4对第二帧图像数据进行实际压缩编码时，对于第二宏块数据D4，根据分层搜索运动矢量检测方法，在第一层中，运动矢量检测器66搜索设定在用于参考的第一或第二帧图像数据D6的简单运动矢量D24的端点周围的非常窄的搜索范围，以检测校正简单运动矢量D24的端点部分的用于校正的运动矢量D25，并将所检测的用于校正的运动矢量D25和简单运动矢量D24相加以检测第二宏块数据D4的第一层的运动矢量D26。

因此，运动图像编码设备60根据分层搜索运动矢量检测方法在第二层中使用分层帧图像数据D22和具有降低的分辨率(降低的数据量)的分层宏块数据D21以检测简单运动矢量D24，并且还根据分层搜索运动矢量检测方法在第一层中使用原始图像级的用于参考的第一或第二帧图像数据D6和第二宏块数据D4以检测仅校正简单运动矢量D24的端点部分的用于校正的运动矢量D25，由此它检测第二宏块数据D4的第一层的运动矢量D26，因此与上述的第一实施例的运动图像编码设备30(附图2)相比，可以显著地降低在第二宏块数据D4的检测时的操作量。

此外，在运动图像编码设备60检测在输入帧存储器32中所有的第二帧图像数据的每段第二宏块数据D4的简单运动矢量D24的同时，在结合运动图像数据D1的帧频的变化排除第二帧图像数据时它不检测每段第二宏块数据D4的原始图像级的运动矢量D26，因此可以降低在运动矢量检测处理部分63中的处理负担。

根据上述的结构，在对要发布的构成运动图像数据D1的第一和第二帧图像数据进行压缩编码的情况下，通过分层搜索运动矢量检测方法分层地检测作为编码对象的第二帧图像数据的每段第二宏块数据D4的运动矢量D26，除了通过上述的实施例所获得的效果之外，这种分层搜索运动矢量检测方法还能够显著地降低每段第二宏块数据D4的运动矢量的检测的操作量，由此使它能够实施加速运动矢量检测过程的运动图像编码设备。

注意，如上述的附图3所示，上述的第二实施例已经描述了这样的情况：基于帧图像数据将从外部输送的运动图像数据D1顺序地捕获进输入帧存储器32，并以预定的顺序将I-图像和P-图像分配给捕获进输入帧存储器32中的帧图像数据。然而，本发明并不限于这些，还允许将I-图像、P-图像和B-图像分配给捕获进输入帧存储器32中的帧图像数据，如上述的附图8(A)和(B)和附图9(A)至(C)所示。

此外，上述的第二实施例已经描述了这样的情况：结合运动图像数据D1的帧频的变化，一旦将新的用于参考的第一或第二帧图像数据D6分配给作为编码对象的第二帧图像数据，在第一层和第二层中根据分层搜索运动矢量检测方法，通过运动矢量检测器66顺序地检测每段第二宏块数据D4的简单运动矢量D24和原始图像级的运动矢量D26。然而，本发明并不限于这些，结合运动图像数据D1的帧频的变化，一旦将新的用于参考的第一或第二帧图像数据D6分配给作为编码对象的第二帧图像数据，本发明还可以这样：在第二层中根据分层搜索运动矢量检测方法，应用简单运动矢量检测器64通过使用作为编码对象的第二帧图像数据和新的用于参考的第一或第二帧图像数据D6检测每段第二宏块数据D4的简单运动矢量D24，并且，在第一层中根据分层搜索运动矢量检测方法，还以运动矢量检测器66检测第二宏块数据D4的原始图像级的运动矢量D26。这使得在结合帧频变化再检测运动矢量时可以显著地降低运动矢量检测器66的处理负担。

除此之外，在结合运动图像数据D1的帧频的变化将新的用于参考的第一或第二帧图像数据D6分配给作为编码对象的第二帧图像数据时，如果用于参考的目的将第二帧图像数据D6(即，在前向侧上作为编码对象的第二帧图像数据的附近的第二帧图像数据)分配给在检测简单运动矢量D24时作为编码对象的第二帧图像数据，运动矢量检测器66将与作为编码对象的第二帧图像数据的每段第二宏块数据D4的预先检测的简单运动矢量D24与在检测简单运动矢量D24时作为参考的第二帧图像数据D6的每段第二宏块数据D4的简单运动矢量D24合成起来，并在第一层中根据分层搜索运动矢量检测方法使用所获得的合成的简单运动矢量来通过例如使用远视搜索法检测作为编码对象的第二帧图像数据的每段第二宏块数据D4的原始图像级的运动矢量D26。这也可以降低在结合帧频的变化检测运动矢量时降低运动矢量检测器66的处理负担。

此外，通过应用简单运动矢量检测器64执行简单运动矢量D24的这种合成还可以降低运动矢量检测器66的处理负担。

此外，上述的第二实施例已经描述了这样的情况：通过前向预测编码对第二帧图像数据的每段第二宏块数据D4进行压缩编码。然而，本发明并不限于这些，通过帧内编码和前向预测编码中的一种编码方式并通过使用每段第二宏块数据D4的分布值还可以对它进行压缩编码。

此外，上述的第二实施例已经描述了这样的情况：运动矢量检测器66通过使用从输入帧存储器32中读取的用于参考的第一或第二帧图像数据D6来检测每段第二宏块数据D4的运动矢量D26。然而，本发明并不限于这些，运动矢量检测器66还可以从参考帧存储器47中读取用于参考的第一和第二帧图像数据以检测每段第二宏块数据D4的运动矢量D26。根据这种过程，在压缩编码、解码和然后的重构的过程中通过使用具有由压缩编码所产生的块噪声等的第一和第二帧图像数据可以检测运动矢量D26，由此使得可以提高运动矢量D26的检测精度。

此外，上述的第二实施例已经描述了这样的情况：将使用两层(即第一层和第二层)的分层搜索运动矢量检测方法用于检测第二宏块数据D4的运动矢量D26。然而，本发明并不限于这些，它还可以使用采用三层或更多层的分层搜索运动矢量检测方法来检测第二宏块数据D4的运动矢量，这种方法使用每个都具有不同的分辨率的帧图像。

此外，上述的第二实施例已经描述了这样的情况：根据缓冲器42的累积数据量DR和预测编码数据量改变运动图像数据D1的帧频。然而，本发明并不限于这些，还可以根据缓冲器42的累积数据量DR改变运动图像数据D1的帧频。帧频的这种改变方式也可以足够对付累积数据量DR的急剧增加和降低，并且稳定运动图像的图像质量。

(4)第三实施例

附图15所示为根据第三实施例的运动图像编码设备70，其中与在附图10中的部分相对应的部分使用相同的参考标号，除了运动矢量检测处理部分71、压缩编码部分72和屏蔽图像处理部分73的结构以外，第三实施例与根据本发明的第二实施例的运动图像编码设备60具有相同的结构。

在运动矢量检测处理部分71中，在将I-图像分配给在输入帧存储器32中构成运动图像数据D1的领先的帧图像数据时，简单运动矢量检测器74读取关于向其分配了I-图像的第一帧图像数据的图像信息，并基于该图像信息由此产生预测模式数据D3，然后将所产生的预测模式数据D3发送给简单运动矢量缓冲器75以将它累积在其中。

此外，在将P-图像分配给在输入帧存储器32中的帧图像数据时，与上述参考附图10所描述的运动图像编码设备60的简单运动矢量检测器64的方式一样，简单运动矢量检测器74基于用于参考的第一或第二帧图像数据和关于向其分配了P-图像的第二帧图像数据的图像信息产生预测模式数据D20。

在第二层中根据分层搜索运动矢量检测方法，与上述关于附图11(A)和(B)和附图12中所描述的情况一样，简单运动矢量检测器74检测已经向其分配了P-图像的第二帧图像数据的每段第二宏块数据D4的简单运动矢量D24，使每个所检测的简单运动矢量D24与预测模式数据D20关联起来，并将它们发送给简单运动矢量缓冲器75以将它们累积在其中。

此外，在将I-图像分配给在输入帧存储器32中在构成运动图像数据D1的帧图像数据中除了领先的一个帧图像数据之外的帧图像数据时，简单运动矢量检测器74读取关于向其分配了I-图像的第一帧图像数据的图像信息，并且还读取关于在前向侧上在第一帧图像数据附近的用于参考的第一或第二帧图像数据D6的图像信息。

简单运动矢量检测器74基于该图像信息产生预测模式数据D30，该预测模式数据D30表示作为要编码的帧标识信息的关于作为编码对象的第一帧图像数据的帧标识信息，并且还表示作为参考帧标识信息的关于用于参考的第一或第二帧图像数据D6的帧标识信息，以及进一步表示基于第一宏块数据D2通过帧内编码对作为编码对象的第一帧图像数据进行顺序压缩编码。

此外，简单运动矢量检测器74从输入帧存储器32中基于第一宏块数据D2顺序地读取作为编码对象的第一帧图像数据，并且还读取用于参考的第一或第二帧图像数据D6，然后根据分层搜索运动矢量检测方法在第二层中检测第一帧图像数据的每段第一宏块数据D2的简单运动矢量D31，与上述关于附图11(A)和(B)和附图12中所描述的情况一样。

简单运动矢量检测器74将第一帧图像数据的预测模式数据D30与每段第一宏块数据D2的简单运动矢量D31关联起来，然后将它们发送给简单运动矢量缓冲器75以将它们累积在其中。

这样，每次将帧图像数据顺序地捕获进输入帧存储器32中，并分配I-图像和P-图像，简单运动矢量检测器74同样地产生预测模式数据D3、D20和D30，并且也检测简单运动矢量D24和D31，然后将它们累积在简单运动矢量缓冲器75中。

在此，运动图像编码设备70基于帧图像数据将从外部输送的运动图像数据D1捕获进输入帧存储器32，也将它们捕获进屏蔽图像处理部分73的屏蔽图像发生器77中。

如在附图16中所示，已经将外部形状指定数据D35输入到屏蔽图像发生器77中，外部形状指定数据D35基于帧图像数据指定要从帧图像80中抽取的某人等的抽取图像的初始位置，并且也以帧81指定抽取图像的任意形状。

在这种情况下，在屏蔽图像发生器77从构成运动图像数据D1的帧图像数据中捕获出领先的帧图像数据时，它将所捕获的帧图像数据划分为宏块数据，并且如在附图17中所示，基于外部形状指定数据D35将目标区84A设定在基于领先的帧图像数据在帧图像83中包围抽取图像的帧81的矩形中，以检测在所设定的目标区84A中的宏块数据。

此外，在屏蔽图像发生器77捕获第二帧的帧图像数据时，它将第二帧的帧图像数据划分为宏块数据，并从简单运动矢量缓冲器75中读取第二帧的帧图像数据(即，第二帧图像数据)的每段宏块数据(即，第二宏块数据D4)的简单运动矢量D24。

通过使用每个简单运动矢量D24，在帧图像85中，基于第二帧的帧图像数据，在大致检测了基于领先的帧图像数据在帧图像83的目标区84A中的宏块数据已经移到的位置之后，通过例如行匹配方法在帧图像83和85之间通过彼此比较目标区84A和84B，屏蔽图像发生器77以较高的位置精度检测在目标区84A中的每段宏块数据已经移到的位置。

在基于第二帧的帧图像数据在帧图像85中指定具有每段宏块数据的目标区84B时，屏蔽图像发生器77在指定的目标区84B中指定抽取图像的帧81。

这样，每次从外部顺序地捕获帧图像数据，屏蔽图像发生器77使用从简单运动矢量缓冲器75中读取的简单运动矢量D24和D31，并且也使用行匹配方法来顺序地检测在相邻的帧图像数据之间在目标区84A中的每段宏块数据已经移到的位置，由此指定目标区84B以及抽取图像的帧81，因此在许多帧图像数据上顺序地跟踪了抽取图像。

此外，如在附图18中所示，在相邻的帧图像数据之间跟踪抽取图像时，屏蔽图像发生器77首先基于外部形状指定数据D35改变关于领先的帧图像数据的每段宏块数据的每像素的像素值，因此在帧图像83(附图17)中，例如它使在抽取图像的帧81里面的部分变为白色而使在该帧81的外面的部分为黑色，由此产生了表示抽取图像的任意形状和初始位置的屏蔽图像86，然后将所产生的屏蔽图像86的数据(在下文中称为屏蔽图像数据)D36发送给具有许多帧存储容量的屏蔽帧存储器90以将它存储在其中。

此外，至于第二帧和后面的帧的帧图像数据，屏蔽图像发生器77基于所跟踪的抽取图像的帧81改变每段宏块数据的像素的像素值，由此通过与领先帧图像数据的情况相同的处理产生表示抽取图像的任意形状和所移动的位置的屏蔽图像数据D36，然后将所产生的屏蔽图像数据D36发送给屏蔽帧存储器90以将它存储在其中。

这样，每次捕获了帧图像数据，在跟踪抽取图像的同时屏蔽图像发生器77基于帧图像数据产生表示抽取图像的任意形状和所移动的位置的屏蔽图像数据D36，并将它累积在屏蔽帧存储器90中。

此外，在预定数量的帧的简单运动矢量D24和D31通过简单运动矢量检测器74累积在简单运动矢量缓冲器75中时，通过屏蔽图像发生器77将预定数量的帧的屏蔽图像数据D36累积在屏蔽帧存储器90中，由此压缩编码部分72开始了作为编码对象的第一和第二帧图像数据的压缩编码，根据作为编码对象的第一和第二帧图像数据的压缩编码的顺序运动矢量检测器91从简单运动矢量缓冲器75中顺序地读取相应的预测模式数据D3、D20和D30。

每次从简单运动矢量缓冲器75中读取预测模式数据D3、D20和D30，运动矢量检测器91将基于预测模式数据D3、D20和D30的要编码的帧标识信息和参考帧标识信息与基于从帧结构转换器62中给出的相应的控制标志CF1、CF2和CF3所获得的要编码的帧标识信息、参考帧标识信息和被排除的帧标识信息进行比较。

在这种情况下，在从简单运动矢量缓冲器75中读取帧图像数据的预测模式数据D3和D30时，如上述的附图5(A)至(C)一样，运动矢量检测器91并不获取将是排除对象的第一帧图像数据，并确定还没有排除第一帧图像数据，因为基于预测模式数据D3和D30所获得的要编码的帧标识信息和相应的控制标志CF1彼此一致，然后将预测模式数据D3和D30发送给运动补偿器92和可变长度编码器93。

此外，在从简单运动矢量缓冲器75中读取第二帧图像数据的预测模式数据D20时，以及在运动矢量检测器91基于预测模式数据D20和相应的控制标志CF2检测到在检测简单运动矢量D24时第二帧图像数据和与其相关的用于参考的第一或第二帧图像数据D6还没有被排除时，它从简单运动矢量缓冲器75中读取与预测模式数据D20相关的简单运动矢量D24。

在这时，运动矢量检测器91基于控制标志CF2从输入帧存储器32中顺序地读取基于第二宏块数据D4作为编码对象的第二帧图像数据，并且还读取在检测简单运动矢量D24时与其关联的用于参考的第一或第二帧图像数据D6，进一步从屏蔽帧存储器90中读取与作为编码对象的第二帧图像数据相对应的屏蔽图像数据D36。

如在附图19中所示，运动矢量检测器91使用屏蔽图像数据D36来确定每段第二宏块数据D4是否位于在任意形状的抽取图像的边缘的外面或里面或者与边缘81A重叠。

结果，运动矢量检测器91仅将预测模式数据D20发送给运动补偿器92和可变长度编码器93而不从第二宏块数据D4中检测出关于位于抽取图像的边缘81A之外的第二宏块数据D4的原始图像级的运动矢量。

此外，在第二宏块数据D4之外，关于位于抽取图像的边缘81A里面的第二宏块数据D4，运动矢量检测器91从简单运动矢量缓冲器75中读取对应的简单运动矢量D24，并如上述的附图12一样，在第一层中根据分层搜索运动矢量检测方法检测原始图像级的运动矢量D26，然后将所检测的运动矢量D26连同预测模式数据D20发送给运动补偿器92和可变长度编码器93。

此外，如附图20所示，通过使用来自第二宏块数据D4的关于与抽取图像的边缘81A重叠的第二宏块数据D4的屏蔽图像数据D36，运动矢量检测器91检测在第二宏块数据D4中的所有的像素之中在边缘81A里面的像素。

然后，如上述的附图11(A)和11(B)和附图12一样，在第一层中根据分层搜索运动矢量检测方法，通过块匹配方法运动矢量检测器91有选择性地仅使用位于在第二宏块数据D4的像素之外的边缘81A的像素以计算预测误差，由此检测原始图像级的运动矢量D37，然后将所检测的运动矢量D37连同预测模式数据D20一起发送给运动补偿器92和可变长度编码器93。

此外，在从简单运动矢量缓冲器75中读取第二帧图像数据的预测模式数据D20，如果用于参考目的的新的第一或第二帧图像数据D6与结合运动图像数据D1的帧频的变化作为编码对象的第二帧图像数据关联，则基于控制标志CF2运动矢量检测器91从输入帧存储器32中基于第二宏块数据D4顺序地读取作为编码对象的第二帧图像数据，并且还读取新近与其关联的用于参考的第一或第二帧图像数据D6，并且从屏蔽帧存储器90中进一步读取与作为编码对象的第二帧图像数据相对应的屏蔽图像数据D36。

这时，运动矢量检测器91通过替换事先存储的参考帧标识信息将基于控制标志CF2所获得的新的参考帧标识信息存储在预测模式数据D20中，以产生具有第二宏块数据D4的修改内容的预测模式数据D27。

此外，如上述的附图11(A)和11(B)和附图12一样，在第二层中根据分层搜索运动矢量检测方法，运动矢量检测器91使用作为编码对象第二帧图像数据的每段第二宏块数据D4和新近与其关联的用于参考的第一或第二帧图像数据D6以检测每段第二宏块数据D4的简单运动矢量D24。

然后，运动矢量检测器91使用第二宏块数据D4的所检测的简单运动矢量D24以仅对在第一层中通过屏蔽图像数据D36所指定的抽取图像的边缘81A的里面和与81A重叠的第二宏块数据D4产生原始图像级的运动矢量D26和D37，如上述的附图19和20所述。

因此，运动矢量检测器91仅将关于位于抽取图像的边缘81A的外部的第二宏块数据D4的预测模式数据D27发送给运动补偿器92和可变长度编码器93，并将原始图像级连同关于位于边缘81A的里面和与边缘81A重叠的第二宏块数据D4的预测模式数据D27发送给运动补偿器92和可变长度编码器93。

此外，在运动矢量检测器91从简单运动矢量缓冲器75中读取作为编码对象的第二帧图像数据的预测模式数据D20时，在它基于从帧结构转换器62中给出的第二帧图像数据检测已经排除了第二帧图像数据时，它不执行在原始图像级上的第二帧图像数据的运动矢量的检测，并且还使与作为编码对象第二帧图像数据对应的屏蔽图像数据D36从屏蔽帧存储器90中不可读。

这样，通过帧结构转换器62完全根据运动图像数据D1的帧频的变化，运动矢量检测器91能够顺序地充分地检测(包括再检测)与作为编码对象的第二帧图像数据的抽取图像对应的第二宏块数据D4的运动矢量D26和D37。

在另一方面，在通过压缩编码部分72开始作为编码对象的用于参考的第一或第二帧图像数据的压缩编码时，在屏蔽图像处理部分73中的屏蔽图像编码器94从屏蔽帧存储器90中顺序地读取屏蔽图像数据D36以便对第一和第二帧图像数据进行压缩编码，并且通过由MPEG4标准所规定的屏蔽图像数据编码方法对所读取的屏蔽图像数据D36进行压缩编码，然后将所获得的编码数据D40发送到本地解码器95和缓冲器96。

此外，屏蔽图像编码器94并不执行已经使在屏蔽帧存储器90中通过运动矢量检测器91不可读的屏蔽图像数据D36的读出。

本地解码器95根据MPEG4标准的规定对从屏蔽图像编码器94中给出的编码数据D40进行解码，并将所获得的屏蔽图像数据D41发送给具有许多帧存储容量的参考帧存储器97以将它存储在其中。

此外，在作为编码对象的第一和第二帧图像数据的压缩编码开始时在压缩编码部分72中的控制器38基于第一宏块数据D2从输入帧存储器32中顺序地读取第一帧图像数据。

然后运动补偿器92停止基于从运动矢量检测器91中给出的相应的预测模式数据D3和D30的第一宏块数据D2的运动补偿处理。

因此，在从输入帧存储器32中读取第一帧图像数据的第一宏块数据D2时，因为从运动补偿器92中没有给出数据，控制器38将第一宏块数据D2按照原样发送给离散余弦变换器98。

在作为编码对象的第一和第二帧图像数据的压缩编码开始时，离散余弦变换器98根据作为编码对象的第一和第二帧图像数据的压缩编码的顺序从参考帧存储器97中顺序地读取相应的屏蔽图像数据D41时，以及在从控制器38中给出第一宏块数据D2时，它基于相应的屏蔽图像数据D41确定第一宏块数据D2是位于抽取图像的边缘81A的外面还是里面或者位于边缘81A的部分上。

以及在第一宏块数据D2位于边缘81A的外面时，根据MPEG4标准的规定离散余弦变换器98将第一宏块数据D2的像素的像素值改变到表示例如黑色的像素值，这极大地降低了压缩编码的数据量。

此外，在第一宏块数据D2位于边缘81A的里面时，根据MPEG4标准的规定离散余弦变换器98使第一宏块数据D2不变化。

此外，在第一宏块数据D2与边缘81A重叠时，根据MPEG4标准的规定，在第一宏块数据D2的像素的像素值之外，离散余弦变换器98将在边缘81A之外的像素的像素值改变到表示黑色的像素值并使边缘81A的里面的像素值不变。

因此，离散余弦变换器98基于屏蔽图像数据D41改变每段第一宏块数据D2的像素的像素值，由此基于第一帧图像数据提供似乎在帧图像中抽取的任意形状的抽取图像以对每段第一宏块数据D2执行离散余弦变换，然后将所获得的离散余弦变换系数K10发送给量化器41。

量化器41基于相应的量化级ST对从离散余弦变换器98中给出的离散余弦变换系数K10进行量化，然后将所获得的量化系数K11连同用于量化的量化级ST一起发送给可变长度编码器93和去量化器44。

可变长度编码器93以赫夫曼编码等对从量化器41中给出的量化系数K11执行可变长度编码，并且还对从量化器41中给出的量化级ST和从运动矢量检测器91中给出的相应的预测模式数据D3执行可变长度编码，然后将由此所获得的编码数据D45发送给缓冲器96以将它一次累积在其中。

因此，缓冲器96将从可变长度编码器93中给出的编码数据D45和从屏蔽图像编码器94中给出编码数据D40输出到外部作为已经平滑的编码数据量的编码位流BS2。

这样，在表面上(seemingly)抽取了抽取图像数据的状态下运动图像编码设备70基于第一宏块数据D2通过帧内编码能够对在输入帧存储器32中的第一帧图像数据进行顺序地压缩编码。

此外，去量化器44基于同样从量化器41中给出的量化级ST对从从量化器41中给出的量化系数K11进行去量化，然后将由此所获得的离散余弦变换系数K12发送给反向离散余弦变换器45。

反向离散余弦变换器45对从去量化器44中给出的离散余弦变换系数K12执行反向离散余弦变换，然后将由此所获得的第一宏块数据D46发送给加法器46。

在从反向离散余弦变换器45中给出第一宏块数据D46时，因为这时从运动补偿器92中没有给出数据，加法器46按照原样将第一宏块数据D46发送给参考帧存储器97以将它存储在其中。

因此，每次通过对第一帧图像数据进行压缩编码从反向离散余弦变换器45中顺序地读取第一宏块数据D46，加法器46按照原样将第一宏块数据D46发送给参考帧存储器97以将它存储在其中，由此在参考帧存储器97中以在运动补偿过程中用于参考目的的第一宏块数据D46重构在其中表面上抽取了抽取图像数据的第一帧图像数据。

此外，控制器38从输入帧存储器32中读取第一帧图像数据，并且基于第二宏块数据D4顺序地读取作为编码对象的第二帧图像数据。

这时，运动补偿器92基于从运动矢量检测器91中给出的相应的预测模式数据D20和D27执行运动补偿处理，由此从参考帧存储器97中读取已经与作为编码对象关联的用于参考目的的并且具有表面上抽取的抽取图像数据的用于参考的第一或第二帧图像数据，并且还读取与作为编码对象的第二帧图像数据对应的屏蔽图像数据D41。

基于从运动矢量检测器91中给出的屏蔽图像数据D41和第二宏块数据D4的运动矢量D26和D37根据MPEG4标准的规定，运动补偿器92从用于参考的第一或第二帧图像数据中抽取与第二宏块数据D4最佳匹配的块操作数据D47，然后将所抽取的块操作数据D47发送给控制器38和加法器46。

因此，在从输入帧存储器32中读取第二宏块数据D4时，控制器38从第二宏块数据D4中减去在这时从运动补偿器92中给出的块操作数据D47，并将所获得的差值数据D48发送给离散余弦变换器98。

在控制器38给出差值数据D48时，离散余弦变换器98基于符合MPEG4标准的规定的相应的屏蔽图像数据D41将差值数据D48的像素值改变到具有表面上抽取的抽取图像，对其执行离散余弦变换，然后将由此所获得的离散余弦变换系数K13发送给量化器41。

量化器41基于相应的量化级ST对从离散余弦变换器98中给出的离散余弦变换系数K13进行量化，然后将所获得的量化系数K14连同量化级ST一起发送给可变长度编码器93和去量化器44。

可变长度编码器93以赫夫曼编码等对从量化器41中给出的量化系数K14执行可变长度编码，并还对从运动矢量检测器91中给出的相应的预测模式数据D20，D27和运动矢量D26，D37和从量化器41中给出的量化级ST执行可变长度编码，然后将由此所获得的编码数据D48发送给缓冲器96以将它在其中累积一次。

因此，缓冲器96将从可变长度编码器93中给出的编码数据D48和从屏蔽图像编码器94中给出的编码数据D40输出到外部作为已经平滑了其编码数据量的编码位流BS2。

这样，在表面上已经抽取了抽取图像数据的状态下运动图像编码设备70基于第二宏块数据D4通过前向预测编码能够对在输入帧存储器32中的第二帧图像数据进行顺序地压缩编码。

这时，去量化器44基于同样从量化器41中给出的量化级ST对从从量化器41中给出的量化系数K14进行去量化，然后将由此所获得的离散余弦变换系数K15发送给反向离散余弦变换器45。

此外，反向离散余弦变换器45对从去量化器44中给出的离散余弦变换系数K15执行反向离散余弦变换，然后将由此所获得的差值数据D50发送给加法器46。

在差值数据D50从反向离散余弦变换器45中给出时，从运动补偿器92中将块操作数据D47提供给加法器46，由此将差值数据D50和块操作数据D47相加，然后将由此所获得的第二宏块数据D51发送给参考帧存储器97以将它存储在其中。

因此，每次通过对第二帧图像数据进行压缩编码从反向离散余弦变换器45中给出差值数据D50，加法器46将差值数据D50和相应的块操作数据D47相加以产生第二宏块数据D51，并将所产生的第二宏块数据D51发送给参考帧存储器97以将它存储在其中，由此在参考帧存储器97中以在运动补偿过程中用于参考目的的第二宏块数据D51重构在其中在表面上已经抽取了抽取图像数据的第二帧图像数据。

此外，可变长度编码器93能够有选择性地对从第一和第二帧图像数据中获得的量化系数K11和K14的抽取图像数据的部分执行可变长度编码，由此降低可变长度编码的处理负担，并且还降低了编码位流BS2的编码数据量。

因此运动图像编码设备70能够在适当地改变运动图像数据D1的帧频的同时从第一和第二帧图像数据中抽取表面上的抽取图像数据并对其进行压缩编码，然后将由此所获得的编码位流BS2输出到外部。

现在，为概述通过运动图像编码设备70的帧频改变处理部分61、运动矢量检测处理部分71、压缩编码部分72和屏蔽图像处理部分73对运动图像数据D1进行压缩编码的过程，首先，如在附图21(A)和22(A)中所示，运动矢量检测处理部分71输入程序RT6的开始步骤并移到步骤SP51，在附图21(A)和22(A)中，与在附图13(A)和附图14(A)中的部分相对应的部分使用相同的参考标号。

在步骤SP51中，运动矢量检测处理部分73从输入帧存储器32中应用简单运动矢量检测器74基于第一和第二宏块数据D2和D4顺序地读取除了领先的第一帧图像数据以外的第一和第二帧图像数据，并且也读取用于第一和第二帧图像数据的用于参考的第一或第二帧图像数据D6，并根据分层搜索运动矢量检测方法检测在第二层中一帧的每段第一和第二宏块数据D2和D4的简单运动矢量D24，D31，然后移到步骤SP32。

在步骤SP32中，运动矢量检测处理部分71使用简单运动矢量检测器74来计算帧间相关值SH2并将它发送给帧结构转换器62，然后移到步骤SP33。

在步骤SP33中，运动矢量检测处理部分71使用运动矢量检测器91来通过监测控制器38是否已经访问输入帧存储器32来确定第一和第二帧图像数据的压缩编码是否已经开始，如果第一和第二帧图像数据的压缩编码还没有开始，则它返回到步骤SP51。

因此，运动矢量检测处理部分71重复步骤SP51-SP32-SP33的处理环直到第一和第二帧图像数据的压缩编码开始，以顺序地检测在第一和第二帧图像数据中的每段第一和第二宏块数据D2和D4的简单运动矢量D24，D31，并且还计算帧间相关值SH2。

这时，如附图21(B)和附图22(B)所示，屏蔽图像处理部分73输入程序RT7的开始步骤，并移到步骤SP61以基于帧图像数据顺序地捕获从外部输送的运动图像数据D1，基于形状指定数据D35产生指定领先的帧图像数据的抽取图像的任意形状和初始位置的屏蔽图像数据D36，并将它累积在屏蔽帧存储器90中，然后移到步骤SP62。

在步骤SP62中，屏蔽图像处理部分73通过监测运动矢量检测器91是否访问例如屏蔽帧存储器90确定第一和第二帧图像数据的压缩编码是否已经开始，如果还没有开始对第一和第二帧图像数据进行压缩编码，则它返回到步骤SP61。

因此，屏蔽图像处理部分73重复步骤SP61-SP62的处理环直到第一和第二帧图像数据的压缩编码开始，以产生表示每段帧图像数据的抽取图像的任意形状和移动位置的屏蔽图像数据D36并将它累积在屏蔽帧存储器90中，同时通过使用从简单运动矢量缓冲器75中读取的第二和连续的帧的帧图像数据的第一和第二帧图像数据的简单运动矢量D24和D31顺序地跟踪抽取图像。

在压缩编码部分72开始作为编码对象的第一和第二帧图像数据的压缩编码时，运动矢量检测处理部分71从步骤SP33移到步骤SP34以与上述附图13(A)和附图14(A)一样地顺序执行步骤SP34-SP35-SP36的处理。

在步骤SP52中，运动矢量检测处理部分71使用运动矢量检测器91以基于第二宏块数据D4从输入帧存储器32中顺序地读取作为编码对象的第二帧图像数据，并且还读取用于参考的第一或第二帧图像数据D6，进一步还从屏蔽帧存储器90中读取屏蔽图像数据D36，由此基于屏蔽图像数据D36确定每段第二宏块数据D4是否位于任意形状的抽取图像的边缘81A的里面还是外面或者与边缘81A重叠，然后根据分层搜索运动矢量检测方法在第一层中基于确定的结果检测每段第二宏块数据D4的原始图像级的运动矢量D26，D37，并移到步骤SP38。

在步骤SP38中，运动矢量检测处理部分71使用简单运动矢量检测器74来确定是否已经检测了第二和后续的帧的所有的第一和第二帧图像数据的每段第一和第二宏块数据D2和D4的简单运动矢量D24，D31，如果还没有检测第二和后续的帧的所有的第一和第二帧图像数据的每段第一和第二宏块数据D2和D4的简单运动矢量D24和D31，则它返回到步骤SP51。

因此，运动矢量检测处理部分71重复步骤SP51-SP32-SP33-SP34-SP35-SP36-SP52-SP38，同时将用于检测简单运动矢量D24和D31的第一和第二帧图像数据捕获在输入帧存储器32中，以顺序地检测捕获在输入帧存储器32中的第二和后续的帧的第一和第二帧图像数据的第一和第二宏块数据D2和D4的简单运动矢量D24和D31，以在顺序地计算帧间相关值SH2的同时检测第二宏块数据D4的运动矢量D26和D37。

在另一方面，在压缩编码部分72开始对作为编码对象的第一和第二帧图像数据的压缩编码，屏蔽图像处理部分73从步骤SP62移到步骤SP63以使用屏蔽图像编码器94来从屏蔽帧存储器90中读取屏蔽图像数据D36并对它进行压缩编码，然后将由此所获得的编码数据D40发送给本地解码器95和缓冲器96，然后移到步骤SP64。

在步骤SP64中，屏蔽图像处理部分73使用本地解码器95来对编码数据D40进行解码，并在参考帧存储器97中计算所获得的屏蔽图像数据D41，然后移到步骤SP65。

在步骤SP65中，屏蔽图像处理部分73使用屏蔽图像发生器77来确定是否已经产生了屏蔽图像数据D36，同时跟踪来自外部的帧图像数据的抽取图像，如果在跟踪来自所有的帧图像数据的抽取图像的同时还没有产生屏蔽图像数据D36，则它返回到步骤SP61。

因此，屏蔽图像处理部分73重复步骤SP61-SP62-SP63-SP64-SP65的处理环直到从所有的帧图像数据中产生表示抽取图像的任意形状的移动位置的屏蔽图像数据D36，以在基于从帧图像数据中已经顺序地跟踪的抽取图像产生屏蔽图像数据D36并将它积累在屏蔽帧存储器90中的同时对屏蔽图像数据D36顺序地压缩编码。

此外，如附图23(C)所示，其中与附图13(B)的部分相对应的部分使用相同的参考标号，压缩编码部分72输入程序RT8的开始步骤，然后移到步骤SP11，然后通过开始作为编码对象的第一和第二帧图像数据的压缩编码移到步骤SP71。

在步骤SP71中，压缩编码部分72基于第一和第二宏块数据D2和D4应用控制器38从输入帧存储器32中顺序地读取第一和第二帧图像数据，并基于屏蔽图像数据D41应用离散余弦变换器98改变所读取的第一和第二宏块数据D2和D4的像素值，由此抽取表面上的抽取图像数据，然后通过帧内编码或者前向预测编码使用运动矢量D26和D37对它进行压缩编码，并将所获得的编码数据D45和D48累积在缓冲器96中，然后移到步骤SP72中。

在步骤SP72中，压缩编码部分72将通过对第一和第二帧图像数据进行压缩编码所获得的编码数据D45和D48连同通过对屏蔽图像数据D36进行压缩编码从屏蔽图像处理部分73中给出的编码数据D40从缓冲器96中输出到外部作为编码位流BS2，然后移到步骤SP14。

在步骤SP14中，压缩编码部分72根据控制器38从输入帧存储器32中读的第一和第二帧图像数据的读出状态确定是否已经对作为编码对象的所有的第一和第二帧图像数据已经进行了压缩编码，如果还没有对作为编码对象的所有的第一和第二帧图像数据进行压缩编码，则它返回到步骤SP71。

因此，压缩编码部分72重复步骤SP71-SP72-SP14的处理环直到对作为编码对象的所有的第一和第二帧图像数据已经进行了压缩编码，以抽取作为编码对象的第一帧图像数据的表面上的抽取图像数据，并通过帧内编码对它进行压缩编码，也抽取作为编码对象的第二帧图像数据的表面上的抽取图像数据，并使用运动矢量D26和D37通过前向预测编码对它进行压缩编码，然后将所获得的编码数据D45和D48连同屏蔽图像数据D36的编码数据D40作为编码位流BS2输出。

然后，在步骤SP38中，在运动矢量检测处理部分71使用简单运动矢量检测器74检测第二帧和后续的帧的所有的第一和第二帧图像数据的每段第一和第二宏块数据D2和D4的简单运动矢量D24和D31时，它移到步骤SP8。

在步骤SP8中，运动矢量检测处理部分71使用运动矢量检测器91通过监测控制器38是否访问输入帧存储器32来确定是否已经对作为编码对象的所有的第一和第二帧图像数据进行压缩编码，如果还没有对作为编码对象的所有的第一和第二帧图像数据进行压缩编码，则它返回到步骤SP34。

因此，运动矢量检测处理部分71重复步骤SP34-SP35-SP36-SP52-SP38-SP8的处理环直到已经对作为编码对象的所有的第一和第二帧图像数据都进行了压缩编码，以顺序地检测作为编码对象的第二帧图像数据的每段第二宏块数据D4的运动矢量D26和D37。

如上文所述，在步骤SP8中在运动矢量检测处理部分71确定已经检测了作为编码对象的所有的第一和第二帧图像数据时它移到步骤SP53以完成运动矢量检测处理部分71的处理过程。

此外，步骤SP65中，屏蔽图像处理部分73使用屏蔽图像发生器77来产生屏蔽图像数据D36，同时顺序地跟踪来自所有的帧图像数据的抽取图像，然后移到步骤SP66。

在步骤SP66中，屏蔽图像处理部分73确定是否通过屏蔽图像编码器94对屏蔽帧存储器90中的所有的屏蔽图像数据D36进行了压缩编码，如果还没有对所有的屏蔽图像数据D36进行压缩编码，则它返回到步骤SP62。

因此，屏蔽图像处理部分73重复步骤SP62-SP63-SP64-SP65-SP66的处理环直到对在屏蔽帧存储器90中的所有的屏蔽图像数据D36都进行了压缩编码，以对在屏蔽帧存储器90中的屏蔽图像数据D36进行压缩编码，然后将所获得的编码数据D40发送给本地解码器95和缓冲器96。

在步骤SP66中，在屏蔽图像处理部分73确定已经对在屏蔽帧存储器90中的所有的屏蔽图像数据D36进行压缩编码时，它移到步骤SP67并完成屏蔽图像处理部分73的处理过程。

此外，在步骤SP14中在压缩编码部分72确定已经对作为编码对所有的第一和第二帧图像数据进行了压缩编码时，它移到步骤SP73并完成压缩编码部分72的处理过程，由此完成了在运动图像编码设备70中对运动图像数据D1进行压缩编码的所有的程序。

在上述的结构中，运动图像编码设备70将从外部输送的运动图像数据D1基于帧图像数据顺序地捕获进输入帧存储器32，并使用简单运动矢量检测器74以根据分层搜索运动矢量检测方法在第二层中检测第一和第二帧图像数据的第一和第二宏块数据D2和D4的简单运动矢量D24和D31。

此外，运动图像编码设备70还基于帧图像数据将从外部输送的运动图像数据D1捕获进屏蔽图像发生器77中，并以屏蔽图像发生器77产生表示每段帧图像数据的抽取图像数据的任意形状和移动位置的屏蔽图像数据D36，同时顺序地跟踪抽取图像数据，其中通过第一和第二宏块数据D2和D4的简单运动矢量D24和D31在第二和后续的帧的帧图像数据中为领先的帧图像数据指定初始位置和任意形状。

在运动图像编码设备70中，在压缩编码部分72对作为编码对象的第一和第二帧图像数据进行压缩编码时，运动矢量检测器91根据分层搜索运动矢量检测方法在第一层中基于简单运动矢量D24和屏蔽图像数据D36仅检测在抽取图像中并与边缘81A重叠的第二宏块数据D4的原始图像级的运动矢量D26和D37。

因此，在运动图像编码设备70中，压缩编码部分72基于屏蔽图像数据D41通过抽取表面上的抽取图像数据通过帧内编码对第一帧图像数据进行压缩编码，同时帧频改变处理部分61适当地改变运动图像数据D1的帧频，并且基于原始图像级和屏蔽图像数据D41的运动矢量D26和D37通过前向预测编码并抽取表面上的抽取图像数据对第二帧图像数据进行压缩编码，此外屏蔽图像编码器94还对屏蔽图像数据D36进行顺序地压缩编码，将所获得的编码数据D45、D48和D40在缓冲器96中累积一次，然后将它们作为编码位流BS2输出到外部。

因此，除了改变运动图像数据D1的帧频以外，运动图像编码设备70除了具有通过上述的实施例所获得的效果以外，通过从帧图像数据中顺序地抽取抽取图像数据对运动图像数据D1进行压缩编码，与根据上述的第一和第二实施例的运动图像编码设备30和60(附图2和10)相比，因此它能够极大地降低每单位时间要压缩编码的作为编码对象的数据量，因此它能够极大地降低抽取图像数据的压缩率并使要提供给用户的抽取图像的图像质量更高。

除此之外，运动图像编码设备70应用简单运动矢量检测器74和运动矢量检测器91分层地检测第一和第二宏块数据D2和D4，并使用在更低层侧上的第二层中所检测的简单运动矢量D24和D31用于在更高层侧(原始图像级)上的第一层中的第二宏块数据D4的运动矢量D26和D37的检测和第一和第二帧图像数据的抽取图像数据的跟踪，该更高的层侧上的第一层是用于抽取图像数据的压缩编码，因此与为进行抽取图像数据的跟踪和压缩编码在一层中单个地直接地检测运动矢量的情况相比，它能够极大地降低检测运动矢量的操作量。

此外，运动图像编码设备70使用分层搜索运动矢量检测方法来检测运动矢量，因此，从上述的第二实施例中可以清楚地看出，与在一层中直接检测运动矢量的情况相比，它可以极大地降低检测运动矢量的操作量。

此外，在运动图像编码设备70中，基于屏蔽图像数据D36运动矢量检测器91从第二帧图像数据的第二宏块数据D4中仅检测位于抽取图像数据的边缘81A之上或者里面的第二宏块数据D4的原始图像级的最终运动矢量D26和D37，因此可以进一步降低检测运动矢量的操作量。

至于与抽取图像数据的边缘81A重叠的第二宏块数据D4，运动图像编码设备70的运动矢量检测器91通过专门仅使用在边缘81A的里面的像素检测运动矢量D37，因此它可以极大地提高用于抽取图像数据的压缩编码的运动矢量D37的检测精度。

此外，虽然运动图像编码设备70使用简单运动矢量D24和D31来跟踪第一和第二帧图像数据的抽取图像数据，但是它也可以使用行匹配方法来实现上述目的，因此它可以提高所跟踪的图像数据的跟踪精度。

根据上述的结构，简单运动矢量检测器74检测第一和第二宏块数据D2和D4的简单运动矢量D24和D31，并且通过共享所检测的简单运动矢量D24和D31，屏蔽图像发生器77跟踪第一和第二帧图像数据的抽取图像数据以产生屏蔽图像数据D36，并且运动矢量检测器91检测第二宏块数据D4的更高层的运动矢量D26和D37以用于抽取图像数据的压缩编码，因此它可以极大地降低检测运动矢量的操作量，因此它可以实施能够加速任意形状的抽取图像数据的压缩编码过程的运动图像编码设备。

此外，上述的第三实施例已经描述了这样的情况：如附图15所示，从外部输送的运动图像数据D1基于帧图像数据顺序地捕获进输入帧存储器32，以预定的顺序将I-图像和P-图像顺序地指定给捕获在输入帧存储器32中的帧图像数据。然而，本发明并不限于这些，它可以将I-图像、P-图像和B-图像分配给捕获进输入帧存储器32中的帧图像数据，如上述的附图8(A)和(B)和附图9(A)至(C)一样。

此外，上述的第三实施例已经描述了这样的情况：在结合运动图像数据D1的帧频的变化将新的用于参考的第一或第二帧图像数据D6分配给作为编码对象的第二帧图像数据时，运动矢量检测器91根据分层搜索运动矢量检测方法在第一层和第二层中顺序地检测每段第二宏块数据D4的原始图像级的运动矢量D26和D37和简单运动矢量D24。然而不，本发明并不限于这些，在结合运动图像数据D1的帧频的变化将新的用于参考的第一或第二帧图像数据D6分配给作为编码对象的第二帧图像数据时，简单运动矢量检测器74也可以通过使用作为编码对象的第二帧图像数据和新的用于参考的第一或第二帧图像数据D6在第二层中根据分层搜索运动矢量检测方法检测每段第二宏块数据D4的简单运动矢量D24，并且在第一层中根据分层搜索运动矢量检测方法运动矢量检测器91也可以检测第二宏块数据D4的原始图像级的运动矢量D26和D37。结合帧频的变化这种方法能够极大地降低在运动矢量的再检测中运动矢量检测器91的处理负担。

除此之外，在结合在运动图像数据D1的帧频的变化将新的用于参考的第一或第二帧图像数据D6分配给作为编码对象的第二帧图像数据时，如果出于参考目的将第二帧图像数据D6(更具体地说，在前向侧上在作为编码对象的第二帧图像数据的附近的第二帧图像数据)分配给在检测简单运动矢量D24时作为编码对象的第二帧图像数据，运动矢量检测器91将作为编码对象的第二帧图像数据的每段第二宏块数据D4的预先检测的简单运动矢量D24与在检测简单运动矢量D24时用于参考的第二考图像数据D6的每段第二宏块数据D4的简单运动矢量D24合成起来，并根据分层搜索运动矢量检测方法在第一层中使用所获得的合成的简单运动矢量以通过例如使用远视方法检测作为编码对象的第二帧图像数据的每段第二宏块数据D4的原始图像级的运动矢量D26和D37。结合帧频的变化这种方法也可以极大地降低在运动矢量的再检测中运动矢量检测器91的处理负担。

此外，它还可以通过应用简单运动矢量检测器74执行简单运动矢量D24的这种合成来降低运动矢量检测器91的处理负担。

此外，上述的第三实施例已经描述了这样的情况：通过前向预测编码对第二帧图像数据的每段第二宏块数据D4进行压缩编码。然而，本发明并不限于这些，还可以通过使用每段第二宏块数据D4的分布值通过帧内编码和前向预测编码中的一种编码方法对该数据进行压缩编码。

此外，上述的第三实施例已经描述了这样的情况：运动矢量检测器91通过使用从输入帧存储器32中读取的用于参考的第一和第二帧图像数据D6检测每段第二宏块数据D4的运动矢量D26和D37。然而，本发明并不限于这些，它还可以应用运动矢量检测器91从参考帧存储器97中读取用于参考的第一和第二帧图像数据以检测每段第二宏块数据D4的运动矢量D26和D37。这种方法可以在压缩编码、解码和重构的处理中使用由压缩编码所产生的块噪声等的第一和第二帧图像数据来检测运动矢量D26和D37，这可以提高运动矢量D26和D37的检测精度。

此外，上述的第三实施例已经描述了这样的情况：将使用两层(即第一层和第二层)的分层搜索运动矢量检测方法用于检测第二宏块数据D4的运动矢量D26和D37。然而，本发明并不限于这些，它还可以使用采用彼此具有不同的分辨率的帧图像的三层或更多层的分层搜索运动矢量检测方法以检测第二宏块数据D4的运动矢量。

此外，上述的第三实施例已经描述了这样的情况：简单运动矢量检测器74将简单运动矢量D24和D31和预测模式数据D3，D20和D30累积在简单运动矢量缓冲器75中。然而本发明并不限于这些，除了简单运动矢量D24和D31和预测模式数据D3，D20和D30之外，简单运动矢量检测器74还可以将在检测简单运动矢量D24和D31时所计算的预测误差累积在简单运动矢量缓冲器75中。通过这种方法，通过应用简单运动矢量检测器74使用再检测第一和第二宏块数据D2和D4的简单运动矢量D24和D31的预测误差可以适当地选择搜索范围，或者通过行匹配方法应用屏蔽图像发生器77可以适当地选择在相邻的帧图像数据之间彼此比较目标区84A和84B的搜索范围，由此可以提高抽取图像的跟踪和简单运动矢量D24和D31的再检测的精度。

此外，上述的第三实施例已经描述了这样的情况：基于形状指定数据D35将抽取图像的任意形状和初始位置指定给屏蔽图像发生器77。然而，本发明并不限于这些，如附图25所示，它还可以将在帧图像100中某人等的抽取图像101的任意点指定给屏蔽图像发生器77，由此识别任意形状，或者应用屏蔽图像发生器77自动检测在帧图像中的图像的各种边缘以识别抽取图像和它的任意形状。

此外，上述的第三实施例已经描述了这样的情况：从上述的附图16中可以清楚的看出将新月形指定为抽取图像的任意形状。然而本发明并不限于这些，它还可以指定其它的各种形状作为抽取图像的任意形状，比如图像、椭圆、星形和圆形的边缘所形成的任意形状。

此外，上述的第三实施例已经描述了这样的情况：根据所检测的缓冲器96的累积数据量DR和预测编码数据量改变运动图像数据D1的帧频。然而，本发明并不限于这样，它还可以根据所检测的缓冲器96的累积数据量DR改变帧频。即使由此改变了该帧频，仍然可以足够地对付累积数据量DR的急剧增加和降低以稳定运动图像的图像质量。

(5)其它的实施例

注意，上述的第一至第三实施例已经描述了这样的情况：参考附图2至25所描述的运动图像编码设备30、60和70用作本发明的运动图像编码设备。但是本发明并不限于这些，它还可以广泛地用于其它的运动图像编码设备，例如电子设备比如个人计算机、便携式电话和PDA(个人数字助理)，只要这些设备能够对压缩编码运动图像进行简单地压缩编码，或者可以从运动图像数据中抽取抽取图像数据并对它进行压缩编码，比如使用压缩编码方法如MPEG2标准的运动图像编码设备、对预先存储在其中或外部的运动图像数据而不是从摄像机中输送的运动图像数据D1进行压缩编码的运动图像编码设备以及从摄像机输送的或者预先存储在其中的运动图像数据中抽取抽取图像数据并对它进行压缩编码的运动图像编码设备。

此外，在将根据本发明的运动图像编码设备应用于电子设备比如个人计算机、便携式电话或PDA的情况下，如上述参考附图2和10所描述的电路块可以作为硬件安装在电子设备中，或者将执行参考附图6(A)至(C)、附图7(A)和(C)、附图13(A)至(C)、附图14(A)和(C)、附图21(A)和(B)、附图22(A)和(B)、附图23(C)和(D)和附图24(D)所描述的运动图像数据D1的压缩编码处理过程的程序安装在电子设备中替换该硬件，并且根据软件处理的程序可以执行运动图像数据D1的压缩编码处理过程以实现本发明。

为了将上述参考附图6(A)至(C)、附图7(A)和(C)、附图13(A)至(C)、附图14(A)和(C)、附图21(A)和(B)、附图22(A)和(B)、附图23(C)和(D)和附图24(D)所描述的运动图像数据D1的压缩编码处理过程的程序安装在电子设备中，可以使用将程序存储在其中的程序存储媒体，还可以利用有线和无线电通信媒体比如局域网、因特网和数字卫星广播，还可以进一步通过各种通信接口比如路由器和调制解调器来安装它。

此外，作为将程序安装在电子设备上以使它可执行的程序存储媒体，不仅可以使用封装媒体比如软盘、CD-ROM(光盘只读存储器)或DVD(数字化视频光盘)，而且还可以使用半导体存储器或者临时或永久存储程序的磁盘。此外，作为在程序存储媒体中存储程序的装置，可以使用有线或无线电通信媒体比如局域网、因特网和数字卫星广播，还可以进一步通过各种通信接口比如路由器和调制解调器来存储它。

此外，上述的第一至第三实施例已经描述了这样的情况：上文参考附图2、10和15所述的压缩编码部分37和72用作基于帧图像数据顺序地压缩编码运动图像数据以产生编码数据的压缩编码装置。然而，本发明并不这种装置，它还可以广泛地使用能够基于帧图像数据对运动图像数据进行顺序压缩编码以产生编码数据的其它的各种压缩编码编码装置。

此外，上述的第一至第三实施例已经描述了这样的情况：如上文参考附图2、10和15所述的帧结构转换器33和62用作根据缓冲器的累积数据量改变运动图像数据的帧频改变装置。但是本发明并不限于这种装置，它还可以广泛地使用能够根据缓冲器的累积数据量改变运动图像数据的帧频的其它的各种帧频改变装置。

此外，上述的第一至第三实施例已经描述了这样的情况：上文参考附图2所述的通过块匹配方法检测运动矢量D24的运动矢量检测器35用作检测在帧图像数据之间的运动矢量并结合运动矢量的检测计算在上述的帧图像数据之间的相关值的运动矢量检测装置。但是本发明并不限于这种装置，它也可以广泛地使用能够检测在帧图像数据之间的运动矢量并结合运动矢量的检测计算在上述的帧图像数据之间的相关值的其它各种运动矢量检测装置，比如通过光流检测运动矢量的运动矢量检测装置。

此外，上述的第一至第三实施例已经描述了这样的情况：上文参考附图10和15所述的根据分层搜索运动矢量检测方法在第二层中检测简单运动矢量D24和D31的简单运动矢量检测器64和74用作在比预定的层更低的一层或多层中检测在帧图像数据之间的简单运动矢量的低层运动矢量检测装置。然而本发明并限于这种装置，它还可以广泛地使用能够在比预定的层更低的一层或多层中检测在帧图像数据之间的简单运动矢量的其它的各种低层运动矢量检测装置，比如在比预定的层更低的多层中顺序地逐步地检测低分辨率的运动矢量以最终检测简单运动矢量的低层运动矢量检测装置。

此外，上述的第一至第三实施例已经描述了这样的情况：上文参考附图10和15所述的根据上述的分层搜索运动矢量检测方法在第一层中检测原始图像级的运动矢量D26和D37的运动矢量检测器66和91用作在比预定的层更高的一层或多层中通过使用简单运动矢量检测运动矢量的高层运动矢量检测装置。然而本发明并限于这种装置，它还可以广泛地使用能够在比预定的层更高的一层或多层中通过使用简单运动矢量检测运动矢量的其它的各种高层运动矢量检测装置，比如通过使用简单运动矢量在多层中逐步顺序地检测低分辨率的运动矢量以最终检测原始图像级的简单运动矢量的高层运动矢量检测装置。

此外，上述的第一至第三实施例已经描述了这样的情况：上文参考附图15所述的在跟踪第一和第二帧图像数据的抽取图像数据的同时产生屏蔽图像数据D36的屏蔽图像发生器77用作产生屏蔽图像数据以从运动图像数据的每段帧图像数据中顺序地抽取任意形状的抽取图像数据的屏蔽图像数据产生装置。然而本发明并限于这种装置，它还可以广泛地使用能够产生屏蔽图像数据以从运动图像数据的每段帧图像数据中顺序地抽取任意形状的抽取图像数据的其它各种屏蔽图像数据产生装置，比如基于在其它的电路块中抽取图像数据的跟踪结果或从外部提供的抽取图像数据的规范产生屏蔽图像数据但不跟踪抽取图像数据的屏蔽图像数据产生装置。

此外，上述的第一至第三实施例已经描述了这样的情况：上文参考附图15所述的根据分层搜索运动矢量检测方法在第二层中检测简单运动矢量D24和D31的简单运动矢量检测器74用作在比预定的层更低的一层或多层中检测在运动图像数据的连续的帧图像数据之间的简单运动矢量的低层运动矢量检测方法。然而本发明并限于这种装置，它还可以广泛地使用能够在比预定的层更低的一层或多层中检测在运动图像数据的连续的帧图像数据之间的简单运动矢量的其它各种低层运动矢量检测装置，比如在比预定的层更低的多层中顺序地逐步地检测低分辨率的运动矢量以最终检测简单运动矢量的低层运动矢量检测装置。

此外，上述的第一至第三实施例已经描述了这样的情况：上文参考附图15所述的在跟踪抽取图像数据的同时产生屏蔽图像数据的屏蔽图像发生器77用作通过使用简单运动矢量在运动图像数据的连续帧图像数据中跟踪任意形状的抽取图像数据的跟踪装置。然而本发明并限于这种装置，它还可以广泛地使用能够通过使用简单运动矢量在运动图像数据的连续帧图像数据中跟踪任意形状的抽取图像数据的其它的各种跟踪装置，比如仅执行不同于屏蔽图像数据的产生处理的跟踪处理的跟踪装置和将基于像素识别抽取图像数据和与抽取图像数据重叠的第一和第二宏块数据的跟踪位置的结果输出为抽取图像数据的跟踪结果的跟踪装置。

此外，上述的第一至第三实施例已经描述了这样的情况：上文参考附图15所述的根据分层搜索运动矢量检测方法在第一层中检测原始图像级的运动矢量D26和D37的运动矢量检测器91用作在比预定的层更高的一层或多层中通过共同地使用简单运动矢量检测在运动图像数据的连续帧图像数据之间的原始图像级的运动矢量的高层运动矢量检测装置。然而本发明并限于这种装置，它还可以广泛地使用能够在比预定的层更高的一层或多层中通过共同地使用简单运动矢量检测在运动图像数据的连续帧图像数据之间的原始图像级的运动矢量的其它的各种高层运动矢量检测装置，比如通过使用简单运动矢量在多层中逐步顺序地检测更低分辨率的运动矢量以最终检测原始图像级的简单运动矢量的高层运动矢量检测装置。

此外，上述的第一至第三实施例已经描述了这样的情况：上文参考附图15所述的压缩编码部分72用作基于抽取图像数据的跟踪结果从运动图像数据的连续帧图像数据中顺序地抽取抽取图像并通过使用运动矢量的运动补偿预测编码对所抽取的抽取图像数据进行压缩编码的压缩编码方法。然而本发明并限于这些，它还可以广泛地使用能够基于抽取图像数据的跟踪结果从运动图像数据的连续帧图像数据中顺序地抽取抽取图像并通过使用运动矢量的运动补偿预测编码对所抽取的抽取图像数据进行压缩编码的其它各种压缩编码装置。

工业实用性

本发明可以使用在通过因特网发布运动图像数据的个人计算机中。

Claims (6)

1.一种运动图像编码设备，包括：

基于帧图像数据对运动图像数据顺序地压缩编码以产生编码数据的压缩编码装置；

累积所述编码数据一次然后将其输出的缓冲器；

根据所述缓冲器的累积数据量改变所述运动图像数据的帧频的帧频改变装置；以及

检测在所述帧图像数据之间的运动矢量并结合运动矢量的检测计算在所述帧图像数据之间的相关值的运动矢量检测装置，

其中，所述压缩编码装置基于所述帧图像数据通过使用所述运动矢量的运动补偿预测编码对所述运动图像数据顺序地压缩编码；

其中，所述帧频改变装置基于在所述帧图像数据之间的所述相关值预测所述编码数据的编码数据量，并根据所述累积数据量和预测的编码数据量改变所述运动图像数据的所述帧频；并且

其中，在由于所述帧频的所述变化的缘故从所述运动图像数据中排除所述帧图像数据时，所述运动矢量检测装置对由于所述帧频的变化被排除的所述帧图像数据的所述运动矢量和使用被排除的帧图像数据作为参考的所述其它帧图像数据的所述运动矢量进行合成来再检测在所述其它的帧图像数据和用于参考的新分配的帧图像数据之间的所述运动矢量。

2.根据权利要求1所述的运动图像编码设备，其中

所述运动矢量检测装置包括：

在比预定的层更低的一层或多层中检测在所述帧图像数据之间的简单运动矢量的低层运动矢量检测装置；以及

在比所述预定的层更高的一层或多层中通过使用所述简单运动矢量检测所述运动矢量的高层运动矢量检测装置。

3.根据权利要求2所述的运动图像编码设备，其中

对于在所述帧频变化之前的所述运动图像数据，所述低层运动矢量检测装置检测在作为所述运动矢量的检测的对象的所有的所述帧图像数据之间的所述简单运动矢量；以及

所述高层运动矢量检测装置结合所述帧频的变化通过使用仅在作为编码对象的剩下的所述帧图像数据之间的所述简单运动矢量检测所述运动矢量。

4.根据权利要求3所述的运动图像编码设备，其中

所述低层运动矢量检测装置结合所述简单运动矢量的检测计算所述相关值。

5.根据权利要求4所述的运动图像编码设备，包括

产生屏蔽图像数据以从所述运动图像数据的所述每段帧图像数据中顺序地抽取任意形状的抽取图像数据的屏蔽图像数据产生装置，其中

所述压缩编码装置基于所述屏蔽图像数据从所述帧图像数据中抽取所述抽取图像数据，并通过使用所述运动矢量的运动补偿预测编码对所抽取的所述抽取图像数据进行压缩编码以产生所述编码数据。

6.一种运动图像编码方法，包括：

基于帧图像数据对运动图像数据顺序地压缩编码以产生编码数据的压缩编码步骤；

将所述编码数据在缓冲器中累积一次然后输出它的输出步骤；

根据所述缓冲器的累积数据量改变所述运动图像数据的帧频的帧频改变步骤；以及

检测在所述帧图像数据之间的运动矢量并结合运动矢量的检测计算在所述帧图像数据之间的相关值的运动矢量检测步骤，

其中所述压缩编码步骤基于所述帧图像数据通过使用所述运动矢量的运动补偿预测编码顺序地压缩编码所述运动图像数据；

所述帧频改变步骤基于在所述帧图像数据之间的所述相关值预测所述编码数据的编码数据量，并根据所述累积数据量和预测的编码数据量改变所述运动图像数据的所述帧频；并且

其中，在由于所述帧频的所述变化的缘故从所述运动图像数据中排除所述帧图像数据时，所述运动矢量检测步骤对由于所述帧频的变化被排除的所述帧图像数据的所述运动矢量和使用被排除的帧图像数据作为参考的所述其它帧图像数据的所述运动矢量进行合成来再检测在所述其它的帧图像数据和用于参考的新分配的帧图像数据之间的所述运动矢量。

Images