CN1436427A - 存储和处理时间上顺序排列图象的图象信息的方法和装置 - Google Patents

Abstract

从每个所考虑的时间上发生在前图象中各选出至少一个图象区，并且用分配信息来存储相关的图象信息，在考虑各个分配信息的条件下，由该图象信息形成至少一个混合图象，该混合图象用于图象的运动估计、运动补偿或误差掩蔽。

Description

存储和处理时间上顺序排列图象的图象信息的方法和装置

本发明涉及存储和处理时间上顺序排列图象的图象信息的方法和装置。

从[1]中已知这样的方法和装置。此公知方法利用了多个时间上发生在前图象的图象区中的图象信息的运动估计。采用多个前任图象进行运动估计以便有更多图象区选择可以利用，从而改善与此有关的运动估计、运动补偿或误差掩蔽。

这可以例如由此来解释，在一个图象中的背景变成空的情况下(bei frei werdendem Hintergrund)，在待编码的或一般情况下待处理的图象及其正好时间上发生在前的图象之间，如果只考虑这两个图象时运动估计很不正确。然而，若在运动估计或误差掩蔽的范围内考虑大量的前任图象，那么复制这些较早的，时间上发生在前图象的背景变成空的图象区是可能的。

通常，在所谓预言编码方法的情况下，即在编码方法情况下，进行所谓的运动估计，由从图象区已经传送的图象信息来估计目前的图象信息，并只传递作为运动估计的结果所产生的所谓估计误差。此运动估计越准确，时间上顺序排列图象的序列就越有效地被压缩，同样在下文的图象序列也能越有效地被压缩。迄今，通常将运动估计只应用于正好时间上发生在前的图象。若物体相对于图象的背景运动，那么由正好时间上发生在前的前任图象不能预言变成空的背景，而必须完全重新编码。结果，图象压缩的效率下降同时传送有恒定质量的图象系列所需的数据传输速度提高。

在[1]中公知的方法的情况下，在运动估计范围内越过多个时间上发生在前图象所考虑的所有前任图象都被存储。这导致相当大的存储空间需求，特别是在只有相对小的存储空间可以利用的应用，如视频电话中。在此已知的方法情况下，为存储时间上发生在前图象的大量的必需的图象信息，通常需要可用于图象编码的存储空间的多路系统。

因此，本发明是基于以下问题：存储和处理时间上顺序排列图象的图象信息，其运动估计或误差掩蔽的质量相似于[1]中所公开的方法的情况，但却减少了为存储大量时间上发生在前图象的存储空间的需求。

该问题可以利用本方法，该装置，计算机可读介质和同独立权利要求特征相一致的计算机程序单元来解决。

在存储和处理时间上顺序排列图象的图象信息的方法的情况下，总是从所考虑的每一时间上发生在前的图象至少选出一个图象区。利用分配信息来存储由从每一选出图象区所确定的图象信息，在相应的图象区内，利用该分配信息使各个图象区和因此也使各个图象区的图象信息可以分配给该相应的图象和所述图象区的位置。考虑到分配信息，从所选图象区分别存储的图象信息至少形成一个混合图象。该混合图象在一个图象的运动估计或运动补偿或误差掩蔽的范围内使用。

存储和处理时间上顺序排列图象的图象信息的装置包括有一个处理器，安装所述处理器使得能够执行以下步骤：

--从所考虑的每一时间上发生在前图象中总是至少选出一个图象区，

--用分配信息来存储每一所选图象区的图象信息，在该图象区内此分配信息能将各个图象区分配给相应的图象和该图象区的位置，

--在考虑各个分配信息的情况下，从存储的所选图象区中由图象信息形成至少一个混合图象，

--此混合图象用于图象的运动估计、运动补偿或误差掩蔽。

在计算机可读介质中，存储了用于存储和处理时间上顺序排列图象的图象信息的计算机程序，如果它由一处理器来执行的话，有如下方法步骤：

--从每个所考虑的时间上发生在前的图象中各选出至少一个图象区，

--用分配信息存储从每个图象区选出的的图象信息，在该图象区内，该分配信息能使各个图象区分配到相应的图象和该图象区的位置，

--在考虑各个分配信息的条件下，由图象信息从所存储的所选图象区形成至少一个混合图象，

--此混合图象用于图象的运动估计、运动补偿或误差掩蔽。

如果用于存储和处理时间上顺序排列图象的图象信息的计算机程序单元由处理器执行，则该计算机程序单元包括以下方法步骤：

--从每一个所考虑的时间上发生在前的图象中各选出至少一个图象区，

--用分配信息存储从每个图象区选出的图象信息，在该图象区内，此分配信息能使各个图象区分配到相应的图象和该图象区的位置，

--在考虑各个分配信息的条件下，由图象信息，由所存储的所选图象区形成至少一个混合图象，

--此混合图象用于图象的运动估计、运动补偿或误差掩蔽。

由于通过本发明使得不再存储全部时间上发生在前的图象，而是可以选择和存储时间上发生在前图象的图象区，于是达到了大大减少必需的存储空间需求的目的。

尽管如此，能够达到的运动估计的质量基本上保持与以[1]中公开的方法所达到的质量相同。

显然，在以下的事实中能够了解本发明：为对经过多个时间上发生在前图象进行运动估计，最好存储所考虑的时间上发生在前图象的运动估计的相关区域，而非存储时间上发生在前图象的全部图象信息。

本发明可以借助于计算机程序，即：利用软件，又可以借助于硬件的专用电子线路来实现。

相关的权利要求给出本发明的优选扩展。

下面描述扩展涉及方法、装置、计算机可读介质，并且涉及计算机程序单元。

在本发明的一种扩展中，当在该相应图象区中的图象信息在预定数据方面足以适合于两个时间上顺序排列图象的运动估计的预定判据时，即：当图象信息满足预定的判据时，就选出图象区。

在本发明的进一步扩展中，为选出和存储这些图象的图象区预言使用多个顺序排列的时间上发生在前图象。

该图象信息可以存储在环形存储器结构中，即可以将预定大小的存储空间用于存储时间上发生在前图象的图象信息，和在可用的存储区已满的情况下，能够用“更新的”图象信息将相应图象区，即：相应图象区的图象信息进行改写。

这可以用该图象信息来完成，即用更新的图象信息改写在存储器中已经存储最长时间的图象信息。

作为另一种选择，在运动估计，运动补偿或误差掩蔽范围内可以替换常最少选出的图象信息，由于，从启发式观点来看，此图象信息不足以适用运动估计，因此，也不必保留在存储器中。

此扩展能确保一种决定性设定的存储器空间需求，它大大地小于[1]中公开方法的情况中的存储器空间需求。

运动估计可以在关于待处理图象的至少一个混合图象上执行。

而且，多个混合图象可以从多个时间上发生在前图象的图象区的图象信息形成并且，针对每一混合图象，可以进行关于该图象的运动估计。

根据该扩展，选出的混合图象，对它的运动估计产生了相对于预定判据的最好结果。该选出的混合图象的图象区形成了运动向量，其运动向量最终能应用于运动补偿或误差掩蔽。

可以针对每一个所考虑的以被设为进一步处理的图象为出发点在时间上相继发生在前的图象循环地产生混合图象。

这可以通过每次将所存储的时间上发生在前图象的图象信息复制成混合图象并且存储所产生的混合图象来实现。将所存储的时间上发生在前图象的图象信息每次复制到在前面步骤中产生的混合图象中。对每个待形成的混合图象持续实施该方法直到所有的时间上发生在前的图象都被考虑到。

待选的图象区一般能有任意需要的形状，但该图象目标最好有可预定的形状或是宏块或图象决。

通过该扩展无需另外的手段可以将该方法插入通常的基于块的和/或基于目标的图象编码方法。

本发明既能用于视频电话又能用于数字电视或所谓高清晰度电视(HDTV)中。而且本发明能有益地用于互联网视频流、根据需要的电视领域、商务电视、或互联网电视。

应该指出，本发明可用于任何在其中实施运动估计的图象编码方法，即：可以用于任何预测图象编码方法。

在一个进一步扩展中，设有从每个选出的图象区和/或在存储之前有待压缩的相关分配信息。

在附图中示出了本发明的一个实施例并在下面作更详细的解释。

在图中：

图1是说明根据本发明实施例的方法原理的示意图；

图2说明根据本发明实施例的编码布置；

图3说明根据本发明实施例的方法的各个方法步骤的流程图；

图4说明同本发明的实施例相一致的解码设备；

图2示出带有照相机201的编码设备200，该相机记录编码设备200的用户202的图象。该相机201通过导线203与源编码器204相连。在源编码器204中，根据下面描述的方法将已被照相机记录和数字化的视频图象进行源编码。

各个视频图象有被分配的编码信息的象素，这些编码信息例如是彩色信息或亮度信息。这些象素组成图象块205，它们又组成所谓的宏块。

将待编码图象的图象块205馈送到源编码器204。在源编码器204中，将图象块205馈送到运动估计单元206和开关单元207。开关单元207用于确定，在一个未示出控制单元的控制下，是否对图象块实行运动估计，从而是否产生在待编码图象块的编码信息和时间上发生在前图象的图象块之间的差别图象信息208，或是否要通过开关单元207将待编码的图象块205的完全编码信息208馈送到变换单元209。

在变换单元209中，对将要编码的编码信息或差别编码信息进行离散余弦变换(DCT)，由此形成变换系数210，它们在量化单元211中被量化成量化的变换系数212。

该量化的变换系数212馈送到用于运转周期编码的单元213。该被运转周期编码的变换系数214写入到输出缓冲器215。该被运转周期编码的变换系数214从输出缓冲器215中读出并被馈送到例如通道编码和传输到接收器。

此外将反馈回路中量化的变换系数212馈送到逆量化单元216，在那儿它们被逆量化形成逆量化变换系数217。

该逆量化变换的系数217被馈送到逆变换单元218，在那儿该逆量化变换系数217被逆离散余弦变换(IDCT)，因此形成存储在第一存储器220中的逆变换系数219。

在运动估计单元206中，使用存储在第一存储器220中的逆变换系数219进行运动估计。

在已经进行的运动估计之后，作出根据本实施例决定：图象块是否较好地适合于运动估计。

如以下所述进行：通过多个图象的分析和检验各个图象块是否适合于运动估计，也就是说：在运动估计范围内能导致统计低误差值和因此能在统计上确保低的数据传输速度。

这是例如描述变成空背景的图象块的情况，即描述物体的图象块，在时间上顺序排列的图象之间，该物体大大改变了关于它在图象序列中的位置。将该选出的图象块，即选出图象块的图象信息，存储在第二个存储器222中。

下面参看图1来更详细的解释此方法。

将在运动估计范围内产生的运动向量223馈送到用于运转周期编码的单元213，并在那儿被运转周期编码和进一步处理。

图1示出了数字化的图象101，102，103，104，105系列100。按照所述实施例，F(n)表示当前待编码的图象，将要对该图象进行运动估计。用F(n-k)表示时间上最靠前的领先图象，将在下述方法的范围内考虑。这意味着在该方法范围内的运动估计考虑k个时间上发生在前图象。

各个图象都有图象块106。用参考符号107来标识说选出的图象块。选出的图象块107的编码信息同分配信息一起存储在第二存储器中。该分配信息含有关于该图象的说明，选出的图象块位于其中，并且坐标说明清楚地描述选出的图象块在相应的图象区内的位置。

分配信息用B(i，x，y)来表示，这里

●i表示各个图象，选出的图象块位于其中，

●x表示x坐标说明，它规定在相应的时间上发生在前图象区内所选出图象块内关于x坐标的位置，和

●y表示y坐标说明，它规定在相应的时间上发生在前图象区内所选出图象块内关于y坐标的位置。

第二存储器222具有环形存储器结构，如图1所示。

如果运动估计单元207实行运动估计，那么这就在搜索区108内以图3所示的方式进行。

图3示出了根据此实施例的运动估计300方法的各个方法步骤。

该方法以第一步(步骤301)开始。

在另一个步骤中，对搜索区108而言，从不包括时间上恰好领先图象的图象块的编码信息形成初始化混合图象(步骤302)。此信息以整体的方式提供使用，因此确保编码信息可以用于运动估计的整个搜索区。

对于相应的待编码的图象块，在初始化混合图象109的搜索区108范围内实行运动估计(步骤303)，因此形成第一运动向量。而且，运动估计的结果是一个误差值，所述误差值指明了在初始化混合图象302中的搜索区范围内的选出区的编码信息不同于待编码图象块中的编码信息的差别程度。这可以通过例如构成所考虑象素的各个编码信息的平方差的总和来进行。

存储误差值和相关的运动向量(步骤304)。

在另一个步骤(步骤305)中，第二混合图象109通过将时间上最靠近的领先图象F(n-1)的所选出图象块复制成初始化混合图象109的方式形成，这些图象块位于所选出的搜索区108中，并在相应的位置改写初始化混合图象的图象块的编码信息。

然后相对于待编码图象对另一个混合图象进行运动估计(步骤306)，并且形成第二运动向量和第二误差值，它们再一次被存储(步骤307)。

在检验步骤(步骤308)中，检验是否满足终止判据。

根据该实施例的终止判据，无论是该误差值还是第二误差值，都小于预定的阈值。

如果该误差值和第二误差值都小于此预定的阈值，那么以与所述另一个混合图象的同样的方式形成第三个混合图象，即通过重复地改写时间上第三领先图象所选出的图象块，该图象块位于搜索区内。

一般来说，如果总是检验是否满足终止判据，并且得出不满足该终止判据，通过利用时间上更领先的另一个领先图象的图象块的编码信息来改写时间上发生在前混合图象的编码信息形成另一个重复的混合图象，所述图象块位于搜索区，又各对下一次重复的混合图象进行运动估计，由此形成各个下次重复的运动向量和该下次重复的另一个误差值，并且又实施检验步骤(步骤308)，现在特别是对下次重复的误差值进行检验。如果终止判据满足的话，那么形成的相应的又一个运动向量并且将相应的混合图象的重复的说明馈送到用于运转周期编码的单元213，在相应混合图象的重复中求出此运动向量。

而且，将在搜索区中相应选出的图象区的编码信息作为用于差别形成的所选图象块馈送到开关单元207(步骤309)。

如果第二存储器222的预定存储区是满的，那么更多、更新的选所选图象块另外的编码信息、运转周期编码的运动向量和相应的分配信息同样地被运转周期解码(未示出)并被存储在第一存储器220中，由此将所存储的并且在运动估计范围内最常时间内还没有使用的编码信息项进行改写。

由一个接收器接收该被运转周期编码的运动向量、混合图象索引和被运转周期编码的变换系数，在所述接收器中，将它们馈送到解码单元400(参阅图4)。

将被运转周期编码的变换系数214馈送到逆量化单元401，因此形成逆量化的变换系数402。

所述逆量化的变换系数402被馈送到逆变换单元403，在其中，通过进行逆离散余弦变换，形成逆变换系数404并存储于第一存储器405中。

利用所确定的运动向量和在解码范围内重建的图象，在相应所需的混合图象各存储于第二存储器406中。

在运动补偿单元407中，借助于相应的运动向量和混合图象实现所需的图象块重建，即：相应图象块的编码信息，所述信息作为差别信息408被馈送到加法单元409并根据重建的差别编码信息进行相加。

按此方式，借助于重建的图象块生成重建图象。

下面描述上述实施例的若干替代方案。

存在有许多不同的可能来选出存储在第二存储器222中的相关图象块。因此可以选出那些与相应的领先图象的图象块相比其编码信息已大大改变了的图象块，即：其编码信息差别大于预定的第二阈值。

另一个选择判据可以是选出的所谓内编码图象块，即其编码信息已经被完全编码的图象块，而非仅仅作为差别图象块。

此方法特别适用于整个图象没有被内编码的情况，而只是该图象的若干部分。

本发明同样适用于误差掩蔽，即：在编码器装置中的误差掩蔽。

在该另一个实施方案中，根据图3所示的方法，所接收的图象与相应的混合图象一起重建，以及，如何对错误图象块进行解码是不知道的，相应的图象块是从时间上发生在前图象的混合图象之一中选出的并且被写到相应的错误图象区。

而且，可以将典型的图象图样预先存入第二存储器，它基本上可等同于向量量化。能被如此使用的图象图样可以是例如平面的，表层彩色的图象块或其他张开或闭合的眼睛，很清楚可以在向量量化范围内将它们用作编码手册。

在本申请文件中引用下面的出版物：

[1]ITU-T H.263+，Annex N

Claims (14)

1.存储和处理时间上顺序排列图象的图象信息的方法，

●其中从每个所考虑的时间上发生在前图象中各选出至少一个图象区，

●其中用分配信息来存储每个所选图象区的图象信息，该分配信息可以将各个图象区分配给相应的图象和该图象中的图象区的位置，

●其中在考虑各分配信息的条件下，由存储的所选图象区的图象信息形成至少一个混合图象，

●其中所述混合图象用于图象的运动估计、运动补偿或误差掩蔽。

2.如权利要求1的方法，

其中如果在相应图象区中的图象信息满足关于用于两个时间上顺序排列图象的运动估计的预定判据就选出一个图象区。

3.如权利要求1或2的方法，

其中从多个时间上发生在前并且顺序排列的图象中选出图象区并存储这些图象区。

4.如权利要求1至3之一的方法，

其中将图象信息存储在环形存储器结构中。

5.如权利要求1至4中之一的方法，

其中在关于该图象的至少一个混合图象上进行运动估计。

6.如权利要求5的方法，

●其中，由多个时间上发生在前图象的图象区的图象信息形成多个混合图象，

●其中，对每个混合图象，进行关于该图象的运动估计，

●其中，选出混合图象，所述运动估计对该混合图象产生关于一个预定判据的最好结果，

●其中，对所选混合图象的图象区形成运动向量。

7.如权利要求6的方法，

其中，针对每一个所考虑的以被设为进一步处理的图象为出发点在时间上相继发生在前的图象循环地产生混合图象。

8.如权利要求6或7的方法，

其中，混合图象以如下的方式相继形成：

●将所存储的各个时间上发生在前图象的图象信息复制到混合图象中，

●存储所产生的混合图象，

●将所存储的各个时间上进一步发生在前图象的图象信息复制到在前面步骤中产生的混合图象中，

●对每个待形成的混合图象逐步继续实施该方法直到所有时间上发生在前的图象都被考虑为止。

9.如权利要求1至8之一的方法，

其中，所述图象区

●是可以预定形状的图象目标，和/或

●是一宏块，和/或

●是一图象块。

10.如权利要求1至9之一的方法，

该方法用于

●图象电话中，或

●数字电视中，或

●高清晰度电视中，

●互联网视频流中，

●根据需要的视频中，

●商务电视中，

●互联网电视中。

11.如权利要求1至10之一的方法，

其中每个所选图象区和/或相关分配信息的图象信息在存储之前被压缩。

12.存储和处理时间上顺序排列图象的图象信息的装置，该装置利用处理器可以实施以下步骤：

●从每个所考虑的时间上发生在前图象中各选出至少一个图象区，

●用分配信息来存储每个所选图象区的图象信息，用该分配信息能将各个图象区分配给相应的图象和该图象内的图象区的位置，

●在考虑各个分配信息的条件下，由存储的所选图象区的图象信息形成至少一个混合图象，

●该混合图象用于图象的运动估计、运动补偿或误差掩蔽。

13.计算机可读介质，其中存储有对时间上顺序排列图象的图象信息进行存储和处理的计算机程序，如果所述程序由处理器来执行，那么该程序包括以下方法步骤：

●从每个所考虑的时间上发生在前图象中各选出至少一个图象区，

●用分配信息来存储每个所选图象区的图象信息，用该分配信息能将各个图象区分配给相应的图象和该图象内的图象区的位置，

●在考虑各个分配信息的条件下，由存储的所选图象区的图象信息形成至少一个混合图象，

●该混合图象用于图象的运动估计、运动补偿或误差掩蔽。

14.存储和处理时间上顺序排列图象的图象信息的计算机程序单元，如果由处理器来执行该计算机程序单元，那么该程序单元包括以下的方法步骤：

●从每个所考虑的时间上发生在前图象中各选出至少一个图象区，

●用分配信息来存储每个所选图象区的图象信息，用该分配信息能将各个图象区分配给相应的图象和该图象内的图象区的位置，

●在考虑各个分配信息的条件下，由存储的所选图象区的图象信息形成至少一个混合图象，

●该混合图象用于图象的运动估计、运动补偿或误差掩蔽。

Images