CN1674681A - 自适应内部宏块刷新方法 - Google Patents

Abstract

本发明提供了一种自适应内部宏块刷新方法，通过该方法，以一种考虑到解码器的错误恢复方法的方式采用内部宏块刷新技术。本发明包括测定当前已编码宏块的运动向量和相邻宏块的运动向量之间的相关性，在刷新图中通过块单元记录相关性的测定结果，并利用刷新图执行编码的步骤。

Description

自适应内部宏块刷新方法

本申请要求申请日为2004年3月22日、申请号为No.P2004-0019387的韩国在先申请的优先权并在这里参考其全部内容。

技术领域

本发明涉及自适应内部宏块刷新方法，通过本方法可以有效和迅速地恢复或掩蔽在压缩视频传输系统上由错误造成的视频信息的丢失或损坏。

背景技术

通常，用内部刷新法和错误掩蔽法来有效和迅速地恢复由于存在误差的信道环境下的错误而损坏的视频信息。

在内部刷新法中，编码器周期性地或非周期性地将视频信息编码为内部帧或内部宏块进行传送，以在视频信息在接收端被信道错误破坏时，使因被破坏的数据引起的影响和扩散被最小化。

在错误掩蔽法中，解码器利用正常接收的数据掩蔽因传输错误造成破坏或丢失的视频信息。

内部刷新法可以典型地被分类为周期性地将视频信息编码为内部帧或内部宏块以便进行传输的周期性内部刷新法和由MPEG4推荐的自适应内部刷新技术。

内部宏块刷新是一种插入设定数目的由编码器强行确定的内部宏块，以使得解码器能够迅速地恢复因信道错误而产生的视频信息损坏或丢失的方法。

在大多数情况下，内部刷新单元是帧单元。然而，内部帧的周期性插入，其在相同比特率环境下带来严重的视频延迟现象和严重的图象质量下降，在低比特率实时传输系统中是低效的。

因此，用于低比特率实时视频传输的视频压缩标准，例如H.263和MPEG4，采用宏块单元的刷新方法。作为一种有代表性的方法，自适应内部宏块刷新技术在MPEG4视频压缩标准附录H中介绍。

下面解释MPEG4介绍的自适应内部宏块刷新技术。

首先，VOP(视频目标平面)中的内部宏块的数目是在被固定或编码之前依据比特率或帧率确定的。

一旦内部宏块的数目在VOP中被确定，通过VOP的内部宏块的数目应用自适应内部刷新的宏块的数目和已应用周期性内部刷新的宏块的数目就被确定的。

刷新图被设为‘1’的宏块采用自适应内部宏块刷新，相当于那些将采用自适应内部刷新的宏块的数目。刷新图被设为‘0’的宏块采用周期性内部宏块刷新，相当于将采用自适应内部刷新的宏块的数目。

在自适应内部宏块刷新中，每个宏块的移动被优先进行测定。在宏块具有很多运动的情况下，总计为确定数目的宏块仅被编码为内部宏块。

在此过程中，运动测定结果按宏块单元记录进刷新图。编码器参照记录的刷新图确定是否将当前已编码的宏块编码为内部宏块。

在这种情况下，运动是通过比较当前宏块的和绝对差(SAD)与预先设定的SAD阈值测定的。如果当前宏块的SAD大于SAD阈值，当前宏块就被确定为具有移动的宏块并随后被编码为内部宏块。SAD阈值采用帧的宏块单元的平均SAD。

下面参照附图解释依据现有技术的自适应内部宏块刷新方法。

图1A至1M是说明依据现有技术的自适应内部宏块刷新方法的图。

第一VOP 100a的所有宏块，如图1A所示，被编码为内部宏块。由于先前VOP不存在，刷新图110a，如图1B所示，被记录为‘0’。附图标记101a到101d意指特定视频信息例如人的面部。

第二VOP 100b，如图1C所示，被编码为P-VOP。此动作完成之后，编码器利用图1B中生成的刷新图110a对每个宏块进行编码。

由于图1B中所有的刷新图110a的值都是‘0’，编码器对于第二VOP 100b不执行内部宏块刷新，但是利用当前宏块的SAD和SAD阈值测定宏块的各个运动。

依据视频信息101b的变化对宏块的各个运动进行测定，如图1C所示。

如果存在当前宏块的SAD大于SAD阈值的区域105a，，那么其具有的当前宏块的SAD大于SAD阈值的区域105a值，如图1E中的刷新图110b一样，从图1B的刷新图110a中的‘0’更新为‘1’。

随后，第三VOP 100c，如图1F所示，被编码为内部宏块130a。在此过程中，利用在图1E中产生的刷新图，编码器将其具有大于SAD阈值的SAD的区域115a的宏块与预先确定的内部宏块的数目一样多地编码为内部宏块130a。在本例中，例如示出了内部宏块的数目是2的情况。

也就是，编码器检查当前宏块是否是内部宏块刷新的目标。如果是内部宏块刷新的目标，编码器就将其编码为内部宏块130a。

换句话说，在图1F中编码器将内部宏块刷新目标编码为内部宏块130a然后象图1G那样更新图1E中的刷新图110b。也就是，编码器将被编码为内部宏块的宏块刷新图的值改变为‘0’然后象图1G那样执行相应的更新。

并且，编码器利用当前宏块的SAD和SAD阈值测定每个宏块的运动。

如果作为宏块的测定结果，存在区域105b，如图1H所示，其当前宏块的SAD大于阈值，则在图1G中的刷新图110c中将具有当前宏块的SAD大于阈值的区域115b的值更新为‘1’，如图1I所示。

随后，如同第三VOP 100c的编码方法，第四VOP 100d被编码为内部宏块130，如图1J所示。在此过程中，利用在图1E中产生的刷新图，编码器将其具有SAD大于SAD阈值的区域115b的宏块与预先确定的内部宏块的数目一样多地编码为内部宏块130b。

也就是，编码器检查当前宏块是否是内部宏块刷新的目标。如果是内部宏块刷新的目标，编码器就将其编码为内部宏块130b。

换句话说，在图1J中编码器将内部宏块刷新目标编码为内部宏块130b，然后象图1J那样更新在图1I中刷新图110c。也就是，编码器将被编码为内部宏块的宏块的刷新图的值改变为‘0’然后象图1K那样执行相应的更新。

并且，编码器利用当前宏块的SAD和SAD阈值测定每个宏块的运动。

作为宏块的测定结果，如果存在区域105c，如图1L所示，其当前宏块的SAD大于阈值，则在图1K的刷新图110d中，具有当前宏块的SAD大于阈值的区域115c的值更新为‘1’，如图1M所示。

在现有技术的自适应内部宏块刷新方法中，如果平均帧SAD大于阈值，内部刷新图被更新为‘1’以便执行内部宏块刷新。

然而，由于在移动终端系统中在目标具有很多移动，例如面部区域的情况下，刷新图变为‘1’的情况相对增加，因而内部宏块刷新区域不能跟上实际需要刷新的区域。因此，自适应内部宏块刷新的效果降低了。

而且，自适应内部宏块刷新的效果依据解码器中错误掩蔽法增加或降低。然而，因为不能考虑错误掩蔽法，图象质量降低和错误扩散问题就出现了。

发明内容

因此，本发明涉及自适应内部宏块刷新方法，能够充分地避免由现有技术的缺点和局限所造成的一个或多个问题。

本发明的目的是提供一种自适应内部宏块刷新方法，通过该方法以考虑解码器的错误恢复法的方式应用内部宏块刷新技术。

本发明的另一个目的是提供一种自适应内部宏块刷新方法，通过本方法图象质量降级和错误扩散可以被最大限度地防止，以对在错误掩蔽中具有图象降级最大可能性的宏块优先执行内部宏块刷新的方式进行恢复。

本发明的又一个目的是提供一种自适应内部宏块刷新方法，通过该方法可以在存在错误的信道环境下，例如移动通信环境，提供高质量视频服务，并且在该方法中，在用于压缩视频传输的移动终端系统中，可以有效和快捷地恢复或掩蔽因错误而丢失和损坏的视频信息。

本发明附加的优点、目的和性能将在下面的描述中部分地体现并且对那些具有本领域普通技能的技术人员通过下面的考查部分地变得明显，或者从本发明的实践中得到了解。本发明的目的和其它优点可以通过书面的描述和权利要求以及附图中特别指出的结构而实现和获得。

为达到这些目的和其它优点并依照本发明的目标，如在这里作为具体化和广泛的解释的，依据本发明的自适应内部宏块刷新方法包括通过比较彼此相邻的宏块之间的运动向量测定相关性以及根据相关性将宏块编码为内部宏块或间宏块的步骤。

在本发明的另一个方案中，自适应内部宏块刷新方法包括测定当前已编码宏块的运动向量和相邻宏块的运动向量之间的相关性，在刷新图中按模块单元记录测定结果，以及利用刷新图执行编码的步骤。

本发明的又一个方案中，自适应内部宏块刷新方法包括将阈值与当前已编码宏块的运动向量和相邻宏块的运动向量之间的绝对值差进行比较，如果该绝对值差大于阈值，将当前已编码模块确定为具有小相关性的宏块，在刷新图中将该小相关性宏块的值从‘0’更新为‘1’，以及在刷新图中具有宏块值为‘1’的宏块中将总共为预定数目的宏块编码为内部宏块的步骤。

可以理解，前面本发明一般的描述和下面具体的描述是示范性的和解释性的，并试图提供如权利要求的本发明的进一步解释。

附图说明

提供对发明的进一步理解的附图包括在此并作为本申请的一部分，说明本发明的具体实施方式并和说明书一起用于解释本发明的原理。图中：

图1A至1M为说明依据现有技术的自适应内部宏块刷新方法的图；

图2为依据本发明的自适应内部宏块刷新方法的流程图；以及

图3A至3M为说明依据本发明的自适应内部宏块刷新方法的图。

具体实施方式

对本发明优选实施例将做具体的说明，其示例结合附图中说明。尽可能，相同的附图标记在附图中指示相同或相似的部分。

图2为依据本发明的自适应内部宏块刷新方法的流程图。

参见图2，编码器测定当前已编码宏块的运动向量和相邻宏块的运动向量之间的相关性(S200)。

也就是，编码器测定当前已编码宏块的运动向量和相邻宏块的运动向量之间的相关性，然后将具有小相关性的宏块编码为内部宏块。

相关性是通过比较当前已编码宏块的运动向量和相邻宏块的运动向量之间的绝对值差与运动向量间绝对值差的阈值来进行测定的。

阈值是经验数据并可以根据视频大小和比特率进行改变。在64Kbps下对QCIF大小视频进行编码的情况下，阈值被设为‘5’以提供最佳性能。

如果当编码器比较运动向量间的相关性时相邻的宏块是内部宏块，编码器优选利用被恢复为间宏块的相邻宏块的运动向量测定相关性。

在本发明的说明书中，测定相关性的具体实施例利用上边相邻的宏块的运动向量。

在宏块位于上边图象边界的情况下，就不存在上宏块。因此，可用的相邻宏块就被限制。优选地，利用在先前帧的相同位置的宏块的运动向量测定相关性。

在此情况下，利用上边相邻的宏块的运动向量来测定相关性。这是因为假定在解码器中错误掩蔽法使用上边相邻的运动向量。

也就是，由于本发明的另一个目的是解决自适应内部宏块刷新依据在解码器中错误掩蔽法增加或减少的问题，内部宏块刷新对在错误掩蔽中具有图象质量降级的很大可能性的宏块被优先执行。

例如，由本发明假设的解码器中的错误掩蔽法指的是在其中具有错误出现的宏块中上边相邻的宏块的运动向量。

利用与上边相邻的宏块和与上边相邻的宏块的运动向量产生相应于在先前帧中出现错误的宏块的部分，然后在当前帧的出现错误的宏块中插入产生的部分的方式掩蔽错误。

上述解释的错误掩蔽法在任意宏块的运动向量和该任意宏块的上边相邻的宏块的运动向量之间的相关性较小的情况下产生在错误掩蔽方面的图象质量下降的可能性。

因此，通过测定当前已编码宏块的运动向量和与上边相邻的宏块的运动向量之间的相关性以及通过优先将具有小相关性的宏块编码为内部宏块，使与解码器中错误掩蔽法相结合的内部宏块刷新成为可能。

因此，本发明在解码器中错误掩蔽法使用该运动向量的情况下能够更有效地执行内部宏块刷新。在此过程中，测定相关性的宏块优选具有与运动向量在错误掩蔽法中被采用的宏块相同的位置。

一旦步骤S200完成，编码器按宏块单元在刷新图中记录相关性测定结果(S202)。

也就是，编码器在运动向量绝对值差和阈值之间测定相关性。如果运动向量绝对值差大于阈值，编码器将刷新图的值记录为‘1’。如果运动向量绝对值差小于阈值，编码器将刷新图的值记录为‘0’。

完成步骤S202之后，编码器用记录的刷新图执行编码(S204)。也就是，编码器将具有刷新图值为1的宏块编码为内部宏块或将具有刷新图值为0的宏块编码为间宏块。

下面参照图3A至3M说明利用刷新图的编码方法。

图3A至3M为说明依据本发明的自适应内部宏块刷新方法的图。

第一VOP 300a的所有宏块，如图3A所示，被编码为内部宏块。由于先前VOP不存在，刷新图310a，如图3B所示，被记录为‘0’。附图标记301a到301d代表特定视频信息，例如人的面部。

第二VOP 300b，如图3C所示，被编码为P-VOP。在此过程中，编码器利用图3B中生成的刷新图310a对每个宏块进行编码。

由于图1B中的刷新图310的所有值都是‘0’，编码器对第二VOP100b不执行内部宏块刷新，而是利用当前宏块的运动向量和相邻宏块运动向量之间的绝对值差和阈值来测定相关性。

优选地，相关性是利用阈值和当前宏块的运动向量和当前宏块的上边相邻的宏块的运动向量之间的绝对值差来进行测定的。

如果存在一个区域305a，如图3D所示，其中当前宏块的运动向量和当前宏块的上边相邻的宏块的运动向量之间的绝对值差大于作为相关性测定结果的预先设定的阈值，在图3B中的刷新图310a如同图3E那样被更新。

图3D中的箭头表示运动向量。没有被标以箭头的宏块意味着不存在运动。

也就是，其中当前宏块的运动向量和相邻(上部)宏块的运动向量之间的绝对值差大于预先设定的阈值的区域305a的刷新图的值就被从‘0’更新为‘1’。

随后，第三VOP 300c如图3F一样被编码。在此过程中，编码器利用图3E中产生的刷新图310b对每个宏块进行编码。

在本例中，例如示出了内部宏块的数目是2的情况。

编码器检查当前宏块是否是内部宏块刷新的目标。如果是内部宏块刷新的目标，编码器就将其编码为内部宏块330a。

换句话说，在图3F中编码器将内部宏块刷新目标区域编码为内部宏块330a，然后象图3G那样在图3E中更新刷新图310b。也就是，编码器将被编码为内部宏块的宏块313a的刷新图310c的值改变为‘0’，然后象图3G那样执行相应的更新。

随后，编码器利用预先设定的阈值和当前宏块的运动向量和相邻宏块的运动向量之间的绝对值差测定相关性。

如果存在区域305b，如图3H所示，其中当前宏块的运动向量和相邻的宏块的运动向量之间的绝对值差大于作为相关性测定结果的预先设定的阈值，在图3G中的刷新图310c如同图3I那样被更新。也就是，其中当前宏块的运动向量和相邻宏块的运动向量之间的绝对值差大于预先设定的阈值的区域305b的刷新图的值就被从‘0’更新为‘1’。

随后，第四VOP 300d如图3J所示那样被编码。在此过程中，编码器利用图3I中产生的刷新图310c对每个宏块进行编码。

编码器检查当前宏块是否是内部宏块刷新的目标。如果是内部宏块刷新的目标，编码器就将其编码为内部宏块303b。

换句话说，在图3J中编码器将内部宏块刷新目标区域编码为内部宏块303b，然后象图3K那样在图3G中更新刷新图310c。也就是，编码器将被编码为内部宏块的宏块313b的刷新图310d的值改变为‘0’，然后象图3K那样执行相应的更新。

随后，编码器利用预先设定的阈值和当前宏块的运动向量与相邻宏块的运动向量之间的绝对值差测定相关性。

如果存在区域305c，如图3L所示，其中当前宏块的运动向量和相邻的宏块的运动向量之间的绝对值差大于作为相关性测定结果的预先设定的阈值，在图3K中的刷新图310d如同图3M那样被更新。也就是，其中当前宏块的运动向量和相邻宏块的运动向量之间的绝对值差大于预先设定的阈值的区域305b的刷新图的值就被从‘0’更新为‘1’。

如果内部宏块的数目在VOP中被确定了，要对其采用自适应内部刷新的宏块的数目和要对其采用周期性内部刷新的宏块的数目，由VOP中内部宏块的数目确定。

自适应内部宏块刷新可和要采用自适应内部刷新的宏块一样多地应用于刷新图确定为‘1’的宏块。并且，周期性内部宏块刷新可和要采用周期性内部刷新的宏块一样多地应用于刷新图确定为‘0’的宏块。

本发明重复上述步骤来进行内部宏块刷新。

因此，本发明能够有效和迅速地恢复和掩蔽因存在错误的传输环境，例如移动通信环境下的错误而造成的视频信息丢失或损坏。因此，本发明能够提供可以在例如能够在下一代可视频通信的移动通信终端的产品中提供高质量视频服务的自适应内部宏块刷新方法。

对于本领域技术人员显而易见，可以对本发明进行各种修改和变化，因此落入权利要求的范围或其等同范围内的修改和变化都被本发明覆盖。

Claims (19)

1、自适应内部宏块刷新方法，包括下列步骤：

通过比较彼此相邻的宏块之间的运动向量测定相关性；以及

根据相关性将宏块编码成内部宏块或间宏块。

2、如权利要求1所述的自适应内部宏块刷新方法，其中相关性是通过将彼此相邻的宏块的运动向量之间的绝对值差与预先设定的阈值进行比较来测定的。

3、如权利要求2所述的自适应内部宏块刷新方法，其中如果绝对值差大于该阈值，则将宏块编码成为内部宏块；而其中如果绝对值差小于阈值，则将宏块编码成为间宏块。

4、如权利要求1所述的自适应内部宏块刷新方法，其中相关性测定是与错误掩蔽法相结合的。

5、自适应内部宏块刷新方法，包括下列步骤：

测定当前已编码宏块的运动向量和相邻宏块的运动向量之间的相关性；

在刷新图中按模块单元记录测定结果；

利用刷新图执行编码。

6、如权利要求5所述的自适应内部宏块刷新方法，其中相关性是通过将当前已编码宏块的运动向量和相邻宏块的运动向量之间的绝对值差与预先设定的阈值进行比较来测定的。

7、如权利要求5所述的自适应内部宏块刷新方法，其中如果根据相关性的测定结果，运动向量之间的绝对值差大于阈值，那么将刷新图的值变为‘1’。

8、如权利要求5所述的自适应内部宏块刷新方法，执行编码的步骤包括下列步骤：

确定当前的宏块是否为内部宏块刷新的目标；以及

如果当前的宏块是内部宏块刷新的目标，那么编码总计为预定数目的宏块为内部宏块。

9、如权利要求5所述的自适应内部宏块刷新方法，其中如果相邻宏块是内部宏块，利用与间宏块相应的相邻宏块的运动向量来测定相关性。

10、如权利要求5所述的自适应内部宏块刷新方法，其中相邻宏块位于当前宏块的上、下、右和左边的至少其中之一。

11、如权利要求5所述的自适应内部宏块刷新方法，其中相关性是在先前帧的相同位置利用运动向量对图象外围边界上的宏块的一部分进行测定。

12、如权利要求5所述的自适应内部宏块刷新方法，其中测定相关性的宏块的确定是在解码器中依据错误掩蔽法决定的。

13、自适应内部宏块刷新方法，包括下列步骤：

将阈值与当前已编码宏块的运动向量和相邻宏块的运动向量之间的绝对值差进行比较；

如果绝对值差大于阈值，将当前已编码模块确定为具有小的相关性的宏块；

在刷新图中将小相关性宏块的值从‘0’更新为‘1’；以及

将在刷新图中具有宏块值为‘1’的宏块中总计为预定数目的宏块编码为内部宏块。

14、如权利要求13所述的自适应内部宏块刷新方法，进一步包括将在刷新图中具有宏块值为‘0’的宏块编码为间宏块的步骤。

15、如权利要求13所述的自适应内部宏块刷新方法，其中自适应内部宏块刷新被应用于和采用自适应内部刷新的宏块一样多的具有确定为‘1’的刷新图的宏块，并且其中周期性内部宏块刷新被应用于和应用周期性内部刷新的宏块一样多的具有确定为‘0’的刷新图的宏块。

16、如权利要求13所述的自适应内部宏块刷新方法，其中如果相邻宏块是内部宏块，那么相关性是利用与间宏块相应的相邻宏块的运动向量进行测定。

17、如权利要求13所述的自适应内部宏块刷新方法，其中相邻宏块位于当前宏块的上、下、右和左边的至少其中之一。

18、如权利要求13所述的自适应内部宏块刷新方法，其中相关性是在先前帧的相同位置利用运动向量对图象外围边界上的宏块的一部分进行测定。

19、如权利要求13所述的自适应内部宏块刷新方法，其中测定相关性的宏块的确定是在解码器中依据错误掩蔽法决定的。

Images