CN1330493A - 具有数字图像稳定功能的解码器和数字图像稳定方法 - Google Patents

Abstract

本发明通过在视频解码器中施用数字图像稳定技术,防止和校正当使用移动图像通信系统时由于用户的颤动的手所导致的图像抖动。而且,当宏块单元解码编码位流时,提取运动信息,并且使用提取的信息确定一个整体运动矢量。整体运动矢量是针对移动图像通信系统的运动的,并且通过使用整体运动矢量校正存储在帧存储器中的解码的图像数据可以获得稳定的图像。在本发明中,由于仅在编码的位流中使用运动信息,故硬件结构被简化了。所以,本发明适用于计算大量数据。

Description

具有数字图像稳定功能的解码器和数字图像稳定方法

本发明涉及一种解码器，并且更具体地涉及使用从编码的位流(bitstream)中提取的附加信息来实施图像稳定的一种解码器和数字图像稳定方法。

图像压缩是针对大量图像信息的存储以及大量图像信息的发送的。在移动图像通信系统中，图像的编码、解码和传输操作是实时进行的。在移动图像通信系统中，运动补偿编解码器可用于大量的图像信息。当使用适用于运动补偿编解码器的可携式摄像机(camcoder)时，用户的手会出现颤动现象，以至于出现源于手的颤动的图像的恶化。数字图像稳定是针对校正图像的抖动的以便改进图像的视频质量。各种类型的数字视频稳定装置已经进入工业产业。

图1是数字图像稳定单元和视频编解码器的结构示意图。如图所示，数字图像稳定单元10接收抖动的视频并输出稳定后的视频信号。视频编码器20接收稳定后的视频信号并编码该信号。来自视频编码器20的编码的位流被输入到视频解码器30并被解码。因此，视频解码器30输出解码的视频信号。

图2是图1的数字图像稳定单元10的详细框图，如图所示，数字图像稳定单元10包括图像存储器10、图像放大单元16和运动矢量检测器12。运动矢量检测器12检测输入的抖动图像的运动矢量。图2的装置包括整体矢量检测器13，用于根据检测的运动矢量检测整体(global)运动矢量；运动矢量综合单元14，用于接收检测的整体区域运动矢量并综合该检测的整体区域运动矢量；以及稳定图像输出单元15，用于输出来自综合运动矢量的稳定的图像。

图2的数字图像稳定装置被用作运动补偿编解码器的预处理器。如图所示，输入的抖动图像被同时输入到图像存储器11、运动矢量检测器12和图像放大单元16。运动矢量检测器12将当前帧的抖动的图像与前面存储的前一帧的图像进行比较。整体运动矢量检测器13检测根据运动矢量检测器12检测的运动矢量的每一帧所出现的整体运动矢量。检测的整体运动矢量被输出到运动矢量综合单元14。并且，运动矢量综合单元14综合输入的整体运动矢量，并且稳定图像输出单元15使用运动矢量补偿运动并输出稳定的图像。上述的操作将参考图3做详细解释。

图3是说明区域中的参考点和图2的运动矢量检测器12用于估计每一子区域的运动的确定子区域的示意图。

运动矢量检测器12确定用于判断在两个连续输入的相邻的图像中由于用户手的抖动状态而导致的运动的三个子区域，并在每一子区域中设置参考点。并且，通过比较当前帧的参考点和前一帧的参考点将具有最高关系值的位置确定为子区域的运动矢量。整体运动矢量检测器13接收每一子区域的运动矢量并检测整体运动矢量。在此时，具有移动对象或较低的亮度的图像中的运动估计可能检测出错误的矢量。因此，为了检测错误的矢量，使用整体运动矢量检测器13。在现有技术中，为了判断准确的运动矢量，使用在被确定为运动矢量的位置中的关系值和相邻位置上的关系值进行判断。在整体运动矢量检测器13中，整体运动矢量是基于每一帧出现的。为了使用整体运动矢量校正图像的抖动状态，根据图像序列的第一帧如下综合当前帧中的整体运动矢量。整体运动矢量的综合是由运动矢量综合单元14执行的。 $V\stackrel{\→}{\mathrm{INT}}\left(n\right)=\mathrm{kV}\stackrel{\→}{\mathrm{INT}}(n-1)+V\stackrel{\→}{\mathrm{ACT}}\left(n\right)\…\…\…\left(1\right)$

在公式1中，V_INT ^→(n)和V_ACT ^→(n)是第n帧的综合运动矢量和整体运动矢量，并且“k”代表阻尼系数。

稳定图像输出单元15使用综合运动矢量补偿从图像放大单元16输入的放大图像中的运动，由此获得稳定的图像。

常规的数字图像稳定装置是针对输入图像执行运动估计以便校正图像的抖动状态、并根据估计结果估计摄像机的运动、并且获得稳定的图像。

在数字图像稳定操作中，少量的子区域被确定而不使用整个图像以减少计算的总量和硬件的复杂性，并且根据确定的子区域估计运动。而且，为了减少计算总量，在子区域中不使用全部像素值而使用少量的参考点。上述方法使用少量的参考点能够减少计算的总量。但是，由于在匹配过程中缺乏数据导致运动估计的水平降低。因此，在常规的数字图像稳定技术中，由于除了在视频编解码器中的运动估计外还附加有运动估计技术，所以系统的复杂性就增加了。

因此，本发明的一个目的是提供一种解码器以便使用从视频编解码器中的编码位流中提取的附加信息来有效地执行数字图像稳定，而不执行在数字图像稳定系统中的运动估计操作。

本发明的另一个目的是提供一种使用视频解码器执行数字图像稳定的方法。

为了实现上述目的，提供一种具有数字图像稳定功能的解码器，包括：VLD，用于从编码位流中分离图像信息和附加的信息；整体运动计算单元，用于使用来自VLD的附加信息中的有关背景区域的局部运动矢量计算整体运动矢量；基于时间的综合单元，用于接收来自整体运动计算单元的整体运动矢量并根据帧类型时间综合(time integrating)整体运动矢量；以及整体运动补偿单元，用于使用基于时间的综合单元综合的整体运动矢量来稳定恢复的图像。

为了实现上述目的，提供一种数字图像稳定方法，包括：分离步骤，接收编码位流，并分离成图像信息和附加信息；计算步骤，使用关于在分离步骤中分离的附加信息中的背景区域的运动的局部运动矢量，计算整体运动矢量；综合步骤，接收计算的整体运动矢量并根据帧类型时间综合所接收的整体运动矢量；以及稳定步骤，使用在综合步骤中综合的整体运动矢量，稳定恢复的图像。

通过参考附图，本发明将会变得更加易懂。给出的附图仅用于说明，因此不限制本发明。其中：

图1是说明具有常规数字图像稳定装置的视频编解码器的结构的示意图；

图2是说明图1的数字图像稳定单元的方框图；

图3是描述常规运动估计方法的示意图；

图4是说明根据本发明的实施例的视频编解码器的结构的示意图；

图5是图4的具有数字图像稳定功能的视频解码器的方框图；

图6是说明图5的整体运动计算单元的方框图；

图7是描述根据本发明的运动场的示意图；

图8是说明图5的基于时间的综合单元的方框图；以及

图9是描述根据本发明的整体运动补偿的示意图。

下面将参考附图对本发明进行说明。

图4的视频编解码器包括：视频编码器100，用于发送编码的位流；以及视频解码器200，用于接收并解码编码位流。视频解码器200包括根据本发明的数字图像稳定单元300，用于根据编码位流的附加信息执行数字图像稳定。

下面将参考图5详细描述视频解码器200。

如图5所示，存在一个缓冲存储器201，用于接收和输出编码位流的抖动的图像；以及一个变长度解码单元(VLD)202，用于将来自缓冲存储器201的位流分离为图像信息和附加信息。而且，提供一个逆量化器203，用于接收来自VLD 202的图像信息；一个逆DCT 204；一个运动补偿单元205，用于接收来自VLD 202的附加信息；以及一个数字图像稳定单元300。存储图像信息的帧存储器206与运动补偿单元205相连。数字图像稳定单元300包括连接在VLD 202和帧存储器206之间的整体运动计算单元310、基于时间的综合单元320以及整体运动补偿单元330。这里，附加信息是由宏块单元的运动矢量和宏块的帧类型形成的。

如图5所示，缓冲存储器201接收编码位流类型的抖动的图像并输出到VLD 202。VLD 202根据变长度操作解码所输入的位流并输出图像信息和附加信息。图像信息被输入到逆量化器203并根据量化电平被逆量化。逆DCT204根据逆量化的图像执行逆DCT并转化成执行DCT之前的状态。从而恢复的图像作为参考图像被存储在帧存储器206中。附加信息被输入到运动补偿单元205和数字图像稳定单元300。运动补偿单元205根据存储在帧存储器206中的参考图像使用输入的附加信息补偿当前帧的图像。数字图像稳定单元300的整体运动计算单元310使用来自位流的宏块单元的运动矢量计算整体运动矢量。

图6是说明整体运动计算单元310的方框图。

整体运动计算单元310的局部运动矢量检测器311计算宏块单元的局部运动矢量并将其输出。局部运动矢量检测器311根据帧类型分离宏块单元的局部运动矢量并检测该局部运动矢量。基于运动补偿的每一帧类型包括帧内编码操作的I帧、向前估计编码操作的P帧以及双向估计编码操作的B帧。对于P帧的恢复，I帧变成参考帧，并且对于B帧的恢复，I或P帧变成参考帧。由于I帧是帧内编码，所以运动矢量不存在。B帧具有来自两个参考帧的向前和向后的运动矢量。因此，使用在I帧和前一参考帧之间的B帧的运动矢量。即，在当前I帧和前一P帧之间的B帧中，在来自前一P帧的向前运动矢量和来自I帧的向后运动矢量之间的差值变成前一参考帧的向前运动矢量。用和I帧方法相同的方式处理P帧的运动矢量。来自P帧的前一参考I帧或P帧的向前运动矢量被使用而不需要附加计算。B帧包括来自前一参考帧的向前运动矢量和来自参考帧的向后运动矢量。因此，来自参考帧的向前或向后运动矢量被选择。

图7是说明有关检测的局部运动矢量的帧单元形成的运动场的示意图。在本发明中的实施例中，对象运动产生的局部运动矢量被排除。并且使用背景区域的运动产生的局部运动矢量提取整体运动矢量。检测的局部运动矢量被输入到运动分离处理器312。运动分离处理器312是由相似运动估计单元313和背景运动选择器314形成的。相似运动估计单元313根据簇技术将局部运动矢量分离为K个簇。背景运动选择单元314在分离的K个簇中选择具有背景区域的最高运动可能性的某一簇。整体矢量检测器315从来自背景运动选择单元314选择的簇中的局部运动矢量检测整体运动矢量并输出检测的整体矢量到基于时间的综合单元320。

检测整体运动矢量的簇处理如下执行。

步骤1，初始化

确定K个簇并确定每一簇的初始参考值。

步骤2，采样分类

分类所有的采样矢量，根据下面的方程，将采样矢量Vn包括在K个簇的某一簇中。

对于所有的I＝1，2，...，K，i≠j，如果‖Vn－Zi‖＜‖Vn－Zj‖，则

Vn∈Sj，...(2)

这里，Sj＝{X|X接近簇“j”}其中1≤n≤N

步骤3，基于新簇的计算

以这样的方式计算新簇的中心，即根据在步骤2中产生的簇和下列方程最小化自该簇中心的距离。

Zj＝1/Nj∑Vn(Vn∈Si)...(3)

其中，Ni代表在步骤2产生的新簇中采样的个数。

步骤4，判断收敛

如果簇Sj的新中心与前一中心相同(dame)，则停止簇操作，并且如果簇Sj的新中心不同于前一中心，则转到步骤2。

为了检测整体运动矢量，局部运动矢量被分为多个簇，并且选择具有背景区域的运动的一个簇。此时，假设由于整体运动矢量导致的图像的像素被在相同方向上和以相同的大小被移动。上述假设具有下面两个条件，一个条件是在具有和整体运动相似的某值的局部运动矢量的簇中的采样个数比其他簇中的采样数要多得多，并且另一个条件是在具有和整体运动矢量相似的某一形状的局部运动矢量的簇中的采样的分布比在其他簇中的采样的分布要小得多。在本发明中，假设满足上述两个条件的簇包括整体运动矢量并被选做具有背景区域的运动的簇。

在所选的簇中检测整体运动矢量的方法是根据下面的方程来实施的。

Vg＝median{Vn}，Vn∈Sj......(4)

其中Vg代表整体运动矢量，并且Sj代表具有背景区域的运动的簇。为了检测在所选的簇中检测整体运动矢量，与获得局部运动矢量的平均值的方法相比，获得局部运动矢量的中值的方法能够减少错误，因此增强了检测水平。

图8是说明图5中的基于时间的综合单元的示意图。

基于时间的综合单元320是由帧类型提取处理器321和整体运动矢量综合单元322形成的。基于时间的综合单元320根据帧类型综合来自整体运动矢量计算单元310输入的整体运动矢量。即，帧类型提取处理器321根据来自VLD 202的附加信息提取输入图像的帧类型。而且，整体运动矢量综合单元322接收整体运动矢量并根据来自帧类型提取处理器321的帧类型综合整体运动矢量。即，在帧类型是I或P的情况下，整体运动矢量被直接综合，并且在是B帧的情况下，仅当B帧被校正时才综合整体运动矢量。整体运动补偿单元330使用综合的整体运动矢量补偿从帧存储器206输入的抖动图像，由此稳定图像。整体运动补偿单元330稳定抖动的图像12、13和14并将稳定的图像输出到屏幕11。

如上所述，因为使用编码位流提取的附加信息检测整体运动矢量，所以根据本发明的数字图像稳定装置没有复杂的硬件结构。因此，根据本发明的数字图像稳定装置很好地适用于对在诸如要求低传输率的下一代移动电话系统或移动通信终端的移动图像通信系统中的抖动的图像进行校正。

在不背离本发明的精神和特点时，可以以几种形式实施本发明，还应该理解上述的实施例不受前面描述的任何细节的限制，除非特别说明。还应在其所附的权利要求中的精神和范围内广义地理解，因此，所有落入本权利要求的符合条件和界限内的改变和变型或者本权利要求的符合条件和界限的对等替换都被认为是包括在所附的权利要求中的。

Claims (11)

1.一种具有数字图像稳定功能的视频解码器，该解码器包括：

VLD，用于从编码位流中分离图像信息和附加的信息；

整体运动计算单元，用于使用来自VLD的附加信息中的有关背景区域的局部运动矢量计算整体运动矢量；

基于时间的综合单元，用于接收来自整体运动计算单元的整体运动矢量并根据帧类型时间综合整体运动矢量；以及

整体运动补偿单元，用于使用基于时间的综合单元综合的整体运动矢量来稳定恢复的图像。

2.如权利要求1的解码器，其中所述的整体运动计算单元从附加信息中提取宏块单元的运动矢量并检测整体运动矢量。

3.如权利要求2的解码器，其中所述的整体运动单元包括：

局部运动矢量检测器，用于接收来自VLD的附加信息并提取宏块单元的局部运动矢量；

运动分离处理器，用于分离由局部运动矢量检测器提取的局部运动矢量并分离有关背景区域的运动的局部运动矢量；以及

整体运动矢量检测器，用于根据运动分离处理器分离的背景区域的局部运动矢量检测一个整体运动矢量。

4.如权利要求3的解码器，其中所述的运动分离处理器包括：

相似运动估计单元，用于将来自局部运动矢量检测器提取的局部运动矢量分离为一定数目的簇；以及

背景运动选择器，用于在由相似运动估计单元分离的簇中选择具有背景区域的运动的簇。

5.如权利要求1的解码器，其中所述的基于时间的综合单元包括：

帧类型提取单元，用于从来自VLD的附加信息中提取帧类型；以及

整体运动矢量综合单元，用于根据帧类型提取处理器提取的帧类型综合整体运动矢量。

6.如权利要求5的解码器，其中在帧类型是I和P的情况下，所述的基于时间的综合单元直接综合整体运动矢量，并且在B帧的情况下，当校正B帧时，所述的基于时间的综合单元综合整体运动矢量。

7一种使用视频解码器的数字图像稳定方法，包括步骤：

分离步骤，接收编码位流，并分离成图像信息和附加信息；

计算步骤，使用在分离步骤中分离的附加信息中的关于背景区域的运动的局部运动矢量，计算整体运动矢量；

综合步骤，接收计算的整体运动矢量并根据帧类型时间综合所接收的整体运动矢量；以及

稳定步骤，使用在综合步骤中综合的整体运动矢量，稳定恢复的图像。

8.如权利要求7的方法，其中所述的计算步骤包括：

第一步骤，接收附加信息并提取基于宏块单元的局部运动矢量；

第二步骤，分离在第一步骤中提取的局部运动矢量并分离有关背景区域的运动的局部运动矢量；以及

第三步骤，根据在第二步骤中分离的背景区域的局部运动矢量检测一个整体运动矢量。

9.如权利要求8的方法，其中所述的第二步骤包括步骤：

步骤2a，将在第一步骤中提取的局部运动矢量分离为某数量的簇；以及

步骤2b，在步骤2a中分离的簇中选择具有背景区域的运动的某一簇。

10.如权利要求7的方法，其中所述的综合步骤包括：

第一步骤，从附加信息中提取帧类型；以及

第二步骤，根据在第一步骤中提取的帧类型综合整体运动矢量。

11.如权利要求10的方法，其中在所述的综合步骤中，在帧类型是I和P的情况下，整体运动矢量被直接综合，并且在B帧的情况下，当校正B帧时，整体运动矢量被综合。

Images