CN1110204C - 用于对视频信号特征点估算运动矢量的装置 - Google Patents

Abstract

用于对视频信号特征点估算运动矢量的装置，包括：轮廓位移检测电路，用于检测包含于在先帧中运动物体在先轮廓与包含于当前帧中运动物体的当前帧轮廓之间的轮廓位移范围；及特征点运动估算电路，用于将具有一特征点的特征点块与从由轮廓位移范围自适应调节的相应的特征点搜索区域得出的每个候选块比较，将一个特征点块及与它最相似的候选块之间的空间位移指定为相应于该特征点块的特征点位移矢量，由此对该组特征点产生出一组运动矢量。

Description

用于对视频信号特征点估算运动矢量的装置

技术领域

本发明涉及使用基于特征点的运动估算的视频信号编码装置，尤其是，通过使用自适应调节的特征点搜索区域能接触地对视频信号特征点估算运动矢量的装置。

背景技术

众所周知，数字视频信号的传输能获得比模拟信号传输质量高得多的视频图象。当包括一个序列的图象“帧”的图象信号用数字形式表达时，大量的数据被产生出来以待传输，尤其是在高清晰度电视系统中更是如此。但是因为传统传输频道可获得的频带宽度是有限的，为了通过它传输大量的数字数据，不可避免地要压缩或减小传输数据的总量。在各种视频压缩技术中，使时间与空间压缩技术与统计编码技术结合在一起的所谓混合编码技术被认为是最有效的。

大多数混合编码技术使用了运动补偿DPCM(差分脉冲编码调制)，两维DCT(离散余弦变换)，DCT系数的量化，及VLC(可变长度编码)。运动补偿DPCM是对当前帧与在先帧之间物体运动作估算，并根据物体的运动流预测当前帧，以产生代表当前帧及其预测之间差别的差分信号的方法。

两维DCT可使图象数据、例如运动补偿DPCM数据之间的空间冗余减少或消除，它将一组数字图象数据、例如一组8×8个象素数据转换成一组变换系数数据。该技术例如被描述在Chen及PRatt著的“场景自适应编码器”中，IEEE通信期刊，COM-32，No.3(1984年3月)。通过用量化器处理这种变换系数，折线扫描及VLC，可有效地压缩待传输的数据量。

尤其是，在运动补偿DPCM中，基于当前帧及在先帧之间运动的估算从相应在先帧数据中预测当前帧的数据。这种估算的运动可被描述为代表在先帧与当前帧之间象素位移的两维运动矢量。

具有两种估算象素位移的基本方法：一种是逐组的估算，另一种是逐象素地估算方法。

在逐组运动估算中，将当前帧中的一个组与在先帧中的组进行比较，直到确定出最佳匹配为止。但是，在逐组运动估算中，在运动补偿过程中会发生组边界处的分块效应；如果在一组中的所有象素不以相同方式运动则就产生差的估算，由此使整体图象质量下降。

另一方面，使用逐象素方法，对每一象素确定其位移。该技术能更精确地估算象素值并具有易于处理比例变化的能力(变焦，垂直于图象表面的运动)。但是，在逐象素的方法中，因为运动矢量是在每一象素上确定的，实际上不可能将所有的运动矢量数据传输给接收器。

为了改善由逐象素方法产生的多余或剩余传输数据的处理问题而导致了一种技术，它就是基于特征点的运动估算方法。

在基于特征点的运动估算技术中，用于一组被选出象素即特征点的运动矢量被传输给接收机，其中特征点被规定为能代表物体运动的在先帧或当前帧的象素，以致在接收机中可从这些特征点的运动矢量恢复或估计出当前帧象素的运动矢量。在公开于共同享有的相关美国专利申请：序列号08/367,520、题为“使用逐象素运动估算编码视频信号的方法及装置”中，首先使用轮廓检测技术从包含于在先帧中的所有象素中选择多个特征点。然后对选出的特征点确定其运动矢量，其中每个运动矢量代表在先帧中一个特征点与当前帧中对应的匹配点、即与其最相似的象素之间的空间位移。尤其是，在当前帧内的搜索区域中搜索对于每个特征点的匹配点，其中搜索区域规定为包围相应特征点位置的预定范围的区域。

虽然通过使用上述基于特征点的运动估算技术呆以大量地减少传输数据的量，但用于特征点运动矢量估算的搜索区域仍被限制在预定范围上，其中没有考虑运动物体轮廓位移的范围。尤其是，从精确度的观点看使用固定搜索区域可能是不理想的，因为对于那些位于运动物体轮廓上的特征点的运动矢量可能根据其轮廓位移范围而变化，因此，如果真实轮廓位移范围与固定搜索区域不相一致时将会对特征点分配伪运动矢量。而这种伪运动矢量的分配会导致整个编码效率的下降。

发明内容

因此，本发明的主要目的是提供用于低比特率视频系统编码系统的改进的特征点运动矢量估算装置，它能使用自适应调节的特征点搜索区域精确地对从视频信号中运动物体轮廓中选出的特征点估算一组运动矢量。

根据本发明，提供一种用于对位于视频信号在先帧中的运动物体轮廓上的一组特征点确定一组运动矢量的装置，其中每个运动矢量代表一个特征点与视频信号的当前帧中与其最相似的象素之间的空间位移，该装置包括：检测装置，用于检测包含于在先帧中的运动物体的在先轮廓与包含于当前帧中的运动物体的当前轮廓之间的轮廓位移范围，以产生一个轮廓位移信号；用于从在先帧中分离出一组等尺寸的特征点搜索块的装置，每个特征点搜索块具有一个位于其中心的特征点，以便连续地产生出一组特征点搜索块；响应于轮廓位移信号，用于从当前帧中确定出对于每个特征点搜索块的特征点搜索区域，以产生出多个从特征点搜索区域得到的具有上述的等尺寸的候选块，其中特征点搜索区域的尺寸大于所述等尺寸的特征点搜索块；及特征点运动估算装置，用于将一个特征点搜索块与每个从相应特征点搜索区域得出的候选块相比较，以及，用于将所述一个特征点搜索块和与它最相似的候选块之间的空间位移指定为对应于所述特征点搜索块的特征点运动矢量，并由此产生出一组用于该组特征点的运动矢量。

优选地，其中的检测装置包括：第一分离装置，用于从在先帧中分离出运动物体的在先轮廓，以产生代表位于在先轮廓上象素位置的在先轮廓信号；第二分离装置，用于从当前帧中分离出运动物体的当前轮廓，以产生出代表位于当前轮廓上象素位置的当前轮廓信号；扩展装置，用于响应于在先轮廓信号，使在先轮廓的宽度在其两侧上各扩展一个象素，由此连续地产生出代表多个被扩展的在先轮廓的扩展在先轮廓信号，其中每个被扩展的在先轮廓具有不同宽度；及用于响应当前轮廓及扩展在先轮廓信号，将当前轮廓与每个被扩展的在先轮廓相比较，并当选择到包围当前轮廓预定部分的被扩展的在先轮廓数据时，用以产生代表选出的被扩展的在先轮廓宽度的轮廓位移信号。

附图说明

从以下结合附图对优选实施例的说明中将会使本发明的上述的及另外的目的和特征更加了明，附图中：

图1表示使用特征点运动估算技术的视频信号编码装置的概要框图；

图2表示图1中当前帧预测电路的详细框图；

图3表示根据本发明的图2中特征点运动矢量搜索电路的详细框图；及

图4A及4B表示根据本发明的轮廓位移范围检测方法的示范图。

具体实施方式

参见图1，它表示使用根据本发明的当前帧预测电路150的用于数字视频信号压缩的编码装置。如图所示，作为输入数字视频信号的当前帧数据被供给到第一帧存储器100，后者存储输入的数字视频信号。输入的数字视频信号也通过线L1O连接到当前帧预测电路150。实际上，从第一帧存储器100中逐块地读出输入视频信号并通过线L11提供给减法器102。每个块的尺寸典型在8×8及32×32个象素的范围中。

当前帧预测电路150起初通过使用将在以下参照图2，3及4描述的自适应调节特征点搜索区域对一组特征点确定出一组运动矢量，其中从一重建在先帧内的运动物体轮廓中选择出特征点。在使用从第一帧存储器100中读出的线10上的当前帧及来自第二帧存储器124的线L12上的在先帧确定出特征点的运动矢量后，使用这些运动矢量在逐象素的基础上预测当前帧，以便在线L30上产生预测当前帧。用于所有特征点的运动矢量也通过线L20连接到平均信息量编码器107。

在减法器102上，由线L11上的当前帧减去线L30上原预测当前帧，所产生的数据、即表示差分象素值的误差信号被传送到图象信号编码器105。在图象信号编码器105上，误差信号被编码成一组量化变换系数，例如使用DCT及任何公知的量化方法进行编码。然后，量化的变换系数被传输到平均信息量编码器107及图象信号解码器113。

在平均信息量编码器107上，使用例如公知的可变长度编码技术使来自图象信号编码器105的量化变换系数及运动矢量一起被编码，并传送给发送器(未示出)，用于发送它们。在此时刻，图象信号解码器113通过使用反量化及反离散余弦变换将来自图象信号编码器105的量化变换系数变化回重建误差信号。来自图象信号解码器113的重建误差信号及来自当前帧预测电路150的线L30上的预测当前帧在加法器115上相组合，并由此提供重建帧并被作为在先帧存储在第二帧存储器124中。

参照图2，它表示图1中所示的当前帧预测电路150的细节部分。该当前帧预测电路150设有一个特征点选择电路230，一个特征点运动矢量搜索电路240，一个当前帧运动矢量检测电路250及一个运动补偿电路260。

来自第一帧存储器100的经线L10提供的当前帧及来自第二帧存储器124的经线L12提供上的在先帧被分别地输入到特征点运动矢量搜索240和特征点选择电路230。

在特征点选择电路230上，从位于来自第二帧存储器124的在先帧内包含的物体轮廓上的象素内选择出多个特征点。特征点被规定为能够代表帧中运动物体运动的象素。在本发明的优选实施例中，与轮廓或边缘检测技术一起使用了公知的网格技术，它被描述在共同享有的美国专利申请序列号08/367,520中。在该方案中，将网格与物体轮廓之间相交点作为特征点选择。将来自特征点选择电路230的被选出的特征点输入到特征点运动矢量搜索电路240。

在特征点运动矢量搜索电路240上，基于线L10上的当前帧及线L12上的在先帧检测出用于被选出特征点的第一组运动矢量。在第一组中的每个运动矢量代表在先帧中特征点及当前帧中与其最相似的象素之间的空间位移。具有多种处理算法，最好为块匹配算法，它适用于逐象素地检测运动矢量，正如以下将要描述的。

在当前帧运动矢量检测电路250上，使用来自特征点运动矢量搜索电路240的第一组运动矢量及来自特征点选择电路230的特征点位置数据，对于包含在当前帧中的所有象素确定第二组运动矢量。根据本发明的优选实施例，使用公知的仿射变换确定第二组运动矢量。为了确定第二组运动矢量，首先确定准特征点，这里准特征点代表由在先帧特征点被第一组运动矢量位移的当前帧的象素点。在确定了准特征点(Qp’s)后，通过连接相邻的准特征点确定了多个未重叠的多边形，如三角形，正如在共同享有的美国专利申请序列号08/434,808中所公开的。

然后，通过使用仿射变换技术计算第二组运动矢量。如本技术领域公知的，通过仿射变换可以表示运动物体任意顺序的转动、平移及比例变化。如图所示，由当前帧运动矢量检测电路250提供的第二组用于当前帧象素的运动矢量被传送到运动补偿电路260。

运动补偿电路260通过使用包括在第二组中的每个运动矢量从图1所示的第二帧存储器124中检索出待包含在预测当前帧中的每个象素值，由此将预测当前帧通过线L30提供给图1中所示的减法器102及加法器115。在运动矢量的两个分量不是整数的情况下，通过内插与被运动矢量指定的位置相邻的象素可以获得预测象素值。

参见图3，它表示根据本发明的图2中所示的特征点运动矢量搜索电路240的电路框图。来自图1所示的第一及第二帧存储器100及124的在先帧及当前帧均被传送到轮廓位移检测电路300。在先帧也被提供给特征点搜索块发生器370，且当前帧被提供给候选块发生器380。

轮廓位移检测电路300包括在先轮廓检测器310，当前轮廓检测器320，轮廓宽度扩展电路330，比较器340及搜索区域决定电路350；并用于检测包含于在先帧中的运动物体的在先轮廓及包含于当前帧中运动物体的当前轮廓之间的位移范围，以产生轮廓位移信号。

在先帧被传送到在先轮廓检测器310，后者使用公知的索贝尔(Sobel)算子从在先帧中分离出运动物体的在先轮廓，并产生代表位于在先轮廓的象素位置的在先轮廓信号。最好，被分离出的在先轮廓的宽度是由单个图象元素即一个象素构成的。然后将在先轮廓信号提供到轮廓宽度扩展电路330，它将在先轮廓的宽度渐次地在其两侧各展宽一个象素，并由此连续地产生多个被扩展的在先轮廓，其中每个被扩展在先轮廓具有不同的宽度。被扩展的在先轮廓连续地传送到比较器340及搜索区域决定电路350。

另一方面，当前帧被传送到当前轮廓检测电路320，它使用公知的索贝尔算子从当前帧中分离出运动物体的当前轮廓，并产生出代表位于当前轮廓上的象素位置。类似地被分离出的当前轮廓的宽度是由单个图象元素即一个象素构成的。然后将当前轮廓信号提供给比较器340。

比较器340将当前轮廓与每个被扩展的在先轮廓相比较，当选择出包围或围绕当前轮廓一个预定部分的被扩展在先轮廓时，就产生出代表选出的被扩展在先轮廓的被扩展在先轮廓选择信号。在本发明的一个优选实施例中，当前轮廓的预定部分可能确定为它的所有象素位置的95％。然后将扩展在先轮廓选择信号传送给搜索区域决定电路350，它产生出代表选出的被扩展在先轮廓宽度的轮廓位移信号。轮廓位移信号被作为轮廓位移范围传送到候选块发生器380。

参见图4A及4B，它是用于说明根据本发明的轮廓位移范围检测方法的示例图。如图所示，两个重叠的帧，即当前帧及在先帧总地用标号410表示。在此情况下，包含于在先帧中运动物体的在先轮廓由420(实线)表示，而包含在当前帧中运动物体的当前轮廓由430(虚线)表示。在先轮廓的宽度Wt是由单个图象元素即一个象素构成的。如图4B中所示，为了检测在先轮廓与当前轮廓之间的轮廓位移范围，在图4A中所示的在先轮廓宽度Wt渐次地在其两侧上各扩展一个象素位置，即由图3中所示的轮廓宽度扩展电路330产生多个被扩展在先轮廓4201至420N，其中每个被扩展在先轮廓具有其不同宽度，N为正整数。如由图4B对照图4A所看到的，在先轮廓的宽度Wt愈扩展，包含在被扩展的在先轮廓中的当前轮廓的宽度Wt愈扩展，包含在被扩展的在先轮廓中的当前轮廓部分愈增加。当预定部分的、例如大约95％的目前轮廓被包围或围绕在一个被扩展的在先轮廓中时，则可由图2中所示的比较器340选择该所述的一个被扩展在先轮廓，并将它的宽度确定为轮廓位移范围。

再参见图3，在特征点搜索块发生器370上，基于从特征点选择电路230连续输入的特征点，从在先帧中分离出多个特征点搜索块，其中各个特征点搜索块由相同尺寸、例如5×5个象素构成，并在其中心具有一个特征点。特征点搜索块被连续地供给特征点运动估算电路360。

候选块发生器380接收轮廓位移信号及特征点，并基于轮廓位移范围对于每个特征点确定特征点搜索区域，其中特征点搜索区域的尺寸大于特征点搜索块的尺寸。当确定了对于每个特征点的相应特征点搜索区域时，候选块发生器380产生出多个从相应特征点搜索区域得出的候选块，其中候选块的尺寸与特征点搜索块的尺寸相同。然后将候选块连续地输送到特征点运动估算电路360。

在特征点运动估算电路360上，在其中心上具有目标特征点的目标特征点搜索块被从特征点搜索块发生器370中检索出来。然后，在使用误差函数如MAE(平均绝对值误差)或MSE(均方误差)对在目标特征点搜索块及多个等尺寸的包含在相应特征点搜索区域中的候选块之间的相似性计算后确定出用于目标特征点搜索块的运动矢量，其中运动矢量代表目标特征点搜索块及具有最小误差函数的候选块之间的位移。然后将确定的运动矢量设置为目标特征点的运动矢量。这就是说，将一个特征点搜索块与每个相应的候选块使用传统的块匹配算法进行比较；并当与特征点搜索块最类似的候选块被选出时，将特征点搜索块和与其最类似的候选块之间的空间位移指定为特征点的运动矢量，并由此对于所有特征点产生出一组运动矢量。然后将用于所有特征点的运动矢量作为第一组运动矢量供给图2中所示的当前帧运动矢量检测电路250及通过线L20传送到图1所示的平均信息量编码器107。

如从上述中可看到的，因为特征点运动矢量搜索装置设有轮廓位移检测电路，用于对每个特征点搜索块自适应地调节特征点搜索区域，本发明的编码可以对于位于运动物体轮廓上的特征点获得更精确的运动矢量，由此改善了编码效率。

虽然本发明是相对于专门实施例描述的，但显然，对于本领域的熟练技术人员在不偏离由附设权利要求书所限定的本发明精神及范围的情况下，可作出各种变化及修改。

Claims (2)

1、用于对位于视频信号在先帧中的运动物体轮廓上的一组特征点确定一组运动矢量的装置，其中每个运动矢量代表一个特征点与视频信号的当前帧中与其最相似的象素之间的空间位移，该装置包括：

检测装置，用于检测包含于在先帧中的运动物体的在先轮廓与包含于当前帧中的运动物体的当前轮廓之间的轮廓位移范围，以产生一个轮廓位移信号；

用于从在先帧中分离出一组等尺寸的特征点搜索块的装置，每个特征点搜索块具有一个位于其中心的特征点，以便连续地产生出一组特征点搜索块；

响应于轮廓位移信号，用于从当前帧中确定出对于每个特征点搜索块的特征点搜索区域，以产生出多个从特征点搜索区域得到的具有上述的等尺寸的候选块，其中特征点搜索区域的尺寸大于所述等尺寸的特征点搜索块；及

特征点运动估算装置，用于将一个特征点搜索块与每个从相应特征点搜索区域得出的候选块相比较，以及，用于将所述一个特征点搜索块和与它最相似的候选块之间的空间位移指定为对应于所述特征点搜索块的特征点运动矢量，并由此产生出一组用于该组特征点的运动矢量。

2、根据权利要求1所述的装置，其中检测装置包括：

第一分离装置，用于从在先帧中分离出运动物体的在先轮廓，以产生代表位于在先轮廓上象素位置的在先轮廓信号；

第二分离装置，用于从当前帧中分离出运动物体的当前轮廓，以产生出代表位于当前轮廓上象素位置的当前轮廓信号；

扩展装置，用于响应于在先轮廓信号，使在先轮廓的宽度在其两侧上各扩展一个象素，由此连续地产生出代表多个被扩展的在先轮廓的扩展在先轮廓信号，其中每个被扩展的在先轮廓具有不同宽度；及

用于响应当前轮廓及扩展在先轮廓信号，将当前轮廓与每个被扩展的在先轮廓相比较，并当选择到包围当前轮廓预定部分的被扩展的在先轮廓数据时，用以产生代表选出的被扩展的在先轮廓宽度的轮廓位移信号。