CN100384257C - 应用基于特征点的运动估算的图象处理系统 - Google Patents

Abstract

用于运动补偿视频信号编码器的装置，包括：特征点运动矢量(MV)检测器，检测前一帧中特征点的第一组MV及边沿点的第二组MV；准点检测器，检测准特征点及其第三组MV和准边沿点及其第四组MV；非准点MV检测器，确定准特征点范围及检测该范围中的准特征点与其余象素间的距离，并将其设置为其余象素的搜索半径，确定散布在距各其余象素搜索半径内的准特征点范围，及为其余象素检测第五组MV；以及运动补偿器，以第三、第四与第五组MV补偿前一帧。

Description

应用基于特征点的运动估算的图象处理系统

技术领域

本发明涉及编码视频信号的装置；更具体地，涉及应用基于特征点的逐个象素运动估算的编码视频信号的装置。

背景技术

众所周知，传输数字化的视频信号能发送比传输模拟信号质量高得多的视频图象。当包含一序列图象“帧”的一个图象信号以数字形式表示时，便会生成大量用于传输的数据，尤其是在高清晰度电视系统的情况中。然而，由于一条传统的传输信道的可利用的频带宽度是有限的，为了通过有限的信道带宽传输大量的数字数据，不可避免地要压缩或减少传输数据量。在各种视频压缩技术中，将时间与空间压缩技术与一种统计编码技术组合在一起的所谓混合编码技术已知是最高效的。

大多数混合编码技术采用运动补偿的DPCM(差分脉冲码调制)、二维DCT(离散余弦变换)、DCT系数量化及VLC(可变长度编码)。运动补偿的DPCM是下述过程：确定一个目标在当前帧与前一帧之间的运动；以及根据该目标的运动流预测当前帧以生成一个表示当前帧与其预测之间的差别的差分信号。例如，在Staffan Ericsson“的混合预测的/变换编码的固定与自适应预测器(Fixed and Adaptive Predictors for Hybrid Predictive/Transform)”，IEEE通信学报，COM-33，12号(1985年12月)以及Ninomiya与Ohtsuka的“电视画面的一种运动补偿的帧间编码方案(A Motion-Compensated Intertrame Coding Scheme for Television Pictures)”IEEE通信学报，COM-30，1号(1982年1月)，中对这一方法有所描述。

具体地，在运动补偿的DPCM中，当前帧数据是根据当前与前一帧之间的运动估算从对应的前一帧数据中预测的。这种估算的运动可用表示前一帧与当前帧之间的象素的位移的二维运动矢量来描述。

已有两种估算一个目标的象素的运动或位移的基本方法：一种是逐块的估算；而另一种是逐个象素的方法。

在逐块运动估算中，将当前帧中的一块与其前一帧中的多块进行比较直到确定一个最佳匹配为止。据此，便能估算整块的一个帧间位移矢量(它表示该块象素在帧间移动了多少)。然而，在逐块运动估算中，如果块中的所有象素并不以同一方式运动，便可能得出低劣的估算，从而降低整体编码效率。

反之，在逐个象素估算的情况中，为各个及每一个象素确定一个位移。从而，这一技术能得出象素值的更精确的估算，并具有容易地处理比例变化(诸如变焦、垂直于图象平面的运动等)的能力。但是在逐个象素的方法中，由于在各个与每一个象素上确定一个运动矢量，实际上不可能将所有的运动矢量数据全都传输给一台接收机。

用来改善由逐个象素方法引起的过多或过剩传输数据问题而引入的技术之一便是一种基于特征点的运动估算方法。

在基于特征点的运动估算技术中，将一组选择的象素，即特征点的运动矢量，传输给一台接收机，其中各该特征点定义为能够代表其相邻象素的一个象素，从而在接收机上可从特征点的运动矢量中恢复或逼近非特征点的运动矢量。

如在一项共同未决、共同拥有的名为“应用逐个象素运动估算编码视频信号的方法和装置”的美国专利申请序列号08/367,520中所公开的，在采用基于特征点的运动估算的编码器中，首先从包含在前一帧中的象素中选择若干特征点。然后为所选择的特征点确定第一组运动矢量，其中各该运动矢量表示前一帧中的一个特征点与当前帧中的一个对应的匹配点，即最相似的象素，之间的一个空间位移。当前帧中的最相似象素称作准特征点。此后，使用所述第一组运动矢量确定包含在当前帧中的所有象素的第二组运动矢量。这便是首先通过转换第一组运动矢量中的每一个而确定准特征点的第二组运动矢量的一部分；然后通过求出位于一个预定大小的圆形边界内的准特征点的运动矢量的平均值而确定非准特征点的第二组运动矢量的其余部分。

由于并不采用与一个目标的真实运动相关的任何实际信息来确定非准特征点的第二组运动矢量的其余部分，有可能无法精确地估算出非准特征点的运动矢量。

因此，本发明的主要目的为提供一种采用基于特征点的运动估算的改进的图象处理系统，通过利用边沿信息而能够精确地估算非准特征点的运动矢量。

发明内容

按照本发明，提供了一种用在运动补偿的视频信号编码器中的改进的装置，用于根据数字视频信号的当前帧与前一帧来确定一个预测的当前帧，该装置包括：

一个边沿检测器，用于检测表示构成前一帧中的一个图象的边沿的象素的边沿点；

一个特征点检测器，用于从前一帧中的边沿点中选择若干象素作为特征点；

一个特征点运动矢量检测器，用于为这些特征点检测第一组运动矢量，第一组运动矢量中的每一个表示一个特征点与当前帧中的一个与之最相似的象素之间的空间位移；

一个范围检测器，用于为各特征点确定一个特征点范围，其中该特征点范围包含一个特征点及一个或一个以上同一条边沿上的未选择的边沿点，且沿该特征点范围内的各未选择的边沿点与该特征点之间的边沿的距离不大于沿该特征点范围内的未选择的各边沿点与任何其它特征点范围内的一个特征点之间的边沿的距离；

一个边沿点运动矢量检测器，用于检测特征点范围内的一个特征点与各未选择的边沿点之间的距离，并设定该距离作为所述各未选择的边沿点的搜索半径；并用于在同一条边沿上确定分布在距各边沿点搜索半径内的一个或多个特征点范围，及为未选择的边沿点检测第二组运动矢量，第二组运动矢量中的各个是通过求出包含在该第一个或多个特征点范围内的特征点的运动矢量的平均值而确定的；

一个准点检测器，用于根据第一组运动矢量中的各个检测当前帧中与特征点对应的准特征点及这些准特征点的第三组运动矢量，以及根据第二组运动矢量中的各个检测当前帧中的准边沿点及这些准边沿点的第四组运动矢量；

一个准特征点范围确定器，用于通过将当前帧中除准特征点与准边沿点两者以外的各其余象素变址到其最靠近的准特征点上而为各该准特征点确定一个准特征点范围；

一个非准点运动矢量检测器，用于检测一个准特征点与该准特征点范围内的各其余象素之间的距离，并设定该距离作为各其余象素的搜索半径；及用于确定分布在距各其余象素搜索半径内的一个或多个准特征点范围，及为其余的象素检测第五组运动矢量，第五组运动矢量的各个是通过求出包含在一个或多个准特征点范围内的准特征点的运动矢量的平均值而确定的；

一个配置块，用于配置第三、第四与第五组运动矢量来为当前帧中的所有象素确定一群运动矢量；以及

一个运动补偿器，用于根据各象素在当前帧中的位置及其运动矢量提供来自当前一帧的一个象素值，借此确定预测的当前帧。

附图说明

从下面结合附图给出的较佳实施例的描述中，本发明的上述及其它目的与特征将是显而易见的，附图中：

图1为具有本发明的当前帧预测块的图象信号编码装置；

图2示出图1的当前帧预测块的详细方框图；

图3A至3C描述确定各边沿上的特征点范围的方法；以及

图4A与4B表示为非准点检测一组运动矢量的方法。

具体实施方式

图1描述本创造性图象信号编码装置的一个较佳实施例。如图1中所示，一个输入视频信号的一个当前帧信号存储在一个第一帧存储器100中，该存储器通过线L9连接在一个减法器102上，并通过线L10连接在一个当前帧预测块150上。

在当前帧预测块150中，将从第一帧存储器100中检索出的线L10上的一个当前帧信号及来自一个第二帧存储器124的线L12上的一个重构的前一帧信号进行处理，使用特征点来预测当前帧，分别在线L30上生成一个预测的当前帧信号及在线L20上生成特征点的一组运动矢量。下面将参照图2描述当前帧预测块150的细节。

在减法器102上从线L9上的当前帧信号中减去线L30上的预测的当前帧信号，并将得出的数据，即表示当前的与预测的当前帧信号之间的差分象素值的一个误差信号，分派给一个图象信号编码器105，在其中通过利用诸如DCT或任何已知的量化法将该误差信号编码成一组量化的变换系数。此后将这些量化的变换系数传输给一个熵编码器107及一个图象信号解码器113。在熵编码器107上，用诸如可变长度编码技术将来自图象信号编码器105的量化变换系数及通过线20传输的来自当前帧预测块150的运动矢量编码在一起。此后，将编码的信号提供给一台发送机(未示出)供其传输。

同时，图象信号解码器113将来自图象信号编码器105的量化变换系数用逆量化与逆离散余弦变换转换回一个重构的误差信号。在加法器115上组合来自图象信号解码器113的重构的误差信号及来自当前帧预测块150的线L30上的预测的当前帧信号，借此提供一个重构的当前帧信号，作为前一帧存储在第二帧存储器124中。

参见图2，其中图示了图1中所示的当前帧预测块150的细节。如图2中所示，将线L12上的一个前一帧信号分别提供给一个边沿检测器209及一个特征点运动矢量检测器212。在边沿检测器209上，通过传统的边沿检测技术检测表示构成前一帧中的一个图象的边沿的象素的若干边沿点。将前一帧中的这些边沿点在线L13上提供给一个特征点检测器210、一个范围检测器214及一个准点检测器218。

在特征点检测器210上，从来自边沿检测器209的边沿点中检测出多个特征点，在本发明的一个较佳实施例中，这些特征点是在网格点与边沿点的交点上检测的。检测方法公开在一项共同未决、共同拥有的名为“利用逐个像素运动估算编码视频信号的方法与装置”的美国专利申请08/367,520中，通过引用将其全部结合在此。在线L14上将来自特征点检测器210的特征点提供给特征点运动矢量检测器212及范围检测器214。

在特征点运动矢量检测器212上，检测这些特征点的第一组运动矢量。第一组运动矢量中的各个表示前一帧中的一个特征点与当前帧中称作准特征点的与之最相似的一个象素之间的一个空间位移。为了检测一个特征点与一个准特征点之间的一个运动矢量，采用了一种块匹配算法。这便是当从特征点检测器210接收到一个特征点时，便经由线L12从第二帧存储器124(图1中所示)中检索出以该特征点为中心的一个特征点块，诸如前一帧中的5×5个象素。此后，经过该特征点块与从第一帧存储器100(图1中所示)中检索出的当前帧中一个通常较大的搜索区，诸如10×10个象素，中所包含多个大小相等的候选块中的每一个之间的相似性计算之后，便确定了该特征点块的运动矢量。将为该特征点块所确定的运动矢量指定为包含在该特征点块中的特征点的运动矢量。

为所有的特征点检测出运动矢量之后，便经由线L20将第一组运动矢量提供给一个边沿点运动矢量检测器216、一个准点检测器218及熵编码器107(图1中所示)。

同时，通过在各条边上将每一个边沿点变址到沿该边与之最靠近一个特征点上而将具有若干特征点的各条边分成对应数目的特征点范围。

现在参见图3A至3C，其中示出了在各条边上确定特征点范围的方法。如图3A中所示，在诸如FP1至FP5等特征点是沿三条边边1、边2与边3分布的情况中，取决于它们之间的靠近程度将边2上的一个边沿点EP变址到一个特征点FP1或FP5上。例如，如果边沿点EP沿图3B中所示的边距离特征点FP1与FP5为5个与3个象素，便将边沿点EP变址到特征点FP5上。以类似的方式，将各边沿点变址到与之最靠近的特征点上。如果一个边沿点位于两个相邻的特征点中央，则可将该边沿点变址到两个相邻特征点中任何一个上。一个特征点与变址到其上面的边沿点构成一个特征点范围。换言之，一条边上的各特征点范围包含一个特征点及一个或多个边沿点，各边沿点将该特征点作为沿该边与之最靠近的一个特征点。参见图3C，其中图示了边沿边1、边2及边3上的特征点范围。

在各边沿上确定了特征点范围之后，表示边沿点所属于的一个特征点范围的范围信息便被馈送给边沿点运动矢量检测器216。边沿点运动矢量检测器216首先确定一个搜索半径，即在同一个特征点范围内的一个边沿点与一个特征点之间的距离，以及在同一条边上检测一个或多个有影响的特征点并根据检测到的有影响的特征点的运动矢量计算该边沿点的运动矢量。如图3B中所示，如果边沿点EP的搜索半径为r且包含在同一条边2上的特征点范围FPR1与FPR5中的边沿点包含在由搜索半径r定义的范围之内，便确定特征点FP1与FP5作为边沿点EP的有影响的特征点。边沿点EP的运动矢量MV_EP可计算如下：

其中MVj为第j个特征点的运动矢量，M为该范围中的特征点范围的总数，Lj为第j个特征点与边沿点EP之间的距离，而Wj则为

${\mathrm{MV}}_{\mathrm{EP}}=\frac{\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\left(\frac{{\mathrm{MV}}_j}{L_j}X{W}_j\right)}{\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\left(\frac{1}{L_j}X{W}_j\right)}---\left(1\right)$

第j个特征点的加权因子。如果一个给定的特征点为一个有影响的特征点，则该特征点的加权因子为1；否则为0。根据式(1)，运动矢量MV_EP是通过求两个特征点FP1与FP5的两个运动矢量的平均值而确定的。边沿点运动矢量检测器216提供除特征点之外的边沿点的第二组运动矢量。

根据来自边沿检测器209的边沿点信息及来自运动矢量检测器212与216的第一与第二组运动矢量，准点检测器218通过将各特征点与边沿点移位它们的运动矢量而确定当前帧中的准特征点与准边沿点；并提供准特征点的第三组运动矢量及准边沿点的第四组运动矢量。由于第一与第二组运动矢量中的每一个表示当前帧中的一个象素点从其在前一帧中的对应象素点移位的位移量，第三与第四组中的各运动矢量的模等于第一与第二组中对应的运动矢量的模，然而这两个运动矢量的方向是互相相反的。将来自准点检测器218的第三与第四组运动矢量经由线L16提供给一个准特征点范围确定器220、一个非准点运动矢量检测器222及一个配置块224。

在准特征点范围确定器220上，将各非准边沿点与非准特征点分配给一个准特征点范围。非准边沿点与非准特征点表示当前帧中除准边沿点与准特征点二者之外的所有其它象素点，此后它们中的每一个将称作“非准点”。如图4A中所示，当由准特征点QF1至QF4及准边沿点二者在当前帧中构成准边沿边4与边5时，便将这两条准边沿边4与边5之间的非准点分成四个准特征点范围QFR1至QFR4。准特征点范围QFR1至QFR4的确定是通过：以没有准边沿介入它们之间为条件，将各非准点变址到其最靠近的准特征点上而完成的。换言之，各准特征点范围包含非准点，各非准点具有一个准特征点作为它们最靠近的准特征点。

在确定了当前帧中的所有非准点的准特征点范围之后，便将准特征点范围的信息馈送给一个非准点运动矢量检测器222。

在非准点运动矢量检测器222上，根据这些准特征点范围检测非准点的第五组运动矢量。首先，在同一个准特征点范围内确定各非准点与一个准特征点之间的距离，并将所确定的距离设定为该非准点的搜索半径。非准点的运动矢量的确定是根据搜索半径进行的。这便是首先确定用一个非准点的搜索半径相对于该非准点构成的圆形边界内所包含的一个或多个准特征点范围。在这些确定了的准特征点范围内的准特征点为该非准点的有影响的准特征点。例如，如图4B中所示，准特征点范围QFR1至QFR4包含在搜索半径为r且以非准点NQP为中心的一个圆中；并且相应地将准特征点QF1至QF4确定为非准点NQP的有影响的准特征点。非准点NQP的运动矢量MV_NQP可计算如下：

其中MVi为第i个准特征点的运动矢量，N为搜索半径r内的准特征点范围的总数，Li为第i个准特征点与非准点NQP之间的距

${\mathrm{MV}}_{\mathrm{NQP}}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(\frac{{\mathrm{MV}}_i}{L_i}X{W}_i\right)}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(\frac{1}{L_i}X{W}_i\right)}---\left(2\right)$

离；而Wi则为第i个准特征点的加权因子。如果第i个准特征点为一个有影响的准特征点，加权因子为1；否则为0。将非准点的第五组运动矢量提供给一个配置块224。

配置块224为准特征点配置第三组运动矢量，为准边沿点配置第四组运动矢量，并为非准点配置第五组运动矢量，来为当前帧中的所有象素确定一群运动矢量。将当前帧中所有象素的该群运动矢量送至一个运动补偿器226。

运动补偿器226根据当前帧中各象素的位置数据及其运动矢量，从存储在第二帧存储器124中的前一帧中提供一个象素值，借此确定预测的当前帧。

虽然已相对于具体的实施例展示及描述了本发明，但对于熟悉本技术的人员而言，显然可从作出许多改变与修正而不脱离所附的权利要求书中所定义的发明精神与范围。

Claims (2)

1.一种装置，用在一个运动补偿的视频信号编码器中，用于根据一个数字视频信号的一个当前帧及前一帧确定一个预测的当前帧，该装置包括：

用于检测代表构成前一帧中的一个图象的边沿的象素的边沿点的装置；

用于从前一帧的边沿点中选择若干象素作为特征点的装置；

用于检测这些特征点的第一组运动矢量的装置，第一组运动矢量中的各个表示特征点之一与当前帧中与之最相似的一个象素之间的空间位移；

用于通过利用第一组运动矢量及这些边沿点，为前一帧中未选择的边沿点检测第二组运动矢量的装置；

用于根据第一组运动矢量的各个，检测当前帧中与特征点对应的准特征点及这些准特征点的第三组运动矢量，以及根据第二组运动矢量中的各个检测当前帧中的准边沿点及这些准边沿点的第四组运动矢量的装置；

用于通过将当前帧中除准特征点及准边沿点二者之外的其它象素中的每一个变址到其最靠近的准特征点上，而为各该准特征点确定一个准特征点范围的装置；

用于检测一个准特征点与一个准特征点范围中的各其余象素之间的距离，及将该距离设定为所述各其余象索的搜索半径的装置；

用于从各其余象素中确定散布在该搜索半径内的一个或多个准特征点范围，及为其余的象素检测第五组运动矢量的装置，第五组运动矢量的各个是通过求出包含在所述一个或多个准特征点范围内的那些准特征点的运动矢量的平均值而确定的；

用于配置第三、第四及第五组运动矢量，以确定当前帧中所有象素的一群运动矢量的装置；以及

用于根据当前帧中各象素的位置及其运动矢量，从前一帧中提供一个象素值，借此确定预测的当前帧的装置。

2.权利要求1的装置，其中所述用于检测第二组运动矢量的装置包括：

用于确定各特征点的一个特征点范围的装置，其中该特征点范围包含一个特征点及同一条边上的一个或多个未选择的边沿点，并且该特征点范围内的各未选择的边沿点与特征点之间沿该边的距离不大于该特征点范围中的各未选择的边沿点与任何其它特征点范围中的一个特征点之间沿该边的距离；

用于检测该特征点范围中的一个特征点与各未选择的边沿点之间的距离，并将该距离设置为所述各未选择的边沿点的一个搜索半径的装置；以及

用于在同一条边上确定散布在距各边沿点搜索半径内的一个或多个特征点范围，及通过求出包含在所述一个或多个特征点范围中的特征点的运动矢量的平均值，借此检测未选择的边沿点的第二组运动矢量的装置。

Images