CN100388793C - 利用基于特征点的逐象素运动估算的图象处理装置 - Google Patents

Abstract

确定预测的当前帧的装置，包括：检测特征点的第一组MV(运动矢量)的特征点MV检测器；检测各边缘点的一或二相邻特征点并确定边缘点的第二组MV的边缘点MV检测器；检测准特征点及第三组MV及准边缘点及第四组MV的准点检测器；检测非准点的第五组MV的非准点MV检测器，各第五组MV由平均非准点的一或多个相邻准特征点MV确定；配置第三、四、五组MV以确定当前帧各象素的MV的配置单元；基于当前帧各象素的位置及运动矢量提供象素值的运动补偿器。

Description

利用基于特征点的逐象素运动估算的图象处理装置

技术领域

本发明涉及一种用于编码视频信号的装置；并且，更具体地，涉及一种利用基于特征点的逐象素运动估算编码视频信号的装置。

背景技术

众所周知，数字视频信号的传输可获得比模拟信号传输质量高得多的视频图象。当包括有一序列图象“帧”的图象信号以数字形式表示时，将生成大量要传输的数据，特别是高清晰度电视系统的情况中，然而，一常规传输信道的可用频带宽度是有限的，因此，为了发送大量的数字数据，必须压缩或减少传输数据的量，在各种视频压缩技术中，将时间及空间压缩技术与统计编码技术相结合的所谓的混合编码技术是所知最为有效的。

大多数混合编码技术采用运动补偿DPCM(差分脉冲码调制)，二维DCT(离散余弦变换)，DCT系数的量化及VLC(可变长度编码)。运动补偿DPCM是对在一当前帧和一先前帧之间的目标的运动进行估算，并根据目标的运动流预测当前帧以产生一个代表当前帧及其预测之间的差的差分信号的处理。这种方法在例如Staffan Ericsson的“用于混合预测/变换编码的固定及自适应预测器”IEEE Transactions onCommunications，COM-33，No.12(1985年12月)；及在Ninomiya和Ohtsuka的“一种用于电视画面的运动补偿帧间编码方案”，IEEE Transactions on Communications，COM-30，No.1(1982年1月)中被描述。

特别地，在运动补偿DP CM中，基于对当前帧及先前帧间的运动的估算，当前帧数据自相应的先前帧被预测。该被估算的运动可用表示先前帧及当前帧间的象素的位移的二维运动矢量描述。

已有两种基本方法估算目标象素的位移：一种是逐块估算，另一种是逐象素的方法。

在逐块的运动估算中，将一当前帧中的一块与其先前帧中的各块进行比较直至确定最佳匹配。自此，可以估算整个块的帧间位移矢量(代表该象素块已在帧间移动了多少)。然而，在逐块的运动估算中，如果块中所有象素不以相同的方式移动，可导致差的估算，从而降低了整体编码效率。

另一方面，在逐象素估算的情况中，可确定用于每个象素的位移。因此，这种技术可取得象素值的更精确的估算并能容易地处理标度改变(例如变焦、垂直于图象平面的运动)。然而，在逐象素的方法中，由于是确定每个象素的运动矢量，因此几乎不可能将所有的运动矢量数据传输给一接收机。

引入的用于改善涉及由逐象素方法导致的剩余或多余的传输数据的问题的一种技术是基于特征点的运动估算方法。

在该基于特征点的运动估算技术中，用于一组被选择的象素，即特征点的运动矢量被传输给一接收机，其中特征点被定义为能够代表其相邻象素以使在接收机中非特征点的运动矢量可被从特征点的运动矢量还原或近似。

在序列号为08/367,520、题目为“利用逐象素运动估算编码视频信号的方法和装置”的共有未决的美国专利申请中公开的基于特征点的运动估算技术中的编码器中，首先从包含在先前帧中的全部象素中选择一些特征点。接着，确定这些被选择的特征点的第一组运动矢量，其中各运动矢量表示先前帧中一特征点与相应的一匹配点，即当前帧中一最相似的象素之间的空间位移。该当前帧中最相似的象素称为一准特征点。然后，通过利用所述第一组运动矢量，确定当前帧中所包含的所有象素的一第二组运动矢量。即，通过转换第一组运动矢量的各运动矢量，首先确定第二组运动矢量中用于准特征点的一部分；而通过对位于一预定大小的圆形边界内的准特征点的运动矢量进行平均而确定第二组运动矢量中用于非准特征点的剩余部分。

由于对第二组运动矢量中用于非准特征点的剩余部分的确定未采用涉及目标的实际运动的任何实际信息，因此不大可能对这些非准特征点的运动矢量进行精确的估算。

因此，本发明的主要目的是提供一种改进的利用基于特征点的逐象素运动估算的视频信号编码装置，其能通过使用边缘信息精确地估算非准特征点的运动矢量。

发明内容

根据本发明，提供了一种改进的在一运动补偿视频信号编码器中使用的用于基于数字视频信号的当前帧及先前帧确定一预测的当前帧的装置，包括有：

一边缘检测器，用于检测表示先前帧中形成图象边缘的象素的边缘点；

一特征点选择器，用于选择先前帧中边缘点中的一些象素作为特征点；

一特征点运动矢量检测器，用于检测这些特征点的一第一组运动矢量，该第一组运动矢量的各运动矢量表示一特征点与当前帧内同其最相似的一象素之间的空间位移；

一边缘点运动矢量检则器，用于在各边缘中为各未选择的边缘点检测一个或两个相邻的特征点，并检测未选择的边缘点的第二组运动矢量，该第二组运动矢量的各运动矢量是通过对该一个或两个相邻特征点的运动矢量进行平均而被确定的；

一准特征点选择器，用于基于第一组运动矢量的各运动矢量检测当前帧中相应于特征点的准特征点及及这些准特征点的第三组运动矢量并基于第二组运动矢量的各运动矢量检测当前帧中的准边缘点及这些准边缘点的第四组运动矢量；

一非准点运动矢量检测器，用于检测所有非准边缘点及非准特征点的第五组运动矢量，该第五组运动矢量的各运动矢量是通过对各非准边缘点及非准特征点的一个或多个相邻的准特征点的运动矢量进行平均而被确定的，其中该一个或多个相邻的准特征点位于一圆形边界中，该圆形边界具有一自各非准边缘点及非准特征点到与其相应的一最近的准特征点的距离和一预定的距离的组合半径。

一配置单元，用于配置该第三、第四及第五组运动矢量以确定当前帧中所有象素的一组运动矢量；及

一运动补偿器，用于基于当前帧中各象素的位置及其运动矢量提供自该先前帧的一象素值，从而确定该预测的当前帧。

从以下结合附图对优选实施例的描述中，本发明的上述及其它目的和特征将变得明显，附图中：

附图说明

图1为具有本发明的一当前帧预测单元的图象信号编码装置的方框图；

图2示出了图1中的当前帧预测单元的方框图；

图3描述了一确定各边缘上除了特征点的边缘点的运动矢量的方法；及

图4表示了一检测非准特征点的运动矢量的方法。

具体实施方式

图1描绘了本发明图象信号编码装置的一优选实施例。如图1所示，一输入视频信号的当前帧信号被存储在一第一帧存储器100中，该第一帧存储器100通过线L9与一减法器102相连并通过线L10与一当前帧预测单元150连接。

在当前帧预测单元150内，自该第一帧存储器100取出在线L10上的一当前帧信号及来自一第二帧存储器124在线L12上的一重建先前帧信号被处理以预测该当前帧以分别生成一预测的当前帧信号到L30上及一组特征点的运动矢量到线L20上。该当前帧预测单元150的细节将参照图2予以描述。

在减法器102，从在线L9上的该当前帧信号中减去在线L30上的该预测的当前帧信号，且该结果数据，即表示该当前及预测的当前帧信号之向的差分象素值的一误差信号被送至一图象信号编码器105，其中通过利用例如一DCT及任何己知的量化方法，该误差信号被编码成一组量化的变换系数。然后，这些量化的变换系数被传送至一熵编码器107及一图象信号解码器113，在该熵编码器107，通过利用例如一可变长度编码技术，这些来自图象信号编码器105的量化的变换系数及来自当前帧预测单元150通过线L20被传送的运动矢量被一起编码。然后，该编码的信号被提供给一发送机(未示出)进行发送。

同时，该图象信号解码器113通过采用一逆量化及一反离散余弦变换将来自图象信号编码器105的量化的变换系数转换回成一重建的误差信号。该来自图象信号解码器113的重建的误差信号及来自当前帧预测单元150在线L30上的预测的当前帧信号在一加法器115被组合从而提供一重建的当前帧信号，以作为一先前帧被存储在第二帧存储器124中。

现在参照图2，其说明了图1中所示的当前帧预测单元150的细节。如图2所示，在线L12上的一先前帧信号被分别提供给一边缘检测器209及一特征点运动矢量检测器212。在边缘检测器209，先前帧中表示形成图象边缘的象素的边缘点通过一传统的边缘检测技术被检测。先前帧中的这些边缘点被提供到线L13上送至一特征点检测器210，一边缘点运动矢量检测器214及一准点检测器218。

在特征点检测器210，来自边缘检测器209的边缘点中的多个特征点被检测。在本发明的一优选实施例中，在网格点及边缘点的相交点处的特征点被检测。该检测方法公开在一共有未决的序列号为08/367,520号、题为“利用逐象素运动估算编码视频信号的方法和装置”的美国专利申请中，在此全部引入作为参考。来自特征点检测器210的特征点被提供到线L14上送至特征点运动矢量检测器212及边缘点运动矢量检测器214。

在特征点运动矢量检测器212，特征点的一第一组运动矢量被检测。该第一组运动矢量的各运动矢量表示先前帧中一特征点与称作准特征点的当前帧中的同其最相似的一象素之间的空间位移。为检测一特征点与一准特征点之间的运动矢量，采用一块匹配算法。即，当自特征点检测器210接收到一特征点时，自第二帧存储器124(图1中所示)经过线L12取出先前帧的在其中心有该特征点的一特征点块，例如5×5象素块。然后，在完成对该特征点块与取自第一帧存储器100(图1中所示)的当前帧的例如10×10象素的一通常较大的搜索区域内所包括的许多大小相同的候选块之间的相似性计算后，该特征点块的运动矢量被确定。该确定的特征点块的运动矢量被指定为该特征点块中所包含的特征点的运动矢量。

检测完所有特征点的运动矢量后，该第一组运动矢量经线L20被提供给该边缘点运动矢量检测器214、一第一中值滤波器216、准点检测器218及该熵编码器107(图1中所示)：

同时，基于边缘点，特征点及这些特征点的第一组运动矢量，该边缘点运动矢量检测器214检测除了这些特征点的边缘点的一第二组运动矢量，在后面，除了特征点之外的这些边缘点被称为未选择的边缘点。这时参照图3，其说明了一检测位于一示例性边缘上的未选取的边缘点的一第二组运动矢量的方法。如图3中所示，有一些形成该示例性边缘的空的及填满的闭的圆。这些被填满的圆表示特征点而这些空的圆表示未选择的边缘点。为了检测该第二组运动矢量的各运动矢量，首先，检测各未选择的边缘点的一个或两相相邻的特征点。通常，一未选择的边缘点，例如EP1有两个相邻的特征点，例如FP1和FP2。然而，如果该边缘是开环的并且一未选择的边缘点位于其一端部，该未选择的边缘点，例如EP3就只有一个相邻的特征点，例如FP2。然后，通过对相应于各未选择的边缘点的一个或两个相邻的特征点的运动矢量进行平均，检测该第两组运动矢量的各运动矢量。例如，通过平均两相邻的特征点FP1和FP2的运动矢量，确定了未选择边缘点的EP1的运动矢量。该未选择的边缘点EP1的运动矢量(MVx、MVy)_EP1可由下式确定：

${\left({\mathrm{MV}}_{x^{\′}}{\mathrm{MV}}_y\right)}_{\mathrm{EP}1}=\frac{\frac{1}{d1}{\left({\mathrm{MV}}_{x^{\′}}{\mathrm{MV}}_y\right)}_{\mathrm{FP}1}+\frac{1}{d2}{\left({\mathrm{MV}}_{x^{\′}}{\mathrm{MV}}_y\right)}_{\mathrm{FP}2}}{\frac{1}{d1}+\frac{1}{d2}}---\left(1\right)$

其中d1和d2是从未选择的边缘点EP1分别到特征点FP1和FP2的距离；且(MVx、MVy)_FP1和(MVx、MVy)_FP2是特征点FP1和FP2的运动矢量，MVx及MVy是运动矢量的水平及垂直分量。

如果被给定的未选择的边缘点，例如EP3只有一个相邻的特征点，例如FP2，则只有通过该特征点FP2确定该未选择的边缘点EP3的运动矢量。也就是，EP3的运动矢量的值等于FP2的运动矢量的值。这些未选择的边缘点的第二组运动矢量被发送给第一中值滤波器216。

在第一中值滤波器216，通过利用一适当的滤波窗，在馈自边缘点运动矢量检测器214的第二组运动矢量的各运动矢量上执行一中值滤波操作。例如，如果第一中值滤波器216有一3×3的滤波窗，如图3所示，该第一中值滤波器216在一给定的未选择的边缘点，例如EP2处通过对其乘以预定的滤波系数，对一滤波窗FW中所包括的边缘点的7个运动矢量求平均值；并指定该平均值为未选择的边缘点EP2的滤波的运动矢量。在该第二组运动矢量上的滤波操作被继续执行直至一当前平均值与一先前平均值或一初始值之间的一误差值不大于一预定值为止。第二组各被滤波的运动矢量自第一中值滤波器216被提供给准特征点检测器218。

基于来自边缘检测器209的边缘点信息、来自特征点运动矢量检测器212的第一组运动矢量和来自第一中值滤波器216的第二组被滤波的运动矢量，该准点检测器218通过将各特征点和边缘点移位其运动矢量，确定当前帧中的准特征点和准边缘点；并提供这些准特征点的第三组运动矢量和这些准边缘点的第四组运动矢量。因为第一及第二组运动矢量的各运动矢量表示当前帧中一象素点自其相应的先前帧的象素点移过的位移，第三及第四组中各运动矢量的幅值等于第一及第二组中相应的运动矢量的幅值，除了两运动矢量的方向彼此相反外。来自准点检测器218的该第三和第四组运动矢量经线L16被提供给一非准点运动矢量检测器220、一第二中值滤波器222和一配置单元224。

非准点运动矢量检测器220检测所有非准边缘点及非准特征点的一第五组运动矢量。这些非准边缘点及非准特征点表示当前帧中除准边缘点和准特征点外的剩余的象素点且在此之后，它们中的各点被称为“非准点”。通过对各非准点的一个或多个相邻的准特征点的运动矢量进行平均，可确定非准点的第五组运动矢量的各运动矢量。其中该一个或多个相邻的准特征点位于一圆形边界内，该圆形边界有一自各非准点到与其相应的最近的一准特征点的一可变的距离与一预定大小的固定距离的一组合半径。

例如，如图4中所示，一些准特征点，例如QF1至QF6不规则地分布在整个当前帧内。通过对位于一半径为“da+dr”的圆形边界内的准特征点，例如QF3和QF4的运动矢量进行平均，可确定一给定非准点，如用星形标记的点NQP的运动矢量，其中“da”为该星形标记非准点到最近的准特征点的距离，及“dr”为包括在运动矢量计算中所用的其它准特征点的一预定的扩展半径。如果该最近的准特征点是QF4，且准特征点QF3位于半径为“da+dr”的边界内，则非准点NQP的运动矢量(MVx，MVy)_NQP可由下式计算：

${\left({\mathrm{MV}}_{x^{\′}}{\mathrm{MV}}_y\right)}_{\mathrm{NQP}}=\frac{\frac{1}{d3}{\left({\mathrm{MV}}_{x^{\′}}{\mathrm{MV}}_y\right)}_{\mathrm{QF}3}+\frac{1}{d4}{\left({\mathrm{MV}}_{x^{\′}}{\mathrm{MV}}_y\right)}_{\mathrm{QF}4}}{\frac{1}{d3}+\frac{1}{d4}}---\left(2\right)$

其中d3和d4分别是从非准点NQP到准特征点QF3及QF4的距离；且(MVx，MVy)_QF3和(MVx，MVr)_QF4分别是准特征点QF3和QF4的运动矢量；及MVx和MVy具有与式(1)中相同的意义。非准点的第五组运动矢量被提供给一第二中值滤波器222。

在第二中值滤波器222，通过利用一适当的滤波窗，在馈自非准点运动矢量检测器220的第五组运动矢量的各运动矢量上执行一中值滤波操作。第二中值滤波器222的中值滤波操作与第一中值滤波器216的中值滤波操作相同。这些非准点的被滤波的运动矢量被提供给配置单元224。

配置单元224配置准特征点的第三组运动矢量、准边缘点的被滤波的运动矢量及非准点的被滤波的运动矢量以确定当前帧中所有象素的一组运动矢量。当前帧中所有象素的该组运动矢量被发送给一运动补偿器226。

运动补偿器226基于当前帧中各象素的位置数据及其运动矢量，提供自存储在第二帧存储器124(图1中所示)中的先前帧的一象素值，从而确定预测的当前帧。

虽然已相对于特定的实施例展示与描述了本发明，但对于熟悉本技术的人员而言，显然可以在不部离所附的权利要求所定义的发明精神及范围的前提下，作出许多改变与修正。

Claims (3)

1.一种在一运动补偿视频信号编码器使用的，用于基于一数字视频信号的一当前帧及一先前帧确定一预测的当前帧的装置，其包括：

用于检测表示在一先前帧中形成一图象边缘的象素的边缘点的装置；

用于选择该先前帧中的边缘点内的一些象素作为特征点的装置；

用于检测特征点的第一组运动矢量的装置，该第一组运动矢量的各运动矢量表示一特征点与当前帧中同其最相似的象素之间的空间位移；

用于在各边缘中检测各未选择的边缘点的一个或两个相邻的特征点，并检测未选择的边缘点的第二组运动矢量的装置，该第二组运动矢量的各运动矢量是通过对该一个或两个相邻的特征点的运动矢量进行平均而被确定的；

用于基于该第一组运动矢量的各运动矢量检测当前帧中相应于特征点的准特征点及这些准特征点的第三组运动矢量并基于该第二组运动矢量的各运动矢量检测当前帧中的准边缘点及这些准边缘点的第四组运动矢量的装置；

用于检测所有非准边缘点及非准特征点的第五组运动矢量的装置，该第五组运动矢量的各运动矢量是通过对各非准边缘点及非准特征点的一个或多个相邻的准特征点的运动矢量进行平均而被确定的，其中该一个或多个相邻的准特征点位于一圆形边界内，该圆形边界具有一自各非准边缘点及非准特征点到与其相应的一最近的准特征点的距离和一预定的距离的组合半径；

用于配置该第三、第四及第五组运动矢量以确定当前帧中所有象素的一组运动矢量的装置；及

用于基于当前帧中各象素的位置数据及其运动矢量提供一自先前帧的象素值，从而确定该预测的当前帧的装置。

2.根据权利要求1所述的装置，还包括有用于对第二组运动矢量进行滤波的装置。

3.根据权利要求2所述的装置，还包括有用于对第五组运动矢量进行滤波的装置。

Images