CN1098596C

CN1098596C - 确定特征点的方法与设备

Info

Publication number: CN1098596C
Application number: CN95105460A
Authority: CN
Inventors: 李敏燮
Original assignee: Daewoo Electronics Co Ltd
Current assignee: Fengye Vision Technology Co., Ltd.
Priority date: 1995-03-20
Filing date: 1995-05-12
Publication date: 2003-01-08
Anticipated expiration: 2015-05-12
Also published as: EP0733996A3; EP0733996B1; CN1134077A; US5694487A; DE69534399D1; KR0171147B1; KR960036703A; JP3621152B2; EP0733996A2; JPH08265745A; DE69534399T2

Abstract

一种用于确定特征点的视频信号处理器设备，包括：为视频帧中每个象素提供方向梯度和梯度值的装置(100)；通过用梯度值除方向梯度将方向梯度归一化的装置(300)；根据每个像素的梯度值为每个象素产生具有该梯度值的第一边缘图的装置；为每个象素产生具有归一化方向梯度的第二边缘图的装置(200)；产生多个栅格点的装置(600)；把第一边缘图划分成许多相同尺寸的第一处理块的装置(500)；为包含在第一处理块的各块中的象素提供(N+1)×(N+1)个第二处理块的装置(400)；为包含在第一处理块中的每一块中的每一个象素获取离散度的装置(800)；为第一处理块中的每一块选择最大P个象素的装置(900)；在选取的最大象素中确定具有最大梯度值的象素作为每一块的特征点的装置(1000)。

Description

确定特征点的方法与设备

发明领域

该项发明关于确定特征点的方法与设备；更确切地说是根据象素的亮度梯度和离散度确定特征点的方法与设备。

背景技术

众所周知，数字化的视频信号传输比模拟信号传输能获得更高质量的视频图象。当由图象的“帧”序列构成的图象信号用数字形式表示时会产成大量的数据需要传输，特别在高清晰度电视系统情况下更是如此。但是。由于常规传输通道的可用频带宽度是有限的，为把大量的数字数据传输出去，难免要压缩或减少传输数据的数量。在各种不同视频压缩技术中，有一种用统计编码技术把时间和空间压缩技术结合在一起的混合编码技术最为有效。

多数混合编码技术使用一种运动补偿的DPCM(差分脉冲编码调制)方法，这是一种估算物体在当前帧与其前面的帧之间运动，并且根据目标的运动流预测当前帧以生成一个表示当前帧与其预测帧之间差的差分信号的过程。这个方法在IEEE Transactions oncommunications杂志COM-33，NO.12(December 1985)期中StaffanEricsson的文章“用于混合预测/变换编码的固定的和自适应预测器”中有所描述。在IEEE Transactions on communications，COM-30，NO.1(January 1982)期上Ninomiya和Ohsuka的文章“电视画面的运动补偿帧间编码方案”中也有所描述。

在运动补偿DPCM方法中，当前帧数据是根据当前帧与前面的若干帧之间运动的估算由对应的前一帧数据预测出来的。此估算的运动可以用代表象素在前一帧与当前帧之间位移的二维运动矢量来描述。

有两种估算目标的象素位移的基本方法：一种是逐块地估算法，另一种是逐个象素地趋近法。

在逐块地运动测算法中，将当前帧中的一块与前一帧中的一块进行比较，直至确定出最佳的匹配。由此就能为正在传输的当前帧估算出一个整个块的帧间位移矢量(表示该象素所组成的块在帧与帧间移动了多少)。但是，在逐块地估算中，如果块中所有象素不按相同的方式运动，可能得到很差的估算结果，从而降低整体画面的质量。

另一方面，使用逐个象素趋近方法，要为每一个象素确定一个位移量。这种技术能够较精确的估算象素值。并且具有容易地处理标度改变(例如变焦、与图象平面垂直的运动)的能力。但是，逐个象素趋近方法中，由于要为每一个象素确定一个运动矢量，事实上不可能把所有的运动矢量都传输给接收机。

用于改善由逐个象素趋近方法带来的大量多余传输数据处理问题而引入的技术之一是基于特征点的运动估算法。在基于特征点的运动估算法中，一组选择出来的象素，也就是特征点，在发送端的编码器和接收机端的解码器中以相同的方式被确定，而且特征点的运动矢量被传输到接收机的不承载那些特征点的位置数据，其中特征点被定义为能代表视频信号中目标的运动的当前帧或前一帧内的象素，以致接收机中当前帧上所有象素的运动矢量能够用特征点的运动矢量恢复出来或近似出来。在一份公开了的未决共有申请U.S.No.08/367,520，题为“用逐个象素运动估算对视频信号进行编码的方法和设备”的文件中公开了一种采用基于特征点的运动估算方法的编码器，首先从前一帧中包含的所有象素中选择取一些特征点，然后确定所被选取的特征点的运动矢量，其中每个运动矢量代表前一帧中一个特征点与相应匹配点即当前帧中最相似的象素之间的空间位移。确定地说，每个特征点的匹配点是在当前帧内的一个搜索区内被搜索到的，其中该搜索区规定为一个围绕相应特征点位置的预先确定的区域。在基于特征点的运动估算技术中，由于当前帧是由前一帧根据一组特征点的运动矢量预测出来的，选择能够正确的表示目标运动的特征点尤为重要。

在采用基于特征点的运动估算编码器和解码器中。一般用栅格技术或边缘检测技术与栅格技术相结合来选取特征点。

在使用各种型式的栅格，例如，矩形栅或六角边形栅的栅格技术中，结点，即栅格的栅格点被规定为特征点，而在边缘检测技术与栅格技术的结合中栅格的交叉点及目标的边缘被选作特征点。然而，栅格点或交叉点并不总能正确的表示目标的运动，从而导致差的目标运动测算。

发明内容

因此，该项发明的主要目的是提供一种通过利用象素亮度梯度和目标边缘的象素的离散度确定特征点的改进的方法和设备。

按照本发明一个方面，提供了一个用于采用基于运动补偿技术的特征点的视频信号处理器的设备，该设备用于确定特征点，所述特征点是能代表视频帧中各目标运动的象素，它包括：

为视频帧中每个象素提供方向梯度和梯度值的装置；

通过用梯度值除方向梯度将方向梯度归一化的装置；

根据每个像素的梯度值为每个象素产生具有该梯度值的第一边缘图的装置，其中该第一边缘图包括多个边缘点以及多个非边缘点，每个边缘点都具有一个梯度值，而每个非边缘点具有零值；

为每个象素产生具有归一化方向梯度的第二边缘图的装置；

产生多个栅格点的装置；

把第一边缘图划分成许多相同尺寸的第一处理块的装置，其中块和块之间不互相重叠，而且该第一处理块中的每一块包含对应于其中象素的(N+1)×(N+1)个梯度值并在其中心处具有一个栅格点，其中N是偶数；

为包含在第一处理块的各块中的象素提供(N+1)×(N+1)个第二处理块的装置(400)，对于来自第二边缘图的(2M+1)×(2M+1)个像素，第二处理块中的每一块具有归一化的方向梯度，其中第二处理块中的每一块包括包含在第一处理块内中心处的每个像素，M是奇数；

根据为第二处理块中的每一块所提供的归一化方向梯度，为包含在第一处理块中的每一块中的每一个象素获取离散度的装置；

为第一处理块中的每一块选择最大P个象素的装置，选择是按照其中的离散度的顺序，从离散度最大的一个开始选取，P是一个预设的大于1的数，以便如果第一处理块的每一块中包含有P个或更多的具有非零梯度值的象素时，就按离散度递减的顺序选用P个象素，如果具有非零梯度值的象素少于P个，所有这些象素都被选用，而且如果第一处理块的每一块中的所有象素都具有零梯度值，就没有象素被选中；以及

在选取的最大象素中确定具有最大梯度值的象素作为每一块的特征点的装置。

按照本发明的另一方面，提供了一种用于采用基于运动补偿技术的特征点的视频信号处理器的方法，用来确定特征点，所述特征点是指在视频帧中能表示目标运动的象素，该方法包括：

(a)为视频帧中每个象素提供方向梯度和梯度值；

(b)通过用梯度值除方向梯度将方向梯度归一化；

(c)根据每个像素的梯度值为每个象素产生具有该梯度值的第一边缘图，其中该第一边缘图包括多个边缘点以及多个非边缘点，每个边缘点都具有一个梯度值，而每个非边缘点具有零值，；

(d)为每个象素产生具有归一化方向梯度的第二边缘图；

(e)产生多个栅格点；

(f)把第一边缘图划分成许多相同尺寸的第一处理块，其中块和块之间不互相重叠，而且该第一处理块中的每一块包含对应于其中象素的(N+1)×(N+1)个梯度值并在其中心处具有一个栅格点，其中N是偶数；

(g)为包含在第一处理块的各块中的象素提供(N+1)×(N+1)个第二处理块，对于来自第二边缘图的(2M+1)×(2M+1)个像素，第二处理块中的每一块具有归一化的方向梯度，其中第二处理块中的每一块包括包含在第一处理块内中心处的每个像素，M是奇数；

(h)根据为第二处理块中的每一块所提供的归一化方向梯度，为包含在第一处理块中的每一块中的每一个象素获取离散度；

(i)为第一处理块中的每一块选择最大P个象素，选择是按照其中的离散度的顺序，从离散度最大的一个开始选取，P是一个预设的大于1的数，以便如果第一处理块的每一块中包含有P个或更多的具有非零梯度值的象素时，就按离散度递减的顺序选用P个象素，如果具有非零梯度值的象素少于P个，所有这些象素都被选用，以及如果第一处理块的每一块中的所有象素都具有零梯度值，就没有象素被选中；以及

(j)在选取的最大象素中确定具有最大梯度值的象素作为每一块的特征点。

附图说明

从下面结合给出的附图对优选实施例的说明中可以更明显的看出该项发明的上述目的、其他目的和特点。

图1画出了用于确定特征点的本发明的设备的方框图；

图2A和2B表示横向及纵向索贝尔(Sobel)算子；

图3表示用矩形栅格产生的示例的栅格点；

图4给出说明用于本项发明的特征点确定方案的示意图。

具体实施方式

参看图1，它描述了一个根据该项发明确定特征点的设备，该设备用于采用一种基于运动补偿技术的编码器和解码器中，其中所述特征点被定义为能够在视频信号中表示目标运动的象素。某视频帧的数字视频信号，例如某个前一帧或当前帧被输送到一个梯度计算块100。

在梯度计算块100上，视频帧中所有的象素的象素亮度梯度被用梯度算子计算出来，例如，使用索贝尔(Sobel)算子。索贝尔算子计算横向的和纵向的局部和增量，而且具有合乎需要的为相同数值的地方产生零值的特性。图2A和2B中，一个横向索贝尔算子Sobel^(X)和一个纵向索贝尔算子Sobel^(Y)被作为典型例子画出，每个框起来的参数代表其最初的位置。横向和纵向索贝尔算子在两个互相垂直的方向上测量某图象I(x，y)的梯度。位于象素位置(x，y)点的象素的方向梯度，也就是横向和纵向梯度Gx(x，y)和Gy(x，y)定义为：

G_{x} (x, y) = \frac{1}{4} Σ_{i = - 1}^{1} Σ_{j = - 1}^{1} I {(x + i, y + j)}^{*} h^{(x)} (i, j)

(式1)

G_{y} (x, y) = \frac{1}{4} Σ_{i = - 1}^{1} Σ_{j = - 1}^{1} I {(x + i, y + j)}^{*} h^{(y)} (i, j)

其中h^(x)(i，j)和h^(y)(i，j)分别为横向和纵向索贝尔算子在(i，j)位置上的索贝尔系数。

于是，在(x，y)位置上的象素的梯度值g(x，y)由下式给出

g (x, y) = \sqrt{G_{x} {(x, y)}^{2} + G_{y} {(x, y)}^{2}}

或 (式2)

g(x，y)＝|G_x(x，y)|+|G_y(x，y)|

梯度幅值g(x，y)被加到一个边缘检测块200上，用以检测目标边界上的边缘点，而方向梯度Gx(x，y)和Gy(x，y)被加到一个归一化块300上去进行归一化。

边缘检测块200通过将每个象素的梯度值同预先设定的阈值TH进行比较而检测出视频帧中的边缘点。就是说，如果象素位置(x，y)的g(x，y)超过TH，此点即为边缘点。

典型地，可以用g(x，y)的累积直方图选择预设的阈值TH，以致5％到10％的有最大梯度值的象素被确定为边缘点。检测出的边缘点的位置构成一个第一边缘图E(x，y)，它被定义为：

(式3)

就是说，边缘图是对各边缘点赋予梯度值并对各非边缘点赋零所形成的。边缘图为追踪图象中目标的边界提供了边界信息，其中边界信息包括视频帧中象素的位置数据及各象素位置上对应的梯度值。由边缘检测块200产生的边界信息被输送到一个帧存贮器块500并作为第一边缘图存贮于其中。

在归一化块300上，由梯度计算块100提供的方向梯度Gx(x，y)和Gy(x，y)按下式被归一化：(式4)

其中Ux(x，y)和Uy(x，y)表示位于象素位置(x，y)的各梯度Gx(x，y)和Gy(x，y)的归一化的横向和纵向梯度。象素的位置数据及对应于各象素位置的Ux(x，y)和Uy(x，y)被提供给帧存储器400并作为第二边缘图存储在其中。

同时，一个栅格点发生器600为地址发生器700提供大量栅格点。栅格点即为象素的位置，例如A至F点，位于栅格的结点，这种栅格可以是如图3中用虚线画出的矩形栅格，其中每一栅格点有除其横向和纵向上相邻的栅格点之外的N个象素，N是一个偶数。地址发生器700为每个栅格点产生一组第一地址数据，它代表(N+1)×(N+1)(例如9×9)个象素位置并构成第一处理块，第一处理块中有处于中心位置的栅格点；地址发生器还产生(N+1)×(N+1)组第二地址数据，每组第二地址数据代表(2M+1)×(2M+1)例如11×11个象素的位置，(M是奇数)，构成第二处理块，第二处理块中包括包含在中心位置的第一处理块中的(N+1)×(N+1)个象素的每一个象素。每个栅点的一组第一地址数据和若干组第二地址数据分别被输送到帧存储器500和400。

响应由地址发生器700来的每一栅格点的第一地址数据，对应于第一处理块的第一边缘图数据被从帧存储器500中取出并提供给离散度计算块800，其中第一边缘图数据代表包含在第一处理块中的(N+1)×(N+1)个象素的位置数据和对应各象素位置的梯度值。同时，响应由地址发生器700来的每一组第二地址数据，对应于(N+1)×(N+1)个第二处理块中第一块的第二边缘图数据被从帧存储器400中取出并输送到离散度计算块800，其中第二边缘图数据代表包含在第二处理块中的(2M+1)×(2M+1)个象素的位置数据及对应那些象素位置上的归一化方向梯度值。

在离散度计算块800上，包含在(N+1)×(N+1)个第二处理块的每块中的归一化方向梯度离散度被计算出来并且置为中心象素的离散度。正如所知。离散度是样本偏离其平均值的度量，这就意味着离散度越大梯度分布率也就越大，就是说围绕中心象素的边界布局也就越复杂。

那么在(x，y)位置上的离散度Var(x，y)可以定义为：

var (x, y) = \frac{1}{{(2 M + 1)}^{2}} Σ_{i = - M}^{M} Σ_{j = - M}^{M} [{(U_{x} (x + i, y + j) - \overset{&OverBar;}{Ux} (x, y))}^{2} + U_{y} {(x + i, y + j) - \overset{&OverBar;}{Uy} (x, y))}^{2}]

其中Vx(x+i，y+i)是在中心的象素位置(x，y)的第二处理块中象素位置上的归一化横向和纵向梯度。

Ux(x，y)和Uy(x，y)是包含在第二处理块中的归一化横向和纵向梯度平均值，它可以定义为：

{\overset{&OverBar;}{U}}_{x} (x, y) = \frac{1}{{(2 M + 1)}^{2}} Σ_{i = - M}^{M} Σ_{j = - M}^{M} U_{x} (x + i, y + j)

{\overset{&OverBar;}{U}}_{y} (x, y) = \frac{1}{{(2 M + 1)}^{2}} Σ_{i = - M}^{M} Σ_{j = - M}^{M} U_{y} (x + i, y + j)

此后，离散度计算块800向第一选择器900提供每个第一处理块的第三边缘图数据，其中第三边缘图数据包括第一处理块中(N+1)×(N+1)个象素的位置数据以及包含在第一处理块中的对应各象素位置的梯度值和计算的离散度值Var(x，Y)。

第一选择器900从最大一个开始按离散度大小顺序选取最大P个(例如5)象素，其中P是一个预设的大于1的数。具体地说，如果第一处理块中包含具有非零梯度值的P个或更多象素，就按离散度递减的顺序选出P个象素；如果非零值的象素少于P个，则选用所有的象素；如果第一处理块中所有的象素的梯度值都是零，则没有象素被选用。

参看图4，它给出说明在该项发明中确定特征点的方案的示意图。假定一个目标在两个视频帧之间的位移是MV并在图标的边界上选了两个特征点FP1和FP2。通常，使用块匹配算法确定特征点的运动矢量。就是说，一个中心位置有特征点的由5×5个象素组成的搜索块的运动矢量是用常规的块匹配算法确定的，而且搜索块的运动矢量被指定为特征点的运动矢量。在这种情况下，因为特征点PF1处于目标的边界上相当复杂的部分，特征点FP1的匹配点能唯一地被确定在有效的匹配点PF1’。另一方面，特征点PF2周围的边界布局相对简单，以至于特征点PF2的匹配点可以在一个近似的边界布局上选定一个点，例如FP2’、FP2”或FP2。因此，具有较大梯度离散度的特征点FP1的运动矢量能比具有较小离散度的特征点PF2有更多的机会反映目标的真实运动。

随后，第一选择器900为第二选择器1000提供第四边缘图数据，第四边缘图数据包括选用的象素的位置数据及对应每个选用的最大p象素的梯度值。

第二选择器1000比较由第一选择器900提供的第四边缘图数据中的梯度值并选择一个具有最大梯度值的象素，将其设定为选定的特征点。由第二选择器1000输出的是所选特征点的位置数据。

根据该项发明，针对包含一个或多个具有非零梯度值的象素的每个块，从该块内具有最大离散度的像素中选择具有最大梯度值的象素作为该块的特征点。结果，每个特征点都被确定在有复杂轮廓目标的边界的部分上，这是有助于特征点运动矢量的较好估算。

虽然该项发明的优选实施例是参照在中心位置有栅格点的(N+1)×(N+1)个象素的第一处理块加以说明的，但对熟悉该领域技术的人，很显然只要构成视频帧的是一组第一处理块，第一处理块可以做成有N₁×N₂个象素，N₁和N₂是正整数。

尽管该项发明是参照一个特定的实施例加以说明和描述的，但对于熟悉该领域技术的人员而言，很显然在不违背所附权利要求中规定的该发明的精神和范围的情况下，可以做出很多变动和修改。

Claims

1、一种用于采用基于运动补偿技术的特征点的视频信号处理器的设备，用来确定特征点，所述特征点是指在视频帧中能表示目标运动的象素，该设备包括：

梯度计算块(100)，用于为视频帧中每个象素提供方向梯度和梯度值；

边缘检测块(200)，用于从计算块(100)接收梯度值并通过将梯度值分配给各边缘点以及“零”分配给非边缘点而产生第一边缘图；

归一化块(300)，从计算块(100)接收方向梯度和梯度值，通过用梯度值除方向梯度将方向梯度归一化，以及为每个像素提供具有归一化的方向梯度和像素位置数据的第二边缘图；

栅格点发生器(600)，用于产生多个栅格点；

地址发生器(700)，为来自栅格点发生器(600)的每个栅格点产生一组第一地址数据，其中这些数据代表构成第一处理块的(N+1)×(N+1)个像素的位置，该第一处理块在其中心处具有栅格点；以及用于产生(N+1)×(N+1)组第二地址数据，每一组的第二地址数据代表构成第二处理块的(2M+1)×(2M+1)个像素的位置，其中M是奇数；

帧存储器(500)，用于存储来自边缘检测块(200)的第一边缘图，并响应来自地址发生器(700)的每个栅格点的第一地址数据输出该第一边缘图；

帧存储器(400)，用于存储来自归一化块(300)的第二边缘图，并响应来自地址发生器(700)的每组第二地址数据而输出第二边缘图；

离散度计算块(800)，用于根据来自第一与第二帧存储器的第一与第二边缘图数据，计算包含在(N+1)×(N+1)个第二处理块中的每一块内的归一化方向梯度的离散度，并将所计算的离散度设置为其中心处的像素离散度；以及用于为每个第一处理块输出第三边缘图数据，其中该第三边缘图数据包括在第一处理块内的(N+1)×(N+1)个像素的位置数据以及梯度值和离散度；

第一选择器(900)，用于从离散度计算块(800)接收第三边缘图并为第一处理块中的每一块选择最大P个象素，选择是按照其中的离散度的顺序，从离散度最大的一个开始选取，P是一个预设的大于1的数，以便如果第一处理块的每一块中包含有P个或更多的具有非零梯度值的象素时，就按离散度递减的顺序选用P个象素，如果具有非零梯度值的象素少于P个，所有这些象素都被选用，以及如果第一处理块的每一块中的所有象素都具有零梯度值，就没有象素被选中；以及用于提供包含所选像素的位置数据和对应所选最大P个像素中每一个的梯度值的第四边缘图；以及

第二选择器(1000)，用于比较第四边缘图中的梯度值并在选取的最大象素中确定具有最大梯度值的象素作为每一块的特征点。

2、一种用于采用基于运动补偿技术的特征点的视频信号处理器的方法，用来确定特征点，所述特征点是指在视频帧中能表示目标运动的象素，该方法包括：

(a)为视频帧中每个象素提供方向梯度和梯度值；

(b)通过将梯度值分配给各边缘点以及“零”分配给非边缘点而产生第一边缘图；

(c)通过用梯度值除方向梯度将方向梯度归一化，以及为每个像素提供具有归一化的方向梯度和像素位置数据的第二边缘图；

(d)产生多个栅格点；

(e)为每个栅格点产生一组第一地址数据，其中这些数据代表构成第一处理块的(N+1)×(N+1)个像素，该第一处理块在其中心处具有栅格点；以及产生(N+1)×(N+1)组第二地址数据，每一组的第二地址数据代表构成第二处理块的(2M+1)×(2M+1)个像素的位置，其中M是奇数；

(f)响应每个栅格点的第一地址数据和第二地址数据，计算包含在(N+1)×(N+1)个第二处理块中的每一块内的归一化方向梯度的离散度，并将所计算的离散度设置为其中心处的像素离散度；以及为每个第一处理块输出第三边缘图数据，其中该第三边缘图数据包括在第一处理块内的(N+1)×(N+1)个像素的位置数据以及梯度值和离散度；

(g)为第一处理块中的每一块选择最大P个象素，选择是按照其中的离散度的顺序，从离散度最大的一个开始选取，P是一个预设的大于1的数，以便如果第一处理块的每一块中包含有P个或更多的具有非零梯度值的象素时，就按离散度递减的顺序选用P个象素，如果具有非零梯度值的象素少于P个，所有这些象素都被选用，以及如果第一处理块的每一块中的所有象素都具有零梯度值，就没有象素被选中；以及提供包含所选像素的位置数据和对应所选最大P个像素中每一个的梯度值的第四边缘图；以及

(h)比较第四边缘图中的梯度值并在选取的最大象素中确定具有最大梯度值的象素作为每一块的特征点。