CN1328699C - 特征点选择方法和装置、运动向量估计和图像显示装置 - Google Patents

Abstract

一种图像中的特征点选择方法，该方法包括：确定(THR)在图像(VS)中时间差超过一个预定阈值的位置；并从时间差超过预定阈值的位置中选择(S)一些所选的位置(L)。

Description

特征点选择方法和装置、运动向量估计和图像显示装置

技术领域

本发明涉及特征点选择；使用这种特征点选择的运动向量估计；使用这种运动向量估计的图像信号处理，而且涉及使用这种图像信号处理的视频显示装置。

背景技术

基于目标的运动估计(OME)目的在于把视频序列分段为被称作目标的图像部分并向该序列中的每个目标指定一个运动模型，以描述该图像部分经历的运动和/或变形。计算给定图像部分的运动模型或者以给定运动模型把图像分段均是很简单的，但是，在OME中，目标及运动模型均未给出。因而，其目的就形成了鸡和蛋的问题。在参考文献中，已经提出了解决这个问题的各种选择方案[3，9，10，11]。在以前的出版物中，我们总结出：所提出的所有这些选择方案的计算均很复杂，而我们设计出了一种递归OME算法，它是如此有效以至于可以在DSP上实时运算[1，12]。

先前设计的这种OME算法通过下面的步骤实现高效率：即，以一种巧妙的递归方案解决鸡和蛋的问题；根据非常有限的图像数据量(图像的特征点)计算参数运动模型；使用一种简单的参数优化算法；并使用二次取样的视频信号把视频分段。

这种方法成功的关键在于特征点的智能选择。在本说明书中，我们将报道在选择特征点方面的进一步进展。具体来说，我们将描述一种新的特征点选择算法，在使用简单的优化技术时，该算法特别提高了运动模型参数估计函数的收敛。使用在参考文献中发现的其它可选的方法以及作为参考进行评价的我们以前使用的算法可以量化这种提高。

发明内容

本说明书按如下方式组织。在本序言之后，我们将在第2节中简述早先研究的递归OME算法。随后，在第3节中，我们把注意力集中在特征点选择方法上，我们将讨论以前的一些方法并介绍新概念。在第4节中，我们评价这些特征点选择算法，而在第5节中，我们得出我们的结论。

2.以前的工作

2.1运动模型

在我们以前关于OME的著作中，我们用唯一的标号0来标记一个目标。每个标号0与一个参数向量 ${\stackrel{\→}{p}}_o=(t_x,t_y,z_x,z_y)$ 相关联。这个参数向量描述了该目标的变换和缩放。在图像中的像素网格位置 $\stackrel{\→}{x}=\left(\frac{x}{y}\right)$ 处，一个目标0的参数向量与该目标的运动(或位移)向量 之间的关系是：

${\stackrel{\→}{D}}_o({\stackrel{\→}{P}}_o,\stackrel{\→}{x})=\left[\begin{array}{c}{t}_x+z_x(x-x_{\mathrm{zc}})\\ t_y+z_y(y-y_{\mathrm{zc}})\end{array}\right]---\left(1\right)$

式中

是缩放的中心。为了保证可以接受的复杂性，我们把目标数固定为5，这样不会明显地降低性能。

2.2运动分段

运动分段模块向图像中的每个块指定最佳匹配运动模型。因而，由此产生的分段屏蔽(mask)

通过求下面公式的最小值来构建：

${\mathrm{\ϵ}}_b({\stackrel{\→}{P}}_o,\stackrel{\→}{X},n)=\underset{\stackrel{\→}{x}\∈B\left(\stackrel{\→}{X}\right)}{\mathrm{\Σ}}|F\left(\stackrel{\→}{x}\right)-F(\stackrel{\→}{x}-{\stackrel{\→}{D}}_o({\stackrel{\→}{P}}_o,{\stackrel{\→}{x}}_o),n-1)|---\left(2\right)$

式中，n是亮度图像F的图像号，

是与目标0相关的参数向量，而 是块

的块网格上的位置。为了提高计算效率，在块 中，并不计算每个像素

的位移向量

，而只是计算在中心像素

的位置向量。应当指出，大写体

表示在块网格上的位置，而小写体

表示在像素网格上的位置。参考文献[2]中给出了运动分段的详细描述。

2.3参数估计

利用公式(3)求出在特征点的一个小集合FS当中的最小参数估计误差，参数估计模块将确定目标的运动模型的参数：

${\mathrm{\ϵ}}_p({\stackrel{\→}{P}}_o,n)=\underset{\stackrel{\→}{X}\∈\mathrm{FS}}{\mathrm{\Σ}}{W}_o\left(\stackrel{\→}{X}\right){\mathrm{\ϵ}}_b({\stackrel{\→}{P}}_o,\stackrel{\→}{X},n)---\left(3\right)$

式中的各个特征点使用 加权

如果在前面的迭代运算中，运动模型0被指定给具有低分段误差 ${\mathrm{\&epsiv;}}_b({\stackrel{\&RightArrow;}{P}}_o,\stackrel{\&RightArrow;}{X},n)<T_5$ 的块

，则 $W_o\left(\stackrel{\&RightArrow;}{X}\right)>1.$

如果在前面的迭代中，另一个运动模型被指定给具有低分段误差的块，则 $W_o\left(\stackrel{\&RightArrow;}{X}\right)<1.$

否则， $W_o\left(\stackrel{\&RightArrow;}{X}\right)=1$ ，即一个运动模型被指定具有高分段误差。

每个目标均有其自己的参数估计器，即PE_o，即，使用正交对数搜索估计目标参数向量。图1a所示为对数搜索过程。初始参数向量被更新，产生候选的参数向量集CPS_l(1)。从这个集合中选择最佳匹配候选参数向量，在这种情况下是

，它被代入参数估计器的下一个迭代中，即参数向量

被更新，由此产生候选参数向量集CPS_l(2)，并从这个集合中选择最佳匹配参数 并对其更新，如此类推。这些更新随着每一次迭代运算而越来越小。通过递归更新以前估计的参数向量

，每个参数估计器估计一个新目标参数向量。在此，n是图像号，o是目标，k表示参数估计器的递归。新的参数向量从若干候选参数向量 中选择，以作为具有最低参数估计误差

的参数向量。候选向量集CPS_o ⁿ(k)通过公式(4)构建，其中通过该向量集可以选择递归k中的最佳向量：

${\mathrm{CPS}}_o^n\left(k\right)=\left\{{\stackrel{\&RightArrow;}{\mathrm{CP}}}_o^n\left(k\right)\right|{\stackrel{\&RightArrow;}{\mathrm{CP}}}_o^n\left(k\right)={\stackrel{\&RightArrow;}{P}}_o^n(k-1)+m\stackrel{\&RightArrow;}{\mathrm{UP}}\left(k\right),\stackrel{\&RightArrow;}{\mathrm{UP}}\left(k\right)\&Element;{\mathrm{UPS}}_o,m=-\mathrm{1,0,1}\}---\left(4\right)$

式中

是通过前面递归获得的最佳匹配候选向量，即通过子集

和 ${\stackrel{\&RightArrow;}{p}}_o^n\left(0\right)={\stackrel{\&RightArrow;}{p}}_o^{n-1}\left(K\right)$ 获得的最佳匹配候选向量是通过前面的图像对获得的最佳匹配参数向量。更新向量

的长度随着递归数k的增加而减小。更新的集合UPS_o被定义为：

${\mathrm{UPS}}_o=\{\left(\begin{array}{c}i\\ 0\\ 0\\ 0\end{array}\right),\left(\begin{array}{c}0\\ i\\ 0\\ 0\end{array}\right),\left(\begin{array}{c}0\\ 0\\ 1\\ 0\end{array}\right),\left(\begin{array}{c}0\\ 0\\ 0\\ 1\end{array}\right)\},i=\mathrm{1,2,4,8}---\left(5\right)$

这种算法在误差不断减小的方向上盲目地跟随参数估计误差面。因此，它对局部最小值非常敏感。而且，如果在参数估计误差面中并没有从初始参数向量的位置到全局最小值的单调减小的路径的话，则该搜索获得全局最小值的概率非常小。显然，优化的参数估计误差面是随着最终得到全局最小值的宽“漏斗”而单调下降的。

2.4初始搜索

该参数估计模块可执行初始搜索来减小在局部最小值结束的风险。在初始搜索期间，10个参数向量被检验，其中的9个参数向量按照图1b的方式分布。在初始搜索期间，最佳匹配参数向量从这9个参数向量中选出，其中这9个参数向量是利用来自前面图像的最佳参数向量扩展的。这个参数向量被代入以用于对数搜索。在这个初始搜索期间，只考虑转换。9个参数向量的集合利用来自前面图像对的最佳参数向量扩展。这个参数向量是保证以前的估计成果被用到将来的估计中所必需的。在初始搜索期间被检验的参数向量集是：

${\mathrm{IPS}}_o^n=\{\left(\begin{array}{c}\&PlusMinus;C\\ \&PlusMinus;C\\ 0\\ 0\end{array}\right),\left(\begin{array}{c}\&PlusMinus;C\\ 0\\ 0\\ 0\end{array}\right),\left(\begin{array}{c}0\\ \&PlusMinus;C\\ 0\\ 0\end{array}\right),\left(\begin{array}{c}0\\ 0\\ 0\\ 0\end{array}\right),{{\stackrel{\&RightArrow;}{P}}_o}^{n-1}\left(K\right)\},C=10---\left(6\right)$

该初始搜索在这个参数向量集之间求出参数估计误差的最小值：

$I\stackrel{\&RightArrow;}{P}=\underset{{\mathrm{IPS}}_w^n}{\arg \min }\left\{{\mathrm{\&epsiv;}}_p({\stackrel{\&RightArrow;}{P}}_o,n)\right\}---\left(7\right)$

由此产生的参数向量随后被代入以用于对数搜索。

通过实验我们发现，参数估计模块的性能很大程度上取决于特征点集合FS的选择。在下一节中，我们将讨论一种选择这些特征点的新方法。

3.特征点选择

如图1所示，为了防止孔径问题[3]，以及由此产生的参数估计问题，特征点的集合应当至少在两个方向上具有边界。如图2a和2d所示，如果特征点的集合没有二维结构，则参数估计误差 没有唯一的最小值，并且不能确定该目标的实际运动。图2a表示一个灰色矩形图像目标，它具有一个拥有四个特征点的集合，这些特征点没有二维结构。图2b表示同样的灰色矩形图像目标，它具有另一个拥有四个特征点的集合，这些特征点具有二维结构。图2c表示在块内没有二维结构但整个集合具有二维结构的特征点。图2d、2e和2f表示分别随着对应于图2a、2b和2c中的特征点的变换参数而变化的参数估计误差。图2a表示随着 $\stackrel{\&RightArrow;}{D}=\left(\mathrm{5,5}\right)$ 而变换的灰色块垂直方向的边界上的四个特征点。图2d表示随着变换参数t_x和t_y而变化的参数估计误差。显然，这个误差面没有唯一的最小值，这是因为一些参数向量得出了相同的最小估计误差。这意味着不能正确地估计参数向量。图2b表示特征点本身包含二维结构的情况。由此产生的图2e所示的参数估计误差面在实际参数向量的位置上所示具有唯一的最小值。这样就可以进行精确的参数向量估计。在上述的参数估计法中，由于一些特征点被组合在一起，因此并不需要所有的特征点均包含二维结构。因此，只要该特征点的集合显示二维结构就够了。这在图2c和2f中示出。

3.1传统的特征点检测器

一些作者已经发表了关于二维特征的检测。在参考文献[4]中给出了关于此问题的概述。这篇文章所揭示的算法，如Moravec，Plessey或者SUSAN检测器[5，6，7]用在可编程设备上的实时OME中时通常计算会非常复杂。而且，这些检测器寻找特征点内的二维结构。在我们的方案中，我们感兴趣的是整个特征点集合内的二维结构，这样，限制就会少很多。Moravec兴趣(interest)运算器通常被写为：

$I_R(x,y)=\min \{\underset{x-{2\&le;x}^{\&prime;}\&le;x+2}{\mathrm{\&Sigma;}}\underset{y-2\&le;y^{\&prime;}\&le;y+2}{\mathrm{\&Sigma;}}{(I(x^{\&prime;},y^{\&prime;})-I(x^{\&prime;}+1,y^{\&prime;}))}^2,\underset{x-{2\&le;x}^{\&prime;}\&le;x+2}{\mathrm{\&Sigma;}}\underset{y-{2\&le;y}^{\&prime;}\&le;y+2}{\mathrm{\&Sigma;}}{(I(x^{\&prime;},y^{\&prime;})-I(x^{\&prime;},y^{\&prime;}+1))}^2---\left(8\right)$

$\underset{x-{2\&le;x}^{\&prime;}\&le;x+2}{\mathrm{\&Sigma;}}\underset{y-2\&le;y^{\&prime;}\&le;y+2}{\mathrm{\&Sigma;}}{(I(x^{\&prime;}+1,y^{\&prime;})-I(x^{\&prime;},y^{\&prime;}\text{+1}))}^2,\underset{x-{2\&le;x}^{\&prime;}\&le;x+2}{\mathrm{\&Sigma;}}\underset{y-{2\&le;y}^{\&prime;}\&le;y+2}{\mathrm{\&Sigma;}}{(I(x^{\&prime;},y^{\&prime;})-I(x^{\&prime;}+1,y^{\&prime;}+1))}^2\}$

SUSAN检测器更难以在一个公式中确定。SUSAN的原理在于确定其值与小图像区的中心像素相同的像素。这因此而被称作USAN(单值段同化核心)，它包含许多关于图像结构的信息。通过尺寸、矩心和第二力矩(second moments)，二维特征和边界可以被检测到。

为了确定特征点，这些检测器通常需要一些常见像素的运算。为了确定100个特征点，Moravec兴趣运算器需要大约1*10⁹个时钟周期。在我们实验中使用的DSP(Philips，TriMedia，市场上可以获得，如TM1100)允许每个图像为1*10⁷个时钟周期。利用某些算法优化以及代码优化，检测器所需的时钟周期数可以减少到约为原来的二十分之一，有些甚至可以更少。但是，即使时钟周期数减少两个数量级，在DSP上的实施方案也不可能用到实时视频应用中。

与上面已经提及的缺陷相比，这些特征点检测器的一个不太明显的缺陷是：当使用这些特征检测器所确定的特征点时，对公式3求最小值变成了一件困难的任务。我们参考图3来阐明这个问题。在图3a中，图像通过一个人为视频序列来显示，在这个序列中，图像内容以每帧5个像素的水平速度从左向右变换。图3b表示随着变换参数tx和t_y而变化的参数估计误差

。为了限制参数估计器的计算复杂性，只使用了100个特征点，它们是利用SUSAN角(corner)检测器检测的。从图3a我们可以看出，特征点被定位在表示非常陡的亮度变化的位置上。

由于特征点内的特征的陡度的原因，

的最小值非常有局限性，即误差面的三维图中的‘漏斗’非常窄。在很多时候，这正是你所希望的，如在跟踪各个特征点时。但就我们而言，我们只能用一种非常简单的算法(对数搜索)来搜索全局最小值。这种低复杂性的限制是由于实施了OME的可编程装置的限制所引起的。通过使用上面提到的对数搜索并通过使用随机初始参数向量的实验表明找到最小值的概率为0.3。在其它所有情况下，搜索算法结束于局部最小值。此概率对于进行精确的参数估计来说太低了。在第4节中将会更详细地阐述这些实验。

3.2有效的特征点检测的新方法

本发明的一个目的是提供和使用实时特征检测器。

附图说明

在附图中：

图1a，1b表示参数向量的对数搜索；

图2a-2f表示特征点选择；

图3a，3b表示利用已有技术的特征点检测器的问题；

图4a，4b表示利用最高SAD法的随着变换误差而变化的参数估计误差；

图5a，5b表示利用随机SAD法的随着变换误差而变化的参数估计误差；

图6a，6b表示不同特征点选择方法与特征点数之间的关系曲线；

图7a，7b表示不同特征点选择方法的噪声关系曲线；

图8表示不同特征点选择方法的根据特征点数而变化的运算数；以及

图9表示根据本发明的显示装置的实施例。

具体实施方式

为了使DSP上的OME获得实时特征检测器，我们可以使用通过运动分段模块的正常运算得到的信息。由于该信息用任意的方法都可以计算，因此，该特征点检测器本身不会有什么开销。在下面的两小节中，将进一步讨论其中的一些项目。

3.2.1.最高SAD法(HSAD)

如果我们定义一个固定物体，该物体盖住了图像中的静止区域，那么只需估计移动部分的运动模型即可。而且，如果我们取随后两帧的绝对差，则在其中这个差值高于某个噪声电平即 ${\mathrm{\&epsiv;}}_b({\stackrel{\&RightArrow;}{0}}_o,\stackrel{\&RightArrow;}{X},n)>T_R$ 的区域将会有运动，而且更重要的是，将会在运动的方向上具有结构[3]。为了获得特征点的小集合(集合之所以小是因为考虑到计算复杂性的问题)，剩余的任务是从这些区域中选择一个子集，即：

$\mathrm{FS}\&Subset;\left\{\stackrel{\&RightArrow;}{X}\right|{\mathrm{\&epsiv;}}_b(\stackrel{\&RightArrow;}{0},\stackrel{\&RightArrow;}{X},n)>T_n\}---\left(9\right)$

这种方法的优点在于选择特征点的附加成本几乎为零。由于零运动在视频序列中是普遍存在的，因此，我们选择把零速度目标增加到我们的OME中。此目标具有恒定的参数向量 ${\stackrel{\&RightArrow;}{P}}_o=\stackrel{\&RightArrow;}{0}$ ，并且涵盖了包含字幕和广播机构标识的静止图像部分。在运动分段期间，公式2求最小值，并因此计算所有块的

。选择特征点的实际成本根据选择子集的复杂性而定。

选择这种子集的一种方式是仅仅选取那些具有最高绝对差值之和，即 的N个区域。这种方法被用在了我们早先的OME著作中[1，12]。但是我们发现，如图4a所示，这种方法往往把特征点定位在与高对比边界相邻的单一区域中，而不是定位在边界本身上。这是可以理解的，因为把特征点定位在边界本身上仅仅会有一半的像素具有不同的亮度值，而把特征点定位在与边界相邻的区域将会使所有的像素具有不同的亮度值，因而会有较高的SAD。

图4b表示一个特定情况下的结果：参数估计误差ε_P随着变换参数t_x和t_y而变化。使用的是通过HSAD法选择的100个特征点。在此，参数估计误差面在正确的参数向量下并没有不同的最小值，在这种情况下， ${\stackrel{\&RightArrow;}{P}}_o=\left(\mathrm{10,0,0,0}\right)$ ，但误差面在区域t_x＜-10反而多少会平一些，这样将不可能进行正确的参数向量估计。尽管所提供的例子是一个极端的情况，但这种特性对性能的影响总是负面的。

3.2.2.随机SAD法(RSAD)

由于在前一小节中描述的问题，我们研究出了一种更好的方案，它是在帧差 高于一个特定阈值的所有块中进行N个块的随机选择时获得的。所选的阈值必须足够大以便能够去除所有静态和非纹理区域，但也要足够小以保证与高对比边界相邻的单色块也能被选择，即与前述算法中的情况一样。该阈值的实际值根据视频序列中的噪声电平而定。图5a表示使用RSAD法定位特征点的一个图像的细节，从图5a可以看出，这种方法不仅选择与高对比边界相邻的块，而且还选择移动的高对比边界。图5b表示随着变换参数t_x和t_y而变化的参数估计误差ε_P。100个特征点是用RSAD法来选择使用的。因此，对数搜索的结果是寻找最小值的概率为0，7。还需要指出，在后一种情况中的‘漏斗’远远大于在图3中的‘漏斗’，当不得不利用在第2.3小节中描述的计算有效算法寻找全局最小值时，这种情况是有益的。

4.实验

我们已经进行了一些实验来量化特征点检测器的性能。特征点检测器应当满足一些要求，以使它们可以应用到在可编程装置中实时运行的我们的软件OME中。

该特征点选择应当能够保证即使在使用少量特征点时也能进行精确的参数估计。这种要求的原因是由于小目标可能仅仅包含少量的特征点。因此，能够进行精确参数估计的最小特征点数是我们能够利用我们的OME处理物体的最小尺寸的尺度。

特征点选择应当产生一个特征集，该特征集能够在较小特征集的情况下使参数估计对普通噪声电平多少具有一些抗噪性。特征点的数目越少，噪声的影响越大。因此，抗噪能力也决定了我们的OME可以处理的目标的最小尺寸。

我们的特征点选择方法的计算应当是简单的。

实验的目标就是达到这三种情况。实验中使用了四个人为序列。在第一序列中，内容向右移动5个像素，在第二序列中，内容向右移动10个像素，在第三序列中，内容向下移动5个像素，在第四序列中，内容向下移动10个像素。我们已经构建了这些序列，即从每个序列中取出一个单个图像并将其在所述运动向量上变换以产生下一个图像。

4.1特征点数目的影响

正如在前面所述的，产生精确参数估计的最小特征点数是我们可以估计运动的目标的最小尺寸的量度。显然，我们希望这个最小值越小越好。图6a表示出成功的概率，即在1.3小节中描述的对数搜索产生正确参数向量的概率如何根据特征点的数目而定。所有四种特征点检测器(SUSAN、Moravec、HSAD、RSAD)均给出了成功概率，其中T＝200。图6a所示的结果是通过把一个特定特征点检测器的结果在所有序列当中平均而获得的。通过图6a我们可以看出，SUSAN角检测器和Moravec兴趣操作器的成功概率相当低，低到了难以进行充分的参数估计。这些不良结果的原因在第2.1段中已经进行了讨论。特征点的陡度使得参数估计误差面的“漏斗”非常窄。其结果是简单的对数搜索算法在大多数情况下不能确定最小值。

我们还可以看出：HSAD法得出了与SUSAN和Moravec检测器类似的结果。正如在第2.2.1小节中所解释的，这种情况的原因并不是因为特征点内的特征的陡度，而是因为特征点内缺少结构。这样产生的参数估计误差面显示出在一个大的区域中的每个位置都具有大约相同的误差，从而不可能进行精确的参数估计。RSAD法的成功概率比其它方法高出一倍。正如在图5a中所看到的，这种方法选择表示陡且窄的特征的块。在参数估计误差面中，窄特征的作用是增大“漏斗”，从而使对数搜索更易于在“漏斗”中下降到最小值。

RSAD法成功的概率比其它方法高出一倍，但我们仍然需要试验一些初始的参数向量，以在参数估计面中寻找全局最小值。总之，寻找正确参数向量的概率大概为95％则需要进行三次尝试。通过使用我们的DSP，OME可以对每个图像仅仅进行一次对数搜索。因此，它将取三个图像来寻找正确的向量。这个问题只有在景物变化或者景物有非常不规律的运动时才会发生。由于人的视觉系统在一个景物变化之后采用一对帧聚焦，因此这并不是一个特别严重的问题。在其它特征检测器的情况下，我们平均在8个帧之后获得正确的向量。

在特征点数变化的情况下，RSAD算法的稳定性是良好的。尽管该算法的性能随着特征点数的下降而下降，但其性能在下降到N＝30个特征点时是稳定的。

图6b表示RSAD法的性能如何根据特征点数及所使用的阈值而变化，即寻找正确运动向量的概率随着特征点数和RSAD法的阈值而变化。由于只有ε_b

高于阈值的块可以变成特征点，因此该阈值表示特征点内或者特征点的相邻点内的特征的陡度。有意思的是，性能会随着阈值的增加而下降。这就支持了我们关于特征陡度影响参数估计过程的看法。尽管一些应用从陡特征中获益，但我们的OME并不这样，因为它会受到只存在陡特征的特征点集的损害。

4.2噪声的影响

由于普通视频材料会受到噪声的影响，因此我们的OME应当能够在不同噪声电平下操作。这意味着在不同的噪声电平下，运动分段和参数估计模块均应当是稳定的。可以预计，较高的噪声电平将会负面影响参数估计的性能。在这一点上，特征点扮演了一个重要的角色。与较大数目的特征点相比，较小的特征点数目更易受到噪声的影响。问题在于噪声对参数估计性能影响到什么程度。一个实验被用来分析这个问题。四个人为测试序列被不同电平的高斯噪声所污染。这些序列被提供给了不同的特征点检测器，并且由此产生的特征点用在了参数估计中。使用不同测试序列的结果被平均并且这个结果(随着高斯噪声的标准偏差而变化的成功概率)在图7a中针对不同的特征点检测器SUSAN、Moravec、HSAD和RSAD而被示出。所使用的特征点数是100。显然，至少对于这种相当大数量的特征点来说，所有特征点检测器的性能都与噪声电平无太大关系。

噪声结合特征点数对参数估计性能的影响在图7b中示出，图7b示出了随着特征点数而变化的RSAD法的成功概率。图中示出了不同电平的高斯噪声的结果。可以看出，使用30或更多的特征点，其性能将变得与噪声电平无太大关系。我们已经看到，参数估计器的性能在30个特征点以下会下降。看来每个目标30个特征点是获得稳定参数估计的最小值。

4.3计算复杂性

在特征点检测器被有效地用到我们的OME中之前，其必须满足的最后一个但肯定不是最不重要的一个要求是其计算的复杂性。DSP的运算数非常有限。在150MHz下运行且每秒处理50个图像的TriMedia中，我们可以预定约7.5Mops。应当指出，TriMedia有5个发出时间段，为了简便起见，我们采用每次运算两个周期的等待时间。这样的许多运算将在运动分段和参数估计模块中使用，并且只有非常少的运算可被用于特征点检测。在我们的实验中使用的算法的分析在图8中示出，图8表示了在不同特征点选择方法中，随特征点数变化的特征点检测器所使用的运算数。通过简单地计算在给定算法中的加法、减法、乘法、推导(fetchs)和累积(stores)的数目，可以确定这些算法的计算复杂性。

图8表示其计算复杂性比DSP所提供的计算复杂性高两个数量级的Moravec和SUSAN检测器。HSAD和RSAD仅仅使用了DSP的一小部分(1*10^-3)资源。如果没有获得平台上的优化实施方案，那么比较计算复杂性总是有些不妥的。但是，由于不同算法之间的复杂性差别很大，因此我们可以很确定地说，Moravec和SUSAN检测器在我们看来太贵了。HSAD比RSAD贵一些，这是因为必须使用分类算法的缘故。

上面的说明讨论的是二次取样图像的帧差，这是因为我们基于目标的运动估计器处理二次取样的图像以降低存储带宽和计算复杂性。

这些帧在垂直和水平方向上被二次取样四次，这表明在正常帧的8*8个像素的块尺寸被减小为二次取样帧上的2*2个像素。

阈值Tn根据块尺寸和视频序列中的噪声电平而定。

当像素值可以从0运算到255时，下限值Tn＝20对应于块尺寸2*2个像素和普通噪声电平(即对于广播材料来说是正常的)。在这个最小值以下，特征被噪声掩盖的概率变得非常大。

在我们的算法中，我们使用Tn＝30。为了弄清最大阈值的概念：阈值Tn＝100时，运动估计器的性能变得非常差。通常的阈值范围是：

最小：20

优化：30

最大：100

特征点数根据估计其运动的目标的数目而选择。在我们的方案中使用的是4个目标。

每个目标我们需要10个特征点的最小值。这就抑制了噪声和选择方法的随意性的负面影响。

在我们的方案中，特征点的最大数目是由Philips TriMedia IC提供的资源所管理的。现在，特征点的最大数目为200个。通过实验我们可知，对于目前在TriMedia上的基于目标的运动估计器来说，100个特征点是一个相当优化的数目。特征点数的范围因而变成：

最小：30

优化：100

最大：200

图9表示根据本发明的显示装置的一个实施例。视频信号VS被提供给阈值电路THR以用于确定在图像(VS)中时间差超过一个预定阈值的位置。其结果被提供到选择电路S以用于选择从时间差超过预定阈值的位置当中所选的一些位置L。阈值电路THR和选择电路S一起形成特征点选择装置FPS。所选的位置L和视频信号VS被提供给运动参数估计器MPE，以用于通过在所选位置L求出运动参数估计误差的最小值来估计运动参数MP。运动向量发生器MVG通过运动参数MP产生运动向量MV。运动参数估计器MPE和运动参数发生器MVG一起形成参数运动估计器PME。特征点选择装置FPS和参数运动估计器PME一起形成运动向量估计装置。运动向量估计装置FPS，PME的输出提供给了运动补偿处理器MCP以用于根据运动向量MV处理视频信号VS。运动补偿处理器MCP可执行从50Hz输入信号到100Hz的转换，或者可以通过另外可选地两次或三次重复胶片图像而减少由24Hz胶片信号向50Hz视频信号转换时所产生的胶片转换抖动。运动向量估计装置FPS，PME和运动补偿处理器MCP一起形成运动补偿处理装置FPS，PME，MCP。显示装置D显示运动补偿处理装置FPS，PME，MCP的输出信号。

5.结论

最近，我们发表了关于在数字信号处理器(DSP)上能够进行标准清晰度视频的基于目标的实时运动估计(OME)的递归算法[1，2，12]。该算法利用参数运动模型近似估计图像中的目标运动，并通过逐块把最佳匹配模型指定给图像部分而产生分段屏蔽。参数估计模块确定关于所谓特征点的一小部分图像数据的运动模型参数。在本说明书中，我们提供了一种计算非常有效的特征点选择的新方法，它能够提高运动参数估计过程的收敛，特别是在可编程装置上的基于目标的运动估计的特征点选择。这种方法从帧差大于一个特定阈值Tn的一组块中随机选择N个块。这些特征点被用于实时OME的参数估计器中。因此，特征点的质量是在本应用领域中测量的。该方法与其它三种方法进行了比较。两种特征检测器从文献中可知，即SUSAN角检测器和Moravec兴趣操作器，以及一种检测器则是选择具有最高帧差的N个块，这在有关OME的已有公开出版物中被使用。可以知道，新的特征点选择算法获得了更好的性能，并且具有较低的计算复杂性。本发明的关键词是基于目标的运动估计、运动分段、参数估计和特征点。

应当指出，上述实施例并不限制本发明，本领域普通技术人员可以在不背离所附权利要求范围的情况下设计出许多另外的实施例。场差也可以取代帧差来使用。图像可以是隔行扫描或者是逐行扫描。尽管在上述优选实施例中是从初始数为3000个特征点中随机选择约100个特征点，但任何其它的选择‘强’或‘弱’特征的选择方法也是可以的。例如，在从3000个初始特征点中选择100个特征点的最终列表中，仅仅选择每第30个特征点也是既可以产生“强”特征又可以产生“弱”特征的。

单词“包含”并不排除在权利要求中未列出的其它元件或步骤。在每个元件前的单词‘a’或‘an’并不排除有多个这种元件。本发明可通过包含几个不同元件的硬件并通过适当编程的计算机来执行。在列举出几个装置的装置权利要求中，这样的几个装置可以由硬件中的同一项来体现。某些措施是在相互不同的从属权利要求中引述的这种仅有的情况并不表示这些措施的组合不能被有效地利用。

参考文献

[1]R.B.Wittebrood and G.de Haan.“Second generation video format conversionsoftware for a digital signal processor”，IEEE Transactions on Consumer Electronics，46(3)，pp. 857-865，Aug.2000.

[2]R.B. Wittebrood and G.de Haan.“Real-time recursive motion segmentation ofvideo data on a programmable device”，August issue of IEEE Transaction on ConsumerElectronics，47(3)，pp.559-567，Aug.2001.

[3]A.M.Tekalp.Digital Video Processing.Prentice Hall，1995.ISBN 0-13-190075-7.

[4]S.M.Smith.Reviews of Optic flow，Motion segmentation，Edge finding andCorner finding，Technical Report TR97SMS1，Oxford University，UK，1997.

[5]S.M.Smith and J.M.Brady.SUSAN-A new approach to low level imageprocessing，Technical Report TR95SMS1c，Oxford University，UK，1995

[6]C.G.Harris and M.Stephens.“A combined corner and edge detector”，4-thAlvey Vision Conference，pp. 147-151，1988.

[7]H.P.Moravec.“Towards automatic visual obstacle avoidance”，Proceedings ofthe 1994 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，pp.768-772.

[8]G.de Haan，P.Biezen，H.Huigen and O.Ojo，Graceful degradation in motion-compensated field rate conversion，′Proc.of the International workshop on HDTV 1993，Ottawa，Canada，pp.249-256.

[9]C.Stiller.“Object-based estimation of dense motion fields.”，IEEETransactions on Image Processing，6(2)，pp.234-250，Feb.1997.

[10]N.Diehl.“Object-oriented motion estimation and segmentation in imagesequences.”，Signal Processing：Image Communications，3(1)，pp.23-56，Feb.1991.

[11]A.Amer and E.Dubois.“Segmentation-based motion estimation for videoprocessing using object-based detection of motion types.In Proceedings of the SPIE(VCIP)，pp.1475-1486，Jan.1999.

[12]R.B.Wittebrood and G.de Haan.“Second generation DSP software for picturerate conversion”，In Proceedings of the ICCE，pp.230-231，June 13，2000.

Claims (9)

1.一种在图像(VS)中的特征点选择方法，该方法包括：

确定在图像(VS)中时间差超过一个预定阈值的位置；以及从时间差超过预定阈值的位置中选择(S)一些所选的位置(L)。

2.如权利要求1所述的方法，其中在像素值从0运行到255时，该预定阈值在20到100之间。

3.如权利要求2所述的方法，其中该预定阈值选为30。

4.如权利要求1所述的方法，其中所选位置的数目在30到200之间。

5.如权利要求4所述的方法，其中所选位置的数目选为100。

6.一种在图像(VS)中的特征点选择装置(FPS)，该特征点选择装置包括：

装置，用于确定在图像(VS)中时间差超过一个预定阈值的位置；以及

装置(S)，用于从时间差超过预定阈值的位置中选择一些所选的位置(L)。

7.一种用于估计图像中的运动向量的装置(FPS，PME)，该运动向量估计装置包括：

如权利要求6所述的特征点选择装置(FPS)

装置(MPE)，用于通过在所选位置(L)求出运动参数估计误差的最小值来估计运动参数(MP)；以及

装置(MVG)，用于通过运动参数(MP)产生运动向量(MV)。

8.一种运动补偿处理装置(FPS，PME，MCP)，包括：

如权利要求7所述的运动向量估计装置(FPS，PME)；以及装置(MCP)，用于根据运动向量(MV)处理图像信号(VS)。

9.一种图像显示装置，包括：

如权利要求8所述的运动补偿处理装置(FPS，PME，MCP)；以及显示装置(D)，用于显示运动补偿处理装置(FPS，PME，MCP)的输出信号。

Images