CN102222341B - 运动特征点检测方法及装置、运动目标检测方法及装置 - Google Patents

Abstract

本发明的运动特征点检测方法，包括：将某一帧图像作为初始图像，从该初始图像中检测出初始特征点；在其它图像中跟踪检测初始特征点的跟踪点，按图像序列的顺序连接初始图像中的初始特征点的位置以及其它图像中的初始特征点的跟踪点的位置，从而形成初始特征点跟踪轨迹；根据摄像机内参数以及摄像机运动参数，计算出初始特征点在各其它图像中所应在的参照点，按图像序列的顺序连接初始图像中的初始特征点的位置以及初始特征点在其它图像中所应在的参照点的位置，从而形成初始特征点参照轨迹；以及比较初始特征点参照轨迹和初始特征点跟踪轨迹，当初始特征点参照轨迹和初始特征点跟踪轨迹的相似度小于预定值时，将该初始特征点判断为运动特征点。

Description

运动特征点检测方法及装置、运动目标检测方法及装置

技术领域

本发明涉及一种从不少于三帧的多帧序列图像中检测出运动特征点以及运动目标的运动特征点检测方法及装置、运动目标检测方法及装置。

背景技术

作为对运动目标进行检测的现有技术，有公开号为CN101290682A、CN101266689A、CN101561932A等的中国专利公开文献中所公开的技术。

在公开号为CN101290682A(申请号：200810115591.1)的中国专利公开文献中所公开的运动目标检测方法，包括如下步骤：将当前输入图像投影到背景模型上，得到所述当前输入图像的特征图像；将所述特征图像反投影到所述背景模型上，得到所述当前输入图像的重建图像；通过比较所述当前输入图像和所述重建图像，确定所述当前输入图像上的运动目标图像。如上所述，在通过这种运动目标检测方法进行检测时，由于包括建立背景模型、特征图像的提取、重建图像、输入图像和重建图像的比较等等步骤，所以其运算量非常大。

在中国专利公开文献CN101266689A(申请号：200810104665.1)中所公开的运动目标检测方法，包括如下步骤：利用当前输入图像的前若干帧图像中的像素点的像素值，计算当前输入图像的像素点的概率密度值来建立背景模型；将当前输入图像的像素点的概率密度值与预先设定的阈值进行比较，确定当前输入图像上的运动目标图像，作为前景。在该运动目标检测方法中，也是通过计算出整幅图像的各个像素点的概率密度值来建立背景模型，并将当前输入图像的各个像素点与所述的概率密度值进行比较，因此其运算量也非常大。

在中国专利公开文献CN101561932A(申请号：200910084007.5)中所公开的动态复杂背景下的实时运动目标检测方法，包括如下步骤：从视频中获取帧图像，确定当前帧图像中颜色的协方差，并获得所述帧图像的灰度图像；获得所述灰度图像中像素点的灰度值和梯度值，根据得到的所述像素点的灰度值、梯度值和预定参数确定像素点值，判断所述像素点值是否小于前一帧图像中确定的颜色的协方差的预定倍数，若是，则所述像素点为背景点，若否，则所述像素点为前景点，所述前景点的集合为实时运动目标。根据该运动目标检测方法，需要对视频中的当前帧图像比较各个像素点获得所述灰度图像中像素点的灰度值和梯度值，并判断该各个像素点值是否小于前一帧图像中确定的颜色的协方差的预定倍数，由此来判断是背景点还是前景点。由于需要对图像中的每一个点进行所述的计算和处理，因此，其运算量也非常大。

如上所述，上述现有的各种运动目标检测方法中，都存在有其运算量较大的问题。尤其是，在装载摄像机的汽车高速行驶的情况下，在短时间内，利用该摄像机拍摄的图像可能会很多，而且，如果利用上述的现有的运动目标检测方法检测运动目标，则由于运算量过大，所以有时不能满足实时检测的要求。

发明内容

鉴于现有技术中的上述技术问题，本发明的目的在于，提供一种能够以较少的计算量简单地检测出运动特征点及运动目标的运动特征点检测方法及装置以及运动目标检测方法及装置。

为了实现上述技术问题，本申请的第一方案的运动特征点检测方法，从不少于3帧的多帧序列图像中检测出运动特征点，其特征在于，包括：初始特征点检测步骤，将上述多帧序列图像中的某一帧图像作为初始图像，从该初始图像中检测出初始特征点；初始特征点跟踪轨迹获取步骤，在上述多帧序列图像中的除了上述初始图像的其它图像中，跟踪检测上述初始特征点的跟踪点，按图像序列的顺序连接上述初始图像中的上述初始特征点的位置以及上述其它图像中的上述初始特征点的跟踪点的位置，从而形成初始特征点跟踪轨迹；初始特征点参照轨迹获取步骤，根据摄像机内参数以及摄像机运动参数，计算出上述初始特征点在各上述其它图像中所应在的参照点，按图像序列的顺序连接初始图像中的上述初始特征点的位置以及上述初始特征点在上述其它图像中所应在的参照点的位置，从而形成初始特征点参照轨迹；以及运动特征点判断步骤，比较上述初始特征点参照轨迹和上述初始特征点跟踪轨迹，当上述初始特征点参照轨迹和上述初始特征点跟踪轨迹的相似度小于预定值时，将该初始特征点判断为运动特征点。

上述运动特征点检测方法，优选上述初始特征点跟踪轨迹获取步骤包括误跟踪判断步骤，该误跟踪判断步骤在上述初始特征点跟踪轨迹符合以下三种情形之一时，判断为误跟踪：(a)上述初始特征点跟踪轨迹中的某两个跟踪点之间的线段的长度超过预定长度；(b)上述初始特征点跟踪轨迹中某两个相邻的线段向量之间的夹角超过预定角度；(c)在上述多帧序列图像为4帧以上的情况下，上述初始特征点跟踪轨迹中某三个相邻的线段表现为先向一侧转弯、后向另一侧转弯；在上述误跟踪判断步骤判断为误跟踪时，在上述初始特征点跟踪轨迹获取步骤去除该判断为误跟踪的初始特征点跟踪轨迹。

本申请的第二方案的运动特征点检测装置，从不少于3帧的多帧序列图像中检测出运动特征点，其特征在于，包括：初始特征点检测单元，将上述多帧序列图像中的某一帧图像作为初始图像，从该初始图像中检测出初始特征点；初始特征点跟踪轨迹获取单元，在上述多帧序列图像中的除了上述初始图像的其它图像中，跟踪检测上述初始特征点的跟踪点，按图像序列的顺序连接上述初始图像中的上述初始特征点的位置以及上述其它图像中的上述初始特征点的跟踪点的位置，从而形成初始特征点跟踪轨迹；初始特征点参照轨迹获取单元，根据摄像机内参数以及摄像机运动参数，计算出上述初始特征点在各上述其它图像中所应在的参照点，按图像序列的顺序连接上述初始图像中的上述初始特征点的位置以及上述初始特征点在上述其它图像中所应在的参照点的位置，从而形成初始特征点参照轨迹；以及运动特征点判断单元，比较上述初始特征点参照轨迹和上述初始特征点跟踪轨迹，当上述初始特征点参照轨迹和上述初始特征点跟踪轨迹的相似度小于预定值时，将该初始特征点判断为运动特征点。

本申请的第三方案的运动目标检测方法，从不少于3帧的多帧序列图像中检测出运动特征点，其特征在于，包括：初始特征点检测步骤，将上述多帧序列图像中的某一帧图像作为初始图像，从该初始图像中检测出初始特征点；初始特征点跟踪轨迹获取步骤，在上述多帧序列图像中的除了上述初始图像的其它图像中，跟踪检测上述初始特征点的跟踪点，按图像序列的顺序连接上述初始图像中的上述初始特征点的位置以及上述其它图像中的上述初始特征点的跟踪点的位置，从而形成初始特征点跟踪轨迹；初始特征点参照轨迹获取步骤，根据摄像机内参数以及摄像机运动参数，计算出上述初始特征点在各上述其它图像中所应在的参照点，按图像序列的顺序连接初始图像中的上述初始特征点的位置以及上述初始特征点在上述其它图像中所应在的参照点的位置，从而形成初始特征点参照轨迹；以及运动特征点判断步骤，比较上述初始特征点参照轨迹和上述初始特征点跟踪轨迹，当上述初始特征点参照轨迹和上述初始特征点跟踪轨迹的相似度小于预定值时，将该初始特征点判断为运动特征点。上述运动目标检测方法在上述初始特征点检测步骤中从上述初始图像中检测出多个初始特征点，并对该多个初始特征点的每一个均执行上述初始特征点跟踪轨迹获取步骤、上述初始特征点参照轨迹获取步骤以及上述运动特征点判断步骤，从而得到多个运动特征点。上述运动目标检测方法还包括：运动特征点聚类步骤，将上述得到的多个运动特征点进行聚类，形成各类的运动特征点的集合；以及运动目标确定步骤，将在上述聚类步骤中聚类的各类的运动特征点的集合分别确定为各运动目标。

上述运动目标检测方法，优选上述运动特征点聚类步骤包括：种子点确定步骤，将在上述运动特征点判断步骤判断出的运动特征点中的未聚类的某一点作为第i类的第1个点，并将该第1个点作为种子点；聚类步骤，计算未聚类的运动特征点与上述种子点之间的距离，并将与该种子点的距离小于第1阈值的运动特征点聚类到上述第i类；第一重复步骤，分别将聚类到上述第i类的运动特征点中除了已经作为上述种子点的运动特征点以外的其它运动特征点作为新的种子点，重复上述聚类步骤，直到未聚类的运动特征点中没有能够聚类到第i类的运动特征点为止；以及第二重复步骤，若还有未聚类的运动特征点，则进行i＝i+1运算，重复上述种子点确定步骤、聚类步骤以及上述第一重复步骤，直到所有运动特征点都聚类为止，上述运动目标确定步骤将在上述聚类步骤中聚类的所有聚到第i类中的运动特征点确定为第i运动目标。

本发明的第四方案的运动目标检测装置，从不少于3帧的多帧序列图像中检测出运动特征点，其特征在于，包括：初始特征点检测单元，将上述多帧序列图像中的某一帧图像作为初始图像，从该初始图像中检测出初始特征点；初始特征点跟踪轨迹获取单元，在上述多帧序列图像中的除了上述初始图像的其它图像中，跟踪检测上述初始特征点的跟踪点，按图像序列的顺序连接上述初始图像中的上述初始特征点的位置以及上述其它图像中的上述初始特征点的跟踪点的位置，从而形成初始特征点跟踪轨迹；初始特征点参照轨迹获取单元，根据摄像机内参数以及摄像机运动参数，计算出上述初始特征点在各上述其它图像中所应在的参照点，按图像序列的顺序连接上述初始图像中的上述初始特征点的位置以及上述初始特征点在上述其它图像中所应在的参照点的位置，从而形成初始特征点参照轨迹；运动特征点判断单元，比较上述初始特征点参照轨迹和上述初始特征点跟踪轨迹，当上述初始特征点参照轨迹和上述初始特征点跟踪轨迹的相似度小于预定值时，将该初始特征点判断为运动特征点；以及运动特征点聚类单元，将由运动特征点判断单元检测到的多个运动特征点进行聚类，形成各类的运动特征点的集合；运动目标确定单元，将上述聚类单元聚类的各类的运动特征点的集合分别确定为各运动目标。

根据上述运动特征点检测方法及装置、运动目标检测方法和装置的技术方案，由于对于除了初始图像的其它图像仅需要跟踪检测特征点，并且，仅对特征点的跟踪轨迹和参照轨迹的相似度进行比较，通过比较结果来判断是否为运动特征点，因此能够通过对较少的数据量进行简单的处理即可检测出运动特征点，进而检测出运动目标，从而提高了运算效率。并且，上述技术方案还具有简单易实现的优点。此外，由于是利用多幅图像检测出运动目标，因此，避免了不稳定的特征点跟踪和自运动估计造成误识别的缺点，具有很好的鲁棒性。

此外，根据上述运动特征点检测方法及装置、运动目标检测方法和装置的技术方案，由于误跟踪判断单元通过误跟踪判断处理，去除该判断为误跟踪的跟踪轨迹，因此，因此大幅降低了运动目标检测的误识别率。

附图说明

图1是表示本发明的实施方式1的运动特征点检测装置的框图。

图2是表示本发明的实施方式1的运动特征点检测方法的流程图。

图3是用于说明目标在画面中成像的原理的图。

图4中，(a)表示特征点参考轨迹和特征点跟踪轨迹近似的情况，(b)表示特征点参考轨迹和特征点跟踪轨迹非近似的情况。

图5是表示本发明的实施方式2的运动特征点检测装置的框图。

图6中，(a)、(b)、(c)分别示出视为误跟踪的三种情形，(d)示出视为跟踪无误的情形。

图7是表示本发明的实施方式3的运动目标检测装置的框图。

图8是表示本发明的实施方式3的变形例的运动目标检测装置的框图。

图9是表示本发明的实施方式3的运动特征点聚类单元的框图。

图10是表示本发明的实施方式3的运动目标检测方法中运动特征点聚类步骤的各子步骤和运动目标确定步骤的流程图。

图11是表示作为本发明的实施方式1～3的变形例的显示装置的框图。

具体实施方式

以下，关于本发明的各实施方式，参照附图进行详细说明。再有，下面的各实施方式仅仅是用于说明本发明的优选实施方式，并不直接限定本发明的权利范围。

<实施方式1>

下面，参照图1～4，说明实施方式1的运动特征点检测装置1及运动特征点检测方法。

<运动特征点检测装置1的结构>

如图1所示，用于从不少于三帧的多帧序列图像中检测出运动特征点的运动特征点检测装置1，包括初始特征点检测单元2、初始特征点跟踪轨迹获取单元3、初始特征点参照轨迹获取单元4以及运动特征点判断单元5。

初始特征点检测单元2将多帧序列图像中的某一帧图像作为初始图像，从该初始图像中检测出初始特征点。该初始图像可以是上述多帧序列图像中的第一帧图像，也可以是上述多帧序列图像中的最后一帧图像，可以是该序列图像中的任一顺序的图像。在本实施方式中，假设初始图像为第t-n时刻的图像，并且，初始特征点检测单元2从初始图像中检测到的特征点集构成点集F_t-n。在此，t≥3，n＜t，t和n均为自然数。

作为该初始特征点检测单元2从图像中检测出特征点的特征点检测方法，可以利用现有技术中的任何一种特征点检测技术，只要该特征点检测技术能够有效地提取出特征点、并且满足所要求的运算效率就可以。在本实施方式中，优选将图像中目标的角点作为特征点，并且，作为特征点检测方法，例如可以利用Harris(哈里斯)角点检测算子、SUSAN角点检测算子和特征值的角点检测算子等来进行检测，尤其优选Harris(哈里斯)角点检测算子。

初始特征点跟踪轨迹获取单元3用于在多帧图像中的除了初始图像的其它图像中，跟踪检测初始特征点的跟踪点，按图像序列的顺序连接初始图像中的初始特征点的位置以及其它图像中的初始特征点的跟踪点的位置，从而形成初始特征点跟踪轨迹。在本实施方式中，假设其它图像为t时刻图像。上述图像序列的顺序可以是图像序列的正序，也可以是图像序列的反序。

作为初始特征点跟踪轨迹获取单元3在多帧图像中的除了初始图像的其它图像中跟踪检测初始特征点的跟踪方法，可以利用现有技术中的任何一种特征点跟踪方法，只要该特征点跟踪方法能够有效地跟踪特征点、并且满足所要求的运算效率就可以。例如，常用的特征点匹配算法有模版匹配算法和光流追踪算法等。在本实施方式中，优选基于图像金字塔光流的特征跟踪方法(Lucas and Kanade’s pyramid-based optical flowalgorithm，)来获得匹配特征点。

下面利用图3，说明本实施方式的初始特征点跟踪轨迹获取单元3获取特征点跟踪轨迹的方法。初始特征点跟踪轨迹获取单元3通过特征点跟踪方法，对从上述第t-n时刻的图像中提取到的各特征点在第t时刻图像中的位置进行匹配跟踪，并记录能够在第t时刻图像中跟踪到的特征点及其在t时刻图像中的跟踪点位置，构成匹配点集F_t。之后，在第t时刻的图像坐标系中，按照图像序列的正序或者反序分别连接点集F_t-n、F_t中的相互匹配的特征点，从而形成各初始特征点的跟踪轨迹。取点p(u，v)∈F_t-n及其在第t时刻图像中的匹配点p′(u′，v′)∈F_t，在第t时刻图像中，这对点构成跟踪轨迹向量f＝p′-p＝(u′-u，v′-v)。

初始特征点跟踪轨迹获取单元3同样也可以在第t-n+1时刻、……、第t-1时刻图像中，对从上述第t-n时刻的图像中提取到的各特征点进行匹配跟踪，从而构成点集F_t-n+1、……、F_t-1，并最终在第t时刻图像中，按照图像序列的正序或者反序分别连接各特征点的匹配点，从而形成各初始特征点的跟踪轨迹，例如，在图4(a)、(b)中，Q点为初始图像(第t-n时刻，此时，t为5，n为5)中提取的某一初始特征点，T₁、T₂、T₃、T₄分别为上述Q点在第t-n+1时刻、第t-n+2时刻、第t-n+3时刻、第t-n+4时刻的跟踪点，Q、T₁、T₂、T₃、T₄五点在第t时刻的图像中连接形成了初始特征点Q的跟踪轨迹。

在上述中，在第t时刻的图像坐标系中，按照图像序列的正序或反序分别连接点集F_t-n、……、F_t中的相互匹配的特征点，从而形成特征点跟踪轨迹，但是也可以在第t-n时刻、第t-n+1时刻、……、第t-1时刻中任一时刻的图像坐标系中，按照图像序列的正序或反序分别连接点集F_t-n、……、F_t中的相互匹配的特征点，从而形成各初始特征点的特征点跟踪轨迹。

初始特征点参照轨迹获取单元4根据摄像机内参数以及摄像机运动参数，计算出初始特征点在各其它图像中所应在的参照点，按图像序列的顺序连接初始图像中的初始特征点的位置以及初始特征点在其它图像中所应在的参照点的位置，从而形成初始特征点参照轨迹。在上述中，摄像机内参数是指摄像机成像所涉及到的摄像机的各种性能参数，摄像机运动参数是指在摄像机处于运动的状态下的其运动参数。

首先，参照图3说明运动特征点在图像中所形成的运动向量。如图3所示建立摄像机坐标系，Z_c轴沿摄像机光轴方向，Y_c垂直于道路平面。对于第t-n时刻图像中特征点p(u，v)∈F_t-n的实际目标点为P，假设它是直线pP上在Y_c轴坐标为H的点P′的成像，设点P′在第t-n时刻的摄像机坐标系下坐标(X，Y，Z)，在第t时刻摄像机坐标系下的坐标(X′，Y′，Z′)，则Y，Y′都等于H，在第t时刻图像上的成像点为p″(u″，v″)，我们称之为点p(u，v)对应的运动点。在第t时刻图像坐标系中，将所有点对p和p″连线构成运动轨迹，并称向量m＝p″-p＝(u″-u，v″-v)为运动向量。

下面介绍如何根据已知的点p的坐标(u，v)，自车运动参数(t_x，t_z，ω_y)，摄像机内参数u₀、v₀、dx、dy、f求得运动点p″的坐标(u″，v″)。其中自车运动参数(t_x，t_z，ω_y)的获取可以由传感器获得，如速度传感器和陀螺仪传感器等，也可以由序列图像用计算的方法获得，如采用光流方法、运动恢复结构(Structureform Motion，SFM)的方法或基于特征点检测、直接法等方法估计得到，如文献“A robust method for computing vehicle ego-motion”(Stein，G.P.；Mano，O.；Shashua，A.；2000；IEEE)中采用直接的方法估计运动参数，文献“Transformingcamera geometry to a virtual downward-looking camera：robust ego-motionestimation and ground-layer detection”(Qifa Ke；Kanade，T.；2003；IEEE)中采用改进的直接方法获得运动参数。在此，自车运动参数(t_x，t_z，ω_y)相当于上述的摄像机运动参数。

(1)由摄像机成像原理有：

$\frac{(u-u_0)\&CenterDot;\mathrm{dx}}{f}=\frac{X}{Z},$ $\frac{\left({v-v}_0\right)\&CenterDot;\mathrm{dy}}{f}=\frac{Y}{Z}---\left(1\right)$

其中Y＝H，根据上式可求出X，Z。

(2)由坐标变换有：

$\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)=R\&times;\left(\begin{array}{c}{X}^{\&prime;}\\ Y^{\&prime;}\\ Z^{\&prime;}\end{array}\right)+T---\left(2\right)$

其中，T＝(t_x 0 t_z)^T，

$R=\left(\begin{array}{ccc}\cos {\mathrm{\&omega;}}_y& 0& \sin {\mathrm{\&omega;}}_y\\ 0& 1& 0\\ -\sin {\mathrm{\&omega;}}_y& 0& \cos {\mathrm{\&omega;}}_y\end{array}\right)$

根据上述式(2)可解出(X′，Y′，Z′)。

再根据式(1)求出运动点p″的坐标(u″，v″)。

例如，在图4(a)、(b)中，Q点为初始图像(第t-n时刻，此时，t为5，n为4)中提取的某一初始特征点，C₁、C₂、C₃、C₄分别为上述Q点在第t-n+1时刻、第t-n+2时刻、第t-n+3时刻、第t-n+4时刻的相应特征点的参照位置点，Q、C₁、C₂、C₃、C₄五点在第t时刻的图像中连接形成了初始特征点Q的参照轨迹。

在上述中，在第t时刻的图像坐标系中，分别连接各特征点的匹配点，从而形成各特征点跟踪轨迹，但是也可以在第t-n时刻、第t-n+1时刻、……、第t-1时刻中任一时刻的图像坐标系中，分别连接点集F_t-n、……、F_t中的相互匹配的特征点，从而形成特征点跟踪轨迹。

运动特征点判断单元5比较初始特征点参照轨迹和初始特征点跟踪轨迹，当初始特征点参照轨迹和初始特征点跟踪轨迹的相似度小于预定值时，将该初始特征点判断为运动特征点。当初始特征点参照轨迹和初始特征点跟踪轨迹的相似度大于等于预定值时，将该初始特征点判断为静止特征点。

在图3中，当汽车高速行驶时，第t时刻的相机位置相对于第t-n时刻相机位置只有光轴方向的移动，且相机旋转很小。那么在第t时刻图像坐标系中描述特征点p(u，v)∈F点的坐标只需过光心O_t做O_t-np的平行线与t时刻图像平面的交点，这样如果P是静止的点，t时刻图像平面中点p，p′，p″都在平面O_t-nO_tP上，因此他们在一条直线上，这条直线就是t时刻图像平面与平面O_t-nO_tP的交线。因此对于静止物体上的特征点连续两帧之间跟踪轨迹向量f与运动轨迹向量m方向相同，但大小不等，然而将这两个向量归一化后他们是相等的，即两个向量对应的单位向量是相等的。那么连续n帧形成的特征点单位化后的跟踪轨迹与运动轨迹有这样的规律：对于静止特征点，如图4中(a)，跟踪轨迹与运动轨迹形态相似度高。而对于运动物体特征点跟踪轨迹与运动轨迹形态相似度很低，如图4中(b)。设所算出的跟踪轨迹与运动轨迹形态相似度为k，取一个阈值θ，当k＞θ时，对应的特征点被认为是运动的特征点，否则为静止特征点。

曲线形态相似度的计算方法很多，如文献《基于离散Fréchet距离的判别曲线相似性的算法》(朱洁，黄樟灿，彭晓琳.2009，4.武汉大学学报，第55卷，第2期)和文献《曲线形态相似性的定义与度量》(江浩，褚衍东，郭丽峰.2009，10.云南民族大学学报，第18卷，第4期)。

在本实施方式中，定义形态相似度为连续n帧的跟踪轨迹与运动轨迹向量归一化后对应点之间的距离求和：其中T_i表示第i帧的跟踪点，C_i表示第i帧计算出的参照位置点，如图4。

<运动特征点检测方法>

下面，基于图2说明本实施方式的运动特征点检测方法。

如图2所示，本实施方式的运动特征点检测方法，首先，从多帧序列图像中的某一帧图像(初始图像)检测出初始特征点(S1)。接着，在其它各帧图像中进行跟踪检测在S1步骤中检测到的各初始特征点，并图像序列的顺序连接初始图像中的初始特征点的位置以及其它图像中的初始特征点的跟踪点的位置，从而形成初始特征点跟踪轨迹(S2)。接着，对于在S1步骤中检测到的各特征点，根据摄像机内参数以及摄像机运动参数，计算出各初始特征点在各其它图像中所应在的参照点，按图像序列的顺序连接初始图像中的初始特征点的位置以及初始特征点在其它图像中所应在的参照点的位置，从而形成各初始特征点的初始特征点参照轨迹(S3)。之后，比较初始特征点参照轨迹和初始特征点跟踪轨迹，当初始特征点参照轨迹和初始特征点跟踪轨迹的相似度小于预定值时，将该初始特征点判断为运动特征点(S4、S5)。此外，当初始特征点参照轨迹和初始特征点跟踪轨迹的相似度大于等于预定值时，将该初始特征点判断为静止特征点(S6)。

上述各步骤的具体实现方式与对运动特征点检测装置的说明中所记载的方式相同，在此不再赘述。

<实施方式2>

下面，参照图5和6，说明实施方式2的运动特征点检测装置11。

本发明的实施方式2的运动特征点检测装置11，在实施方式1的运动特征点检测装置1的基础上，初始特征点跟踪轨迹获取单元3还包括误跟踪判断单元31，其余的结构与实施方式1相同，并在与实施方式1相同的构件上赋予了相同的附图标记，省略重复说明。

对于任何使用匹配特征点获得所要信息的算法，其鲁棒性严重受特征点的误匹配影响，如基于匹配特征点对的车速计算，基础矩阵的求解，单应性矩阵的求解等。利用匹配特征点的运动特征点检测算法也是如此，由于误匹配的特征点不满足任何规律，以至于算法的误识别大部分是由特征点的误匹配造成的。以往的误匹配去除方法都是在改进特征点匹配方法，一般都是基于两帧图片的，而目前最好的特征点匹配算法的匹配结果也会出现一定程度的误匹配，因此利用其他方法来对匹配结果进行误匹配的去除是必要的。

因此，本实施方式2的运动特征点检测装置3在实施方式1的方式的基础上，误跟踪判断单元31对特征点跟踪轨迹进行特征点误跟踪轨迹的去除，下面介绍特征点误跟踪轨迹去除的原理及算法描述。

在汽车高速行驶的情况下，在短时间内，汽车不会大角度转弯，不会有较大的加速度，因而其运动轨迹基本平滑，如图6(d)所示。据此，在本实施方式中，在对特征点进行多帧图像连续跟踪时，利用连续跟踪所形成的跟踪轨迹应基本平滑的这一特征，从实际得到的跟踪轨迹中去除误匹配。在本实施方式中，在跟踪轨迹符合如下三种情况之一时，判断其为误跟踪：(1)如图6(a)所示，轨迹中某两个跟踪点之间的线段的长度超过预定长度的情形；(2)如图6(b)所示，轨迹中有特征点跟踪轨迹中某两个相邻的线段向量之间的夹角超过预定角度的情形；如图6(c)所示，轨迹中某三个相邻的线段表现为先向一侧转弯、后向另一侧转弯的情形。具体的算法设计描述如下：

记录能够连续匹配跟踪上的特征点及其在第t-1～第t-n-1时刻的帧图像中的匹配点分别构成点集F_t～F_t-n-1，其中n≥4。对于第t～t-n-1时刻的帧图像中匹配点p_t∈F_t，p_t-1∈F_t-1，…，p_t-n-1∈F_t-n-1，设定相邻两帧之间的向量b_t＝p_t-1-p_t，b_t-1＝p_t-2-p_t-1，…，b_t-n-2＝p_t-n-1-p_t-n-2，及第一帧到其他各帧的向量r_t-1＝p_t-1-p_t，r_t-2＝p_t-2-p_t，…，r_t-n-1＝p_t-n-1-p_t。分别对于图6(a)，(b)，(c)所示的误跟踪情况设计如下(1)、(2)、(3)条件，认为满足条件之一的特征点轨迹对应的特征点是误跟踪的特征点，并将其去除：(1)向量b_t～b_t-n-2中有一个或多个向量的大小大于阈值T₁；(2)向量b_t～b_t-n-2中，有一对或多对相邻两向量之间的夹角大于阈值T₂，夹角计算公式以b_t和b_t-1为例：<b_t，b_t-1>＝arccos(b_t·b_t-1/(||b_t||·||b_t-1||))；(3)向量r_t-1～r_t-n-1中，每相邻两向量间由前一个向量到其后的向量的旋转方向不一致，以r_t-1到r_t-2的旋转方向为例定义旋转方向：r_t-1和r_t-2的外积符号正负决定其旋转方向的正负。

即，在特征点跟踪轨迹符合以下三种情形之一时，判断为误跟踪：

(a)特征点跟踪轨迹中的某两个跟踪点之间的线段的长度超过预定长度；

(b)特征点跟踪轨迹中某特征点跟踪轨迹中某两个相邻的线段向量之间的夹角超过预定角度；

(c)在多帧序列图像为4帧以上的情况下，特征点跟踪轨迹中某三个相邻的线段表现为先向一侧转弯、后向另一侧转弯。

并且，在误跟踪判断单元31判断为跟踪轨迹是误跟踪时，初始特征点跟踪轨迹获取单元3去除该被判断为误跟踪的跟踪轨迹。

在本实施方式的运动特征点检测装置11及运动特征点检测方法中，其它结构和处理与实施方式1的记载相同，在此不再赘述。

<实施方式3>

下面，参照图7-9，说明实施方式3的运动目标检测装置21及运动目标检测方法。

如图7所示，本实施方式的运动目标检测装置21包括：初始特征点检测单元2、初始特征点跟踪轨迹获取单元3、初始特征点参照轨迹获取单元4、运动特征点判断单元5、运动特征点聚类单元7以及运动目标确定单元8。

其中，初始特征点检测单元2、初始特征点跟踪轨迹获取单元3、初始特征点参照轨迹获取单元4、运动特征点判断单元5的结构及作用均与上述实施方式1和2中所述相同，在此不再赘述。

上述运动特征点聚类单元7用于将由运动特征点判断单元5判断出的各运动特征点分别聚类到某一个类中，形成各类的运动特征点的集合。如图9所示，运动特征点聚类单元7包括种子点确定单元71、聚类单元72、第一重复指示单元73和第二重复指示单元74。

下面，参照图10，具体说明运动特征点聚类单元7中的各单元的动作。

种子点确定单元71从运动特征点判断单元5判断出的各运动特征点中选择一个未聚类的某一个运动特征点，作为第i类的第1个点，并将该第1个点作为种子点(S71)。

聚类单元72计算未聚类的运动特征点与上述种子点之间的距离(S72)，并将与该种子点的距离小于第1阈值(可根据需要定义)的运动特征点聚类到上述第i类(S73，S74)。

第一重复指示单元73指示上述聚类单元72分别将聚类到上述第i类的运动特征点中除了已经作为上述种子点的运动特征点以外的其它运动特征点作为新的种子点，重复计算未聚类的运动特征点与上述种子点之间的距离，并将与该种子点的距离小于第1阈值的运动特征点聚类到上述第i类，直到未聚类的运动特征点中没有能够聚类到第i类的运动特征点为止(S76，S72～S76循环)。

第二重复指示单元74在还存在有未聚类的运动特征点的情况下，进行i＝i+1运算，并使种子点确定单元71、聚类单元72以及上述第一重复指示单元73重复进行动作(S77，S71～S77循环)，直到所有运动特征点都聚类为止。

通过运动特征点聚类单元7的上述动作，运动特征点判断单元5所判断出的各运动特征点分别被聚类到某一类中。上述运动目标确定单元8将各类的运动特征点的集合分别确定为运动目标。例如，将第i类的运动特征点的集合构成的目标确定为第i运动目标(S8)。

图8示出了初始特征点跟踪轨迹获取单元3还具备实施方式2中所述的误跟踪判断单元31的变形例，关于该误跟踪判断单元31的动作极其作用效果，请参照实施方式2的说明。

<变形例>

上述实施方式1-3的运动特征点检测装置和运动目标检测装置可以组合到显示装置中。

例如，如图11所示，本变形例的图像显示装置41包括：初始特征点检测单元2、初始特征点跟踪轨迹获取单元3、初始特征点参照轨迹获取单元4、运动特征点判断单元5、显示单元6、运动特征点聚类单元7以及运动目标确定单元8。

其中，初始特征点检测单元2、初始特征点跟踪轨迹获取单元3、初始特征点参照轨迹获取单元4、运动特征点判断单元5、运动特征点聚类单元7以及运动目标确定单元8与实施方式1-3中所述的相应单元相同，因此，不对它们进行重复说明。

此外，该图像显示装置41也可以不包括运动特征点聚类单元7以及运动目标确定单元8。

显示单元6用于显示图像，对由运动特征点判断单元5判断到的运动特征点进行区别于其它部分的特别显示。作为特别显示的方法，可以采用各种方式，例如，对运动特征点赋予特别的颜色来进行显示的方式，将运动特征点的亮度设定为某一亮度来显示的方式，将运动特征点的边缘提取出来而仅对边缘进行闪烁显示的方式等等，只要是能够使得该运动特征点区别于图像中的其它部分，能够使用户一眼就能识别该运动特征点就可以。

在图像显示装置41包括运动特征点聚类单元7以及运动目标确定单元8的情况下，可以对检测到的不同的运动目标进行不同显示方式的显示，如对不同的运动目标进行不同颜色的显示等。

本发明特别适合用于从移动中的摄像装置得到的图像中检测出运动特征点的设备，具有大幅减少运算量，易于实现，检测效果优良的优点。

Claims (10)

1.一种运动特征点检测方法，从不少于3帧的多帧序列图像中检测出运动特征点，其特征在于，包括：

初始特征点检测步骤，将上述多帧序列图像中的某一帧图像作为初始图像，从该初始图像中检测出初始特征点；

初始特征点跟踪轨迹获取步骤，在上述多帧序列图像中的除了上述初始图像的其它图像中，跟踪检测上述初始特征点的跟踪点，按图像序列的顺序，在上述多帧序列图像中的任一帧图像的图像坐标系中连接上述初始图像中的上述初始特征点的位置以及上述其它图像中的上述初始特征点的跟踪点的位置，从而形成初始特征点跟踪轨迹；

初始特征点参照轨迹获取步骤，根据摄像机内参数以及摄像机运动参数，计算出上述初始特征点被假设为静止特征点时在各上述其它图像中所应在的参照点，按图像序列的顺序在上述任一帧图像的图像坐标系中连接上述初始图像中的上述初始特征点的位置以及上述初始特征点在上述其它图像中所应在的参照点的位置，从而形成初始特征点参照轨迹；以及

运动特征点判断步骤，比较上述初始特征点参照轨迹和上述初始特征点跟踪轨迹向量归一化后的相似度，当上述初始特征点参照轨迹和上述初始特征点跟踪轨迹的相似度小于预定值时，将该初始特征点判断为运动特征点。

2.根据权利要求1所述的运动特征点检测方法，其特征在于，

上述多帧序列图像包括上述初始图像以及不少于2帧的后序的其它图像，

上述图像序列的顺序是上述图像序列的正序。

3.根据权利要求1所述的运动特征点检测方法，其特征在于，

上述多帧序列图像包括上述初始图像以及不少于2帧的前序的其它图像，

上述图像序列的顺序是上述图像序列的反序。

4.根据权利要求1～3中任一项所述的运动特征点检测方法，其特征在于，

上述初始特征点跟踪轨迹获取步骤包括误跟踪判断步骤，该误跟踪判断步骤在上述初始特征点跟踪轨迹符合以下三种情形之一时，判断为误跟踪：

(a)上述初始特征点跟踪轨迹中的某两个跟踪点之间的线段的长度超过预定长度；

(b)上述初始特征点跟踪轨迹中某两个相邻的线段向量之间的夹角超过预定角度；

(c)在上述多帧序列图像为4帧以上的情况下，上述初始特征点跟踪轨迹中某三个相邻的线段表现为先向一侧转弯、后向另一侧转弯；

在上述误跟踪判断步骤判断为误跟踪时，在上述初始特征点跟踪轨迹获取步骤去除该判断为误跟踪的初始特征点跟踪轨迹。

5.一种运动特征点检测装置，从不少于3帧的多帧序列图像中检测出运动特征点，其特征在于，包括：

初始特征点检测单元，将上述多帧序列图像中的某一帧图像作为初始图像，从该初始图像中检测出初始特征点；

初始特征点跟踪轨迹获取单元，在上述多帧序列图像中的除了上述初始图像的其它图像中，跟踪检测上述初始特征点的跟踪点，按图像序列的顺序，在上述多帧序列图像中的任一帧图像的图像坐标系中连接上述初始图像中的上述初始特征点的位置以及上述其它图像中的上述初始特征点的跟踪点的位置，从而形成初始特征点跟踪轨迹；

初始特征点参照轨迹获取单元，根据摄像机内参数以及摄像机运动参数，计算出上述初始特征点被假设为静止特征点时在各上述其它图像中所应在的参照点，按图像序列的顺序在上述任一帧图像的图像坐标系中连接上述初始图像中的上述初始特征点的位置以及上述初始特征点在上述其它图像中所应在的参照点的位置，从而形成初始特征点参照轨迹；以及

运动特征点判断单元，比较上述初始特征点参照轨迹和上述初始特征点跟踪轨迹向量归一化后的相似度，当上述初始特征点参照轨迹和上述初始特征点跟踪轨迹的相似度小于预定值时，将该初始特征点判断为运动特征点。

6.根据权利要求5所述的运动特征点检测装置，其特征在于，

上述初始特征点跟踪轨迹获取单元包括误跟踪判断单元，该误跟踪判断单元在上述初始特征点跟踪轨迹符合以下三种情形之一时，判断为误跟踪：

(a)上述初始特征点跟踪轨迹中的某两个跟踪点之间的线段的长度超过预定长度；

(b)上述初始特征点跟踪轨迹中某两个相邻的线段向量之间的夹角超过预定角度；

(c)在上述多帧序列图像为4帧以上的情况下，上述初始特征点跟踪轨迹中某三个相邻的线段表现为先向一侧转弯、后向另一侧转弯；

在上述误跟踪判断单元判断为误跟踪时，上述初始特征点跟踪轨迹获取单元去除该判断为误跟踪的初始特征点跟踪轨迹。

7.一种运动目标检测方法，从不少于3帧的多帧序列图像中检测出运动特征点，其特征在于，包括：

初始特征点检测步骤，将上述多帧序列图像中的某一帧图像作为初始图像，从该初始图像中检测出初始特征点；

初始特征点跟踪轨迹获取步骤，在上述多帧序列图像中的除了上述初始图像的其它图像中，跟踪检测上述初始特征点的跟踪点，按图像序列的顺序，在上述多帧序列图像中的任一帧图像的图像坐标系中连接上述初始图像中的上述初始特征点的位置以及上述其它图像中的上述初始特征点的跟踪点的位置，从而形成初始特征点跟踪轨迹；

初始特征点参照轨迹获取步骤，根据摄像机内参数以及摄像机运动参数，计算出上述初始特征点被假设为静止特征点时在各上述其它图像中所应在的参照点，按图像序列的顺序在上述任一帧图像的图像坐标系中连接初始图像中的上述初始特征点的位置以及上述初始特征点在上述其它图像中所应在的参照点的位置，从而形成初始特征点参照轨迹；以及

运动特征点判断步骤，比较上述初始特征点参照轨迹和上述初始特征点跟踪轨迹向量归一化后的相似度，当上述初始特征点参照轨迹和上述初始特征点跟踪轨迹的相似度小于预定值时，将该初始特征点判断为运动特征点，

上述运动目标检测方法在上述初始特征点检测步骤中从上述初始图像中检测出多个初始特征点，并对该多个初始特征点的每一个均执行上述初始特征点跟踪轨迹获取步骤、上述初始特征点参照轨迹获取步骤以及上述运动特征点判断步骤，从而得到多个运动特征点，

上述运动目标检测方法还包括：

运动特征点聚类步骤，将上述得到的多个运动特征点进行聚类，形成各类的运动特征点的集合；以及

运动目标确定步骤，将在上述聚类步骤中聚类的各类的运动特征点的集合分别确定为各运动目标。

8.根据权利要求7所述的运动目标检测方法，其特征在于，

上述初始特征点跟踪轨迹获取步骤包括误跟踪判断步骤，该误跟踪判断步骤在上述初始特征点跟踪轨迹符合以下三种情形之一时，判断为误跟踪：

(a)上述初始特征点跟踪轨迹中的某两个跟踪点之间的线段的长度超过预定长度；

(b)上述初始特征点跟踪轨迹中某两个相邻的线段向量之间的夹角超过预定角度；

(c)在上述多帧序列图像为4帧以上的情况下，上述初始特征点跟踪轨迹中某三个相邻的线段表现为先向一侧转弯、后向另一侧转弯；

在上述误跟踪判断步骤判断为误跟踪时，在上述初始特征点跟踪轨迹获取步骤去除该判断为误跟踪的初始特征点跟踪轨迹。

9.一种运动目标检测装置，从不少于3帧的多帧序列图像中检测出运动特征点，其特征在于，包括：

初始特征点检测单元，将上述多帧序列图像中的某一帧图像作为初始图像，从该初始图像中检测出初始特征点；

初始特征点跟踪轨迹获取单元，在上述多帧序列图像中的除了上述初始图像的其它图像中，跟踪检测上述初始特征点的跟踪点，按图像序列的顺序，在上述多帧序列图像中的任一帧图像的图像坐标系中连接上述初始图像中的上述初始特征点的位置以及上述其它图像中的上述初始特征点的跟踪点的位置，从而形成初始特征点跟踪轨迹；

初始特征点参照轨迹获取单元，根据摄像机内参数以及摄像机运动参数，计算出上述初始特征点被假设为静止特征点时在各上述其它图像中所应在的参照点，按图像序列的顺序在上述任一帧图像的图像坐标系中连接上述初始图像中的上述初始特征点的位置以及上述初始特征点在上述其它图像中所应在的参照点的位置，从而形成初始特征点参照轨迹；

运动特征点判断单元，比较上述初始特征点参照轨迹和上述初始特征点跟踪轨迹向量归一化后的相似度，当上述初始特征点参照轨迹和上述初始特征点跟踪轨迹的相似度小于预定值时，将该初始特征点判断为运动特征点；以及

运动特征点聚类单元，将由运动特征点判断单元检测到的多个运动特征点进行聚类，形成各类的运动特征点的集合；

运动目标确定单元，将上述聚类单元聚类的各类的运动特征点的集合分别确定为各运动目标。

10.根据权利要求9所述的运动目标检测装置，其特征在于，

上述初始特征点跟踪轨迹获取单元包括误跟踪判断单元，该误跟踪判断单元在上述初始特征点跟踪轨迹符合以下三种情形之一时，判断为误跟踪：

(a)上述初始特征点跟踪轨迹中的某两个跟踪点之间的线段的长度超过预定长度；

(b)上述初始特征点跟踪轨迹中某两个相邻的线段向量之间的夹角超过预定角度；

(c)在上述多帧序列图像为4帧以上的情况下，上述初始特征点跟踪轨迹中某三个相邻的线段表现为先向一侧转弯、后向另一侧转弯；

在上述误跟踪判断单元判断为误跟踪时，上述初始特征点跟踪轨迹获取单元去除该判断为误跟踪的初始特征点跟踪轨迹。