CN104156976A - 一种抗遮挡目标检测的多特征点跟踪方法 - Google Patents

Abstract

本发明公开了一种用于遮挡目标检测的多特征点跟踪方法。本发明的新颖之处在于提出一种基于特征光流分割和卡尔曼滤波估计的运动目标跟踪方法。这种方法在特征光流的计算中采用由粗到细的层级匹配算法，具有更好的匹配精度；并采用有效的遮挡判决算法，当特征点被遮挡和丢失时能估计它们的位置。这种方法能够有效地解决运动目标作大机动和经历遮挡时目标跟踪困难的问题。

Description

一种抗遮挡目标检测的多特征点跟踪方法

技术领域

本发明与计算机视觉、图像理解和计算机图形学有关，在目标被全遮挡和部分遮挡的情况下，目标的检测与跟踪变得尤为困难，本发明涉及一种解决这种复杂条件下运动目标的检测与分割方法，利用建立的特征点光流聚类算法和遮挡判决算法的实现对遮挡目标的可靠检测。

背景技术

复杂背景下的运动目标自动跟踪技术是图象处理、模式识别和计算机图形技术的重要课题，在军事、国防和工业等领域有着广泛的应用前景，跟踪系统有两个基本运算，即目标图象的分割和目标的追踪，但是当运动目标作大的机动、经历遮挡时，这些运算的稳定性、适应性和计算效率将受到影响，而这些影响会直接改变系统的性能，因此，获得鲁棒性的跟踪算法是迫切解决的问题.

      利用运动估计进行分割与跟踪运动目标是一种重要的技术途径，基于特征点的光流算法和基于连续光流场的算法是经常被采用的运动估计技术，特征光流是通过特征匹配来求得特征点处的光流，同连续光流场算法相比较，这种算法具有可以处理大的帧间运动，对噪声不敏感和计算量小的特点.但是由于得到的是稀疏的光流场，因而很难提取运动目标的精确形状。此外，当运动目标被遮挡时，如何对遮挡情况进行判断是建立可靠抗遮挡跟踪算法的关键.

      不同于其它研究方法，本发明在获得目标特征点的基础上，建立一种新颖的目标描述与遮挡判决方法，这种方法能够有效判断出目标进入遮挡和离开遮挡的情况，从而为后续的抗遮挡跟踪奠定基础。 

发明内容

本发明建立一种抗遮挡目标检测的多特征点跟踪方法.这种方法包含以下过程：首先利用角检测器检测特征点，并利用提出的由粗到细层级匹配算法计算特征光流；其次，利用特征点光流聚类算法，完成目标的分割，并建立运动目标的描述子；最后，提出一种新颖的遮挡判决方法，完成对目标被遮挡和脱离遮挡情况的判决，实现对运动目标的可靠跟踪.

      本发明的基本原理如下:

     一、一种多尺度特征光流计算方法. 假设图象序列中某特征点                                                从时刻的图象运动到时刻的图象，为特征点分别沿和轴的偏移量。最佳偏移量的计算可以通过最小化灰度的差值平方和得到

       (1)

为以为中心的窗，对由一阶泰勒级数展开

     (2)

其中，计算误差分别相对于、的偏导数，令它们为零，得到

       (3)

由此可以解出

  (4)

、分别为、的简写，上标为矩阵的转置，-1为矩阵的逆。为获得的估计，可以通过对的初始化，由牛顿-拉富生迭代算法得到

 (5)

上标表示次迭代，表示，当目标的运动在相对较小的范围时，利用这种方法不但可以降低匹配过程中的搜索范围，减少匹配时间，而且具有很高的匹配精度。此外，本发明建立一种高斯金字塔多尺度框架，在该框架下计算特征光流点，可以解决目标作大的运动时，在单一分辨率层上匹配精度降低的问题.

       二、特征光流场聚类，同一目标上特征点光流近似相同、不同目标上特征点光流不同，可将光流进行聚类；根据同一目标上特征点分布具有一定规律，在光流聚类的基础上，再对目标特征点进行一次空间聚类，衡量两个光流矢量和相似的测度函数为：

       (6)

式中，代表误差的阶。设定一个比较小的阈值，一旦两个光流矢量间的测度函数就将此二光流合并为一类，并计算类的平均光流；当判断某一光流矢量能否归并到某类中时，需衡量该光流与类的平均光流的测度函数. 由上一步得到若干个类，同一类中的光流是相似的，但是，由于各种噪声的影响，每类中可能存在噪声点，这些噪声点一般表现为“离群”，为去掉这些离群的点，本发明假设同一类中的点到类中心的距离服从参数为的正态分布，把到类中心的距离大于或等于的点从此类中删除.例如，假设某类中包括个特征点则对的估计值为

               (7)

            (8)

                   (9)

                 (10)

如果，则从该类中删除点

      三、目标描述与遮挡判决方法，对聚类后目标的描述，由每类中的特征点构成的最小凸多边形来描述目标，根据最小凸多边形构成的面积发生变化的思想，建立判决算法，假设由最小凸多边形构成的区域为，其面积，本发明定义为时刻时的估计面积同观测面积之差，表示为

           (11)

当目标没有被遮挡时，为零均值高斯白噪声序列，对的影响可以分阶段考虑：当目标进入遮挡时，会明显地增加；当目标脱离遮挡时，会显著地减小。定义

  且     (12)

  且    (13)

则判决函数为

如果      脱离遮挡    (14)

如果     进入遮挡    (15)

其中，为期望的变化幅值；为判决门限。

本发明的技术效果：

      本发明的新颖性在于，本发明建立了一种对特征光流由粗到细的层级匹配算法，因而具有很好的匹配精度；其次，建立了当目标经历遮挡时，采用了有效的遮挡判决算法，这种算法能够对目标被遮挡和脱离遮挡情况进行判别；第三，建立了线性系统卡尔曼滤波模型，用其滤波算法的估计值作为没有匹配的或被遮挡的特征点的观测值，该方法使得跟踪更具有主动性，而且跟踪精度高，跟踪时间短。

附图说明：

图1为本发明给出的目标特征点描述图与最小凸多边形描述图

图2 为本发明给出的对图象序列第1帧图像计算的特征光流场

图3 为本发明给出的对第1帧图像基于光流分割后由最小凸多边形描述子所确定的目标区域

图4 为本发明给出的对图象序列第4帧9个特征点跟踪的结果

图5 为本发明给出的对第10帧图象跟踪的结果

图6 为本发明给出的对第40帧的跟踪，仅3个特征点保留，其余为预测值

图7 为本发明给出的对第55帧的跟踪，9个特征点全部为预测值

图8 为本发明给出的Jeep序列估计与观测面积曲线。

具体实施方式：

      本实施方式结合图1-8对本发明进行具体介绍：

      1、用D-N角检测器提取特征点，设为灰值图象，经过适当的坐标变换，可以把关于的二阶导数矩阵转化为对角阵

         (1)

其中，为主曲率，由于行列式是坐标变换的不变量，则

        (2)

称为高斯曲率。根据灰度角的定义，角点是一条曲线的过零点，即在局域内求取高斯曲率的正、负极值，沿着正、负极值点对的连线求取使高斯曲率过零的点，即为角点，从微几何学知，曲面上一点的主曲率是曲面在这点所有法曲率中的最大值和最小值。这样，在边界上如果正、负高斯曲率的极值存在，其相应的主方向基本上能够保持一致，而真正的角点则不然，用数学式子来表示如下

或        (3)

其中分别为正、负高斯曲率极值点的旋转角，旋转角由下式确定

             (4)

这样，可以利用和之差的绝对值作为角检测器的一个约束条件，以消除边界上可能出现的虚假角点，得到特征点集

      2、多尺度特征点光流的计算，假设图象序列中某特征点从时刻的图象运动到时刻的图象，为特征点分别沿和轴的偏移量。最佳偏移量的计算可以通过最小化灰度的差值平方和得到

       (5)

为以为中心的窗，对由一阶泰勒级数展开

     (6)

其中，计算误差分别相对于、的偏导数，令它们为零，得到

       (7)

由此可以解出

  (8)

、分别为、的简写，上标为矩阵的转置，-1为矩阵的逆。为获得的估计，可以通过对的初始化，由牛顿-拉富生迭代算法得到

 (9)

上标表示次迭代，表示，当目标的运动在相对较小的范围时，利用这种方法不但可以降低匹配过程中的搜索范围，减少匹配时间，而且具有很高的匹配精度，但是当目标作大的运动时，在单一分辨率层上的运用这种匹配算法获得匹配特征点对的鲁棒性将降低，这是因为选择小的匹配窗口，容易漏匹配，而选择大的匹配窗口，易产生误匹配，匹配过程的搜索时间又很长.

      根据高斯金字塔分解，对图象和图象进行精度递减的层分解得到和，其中，步骤如下：

（1）令，初始化；

（2）在上由公式(9)计算出；

（3）判断，如果，，则结束；   

（4），为抽样算子；

（5），返回（2）；

在实施过程中，选择，特征窗为，最小流速门限为0.1pixel/帧，最后在上可以计算出各特征点的偏移量，即特征光流，同时得到同相匹配的特征点集

      3、特征光流场聚类，同一目标上特征点分布具有一定规律，在光流聚类的基础上，再对目标特征点进行一次空间聚类，衡量两个光流矢量和相似的测度函数为：

       (10)

式中，代表误差的阶。设定一个比较小的阈值，一旦两个光流矢量间的测度函数就将此二光流合并为一类，并计算类的平均光流，当判断某一光流矢量能否归并到某类中时，需衡量该光流与类的平均光流的测度函数，由上一步得到若干个类，同一类中的光流是相似的，但是，由于各种噪声的影响，每类中可能存在噪声点，这些噪声点一般表现为“离群”，为去掉这些离群的点，本发明假设同一类中的点到类中心的距离服从参数为的正态分布，把到类中心的距离大于或等于的点从此类中删除.例如，假设某类中包括个特征点则对的估计值为

               (11)

            (12)

                   (13)

                 (14)

如果，则从该类中删除点

      4、目标描述与遮挡判决，对聚类后目标的描述，由每类中的特征点构成的最小凸多边形来描述目标。图1给出了最小凸多边形描述子的定义，其中图1(a)是由边界上特征点描述的区域图，图1(b)是由最小凸多边形描述子描述的区域图，根据最小凸多边形构成的面积发生变化的思想，建立判决算法。假设由最小凸多边形构成的区域为，其面积，本发明定义为时刻时的估计面积同观测面积之差，表示为

           (15)

当目标没有被遮挡时，为零均值高斯白噪声序列，对的影响可以分阶段考虑：当目标进入遮挡时，会明显地增加；当目标脱离遮挡时，会显著地减小，定义

  且     (16)

  且    (17)

则判决函数为

如果      脱离遮挡    (18)

如果     进入遮挡    (19)

其中，为期望的变化幅值；为判决门限

      5、本发明对从实验室采集的Jeep图象序列进行跟踪实验，图中运动的吉普车从左至右通过遮挡，图2是对图象序列的第一帧计算的特征光流场，每个特征点的流速用锤形线段标出，锤头为起点，线段长度代表流速大小，为清楚起见，图中将流速的矢径沿其方向放大2倍；图3为对第一帧基于光流分割后由最小凸多边形描述子所确定的目标区域，由9个特征点表示；图4是对图象序列第4帧9个特征点跟踪的结果，偏离特征点偏上的十字形交叉线代表由线性卡尔曼滤波估计的特征点位置；图5是对第10帧图象跟踪的结果，可以看出，此时特征点的估计位置与观测位置已经很接近，滤波器进入稳定跟踪状态；图6是对第40帧跟踪的结果，此时目标进入遮挡，6个特征点丢失，但是利用估计值代替观测值后，仍可以得到很好的目标形状；图7是对第55帧的跟踪，目标完全被遮挡，由9个特征点估计值仍然能够确定了目标形状和位置；图8给出了估计面积和观测面积的曲线。

Claims (6)

1.一种多尺度特征光流计算方法. 假设图象序列中某特征点                                                从时刻的图象运动到时刻的图象，为特征点分别沿和轴的偏移量，最佳偏移量的计算可以通过最小化灰度的差值平方和得到

       (1)

为以为中心的窗，对由一阶泰勒级数展开

     (2)

其中，计算误差分别相对于、的偏导数，令它们为零，得到

       (3)

由此可以解出

  (4)

、分别为、的简写，上标为矩阵的转置，-1为矩阵的逆。

2.为获得的估计，可以通过对的初始化，由牛顿-拉富生迭代算法得到

 (5)

上标表示次迭代，表示。

3.当目标的运动在相对较小的范围时，利用这种方法不但可以降低匹配过程中的搜索范围，减少匹配时间，而且具有很高的匹配精度，此外，本发明建立一种高斯金字塔多尺度框架，在该框架下计算特征光流点，可以解决目标作大的运动时，在单一分辨率层上匹配精度降低的问题。

4.特征光流场聚类，同一目标上特征点光流近似相同、不同目标上特征点光流不同，可将光流进行聚类；根据同一目标上特征点分布具有一定规律，在光流聚类的基础上，再对目标特征点进行一次空间聚类，衡量两个光流矢量和相似的测度函数为：

       (6)

式中，代表误差的阶。

5.设定一个比较小的阈值，一旦两个光流矢量间的测度函数就将此二光流合并为一类，并计算类的平均光流；当判断某一光流矢量能否归并到某类中时，需衡量该光流与类的平均光流的测度函数. 由上一步得到若干个类，同一类中的光流是相似的，但是，由于各种噪声的影响，每类中可能存在噪声点，这些噪声点一般表现为“离群”，为去掉这些离群的点，本发明假设同一类中的点到类中心的距离服从参数为的正态分布，把到类中心的距离大于或等于的点从此类中删除.例如，假设某类中包括个特征点则对的估计值为

               (7)

            (8)

                   (9)

                 (10)

如果，则从该类中删除点。

6.     目标描述与遮挡判决方法，对聚类后目标的描述，由每类中的特征点构成的最小凸多边形来描述目标，根据最小凸多边形构成的面积发生变化的思想，建立判决算法，假设由最小凸多边形构成的区域为，其面积，本发明定义为时刻时的估计面积同观测面积之差，表示为

           (11)

当目标没有被遮挡时，为零均值高斯白噪声序列，对的影响可以分阶段考虑：当目标进入遮挡时，会明显地增加；当目标脱离遮挡时，会显著地减小，定义

  且     (12)

  且    (13)

则判决函数为

如果      脱离遮挡    (14)

如果     进入遮挡    (15)

其中，为期望的变化幅值；为判决门限。