CN102999920A - 基于最近邻分类器和均值漂移的目标跟踪方法 - Google Patents

Abstract

本发明公开一种基于最近邻分类器和均值漂移的目标跟踪方法，主要解决现有技术中由于目标运动模糊无法捕获特征点和跟踪漂移无法恢复而导致的跟踪失败问题。其实现步骤为：(1)输入视频的第一帧，并用矩形框标记出待跟踪目标；(2)对目标模型初始化；(3)确定新一帧视频图像中目标搜索区域；(4)提取搜索区域内的尺度不变sift特征与目标模型匹配，同时用均值漂移模型跟踪目标；(5)对步骤(4)的结果进行决策级融合作为目标跟踪结果输出；(6)更新没有发生遮挡的目标模型；(7)循环执行步骤(3)~步骤(6)，直至视频结束。本发明与现有技术相比在目标快速运动甚至出现运动模糊或者发生遮挡情况下提高了目标跟踪的准确性。

Description

基于最近邻分类器和均值漂移的目标跟踪方法

技术领域

本发明属于图像处理技术领域，涉及视频目标跟踪方法，可应用于智能监控、目标跟踪和人机界面。

背景技术

序列图像的目标跟踪是图像处理技术应用的重要组成部分，它是指通过对输入的的视频图像序列进行分析，确定各帧中目标所在的位置，获得相关的参数。目标跟踪是计算机视觉中关键技术之一，其融合了图像处理、模式识别和人工智能等领域，在机器人视觉导航、安全监测、交通管制、视频压缩以及气象分析等许多方面都有广泛应用。如军事方面，已被成功地应用于武器的成像制导、军事侦察和监视等。民用方面，如视觉监控，已被广泛地应用于社会生活的各方面。目标跟踪可应用于社区和重要设施的保安监控；用于智能交通系统中进行车辆的实时追踪，可以得到车流量、车型、车速、车流密度等等许多有价值的交通流参数，同时还可以检测事故或故障等突发状况。

广州灵视信息科技有限公司提出的专利申请“一种基于图像块特征的目标跟踪方法及跟踪系统”(专利申请号CN201110267278.1，公开号CN102324030A)公开了一种基于图像块特征的目标跟踪方法及跟踪系统。该跟踪方法包括：根据基准目标图像块和背景图像块的特征建立基准目标模板，将待跟踪目标的特征与基准目标图像块的特征进行相似度比较，根据相似度比较结果确定待跟踪目标的位置。该方法虽然对正常运动情况下的目标有一定的跟踪效果，但是仍然存在的不足是：当目标出现遮挡或者快速变化这些相对多变的运动时，会导致跟踪的失败。

上海大学提出的专利申请“一种复杂场景下的运动目标跟踪方法”(专利申请号CN201110043782.3，公开号CN102110296A)，公开了一种复杂场景下的运动目标跟踪方法。本方法包括：对指定的图像区域采用背景加权的方法统计直方图，在跟踪过程中对每帧图像利用贝叶斯公式建立背景的更新颜色概率分布图,实时地更新搜索区域内的目标颜色概率,对适应背景的更的颜色概率分布图利用Camshift算法迭代出质心位置。该方法虽然能够在复杂场景下对目标进行较准确的跟踪，但当运动目标发生遮挡，跟踪就会发生漂移且无法恢复正常，导致跟踪失败。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于最近邻分类器和均值漂移的目标跟踪方法，以提高目标跟踪对目标发生遮挡和运动快速变化的鲁棒性。

实现本发明的技术方案是：在第一帧标记出待跟踪目标，并初始化前景和背景模型，将特征匹配和均值漂移meanshift算法的跟踪进行决策级的融合作为最终的跟踪结果，同时通过引入的遮挡判定思想，当目标发生遮挡时对目标模型不更新，提高目标模板更新的准确性，以完成目标的正确跟踪。具体步骤包括如下：

(1)输入一段视频中的第一帧，并用矩形框标记出待跟踪目标，分别用g和h表示该矩形框的长和宽；

(2)模型初始化：

2a)提取步骤(1)中视频第一帧的尺度不变sift特征，并用待跟踪目标的尺度不变sift特征初始化为目标模型，并计算该目标模型的颜色直方图，用第一帧中其余的尺度不变sift特征初始化为背景模型；

2b)用步骤(1)中待跟踪目标的中心位置初始化均值漂移meanshift模型；

(3)确定新一帧视频图像中目标搜索区域；

(4)提取步骤(3)中得到的目标搜索区域内的尺度不变sift特征，根据目标搜索区域和上一帧的目标跟踪结果，通过均值漂移meanshift模型获得当前帧的目标中心位置，得到一个面积为A的目标框；

(5)利用最近邻分类器对步骤(4)中提取的尺度不变sift特征和步骤2a)得到的初始化目标模型及背景模型进行特征点匹配，得到一个面积为B的目标框，其中成功匹配点的数目记为n；

(6)输出当前帧的目标跟踪结果：

6a)根据步骤(4)中得到的面积为A的目标框和步骤(5)中得到的面积为B的目标框，计算两个目标框的重叠面积C，得到面积重叠率P＝C/(A+B-C)；

6b)将面积重叠率P和成功匹配点的数目n分别与设定的阈值T和阈值N进行比较，如果成功匹配点的数目n大于阈值N＝35，则将面积为B的目标框作为当前帧的目标跟踪结果输出；如果n＜N,且面积重叠率P大于阈值T＝0.7，则将两个目标框对应坐标取均值作为当前帧的目标跟踪结果输出，否则将面积为A的目标框作为当前帧的目标跟踪结果输出，并计算目标跟踪结果的颜色直方图。

(7)判断目标是否被遮挡：

7a)根据步骤2a)得到的目标模型的颜色直方图和步骤(6)得到的目标跟踪结果的颜色直方图得出遮挡因子Occ；

7b)将遮挡因子Occ与阈值T₁进行比较，如果遮挡因子Occ小于阈值T₁＝0.6表示目标没有发生遮挡，则提取当前帧的目标跟踪结果的尺度不变sift特征，将其作为更新的目标模型，并计算此时目标模型的颜色直方图；如果遮挡因子Occ大于阈值T₁表示目标发生了遮挡，则目标模型不予更新；

(8)循环执行步骤(3)~步骤(7)，直到视频的最后一帧。

本发明与现有技术相比有以下优点：

第一，本发明采用了特征匹配和均值漂移模型，并在决策级对它们进行融合，在目标跟踪过程中，特征点匹配约束均值漂移模型防止其跟踪发生漂移，同时当目标因快速运动出现运动模糊而无法捕获目标的特征时，用均值漂移模型约束特征点匹配防止跟踪失败，克服了现有技术中因跟踪发生漂移以及运动模糊无法捕获目标特征而导致跟踪失败的缺点，提高了目标跟踪的准确性。

第二，本发明引入了遮挡判定的思想，当目标被遮挡时，不更新目标模型，避免了错误模板的积累，解决了现有技术中目标模板更新错误的问题，提高了目标跟踪的效率。

附图说明

图1为本发明的流程图；

图2为本发明输入的第一帧视频图像并用矩形框标记出待跟踪目标的示意图；

图3为本发明输入新一帧视频图像的跟踪结果；

图4为本发明在目标被遮挡情况下的仿真效果图；

图5为本发明在目标快速运动情况下的仿真效果图；

图6为本发明对目标的搜索区域提取尺度不变sift特征图。

具体实施措施

参照图1，本发明的具体实施过程如下：

步骤1.输入一段视频中的第一帧，并用矩形框标记出待跟踪目标，分别用g和h表示该矩形框的长和宽，本发明实例输入一段视频序列如图2，它是一段玩具运动视频的第一帧图像，图2中矩形框框定的区域作为待跟踪的目标。

步骤2.对目标模型、背景模型和均值漂移meanshift模型进行初始化：

2a)提取步骤1中视频第一帧图2的尺度不变sift特征，并用待跟踪目标的尺度不变sift特征初始化为目标模型，用第一帧中其余的尺度不变sift特征初始化为背景模型，并计算初始化后目标模型的颜色直方图，即对红-绿-蓝RGB颜色的目标模型，将红色R通道均匀量化为16个小区间，将绿色G通道均匀量化为16个小区间，将蓝色B通道均匀量化为16个小区间，统计目标模型中的颜色落在每个小区间内的像素数量得到颜色直方图；

2b)用步骤1中待跟踪目标的中心位置初始化均值漂移meanshift模型，即根据待跟踪目标中心位置的偏移量，移动该点到其偏移量均值的位置处，然后以此位置为新的起始点，循环迭代，直至收敛到极大值点处。

步骤3.确定新一帧视频图像中目标搜索区域：

在输入的新一帧视频图像上，根据上一帧视频图像的目标跟踪结果，将标记目标的矩形框的长和宽分别加上2×min(g,h)得到一个新的矩形框，并将该扩大后的矩形框区域作为目标搜索区域，其中，min(g,h)表示取g和h中值较小的一项。

步骤4.提取步骤3中得到的目标搜索区域内的尺度不变sift特征，如图6所示，其中图6上的点表示提取的尺度不变sift特征，根据目标搜索区域和上一帧的目标跟踪结果，通过均值漂移meanshift模型获得当前帧的目标中心位置，得到一个面积为A的目标框。

步骤5.利用最近邻分类器对步骤4中提取的尺度不变sift特征和步骤2a)得到的初始化目标模型及背景模型进行特征点匹配，根据有效的子框搜索得到一个面积为B的目标框，其中成功匹配点的数目记为n。

步骤6.输出当前帧的目标跟踪结果：

6a)根据步骤4中得到的面积为A的目标框和步骤5中得到的面积为B的目标框，计算两个目标框的重叠面积C，得到面积重叠率P＝C/(A+B-C)；

6b)将面积重叠率P和成功匹配点的数目n分别与设定的阈值T和阈值N比较，如果成功匹配点的数目n大于阈值N＝35，则将面积为B的目标框作为当前帧的目标跟踪结果输出，如图3所示；如果n＜N,且面积重叠率P大于阈值T＝0.7，则将两个目标框对应坐标取均值作为当前帧的目标跟踪结果输出，如图4所示，否则将面积为A的目标框作为当前帧的目标跟踪结果输出，如图5所示，并计算目标跟踪结果的颜色直方图，它与步骤2a)采用的计算颜色直方图的方法相同。

步骤7.判断目标是否被遮挡：

7a)根据步骤2a)得到的目标模型的颜色直方图和步骤6得到的目标跟踪结果的颜色直方图得出遮挡因子Occ；

7b)将遮挡因子Occ与阈值T₁进行比较，如果遮挡因子Occ小于阈值T₁＝0.6表示目标没有发生遮挡，则提取当前帧的目标跟踪结果的尺度不变sift特征，将其作为更新的目标模型，并计算此时目标模型的颜色直方图，它与步骤2a)采用的计算颜色直方图的方法相同；如果遮挡因子Occ大于阈值T₁表示目标发生了遮挡，则目标模型不予更新。

步骤8.循环执行步骤3~步骤7，直到视频的最后一帧。

本发明的效果可通过以下仿真进一步说明：

仿真内容，首先，输入一段玩具运动视频的第一帧图像如图2，其中图2中矩形框框定的区域为待跟踪目标，提取待跟踪目标的尺度不变sift特征建立目标模型；其次，提取当前帧中搜索区域的尺度不变sift特征，与目标模型进行匹配，同时运用均值漂移meanshift模型跟踪目标，然后对特征匹配结果和均值漂移meanshift模型跟踪结果进行决策级融合，并将融合结果作为目标跟踪的结果，当目标在普通无障碍情况下运动时，输出的目标跟踪结果如图3所示，当目标发生遮挡时，输出的目标跟踪结果如图4所示，当目标快速运动出现运动模糊时，输出的目标跟踪结果如图5所示；最后，启动遮挡判断装置，依据判断如果目标没有发生遮挡，则更新目标模型，循环执行上述跟踪步骤直到视频的最后一帧。

从图3、图4和图5所示的实验结果表明，本发明能够对发生遮挡和以及快速运动甚至出现运动模糊的目标实现有效跟踪。

Claims (4)

1.一种基于最近邻分类器和均值漂移的目标跟踪方法，包括以下步骤：

(1)输入一段视频中的第一帧，并用矩形框标记出待跟踪目标，分别用g和h表示该矩形框的长和宽；

(2)模型初始化：

2a)提取步骤(1)中视频第一帧的尺度不变sift特征，并用待跟踪目标的尺度不变sift特征初始化为目标模型，并计算该目标模型的颜色直方图，用第一帧中其余的尺度不变sift特征初始化为背景模型；

2b)用步骤(1)中待跟踪目标的中心位置初始化均值漂移meanshift模型；

(3)确定新一帧视频图像中目标搜索区域；

(4)提取步骤(3)中得到的目标搜索区域内的尺度不变sift特征，根据目标搜索区域和上一帧的目标跟踪结果，通过均值漂移meanshift模型获得当前帧的目标中心位置，得到一个面积为A的目标框；

(5)利用最近邻分类器对步骤(4)中提取的尺度不变sift特征和步骤2a)得到的初始化目标模型及背景模型进行特征点匹配，得到一个面积为B的目标框，其中成功匹配点的数目记为n；

(6)输出当前帧的目标跟踪结果：

6a)根据步骤(4)中得到的面积为A的目标框和步骤(5)中得到的面积为B的目标框，计算两个目标框的重叠面积C，得到面积重叠率P＝C/(A+B-C)；

6b)将面积重叠率P和成功匹配点的数目n分别与设定的阈值T和阈值N进行比较，如果成功匹配点的数目n大于阈值N＝35，则将面积为B的目标框作为当前帧的目标跟踪结果输出；如果n＜N,且面积重叠率P大于阈值T＝0.7，则将两个目标框对应坐标取均值作为当前帧的目标跟踪结果输出，否则将面积为A的目标框作为当前帧的目标跟踪结果输出，并计算目标跟踪结果的颜色直方图。

(7)判断目标是否被遮挡：

7a)根据步骤2a)得到的目标模型的颜色直方图和步骤(6)得到的目标跟踪结果的颜色直方图得出遮挡因子Occ；

7b)将遮挡因子Occ与阈值T₁进行比较，如果遮挡因子Occ小于阈值T₁＝0.6表示目标没有发生遮挡，则提取当前帧的目标跟踪结果的尺度不变sift特征，将其作为更新的目标模型，并计算此时目标模型的颜色直方图；如果遮挡因子Occ大于阈值T₁表示目标发生了遮挡，则目标模型不予更新；

(8)循环执行步骤(3)~步骤(7)，直到视频的最后一帧。

2.根据权利要求1所述的基于最近邻分类器和均值漂移的目标跟踪方法，所述步骤2a)、步骤(4)和步骤7b)中的颜色直方图，是通过计算图像中颜色的像素点数量得到，即对红-绿-蓝RGB颜色的图像模型，将红色R通道均匀量化为16个小区间，将绿色G通道均匀量化为16个小区间，将蓝色B通道均匀量化为16个小区间，统计图像模型中的颜色落在每个小区间内的像素数量得到颜色直方图。

3.根据权利要求1所述的基于最近邻分类器和均值漂移的目标跟踪方法，所述步骤2b)和步骤6b)中的均值漂移meanshift模型，是运用迭代运算寻找概率密度的极大值，即根据待跟踪目标中心位置的偏移量，移动该点到其偏移量均值的位置处，然后以此位置为新的起始点，循环迭代，直至收敛到极大值点处。

4.根据权利要求1所述的基于最近邻分类器和均值漂移的目标跟踪方法，所述步骤(3)的目标搜索区域，是在新一帧视频图像上，根据上一帧视频图像的目标跟踪结果，将标记目标的矩形框的长和宽分别加上2×min(g,h)得到新的矩形框，并将该扩大后的矩形框区域作为目标搜索区域，其中，min(g,h)表示取g和h中值较小的一项。

Images