CN108921880B - 一种基于多个单跟踪器的视觉多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于多个单跟踪器的视觉多目标跟踪方法。该方法包括基于分类器检测目标和利用多个视觉单目标跟踪器跟踪目标，并在跟踪中利用不同策略来校正目标以及跟踪器，以持续对多个目标的跟踪。首先利用目标分类器对图像进行检测，获得目标，进而为每一个目标分配一个视觉单目标跟踪器，利用多个视觉单目标跟踪器共同完成多目标跟踪的任务。为了应对跟踪器的累积误差、跟踪中目标逃离视野和新生的目标，引入多个单目标跟踪器更新周期和多跟踪器一致性判断周期，周期性地对多个单目标跟踪器进行更新和一致性判断等自适应管理，从而持续对多个目标进行有效跟踪。本发明使跟踪效率得到极大的提升，基本满足多目标实时跟踪的要求。

Description

一种基于多个单跟踪器的视觉多目标跟踪方法

技术领域

本发明属于视觉多目标跟踪领域，具体为一种基于多个单跟踪器的视觉多目标跟踪方法。

背景技术

视觉多目标跟踪技术是计算机视觉的关键技术之一，它在视频监控、灾难现场搜救、军事目标打击以及新兴的自动驾驶等领域都有着广泛应用。

当前，国内外研究的绝大多数是视觉单目标跟踪，视觉多目标跟踪研究的相对较少。现有的视觉多目标跟踪算法，基本都离不开数据关联环节，首先利用目标分类器检测获得目标，然后基于数据关联算法对目标进行跟踪关联，从而实现多目标跟踪；这类方法由于数据关联巨大运算负荷，无法满足多目标实时跟踪的要求。有个别利用跟踪片段置信度和区分性外观学习的多目标跟踪方法，该方法基于跟踪片段的置信度进行跟踪片段和检测结果的局部数据关联或跟踪片段之间的全局数据关联，提出了区分性外观模块学习，实现跟踪过程中不同物体的区分；该方法也离不开数据关联过程，其跟踪帧率通常低于5帧/每秒；由于多目标跟踪中时有发生逃离视野和新生目标的情形，目标外观变化明显，难以获得鲁棒性的目标外观模型。也有基于联合推理的视频多目标跟踪方法，该方法首先视频帧图像进行栅格化处理，然后采用在线检测器以及KLT(Kanade-Lucas-Tomasi Tracking)跟踪算法标定目标的候选位置，将得出的候选位置结果进行量化评分，最后利用联合函数来描述目标跟踪情况并将基于联合函数的最优解作为目标在这一帧的位置，即实现目标的跟踪；该方法中对候选目标的量化评分及联合函数的最优求解过程本质上也是数据关联过程，其KLT跟踪算法与联合函数求解时间复杂度高，难以达到实时性(跟踪帧率通常低于5帧/每秒)。

发明内容

本发明的目的在于克服上述现有技术存在的不足，提出了一种能快速视觉跟踪多目标的基于多个单跟踪器的视觉多目标跟踪方法。

本发明的目的是这样实现的，一种基于多个单跟踪器的视觉多目标跟踪方法，其特征在于，至少包括如下步骤：

步骤1，使用目标分类器对图像进行目标检测，获得目标检测结果；

步骤2，针对步骤1中的目标检测结果，为每个目标分配一个视觉单目标跟踪器，分别对目标同时进行跟踪；

步骤3，进入多个单目标跟踪器更新周期，删除逃离视野的目标的跟踪器；

步骤4，进入多跟踪器刷新及一致性判断周期，维持跟踪并为新生的目标分配新的跟踪器。

所述步骤1，包括如下步骤：

步骤11，打开一个待跟踪视频文件；

步骤12，建立目标计数器和帧计数器；

步骤13，从待跟踪视频文件读入一帧图像；

步骤14，对图像进行平滑滤波以及直方图均衡化处理，消除图像内的噪声并增强图像对比度；

步骤15，利用目标分类器对图像进行目标检测；

步骤16，利用步骤15中目标检测结果更新目标计数器；

步骤17，更新帧计数器；

步骤18，判断当前帧的帧计数器是否达到检测优化阈值T₀，T₀取4～8，未达到，则转向步骤13，若达到，则转向步骤21，分类器目标检测完成，得到目标检测结果

表示第t帧上的目标检测结果集合，上标i表示检测到的目标编号，i取1、2、3、…、n，n表示检测到的目标最大数量，下标t表示帧序号，

x、y表示目标的位置坐标，w、h分别表示目标的宽和高。

所述步骤2，包括如下步骤：

步骤21，将步骤1中目标检测得到目标检测结果

作为n个视觉单目标跟踪器的初始跟踪目标，并对其进行初始化处理；

步骤22，初始化n个卡尔曼滤波器；

步骤23，从待跟踪视频文件中依次读入一帧图像；

步骤24，更新帧计数器；

步骤25，对图像进行平滑滤波以及直方图均衡化处理，消除图像内的噪声并增强图像对比度；

步骤26，利用步骤21中n个视觉单目标跟踪器分别对目标进行独立跟踪，完成多目标跟踪，跟踪结果为

其中

i表示对应的目标编号。并将跟踪结果以矩形框的形式输出到图像中，各个目标之间用不同的颜色加以区分；

步骤27，利用步骤26中n个视觉单目标跟踪器的跟踪结果分别对n个卡尔曼滤波器进行更新；

步骤28，依据帧计数器判断是否进入多个视觉单目标跟踪器更新周期，若是，则转向步骤3，否则转向步骤210，具体多个视觉单目标跟踪器更新周期判断方法如下：

当前帧计数器结果能否被多跟踪器更新周期阈值T₁整除，若是，进入更新周期，否则，不进行多个视觉单目标跟踪器更新；T₁单位为帧数，取10～20；

步骤29，依据帧计数器判断是否进入多跟踪器刷新及一致性判断周期，若是，则转向步骤4，否则转向步骤210，具体多跟踪器刷新及一致性判断周期判断方法如下：

当前帧计数器结果能否被多跟踪器刷新及一致性判断周期阈值T₂整除，若是，则进入更新周期，否则，不进行多跟踪器刷新及一致性判断；T₂单位为帧数，取30～50，并且通常大于步骤27中的阈值T₁；

步骤210，判断目标跟踪是否完成，若是，则转向步骤23，否则，转向步骤211；

步骤211，跟踪结束。

所述步骤3，包括如下步骤：

步骤31，分别以步骤26中卡尔曼滤波器预测的n个矩形图像区域的质心为中心，长和宽分别扩大α倍，α取3.0～5.0，得到扩大后的区域Rⁱ，其中Rⁱ＝[x y w h]，i表示扩大的区域编号；

步骤32，利用目标分类器对步骤31中得到扩大后区域进行目标检测，得到目标检测结果Gⁱ，其中Gⁱ＝[x y w h]，i表示区域编号；

步骤33，对步骤32中每个扩大区域中的检测结果按如下方式进行筛选：

(I)如果该区域未检测到目标，即认为该目标逃离视野，删除对应的视觉单目标跟踪器；

(II)如果检测到目标区域Gⁱ，则按下式进行计算以获得新的区域；

其中，

在步骤26中得到，Area()表示计算区域的面积，∩表示两个区域的求交集运算，∪表示两个区域的求并集运算，Sⁱ表示编号为i的目标检测结果区域重叠率；Bⁱ＝[xy w h]表示更新后的目标区域，依据区域重叠率Sⁱ来自适应更新；

步骤34，依据步骤33中得到结果删除逃离视野的目标的跟踪器，对于依然存在目标的跟踪器，校正目标区域，并保持该跟踪器继续对目标进行跟踪。

所述步骤4，包括如下步骤：

步骤41，利用目标分类器对整副图像进行一次目标检测，得到目标检测结果{Qⁱ}，Qⁱ＝[x y w h]，上标i表示目标区域编号，i取1、2、3、…、m，m表示检测到的目标最大数量；

步骤42，根据最近距离原则，为步骤26中每一个跟踪器分配一个目标区域，分配的范围是步骤41中得到目标检测结果集合{Qⁱ}；

步骤43，对于经过步骤41中目标检测得到的未分配跟踪器的目标，即认为该目标为新生目标，为该新生目标初始化一个新的跟踪器进行跟踪。

步骤44，以步骤43得到结果来为新生目标增加新的跟踪器，对于已有跟踪目标的跟踪器，以步骤42中的结果校正目标区域，并保持该跟踪器对该目标进行持续跟踪。

本发明的优点是：使用目标分类器对待跟踪视频进行目标检测，使用多个视觉单目标跟踪器对每一个目标进行独立跟踪，以及多单目标跟踪器更新、多跟踪器刷新及一致性判断过程。对待跟踪视频进行目标检测，基于机器学习离线训练所跟踪目标的样本，产生目标分类器，并利用该分类器进行目标检测，获得目标区域；其后利用视觉单目标跟踪器对每一个目标进行单独跟踪以及卡尔曼滤波器预测，以完成多目标跟踪任务，在这个过程中，采用两个动态策略来对多个视觉单目标跟踪器进行管理；其一，多个单目标跟踪器更新阶段，每间隔T₁帧，利用目标分类器对卡尔曼滤波器预测的区域进行目标检测，依据目标检测结果来调整目标跟踪器，减少跟踪过程的累积误差以及应对逃离视野的目标；其二，多跟踪器刷新及一致性判断阶段，每间隔T₂帧，利用目标分类器对整副图像进行一次目标检测，依据目标检测结果来更新目标跟踪器，进一步降低跟踪累积误差的影响和应对新生的目标。本发明利用多个视觉单目标跟踪器完成多目标跟踪，是一种多目标跟踪的新思路，避免了跟踪数据关联，对跟踪速率有明显的提高。

本发明的有益效果是：充分利用单目标跟踪器的高精度、高速度以及高鲁棒性的优势，避免了传统多目标跟踪器鲁棒性差、时间复杂度高、严重依赖目标检测结果的缺陷，提供了一种新的基于多个视觉单目标跟踪器进行多目标跟踪的算法，并且能在跟踪的过程中对单目标跟踪器进行自适应动态校正和更新，以应对多目标跟踪中新生和逃离视野的目标，对多个目标进行实时跟踪。

下面结合实施例附图对本发明作进一步说明：

附图说明

图1是本发明实施例流程示意图；

图2是本发明实施例中基于目标分类器的目标检测流程图；

图3是本发明实施例中基于多个视觉单目标跟踪器的多目标跟踪流程图；

图4是本发明实施例中多个单目标跟踪器更新过程流程图；

图5是本发明实施例中多跟踪器刷新及一致性判断流程图。

具体实施方式

如图1所示，一种基于多个单跟踪器的视觉多目标跟踪流程图步骤特征是：

步骤1，使用目标分类器对图像进行目标检测，获得目标检测结果；

步骤2，针对步骤1中的目标检测结果，为每个目标分配一个视觉单目标跟踪器，分别对目标同时进行跟踪；

步骤3，进入多个单目标跟踪器更新周期，删除逃离视野的目标的跟踪器；

步骤4，进入多跟踪器刷新及一致性判断周期，维持跟踪并为新生的目标分配新的跟踪器。

图1实施例流程中其中的步骤1，具体包括如下步骤：图2所示，

步骤11，打开一个待跟踪视频文件；

步骤12，建立目标计数器和帧计数器；

步骤13，从待跟踪视频文件读入一帧图像；

步骤14，对图像进行平滑滤波以及直方图均衡化处理，消除图像内的噪声并增强图像对比度；

步骤15，利用目标分类器对图像进行目标检测；

步骤16，利用步骤15中目标检测结果更新目标计数器；

步骤17，更新帧计数器；

步骤18，判断当前帧的帧计数器是否达到检测优化阈值T₀(实验结果展示，T₀取4～8时检测效果较好)，未达到，则转向步骤13，若达到，则转向步骤21，分类器目标检测完成，得到目标检测结果

表示第t帧上的目标检测结果集合，上标i表示检测到的目标编号，i取1、2、3、…、n，n表示检测到的目标最大数量，下标t表示帧序号，

x、y表示目标的位置坐标，w、h分别表示目标的宽和高；

如图3所示，所述步骤2，包括如下步骤，其特征是：

步骤21，将步骤1中目标检测得到目标检测结果

作为n个视觉单目标跟踪器的初始跟踪目标，并对其进行初始化处理；

步骤22，初始化n个卡尔曼滤波器；

步骤23，从待跟踪视频文件中依次读入一帧图像；

步骤24，更新帧计数器；

步骤25，对图像进行平滑滤波以及直方图均衡化处理，消除图像内的噪声并增强图像对比度；

步骤26，利用步骤21中n个视觉单目标跟踪器分别对目标进行独立跟踪，完成多目标跟踪，跟踪结果为

其中

i表示对应的目标编号。并将跟踪结果以矩形框的形式输出到图像中，各个目标之间用不同的颜色加以区分；

步骤27，利用步骤26中n个视觉单目标跟踪器的跟踪结果分别对n个卡尔曼滤波器进行更新；

步骤28，依据帧计数器判断是否进入多个视觉单目标跟踪器更新周期，若是，则转向步骤3，否则转向步骤210，具体多个视觉单目标跟踪器更新周期判断方法如下：

当前帧计数器结果能否被多跟踪器更新周期阈值T₁整除，若是，进入更新周期，否则，不进行多个视觉单目标跟踪器更新；T₁单位为帧数，实验中，一般取10～20时效果较好；

步骤29，依据帧计数器判断是否进入多跟踪器刷新及一致性判断周期，若是，则转向步骤4，否则转向步骤210，具体多跟踪器刷新及一致性判断周期判断方法如下：

当前帧计数器结果能否被多跟踪器刷新及一致性判断周期阈值T₂整除，若是，则进入更新周期，否则，不进行多跟踪器刷新及一致性判断；T₂单位为帧数，实验中，一般取30～50时效果较好，并且通常大于步骤27中的阈值T₁；

步骤210，判断目标跟踪是否完成，若是，则转向步骤23，否则，转向步骤211；

步骤211，跟踪结束。

如图4所示，所述步骤3，包括如下步骤，其特征是：

步骤31，分别以步骤26中卡尔曼滤波器预测的n个矩形图像区域的质心为中心，长和宽分别扩大α倍(实验中，α一般取3.0～5.0时效果较好)，得到扩大后的区域Rⁱ，其中Rⁱ＝[x y w h]，i表示扩大的区域编号；

步骤32，利用目标分类器对步骤31中得到扩大后区域进行目标检测，得到目标检测结果Gⁱ，其中Gⁱ＝[x y w h]，i表示区域编号；

步骤33，对步骤32中每个扩大区域中的检测结果按如下方式进行筛选：

(I)如果该区域未检测到目标，即认为该目标逃离视野，删除对应的视觉单目标跟踪器；

(II)如果检测到目标区域Gⁱ，则按下式进行计算以获得新的区域；

其中，

在步骤26中得到，Area()表示计算区域的面积，∩表示两个区域的求交集运算，∪表示两个区域的求并集运算，Sⁱ表示编号为i的目标检测结果区域重叠率；Bⁱ＝[xy w h]表示更新后的目标区域，依据区域重叠率Sⁱ来自适应更新；

步骤34，依据步骤33中得到结果删除逃离视野的目标的跟踪器，对于依然存在目标的跟踪器，校正目标区域，并保持该跟踪器继续对目标进行跟踪。

如图5所示，所述步骤4，包括如下步骤，其特征是：

步骤41，利用目标分类器对整副图像进行一次目标检测，得到目标检测结果{Qⁱ}，Qⁱ＝[x y w h]，上标i表示目标区域编号，i取1、2、3、…、m，m表示检测到的目标最大数量；

步骤42，根据最近距离原则，为步骤26中每一个跟踪器分配一个目标区域，分配的范围是步骤41中得到目标检测结果集合{Qⁱ}；

步骤43，对于经过步骤41中目标检测得到的未分配跟踪器的目标，即认为该目标为新生目标，为该新生目标初始化一个新的跟踪器进行跟踪。

步骤44，以步骤43得到结果来为新生目标增加新的跟踪器，对于已有跟踪目标的跟踪器，以步骤42中的结果校正目标区域，并保持该跟踪器对该目标进行持续跟踪。

综上所述，本发明通过在跟踪过程中周期性地进行多单目标跟踪器更新、多跟踪器刷新及一致性判断等自适应管理，实现对多个目标的持续与实时跟踪。避免了多目标跟踪中的数据关联环节，利用高性能视觉单目标跟踪器逐个跟踪。

本发明设计了相应的多跟踪器自适应管理策略，实现了多目标持续实时跟踪，对于5个左右的目标情形，跟踪帧率可达20帧/每秒。

本发明步骤中没有详细叙述的部分属本领域公知的常用手段及算法，这里不一一叙述。

Claims (2)

1.一种基于多个单跟踪器的视觉多目标跟踪方法，其特征在于，至少包括如下步骤：

步骤1，使用目标分类器对图像进行目标检测，获得目标检测结果；

步骤2，针对步骤1中的目标检测结果，为每个目标分配一个视觉单目标跟踪器，分别对目标同时进行跟踪；

步骤3，进入多个单目标跟踪器更新周期，删除逃离视野的目标的跟踪器；

步骤4，进入多跟踪器刷新及一致性判断周期，维持跟踪并为新生的目标分配新的跟踪器；

所述步骤2，包括如下步骤：

步骤21，将步骤1中目标检测得到目标检测结果{D_t ⁱ}作为n个视觉单目标跟踪器的初始跟踪目标，并对其进行初始化处理；

步骤22，初始化n个卡尔曼滤波器；

步骤23，从待跟踪视频文件中依次读入一帧图像；

步骤24，更新帧计数器；

步骤25，对图像进行平滑滤波以及直方图均衡化处理，消除图像内的噪声并增强图像对比度；

步骤26，利用步骤21中n个视觉单目标跟踪器分别对目标进行独立跟踪，完成多目标跟踪，跟踪结果为

其中

i表示对应的目标编号；并将跟踪结果以矩形框的形式输出到图像中，各个目标之间用不同的颜色加以区分；

步骤27，利用步骤26中n个视觉单目标跟踪器的跟踪结果分别对n个卡尔曼滤波器进行更新；

步骤28，依据帧计数器判断是否进入多个视觉单目标跟踪器更新周期，若是，则转向步骤3，否则转向步骤210，具体多个视觉单目标跟踪器更新周期判断方法如下：

当前帧计数器结果能否被多跟踪器更新周期阈值T₁整除，若是，进入更新周期，否则，不进行多个视觉单目标跟踪器更新；T₁单位为帧数，取10～20；

步骤29，依据帧计数器判断是否进入多跟踪器刷新及一致性判断周期，若是，则转向步骤4，否则转向步骤210，具体多跟踪器刷新及一致性判断周期判断方法如下：

当前帧计数器结果能否被多跟踪器刷新及一致性判断周期阈值T₂整除，若是，则进入更新周期，否则，不进行多跟踪器刷新及一致性判断；T₂单位为帧数，取30～50，并且大于步骤28中的阈值T₁；

步骤210，判断目标跟踪是否完成，若是，则转向步骤23，否则，转向步骤211；

步骤211，跟踪结束；

所述步骤3，包括如下步骤：

步骤31，分别以步骤27中卡尔曼滤波器预测的n个矩形图像区域的质心为中心，长和宽分别扩大α倍，α取3.0～5.0，得到扩大后的区域Rⁱ，其中Rⁱ＝[x y w h]，i表示扩大的区域编号；

步骤32，利用目标分类器对步骤31中得到扩大后区域进行目标检测，得到目标检测结果Gⁱ，其中Gⁱ＝[x y w h]，i表示区域编号；

步骤33，对步骤32中每个扩大区域中的检测结果按如下方式进行筛选：

(I)如果该区域未检测到目标，即认为该目标逃离视野，删除对应的视觉单目标跟踪器；

(II)如果检测到目标区域Gⁱ，则按下式进行计算以获得新的区域；

其中，

在步骤26中得到，Area()表示计算区域的面积，∩表示两个区域的求交集运算，∪表示两个区域的求并集运算，Sⁱ表示编号为i的目标检测结果区域重叠率；Bⁱ＝[x y wh]表示更新后的目标区域，依据区域重叠率Sⁱ来自适应更新；

步骤34，依据步骤33中得到结果删除逃离视野的目标的跟踪器，对于依然存在目标的跟踪器，校正目标区域，并保持该跟踪器继续对目标进行跟踪；

所述步骤4，包括如下步骤：

步骤41，利用目标分类器对整副图像进行一次目标检测，得到目标检测结果{Qⁱ}，Qⁱ＝[x y w h]，上标i表示目标区域编号，i取1、2、3、…、m，m表示检测到的目标最大数量；

步骤42，根据最近距离原则，为步骤26中每一个跟踪器分配一个目标区域，分配的范围是步骤41中得到目标检测结果集合{Qⁱ}；

步骤43，对于经过步骤41中目标检测得到的未分配跟踪器的目标，即认为该目标为新生目标，为该新生目标初始化一个新的跟踪器进行跟踪；

步骤44，以步骤43得到结果来为新生目标增加新的跟踪器，对于已有跟踪目标的跟踪器，以步骤42中的结果校正目标区域，并保持该跟踪器对该目标进行持续跟踪。

2.根据权利要求1所述的一种基于多个单跟踪器的视觉多目标跟踪方法，其特征在于：所述步骤1，包括如下步骤：

步骤11，打开一个待跟踪视频文件；

步骤12，建立目标计数器和帧计数器；

步骤13，从待跟踪视频文件读入一帧图像；

步骤14，对图像进行平滑滤波以及直方图均衡化处理，消除图像内的噪声并增强图像对比度；

步骤15，利用目标分类器对图像进行目标检测；

步骤16，利用步骤15中目标检测结果更新目标计数器；

步骤17，更新帧计数器；

步骤18，判断当前帧的帧计数器是否达到检测优化阈值T₀，T₀取4～8，未达到，则转向步骤13，若达到，则转向步骤21，分类器目标检测完成，得到目标检测结果

表示第t帧上的目标检测结果集合，上标i表示检测到的目标编号，i取1、2、3、…、n，n表示检测到的目标最大数量，下标t表示帧序号，

x、y表示目标的位置坐标，w、h分别表示目标的宽和高。

Images