CN104240265A - 一种基于全局约束的多目标跟踪方法和系统 - Google Patents

Abstract

本申请公开了一种基于全局约束的多目标跟踪方法和系统，包括，建立前景列表：对前景图像进行形态学处理和连通域分析，获取前景目标，并根据前景目标建立前景列表；建立跟踪列表：通过搜索模型S的极大值，模型S包括检测模型W和几何约束ε，获取当前帧跟踪目标，并根据当前帧跟踪目标建立跟踪列表；获取新跟踪目标：将前景列表的目标融合于跟踪列表中，两列表中不重叠的目标作为新跟踪目标，将新跟踪目标加入跟踪列表内；更新多目标跟踪模型：利用正负样本初始化跟踪列表的新跟踪目标的检测模型W和更新已有的跟踪目标的检测模型W，并更新跟踪目标之间几何约束ε；通过几何约束ε和检测模型W相结合的方式跟踪，使得本申请的跟踪方法更加稳定。

Description

一种基于全局约束的多目标跟踪方法和系统

技术领域

本申请涉及智能视频监控领域，具体涉及一种基于全局约束的多目标跟踪方法和系统。

背景技术

基于视频序列完成多目标的检测与正确识别跟踪是机器视觉领域的一个重要研究课题，它在智能视频安全监控领域、医学智能分析等领域都发挥着举足轻重的作用，目前对多目标跟踪的研究已成为热点，但现有的多目标跟踪仅仅是多个单目标跟踪的叠加。

发明内容

本申请提供一种基于全局约束的多目标跟踪方法和系统。

根据本申请的第一方面，本申请提供一种基于全局约束的多目标跟踪方法，包括：

建立前景列表：对前景图像进行形态学处理和连通域分析，获取前景目标，并根据所述前景目标建立前景列表；

建立跟踪列表：通过搜索模型S的极大值，模型S包括检测模型W和几何约束ε，获取当前帧跟踪目标，并根据当前帧跟踪目标建立跟踪列表；

获取新跟踪目标：将前景列表的目标融合于跟踪列表中，并将前景列表与跟踪列表不重叠的目标作为新跟踪目标，并将新跟踪目标加入跟踪列表内；

更新多目标跟踪模型：利用正负样本初始化所述跟踪列表的新跟踪目标的检测模型W，更新所述跟踪列表中已有的跟踪目标的检测模型W，并更新跟踪目标之间的几何约束ε。

根据本申请的第二方面，本申请提供一种基于全局约束的多目标跟踪系统，包括前景检测模块、多目标跟踪模块、目标融合模块和在线学习模块；

前景检测模块用于对前景图像进行形态学处理和连通域分析，获取前景目标，并根据前景目标建立前景列表；

多目标跟踪模块用于通过搜索模型S的极大值，模型S包括检测模型W和几何约束ε，获取当前帧跟踪目标，并根据当前帧跟踪目标建立跟踪列表；

目标融合模块用于将前景列表的目标融合于跟踪列表中，并将前景列表与跟踪列表不重叠的目标作为新跟踪目标，并将新跟踪目标加入跟踪列表内；

在线学习模块用于利用正负样本初始化跟踪列表的新跟踪目标的检测模型W，更新跟踪列表中已有的跟踪目标的检测模型W，并更新跟踪目标之间的几何约束ε。

本申请的有益效果是：本申请提供的基于全局约束的多目标跟踪方法通过检测模型W和几何约束ε相结合对各个跟踪目标进行快速跟踪，同时，利用目标之间的几何约束关系对各个目标跟踪的结果进行全局约束，并通过更新检测模型W，从而使得本申请提供的多目标跟踪方法更加稳定。

附图说明

图1为本申请多目标跟踪方法流程图；

图2为本申请建立跟踪列表流程图；

图3为本申请多目标跟踪过程中微搜索的示意图；

图4为本申请多目标跟踪过程的示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

如图1所示，本例提供的基于全局约束的多目标跟踪方法包括如下步骤：

S10：建立前景列表D。

本步骤具体包括：利用ViBe建立背景模型，获得前景图像；对前景图像进行形态学处理和连通域分析，获取前景目标，并根据前景目标建立前景列表；该前景目标具体为每个连通域的位置和大小的信息，并用RT表示该位置和大小信息，如前景列表用D表示，则n个前景目标放入前景列表D内，表示为：D＝{RT1，RT2，…，RTn}。

S20：建立跟踪列表T。

通过搜索模型S的极大值，模型S包括检测模型W和几何约束ε，获取当前帧跟踪目标，并根据当前帧跟踪目标建立跟踪列表，其中，检测模型W采用在线SVM，几何约束ε采用目标之间的相对位移，本例的模型S的表达式为： $S=\underset{i\∈V}{\mathrm{\Σ}}{W}_i^T\mathrm{\Φ}(F,{\mathrm{RT}}_i)-\underset{(i,j)\∈E}{\mathrm{\Σ}}{b}_{\mathrm{ij}}{\left|\right|(X_i-X_j)-{\mathrm{\ϵ}}_{\mathrm{ij}}\left|\right|}^2$ 其中，代表检测模型W部分，代表几何约束部分，本步骤包括以下步骤，流程图如图2所示。

S21：根据几何约束ε搜索。

本步骤中，保持几何约束ε不变，根据模型S的表达式搜索模型S的极大值，并得到当前帧各个跟踪目标的预测位置d；具体的，根据几何约束ε得到各个当前帧跟踪目标的绝对位置RT，在各个绝对位置RT上提取LBP直方图特征并记作特征φ，通过特征φ和检测模型W得到当前帧跟踪目标的预测位置d和概率p。

S22：根据检测模型W搜索。

本步骤中，保持S21步骤中的预测位置d不变，利用各个跟踪目标的检测模型W以及几何约束ε联合搜索。具体搜索过程是：首先，分别在各个跟踪目标的局部区域内搜索各个目标检测模型Wi的极大值Wil位置，其位置即为进一步的预测位置，然后在极大值Wil位置区域内根据模型S(即联合特征模型W和几何模型ε)进行微搜索，计算模型S的最大值，并记录每次微搜索的目标模型最大值。

本步骤的局部区域根据W_i ^TΦ(F，RT_i)获得，表示各个跟踪目标的局部区域的总和；本步骤的微搜索指：在极大值Wil位置区域内，根据公式b_ij||(X_i-X_j)-ε_ij||²进行当前跟踪目标位置估算，由于Φ(F,RT_i)在变化，根据b_ij||(X_i-X_j)-ε_ij||²和Φ(F，RT_i)的变化在极小范围内对各个跟踪目标进行微搜索。

如图3所示，以其中跟踪目标2的两次微搜索为例，黑色实线框表示跟踪目标1、2和3的各个极大值Wil位置，黑色虚线框表示跟踪目标2的微搜索范围(这个搜索范围很小)，若保持跟踪目标1和3的位置不变，则黑色虚线框表示跟踪目标2的第一次微搜索和第二次微搜索，若跟踪目标2的微搜索次数为N，跟踪目标1和3的微搜索方式类同，则整个跟踪目标1、2和3的总微搜索次数为N³，然后确定该N³次中的模型S的最大值。

S23：确认模型S是否收敛。

通过步骤S21和步骤S22的联合搜索，并将该联合搜索的所有模型S中的最大的一个值作为联合搜索极大值Si，然后将连续两次的联合搜索极大值Si和Si-1进行差值计算，根据这个残差值来判断模型S是否收敛，若收敛，预测位置即是当前帧跟踪目标的精确位置；具体为，计算连续两次极大值Si和Si-1之差δSi，若δSi小于设定的阈值S0，则判断模型S收敛。

S24：建立跟踪列表T。

根据S21～S23的步骤，确定当前帧跟踪目标的模型S收敛后，将当前帧跟踪目标的精确位置放入跟踪列表内，用T表示跟踪列表，则将符合模型S收敛的各个跟踪目标的检测位置RT放入跟踪列表T内，如有m个跟踪列表符合要求，则跟踪列表T为：T＝{RT1，RT2，…，RTm}。

对于各个跟踪目标检测到的概率极大值p，如果p<p0，p0为预设值，则表示跟踪目标被遮挡，如果跟踪目标连续被遮挡t0帧则认为该跟踪目标丢失，在模型S中删除该跟踪目标的检测模型W和几何约束ε。

如图4所示，进一步说明步骤S21～S24：假设第t帧检测到3个目标，如图4(a)所示，且3个目标之间的三角形区域，根据几何约束ε搜索获取最佳的预测位置，如图4(b)中的实线部分所示，对各个跟踪目标的检测模型Wi进行划窗搜索并找到这个划窗内的极大值位置，如图4(c)中的实线框所示，在找到的这三个极大值位置附近进行微搜索，通过模型S计算找到微搜索的极大值Si位置，如图4(d)中的实线部分所示。

S30：获取新跟踪目标。

将步骤S1中获得的前景列表D中的目标融合于步骤S20中获得的跟踪列表T中，并将前景列表D与跟踪列表T不重叠的目标作为新跟踪目标，并将新跟踪目标加入跟踪列表T内；其中，融合方式为：T＝T∪D。

本步骤中根据重叠率判定两目标是否重叠，具体为：按照公式lap_ij＝(RT_i∩RT_j)/(RT_i∪RT_j)计算前景列表D和跟踪列表T内目标之间的重叠率lap，若lap>lap0，lap0为预设值，则前景列表D内目标与跟踪列表T内目标重叠，否则，为不重叠目标，并将不重叠目标作为新跟踪目标。

S40：更新多目标跟踪模型。

本步骤利用正负样本初始化跟踪列表T的新跟踪目标的检测模型W，更新跟踪列表T中已有的跟踪目标的检测模型W，并更新跟踪目标之间的几何约束ε。

具体为：在距离跟踪目标所在区域r0的范围内采集正样本，在距离跟踪目标r1到r2的范围内采集负样本，其中，r0、r1和r2为预设值，且r0<r1<r2；利用正负样本初始化跟踪列表T内的新跟踪目标的检测模型W，并更新跟踪列表T内已有的跟踪目标的检测模型W；计算通过当前帧与前一帧的任意两对目标的位移v_i，v_j向量差，根据向量差估计下一帧的几何约束ε，即根据公式ε_ij＝ε_ij+(v_i-v_j)更新跟踪目标之间的几何约束ε。

针对上述方法，本例还提供一种基于上述方法的多目标跟踪系统，包括前景检测模块、多目标跟踪模块、目标融合模块和在线学习模块；

前景检测模块用于对前景图像进行形态学处理和连通域分析，获取前景目标，并根据前景目标建立前景列表；

多目标跟踪模块用于通过搜索模型S的极大值位置，模型S包括检测模型W和几何约束ε，获取当前帧跟踪目标，并根据当前帧跟踪目标建立跟踪列表；

目标融合模块用于将前景列表的目标融合于跟踪列表中，并将前景列表与跟踪列表不重叠的目标作为新跟踪目标，并将新跟踪目标加入跟踪列表内；

在线学习模块用于利用正负样本初始化跟踪列表的新跟踪目标的检测模型W，更新跟踪列表中已有的跟踪目标的检测模型W，并更新跟踪目标之间的几何约束ε。

本例的多目标跟踪系统是基于上述的多目标方法实现的，其中，前景检测模块、多目标跟踪模块、目标融合模块和在线学习模块的具体工作方式具体由上述的建立前景列表D、建立跟踪列表T、获取新跟踪目标和更新多目标跟踪模型的方法实现，不作赘述。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换。

Claims (9)

1.一种基于全局约束的多目标跟踪方法,其特征在于，包括：

建立前景列表：对前景图像进行形态学处理和连通域分析，获取前景目标，并根据所述前景目标建立前景列表；

建立跟踪列表：通过搜索模型S的极大值，所述模型S包括检测模型W和几何约束ε，获取当前帧跟踪目标，并根据所述当前帧跟踪目标建立跟踪列表；

获取新跟踪目标：将所述前景列表的目标融合于所述跟踪列表中，并将所述前景列表与所述跟踪列表不重叠的目标作为新跟踪目标，并将所述新跟踪目标加入所述跟踪列表内；

更新多目标跟踪模型：利用正负样本初始化所述跟踪列表的新跟踪目标的检测模型W，更新所述跟踪列表中已有的跟踪目标的检测模型W，并更新跟踪目标之间的几何约束ε。

2.如权利要求1所述的方法，其特征在于，所述建立跟踪列表包括步骤：

根据所述几何约束ε搜索：保持所述几何约束ε不变，搜索模型S的极大值，并得到当前帧各个跟踪目标的预测位置；

根据所述模型S搜索：根据所述预测位置，利用各个跟踪目标的检测模型W以及几何模型ε联合搜索，根据所述联合搜索确定模型S的联合搜索极大值Si；

确认模型S是否收敛：根据连续两次所述联合搜索极大值Si和Si-1，计算其残差值δS，若δS的值小于设定的阈值S0，则所述模型S收敛，所述预测位置即是当前帧跟踪目标的精确位置；

建立跟踪列表：将所述当前帧跟踪目标的精确位置放入跟踪列表内。

3.如权利要求1所述的方法，其特征在于，所述获取新跟踪目标还包括步骤：计算所述前景列表和跟踪列表内目标之间的重叠率lap，若lap>lap0，所述lap0为预设值，则所述前景列表内目标与所述跟踪列表内目标重叠，否则，为不重叠目标，并将所述不重叠目标作为所述新跟踪目标。

4.如权利要求2所述的方法，其特征在于，所述更新多目标跟踪模型包括步骤：

在距离目标所在区域r0的范围内采集正样本，在距离目标r1到r2的范围内采集负样本，所述r0、r1和r2为预设值，且r0<r1<r2；

利用所述正负样本初始化所述跟踪列表内的新跟踪目标的检测模型W，更新所述跟踪列表内已有的跟踪目标的检测模型W；

计算当前帧与前一帧的任意两对目标的位移v_i，v_j的向量差，根据所述向量差估计下一帧的几何约束ε，并更新所述几何约束ε。

5.如权利要求2所述的方法，其特征在于，所述检测模型W为在线SVM，所述几何约束ε为估计位移差向量。

6.一种基于全局约束的多目标跟踪系统，其特征在于，包括前景检测模块、多目标跟踪模块、目标融合模块和在线学习模块；

所述前景检测模块用于对前景图像进行形态学处理和连通域分析，获取前景目标，并根据所述前景目标建立前景列表；

所述多目标跟踪模块用于通过搜索模型S的极大值，所述模型S包括检测模型W和几何约束ε，获取当前帧跟踪目标，并根据所述当前帧跟踪目标建立跟踪列表；

所述目标融合模块用于将所述前景列表的目标融合于所述跟踪列表中，并将所述前景列表与所述跟踪列表不重叠的目标作为新跟踪目标，并将所述新跟踪目标加入所述跟踪列表内；

所述在线学习模块用于利用正负样本初始化所述跟踪列表的新跟踪目标的检测模型W，更新所述跟踪列表中已有的跟踪目标的检测模型W，并更新跟踪目标之间的几何约束ε。

7.如权利要求6所述的多目标跟踪系统，其特征在于，所述建立跟踪列表包括：

根据所述几何约束ε搜索：保持所述几何约束ε不变，搜索模型S的极大值，并得到当前帧各个跟踪目标的预测位置；

根据所述模型S搜索：根据所述预测位置，利用各个跟踪目标的检测模型W以及几何模型ε联合搜索，根据所述联合搜索确定模型S的联合搜索极大值Si；

确认模型S是否收敛：根据连续两次所述联合搜索极大值Si和Si-1，计算其残差值δSi，若δSi小于设定的阈值S0，则收敛，所述预测位置即是当前帧跟踪目标的精确位置；

建立跟踪列表：将所述当前帧跟踪目标的精确位置放入跟踪列表内。

8.如权利要求6所述的多目标跟踪系统，其特征在于，获取所述新跟踪目标包括：计算所述前景列表和跟踪列表内目标之间的重叠率lap，若lap>lap0，所述lap0为预设值，则所述前景列表内目标与所述跟踪列表内目标重叠，否则，为不重叠目标，并将所述不重叠目标作为所述新跟踪目标。

9.如权利要求7所述的多目标跟踪系统，其特征在于，更新所述检测模型W和所述几何约束ε包括：

在距离目标所在区域r0的范围内采集正样本，在距离目标r1到r2的范围内采集负样本，所述r0、r1和r2为预设值，且r0<r1<r2；

利用所述正负样本初始化所述跟踪列表内的新跟踪目标的检测模型W，并更新所述跟踪列表内已有的跟踪目标的检测模型W；

计算当前帧与前一帧的任意两对目标的位移v_i，v_j向量差，根据所述向量差估计下一帧的几何约束ε，并更新所述几何约束ε。