CN103729861B - 一种多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种多目标跟踪方法，包括：（1）输出每帧中检测到的所有目标的位置信息；（2）当运动目标发生完全遮挡时，执行步骤（5）；否则，计算交会的目标之间的相似度值，执行步骤（3）或（4）；（3）当相似度值同时满足强条件时，直接将连续两帧中相应的目标相关联，流程结束；（4）不同时满足强条件，运动目标发生部分遮挡时，通过目标函数和约束条件求解目标之间的匹配关系，根据匹配关系将连续两帧中相应的目标相关联，流程结束；（5）对当前帧的连续下几帧进行监测，直到不发生完全遮挡，并记录下此时对应的目标帧，计算目标之间的相似度值，将当前帧和目标帧之间的中间位置作为完全遮挡帧的位置，流程结束。

Description

一种多目标跟踪方法

技术领域

本发明涉及目标跟踪领域，特别涉及一种多目标跟踪方法。

背景技术

多目标跟踪技术是目前计算机视觉研究的难点之一，随着计算机数据处理能力的飞速增长及图像分析技术的发展，这项技术在视频监控、事件分析、人机交互等领域中都有着非常重要的实用价值。同时，在军事领域，多目标跟踪已用于无人侦察机战场侦察，巡航导弹末端制导，弹道导弹防御，海洋监视、战场监视等方面。基于视频的多目标跟踪技术已经成为国际上研究的热门方向。

多目标跟踪就是利用计算机，在视频序列中自动的识别和定位目标，同时记录下目标的运动轨迹。多目标跟踪与单目标跟踪相比，面临更为复杂的情况：目标数量的动态变化，复杂的背景环境，尤其是多目标之间的遮挡，使得多目标跟踪算法鲁棒性较差。

近年来，针对多目标跟踪所提出的方法主要可以分为两类：1)基于多特征融合与自适应模板的多目标跟踪算法^[1][2][3]：该算法将颜色、纹理等多种特征相结合来构建表征目标的模板。这种方法在一些特定的场景中能取得很好的跟踪效果，但它的缺点在于特征的鲁棒性较弱，在复杂的场景中(例如：背景复杂，目标发生形变或者遮挡)容易出现跟踪的中断。2)基于滤波的跟踪算法^[4][5][6]：该方法的一般框架是建立目标的运动方程，根据滤波原理对目标的运动进行预测。这种方法缺乏自适应纠正错误跟踪结果的能力，容易因错误预测的累积导致跟踪轨迹的漂移。

发明内容

本发明提供了一种多目标跟踪方法，以解决多目标跟踪中的多轨迹关联问题，可以有效的解决跟踪过程中出现的遮挡问题，提高跟踪的准确性和鲁棒性，详见下文描述：

一种多目标跟踪方法，所述方法包括以下步骤：

(1)采用基于块信息的目标检测器对视频图像序列中每帧逐一检测各帧中目标位置，输出每帧中检测到的所有目标的位置信息(x_j,y_j,w_j,h_j)，f_i表示视频帧，i是帧号，N是视频的总帧数；j＝1,2,...,n_i；x_j,y_j表示矩形框的左上角坐标，w_j,h_j分别是矩形框的宽和高，n_i是第i帧检测到的目标个数；

(2)运动目标在局部空间域发生交会，当运动目标发生完全遮挡时，执行步骤(5)；否则，计算交会的目标之间的相似度值，执行步骤(3)或(4)；

(3)当相似度值同时满足强条件时，直接将连续两帧中相应的目标相关联，流程结束；

(4)当相似度值不同时满足强条件，运动目标发生部分遮挡时，通过目标函数和约束条件求解目标之间的匹配关系，根据匹配关系将连续两帧中相应的目标相关联，流程结束；

(5)当运动目标发生完全遮挡时，对当前帧的连续下几帧进行监测，直到不发生完全遮挡，并记录下此时对应的目标帧，计算目标之间的相似度值，根据相似度值执行步骤(3)或(4)，完成相应的目标关联，将当前帧和目标帧之间的中间位置作为完全遮挡帧的位置，流程结束。

所述计算交会的目标之间的相似度值的操作具体为：

在第t帧中目标O₁ ^t,O₂ ^t的局部空间域D₁ ^t,D₂ ^t发生交会，取并集后的空间域为D₁₂ ^t，且在第t+1帧的D₁₂ ^t中存在2个检测目标O₁ ^t+1,O₂ ^t+1，首先，提取这4个目标的HSV颜色直方图特征，其次，计算这4个目标之间的两两相似度。

所述当相似度值同时满足强条件时，直接将连续两帧中相应的目标相关联的操作具体为：

设定高低阈值分别为Th_h,Th_l，相似度s₁₁,s₁₂,s₂₁,s₂₂同时满足强条件：

$\left\{\begin{array}{c}{s}_{11}>{\mathrm{Th}}_h\\ s_{12}<{\mathrm{Th}}_l\\ s_{21}<{\mathrm{Th}}_l\\ s_{22}>{\mathrm{Th}}_h\end{array}\right..$

即O₁ ^t,O₁ ^t+1属于同一个目标，O₂ ^t,O₂ ^t+1属于同一个目标，关联成功，分别更新O₁ ^t+1、O₂ ^t+1的局部空间域为D₁ ^t+1和D₂ ^t+1。

所述通过目标函数和约束条件求解目标之间的匹配关系，根据匹配关系将连续两帧中相应的目标相关联的操作具体为：

目标函数为其中，为相似度矩阵M_s按行展开的行向量，为约束矩阵M_x按行展开的行向量；

约束条件为：M_x满足任意一行、任意一列之和为1，即满足

x₁₁、x₁₂、x₂₁和x₂₂为矩阵中的元素；

采用线性规划方法求解目标函数得到根据的元素值即可完成关联，关联成功后，分别更新O₁ ^t+1、O₂ ^t+1的局部空间域为D₁ ^t+1和D₂ ^t+1。

本发明提供的技术方案的有益效果是：本方法通过基于块信息的目标检测器进行目标检测，这种检测方法可以定位人体的块信息，在局部遮挡发生的情况下，依旧可以得到较为准确的目标检测结果。然后采用匹配算法对局部空间域中的目标进行匹配关联，最后形成完整的跟踪轨迹。其中，针对目标发生局部遮挡和完全遮挡这两种易导致跟踪错误和失跟的情况提出了新的匹配算法，提高了在局部遮挡情况下目标关联的准确性，同时避免了在完全遮挡情况下出现的失跟。有效的解决跟踪过程中出现的遮挡问题，提高跟踪的准确性和鲁棒性。

附图说明

图1(A)：第t帧中两个目标O₁ ^t,O₂ ^t，目标的局部空间域为D₁ ^t,D₂ ^t

图1(B)：第t+1帧中两个目标O₁ ^t+1,O₂ ^t+1，目标移动过程中未发生遮挡，关联完成后更新O₁ ^t+1,O₂ ^t+1的局部空间域为D₁ ^t+1,D₂ ^t+1

图2(A)：第t帧中两个目标O₁ ^t,O₂ ^t，目标的局部空间域为D₁ ^t,D₂ ^t

图2(B)：第t+1帧中两个目标O₁ ^t+1,O₂ ^t+1，目标移动过程中发生局部遮挡，关联完成后更新O₁ ^t+1,O₂ ^t+1的局部空间域为D₁ ^t+1,D₂ ^t+1

图3(A)：第t帧中两个目标O₁ ^t,O₂ ^t，目标的局部空间域为D₁ ^t,D₂ ^t

图3(B)：第t+1帧和第t+2帧中，目标发生完全遮挡，这2帧不做关联

图3(C)：第t+3帧中两个目标O₁ ^t+3,O₂ ^t+3，此时目标不再发生完全遮挡，将第t帧与第t+3帧的目标做匹配关联，关联完成后更新O₁ ^t+3,O₂ ^t+3的局部空间域为D₁ ^t+3,D₂ ^t+3，同时取已关联的目标在第t帧的位置与在第t+3帧的位置的中间位置，作为其在第t+1帧和t+2帧中的位置；

图4为一种多目标跟踪方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

为了解决多目标跟踪中多轨迹关联问题，有效解决跟踪过程中出现的遮挡问题，提高多目标跟踪的准确性和鲁棒性，本发明实施例提供了一种遮挡条件下的多目标跟踪方法，参见图4，本方法由检测模块和目标关联模块两部分组成。其中，检测模块用于识别和定位目标，目标关联模块用于完成目标的多轨迹关联。先采用基于块信息的目标检测器^[7]进行目标检测，获取准确的目标位置信息，然后采用匹配算法对局部空间域中的目标进行匹配关联，最后形成完整的跟踪轨迹。本方法可以实现鲁棒的多目标目标运动轨迹提取，详见下文描述：

101：采用基于块信息的目标检测器对视频图像序列中每帧逐一检测各帧中目标位置，输出每帧中检测到的所有目标的位置信息(x_j,y_j,w_j,h_j)；

其中，f_i表示视频帧，i是帧号，N是视频的总帧数；j＝1,2,...,n_i；(x_j,y_j,w_j,h_j)是表示目标位置的矩形框，其中x_j,y_j表示矩形框的左上角坐标，w_j,h_j分别是矩形框的宽和高，n_i是第i帧检测到的目标个数。

在多目标跟踪场景中，局部遮挡的情况时常发生，包括被障碍物遮挡、目标与目标之间的交叉遮挡，在一般的检测算法中漏检、误检发生几率大。本方法采用了基于块信息的检测算法^[7]。首先，为特定的目标训练9个块的HoG(梯度直方图)特征模板，当输入待检测图片时，先对图片做分层金字塔(分层的数量根据实际应用中的需要进行设定，本发明实施例以49层为例进行说明)，每层提取HoG特征，然后将其分别与9个块的HoG特征模板做卷积，找到卷积结果的能量最大处即是可能的目标位置，将每层的结果还原并融合，得到原图片中目标的位置信息(x,y,w,h)，具体方法参见文献[7]。

每一帧图片得到的目标的检测结果是无序的，即每一帧只得到若干个位置信息(x_j,y_j,w_j,h_j)，这些位置信息的个数表示检测到的目标个数。但是并不是所有的目标都能被检测到。例如，某个目标在某一帧中被大部分遮挡甚至被完全遮挡，那么在这一帧中这个目标虽然存在，但是并没有这个目标所对应的检测结果。这样遮挡情况的发生，往往会造成跟踪的中断，本方法提出的目标关联方法则可以很好的解决遮挡问题。步骤101中完成对视频每一帧的目标检测。对整个视频中多目标的多轨迹关联，可以逐步分解为在目标的局部空间域中完成对目标的轨迹关联。

102：运动目标在局部空间域发生交会，当运动目标发生完全遮挡时，执行步骤105；否则，计算交会的目标之间的相似度值，执行步骤103或104；

本方法将目标的局部空间域定义为以目标位置为中心的矩形空间区域D(矩形D的大小根据实际情况设定)。

目标在视频中出现，随即开始移动或者停留。不失一般性，假设在第t帧中某个目标O_i ^t的局部空间域D_i ^t，在第t+1帧中目标O_i ^t+1出现在D_i ^t中，则O_i ^t,O_i ^t+1是同一个目标，直接关联，同时以O_i ^t+1为中心更新目标的局部空间域为D_i ^t+1。随着目标的运动，若不同目标的局部空间域发生交会，则将这些目标的局部空间域取并集D_u。则在此交会的局部空间域D_u中，目标之间的空间距离较近，且可能发生遮挡。不失一般性，在此局部空间域D_u中，出现的运动目标数量可能为2或3个，这几个目标发生停留、移动，遮挡、合并和分离。下面以交会的局部空间域中出现2个运动目标交汇为例，说明本发明提出的多目标关联方法：

假设在第t帧中目标O₁ ^t,O₂ ^t的局部空间域D₁ ^t,D₂ ^t发生交会，取并集后的空间域为D₁₂ ^t，且在第t+1帧的D₁₂ ^t中存在2个检测目标O₁ ^t+1,O₂ ^t+1。首先，提取这4个目标的HSV颜色直方图特征F₁ ^t,F₂ ^t,F₁ ^t+1,F₂ ^t+1(1*256维特征矩阵)。其次，计算这4个目标之间的两两相似度s₁₁,s₁₂,s₂₁,s₂₂(其中，s₁₁表示O₁ ^t和O₁ ^t+1之间的相似度，s₂₁表示O₂ ^t和O₁ ^t+1之间的相似度，s₁₂,s₂₂可以此类推)。以s₁₁为例，相似度计算公式如下：s₁₁的值越大，表示这两个目标的相似度越大。

103：当相似度值同时满足强条件时，直接将连续两帧中相应的目标相关联，流程结束；

设定高低阈值分别为Th_h,Th_l，假设相似度s₁₁,s₁₂,s₂₁,s₂₂同时满足强条件(1)：

$\left\{\begin{array}{c}{s}_{11}>{\mathrm{Th}}_h\\ s_{12}<{\mathrm{Th}}_l\\ s_{21}<{\mathrm{Th}}_l\\ s_{22}>{\mathrm{Th}}_h\end{array}\right.---\left(1\right)$

可见O₁ ^t与O₁ ^t+1，O₂ ^t与O₂ ^t+1之间的相似度足够大，而O₁ ^t与O₂ ^t+1，O₂ ^t与O₁ ^t+1之间的相似度低于最低阈值Th_l，四个检测目标O₁ ^t,O₂ ^t,O₁ ^t+1,O₂ ^t+1严格满足两两匹配的关系，即O₁ ^t,O₁ ^t+1属于同一个目标，O₂ ^t,O₂ ^t+1属于同一个目标，关联成功。关联成功后，分别更新O₁ ^t+1、O₂ ^t+1的局部空间域为D₁ ^t+1和D₂ ^t+1，然后继续完成后续的关联。

将这种情况定义为目标原地停留或者移动，未发生遮挡，如图1所示：第t帧中两个目标的局部空间域D₁ ^t,D₂ ^t发生交会，同时在第t+1帧的交会空间域中出现2个目标，相似度同时满足强条件，目标并未发生遮挡。在依照相似度关系完成关联后更新第t+1帧中两个目标的局部空间域为D₁ ^t+1和D₂ ^t+1。同理，当三个目标的局部空间域交会时，若在下一帧的交会空间域中也出现3个目标，则计算相似度是否同时满足强条件，若同时满足则表示目标并未发生遮挡，依照相似度关系完成关联。

104：当相似度值不同时满足强条件，运动目标发生部分遮挡时，通过目标函数和约束条件求解目标之间的匹配关系，根据匹配关系将连续两帧中相应的目标相关联，流程结束；

在104描述的情况下，若相似度s₁₁,s₁₂,s₂₁,s₂₂不同时满足强条件(1)，这时本方法认为目标发生了局部遮挡(如图2所示)，导致同一个目标的相似度变小，不满足(1)的强条件。建立相似度矩阵M_s，M_s中的元素由第t帧中的检测目标与第t+1帧中的检测目标的相似度s_ij构成。在上述情况中，M_s是2*2维矩阵，第一行的元素为s₁₁,s₁₂，第二行的元素为s₂₁,s₂₂。与M_s相对应，建立2*2维约束矩阵M_x，矩阵元素x_ij(值为0或1，此时x_ij的值未知)表示O_i ^t与O_j ^t+1之间的匹配关系。x_ij＝1表示O_i ^t与O_j ^t+1属于同一个目标，x_ij＝0表示O_i ^t与O_j ^t+1不属于同一个目标。同时M_x满足任意一行、任意一列之和为1。将相似度矩阵M_s和约束矩阵M_x，分别按行展开为行向量和构建目标函数：

M_x满足任意一行、任意一列之和为1，即满足

采用线性规划方法[8]求解目标函数，得到即是目标之间的匹配关系。根据的元素值即可完成关联。关联成功后，分别更新O₁ ^t+1、O₂ ^t+1的局部空间域为D₁ ^t+1和D₂ ^t+1，然后继续完成后续的关联。

将这种情况定义为目标之间发生局部遮挡，如图2所示：第t帧中两个目标的局部空间域D₁ ^t,D₂ ^t发生交会，同时在第t+1帧的交会空间域中出现2个目标，但是相似度不同时满足强条件，目标发生局部遮挡。此时通过目标函数和约束条件求解目标之间的匹配关系，在根据匹配关系将连续两帧中相应的目标相关联。然后更新第t+1帧中两个目标的局部空间域为D₁ ^t+1和D₂ ^t+1。同理，当三个目标的局部空间域交会并发生这种局部遮挡时，针对三个目标的情况建立目标函数和约束条件求解目标之间的匹配关系，完成目标关联。

105：当运动目标发生完全遮挡时，对当前帧的连续下几帧进行监测，直到不发生完全遮挡，并记录下此时对应的目标帧，计算目标之间的相似度值，根据相似度值执行步骤103或104，完成相应的目标关联，将当前帧和目标帧之间的中间位置作为完全遮挡帧的位置，流程结束。

假设在第t帧中目标O₁ ^t,O₂ ^t的局部空间域发生交会D₁₂ ^t，但与步骤102及103中描述的情况不同，此时在第t+1帧的D₁₂ ^t中仅存在1个检测目标O₁ ^t+1。这时本方法认为目标在t+1帧中发生了完全遮挡(如图3所示)，导致t+1帧中仅有1个检测结果。此时，在t+1帧不做关联，读取t+2帧的检测结果，若在t+2帧的D₁₂ ^t中出现2个检测结果，则重复步骤102或103，完成目标关联，若在t+2帧中依旧只有1个检测结果，则继续读取t+3帧的检测结果，以此类推，完成上述步骤。由目标运动的连续性可知，目标位置的移动具有连贯性，遮挡的发生具有短暂性，未做关联的(即目标被完全遮挡)这些帧是连续的且持续的帧数较少(一般情况下持续1至3帧)，目标移动的距离也较小。这样，本方法将被完全遮挡的这些连续帧前后已完成关联的目标位置的中间位置作为这些未做关联帧的目标位置，例如：第t帧中的检测目标与第t+3帧的检测目标完成关联，其中t+1帧与t+2帧发生完全遮挡，对于这些已完成关联的目标，取其在第t帧的位置与其在第t+3帧的位置的中间位置，作为其在第t+1帧和t+2帧中的位置，这样就形成了目标从第t帧到第t+3帧的局部的连续轨迹。

将这种情况定义为目标之间发生完全遮挡，如图3所示：两个目标在第t+1帧与第t+2帧发生完全遮挡，则跳过完全遮挡帧，对第t帧和第t+3帧的目标进行匹配，同时取已关联的目标在第t帧的位置与在第t+3帧的位置的中间位置，作为其在第t+1帧和t+2帧中的位置。同理，对于有3个目标的局部空间域发生交会并出现这种完全遮挡的情况，可依同样的方法进行类比分析。

参考文献

[1]C.Wren,A.Azarbayejani,T.Darrell,andA.Pentland,real-timetrackingofthehumabody.IEEETrans.ParrernAnalysisandMachineIntelligence,19(7):780-785,Jyly1997.

[2]S.S.Intille,J.W.Davis,andA.F.Bobick.Real-timeclosed-worldtracking.InProc.oftheIEEEconf.onComputreVisionandpatternRecognition,Pages697-703,LosAlamitos,CA,June1997.IEEEComputerSocietyPress.

[3]J.Krumm,B.Meyers,B.Brumitt,M.Hale,andS.Shafer,Multi-cameramulti-persontrackingforEasyLiving,InProc.ofthe3rdIEEEint.work.onvisualsurveillance,July2000.

[4]Comaniciu.D,Ramesh.V,Meer.P,Real-timeTrackingofNon-rigidObjectsusingMeanShift,InProc.oftheIEEEconf.onComputreVisionandpatternRecognition,2000.

[5]W.E.L.Grimson,C.Stauffer,R.Romano,andL.Lee,UsingAdaptiveTrackingtoClassifyandMonitorActivitiesinasite,Inproc.ComputerVisionandPatternRecognition,pages22-29,1998.

[6]D.Beymer,K.Konolige,Real-timetrackingofmultiplepeopleusingstereo.InProc.oftheIEEEFrameRateWorkship,Corfu,Greece,1999.

[7]P.Felzenszwalb,R.Girshick,D.McAllesterandD.Ramanan,Objectdetectionwithdiscriminativelytrainedpartbasedmodels,InPAMI,2010.

[8]H.Jiang,S.Fels,andJ.Little,Alinearprogrammingapproachformultipleobjecttracking,InCVPR,2007.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种多目标跟踪方法，其特征在于，所述方法包括以下步骤：

(1)采用基于块信息的目标检测器对视频图像序列中每帧逐一检测各帧中目标位置，输出每帧中检测到的所有目标的位置信息(x_j,y_j,w_j,h_j)，f_i表示视频帧，i是帧号，N是视频的总帧数；j＝1,2,...,n_i；x_j,y_j表示矩形框的左上角坐标，w_j,h_j分别是矩形框的宽和高，n_i是第i帧检测到的目标个数；

(2)运动目标在局部空间域发生交会，当运动目标发生完全遮挡时，执行步骤(5)；否则，计算交会的目标之间的相似度值，执行步骤(3)或(4)；

(3)当相似度值同时满足强条件时，直接将连续两帧中相应的目标相关联，流程结束；

(4)当相似度值不同时满足强条件，运动目标发生部分遮挡时，通过目标函数和约束条件求解目标之间的匹配关系，根据匹配关系将连续两帧中相应的目标相关联，流程结束；

(5)当运动目标发生完全遮挡时，对当前帧的连续下几帧进行监测，直到不发生完全遮挡，并记录下此时对应的目标帧，计算目标之间的相似度值，根据相似度值执行步骤(3)或(4)，完成相应的目标关联，将当前帧和目标帧之间的中间位置作为完全遮挡帧的位置，流程结束；

其中，所述当相似度值同时满足强条件时，直接将连续两帧中相应的目标相关联的操作具体为：

设定高低阈值分别为Th_h,Th_l，相似度s₁₁,s₁₂,s₂₁,s₂₂同时满足强条件：

$\left\{\begin{array}{c}{s}_{11}>T{h}_h\\ s_{12}<{\mathrm{Th}}_l\\ s_{21}<{\mathrm{Th}}_l\\ s_{22}>{\mathrm{Th}}_h\end{array}\right.$

其中，第t帧中两个目标为O₁ ^t,O₂ ^t；第t+1帧中两个目标为O₁ ^t+1,O₂ ^t+1；s₁₁表示O₁ ^t和O₁ ^t+1之间的相似度，s₂₁表示O₂ ^t和O₁ ^t+1之间的相似度，s₁₂,s₂₂以此类推；

即O₁ ^t,O₁ ^t+1属于同一个目标，O₂ ^t,O₂ ^t+1属于同一个目标，关联成功，分别更新O₁ ^t+1、O₂ ^t+1的局部空间域为D₁ ^t+1和D₂ ^t+1。

2.根据权利要求1所述的一种多目标跟踪方法，其特征在于，所述计算交会的目标之间的相似度值的操作具体为：

在第t帧中目标O₁ ^t,O₂ ^t的局部空间域D₁ ^t,D₂ ^t发生交会，取并集后的空间域为D₁₂ ^t，且在第t+1帧的D₁₂ ^t中存在2个检测目标O₁ ^t+1,O₂ ^t+1，首先，提取这4个目标的HSV颜色直方图特征，其次，计算这4个目标之间的两两相似度。

3.根据权利要求1所述的一种多目标跟踪方法，其特征在于，所述通过目标函数和约束条件求解目标之间的匹配关系，根据匹配关系将连续两帧中相应的目标相关联的操作具体为：

目标函数为其中，为相似度矩阵M_s按行展开的行向量，为约束矩阵M_x按行展开的行向量；

约束条件为：M_x满足任意一行、任意一列之和为1，即满足

x₁₁、x₁₂、x₂₁和x₂₂为矩阵中的元素；

采用线性规划方法求解目标函数得到根据的元素值即可完成关联，关联成功后，分别更新O₁ ^t+1、O₂ ^t+1的局部空间域为D₁ ^t+1和D₂ ^t+1。