CN103927763A - 一种图像序列多目标跟踪轨迹识别处理方法 - Google Patents

Abstract

本发明公开了一种图像序列多目标跟踪轨迹识别处理方法。针对摄像机实时监控应用环境下，基于数据关联进行多目标跟踪中的目标轨迹发生分离时，提出了识别判断机制与处理方法，属于安防监控技术领域。本方法首先判断目标轨迹是否需要分离，然后对需要分离的目标轨迹进行处理，最后对分离后的目标轨迹正确进行标定。本发明有效地处理了数据关联多目标实时跟踪中的轨迹分离问题，且运算效率高。

Description

一种图像序列多目标跟踪轨迹识别处理方法

技术领域

本发明提出一种图像序列多目标跟踪轨迹识别处理方法，具体涉及特征提取、数据关联以及多目标跟踪技术，属于视频监控及计算机视觉技术领域。

背景技术

近年来，随着安防监控系统的不断发展，视频监控技术在社会生活中的应用日趋广泛，在公共安全、智能交通、工业过程等方面对监控系统的要求更不断地增加。多目标跟踪是智能视频监控中的核心功能，系统通过跟踪得到目标轨迹，从而进一步分析目标运动行为，为智能化监控提供可靠支持。

在视频监控场景下，基于数据关联的多目标跟踪方法会提前设定各目标轨迹是否允许发生交叉或重叠。据此，可将数据关联多目标跟踪分为限定非重叠约束的跟踪方法和未限定非重叠约束的跟踪方法。

限定非重叠约束的跟踪方法要求每一个目标检测结果只可唯一的属于一个目标的运动轨迹，因此，该类方法要求图像检测算法能够将距离非常近的两个目标区分开，一般的检测算法往往很难满足要求，而且其带来的目标遮挡问题也极大的影响了目标跟踪的精确度。而未限定非重叠约束的跟踪方法允许系统将距离相近的两个目标检测为一个目标，其在降低了对图像目标检测算法要求的同时，也内在的解决了目标遮挡问题，但该类方法存在如何处理目标轨迹分离以及避免发生身份转换等困难，从而影响到了目标跟踪精确度的提升。

发明内容

针对上述未限定非重叠约束的跟踪方法存在的缺陷，基于摄像机监控环境下获取多目标实时轨迹的需求，本发明提出了图像序列多目标跟踪轨迹识别处理方法，可以有效地解决多目标实时跟踪中的目标轨迹分离问题。

本发明所采用的技术方案为：

一种图像序列多目标跟踪轨迹识别处理方法，包括下列步骤：

步骤1），计算可能与当前轨迹相配对的各个图像帧目标的关联度值，设置用于排除关联度较小的帧目标的第一阈值，筛选出关联度值大于第一阈值的帧目标，并将其按关联度从大到小进行排序；

步骤2），设置用于比较各帧目标关联度之间差距的第二阈值，将排序队列中前两个帧目标的关联度值分别与各帧目标的关联度值作差，如果前两个帧目标与其余帧目标的关联度差值均大于第二阈值、且前两个帧目标之间的关联度差值小于第二阈值，执行步骤3）；否则，保持原轨迹不变，结束本次处理；

步骤3），建立临时分离点，将当前轨迹分离成两段临时轨迹，根据数据关联匹配算法，在随后的连续3帧图像中分别对两段临时轨迹进行配对，若3帧配对中两段临时轨迹均能得到符合要求的最佳匹配结果，将临时分离点和临时轨迹确定为实际分离点和实际轨迹，执行步骤4）；否则撤销临时分离点及临时轨迹，选择排序队列中的第一个帧目标作为本次匹配的最佳结果，结束本次处理；

步骤4），判断分离前的轨迹是否由两条轨迹合并而来，如果是，执行步骤5），否则对分离后的两段轨迹进行标定，结束本次处理；

步骤5），在合并前的两段轨迹中查找最靠近合并点的两个帧目标，在分离后的两段轨迹中查找最靠近分离点的两个帧目标；

步骤6），求取这四个帧目标的颜色直方图，将合并前帧目标的颜色直方图分别与分离后帧目标的颜色直方图组合后，计算出四组颜色直方图的巴氏距离；

步骤7），比较各巴氏距离值，选出其中的最小值，将其对应的两段轨迹识别为同一目标轨迹，剩下的两段轨迹识别为另一目标轨迹；

步骤8），依照上述目标识别结果，分别对分离后两段轨迹进行标定，结束本次处理。

本发明有效地解决了未限定非重叠约束条件下，基于数据关联的多目标实时跟踪中目标轨迹发生分离的问题，同时设计了基于帧目标颜色直方图巴氏距离值的方法，以规避轨迹合并的两目标在重新分离时轨迹发生身份转换，从而为多目标轨迹形成提供了保障，提高了多目标实时跟踪的精确度。

附图说明

图1是本发明方法流程图；

图2是目标轨迹身份转换示意图。

具体实施方式

本发明涉及一种图像序列多目标跟踪轨迹识别处理方法，针对摄像机实时监控应用环境下，基于数据关联进行多目标跟踪中的目标轨迹发生分离时，提出了识别判断机制与处理方法。本方法首先判断目标轨迹是否需要分离，然后对需要分离的目标轨迹进行处理，最后对分离后的目标轨迹正确进行标定，以规避轨迹合并的两目标在重新分离时轨迹发生身份转换。

本发明方法的具体实施方式主要包括目标轨迹分离过程和分离后轨迹的正确编号过程两部分，本发明方法总体流程如图1所示，下面结合具体实施例，进一步阐明本发明。

在摄像机实时监控环境下，当两个实际目标距离相近时，图像帧目标检测算法可能将两个实际目标判断为一个目标，从而只形成一条目标轨迹，当两实际目标开始分离，距离变远时，之前的一条目标轨迹就会分离成两条不同的目标轨迹，即发生轨迹分离。

针对图像序列多目标跟踪中的轨迹分离问题，本发明涉及判断目标轨迹是否需要分离以及处理轨迹分离，具体步骤如下：

第一步，计算可能与当前轨迹相配对的各个图像帧目标的关联度值；

第二步，依据具体监控场景的目标运动情况以及经验判断设立适当的双阈值θ₁和θ₂，根据第一阈值θ₁排除关联度值较小的帧目标，根据第二阈值θ₂将剩下的关联度值较大的帧目标进行相互比较，以对目标轨迹是否需要分离进行初步判定：若当前轨迹T_a在进行匹配时遇到两个帧目标r_m和r_n，二者与T_a的关联度值分别为A(r_m|T_a)和A(r_n|T_a)，它们与其他目标关联度值相比较时均满足双阈值条件，但它们相互比较时不能满足第二个阈值条件，即：

A(r_m|T_a)＞θ₁，A(r_n|T_a)＞θ₁

A(r_m|T_a)-A(r_k|T_a)＞θ₂，A(r_n|T_a)-A(r_k|T_a)＞θ₂，

|A(r_m|T_a)-A(r_n|T_a)|＜θ₂

s.t.θ₁＞0，θ₂＞0

其中，R_t为经过第一阈值筛选后的关联度值较大的帧目标集合，r_k为R_t中除r_m和r_n之外的任意帧目标。此时则认为目标轨迹T_a有可能需要分离，进入第三步；否则，认为T_a不需要分离，保持原轨迹不变，结束本次处理；

第三步，建立临时分离点，将目标轨迹T_a分离成两段临时轨迹，根据数据关联匹配算法，在随后的连续3帧图像中分别对两段临时轨迹进行配对。若3帧配对中均能得到符合要求的最佳匹配结果，则确定目标轨迹T_a需要分离，将临时分离点和临时轨迹确定为实际分离点和实际轨迹，并进入下述分离轨迹编号过程；否则，确定轨迹T_a不需要分离，撤销临时分离点及临时轨迹，选择A(r_m|T_a)和A(r_n|T_a)中的较大值所对应的帧目标作为本次匹配的最佳结果，结束本次处理。

如图2所示，在现有的处理目标轨迹分离的方法中，若两目标轨迹先发生合并，再发生分离，则往往由于未进行轨迹身份识别，两目标轨迹的身份可能会发生交换，即发生身份转换。据此，本专利方法在对分离后轨迹进行编号时特别考虑该分离轨迹在之前时刻是否由两条轨迹合并而来，并设计了基于帧目标颜色直方图巴氏距离值的方法，以规避轨迹合并的两目标在重新分离时轨迹发生身份转换。

本发明对分离后轨迹正确编号，同时规避轨迹合并的两目标在重新分离时发生身份转换的具体步骤如下：

第一步，查询目标跟踪记录，若发生分离的目标轨迹T_a在之前跟踪过程中是由两条目标轨迹合并而来，则进入随后步骤；否则，采用两个新的编号对分离后的两段轨迹进行标定，结束本次处理；

第二步，分别在合并前以及分离后的四段轨迹中查找最靠近合并点的两个帧目标r_a和r_b，以及最靠近分离点的两个帧目标r_a′和r_b′；

第三步，求取这四个帧目标的颜色直方图c_a，c_b，c′_a，c_b′，并对其进行下列计算：

A_aa′=B(c_a,c′_a)，A_ab′=B(c_a,c_b′)，A_ba′=B(c_b,c′_a)，A_bb′=B(c_b,c_b′)

其中，B(·)表示计算两颜色直方图的巴氏距离，A_aa′，A_ab′，A_ba′，A_bb′分别为四对组合的巴氏距离值；

第四步，比较上述各巴氏距离值，选出其中的最小值，并将该最小值所对应的两段轨迹识别为同一目标轨迹，剩下的两段轨迹识别为另一目标轨迹；

第五步，依照上述目标识别结果，沿用合并前两段轨迹的编号分别对分离后两段轨迹进行标定，结束本次处理。

最终，本发明方法有效地处理了图像序列多目标跟踪中有关目标轨迹分离的一系列问题，从而为多目标轨迹形成提供了保障。

Claims (1)

1.一种图像序列多目标跟踪轨迹识别处理方法，其特征在于，所述方法包括下列步骤：

步骤1），计算可能与当前轨迹相配对的各个图像帧目标的关联度值，设置用于排除关联度较小的帧目标的第一阈值，筛选出关联度值大于第一阈值的帧目标，并将其按关联度从大到小进行排序；

步骤2），设置用于比较各帧目标关联度之间差距的第二阈值，将排序队列中前两个帧目标的关联度值分别与各帧目标的关联度值作差，如果前两个帧目标与其余帧目标的关联度差值均大于第二阈值、且前两个帧目标之间的关联度差值小于第二阈值，执行步骤3）；否则，保持原轨迹不变，结束本次处理；

步骤3），建立临时分离点，将当前轨迹分离成两段临时轨迹，根据数据关联匹配算法，在随后的连续3帧图像中分别对两段临时轨迹进行配对，若3帧配对中两段临时轨迹均能得到符合要求的最佳匹配结果，将临时分离点和临时轨迹确定为实际分离点和实际轨迹，执行步骤4）；否则撤销临时分离点及临时轨迹，选择排序队列中的第一个帧目标作为本次匹配的最佳结果，结束本次处理；

步骤4），判断分离前的轨迹是否由两条轨迹合并而来，如果是，执行步骤5），否则对分离后的两段轨迹进行标定，结束本次处理；

步骤5），在合并前的两段轨迹中查找最靠近合并点的两个帧目标，在分离后的两段轨迹中查找最靠近分离点的两个帧目标；

步骤6），求取这四个帧目标的颜色直方图，将合并前帧目标的颜色直方图分别与分离后帧目标的颜色直方图组合后，计算出四组颜色直方图的巴氏距离；

步骤7），比较各巴氏距离值，选出其中的最小值，将其对应的两段轨迹识别为同一目标轨迹，剩下的两段轨迹识别为另一目标轨迹；

步骤8），依照上述目标识别结果，分别对分离后两段轨迹进行标定，结束本次处理。