CN103677734A - 基于特征匹配矩阵的多目标数据关联算法 - Google Patents

基于特征匹配矩阵的多目标数据关联算法 Download PDF

Info

Publication number
CN103677734A
CN103677734A CN201210361601.6A CN201210361601A CN103677734A CN 103677734 A CN103677734 A CN 103677734A CN 201210361601 A CN201210361601 A CN 201210361601A CN 103677734 A CN103677734 A CN 103677734A
Authority
CN
China
Prior art keywords
target
moving
association
matrix
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210361601.6A
Other languages
English (en)
Inventor
杨文佳
王楠
柴智
李亚鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
No207 Institute Second Academy Of China Aerospace Science & Industry Group
Original Assignee
No207 Institute Second Academy Of China Aerospace Science & Industry Group
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by No207 Institute Second Academy Of China Aerospace Science & Industry Group filed Critical No207 Institute Second Academy Of China Aerospace Science & Industry Group
Priority to CN201210361601.6A priority Critical patent/CN103677734A/zh
Publication of CN103677734A publication Critical patent/CN103677734A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明属于光电技术领域，具体涉及一种基于特征匹配矩阵的多目标数据关联算法。该方法包括如下步骤：在拍摄设备静止状态下采集当前视频序列图像；计算t时刻的第j个运动区域的中心位置与t-1时刻运动目标中心位置最近的目标，记最近匹配距离为d(i,j)；计算t-1帧和t帧各运动目标的相交面积，若t时刻目标与当前区域目标相交面积大于一定阈值，记相交面积为s(i,j)；当中心关联距离和区域相交面积都大于一定阈值，置匹配矩阵的元素R(i,j)为1；对关联匹配矩阵进行判断：对于出现新目标和理想跟踪状态，通过形心匹配算法进行关联跟踪；对于目标出现合并状态，分别保留目标合并前的运动信息和颜色信息，进行Kalman滤波和直方图融合的合并跟踪。该方法可实现在遮挡情况下的多目标数据关联。

Description

基于特征匹配矩阵的多目标数据关联算法
技术领域
本发明属于光电技术领域，具体涉及一种基于特征匹配矩阵的多目标数据关联算法。
背景技术
视频目标跟踪技术是计算机视觉以及信息融合领域的重要课题，融合了许多领域的先进技术，如人工智能、图像处理、模式识别、自动控制等。由于视频目标跟踪的结果蕴含了每帧图像中所检测到的运动目标的大量信息，所以在军事和民用上有着非常广泛的应用价值。在军事方面的应用包括：军用跟踪瞄准系统；民事方面的应用包括：智能视频监控，智能交通监控，基于视觉的人机交互系统，以及图像检索系统等。
在海量视频检索系统中需要对运动目标的信息进行准确地关联。但是由于视频场景的复杂性和多样性，在对视频中的运动目标进行跟踪时，当单个目标出现相互遮挡，多个目标融合为一个目标组，原目标信息可能丢失，从而导致运动目标的误关联。因此如何实现在遮挡情况下的多目标数据关联是海量视频检索系统的难点和关键。
发明内容
本发明的目的在于提供一种基于特征匹配矩阵的多目标数据关联算法，通过多特征匹配矩阵对运动目标的运动状态进行判定，并在目标合并遮挡情况下，通过Kalman滤波和直方图相交算法的融合实现多目标之间的数据关联。
为达到上述目的，本发明所采取的技术方案为：
一种基于特征匹配矩阵的多目标数据关联算法，该算法包括如下步骤：
步骤一：在拍摄设备静止状态下采集当前视频序列图像；
设第t-1帧的运动目标数目为M，第t帧中需要关联的运动区域数目为N，目标集为Ob＝{obi|i＝1,2,...,M}，区域集为Fg＝{fgj|j＝1,2,...,N}，则目标集obi与区域集fgj的匹配结果即为关联匹配矩阵的元素，匹配矩阵的行为t-1帧的运动目标，列为需要关联的运动区域数目，各个匹配元素R(i,j)组成M×N的关联匹配矩阵R；
步骤二：计算t时刻的第j个运动区域的中心位置与t-1时刻运动目标中心位置距离最近的目标，作为该目标的延续，记最近匹配距离为d(i,j)；
步骤三：计算t-1帧和t帧各运动目标的相交面积，若t时刻目标与当前区域目标相交面积大于一定阈值，表明当前目标为该目标的延续，记相交面积为s(i，j)；
步骤四：当上述中心关联距离和区域相交面积都大于一定阈值，则置关联匹配矩阵R的元素R(i,j)为1；
步骤五：对关联匹配矩阵R阵进行判断：
对R每一列fgj，计算该列的和
Figure BDA00002189162700021
（1）若cj＝0，表明fgj没有与其相关联的目标，为新增目标，令目标数量M＝M+1，则为出现新目标状态；
（2）若cj＝1，则对应理想跟踪状态；
（3）若cj＞1，表明有cj个目标合并为当前目标fgj，则进入合并预测跟踪状态；
步骤六：对于出现新目标和理想跟踪状态，通过形心匹配方法进行关联跟踪；对于目标出现合并状态，则分别保留目标合并前的运动信息和颜色信息，进行Kalman滤波和直方图融合的合并跟踪；
步骤七：对关联匹配矩阵R每一行Obi，计算该行的和
Figure BDA00002189162700031
若rj＝0，表明对应目标暂时消失，由于目标可能被静止物体暂时完全遮挡，所以当该目标持续数帧都没有相关联的目标，表明该目标处于消失状态。
所述步骤六进行Kalman滤波和直方图融合的合并跟踪的方法如下：在HSV颜色空间得到目标颜色直方图，并利用直方图相交算法来更新Kalman滤波量测状态，通过Kalman滤波实现合并状态下运动目标的最佳线性递推估计。
本发明所取得的有益效果为：
本发明所述基于特征匹配矩阵的多目标数据关联算法，通过多特征匹配矩阵对运动目标的运动状态进行判定，不仅能实现在新目标出现和理想跟踪状态下的多目标数据关联，而且在目标合并遮挡情况下，通过Kalman滤波和直方图相交算法的融合实现目标之间的数据关联。
附图说明
图1为本发明所述基于特征匹配矩阵的多目标数据关联算法流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
如图1所示，本发明所述基于特征匹配矩阵的多目标数据关联算法包括如下步骤：
步骤一：在拍摄设备静止状态下采集当前视频序列图像；
设第t-1帧的运动目标数目为M，第t帧中需要关联的运动区域数目为N，目标集为Ob＝{obj|i＝1,2,...,M}，区域集为Fg＝{fgj|j＝1,2,...,N}，则目标集obi与区域集fgj的匹配结果即为关联匹配矩阵的元素，匹配矩阵的行为t-1帧的运动目标，列为需要关联的运动区域数目，各个匹配元素R(i,j)组成M×N的关联匹配矩阵R；
步骤二：计算t时刻的第j个运动区域的中心位置与t-1时刻运动目标中心位置距离最近的目标作为该目标的延续，记最近匹配距离为d(i,j)；
步骤三：计算t-1帧和t帧各运动目标的相交面积，若t时刻目标与当前区域目标相交面积大于一定阈值，表明当前目标为该目标的延续，记相交面积为s(i,j)；
步骤四：当上述中心关联距离和区域相交面积都大于一定阈值，则置关联匹配矩阵R的元素R(i,j)为1；
步骤五：对关联匹配矩阵R阵进行判断：
对R每一列fgj，计算该列的和
Figure BDA00002189162700041
（1）若cj＝0，表明fgj没有与其相关联的目标，为新增目标，令目标数量M＝M+1，则为出现新目标状态；
（2）若cj＝1，则对应理想跟踪状态；
（3）若cj＞1，表明有cj个目标合并为当前目标fgj，则进入合并预测跟踪状态；
步骤六：对于出现新目标和理想跟踪状态，通过形心匹配方法进行关联跟踪；对于目标出现合并状态，则分别保留目标合并前的运动信息和颜色信息，进行Kalman滤波和直方图融合的合并跟踪：即在HSV颜色空间得到目标颜色直方图，并利用直方图相交算法来更新Kalman滤波量测状态，通过Kalman滤波实现合并状态下运动目标的最佳线性递推估计；
步骤七：对关联匹配矩阵R每一行Obi，计算该行的和
Figure BDA00002189162700042
若rj＝0，表明对应目标暂时消失，由于目标可能被静止物体暂时完全遮挡，所以当该目标持续数帧都没有相关联的目标，表明该目标处于消失状态。

Claims (2)

1.一种基于特征匹配矩阵的多目标数据关联算法，其特征在于：该算法包括如下步骤：
步骤一：在拍摄设备静止状态下采集当前视频序列图像；
设第t-1帧的运动目标数目为M，第t帧中需要关联的运动区域数目为N，目标集为Ob＝{obi|i＝1,2,...,M}，区域集为Fg＝{fgj|j＝1,2,...,N}，则目标集obi与区域集fgj的匹配结果即为关联匹配矩阵的元素，匹配矩阵的行为t-1帧的运动目标，列为需要关联的运动区域数目，各个匹配元素R(i，j)组成M×N的关联匹配矩阵R；
步骤二：计算t时刻的第j个运动区域的中心位置与t-1时刻运动目标中心位置距离最近的目标，作为该目标的延续，记最近匹配距离为d(i,j)；
步骤三：计算t-1帧和t帧各运动目标的相交面积，若t时刻目标与当前区域目标相交面积大于一定阈值，表明当前目标为该目标的延续，记相交面积为s(i,j)；
步骤四：当上述中心关联距离和区域相交面积都大于一定阈值，则置关联匹配矩阵R的元素R(i,j)为1；
步骤五：对关联匹配矩阵R阵进行判断：
对R每一列fgj，计算该列的和
（1）若cj＝0，表明fgj没有与其相关联的目标，为新增目标，令目标数量M＝M+1，则为出现新目标状态；
（2）若cj＝1，则对应理想跟踪状态；
（3）若cj＞1，表明有cj个目标合并为当前目标fgj，则进入合并预测跟踪状态；
步骤六：对于出现新目标和理想跟踪状态，通过形心匹配方法进行关联跟踪；对于目标出现合并状态，则分别保留目标合并前的运动信息和颜色信息，进行Kalman滤波和直方图融合的合并跟踪；
步骤七：对关联匹配矩阵R每一行Obi，计算该行的和
若rj＝0，表明对应目标暂时消失，由于目标可能被静止物体暂时完全遮挡，所以当该目标持续数帧都没有相关联的目标，表明该目标处于消失状态。
2.根据权利要求1所述的基于特征匹配矩阵的多目标数据关联算法，其特征在于：所述步骤六进行Kalman滤波和直方图融合的合并跟踪的方法如下：在HSV颜色空间得到目标颜色直方图，并利用直方图相交算法来更新Kalman滤波量测状态，通过Kalman滤波实现合并状态下运动目标的最佳线性递推估计。
CN201210361601.6A 2012-09-25 2012-09-25 基于特征匹配矩阵的多目标数据关联算法 Pending CN103677734A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210361601.6A CN103677734A (zh) 2012-09-25 2012-09-25 基于特征匹配矩阵的多目标数据关联算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210361601.6A CN103677734A (zh) 2012-09-25 2012-09-25 基于特征匹配矩阵的多目标数据关联算法

Publications (1)

Publication Number Publication Date
CN103677734A true CN103677734A (zh) 2014-03-26

Family

ID=50315417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210361601.6A Pending CN103677734A (zh) 2012-09-25 2012-09-25 基于特征匹配矩阵的多目标数据关联算法

Country Status (1)

Country Link
CN (1) CN103677734A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268865A (zh) * 2014-09-18 2015-01-07 中国人民解放军海军航空工程学院 基于模板匹配的集中式多传感器编队目标跟踪方法
CN107464256A (zh) * 2017-07-05 2017-12-12 河海大学 一种目标检测与可能性判别修正的关联方法
CN108932730A (zh) * 2018-05-31 2018-12-04 哈工大机器人（昆山）有限公司 基于数据关联的视频多目标跟踪方法及系统
CN110110670A (zh) * 2019-05-09 2019-08-09 杭州电子科技大学 基于Wasserstein度量的行人跟踪中的数据关联方法
CN110245643A (zh) * 2019-06-21 2019-09-17 上海摩象网络科技有限公司 目标跟踪拍摄方法、装置、电子设备
CN112748735A (zh) * 2020-12-18 2021-05-04 重庆邮电大学 一种引入颜色特征的扩展目标跟踪方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887587A (zh) * 2010-07-07 2010-11-17 南京邮电大学 视频监控中基于运动目标检测的多目标跟踪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887587A (zh) * 2010-07-07 2010-11-17 南京邮电大学 视频监控中基于运动目标检测的多目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
崔吉等: "基于卡尔曼滤波的多运动目标跟踪算法研究", 《影像技术》 *
常发亮等: "视频序列中面向人的多目标跟踪算法", 《控制与决策》 *
江淑红等: "基于目标中心距离加权和图像特征识别的跟踪算法", 《电子学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268865A (zh) * 2014-09-18 2015-01-07 中国人民解放军海军航空工程学院 基于模板匹配的集中式多传感器编队目标跟踪方法
CN104268865B (zh) * 2014-09-18 2017-06-16 中国人民解放军海军航空工程学院 基于模板匹配的集中式多传感器编队目标跟踪方法
CN107464256A (zh) * 2017-07-05 2017-12-12 河海大学 一种目标检测与可能性判别修正的关联方法
CN107464256B (zh) * 2017-07-05 2019-10-15 河海大学 一种目标检测与可能性判别修正的关联方法
CN108932730A (zh) * 2018-05-31 2018-12-04 哈工大机器人（昆山）有限公司 基于数据关联的视频多目标跟踪方法及系统
CN110110670A (zh) * 2019-05-09 2019-08-09 杭州电子科技大学 基于Wasserstein度量的行人跟踪中的数据关联方法
CN110245643A (zh) * 2019-06-21 2019-09-17 上海摩象网络科技有限公司 目标跟踪拍摄方法、装置、电子设备
CN112748735A (zh) * 2020-12-18 2021-05-04 重庆邮电大学 一种引入颜色特征的扩展目标跟踪方法
CN112748735B (zh) * 2020-12-18 2022-12-27 重庆邮电大学 一种引入颜色特征的扩展目标跟踪方法

Similar Documents

Publication Publication Date Title
CN103677734A (zh) 基于特征匹配矩阵的多目标数据关联算法
CN103839308B (zh) 人数获取方法、装置及系统
CN102243765A (zh) 基于多相机的多目标定位跟踪方法及系统
Liu et al. Sparsetrack: Multi-object tracking by performing scene decomposition based on pseudo-depth
CN103729861B (zh) 一种多目标跟踪方法
Bloisi et al. Argos—A video surveillance system for boat traffic monitoring in Venice
CN103246896B (zh) 一种鲁棒性车辆实时检测与跟踪方法
CN101344965A (zh) 基于双目摄像的跟踪系统
Siam et al. On-board multiple target detection and tracking on camera-equipped aerial vehicles
CN103077539A (zh) 一种复杂背景及遮挡条件下的运动目标跟踪方法
CN115731266A (zh) 跨相机多目标跟踪方法、装置、设备及可读存储介质
CN102497505A (zh) 基于改进的Meanshift算法的多球机联动目标跟踪方法及系统
CN103985257A (zh) 一种智能交通视频分析方法
Keawboontan et al. Toward real-time uav multi-target tracking using joint detection and tracking
Xu et al. A real-time, continuous pedestrian tracking and positioning method with multiple coordinated overhead-view cameras
Yang et al. Multi-camera sports players 3d localization with identification reasoning
Li et al. Point-line feature fusion based field real-time RGB-D SLAM
Foggia et al. Real-time tracking of single people and groups simultaneously by contextual graph-based reasoning dealing complex occlusions
Huang et al. Review of coverage control of multi unmanned aerial vehicles
CN106530325A (zh) 一种多目标视觉检测和跟踪方法
CN110322471B (zh) 全景视频浓缩的方法、装置、设备及存储介质
Sharma Intelligent Querying in Camera Networks for Efficient Target Tracking.
Magrini et al. Neuromorphic Drone Detection: an Event-RGB Multimodal Approach
CN113342032A (zh) 基于多区域划分的无人机集群协同跟踪方法
He et al. PFET: Multi-vehicle tracking with pseudo-feature embeddings for traffic video surveillance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140326