CN110288051B - 一种基于距离的多相机多目标匹配方法 - Google Patents

一种基于距离的多相机多目标匹配方法 Download PDF

Info

Publication number
CN110288051B
CN110288051B CN201910594232.7A CN201910594232A CN110288051B CN 110288051 B CN110288051 B CN 110288051B CN 201910594232 A CN201910594232 A CN 201910594232A CN 110288051 B CN110288051 B CN 110288051B
Authority
CN
China
Prior art keywords
matching
target
yes
matched
judging whether
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910594232.7A
Other languages
English (en)
Other versions
CN110288051A (zh
Inventor
朱策
徐榕键
孟令同
曾彪
詹志宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910594232.7A priority Critical patent/CN110288051B/zh
Publication of CN110288051A publication Critical patent/CN110288051A/zh
Application granted granted Critical
Publication of CN110288051B publication Critical patent/CN110288051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于多相机目标匹配技术领域，涉及一种基于距离的多相机多目标匹配方法。在多相机对目标进行匹配时，本发明提供了一种基于距离的具有改进的匹配逻辑的多目标匹配算法。每M帧做一次匹配，若和上次匹配的结果相同，匹配次数+1，匹配次数达到N，更新ID；匹配次数大于L*N，这个目标已经是稳定匹配的目标了，之后可以不再进行匹配。若和上次的匹配结果不同，匹配次数设为1。本发明降低了因行人遮挡等原因造成误匹配的影响，能够提高目标匹配的效率，更符合工程应用需求。

Description

一种基于距离的多相机多目标匹配方法
技术领域
本发明属于多相机目标匹配技术领域，涉及一种基于距离的多相机多目标匹配方法。
背景技术
目标检测，多目标跟踪与多相机多目标的匹配研究是近年来的一大热点。目标检测在日常生活中应用十分广泛。一般可以检测所需要的目标的位置及类别。目标检测传统的方法发展时间长，但发展的速度慢，到后期想依靠手工选取的特征来提高精度已逐渐不可行。之后随着深度学习方法的提出，基于深度学习的目标检测的方法越来越多，常见的有YOLO、RCNN、SSD、RetinaNet等。RCNN是muti-stage方法，检测精度低，检测速度慢。RCNN延伸出来的方法Fast R-CNN和Faster R-CNN是two-stage方法，检测精度较高，检测速度较慢。YOLO、SSD、RetinaNet是one-stage的方法，检测精度较高而且检测速度较快。RCNN系列的方法需要先生成候选框，而YOLO、SSD、RetinaNet不需要。一般来说，工程应用要讲究实时性，较多采用one-stage的YOLO、SSD等方法。而如果更在意性能指标，可以采用two-stage的方法。YOLO的设计是以实时性为基础，运算速度快，运用较为广泛。
多目标跟踪可以同时跟踪视频中的多个目标。在自动驾驶，智能监控等领域都有着广泛应用。多目标跟踪算法可以进行轨迹特征的自动分析和提取，在一定程度上可以提升目标检测的性能。多目标跟踪所跟踪的目标，位置变化一般较大，个数也不确定，但目标一般属于一类。目标跟踪算法分类方式有很多种，有按关联方式的跟踪和按预测校正跟踪，按照在线方式跟踪和按照离线方式关联跟踪，按照概率统计最大化跟踪和按照确定性推导的跟踪。在线跟踪是指以逐帧的方式进行跟踪，对图像的每一帧进行进行检测，然后关联已有的跟踪轨迹。离线跟踪算法需要获取完整视频以及视频的检测结果。概率统计最大化的跟踪包括贝叶斯推导算法，能量最小化算法和概率图优化算法等。确定性推导的跟踪包括二部图匹配点算法，机器学习算法和网络流优化算法等。在概率统计最大化的跟踪算法里，将轨迹与检测结果通过概率模型形式化。在确定性推导的算法中，将轨迹和检测的匹配视为二元变量，构造相应的目标函数，通过求目标函数的最优得到轨迹与检测的最佳匹配。
在多相机目标匹配的算法中要将不同相机中出现的相同目标进行匹配。首先需要对相机进行标定，然后将两个相机中的目标位置映射至同一个坐标系中，再基于目标映射到同一个坐标系之后的距离关系进行匹配。常用的匹配算法是最近邻匹配算法。在传统算法的匹配逻辑中，针对已匹配过的目标是否需要再次进行匹配有两种处理方法，第一种是已匹配之后就不在进行匹配，这样会导致某帧匹配错误之后，错误无法被纠正。第二种是每帧都匹配，那么某一帧的误匹配会带来ID的立即切换；而且容易发生切换为相同ID的情况。这两种匹配方式都不能满足实际工程运用需求。
发明内容
本发明的目的在于：为解决由于匹配过程中目标被遮挡，产生误匹配之后，匹配效果较差的问题。具体体现在针对已匹配过的目标，如果每帧都匹配，某一帧的误匹配会导致ID的立即切换，而且容易切换为相同ID的情况，如果不需要匹配，那么一旦某一帧匹配错了，错误不会再被纠正。本发明提供一种基于距离的多相机多目标匹配方法。
本发明的技术方案如下：
一种基于距离的多相机多目标匹配方法，根据工程实际需要，提供一种可以提升匹配效果的匹配逻辑。
进一步地，包括如下步骤：
S1：初始化匹配频率M，控制标号更新的阈值N，决定匹配是否稳定的阈值L。
S2：两个相机A和B所得的多帧目标检测的结果。
S3：判断当前帧是否是第一帧。是，则执行S5；否，则执行S4。
S4：判断当前帧是否与上一次进行匹配的帧相隔了M帧。是，则执行S5；否，则执行S6。
S5：判断两个相机的目标检测结果是否已有标号。是，则执行S7；否，则执行S8。
S6：进入下一帧，执行S4。
S7：检测目标使用上一帧的标号。执行S9。
S8：检测目标分配新的标号。
S9:利用KM匹配算法对两个相机中的目标进行基于距离的匹配。
S10：判断两个相机中的目标是否能够匹配。是，则执行S11；否，则执行S12。
S11：为两个相机中能够匹配的目标分配相同的标号，执行S13。
S12:为两个相机中不能匹配的目标分配不同的标号。
S13:将计数值n的值设为1。
S14：查看目标an的标号更新情况。
S15：判断目标的标号与上次匹配的结果是否相同。是，则执行S16；否，则执行S17。
S16：该目标的匹配次数加1。执行S18。
S17：该目标的匹配次数设为1。
S18：判断目标的匹配次数是否达到N。是，则执行S19；否，则执行S22。
S19：更新该目标标号。
S20：判断目标匹配的次数是否达到L*N。是，则执行S21；否，则执行S22。
S21：将该目标标号固定。
S22：判断是否已匹配所有目标。是，则执行S23；否，则执行S24。
S23：判断是否所有帧都已匹配完毕。是，则结束；否，则执行S6。
S24：将计数值n的值加1，执行S14。采用上述方案后，本发明的有益效果在于：
在进行多相机多目标的匹配时，以前的基于距离的方法主要采用的最近邻匹配算法，针对已匹配的目标点的匹配逻辑仅仅是不再匹配或每一帧都匹配。这使得某帧匹配错了也不会被纠正或由于误匹配导致ID切换过于频繁，无法有效地在工程中投入实用。本发明设计的匹配逻辑能够根据需要调整全局标号的更新速度和稳定程度，使用KM匹配算法代替最近邻匹配算法，实现全局代价的最小化。本发明使基于距离的匹配具有更高的稳定性与准确性，能够较好地在工程中进行应用。
附图说明
图1为本发明的流程图；
图2为利用深度学习框架进行单相机行人检测的结果，本发明不限定检测的目标类型；
图3为本发明实际进行多相机多目标匹配的结果。
具体实施方式
为了验证该方法的有效性，基于本发明的方法进行了如下实验。
本发明的方案中使用了KM匹配算法对两个相机中的目标进行基于距离的匹配，为了便于理解，对该匹配算法进行如下说明：
单相机跟踪算法使用Deep Sort模型。Deep Sort通过目标检测器检测出每一帧的行人，并根据行人的特征进行前后帧目标的关联。考虑到速度和性能之间的均衡，目标检测器由不使用Faster RCNN而使用YOLO v3；而行人的特征使用一个重识别网络获得。相机可使用普通光学数码相机，两个相机的拍摄区域应有重叠，且需要提前进行标定。以两个相机为例，相机A识别目标为A1，A2，…,Am,相机B识别目标为B1，B2，…，Bn，现在需要将相机A和相机B的目标配对。通过标定两个相机视野中K对对应的点，得到相应的单应矩阵，再将相机A中的目标和相机B中的目标转换至一个坐标系中。求出相机A中每个目标和相机B中每个目标两两之间的欧式距离，记为Dij，将Dij取为相反数。此时，问题转化为二分图带权最大匹配问题，使用Kuhn-Munkres(KM)算法，即可求出此时的带权最大匹配，即当Dij为正数时的距离和(全局代价)最小的匹配。基于Windows操作系统，使用Darknet和Tensorflow深度运行框架在GeForce 1080GPU上运行。
本发明具体包括如下步骤：
S1：初始化匹配频率M，控制标号更新的阈值N，决定匹配是否稳定的阈值L。
S2：两个相机A和B所得的多帧目标检测的结果。
S3：判断当前帧是否是第一帧。是，则执行S5；否，则执行S4。
S4：判断当前帧是否与上一次进行匹配的帧相隔了M帧。是，则执行S5；否，则执行S6。
S5：判断两个相机的目标检测结果是否已有标号。是，则执行S7；否，则执行S8。
S6：进入下一帧，执行S4。
S7：检测目标使用上一帧的标号。执行S9。
S8：检测目标分配新的标号。
S9:利用KM匹配算法对两个相机中的目标进行基于距离的匹配。
S10：判断两个相机中的目标是否能够匹配。是，则执行S11；否，则执行S12。
S11：为两个相机中能够匹配的目标分配相同的标号，执行S13。
S12:为两个相机中不能匹配的目标分配不同的标号。
S13:将计数值n的值设为1。
S14：查看目标an的标号更新情况。
S15：判断目标的标号与上次匹配的结果是否相同。是，则执行S16；否，则执行S17。
S16：该目标的匹配次数加1。执行S18。
S17：该目标的匹配次数设为1。
S18：判断目标的匹配次数是否达到N。是，则执行S19；否，则执行S22。
S19：更新该目标标号。
S20：判断目标匹配的次数是否达到L*N。是，则执行S21；否，则执行S22。
S21：将该目标标号固定。
S22：判断是否已匹配所有目标。是，则执行S23；否，则执行S24。
S23：判断是否所有帧都已匹配完毕。是，则结束；否，则执行S6。
S24：将计数值n的值加1，执行S14。
表1本发明的相机图像坐标转地面坐标之后的误差情况
Figure BDA0002117114590000051
Figure BDA0002117114590000061

Claims (1)

1.一种基于距离的多相机多目标匹配方法，其特征在于，对多个相机获取的多帧目标检测结果，每隔M帧数做一次匹配，连续匹配N次再更新目标的标号，当连续匹配超过L*N次，标号保持不变，该目标不再进行匹配，L为预设的阈值；具体步骤为：
S1：初始化匹配频率M，控制标号更新的阈值N，决定匹配是否稳定的阈值L；
S2：获取两个相机A和B所得的多帧目标检测的结果；
S3：判断当前帧是否是第一帧；是，则执行S5；否，则执行S4；
S4：判断当前帧是否与上一次进行匹配的帧相隔了M帧；是，则执行S5；否，则执行S6；
S5：判断两个相机的目标检测结果是否已有标号；是，则执行S7；否，则执行S8；
S6：进入下一帧，执行S4；
S7：检测目标使用上一帧的标号；执行S9；
S8：检测目标分配新的标号；
S9:利用KM匹配算法对两个相机中的目标进行基于距离的匹配；
S10：判断两个相机中的目标是否能够匹配；是，则执行S11；否，则执行S12；
S11：为两个相机中能够匹配的目标分配相同的标号，执行S13；
S12:为两个相机中不能匹配的目标分配不同的标号；
S13:将计数值n的值设为1；
S14：查看目标的标号更新情况；
S15：判断目标的标号与上次匹配的结果是否相同；是，则执行S16；否，则执行S17；
S16：该目标的匹配次数加1；执行S18；
S17：该目标的匹配次数设为1；
S18：判断目标的匹配次数是否达到N；是，则执行S19；否，则执行S22；
S19：更新该目标标号；
S20：判断目标匹配的次数是否达到L*N；是，则执行S21；否，则执行S22；
S21：将该目标标号固定；
S22：判断是否已匹配所有目标；是，则执行S23；否，则执行S24；
S23：判断是否所有帧都已匹配完毕；是，则结束匹配；否，则执行S6；
S24：将计数值n的值加1，执行S14。
CN201910594232.7A 2019-07-03 2019-07-03 一种基于距离的多相机多目标匹配方法 Active CN110288051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910594232.7A CN110288051B (zh) 2019-07-03 2019-07-03 一种基于距离的多相机多目标匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910594232.7A CN110288051B (zh) 2019-07-03 2019-07-03 一种基于距离的多相机多目标匹配方法

Publications (2)

Publication Number Publication Date
CN110288051A CN110288051A (zh) 2019-09-27
CN110288051B true CN110288051B (zh) 2022-04-22

Family

ID=68021780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910594232.7A Active CN110288051B (zh) 2019-07-03 2019-07-03 一种基于距离的多相机多目标匹配方法

Country Status (1)

Country Link
CN (1) CN110288051B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273822A (zh) * 2017-05-26 2017-10-20 西安电子科技大学 一种基于监控视频多目标跟踪和人脸识别的隐私保护方法
CN107992827A (zh) * 2017-12-03 2018-05-04 湖南工程学院 一种基于三维模型的多运动目标跟踪的方法及装置
WO2018095082A1 (zh) * 2016-11-28 2018-05-31 江苏东大金智信息系统有限公司 一种视频监测中运动目标的快速检测方法
CN108876821A (zh) * 2018-07-05 2018-11-23 北京云视万维科技有限公司 跨镜头多目标跟踪方法及系统
CN109188423A (zh) * 2018-08-29 2019-01-11 电子科技大学 一种基于多源聚类的分布式多目标跟踪方法
CN109360226A (zh) * 2018-10-17 2019-02-19 武汉大学 一种基于时间序列多特征融合的多目标跟踪方法
CN109800624A (zh) * 2018-11-27 2019-05-24 上海眼控科技股份有限公司 一种基于行人重识别的多目标跟踪方法
CN109859238A (zh) * 2019-03-14 2019-06-07 郑州大学 一种基于多特征最优关联的在线多目标跟踪方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI492188B (zh) * 2008-12-25 2015-07-11 Univ Nat Chiao Tung 利用多攝影機自動偵測與追蹤多目標的方法及系統
CN103366370B (zh) * 2013-07-03 2016-04-20 深圳市智美达科技股份有限公司 视频监控中的目标跟踪方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018095082A1 (zh) * 2016-11-28 2018-05-31 江苏东大金智信息系统有限公司 一种视频监测中运动目标的快速检测方法
CN107273822A (zh) * 2017-05-26 2017-10-20 西安电子科技大学 一种基于监控视频多目标跟踪和人脸识别的隐私保护方法
CN107992827A (zh) * 2017-12-03 2018-05-04 湖南工程学院 一种基于三维模型的多运动目标跟踪的方法及装置
CN108876821A (zh) * 2018-07-05 2018-11-23 北京云视万维科技有限公司 跨镜头多目标跟踪方法及系统
CN109188423A (zh) * 2018-08-29 2019-01-11 电子科技大学 一种基于多源聚类的分布式多目标跟踪方法
CN109360226A (zh) * 2018-10-17 2019-02-19 武汉大学 一种基于时间序列多特征融合的多目标跟踪方法
CN109800624A (zh) * 2018-11-27 2019-05-24 上海眼控科技股份有限公司 一种基于行人重识别的多目标跟踪方法
CN109859238A (zh) * 2019-03-14 2019-06-07 郑州大学 一种基于多特征最优关联的在线多目标跟踪方法

Also Published As

Publication number Publication date
CN110288051A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
CN109636829B (zh) 一种基于语义信息和场景信息的多目标跟踪方法
Wojke et al. Simple online and realtime tracking with a deep association metric
CN108921873B (zh) 基于核相关滤波优化的马尔科夫决策在线多目标跟踪方法
CN110853078B (zh) 一种基于遮挡对的在线多目标跟踪方法
CN116128932B (zh) 一种多目标跟踪方法
CN103714553A (zh) 一种多目标跟踪方法和装置
LU500407B1 (en) Real-time positioning method for inspection robot
CN110751096A (zh) 一种基于kcf轨迹置信度的多目标跟踪方法
CN110674886B (zh) 一种融合多层级特征的视频目标检测方法
CN111242985B (zh) 基于马尔科夫模型的视频多行人追踪方法
CN111160212A (zh) 一种基于YOLOv3-Tiny改进的跟踪学习检测系统及方法
CN104683802A (zh) 一种基于h.264/avc压缩域的运动目标跟踪的方法
CN108846850B (zh) 一种基于tld算法的目标跟踪方法
CN110288051B (zh) 一种基于距离的多相机多目标匹配方法
CN107480580A (zh) 图像识别方法和图像识别装置
CN109919154A (zh) 一种字符智能识别方法及识别装置
CN109472813A (zh) 一种基于背景加权的Mean Shift算法和Kalman预测融合的遮挡跟踪方法
CN116330658B (zh) 基于深度图像的目标跟踪方法、装置、系统及摄像设备
CN110991565A (zh) 基于kcf的目标跟踪优化算法
CN113192110A (zh) 多目标跟踪方法、装置、设备及存储介质
Chen et al. A mean shift algorithm based on modified Parzen window for small target tracking
Kang et al. Online multiple object tracking with recurrent neural networks and appearance Model
He et al. PFET: Multi-vehicle tracking with pseudo-feature embeddings for traffic video surveillance
Gloudemans et al. Localization-based tracking
CN105321180A (zh) 一种基于云计算的目标跟踪定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant