CN114240997A - 一种智慧楼宇在线跨摄像头多目标追踪方法 - Google Patents

一种智慧楼宇在线跨摄像头多目标追踪方法 Download PDF

Info

Publication number
CN114240997A
CN114240997A CN202111355081.3A CN202111355081A CN114240997A CN 114240997 A CN114240997 A CN 114240997A CN 202111355081 A CN202111355081 A CN 202111355081A CN 114240997 A CN114240997 A CN 114240997A
Authority
CN
China
Prior art keywords
pedestrian
track
target tracking
camera
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111355081.3A
Other languages
English (en)
Other versions
CN114240997B (zh
Inventor
牛丹
卫奕霖
龚昊
曹展
施春磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangyin Zhixing Industrial Control Technology Co ltd
Xuzhou Yunbianduan Intelligent Technology Co ltd
Nanjing Yunniu Intelligent Technology Co ltd
Original Assignee
Jiangyin Zhixing Industrial Control Technology Co ltd
Xuzhou Yunbianduan Intelligent Technology Co ltd
Nanjing Yunniu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangyin Zhixing Industrial Control Technology Co ltd, Xuzhou Yunbianduan Intelligent Technology Co ltd, Nanjing Yunniu Intelligent Technology Co ltd filed Critical Jiangyin Zhixing Industrial Control Technology Co ltd
Priority to CN202111355081.3A priority Critical patent/CN114240997B/zh
Publication of CN114240997A publication Critical patent/CN114240997A/zh
Application granted granted Critical
Publication of CN114240997B publication Critical patent/CN114240997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种智慧楼宇在线跨摄像头多目标追踪方法，以楼宇入口的摄像头为基准摄像头获取视频流，通过行人检测，多目标追踪方法和特征筛选方法获得特征加入基准库，以其他摄像头为对比摄像头获取视频流，采用图片‑图片关联方式与基准库特征进行匹配；进行多目标追踪时，根据不同的匹配情况来融合位置和外观距离；采用无监督的方式来训练行人重识别网络，得到完整的行人轨迹。本发明在实现实时追踪的基础上提高了识别准确率，进行多目标追踪时，根据不同的匹配情况来融合位置和外观距离，显著提高匹配的准确性，采用无监督的方式来训练行人重识别网络提升了算法性能、加速了算法落地；可以显著提升智慧楼宇场景下的跨摄像头多目标追踪的精度。

Description

一种智慧楼宇在线跨摄像头多目标追踪方法
技术领域
本发明属于跨摄像头多目标跟踪技术领域，具体涉及一种智慧楼宇在线多摄像头多目标追踪方法。
背景技术
跨摄像头多目标跟踪技术旨在确定跟踪目标在多个摄像头下的轨迹。现有方法采用轨迹-轨迹的关联方式，需要生成一段完整的轨迹，无法对目标进行实时追踪；其他方法采用图片-图片关联方式，虽然可以实时进行追踪，但没有对特征进行筛选，准确率较低；此外在实际的楼宇应用场景中，行人首先出现在入口的摄像头，而后出现在其他摄像头中，现有方法没有利用这一信息。
多目标追踪算法用来生成跟踪目标在单个摄像头下的轨迹。现有方法计算检测结果与轨迹间的位置信息和外观特征距离矩阵，线性加权两种距离进行匹配，或只使用一种距离进行匹配；但是当轨迹连续成功匹配时，使用位置信息距离矩阵匹配对遮挡会更加鲁棒，而轨迹长时间未成功匹配时，使用外观特征距离矩阵匹配准确性会更高。
行人重识别算法用来解决跨摄像头匹配和增强多目标追踪算法面对长遮挡时准确性。现有方法需要大量的训练样本，使得模型具有更好的性能，但行人重识别数据集的标注非常消耗时间和人力。
发明内容
发明目的：本发明的目的是提供一种智慧楼宇在线跨摄像头多目标追踪方法，实现无需人为操作，便可准确实现行人的跨摄像头追踪。
技术方案：本发明提供一种智慧楼宇在线跨摄像头多目标追踪方法，具体包括以下步骤：
(1)对楼宇内监控视频进行数据采集，得到包含多个行人通过多个摄像头的视频片段以及实时视频流；所述摄像头包括一个基准摄像头和多个对比摄像头；
(2)对视频片段进行标注，制作数据集，利用无监督的方法训练行人重识别网络；
(3)对实时视频流进行抽帧，对每一帧图片使用行人检测算法，得到包含行人全身的最小矩形检测框，得到包括位置信息和外观信息的行人检测信息；
(4)对于基准摄像头获取的视频流，利用行人检测信息，使用多目标追踪方法，得到行人轨迹，将轨迹中的行人图像送入行人重识别网络，得到其重识别特征，并筛选得到k个特征加入对比库中；
(5)对于对比摄像头获取的视频流，利用得到的行人检测信息初始化轨迹，将轨迹的初始行人外观信息送入行人重识别网络，得到其重识别特征，与对比库中的特征计算余弦距离，若与距离排名第一的样本S的余弦距离小于先验阈值Lc，则初始化一个新的轨迹，且其行人编号与S相同；使用多目标追踪方法，得到完整的行人轨迹。
进一步地，步骤(2)所述数据集按4:1随机拆分成训练集和测试集。
进一步地，所述步骤(2)包括以下步骤：
(21)获取数据集中的正样本和负样本，认为同一个轨迹内的检测样本互为正样本，认为同一帧的多个检测样本互为负样本；
(22)获取跨摄像头的正负样本，采用k互编码算法，其公式为：
Figure BDA0003357260160000022
其中，N(p,k)指与样本p余弦相似度最高的k个样本，认为满足下式的样本所在轨迹内的检测样本为p的正样本，其余轨迹内的检测样本为负样本，轨迹内样本使用所述特征筛选方法，得到最终的正样本及其外观信息和负样本及其外观信息：
Figure BDA0003357260160000021
其中，fc为行人重识别特征，Distance为余弦距离，Lc为所述先验阈值；
(23)使用行人重识别公开数据集训练后的模型为预训练模型，利用所述正负训练样本对所述行人重识别网络进行训练；
(24)行人重识别网络的骨干网络为ResNet-50，采用交叉熵函数计算分类损失，采用三元组损失计算度量损失，采用Adam优化器，采用反向传播算法更新骨干网络的参数，获取在楼宇场景下训练后的行人重识别网络。
进一步地，步骤(4)所述筛选得到k个特征过程如下：
剔除掉行人检测框置信度低于Ld的行人图像；采用k-means对所述重识别特征进行聚类，将其聚为k-1类，选取每类的中心点特征以及全局中心点特征，共k个重识别特征为筛选后特征。
进一步地，步骤(5)所述多目标追踪方法包括以下步骤：
S1：根据所述待匹配行人信息初始化轨迹，轨迹信息包括位置和外观信息；由位置信息得到其运动状态为：
Figure BDA0003357260160000031
其中，cx，cy为检测框的中心点坐标，r为检测框宽高比，h为检测框高，vx，vy，vr，vh分别为上述变量的变化率；
S2：将待匹配行人运动信息送入卡尔曼滤波器得到轨迹的预测位置信息，利用由k-1的运动状态和协方差预测k时刻的运动状态和协方差；
S3：将待匹配行人外观信息送入行人重识别网络得到其外观特征；
S4：将待匹配行人信息的位置信息和外观特征，分别与轨迹的预测位置信息计算交并比距离，与轨迹的外观特征计算余弦距离；
S5：将交并比距离和余弦距离，根据匹配情况进行融合，距离矩阵的融合计算方法为：
dm＝e-λ*t*diou+(1-e-λ*t)dfeature
其中，dm为融合后的距离，diou为所述交并比距离，dfeature为所述余弦距离，t为轨迹连续未匹配成功的次数，λ为正系数；
S6：根据关联距离矩阵，利用匈牙利算法，得到待匹配样本和轨迹样本的匹配结果，为匹配成功的样本赋予与其对应轨迹样本相同的编号。
有益效果：与现有技术相比，本发明的有益效果为：本发明以入口的摄像头为基准摄像头获取视频流，通过行人检测，多目标追踪方法和特征筛选方法获得特征加入基准库，以其他摄像头为对比摄像头获取视频流，采用图片-图片关联方式与基准库特征进行匹配，在实现实时追踪的基础上提高了识别准确率，进行多目标追踪时，根据不同的匹配情况来融合位置和外观距离，显著提高匹配的准确性，采用无监督的方式来训练行人重识别网络提升了算法性能、加速了算法落地；本发明对智慧楼宇场景下的跨摄像头多目标追踪效果提升明显。
附图说明
图1为本发明的流程图；
图2为本发明特征筛选方法效果示意图；
图3为本发明多目标追踪方法效果示意图；
图4为本发明跨摄像头多目标追踪方法效果示意图。
具体实施方式
下面结合附图对本发明作进一步详细描述：
本具体实施方式公开了一种智慧楼宇在线跨摄像头多目标追踪方法，如图1所示，具体包括以下步骤：
步骤1：对楼宇内监控视频进行数据采集，得到包含多个行人通过多个摄像头的视频片段以及实时视频流；摄像头包括一个基准摄像头和多个对比摄像头。
步骤2：对于所述视频片段抽帧后进行标注，制作数据集，利用无监督的方法训练行人重识别网络。
利用行人检测信息，获取摄像头内的负样本，认为同一帧的多个检测样本互为负样本。利用行人检测信息和多目标追踪方法，获取摄像头内的正样本，认为同一个轨迹内的检测样本互为正样本。
利用行人检测信息、多目标追踪方法和行人重识别网络，获取跨摄像头的正负样本，采用k互编码算法，其公式为：
Figure BDA0003357260160000041
其中，N(p,k)指与样本p余弦相似度最高的k个样本，这里k＝10，认为满足下式的样本所在轨迹内的检测样本为p的正样本，其余轨迹内的检测样本为负样本，轨迹内样本使用所述特征筛选方法，得到最终的正样本及其外观信息和负样本及其外观信息：
Figure BDA0003357260160000042
其中，fc为行人重识别特征，Distance为余弦距离，Lc为所述先验阈值；这里Lc＝0.45。
将获得的行人图像保存，保存文件名为：“行人编号+摄像头编号+视频片段编号+视频帧数“，共200个行人，8个摄像头，共1351张图像。所有行人图像按4:1随机拆分成训练集和测试集，制作数据集，此处训练集和测试集分别有150人，1030张图像和50人，321张图像。
使用行人重识别公开数据集训练后的模型为预训练模型，利用行人重识别训练样本对所述行人重识别网络进行训练。行人重识别网络的骨干网络为ResNet-50，采用交叉熵函数计算分类损失，采用三元组损失计算度量损失，采用Adam优化器，采用反向传播算法更新所述骨干网络的参数，初始学习率为0.00035，迭代次数设置为100，开始训练。将待识别的行人图像，送入训练得到的模型中，模型输出为该行人的重识别特征。
步骤3：对实时视频流进行抽帧，对每一帧图片使用行人检测算法，得到包含行人全身的最小矩形检测框，得到包括位置信息和外观信息的行人检测信息。
步骤4：对于基准摄像头获取的视频流，利用所述行人检测信息，使用多目标追踪方法，得到行人轨迹，将轨迹中的行人图像送入行人重识别网络，得到其重识别特征，并筛选得到k个特征加入对比库中，这里k＝5，特征筛选效果如图2所示；
剔除掉行人检测框置信度低于Ld的行人图像，这里Ld＝0.9，从而剔除掉遮挡和畸变的行人图形。采用k-means对所述重识别特征进行聚类，将其聚为4类，选取每类的中心点特征以及全局中心点特征，共5个重识别特征为筛选后特征，从尽可能多的筛选出不同姿态的行人图形，剔除相似冗余的行人图形。
步骤5：对于对比摄像头获取的视频流，利用得到的行人检测信息初始化轨迹，将轨迹的初始行人外观信息送入行人重识别网络，得到其重识别特征，与所述对比库中的特征计算余弦距离，若与距离排名第一的样本S的余弦距离小于先验阈值Lc，这里Lc＝0.45，则初始化一个新的轨迹，且其行人编号与S相同，之后使用所述多目标追踪方法，得到其完整的行人轨迹，多目标追踪的效果如图3所示，在摄像头内准确追踪了多个目标，跨摄像头多目标追踪的效果如图4所示，实现了对于追踪目标的跨摄像头追踪。
根据待匹配行人信息初始化轨迹，轨迹信息包括位置和外观信息，由位置信息得到其运动状态为：
Figure BDA0003357260160000061
其中，cx，cy为检测框的中心点坐标，r为检测框宽高比，h为检测框高，vx，vy，vr，vh分别为上述变量的变化率。
将待匹配行人运动信息送入卡尔曼滤波器得到轨迹的预测位置信息，利用由k-1的运动状态和协方差预测k时刻的运动状态和协方差。将待匹配行人外观信息送入行人重识别网络得到其外观特征。将待匹配行人信息的位置信息和外观特征，分别与轨迹的预测位置信息计算交并比距离，与轨迹的外观特征计算余弦距离。将交并比距离和所述余弦距离，根据匹配情况进行融合，距离矩阵的融合计算方法为：
dm＝e-λ*t*diou+(1-e-λ*t)dfeature
其中，dm为融合后的距离，diou为所述交并比距离，dfeature为所述余弦距离，t为轨迹连续未匹配成功的次数，λ为正系数，这里λ＝0.1。
根据关联距离矩阵，利用匈牙利算法，得到所述待匹配样本和轨迹样本的匹配结果，为匹配成功的样本赋予与其对应轨迹样本相同的编号。
表1为本发明提出的方法在多目标追踪数据集MOT16数据集上的对比实验，分别在不进行距离融合和进行距离融合的情况下实验：
表1本方法在MOT16数据集上的对比实验
MOTA↑ FN↓ FP↓ ID↓
距离未融合 53.8 44401 6982 691
本发明 55.9 42295 6842 509
表2为本发明提出的方法在楼宇场景跨摄像头数据集的对比实验，分别在不进行特征筛选和进行特征的情况下实验：
表2本方法在楼宇场景数据集上的对比实验
IDF1↑ IDP↑ IDR↑
特征未筛选 74.8 77.4 72.4
本发明 85.4 86.0 84.8
综上所述，本发明利用外观和位置距离融合，可以达到55.9的MOTA值，比不进行距离融合提高了2.1，提高了多目标追踪的准确率；利用特征筛选策略，可以达到85.4的IDF1值，比不进行特征筛选提高了10.6，提高了跨摄像头重识别匹配的准确率；利用无监督的行人重识别训练方法，大大减少了人工标注的工作量。采用本发明提出的方法，可以显著提升智慧楼宇场景下的跨摄像头多目标追踪的精度。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种智慧楼宇在线跨摄像头多目标追踪方法，其特征在于，包括以下步骤：
(1)对楼宇内监控视频进行数据采集，得到包含多个行人通过多个摄像头的视频片段以及实时视频流；所述摄像头包括一个基准摄像头和多个对比摄像头；
(2)对视频片段进行标注，制作数据集，利用无监督的方法训练行人重识别网络；
(3)对实时视频流进行抽帧，对每一帧图片使用行人检测算法，得到包含行人全身的最小矩形检测框，得到包括位置信息和外观信息的行人检测信息；
(4)对于基准摄像头获取的视频流，利用行人检测信息，使用多目标追踪方法，得到行人轨迹，将轨迹中的行人图像送入行人重识别网络，得到其重识别特征，并筛选得到k个特征加入对比库中；
(5)对于对比摄像头获取的视频流，利用得到的行人检测信息初始化轨迹，将轨迹的初始行人外观信息送入行人重识别网络，得到其重识别特征，与对比库中的特征计算余弦距离，若与距离排名第一的样本S的余弦距离小于先验阈值Lc，则初始化一个新的轨迹，且其行人编号与S相同；使用多目标追踪方法，得到完整的行人轨迹。
2.根据权利要求1所述的智慧楼宇在线跨摄像头多目标追踪方法，其特征在于，步骤(2)所述数据集按4∶1随机拆分成训练集和测试集。
3.根据权利要求1所述的智慧楼宇在线跨摄像头多目标追踪方法，其特征在于，所述步骤(2)包括以下步骤：
(21)获取数据集中的正样本和负样本，认为同一个轨迹内的检测样本互为正样本，认为同一帧的多个检测样本互为负样本；
(22)获取跨摄像头的正负样本，采用k互编码算法，其公式为：
Figure FDA0003357260150000011
其中，N(p，k)指与样本p余弦相似度最高的k个样本，认为满足下式的样本所在轨迹内的检测样本为p的正样本，其余轨迹内的检测样本为负样本，轨迹内样本使用所述特征筛选方法，得到最终的正样本及其外观信息和负样本及其外观信息：
Figure FDA0003357260150000021
其中，fc为行人重识别特征，Distance为余弦距离，Lc为所述先验阈值；
(23)使用行人重识别公开数据集训练后的模型为预训练模型，利用所述正负训练样本对所述行人重识别网络进行训练；
(24)行人重识别网络的骨干网络为ResNet-50，采用交叉熵函数计算分类损失，采用三元组损失计算度量损失，采用Adam优化器，采用反向传播算法更新骨干网络的参数，获取在楼宇场景下训练后的行人重识别网络。
4.根据权利要求1所述的智慧楼宇在线跨摄像头多目标追踪方法，其特征在于，步骤(4)所述筛选得到k个特征过程如下：
剔除掉行人检测框置信度低于Ld的行人图像；采用k-means对所述重识别特征进行聚类，将其聚为k-1类，选取每类的中心点特征以及全局中心点特征，共k个重识别特征为筛选后特征。
5.根据权利要求1所述的智慧楼宇在线跨摄像头多目标追踪方法，其特征在于，步骤(5)所述多目标追踪方法包括以下步骤：
S1：根据所述待匹配行人信息初始化轨迹，轨迹信息包括位置和外观信息；由位置信息得到其运动状态为：
Figure FDA0003357260150000022
其中，cx，cy为检测框的中心点坐标，r为检测框宽高比，h为检测框高，vx，vy，vr，vh分别为上述变量的变化率；
S2：将待匹配行人运动信息送入卡尔曼滤波器得到轨迹的预测位置信息，利用由k-1的运动状态和协方差预测k时刻的运动状态和协方差；
S3：将待匹配行人外观信息送入行人重识别网络得到其外观特征；
S4：将待匹配行人信息的位置信息和外观特征，分别与轨迹的预测位置信息计算交并比距离，与轨迹的外观特征计算余弦距离；
S5：将交并比距离和余弦距离，根据匹配情况进行融合，距离矩阵的融合计算方法为：
dm＝e-λ*t*diou+(1-e-λ*t)dfeature
其中，dm为融合后的距离，diou为所述交并比距离，dfeature为所述余弦距离，t为轨迹连续未匹配成功的次数，λ为正系数；
S6：根据关联距离矩阵，利用匈牙利算法，得到待匹配样本和轨迹样本的匹配结果，为匹配成功的样本赋予与其对应轨迹样本相同的编号。
CN202111355081.3A 2021-11-16 2021-11-16 一种智慧楼宇在线跨摄像头多目标追踪方法 Active CN114240997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111355081.3A CN114240997B (zh) 2021-11-16 2021-11-16 一种智慧楼宇在线跨摄像头多目标追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111355081.3A CN114240997B (zh) 2021-11-16 2021-11-16 一种智慧楼宇在线跨摄像头多目标追踪方法

Publications (2)

Publication Number Publication Date
CN114240997A true CN114240997A (zh) 2022-03-25
CN114240997B CN114240997B (zh) 2023-07-28

Family

ID=80749558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111355081.3A Active CN114240997B (zh) 2021-11-16 2021-11-16 一种智慧楼宇在线跨摄像头多目标追踪方法

Country Status (1)

Country Link
CN (1) CN114240997B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693746A (zh) * 2022-03-31 2022-07-01 西安交通大学 基于身份识别和跨摄像头目标追踪的智能监控系统及方法
CN115019241A (zh) * 2022-08-05 2022-09-06 江西中业智能科技有限公司 一种行人识别与追踪方法、装置、可读存储介质及设备
CN115100591A (zh) * 2022-06-17 2022-09-23 哈尔滨工业大学 基于联合学习的多目标跟踪与目标重识别系统及方法
CN115861914A (zh) * 2022-10-24 2023-03-28 广东魅视科技股份有限公司 一种辅助用户查找特定目标的方法
CN117241133A (zh) * 2023-11-13 2023-12-15 武汉益模科技股份有限公司 基于非固定位置的多工序同时作业的视觉报工方法及系统
CN117953580A (zh) * 2024-01-29 2024-04-30 浙江大学 一种基于跨摄像头多目标跟踪的行为识别方法、系统及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330920A (zh) * 2017-06-28 2017-11-07 华中科技大学 一种基于深度学习的监控视频多目标追踪方法
KR20180077865A (ko) * 2016-12-29 2018-07-09 단국대학교 산학협력단 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치 및 방법
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学（深圳） 基于无监督学习的行人重识别方法、装置及介质
CN110619657A (zh) * 2019-08-15 2019-12-27 青岛文达通科技股份有限公司 一种面向智慧社区的多摄像机联动多目标追踪方法及系统
CN111179311A (zh) * 2019-12-23 2020-05-19 全球能源互联网研究院有限公司 多目标跟踪方法、装置及电子设备
CN111709974A (zh) * 2020-06-22 2020-09-25 苏宁云计算有限公司 基于rgb-d图像的人体跟踪方法及装置
CN112150514A (zh) * 2020-09-29 2020-12-29 上海眼控科技股份有限公司 视频的行人轨迹追踪方法、装置、设备及存储介质
WO2021043168A1 (zh) * 2019-09-05 2021-03-11 华为技术有限公司 行人再识别网络的训练方法、行人再识别方法和装置
WO2021196294A1 (zh) * 2020-04-03 2021-10-07 中国科学院深圳先进技术研究院 一种跨视频人员定位追踪方法、系统及设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180077865A (ko) * 2016-12-29 2018-07-09 단국대학교 산학협력단 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치 및 방법
CN107330920A (zh) * 2017-06-28 2017-11-07 华中科技大学 一种基于深度学习的监控视频多目标追踪方法
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学（深圳） 基于无监督学习的行人重识别方法、装置及介质
CN110619657A (zh) * 2019-08-15 2019-12-27 青岛文达通科技股份有限公司 一种面向智慧社区的多摄像机联动多目标追踪方法及系统
WO2021043168A1 (zh) * 2019-09-05 2021-03-11 华为技术有限公司 行人再识别网络的训练方法、行人再识别方法和装置
CN111179311A (zh) * 2019-12-23 2020-05-19 全球能源互联网研究院有限公司 多目标跟踪方法、装置及电子设备
WO2021196294A1 (zh) * 2020-04-03 2021-10-07 中国科学院深圳先进技术研究院 一种跨视频人员定位追踪方法、系统及设备
CN111709974A (zh) * 2020-06-22 2020-09-25 苏宁云计算有限公司 基于rgb-d图像的人体跟踪方法及装置
CN112150514A (zh) * 2020-09-29 2020-12-29 上海眼控科技股份有限公司 视频的行人轨迹追踪方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
任思琪: ""深度学习技术在目标轨迹预测中的应用研究"" *
戴臣超; 王洪元; 曹亮; 殷雨昌; 张继: ""一种多目标跨摄像头跟踪技术研究与实现"" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693746A (zh) * 2022-03-31 2022-07-01 西安交通大学 基于身份识别和跨摄像头目标追踪的智能监控系统及方法
CN115100591A (zh) * 2022-06-17 2022-09-23 哈尔滨工业大学 基于联合学习的多目标跟踪与目标重识别系统及方法
CN115019241A (zh) * 2022-08-05 2022-09-06 江西中业智能科技有限公司 一种行人识别与追踪方法、装置、可读存储介质及设备
CN115019241B (zh) * 2022-08-05 2022-11-01 江西中业智能科技有限公司 一种行人识别与追踪方法、装置、可读存储介质及设备
CN115861914A (zh) * 2022-10-24 2023-03-28 广东魅视科技股份有限公司 一种辅助用户查找特定目标的方法
CN117241133A (zh) * 2023-11-13 2023-12-15 武汉益模科技股份有限公司 基于非固定位置的多工序同时作业的视觉报工方法及系统
CN117241133B (zh) * 2023-11-13 2024-02-06 武汉益模科技股份有限公司 基于非固定位置的多工序同时作业的视觉报工方法及系统
CN117953580A (zh) * 2024-01-29 2024-04-30 浙江大学 一种基于跨摄像头多目标跟踪的行为识别方法、系统及电子设备

Also Published As

Publication number Publication date
CN114240997B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN114240997B (zh) 一种智慧楼宇在线跨摄像头多目标追踪方法
Li et al. Line-cnn: End-to-end traffic line detection with line proposal unit
CN112101433B (zh) 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法
CN107563345B (zh) 一种基于时空显著性区域检测的人体行为分析方法
CN108509859B (zh) 一种基于深度神经网络的无重叠区域行人跟踪方法
CN109064484B (zh) 基于子群组划分与动量特征融合的人群运动行为识别方法
CN106778712B (zh) 一种多目标检测与跟踪方法
CN110717411A (zh) 一种基于深层特征融合的行人重识别方法
CN111626194B (zh) 一种使用深度关联度量的行人多目标跟踪方法
Elmezain et al. Hand trajectory-based gesture spotting and recognition using HMM
KR102132722B1 (ko) 영상 내 다중 객체 추적 방법 및 시스템
CN109284705B (zh) 一种交通监控视频的异常检测方法
CN102663429A (zh) 运动目标的运动模式分类和动作识别的方法
CN115240130A (zh) 一种行人多目标跟踪方法、装置和计算机可读存储介质
CN112733719B (zh) 一种融合人脸及人体特征的跨境行人轨迹检测方法
CN110765841A (zh) 基于混合注意力机制的群组行人重识别系统及终端
CN112149762A (zh) 目标跟踪方法、目标跟踪装置及计算机可读存储介质
CN113450457B (zh) 道路重建方法、装置、计算机设备和存储介质
CN114820765A (zh) 图像识别方法、装置、电子设备及计算机可读存储介质
CN114937248A (zh) 用于跨相机的车辆跟踪方法、装置、电子设备、存储介质
CN115880661B (zh) 一种车辆匹配的方法及装置、电子设备、存储介质
CN115188081B (zh) 一种面向复杂场景的检测跟踪一体化方法
CN115100565B (zh) 一种基于空间相关性与光流配准的多目标跟踪方法
CN113837143B (zh) 一种动作识别方法
Elmezain et al. A novel system for automatic hand gesture spotting and recognition in stereo color image sequences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant