CN115272967A - 一种跨摄像机行人实时跟踪识别方法、装置及介质 - Google Patents

一种跨摄像机行人实时跟踪识别方法、装置及介质 Download PDF

Info

Publication number
CN115272967A
CN115272967A CN202210895555.1A CN202210895555A CN115272967A CN 115272967 A CN115272967 A CN 115272967A CN 202210895555 A CN202210895555 A CN 202210895555A CN 115272967 A CN115272967 A CN 115272967A
Authority
CN
China
Prior art keywords
pedestrian
frame
track
face
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210895555.1A
Other languages
English (en)
Inventor
巢建树
明瑞成
赖佳华
窦光义
邱创一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanzhou Institute of Equipment Manufacturing
Original Assignee
Quanzhou Institute of Equipment Manufacturing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanzhou Institute of Equipment Manufacturing filed Critical Quanzhou Institute of Equipment Manufacturing
Priority to CN202210895555.1A priority Critical patent/CN115272967A/zh
Publication of CN115272967A publication Critical patent/CN115272967A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种跨摄像机行人实时跟踪识别方法、装置及介质，所述方法包括：通过入口处获取到行人ID信息、人脸和外观图像；获取到行人的实时监控视频，对每一视频帧提取外观特征，生成每一个视频帧中全部行人的检测框；分别对每一摄像机的视频帧生成行人轨迹，并保存于数据库中；对跨摄像机下的行人外观进行再识别，确保同一行人在不同摄像机下的ID信息不变；获取视频帧中可获取到的人脸图像与个人信息获取模块获取到的人脸图像进行匹配，得到对应的行人ID，生成人脸识别下的行人轨迹状态，更新对应的行人轨迹状态，并保存到数据库；在预存的全局地图中实时显示所有行人轨迹。本发明可实现跨摄像机行人跟踪，且提高跟踪识别准确率。

Description

一种跨摄像机行人实时跟踪识别方法、装置及介质
技术领域
本发明涉及图像处理领域，尤其涉及一种跨摄像机行人实时跟踪识别方法、装置及介质。
背景技术
现有的行人跟踪识别方法中，只能识别出行人轨迹，且行人跟踪轨迹计算准确度不高，也无法知晓该行人轨迹对应的身份信息和人脸图像，仅支持展示单镜头画面下的行人轨迹，无法在全局地图上反映一个人的运动轨迹和活动范围。行人跟踪系统一般被用于安防监控，但现有的行人跟踪方法无法满足安防监控系统对行人的身份与轨迹的快速、准确提取，无法对区域人员流动和接触状态进行比较准确地分析，不利于安防监控系统工作人员对区域内不安全事件的及时管理。
发明内容
本发明要解决的技术问题，在于提供一种跨摄像机行人实时跟踪识别方法、装置及介质，解决现有的行人跟踪识别方法中识别准确率低以及缺乏系统整体的行人跟踪识别方案的问题。
第一方面，本发明提供了一种跨摄像机行人实时跟踪识别方法，包括如下步骤：
步骤1、通过入口处刷证件和拍摄的方式获取到行人ID信息、人脸和外观图像，并保存于数据库中；
步骤2、利用分布式摄像机拍摄获取到行人的实时监控视频，将采集到的视频帧按时间顺序传输给后台；
步骤3、对每一视频帧提取外观特征，生成每一个视频帧中全部行人的检测框；
步骤4、分别对每一摄像机的视频帧生成行人轨迹，保存到数据库中；
步骤5、对跨摄像机下的行人外观进行再识别，确保同一行人在不同摄像机下的ID信息不变；
步骤6、获取视频帧中可获取到的人脸图像与个人信息获取模块获取到的人脸图像进行匹配，得到对应的行人ID，生成人脸识别下的行人轨迹状态，更新对应的行人轨迹状态，并保存到数据库；
步骤7、在预存的全局地图中实时显示所有行人轨迹，包括行人ID、位置信息以及对应时间。
进一步的，所述步骤3具体为：采用FCM算法对数据集进行候选框聚类，并将获取到的6个候选框输入Yolo v5网络中用于检测模型的训练；
采用Mosaic算法对数据集进行数据扩展，然后将扩展后的数据集放入Yolo v5网络中，并采用模拟余弦退火算法控制学习率进行训练，得到训练好的检测模型；
利用训练好的检测模型对获取的视频帧中的所有行人目标进行检测，生成所有行人对应的检测框。
进一步的，所述步骤4具体为：对上一帧中每个行人轨迹框，计算当前帧所有检测框与其匹配度，相似度最大的作为最优匹配结果，若最优匹配结果的相似度大于一阈值，则匹配成功，以匹配成功的检测框更新该行人轨迹框，记录该行人ID、位置信息以及对应时间，存入数据库，所述行人轨迹框为同一行人ID在连续视频帧中的检测框；若最优匹配结果的相似度不大于所述阈值，则视为匹配失败，重新进行匹配，当重新匹配次数大于一定数量时，说明行人离开指定区域，记录该行人ID、最后一次匹配成功的位置信息以及对应时间，存入数据库；
对于当前帧中未被匹配成功的检测框则分配一个新的行人ID，生成新的行人轨迹框。
进一步的，所述步骤6具体为：在视频帧中出现人脸时，对所述人脸进行识别，得到对应的行人ID，生成人脸识别下的行人轨迹，并将所述人脸识别下的行人轨迹与原有的未进行人脸识别时对应的行人轨迹进行关联，生成人脸识别下的行人轨迹状态，并保存到数据库；
若人脸识别下的行人轨迹与原有的未进行人脸识别时的行人轨迹有出入，用人脸识别下的轨迹更新原有的未进行人脸识别时对应的行人轨迹。
第二方面，本发明提供了一种跨摄像机行人实时跟踪识别装置，包括：
个人信息获取模块，用于通过入口处刷证件和拍摄的方式获取到行人ID信息、人脸和外观图像，并保存于数据库中；
视频获取模块，用于利用分布式摄像机拍摄获取到行人的实时监控视频，将采集到的视频帧按时间顺序传输给后台；
目标检测框生成模块，用于对每一视频帧提取外观特征，生成每一个视频帧中全部行人的检测框；
行人跟踪模块，用于分别对每一摄像机的视频帧生成行人轨迹，保存到数据库中；
行人重识别模块，用于对跨摄像机下的行人外观进行再识别，确保同一行人在不同摄像机下的ID信息不变；
人脸识别模块，用于获取视频帧中可获取到的人脸图像与个人信息获取模块获取到的人脸图像进行匹配，得到对应的行人ID，生成人脸识别下的行人轨迹状态，更新对应的行人轨迹状态，并保存到数据库；以及
显示模块，用于在预存的全局地图中实时显示所有行人轨迹，包括行人ID、位置信息以及对应时间。
进一步的，所述目标检测框生成模块具体为：用于采用FCM算法对数据集进行候选框聚类，并将获取到的6个候选框输入Yolo v5网络中用于检测模型的训练；
采用Mosaic算法对数据集进行数据扩展，然后将扩展后的数据集放入Yolo v5网络中，并采用模拟余弦退火算法控制学习率进行训练，得到训练好的检测模型；
利用训练好的检测模型对获取的视频帧中的所有行人目标进行检测，生成所有行人对应的检测框。
进一步的，所述行人跟踪模块具体为：用于对上一帧中每个行人轨迹框，计算当前帧所有检测框与其匹配度，相似度最大的作为最优匹配结果，若最优匹配结果的相似度大于一阈值，则匹配成功，以匹配成功的检测框更新该行人轨迹框，记录该行人ID、位置信息以及对应时间，存入数据库，所述行人轨迹框为同一行人ID在连续视频帧中的检测框；若最优匹配结果的相似度不大于所述阈值，则视为匹配失败，重新进行匹配，当重新匹配次数大于一定数量时，说明行人离开指定区域，记录该行人ID、最后一次匹配成功的位置信息以及对应时间，存入数据库；
对于当前帧中未被匹配成功的检测框则分配一个新的行人ID，生成新的行人轨迹框。
进一步的，所述人脸识别模块具体为：用于在视频帧中出现人脸时，对所述人脸进行识别，得到对应的行人ID，生成人脸识别下的行人轨迹，并将所述人脸识别下的行人轨迹与原有的未进行人脸识别时对应的行人轨迹进行关联，生成人脸识别下的行人轨迹状态，并保存到数据库；
若人脸识别下的行人轨迹与原有的未进行人脸识别时的行人轨迹有出入，用人脸识别下的轨迹更新原有的未进行人脸识别时对应的行人轨迹。
第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
本发明具有如下优点：
实现跨摄像机下的行人跟踪，在跟踪和行人重识别技术的基础上结合人脸识别技术，利用人脸识别的结果来对行人跟踪识别结果进行纠正，从而提升系统整体的行人跟踪识别效果；
同时可以实现在预先存储的地图中对行人位置进行精确定位的功能，行人轨迹能够被实时调取并在地图中可视化，能够在全局视角下反映行人的行动轨迹，以便于在特殊情况下快速定位到特定行人所在区域，提升区域人群搜索的智能化水平，为人群搜索、实时定位、跟踪识别、异常预警等园区安防智能化技术搭建一整套系统，提升安防措施的实时性和有效性。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明一种跨摄像机行人实时跟踪识别方法的执行流程图。
图2为本发明一种跨摄像机行人实时跟踪识别装置的结构示意图。
图3为本发明介质的结构示意图。
图4为本发明一具体实施例中入口处的设备结构示意图。
图5为本发明一具体实施中的可视化界面效果示意图。
具体实施方式
实施例一
如图1和图5所示，本发明提供的一种跨摄像机行人实时跟踪识别方法，包括如下步骤：
步骤1、通过入口处刷证件和拍摄的方式获取到行人ID信息、人脸和外观图像(所述外观图像可以包括拍摄的行人的正面、侧面、后面的全身图片)，并保存于数据库中；
步骤2、利用分布式摄像机拍摄获取到行人的实时监控视频，将采集到的视频帧按时间顺序传输给后台，如后台服务器，通过后台服务器进行进一步的数据处理；
步骤3、对每一视频帧提取外观特征，生成每一个视频帧中全部行人的检测框；
步骤4、分别对每一摄像机的视频帧生成行人轨迹，保存到数据库中；
步骤5、对跨摄像机下的行人外观进行再识别，确保同一行人在不同摄像机下的ID信息不变；
步骤6、获取视频帧中可获取到的人脸图像与个人信息获取模块获取到的人脸图像进行匹配，得到对应的行人ID，生成人脸识别下的行人轨迹状态，更新对应的行人轨迹状态，并保存到数据库；
步骤7、在预存的全局地图中实时显示所有行人轨迹，包括行人ID、位置信息以及对应时间，如图5所示，当鼠标移动到可视化界面中的某人时，可以显示某个人从超市A—公司B—饭店C等等这样一个活动轨迹，同时出现一个气泡框，显示该人物的个人信息，若该人物在活动过程中被拍到人脸，则通过人脸识别模块，就可以得到人脸识别下的行人活动轨迹。
较佳的，所述步骤3具体为：采用FCM算法对数据集进行候选框聚类，并将获取到的6个候选框输入Yolo v5网络中用于检测模型的训练；
采用Mosaic算法对数据集进行数据扩展，然后将扩展后的数据集放入Yolo v5网络中，并采用模拟余弦退火算法控制学习率进行训练，得到训练好的检测模型；
利用训练好的检测模型对获取的视频帧中的所有行人目标进行检测，生成所有行人对应的检测框，所述检测框中包括行人在每一个视频帧中的位置信息。
较佳的，所述步骤4具体为：对上一帧中每个行人轨迹框，计算当前帧所有检测框与其匹配度，相似度最大的作为最优匹配结果，若最优匹配结果的相似度大于一阈值，则匹配成功，以匹配成功的检测框更新该行人轨迹框，记录该行人ID、位置信息以及对应时间，存入数据库，所述行人轨迹框为同一行人ID在连续视频帧中的检测框；若最优匹配结果的相似度不大于所述阈值，则视为匹配失败，重新进行匹配，当重新匹配次数大于一定数量时，说明行人离开指定区域，记录该行人ID、最后一次匹配成功的位置信息以及对应时间，存入数据库；对于第一帧中的所有检测框，按顺序分配由小到大的数字编号作为对应检测框中的行人ID；
对于当前帧中未被匹配成功的检测框则分配一个新的行人ID(按照设定的格式，按顺序分配由小到大的数字编号)，生成新的行人轨迹框。
较佳的，所述步骤6具体为：在视频帧中出现人脸时，对所述人脸进行识别，得到对应的行人ID，生成人脸识别下的行人轨迹，并将所述人脸识别下的行人轨迹与原有的未进行人脸识别时对应的行人轨迹进行关联，生成人脸识别下的行人轨迹状态，并保存到数据库；
若人脸识别下的行人轨迹与原有的未进行人脸识别时的行人轨迹有出入，用人脸识别下的轨迹更新原有的未进行人脸识别时对应的行人轨迹。
基于同一发明构思，本申请还提供了与实施例一中的方法对应的装置，详见实施例二。
实施例二
如图2和图5所示，本发明提供的一种跨摄像机行人实时跟踪识别装置，包括：
个人信息获取模块，用于通过入口处刷证件和拍摄的方式获取到行人ID信息、人脸和外观图像(所述外观图像可以包括拍摄的行人的正面、侧面、后面的全身图片)，并保存于数据库中；
本发明所采用的硬件设备可沿用现有的闸机装置，在现有人脸识别闸机的基础上增设对人全身外观进行拍摄的外观识别摄像机，实现入口处对行人的ID信息、人脸和外观图像的获取。如，在闸机的正反面安装能对人的全身外观进行拍摄的外观识别摄像机，实现对行人外观的准确拍摄，或在其它能够准确拍摄到行人全身外观信息的位置进行外观识别拍摄机的安装即可。如图4所示，a为闸机正面示意图，安装用于外观识别的摄像机，实现捕获人脸、正面外观和侧面外观，b为闸机背面示意图，安装用于外观识别的摄像机，实现捕获后面外观和侧面外观。
视频获取模块，用于利用分布式摄像机拍摄获取到行人的实时监控视频，将采集到的视频帧按时间顺序传输给后台，如后台服务器，通过后台服务器进行进一步的数据处理；
目标检测框生成模块，用于对每一视频帧提取外观特征，生成每一个视频帧中全部行人的检测框；
行人跟踪模块，用于分别对每一摄像机的视频帧生成行人轨迹，保存到数据库中；
行人重识别模块，用于对跨摄像机下的行人外观进行再识别，确保同一行人在不同摄像机下的ID信息不变；
人脸识别模块，用于获取视频帧中可获取到的人脸图像与个人信息获取模块获取到的人脸图像进行匹配，得到对应的行人ID，生成人脸识别下的行人轨迹状态，更新对应的行人轨迹状态，并保存到数据库；以及
显示模块，用于在预存的全局地图中实时显示所有行人轨迹，包括行人ID、位置信息以及对应时间，如图5所示，当鼠标移动到可视化界面中的某人时，可以显示某个人从超市A—公司B—饭店C等等这样一个活动轨迹，同时出现一个气泡框，显示该人物的个人信息，若该人物在活动过程中被拍到人脸，则通过人脸识别模块，就可以得到人脸识别下的行人活动轨迹。
较佳的，所述目标检测框生成模块具体为：用于采用FCM算法对数据集进行候选框聚类，并将获取到的6个候选框输入Yolo v5网络中用于检测模型的训练；
采用Mosaic算法对数据集进行数据扩展，然后将扩展后的数据集放入Yolo v5网络中，并采用模拟余弦退火算法控制学习率进行训练，得到训练好的检测模型；
利用训练好的检测模型对获取的视频帧中的所有行人目标进行检测，生成所有行人对应的检测框，所述检测框中包括行人在每一个视频帧中的位置信息。
较佳的，所述行人跟踪模块具体为：用于对上一帧中每个行人轨迹框，计算当前帧所有检测框与其匹配度，相似度最大的作为最优匹配结果，若最优匹配结果的相似度大于一阈值，则匹配成功，以匹配成功的检测框更新该行人轨迹框，记录该行人ID、位置信息以及对应时间，存入数据库，所述行人轨迹框为同一行人ID在连续视频帧中的检测框；若最优匹配结果的相似度不大于所述阈值，则视为匹配失败，重新进行匹配，当重新匹配次数大于一定数量时，说明行人离开指定区域，记录该行人ID、最后一次匹配成功的位置信息以及对应时间，存入数据库；对于第一帧中的所有检测框，按顺序分配由小到大的数字编号作为对应检测框中的行人ID；
对于当前帧中未被匹配成功的检测框则分配一个新的行人ID(按照设定的格式，按顺序分配由小到大的数字编号)，生成新的行人轨迹框。
较佳的，所述人脸识别模块具体为：用于在视频帧中出现人脸时，对所述人脸进行识别，得到对应的行人ID，生成人脸识别下的行人轨迹，并将所述人脸识别下的行人轨迹与原有的未进行人脸识别时对应的行人轨迹进行关联，生成人脸识别下的行人轨迹状态，并保存到数据库；
若人脸识别下的行人轨迹与原有的未进行人脸识别时的行人轨迹有出入，用人脸识别下的轨迹更新原有的未进行人脸识别时对应的行人轨迹。
由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的存储介质，详见实施例三。
实施例三
本实施例提供一种计算机可读存储介质，如图3所示，其上存储有计算机程序，该计算机程序被处理器执行时，可以实现实施例一中任一实施方式。
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：
本发明能够将现有的人脸识别信息、身份信息与外观信息、行动轨迹等有效联系起来，为行人搜索和分析任务提供了系统化的解决方案；通过目标检测、行人跟踪、行人重识别以及人脸识别实现对行人轨迹的跟踪与校准，提高轨迹识别的准确性；提供了将行人轨迹在全局地图实时定位及可视化的手段，实现了对人的精准定位，以及在全局视角下反映行人的行动轨迹，对区域人员流动和接触状态进行智能化动态分析，提升安防措施的实时性和有效性。且本发明可以在原有的闸机设备上增加外观识别摄像机并结合分布式摄像机即可搭建整套硬件系统，不需要重新更换原有硬件配置，节约了硬件的升级与改造成本。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (9)

1.一种跨摄像机行人实时跟踪识别方法，其特征在于：包括如下步骤：
步骤1、通过入口处刷证件和拍摄的方式获取到行人ID信息、人脸和外观图像，并保存于数据库中；
步骤2、利用分布式摄像机拍摄获取到行人的实时监控视频，将采集到的视频帧按时间顺序传输给后台；
步骤3、对每一视频帧提取外观特征，生成每一个视频帧中全部行人的检测框；
步骤4、分别对每一摄像机的视频帧生成行人轨迹，保存到数据库中；
步骤5、对跨摄像机下的行人外观进行再识别，确保同一行人在不同摄像机下的ID信息不变；
步骤6、获取视频帧中可获取到的人脸图像与个人信息获取模块获取到的人脸图像进行匹配，得到对应的行人ID，生成人脸识别下的行人轨迹状态，更新对应的行人轨迹状态，并保存到数据库；
步骤7、在预存的全局地图中实时显示所有行人轨迹，包括行人ID、位置信息以及对应时间。
2.根据权利要求1所述的方法，其特征在于：所述步骤3具体为：采用FCM算法对数据集进行候选框聚类，并将获取到的6个候选框输入Yolo v5网络中用于检测模型的训练；
采用Mosaic算法对数据集进行数据扩展，然后将扩展后的数据集放入Yolo v5网络中，并采用模拟余弦退火算法控制学习率进行训练，得到训练好的检测模型；
利用训练好的检测模型对获取的视频帧中的所有行人目标进行检测，生成所有行人对应的检测框。
3.根据权利要求1所述的方法，其特征在于：所述步骤4具体为：对上一帧中每个行人轨迹框，计算当前帧所有检测框与其匹配度，相似度最大的作为最优匹配结果，若最优匹配结果的相似度大于一阈值，则匹配成功，以匹配成功的检测框更新该行人轨迹框，记录该行人ID、位置信息以及对应时间，存入数据库，所述行人轨迹框为同一行人ID在连续视频帧中的检测框；若最优匹配结果的相似度不大于所述阈值，则视为匹配失败，重新进行匹配，当重新匹配次数大于一定数量时，说明行人离开指定区域，记录该行人ID、最后一次匹配成功的位置信息以及对应时间，存入数据库；
对于当前帧中未被匹配成功的检测框则分配一个新的行人ID，生成新的行人轨迹框。
4.根据权利要求1所述的方法，其特征在于：所述步骤6具体为：在视频帧中出现人脸时，对所述人脸进行识别，得到对应的行人ID，生成人脸识别下的行人轨迹，并将所述人脸识别下的行人轨迹与原有的未进行人脸识别时对应的行人轨迹进行关联，生成人脸识别下的行人轨迹状态，并保存到数据库；
若人脸识别下的行人轨迹与原有的未进行人脸识别时的行人轨迹有出入，用人脸识别下的轨迹更新原有的未进行人脸识别时对应的行人轨迹。
5.一种跨摄像机行人实时跟踪识别装置，其特征在于：包括：
个人信息获取模块，用于通过入口处刷证件和拍摄的方式获取到行人ID信息、人脸和外观图像，并保存于数据库中；
视频获取模块，用于利用分布式摄像机拍摄获取到行人的实时监控视频，将采集到的视频帧按时间顺序传输给后台；
目标检测框生成模块，用于对每一视频帧提取外观特征，生成每一个视频帧中全部行人的检测框；
行人跟踪模块，用于分别对每一摄像机的视频帧生成行人轨迹，保存到数据库中；
行人重识别模块，用于对跨摄像机下的行人外观进行再识别，确保同一行人在不同摄像机下的ID信息不变；
人脸识别模块，用于获取视频帧中可获取到的人脸图像与个人信息获取模块获取到的人脸图像进行匹配，得到对应的行人ID，生成人脸识别下的行人轨迹状态，更新对应的行人轨迹状态，并保存到数据库；以及
显示模块，用于在预存的全局地图中实时显示所有行人轨迹，包括行人ID、位置信息以及对应时间。
6.根据权利要求5所述的装置，其特征在于：所述目标检测框生成模块具体为：用于采用FCM算法对数据集进行候选框聚类，并将获取到的6个候选框输入Yolo v5网络中用于检测模型的训练；
采用Mosaic算法对数据集进行数据扩展，然后将扩展后的数据集放入Yolo v5网络中，并采用模拟余弦退火算法控制学习率进行训练，得到训练好的检测模型；
利用训练好的检测模型对获取的视频帧中的所有行人目标进行检测，生成所有行人对应的检测框。
7.根据权利要求5所述的装置，其特征在于：所述行人跟踪模块具体为：用于对上一帧中每个行人轨迹框，计算当前帧所有检测框与其匹配度，相似度最大的作为最优匹配结果，若最优匹配结果的相似度大于一阈值，则匹配成功，以匹配成功的检测框更新该行人轨迹框，记录该行人ID、位置信息以及对应时间，存入数据库，所述行人轨迹框为同一行人ID在连续视频帧中的检测框；若最优匹配结果的相似度不大于所述阈值，则视为匹配失败，重新进行匹配，当重新匹配次数大于一定数量时，说明行人离开指定区域，记录该行人ID、最后一次匹配成功的位置信息以及对应时间，存入数据库；
对于当前帧中未被匹配成功的检测框则分配一个新的行人ID，生成新的行人轨迹框。
8.根据权利要求5所述的装置，其特征在于：所述人脸识别模块具体为：用于在视频帧中出现人脸时，对所述人脸进行识别，得到对应的行人ID，生成人脸识别下的行人轨迹，并将所述人脸识别下的行人轨迹与原有的未进行人脸识别时对应的行人轨迹进行关联，生成人脸识别下的行人轨迹状态，并保存到数据库；
若人脸识别下的行人轨迹与原有的未进行人脸识别时的行人轨迹有出入，用人脸识别下的轨迹更新原有的未进行人脸识别时对应的行人轨迹。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4任一项所述的方法。
CN202210895555.1A 2022-07-27 2022-07-27 一种跨摄像机行人实时跟踪识别方法、装置及介质 Pending CN115272967A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210895555.1A CN115272967A (zh) 2022-07-27 2022-07-27 一种跨摄像机行人实时跟踪识别方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210895555.1A CN115272967A (zh) 2022-07-27 2022-07-27 一种跨摄像机行人实时跟踪识别方法、装置及介质

Publications (1)

Publication Number Publication Date
CN115272967A true CN115272967A (zh) 2022-11-01

Family

ID=83771105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210895555.1A Pending CN115272967A (zh) 2022-07-27 2022-07-27 一种跨摄像机行人实时跟踪识别方法、装置及介质

Country Status (1)

Country Link
CN (1) CN115272967A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095426A (zh) * 2023-07-24 2023-11-21 广西民族大学 一种跨境行人重识别计算框架
CN117576146A (zh) * 2023-11-09 2024-02-20 中国矿业大学(北京) 建筑内多路摄像机跨视域行人轨迹还原方法和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095426A (zh) * 2023-07-24 2023-11-21 广西民族大学 一种跨境行人重识别计算框架
CN117576146A (zh) * 2023-11-09 2024-02-20 中国矿业大学(北京) 建筑内多路摄像机跨视域行人轨迹还原方法和系统
CN117576146B (zh) * 2023-11-09 2024-05-10 中国矿业大学(北京) 建筑内多路摄像机跨视域行人轨迹还原方法和系统

Similar Documents

Publication Publication Date Title
CN107230267B (zh) 基于人脸识别算法的幼儿园智能签到方法
CN108446585A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN115272967A (zh) 一种跨摄像机行人实时跟踪识别方法、装置及介质
Avgerinakis et al. Recognition of activities of daily living for smart home environments
TWI798815B (zh) 目標重識別方法、裝置及電腦可讀存儲介質
CN111652035B (zh) 一种基于ST-SSCA-Net的行人重识别方法及系统
CN110991397B (zh) 一种行进方向确定方法及相关设备
CN112861673A (zh) 一种用于监控视频多目标检测的去误报预警方法和系统
CN113963399A (zh) 基于多算法融合应用的人员轨迹检索方法及装置
CN113362374A (zh) 一种基于目标跟踪网络的高空抛物检测方法及系统
CN112116635A (zh) 一种基于快速人体移动的视觉跟踪方法及装置
CN110826390A (zh) 一种基于人脸矢量特征的视频数据处理方法
CN112541403A (zh) 一种利用红外摄像头的室内人员跌倒检测方法
CN109684986A (zh) 一种基于车辆检测跟踪的车辆分析方法及系统
CN114565976A (zh) 一种训练智能测试方法以及装置
JP7327645B2 (ja) 画像処理装置、画像処理システム、画像処理方法、および画像処理プログラム
CN114677608A (zh) 身份特征生成方法、设备及存储介质
Mantini et al. Camera Tampering Detection using Generative Reference Model and Deep Learned Features.
CN117132922A (zh) 图像识别方法、装置、设备及存储介质
CN114898287A (zh) 用于餐盘检测预警的方法、装置、电子设备、存储介质
CN112766230A (zh) 一种视频流人员在线时长估计方法及对应系统
CN112700494A (zh) 定位方法、装置、电子设备及计算机可读存储介质
CN113392678A (zh) 行人检测方法、设备和存储介质
CN113051975A (zh) 人流量统计方法及相关产品
CN114120240B (zh) 一种复杂环境的个体行为识别的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination