CN111008993A - 一种行人跨镜追踪的方法及装置 - Google Patents

一种行人跨镜追踪的方法及装置 Download PDF

Info

Publication number
CN111008993A
CN111008993A CN201911244087.6A CN201911244087A CN111008993A CN 111008993 A CN111008993 A CN 111008993A CN 201911244087 A CN201911244087 A CN 201911244087A CN 111008993 A CN111008993 A CN 111008993A
Authority
CN
China
Prior art keywords
pedestrian
tracking
camera
module
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911244087.6A
Other languages
English (en)
Inventor
谢吉朋
贠周会
吴斌
应艳丽
王欣欣
赖泽玮
贾楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Hongdu Aviation Industry Group Co Ltd
Original Assignee
Jiangxi Hongdu Aviation Industry Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Hongdu Aviation Industry Group Co Ltd filed Critical Jiangxi Hongdu Aviation Industry Group Co Ltd
Priority to CN201911244087.6A priority Critical patent/CN111008993A/zh
Publication of CN111008993A publication Critical patent/CN111008993A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种行人跨镜追踪的方法，将所有监控摄像头映射在二维空间上，根据摄像头位置信息确定所有摄像头之间的关联关系；检测视频中的行人并提取行人人脸特征、属性特征和步态特征；再对行人进行单镜跟踪并确定其移动方向，由行人移动方向信息预测其从本监控摄像头消失时的移动方向及其对应的预测摄像头；最后根据行人的人脸特征、属性特征和步态特征从预测摄像头中追踪行人，进而完成行人跨境追踪，不仅能够追踪行人移动的历史轨迹，且有效解决难以实现行人跨镜追踪实时性和预判性的技术问题。

Description

一种行人跨镜追踪的方法及装置
技术领域
本发明涉及智能视频监控技术领域，尤其涉及一种行人跨镜追踪的方法及装置。
背景技术
智慧安防技术随着人工智能发展及信息技术进步已迈入一个全新的领域，“智慧戒毒”、“智慧监狱”和“智慧园区”等场所对智慧安防技术的迫切需要，使得视频安防从过去简单的安全防护系统向智慧安防平台演变。随着视频监控技术应用于以上场所的不断推进，由监控摄像机采集的视频图像信息在智慧安防的实践中发挥越来越重要的作用，通过监控区域摄像机组网系统，可追踪人员的行动轨迹，为各场所日常安全防护提供帮助。
目前，由于监控场所有成百上千个视频监控探头，传统的视频监控大屏无法显示全数监控视频画面，单靠监控大屏是不可能做到全范围行人跨镜追踪，如何通过全数监控探头准确、实时地确定行人位置及追踪，同时通过不同环境不同视角下监控探头拍摄的视频，进行人脸识别、属性识别和步态识别，实现行人跨镜追踪的实时性和预判性，已经成为亟待解决的技术问题。
发明内容
本发明所解决的技术问题在于提供一种行人跨镜追踪的方法及系统，以解决上述背景技术中的问题。
本发明所解决的技术问题采用以下技术方案来实现：
一种行人跨镜追踪的方法，具体步骤如下：
S101：将所有摄像头映射在二维空间上，并将二维空间划分为4个方向，同时根据摄像头位置信息确定所有摄像头之间的关联关系；
S102：确定行人下一步将出现的位置及其对应的预测摄像头，并实时自动调取相应的摄像头视频；
S103：检测步骤S102）调取的摄像头视频中行人；
S104：通过目标跟踪算法对步骤S103）检测的行人进行跟踪并确定其行走方向；
S105：预测行人从其当前监控摄像头消失时的行走方向，确定行人下一个可能出现的位置及对应摄像头；
S106：对步骤S103）检测的行人进行行人特征信息提取，提取行人人脸特征、属性特征和步态特征；
S107：根据行人的人脸特征、属性特征和步态特征从预测摄像头中追踪行人。
在本发明中，步骤S101）中，在确定所有摄像头之间的关联关系时，在一个摄像头在一个方向上存在多个其他摄像头，取其距离最近、监控范围最大的m个摄像头为其在这个方向上的关联摄像头。
在本发明中，步骤S103）中，通过FasterRCNN、YOLO或SSD深度学习算法检测摄像头视频中的行人。
在本发明中，步骤S104）中，行人行走方向信息通过 KCF跟踪算法、KalmanFilter跟踪算法或深度学习跟踪算法得到。
在本发明中，步骤S106）中，人脸特征信息是一组基于深度学习的人脸特征向量。
在本发明中，步骤S106）中，属性特征信息包括是否戴帽、戴眼镜、戴口罩、穿长袖、长头发、背包、拿行李等二值化值。
本发明提供一种行人跨镜追踪装置，包括摄像头规划模块、行人检测模块、特征提取模块及行人追踪模块，其中，摄像头规划模块与行人检测模块连接，行人检测模块与特征提取模块连接，特征提取模块与行人追踪模块连接，行人追踪模块内设置有行人视频图像保存模块；特征提取模块包括人脸特征提取模块、行人属性特征提取模块、行人步态特征提取模块、行人单镜跟踪模块。
有益效果：本发明将所有摄像头映射在二维空间上，根据摄像头位置信息确定所有摄像头之间的关联关系；检测视频中的行人并提取行人人脸特征、属性特征和步态特征，根据行人移动方向信息预测其从当前监控摄像头消失时的移动方向及其对应的摄像头，有效解决难以实现行人跨镜追踪实时性和预判性的技术问题。
附图说明
图1为本发明的较佳实施例的流程示意图。
图2为本发明的较佳实施例中的关联摄像头方向划分示意图。
图3为本发明的较佳实施例中的摄像头映射在二维空间示意图。
图4为本发明的较佳实施例中的行人跨镜追踪装置连接示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
参见图1～3的一种行人跨镜追踪的方法，具体步骤如下：
S101：确定所有摄像头之间的关联关系，如将摄像头之间的关联关系按照图2所示划分，将二维空间划分为4个方向，记为Di，i属于{N,E,S,W}；对于某个特定的摄像头在Di方向上可能存在多个其他摄像头，取其距离最近、监控范围最大的m个摄像头为其在Di方向上的关联摄像头；
S102：确定行人下一步将出现的位置及其对应的预测摄像头，如在戒毒所监控指挥时，从大门进入的行人，需要实时监视其经过的地点，由于监控大屏可以播放的摄像头视频有限，本实施例通过实时自动调取相应的摄像头视频，确定预测摄像头，以便后续进行行人追踪；
S103：检测步骤S102）调取的摄像头视频中行人，通过FasterRCNN、YOLO或SSD等相关深度学习算法检测行人；
S104：对步骤S103）检测的行人进行跟踪并确定其行走方向，通过目标跟踪算法对行人进行跟踪，确定目标行人移动方向；
行人行走方向信息通过 KCF跟踪算法、KalmanFilter跟踪算法或深度学习跟踪算法得到；
S105：预测行人从其当前监控摄像头消失时的行走方向，确定行人下一个可能出现的位置及对应摄像头，以便后续进行匹配追踪；
S106：对步骤S103）检测的行人进行行人特征信息提取，提取行人人脸特征、属性特征和步态特征；
其中，人脸特征是主要特征，是辨识行人最终的特征；属性特征和步态特征是辅助特征；
人脸特征信息是一组基于深度学习的人脸特征向量；
属性特征信息包括是否戴帽、戴眼镜、戴口罩、穿长袖、长头发、背包、拿行李等二值化值；
S107：根据行人的人脸特征、属性特征和步态特征从预测摄像头中追踪行人；
如图3所示，行人A在摄像头1中，其移动方向如图所示，根据方向规则其方向为E方向，在E方向上与摄像头1关联的摄像头5、6和8，故预测摄像头定为5、6和8，再根据行人A的人脸特征、属性特征和步态特征从摄像头5、6和8中追踪行人A。
如图4所示，本实施例提供一种行人跨镜追踪装置，包括摄像头规划模块401、行人检测模块402、人脸特征提取模块403、行人属性特征提取模块404、行人步态特征提取模块405、行人单镜跟踪模块406、行人追踪模块407及行人视频图像保存模块408，其中，摄像头规划模块401与行人检测模块402连接，行人检测模块402与特征提取模块连接，特征提取模块与行人追踪模块407连接，行人追踪模块407内设置有行人视频图像保存模块408；特征提取模块包括人脸特征提取模块403、行人属性特征提取模块404、行人步态特征提取模块405、行人单镜跟踪模块406；
摄像头规划模块401，用于根据摄像头位置信息规划所有摄像头之间的关联关系；
行人检测模块402，用于判断图像或者视频序列中是否存在行人并给予精确定位；
人脸特征提取模块403，用于对目标行人进行人脸检测及识别，得到一组人脸特征向量；
行人属性特征提取模块404，用于提取行人属性信息，包括是否戴帽、戴眼镜、戴口罩、穿长袖、长头发、背包、拿行李等二值化值；
行人步态特征提取模块405，用于提取行人步态特征信息；
行人单镜跟踪模块406，用于提取行人移动方向信息；
行人追踪模块407，用于从预测摄像头中追踪行人；
行人视频图像保存模块408，用于保存行人的图片或视频。
通过摄像头规划模块401确定所有摄像头之间的关联关系；通过行人检测模块402检测视频中的行人；通过特征提取模块提取行人人脸特征、属性特征和步态特征；根据行人追踪模块407追踪行人，并最终完成行人跨境追踪，有效解决难以实现行人跨镜追踪实时性和预判性的技术问题。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种行人跨镜追踪的方法，其特征在于，具体步骤如下：
S101：将所有摄像头映射在二维空间上，并将二维空间划分为4个方向，同时根据摄像头位置信息确定所有摄像头之间的关联关系；
S102：确定行人下一步将出现的位置及其对应的预测摄像头，并实时自动调取相应的摄像头视频；
S103：检测步骤S102）调取的摄像头视频中行人；
S104：通过目标跟踪算法对步骤S103）检测的行人进行跟踪并确定其行走方向；
S105：预测行人从其当前监控摄像头消失时的行走方向，确定行人下一个可能出现的位置及对应摄像头；
S106：对步骤S103）检测的行人进行行人特征信息提取，提取行人人脸特征、属性特征和步态特征；
S107：根据行人的人脸特征、属性特征和步态特征从预测摄像头中追踪行人。
2.根据权利要求1所述的一种行人跨镜追踪的方法，其特征在于，步骤S101）中，在确定所有摄像头之间的关联关系时，在一个摄像头在一个方向上存在多个其他摄像头，取其距离最近、监控范围最大的m个摄像头为其在这个方向上的关联摄像头。
3.根据权利要求1所述的一种行人跨镜追踪的方法，其特征在于，步骤S103）中，通过FasterRCNN、YOLO或SSD深度学习算法检测摄像头视频中的行人。
4. 根据权利要求1所述的一种行人跨镜追踪的方法，其特征在于，步骤S104）中，行人行走方向信息通过 KCF跟踪算法、KalmanFilter跟踪算法或深度学习跟踪算法得到。
5.根据权利要求1所述的一种行人跨镜追踪的方法，其特征在于，步骤S106）中，人脸特征信息是一组基于深度学习的人脸特征向量。
6.根据权利要求1所述的一种行人跨镜追踪的方法，其特征在于，步骤S106）中，步骤S106）中，属性特征信息包括是否戴帽、戴眼镜、戴口罩、穿长袖、长头发、背包、拿行李等二值化值。
7.一种行人跨镜追踪装置，其特征在于，包括摄像头规划模块、行人检测模块、特征提取模块及行人追踪模块，其中，摄像头规划模块与行人检测模块连接，行人检测模块与特征提取模块连接，特征提取模块与行人追踪模块连接。
8.根据权利要求7所述的一种行人跨镜追踪装置，其特征在于，特征提取模块包括人脸特征提取模块、行人属性特征提取模块及行人步态特征提取模块。
9.根据权利要求7所述的一种行人跨镜追踪装置，其特征在于，特征提取模块还包括行人单镜跟踪模块。
10.根据权利要求7所述的一种行人跨镜追踪装置，其特征在于，行人追踪模块内设置有行人视频图像保存模块。
CN201911244087.6A 2019-12-06 2019-12-06 一种行人跨镜追踪的方法及装置 Pending CN111008993A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911244087.6A CN111008993A (zh) 2019-12-06 2019-12-06 一种行人跨镜追踪的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911244087.6A CN111008993A (zh) 2019-12-06 2019-12-06 一种行人跨镜追踪的方法及装置

Publications (1)

Publication Number Publication Date
CN111008993A true CN111008993A (zh) 2020-04-14

Family

ID=70115542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911244087.6A Pending CN111008993A (zh) 2019-12-06 2019-12-06 一种行人跨镜追踪的方法及装置

Country Status (1)

Country Link
CN (1) CN111008993A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784741A (zh) * 2020-06-29 2020-10-16 杭州海康威视数字技术股份有限公司 一种目标跨镜布控追踪的方法和系统
CN112365522A (zh) * 2020-10-19 2021-02-12 中标慧安信息技术股份有限公司 园区内人员跨境追踪的方法
CN112488068A (zh) * 2020-12-21 2021-03-12 重庆紫光华山智安科技有限公司 监控目标搜索方法、装置、设备及计算机存储介质
CN112733719A (zh) * 2021-01-11 2021-04-30 西南交通大学 一种融合人脸及人体特征的跨境行人轨迹检测方法
CN113592910A (zh) * 2021-07-29 2021-11-02 浙江大华技术股份有限公司 一种跨相机追踪方法及装置
CN114125279A (zh) * 2021-11-15 2022-03-01 四创电子股份有限公司 一种基于摄像机调用实现跨镜头跟踪的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354548A (zh) * 2015-10-30 2016-02-24 武汉大学 一种基于ImageNet检索的监控视频行人重识别方法
CN106023253A (zh) * 2016-05-18 2016-10-12 杭州智诚惠通科技有限公司 一种城市目标轨迹追踪的方法
CN106709436A (zh) * 2016-12-08 2017-05-24 华中师范大学 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统
CN107590452A (zh) * 2017-09-04 2018-01-16 武汉神目信息技术有限公司 一种基于步态与人脸融合的身份识别方法及装置
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
CN110175587A (zh) * 2019-05-30 2019-08-27 黄岩 一种基于人脸识别和步态识别算法的视频追踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354548A (zh) * 2015-10-30 2016-02-24 武汉大学 一种基于ImageNet检索的监控视频行人重识别方法
CN106023253A (zh) * 2016-05-18 2016-10-12 杭州智诚惠通科技有限公司 一种城市目标轨迹追踪的方法
CN106709436A (zh) * 2016-12-08 2017-05-24 华中师范大学 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统
CN107590452A (zh) * 2017-09-04 2018-01-16 武汉神目信息技术有限公司 一种基于步态与人脸融合的身份识别方法及装置
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
CN110175587A (zh) * 2019-05-30 2019-08-27 黄岩 一种基于人脸识别和步态识别算法的视频追踪方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784741A (zh) * 2020-06-29 2020-10-16 杭州海康威视数字技术股份有限公司 一种目标跨镜布控追踪的方法和系统
CN111784741B (zh) * 2020-06-29 2024-03-29 杭州海康威视数字技术股份有限公司 一种目标跨镜布控追踪的方法和系统
CN112365522A (zh) * 2020-10-19 2021-02-12 中标慧安信息技术股份有限公司 园区内人员跨境追踪的方法
CN112488068A (zh) * 2020-12-21 2021-03-12 重庆紫光华山智安科技有限公司 监控目标搜索方法、装置、设备及计算机存储介质
CN112488068B (zh) * 2020-12-21 2022-01-11 重庆紫光华山智安科技有限公司 监控目标搜索方法、装置、设备及计算机存储介质
CN112733719A (zh) * 2021-01-11 2021-04-30 西南交通大学 一种融合人脸及人体特征的跨境行人轨迹检测方法
CN112733719B (zh) * 2021-01-11 2022-08-02 西南交通大学 一种融合人脸及人体特征的跨境行人轨迹检测方法
CN113592910A (zh) * 2021-07-29 2021-11-02 浙江大华技术股份有限公司 一种跨相机追踪方法及装置
CN114125279A (zh) * 2021-11-15 2022-03-01 四创电子股份有限公司 一种基于摄像机调用实现跨镜头跟踪的方法

Similar Documents

Publication Publication Date Title
CN111008993A (zh) 一种行人跨镜追踪的方法及装置
CN109684916B (zh) 基于路径轨迹数据异常检测方法、系统、设备及存储介质
US8970701B2 (en) System and method for predicting vehicle location
US20130243343A1 (en) Method and device for people group detection
Liu et al. Real-time human detection and tracking in complex environments using single RGBD camera
Zaki et al. Automated analysis of pedestrian group behavior in urban settings
CN105574506A (zh) 基于深度学习和大规模集群的智能人脸追逃系统及方法
CN113269091A (zh) 一种面向智慧园区的人员轨迹分析方法、设备及介质
CN106023253A (zh) 一种城市目标轨迹追踪的方法
Chang et al. Video analytics in smart transportation for the AIC'18 challenge
CN112084892B (zh) 一种道路异常事件检测管理装置及其方法
CN113903008A (zh) 基于深度学习和轨迹跟踪的匝道出口车辆违法识别方法
CN111489380B (zh) 一种目标物体轨迹分析方法
Tang et al. Hybrid blob and particle filter tracking approach for robust object tracking
Mao et al. Training a scene-specific pedestrian detector using tracklets
CN112418096A (zh) 检测跌的方法、装置和机器人
KR100885418B1 (ko) 오버헤드 카메라 영상에서 사람을 감지하고 추적하는시스템 및 그 방법
CN109977796A (zh) 尾随通行检测方法及装置
Chauhan et al. Study of moving object detection and tracking for video surveillance
CN110443134B (zh) 一种基于视频流的人脸识别跟踪的系统及工作方法
CN113743380B (zh) 一种基于视频图像动态监测的主动跟踪方法
Patel et al. Vehicle tracking and monitoring in surveillance video
Djeraba et al. Multi-modal user interactions in controlled environments
CN115908493A (zh) 一种小区人员轨迹管理与展示方法及其系统
Zimoch et al. Human flow recognition using deep networks and vision methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200414