CN110706251B - 一种行人跨镜头跟踪方法 - Google Patents

一种行人跨镜头跟踪方法 Download PDF

Info

Publication number
CN110706251B
CN110706251B CN201910826602.5A CN201910826602A CN110706251B CN 110706251 B CN110706251 B CN 110706251B CN 201910826602 A CN201910826602 A CN 201910826602A CN 110706251 B CN110706251 B CN 110706251B
Authority
CN
China
Prior art keywords
pedestrian
roi
adjacent cameras
area
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910826602.5A
Other languages
English (en)
Other versions
CN110706251A (zh
Inventor
闫吉辰
李晓波
张超峰
魏凡昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovisgroup Co ltd
Original Assignee
Innovisgroup Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovisgroup Co ltd filed Critical Innovisgroup Co ltd
Priority to CN201910826602.5A priority Critical patent/CN110706251B/zh
Publication of CN110706251A publication Critical patent/CN110706251A/zh
Application granted granted Critical
Publication of CN110706251B publication Critical patent/CN110706251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提出了一种行人跨镜头跟踪方法，包括：获取多路摄像机的实时视频图像，输出并显示多路视频图像；对每路所述视频图像绘制掩码图，并配置视频分析的区域和相邻摄像机的公共区域；根据配置得到的相邻摄像机的公共区域，进行相邻摄像机的特征点匹配，并计算出相邻摄像机的单应矩阵；选择视频图像中的行人目标，获取相应图像的ROI区域；采用深度学习图像分类算法对所有ROI区域进行分类，获取得分最高的ROI区域，作为行人ROI区域；将所述行人ROI区域输入跟踪器进行跨境头跟踪。本发明结合单应矩阵映射来进行跨境头跟踪匹配，提高了准确度和鲁棒性，降低了误匹配，具有很高的实际应用价值。

Description

一种行人跨镜头跟踪方法
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种行人跨镜头跟踪方法。
背景技术
随着计算机科学技术的飞速发展，应用计算机视觉技术自动对监控场景中的行人目标进行智能分析，逐渐成为研究热点。行人跨镜头 跟踪跟踪是指在多个摄像机监控区域内持续跟踪某个行人目标，区别于单个摄像机的行人跟踪。本发明可广泛应用于对敏感区域的安防监控，协助管理人员对嫌疑目标进行持续自动跟踪。
传统行人跟踪方法通常应用运动目标检测算法或者行人检测方法分割出行人目标，然后对行人目标进行单摄像机视野的跟踪。这种方式存在匹配误差大、准确度低的缺陷。
发明内容
本发明的目的旨在至少解决所述技术缺陷之一。
为此，本发明的目的在于提出一种行人跨镜头跟踪方法。
为了实现上述目的，本发明的实施例提供一种行人跨镜头跟踪方法，包括如下步骤：
步骤S1，获取多路摄像机的实时视频图像，输出并显示多路视频图像；
步骤S2，对每路所述视频图像绘制掩码图，并配置视频分析的区域和相邻摄像机的公共区域；
步骤S3，根据配置得到的相邻摄像机的公共区域，进行相邻摄像机的特征点匹配，并计算出相邻摄像机的单应矩阵；
步骤S4，选择视频图像中的行人目标，获取相应图像的ROI区域；
步骤S5，采用深度学习图像分类算法对所有ROI区域进行分类，获取得分最高的ROI 区域，作为行人ROI区域；
步骤S6，将所述行人ROI区域输入跟踪器进行跨镜头 跟踪。
进一步，在所述步骤S2中，对每路所述视频图像绘制掩码图，包括不分析的监控区域、非相邻摄像机公共区域的监控区域以及相邻摄像机公共区域。
进一步，在所述步骤S3中，所述进行相邻摄像机的特征点匹配，并计算出相邻摄像机的单应矩阵，包括：
(1)分别对相邻摄像机的公共区域ROI区域提取特征点；
(2)如果提取的特征点少于预设阈值，则手动选取匹配的特征点，加入到特征点集；
(3)应用快速近邻匹配方法，对相近摄像机的公共区域的特征点进行匹配；
(4)通过特征点匹配集，计算相邻摄像机的单应矩阵。
进一步，在所述步骤S4中，选择视频图像中的行人目标，并记录下当前选择的像素坐标位置，根据实际场景设定基准宽高像素长度，获取行人目标图像的ROI区域。
进一步，根据实际场景设定Anchor Box算法的基准宽高像素长度。
进一步，在所述步骤S6中，所述将行人ROI区域输入跟踪器进行跨镜头 跟踪，包括如下步骤：
(1)对所述行人ROI区域进行尺度不变特征变换SIFT特征提取，保存特征点集合；
(2)当行人处于某个摄像机的公共区域内时，则通过计算单应矩阵变换，计算在相邻摄像机所对应的像素坐标；
(3)对相邻摄像机图像进行行人目标检测，将检测到的目标框集合与单应变换所得的坐标进行匹配，将此检测框初始化跟踪器用于跟踪行人目标。
根据本发明实施例的行人跨镜头跟踪方法，对视频图像中的行人目标进行多个相邻摄像机的跨镜头 持续跟踪，结合单应矩阵映射来进行跨镜头 跟踪匹配，提高了准确度和鲁棒性，降低了误匹配，具有很高的实际应用价值。本发明可用于球机自动追视，协助管理人员对敏感区域的嫌疑人员进行持续监视，有重要的实际应用价值。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的行人跨镜头跟踪方法的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明提供一种行人跨镜头 跟踪方法，可以应用于安防监控、智能视频分析的行人跨镜头 跟踪系统。
如图1所示，本发明实施例的行人跨镜头跟踪方法，包括如下步骤：
步骤S1，获取多路摄像机的实时视频图像，输出并显示多路视频图像。
在本步骤中，利用摄像机SDK实时获取多路摄像机的实时视频图像，然后输出显示获取的多路图像。
步骤S2，对每路视频图像绘制掩码图，并配置视频分析的区域和相邻摄像机的公共区域。
在本步骤中，根据实际场景对每路视频图像绘制掩码图，包括不分析的监控区域、非相邻摄像机公共区域的监控区域以及相邻摄像机公共区域(即，配置的相邻摄像机的公共区域)。
步骤S3，根据配置得到的相邻摄像机的公共区域，进行相邻摄像机的特征点匹配，并计算出相邻摄像机的单应矩阵。具体包括如下步骤：
(1)分别对相邻摄像机的公共区域ROI区域(感兴趣区域)提取特征点；
(2)如果提取的特征点少于预设阈值，则手动选取匹配的特征点，加入到特征点集；
需要说明的是，本步骤中的预设阈值根据实际场景设定，若特征点较少，计算出来的单应矩阵精度不够，则可以适当增加特征点数量。
(3)应用FLANN快速近邻匹配方法，对相近摄像机的公共区域的特征点进行匹配；
(4)通过特征点匹配集，计算相邻摄像机的单应矩阵。
具体的，单应矩阵计算方法如下：
Figure BDA0002189284650000031
其中si为尺度因子，(xi，yi)和(x′i，y′i)为相邻摄像机公共区域特征点集合，H 为单应矩阵。
步骤S4，选择视频图像中的行人目标，获取相应图像的ROI区域。
具体的，鼠标单击任意行人目标，选择视频图像中的行人目标，并记录下当前选择的像素坐标位置，根据实际场景设定基准宽高像素长度，获取行人目标图像的ROI区域。
在本发明的一个实施例中，设定实际场景中Anchor Box基准宽高像素长度分别为20 像素和60像素，尺度因子分别为{1，2，4}，则生成的Anchor Box框集合为{(20，60)，(40，120)，(80，240)}。
步骤S5，采用深度学习图像分类算法YOLO v3对所有ROI区域进行分类，获取得分最高的ROI区域，作为行人ROI区域；
步骤S6，将行人ROI区域输入跟踪器进行跨镜头 跟踪，包括如下步骤：
(1)对行人ROI区域进行尺度不变特征变换SIFT特征提取，保存特征点集合；
(2)当行人处于某个摄像机的公共区域内时，则通过计算单应矩阵变换，计算在相邻摄像机所对应的像素坐标；
(3)对相邻摄像机图像进行行人目标检测，将检测到的目标框集合与单应矩阵变换所得的坐标进行匹配，将此检测框初始化跟踪器用于跟踪行人目标。
具体的，计算行人目标检测框与单应矩阵变换所得的矩形框IoU(Intersectionover Union)阈值，若IoU大于0.8(此值根据实际场景进行选取)，则匹配成功。将单应矩阵变换所得的矩形框阈值赋予跟踪器，继续跟踪此行人目标。
根据本发明实施例的行人跨镜头跟踪方法，对视频图像中的行人目标进行多个相邻摄像机的跨镜头 持续跟踪，结合单应矩阵映射来进行跨镜头 跟踪匹配，提高了准确度和鲁棒性，降低了误匹配，具有很高的实际应用价值。本发明可用于球机自动追视，协助管理人员对敏感区域的嫌疑人员进行持续监视，有重要的实际应用价值。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (4)

1.一种行人跨镜头跟踪方法，其特征在于，包括如下步骤：
步骤S1，获取多路摄像机的实时视频图像，输出并显示多路视频图像；
步骤S2，对每路所述视频图像绘制掩码图，并配置视频分析的区域和相邻摄像机的公共区域；
步骤S3，根据配置得到的相邻摄像机的公共区域，进行相邻摄像机的特征点匹配，并计算出相邻摄像机的单应矩阵；所述进行相邻摄像机的特征点匹配，并计算出相邻摄像机的单应矩阵，包括：
(1)分别对相邻摄像机的公共区域ROI区域提取特征点；
(2)如果提取的特征点少于预设阈值，则手动选取匹配的特征点，加入到特征点集；
(3)应用快速近邻匹配方法，对相近摄像机的公共区域的特征点进行匹配；
(4)通过特征点匹配集，计算相邻摄像机的单应矩阵；
单应矩阵计算方法如下：
Figure FDA0003508418870000011
其中si为尺度因子，(xi，yi)和(x′i，y′i)为相邻摄像机公共区域特征点集合，H为单应矩阵；
步骤S4，选择视频图像中的行人目标，获取相应图像的ROI区域；
步骤S5，采用深度学习图像分类算法对所有ROI区域进行分类，获取得分最高的ROI区域，作为行人ROI区域；
步骤S6，将所述行人ROI区域输入跟踪器进行跨镜头 跟踪；所述将行人ROI区域输入跟踪器进行跨镜头 跟踪，包括如下步骤：
(1)对所述行人ROI区域进行尺度不变特征变换SIFT特征提取，保存特征点集合；
(2)当行人处于某个摄像机的公共区域内时，则通过计算单应矩阵变换，计算在相邻摄像机所对应的像素坐标；
(3)对相邻摄像机图像进行行人目标检测，将检测到的目标框集合与单应变换所得的坐标进行匹配，将此检测框初始化跟踪器用于跟踪行人目标。
2.如权利要求1所述的行人跨镜头 跟踪方法，其特征在于，在所述步骤S2中，对每路所述视频图像绘制掩码图，包括不分析的监控区域、非相邻摄像机公共区域的监控区域以及相邻摄像机公共区域。
3.如权利要求1所述的行人跨镜头 跟踪方法，其特征在于，在所述步骤S4中，选择视频图像中的行人目标，并记录下当前选择的像素坐标位置，根据实际场景设定基准宽高像素长度，获取行人目标图像的ROI区域。
4.如权利要求3所述的行人跨镜头 跟踪方法，其特征在于，根据实际场景设定AnchorBox算法的基准宽高像素长度。
CN201910826602.5A 2019-09-03 2019-09-03 一种行人跨镜头跟踪方法 Active CN110706251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910826602.5A CN110706251B (zh) 2019-09-03 2019-09-03 一种行人跨镜头跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910826602.5A CN110706251B (zh) 2019-09-03 2019-09-03 一种行人跨镜头跟踪方法

Publications (2)

Publication Number Publication Date
CN110706251A CN110706251A (zh) 2020-01-17
CN110706251B true CN110706251B (zh) 2022-09-23

Family

ID=69193483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910826602.5A Active CN110706251B (zh) 2019-09-03 2019-09-03 一种行人跨镜头跟踪方法

Country Status (1)

Country Link
CN (1) CN110706251B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592917A (zh) * 2021-07-28 2021-11-02 清华大学 一种摄像机目标交接方法和交接系统
CN117576146B (zh) * 2023-11-09 2024-05-10 中国矿业大学(北京) 建筑内多路摄像机跨视域行人轨迹还原方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985136A (zh) * 2014-03-21 2014-08-13 南京大学 一种基于局部特征点特征流型的目标跟踪方法
CN106709436A (zh) * 2016-12-08 2017-05-24 华中师范大学 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统
CN107610043A (zh) * 2017-08-24 2018-01-19 北京航空航天大学 一种基于web的多相机拓扑连通关系编辑方法
CN108921881A (zh) * 2018-06-28 2018-11-30 重庆邮电大学 一种基于单应性约束的跨摄像头目标跟踪方法
CN109005334A (zh) * 2018-06-15 2018-12-14 清华-伯克利深圳学院筹备办公室 一种成像方法、装置、终端和存储介质
CN109472191A (zh) * 2018-09-17 2019-03-15 西安电子科技大学 一种基于时空上下文的行人重识别与追踪方法
CN109784130A (zh) * 2017-11-15 2019-05-21 株式会社日立制作所 行人重识别方法及其装置和设备
CN109785386A (zh) * 2017-11-14 2019-05-21 中国电信股份有限公司 物体识别定位方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090231436A1 (en) * 2001-04-19 2009-09-17 Faltesek Anthony E Method and apparatus for tracking with identification
US20050073585A1 (en) * 2003-09-19 2005-04-07 Alphatech, Inc. Tracking systems and methods
US9996939B2 (en) * 2014-04-30 2018-06-12 Institute of Automation Chinsese Academy of Sciences Large-range-first cross-camera visual target re-identification method
CN104601964B (zh) * 2015-02-06 2018-09-21 武汉大学 非重叠视域跨摄像机室内行人目标跟踪方法及系统
CN109934104A (zh) * 2019-01-29 2019-06-25 武汉烽火众智数字技术有限责任公司 基于行人重识别的跨镜头的行人检索方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985136A (zh) * 2014-03-21 2014-08-13 南京大学 一种基于局部特征点特征流型的目标跟踪方法
CN106709436A (zh) * 2016-12-08 2017-05-24 华中师范大学 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统
CN107610043A (zh) * 2017-08-24 2018-01-19 北京航空航天大学 一种基于web的多相机拓扑连通关系编辑方法
CN109785386A (zh) * 2017-11-14 2019-05-21 中国电信股份有限公司 物体识别定位方法和装置
CN109784130A (zh) * 2017-11-15 2019-05-21 株式会社日立制作所 行人重识别方法及其装置和设备
CN109005334A (zh) * 2018-06-15 2018-12-14 清华-伯克利深圳学院筹备办公室 一种成像方法、装置、终端和存储介质
CN108921881A (zh) * 2018-06-28 2018-11-30 重庆邮电大学 一种基于单应性约束的跨摄像头目标跟踪方法
CN109472191A (zh) * 2018-09-17 2019-03-15 西安电子科技大学 一种基于时空上下文的行人重识别与追踪方法

Also Published As

Publication number Publication date
CN110706251A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
WO2021196294A1 (zh) 一种跨视频人员定位追踪方法、系统及设备
CN107240124B (zh) 基于时空约束的跨镜头多目标跟踪方法及装置
CN106709436B (zh) 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统
CN104517102B (zh) 学生课堂注意力检测方法及系统
US10115209B2 (en) Image target tracking method and system thereof
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
Sidla et al. Pedestrian detection and tracking for counting applications in crowded situations
US7916944B2 (en) System and method for feature level foreground segmentation
EP2874097A2 (en) Automatic scene parsing
CN104598883B (zh) 一种多摄像机监控网络中目标再识别的方法
CN111860352B (zh) 一种多镜头车辆轨迹全跟踪系统及方法
CN103810475B (zh) 一种目标物识别方法及装置
JP2014071902A5 (zh)
CN110706251B (zh) 一种行人跨镜头跟踪方法
CN104376575A (zh) 一种基于多摄像头监控的行人计数方法和装置
Thomas et al. Recent advances towards a robust, automated hurricane damage assessment from high-resolution images
US9392146B2 (en) Apparatus and method for extracting object
JP5755516B2 (ja) 物体形状推定装置
CN111583341B (zh) 云台像机移位检测方法
Chang et al. Single-shot person re-identification based on improved random-walk pedestrian segmentation
CN112287901A (zh) 目标物检测的方法、装置、电子设备及存储介质
Strandmark et al. Joint random sample consensus and multiple motion models for robust video tracking
Sebastian et al. LiDAR-assisted Large-scale privacy protection in street-view cycloramas
KR102604809B1 (ko) 다중 객체 추적을 활용한 객체 계수 시스템
EP4198895A1 (en) Planar object tracking method and system, computer program, computer-readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant