CN110378929A - 一种商业场所跨摄像头行人轨迹跟踪方法 - Google Patents

一种商业场所跨摄像头行人轨迹跟踪方法 Download PDF

Info

Publication number
CN110378929A
CN110378929A CN201910627917.7A CN201910627917A CN110378929A CN 110378929 A CN110378929 A CN 110378929A CN 201910627917 A CN201910627917 A CN 201910627917A CN 110378929 A CN110378929 A CN 110378929A
Authority
CN
China
Prior art keywords
frame
target
image
hough transform
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910627917.7A
Other languages
English (en)
Other versions
CN110378929B (zh
Inventor
张吉昌
马壮
董波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yicheng High Tech (dalian) Technology Co Ltd
Original Assignee
Yicheng High Tech (dalian) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yicheng High Tech (dalian) Technology Co Ltd filed Critical Yicheng High Tech (dalian) Technology Co Ltd
Priority to CN201910627917.7A priority Critical patent/CN110378929B/zh
Publication of CN110378929A publication Critical patent/CN110378929A/zh
Application granted granted Critical
Publication of CN110378929B publication Critical patent/CN110378929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

一种商业场所跨摄像头行人轨迹跟踪方法，包括以下步骤：(1)、目标检测；(2)目标特征提取；(3)、级联匹配。本发明的商业场所跨摄像头行人轨迹跟踪方法，充分利用GPU并行计算特点，组织适当的数据结构，有效提高了计算速度；充分利用特定场景的先验信息，制定合理的增删ID方案，有效提高了目标检测准确率；有效的将判别模型和生成模型统一到一个框架内，实现两种方法的优势互补，提高多目标跟踪准确率。

Description

一种商业场所跨摄像头行人轨迹跟踪方法
技术领域
本发明涉及视频分析目标跟踪技术领域。
背景技术
现阶段对于商业场所如(商场，游乐场)对行人进行轨迹跟踪方法包括以下两种：
1)基于生成模型的跟踪方法，包括相关滤波和kalman滤波方法，该方法通过前一帧行人位置预测下一帧该人出现的位置，从而实现将前后两帧行人匹配起来，完成多目标跟踪。
2)基于判别模型的跟踪方法，用特征提取方法将前后两帧行人局部区域图像特征提取，然后基于特征相似度进行匹配，完成多目标跟踪。
以上方法各有优劣，整体上各自的问题是：
1)基于生成模型的目标跟踪方法的前提假设是前后两帧，目标位移不会太大。因此当目标速度较快，或者出现遮挡的情况时跟踪容易出现跳变；
2)基于判别模型的目标跟踪对遮挡和快速运动物体有一定鲁棒性，但是当目标形态出现较大变化时候容易出现目标丢失，比如当行人脱衣服情况下会导致目标丢失；
上述方法在商业场所等限定场景下，会出现多目标跟踪轨迹断裂和错链的问题，从而影响了跟踪准确率。
发明内容
为了解决在限定场景下多目标跟踪轨迹断裂和错链的问题，本发明提供了一种商业场所跨摄像头行人轨迹跟踪方法。
本发明为实现上述目的所采用的技术方案是：一种商业场所跨摄像头行人轨迹跟踪方法，包括以下步骤：
(1)、目标检测：在一个限定场景部署N个摄像头，与服务器连接，在T时刻服务器获取来自(Cam1,Cam2,…Camn)摄像头的图像(Image1,Image2,…Imagen)，
d)将来自不同摄像头的图像组成一个batch；
e)将一个batch的图像输入到目标检测神经网络中，得到图像中目标的检测框box用一个四维数组表示[X,Y,W,H]，其中：X为矩形检测框左上角横坐标，Y为矩形检测框左上角纵坐标，W为矩形检测框宽度，H为矩形检测框高度；
f)由于要实现跨摄像头目标跟踪，且数据源来自不同的图像，因此需要引入额外信息CamId，最终输出信息如下box＝[X,Y,W,H,CamId]；
(2)目标特征提取：经过目标检测阶段可以得到t时刻的目标检测框利用这些目标检测框和Kalman预测算法和行人重识别算法进行如下计算：
a)以作为状态向量，利用滤波器预测下一帧目标检测框位置，其中：x为矩形检测框左上角横坐标，y为矩形检测框左上角纵坐标，w为矩形检测框宽度，h为矩形检测框高度，为矩形检测框左上角横坐标的一阶导数，为矩形检测框左上角纵坐标的一阶导数；为矩形检测框宽度的一阶导数，为矩形检测框高度的一阶导数；
b)根据目标检测所得到的检测框在原图上进行裁剪，并统一resize到固定尺寸，将裁剪所得图像以固定张数的图为一个batch存储，不足用零元素补齐。
c)将裁剪所得图像以batch方式输入到神经网络中，得到t时刻每个行人的特征向量
(3)、级联匹配：将固定出入口的先验条件引入来增删行人ID，
f)在t时刻通过跟踪器预测得到的t+1时刻目标框估计值
g)根据t+1时刻检测所得目标框与t时刻跟踪器所得估计框进行匹配，采用二分图匹配算法，通过计算两个目标框重叠度作为度量距离；
h)将中未匹配上的目标框记为并通过索引得到bt+1中未匹配的目标框记为通过特征向量的欧式距离作为度量，将和做二分图匹配；
i)将中在上一步已经匹配的目标框删除并更新将中在上一步已经匹配的目标框删除并更新
j)判断中目标框是否在出入口附近，如果是则删除ID，如果不是则保留目标框至下一帧；判断中目标框是否在出入口附近，如果是则增加新的ID，如果不是则删除目标框。
所述步骤(1)中，摄像头以RTPS协议与服务器连接。
所述步骤(1)的b)步骤中，检测神经网络为yolov3、m2det或CFENet。
所述步骤(2)的b)步骤中，统一resize到固定尺寸128x64，将裁剪所得图像以32张图为一个batch存储，不足32张图的batch用零元素补齐。
所述步骤(2)的a)步骤中，利用Kalman滤波器预测下一帧目标检测框位置。
所述步骤(2)的b)步骤中，将裁剪所得图像以batch方式输入到Reid神经网络中。
所述步骤(3)的a)步骤中，在t时刻通过Kalman跟踪器预测得到的t+1时刻目标框估计值。
本发明的商业场所跨摄像头行人轨迹跟踪方法，充分利用GPU并行计算特点，组织适当的数据结构，有效提高了计算速度；充分利用特定场景的先验信息，制定合理的增删ID方案，有效提高了目标检测准确率；有效的将判别模型和生成模型统一到一个框架内，实现两种方法的优势互补，提高多目标跟踪准确率。
附图说明
图1是本发明商业场所跨摄像头行人轨迹跟踪方法流程图。
具体实施方式
在商业场所(商场，游乐场)都有明确的入口和出口。通过判别目标是否在入口和出口附近出现可以判定目标是新入区域还是对丢失的人恢复跟踪；是离开区域还是被遮挡。通过引入限定场景的先验条件可以有效改善多目标长时间跟踪效果。
本方法是针对跨摄像头多目标跟踪方案，采用生成模型+判别模型组合方式进行级联匹配从而完成前后帧关联，完成多目标跟踪。因此，该方法可以分为三个阶段：目标检测、目标特征提取和级联匹配：
(1)、目标检测：在一个限定场景部署N个摄像头，以RTPS协议与服务器连接。在T时刻服务器获取来自(Cam1,Cam2,…Camn)摄像头的图像(Image1,Image2,…Imagen)：
a)将来自不同摄像头的图像组成一个batch；
b)将一个batch的图像输入到目标检测神经网络中，例如(yolov3，m2det，CFENet)等，得到图像中目标的box用一个四维数组表示[X,Y,W,H]，其中：X为矩形检测框左上角横坐标，Y为矩形检测框左上角纵坐标，W为矩形检测框宽度，H为矩形检测框高度；
c)由于该方案要实现跨摄像头目标跟踪，且数据源来自不同的图像，因此需要引入额外信息CamId，最终输出信息如下box＝[X,Y,W,H,CamId]。
(2)、目标特征提取：经过目标检测阶段可以得到t时刻的目标检测框利用这些目标检测框和Kalman预测算法和行人重识别算法进行如下计算：
a)以作为状态向量，利用Kalman滤波器预测下一帧目标框位置，其中：x为矩形检测框左上角横坐标，y为矩形检测框左上角纵坐标，w为矩形检测框宽度，h为矩形检测框高度，为矩形检测框左上角横坐标的一阶导数，为矩形检测框左上角纵坐标的一阶导数；为矩形检测框宽度的一阶导数，为矩形检测框高度的一阶导数。
b)根据目标检测所得到的检测框在原图上进行裁剪，并统一resize到固定尺寸(128x64)。将裁剪所得图像以32张图为一个batch存储，不足32张图的batch用零元素补齐。
c)将裁剪所得图像以batch方式输入到Reid神经网络中，得到t时刻每个行人的特征向量
(3)、最后一步是级联匹配，也是本方案的核心。考虑到本方案应用于商场娱乐场等场景。这类场景的特点是有固定的出口入口。我们将固定出入口的先验条件引入可以在增删行人ID策略方面有较大改进，显著提高跟踪准确率。
a)在t时刻通过Kalman跟踪器预测得到的t+1时刻目标框估计值
b)根据t+1时刻检测所得目标框与t时刻跟踪器所得估计框进行匹配。本方案采用二分图匹配算法，通过计算两个目标框重叠度(Iou)作为度量距离；
c)将中未匹配上的目标框记为并通过索引得到bt+1中未匹配的目标框记为通过特征向量的欧式距离作为度量，将和做二分图匹配；
d)将中在上一步已经匹配的目标框删除并更新将中在上一步已经匹配的目标框删除并更新
e)判断中目标框是否在出入口附近，如果是则删除ID，如果不是则保留目标框至下一帧。判断中目标框是否在出入口附近，如果是则增加新的ID，如果不是则删除目标框。
本发明是通过实施例进行描述的，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。

Claims (7)

1.一种商业场所跨摄像头行人轨迹跟踪方法，其特征在于：包括以下步骤：
(1)、目标检测：在一个限定场景部署N个摄像头，与服务器连接，在T时刻服务器获取来自(Cam1,Cam2,…Camn)摄像头的图像(Image1,Image2,…Imagen)，
a)将来自不同摄像头的图像组成一个batch；
b)将一个batch的图像输入到目标检测神经网络中，得到图像中目标的检测框box用一个四维数组表示[X,Y,W,H]，其中：X为矩形检测框左上角横坐标，Y为矩形检测框左上角纵坐标，W为矩形检测框宽度，H为矩形检测框高度；
c)由于要实现跨摄像头目标跟踪，且数据源来自不同的图像，因此需要引入额外信息CamId，最终输出信息如下box＝[X,Y,W,H,CamId]；
(2)目标特征提取：经过目标检测阶段可以得到t时刻的目标检测框利用这些目标检测框和Kalman预测算法和行人重识别算法进行如下计算：
a)以作为状态向量，利用滤波器预测下一帧目标检测框位置,其中：x为矩形检测框左上角横坐标，y为矩形检测框左上角纵坐标，w为矩形检测框宽度，h为矩形检测框高度，为矩形检测框左上角横坐标的一阶导数，为矩形检测框左上角纵坐标的一阶导数；为矩形检测框宽度的一阶导数，为矩形检测框高度的一阶导数。
b)根据目标检测所得到的检测框在原图上进行裁剪，并统一resize到固定尺寸，将裁剪所得图像以固定张数的图为一个batch存储，不足用零元素补齐。
c)将裁剪所得图像以batch方式输入到神经网络中，得到t时刻每个行人的特征向量
ft＝[ft 1,ft 2,…ft n]；
(3)、级联匹配：将固定出入口的先验条件引入来增删行人ID，
a)在t时刻通过跟踪器预测得到的t+1时刻目标框估计值
b)根据t+1时刻检测所得目标框与t时刻跟踪器所得估计框进行匹配，采用二分图匹配算法，通过计算两个目标框重叠度作为度量距离；
c)将中未匹配上的目标框记为并通过索引得到bt+1中未匹配的目标框记为通过特征向量的欧式距离作为度量，将和做二分图匹配；
d)将中在上一步已经匹配的目标框删除并更新将中在上一步已经匹配的目标框删除并更新
e)判断中目标框是否在出入口附近，如果是则删除ID，如果不是则保留目标框至下一帧；判断中目标框是否在出入口附近，如果是则增加新的ID，如果不是则删除目标框。
2.根据权利要求1所述的一种商业场所跨摄像头行人轨迹跟踪方法，其特征在于：所述步骤(1)中，摄像头以RTPS协议与服务器连接。
3.根据权利要求1所述的一种商业场所跨摄像头行人轨迹跟踪方法，其特征在于：所述步骤(1)的b)步骤中，检测神经网络为yolov3、m2det或CFENet。
4.根据权利要求1所述的一种商业场所跨摄像头行人轨迹跟踪方法，其特征在于：所述步骤(2)的b)步骤中，统一resize到固定尺寸128x64，将裁剪所得图像以32张图为一个batch存储，不足32张图的batch用零元素补齐。
5.根据权利要求1所述的一种商业场所跨摄像头行人轨迹跟踪方法，其特征在于：所述步骤(2)的a)步骤中，利用Kalman滤波器预测下一帧目标检测框位置。
6.根据权利要求1所述的一种商业场所跨摄像头行人轨迹跟踪方法，其特征在于：所述步骤(2)的b)步骤中，将裁剪所得图像以batch方式输入到Reid神经网络中。
7.根据权利要求1所述的一种商业场所跨摄像头行人轨迹跟踪方法，其特征在于：所述步骤(3)的a)步骤中，在t时刻通过Kalman跟踪器预测得到的t+1时刻目标框估计值。
CN201910627917.7A 2019-07-12 2019-07-12 一种商业场所跨摄像头行人轨迹跟踪方法 Active CN110378929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910627917.7A CN110378929B (zh) 2019-07-12 2019-07-12 一种商业场所跨摄像头行人轨迹跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910627917.7A CN110378929B (zh) 2019-07-12 2019-07-12 一种商业场所跨摄像头行人轨迹跟踪方法

Publications (2)

Publication Number Publication Date
CN110378929A true CN110378929A (zh) 2019-10-25
CN110378929B CN110378929B (zh) 2023-03-24

Family

ID=68252861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910627917.7A Active CN110378929B (zh) 2019-07-12 2019-07-12 一种商业场所跨摄像头行人轨迹跟踪方法

Country Status (1)

Country Link
CN (1) CN110378929B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768429A (zh) * 2020-06-01 2020-10-13 重庆大学 一种基于卡尔曼滤波和行人重识别算法的隧道环境下行人目标跟踪方法
CN113052876A (zh) * 2021-04-25 2021-06-29 合肥中科类脑智能技术有限公司 一种基于深度学习的视频接力跟踪方法及系统
CN115641559A (zh) * 2022-12-23 2023-01-24 深圳佑驾创新科技有限公司 一种环视摄像头组的目标匹配方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013189464A2 (zh) * 2012-11-28 2013-12-27 中兴通讯股份有限公司 一种近正向俯视监控视频行人跟踪计数方法和装置
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
CN109903312A (zh) * 2019-01-25 2019-06-18 北京工业大学 一种基于视频多目标跟踪的足球球员跑动距离统计方法
US20190205608A1 (en) * 2017-12-29 2019-07-04 Deep Innovations Ltd Method and apparatus for safety monitoring of a body of water

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013189464A2 (zh) * 2012-11-28 2013-12-27 中兴通讯股份有限公司 一种近正向俯视监控视频行人跟踪计数方法和装置
US20190205608A1 (en) * 2017-12-29 2019-07-04 Deep Innovations Ltd Method and apparatus for safety monitoring of a body of water
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
CN109903312A (zh) * 2019-01-25 2019-06-18 北京工业大学 一种基于视频多目标跟踪的足球球员跑动距离统计方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768429A (zh) * 2020-06-01 2020-10-13 重庆大学 一种基于卡尔曼滤波和行人重识别算法的隧道环境下行人目标跟踪方法
CN113052876A (zh) * 2021-04-25 2021-06-29 合肥中科类脑智能技术有限公司 一种基于深度学习的视频接力跟踪方法及系统
CN115641559A (zh) * 2022-12-23 2023-01-24 深圳佑驾创新科技有限公司 一种环视摄像头组的目标匹配方法、装置及存储介质

Also Published As

Publication number Publication date
CN110378929B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN108550161B (zh) 一种尺度自适应核相关滤波快速目标跟踪方法
Liu et al. Multiscale U-shaped CNN building instance extraction framework with edge constraint for high-spatial-resolution remote sensing imagery
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
Patil et al. Fggan: A cascaded unpaired learning for background estimation and foreground segmentation
CN105488812A (zh) 一种融合运动特征的时空显著性检测方法
CN110378929A (zh) 一种商业场所跨摄像头行人轨迹跟踪方法
WO2019071976A1 (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN110853074A (zh) 一种利用光流增强目标的视频目标检测网络系统
CN110827262B (zh) 一种基于连续有限帧红外图像的弱小目标检测方法
Wei et al. City-scale vehicle tracking and traffic flow estimation using low frame-rate traffic cameras
CN113763427B (zh) 一种基于从粗到精遮挡处理的多目标跟踪方法
CN109558790B (zh) 一种行人目标检测方法、装置及系统
CN104217442B (zh) 基于多模型估计的航拍视频运动目标检测方法
Maddalena et al. Exploiting color and depth for background subtraction
Tong et al. Transformer based line segment classifier with image context for real-time vanishing point detection in manhattan world
Zeng et al. Deep confidence propagation stereo network
Zhang et al. The farther the better: Balanced stereo matching via depth-based sampling and adaptive feature refinement
CN106991684B (zh) 前景提取方法及装置
CN114707604A (zh) 一种基于时空注意力机制的孪生网络跟踪系统及方法
CN114091519A (zh) 一种基于多粒度遮挡感知的遮挡行人重识别方法
CN113112522A (zh) 基于可变形卷积和模板更新的孪生网络目标跟踪的方法
Olszewska et al. Multi-feature vector flow for active contour tracking
Zhao et al. Wildfire smoke detection based on depthwise separable convolutions and target-awareness
Li et al. Deep video foreground target extraction with complex scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Cross camera Pedestrian Trajectory Tracking Method in Commercial Places

Effective date of registration: 20230726

Granted publication date: 20230324

Pledgee: Dalian Branch of Shanghai Pudong Development Bank Co.,Ltd.

Pledgor: YICHENG GAOKE (DALIAN) TECHNOLOGY Co.,Ltd.

Registration number: Y2023980049989

PE01 Entry into force of the registration of the contract for pledge of patent right