CN113627497A - 一种基于时空约束的跨摄像头行人轨迹匹配方法 - Google Patents

一种基于时空约束的跨摄像头行人轨迹匹配方法 Download PDF

Info

Publication number
CN113627497A
CN113627497A CN202110850369.1A CN202110850369A CN113627497A CN 113627497 A CN113627497 A CN 113627497A CN 202110850369 A CN202110850369 A CN 202110850369A CN 113627497 A CN113627497 A CN 113627497A
Authority
CN
China
Prior art keywords
camera
pedestrian
tracked
ith
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110850369.1A
Other languages
English (en)
Other versions
CN113627497B (zh
Inventor
樊怡颖
呙维
熊淑萍
谢一涵
朱玉
陈雪景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110850369.1A priority Critical patent/CN113627497B/zh
Publication of CN113627497A publication Critical patent/CN113627497A/zh
Application granted granted Critical
Publication of CN113627497B publication Critical patent/CN113627497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于时空约束的跨摄像头行人轨迹匹配方法，包括首先利用控制区域不重叠的摄像头采集控制区域内多幅区域图像，并无线传输至所述中心服务器；中心服务器使用基于神经网络的单摄像头的行人检测与追踪算法收集到的每个控制区域内的多幅图像依次进行处理，获取多个控制区域对应的所有行人的数据；利用路网中的摄像头之间的拓扑关系、匹配时间约束、合理时间约和运动方向约束，获取行人待匹配对象列表；最后利用余弦相似度和时长概率优化公式对行人进行匹配，最终输出匹配结果。本发明可对各种不同的摄像头场景进行行人重识别，为智能安防、智能寻人及智能商业等方面提供技术支持。

Description

一种基于时空约束的跨摄像头行人轨迹匹配方法
技术领域
本发明属于计算机视觉的技术领域，尤其涉及一种基于时空约束的跨摄像头行人轨迹匹配方法。
背景技术
近年来，监控视频大量普及，由于单个摄像头的感知范围有限，为了监控特定的目标，通常需要查看多个不同位置的视频监控信息，需要耗费大量的人力物力。因此，基于跨摄像头的行人自动跟踪已经成为了视频分析工作中亟待解决的重要课题。
跨摄像头行人轨迹匹配的主要任务是在给定的非重叠摄像头中，找到相同的行人，即行人重识别(Re-ID)。目前，传统的行人重识别技术计算不同摄像头下的所有行人之间的特征距离，并返回相似度排序表。但由于存在外观模糊、光照条件不同、摄像头视野范围有限以及障碍物遮挡等问题，仅使用一般的视觉特征很难进一步提高性能。
本发明提供了一种同时挖掘视觉语义信息和时空信息来进行行人重识别的解决方案。该方案可对各种不同的摄像头场景进行行人重识别，为智能安防、智能寻人及智能商业等方面提供技术支持。
发明内容
为了解决上述技术问题，本发明提供一种基于时空约束的跨摄像头行人轨迹匹配方法，完成不同场景的行人追踪。
为实现上述目的，本发明采用的技术方案是：一种基于时空约束的跨摄像头行人轨迹匹配方法，其包括步骤：
步骤1：通过中心服务器与多个无线摄像头通过无线方式连接构建摄像头网络，中心服务器构建各摄像头的控制区域、各摄像头的地理坐标、各摄像头的俯仰角、各控制区域之间的距离、各个摄像头的邻接摄像头列表，各个摄像头连续采集控制区域内多幅区域图像，并无线传输至所述中心服务器；
步骤2：中心服务器使用基于神经网络的单摄像头的行人检测与追踪算法对步骤1所述收集到的每个控制区域内的多幅图像依次进行处理，获取多个控制区域对应的所有行人的数据；所述行人的数据包括行人的出现时间、行人的消失时间、行人的特征、行人的深度、行人的经纬度轨迹、行人的运动方向、行人的运动速度；
步骤3：中心服务器通过步骤1所述的摄像头的邻接摄像头列表，获取邻接摄像头中的行人数据，得到行人的初步待匹配列表；
步骤4：中心服务器对步骤3所述的初步待匹配列表使用匹配时间约束进行过滤，得到符合匹配时间约束的待匹配列表；
步骤5：中心服务器对步骤4所述的符合匹配时间约束的待匹配列表使用时间重叠约束进行过滤，得到符合时间重叠约束的待匹配列表；
步骤6：中心服务器对步骤5所述的符合时间重叠约束的待匹配列表使用方向约束进行过滤，得到符合方向约束的待匹配列表；
步骤7：中心服务器对目标行人和步骤6所述的符合方向约束的待匹配列表中的行人使用基于余弦相似度性度量结果和时长概率优化公式的匹配方法逐一进行匹配，获取匹配候选人；
作为优选，步骤1所述多个无线摄像头，定义场景为：
C1,C2,…CM
其中，Ci表示第i个摄像头，M表示摄像头的数量，i∈[1,M]；
步骤1所述每个摄像头之间的采集图像区域不重叠；
步骤1所述各摄像头的控制区域为：
region-1,region-2,…,region-M
其中，region-i表示第i个摄像头的控制区域，M表示摄像头的数量，i∈[1,M]；
步骤1所述各摄像头的地理坐标为：
(Clon1,Clat1),(Clon2,Clat2),…,(ClonM,ClatM)
其中，Cloni表示第i个摄像头的经度，Clati表示第i个摄像头的经度，M表示摄像头的数量，i∈[1,M]；
步骤1所述各摄像头的俯仰角记为：
Cazi1,Cazi2,…,CaziM
其中，Cazii表示第i个摄像头的俯仰角，M表示摄像头的数量，i∈[1,M]；
步骤1所述摄像头网络中有M*M个摄像头对，即有M*M个区域对；
对于每个区域对，定义一种区域之间的距离，该距离使用GIS室内路网获取到的摄像头坐标之间的距离；
GIS室内路网中包含摄像头之间道路，使用欧式距离公式，利用路网中的道路点地理坐标进行计算并累加得到区域之间的距离；
步骤1所述的区域距离，定义为：
d1,1,d1,2,…,d1,M,…,dM,M
其中di1,i2表示前述区域region-i1和区域region-i2之间的距离即第i1个摄像头和第i2个摄像头之间的距离，M表示摄像头的数量，i1，i2∈[1,M]；
摄像头的邻接摄像头列表根据GIS室内路网信息提供的摄像头之间的拓扑关系获取；
步骤1所述的摄像头的邻接摄像头列表，定义为：
Figure BDA0003182235090000031
其中，Clisti表示第i个摄像头的邻接摄像头列表，adji,l表示第i个摄像头的第l个邻接的摄像头编号，Li表示第i个摄像头直接相邻的摄像头个数，M表示摄像头的数量；
步骤1所述各个摄像头连续采集控制区域多幅区域图像，定义为：
datai＝{Pici,1,Pici,2,...,Pici,K}，i∈[1,M]
其中，datai表示第i个摄像头采集的控制区域内多幅区域图像，Pici,k表示第i个摄像头第k个时刻采集的控制区域内区域图像，K表示采集时刻的数量即控制区域内区域图像的数量，M表示摄像头的数量；
作为优选，步骤2所述基于神经网络的单摄像头的行人检测与追踪算法采用YOLOv4+DeepSort，数据集使用YOLOv4原数据集，首先通过YOLOv4对步骤1所述的各个摄像头连续采集控制区域多幅区域图像进行多行人检测，检测到的行人范围使用行人检测框标记，结合DeepSort算法模型进行行人追踪，追踪过程中，行人有三种状态：新行人，追踪行人，消失行人；
在出现新行人时，新建行人对象，记录行人位置，行人位置采用行人检测框的底部中点为坐标点，标记其为追踪行人；
在出现追踪行人时，持续记录行人像素坐标，同时使用基于triplet loss的深度学习模型提取到检测框中的图像特征，记录该特征为行人在该像素坐标时的特征，结合全卷积残差网络单目深度估计模型，获取行人检测框底部中点处的深度，记为行人在该像素坐标时与摄像头的距离；
在消失行人时，对行人进行消失标记，若在消失帧检测阈值范围内行人重新出现，则重新标记为追踪行人，否则停止对该行人对象的追踪。通过以上流程，就可以得到行人的出现时间、消失时间、行人的连续的行人像素坐标轨迹、行人的特征、行人的深度；
步骤2所述摄像头检测与追踪到的行人的数量，定义为：
N1,N2,…,NM
其中，Ni表示第i个摄像头检测与追踪到的行人的数量，M表示摄像头的数量，i∈[1,M]；
步骤2所述行人的出现时间为：
Figure BDA0003182235090000041
其中，startTimei,j表示第i个摄像头追踪到的第j个行人的出现时间，Ni表示第i个摄像头检测与追踪到的行人的数量，M表示摄像头的数量；
步骤2所述行人的消失时间为：
Figure BDA0003182235090000042
其中，endTimei,j表示第i个摄像头追踪到的第j个行人的消失时间，Ni表示第i个摄像头检测与追踪到的行人的数量，M表示摄像头的数量；
步骤2所述行人的特征为：
Figure BDA0003182235090000043
其中,featurei,j表示第i个摄像头追踪到的第j个行人的多个特征，fi,j,t表示第i个摄像头追踪到的第j个行人在t时刻采集到的特征，startTimei,j表示第i个摄像头追踪到的第j个行人的出现时间，endTimei,j表示第i个摄像头追踪到的第j个行人的消失时间，Ni表示第i个摄像头检测与追踪到的行人的数量，M表示摄像头的数量；
步骤2所述行人的像素坐标轨迹，定义为：
Figure BDA0003182235090000044
其中，Pixeli,j表示第i个摄像头追踪到的第j个行人的像素坐标轨迹，xi,j,t表示第i个摄像头追踪到的第j个行人在t时刻的横坐标，yi,j,t表示第i个摄像头追踪到的第j个行人在t时刻的纵坐标，startTimei,j表示第i个摄像头追踪到的第j个行人的出现时间，endTimei,j表示第i个摄像头追踪到的第j个行人的消失时间，Ni表示第i个摄像头检测与追踪到的行人的数量，M表示摄像头的数量；
步骤2所述行人的深度，定义为：
Figure BDA0003182235090000051
其中，depthi,j表示第i个摄像头追踪到的第j个行人在多个坐标上的深度，depthi,j,k表示第i个摄像头追踪到的第j个行人在t时刻采集到的深度，startTimei,j表示第i个摄像头追踪到的第j个行人的出现时间，endTimei,j表示第i个摄像头追踪到的第j个行人的消失时间，Ni表示第i个摄像头检测与追踪到的行人的数量，M表示摄像头的数量；
基于单目摄像头定位技术，利用行人与摄像头的距离以及步骤1所述的摄像头的俯仰角和摄像头的地理坐标，进行地理轨迹转换，将行人轨迹转换为连续的经纬度坐标轨迹；
步骤2所述行人的经纬度坐标轨迹，定义为：
Figure BDA0003182235090000052
其中，trajectoryi,j表示第i个摄像头追踪到的第j个行人的经纬度坐标轨迹，Ploni,j,t表示第i个摄像头追踪到的第j个行人在t时刻的经度，Plati,j,t表示第i个摄像头追踪到的第j个行人在t时刻的纬度，startTimei,j表示第i个摄像头追踪到的第j个行人的出现时间，endTimei,j表示第i个摄像头追踪到的第j个行人的消失时间，Ni表示第i个摄像头检测与追踪到的行人的数量，M表示摄像头的数量；
根据行人的地理轨迹数据，以及被捕获到的时间，可以计算得到行人的平均运动速度；
步骤2所述行人的运动速度为：
Figure BDA0003182235090000053
其中，vi,j表示第i个摄像头追踪到的第j个行人的运动速度，Ni表示第i个摄像头检测与追踪到的行人的数量，M表示摄像头的数量；
根据行人出现和消失时与摄像头的距离，比较二者大小，出现时比消失时的距离小，说明行人轨迹是背离摄像头的，反之则是走向摄像头，记录下行人轨迹的方向；
步骤2所述行人的运动方向为：
Figure BDA0003182235090000061
其中，diri,j表示第i个摄像头追踪到的第j个行人的运动方向，Ni表示第i个摄像头检测与追踪到的行人的数量，M表示摄像头的数量；
步骤2所述的行人数据，由算法得到的数据组成，定义为：
Pi,j＝{i,j,startTimei,j,endTimei,j,featurei,j,depthi,j,trajectoryi,j,diri,j,vi,j}，j∈[1,Ni]，i∈[1,M]
其中Pi,j表示第i个摄像头追踪到的第j个行人的数据，startTimei,j表示第i个摄像头追踪到的第j个行人的出现时间，endTimei,j表示第i个摄像头追踪到的第j个行人的消失时间，featurei,j表示第i个摄像头追踪到的第j个行人的多个特征，depthi,j表示第i个摄像头追踪到的第j个行人在多个坐标上的深度，trajectoryi,j表示第i个摄像头追踪到的第j个行人的经纬度坐标轨迹，diri,j表示第i个摄像头追踪到的第j个行人的运动方向，vi,j表示第i个摄像头追踪到的第j个行人的运动速度，Ni表示第i个摄像头检测与追踪到的行人的数量，M表示摄像头的数量；
作为优选，步骤3所述的行人的初步待匹配列表，定义为：
Figure BDA0003182235090000062
其中，alisti,j表示第i个摄像头追踪到的第j个行人的初步待匹配列表，
Figure BDA0003182235090000063
表示第i个摄像头的第l个邻接摄像头追踪到的第n个行人的数据即第adji,l个摄像头追踪到的第n个行人的数据，
Figure BDA0003182235090000064
表示第i个摄像头的第Li个邻接摄像头的编号即第adji,l个摄像头的编号，
Figure BDA0003182235090000065
表示第i个摄像头的第Li个邻接摄像头追踪到的行人数量即第adji,l个摄像头追踪到的行人数量，Li表示第i个摄像头直接相邻的摄像头个数，Ni表示第i个摄像头追踪到的行人的数量，M表示摄像头的数量；
作为优选，步骤4所述的匹配时间约束仅考虑目标行人在一段合理时间、合理位置内的不同源轨迹段数据匹配关联，通过一个最小时间阈值，将步骤3所述的行人的初步匹配列表中在最小时间阈值内出现的行人作为待匹配对象，在最小时间阈值后出现的行人排除；
符合匹配时间约束的待匹配列表是步骤3所述的初步待匹配列表的子集，对于符合匹配时间约束的待匹配列表中的行人，其出现时间与目标行人消失时间的时间差小于最小时间阈值；
步骤4所述的最小时间阈值，定义为threshold；
步骤4所述的匹配时间约束，定义为：
Figure BDA0003182235090000071
Figure BDA0003182235090000072
Figure BDA0003182235090000073
其中，
Figure BDA0003182235090000074
表示第i个摄像头的第l个邻接摄像头追踪到的第n个行人的数据即第adji,l个摄像头追踪到的第n个行人的数据，
Figure BDA0003182235090000075
表示第i个摄像头的第l个邻接摄像头追踪到的第n个行人的出现时间，endTimei,j示第i个摄像头追踪到的第j个行人的消失时间，blisti,j表示第i个摄像头追踪到的第j个行人的符合匹配时间约束的待匹配列表，alisti,j表示第i个摄像头追踪到的第j个行人的初步待匹配列表，blisti,j是alisti,j的子集，adji,l表示第i个摄像头的第l个邻接摄像头的编号即第adji,l个摄像头的编号，
Figure BDA0003182235090000077
表示第i个摄像头的第l个邻接摄像头追踪到的行人数量即第adji,l个摄像头追踪到的行人数量，Li表示第i个摄像头直接相邻的摄像头个数，Ni表示第i个摄像头追踪到的行人的数量，M表示摄像头的数量；
步骤4所述的符合匹配时间约束的待匹配列表，定义为：
Figure BDA0003182235090000076
其中blisti,j表示第i个摄像头追踪到的第j个行人的符合匹配时间约束的待匹配列表，alisti,j表示第i个摄像头追踪到的第j个行人的初步待匹配列表，blisti,j是alisti,j的子集，Ni表示第i个摄像头追踪到的行人的数量，M表示摄像头的数量；
作为优选，步骤5所述的时间重叠约束为一个摄像头检测并追踪到的目标行人的采集时间段中，其他摄像头检测并追踪到的行人不作为前述目标行人的匹配对象，由此过滤步骤4所述的符合匹配时间约束的待匹配列表中不符合该约束的行人；
步骤5所述的重叠时间约束，定义为：
Figure BDA0003182235090000081
Figure BDA0003182235090000082
Figure BDA0003182235090000083
其中，
Figure BDA0003182235090000084
表示第i个摄像头的第l个邻接摄像头追踪到的第n个行人的数据即第adji,l个摄像头追踪到的第n个行人的数据，startTimei,j示第i个摄像头追踪到的第j个行人的出现时间，endTimei,j示第i个摄像头追踪到的第j个行人的消失时间，
Figure BDA0003182235090000085
表示第i个摄像头的第l个邻接摄像头追踪到的第n个行人的出现时间，
Figure BDA0003182235090000086
表示第i个摄像头的第l个邻接摄像头追踪到的第n个行人的消失时间，clisti,j表示第i个摄像头追踪到的第j个行人的符合重叠时间约束的待匹配列表，blisti,j表示第i个摄像头追踪到的第j个行人的符合匹配时间约束的待匹配列表，clisti,j是blisti,j的子集，adji,l表示第i个摄像头的第l个邻接摄像头的编号即第adji,l个摄像头的编号，
Figure BDA0003182235090000087
表示第i个摄像头的第l个邻接摄像头追踪到的行人数量即第adji,l个摄像头追踪到的行人数量，Li表示第i个摄像头直接相邻的摄像头个数，Ni表示第i个摄像头追踪到的行人的数量，M表示摄像头的数量；
步骤5所述符合时间重叠约束的待匹配列表是步骤4所述的符合匹配时间约束的待匹配列表的子集；
步骤5所述的符合时间重叠约束的待匹配列表，定义为：
Figure BDA0003182235090000091
其中clisti,j表示第i个摄像头追踪到的第j个行人的符合重叠时间约束的待匹配列表，blisti,j表示第i个摄像头追踪到的第j个行人的符合匹配时间约束的待匹配列表，clisti,j是blisti,j的子集，Ni表示第i个摄像头追踪到的行人的数量，M表示摄像头的数量；
步骤6所述的方向约束为，行人在摄像头网路中被摄像头捕获的顺序不仅需要满足摄像头之间的拓扑关系，同时也需要满足轨迹方向的合理性，一个行人在两个直接邻接的摄像头之间捕获的轨迹方向应该保持一致；
作为优选，步骤6所述的方向约束，定义为：
Figure BDA0003182235090000092
Figure BDA0003182235090000093
Figure BDA0003182235090000094
其中，
Figure BDA0003182235090000095
表示第i个摄像头的第l个邻接摄像头追踪到的第n个行人的数据即第adji,l个摄像头追踪到的第n个行人的数据，diri,j表示第i个摄像头追踪到的第j个行人的有的方向，
Figure BDA0003182235090000096
表示第i个摄像头的第l个邻接摄像头追踪到的第n个行人的运动方向即第adji,l个摄像头追踪到的第n个行人的运动方向，dlisti,j表示第i个摄像头追踪到的第j个行人的符合匹配方向约束的待匹配列表，clisti,j表示第i个摄像头追踪到的第j个行人的符合重叠时间约束的待匹配列表，dlisti,j是clisti,j的子集，adji,l表示第i个摄像头的第l个邻接摄像头的编号即第adji,l个摄像头的编号，
Figure BDA0003182235090000097
表示第i个摄像头的第l个邻接摄像头追踪到的行人数量即第adji,l个摄像头追踪到的行人数量，Li表示第i个摄像头直接相邻的摄像头个数，Ni表示第i个摄像头追踪到的行人的数量，M表示摄像头的数量；
作为优选，步骤7所述的匹配方法，首先利用目标行人与待匹配对象的特征向量进行余弦相似度性度量，通过阈值的选择得到余弦相似度性度量结果，再利用时长概率优化公式进行优化，结合前述的行人运动速度与摄像头区域间的距离，可以估算出目标行人经过两个摄像头的时长概率分布，基于该时长概率，对余弦距离进行重新加权估算，为相似度距离估算加上时空信息的权重；
步骤7所述余弦相似度性度量结果为：
Figure BDA0003182235090000101
其中，
Figure BDA0003182235090000102
表示第i个摄像头追踪到的第j个行人与第i个摄像头的第l个邻接摄像头追踪到的第n个行人的余弦相似度性度量结果，adji,l表示第i个摄像头的第l个邻接摄像头的编号即第adji,l个摄像头的编号，
Figure BDA0003182235090000103
表示第i个摄像头的第l个邻接摄像头追踪到的行人数量即第adji,l个摄像头追踪到的行人数量，Li表示第i个摄像头直接相邻的摄像头个数，Ni表示第i个摄像头追踪到的行人的数量，M表示摄像头的数量；
步骤7所述时长概率，定义为：
Figure BDA0003182235090000104
Figure BDA0003182235090000105
其中，
Figure BDA0003182235090000106
表示第i个摄像头追踪到的第j个行人从第i个摄像头运动到第i个摄像头的第l个邻接摄像头的时间概率，
Figure BDA0003182235090000107
表示第i个摄像头和第i个摄像头的第l个邻接摄像头之间的距离，vi,j表示第i个摄像头追踪到的第j个行人的运动方向，
Figure BDA0003182235090000108
表示第i个摄像头的第l个邻接摄像头追踪到的第n个行人的出现时间，endTimei,j示第i个摄像头追踪到的第j个行人的消失时间，adji,l表示第i个摄像头的第l个邻接摄像头的编号即第adji,l个摄像头的编号，
Figure BDA0003182235090000109
表示第i个摄像头的第l个邻接摄像头追踪到的行人数量即第adji,l个摄像头追踪到的行人数量，Li表示第i个摄像头直接相邻的摄像头个数，Ni表示第i个摄像头追踪到的行人的数量，M表示摄像头的数量；
步骤7所述使用基于余弦相似度性度量结果和时长概率优化公式的匹配方法逐一进行匹配得到最终匹配结果，定义为：
Figure BDA00031822350900001010
Figure BDA0003182235090000111
其中，
Figure BDA0003182235090000112
示第i个摄像头追踪到的第j个行人与第i个摄像头的第l个邻接摄像头追踪到的第n个行人的相似性，
Figure BDA0003182235090000113
表示第i个摄像头追踪到的第j个行人与第i个摄像头的第l个邻接摄像头追踪到的第n个行人的余弦相似度性度量结果，
Figure BDA0003182235090000114
表示第i个摄像头追踪到的第j个行人从第i个摄像头运动到第i个摄像头的第l个邻接摄像头的时间概率，adji,l表示第i个摄像头的第l个邻接摄像头的编号即第adji,l个摄像头的编号，
Figure BDA0003182235090000115
表示第i个摄像头的第l个邻接摄像头追踪到的行人数量即第adji,l个摄像头追踪到的行人数量，Li表示第i个摄像头直接相邻的摄像头个数，Ni表示第i个摄像头追踪到的行人的数量，M表示摄像头的数量；
最后输出行人的匹配结果
Figure BDA0003182235090000116
本发明与现有的技术相比，有如下的优点：
利用GIS辅助信息，结合时空约束，大大减少了错误匹配的几率；
计算行人相似性时，更好的利用空间信息条件进行加权，降低了对特征提取结果的依赖性。
附图说明
图1：为本发明的方法流程图。
图2：为摄像头位置拓扑约束。
图3：为运动方向性约束。
图4：为准确率对比图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本发明中的实例设计了跨摄像头行人追踪系统。实现从视频流的输入到跨摄像头多行人追踪，得到行人的完整运动轨迹，并对目标轨迹进行组织存储。下面结合附图以及具体实例对本发明的具体实施方案做进一步的详细说明。
本发明所使用的视频流数据帧分辨率为1280*720，帧率为25fps，采用的摄像头型号为海康威视DS-IPC-B12-I(6mm)，有效像素200万。
一种基于时空约束的跨摄像头行人轨迹匹配方法，其包括步骤：
步骤1：通过中心服务器与多个无线摄像头通过无线方式连接构建摄像头网络，中心服务器构建各摄像头的控制区域、各摄像头的地理坐标、各摄像头的俯仰角、各控制区域之间的距离、各个摄像头的邻接摄像头列表，各个摄像头连续采集控制区域内多幅区域图像，并无线传输至所述中心服务器；
步骤1所述多个无线摄像头，定义场景为：
C1,C2,…CM
其中，Ci表示第i个摄像头，M＝6表示摄像头的数量，i∈[1,M]；
步骤1所述每个摄像头之间的采集图像区域不重叠；
步骤1所述各摄像头的控制区域为：
region-1,region-2,…,region-M
其中，region-i表示第i个摄像头的控制区域，M＝6表示摄像头的数量，i∈[1,M]；
步骤1所述各摄像头的地理坐标为：
(Clon1,Clat1),(Clon2,Clat2),…,(ClonM,ClatM)
Figure BDA0003182235090000121
表1：各摄像头经纬度坐标
其中，Cloni表示第i个摄像头的经度，Clati表示第i个摄像头的经度，M＝6表示摄像头的数量，i∈[1,M]；
步骤1所述各摄像头的俯仰角记为：
Cazi1,Cazi2,…,CaziM
Figure BDA0003182235090000122
Figure BDA0003182235090000131
表2：各摄像头俯仰角
其中，Cazii表示第i个摄像头的俯仰角，M＝6表示摄像头的数量，i∈[1,M]；
步骤1所述摄像头网络中有M*M个摄像头对，即有M*M个区域对；
对于每个区域对，定义一种区域之间的距离，该距离使用GIS室内路网获取到的摄像头坐标之间的距离；
GIS室内路网中包含摄像头之间道路，使用欧式距离公式，利用路网中的道路点地理坐标进行计算并累加得到区域之间的距离；
步骤1所述的区域距离，定义为：
d1,1,d1,2,…,d1,M,…,dM,M
其中di1,i2表示前述区域region-i1和区域region-i2之间的距离即第i1个摄像头和第i2个摄像头之间的距离，M＝6表示摄像头的数量，i1，i2∈[1,M]；
摄像头的邻接摄像头列表根据GIS室内路网信息提供的摄像头之间的拓扑关系获取，获取摄像头直接邻接的摄像头编号构成邻接摄像头列表；
步骤1所述的摄像头的邻接摄像头列表，定义为：
Figure BDA0003182235090000132
Figure BDA0003182235090000133
表3：各摄像头的邻接摄像头列表
其中，Clisti表示第i个摄像头的邻接摄像头列表，adji,l表示第i个摄像头的第l个邻接的摄像头编号，Li表示第i个摄像头直接相邻的摄像头个数，M＝6表示摄像头的数量；
步骤1所述各个摄像头连续采集控制区域多幅区域图像，定义为：
datai＝{Pici,1,Pici,2,...,Pici,K}，i∈[1,M]
其中，datai表示第i个摄像头采集的控制区域内多幅区域图像，Pici,k表示第i个摄像头第k个时刻采集的控制区域内区域图像，K＝180000表示采集时刻的数量即控制区域内区域图像的数量，M＝6表示摄像头的数量；
步骤2：中心服务器使用基于神经网络的单摄像头的行人检测与追踪算法对步骤1所述收集到的每个控制区域内的多幅图像依次进行处理，获取多个控制区域对应的所有行人的数据；所述行人的数据包括行人的出现时间、行人的消失时间、行人的特征、行人的深度、行人的经纬度轨迹、行人的运动方向、行人的运动速度；
步骤2所述基于神经网络的单摄像头的行人检测与追踪算法采用YOLOv4+DeepSort，数据集使用YOLOv4原数据集，首先通过YOLOv4对步骤1所述的各个摄像头连续采集控制区域多幅区域图像进行多行人检测，检测到的行人范围使用行人检测框标记，结合DeepSort算法模型进行行人追踪，追踪过程中，行人有三种状态：新行人，追踪行人，消失行人；
在出现新行人时，新建行人对象，记录行人位置，行人位置采用行人检测框的底部中点为坐标点，标记其为追踪行人；
在出现追踪行人时，持续记录行人像素坐标，同时使用基于triplet loss的深度学习模型提取到检测框中的图像特征，记录该特征为行人在该像素坐标时的特征，结合全卷积残差网络单目深度估计模型，获取行人检测框底部中点处的深度，记为行人在该像素坐标时与摄像头的距离；
在消失行人时，对行人进行消失标记，若在消失帧检测阈值范围内行人重新出现，则重新标记为追踪行人，否则停止对该行人对象的追踪。通过以上流程，就可以得到行人的出现时间、消失时间、行人的连续的行人像素坐标轨迹、行人的特征、行人的深度；
步骤2所述摄像头检测与追踪到的行人的数量，定义为：
N1,N2,…,NM
其中，Ni表示第i个摄像头检测与追踪到的行人的数量，M＝6表示摄像头的数量，i∈[1,M]；
步骤2所述行人的出现时间为：
Figure BDA0003182235090000151
其中，startTimei,j表示第i个摄像头追踪到的第j个行人的出现时间，Ni表示第i个摄像头检测与追踪到的行人的数量，M＝6表示摄像头的数量；
步骤2所述行人的消失时间为：
Figure BDA0003182235090000152
其中，endTimei,j表示第i个摄像头追踪到的第j个行人的消失时间，Ni表示第i个摄像头检测与追踪到的行人的数量，M＝6表示摄像头的数量；
步骤2所述行人的特征为：
Figure BDA0003182235090000153
其中,featurei,j表示第i个摄像头追踪到的第j个行人的多个特征，fi,j,t表示第i个摄像头追踪到的第j个行人在t时刻采集到的特征，startTimei,j表示第i个摄像头追踪到的第j个行人的出现时间，endTimei,j表示第i个摄像头追踪到的第j个行人的消失时间，Ni表示第i个摄像头检测与追踪到的行人的数量，M＝6表示摄像头的数量；
步骤2所述行人的像素坐标轨迹，定义为：
Figure BDA0003182235090000154
其中，Pixeli,j表示第i个摄像头追踪到的第j个行人的像素坐标轨迹，xi,j,t表示第i个摄像头追踪到的第j个行人在t时刻的横坐标，yi,j,t表示第i个摄像头追踪到的第j个行人在t时刻的纵坐标，startTimei,j表示第i个摄像头追踪到的第j个行人的出现时间，endTimei,j表示第i个摄像头追踪到的第j个行人的消失时间，Ni表示第i个摄像头检测与追踪到的行人的数量，，M＝6表示摄像头的数量；
步骤2所述行人的深度，定义为：
Figure BDA0003182235090000155
其中，depthi,j表示第i个摄像头追踪到的第j个行人在多个坐标上的深度，depthi,j,k表示第i个摄像头追踪到的第j个行人在t时刻采集到的深度，startTimei,j表示第i个摄像头追踪到的第j个行人的出现时间，endTimei,j表示第i个摄像头追踪到的第j个行人的消失时间，Ni表示第i个摄像头检测与追踪到的行人的数量，M＝6表示摄像头的数量；
基于单目摄像头定位技术，利用行人与摄像头的距离以及步骤1所述的摄像头的俯仰角和摄像头的地理坐标，进行地理轨迹转换，将行人轨迹转换为连续的经纬度坐标轨迹；
步骤2所述行人的经纬度坐标轨迹，定义为：
Figure BDA0003182235090000161
其中，trajectoryi,j表示第i个摄像头追踪到的第j个行人的经纬度坐标轨迹，Ploni,j,t表示第i个摄像头追踪到的第j个行人在t时刻的经度，Plati,j,t表示第i个摄像头追踪到的第j个行人在t时刻的纬度，startTimei,j表示第i个摄像头追踪到的第j个行人的出现时间，endTimei,j表示第i个摄像头追踪到的第j个行人的消失时间，Ni表示第i个摄像头检测与追踪到的行人的数量，M＝6表示摄像头的数量；
根据行人的地理轨迹数据，以及被捕获到的时间，可以计算得到行人的平均运动速度；
步骤2所述行人的运动速度为：
Figure BDA0003182235090000162
其中，vi,j表示第i个摄像头追踪到的第j个行人的运动速度，Ni表示第i个摄像头检测与追踪到的行人的数量，M＝6表示摄像头的数量；
根据行人出现和消失时与摄像头的距离，比较二者大小，出现时比消失时的距离小，说明行人轨迹是背离摄像头的，反之则是走向摄像头，记录下行人轨迹的方向；
步骤2所述行人的运动方向为：
Figure BDA0003182235090000163
其中，diri,j表示第i个摄像头追踪到的第j个行人的运动方向，Ni表示第i个摄像头检测与追踪到的行人的数量，M＝6表示摄像头的数量；
步骤2所述的行人数据，由算法得到的数据组成，定义为：
Pi,j＝{i,j,startTimei,j,endTimei,j,featurei,j,depthi,j,trajectoryi,j,diri,j,vi,j}，j∈[1,Ni]，i∈[1,M]
其中Pi,j表示第i个摄像头追踪到的第j个行人的数据，startTimei,j表示第i个摄像头追踪到的第j个行人的出现时间，endTimei,j表示第i个摄像头追踪到的第j个行人的消失时间，featurei,j表示第i个摄像头追踪到的第j个行人的多个特征，depthi,j表示第i个摄像头追踪到的第j个行人在多个坐标上的深度，trajectoryi,j表示第i个摄像头追踪到的第j个行人的经纬度坐标轨迹，diri,j表示第i个摄像头追踪到的第j个行人的运动方向，vi,j表示第i个摄像头追踪到的第j个行人的运动速度，Ni表示第i个摄像头检测与追踪到的行人的数量，M＝6表示摄像头的数量；
获取到的行人数据构成表结构并存入数据库中，行人数据的表结构如下：
Figure BDA0003182235090000171
表4：行人数据表
步骤3：中心服务器通过步骤1所述的摄像头的邻接摄像头列表，获取邻接摄像头中的行人数据，得到行人的初步待匹配列表；
行人的轨迹是连续的，摄像头中的行人消失后将出现在其直接邻接的摄像头中，其直接邻接的摄像头中的行人集合即为行人的初步待匹配列表；
如附图2摄像头位置拓扑约束所示，第1个摄像头与第3个摄像头相邻，第3个摄像头与第5个摄像头相邻，第5个摄像头中的行人离开后不能绕过第3个摄像头到达第1个摄像头，由此可以确定第5个摄像头中的目标行人的匹配对象应为第3个摄像头中的行人；
根据目标行人所在摄像头编号，结合摄像头位置约束关系模型，利用步骤1所述的摄像头的邻接摄像头列表的邻接摄像头编号，在数据库中对行人数据列表进行搜索符合邻接摄像头编号的行人数据，得到行人的初步待匹配列表；
步骤3所述的行人的初步待匹配列表，定义为：
Figure BDA0003182235090000181
其中，alisti,j表示第i个摄像头追踪到的第j个行人的初步待匹配列表，
Figure BDA0003182235090000182
表示第i个摄像头的第l个邻接摄像头追踪到的第n个行人的数据即第adji,l个摄像头追踪到的第n个行人的数据，
Figure BDA0003182235090000183
表示第i个摄像头的第Li个邻接摄像头的编号即第adji,l个摄像头的编号，
Figure BDA0003182235090000184
表示第i个摄像头的第Li个邻接摄像头追踪到的行人数量即第adji,l个摄像头追踪到的行人数量，Li表示第i个摄像头直接相邻的摄像头个数，Ni表示第i个摄像头追踪到的行人的数量，M＝6表示摄像头的数量；
步骤4：中心服务器对步骤3所述的初步待匹配列表使用匹配时间约束进行过滤，得到符合匹配时间约束的待匹配列表；
步骤4所述的匹配时间约束仅考虑目标行人在一段合理时间、合理位置内的不同源轨迹段数据匹配关联，通过一个最小时间阈值，将步骤3所述的行人的初步匹配列表中在最小时间阈值内出现的行人作为待匹配对象，在最小时间阈值后出现的行人排除，得到符合匹配时间约束的待匹配列表；
符合匹配时间约束的待匹配列表是步骤3所述的初步待匹配列表的子集，对于符合匹配时间约束的待匹配列表中的行人，其出现时间与目标行人消失时间的时间差小于最小时间阈值；
步骤4所述的最小时间阈值，定义为threshold；
步骤4所述的匹配时间约束，定义为：
Figure BDA0003182235090000191
Figure BDA0003182235090000192
Figure BDA0003182235090000193
其中，
Figure BDA0003182235090000194
表示第i个摄像头的第l个邻接摄像头追踪到的第n个行人的数据即第adji,l个摄像头追踪到的第n个行人的数据，
Figure BDA0003182235090000195
表示第i个摄像头的第l个邻接摄像头追踪到的第n个行人的出现时间，endTimei,j示第i个摄像头追踪到的第j个行人的消失时间，blisti,j表示第i个摄像头追踪到的第j个行人的符合匹配时间约束的待匹配列表，alisti,j表示第i个摄像头追踪到的第j个行人的初步待匹配列表，blisti,j是alisti,j的子集，adji,l表示第i个摄像头的第l个邻接摄像头的编号即第adji,l个摄像头的编号，
Figure BDA0003182235090000196
表示第i个摄像头的第l个邻接摄像头追踪到的行人数量即第adji,l个摄像头追踪到的行人数量，Li表示第i个摄像头直接相邻的摄像头个数，Ni表示第i个摄像头追踪到的行人的数量，M＝6表示摄像头的数量；
步骤4所述的符合匹配时间约束的待匹配列表，定义为：
Figure BDA0003182235090000197
其中blisti,j表示第i个摄像头追踪到的第j个行人的符合匹配时间约束的待匹配列表，alisti,j表示第i个摄像头追踪到的第j个行人的初步待匹配列表，blisti,j是alisti,j的子集，Ni表示第i个摄像头追踪到的行人的数量，M＝6表示摄像头的数量；
步骤5：中心服务器对步骤4所述的符合匹配时间约束的待匹配列表使用时间重叠约束进行过滤，得到符合时间重叠约束的待匹配列表；
步骤5所述的时间重叠约束为一个摄像头检测并追踪到的目标行人的采集时间段中，其他摄像头检测并追踪到的行人不作为前述目标行人的匹配对象，由此过滤步骤4所述的符合匹配时间约束的待匹配列表中不符合该约束的行人，得到符合时间重叠约束的待匹配列表；
步骤5所述的重叠时间约束，定义为：
Figure BDA0003182235090000201
Figure BDA0003182235090000202
Figure BDA0003182235090000203
其中，
Figure BDA0003182235090000204
表示第i个摄像头的第l个邻接摄像头追踪到的第n个行人的数据即第adji,l个摄像头追踪到的第n个行人的数据，startTimei,j示第i个摄像头追踪到的第j个行人的出现时间，endTimei,j示第i个摄像头追踪到的第j个行人的消失时间，
Figure BDA0003182235090000205
表示第i个摄像头的第l个邻接摄像头追踪到的第n个行人的出现时间，
Figure BDA0003182235090000206
表示第i个摄像头的第l个邻接摄像头追踪到的第n个行人的消失时间，clisti,j表示第i个摄像头追踪到的第j个行人的符合重叠时间约束的待匹配列表，blisti,j表示第i个摄像头追踪到的第j个行人的符合匹配时间约束的待匹配列表，clisti,j是blisti,j的子集，adji,l表示第i个摄像头的第l个邻接摄像头的编号即第adji,l个摄像头的编号，
Figure BDA0003182235090000207
表示第i个摄像头的第l个邻接摄像头追踪到的行人数量即第adji,l个摄像头追踪到的行人数量，Li表示第i个摄像头直接相邻的摄像头个数，Ni表示第i个摄像头追踪到的行人的数量，M＝6表示摄像头的数量；
步骤5所述符合时间重叠约束的待匹配列表是步骤4所述的符合匹配时间约束的待匹配列表的子集；
步骤5所述的符合时间重叠约束的待匹配列表，定义为：
Figure BDA0003182235090000208
其中clisti,j表示第i个摄像头追踪到的第j个行人的符合重叠时间约束的待匹配列表，blisti,j表示第i个摄像头追踪到的第j个行人的符合匹配时间约束的待匹配列表，clisti,j是blisti,j的子集，Ni表示第i个摄像头追踪到的行人的数量，M＝6表示摄像头的数量；
步骤6：中心服务器对步骤5所述的符合时间重叠约束的待匹配列表使用方向约束进行过滤，得到符合方向约束的待匹配列表；
步骤6所述的方向约束为：行人在摄像头网路中被摄像头捕获的顺序不仅需要满足摄像头之间的拓扑关系，同时也需要满足轨迹方向的合理性，一个行人在两个直接邻接的摄像头之间捕获的轨迹方向应该保持一致；
根据运动方向约束，排除方向不一致的目标，得到符合方向约束的待匹配列表，如附图3方向约束图，第4个摄像头中的某个行人的运动方向与目标行人在第1个摄像头离开时的运动方向不一致，则该行人不作为目标行人的匹配对象，将其排除；
步骤6所述的方向约束，定义为：
Figure BDA0003182235090000211
Figure BDA0003182235090000212
Figure BDA0003182235090000213
其中，
Figure BDA0003182235090000214
表示第i个摄像头的第l个邻接摄像头追踪到的第n个行人的数据即第adji,l个摄像头追踪到的第n个行人的数据，diri,j表示第i个摄像头追踪到的第j个行人的有的方向，
Figure BDA0003182235090000215
表示第i个摄像头的第l个邻接摄像头追踪到的第n个行人的运动方向即第adji,l个摄像头追踪到的第n个行人的运动方向，dlisti,j表示第i个摄像头追踪到的第j个行人的符合匹配方向约束的待匹配列表，clisti,j表示第i个摄像头追踪到的第j个行人的符合重叠时间约束的待匹配列表，dlisti,j是clisti,j的子集，adji,l表示第i个摄像头的第l个邻接摄像头的编号即第adji,l个摄像头的编号，
Figure BDA0003182235090000216
表示第i个摄像头的第l个邻接摄像头追踪到的行人数量即第adji,l个摄像头追踪到的行人数量，Li表示第i个摄像头直接相邻的摄像头个数，Ni表示第i个摄像头追踪到的行人的数量，M＝6表示摄像头的数量；
步骤7：中心服务器对目标行人和步骤6所述的符合方向约束的待匹配列表中的行人使用基于余弦相似度性度量结果和时长概率优化公式的匹配方法逐一进行匹配，获取匹配候选人；
将目标特征与步骤6所述的符合方向约束的待匹配列表中的待匹配目标的特征进行相似度计算，得到余弦相似度，通过阈值筛除负样本，并对正样本利用时长概率优化公式进行优化，结合前述的行人运动速度与摄像头区域间的距离，可以估算出目标行人经过两个摄像头的时长概率分布，基于该时长概率，对余弦距离进行重新加权估算，为相似度距离估算加上时空信息的权重，最后对优化的相似度进行排序，得到目标在下一摄像头中的候选top3行人轨迹，即为目标行人轨迹的匹配结果；
步骤7所述余弦相似度性度量结果为：
Figure BDA0003182235090000221
其中，
Figure BDA0003182235090000222
表示第i个摄像头追踪到的第j个行人与第i个摄像头的第l个邻接摄像头追踪到的第n个行人的余弦相似度性度量结果，adji,l表示第i个摄像头的第l个邻接摄像头的编号即第adji,l个摄像头的编号，
Figure BDA0003182235090000223
表示第i个摄像头的第l个邻接摄像头追踪到的行人数量即第adji,l个摄像头追踪到的行人数量，Li表示第i个摄像头直接相邻的摄像头个数，Ni表示第i个摄像头追踪到的行人的数量，M＝6表示摄像头的数量；
步骤7所述时长概率，定义为：
Figure BDA0003182235090000224
Figure BDA0003182235090000225
其中，
Figure BDA0003182235090000226
表示第i个摄像头追踪到的第j个行人从第i个摄像头运动到第i个摄像头的第l个邻接摄像头的时间概率，
Figure BDA0003182235090000227
表示第i个摄像头和第i个摄像头的第l个邻接摄像头之间的距离，vi,j表示第i个摄像头追踪到的第j个行人的运动方向，
Figure BDA0003182235090000231
表示第i个摄像头的第l个邻接摄像头追踪到的第n个行人的出现时间，endTimei,j示第i个摄像头追踪到的第j个行人的消失时间，adji,l表示第i个摄像头的第l个邻接摄像头的编号即第adji,l个摄像头的编号，
Figure BDA0003182235090000232
表示第i个摄像头的第l个邻接摄像头追踪到的行人数量即第adji,l个摄像头追踪到的行人数量，Li表示第i个摄像头直接相邻的摄像头个数，Ni表示第i个摄像头追踪到的行人的数量，M＝6表示摄像头的数量；
步骤7所述使用基于余弦相似度性度量结果和时长概率优化公式的匹配方法逐一进行匹配得到最终匹配结果，定义为：
Figure BDA0003182235090000233
Figure BDA0003182235090000234
其中，
Figure BDA0003182235090000235
示第i个摄像头追踪到的第j个行人与第i个摄像头的第l个邻接摄像头追踪到的第n个行人的相似性，
Figure BDA0003182235090000236
表示第i个摄像头追踪到的第j个行人与第i个摄像头的第l个邻接摄像头追踪到的第n个行人的余弦相似度性度量结果，
Figure BDA0003182235090000237
表示第i个摄像头追踪到的第j个行人从第i个摄像头运动到第i个摄像头的第l个邻接摄像头的时间概率，adji,l表示第i个摄像头的第l个邻接摄像头的编号即第adji,l个摄像头的编号，
Figure BDA0003182235090000238
表示第i个摄像头的第l个邻接摄像头追踪到的行人数量即第adji,l个摄像头追踪到的行人数量，Li表示第i个摄像头直接相邻的摄像头个数，Ni表示第i个摄像头追踪到的行人的数量，M＝6表示摄像头的数量；
最后输出行人的匹配结果
Figure BDA0003182235090000239
为了对实验结果进行更有效直观的评估，通过手工标注的办法，对摄像头的视频数据进行标注，主要标注目标的实际匹配情况。标注结果共包含目标数量：884人，可匹配目标对：305对。
附图4准确率对比图是对优化前后的准确率的对比效果图，虚线代表的是通过余弦距离进行匹配的准确率，实线代表经过时空约束后的匹配效果准确率，通过时空约束和相似度计算优化后，准确率得到了极大的提升。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种基于时空约束的跨摄像头行人轨迹匹配方法，其特征在于，包括步骤：
步骤1：通过中心服务器与多个无线摄像头通过无线方式连接构建摄像头网络，中心服务器构建各摄像头的控制区域、各摄像头的地理坐标、各摄像头的俯仰角、各控制区域之间的距离、各个摄像头的邻接摄像头列表，各个摄像头连续采集控制区域内多幅区域图像，并无线传输至所述中心服务器；
步骤2：中心服务器使用基于神经网络的单摄像头的行人检测与追踪算法对步骤1所述收集到的每个控制区域内的多幅图像依次进行处理，获取多个控制区域对应的所有行人的数据；所述行人的数据包括行人的出现时间、行人的消失时间、行人的特征、行人的深度、行人的经纬度轨迹、行人的运动方向、行人的运动速度；
步骤3：中心服务器通过步骤1所述的摄像头的邻接摄像头列表，获取邻接摄像头中的行人数据，得到行人的初步待匹配列表；
步骤4：中心服务器对步骤3所述的初步待匹配列表使用匹配时间约束进行过滤，得到符合匹配时间约束的待匹配列表；
步骤5：中心服务器对步骤4所述的符合匹配时间约束的待匹配列表使用时间重叠约束进行过滤，得到符合时间重叠约束的待匹配列表；
步骤6：中心服务器对步骤5所述的符合时间重叠约束的待匹配列表使用方向约束进行过滤，得到符合方向约束的待匹配列表；
步骤7：中心服务器对目标行人和步骤6所述的符合方向约束的待匹配列表中的行人使用基于余弦相似度性度量结果和时长概率优化公式的匹配方法逐一进行匹配，获取匹配候选人。
2.根据权利要求1所述的基于时空约束的跨摄像头行人轨迹匹配方法，其特征在于，步骤1所述多个无线摄像头，定义场景为：
C1，C2，…CM
其中，Ci表示第i个摄像头，M表示摄像头的数量，i∈[1，M]；
步骤1所述每个摄像头之间的采集图像区域不重叠；
步骤1所述各摄像头的控制区域为：
region-1，region-2，...，region-M
其中，region-i表示第i个摄像头的控制区域，M表示摄像头的数量，i∈[1，M]；
步骤1所述各摄像头的地理坐标为：
(Clon1，Clat1)，(Clon2，Clat2)，…，(ClonM，ClatM)
其中，Cloni表示第i个摄像头的经度，Clati表示第i个摄像头的经度，M表示摄像头的数量，i∈[1，M]；
步骤1所述各摄像头的俯仰角记为：
Cazi1，Cazi2，...，CaziM
其中，Cazii表示第i个摄像头的俯仰角，M表示摄像头的数量，i∈[1，M]；
步骤1所述摄像头网络中有M*M个摄像头对，即有M*M个区域对；
对于每个区域对，定义一种区域之间的距离，该距离使用GIS室内路网获取到的摄像头坐标之间的距离；
GIS室内路网中包含摄像头之间道路，使用欧式距离公式，利用路网中的道路点地理坐标进行计算并累加得到区域之间的距离；
步骤1所述的区域距离，定义为：
d1，1，d1，2，…，d1，M，…，dM，M
其中di1，i2表示前述区域region-i1和区域region-i2之间的距离即第i1个摄像头和第i2个摄像头之间的距离，M表示摄像头的数量，i1，i2∈[1，M]；
摄像头的邻接摄像头列表根据GIS室内路网信息提供的摄像头之间的拓扑关系获取；
步骤1所述的摄像头的邻接摄像头列表，定义为：
Figure FDA0003182235080000021
其中，Clisti表示第i个摄像头的邻接摄像头列表，adji,l表示第i个摄像头的第l个邻接的摄像头编号，Li表示第i个摄像头直接相邻的摄像头个数，M表示摄像头的数量；
步骤1所述各个摄像头连续采集控制区域多幅区域图像，定义为：
datai＝{Pici，1，Pici，2，...，Pici，K}，i∈[1，M]
其中，datai表示第i个摄像头采集的控制区域内多幅区域图像，Pici，k表示第i个摄像头第k个时刻采集的控制区域内区域图像，K表示采集时刻的数量即控制区域内区域图像的数量，M表示摄像头的数量。
3.根据权利要求1所述的基于时空约束的跨摄像头行人轨迹匹配方法，其特征在于，步骤2所述基于神经网络的单摄像头的行人检测与追踪算法采用YOLOv4+DeepSort，数据集使用YOLOv4原数据集，首先通过YOLOv4对步骤1所述的各个摄像头连续采集控制区域多幅区域图像进行多行人检测，检测到的行人范围使用行人检测框标记，结合DeepSort算法模型进行行人追踪，追踪过程中，行人有三种状态：新行人，追踪行人，消失行人；
在出现新行人时，新建行人对象，记录行人位置，行人位置采用行人检测框的底部中点为坐标点，标记其为追踪行人；
在出现追踪行人时，持续记录行人像素坐标，同时使用基于tripletloss的深度学习模型提取到检测框中的图像特征，记录该特征为行人在该像素坐标时的特征，结合全卷积残差网络单目深度估计模型，获取行人检测框底部中点处的深度，记为行人在该像素坐标时与摄像头的距离；
在消失行人时，对行人进行消失标记，若在消失帧检测阈值范围内行人重新出现，则重新标记为追踪行人，否则停止对该行人对象的追踪；
通过以上流程，就可以得到行人的出现时间、消失时间、行人的连续的行人像素坐标轨迹、行人的特征、行人的深度；
步骤2所述摄像头检测与追踪到的行人的数量，定义为：
N1，N2，...，NM
其中，Ni表示第i个摄像头检测与追踪到的行人的数量，M表示摄像头的数量，i∈[1，M]；
步骤2所述行人的出现时间为：
Figure FDA0003182235080000031
其中，startTimei，j表示第i个摄像头追踪到的第j个行人的出现时间，Ni表示第i个摄像头检测与追踪到的行人的数量，M表示摄像头的数量；
步骤2所述行人的消失时间为：
Figure FDA0003182235080000032
其中，endTimei，j表示第i个摄像头追踪到的第j个行人的消失时间，Ni表示第i个摄像头检测与追踪到的行人的数量，M表示摄像头的数量；
步骤2所述行人的特征为：
Figure FDA0003182235080000041
其中，featurei，j表示第i个摄像头追踪到的第j个行人的多个特征，fi，j，t表示第i个摄像头追踪到的第j个行人在t时刻采集到的特征，startTimei,j表示第i个摄像头追踪到的第j个行人的出现时间，endTimei，j表示第i个摄像头追踪到的第j个行人的消失时间，Ni表示第i个摄像头检测与追踪到的行人的数量，M表示摄像头的数量；
步骤2所述行人的像素坐标轨迹，定义为：
Figure FDA0003182235080000042
其中，Pixeli，j表示第i个摄像头追踪到的第j个行人的像素坐标轨迹，xi，j，t表示第i个摄像头追踪到的第j个行人在t时刻的横坐标，Yi，j，t表示第i个摄像头追踪到的第j个行人在t时刻的纵坐标，startTimei，j表示第i个摄像头追踪到的第j个行人的出现时间，endTimei，j表示第i个摄像头追踪到的第j个行人的消失时间，Ni表示第i个摄像头检测与追踪到的行人的数量，M表示摄像头的数量；
步骤2所述行人的深度，定义为：
Figure FDA0003182235080000043
其中，depthi，j表示第i个摄像头追踪到的第j个行人在多个坐标上的深度，depthi，j，k表示第i个摄像头追踪到的第j个行人在t时刻采集到的深度，startTimei，j表示第i个摄像头追踪到的第j个行人的出现时间，endTimei，j表示第i个摄像头追踪到的第j个行人的消失时间，Ni表示第i个摄像头检测与追踪到的行人的数量，M表示摄像头的数量；
基于单目摄像头定位技术，利用行人与摄像头的距离以及步骤1所述的摄像头的俯仰角和摄像头的地理坐标，进行地理轨迹转换，将行人轨迹转换为连续的经纬度坐标轨迹；
步骤2所述行人的经纬度坐标轨迹，定义为：
Figure FDA0003182235080000044
其中，trajectoryi，j表示第i个摄像头追踪到的第j个行人的经纬度坐标轨迹，Ploni，j，t表示第i个摄像头追踪到的第j个行人在t时刻的经度，Plati，j，t表示第i个摄像头追踪到的第j个行人在t时刻的纬度，startTimei，j表示第i个摄像头追踪到的第j个行人的出现时间，endTimei，j表示第i个摄像头追踪到的第j个行人的消失时间，Ni表示第i个摄像头检测与追踪到的行人的数量，M表示摄像头的数量；
根据行人的地理轨迹数据，以及被捕获到的时间，可以计算得到行人的平均运动速度；
步骤2所述行人的运动速度为：
Figure FDA0003182235080000052
其中，vi，j表示第i个摄像头追踪到的第j个行人的运动速度，Ni表示第i个摄像头检测与追踪到的行人的数量，M表示摄像头的数量；
根据行人出现和消失时与摄像头的距离，比较二者大小，出现时比消失时的距离小，说明行人轨迹是背离摄像头的，反之则是走向摄像头，记录下行人轨迹的方向；
步骤2所述行人的运动方向为：
Figure FDA0003182235080000051
其中，diri，j表示第i个摄像头追踪到的第j个行人的运动方向，Ni表示第i个摄像头检测与追踪到的行人的数量，M表示摄像头的数量；
步骤2所述的行人数据，由算法得到的数据组成，定义为：
Pi，j＝{i，j，startTimei，j，endTimei，j，featurei，j，depthi，j，trajectoryi，j，diri，j，vi，j}，j∈[1，Ni]，i∈[1，M]
其中Pi，j表示第i个摄像头追踪到的第j个行人的数据，startTimei，j表示第i个摄像头追踪到的第j个行人的出现时间，endTimei，j表示第i个摄像头追踪到的第j个行人的消失时间，featurei，j表示第i个摄像头追踪到的第j个行人的多个特征，depthi，j表示第i个摄像头追踪到的第j个行人在多个坐标上的深度，trajectoryi，j表示第i个摄像头追踪到的第j个行人的经纬度坐标轨迹，diri，j表示第i个摄像头追踪到的第j个行人的运动方向，vi，j表示第i个摄像头追踪到的第j个行人的运动速度，Ni表示第i个摄像头检测与追踪到的行人的数量，M表示摄像头的数量。
4.根据权利要求1所述的基于时空约束的跨摄像头行人轨迹匹配方法，其特征在于，步骤3所述的行人的初步待匹配列表，定义为：
Figure FDA0003182235080000061
其中，alisti，j表示第i个摄像头追踪到的第j个行人的初步待匹配列表，
Figure FDA0003182235080000062
表示第i个摄像头的第1个邻接摄像头追踪到的第n个行人的数据即第adji，l个摄像头追踪到的第n个行人的数据，
Figure FDA0003182235080000063
表示第i个摄像头的第Li个邻接摄像头的编号即第adji，l个摄像头的编号，
Figure FDA0003182235080000064
表示第i个摄像头的第Li个邻接摄像头追踪到的行人数量即第adji，l个摄像头追踪到的行人数量，Li表示第i个摄像头直接相邻的摄像头个数，Ni表示第i个摄像头追踪到的行人的数量，M表示摄像头的数量。
5.根据权利要求1所述的基于时空约束的跨摄像头行人轨迹匹配方法，其特征在于，步骤4所述的匹配时间约束仅考虑目标行人在一段合理时间、合理位置内的不同源轨迹段数据匹配关联，通过一个最小时间阈值，将步骤3所述的行人的初步匹配列表中在最小时间阈值内出现的行人作为待匹配对象，在最小时间阈值后出现的行人排除；
符合匹配时间约束的待匹配列表是步骤3所述的初步待匹配列表的子集，对于符合匹配时间约束的待匹配列表中的行人，其出现时间与目标行人消失时间的时间差小于最小时间阈值；
步骤4所述的最小时间阈值，定义为threshold；
步骤4所述的匹配时间约束，定义为：
Figure FDA0003182235080000065
Figure FDA0003182235080000066
Figure FDA0003182235080000067
其中，
Figure FDA0003182235080000068
表示第i个摄像头的第1个邻接摄像头追踪到的第n个行人的数据即第adji，l个摄像头追踪到的第n个行人的数据，
Figure FDA0003182235080000069
表示第i个摄像头的第1个邻接摄像头追踪到的第n个行人的出现时间，endTimei，j示第i个摄像头追踪到的第j个行人的消失时间，blisti，j表示第i个摄像头追踪到的第j个行人的符合匹配时间约束的待匹配列表，alisti，j表示第i个摄像头追踪到的第j个行人的初步待匹配列表，blisti，j是alisti，j的子集，adji，l表示第i个摄像头的第1个邻接摄像头的编号即第adji，l个摄像头的编号，
Figure FDA0003182235080000071
表示第i个摄像头的第l个邻接摄像头追踪到的行人数量即第adji，l个摄像头追踪到的行人数量，Li表示第i个摄像头直接相邻的摄像头个数，Ni表示第i个摄像头追踪到的行人的数量，M表示摄像头的数量；
步骤4所述的符合匹配时间约束的待匹配列表，定义为：
Figure FDA0003182235080000072
其中blisti，j表示第i个摄像头追踪到的第j个行人的符合匹配时间约束的待匹配列表，alisti，j表示第i个摄像头追踪到的第j个行人的初步待匹配列表，blisti，j是alisti，j的子集，Ni表示第i个摄像头追踪到的行人的数量，M表示摄像头的数量。
6.根据权利要求1所述的基于时空约束的跨摄像头行人轨迹匹配方法，其特征在于，步骤5所述的时间重叠约束为一个摄像头检测并追踪到的目标行人的采集时间段中，其他摄像头检测并追踪到的行人不作为前述目标行人的匹配对象，由此过滤步骤4所述的符合匹配时间约束的待匹配列表中不符合该约束的行人；
步骤5所述的重叠时间约束，定义为：
Figure FDA0003182235080000073
Figure FDA0003182235080000074
其中，
Figure FDA0003182235080000075
表示第i个摄像头的第1个邻接摄像头追踪到的第n个行人的数据即第adji，l个摄像头追踪到的第n个行人的数据，startTimei，j示第i个摄像头追踪到的第j个行人的出现时间，endTimei，j示第i个摄像头追踪到的第j个行人的消失时间，
Figure FDA0003182235080000081
表示第i个摄像头的第1个邻接摄像头追踪到的第n个行人的出现时间，
Figure FDA0003182235080000082
表示第i个摄像头的第1个邻接摄像头追踪到的第n个行人的消失时间，clisti，j表示第i个摄像头追踪到的第j个行人的符合重叠时间约束的待匹配列表，blisti，j表示第i个摄像头追踪到的第j个行人的符合匹配时间约束的待匹配列表，clisti，j是blisti，j的子集，adji，l表示第i个摄像头的第1个邻接摄像头的编号即第adji，l个摄像头的编号，
Figure FDA0003182235080000083
表示第i个摄像头的第l个邻接摄像头追踪到的行人数量即第adji，l个摄像头追踪到的行人数量，Li表示第i个摄像头直接相邻的摄像头个数，Ni表示第i个摄像头追踪到的行人的数量，M表示摄像头的数量；
步骤5所述符合时间重叠约束的待匹配列表是步骤4所述的符合匹配时间约束的待匹配列表的子集；
步骤5所述的符合时间重叠约束的待匹配列表，定义为：
Figure FDA0003182235080000084
其中clisti，j表示第i个摄像头追踪到的第j个行人的符合重叠时间约束的待匹配列表，blisti，j表示第i个摄像头追踪到的第j个行人的符合匹配时间约束的待匹配列表，clisti，j是blisti，j的子集，Ni表示第i个摄像头追踪到的行人的数量，M表示摄像头的数量。
7.根据权利要求1所述的基于时空约束的跨摄像头行人轨迹匹配方法，其特征在于，步骤6所述的方向约束为，行人在摄像头网路中被摄像头捕获的顺序不仅需要满足摄像头之间的拓扑关系，同时也需要满足轨迹方向的合理性，一个行人在两个直接邻接的摄像头之间捕获的轨迹方向应该保持一致；
步骤6所述的方向约束，定义为：
Figure FDA0003182235080000085
Figure FDA0003182235080000086
Figure FDA0003182235080000087
其中，
Figure FDA0003182235080000091
表示第i个摄像头的第1个邻接摄像头追踪到的第n个行人的数据即第adji，l个摄像头追踪到的第n个行人的数据，diri，j表示第i个摄像头追踪到的第j个行人的有的方向，
Figure FDA0003182235080000092
表示第i个摄像头的第1个邻接摄像头追踪到的第n个行人的运动方向即第adji，l个摄像头追踪到的第n个行人的运动方向，dlisti，j表示第i个摄像头追踪到的第j个行人的符合匹配方向约束的待匹配列表，clisti，j表示第i个摄像头追踪到的第j个行人的符合重叠时间约束的待匹配列表，dlisti，j是clisti，j的子集，adji，l表示第i个摄像头的第1个邻接摄像头的编号即第adji,l个摄像头的编号，
Figure FDA0003182235080000093
表示第i个摄像头的第l个邻接摄像头追踪到的行人数量即第adji，l个摄像头追踪到的行人数量，Li表示第i个摄像头直接相邻的摄像头个数，Ni表示第i个摄像头追踪到的行人的数量，M表示摄像头的数量。
8.根据权利要求1所述的基于时空约束的跨摄像头行人轨迹匹配方法，其特征在于，步骤7所述的匹配方法，首先利用目标行人与待匹配对象的特征向量进行余弦相似度性度量，通过阈值的选择得到余弦相似度性度量结果，再利用时长概率优化公式进行优化，结合前述的行人运动速度与摄像头区域间的距离，可以估算出目标行人经过两个摄像头的时长概率分布，基于该时长概率，对余弦距离进行重新加权估算，为相似度距离估算加上时空信息的权重；
步骤7所述余弦相似度性度量结果为：
Figure FDA0003182235080000094
其中，
Figure FDA0003182235080000095
表示第i个摄像头追踪到的第j个行人与第i个摄像头的第1个邻接摄像头追踪到的第n个行人的余弦相似度性度量结果，adji，l表示第i个摄像头的第1个邻接摄像头的编号即第adji，l个摄像头的编号，
Figure FDA0003182235080000096
表示第i个摄像头的第l个邻接摄像头追踪到的行人数量即第adji，l个摄像头追踪到的行人数量，Li表示第i个摄像头直接相邻的摄像头个数，Ni表示第i个摄像头追踪到的行人的数量，M表示摄像头的数量；
步骤7所述时长概率，定义为：
Figure FDA0003182235080000101
Figure FDA0003182235080000102
其中，
Figure FDA0003182235080000103
表示第i个摄像头追踪到的第j个行人从第i个摄像头运动到第i个摄像头的第1个邻接摄像头的时间概率，
Figure FDA0003182235080000104
表示第i个摄像头和第i个摄像头的第1个邻接摄像头之间的距离，vi，j表示第i个摄像头追踪到的第j个行人的运动方向，
Figure FDA0003182235080000105
表示第i个摄像头的第1个邻接摄像头追踪到的第n个行人的出现时间，endTimei，j示第i个摄像头追踪到的第j个行人的消失时间，adji,l表示第i个摄像头的第1个邻接摄像头的编号即第adji,l个摄像头的编号，
Figure FDA0003182235080000106
表示第i个摄像头的第l个邻接摄像头追踪到的行人数量即第adji,l个摄像头追踪到的行人数量，Li表示第i个摄像头直接相邻的摄像头个数，Ni表示第i个摄像头追踪到的行人的数量，M表示摄像头的数量；
步骤7所述使用基于余弦相似度性度量结果和时长概率优化公式的匹配方法逐一进行匹配得到最终匹配结果，定义为：
Figure FDA0003182235080000107
Figure FDA0003182235080000108
其中，
Figure FDA0003182235080000109
示第i个摄像头追踪到的第j个行人与第i个摄像头的第1个邻接摄像头追踪到的第n个行人的相似性，
Figure FDA00031822350800001010
表示第i个摄像头追踪到的第j个行人与第i个摄像头的第1个邻接摄像头追踪到的第n个行人的余弦相似度性度量结果，
Figure FDA00031822350800001011
表示第i个摄像头追踪到的第j个行人从第i个摄像头运动到第i个摄像头的第1个邻接摄像头的时间概率，adji，l表示第i个摄像头的第1个邻接摄像头的编号即第adji，l个摄像头的编号，
Figure FDA00031822350800001012
表示第i个摄像头的第l个邻接摄像头追踪到的行人数量即第adji,l个摄像头追踪到的行人数量，Li表示第i个摄像头直接相邻的摄像头个数，Ni表示第i个摄像头追踪到的行人的数量，M表示摄像头的数量；
最后输出行人的匹配结果
Figure FDA0003182235080000111
CN202110850369.1A 2021-07-27 2021-07-27 一种基于时空约束的跨摄像头行人轨迹匹配方法 Active CN113627497B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110850369.1A CN113627497B (zh) 2021-07-27 2021-07-27 一种基于时空约束的跨摄像头行人轨迹匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110850369.1A CN113627497B (zh) 2021-07-27 2021-07-27 一种基于时空约束的跨摄像头行人轨迹匹配方法

Publications (2)

Publication Number Publication Date
CN113627497A true CN113627497A (zh) 2021-11-09
CN113627497B CN113627497B (zh) 2024-03-12

Family

ID=78381109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110850369.1A Active CN113627497B (zh) 2021-07-27 2021-07-27 一种基于时空约束的跨摄像头行人轨迹匹配方法

Country Status (1)

Country Link
CN (1) CN113627497B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495913A (zh) * 2023-12-28 2024-02-02 中电科新型智慧城市研究院有限公司 夜间目标轨迹的跨时空关联方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750690B (zh) * 2012-05-29 2014-10-01 武汉大学 一种基于边缘约束的分形网络演化影像分割方法
CN107145900B (zh) * 2017-04-24 2019-07-26 清华大学 基于一致性约束特征学习的行人再识别方法
CN110728702B (zh) * 2019-08-30 2022-05-20 深圳大学 一种基于深度学习的高速跨摄像头单目标跟踪方法及系统
CN111145213A (zh) * 2019-12-10 2020-05-12 中国银联股份有限公司 一种目标跟踪方法、装置、系统及计算机可读存储介质
CN111353448A (zh) * 2020-03-05 2020-06-30 南京理工大学 基于相关性聚类和时空约束的行人多目标跟踪方法
CN111462200B (zh) * 2020-04-03 2023-09-19 中国科学院深圳先进技术研究院 一种跨视频行人定位追踪方法、系统及设备
CN112836640B (zh) * 2021-02-04 2024-04-19 浙江工业大学 一种单摄像头多目标行人跟踪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495913A (zh) * 2023-12-28 2024-02-02 中电科新型智慧城市研究院有限公司 夜间目标轨迹的跨时空关联方法和装置
CN117495913B (zh) * 2023-12-28 2024-04-30 中电科新型智慧城市研究院有限公司 夜间目标轨迹的跨时空关联方法和装置

Also Published As

Publication number Publication date
CN113627497B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
CN112101433B (zh) 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法
CN111145545B (zh) 基于深度学习的道路交通行为无人机监测系统及方法
CN108320510B (zh) 一种基于无人机航拍视频交通信息统计方法及系统
Liang et al. Lane detection: A survey with new results
CN109190508B (zh) 一种基于空间坐标系的多摄像头数据融合方法
CN108230254B (zh) 一种自适应场景切换的高速交通全车道线自动检测方法
CN109064484B (zh) 基于子群组划分与动量特征融合的人群运动行为识别方法
CN110796074B (zh) 一种基于时空数据融合的行人再识别方法
CN106097391A (zh) 一种基于深度神经网络的识别辅助的多目标跟踪方法
CN110222667B (zh) 一种基于计算机视觉的开放道路交通参与者数据采集方法
CN103425967A (zh) 一种基于行人检测和跟踪的人流监控方法
CN105760831A (zh) 一种基于低空航拍红外视频的行人跟踪方法
KR101645959B1 (ko) 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법
CN111310728B (zh) 基于监控相机和无线定位的行人重识别系统
CN109583373B (zh) 一种行人重识别实现方法
Chang et al. Video analytics in smart transportation for the AIC'18 challenge
CN106203513A (zh) 一种基于行人头肩多目标检测及跟踪的统计方法
CN109271927B (zh) 一种空基多平台的协同监视方法
CN112560617B (zh) 基于阵列相机的大场景行人轨迹跟踪方法
CN110968711A (zh) 一种基于序列图像特征的自主无人系统位置识别定位方法
CN114612823A (zh) 一种面向实验室安全管理的人员行为监测方法
CN111666823A (zh) 基于个体步行运动时空规律协同辨识的行人重识别方法
CN113435336A (zh) 一种基于人工智能的跑步智能计时系统及方法
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
CN113627497B (zh) 一种基于时空约束的跨摄像头行人轨迹匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant