CN112102372A - 一种针对机场地面对象的跨摄像头轨迹跟踪系统 - Google Patents
一种针对机场地面对象的跨摄像头轨迹跟踪系统 Download PDFInfo
- Publication number
- CN112102372A CN112102372A CN202010973161.4A CN202010973161A CN112102372A CN 112102372 A CN112102372 A CN 112102372A CN 202010973161 A CN202010973161 A CN 202010973161A CN 112102372 A CN112102372 A CN 112102372A
- Authority
- CN
- China
- Prior art keywords
- camera
- track
- airport
- objects
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000012544 monitoring process Methods 0.000 claims abstract description 31
- 238000013507 mapping Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000000007 visual effect Effects 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 42
- 238000012549 training Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000012423 maintenance Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种针对机场地面对象的跨摄像头轨迹跟踪系统，包括以下步骤：建立各摄像机图像空间与机场地理空间的映射模型；对各摄像机的监控视频数据进行目标检测处理，获得各摄像机视野中的机场地面对象；将所有摄像机检测到的机场地面对象，进行跨摄像机的轨迹跟踪融合，得到所有对象的连续轨迹。本发明在需要多个摄像机才能覆盖全部机场地面的场景下，基于基本的目标检测深度学习技术，在不改动现有机场系统的情况下，可以实现自动跟踪获取机场地面上所有对象的轨迹信息，具有很强的兼容性和准确率，极大地方便了机场工作人员进行实时监控管制和查询历史轨迹。
Description
技术领域
本发明涉及机场地面视频监控技术领域，尤其涉及一种针对机场地面对象的跨摄像头轨迹跟踪系统。
背景技术
随着国内机场的扩建，往往需要数量众多的摄像头才能覆盖整个机场，而飞机数量的增多，也需要更多的后勤保障人员和设备，造成检测到的机场地面对象非常庞大，目标检测结果的准确率因此大打折扣，这给管制人员造成很大的干扰，在很大程度上降低了机场和机务维护工作的效率。
目前对监控场景下的目标跟踪，大多是基于单个摄像机镜头下记录目标的轨迹，没有很好的利用到整个机场监控资源。对于跨场景的情况，由于不同场景的复杂多变，每个摄像头的场景和光照不同，且存在对象被遮挡的情况，使得跟踪任务面临多重挑战。
本专利所应用的重要技术包括：相机标定法、深度学习目标检测技术、多目标跟踪SORT算法。相机标定法，即为张正友教授于1998年在论文《A Flexible New Technique froCamera Calibration》中提出的基于单平面棋盘格的相机标定方法。深度学习中的目标检测模型有很多，如：R-CNN、Faster R-CNN、Yolo系列、SSD等，本专利对采用哪种模型不做限制。SORT算法中的多目标跟踪思路，最早来自于2016年的一篇论文《SIMPLE ONLINE ANDREALTIME TRACKING》。
发明内容
本发明旨在构建一种针对机场地面对象的跨摄像头轨迹跟踪系统。该系统能够充分利用机场所有摄像头的监控资源，实时稳定准确地跟踪获取机场地面对象轨迹，为机场管制和机务维护提供保障。
为了实现上述目的，本发明提供的一种针对机场地面对象的跨摄像头轨迹跟踪系统，包括以下步骤：
S1：建立各摄像机图像空间与机场地理空间的映射模型；
S2：对各摄像机的监控视频数据进行目标检测处理，获得各摄像机视野中的机场地面对象；
S3：将所有摄像机检测到的机场地面对象，进行跨摄像机的轨迹跟踪融合，得到所有对象的连续轨迹。
步骤S1所述的建立各摄像机图像空间与机场地理空间的映射模型，其过程主要包含以下步骤：
S1.1：获取各个摄像机内参矩阵和畸变系数；
S1.2：获取各个摄像机位置与实际机场地面坐标的外参转换矩阵；
S1.3：根据内参矩阵、畸变系数、外参转换矩阵，建立机场地面坐标—摄像机图像坐标的转换矩阵；
S1.4：根据机场地面坐标—摄像机图像坐标的转换矩阵，建立摄像机图像空间—机场地理空间的映射模型。
步骤S2所述的对各摄像机的监控视频数据进行目标检测处理，获得各摄像机视野中的机场地面对象，其过程主要包含以下步骤：
S2.1：获取机场地面视频监控数据，包括摄相机历史监控视频和实时监控视频，将上述视频流转成图像帧；
S2.2：建立目标检测深度网络模型；
S2.3：制作训练数据，训练目标检测深度网络模型得到针对机场地面对象的目标检测识别引擎；
此步骤具体操作：将历史监控视频的图像帧经过人工筛选图像，将筛选保留的图像输入开源的目标检测标定应用中，由专业的标定人员进行标定，得到该图像所包含对象信息的xml文件，将图像和对应的xml文件制作成目标检测深度网络模型需要的格式，即为最终的训练数据；
用上述准备好的训练数据对目标检测深度网络模型进行训练，得到训练好的目标检测识别引擎；
S2.4：将实时监控视频的图像帧传入目标检测识别引擎，目标检测识别引擎输出该图像中包含的所有对象在对应摄像机中的坐标框、类别、置信度。
步骤S3所述的将所有摄像机检测到的机场地面对象，进行跨摄像机的轨迹跟踪融合，得到所有对象的连续轨迹，其过程主要包含以下步骤：
S3.1：各摄像机分别进行单相机内的多目标跟踪；
流程如下：获取步骤S2目标检测结果，根据置信度筛选识别对象，计算筛选对象的坐标框与轨迹池中轨迹点坐标框的IOU值，初始时轨迹池为空，当某个轨迹点连续3帧都稳定存在时，则将其加入轨迹池；再通过匈牙利和KM算法进行级联匹配：对于匹配到的对象继承旧轨迹号并进行KM更新优化，对于未匹配到的对象赋予新轨迹号，对于轨迹池中连续多帧未更新的轨迹进行删除；最后将获得轨迹号的对象，一方面加入轨迹池，一方面输出机场对象的相机内轨迹号和识别信息，用于跨摄像机轨迹跟踪融合；
S3.2：对跨摄像机运动的多个对象，进行跨相机轨迹跟踪融合；
对于某一识别对象，判断其相机内轨迹号是否在摄像机—相机内轨迹号—全局轨迹号的缓存池A中，若在，则该对象当前帧与上一帧之间没有跨摄像机，只需继承旧的全局轨迹号；若不在，需先根据摄像机图像空间—机场地理空间映射模型获得对象地面坐标，再通过坐标、时间、方向信息，判断其是否属于全局轨迹号—轨迹点信息的缓存池B中某条轨迹，若属于则继承旧的全局轨迹号，若不属于则赋予新的全局轨迹号，最后用对象信息更新上述缓存池A、B，并输出机场地面对象连续轨迹点信息和全局轨迹号；
S3.3：对跟踪丢失又出现的对象，人工干预进行轨迹重连接。
本发明具有以下有益效果：
由于飞机数量的增多和机场的扩建，需要更多的后勤保障人员和设备，造成机场地面对象数量庞大，目标检测结果的稳定性和准确率大打折扣。为覆盖整个机场，需要数量众多的摄像机，而目前对监控视频的使用大多还是基于单独的摄像机，没有将整个机场摄像机的监控视频进行联合利用。本发明基于目标检测结果，通过多目标跟踪技术，关联起跨场景下的相同对象，能够充分利用机场所有摄像机的监控资源。同时，相较于直接通过检测模型获取对象的航班号、车牌号等详细信息，本系统只需目标检测模型获取对象的坐标框即可，这无疑大大降低了识别的困难性，增加了识别结果的鲁棒性和准确率。本系统能够实时稳定准确地跟踪获取机场地面对象的连续轨迹，为机场管制和机务维护提供保障。
附图说明
图1是本发明一种针对机场地面对象的跨摄像头轨迹跟踪系统的流程示意图；
图2是建立摄像机图像空间与机场地理空间映射模型的流程示意图；
图3是对各摄像机监控视频数据进行目标检测处理的流程示意图；
图4是单相机内的多目标跟踪算法结构示意图；
图5是进行跨摄像机轨迹跟踪的流程示意图；
简称说明：
摄像机图像空间—机场地理空间的映射模型，简称：图像—机场映射模型；
机场地面坐标—摄相机图像坐标的转换矩阵，简称：机场—图像转换矩阵。
具体实施方式
下面将结合本实施例中的附图对本发明实施例作清楚完整的说明。所述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种针对机场地面对象的跨摄像头轨迹跟踪系统，具体采用以下三个步骤：
S1：建立各摄像机图像空间与机场地理空间的映射模型；
S2：对各摄像机的监控视频数据进行目标检测处理，获得各摄像机视野中的机场地面对象；
S3：将所有摄像机检测到的机场地面对象，进行跨摄像机的轨迹跟踪融合，得到所有对象的连续轨迹。
上述步骤S1建立各摄像机图像空间与机场地理空间的映射模型，其流程图如图2所示，具体实现方法如下：
S1.1：获取各个摄像机内参矩阵和畸变系数；
方法如下：将一张棋盘格打印下来固定到平板上制成标定板，使用监控相机从不同位置、不同角度，拍摄标定板的多张照片（一般不少于3张，以10-20张为宜），提取标定板内角点的世界坐标以及对应像素坐标，使用OpenCV-python求得相机内参矩阵和畸变系数并存入MySQL数据库。
S1.2：获取各个摄像机位置与实际机场地面坐标的外参转换矩阵；
方法如下：选取机场地面上至少四处标定点，获得三维的实际位置坐标（Z轴置0），以及它们对应的二维像素坐标，再从MySQL数据库中提取摄像机内部参数、畸变系数，最后通过对n点透视问题的PnP算法求得外参转换矩阵。
S1.3：根据内参矩阵、畸变系数、外参转换矩阵，建立机场地面坐标—摄像机图像坐标的转换矩阵；
方法如下：内参矩阵和外参转换矩阵都是通过OpenCV求得的，是向量的形式，所以首先需将旋转向量转化为旋转矩阵，再通过内参矩阵与外参转换矩阵相乘，即可得到机场地面坐标—摄像机图像坐标的转换矩阵。
S1.4：根据机场地面坐标—摄像机图像坐标的转换矩阵，建立摄像机图像空间—机场地理空间的映射模型；
方法如下：机场地面坐标—摄像机图像坐标转换矩阵的逆矩阵即为待求的矩阵，但因为它是一个3行4列矩阵，不是方阵故无法直接求逆。本专利的应用场景是机场地面，其特点是三维坐标的Z轴为0，所以可以删除机场地面坐标—摄像机图像坐标转换矩阵的第3列（该列元素全为0）得到一个3阶方阵，最后求逆得到摄像机图像空间—机场地理空间的映射模型。使用python的实施方式如下：
nt = np.delete(tr2do,2,1)
do2tr = nt.I。
上述步骤S2：对各摄像机的监控视频数据进行目标检测处理，获得各摄像机视野中的机场地面对象，其流程如图3所示，具体实现方式如下：
S2.1：获取机场地面视频监控数据，包括摄相机历史监控视频和实时监控视频，将视频流转成图像帧；
监控视频无法直接应用于目标检测模型，必须先转换成图片的形式推到Redis消息队列中，并且需要满足至少1秒25帧的速度。
S2.2：建立目标检测深度网络模型；
本专利使用的是YOLOV3神经网络模型，实际运用时只需是目标检测模型即可，对模型结构不作要求。YOLOV3的具体实现代码可参考开源库GitHub，它主要包括Convolutional卷积结构和Residual残差结构。输入图像经过卷积层生成特征图，特征图再与输入叠加生成新的特征图，新特征图作为一个残差结构的输出。YOLOV3的主体网络就是由许多这种残差模块组成，其极大地减小了梯度爆炸的风险，加强了网络的学习能力。
S2.3：制作训练数据，训练目标检测深度网络模型得到针对机场地面对象的目标检测识别引擎：
具体方法如下：获取机场地面历史监控视频，将视频流转成图像帧保存到本地。人工筛选图像，只保留部分有效图像，其余图像舍弃，使筛选后图像中各对象出现的位置基本能覆盖机场地面范围。将筛选保留的图像输入开源的目标检测标定应用中，由专业的标定人员进行标定，得到该图像所包含对象信息的xml文件，将图像和对应的xml文件制作成YOLOV3需要的格式，即为最终的训练数据。下载预训练模型，并修改相关配置参数，包括：对象类别数、batchsize大小、数据集路径、预训练模型路径等等，具体参数大小可根据实际情况确定。最后用准备好的训练数据对目标检测深度网络模型进行训练，得到训练好的目标检测识别引擎。
S2.4：将实时监控视频的图像帧传入目标检测识别引擎，目标检测识别引擎输出该图像中包含的所有对象在对应摄像机中的坐标框、类别、置信度；
从Redis消息队列中获取待检测的图像帧，将其输入目标检测识别引擎，该引擎会输出该图像中包含的所有对象的坐标框、类别、置信度。
上述步骤S3：将所有摄像机检测到的机场地面对象，进行跨摄像机的轨迹跟踪融合，得到所有对象的连续轨迹，如图4、图5所示，其具体步骤为：
S3.1：各摄像机分别进行单相机内的多目标跟踪：
采用在线跟踪SORT算法，对每台摄像机都分配一个SORT实例。具体方法如图4所示，获取步骤S2目标检测结果，即机场对象在在对应摄像机中的坐标框、类别、置信度，根据置信度筛选识别对象，分别计算筛选对象的坐标框与轨迹池中轨迹点坐标框的IOU值（初始时轨迹池为空，当某个轨迹点连续3帧都稳定存在时，则将其加入轨迹池）；再通过匈牙利和KM算法进行级联匹配：对于匹配到的对象继承旧轨迹号并进行KM更新优化，对于未匹配到的对象赋予新轨迹号，对于轨迹池中连续多帧未更新的轨迹进行删除；最后将获得轨迹号的对象，一方面加入轨迹池，一方面输出机场对象的相机内轨迹号和识别信息，用于跨摄像机轨迹跟踪融合。
采用在线跟踪SORT算法，其核心就是卡尔曼滤波算法和匈牙利算法，卡尔曼滤波算法简称KM算法。
卡尔曼滤波算法分为两个过程：预测和更新。当目标从上一帧移动到当前帧，通过上一帧的坐标框和速度等参数，可以预测出当前帧的坐标框和速度。将当前帧的预测值和实际的识别检测值，两个正态分布的状态进行线性加权，更新得到修正后的确信度较高的跟踪结果。
匈牙利算法是一种寻找二分图的最大匹配的过程，用来寻找前后两帧图像中若干目标的匹配最优解。首先建立前后两帧中所有对象坐标框的IOU分数矩阵，再通过匈牙利算法求解这个矩阵，从而解决了前后两帧图像中同一对象的匹配问题。
S3.2：对跨摄像机运动的多个对象，进行跨相机轨迹跟踪融合；
其流程如图5所示，具体方法如下：对于某一识别对象，判断其相机内轨迹号是否在摄像机—相机内轨迹号—全局轨迹号的缓存池A中，若在，则该对象当前帧与上一帧之间没有跨摄像机，只需继承旧的全局轨迹号；若不在，则有3种可能性：（1）该对象当前轨迹点与上一轨迹点之间跨摄像机；（2）该对象是第一次出现在机场地面；（3）单相机内的多目标跟踪存在跟踪丢失的情况。为此需先根据摄像机图像空间—机场地理空间映射模型获得对象地面坐标，再通过坐标、时间、方向等信息，联合判断其是否属于全局轨迹号—轨迹点信息的缓存池B中某条轨迹，若属于则继承旧的全局轨迹号，若不属于则赋予新的全局轨迹号。最后用对象信息更新上述缓存池A、B，并输出机场地面对象连续轨迹点信息和全局轨迹号。
S3.3：对跟踪丢失又出现的目标，人工干预进行轨迹重连接；
上述步骤获得全局轨迹号的过程，有效解决了摄像机被短期遮挡的问题，但还存在摄像机被长期遮挡又恢复后，对象与之前轨迹相差太多而轨迹中断的情况。为解决该问题，引入了人工干预功能，系统会有一个可视界面显示全局轨迹号列表，可以由人工手动将全局轨迹号拉取赋值给某个机场地面对象，只要后续没有长期遮挡，则该对象将持续拥有该轨迹号，从而与之前轨迹重新连接起来。
本发明实施例的方法，基于目标检测结果，结合多目标跟踪技术和相机标定方法，充分利用到机场地面所有监控视频，能够快速准确连续地获取对象轨迹信息，相较于单独使用目标检测，拥有更高的准确率。在不改动现有机场系统的情况下，可以实现自动跟踪获取机场地面上所有对象的轨迹信息，具有很强的兼容性和准确率，极大地方便了机场工作人员进行实时监控管制和查询历史轨迹。
以上显示了本方案优选的实施方式。应当指出，本行业的技术人员应该了解本方案不受上述实施例的限制，任何本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案和发明构思加以等同或近似替换或改变，也应视为本发明的保护范围。
Claims (5)
1.一种针对机场地面对象的跨摄像头轨迹跟踪系统，包括以下步骤：
S1：建立各摄像机图像空间与机场地理空间的映射模型；
S2：对各摄像机的监控视频数据进行目标检测处理，获得各摄像机视野中的机场地面对象；
S3：将所有摄像机检测到的机场地面对象，进行跨摄像机的轨迹跟踪融合，得到所有对象的连续轨迹。
2.根据权利要求1所述的一种针对机场地面对象的跨摄像头轨迹跟踪系统，其特征在于：上述步骤S1包含以下步骤：
S1.1：获取各个摄像机内参矩阵和畸变系数；
S1.2：获取各个摄像机位置与实际机场地面坐标的外参转换矩阵；
S1.3：根据内参矩阵、畸变系数、外参转换矩阵，建立机场地面坐标—摄像机图像坐标的转换矩阵；
S1.4：根据机场地面坐标—摄像机图像坐标的转换矩阵，建立摄像机图像空间—机场地理空间的映射模型。
3.根据权利要求1所述的一种针对机场地面对象的跨摄像头轨迹跟踪系统，其特征在于：上述步骤S2包含以下步骤：
S2.1：获取机场地面视频监控数据，包括摄相机历史监控视频和实时监控视频，将上述视频流转成图像帧；
S2.2：建立目标检测深度网络模型；
S2.3：制作训练数据，训练目标检测深度网络模型得到针对机场地面对象的目标检测识别引擎；
此步骤操作方法：将历史监控视频的图像帧经过人工筛选图像，将筛选保留的图像输入开源的目标检测标定应用中，由专业的标定人员进行标定，得到该图像所包含对象信息的xml文件，将图像和对应的xml文件制作成目标检测深度网络模型需要的格式，即为最终的训练数据；
用上述准备好的训练数据对目标检测深度网络模型进行训练，得到训练好的目标检测识别引擎；
S2.4：将实时监控视频的图像帧传入目标检测识别引擎，目标检测识别引擎输出该图像中包含的所有对象在对应摄像机中的坐标框、类别、置信度。
4.根据权利要求1所述的一种针对机场地面对象的跨摄像头轨迹跟踪系统，其特征在于：上述步骤S3包含以下步骤：
S3.1：各摄像机分别进行单相机内的多目标跟踪；
具体方法如下：获取步骤S2目标检测结果，根据置信度筛选识别对象，计算筛选对象的坐标框与轨迹池中轨迹点坐标框的IOU值，初始时轨迹池为空，当某个轨迹点连续3帧都稳定存在时，则将其加入轨迹池；再通过匈牙利、KM算法进行级联匹配：对于匹配到的对象继承旧轨迹号并进行KM更新优化，对于未匹配到的对象赋予新轨迹号，对于轨迹池中连续多帧未更新的轨迹进行删除；最后将获得轨迹号的对象，一方面加入轨迹池，一方面输出机场对象的相机内轨迹号和识别信息，用于跨摄像机轨迹跟踪融合；
S3.2：对跨摄像机运动的多个对象，进行跨相机轨迹跟踪融合；
具体方法如下：对于某一识别对象，判断其相机内轨迹号是否在摄像机—相机内轨迹号—全局轨迹号的缓存池A中，若在，则该对象当前帧与上一帧之间没有跨摄像机，只需继承旧的全局轨迹号；若不在，需先根据摄像机图像空间—机场地理空间映射模型获得对象地面坐标，再通过坐标、时间、方向信息，判断其是否属于全局轨迹号—轨迹点信息的缓存池B中某条轨迹，若属于则继承旧的全局轨迹号，若不属于则赋予新的全局轨迹号，最后用对象信息更新上述缓存池A、B，并输出机场地面对象连续轨迹点信息和全局轨迹号；
S3.3：对跟踪丢失又出现的对象，人工干预进行轨迹重连接。
5.根据权利要求4所述的一种针对机场地面对象的跨摄像头轨迹跟踪系统，其特征在于：
所述的KM算法分为两个过程：预测和更新；当目标从上一帧移动到当前帧，通过上一帧的坐标框和速度等参数，可以预测出当前帧的坐标框和速度；
将当前帧的预测值和实际的识别检测值，两个正态分布的状态进行线性加权，更新得到修正后的确信度较高的跟踪结果；
所述的匈牙利算法是一种寻找二分图的最大匹配的过程，用来寻找前后两帧图像中若干目标的匹配最优解，首先建立前后两帧中所有对象坐标框的IOU分数矩阵，再通过匈牙利算法求解这个矩阵，从而解决了前后两帧图像中同一对象的匹配问题。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010973161.4A CN112102372A (zh) | 2020-09-16 | 2020-09-16 | 一种针对机场地面对象的跨摄像头轨迹跟踪系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010973161.4A CN112102372A (zh) | 2020-09-16 | 2020-09-16 | 一种针对机场地面对象的跨摄像头轨迹跟踪系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112102372A true CN112102372A (zh) | 2020-12-18 |
Family
ID=73760531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010973161.4A Pending CN112102372A (zh) | 2020-09-16 | 2020-09-16 | 一种针对机场地面对象的跨摄像头轨迹跟踪系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112102372A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112584237A (zh) * | 2020-12-30 | 2021-03-30 | 米哈游科技（上海）有限公司 | 图像擦除方法、装置、电子设备及存储介质 |
| CN112614159A (zh) * | 2020-12-22 | 2021-04-06 | 浙江大学 | 一种面向仓库场景的跨摄像头多目标跟踪方法 |
| CN112800918A (zh) * | 2021-01-21 | 2021-05-14 | 北京首都机场航空安保有限公司 | 一种非法运动目标的身份识别方法及装置 |
| CN113190711A (zh) * | 2021-03-26 | 2021-07-30 | 南京财经大学 | 地理场景中视频动态对象轨迹时空检索方法及系统 |
| CN113411478A (zh) * | 2021-06-17 | 2021-09-17 | 西安应用光学研究所 | 一种用于空中光电监视系统的跨探测器多视窗漫游方法 |
| CN113506214A (zh) * | 2021-05-24 | 2021-10-15 | 南京莱斯信息技术股份有限公司 | 一种多路视频图像拼接方法 |
| CN113596396A (zh) * | 2021-07-27 | 2021-11-02 | 上海悠络客电子科技股份有限公司 | 一种基于gb28181的目标跟踪系统 |
| CN114283119A (zh) * | 2021-12-02 | 2022-04-05 | 上海韦地科技集团有限公司 | 一种耐辐照摄像机控制系统 |
| CN115100591A (zh) * | 2022-06-17 | 2022-09-23 | 哈尔滨工业大学 | 基于联合学习的多目标跟踪与目标重识别系统及方法 |
| CN115190251A (zh) * | 2022-07-07 | 2022-10-14 | 北京拙河科技有限公司 | 基于亿像阵列式摄像机的机场地面安全分析方法及装置 |
| CN115240430A (zh) * | 2022-09-15 | 2022-10-25 | 湖南众天云科技有限公司 | 路侧设备信息分布式级联融合方法、系统及介质 |
| CN115841650A (zh) * | 2022-12-05 | 2023-03-24 | 北京数原数字化城市研究中心 | 视觉定位方法、视觉定位装置、电子设备及可读存储介质 |
| CN117058331B (zh) * | 2023-10-13 | 2023-12-19 | 山东建筑大学 | 基于单个监控摄像机的室内人员三维轨迹重建方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663743A (zh) * | 2012-03-23 | 2012-09-12 | 西安电子科技大学 | 一种复杂场景中多摄影机协同的人物追踪方法 |
| CN105744223A (zh) * | 2016-02-04 | 2016-07-06 | 北京旷视科技有限公司 | 视频数据处理方法和装置 |
| CN109934844A (zh) * | 2019-01-28 | 2019-06-25 | 中国人民解放军战略支援部队信息工程大学 | 一种融合地理空间信息的多目标跟踪方法及系统 |
| CN110378931A (zh) * | 2019-07-10 | 2019-10-25 | 成都数之联科技有限公司 | 一种基于多摄像头的行人目标移动轨迹获取方法及系统 |
| CN110728702A (zh) * | 2019-08-30 | 2020-01-24 | 深圳大学 | 一种基于深度学习的高速跨摄像头单目标跟踪方法及系统 |
| CN111145545A (zh) * | 2019-12-25 | 2020-05-12 | 西安交通大学 | 基于深度学习的道路交通行为无人机监测系统及方法 |
| CN111210474A (zh) * | 2020-02-26 | 2020-05-29 | 上海麦图信息科技有限公司 | 一种获取机场飞机实时地面位置的方法 |
| CN111460920A (zh) * | 2020-03-13 | 2020-07-28 | 温州大学大数据与信息技术研究院 | 一种面向机场复杂场景的目标跟踪及分割系统 |
-
2020
- 2020-09-16 CN CN202010973161.4A patent/CN112102372A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663743A (zh) * | 2012-03-23 | 2012-09-12 | 西安电子科技大学 | 一种复杂场景中多摄影机协同的人物追踪方法 |
| CN105744223A (zh) * | 2016-02-04 | 2016-07-06 | 北京旷视科技有限公司 | 视频数据处理方法和装置 |
| CN109934844A (zh) * | 2019-01-28 | 2019-06-25 | 中国人民解放军战略支援部队信息工程大学 | 一种融合地理空间信息的多目标跟踪方法及系统 |
| CN110378931A (zh) * | 2019-07-10 | 2019-10-25 | 成都数之联科技有限公司 | 一种基于多摄像头的行人目标移动轨迹获取方法及系统 |
| CN110728702A (zh) * | 2019-08-30 | 2020-01-24 | 深圳大学 | 一种基于深度学习的高速跨摄像头单目标跟踪方法及系统 |
| CN111145545A (zh) * | 2019-12-25 | 2020-05-12 | 西安交通大学 | 基于深度学习的道路交通行为无人机监测系统及方法 |
| CN111210474A (zh) * | 2020-02-26 | 2020-05-29 | 上海麦图信息科技有限公司 | 一种获取机场飞机实时地面位置的方法 |
| CN111460920A (zh) * | 2020-03-13 | 2020-07-28 | 温州大学大数据与信息技术研究院 | 一种面向机场复杂场景的目标跟踪及分割系统 |
Non-Patent Citations (3)
| Title |
|---|
| ABUBAKAR SIDDIQUE AND HENRY MEDEIROS: "Tracking Passengers and Baggage Items using Multi-camera Systems at Security Checkpoints", 《ARXIV:2007.07924V1 》, 15 July 2020 (2020-07-15) * |
| 夏天 等: "基于深度学习和时空约束的跨摄像头行人跟踪", 计算机与数字工程, no. 11, 20 November 2017 (2017-11-20) * |
| 翁菲 等: "多场景视频监控中的人物连续跟踪", 微型电脑应用, no. 06, 20 June 2010 (2010-06-20) * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614159A (zh) * | 2020-12-22 | 2021-04-06 | 浙江大学 | 一种面向仓库场景的跨摄像头多目标跟踪方法 |
| CN112584237B (zh) * | 2020-12-30 | 2022-06-17 | 米哈游科技（上海）有限公司 | 图像擦除方法、装置、电子设备及存储介质 |
| CN112584237A (zh) * | 2020-12-30 | 2021-03-30 | 米哈游科技（上海）有限公司 | 图像擦除方法、装置、电子设备及存储介质 |
| CN112800918A (zh) * | 2021-01-21 | 2021-05-14 | 北京首都机场航空安保有限公司 | 一种非法运动目标的身份识别方法及装置 |
| CN113190711A (zh) * | 2021-03-26 | 2021-07-30 | 南京财经大学 | 地理场景中视频动态对象轨迹时空检索方法及系统 |
| CN113506214A (zh) * | 2021-05-24 | 2021-10-15 | 南京莱斯信息技术股份有限公司 | 一种多路视频图像拼接方法 |
| CN113411478A (zh) * | 2021-06-17 | 2021-09-17 | 西安应用光学研究所 | 一种用于空中光电监视系统的跨探测器多视窗漫游方法 |
| CN113411478B (zh) * | 2021-06-17 | 2022-11-04 | 西安应用光学研究所 | 一种用于空中光电监视系统的跨探测器多视窗漫游方法 |
| CN113596396A (zh) * | 2021-07-27 | 2021-11-02 | 上海悠络客电子科技股份有限公司 | 一种基于gb28181的目标跟踪系统 |
| CN113596396B (zh) * | 2021-07-27 | 2024-05-14 | 上海悠络客电子科技股份有限公司 | 一种基于gb28181的目标跟踪系统 |
| CN114283119A (zh) * | 2021-12-02 | 2022-04-05 | 上海韦地科技集团有限公司 | 一种耐辐照摄像机控制系统 |
| CN114283119B (zh) * | 2021-12-02 | 2022-12-13 | 上海韦地科技集团有限公司 | 一种耐辐照摄像机控制系统 |
| CN115100591A (zh) * | 2022-06-17 | 2022-09-23 | 哈尔滨工业大学 | 基于联合学习的多目标跟踪与目标重识别系统及方法 |
| CN115190251A (zh) * | 2022-07-07 | 2022-10-14 | 北京拙河科技有限公司 | 基于亿像阵列式摄像机的机场地面安全分析方法及装置 |
| CN115190251B (zh) * | 2022-07-07 | 2023-09-22 | 北京拙河科技有限公司 | 基于亿像阵列式摄像机的机场地面安全分析方法及装置 |
| CN115240430A (zh) * | 2022-09-15 | 2022-10-25 | 湖南众天云科技有限公司 | 路侧设备信息分布式级联融合方法、系统及介质 |
| CN115240430B (zh) * | 2022-09-15 | 2023-01-03 | 湖南众天云科技有限公司 | 路侧设备信息分布式级联融合方法、系统及介质 |
| CN115841650A (zh) * | 2022-12-05 | 2023-03-24 | 北京数原数字化城市研究中心 | 视觉定位方法、视觉定位装置、电子设备及可读存储介质 |
| CN117058331B (zh) * | 2023-10-13 | 2023-12-19 | 山东建筑大学 | 基于单个监控摄像机的室内人员三维轨迹重建方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112102372A (zh) | 一种针对机场地面对象的跨摄像头轨迹跟踪系统 | |
| CN109871763B (zh) | 一种基于yolo的特定目标跟踪方法 | |
| WO2020103110A1 (zh) | 一种基于点云地图的图像边界获取方法、设备及飞行器 | |
| CN111553949B (zh) | 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法 | |
| CN108053449A (zh) | 双目视觉系统的三维重建方法、装置及双目视觉系统 | |
| CN112270688B (zh) | 一种前景提取方法、装置、设备及存储介质 | |
| CN108022258B (zh) | 基于单次多框检测器与卡尔曼滤波的实时多目标跟踪方法 | |
| WO2020103108A1 (zh) | 一种语义生成方法、设备、飞行器及存储介质 | |
| CN110825101A (zh) | 一种基于深度卷积神经网络的无人机自主降落方法 | |
| WO2020103109A1 (zh) | 一种地图生成方法、设备、飞行器及存储介质 | |
| CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
| CN112488066A (zh) | 一种无人机多机协同侦察下的目标实时检测方法 | |
| CN110992378B (zh) | 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统 | |
| CN111199556A (zh) | 基于摄像头的室内行人检测和跟踪方法 | |
| CN108320304A (zh) | 一种无人机航拍视频媒体的自动编辑方法与系统 | |
| CN115222920B (zh) | 基于图像的数字孪生时空知识图谱构建方法和装置 | |
| CN114022560A (zh) | 标定方法及相关装置、设备 | |
| CN111260687B (zh) | 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法 | |
| CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
| CN109712197B (zh) | 一种机场跑道网格化标定方法及系统 | |
| CN117392328B (zh) | 一种基于无人机集群的三维实景建模方法及系统 | |
| WO2021217403A1 (zh) | 可移动平台的控制方法、装置、设备及存储介质 | |
| CN112633114A (zh) | 面向建筑物变化事件的无人机巡查智能预警方法和装置 | |
| CN113781524B (zh) | 一种基于二维标签的目标追踪系统及方法 | |
| CN112069997B (zh) | 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |