CN109934844A

CN109934844A - 一种融合地理空间信息的多目标跟踪方法及系统

Info

Publication number: CN109934844A
Application number: CN201910082117.1A
Authority: CN
Inventors: 张旭; 郝向阳; 李建胜; 刘松林; 王安成; 赵自明; 乌萌; 张小东; 吴建霖; 王俊强; 程相博; 李朋月
Original assignee: Information Engineering University of PLA Strategic Support Force
Current assignee: Information Engineering University of PLA Strategic Support Force
Priority date: 2019-01-28
Filing date: 2019-01-28
Publication date: 2019-06-25

Abstract

本发明提供一种融合地理空间信息的多目标跟踪方法及系统，该跟踪方法包括以下步骤：获取拍摄监控视频数据相机的内参矩阵和外参矩阵，根据相机的内参矩阵和外参矩阵建立图像空间与地理空间的映射模型；获取相机的监控视频数据，对监控视频数据进行目标检测获取前景目标，并对前景目标进行跟踪，得到前景目标的跟踪轨迹；利用所述映射模型将得到的前景目标和前景目标的跟踪轨迹转换到地理空间，并将转换后的前景目标和前景目标跟踪轨迹与真实地图融合，实现前景目标跟踪在真实地图的可视化表达。本发明提供的技术方案能够得到前景目标跟踪在真实地图中可视化表达，解决多目标跟踪时由于没有与实际地理空间结合而造成跟踪结果可视效果差的问题。

Description

一种融合地理空间信息的多目标跟踪方法及系统

技术领域

本发明属于多目标跟踪技术领域，具体涉及一种融合地理空间信息的多目标跟踪方法及系统。

背景技术

随着科技的发展和人们安全意识的加强，各小区、厂区和街道上设置的监控摄像头越来越多，通过这些监控摄像头能够对相应的区域进行监视。由于监控摄像头的数量众多，所检测到的数据量也非常庞大，并且这些摄像头所记录下的视频是一种非结构化数据，在对这些数据进行处理时又将会衍生出新的信息和意想不到的数据特征。

视频的多目标跟踪技术是应用监控摄像头所获取数据的一个重要研究方向，常见的视频多目标跟踪技术有多假设跟踪、联合概率数据滤波、简单在线实时跟踪、马尔科夫决策、循环神经网络等多目标跟踪方法。

但是这些多目标跟踪方法是基于视频影像本身的跟踪方法，即使影像目标的检测、跟踪等精度提高，分析得到的结果也仅仅是影像中的坐标，如申请公布号为CN108573496A的中国发明专利申请文件所公开的基于LSTM网络和深度增强学习的多目标跟踪方法，就是只能够得到影像中的坐标。这种多目标跟踪方法的弊端在于：以监控视频的目标跟踪为例，监控者们更想得到的是实际地理位置中目标的动态方位、速度、运动轨迹等信息，而现有的多目标跟踪无法完成该任务。

发明内容

本发明的目的在于提供一种融合地理空间信息的多目标跟踪方法，用于解决由于目前多目标跟踪过程中得到的目标运动轨迹只是影像上位置、没有与实际地理空间结合，而导致可视效果差的问题；相应的，本发明还提供一种融合地理空间信息的多目标跟踪系统，用于解决由于目前多目标跟踪过程中得到的目标运动轨迹只是影像上位置、没有与实际地理空间结合，而导致可视效果差的问题。

为实现上述目的，本发明提供的技术方案是：

一种融合地理空间信息的多目标跟踪方法，该跟踪方法包括以下步骤：

(1)获取拍摄监控视频数据相机的内参矩阵和外参矩阵，根据相机的内参矩阵和外参矩阵建立图像空间与地理空间的映射模型；

(2)获取相机的监控视频数据，对监控视频数据进行目标检测获取前景目标，并对前景目标进行跟踪，得到前景目标的跟踪轨迹；

(3)利用所述映射模型将得到的前景目标和前景目标的跟踪轨迹转换到地理空间，并将转换后的前景目标和前景目标跟踪轨迹与真实地图融合，实现前景目标跟踪在真实地图的可视化表达。

本发明所提供的技术方案，在得到前景目标的跟踪轨迹后，将前景目标和前景目标的跟踪轨迹转换到地理空间中，并将转换后的前景目标和前景目标跟踪轨迹与真实地图融合，从而使前景目标跟踪在真实地图中可视化表达，解决由于目前多目标跟踪过程中得到的目标运动轨迹只是影像上位置、没有与实际地理空间结合，而导致可视效果差的问题。

进一步的，所述步骤(2)中处理过程为：

步骤A：对监控视频数据进行差分处理，筛除无前景目标帧和变化小于设定阈值的帧；

步骤B：将筛选后的监控视频数据导入YOLOv3检测器中，获取前景目标在视频影像中的坐标框及类别；

步骤C：将获取的前景目标数据置入DeepSort多目标跟踪器，获取监控视频数据中的各前景目标跟踪轨迹。

对监控视频数据进行差分处理能够减少监控视频数据中的干扰信号，增加对监控视频数据处理的可靠性；通过YOLOv3检测器能够准确获取前景目标在视频影像中的坐标框及类别，通过DeepSort多目标跟踪器能够快速获取监控视频数据中的各前景目标跟踪轨迹。

进一步的，所述步骤(1)中相机的内参数矩阵通过张正友标定法标定得到；相机的外参矩阵通过对n点透视问题Perspective-n-Points进行求解得到。

通过张正友标定法标定得到相机的内参数矩阵，能够得到相机的畸变参数；通过对n点透视问题Perspective-n-Points进行求解得到相机的外参矩阵，求解结果的精度较高。

进一步的，为了提高可视化效果，实现前景目标和目标轨迹不同模式的显示，所述真实地图为影像地图或者矢量地图。

进一步的，所述步骤A采用基于背景建模的运动目标检测方法实现。

背景建模的运动目标检测方法主要是针对于视频数据，要求背景在一定的时间段内保持不变，该检测方法运算速度通常较快，且所检测的前景目标为目标的掩膜形状。

进一步的，该方法还包括对步骤C得到的前景目标跟踪轨迹校正的步骤。

通过对前景目标跟踪轨迹校正，能够使前景目标的跟踪轨迹更加准确。

一种融合地理空间信息的多目标跟踪系统，包括处理器、存储器以及在所述存储器上存储并用于在所述处理器上执行的计算机程序；所述处理器执行所述计算机程序时实现的过程包括如下步骤：

进一步的，所述步骤(2)中处理过程为：

步骤A：对监控视频数据进行差分处理，筛选出无前景目标帧和变化小于设定阈值的帧；

附图说明

图1为本发明方法实施例中融合地理空间信息的多目标跟踪方法的流程图；

图2为本发明方法实施例中融合地理空间信息的多目标跟踪方法的数据传递示意图；

图3a为本发明方法实施例中视频图像空间中的视角；

图3b为本发明方法实施例中地理物方空间中的视角；

图4为本发明方法实施例中截取的部分帧与所对应的跟踪结果；

图5a为本发明方法实施例中多目标跟踪轨迹在图像空间中的可视化表达；

图5b为本发明方法实施例中多目标跟踪轨迹在地理物方空间中的可视化表达；

图5c为本发明方法实施例中原始跟踪轨迹节点；

图5d为本发明方法实施例中通过三次多项式拟合后的轨迹节点；

图6a为本发明方法实施例中采用无人机遥感影像图作为底图的融合方式；

图6b为本发明方法实施例中采用矢量底图作为底图的融合模式；

图7为本发明方法实施例中跟踪轨迹层、前景目标层、背景层和真实地图层的示意图；

图8a为本发明方法实施例中采用真实地图层+背景层+前景目标层+轨迹层的融合模式；

图8b为本发明方法实施例中采用真实地图层+前景目标层+轨迹层的融合模式；

图8c为本发明方法实施例中采用矢量地图层+背景层+前景目标层+轨迹层的融合模式；

图8d为本发明方法实施例中采用矢量地图层+前景目标层+轨迹层的融合模式；

图9为本发明系统实施例中计算机程序设计架构的示意图；

图10为本发明系统实施例中可视化表达层界面的示意图。

具体实施方式

下面结合具体实施方式对本发明的技术方案作进一步说明。

方法实施例：

本实施例提供一种融合地理空间信息的多目标跟踪方法，用于对监控摄像头获取的视频数据进行多目标跟踪，并解决目前多目标跟踪过程中得到的目标运动轨迹只是在影像上的位置，没有与实际地理空间相结合，可视效果差的问题。

本实施例所提供的融合地理空间信息的融合地理空间信息的多目标跟踪方法，其处理的流程如图1所示，处理过程中数据的传递方向如图2所示，该融合地理空间信息的多目标跟踪方法包括如下步骤：

(1)获取拍摄监控视频数据相机的内参矩阵和外参矩阵，根据相机的内参矩阵和外参矩阵建立图像空间与地理空间的映射模型。

本实施例中获取拍摄监控视频数据相机的内参矩阵时采用的是张正友标定法拍摄10-20张标定板图像进行标定，采用张正友标定法获取相机的内参矩阵属于现有技术，这里不多做说明；采用张正友标定法获取相机内参矩阵时还能够得到相机是否存在畸变，如果相机存在畸变，则获取相机畸变参数并对其进行畸变校正。

本实施例中通过对n点透视问题Perspective-n-Points求解得到拍摄监控视频数据相机的外参矩阵，该求解相机外参矩阵的方法属于现有技术，其求解结果精度较高且应用较广。

设地理空间中点p的坐标为(X_w,Y_w,Z_w)，通过旋转矩阵R和平移向量t经点p转换为相机坐标系下后其坐标为(X_c,Y_c,Z_c)，坐标(X_c,Y_c,Z_c)与其对应图像坐标(u,v)可以通过透视投影比例关系来描述，透视投影比例关系为：

上式中f为相机焦距，d_x、d_y为相机传感器在水平与垂直方向的像元物理尺寸，u₀、v₀为图像像素主点坐标，K是内参矩阵，仅根据与相机内部结构相关的参数所决定。[R|t]是由相机相对世界坐标系的旋转矩阵R和平移向量t所决定的外参矩阵。P为相机投影矩阵。

假设地面为一平面，将图像坐标系中的点映射至世界坐标中，设图像坐标系中点m在世界坐标中对应的点为M，则：

m＝[x,y,1]^T

M＝[X_w,Y_w,0,1]^T

m＝HM

即

因此可求出：

上述所求解的H矩阵是图像空间与地理空间的映射模型，该映射模型为平面上地理空间的点透视变化至图像空间中的点时所采用的转换关系；为了求解图像空间点投射至物方空间中时所采用的转换关系，需要求出H矩阵的逆矩阵，即：

H^-1＝＝(K[r₁,r₂,t])^-

假设世界坐标的高程为0时，即将其看作平面时，通过计算相机内参矩阵K与外参矩阵[r₁,r₂|t]即可求解出H矩阵。

(2)获取相机的监控视频数据，对监控视频数据进行目标检测获取前景目标，并对前景目标进行跟踪，得到前景目标的跟踪轨迹。

本实施例中该步骤包括如下处理过程：

在差分处理过程中，需要实时建立背景模型，建立的流程如下：

设监控视频数据中各像素的像素值序列为{X₁,X₂,…,X_n}，采用M个高斯分布对其进行综合描述，当前元素的像素值概率密度计算公式为：

其中M是高斯模型数量，ω_i,n是在n时间处第i个高斯模型所占权重，μ_i,n是n时间处第i个高斯模型所得期望，∑_i,n是n时间处第i个高斯模型所计算的协方差矩阵，η是概率密度，其计算公式为：

当像素值与K个高斯分布均不匹配时，权重最低者将被剔除，M个高斯分布的权重更新公式为：

ω_i,n＝(1-α)ω_i,n-1+α(L_i,n)

其中α代表学习速率，L_i,n代表模型是否被匹配，匹配时为1，反之为0；ω_i,n代表时间从1到n时，当前像素值由第i个高斯分布产生的后验概率的低通滤波平均值。

背景模型所采用的公式为：

其中B个分布为当前时间的背景模型，T为判定阈值。

基于背景建模的目标检测方法所得到的前景图像为二值化图像，所以为了满足可视化表达的要求，以所求得的差分影像作为掩膜，对当前帧进行掩膜提取操作，获取真实的目标提取结果。

设当前帧为I_t，背景图像为B_t，设定阈值为T_i,t，对于当前帧像素(x,y)，如果满足关系：

|I_t(x,y)-B_t(x,y)|＞T_i,t

则判断为该像素点为前景像素点，当前帧为前景目标帧，而筛除的就是无前景目标帧和变化小于设定阈值的帧。

通过步骤A筛除监控视频数据中的无前景目标和变化小于设定阈值的帧后，将其输入到YOLOv3检测器中，利用YOLOv3检测器训练出的前景目标检测模型进行处理，输出检测框、类别和置信度。

将YOLOv3检测器输出的数据作为DeepSort多目标跟踪器的输入数据，YOLOv3检测器输出的数据在DeepSort多目标跟踪器中通过改进的递归卡尔曼滤波预测位置并跟踪，采用马氏距离与深度描述子的余弦距离作为融合后的度量，采用匈牙利算法进行级联匹配，最后输出监控视频数据中各前景目标的跟踪轨迹。

将以目标的中心作为轨迹的节点初值，根据相机相对地平面的位姿以及目标在图像中所占比例大小进行校正，校正方法为：设根据DeepSort多目标跟踪器获取的监控视频数据t_i中前景目标O_m的检测框为(u,v,γ,h)，其中u、v、γ和h分别对应检测框左下点的横坐标、纵坐标、宽高比例和高度，则监控视频数据t_i中前景目标O_m在图像坐标系中对应的轨迹节点T_j(u',v')为：

式中δ、σ为校正值，对监控视频中每一帧的轨迹节点做最小二乘法运算，得到的改正数投影至图像坐标系中的两个坐标轴上，即可得到δ、σ。

由于DeepSort多目标跟踪器获取的检测框并不能达到绝对的精度，因此将所有前景目标的轨迹节点连接所得到的轨迹Traj_n具有一定误差，所以需要对所有轨迹节点进行三次多项式拟合来降低由于检测所带来的误差，设拟合时所采用的三次多项式为：

y＝a₀+a₁x+…+a_kx^k(k＝3)

各轨迹节点到该多项式的偏差平方和为：

经过求偏导化简后得到如下矩阵表达形式：

即

X×A＝Y

A＝(X^TX)^-X^TY

结合得到的映射矩阵，当获得图像坐标系中的当前目标的轨迹节点的点集：

通过映射矩阵可计算得到物方空间中目标的轨迹节点集在图像空间对应的点集，经过上述三次多项式拟合后得到的地理空间中轨迹节点集为：

最后根据前景目标在地理空间中轨迹节点集得到地图中的影像，本实施例中的地图为无人机遥感影像地图；作为其他实施方式，也可以采用矢量地图，或者采用其他正视影像地图。

本实施例中采用基于背景建模的目标检测方法得到前景图像，作为其他实施方式，也可以采用基于目标建模的检测方法得到前景图像。

由于DeepSort跟踪器需要高精度的检测数据，因此本实施例中将监控视频数据通过YOLOv3检测器进行处理后作为DeepSort跟踪器的输入量；作为其他实施方式，也可以采用SSD(Single shot MutiBox Detector)、Faster R-CNN、R-FCN(Region-based FullyConvolutional Networks)等方法对监控视频数据进行处理以提高其精度。

本实施例所采用的Deepsort跟踪器获取监控视频数据中的前景目标跟踪轨迹；作为其他实施方式，也可以采用其他方法得到监控视频数据中的前景目标跟踪轨迹，如IOU(Intersection over Union)、MOTDT(Real-time Multiple People Tracking withDeeply Learned Candidate Selection and Person Re-identification)等。

下面对本实施例所提供的融合地理空间信息的多目标跟踪方法进行实验验证：

在验证本实施例所提供的融合地理空间信息的多目标跟踪方法时，采用的是校园某一区域的监控视频，真实地图为无人机在120米高度拍摄的无人机遥感地图，像素分辨率为0.08米。本实施例所提供的融合地理空间信息的多目标跟踪方法，使用的硬件环境采用了型号为Intel XEON CPU E5-1607、主频为3.00GHz、内存为16G的处理器，型号为NVIDIAGTX1060、显存为6G的显卡。

实验数据是由USB外置相机采集，像素为640×480，通过张正友标定法得到的拍摄监控视频数据相机的内参矩阵为：

畸变参数为：

[-0.3855 0.2610 0.0037 -0.0037]

由于该相机存在桶形畸变，且该桶形畸变一定程度上影响了映射结果，因此对视频影像首先进行畸变校正，再将畸变校正后的结果选取对应点进行PNP的计算，获取相机外参数矩阵。世界坐标与图像坐标对应点对如表1所示。

表1

地理空间坐标系	图像坐标系
		(460471.188545,3853986.285574,0)	(411.572036,52.501202)
(460477.726312,3853997.308430,0)	(64.504398,6.506124)
		(460457.092360,3853990.164838,0)	(295.583308,419.436340)
(460457.107798,3853986.005468,0)	(607.761291,401.538110)
		(460469.792619,3853994.166355,0)	(125.351499,86.497767)

标定出的相机在地理空间中的坐标为(460449.5046,3853990.102,7.625628456)，相机的三个旋转角为[-178.157° 55.4671° 91.3326°]。

采用EPNP(efficient Perspective-n-Points)算法和Iteration算法对n点透视问题Perspective-n-Points进行求解，得到拍摄监控视频数据相机的外参矩阵为：

此时监控视频背景通过地理映射模型投射前后的对比如图3a和图3b所示，其中图3a为视频图像空间中的视角，图3b为地理物方空间中的视角，此时视频的背景已具有地理信息，可实现查询、测量等功能。

图4是在实验过程中截取的部分帧与所对应的跟踪结果，跟踪的目标有四个，图4中边框含有白色的是采用递归卡尔曼滤波所得到的预测框，边框为纯色的是由差分YOLOv3检测器所得出的检测框，并且各目标都设有ID号，为每个通过匈牙利算法进行级联匹配后所确定的跟踪结果，图4中四个跟踪目标的ID号分别为ID1、ID2、ID3和ID4。

视频数据中编号为ID1的目标在图像空间中的部分跟踪轨迹节点与通过映射模型投射至地理物方空间中对应节点如表2所示。

表2

图5a为多目标跟踪轨迹在图像空间中的可视化表达，图5b为多目标跟踪轨迹在地理物方空间中的可视化表达；图5c是原始跟踪轨迹节点，将这些轨迹节点通过三次多项式拟合后的误差较小的平滑轨迹，如图5d所示。

图6a为采用无人机遥感影像图作为底图的融合模式，该底图可最大程度反映真实的场景，但由于更新的原因，在特殊情况下可与背景层叠加显示；图6b为采用矢量地图作为底图的融合模式，这种模式可突出前景动态目标等摘要信息，使表达更加美化简明。

图7为跟踪轨迹层、前景目标层、背景层和真实地图层，采用不同的融合模式进行融合，可根据需求实现不同的可视化效果。

图8a所示的是前景目标与地理信息采用真实地图层+背景层+前景目标层+轨迹层的融合模式，这种融合模式表达元素最为全面，背景层的融合可利用视频对真实场景更新，表达出地图层不具备的信息。图8b所示为在图8a所示融合模式的基础上去除了背景层，该表达模式主要应用于背景场景变化较小的情况下。图8c所示为前景目标与地理信息采用矢量地图层+背景层+前景目标层+轨迹层的融合模式，图8d所示图8c所示融合模式的基础上去除了背景层，图8c所示和图8d所示的融合模式在可视化效果中更为直观，当对场景信息关注度较小时可采用该类融合模式。

系统实施例：

本实施例提供一种融合地理空间信息的多目标跟踪系统，包括处理器、存储器以及在存储器上存储并用于在处理器上执行的计算机程序；处理器执行所述计算机程序时实现如上述方法实施例中所提供的融合地理空间信息的多目标跟踪方法。

本实施例所提供的融合地理空间信息的多目标跟踪系统，其存储器上存储的计算机程序的设计架构自上而下分别为数据层、功能层及可视化表达层，如图9所示。数据层主要是用于数据信息的存储，包括原始视频影像数据、经过处理分析的前景目标数据、所得到的跟踪轨迹数据以及地理信息数据，方便于后续功能层的调用；功能层展示了该系统所具备的所有功能，包括目标的检测、前景目标的提取、多目标的跟踪、监控视频与地理信息的映射转换、以及融合地理信息的目标轨迹的可视化表达及后续分析功能。可视化表达层利用C#+ARCGIS进行二次开发，实现了地图展示、基本的空间分析功能、定点监控视频的播放功能，以及融合地理信息后的监控视频多目标跟踪可视化表达，如图10所示。

Claims

1.一种融合地理空间信息的多目标跟踪方法，其特征在于，该跟踪方法包括以下步骤：

2.根据权利要求1所述的融合地理空间信息的多目标跟踪方法，其特征在于，所述步骤(2)中处理过程为：

3.根据权利要求1所述的融合地理空间信息的多目标跟踪方法，其特征在于，所述步骤(1)中相机的内参数矩阵通过张正友标定法标定得到；相机的外参矩阵通过对n点透视问题Perspective-n-Points进行求解得到。

4.根据权利要求1所述的融合地理空间信息的多目标跟踪方法，其特征在于，所述真实地图为无人遥感影像地图或者矢量地图。

5.根据权利要求2所述的融合地理空间信息的多目标跟踪方法，其特征在于，所述步骤A采用基于背景建模的运动目标检测方法实现。

6.根据权利要求2所述的融合地理空间信息的多目标跟踪方法，其特征在于，该方法还包括对步骤C得到的前景目标跟踪轨迹校正的步骤。

7.一种融合地理空间信息的多目标跟踪系统，包括处理器、存储器以及在所述存储器上存储并用于在所述处理器上执行的计算机程序；其特征在于，所述处理器执行所述计算机程序时实现的过程包括如下步骤：

8.根据权利要求7所述的融合地理空间信息的多目标跟踪系统，其特征在于，所述步骤(2)中处理过程为：

9.根据权利要求7所述的融合地理空间信息的多目标跟踪系统，其特征在于，所述步骤(1)中相机的内参数矩阵通过张正友标定法标定得到；相机的外参矩阵通过对n点透视问题Perspective-n-Points进行求解得到。

10.根据权利要求7所述的融合地理空间信息的多目标跟踪系统，其特征在于，所述真实地图为无人遥感影像地图或者矢量地图。