CN111932588A - 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法 - Google Patents
一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法 Download PDFInfo
- Publication number
- CN111932588A CN111932588A CN202010788407.0A CN202010788407A CN111932588A CN 111932588 A CN111932588 A CN 111932588A CN 202010788407 A CN202010788407 A CN 202010788407A CN 111932588 A CN111932588 A CN 111932588A
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- unmanned aerial
- aerial vehicle
- airborne
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 230000033001 locomotion Effects 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000005259 measurement Methods 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 47
- 238000001914 filtration Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 3
- 238000012423 maintenance Methods 0.000 abstract description 3
- 230000008034 disappearance Effects 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
本发明公开了一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法，属于无人机目标跟踪领域。通过云台摄像头获取实时图像信息，进行基本预处理后通过深度学习算法对图像中的多目标进行检测并分别跟踪，同时使用数据关联算法将目标进行相邻帧运动的关联，完成一对一的匹配，实现多个目标当前的状态估计以及历史运动的记录；根据目标的位置与速度预测结果，调节云台使目标保持在图像中央，实现单目测距，结合目标位置与速度实现对于目标的跟踪飞行。本发明不依赖GPS，在跟踪过程中实现视角保持，能够快速、准确、稳定的跟踪多目标并进行选择性跟踪，能够较好处理跟踪消失再出现等问题；同时能够通过无线通信与用户进行交互，反馈跟踪状态。
Description
技术领域
本发明属于无人机目标跟踪领域，具体涉及一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法。
背景技术
无人机通常是指由机载计算机系统和地面系统一起组合起来的可以自行完成飞行任务的无驾驶员的飞行器。相比于载人飞行器，具有体积小、质量轻、生产和运维成本低、机动性好、不存在机组人员安全问题等优点，可广泛用于低空侦察、反恐打击、情报收集等军事任务。在民用方面，可用于气象探测、灾害监测、地质勘探、地图测绘、农业植保、公安消防等诸多领域。近年来，随着技术进步带来了无人机成本的下降，其全球市场大幅增长，发展态势迅猛。
目前，计算机视觉与无人机的结合，已成为了当下研究的热点。不仅扩充了人类的视觉范围，更是在安防救援、人机交互、目标跟踪与检测等方面发挥了更大效用。现有的无人机目标跟踪技术中，多为单个目标的检测与跟踪，对目标类别不做限定，因此难以区分相似的类内对象，在实际应用中存在一定不便。在图像处理中，无人机的运动会对目标检测的质量造成干扰，容易出现目标脱离视野的情况。此外，由于无人机自身的定位大多基于GPS，GPS失效会影响跟踪效果。
发明内容
针对上述背景技术的分析，本发明旨在提供一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法，无人机通过云台摄像头获取实时图像信息，进行基本的去噪、去畸变等预处理后，使用YOLOV3算法对图像中的多目标(行人、车辆等)完成快速、准确的检测；基于检测结果的矩形框，使用KCF算法实现对多个目标分别进行跟踪，当跟踪丢失则重新检测，并使用数据关联算法进行检测与历史跟踪的匹配，即为利用欧式距离以及直方图相似度，将目标进行相邻帧运动的关联，防止信息丢失，最后使用匈牙利算法，完成一对一的匹配，实现多个目标当前的状态估计以及历史运动的记录；基于扩展卡尔曼滤波进一步实现对目标的位置与速度预测，之后通过对于云台的PID控制实现目标保持在图像中央，基于相机内参与外参实现目标距离估测，之后无人机结合目标位置与速度实现对于目标的跟踪飞行。本发明利用视觉信息以及机载传感器的信息，实现对多目标的跟踪以及运动估计，同时控制云台使得无人机在跟踪过程中，地面目标始终保持在摄像机的图像中心，以解决现有技术中无法跟踪多个目标、依赖GPS、视角保持不稳等问题。
本发明主要通过以下技术方案实现：
一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法，所述的机载无人机多目标跟踪系统包括无人机、云台、超声波传感器、机载电脑和相机；所述的机载电脑、云台和超声波传感器均固定在无人机上，所述的相机安装在云台上；所述机载电脑与地面站通过无线通讯；
所述的跟踪方法步骤如下：
S1：通过固定在无人机云台上的相机获取图像；
S2：对图像进行预处理，包括去噪、去畸变以及压缩图像尺寸处理；
S3：通过YOLOV3算法对预处理后的图像进行多个目标检测，获得多个目标的检测结果矩形框；
S4：基于每一个目标的检测结果矩形框，采用KCF进行目标跟踪，具体为：
S41：实时判断跟踪目标是否丢失，若跟踪目标未丢失，则继续当前跟踪，且保存当前目标的位置；若跟踪目标丢失，则返回S1重新进行目标检测；
S42：针对新的检测结果矩形框，首先与上一时刻的跟踪目标的矩形框进行数据关联，完成矩形框之间的相似度匹配；之后结合匈牙利算法，实现跟踪目标在当前运动与历史运动的一一匹配，以维持视野中多个目标的跟踪与实时状态估计；
S5：通过地面站与机载电脑的无线通信返回实时跟踪的目标状态数据，若返回的数据中存在目标，则通过地面站发送需要跟踪的目标到机载电脑，云台进入跟踪模式；若返回的数据中不存在目标，则云台进入搜索模式；
S6：基于相机的内参与外参，并结合超声波传感器得到的无人机高度信息，实现跟踪目标的测距；
S7：基于跟踪目标在无人机坐标系的当前时刻的位置，使用卡尔曼滤波算法预测跟踪目标下一时刻的速度与位置，减小误差；
S8：结合跟踪目标的运动速度与位置估计，以及通过超声波传感器获得的周围障碍物信息，对无人机进行运动控制，实现无人机对于目标的在线跟踪；
S9：继续重复S1～S8，直到地面站向无人机机载电脑发出终止跟踪的指令。
作为优选，所述的无人机为四轴无人机。
作为优选，使用NVIDIA TX2作为机载电脑。
作为优选，基于KCF判断跟踪是否丢失，若未丢失则继续当前跟踪，保存当前目标的位置，并停止YOLOV3目标检测；若丢失则重新进行目标检测，并停止KCF目标跟踪。
作为优选，所述的相机采用USB单目相机。
作为优选，步骤S42中，采用数据关联算法和匈牙利算法实现新的检测结果矩形框与上一时刻的跟踪目标的矩形框之间的数据关联和运动匹配，具体为：
结合当前检测框与上一时刻最后帧的跟踪框，基于KD树对欧氏距离最近邻查找，对最近邻的k个目标进行直方图相似度匹配，若相似度大于预设的阈值，则使用匈牙利算法对于匹配进行优化，实现新的检测与历史跟踪的最大匹配，若存在未成功匹配的跟踪目标，则视为目标消失；若存在未成功匹配的检测目标，则视为新目标出现。
作为优选，步骤S5中，针对目标是否存在，云台状态分为跟踪模式与搜索模式；在跟踪模式中，通过PID算法控制云台调整角度，使得跟踪目标保持在相机视野的中心位置，以维持跟踪视角的平稳保持；在搜索模式中，通过旋转云台轴角进行实时检测是否存在目标。
作为优选，步骤S6中，结合相机内参、外参、以及超声波传感器测量的无人机高度，通过建立目标在像素坐标系到无人机坐标系的转换，实现跟踪目标的测距，得到跟踪目标在无人机坐标系的坐标。
作为优选，基于跟踪目标的距离，无人机存在跟踪模式与保持模式，若跟踪距离大于上限或小于下限，则无人机处于跟踪模式，并结合距离误差与目标速度，基于控制律对速度进行控制；否则无人机处于保持模式，保持当前的跟踪状态。
作为优选，采用卡尔曼滤波算法预测跟踪目标的运动速度与位置，并对预测状态进行更新，具体为：
在预测过程中，通过上一帧的目标框位置和速度参数，预测当前帧的目标框位置和速度；
在更新过程中，根据预测值和观测值两个正态分布的状态进行线性加权，对预测状态进行更新。
作为优选，所述步骤S2中，图像处理基于opencv进行。
本发明具有以下有益效果：
1)现存的无人机跟踪系统大多对于单一目标进行跟踪，对目标的类别不做限定，因此难以区分相似的类内对象；而本发明采用了YOLOV3算法实现对多个目标(行人、车辆等)进行检测，并对检测到的目标基于KCF算法进行多个目标的在线跟踪。在跟踪过程中，当跟踪丢失则重新检测，并使用数据关联算法进行检测与历史跟踪的匹配，实现多个目标当前的状态估计以及历史运动的记录，以处理跟踪目标消失再出现或遮挡等问题。
2)现存的无人机大多依赖GPS进行定位以及追踪物体，本发明仅通过搭载在无人机上的云台、相机、超声波传感器和跟踪算法实现定位及追踪物体，可以不依赖GPS实现无人机跟踪，适用于更多场景。
3)本发明基于PID算法对云台进行控制，使得追踪目标保持在视野中央，实现跟踪视角的平稳保持，同时防止跟踪目标的丢失。
4)本发明可以通过机载电脑实现无人机自动跟踪，更加准确快速地处理信息；通过地面站与机载电脑进行通讯，实现跟踪信息与无人机状态信息的传输，用户可以选择需要跟踪的目标以及发送启动或停止无人机的指令。
5)本发明通过对图片进行预处理，以及在KCF跟踪过程中停止YOLOV3的检测，目标丢失后停止KCF跟踪等设计，能够加快计算，保证了对目标追踪的实时性。
附图说明
图1是本发明的整体硬件框架图。
图2是本发明的整体程序流程图。
图3是本发明的基于深度学习多目标跟踪流程图。
图4是本发明的云台跟踪控制程序流程图。
图5是本发明的无人机、摄像机与目标的相对位姿示意图。
图6是本发明的无人机与目标间的相对关系。
图7是本发明的无人机跟踪控制程序流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进一步阐述和说明。
如图1所示，本发明采用的一种基于深度学习的机载无人机多目标跟踪系统，其硬件结构包括：
用于实时检测视觉信息的USB单目相机，用于检测无人机高度与周围障碍物信息的超声波传感器，中央控制器NVIDIA TX2机载电脑，四轴无人机，用于保证跟踪视角平稳以及防止跟踪目标丢失的二轴云台，其中USB相机安装在云台上。其基本功能为：超声波传感器能够获取无人机的高度信息以及无人机周围的障碍物信息，并将采集到的信息传输到机载电脑；USB单目摄像机将采集到的图像信息传输到机载电脑；机载电脑与地面站通过无线通讯，能够根据地面站的指令以及无人机周围的障碍物信息等控制无人机的飞行，还可以控制二轴云台的轴角，改变USB单目相机的视野范围。
采用上述的跟踪系统对多目标进行跟踪，其跟踪方法的整体程序流程框图如图2所示，下面将对每个流程进行具体介绍。
S1：基于opencv视觉库，首先离线对相机进行标定，以获得相机内参、外参、畸变系数，读取图像帧，在线结合相机内参、畸变系数对图像进行去畸变，使用高斯模糊对图像进行平滑去噪，之后对图像缩小，以加快计算。
S2：使用目标检测算法YOLOV3对多个目标(车辆、行人)进行检测。YOLOV3采用Darknet-53网络，将检测问题处理为回归问题，把目标区域与目标类别预测整合入一个卷积神经网络，实现对输入图像直接预测bounding box与类别概率，实现端到端的检测。
本实施例中，首先进行YOLOV3训练，采集训练集与验证集进行标注，使用darknet深度网络框架，在服务器上训练(显卡为Telsa K40，内存11439MB)，采用小批量随机梯度下降法，批量大小为64，最大迭代次数为20000次，同时随机梯度下降的动量为0.9，权重衰减为0.005，初始学习率为0.001，迭代次数8000次与150000次时调整学习率。
S3：基于YOLOV3的检测结果，对每个检测框，分别进行KCF跟踪，并保存每个目标的历史航迹，当进行跟踪时，可以停止YOLOV3的检测，以加快计算。
所述KCF跟踪的具体方法简要介绍如下：KCF是一种判别式算法，基于岭回归的非线性预测进行学习得到滤波器，利用核函数计算候选区域与目标的相似程度，选取相似度最大的区域作为新目标，并进行下一帧的检测。
S4：通过地面站与无人机机载电脑的无线通信，查看目标状态，并发送需要跟踪的目标到机载电脑；
S5：基于相机的内参、由云台角度计算所得的外参，并结合超声波传感器得到的无人机高度信息，实现跟踪目标的测距；
S6：基于跟踪目标在无人机坐标系的当前时刻的位置，使用卡尔曼滤波算法预测跟踪目标下一时刻的速度与位置；
S7：结合跟踪目标的运动速度与位置估计，以及通过超声波传感器获得的周围障碍物信息，对无人机进行运动控制，实现无人机对于目标的在线跟踪；
S8：继续重复S1～S7，直到地面站向无人机机载电脑发出终止跟踪的指令。
本实施例中，采用的多目标跟踪算法流程图如图3所示。
通过地面站与机载电脑的无线通信返回实时跟踪的目标状态数据，若返回的数据中存在目标，则通过地面站发送需要跟踪的目标到机载电脑，云台进入跟踪模式，对多目标分别进行KCF跟踪；若返回的数据中不存在目标，则云台进入搜索模式，继续进行YOLOV3检测。
由于在KCF跟踪的过程中，可能会丢失目标，因此当检测到目标丢失时，重新进行YOLOV3的检测，停止KCF目标跟踪；并使用数据关联算法，将上个跟踪的最后一帧的跟踪框与新检测的第一帧的检测框进行匹配，实现维持多目标的状态估计，防止目标信息丢失。
本发明使用的数据关联算法具体实现如下：
数据关联算法基于KD树进行搜索，KD树是一种分割k维数据空间的数据结构，可应用于多维空间关键数据的搜索。
本实施例中，首先对于新检测的第一帧检测框，在上个跟踪最后一帧的跟踪框中利用KD树搜索欧氏距离k个最近邻，并在k个最近邻中进行直方图相似匹配，当相似度大于一定值可以认为互相匹配。最后使用匈牙利算法，将一对多的匹配优化到一对一的匹配，最终实现新的检测与历史跟踪最大匹配。若新的检测中不存在历史跟踪匹配，即存在未成功匹配的新的检测目标，则将新的检测中的目标视为新出现的目标；若历史跟踪中不存在新的检测匹配，即存在未成功匹配的历史跟踪目标，则将历史跟踪中的目标视为消失的目标。
本实施例中，利用PID算法对云台的不同轴上的电机进行闭环控制，来保持待跟踪目标始终位于相机视野的中心。流程图如图4所示。
首先判断目标是否在相机视野内，如果不在，则让无人机保持静止，水平旋转云台使相机进入搜索模式，直到目标出现在视野内。
若目标在视野内，首先获取由卡尔曼滤波给出的目标在图像中的二维位置，接着计算目标与图像中心的偏差，若偏差大于预设的阈值，则将偏差代入PID控制方程中得到控制律来控制云台，保持待跟踪目标始终位于相机视野的中心。若偏差小于等于预设的阈值，则保持云台姿态。
本实施例中，无人机、摄像机与目标的相对位姿如图5所示。
无人机坐标系与相机坐标系转换如下：
其中，向量bp1是相机光心在无人机坐标系的坐标，cp2是目标在相机坐标系的坐标，
表示摄像机坐标系到机体坐标系的旋转矩阵，由云台的偏航角与俯仰角计算可得；bp2是跟踪目标在无人机坐标系的坐标。
目标点在图像平面的成像位置I＝[u,v]T，cp2＝[cx2,cy2,cz2]T,使用针孔模型近似表示：
其中，u和v表示目标点在图像平面的成像位置坐标，cx2、cy2、cz2表示目标在相机坐标系的三维坐标，M表示摄像机的内参矩阵，可由步骤S1中的相机校准获得。
忽略bp1的大小，因此可得像素坐标系到无人机坐标系的转换如下：
由于无人机高度h可以通过超声波传感器获取，因此bz2≈h，求解上式即可求得跟踪目标在无人机坐标系的坐标bp2，得到跟踪目标与无人机的距离。
本实施例中，采用卡尔曼滤波算法完成对目标未来速度与位置的预测，并对目标系统的预测状态进行更新。
预测和更新过程具体为：
在预测步骤中，当目标经过移动，通过上一帧的目标框和速度等参数，预测出当前帧的目标框位置和速度等参数。
在更新步骤中，根据预测值和观测值两个正态分布的状态进行线性加权，得到目前系统预测的状态。
卡尔曼滤波可以基于目标前一时刻的位置，来预测当前时刻的位置，并且可以比传感器(在目标跟踪中即目标检测器YOLOV3)更准确的估计目标的位置。
本实例中，无人机跟踪控制程序流程如图7所示，首先计算无人机与待跟踪目标间的距离差d。如果距离合适，则控制无人机保持静止。若距离过远或过近，则利用目标与无人机的距离差与角度差，通过李雅普诺夫渐近稳定的控制律来实现无人机的跟踪控制，无人机与目标间的相对关系如图6所示。其中XOUAVY表示无人机坐标坐标系，θd表示目标与无人机间的夹角，d表示目标与无人机间的距离，Ot表示目标位置，θt表示目标速度在无人机坐标系下的角度，vt表示目标速度。
在本发明的一项具体实施中，在跟踪控制的同时，读取置于无人机下方的五向超声传感器来获取与周围障碍物间的距离，通过人工势场法来修正控制指令，实现避障效果。
综上，本发明采用深度学习算法实现计算机视觉多目标检测与跟踪。无人机通过云台摄像头获取实时图像信息，进行基本预处理后通过深度学习算法对图像中的多目标进行检测；并基于检测结果实现对多个目标的分别跟踪，同时使用数据关联算法将目标进行相邻帧运动的关联，完成一对一的匹配，能够实现多个目标当前的状态估计以及历史运动的记录；此后根据得到的对目标的位置与速度预测结果，通过控制算法调节云台使目标保持在图像中央，实现单目测距，之后无人机结合目标位置与速度实现对于目标的跟踪飞行。
本发明不依赖GPS，同时在无人机跟踪的过程中能够完成视角保持；通过实时计算，实现无人机快速、准确、稳定的跟踪多目标并进行选择性跟踪的效果，能够较好处理跟踪消失再出现等问题；同时能够通过无线通信与用户进行交互，反馈跟踪状态。
以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。
Claims (10)
1.一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，所述的机载无人机多目标跟踪系统包括无人机、云台、超声波传感器、机载电脑和相机；所述的机载电脑、云台和超声波传感器均固定在无人机上，所述的相机安装在云台上；所述机载电脑与地面站通过无线通讯；
所述的跟踪方法步骤如下：
S1：通过固定在无人机云台上的相机获取图像；
S2：对图像进行预处理，包括去噪、去畸变以及压缩图像尺寸处理；
S3：通过YOLOV3算法对预处理后的图像进行多个目标检测，获得多个目标的检测结果矩形框；
S4：基于每一个目标的检测结果矩形框，采用KCF进行目标跟踪，具体为：
S41：实时判断跟踪目标是否丢失，若跟踪目标未丢失，则继续当前跟踪，且保存当前目标的位置；若跟踪目标丢失，则返回S1重新进行目标检测；
S42：针对新的检测结果矩形框，首先与上一时刻的跟踪目标的矩形框进行数据关联，完成矩形框之间的相似度匹配；之后结合匈牙利算法，实现跟踪目标在当前运动与历史运动的一一匹配，以维持视野中多个目标的跟踪与实时状态估计；
S5：通过地面站与机载电脑的无线通信返回实时跟踪的目标状态数据，若返回的数据中存在目标，则通过地面站发送需要跟踪的目标到机载电脑，云台进入跟踪模式；若返回的数据中不存在目标，则云台进入搜索模式；
S6：基于相机的内参与外参，并结合超声波传感器得到的无人机高度信息，实现跟踪目标的测距；
S7：基于跟踪目标在无人机坐标系的当前时刻的位置，使用卡尔曼滤波算法预测跟踪目标下一时刻的速度与位置；
S8：结合跟踪目标的运动速度与位置估计，以及通过超声波传感器获得的周围障碍物信息，对无人机进行运动控制，实现无人机对于目标的在线跟踪；
S9：继续重复S1～S8，直到地面站向无人机机载电脑发出终止跟踪的指令。
2.如权利要求1所述的基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，所述的无人机为四轴无人机。
3.如权利要求1所述的基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，使用NVIDIA TX2作为机载电脑。
4.如权利要求1所述的基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，基于KCF判断跟踪是否丢失，若未丢失则继续当前跟踪，保存当前目标的位置，并停止YOLOV3目标检测；若丢失则重新进行目标检测，并停止KCF目标跟踪。
5.如权利要求1所述的基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，所述的相机采用USB单目相机。
6.如权利要求1所述的基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，步骤S42中，采用数据关联算法和匈牙利算法实现新的检测结果矩形框与上一时刻的跟踪目标的矩形框之间的数据关联和运动匹配，具体为：
结合当前检测框与上一时刻最后帧的跟踪框，基于KD树对欧氏距离最近邻查找，对最近邻的k个目标进行直方图相似度匹配，若相似度大于预设的阈值，则使用匈牙利算法对于匹配进行优化，实现新的检测与历史跟踪的最大匹配，若存在未成功匹配的跟踪目标，则视为目标消失；若存在未成功匹配的检测目标，则视为新目标出现。
7.如权利要求1所述的基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，步骤S5中，针对目标是否存在，云台状态分为跟踪模式与搜索模式；在跟踪模式中，通过PID算法控制云台调整角度，使得跟踪目标保持在相机视野的中心位置，以维持跟踪视角的平稳保持；在搜索模式中，通过旋转云台轴角进行实时检测是否存在目标。
8.如权利要求1所述的基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，步骤S6中，结合相机内参、外参、以及超声波传感器测量的无人机高度，通过建立目标在像素坐标系到无人机坐标系的转换，实现跟踪目标的测距，得到跟踪目标在无人机坐标系的坐标。
9.如权利要求8所述的基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，基于跟踪目标的距离，无人机存在跟踪模式与保持模式，若跟踪距离大于上限或小于下限，则无人机处于跟踪模式，并结合距离误差与目标速度，基于控制律对速度进行控制；否则无人机处于保持模式，保持当前的跟踪状态。
10.如权利要求1所述的基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，采用卡尔曼滤波算法预测跟踪目标的运动速度与位置，并对预测状态进行更新，具体为：
在预测过程中，通过上一帧的目标框位置和速度参数，预测当前帧的目标框位置和速度；
在更新过程中，根据预测值和观测值两个正态分布的状态进行线性加权，对预测状态进行更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010788407.0A CN111932588B (zh) | 2020-08-07 | 2020-08-07 | 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010788407.0A CN111932588B (zh) | 2020-08-07 | 2020-08-07 | 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111932588A true CN111932588A (zh) | 2020-11-13 |
| CN111932588B CN111932588B (zh) | 2024-01-30 |
Family
ID=73306971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010788407.0A Active CN111932588B (zh) | 2020-08-07 | 2020-08-07 | 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111932588B (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112802062A (zh) * | 2021-04-08 | 2021-05-14 | 中国人民解放军国防科技大学 | 基于计算机视觉中运动显著性感知的无人机集群机动方法 |
| CN112965081A (zh) * | 2021-02-05 | 2021-06-15 | 浙江大学 | 基于融合行人信息的特征地图的模仿学习社交导航方法 |
| CN113139985A (zh) * | 2021-03-16 | 2021-07-20 | 北京理工大学 | 消除无人机与地面站通信延迟影响的跟踪目标框选方法 |
| CN113395448A (zh) * | 2021-06-15 | 2021-09-14 | 西安视成航空科技有限公司 | 一种机载吊舱图像搜索跟踪处理系统 |
| CN113671980A (zh) * | 2021-09-03 | 2021-11-19 | 南京理工大学 | 一种基于记忆更迭的无人机速度自适应象限跟踪控制方法 |
| CN113721665A (zh) * | 2020-11-16 | 2021-11-30 | 北京理工大学 | 应用于反低慢小目标的基于机器视觉的云台控制方法 |
| CN113807224A (zh) * | 2021-09-07 | 2021-12-17 | 金华市浙工大创新联合研究院 | 一种工厂违规行为检测跟踪方法 |
| CN113890977A (zh) * | 2021-10-13 | 2022-01-04 | 中国电子科技集团公司第三研究所 | 机载视频处理装置及具有其的无人机 |
| CN114115318A (zh) * | 2021-12-01 | 2022-03-01 | 山东八五信息技术有限公司 | 一种无人机降落到移动车辆顶部的视觉方法 |
| CN114296479A (zh) * | 2021-12-30 | 2022-04-08 | 哈尔滨工业大学 | 一种基于图像的无人机对地面车辆跟踪方法及系统 |
| CN114326765A (zh) * | 2021-12-01 | 2022-04-12 | 爱笛无人机技术(南京)有限责任公司 | 一种用于无人机视觉着陆的地标跟踪控制系统及方法 |
| CN114556904A (zh) * | 2020-12-30 | 2022-05-27 | 深圳市大疆创新科技有限公司 | 云台系统的控制方法、控制设备、云台系统和存储介质 |
| CN114964245A (zh) * | 2022-02-25 | 2022-08-30 | 珠海紫燕无人飞行器有限公司 | 一种无人机视觉侦察定位方法 |
| CN115063452A (zh) * | 2022-06-13 | 2022-09-16 | 中国船舶重工集团公司第七0七研究所九江分部 | 一种针对海上目标的云台摄像头跟踪方法 |
| CN115242958A (zh) * | 2021-04-22 | 2022-10-25 | 北京君正集成电路股份有限公司 | 一种支持复杂场景下的人形跟踪拍摄的控制方法及装置 |
| CN115686043A (zh) * | 2022-10-28 | 2023-02-03 | 南京航空航天大学 | 固定翼飞行器和旋翼飞行器的空中对接方法 |
| WO2023109716A1 (zh) * | 2021-12-13 | 2023-06-22 | 深圳先进技术研究院 | 车机协同目标丢失跟踪方法、装置、设备及其存储介质 |
| CN116540790A (zh) * | 2023-07-05 | 2023-08-04 | 深圳市保凌影像科技有限公司 | 云台稳定控制方法、装置、电子设备及存储介质 |
| CN117130383A (zh) * | 2023-09-14 | 2023-11-28 | 之江实验室 | 无人机视觉跟踪方法、系统、无人机及可读存储介质 |
| CN117197695A (zh) * | 2023-09-14 | 2023-12-08 | 思翼科技（深圳）有限公司 | 基于人工智能的无人机云台相机目标识别跟踪方法及系统 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101860732A (zh) * | 2010-06-04 | 2010-10-13 | 天津市亚安科技电子有限公司 | 一种控制云台摄像机自动跟踪目标的方法 |
| CN102355574A (zh) * | 2011-10-17 | 2012-02-15 | 上海大学 | 机载云台运动目标自主跟踪系统的图像稳定方法 |
| CN102411371A (zh) * | 2011-11-18 | 2012-04-11 | 浙江大学 | 一种基于多传感器服务机器人跟随系统和方法 |
| CN103838244A (zh) * | 2014-03-20 | 2014-06-04 | 湖南大学 | 基于四轴飞行器的便携式目标跟踪方法及系统 |
| CN106774436A (zh) * | 2017-02-27 | 2017-05-31 | 南京航空航天大学 | 基于视觉的旋翼无人机稳定跟踪目标的控制系统及方法 |
| CN106874854A (zh) * | 2017-01-19 | 2017-06-20 | 西安电子科技大学 | 基于嵌入式平台的无人机车辆跟踪方法 |
| WO2017185503A1 (zh) * | 2016-04-29 | 2017-11-02 | 高鹏 | 目标跟踪方法和装置 |
| CN107992827A (zh) * | 2017-12-03 | 2018-05-04 | 湖南工程学院 | 一种基于三维模型的多运动目标跟踪的方法及装置 |
| CN108646741A (zh) * | 2018-05-31 | 2018-10-12 | 哈尔滨工程大学 | 一种基于视觉反馈的无人艇目标跟踪方法 |
| US20180308371A1 (en) * | 2017-04-19 | 2018-10-25 | Beihang University | Joint search method for uav multiobjective path planning in urban low altitude environment |
| CN110222581A (zh) * | 2019-05-13 | 2019-09-10 | 电子科技大学 | 一种基于双目相机的四旋翼无人机视觉目标跟踪方法 |
| CN110262534A (zh) * | 2019-06-25 | 2019-09-20 | 北京机械设备研究所 | 一种针对低慢小目标的无人机跟踪与拦截系统及方法 |
| CN110288627A (zh) * | 2019-05-22 | 2019-09-27 | 江苏大学 | 一种基于深度学习和数据关联的在线多目标跟踪方法 |
| CN110398720A (zh) * | 2019-08-21 | 2019-11-01 | 深圳耐杰电子技术有限公司 | 一种反无人机探测跟踪干扰系统及光电跟踪系统工作方法 |
| CN111126152A (zh) * | 2019-11-25 | 2020-05-08 | 国网信通亿力科技有限责任公司 | 一种基于视频的多目标行人检测与跟踪的方法 |
| CA3067573A1 (en) * | 2019-01-14 | 2020-07-14 | Harbin Engineering University | Target tracking systems and methods for uuv |
| CN111476116A (zh) * | 2020-03-24 | 2020-07-31 | 南京新一代人工智能研究院有限公司 | 一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法 |
| WO2020155873A1 (zh) * | 2019-02-02 | 2020-08-06 | 福州大学 | 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法 |
-
2020
- 2020-08-07 CN CN202010788407.0A patent/CN111932588B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101860732A (zh) * | 2010-06-04 | 2010-10-13 | 天津市亚安科技电子有限公司 | 一种控制云台摄像机自动跟踪目标的方法 |
| CN102355574A (zh) * | 2011-10-17 | 2012-02-15 | 上海大学 | 机载云台运动目标自主跟踪系统的图像稳定方法 |
| CN102411371A (zh) * | 2011-11-18 | 2012-04-11 | 浙江大学 | 一种基于多传感器服务机器人跟随系统和方法 |
| CN103838244A (zh) * | 2014-03-20 | 2014-06-04 | 湖南大学 | 基于四轴飞行器的便携式目标跟踪方法及系统 |
| WO2017185503A1 (zh) * | 2016-04-29 | 2017-11-02 | 高鹏 | 目标跟踪方法和装置 |
| CN106874854A (zh) * | 2017-01-19 | 2017-06-20 | 西安电子科技大学 | 基于嵌入式平台的无人机车辆跟踪方法 |
| CN106774436A (zh) * | 2017-02-27 | 2017-05-31 | 南京航空航天大学 | 基于视觉的旋翼无人机稳定跟踪目标的控制系统及方法 |
| US20180308371A1 (en) * | 2017-04-19 | 2018-10-25 | Beihang University | Joint search method for uav multiobjective path planning in urban low altitude environment |
| CN107992827A (zh) * | 2017-12-03 | 2018-05-04 | 湖南工程学院 | 一种基于三维模型的多运动目标跟踪的方法及装置 |
| CN108646741A (zh) * | 2018-05-31 | 2018-10-12 | 哈尔滨工程大学 | 一种基于视觉反馈的无人艇目标跟踪方法 |
| CA3067573A1 (en) * | 2019-01-14 | 2020-07-14 | Harbin Engineering University | Target tracking systems and methods for uuv |
| WO2020155873A1 (zh) * | 2019-02-02 | 2020-08-06 | 福州大学 | 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法 |
| CN110222581A (zh) * | 2019-05-13 | 2019-09-10 | 电子科技大学 | 一种基于双目相机的四旋翼无人机视觉目标跟踪方法 |
| CN110288627A (zh) * | 2019-05-22 | 2019-09-27 | 江苏大学 | 一种基于深度学习和数据关联的在线多目标跟踪方法 |
| CN110262534A (zh) * | 2019-06-25 | 2019-09-20 | 北京机械设备研究所 | 一种针对低慢小目标的无人机跟踪与拦截系统及方法 |
| CN110398720A (zh) * | 2019-08-21 | 2019-11-01 | 深圳耐杰电子技术有限公司 | 一种反无人机探测跟踪干扰系统及光电跟踪系统工作方法 |
| CN111126152A (zh) * | 2019-11-25 | 2020-05-08 | 国网信通亿力科技有限责任公司 | 一种基于视频的多目标行人检测与跟踪的方法 |
| CN111476116A (zh) * | 2020-03-24 | 2020-07-31 | 南京新一代人工智能研究院有限公司 | 一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法 |
Non-Patent Citations (1)
| Title |
|---|
| 袁大龙;纪庆革: "协同运动状态估计的多目标跟踪算法", 计算机科学, no. 0 * |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113721665A (zh) * | 2020-11-16 | 2021-11-30 | 北京理工大学 | 应用于反低慢小目标的基于机器视觉的云台控制方法 |
| CN114556904A (zh) * | 2020-12-30 | 2022-05-27 | 深圳市大疆创新科技有限公司 | 云台系统的控制方法、控制设备、云台系统和存储介质 |
| CN112965081A (zh) * | 2021-02-05 | 2021-06-15 | 浙江大学 | 基于融合行人信息的特征地图的模仿学习社交导航方法 |
| CN112965081B (zh) * | 2021-02-05 | 2023-08-01 | 浙江大学 | 基于融合行人信息的特征地图的模仿学习社交导航方法 |
| CN113139985A (zh) * | 2021-03-16 | 2021-07-20 | 北京理工大学 | 消除无人机与地面站通信延迟影响的跟踪目标框选方法 |
| CN112802062B (zh) * | 2021-04-08 | 2021-06-22 | 中国人民解放军国防科技大学 | 基于计算机视觉中运动显著性感知的无人机集群机动方法 |
| CN112802062A (zh) * | 2021-04-08 | 2021-05-14 | 中国人民解放军国防科技大学 | 基于计算机视觉中运动显著性感知的无人机集群机动方法 |
| CN115242958B (zh) * | 2021-04-22 | 2023-09-26 | 北京君正集成电路股份有限公司 | 一种支持复杂场景下的人形跟踪拍摄的控制方法及装置 |
| CN115242958A (zh) * | 2021-04-22 | 2022-10-25 | 北京君正集成电路股份有限公司 | 一种支持复杂场景下的人形跟踪拍摄的控制方法及装置 |
| CN113395448A (zh) * | 2021-06-15 | 2021-09-14 | 西安视成航空科技有限公司 | 一种机载吊舱图像搜索跟踪处理系统 |
| CN113671980A (zh) * | 2021-09-03 | 2021-11-19 | 南京理工大学 | 一种基于记忆更迭的无人机速度自适应象限跟踪控制方法 |
| CN113671980B (zh) * | 2021-09-03 | 2023-11-21 | 南京理工大学 | 一种基于记忆更迭的无人机速度自适应象限跟踪控制方法 |
| CN113807224B (zh) * | 2021-09-07 | 2023-11-21 | 金华市浙工大创新联合研究院 | 一种工厂违规行为检测跟踪方法 |
| CN113807224A (zh) * | 2021-09-07 | 2021-12-17 | 金华市浙工大创新联合研究院 | 一种工厂违规行为检测跟踪方法 |
| CN113890977A (zh) * | 2021-10-13 | 2022-01-04 | 中国电子科技集团公司第三研究所 | 机载视频处理装置及具有其的无人机 |
| CN114326765A (zh) * | 2021-12-01 | 2022-04-12 | 爱笛无人机技术(南京)有限责任公司 | 一种用于无人机视觉着陆的地标跟踪控制系统及方法 |
| CN114326765B (zh) * | 2021-12-01 | 2024-02-09 | 爱笛无人机技术(南京)有限责任公司 | 一种用于无人机视觉着陆的地标跟踪控制系统及方法 |
| CN114115318A (zh) * | 2021-12-01 | 2022-03-01 | 山东八五信息技术有限公司 | 一种无人机降落到移动车辆顶部的视觉方法 |
| CN114115318B (zh) * | 2021-12-01 | 2023-03-17 | 山东八五信息技术有限公司 | 一种无人机降落到移动车辆顶部的视觉方法 |
| WO2023109716A1 (zh) * | 2021-12-13 | 2023-06-22 | 深圳先进技术研究院 | 车机协同目标丢失跟踪方法、装置、设备及其存储介质 |
| CN114296479A (zh) * | 2021-12-30 | 2022-04-08 | 哈尔滨工业大学 | 一种基于图像的无人机对地面车辆跟踪方法及系统 |
| CN114964245B (zh) * | 2022-02-25 | 2023-08-11 | 珠海紫燕无人飞行器有限公司 | 一种无人机视觉侦察定位方法 |
| CN114964245A (zh) * | 2022-02-25 | 2022-08-30 | 珠海紫燕无人飞行器有限公司 | 一种无人机视觉侦察定位方法 |
| CN115063452A (zh) * | 2022-06-13 | 2022-09-16 | 中国船舶重工集团公司第七0七研究所九江分部 | 一种针对海上目标的云台摄像头跟踪方法 |
| CN115063452B (zh) * | 2022-06-13 | 2024-03-26 | 中国船舶重工集团公司第七0七研究所九江分部 | 一种针对海上目标的云台摄像头跟踪方法 |
| CN115686043A (zh) * | 2022-10-28 | 2023-02-03 | 南京航空航天大学 | 固定翼飞行器和旋翼飞行器的空中对接方法 |
| CN116540790B (zh) * | 2023-07-05 | 2023-09-08 | 深圳市保凌影像科技有限公司 | 云台稳定控制方法、装置、电子设备及存储介质 |
| CN116540790A (zh) * | 2023-07-05 | 2023-08-04 | 深圳市保凌影像科技有限公司 | 云台稳定控制方法、装置、电子设备及存储介质 |
| CN117130383A (zh) * | 2023-09-14 | 2023-11-28 | 之江实验室 | 无人机视觉跟踪方法、系统、无人机及可读存储介质 |
| CN117197695A (zh) * | 2023-09-14 | 2023-12-08 | 思翼科技（深圳）有限公司 | 基于人工智能的无人机云台相机目标识别跟踪方法及系统 |
| CN117130383B (zh) * | 2023-09-14 | 2024-03-29 | 之江实验室 | 无人机视觉跟踪方法、系统、无人机及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111932588B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111932588B (zh) | 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法 | |
| CN113269098B (zh) | 一种基于无人机的多目标跟踪定位与运动状态估计方法 | |
| US20200354079A1 (en) | Systems and methods for dynamic planning and operation of autonomous systems using image observation and information theory | |
| CN110222581B (zh) | 一种基于双目相机的四旋翼无人机视觉目标跟踪方法 | |
| US11218689B2 (en) | Methods and systems for selective sensor fusion | |
| US20220234733A1 (en) | Aerial Vehicle Smart Landing | |
| CN111326023B (zh) | 一种无人机航线预警方法、装置、设备及存储介质 | |
| CN112567201B (zh) | 距离测量方法以及设备 | |
| CN105652891B (zh) | 一种旋翼无人机移动目标自主跟踪装置及其控制方法 | |
| Zhao et al. | Detection, tracking, and geolocation of moving vehicle from uav using monocular camera | |
| CN111679695B (zh) | 一种基于深度学习技术的无人机巡航及追踪系统和方法 | |
| Price et al. | Deep neural network-based cooperative visual tracking through multiple micro aerial vehicles | |
| CN106874854B (zh) | 基于嵌入式平台的无人机车辆跟踪方法 | |
| Mueller et al. | Persistent aerial tracking system for UAVs | |
| WO2019152149A1 (en) | Actively complementing exposure settings for autonomous navigation | |
| CN113485441A (zh) | 结合无人机高精度定位和视觉跟踪技术的配网巡检方法 | |
| CN105182992A (zh) | 无人机的控制方法、装置 | |
| CN115661204B (zh) | 一种无人机集群对运动目标的协同搜寻与跟踪定位方法 | |
| CN110619276B (zh) | 基于无人机移动监控的异常及暴力检测系统和方法 | |
| Wu et al. | Vision-based target detection and tracking system for a quadcopter | |
| CN114689030A (zh) | 一种基于机载视觉的无人机辅助定位方法及系统 | |
| Basit et al. | Joint localization of pursuit quadcopters and target using monocular cues | |
| CN111402324B (zh) | 一种目标测量方法、电子设备以及计算机存储介质 | |
| CN113156450B (zh) | 无人机上的主动旋转激光雷达系统及其控制方法 | |
| Anastasiou et al. | Hyperion: A robust drone-based target tracking system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |