CN118279770B - 一种基于slam算法的无人机跟拍方法 - Google Patents
一种基于slam算法的无人机跟拍方法 Download PDFInfo
- Publication number
- CN118279770B CN118279770B CN202410705649.7A CN202410705649A CN118279770B CN 118279770 B CN118279770 B CN 118279770B CN 202410705649 A CN202410705649 A CN 202410705649A CN 118279770 B CN118279770 B CN 118279770B
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- target
- data
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000007613 environmental effect Effects 0.000 claims abstract description 44
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 35
- 238000005457 optimization Methods 0.000 claims abstract description 32
- 230000033001 locomotion Effects 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000012790 confirmation Methods 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 44
- 230000006870 function Effects 0.000 claims description 30
- 238000010586 diagram Methods 0.000 claims description 26
- 238000011156 evaluation Methods 0.000 claims description 23
- 238000013136 deep learning model Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 8
- 241001239379 Calophysus macropterus Species 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 230000006399 behavior Effects 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000000704 physical effect Effects 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 230000006641 stabilisation Effects 0.000 claims description 3
- 238000011105 stabilization Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000008034 disappearance Effects 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 238000013507 mapping Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于SLAM算法的无人机跟拍方法，首先获取无人机参数和实时飞行图像，进行预处理，基于预处理后的飞行图像得到无人机当前位置及摄像头覆盖范围，完成图像识别，锁定跟拍目标；然后获取无人机飞行数据，基于SLAM算法，根据飞行数据进行SLAM的图优化，使用卷积神经网络提取环境特征，提高SLAM算法精度；接着根据无人机实时飞行数据构建跟踪算法，实时跟踪跟拍目标并适应环境变化；最后将跟拍目标的运动轨迹和根据历史操作调整调整后的界面布局，发送至用户终端显示，接收用户终端的确认信息。本发明方法解决了固定机位跟拍无法实时跟踪客体运动和难以适应复杂的环境变化的问题，进一步提高了多目标跟拍的精度。
Description
技术领域
本发明属于无人机技术领域，尤其涉及一种基于SLAM算法的无人机跟拍方法。
背景技术
无人驾驶飞机简称无人机，一般利用无线电遥控设备和无人机自身的程序控制装置进行操纵。近年来，无人机技术迅速发展，已广泛应用于军事侦察、地理测绘、农业监控、影视制作等领域，尤其在影视制作和体育赛事中，无人机的跟拍功能显得尤为重要。
同时期，SLAM（Simultaneous Localization and Mapping同步定位与地图构建）算法作为一种能够在未知环境中实现自我定位和环境映射的方法，已被广泛应用于无人机和无人车领域。在无人机领域中，SLAM算法能够通过摄像头和传感器实时捕捉环境信息，辅助无人机进行精准的空间定位和路径规划。
然而，基于传统的SLAM算法进行无人机跟拍，基本使用固定机位的跟拍方式，存在无法实时跟踪客体运动和难以适应复杂的环境变化的问题。
发明内容
本发明所要解决的问题是：提供一种基于SLAM算法的无人机跟拍方法，解决固定机位跟拍无法实时跟踪客体运动和难以适应复杂的环境变化的问题。
本发明采用如下技术方案：一种基于SLAM算法的无人机跟拍方法，包括如下步骤：
S1、获取无人机参数，实时获取无人机飞行图像，并进行预处理，基于预处理后的飞行图像得到无人机当前位置及摄像头覆盖范围，完成图像识别，锁定跟拍目标；
S2、获取无人机飞行数据，基于SLAM算法，根据飞行数据进行SLAM的图优化，使用卷积神经网络提取环境特征，提高SLAM算法精度；
S3、根据无人机实时飞行数据，构建跟踪算法，实时跟踪跟拍目标；
S4、实时跟踪跟拍目标，并适应环境变化，将跟拍目标的运动轨迹和根据历史操作调整后的界面布局，发送至用户终端显示。
进一步地，步骤S1中，无人机参数，包括无人机的物理属性、性能指标、控制系和传感器配置，具体如下：
S1.1、获取无人机参数，得到无人机续航能力、覆盖范围和恶劣天气下的表现；包括：无人机尺寸和重量、无人机的最大飞行时间、最大飞行高度、最大飞行速度、抗风等级；
S1.2、获取无人机摄像头和图像传感器参数，得到无人机的摄像头续航时间和充电效率；包括：摄像头传感器类型、尺寸、分辨率、光圈、覆盖的角度范围、稳定系统；
S1.3、获取无人机的传感器和避障系统，获取无人机定位精度和飞行安全性；包括：用于定位和导航的GPS和/或GLONASS传感器、用于自动避开障碍物的避障传感器、用于智能跟随和定点悬停的视觉传感器；
实时获取无人机飞行图像，并进行预处理，调整图像大小并归一化图像像素值；
将无人机参数和预处理后的无人机飞行图像作为输入数据，使用SLAM算法，得到无人机当前位置及摄像头覆盖范围，完成图像识别，锁定跟拍目标。
进一步地，步骤S2中，获取无人机飞行数据，根据飞行数据进行SLAM的图优化，使用卷积神经网络提取环境特征，具体包括：
S2.1、基于实时获取的传感器数据，进行传感器数据融合，提高SLAM算法的鲁棒性和精度；所述传感器数据，包括激光雷达数据、视觉相机数据和惯性测量单元IMU数据；
S2.2、构建观测图，通过观测图查询无人机路径和地图配置，进行SLAM的图优化，找到最优无人机路径和地标位置；
S2.3、获取无人机实时飞行数据，通过卷积神经网络处理飞行数据，提取环境特征，改善特征提取和数据关联，进行SLAM算法优化。
进一步地，步骤S2.1中不同类型传感器数据融合，采用ORB-SLAM3或VINS-Fusion方法，融合惯性测量单元IMU数据与视觉相机数据，结合ekf扩展卡尔曼滤波，并采用滑动平均方法，获取更精准的数据，同时去除数据中的随机噪声，提高SLAM算法的鲁棒性和精准性。
进一步地，步骤S2.2中所述观测图，包括观测数据和状态变量；所述状态变量，包括无人机位置和方向，以及地图中的特征点位置；所述观测数据，为无人机通过传感器获取的信息，包括距离、角度；
根据传感器的数据构建观测图，进行SLAM的图优化，构建观测图每条边的误差函数F，表示观测数据和当前状态变量之间的差异，进行SLAM的图优化，将所有边误差函数整合，构建非线性最小二乘公式，最小化所有边的误差函数总和；
进行调整状态变量，由于误差函数是非线性的，使用迭代线性化方法进行求解，每次迭代中，通过求解线性方程组来更新状态变量，根据无人机下一时刻的观测数据和状态变量进行下一次迭代，当误差不再显著减少或达到预设的迭代次数时，完成SLAM的图优化，获得最优的无人机路径和地标位置。
进一步地，步骤S2.3中通过使用卷积神经网络提取环境特征，改善特征提取和数据关联，进行SLAM算法优化；卷积神经网为Mask R-CNN实例分割模型，用于在动态变化环境中，实时识别和跟踪多个物体，同时识别并提取多个跟拍目标的环境特征，包括目标物体的的类别、位置和轮廓；将Backbone Network作为基础特征提取器，生成多层次的特征图，包含从目标物体的边缘、纹理的低级特征信息到物体部分、整体形状的高级视觉信息；基于特征图，通过卷积操作，首先RPN在网络的高层特征图上滑动，生成候选区域；然后候选区域通过RoI Align层，提取固定尺寸的特征向量，准备进行进一步的分类和分割；最后通过分类分支确定每个候选区域的类别，同时通过掩模分支预测出跟拍目标的精确轮廓。
进一步地，步骤S3中，根据无人机实时飞行数据，构建跟踪算法，具体包括：
S3.1、基于无人机实时飞行数据，使用数据增强增加图像泛化能力，通过深度学习模型进行目标检测，定位和识别跟拍目标；所述深度学习模型为Yolov5目标检测模型，在COCO数据集上进行训练，使用COCO数据集的测试集，运行Yolov5目标检测算法，获取跟拍目标的检测结果；
S3.2、根据无人机实时飞行数据构建跟踪算法，通过跟踪算法跟踪跟拍目标，基于预测位置、外观特征进行目标匹配，解决目标短暂消失或遮挡问题，得到跟踪结果；
S3.3、对跟踪结果进行评估，得到评估结果，比对评估结果与阈值，评估结果超出阈值则判定跟踪不准确，重新构建跟踪算法。
进一步地，步骤S3.2中，所述跟踪算法为DeepSORT算法，在MOT数据集上使用DeepSORT算法，使用MOT测试视频，运行DeepSORT算法，获取跟踪结果，计算MOTA和MOTP；所述MOTA综合考虑误检、漏检和身份切换的情况，所述MOTP衡量跟踪边界框与真值的匹配精度；
将连续帧中的检测结果与已有的跟踪目标进行匹配，通过无人机外观特征、运动信息或者两者结合，根据数据关联的结果，更新跟拍目标状态，包括跟拍目标的位置和速度，进行多目标跟踪，包括如下子步骤：
S3.2.1、基于深度学习Yolov5目标检测模型，检测得到的跟拍目标，包括每个候选目标位置的边界框坐标；
S3.2.2、使用卡尔曼滤波器预测上一帧中目标在当前帧的可能位置，以应对目标短暂消失或遮挡的情况，基于预测位置、外观特征进行目标匹配；
S3.2.3、接着根据匹配结果更新每个目标的轨迹和身份信息，处理新出现的跟拍目标和消失的跟拍目标；
S3.2.4、最终输出一系列跟踪目标的信息，包括边界框、ID标识符信息，表示每个跟拍目标的连续跟踪轨迹结果。
进一步地，步骤S3.3中，对跟踪结果进行评估，评估指标包括：精确率Precision、召回率Recall、交并比IoU；对每个图像，首先比较跟踪算法检测的边界框与真值，如果检测框与真值框的IoU大于0.5，则认为该检测是正确的TP，统计所有图像的TP、FP和FN，计算整个图像数据集的精确率和召回率；然后绘制PR曲线，改变IoU阈值，计算不同阈值下的精确率和召回率，绘制出PR曲线，使用曲线下的面积AP作为综合评估指标；最后进行分析结果，得到DeepSORT算法在处理遮挡、交互情况下的表现。
进一步地，步骤S4，所述根据历史操作调整终端界面布局，发送调整后的界面布局至用户终端，接收用户终端的确认信息的步骤，具体包括：
S4.1、实时获取无人机飞行数据，显示于终端界面；包括无人机速度、高度和电量；
S4.2、获取用户历史操作记录，根据历史操作调整终端界面布局，根据用户的行为、偏好和环境条件自动调整界面布局和功能，包括无人机的操作流程；
S4.3、同步跟踪结果及调整后的界面布局，发送至用户终端，接收用户终端的确认信息。
本发明技术方案还包括：一种基于SLAM算法的无人机跟拍系统，用于实现上述任一无人机跟拍方法，包括：参数获取模块、算法优化模块、目标跟踪模块、操作调整模块。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
本发明基于SLAM算法的无人机跟拍方法，通过获取无人机参数，得到无人机的续航能力、覆盖范围、拍摄能力、定位精度和图像质量；通过实时获取无人机飞行图像，完成图像识别并锁定跟拍目标；通过获取无人机历史飞行数据，优化SLAM算法，提取环境特征，实现实时建立环境地图，实现无人机的自主导航和避障；进一步通过根据无人机飞行数据构建跟踪算法，将连续图像中的检测结果与已有的跟踪目标进行匹配，根据历史操作调整终端界面布局，根据用户的行为、偏好和环境条件自动调整界面布局和功能，解决了无法实时跟踪客体运动和难以适应复杂的环境变化的问题。
附图说明
图1为本发明基于SLAM算法的无人机跟拍方法流程图；
图2为本发明根据无人机飞行数据优化SLAM算法提取环境特征的步骤流程图；
图3为本发明构建跟踪算法的步骤流程图；
图4为本发明调整终端界面布局并发送至用户终端的步骤流程图；
图5为本发明实施例基于SLAM算法无人机跟拍系统架构图；
图6为本发明实施例算法优化模块架构图；
图7为本发明实施例目标跟踪模块架构图；
图8为本发明实施例操作调整模块架构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对申请的技术方案做进一步地详尽阐述，所描述的实施例，也只是本发明所涉及实施例的一部分。本领域其他研究人员在该实施例上的所有非创新型实施例，都属于本发明的保护范围。同时对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的一个实施例中，基于SLAM算法的无人机跟拍方法，如图1所示，包括如下步骤：
S100、获取无人机参数，实时获取无人机飞行图像，并进行预处理，基于预处理后的飞行图像得到无人机当前位置及摄像头覆盖范围，完成图像识别，锁定跟拍目标；
S200、获取无人机飞行数据，基于SLAM算法，根据飞行数据进行SLAM的图优化，使用卷积神经网络提取环境特征，提高SLAM算法精度；
S300、根据无人机实时飞行数据，构建跟踪算法，实时跟踪跟拍目标；
S400、实时跟踪跟拍目标，并适应环境变化，将跟拍目标的运动轨迹和根据历史操作调整后的界面布局，发送至用户终端显示。
本实施例中，基于SLAM算法的无人机跟拍方法，具体如下：
S100、获取无人机参数，所述参数包括物理属性、性能指标、控制系和传感器配置，实时获取无人机飞行图像。
其中，获取无人机参数，指获取无人机的尺寸和重量，尺寸包括展开和折叠状态下的尺寸，重量包括起飞重量和最大起飞重量，尺寸和重量决定了无人机的便携性和对飞行许可的要求；
获取无人机的最大飞行时间，指无人机在理想条件下单次飞行的最长时间；最大飞行时间，指无人机在理想条件下单次飞行的最长时间；最大飞行高度，无人机能够达到的最高高度；最大飞行速度，无人机在平飞时的最高速度；抗风等级，无人机能够抵御的最大风速，通过以上参数可以知道无人机的续航能力、覆盖范围和在恶劣天气下的表现；
获取无人机的摄像头和图像传感器参数，本实施例中，传感器类型和尺寸：1/2.3英寸CMOS；分辨率：4K、1080p，影响视频和照片质量，视角（FOV）：摄像头能够覆盖的角度范围；光圈：f/2.8，影响进光量和景深；稳定系统：三轴机械云台，用于减少抖动，通过以上参数可以知道无人机的续航时间和充电效率；
获取无人机的传感器和避障系统，本实施例中，包括：GPS/GLONASS，用于定位和导航；避障传感器，如前向、后向、下向避障，用于自动避开障碍物；视觉传感器，用于智能跟随和定点悬停，通过以上参数可以知道无人机定位精度和飞行安全性；
实时获取无人机飞行图像，通过飞行图像可以知道无人机当前所处位置以及摄像头的覆盖范围，并且能够通过飞行图像可以完成图像识别或其他传感器识别并锁定跟拍目标。
对无人机飞行图像进行预处理，调整图像大小并归一化图像像素值；
对实时获取无人机飞行图像进行预处理，对无人机拍摄的图像进行调整大小和归一化处理，
将无人机参数和预处理后的无人机飞行图像作为输入数据，使用SLAM算法，得到无人机当前位置及摄像头覆盖范围，完成图像识别，锁定跟拍目标。
S200、获取无人机飞行数据，基于SLAM算法，根据飞行数据进行SLAM的图优化，使用卷积神经网络提取环境特征，提高SLAM算法精度，如图2所示，包括：
S201、实时获取传感器的数据，传感器数据包括激光雷达数据、视觉相机数据和惯性测量单元IMU数据等。
每种传感器弥补了其他传感器的不足，例如激光雷达在低光环境下表现良好，而视觉SLAM可以提供更丰富的环境细节。
获取无人机飞行数据，通过飞行数据优化SLAM算法，通过利用不同类型的传感器数据融合可以提高SLAM的鲁棒性和精度，提高地图建立和定位的准确性与实时性。
具体地，在本实施例中，采用ORB-SLAM3或VINS-Fusion方法，融合惯性测量单元IMU数据与视觉相机数据，结合ekf（扩展卡尔曼滤波），并采用滑动平均方法，获取更精准的数据，同时去除数据中的随机噪声，提高SLAM算法的鲁棒性和精准性，提高在动态环境中的跟踪稳定性和地图精度。
S202、根据传感器的数据构建观测图，所述观测图包括观测数据和状态变量，通过观测图查询无人机路径和地图配置。
在本实施例中，根据传感器的数据构建观测图，通过构建一个包含所有观测数据和状态变量的图，并优化该图来找到最可能的无人机路径和地图配置，解决最优化无人机的路径和地图配置的问题，然后通过数学优化方法找到最佳的解决方案；
状态变量通常包括无人机的位置和方向，以及地图中的特征点位置，观测数据是指无人机通过传感器获取的信息，如距离、角度等，每条边都有一个误差函数，表示观测数据和当前状态变量之间的差异，通过最小化所有边的误差函数总和来调整状态变量，从而获得最优的路径和地图配置；
具体地，根据传感器的数据构建观测图，对于SLAM的图优化，构建误差函数F，误差函数通常是基于观测数据和预测状态之间的差异，公式如下：
；
其中，状态变量包括：无人机在不同时刻的位置，以及无人机观测地标的位置；观测数据为，表示从位置到地标的实际观测距离；是和之间的理论距离，通过迭代优化这个误差函数，调整和的位置，使得观测误差最小化，从而获得更准确的无人机路径和地标位置。
这些误差被构建为一个非线性最小二乘问题，进行SLAM的图优化，将所有边误差函数整合，构建如下非线性最小二乘公式，最小化所有边的误差函数总和：
；
其中，x表示所有状态变量的集合，E是所有边的集合；
调整状态变量，由于误差函数是非线性的，通常使用迭代线性化方法进行求解，每次迭代中，通过求解线性方程组来更新状态变量，公式为：
；
其中，H是海森矩阵，反映误差函数对状态变量的二阶偏导数，g是梯度向量，表示误差函数对状态变量的一阶偏导数，λ是一个用于确保正定的调整参数，I是单位矩阵;
根据解出的Δx更新状态变量x，重新评估误差，根据无人机下一时刻的观测数据和状态变量进行下一次迭代，当误差不再显著减少或达到预设的迭代次数时，完成SLAM的图优化，获得最优的无人机路径和地标位置。
S203、获取无人机历史飞行数据，通过卷积神经网络处理历史飞行数据进行SLAM算法优化，根据SLAM算法提取环境特征。
通过使用卷积神经网络（CNN）来提取环境特征来改善特征提取和数据关联，可以增强SLAM系统对复杂环境的适应能力，提升精度和速度。CNN是提取环境特征的强大工具，尤其适用于处理纹理丰富或动态变化的环境。CNN通过多层卷积层来自动学习和提取特征。在纹理丰富的环境中，可以使用较深的网络结构来捕捉复杂的特征。每个卷积层通常包括卷积操作、激活函数（如ReLU）和池化层，以降低特征的空间尺寸并提高特征的不变性，训练CNN时，需要大量无人机历史飞行数据，网络学习将输入图像映射到其环境特征表示。验证阶段则用于评估模型在未见过的数据上的泛化能力；
本实施例中，使用的CNN为Mask R-CNN（实例分割模型），能够在图像中同时识别物体的类别、位置和轮廓。在动态变化的环境中，如人群中或移动物体周围，通过Mask R-CNN可以实时识别和跟踪多个物体，提供更详细的环境特征信息。
具体地，Mask R-CNN将Backbone Network（主干网络）作为基础特征提取器，生成多层次的特征图，包含从低级（边缘、纹理）到高级（物体部分、整体形状）的视觉信息。基于特征图，首先RPN（Region Proposal Network区域候选网络）在网络的高层特征图上滑动，生成一系列RoI (Region of Interest, 候选区域)。这一步骤通过卷积操作实现，高效且并行。然后选中的RoI通过RoI Align层，提取固定尺寸的特征向量，准备进行进一步的分类和分割。最后通过分类分支确定每个RoI的类别，同时通过掩模分支预测出目标的精确轮廓。
S300、根据无人机实时飞行数据，构建跟踪算法，实时跟踪跟拍目标，如图3所示，具体包括：
S301、实时获取无人机飞行图像，通过深度学习模型定位和识别目标。
通过应用数据增强，增加模型的泛化能力，如旋转、缩放；通过选择合适的深度学习模型进行目标检测，定位和识别目标。
选择合适的深度学习模型进行目标检测，常用的模型包括YOLO（You Only LookOnce）、SSD（Single Shot MultiBox Detector）、Faster R-CNN等。这些模型能够在图像中快速准确地定位和识别多种目标；
具体地，本实施例中，使用Yolov5进行目标检测，Yolov5是一种非常快速的目标检测网络，能够在实时视频中准确地检测多种目标，使用COCO(Common Objects in Context)进行模型训练。
COCO用于目标检测、分割和关键点检测的数据集，含有超过200,000张图像和80个类别，准备数据和算法：使用COCO数据集的测试集，运行目标检测算法，获取检测结果。通过在COCO数据集上训练，Yolov5可以识别和定位80种不同的物体类别，这为目标跟踪提供了强大的起点。
S302、根据无人机飞行数据构建跟踪算法，通过跟踪算法跟踪识别目标，得到跟踪结果，同步跟踪结果至终端。
根据无人机飞行数据构建跟踪算法，在目标检测后，采用跟踪算法，可以采用SORT（Simple Online and Realtime Tracking）、DeepSORT、KCF（Kernelized CorrelationFilters）等，将连续帧中的检测结果与已有的跟踪目标进行匹配。这可以通过外观特征、运动信息或者两者的结合来实现，根据数据关联的结果，更新目标的状态，如位置和速度等，在目标丢失的情况下，采用预测模型来估计目标的可能位置。
本实施例中，跟踪算法为DeepSORT算法，DeepSORT是一种增强版的SORT，它通过使用深度学习提取的特征来改进数据关联和目标跟踪。
当结合Yolov5检测到的目标，DeepSORT能够在复杂环境中，如人群、快速移动的物体等，实现稳定的多目标跟踪，将连续帧中的检测结果与已有的跟踪目标进行匹配，通过无人机外观特征、运动信息或者两者结合，根据数据关联的结果，更新跟拍目标状态，包括跟拍目标的位置和速度，进行多目标跟踪。
具体为：基于yolov5深度学习所检测得到的目标，包括每个候选目标的位置（边界框坐标）。然后使用卡尔曼滤波器预测上一帧中目标在当前帧的可能位置，以应对目标短暂消失或遮挡的情况，基于预测位置、外观特征进行目标匹配。外观特征匹配在此过程中起到关键作用，特别是在解决遮挡问题时。根据匹配结果更新每个目标的轨迹和身份信息，处理新出现的目标和消失的目标。最终输出一系列跟踪目标的边界框、ID标识符等信息，表示每个目标的连续跟踪轨迹结果。
评估目标检测和跟踪算法的性能通常涉及使用标准数据集和一系列定量指标，使用标准数据集，标准数据集为评估提供了一组预定义的图像或视频及其对应的真值（ground truth），这些真值标注了目标的位置和类别。常用的数据集包括：
MOT (Multiple Object Tracking多目标跟踪)：专注于多目标跟踪的数据集，提供多个场景下的视频序列和真值标注；
VOT (Visual Object Tracking视觉目标跟踪)：包含短视频序列的跟踪数据集，每个序列有单一目标的详细标注；
在MOT数据集上使用DeepSORT：使用MOT测试视频，运行DeepSORT算法，获取跟踪结果，计算MOTA和MOTP：所述MOTA综合考虑误检、漏检和身份切换的情况，所述MOTP衡量跟踪边界框与真值的匹配精度。
分析结果：通过这些指标（MOTA，MOTP）了解DeepSORT算法在处理遮挡、交互情况下的表现。
S303、对跟踪结果进行评估，得到评估结果，比对评估结果与阈值，评估结果超出阈值则判定跟踪不准确，重新构建跟踪算法。
对跟踪结果进行评估，在跟踪过程中，利用在线学习适应目标外观的变化，提高跟踪的鲁棒性。为了全面评估检测和跟踪的性能，通过标准数据集和评估指标来评估检测和跟踪算法的性能.
在本实施例中，使用的评估指标包括精确率、召回率、IoU等；
精确率 (Precision)：反映了检测到的正类中有多少是真正的正类，公式为：
；
其中，TP是真正例（正确检测的目标数），FP是假正例（错误检测的目标数）。
召回率 (Recall)：反映了所有正类中有多少被正确检测，公式为：
；
其中，FN是假负例（未检测到的真实目标数）。
IoU (Intersection over Union)：衡量预测边界框和真值边界框之间的重叠程度，公式为：
；
其中，Area of Overlap表示预测框与真实框的交集面积，Area of Union则表示二者的并集面积
计算精确率和召回率：对每个图像，比较算法检测的边界框与真值。
对于检测和跟踪，通常只有当IoU超过某个阈值（如0.5）时，检测或跟踪才被认为是正确的。如果检测框与真值框的IoU大于0.5，则认为该检测是正确的（TP）。统计所有图像的TP、FP和FN，进而计算整个数据集的精确率和召回率。
绘制PR曲线：改变IoU阈值，计算不同阈值下的精确率和召回率，绘制出PR曲线。曲线下的面积（AP，Average Precision）是一个常用的综合评估指标。
S400、实时跟踪跟拍目标，并适应环境变化，将跟拍目标的运动轨迹和根据历史操作调整调整后的界面布局，发送至用户终端显示，如图4所示，具体包括：
S401、实时获取无人机飞行数据，所述飞行数据包括速度、高度和电量。
实时获取无人机飞行数据，提供实时的飞行数据反馈，如速度、高度、电量等，让操作者更好地掌控飞行状态，
例如，在遥控终端的主界面上，以仪表盘的形式实时显示无人机的速度和高度，便于操作者调整策略。
S402、获取历史操作记录，根据历史操作调整终端界面布局，所述界面布局包括无人机的操作流程。
获取历史操作记录，根据历史操作调整终端界面布局，简化化无人机的操作流程，增加智能化的交互功能，使用户能更容易地指定跟拍目标和风格；
例如，在遥控终端中，使用图标而非复杂的文本描述功能，使得新手也能快速上手，提供多种飞行模式，如手动、GPS定位、跟随模式等，根据不同的飞行需求切换，在城市环境中使用GPS定位模式进行稳定飞行，而在复杂地形中切换至手动模式以获得更灵活的操控。
S403、发送调整后的界面布局至用户终端，接收用户终端的确认信息。
在本步骤中，同步跟踪结果，发送跟踪结果及调整后的界面布局至用户终端，用户终端浏览之后，如果认为调整之后的界面布局更加方便，则进行确认，接收用户终端的确认信息。
本实施例还提供了一种基于SLAM算法的无人机跟拍系统，用于实现上述的无人机跟拍方法，如图5所示，包括：
参数获取模块100，用于获取无人机参数，所述参数包括物理属性、性能指标、控制系和传感器配置，实时获取无人机飞行图像。
算法优化模块200，用于获取无人机飞行数据，根据历史飞行数据优化SLAM算法通过利用不同类型的传感器数据融合可以提高SLAM的鲁棒性和精度，如激光雷达、视觉相机、惯性测量单元IMU等，提高地图建立和定位的准确性与实时性，通过使用卷积神经网络（CNN）来提取环境特征来改善特征提取和数据关联，可以增强SLAM系统对复杂环境的适应能力，提升精度和速度。
进一步地，如图6所示，算法优化模块200包括：
传感器获取单元201，用于实时获取传感器的数据，所述传感器数据包括激光雷达数据、视觉相机数据和惯性测量单元IMU数据。
观测图构建单元202，用于根据传感器的数据构建观测图，所述观测图包括观测数据和状态变量，通过观测图查询无人机路径和地图配置。
算法优化单元203，用于获取无人机历史飞行数据，通过卷积神经网络处理历史飞行数据进行SLAM算法优化，根据SLAM算法提取环境特征。CNN通过多层卷积层来自动学习和提取特征。在纹理丰富的环境中，可以使用较深的网络结构来捕捉复杂的特征。每个卷积层通常包括卷积操作、激活函数（如ReLU）和池化层，以降低特征的空间尺寸并提高特征的不变性，训练CNN时，需要大量无人机历史飞行数据，网络学习将输入图像映射到其环境特征表示。验证阶段则用于评估模型在未见过的数据上的泛化能力；CNN能够在复杂和动态的环境中有效地提取环境特征，为SLAM系统提供更准确和鲁棒的数据支持。
目标跟踪模块300，用于对实时获取无人机飞行图像进行预处理，根据无人机飞行数据构建跟踪算法，所述跟踪算法用于跟踪目标。
进一步地，如图7所示，目标跟踪模块300包括：
图像预处理单元301，用于对实时获取无人机飞行图像进行预处理，通过深度学习模型定位和识别目标，所述深度学习模型用于进行目标检测。
跟踪算法构建单元302，用于根据无人机飞行数据构建跟踪算法，通过跟踪算法跟踪识别目标，得到跟踪结果，同步跟踪结果至终端。
评估单元303，用于对跟踪结果进行评估，在跟踪过程中，利用在线学习适应目标外观的变化，提高跟踪的鲁棒性，通过标准数据集和评估指标来评估检测和跟踪算法的性能，如精确率、召回率、IoU等；得到评估结果，比对评估结果与阈值，评估结果超出阈值则判定跟踪不准确，重新构建跟踪算法。
操作调整模块400，用于根据历史操作调整终端界面布局，根据用户的行为、偏好和环境条件自动调整界面布局和功能，以适应用户的习惯和需求，将调整后的界面布局发送至用户终端，通过用户终端的确认之后，确定界面布局，实现无人机更好的操控。
进一步地，如图8所示，操作调整模块400包括：
飞行数据获取单元401，用于实时获取无人机飞行数据，提供实时的飞行数据反馈，如速度、高度、电量等，让操作者更好地掌控飞行状态。
操作调整单元402，用于获取历史操作记录，根据历史操作调整终端界面布局，简化化无人机的操作流程，增加智能化的交互功能，使用户能更容易地指定跟拍目标和风格。
确认单元403，用于发送调整后的界面布局至用户终端，用户终端浏览之后，如果认为调整之后的界面布局更加方便，则进行确认，接收用户终端的确认信息。
综上，本发明基于SLAM算法的无人机跟拍方法，通过获取无人机参数，得到无人机的续航能力、覆盖范围、拍摄能力、定位精度和图像质量；通过实时获取无人机飞行图像，完成图像识别并锁定跟拍目标；通过获取无人机历史飞行数据，优化SLAM算法，提取环境特征，实现实时建立环境地图，实现无人机的自主导航和避障；进一步通过根据无人机飞行数据构建跟踪算法，将连续图像中的检测结果与已有的跟踪目标进行匹配，根据历史操作调整终端界面布局，根据用户的行为、偏好和环境条件自动调整界面布局和功能，解决了无法实时跟踪客体运动和难以适应复杂的环境变化的问题。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种基于SLAM算法的无人机跟拍方法，其特征在于，包括如下步骤：
S1、获取无人机参数，实时获取无人机飞行图像，并进行预处理，基于预处理后的飞行图像得到无人机当前位置及摄像头覆盖范围，完成图像识别，锁定跟拍目标；
S2、获取无人机飞行数据，基于SLAM算法，根据飞行数据进行SLAM的图优化，使用卷积神经网络提取环境特征，提高SLAM算法精度，具体包括：
S2.1、基于实时获取的传感器数据，进行传感器数据融合，提高SLAM算法的鲁棒性和精度；所述传感器数据，包括激光雷达数据、视觉相机数据和惯性测量单元IMU数据；
不同类型传感器数据融合，采用ORB-SLAM3或VINS-Fusion方法，融合惯性测量单元IMU数据与视觉相机数据，结合ekf扩展卡尔曼滤波，并采用滑动平均方法，获取更精准的数据，同时去除数据中的随机噪声，提高SLAM算法的鲁棒性和精准性；
S2.2、构建观测图，通过观测图查询无人机路径和地图配置，进行SLAM的图优化，找到最优无人机路径和地标位置；
所述观测图，包括观测数据和状态变量；所述状态变量，包括无人机位置和方向，以及地图中的特征点位置；所述观测数据，为无人机通过传感器获取的信息，包括距离、角度；
根据传感器的数据构建观测图，进行SLAM的图优化，构建观测图每条边的误差函数F，表示观测数据和当前状态变量之间的差异，公式如下：
；
其中，状态变量包括：无人机在不同时刻的位置，以及无人机观测地标的位置；观测数据为，表示从位置到地标的实际观测距离；是和之间的理论距离；为无人机在位置的误差函数，调整和的位置，使得观测误差最小化；
进行SLAM的图优化，将所有边误差函数整合，构建非线性最小二乘公式，最小化所有边的误差函数总和，表示如下：
；
其中，x表示所有状态变量的集合，E是所有边的集合；
调整状态变量，由于误差函数是非线性的，使用迭代线性化方法进行求解，每次迭代中，通过求解线性方程组来更新状态变量，公式为：
；
其中，H是海森矩阵，反映误差函数对状态变量的二阶偏导数，g是梯度向量，表示误差函数对状态变量的一阶偏导数，λ是一个用于确保正定的调整参数，I是单位矩阵;
根据解出的Δx更新状态变量x，重新评估误差，根据无人机下一时刻的观测数据和状态变量进行下一次迭代，当误差不再显著减少或达到预设的迭代次数时，完成SLAM的图优化，获得最优的无人机路径和地标位置；
S2.3、获取无人机实时飞行数据，通过卷积神经网络处理飞行数据，提取环境特征，改善特征提取和数据关联，进行SLAM算法优化；
S3、根据无人机实时飞行数据，构建跟踪算法跟踪跟拍目标；
S4、实时跟踪跟拍目标，并适应环境变化，将跟拍目标的运动轨迹和根据历史操作调整后的界面布局，发送至用户终端显示。
2.根据权利要求1所述的基于SLAM算法的无人机跟拍方法，其特征在于，步骤S1中，所述无人机参数，包括无人机的物理属性、性能指标、控制系和传感器配置，具体如下：
S1.1、获取无人机参数，得到无人机续航能力、覆盖范围和恶劣天气下的表现；包括：无人机尺寸和重量、无人机的最大飞行时间、最大飞行高度、最大飞行速度、抗风等级；
S1.2、获取无人机摄像头和图像传感器参数，得到无人机的摄像头续航时间和充电效率；包括：摄像头传感器类型、尺寸、分辨率、光圈、覆盖的角度范围、稳定系统；
S1.3、获取无人机的传感器和避障系统，获取无人机定位精度和飞行安全性；包括：用于定位和导航的GPS和/或GLONASS传感器、用于自动避开障碍物的避障传感器、用于智能跟随和定点悬停的视觉传感器；
实时获取无人机飞行图像，并进行预处理，调整图像大小并归一化图像像素值；
将无人机参数和预处理后的无人机飞行图像作为输入数据，使用SLAM算法，得到无人机当前位置及摄像头覆盖范围，完成图像识别，锁定跟拍目标。
3.根据权利要求2所述的基于SLAM算法的无人机跟拍方法，其特征在于，步骤S2.3中通过使用卷积神经网络提取环境特征，改善特征提取和数据关联，进行SLAM算法优化；
所述卷积神经网为Mask R-CNN实例分割模型，用于在动态变化环境中，实时识别和跟踪多个物体，同时识别并提取多个跟拍目标的环境特征，包括目标物体的的类别、位置和轮廓；将Backbone Network作为基础特征提取器，生成多层次的特征图，包含从目标物体的边缘、纹理的低级特征信息到物体部分、整体形状的高级视觉信息；基于特征图，通过卷积操作，首先RPN在网络的高层特征图上滑动，生成候选区域；然后候选区域通过RoI Align层，提取固定尺寸的特征向量，准备进行进一步的分类和分割；最后通过分类分支确定每个候选区域的类别，同时通过掩模分支预测出跟拍目标的精确轮廓。
4.根据权利要求1所述的基于SLAM算法的无人机跟拍方法，其特征在于，步骤S3中，根据无人机实时飞行数据，构建跟踪算法，具体包括：
S3.1、基于无人机实时飞行数据，使用数据增强增加图像泛化能力，通过深度学习模型进行目标检测，定位和识别跟拍目标；所述深度学习模型为Yolov5目标检测模型，在COCO数据集上进行训练，使用COCO数据集的测试集，运行Yolov5目标检测算法，获取跟拍目标的检测结果；
S3.2、根据无人机实时飞行数据构建跟踪算法，通过跟踪算法跟踪跟拍目标，基于预测位置、外观特征进行目标匹配，解决目标短暂消失或遮挡问题，得到跟踪结果；
S3.3、对跟踪结果进行评估，得到评估结果，比对评估结果与阈值，评估结果超出阈值则判定跟踪不准确，重新构建跟踪算法。
5.根据权利要求4所述的基于SLAM算法的无人机跟拍方法，其特征在于，步骤S3.2中，所述跟踪算法为DeepSORT算法，在MOT数据集上使用DeepSORT算法，使用MOT测试视频，运行DeepSORT算法，获取跟踪结果，计算MOTA和MOTP；所述MOTA综合考虑误检、漏检和身份切换的情况，所述MOTP衡量跟踪边界框与真值框的匹配精度；
将连续帧中的检测结果与已有的跟踪目标进行匹配，通过无人机外观特征、运动信息或者两者结合，根据数据关联的结果，更新跟拍目标状态，包括跟拍目标的位置和速度，进行多目标跟踪，包括如下子步骤：
S3.2.1、基于深度学习Yolov5目标检测模型，检测得到的跟拍目标，包括每个候选目标位置的边界框坐标；
S3.2.2、使用卡尔曼滤波器预测上一帧中目标在当前帧的可能位置，以应对目标短暂消失或遮挡的情况，基于预测位置、外观特征进行目标匹配；
S3.2.3、接着根据匹配结果更新每个目标的轨迹和身份信息，处理新出现的跟拍目标和消失的跟拍目标；
S3.2.4、最终输出一系列跟踪目标的信息，包括边界框、ID标识符信息，表示每个跟拍目标的连续跟踪轨迹结果。
6.根据权利要求5所述的基于SLAM算法的无人机跟拍方法，其特征在于，步骤S3.3中，对跟踪结果进行评估，评估指标包括：
S3.3.1、精确率Precision，用于反映检测到正类中真正的正类，公式为：
；
其中，TP是真正例，表示正确检测的目标数，FP是假正例，表示错误检测的目标数；
S3.3.2、召回率Recall，用于反映被正确检测的正类，公式为：
；
其中，FN是假负例，表示未检测到的真实目标数；
S3.3.3、交并比IoU，用于衡量边界框和真值框之间的重叠程度，计算公式为：
；
其中，表示边界框与真值框的交集面积，表示边界框与真值框的并集面积；
对每个图像，比较跟踪算法检测的边界框与真值框，如果边界框与真值框的IoU大于0.5，则认为该检测是正确的TP，统计所有图像的TP、FP和FN，计算整个图像数据集的精确率和召回率；绘制PR曲线，改变IoU阈值，计算不同阈值下的精确率和召回率，绘制出PR曲线，使用曲线下的面积AP作为综合评估指标；进行分析结果，得到DeepSORT算法在处理遮挡、交互情况下的表现。
7.一种基于SLAM算法的无人机跟拍系统，用于实现权利要求1至6任一所述的无人机跟拍方法，其特征在于，包括：参数获取模块、算法优化模块、目标跟踪模块、操作调整模块；
所述参数获取模块，获取无人机参数，包括物理属性、性能指标、控制系和传感器配置，并实时获取无人机飞行图像；
所述算法优化模块，获取无人机的传感器数据和飞行数据，根据飞行数据，融合传感器数据，构建观测图，提高SLAM算法的鲁棒性和精度，通过使用卷积神经网络提取环境特征改善特征提取和数据关联，增强SLAM系统对复杂环境的适应能力；包括：传感器获取单元实时获取传感器的数据，包括激光雷达数据、视觉相机数据和惯性测量单元IMU数据；观测图构建单元；算法优化单元，通过卷积神经网络处理飞行数据进行SLAM算法优化；
所述目标跟踪模块，对实时获取无人机飞行图像进行预处理，根据无人机飞行数据构建跟踪算法，跟踪跟拍目标，并对跟踪结果进行评估；包括：图像预处理单元、跟踪算法构建单元、评估单元；
所述操作调整模块，根据用户的行为、偏好和环境条件调整界面布局，以适应用户的习惯和需求，并发送调整后的界面布局至用户终端，和用户终端进行交互确定界面布局；包括：飞行数据获取单元、操作调整单元、确认单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410705649.7A CN118279770B (zh) | 2024-06-03 | 2024-06-03 | 一种基于slam算法的无人机跟拍方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410705649.7A CN118279770B (zh) | 2024-06-03 | 2024-06-03 | 一种基于slam算法的无人机跟拍方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118279770A CN118279770A (zh) | 2024-07-02 |
| CN118279770B true CN118279770B (zh) | 2024-09-20 |
Family
ID=91649745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410705649.7A Active CN118279770B (zh) | 2024-06-03 | 2024-06-03 | 一种基于slam算法的无人机跟拍方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118279770B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945265A (zh) * | 2017-11-29 | 2018-04-20 | 华中科技大学 | 基于在线学习深度预测网络的实时稠密单目slam方法与系统 |
| CN112378397A (zh) * | 2020-11-02 | 2021-02-19 | 中国兵器工业计算机应用技术研究所 | 无人机跟踪目标的方法、装置及无人机 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210311504A1 (en) * | 2020-04-01 | 2021-10-07 | Nec Laboratories America, Inc. | Near real-time reconstruction using drones |
| CN115933718A (zh) * | 2022-11-07 | 2023-04-07 | 武汉大学 | 一种融合全景slam与目标识别的无人机自主飞行技术方法 |
| CN116468185A (zh) * | 2023-05-12 | 2023-07-21 | 中国航空工业集团公司北京航空精密机械研究所 | 一种适用于跟瞄系统的无人机运动轨迹预测方法 |
-
2024
- 2024-06-03 CN CN202410705649.7A patent/CN118279770B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945265A (zh) * | 2017-11-29 | 2018-04-20 | 华中科技大学 | 基于在线学习深度预测网络的实时稠密单目slam方法与系统 |
| CN112378397A (zh) * | 2020-11-02 | 2021-02-19 | 中国兵器工业计算机应用技术研究所 | 无人机跟踪目标的方法、装置及无人机 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118279770A (zh) | 2024-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112567201B (zh) | 距离测量方法以及设备 | |
| Zhao et al. | Detection, tracking, and geolocation of moving vehicle from uav using monocular camera | |
| EP4318397A2 (en) | Method of computer vision based localisation and navigation and system for performing the same | |
| Ai et al. | Visual SLAM in dynamic environments based on object detection | |
| CN111693972A (zh) | 一种基于双目序列图像的车辆位置与速度估计方法 | |
| JP2022520019A (ja) | 画像処理方法、装置、移動可能なプラットフォーム、プログラム | |
| CN110988912A (zh) | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 | |
| CN102298070A (zh) | 估算无人机，尤其是能够在自动驾驶下执行悬停飞行的无人机的水平速度的方法 | |
| CN111523545B (zh) | 一种结合深度信息的物品查找方法 | |
| US11967091B2 (en) | Detection of environmental changes to delivery zone | |
| US11748449B2 (en) | Data processing method, data processing apparatus, electronic device and storage medium | |
| Ferguson et al. | A 2d-3d object detection system for updating building information models with mobile robots | |
| CN118279770B (zh) | 一种基于slam算法的无人机跟拍方法 | |
| Bikmaev et al. | Visual Localization of a Ground Vehicle Using a Monocamera and Geodesic-Bound Road Signs | |
| Aggarwal | Machine vision based SelfPosition estimation of mobile robots | |
| Billy et al. | Adaptive SLAM with synthetic stereo dataset generation for real-time dense 3D reconstruction | |
| Wang et al. | Online drone-based moving target detection system in dense-obstructer environment | |
| CN114721377A (zh) | 一种基于改进Cartographer的SLAM的室内导盲机器人控制方法 | |
| Li-Chee-Ming et al. | Augmenting visp’s 3d model-based tracker with rgb-d slam for 3d pose estimation in indoor environments | |
| Le Barz et al. | Absolute geo-localization thanks to Hidden Markov Model and exemplar-based metric learning | |
| CN117671022B (zh) | 一种室内弱纹理环境的移动机器人视觉定位系统及方法 | |
| Roznovjak | Feature reprojection as image alignment score in GNSS-free UAV localization | |
| Wang et al. | Research on visual odometry based on large-scale aerial images taken by UAV | |
| Michaud | Influence of complex environments on lidar-based robot navigation | |
| Nilsson Boij | Localization of Combat Aircraft at High Altitude using Visual Odometry |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |