CN117452969A - 基于多模态数据处理的无人机导航方法 - Google Patents
基于多模态数据处理的无人机导航方法 Download PDFInfo
- Publication number
- CN117452969A CN117452969A CN202311663745.1A CN202311663745A CN117452969A CN 117452969 A CN117452969 A CN 117452969A CN 202311663745 A CN202311663745 A CN 202311663745A CN 117452969 A CN117452969 A CN 117452969A
- Authority
- CN
- China
- Prior art keywords
- data
- unmanned aerial
- aerial vehicle
- processing module
- student
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 246
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 40
- 230000004927 fusion Effects 0.000 claims abstract description 28
- 238000012360 testing method Methods 0.000 claims abstract description 26
- 238000012937 correction Methods 0.000 claims abstract description 23
- 238000004821 distillation Methods 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 35
- 238000007637 random forest analysis Methods 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 21
- 238000003066 decision tree Methods 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 19
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 13
- 238000013140 knowledge distillation Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 9
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000000513 principal component analysis Methods 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 29
- 238000005070 sampling Methods 0.000 description 13
- 230000001133 acceleration Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
Abstract
本发明公开了一种基于多模态数据处理的无人机导航方法，获取无人机中各个传感器的多模态数据，依序对多模态数据进行预处理，形成训练集和测试集；构建至少两个处理单元的多教师处理模块；分别通过训练集对多教师处理模块进行训练，直至达到预期标准；构建包括特征融合单元在内的学生处理模块，通过多教师处理模块对学生处理模块进行数据蒸馏训练，获得优化后的轻量级学生处理模块，并配置于无人机中；在工作时，获取无人机当前的基本状态参数，并结合轻量级学生处理模块输出的状态修正参数，基于飞行目标生成飞行轨迹和导航策略集合。本发明提高了无人机导航的精度和鲁棒性。
Description
技术领域
本发明涉及无人机相关技术，尤其是一种基于多模态数据处理的无人机导航方法。
背景技术
在飞行过程中，无人机需要根据预定的目标和任务，利用各种传感器和算法，实现自主或半自主的位置、姿态、速度、航向等状态的测量、控制和规划，以保证无人机安全、高效、准确地完成飞行任务。无人机导航是无人机系统的核心技术之一，对于无人机的性能、功能和应用范围有着重要的影响。无人机导航的传感器主要包括惯性测量单元IMU、全球定位系统GPS、激光雷达LIDAR、相机等，它们可以提供不同的信息，如加速度、角速度、位置、速度、姿态、距离、图像等。不同的传感器有不同的优缺点，如IMU具有高频率、低延迟、全天候的特点，但是会累积误差；GPS具有高精度、全球覆盖的特点，但是会受到遮挡、干扰、失锁等影响；LIDAR具有高分辨率、高精度、强抗干扰的特点，但是会受到环境、天气、障碍物等影响；相机具有低成本、丰富信息、易于获取的特点，但是会受到光照、动态、遮挡等影响。因此，单一的传感器很难满足无人机导航的需求，需要采用多模态数据处理的方法，利用不同传感器的互补性，实现更可靠、更鲁棒、更智能的无人机导航。需要说明的是，这里的模态与采用不同构型、不同升力方式或不同控制方式的飞行模态的概念是不同的。
多模态数据处理的方法主要包括数据融合和数据协同两种。数据融合是指将不同传感器的数据进行整合，得到一个统一的状态估计，如卡尔曼滤波、粒子滤波、扩展卡尔曼滤波、无迹卡尔曼滤波等。数据协同是指将不同传感器的数据进行协作，得到一个优化的导航决策，如神经网络、遗传算法、模糊逻辑、强化学习等。数据融合和数据协同可以相互配合，形成一个完整的多模态数据处理的框架。多模态数据处理的方法已经在无人机导航中得到了广泛的应用，如基于IMU/GPS/LIDAR的无人机定位，基于IMU/GPS/相机的无人机视觉里程计，基于IMU/GPS/相机/LIDAR的无人机避障，基于IMU/GPS/相机/LIDAR的无人机路径规划等。这些方法都取得了一定的效果，但是也存在一些问题或缺陷。
数据融合的方法通常依赖于传感器的模型和噪声的假设，如果传感器的性能发生变化或者噪声的分布不符合假设，那么数据融合的效果会下降，甚至发生发散。数据协同的方法通常需要大量的数据和计算资源，如果数据的质量不高或者计算能力不足，那么数据协同的效果会受到限制，甚至无法实现。数据融合和数据协同的方法通常是分开进行的，没有充分利用不同传感器的信息之间的关联性，如果能够将数据融合和数据协同进行统一的优化，那么可能会提高无人机导航的精度、鲁棒性和智能性，而无人机上资源较为紧张，需要对模块进行优化。
上述缺陷，导致在一些场景下，导航存在较大困难，例如在环境温度低，光照弱，地形复杂，卫星信号不稳定，障碍物多，风速大，气压低等场景下，目前还没有商用的导航方法或产品。
发明内容
发明目的，提供一种基于多模态数据处理的无人机导航方法，以解决现有技术存在的上述问题。
技术方案，根据本申请的一个方面，提供一种基于多模态数据处理的无人机导航方法，其特征在于，包括如下步骤：
步骤S1、获取无人机中各个传感器的多模态数据，依序对多模态数据进行预处理，形成训练集和测试集，所述多模态数据包括基本状态参数、雷达数据和相机数据；所述基本状态参数包括电池电量、电机转速数据、GPS数据、IMU数据、风速风向传感器数据和气压计数据；所述IMU数据包括俯仰角、横滚角、偏航角、速度和方向；
步骤S2、构建至少两个处理单元的多教师处理模块，处理单元包括视频处理单元、文本处理单元、激光点云处理单元和参数处理单元；分别通过训练集对多教师处理模块进行训练，直至达到预期标准；
步骤S3、构建包括特征融合单元在内的学生处理模块，通过多教师处理模块对学生处理模块进行数据蒸馏训练，获得优化后的轻量级学生处理模块，并配置于无人机中；
步骤S4、在工作时，获取无人机当前的基本状态参数，并结合轻量级学生处理模块输出的状态修正参数，基于飞行目标生成飞行轨迹和导航策略集合。
根据本申请的一个方面，所述步骤S1进一步为：
步骤S11、读取预定数量个无人机中的各个传感器的多模态数据，判断各个模态数据的数据量是否达到要求；
步骤S12、利用无人机中的时钟信号为每个数据包添加时间戳，根据时间戳对齐数据，利用无人机中的GPS或者IMU，为每个数据包添加位置信息，然后根据位置信息或坐标转换矩阵对齐数据，直至将各个传感器的数据对应到同一时刻和同一位置；
步骤S13、分别采用滤波器单元对每一模态数据进行滤波处理，并采用孤立森林方法对数据进行异常检测；
步骤S14、构建并采用主成分分析单元对至少部分模态数据进行降维处理，然后再进行归一化处理；
步骤S15、根据无人机导航的目标和需求，对数据进行划分和标注，形成训练集和测试集，用于后续的数据训练和测试。
根据本申请的一个方面，所述步骤S2进一步为：
步骤S21、分析并针对无人机各个模态的数据特征，针对每一模态数据构建待选模型集合，选择测试数据从待选模型集合选择与每个模态适配的处理模型；
步骤S22、基于处理模型构建各个模态的处理单元，处理单元包括图像处理单元、视频处理单元、文本处理单元、激光点云处理单元和参数处理单元；
步骤S23、分别通过训练集对多教师处理模块进行训练，直至达到预期标准。
根据本申请的一个方面，所述步骤S3进一步为：
步骤S31、将多教师处理模块输出的视觉信息、语义信息、几何信息和动力学信息作为输入，使用自注意力机制计算不同模态之间的相似度和相关性，得到注意力权重矩阵；将多教师处理模块输出的视觉信息、语义信息、几何信息和动力学信息作为输入，使用加权平均方法并根据注意力权重矩阵对不同模态的特征进行融合，得到融合后的特征向量；将融合后的特征向量作为输入，使用全连接层对融合后的特征向量进行映射，输出状态信息；
步骤S32、针对各个教师网络的特征，使用轻量级的神经网络构建学生网络，输入无人机状态信息，输出无人机控制信息；构建并将特征融合单元输出的无人机状态信息作为输入，采用学生网络对无人机状态信息进行处理，生成无人机导航的状态修正参数，将状态修正参数作为输入，使用全连接层对状态修正参数进行映射，输出控制信息，
步骤S33、使用多教师处理模块对无标签的数据进行处理，得到多教师处理模块的输出，然后对多教师处理模块的输出进行平均，得到软标签；
使用学生处理模块对无标签的数据进行处理，得到学生处理模块的输出，然后使用交叉熵计算学生处理模块的输出和软标签之间的差异，得到知识蒸馏的损失；
使用梯度下降，根据知识蒸馏的损失，对学生处理模块的参数进行更新，使学生处理模块的输出更接近软标签，从而实现从多教师处理模块中学习知识和信息的目的；
步骤S34、使用测试集，对优化后的轻量级学生处理模块进行评估，计算学生处理模块的性能和准确度，与多教师处理模块进行对比，验证学生处理模块的有效性；对优化后的轻量级学生处理模块进行部署，将学生处理模块配置于测试无人机中，使测试无人机能够使用学生处理模块进行多模态数据处理和导航，判断是否符合要求。
根据本申请的一个方面，所述步骤S4进一步为：
步骤S41、使用无人机中的传感器实时获取无人机当前的基本状态参数，将基本状态参数作为输入，传输给轻量级学生处理模块；
步骤S42、使用轻量级学生处理模块，对基本状态参数进行处理，得到状态修正参数，将状态修正参数与基本状态参数进行结合，得到修正后的状态参数，修正后的状态参数表示无人机当前的实际状态；
步骤S43、使用轨迹规划算法，根据修正后的状态参数和飞行目标，生成飞行轨迹；
步骤S44、使用导航控制算法，根据修正后的状态参数和飞行轨迹，生成导航策略；
步骤S45、将飞行轨迹和导航策略作为输出，传输给无人机的飞行控制系统，飞行控制系统根据飞行轨迹和导航策略，控制无人机的飞行动作，实现无人机的自主导航。
根据本申请的一个方面，所述步骤S23中，还包括：
步骤S23a、视频处理单元的训练过程为：将视频数据分割成若干帧，对每一帧使用姿态估计算法检测出视频中的关键点，根据关键点的空间位置和时间顺序；构建空时图，空时图的节点表示关键点，空时图的边表示关键点之间的空间连接和时间连接；将空时图作为输入，构建并使用STGCN模块，对空时图进行卷积操作，提取空时图的特征，空时图的特征表示视频中的人体姿态和行为；将空时特征作为输入，使用全连接层对空时特征进行分类，输出视觉信息，视觉信息表示视频中的障碍物或目标物，判断是否符合预期；
步骤S23b、将激光点云数据作为输入，使用T-Net变换网络，对激光点云数据进行对齐，消除激光点云数据的旋转和平移的影响，得到对齐后的激光点云数据；将对齐后的激光点云数据作为输入，使用PointNet点云处理网络对激光点云数据进行特征提取，提取激光点云数据中的几何特征，几何特征表示激光点云数据中的形状和结构；将几何特征作为输入，使用全连接层对几何特征进行分类，输出几何信息，几何信息表示无人机的三维空间信息，如位置，方向和高度；
步骤S23c、将参数数据作为输入，使用矩阵变换方法，将参数数据转换为矩阵形式，矩阵的每一行表示一个参数，矩阵的每一列表示一个时间步，得到参数矩阵；将参数矩阵作为输入，使用ResNet网络对参数矩阵进行卷积操作，提取参数矩阵中的动力学特征，动力学特征表示参数数据中的变化和趋势；将动力学特征作为输入，使用全连接层对动力学特征进行回归，输出动力学信息，动力学信息表示无人机的位置、速度、姿态和运动状态。
根据本申请的一个方面，所述学生模型的输入分为至少两个子输入，每个子输入对应一个模态的数据；构建并使用特征融合单元，对各个子输入进行特征提取和特征融合，得到融合后的特征，将融合后的特征作为学生模型的输入。
根据本申请的一个方面，所述步骤S2中，还包括步骤S24，采用随机森林算法对多教师模型的组合进行优化；
步骤S24a、基于多模态数据构建随机森林的原始数据集合，并从原始数据中抽取预定数量个子样本，每个子样本包含一定比例的特征和标签，作为每个决策树的训练数据；
步骤S24b、对每个子样本，使用决策树算法构建一棵决策树，根据特征的信息增益选择最佳的分裂属性和分裂点，生成树的节点和分支，直到满足停止条件，如树的深度、节点的纯度和节点的样本数；重复上述步骤，直到生成指定数量的决策树，形成一个随机森林；
步骤S24c、对于新的输入数据，使用随机森林中的每棵决策树进行预测，得到每棵决策树的输出，然后根据输出的类型，采用不同的方法进行融合，得到随机森林的输出，基于输出结果，对多教师模型进行优化组合，减少多教师处理模块的过拟合和偏差。
根据本申请的一个方面，所述步骤S3还包括：构建多任务学习模块，将多教师处理模块输出的不同模态的特征作为多个任务的输入，使用共享的特征提取层和独立的任务输出层；
在多任务学习的模型中，所有任务共享的部分，用于学习多模态数据的通用表示；每个任务独有的部分，用于学习任务特定的表示和输出；通过共享的特征提取层和独立的任务输出层，同时学习不同模态的特征。
根据本申请的另一个方面，一种基于多模态数据处理的无人机导航系统，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述任一项技术方案所述的基于多模态数据处理的无人机导航方法。
有益效果，通过构建多教师处理模块，对不同模态的数据进行独立的处理，提取各自的特征，然后通过特征融合单元，利用自注意力机制和加权平均方法，对不同模态的特征进行融合，得到融合后的特征向量，输出状态信息。可以减少对传感器模型和噪声假设的依赖，提高数据融合的鲁棒性和精度。
通过构建轻量级的学生处理模块，对多教师处理模块进行数据蒸馏训练，获得优化后的学生处理模块，并配置于无人机中。可以减少数据和计算的需求，提高数据协同的效率和可行性。
通过将多教师处理模块和学生处理模块进行统一的优化，利用随机森林算法对多教师模型的组合进行优化，利用交叉熵和梯度下降对学生模块的参数进行更新，使学生模块的输出更接近软标签，从而实现从多教师模块中学习知识和信息的目的。可以充分利用不同传感器的信息之间的关联性，提高无人机导航的精度、鲁棒性和智能性，同时优化无人机上的资源利用。
附图说明
图1是本发明的流程图。
图2是本发明步骤S1的流程图。
图3是本发明步骤S2的流程图。
图4是本发明步骤S4的流程图。
具体实施方式
如图1所示，根据本申请的一个方面，提供一种基于多模态数据处理的无人机导航方法，其特征在于，包括如下步骤：
步骤S1、获取无人机中各个传感器的多模态数据，依序对多模态数据进行预处理，形成训练集和测试集，所述多模态数据包括基本状态参数、雷达数据和相机数据；所述基本状态参数包括电池电量、电机转速数据、GPS数据、IMU数据、风速风向传感器数据和气压计数据；所述IMU数据包括俯仰角、横滚角、偏航角、速度和方向；
步骤S2、构建至少两个处理单元的多教师处理模块，处理单元包括视频处理单元、文本处理单元、激光点云处理单元和参数处理单元；分别通过训练集对多教师处理模块进行训练，直至达到预期标准；
步骤S3、构建包括特征融合单元在内的学生处理模块，通过多教师处理模块对学生处理模块进行数据蒸馏训练，获得优化后的轻量级学生处理模块，并配置于无人机中；
步骤S4、在工作时，获取无人机当前的基本状态参数，并结合轻量级学生处理模块输出的状态修正参数，基于飞行目标生成飞行轨迹和导航策略集合。
在本实施例中，根据无人机当前的基本状态参数和飞行目标，生成飞行轨迹和导航策略，控制无人机的飞行动作，适应复杂的环境和任务，可以实现无人机的自主导航。通过多模态数据的融合和协同，提取和利用不同传感器的信息，减少对传感器模型和噪声假设的依赖，抑制不同模态切换时的瞬态响应，增加测量维数和空间分辨率，提高对目标的探测和识别的性能，可以提高无人机导航的精度和鲁棒性。通过多教师处理模块和学生处理模块的统一优化，实现知识和信息的迁移和蒸馏，使无人机能够从多教师模块中学习通用和特定的表示和输出，提高无人机的自适应能力和决策能力，可以提高无人机导航的智能性。通过轻量级的学生处理模块，减少数据和计算的需求，提高数据协同的效率和可行性，使无人机能够在资源较为紧张的情况下，进行多模态数据处理和导航。可以提高无人机导航的效率和可行性。
如图2所示，根据本申请的一个方面，所述步骤S1进一步为：
步骤S11、读取预定数量个无人机中的各个传感器的多模态数据，判断各个模态数据的数据量是否达到要求；
在某个场景下，假设使用了N架无人机，每架无人机都搭载了五种传感器，分别是GPS、IMU、激光雷达（还可以为超声波雷达、毫米波雷达）、相机和温湿度计。这些传感器可以采集无人机的位置、姿态、速度、加速度、高度、距离、图像、温度和湿度等多模态数据。首先需要确定每种模态数据的采样频率和采样时长，以保证数据的完整性和有效性。例如，可以设定GPS的采样频率为1 Hz，即每秒采集一次位置数据；相机的采样频率为10 Hz，即每秒采集10帧图像数据；雷达的采样频率为20 Hz，即每秒采集20次距离数据；IMU的采样频率为50Hz，即每秒采集50次姿态、速度和加速度数据；温湿度计的采样频率为0.1 Hz，即每10秒采集一次温度和湿度数据。还需要设定采样时长，即无人机飞行的总时间，例如，可以设定为10分钟，即600秒。然后，从无人机中读取各个传感器的多模态数据，存储在不同的文件中，按照不同的格式进行编码。例如，可以将GPS数据存储在一个CSV文件中，每一行包含一个时间戳和一个经纬度坐标；将相机数据存储在一个视频文件中，每一帧包含一个时间戳和一个图像矩阵；将雷达数据存储在一个TXT文件中，每一行包含一个时间戳和一个距离值；将IMU数据存储在一个BIN文件中，每一段包含一个时间戳和一个姿态、速度和加速度向量；将温湿度数据存储在一个JSON文件中，每一个对象包含一个时间戳和一个温度和湿度值。最后，判断各个模态数据的数据量是否达到要求，即是否符合预设的采样频率和采样时长。如果有某些模态数据的数据量不足，可以通过插值或者重采样的方法进行补充；如果有某些模态数据的数据量过多，可以通过降采样或者裁剪的方法进行减少。
步骤S12、利用无人机中的时钟信号为每个数据包添加时间戳，根据时间戳对齐数据，利用无人机中的GPS或者IMU，为每个数据包添加位置信息，然后根据位置信息或坐标转换矩阵对齐数据，直至将各个传感器的数据对应到同一时刻和同一位置；
由于不同的传感器可能有不同的采样频率和延迟，因此需要对数据进行时间对齐和空间对齐，以保证数据的一致性和准确性。利用无人机中的时钟信号为每个数据包添加时间戳，表示数据采集的时间点。然后，根据时间戳对数据进行插值或者降采样，使得每个模态的数据都有相同的时间间隔和数量。例如，将GPS数据和温湿度数据进行线性插值，使得它们的采样频率与相机数据相同，即10 Hz；也可以将IMU数据和雷达数据进行降采样，使得它们的采样频率与相机数据相同，即10 Hz。这样，就可以将不同模态的数据按照时间戳进行匹配，得到同一时刻的多模态数据。接下来，需要对数据进行空间对齐，以保证数据的同步性和可比性。可以利用无人机中的GPS或者IMU，为每个数据包添加位置信息，表示数据采集的空间位置。然后，可以根据位置信息或坐标转换矩阵对数据进行变换，使得每个模态的数据都有相同的空间参考系和尺度。例如，可以将相机数据和雷达数据进行透视变换，使得它们的视角和方向与GPS数据相同，即地理坐标系；也可以将IMU数据和温湿度数据进行仿射变换，使得它们的方向和尺度与GPS数据相同，即地理坐标系。在一些实施例中，相机可以分成专门采集图片的和专门采集视频的相机，或者通过不同时刻来调整工作状态，采集高清图片和视频。
步骤S13、分别采用滤波器单元对每一模态数据进行滤波处理，并采用孤立森林方法对数据进行异常检测；
滤波处理的目的是去除数据中的噪声和杂波，提高数据的质量和信噪比。根据不同模态数据的特点，选择合适的滤波器，如均值滤波、中值滤波、高斯滤波、双边滤波等，来平滑数据。还可以使用scikit-image来进行图像的滤波处理。异常检测的目的是识别数据中的异常值和离群点，例如由于传感器故障、环境干扰、数据损坏等原因造成的数据错误或不一致。使用一些无监督的异常检测方法，如孤立森林来检测数据中的异常值，并将其剔除或修正。
步骤S14、构建并采用主成分分析单元对至少部分模态数据进行降维处理，然后再进行归一化处理；
使用主成分分析PCA来提取数据的主要特征，去除不相关的特征。归一化处理的目的是将数据转换为统一的范围和尺度，消除数据的量纲和偏差，提高数据的稳定性和可比性。可以使用一些归一化方法，如最大最小归一化、标准化、正则化等来将数据转换为[0,1]或[-1,1]等区间。
步骤S15、根据无人机导航的目标和需求，对数据进行划分和标注，形成训练集和测试集，用于后续的数据训练和测试。数据划分的目的是将数据分为训练集和测试集，以便用训练集来训练模型，用测试集来评估模型的性能。根据数据量和任务复杂度，选择合适的划分比例，如80%的训练集和20%的测试集，或者使用交叉验证的方法，来增加数据的利用率和模型的泛化能力。数据标注的目的是为数据添加标签，以便用于有监督的学习任务，如分类、检测、分割等。根据任务需求，选择合适的标注方式，如矩形框、多边形、像素级等，来标注数据中的地物、目标、场景等信息。
本实施例可以提高数据的质量和效率，为后续的数据分析和模型训练提供更可靠和更高效的数据输入，从而提高模型的性能和准确度。
如图3所示，根据本申请的一个方面，所述步骤S2进一步为：
步骤S21、分析并针对无人机各个模态的数据特征，针对每一模态数据构建待选模型集合，选择测试数据从待选模型集合选择与每个模态适配的处理模型；
在一些实施例中，根据的任务需求，确定每种模态数据的类型和格式，以及数据采集的频率和质量。可以使用一些开源的工具，如TensorFlow来构建和测试各种深度学习模型，如卷积神经网络、循环神经网络、自编码器、变分自编码器、生成对抗网络等，来处理不同模态的数据。需要根据测试数据的性能和效果，选择最适合每个模态的处理模型。
步骤S22、基于处理模型构建各个模态的处理单元，处理单元包括图像处理单元、视频处理单元、文本处理单元、激光点云处理单元和参数处理单元；根据选择的处理模型，设计和实现各个模态的处理单元，使之能够接收和输出相应的数据格式，以及提供相应的接口和功能。可以使用开源的工具来实现和优化各个模态的处理单元，使之能够高效地运行在无人机的硬件平台上，以及与其他模块进行通信和协作。需要说明的是，这些处理单元是可选的，在某些实施例中，不一定全部设置，根据不同的场景和型号来进行配置。
步骤S23、分别通过训练集对多教师处理模块进行训练，直至达到预期标准。
根据本申请的一个方面，所述步骤S23中，还包括：
步骤S23a、视频处理单元的训练过程为：将视频数据分割成若干帧，对每一帧使用姿态估计算法检测出视频中的关键点，根据关键点的空间位置和时间顺序；构建空时图，空时图的节点表示关键点，空时图的边表示关键点之间的空间连接和时间连接；将空时图作为输入，构建并使用STGCN模块，对空时图进行卷积操作，提取空时图的特征，空时图的特征表示视频中的人体姿态和行为；将空时特征作为输入，使用全连接层对空时特征进行分类，输出视觉信息，视觉信息表示视频中的障碍物或目标物，判断是否符合预期；
步骤S23b、将激光点云数据作为输入，使用T-Net变换网络，对激光点云数据进行对齐，消除激光点云数据的旋转和平移的影响，得到对齐后的激光点云数据；将对齐后的激光点云数据作为输入，使用PointNet点云处理网络对激光点云数据进行特征提取，提取激光点云数据中的几何特征，几何特征表示激光点云数据中的形状和结构；将几何特征作为输入，使用全连接层对几何特征进行分类，输出几何信息，几何信息表示无人机的三维空间信息，如位置，方向和高度；
步骤S23c、将参数数据作为输入，使用矩阵变换方法，将参数数据转换为矩阵形式，矩阵的每一行表示一个参数，矩阵的每一列表示一个时间步，得到参数矩阵；将参数矩阵作为输入，使用ResNet网络对参数矩阵进行卷积操作，提取参数矩阵中的动力学特征，动力学特征表示参数数据中的变化和趋势；将动力学特征作为输入，使用全连接层对动力学特征进行回归，输出动力学信息，动力学信息表示无人机的位置、速度、姿态和运动状态。
在本实施例中，综合利用了视频、激光和参数三种数据源，分别对应了视觉、几何和动力学三种模态，能够提供更丰富和更准确的信息，提高了无人机导航的精度和鲁棒性。同时，它使用了最新的深度学习模型，如STGCN、T-Net、PointNet和ResNet，对不同类型的数据进行有效的特征提取和分类，实现了对无人机的状态、环境和目标的准确识别。此外，它使用了特征融合、路径规划和运动控制三个网络，对不同模态的信息进行融合、规划和控制，实现了无人机的自主导航。能够使无人机在不同的环境和任务中，实现无人机的自主导航，完成无人机的飞行任务，如巡航、侦察、救援、运输等。它能够使无人机在遇到障碍物或目标物时，能够及时做出反应，避免碰撞或捕获目标。它能够使无人机在飞行过程中，能够保持稳定的位置、速度、姿态和运动状态。
根据本申请的一个方面，所述学生模型的输入分为至少两个子输入，每个子输入对应一个模态的数据；构建并使用特征融合单元，对各个子输入进行特征提取和特征融合，得到融合后的特征，将融合后的特征作为学生模型的输入。
在某个实施例中，为了简化表述，采用两个模态数据进行描述。
对文本数据，使用预定模型对文本进行编码，得到文本的特征向量，维度为d1；对图像数据，使用预定模型对图像进行编码，得到图像的特征向量，维度为d2；为了使两个模态的特征具有相同的维度，使用全连接层对文本特征或图像特征进行降维或升维，使得两个特征向量的维度都为d；使用特征融合单元对两个特征向量进行特征融合，得到融合后的特征向量，维度为d。特征融合单元可以使用多种方法，例如特征拼接、特征求和、特征点乘、特征外积、特征注意力等。将融合后的特征向量作为学生模型的输入，进行后续的任务，例如分类、回归、生成等。
根据本申请的一个方面，所述步骤S2中，还包括步骤S24，采用随机森林算法对多教师模型的组合进行优化；
步骤S24a、基于多模态数据构建随机森林的原始数据集合，并从原始数据中抽取预定数量个子样本，每个子样本包含一定比例的特征和标签，作为每个决策树的训练数据；利用多模态数据的多样性，增加了随机森林的训练数据的数量和质量，提高了随机森林的代表性和覆盖性。
步骤S24b、对每个子样本，使用决策树算法构建一棵决策树，根据特征的信息增益等指标选择最佳的分裂属性和分裂点，生成树的节点和分支，直到满足停止条件，如树的深度、节点的纯度和节点的样本数；重复上述步骤，直到生成指定数量的决策树，形成一个随机森林；利用决策树的简单性和可解释性，增加了随机森林的可解释性和可控性，提高了随机森林的效率和稳定性。
步骤S24c、对于新的输入数据，使用随机森林中的每棵决策树进行预测，得到每棵决策树的输出，然后根据输出的类型，采用不同的方法进行融合，得到随机森林的输出，基于输出结果，对多教师模型进行优化组合，减少多教师处理模块的过拟合和偏差。利用随机森林的集成性和优化性，增加了随机森林的泛化能力和鲁棒性，提高了随机森林的精度和性能。
在本实施例中，采用随机森林算法对多教师模型的组合进行优化，提高了多教师模型的泛化能力和鲁棒性。同时，基于多模态数据，利用了不同模态数据的互补性，提高了多教师模型的表达能力和准确性。
根据本申请的一个方面，所述步骤S3进一步为：
步骤S31、将多教师处理模块输出的视觉信息、语义信息、几何信息和动力学信息作为输入，使用自注意力机制计算不同模态之间的相似度和相关性，得到注意力权重矩阵；将多教师处理模块输出的视觉信息、语义信息、几何信息和动力学信息作为输入，使用加权平均方法并根据注意力权重矩阵对不同模态的特征进行融合，得到融合后的特征向量；将融合后的特征向量作为输入，使用全连接层对融合后的特征向量进行映射，输出状态信息；
步骤S32、针对各个教师网络的特征，使用轻量级的神经网络构建学生网络，输入无人机状态信息，输出无人机控制信息；构建并将特征融合单元输出的无人机状态信息作为输入，采用学生网络对无人机状态信息进行处理，生成无人机导航的状态修正参数，将状态修正参数作为输入，使用全连接层对状态修正参数进行映射，输出控制信息，
步骤S33、使用多教师处理模块对无标签的数据进行处理，得到多教师处理模块的输出，然后对多教师处理模块的输出进行平均，得到软标签；
使用学生处理模块对无标签的数据进行处理，得到学生处理模块的输出，然后使用交叉熵计算学生处理模块的输出和软标签之间的差异，得到知识蒸馏的损失；
使用梯度下降，根据知识蒸馏的损失，对学生处理模块的参数进行更新，使学生处理模块的输出更接近软标签，从而实现从多教师处理模块中学习知识和信息的目的；
步骤S34、使用测试集，对优化后的轻量级学生处理模块进行评估，计算学生处理模块的性能和准确度，与多教师处理模块进行对比，验证学生处理模块的有效性；对优化后的轻量级学生处理模块进行部署，将学生处理模块配置于测试无人机中，使测试无人机能够使用学生处理模块进行多模态数据处理和导航，判断是否符合要求。
在本实施例中，它使用多教师处理模块和学生处理模块的结合，实现了多模态数据的有效利用和知识的有效传递。多教师处理模块可以从视觉、语义、几何和动力学四个模态的数据中提取和融合特征，输出无人机的状态信息；学生处理模块可以从多教师处理模块中学习知识和信息，输出无人机的控制信息。这样，可以提高无人机导航的精度和鲁棒性，同时减少模型的复杂度和资源消耗。使用自注意力机制、轻量级的神经网络、知识蒸馏和状态修正等技术，实现了多模态数据的高效处理和无人机导航的优化控制。自注意力机制可以计算不同模态之间的相似度和相关性，实现特征的自适应融合;轻量级的神经网络可以降低学生处理模块的参数量和计算量，提高学生处理模块的效率和性能;知识蒸馏可以利用无标签的数据，使学生处理模块的输出更接近多教师处理模块的输出，提高学生处理模块的泛化能力和稳定性;状态修正可以根据无人机的实际情况，对无人机的状态信息进行调整，提高无人机的适应性和灵活性。
如图4所示，根据本申请的一个方面，所述步骤S4进一步为：
步骤S41、使用无人机中的传感器实时获取无人机当前的基本状态参数，将基本状态参数作为输入，传输给轻量级学生处理模块；
步骤S42、使用轻量级学生处理模块，对基本状态参数进行处理，得到状态修正参数，将状态修正参数与基本状态参数进行结合，得到修正后的状态参数，修正后的状态参数表示无人机当前的实际状态；
步骤S43、使用轨迹规划算法，根据修正后的状态参数和飞行目标，生成飞行轨迹；
步骤S44、使用导航控制算法，根据修正后的状态参数和飞行轨迹，生成导航策略；导航策略是一个序列，表示无人机在飞行过程中的具体动作，如转向角度、加速度、高度变化等，使无人机能够沿着飞行轨迹飞行，同时根据实时的状态参数和环境信息，进行动态调整，避免碰撞或偏离。
步骤S45、将飞行轨迹和导航策略作为输出，传输给无人机的飞行控制系统，飞行控制系统根据飞行轨迹和导航策略，控制无人机的飞行动作，实现无人机的自主导航。
飞行控制系统是一个硬件系统，根据飞行轨迹和导航策略，控制无人机的飞行动作，如电机转速、姿态角、投掷装置等，实现无人机的自主导航。
本实施例使用轻量级学生处理模块，对无人机的基本状态参数进行处理，得到状态修正参数，实现了无人机的状态估计和校准。状态修正参数可以根据无人机的实际情况，对无人机的位置、速度、姿态等参数进行调整，提高了无人机的适应性和灵活性。同时，使用轨迹规划算法和导航控制算法，根据无人机的状态参数和飞行目标，生成飞行轨迹和导航策略，实现了无人机的路径规划和运动控制。飞行轨迹和导航策略可以使无人机沿着安全、快速、优化的路径飞行，提高了无人机的效率和性能。
根据本申请的一个方面，所述步骤S3还包括：构建多任务学习模块，将多教师处理模块输出的不同模态的特征作为多个任务的输入，使用共享的特征提取层和独立的任务输出层；
在多任务学习的模型中，所有任务共享的部分，用于学习多模态数据的通用表示；每个任务独有的部分，用于学习任务特定的表示和输出；通过共享的特征提取层和独立的任务输出层，同时学习不同模态的特征。
在进一步的另一个实施例中，还可以采用与上文不同的技术方案，具体如下：
步骤S3a：构建多任务学习模块，将多教师处理模块输出的视觉信息、语音信息、几何信息和动力学信息作为输入，使用共享的特征提取层和独立的任务输出层。具体来说，可以使用一个多层感知器MLP作为共享的特征提取层，将不同模态的特征向量拼接后输入MLP，得到一个通用的多模态特征向量。然后，为每个任务定义一个任务输出层，例如，视觉任务的输出层可以是一个卷积神经网络CNN，用于对图像进行分类或分割；语音任务的输出层可以是一个循环神经网络RNN，用于对语音进行识别或转换；几何任务的输出层可以是一个全连接层FC，用于对位置或方向进行预测；动力学任务的输出层可以是一个强化学习RL模块，用于对速度或加速度进行控制。这样，就可以同时学习不同模态的特征，以及不同任务的输出。
步骤S3b：针对各个教师网络的特征，使用轻量级的神经网络构建学生网络，输入无人机状态信息，输出无人机控制信息。具体来说，可以使用一个单层感知器SLP作为学生网络，将无人机的位置、速度、姿态等状态信息作为输入，输出无人机的转向角度、加速度、高度变化等控制信息。这样，就可以利用教师网络的特征，训练一个简单而高效的学生网络，用于无人机的导航控制。
步骤S3c：使用多教师处理模块对无标签的数据进行处理，得到多教师处理模块的输出，然后对多教师处理模块的输出进行平均，得到软标签。具体来说，可以使用无人机在飞行过程中收集的多模态数据作为无标签的数据，将其输入多教师处理模块，得到每个任务的输出，例如，视觉任务的输出可以是图像的类别或分割结果；语音任务的输出可以是语音的文本或情感；几何任务的输出可以是无人机的位置或方向；动力学任务的输出可以是无人机的速度或加速度。然后，可以对每个任务的输出进行平均，得到一个软标签，表示无人机的期望输出。
步骤S3d：使用学生处理模块对无标签的数据进行处理，得到学生处理模块的输出，然后使用交叉熵计算学生处理模块的输出和软标签之间的差异，得到知识蒸馏的损失。具体来说，可以使用无人机的状态信息作为输入，将其输入学生处理模块，得到无人机的控制信息作为输出。然后，可以使用交叉熵作为损失函数，计算学生处理模块的输出和软标签之间的差异，得到知识蒸馏的损失。这个损失表示学生处理模块和多教师处理模块之间的误差，越小越好。
步骤S3e：使用梯度下降，根据知识蒸馏的损失，对学生处理模块的参数进行更新，使学生处理模块的输出更接近软标签，从而实现从多教师处理模块中学习知识和信息的目的。具体来说，可以使用随机梯度下降SGD或其他优化算法，根据知识蒸馏的损失，对学生处理模块的参数进行反向传播和更新，使学生处理模块的输出更接近软标签，从而提高学生处理模块的泛化能力和性能。
根据本申请的另一个方面，一种基于多模态数据处理的无人机导航系统，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述任一项技术方案所述的基于多模态数据处理的无人机导航方法。
以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。
Claims (10)
1.基于多模态数据处理的无人机导航方法，其特征在于，包括如下步骤：
步骤S1、获取无人机中各个传感器的多模态数据，依序对多模态数据进行预处理，形成训练集和测试集，所述多模态数据包括基本状态参数、雷达数据和相机数据；所述基本状态参数包括电池电量、电机转速数据、GPS数据、IMU数据、风速风向传感器数据和气压计数据；所述IMU数据包括俯仰角、横滚角、偏航角、速度和方向；
步骤S2、构建至少两个处理单元的多教师处理模块，处理单元包括视频处理单元、文本处理单元、激光点云处理单元和参数处理单元；分别通过训练集对多教师处理模块进行训练，直至达到预期标准；
步骤S3、构建包括特征融合单元在内的学生处理模块，通过多教师处理模块对学生处理模块进行数据蒸馏训练，获得优化后的轻量级学生处理模块，并配置于无人机中；
步骤S4、在工作时，获取无人机当前的基本状态参数，并结合轻量级学生处理模块输出的状态修正参数，基于飞行目标生成飞行轨迹和导航策略集合。
2.如权利要求1所述的基于多模态数据处理的无人机导航方法，其特征在于，所述步骤S1进一步为：
步骤S11、读取预定数量个无人机中的各个传感器的多模态数据，判断各个模态数据的数据量是否达到要求；
步骤S12、利用无人机中的时钟信号为每个数据包添加时间戳，根据时间戳对齐数据，利用无人机中的GPS或者IMU，为每个数据包添加位置信息，然后根据位置信息或坐标转换矩阵对齐数据，直至将各个传感器的数据对应到同一时刻和同一位置；
步骤S13、分别采用滤波器单元对每一模态数据进行滤波处理，并采用孤立森林方法对数据进行异常检测；
步骤S14、构建并采用主成分分析单元对至少部分模态数据进行降维处理，然后再进行归一化处理；
步骤S15、根据无人机导航的目标和需求，对数据进行划分和标注，形成训练集和测试集，用于后续的数据训练和测试。
3.如权利要求2所述的基于多模态数据处理的无人机导航方法，其特征在于，所述步骤S2进一步为：
步骤S21、分析并针对无人机各个模态的数据特征，针对每一模态数据构建待选模型集合，选择测试数据从待选模型集合选择与每个模态适配的处理模型；
步骤S22、基于处理模型构建各个模态的处理单元，处理单元包括图像处理单元、视频处理单元、文本处理单元、激光点云处理单元和参数处理单元；
步骤S23、分别通过训练集对多教师处理模块进行训练，直至达到预期标准。
4.如权利要求3所述的基于多模态数据处理的无人机导航方法，其特征在于，所述步骤S3进一步为：
步骤S31、将多教师处理模块输出的视觉信息、语义信息、几何信息和动力学信息作为输入，使用自注意力机制计算不同模态之间的相似度和相关性，得到注意力权重矩阵；将多教师处理模块输出的视觉信息、语义信息、几何信息和动力学信息作为输入，使用加权平均方法并根据注意力权重矩阵对不同模态的特征进行融合，得到融合后的特征向量；将融合后的特征向量作为输入，使用全连接层对融合后的特征向量进行映射，输出状态信息；
步骤S32、针对各个教师网络的特征，使用轻量级的神经网络构建学生网络，输入无人机状态信息，输出无人机控制信息；构建并将特征融合单元输出的无人机状态信息作为输入，采用学生网络对无人机状态信息进行处理，生成无人机导航的状态修正参数，将状态修正参数作为输入，使用全连接层对状态修正参数进行映射，输出控制信息，
步骤S33、使用多教师处理模块对无标签的数据进行处理，得到多教师处理模块的输出，然后对多教师处理模块的输出进行平均，得到软标签；
使用学生处理模块对无标签的数据进行处理，得到学生处理模块的输出，然后使用交叉熵计算学生处理模块的输出和软标签之间的差异，得到知识蒸馏的损失；
使用梯度下降，根据知识蒸馏的损失，对学生处理模块的参数进行更新，使学生处理模块的输出更接近软标签，从而实现从多教师处理模块中学习知识和信息的目的；
步骤S34、使用测试集，对优化后的轻量级学生处理模块进行评估，计算学生处理模块的性能和准确度，与多教师处理模块进行对比，验证学生处理模块的有效性；对优化后的轻量级学生处理模块进行部署，将学生处理模块配置于测试无人机中，使测试无人机能够使用学生处理模块进行多模态数据处理和导航，判断是否符合要求。
5.如权利要求4所述的基于多模态数据处理的无人机导航方法，其特征在于，所述步骤S4进一步为：
步骤S41、使用无人机中的传感器实时获取无人机当前的基本状态参数，将基本状态参数作为输入，传输给轻量级学生处理模块；
步骤S42、使用轻量级学生处理模块，对基本状态参数进行处理，得到状态修正参数，将状态修正参数与基本状态参数进行结合，得到修正后的状态参数，修正后的状态参数表示无人机当前的实际状态；
步骤S43、使用轨迹规划算法，根据修正后的状态参数和飞行目标，生成飞行轨迹；
步骤S44、使用导航控制算法，根据修正后的状态参数和飞行轨迹，生成导航策略；
步骤S45、将飞行轨迹和导航策略作为输出，传输给无人机的飞行控制系统，飞行控制系统根据飞行轨迹和导航策略，控制无人机的飞行动作，实现无人机的自主导航。
6.如权利要求5所述的基于多模态数据处理的无人机导航方法，其特征在于，所述步骤S23中，还包括：
步骤S23a、视频处理单元的训练过程为：将视频数据分割成若干帧，对每一帧使用姿态估计算法检测出视频中的关键点，根据关键点的空间位置和时间顺序；构建空时图，空时图的节点表示关键点，空时图的边表示关键点之间的空间连接和时间连接；将空时图作为输入，构建并使用STGCN模块，对空时图进行卷积操作，提取空时图的特征，空时图的特征表示视频中的人体姿态和行为；将空时特征作为输入，使用全连接层对空时特征进行分类，输出视觉信息，视觉信息表示视频中的障碍物或目标物，判断是否符合预期；
步骤S23b、将激光点云数据作为输入，使用T-Net变换网络，对激光点云数据进行对齐，消除激光点云数据的旋转和平移的影响，得到对齐后的激光点云数据；将对齐后的激光点云数据作为输入，使用PointNet点云处理网络对激光点云数据进行特征提取，提取激光点云数据中的几何特征，几何特征表示激光点云数据中的形状和结构；将几何特征作为输入，使用全连接层对几何特征进行分类，输出几何信息，几何信息表示无人机的三维空间信息，如位置，方向和高度；
步骤S23c、将参数数据作为输入，使用矩阵变换方法，将参数数据转换为矩阵形式，矩阵的每一行表示一个参数，矩阵的每一列表示一个时间步，得到参数矩阵；将参数矩阵作为输入，使用ResNet网络对参数矩阵进行卷积操作，提取参数矩阵中的动力学特征，动力学特征表示参数数据中的变化和趋势；将动力学特征作为输入，使用全连接层对动力学特征进行回归，输出动力学信息，动力学信息表示无人机的位置、速度、姿态和运动状态。
7.如权利要求5所述的基于多模态数据处理的无人机导航方法，其特征在于，所述学生模型的输入分为至少两个子输入，每个子输入对应一个模态的数据；构建并使用特征融合单元，对各个子输入进行特征提取和特征融合，得到融合后的特征，将融合后的特征作为学生模型的输入。
8.如权利要求5所述的基于多模态数据处理的无人机导航方法，其特征在于，所述步骤S2中，还包括步骤S24，采用随机森林算法对多教师模型的组合进行优化；
步骤S24a、基于多模态数据构建随机森林的原始数据集合，并从原始数据中抽取预定数量个子样本，每个子样本包含一定比例的特征和标签，作为每个决策树的训练数据；
步骤S24b、对每个子样本，使用决策树算法构建一棵决策树，根据特征的信息增益选择最佳的分裂属性和分裂点，生成树的节点和分支，直到满足停止条件，如树的深度、节点的纯度和节点的样本数；重复上述步骤，直到生成指定数量的决策树，形成一个随机森林；
步骤S24c、对于新的输入数据，使用随机森林中的每棵决策树进行预测，得到每棵决策树的输出，然后根据输出的类型，采用不同的方法进行融合，得到随机森林的输出，基于输出结果，对多教师模型进行优化组合，减少多教师处理模块的过拟合和偏差。
9.如权利要求5所述的基于多模态数据处理的无人机导航方法，其特征在于，所述步骤S3还包括：构建多任务学习模块，将多教师处理模块输出的不同模态的特征作为多个任务的输入，使用共享的特征提取层和独立的任务输出层；
在多任务学习的模型中，所有任务共享的部分，用于学习多模态数据的通用表示；每个任务独有的部分，用于学习任务特定的表示和输出；通过共享的特征提取层和独立的任务输出层，同时学习不同模态的特征。
10. 一种基于多模态数据处理的无人机导航系统，其特征在于，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1至9任一项所述的基于多模态数据处理的无人机导航方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311663745.1A CN117452969A (zh) | 2023-12-06 | 2023-12-06 | 基于多模态数据处理的无人机导航方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311663745.1A CN117452969A (zh) | 2023-12-06 | 2023-12-06 | 基于多模态数据处理的无人机导航方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117452969A true CN117452969A (zh) | 2024-01-26 |
Family
ID=89585670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311663745.1A Pending CN117452969A (zh) | 2023-12-06 | 2023-12-06 | 基于多模态数据处理的无人机导航方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117452969A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117690178A (zh) * | 2024-01-31 | 2024-03-12 | 江西科技学院 | 一种基于计算机视觉的人脸图像识别方法与系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103196430A (zh) * | 2013-04-27 | 2013-07-10 | 清华大学 | 基于无人机的飞行轨迹与视觉信息的映射导航方法及系统 |
| CN105373132A (zh) * | 2015-11-26 | 2016-03-02 | 北京浩恒征途航空科技有限公司 | 一种基于自动巡航无人机的低空遥感系统及遥感方法 |
| KR20200121206A (ko) * | 2019-04-15 | 2020-10-23 | 계명대학교 산학협력단 | 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 및 이를 기반으로 하는 분류 방법 |
| CN114022697A (zh) * | 2021-09-18 | 2022-02-08 | 华侨大学 | 基于多任务学习与知识蒸馏的车辆再辨识方法及系统 |
| WO2022074643A1 (en) * | 2020-10-08 | 2022-04-14 | Edgy Bees Ltd. | Improving geo-registration using machine-learning based object identification |
-
2023
- 2023-12-06 CN CN202311663745.1A patent/CN117452969A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103196430A (zh) * | 2013-04-27 | 2013-07-10 | 清华大学 | 基于无人机的飞行轨迹与视觉信息的映射导航方法及系统 |
| CN105373132A (zh) * | 2015-11-26 | 2016-03-02 | 北京浩恒征途航空科技有限公司 | 一种基于自动巡航无人机的低空遥感系统及遥感方法 |
| KR20200121206A (ko) * | 2019-04-15 | 2020-10-23 | 계명대학교 산학협력단 | 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 및 이를 기반으로 하는 분류 방법 |
| WO2022074643A1 (en) * | 2020-10-08 | 2022-04-14 | Edgy Bees Ltd. | Improving geo-registration using machine-learning based object identification |
| CN114022697A (zh) * | 2021-09-18 | 2022-02-08 | 华侨大学 | 基于多任务学习与知识蒸馏的车辆再辨识方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117690178A (zh) * | 2024-01-31 | 2024-03-12 | 江西科技学院 | 一种基于计算机视觉的人脸图像识别方法与系统 |
| CN117690178B (zh) * | 2024-01-31 | 2024-04-05 | 江西科技学院 | 一种基于计算机视觉的人脸图像识别方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kabzan et al. | AMZ driverless: The full autonomous racing system | |
| Taheri et al. | SLAM; definition and evolution | |
| Amini et al. | Variational autoencoder for end-to-end control of autonomous driving with novelty detection and training de-biasing | |
| WO2019092418A1 (en) | Method of computer vision based localisation and navigation and system for performing the same | |
| CN112378397B (zh) | 无人机跟踪目标的方法、装置及无人机 | |
| CN117452969A (zh) | 基于多模态数据处理的无人机导航方法 | |
| CN114596335B (zh) | 一种无人艇目标检测追踪方法及系统 | |
| Hentati et al. | Mobile target tracking mechanisms using unmanned aerial vehicle: Investigations and future directions | |
| CN111812978B (zh) | 一种多无人机协作slam方法与系统 | |
| Kant et al. | Long short-term memory auto-encoder-based position prediction model for fixed-wing uav during communication failure | |
| US11899750B2 (en) | Quantile neural network | |
| Chen et al. | Real-time unmanned aerial vehicle flight path prediction using a bi-directional long short-term memory network with error compensation | |
| CN112380933B (zh) | 无人机识别目标的方法、装置及无人机 | |
| Pokhrel | Drone obstacle avoidance and navigation using artificial intelligence | |
| US20230028196A1 (en) | User-in-the-loop object detection and classification systems and methods | |
| CN116009583A (zh) | 基于纯粹视觉的分布式无人机协同运动控制方法和装置 | |
| Wang et al. | Online drone-based moving target detection system in dense-obstructer environment | |
| Yang et al. | A semantic SLAM-based method for navigation and landing of UAVs in indoor environments | |
| CN113741550A (zh) | 移动机器人跟随方法和系统 | |
| Grelsson | Vision-based localization and attitude estimation methods in natural environments | |
| CN116295507B (zh) | 一种基于深度学习的激光惯性里程计优化方法、系统 | |
| Kabore et al. | Deep Learning Based Formation Control of Drones | |
| Deeb | Persistent mapping in quasi-static dynamic environments using unmanned aerial vehicles | |
| Loquercio | Agile Autonomy: Learning High-Speed Vision-Based Flight | |
| EP4050510A1 (en) | Object information calculation method and system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |