CN117908574A - 基于多模态传感器融合的桥梁检测无人机控制方法及装置 - Google Patents
基于多模态传感器融合的桥梁检测无人机控制方法及装置 Download PDFInfo
- Publication number
- CN117908574A CN117908574A CN202311791064.3A CN202311791064A CN117908574A CN 117908574 A CN117908574 A CN 117908574A CN 202311791064 A CN202311791064 A CN 202311791064A CN 117908574 A CN117908574 A CN 117908574A
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- bridge
- model
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 118
- 230000004927 fusion Effects 0.000 title claims abstract description 49
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 238000007689 inspection Methods 0.000 claims abstract description 75
- 238000004590 computer program Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000010845 search algorithm Methods 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 17
- 238000010586 diagram Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000012423 maintenance Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供一种基于多模态传感器融合的桥梁检测无人机控制方法及装置，其中方法包括：获取无人机对待检测桥梁进行检测的巡检路径信息；基于扩展卡尔曼滤波器方法，对无人机中多个模态的传感器的采集信息进行融合，构建无人机的状态预测模型；基于风力模型以及无人机的控制信息，构建无人机的控制模型；基于巡检路径信息、状态预测模型以及控制模型，控制无人机检测待检测桥梁。本发明提供的基于多模态传感器融合的桥梁检测无人机控制方法及装置，通过巡检路径信息、状态预测模型以及控制模型，控制无人机检测待检测桥梁，实现了对待检测桥梁的自动巡检过程，提升了巡检效率。
Description
技术领域
本发明涉及桥梁检测技术领域，尤其涉及一种基于多模态传感器融合的桥梁检测无人机控制方法及装置。
背景技术
桥梁表面检修检测桥体是否有腐蚀、裂缝等结构损伤以及损伤程度，是桥梁维护工作的重要组成部分。定期对桥梁表面进行检测是桥梁管养的一个基本手段。尤其是跨海大桥，易受腐蚀，检修难度大，对桥梁检测技术提出了很高的要求。
现有的桥梁检测设备一般包括检修车、检修架等中大型机械，由专业人员在桥梁各处肉眼辨识桥梁健康状况。传统的桥梁检修方式有设备与人工成本高、对正常交通流干扰大、检修人员危险系数高等缺点，从而导致岁桥梁的巡检效率低。
发明内容
本发明提供一种基于多模态传感器融合的桥梁检测无人机控制方法及装置，用以提升桥梁检修的巡检效率。
本发明提供一种基于多模态传感器融合的桥梁检测无人机控制方法，包括：
获取无人机对待检测桥梁进行检测的巡检路径信息；
基于扩展卡尔曼滤波器方法，对所述无人机中多个模态的传感器的采集信息进行融合，构建所述无人机的状态预测模型；
基于风力模型以及所述无人机的控制信息，构建所述无人机的控制模型，所述风力模型是基于所述无人机在各方向承受的风力、各方向风的强度系数以及各方向风的波长确定的；
基于所述巡检路径信息、所述状态预测模型以及所述控制模型，控制所述无人机检测所述待检测桥梁。
根据本发明提供的一种基于多模态传感器融合的桥梁检测无人机控制方法，基于扩展卡尔曼滤波器方法，对所述无人机中多个模态的传感器的采集信息进行融合，构建所述无人机的状态预测模型，包括：
基于所述多个模态的传感器的采集信息，确定所述无人机的状态向量，所述多个模态的传感器的采集信息包括所述无人机的位置矢量、所述无人机的速度矢量、所述无人机的方向矢量、所述无人机的陀螺仪误差以及所述无人机的加速度计误差；
基于扩展卡尔曼滤波器方法，对所述状态向量以及所述无人机的惯性传感器的采集信息进行融合，构建所述无人机的状态预测模型。
根据本发明提供的一种基于多模态传感器融合的桥梁检测无人机控制方法，状态向量为：
其中，X为状态向量，为所述无人机的位置矢量，/>为所述无人机的速度矢量，/>为所述无人机的方向矢量，bw为所述无人机的陀螺仪误差，ba为所述无人机的加速度计误差。
根据本发明提供的一种基于多模态传感器融合的桥梁检测无人机控制方法，基于风力模型以及所述无人机的控制信息，构建所述无人机的控制模型，包括：
基于所述风力模型、所述无人机的位置向量、所述无人机的横滚角、所述无人机的俯仰角、所述无人机的偏航角、所述无人机的旋转矩阵以及所述无人机的速度，采用非线性预测控制器，构建所述无人机的控制模型。
根据本发明提供的一种基于多模态传感器融合的桥梁检测无人机控制方法，获取无人机对待检测桥梁进行检测的巡检路径信息，包括：
基于所述待检测桥梁各部分的尺寸信息，确定所述待检测桥梁的障碍物信息；
基于所述障碍物信息，确定所述无人机避开障碍物到达所述待检测桥梁各检测目标点的最短路径；
基于A星搜索算法，确定所述无人机返回起点的返回路径；
基于所述障碍物信息、所述最短路径以及所述返回路径，构建所述待检测桥梁的体素地图，并将所述体素地图作为所述无人机对待检测桥梁进行检测的巡检路径信息。
根据本发明提供的一种基于多模态传感器融合的桥梁检测无人机控制方法，基于风力模型以及所述无人机的控制信息，构建所述无人机的控制模型之后，还包括：
基于所述巡检路径信息、所述状态预测模型以及所述控制模型，对所述无人机进行测试，确定所述无人机的最大平移速度、所述无人机的最大偏航率以及所述无人机的模型碰撞距离。
本发明还提供一种基于多模态传感器融合的桥梁检测无人机控制装置，包括：
路径获取模块，用于获取无人机对待检测桥梁进行检测的巡检路径信息；
状态预测模型确定模块，用于基于扩展卡尔曼滤波器方法，对所述无人机中多个模态的传感器的采集信息进行融合，构建所述无人机的状态预测模型；
控制模型确定模块，用于基于风力模型以及所述无人机的控制信息，构建所述无人机的控制模型，所述风力模型是基于所述无人机在各方向承受的风力、各方向风的强度系数以及各方向风的波长确定的；
巡检模块，用于基于所述巡检路径信息、所述状态预测模型以及所述控制模型，控制所述无人机检测所述待检测桥梁。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述基于多模态传感器融合的桥梁检测无人机控制方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于多模态传感器融合的桥梁检测无人机控制方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于多模态传感器融合的桥梁检测无人机控制方法。
本发明提供的基于多模态传感器融合的桥梁检测无人机控制方法及装置，通过扩展卡尔曼滤波器方法，将无人机中多个模态的传感器的采集信息进行融合，用于无人机状态预测，可以确保部分传感器出错时无人机的状态计算与测距结果仍能保持稳定，有效降低无人机的故障率。与此同时，确定用于对无人机的飞行进行控制的控制模型融入了风力对无人机的影响因素，使得无人机飞行过程中有抗风性，提升了无人机的飞行稳定性。基于巡检路径信息、状态预测模型以及控制模型，控制无人机检测待检测桥梁，实现了对待检测桥梁的自动巡检过程，提升了巡检效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图简要地说明，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于多模态传感器融合的桥梁检测无人机控制方法的流程示意图；
图2是本发明提供的状态预测模型的构建示意图；
图3是本发明提供的控制架构示意图；
图4是本发明提供的无人机系统结构示意图；
图5是应用本发明提供的基于多模态传感器融合的桥梁检测无人机控制方法的流程示意图；
图6是本发明提供的基于多模态传感器融合的桥梁检测无人机控制装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出一种基于多模态传感器融合的桥梁检测无人机控制方法，图1为本发明提供的基于多模态传感器融合的桥梁检测无人机控制方法的流程示意图。参照图1，本发明提供的基于多模态传感器融合的桥梁检测无人机控制方法可以包括：
步骤110，获取无人机对待检测桥梁进行检测的巡检路径信息；
步骤120，基于扩展卡尔曼滤波器方法，对所述无人机中多个模态的传感器的采集信息进行融合，构建所述无人机的状态预测模型；
步骤130，基于风力模型以及所述无人机的控制信息，构建所述无人机的控制模型，所述风力模型是基于所述无人机在各方向承受的风力、各方向风的强度系数以及各方向风的波长确定的；
步骤140，基于所述巡检路径信息、所述状态预测模型以及所述控制模型，控制所述无人机检测所述待检测桥梁。
本发明提供的基于多模态传感器融合的桥梁检测无人机控制方法的执行主体可以是电子设备、电子设备中的部件、集成电路、或芯片。该电子设备可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)或个人计算机(personal computer，PC)等，本发明不作具体限定。
下面以计算机执行本发明提供的基于多模态传感器融合的桥梁检测无人机控制方法为例，详细说明本发明的技术方案。
在步骤110中，获取无人机对待检测桥梁进行检测的巡检路径信息。
巡检路径信息是规划的无人机针对待检测桥梁进行检测的飞行路径。
可选的，具体确定巡检路径信息的过程可以为：
根据检测桥梁检测任务目标确定桥检无人机的飞行高度，结合待检测桥梁的桥梁、桥墩等各部分尺寸数据获得无人机所在平面的地图，其中标注好障碍物的位置与大小，确定待检测桥梁的障碍物信息；
在平面地图中指定一定数目的目标点，利用人工势场方法标注障碍物的排斥势与目标点的吸引势，规划无人机避开环境障碍物到达各目标点的最短路径；其中，人工势场方法(Artificial Potential Field method)是一种常用的路径规划算法，广泛应用于机器人导航和自主移动等领域。该方法通过将机器人视为一个质点，在环境中引入虚拟的势场来指导机器人的移动；
在无人机飞行过程中利用机上传感器构建局部体素地图，利用A星搜索算法规划无人机返回起点的返回路径；其中，A星搜索算法是一种常用的启发式搜索算法，利用了启发式函数来估计节点到目标节点的代价，通过选择具有较小总代价的节点进行搜索，可以在保证最优解的前提下，减少搜索的空间和时间复杂度；
基于障碍物信息、最短路径以及返回路径，构建待检测桥梁的体素地图，将生成的体素地图存档，并将体素地图作为无人机对待检测桥梁进行检测的巡检路径信息，以备后续桥梁检测任务规划路径使用，其中，体素地图(Voxel Map)是一种三维网格数据结构，用于表示三维空间中的物体模型或环境信息。它将三维空间离散化为一系列体素(Voxel)，每个体素包含了该点的位置、状态和其他属性等信息。
在步骤120中，基于扩展卡尔曼滤波器方法，对所述无人机中多个模态的传感器的采集信息进行融合，构建所述无人机的状态预测模型。
基于无人机中的多个模态的传感器，确定无人机中多个模态的传感器的采集信息。其中，多个模态的传感器可以是惯性传感器、激光雷达、毫米波雷达等。
基于扩展卡尔曼滤波器方法，对无人机中多个模态的传感器的采集信息进行融合，构建用于在无人机飞行过程中，对无人机的状态进行预测的状态预测模型。
其中，扩展卡尔曼滤波器(Extended Kalman Filter，EKF)是一种基于卡尔曼滤波器的状态估计方法，用于在非线性系统中进行状态估计和滤波。
构建用于对无人机的状态进行预测的状态预测模型可以确保部分传感器出错时无人机的状态计算与测距结果仍能保持稳定。在实际桥梁检测场景下风速快、电磁干扰强、环境多变，多模态传感器融合的方式更能适应实际需求，有效降低无人机故障率，提高桥梁检测效率。
在步骤130中，基于风力模型以及所述无人机的控制信息，构建所述无人机的控制模型，所述风力模型是基于所述无人机在各方向承受的风力、各方向风的强度系数以及各方向风的波长确定的。
基于无人机在各方向承受的风力、各方向风的强度系数以及各方向风的波长，构建风力模型，考虑了风力对于无人机飞行的影响。
可以在无人机中上装载超声波风速传感器，结合传感器测量的风力相关的数据，以及风力模型中融入的风力对无人机飞行的影响，来强化无人机的控制架构，以提升无人机飞行的稳定性。
在步骤140中，基于所述巡检路径信息、所述状态预测模型以及所述控制模型，控制所述无人机检测所述待检测桥梁。
在确定巡检路径信息、状态预测模型以及控制模型之后，对状态预测模型以及控制模型，对无人机进行编程，以实现无人机的多模态传感器融合与抵抗风力干扰的级联控制。基于巡检路径信息，控制无人机按照路径对待检测桥梁进行自动巡检，实现了对待检测桥梁的自动巡检过程。
本发明实施例提供的基于多模态传感器融合的桥梁检测无人机控制方法，通过扩展卡尔曼滤波器方法，将无人机中多个模态的传感器的采集信息进行融合，用于无人机状态预测，可以确保部分传感器出错时无人机的状态计算与测距结果仍能保持稳定，有效降低无人机的故障率。与此同时，确定用于对无人机的飞行进行控制的控制模型融入了风力对无人机的影响因素，使得无人机飞行过程中有抗风性，提升了无人机的飞行稳定性。基于巡检路径信息、状态预测模型以及控制模型，控制无人机检测待检测桥梁，实现了对待检测桥梁的自动巡检过程，提升了巡检效率。
在一个实施例中，基于扩展卡尔曼滤波器方法，对所述无人机中多个模态的传感器的采集信息进行融合，构建所述无人机的状态预测模型，包括：基于所述多个模态的传感器的采集信息，确定所述无人机的状态向量，所述多个模态的传感器的采集信息包括所述无人机的位置矢量、所述无人机的速度矢量、所述无人机的方向矢量、所述无人机的陀螺仪误差以及所述无人机的加速度计误差；基于扩展卡尔曼滤波器方法，对所述状态向量以及所述无人机的惯性传感器的采集信息进行融合，构建所述无人机的状态预测模型。
具体的，在无人机上装载多种模态的传感器，其中以惯性传感器为基础，由陀螺仪和加速度计组成。
此外，搭载用于测量无人机与障碍物相对方向和距离的三维视觉惯性导航激光雷达、四维毫米波雷达与全域快门相机。将这些传感器采集的数据通过不同算法处理并汇总，如图2本发明提供的状态预测模型的构建示意图所示。
基于惯性传感器和全域快门相机采集的数据通过立体MSCKF算法同步融合，实现对无人机的6D位姿估计。其中，MSCKF全称为Multiplicative Square-Root CovarianceKalman Filter，它是一种基于卡尔曼滤波的扩展状态估计器，常用于飞行器等系统的姿态和位置估计。
对三维视觉惯性导航激光雷达使用基于迭代最近点的Hector-SLAM技术处理其数据，实现对无人机的6D位姿估计。其中，Hector SLAM(Heterogeneous CooperatingTerrain Mapping and Localization)是一种基于激光雷达的实时二维同时定位与地图构建(Simultaneous Localization and Mapping，SLAM)技术。
使用基于迭代扩展卡尔曼滤波的全过程SLAM技术处理四维毫米波雷达的数据。通过迭代重加权最小二乘法估计位置与方向，从而降低算法稀疏性。根据上述得到的数据计算无人机状态向量，用于无人机的状态预测。
具体的，首先定义无人机的状态向量X为如下的16维向量：
其中为无人机相对于世界坐标系的位置矢量；/>为无人机相对于世界坐标系的速度矢量；/>为惯性传感器的方向矢量，也代表了无人机的姿态；bw代表了陀螺仪的误差；ba代表了加速度计的误差，i用于标记世界坐标系的物理量。
根据速度的定义，在世界坐标系内与/>有如下关系：
构造无人机相对于世界坐标系的加速度表达式：
其中为/>对应的旋转矩阵，am为加速度计测量的加速度，ba为加速度计的测量误差，na为加速度计的测量噪声，g为世界坐标系的重力加速度。
从方向矢量与角速度的关系计算方向矢量表达式：
其中Ω为对应的多元数乘法变换矩阵，wm为陀螺仪测量的角速度，bw为陀螺仪的测量误差，nw为陀螺仪的测量噪声。
根据惯性传感器误差的定义，分别计算加速度计与陀螺仪的误差表达式：
其中为加速度计的系统噪声，/>为陀螺仪的系统噪声。
使用扩展卡尔曼滤波器方法EKF将不同传感器的测量结果融合，构建所述无人机的状态预测模型。
执行EKF算法的预测步骤，根据无人机传感器测量模型和上一时刻的状态估计，预测当前时刻的状态估计。对于前述的无人机状态矢量X，令z为多模态传感器融合后测量模型的测量值，z的表达式如下：
z＝H(X)+n；
其中H(X)为状态转移函数，n为融合模型的测量噪声。
之后执行EKF算法的更新步骤，进行残差计算，即计算测量值与状态预测模型的预测值的差
其中，为更新前的状态预测模型的预测值。
计算卡尔曼增益K，其表达式为：
K＝PHT(HPHT+R)-1；
其中P为当前时刻的协方差矩阵，H为状态转移矩阵，R为观测噪声的协方差矩阵。
最后基于卡尔曼增益更新状态矢量预测值，令更新后的状态矢量预测值为其表达式如下：
本发明实施例提供的基于多模态传感器融合的桥梁检测无人机控制方法，通过扩展卡尔曼滤波器方法，对状态向量以及无人机的惯性传感器的采集信息进行融合，构建无人机的状态预测模型，实现了对无人机飞行状态的预测过程。
在一个实施例中，基于风力模型以及所述无人机的控制信息，构建所述无人机的控制模型，包括：基于所述风力模型、所述无人机的位置向量、所述无人机的横滚角、所述无人机的俯仰角、所述无人机的偏航角、所述无人机的旋转矩阵以及所述无人机的速度，采用非线性预测控制器，构建所述无人机的控制模型。
具体的，可以基于级联控制架构控制无人机的飞行。该控制架构如图3本发明提供的控制架构示意图所示。该控制架构具体包括一个控制外环与一个控制内环。控制外环由状态估计控制器、轨迹跟踪控制器与里程计组成，负责跟踪无人机轨迹。控制内环由机载传感器、姿态控制器与无人机引擎组成，负责控制无人机姿态。可以约定内环与外环执行计算与控制的频率均为1kHz。
在无人机上装载超声波风速传感器，测量无人机三个方向上的风速与风的波长。通过过滤测量结果中均值为0的高斯噪声，生成如下的风力模型：
其中，Hx、Hy、Hz分别代表无人机在三个方向上承受的风力，σx、σy、σz分别代表对应轴上风的强度系数，Lx、Ly、Lz分别代表三个方向上风的波长。
令无人机机体坐标系相对于世界坐标系的位置向量为P(t)，无人机的横滚角为俯仰角为θ，偏航角为ψ，无人机的旋转矩阵为R，无人机的速度为v，采用非线性预测控制器生成无人机的控制模型为：
其中T为发动机推力，g为重力加速度，m为无人机整机重量， 为/>的响应时间常数，Kθ、τθ为θ的响应时间常数。外环计算生成/>θd与时间常数传递给内环，内环将推力T传递给外环。
可以理解的是，得到的用于对无人机的飞行进行控制的控制模型融入了风力对无人机的影响因素，使得无人机飞行过程中有抗风性，提升了无人机的飞行稳定性。
本发明实施例提供的基于多模态传感器融合的桥梁检测无人机控制方法，通过确定用于对无人机的飞行进行控制的控制模型融入了风力对无人机的影响因素，使得无人机飞行过程中有抗风性，提升了无人机的飞行稳定性。
在一个实施例中，获取无人机对待检测桥梁进行检测的巡检路径信息，包括：基于所述待检测桥梁各部分的尺寸信息，确定所述待检测桥梁的障碍物信息；基于所述障碍物信息，确定所述无人机避开障碍物到达所述待检测桥梁各检测目标点的最短路径；基于A星搜索算法，确定所述无人机返回起点的返回路径；基于所述障碍物信息、所述最短路径以及所述返回路径，构建所述待检测桥梁的体素地图，并将所述体素地图作为所述无人机对待检测桥梁进行检测的巡检路径信息。
可选的，具体确定巡检路径信息的过程可以为：
根据检测桥梁检测任务目标确定桥检无人机的飞行高度，结合待检测桥梁的桥梁、桥墩等各部分尺寸数据获得无人机所在平面的地图，其中标注好障碍物的位置与大小，确定待检测桥梁的障碍物信息；
在平面地图中指定一定数目的目标点，利用人工势场方法标注障碍物的排斥势与目标点的吸引势，规划无人机避开环境障碍物到达各目标点的最短路径；其中，人工势场方法(Artificial Potential Field method)是一种常用的路径规划算法，广泛应用于机器人导航和自主移动等领域。该方法通过将机器人视为一个质点，在环境中引入虚拟的势场来指导机器人的移动；
在无人机飞行过程中利用机上传感器构建局部体素地图，利用A星搜索算法规划无人机返回起点的返回路径；其中，A星搜索算法是一种常用的启发式搜索算法，利用了启发式函数来估计节点到目标节点的代价，通过选择具有较小总代价的节点进行搜索，可以在保证最优解的前提下，减少搜索的空间和时间复杂度；
基于障碍物信息、最短路径以及返回路径，构建待检测桥梁的体素地图，将生成的体素地图存档，并将体素地图作为无人机对待检测桥梁进行检测的巡检路径信息，以备后续桥梁检测任务规划路径使用，其中，体素地图(Voxel Map)是一种三维网格数据结构，用于表示三维空间中的物体模型或环境信息。它将三维空间离散化为一系列体素(Voxel)，每个体素包含了该点的位置、状态和其他属性等信息。
本发明实施例提供的基于多模态传感器融合的桥梁检测无人机控制方法，通过确定无人机飞行过程中的障碍物信息、最短路径以及返回路径，实现了无人机对待检测桥梁进行检测的巡检路径信息的确定。
在一个实施例中，基于风力模型以及所述无人机的控制信息，构建所述无人机的控制模型之后，还包括：基于所述巡检路径信息、所述状态预测模型以及所述控制模型，对所述无人机进行测试，确定所述无人机的最大平移速度、所述无人机的最大偏航率以及所述无人机的模型碰撞距离。
基于多传感器，构建的无人机系统可以如图4本发明提供的无人机系统结构示意图所示。
无人机中装载了多模态传感器，包括惯性传感器、三维激光雷达、全域快门相机、四维毫米波雷达以及超声波风力传感器。
对构建的无人机系统进行模拟实验。采用Gazebo物理引擎模拟器进行测试。基于巡检路径信息，采集的无人机工作场景预设平面地图在模拟器中创建对应面积的桥下环境模型。在模拟器(Software In The Loop，SITL)中定制无人机模型，装载了多模态传感器。基于状态预测模型以及控制模型对无人机进行编程，控制无人机的飞控硬件中的引擎和无人机姿态，实现多模态传感器融合与抵抗风力干扰的级联控制。其中，飞控硬件对传感器的数据变化进行实时监测，以进行实时调整。
在模拟实验前，预先设置无人机的最大平移速度、无人机的最大偏航率以及无人机的模型碰撞距离等参数。模拟结束后对无人机与算法进行性能评估，分析无人机飞行的平均速度矩阵与速度变化情况、路径长度矩阵与路径合理性，并确定无人机的最大平移速度、无人机的最大偏航率以及无人机的模型碰撞距离对应的参数。
本发明实施例提供的基于多模态传感器融合的桥梁检测无人机控制方法，通过基于风力模型以及所述无人机的控制信息，构建所述无人机的控制模型之后，对无人机进行模拟测试，实现了无人机的最大平移速度、无人机的最大偏航率以及无人机的模型碰撞距离对应的参数的确定。
下面以一应用本发明提供的基于多模态传感器融合的桥梁检测无人机控制方法的流程示意图图5为例，说明本发明提供的技术方案：
步骤510，获取无人机对待检测桥梁进行检测的巡检路径信息；
步骤520，基于扩展卡尔曼滤波器方法，对无人机中多个模态的传感器的采集信息进行融合，构建无人机的状态预测模型；
步骤530，基于风力模型以及无人机的控制信息，构建无人机的控制模型，风力模型是基于无人机在各方向承受的风力、各方向风的强度系数以及各方向风的波长确定的；
步骤540，基于巡检路径信息、状态预测模型以及控制模型，对无人机进行测试，确定无人机的最大平移速度、无人机的最大偏航率以及无人机的模型碰撞距离；
步骤550，基于巡检路径信息、状态预测模型以及控制模型，控制无人机检测待检测桥梁。
图6本发明提供的基于多模态传感器融合的桥梁检测无人机控制装置的结构示意图，如图6示，该装置包括：
路径获取模块610，用于获取无人机对待检测桥梁进行检测的巡检路径信息；
状态预测模型确定模块620，用于基于扩展卡尔曼滤波器方法，对所述无人机中多个模态的传感器的采集信息进行融合，构建所述无人机的状态预测模型；
控制模型确定模块630，用于基于风力模型以及所述无人机的控制信息，构建所述无人机的控制模型，所述风力模型是基于所述无人机在各方向承受的风力、各方向风的强度系数以及各方向风的波长确定的；
巡检模块640，用于基于所述巡检路径信息、所述状态预测模型以及所述控制模型，控制所述无人机检测所述待检测桥梁。
本发明实施例提供的基于多模态传感器融合的桥梁检测无人机控制装置，通过扩展卡尔曼滤波器方法，将无人机中多个模态的传感器的采集信息进行融合，用于无人机状态预测，可以确保部分传感器出错时无人机的状态计算与测距结果仍能保持稳定，有效降低无人机的故障率。与此同时，确定用于对无人机的飞行进行控制的控制模型融入了风力对无人机的影响因素，使得无人机飞行过程中有抗风性，提升了无人机的飞行稳定性。基于巡检路径信息、状态预测模型以及控制模型，控制无人机检测待检测桥梁，实现了对待检测桥梁的自动巡检过程，提升了巡检效率。
在一个实施例中，状态预测模型确定模块620具体用于：
基于扩展卡尔曼滤波器方法，对所述无人机中多个模态的传感器的采集信息进行融合，构建所述无人机的状态预测模型，包括：
基于所述多个模态的传感器的采集信息，确定所述无人机的状态向量，所述多个模态的传感器的采集信息包括所述无人机的位置矢量、所述无人机的速度矢量、所述无人机的方向矢量、所述无人机的陀螺仪误差以及所述无人机的加速度计误差；
基于扩展卡尔曼滤波器方法，对所述状态向量以及所述无人机的惯性传感器的采集信息进行融合，构建所述无人机的状态预测模型。
在一个实施例中，状态预测模型确定模块620还具体用于：
确定状态向量为：
其中，X为状态向量，为所述无人机的位置矢量，/>为所述无人机的速度矢量，/>为所述无人机的方向矢量，bw为所述无人机的陀螺仪误差，ba为所述无人机的加速度计误差。
在一个实施例中，控制模型确定模块630具体用于：
基于风力模型以及所述无人机的控制信息，构建所述无人机的控制模型，包括：
基于所述风力模型、所述无人机的位置向量、所述无人机的横滚角、所述无人机的俯仰角、所述无人机的偏航角、所述无人机的旋转矩阵以及所述无人机的速度，采用非线性预测控制器，构建所述无人机的控制模型。
在一个实施例中，路径获取模块610具体用于：
获取无人机对待检测桥梁进行检测的巡检路径信息，包括：
基于所述待检测桥梁各部分的尺寸信息，确定所述待检测桥梁的障碍物信息；
基于所述障碍物信息，确定所述无人机避开障碍物到达所述待检测桥梁各检测目标点的最短路径；
基于A星搜索算法，确定所述无人机返回起点的返回路径；
基于所述障碍物信息、所述最短路径以及所述返回路径，构建所述待检测桥梁的体素地图，并将所述体素地图作为所述无人机对待检测桥梁进行检测的巡检路径信息。
在一个实施例中，路径获取模块610还具体用于：
基于风力模型以及所述无人机的控制信息，构建所述无人机的控制模型之后，还包括：
基于所述巡检路径信息、所述状态预测模型以及所述控制模型，对所述无人机进行测试，确定所述无人机的最大平移速度、所述无人机的最大偏航率以及所述无人机的模型碰撞距离。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行基于多模态传感器融合的桥梁检测无人机控制方法，该方法包括：
获取无人机对待检测桥梁进行检测的巡检路径信息；
基于扩展卡尔曼滤波器方法，对所述无人机中多个模态的传感器的采集信息进行融合，构建所述无人机的状态预测模型；
基于风力模型以及所述无人机的控制信息，构建所述无人机的控制模型，所述风力模型是基于所述无人机在各方向承受的风力、各方向风的强度系数以及各方向风的波长确定的；
基于所述巡检路径信息、所述状态预测模型以及所述控制模型，控制所述无人机检测所述待检测桥梁。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于多模态传感器融合的桥梁检测无人机控制方法，该方法包括：
获取无人机对待检测桥梁进行检测的巡检路径信息；
基于扩展卡尔曼滤波器方法，对所述无人机中多个模态的传感器的采集信息进行融合，构建所述无人机的状态预测模型；
基于风力模型以及所述无人机的控制信息，构建所述无人机的控制模型，所述风力模型是基于所述无人机在各方向承受的风力、各方向风的强度系数以及各方向风的波长确定的；
基于所述巡检路径信息、所述状态预测模型以及所述控制模型，控制所述无人机检测所述待检测桥梁。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于多模态传感器融合的桥梁检测无人机控制方法，该方法包括：
获取无人机对待检测桥梁进行检测的巡检路径信息；
基于扩展卡尔曼滤波器方法，对所述无人机中多个模态的传感器的采集信息进行融合，构建所述无人机的状态预测模型；
基于风力模型以及所述无人机的控制信息，构建所述无人机的控制模型，所述风力模型是基于所述无人机在各方向承受的风力、各方向风的强度系数以及各方向风的波长确定的；
基于所述巡检路径信息、所述状态预测模型以及所述控制模型，控制所述无人机检测所述待检测桥梁。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于多模态传感器融合的桥梁检测无人机控制方法，其特征在于，所述方法包括：
获取无人机对待检测桥梁进行检测的巡检路径信息；
基于扩展卡尔曼滤波器方法，对所述无人机中多个模态的传感器的采集信息进行融合，构建所述无人机的状态预测模型；
基于风力模型以及所述无人机的控制信息，构建所述无人机的控制模型，所述风力模型是基于所述无人机在各方向承受的风力、各方向风的强度系数以及各方向风的波长确定的；
基于所述巡检路径信息、所述状态预测模型以及所述控制模型，控制所述无人机检测所述待检测桥梁。
2.根据权利要求1所述的基于多模态传感器融合的桥梁检测无人机控制方法，其特征在于，所述基于扩展卡尔曼滤波器方法，对所述无人机中多个模态的传感器的采集信息进行融合，构建所述无人机的状态预测模型，包括：
基于所述多个模态的传感器的采集信息，确定所述无人机的状态向量，所述多个模态的传感器的采集信息包括所述无人机的位置矢量、所述无人机的速度矢量、所述无人机的方向矢量、所述无人机的陀螺仪误差以及所述无人机的加速度计误差；
基于扩展卡尔曼滤波器方法，对所述状态向量以及所述无人机的惯性传感器的采集信息进行融合，构建所述无人机的状态预测模型。
3.根据权利要求2所述的基于多模态传感器融合的桥梁检测无人机控制方法，其特征在于，所述状态向量为：
其中，X为状态向量，为所述无人机的位置矢量，/>为所述无人机的速度矢量，/>为所述无人机的方向矢量，bw为所述无人机的陀螺仪误差，ba为所述无人机的加速度计误差。
4.根据权利要求1所述的基于多模态传感器融合的桥梁检测无人机控制方法，其特征在于，所述基于风力模型以及所述无人机的控制信息，构建所述无人机的控制模型，包括：
基于所述风力模型、所述无人机的位置向量、所述无人机的横滚角、所述无人机的俯仰角、所述无人机的偏航角、所述无人机的旋转矩阵以及所述无人机的速度，采用非线性预测控制器，构建所述无人机的控制模型。
5.根据权利要求1所述的基于多模态传感器融合的桥梁检测无人机控制方法，其特征在于，所述获取无人机对待检测桥梁进行检测的巡检路径信息，包括：
基于所述待检测桥梁各部分的尺寸信息，确定所述待检测桥梁的障碍物信息；
基于所述障碍物信息，确定所述无人机避开障碍物到达所述待检测桥梁各检测目标点的最短路径；
基于A星搜索算法，确定所述无人机返回起点的返回路径；
基于所述障碍物信息、所述最短路径以及所述返回路径，构建所述待检测桥梁的体素地图，并将所述体素地图作为所述无人机对待检测桥梁进行检测的巡检路径信息。
6.根据权利要求1所述的基于多模态传感器融合的桥梁检测无人机控制方法，其特征在于，所述基于风力模型以及所述无人机的控制信息，构建所述无人机的控制模型之后，还包括：
基于所述巡检路径信息、所述状态预测模型以及所述控制模型，对所述无人机进行测试，确定所述无人机的最大平移速度、所述无人机的最大偏航率以及所述无人机的模型碰撞距离。
7.一种基于多模态传感器融合的桥梁检测无人机控制装置，其特征在于，包括：
路径获取模块，用于获取无人机对待检测桥梁进行检测的巡检路径信息；
状态预测模型确定模块，用于基于扩展卡尔曼滤波器方法，对所述无人机中多个模态的传感器的采集信息进行融合，构建所述无人机的状态预测模型；
控制模型确定模块，用于基于风力模型以及所述无人机的控制信息，构建所述无人机的控制模型，所述风力模型是基于所述无人机在各方向承受的风力、各方向风的强度系数以及各方向风的波长确定的；
巡检模块，用于基于所述巡检路径信息、所述状态预测模型以及所述控制模型，控制所述无人机检测所述待检测桥梁。
8.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述基于多模态传感器融合的桥梁检测无人机控制方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于多模态传感器融合的桥梁检测无人机控制方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于多模态传感器融合的桥梁检测无人机控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311791064.3A CN117908574A (zh) | 2023-12-22 | 2023-12-22 | 基于多模态传感器融合的桥梁检测无人机控制方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311791064.3A CN117908574A (zh) | 2023-12-22 | 2023-12-22 | 基于多模态传感器融合的桥梁检测无人机控制方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117908574A true CN117908574A (zh) | 2024-04-19 |
Family
ID=90690120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311791064.3A Pending CN117908574A (zh) | 2023-12-22 | 2023-12-22 | 基于多模态传感器融合的桥梁检测无人机控制方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117908574A (zh) |
-
2023
- 2023-12-22 CN CN202311791064.3A patent/CN117908574A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mansouri et al. | Cooperative coverage path planning for visual inspection | |
| CN114384920B (zh) | 一种基于局部栅格地图实时构建的动态避障方法 | |
| Scherer et al. | River mapping from a flying robot: state estimation, river detection, and obstacle mapping | |
| US11694356B2 (en) | Methods and systems for joint pose and shape estimation of objects from sensor data | |
| Nuske et al. | Autonomous exploration and motion planning for an unmanned aerial vehicle navigating rivers | |
| CN110069071A (zh) | 无人机导航方法与装置、存储介质、电子设备 | |
| CN111338383B (zh) | 基于gaas的自主飞行方法及系统、存储介质 | |
| Ivić et al. | Multi-UAV trajectory planning for 3D visual inspection of complex structures | |
| Minghui et al. | Deep learning enabled localization for UAV autolanding | |
| CN114488848A (zh) | 面向室内建筑空间的无人机自主飞行系统及仿真实验平台 | |
| Tsintotas et al. | The MPU RX-4 project: Design, electronics, and software development of a geofence protection system for a fixed-wing vtol uav | |
| le Fevre Sejersen et al. | Safe vessel navigation visually aided by autonomous unmanned aerial vehicles in congested harbors and waterways | |
| Lin et al. | The fuzzy-based visual intelligent guidance system of an autonomous underwater vehicle: realization of identifying and tracking underwater target objects | |
| Yang et al. | Ultrasonic and IMU based high precision UAV localisation for the low cost autonomous inspection in oil and gas pressure vessels | |
| Chen et al. | Aerial robots on the way to underground: An experimental evaluation of VINS-mono on visual-inertial odometry camera | |
| CN117908574A (zh) | 基于多模态传感器融合的桥梁检测无人机控制方法及装置 | |
| Guan et al. | A new integrated navigation system for the indoor unmanned aerial vehicles (UAVs) based on the neural network predictive compensation | |
| Wu et al. | Multi-objective reinforcement learning for autonomous drone navigation in urban areas with wind zones | |
| Bețco et al. | Autonomous navigation for the Martian Inspection Drone | |
| CN109901589B (zh) | 移动机器人控制方法和装置 | |
| Miera et al. | LiDAR-based drone navigation with reinforcement learning | |
| CN112154351A (zh) | 地形检测方法、可移动平台、控制设备、系统及存储介质 | |
| Liu et al. | Relative Navigation and Terrain-based Path Planning using Flash LiDAR based Surfel Grid Map for Asteroid Exploration | |
| CN116466733B (zh) | 一种用于无人机起降的智能避障系统及方法 | |
| CN113470342B (zh) | 一种自运动估计的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |