CN114397909B - 一种针对大型飞机的小型无人机自动巡检方法 - Google Patents

Abstract

本发明涉及一种针对大型飞机的小型无人机自动巡检方法，小型无人机平台搭载了用于在线计算规划的小型机载电脑、能够获取环境信息进行建模的深度相机。首先由深度相机和飞控的量测信息，利用SLAM算法获得无人机自身的位姿信息以及周围的环境信息。获得定位以及环境信息后，规划器根据预设定的任务目标规划输出一条安全、平滑的高质量航迹。最后由控制器接收航迹信息向飞控发送控制指令并最终使无人机按照预定航迹完成自主飞行。本发明能够使小型无人机避开障碍物安全完成任务目标，获得巡检飞机表面的高质量图像，提高飞机巡检效率。

Description

一种针对大型飞机的小型无人机自动巡检方法

技术领域

本发明属于无人机自主巡检的系统领域，具体涉及一种基于自主飞行的，一种针对大型飞机的小型无人机自动巡检方法。

背景技术

无人机巡检是指通过逻辑指令一键实现无人机自动开展巡检的一项新型数字化巡检手段。

当前的巡检工作一般是用激光雷达等对线路进行三维建模，以三维点云数据及航线规划软件，精准规划巡检航线，设定每一个巡视点位，形成程序指令导入巡检无人机；并为无人机配置具有高精度定位功能的专门模块，自动在每一处巡视点位拍照记录。

而大型飞机在使用过程中表面常常出现裂纹损伤、紧固件断头或松动损伤、腐蚀损伤、结构变形损伤、密封材料损伤和保护层损伤等问题。使用人工攀爬目视检查的方式进行维护耗费大量人力、物力、时间。

现有的针对大型飞机的无人机巡检工作主要是通过承载能力较强的较大轴距无人机使用外部GPS等进行定位，提前给定精确的航迹目标点，通过自动驾驶仪按既定航迹进行飞行，无人机平台搭设的检查设备随之移动并记录巡检飞机的表面情况。

其问题在于:

(1)部分飞机的维护地点是在仓库等室内场景，无法使用GPS等进行定位；

(2)对提前给定的航迹目标点的精确度要求非常高，且按既定航迹进行飞行过程中无局部避障功能、传统巡检用无人机轴距又往往过大。若目标点不够精确，大概率发生触碰而损伤飞机。

(3)巡检用的无人机往往需要搭载使用额外通道控制的云台。无人机在按照既定航迹进行飞行的过程中，需要人工对云台的角度进行控制。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种针对大型飞机的小型无人机自动巡检方法，解决针对大型飞机巡检工作中室内无法使用外部GPS等进行定位、自主性和安全性较差的问题。

技术方案

一种针对大型飞机的小型无人机自动巡检方法，其特征在于：无人机上设有深度相机，巡检步骤如下：

步骤1、感知建图：利用深度相机得到周围环境的深度图像，并融合无人机飞控解算出无人机当前位姿；将每帧深度图像的像素坐标转换至世界坐标系下：

ZP_u,v＝K(RP_w+t)＝KTP_w

其中Z表示每帧深度图像中每一个像素点的深度信息，P_u,v表示深度图像的每一个像素坐标，K表示相机内参，

其中相机的位姿R,t又称为相机的外参数，T表示转换矩阵，P_w即特征点在世界坐标系下的坐标，其中/>

对世界坐标系下的多帧点云进行拼接，由此得到无人机周围障碍物的三维点云模型；

再对三维点云模型进行栅格膨胀化处理得到精细化三维点云模型；

步骤2：根据步骤1得到的定位、环境信息，机载电脑在线规划输出一条高质量的航迹，规划的具体步骤如下：

步骤1)：根据预先设定的任务目标点，初步规划一条无视障碍物的多项式初始轨迹：所述初始轨迹为环绕大型飞机的航迹信息，包括航迹中的位置、速度以及偏航角信息；其中偏航角信息根据巡检飞机方位独立规划，即无人机在运动中将一直正面朝向巡检飞机；

步骤2)：考虑初始轨迹经过的障碍物信息，在障碍物表面与发生碰撞的轨迹段中之间生成一一匹配的{p,v}对，该{p,v}对的实质是碰撞轨迹与障碍物之间的距离信息；

步骤3)：将航迹的规划问题转换为满足平滑性、免碰性、可行性的优化问题，解决该问题求解得到满足条件的理想的航迹信息B-spline曲线：

步骤3：控制器接收理想的航迹信息并生成控制指令，并以飞控高频率持续接收当前的航迹信息，控制无人机运动。在此过程中控制器同时接收当前定位信息进行反馈控制，使航迹得到精准地执行。高性能拍摄设备随无人机平台运动进行高效巡检工作。

所述步骤1得到精细化三维点云模型的过程：

X_num＝x/resolution

Y_num＝y/resolution

Z_num＝z/resolution

其中X_num、Y_num、Z_num表示栅格地图的索引值，resolution表示栅格地图分辨率，x,y,z表示点的坐标值；

将障碍物点所处的的栅格状态设置为占据：

cell_(x,y,z).status＝occupied

无障碍物点的栅格状态设置为空闲

cell_(x,y,z).status＝free

得到考虑无人机尺寸的精确的三维点云模型。

有益效果

本发明提出的一种针对大型飞机的小型无人机自动巡检方法，小型无人机平台搭载了用于在线计算规划的小型机载电脑、能够获取环境信息进行建模的深度相机。首先由深度相机和飞控的量测信息，利用SLAM算法获得无人机自身的位姿信息以及周围的环境信息。获得定位以及环境信息后，规划器根据预设定的任务目标规划输出一条安全、平滑的高质量航迹。最后由控制器接收航迹信息向飞控发送控制指令并最终使无人机按照预定航迹完成自主飞行。

本发明通过使用小型无人机、基于室内自主飞行技术的自动巡检技术。通过提前给定粗略的目标点进行高效的航迹规划工作，使无人机能够安全自主地完成巡检任务。依托可单独对偏航角进行单独规划的优点，使小型无人机在自主飞行过程中摄像头一直朝向飞机，省去了独立云台的搭载。

本发明能够使小型无人机避开障碍物安全完成任务目标，获得巡检飞机表面的高质量图像，提高飞机巡检效率。

有益效果：采用本发明提出的基于自主飞行的，针对大型飞机的小型无人机自动巡检解决方案，小型无人机能够安全、自主地通过提前给定的粗略航迹点完成巡检任务。巡检过程中，小型无人机的局部避障功能使得即使在给定的粗略不准确的航迹点下，该无人机仍能够避免损伤大型飞机表面。

一方面，使用视觉定位的小型无人机能够在室内室外场景下通用，辅助带有局部避障功能的航迹规划模块，提高巡检工作的稳定性与安全性。

另一方面，通过单独规划航迹角使得无人机摄像头正面一直自动朝向巡检飞机，降低了人为操作的难度的同时也免去了安装云台的繁琐。

附图说明

图1：根据预设定的任务目标规划输出一条安全、平滑的高质量航迹示意图

图2：发明流程示意图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤一：使用者通过目测等手段提前给定粗略的检测点坐标信息。

步骤二：准备阶段：无需GPS等外部定位模块，使用者开启机载计算机上的定位模块程序，配合飞控与相机的IMU数据得到当前的准确定位信息，相机直接得到当前周围的环境信息。

步骤三：规划阶段：规划器根据预先设定的检测点坐标信息生成一条免碰撞的高质量航迹。

步骤四：控制阶段：无人机根据已得到的当前航迹信息进行运动，在运动过程中，根据变化的环境信息进行航迹重规划，保证无人机能够安全稳定地到达给定检测点。在此过程中，受益于偏航角单独规划以及四旋翼无人机的高灵敏性，无人机搭设摄像头的正面将一直正对待检测大飞机。

具体实施方案：

本发明的目的在于针对当前大型飞机巡检费时费力且安全性不高的问题，提出一种基于自主飞行的，针对大型飞机的小型无人机自动巡检解决方案。

该方案通过在小型无人机平台上搭载自主飞行所需要的机载电脑、深度相机等，画面拍摄所需要的高性能录制设备等硬件，使用航迹规划技术输出无人机完成预先设定目标任务的高质量航迹，并最终经过飞控控制电机执行规划命令使无人机平台高效运动，从而带动高性能录制设备进行巡检工作。

具体过程如下

1.感知建图

利用深度相机得到周围环境的深度图像，并融合无人机飞控解算出无人机当前位姿。通过坐标转换关系将每帧深度图像的像素坐标转换至世界坐标系下：

ZP_u,v＝K(RP_w+t)＝KTP_w (0.1)

其中Z表示每帧深度图像中每一个像素点的深度信息，P_u,v表示深度图像的每一个像素坐标，K表示相机内参，

其中相机的位姿R,t又称为相机的外参数，T表示转换矩阵，P_w即特征点在世界坐标系下的坐标，其中/>

对世界坐标系下的多帧点云进行拼接，由此得到无人机周围障碍物的精确三维点云模型。

为了航迹规划的准确性需要考虑无人机的尺寸，由于后端规划器视无人机为考虑动力学、运动学约束的质点，所以在建图环节需要按照无人机的具体尺寸调整地图分辨率resolution，并对已得到的三维点云模型进行栅格膨胀化处理：

其中X_num、Y_num、Z_num表示栅格地图的索引值，resolution表示栅格地图分辨率，x,y,z表示点的坐标值。

将障碍物点所处的的栅格状态设置为占据

cell_(x,y,z).status＝occupied (0.3)

无障碍物点的栅格状态设置为空闲

cell_(x,y,z).status＝free (0.4)

由此最终得到考虑无人机尺寸的更精确的三维点云模型用于表达环境中的障碍物信息。

2.规划

根据感知建图环节得到的定位、环境信息，机载电脑在线规划输出一条高质量的航迹。规划的具体步骤如下：

步骤一：根据预先设定的任务目标点，初步规划一条无视障碍物的多项式初始轨迹。

步骤二：考虑初始轨迹经过的障碍物信息，在障碍物表面与发生碰撞的轨迹段中之间生成一一匹配的{p,v}对。该{p,v}对的实质是碰撞轨迹与障碍物之间的距离信息。

步骤三：航迹的规划问题转换为满足平滑性、免碰性、可行性的优化问题，解决该问题求解得到满足条件的B-spline曲线。其目标函数为：

其中J_s为光滑项，J_c为碰撞项，J_d为动力学可行项，λ_s，λ_c，λ_d为惩罚项的权值。

其中平滑性惩罚项J_s为

其中：

V_i为B-spline曲线控制点的速度，A_i为控制点的加速度，J_i即jerk为控制点加速度的导数。该惩罚项使最终规划的高维航迹倾向于相邻航迹控制点之间速度、加速度变化较小以达到平滑控制的目的。

免碰性惩罚项J_c为：

其中J_c为：

其中：

c_ij＝s_f-d_ij

其中：

d_ij＝(Q_i-p_ij)v_ij

式中Q_i为B-spline曲线的控制点，s_f为安全距离超参数，p_ij为障碍物表面与碰撞轨迹段的配对锚点，v_ij为{p,v}对对应的斥力方向向量。

可行性惩罚项J_d为：

其中ω_v,ω_a,ω_j,为每项的权重，c_r∈C∈{V_i,A_i,J_i}，a₁,b₁,c₁,a₂,b₂,c₂用来满足函数的二阶连续性，c_m为导数限制，c_j为二次和三次函数的交界，λ＜1-∈(∈＜＜1)为弹性系数，使得最终的结果满足约束。

最后得到的高质量航迹实质上是含有航迹点位置、速度、加速度、偏航角信息的高维三阶B-spline曲线，具有高阶连续性。当前的偏航角与无人机速度方向基本一致，为了使无人机搭设拍摄设备的正面始终朝向巡检飞机，调整当前规划偏航角逆时针旋转90°。

步骤四：飞控高频率接收航迹信息控制无人机运动。在此过程中控制器同时接收当前定位信息进行反馈控制，使航迹得到精准地执行。高性能拍摄设备随无人机平台运动进行高效巡检工作。

Claims (2)

1.一种针对大型飞机的小型无人机自动巡检方法，其特征在于：无人机上设有深度相机，巡检步骤如下：

步骤1、感知建图：利用深度相机得到周围环境的深度图像，并融合无人机飞控解算出无人机当前位姿；将每帧深度图像的像素坐标转换至世界坐标系下：

ZP_u,v＝K(RP_w+t)＝KTP_w

其中Z表示每帧深度图像中每一个像素点的深度信息，P_u,v表示深度图像的每一个像素坐标，K表示相机内参，

其中相机的位姿R,t又称为相机的外参数，T表示转换矩阵，P_w即特征点在世界坐标系下的坐标，其中/>

对世界坐标系下的多帧点云进行拼接，由此得到无人机周围障碍物的三维点云模型；

再对三维点云模型进行栅格膨胀化处理得到精细化三维点云模型；

步骤2：根据步骤1得到的定位、环境信息，机载电脑在线规划输出一条高质量的航迹，规划的具体步骤如下：

步骤1)：根据预先设定的任务目标点，初步规划一条无视障碍物的多项式初始轨迹：所述初始轨迹为环绕大型飞机的航迹信息，包括航迹中的位置、速度以及偏航角信息；其中偏航角信息根据巡检飞机方位独立规划，即无人机在运动中将一直正面朝向巡检飞机；

步骤2)：考虑初始轨迹经过的障碍物信息，在障碍物表面与发生碰撞的轨迹段中之间生成一一匹配的{p,v}对，该{p,v}对的实质是碰撞轨迹与障碍物之间的距离信息；

步骤3)：将航迹的规划问题转换为满足平滑性、免碰性、可行性的优化问题，解决该问题求解得到满足条件的理想的航迹信息B-spline曲线：

步骤3：控制器接收理想的航迹信息并生成控制指令，并以飞控高频率持续接收当前的航迹信息，控制无人机运动；在此过程中控制器同时接收当前定位信息进行反馈控制，使航迹得到精准地执行；高性能拍摄设备随无人机平台运动进行高效巡检工作。

2.根据权利要求1所述针对大型飞机的小型无人机自动巡检方法，其特征在于：所述步骤1得到精细化三维点云模型的过程：

X_num＝x/resolution

Y_num＝y/resolution

Z_num＝z/resolution

其中X_num、Y_num、Z_num表示栅格地图的索引值，resolution表示栅格地图分辨率，x,y,z表示点的坐标值；

将障碍物点所处的的栅格状态设置为占据：

cell_(x,y,z).status＝occupied

无障碍物点的栅格状态设置为空闲

cell_(x,y,z).status＝free

得到考虑无人机尺寸的精确的三维点云模型。

Images