CN113306741A - 一种基于深度学习的外部绕机检查无人机及方法 - Google Patents

Abstract

本发明提供一种基于深度学习的外部绕机检查无人机及方法，由机架1、马达2、旋翼3、控制盒4、电源5、数据收发组件6、定位组件7、周向摄像组件8、竖向摄像头9组成；所述控制盒4包括飞行控制模块，GPU深度学习处理模块，储存模块；飞行控制模块操纵飞行姿态、数据收发、摄像定位、数据调用等，GPU深度学习处理模块处理图像、判别飞机需要维护的部位，储存模块储存已训练好的深度学习目标检测网络模型。本发明全程代替人工自动进行绕机检查和损伤判别，自动化程度高，既节约时间，又能摆脱人工进行损伤状况判别，降低人工成本。

Description

一种基于深度学习的外部绕机检查无人机及方法

技术领域

本发明涉及飞机维修设备领域，尤其是涉及一种基于深度学习的外部绕机检查无人机及方法。

背景技术

外部绕机检查是航空业一项基本的飞机外部例行工作，是为了保证飞机的整体状态，及其可见部件和设备，确认飞行安全，而进行的检查，确认没有损伤、划伤、凹陷、变形、雷击痕迹，没有漆层剥落，该关闭的地方关好，没有任何泄露等。

飞机降落后，机务工作人员要进行多遍绕机检查，确认飞机状态，并进行维护工作。维护完成后，还要进行外部绕机检查，确认飞机构型恢复完毕。在飞机起飞前，机务工作人员和飞行员要分别再次进行绕机检查，查看飞机安全状态，确认适合起飞。在这些绕机过程中，飞机每次检查都会由两名以上人员分别进行，这是为了提高安全系数、减少人为因素对安全性带来的影响。然而，这么多次的外部例行绕机检查消耗了太多的精力、时间，加大了航空运输业的成本。

在2018年初，空客使用小型无人机携带一个高分辨率相机，由自动飞行控制系统操纵按照预定航迹在飞机上表面进行绕机检查；工作人员将无人机拍摄的图像存储，用于和完好外观比对分析外观质量瑕疵。厦门太古2018年12月24日宣布，在公司设施内，成功完成使用无人机绕机辅助飞机检查的测试，通过无人机拍摄飞机的影像，再将影像与完好飞机进行比对，并将影像储存以备追溯。两者均使用具有普通航拍功能的无人机对飞机进行影像拍摄，再对完好飞机进行对比，用无人机代替人工进行绕机检查，提高工作人员的了安全性和舒适性。然而，两家公司只是利用无人机进行影像拍摄，最终还是要派遣专门的工作人员检查图像，判断飞机的损伤状况，同样需要花费大量时间。如果有一种自动进行绕机检查并可以识别判断出损伤状况的高精确度无人机，以机器的准确性，必然可以减少绕机次数，节约更多时间；又能摆脱人工进行损伤状况判别，降低人工成本。

发明内容

本发明的目的在于解决上述问题，提供一种基于深度学习的外部绕机检查无人机及方法，全程代替人工进行绕机检查和损伤判断，既提高准确性，节约时间，又省却大量的人工。是通过以下技术方案实现的：

本发明提供一种基于深度学习的外部绕机检查无人机，由机架、马达、旋翼、控制盒、电源、数据收发组件、定位组件、周向摄像组件、竖向摄像头组成。

进一步的，所述机架包含有上、中、下三块支撑板，所述数据收发组件固接于所述机架的最上层支撑板的上表面，与遥控端进行信息传递。

进一步的，最上层支撑板的上表面还固接所述竖向摄像头、连接定位组件，用于对无人机上方物体的摄像、上方物体的定位以及周向物体的定位；所述电源以及所述控制盒位于上部和中部两块支撑板之间，两者与机架的连接均为可拆卸式固定连接，在损坏的情况下可以拆卸损坏件，更换新部件；所述周向摄像组件连接于最下层支撑板的下表面，用于对无人机周围物体的摄像以及无人机高度的定位。

进一步的，所述控制盒包括：飞行控制模块，GPU深度学习处理模块，储存模块；

其中，所述飞行控制模块为PLC控制器；PLC控制器作用是通过分别控制每个马达的转速，马达再带动旋翼旋转，从而操纵无人机的飞行姿态，包括旋转、升降、平移等；还协同控制无人机的数据收发组件，操纵无人机与遥控端之间信号的接收、发送；同时控制竖向摄像头、定位组件和周向摄像组件对飞机的摄像以及定位，将所拍摄图像和定位信息传输至GPU深度学习处理模块进行处理；将储存模块的机型库数据调用至GPU深度学习处理模块进行图像检测，或者将GPU深度学习处理模块的数据调用至储存模块进行储存；

所述GPU深度学习处理模块为CEVA-XM4智能视觉处理器，对获取图像的深度学习处理能力强，用作图像的深度学习处理器，可以提高本发明无人机外部绕机检查的稳定性；

所述储存模块为FLASH存储器，是一种非易失性存储器，断电也不会丢失数据，读写速度高、功耗较低、容量大，作为深度学习处理机型数据库的储存器，运行较为流畅；无人机绕机检查实验阶段发现，采用其他储存器会出现卡慢现象。

进一步的，PLC控制器内置有微型电源，为运行PLC控制器提供电源；GPU深度学习处理模块消耗电能较大，由电源为其供电；马达与电源之间电性连接，由PLC控制器控制电源通断。

进一步的，所述无人机特指旋翼无人机，包括但不限于四旋翼无人机，可以是四旋翼、六旋翼、八旋翼等，旋翼数量与控制盒PLC控制器的程序对应。

进一步的，所述数据收发组件包括数据接收器和数据发送器，为保证无人机与远程遥控端信息交流的流畅性，分开设置数据接收器和数据发送器。

进一步的，所述定位组件包括上转动轴、激光定位仪A、激光定位仪B；所述上转动轴通过内置的驱动装置，驱动上转动轴相对机架转动，从而带动整个定位组件的转动；所述激光定位仪A固接于上转动轴侧面，测量周围物体到无人机的距离；所述激光定位仪B固接于上转动轴的上表面，测量无人机上方物体到无人机的距离；激光定位仪A和激光定位仪B，随上转动轴的转动而旋转，通过内置的传感器将位置信息传递给PLC控制器。

进一步的，所述周向摄像组件包括下转动轴、定位盒、激光定位仪C、周向摄像头；所述下转动轴通过内置的驱动装置，驱动自身相对机架转动，从而带动整个周向摄像组件转动；所述定位盒固接于下转动轴下表面，所述激光定位仪C固接于定位盒的下表面，测量无人机的高度信息；所述周向摄像头固接于定位盒的侧面；定位盒随下转动轴的转动带动激光定位仪C、周向摄像头一起旋转，激光定位仪C和周向摄像头通过内置的传感器将位置信息传递给PLC控制器。

本发明还提供一种基于深度学习的外部绕机检查方法，包括有以下步骤：

S1、遥控端选择机型信息，确定开始作业；

S2、无人机按照该机型的特定绕机步骤对飞机绕机检查；

S3、调用机型数据库中的深度学习目标检测神经网络，检测图像是否为损伤图像；

S4、将损伤图像按照位置信息划分至飞机不同区域；

S5、对比损伤特征值与阈值，将超出阈值的损伤图像升级为故障图像；

S6、反馈故障图像信息至遥控端，提示工作人员进行维护。

进一步作为优选的实施方式，所述步骤S3中机型数据库的建立步骤为：

S301、通过维修部门、生产厂家、网络，收集各种机型的飞机的不同程度、不同类别的损伤信息，形成损伤数据库；

S302、将图像的损伤数据库送入深度学习目标检测算法神经网络进行训练，直至网络收敛；

S303、保存已训练完成的深度学习目标检测网络，并作机型标记；

S304、继续训练其他机型的深度学习目标检测网络，形成深度学习神经网络的机型数据库，储存入FLASH储存器。

本发明的优点：

1.本发明提供的外部绕机检查无人机及方法，代替人工对飞机进行绕机检查，检查效率提升，节省了大量时间，同时又省却大量的人工成本。

2.本发明采用的无人机及方法代替人工对飞机进行外部检查，准确性提高，增加了航空安全系数。

3.本发明无人机的构造简单，省却了云台，降低了制造成本。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例无人机的整体结构示意图；

图2是本发明实施例中机架的结构示意图；

图3是本发明实施例中定位组件的结构示意图；

图4是本发明实施例中周向摄像组件的结构示意图；

图5是本发明实施例中控制盒的控制线路的连接示意图；

图6是一种基于深度学习的外部绕机检查方法的流程图；

图7是本发明绕机检查方法中建立机型数据库的流程图；

图中：1-机架；2-马达；3-旋翼；4-控制盒；5-电源；6-数据收发组件；7-定位组件；8-周向摄像组件；9-竖向摄像头；701-上转动轴；702-激光定位仪A；703-激光定位仪B；801-下转动轴；80-定位盒；803-激光定位仪C；804-周向摄像头。

具体实施方式

图1示意了本发明实施例无人机的整体结构图，图2示意了本发明实施例无人机机架1的结构图；结合图1和图2，本发明提供的外部绕机检查无人机，由机架1、马达2、旋翼3、控制盒4、电源5、数据收发组件6、定位组件7、周向摄像组件8、竖向摄像头9组成；所述机架1包含有上、中、下三块支撑板，所述数据收发组件6固接于所述机架1的最上层支撑板的上表面，与遥控端进行信息传递；同时，最上层支撑板的上表面还固接所述竖向摄像头9、连接定位组件7，用于对无人机上方物体的摄像以及上方物体、周向物体的定位；所述电源5以及所述控制盒4位于上部和中部两块支撑板之间，两者与机架1的连接均为可拆卸式固定连接，在损坏的情况下可以拆卸旧部件，更换新部件；所述周向摄像组件8连接于最下层支撑板的下表面，用于对无人机周围物体的摄像以及无人机高度的定位。

图3示意了本发明实施例中定位组7件的结构；所述定位组件7包括上转动轴701、激光定位仪A 702、激光定位仪B 703；所述上转动轴701通过内置的驱动装置，驱动上转动轴701相对机架1转动，从而带动整个定位组件7的转动；所述激光定位仪A702固接于上转动轴701侧面，测量周围物体到无人机的距离；所述激光定位仪B 703固接于上转动轴701的上表面，测量无人机上方物体到无人机的距离；激光定位仪A702和激光定位仪B 703，随上转动轴701的转动而旋转，通过内置的传感器将位置信息传递给PLC控制器。

图4示意了本发明实施例中周向摄像组件8的结构；所述周向摄像组件8包括下转动轴801、定位盒802、激光定位仪C 803、周向摄像头804；所述下转动轴801通过内置的驱动装置，驱动下转动轴801相对机架1转动，从而带动整个周向摄像组件8转动；所述定位盒802固接于下转动轴801下表面，所述激光定位仪C 803固接于定位盒802的下表面，测量无人机的高度信息；所述周向摄像头804固接于定位盒802的侧面；定位盒802内置有传感器，将激光定位仪C 803和周向摄像头804的位置信息传递给PLC控制器。

图5示意了本发明实施例中控制盒4的控制线路的连接情况；所述控制盒4包括飞行控制模块，GPU深度学习处理模块，储存模块；

其中，所述飞行控制模块为PLC控制器；PLC控制器作用是通过分别控制每个马达2的转速，马达2再带动旋翼3旋转，从而操纵无人机的飞行姿态，包括旋转、升降、平移等；还协同控制无人机的数据收发组件6，操纵无人机与遥控端之间信号的接收、发送；同时控制竖向摄像头9、定位组件7和周向摄像组件8对飞机的摄像以及定位，将所拍摄图像和定位信息传输至GPU深度学习处理模块进行处理；将储存模块的机型库数据调用至GPU深度学习处理模块进行图像检测，或者将GPU深度学习处理模块的数据调用至储存模块进行储存；

所述GPU深度学习处理模块为CEVA-XM4智能视觉处理器，对获取图像的深度学习处理能力强，用作图像的深度学习处理器，可以提高本发明无人机外部绕机检查的稳定性；

所述储存模块为FLASH存储器，是一种非易失性存储器，断电也不会丢失数据，读写速度高、功耗较低、容量大，作为深度学习处理机型数据库的储存器，运行较为流畅，采用其他储存器会出现卡慢现象。

图6是一种基于深度学习的外部绕机检查方法的流程图，包括如下步骤：

S1、遥控端选择机型信息，确定开始作业；

工作人员在遥控端选择需要检查的飞机机型，点击确定按钮遥控端将信息发送至无人机；无人机的数据收发组件6收到遥控端发来的机型指令以及开始绕机指令，传递给控制盒4，控制盒4的PLC控制器控制马达2、旋翼3转速开始起飞，上升至一定高度；无人机根据激光定位仪A 702、激光定位仪B 703、激光定位仪C 803测得与飞机的距离，控制无人机飞行至该机型特定的绕机起始位置。

S2、无人机按照该机型的特定绕机步骤对飞机绕机检查；

不同机型的飞机有不同的绕机程序，比如固定翼民用大型飞机需要检查大翼，直升机没有大翼不需要检查；而且，不同机型大都在尺寸形状有差异，无法用统一的绕机程序执行所有机型的绕机检查，所以，在无人机中录入特定机型的绕机检查程序；在无人机绕机检查时，PLC控制器操纵周向摄像头804和竖向摄像头9实时拍摄，不断对焦，获取最清晰的图像；操纵激光定位仪A 702、激光定位仪B 703、激光定位仪C 803，定位获取无人机坐标以及所拍摄图像的位置坐标。

S3、调用机型数据库中的深度学习目标检测神经网络，检测图像是否为损伤图像；

PLC控制器调用FLASH储存器中机型数据库关于该机型的深度学习目标检测神经网络到CEVA-XM4智能视觉处理器，同时控制定位组件7、竖向摄像头9和周向摄像组件8，将所拍摄图像以及定位信息，送入深度学习目标检测神经网络，进行目标检测；从检测结果中，筛选图像是否包含损伤特征，如果有，将此图像定义为损伤图像；若图像出现损伤特征，GPU深度学习处理模块触发PLC控制器的传输指令，PLC控制器调取损伤图像信息以及位置信息，并且通过数据收发组件6传输至遥控端；此类信息不直接显示在遥控端的屏幕上，若有需要，工作人员随时可以调取。

S4、将损伤图像按照位置信息划分至飞机不同区域；

飞机可以划分为机头区域、左右前机身区域、左右后机身区域、下部中间机身区域、前起落架区域、左右主起落架区域、左右机翼区域、左右发动机区域、机尾区域，每个区域对损伤程度的标准不同，需要依区域进行判别。

S5、对比损伤特征值与阈值，将超出阈值的损伤图像升级为故障图像；

损伤图像划分至所属区域以后，将损伤图像的损伤特征值与该区域中此损伤类型的阈值作对比，若损伤程度超出阈值，将损伤图像升级为故障图像，表示此处需要进行后续的维护工作。

S6、反馈故障图像信息至遥控端，提示工作人员进行维护；

GPU深度学习处理模块检测出有故障图像时，PLC控制器会控制数据收发组件6将故障信息、类别信息、位置信息、损伤程度信息发送给遥控端，遥控端收到故障信息后，将这些信息显示在遥控端的屏幕上，工作人员根据故障级别采取维护措施；

其中，故障信息、类别信息、位置信息、损伤程度信息由深度学习目标检测算法直接得出；故障信息是指故障名称；类别信息是指故障的类别，如凹坑、掉漆、腐蚀等；坐标信息是指该检测出的故障特征，在飞机上的具体位置信息，一般由飞机站位信息及飞机具体零部件信息组成；损伤程度信息是指目标检测算法检测得出故障特征零部件已损伤程度的信息，该信息以1的倍数形式呈现，以升级为故障的标准作为基数1，数字越大，表明损伤程度越严重，应采取维护方式的级别越高。

图7是本发明绕机检查方法中建立机型数据库的流程图；作为优选的实施方式，所述步骤S3中机型数据库的建立步骤为：

S301、通过维修部门、生产厂家、网络，收集各种机型的飞机的不同程度、不同类别的损伤信息，形成损伤数据库；

S302、将图像的损伤数据库送入深度学习目标检测算法神经网络进行训练，直至网络收敛；

S303、保存已训练完成的深度学习目标检测网络，并作机型标记；

S304、继续训练其他机型的深度学习目标检测网络，形成深度学习神经网络的机型数据库，储存入FLASH储存器。

Claims (9)

1.一种基于深度学习的外部绕机检查无人机，由机架(1)、马达(2)、旋翼(3)、控制盒(4)、电源(5)、数据收发组件(6)、定位组件(7)、周向摄像组件(8)、竖向摄像头(9)组成；其特征在于：所述机架(1)包含有上、中、下三块支撑板，所述数据收发组件(6)固接于所述机架(1)的最上层支撑板的上表面，与遥控端进行信息传递；最上层支撑板的上表面还固接所述竖向摄像头(9)、连接定位组件(7)，用于对无人机上方物体的摄像、定位以及周向物体的定位；所述电源(5)以及所述控制盒(4)位于上部和中部两块支撑板之间，两者与机架(1)的连接均为可拆卸式固定连接，在损坏的情况下可以拆卸旧部件，更换新部件；所述周向摄像组件(8)固接于最下层支撑板的下表面，用于对无人机周围物体的摄像以及无人机高度的定位。

2.根据权利要求1所述的基于深度学习的外部绕机检查无人机，其特征在于：所述控制盒(4)包括：飞行控制模块，GPU深度学习处理模块，储存模块；所述飞行控制模块为PLC控制器；PLC控制器作用是通过分别控制每个马达(2)的转速，马达(2)再带动旋翼(3)旋转，从而操纵无人机的飞行姿态，包括旋转、升降、平移等；还协同控制无人机的数据收发组件(6)，操纵无人机与遥控端之间信号的接收、发送；同时控制竖向摄像头(9)、定位组件(7)和周向摄像组件(8)对飞机的摄像以及定位，将所拍摄图像和定位信息传输至GPU深度学习处理模块进行处理；将储存模块的机型库数据调用至GPU深度学习处理模块进行图像检测，或者将GPU深度学习处理模块的数据调用至储存模块进行储存；所述GPU深度学习处理模块为CEVA-XM4智能视觉处理器，对获取图像的深度学习处理能力强，用作图像的深度学习处理器，可以提高本发明无人机外部绕机检查的稳定性；所述储存模块为FLASH存储器，是一种非易失性存储器，断电也不会丢失数据，读写速度高、功耗较低、容量大，作为深度学习处理机型数据库的储存器，运行较为流畅，采用其他储存器会出现卡慢现象。

3.根据权利要求1所述基于深度学习的外部绕机检查无人机，其特征在于：所述PLC控制器内置有微型电源(5)，为运行PLC控制器提供电源(5)，GPU深度学习处理模块消耗电能较大，由电源(5)为其供电。

4.根据权利要求1所述的基于深度学习的外部绕机检查无人机，其特征在于：所述无人机特指旋翼无人机，包括但不限于四旋翼无人机，可以是四旋翼、六旋翼、八旋翼等，旋翼数量与控制盒PLC控制器的程序对应。

5.根据权利要求1所述的基于深度学习的外部绕机检查无人机，其特征在于：所述数据收发组件(6)包括数据接收器和数据发送器，为保证无人机与远程遥控端信息交流的流畅性，分开设置数据接收器和数据发送器。

6.根据权利要求1所述的基于深度学习的外部绕机检查无人机，其特征在于：所述定位组件(7)包括上转动轴(701)、激光定位仪A(702)、激光定位仪B(703)；所述上转动轴(701)通过内置的驱动装置，驱动上转动轴(701)相对机架(1)转动，从而带动整个定位组件(7)的转动；所述激光定位仪A(702)固接于上转动轴(701)侧面，测量周围物体到无人机的距离；所述激光定位仪B(703)固接于上转动轴(701)的上表面，测量无人机上方物体到无人机的距离；激光定位仪A(702)和激光定位仪B(703)，通过内置的传感器将位置信息传递给PLC控制器。

7.根据权利要求1所述基于深度学习的外部绕机检查无人机，其特征在于：所述周向摄像组件(8)包括下转动轴(801)、定位盒(802)、激光定位仪C(803)、周向摄像头(804)；所述下转动轴(801)通过内置的驱动装置，驱动下转动轴(801)相对机架(1)转动，从而带动整个周向摄像组件(8)转动；所述定位盒(802)固接于转动轴(801)下表面，所述激光定位仪C(803)固接于定位盒(802)的下表面，测量无人机的高度信息；所述周向摄像头(804)固接于定位盒(802)的侧面；定位盒(802)内置有传感器，将激光定位仪C(803)和周向摄像头(804)的位置信息传递给PLC控制器。

8.一种基于深度学习的外部绕机检查方法，其特征在于：包括有以下步骤：

S1、遥控端选择机型信息，确定开始作业；

S2、无人机按照该机型的特定绕机步骤对飞机绕机检查；

S3、调用机型数据库中的深度学习目标检测神经网络，检测图像是否为损伤图像；

S4、将损伤图像按照位置信息划分至飞机不同区域；

S5、对比损伤特征值与阈值，将超出阈值的损伤图像升级为故障图像；

S6、反馈故障图像信息至遥控端，提示工作人员进行维护。

9.根据权利要求8所述基于深度学习的外部绕机检查无人机的绕机检查方法，其特征在于：所述步骤S3中机型数据库的建立步骤为：

S301、通过维修部门、生产厂家、网络，收集各种机型的飞机的不同程度、不同类别的损伤信息，形成损伤数据库；

S302、将图像的损伤数据库送入深度学习目标检测算法神经网络进行训练，直至网络收敛；

S303、保存已训练完成的深度学习目标检测网络，并作机型标记；

S304、继续训练其他机型的深度学习目标检测网络，形成深度学习神经网络的机型数据库，储存入FLASH储存器。

Images