CN115560691A - 一种飞机变形扫描检测设备及快速检测方法 - Google Patents

Abstract

本发明涉及飞机表面变形检测技术领域，具体涉及一种飞机变形扫描检测设备及快速检测方法，通过无人机对飞机进行全局检测，将拍摄后的图片与数据库进行第一次对比，提取特征值作为搜索阈值，得到初步结果，将缺陷图片过滤出来，利用改进布谷鸟搜索算法与SLAM算法结合，精准规划出一条适合无人机二次精准检测的路径，让无人机在指定时间内以最快的效率进行局部检测，对二次获取的图片进行深度分析，其结果与无变形飞机模板数据库中的标准部件尺寸参数对比，得出具体损伤种类和损伤程度。本发明通过云边协同，降低了系统整体的时延，也提高了网络资源的利用率。

Description

一种飞机变形扫描检测设备及快速检测方法

技术领域

本发明涉及飞机表面变形检测技术领域，具体涉及一种飞机变形扫描检测设备及快速检测方法。

背景技术

飞机的蒙皮、整流罩、壁板等容易在多种情况下发生凹陷和变形，包括但不限于以下情况：

A、飞机在起降过程中，遭受诸如飞鸟等外来物的撞击；

B、飞机在地面维修过程中，由于不当的操作，例如工具的意外碰撞；

C、飞机超载，或者低空非正常飞行时，容易在起落过程中造成机体变形；

D、不当的应力产生的塑性失稳。

飞机的凹陷和变形可能增加飞行器的阻力，影响飞机的飞行性能。在某些关键部位，例如桁条、缘条等部位是不允许存在凹坑和变形的。

目前飞机凹坑和变形的检查多依赖于地勤检测人员的目视检查，该检查方式存在但不限于以下局限：

A、人眼精度有限，对一些凹坑和形变很难发现；

B、检查人员容易发生疲劳、遗忘检查等情况。

随着多旋翼无人机技术的发展，近年来消费级和行业级无人机市场都快速增长，使用无人机的成本大幅下降，越来越多的领域开始使用多旋翼无人机巡检这种高效快捷的方法。而目前无人机视觉SLAM协同建图与导航技术发展迅猛，飞机维修机坪环境较为单一，可以很好的利用无人机巡检适应该技术。

布谷鸟搜索(Cuckoo Search，CS)算法基于布谷鸟的寄生性育雏(broodparasitism，又巢寄生)行为，其具备参数少的特性，在解决特殊问题时无需重新匹配大量参数，因此，在解决许多最优化问题时比其它新兴元启发式智能优化算法更胜一筹。该算法可以通过Levy(莱维)飞行来增强，而不是简单的各向同性随机游走。

研究表明，该算法可能比遗传算法、PSO以及其他算法更有效。

但是，目前布谷鸟搜索算法仅被用于测试理论上最优解已知的标准测试问题，其前期收敛速度略有欠缺，将该算法应用到具有很高计算代价的目标函数的实际工程问题中时，前期的收敛速度慢将不利于快速定位全局最优解的大致区域，因此运动到对于飞机表明的凹坑和变形的检查存在一定的缺陷。

因此本申请设计了一种改进的布谷鸟搜索算法MCS(Modified Cuckoo Search)，从理论上阐明算法改进思路和改进步骤，并通过仿真实验对比表明改进后算法的优越性，在航线维修时，可以将改进布谷鸟搜索算法和SLAM技术综合运用，通过对无人机第一次快速巡检时采集的图片进行特征提取，对比损伤的损害程度和维修时间，将无人机需要详细扫描的几个损伤点串联形成一条特定的巡检路径，大大提高检测效率，择优检测。

发明内容

本发明的目的是填补现有技术的空白，提供了一种飞机变形扫描检测设备及快速检测方法，通过一种改进的布谷鸟搜索算法MCS(Modified Cuckoo Search)，从理论上阐明算法改进思路和改进步骤，并通过仿真实验对比表明改进后算法的优越性，在航线维修时，可以将改进布谷鸟搜索算法和SLAM技术综合运用，通过对无人机第一次快速巡检时采集的图片进行特征提取，对比损伤的损害程度和维修时间，将无人机需要详细扫描的几个损伤点串联形成一条特定的巡检路径，大大提高检测效率，择优检测。

为了达到上述目的，本发明提供一种飞机变形扫描检测设备，包括检测系统、数据处理与控制箱；的检测系统包括无人机检测系统、云端接收模块以及变形分析系统，无人机检测系统包括无人机、高清摄像头、工业相机、镜头和相机控制器，工业相机在相机控制器的控制作用下通过镜头采集机身反射的结构光；变形分析系统包括激光器与工业相机同步系统、激光器与工业相机位置检测模块、无变形飞机模板数据库以及数据比对系统；高清摄像头、工业相机、镜头和相机控制器均搭载在无人机上；的数据处理与控制箱实现对无变形飞机模板数据库的查询，并通过数据比对系统完成比对以判断飞机是否存在变形。

无人机通过传输检测信息给云台，进过布谷鸟搜索算法定位处理之后传输给无人机进行二次点对点扫描。

变形分析系统通过无人机拍摄后的图片与数据库进行第一次对比，提取特征值作为搜索阈值，得到初步结果，将缺陷图片过滤出来，之后将缺陷图片上传云端，利用布谷鸟算法精准检测出在具体时间内需要进行二次精准检测的额位置，发出指令让无人机获取的二次图片进行深度分析，其结果与云端标准数据库对比，得出具体损伤的种类的损伤程度。

一种飞机变形扫描快速检测方法，包括以下步骤：

S1，利用无人机进行整机表面的扫描；

S2，训练用图片数据采集与数据增强；

S3，图片在云端进行数据分析；

S4，图片提取缺陷特征对比，进行无人机二次扫描路径规划；

S5，无人机根据计算结果进行具体位置的扫描；

S6，无人机将检测结果传输给云端进行损伤评估；

S1还包括：

S10，根据机型预先编写飞行路径；

S11，轨迹校准；

S11还包括：

S11-1，通过视觉导航，如果事先在每个定位点拍下正确位置的图像信息；S11-2，将实时位置图像与正确位置图像进行对比分析；

S11-3，将对比结果反馈给飞行控制系统进行位置校准；

S2还包括：

S21，训练用图片数据采集；

S22，缺陷标注；

S23，二次缺陷路检测径规划；

S22还包括：

S22-1，打开一张需要标定的图片；

S22-2，将标定图片的缺陷分类注明；

S22-3，判断无人机是否携带对应检测探头；

S22-4，将缺陷坐标定位；

S23还包括：

S23-1，将标定图片的缺陷坐标定位；

S23-2，通过算法将所有坐标根据检修时间、实际无人机可达性，编辑出最合适的自动检修路径；

S2中的数据增强的方式主要有三种：

对原始图片进行90度，180度，270度的旋转变换，然后对图片进行适当的向内收缩和向外扩张，生成新的图片；

使用300*300像素的滑动窗口将图像裁剪成若干块；

过度采样与细节复制，人为复制带有缺陷的图片，让缺陷图片被多次训练。

S4中的路径规划的方式主要有三种：

飞行中步长可变并且进行突然90°的转弯，偶尔的大步长可以保证搜索不回陷入到局部最优；

在CCS中将混沌理论融入到了布谷鸟搜索技术中，混沌理论研究高度敏感系统的行为，其中初始位置的微小变化会对系统的行为产生很大的影响，混沌具有非重复和遍历性的特点，便于快速搜索；

引入了遗传算法中的精英概念，将最优布谷鸟代入下一代，以构建新的更优解。

构建新的更优解的方式如下：

A、在搜索空间中随机产生n个“鸟窝”位置，即损伤点位置x＝(x₁,x₂,…,x_d)^T，并对它们进行测试，根据测试结果，从中选出初始全局最优“鸟窝”位置，并将这个“鸟窝”位置保留到下一代；

B、利用

是第i个鸟巢在第t代时的位置；无人机能发现损伤且损伤亟需修补的概率是p_a，p_a∈[0,1]，在这种情况下，无人机可以考虑忽略这个损伤，也可以标记这个损伤位置；更新其它的“鸟窝”位置，然后测试更新后的得到的这组新的“鸟窝”位置，与上一代鸟窝位置进行对比，选取对应的“鸟窝”位置中测试值较好的位置并将其保留至下一步运算；

和

是两个不同的随机序列，H(u)是海维赛德函数，ε是取自随机分布中的一个随机数，s是步长；

实质上就是一个随机过程的随机方程，一般情况下，其作为一个马尔科夫链，其目的是希望产生的新解的有效值通过一定的远区随机处理避免系统陷入局部最优，Γ(λ)是标准的伽马函数。

表示点对点乘法，α>0为步长比例因子，它与问题利害关系的程度相关联，大多数情况下取α＝o(L/10)，其中L为问题利害关系的特征范围，但在一些情况下，α＝o(L/100)更加有效而且可以避免飞行过远；

随机产生一个服从均匀分布的数r∈(0,1)，将算法中设置损伤位置超过损伤容限的概率p_a＝f(t)与该随机数进行对比，如果r>p_a，则随机改变

的值，反之如果r≤p_a，则

的值不变；

C、这个过程完成后，测试改变后的损伤位置，根据测试结果，将其与B步骤中更新后得到的一组损伤位置的测试值进行对比，选取对应的损伤位置中较好的损伤位置并将其保留下来，通过这样的方式，就可以选出一组当前机型全局最优损伤位置序列的最优全局位置

D、判断

是全局最优解，

是对应的全局最优值是否满足待优化问题所设定的算法终止条件，若不满足，则返回步骤B继续进行计算；若满足，则

即为全局最优损伤位置gb，g是global的缩写。

本发明通过云端和边缘侧相互协作处理终端的数据，称为云边协同。云端拥有强大的算力，但是和终端距离较远，传输数据有一定的延迟，不能满足实时性的要求。边缘侧和终端同在工业现场，传输数据速度较快，但是边缘侧的任务处理能力有限。云边协同系统将同时利用二者的优点，将终端发布的简单任务交给边缘侧进行处理，边缘侧难以处理的则交给云端进行处理，以此降低了系统整体的时延，也提高了网络资源的利用率。根据云边协同的特点，本发明将分别在云端和边缘侧部署相应的深度学习网络，协作完成缺陷检测任务。

本发明同现有技术相比，通过仿真实验对比表明改进后算法的优越性，在航线维修时，可以将改进布谷鸟搜索算法和SLAM技术综合运用，通过对无人机第一次快速巡检时采集的图片进行特征提取，对比损伤的损害程度和维修时间，将无人机需要详细扫描的几个损伤点串联形成一条特定的巡检路径，大大提高检测效率，择优检测。

附图说明

图1为本发明实施例的无人机绕机表面缺陷检测系统结构图；

图2为本发明的一个较佳实施例的系统工作流程图；

具体实施方式

现结合附图对本发明做进一步描述。

参见图1～2，本发明公开了一种飞机变形扫描检测设备及快速检测方法，包括云端、边缘侧、终端，其中，边缘侧部署了轻量化的小型神经网络；云端部署了大型神经网络；边缘侧先对终端采集到的图片进行检测，得到初步的检测结果，并将缺陷图片过滤出来，之后将缺陷图片上传至云端，利用大型神经网络精确检测出缺陷位置和缺陷种类，最后通过布谷鸟搜索规划处合适的无人机检测路径。

如图1所示，以无人机检测平台为基础，立足于机库应用场景，开发实现无人机绕机检查系统，主要内容包括：

s1基于机器视觉的飞机机身结构智能检测系统；

s2差异化巡检路径与无人机飞行计划实时生成；

s3飞机全表面故障检测与可视化定位；

s4飞机表面瑕疵评估与智能维修决策。

进一步地，s2计划可分为：

s21飞机表面环境建模。通过机器视觉产生的飞机结果对原始三维飞机表面环境数据栅格化并采用曲面拟合法对原始采集到的离散的飞机表面深度数据进行插值，得到均匀分布的规则网格数据，从而将三维海底环境表示出来。

s22种群初始化。种群初始化与路径规划效果密切相关。鸟窝位置种群初始化主要有两个关键问题，一是初始种群的生成方法，二是初始种群的生成规模。本文采用借助先验知识生成路径规划区域内的种群方法对种群进行初始化。

s23鸟窝位置编码。在进行路径规划任务之前，首先需要将MCS算法中的鸟窝位置进行编码，这样可以将待解决的抽象问题转化为具体的数学表达式，合理的编码方式，能够方便MCS算法快速有效地进行。

s24适应度函数设计。在UAV路径规划中，适应度函数的设计具有极其重要的作用，它是种群中的个体优劣程度的重要体现，恰当的适应度函数设计是MCS算法能够找到路径规划区域中的全局最优路径的重要保证。本专利设计的适应度函数采用的是优化指标和代价函数相结合的形式，其中优化指标体现了路径规划的优化目标，而代价函数是个体对飞机检测环境的不适应程度的反映。综上，本文采用的评价函数主要包括两方面的性能指标，一是路径长度，二是威胁代价。

s25鸟窝位置更新方式。UAV路径规划的过程本身即是一个搜索的过程，因此鸟窝位置更新是UAV路径规划所有问题的关键，其性能直接影响到UAV路径规划的效果。利用MCS算法对路径种群实施更新优化，通过在鸟窝位置间加入信息交换以及将Levy飞行步长α设置为变量，使算法拥有更大的搜索范围和更快的寻优速度，从而求得路径规划区域内的全局最优路径。

s26终止条件设置。UAV路径规划过程需根据实际情况设置一个终止准则。

进一步地，s4决策可分为：

s41面向飞机瑕疵检测、威胁度评估与定位的深度学习网络，以典型瑕疵为基础，训练深度学习网络，在计算平台上完成飞机瑕疵检测、威胁度评估与定位任务；

s42通过数值测量、手册查询等工作完成后将综合评估数据发送资深工程师，辅助决策继续监测还是立即维修，以达到适航标准下飞机利用率最大化，减少维修工时，降低维修成本，实现对表面缺陷的最优维修控制；

s43机身表面故障检测的关键在于通过无人机获取的视频图像确定故障位置和类型。根据机器视觉中的目标检测原理，研究面向机身表面故障检测的图像特征提取方法，对比分析SIFT、HOG等经典手工特征与深度学习获取的自动特征，构建多种特征组成的特征库；

s44比较CNN网络，研究智能特征选择策略，根据不同机型和检查任务要求，自动确定适合机身表面故障分析的图像特征；

s45研究面向机身表面故障定位与识别的目标检测算法，实现多种类型故障目标的实时检测。

以机器学习方法以及深度学习为基础，面向检测任务目标进行关键部位/疑似部位的高清图片图像识别，建立飞机表面缺陷的可视化模型，实现潜在故障的趋势跟踪，该步骤具体可分为：

利用可见光图像实现对飞机机型的识别(机号关联机型)，识别结果用于无人机在飞机检测过程中的路径规划。飞机由于机型不同，尺寸与需要重点检测的部位也不相同，因此在识别出飞机机型的基础上，根据待检测飞机的机型确定无人机在检查过程中的飞行路径与飞行计划(如特定位置的停留时间等)。本次项目具体实施以B737为对象展开飞行路径规划研究。

深度学习的方法在图像识别和自然语言处理等方面展示了优异的性能。将CNN用于高分辨率影像分类使用固定大小窗口遍历时，首先，利用卷积神经网络得到的特征对影像进行分类，进行定性或定量分析；然后，采用支持向量机对第一步分类由于特征区分性不足造成的错分的缺陷类别进行再分类。面向检测任务目标的信息融合可以针对不同任务目标实现在特征空间上对检测对象的“凸化”，提高后续检测、识别与定位算法的鲁棒性。

在多源信息融合的基础上，以CNN为基础构建面向飞机表面故障瑕疵检查、故障统计、威胁度评估的深度学习网络，以典型瑕疵为基础，训练深度学习网络，在计算平台上完成飞机瑕疵检测、威胁度评估与定位任务。

以上仅是本发明的优选实施方式，只是用于帮助理解本申请的方法及其核心思想，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

本发明从整体上解决了现有技术中布谷鸟搜索算法仅被用于测试理论上最优解已知的标准测试问题，其前期收敛速度略有欠缺，将该算法应用到具有很高计算代价的目标函数的实际工程问题中时，前期的收敛速度慢将不利于快速定位全局最优解的大致区域，因此运动到对于飞机表明的凹坑和变形的检查存在一定的缺陷，本发明通过无人机对飞机进行全局检测，将拍摄后的图片与数据库进行第一次对比，提取特征值作为搜索阈值，得到初步结果，将缺陷图片过滤出来，利用改进布谷鸟搜索算法与SLAM算法结合，精准规划出一条适合无人机二次精准检测的路径，让无人机在指定时间内以最快的效率进行局部检测，对二次获取的图片进行深度分析，其结果与无变形飞机模板数据库中的标准部件尺寸参数对比，得出具体损伤种类和损伤程度。本发明进一步的通过云边协同，降低了系统整体的时延，也提高了网络资源的利用率。

Claims (7)

1.一种飞机变形扫描检测设备，其特征在于，包括检测系统、数据处理与控制箱；所述的检测系统包括无人机检测系统、云端接收模块以及变形分析系统，所述无人机检测系统包括无人机、高清摄像头、工业相机、镜头和相机控制器，所述工业相机在所述相机控制器的控制作用下通过镜头采集机身反射的结构光；所述变形分析系统包括激光器与工业相机同步系统、激光器与工业相机位置检测模块、无变形飞机模板数据库以及数据比对系统；所述高清摄像头、所述工业相机、所述镜头和所述相机控制器均搭载在无人机上；所述的数据处理与控制箱实现对无变形飞机模板数据库的查询，并通过所述数据比对系统完成比对以判断飞机是否存在变形。

2.根据权利要求1所述的飞机变形扫描检测设备，其特征在于，所述无人机通过传输检测信息给云台，进过布谷鸟搜索算法定位处理之后传输给无人机进行二次点对点扫描。

3.根据权利要求1所述的飞机变形扫描检测设备，其特征在于，所述变形分析系统通过所述无人机拍摄后的图片与数据库进行第一次对比，提取特征值作为搜索阈值，得到初步结果，将缺陷图片过滤出来，之后将缺陷图片上传云端，利用所述布谷鸟算法精准检测出在具体时间内需要进行二次精准检测的额位置，发出指令让无人机获取的二次图片进行深度分析，其结果与云端标准数据库对比，得出具体损伤的种类的损伤程度。

4.一种飞机变形扫描快速检测方法，其特征在于，包括以下步骤：

S1，利用无人机进行整机表面的扫描；

S2，训练用图片数据采集与数据增强；

S3，所述图片在云端进行数据分析；

S4，所述图片提取缺陷特征对比，进行无人机二次扫描路径规划；

S5，无人机根据计算结果进行具体位置的扫描；

S6，无人机将检测结果传输给云端进行损伤评估；

所述S1还包括：

S10，根据机型预先编写飞行路径；

S11，轨迹校准；

所述S11还包括：

S11-1，通过视觉导航，如果事先在每个定位点拍下正确位置的图像信息；

S11-2，将实时位置图像与正确位置图像进行对比分析；

S11-3，将对比结果反馈给飞行控制系统进行位置校准；

所述S2还包括：

S21，所述训练用图片数据采集；

S22，缺陷标注；

S23，二次缺陷路检测径规划；

所述S22还包括：

S22-1，打开一张需要标定的图片；

S22-2，将标定图片的缺陷分类注明；

S22-3，判断无人机是否携带对应检测探头；

S22-4，将缺陷坐标定位；

所述S23还包括：

S23-1，将标定图片的缺陷坐标定位；

S23-2，通过算法将所有坐标根据检修时间、实际无人机可达性，编辑出最合适的自动检修路径；

5.根据权利要求4所述的飞机变形扫描快速检测方法，其特征在于，所述S2中的数据增强的方式主要有三种：

对原始图片进行90度，180度，270度的旋转变换，然后对图片进行适当的向内收缩和向外扩张，生成新的图片；

使用300*300像素的滑动窗口将图像裁剪成若干块；

过度采样与细节复制，人为复制带有缺陷的图片，让所述缺陷图片被多次训练。

6.根据权利要求4所述的飞机变形扫描快速检测方法，其特征在于，所述S4中的路径规划的方式主要有三种：

飞行中步长可变并且进行突然90°的转弯，偶尔的大步长可以保证搜索不回陷入到局部最优；

在CCS中将混沌理论融入到了布谷鸟搜索技术中，混沌理论研究高度敏感系统的行为，其中初始位置的微小变化会对系统的行为产生很大的影响，混沌具有非重复和遍历性的特点，便于快速搜索；

引入了遗传算法中的精英概念，将最优布谷鸟代入下一代，以构建新的更优解。

7.根据权利要求6所述的飞机变形扫描快速检测方法，其特征在于，所述构建新的更优解的方式如下：

A、在搜索空间中随机产生n个“鸟窝”位置，即损伤点位置x＝(x₁，x₂，…x_d)^T，并对它们进行测试，根据测试结果，从中选出初始全局最优“鸟窝”位置，并将这个“鸟窝”位置保留到下一代；

B、利用

更新其它的“鸟窝”位置，然后测试更新后的得到的这组新的“鸟窝”位置，与上一代鸟窝位置进行对比，选取对应的“鸟窝”位置中测试值较好的位置并将其保留至下一步运算；

所述

和

是两个不同的随机序列，H(u)是海维赛德函数，ε是取自随机分布中的一个随机数，s是步长；

所述

表示点对点乘法，α＞0为步长比例因子，它与问题利害关系的程度相关联，大多数情况下取α＝o(L/10)，其中L为问题利害关系的特征范围，但在一些情况下，α＝o(L/100)更加有效而且可以避免飞行过远；

随机产生一个服从均匀分布的数r∈(0，1)，将算法中设置损伤位置超过损伤容限的概率p_a＝f(t)与该随机数进行对比，如果r＞p_a，则随机改变

的值，反之如果r≤p_a，则

的值不变；

C、这个过程完成后，测试改变后的损伤位置，根据测试结果，将其与所述B步骤中更新后得到的一组损伤位置的测试值进行对比，选取对应的损伤位置中较好的损伤位置并将其保留下来，通过这样的方式，就可以选出一组当前机型全局最优损伤位置序列；

D、判断所述

是否满足待优化问题所设定的算法终止条件，若不满足，则返回所述步骤B继续进行计算；若满足，则

即为全局最优解gb。

Images