CN102355569A - 基于无线机器视觉的飞机蒙皮结构监测方法 - Google Patents

基于无线机器视觉的飞机蒙皮结构监测方法 Download PDF

Info

Publication number
CN102355569A
CN102355569A CN2011101424888A CN201110142488A CN102355569A CN 102355569 A CN102355569 A CN 102355569A CN 2011101424888 A CN2011101424888 A CN 2011101424888A CN 201110142488 A CN201110142488 A CN 201110142488A CN 102355569 A CN102355569 A CN 102355569A
Authority
CN
China
Prior art keywords
image
aircraft skin
monitoring method
climbing robot
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011101424888A
Other languages
English (en)
Inventor
王从庆
王昊
盛敏
秦彦源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN2011101424888A priority Critical patent/CN102355569A/zh
Publication of CN102355569A publication Critical patent/CN102355569A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明公开了一种基于无线机器视觉的飞机蒙皮结构监测方法,属于飞机蒙皮结构健康监测领域。该方法是利用安装有图像采集装置的爬壁机器人在飞机蒙皮表面运动,实时采集蒙皮图像信息,并将该图像信息通过无线通信发送给工作站中的PC机,由PC机对图像信息进行图像预处理、图像特征提取、分类识别,最后根据识别结果做出蒙皮损伤诊断与决策。本发明方法实现了飞机蒙皮结构监测的无缆化操作,同时保证了监测的连续性,提高了监测的准确度和工作效率。

Description

基于无线机器视觉的飞机蒙皮结构监测方法
技术领域
本发明涉及一种监测方法,尤其涉及一种基于无线机器视觉的飞机蒙皮结构监测方法,属于飞机蒙皮结构健康监测领域。
背景技术
1988年,阿洛哈航空公司的波音737飞机上机身蒙皮损坏事故,导致了全球深入开展老龄飞机研究,先后提出了腐蚀预防与控制大纲的要求,以及预防广泛分布的疲劳损伤措施,因此在民航系统中,老龄化飞机结构缺陷检测技术的研究日益受到各国航空组织的重视。
飞机无损检测技术主要针对飞机结构损伤,损伤大致可分为以下五种:①飞机结构零部件在生产制造过程中产生的缺陷;②飞机在起飞、飞行、着陆过程中,由于某种原因使飞机产生过大的负载造成的结构损伤,例如重着陆所造成的起落架、机轮组件的损伤;③飞行过程中的意外撞伤;④由于使用环境所造成的腐蚀损伤,如沿海地区的潮湿空气、飞机货舱运载的海鲜等都是产生腐蚀损伤的根源;⑤交变载荷所造成的疲劳损伤(疲劳裂纹)。这些损伤如果没有得到有效的处理,极易产生裂纹,如疲劳裂纹、应力腐蚀裂纹、腐蚀疲劳裂纹等。机轮组件轮毂的轮座圆角过渡区、连接螺栓的螺纹处等一些飞机结构应力集中部位(接头、孔边、拐角)易产生疲劳裂纹。
目前飞机蒙皮检测主要以人工检查方式为主,采用手工无损检测方法,飞机维修无损检测工作质量在很大程度上取决于检测人员的实际操作,该方法存在劳动强度大、检测周期长、漏检率高等问题。近年来飞机疲劳检测技术日趋成熟,其中脉冲涡流检测方法克服了传统电涡流检测方法的速度慢、需要专业检测人员手动调节频率参数等不足,但其结果可视性差,需要专业人员操作,且需要布设大量的线缆用于供电和数据通信,增加了检测系统的复杂性,同时由于飞机结构和部件形状复杂、尺寸各异、表面状况差别大,而且飞机维修中的检查大多属于局部重点检查,因此无法使用自动或半自动检测装置。
综上分析,大型飞机蒙皮结构健康监测是一项航空、民航领域的重大课题,国内的飞机蒙皮结构健康检测水平和检测手段还很大程度上停留在飞机蒙皮检测的初级阶段。如何实现大飞机蒙皮结构快速准确的健康监测与定位是目前航空先进制造领域的前沿技术。
发明内容
本发明针对现有飞机蒙皮结构检测技术存在的缺陷,而提出一种基于无线机器视觉的飞机蒙皮结构健康监测方法。
该监测方法所采用的系统包括爬壁机器人和PC机,所述爬壁机器人上安装有图像采集装置,爬壁机器人与PC机之间通过无线通信模块无线连接。
该监测方法为:
将爬壁机器人置于飞机蒙皮表面,PC机发送机器人控制指令对爬壁机器人在飞机蒙皮上的运动路线进行规划,在爬壁机器人运动的同时,机器人上安装的图像采集装置实时采集飞机蒙皮表面图像,并将该图像信息通过无线通信发送给PC机,PC机对接收到的图像信息进行处理,并根据图像信息的处理结果做出蒙皮损伤诊断与决策。
优选地,图像采集装置采用CCD图像传感器。
所述PC机对接收到的图像信息进行处理的流程为:图像预处理、图像特征提取、分类识别,其中图像预处理的流程为:图像平滑处理、图像增强、边缘提取。
优选地,图像特征提取采用小波包特征提取算法。
优选地,分类识别采用基于二叉树的SVM分类算法。
技术效果:
1)监测系统结构简单,采用无线数据传输方式(作用距离50~100m),实现了飞机蒙皮结构检测的无缆化。
2)实现了飞机蒙皮结构损伤的准确自动检测(可检测最小2.5mm长度的疲劳裂纹)与自动定位。
3)爬壁机器人的采用在一定程度上避免了人工检测过程中的漏检和疲劳问题,提高了检测过程的可靠性和灵活性。
4)采用基于核的主成分分析方法(KPCA)提取探测到的最佳信息特征,避免了数据冗余的缺点,提高了算法的实时性和有效性。
附图说明
图1为本发明方法的流程结构示意图。
图2为本发明方法中的图像处理流程图。
图3为损伤诊断功能模块流程图。
图4为支持向量机(SVM)分类器示意图。
具体实施方式
下面结合附图对本发明作进一步说明。
本发明方法所采用的系统包括爬壁机器人和PC机,在爬壁机器人上安装有图像采集装置,爬壁机器人与PC机之间通过无线通信模块实现无线连接。该方法为:将爬壁机器人置于飞机蒙皮表面,PC机发送机器人控制指令对机器人在飞机蒙皮上的运动路线进行规划,在机器人运动的同时,机器人上安装的图像采集装置开始工作,实时采集飞机蒙皮表面的图像,并将该图像信息通过无线通信发送给PC机,PC机对接收到的图像信息进行处理,并根据处理结果做出蒙皮损伤诊断与决策。本方法的流程结构如图1所示。
爬壁机器人我们设计为真空吸附爬壁式机器人,机器人上的图像采集装置采用CCD图像传感器,无线通信模块采用2.4GHZ射频模块,在PC机上还采用高速图像处理卡DM642集成探测损伤情况,并具有健康状态预测功能,PC机中采用DSP芯片TMS320DM642处理图像信息,该芯片工作主频可达720MHz,处理能力达5760MIPS。
PC机对图像的处理流程如图2所示,包括图像预处理、图像特征提取和分类识别,图像预处理又包括图像平滑处理、图像增强和边缘提取。
实时图像中包含了大量的边缘,其中大部分是铆钉边缘、划痕、污垢以及偶尔的非真正裂缝。我们需要从非裂缝中区分出裂缝,由于裂纹相对于飞机表面上的其他物体是非常小的(如铆钉、划痕等),因此边缘的形状是一个从非裂缝中区分裂缝的重要特征。
由于蒙皮图像信号是一种具有非平稳性的信号,我们采用基于最优小波包基的损伤特征提取算法,该算法以小波包分析为基础,先将信号进行小波包分解,以分解得到的子带能量作为信号的初始特征,再根据最大距离准则选取最优小波包基,从而确定最具有代表性的反映蒙皮图像信息的特征向量。小波包变换是基于小波变换的进一步发展,能够提供比小波变换更高的分辨率,不仅对信号的低频部分进行分解,还对信号的高频部分进行分解。
在提取到损伤特征值后,采用图像和超声多传感器的方式建立损伤信号损伤部位的映射,利用该映射关系进行损伤定位,完成损伤状况的监测。
由上述特征提取方法计算损伤特征,若直接对这些高维数据进行识别处理势必会遇到很多困难:计算量增大、数据的可视性差、维数灾难等,且许多在低维时应用成功的数据处理方法在高维中也不能应用,因此在分类前必须进行降维。主成分分析(PCA)是常用降维方法,该方法通过计算样本协方差矩阵特征向量和特征值,并根据特征值大小由特征向量的线性组合提取数据中的主成分。本方法采用基于核的主成分分析(Kernel Principal ComponentAnalysis,KPCA)把输入空间的数据非线性映射到特征空间,在特征空间中执行PCA。使用KPCA所能提供的主成分的最大数量为样本数量,而PCA所能提供的主成分的最大数量仅为样本维数,因此,相对于PCA降维方法,KPCA不仅能解决非线性的特征提取问题,且能比PCA提供更多的特征数目和更好的特征质量。
分类识别采用基于二叉树的SVM多类分类算法,该方法首先将所有类别分成两个子类,再将子类进一步划分成两个次级子类,如此循环下去,直到所有的结点都只包含一个单独的类别为止,这样就得到一个倒立的二叉分类树。二叉树方法可以克服传统方法所遇到的不可分问题,对于K类分类问题只需要构造K-1个SVM分类器。本方法中将损伤分为裂纹、腐蚀、撞击三大类,根据损伤容限设计原理,将每个类别的危险度分为三级:第一级为正常恶化(轻度损伤,可以飞行,有待进一步健康监控);第二级为恶化(达到损伤容限,需进行维修);第三级为严重恶化(超过损伤容限,停飞,更换部件)。本方法中设计的损伤类别二叉树多类SVM如图4所示。
本发明中的损伤诊断功能模块如图3所示。损伤监测从可测和不可测的估计变量中判断蒙皮状态是否出现异常,损伤诊断包括损伤识别与损伤估计两部分,主要确定损伤的位置、造成损伤的原因以及损伤的程度、大小和发生的时间参数等,然后根据损伤容限进行损伤寿命分析,对被检测出来的损伤进行危险度分类,最后做出决策。本方法实现了飞机蒙皮结构的地面实时在线自动监测,在蒙皮损伤失效事件发生前发现并预报早期故障征兆,避免灾难性事故发生。

Claims (6)

1.一种基于无线机器视觉的飞机蒙皮结构监测方法,其特征在于:
该监测方法所采用的系统包括爬壁机器人和PC机,所述爬壁机器人上安装有图像采集装置,爬壁机器人与PC机之间通过无线通信模块无线连接;
该监测方法为:
将爬壁机器人置于飞机蒙皮表面,PC机发送机器人控制指令对爬壁机器人在飞机蒙皮上的运动路线进行规划,在爬壁机器人运动的同时,爬壁机器人上安装的图像采集装置实时采集飞机蒙皮表面图像,并将该图像信息通过无线通信发送给PC机,PC机对接收到的图像信息进行处理,并根据图像信息的处理结果做出蒙皮损伤诊断与决策。
2.根据权利要求1所述的基于无线机器视觉的飞机蒙皮结构监测方法,其特征在于:所述图像采集装置采用CCD图像传感器。
3.根据权利要求1所述的基于无线机器视觉的飞机蒙皮结构监测方法,其特征在于:所述PC机对接收到的图像信息进行处理的流程为:图像预处理、图像特征提取、分类识别。
4.根据权利要求3所述的基于无线机器视觉的飞机蒙皮结构监测方法,其特征在于:所述图像预处理的流程为:图像平滑处理、图像增强、边缘提取。
5.根据权利要求3所述的基于无线机器视觉的飞机蒙皮结构监测方法,其特征在于:所述图像特征提取采用小波包特征提取算法。
6.根据权利要求3所述的基于无线机器视觉的飞机蒙皮结构监测方法,其特征在于:所述分类识别采用基于二叉树的SVM分类算法。
CN2011101424888A 2011-05-30 2011-05-30 基于无线机器视觉的飞机蒙皮结构监测方法 Pending CN102355569A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011101424888A CN102355569A (zh) 2011-05-30 2011-05-30 基于无线机器视觉的飞机蒙皮结构监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011101424888A CN102355569A (zh) 2011-05-30 2011-05-30 基于无线机器视觉的飞机蒙皮结构监测方法

Publications (1)

Publication Number Publication Date
CN102355569A true CN102355569A (zh) 2012-02-15

Family

ID=45579057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101424888A Pending CN102355569A (zh) 2011-05-30 2011-05-30 基于无线机器视觉的飞机蒙皮结构监测方法

Country Status (1)

Country Link
CN (1) CN102355569A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102928435A (zh) * 2012-10-15 2013-02-13 南京航空航天大学 基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置
CN104484988A (zh) * 2014-11-18 2015-04-01 浙江大学 基于曲面爬壁机器人传感器的空间结构自动健康监测系统
CN106027955A (zh) * 2016-04-27 2016-10-12 中国科学院上海高等研究院 一种用于辅助飞机检查与远程故障诊断的图像采集系统
CN106152962A (zh) * 2015-04-07 2016-11-23 南京理工大学 基于管道爬行器的石油钻井套管形变检测方法
CN106444653A (zh) * 2016-08-19 2017-02-22 苏州大学 一种故障检测方法和系统
CN106742057A (zh) * 2016-12-23 2017-05-31 湖南科技大学 基于无线压电传感技术的飞机蒙皮损伤监测装置及方法
CN107709158A (zh) * 2015-06-15 2018-02-16 多尼克公司 用于自动检查表面的系统和方法
CN108839032A (zh) * 2018-06-27 2018-11-20 深圳大图科创技术开发有限公司 一种智能机器人
CN110155369A (zh) * 2019-05-29 2019-08-23 中国民航大学 一种飞机蒙皮表面裂纹检查方法
CN111340061A (zh) * 2020-01-18 2020-06-26 中国人民解放军国防科技大学 基于svm模型参数优化的多模态数据融合和分类方法
CN113744230A (zh) * 2021-08-27 2021-12-03 中国民航大学 一种基于无人机视觉的飞机蒙皮损伤智能检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101555661A (zh) * 2009-04-14 2009-10-14 山东农业大学 基于机器视觉技术的棉花异性纤维重量计量方法及系统
CN101598556A (zh) * 2009-07-15 2009-12-09 北京航空航天大学 一种未知环境下无人机视觉/惯性组合导航方法
CN101685006A (zh) * 2009-06-25 2010-03-31 上海交通大学 触点零件形貌机器视觉自动检测系统
CN101915769A (zh) * 2010-06-29 2010-12-15 华南理工大学 一种印刷电路板中带电阻元件的自动光学检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101555661A (zh) * 2009-04-14 2009-10-14 山东农业大学 基于机器视觉技术的棉花异性纤维重量计量方法及系统
CN101685006A (zh) * 2009-06-25 2010-03-31 上海交通大学 触点零件形貌机器视觉自动检测系统
CN101598556A (zh) * 2009-07-15 2009-12-09 北京航空航天大学 一种未知环境下无人机视觉/惯性组合导航方法
CN101915769A (zh) * 2010-06-29 2010-12-15 华南理工大学 一种印刷电路板中带电阻元件的自动光学检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刑志伟等: "飞机蒙皮检查机器人系统研究", 《机器人》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102928435A (zh) * 2012-10-15 2013-02-13 南京航空航天大学 基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置
CN104484988A (zh) * 2014-11-18 2015-04-01 浙江大学 基于曲面爬壁机器人传感器的空间结构自动健康监测系统
CN104484988B (zh) * 2014-11-18 2017-08-25 浙江大学 基于曲面爬壁机器人传感器的空间结构自动健康监测系统
CN106152962A (zh) * 2015-04-07 2016-11-23 南京理工大学 基于管道爬行器的石油钻井套管形变检测方法
CN106152962B (zh) * 2015-04-07 2018-12-14 南京理工大学 基于管道爬行器的石油钻井套管形变检测方法
CN107709158A (zh) * 2015-06-15 2018-02-16 多尼克公司 用于自动检查表面的系统和方法
CN106027955A (zh) * 2016-04-27 2016-10-12 中国科学院上海高等研究院 一种用于辅助飞机检查与远程故障诊断的图像采集系统
CN106444653A (zh) * 2016-08-19 2017-02-22 苏州大学 一种故障检测方法和系统
CN106742057B (zh) * 2016-12-23 2019-05-07 湖南科技大学 基于无线压电传感技术的飞机蒙皮损伤监测装置及方法
CN106742057A (zh) * 2016-12-23 2017-05-31 湖南科技大学 基于无线压电传感技术的飞机蒙皮损伤监测装置及方法
CN108839032A (zh) * 2018-06-27 2018-11-20 深圳大图科创技术开发有限公司 一种智能机器人
CN110155369A (zh) * 2019-05-29 2019-08-23 中国民航大学 一种飞机蒙皮表面裂纹检查方法
CN110155369B (zh) * 2019-05-29 2022-05-17 中国民航大学 一种飞机蒙皮表面裂纹检查方法
CN111340061A (zh) * 2020-01-18 2020-06-26 中国人民解放军国防科技大学 基于svm模型参数优化的多模态数据融合和分类方法
CN113744230A (zh) * 2021-08-27 2021-12-03 中国民航大学 一种基于无人机视觉的飞机蒙皮损伤智能检测方法
CN113744230B (zh) * 2021-08-27 2023-09-05 中国民航大学 一种基于无人机视觉的飞机蒙皮损伤智能检测方法

Similar Documents

Publication Publication Date Title
CN102355569A (zh) 基于无线机器视觉的飞机蒙皮结构监测方法
CN112233091B (zh) 一种风力机叶片图像损伤检测和定位方法
CN108416294B (zh) 一种基于深度学习的风机叶片故障智能识别方法
Kim et al. Development of crack detection system with unmanned aerial vehicles and digital image processing
CN104374570B (zh) 直升机传动系统部件寿命的获取方法
CN111696075A (zh) 一种基于双光谱图像的风机叶片缺陷智能检测方法
CN103413150A (zh) 基于可见光影像对电力线路缺陷进行诊断的方法
CN105654461A (zh) 一种多分裂导线间隔棒断裂的机器视觉检测方法
CN104865269A (zh) 风力机叶片故障诊断方法
CN103324943A (zh) 一种复杂设备面板图像多子区状态识别方法
CN107831413A (zh) 基于无人机的输电线路电晕放电的电磁波检测装置及方法
CN109523543A (zh) 一种基于边缘距离的导线断股检测方法
CN111831430A (zh) 一种基于边缘计算的电力设备缺陷识别系统
CN113485432A (zh) 一种基于无人机的光伏电站电致发光智能诊断系统及方法
CN107705256A (zh) 一种基于接触网语义的前向车载视频图像增强方法
CN112455676A (zh) 一种光伏板健康状态智能监测分析系统及方法
CN103941672A (zh) 机场跑道除雪作业质量评估系统
CN108647864B (zh) 老旧架空地线腐蚀度多维采集与评测方法
CN112465776A (zh) 一种基于风力机表面模糊图像的裂纹智能检测方法
CN112363019A (zh) 一种接地网拓扑结构故障探测方法及装置
CN111833336A (zh) 一种基于高光谱的风电叶片表面砂眼故障的检测系统及方法
CN114663672B (zh) 一种输电线路塔钢构件腐蚀检测方法及系统
CN113406107B (zh) 风机叶片缺陷检测系统
CN114764795A (zh) 一种基于无人机视觉的起重机缺陷检测方法
CN113657621A (zh) 一种隐患监测方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20120215