CN113848234A - 一种基于多模态信息的航空复合材料的检测方法 - Google Patents
一种基于多模态信息的航空复合材料的检测方法 Download PDFInfo
- Publication number
- CN113848234A CN113848234A CN202111088470.4A CN202111088470A CN113848234A CN 113848234 A CN113848234 A CN 113848234A CN 202111088470 A CN202111088470 A CN 202111088470A CN 113848234 A CN113848234 A CN 113848234A
- Authority
- CN
- China
- Prior art keywords
- composite material
- image
- damage
- detecting
- material based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002131 composite material Substances 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000006378 damage Effects 0.000 claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 208000027418 Wounds and injury Diseases 0.000 claims abstract description 8
- 208000014674 injury Diseases 0.000 claims abstract description 8
- 238000012423 maintenance Methods 0.000 claims abstract description 8
- 206010061245 Internal injury Diseases 0.000 claims abstract description 4
- 229910000831 Steel Inorganic materials 0.000 claims description 8
- 239000010959 steel Substances 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 239000000463 material Substances 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 3
- 230000008439 repair process Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000003902 lesion Effects 0.000 claims 1
- 230000007547 defect Effects 0.000 abstract description 17
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000007689 inspection Methods 0.000 description 3
- 238000005336 cracking Methods 0.000 description 2
- 239000003292 glue Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 238000004026 adhesive bonding Methods 0.000 description 1
- 239000011157 advanced composite material Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 238000003889 chemical engineering Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 239000007822 coupling agent Substances 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- -1 incomplete curing Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 230000008542 thermal sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N25/00—Investigating or analyzing materials by the use of thermal means
- G01N25/72—Investigating presence of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N25/00—Investigating or analyzing materials by the use of thermal means
- G01N25/20—Investigating or analyzing materials by the use of thermal means by investigating the development of heat, i.e. calorimetry, e.g. by measuring specific heat, by measuring thermal conductivity
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
Abstract
本发明公开了一种基于多模态信息的航空复合材料的检测方法，包括捕获图像、根据图像进行损伤识别和基于识别结果，通过T通道信息获得到内部损伤的定量信息，以及输出三维可视化的损伤报告，进行损伤评估，并生成维修工卡，利用RGB和热红外图像组成的RGB‑T多模态图像，检测和分割出图像中的显著性目标区域，对不同损伤的细节特征进行有效识别，实现对复合材料结构损伤的快速识别与分类，判定缺陷空间几何特征、精确定位缺陷和测量缺陷尺寸，具有快速、非接触、高精度检测，支持后续的维修决策的优点，弥补了传统红外无损检测技术的不足，具有重要的工业应用价值。
Description
技术领域
本发明涉及复合材料检测技术领域，具体为一种基于多模态信息的航空复合材料的检测方法。
背景技术
先进复合材料以其高比刚度、高比强度、稳定的耐腐蚀性以及优秀的减振性和抗疲劳性等被广泛应用于航空航天、汽车工业、化工纺织等领域。随着新型高性能复合材料的发展，其在航空器结构中的占比越来越高，主要用于飞机的雷达罩、起落架舱门、扰流板、襟翼、副翼、整流罩、升降舵、方向舵、发动机吊舱等结构件，承担和传递飞机的气动载荷。
复合材料结构特殊，制造工艺复杂，其在成型和服役当中因为各种因素的影响可能产生多种类型的损伤缺陷，如孔隙缺陷、贫胶或富胶、固化不完全、基体开裂、分层、表面划伤与裂纹、脱粘与脱胶、蜂窝夹芯损伤等；复合材料的缺陷形式较为复杂多变，日常的检测与维护工作表明其缺陷常表现为包含有多种损伤形式的复合类型的缺陷；采用准确、高效的无损检测技术及时确定该类缺陷的存在和扩展情况，对于保证复合材料结构件的可靠性与在役飞机的安全运行具有重要意义。
目前航空器常用的无损检测技术有目视检查、超声波扫描法、激光散斑干涉技术、X射线法等，但这些检测方法都存在着各自的局限性。目视检测可以观察到飞机部件表面较为明显的损伤缺陷，却无法发现位于部件内部的缺陷；超声波法检测需要使用耦合剂，而超声衰减导致检测信号的信噪差，不同缺陷需要配备不同的检测探头；激光散斑技术存在对材料中缺陷敏感性较差且定量困难的问题；X射线法存在环境污染；红外热波无损检测技术广泛应用于航空飞机复合材料构件内部缺陷、胶接质量与蒙皮铆接，但原始红外热图像通常存在边缘模糊、信噪比低、检测精度低等问题。所以急需一种基于多模态信息的航空复合材料的检测方法来解决上述技术问题。
发明内容
本发明提供一种能快速、非接触、高精度检测复合材料结构的基于多模态信息的航空复合材料的检测方法，来解决上述现有技术中存在的问题。
为实现上述目的，本发明提供如下技术方案：一种基于多模态信息的航空复合材料的检测方法，包括如下步骤：
S1、捕获图像，通过RGB相机与红外热像仪检查复合材料结构，获得可见光视频流信息及多帧红外图像；
S2、损伤识别，其中，包括：
目视可见损伤，利用RGB单通道信息配合YOLOV3网络直接完成损伤目标的识别；
目视不可见损伤，基于RGB-T双通道信息获取图像，对获取的图像进行预处理，然后采用显著性检测获取红外图像中的疑似目标区域，配合YOLOV3网络对疑似目标区域进行多层次的结构故障识别；
S3、基于识别结果，通过T通道信息获得到内部损伤的定量信息，包括损伤面积和损伤深度；
S4、输出三维可视化的损伤报告，进行损伤评估，并生成维修工卡。
优选的，在步骤S1中，复合材料以≤1.5km/h的速度通过RGB相机与红外热像仪构成的检测区域，其中，红外热像仪位于目标区域水平垂直方向上，并确保红外热像仪视场均匀。
优选的，在步骤S2中，图像预处理具体为：
(1)、改进阈值，通过小波去噪方法对红外图像进行去噪处理，其中，阈值取α＝0.006；
(2)、利用自适应直方图均衡进行图像增强处理；
(3)、采用融合策略获取红外图像与可见光图像的融合结果。
优选的，在步骤S3中，损伤面积S损为：S损＝N·p，其中，N为经二值化后的红外热图中白色象素点数，p为红外图像中每一像素点代表的一定实际面积；
其中，
s0为镜头视场，f0为红外热像仪镜头焦距，f为镜头的成像焦，pixel为红外热像仪的分辨率。
优选的，在步骤S3中，损伤深度d为：
α为被检测材料的热扩散率，t为温度最高点所在帧的时间。
优选的，在步骤S4中，在损伤评估时，将损伤报告与XML格式的结构手册进行比较，其中，分类为手册范围内或手册范围外的结构故障，并配套生成对应的维修工卡。
与现有技术相比，本发明的有益效果：利用RGB和热红外图像组成的RGB-T多模态图像，检测和分割出图像中的显著性目标区域，对不同损伤的细节特征进行有效识别，实现对复合材料结构损伤的快速识别与分类，判定缺陷空间几何特征、精确定位缺陷和测量缺陷尺寸，具有快速、非接触、高精度检测，支持后续的维修决策的优点，弥补了传统红外无损检测技术的不足，具有重要的工业应用价值。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
在附图中：
图1是本发明复合材料结构故障检测的流程图；
图2是本发明复合材料结构故障识别的流程图；
图3是本发明的损伤检测与维修决策流程图；
图4是本发明的航空复合材料结构故障识别流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例：如图1-3所示，一种基于多模态信息的航空复合材料的检测方法，包括如下步骤：
S1、捕获图像，通过RGB相机与红外热像仪检查复合材料结构，获得可见光视频流信息及多帧红外图像；其中，复合材料构件以≤1.5km/h的速度通过RGB相机与红外热像仪构成的检测区域，其中，红外热像仪位于目标区域水平垂直方向上，并确保红外热像仪视场均匀；
S2、损伤识别，其中，包括：
目视可见损伤，利用RGB单通道信息配合YOLOV3网络直接完成损伤目标的识别；
目视不可见损伤，基于RGB-T双通道信息获取图像，对获取的图像进行预处理，然后采用显著性检测获取红外图像中的疑似目标区域，配合YOLOV3网络对疑似目标区域进行多层次的结构故障识别；
其中，图像预处理具体为：
(1)、改进阈值，通过小波去噪方法对红外图像进行去噪处理，其中，阈值取α＝0.006；
(2)、利用自适应直方图均衡进行图像增强处理；
(3)、采用融合策略获取红外图像与可见光图像的融合结果；
S3、基于识别结果，通过T通道信息获得到内部损伤的定量信息，包括损伤面积和损伤深度，其中：
损伤面积S损为：S损＝N·p，其中，N为经二值化后的红外热图中白色象素点数，p为红外图像中每一像素点代表的一定实际面积；
其中，
s0为镜头视场，f0为红外热像仪镜头焦距，f为镜头的成像焦，pixel为红外热像仪的分辨率；
损伤深度d为：
α为被检测材料的热扩散率，t为温度最高点所在帧的时间。
S4、输出三维可视化的损伤报告，进行损伤评估，并生成维修工卡；其中，在损伤评估时，将损伤报告与XML格式的结构手册进行比较，其中，分类为手册范围内或手册范围外的结构故障，并配套生成对应的维修工卡。
参考图4，对航空器复合材料结构进行检查，构建检查门，将RGB相机与红外热像仪安装在检查门上，航空器由地面牵引车以≤1.5km/h的速度通过检查门，根据检测要求，调整红外热像仪的位置并确保检测目标区域位置处于红外热像仪的视场中心处，保证后期获得的红外图像中缺陷显示的准确性与完整性，并采用上述步骤进行损伤识别、定位和损伤测量，其中，本实施例中，采用采用平面脉冲热源为脉冲闪光，选用红外热像仪的分辨率pixel为640*480，热灵敏度为0.06℃，每幅红外热图具有640*480个独立的温度测量点，对应采集的红外视频视场为S，则：p＝S/640*480，标准镜头的成像焦距f(cm)与视场S(mm2)的关系为：S/S0＝f2/f0 2，所以S＝S0*f2/f0 2，本实施例中红外热像仪镜头选用35cm标准镜头，焦距f0＝30cm，镜头视场为S0＝130×100＝13000(mm2)。检测时镜头成像焦距在30～40cm间调整时，
本实例中，当f＝35cm时，经二值化处理后的红外热图中白色像素点数为179032，则损伤面积S损损为：S损＝N·p＝4.702×10-5×3502×179032＝1.03×107mm2。材料热扩散率α为5.337×10-7,温差最大值历经的时间t为0.136s，则损伤深度为
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于多模态信息的航空复合材料的检测方法，其特征在于，包括如下步骤：
S1、捕获图像，通过RGB相机与红外热像仪检查复合材料结构，获得可见光视频流信息及多帧红外图像；
S2、损伤识别，其中，包括：
目视可见损伤，利用RGB单通道信息配合YOLOV3网络直接完成损伤目标的识别；
目视不可见损伤，基于RGB-T双通道信息获取图像，对获取的图像进行预处理，然后采用显著性检测获取红外图像中的疑似目标区域，配合YOLOV3网络对疑似目标区域进行多层次的结构故障识别；
S3、基于识别结果，通过T通道信息获得到内部损伤的定量信息，包括损伤面积和损伤深度；
S4、输出三维可视化的损伤报告，进行损伤评估，并生成维修工卡。
2.根据权利要求1所述的一种基于多模态信息的航空复合材料的检测方法，其特征在于：在步骤S1中，复合材料以≤1.5km/h的速度通过RGB相机与红外热像仪构成的检测区域，其中，红外热像仪位于目标区域水平垂直方向上，并确保红外热像仪视场均匀。
3.根据权利要求1所述的一种基于多模态信息的航空复合材料的检测方法，其特征在于：在步骤S2中，图像预处理具体为：
(1)、改进阈值，通过小波去噪方法对红外图像进行去噪处理，其中，阈值取α＝0.006；
(2)、利用自适应直方图均衡进行图像增强处理；
(3)、采用融合策略获取红外图像与可见光图像的融合结果。
4.根据权利要求1所述的一种基于多模态信息的航空复合材料的检测方法，其特征在于：在步骤S3中，损伤面积S损为：S损＝N·p，其中，N为经二值化后的红外热图中白色象素点数，p为红外图像中每一像素点代表的一定实际面积；
其中，
s0为镜头视场，f0为红外热像仪镜头焦距，f为镜头的成像焦，pixel为红外热像仪的分辨率。
5.根据权利要求1所述的一种基于多模态信息的航空复合材料的检测方法，其特征在于：在步骤S3中，损伤深度d为：
α为被检测材料的热扩散率，t为温度最高点所在帧的时间。
6.根据权利要求1所述的一种基于多模态信息的航空复合材料的检测方法，其特征在于：在步骤S4中，在损伤评估时，将损伤报告与XML格式的结构手册进行比较，其中，分类为手册范围内或手册范围外的结构故障，并配套生成对应的维修工卡。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111088470.4A CN113848234A (zh) | 2021-09-16 | 2021-09-16 | 一种基于多模态信息的航空复合材料的检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111088470.4A CN113848234A (zh) | 2021-09-16 | 2021-09-16 | 一种基于多模态信息的航空复合材料的检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113848234A true CN113848234A (zh) | 2021-12-28 |
Family
ID=78974306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111088470.4A Pending CN113848234A (zh) | 2021-09-16 | 2021-09-16 | 一种基于多模态信息的航空复合材料的检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113848234A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114372317A (zh) * | 2021-12-30 | 2022-04-19 | 中国飞机强度研究所 | 一种复合材料检测维修中的损伤定位方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9488592B1 (en) * | 2011-09-28 | 2016-11-08 | Kurion, Inc. | Automatic detection of defects in composite structures using NDT methods |
| CN108562614A (zh) * | 2018-01-25 | 2018-09-21 | 福建师范大学福清分校 | 一种基于热成像检测的芯片引脚焊接缺陷检测系统及方法 |
| CN109949316A (zh) * | 2019-03-01 | 2019-06-28 | 东南大学 | 一种基于rgb-t融合的电网设备图像弱监督实例分割方法 |
| CN112179925A (zh) * | 2020-09-18 | 2021-01-05 | 上海交通大学 | 一种复合材料层压板冲击损伤三维无损检测方法 |
| CN112581545A (zh) * | 2020-12-30 | 2021-03-30 | 深兰科技（上海）有限公司 | 多模态热源识别及三维空间定位系统、方法及存储介质 |
| WO2021088300A1 (zh) * | 2019-11-09 | 2021-05-14 | 北京工业大学 | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 |
| CN112881467A (zh) * | 2021-03-15 | 2021-06-01 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种大尺寸复合材料损伤成像与定量识别方法 |
-
2021
- 2021-09-16 CN CN202111088470.4A patent/CN113848234A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9488592B1 (en) * | 2011-09-28 | 2016-11-08 | Kurion, Inc. | Automatic detection of defects in composite structures using NDT methods |
| CN108562614A (zh) * | 2018-01-25 | 2018-09-21 | 福建师范大学福清分校 | 一种基于热成像检测的芯片引脚焊接缺陷检测系统及方法 |
| CN109949316A (zh) * | 2019-03-01 | 2019-06-28 | 东南大学 | 一种基于rgb-t融合的电网设备图像弱监督实例分割方法 |
| WO2021088300A1 (zh) * | 2019-11-09 | 2021-05-14 | 北京工业大学 | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 |
| CN112179925A (zh) * | 2020-09-18 | 2021-01-05 | 上海交通大学 | 一种复合材料层压板冲击损伤三维无损检测方法 |
| CN112581545A (zh) * | 2020-12-30 | 2021-03-30 | 深兰科技（上海）有限公司 | 多模态热源识别及三维空间定位系统、方法及存储介质 |
| CN112881467A (zh) * | 2021-03-15 | 2021-06-01 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种大尺寸复合材料损伤成像与定量识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| WEN XIAO等: ""Detection of delamination defects in carbon feiber composites based on infrared thermal imaging"", 《2021 GLOBAL RELIABILITY AND PROGNOSTICS AND HEALTH MANAGEMENT》, 24 November 2021 (2021-11-24) * |
| 徐长航;陈国明;谢静;: "红外图像处理技术在金属表面缺陷检测中的应用", 制造业自动化, no. 10, 25 October 2009 (2009-10-25) * |
| 杨小林;马虎;江涛;: "复合材料结构可视化检测中的损伤面积测量", 航空维修与工程, no. 05, 15 September 2008 (2008-09-15) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114372317A (zh) * | 2021-12-30 | 2022-04-19 | 中国飞机强度研究所 | 一种复合材料检测维修中的损伤定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tao et al. | Weak scratch detection and defect classification methods for a large-aperture optical element | |
| CN102495078B (zh) | 基于量子点红外荧光显示技术的焊缝检测方法 | |
| Marani et al. | Automatic detection of subsurface defects in composite materials using thermography and unsupervised machine learning | |
| CN104897774A (zh) | 一种碳纤维复合材料的电涡流细观构造成像方法 | |
| Bullinger et al. | Laminographic inspection of large carbon fibre composite aircraft-structures at airbus | |
| Yan et al. | Non-destructive testing of composite fiber materials with hyperspectral imaging—Evaluative studies in the EU H2020 FibreEUse project | |
| CN113848234A (zh) | 一种基于多模态信息的航空复合材料的检测方法 | |
| Xu et al. | Automatic X-ray crack inspection for aircraft wing fastener holes | |
| Gong et al. | Bringing machine intelligence to welding visual inspection: development of low-cost portable embedded device for welding quality control | |
| Kuhl et al. | Multisensorial self-learning systems for quality monitoring of carbon fiber composites in aircraft production | |
| Wronkowicz et al. | Enhancement of damage identification in composite structures with self-heating based vibrothermography | |
| Mahmod et al. | Flatbed scanner image and single ultrasonic rangefinder technique for composite laminates defect detection | |
| Zhang et al. | Quantitative nondestructive testing of broken wires for wire rope based on multi-image fusion | |
| Tout et al. | Automated vision system for crankshaft inspection using deep learning approaches | |
| Song et al. | Design of cable detection robot and image detection method | |
| Yasuda et al. | Automated visual inspection of aircraft exterior using deep learning | |
| Shrestha et al. | Image analysis for classification of damaged and undamaged areas on composite structures | |
| Heideklang | Data fusion for multi-sensor nondestructive detection of surface cracks in ferromagnetic materials | |
| Fan et al. | A multimodal fusion-based autoencoder for nondestructive evaluation of aircraft structures | |
| Mendoza et al. | Evaluation of Low-Cycle Impact Fatigue Damage in CFRPs using the Virtual Fields Method | |
| Marani et al. | Improved deep learning for defect segmentation in composite laminates inspected by lock-in thermography | |
| Pech-May et al. | Robot-assisted laser thermography: towards automatic characterization of surface defects | |
| Zheng et al. | Design of advanced automatic inspection system for turbine blade FPI analysis | |
| Chaudhari et al. | Crack detection using image processing for automobiles and aircrafts | |
| Liu et al. | Automatic detection on the bolt loose based on digital image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |