CN110322429A - 一种基于深度学习的蜂窝复合材料缺陷分类方法 - Google Patents
一种基于深度学习的蜂窝复合材料缺陷分类方法 Download PDFInfo
- Publication number
- CN110322429A CN110322429A CN201910386093.9A CN201910386093A CN110322429A CN 110322429 A CN110322429 A CN 110322429A CN 201910386093 A CN201910386093 A CN 201910386093A CN 110322429 A CN110322429 A CN 110322429A
- Authority
- CN
- China
- Prior art keywords
- composite material
- training
- cellular composite
- thermal
- collection point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 101
- 239000002131 composite material Substances 0.000 title claims abstract description 80
- 230000001413 cellular effect Effects 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013135 deep learning Methods 0.000 title claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 70
- 238000012360 testing method Methods 0.000 claims abstract description 63
- 238000001514 detection method Methods 0.000 claims abstract description 56
- 230000005284 excitation Effects 0.000 claims abstract description 14
- 229910052736 halogen Inorganic materials 0.000 claims abstract description 9
- 150000002367 halogens Chemical class 0.000 claims abstract description 9
- 229910052724 xenon Inorganic materials 0.000 claims abstract description 9
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 claims abstract description 9
- 239000000463 material Substances 0.000 claims description 13
- 238000009825 accumulation Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 230000001537 neural effect Effects 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 4
- 239000003292 glue Substances 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 230000005494 condensation Effects 0.000 claims 1
- 238000009833 condensation Methods 0.000 claims 1
- 239000003921 oil Substances 0.000 description 11
- 238000002474 experimental method Methods 0.000 description 7
- 238000001931 thermography Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 5
- 150000001875 compounds Chemical class 0.000 description 4
- 230000006378 damage Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000007788 liquid Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000009659 non-destructive testing Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000002929 anti-fatigue Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000010720 hydraulic oil Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
Abstract
本发明公开了一种基于深度学习的蜂窝复合材料缺陷分类方法，包括：获取蜂窝复合材料作为训练试件；采用高能氙灯或卤素灯对训练试件进行热激励，采用红外热像仪采集训练试件表面在受到热激励后的热图序列；将热图序列分解为训练试件表面的各像素采集点的温度时间序列；以像素采集点的温度时间序列和相应的内部缺陷类型作为训练数据，对RNN模型进行训练，得到蜂窝复合材料缺陷检测模型；获取待检测蜂窝复合材料表面的各像素采集点的温度时间序列，并输入蜂窝复合材料缺陷检测模型，得到各像素采集点的内部缺陷类型。本发明能快速识别蜂窝复合材料内部缺陷的类型，而且快速准确。
Description
技术领域
本发明属于材料缺陷检测领域，具体涉及一种基于深度学习的蜂窝复合材料缺陷分类方法。
背景技术
国际上积极开展红外热成像无损检测技术的研究，一直处于该领域的前沿，在光脉冲、超声激励红外热成像方面取得了很多实际有用的研究成果，广泛应用于飞机复合材料构件内部缺陷及胶接质量的检测、冲击损伤检测以及蒙皮铆接质量检测等。90年代，美国韦恩州立大学Han X.Y.等人就将红外热成像检测技术用于飞机蜂窝结构复合材料脱粘、分层、积水、积油、冲击损伤等缺陷的检测。提取不同液体及噪声区域的降温数据并取对数，得到对数降温曲线，根据比较不同液体的对数降温曲线，实现了对表面下不同液体类型的定性区分。
随着人工智能的发展，人们开始将传统机器学习引入红外无损检测技术帮助探测缺陷。科研成果表明，将传统的机器学习算法应用到红外热成像缺陷检测是可行的，不仅能有效的进行缺陷检测，还减少了人工干预，有利于缺陷检测的自动化和智能化。但是研究主要集中在将传统的机器学习算法应用于缺陷检测、缺陷深度和尺寸测量中。暂没有发现将深度学习应用于红外热成像检测复合材料皮下缺陷检测，实现缺陷检测和缺陷类型的智能化识别，对促进红外热成像技术在工业自动化检测具有十分重要的意义。
蜂窝结构材料具有强度重量比高、抗疲劳性能好、制造成本低等独特的力学性能，在商用和军用飞机上有着广泛的应用。但不同类型的异常，如脱胶、粘结性差或粘结性差，都会严重影响其力学性能。同时，由于飞机零部件可能出现密封不良或表面损伤，空心芯结构容易受到液体侵入。这个问题引起了人们对飞机安全的极大关注。机身内少量进水通常是可以容忍的，而蜂窝结构舵内大量滞留水则会导致飞机控制问题。此外，蜂窝部件液压油的出现可能是液压系统故障的早期征兆，严重影响飞行安全。因此、分辨出滞留的液体是水还是油是尤为重要的。而多胶缺陷是在制造过程中产生，需要在出厂过程中淘汰。脱粘缺陷主要是因为飞机在受到冲击损伤会导致蒙皮破损影响结构的稳定性。
因此，有必要研究一种深度学习模型对蜂窝复合材料的内部缺陷进行检测分类的技术。
发明内容
本发明提供一种基于深度学习的蜂窝复合材料缺陷分类方法，采用高能氙灯或卤素灯对试件施加热激励，通过红外热像仪采集训练试件的热图序列并分解为表面各像素采集点的温度时间序列，然后结合已知的训练试件的表面各像素采集点的内部缺陷类型，训练RNN模型得到蜂窝复合材料缺陷检测模型，能降低人工因素干扰对蜂窝复合材料的内部缺陷类型的检测分类，而且快速、准确。
为实现上述技术目的，本发明采用如下技术方案：
一种基于深度学习的蜂窝复合材料缺陷分类方法，包括以下步骤：
步骤1，获取蜂窝复合材料作为训练试件，且已知训练试件表面的各像素采集点的内部缺陷类型；
步骤2，采用高能氙灯或卤素灯对训练试件进行热激励，采用红外热像仪采集训练试件表面在受到热激励后的热图序列，其中热图序列包括一组时间连续的热图，所述热图表示训练试件表面在当前时刻的温度分布图；
步骤3，将热图序列分解为训练试件表面的各像素采集点的温度时间序列；
步骤4，以像素采集点的温度时间序列和相应的内部缺陷类型作为训练数据，对RNN模型进行训练，得到蜂窝复合材料缺陷检测模型；
步骤5，按步骤1-3获取待检测蜂窝复合材料表面的各像素采集点的温度时间序列，并输入至步骤4得到的蜂窝复合材料缺陷检测模型，得到待检测蜂窝复合材料表面的各像素采集点的内部缺陷类型。
本方案通过红外热像仪采集蜂窝复合材料表面的热图序列，并分解得到蜂窝复合材料表面各像素采集点的温度时间序列，即温度变化曲线，而蜂窝复合材料的内部缺陷改变对应的表面像素采集点的温度变化曲线，因此以已知内部缺陷类型的像素采集点的温度时间序列作为样本数据，训练得到的蜂窝复合材料缺陷检测模型，可以自动识别蜂窝复合材料表面各像素采集点的内部缺陷类型，避免人工因素对检测结果的影响。
进一步地，在步骤3之前还包括对热图序列中的热图进行图像预处理，其中图像预处理的具体处理方法为以下任意一种：减背景、热信号重建、系数拟合、绝对差分对比、傅里叶变换、小波变换、一阶微分、二阶微分、主成分分析。
本方案对热图序列进行减背景等预处理，可以降低非内部缺陷造成的热不均匀现象，降低环境因素对检测结果的影响，提高检测结果的信噪比，有利于RNN模型对缺陷特征的识别，进而提高训练得到的蜂窝复合材料缺陷检测模型对缺陷检测分类的正确率。
进一步地，所述缺陷类型包括：积水、积油、脱胶、多粘和无缺陷。
进一步地，所述高能氙灯或卤素灯对蜂窝复合材料进行热激励的加热能量、热图序列的采集时间及采集频率，均根据检测内部缺陷的深度、蜂窝复合材料的热传导系数进行设置。
进一步地，所述RNN模型包括隐藏层和输出层，输出层的神经元数量与内部缺陷类型的数量相同，通过训练RNN模型确定蜂窝复合材料缺陷检测模型的偏差和权重。
进一步地，在步骤3之前包括将得到的所有温度时间序列分组为训练集和验证集；步骤4对RNN模型进行训练包括：使用训练集对RNN模型进行训练得到训练集正确率，使用验证集对训练得到的蜂窝复合材料缺陷检测模型进行验证得到验证集正确率，根据训练集正确率和验证集正确率，验证蜂窝复合材料缺陷检测模型是否合格：若训练集正确率和验证集正确率均位于预设范围内，则执行步骤5；否则调整隐藏层的层数、每个隐藏层的神经元数量、正则化和训练数据的数量，返回步骤4，重新训练蜂窝复合材料缺陷检测模型。
进一步地，所述RNN模型具体采用LSTM模型。
有益效果
本发明通过红外热像仪采集蜂窝复合材料表面的热图序列，并分解得到蜂窝复合材料表面各像素采集点的温度时间序列，即温度变化曲线，而蜂窝复合材料的内部缺陷改变对应的表面像素采集点的温度变化曲线，因此以已知内部缺陷类型的像素采集点的温度时间序列作为样本数据，训练得到的蜂窝复合材料缺陷检测模型，可以自动识别蜂窝复合材料内部缺陷类型，避免人工因素对检测结果的影响。
附图说明
图1为本发明所述方法的流程示意图；
图2为本发明实施例中待检测蜂窝复合材料真实的缺陷标签表面映射图；
图3为本发明实施例第一次实验得到的内部缺陷分类位置示意图；
图4为本发明实施例第一次实验得到的分类正确率混淆矩阵图；
图5为本发明实施例第二次实验得到的内部缺陷分类位置示意图；
图6为本发明实施例第二次实验得到的分类正确率混淆矩阵图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例以本发明的技术方案为依据开展，给出了详细的实施方式和具体的操作过程，对本发明的技术方案作进一步解释说明。
本发明提供一种基于深度学习的蜂窝复合材料缺陷分类方法，如图1所示，包括以下步骤：
步骤1，获取已知内部缺陷位置和类型的蜂窝复合材料作为训练试件；其中，已知训练试件表面各像素采集点所对应的内部缺陷类型，缺陷类型包括：积水、积油、脱胶、多粘和无缺陷，缺陷可能分布于任意位置处。
在所有训练试件的所有表面像素采集点中，要求涵盖每种内部缺陷类型；且每种内部缺陷类型均对应试件表面数百个像素采集点。
步骤2，采用高能氙灯或卤素灯对训练试件进行热激励，采用红外热像仪采集训练试件表面在受到热激励后的原始热图序列，其中原始热图序列包括一组时间连续的热图，所述热图表示训练试件表面在当前时刻的温度分布图；
采用高能氙灯或卤素灯对训练试件进行热激励，在训练试件表面产生均匀面热源，热向试件内部传播，试件内部结构以及内部缺陷如积水、积油、脱胶、多粘、分层等，会影响热在试件内部的传播，从而影响不同时刻的表面温度场分布。采用红外热像仪采集和记录试件表面随时间变化的温度场分布，即原始热图序列。
所述高能氙灯或卤素灯对蜂窝复合材料进行热激励的加热能量，热图序列的采集时间及采集频率，均根据检测内部缺陷的深度、蜂窝复合材料热传导系数进行设置。
蜂窝复合材料越厚，内部缺陷所在的位置离被检测面越远，即要检测的内部缺陷的深度越深，所需要的加热能量越高。蜂窝复合材料越厚，内部缺陷可能所在的位置离表面越远，即要检测的内部缺陷的深度越深，吸收的加热能量从表面传递到内部缺陷位置处所需要的时间越长，因此要求对原始热图的采集时间越长。
针对蜂窝结构材料来说，蒙皮越厚，蒙皮材料导热系越小，采集时间需越长，采集频率可适当降低。如果不考虑采集的数据量太大的问题，不降低也可以，对检测结果没影响。
如果蜂窝结构材料的被检测面可见光吸收率和红外发射率低，如抛光铝材料，可在被检测面进行提高可见光吸收率和红外发射率的处理，如喷涂水溶性黑漆或者覆膜。
在实际应用中，采集时间以各像素点的温度时间序列趋于平稳为界限，采集频率以能探测到近表面需要检测的缺陷为界限。针对蜂窝结构复合材料的蒙皮为金属、合金或复合材料，厚度一般大于0.5毫米，小于10毫米，采集频率常见在10-200Hz之间。
步骤2.5，对原始热图序列进行预处理，得到预处理热图序列；
在实际检测中，在表面加热和试件内部加热不均匀，以及试件因为各种材料性质的比热容不同、导致初始温度有差异，使得红外热像仪采集到的原始热图序列由于三维热扩散的影响导致缺陷边缘模糊。
蜂窝复合材料受到热激励后，理论上会在表面形成一个均匀面热源，但在实际检测中，通常会存在加热不均匀现象，故本发明对原始热图序列进行预处理可以去除加热不均匀的影响，降低三维热扩散影响造成的缺陷显现模糊，提高信噪比。从而有利于RNN模型对缺陷特征的识别，进而提高训练得到的蜂窝复合材料缺陷检测模型对缺陷检测分类的正确率。
其中，在本发明中，对原始热图序列进行预处理，可具体采用减背景处理方法，当然也可以采用其他数据预处理方法，如热信号重建、系数拟合、绝对差分对比、傅里叶变换、小波变换、一阶微分、二阶微分、主成分分析等。由于以上各种数据预处理方法，均为现有技术，此处不再赘述具体的处理方法。
步骤3，将预处理热图序列分解为训练试件表面各像素采集点的温度时间序列，并将像素采集点的温度时间序列分组为训练集和验证集；
为拍摄到训练试件表面的全部像素点，红外热像仪所拍摄到的原始热图一般都超过训练试件的表面，即得到的原始热图的边界为外部环境，故本发明根据经验对得到的原始热图序列中的热图依次进行尺寸裁剪，使裁剪后的热图以及对应得到的预处理热图中的所有像素点均为训练试件表面的像素采集点。在本实施例中，红外热像仪的采集像素为320*240像素，因此每张原始热图中包括320*240个像素点，在经过包括裁剪等的预处理后，每张预处理热图包括230*192个像素点，且预处理热图中的各像素点的像素值为训练试件表面各像素采集点在当前热图时刻的温度值。因此，预处理热图序列，实际为训练试件表面各像素采集点的温度时间序列的集合，故可将预处理热图序列分解为训练试件表面各像素采集点的温度时间序列。
步骤4，以所有像素采集点的温度时间序列和相应的内部缺陷类型作为训练数据，对RNN模型进行训练，得到蜂窝复合材料缺陷检测模型，同时可自动得到蜂窝复合材料缺陷检测模型的训练正确率；
具体的，训练试件上每种缺陷类型的像素采集点数量，与训练试件大小以及各种类型缺陷所占的像素点大小有关。本实施例中，各类缺陷的像素点在600-1500左右。对于深度学习来说，像素采集点越多，训练得到的模型对缺陷类型的判断结果越准确，但是得考虑数据的平衡，某一缺陷类型所占的像素采集点过多或者过少，都会影响模型检测正确率。本实施例中，积水缺陷的全部像素采集点数量在600左右，而脱胶缺陷或多粘缺陷所占的像素采集点数量是积水缺陷所占像素采集点数量的好几倍，数据量相差过大，故针对脱胶缺陷和多粘缺陷，只选取了部分像素采集点的数据作为训练数据。再有大量的数据情况下，训练数据希望来自于不同的试件，数据量越多越好。本实施案例进行两次独立性实验，选择积水缺陷和积油缺陷的所有像素采集点，选择脱胶缺陷、多粘缺陷以及无缺陷三种类型的部分像素采集点，将其温度时间序列和相应的内部缺陷类型作为样本数据。
在本实施例中，RNN模型具体采用LSTM模型，且LSTM模型包括LSTM隐藏层和由5个神经元构成的输出层，输出层的每个神经元对应1种缺陷类型，通过像素采集点的温度时间序列和相应的内部缺陷类型作为训练数据，训练LSTM模型确定蜂窝复合材料缺陷检测模型的偏差和权重，得到蜂窝复合材料缺陷检测模型。具体地，在训练试件表面由人工标记各种缺陷类型，并记录各种缺陷类型对应到训练试件表面处的位置坐标。在训练RNN模型时，将训练试件表面各像素采集点的温度时间序列和相应的缺陷类型，输入至RNN模型，从而对RNN模型进行训练。
RNN是深度学习中的一种，主要用于处理序列数据。RNN区别BP网络在于隐藏层之间的连接，跨越了时间点，也就是在所有时间步骤中参数共享来学习过去重复出现的数据，隐藏层不仅与输入的信息数据有关，而且还受到上一时间隐藏层信息的影响，然后经过激活函数，获得输出层的结果。而本实施例的LSTM属于RNN的一种，由于LSTM具有较好的结构特性，相对于其他RNN模型，能更好地学习到时间较远的信息，解决梯度消失的问题。
其中对LSTM模型进行训练包括：使用训练集对LSTM模型进行训练得到训练集正确率，使用验证集对训练得到的蜂窝复合材料缺陷检测模型进行验证得到验证集正确率，根据训练集正确率和验证集正确率，验证蜂窝复合材料缺陷检测模型是否合格：若训练集正确率和验证集正确率均位于预设范围内，则执行步骤5；否则调整LSTM隐藏层的网络复杂度、正则化和训练数据的数量，返回步骤4，重新训练蜂窝复合材料缺陷检测模型。其中，网络复杂度是指LSTM隐藏层的层数以及每个LSTM隐藏层的神经元数量，另外正则化属于公知技术，此处不再赘述。
调整LSTM隐藏层的网络复杂度、正则化和样本数量的规则为：若在模型训练过程中，训练集正确率逐渐增大，而验证集正确率反而逐渐减小，则蜂窝复合材料缺陷检测模型过拟合，此时减少LSTM隐藏层网络复杂度、正则化或增加样本数量，并返回重新执行步骤4，重新训练蜂窝复合材料缺陷检测模型；若在模型训练过程中，训练集正确率低于预设值，则蜂窝复合材料缺陷检测模型欠拟合，此时增加LSTM隐藏层网络复杂度，并返回执行步骤4，重新训练蜂窝复合材料缺陷检测模型。
步骤5，按步骤1-3获取待检测蜂窝复合材料表面的各像素采集点的温度时间序列，并输入至步骤4得到的蜂窝复合材料缺陷检测模型，得到待检测蜂窝复合材料表面各像素采集点的内部缺陷类型。
在本发明中，待检蜂窝复合材料表面的各像素采集点的温度时间序列，可按行列顺序从热图序列中分解提取出来，然后依次输入至蜂窝复合材料缺陷检测模型进行检测分类，再对输出的各像素点的内部缺陷类型进行行列排列，即可得到与待检蜂窝复合材料的表面呈像素点对应的内部缺陷位置分布图，如图3所示，且该内部缺陷位置分布图的各像素点的像素，表示待检蜂窝复合材料表面的各像素采集点的内部缺陷类型。又由于每个内部缺陷反应到蜂窝复合材料表面，是由数百个像素点聚集形成，因此得到的内部缺陷位置分布图上能显示出每个内部缺陷的大小。因此本发明方法可进一步得到待检测蜂窝复合材料的每个内部缺陷的类型以及具体位置和大小。
将图3所示的得到的内部缺陷位置分布图，与图2所示的真实缺陷标签表面映射图进行比较，可得出本发明方法对蜂窝复合材料内部缺陷的检测，在缺陷的位置、类型以及大小，基本上保持一致。图4所示的分类正确率，也同时说明本发明方法对蜂窝复合材料内部缺陷检测的正确率较高。因此，本发明方法可广泛应用于蜂窝复合材料的内部缺陷检测，解决目前无法对材料皮下缺陷检测的困难。
本实例进行了两次独立性实验实验。第一次实验将水和油注入10个相邻的蜂窝孔模拟积水积油的缺陷，得到图3所示的内部缺陷位置分布图以及图4所示的测试标签与真实标签的分类正确率归一化混淆矩阵图。第二次实验将水和油注入7个相邻的蜂窝孔模拟积水积油，对其内部缺陷进行检测分类，得到图5所示的内部缺陷位置分布图以及图6所示的测试标签与真实标签的分类正确率归一化混淆矩阵图。其中两次实验，不同点在于水、油蜂窝孔滴灌数量的多少，第一次实验为10孔，第二次实验为7孔，两次实验对每个蜂窝孔注入等量液体，即两次实验中积水缺陷的面积和积油缺陷的面积不同。
以上实施例为本申请的优选实施例，本领域的普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本申请总的构思的前提下，这些变换或改进都应当属于本申请要求保护的范围之内。
Claims (7)
1.一种基于深度学习的蜂窝复合材料缺陷分类方法，其特征在于，包括以下步骤：
步骤1，获取蜂窝复合材料作为训练试件，且已知训练试件表面的各像素采集点的内部缺陷类型；
步骤2，采用高能氙灯或卤素灯对训练试件进行热激励，采用红外热像仪采集训练试件表面在受到热激励后的热图序列，其中热图序列包括一组时间连续的热图，所述热图表示训练试件表面在当前时刻的温度分布图；
步骤3，将热图序列分解为训练试件表面的各像素采集点的温度时间序列；
步骤4，以像素采集点的温度时间序列和相应的内部缺陷类型作为训练数据，对RNN模型进行训练，得到蜂窝复合材料缺陷检测模型；
步骤5，按步骤1-3获取待检测蜂窝复合材料表面的各像素采集点的温度时间序列，并输入至步骤4得到的蜂窝复合材料缺陷检测模型，得到待检测蜂窝复合材料表面的各像素采集点的内部缺陷类型。
2.根据权利要求1所述的方法，其特征在于，在步骤3之前还包括对热图序列进行预处理，其中预处理的具体处理方法为以下任意一种：减背景、热信号重建、系数拟合、绝对差分对比、傅里叶变换、小波变换、一阶微分、二阶微分、主成分分析。
3.根据权利要求1所述的方法，其特征在于，所述缺陷类型包括：积水、积油、脱胶、多粘和无缺陷。
4.根据权利要求1所述的方法，其特征在于，所述高能氙灯或者卤素灯对蜂窝复合材料进行热激励的加热能量、热图序列的采集时间及采集频率，均根据检测内部缺陷的深度、蜂窝复合材料的热传导系数进行设置。
5.根据权利要求1所述的方法，其特征在于，所述RNN模型包括隐藏层和输出层，输出层的神经元数量与内部缺陷类型的数量相同，通过训练RNN模型确定蜂窝复合材料缺陷检测模型的偏差和权重。
6.根据权利要求1所述的方法，其特征在于，在步骤3之前包括将得到的所有温度时间序列分组为训练集和验证集；步骤4对RNN模型进行训练包括：使用训练集对RNN模型进行训练得到训练集正确率，使用验证集对训练得到的蜂窝复合材料缺陷检测模型进行验证得到验证集正确率，根据训练集正确率和验证集正确率，验证蜂窝复合材料缺陷检测模型是否合格：若训练集正确率和验证集正确率均位于预设范围内，则执行步骤5；否则调整隐藏层的层数、每个隐藏层的神经元数量、正则化和训练数据的数量，返回步骤4，重新训练蜂窝复合材料缺陷检测模型。
7.根据权利要求1所述的方法，其特征在于，所述RNN模型具体采用LSTM模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910386093.9A CN110322429B (zh) | 2019-05-09 | 2019-05-09 | 一种基于深度学习的蜂窝复合材料缺陷分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910386093.9A CN110322429B (zh) | 2019-05-09 | 2019-05-09 | 一种基于深度学习的蜂窝复合材料缺陷分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110322429A true CN110322429A (zh) | 2019-10-11 |
| CN110322429B CN110322429B (zh) | 2022-04-05 |
Family
ID=68118902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910386093.9A Expired - Fee Related CN110322429B (zh) | 2019-05-09 | 2019-05-09 | 一种基于深度学习的蜂窝复合材料缺陷分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110322429B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111008503A (zh) * | 2019-12-17 | 2020-04-14 | 中南大学 | 基于rnn序列模型的转向管柱螺母调节角度预测方法 |
| CN111781244A (zh) * | 2020-07-15 | 2020-10-16 | 中国科学院自动化研究所 | 基于长短期记忆网络的红外热成像式涂层检测方法 |
| WO2021158174A1 (en) * | 2020-02-07 | 2021-08-12 | Agency For Science, Technology And Research | Active infrared thermography system and computer-implemented method for generating thermal image |
| WO2021180726A1 (fr) | 2020-03-13 | 2021-09-16 | Safran | Procédé et système de contrôle non destructif d'une pièce aéronautique |
| CN113658127A (zh) * | 2021-08-12 | 2021-11-16 | 东北大学 | 一种基于机器学习的孔及铆接质量检测方法 |
| CN113763536A (zh) * | 2021-09-03 | 2021-12-07 | 济南大学 | 一种基于rgb图像的三维重建方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102095755A (zh) * | 2010-12-09 | 2011-06-15 | 重庆建工市政交通工程有限责任公司 | 一种混凝土结构的无损检测方法 |
| CN102628796A (zh) * | 2012-01-13 | 2012-08-08 | 首都师范大学 | 超声红外无损检测中热图序列缺陷信号的自动识别方法 |
| CN102692429A (zh) * | 2011-03-24 | 2012-09-26 | 中国科学院沈阳自动化研究所 | 一种复合材料内部缺陷类型自动识别检测方法 |
| CN103439342A (zh) * | 2013-09-17 | 2013-12-11 | 华东交通大学 | 基于热图时序特征的红外无损检测方法 |
| CN109035226A (zh) * | 2018-07-12 | 2018-12-18 | 武汉精测电子集团股份有限公司 | 基于LSTM模型的Mura缺陷检测方法 |
| CN109101906A (zh) * | 2018-07-27 | 2018-12-28 | 中国南方电网有限责任公司超高压输电公司贵阳局 | 一种变电站电力设备红外图像异常实时检测方法及装置 |
| KR20190018798A (ko) * | 2017-08-16 | 2019-02-26 | 강병수 | 차량 소음의 컨벌루션 뉴럴 네트워크에 의한 소음 분류 방법 |
-
2019
- 2019-05-09 CN CN201910386093.9A patent/CN110322429B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102095755A (zh) * | 2010-12-09 | 2011-06-15 | 重庆建工市政交通工程有限责任公司 | 一种混凝土结构的无损检测方法 |
| CN102692429A (zh) * | 2011-03-24 | 2012-09-26 | 中国科学院沈阳自动化研究所 | 一种复合材料内部缺陷类型自动识别检测方法 |
| CN102628796A (zh) * | 2012-01-13 | 2012-08-08 | 首都师范大学 | 超声红外无损检测中热图序列缺陷信号的自动识别方法 |
| CN103439342A (zh) * | 2013-09-17 | 2013-12-11 | 华东交通大学 | 基于热图时序特征的红外无损检测方法 |
| KR20190018798A (ko) * | 2017-08-16 | 2019-02-26 | 강병수 | 차량 소음의 컨벌루션 뉴럴 네트워크에 의한 소음 분류 방법 |
| CN109035226A (zh) * | 2018-07-12 | 2018-12-18 | 武汉精测电子集团股份有限公司 | 基于LSTM模型的Mura缺陷检测方法 |
| CN109101906A (zh) * | 2018-07-27 | 2018-12-28 | 中国南方电网有限责任公司超高压输电公司贵阳局 | 一种变电站电力设备红外图像异常实时检测方法及装置 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111008503A (zh) * | 2019-12-17 | 2020-04-14 | 中南大学 | 基于rnn序列模型的转向管柱螺母调节角度预测方法 |
| CN111008503B (zh) * | 2019-12-17 | 2022-05-17 | 中南大学 | 基于rnn序列模型的转向管柱螺母调节角度预测方法 |
| WO2021158174A1 (en) * | 2020-02-07 | 2021-08-12 | Agency For Science, Technology And Research | Active infrared thermography system and computer-implemented method for generating thermal image |
| WO2021180726A1 (fr) | 2020-03-13 | 2021-09-16 | Safran | Procédé et système de contrôle non destructif d'une pièce aéronautique |
| FR3108196A1 (fr) * | 2020-03-13 | 2021-09-17 | Safran | Procédé et système de contrôle non destructif d'une pièce aéronautique |
| CN111781244A (zh) * | 2020-07-15 | 2020-10-16 | 中国科学院自动化研究所 | 基于长短期记忆网络的红外热成像式涂层检测方法 |
| CN111781244B (zh) * | 2020-07-15 | 2021-10-26 | 中国科学院自动化研究所 | 基于长短期记忆网络的红外热成像式涂层检测方法 |
| CN113658127A (zh) * | 2021-08-12 | 2021-11-16 | 东北大学 | 一种基于机器学习的孔及铆接质量检测方法 |
| CN113763536A (zh) * | 2021-09-03 | 2021-12-07 | 济南大学 | 一种基于rgb图像的三维重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110322429B (zh) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110322429A (zh) | 一种基于深度学习的蜂窝复合材料缺陷分类方法 | |
| Hu et al. | LSTM-RNN-based defect classification in honeycomb structures using infrared thermography | |
| CN110658202B (zh) | 一种基于深度学习的工业元器件外观缺陷检测方法 | |
| CN109283230B (zh) | 一种平面阵列电容成像方法及系统 | |
| CN111630356A (zh) | 用于使用神经网络来表征样本的方法 | |
| CN104764744A (zh) | 一种禽蛋新鲜度的视觉检测装置及其方法 | |
| CN110415215A (zh) | 基于图神经网络的智能检测方法 | |
| Yasuda et al. | Aircraft visual inspection: A systematic literature review | |
| Wang et al. | Defect depth determination in laser infrared thermography based on LSTM-RNN | |
| Wu et al. | A surface defect detection based on convolutional neural network | |
| Liu et al. | Pulsed eddy current data analysis for the characterization of the second-layer discontinuities | |
| Saeed et al. | Sensitivity and robustness of neural networks for defect-depth estimation in CFRP composites | |
| Cong et al. | Detection for printed circuit boards (PCBs) delamination defects using optical/thermal fusion imaging technique | |
| Zhang et al. | Intelligent defect detection method for additive manufactured lattice structures based on a modified YOLOv3 model | |
| Morelli et al. | A convolution residual network for heating-invariant defect segmentation in composite materials inspected by lock-in thermography | |
| CN111145168A (zh) | 碳纤维复合材料缺陷的检测方法及系统、存储介质 | |
| Zhou et al. | Surface defect detection of CFRP materials based on infrared thermography and Attention U-Net algorithm | |
| Shrestha et al. | Infrared thermography: philosophy, approaches, analysis—processing, and guidelines | |
| He et al. | Intelligent detection algorithm based on 2D/3D-UNet for internal defects of carbon fiber composites | |
| Mariyam et al. | Automatized Food Quality Detection and Processing System Using Neural Networks | |
| Xiang et al. | A reliability study on automated defect assessment in optical pulsed thermography | |
| Kretzmann et al. | Non-destructive testing with transient thermography on composite materials | |
| CN108627539A (zh) | 热障抗烧蚀涂层缺陷的红外热像检测方法 | |
| Marani et al. | Analytical model approximation for defect classification in fiberglass composites inspected by long-pulse thermography | |
| Deng et al. | A review of Artificial Intelligence applications in Thermographic Non-destructive Testing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220405 |