CN117764980A - 基于红外多特征融合的复合材料缺陷自动识别与度量方法 - Google Patents
基于红外多特征融合的复合材料缺陷自动识别与度量方法 Download PDFInfo
- Publication number
- CN117764980A CN117764980A CN202410038308.9A CN202410038308A CN117764980A CN 117764980 A CN117764980 A CN 117764980A CN 202410038308 A CN202410038308 A CN 202410038308A CN 117764980 A CN117764980 A CN 117764980A
- Authority
- CN
- China
- Prior art keywords
- infrared
- model
- feature
- data
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000007547 defect Effects 0.000 title claims abstract description 176
- 239000002131 composite material Substances 0.000 title claims abstract description 78
- 230000004927 fusion Effects 0.000 title claims abstract description 37
- 238000000691 measurement method Methods 0.000 title claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 87
- 238000012549 training Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000005070 sampling Methods 0.000 claims abstract description 35
- 238000001931 thermography Methods 0.000 claims abstract description 26
- 238000006243 chemical reaction Methods 0.000 claims abstract description 23
- 238000002474 experimental method Methods 0.000 claims abstract description 17
- 238000005259 measurement Methods 0.000 claims abstract description 10
- 238000012360 testing method Methods 0.000 claims description 38
- 238000003062 neural network model Methods 0.000 claims description 23
- 238000009826 distribution Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 16
- 238000009792 diffusion process Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 11
- 239000000463 material Substances 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000012800 visualization Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 7
- 230000007774 longterm Effects 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 12
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 230000002950 deficient Effects 0.000 description 8
- 238000009659 non-destructive testing Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000005284 excitation Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 229920000049 Carbon (fiber) Polymers 0.000 description 1
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- -1 and in severe cases Substances 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 239000004917 carbon fiber Substances 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000032798 delamination Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Processing (AREA)
Abstract
本发明提出了一种基于红外多特征融合的复合材料缺陷自动识别与度量方法，通过红外热成像实验，采集含缺陷的复合材料的红外数据，提出红外数据采样策略，缓解数据类重叠和数据不平衡的问题。其次，利用高级特征工程技术，自动从这些数据中提取与缺陷强相关的关键红外特征，然后，利用这些红外特征构建并训练多特征视觉转换神经网络。在模型训练完成后，该方法自动结合模型的预测结果和相应的标签数据，从而能够自动重建出复合材料缺陷的详细二维图像，实现了对缺陷的全面自动检测与精确度量。最后，通过实验证明了本方法在自动检测复合材料缺陷方面的出色性能。本发明可以实现对复合材料缺陷的自动检测与度量。
Description
技术领域
本发明涉及复合材料无损检测领域，主要涉及一种基于红外多特征融合的复合材料缺陷自动识别与度量方法。
背景技术
复合材料由于其轻质、高比强度和耐损伤等特性，在包括航空航天、交通、医疗和能源等在内的各个领域广泛应用。然而，在复合材料的制造和服役过程中，不可避免地会产生一些缺陷，例如分层、空隙和层间夹杂物等，这些缺陷可能会直接影响到复合材料的材料连续性和结构受力功能，严重情况下会导致构件失效，引发重大的安全事故。尤其是对于一些重型构件(如航空机身和风力发电机叶片)，通常要求对复合材料进行100％的无损检测，以确保其高质量、高可靠性和高性能的特性。因此，复合材料中的缺陷检测一直是确保其在应用中安全性和可靠性的重要且备受关注的问题。
复合材料无损检测技术旨在不伤及被检测对象的使用性能下对材料进行非破坏性检测，目前常用的复合材料无损检测方法包括超声波检测，X射线检测和红外热成像检测等。复合材料超声波检测是一种基于声波在材料内部传的播行为的缺陷检测技术，感应灵敏准确，但检测速度慢，对检测人员技术要求较高。X射线检测是一种利用射线透射后的特征等成像的高分辨率无损检测技术，但其扫描效率低且成本高昂。红外热成像检测是通过红外热像仪监测材料表面的热响应，在此基础上进一步建立复合材料的状态信息和表面温度场分布之间的关联，并利用这种关联性来识别缺陷。红外热成像检测与其他无损检测技术相比，其具有扫描速度快、无需耦合、高度可视化等优点。在近期中，已有诸多学者利用红外热成像进行了复合材料的缺陷检测研究。然而，传统手动红外热成像检测方法通常依赖于先验知识和专家经验，限制了其在实际自动缺陷检测中的应用。此外，由于红外信号在检测中容易受到热反射、材料特性和环境条件等因素扰动，会对后续信号处理以及缺陷特征的提取造成较大影响，导致手动数据分析对缺陷的识别检测变得更加复杂，耗时且误差较大。尽管红外热成像在复合材料无损检测中具有广阔的前景，但其在缺陷检测的自动、定量、和高效表征方面仍然面临诸多挑战。
近年来，随着人工智能技术的发展，深度学习方法目前已被广泛应用于计算机视觉、自然语言处理等领域。神经网络作为深度学习的重要代表之一，凭借其强大的自适应特征挖掘能力和端到端的便利性，也被逐渐应用于红外热成像对复合材料缺陷的自动高效检测。在红外热成像无损检测中，深度学习模型主要可分为卷积神经网络模型和循环神经网络模型两大类。在这些研究应用中，卷积神经网络类模型处理红外热图时，往往需要对缺陷进行人工检查和标注，这不仅繁琐耗时，而且忽略了热图序列中数据的时间相关性。这种操作限制了模型在提取特征和识别缺陷深度方面的能力。另一方面，虽然循环神经网络类模型能够通过温度的时间演化来检测缺陷深度，但大多数这类方法依赖于从红外数据中提取的单一特征，使得模型在干扰下的偏差较大，导致鲁棒性不足，且其更倾向于关注时间局部信息，这使得模型难以捕捉不同时间步长数据之间的关联性，进而对长期时间序列的相关性和特征提取带来挑战。总体而言，虽然深度学习技术为复合材料的红外热成像缺陷检测带来了新的可能性，但如何有效融合时间序列分析和多维特征提取，以及如何提高模型的泛化性和准确性，仍是该领域亟待解决的关键问题。
发明内容
本发明的目的在于解决传统复合材料缺陷检测中检测模型泛化性不足，度量精度低，难以自动化的评估裂纹尖端损伤等问题，为复合材料的缺陷检测提供了一种高效且自动化的解决方案。
本发明的技术方案是提供一种基于红外多特征融合的复合材料缺陷自动识别与度量方法，其特征在于：
步骤1、数据采集与预处理：进行红外热成像实验，捕获含缺陷的样品的红外数据，并将其划分为训练区域与测试区域，用于后续模型的训练与评估；
步骤2、多特征模型构建：通过基于特征选择，自动地对数据进行多特征处理；并构建多特征视觉转换神经网络模型；
步骤3、数据优化：提出基于实例选择和欠采样的红外数据采样策略，构建了针对性强的红外数据集，为后续的特征提取和模型训练提供优化的数据基础；
步骤4、缺陷重建与标签预测：利用训练数据集对该模型进行训练，实现模型参数的优化更新；在模型训练完成后，对检测结果逐像素编码为成像掩码，其中每个像素点都被分配为预测的标签值。自动化精确重建出复合材料缺陷的二维图像；
步骤5、自动化高效缺陷检测与度量：利用经过训练的多特征视觉转换神经网络模型对测试数据集进行检测，实现对复合材料缺陷的自动化高效检测和精确度量。
进一步地，在步骤1中，进行红外热成像实验数据采集时，选取统一大小、材料的实验试件制成含有不同深度缺陷的复合材料试件，进行长脉冲红外热成像实验，采集有效的红外数据集；对数据集进行标签标注，分为不同深度的缺陷类以及正常区域类，单个像素点的红外数据和标签共同组成了一组数据；把红外数据集按照实际区域划分为训练区域与测试区域。
进一步地，在步骤2中，多特征模型构建包含如下步骤：
步骤2.1：基于特征工程，选取与缺陷信息具有强关联性红外特征，将原始红外数据转换为更具时间序列模式以及缺陷相关性的信息特征；
步骤2.2：构建多特征视觉转换神经网络模型；多特征视觉转换神经网络模型架构由三个模块组成：多特征嵌入模块、转换器模块和分类模块；多特征视觉转换神经网络模型以试件实验红外数据，即温度曲线作为输入，输出为该点处的预测分类的类别；
步骤2.3：多特征视觉转换神经网络模型评估指标的建立；采用了包括交并比和F1分数在内的两个指标；交并比(Iou)可表示如下：
其中：Ui为模型检测结果，为真实结果；
首先计算出不同深度的缺陷类别在检测结果和真实结果中的像素数目；然后，将检测结果像素区域和真实像素区域的交集数除以它们的并集数，得到该类的交并比；
F1分数是精准率和召回率的调和平均数；F1分数表示为：
P＝TP/(TP+FP) (11)
R＝TP/(TP+FN) (12)其中：TP代表真正例，指模型将正例正确地判断为正例的样本数量；FP代表假正例，指模型将负例错误地判断为正例的样本数量；FN代表假负例，指模型将正例错误地判断为负例的样本数量。P代表精确率，衡量了模型在识别出的正例中的准确性。R代表召回率，衡量了模型对所有正类样本的识别能力。
进一步地，多特征嵌入模块负责提取和融合多种红外特征；多特征嵌入模块首先将基于温度曲线，自动生成基于步骤2.1中选取的多红外特征中的其他特征；然后通过段近似聚合算法对原始红外特征序列进行预处理，将长序列映射为长度为224的短序列；接着通过格拉米角和场算法，将一维红外数据转换为二维图像；多特征嵌入模块随后对图像进行特征提取与融合处理，并将得到的特征传递给转换器模块；
转换器模块中主要由多头自注意力(MSA)模块、多层感知机(MLP)和层归一化(LayerNorm)三个部分组成；通过多头自注意力模块生成自注意力表示，接下来表示会被馈送到之后的层归一化和多层感知机中，以实现对序列长期依赖性的建模，多层感知机主要由线性层和激活函数组成。
转换器模块提取特征可表示为：
y＝LayerNorm(yk) (6)
其中：表示为通过第l个转换器模块中多头自注意力的输出，yl表示为第l个转换器模块的输出，k为转换器模块中基础模块数量，y为最后转换器模块的输出；
分类模块由一个线性层和Softmax函数组成，以实现对缺陷的检测；线性层将输入的特征向量映射到一个维度大小与任务类别数相同的向量，作为模型对样本的的预测分类输出，然后通过Softmax函数将该输出转换为预测类别概率的分布：
Output＝Sofmax(Linear(y[xclass])) (7)
其中：y[xclass]为转换器模块最终输出y中的xclass向量，fi为第i个节点的输出，C为分类的类别个数，Output为模型的预测输出的概率分布，选择概率最高的类别作为最终的预测结果；
多特征视觉转换神经网络模型后续训练中构建交叉熵损失来衡量分类误差，公式如下：
其中：B为模型训练时batch数，C为类别数，为真实分类标签，O为预测标签；模型通过最小化损失函数来进行训练，以及通过随机梯度下降法(SGD)更新参数。
进一步地，在步骤3中，基于实例选择和欠采样的红外数据采样策略包含如下步骤：
步骤3.1：通过采样策略构建数据集；首先通过基于缺陷的实际大小，划定向内收缩一定距离的范围作为缺陷区域样本提取范围；之后在受热扩散影响的“过渡区域”中，提取部分正常区域数据；再从远离缺陷的区域中选取样本，作为正常区域的代表性样本，以避免缺陷的干扰；最后，在划定范围中分别使用随机欠采样提取样本，以平衡不同类别的样本数量，减轻热扩散影响；
步骤3.2：采样数据集的可视化与评估优化；引入另外两种常见的红外数据采样策略进行对比评估，即基于欠采样的数据集和基于均匀随机取样的数据集；采用T分布随机邻域嵌入算法将高维数据样本分布转化为低维空间的对应分布；并进行数据集的可视化处理，初步评估基于步骤3.1中采样的数据集质量；然后，通过获得的不同的数据集，对基于步骤3.1中构建的多特征视觉转换神经网络模型进行训练，得到模型在不同数据集上的评估结果。
进一步地，在步骤4中，引入多种基于深度学习的红外检测模型进行对比评估；对比模型与多特征视觉转换神经网络模型都通过同样的数据集进行训练与参数更新，即基于步骤3方法在试件训练区域获得的采样数据集；模型训练完成后，对检测结果逐像素编码为成像掩码，每个像素点都被分配为预测的标签值，自动化精确重建出复合材料缺陷的二维图像；其中不同分层类别的预测标签包含分层缺陷的深度信息。
进一步地，步骤5中，通过基于步骤4中训练好的多特征视觉转换神经网络模型对测试区域数据集进行检测，自动化高效对复合材料缺陷进行检测和精确度量。
本发明达到的有益效果是：
(1)本发明将复合材料缺陷的自动化检测、成像与度量集成到一个系统中，能利用热成像技术快速自动地检测和量化复合材料中的缺陷。检测复合材料构件的实际状态，保证工作过程中的安全性和可靠性，降低运行的风险。
(2)本发明提出的基于实例选择和欠采样的红外数据采样策略，可以构建出针对性强的红外数据集，缓解复合材料红外热成像实验中缺陷区域横向热扩散现象的影响，在保持数据集代表性的同时，缩小类重叠范围，引导模型学习不同区域的可泛化特征，提高模型检测性能。
(3)本发明提出的方法在检测阶段，仅处理一维热信号，不涉及对单帧红外热图像的处理，大幅降低了对特定缺陷形状特征的依赖。这使得方法能够以像素级精度，便捷且自动地检测和度量不同形状的复合材料缺陷，展现了其在检测技术上的创新和应用价值。
(4)本发明提出的复合材料缺陷自动化检测与度量方法，将多特征与时间相关性嵌入深度学习检测模型中，实现了对缺陷信息的多角度聚合，深入挖掘了缺陷的核心特征。这一独特方法显著提升了缺陷检测的泛化能力和量化精度，有效克服了传统方法在复杂环境下的局限性。
附图说明
图1为一种基于红外多特征融合的复合材料缺陷自动识别与度量方法框架示意图；
图2为一种基于红外多特征融合的复合材料缺陷自动识别与度量方法中的试件尺寸示意图；
图3为一种基于红外多特征融合的复合材料缺陷自动识别与度量方法中的红外热成像实验示意图；
图4为一种基于红外多特征融合的复合材料缺陷自动识别与度量方法中的多红外特征示意图；
图5为一种基于红外多特征融合的复合材料缺陷自动识别与度量方法中的多特征视觉转换神经网络模型示意图；
图6为一种基于红外多特征融合的复合材料缺陷自动识别与度量方法中的多红外特征格拉米角和场(GASF)转换示意图；
图7为一种基于红外多特征融合的复合材料缺陷自动识别与度量方法中的数据集采样策略示意图；
图8为一种基于红外多特征融合的复合材料缺陷自动识别与度量方法中的数据集采样策略的T分布随机邻域嵌入示意图；
图9为一种基于红外多特征融合的复合材料缺陷自动识别与度量方法中的在训练区域上不同模型的检测结果；
图10为一种基于红外多特征融合的复合材料缺陷自动识别与度量方法中的在训练区域上不同模型检测结果的缺陷二维重建图；
图11为一种基于红外多特征融合的复合材料缺陷自动识别与度量方法中的的在测试区域上不同模型的检测结果；
图12为一种基于红外多特征融合的复合材料缺陷自动识别与度量方法中的在测试区域上不同模型检测结果的缺陷二维重建图；
具体实施方式
下面结合附图对本发明的技术方案进行更详细的说明，本发明包括但不仅限于下述实施例。
附图1所示，该实施例提供了一种基于红外多特征融合的复合材料缺陷自动识别与度量方法，该检测方法包括以下步骤：
步骤1，数据采集与预处理：进行红外热成像实验，捕获含缺陷的样品的红外数据，并将其划分为训练区域与测试区域，为后续模型的训练和评估提供基础。
在该实施例中，步骤1中设计了2个含有不同深度缺陷的平板样品。实验样品为增强型碳纤维复合板，单个尺寸为120×80×5mm。如附图2所示，试件顶部表面完整，相对的另一侧加工有不同深度的圆柱孔，以模拟不同深度的缺陷，例如分层或材料损伤等。第一列孔的深度为3.0mm，样品的局部厚度为2.0mm，代表此列缺陷的深度为2.0mm。其他列的孔深分别为3.5、4.0和4.5mm，代表的缺陷深度依次为1.5、1.0和0.5mm。每列圆柱孔直径不同，分别为12、15和18mm。
实验中进行长脉冲热成像实验采集样品的红外数据。红外热成像实验如附图3所示，首先通过对被检测复合材料进行有效的热加载，在其表面形成一定能量的入射热波。当热波穿过正常区域时，对应表面会形成均匀分布的温度场；而经过缺陷区域时，由于缺陷处与正常区域的传热特性不一致，会导致温度场发生改变。采集的红外数据集中包含多个不同时刻的红外图像，反映温度场随时间的变化。该数据集由一系列(N帧)二维热图像组成，图像像素大小为，每帧对应一个采集时间点。试验中采用两个1000W的卤素灯作为热激励源，调整灯与样品的距离使得样品最高温度限制在50℃以内，避免损坏样品的内部结构。红外热像仪采用型号为Flir A655sc，灵敏度为20mK。在两个试样上分别进行了实验。实验中热激励时间为5s，持续采集时间为20s，采集频率为50Hz，外热像仪采集窗口为420×280像素，窗口中心390×260像素范围为有效像素区域。单个试样共采集了1000张有效红外图像，单张图像有效像素点数量为390×260＝101400。选取圆柱孔直径为15和18mm所在的区域作为训练区域，孔直径为12mm的所在区域为测试区域。对数据集进行标签标注，分为不同深度的缺陷类以及正常区域类，单个像素点的红外数据和标签共同组成了一组数据。
步骤2，多特征模型构建：通过基于特征选择，自动的对数据进行多特征处理；并构建多特征视觉转换神经网络模型(M-VIT-DDQ)。
步骤2.1：特征工程在时间序列分析，特别是在复合材料的红外热成像无损检测中，扮演着至关重要的角色。其核心目的是将原始数据转换为更具表现力和相关性的信息特征，以便更准确地识别和分析时间序列模式。
本实施例提出的多特征融合核心在于改进现有的特征提取方法，使其更适合于红外热成像技术在复合材料缺陷检测中的应用。
传统方法通常依赖于单一红外特征，如温度对比度、温差最大值或拟合序列特征等，来进行缺陷检测。然而，这些方法常受到试样表面受热不均和环境噪声等因素的影响，导致红外特征呈现出一定程度的偏差。此外，依赖单一特征的方法限制了模型学习缺陷本质信息的能力，从而影响了其泛化性能。
本实施例通过综合利用多种红外特征，显著提高了缺陷检测的准确性和可靠性。通过数据融合方法，本实施例结合了空间温度曲线、基于温度差值的温度对比度特征，以及基于无量纲温度对比度斜率特征，构建了一个更全面的特征集。这种多特征融合方法通过利用多种红外特征进行数据融合，获得比原始数据更一致、信息更丰富和更准确的特征，实现从不同维度综合考虑缺陷，不仅增强了对缺陷本质信息的提取能力，而且有效地提升了模型在各种环境和条件下的泛化能力。
缺陷区域与正常区域的温度曲线示意图如附图4(a)所示,其中tp为热激励截止时间。在热源激励下，热量扩散到材料中，如果材料内部存在任何非均匀性，如含有分层或夹杂物等缺陷时，会影响热扩散速率，并在体现在表面的温度场分布上。温度对比度即温度差值可表示为：
ΔT(t)＝Td(t)-Ts(t) (1)
其中：Td为缺陷处温度，Ts为正常区域温度。
本实施例选取了远离缺陷的部分区域内的平均温度作为正常区域的参考温度。如附图4(b)示意图所示，温度对比度ΔT会随着热量的输入而逐渐扩大，而缺陷处对热扩散的阻碍作用，会使得温度对比度峰值出现在热激励结束之后，之后随着材料的冷却，温度对比度会逐渐减小。温度对比度的斜率也可以很好的揭示缺陷与正常区域之间温度在时间方向上的差异，如附图4(c)示意图所示。而由于热传导率的不同，无量纲温度对比度的斜率会在早期时刻达到最大值，上述时间瞬间称为峰值斜率时间t(s)，该值近似与缺陷深度的平方成正比。
步骤2.2：如附图5所示，M-VIT-DDQ模型架构主要由三个模块组成：多特征嵌入模块、转换器模块和分类模块。模型以试件实验红外数据，即温度曲线作为输入，输出为该点出的预测分类的类别。
多特征嵌入模块是M-VIT-DDQ网络的第一个模块。该模块利用特征转换方法将一维特征序列转换为二维图像，在对特征进行升维丰富信息的同时保留时间相关性；并初步提取不同红外特征的信息，进行数据融合，提供更丰富的特征表示。转换器模块是M-VIT-DDQ网络的核心模块，通过注意力机制进一步提取序列的深层特征和长期依赖性。分类模块根据任务需求将经过转换器模块提取的特征进行分类和预测。M-VIT-DDQ模型以基于特征工程提取的多红外特征作为输入，详细说明如下。
多特征嵌入模块负责提取和融合多种红外特征，从而有效减少依赖单一特征可能导致的偏差。这一模块的独特之处在于它采用了一种创新的特征转换方法，即格拉米角和场方法，来有效提取一维红外特征信息。在转换前，利用分段近似聚合算法(PAA)对原始红外特征序列进行预处理。通过这种预处理，将长序列映射为长度为224的短序列，这不仅减少了计算负载和内存消耗，而且尽可能地保留了重要的特征信息。
GASF是一种时间序列编码图像方法，通过一系列向量内积将时间序列转换为二维图像，如附图6所示。GASF图中，每个像素的值代表了对应时间点之间角度和的信息，使得模型能够识别不同时间间隔的相关性。这种转换方法不仅将时间序列映射到更高维的空间，突出了序列中的非线性特征，而且保留了完整的原始红外特征信息，从而有助于模型捕获红外特征中的非线性模式和结构。
为了处理二维图像，将图片划分为一系列子区域(patch)，每个patch维度大小为16×16，每个patch通过线性映射后，将其作为一个表征输入到转换器模块中进行特征提取。利用二维卷积来实现这一过程。对于转换后的图像(其中G为GASF操作，x为红外特征，H×W为图像分辨率)，通过二维卷积进行特征提取：
其中：E为二维卷积层，卷积核大小为16×16，步距为16，卷积核个数为768。在此基础上，将从不同红外特征GASF转换图中提取的特征向量进行数据融合，以聚合不同的视角下的缺陷信息。
为了方便后续对缺陷进行分类，在提取的向量中添加一个可学习的嵌入向量xclass，维度大小为1×768。在转换器中多头自注意力机制计算后，xclass会与所有图像子区域关联，这意味着xclass融合了所有子区域的特征，因此可以采用xclass作为模型最后分类的特征映射。多特征嵌入模块的输出可以表示为：
其中：Epos是可学习的位置编码，用以保留每个patch的位置信息，维度大小为197×768。
转换器模块中主要由多头自注意力(MSA)，多层感知机(MLP)和层归一化(LayerNorm)三个部分组成。自注意力机制允许并行计算序列中的不同位置，不依赖于序列中其他位置的信息，使得模型在处理序列时更高效，不受梯度消失或梯度爆炸的问题困扰，能够有效捕捉序列中的长期依赖关系。此外，相比于传统的序列编码方法，自注意力机制能够根据输入序列的内容动态计算每个位置的注意力权重，并通过计算注意力权重与值的加权和，更好地捕捉特征之间的关系，提取更丰富、更有表达力的特征表示。
MSA首先通过可学习的线性映射将数据生成为查询矩阵Q，键矩阵K,和值矩阵V。然后，通过计算查询矩阵Q和键矩阵K之间的相似度，可以得到注意力权重。最后，对注意力权重归一化，并将其与对应的值矩阵V相乘产生加权特征。值得注意的是，在MSA中，存在多个注意力头生成独立的加权特征，用于从不同的表示空间中学习多样性特征，这些特征将被连接起来得到最终的自注意力表示。接下来自注意力表示会被馈送到之后的的LayerNorm和MLP中，以实现对序列长期依赖性的建模。MLP主要由线性层和激活函数组成，以实现对特征的非线性变换。转换器模块提取特征可表示为：
y＝LayerNorm(yk) (6)
其中：表示为通过第l个转换器模块中MSA的输出，yl表示为第l个转换器模块的输出，k为转换器中基础模块数量，y为最后转换器模块的输出。
分类模块由一个线性层和Softmax函数组成，以实现对缺陷的检测。线性层将输入的特征向量映射到一个维度大小与任务类别数相同的向量，作为模型对样本的的预测分类输出，然后通过Softmax函数将该输出转换为预测类别概率的分布：
Output＝Softmax(Linear(y[xclass])) (7)
其中：y[xclass]为转换器模块最终输出y中的xclass向量，fi为第i个节点的输出，C为分类的类别个数，Output为模型的预测输出的概率分布，选择概率最高的类别作为最终的预测结果。
在模型训练过程中，采用交叉熵损失来衡量分类损失：
其中：B为模型训练时batch数，C为类别数，为真实分类标签，O为预测标签。模型通过最小化损失函数来进行训练和参数更新。损失函数可以用来衡量模型的预测结果与真实标签之间的差异，通常定义为预测误差函数，较低的损失值表示更好的预测性能。
训练中初始学习率设置为0.0015，批量的大小设置为12，转换器中基础模块数量设置为12，训练轮次设置为100。采用随机梯度下降法(SGD)更新参数，超参数动量和权值衰减分别设置为0.9和5E-05。
为了评估所提的模型性能，采用了包括交并比(Iou)和F1分数(F1-Score)在内的两个指标。Iou可表示如下：
其中：Ui为模型检测结果，为真实结果。
具体来说，首先计算出不同深度的缺陷类别在检测结果和真实结果中的像素数目。然后，将检测结果像素区域和真实像素区域的交集数除以它们的并集数，得到该类的Iou。其值越大，表示检测结果与真实结果的重叠程度越高，检测误差越小。
F1-Score是精准率和召回率的调和平均数。在实际检测中，既希望模型能够准确地检测缺陷，又希望模型能够尽可能地捕捉到所有的缺陷，以避免疏忽缺陷而导致的设备损坏。因此，F1-Score可以平衡精确率和召回率，可以全面地评估模型的性能。F1-Score可表示为：
P＝TP/(TP+FP) (11)
R＝TP/(TP+FN) (12)
其中：TP代表真正例，指模型将正例正确地判断为正例的样本数量，FP代表假正例，指模型将负例错误地判断为正例的样本数量，FN代表假负例，指模型将正例错误地判断为负例的样本数量。P代表精确率，衡量了模型在识别出的正例中的准确性。R代表召回率，衡量了模型对所有正类样本的识别能力。
步骤3，数据优化：提出基于实例选择和欠采样的的红外数据采样策略，构建了针对性强的红外数据集，为后续的特征提取和模型训练提供优化的数据基础。
步骤3.1：提出基于实例选择和欠采样的的红外数据采样策略，构建了针对性强的红外数据集，为后续的特征提取和模型训练提供优化的数据基础。
在步骤3.1中提出了一种创新的基于实例选择和欠采样的红外数据采样策略。这种策略旨在缓解在红外热成像实验中由热扩散导致的干扰对模型性能的负面影响。具体来说，由于横向和纵向的热扩散，缺陷周围的正常区域的温度变化会受到缺陷区域的影响。这种热特征的叠加，导致缺陷附近的正常区域的热响应与缺陷本身极为相似，加之实验中数据的不均衡分布，从而对传统模型在识别缺陷边界时的效率和精度构成了显著挑战。通过实施本实施例提出的数据采样策略，可以有效提高模型在复合材料缺陷检测中的准确性和可靠性。
实例选择作为一种关键的数据预处理步骤，在本实施例中被用来从原始数据集中筛选出具有代表性的数据子集。这一过程不仅去除了冗余或可能含噪声的数据样本，而且显著提高了模型的训练效率和预测性能。此外，欠采样技术通过减少多数类实例的数量，有效解决了由于数据不均衡分布而引起的模型偏向问题。该技术使得原始偏态数据得到再平衡，进一步提升了模型在识别和检测复合材料中微小缺陷的能力。
数据样本采集位置如附图7所示。首先，根据缺陷的真实大小，划定向内收缩一定距离的范围作为缺陷区域样本提取范围。然后，相对应的，在与缺陷范围相隔一定距离的外围区域内，提取正常区域数据。接下来，从足够远离缺陷的数据区域中选取部分样本，以避免缺陷的干扰，作为正常区域的代表性样本。最后，在上述划定范围中分别使用随机欠采样提取样本，以平衡不同类别的样本数量。通过这种采样策略，以缓解缺陷区域横向热扩散现象的影响，在保持缺陷和正常区域数据集代表性的同时，缩小这两者之间的类重叠范围，引导模型学习不同区域的泛化特征，提高模型检测性能。
实验数据集设置如表1所示，包括正常区域和不同深度的四类缺陷，共五类。数据样本采集位置如附图7所示。为构造训练数据集，在划分的训练区域内，根据实际缺陷标签向内收缩3个像素的区域来选择缺陷区域数据样本，从远离缺陷区域选取正常区域数据样本，欠采样率为0.6，并在每个缺陷真实标签外围2至6像素的范围内添加了934个正常区域样本作为补充。在2个试样上共选取了18338像素点区域作为训练数据集，按照8∶2的比例划分为训练集和验证集。实验中测试区域有效样本总数为100×260×2＝52000。
表1实验数据集
步骤3.2：本引入另外两种常见的红外数据采样策略进行对比，以评估所提采样策略的有效性及采样策略对模型检测性能的影响。三种不同采样策略形成的数据集分别是基于欠采样的数据集(D1)、基于均匀随机取样的数据集(D2)以及本实施例提出的基于实例选择和欠采样的数据集(D3)。其中数据集D1是基于欠采样策略生成，即在远离缺陷的部分正常区域和真实缺陷范围内部，通过欠采样方法制作数据集。数据集D2是在整个训练区域通过随机均匀采样策略生成，其中在正常区域和缺陷区域设置不同的采样率，以确保正常区域的数据总量和每类缺陷数据量保持一致，避免数据间的不平衡对模型的影响。三种数据集中对应的各类样本数量保持一致，具体参见表1。
本实施例采用T分布随机邻域嵌入算法(T-SNE)来优化数据集的可视化处理。T-SNE是一种非线性降维算法，通过将高维数据样本之间的相似性转换为条件概率，以此来描述降维后低维空间的对应分布关系。
T-SNE结果如附图8所示，数据集D1的采样策略专注于避免受缺陷边界影响的区域，从而使得数据分布较为集中，类间可分离性高。对比地，数据集D2采用随机均匀采样方法，其降维后的数据分布显示了热扩散效应对数据的显著影响，其中正常区域与缺陷类别之间的数据点存在重叠，导致类别边界模糊。然而，数据集D3展示了类内更紧凑的分布，尽管在深层缺陷类和正常区域存在少量重叠，但总体上表现出优越的数据质量。
在不同数据集上训练的模型的性能通过在150800个样本数据上的检测结果进行了验证，如表2所述。结果显示，对于正常区域和较浅的第1类缺陷，三种数据集训练的模型均展示出良好的性能。然而，使用数据集D1训练的模型在深层缺陷检测上表现不佳，这是由于D1在采样过程中未能充分考虑缺陷周围正常区域的温度变化。相对于均匀采样的数据集D2，数据集D3通过在缺陷边界区域进行更高密度的采样，在减少样本类重叠的同时保持了数据样本的代表性，从而使得模型检测效果达到最优和最稳定。
本实施例通过采用特定的数据采样策略，有效提高了模型在复合材料缺陷检测中的精度和稳定性。这一成果不仅验证了本实施例策略的有效性，也为后续的模型训练和检测提供了优化的数据基础。后续模型训练检测都基于数据集D3。
表2在不同数据集上训练后的模型检测结果比较
步骤4，缺陷重建与标签预测：利用训练数据集对该模型进行训练，实现模型参数的优化更新。在模型训练完成后，对检测结果逐像素编码为成像掩码，其中每个像素点都被分配为预测的标签值。自动化精确重建出复合材料缺陷的二维图像。
将M-VIT-DDQ模型的检测结果与没有融合多红外特征的模型的检测结果进行比较。如表3所示，M-VIT-DDQ模型在检测复合材料正常区域和缺陷方面表现出色。具体来说，该模型在检测正常区域的交并比(IoU)达到了98.5％，而在最浅层缺陷(Class2)的检测IoU更是达到了96.4％。整体而言，该模型在各类缺陷的平均IoU和F1-Score分别为93.3％和0.965，优于未进行多红外特征融合的模型(平均IoU为89.2％，平均F1为0.941)。
这些数据证明了M-VIT-DDQ模型通过数据融合策略，能够有效利用不同红外特征的信息，极大地增强了缺陷特征的提取能力。尤其是针对对深层缺陷的检测性能有较好的提升。这一结果不仅验证了本实施例在技术上的创新性，也展示了其在实际应用中的显著优势。
表3无特征融合模型与有特征融合模型的检测结果比较
本发明引入了几种经典的基于深度学习的红外检测模型进行对比，包括基于整流线性单元(ReLu)函数的一维卷积神经网络(CNN)模型、深度前馈神经网络(MLP)模型和设计用于处理时序数据的长短期记忆网络(LSTM)模型，以及几种经典的时间序列分类模型，包括时序融合模型、门控循环单元(GRU)模型和全卷积网络(FCN)模型。这些模型与本发明提出的M-VIT-DDQ模型均在相同的数据集D3上进行了训练。
模型训练完成后，对检测结果逐像素编码为成像掩码，每个像素点都被分配为预测的标签值，自动化精确重建出复合材料缺陷的二维图像，从而可以得到缺陷的位置、形状和深度等关键信息。附图9所示显示了模型的评价指标结果。附图10展示了不同模型在训练区域的二维重建结果，其中两个试样的结果连接在一起进行可视化，(a)为真实标签，(b)为CNN模型，(c)为MLP模型，(d)为LSTM模型，(e)为InceptionTime模型，(f)为GRU模型，(g)为FCN模型，(h)为本发明提出的M-VIT-DDQ模型(下列图像中字母代表相同)。从中可明显观察到本发明M-VIT-DDQ模型在缺陷分类精度方面相较于其他模型有显著的提升，尤其是在检测深度较大的缺陷时，其误差远小于其他模型。
值得注意的是，尽管模型检测误差主要集中在缺陷边界区域，且随着缺陷深度的增加，误差有所扩大，但本发明所提的M-VIT-DDQ模型仍表现出卓越的性能。这一现象的原因在于红外热成像中由热扩散影响造成的缺陷边界正常区域的热特征干扰，导致对该处区域的检测能力降低；同时，随着缺陷深度的增加，热特征之间的差异逐渐减小，增加了模型的学习难度。
本发明M-VIT-DDQ模型在检测Iou和F1-Score方面表现出色，分别达到82.4％和0.904。这种优越的预测精度归因于其采用的转换器架构中的自注意力机制，使得M-VIT-DDQ模型能够有效捕捉红外数据的全局依赖关系和关键特征，并自适应地分配不同权重，特别强调与缺陷相关的特征。这种全局性的关注能力使得模型在识别复合材料中的缺陷方面更为有效，从而显著提高了检测的准确性。
步骤5，自动化高效缺陷检测与度量：利用经过训练的M-VIT-DDQ模型对测试数据集进行检测，实现对复合材料缺陷的高效检测和精确度量。
模型在测试区域的检测结果及其可视化附图11和附图12所示。模型在测试区域的检测结果及其可视化展现了其在复合材料缺陷识别方面的高效性和准确性。相比于其他比较模型，M-VIT-DDQ模型在测试区域的分类结果中展示了更佳的泛化能力和稳定性，能够准确地区分出缺陷区域和正常区域。
特别是在检测最深的Class4和Class5两类缺陷时，M-VIT-DDQ模型表现出显著的优越性，其检测Iou分别达到了92.1％和81.2％。这种高效的泛化能力部分源于模型对红外特征序列数据的处理。由于这类数据通常体积较小、信息含量有限且含有噪声和冗余特征，传统的卷积或全连接操作难以充分学习缺陷的固有特征，容易导致过拟合。然而，M-VIT-DDQ模型通过对多红外特征的数据融合，能够从多个原始特征集中提取最具区分性的信息，形成特征间的互补，从而减少数据噪声和冗余信息的干扰。
此外，通过Transformer架构的应用，M-VIT-DDQ模型有效地捕捉缺陷的普遍特征和模式，显著提高了模型的鲁棒性。这些技术特性使得M-VIT-DDQ模型在捕捉复合材料中的缺陷方面更为准确，从而在泛化性能上表现出色。
通过以上提出的方法，能实现以像素级分辨率识别复合材料缺陷的位置、形状和深度信息。该方法以多红外特征为输入进行数据融合，实现了不同视角下的缺陷信息聚合，并能捕捉红外数据的全局依赖关系和相关重要特征，有效提取缺陷的普遍特征和模式。所提出的采样策略可以在保持数据样本代表性的同时，减少样本类重叠的影响，提升模型检测的效果和稳定性。该方法相较于传统技术，在缺陷检测的精度、效率和泛化能力方面均有显著提升，适用于各种复杂环境下的复合材料缺陷评估。
本发明不仅局限于上述具体实施方式，本领域一般技术人员根据实施例和附图公开内容，可以采用其它多种具体实施方式实施本发明，因此，凡是采用本发明的设计结构和思路，做一些简单的变换或更改的设计，都落入本发明保护的范围。
Claims (7)
1.一种基于红外多特征融合的复合材料缺陷自动识别与度量方法，其特征在于：
步骤1、数据采集与预处理：进行红外热成像实验，捕获含缺陷的样品的红外数据，并将其划分为训练区域与测试区域，用于后续模型的训练与评估；
步骤2、多特征模型构建：通过基于特征选择，自动地对数据进行多特征处理；并构建多特征视觉转换神经网络模型；
步骤3、数据优化：提出基于实例选择和欠采样的红外数据采样策略，构建了针对性强的红外数据集，为后续的特征提取和模型训练提供优化的数据基础；
步骤4、缺陷重建与标签预测：利用训练数据集对该模型进行训练，实现模型参数的优化更新；在模型训练完成后，对检测结果逐像素编码为成像掩码，其中每个像素点都被分配为预测的标签值；自动化精确重建出复合材料缺陷的二维图像；
步骤5、自动化高效缺陷检测与度量：利用经过训练的多特征视觉转换神经网络模型对测试数据集进行检测，实现对复合材料缺陷的自动化高效检测和精确度量。
2.根据权利要求1所述的基于红外多特征融合的复合材料缺陷自动识别与度量方法，其特征在于：
在步骤1中，进行红外热成像实验数据采集时，选取统一大小、材料的实验试件制成含有不同深度缺陷的复合材料试件，进行长脉冲红外热成像实验，采集有效的红外数据集；对数据集进行标签标注，分为不同深度的缺陷类以及正常区域类，单个像素点的红外数据和标签共同组成了一组数据；把红外数据集按照实际区域划分为训练区域与测试区域。
3.根据权利要求1所述的基于红外多特征融合的复合材料缺陷自动识别与度量方法，其特征在于：
在步骤2中，多特征模型构建包含如下步骤：
步骤2.1：基于特征工程，选取与缺陷信息具有强关联性红外特征，将原始红外数据转换为更具时间序列模式以及缺陷相关性的信息特征；
步骤2.2：构建多特征视觉转换神经网络模型；多特征视觉转换神经网络模型架构由三个模块组成：多特征嵌入模块、转换器模块和分类模块；多特征视觉转换神经网络模型以试件实验红外数据，即温度曲线作为输入，输出为该点处的预测分类的类别；
步骤2.3：多特征视觉转换神经网络模型评估指标的建立；采用了包括交并比和F1分数在内的两个指标；交并比(Iou)可表示如下：
其中：Ui为模型检测结果，为真实结果；
首先计算出不同深度的缺陷类别在检测结果和真实结果中的像素数目；然后，将检测结果像素区域和真实像素区域的交集数除以它们的并集数，得到该类的交并比；
F1分数是精准率和召回率的调和平均数；F1分数表示为：
P＝TP/(TP+FP) (11)
R＝TP/(TP+FN) (12)
其中：TP代表真正例，指模型将正例正确地判断为正例的样本数量；FP代表假正例，指模型将负例错误地判断为正例的样本数量；FN代表假负例，指模型将正例错误地判断为负例的样本数量；P代表精确率，衡量了模型在识别出的正例中的准确性；R代表召回率，衡量了模型对所有正类样本的识别能力。
4.根据权利要求3所述的基于红外多特征融合的复合材料缺陷自动识别与度量方法，其特征在于：
多特征嵌入模块负责提取和融合多种红外特征；多特征嵌入模块首先将基于温度曲线，自动生成基于步骤2.1中选取的多红外特征中的其他特征；然后通过段近似聚合算法对原始红外特征序列进行预处理，将长序列映射为长度为224的短序列；接着通过格拉米角和场算法，将一维红外数据转换为二维图像；多特征嵌入模块随后对图像进行特征提取与融合处理，并将得到的特征传递给转换器模块；
转换器模块中主要由多头自注意力(MSA)模块、多层感知机(MLP)和层归一化(LayerNorm)三个部分组成；通过多头自注意力模块生成自注意力表示，接下来表示会被馈送到之后的层归一化和多层感知机中，以实现对序列长期依赖性的建模，多层感知机主要由线性层和激活函数组成；
转换器模块提取特征可表示为：
y＝LayerNorm(yk) (6)其中：表示为通过第l个转换器模块中多头自注意力的输出，yl表示为第l个转换器模块的输出，k为转换器模块中基础模块数量，y为最后转换器模块的输出；
分类模块由一个线性层和Softmax函数组成，以实现对缺陷的检测；线性层将输入的特征向量映射到一个维度大小与任务类别数相同的向量，作为模型对样本的的预测分类输出，然后通过Softmax函数将该输出转换为预测类别概率的分布：
Output＝Softmax(Linear(y[xclass])) (7)
其中：y[xclass]为转换器模块最终输出y中的xclass向量，fi为第i个节点的输出，C为分类的类别个数，Output为模型的预测输出的概率分布，选择概率最高的类别作为最终的预测结果；
多特征视觉转换神经网络模型后续训练中构建交叉熵损失来衡量分类误差，公式如下：
其中：B为模型训练时batch数，C为类别数，为真实分类标签，O为预测标签；模型通过最小化损失函数来进行训练，以及通过随机梯度下降法(SGD)更新参数。
5.根据权利要求1所述的基于红外多特征融合的复合材料缺陷自动识别与度量方法，其特征在于：
在步骤3中，基于实例选择和欠采样的红外数据采样策略包含如下步骤：
步骤3.1：通过采样策略构建数据集；首先通过基于缺陷的实际大小，划定向内收缩一定距离的范围作为缺陷区域样本提取范围；之后在受热扩散影响的“过渡区域”中，提取部分正常区域数据；再从远离缺陷的区域中选取样本，作为正常区域的代表性样本，以避免缺陷的干扰；最后，在划定范围中分别使用随机欠采样提取样本，以平衡不同类别的样本数量，减轻热扩散影响；
步骤3.2：采样数据集的可视化与评估优化；引入另外两种常见的红外数据采样策略进行对比评估，即基于欠采样的数据集和基于均匀随机取样的数据集；采用T分布随机邻域嵌入算法将高维数据样本分布转化为低维空间的对应分布；并进行数据集的可视化处理，初步评估基于步骤3.1中采样的数据集质量；然后，通过获得的不同的数据集，对基于步骤3.1中构建的多特征视觉转换神经网络模型进行训练，得到模型在不同数据集上的评估结果。
6.根据权利要求1所述的基于红外多特征融合的复合材料缺陷自动识别与度量方法，其特征在于：
在步骤4中，引入多种基于深度学习的红外检测模型进行对比评估；对比模型与多特征视觉转换神经网络模型都通过同样的数据集进行训练与参数更新，即基于步骤3方法在试件训练区域获得的采样数据集；模型训练完成后，对检测结果逐像素编码为成像掩码，每个像素点都被分配为预测的标签值，自动化精确重建出复合材料缺陷的二维图像；其中不同分层类别的预测标签包含分层缺陷的深度信息。
7.根据权利要求1所述的基于红外多特征融合的复合材料缺陷自动识别与度量方法，其特征在于：
步骤5中，通过基于步骤4中训练好的多特征视觉转换神经网络模型对测试区域数据集进行检测，自动化高效对复合材料缺陷进行检测和精确度量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410038308.9A CN117764980A (zh) | 2024-01-10 | 2024-01-10 | 基于红外多特征融合的复合材料缺陷自动识别与度量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410038308.9A CN117764980A (zh) | 2024-01-10 | 2024-01-10 | 基于红外多特征融合的复合材料缺陷自动识别与度量方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117764980A true CN117764980A (zh) | 2024-03-26 |
Family
ID=90316629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410038308.9A Withdrawn CN117764980A (zh) | 2024-01-10 | 2024-01-10 | 基于红外多特征融合的复合材料缺陷自动识别与度量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117764980A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118196070A (zh) * | 2024-04-08 | 2024-06-14 | 江苏海洋大学 | 一种基于无人机热红外遥感的光伏板缺陷识别方法 |
| CN118218617A (zh) * | 2024-05-22 | 2024-06-21 | 湖南珞佳智能科技有限公司 | 基于深度学习网络的slm打印缺陷检测与修复方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113887667A (zh) * | 2021-10-28 | 2022-01-04 | 中国人民解放军空军工程大学 | 基于红外和超声信号融合的复合材料缺陷检测方法及系统 |
| WO2023155069A1 (zh) * | 2022-02-16 | 2023-08-24 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的手机电池表面缺陷检测方法 |
-
2024
- 2024-01-10 CN CN202410038308.9A patent/CN117764980A/zh not_active Withdrawn
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113887667A (zh) * | 2021-10-28 | 2022-01-04 | 中国人民解放军空军工程大学 | 基于红外和超声信号融合的复合材料缺陷检测方法及系统 |
| WO2023155069A1 (zh) * | 2022-02-16 | 2023-08-24 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的手机电池表面缺陷检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| JINKANG LIU等: "Multi-feature vision transformer for automatic defect detection and quantification in composites using thermography", NDT AND E INTERNATIONAL, vol. 143, 30 December 2023 (2023-12-30), pages 1 - 11 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118196070A (zh) * | 2024-04-08 | 2024-06-14 | 江苏海洋大学 | 一种基于无人机热红外遥感的光伏板缺陷识别方法 |
| CN118218617A (zh) * | 2024-05-22 | 2024-06-21 | 湖南珞佳智能科技有限公司 | 基于深度学习网络的slm打印缺陷检测与修复方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lee et al. | Automated fatigue damage detection and classification technique for composite structures using Lamb waves and deep autoencoder | |
| CN117764980A (zh) | 基于红外多特征融合的复合材料缺陷自动识别与度量方法 | |
| Zhang et al. | An efficient lightweight convolutional neural network for industrial surface defect detection | |
| CN109658387A (zh) | 电力列车的受电弓碳滑板缺陷的检测方法 | |
| Zhang et al. | Data anomaly detection for bridge SHM based on CNN combined with statistic features | |
| CN112508853B (zh) | 一种时空特征提取的红外热图像缺陷检测及量化方法 | |
| Huang et al. | A deep learning framework based on improved self‐supervised learning for ground‐penetrating radar tunnel lining inspection | |
| Hu et al. | Ultrasonic based concrete defects identification via wavelet packet transform and GA-BP neural network | |
| CN117636073A (zh) | 混凝土缺陷检测方法、装置及存储介质 | |
| Devereux et al. | A new approach for crack detection and sizing in nuclear reactor cores | |
| Wan et al. | Railway tracks defects detection based on deep convolution neural networks | |
| Xiong et al. | Pixel-Level patch detection from full-scale asphalt pavement images based on deep learning | |
| Chen et al. | Localization and imaging of internal hidden defects in concrete slabs based on deep learning of vibration signals | |
| Liu et al. | Multi-feature vision transformer for automatic defect detection and quantification in composites using thermography | |
| Wang et al. | DA-CNN-based similar terahertz signal identification for intelligent characterization of internal debonding defects of composites under high-resolution mode | |
| CN115452957B (zh) | 基于注意力原型网络的小样本金属损伤识别方法 | |
| CN116740525A (zh) | 基于数据融合的智能制造质量管理方法 | |
| Zuo et al. | STMA-Net: A Spatial Transformation-Based Multi-Scale Attention Network for Complex Defect Detection with X-ray Images | |
| Balaji et al. | Plant Infirmity Detection Using Vgg-16 Convolutional Neural Network | |
| CN113973403B (zh) | 基于结构离散测点拓扑的温致应变场重分布智能感知方法 | |
| CN114878427A (zh) | 基于Trident-net的火焰中碳烟多参数场同时测量的方法和系统 | |
| Yu et al. | Intelligent damage classification for tensile membrane structure based on continuous wavelet transform and improved ResNet50 | |
| Shirley et al. | Recognition and monitoring of gas leakage using infrared imaging technique with machine learning | |
| Yu et al. | Image quality assessment via spatial‐transformed domains multi‐feature fusion | |
| Lin et al. | Non-destructive monitoring of forming quality of self-piercing riveting via a lightweight deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20240326 |