CN113838010A - 基于红外热波及卷积神经网络的复合材料损伤智能检测方法 - Google Patents

Abstract

本发明公开了一种基于红外热波及卷积神经网络的复合材料损伤智能检测方法，具体包括：步骤1，训练损伤位置识别模型和损伤类别分类模型；步骤2，采集待检测复合材料的红外热波数据，获得多张红外热波图像，将其分别输入损伤位置识别模型，检测其中是否含有损伤，若有则输出预测的损伤区域；步骤3，提取损伤区域的红外热波信号；步骤4，将红外热波信号输入损伤类别分类模型，获得各损伤的类型；本发明能够获得复合材料内部的损伤区域位置和类型信息，损伤检测结果准确且效率较高。

Description

基于红外热波及卷积神经网络的复合材料损伤智能检测方法

技术领域

本发明属于复合材料损伤检测技术领域，特别是涉及一种基于红外热波及卷积神经网络的复合材料损伤智能检测方法。

背景技术

复合材料是指几类不同材料通过复合工艺组合而成的新型材料，由于复合材料具有绝缘性好、耐热性强、抗腐蚀性好等优良的性能，被大批应用于飞机的机身、机翼、内装件、雷达罩等结构，如欧洲A400M军用后勤飞机使用了复合材料机翼罩，F-22战斗机复合材料占比超过35％，波音787客机的复合材料占比为50％，空客A350客机的复合材料占比高达52％。

复合材料在制备和应用过程中，不可避免地会出现内部分层、脱粘等各类损伤，且多数损伤难以观测，不易确定损伤的位置及破坏程度，给飞机带来严重的安全隐患，随着复合材料在飞机上的大量应用，对飞机复合材料的检测已经成为保障飞行安全的关键技术。

目前对复合材料常用的无损检测方法有X射线、超声波、声发射等，这些常规手段普遍存在着单次检测面积小，检测速度慢等缺点，综合来看都不适用于较大面积构件的损伤快速检测；红外无损检测中的主动脉冲热成像技术具有单次检测面积大、检测速度快、非接触、检测系统搭建简单、适用于现场检测等多项优点，具有广泛的研究应用，然而，红外热波成像需要人工识别，操作员利用这些图像分析部件中是否存在缺陷，判断缺陷的类型和位置，在很大程度依赖于先验知识，操作过程费时且依赖于经验主义。

在实现本发明过程中，发明人发现现有技术识别缺陷时集中于红外图像检测，并未利用红外信号，而红外图像仅反映了同一时刻平面内所有点的温度场分布情况，由此可以判断缺陷的位置和大小，但无法判断缺陷的类型；红外信号反映了固定点的温度随时间的变化，材料内部情况不同时，红外信号的变化也不同，通过研究这种变化关系能有效识别该位置的缺陷类型，有助于全面反映复合材料内部情况。

发明内容

本发明实施例的目的在于提供一种基于红外热波及卷积神经网络的复合材料损伤智能检测方法，通过将红外热波图像和红外热波信号结合，从空间和时间维度获取损伤区域的信息，使损伤检测结果更加准确，且检测效率较高。

为解决上述技术问题，本发明所采用的技术方案是，基于红外热波及卷积神经网络的复合材料损伤智能检测方法，包括以下步骤：

步骤1，基于复合材料损伤样件的红外热波数据分别训练损伤位置识别模型和损伤类别分类模型；

步骤2，采集待检测复合材料的红外热波数据，对其进行预处理，获得复合材料不同深度的多张红外热波图像，将各红外热波图像分别输入损伤位置识别模型，检测其中是否含有损伤；

以各红外热波图像左上角为坐标原点，以坐标原点向右为x轴正方向，向下为y轴正方向，以每个像素为一个单位建立坐标系，输出预测的损伤区域[x′_min,y′_min,x′_max,y′_max]，x′_min、y′_min分别为预测的损伤区域左上角的横纵坐标，x′_max、y′_max分别为预测的损伤区域右下角的横纵坐标；

步骤3，将多张红外热波图像按采样时间的先后顺序排成图像序列，提取损伤区域内各像素坐标在各红外热波图像中的辐射值，按时间顺序将同一像素坐标在各红外热波图像中的辐射值连接起来，形成一维的各像素坐标的红外热波信号；

步骤4，将损伤区域各像素坐标的红外热波信号分别输入损伤类别分类模型，获得各像素坐标的损伤类别，统计分属于各损伤类别的像素坐标占损伤区域内总像素坐标的比例，将占比最高的损伤类别作为最终的损伤类别输出，获得复合材料的损伤类别。

进一步的，步骤1所述的训练包括以下步骤：

步骤1-1，采集复合材料损伤样件的红外热波数据，对红外热波数据进行预处理，获得复合材料不同深度的多张红外热波图像，将多张红外热波图像按采样时间的先后顺序排成图像序列，提取每个像素坐标在各红外热波图像中的辐射值，按时间顺序连接每个像素坐标的辐射值形成像素坐标的一维红外热波信号；

步骤1-2，使用图片标注工具给红外热波图像添加损伤位置标记得到损伤图像样本集，给红外热波信号添加损伤类别得到损伤信号样本集；

所述损伤位置标记为[x_min,y_min,x_max,y_max]，其中x_min、y_min分别为损伤区域标记框左上角的横纵坐标，x_max、y_max分别为损伤区域标记框右下角的横纵坐标，所述损伤类别包括分层、脱粘、裂纹、鼓包；

步骤1-3，将损伤图像样本集和损伤信号样本集都分为训练集和验证集，分别使用训练集训练损伤位置识别模型和损伤类别分类模型，使用验证集调整模型的超参数，得到优化的损伤位置识别模型和损伤类别分类模型。

进一步的，所述预处理包括：使用最小二乘法对红外热波数据进行七阶多项式拟合，再对拟合数据求一阶导。

进一步的，所述损伤位置识别模型由依次连接的CSPDarknet53网络、SSP和PAN模块、三个YOLO Head组成，所述CSPDarknet53网络用于提取输入的红外热波图像的多层级特征，所述SSP和PAN模块用于将低级特征映射与高级特征映射合并，所述三个YOLO Head用于基于合并特征对不同尺度的损伤区域进行预测。

进一步的，所述损伤类别分类模型包括五个特征提取网络，所述特征提取网络由Conv1D、BN层、Conv1D、BN层和最大池化层连接组成，第五个特征提取网络不包含最大池化层，直接与Flatten层、Linear层、BN层、Linear层、BN层、Softmax层依次连接；

所述五个特征提取网络依次提取红外热波信号的多维特征，所述Flatten层将输入的多维特征转换为一维特征信号，所述Linear层将多层级的特征连接组合，所述Softmax层根据组合的特征对损伤类别进行分类。

本发明的有益效果是：本发明实施例通过对复合材料的红外热波数据进行七阶拟合和一阶导处理，强化红外热波数据的特征，提升损伤区域与正常区域红外辐射的区分度，进而提升用其训练得到的损伤位置识别模型和损伤类别分类模型的识别能力，使检测结果更加准确。

本发明实施例使用卷积神经网络对红外热波数据进行处理分析，方便工作人员进行操作，减少对专业人士的依赖，降低了损伤检测成本，提高了效率。

本发明实施例首先基于红外热波图像，了解损伤区域的空间分布，再基于此获得损伤区域内各像素坐标在时间维度上的红外热波信号，判断各像素坐标的红外辐射值的变化情况，综合判断损伤的类型，使获得的复合材料损伤检测结果更加准确，且适用性更高，通过将损伤检测结果可视化，提高损伤检测的可读性，有利于复合材料的维护。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的整体流程图。

图2是损伤位置识别模型的结构图。

图3是损伤类别分类模型的结构图。

图4中：(a)是复合材料的原始红外热波图像，(b)是复合材料损伤标记图，(c)是YOLOv3预测的损伤区域。

图5中：(a)是YOLOv4预测的损伤区域，(b)是本发明实施例预测的损伤区域。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

基于红外热波及卷积神经网络的复合材料损伤智能检测方法，如图1所示，其中实线为模型训练过程，虚线为使用模型进行损伤检测的过程，具体包括以下步骤：

步骤S1，使用脉冲式红外热波检测设备采集复合材料损伤样件的红外热波数据，对红外热波数据进行预处理和提取，获得空间维度上不同深度的多张红外热波图像；

将多张红外热波图像按照采样时间顺序排列获得图像序列，提取每个像素坐标在各红外热波图像中的辐射值，按时间顺序连接每个像素坐标的辐射值形成像素坐标的一维红外热波信号；

所述预处理包括采用最小二乘法对红外热波数据进行7阶多项式拟合，再对拟合数据求一阶导，通过放大信号变化区域的数值差异，提升复合材料损伤区域信号与正常区域信号的区分度；

步骤S2，以红外热波图像的左上角为坐标原点，以坐标原点向右为x轴正方向，向下为y轴正方向，以每个像素为一个单位建立坐标系，使用图片标注工具Labeling给复合材料损伤样件的红外热波图像添加损伤位置标记，得到复合材料的损伤图像样本集，将损伤图像样本集分为训练集和验证集，使用训练集对卷积神经网络进行训练，使用验证集调整卷积神经网络的超参数，得到优化的损伤位置识别模型；

损伤位置标记为：[x_min,y_min,x_max,y_max]，其中x_min、y_min分别为损伤区域标记框左上角的横纵坐标，x_max、y_max分别为损伤区域标记框右下角的横纵坐标；

使用Excel表格对复合材料损伤样件的红外热波信号进行损伤类别标注，得到复合材料的损伤信号样本集，将损伤信号样本集分为训练集和验证集，使用训练集对1DCNN网络进行训练，使用验证集调整1DCNN网络的超参数，得到优化的损伤类别分类模型；

所述损伤类别包括分层、脱粘、裂纹、鼓包等；

步骤S3，使用脉冲式红外热波检测设备采集待检测复合材料的红外热波数据，设置相邻红外热波图像的采样时间间隔为20/256s，获得空间维度上不同深度的256个红外热波数据，对其进行预处理和提取，获得256张红外热波图像，所述预处理包括采用最小二乘法对红外热波数据进行7阶多项式拟合，再对拟合数据求一阶导；

将各红外热波图像分别输入损伤位置识别模型，检测各红外热波图像中是否含有损伤，当检测到含有损伤时输出预测的损伤区域[x′_min,y′_min,x′_max,y′_max]，x′_min、y′_min分别为预测的损伤区域左上角的横纵坐标，x′_max、y′_max分别为预测的损伤区域右下角的横纵坐标；

红外热波检测设备的采样时间间隔太长，采样频率太低会导致红外热波图像数量较少，生成的红外热波信号稀疏，不能完全表征材料内部情况，导致损伤检测结果准确度较低；采样时间间隔较短，采样频率太高会增加采样数据，导致数据处理时间延长，进而降低复合材料损伤检测的效率；

步骤S4，将256张红外热波图像按时间顺序排列，提取256张红外热波图像中损伤区域对应的像素坐标的辐射值，按时间顺序将同一像素坐标在256张红外热波图像中的辐射值用线连接起来，形成损伤区域内各像素坐标的辐射值随时间的变化曲线，获得损伤区域内多个256×1的红外热波信号；

步骤S5，将损伤区域内各个像素坐标的红外热波信号分别输入损伤类别分类模型，获得各个像素坐标的损伤类别，统计分属于各损伤类别的像素坐标占损伤区域内总像素坐标的比例，将占比最高的损伤类别作为最终的损伤类别输出，获得复合材料的损伤类别name′。

损伤位置识别模型为改进的YOLOv4网络，其结构如图2所示，在YOLOv4网络的基础上进行了改进，损伤位置识别模型由依次连接的CSPDarknet53网络、SSP和PAN模块、三个YOLO Head组成；在进行损伤区域预测时首先对输入的红外热波图像进行resize，调整输入图像的尺寸为416×416，再将其输入CSPDarknet53网络，CSPDarknet53网络包括依次连接的Darknetconv2D_BN_Msih和五个Resblock结构，分别用于提取输入图像的局部特征和多层级特征，然后使用SSP(Spatial Pyramid Pooling)将不同尺寸的输入转换成固定大小的输出，以提高图像的尺度不变性和降低过拟合，加快收敛速度；使用PAN(Path AggregationNetwork)将低级特征映射和高级特征映射合并，以显著增加损伤类别分类模型的接收域范围，利用三个YOLO Head模块分别对三个尺度的目标进行预测，得到三个尺度的输出结果，分别为104×104、52×52和26×26，其中104×104对应小型目标的预测，52×52对应中型目标的预测，26×26对应大型目标的预测。

本发明实施例所述的YOLOv4网络引入Resblock_2输入，删除Resblock_5对应层级的YOLO Head输出，通过引入低级输入分支，进一步提升对小型目标的识别能力，通过删除高级输出分支，减少模型计算的冗余。

红外热波信号能反映出复合材料内部的损伤情况，当复合材料内部没有损伤时，红外热波信号的传导不会发生突变，信号变化平滑缓慢，当复合材料内部存在损伤时，红外热波信号的传导会在损伤处发生较大的变化，导致信号出现跳跃，因此可以根据红外热波信号的变化情况判断损伤的边界，进而确定损伤的类别，而卷积神经网络中，只有一维卷积神经网络1DCNN具备直接信号的处理能力，目标检测中广泛应用的二维卷积神经网络无法直接识别一维信号，所以本发明实施例使用一维卷积神经网络作为损伤类别分类模型。

损伤类别分类模型结构如图3所示，包括五个特征提取网络，所述特征提取网络由Conv1D、BN层、Conv1D、BN层和最大池化层连接组成，第五个特征提取网络不包含最大池化层，五个特征提取网络连接后，与Flatten层、Linear层、BN层、Linear层、BN层、Softmax层依次连接；五个特征提取网络依次提取红外热波信号的多维特征；Flatten将多维特征信号转化为一维特征信号，Linear是一个全连接层，其将多层级的特征进行组合，以降低损伤类别识别的难度，BN层能够加快网络的训练和收敛速度，控制梯度爆炸防止梯度消失，防止过拟合，Softmax用于根据组合特征对损伤类别进行分类，Softmax的输出为(0，1)，表示模型对各个损伤类别预测的概率，将最高概率对应的损伤类别作为各像素坐标的损伤类别name′，统计分属各损伤类别的像素坐标点占损伤区域总像素坐标的占比，将占比最高的损伤类别作为最终的损伤类别输出。

本发明实施例使用红外检测采样时可根据材料的厚度，调整采样的时间间隔和帧数，对于薄板可以减少采样时间间隔，增加红外热波图像的帧数，对于厚板可以增加采样时间间隔，减少红外热波图像的帧数，以调整获得的红外热波信号的采样量，在保证损伤检测准确性的情况下提高检测的效率。

分别使用本发明实施例和现有卷积神经网络对复合材料进行损伤检测，检测结果如表1、图4、图5所示：

表1本发明实施例与现有卷积神经网络的损伤检测结果

表1中Accuracy表示各个模型的准确性，使用mAP表征各模型对目标进行预测的平均准确度，使用Kappa进行多分类模型分类准确性的评估，使用FPS表示各模型的处理速度，由表1可知，使用本发明实施例进行复合材料的损伤检测时其准确性可达98.3％，对损伤区域的目标检测较为准确，且能准确对各损伤区域进行分类，损伤检测的处理效率较高，能够满足复合材料损伤检测的需求。

图4中(a)为复合材料的原始红外热波图像，(b)为人为标记的损伤区域图，(c)为YOLOv3预测的损伤区域，其中标注了各损伤区域的预测框和概率，对比可知YOLOv3网络仅能预测部分损伤区域，且损伤区域的概率较低，准确性较差，图5中(a)给出了YOLOv4网络预测的损伤区域，但其预测结果的概率值较低，且无法获得损伤的类别，本发明实施例的预测结果如图5中(b)所示，预测结果较为全面、准确，在给出损伤区域位置时还能获得损伤的类别信息，同时将损伤区域位置和损伤类别可视化展示在红外热波图像上，方便用户进行查看，有利于复合材料的维护。

红外热波图像是复合材料某一平面内所有点在某时间内的红外辐射信号的集合，本发明实施例通过采集复合材料不同深度的红外热波图像，再基于各红外热波图像使用损伤位置识别模型确定各平面内是否存在损伤，并输出损伤的区域坐标，确定损伤区域在各层红外热波图像中的预测框，再将各红外热波图像按时间顺序排列，获得某固定坐标点在各红外热波图像内的红外辐射值，连接各辐射值形成某固定像素坐标的辐射值随时间变化的一维红外热波信号，基于此可以确定损伤区域的具体边界，获得损伤区域的三维立体结构，进而确定损伤区域的类型，使损伤检测结果更加准确，不必依赖专业人士的先验知识，检测成本降低，检测效率提高。

外热波图像公开了复合材料某一平面的空间信息，能够展示损伤区域的位置信息，但并不能说明该损伤的类型，使操作人员对损伤本身的认识及其形成过程、原因不了解，无法进一步通过改善工艺等消除损伤，本发明实施例通过深入了解红外检测的技术原理，熟悉红外热波图像与红外热波信号的来源，将多个红外热波图像按时间顺序排列，获得红外热波图像内各像素坐标在时间维度上的红外辐射信号，利用损伤类别分类模型对该红外辐射信号进行识别，进而判断出损伤的类型，使操作人员对损伤的判断更加准确，有利于损伤的修补和工艺改善。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (5)

1.基于红外热波及卷积神经网络的复合材料损伤智能检测方法，其特征在于，包括以下步骤：

步骤1，基于复合材料损伤样件的红外热波数据分别训练损伤位置识别模型和损伤类别分类模型；

步骤2，采集待检测复合材料的红外热波数据，对其进行预处理，获得复合材料不同深度的多张红外热波图像，将各红外热波图像分别输入损伤位置识别模型，检测其中是否含有损伤；

以各红外热波图像左上角为坐标原点，以坐标原点向右为x轴正方向，向下为y轴正方向，以每个像素为一个单位建立坐标系，输出预测的损伤区域[x′_min,y′_min,x′_max,y′_max]，x′_min、y′_min分别为预测的损伤区域左上角的横纵坐标，x′_max、y′_max分别为预测的损伤区域右下角的横纵坐标；

步骤3，将多张红外热波图像按采样时间的先后顺序排成图像序列，提取损伤区域内各像素坐标在各红外热波图像中的辐射值，按时间顺序将同一像素坐标在各红外热波图像中的辐射值连接起来，形成一维的各像素坐标的红外热波信号；

步骤4，将损伤区域各像素坐标的红外热波信号分别输入损伤类别分类模型，获得各像素坐标的损伤类别，统计分属于各损伤类别的像素坐标占损伤区域内总像素坐标的比例，将占比最高的损伤类别作为最终的损伤类别输出，获得复合材料的损伤类别。

2.根据权利要求1所述的基于红外热波及卷积神经网络的复合材料损伤智能检测方法，其特征在于，步骤1所述的训练包括以下步骤：

步骤1-1，采集复合材料损伤样件的红外热波数据，对红外热波数据进行预处理，获得复合材料不同深度的多张红外热波图像，将多张红外热波图像按采样时间的先后顺序排成图像序列，提取每个像素坐标在各红外热波图像中的辐射值，按时间顺序连接每个像素坐标的辐射值形成像素坐标的一维红外热波信号；

步骤1-2，使用图片标注工具给红外热波图像添加损伤位置标记得到损伤图像样本集，给红外热波信号添加损伤类别得到损伤信号样本集；

所述损伤位置标记为[x_min,y_min,x_max,y_max]，其中x_min、y_min分别为损伤区域标记框左上角的横纵坐标，x_max、y_max分别为损伤区域标记框右下角的横纵坐标，所述损伤类别包括分层、脱粘、裂纹、鼓包；

步骤1-3，将损伤图像样本集和损伤信号样本集都分为训练集和验证集，分别使用训练集训练损伤位置识别模型和损伤类别分类模型，使用验证集调整模型的超参数，得到优化的损伤位置识别模型和损伤类别分类模型。

3.根据权利要求1或2所述的基于红外热波及卷积神经网络的复合材料损伤智能检测方法，其特征在于，所述预处理包括：使用最小二乘法对红外热波数据进行七阶多项式拟合，再对拟合数据求一阶导。

4.根据权利要求1所述的基于红外热波及卷积神经网络的复合材料损伤智能检测方法，其特征在于，所述损伤位置识别模型由依次连接的CSPDarknet53网络、SSP和PAN模块、三个YOLO Head组成，所述CSPDarknet53网络用于提取输入的红外热波图像的多层级特征，所述SSP和PAN模块用于将低级特征映射与高级特征映射合并，所述三个YOLO Head用于基于合并特征对不同尺度的损伤区域进行预测。

5.根据权利要求1所述的基于红外热波及卷积神经网络的复合材料损伤智能检测方法，其特征在于，所述损伤类别分类模型包括五个特征提取网络，所述特征提取网络由Conv1D、BN层、Conv1D、BN层和最大池化层连接组成，第五个特征提取网络不包含最大池化层，直接与Flatten层、Linear层、BN层、Linear层、BN层、Softmax层依次连接；

所述五个特征提取网络依次提取红外热波信号的多维特征，所述Flatten层将输入的多维特征转换为一维特征信号，所述Linear层将多层级的特征连接组合，所述Softmax层根据组合的特征对损伤类别进行分类。

Images