CN112730454A - 基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法 - Google Patents
基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法 Download PDFInfo
- Publication number
- CN112730454A CN112730454A CN202011537624.9A CN202011537624A CN112730454A CN 112730454 A CN112730454 A CN 112730454A CN 202011537624 A CN202011537624 A CN 202011537624A CN 112730454 A CN112730454 A CN 112730454A
- Authority
- CN
- China
- Prior art keywords
- damage
- composite material
- ultrasonic
- infrared thermal
- thermal wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002131 composite material Substances 0.000 title claims abstract description 137
- 230000004927 fusion Effects 0.000 title claims abstract description 74
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 238000003384 imaging method Methods 0.000 claims abstract description 157
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 67
- 230000003287 optical effect Effects 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000012795 verification Methods 0.000 claims abstract description 10
- 238000010586 diagram Methods 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 230000003902 lesion Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000012800 visualization Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 26
- 230000006870 function Effects 0.000 description 11
- 230000007547 defect Effects 0.000 description 10
- 239000000463 material Substances 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 238000009659 non-destructive testing Methods 0.000 description 4
- 239000011248 coating agent Substances 0.000 description 3
- 238000000576 coating method Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000011148 porous material Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000007822 coupling agent Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000011343 solid material Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N25/00—Investigating or analyzing materials by the use of thermal means
- G01N25/72—Investigating presence of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/04—Analysing solids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2291/00—Indexing codes associated with group G01N29/00
- G01N2291/02—Indexing codes associated with the analysed material
- G01N2291/023—Solids
Abstract
本发明公开了一种基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法，获取具备可重叠性的复合材料损伤样件同一损伤的红外热波成像图以及对应的超声波C扫成像图，并对两者进行预处理使其匹配；进行损伤位置标记得到复合材料的损伤样本集，并在进行前处理后将复合材料的损伤样本集分为训练集和验证集；选取集成融合功能的卷积神经网络，采用训练集和验证集进行训练，得到优化后的用于检测复合材料损伤的卷积神经网络模型；采用用于检测复合材料损伤的卷积神经网络模型对待检测复合材料同一损伤的红外热波成像图以及超声波C扫成像图进行损伤检测，并将输出预测的损伤类别及损伤位置在对应的光学图像上标记出来。降低成本，提高效率。
Description
技术领域
本发明属于复合材料损伤检测技术领域，涉及一种基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法。
背景技术
复合材料是由两种或两种以上物理、化学性质不同的物质，经人工组合而得到的多相固体材料。复合材料具有比强度高、比模量高、材料性能可设计强等优异性能，已在航空航天、船舶、汽车、医疗器械等工程领域得到了广泛的应用。但是在加工制备和使用过程中不可避免地会产生气泡和损伤，这些会对结构的安全构成一定的威胁。
复合材料的损伤类型除基本的夹杂、裂纹、缺层、孔隙之外，还包括磨损、划伤及纤维卷曲等，其中较为常见的缺陷是夹层、孔隙，并且复合材料中的缺陷可能只存在一种，也可能是多种缺陷并存。在使用过程中，复合材料的复杂的损伤情况，使得损伤检测难度较大，因此需要一种有效的损伤检测手段进行复合材料的损伤检测，保证复合材料结构的安全性和可靠性。
复合材料损伤大部分为内部损伤，需要通过各类检测方法实现内部特征的还原。目前，对复合材料的损伤检测主要采用红外无损检测法、超声无损检测法、涡流无损检测法、射线无损检测法等。但由于红外、超声、涡流和射线检测法对专业人士依赖度较高，造成了检测成本高，效率低等问题，且易因人为因素造成错判、漏判，降低了检测的准确度。
目前，已经有研究将卷积神经网络应用到物体损伤检测中，然而目前的研究大多是基于物体的单类型检测结果，如红外无损检测、超声无损检测等。红外无损检测检测速度快，成像结果直接、操作简单，但对环境变化更为敏感，对细微损伤的检测效果不佳。超声检测结果能清晰反映材料内部的状态且稳定性好，但检测的表面存在盲区且检测复杂，对人员的要求更高。
发明内容
本发明实施例的目的在于提供一种基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法，以解决现有的复合材料的损伤检测方法对专业人士依赖度较高、检测成本高、效率低的问题。
本发明实施例所采用的技术方案是：基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法，按照如下步骤进行：
步骤S1、获取复合材料损伤样件同一损伤的红外热波成像图以及对应的超声波C扫成像图，并使获取的复合材料损伤样件同一损伤的红外热波成像图以及超声波C扫成像图具备可重叠性；
步骤S2、对获取的复合材料损伤样件同一损伤的红外热波成像图与超声波C扫成像图进行预处理，使两者匹配；
步骤S3、对预处理后的复合材料损伤样件同一损伤的红外热波成像图与超声波C扫成像图中的损伤位置进行标记，得到复合材料的损伤样本集；
步骤S4、对复合材料的损伤样本集中的红外热波成像图与超声波C扫成像图分别进行前处理，并将前处理后的复合材料的损伤样本集分为训练集和验证集；
步骤S5、选取集成融合功能的卷积神经网络，采用训练集和验证集对集成融合功能的卷积神经网络进行训练，并在训练过程中调整该卷积神经网络的超参数，得到优化后的用于检测复合材料损伤的卷积神经网络模型；
步骤S6、获取待检测复合材料同一损伤的光学图像、红外热波成像图以及超声波C扫成像图，并使获取的待检测复合材料同一损伤的光学图像、红外热波成像图以及超声波C扫成像图具备可重叠性；
步骤S7、对待检测复合材料同一损伤的光学图像、红外热波成像图以及超声波C扫成像图进行步骤S2中所述的预处理，使待检测复合材料同一损伤的光学图像、红外热波成像图以及超声波C扫成像图三者匹配；
步骤S8、将步骤S7预处理后的待检测复合材料同一损伤的红外热波成像图以及超声波C扫成像图分别输入步骤S5中得到的用于检测复合材料损伤的卷积神经网络模型中，检测该复合材料中是否含有损伤，在检测到该复合材料中含有损伤时，输出预测的损伤类别及损伤位置，并通过可视化处理将预测的损伤类别及损伤位置在对应的待检测复合材料同一损伤的光学图像上标记出来。
本发明实施例的有益效果是：利用深度学习技术得到用于检测复合材料损伤的卷积神经网络模型，利用神经网络可以融合多类特征，使模型具备多类特征的提取、识别能力，方便工作人员操作，减小了对专业人士的依赖，降低了成本，提高了效率，有效解决了现有的复合材料的损伤检测方法对专业人士依赖度较高、检测成本高、效率低的问题。与现有的利用卷积神经网络检测物体缺陷的技术相比，本发明实施例通过卷积神经网络对多种检测手段进行组合运用，并在训练前对训练样本进行直方图均衡化、中值滤波、数据增强与归一化处理等前处理，强化训练样本中图像的整体特征，保证训练所得用于检测复合材料损伤的卷积神经网络模型的识别能力，进一步提高用于检测复合材料损伤的卷积神经网络模型的无损检测的准确度和效率。通过综合红外和超声检测的优点，利用卷积神经网络强大的图像处理功能，通过学习大量人工标注的缺陷分割样本，训练出能自动对缺陷图像进行缺陷分割的用于检测复合材料损伤的卷积神经网络模型，实现缺陷分割，不仅能检测复合材料涂层浅层的损伤，还能检测其深层的损伤，提高了检测准确度与适用性。最终通过将缺陷检测结果与光学图像结合进行可视化，提高了损伤的可读性，有利于装备中复合材料板的维护。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法的整体流程图。
图2是本发明实施例的基于Cascade R-CNN网络的用于检测复合材料损伤的卷积神经网络模型的原理结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法，先通过下述步骤S1～S5建立用于检测复合材料损伤的卷积神经网络模型，如图1所示，然后采用用于检测复合材料损伤的卷积神经网络模型进行损伤检测，具体按照如下步骤进行：
步骤S1、获取复合材料损伤样件同一损伤的红外热波成像图以及对应的超声波C扫成像图，使得同一复合材料损伤样件的同一损伤的红外热波成像图以及超声波C扫成像图具备可重叠性；
收集与制作复合材料损伤样件，本实施例采用真实损伤复合材料板，为数据采集提供充足样本，并利用红外热波成像仪对复合材料损伤样件进行数据采集，获得复合材料损伤样件损伤的红外热波成像图，同时利用超声波设备对复合材料损伤样件进行数据采集，获得复合材料损伤样件同一损伤的超声波C扫成像图片，采集时，超声波C扫成像图片与红外热波成像图片做好对应，使得采集到的复合材料损伤样件同一损伤的红外热波成像图和超声波C扫成像图片具备可重叠性。
采用红外无损检测获得复合材料损伤样件的红外热波成像图，具体过程包括如下步骤：
步骤S11a、为红外设备供电装置充上足够的电，以保证红外闪光灯的激励电源能正常运行；
步骤S12a、启动红外无损检测设备，调整检测参数到合适值；
步骤S13a、将复合材料损伤样件放置在检测平台上，用红外检测设备笼罩材料；
步骤S14a、启动红外无损检测设备进行检测，获得复合材料损伤样件的红外检测数据，即获得复合材料损伤样件的红外热波成像图。
采用超声无损检测获得复合材料损伤样件的超声波C扫成像图，具体过程包括如下步骤：
步骤S11b、启动超声检测设备，调整相关参数到合适值；
步骤S12b、将复合材料损伤样件放置在检测平台上，固定住；
步骤S13b、在复合材料损伤样件上均匀涂抹超声耦合剂；
步骤S14b、将超声收发装置贴合在复合材料损伤样件表面，贴合处保证有足够的超声耦合剂；
步骤S15b、将测距滚轮贴合平面，缓慢滑动超声收发装置，采集到稳定可靠的超声数据；
步骤S16b、将采集的数据导入到对应超声软件中，选取合适区间，生成复合材料损伤样件的超声C扫成像图。
步骤S2、对获取的复合材料损伤样件同一损伤的红外热波成像图与超声波C扫成像图进行预处理，使两者匹配，保证后期模型训练效果更好，更符合实际情况。
对获取的复合材料损伤样件同一损伤的红外热波成像图与超声波C扫成像图进行预处理，是对获取的复合材料损伤样件同一损伤的红外热波成像图与超声波C扫成像图的大小进行统一，并对存在偏差的复合材料损伤样件同一损伤的红外热波成像图与超声波C扫成像图进行偏差调整，使两者能够一一对应；进行偏差调整时，对偏差过大的图像进行剔除，对偏差较小的图像采用图像处理软件人为进行简单的旋转、裁剪、平移等操作来消除偏差。
步骤S3、对预处理后的复合材料损伤样件同一损伤的红外热波成像图与超声波C扫成像图中的损伤位置进行标记，得到复合材料的损伤样本集；
本实施例利用图片标注工具Labelimg对获取的复合材料损伤样件同一损伤的红外热波成像图与超声波C扫成像图中的损伤位置进行标记，得到复合材料的损伤样本集。标记格式为{name，[xmin,ymin,xmax,ymax]}，其中，name为标记的损伤类别，[xmin,ymin,xmax,ymax]为标记的损伤位置，xmin和ymin为标记的矩形框的左上角的坐标，xmax和ymax为标记的矩形框的右下角的坐标；矩形框的坐标是以当前处理的图像的左上角为坐标原点，以坐标原点向右为x轴的正方向，以坐标原点向下为y轴的正方向，坐标轴以每个像素为一个单位建立坐标系后得到的。
步骤S4、对复合材料的损伤样本集中的红外热波成像图与超声波C扫成像图分别进行前处理，并将前处理后的复合材料的损伤样本集分为训练集和验证集，本实施例对前处理后的复合材料的损伤样本集采用随机抽取的方式，按4：1的比例分为训练集和验证集。
对复合材料的损伤样本集中的红外热波成像图与超声波C扫成像图进行前处理，包括对复合材料的损伤样本集中的红外热波成像图与超声波C扫成像图分别依次进行直方图均衡化、中值滤波、数据增强以及归一化处理。由于红外热波成像图与超声波C扫成像图边缘模糊、且存在大量噪声信号，因此对其进行直方图均衡化、中值滤波、数据增强与归一化处理等图像处理，强化图像整体特征。
直方图均衡化是对图像进行非线性拉伸，重新分配图像像素值，将随机分布的图像直方图修改成均匀分布的直方图，基本思想是对原始图像的像素灰度做某种映射变换,使变换后图像灰度的概率密度呈均匀分布，使一定灰度范围内的像素数量大致相同。
直方图可被定义为下列公式：
式中，Pr(rk)表示灰度rk出现的概率，rk表示第k个灰度级对应的灰度；nk表示灰度为rk的像素个数；N表示图片的像素总数；l表示图片的灰度级总数。
图像进行直方图均衡化的变换函数T(rk)可写为：
中值滤波是一种非线性图像处理方法，通过对邻域内像素按灰度排序的结果决定中心像素的灰度。
对复合材料的损伤样本集中的红外热波成像图与超声波C扫成像图采用数据增强的处理方式进行数据样本扩充，能够提升模型鲁棒性，具体包括：
(1)翻转：水平或垂直翻转图像；
(2)平移：沿X轴和Y轴移动图像，最后用黑色填充空白部分；
(3)改变亮度：切换至图像的HSL通道，并调整L参数，其中L参数为RGB最大值和最小值的平均值。
(4)添加高斯噪声：高斯噪声是指一种概率密度函数服从高斯分布(正态分布)的噪声。它实质上在所有频率上都能产生数据点，可以有效的使高频特征失真，减弱其对模型的影响。
所谓归一化处理，使得数据被限定在一定的范围内，从而消除奇异样本数据导致的不良影响，对复合材料的损伤样本集中的红外热波成像图与超声波C扫成像图进行归一化处理按下式进行：
式中，μ为红外热波成像图或超声波C扫成像图的像素均值；σ为红外热波成像图或超声波C扫成像图的像素标准差；g(x,y)为归一化前的红外热波成像图或超声波C扫成像图图像像素，f(x,y)为归一化后的红外热波成像图或超声波C扫成像图图像像素，(x,y)为当前像素点的坐标。
步骤S5、选取集成融合功能的卷积神经网络，采用训练集和验证集对集成融合功能的卷积神经网络进行训练，并在训练过程中调整该卷积神经网络的超参数，得到优化后的用于检测复合材料损伤的卷积神经网络模型；
本发明实施例的集成融合功能的卷积神经网络可选用卷积神经网络Cascade R-CNN，并在卷积神经网络Cascade R-CNN的特征提取网络ResNet101与特征金字塔网络FPN之间加入了融合模块，每个融合模块的输入端与特征提取网络ResNet101的第二组卷积层及之后每一组卷积层的输出端一一对应连接，每个融合模块的输出端与特征金字塔网络FPN的输入端一一对应连接；利用加入了融合模块的卷积神经网络Cascade R-CNN得到优化后的用于检测复合材料损伤的卷积神经网络模型。
采用训练集和验证集对集成融合功能的卷积神经网络进行训练时，将训练集中的红外热波成像图与超声波C扫成像图输入到卷积神经网络Cascade R-CNN中，在其初始网络层中实现融合，将融合后的数据输送到卷积神经网络Cascade R-CNN中学习，得到CascadeR-CNN网络的预测结果{name′，[x′min,y′min,x′max,y′max]}，其中，name′为预测的损伤类别，[x′min,y′min,x′max,y′max]为预测的损伤位置，x′min和y′min为预测的损伤上标注的矩形框的左上角的坐标，x′max和y′max为预测的损伤上标注的矩形框的右下角的坐标；并将该预测值{name′,[x′min,y′min,x′max,y′max]}与前期标记所得的{name，[xmin,ymin,xmax,ymax]}进行比较，求损失函数，然后反向传播，采用优化算法对神经网络进行优化，使损失函数值逐渐减小，并通过调节超参数得到优化后的用于检测复合材料损伤的卷积神经网络模型，然后将验证集输入到模型中进行预测，获得卷积神经网络模型的mAP值，验证模型效果。
由于红外热波成像图与超声波C扫成像图各自存在的缺陷，本发明实施例运用数据融合实现对两者的融合，提升检测的效果。本发明实施例采用特征层融合的多源目标融合识别网络，将红外热波成像图与超声波C扫成像图进行高效利用。图2为本实施例的基于Cascade R-CNN网络的用于检测复合材料损伤的卷积神经网络模型的原理结构图，其由特征提取网络ResNet101，融合模块，特征金字塔网络(Feature Pyramid Networks,FPN)，区域候选网络(Region Proposal Network,RPN)和级联检测器(Detector architectures)组成，特征提取网络ResNet101由五组卷积层依次连接形成，特征金字塔网络先对较高层特征进行上采样，并通过1×1卷积改变较低层特征的通道数，然后简单地把将上采样和1×1卷积后的结果对应元素相加。红外热波成像图以及超声波C扫成像图经前处理后分别输入特征提取网络ResNet101进行特征提取；然后通过融合模块把ResNet101网络的第二组卷积层及之后每一组卷积层输出的红外热波特征图和超声C扫特征图这两类特征图融合；再通过特征金字塔网络FPN把特征提取网络ResNet101的第二组卷积层及之后每一组卷积层的融合模块输出的融合子特征图，由深层至浅层进行多尺度融合得到红外与超声融合特征图{P2,P3,P4,P5}，其中，P5是对与特征提取网络ResNet101中第五组卷积层对应的融合模块的输出进行1×1卷积所得；P4是对P5进行上采样，并对与特征提取网络ResNet101中第四组卷积层对应的融合模块的输出进行1×1卷积后，将上采样与卷积的结果相加所得；P3是对P4进行上采样，并对与特征提取网络ResNet101中第三组卷积层对应的融合模块的输出进行1×1卷积后，将上采样与卷积的结果相加所得；P2是对P3进行上采样，并对与特征提取网络ResNet101中第二组卷积层对应的融合模块的输出进行1×1卷积后，将上采样与卷积的结果相加所得；再将红外与超声融合特征图{P2,P3,P4,P5}输入区域候选网络RPN得到大量候选区域框，并使用级联检测器的方式进行检测。
每个检测器包含ROI Align(ROI Align使用双线性内插的方法获得坐标为浮点数的像素点上的图像数值，从而将整个特征聚集过程转化为一个连续的操作，以便进行后续的分类和包围框回归操作)、不同IOU值的检测网络H1-H3、分类器C和回归器B。首先，我们使用低阈值分类器和回归器来确保损坏的阳性样本数量足够，此后，通过高阈值分类器和高阈值回归器提高了检测精度。根据图2，在通过IOU为0.5的检测器1之后，将回归结果反馈给第2个检测器，其中，检测器1指ROI Align_1、H1、C1和B1组成的网络，且检测网络H1的IOU值为0.5；与检测器1相比，检测器2的IOU阈值提高到0.6，检测器2指ROI Align_2、H2、C2和B2组成的网络，且检测网络H2的IOU值为0.6；最后，在检测器3的检测网络H3中输入的IOU阈值为0.7，检测器3获得的检测结果成为整个网络的最终结果。通过级联3层检测器，提升网络训练效果。
融合模块为图2中F1、F2、F3、F4，每个融合模块采用逐像素取均值的方法，对与其一一对应的ResNet101网络的卷积层最终提取的超声C扫特征图与红外热波特征图进行融合，得到融合子特征图；即对超声C扫特征图与红外热波特征图对应位置上的像素值取平均值，并将所得平均值作为融合所得融合子特征图对应位置上的像素值。
本实施例中用于检测复合材料损伤的卷积神经网络模型的训练环境见表1：
表1卷积神经网络模型的训练环境参数
| Name | Value |
| 操作系统 | Ubuntu 18.04 |
| 显卡 | 11G NVIDIA GeForce RTX 2080Ti |
| PyTorch | 1.4 |
| epoch | 24 |
| batchsize | 2 |
初始学习率为0.001，在第16和22个时期学习率分别降低到0.0001和0.00001。
步骤S6、获取待检测复合材料同一损伤的光学图像、红外热波成像图以及超声波C扫成像图，并使获取的待检测复合材料同一损伤的光学图像、红外热波成像图以及超声波C扫成像图具备可重叠性，待检测复合材料同一损伤的光学图像利用工业相机采集；
步骤S7、对待检测复合材料同一损伤的光学图像、红外热波成像图以及超声波C扫成像图进行步骤S2中所述的预处理，使待检测复合材料同一损伤的光学图像、红外热波成像图以及超声波C扫成像图三者匹配；
步骤S8、将步骤S7预处理后的待检测复合材料同一损伤的红外热波成像图以及超声波C扫成像图分别输入步骤S5中得到的用于检测复合材料损伤的卷积神经网络模型中，检测该复合材料中是否含有损伤，在检测到该复合材料中含有损伤时，输出预测的损伤类别及损伤位置即{name′,[x′min,y′min,x′max,y′max]}，并通过可视化处理将预测的损伤类别及损伤位置在对应的待检测复合材料同一损伤的光学图像上标记出来。
由步骤S5的内容可知，步骤S8将将步骤S7预处理后的待检测复合材料同一损伤的红外热波成像图以及超声波C扫成像图输入步骤S5中得到的用于检测复合材料损伤的卷积神经网络模型中，检测该复合材料中是否含有损伤时，首先通过卷积神经网络Cascade R-CNN的特征提取网络ResNet101分别对输入的待检测复合材料同一损伤的红外热波成像图以及超声波C扫成像图进行特征提取；然后通过融合模块对ResNet101网络的第二组卷积层及之后每一组卷积层输出的红外热波特征图和超声C扫特征图进行融合；再通过特征金字塔网络FPN将每个融合模块输出的融合子特征图，由深层至浅层进行多尺度融合得到红外与超声融合特征图；最后利用卷积神经网络Cascade R-CNN的区域候选网络RPN以及级联检测器，对融合得到的红外与超声融合特征图进行损伤检测。
本发明实施例利用加入了融合模块的Cascade R-CNN网络，实现对红外热波成像图与超声波C扫成像图的融合检测，最终得到的检测结果，通过相应的位置匹配和可视化，将检测结果直接投影到对应的光学图像上，使得缺陷的可读性大大提升。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法，其特征在于，按照如下步骤进行：
步骤S1、获取复合材料损伤样件同一损伤的红外热波成像图以及对应的超声波C扫成像图，并使获取的复合材料损伤样件同一损伤的红外热波成像图以及超声波C扫成像图具备可重叠性；
步骤S2、对获取的复合材料损伤样件同一损伤的红外热波成像图与超声波C扫成像图进行预处理，使两者匹配；
步骤S3、对预处理后的复合材料损伤样件同一损伤的红外热波成像图与超声波C扫成像图中的损伤位置进行标记，得到复合材料的损伤样本集；
步骤S4、对复合材料的损伤样本集中的红外热波成像图与超声波C扫成像图共同进行前处理，并将前处理后的复合材料的损伤样本集分为训练集和验证集；
步骤S5、选取集成融合功能的卷积神经网络，采用训练集和验证集对集成融合功能的卷积神经网络进行训练，并在训练过程中调整该卷积神经网络的超参数，得到优化后的用于检测复合材料损伤的卷积神经网络模型；
步骤S6、获取待检测复合材料同一损伤的光学图像、红外热波成像图以及超声波C扫成像图，并使获取的待检测复合材料同一损伤的光学图像、红外热波成像图以及超声波C扫成像图具备可重叠性；
步骤S7、对待检测复合材料同一损伤的光学图像、红外热波成像图以及超声波C扫成像图进行步骤S2中所述的预处理，使待检测复合材料同一损伤的光学图像、红外热波成像图以及超声波C扫成像图三者匹配；
步骤S8、将步骤S7预处理后的待检测复合材料同一损伤的红外热波成像图以及超声波C扫成像图分别输入步骤S5中得到的用于检测复合材料损伤的卷积神经网络模型中，检测该复合材料中是否含有损伤，在检测到该复合材料中含有损伤时，输出预测的损伤类别及损伤位置，并通过可视化处理将预测的损伤类别及损伤位置在对应的待检测复合材料同一损伤的光学图像上标记出来。
2.根据权利要求1所述的基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法，其特征在于，所述步骤S5选取的集成融合功能的卷积神经网络为卷积神经网络Cascade R-CNN，并在卷积神经网络Cascade R-CNN的特征提取网络ResNet101与特征金字塔网络FPN之间加入了融合模块，每个融合模块的输入端与特征提取网络ResNet101的第二组卷积层及之后每一组卷积层的输出端一一对应连接，每个融合模块的输出端与特征金字塔网络FPN的输入端一一对应连接；利用加入了融合模块的卷积神经网络Cascade R-CNN得到优化后的用于检测复合材料损伤的卷积神经网络模型。
3.根据权利要求2所述的基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法，其特征在于，所述步骤S8将步骤S7预处理后的待检测复合材料同一损伤的红外热波成像图以及超声波C扫成像图输入步骤S5中得到的用于检测复合材料损伤的卷积神经网络模型中，检测该复合材料中是否含有损伤时，首先通过卷积神经网络Cascade R-CNN的特征提取网络ResNet101分别对输入的待检测复合材料同一损伤的红外热波成像图以及超声波C扫成像图进行特征提取；然后通过融合模块对ResNet101网络的第二组卷积层及之后每一组卷积层输出的红外热波特征图和超声C扫特征图进行融合；再通过特征金字塔网络FPN将每个融合模块输出的融合子特征图，由深层至浅层进行多尺度融合得到红外与超声融合特征图；最后利用卷积神经网络Cascade R-CNN的区域候选网络RPN以及级联检测器，对融合得到的红外与超声融合特征图进行损伤检测。
4.根据权利要求3所述的基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法，其特征在于，每个融合模块采用逐像素取均值的方法，对与其一一对应的ResNet101网络的卷积层最终提取的超声C扫特征图与红外热波特征图进行融合，得到融合子特征图；即对超声C扫特征图与红外热波特征图对应位置上的像素值取平均值，并将所得平均值作为融合所得融合子特征图对应位置上的像素值。
5.根据权利要求1～4任一项所述的基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法，其特征在于，所述步骤S2对获取的复合材料损伤样件同一损伤的红外热波成像图与超声波C扫成像图进行预处理，是对获取的复合材料损伤样件同一损伤的红外热波成像图与超声波C扫成像图的大小进行统一，并对存在偏差的复合材料损伤样件同一损伤的红外热波成像图与超声波C扫成像图进行偏差调整，使两者能够一一对应；进行偏差调整时，对偏差过大的图像进行剔除，对偏差较小的图像采用图像处理软件进行旋转、裁剪、平移操作来消除偏差。
6.根据权利要求1～4任一项所述的基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法，其特征在于，所述步骤S4对复合材料的损伤样本集中的红外热波成像图与超声波C扫成像图分别进行前处理，是对复合材料的损伤样本集中的红外热波成像图与超声波C扫成像图分别依次进行直方图均衡化、中值滤波、数据增强以及归一化处理。
7.根据权利要求6所述的基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法，其特征在于，对复合材料的损伤样本集中的红外热波成像图与超声波C扫成像图进行数据增强，包括对复合材料的损伤样本集中的红外热波成像图与超声波C扫成像图进行翻转、平移、改变亮度和/或添加高斯噪声。
8.根据权利要求6所述的基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法，其特征在于，对复合材料的损伤样本集中的红外热波成像图与超声波C扫成像图进行归一化处理，按照下式进行：
式中，μ为红外热波成像图或超声波C扫成像图的像素均值；σ为红外热波成像图或超声波C扫成像图的像素标准差；g(x,y)为归一化前的红外热波成像图或超声波C扫成像图图像像素，f(x,y)为归一化后的红外热波成像图或超声波C扫成像图图像像素，(x,y)为当前像素点的坐标。
9.根据权利要求1～4任一项、7或8所述的基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法，其特征在于，所述步骤S3对预处理后的复合材料损伤样件同一损伤的红外热波成像图与超声波C扫成像图中的损伤位置进行标记，是利用图片标注工具Labelimg对获取的复合材料损伤样件损伤的红外热波成像图与超声波C扫成像图中的损伤位置进行标记，标记出损伤类别name以及损伤位置[xmin,ymin,xmax,ymax]，其中，xmin和ymin为标记的矩形框的左上角的坐标，xmax和ymax为标记的矩形框的右下角的坐标；矩形框的坐标是以当前处理的图像的左上角为坐标原点，以坐标原点向右为x轴的正方向，以坐标原点向下为y轴的正方向，坐标轴以每个像素为一个单位建立坐标系后得到的。
10.根据权利要求9所述的基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法，其特征在于，所述步骤S6输出预测的损伤类别及损伤位置时，输出预测的损伤类别name′以及预测的损伤位置[x′min,y′min,x′max,y′max]，其中，x′min和y′min为预测的损伤上标注的矩形框的左上角的坐标，x′max和y′max为预测的损伤上标注的矩形框的右下角的坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011537624.9A CN112730454A (zh) | 2020-12-23 | 2020-12-23 | 基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011537624.9A CN112730454A (zh) | 2020-12-23 | 2020-12-23 | 基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112730454A true CN112730454A (zh) | 2021-04-30 |
Family
ID=75604996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011537624.9A Pending CN112730454A (zh) | 2020-12-23 | 2020-12-23 | 基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112730454A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113838010A (zh) * | 2021-09-09 | 2021-12-24 | 中国人民解放军空军工程大学 | 基于红外热波及卷积神经网络的复合材料损伤智能检测方法 |
| CN114820542A (zh) * | 2022-04-29 | 2022-07-29 | 东莞市鑫泰仪器仪表有限公司 | 一种声波及红外双功能成像系统 |
| CN116825243A (zh) * | 2023-05-09 | 2023-09-29 | 安徽工程大学 | 一种基于多源数据的热障涂层服役寿命预测方法及系统 |
| CN117173549A (zh) * | 2023-08-22 | 2023-12-05 | 中国科学院声学研究所 | 复杂场景下合成孔径声纳图像多尺度目标检测方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780451A (zh) * | 2016-12-07 | 2017-05-31 | 西安电子科技大学 | X射线、超声、红外图像融合乳腺肿块图像检测方法 |
| WO2019198076A1 (en) * | 2018-04-11 | 2019-10-17 | Ionterra Transportation And Aviation Technologies Ltd. | Real-time raw data- and sensor fusion |
| CN110827256A (zh) * | 2019-10-31 | 2020-02-21 | 广东华中科技大学工业技术研究院 | 透明构件缺陷的光学和热红外多级成像检测方法及装置 |
| CN110992311A (zh) * | 2019-11-13 | 2020-04-10 | 华南理工大学 | 一种基于特征融合的卷积神经网络瑕疵检测方法 |
| CN111696075A (zh) * | 2020-04-30 | 2020-09-22 | 航天图景（北京）科技有限公司 | 一种基于双光谱图像的风机叶片缺陷智能检测方法 |
| CN111721768A (zh) * | 2020-06-04 | 2020-09-29 | 江苏弘冉智能科技有限公司 | 一种多信息融合焊缝缺陷探测系统及方法 |
| CN112070111A (zh) * | 2020-07-28 | 2020-12-11 | 浙江大学 | 一种适配多波段图像的多目标检测方法和系统 |
-
2020
- 2020-12-23 CN CN202011537624.9A patent/CN112730454A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780451A (zh) * | 2016-12-07 | 2017-05-31 | 西安电子科技大学 | X射线、超声、红外图像融合乳腺肿块图像检测方法 |
| WO2019198076A1 (en) * | 2018-04-11 | 2019-10-17 | Ionterra Transportation And Aviation Technologies Ltd. | Real-time raw data- and sensor fusion |
| CN110827256A (zh) * | 2019-10-31 | 2020-02-21 | 广东华中科技大学工业技术研究院 | 透明构件缺陷的光学和热红外多级成像检测方法及装置 |
| CN110992311A (zh) * | 2019-11-13 | 2020-04-10 | 华南理工大学 | 一种基于特征融合的卷积神经网络瑕疵检测方法 |
| CN111696075A (zh) * | 2020-04-30 | 2020-09-22 | 航天图景（北京）科技有限公司 | 一种基于双光谱图像的风机叶片缺陷智能检测方法 |
| CN111721768A (zh) * | 2020-06-04 | 2020-09-29 | 江苏弘冉智能科技有限公司 | 一种多信息融合焊缝缺陷探测系统及方法 |
| CN112070111A (zh) * | 2020-07-28 | 2020-12-11 | 浙江大学 | 一种适配多波段图像的多目标检测方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 余萍;寿兵;: "基于多传感器信息融合的移动机器人障碍探测系统", 船海工程, no. 06 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113838010A (zh) * | 2021-09-09 | 2021-12-24 | 中国人民解放军空军工程大学 | 基于红外热波及卷积神经网络的复合材料损伤智能检测方法 |
| CN113838010B (zh) * | 2021-09-09 | 2022-10-14 | 中国人民解放军空军工程大学 | 基于红外热波及卷积神经网络的复合材料损伤智能检测方法 |
| CN114820542A (zh) * | 2022-04-29 | 2022-07-29 | 东莞市鑫泰仪器仪表有限公司 | 一种声波及红外双功能成像系统 |
| CN114820542B (zh) * | 2022-04-29 | 2023-03-31 | 东莞市鑫泰仪器仪表有限公司 | 一种声波及红外双功能成像系统 |
| CN116825243A (zh) * | 2023-05-09 | 2023-09-29 | 安徽工程大学 | 一种基于多源数据的热障涂层服役寿命预测方法及系统 |
| CN116825243B (zh) * | 2023-05-09 | 2024-01-16 | 安徽工程大学 | 一种基于多源数据的热障涂层服役寿命预测方法及系统 |
| CN117173549A (zh) * | 2023-08-22 | 2023-12-05 | 中国科学院声学研究所 | 复杂场景下合成孔径声纳图像多尺度目标检测方法及系统 |
| CN117173549B (zh) * | 2023-08-22 | 2024-03-22 | 中国科学院声学研究所 | 复杂场景下合成孔径声纳图像多尺度目标检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ren et al. | State of the art in defect detection based on machine vision | |
| CN112730454A (zh) | 基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法 | |
| US11221107B2 (en) | Method for leakage detection of underground pipeline corridor based on dynamic infrared thermal image processing | |
| KR102166458B1 (ko) | 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치 | |
| CN105865723B (zh) | 气体泄漏检测非均匀校正方法及气体泄漏检测装置 | |
| CN108982512A (zh) | 一种基于机器视觉的电路板检测系统及其方法 | |
| CN107966454A (zh) | 一种基于fpga的端塞缺陷检测装置及检测方法 | |
| CN112304960B (zh) | 一种基于深度学习的高分辨率图像物体表面缺陷检测方法 | |
| CN109118471A (zh) | 一种适用于复杂环境下的打磨工件缺陷检测方法 | |
| CN114719749B (zh) | 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统 | |
| CN102901735B (zh) | 利用计算机对工件缺损、裂变、变形进行自动检测的系统 | |
| CN113610846B (zh) | 一种基于人工智能的管状零件内侧异常检测方法及系统 | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN111474179A (zh) | 镜片表面清洁度检测装置及方法 | |
| CN111047598B (zh) | 基于深度学习的输变电设备紫外放电光斑分割方法及装置 | |
| CN112927223A (zh) | 一种基于红外热成像仪的玻璃幕墙检测方法 | |
| Peng et al. | Non-uniform illumination image enhancement for surface damage detection of wind turbine blades | |
| CN105608674B (zh) | 一种基于图像配准、插值和去噪的图像增强方法 | |
| CN116739991A (zh) | 基于深度学习的液晶显示屏表面缺陷检测方法及电子装置 | |
| Wang et al. | Machine vision-based conveyor belt tear detection in a harsh environment | |
| CN114821035A (zh) | 一种电力设备红外测温设备距离参数识别方法 | |
| CN113989588A (zh) | 一种基于自学习的五边形绘图测试智能评价系统及方法 | |
| Xu et al. | A Deep Neural Network-Based Intelligent Detection Model for Manufacturing Defects of Automobile Parts | |
| CN112712527A (zh) | 一种基于DR-Unet104的医疗图像分割方法 | |
| CN112348823A (zh) | 一种面向对象的高分辨率遥感影像分割算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |