CN114092745A - 碳纤维复合材料红外热成像分层缺陷面积自动计算方法 - Google Patents
碳纤维复合材料红外热成像分层缺陷面积自动计算方法 Download PDFInfo
- Publication number
- CN114092745A CN114092745A CN202111427533.4A CN202111427533A CN114092745A CN 114092745 A CN114092745 A CN 114092745A CN 202111427533 A CN202111427533 A CN 202111427533A CN 114092745 A CN114092745 A CN 114092745A
- Authority
- CN
- China
- Prior art keywords
- defect
- image
- thermal image
- area
- marking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 158
- 238000001931 thermography Methods 0.000 title claims abstract description 55
- 239000002131 composite material Substances 0.000 title claims abstract description 37
- 229920000049 Carbon (fiber) Polymers 0.000 title claims abstract description 35
- 239000004917 carbon fiber Substances 0.000 title claims abstract description 35
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 title claims abstract description 35
- 238000004364 calculation method Methods 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 238000002372 labelling Methods 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 17
- 239000002184 metal Substances 0.000 claims description 12
- 238000003708 edge detection Methods 0.000 claims description 10
- 238000010438 heat treatment Methods 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 6
- 230000032798 delamination Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 238000001816 cooling Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 2
- 239000004918 carbon fiber reinforced polymer Substances 0.000 claims 1
- 238000011426 transformation method Methods 0.000 claims 1
- 238000003908 quality control method Methods 0.000 abstract description 2
- 238000011002 quantification Methods 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000009659 non-destructive testing Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006355 external stress Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000007847 structural defect Effects 0.000 description 1
- 238000002076 thermal analysis method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N25/00—Investigating or analyzing materials by the use of thermal means
- G01N25/72—Investigating presence of flaws
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
- Radiation Pyrometers (AREA)
Abstract
提供一种碳纤维复合材料红外热成像分层缺陷面积自动计算方法，步骤A为碳纤维复合材料红外热像分层缺陷智能识别，步骤B为将识别后缺陷面积的自动计算。本发明与现有的缺陷面积计算方法相比，采用目标检测网络结合自动化面积计算算法的方式，具有缺陷识别精度高、速度快，缺陷面积计算自动化程度高等优点。此方法适用于碳纤维复合材料产品的缺陷检测，能够提高碳纤维复合材料内部质量控制的自动化和定量化水平。
Description
技术领域
本发明属于复合材料无损检测领域和智能技术应用领域，具体涉及一种碳纤维复合材料红外热成像分层缺陷面积自动计算方法。
背景技术
碳纤维增强复合材料(Carbon Fiber Reinforced Plastics，CFRP)是以树脂作为基体、碳纤维作为增强体的一种复合材料，相较于传统的金属材料，其具有结构重量轻、强度高、耐腐蚀等特点，随着CFRP在航空航天、汽车、船舶等领域的应用越来越广泛，其安全性同样受到广泛的关注。影响CFRP结构安全性的重要因素之一就是产生于其内部的损伤缺陷，尤其是内部分层，其存在会随着外界应力的作用不断扩展，大幅降低CFRP的结构强度，进而导致其失效。且该缺陷位于CFRP结构的内部，维修人员目视不可见，从而使其成为潜在的安全隐患。为此，利用目前较为成熟的红外热成像无损检测技术对CFRP进行加热，从而对结构内部分层缺陷进行检测，能够满足缺陷检测的定性要求。
红外热成像无损检测技术是通过外部热源加热被检物体表面，引起热量在物体内部传播，在传播过程中遇到内部缺陷时会反射回物体表面，导致表面温度分布存在差异，此时，利用红外热成像仪获取被检物体表面的热成像，操作人员通过观察热成像图分辨物体表面的异常温度分布，就能够确定缺陷。目前，对于红外热成像后的CFRP结构内部的缺陷主要依赖人工进行定性识别，易受检测人员主观因素、经验及所处环境影响。且定性识别后对缺陷的定量计算更是依靠操作人员根据经验判断，只能实现单个或者少数缺陷的面积计算，效率低下、难以实现自动化的缺陷识别以及面积计算。在定性检测的基础上，如何更进一步实现缺陷的定量检测、确定缺陷的面积大小，对CFRP结构维修工作的开展具有重要的指导意义。
发明内容
针对现有技术存在的问题，本发明提供一种基于目标检测网络的碳纤维复合材料红外热成像分层缺陷识别后的面积计算方法，基本原理为利用经训练后的目标检测网络对热像图中的缺陷进行自动识别，实现对缺陷的方框标注，在获取热像图面积与实际面积的比例系数的基础上，通过计算标注方框的图像面积与比例系数的比值，即能够实现自动化缺陷面积的计算。
上述碳纤维复合材料红外热成像分层缺陷面积自动计算方法：步骤A为碳纤维复合材料红外热像分层缺陷智能识别，步骤B为将识别后缺陷面积的自动计算；具体如下：
步骤A01，通过红外热成像检测系统获取内部存在缺陷的碳纤维复合材料结构的原始热像图，并通过测定热像面积SP和其表示的真实面积SR，得到比例系数k＝SP/SR，以下将“碳纤维复合材料结构”简称为“材料结构”；
首先利用激光红外热成像检测系统对碳纤维复合材料结构进行缺陷检测，获取被测件的原始热像图序列数据；红外热成像系统将激光作为热源，加热被检CFRP结构，红外热成像系统中的红外热像仪记录材料结构表面在M秒加热期间和M秒冷却期间的温度变化，获取了包含多帧原始热像的热像视频，选取其中缺陷清晰可见的原始热像图，作为后续目标检测神经网络的数据集部分来源；在检测过程中对红外热像仪视野范围内的面积大小进行测定，实例中将已知实际面积SR的金属方块置于红外热像仪视野内，计算热像图中金属方块的图像面积SP，也就是金属方块图像所占像素点数量，依据金属方块的实际面积和图像面积计算比例系数k，k＝SP/SR；
步骤A02，利用热像数据处理算法处理原始热像数据，获得处理后热像图，以进一步提升缺陷检测效果，使操作人员能更准确地对热像中的缺陷进行定性识别，此外，处理后热像图也能为后续目标检测网络的训练提供热像图数据；
步骤A03，构建目标检测神经网络；
步骤A04，将原始热像图与处理后热像图进行缺陷区域标注，构建缺陷热像数据集；
采用图像标注软件对热像图中人眼可分辨的缺陷利用方框尽可能靠近其边缘、对其位置进行标注，生成含有缺陷标注信息的文件，标注信息文件与其对应的被标注热像图共同构成目标检测网络的训练数据集；
步骤A05，利用构建的缺陷热像数据集训练目标检测神经网络；
用构建好的缺陷热像数据集训练目标检测神经网络；训练后的目标检测神经网络能够用未对缺陷进行过标注的热像图进行验证；
步骤A06，将训练完成的目标检测神经网络用于热像图中缺陷的自动识别；
将未经过缺陷标记的原始热像图或处理后热像图输入目标检测神经网络即可完成缺陷识别，处理之后，图中的缺陷都被方框标注；
步骤B01，将含有缺陷标注框的热像图转化为灰度缺陷热像图；
步骤B02，对获得的灰度缺陷热像图进行边缘检测，生成二值图；
边缘检测的目的是识别图中的缺陷标注框，并且将灰度图转化为二值图像；由于图像也是一个二维矩阵，图中黑色区域代表矩阵该位置处的元素值为0，相对应地，白色部分代表元素值为1，或者反过来；用该方法将标注框用白色显示出来，图像其余部分为黑色，或者反过来，由此获得黑白缺陷热像图；
步骤B03，对二值图进行连通分量标记；
针对热像图中可能存在多个缺陷的问题，对边缘检测后得到的二值图像进行连通分量标记；连通分量指图像中的连通区域，对于二值图而言，值为1的元素附近存在另外值为1的元素，以此类推，直到连通的元素周围再无未连通的元素时，则称这些元素构成的区域为一个连通分量；连通分量标记的原理为：将不同的数值赋予二值图像中的每个连通区域，以实现连通区域的定位、计数和标记；
通过对二值图像进行连通分量标记，每一个缺陷标注框是一个连通分量，第一个标注框中所有元素的值为1、第二个标注框所有元素的值为2、依次类推，第N个标注框的值为N，不同颜色或灰度值的框代表该框对应的元素值不同；
步骤B04，计算各缺陷标注框中所包含像素点数量，再除以步骤A01得到的比例系数k，即得到缺陷实际面积大小。
在本发明的一个具体实施例中，取加热阶段的最后一帧热像作为进行缺陷标定的热图。
在本发明的一个实施例中，热像数据处理算法为热像信号重建法、主成分分析法或脉冲相位法。
在本发明的另一个具体实施例中，目标检测神经网络采用YOLOv4目标检测网络。
在本发明的另一个实施例中，当出现训练精度不高的情况时，通过检测实验或者选取其他热像数据处理算法来获取更多的包含缺陷的热像图，用于扩充训练数据集的数据量，提高网络训练的精度。
在本发明的又一个具体实施例中，在步骤B01中，灰度图转化方法为将三通道颜色分量的加权和作为灰度值，即Grayscale＝0.299×R+0.587×G+0.114×B；用这种方法对含有缺陷标注框的热像图进行转换，获得灰度缺陷热像图。
在本发明的再一个具体实施例中，在步骤B02中，利用Roberts算子识别灰度热像图中的标注框。
在本发明的又一个实施例中，在步骤B02中，获得黑白缺陷热像图时易出现的问题是同一处缺陷标注框的检测结果是两个大小相近的方框；为便于后续的面积计算，采用以下步骤将两个方框中的间隙填充：
Step1：设黑白缺陷热像图矩阵为a，ai，j为矩阵中第i行、第j列元素；
Step2：按行检索矩阵中值为1的元素ai，j，若其右元素满足ai，j+1＝0、ai，j+2＝1，或ai，j+1＝0、ai，j+3＝1，或ai，j+1＝0、ai，j+4＝1时，令ai，j+1＝1；
Step3：再按列检索矩阵中值为1的元素ai，j，若下方元素满足ai+1，j＝0、ai+2，j＝1，或ai+1，j＝0、ai+3，j＝1，或ai+1，j＝0、ai+4，j＝1时，令ai+1，j＝1；
通过上述步骤将两个方框填充为一个方框。
在本发明的再一个实施例中，在步骤B03中，连通分量标记的具体步骤包括：
STEP1：按行、列顺序依次判断元素值是否为1，如元素aij值为1，判断aij周围4个相邻元素ai-1，j、ai+1，j、ai，j-1、ai，j+1的值是否同样为1，若存在值为1的元素，则将该元素与aij标记为同一类，再判断其他每一个同类元素的周围4个相邻元素的是否为1，直到将与aij同类的元素全部搜寻到，即所有同类元素的周围4个相邻元素中再无未标记的值为1的元素，这一类元素统称为一个连通分量；
STEP2：找到一个连通分量后，在重复寻找下一个连通分量之前，将找到的连通分量中所有元素的值赋为该连通分量的序数，确定已经寻找到的连通分量的个数，将第一个连通分量中所有元素的值赋为1、第二个连通分量的值赋为2、依次类推；
STEP3：寻找下一处连通分量，直到二值图中的所有连通分量均被其序数标记为止。
在本发明的还一个实施例中，在步骤B04中，通过以下步骤计算各标注框的像素点数量Si：
step1：针对连通分量标记后的图像矩阵b，首先寻找b中的最大值m，m即为图中连通分量，也就是标注框的数量；
step2：令i＝1，2，...，m，依次寻找矩阵b中值为i的元素的行号集合ri与列号集合ci；
step3：分别寻找行号集合ri与列号集合ci中的最大值rmax和cmax与最小值rimin和cimin；由此，第i个标注框的长li与宽wi分别为rmax-rmin与cmax-cmin；
step4：计算各标注框的像素点数量Si＝li*wi。
本发明与现有的缺陷面积计算方法相比，采用目标检测网络结合自动化面积计算算法的方式，具有缺陷识别精度高、速度快，缺陷面积计算自动化程度高等优点。此方法适用于碳纤维复合材料产品的缺陷检测，能够提高碳纤维复合材料内部质量控制的自动化和定量化水平。
附图说明
图1是本发明基于目标检测神经网络的碳纤维复合材料红外热成像分层缺陷面积计算方法的一种具体实施方式的流程图；
图2是实例中经过激光红外热成像系统对CFRP结构进行检测获得的原始热像图；
图3为利用主成分分析法得到的处理后热像图；
图4为实例中利用YOLO_mark标注工具进行缺陷标注的示意图；
图5为训练后的YOLOv4网络对输入的热像图中缺陷进行识别、利用标注框标注后得到的热像图；
图6为图5转化的灰度图；
图7为图6经过边缘检测后的二值图像；
图8为图7中标注框修正后的二值图像；
图9为对二值图像经连通分量标记后的图像；
图10为面积计算结果图。
具体实施方式
本发明具体实施方式由两部分组成，第一部分(步骤A)为碳纤维复合材料红外热像分层缺陷智能识别，第二部分(步骤B)为将识别后缺陷面积的自动计算。具体如下：
步骤A01，通过红外热成像检测系统获取内部存在缺陷的碳纤维复合材料结构(以下简称为“材料结构”)的原始热像图，并通过测定热像面积SP和其表示的真实面积SR，得到比例系数k＝SP/SR；
在本发明的一个实例中，首先利用激光红外热成像检测系统对碳纤维复合材料结构进行缺陷检测，获取被测件的原始热像图序列数据，此处的红外热成像系统及其操作方法为本领域技术人员熟知，不再累述。本实例中所采用的红外热成像系统将激光作为热源，加热被检CFRP结构，红外热成像系统中的红外热像仪以50Hz的成像帧率，记录材料结构表面在10s加热期间和10s冷却(停止加热)期间的温度变化，获取了包含1000帧原始热像的热像视频，选取了其中缺陷清晰可见的原始热像图，作为后续目标检测神经网络的部分数据集来源，如其中第500帧热像(即记录的加热阶段的最后一帧热像，此时热像中温度值达到最大，缺陷的分辨率达到最高)如图2所示。在检测过程中对红外热像仪视野范围内的面积大小进行测定，实例中将已知实际面积(SR)的金属方块置于红外热像仪视野内，计算热像图中金属方块的图像面积(SP)，即金属方块图像所占像素点数量，依据金属方块的实际面积和图像面积计算比例系数k，k＝SP/SR，比例系数表示图像面积与真实面积之间的对应关系，通过计算缺陷的图像面积与比例系数k的比值，得到缺陷的真实面积。
步骤A02，利用热像数据处理算法处理原始热像数据，获得处理后热像图，以进一步提升缺陷检测效果，使操作人员能更准确地对热像中的缺陷进行定性识别，此外，处理后热像图也能为后续目标检测网络的训练提供热像图数据；
惯用的热像数据处理算法例如热像信号重建法、主成分分析法、脉冲相位法等(V.P.Vavilov.Review of pulsed thermalNDT：Physical principles，theory and dataprocessing.2015)。在此实例中采用主成分分析法(N.Rajic.Principal componentthermography for flaw contrast enhancement and flaw depth characterisation incomposite structures.2002)对原始热像数据进行处理，进一步突出缺陷效果。在本发明的实例中，图像处理结果如图3所示，对比图3和图2，缺陷检出的数量增多、缺陷的清晰度提高。
步骤A03，构建目标检测神经网络；
目前目标检测神经网络在各行业领域被广泛应用，且互联网上存在众多开源的目标检测网络模型，大都能满足本文中缺陷检测的需要。本实例中采用的是YOLOv4目标检测网络(https：//arxiv.org/abs/2004.10934)，其开源代码源从https：//github.com/ AlexeyAB/darknet可获得，其中包含了该网络的搭建、网络训练及验证方法，后续步骤中涉及到的具体网络搭建、训练和验证方法不再赘述。
步骤A04，将原始热像图与处理后热像图进行缺陷区域标注，构建缺陷热像数据集；
由于本实例中所使用的目标检测网络为YOLOv4，因而采用对应的图像标注软件YOLO_mark对热像图中人眼可分辨的缺陷利用方框尽可能靠近其边缘、对其位置进行标注，生成含有缺陷标注信息的文件，标注信息文件与其对应的被标注热像图共同构成目标检测网络的训练数据集，图4为缺陷标注示意图。
步骤A05，利用构建的缺陷热像数据集训练目标检测神经网络；
在实例中，用构建好的缺陷热像数据集训练YOLOv4网络，训练方法不再赘述。训练后的YOLOv4网络可用未对缺陷进行过标注的热像图进行验证，当出现训练精度不高的情况时，可通过检测实验或者选取其他热像数据处理算法来获取更多的包含缺陷的热像图(参考步骤A01和A02)，用于扩充训练数据集的数据量，提高网络训练的精度。
步骤A06，将训练完成的YOLOv4网络用于热像图中缺陷的自动识别；
将未经过缺陷标记的原始热像图或处理后热像图输入网络即可完成缺陷识别，处理之后，热像图中的缺陷都被方框标注，如图5所示。
步骤B01，将含有缺陷标注框的热像图转化为灰度图；
在实例中，灰度图转化的惯用方法为将三通道颜色分量的加权和作为灰度值，即Grayscale＝0.299×R+0.587×G+0.114×B。用这种方法对含有缺陷标注框的热像图进行转换，获得灰度缺陷热像图，转换结果如图6所示。
步骤B02，对获得的灰度缺陷热像图进行边缘检测，生成二值图；
边缘检测的目的是识别图中的缺陷标注框，并且将灰度图转化为二值(0和1)图像。在实例中，利用Roberts算子识别灰度热像图中的标注框，结果如图7所示。由于图像也是一个二维矩阵，图中黑色区域代表矩阵该位置处的元素值为0，相对应地，白色部分代表元素值为1。用该方法将标注框用白色显示出来，图像其余部分为黑色，由此获得黑白缺陷热像图。此时易出现的问题是同一处缺陷标注框的检测结果是两个大小相近的方框(图7所示)，其中右上角虚线框是左下角标注框的局部放大视图。为便于后续的面积计算，本实例中采用以下步骤将两个方框中的间隙填充：
Step1：设黑白缺陷热像图(二值图)矩阵为a，ai，j为矩阵中第i行、第j列元素；
Step2：按行检索矩阵中值为1的元素ai，j，若其右元素满足ai，j+1＝0且ai，j+2＝1，或ai，j+1＝0且ai，j+3＝1，或ai，j+1＝0且ai，j+4＝1时，令ai，j+1＝1；
Step3：再按列检索矩阵中值为1的元素ai，j，若下方元素满足ai+1，j＝0且ai+2，j＝1，或ai+1，j＝0且ai+3，j＝1，或ai+1，j＝0且ai+4，j＝1时，令ai+1，j＝1；
通过上述步骤将两个方框填充为一个方框，如图8所示，其中右上角虚线框是左下角标注框的局部放大视图。
步骤B03，对二值图进行连通分量标记；
考虑到通常情况下热像图中可见的缺陷很可能不止一处，因此，针对热像图中存在多个缺陷的问题，对边缘检测后得到的二值图像进行连通分量标记。连通分量指图像中的连通区域，对于二值图而言，值为1的元素附近存在另外值为1的元素，以此类推，直到连通的元素周围再无未连通的元素时，则称这些元素构成的区域为一个连通分量。连通分量标记的原理为：将不同的数值赋予二值图像中的每个连通区域，以实现连通区域的定位和计数。连通分量标记的具体步骤包括：
STEP1：按行、列顺序依次判断元素值是否为1，如元素aij值为1，判断aij周围4个相邻元素(ai-1，j，ai+1，j，ai，j-1，ai，j+1)的值是否同样为1，若存在值为1的元素，则将该元素与aij标记为同一类，再判断其他每一个同类元素的周围4个相邻元素的是否为1，直到将与aij同类的元素全部搜寻到，即所有同类元素的周围4个相邻元素中再无未标记的值为1的元素，这一类元素统称为一个连通分量；
STEP2：找到一个连通分量后，在重复寻找下一个连通分量之前，将找到的连通分量中所有元素的值赋为该连通分量的序数，确定已经寻找到的连通分量的个数，将第一个连通分量中所有元素的值赋为1、第二个连通分量的值赋为2、依次类推；
STEP3：寻找下一处连通分量，直到二值图中的所有连通分量均被其序数标记为止。
在实例中，通过对二值图像进行连通分量标记，每一个缺陷标注框是一个连通分量，第一个标注框中所有元素的值为1、第二个标注框所有元素的值为2、依次类推，第N个标注框的值为N，如图9所示，不同颜色或灰度值的框代表该框对应的元素值不同。
步骤B04，计算各缺陷标注框中所包含像素点数量，再除以步骤A01得到的比例系数k，即得到缺陷实际面积大小。
实例中通过以下步骤计算各标注框的像素点数量Si：
step1：设图9为连通分量标记后的图像矩阵b，首先寻找b中的最大值m，m即为图中连通分量(标注框)的数量；
step2：令i＝1，2，...，m，依次寻找矩阵b中值为i的元素的行号集合ri与列号集合ci；
step3：分别寻找行号集合ri与列号集合ci中的最大值rmax和cmax与最小值rimin和cimin；由此，第i个标注框的长li与宽wi分别为rmax-rmin与cmax-cmin；
step4：计算各标注框的像素点数量Si＝li*wi。
每个缺陷标注框所表示的实际结构面积大小就等于每个缺陷标注框的面积与已知的比例系数的比值，即SRi＝Si/k。在得到面积计算结果SRi之后，将SRi的值以文本的形式置于图像中对应标注框中心位置处，该结果作为面积计算的输出图像，如图10所示。
需要说明的是：本发明所述碳纤维复合材料结构缺陷类型主要为内部分层缺陷；热像或热像图为记录被检结构表面某时刻温度值的可视化图像；
目标检测神经网络为学习图像特征进而对图像中目标进行识别定位的卷积神经网络。
Claims (10)
1.碳纤维复合材料红外热成像分层缺陷面积自动计算方法，其特征在于，步骤A为碳纤维复合材料红外热像分层缺陷智能识别，步骤B为将识别后缺陷面积的自动计算；具体如下：
步骤A01，通过红外热成像检测系统获取内部存在缺陷的碳纤维复合材料结构的原始热像图，并通过测定热像面积SP和其表示的真实面积SR，得到比例系数k＝SP/SR，以下将“碳纤维复合材料结构”简称为“材料结构”；
首先利用激光红外热成像检测系统对碳纤维复合材料结构进行缺陷检测，获取被测件的原始热像图序列数据；红外热成像系统将激光作为热源，加热被检CFRP结构，红外热成像系统中的红外热像仪记录材料结构表面在M秒加热期间和M秒冷却期间的温度变化，获取了包含多帧原始热像的热像视频，选取其中缺陷清晰可见的原始热像图，作为后续目标检测神经网络的数据集部分来源；在检测过程中对红外热像仪视野范围内的面积大小进行测定，实例中将已知实际面积SR的金属方块置于红外热像仪视野内，计算热像图中金属方块的图像面积SP，也就是金属方块图像所占像素点数量，依据金属方块的实际面积和图像面积计算比例系数k，k＝SP/SR；
步骤A02，利用热像数据处理算法处理原始热像数据，获得处理后热像图，以进一步提升缺陷检测效果，使操作人员能更准确地对热像中的缺陷进行定性识别，此外，处理后热像图也能为后续目标检测网络的训练提供热像图数据；
步骤A03，构建目标检测神经网络；
步骤A04，将原始热像图与处理后热像图进行缺陷区域标注，构建缺陷热像数据集；
采用图像标注软件对热像图中人眼可分辨的缺陷利用方框尽可能靠近其边缘、对其位置进行标注，生成含有缺陷标注信息的文件，标注信息文件与其对应的被标注热像图共同构成目标检测网络的训练数据集；
步骤A05，利用构建的缺陷热像数据集训练目标检测神经网络；
用构建好的缺陷热像数据集训练目标检测神经网络；训练后的目标检测神经网络能够用未对缺陷进行过标注的热像图进行验证；
步骤A06，将训练完成的目标检测神经网络用于热像图中缺陷的自动识别；
将未经过缺陷标记的原始热像图或处理后热像图输入目标检测神经网络即可完成缺陷识别，处理之后，图中的缺陷都被方框标注；
步骤B01，将含有缺陷标注框的热像图转化为灰度缺陷热像图；
步骤B02，对获得的灰度缺陷热像图进行边缘检测，生成二值图；
边缘检测的目的是识别图中的缺陷标注框，并且将灰度图转化为二值图像；由于图像也是一个二维矩阵，图中黑色区域代表矩阵该位置处的元素值为0，相对应地，白色部分代表元素值为1，或者反过来；用该方法将标注框用白色显示出来，图像其余部分为黑色，或者反过来，由此获得黑白缺陷热像图；
步骤B03，对二值图进行连通分量标记；
针对热像图中可能存在多个缺陷的问题，对边缘检测后得到的二值图像进行连通分量标记；连通分量指图像中的连通区域，对于二值图而言，值为1的元素附近存在另外值为1的元素，以此类推，直到连通的元素周围再无未连通的元素时，则称这些元素构成的区域为一个连通分量；连通分量标记的原理为：将不同的数值赋予二值图像中的每个连通区域，以实现连通区域的定位、计数和标记；
通过对二值图像进行连通分量标记，每一个缺陷标注框是一个连通分量，第一个标注框中所有元素的值为1、第二个标注框所有元素的值为2、依次类推，第N个标注框的值为N，不同颜色或灰度值的框代表该框对应的元素值不同；
步骤B04，计算各缺陷标注框中所包含像素点数量，再除以步骤A01得到的比例系数k，即得到缺陷实际面积大小。
2.如权利要求1所述的碳纤维复合材料红外热成像分层缺陷面积自动计算方法，其特征在于，取加热阶段的最后一帧热像作为进行缺陷标定的热图。
3.如权利要求1所述的碳纤维复合材料红外热成像分层缺陷面积自动计算方法，其特征在于，热像数据处理算法为热像信号重建法、主成分分析法或脉冲相位法。
4.如权利要求1所述的碳纤维复合材料红外热成像分层缺陷面积自动计算方法，其特征在于，目标检测神经网络采用YOLOv4目标检测网络。
5.如权利要求1所述的碳纤维复合材料红外热成像分层缺陷面积自动计算方法，其特征在于，当出现训练精度不高的情况时，通过检测实验或者选取其他热像数据处理算法来获取更多的包含缺陷的热像图，用于扩充训练数据集的数据量，提高网络训练的精度。
6.如权利要求1所述的碳纤维复合材料红外热成像分层缺陷面积自动计算方法，其特征在于，在步骤B01中，灰度图转化方法为将三通道颜色分量的加权和作为灰度值，即Grayscale＝0.299×R+0.587×G+0.114×B；用这种方法对含有缺陷标注框的热像图进行转换，获得灰度缺陷热像图。
7.如权利要求1所述的碳纤维复合材料红外热成像分层缺陷面积自动计算方法，其特征在于，在步骤B02中，利用Roberts算子识别灰度热像图中的标注框。
8.如权利要求1所述的碳纤维复合材料红外热成像分层缺陷面积自动计算方法，其特征在于，在步骤B02中，获得黑白缺陷热像图时易出现的问题是同一处缺陷标注框的检测结果是两个大小相近的方框；为便于后续的面积计算，采用以下步骤将两个方框中的间隙填充：
Step1：设黑白缺陷热像图矩阵为a，ai，j为矩阵中第i行、第j列元素；
Step2：按行检索矩阵中值为1的元素ai，j，若其右元素满足ai，j+1＝0、ai，j+2＝1，或ai，j+1＝0、ai，j+3＝1，或ai，j+1＝0、ai，j+4＝1时，令ai，j+1＝1；
Step3：再按列检索矩阵中值为1的元素ai，j，若下方元素满足ai+1，j＝0、ai+2，j＝1，或ai+1，j＝0、ai+3，j＝1，或ai+1，j＝0、ai+4，j＝1时，令ai+1，j＝1；
通过上述步骤将两个方框填充为一个方框。
9.如权利要求1所述的碳纤维复合材料红外热成像分层缺陷面积自动计算方法，其特征在于，在步骤B03中，连通分量标记的具体步骤包括：
STEP1：按行、列顺序依次判断元素值是否为1，如元素aij值为1，判断aij周围4个相邻元素ai-1，j、ai+1，j、ai，j-1、ai，j+1的值是否同样为1，若存在值为1的元素，则将该元素与aij标记为同一类，再判断其他每一个同类元素的周围4个相邻元素的是否为1，直到将与aij同类的元素全部搜寻到，即所有同类元素的周围4个相邻元素中再无未标记的值为1的元素，这一类元素统称为一个连通分量；
STEP2：找到一个连通分量后，在重复寻找下一个连通分量之前，将找到的连通分量中所有元素的值赋为该连通分量的序数，确定已经寻找到的连通分量的个数，将第一个连通分量中所有元素的值赋为1、第二个连通分量的值赋为2、依次类推；
STEP3：寻找下一处连通分量，直到二值图中的所有连通分量均被其序数标记为止。
10.如权利要求1所述的碳纤维复合材料红外热成像分层缺陷面积自动计算方法，其特征在于，在步骤B04中，通过以下步骤计算各标注框的像素点数量Si：
step1：针对连通分量标记后的图像矩阵b，首先寻找b中的最大值m，m即为图中连通分量，也就是标注框的数量；
step2：令i＝1，2，...，m，依次寻找矩阵b中值为i的元素的行号集合ri与列号集合ci；
step3：分别寻找行号集合ri与列号集合ci中的最大值rmax和cmax与最小值rimin和cimin；由此，第i个标注框的长li与宽wi分别为rmax-rmin与cmax-cmin；
step4：计算各标注框的像素点数量Si＝li*wi。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111427533.4A CN114092745B (zh) | 2021-11-26 | 2021-11-26 | 碳纤维复合材料红外热成像分层缺陷面积自动计算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111427533.4A CN114092745B (zh) | 2021-11-26 | 2021-11-26 | 碳纤维复合材料红外热成像分层缺陷面积自动计算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114092745A true CN114092745A (zh) | 2022-02-25 |
| CN114092745B CN114092745B (zh) | 2024-04-05 |
Family
ID=80305200
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111427533.4A Active CN114092745B (zh) | 2021-11-26 | 2021-11-26 | 碳纤维复合材料红外热成像分层缺陷面积自动计算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114092745B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN112881467A (zh) * | 2021-03-15 | 2021-06-01 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种大尺寸复合材料损伤成像与定量识别方法 |
-
2021
- 2021-11-26 CN CN202111427533.4A patent/CN114092745B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN112881467A (zh) * | 2021-03-15 | 2021-06-01 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种大尺寸复合材料损伤成像与定量识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 王强;胡秋平;邱金星;裴翠祥;刘铭;李欣屹;周洪斌;: "航空复合材料内部缺陷差动式激光红外热成像检测", 红外与激光工程, no. 05, 27 December 2018 (2018-12-27) * |
| 王焰;张炜;杨正伟;孟献策;: "玻璃纤维复合材料分层缺陷的红外热波检测", 无损检测, no. 11, 10 November 2010 (2010-11-10) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114092745B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shipway et al. | Automated defect detection for fluorescent penetrant inspection using random forest | |
| US11494891B2 (en) | Method of inspecting and evaluating coating state of steel structure and system therefor | |
| US10430937B2 (en) | Automated material characterization system including conditional generative adversarial networks | |
| Kabir | Imaging-based detection of AAR induced map-crack damage in concrete structure | |
| WO2020238256A1 (zh) | 基于弱分割的损伤检测方法及装置 | |
| JP6556266B2 (ja) | 欠陥検査装置、方法およびプログラム | |
| Eshkevari et al. | Automatic dimensional defect detection for glass vials based on machine vision: A heuristic segmentation method | |
| Wang et al. | Automated crack detection for digital radiography aircraft wing inspection | |
| CN109900363A (zh) | 一种基于轮廓提取的目标物红外测温方法和装置 | |
| CN103218805B (zh) | 处理用于对象检验的图像的方法和系统 | |
| JPWO2017130477A1 (ja) | 欠陥検査装置、方法およびプログラム | |
| CN116500086B (zh) | 一种基于深度学习的铜复铝散热底板生产评价方法及系统 | |
| Garrido et al. | Autonomous thermography: towards the automatic detection and classification of building pathologies | |
| CN114881987A (zh) | 基于改进YOLOv5的热压导光板缺陷可视化检测方法 | |
| Grys et al. | Investigation on dual-domain data processing algorithm used in thermal non-destructive evaluation | |
| Zhou et al. | Surface defect detection of CFRP materials based on infrared thermography and Attention U-Net algorithm | |
| CN114092745B (zh) | 碳纤维复合材料红外热成像分层缺陷面积自动计算方法 | |
| Fleuret et al. | Application of blind image quality assessment metrics to pulsed thermography | |
| Roemer et al. | Data processing scheme for laser spot thermography applied for nondestructive testing of composite laminates | |
| Li et al. | Steel surface defect detection based on Improved YOLOX Algorithm | |
| US20220335254A1 (en) | Computer vision inferencing for non-destructive testing | |
| Trofimov | Multi-structural instrument for identifying surface defects on rails | |
| Li et al. | A quantitative analysis method for pipeline defect inspection based on infrared thermal imaging | |
| Venegas et al. | Advances in RGB projection technique for thermographic NDT: Channels selection criteria and visualization improvement | |
| Tian et al. | A statistical framework for improved automatic flaw detection in nondestructive evaluation images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |