CN113870236B - 一种基于深度学习算法的复合材料缺陷无损探伤方法 - Google Patents

一种基于深度学习算法的复合材料缺陷无损探伤方法 Download PDF

Info

Publication number
CN113870236B
CN113870236B CN202111175282.5A CN202111175282A CN113870236B CN 113870236 B CN113870236 B CN 113870236B CN 202111175282 A CN202111175282 A CN 202111175282A CN 113870236 B CN113870236 B CN 113870236B
Authority
CN
China
Prior art keywords
image
network
defect
feature
defects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111175282.5A
Other languages
English (en)
Other versions
CN113870236A (zh
Inventor
张涛
魏倩茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202111175282.5A priority Critical patent/CN113870236B/zh
Publication of CN113870236A publication Critical patent/CN113870236A/zh
Application granted granted Critical
Publication of CN113870236B publication Critical patent/CN113870236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习算法的复合材料缺陷无损探伤方法，首先对原始图像进行预处理，每张预处理图像对应一张标签图片；以预处理图像作为U‑net网络的输入，标签图像作为标签，通过梯度下降法对U‑net网络进行迭代训练，训练完成的U‑net网络构成处理网络；处理网络的输出为输入图像的特征图；将待处理图像输入处理网络后输出特征图，通过阈值分割算法对特征图进行处理，得到标记缺陷的二值图像，再通过矩形框定位算法在二值图像中定位缺陷位置；最终将二值图像和待处理图像融合，在待处理图像中定位缺陷。本发明通过神经网络学习特征的快捷性和高准确性，解决传统算法的局限性，为复合材料的缺陷检测提供新的思路。

Description

一种基于深度学习算法的复合材料缺陷无损探伤方法
技术领域
本发明属于材料缺陷检测技术领域，具体涉及一种防复合材料缺陷无损探伤方法。
背景技术
在工业中，复合材料的缺陷主要在视觉上表征为一个与其他部分不同的区域，由于这些缺陷的特征是在像素上的表达，因此语义分割任务在缺陷检测上具有可应用性。通过语义分割将属于缺陷部分的像素分割出来，从而实现缺陷检测的目的。
现有的技术方案主要通过传统计算机视觉算法对缺陷部分进行检测。在复合材料中，缺陷一般表示为线型和区域型，这些缺陷主要由边缘信息来进行检测，该算法主要通过梯度算子计算一副图像中不同位置的像素在各个方向上的梯度值，这些梯度值代表像素之间的像素值变化信息，通过对梯度的判断来确定图像中的边缘位置，从而实现对缺陷的检测和定位。
现有技术存在以下不足：1.过程繁琐、误判率较高。通过边缘检测得到的边缘信息只能说明图像梯度变化较大的位置，需要通过设定阈值来确定图像是否存在边缘信息，然后对得到的边缘信息判断其是否为缺陷，这个过程需要较多的步骤进行，比较繁琐，而且容易被图像中其他噪音干扰，误判率较高。2.不够灵活，可扩展性低。在缺陷检测过程中，现有方法需要根据缺陷特征的表现不同，在判断过程中调整不同的判断标准(阈值等因素)，只能对一种特定情况类型下的缺陷进行判断，一旦符合材料拍摄的场景等因素变化，需要重新调整各个参数。
深度学习技术在图像的处理方面有着很大的发展前景，目前深度学习算法在图像的应用主要有三大类型，分别是目标检测、语义分割、图像分类。其中，语义分割任务的主要目标是完成对一幅图像中每一个像素进行分类，将属于不同区域的像素分割出来。
U-net网络是FCN网络的改进，U-net在图像的语义分割任务中具有较高的准确率。U-net主要由两个部分组成。第一部分为特征提取部分(收缩路径)，第二部分为上采样部分(扩展路径)，由于网络结构类似U形，所以也叫做U-net。目前U-net用于医学图像的细胞分割，但是从特征上而言细胞与复合材料中裂缝、密度不均等缺陷有很大相似之处。
发明内容
为了克服现有技术的不足，本发明提供了一种基于深度学习算法的复合材料缺陷无损探伤方法，首先对原始图像进行预处理，每张预处理图像对应一张标签图片；以预处理图像作为U-net网络的输入，标签图像作为标签，通过梯度下降法对U-net网络进行迭代训练，训练完成的U-net网络构成处理网络；处理网络的输出为输入图像的特征图；将待处理图像输入处理网络后输出特征图，通过阈值分割算法对特征图进行处理，得到标记缺陷的二值图像，再通过矩形框定位算法在二值图像中定位缺陷位置；最终将二值图像和待处理图像融合，在待处理图像中定位缺陷。本发明通过神经网络学习特征的快捷性和高准确性，解决传统算法的局限性，为复合材料的缺陷检测提供新的思路。
本发明解决其技术问题所采用的技术方案包括如下步骤：
步骤1：对包含不同类型缺陷的原始图像进行预处理，形成预处理图像集；
步骤2：每张预处理图像对应一张标签图片，在标签图片中，无缺陷的位置处像素值标记为0，有缺陷的位置处像素值标记为255；形成标签图像集；
步骤3：训练U-net网络；
以预处理图像集作为U-net网络的输入，标签图像集作为标签，通过梯度下降法对U-net网络进行迭代训练，训练完成的U-net网络构成处理网络；处理网络的输出为输入图像的特征图；
计算网络输出的特征图与标签图像的交叉熵，从而判断处理网络输出特征图与标签图像的相似度，交叉熵越低则处理网络输出特征图与标签图像的相似度越高；
重复步骤3中的上述步骤直至处理网络输出特征图与标签图像的相似度低于设定阈值，完成网络训练；
步骤4：缺陷判断；
将待处理图像输入处理网络后输出特征图，通过阈值分割算法对特征图进行处理，得到以0像素和255像素标记的二值图像，其中0像素值代表非缺陷点，255像素值代表缺陷点；
再通过矩形框定位算法在二值图像中定位缺陷位置；
步骤5：将在步骤4中已定位缺陷位置的二值图像和待处理图像融合，在待处理图像中定位缺陷。
优选地，所述对原始图像进行预处理，包括特征增强、大小裁剪和零件位置固定。
本发明的有益效果如下：
本发明使用深度学习算法，通过使用足够多的缺陷数据对U-net网络模型进行训练，将缺陷的检测精确到每一个像素的分类，精确率得到了提高。在U-net网络训练完成后形成处理网络，测试集图像可直接输入处理网络得到结果，简化了检测的过程。当缺陷特征的数据得到改变时，可以随时训练处理网络适应环境的变化，具有很强的可扩展性。目前U-net用于医学图像的细胞分割，但是从特征上而言细胞与复合材料中裂缝、密度不均等缺陷有很大相似之处，本发明将U-net原本用作医学图像的分割任务移植到复合材料缺陷检测任务当中去并改进了U-net网络模型的输出，通过神经网络学习特征的快捷性和高准确性，解决传统算法的局限性，为复合材料的缺陷检测提供新的思路。
附图说明
图1为本发明方法流程示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
如图1所示，一种基于深度学习算法的复合材料缺陷无损探伤方法，包括如下步骤：
步骤1：对包含不同类型缺陷的原始图像进行预处理，包括特征增强、大小裁剪和零件位置固定的操作，形成预处理图像集；让原始图片满足网络的输入标准的同时提高结果的像素级准确度；
步骤2：每张预处理图像对应一张标签图片，在标签图片中，无缺陷的位置处像素值标记为0，有缺陷的位置处像素值标记为255；形成标签图像集；
步骤3：训练U-net网络；
以预处理图像集作为U-net网络的输入，标签图像集作为标签，通过梯度下降法对U-net网络进行迭代训练，训练完成的U-net网络构成处理网络；处理网络的输出为输入图像的特征图；
计算网络输出的特征图与标签图像的交叉熵，从而判断处理网络输出特征图与标签图像的相似度，交叉熵越低则处理网络输出特征图与标签图像的相似度越高；
重复步骤3中的上述步骤直至处理网络输出特征图与标签图像的相似度低于设定阈值，完成网络训练；
步骤4：缺陷判断；
将待处理图像输入处理网络后输出特征图，通过阈值分割算法对特征图进行处理，得到以0像素和255像素标记的二值图像，其中0像素值代表非缺陷点，255像素值代表缺陷点；
再通过矩形框定位算法在二值图像中定位缺陷位置；
步骤5：将在步骤4中已定位缺陷位置的二值图像和待处理图像融合，在待处理图像中定位缺陷。

Claims (2)

1.一种基于深度学习算法的复合材料缺陷无损探伤方法，其特征在于，包括以下步骤：
步骤1：对包含不同类型缺陷的原始图像进行预处理，形成预处理图像集；
步骤2：每张预处理图像对应一张标签图片，在标签图片中，无缺陷的位置处像素值标记为0，有缺陷的位置处像素值标记为255；形成标签图像集；
步骤3：训练U-net网络；
以预处理图像集作为U-net网络的输入，标签图像集作为标签，通过梯度下降法对U-net网络进行迭代训练，训练完成的U-net网络构成处理网络；处理网络的输出为输入图像的特征图；
计算网络输出的特征图与标签图像的交叉熵，从而判断处理网络输出特征图与标签图像的相似度，交叉熵越低则处理网络输出特征图与标签图像的相似度越高；
重复步骤3中的上述步骤直至处理网络输出特征图与标签图像的相似度低于设定阈值，完成网络训练；
步骤4：缺陷判断；
将待处理图像输入处理网络后输出特征图，通过阈值分割算法对特征图进行处理，得到以0像素和255像素标记的二值图像，其中0像素值代表非缺陷点，255像素值代表缺陷点；
再通过矩形框定位算法在二值图像中定位缺陷位置；
步骤5：将在步骤4中已定位缺陷位置的二值图像和待处理图像融合，在待处理图像中定位缺陷。
2.根据权利要求1所述的一种基于深度学习算法的复合材料缺陷无损探伤方法，其特征在于，所述对原始图像进行预处理，包括特征增强、大小裁剪和零件位置固定。
CN202111175282.5A 2021-10-09 2021-10-09 一种基于深度学习算法的复合材料缺陷无损探伤方法 Active CN113870236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111175282.5A CN113870236B (zh) 2021-10-09 2021-10-09 一种基于深度学习算法的复合材料缺陷无损探伤方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111175282.5A CN113870236B (zh) 2021-10-09 2021-10-09 一种基于深度学习算法的复合材料缺陷无损探伤方法

Publications (2)

Publication Number Publication Date
CN113870236A CN113870236A (zh) 2021-12-31
CN113870236B true CN113870236B (zh) 2024-04-05

Family

ID=79002171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111175282.5A Active CN113870236B (zh) 2021-10-09 2021-10-09 一种基于深度学习算法的复合材料缺陷无损探伤方法

Country Status (1)

Country Link
CN (1) CN113870236B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228680B (zh) * 2023-02-01 2024-08-20 中国民用航空飞行学院 一种在役外场飞机蒙皮复合材料红外无损检测方法及系统
CN116228679A (zh) * 2023-02-01 2023-06-06 中国民用航空飞行学院 基于U-Net神经网络的复合材料缺陷红外无损探伤方法及系统
CN116958049B (zh) * 2023-06-15 2024-07-02 湖南视比特机器人有限公司 一种基于深度学习的汽车漆面缺陷自动检测方法及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN112102229A (zh) * 2020-07-23 2020-12-18 西安交通大学 一种基于深度学习的工业ct检测缺陷的智能识别方法
CN113140005A (zh) * 2021-04-29 2021-07-20 上海商汤科技开发有限公司 目标对象定位方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN112102229A (zh) * 2020-07-23 2020-12-18 西安交通大学 一种基于深度学习的工业ct检测缺陷的智能识别方法
CN113140005A (zh) * 2021-04-29 2021-07-20 上海商汤科技开发有限公司 目标对象定位方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
柳锋 ; 李俊峰 ; 戴文战 ; .基于深度学习语义分割的导光板缺陷检测方法.计算机系统应用.2020,(第06期),全文. *

Also Published As

Publication number Publication date
CN113870236A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
CN113870236B (zh) 一种基于深度学习算法的复合材料缺陷无损探伤方法
CN109299274B (zh) 一种基于全卷积神经网络的自然场景文本检测方法
CN108460764B (zh) 基于自动上下文和数据增强的超声图像智能分割方法
CN110648310B (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN108921120B (zh) 一种适应广泛零售场景下的香烟识别方法
CN111553923B (zh) 一种图像处理方法、电子设备及计算机可读存储介质
CN110598698B (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
CN115937626B (zh) 基于实例分割的半虚拟数据集自动生成方法
CN113591831A (zh) 一种基于深度学习的字体识别方法、系统及存储介质
CN114782410A (zh) 一种基于轻量化模型的绝缘子缺陷检测方法及其系统
CN114772208B (zh) 一种基于图像分割的非接触式皮带撕裂检测系统及方法
CN116958919A (zh) 目标检测方法、装置、计算机可读介质及电子设备
CN114529894A (zh) 一种融合空洞卷积的快速场景文本检测方法
CN113313118A (zh) 基于多尺度特征融合的自适应可变占比目标检测方法
CN117788976A (zh) 一种智能变电站数据增强及异常识别方法
CN110826564A (zh) 一种复杂场景图像中的小目标语义分割方法及系统
CN116542962A (zh) 一种基于改进Yolov5m模型光伏电池缺陷检测方法
CN111210417A (zh) 基于卷积神经网络的布匹缺陷检测方法
CN112906707B (zh) 一种表面缺陷图像的语义分割方法、装置及计算机设备
CN112115977B (zh) 基于尺度不变性与特征融合的目标检测算法
CN114638989A (zh) 一种基于目标检测和细粒度识别的故障分类可视化方法
CN114596242A (zh) 缺陷检测方法、装置、电子设备及计算机可读存储介质
CN113781449A (zh) 一种基于多尺度特征融合的纺织品瑕疵分类方法
CN113191255A (zh) 一种基于移动机器人的交通标志识别方法
Rani et al. Object Detection in Natural Scene Images Using Thresholding Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant