CN113592828B - 基于工业内窥镜的无损检测方法及系统 - Google Patents

基于工业内窥镜的无损检测方法及系统 Download PDF

Info

Publication number
CN113592828B
CN113592828B CN202110888005.2A CN202110888005A CN113592828B CN 113592828 B CN113592828 B CN 113592828B CN 202110888005 A CN202110888005 A CN 202110888005A CN 113592828 B CN113592828 B CN 113592828B
Authority
CN
China
Prior art keywords
image
defect
equipment
defects
internal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110888005.2A
Other languages
English (en)
Other versions
CN113592828A (zh
Inventor
周前飞
任毅
庆光蔚
王晋
冯月贵
吴军
胡静波
范高廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING SPECIAL EQUIPMENT INSPECTION INSTITUTE
Special Equipment Safety Supervision Inspection Institute of Jiangsu Province
Original Assignee
NANJING SPECIAL EQUIPMENT INSPECTION INSTITUTE
Special Equipment Safety Supervision Inspection Institute of Jiangsu Province
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING SPECIAL EQUIPMENT INSPECTION INSTITUTE, Special Equipment Safety Supervision Inspection Institute of Jiangsu Province filed Critical NANJING SPECIAL EQUIPMENT INSPECTION INSTITUTE
Priority to CN202110888005.2A priority Critical patent/CN113592828B/zh
Publication of CN113592828A publication Critical patent/CN113592828A/zh
Application granted granted Critical
Publication of CN113592828B publication Critical patent/CN113592828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种基于工业内窥镜的无损检测方法及系统，该方法包括步骤一、获取设备检测图像，对所述图像进行预处理，获取设备检测图像样本；步骤二、对图像样本的信息标注，提取缺陷特征，构建深度学习模型，并使用训练样本进行训练，得到缺陷识别模型；步骤三、利用工业内窥镜检测获取待检测设备内部图像，并输入到设备缺陷识别模型中，对缺陷识别分析，并对缺陷部位进行标注，识别出缺陷时进行自动声光报警。本发明中采用该方法可代替检验员肉眼浏览图片来完成缺陷识别，解决人工判别缺陷对微小缺陷和色差不明显缺陷不敏感、易漏检微弱缺陷、长时间检测视觉疲劳、劳动强度大、缺陷检测效率较低、对人员主观经验要求高等问题，提高工业管道内窥镜的检测精度和效率。

Description

基于工业内窥镜的无损检测方法及系统
技术领域
本发明属于无损检测技术领域，具体涉及一种基于工业内窥镜的无损检测方法及系统。
背景技术
特种设备与工业生产，以及人们日常生活中息息相关，如起重器、承压锅炉、压力管道、电梯和游乐设施等，在不同领域发挥着巨大的作用。因其重要性和危险性，因此需要定期对特种设备进行维护和监督检验。
特种设备的检验手段很多，大多数为无损检验，如超声检测、磁粉检测、无人机拍摄等。但是针对某些设备的狭小的内部空间，无法采用超声检测、磁场相共阵等方法检测，因此出现了利用工业内窥镜来对设备的内部进行检测，因其体积小、灵活性高，使用非常方便。但是现有技术中往往是通过人为肉眼辨别内窥镜所拍摄的设备内部图像，人工判别存在对微小缺陷和色差不明显缺陷不敏感、易漏检微弱缺陷的问题，且长时间检测容易导致视觉疲劳、劳动强度大、缺陷检测效率较低，另外对人员主观经验要求高等问题。
发明内容
本发明的目的在于提供一种基于工业内窥镜的无损检测方法及系统，解决现有技术中人为肉眼辨别内窥镜所拍摄的图像时，存在对微小缺陷和色差不明显缺陷不敏感、易漏检微弱缺陷、长时间检测视觉疲劳、劳动强度大、缺陷检测效率较低的技术问题。
为了解决上述问题，本发明通过如下技术方案实现：
基于工业内窥镜的无损检测方法，包括如下步骤：
步骤一、构建设备缺陷检测图库：获取设备检测图像，对所述图像进行预处理，获取设备检测图像样本；
步骤二、构建模型：通过图库管理和标注软件，多端口人工进行图像样本的信息标注，提取缺陷特征，并通过多次学习的方式构建深度学习模型，并使用训练样本进行训练，最终得到合适的设备缺陷识别模型；
步骤三、利用工业内窥镜检测获取待检测设备内部图像，并输入到设备缺陷识别模型中，对采集的图像进行缺陷识别分析，并对缺陷部位进行标注。
本发明中采用该方法可代替检验员肉眼浏览图片来完成缺陷识别，解决人工判别缺陷对微小缺陷和色差不明显缺陷不敏感、易漏检微弱缺陷、长时间检测视觉疲劳、劳动强度大、缺陷检测效率较低、对人员主观经验要求高等问题，提高工业管道内窥镜的检测精度和效率。
进一步优化，还包括步骤四，当检测出缺陷时进行声光报警，同时自动保存该缺陷图像。
通过设计报警模块，当识别出缺陷时进行声光报警及时提醒检测人员，对设备缺陷处进行标记、维修或更换部件等。通过自动保存该缺陷图像，增加图库的样本数量，提高检测识别精度。
进一步优化，所述步骤三中，根据检测图像背景复杂程度有以下两种算法：
3.1)对于刚出厂的新设备，以及使用不久内部形状、颜色和纹理单一的设备，采用图像分割算法，将采集的设备内部图像中的缺陷进行分割，并提取分割后的缺陷特征，输入训练好的支持向量机、随机森林机器学习模型，对缺陷类型进行分类识别；
3.2)对于使用时间较长，内部背景复杂的设备，通过深度神经网络算法对设备内部图像中是否存在缺陷进行定性检测，如果认定存在缺陷，则用目标框标出缺陷，并标出该缺陷的类别，以及判定为该类别缺陷的概率。
概率计算过程如下：假设缺陷类别分类任务共有N个训练样本，针对网络最后分类层第i个样本的输入特征为xi，其对应的真实标记为yi∈{1,2，…，C},令h＝(h1，h2,…，hC)T为网络的最终输出，即样本i的预测结果，其中C为分类任务类别数，应用交叉熵损失函数，i、j均为正整数，通过指数变换计算预测为某类别缺陷的概率，如式(1)所示
Figure BDA0003194915490000021
本发明中，对设备进行检测时，检测人员首先人为判断该待检测的新旧程度，以及设备内部背景的复杂程度。当判断待检测设备为使用不久的新设备，且设备内部形状、颜色和纹理单一，则在人机操作系统中选取3.1)对应的第一识别模块；当判断待检测设备为使用时间较长，且内部背景复杂的设备，则在人机操作系统中选取3.2)对应的第二识别模块。根据设备内部背景复杂程度采用不同的算法，识别精度高，检测效率高。
进一步优化，所述图像分割算法包括图像阈值分割和图像颜色分割。
进一步优化，所述缺陷类型包括腐蚀、焊穿、焊瘤、过烧、过热、异物、水渍、色斑、划痕、错边、麻点、黑皮、夹渣以及未知类型缺陷。
进一步优化，所述图像阈值分割算法能够解决解决复杂背景下过分割问题，在不同背景下始终保持较好的目标分割效果，且具有耗时低、清晰度高的分割优势，包括如下步骤：
1)、图像灰度化：缺陷区域表现为比正常区域颜色深的阴影，根据公式(2)将工业内窥镜采集的RGB彩色图像转换为灰度图像，依据缺陷与背景之间的灰度差异进行处理和识别；
f(x,y)＝0.299R(x,y)+0.587G(x,y)+0.114B(x,y) (2)
式中，f(x，y)为RGB图像中的某个像素的灰度值，以f(x，y)的R、G、B分量亮度加权平均值表示为该像素点的灰度值；
2)、采用最大熵阈值法对灰度图像进行阈值分割，通过自动选取图像最佳阈值，使分割后的图像目标缺陷和背景区域的总熵H(t)值达到最大，计算过程如下：
设定缺陷区域A的概率为PA，背景区域B的概率为PB，则
Figure BDA0003194915490000031
Pk＝mk/M (4)
Figure BDA0003194915490000032
Figure BDA0003194915490000033
其中，L表示将图像灰度范围划分为L个灰度级，例如256、128、64等，k表示图像第k个灰度级，mk表示处于第k个灰度级范围的像素点数量，t表示阈值。
背景区域熵HB(t)和缺陷区域熵HA(t)分别为:
Figure BDA0003194915490000041
Figure BDA0003194915490000042
总熵H(t)为:
Figure BDA0003194915490000043
式中
Figure BDA0003194915490000044
进一步优化，所述步骤3.2)中，采用Faster R-CCN深度神经网络算法对设备内部图像中是否存在缺陷进行定性检测，包括以下4个步骤：
(1)将训练集图像输入到深度神经网络算法模型进行训练，得到训练好的模型，然后将待检测图像输入到训练好的模型，进行VGG16卷积运算得到原始特征图；
(2)将原始特征图传入区域生成网络，提取包含目标概率更高的若干区域，实现裂纹缺陷有无的检测。特征图为卷积神经网络输出的最后一层，在此特征图的基础上再做一次卷积，生成256个特征图，然后分别做分类和回归，分类层输出预测属于缺陷或者背景的概率；回归层输出缺陷位置预测目标框的3个参数：目标框左上角位置、长度和高度。
(3)池化层将不同大小的输入特征转换为固定长度的输出特征，将最后一层卷积层得到的256个特征图下采样到大小为7×7的网络中，对每个网络进行最大池化处理，将不同大小的特征变成了统一大小的特征向量，确保每一个不同大小的窗口具有相同的维度，形成固定大小的特征图，方便进行全连接操作。
(4)利用池化层后的预测网络实现缺陷分类识别和精确定位，通过池化层后的最终分类网络实现缺陷类别的分类，分为14类，类别包括腐蚀、焊穿、焊瘤、过烧、过热、异物、水渍、色斑、划痕、错边、麻点、黑皮、夹渣以及未知类型缺陷，回归层输出确定候选区域在图像中的精确位置。
所述Faster R-CCN深度神经网络缺陷检测算法由卷积神经网络、区域生成网络、池化层、最终分类器4个部分组成，通过分类和回归层来实现对缺陷的分类和检测，第一组分类和回归在区域生成网络处，分类检测是否有缺陷，属于二分类问题，回归进行候选区域的初步选取；第二组分类和回归在池化层后的预测网络，通过池化层后的最终分类网络实现缺陷类别的分类，并回归确定候选区域在图像中的精确位置。
基于工业内窥镜的无损检测系统，包括电讯连接的计算机、工业用内窥镜和报警组件；内窥镜将采集的待检测设备的内部图像实时传递给计算机进行图像处理；
所述计算机包括存储模块、图像处理模块和终端显示模块；其中，所述存储模块存储内窥镜采集的待检测设备的内部图像，并将图像传递给图像处理模块；所述图像处理模块对检测图像进行图像数据处理，运行上述方法进行设备内部缺陷识别，并对缺陷进行标注，然后传递给终端显示模块显示，同时通过报警组件进行声光报警。
进一步优化，所述计算机还包括人机操作界面，人机操作界面中包括第一识别模块和第二识别模块；检测人员判断待检测设备为使用不久的新设备，且设备内部形状、颜色和纹理单一，则在人机操作界面中选取3.1)对应的第一识别模块；当判断待检测设备为使用时间较长，且内部背景复杂的设备，则在人机操作界面中选取3.2)对应的第二识别模块。根据设备内部背景复杂程度采用不同的算法，识别精度高，检测效率高。
与现有技术相比，本发明的有益效果是：
利用工业内窥镜采集压力管道、管壳式换热器等设备内部图像，通过深度神经网络算法对管道内部腐蚀、焊穿、焊瘤、过烧、过热、异物、水渍、色斑、划痕、错边、麻点、黑皮、夹渣以及未知类型缺陷有无进行定性检测和分类识别，当检测出缺陷时，用目标框标出缺陷类型和属于该缺陷的概率，并进行声光报警，同时自动保存缺陷检测结果图片。该方法可代替检验员肉眼浏览图片来完成缺陷识别，解决人工判别缺陷对微小缺陷和色差不明显缺陷不敏感、易漏检微弱缺陷、长时间检测视觉疲劳、劳动强度大、缺陷检测效率较低、对人员主观经验要求高等问题，提高工业管道内窥镜的检测精度和效率。
附图说明
图1为实施例一中基于工业内窥镜的无损检测方法的流程图。
图2为某管道内部的缺陷识别图像。
图3为本发明基于工业内窥镜的无损检测系统的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例一：
如图1所示，基于工业内窥镜的无损检测方法，包括如下步骤：
步骤一、构建设备缺陷检测图库：获取设备检测图像，对所述图像进行预处理，获取设备检测图像样本；
步骤二、构建模型：通过图库管理和标注软件，多端口人工进行图像样本的信息标注，提取缺陷特征，并通过多次学习的方式构建深度学习或机器学习模型，并使用训练样本进行训练，最终得到合适的设备缺陷识别模型；
步骤三、利用工业内窥镜检测获取待检测设备内部图像，并输入到设备缺陷识别模型中，对采集的图像进行缺陷识别分析，并对缺陷部位进行标注。
步骤四、当检测出缺陷时进行声光报警，同时自动保存该缺陷图像。
本发明中采用该方法可代替检验员肉眼浏览图片来完成缺陷识别，解决人工判别缺陷对微小缺陷和色差不明显缺陷不敏感、易漏检微弱缺陷、长时间检测视觉疲劳、劳动强度大、缺陷检测效率较低、对人员主观经验要求高等问题，提高工业管道内窥镜的检测精度和效率。
在本实施例中，通过设计报警模块，当识别出缺陷时进行声光报警及时提醒检测人员，对设备缺陷处进行标记、维修或更换部件等。通过自动保存该缺陷图像，增加图库的样本数量，对缺陷识别模型进行训练和更新，进一步提高检测识别精度。
在本实施例中，所述步骤三中，根据检测图像背景复杂程度有以下两种算法：
3.1)对于刚出厂的新设备，以及使用不久内部形状、颜色和纹理单一的设备，采用图像分割算法，将采集的设备内部图像中的缺陷进行分割，并提取分割后的缺陷特征，输入训练好的支持向量机、随机森林机器学习模型，对缺陷类型进行分类识别；
3.2)对于使用时间较长，内部背景复杂的设备，通过深度神经网络算法对设备内部图像中是否存在缺陷进行定性检测，如果认定存在缺陷，则用目标框标出缺陷，并标出该缺陷的类别，以及判定为该类别缺陷的概率。
概率计算过程如下：假设缺陷类别分类任务共有N个训练样本，针对网络最后分类层第i个样本的输入特征为xi，其对应的真实标记为yi∈{1,2，…，C},令h＝(h1，h2,…，hC)TT为网络的最终输出，即样本i的预测结果，其中C为分类任务类别数，应用交叉熵损失函数，通过指数变换计算预测为某类别缺陷的概率，如式(1)所示
Figure BDA0003194915490000071
如图2所示，自动识别出了管道中的两处腐蚀缺陷，并采用矩形框进行了标注，同时标注出了两个缺陷为腐蚀类的概率分别为0.872和0.650。
本发明中，对设备进行检测时，检测人员首先人为判断该待检测设备的新旧程度，以及设备内部背景的复杂程度。当判断待检测设备为使用不久的新设备，且设备内部形状、颜色和纹理单一，则在人机操作系统中选取3.1)对应的第一识别模块；当判断待检测设备为使用时间较长，且内部背景复杂的设备，则在人机操作系统中选取3.2)对应的第二识别模块。根据设备内部背景复杂程度采用不同的算法，识别精度高，检测效率高。
在本实施例中，所述图像分割算法包括图像阈值分割和图像颜色分割。
在本实施例中，所述缺陷类型包括腐蚀、焊穿、焊瘤、过烧、过热、异物、水渍、色斑、划痕、错边、麻点、黑皮、夹渣以及未知类型缺陷。
在本实施例中，所述图像阈值分割算法能够解决解决复杂背景下过分割问题，在不同背景下始终保持较好的目标分割效果，且具有耗时低、清晰度高的分割优势，包括如下步骤：
1)、图像灰度化：缺陷区域表现为比正常区域颜色深的阴影，根据公式(2)将工业内窥镜采集的RGB彩色图像转换为灰度图像，依据缺陷与背景之间的灰度差异进行处理和识别；
f(x,y)＝0.299R(x,y)+0.587G(x,y)+0.114B(x,y) (2)
式中，f(x，y)为RGB图像中的某个像素，以f(x，y)的R、G、B分量亮度加权平均值表示为该像素点的灰度值；
2)、采用最大熵阈值法对灰度图像进行阈值分割，通过自动选取图像最佳阈值，使分割后的图像目标缺陷和背景区域的总熵H(t)值达到最大，计算过程如下：
设定缺陷区域A的概率为PA，背景区域B的概率为PB，则
Figure BDA0003194915490000081
Pk＝mk/M (4)
Figure BDA0003194915490000082
Figure BDA0003194915490000083
其中，L表示将图像灰度范围划分为L个灰度级，例如256、128、64等，k表示图像第k个灰度级，mk表示处于第k个灰度级范围的像素点数量，t表示阈值。
背景区域熵HB(t)和缺陷区域熵HA(t)分别为:
Figure BDA0003194915490000084
Figure BDA0003194915490000085
总熵H(t)为:
Figure BDA0003194915490000086
式中
Figure BDA0003194915490000087
在本实施例中，所述步骤3.2)中，采用Faster R-CCN深度神经网络算法对设备内部图像中是否存在缺陷进行定性检测，包括以下4个步骤：
(1)将训练集图像输入到深度神经网络算法模型进行训练，得到训练好的模型，然后将待检测图像输入到训练好的模型，进行VGG16卷积运算得到原始特征图；
(2)将原始特征图传入区域生成网络，提取包含目标概率更高的若干区域，实现裂纹缺陷有无的检测。特征图为卷积神经网络输出的最后一层，在此特征图的基础上再做一次卷积，生成256个特征图，然后分别做分类和回归，分类层输出预测属于缺陷或者背景的概率；回归层输出缺陷位置预测目标框的3个参数：目标框左上角位置、长度和高度。
(3)池化层将不同大小的输入特征转换为固定长度的输出特征，将最后一层卷积层得到的256个特征图下采样到大小为7×7的网络中，对每个网络进行最大池化处理，将不同大小的特征变成了统一大小的特征向量，确保每一个不同大小的窗口具有相同的维度，形成固定大小的特征图，方便进行全连接操作。
(4)利用池化层后的预测网络实现缺陷分类识别和精确定位，通过池化层后的最终分类网络实现缺陷类别的分类，分为14类，类别包括腐蚀、焊穿、焊瘤、过烧、过热、异物、水渍、色斑、划痕、错边、麻点、黑皮、夹渣以及未知类型缺陷，回归层输出确定候选区域在图像中的精确位置。
所述Faster R-CCN深度神经网络缺陷检测算法由卷积神经网络、区域生成网络、池化层、最终分类器4个部分组成，通过分类和回归层来实现对缺陷的分类和检测，第一组分类和回归在区域生成网络处，分类检测是否有缺陷，属于二分类问题，回归进行候选区域的初步选取；第二组分类和回归在池化层后的预测网络，通过池化层后的最终分类网络实现缺陷类别的分类，并回归确定候选区域在图像中的精确位置。
实施例二：
如图3所示，基于工业内窥镜的无损检测系统，包括电讯连接的计算机2、工业用内窥镜1和报警组件3；内窥镜将采集的待检测设备内部图像实时传递给计算机进行图像处理；
所述计算机包括存储模块、图像处理模块、人机操作界面和终端显示模块；其中，所述存储模块存储内窥镜采集的待检测设备内部图像，并将图像传递给图像处理模块；所述图像处理模块对检测图像进行图像数据处理，运行上述方法进行设备内部缺陷识别，并对缺陷进行标注，然后传递给终端显示模块显示，同时通过报警组件进行声光报警。
所述人机操作界面中包括第一识别模块和识别模块；检测人员判断待检测设备为使用不久的新设备，且设备内部形状、颜色和纹理单一，则在人机操作界面中选取3.1)对应的第一识别模块；当判断待检测设备为使用时间较长，且内部背景复杂的设备，则在人机操作界面中选取3.2)对应的第二识别模块。根据设备内部背景复杂程度采用不同的算法，识别精度高，检测效率高。
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明；凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.基于工业内窥镜的无损检测方法，其特征在于，包括如下步骤：
步骤一、构建设备缺陷检测图库：获取设备检测图像，对所述图像进行预处理，获取设备检测图像样本；
步骤二、构建模型：通过图库管理和标注软件，多端口人工进行图像样本的信息标注，提取缺陷特征，并通过多次学习的方式构建深度学习或机器学习模型，并使用训练样本进行训练，最终得到合适的设备缺陷识别模型；
步骤三、利用工业内窥镜检测获取待检测设备内部图像，并输入到设备缺陷识别模型中，对采集的图像进行缺陷识别分析，并对缺陷部位进行标注；
根据检测图像背景复杂程度有以下两种算法：
3.1)对于刚出厂的新设备，以及使用不久内部形状、颜色和纹理单一的设备，采用图像分割算法，将采集的设备内部图像中的缺陷进行分割，并提取分割后的缺陷特征，输入训练好的支持向量机、随机森林机器学习模型，对缺陷类型进行分类识别；
3.2)对于使用时间较长，内部背景复杂的设备，通过深度神经网络算法对设备内部图像中是否存在缺陷进行定性检测，如果认定存在缺陷，则用目标框标出缺陷，并标出该缺陷的类别，以及判定为该类别缺陷的概率：
概率计算过程如下：假设缺陷类别分类任务共有N个训练样本，针对网络最后分类层第i个样本的输入特征为xi，其对应的真实标记为yi∈{1,2，…，C},令h＝(h1，h2,…，hC)T为网络的最终输出，即样本i的预测结果，其中C为分类任务类别数，应用交叉熵损失函数，i、j均为正整数，通过指数变换计算预测为某类别缺陷的概率，如式(1)所示：
Figure FDA0004224976670000011
2.根据权利要求1所述的基于工业内窥镜的无损检测方法，其特征在于，还包括步骤四，当检测出缺陷时进行声光报警，同时自动保存该缺陷图像。
3.根据权利要求2所述的基于工业内窥镜的无损检测方法，其特征在于，所述图像分割算法包括图像阈值分割和图像颜色分割。
4.根据权利要求1所述的基于工业内窥镜的无损检测方法，其特征在于，所述缺陷类型包括腐蚀、焊穿、焊瘤、过烧、过热、异物、水渍、色斑、划痕、错边、麻点、黑皮、夹渣以及未知类型缺陷。
5.根据权利要求3所述的基于工业内窥镜的无损检测方法，其特征在于，图像阈值分割算法包括如下步骤：
1)、图像灰度化：缺陷区域表现为比正常区域颜色深的阴影，根据公式(2)将工业内窥镜采集的RGB彩色图像转换为灰度图像，依据缺陷与背景之间的灰度差异进行处理和识别；
f(x,y)＝0.299R(x,y)+0.587G(x,y)+0.114B(x,y) (2)
式中，f(x，y)为RGB图像中的某个像素灰度值，以f(x，y)的R、G、B分量亮度加权平均值表示为该像素点的灰度值；
2)、采用最大熵阈值法对灰度图像进行阈值分割，通过自动选取图像最佳阈值t，使分割后的图像目标缺陷和背景区域的总熵H(t)值达到最大，计算过程如下：
设定缺陷区域A的概率为PA，背景区域B的概率为PB，则
Figure FDA0004224976670000021
Pk＝mk/M (4)
Figure FDA0004224976670000022
Figure FDA0004224976670000023
其中，L表示将图像灰度范围划分为L个灰度级，k表示图像第k个灰度级，mk表示处于第k个灰度级范围的像素点数量，t表示阈值；
背景区域熵HB(t)和缺陷区域熵HA(t)分别为:
Figure FDA0004224976670000024
Figure FDA0004224976670000025
总熵H(t)为:
Figure FDA0004224976670000031
式中
Figure FDA0004224976670000032
6.根据权利要求1所述的基于工业内窥镜的无损检测方法，其特征在于，所述步骤3.2)中，采用Faster R-CCN深度神经网络算法对设备内部图像中是否存在缺陷进行定性检测，包括以下4个步骤：
(1)将训练集图像输入到深度神经网络算法模型进行训练，得到训练好的模型，然后将待检测图像输入到训练好的模型，进行VGG16卷积运算得到原始特征图；
(2)将原始特征图传入区域生成网络，提取包含目标概率更高的若干区域，实现裂纹缺陷有无的检测；特征图为卷积神经网络输出的最后一层，在此特征图的基础上再做一次卷积，生成256个特征图，然后分别做分类和回归，分类层输出预测属于缺陷或者背景的概率；回归层输出缺陷位置预测目标框的3个参数：目标框左上角位置、长度和高度；
(3)池化层将不同大小的输入特征转换为固定长度的输出特征，将最后一层卷积层得到的256个特征图下采样到大小为7×7的网络中，对每个网络进行最大池化处理，将不同大小的特征变成了统一大小的特征向量，确保每一个不同大小的窗口具有相同的维度，形成固定大小的特征图，方便进行全连接操作；
(4)利用池化层后的预测网络实现缺陷分类识别和精确定位，通过池化层后的最终分类网络实现缺陷类别的分类，分为14类，类别包括腐蚀、焊穿、焊瘤、过烧、过热、异物、水渍、色斑、划痕、错边、麻点、黑皮、夹渣以及未知类型缺陷，回归层输出确定候选区域在图像中的精确位置。
7.基于工业内窥镜的无损检测系统，其特征在于，包括电讯连接的计算机、工业用内窥镜和报警组件；内窥镜将采集的待检测设备的内部图像实时传递给计算机进行图像处理；
所述计算机包括存储模块、图像处理模块和终端显示模块；其中，所述存储模块存储内窥镜采集的待检测设备的内部图像，并将图像传递给图像处理模块；所述图像处理模块对检测图像进行图像数据处理，运行权利要求1-6中任一项所述的方法进行设备内部缺陷识别，并对缺陷进行标注，然后传递给终端显示模块显示，同时通过报警组件进行声光报警；
所述计算机还包括人机操作界面，人机操作界面中包括第一识别模块和第二识别模块；
检测人员判断待检测设备为使用不久的新设备，且设备内部形状、颜色和纹理单一，则在人机操作界面中选取3.1)对应的第一识别模块；当判断待检测设备为使用时间较长，且内部背景复杂的设备，则在人机操作界面中选取3.2)对应的第二识别模块。
CN202110888005.2A 2021-08-03 2021-08-03 基于工业内窥镜的无损检测方法及系统 Active CN113592828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110888005.2A CN113592828B (zh) 2021-08-03 2021-08-03 基于工业内窥镜的无损检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110888005.2A CN113592828B (zh) 2021-08-03 2021-08-03 基于工业内窥镜的无损检测方法及系统

Publications (2)

Publication Number Publication Date
CN113592828A CN113592828A (zh) 2021-11-02
CN113592828B true CN113592828B (zh) 2023-06-30

Family

ID=78254647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110888005.2A Active CN113592828B (zh) 2021-08-03 2021-08-03 基于工业内窥镜的无损检测方法及系统

Country Status (1)

Country Link
CN (1) CN113592828B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114713518B (zh) * 2022-03-15 2024-05-14 江苏纳唯信息技术有限公司 一种基于图像分析的工业管件内壁智能探伤方法
CN114820499A (zh) * 2022-04-20 2022-07-29 上海电气集团股份有限公司 管道焊缝检测方法
CN115880302B (zh) * 2023-03-08 2023-05-23 杭州智源电子有限公司 基于图像分析的仪表盘焊接质量检测方法
CN116256376B (zh) * 2023-05-12 2023-08-15 深圳杰泰科技有限公司 发动机的内部缺陷检测方法、装置、电子设备及存储介质
CN116754484B (zh) * 2023-06-19 2024-01-05 江苏省特种设备安全监督检验研究院 一种非金属内胆纤维缠绕容器的无损检测方法
CN116523907B (zh) * 2023-06-28 2023-10-31 浙江华诺康科技有限公司 内窥镜成像质量检测方法、装置、设备和存储介质
CN117314839A (zh) * 2023-09-08 2023-12-29 深圳市汇天益电子有限公司 基于工业内窥镜的无损检测方法及系统
CN118154598B (zh) * 2024-05-10 2024-08-16 同纳检测认证集团有限公司 基于内窥镜测量的全灌浆套筒缺陷深度检测方法及系统
CN118587218A (zh) * 2024-08-06 2024-09-03 江苏蔚蓝数智科技有限公司 一种基于工业应用场景的产品视觉检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127416A (zh) * 2019-12-19 2020-05-08 武汉珈鹰智能科技有限公司 基于计算机视觉的混凝土结构表面缺陷自动检测方法
CN112348770A (zh) * 2020-09-09 2021-02-09 陕西师范大学 一种基于多分辨率卷积网络的桥梁裂缝检测方法
CN112380952A (zh) * 2020-11-10 2021-02-19 广西大学 基于人工智能的电力设备红外图像实时检测及识别方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10395362B2 (en) * 2017-04-07 2019-08-27 Kla-Tencor Corp. Contour based defect detection
CN111434553B (zh) * 2019-01-15 2021-12-24 魔门塔(苏州)科技有限公司 制动系统、方法、装置、疲劳驾驶模型的训练方法和装置
CN111060601B (zh) * 2019-12-27 2023-04-07 武汉武船计量试验有限公司 基于深度学习的焊缝超声相控阵检测数据智能分析方法
CN111462120B (zh) * 2020-06-17 2020-09-29 熵智科技(深圳)有限公司 一种基于语义分割模型缺陷检测方法、装置、介质及设备
CN111768388B (zh) * 2020-07-01 2023-08-11 哈尔滨工业大学（深圳） 一种基于正样本参考的产品表面缺陷检测方法及系统
CN112102229A (zh) * 2020-07-23 2020-12-18 西安交通大学 一种基于深度学习的工业ct检测缺陷的智能识别方法
CN111951232A (zh) * 2020-07-24 2020-11-17 上海微亿智造科技有限公司 一种金属粉末注射成型外观缺陷检测方法及系统
CN112132784A (zh) * 2020-08-22 2020-12-25 安徽大学 一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127416A (zh) * 2019-12-19 2020-05-08 武汉珈鹰智能科技有限公司 基于计算机视觉的混凝土结构表面缺陷自动检测方法
CN112348770A (zh) * 2020-09-09 2021-02-09 陕西师范大学 一种基于多分辨率卷积网络的桥梁裂缝检测方法
CN112380952A (zh) * 2020-11-10 2021-02-19 广西大学 基于人工智能的电力设备红外图像实时检测及识别方法

Also Published As

Publication number Publication date
CN113592828A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN113592828B (zh) 基于工业内窥镜的无损检测方法及系统
CN113469177B (zh) 基于深度学习的排水管道缺陷检测方法及系统
CN110148130B (zh) 用于检测零件缺陷的方法和装置
CN111862064B (zh) 一种基于深度学习的银质丝材表面瑕疵识别方法
WO2021000524A1 (zh) 孔位保护门检测方法、装置、计算机设备和存储介质
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
CN111860106B (zh) 一种无监督的桥梁裂缝识别方法
CN112750113B (zh) 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置
CN116523922B (zh) 一种轴承表面缺陷识别方法
CN107610119A (zh) 基于直方图分解的带钢表面缺陷精准检测方法
CN115082444A (zh) 一种基于图像处理的铜管焊缝缺陷检测方法及系统
CN114299040A (zh) 瓷砖瑕疵检测方法、装置和电子设备
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN116110006B (zh) 一种用于智慧旅游系统的景区游客异常行为识别方法
CN114820597B (zh) 一种基于人工智能的冶炼品缺陷检测方法、装置及系统
CN115855961A (zh) 一种用于运行中的配电箱故障检测方法
CN115082650A (zh) 一种基于卷积神经网络的管道缺陷自动标注工具的实现方法
CN117392043A (zh) 一种基于深度学习的钢板表面缺陷视频检测方法及系统
CN114862755A (zh) 一种基于小样本学习的表面缺陷检测方法及系统
CN112927197A (zh) 一种空调外机支架锈蚀检测方法、装置、设备及存储介质
Shin et al. Visualization for explanation of deep learning-based defect detection model using class activation map
CN112767365A (zh) 一种探伤方法
CN117593300B (zh) 一种pe管材裂纹缺陷检测方法及系统
CN116523906B (zh) 一种玻璃基板光学性能检测方法和系统
CN117333491B (zh) 一种钢材表面缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant