CN112102229A - 一种基于深度学习的工业ct检测缺陷的智能识别方法 - Google Patents
一种基于深度学习的工业ct检测缺陷的智能识别方法 Download PDFInfo
- Publication number
- CN112102229A CN112102229A CN202010717952.0A CN202010717952A CN112102229A CN 112102229 A CN112102229 A CN 112102229A CN 202010717952 A CN202010717952 A CN 202010717952A CN 112102229 A CN112102229 A CN 112102229A
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- industrial
- net network
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 238000013135 deep learning Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000011176 pooling Methods 0.000 claims description 48
- 230000008569 process Effects 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 17
- 238000005520 cutting process Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 230000002950 deficient Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 12
- 238000004422 calculation algorithm Methods 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 abstract description 3
- 230000035945 sensitivity Effects 0.000 abstract description 3
- 230000006872 improvement Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 3
- 208000003464 asthenopia Diseases 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000002421 cell wall Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Image Analysis (AREA)
Abstract
一种基于深度学习的工业CT检测缺陷的智能识别方法,采集工业CT检测图像;对工业CT检测图像进行处理,得到深度学习数据集;搭建U‑net网络;U‑net网络训练;利用训练好的U‑net网络对新的工业CT检测图像的缺陷进行自动识别。本发明无需复杂的特征提取过程,可以将工业CT检测图像直接输入到U‑net网络中,大大减少了预处理的难度;由于通过卷积操作采用局部感受野和权值共享技术减少了参数空间,大幅度降低了算法的复杂度;本发明采用U‑net网络进行工业CT检测缺陷识别,具有高准确率、低危害性缺陷漏检率和高灵敏度的特点。
Description
技术领域
本发明涉及缺陷的智能识别方法,具体涉及一种基于深度学习的工业CT检测缺陷的智能识别方法。
背景技术
工业计算机断层扫描成像技术(Industrial Computed Tomography),简称为工业CT技术,CT重建基本理论被提出后,随着科学技术的发展和进步,工业CT设备的性能逐年提高,成本逐渐下降,工业CT技术得到了迅猛发展,被认为是目前最佳的无损检测手段。工业CT技术结合了计算机、自动控制、机械、光学物理等多项技术,它可以保证被检测物体在不被物理破坏的情况下获得物体的断层图像,是目前发展国防科技、航空航天技术及大型项目必不可少的技术,已广泛应用于航天、航空、军事、核能、石油、电子、机械、新材料研究、海关及考古等多种领域。
工业CT切片图像在成像过程中易受噪声、伪影等因素影响,导致缺陷图像部分区域对比度很低、灰度范围狭窄、灰度变化不明显以及缺陷边缘往往较为模糊等特点,这些特点直接影响缺陷分割与识别的可靠性,导致缺陷的识别精度以及缺陷的识别率低。目前,仍采用人工的方式对工业CT检测图片中的缺陷进行判定,这种方法虽然简单易行,但是其评定完全依赖于检测人员的经验,个体差异大,人工评估眼睛疲劳、标准理解等人为因素影响,使得漏检或者误检概率极大。
发明内容
本发明的目的在于提供一种基于深度学习的工业CT检测缺陷的智能识别方法,以解决工业CT缺陷检测人工评定时完全依赖于检测人员的经验,个体差异大,人工评估眼睛疲劳、标准理解等人为因素影响,使得漏检或者误检概率极大的问题,通过建立工业CT缺陷自动识别模型U-Net网络,以卷积和池化运算提取缺陷特征,融合缺陷的深层特征和浅层特征,经多次反卷积操作实现融合特征的精准定位,得到缺陷区域的二值图像,从而实现端到端的图像语义分割,最终实现工业CT检测缺陷的高准确率、低危害性缺陷漏检率和高灵敏度射线检测。
为实现上述目的,本发明采用如下技术方案予以实现:
一种基于深度学习的工业CT检测缺陷的智能识别方法,包括以下步骤:
步骤1:采集工业CT检测图像;
步骤2:对工业CT检测图像进行处理,得到深度学习数据集;
步骤3:搭建U-net网络;
步骤4;利用深度学习数据集对U-net网络进行训练;
步骤5:利用训练好的U-net网络对新的工业CT检测图像的缺陷进行自动识别。
本发明进一步的改进在于,步骤2)的具体过程为:在工业CT检测图像中选取数量相同的正常图像、具有裂纹的图像、具有气孔的图像以及具有夹杂的图像作为图像集,然后将图像集分为测试集和训练集,测试集和训练集中均包括数量相同的正常图像、具有裂纹的图像、具有气孔的图像以及具有夹杂的图像,测试集和训练集组成深度学习数据集。
本发明进一步的改进在于,步骤3)的具体过程如下:
一、下采样过程:
1)将CT断层图像进行2次卷积操作,得到第一卷积图像,然后将第一卷积图像进行最大池化操作,得到第一最大池化层;
2)对第一最大池化层进行2次卷积操作,得到第二卷积图像,然后将第二卷积图像进行最大池化操作,得到第二最大池化层;
3)对第二最大池化层进行2次卷积操作,得到第三卷积图像,然后将第三卷积图像进行最大池化操作,得到第三最大池化层;
4)对第三最大池化层进行2次卷积操作,得到第四卷积图像,然后将第四卷积图像进行最大池化操作,得到第四最大池化层;
5)对第四最大池化层进行2次卷积操作,得到缺陷的环境信息图像;
二、上采样过程:
a)对缺陷的环境信息图像进行反卷积操作,得到第一反卷积图像,然后将第四卷积图像进行复制和剪裁后与第一反卷积图像进行拼接,进行卷积操作;
b)将步骤a)进行卷积操作后的图像进行反卷积操作,得到第二反卷积图像,然后将第三卷积图像进行复制和剪裁后与第二反卷积图像进行拼接,进行卷积操作;
c)将步骤b)进行卷积操作后的图像进行反卷积操作,得到第三反卷积图像,然后将第二卷积图像进行复制和剪裁后与第三反卷积图像进行拼接,进行卷积操作;
d)将步骤c)进行卷积操作后的图像进行反卷积操作,得到第四反卷积图像,然后将第一卷积图像进行复制和剪裁后与第四反卷积图像进行拼接,进行卷积操作;
e)将CT断层图像进行复制和剪裁,然后与步骤d)进行卷积操作后的图像拼接,再进行三次卷积操作,得到特征图;
f)最后在特征图上增加Softmax层。
本发明进一步的改进在于,上采样和下采样中的每次卷积操作采用下式进行:
fm,n为尺寸为H×W的卷积核;H为高度,W为宽度;
i为张量的横坐标,j为张量的纵坐标;
m为卷积核的横坐标,n为卷积核的纵坐标。
本发明进一步的改进在于,上采样和下采样中的每次最大池化操作采用下式进行:
xi,j=Max{xi×s+k,j×s+k},k=0,1,…,K
式中:xi,j为图像坐标(i,j)最大池化后的结果;s为滑动步长,K为局部区域边长。
本发明进一步的改进在于,Softmax层的表达式为:
式中:pk(x)是第k类的对像素点x的分类结果,αk(x)代表像素x在特征图中的第k层激活值;K是像素点的类别总数。
本发明进一步的改进在于,步骤4)的具体过程为:首先初始化U-net网络的所有参数,并向U-net网络中输入训练集和测试集,然后进行前向传播训练,根据训练结果计算U-net网络在测试集上的准确率,并判断准确率是否达到预定值或是否达到预定的训练次数,若达到预定值或达到预定的训练次数,则结束训练,反之进行反向传播训练,计算权重和偏置值,根据计算的权重和偏置值更新权重和偏置值,将更新后的权重和偏置值代入U-net网络再进行前向传播训练,直至误差最小。
本发明进一步的改进在于,误差采用损失函数进行计算。
本发明进一步的改进在于,损失函数为交叉熵损失函数Loss,具体如下:
本发明进一步的改进在于,采用下式更新权重和偏置值:
式中:Wt为当前U-net网络的权重,bt为当前U-net网络的偏置值;
Wt+1为更新后的U-net网络的权重,bt+1为更新后的U-net网络的偏置值;
η为学习率;
t为迭代次数。
与现有技术相比,本发明具有的有益效果:
第一:本发明无需复杂的特征提取过程,可以将工业CT检测图像直接输入到U-net网络中,大大减少了预处理的难度;
第二:由于通过卷积操作采用局部感受野和权值共享技术减少了参数空间,大幅度降低了算法的复杂度;
第三:本发明采用U-net网络进行工业CT检测缺陷识别,具有高准确率、低危害性缺陷漏检率和高灵敏度的特点;
第四:相对于传统的缺陷识别模型,U-net网络具有更强大的特征表达能力,泛化能力强、鲁棒性较好。本发明提出利用U-net网络学习输入工业CT检测图像中的特征信息,进行检测缺陷的分类识别。
进一步的,构建U-net网络时,下采样和上采样过程中采用次抽样技术增强了网络鲁棒性,能容忍图像一定程度的畸变。
进一步的,本发明通过建立工业CT缺陷自动识别模型即U-net网络,以卷积和池化运算提取缺陷特征,融合缺陷的深层特征和浅层特征,经多次反卷积操作实现融合特征的精准定位,得到缺陷已分类好的图片,从而实现端到端的图像语义分割,最终实现工业CT检测缺陷的高准确率、低危害性缺陷漏检率和高灵敏度射线检测。
附图说明
图1是工业CT检测图像;
图2是本发明基于深度学习的工业CT检测缺陷的智能识别流程图;
图3是U-net网络结构;
图4是U-net训练流程;
为了更清楚的说明本发明实施案例或现有技术中的技术方案,下面将对实施例中所需使用的附图作简单介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施案例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
具体实施方式
下面结合具体的事例对本发明做进一步的详细说明,所述是对本发明的解释而不是限定。
如图2所示,本发明提供的基于深度学习的工业CT检测缺陷的智能识别方法,该方法包含工业CT检测缺陷图像的处理和基于深度学习网络模型进行缺陷识别两部分,具体包括如下步骤:
第一部分:工业CT检测缺陷图像的获取及处理
步骤1:工业CT检测图像的采集。采用的GE公司的微纳米焦点CT采集CT断层图像,CT断层图像如图1所示。
步骤2:深度学习数据集准备。在工业CT检测图像中选取数量相同的正常图像、具有裂纹的图像、具有气孔的图像以及具有夹杂的图像作为图像集,然后将图像集分为测试集和训练集,测试集和训练集中均包括数量相同的正常图像、具有裂纹的图像、具有气孔的图像以及具有夹杂的图像。
具体的,所采集的工业CT检测图像尺寸较大,且同一幅图像中包含多种缺陷。本发明从采集的800幅CT断层图像中随机选取700幅,截取具有裂纹、气孔、夹杂存在的目标区域和正常增材制件断层区域的20000幅图像。采用双线性插值法将截取的图像尺寸缩小并标准化,使所截取的图像大小为28×28像素,通过图像增强算法(包括亮度变换、水平翻转等)扩充到70000幅图像,一定程度上提升了数据集的多样性。然后对70000幅图像进行人工分类筛选,以避免数据样本选取的单一性和误选性,从而得到深度学习数据集。整个数据集全部用于U-net网络的模型训练、参数优化和结果测试,分别从正常、裂纹、气孔和夹杂4类图像中各随机选择15000幅,组成60000幅样本图像的训练集,剩余10000幅样本图像作为测试集。
第二部分:基于深度学习网络模型进行缺陷识别
步骤3:U-net网络搭建。
U-net网络是一个基于CNN的图像分割网络,主要用于医学图像分割上,网络最初提出时是用于细胞壁的分割,之后在肺结节检测以及眼底视网膜上的血管提取等方面都有着出色的表现。所搭建的U-net网络结构如图3所示,U-net网络结构是对称的,形似英文字母U所以被称为U-net。从整体来看,U-net网络采用的是一个包含下采样和上采样的网络结构。下采样用来逐渐展现环境信息,而上采样的过程是结合下采样各层信息和上采样的输入信息来还原细节信息,并且逐步还原图像精度。
整个U-net网络的构建过程具体如下:
下采样过程,包括以下步骤:
1)将CT断层图像进行2次卷积操作,得到第一卷积图像,然后将第一卷积图像进行最大池化操作,得到第一最大池化层;
2)对第一最大池化层进行2次卷积操作,得到第二卷积图像,然后将第二卷积图像进行最大池化操作,得到第二最大池化层;
3)对第二最大池化层进行2次卷积操作,得到第三卷积图像,然后将第三卷积图像进行最大池化操作,得到第三最大池化层;
4)对第三最大池化层进行2次卷积操作,得到第四卷积图像,然后将第四卷积图像进行最大池化操作,得到第四最大池化层;
5)对第四最大池化层进行2次卷积操作,得到缺陷的环境信息图像;
具体的,假设最初输入的图像大小为:572×572的灰度图(即CT断层图像),经过2次3×3×64(64个卷积核,得到64个特征图)的卷积核进行卷积操作变为568×568×64大小,然后进行2×2的最大池化操作变为248×248×64。按照上述过程重复进行4次(一次包括2次卷积操作与1次最大池化操作),即进行(3×3卷积+2×2池化)×4次,在每进行一次池化之后的第一个3×3卷积操作,3×3卷积核数量成倍增加。达到最底层时即第4次最大池化之后,图像变为32×32×512大小,然后再进行2次的3×3×1024的卷积操作,最后变化为28×28×1024的大小的图像。
上采样过程,包括以下步骤:
1)对缺陷的环境信息图像进行反卷积操作,得到第一反卷积图像,然后将第四卷积图像进行复制和剪裁后与第一反卷积图像进行拼接,进行卷积操作;
2)将步骤1)进行卷积操作后的图像进行反卷积操作,得到第二反卷积图像,然后将第三卷积图像进行复制和剪裁后与第二反卷积图像进行拼接,进行卷积操作;
3)将步骤2)进行卷积操作后的图像进行反卷积操作,得到第三反卷积图像,然后将第二卷积图像进行复制和剪裁后与第三反卷积图像进行拼接,进行卷积操作;
4)将步骤3)进行卷积操作后的图像进行反卷积操作,得到第四反卷积图像,然后将第一卷积图像进行复制和剪裁后与第四反卷积图像进行拼接,进行卷积操作;
5)将步骤4)进行卷积操作后的图像进行复制和剪裁,然后与CT断层图像拼接,再进行三次卷积操作,得到特征图;
6)最后在特征图上增加一层Softmax层。
具体过程为:此时图像的大小为28×28×1024,首先进行2×2的反卷积操作,得到大小为56×56×512反卷积图像,然后对第四卷积图像进行复制和剪裁(copy and crop),然后与反卷积图像拼接起来得到56×56×1024大小的图像,然后再进行3×3×512的卷积操作。按照上述过程重复进行4次,即进行(2×2反卷积+3×3卷积)×4次,在每进行一次拼接之后的第一个3×3卷积操作,3×3卷积核数量成倍减少。达到最上层时即第4次反卷积之后,图像变为392×392×64的大小,对CT断层图像进行复制和剪裁然后与392×392×64大小的图像拼接得到392×392×128的大小,然后再进行两次3×3×64的卷积操作,得到388×388×64大小的图像,最后再进行一次1×1×2的卷积操作,得到两张特征图。
得到的特征图中会有每个像素所属类别的概率,通过Softmax函数结合所有特征图求出该像素所属类别的最大概率即像素所属类别,从而产生了一张已经分类的图片。
上采样和下采样中的每次卷积操作采用下式进行:
fm,n为尺寸为H×W的卷积核;H为高度,W为宽度;
i为张量的横坐标,j为张量的纵坐标;
m为卷积核的横坐标,n为卷积核的纵坐标。
上采样和下采样中的每次最大池化操作采用下式进行:
xi,j=Max{xi×s+k,j×s+k},k=0,1,…,K
式中:xi,j为图像坐标(i,j)最大池化后的结果;s为滑动步长,K为局部区域边长。
Softmax层的表达式为:
式中:pk(x)是第k类的对像素点x的分类结果,就是概率;αk(x)代表代表像素x在特征图中的第k层激活值,也就是表示每一像素点x对应特征通道(k)的得分;K是像素点的类别总数。
步骤4;U-net网络训练和参数优化。将工业CT检测缺陷图片输入搭建好的U-net网络进行训练,优化深度学习网络的参数使识别效果达到最优。
如图4所示,训练具体过程为:首先初始化U-net网络各项参数,并向U-net网络中输入训练集、测试集(包含工业CT检测图片和相应的缺陷类别标签),然后进行前向传播训练,计算各层误差,训练的目标是使误差降到最小。通过损失函数度量误差的大小,所采用的损失函数为交叉熵损失函数Loss,具体如下:
按照下式更新参数:
式中:
Wt为当前U-net网络的权重,bt为当前U-net网络的偏置值;
Wt+1为更新后的U-net网络的权重,bt+1为更新后的U-net网络的偏置值;
η为学习率,设置为0.01;
t为迭代次数。
参数更新一次迭代次数加1,迭代学习1000轮,每隔100轮打印验证集的准确率并保存U-net网络参数,最终获得训练好的U-net网络。
每次训练时,根据训练结果计算U-net网络在测试集上的准确率,并判断准确率是否达到预定值或是否达到预定的训练次数,若达到预定值或达到预定的训练次数,则结束训练,反之进行反向传播训练,计算相应权重和偏置值,根据计算的权重和偏置值调整各层的权重和偏置值,将调整后的权重和偏置值代入U-net网络再进行前向传播训练使误差降到最小。
如此往复训练直到达到终止条件(准确率达到预定值或达到预定的训练次数,准确率的预定值基于网络性能和工程实际来综合选取)。
步骤5:对工业CT检测图像进行自动识别。U-net网络训练好之后就可以将新的工业CT检测图像输入U-net网络,网络通过学习到的缺陷特征对新的工业CT检测图像的缺陷进行自动识别和分类。
经典缺陷识别主要流程是先对输入图像进行预处理即去噪、增强以及剪裁伸缩等,然后利用滑动窗口方法对图像进行候选区域筛选,接着对候选区域进行特征提取,最后利用分类算法对提取的特征进行分类,分类方法包括AdaBoost,SVM等,分类结果用来判断候选区域中的目标所属类别,通过目标类别再对目标进行边框回归。典型的缺陷识别模型有很多不足,例如不同特征需要选择不同的分类器,因此鲁棒性不是太强。相对于传统的缺陷识别模型,基于深度学习的缺陷识别模型具有更强大的特征表达能力,泛化能力强、鲁棒性较好。深度学习的性能很大程度上取决于网络的结构,对于不同类型的数据和问题,目前已发展了多种不同的网络结构模型。本发明提出利用U-net网络学习输入数据中的特征信息,进行检测缺陷的分类识别。
本发明采用缺陷自动识别可以实现缺陷的快速识别与分类,减少人员工作时间,避免人为因素对缺陷评定的失误,对于提高工业CT检测的质量及效率具有重要意义。
本发明通过基于U-net网络对已标注好的图片进行学习,不断调整网络参数,使得网络能对未知类别的缺陷进行识别,从而实现对工业CT检测图片进行智能化的分析和判别。利用上述方法,结合网络数据库端应用,为检测人员提供在线或离线工件缺陷识别系统。二者结合能够减轻检测人员的工作负担,提供高效准确的工业辅助诊断,从而提高工业CT检测的精确性和效率,降低缺陷漏检率。
Claims (10)
1.一种基于深度学习的工业CT检测缺陷的智能识别方法,其特征在于,包括以下步骤:
步骤1:采集工业CT检测图像;
步骤2:对工业CT检测图像进行处理,得到深度学习数据集;
步骤3:搭建U-net网络;
步骤4;利用深度学习数据集对U-net网络进行训练;
步骤5:利用训练好的U-net网络对新的工业CT检测图像的缺陷进行自动识别。
2.根据权利要求1所述的一种基于深度学习的工业CT检测缺陷的智能识别方法,其特征在于,步骤2)的具体过程为:在工业CT检测图像中选取数量相同的正常图像、具有裂纹的图像、具有气孔的图像以及具有夹杂的图像作为图像集,然后将图像集分为测试集和训练集,测试集和训练集中均包括数量相同的正常图像、具有裂纹的图像、具有气孔的图像以及具有夹杂的图像,测试集和训练集组成深度学习数据集。
3.根据权利要求1所述的一种基于深度学习的工业CT检测缺陷的智能识别方法,其特征在于,步骤3)的具体过程如下:
一、下采样过程:
1)将CT断层图像进行2次卷积操作,得到第一卷积图像,然后将第一卷积图像进行最大池化操作,得到第一最大池化层;
2)对第一最大池化层进行2次卷积操作,得到第二卷积图像,然后将第二卷积图像进行最大池化操作,得到第二最大池化层;
3)对第二最大池化层进行2次卷积操作,得到第三卷积图像,然后将第三卷积图像进行最大池化操作,得到第三最大池化层;
4)对第三最大池化层进行2次卷积操作,得到第四卷积图像,然后将第四卷积图像进行最大池化操作,得到第四最大池化层;
5)对第四最大池化层进行2次卷积操作,得到缺陷的环境信息图像;
二、上采样过程:
a)对缺陷的环境信息图像进行反卷积操作,得到第一反卷积图像,然后将第四卷积图像进行复制和剪裁后与第一反卷积图像进行拼接,进行卷积操作;
b)将步骤a)进行卷积操作后的图像进行反卷积操作,得到第二反卷积图像,然后将第三卷积图像进行复制和剪裁后与第二反卷积图像进行拼接,进行卷积操作;
c)将步骤b)进行卷积操作后的图像进行反卷积操作,得到第三反卷积图像,然后将第二卷积图像进行复制和剪裁后与第三反卷积图像进行拼接,进行卷积操作;
d)将步骤c)进行卷积操作后的图像进行反卷积操作,得到第四反卷积图像,然后将第一卷积图像进行复制和剪裁后与第四反卷积图像进行拼接,进行卷积操作;
e)将CT断层图像进行复制和剪裁,然后与步骤d)进行卷积操作后的图像拼接,再进行三次卷积操作,得到特征图;
f)最后在特征图上增加Softmax层。
5.根据权利要求3所述的一种基于深度学习的工业CT检测缺陷的智能识别方法,其特征在于,上采样和下采样中的每次最大池化操作采用下式进行:
xi,j=Max{xi×s+k,j×s+k},k=0,1,...,K
式中:xi,j为图像坐标(i,j)最大池化后的结果;s为滑动步长,K为局部区域边长。
7.根据权利要求1所述的一种基于深度学习的工业CT检测缺陷的智能识别方法,其特征在于,步骤4)的具体过程为:首先初始化U-net网络的所有参数,并向U-net网络中输入训练集和测试集,然后进行前向传播训练,根据训练结果计算U-net网络在测试集上的准确率,并判断准确率是否达到预定值或是否达到预定的训练次数,若达到预定值或达到预定的训练次数,则结束训练,反之进行反向传播训练,计算权重和偏置值,根据计算的权重和偏置值更新权重和偏置值,将更新后的权重和偏置值代入U-net网络再进行前向传播训练,直至误差最小。
8.根据权利要求7所述的一种基于深度学习的工业CT检测缺陷的智能识别方法,其特征在于,误差采用损失函数进行计算。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010717952.0A CN112102229A (zh) | 2020-07-23 | 2020-07-23 | 一种基于深度学习的工业ct检测缺陷的智能识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010717952.0A CN112102229A (zh) | 2020-07-23 | 2020-07-23 | 一种基于深度学习的工业ct检测缺陷的智能识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112102229A true CN112102229A (zh) | 2020-12-18 |
Family
ID=73749887
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010717952.0A Pending CN112102229A (zh) | 2020-07-23 | 2020-07-23 | 一种基于深度学习的工业ct检测缺陷的智能识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112102229A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111754497A (zh) * | 2020-06-28 | 2020-10-09 | 深圳大学 | 一种基于几何代数的工业缺陷检测方法和系统 |
CN112991370A (zh) * | 2021-04-08 | 2021-06-18 | 重庆大学 | 一种岩心ct裂纹识别与分割方法 |
CN113313695A (zh) * | 2021-06-05 | 2021-08-27 | 西北工业大学 | 一种基于小样本航空发动机叶片ct图像的深度学习缺陷自动检测识别方法 |
CN113392915A (zh) * | 2021-06-23 | 2021-09-14 | 宁波聚华光学科技有限公司 | 一种基于深度学习的工业零件缺陷检测方法 |
CN113592828A (zh) * | 2021-08-03 | 2021-11-02 | 南京市特种设备安全监督检验研究院 | 基于工业内窥镜的无损检测方法及系统 |
CN113609887A (zh) * | 2021-04-26 | 2021-11-05 | 中国石油大学(华东) | 深度学习与浅层学习决策融合的海面溢油检测方法 |
CN113657383A (zh) * | 2021-08-24 | 2021-11-16 | 凌云光技术股份有限公司 | 一种基于轻量化分割模型的缺陷区域检测方法及装置 |
CN113781412A (zh) * | 2021-08-25 | 2021-12-10 | 南京航空航天大学 | 一种基于深度学习的x光高分辨率扫描图像下芯片多余物检测系统及方法 |
CN113870236A (zh) * | 2021-10-09 | 2021-12-31 | 西北工业大学 | 一种基于深度学习算法的复合材料缺陷无损探伤方法 |
CN114757916A (zh) * | 2022-04-15 | 2022-07-15 | 西安交通大学 | 基于特征提取和bp网络的工业ct图像缺陷分类方法 |
CN116823977A (zh) * | 2023-03-16 | 2023-09-29 | 闽都创新实验室 | 一种微纳结构透射电子断层图像重构的深度学习方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109191476A (zh) * | 2018-09-10 | 2019-01-11 | 重庆邮电大学 | 基于U-net网络结构的生物医学图像自动分割新方法 |
CN109886971A (zh) * | 2019-01-24 | 2019-06-14 | 西安交通大学 | 一种基于卷积神经网络的图像分割方法及系统 |
CN110060251A (zh) * | 2019-04-26 | 2019-07-26 | 福州大学 | 一种基于U-Net的建筑物表面裂纹检测方法 |
CN110570396A (zh) * | 2019-08-07 | 2019-12-13 | 华中科技大学 | 一种基于深度学习的工业产品缺陷检测方法 |
CN111179229A (zh) * | 2019-12-17 | 2020-05-19 | 中信重工机械股份有限公司 | 一种基于深度学习的工业ct缺陷检测方法 |
-
2020
- 2020-07-23 CN CN202010717952.0A patent/CN112102229A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109191476A (zh) * | 2018-09-10 | 2019-01-11 | 重庆邮电大学 | 基于U-net网络结构的生物医学图像自动分割新方法 |
CN109886971A (zh) * | 2019-01-24 | 2019-06-14 | 西安交通大学 | 一种基于卷积神经网络的图像分割方法及系统 |
CN110060251A (zh) * | 2019-04-26 | 2019-07-26 | 福州大学 | 一种基于U-Net的建筑物表面裂纹检测方法 |
CN110570396A (zh) * | 2019-08-07 | 2019-12-13 | 华中科技大学 | 一种基于深度学习的工业产品缺陷检测方法 |
CN111179229A (zh) * | 2019-12-17 | 2020-05-19 | 中信重工机械股份有限公司 | 一种基于深度学习的工业ct缺陷检测方法 |
Non-Patent Citations (5)
Title |
---|
OLAF RONNEBERGER等: ""U-Net: Convolutional Networks for Biomedical Image Segmentation"", 《HTTPS://ARXIV.ORG/ABS/1505.04597》 * |
杨帆等: ""基于深度学习的视网膜病变眼底图视盘自动定位与分割研究"", 《贵州医科大学学报》 * |
肖亮等: ""用于SAR估计的基于U-net网络的快速膝关节模型重建"", 《波谱学杂志》 * |
赵世达等: ""基于U型卷积神经网络的羊肋排图像分割"", 《食品与机械》 * |
陈景文等: ""基于U-net网络的航拍绝缘子检测"", 《陕西科技大学学报》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111754497A (zh) * | 2020-06-28 | 2020-10-09 | 深圳大学 | 一种基于几何代数的工业缺陷检测方法和系统 |
CN112991370B (zh) * | 2021-04-08 | 2022-11-25 | 重庆大学 | 一种岩心ct裂纹识别与分割方法 |
CN112991370A (zh) * | 2021-04-08 | 2021-06-18 | 重庆大学 | 一种岩心ct裂纹识别与分割方法 |
CN113609887A (zh) * | 2021-04-26 | 2021-11-05 | 中国石油大学(华东) | 深度学习与浅层学习决策融合的海面溢油检测方法 |
CN113313695A (zh) * | 2021-06-05 | 2021-08-27 | 西北工业大学 | 一种基于小样本航空发动机叶片ct图像的深度学习缺陷自动检测识别方法 |
CN113392915A (zh) * | 2021-06-23 | 2021-09-14 | 宁波聚华光学科技有限公司 | 一种基于深度学习的工业零件缺陷检测方法 |
CN113592828A (zh) * | 2021-08-03 | 2021-11-02 | 南京市特种设备安全监督检验研究院 | 基于工业内窥镜的无损检测方法及系统 |
CN113657383A (zh) * | 2021-08-24 | 2021-11-16 | 凌云光技术股份有限公司 | 一种基于轻量化分割模型的缺陷区域检测方法及装置 |
CN113657383B (zh) * | 2021-08-24 | 2024-05-24 | 凌云光技术股份有限公司 | 一种基于轻量化分割模型的缺陷区域检测方法及装置 |
CN113781412A (zh) * | 2021-08-25 | 2021-12-10 | 南京航空航天大学 | 一种基于深度学习的x光高分辨率扫描图像下芯片多余物检测系统及方法 |
CN113870236A (zh) * | 2021-10-09 | 2021-12-31 | 西北工业大学 | 一种基于深度学习算法的复合材料缺陷无损探伤方法 |
CN113870236B (zh) * | 2021-10-09 | 2024-04-05 | 西北工业大学 | 一种基于深度学习算法的复合材料缺陷无损探伤方法 |
CN114757916A (zh) * | 2022-04-15 | 2022-07-15 | 西安交通大学 | 基于特征提取和bp网络的工业ct图像缺陷分类方法 |
CN116823977A (zh) * | 2023-03-16 | 2023-09-29 | 闽都创新实验室 | 一种微纳结构透射电子断层图像重构的深度学习方法 |
CN116823977B (zh) * | 2023-03-16 | 2024-04-30 | 闽都创新实验室 | 一种微纳结构透射电子断层图像重构的深度学习方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112102229A (zh) | 一种基于深度学习的工业ct检测缺陷的智能识别方法 | |
CN111598881B (zh) | 基于变分自编码器的图像异常检测方法 | |
CN111462076B (zh) | 一种全切片数字病理图像模糊区域检测方法及系统 | |
CN109285139A (zh) | 一种基于深度学习的x射线成像焊缝检测方法 | |
US8600143B1 (en) | Method and system for hierarchical tissue analysis and classification | |
CN106056595A (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的方法 | |
CN113505865B (zh) | 一种基于卷积神经网络的片材表面缺陷图像识别处理方法 | |
CN114663346A (zh) | 一种基于改进YOLOv5网络的带钢表面缺陷检测方法 | |
CN111222519B (zh) | 一种层次化彩绘文物线稿提取模型构建、方法及装置 | |
CN111368690A (zh) | 基于深度学习的海浪影响下视频图像船只检测方法及系统 | |
CN111382785A (zh) | 一种gan网络模型及实现样本自动清洗、辅助标记的方法 | |
CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
CN112365497A (zh) | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统 | |
CN109584206B (zh) | 零件表面瑕疵检测中神经网络的训练样本的合成方法 | |
CN112348059A (zh) | 基于深度学习的多种染色病理图像分类方法及系统 | |
CN112926652A (zh) | 一种基于深度学习的鱼类细粒度图像识别方法 | |
CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
CN115909006A (zh) | 基于卷积Transformer的乳腺组织图像分类方法及系统 | |
CN116468690B (zh) | 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统 | |
CN113313678A (zh) | 一种基于多尺度特征融合的精子形态学自动分析方法 | |
CN111882521A (zh) | 一种细胞涂片的图像处理方法 | |
CN114861771A (zh) | 基于特征提取和深度学习的工业ct图像缺陷分类方法 | |
CN113076909B (zh) | 一种细胞自动检测方法 | |
CN117274788B (zh) | 一种声呐图像目标定位方法、系统、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201218 |
|
RJ01 | Rejection of invention patent application after publication |