CN112634219B - 一种金属表面缺陷检测方法、系统、装置和存储介质 - Google Patents
一种金属表面缺陷检测方法、系统、装置和存储介质 Download PDFInfo
- Publication number
- CN112634219B CN112634219B CN202011496247.9A CN202011496247A CN112634219B CN 112634219 B CN112634219 B CN 112634219B CN 202011496247 A CN202011496247 A CN 202011496247A CN 112634219 B CN112634219 B CN 112634219B
- Authority
- CN
- China
- Prior art keywords
- convolution
- row
- image
- layers
- step length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 76
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 239000002184 metal Substances 0.000 title claims abstract description 41
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000012805 post-processing Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 43
- 230000004913 activation Effects 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000010587 phase diagram Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 5
- 230000002159 abnormal effect Effects 0.000 abstract description 4
- 230000002950 deficient Effects 0.000 description 22
- 230000008569 process Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 6
- 230000008485 antagonism Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种金属表面缺陷检测方法、系统、装置及其存储介质，其特征在于，包括：采集第一图像；预处理所述第一图像，得到第二图像；把第二图像输入到经过对抗式网络训练后的生成式网络，得到无缺陷的第三图像，对抗式网络用于训练生成式网络；图像后处理，把第二图像和第三图像比较得到缺陷区域。采用深度学习中无监督学习的方法，大大减少对数据的依赖，提高检测的准确率，无需提前知道缺陷的类型，可应用到异常缺陷检测中。
Description
技术领域
本发明涉及人工智能领域，特别涉及一种金属表面缺陷检测方法、系统、装置和存储介质。
背景技术
常见的金属表面缺陷有擦伤，划痕，砂眼，疵点等，因此产线上须有质量检测流程。然而人工检测正确率和效率低下。利用机器检测存在着与其他工业产品一样的小样本和正负样本不平衡问题，监督学习的相关深度学习网络又都比较依赖数据，数据越多，分布就越有规律，网络就会学习得越好，对于缺陷的检测就越有利，而工业产品往往存在样本少，正负样本不平衡的问题，现有的技术就难以解决或者难以达到一个行业高水平的结果。传统算法的局限性较大，很多依靠技术人员的主观性，使用不同的算法做结合。针对不同对象还需要不同的算法解决，通用性不高。遇到复杂的场景时，传统算法还会出现瓶颈，无法达到较好的结果。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种一种金属表面缺陷检测方法、系统、装置和存储介质，所述一种金属表面缺陷检测方法、系统、装置和存储介质采用深度学习中无监督学习的方法，大大减少对数据的依赖，提高检测的准确率，无需提前知道缺陷的类型，可应用到异常缺陷检测中。
第一方面，本发明实施例提出一种具有上述功能的金属表面缺陷检测方法。包括：
采集第一图像，所述第一图像为金属表面拍摄图；
预处理所述第一图像，得到经过预处理金属表面拍摄图的第二图像；
把所述第二图像输入到经过对抗式网络训练后的生成式网络，得到无缺陷的第三图像，所述对抗式网络用于训练所述生成式网络；
图像后处理，根据所述第二图像和所述第三图像得到缺陷区域。
根据本发明实施例的金属表面缺陷检测方法，至少具有如下技术效果:采用深度学习中无监督学习的方法，大大减少对数据的依赖，提高检测的准确率，无需提前知道缺陷的类型，可应用到异常缺陷检测中。
根据本发明实施例的金属表面缺陷检测方法，所述预处理所述第一图像包括对所述第一图像进行亮度调整、灰度调整和图像裁剪。
根据本发明实施例的金属表面缺陷检测方法，所述生成式网络包括：卷积层一，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；卷积层二，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；卷积层三，卷积核的大小设置为4*4，步长为2，卷积核的个数为128，边缘填充一行一列；卷积层四，卷积核的大小设置为4*4，步长为2，卷积核的个数为256，边缘填充一行一列；卷积层五，卷积核的大小设置为4*4，步长为2，卷积核的个数为512，边缘填充一行一列；卷积层六，卷积核的大小设置为4*4，步长为2，卷积核的个数为1024，边缘填充一行一列；卷积层七，卷积核的大小设置为4*4，步长为1，卷积核的个数为4000，边缘无填充；所述卷积层一、所述卷积层二、所述卷积层三、所述卷积层四、所述卷积层五、所述卷积层六和所述卷积层七依次连接。所述生成式网络前面7层对图像卷积进行编码，后面7层对图像逆卷积进行解码。
根据本发明实施例的金属表面缺陷检测方法，所述生成式网络还包括：逆卷积层八，卷积核的大小设置为4*4，步长为1，卷积核的个数为1024，边缘无填充；逆卷积层九，卷积核的大小设置为4*4，步长为2，卷积核的个数为512，边缘填充一行一列；逆卷积层十，卷积核的大小设置为4*4，步长为2，卷积核的个数为256，边缘填充一行一列；逆卷积层十一，卷积核的大小设置为4*4，步长为2，卷积核的个数为128，边缘填充一行一列；逆卷积层十二，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；逆卷积层十三，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；逆卷积层十四，卷积核的大小设置为4*4，步长为2，卷积核的个数为1，边缘填充一行一列，所述逆卷积层十四的激活函数是Tanh函数；所述卷积层七和所述逆卷积层八连接，所述逆卷积层八、所述逆卷积层九、所述逆卷积层十、所述逆卷积层十一、所述逆卷积层十二、所述逆卷积层十三和所述逆卷积层十四依次连接。所述生成式网络前面7层对图像卷积进行编码，后面7层对图像逆卷积进行解码。所述生成式网络的卷积层是带有batchnorm(BN)和ReLU的标准卷积，最后的逆卷积层十四的激活函数是Tanh函数。训练参数一共有153503424个。所述激活函数tanh，其基本公式：
tanh也是一种非常常见的激活函数。与sigmoid相比，它的输出均值是0，使得其收敛速度要比sigmoid快，减少迭代次数。
根据本发明实施例的金属表面缺陷检测方法，所述对抗式网络包括：卷积层十五，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；卷积层十六，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；卷积层十七，卷积核的大小设置为4*4，步长为2，卷积核的个数为128，边缘填充一行一列；卷积层十八，卷积核的大小设置为4*4，步长为2，卷积核的个数为256，边缘填充一行一列；卷积层十九，卷积核的大小设置为4*4，步长为2，卷积核的个数为512，边缘填充一行一列；卷积层二十，卷积核的大小设置为4*4，步长为2，卷积核的个数为1024，边缘填充一行一列；卷积层二十一，卷积核的大小设置为4*4，步长为1，卷积核的个数为1，边缘无填充；所述卷积层十五、所述卷积层十六、所述卷积层十七、所述卷积层十八、所述卷积层十九、所述卷积层二十、所述卷积层二十一依次连接。所述对抗式网络的卷积层是带有batchnorm(BN)和LeakyReLU的标准卷积，最后的卷积层二十一的激活函数是Sigmoid函数。训练参数一共有11228032个。所述生成式网络的作用是对输入数据生成对应的图像，所述对抗式网络是拿原图和生成的图像进行辨别，根据两图的相似度输出生成图对应0～1的概率，当对抗式网络稳定输出1即代表不能辨别出原图和生成图的不同。所述生成对抗网络是为了骗过机器生成与原图一样的图像。应用到金属表面缺陷检测，即训练时输入无缺陷图像生成无缺陷图像，模型收敛后运用到缺陷修复上，即测试时输入有缺陷图像到模型中，生成修复好的无缺陷图像。训练时先训练所述对抗式网络，将无缺陷图像输入到所述对抗式网络，输出与真实标签根据二值交叉熵函数计算损失，接着将有缺陷图像输入所述生成式网络，得到的生成图再输入到所述对抗式网络，计算这个有缺陷图像对应生成图的网络输出与真实标签的损失，则所述对抗式网络的损失为辨别无缺陷图像的损失加上辨别有缺陷图像的生成图的损失，后训练所述生成式网络，将有缺陷图像输入到生成式网络中，得到的生成图再放入到对抗式网络中，根据二值交叉熵函数计算对抗式网络的损失，再根据均方损失函数计算生成图和无缺陷图像的损失，则所述生成式网络的损失是对抗式网络辨别有缺陷图像的生成图的损失加上生成图和无缺陷图像的均方损失。两个网络不停交替对抗地训练，直到收敛后保存模型。在训练之前，第一步先对图像做好预处理。在训练过程中，每向网络模型输入一张人为标记的缺陷图像，都会输出该图像的无缺陷图像。根据模型的输出计算模型的损失值，通过大量的训练和多次迭代不断更新网络权值参数，使得损失值不断减小，直到小于人为设定的可接受的临界值，网络达到收敛状态，训练停止。模型的初始化完成，在实际应用时，只需将采集到的有缺陷图像经过处理后输入至训练完成的模型，得到分布相近修复好的无缺陷图像，再将原图和生成图分别做高斯滤波，接着两图相减得到相减图，两图异或得到异或图，再通过把相减图和异或图相与得到生成图和有缺陷图像的最大的不同之处。最后通过寻找最大像素值，再限定范围的像素值进行二值化，再进行形态学处理确定对应的缺陷区域。就可得到缺陷在图像上的区域位置。所述激活函数sigmoid，其基本公式：
sigmoid是使用范围最广的一类激活函数，具有指数函数形状，它在物理意义上最为接近生物神经元。
根据本发明实施例的金属表面缺陷检测方法，所述卷积层二十一的激活函数是用于输出表示所述第二图像和所述第三图像相似度的Sigmoid函数。
根据本发明实施例的金属表面缺陷检测方法，所述图像后处理包括：把所述第二图像和所述第三图像进行高斯滤波；把所述第二图像和所述第三图像相减得到相减图；把所述第二图像和所述第三图像异或得到异或图；通过把所述相减图和所述异或图相与得到相与图；计算所述相与图和所述第二图像的最大的不同，得到第四图像；通过对所述第四图像进行二值化，再进行形态学处理确定所述缺陷区域。加载所述生成式网络，输入有缺陷的图像，得到修复好的无缺陷的生成图。接着将生成图和有缺陷图像进行高斯滤波，两图相减得到相减图，两图异或得到异或图，再通过把相减图和异或图相与得到生成图和有缺陷图像的最大的不同之处。最后通过找最大像素值寻找一定范围的像素值进行二值化，再进行形态学处理确定对应的缺陷区域。达到检测缺陷区域的技术效果。
第二方面，本发明实施例还提出一种金属表面缺陷检测系统，包括：图像采集单元，用于采集第一图像，所述图像采集单元为工业摄像机；图像预处理单元，用于预处理所述第一图像，所述图像预处理单元与所述图像采集单元连接；网络模型单元，用于生成第三图像，所述网络模型单元与所述图像预处理单元连接；图像后处理单元，用于获取缺陷区域，所述图像后处理单元与所述网络模型单元连接。
第三方面，本发明实施例还提供了一种计算机装置，包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明第一方面所述的一种金属表面缺陷检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现本发明第一方面所述的一种金属表面缺陷检测方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例的金属表面缺陷检测方法的流程图；
图2为本发明实施例的生成式网络前7层的处理流程图；
图3为本发明实施例的生成式网络后7层的处理流程图；
图4为本发明实施例的对抗式网络的处理流程图；
图5为本发明实施例的图像后处理的流程图；
图6为本发明实施例的金属表面缺陷检测系统示意图；
附图标记：
卷积层一201、卷积层二202、卷积层三203、卷积层四204、卷积层五205、卷积层六206、卷积层七207、
逆卷积层八301、逆卷积层九302、逆卷积层十303、逆卷积层十一304、逆卷积层十二305、逆卷积层十三306、逆卷积层十四307、
卷积层十五401、卷积层十六402、卷积层十七403、卷积层十八404、卷积层十九405、卷积层二十406、卷积层二十一407、
图像采集单元601、图像预处理单元602、网络模型单元603、图像后处理单元604。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
参照图1，描述根据本发明第一实施例的金属表面缺陷检测方法。包括：
S101：采集第一图像；
S102：预处理第一图像，得到第二图像；
S103：把第二图像输入到经过对抗式网络训练后的生成式网络，得到无缺陷的第三图像，对抗式网络用于训练生成式网络；
S104：图像后处理，把第二图像和第三图像比较得到缺陷区域。
根据本发明实施例的金属表面缺陷检测方法，至少具有如下技术效果:采用深度学习中无监督学习的方法，大大减少对数据的依赖，提高检测的准确率，无需提前知道缺陷的类型，可应用到异常缺陷检测中。
参照图1，根据本发明第一实施例的金属表面缺陷检测方法，预处理第一图像包括对第一图像进行亮度调整、灰度调整和图像裁剪。
参照图2，根据本发明第一实施例的金属表面缺陷检测方法，生成式网络包括：
卷积层一201，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；
卷积层二202，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；
卷积层三203，卷积核的大小设置为4*4，步长为2，卷积核的个数为128，边缘填充一行一列；
卷积层四204，卷积核的大小设置为4*4，步长为2，卷积核的个数为256，边缘填充一行一列；
卷积层五205，卷积核的大小设置为4*4，步长为2，卷积核的个数为512，边缘填充一行一列；
卷积层六206，卷积核的大小设置为4*4，步长为2，卷积核的个数为1024，边缘填充一行一列；
卷积层七207，卷积核的大小设置为4*4，步长为1，卷积核的个数为4000，边缘无填充；
卷积层一201、卷积层二202、卷积层三203、卷积层四204、卷积层五205、卷积层六206和卷积层七207依次连接。生成式网络前面7层对图像卷积进行编码，后面7层对图像逆卷积进行解码。
参照图3，根据本发明第一实施例的金属表面缺陷检测方法，生成式网络还包括：
逆卷积层八301，卷积核的大小设置为4*4，步长为1，卷积核的个数为1024，边缘无填充；
逆卷积层九302，卷积核的大小设置为4*4，步长为2，卷积核的个数为512，边缘填充一行一列；
逆卷积层十303，卷积核的大小设置为4*4，步长为2，卷积核的个数为256，边缘填充一行一列；
逆卷积层十一304，卷积核的大小设置为4*4，步长为2，卷积核的个数为128，边缘填充一行一列；
逆卷积层十二305，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；
逆卷积层十三306，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；
逆卷积层十四307，卷积核的大小设置为4*4，步长为2，卷积核的个数为1，边缘填充一行一列，逆卷积层十四的激活函数是Tanh函数；
卷积层七207和逆卷积层八301连接，逆卷积层八301、逆卷积层九302、逆卷积层十303、逆卷积层十一304、逆卷积层十二305、逆卷积层十三306和逆卷积层十四307依次连接。生成式网络前面7层对图像卷积进行编码，后面7层对图像逆卷积进行解码。生成式网络的卷积层是带有batchnorm(BN)和ReLU的标准卷积，最后的逆卷积层十四307的激活函数是Tanh函数。训练参数一共有153503424个。激活函数tanh，其基本公式：
tanh也是一种非常常见的激活函数。与sigmoid相比，它的输出均值是0，使得其收敛速度要比sigmoid快，减少迭代次数。
参照图4，根据本发明第一实施例的金属表面缺陷检测方法，对抗式网络包括：
卷积层十五401，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；
卷积层十六402，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；
卷积层十七403，卷积核的大小设置为4*4，步长为2，卷积核的个数为128，边缘填充一行一列；
卷积层十八404，卷积核的大小设置为4*4，步长为2，卷积核的个数为256，边缘填充一行一列；
卷积层十九405，卷积核的大小设置为4*4，步长为2，卷积核的个数为512，边缘填充一行一列；
卷积层二十406，卷积核的大小设置为4*4，步长为2，卷积核的个数为1024，边缘填充一行一列；
卷积层二十一407，卷积核的大小设置为4*4，步长为1，卷积核的个数为1，边缘无填充；
卷积层十五401、卷积层十六402、卷积层十七403、卷积层十八404、卷积层十九405、卷积层二十406、卷积层二十一407依次连接。对抗式网络的卷积层是带有batchnorm(BN)和LeakyReLU的标准卷积，最后的卷积层二十一407的激活函数是Sigmoid函数。训练参数一共有11228032个。生成式网络的作用是对输入数据生成对应的图像，对抗式网络是拿原图和生成的图像进行辨别，根据两图的相似度输出生成图对应0～1的概率，当对抗式网络稳定输出1即代表不能辨别出原图和生成图的不同。生成对抗网络是为了骗过机器生成与原图一样的图像。应用到金属表面缺陷检测，即训练时输入无缺陷图像生成无缺陷图像，模型收敛后运用到缺陷修复上，即测试时输入有缺陷图像到模型中，生成修复好的无缺陷图像。训练时先训练对抗式网络，将无缺陷图像输入到对抗式网络，输出与真实标签根据二值交叉熵函数计算损失，接着将有缺陷图像输入生成式网络，得到的生成图再输入到对抗式网络，计算这个有缺陷图像对应生成图的网络输出与真实标签的损失，则对抗式网络的损失为辨别无缺陷图像的损失加上辨别有缺陷图像的生成图的损失，后训练生成式网络，将有缺陷图像输入到生成式网络中，得到的生成图再放入到对抗式网络中，根据二值交叉熵函数计算对抗式网络的损失，再根据均方损失函数计算生成图和无缺陷图像的损失，则生成式网络的损失是对抗式网络辨别有缺陷图像的生成图的损失加上生成图和无缺陷图像的均方损失。两个网络不停交替对抗地训练，直到收敛后保存模型。在训练之前，第一步先对图像做好预处理。在训练过程中，每向网络模型输入一张人为标记的缺陷图像，都会输出该图像的无缺陷图像。根据模型的输出计算模型的损失值，通过大量的训练和多次迭代不断更新网络权值参数，使得损失值不断减小，直到小于人为设定的可接受的临界值，网络达到收敛状态，训练停止。模型的初始化完成，在实际应用时，只需将采集到的有缺陷图像经过处理后输入至训练完成的模型，得到分布相近修复好的无缺陷图像，再将原图和生成图分别做高斯滤波，接着两图相减得到相减图，两图异或得到异或图，再通过把相减图和异或图相与得到生成图和有缺陷图像的最大的不同之处。最后通过寻找最大像素值，再限定范围的像素值进行二值化，再进行形态学处理确定对应的缺陷区域。就可得到缺陷在图像上的区域位置。激活函数sigmoid，其基本公式：
sigmoid是使用范围最广的一类激活函数，具有指数函数形状，它在物理意义上最为接近生物神经元。
参照图4，根据本发明第一实施例的金属表面缺陷检测方法，卷积层二十一407的激活函数是用于输出表示第二图像和第三图像相似度的Sigmoid函数。
参照图5，根据本发明第一实施例的金属表面缺陷检测方法，图像后处理包括：
S501：把第二图像和第三图像进行高斯滤波；
S502：把第二图像和第三图像相减得到相减图；
S503：把第二图像和第三图像异或得到异或图；
S504：通过把相减图和异或图相与得到相与图；
S501：计算所述相与图和所述第二图像的最大的不同，得到第四图像；
S506：通过对第四图像进行二值化，再进行形态学处理确定缺陷区域。
加载生成式网络，输入有缺陷的图像，得到修复好的无缺陷的生成图。接着将生成图和有缺陷图像进行高斯滤波，两图相减得到相减图，两图异或得到异或图，再通过把相减图和异或图相与得到生成图和有缺陷图像的最大的不同之处。最后通过找最大像素值寻找一定范围的像素值进行二值化，再进行形态学处理确定对应的缺陷区域。达到检测缺陷区域的技术效果。
参照图6，根据本发明第二实施例的一种金属表面缺陷检测系统，其特征在于，包括：
601：图像采集单元，用于采集第一图像，图像采集单元为工业摄像机；
602：图像预处理单元，用于预处理第一图像，图像预处理单元与图像采集单元连接；
603：网络模型单元，用于生成第三图像，网络模型单元与图像预处理单元连接；
604：图像后处理单元，用于获取缺陷区域，图像后处理单元与网络模型单元连接。
一种金属表面缺陷检测装置，其特征在于，包括至少一个处理器，以及与至少一个处理器连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7任一项所述的方法。
一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-7任一项所述的方法。
应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (7)
1.一种金属表面缺陷检测方法，其特征在于，包括：
采集第一图像，所述第一图像为金属表面拍摄图；
预处理所述第一图像，得到经过预处理金属表面拍摄图的第二图像；
把所述第二图像输入到经过对抗式网络训练后的生成式网络，得到无缺陷的第三图像，所述对抗式网络用于训练所述生成式网络；
图像后处理，根据所述第二图像和所述第三图像得到缺陷区域；
所述生成式网络包括：
卷积层一，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；
卷积层二，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；
卷积层三，卷积核的大小设置为4*4，步长为2，卷积核的个数为128，边缘填充一行一列；
卷积层四，卷积核的大小设置为4*4，步长为2，卷积核的个数为256，边缘填充一行一列；
卷积层五，卷积核的大小设置为4*4，步长为2，卷积核的个数为512，边缘填充一行一列；
卷积层六，卷积核的大小设置为4*4，步长为2，卷积核的个数为1024，边缘填充一行一列；
卷积层七，卷积核的大小设置为4*4，步长为1，卷积核的个数为4000，边缘无填充；
所述卷积层一、所述卷积层二、所述卷积层三、所述卷积层四、所述卷积层五、所述卷积层六和所述卷积层七依次连接；
所述生成式网络还包括：
逆卷积层八，卷积核的大小设置为4*4，步长为1，卷积核的个数为1024，边缘无填充；
逆卷积层九，卷积核的大小设置为4*4，步长为2，卷积核的个数为512，边缘填充一行一列；
逆卷积层十，卷积核的大小设置为4*4，步长为2，卷积核的个数为256，边缘填充一行一列；
逆卷积层十一，卷积核的大小设置为4*4，步长为2，卷积核的个数为128，边缘填充一行一列；
逆卷积层十二，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；
逆卷积层十三，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；
逆卷积层十四，卷积核的大小设置为4*4，步长为2，卷积核的个数为1，边缘填充一行一列，所述逆卷积层十四的激活函数是Tanh函数；
所述卷积层七和所述逆卷积层八连接，所述逆卷积层八、所述逆卷积层九、所述逆卷积层十、所述逆卷积层十一、所述逆卷积层十二、所述逆卷积层十三和所述逆卷积层十四依次连接；
所述对抗式网络包括：
卷积层十五，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；
卷积层十六，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；
卷积层十七，卷积核的大小设置为4*4，步长为2，卷积核的个数为128，边缘填充一行一列；
卷积层十八，卷积核的大小设置为4*4，步长为2，卷积核的个数为256，边缘填充一行一列；
卷积层十九，卷积核的大小设置为4*4，步长为2，卷积核的个数为512，边缘填充一行一列；
卷积层二十，卷积核的大小设置为4*4，步长为2，卷积核的个数为1024，边缘填充一行一列；
卷积层二十一，卷积核的大小设置为4*4，步长为1，卷积核的个数为1，边缘无填充；
所述卷积层十五、所述卷积层十六、所述卷积层十七、所述卷积层十八、所述卷积层十九、所述卷积层二十、所述卷积层二十一依次连接。
2.根据权利要求1所述的一种金属表面缺陷检测方法，其特征在于，所述预处理所述第一图像包括对所述第一图像进行亮度调整、灰度调整和图像裁剪。
3.根据权利要求1所述的一种金属表面缺陷检测方法，其特征在于，所述卷积层二十一的激活函数是用于输出表示所述第二图像和所述第三图像相似度的Sigmoid函数。
4.根据权利要求1所述的一种金属表面缺陷检测方法，其特征在于，所述图像后处理包括：
把所述第二图像和所述第三图像进行高斯滤波；
把所述第二图像和所述第三图像相减得到相减图；
把所述第二图像和所述第三图像异或得到异或图；
通过把所述相减图和所述异或图相与得到相与图；
计算所述相与图和所述第二图像的最大的不同，得到第四图像；
通过对所述第四图像进行二值化，再进行形态学处理确定所述缺陷区域。
5.一种金属表面缺陷检测系统，其特征在于，包括：
图像采集单元，用于采集第一图像，所述图像采集单元为工业摄像机；
图像预处理单元，用于预处理所述第一图像，所述图像预处理单元与所述图像采集单元连接；
网络模型单元，用于生成第三图像，所述网络模型单元与所述图像预处理单元连接；
图像后处理单元，用于获取缺陷区域，所述图像后处理单元与所述网络模型单元连接；
所述生成式网络包括：
卷积层一，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；
卷积层二，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；
卷积层三，卷积核的大小设置为4*4，步长为2，卷积核的个数为128，边缘填充一行一列；
卷积层四，卷积核的大小设置为4*4，步长为2，卷积核的个数为256，边缘填充一行一列；
卷积层五，卷积核的大小设置为4*4，步长为2，卷积核的个数为512，边缘填充一行一列；
卷积层六，卷积核的大小设置为4*4，步长为2，卷积核的个数为1024，边缘填充一行一列；
卷积层七，卷积核的大小设置为4*4，步长为1，卷积核的个数为4000，边缘无填充；
所述卷积层一、所述卷积层二、所述卷积层三、所述卷积层四、所述卷积层五、所述卷积层六和所述卷积层七依次连接；
生成式网络还包括：
逆卷积层八，卷积核的大小设置为4*4，步长为1，卷积核的个数为1024，边缘无填充；
逆卷积层九，卷积核的大小设置为4*4，步长为2，卷积核的个数为512，边缘填充一行一列；
逆卷积层十，卷积核的大小设置为4*4，步长为2，卷积核的个数为256，边缘填充一行一列；
逆卷积层十一，卷积核的大小设置为4*4，步长为2，卷积核的个数为128，边缘填充一行一列；
逆卷积层十二，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；
逆卷积层十三，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；
逆卷积层十四，卷积核的大小设置为4*4，步长为2，卷积核的个数为1，边缘填充一行一列，所述逆卷积层十四的激活函数是Tanh函数；
所述卷积层七和所述逆卷积层八连接，所述逆卷积层八、所述逆卷积层九、所述逆卷积层十、所述逆卷积层十一、所述逆卷积层十二、所述逆卷积层十三和所述逆卷积层十四依次连接；
对抗式网络包括：
卷积层十五，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；
卷积层十六，卷积核的大小设置为4*4，步长为2，卷积核的个数为64，边缘填充一行一列；
卷积层十七，卷积核的大小设置为4*4，步长为2，卷积核的个数为128，边缘填充一行一列；
卷积层十八，卷积核的大小设置为4*4，步长为2，卷积核的个数为256，边缘填充一行一列；
卷积层十九，卷积核的大小设置为4*4，步长为2，卷积核的个数为512，边缘填充一行一列；
卷积层二十，卷积核的大小设置为4*4，步长为2，卷积核的个数为1024，边缘填充一行一列；
卷积层二十一，卷积核的大小设置为4*4，步长为1，卷积核的个数为1，边缘无填充；
所述卷积层十五、所述卷积层十六、所述卷积层十七、所述卷积层十八、所述卷积层十九、所述卷积层二十、所述卷积层二十一依次连接。
6.一种金属表面缺陷检测装置，其特征在于，包括至少一个处理器，以及与所述至少一个处理器连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-4任一项所述的方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011496247.9A CN112634219B (zh) | 2020-12-17 | 2020-12-17 | 一种金属表面缺陷检测方法、系统、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011496247.9A CN112634219B (zh) | 2020-12-17 | 2020-12-17 | 一种金属表面缺陷检测方法、系统、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112634219A CN112634219A (zh) | 2021-04-09 |
| CN112634219B true CN112634219B (zh) | 2024-02-20 |
Family
ID=75316363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011496247.9A Active CN112634219B (zh) | 2020-12-17 | 2020-12-17 | 一种金属表面缺陷检测方法、系统、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112634219B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809698A (zh) * | 2015-03-18 | 2015-07-29 | 哈尔滨工程大学 | 一种基于改进三边滤波的Kinect深度图像修复方法 |
| CN105787439A (zh) * | 2016-02-04 | 2016-07-20 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
| CN106056102A (zh) * | 2016-07-01 | 2016-10-26 | 哈尔滨工业大学 | 基于视频图像分析的道路车型分类方法 |
| CN110930383A (zh) * | 2019-11-20 | 2020-03-27 | 佛山市南海区广工大数控装备协同创新研究院 | 基于深度学习语义分割和图像分类的注射器缺陷检测方法 |
| CN111340785A (zh) * | 2020-02-27 | 2020-06-26 | 广州大学 | 模型训练方法、产品表面缺陷检测方法和存储介质 |
| CN111507990A (zh) * | 2020-04-20 | 2020-08-07 | 南京航空航天大学 | 一种基于深度学习的隧道表面缺陷分割方法 |
-
2020
- 2020-12-17 CN CN202011496247.9A patent/CN112634219B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809698A (zh) * | 2015-03-18 | 2015-07-29 | 哈尔滨工程大学 | 一种基于改进三边滤波的Kinect深度图像修复方法 |
| CN105787439A (zh) * | 2016-02-04 | 2016-07-20 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
| CN106056102A (zh) * | 2016-07-01 | 2016-10-26 | 哈尔滨工业大学 | 基于视频图像分析的道路车型分类方法 |
| CN110930383A (zh) * | 2019-11-20 | 2020-03-27 | 佛山市南海区广工大数控装备协同创新研究院 | 基于深度学习语义分割和图像分类的注射器缺陷检测方法 |
| CN111340785A (zh) * | 2020-02-27 | 2020-06-26 | 广州大学 | 模型训练方法、产品表面缺陷检测方法和存储介质 |
| CN111507990A (zh) * | 2020-04-20 | 2020-08-07 | 南京航空航天大学 | 一种基于深度学习的隧道表面缺陷分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112634219A (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135503B (zh) | 一种装配机器人零件深度学习识别方法 | |
| CN109509187B (zh) | 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法 | |
| CN109754017B (zh) | 基于可分离的三维残差网络和迁移学习高光谱图像分类方法 | |
| CN109685097B (zh) | 一种基于gan的图像检测方法及装置 | |
| US20220178841A1 (en) | Apparatus for optimizing inspection of exterior of target object and method thereof | |
| US20230222645A1 (en) | Inspection apparatus, unit selection apparatus, inspection method, and computer-readable storage medium storing an inspection program | |
| CN112581462A (zh) | 工业产品的外观缺陷检测方法、装置及存储介质 | |
| CN115841447A (zh) | 一种磁瓦表面缺陷的检测方法 | |
| CN112836820B (zh) | 用于图像分类任务的深度卷积网络训练方法、装置及系统 | |
| CN111415304A (zh) | 基于级联深度网络的水下视觉增强方法和装置 | |
| CN112446869A (zh) | 基于深度学习的无监督工业品缺陷检测方法及装置 | |
| CN112364881B (zh) | 一种进阶采样一致性图像匹配方法 | |
| US20230410484A1 (en) | Anomaly detection using a convolutional neural network and feature based memories | |
| JP7298176B2 (ja) | 欠点検査装置および学習済みモデル | |
| CN111178405A (zh) | 一种融合多种神经网络的相似物体识别方法 | |
| CN108549899B (zh) | 一种图像识别方法及装置 | |
| CN114219402A (zh) | 物流托盘码放识别方法、装置、设备及存储介质 | |
| CN112634219B (zh) | 一种金属表面缺陷检测方法、系统、装置和存储介质 | |
| CN113435296A (zh) | 基于rotated-yolov5的电梯异物检测方法、系统、存储介质、电梯 | |
| CN112270404A (zh) | 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法 | |
| CN109800793B (zh) | 一种基于深度学习的目标检测方法和系统 | |
| CN111814820A (zh) | 图像处理方法及装置 | |
| WO2023119922A1 (ja) | 画像生成装置、方法及びプログラム並びに学習装置及び学習データ | |
| CN109978863B (zh) | 基于x射线图像的目标检测方法及计算机设备 | |
| CN114841930A (zh) | 一种基于平行多尺度融合网络的产品缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |