CN112150417A - 基于深度学习的涂布缺陷检测方法 - Google Patents
基于深度学习的涂布缺陷检测方法 Download PDFInfo
- Publication number
- CN112150417A CN112150417A CN202010933241.7A CN202010933241A CN112150417A CN 112150417 A CN112150417 A CN 112150417A CN 202010933241 A CN202010933241 A CN 202010933241A CN 112150417 A CN112150417 A CN 112150417A
- Authority
- CN
- China
- Prior art keywords
- layer
- layers
- training
- deep learning
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 34
- 238000000576 coating method Methods 0.000 title claims abstract description 27
- 239000011248 coating agent Substances 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 230000002950 deficient Effects 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 6
- 238000004026 adhesive bonding Methods 0.000 claims abstract description 4
- 238000011176 pooling Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 238000007664 blowing Methods 0.000 abstract description 3
- 239000000284 extract Substances 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 239000003292 glue Substances 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习的涂布缺陷检测方法，具体包括：第一步，选取不同类别的缺陷图像块和无缺陷的图像块作为训练样本集；第二步，构建卷积神经网络初始模型；第三步，数据集训练及模型优化；第四歩，利用优化好的深度学习算法，在线检测识涂胶面的缺陷，实现缺陷的自动分类。本发明利用将缺陷图像直接输入深度卷积网络，构建一个多层神经网络，对图像逐层特征提取，在大量训练数据集训练下，能够准确学习到反映隐含在图像数据内部的高级特征，并对网络结构进行优化，训练得出最优参数值，解决在涂布熔喷过程中多缺陷类型检测识别问题。
Description
技术领域
本发明涉及机器视觉与图像处理技术领域，特别涉及一种基于深度学习的涂布缺陷检测系统。
背景技术
在国内涂布工艺的生产过程中，大型公司均采用国外进口设备监测涂布厚度的变化，存在价格昂贵的不足。其他创业型小公司大多停留在传统人工目视抽检阶段。传统人工检测的特点不需要专业设备只需要指导培训专业人员即可，但是其缺点是结果受主观因素影响较大会导致漏检和误检情况，且只能在完成涂布后，离线抽样检测缺陷，无法实时在线检测。
涂布的缺陷检测一直以来都是国内外学者研究探讨的热门课题。因此，需要通过有效的缺陷检测方法，才能够在产品质量和生产成本上取得一定平衡来达到为企业创造更多价值的目的，同时也能满足涂布生产行业越来越迫切的自动化需求，为涂布智能工厂奠定基础。
因此，一种新的基于深度学习的涂布缺陷检测方法成为本领域亟待解决的问题。
发明内容
为解决上述问题，本发明的目的为提供一种新的基于深度学习的涂布缺陷检测方法。
为实现上述目的，本发明提供如下技术方案：一种基于深度学习的涂布缺陷检测方法，包括：
第一步，选取不同类别的缺陷图像块和无缺陷的图像块作为训练样本集；
第二步，构建卷积神经网络初始模型：构建包括输入层、卷积层、降采集层、全连接层和输出层的卷积神经网络初始模型，其中输入层、卷积层、降采集层、全连接层和输出层依次设置，而卷积层和降采集层均为多个，并且交替设置，即每个卷积层之后对应设置有一个降采集层；
第三步，数据集训练及模型优化；
第四歩，利用优化好的深度学习算法，在线检测识涂胶面的缺陷，并实现缺陷的自动分类。
第二步训练过程具体如下：
构造多层卷积神经网络；
利用训练样本集，采用ADAM算法对多层卷积神经网络的误差梯度做最速下降优化，离线训练构造多层卷积神经网络；
卷积层网络具体包括第1层为大小为s*s的图像块的输入层，卷积核的大小都为3*3，滤波器数量为64个；第2层和第3层为步长为1的卷积层；第4层和第5层为降采集层，卷积核的大小都为3*3，滤波器数量为128个；第6、7和8层为卷积层，卷积核的大小都为3*3，滤波器数量为256个；第9层为最大值池化层；第10、11和12层为卷积层，卷积核的大小都为3*3；第13层为最大值池化层；第14，15和16层为全连接层；
第三步具体包括：
通过Matlab将训练样本随机排序后，进行平均分配，每批图像数量批大小为80张；
训练图像分批依次输入模型，模型中所有偏置初始化为0，权值进行高斯分布初始化；
输入测试集对训练完毕的模型进行测试，得到各类指标。
与现有技术相比，本发明的有益效果是：利用将缺陷图像直接输入深度卷积网络，构建一个多层神经网络，对图像逐层特征提取，在大量训练数据集训练下，能够准确学习到反映隐含在图像数据内部的高级特征，并对网络结构进行优化，训练得出最优参数值，解决在涂布熔喷过程中多缺陷类型检测识别问题。
附图说明
图1为本发明基于深度学习的涂布缺陷检测系统框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明为一种基于深度学习的涂布缺陷检测系统，具体包括：
图像采集模块10，用于获取涂布生产线的各种不同类型熔喷布涂胶面图像；所述图像采集模块10为采用两个高分辨率的工业CMOS相机，两个相机垂直对准膜材料的涂胶面拍摄，具体的，还可以通过LED来补光，使每次采集到的图像的暗亮程度相仿。
图像处理模块20，用于对相机获取的图像进行预处理、特征提取；图像处理模块20连接图像采集模块10，具体包括图像预处理模块21、图像特征提取模块22。
图像预处理模块21，用于将相机获取的图像均匀分割为设定尺寸的多个小图像，并对小图像进行灰度值转换得到对应的灰度图像；将所述灰度图像进行逐帧差运算后得到时间相邻的两张图像的灰度差值图，将灰度差值图进行阀值化处理得到二值图；
图像特征提取模块22，将预处理后的样本图像输入到深度学习网络模型中，通过大数据的迭代自动完成特征向量的提取，获得样本图像的二值图；其中，所述深度学习网络模型是基于每一设定尺寸的小图训练样本以及对应的检测结果标签进行训练后得到的。
图像分析模块30与图像处理模块20连接，用来对图像处理模块20传输的样本图像的二值图和目标图像的二值图进行差运算，得到缺陷值，当缺陷值超过阈值则为有缺陷，否则则无缺陷。
本发明通过图像采集模块、图像处理模块和图像分析模块之间的配合可以高效实现对不同类型熔喷布涂胶面缺陷的检测，不仅检测精度高，适应性广泛，而且鲁棒性强，速度快。
本发明还涉及一种基于深度学习的涂布缺陷检测方法，包括如下步骤：
步骤1：图像采集模块采集图像，即利用机器视觉专用光源和工业相机采集涂布生产线的各种不同类型熔喷布涂胶面图像；
步骤2：把图像分割成大小一样的图像块，具体的分割方法为：以s/2为步长，把采集到的图像分割为大小都为s*s的正方形图像块，其中尺寸s一般不能小于木材缺陷的大小，图像块的大小可以取128*128，其中128表示分割成的图像块边长的像素大小；
步骤3：将分割后的小图像进行灰度值转换得到对应的灰度图像；将所述灰度图像进行逐帧差运算后得到时间相邻的两张图像的灰度差值图，将灰度差值图进行阀值化处理得到二值图；
步骤4：选取不同类别的缺陷图像块和无缺陷的图像块作为训练样本集；
其中，选取不同类别的缺陷图像块和无缺陷的图像块作样本训练集，在训练之前要对训练样本集进行简单的预处理，并通过一系列随机变换的方法来人为的增加训练样本集的大小，使得训练后的深度学习算法泛化能力更强。
步骤5：构建卷积神经网络初始模型：构建包括输入层、卷积层、降采集层、全连接层和输出层的卷积神经网络初始模型，其中输入层、卷积层、降采集层、全连接层和输出层依次设置，而卷积层和降采集层均为多个，并且交替设置，即每个卷积层之后对应设置有一个降采集层。
训练过程具体如下：
步骤51，构造多层卷积神经网络；
第1层为大小为s*s的图像块的输入层，卷积核的大小都为3*3，滤波器数量为64个；第2层和第3层为步长为1的卷积层；第4层和第5层为降采集层，卷积核的大小都为3*3，滤波器数量为128个；第6、7和8层为卷积层，卷积核的大小都为3*3，滤波器数量为256个；第9层为最大值池化层；第10、11和12层为卷积层，卷积核的大小都为3*3；第13层为最大值池化层；第14，15和16层为全连接层；卷积层用于提取图像的高层特征，最大值池化层的输入一般来源于上一个卷积层，主要作用是提供了很强的鲁棒性，取一小块区域中的最大值，此时若此区域中的其他值略有变化，或者图像稍有平移，池化后的结果仍不变，并且减少参数的数量，防止过拟合现象的发生。
步骤522，利用训练样本集，采用ADAM算法对多层卷积神经网络的误差梯度做最速下降优化，离线训练构造多层卷积神经网络；
步骤S6，数据集训练及模型优化；
步骤S61，通过Matlab将训练样本随机排序后，进行平均分配，每批图像数量批大小为80张；
步骤S62，训练图像分批依次输入模型，模型中所有偏置初始化为0，权值进行高斯分布初始化，当一批中所有样本计算完毕后，进行一次权值更新；所有批次更新完毕，进行下次迭代。
步骤S63，输入测试集对训练完毕的模型进行测试，得到各类指标。
步骤S7，利用优化好的深度学习算法，在线检测识涂胶面的缺陷，并实现缺陷的自动分类。
本发明利用将缺陷图像直接输入深度卷积网络，构建一个多层神经网络，对图像逐层特征提取，在大量训练数据集训练下，能够准确学习到反映隐含在图像数据内部的高级特征，并对网络结构进行优化，训练得出最优参数值，以解决在涂布熔喷过程中多缺陷类型检测识别问题。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (4)
1.一种基于深度学习的涂布缺陷检测方法，其特征在于，包括：
第一步，选取不同类别的缺陷图像块和无缺陷的图像块作为训练样本集；
第二步，构建卷积神经网络初始模型，构建包括输入层、卷积层、降采集层、全连接层和输出层的卷积神经网络初始模型，其中输入层、卷积层、降采集层、全连接层和输出层依次设置，而卷积层和降采集层均为多个，并且交替设置，即每个卷积层之后对应设置有一个降采集层；
第三步，数据集训练及模型优化；
第四歩，利用优化好的深度学习算法，在线检测识涂胶面的缺陷。
2.根据权利要求1所述的基于深度学习的涂布缺陷检测方法，其特征在于，第二步训练过程具体如下：
构造多层卷积神经网络；
利用训练样本集，采用ADAM算法对多层卷积神经网络的误差梯度做最速下降优化，离线训练构造多层卷积神经网络。
3.根据权利要求2所述的基于深度学习的涂布缺陷检测方法，其特征在于，卷积层网络具体包括第1层为大小为s*s的图像块的输入层，卷积核的大小都为3*3，滤波器数量为64个；第2层和第3层为步长为1的卷积层；第4层和第5层为降采集层，卷积核的大小都为3*3，滤波器数量为128个；第6、7和8层为卷积层，卷积核的大小都为3*3，滤波器数量为256个；第9层为最大值池化层；第10、11和12层为卷积层，卷积核的大小都为3*3；第13层为最大值池化层；第14，15和16层为全连接层。
4.根据权利要求1所述的基于深度学习的涂布缺陷检测方法，其特征在于，第三步具体包括：
通过Matlab将训练样本随机排序后，进行平均分配，每批图像数量批大小为80张；
训练图像分批依次输入模型，模型中所有偏置初始化为0，权值进行高斯分布初始化；
输入测试集对训练完毕的模型进行测试，得到各类指标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010933241.7A CN112150417A (zh) | 2020-09-08 | 2020-09-08 | 基于深度学习的涂布缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010933241.7A CN112150417A (zh) | 2020-09-08 | 2020-09-08 | 基于深度学习的涂布缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112150417A true CN112150417A (zh) | 2020-12-29 |
Family
ID=73890047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010933241.7A Pending CN112150417A (zh) | 2020-09-08 | 2020-09-08 | 基于深度学习的涂布缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112150417A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950584A (zh) * | 2021-03-01 | 2021-06-11 | 哈尔滨工程大学 | 一种基于深度学习的涂层表面缺陷识别方法 |
| CN112967223A (zh) * | 2021-01-29 | 2021-06-15 | 绍兴隆芙力智能科技发展有限公司 | 一种基于人工智能的纺织品检测系统、方法及介质 |
| CN113139932A (zh) * | 2021-03-23 | 2021-07-20 | 广东省科学院智能制造研究所 | 一种基于集成学习的深度学习缺陷图像识别方法及系统 |
| CN113393451A (zh) * | 2021-06-25 | 2021-09-14 | 江南大学 | 一种基于自动机器学习的缺陷检测方法 |
| CN113421271A (zh) * | 2021-05-17 | 2021-09-21 | 江苏大学 | 基于mlp多层神经网络的天然皮革缺陷分割方法 |
-
2020
- 2020-09-08 CN CN202010933241.7A patent/CN112150417A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112967223A (zh) * | 2021-01-29 | 2021-06-15 | 绍兴隆芙力智能科技发展有限公司 | 一种基于人工智能的纺织品检测系统、方法及介质 |
| CN112950584A (zh) * | 2021-03-01 | 2021-06-11 | 哈尔滨工程大学 | 一种基于深度学习的涂层表面缺陷识别方法 |
| CN113139932A (zh) * | 2021-03-23 | 2021-07-20 | 广东省科学院智能制造研究所 | 一种基于集成学习的深度学习缺陷图像识别方法及系统 |
| CN113421271A (zh) * | 2021-05-17 | 2021-09-21 | 江苏大学 | 基于mlp多层神经网络的天然皮革缺陷分割方法 |
| CN113393451A (zh) * | 2021-06-25 | 2021-09-14 | 江南大学 | 一种基于自动机器学习的缺陷检测方法 |
| CN113393451B (zh) * | 2021-06-25 | 2024-03-29 | 江南大学 | 一种基于自动机器学习的缺陷检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112150417A (zh) | 基于深度学习的涂布缺陷检测方法 | |
| CN111815601B (zh) | 一种基于深度卷积自编码器的纹理图像表面缺陷检测方法 | |
| CN107392896A (zh) | 一种基于深度学习的木材缺陷检测方法和系统 | |
| CN104198498B (zh) | 基于自适应正交小波变换的布匹疵点检测方法及装置 | |
| CN113160123B (zh) | 一种基于YOLOv5的皮革缺陷检测方法、系统及装置 | |
| CN102179374B (zh) | 禽蛋品质自动检测分选设备及其方法 | |
| CN109389599A (zh) | 一种基于深度学习的缺陷检测方法及装置 | |
| CN108364281A (zh) | 一种基于卷积神经网络的织带边缘毛疵缺陷检测方法 | |
| CN113077450B (zh) | 基于深度卷积神经网络的樱桃分级检测方法及系统 | |
| CN112150416A (zh) | 基于深度学习的涂布缺陷检测系统 | |
| Bandara et al. | Automated fabric defect detection | |
| CN104056789A (zh) | 一种胡萝卜缺陷的图像量化检测方法与分拣装置 | |
| CN110660025A (zh) | 一种基于gan网络的工业监控视频图像清晰化方法 | |
| CN112964732A (zh) | 一种基于深度学习的丝饼缺陷视觉检测系统及方法 | |
| CN107958253A (zh) | 一种图像识别的方法和装置 | |
| CN114463280A (zh) | 一种基于改进卷积变分自编码器的芯片表面缺陷并行检测方法 | |
| CN103926255A (zh) | 一种基于小波神经网络的布匹表面瑕疵检测方法 | |
| CN112560896A (zh) | 一种基于图像处理的水果品质筛选分类系统 | |
| CN117541568A (zh) | 一种基于深度学习的汽车刹车盘表面缺陷检测方法 | |
| CN114113129B (zh) | 一种镜片微小缺陷识别抓取系统及方法 | |
| CN107742132A (zh) | 基于卷积神经网络的马铃薯表面缺陷检测方法 | |
| CN110687120A (zh) | 法兰外观质量检测系统 | |
| CN117269168B (zh) | 一种新能源汽车精密零配件表面缺陷检测装置及检测方法 | |
| CN113469938A (zh) | 基于嵌入式前端处理服务器的管廊视频分析方法及系统 | |
| CN111028250A (zh) | 一种实时智能验布方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201229 |
|
| WD01 | Invention patent application deemed withdrawn after publication |