CN112132784A - 一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法 - Google Patents
一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法 Download PDFInfo
- Publication number
- CN112132784A CN112132784A CN202010852863.7A CN202010852863A CN112132784A CN 112132784 A CN112132784 A CN 112132784A CN 202010852863 A CN202010852863 A CN 202010852863A CN 112132784 A CN112132784 A CN 112132784A
- Authority
- CN
- China
- Prior art keywords
- image
- industrial
- segmentation
- classification
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 15
- 230000011218 segmentation Effects 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000009776 industrial production Methods 0.000 claims abstract description 12
- 238000012805 post-processing Methods 0.000 claims description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 14
- 238000005520 cutting process Methods 0.000 claims description 13
- 230000002950 deficient Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000004519 manufacturing process Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 8
- 238000013136 deep learning model Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000007670 refining Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 238000010626 work up procedure Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及工业缺陷图像处理技术领域，公开了一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法，包括：数据采集装置，智能处理系统，产品下放装置和数据库系统，该方法为以下步骤：利用数据采集装置对工业生产流水线中的产品图像进行采集，然后传输给智能处理系统和数据库系统；经过数据预处理模块进行一定的处理，再通过智能分类分割模块对有缺陷的产品进行分类并标定出缺陷的位置，利用产品下放装置把有缺陷的产品和没有缺陷的产品，或者不同缺陷的产品分别下放到不同的区域存放。本发明符合工业生产中的需求，适合小样本训练，同时能够实现两种任务，提高了分类的准确度和定位的精度。
Description
技术领域
本发明涉及工业缺陷图像处理技术领域，具体是一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法。
背景技术
工业化产品在我们的生活中随处可见，极大的方便了我们的生活。在工业化生产过程中，由于多方面的原因会生产出一些带有缺陷的产品，给工厂产品的销售带来的一定的影响，因此，就需要在生产中及时的发现产品是否有缺陷以及缺陷的位置，但是在生活中工业产品种类繁多，在这些缺陷中，部分缺陷是很容易识别出来，而有的缺陷很难区分出来，需要专业人士的指导，如果仅仅使用人工识别的方法，很容易充满主观性，且工作复杂，耗时耗力，效率低，因此，工业上迫切的需要采取有效的方法，避免人工识别中出现的问题。
随着计算机视觉的发展，特别是监督学习方向的快速进步，工业缺陷图像的自动化分类和识别研究取得了极大的进步，传统的机器学习的方法，需要人工的手动提取缺陷图像的特征，再把特征放入到分类器中进行分类和识别，虽然机器学习的方法也取得了一定的进步，但提取特征的质量极大的依赖专家的经验，当缺陷的背景过于复杂时很难设计一个优秀的特征提取器，同时由于缺陷种类过多，设计一种适合多种缺陷的分类器是一个艰巨的任务，为了解决传统机器学习方法的缺点，深度学习的方法就成了一种趋势，因此如何实现缺陷图像的快速分类以及定位，并提高工业生产缺陷检测自动化进程，是目前所需要的解决的重要问题，所以，本领域技术人员提供了一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法，以解决上述背景技术中提出的问题。
发明内容
本发明的目的在于提供一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法，以解决上述背景技术中提出的如何实现缺陷图像的快速分类以及定位，并提高工业生产缺陷检测自动化进程的问题。
为实现上述目的，本发明提供如下技术方案：一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法，包括：数据采集装置，智能处理系统，产品下放装置和数据库系统，该方法为以下步骤：
S1、先利用数据采集装置对工业生产流水线中的产品图像进行采集，然后传输给智能处理系统和数据库系统；
S2、通过智能处理系统接收来自数据采集装置传来的工业产品图像，经过数据预处理模块进行一定的处理，再通过智能分类分割模块对有缺陷的产品进行分类并标定出缺陷的位置，然后将处理后的图像上传到数据库系统保存；
S3、在上述过程中，利用产品下放装置把有缺陷的产品和没有缺陷的产品，或者不同缺陷的产品分别下放到不同的区域存放。
作为本发明进一步的方案：所述数据采集装置包括摄像装置和产品翻转模块，所述摄像装置用于拍摄流水线上产品的表面图像，并上传到数据库系统和智能处理系统中；所述摄像装置是搭建在流水线上的摄像头，所述产品翻转模块用于翻转流水线上的产品，使摄像头能够拍摄到产品的正反两面。
作为本发明再进一步的方案：所述智能处理系统是一种基于神经网络搭建的集分类和分割为一体的工业缺陷图像处理系统，该智能处理系统包括数据预处理模块和智能分类分割模块。
作为本发明再进一步的方案：所述数据预处理模块用于接收来自摄像头传送的产品表面图像，通过patch切割的方法对收集到的样本进行处理，然后把处理后的图像随机分成训练集和测试集，两个集合的比例是8：2。
作为本发明再进一步的方案：所述patch图像切割方法类似于卷积操作，通过滑动切割的方法把输入的图像切割成大小为64*64，并通过筛选，删除不可用样本，即：给定一个输入分辨率为M×N的图像，设置网络处理图像大小m×m，步长为s，则滑动切割可得样本个数为：
其中int()表示取整。
作为本发明再进一步的方案：所述智能分类分割模块包括：编码层，全连接层，解码层，后处理网络，其中；
所述编码层，用于将数据预处理模块处理后的图像，按照批的方法输入到编码层，提取批图像的特征；
所述全连接层，用于分类任务，是将图像的特征输入到全连接层进行分类，得到图像缺陷的类别；
所述解码层，用于分割任务，将图像特征输入到解码层进行分割，得到缺陷的定位；
所述后处理层，用于细化分割任务得到的结果，进一步提高分割的精度；
其中，通过对比工业图像于医学图像的共同点，选择基于Unet网络作为原型进行改进，并使用改进后的模型进行训练，得到适合工业缺陷图像检测的深度学习模型，将测试集输入到上述的深度学习模型中进行测试，得到缺陷的类别和缺陷的具体定位，并保存最优的模型参数。
作为本发明再进一步的方案：所述改进的Unet网络的具体改进包括：
1、使用预训练Vgg16_bn模型取代Unet中的编码层，使其更适合小样本处理，节省训练时间；对Unet单一的任务增加一个分类分支，更符合工业生产需求；为了同时满足高准确率的分类任务和高精度的分割任务，在改进的Unet网络后增加后处理；
2、超参数优化，考虑增加一个分支可能会相互影响，对两个任务的成本函数增加了一个系数优化；后处理中涉及到的参数，通过实验结果得到最合适的值。
作为本发明再进一步的方案：通过输入工业图像到改进的神经网络中进行训练，得到合适的模型；
其中所述的编码层，即六层卷积块，其中前四层卷积块来自预训练的vgg16_bn，后两层中每个卷积块都包含两个卷积层，两个归一化层，两个激活函数层；
所述全连接层，即三次全连接网络，用于输出每中缺陷类别的概率；
所述编码层，即一系列上采样层和连接层，用于获取丰富的语义信息和上下文信息，得到原分辨率大小的结果；
所述后处理层，即使用引导滤波，通过输入图像与分割结果之间的线性关系，指出缺陷边缘区域，优化分割结果。
作为本发明再进一步的方案：所述产品下放装置是一种产品分开传送的装置，用于把有缺陷的产品和没有缺陷的产品，或者不同缺陷的产品分别下放到不同的区域存放。
作为本发明再进一步的方案：所述数据库系统用于保存来自生产流水中的产品和智能处理系统处理后的数据，用于后期更新智能处理系统。
与现有技术相比，本发明的有益效果是：本发明设计的一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法，在实际操作时，本发明能有效的提高样本的个数，解决了由于工业自动化的发展迅速，收集到的样本较少，使用深度神经网络进行训练时容易出现过拟合现象的问题，而且成本低，适合小样本处理情况，并且在处理相关的缺陷图像时，能够同时得到缺陷的类别以及缺陷的定位，同时涉及到的分类网络既可以是多分类网络也可以是两分类网络，可以根据实际工业需求自动调整，简单，便捷，在使用后处理技术时，能够有效的提高定位的准确度，满足工业上对定位的需求，进一步的，本发明中的自动检测缺陷图像的类别的方法比人工手动标注方法快速，精准，耗时少等优势，且该方法的精度能够达到工业上的需求，有效的提高了工业化缺陷图像检测的自动化进程。
附图说明
图1为一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法的整体框架图；
图2为一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法中智能处理模块总体框架流程图；
图3为一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法中分类和分割网络示意图；
图4为一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法中后处理网络示意图；
图5为一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法中数据采集装置及产品下放装置示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1～5，本发明实施例中，一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法，包括：数据采集装置，智能处理系统，产品下放装置和数据库系统；
其中，数据采集装置用于收集工业生产流水线中的产品图像，包括摄像装置和产品翻转模块，摄像装置用于拍摄流水线上产品的表面图像，并上传到数据库系统和智能处理系统中；摄像装置是搭建在流水线上的摄像头，产品翻转模块，用于翻转流水线上的产品，使摄像头能够拍摄到产品的正反两面；
产品下放装置是一种产品分开传送的装置，用于把有缺陷的产品和没有缺陷的产品，或者不同缺陷的产品分别下放到不同的区域存放；
数据库系统用于保存来自生产流水中的产品和智能处理系统处理后的数据，用于后期更新智能处理系统；
智能处理系统是一种基于神经网络搭建的集分类和分割为一体的工业缺陷图像处理系统，该智能处理系统包括数据预处理模块和智能分类分割模块；
智能分类分割模块包括：编码层，全连接层，解码层，后处理网络，其中；
编码层，用于将数据预处理模块处理后的图像，按照批的方法输入到编码层，提取批图像的特征；
全连接层，用于分类任务，是将图像的特征输入到全连接层进行分类，得到图像缺陷的类别；
解码层，用于分割任务，将图像特征输入到解码层进行分割，得到缺陷的定位；
后处理层，用于细化分割任务得到的结果，进一步提高分割的精度；
通过对比工业图像于医学图像的共同点，选择基于Unet网络作为原型进行改进，并使用改进后的模型进行训练，得到适合工业缺陷图像检测的深度学习模型，将测试集输入到上述的深度学习模型中进行测试，得到缺陷的类别和缺陷的具体定位，并保存最优的模型参数，其中，改进的Unet网络的具体改进包括：
1、使用预训练Vgg16_bn模型取代Unet中的编码层，使其更适合小样本处理，节省训练时间；对Unet单一的任务增加一个分类分支，更符合工业生产需求；为了同时满足高准确率的分类任务和高精度的分割任务，在改进的Unet网络后增加后处理；
2、超参数优化，考虑增加一个分支可能会相互影响，对两个任务的成本函数增加了一个系数优化；后处理中涉及到的参数，通过实验结果得到最合适的值。
上述的，通过输入工业图像到改进的神经网络中进行训练，得到合适的模型；
其中的编码层，即六层卷积块，其中前四层卷积块来自预训练的vgg16_bn，后两层中每个卷积块都包含两个卷积层，两个归一化层，两个激活函数层；
全连接层，即三次全连接网络，用于输出每中缺陷类别的概率；
编码层，即一系列上采样层和连接层，用于获取丰富的语义信息和上下文信息，得到原分辨率大小的结果；
后处理层，即使用引导滤波，通过输入图像与分割结果之间的线性关系，指出缺陷边缘区域，优化分割结果。
一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法，该方法为以下步骤：
S1、先利用数据采集装置对工业生产流水线中的产品图像进行采集，然后传输给智能处理系统和数据库系统；
S2、通过智能处理系统接收来自数据采集装置传来的工业产品图像，经过数据预处理模块进行一定的处理，再通过智能分类分割模块对有缺陷的产品进行分类并标定出缺陷的位置，然后将处理后的图像上传到数据库系统保存；
S3、在上述过程中，利用产品下放装置把有缺陷的产品和没有缺陷的产品，或者不同缺陷的产品分别下放到不同的区域存放；
其中，数据预处理模块用于接收来自摄像头传送的产品表面图像，通过patch切割的方法对收集到的样本进行处理，然后把处理后的图像随机分成训练集和测试集，两个集合的比例是8：2。
实施例1
如图2所示，一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法，其进一步操作是：通过摄像头获取的磁瓦缺陷图像，经过类似于卷积操作的patch 切割技术去扩充数据样本个数，patch图像切割方法类似于卷积操作，通过滑动切割的方法把输入的图像切割成大小为64*64，并通过筛选，删除不可用样本，即：给定一个输入分辨率为M×N的图像，设置网络处理图像大小m×m，步长为s，则滑动切割可得样本个数为：
其中int()表示取整；
收集到的数据样本的每一个像素都在[0,255]，因此需要进行归一化操作，在训练过程中，基于监督学习的训练模式，对分割标签做归一化，使样本中的每个像素值[0,1]，为了能够更加方便的区分缺陷和背景区域，操作的方法为：
v表示分割标签中的每一个像素，T是阈值，本发明中设置T＝0.45，其中本实例中共有四类缺陷 MT_Blowhole,MT_Break,MT_Crack,MT_Fray，样本数分别为110,85,57,32，经过数据预处理后得到1160，1096，957，1737，将四类图片分成80％训练集和20％的测试集；
将处理后的图像输入到改进后的Unet网络中，改进后的网络可分成编码层，全连接层，解码层，后处理层，前三层所含的卷积的个数见附图3；
在训练过程中，分类网络包括编码层和全连接层，前向传播中第一层卷积块是给定一批图像，用特征向量表示X＝[x1,x2,...xm]，m表示一批所含样本的个数，经过卷积层后得到Z＝WTX+b，经过归一化层后得到
其中
μ,σ2表示批样本Z的均值和方差；然后经过激活函数得到
其他卷积块则Z＝WTA+b，为了方便，设定A[0]＝[x1,x2,...xm]，则Z[l]＝W[l]TA[l]+b[l]，l表示卷积的层数，顺序计算，则得到每个分类的概率；在反向传播过程中需要计算参数W,b的梯度值，用于梯度更新操作，即W＝W-ηdW,b＝b-ηdb，其中η为学习率；
分割网络是由编码层和解码层组成，其中解码层由上采样层和连接层组成；上采样层用于恢复图像的分辨率，使其能够输出一个与输入同等大小的图像，连接层用于获取上下文信息，提高网络分割的精度；
进一步的，在测试阶段，对于给定的高分辨率的输入图像，经过分割网络后或损失一些边缘信息，使得定位的精度不够高，基于此，我们在测试阶段使用引导滤波作为后处理层，如图4所示，输入图像为I，网络输出图像为P，滤波为q，q与I之间具有线性关系：
其中ak和bk能通过公式
其中i 表示像素的下标，wk是一个局部区域；
在测试过程中，输入测试集图像，利用附图2得到分类的得分和缺陷的定位；
进一步的，网络中涉及到两种不同的任务，因此有两种损失函数，我们设置 Loss＝losscls+lossseg，考虑到损失之间可能会有冲突，我们重新设置损失函数为
通过λ在一定程度上可以看出是什么任务，其中
其中y表示类别的标签，
是分类网络的结果，m表示批大小，p表示分割网络标签，
是分割网络的结果。
进一步的，调整两种损失函数之间的权重，从而得到最佳的权衡值，当值为0.05时，即Loss＝0.05losscls+0.95lossseg时，得到的分割的精度和分类准确度是最好的，在后处理过程中会涉及两个超参数r,ε,不同的值会得到不同的分割结果，为了进一步细化网络的精度，当r＝1,ε＝1e-8时能够得到最好的结果；
通过实验评估我们智能处理系统的有效性，对实验的结果进行展示，如表1所示：
| Lr＝0.001 | Decay_rate | λ | Post-processing | Iou | Accuracy | |
| Unet+vgg16_bn | √ | √ | 0.971 | ---- | ||
| Ourwork | √ | √ | √ | 0.9740 | 0.9859 | |
| Ourwork | √ | √ | √ | √ | 0.9891 | 0.9859 |
表1：改进的unet网络
从表中可以看出，当仅仅改进Unet网络的编码层为vgg_16_bn，网络也能够获得很高的结果，但此时只能得到一个分割的结果，只能进行定位操作。当对Unet网络增加一个分类网络时，且对损失参数进行调整后，网络得到的分割的结果跟单纯的分割网络相差无几，但是获得了一个额外的高准确率的分类的结果，为了进一步提高定位的精确度，增加了后处理后得到了一个很高的结果。
实施例2
请参阅图5所示，本实例以工业生产磁瓦产品为例，提供了的磁瓦数据采集装置，产品下放装置，整个过程包括：生产机器生产出来的磁瓦产品，通过传送带①进行传送，在传送带的前端上方有两个摄像头②，用于拍摄磁瓦的表面图片数据，前端的摄像头用于拍摄磁瓦产品的正面，后端的摄像头用于拍摄磁瓦产品的反面，产品翻转模块即在传送带的两个摄像头之间有一个机器手臂③用于定时的翻转磁瓦产品，以便后端的摄像头进行拍摄，拍摄好的图像会实时的上传到智能终端用于缺陷分类和定位，然后再根据处理后的结果把产品④通过下放装置送到不同的区域进行临时存放，所述产品下放装置即在传送带中设计几个门控装置⑤，判断是否下方到该区域，门控装置的个数可以根据实际需要设置，本实例中下方的门控装置个数为四个，图5中设计两个门控用于说明，整个过程即可实现不同的缺陷产品存放在不同的区域⑥，以便工作人员分析处理。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (10)
1.一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法，其特征在于，包括：数据采集装置，智能处理系统，产品下放装置和数据库系统，该方法为以下步骤：
S1、先利用数据采集装置对工业生产流水线中的产品图像进行采集，然后传输给智能处理系统和数据库系统；
S2、通过智能处理系统接收来自数据采集装置传来的工业产品图像，经过数据预处理模块进行一定的处理，再通过智能分类分割模块对有缺陷的产品进行分类并标定出缺陷的位置，然后将处理后的图像上传到数据库系统保存；
S3、在上述过程中，利用产品下放装置把有缺陷的产品和没有缺陷的产品，或者不同缺陷的产品分别下放到不同的区域存放。
2.根据权利要求1所述的一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法，其特征在于，所述数据采集装置包括摄像装置和产品翻转模块，所述摄像装置用于拍摄流水线上产品的表面图像，并上传到数据库系统和智能处理系统中；所述摄像装置是搭建在流水线上的摄像头，所述产品翻转模块用于翻转流水线上的产品，使摄像头能够拍摄到产品的正反两面。
3.根据权利要求1所述的一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法，其特征在于，所述智能处理系统是一种基于神经网络搭建的集分类和分割为一体的工业缺陷图像处理系统，该智能处理系统包括数据预处理模块和智能分类分割模块。
4.根据权利要求3所述的一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法，其特征在于，所述数据预处理模块用于接收来自摄像头传送的产品表面图像，通过patch切割的方法对收集到的样本进行处理，然后把处理后的图像随机分成训练集和测试集，两个集合的比例是8：2。
5.根据权利要求4所述的一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法，其特征在于，所述patch图像切割方法类似于卷积操作，通过滑动切割的方法把输入的图像切割成大小为64*64，并通过筛选，删除不可用样本，即：给定一个输入分辨率为M×N的图像，设置网络处理图像大小m×m，步长为s，则滑动切割可得样本个数为：
其中int()表示取整。
6.根据权利要求3所述的一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法，其特征在于，所述智能分类分割模块包括：编码层，全连接层，解码层，后处理网络，其中；
所述编码层，用于将数据预处理模块处理后的图像，按照批的方法输入到编码层，提取批图像的特征；
所述全连接层，用于分类任务，是将图像的特征输入到全连接层进行分类，得到图像缺陷的类别；
所述解码层，用于分割任务，将图像特征输入到解码层进行分割，得到缺陷的定位；
所述后处理层，用于细化分割任务得到的结果，进一步提高分割的精度；
其中，通过对比工业图像于医学图像的共同点，选择基于Unet网络作为原型进行改进，并使用改进后的模型进行训练，得到适合工业缺陷图像检测的深度学习模型，将测试集输入到上述的深度学习模型中进行测试，得到缺陷的类别和缺陷的具体定位，并保存最优的模型参数；
7.根据权利要求6所述的一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法，其特征在于，所述改进的Unet网络的具体改进包括：
1、使用预训练Vgg16_bn模型取代Unet中的编码层，使其更适合小样本处理，节省训练时间；对Unet单一的任务增加一个分类分支，更符合工业生产需求；为了同时满足高准确率的分类任务和高精度的分割任务，在改进的Unet网络后增加后处理；
2、超参数优化，考虑增加一个分支可能会相互影响，对两个任务的成本函数增加了一个系数优化；后处理中涉及到的参数，通过实验结果得到最合适的值。
8.根据权利要求6所述的一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法，其特征在于，通过输入工业图像到改进的神经网络中进行训练，得到合适的模型；
其中所述的编码层，即六层卷积块，其中前四层卷积块来自预训练的vgg16_bn，后两层中每个卷积块都包含两个卷积层，两个归一化层，两个激活函数层；
所述全连接层，即三次全连接网络，用于输出每中缺陷类别的概率；
所述编码层，即一系列上采样层和连接层，用于获取丰富的语义信息和上下文信息，得到原分辨率大小的结果；
所述后处理层，即使用引导滤波，通过输入图像与分割结果之间的线性关系，指出缺陷边缘区域，优化分割结果。
9.根据权利要求1所述的一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法，其特征在于，所述产品下放装置是一种产品分开传送的装置，用于把有缺陷的产品和没有缺陷的产品，或者不同缺陷的产品分别下放到不同的区域存放。
10.根据权利要求1所述的一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法，其特征在于，所述数据库系统用于保存来自生产流水中的产品和智能处理系统处理后的数据，用于后期更新智能处理系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010852863.7A CN112132784A (zh) | 2020-08-22 | 2020-08-22 | 一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010852863.7A CN112132784A (zh) | 2020-08-22 | 2020-08-22 | 一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112132784A true CN112132784A (zh) | 2020-12-25 |
Family
ID=73851108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010852863.7A Pending CN112132784A (zh) | 2020-08-22 | 2020-08-22 | 一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112132784A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112906811A (zh) * | 2021-03-09 | 2021-06-04 | 西安电子科技大学 | 基于物联网架构的工程车载设备图像自动分类方法 |
| CN112949541A (zh) * | 2021-03-17 | 2021-06-11 | 华东师范大学 | 一种基于Unet+ConvGRU混合模型的车道线检测方法 |
| CN113192018A (zh) * | 2021-04-23 | 2021-07-30 | 北京化工大学 | 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法 |
| CN113592828A (zh) * | 2021-08-03 | 2021-11-02 | 南京市特种设备安全监督检验研究院 | 基于工业内窥镜的无损检测方法及系统 |
| CN113658180A (zh) * | 2021-10-20 | 2021-11-16 | 北京矩视智能科技有限公司 | 一种基于空间上下文引导的表面缺陷区域分割方法和装置 |
| CN113687227A (zh) * | 2021-08-24 | 2021-11-23 | 桂林电子科技大学 | 一种基于感兴趣区域增强的电机磁瓦缺陷分类方法 |
| CN114863211A (zh) * | 2022-04-27 | 2022-08-05 | 四川大学 | 一种基于深度学习的磁瓦缺陷检测及分割方法 |
| CN115965816A (zh) * | 2023-01-05 | 2023-04-14 | 无锡职业技术学院 | 基于深度学习的玻璃缺陷分类与检测方法及系统 |
| CN116245892A (zh) * | 2022-12-05 | 2023-06-09 | 北京建筑大学 | 图像处理模型生成方法、图像处理方法及装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107993238A (zh) * | 2017-12-19 | 2018-05-04 | 中科视拓（北京）科技有限公司 | 一种基于注意力模型的头肩部分图像分割方法及装置 |
| CN108305243A (zh) * | 2017-12-08 | 2018-07-20 | 五邑大学 | 一种基于深度学习的磁瓦表面缺陷检测方法 |
| CN109685761A (zh) * | 2018-11-08 | 2019-04-26 | 宁波送变电建设有限公司甬城配电网建设分公司 | 一种基于云平台的电力电缆缺陷检测方法及其检测系统 |
| CN109829891A (zh) * | 2019-01-02 | 2019-05-31 | 浙江大学 | 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法 |
| CN110490858A (zh) * | 2019-08-21 | 2019-11-22 | 西安工程大学 | 一种基于深度学习的织物缺陷像素级分类方法 |
| CN110599534A (zh) * | 2019-09-12 | 2019-12-20 | 清华大学深圳国际研究生院 | 适用于2d卷积神经网络的可学习引导滤波模块和方法 |
| CN110598741A (zh) * | 2019-08-08 | 2019-12-20 | 西北大学 | 一种像素级标签自动生成模型构建、自动生成方法及装置 |
| CN110827263A (zh) * | 2019-11-06 | 2020-02-21 | 创新奇智(南京)科技有限公司 | 基于视觉识别技术的磁瓦表面缺陷检测系统及检测方法 |
| CN110992338A (zh) * | 2019-11-28 | 2020-04-10 | 华中科技大学 | 一种原发灶转移辅助诊断系统 |
| CN111311544A (zh) * | 2020-01-19 | 2020-06-19 | 无锡赛默斐视科技有限公司 | 一种基于深度学习的地板缺陷检测方法 |
| CN111383209A (zh) * | 2019-12-20 | 2020-07-07 | 华南理工大学 | 一种基于全卷积自编码器网络的无监督瑕疵检测方法 |
-
2020
- 2020-08-22 CN CN202010852863.7A patent/CN112132784A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108305243A (zh) * | 2017-12-08 | 2018-07-20 | 五邑大学 | 一种基于深度学习的磁瓦表面缺陷检测方法 |
| CN107993238A (zh) * | 2017-12-19 | 2018-05-04 | 中科视拓（北京）科技有限公司 | 一种基于注意力模型的头肩部分图像分割方法及装置 |
| CN109685761A (zh) * | 2018-11-08 | 2019-04-26 | 宁波送变电建设有限公司甬城配电网建设分公司 | 一种基于云平台的电力电缆缺陷检测方法及其检测系统 |
| CN109829891A (zh) * | 2019-01-02 | 2019-05-31 | 浙江大学 | 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法 |
| CN110598741A (zh) * | 2019-08-08 | 2019-12-20 | 西北大学 | 一种像素级标签自动生成模型构建、自动生成方法及装置 |
| CN110490858A (zh) * | 2019-08-21 | 2019-11-22 | 西安工程大学 | 一种基于深度学习的织物缺陷像素级分类方法 |
| CN110599534A (zh) * | 2019-09-12 | 2019-12-20 | 清华大学深圳国际研究生院 | 适用于2d卷积神经网络的可学习引导滤波模块和方法 |
| CN110827263A (zh) * | 2019-11-06 | 2020-02-21 | 创新奇智(南京)科技有限公司 | 基于视觉识别技术的磁瓦表面缺陷检测系统及检测方法 |
| CN110992338A (zh) * | 2019-11-28 | 2020-04-10 | 华中科技大学 | 一种原发灶转移辅助诊断系统 |
| CN111383209A (zh) * | 2019-12-20 | 2020-07-07 | 华南理工大学 | 一种基于全卷积自编码器网络的无监督瑕疵检测方法 |
| CN111311544A (zh) * | 2020-01-19 | 2020-06-19 | 无锡赛默斐视科技有限公司 | 一种基于深度学习的地板缺陷检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| CHIRAG BALAKRISHNA ET AL: "Automatic detection of lumen and media in the IVUS images using U-Net with VGG16 Encoder", 《ARXIV》 * |
| JUNFENG JING ET AL: "Mobile-Unet: An efficient convolutional neural network for fabric defect detection", 《TEXTILE RESEARCH》 * |
| 于志洋: "基于全卷积神经网络的表面缺陷检测方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 刘畅 等: "基于神经网络的磁瓦表面缺陷检测识别", 《表面技术》 * |
| 宋湘芬: "基于图割与深度学习的心肌超声图像分割方法研究", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112906811B (zh) * | 2021-03-09 | 2023-04-18 | 西安电子科技大学 | 基于物联网架构的工程车载设备图像自动分类方法 |
| CN112906811A (zh) * | 2021-03-09 | 2021-06-04 | 西安电子科技大学 | 基于物联网架构的工程车载设备图像自动分类方法 |
| CN112949541A (zh) * | 2021-03-17 | 2021-06-11 | 华东师范大学 | 一种基于Unet+ConvGRU混合模型的车道线检测方法 |
| CN113192018A (zh) * | 2021-04-23 | 2021-07-30 | 北京化工大学 | 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法 |
| CN113192018B (zh) * | 2021-04-23 | 2023-11-24 | 北京化工大学 | 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法 |
| CN113592828A (zh) * | 2021-08-03 | 2021-11-02 | 南京市特种设备安全监督检验研究院 | 基于工业内窥镜的无损检测方法及系统 |
| CN113687227A (zh) * | 2021-08-24 | 2021-11-23 | 桂林电子科技大学 | 一种基于感兴趣区域增强的电机磁瓦缺陷分类方法 |
| CN113658180A (zh) * | 2021-10-20 | 2021-11-16 | 北京矩视智能科技有限公司 | 一种基于空间上下文引导的表面缺陷区域分割方法和装置 |
| CN114863211A (zh) * | 2022-04-27 | 2022-08-05 | 四川大学 | 一种基于深度学习的磁瓦缺陷检测及分割方法 |
| CN116245892A (zh) * | 2022-12-05 | 2023-06-09 | 北京建筑大学 | 图像处理模型生成方法、图像处理方法及装置 |
| CN116245892B (zh) * | 2022-12-05 | 2024-04-12 | 北京建筑大学 | 图像处理模型生成方法、图像处理方法及装置 |
| CN115965816B (zh) * | 2023-01-05 | 2023-08-22 | 无锡职业技术学院 | 基于深度学习的玻璃缺陷分类与检测方法及系统 |
| CN115965816A (zh) * | 2023-01-05 | 2023-04-14 | 无锡职业技术学院 | 基于深度学习的玻璃缺陷分类与检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112132784A (zh) | 一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法 | |
| CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| CN108960245B (zh) | 轮胎模具字符的检测与识别方法、装置、设备及存储介质 | |
| CN109724984B (zh) | 一种基于深度学习算法的缺陷检测识别装置和方法 | |
| CN109272500B (zh) | 基于自适应卷积神经网络的织物分类方法 | |
| CN107688808B (zh) | 一种快速的自然场景文本检测方法 | |
| CN111862064B (zh) | 一种基于深度学习的银质丝材表面瑕疵识别方法 | |
| CN112037219B (zh) | 一种基于两阶段卷积神经网络的金属表面缺陷检测方法 | |
| CN111507998B (zh) | 基于深度级联的多尺度激励机制隧道表面缺陷分割方法 | |
| CN110927171A (zh) | 一种基于机器视觉的轴承滚子倒角面缺陷检测方法 | |
| CN110633738B (zh) | 一种用于工业零件图像的快速分类方法 | |
| CN112687327A (zh) | 一种基于多任务和多模态的癌症生存分析系统 | |
| CN111932639B (zh) | 一种基于卷积神经网络的不均衡缺陷样本的检测方法 | |
| CN110610482A (zh) | 一种基于resnet的工件瑕疵检测方法 | |
| CN111914902B (zh) | 一种基于深度神经网络的中药识别与表面缺陷检测方法 | |
| CN112560941A (zh) | 基于图像检测的煤矸识别方法 | |
| CN112749675A (zh) | 一种基于卷积神经网络的马铃薯病害识别方法 | |
| CN115147380A (zh) | 一种基于YOLOv5的小型透明塑料制品缺陷检测方法 | |
| CN116893175A (zh) | 基于深度学习的连接器多工位多缺陷统一测量系统 | |
| CN111178405A (zh) | 一种融合多种神经网络的相似物体识别方法 | |
| CN113077438B (zh) | 针对多细胞核彩色图像的细胞核区域提取方法及成像方法 | |
| CN112784919A (zh) | 一种面向智能制造多模态数据的分类方法 | |
| CN112561885A (zh) | 基于YOLOv4-tiny的插板阀开度检测方法 | |
| CN115661042A (zh) | 一种基于注意力机制指导的分层分类缺陷检测方法 | |
| CN114863211A (zh) | 一种基于深度学习的磁瓦缺陷检测及分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201225 |
|
| RJ01 | Rejection of invention patent application after publication |