CN112686833B - 一种基于卷积神经网络的工业产品表面缺陷检测和分类装置 - Google Patents

Abstract

本发明涉及工业产品表面的缺陷检测和分类技术领域，公开了一种基于卷积神经网络的工业产品表面缺陷检测和分类装置，包括图片采集系统、缺陷检测系统、显示系统、数据分发系统和模型更新系统，所述图片采集系统包括ARM芯片、标号模块、摄像模块和数据发送模块A。本发明具有缺陷检出、缺陷定位和缺陷分类的功能，利用监控模块可以实时采集产品表面情况以及进行相应的缺陷检测和分类任务，且基于度量学习的小样本分类网络进行缺陷的分类，能够在ImageNet数据集上训练，在缺陷检测时，不需要大量的数据集进行训练，只要很少的产品缺陷数据就能获得良好的结果，且自动化程度高，准确率高，成本较低。

Description

一种基于卷积神经网络的工业产品表面缺陷检测和分类装置

技术领域

本发明涉及工业产品表面的缺陷检测和分类技术领域，具体是一种基于卷积神经网络的工业产品表面缺陷检测和分类装置。

背景技术

在工业生产中，为了保证最后产品的质量，最后的质量检查是必不可少的步骤，由于缺陷存在，导致使用该产品的设备不稳定，或者生产该产品的工厂的良品率太低。

目前一般会采用人工检查的方式，然而这会带来很大的人力资源消耗，并且效率比较低下，人一旦疲劳，可能会造成很多漏检的情况，而且工业产品种类繁多，每次在检查新产品时总是需要培养工人，且自动化程度低，准确率低，成本较高。

发明内容

本发明的目的在于提供一种基于卷积神经网络的工业产品表面缺陷检测和分类装置，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于卷积神经网络的工业产品表面缺陷检测和分类装置，包括图片采集系统、缺陷检测系统、显示系统、数据分发系统和模型更新系统，所述图片采集系统包括ARM芯片、标号模块、摄像模块和数据发送模块A，所述ARM芯片用于对摄像模块进行控制，并实时检测是否有产品在摄像模块视觉范围内，所述摄像模块用于对待检测图片进行图像的采集，所述标号模块用于对所采集的图片进行标号使其对应产品，并通过数据发送模块A传送至数据分发系统中；

所述数据分发系统包含接收模块和信息转发模块，所述接收模块用于接收图片采集系统和缺陷检测系统发送的信息，并通过信息转发模块转发至缺陷检测系统、显示系统和模型更新系统；

所述缺陷检测系统包括数据接收模块B、缺陷检测模块和数据发送模块B，所述数据接收模块B在获得摄像模块拍摄的工业产品图片后，通过缺陷检测模块中模型判断该产品表面是否存在缺陷，再依次通过数据发送模块B和数据分发系统中的接收模块和信息转发模块将检测结果传送至显示系统中，通过显示系统显示工业产品是否为缺陷产品，如果为缺陷产品并将缺陷的位置显示出来；

所述显示系统包含数据接收模块C、数据处理模块、显示模块和数据存储模块，所述数据接收模块C用于接收数据分发系统中信息转发模块传输过来的信息，并通过数据处理模块对信息进行处理，所述数据存储模块用于存储数据处理模块处理的数据，所述显示模块用于显示判断产品是否包含缺陷，以及若有缺陷显示出缺陷的位置；

所述模型更新系统包含掩码产生模块、模型数据模块和数据发送模块C，所述掩码产生模块用于接收数据分发系统中信息转发模块传输过来的产品图片，并对有缺陷的图片产生后语义分割的掩码，以用于后续的模型训练；所述模型数据模块用于训练缺陷检测系统中模型，将训练后的模型数据依次通过数据发送模块C和数据接收模块B传入缺陷检测模块以更新模型参数，以提高模型的性能。

作为本发明再进一步的方案：所述缺陷检测系统的检测方法包括语义分割中的全卷积神经网络的方法(FCN)和基于度量学习的小样本分类网络的方法，所述语义分割中的全卷积神经网络的方法(FCN)用于进行训练并保存数据模型，以分割出缺陷位置和对有无缺陷进行判别，所述基于度量学习的小样本分类网络的方法用于对有缺陷的产品进行分类，判断其缺陷的种类，以训练得出最优化的模型。

作为本发明再进一步的方案：所述模型更新系统中掩码产生模块的掩码产生方法如下：

将图片采集系统中获得的图片切割成64x64大小的小块图片，通过人工将小块图片分为有缺陷和无缺陷两部分，并使用重复采样的方式增强有缺陷的图片，再将图片送入到分类神经网络中进行训练，利用分类神经网络和Grad-CAM方法产生掩码，之后将小块图片的掩码拼接产生原始图片的掩码。

作为本发明再进一步的方案：所述模型更新系统中模型数据模块的模型训练方法如下：

将图片采集系统中获得的图片人工分为有缺陷和无缺陷两部分，由于有缺陷的图片相对来说是比较少的，先利用旋转和镜像的方式进行图像增强，采用旋转90度、180度和270度，水平镜像和垂直镜像的方式，将原始的缺陷图像变为原先的六倍。

作为本发明再进一步的方案：一种基于卷积神经网络的工业产品表面缺陷检测和分类方法包括以下步骤：

S1、利用掩码产生模块产生掩码，再通过掩码训练一个利用FCN思想将3个全连接层换为3个卷积层的VGG19网络构建的语义分割网络；

S2、冻结语义分割网络，利用语义分割网络提取图片的特征，再将改变结构后的VGG19网络的不同层次特征送入分类神经网络中训练得到一个分类网络，从而得到一个同时实现分类和分割双重功能的FCN网络，无论是分割中对像素的分类还是分类中对图片的分类最终都使用softmax转化为概率，其中分类功能判定缺陷是否存在，分割功能通过语义分割定位缺陷位置；

S3、基于度量学习的小样本分类网络的方法，在大型公共分类数据集ImageNet上预训练一个四层的卷积神经网络，再利用人工将工业缺陷图片进行分类，再次训练这个四层的小样本分类网络；

S4、将具有分类功能的FCN网络判定为有缺陷的样本，基于度量学习的小样本分类网络进行缺陷分类的工作，将系统判定为缺陷的样本与不同已知类别的缺陷样本计算余弦距离，再通过softmax转化为概率。

与现有技术相比，本发明的有益效果：

本发明具有缺陷检出，缺陷定位和缺陷分类的功能，利用监控模块可以实时采集产品表面情况以及进行相应的缺陷检测和分类任务，且基于度量学习的小样本分类网络进行缺陷的分类，能够在ImageNet数据集上训练，在缺陷检测时，不需要大量的数据集进行训练，只要很少的产品缺陷数据就能获得良好的结果，利用显示系统可以实时的显示当前产品的状况，并将必要的数据保存下来，且自动化程度高，准确率高，成本较低。

附图说明

图1为一种基于卷积神经网络的工业产品表面缺陷检测和分类装置的总体框架流程示意图；

图2为一种基于卷积神经网络的工业产品表面缺陷检测和分类装置中掩码产生流程图；

图3为一种基于卷积神经网络的工业产品表面缺陷检测和分类装置中缺陷检测和语义分割定位示意图；

图4为一种基于卷积神经网络的工业产品表面缺陷检测和分类装置中小样本缺陷分类示意图。

具体实施方式

请参阅图1～4，本发明实施例中，一种基于卷积神经网络的工业产品表面缺陷检测和分类装置，包括图片采集系统、缺陷检测系统、显示系统、数据分发系统和模型更新系统，图片采集系统包括ARM芯片、标号模块、摄像模块和数据发送模块A，ARM芯片用于对摄像模块进行控制，并实时检测是否有产品在摄像模块视觉范围内，ARM芯片需要编写相应的软件程序，用于判别摄像模块视觉范围内是否有产品图片，摄像模块用于对待检测图片进行图像的采集，标号模块用于对所采集的图片进行标号使其对应产品，并通过数据发送模块A传送至数据分发系统中；

数据分发系统包含接收模块和信息转发模块，接收模块用于接收图片采集系统和缺陷检测系统发送的信息，并通过信息转发模块转发至缺陷检测系统、显示系统和模型更新系统，从而便于对信息进行管理；

缺陷检测系统包括数据接收模块B、缺陷检测模块和数据发送模块B，数据接收模块B在获得摄像模块拍摄的工业产品图片后，判断接收的数据是图片数据还是模型数据，若是模型数据则更新模型，否则进行缺陷检测，通过缺陷检测模块中模型判断该产品表面是否存在缺陷，再依次通过数据发送模块B和数据分发系统中的接收模块和信息转发模块将检测结果传送至显示系统中，通过显示系统显示工业产品是否为缺陷产品，如果为缺陷产品并将缺陷的位置显示出来。

显示系统包含数据接收模块C、数据处理模块、显示模块和数据存储模块，数据接收模块C用于接收数据分发系统中信息转发模块传输过来的信息，并通过数据处理模块对信息进行处理，数据存储模块用于存储数据处理模块处理的数据，显示模块用于显示判断产品是否包含缺陷，以及若有缺陷显示出缺陷的位置，显示模块可采用具有显示功能的终端设备(如：电脑、投影仪或者手机等)；

模型更新系统包含掩码产生模块、模型数据模块和数据发送模块C，掩码产生模块用于接收数据分发系统中信息转发模块传输过来的产品图片，并对有缺陷的图片产生后语义分割的掩码，以用于后续的模型训练；模型数据模块用于训练缺陷检测系统中模型，将训练后的模型数据依次通过数据发送模块C和数据接收模块B传入缺陷检测模块以更新模型参数，以提高模型的性能。

优先的，缺陷检测系统的检测方法包括语义分割中的全卷积神经网络的方法(FCN)和基于度量学习的小样本分类网络的方法，语义分割中的全卷积神经网络的方法(FCN)用于进行训练并保存数据模型，以分割出缺陷位置和对有无缺陷进行判别，基于度量学习的小样本分类网络的方法用于对有缺陷的产品进行分类，判断其缺陷的种类，以训练得出最优化的模型。

优先的，模型更新系统中掩码产生模块的掩码产生方法如下：

将图片采集系统中获得的图片切割成64x64大小的小块图片，通过人工将小块图片分为有缺陷和无缺陷两部分，并使用重复采样的方式增强有缺陷的图片，再将图片送入到分类神经网络中进行训练，利用分类神经网络和Grad-CAM方法产生掩码，之后将小块图片的掩码拼接产生原始图片的掩码，图片可采用VGG16分类神经网络进行训练，之后利用Grad-CAM方法生成特征图的热力图，考虑到缺陷与背景的巨大差异，设置标准化数值0.2作为阈值，将小于等于0.2的数值视为背景部位，即非缺陷部位，将大于0.2的数值设为目标区域，也就是缺陷区域。

优先的，模型更新系统中模型数据模块的模型训练方法如下：

将图片采集系统中获得的图片人工分为有缺陷和无缺陷两部分，由于有缺陷的图片相对来说是比较少的，先利用旋转和镜像的方式进行图像增强，采用旋转90度、180度和270度，水平镜像和垂直镜像的方式，将原始的缺陷图像变为原先的六倍。

优先的，一种基于卷积神经网络的工业产品表面缺陷检测和分类方法包括以下步骤：

S1、利用掩码产生模块产生掩码，再通过掩码训练一个利用FCN思想将3个全连接层换为3个卷积层的VGG19网络构建的语义分割网络；

S2、冻结语义分割网络，利用语义分割网络提取图片的特征，再将改变结构后的VGG19网络的不同层次特征送入分类神经网络中训练得到一个分类网络，从而得到一个同时实现分类和分割双重功能的FCN网络，无论是分割中对像素的分类还是分类中对图片的分类最终都使用softmax转化为概率，其中分类功能判定缺陷是否存在，分割功能通过语义分割定位缺陷位置；

S3、基于度量学习的小样本分类网络的方法，在大型公共分类数据集ImageNet上预训练一个四层的卷积神经网络，再利用人工将工业缺陷图片进行分类，再次训练这个四层的小样本分类网络；

S4、将具有分类功能的FCN网络判定为有缺陷的样本，基于度量学习的小样本分类网络进行缺陷分类的工作，将系统判定为缺陷的样本与不同已知类别的缺陷样本计算余弦距离，再通过softmax转化为概率。

对一种基于卷积神经网络的工业产品表面缺陷检测和分类方法进行详细说明：

如图2和图3所示，通过图像采集系统收集分辨率为512x 512大小的图片，然后采用64x 64的滑动窗口以32像素为步长切割图片，使原图片变为小块图片，然后分为有缺陷的真样本和无缺陷的负样本，采用重复采样的方式缓解样本数量的差异。

将得到的正负样本放入深度学习分类网络中，例如VGG网络，训练。然后采用Grad-CAM的方法获得掩码图，Grad-CAM的方法可用以下方式得到：

/>

其中，

表示类别c的得分梯度。y^c代表了类别c的预测分数,/>

表示/>

代表第k个特征图的(i,j)位置的特征值，Z表示特征图的特征数。然后在通道k上对分梯度取平均得到神经元的重要性权重/>

将特征图中每一个通道进行加权求和，并通过ReLU函数得到激活特征图/>

之后，对于重复的像素取最大值，由下列公式得到：

其中Mi,j表示第i行第j列的像素，设定标准化的值0.2作为阈值用来区分缺陷和非缺陷区域，将大于0.2的值视为有缺陷的像素点，将小于0.2的值视为无缺陷的像素点。

如图3所示，利用VGG19作为主干网络，包含了19个尺寸为3x3的卷积层和5个最大池化层，利用FCN的语义分割的思想，这一部分的结构包含了3个尺寸为1x1的卷积层以及3个反卷积层。

如图3所示，可以看到缺陷的位置是可以定位出来的，分类部分的网络结构由2个尺寸为3x3的卷积层，一个1个尺寸为1x1的卷积层组成和2个最大池化层组成。使用尺寸为3x3卷积层和最大池化层调整feature1,feature2的结构，并于与feature3融合起来，提高分类性能。利用掩码产生模块产生的掩码用作语义分割的标签以及数据转发中心传过来的产品图片对语义分割部分和主干网络进行训练。参与训练的是图片采集系统传过来的原始图片大小。

将图片采集系统传过来的图片人为分为两部分。分别是由缺陷的正例和无缺陷的负例，使得正负比例约为1:1。我们冻结分割部分和主干部分的参数。然后，利用分好的图片对分类部分进行训练，获得能区分有缺陷产品和无缺陷产品的分类网络。

如图4所示，利用小样本度量学习进行缺陷分类的部分，

将不同类别的缺陷图像，每一类都分为支持集和查询集两部分，每一个数据集大约10张图片，并调整其大小为84x84。通过一个4层的3x3的卷积神经网络，利用其提取图片的特征图，尺寸为21x21x64。然后计算每一个查询集图片的特征图中特征向量与不同类别支持集的特征向量中前k(k＝3)个余弦相似度最高的值的和作为该查询集的特征向量与每一类支持集的距离分数。余弦相似度的计算方式可由下列方式得到：

其中x₁和x₂代表两个带计算的向量，cos(x₁,x₂)代表余弦相似度。最后，将查询集中一个图片的所有特征向量的距离分数之和作为该图片的分类分数。将查询图片归类为分类分数最大的一类。

利用公共数据集ImageNet数据集上进行预训练，获得一个良好的参数，然后，每一类缺陷收集10张图片或者另外需要的数目，作为支持集。在实际使用时，需将计算待分类的图片特征向量，然后利用上述方法进行分类。为了确保速度，可以事先计算好支持集的特征向图，保存在本地硬盘中。

以上的，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于卷积神经网络的工业产品表面缺陷检测和分类装置，包括图片采集系统、缺陷检测系统、显示系统、数据分发系统和模型更新系统，其特征在于，所述图片采集系统包括ARM芯片、标号模块、摄像模块和数据发送模块A，所述ARM芯片用于对摄像模块进行控制，并实时检测是否有产品在摄像模块视觉范围内，所述摄像模块用于对待检测图片进行图像的采集，所述标号模块用于对所采集的图片进行标号使其对应产品，并通过数据发送模块A传送至数据分发系统中；

所述数据分发系统包含接收模块和信息转发模块，所述接收模块用于接收图片采集系统和缺陷检测系统发送的信息，并通过信息转发模块转发至缺陷检测系统、显示系统和模型更新系统；

所述缺陷检测系统包括数据接收模块B、缺陷检测模块和数据发送模块B，所述数据接收模块B在获得摄像模块拍摄的工业产品图片后，通过缺陷检测模块中模型判断该产品表面是否存在缺陷，再依次通过数据发送模块B和数据分发系统中的接收模块和信息转发模块将检测结果传送至显示系统中，通过显示系统显示工业产品是否为缺陷产品，如果为缺陷产品并将缺陷的位置显示出来；

所述显示系统包含数据接收模块C、数据处理模块、显示模块和数据存储模块，所述数据接收模块C用于接收数据分发系统中信息转发模块传输过来的信息，并通过数据处理模块对信息进行处理，所述数据存储模块用于存储数据处理模块处理的数据，所述显示模块用于显示判断产品是否包含缺陷，以及若有缺陷显示出缺陷的位置；

所述模型更新系统包含掩码产生模块、模型数据模块和数据发送模块C，所述掩码产生模块用于接收数据分发系统中信息转发模块传输过来的产品图片，并对有缺陷的图片产生后语义分割的掩码，以用于后续的模型训练；所述模型数据模块用于训练缺陷检测系统中模型，将训练后的模型数据依次通过数据发送模块C和数据接收模块B传入缺陷检测模块以更新模型参数，以提高模型的性能；所述模型更新系统中掩码产生模块的掩码产生方法如下：

将图片采集系统中获得的图片切割成64x64大小的小块图片，通过人工将小块图片分为有缺陷和无缺陷两部分，并使用重复采样的方式增强有缺陷的图片，再将图片送入到分类神经网络中进行训练，利用分类神经网络和Grad-CAM方法产生掩码，之后将小块图片的掩码拼接产生原始图片的掩码，考虑到缺陷与背景的巨大差异，设置标准化数值0.2作为阈值，将小于等于0.2的数值视为背景部位，即非缺陷部位，将大于0.2的数值设为目标区域，也就是缺陷区域；

其检测和分类方法包括以下步骤：

S1、利用掩码产生模块产生掩码，再通过掩码训练一个利用FCN思想将3个全连接层换为3个卷积层的VGG19网络构建的语义分割网络；

S2、冻结语义分割网络，利用语义分割网络提取图片的特征，再将改变结构后的VGG19网络的不同层次特征送入分类神经网络中训练得到一个分类网络，从而得到一个同时实现分类和分割双重功能的FCN网络，无论是分割中对像素的分类还是分类中对图片的分类最终都使用softmax转化为概率，其中分类功能判定缺陷是否存在，分割功能通过语义分割定位缺陷位置；

S3、基于度量学习的小样本分类网络的方法，在大型公共分类数据集ImageNet上预训练一个四层的卷积神经网络，再利用人工将工业缺陷图片进行分类，再次训练这个四层的小样本分类网络；

S4、将具有分类功能的FCN网络判定为有缺陷的样本，基于度量学习的小样本分类网络进行缺陷分类的工作，将系统判定为缺陷的样本与不同已知类别的缺陷样本计算余弦距离，再通过softmax转化为概率。

2.根据权利要求1所述的一种基于卷积神经网络的工业产品表面缺陷检测和分类装置，其特征在于，所述缺陷检测系统的检测方法包括语义分割中的全卷积神经网络的方法FCN和基于度量学习的小样本分类网络的方法，所述语义分割中的全卷积神经网络的方法FCN用于进行训练并保存数据模型，以分割出缺陷位置和对有无缺陷进行判别，所述基于度量学习的小样本分类网络的方法用于对有缺陷的产品进行分类，判断其缺陷的种类，以训练得出最优化的模型。

3.根据权利要求1所述的一种基于卷积神经网络的工业产品表面缺陷检测和分类装置，其特征在于，所述模型更新系统中模型数据模块的模型训练方法如下：

将图片采集系统中获得的图片人工分为有缺陷和无缺陷两部分，由于有缺陷的图片相对来说是比较少的，先利用旋转和镜像的方式进行图像增强，采用旋转90度、180度和270度，水平镜像和垂直镜像的方式，将原始的缺陷图像变为原先的六倍。

Images