CN109461149A - 喷漆表面缺陷的智能检测系统及方法 - Google Patents

Abstract

本发明涉及计算机视觉和智能制造领域，尤其涉及一种喷漆表面缺陷的智能检测系统及方法。该喷漆表面缺陷的智能检测系统，包括图像采集模块、图像定位模块和缺陷检测模块；其中：所述图像采集模块用数字摄像头对被检测物体多角度的图像信息采集；所述图像定位模块，基于机器视觉方法用于区别目标和背景；所述缺陷检测模块用于检测目标是否存在多种缺陷。该喷漆表面缺陷的智能检测方法基于所述的喷漆表面缺陷的智能检测系统。本发明的目的在于提供喷漆表面缺陷的智能检测系统及方法，以能够通过智能检测代替生产线上人工检查缺陷，以能够准确地检测出生产线上存在缺陷的残次品，以能够节省大量的物力人力。

Description

喷漆表面缺陷的智能检测系统及方法

技术领域

本发明涉及计算机视觉和智能制造领域，尤其涉及一种喷漆表面缺陷的智能检测系统及方法。

背景技术

智能制造是基于新一代信息通信技术与先进制造技术深度融合，贯穿于设计、生产、管理、服务等制造活动的各个环节，具有自感知、自学习、自决策、自执行、自适应等功能的新型生产方式。发展智能制造有利于加快信息技术在制造业的集成应用，可以降低生产成本、减少能源资源消耗、缩短产品开发周期，有效提高生产效率和产品质量；有利于推动制造业供给侧结构性改革，促进生产方式向定制化、分布式、服务型转变。

随着社会的进步，使用智能制造技术代替传统生产线上利用人工检查生产缺陷已经是大势所趋。传统的人工检查方法，费时费力，而且准确度不高，大大耽误了生产效率；而智能制造技术具有自动化、高效、高精度、非接触等特点，能大大降低成本。

为此，本申请利用智能制造技术，提供一种新的喷漆表面缺陷的智能检测系统及方法，以能够通过智能检测代替生产线上人工检查缺陷，以能够准确地检测出生产线上存在缺陷的残次品，以能够节省大量的物力人力。

发明内容

本发明的目的在于提供喷漆表面缺陷的智能检测系统及方法，以能够通过智能检测代替生产线上人工检查缺陷。

为了实现上述目的，本发明提供了以下技术方案；

基于上述目的，本发明提供的喷漆表面缺陷的智能检测系统，包括图像采集模块、图像定位模块和缺陷检测模块；其中：所述图像采集模块用数字摄像头对被检测物体多角度的图像信息采集；所述图像定位模块，基于机器视觉方法用于区别目标和背景；所述缺陷检测模块用于检测目标是否存在多种缺陷。

在上述任一技术方案中，可选地，通过所述图像采集模块得到的图像信息，经过所述图像定位模块将目标从背景分离，再经过所述缺陷检测模块进行多种缺陷的检测。

在上述任一技术方案中，可选地，所述图像采集模块包括光学部分、成像部分和处理部分；

所述光学部分包括光源和光学系统；

所述成像部分包括图像传感器；

所述处理部分包括通信电路、图像处理器和图像处理算法。

在上述任一技术方案中，可选地，所述图像定位模块采用基于熵率聚类的检测目标定位方法。

在上述任一技术方案中，可选地，所述缺陷检测模块采用基于深度学习的快速视觉识别算法。

基于上述目的，本发明提供的喷漆表面缺陷的智能检测方法，喷漆表面缺陷的智能检测方法，基于所述的喷漆表面缺陷的智能检测系统，包括：

对被检测物体多角度的图像信息采集；

对采集的图像信息进行图像预处理；

利用基于熵率聚类的检测目标定位方法将图像信息中的目标和背景分离，将目标提取出来；

采用Inception-Resnet-V2的神经网络模型，根据被检测物体的大小对网络模型进行适当调整；选取深度主动学习方法，参考熵衡量和多样性来进行样本挑选；

在上述任一技术方案中，可选地，所述深度主动学习，具体流程如下：

步骤1.先随记选择样本数量为n的训练集L＝(x₁，x₂，x₃...x_n)，进行标注；

步骤2.使用训练集L＝(x₁，x₂，x₃...x_n)来训练Inception-Resnet-V2网络，得到网络参数w；

步骤3.在样本数量为m的为标定样本集为U＝(x₁，x₂，x₃...x_m)中，用公式

计算出各个样本的信息熵；其中，y代表分类类别，Y为所有可能的类别编号，P(y|x_i，w)为在w参数中样本x_i属于类别y的概率；

步骤4.用公式

计算出各个样本相对于训练集L＝(x₁，x₂，x₃...x_n)的相似程度，其中是未标注样本x_i属于类别y的概率；

步骤5.需要找信息量大、相似度低的样本，设将D_i从大到小排序，在未标样本集U=(x₁，x₂，x₃...x_m)挑选出α个样本；

步骤6.将新得到的α个样本加入L＝(x₁，x₂，x₃...x_n)中，代替原来的训练样本，重复步骤2至步骤6直到分类器精度达到临界值或者未标注的样本集标注完为止。

采用上述技术方案，本发明的有益效果：

本发明提供的喷漆表面缺陷的智能检测系统及方法，通过图像采集模块、图像定位模块和缺陷检测模块来代替生产线上人工检查缺陷，也即通过对被检测物体多角度的图像采集以及基于计算机等机器的视觉技术的图像定位，进而经过缺陷检测模块对定义的多种缺陷进行检测，得出被检测物体表面是否有缺陷的结论；该喷漆表面缺陷的智能检测系统可以有效地从多个角度对物体表面进行检测，并且能检测出多种缺陷，提高了生产线上对次品排查的效率，大幅度降低了生产成本，节省了大量的物力人力。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的喷漆表面缺陷的智能检测系统的图像采集模块的示意图；

图2为本发明实施例提供的喷漆表面缺陷的智能检测系统的基于深度学习的快速视觉识别与定位算法的框架图；

图3为本发明实施例提供的喷漆表面缺陷的智能检测方法的流程示意图。

图标：1-光学部分；2-成像部分；3-处理部分。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例

参见图1-图3所示，图1为本实施例提供的图像采集模块的示意图；图2为本实施例提供的基于深度学习的快速视觉识别与定位算法的框架图；图3为本实施例提供的喷漆表面缺陷的智能检测方法的流程示意图。

本实施例提供的喷漆表面缺陷的智能检测系统，包括图像采集模块、图像定位模块和缺陷检测模块；其中：图像采集模块用数字摄像头对被检测物体多角度的图像信息采集；图像定位模块，基于机器视觉方法用于区别目标和背景；缺陷检测模块用于检测目标是否存在多种缺陷。其中，机器例如为计算机。

可选地，通过所述图像采集模块得到的图像信息，经过所述图像定位模块将目标从背景分离，再经过所述缺陷检测模块进行多种缺陷的检测。

本实施例中所述喷漆表面缺陷的智能检测系统，通过图像采集模块、图像定位模块和缺陷检测模块来代替生产线上人工检查缺陷，也即通过对被检测物体多角度的图像采集以及基于计算机等机器的视觉技术的图像定位，进而经过缺陷检测模块对定义的多种缺陷进行检测，得出被检测物体表面是否有缺陷的结论；该喷漆表面缺陷的智能检测系统可以有效地从多个角度对物体表面进行检测，并且能检测出多种缺陷，提高了生产线上对次品排查的效率，大幅度降低了生产成本。

参见图1所示，图像采集模块包括光学部分1、成像部分2和处理部分3。

例如，具体而言，光学部分包括光源和光学系统。光源在成像对象上产生均匀光场，以提高获取图像质量；可选地，光源通过光阑在成像对象上产生均匀光场。可选地，常用的光源包括LED光源、结构光等。可选地，光学系统用于实现光路控制，并将光信号聚焦到成像对象(或者成像平面)上；可选地，当前光路控制主要通过光纤、反射、扫描装置等光学器件实现。

成像部分包括图像传感器；图像传感器的感光元件将入射光转化为电信号，模拟信号经过放大、去噪、调理、A/D转换和读出，得到数字图像。也即，成像部分通过读出电路、信号调理和A/D转换得到数字图像；具体而言，读出电路：图像传感器的感光元件将来自于成像对象的入射光转化为电信号；信号调理：该电信号为模拟信号，通过放大、去噪和调理等处理该电信号；A/D转换：经过放大、去噪和调理等处理的电信号进行A/D转换和读出，并得到数字图像。

处理部分包括通信电路、图像处理器和图像处理算法；获取的数字图像通过通信电路和协议传输到图像处理器中，并采用图像处理算法进行实时处理，提取出视觉信息用于智能制造装备的检测和控制。通常采用通信接口将成像部分获取的数字图像传输到处理部分的图像处理器中。

本实施例的可选方案中，图像定位模块采用基于熵率聚类的检测目标定位方法；具体而言，虽然目标(也即检测目标)和背景(也即检测背景)之间存在较大差异，但是目标不同区域之间差异不可忽视，且各种缺陷的存在也会增加目标识别的困难程度。另一方面，检测对象具有规则的形状，例如显示器底座具有规则的形状；并且检测对象的各部分具有标称的几何参数。本实施例采用熵率聚类方法，用于目标分割和区域提取。

该方法基于图像的图模型G＝(V，E，W)，在图的建立过程中，图像的像素作为图的节点V，相邻像素连接起来形成边E，边既可以采用4邻域，也可以采用8邻域定义。权值W用来衡量相邻像素对(V_i，V_j)的相似性。

熵率聚类过程可以看做是从边界集E中选择一个子集A，A∈E，将所有节点分为k个超像素。子集A的选取通过优化目标函数F(A)来实现，该目标函数包括两项，分别为熵率项H(A)和平衡项B(A)，λ为平衡项的权值。熵率选择相对均匀的区域，平衡项则有利于保证不同超像素具有相似的大小。

maxF(A)＝H(A)+λB(A)subject to N_A≥k；

熵率项H(A)的计算基于随机游走模型，边界子集A在图G′＝(V，A)上产生了一个生成树，其熵率可以通过随机游走过程中的静态分布概率μ和转移概率P_ij计算得到：

当边界e_ij不属于A时，其转移概率为0；反之，转移概率w_ij为此边界权值相对于原图G中所有连接到节点i边界权值之和w_i的比例。由于对于节点i所有转移概率之和可能小于1，为此引入自转移概率，保证所有转移概率之和为1，其公式为：

本实施例的可选方案中，缺陷检测模块采用基于深度学习的视觉识别算法。具体而言，当累计足够多的样本后，可采取学习训练的方式，代替人工作业，因此提出一种基于深度学习的工业机器人快速视觉识别与定位算法。通过工业高精度相机获取目标图像信息，经过图像灰度化、图像滤波、Otsu二值化处理，再经边界像素检测算法定位并分割目标图像。运用已训练的深度卷积神经网络(CNN)对目标进行识别，得到目标所在的位置坐标以及所属类别，实现工业机器人分拣。

根据分拣作业的需求，算法以识别定位获取工件的坐标、偏转角度、类别信息为目的，兼顾算法速度、定位精度及识别准确率。基于深度学习的快速视觉识别与定位算法如图2所示。

a、CNN视觉识别

CNN起源于多层感知机，模仿动物视觉局部提取信息的机制对输入进行特征提取.该原理是Fukushima在研究猫的视觉皮层时发现的。在卷积神经网络中，卷积算子(亦称为滤波器)只与输入图像的局部连接，通过卷积运算提取输入特征信息。CNN一般为多层结构模型，8层结构的CNN模型分为3部分：输入层、中间层、全连接层。

(1)输入层通常输入为二值图像或是RGB彩色图像，在输入之前一般对图像进行滤波、尺寸修改等预处理操作以提高网络识别效果。

(2)中间层是由卷积层和池化层交替组成。CNN作为深度学习模型，其深度主要体现在中间层中的卷积层和池化层交替的次数。当CNN识别图片的复杂度越大时，中间层交替的次数也会越多。

(3)全连接层一般为三层结构的浅层分类器，比如SVM、SoftMax多分类器等，包含输入层、隐层、输出层。输入层为CNN中间层中最后的池化层所得特征图拉长得到的列向量；隐层为一层非线性映射层；输出层也是CNN的结果输出层，一般输出为目标分类的分数值，并取最高分为识别结果。

b、深度CNN训练

为使网络识别速度快且精度高，在构造样本时先对样本进行加工，去掉样本中无关的特征。在不同环境光下获取样本图片，经边缘像素检测算法锁定图片中的物件，通过像素区域选择去除无关区域，将样本整理成二值图像。通过CNN对人为规则化的样本进行监督学习，获取到最有区分度的特征信息。

在训练过程中，通过有监督的均方差反向传播算法修正网络参数，即最小均方差的方法。对于样本数据为的网络，均方误差可表达为

其中，h_w，b(x)为网络输出值，h为激活函数，选择Sigmiod函数，W为网络的权值矩阵，b为每层偏置b构成的偏置矩阵，x为输入样本矩阵，yw为期望输出。最小化非凹函数J(W，b；x，y^*)便可得到网络的最优解。通常采用梯度下降的方法对网络迭代运算更新权值：

其中α为学习率。传统梯度下降的方法容易使网络收敛于局部最优解且训练速度慢，为获得理想的收敛结果，本实施例采用随机梯度下降算法，该算法具有收敛速度快、多次迭代能够获得全局最优解的特点。

本实施例所述的喷漆表面缺陷的智能检测系统，能代替人工的检测方法，提高生产效率；能从多个角度采集图像，使得检测结果更加立体；随着样本的增加，检测的准确率会更加精确。

本实施例所述的喷漆表面缺陷的智能检测系统，通过利用计算机视觉和深度学习的方法，以能够准确地检测出生产线上存在缺陷的残次品，以能够节省大量的物力人力，同时也能保证相当高的准确率。

本实施例所述的喷漆表面缺陷的智能检测系统包括图像采集模块、图像定位模块和缺陷检测模块。可选地，图像采集模块是用19根灯条和19个树莓派驱动的19个OV5640数字摄像头，每个树莓派配有SD卡用于备份；各个树莓派采集图像后在组成的局域网内图像传送给计算机，以供计算机处理图像。计算机用于图像预处理、图像定位和图像缺陷检测，配有GTX10606G显卡、i7-8700核心处理器和1T硬盘。

参见图3所示，本实施例提供的一种喷漆表面缺陷的智能检测方法，基于上述喷漆表面缺陷的智能检测系统，具体步骤如下：

1、对被检测物体多角度的图像信息采集；例如，19个树莓派驱动不同角度的19个摄像头对被检测目标进行图像采集，并通过局域网将图像信息发送给计算机；

2、对采集的图像信息进行图像预处理；例如，计算机将收集到的图像经过中值滤波和二值化进行预处理；

3、利用基于熵率聚类的检测目标定位方法将图像信息中的目标和背景分离，将目标提取出来；也即背景分割；

4、采用Inception-Resnet-V2的神经网络模型，根据被检测物体的大小对网络模型进行适当调整。选取主动学习方法，参考熵衡量和多样性来进行样本挑选。具体深度主动学习具体流程如下：

1)先随记选择样本数量为n的训练集L＝(x₁，x₂，x₃...x_n)，进行标注；

2)使用训练集L＝(x₁，x₂，x₃...x_n)来训练Inception-Resnet-V2网络，得到网络参数w；

3)在样本数量为m的为标定样本集为U＝(x₁，x₂，x₃...x_m)中，用公式

计算出各个样本的信息熵，其中，y代表分类类别，Y为所有可能的类别编号，P(y|x_i，w)为在w参数中样本x_i属于类别y的概率；

4)用公式

计算出各个样本相对于训练集L＝(x₁，x₂，x₃...x_n)的相似程度，其中是未标注样本x_i属于类别y的概率；

5)需要找信息量大、相似度低的样本，所以设将D_i从大到小排序，在未标样本集U＝(x₁，x₂，x₃...x_m)挑选出α个样本；

6)将新得到的α个样本加入L＝(x₁，x₂，x₃...x_n)中，代替原来的训练样本，重复2至6直到分类器精度达到临界值或者未标注的样本集标注完为止。

本实施例中所述喷漆表面缺陷的智能检测方法具有上述喷漆表面缺陷的智能检测系统的优点，上述公开的所述喷漆表面缺陷的智能检测系统的优点在此不再重复描述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种喷漆表面缺陷的智能检测系统，其特征在于，包括图像采集模块、图像定位模块和缺陷检测模块；其中：所述图像采集模块用数字摄像头对被检测物体多角度的图像信息采集；所述图像定位模块，基于机器视觉方法用于区别目标和背景；所述缺陷检测模块用于检测目标是否存在多种缺陷。

2.根据权利要求1所述的喷漆表面缺陷的智能检测系统，其特征在于，通过所述图像采集模块得到的图像信息，经过所述图像定位模块将目标从背景分离，再经过所述缺陷检测模块进行多种缺陷的检测。

3.根据权利要求1所述的喷漆表面缺陷的智能检测系统，其特征在于，所述图像采集模块包括光学部分、成像部分和处理部分；

所述光学部分包括光源和光学系统；

所述成像部分包括图像传感器；

所述处理部分包括通信电路、图像处理器和图像处理算法。

4.根据权利要求1所述的喷漆表面缺陷的智能检测系统，其特征在于，所述图像定位模块采用基于熵率聚类的检测目标定位方法。

5.根据权利要求1所述的喷漆表面缺陷的智能检测系统，其特征在于，所述缺陷检测模块采用基于深度学习的快速视觉识别算法。

6.一种喷漆表面缺陷的智能检测方法，其特征在于，基于权利要求1-5任一项所述的喷漆表面缺陷的智能检测系统，包括：

对被检测物体多角度的图像信息采集；

对采集的图像信息进行图像预处理；

利用基于熵率聚类的检测目标定位方法将图像信息中的目标和背景分离，将目标提取出来；

采用Inception-Resnet-V2的神经网络模型，根据被检测物体的大小对网络模型进行适当调整；选取深度主动学习方法，参考熵衡量和多样性来进行样本挑选。

7.根据权利要求6所述的喷漆表面缺陷的智能检测方法，其特征在于，所述深度主动学习，具体流程如下：

步骤1.先随记选择样本数量为n的训练集L＝(x₁，x₂，x₃...x_n)，进行标注；

步骤2.使用训练集L＝(x₁，x₂，x₃...x_n)来训练Inception-Resnet-V2网络，得到网络参数w；

步骤3.在样本数量为m的为标定样本集为U＝(x₁，x₂，x₃...x_m)中，用公式

计算出各个样本的信息熵；其中，y代表分类类别，Y为所有可能的类别编号，P(y|x_i，w)为在w参数中样本x_i属于类别y的概率；

步骤4.用公式

计算出各个样本相对于训练集L＝(x₁，x₂，x₃...x_n)的相似程度，其中是未标注样本x_i属于类别y的概率；

步骤5.需要找信息量大、相似度低的样本，设将D_i从大到小排序，在未标样本集U＝(x₁，x₂，x₃...x_m)挑选出α个样本；

步骤6.将新得到的α个样本加入L＝(x₁，x₂，x₃...x_n)中，代替原来的训练样本，重复步骤2至步骤6直到分类器精度达到临界值或者未标注的样本集标注完为止。