CN110942450A - 一种基于深度学习的多生产流水线实时缺陷检测方法 - Google Patents

Abstract

本发明提供的一种基于深度学习的多生产流水线实时缺陷检测方法，包括：步骤1，捕获生产流水线上待检测电视机电路板产品图像；步骤2，构建深度网络模型，所述深度网络模型包括依次连接的特征提取网络、两个全连接层和分类器与回归器，其中，特征提取网络包括4个级联的特征提取单元，每个特征提取单元包括依次连接的卷积层、局部归一化层、最大池化层和平均值池化层；分类器用于判断产品中是否存在缺陷并找到特定的缺陷类别，回归器用于推断出缺陷的近似程度；步骤3，深度网络模型训练；步骤4，运用已训练好的深度网络模型进行缺陷检测。本发明方法提高了整个缺陷产品检测系统的工作效率，满足应对多生产流水线大数据产品实时检测。

Description

一种基于深度学习的多生产流水线实时缺陷检测方法

技术领域

本发明涉及产品检测技术领域，特别涉及多条生产流水线产品的实时缺陷检测处理方法。

背景技术

智能制造业的提出与发展，即工业4.0，改变了工业制造生产和产品检测的方式。传统模 式中，产品的检测由安插在流水线上的工人采用手工方式检测。该工作强度大、枯燥，工人 流动性大，有些工厂经常因缺少工人而被迫停产或降低生产效能。后来，提出了智能制造， 将工厂流水线产品检测由人工替换成了具有人类智慧识别判断能力的智能设备，衍生出了智 能工厂，智能工厂部署和启用了越来越多的物联网(IoT)设备，同时也收集到更多重要的数 据，使用这些数据，人们提出了许多新的方法，使得产品检测更加自动化、更加准确。

现有产品检测系统，通过一系列传感器的组合和识别码进行产品识别。例如，公告号为 CN201910343365.7的中国发明专利，公开了“产品检测系统及方法”，由暗箱、图像采集器、 照明设备、定位限制器、控制器和输送机构组成；其中，照明设备为暗箱提供照明；输送机 构安装的感应器将读取得到的目标产品的识别码发送至控制器；定位限制器将传送带上的目 标产品限制于暗箱内，并向控制器发送定位信号；控制器在接收到定位信号后触发图像采集 器采集目标产品的图像数据，对绑定有识别码的图像数据进行识别判断，并对目标产品的外 观异常情况进行异常告警。此种通过传感器和识别码进行识别的系统存在缺陷：(1)仅对有 识别码的图像进行识别判断，存在局限性。(2)由于实际生产中厂房存在多条生产流水线， 产生了大量需要检测识别的产品，当前使用的方法过于简单，仅凭识别码对产品进行异常识 别，可靠度、可信度都不高，检测产品时延长、效率低，无法满足实际场景中多条生产流水 线产品实时的分类检测需求。又如基于某些过滤器或某些基于特征的产品分类方法简单且容 易实现，但受到生产流水线复杂环境的限制，适用场景受到限制且产品检测效果不明显。

另外，收集到的生产流水线上产品还具有超大型数据的特点，如复杂性、类型多样性等。 需要分别对各条生产流水线上超大数据量的产品，进行实时处理并反馈结果。并且，大部分 现有分类模型都很难检测出缺陷产品的类型和缺陷程度，存在局限性。

发明内容

针对目前生产流水线产品分类检测方法中受生产环境限制、产品检测时延长，无法检测 出缺陷产品类型和缺陷程度，产品分类检测准确率低，仅仅依靠产品的识别码进行检测的局 限性，存在可信度低、效率低等问题，本发明提出一种基于深度学习的多生产流水线实时检 测系统，利用深度网络模型学习的方法，使模型获得了处理超大型数据的能力，减少分类检 测时延。此外，该模型可以同时检测出缺陷产品的类型和程度。

本发明提供的一种基于深度学习的多生产流水线实时缺陷检测方法，包括如下步骤：

步骤1，捕获生产流水线上待检测电视机电路板产品图像；

步骤2，构建深度网络模型，所述深度网络模型包括依次连接的特征提取网络、两个全连 接层和分类器与回归器，其中，特征提取网络包括4个级联的特征提取单元，每个特征提取 单元包括依次连接的卷积层、局部归一化层、最大池化层和平均值池化层；分类器用于判断 产品中是否存在任何缺陷并找到特定的缺陷类别，回归器用于推断出缺陷的近似程度；

步骤3，深度网络模型训练；

步骤4，运用已训练好的深度网络模型进行缺陷检测。

进一步的，步骤2中4个级联的特征提取单元中每一层卷积层的具体设置方式如下，

第一层卷积层卷积核大小是3*3，含有64个大小为3*3的卷积核，用于提取较大的特征；

第二层卷积层卷积核大小是3*3，含有128个大小为3*3的卷积核，用于提取中等大小 的特征；

第三层卷积层卷积核大小是3*3，含有256个大小为3*3的卷积核，用于提取较小的特 征；

第四层卷积层卷积核大小是3*3，含有512个大小为3*3的卷积核，用于提取较小的特 征。

进一步的，步骤2中分类器和回归器的总的损失函数设定如下，

总的损失函数具体表示为L＝λ₁L_degect+λ₂L_degree+λ₃L_dec，其中，

表示权重衰减 项，W表示根据先验知识设定的权重值；λ₁,λ₂,λ₃为预定义的值，用来描述对应损失函数在最 终损失值中的相对比例；L_degect用于判断所选数据样本的缺陷类别，即检测当前产品是否存在 特定的缺陷，L_degect是基于softmax函数构建的，给定n个输入样本χ＝{x₁,x₂,···,x_n}，数据集 y＝{y_x1,y_x2,···,y_xn}和D＝{r_x1,r_x2,···,r_xn}分别表示与输入样本x_i相关的真实值和缺陷程度；真 实可能结果值

的值由下列公式得到，

其中n为输入样本的数量， m为预定义缺陷的总类别数，i和j分别表示输入样本和特定缺陷的ID，

的值随图像中特 定缺陷类别的可能性在[0,1]范围内变化，

就表示m个类别向量(即有多少个类别，如 果这是6分类，m＝6)中的第j个值；L_degree用于预测产品缺陷的程度，参考fast R-CNN，将L_degree定义为：

其中， 当|x|＜1，

当|x|≥1，

x 表示输入样本x表示经过特征提取网络得到的特征矩阵，|x|表示对矩阵x求解范数。

进一步的，深度网络模型检测的缺陷类型包括(1)电路板产品的边缘检测，(2)电路 板产品的针孔检测，(3)电路板产品的线路检测，(4)电路板产品的锡面检测，(5)表示板产品的转角检测，(6)表示板产品的大小检测。

本发明的有益效果是，本发明采用深度学习网络检测模型，提高了整个缺陷产品检测系 统的工作效率，满足应对多生产流水线大数据产品实时检测，降低延时，并可识别产品缺陷 的类型和缺陷程度，弥补了现有检测系统的不可靠性、不准确性和延时长等问题。

本发明与现有技术相比，具有以下优势和积极效果：

(1)本发明基于深度学习的多生产流水线实时缺陷检测方法，降低了检测的时延，提高 了检查效率并且分类检测的准确率也得到了提高。

(2)本发明基于深度学习的多生产流水线实时缺陷检测方法，弥补了现有技术中不足， 可以有效识别产品的缺陷类别和缺陷程度。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为本发明示意图；

图2为本发明特征提取的深度网络监测模型结构示意图；

图3为本发明分类器和回归器网络的结构示意图；

图4为本发明与其他检测分类方法准确率的ROC变化曲线图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描 述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处 附图中描述和示出的本发明的实施例的详细描述并非旨在限制要求包含的本发明的范围，而 是仅仅表示本发明的选定实施例。

应注意到：相似的符号在下面附图中表示类似项，因此，一旦某一项在一个附图中被定 义，则在随后的附图中不需要对其进行进一步定义和解释。

如图1所示，一种基于深度学习的多生产流水线实时缺陷检测方法，该方法包括如下步骤：

(1)捕获生产流水线上待检测电视机电路板产品图像；

(2)将待处理产品图像输入到事先训练好的深度网络检测模型中进行缺陷检测，得到产 品缺陷程度和缺陷类别；

其中，上述所述的深度网络检测模型，包括对应的特征提取网络、分类器和回归器，特 征提取网络对待处理产品图像进行特征提取得到特征值，分类器和回归器对特征图像进行分 类回归得到产品缺陷类别和缺陷程度。

其中，多生产流水线实时检测系统训练方法，具体如下：

(1)建立深度网络模型；

(2)通过摄像机或传感器收集大量电视机电路板产品图像并进行人工标记，标记出存在缺陷 的类别和缺陷的程度，从而得到数据样本集；

(3)将上述得到数据样本集输入到深度网络模型进行特征提取与分类回归得到缺陷的类别 和缺陷的程度；

(4)将步骤(3)得到的缺陷类别和缺陷程度与人工标记的结果进行对比，从而调整深度网 络模型的各个参数链接权值，进而完成深度网络模型的训练。

特征提取网络包括4个级联的特征提取单元，每个特征提取单元包括连接的卷积层、局部 归一化层、最大池化层和平均值池化层；

卷积层采用卷积核在图像上依次滑动，对图像进行卷积运算，提取输入图像的特征；

局部归一化层采用3*3(像素)的领域在卷积层中得到的粗糙特征图像依次滑动，且对每 个领域内像素值进行均值和标准差的归一化操作，目的是减少光照的影响；

最大池化层采用3*3(像素)的领域在局部归一化层中得到的特征上依次滑动，且对每个 领域内的所有像素值取最大值，目的是得到具有平移不变性的较为精确的特征图；

平均值池化层采用3*3(像素)的领域在最大池化层中得到的较为精确的的特征图上依次 滑动，且对每个领域内的所有像素值取平均值，目的是得到对微小形变有鲁棒性的精确的特 征图，该特征图即最终对应的特征提取基本单元输出的特征图；

经过4个依次级联的特征提取基本单元最终输出特征图像。

4个4级联的特征提取基本单元中的卷积层的具体设置方式如下：

第一层卷积层卷积核大小是3*3，含有64个大小为3*3的卷积核，用于提取较大的特征；

第二层卷积层卷积核大小是3*3，含有128个大小为3*3的卷积核，用于提取中等大小 的特征；

第三层卷积层卷积核大小是3*3，含有256个大小为3*3的卷积核，用于提取较小的特 征；

第四层卷积层卷积核大小是3*3，含有512个大小为3*3的卷积核，用于提取较小的特 征。

分类器与回归器依次级联深度网络模型的第一全连接层和第二全连接层，所述的第一全 连接层输入上述特征图像，第二全连接层输出端连接有分类器和回归器；

第一全连接层对特征提取网络输出的特征图像进行加权计算，得到特征向量；

第二全连接层对第一全连接层输出的特征向量进行加权计算，得到特征细化突出的特征 向量；

分类器对第二全连接层输出的特征细化突出的特征向量进行判断，判断是否属于缺陷产 品及缺陷类别；

回归器对第二全连接层输出的特征细化突出的特征向量进行回归处理，得到检测出产品 的缺陷程度。

根据以上所述，本发明详细技术方案主要分为以下四部分：

1.获取待检测电视机电路产品图像：

该步骤通过生产流水线一侧的摄像头或者传感器捕获到的产品图像。

2.构建深度网络模型：

该步骤主要完成对上述获取到的产品图像进行特征提取，为后续深度网络进行分类和回 归提供服务。

优点：相比于传统的如SIFT等人工特征提取的方法，本发明使用卷积神经网络(CNN) 进行自动特征提取。人工特征提取时会遗漏重要的特征，导致图像特征没有完全表现出来， 而自动提取特征虽然存在特征多、参数多等不足，但可以比较高效地提取图像的重要特征。

首先需要对捕获到的图像进行特征提取。其结构如图2所示。卷积层：即利用卷积核在图 像上依次滑动，对图像进行卷积计算。卷积操作的作用是对图像提取特征。在本发明中，主 要是通过卷积核的大小和数量来控制每层提取不相同特征。

ReLU激活函数：作用是加快深度网络模型在训练时收敛速度，且运算较简单，可以节省 计算所需的资源。

局部归一化层：对图像领域内(本发明中使用3*3像素的区域)的每个像素值进行均值和方 差的归一化，减小背景和光照影响，捕获突出特征。本发明采用离差归一化即，将结果值映 射到[0,1]之间，该层的目的消除奇异样本数据导致的不良影响。归一化公式为：

其中，x表示归一化前的像素值，min(x)表示3*3像素区域最小的像素值，max(x)表示3*3 像素区域最大的像素值，x’表示归一化之后的值。

最大池化层：即对本发明中使用3*3像素的区域所有像素值求最大值，该层目的是缩小数 据量，使得提取到的特征具有平移不变性。

平均池化层：即对本发明中使用3*3像素的区域所有像素值球平均值，该层目的是小数据 量，使得提取到的特征具有微小形变的鲁棒性。

捕获到生产流水线上电视机电路板产品的图像，经过上述的深度网络模型对图像提取特 征，接着根据对这些候特征进行分类与回归，分类器将判断产品中是否存在任何缺陷并找到 特定的缺陷类别，而回归器将推断出可能缺陷的近似程度。分类与回归的网络结构由两个全 连接层完成，每个全连接层的节点数为1000个，其拓扑结构如图3所示。

ReLu层：全连接层的激活函数，参数与上述特征提取网络中的ReLu层一致。

Dropout层：增强泛化能力，Dropout层通过随机地隐藏一些全连接层节点增加，防止过拟 合。

Softmax层：对全连接层最终输出结果的评估，用来为分类器和回归器提供服务。

本发明通过设置总的损失函数可以实现缺陷产品类别和缺陷近似程度的多任务损失判 定，总的损失函数具体表示为L＝λ₁L_degect+λ₂L_degree+λ₃L_dec，其中，

表示权重衰减 项，W表示根据先验知识设定的权重值。λ₁,λ₂,λ₃为预定义的值，用来描述对应损失函数在最 终损失值中的相对比例。L_degect表示损失值，用于判断所选数据样本的缺陷类别，即检测当前 产品是否存在特定的缺陷。L_degect是基于softmax函数构建的，给定n个输入样本(即摄像头或 传感器捕获的图像)，χ＝{x₁,x₂,···,x_n}，数据集y＝{y_x1,y_x2,···,y_xn}和D＝{r_x1,r_x2,···,r_xn}分别 表示与输入样本x_i相关的真实值和缺陷程度。特别的，真实可能结果值

的值 由下列公式得到，

其中n 为输入样本的数量，m为预定义缺陷的总类别数，i和j分别表示输入样本和特定缺陷的ID。

的值随图像中特定缺陷类别的可能性在[0,1]范围内变化，

的值随图像中特定 缺陷类别的可能性在[0,1]范围内变化，

就表示m个类别向量(即有多少个类别，如果 这是6分类，m＝6)中的第j个值。L_degree用来预测产品缺陷的程度，本发明将其最小秩设为1， 表示缺陷程度最小。参考fast R-CNN，将L_degree定义为：

其中，当|x|＜1，

当|x|≥1，

x表示输入样本x表示经过特征提取网络得到的 特征矩阵，|x|表示对矩阵x求解范数。

3.深度网络模型训练

首先对摄像机或传感器捕获到的图像进行收集，随后将收集好的图像数据以及对应的标 注好的缺陷类型和缺陷程度送入到上述深度网络模型中进行训练。该训练过程主要在GPU上 进行，其训练过程概括为：

(3.1)首先得到电视机电路板图像训练集，并对图像上的存在的缺陷和缺陷程度进行标 记，电视机电路板的缺陷检测主要包括：

(1)路板产品的边缘检测，(2)电路板产品的针孔检测，(3)电路板产品的线路检测， (4)电路板产品的锡面检测，(5)电路板产品的转角检测，(6)电路板产品的大小检测，

(3.2)将上述电视机电路板图像训练集以及对应的标注好的缺陷类型和缺陷程度输入到 深度网络模型中，便可以得到相关的参数，将得到的结果与真实值进行比对，使用总的损失 函数来评价识别值与真实值的差异，再通过深度网络模型的迭代，调整网络模型中各个链接 权值，使得上述总的损失函数最小化。

4.运用已训练好模型进行缺陷检测

在本发明中，可以将摄像机或传感器捕获的原始图像进行缺陷检测，最终输出该图像是 否存在缺陷，如果存在缺陷，则给出缺陷的类别和缺陷程度。

结合图4，我们使用受试者工作特征曲线(ROC)来比较本发明方法和现有方法的分类检 测能力。ROC曲线(也称为相对工作特性曲线)通过使用各种检测方法比较真阳性率(TPR) 和假阳性率(FPR)来绘制。作为分类器参数的函数，TPR对FPR可以说明分类器系统的诊断 能力，其中TPR解释了在正样本空间中出现了多少正确的阳性结果，FPR解释了在负样本空间 中出现了多少正确的阳性结果。生产流水线产品图像数据的ROC曲线如图4所示，其中TPR和 FPR都从0开始，到1结束。从图中可以看出，ROC曲线呈现上升趋势，在FPR∈(0.2,0.3)之 后，ROC曲线进入相对稳定的增长取值，最终变为1，与我们的理论分析一致。本发明方法优 于轮廓检测、基于像素的检测和K-means检测方法。图4中，(1)表示电路板产品的边缘检测， (2)表示电路板产品的针孔检测，(3)表示电路板产品的线路检测，(4)表示电路板产品 的锡面检测，(5)表示电路板产品的转角检测，(6)表示电路板产品的大小检测。

表1是对本发明方法与其他方法进行运行效率对比。从表中可以看到，本发明的运行效率明显 高于传统分类检测方法，使得实时监测系统应用于实际生产中成为可能。

表1本发明方法与其他方法的运行效率对比

以上所述仅为本发明的部分实施例而已，并不用于限制本发明，对于本领域的技术人员 来说，本发明可以有各种改变。凡在本发明的精神和原则之内，所做的任何改变、等价替换 或改进等，均应包含在本发明的包含范围之内。注意，相似的标号和字母在下面的附图中表 示类似项。因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进一步定 义和解释。

Claims (4)

1.一种基于深度学习的多生产流水线实时缺陷检测方法，其特征在于，包括如下步骤：

步骤1，捕获生产流水线上待检测电路板产品图像；

步骤2，构建深度网络模型，所述深度网络模型包括依次连接的特征提取网络、两个全连接层和分类器与回归器，其中，特征提取网络包括4个级联的特征提取单元，每个特征提取单元包括依次连接的卷积层、局部归一化层、最大池化层和平均值池化层；分类器用于判断产品中是否存在缺陷并找到特定的缺陷类别，回归器用于推断出缺陷的近似程度；

步骤3，深度网络模型训练；

步骤4，运用已训练好的深度网络模型进行缺陷检测。

2.如权利要求1所述的一种基于深度学习的多生产流水线实时缺陷检测方法，其特征在于：步骤2中4个级联的特征提取单元中每一层卷积层的具体设置方式如下，

第一层卷积层卷积核大小是3*3，含有64个大小为3*3的卷积核，用于提取较大的特征；

第二层卷积层卷积核大小是3*3，含有128个大小为3*3的卷积核，用于提取中等大小的特征；

第三层卷积层卷积核大小是3*3，含有256个大小为3*3的卷积核，用于提取较小的特征；

第四层卷积层卷积核大小是3*3，含有512个大小为3*3的卷积核，用于提取较小的特征。

3.如权利要求1所述的一种基于深度学习的多生产流水线实时缺陷检测方法，其特征在于：步骤2中分类器和回归器的总的损失函数设定如下，

总的损失函数具体表示为L＝λ₁L_degect+λ₂L_degree+λ₃L_dec，其中，

表示权重衰减项，W表示根据先验知识设定的权重值；λ₁,λ₂,λ₃为预定义的值，用来描述对应损失函数在最终损失值中的相对比例；L_degect用于判断所选数据样本的缺陷类别，即检测当前产品是否存在特定的缺陷，L_degect是基于softmax函数构建的，给定n个输入样本χ＝{x₁,x₂,···,x_n}，数据集y＝{y_x1,y_x2,···,y_xn}和D＝{r_x1,r_x2,···,r_xn}分别表示与输入样本x_i相关的真实值和缺陷程度；真实可能结果值

的值由下列公式得到，

其中n为输入样本的数量，m为预定义缺陷的总类别数，i和j分别表示输入样本和特定缺陷的ID，

的值随图像中特定缺陷类别的可能性在[0,1]范围内变化，

表示m个类别向量中的第j个值；L_degree用于预测产品缺陷的程度，参考fast R-CNN，将L_degree定义为：

其中，当|x|＜1，

当|x|≥1，

x表示输入样本x表示经过特征提取网络得到的特征矩阵，|x|表示对矩阵x求解范数。

4.如权利要求1所述的一种基于深度学习的多生产流水线实时缺陷检测方法，其特征在于：深度网络模型检测的缺陷类型包括(1)电路板产品的边缘检测，(2)电路板产品的针孔检测，(3)电路板产品的线路检测，(4)电路板产品的锡面检测，(5)表示板产品的转角检测，(6)表示板产品的大小检测。

Images