CN111768388A - 一种基于正样本参考的产品表面缺陷检测方法及系统 - Google Patents

Abstract

本发明涉及一种基于正样本参考的产品表面缺陷检测方法及系统，该方法包括：构建相似性学习网络，用于根据输入样本计算样本的粗略包围框结果；构建映射分割网络，用于根据精简包围框结果对产品表面缺陷进行检测；获取训练集数据，所述数据为工业产品表面样本图像，所述样本图像包括无缺陷样本和缺陷样本；利用训练集分别对相似性学习网络和映射分割网络进行训练；获取待检测产品的表面图像；将表面图像输入训练后的相似性学习网络，得到粗略包围框结果；基于交集判断法对粗略包围框结果进行处理，得到精简包围框结果；将精简包围框结果输入训练后的映射分割网络，得到待检测产品的表面缺陷。本发明能够提高检测精度和检测速度。

Description

一种基于正样本参考的产品表面缺陷检测方法及系统

技术领域

本发明涉及缺陷检测领域，特别是涉及一种基于正样本参考的产品表面缺陷检测方法及系统。

背景技术

在工业生产的流水线上，产品表面的缺陷检测是一项必须且必要的环节，其检测的效果及精确度影响着工业生产的性能、效率及利润。传统手工定制特征的算法具有通用性差，检测精度低，开发成本高等缺点。基于图像处理的方法通过设定阈值，或者在频域进行处理，能够自动的进行缺陷的检测，但是由于工业场景受到光照，拍摄场景等外界因素的影响导致精度不高，通用性不好。而深度学习算法具有通用性好，检测精度高，鲁棒性强等优势。在缺陷自动化检测领域，基于深度学习算法正在逐步替代传统的算法。

工业生产环境中存在着三个主要的约束。第一是带缺陷的训练样本数量很少，现在大多数的深度学习网络都是通过大量的数据上进行训练才获得了理想的结果，例如MaskR-CNN。而工业生产环境中良品率远高于次品率，这样就导致小样本的难学习问题。第二是工业生产环境所使用的相机是固定物理位置的，拍摄的产品的背景存在着单一性，这导致样本的物理空间非常一致，而如今的算法并没有考虑工业生产情景中普遍存在的现象：图片的背景单一性。第三缺陷图片的高分辨率，如果直接图像输入由于参数的增多会占用大量的硬件资源难于达到实时性，且对于小缺陷部分出现难以检测的情况。

发明内容

本发明的目的是提供一种基于正样本参考的产品表面缺陷检测方法及系统，能够提高检测精度和检测速度。

为实现上述目的，本发明提供了如下方案：

一种基于正样本参考的产品表面缺陷检测方法，包括：

构建相似性学习网络，用于根据输入样本计算样本的粗略包围框结果；

构建映射分割网络，用于根据精简包围框结果对产品表面缺陷进行检测；

获取训练集数据，所述数据为工业产品表面样本图像，所述样本图像包括无缺陷样本和缺陷样本；

利用所述训练集分别对所述相似性学习网络和映射分割网络进行训练；

获取待检测产品的表面图像；

将所述表面图像输入训练后的相似性学习网络，得到粗略包围框结果；

基于交集判断法对所述粗略包围框结果进行处理，得到精简包围框结果；

将所述精简包围框结果输入训练后的映射分割网络，得到待检测产品的表面缺陷。

可选的，所述构建相似性学习网络，包括：

获取VGG16网络；

去除所述VGG16网络中所有maxpool层和FC层，得到第一神经网络；

将所述第一神经网络中第2、4、7、10、13卷积层的步长参数改为2，得到第二神经网络；

获取FPN卷积神经网络；

构建包围框回归网络，所述包围框回归网络包括一个2048维全连接层和一个18维全连接层；

将所述第二神经网络、FPN卷积神经网络和包围框回归网络依次连接，得到所述相似性学习网络。

可选的，所述构建映射分割网络，包括：

获取Xception卷积神经网络；

去除所述Xception卷积神经网络末尾的逻辑回归层、全连接层、平均池化层和2个深度可分离卷积层，得到第三神经网络；

获取ASPP网络；

构建解码网络，所述解码网络依次包括3*3卷积层、3*3卷积层、深度到空间上采样层、3*3卷积层和1*1卷积层；

将所述第三神经网络、ASPP网络和解码网络依次连接，得到所述映射分割网络。

可选的，所述基于交集判断法对所述粗略包围框结果进行处理，得到精简包围框结果，包括：

将所述粗略包围框结果处理为数据集合，为第一集合；

获取所述第一集合中的一个包围框；

判断所述包围框与第一集合中其他包围框是否有交集；

若是，则将所述包围框和其有交集的包围框构成第二集合，并将所述第二集合从第一集合中去除，得到第三集合；

跳转至步骤获取所述第一集合中的一个包围框，直至第一集合中没有重合的包围框；

通过bfs搜索将所述第二集合中的包围框列为一个大集合；

通过最大外接框算法将所述大集合融合为一个大包围框；

合并所述大包围框和第三集合，得到精简包围框结果。

一种基于正样本参考的产品表面缺陷检测系统，包括：

第一网络构建模块，用于构建相似性学习网络，所述相似性学习网络用于根据输入样本计算样本的粗略包围框结果；

第二网络构建模块，用于构建映射分割网络，所述映射分割网络用于根据精简包围框结果对产品表面缺陷进行检测；

第一数据获取模块，用于获取训练集数据，所述数据为工业产品表面样本图像，所述样本图像包括无缺陷样本和缺陷样本；

训练模块，用于利用所述训练集分别对所述相似性学习网络和映射分割网络进行训练；

第二数据获取模块，用于获取待检测产品的表面图像；

第一计算模块，用于将所述表面图像输入训练后的相似性学习网络，得到粗略包围框结果；

第二计算模块，用于基于交集判断法对所述粗略包围框结果进行处理，得到精简包围框结果；

第三计算模块，用于将所述精简包围框结果输入训练后的映射分割网络，得到待检测产品的表面缺陷。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明将无缺陷样本和缺陷样本引入到网络的训练来达到数据多样化的状态，从而解决样本过少，易过拟合的情况，而且本发明通过构建相似性学习网络来定位缺陷区域，其高效性优于传统的检测算法，再通过仿射包围框计算可以使得获取得到的包围框达到较高的集中率，此外，本发明的缺陷检测步骤只对检测出包围框的区域进行分割，不处理其他区域，避免了无用的计算量，加快了整体的检测速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于正样本参考的产品表面缺陷检测方法流程图；

图2为本发明基于正样本参考的产品表面缺陷检测系统模块图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于正样本参考的产品表面缺陷检测方法及系统，能够提高检测精度和检测速度。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明基于正样本参考的产品表面缺陷检测方法流程图；如图1所示，一种基于正样本参考的产品表面缺陷检测方法，包括：

步骤101：构建相似性学习网络，用于根据输入样本计算样本的粗略包围框结果；

步骤102：构建映射分割网络，用于根据精简包围框结果对产品表面缺陷进行检测；

步骤103：获取训练集数据，所述数据为工业产品表面样本图像，所述样本图像包括无缺陷样本和缺陷样本；

步骤104：利用所述训练集分别对所述相似性学习网络和映射分割网络进行训练；

步骤105：获取待检测产品的表面图像；

步骤106：将所述表面图像输入训练后的相似性学习网络，得到粗略包围框结果；

步骤107：基于交集判断法对所述粗略包围框结果进行处理，得到精简包围框结果；

步骤108：将所述精简包围框结果输入训练后的映射分割网络，得到待检测产品的表面缺陷。

具体的，本发明的设计方案主要可以概括为：

1、首先，需要对数据进行预处理，其过程如下：

收集得到工业缺陷样本，其中包括正样本和负样本，正样本即为无缺陷样本，负样本即为缺陷样本。

对负样本进行人工缺陷标注，以获取其缺陷语义分割图像。将工业缺陷的正负样本分别随机划分为训练集与测试集，其中80％作为训练集20％作为测试集。

并对所有正负样本图像数值归一化至[-1,1]的范围，以便网络训练与测试时作为输入数据。

通过对标注数据进行统计，预先对相似性学习网络最后三个下采样卷积层设置锚点值，锚点为一种表示检测出物体的长方形包围框的方法，在检测网络中首先预设值一定的锚点，通过网络训练的方法对预设值的锚点进行回归，最终得到准确的锚点位置，即为需要检测出目标的位置。在本发明的相似性学习网络中，分别对最后三个下采样层设置锚点大小为16×16、32×32、64×64。

2、然后，需要对缺陷检测网络进行设计，其网络结构如下：

基于孪生网络与VGG16网络的网络结构设计出相似性学习网络，将正负样本输入，获得负样本的粗略包围框结果。

a关于构建网络的结构

获取初始的VGG16卷积神经网络，并去除VGG16网络中所有maxpool层和FC层，将第2、4、7、10、13卷积层的步长stride参数改为2，得到改进后的VGG16网络。第二步，获取预测存在缺陷像素位置。将正样本与负样本输入改进后的VGG16网络，提取VGG16第7卷积层的正样本与负样本输出，计算正负样本在每个像素位置多张特征图上特征值构成的特征向量的余弦距离，输出第一张相关性热度图。提取VGG16第10卷积层的正样本与负样本输出，计算余弦距离，输出第二张相关性热度图。提取VGG16第13卷积层的正样本与负样本输出，计算余弦距离，输出第三张相关性热度图。分别统计得到3张相关性热度图中度量值最小的20％像素位置作为预测存在缺陷像素位置。第三步，获取多尺度融合的特征图，并根据预测存在缺陷像素位置提取出特征向量。获取FPN卷积神经网络，提取负样本在初始的VGG16第7、10、13卷积层的输出作为输入，输出3个尺寸与输入相同通道数为512的特征图。使用相关性热度图中统计得到的预测存在缺陷像素位置，对应FPN卷积神经网络的像素位置，输出每个像素位置的512维特征向量。第四步，构建包围框回归网络，网络由一个2048维全连接层和一个18维全连接层组成，对每个输入的512维特征向量输出18维特征向量。18维特征向量包含3组锚点修正值，6个特征值包含2个分类回归值，4个包围框回归值。第五步，计算出粗略包围框结果，将分类为缺陷的锚点修正值中的4个包围框回归值与预设锚点进行计算，得到粗略包围框结果。

其具体原理及计算过程为：

正负样本输入数据首先进入一个由VGG16网络改进的骨干网络，其内部结构依次为，1个核为3*3的卷积层，1个核为3*3步长为2的下采样卷积层，1个核为3*3的卷积层，1个核为3*3步长为2的下采样卷积层，2个核为3*3的卷积层，1个核为1*1步长为2的下采样卷积层，2个核为3*3的卷积层，1个核为1*1步长为2的下采样卷积层，2个核为3*3的卷积层，1个核为1*1步长为2的下采样卷积层。每个卷积层都有批归一化和ReLU激活函数的后处理。

提取正负样本在骨干网络最后三个下采样卷积层的输出，分别为一对比原尺寸缩小1/8通道数256的特征图、一对比原尺寸缩小1/16通道数512的特征图、一对比原尺寸缩小1/32通道数512的特征图，特征图数据包含了骨干网络提取得到的正负样本特征信息。计算特征图差异，从三对正负样本特征图中计算相关性热度图，方法为计算一对特征图每个像素位置中多个通道构成的特征向量的余弦距离作为该位置的相似性度量值，计算公式如下：

其中v代表相关性热度图，u代表像素位置，x代表该像素位置下的负样本特征向量，y代表该像素位置下的正样本特征向量，n代表通道数。输出3个相关性热度图分别为比原尺寸缩小1/8通道数1的热度图、比原尺寸缩小1/16通道数1的热度图、比原尺寸缩小1/32通道数1的热度图，在热度图中负样本无缺陷区域的相似性度量值较大，负样本缺陷区域的相似性度量值较小。分别搜索并记录3个相关性热度图中后20％相似性度量值最小的像素位置，这些像素位置用于包围框回归网络的输入提取，相关性热度图的处理得到了包围框回归网络中输入数据的位置。

同时提取负样本在骨干网络最后三个下采样卷积层的输出，分别为一个比原尺寸缩小1/8通道数256的特征图、一个比原尺寸缩小1/16通道数512的特征图、一个比原尺寸缩小1/32通道数512的特征图，只使用负样本的输出。将其输入到FPN网络进行特征融合。FPN网络输出3个特征图，其大小为比原尺寸缩小1/8的特征图、比原尺寸缩小1/16的特征图、比原尺寸缩小1/32的特征图。FPN网络通过上采样和叠加的方法将高层特征图与低层特征图的特征信息进行了融合。同时，在3个特征图尺寸不变的情况下将3个特征图通道数处理为一致，这使得包围框回归网络可以直接使用3个特征图的特征信息进行回归。FPN网络处理得到了包围框回归网络中输入数据的特征值，并可以与相关性热度图中的像素位置对应。

FPN网络内部结构：将缩小1/32的特征图输入核为1*1的卷积层，卷积后的结果作为第一个输出特征图。对前者输出进行二次插值上采样，将缩小1/16的特征图输入核为1*1的卷积层并与上采样结果相加，相加后的结果作为第二个输出特征图。对前者相加后的结果进行二次插值上采样，将缩小1/8的特征图输入核为1*1的卷积层并与上采样结果相加，相加后的结果作为第三个输出特征图。

使用相关性热度图中得到的20％像素坐标位置并在FPN网络输出的3个特征图对应位置进行一维向量提取(即将对特征图中同一个像素坐标不同通道上的特征值进行提取并组成一维向量)，得到多个位置的一维向量作为包围框回归网络的输入。将一维向量输入包围框回归网络，对输入的一维向量进行全连接神经网络处理。其内部结构依次为，1个2048维的全连接层，1个18维的全连接层。最后包围框回归网络的输出是对每个输入的一维向量得到1个长度18的一维向量，其中有3组锚点修正值(一个锚点修正值中包含6个数值2个代表分类值、2个代表xy方向的平移值、2个代表长宽的缩放值，锚点修正值对预设锚点进行平移缩放修正即可得到最终包围框)。锚点修正值与其对应像素位置的预设锚点进行计算得到负样本粗略包围框结果。包围框回归网络输出的锚点修正值作为中间结果，需要判断分类结果并对预设锚点进行平移缩放计算后才能得到负样本粗略包围框结果。而上述网络所构成的相似相学习网络所需要的输出即为负样本粗略包围框结果。锚点修正值作为网络中间结果解决了包围框无法直接用于网络训练的问题。

b将正负样本输入构建好的相似性学习网络，输出负样本的粗略包围框结果。

3、在获得粗略包围框结果后，设计基于交集判断的包围框合并集算法，将多而杂的粗略包围框结果转换为最终用于缺陷分割的包围框结果。

第一步，将得到的粗略缺陷包围框处理为数据集合

第二步，获取集合中的一个包围框，并用其与集合中其他包围框进行是否有交集的判断，将第一个包围框与和其有交集的其他包围框重新构成新的集合，并从原始集合中将这些包围框去除。重复使用新集合中的包围框与原始集合进行判断直至没有重合的包围框。计算新构成集合中所有包围框的最小外包围框，将得到的最小外包围框存入输出集合中。(即：通过bfs搜索将所有存在交集的包围框列为一个大集合，再通过最大外接框算法将它融合成一个大的包围框)。

第三步，重复第二步的内容直至原始输入集合中所有包围框均被去除。

第四部，将第二步第三步获取得到的输出集合作为算法的最终输出，即为精简后的包围框。

4、在获得精简包围框结果后，设计映射分割网络对负样本包围框内的图像进行分割任务，最终获得缺陷语义分割图像。

a关于构建网络的结构

第一步，获取差值图像输入。将正负样本做差，使用精简后包围框结果截取差值图像相应位置，输出差值图像。第二步，获取现有的Xception卷积神经网络，然后去除网络末尾的逻辑回归层、全连接层、平均池化层、2个深度可分离卷积层，输入差值图像。第三步，获取ASPP网络，提取改进后的Xception卷积神经网络输出层输出作为输入，输出256通道特征图。第四步，将改进后的Xception网络中多尺度特征图通过空间转深度进行合并，提取改进后的Xception卷积神经网络Entryflow、Middleflow、Exitflow3部分的输出。对Entryflow、Middleflow输出使用空间转深度处理至Exitflow输出相同尺寸，将2个处理后的特征图与Exitflow输出合并，对合并结果进行1*1卷积，输出512通道特征图。将512通道特征图与ASPP网络输出的256通道特征图合并，输出768通道特征图。第五步，构建解码网络，网络依次为3*3卷积层，3*3卷积层，深度转空间处理将特征图尺寸处理为与输入差值图像相同，3*3卷积层，1*1卷积层。将768通道特征图输入解码网络，输出缺陷语义分割预测图像，即得到样本的表面缺陷。

其具体原理及计算过程如下：

首先从包围框合并集算法输出的精简包围框结果中获得需要进行缺陷语义分割的图像区域，并对正负样本作差后裁剪出该区域来作为映射分割网络输入。

输入图像首先通过Xception-65网络进行特征提取，使用现有网络结构Xception，最终输出为比原尺寸小1/32通道数1024的特征图。网络对输入的正负样本差值图像进行特征提取，得到了缺陷区域的特征数据，方便其后的解码网络生成缺陷语义分割图像。其内部结构依次为，1个核为3*3步长为2的下采样卷积层，1个核为3*3的卷积层，3个卷积残差块(残差块中输入分别进行，1个核为1*1步长为2的下采样卷积层，2个核为3*3的深度可分离卷积层和步长为2的3*3最大池化，并将两个输出相加)，1个卷积残差块(残差块中输入进行3个核为3*3的深度可分离卷积层，并与原始输入相加)，1个卷积残差块(残差块中输入分别进行，1个核为1*1步长为2的下采样卷积层，2个核为3*3的深度可分离卷积层和步长为2的3*3最大池化层，并将两个输出相加)。每个卷积层都有ReLU激活函数的后处理。

将Xception-65网络结果输入ASPP网络进行特征提取，使用现有网络结构ASPP得到ASPP结构输出特征图，最终输出为一个比原尺寸小1/32通道数256的特征图。网络对Xception-65网络的输出进行了多尺度卷积核的空洞卷积，从原来得到的缺陷区域特征数据中获取了更多尺度信息，为其后的解码网络生成缺陷语义分割图像提供更多信息。其内部结构为，分别使用1个核为1*1卷积层和3个核为3*3采样率为rates＝{6,12,18}的空洞卷积层进行卷积，将得到的特征图合并后输入1个核为1*1卷积层。

对Xception-65网络中前三个卷积残差块的输出进行空间转深度处理。空间转深度的处理方法是将第一个卷积残残差块的输出进行8*8空间内的空间转深度处理，将第二个卷积残残差块的输出进行4*4空间内的空间转深度处理，将第三个卷积残残差块的输出进行2*2空间内的空间转深度处理，最终将处理后的三个特征图合并得到S2D结构输出特征图，其大小为比原尺寸小1/32的特征图。该结构将Xception-65网络低层结果融合到编码网络整体输出特征图中，为其后的解码网络生成缺陷语义分割图像提供更多信息。

将ASPP结构输出特征图和S2D结构输出特征图进行合并得到编码网络整体输出特征图，其大小为比原尺寸小1/32的特征图。

将编码网络整体输出特征图输入解码网络获取缺陷语义分割图像，其内部结构为，2个核为3*3的卷积层，1个深度转空间处理层，1个核为3*3的卷积层，1个核为1*1的卷积层，1个sigmoid激活函数。最终输出即为缺陷语义分割预测图像。

b利用构建好的映射分割网络对输入进行分割任务，得到负样本的缺陷语义分割预测图像。

5、对设计的网络进行训练，获取理想的网络参数。

a针对相似性学习网络的训练步骤

对于相似性学习网络，首先训练骨干网路，使其可以计算得到准确的相关性热度图，提供准确的缺陷像素位置，使其后的网络可以正常训练。骨干网络的训练可以分为从人工缺陷标注得到相关性热度图标签，设计骨干网络损失函数，反馈训练得到合适的网络参数。

第一步，通过计算从缺陷语义分割图像(人工缺陷标注)得到相似性学习网络所需的相关性热度图标签，用于网络训练中得到的相关性热度图进行损失函数计算，该计算方法如第二步中所示。

通过对缺陷语义分割图像降采样至相似性学习网络最后三个下采样层特征图大小(即分别缩小至1/8、1/16、1/32)，并规定每个像素位置所对应预设锚点与缺陷语义分割图像(人工缺陷标注)的交集占锚点面积大于50％的设为-1，交集小于20％的设为1，交集在这之间设为0。真实标注包围框的计算过程如下所示：

其中u代表像素位置，y(u)表示需要计算得到的相关性热度图标签，area(anc[u]∩l)表示锚点与缺陷语义分割图像交集的面积大小，area(anc)表示锚点的面积大小，l，-1,0表示此像素位置的相似性度量值。

第二步，设计出相似性学习网络中骨干网络的训练损失函数。其损失函数如下所示：

l(y,v)＝log(1+e^-yv)

其中y表示相关性热度图标签，v表示通过骨干网络正负样本输出计算得到的相关性热度图，D表示相关性热度图的像素坐标空间。第一个公式给出在相同像素位置，网络输出的相关性热度图数值与标签的数值如何计算损失。第二个公式对第一个公式中计算得到的相关性热度图每个像素位置的损失值进行求和取均值操作，得到最终的相似性度量损失函数，也就是骨干网络的损失函数。

可以看出当真实标注为1时，v的值要越大越好，当真实标注为-1时v的值要越小越好。损失函数中y、D为已知量，通过骨干网络损失函数优化骨干网络参数，骨干网络的正负样本输出可以计算出准确的相关性热度图v，从而提供准确的缺陷位置像素坐标。

第三步，输入训练数据，对骨干网络进行反馈训练，在网络损失函数达到设定的阈值或稳定于一个数值时，结束网络的训练并保存骨干网络参数。

在骨干网络训练完成后，冻结骨干网络参数，只训练FPN网络与包围框回归网络的网络参数，使整个相似性学习网络可以输出准确的负样本粗略包围框结果。

第四步，对包围框回归网络输出的锚点修正值设计损失函数。对锚点修正值中2个分类值的损失计算，本发明使用交叉熵损失函数，其公式如下：

L_cls(y,y*)＝-[y*×log(y)+(1-y*)×log(1-y)]

其中y为包围框回归网络输出的锚点修正值中的2个分类值，y*为锚点位置对应的分类标注。锚点位置分类标注y*的获取，通过对锚点与缺陷语义分割图像求面积交并比，并设置阈值，将超过阈值的锚点标记为[0,1]即为存在缺陷，将未超过阈值的锚点标记为[1,0]即为不存在缺陷。通过对输出分类值的训练可以使包围框回归网络对锚点是否存在缺陷做出准确判断。

对锚点修正值中2个xy方向的平移修正值、2个高宽的缩放修正值的损失计算，本发明使用Smooth_l1损失函数，它能够有效地解决梯度爆炸和零点不可微问题。同时只对锚点分类标注为缺陷的目标进行包围框的回归。最终得到回归损失函数如下所示：

其中t表示网络输出锚点修正值，t^*表示真实锚点修正值。真实锚点修正值标注t^*，通过在分类标注为存在缺陷的锚点中进行计算获得。首先通过最小包围框算法从缺陷语义分割图像中获得包围框信息。将真实缺陷包围框x坐标与预设锚点x坐标相减并除以预设锚点x坐标，得到x坐标的平移修正值。将真实缺陷包围框y坐标与预设锚点y坐标相减并除以预设锚点y坐标，得到y坐标的平移修正值。将真实缺陷包围框高度与预设锚点高度相除并取对数，得到高度的缩放修正值。将真实缺陷包围框宽度与预设锚点宽度相除并取对数，得到宽度的缩放修正值，这四个修正值构成t^*。

设计联合训练损失函数来训练网络参数。其损失函数如下所示：

其中λ表示锚点回归损失权重，L_cls(yi,y_i*)表示锚点分类损失，L_reg(t_i,t_i*)表示锚点回归损失，y_i表示包围框回归网络的2个分类值输出，t_i表示包围框回归网络的4个包围框修正系数输出。该损失函数中，计算多个锚点的分类损失均值，计算多个锚点的包围框修正系数损失均值，将包围框修正系数损失均值乘以系数后与分类损失均值相加，得到联合损失函数对网络进行训练。

第五步，输入训练数据，对FPN网络和包围框回归网络进行反馈训练。最终，当训练所使用的联合损失函数达到设定的阈值或稳定于一个数值时，结束网络的训练并保存FPN网络与包围框回归网络参数。

b针对映射分割网络的训练步骤

第一步，设计映射缺陷分割网络的损失函数。其损失函数参考了U-Net等常见图像分割网络，最终使用带权值的交叉熵计算得到网络训练损失。其损失函数如下所示：

Loss(h_θ(x),y)＝-α_wylog(h_θ(x))-(1-α_w)(1-y)log(1-h_θ(x))

其中h_θ(x)表示网络输出分割结果，y表示缺陷语义分割图像，α_w表示正负样本的均衡权值。由于本算法任务中，正标签远大于负标签所以本次实验中设置α_w＝0.8，从而让网络来重点关注负标签区域。

第二步，将训练集数据输入网络，进行反馈训练。训练中使用相似性学习网络与仿射包围框计算算法，相似性学习网络参数保持不变，调节映射分割网络参数。最终，当分割准确率达到设定的阈值或稳定于一个数值时，结束网络的训练并保存映射分割网络参数。

6、最终，得到以上相似性学习网络参数、仿射包围框计算算法、映射分割网络参数三部分，即可对相应的工业缺陷图像进行检测。

对应于上述方法，本发明还公开了一种基于正样本参考的产品表面缺陷检测系统，如图2所示，包括：

第一网络构建模块201，用于构建相似性学习网络，所述相似性学习网络用于根据输入样本计算样本的粗略包围框结果；

第二网络构建模块202，用于构建映射分割网络，所述映射分割网络用于根据精简包围框结果对产品表面缺陷进行检测；

第一数据获取模块203，用于获取训练集数据，所述数据为工业产品表面样本图像，所述样本图像包括无缺陷样本和缺陷样本；

训练模块204，用于利用所述训练集分别对所述相似性学习网络和映射分割网络进行训练；

第二数据获取模块205，用于获取待检测产品的表面图像；

第一计算模块206，用于将所述表面图像输入训练后的相似性学习网络，得到粗略包围框结果；

第二计算模块207，用于基于交集判断法对所述粗略包围框结果进行处理，得到精简包围框结果；

第三计算模块208，用于将所述精简包围框结果输入训练后的映射分割网络，得到待检测产品的表面缺陷。

本发明还公开了如下技术效果：

本发明尝试对基于正样本参考的表面缺陷检测算法的研究，通过使用正样本参考来解决工业生产环境中普遍存在的问题：

(1)针对工业生产环境的单一性，本发明设计了一个孪生检测网络，通过正负样本的对比来学习样本的非相关性从而获得候选区域坐标，通过逻辑回归和仿射包围框空间定位出粗略缺陷区域从而解决图像的高分辨率定位问题与小样本难训练问题。

(2)通过正负样本的比较本发明提出了一个从差异中学习的映射分割全卷积框架，将语义问题转化为单值映射问题。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种基于正样本参考的产品表面缺陷检测方法，其特征在于，包括：

构建相似性学习网络，用于根据输入样本计算样本的粗略包围框结果；

构建映射分割网络，用于根据精简包围框结果对产品表面缺陷进行检测；

获取训练集数据，所述数据为工业产品表面样本图像，所述样本图像包括无缺陷样本和缺陷样本；

利用所述训练集分别对所述相似性学习网络和映射分割网络进行训练；

获取待检测产品的表面图像；

将所述表面图像输入训练后的相似性学习网络，得到粗略包围框结果；

基于交集判断法对所述粗略包围框结果进行处理，得到精简包围框结果；

将所述精简包围框结果输入训练后的映射分割网络，得到待检测产品的表面缺陷。

2.根据权利要求1所述的基于正样本参考的产品表面缺陷检测方法，其特征在于，所述构建相似性学习网络，包括：

获取VGG16网络；

去除所述VGG16网络中所有maxpool层和FC层，得到第一神经网络；

将所述第一神经网络中第2、4、7、10、13卷积层的步长参数改为2，得到第二神经网络；

获取FPN卷积神经网络；

构建包围框回归网络，所述包围框回归网络包括一个2048维全连接层和一个18维全连接层；

将所述第二神经网络、FPN卷积神经网络和包围框回归网络依次连接，得到所述相似性学习网络。

3.根据权利要求1所述的基于正样本参考的产品表面缺陷检测方法，其特征在于，所述构建映射分割网络，包括：

获取Xception卷积神经网络；

去除所述Xception卷积神经网络末尾的逻辑回归层、全连接层、平均池化层和2个深度可分离卷积层，得到第三神经网络；

获取ASPP网络；

构建解码网络，所述解码网络依次包括3*3卷积层、3*3卷积层、深度到空间上采样层、3*3卷积层和1*1卷积层；

将所述第三神经网络、ASPP网络和解码网络依次连接，得到所述映射分割网络。

4.根据权利要求1所述的基于正样本参考的产品表面缺陷检测方法，其特征在于，所述基于交集判断法对所述粗略包围框结果进行处理，得到精简包围框结果，包括：

将所述粗略包围框结果处理为数据集合，为第一集合；

获取所述第一集合中的一个包围框；

判断所述包围框与第一集合中其他包围框是否有交集；

若是，则将所述包围框和其有交集的包围框构成第二集合，并将所述第二集合从第一集合中去除，得到第三集合；

跳转至步骤获取所述第一集合中的一个包围框，直至第一集合中没有重合的包围框；

通过bfs搜索将所述第二集合中的包围框列为一个大集合；

通过最大外接框算法将所述大集合融合为一个大包围框；

合并所述大包围框和第三集合，得到精简包围框结果。

5.一种基于正样本参考的产品表面缺陷检测系统，其特征在于，包括：

第一网络构建模块，用于构建相似性学习网络，所述相似性学习网络用于根据输入样本计算样本的粗略包围框结果；

第二网络构建模块，用于构建映射分割网络，所述映射分割网络用于根据精简包围框结果对产品表面缺陷进行检测；

第一数据获取模块，用于获取训练集数据，所述数据为工业产品表面样本图像，所述样本图像包括无缺陷样本和缺陷样本；

训练模块，用于利用所述训练集分别对所述相似性学习网络和映射分割网络进行训练；

第二数据获取模块，用于获取待检测产品的表面图像；

第一计算模块，用于将所述表面图像输入训练后的相似性学习网络，得到粗略包围框结果；

第二计算模块，用于基于交集判断法对所述粗略包围框结果进行处理，得到精简包围框结果；

第三计算模块，用于将所述精简包围框结果输入训练后的映射分割网络，得到待检测产品的表面缺陷。

Images