CN111768385A - Usb表面缺陷检测的神经网络检测方法 - Google Patents

Abstract

本发明公开了一种USB表面缺陷检测的神经网络检测方法，包括SqueezeNet神经网络，根据拍摄的USB图片制作数据集，使用数据集对SqueezeNet网络进行训练。本发明缩小了ROI区域，SqueezeNet网络的识别准确度和速度。

Description

USB表面缺陷检测的神经网络检测方法

技术领域

本发明涉及一种神经网络检测方法。

背景技术

背景技术的内容只是为了帮助理解技术内容，并非现有技术。SqueezeNet由伯克利&斯坦福的研究人员合作发表于ICLR-2017，采用不同于传统的卷积方式，提出firemodule；fire module包含两部分：squeeze层+expand层，Expand层分别用1*1和3*3卷积，然后concat，这个操作在inception系列里面也有。SqueezeNet的核心在于Fire module，Firemodule由两层构成，分别是squeeze层+expand层，如下图1所示，squeeze层是一个1*1卷积核的卷积层，expand层是1*1和3*3卷积核的卷积层，expand层中，把1*1和3*3得到的feature map进行concat。Fire module输入的feature map为H*W*M的，输出的feature map为H*M*(e1+e3)，可以看到feature map的分辨率是不变的，变的仅是维数，也就是通道数，这一点和VGG的思想一致。

在对ROI图片进行SqueezeNet网络的训练过程中，由于ROI图片较大，造成SqueezeNet网络在训练过程中识别准确度较低，识别速度慢，因此，如何缩小ROI图片区域，提高SqueezeNet网络识别准确度和速度是急需解决的问题。

发明内容

本发明的目的在于提供一种基于切片后ROI图片来缩小ROI区域，用来对SqueezeNet网络训练的方法。

本发明采用以下技术方案实现：

USB表面缺陷检测的神经网络检测方法，其特征在于：根据拍摄的USB图片制作数据集，

使用数据集对SqueezeNet网络进行训练。

首先，利用硬件装置拍摄出原始图片。

然后执行软件程序裁剪出ROI区域(1000X800)。

将裁剪出ROI区域的图片按照7:3的比例分成train(训练)和test(测试)两个数据集。

对训练集和测试集，按照类型，执行软件程序分别裁剪出切片数据(200X200)，因为裁剪出的切片数据有大量是不含有缺陷的，因此需要对裁剪出的切片数据进行挑选和整理。

准备好切片数据集后，我们需要将切片数据集进行重命名并将其所在路径与标签保存在两个文本文件中，然后生成caffe深度学习框架可以读取的LMDB格式。然后我们在caffe深度学习框架内，基于SqueezeNet网络对切片训练数据进行特征学习，模型会通过小化标签值与预测值之间的loss来更新权重和偏置参数，设置迭代次数为10000，以得到相对最优的模型。在这里需要说明的是，标签值指的是切片数据的真实分类属性，其用来表征数据的类型，预测值是SqueezeNet网络通过学习切片的特征而给出的预测分类属性，网络会通过不断减小标签值和预测值之间的误差来优化模型参数。

优选的，根据拍摄的USB图片制作数据集的方法为：

1)拍摄USB原始图片；

2)执行软件程序对图片裁剪出ROI区域，按照7：3的比例将裁剪后的图片分为训练集和测试集，并对训练集和测试集按照斑点、变形、划伤、亮线、压印、脏污、正常标签进行分类；

3)执行软件程序对训练集和测试集按照一定的步长进行滑窗裁剪，对训练集和测试集中裁剪出的切片按照斑点、变形、划伤、亮线、压印、脏污、正常标签进行分类。

优选的，使用数据集对SqueezeNet网络进行训练方法为：

1)将训练集切片和对应的标签输入SqueezeNet网络进行训练，该网络输出softmaxwithloss损失函数值，迭代10000次；

2)在迭代过程中使用sgd方法更新SqueezeNet网络的权重和偏置参数；

3)在迭代后输出的softmaxwithloss损失函数loss值中选择损失函数loss值最小的SqueezeNet网络作为训练后的网络。

本发明的有益效果是：

1、缩小了ROI区域，提高了SqueezeNet网络的识别准确度和速度

附图说明

图1为本发明的OSTU分割效果图。

图2为本发明的闭运算效果图。

图3为本发明的阈值化后的灰度值反转图。

图4为本发明的原图和处理后图像。

图5为本发明的绘制的轮廓示意图。

图6为本发明的窗口中心点在像素坐标系下的示意图。

图7为本发明的ROI截取效果图。

图8为本发明的图像处理示意图。

图9为本发明的ROI区域示意图。

图10为本发明的ROI数据集示意图。

图11为本发明的切片数据集示意图。

图12为本发明的切片数据集标签示意图。

图13为本发明的SqueezeNet网络示意图

图14为本发明的训练后测试集效果示意图。

图15为本发明的训练后测试集精度示意图。

具体实施方式

一种USB表面缺陷检测的神经网络检测方法，其特征在于：根据拍摄的USB图片制作数据集，使用数据集对SqueezeNet网络进行训练。

首先，利用硬件装置拍摄出原始图片。

然后执行软件程序裁剪出ROI区域(1000X800)。

将裁剪出ROI区域的图片按照7:3的比例分成train(训练)和test(测试)两个数据集。

对训练集和测试集，按照类型，执行软件程序分别裁剪出切片数据(200X200)，因为裁剪出的切片数据有大量是不含有缺陷的，因此需要对裁剪出的切片数据进行挑选和整理。

准备好切片数据集后，我们需要将切片数据集进行重命名并将其所在路径与标签保存在两个文本文件中，然后生成caffe深度学习框架可以读取的LMDB格式。然后我们在caffe深度学习框架内，基于SqueezeNet网络对切片训练数据进行特征学习，模型会通过小化标签值与预测值之间的loss来更新权重和偏置参数，设置迭代次数为10000，以得到相对最优的模型。在这里需要说明的是，标签值指的是切片数据的真实分类属性，其用来表征数据的类型，预测值是SqueezeNet网络通过学习切片的特征而给出的预测分类属性，网络会通过不断减小标签值和预测值之间的误差来优化模型参数。

优选的，根据拍摄的USB图片制作数据集的方法为：

1)拍摄USB原始图片；

2)执行软件程序对图片裁剪出ROI区域，按照7：3的比例将裁剪后的图片分为训练集和测试集，并对训练集和测试集按照斑点、变形、划伤、亮线、压印、脏污、正常标签进行分类；

3)执行软件程序对训练集和测试集按照一定的步长进行滑窗裁剪，对训练集和测试集中裁剪出的切片按照斑点、变形、划伤、亮线、压印、脏污、正常标签进行分类。

优选的，使用数据集对SqueezeNet网络进行训练方法为：

1)将训练集切片和对应的标签输入SqueezeNet网络进行训练，该网络输出softmaxwithloss损失函数值，迭代10000次；

2)在迭代过程中使用sgd方法更新SqueezeNet网络的权重和偏置参数；

3)在迭代后输出的softmaxwithloss损失函数loss值中选择损失函数loss值最小的SqueezeNet网络作为训练后的网络。

实施例1

网络训练方法的数据制作部分：

1.1.1原始图片拍摄

利用硬件装置拍摄出原始图片(2448X2048)，如图2所示。

1.1.2 ROI图片生成

执行软件程序裁剪出ROI区域(1000X800)，如图3所示。将ROI数据按照7:3的比例分成train(训练)和test(测试)两个数据集，数据集具体数量如图3所示。

1.1.2切片数据生成

对训练集和测试集，按照类型，执行软件程序分别裁剪出切片数据(200X200)，如图4所示：因为裁剪出的切片数据有大量是不含有缺陷的，因此需要对裁剪出的切片数据进行挑选和整理，整理后的切片数量统计如图4所示。

1.2网络训练部分

准备好切片数据集后，我们需要将切片数据集进行重命名并将其所在路径与标签保存在两个文本文件中，然后生成caffe深度学习框架可以读取的LMDB格式。然后我们在caffe深度学习框架内，基于SqueezeNet网络对切片训练数据进行特征学习，模型会通过小化标签值与预测值之间的loss来更新权重和偏置参数，设置迭代次数为10000，以得到相对最优的模型。在这里需要说明的是，标签值指的是切片数据的真实分类属性，其用来表征数据的类型，预测值是SqueezeNet网络通过学习切片的特征而给出的预测分类属性，网络会通过不断减小标签值和预测值之间的误差来优化模型参数。

1.2.1 LMDB数据生成

在这里我们对切片数据集所指定的标签值如表3所示。

表3切片数据不同类型所指定的标签值

	斑点	变形	划伤	亮线	压印	脏污	正常
								标签值	5	1	4	0	2	5	3

通过编写的matlab软件程序对切片数据进行重新命名、保存路径以及标签值于文本文档中等操作，然后通过caffe框架内工具对该文本文档处理直接生成caffe可以读取的LMDB格式数据。

1.2.2 SqueezeNet学习数据特征、更新参数以及生成最优模型

SqueezeNet网络于2016年提出，其在不降低学习分类精度的同时大幅降低了模型的参数，极大地提高了其实时性和效率性，对于工业现场的产品实时检测具有明显的优势。

SqueezeNet网络结构由开始时的一个卷积层和一个池化层，结束时的一个全连接层、一个drop层、一个卷积层以及一个池化层，加上中间的8个相同的fire module模块组成。其通过卷积核逐层提取特征，拟合网络层的权重以及偏置参数，同时以最小化loss为目标在迭代过程中不断更新各网络层的参数，最终生成相对最优的网络模型。

所使用的网络结构如图5所示。

实施例2

USB表面缺陷检测的神经网络检测方法，包括：

步骤1、图像阈值化

阈值化操作其基本思想就是将图像中的每一个像素与给定的像素值进行比较，并根据比较结果，做出相应的操作，例如将小于给定像素值的像素点的灰度值设定为“0”或者255，大于给定像素值的像素点不变等，即完成了最简单的图像分割。

大津法(OSTU)阈值化操作，是采用OSTU算法进行图像二值化的操作。其利用最大类间方差法，使用聚类的思想，把图像的灰度数按灰度级分成2个部分，使得两个部分之间的灰度值差异最大，每个部分之间的灰度差异最小，通过方差的计算来寻找一个合适的阈值来划分。然后根据阈值将图像分为前景(白色)或者背景(黑色)，但不适应检测区域面积较小的情况。

假设经OSTU处理后，前景区域的像素点占比为w0，平均灰度值为u0，背景区域的像素点占比为w1，平均灰度值为u1，则处理后整幅图的平均灰度值为：

u＝w₀u₀+w₁u₁

前景区域和背景区域之间的方差为

g＝w₀(u₀-u)²+w₁(u₁-u)²＝w₀w₁(u₀-u₁)²

当遍历图像中的像素值t作为阈值时，使得g最大的t即为最合适的阈值，此时认为前景和背景之间的差异最大，即阈值化的效果最好。

otsu算法被认为是图像分割中阈值选取的最佳算法，计算简单，不受图像亮度和对比度的影响。因此，使用类间方差最大法分割意味着错分概率最小。

步骤2、形态学处理

数学形态学处理是一门建立在格论和拓扑学基础知识的图像分析学科，是数学形态学处理的基本理论。膨胀和腐蚀是数学形态学处理的基础操作。

闭运算就是先膨胀后腐蚀的过程。经过膨胀和腐蚀，使得高亮区域面积先变大后变小，排除了图像中的黑点，实现了图像的平滑。

膨胀是求局部最大值的操作。从数学角度来说，就是将图像或者图像的一部分与核进行卷积的过程。核可以是任何形状和大小，中心带有参考点，核一般可以是正方形或者圆形。操作过程为核与图像进行卷积操作，计算核所覆盖区域的像素的最大值，并把这个最大值复制给参考点指定的像素，这样会使得图像中的高亮区域逐渐增长。

膨胀的数学表达式为：

d(x,y)＝max f(x+x',y+y') (0-1)

其中x'和y'是以(x，y)为原点的像素点的横纵坐标值，x'和y'为核区域内的像素点的横纵坐标值。

而腐蚀是与膨胀相反的一对操作，故腐蚀就是求局部最小值的操作。其数学表达式如下：

d(x,y)＝min f(x+x',y+y') (0-2)

其中x'和y'是以(x，y)为原点的像素点的横纵坐标值，x'和y'为核区域内的像素点的横纵坐标值。

闭运算实现了USB区域黑色孔洞的去除和边缘的相对平滑，将背景区域和USB区域分割开。

步骤3、图像像素值反转

像素值反转是将阈值化后的图像进行灰度值反转，即将前景区域的灰度值有255变为0，而背景区域的灰度值由0变成255。

步骤4、基于USB表面特性的ROI区域提取方法

如下图4所示，图(a)为原图，而绿色框中为我们所要检测区域，在经过滤波、图像阈值化、数学形态学处理、图像像素值反转后，得到了图(b)，很好的将USB区域和背景区域分割开来，即可以根据图中感兴趣区域的位置和形状，在滤波之后的图中将感兴趣区域截取出来。

其基本方法和原理如下。首先，由于USB插头是由自动化产线生产得到，因此USB基本规格和形状、尺寸为固定值。USB中有两窗口区域，即图(a)中的黄色框选区域，其位置和形状固定不变，即可寻找其中心点。中心点的位置在检测区域位也属于固定值，只需计算两窗口区域的中心点，既可以求出连线的中心点，计算出整个检测区域所在位置，即可得出检测区域在滤波之后的图中的位置，进行ROI区域截取。同时，如果USB摆放位置较正，即边缘线与检测区域框线分别平行，那么两个窗口区域的横坐标应该相同。根据这个条件，即可对放歪的USB进行校正，使其位置摆正。

首先，要检测出两个窗口区域。图(b)是经过滤波、阈值化、数学形态学操作和灰度值反转之后的图像，由于背景区域和前景区域已经分离开来，各区域轮廓明确。在此基础上，利用opencv库函数，检测出图像中所有轮廓，如下图5所示。

由图中可以看到，USB的轮廓很精确的被检测到了，然后求出各个轮廓的面积，实际测量出窗口的面积，即可找出窗口。为了防止将图像中其他轮廓误认为窗口，导致检测失误，增加限制条件，提高精准性。通过检测近千张USB轮廓，求出面积，得出结论，所以的窗口的轮廓面积都在35000和45000像素之间，即满足下式，即初步认定为窗口。

35000<area<45000

其中，area为检测得到的轮廓面积。

但仍然有可能有其他轮廓面积也在此区域内，因此增加限制条件，计算轮廓的矩形率。

公式如下：

其中rect_area为矩形率，area为检测得到的想要轮廓面积，s为轮廓的最小外界矩形面积。经过实测，窗口区域的矩形率都在0.8以上，而非窗口轮廓的举行率都在0.8以下，因此可以按照此方法区分窗口轮廓和其他轮廓。既进一步满足下式，认定为窗口。

0.8<rect_rate

未了防止后续未知产品中出现可能与窗口形状相似的脏污或者其他缺陷被检测成窗口的情况出现，增加数学限制条件，如果为窗口区域，下式成立：

5800<G<8500

其中G的范围，为实测上千张图片，将G值求出得到的范围。

因此，即可准确的找到两个窗口，然后找出两窗口的中心点分别为(x₁，y₁)和(x₂，y₂)，即可对图像角度进行校正。设两中心点连线的坐标为(x₀，y₀)，其在像素坐标系下如图6所示，则旋转角度为：

对于USB制造来说，两窗口中心点连线的中心点(x₀，y₀)在图像中的位置为固定值，因此测量出中心点距离矩形检测区域边界的距离，即可找出ROI区域的具体位置。

USB检测区域为大小为11mm×14mm，镜头当大倍率为0.275，CCD像素尺寸为3.45μm×3.45μm，可以求出检测区域的像素尺寸分别为：

中心点距离上边界的距离为475像素，距离左边界像素的距离为438像素。因此可以求出检测区域(矩形)左上角点的坐标值(x₀-438,y₀-475)，矩形长宽分别为877和1116。检测是以滤波处理后的图像为基础，因此即可在滤波之后的图像基础上分割出ROI区域，效果图如下图7所示。可以看出，对于位置倾斜的图片，具有良好的校正效果，截取的ROI区域仍准确。

本文中所述或记载的文章、专利、专利申请以及所有其他文献和以电子方式可得的信息的内容在某种程度上全文包括在此以作参考，就如同每个单独的出版物被具体和单独指出以作参考一样。申请人保留把来自任何这种文章、专利、专利申请或其他文献的任何及所有材料和信息结合入本申请中的权利。

Claims (3)

1.USB表面缺陷检测的神经网络检测方法，包括SqueezeNet神经网络，其特征在于：根据拍摄的USB图片制作数据集，使用数据集对SqueezeNet网络进行训练。

2.如权利要求1所述的一种USB表面缺陷检测的神经网络检测方法，根据拍摄的USB图片制作数据集的方法为：

1）拍摄USB原始图片；

2）执行软件程序对图片裁剪出ROI区域，按照7：3的比例将裁剪后的图片分为训练集和测试集，并对训练集和测试集按照斑点、变形、划伤、亮线、压印、脏污、正常标签进行分类；

3）执行软件程序对训练集和测试集按照一定的步长进行滑窗裁剪，对训练集和测试集中裁剪出的切片按照斑点、变形、划伤、亮线、压印、脏污、正常标签进行分类。

3.如权利要求1所述的一种基于切片后ROI图片的SqueezeNet网络的训练方法，使用数据集对SqueezeNet网络进行训练方法为：

1）将训练集切片和对应的标签输入SqueezeNet网络进行训练，该网络输出softmaxwithloss损失函数值，迭代10000次；

2）在迭代过程中使用sgd方法更新SqueezeNet网络的权重和偏置参数；

3）在迭代后输出的softmaxwithloss损失函数loss值中选择损失函数loss值最小的SqueezeNet网络作为训练后的网络。

Images