CN108960413A - 一种应用于螺钉表面缺陷检测的深度卷积神经网络方法 - Google Patents

Abstract

本发明属于机器视觉领域，涉及一种应用于螺钉表面缺陷检测的深度卷积神经网络方法。该方法通过深度卷积神经网络对螺钉表面图像进行训练，建立应用于螺钉表面缺陷检测的深度卷积神经网络模型。经过测试选出最优的深度卷积神经网络模型，利用彩色摄像机采集螺钉表面图片，由最优的深度卷积神经网络模型对螺钉表面图片进行检测。本发明设计的深度卷积神经网络，可以有效的解决复杂背景下的螺钉表面缺陷检测的难题。

Description

一种应用于螺钉表面缺陷检测的深度卷积神经网络方法

技术领域

本发明涉及一种应用于螺钉表面缺陷检测的深度卷积神经网络方法，更具体的说，本发明涉及一种能够用于背景复杂环境下的螺钉表面缺陷检测的深度卷积神经网络方法。

背景技术

深度学习是目前人工智能、机器学习领域异常火热的研究方向，已经在语音识别、图像识别、自然语言处理等诸多领域取得了突破性进展，对学术界和工业界产生了深远的影响。目前，国内大多数螺钉生产企业还只能采用抽检方式对螺钉进行尺寸检测，即抽取部分螺钉用卡尺或光学放大仪测量其尺寸。对于有全检要求的螺钉，企业不得不使用大量人力进行手工筛选。对于大批量生产、尺寸较小的螺钉，人工检测相当困难和繁琐，耗时费力，且存在许多技术漏洞，检测精度不高，难以保证螺纹质量。陈永清提出的内螺纹图像识别系统中螺钉检测部分，基于自适应阈值分割与形态学开运算，达到螺丝识别检查的目的，但是当图像干扰大时，存在严重欠分割，使其检测精度不佳。严荣杰提出了基于CCD数字图像校正技术的螺纹检测系统中螺钉检测部分，采用最大方差分割与相对样本标准，达到螺丝识别检查的目的，但是当图像干扰大时，存在严重过分割，从而检查失败。深度卷积神经网络作为深度学习的方法之一，具有很强的学习能力，能从大量样本数据中提取隐藏的特征在，图像分类中处于佼佼者的地位。目前，在国际图像识别大赛中获得最好成绩的团队都采用了深度卷积神经网络。为了解决无法在背景复杂环境下螺钉表面缺陷检测难题，本发明设计了一种应用于螺钉表面缺陷检测的深度卷积神经网络方法。

发明内容

本发明提供一种应用于螺钉表面缺陷检测的深度卷积神经网络方法，该方法能够应用于背景复杂环境下的螺钉表面缺陷检测，完成螺钉背景复杂干扰大，分割不准确，识别检查稳定性差等情况下的螺钉缺陷检测。

所述的深度卷积神经网络方法的硬件系统包括：

用于精度控制、图像采集和数据处理的计算机；

用于采集图像的彩色摄像机；

用于放置所述的彩色摄像机的操作平台；

本发明所设计的深度卷积神经网络方法，其特征是：对螺钉表面缺陷进行检测，步骤如下：

步骤1：选取含有N类螺钉表面的数据集，对所述的N类螺钉表面设置不同颜色矩形边框，所述的数据集包含训练图像X张，测试图像Y张，将所述的数据集的图像大小统一设置为3通道像素值为32×32的图像；

步骤2：深度卷积神经网络模型的第一层输入层参数I₁＝m₁×m₁×n₁，设置m₁＝32，n₁＝3；

步骤3：步骤2中所述的深度卷积神经网络模型的第二层卷积层参数C₁＝m₂×m₂×n₂，设置m₂＝3，n₂＝16；

步骤4：步骤2中所述的深度卷积神经网络模型的第三层池化层参数P₁＝m₃×m₃×n₃，设置m₃＝2，n₃＝1；

步骤5：步骤2中所述的深度卷积神经网络模型的第四层卷积层参数C₂＝m₄×m₄×n₄，设置m₄＝3，n₄＝32；

步骤6：步骤2中所述的深度卷积神经网络模型的第五层池化层参数P₂＝m₅×m₅×n₅，设置m₅＝2，n₅＝1；

步骤7：步骤2中所述的深度卷积神经网络模型的第六层卷积层参数C₃＝m₆×m₆×n₆，设置m₆＝3，n₆＝64；

步骤8：步骤2中所述的深度卷积神经网络模型的第七层池化层参数P₃＝m₇×m₇×n₇，设置m₇＝2，n₇＝1；

步骤9：步骤2中所述的深度卷积神经网络模型的第八层全连接层输入参数FI₁＝(m₁/m₃/m₅/m₇)²×n₆，设置所述的深度卷积神经网络模型的第八层全连接层输出参数FO₁＝500；

步骤10：步骤2中所述的深度卷积神经网络模型的第九层全连接层输入参数FI₂＝FO₁，设置所述的深度卷积神经网络模型的第九层全连接层输出参数FO₂＝160；

步骤11：步骤2中所述的深度卷积神经网络模型的第十层全连接层输入参数FI₃＝FO₂，所述的深度卷积神经网络模型的第十层全连接层输出参数为步骤1中所述的N；

步骤12：设置深度卷积神经网络模型的激励函数，所述的激励函数如公式(1)所示；

R(x)＝max(x) 公式(1)

其中，当R(x)＞0时，R(x)等于自身，当R(x)≤0时，R(x)等于0；

步骤13：设置深度卷积神经网络模型的正则化函数，所述的正则化函数如公式(2)所示：

其中，C₀表示任意损失函数，ω表示模型的所有权值，λ表示正则化函数；

步骤14：设置深度卷积神经网络模型的梯度下降算法，所述的梯度下降算法如公式(3)至公式(7)所示；

m_t＝μ*m_t-1+(1-μ)*g_t 公式(3)

其中，m_t，n_t分别表示对梯度的一阶矩估计和二阶矩估计，g_t表示梯度，μ，v表示动态因子，表示m_t，n_t的校正；ε为常数确保分母不为0，η表示学习率，表示对学习率的一个动态约束；

步骤15：将步骤1中的X张训练图像导入步骤2至步骤14设置好的深度卷积神经网络模型进行训练；

步骤16：将步骤1中的Y张测试图像导入步骤15中训练好的深度卷积神经网络模型进行测试；

步骤17：启动采集图像的彩色摄像机，采集待检测螺钉表面图像；

步骤18：对步骤17中所述的待检测螺钉表面图像进行灰度化处理得到灰度图像；

步骤19：对步骤18中所述的灰度图像进行二值化处理得到二值化图像；

步骤20：对步骤19中所述的二值化图像进行轮廓查询获取轮廓信息；

步骤21：对步骤20中所述的轮廓信息通过轮廓面积限定对所述的轮廓进行筛选获取筛选后的轮廓信息；

步骤22：对步骤21中所述的筛选后的轮廓信息进行矩形边框操作，获取螺钉表面图像及螺钉表面的位置信息；

步骤23：将步骤22中所述的螺钉表面图像输入至步骤14测试好的深度卷积神经网络模型进行螺钉缺陷分类检测，得到螺钉表面缺陷分类检测结果；

步骤24：通过步骤22中所述的螺钉表面位置信息及步骤23中所述的螺钉表面缺陷分类检测结果，对步骤17中所述的彩色摄像机采集到的待检测螺钉表面图像进行步骤1中所述的不同颜色矩形边框标识，得到检测结果，检测结束。

螺钉表面缺陷检测流程图如图1所示，深度卷积神经网络模型结构图如图2所示。将处理好的数据集图片直接导入深度卷积神经网络模型进行训练和测试。

本发明的有益效果是：通过本发明所介绍的深度卷积神经网络方法，可以解决背景复杂环境下的螺钉表面缺陷检测难题，在不同工业环境，背景复杂的情况下，仍能实现对螺钉表面缺陷的检测。

附图说明

图1：螺钉表面缺陷检测流程图；

图2：深度卷积神经网络模型结构图；

图3：图像卷积的运算原理图；

图4：图像池化的运算原理图；

图5：图像全连接的原理图；

具体实施方式

卷积方法是通过图像的矩阵与卷积核矩阵进行卷积运算，获得图像的特征矩阵，图像矩阵与卷积核每进行一次卷积运算都会获得不同的图像特征矩阵。进行多次图像矩阵卷积运算可以获得多次的图像特征矩阵，将多次的图像特征矩阵叠加可获得更为复杂的图像特征。

以一次卷积运算为例，设某一图像卷积后的图像特征矩阵为y[m，n]，卷积运算公式如公式(8)所示：

其中，x[m，n]表示某一图像的矩阵，h[m，n]表示卷积核矩阵。

图像卷积的运算原理图如图3所示。

池化方法是通过某一位置的相邻输出的总体统计特征来代替网络在该位置的输出。当对输入微量平移时，经过池化方法后的大多数输出并不会发生改变。池化方法对输入的特征矩阵进行压缩，简化网络计算复杂度并提取主要特征。图像池化的运算原理图如图4所示。

全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。全连接的原理图如图5所示。

本发明所设计的深度卷积神经网络方法，其特征是：对螺钉表面缺陷进行检测，步骤如下：

步骤1：选取含有N类螺钉表面的数据集，对所述的N类螺钉表面设置不同颜色矩形边框，所述的数据集包含训练图像X张，测试图像Y张，将所述的数据集的图像大小统一设置为3通道像素值为32×32的图像；

步骤2：深度卷积神经网络模型的第一层输入层参数I₁＝m₁×m₁×n₁，设置m₁＝32，n₁＝3；

步骤3：步骤2中所述的深度卷积神经网络模型的第二层卷积层参数C₁＝m₂×m₂×n₂，设置m₂＝3，n₂＝16；

步骤4：步骤2中所述的深度卷积神经网络模型的第三层池化层参数P₁＝m₃×m₃×n₃，设置m₃＝2，n₃＝1；

步骤5：步骤2中所述的深度卷积神经网络模型的第四层卷积层参数C₂＝m₄×m₄×n₄，设置m₄＝3，n₄＝32；

步骤6：步骤2中所述的深度卷积神经网络模型的第五层池化层参数P₂＝m₅×m₅×n₅，设置m₅＝2，n₅＝1；

步骤7：步骤2中所述的深度卷积神经网络模型的第六层卷积层参数C₃＝m₆×m₆×n₆，设置m₆＝3，n₆＝64；

步骤8：步骤2中所述的深度卷积神经网络模型的第七层池化层参数P₃＝m₇×m₇×n₇，设置m₇＝2，n₇＝1；

步骤9：步骤2中所述的深度卷积神经网络模型的第八层全连接层输入参数FI₁＝(m₁/m₃/m₅/m₇)²×n₆，设置所述的深度卷积神经网络模型的第八层全连接层输出参数FO₁＝500；

步骤10：步骤2中所述的深度卷积神经网络模型的第九层全连接层输入参数FI₂＝FO₁，设置所述的深度卷积神经网络模型的第九层全连接层输出参数FO₂＝160；

步骤11：步骤2中所述的深度卷积神经网络模型的第十层全连接层输入参数FI₃＝FO₂，所述的深度卷积神经网络模型的第十层全连接层输出参数为步骤1中所述的N；

步骤12：设置深度卷积神经网络模型的激励函数，所述的激励函数如下式所示；

R(x)＝max(x)

其中，当R(x)＞0时，R(x)等于自身，当R(x)≤0时，R(x)等于0；

步骤13：设置深度卷积神经网络模型的正则化函数，所述的正则化函数如下式所示；

其中，C₀表示任意损失函数，ω表示模型的所有权值，λ表示正则化函数；

步骤14：设置深度卷积神经网络模型的梯度下降算法，所述的梯度下降算法如下所示；

m_t＝μ*m_t-1+(1-μ)*g_t

其中，m_t，n_t分别表示对梯度的一阶矩估计和二阶矩估计，g_t表示梯度，μ，v表示动态因子，表示m_t，n_t的校正；ε为常数确保分母不为0，η表示学习率，表示对学习率的一个动态约束；

步骤15：将步骤1中的X张训练图像导入步骤2至步骤14设置好的深度卷积神经网络模型进行训练；

步骤16：将步骤1中的Y张测试图像导入步骤15中训练好的深度卷积神经网络模型进行测试；

步骤17：启动采集图像的彩色摄像机，采集待检测螺钉表面图像；

步骤18：对步骤17中所述的待检测螺钉表面图像进行灰度化处理得到灰度图像；

步骤19：对步骤18中所述的灰度图像进行二值化处理得到二值化图像；

步骤20：对步骤19中所述的二值化图像进行轮廓查询获取轮廓信息；

步骤21：对步骤20中所述的轮廓信息通过轮廓面积限定对所述的轮廓进行筛选获取筛选后的轮廓信息；

步骤22：对步骤21中所述的筛选后的轮廓信息进行矩形边框操作，获取螺钉表面图像及螺钉表面的位置信息；

步骤23：将步骤22中所述的螺钉表面图像输入至步骤14测试好的深度卷积神经网络模型进行螺钉表面缺陷分类检测，得到螺钉表面缺陷分类检测结果；

步骤24：通过步骤22中所述的螺钉表面位置信息及步骤23中所述的螺钉表面缺陷分类检测结果，对步骤17中所述的彩色摄像机采集到的待检测螺钉表面图像进行步骤1中所述的不同颜色矩形边框标识，得到检测结果，检测结束。

本发明与现有的螺钉表面缺陷检测方法区别是：无需额外的图像预处理获取图像特征，通过卷积运算直接在深度卷积神经网络模型内提取图像特征；本发明不受光照环境、拍摄角度等因素的影响，通过多层卷积层计算可以获得图像更深层的图像特征。因此本发明所设计的深度卷积神经网络的螺钉表面缺陷检测方法，可以提高识别的鲁棒性和准确性。

综上所述，本发明所述的深度卷积神经网络的优点是：

(1)由于不需要进行图像预处理来获取图像特征，可以直接通过卷积运算获得的图像特征更具有针对性，使得本发明的识别方法准确性更高；

(2)由于通过多层的卷积层对图像进行特征提取，获得的图像特征信息更加丰富，避免了外在因素对检测的干扰，使得本发明的检测方法具有更好的鲁棒性。

以上示意性的对本发明及其实施方式进行了描述，该描述没有局限性，附图中所示的也只是本发明的实施方式之一。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，采用其它形式的同类部件或其它形式的各部件布局方式，不经创造性的设计出与该技术方案相似的技术方案与实施例，均应属于本发明的保护范围。

Claims (1)

1.本发明所设计的深度卷积神经网络方法，其特征是：对螺钉表面缺陷进行检测，步骤如下：

步骤1：选取含有N类螺钉表面图像的数据集，对所述的N类螺钉表面图像设置不同颜色矩形边框，所述的数据集包含训练图像X张，测试图像Y张，将所述的数据集的图像大小统一设置为3通道像素值为32×32的图像；

步骤2：深度卷积神经网络模型的第一层输入层参数I₁＝m₁×m₁×n₁，设置m₁＝32，n₁＝3；

步骤3：步骤2中所述的深度卷积神经网络模型的第二层卷积层参数C₁＝m₂×m₂×n₂，设置m₂＝3，n₂＝16；

步骤4：步骤2中所述的深度卷积神经网络模型的第三层池化层参数P₁＝m₃×m₃×n₃，设置m₃＝2，n₃＝1；

步骤5：步骤2中所述的深度卷积神经网络模型的第四层卷积层参数C₂＝m₄×m₄×n₄，设置m₄＝3，n₄＝32；

步骤6：步骤2中所述的深度卷积神经网络模型的第五层池化层参数P₂＝m₅×m₅×n₅，设置m₅＝2，n₅＝1；

步骤7：步骤2中所述的深度卷积神经网络模型的第六层卷积层参数C₃＝m₆×m₆×n₆，设置m₆＝3，n₆＝64；

步骤8：步骤2中所述的深度卷积神经网络模型的第七层池化层参数P₃＝m₇×m₇×n₇，设置m₇＝2，n₇＝1；

步骤9：步骤2中所述的深度卷积神经网络模型的第八层全连接层输入参数FI₁＝(m₁/m₃/m₅/m₇)²×n₆，设置所述的深度卷积神经网络模型的第八层全连接层输出参数FO₁＝500；

步骤10：步骤2中所述的深度卷积神经网络模型的第九层全连接层输入参数FI₂＝FO₁，设置所述的深度卷积神经网络模型的第九层全连接层输出参数FO₂＝160；

步骤11：步骤2中所述的深度卷积神经网络模型的第十层全连接层输入参数FI₃＝FO₂，所述的深度卷积神经网络模型的第十层全连接层输出参数为步骤1中所述的N；

步骤12：设置深度卷积神经网络模型的激励函数，所述的激励函数如公式(1)所示；

R(x)＝max(x) 公式(1)

其中，当R(x)＞0时，R(x)等于自身，当R(x)≤0时，R(x)等于0；

步骤13：设置深度卷积神经网络模型的正则化函数，所述的正则化函数如公式(2)所示；

其中，C₀表示任意损失函数，ω表示模型的所有权值，λ表示正则化函数；

步骤14：设置深度卷积神经网络模型的梯度下降算法，所述的梯度下降算法如公式(3)至公式(7)所示；

m_t＝μ*m_t-1+(1-μ)*g_t 公式(3)

其中，m_t，n_t分别表示对梯度的一阶矩估计和二阶矩估计，g_t表示梯度，μ，v表示动态因子，表示m_t，n_t的校正；ε为常数确保分母不为0，η表示学习率，表示对学习率的一个动态约束；

步骤15：将步骤1中的X张训练图像导入步骤2至步骤14设置好的深度卷积神经网络模型进行训练；

步骤16：将步骤1中的Y张测试图像导入步骤15中训练好的深度卷积神经网络模型进行测试；

步骤17：启动采集图像的彩色摄像机，采集待检测螺钉表面图像；

步骤18：对步骤17中所述的待检测螺钉表面图像进行灰度化处理得到灰度图像；

步骤19：对步骤18中所述的灰度图像进行二值化处理得到二值化图像；

步骤20：对步骤19中所述的二值化图像进行轮廓查询获取轮廓信息；

步骤21：对步骤20中所述的轮廓信息通过轮廓面积限定对所述的轮廓进行筛选获取筛选后的轮廓信息；

步骤22：对步骤21中所述的筛选后的轮廓信息进行矩形边框操作，获取螺钉表面图像及螺钉表面的位置信息；

步骤23：将步骤22中所述的螺钉表面图像输入至步骤14测试好的深度卷积神经网络模型进行螺钉表面缺陷分类检测，得到螺钉表面缺陷分类检测结果；

步骤24：通过步骤22中所述的螺钉表面位置信息及步骤23中所述的螺钉表面缺陷分类检测结果，对步骤17中所述的彩色摄像机采集到的待检测螺钉表面图像进行步骤1中所述的不同颜色矩形边框标识，得到检测结果，检测结束。