CN109060838A - 一种基于机器视觉的产品表面划痕检测方法 - Google Patents

Abstract

本发明提出一种基于机器视觉的产品表面划痕检测方法，涉及机器视觉缺陷检测技术领域，具体包括：接收信号，采集图像信息；利用卷积神经网络对图像进行纹理抑制，先对采集图像进行非经典感受野抑制，再将抑制后的图像输入已经训练好的卷积神经网络中进行纹理判断，最后将图像进行动态迭代抑制初步得到划痕图片；滞后双阈值划痕连接，对小范围的断裂划痕进行连接，采用高低两种阈值对图像进行二值化，以高阈值为基础低阈值为补充来连接图像边缘；对划痕图像进行细化。本发明通过实时快速采集手机隔板图片，经过一系列处理，可高效、准确地检测出表面划痕，且实时显示检测结果。

Description

一种基于机器视觉的产品表面划痕检测方法

技术领域

本发明涉及机器视觉缺陷检测技术领域，尤其是一种基于机器视觉的产品表面划痕检测方法。

背景技术

产品表面划痕检测是缺陷检测中必不可少的一项检测内容。由于材料以及工艺的影响，生产过程中有时候会在产品表面形成划痕，而且划痕形态多样，加上背景的纹理干扰，这些都为人工对划痕的检测增加了难度。而随着市场对产品质量和产品外观要求的不断提高，厂家对划痕检测的要求也越来越高，而面对这种高精度的检测要求，人工检测由于其成本高，效率低，出错率高等原因已变得不再适用。因而机器视觉检测成为检测这类产品的最佳手段。

发明内容

本发明提供一种基于机器视觉的产品表面划痕检测方法，准确率高，操作简单，效率高。

本发明具体采用如下技术方案实现：

一种基于机器视觉的产品表面划痕检测方法，具体包括以下步骤：

步骤1.接收信号，采集图像信息；

步骤2.利用卷积神经网络对图像进行纹理抑制，先对采集图像进行非经典感受野抑制，再将抑制后的图像输入已经训练好的卷积神经网络中进行纹理判断，最后将图像进行动态迭代抑制初步得到划痕图片；

步骤3.滞后双阈值划痕连接，对小范围的断裂划痕进行连接，采用高低两种阈值对图像进行二值化，以高阈值为基础低阈值为补充来连接图像边缘；

步骤4.对划痕图像进行细化。

作为优选，所述步骤2包括具体以下步骤：

步骤21.对采集图像进行高斯差分滤波，模拟人初级视皮层神经元感受野对刺激的响应强度随距离的变化情况；

步骤22.卷积神经网络纹理预测模型，对步骤21处理后的图片按像素遍历，以遍历点为中心，取128*128大小的单通道图片为神经网络的输入，采用已经训练好的多层卷积神经网络根据周围点的灰度值拟合预测出该中心点的灰度值，对不属于纹理的点，得到的灰度值低，属于纹理的中心点，灰度值高，最后得到一张仅包含原图像纹理的图片；

步骤23.将所述步骤22得到关于输入图像的纹理图，通过迭代方式实现抑制的动态描述，利用半波校正去除了负的响应，使迭代过程表现出非线性，随着迭代的进行，原图的影响越来越弱，最终生成仅含划痕的目的图片。

作为优选，步骤22还包括以下具体步骤：

步骤221.构建多层卷积神经网络模型的结构；

步骤222.神经网络的训练。

作为优选，所述步骤4采用图像zhang-suen细化算法，获得划痕的骨架，包括具体以下步骤：

步骤41.循环所有不为0像素点，对符合如下条件的像素点标记为删除；

步骤42.满足如下条件的不为0的像素点，标记为删除，

条件1.2＝<N<＝6，N为中心像素点周围8个像素点不为0的个数；

条件2.S＝1，S表示p2-p9-p2像素中出现0-1的累计次数；

条件3.P2*p4*p6＝0；

条件4.P4*p6*p8＝0；

上述p2、p4、p6、p8、p9均代表像素点。

本发明提供的基于机器视觉的产品表面划痕检测方法，其有益效果在于：与现有技术相比，本发明是基于机器视觉的产品表面划痕检测方法，通过实时快速采集手机隔板图片，经过一系列处理，可高效、准确地检测出表面划痕，且实时显示检测结果。

附图说明

图1是本发明表面划痕检测流程图；

图2是高斯差分非经典感受野抑制成分加权函数；

图3是卷积神经网络(CNN)结构图；

图4-1是步骤3过程大阈值效果图；

图4-2是步骤3过程小阈值效果图；

图4-3是步骤3过程的结果图；

图5是扫描点及其八邻域点；

图6是经过步骤4细化前后对比示意图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

现结合附图和具体实施方式对本发明进一步说明。

如图1所示，本实施提供的一种基于机器视觉的产品表面划痕检测方法，

具体包括以下步骤：

步骤1.接收信号，采集图像信息；

步骤2.利用卷积神经网络对图像进行纹理抑制，先对采集图像进行非经典感受野抑制，再将抑制后的图像输入已经训练好的卷积神经网络中进行纹理判断，最后将图像进行动态迭代抑制初步得到划痕图片；

步骤3.滞后双阈值划痕连接，对小范围的断裂划痕进行连接，显示阈值连接效果示意图如图4-1到4-3所示，采用高低两种阈值对图像进行二值化，以高阈值为基础低阈值为补充来连接图像边缘；

步骤4.对划痕图像进行细化。

其中，步骤2包括具体以下步骤：

步骤21.对采集图像进行高斯差分滤波，模拟人初级视皮层神经元感受野对刺激的响应强度随距离的变化情况；

人的初级视皮层神经元对感受野中刺激的响应受到环境的抑制。由于环境的抑制作用，

具有相似方位的成分相互抑制导致纹理区域的刺激响应减弱，从而导致那些与背景具有不同方位的成分响应突出，对不属于纹理区域的边缘产生强烈响应。如图2为抑制的邻域示意图，外圆和内圆之间区域的点为起抑制作用的区域，其抑制作用强度随距离变化，而内圆的点不起作用，可以忽略。

设置高斯差分(DoG)函数来描述环境抑制，实现抑制效果的距离加权：

对距离加权值进行归一化处理：

当DoG(x，y)＞0时，N(DoG(x，y))＝DoG(x，y)

当DoG(x，y)≤0时，N(DoG(x，y))＝0

||·||₁表示L₁范数，N(·)保证算子仅作用在抑制区域，如图2所示抑制作用的距离加权形式。

步骤22.卷积神经网络纹理预测模型，对步骤21处理后的图片按像素遍历，以遍历点为中心，取128*128大小的单通道图片为神经网络的输入，采用已经训练好的多层卷积神经网络根据周围点的灰度值拟合预测出该中心点的灰度值，对不属于纹理的点，得到的灰度值低，属于纹理的中心点，灰度值高，最后得到一张仅包含原图像纹理的图片；步骤22还包括以下具体步骤：

步骤221、构建多层卷积神经网络模型的结构，

步骤2211.采用relu函数(定义为)作为卷积神经网络的激活函数，relu函数定义为f(u)＝max(0，u)；

步骤2212.采用6层卷积层(C)加5层最大池化采样层(S)结合的多层神经网络，如图3所示，图中w1，w2为权重；C1，C2...为卷积层；S1，S2...为采样层，X为全连接层，第一层3*3卷积层C1过后形成8张126*126的特征图，第一层2*2最大池化采样层S1过后形成63张采样图；第二层3*3卷积层C2过后形成10张61*61的特征图，采样层S2后形成31张采样图；第三层3*3卷积层C3和2*2采样层S3后形成12张29*19的特征图及12张14*14的采样图；第四层C4-S4网络过后形成14张12*12的特征图及14张6*6的采样图；第五层C5-S5网络过后形成16张4*4特征图及16张3*3的采样图。第六层卷积层C6过后形成120张1*1的特征图，每个都与上层16个图相连；

步骤2213.全连接层(X)将上述特征图连成一个一维向量，作为输出层的输入；

步骤2214.output层对全连接层后的结果采用径向基函数(RBF)进行网络连接，最后返回计算后的像素点灰度值，RBF表示为

其中，x是上层的输入，y是输出。

步骤222.神经网络的训练，

神经网络的训练原理为：利用链式求导计算损失函数对每个权重的偏导数(梯度)，然后根据梯度下降公式更新权重，训练算法为反向传播算法，算法具体步骤为：

步骤2221.前向计算每个神经元的输出值a_j(表示第个神经元，下同)；

步骤2222.反向计算每个神经元的误差项δj，

其中，w_ki表示从神经元i到下一节点神经元k的连接权重，δ_k表示从神经元i到下一神经元k的误差项，下同。根据梯度下降算法对网络所有输出层节点的误差平方和(网络损失函数E_d，下同)进行优化，也就是求E_d对j节点所有加权输入η_j的偏导数，

步骤2223.计算每个神经元连接权重w_ji(w_ji表示从神经元i连接到神经元j的权重)，公式

w_ji←w_ji+λδ_jx_ji

步骤2224、最后根据最后根据梯度下降法更新每个连接上的权值，

λ为学习速率的常数，x_ji为节点i传递给节点j的输入；

计算一个节点的误差项，需要先计算每个与其相连的下一层节点的误差项。这就要求误差项的计算顺序必须是从输出层开始，然后反向依次计算每个隐藏层的误差项，直到与输入层相连的那个隐藏层。当所有节点的误差项计算完毕后，就可以根据步骤4来更新所有的权重。

用大量仅含纹理的128*128的单通道纹理图片对构建好的卷积神经网络进行训练对于神经网络各层参数的设置，我们采用随机数进行初始化，然后在训练过程中根据反向传播算法对卷积核参数权重不断修正调整直至收敛，最后得到可以预测图片纹理灰度的模型。

步骤23.将所述步骤22得到关于输入图像的纹理图S(x，y)，由于视皮层神经元是以一种动态和灵活的方式实现某种特殊视觉任务，因此通过一种迭代方式实现抑制的动态描述：

E(x，y)为原图，其中，

[w]⁺＝max(w，0)

利用半波校正去除了负的响应，使迭代过程表现出非线性，随着迭代的进行，原图的影响越来越弱，最终生成仅含划痕的目的图片。

步骤4中采用图像zhang-suen细化算法，获得划痕的骨架。zhang-suen细化算法是一个迭代算法，整个迭代过程分两步：

步骤41、循环所有不为0像素点，对符合如下条件的像素点标记为删除，扫描点及其八邻域如图5所示，

步骤42、满足如下条件的不为0的像素点，标记为删除，

条件1.2＝<N<＝6，N为中心像素点周围8个像素点不为0的个数；

条件2.S＝1，S表示p2-p9-p2像素中出现0-1的累计次数；

条件3.P2*p4*p6＝0；

条件4.P4*p6*p8＝0；

上述p2、p4、p6、p8、p9均代表像素点。

循环上述两个步骤直到上述两步骤中没有像素标记为删除为止，输出的结果为细化的骨架图，细化效果示意图如图6所示。

本发明的检测对象是原料阶段的产品表面图片，其检测方案采用了卷积神经网络技术，图像边缘检测技术，图像形态学处理技术，及人初级视皮层感知技术等。其中利用卷积神经网络模型工作类似于人脑视觉成像过程(由低级信息合成中级信息直至最终形成高级成像信息，逐层清晰化)，在每个层次上合成的纹理图可以用于探测视觉成像系统，根据不同信号反馈分析模型和成像系统的层与层之间的联系，不断优化权值最终得到效果良好的纹理图。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (4)

1.一种基于机器视觉的产品表面划痕检测方法，其特征在于，具体包括以下步骤：

步骤1.接收信号，采集图像信息；

步骤2.利用卷积神经网络对图像进行纹理抑制，先对采集图像进行非经典感受野抑制，再将抑制后的图像输入已经训练好的卷积神经网络中进行纹理判断，最后将图像进行动态迭代抑制初步得到划痕图片；

步骤3.滞后双阈值划痕连接，对小范围的断裂划痕进行连接，采用高低两种阈值对图像进行二值化，以高阈值为基础低阈值为补充来连接图像边缘；

步骤4.对划痕图像进行细化。

2.根据权利要求1所述的一种基于机器视觉的产品表面划痕检测方法，其特征在于，所述步骤2包括具体以下步骤：

步骤21.对采集图像进行高斯差分滤波，模拟人初级视皮层神经元感受野对刺激的响应强度随距离的变化情况；

步骤22.卷积神经网络纹理预测模型，对步骤21处理后的图片按像素遍历，以遍历点为中心，取128*128大小的单通道图片为神经网络的输入，采用已经训练好的多层卷积神经网络根据周围点的灰度值拟合预测出该中心点的灰度值，对不属于纹理的点，得到的灰度值低，属于纹理的中心点，灰度值高，最后得到一张仅包含原图像纹理的图片；

步骤23.将所述步骤22得到关于输入图像的纹理图，通过迭代方式实现抑制的动态描述，利用半波校正去除了负的响应，使迭代过程表现出非线性，随着迭代的进行，原图的影响越来越弱，最终生成仅含划痕的目的图片。

3.根据权利要求2所述的一种基于机器视觉的产品表面划痕检测方法，其特征在于，步骤22还包括以下具体步骤：

步骤221.构建多层卷积神经网络模型的结构；

步骤222.神经网络的训练。

4.根据权利要求1所述的一种基于机器视觉的产品表面划痕检测方法，其特征在于，所述步骤4采用图像zhang-suen细化算法，获得划痕的骨架，包括具体以下步骤：

步骤41.循环所有不为0像素点，对符合如下条件的像素点标记为删除；

步骤42.满足如下条件的不为0的像素点，标记为删除，

条件1.2＝<N<＝6，N为中心像素点周围8个像素点不为0的个数；

条件2.S＝1，S表示p2-p9-p2像素中出现0-1的累计次数；

条件3.P2*p4*p6＝0；

条件4.P4*p6*p8＝0；

上述p2、p4、p6、p8、p9均代表像素点。