CN109871938B - 一种基于卷积神经网络的零部件喷码检测方法 - Google Patents

Abstract

本发明公开了本发明提供了一种基于卷积神经网络的零部件喷码检测方法，包括以下步骤：S1：采集图像；S2：提取喷码区域二值图像；S3：分割喷码区域；S4：训练卷积神经网络；S5：喷码检测。本发明使用形态学方法对喷码区域进行提取，通过仿射变换完成喷码区域的倾斜矫正，能有效地提取喷码区域并完成正畸，排除喷码区域周围的噪音以及喷码倾斜造成的干扰，有较好的鲁棒性；且通过对投影算法进行改进，根据目标图像自有的信息完成单个字符分割，无需字符数量、字符宽度等先验信息，有效地解决了传统算法需要事先给定字符数量等先验知识的局限性。

Description

一种基于卷积神经网络的零部件喷码检测方法

技术领域

本发明涉及机器学习和计算机视觉技术领域，特别是涉及一种基于卷积神经网络的零部件喷码检测方法。

背景技术

计算机视觉和机器学习都是最近几年飞速发展的热门技术，给人们的生产生活带来了巨大的变化。在计算机视觉和机器学习逐渐融入人们的日常生活的过程中，人们也开始思考其在工业领域的应用。工业生产中零部件的喷码检测问题就是一个重要的应用方向。

喷码检测与识别是在生产过程中对产品进行分类、跟踪的重要手段，是生产线后续加工方案的确定依据。在过去几十年中，计算机视觉技术取得了很大的突破，但是在工厂特定的工况下取得工业级高质量的检测效果和准确度仍然存在很多问题，如：喷码图像背景嘈杂、字符粘连会导致喷码检测结果错误，由于零件不平整、喷码断断续续导致喷码无法检测等等问题，从而人工识别喷码效率低、错误率高、成本高，目前计算机视觉技术在处理字符粘连、喷码离散问题时效果不好且需要依赖先验知识才能完成检测识别。

因此本领域技术人员致力于开发一种能有效地解决目前计算机视觉技术在处理字符粘连、喷码离散问题时效果不好或需要依赖先验知识才能完成检测识别的问题，能有效地去除噪声干扰、完成文字正畸，达到高精度识别喷码字符的效果。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种能有效地解决目前计算机视觉技术在处理字符粘连、喷码离散问题时效果不好或需要依赖先验知识才能完成检测识别的问题，能有效地去除噪声干扰、完成文字正畸，达到高精度识别喷码字符的效果。

为实现上述目的，本发明提供了一种基于卷积神经网络的零部件喷码检测方法，包括以下步骤：

S1：采集图像；

S2：提取喷码区域二值图像；

S3：分割喷码区域；

S4：训练卷积神经网络；

S5：喷码检测；

其中，所述步骤S3分割喷码区域包括：

S301：行分割，将字符按行分开，先通过以下公式将每行的白色像素点个数进行统计：

其中，

其中，white[i]为第i行的白色像素点个数；

g(i,j)为i行j列的灰度值；

COL为图像的像素矩阵的列数；

再找出white[0.4ROW,0.6ROW]区域内的最小值，其对应的i值即是分割行，从i行将两行字符分隔开；

其中ROW为步骤S2所得图像的像素矩阵的行数；

S302：字符分割，图像进行行分割后，再对每行的每个字符进行分割，对于每行字符图像的像素矩阵，首先统计每列的白色像素点个数B[j]，其中，

此处，row,col分别为该行字符图像的像素矩阵的行和列；

再设置阈值k＝0.1×maxB[j]，从而得到粗分割的分割列的集合C[i]，

C[i]＝{j|B[j]＜k,j＝1,...col} (3)，

计算阈值分割相邻两列之间的距离得到数组D[i]，D[i]为粗分割后各个字符区域宽度的集合；

D[i]＝C[i+1]-C[i],i＝1,2,3...(4)；

然后，根据图像像素矩阵行数row，得到图像中的字符高度h，根据标准喷码字符的高宽比，设置单个喷码字符宽度范围为W＝[0.4h,h]，选取D[i]中属于W的值得到E[i]＝{e|e∈D[i],e∈W,i＝1,2,3...}；其中，E[i]为该行图像所有字符区域中，无粘连的单个字符宽度的集合；对E[i]中的元素取平均值得w_std；根据w_std计算各个字符区域单个字符宽度F[i]，

最后将各个区域字符按照F[i]进行平均分割即可，若round(D[i]/W_std)＝0，则该区域舍弃。

较佳的，所述步骤S2：提取喷码区域包括：

S201：图像预处理，

将工业相机采集的图像进行灰度处理转换为灰度图像；

采用大小为(3,3)的高斯矩阵进行滤波；

采用threshold函数进行固定阈值二值化，将灰度值大于阈值150部分设为白色，低于阈值部分设为黑色，得到黑底白字的图像；

再采用55*35的椭圆形结构元素对图像进行闭运算，使喷码区域和背景噪音产生灰度差异后，再使用threshold函数进行二值化，去除噪音；

再进行膨胀腐蚀处理，其中

膨胀运算为：

腐蚀运算为：

f(x)为输入图像，g(x)为结构元素，闭运算为先进行膨胀运算再进行腐蚀运算，最后使用findContours函数提取字符区域轮廓；

S202：图像倾斜矫正，

用minAreaRect函数计算喷码区域与水平线的偏转角度，根据旋转角度确定正畸参数，通过仿射变换对倾斜图像进行正畸，获得矫正后的喷码区域二值图像。

较佳的，所述步骤S4：训练卷积神经网络包括：

S401：搭建卷积神经网络，构建7层结构的卷积神经网络，分别是输入层、两个卷积层、两个池化层、全连接层以及输出层；

S402：神经网络前向传播，对输入层输入的图像进行二维卷积计算：

其中，A为被卷积矩阵，K为卷积核，B为卷积结果，(m,n)为(3,3)；

然后对卷积结果使用ReLu激活函数进行运算：

f(x)＝max(0,x) (9)；

其中，x为所述公式(8)得到的值。

再采用最大池化的采样方法，以2*2的采样窗口进行采样，完成两个卷积层、两个池化层运算后，通过linear函数对神经网络进行全连接并输出对应的预测值；

S403：神经网络反向传播，采用交叉熵损失函数对预测值与真值的偏差进行评估：

其中，y为真值，

为所述步骤S402所得预测值，L为预测值与真值的偏差；

以交叉熵损失函数值最小为优化目标，采用Adam优化器对神经网络参数进行优化：

m_t＝μ*m_t-1+(1-μ)*g_t (11)；

n_t＝ν*n_t-1+(1-ν)*g_t ² (12)；

其中，g_t为梯度，η为学习率，μ，ν为动量因子，ε用来保证分母不为0，m_t，n_t分别为梯度的一阶矩和二阶矩估计，

为m_t，n_t的矫正；

S404：利用分割好的单个字符图像对神经网络进行训练，优化神经网络参数，优化完成后保存训练好的神经网络。

较佳的，所述步骤S5：喷码检测的方法为利用训练好的神经网络模型进行单个字符识别，最后将识别结果按照识别顺序排列，完成零部件喷码的检测识别。

本发明的有益效果是：本发明使用形态学方法对喷码区域进行提取，通过仿射变换完成喷码区域的倾斜矫正，能有效地提取喷码区域并完成正畸，排除喷码区域周围的噪音以及喷码倾斜造成的干扰，有较好的鲁棒性；且通过对投影算法进行改进，根据目标图像自有的信息完成单个字符分割，无需字符数量、字符宽度等先验信息，有效地解决了传统算法需要事先给定字符数量等先验知识的局限性，解决了传统连通域算法和滴水算法无法有效分割离散断点喷码的问题，解决了传统投影算法无法有效分割粘连字符的问题；在应对喷码字符粘连、模糊、断续等问题时，有很好的适应性；本发明使用卷积神经网络实现字符识别，所需训练样本数量少，识别精度高，检测速度快。

附图说明

图1是本发明一具体实施方式的结构示意图。

图2是本发明实施流程图。

图3a是本发明一具体实施方式采集喷码图像。

图3b是本发明一具体实施方式喷码区域二值图像。

图3c是本发明一具体实施方式喷码区域二值图像进行行分割后的图像。

图3d是本发明一具体实施方式喷码区域二值图像进行字符分割后的图像。

图4是本发明卷积神经网络架构图。

图5是本发明一具体实施方式实现的效果图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

一种基于卷积神经网络的零部件喷码检测方法，其采用结构如图1所示，通过工业相机1采集图像，再将采集的图像经数据处理服务器2处理，在显示终端3上显示，具体如图2所示，包括以下步骤：

S1：采集图像，通过工业相机采集图像，如图3a所示；

S2：提取喷码区域二值图像，首先应采取步骤S201：图像预处理，将工业相机采集的图像进行灰度处理转换为灰度图像，采用大小为(3,3)的高斯矩阵进行滤波。

采用threshold函数进行固定阈值二值化，将灰度值大于阈值150部分设为白色，低于阈值部分设为黑色，得到黑底白字的图像，再采用55*35的椭圆形结构元素对图像进行闭运算，使喷码区域和背景噪音产生灰度差异后，再使用threshold函数进行二值化，去除噪音；

再进行膨胀腐蚀处理，其中

膨胀运算为：

腐蚀运算为：

f(x)为输入图像，g(x)为结构元素，闭运算为先进行膨胀运算再进行腐蚀运算，最后使用findContours函数提取字符区域轮廓。

再进行步骤S202：图像倾斜矫正，用minAreaRect函数计算喷码区域与水平线的偏转角度，根据旋转角度确定正畸参数，通过仿射变换对倾斜图像进行正畸，获得矫正后的喷码区域二值图像，如图3b所示。

S3：分割喷码区域，本步骤中包括S301和S302，其中，

S301：行分割，根据图3b可知，本实施例中，喷码分为两行，首先需将字符按行分开，即将本实施例中的两行字符分开，通过水平投影法，通过以下公式将每行的白色像素点个数进行统计：

其中：

其中，white[i]为第i行的白色像素点个数；

g(i,j)为i行j列的灰度值；

COL为图像的像素矩阵的列数；

再找出white[0.4ROW,0.6ROW]区域内的最小值，其对应的i值即是分割行，从i行将两行字符分隔开；

其中ROW为步骤S2所得图像的像素矩阵的行数；

S302：字符分割，图像进行行分割后，分别得到两行的字符图像，再对每行的每个字符进行分割，此处以第一行为例，如图3c所示，对于该行字符图像的像素矩阵，首先进行竖直投影统计每列的白色像素点个数B[j]，其中

此处row,col分别为该行字符图像的像素矩阵的行和列。

再设置阈值k＝0.1×maxB[j]，从而得到粗分割的分割列的集合C[i]，

C[i]＝{j|B[j]＜k,j＝1,...row} (3)，

计算阈值分割相邻两列之间的距离得到数组D[i]，D[i]为粗分割后各个字符区域宽度的集合；

D[i]＝C[i+1]-C[i],i＝1,2,3...(4)；

由于零件喷码存在字符为斜体、字符粘连等情况，粗分割出来的字符区域可能只有一个字符，也可能包含多个字符。传统的投影法无法应对这种情况，所以需要进行改进。为了增强鲁棒性，减少人工输入，本发明根据图像已有信息进行分割，而无需字符宽度等先验知识。

然后，在本实施例中，对于如图3c所示的图像，根据图像像素矩阵行数row，得到图像中的字符高度h，根据标准喷码字符的高宽比，设置单个喷码字符宽度范围为W＝[0.4h,h]，选取D[i]中属于W的值得到E[i]＝{e|e∈D[i],e∈W,i＝1,2,3...}；其中，E[i]为该行图像所有字符区域中，无粘连的单个字符宽度的集合；对E[i]中的元素取平均值得w_std；根据w_std计算各个字符区域单个字符宽度F[i]，

最后将各个区域字符按照F[i]进行平均分割，，若round(D[i]/W_std)＝0，则该区域舍弃，得到如图3d所示的图像。

S4：训练卷积神经网络,包括：

S401：搭建卷积神经网络，如图4所示，构建7层结构的卷积神经网络，分别是输入层C1、两个卷积层C2、C3、两个池化层C4、C5、全连接层C6以及输出层C7。

S402：神经网络前向传播，对输入层输入的图像进行二维卷积计算：

其中，A为被卷积矩阵，K为卷积核，(m,n)为(3,3)，B为卷积结果；

然后对卷积结果使用ReLu激活函数进行运算：

f(x)＝max(0,x) (9)；

其中，x为所述公式(8)得到的值，f(x)是将每个x与0做比较，取较大值，即对于负数的x都取0。

再采用最大池化(max-pooling)的采样方法，以2*2的采样窗口进行采样，完成两个卷积层、两个池化层运算后，通过linear函数对神经网络进行全连接并输出对应的预测值。

S403：神经网络反向传播，采用交叉熵损失函数(Cross Entropy Loss)对预测结果与真值的偏差进行评估：

其中，y为真值，

为预测值，L为预测值与真值的偏差；

以交叉熵损失函数值最小为优化目标，采用Adam(Adaptive Moment Estimation)优化器对神经网络参数进行优化：

m_t＝μ*m_t-1+(1-μ)*g_t (11)；

n_t＝ν*n_t-1+(1-ν)*g_t ² (12)；

其中，g_t为梯度，η为学习率，μ，ν为动量因子，ε用来保证分母不为0，m_t，n_t分别为梯度的一阶矩和二阶矩估计，

为m_t，n_t的矫正；

利用分割好的单个字符图像对神经网络进行训练，优化神经网络参数，优化完成后保存训练好的神经网络。

S5：喷码检测，喷码检测的方法为利用训练好的神经网络模型进行单个字符识别，最后将识别结果按照识别顺序排列，完成零部件喷码的检测识别，识别结果如图5所示。

本发明通过形态学处理分割出喷码字符，然后通过仿射变换对喷码区域进行旋转矫正；接着使用改进的投影算法对喷码区域的字符进行分割；搭建卷积神经网络模型，并对其进行训练与优化；通过训练好的神经网络模型，完成对喷码字符的检测识别。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (4)

1.一种基于卷积神经网络的零部件喷码检测方法，其特征是：包括以下步骤：

S1：采集图像；

S2：提取喷码区域二值图像；

S3：分割喷码区域；

S4：训练卷积神经网络；

S5：喷码检测；

其中，所述步骤S3分割喷码区域包括：

S301：行分割，将字符按行分开，先通过以下公式将每行的白色像素点个数进行统计：

其中，

其中，white[i]为第i行的白色像素点个数；

g(i,j)为i行j列的灰度值；

COL为图像的像素矩阵的列数；

再找出white[0.4ROW,0.6ROW]区域内的最小值，其对应的i值即是分割行，从i行将两行字符分隔开；

其中ROW为步骤S2所得图像的像素矩阵的行数；

S302：字符分割，图像进行行分割后，再对每行的每个字符进行分割，对于每行字符图像的像素矩阵，首先统计每列的白色像素点个数B[j]，其中，

此处，row,col分别为该行字符图像的像素矩阵的行和列；

再设置阈值k＝0.1×maxB[j]，从而得到粗分割的分割列的集合C[m]，

C[m]＝{j|B[j]＜k,j＝1,...col} (3)，

计算阈值分割相邻两列之间的距离得到数组D[n]，D[n]为粗分割后各个字符区域宽度的集合；

D[n]＝C[m+1]-C[m],m＝1,2,3... (4)；

然后，根据图像像素矩阵行数row，得到图像中的字符高度h，根据标准喷码字符的高宽比，设置单个喷码字符宽度范围为W＝[0.4h,h]，选取D[n]中属于W的值得到E[i]＝{e|e∈D[n],e∈W,n＝1,2,3...}；其中，E[i]为该行图像所有字符区域中，无粘连的单个字符宽度的集合；对E[i]中的元素取平均值得w_std；根据w_std计算各个字符区域单个字符宽度F[i]，

最后将各个区域字符按照F[i]进行平均分割即可，若round(D[n]/w_std)＝0，则该区域舍弃。

2.如权利要求1所述的基于卷积神经网络的零部件喷码检测方法，其特征是：所述步骤S2：提取喷码区域包括：

S201：图像预处理，

将工业相机采集的图像进行灰度处理转换为灰度图像；

采用大小为(3,3)的高斯矩阵进行滤波；

采用threshold函数进行固定阈值二值化，将灰度值大于阈值150部分设为白色，低于阈值部分设为黑色，得到黑底白字的图像；

再采用55*35的椭圆形结构元素对图像进行闭运算，使喷码区域和背景噪音产生灰度差异后，再使用threshold函数进行二值化，去除噪音；

再进行膨胀腐蚀处理，其中

膨胀运算为：

腐蚀运算为：

f(x)为输入图像，g(x)为结构元素，x为输入图像像素点坐标，y为结构元素图像像素点坐标；闭运算为先进行膨胀运算再进行腐蚀运算，最后使用findContours函数提取字符区域轮廓；

S202：图像倾斜矫正，

用minAreaRect函数计算喷码区域与水平线的偏转角度，根据旋转角度确定正畸参数，通过仿射变换对倾斜图像进行正畸，获得矫正后的喷码区域二值图像。

3.如权利要求1所述的基于卷积神经网络的零部件喷码检测方法，其特征是：所述步骤S4：训练卷积神经网络包括：

S401：搭建卷积神经网络，构建7层结构的卷积神经网络，分别是输入层、两个卷积层、两个池化层、全连接层以及输出层；

S402：神经网络前向传播，对输入层输入的图像进行二维卷积计算：

其中，A为被卷积矩阵，K为卷积核，B为卷积结果，(m,n)为(3,3)；

然后对卷积结果使用ReLu激活函数进行运算：

f(x)＝max(0,x) (9)；

其中，x为所述公式(8)得到的值；

再采用最大池化的采样方法，以2*2的采样窗口进行采样，完成两个卷积层、两个池化层运算后，通过linear函数对神经网络进行全连接并输出对应的预测值；

S403：神经网络反向传播，采用交叉熵损失函数对预测值与真值的偏差进行评估：

其中，y为真值，

为所述步骤S402所得预测值，L为预测值与真值的偏差；

以交叉熵损失函数值最小为优化目标，采用Adam优化器对神经网络参数进行优化：

m_t＝μ*m_t-1+(1-μ)*g_t(11)；

n_t＝ν*n_t-1+(1-ν)*g_t ²(12)；

其中，g_t为梯度，η为学习率，μ，ν为动量因子，ε用来保证分母不为0，m_t，n_t分别为梯度的一阶矩和二阶矩估计，

为m_t，n_t的矫正；

S404：利用分割好的单个字符图像对神经网络进行训练，优化神经网络参数，优化完成后保存训练好的神经网络。

4.如权利要求1所述的基于卷积神经网络的零部件喷码检测方法，其特征是：所述步骤S5：喷码检测的方法为利用训练好的神经网络模型进行单个字符识别，最后将识别结果按照识别顺序排列，完成零部件喷码的检测识别。

Images