CN103927534A - 一种基于卷积神经网络的喷码字符在线视觉检测方法 - Google Patents

Abstract

本发明提供了一种基于卷积神经网络的易拉罐罐底喷码字符在线视觉检测方法，包括离线状态下对图像中字符进行分割，并归类构建字符库，采用改进后的卷积神经网络学习法进行训练，形成稳定的分类器；在线检测中实时拍摄图片，分割字符，并用分类器进行分类，对存在瑕疵不合格的产品进行剔除；在保证实时性的同时极大的提高了检测精度，完全可以满足易拉罐罐底喷码字符在线检测过程高实时性、高准确性的要求。

Description

一种基于卷积神经网络的喷码字符在线视觉检测方法

技术领域

本发明涉及利用机器视觉对易拉罐罐底喷码字符在线检测领域，具体是指一种应用于工业现场的、高实时性要求的易拉罐罐底字符识别的图像处理方法。

背景技术

随着我国食品饮料行业的快速增长，以易拉罐为容器的需求也不断增加，易拉罐产品质量的监测往往需要对产品信息进行检测、追踪。目前来说，各大厂商多用易拉罐罐底喷码字符来追踪产品信息，但在喷码过程中难免会出现诸如字符漏喷或者部分不完整、字符混乱等缺陷，因此，如何实时地对喷码字符识别检测，以便及时剔除不合格产品是亟需解决的问题。

当前喷码字符在线检测技术研究主要集中于两个方面，一是预处理方法的研究，为了满足识别的高实时性要求，预处理的过程尽可能的简单而高效；二是对于特征提取方法的研究，目前来说，特征提取的方法多为传统的结构特征、统计特征，这些特征对于传统的印刷字符识别效果较好，但是对于易断裂、易扭曲的喷码字符，识别效果不佳。

近几年，随着机器学习的发展，利用机器学习图像深度特征的方法开始越来越受到关注，卷积神经网络(Convolutional Neural Network，简称CNN)为其深度学习方式的一种，它的权值共享网络结构能够降低网络模型的复杂度，减少权值的数量，使图像直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程，并且具有良好的容错能力，并行处理能力，对字符识别过程中字符的几何变换、形变、光照不均匀都有良好的自适应性能。

发明内容

本发明目的在于提供一种针对易拉罐罐底喷码字符在线检测方法，可以满足工业现场高实时性、高识别率的要求。

为达到此目的，本发明的技术方案如下：识别过程分为离线训练过程和在线检测过程，离线训练过程主要包括对喷码字符构建分类器，以及对字符参数的设置；在线检测过程主要包括易拉罐罐底字符的分割，并用离线状态构建好的分类器进行识别。具体包括以下步骤：

离线训练过程：

(1)获取易拉罐罐底字符图像，调整好相机镜头光圈、焦距等机械参数，在易拉罐罐底上方安装球积分光源，拍摄图片，获取待检测易拉罐罐底图像。

(2)对获取的图像进行滤波、分割等预处理操作，将图像中的字符分割成单个的字符，并统一进行归类，建立喷码字符库，字符库类别一般包括“0～9”、“A～Z”以及部分特殊字符。

(3)建立字符分类器，对已建立好的字符库，采用卷积神经网络学习法进行训练，卷积神经网络本质上是学习一种输入到输出的映射关系，训练的过程主要分为三个阶段：

Step1、构建网络结构

本发明构建的卷积神经网络采用7层结构，包括输入层、两个卷积层、两个下采样层、全连接层以及输出层，训练的初期先构建网络结构，同时对网络的权值采用不同的小随机数进行初始化，一般介于[-1～1]范围内，偏置初始化置为0。

Step2、前向传播阶段

将输入样本Y与理想输出d送入已构建好的神经网络，通过卷积和下采样逐级的变换操作，传送到输出层：

O_k＝f_n(…(f₂(f₁(Yw⁽¹⁾)w⁽²⁾))w⁽ⁿ⁾)

卷积操作构造卷积模板，将各核函数分别与输入图像依次卷积，得到不同的卷积图：

$Y_j^n=f(\underset{i=1}{\overset{S}{\mathrm{\Σ}}}{Y}_i^{n-1}*W_{\mathrm{ij}}^n+{\mathrm{\φ}}_j^n)$

其中：n代表层数，S代表n层的单元数，W_ij是连接第i个输入图像和第j个输出图像的5*5大小的卷积(权值)，φ_j是第j个输出图像的阈值(偏置)，f(*)为RELU函数：

$f\left(x\right)=\max (x,0)=\max (\underset{i=1}{\overset{S}{\mathrm{\Σ}}}{Y}_i^{n-1}*W_{\mathrm{ij}}^n+{\mathrm{\φ}}_j^n,0)$

下采样操作采用stochastic pooling采样，对图像进行概率加权采样：

$Y_t={\mathrm{\Σ}}_{j\∈R_t}{p}_j{Y}_j$

其中：R1为采样层的窗口大小，通常为2*2大小，Y_j为采样窗口的元素值。

Step3、反向传播阶段

计算实际输出O_k与相应的理想输出d之间的误差：

$E=\frac{1}{2}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{(d_k-O_k)}^2$

其中：M为输入样本个数。

采用梯度下降法来反向传播调整各层的权值和阈值，直至最后当E≤ε(设置最小误差参数)时，训练结束，将权值和偏置保存。这时网络结构各个参数已经稳定，分类器形成。

在线检测过程：

(1)实时获取易拉罐罐底字符图像，调整好相机镜头光圈、焦距等机械参数，在易拉罐罐底上方安装球积分光源，拍摄图片，实时获取待检测易拉罐罐底图像。

(2)对于获取的图像首先采用直方图均衡化和Ostu二值化等操作凸显字符区域，然后对字符区域旋转校正，最后将校正后的区域分割成单个字符。

(3)将分割好的字符归一化为28*28大小字符，送入已训练好的字符分类器中，在构建好的分类器中进行前馈学习，从而判断字符属性，输出字符信息。

(4)将字符信息与生产线管理系统进行数据传输，实现对于易拉罐的生产日期及批号的管理。由电气控制系统执行检测结果，对于与管理系统中不相符的、或者缺印、漏印无法识别的易拉罐进行剔除。

本发明的有益效果：本发明提供了一种改进的卷积神经网络构建训练分类器的方法。网络结构中的下采样方式采用概率加权采样(stochastic pooling)，这种采样方式比传统采样方式更好的保留前一层特征，传统的卷积神经网络中激活函数一般采用sigmoid函数，本发明采用RELU函数进行激活，该种改进的构建方法能够提高卷积神经网络的泛化能力，同时能够满足检测算法中实时性强，准确性高的要求。

附图说明

图1本发明的离线训练系统整体流程图

图2本发明的卷积神经网络训练分类器流程图

图3本发明的在线检测系统整体流程图

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合具体实施例，并参照附图，对本发明作进一步详细说明。

本发明为一种易拉罐罐底喷码字符检测方法，检测过程分为离线训练过程和在线检测过程，离线训练系统整体流程图如图1，离线训练过程中通过卷积神经网络训练分类器，训练流程图如图2，在线检测过程中，将分割好的单个字符输入分类器中进行学习，输出字符信息，在线检测流程图如图3。

进一步的，离线过程具体实现步骤为：

步骤一、图像序列获取

根据字符识别检测精度要求，调整好相机镜头光圈、焦距等机械参数，获取易拉罐罐底字符图像。

步骤二、预处理操作

(1)对采集的图像做直方图均衡化处理，凸显出字符图像。

(2)采用Otsu法确定罐底图像的分割阈值Ostu_Threshold，低于阈值的部分标记为0，高于阈值的部分标记为1，然后对字符图像进行反色。

(3)选择3*3矩形结构元素对二值图像执行形态学腐蚀操作，将字符区域连接起来。设置字符区域属性，长度在(l₁，l₂)之间，宽度在(w₁，w₂)之间，即为字符区域，具体数值根据不同型号易拉罐进行调整。

(4)旋转字符区域，根据字符区域的最小外接矩形计算出的旋转角度，采用仿射变换和线性插值将待检测字符区域校正为水平方向。

(5)对旋转后的字符进行分割，首先采用投影分割法对字符进行行分割。针对图像的列数col，统计其投影值Prover[i]。受噪声影响，不同行之间的投影值并不一定等于0，因此需要设置一个分割阈值(Threshold)，当Prover[i]<Threshold时，则第i行为分割行：

$\underset{j=1}{\overset{\mathrm{col}}{\mathrm{\&Sigma;}}}I(i,j)$

对于分行好的字符再采用指定比例法进行列分割，离线状态设置每行字符的个数，将每行的字符平均分割成单个字符，并对分割好的字符进行归类，建立字符库。

步骤三、构建分类器

卷积神经网络训练算法主要分为三个阶段：构建网络结构、前向传播阶段和反向传播阶段。

Step1、构建网络结构

本发明构建的卷积神经网络采用7层结构，包括输入层、两个卷积层、两个下采样层、全连接层以及输出层，训练的初期先构建网络结构，同时对网络的权值采用不同的小随机数进行初始化，一般介于[-1～1]范围内，偏置初始化置为0。

Step2、前向传播阶段

(1)输入层输入目标图像Y，以及对应的目标矢量d。如图示2中C1、C3层为卷积层，卷积层由卷积核对输入图像进行二维卷积，并加上偏置，再通过非线性激励函数得到：

$Y_j^n=f(\underset{i=1}{\overset{S}{\mathrm{\&Sigma;}}}{Y}_i^{n-1}*W_{\mathrm{ij}}^n+{\mathrm{\&phi;}}_j^n)$

其中：n代表层数，S代表n层的单元数，W_ij是连接第i个输入图像和第j个输出图像的5*5大小的卷积(权值)，φ_j是输出图像j的阈值(偏置)，f(*)为RELU函数：

$f\left(x\right)=\max (x,0)=\max (\underset{i=1}{\overset{S}{\mathrm{\&Sigma;}}}{Y}_i^{n-1}*W_{\mathrm{ij}}^n+{\mathrm{\&phi;}}_j^n,0)$

(2)本发明中S2、S4为下采样层，下采样的方式采用stochastic pooling采样，公式为：

$Y_t={\mathrm{\&Sigma;}}_{j\&Element;R_t}{p}_j{Y}_j$

其中：R_t为抽样层的窗口大小，通常为2*2大小，Y_j为采样窗口的元素值。

(3)本发明中M5层为全连接层层，对M5层进行全连接操作后，计算网络层F6的实际输出O_k：

$O_k=f(\underset{t=1}{\overset{l}{\mathrm{\&Sigma;}}}{V}_{\mathrm{tk}}{Y}_t+{\mathrm{\&theta;}}_k)$

其中k为输出层单元数，θ_k为输出单元的阈值(偏置)，l为M5的单元数，V_jk为连接全连接层和输出层的卷积，其中f(*)为softmax函数。

Step3、反向传播阶段

反向传播阶段采用梯度下降法反向调整各层的权值和阈值，统计总误差函数为：当E≤ε(设置最小误差参数)时，训练结束，将权值和阈值保存。这时网络结构各个参数已经稳定，分类器形成。

进一步的，在线过程具体实现步骤为：

步骤一、图像序列获取

根据字符识别实时在线检测精度要求，调整好相机镜头光圈、焦距等机械参数，实时获取易拉罐罐底字符图像。

步骤二、预处理操作

对获取的图像进行预处理，通过直方图均衡化拉伸图像，再通过Otsu法对图像进行二值化，增强对比度，对字符区域进行形态学腐蚀操作，凸显字符区域，根据离线状态设置的字符信息确定字符区域和旋转角度，利用仿射变换和线性插值对旋转区域进行倾斜校正，通过投影法和指定比例法分割成单个字符。

步骤三、字符识别

将分割好的单个字符归一化为28*28大小，识别过程中直接送入训练好的识别分类器中，经过卷积、下采样等前馈学习，输出字符信息。

步骤四、瑕疵品剔除

将输出的字符信息与生产线管理系统进行数据传输，实现对于易拉罐的生产日期及批号的管理。由电气控制系统执行检测结果，对于与管理系统中不相符的、或者缺印、漏印无法识别的不合格易拉罐进行剔除。

Claims (4)

1.一种基于卷积神经网络的易拉罐罐底喷码字符在线检测方法，其特征是，离线状态下对图像中字符进行分割，并归类构建字符库，采用改进后的卷积神经网络学习法进行训练，形成稳定的分类器；在线识别中实时拍摄图片，分割字符，并用分类器进行分类；具体包括以下几个步骤：

(1)对易拉罐罐底图像进行特定预处理操作，分割出单个的字符图像，并统一进行归类，建立字符库；

(2)利用卷积神经网络学习方法训练字符，形成字符分类器；

(3)在线检测中实时拍摄图像，采用预处理操作分割字符，并用分类器进行识别。

2.根据权利要求1所述一种基于卷积神经网络的易拉罐罐底喷码字符检测方法，其特征在于：所述步骤(1)具体包括以下步骤：

第一步、对获取的图像通过直方图均衡化拉伸图像，再通过Otsu法对图像进行二值化，增强对比度；

第二步、选择3*3矩形结构元素对二值图像执行形态学腐蚀操作，将字符区域连接起来，设置字符区域属性，长度在(l₁，l₂)之间，宽度在(w₁，w₂)之间，即为字符区域，具体数值根据不同型号易拉罐进行调整；

第三步、根据字符区域的最小外接矩形计算出的旋转角度，采用仿射变换和线性插值将待检测字符区域校正为水平方向，并通过投影法和指定比例法分割成单个字符。

3.根据权利要求1所述一种基于卷积神经网络的易拉罐罐底喷码字符检测方法，其特征在于：所述步骤(2)具体包括以下步骤：

卷积神经网络训练算法主要分为三个阶段：构建网络结构、前向传播阶段和反向传播阶段；

第一步、构建网络结构：

本发明构建的卷积神经网络采用7层结构，训练的初期对网络结构进行构建，对网络的权值采用不同的小随机数进行初始化，一般介于[-1～1]范围内，偏置初始化置为0；

第二步、前向传播阶段：

(1)输入层输入目标图像Y，以及对应的目标矢量d，卷积层由卷积核对输入图像依次进行卷积，并加上偏置，再通过非线性激励函数得到：

$Y_j^n=f(\underset{i=1}{\overset{S}{\mathrm{\&Sigma;}}}{Y}_i^{n-1}*W_{\mathrm{ij}}^n+{\mathrm{\&phi;}}_j^n)$

f(*)为RELU函数：

$f\left(x\right)=\max (x,0)=\max (\underset{i=1}{\overset{S}{\mathrm{\&Sigma;}}}{Y}_i^{n-1}*W_{\mathrm{ij}}^n+{\mathrm{\&phi;}}_j^n,0)$

(2)下采样的方式采用stochastic pooling采样，公式为：

$Y_t={\mathrm{\&Sigma;}}_{j\&Element;R_t}{p}_j{Y}_j$

其中：R_t为抽样层的窗口大小，通常为2*2大小，Y_j为采样窗口的元素值；

(4)对卷积、下采样后的特征图进行全连接操作，并计算网络层F6的实际输出O_k：

$O_k=f(\underset{t=1}{\overset{l}{\mathrm{\&Sigma;}}}{V}_{\mathrm{tk}}{Y}_t+{\mathrm{\&theta;}}_k)$

第三步、反向传播阶段

反向传播阶段采用梯度下降法对权值和阈值进行调整，统计总误差函数为：当E≤ε时，训练结束，将权值和阈值保存，这时网络结构各个参数已经稳定，分类器形成。

4.根据权利要求1所述一种基于卷积神经网络的易拉罐罐底喷码字符检测方法，其特征在于：所述步骤(3)具体包括以下步骤：

第一步、根据字符识别实时在线检测精度要求，调整好相机镜头光圈、焦距等机械参数，实时获取易拉罐罐底字符图像，采用步骤(1)中的方法分割出单个的字符；

第二步、将分割好的单个字符归一化到28*28大小，并直接送入训练好的分类器中，经过卷积、下采样等前馈学习，输出字符信息；

第三步、将输出的字符信息与生产线管理系统进行数据传输，实现对于易拉罐的生产日期及批号的管理，由电气控制系统执行检测结果，对于与管理系统中不相符的、或者缺印、漏印无法识别的不合格易拉罐进行剔除。