CN103927534B - 一种基于卷积神经网络的喷码字符在线视觉检测方法 - Google Patents
一种基于卷积神经网络的喷码字符在线视觉检测方法 Download PDFInfo
- Publication number
- CN103927534B CN103927534B CN201410173859.2A CN201410173859A CN103927534B CN 103927534 B CN103927534 B CN 103927534B CN 201410173859 A CN201410173859 A CN 201410173859A CN 103927534 B CN103927534 B CN 103927534B
- Authority
- CN
- China
- Prior art keywords
- character
- layer
- convolutional neural
- neural networks
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
- Character Discrimination (AREA)
Abstract
本发明提供了一种基于卷积神经网络的易拉罐罐底喷码字符在线视觉检测方法,包括离线状态下对图像中字符进行分割,并归类构建字符库,采用改进后的卷积神经网络学习法进行训练,形成稳定的分类器;在线检测中实时拍摄图片,分割字符,并用分类器进行分类,对存在瑕疵不合格的产品进行剔除;在保证实时性的同时极大的提高了检测精度,完全可以满足易拉罐罐底喷码字符在线检测过程高实时性、高准确性的要求。
Description
技术领域
本发明涉及利用机器视觉对易拉罐罐底喷码字符在线检测领域,具体是指一种应用于工业现场的、高实时性要求的易拉罐罐底字符识别的图像处理方法。
背景技术
随着我国食品饮料行业的快速增长,以易拉罐为容器的需求也不断增加,易拉罐产品质量的监测往往需要对产品信息进行检测、追踪。目前来说,各大厂商多用易拉罐罐底喷码字符来追踪产品信息,但在喷码过程中难免会出现诸如字符漏喷或者部分不完整、字符混乱等缺陷,因此,如何实时地对喷码字符识别检测,以便及时剔除不合格产品是亟需解决的问题。
当前喷码字符在线检测技术研究主要集中于两个方面,一是预处理方法的研究,为了满足识别的高实时性要求,预处理的过程尽可能的简单而高效;二是对于特征提取方法的研究,目前来说,特征提取的方法多为传统的结构特征、统计特征,这些特征对于传统的印刷字符识别效果较好,但是对于易断裂、易扭曲的喷码字符,识别效果不佳。
近几年,随着机器学习的发展,利用机器学习图像深度特征的方法开始越来越受到关注,卷积神经网络(Convolutional Neural Network,简称CNN)为其深度学习方式的一种,它的权值共享网络结构能够降低网络模型的复杂度,减少权值的数量,使图像直接作为网络的输入,避免了传统识别算法中复杂的特征提取和数据重建过程,并且具有良好的容错能力,并行处理能力,对字符识别过程中字符的几何变换、形变、光照不均匀都有良好的自适应性能。
发明内容
本发明目的在于提供一种针对易拉罐罐底喷码字符在线检测方法,可以满足工业现场高实时性、高识别率的要求。
为达到此目的,本发明的技术方案如下:识别过程分为离线训练过程和在线检测过程,离线训练过程主要包括对喷码字符构建分类器,以及对字符参数的设置;在线检测过程主要包括易拉罐罐底字符的分割,并用离线状态构建好的分类器进行识别。具体包括以下步骤:
离线训练过程:
(1)获取易拉罐罐底字符图像,调整好相机镜头光圈、焦距等机械参数,在易拉罐罐底上方安装球积分光源,拍摄图片,获取待检测易拉罐罐底图像。
(2)对获取的图像进行滤波、分割等预处理操作,将图像中的字符分割成单个的字符,并统一进行归类,建立喷码字符库,字符库类别一般包括“0~9”、“A~Z”以及部分特殊字符。
(3)建立字符分类器,对已建立好的字符库,采用卷积神经网络学习法进行训练,卷积神经网络本质上是学习一种输入到输出的映射关系,训练的过程主要分为三个阶段:
Step1、构建网络结构
本发明构建的卷积神经网络采用7层结构,包括输入层、两个卷积层、两个下采样层、全连接层以及输出层,训练的初期先构建网络结构,同时对网络的权值采用不同的小随机数进行初始化,一般介于[-1~1]范围内,偏置初始化置为0。
Step2、前向传播阶段
将输入样本Y与理想输出d送入已构建好的神经网络,通过卷积和下采样逐级的变换操作,传送到输出层:
Ok=fn(…(f2(f1(Yw(1))w(2)))w(n))
卷积操作构造卷积模板,将各核函数分别与输入图像依次卷积,得到不同的卷积图:
其中:n代表层数,S代表n层的单元数,Wij是连接第i个输入图像和第j个输出图像的5*5大小的卷积(权值),φj是第j个输出图像的阈值(偏置),f(*)为RELU函数:
下采样操作采用stochastic pooling采样,对图像进行概率加权采样:
其中:R1为采样层的窗口大小,通常为2*2大小,Yj为采样窗口的元素值。
Step3、反向传播阶段
计算实际输出Ok与相应的理想输出d之间的误差:
其中:M为输入样本个数。
采用梯度下降法来反向传播调整各层的权值和阈值,直至最后当E≤ε(设置最小误差参数)时,训练结束,将权值和偏置保存。这时网络结构各个参数已经稳定,分类器形成。
在线检测过程:
(1)实时获取易拉罐罐底字符图像,调整好相机镜头光圈、焦距等机械参数,在易拉罐罐底上方安装球积分光源,拍摄图片,实时获取待检测易拉罐罐底图像。
(2)对于获取的图像首先采用直方图均衡化和Ostu二值化等操作凸显字符区域,然后对字符区域旋转校正,最后将校正后的区域分割成单个字符。
(3)将分割好的字符归一化为28*28大小字符,送入已训练好的字符分类器中,在构建好的分类器中进行前馈学习,从而判断字符属性,输出字符信息。
(4)将字符信息与生产线管理系统进行数据传输,实现对于易拉罐的生产日期及批号的管理。由电气控制系统执行检测结果,对于与管理系统中不相符的、或者缺印、漏印无法识别的易拉罐进行剔除。
本发明的有益效果:本发明提供了一种改进的卷积神经网络构建训练分类器的方法。网络结构中的下采样方式采用概率加权采样(stochastic pooling),这种采样方式比传统采样方式更好的保留前一层特征,传统的卷积神经网络中激活函数一般采用sigmoid函数,本发明采用RELU函数进行激活,该种改进的构建方法能够提高卷积神经网络的泛化能力,同时能够满足检测算法中实时性强,准确性高的要求。
附图说明
图1本发明的离线训练系统整体流程图
图2本发明的卷积神经网络训练分类器流程图
图3本发明的在线检测系统整体流程图
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合具体实施例,并参照附图,对本发明作进一步详细说明。
本发明为一种易拉罐罐底喷码字符检测方法,检测过程分为离线训练过程和在线检测过程,离线训练系统整体流程图如图1,离线训练过程中通过卷积神经网络训练分类器,训练流程图如图2,在线检测过程中,将分割好的单个字符输入分类器中进行学习,输出字符信息,在线检测流程图如图3。
进一步的,离线过程具体实现步骤为:
步骤一、图像序列获取
根据字符识别检测精度要求,调整好相机镜头光圈、焦距等机械参数,获取易拉罐罐底字符图像。
步骤二、预处理操作
(1)对采集的图像做直方图均衡化处理,凸显出字符图像。
(2)采用Otsu法确定罐底图像的分割阈值Ostu_Threshold,低于阈值的部分标记为0,高于阈值的部分标记为1,然后对字符图像进行反色。
(3)选择3*3矩形结构元素对二值图像执行形态学腐蚀操作,将字符区域连接起来。设置字符区域属性,长度在(l1,l2)之间,宽度在(w1,w2)之间,即为字符区域,具体数值根据不同型号易拉罐进行调整。
(4)旋转字符区域,根据字符区域的最小外接矩形计算出的旋转角度,采用仿射变换和线性插值将待检测字符区域校正为水平方向。
(5)对旋转后的字符进行分割,首先采用投影分割法对字符进行行分割。针对图像的列数col,统计其投影值Prover[i]。受噪声影响,不同行之间的投影值并不一定等于0,因此需要设置一个分割阈值(Threshold),当Prover[i]<Threshold时,则第i行为分割行:
对于分行好的字符再采用指定比例法进行列分割,离线状态设置每行字符的个数,将每行的字符平均分割成单个字符,并对分割好的字符进行归类,建立字符库。
步骤三、构建分类器
卷积神经网络训练算法主要分为三个阶段:构建网络结构、前向传播阶段和反向传播阶段。
Step1、构建网络结构
本发明构建的卷积神经网络采用7层结构,包括输入层、两个卷积层、两个下采样层、全连接层以及输出层,训练的初期先构建网络结构,同时对网络的权值采用不同的小随机数进行初始化,一般介于[-1~1]范围内,偏置初始化置为0。
Step2、前向传播阶段
(1)输入层输入目标图像Y,以及对应的目标矢量d。如图示2中C1、C3层为卷积层,卷积层由卷积核对输入图像进行二维卷积,并加上偏置,再通过非线性激励函数得到:
其中:n代表层数,S代表n层的单元数,Wij是连接第i个输入图像和第j个输出图像的5*5大小的卷积(权值),φj是输出图像j的阈值(偏置),f(*)为RELU函数:
(2)本发明中S2、S4为下采样层,下采样的方式采用stochastic pooling采样,公式为:
其中:Rt为抽样层的窗口大小,通常为2*2大小,Yj为采样窗口的元素值。
(3)本发明中M5层为全连接层层,对M5层进行全连接操作后,计算网络层F6的实际输出Ok:
其中k为输出层单元数,θk为输出单元的阈值(偏置),l为M5的单元数,Vjk为连接全连接层和输出层的卷积,其中f(*)为softmax函数。
Step3、反向传播阶段
反向传播阶段采用梯度下降法反向调整各层的权值和阈值,统计总误差函数为:当E≤ε(设置最小误差参数)时,训练结束,将权值和阈值保存。这时网络结构各个参数已经稳定,分类器形成。
进一步的,在线过程具体实现步骤为:
步骤一、图像序列获取
根据字符识别实时在线检测精度要求,调整好相机镜头光圈、焦距等机械参数,实时获取易拉罐罐底字符图像。
步骤二、预处理操作
对获取的图像进行预处理,通过直方图均衡化拉伸图像,再通过Otsu法对图像进行二值化,增强对比度,对字符区域进行形态学腐蚀操作,凸显字符区域,根据离线状态设置的字符信息确定字符区域和旋转角度,利用仿射变换和线性插值对旋转区域进行倾斜校正,通过投影法和指定比例法分割成单个字符。
步骤三、字符识别
将分割好的单个字符归一化为28*28大小,识别过程中直接送入训练好的识别分类器中,经过卷积、下采样等前馈学习,输出字符信息。
步骤四、瑕疵品剔除
将输出的字符信息与生产线管理系统进行数据传输,实现对于易拉罐的生产日期及批号的管理。由电气控制系统执行检测结果,对于与管理系统中不相符的、或者缺印、漏印无法识别的不合格易拉罐进行剔除。
Claims (1)
1.一种基于卷积神经网络的喷码字符在线视觉检测方法,其特征在于,包括以下步骤:
(1)对易拉罐罐底图像进行特定预处理操作,分割出单个的字符图像,并统一进行归类,建立字符库;
(2)利用卷积神经网络学习方法训练字符,形成字符分类器,具体包括以下步骤:
第一步、构建网络结构:
构建的卷积神经网络采用7层结构,训练的初期对网络结构进行构建,对网络的权值采用不同的小随机数进行初始化,介于[-1~1]范围内,偏置初始化置为0;
第二步、前向传播阶段:
1)输入层输入目标图像Y,以及对应的目标矢量d,卷积层由卷积核对输入图像依次进行卷积,并加上偏置,再通过非线性激励函数得到:
其中,n代表层数,S代表n层的单元数,Wij是连接第i个输入图像和第j个输出图像的5*5大小的卷积,φj是第j个输出图像的阈值;
f(*)为RELU函数:
2)下采样的方式采用stochastic pooling采样,公式为:
Yt=∑j∈RtpjYj
其中:Rt为抽样层的窗口大小,通常为2*2大小,Yj为采样窗口的元素值;
3)对卷积、下采样后的特征图进行全连接操作,并计算网络层F6的实际输出Ok:
其中,k为输出层单元数,θk为输出单元的阈值,l为M5的单元数,Vtk为连接全连接层和输出层的卷积,其中f(*)为softmax函数
第三步、反向传播阶段:
反向传播阶段采用梯度下降法对权值和阈值进行调整,统计总误差函数为:
其中,M为输出样本个数;
当E≤ε时,训练结束,将权值和阈值保存,这时网络结构各个参数已经稳定,分类器形成;
(3)在线检测中实时拍摄图像,采用预处理操作分割字符,并用分类器进行识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410173859.2A CN103927534B (zh) | 2014-04-26 | 2014-04-26 | 一种基于卷积神经网络的喷码字符在线视觉检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410173859.2A CN103927534B (zh) | 2014-04-26 | 2014-04-26 | 一种基于卷积神经网络的喷码字符在线视觉检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103927534A CN103927534A (zh) | 2014-07-16 |
CN103927534B true CN103927534B (zh) | 2017-12-26 |
Family
ID=51145750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410173859.2A Active CN103927534B (zh) | 2014-04-26 | 2014-04-26 | 一种基于卷积神经网络的喷码字符在线视觉检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103927534B (zh) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104268538A (zh) * | 2014-10-13 | 2015-01-07 | 江南大学 | 一种易拉罐点阵喷码字符在线视觉检测方法 |
CN105809090A (zh) * | 2014-12-30 | 2016-07-27 | 中国科学院深圳先进技术研究院 | 一种人脸性别特征提取的方法及系统 |
CN104899571B (zh) * | 2015-06-12 | 2018-12-04 | 成都数联铭品科技有限公司 | 一种用于复杂文字识别的随机样本产生方法 |
CN105069779B (zh) * | 2015-07-20 | 2017-12-26 | 童垸林 | 一种建筑陶瓷表面花纹图案质量检测方法 |
CN105117739A (zh) * | 2015-07-29 | 2015-12-02 | 南京信息工程大学 | 一种基于卷积神经网络的服装分类方法 |
CN105426917A (zh) * | 2015-11-23 | 2016-03-23 | 广州视源电子科技股份有限公司 | 一种元件分类方法及装置 |
CN105513046B (zh) * | 2015-11-23 | 2019-03-01 | 广州视源电子科技股份有限公司 | 电子元件极性的识别方法和系统、标注方法和系统 |
CN105469400B (zh) * | 2015-11-23 | 2019-02-26 | 广州视源电子科技股份有限公司 | 电子元件极性方向的快速识别、标注的方法和系统 |
CN105488517B (zh) * | 2015-11-30 | 2019-03-26 | 杭州全实鹰科技有限公司 | 一种基于深度学习的车辆品牌型号识别方法 |
CN105608454B (zh) * | 2015-12-21 | 2019-08-09 | 上海交通大学 | 基于文字结构部件检测神经网络的文字检测方法及系统 |
CN106096932A (zh) * | 2016-06-06 | 2016-11-09 | 杭州汇萃智能科技有限公司 | 基于餐具形状的菜品自动识别系统的计价方法 |
CN107341805B (zh) * | 2016-08-19 | 2018-11-23 | 北京市商汤科技开发有限公司 | 图像前背景分割及网络模型训练、图像处理方法和装置 |
CN106651866A (zh) * | 2016-12-23 | 2017-05-10 | 江苏中海达海洋信息技术有限公司 | 一种基于神经网络的多波束水柱目标自动分割方法 |
CN106650721B (zh) * | 2016-12-28 | 2019-08-13 | 吴晓军 | 一种基于卷积神经网络的工业字符识别方法 |
CN108694539B (zh) * | 2017-04-12 | 2021-12-10 | 杭州天象智能科技有限公司 | 一种基于计算机视觉的木料全自动出入库统计系统及方法 |
CN107169491A (zh) * | 2017-05-19 | 2017-09-15 | 佛山市南海区广工大数控装备协同创新研究院 | 一种齿环模具编号检测方法 |
CN107330439B (zh) | 2017-07-14 | 2022-11-04 | 腾讯科技(深圳)有限公司 | 一种图像中物体姿态的确定方法、客户端及服务器 |
CN107480682B (zh) * | 2017-08-25 | 2020-01-17 | 重庆慧都科技有限公司 | 一种商品包装生产日期检测方法 |
CN107679452A (zh) * | 2017-08-28 | 2018-02-09 | 中国电子科技集团公司第二十八研究所 | 大数据下基于卷积神经网络的货运列车车号实时识别系统 |
CN107451588A (zh) * | 2017-08-28 | 2017-12-08 | 广东工业大学 | 一种基于机器视觉的易拉罐光滑曲面喷码在线识别方法 |
CN108287162B (zh) * | 2018-01-09 | 2021-04-23 | 温州大学 | 一种食品安全智能检测的方法 |
CN108376257B (zh) * | 2018-02-10 | 2021-10-29 | 西北大学 | 一种燃气表不完整码字识别方法 |
CN108764242A (zh) * | 2018-05-21 | 2018-11-06 | 浙江工业大学 | 基于深层卷积神经网络的离线手写汉字体识别方法 |
CN108764141B (zh) * | 2018-05-25 | 2021-07-02 | 广州虎牙信息科技有限公司 | 一种游戏场景描述方法、装置、设备及其存储介质 |
CN109003689B (zh) * | 2018-05-28 | 2019-11-05 | 西南交通大学 | 一种基于卷积神经网络的核堆内构件表面监测方法 |
CN108921163A (zh) * | 2018-06-08 | 2018-11-30 | 南京大学 | 一种基于深度学习的包装喷码检测方法 |
CN108889635B (zh) * | 2018-07-17 | 2021-07-27 | 山东炎黄工业设计有限公司 | 一种易拉罐制造缺陷在线视觉检测方法 |
CN109522892A (zh) * | 2018-09-29 | 2019-03-26 | 北明智通(北京)科技有限公司 | 神经网络辅助的文字图像信息标注方法 |
CN109785319B (zh) * | 2019-01-28 | 2023-09-08 | 湖北汽车工业学院 | 一种基于图像处理的喷码字符检测系统、装置和检测方法 |
CN110333689A (zh) * | 2019-03-20 | 2019-10-15 | 广西壮族自治区机械工业研究院 | 一种用于包装码垛生产线的物联网数据采集分析系统 |
CN111753575A (zh) * | 2019-03-26 | 2020-10-09 | 杭州海康威视数字技术股份有限公司 | 文本识别方法、装置及设备 |
CN109977960B (zh) * | 2019-04-03 | 2020-02-28 | 杭州深数科技有限公司 | 基于神经网络的木料堆信息获取方法、系统、装置 |
CN110084132B (zh) * | 2019-04-03 | 2020-02-28 | 杭州深数科技有限公司 | 基于无人机的木料货场木料信息获取方法、系统、装置 |
CN110044921A (zh) * | 2019-04-28 | 2019-07-23 | 江苏理工学院 | 锂电池外观缺陷检测系统和方法 |
CN110378337B (zh) * | 2019-07-05 | 2023-03-31 | 上海交通大学 | 金属切削刀具图纸标识信息视觉输入方法及系统 |
CN111832561B (zh) * | 2020-07-03 | 2021-06-08 | 深圳思谋信息科技有限公司 | 基于计算机视觉的字符序列识别方法、装置、设备和介质 |
CN112505049B (zh) * | 2020-10-14 | 2021-08-03 | 上海互觉科技有限公司 | 基于蒙版抑制的精密零组件表面缺陷检测方法和系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5566273A (en) * | 1993-12-30 | 1996-10-15 | Caterpillar Inc. | Supervised training of a neural network |
CN103489009A (zh) * | 2013-09-17 | 2014-01-01 | 北方信息控制集团有限公司 | 基于自适应修正神经网络的模式识别方法 |
-
2014
- 2014-04-26 CN CN201410173859.2A patent/CN103927534B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5566273A (en) * | 1993-12-30 | 1996-10-15 | Caterpillar Inc. | Supervised training of a neural network |
CN103489009A (zh) * | 2013-09-17 | 2014-01-01 | 北方信息控制集团有限公司 | 基于自适应修正神经网络的模式识别方法 |
Non-Patent Citations (2)
Title |
---|
基于HALCON 的乳制品箱体喷码字符识别方法研究;郭佳寅 等;《制造业自动化》;20130228;第35卷(第2期);第21-22,30页 * |
基于机器视觉技术的易拉罐罐底喷码检测系统设计;唐慧;《自动化博览》;20121231;第48-50页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103927534A (zh) | 2014-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103927534B (zh) | 一种基于卷积神经网络的喷码字符在线视觉检测方法 | |
CN109543606B (zh) | 一种加入注意力机制的人脸识别方法 | |
CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
CN108038853B (zh) | 一种基于卷积神经网络和主动学习的瓷砖表面缺陷识别方法 | |
CN107330453B (zh) | 基于分步识别和融合关键部位检测的色情图像识别方法 | |
CN109376792A (zh) | 基于多通道残差神经网络的光伏电池外观缺陷分类方法 | |
CN110097053B (zh) | 一种基于改进Faster-RCNN的电力设备外观缺陷检测方法 | |
CN108564565A (zh) | 一种基于深度学习的电力设备红外图像多目标定位方法 | |
CN110533084A (zh) | 一种基于自注意力机制的多尺度目标检测方法 | |
CN104268538A (zh) | 一种易拉罐点阵喷码字符在线视觉检测方法 | |
CN106022232A (zh) | 基于深度学习的车牌检测方法 | |
CN108960404B (zh) | 一种基于图像的人群计数方法及设备 | |
CN105469111B (zh) | 基于改进的mfa和迁移学习的小样本集的物体分类方法 | |
CN108154072A (zh) | 基于深度卷积神经网络的航拍绝缘子故障自动检测 | |
CN109284779A (zh) | 基于深度全卷积网络的物体检测方法 | |
Han et al. | A new method in wheel hub surface defect detection: Object detection algorithm based on deep learning | |
CN108985337A (zh) | 一种基于图像深度学习的产品表面划痕检测方法 | |
CN106874929B (zh) | 一种基于深度学习的珍珠分类方法 | |
CN110135513A (zh) | 一种基于深度学习的焊接机器人的焊缝识别方法 | |
CN105955708A (zh) | 一种基于深度卷积神经网络的体育视频镜头分类方法 | |
CN108875819B (zh) | 一种基于长短期记忆网络的物体和部件联合检测方法 | |
CN107665352A (zh) | 一种基于多通道残差网络的珍珠分类方法 | |
CN106778526A (zh) | 一种基于汉明距离的大规模高效人脸识别方法 | |
CN112258490A (zh) | 基于光学和红外图像融合的低发射率涂层智能探损方法 | |
Zeng et al. | Steel sheet defect detection based on deep learning method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |