CN110084327A - 基于视角自适应深度网络的票据手写数字识别方法及系统 - Google Patents

基于视角自适应深度网络的票据手写数字识别方法及系统 Download PDF

Info

Publication number
CN110084327A
CN110084327A CN201910359135.XA CN201910359135A CN110084327A CN 110084327 A CN110084327 A CN 110084327A CN 201910359135 A CN201910359135 A CN 201910359135A CN 110084327 A CN110084327 A CN 110084327A
Authority
CN
China
Prior art keywords
image
value
depth network
bill
visual angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910359135.XA
Other languages
English (en)
Other versions
CN110084327B (zh
Inventor
陈羽中
黄腾达
柯逍
林洋洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201910359135.XA priority Critical patent/CN110084327B/zh
Publication of CN110084327A publication Critical patent/CN110084327A/zh
Application granted granted Critical
Publication of CN110084327B publication Critical patent/CN110084327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/242Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • G06V30/244Division of the character sequences into groups prior to recognition; Selection of dictionaries using graphical properties, e.g. alphabet type or font
    • G06V30/2455Discrimination between machine-print, hand-print and cursive writing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明涉及一种基于视角自适应深度网络的票据手写数字识别方法及系统,该方法包括以下步骤:步骤A:使用带类别标签的数字图像训练视角自适应的深度网络;步骤B:对彩色票据图像进行预处理,得到二值图像;步骤C:使用积分投影法对二值图像进行分割,得到各数字图像;步骤D:将各数字图像分别输入到深度网络进行数字识别,得到分类结果。该方法及系统解决了票据手写数字识别中存在的字形字体变化导致识别出错、视角变化对识别造成影响的问题,有利于提高票据手写数字识别的准确度和速度。

Description

基于视角自适应深度网络的票据手写数字识别方法及系统
技术领域
本发明涉及模式识别与计算机视觉技术领域,具体涉及一种基于视角自适应深度网络的票据手写数字识别方法及系统。
背景技术
票据作为交易的重要凭证,在银行、证券、保险等行业中应用广泛,使用率极高。而票据上的手写数字因其包含了交易的主要信息,在业务往来中需保存使用。为了完成票据信息的电子化,传统的方法是依赖大量人力去手动输入手写数字信息,该方法成本高、容易出错,不利于提高办公效率。随着计算机视觉技术的不断进步,使得自动识别票据上的手写数字成为可能。通过手机等设备采集票据图像,并经计算机处理,便可自动识别出票据上的数字,该方法速度快,大大降低了录入成本,同时提升准确率。
但自动识别票据手写数字也存在着很多挑战。首先,因个人书写习惯不同导致同一手写数字具有不同的字体字形,这些差异给数字识别带来了较大的挑战,极大地降低了识别准确率。然后,因摄像头拍摄角度不同的缘故,导致数字倾斜的问题,也给识别造成影响,使得分类出现错误。最后,票据具有不同的样式风格,从图像中分割得到单个数字图像以进行识别变得非常困难,进一步影响了识别的精度。
发明内容
本发明的目的在于提供一种基于视角自适应深度网络的票据手写数字识别方法及系统,该方法及系统有利于提高票据手写数字识别的准确度和速度。
为实现上述目的,本发明的技术方案是:一种基于视角自适应深度网络的票据手写数字识别方法,包括以下步骤:
步骤A:使用带类别标签的数字图像训练视角自适应的深度网络;
步骤B:对彩色票据图像进行预处理,得到二值图像;
步骤C:使用积分投影法对二值图像进行分割,得到各数字图像;
步骤D:将各数字图像分别输入到深度网络进行数字识别,得到分类结果。
进一步地,所述步骤A中,使用带类别标签的数字图像训练视角自适应的深度网络,包括以下步骤:
步骤A1:将带类别标签的数字图像随机分成若干个批次,每个批次包含N张数字图像;
步骤A2:将每个批次的数字图像分别输入到视角自适应的深度网络,所述深度网络由线性整流函数控制激活的卷积层以及带视角变换矩阵和激活值的投票层构成,得到各张图像预测的类标签向量;
步骤A3:根据目标损失函数loss,利用反向传播方法计算所述深度网络中各参数的梯度,并利用随机梯度下降方法更新参数;
其中,目标损失函数loss定义如下:
其中,exp()和log()分别是以自然常数为底的指数函数和对数函数,x为所述深度网络输出的预测的类标签向量,所述预测的类标签向量的每个元素表示图像预测的属于某一类别的概率,class为图像正确的类别,x[j]表示向量x的第j个元素,x[class]表示预测的属于图像正确类别的概率,loss为目标损失函数值;
步骤A4:以批次为单位重复进行上述A2和A3步骤,直至步骤A3中计算得到的loss值收敛到阈值T,保存网络参数,完成训练过程。
进一步地,所述步骤A2中,将每个批次的数字图像分别输入到视角自适应的深度网络,得到各张图像预测的类标签向量,包括以下步骤:
步骤A21:将数字图像输入到由线性整流函数控制激活的卷积层,按如下公式输出图像特征:
conv_output=ReLU(I⊙K)
其中,I为图像块,K为卷积核,⊙表示卷积操作,conv_output为该图像块的输出值,ReLU()为线性整流函数,其公式如下:
a表示ReLU函数的输入值;
步骤A22:将卷积层输出的图像特征输入到带视角变换矩阵和激活值的投票层,按如下公式计算输出的激活值:
其中,d表示该层第d个投票单元,actd为d单元输出的激活值,sigmoid()为激活函数,λ为温度系数,B1为激活该单元所带来的损失值,B2为不激活该单元所带来的损失值,c表示上一层第c个单元;rc,d表示上一层c单元对当前层d单元的投票值,并按照rc,d=votec,d×actc计算得到,actc为上一层c单元的输出,votec,d为c单元对d单元的贡献值,按照votec,d=posec×tranc,d计算,posec为c单元输出的视角变换矩阵,tranc,d为c单元传递给d单元所需的转换矩阵,是一个学习参数,通过反向传播进行更新;h表示视角变换矩阵第h个元素,为数据分布损失,按如下公式计算:
其中,ln为底数为自然常数的对数函数,为所有来自下一层对d单元的贡献值votec,d的标准差,π为圆周率;
在计算投票层的输出时,在输出的贡献值矩阵最右边添加一列,前两个元素的值为该单元感受区域的中心位置坐标,感受区域指的是原图中与产生该单元输入值相关的区域,所有坐标经过规范化处理,使其保持在0和1之间,后两个元素为零;
最后层的激活值构成预测的类标签向量。
进一步地,所述步骤B中,对彩色票据图像进行预处理,得到二值图像,包括以下步骤:
步骤B1:对彩色票据图像进行灰度化处理,得到灰度图像;
步骤B2:对灰度图像进行多阈值分割处理,得到多个预选二值图像;
步骤B3:对多个预选二值图像进行融合操作,输出最终的二值图像。
进一步地,所述步骤B1中,对彩色票据图像进行灰度化处理的方法为:
对RGB格式的彩色票据图像的每个通道计算其均值,对于图像中每个像素点,按如下公式计算其灰度值:
其中,meanred、meangreen、meanblue分别是RGB各通道的均值,meantotal为各通道均值的和,Indexred、Indexgreen、Indexblue分别是该像素点在各通道下的像素值,gray为该像素点的灰度值。
进一步地,所述步骤B2中,对灰度图像进行多阈值分割处理,得到多个预选二值图像,包括以下步骤:
步骤B21:根据灰度直方图计算多个阈值,具体方法为:对图像的灰度值进行统计以生成灰度直方图,并按照像素点数量进行递减排序,选取前ωhis个灰度值,依次分成P组,分别计算其均值作为阈值,最终得到P个阈值;
步骤B22:采用所述P个阈值分别对灰度图像进行处理,得到多个预选二值图像;
一个预选二值图像的获得方法为:对于灰度图像的每个像素点,如果其灰度值大于阈值,则输出1,小于或等于阈值,则输出0,所有像素点的输出构成一个预选二值图像;
所述步骤B3中,对多个预选二值图像进行融合操作,输出最终的二值图像,包括以下步骤:
步骤B31:选取第一个预选二值图像中像素值为0的点作为强可靠点;
步骤B32:根据强可靠点选取弱可靠点,具体方法如下:以每个强可靠点为中心选取W×W的窗口区域,W为窗口的长和宽,对于窗口区域内的非中心点,如果其在除第一个预选二值图像外的其他预选二值图像中的值都为0,则将其标记为弱可靠点;
步骤B33:对于两类可靠点,将其在二值图像的对应位置设置为1,二值图像其余各点设置为0,得到最终的二值图像。
进一步地,所述步骤C中,使用积分投影法对二值图像进行分割,得到各数字图像,包括以下步骤:
步骤C1:对二值图像进行行分割,包括以下步骤:
步骤C11:根据二值图像,计算行积分投影,即对每一行统计像素值为0的点的数量;
步骤C12:按照中心行的位置将图像分成上下两部分,分别选取上下两部分积分投影最高的行作为目标行,最后根据两个目标行的位置对图像进行分割;
步骤C2:根据行分割结果,对图像进行列分割,包括以下步骤:
步骤C21:根据行分割图像,计算列积分投影,即对每一列统计像素值为0的点的数量;
步骤C22:对于每一列,如果该列的积分投影大于以其为中心,τ列为半径的邻域范围内所有列的积分投影,则将其列入预选列分割点,所有的预选列分割点构成预选列表,τ为列半径选取阈值;
步骤C23:对于每个预选列分割点,在以其为中心,Φ列为半径的领域范围内如果存在其他预选列分割点,并且其投影积分小于其他预选列分割点,则将其从预选列表中移除,最终保留在预选列表中的点即是确定的列分割点,Φ为筛选阈值;
步骤C24:根据列分割点对图像进行分割,得到各数字图像。
进一步地,所述步骤D中,将各数字图像分别输入到深度网络,得到分类结果,包括以下步骤:
步骤D1:将各数字图像分别输入到深度网络中,计算其激活值;
步骤D2:根据激活值计算各数字图像所属的数字类别。
进一步地,所述步骤D2中,根据激活值计算各数字图像所属的数字类别,具体方法为:对于每个激活值,利用公式计算其所属类别,其中argmax函数表示寻找使得函数成为最大值的参数量,d表示网络最后一层第d个投票单元,actd为d单元输出的激活值,pred为最终的分类结果。
本发明还提供了一种基于视角自适应深度网络的票据手写数字识别系统,包括:
深度网络训练模块,用于使用带类别标签的数字图像训练视角自适应的深度网络;
预处理模块,用于对彩色票据图像进行预处理,以得到二值图像;
分割模块,用于使用积分投影法对二值图像进行分割,以得到各数字图像;以及
识别模块,用于将各数字图像分别输入到深度网络进行数字识别。
相较于现有技术,本发明的有益效果是:该方法首先通过带标签的数字图像训练深度网络,该网络通过融合视角变换信息解决传统网络对视角变换不敏感的问题。接着通过多阈值融合二值化方法获得票据的二值图像,该方法解决了传统方法对阈值过度依赖的问题,同时也能更好地处理光照不均、底纹的影响。然后通过积分投影方法对票据图像进行分割以获得各数字图像,该方法相比于传统方法更好地解决了倾斜情况下分割准确率较低的问题。最后将各数字图像输入到训练好的深度网络以获得分类结果,具有较高的识别性能。该识别方法解决了票据手写数字识别中存在的字形字体变化导致识别出错、视角变化对识别造成影响的问题,具有视角自适应、光照自适应、背景鲁棒、分类准确度高、快速等优点,具有较高的实用价值。
附图说明
图1是本发明方法的实现流程图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
本发明提供了一种基于视角自适应深度网络的票据手写数字识别方法,如图1所示,包括以下步骤:
步骤A:使用带类别标签的数字图像训练视角自适应的深度网络。具体包括以下步骤:
步骤A1:将带类别标签的数字图像随机分成若干个批次,每个批次包含N张数字图像。
步骤A2:将每个批次的数字图像分别输入到视角自适应的深度网络,所述深度网络由线性整流函数控制激活的卷积层以及带视角变换矩阵和激活值的投票层构成,得到各张图像预测的类标签向量。具体包括以下步骤:
步骤A21:将数字图像输入到由线性整流函数控制激活的卷积层,按如下公式输出图像特征:
conv_output=ReLU(I⊙K)
其中,I为图像块,K为卷积核,⊙表示卷积操作,conv_output为该图像块的输出值,ReLU()为线性整流函数,其公式如下:
a表示ReLU函数的输入值;
步骤A22:将卷积层输出的图像特征输入到带视角变换矩阵和激活值的投票层,按如下公式计算输出的激活值:
其中,d表示该层第d个投票单元,actd为d单元输出的激活值,sigmoid()为激活函数,λ为温度系数,B1为激活该单元所带来的损失值,B2为不激活该单元所带来的损失值,c表示上一层第c个单元;rc,d表示上一层c单元对当前层d单元的投票值,并按照rc,d=votec,d×actc计算得到,actc为上一层c单元的输出,votec,d为c单元对d单元的贡献值,按照votec,d=posec×tranc,d计算,posec为c单元输出的大小为4x4的视角变换矩阵,tranc,d为c单元传递给d单元所需的转换矩阵,是一个学习参数,通过反向传播进行更新;h表示视角变换矩阵第h个元素,为数据分布损失,按如下公式计算:
其中,ln为底数为自然常数的对数函数,为所有来自下一层对d单元的贡献值votec,d的标准差,π为圆周率;
在计算投票层的输出时,在输出的贡献值矩阵最右边添加一列,前两个元素的值为该单元感受区域的中心位置坐标,感受区域指的是原图中与产生该单元输入值相关的区域,所有坐标经过规范化处理,使其保持在0和1之间,后两个元素为零;
最后层的激活值构成预测的类标签向量。
步骤A3:根据目标损失函数loss,利用反向传播方法计算所述深度网络中各参数的梯度,并利用随机梯度下降方法更新参数;其中,目标损失函数loss定义如下:
其中,exp()和log()分别是以自然常数为底的指数函数和对数函数,x为所述深度网络输出的预测的类标签向量,所述预测的类标签向量的每个元素表示图像预测的属于某一类别的概率,class为图像正确的类别,x[j]表示向量x的第j个元素,x[class]表示预测的属于图像正确类别的概率,loss为目标损失函数值。
步骤A4:以批次为单位重复进行上述A2和A3步骤,直至步骤A3中计算得到的loss值收敛到阈值T,保存网络参数,完成训练过程。
步骤B:对彩色票据图像进行预处理,得到二值图像。具体包括以下步骤:
步骤B1:对彩色票据图像进行灰度化处理,得到灰度图像,具体方法为:
对RGB格式的彩色票据图像的每个通道计算其均值,对于图像中每个像素点,按如下公式计算其灰度值:
其中,meanred、meangreen、meanblue分别是RGB各通道的均值,meantotal为各通道均值的和,Indexred、Indexgreen、Indexblue分别是该像素点在各通道下的像素值,gray为该像素点的灰度值。
步骤B2:对灰度图像进行多阈值分割处理,得到多个预选二值图像,包括以下步骤:
步骤B21:根据灰度直方图计算多个阈值,具体方法为:对图像的灰度值进行统计以生成灰度直方图,并按照像素点数量进行递减排序,选取前ωhis个灰度值,依次分成P组,分别计算其均值作为阈值,最终得到P个阈值;
步骤B22:采用所述P个阈值分别对灰度图像进行处理,得到多个预选二值图像;
一个预选二值图像的获得方法为:对于灰度图像的每个像素点,如果其灰度值大于阈值,则输出1,小于或等于阈值,则输出0,所有像素点的输出构成一个预选二值图像。
步骤B3:对多个预选二值图像进行融合操作,输出最终的二值图像,包括以下步骤:
步骤B31:选取第一个预选二值图像中像素值为0的点作为强可靠点;
步骤B32:根据强可靠点选取弱可靠点,具体方法如下:以每个强可靠点为中心选取W×W的窗口区域,W为窗口的长和宽,对于窗口区域内的非中心点,如果其在除第一个预选二值图像外的其他预选二值图像中的值都为0,则将其标记为弱可靠点;
步骤B33:对于两类可靠点,将其在二值图像的对应位置设置为1,二值图像其余各点设置为0,得到最终的二值图像。
步骤C:使用积分投影法对二值图像进行分割,得到各数字图像。具体包括以下步骤:
步骤C1:对二值图像进行行分割,包括以下步骤:
步骤C11:根据二值图像,计算行积分投影,即对每一行统计像素值为0的点的数量;
步骤C12:按照中心行的位置将图像分成上下两部分,分别选取上下两部分积分投影最高的行作为目标行,最后根据两个目标行的位置对图像进行分割;
步骤C2:根据行分割结果,对图像进行列分割,包括以下步骤:
步骤C21:根据行分割图像,计算列积分投影,即对每一列统计像素值为0的点的数量;
步骤C22:对于每一列,如果该列的积分投影大于以其为中心,τ列为半径的邻域范围内所有列的积分投影,则将其列入预选列分割点,所有的预选列分割点构成预选列表,τ为列半径选取阈值;
步骤C23:对于每个预选列分割点,在以其为中心,Φ列为半径的领域范围内如果存在其他预选列分割点,并且其投影积分小于其他预选列分割点,则将其从预选列表中移除,最终保留在预选列表中的点即是确定的列分割点,Φ为筛选阈值;
步骤C24:根据列分割点对图像进行分割,得到各数字图像。
步骤D:将各数字图像分别输入到深度网络进行数字识别,得到分类结果。具体包括以下步骤:
步骤D1:将各数字图像分别输入到深度网络中,计算其激活值;
步骤D2:根据激活值计算各数字图像所属的数字类别,具体方法为:对于每个激活值,利用公式计算其所属类别,其中argmax函数表示寻找使得函数成为最大值的参数量,d表示网络最后一层第d个投票单元,actd为d单元输出的激活值,pred为最终的分类结果。
本发明还提供了用于实现上述方法的票据手写数字识别系统,包括:
深度网络训练模块,用于使用带类别标签的数字图像训练视角自适应的深度网络;
预处理模块,用于对彩色票据图像进行预处理,以得到二值图像;
分割模块,用于使用积分投影法对二值图像进行分割,以得到各数字图像;以及
识别模块,用于将各数字图像分别输入到深度网络进行数字识别。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。

Claims (10)

1.一种基于视角自适应深度网络的票据手写数字识别方法,其特征在于,包括以下步骤:
步骤A:使用带类别标签的数字图像训练视角自适应的深度网络;
步骤B:对彩色票据图像进行预处理,得到二值图像;
步骤C:使用积分投影法对二值图像进行分割,得到各数字图像;
步骤D:将各数字图像分别输入到深度网络进行数字识别,得到分类结果。
2.根据权利要求1所述的基于视角自适应深度网络的票据手写数字识别方法,其特征在于,所述步骤A中,使用带类别标签的数字图像训练视角自适应的深度网络,包括以下步骤:
步骤A1:将带类别标签的数字图像随机分成若干个批次,每个批次包含N张数字图像;
步骤A2:将每个批次的数字图像分别输入到视角自适应的深度网络,所述深度网络由线性整流函数控制激活的卷积层以及带视角变换矩阵和激活值的投票层构成,得到各张图像预测的类标签向量;
步骤A3:根据目标损失函数loss,利用反向传播方法计算所述深度网络中各参数的梯度,并利用随机梯度下降方法更新参数;
其中,目标损失函数loss定义如下:
其中,exp()和log()分别是以自然常数为底的指数函数和对数函数,x为所述深度网络输出的预测的类标签向量,所述预测的类标签向量的每个元素表示图像预测的属于某一类别的概率,class为图像正确的类别,x[j]表示向量x的第j个元素,x[class]表示预测的属于图像正确类别的概率,loss为目标损失函数值;
步骤A4:以批次为单位重复进行上述A2和A3步骤,直至步骤A3中计算得到的loss值收敛到阈值T,保存网络参数,完成训练过程。
3.根据权利要求2所述的基于视角自适应深度网络的票据手写数字识别方法,其特征在于,所述步骤A2中,将每个批次的数字图像分别输入到视角自适应的深度网络,得到各张图像预测的类标签向量,包括以下步骤:
步骤A21:将数字图像输入到由线性整流函数控制激活的卷积层,按如下公式输出图像特征:
conv_output=ReLU(I⊙K)
其中,I为图像块,K为卷积核,⊙表示卷积操作,conv_output为该图像块的输出值,ReLU()为线性整流函数,其公式如下:
a表示ReLU函数的输入值;
步骤A22:将卷积层输出的图像特征输入到带视角变换矩阵和激活值的投票层,按如下公式计算输出的激活值:
其中,d表示该层第d个投票单元,actd为d单元输出的激活值,sigmoid()为激活函数,λ为温度系数,B1为激活该单元所带来的损失值,B2为不激活该单元所带来的损失值,c表示上一层第c个单元;rc,d表示上一层c单元对当前层d单元的投票值,并按照rc,d=votec,d×actc计算得到,actc为上一层c单元的输出,votec,d为c单元对d单元的贡献值,按照votec,d=posec×tranc,d计算,posec为c单元输出的视角变换矩阵,tranc,d为c单元传递给d单元所需的转换矩阵,是一个学习参数,通过反向传播进行更新;h表示视角变换矩阵第h个元素,为数据分布损失,按如下公式计算:
其中,ln为底数为自然常数的对数函数,为所有来自下一层对d单元的贡献值votec,d的标准差,π为圆周率;
在计算投票层的输出时,在输出的贡献值矩阵最右边添加一列,前两个元素的值为该单元感受区域的中心位置坐标,感受区域指的是原图中与产生该单元输入值相关的区域,所有坐标经过规范化处理,使其保持在0和1之间,后两个元素为零;
最后层的激活值构成预测的类标签向量。
4.根据权利要求1所述的基于视角自适应深度网络的票据手写数字识别方法,其特征在于,所述步骤B中,对彩色票据图像进行预处理,得到二值图像,包括以下步骤:
步骤B1:对彩色票据图像进行灰度化处理,得到灰度图像;
步骤B2:对灰度图像进行多阈值分割处理,得到多个预选二值图像;
步骤B3:对多个预选二值图像进行融合操作,输出最终的二值图像。
5.根据权利要求4所述的基于视角自适应深度网络的票据手写数字识别方法,其特征在于,所述步骤B1中,对彩色票据图像进行灰度化处理的方法为:
对RGB格式的彩色票据图像的每个通道计算其均值,对于图像中每个像素点,按如下公式计算其灰度值:
其中,meanred、meangreen、meanblue分别是RGB各通道的均值,meantotal为各通道均值的和,Indexred、Indexgreen、Indexblue分别是该像素点在各通道下的像素值,gray为该像素点的灰度值。
6.根据权利要求4所述的基于视角自适应深度网络的票据手写数字识别方法,其特征在于,所述步骤B2中,对灰度图像进行多阈值分割处理,得到多个预选二值图像,包括以下步骤:
步骤B21:根据灰度直方图计算多个阈值,具体方法为:对图像的灰度值进行统计以生成灰度直方图,并按照像素点数量进行递减排序,选取前ωhis个灰度值,依次分成P组,分别计算其均值作为阈值,最终得到P个阈值;
步骤B22:采用所述P个阈值分别对灰度图像进行处理,得到多个预选二值图像;
一个预选二值图像的获得方法为:对于灰度图像的每个像素点,如果其灰度值大于阈值,则输出1,小于或等于阈值,则输出0,所有像素点的输出构成一个预选二值图像;
所述步骤B3中,对多个预选二值图像进行融合操作,输出最终的二值图像,包括以下步骤:
步骤B31:选取第一个预选二值图像中像素值为0的点作为强可靠点;
步骤B32:根据强可靠点选取弱可靠点,具体方法如下:以每个强可靠点为中心选取W×W的窗口区域,W为窗口的长和宽,对于窗口区域内的非中心点,如果其在除第一个预选二值图像外的其他预选二值图像中的值都为0,则将其标记为弱可靠点;
步骤B33:对于两类可靠点,将其在二值图像的对应位置设置为1,二值图像其余各点设置为0,得到最终的二值图像。
7.根据权利要求1所述的基于视角自适应深度网络的票据手写数字识别方法,其特征在于,所述步骤C中,使用积分投影法对二值图像进行分割,得到各数字图像,包括以下步骤:
步骤C1:对二值图像进行行分割,包括以下步骤:
步骤C11:根据二值图像,计算行积分投影,即对每一行统计像素值为0的点的数量;
步骤C12:按照中心行的位置将图像分成上下两部分,分别选取上下两部分积分投影最高的行作为目标行,最后根据两个目标行的位置对图像进行分割;
步骤C2:根据行分割结果,对图像进行列分割,包括以下步骤:
步骤C21:根据行分割图像,计算列积分投影,即对每一列统计像素值为0的点的数量;
步骤C22:对于每一列,如果该列的积分投影大于以其为中心,τ列为半径的邻域范围内所有列的积分投影,则将其列入预选列分割点,所有的预选列分割点构成预选列表,τ为列半径选取阈值;
步骤C23:对于每个预选列分割点,在以其为中心,Φ列为半径的领域范围内如果存在其他预选列分割点,并且其投影积分小于其他预选列分割点,则将其从预选列表中移除,最终保留在预选列表中的点即是确定的列分割点,Φ为筛选阈值;
步骤C24:根据列分割点对图像进行分割,得到各数字图像。
8.根据权利要求1所述的基于视角自适应深度网络的票据手写数字识别方法,其特征在于,所述步骤D中,将各数字图像分别输入到深度网络,得到分类结果,包括以下步骤:
步骤D1:将各数字图像分别输入到深度网络中,计算其激活值;
步骤D2:根据激活值计算各数字图像所属的数字类别。
9.根据权利要求8所述的基于视角自适应深度网络的票据手写数字识别方法,其特征在于,所述步骤D2中,根据激活值计算各数字图像所属的数字类别,具体方法为:对于每个激活值,利用公式计算其所属类别,其中argmax函数表示寻找使得函数成为最大值的参数量,d表示网络最后一层第d个投票单元,actd为d单元输出的激活值,pred为最终的分类结果。
10.一种基于视角自适应深度网络的票据手写数字识别系统,其特征在于,包括:
深度网络训练模块,用于使用带类别标签的数字图像训练视角自适应的深度网络;
预处理模块,用于对彩色票据图像进行预处理,以得到二值图像;
分割模块,用于使用积分投影法对二值图像进行分割,以得到各数字图像;以及
识别模块,用于将各数字图像分别输入到深度网络进行数字识别。
CN201910359135.XA 2019-04-30 2019-04-30 基于视角自适应深度网络的票据手写数字识别方法及系统 Active CN110084327B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910359135.XA CN110084327B (zh) 2019-04-30 2019-04-30 基于视角自适应深度网络的票据手写数字识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910359135.XA CN110084327B (zh) 2019-04-30 2019-04-30 基于视角自适应深度网络的票据手写数字识别方法及系统

Publications (2)

Publication Number Publication Date
CN110084327A true CN110084327A (zh) 2019-08-02
CN110084327B CN110084327B (zh) 2023-04-07

Family

ID=67417944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910359135.XA Active CN110084327B (zh) 2019-04-30 2019-04-30 基于视角自适应深度网络的票据手写数字识别方法及系统

Country Status (1)

Country Link
CN (1) CN110084327B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313092A (zh) * 2021-07-29 2021-08-27 太平金融科技服务(上海)有限公司深圳分公司 手写签名识别方法、理赔自动化处理方法、装置和设备
CN114882272A (zh) * 2022-04-22 2022-08-09 成都飞机工业(集团)有限责任公司 一种航空制造件全角度投影图像面片属性融合分析方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043945A (zh) * 2010-11-23 2011-05-04 聊城大学 基于车辆实时跟踪和二进指数分类车牌字符识别的方法
CN106408039A (zh) * 2016-09-14 2017-02-15 华南理工大学 一种基于形变方法进行数据扩展的脱机手写汉字识别方法
CN107153810A (zh) * 2016-03-04 2017-09-12 中国矿业大学 一种基于深度学习的手写体数字识别方法及系统
CN108038445A (zh) * 2017-12-11 2018-05-15 电子科技大学 一种基于多视角深度学习框架的sar自动目标识别方法
CN108805222A (zh) * 2018-05-08 2018-11-13 南京邮电大学 一种基于arm平台的深度学习数字手写体识别方法
US20180349743A1 (en) * 2017-05-30 2018-12-06 Abbyy Development Llc Character recognition using artificial intelligence
JP2019057087A (ja) * 2017-09-20 2019-04-11 株式会社バーズ情報科学研究所 文字認識方法及び文字認識システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043945A (zh) * 2010-11-23 2011-05-04 聊城大学 基于车辆实时跟踪和二进指数分类车牌字符识别的方法
CN107153810A (zh) * 2016-03-04 2017-09-12 中国矿业大学 一种基于深度学习的手写体数字识别方法及系统
CN106408039A (zh) * 2016-09-14 2017-02-15 华南理工大学 一种基于形变方法进行数据扩展的脱机手写汉字识别方法
US20180349743A1 (en) * 2017-05-30 2018-12-06 Abbyy Development Llc Character recognition using artificial intelligence
JP2019057087A (ja) * 2017-09-20 2019-04-11 株式会社バーズ情報科学研究所 文字認識方法及び文字認識システム
CN108038445A (zh) * 2017-12-11 2018-05-15 电子科技大学 一种基于多视角深度学习框架的sar自动目标识别方法
CN108805222A (zh) * 2018-05-08 2018-11-13 南京邮电大学 一种基于arm平台的深度学习数字手写体识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杜洋等: "基于改进卷积神经网络的手写数字识别", 《计算机测量与控制》, no. 07, 25 July 2018 (2018-07-25) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313092A (zh) * 2021-07-29 2021-08-27 太平金融科技服务(上海)有限公司深圳分公司 手写签名识别方法、理赔自动化处理方法、装置和设备
CN114882272A (zh) * 2022-04-22 2022-08-09 成都飞机工业(集团)有限责任公司 一种航空制造件全角度投影图像面片属性融合分析方法

Also Published As

Publication number Publication date
CN110084327B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN107609549B (zh) 一种自然场景下证件图像的文本检测方法
CN111325203B (zh) 一种基于图像校正的美式车牌识别方法及系统
CN108305240B (zh) 图像质量检测方法及装置
CN106599792B (zh) 一种手部驾驶违规行为的检测方法
CN103455542B (zh) 多类识别器以及多类识别方法
CN113011319A (zh) 多尺度火灾目标识别方法及系统
CN106599925A (zh) 一种基于深度学习的植物叶片识别系统与方法
CN106529380A (zh) 图像的识别方法及装置
CN109271991A (zh) 一种基于深度学习的车牌检测方法
CN110717058B (zh) 信息推荐方法及装置、存储介质
CN103679187B (zh) 图像识别方法和系统
CN106203539B (zh) 识别集装箱箱号的方法和装置
CN101615244A (zh) 手写板坯号自动识别方法及识别装置
CN109800698A (zh) 基于深度网络的图标检测方法
CN110781882A (zh) 一种基于yolo模型的车牌定位和识别方法
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN104268552B (zh) 一种基于部件多边形的精细类别分类方法
CN105335760A (zh) 一种图像数字字符识别方法
CN103824373A (zh) 一种票据图像金额分类方法及系统
CN110533119A (zh) 标识识别方法及其模型的训练方法、装置及电子系统
CN107590500A (zh) 一种基于色彩投影分类的车牌颜色识别方法及装置
CN105320970A (zh) 一种马铃薯病害诊断装置、诊断系统及诊断方法
CN111627080A (zh) 基于卷积神经与条件生成对抗性网络的灰度图像上色方法
CN110084327A (zh) 基于视角自适应深度网络的票据手写数字识别方法及系统
CN110969164A (zh) 基于深度学习端对端的低照度成像车牌识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant