CN114202759A - 基于深度学习的多币种纸币冠字号识别方法和装置 - Google Patents

基于深度学习的多币种纸币冠字号识别方法和装置 Download PDF

Info

Publication number
CN114202759A
CN114202759A CN202111503246.7A CN202111503246A CN114202759A CN 114202759 A CN114202759 A CN 114202759A CN 202111503246 A CN202111503246 A CN 202111503246A CN 114202759 A CN114202759 A CN 114202759A
Authority
CN
China
Prior art keywords
image
crown word
currency
word number
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111503246.7A
Other languages
English (en)
Inventor
孔飞
张文强
赵炎君
徐�明
巢新
王晓磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Guoguang Electronic Information Technology Co Ltd
Original Assignee
Jiangsu Guoguang Electronic Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Guoguang Electronic Information Technology Co Ltd filed Critical Jiangsu Guoguang Electronic Information Technology Co Ltd
Priority to CN202111503246.7A priority Critical patent/CN114202759A/zh
Publication of CN114202759A publication Critical patent/CN114202759A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D11/00—Devices accepting coins; Devices accepting, dispensing, sorting or counting valuable papers
    • G07D11/20—Controlling or monitoring the operation of devices; Data handling
    • G07D11/30—Tracking or tracing valuable papers or cassettes
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/20—Testing patterns thereon
    • G07D7/2008—Testing patterns thereon using pre-processing, e.g. de-blurring, averaging, normalisation or rotation
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/20—Testing patterns thereon
    • G07D7/2016—Testing patterns thereon using feature extraction, e.g. segmentation, edge detection or Hough-transformation

Abstract

本发明公开了一种基于深度学习的多币种纸币冠字号识别方法和装置，属于纸币识别领域，所述方法包括：获取第一图像；所述第一图像为通过扫描设备扫描出的纸币图像；对所述第一图像进行预处理，并获得第一特征；所述第一特征包括纸币的币种、面额和面向；根据第一特征确定冠字号区域的位置，并截取、获得所述第二图像；所述第二图像为冠字号图像；预设第一模型；所述第一模型的构建基于深度学习的网络模型结构，利用冠字号样本数据对网络模型结构进行训练；通过第一模型识别所述第二图像，解码获得第二特征；所述第二特征为纸币的冠字号字符。本发明采用基于深度学习的冠字号识别方法，该方法识别速度快，准确率高，对多种纸币兼容性强。

Description

基于深度学习的多币种纸币冠字号识别方法和装置
技术领域
本发明属于纸币识别领域，尤其是一种基于深度学习的多币种纸币冠字号识别方法和装置。
背景技术
纸币的冠字号是纸币印制生产管理控制的重要措施之一，具有控制纸币发行数量和纸币验伪检测作用。银行通过对流通的纸币冠字号进行识别，可以方便的了解纸币的流向，不仅有助于把控经济市场安全，还可以有效防止经济犯罪。
而随着经济全球化的发展，对于纸币冠字号的识别不仅仅局限于本国的纸币，支持识别多国纸币冠字号的研究已经成为一种发展趋势。如何在保证冠字号识别准确率和识别效率的前提下，兼容更多的币种冠字号识别是值得研究的问题。
发明内容
本发明的发明目的是提供一种基于深度学习的多币种纸币冠字号识别方法、装置、服务器及可读存储介质，以解决背景技术中所涉及的问题。
基于上述技术问题，本发明提出了一种基于深度学习的多币种纸币冠字号识别方法、装置、服务器及可读存储介质，包括如下四个方面。
第一方面，本发明提供一种基于深度学习的多币种纸币冠字号识别方法，所述方法包括：
获取第一图像；所述第一图像为通过扫描设备扫描出的纸币图像；
对所述第一图像进行预处理，并获得第一特征；所述第一特征包括纸币的币种、面额和面向；
根据第一特征确定冠字号区域的位置，并截取、获得所述第二图像；所述第二图像为冠字号图像；
预设第一模型；所述第一模型的构建基于深度学习的网络模型结构，利用冠字号样本数据对网络模型结构进行训练；
通过第一模型识别所述第二图像，解码获得第二特征；所述第二特征为纸币的冠字号字符。
优选地或可选地，所述对所述第一图像进行预处理的方法包括：统一设定纸币图像尺寸，对统一尺寸的图像进行归一化操作。
优选地或可选地，所述第一特征的获取方法包括：
制作成训练集和测试集；所述训练集和测试通过对预处理后的多币种纸币图片进行类型标注，标注纸币的币种，面额和面向得到的数据；
采用通用的卷积神经网络模型结构进行分类训练并保存训练模型，得到第二模型；
将第二图像输入第二模型中，获得所述第一特征。
优选地或可选地，所述第二图像的获取方法包括：
预先获取每种纸币的模板特征相对于第二特征之间的坐标关系；所述模板特征包括：预先对不同币种、不同面额的纸币扫描图片，并选取具有标志性的要素；
根据所述第一特征匹配该中纸币所对应的模板特征；
根据所述第一图像获取所述模板特征的位置；
基于所述模板特征相对于第二特征之间的坐标关系定位冠字号区域在纸币图像中位置，并截取。
优选地或可选地，所述第一模型包括7个卷积模块和两层全连接层，按顺序连接；
其中，第一模型输入数据尺寸为宽，高，通道数(150,32,3)的图片数据；
第一卷积模块由一个卷积核为(5,5)的卷积层和一个relu层组成；第二卷积模块、第四卷积模块和第六卷积模块均相同，由一个卷积核为(3,3)的卷积层，一个Relu层，一个卷积核为(1,1)的卷积层和一个Relu层组成；第三卷积模块、第五卷积模块和第七卷积模块均相同，由一个卷积核为(3,3)的卷积层，一个relu层，一个BN层，一个卷积核为(1,1)的卷积层，一个BN层和一个relu层构成；第二卷积模块、第四卷积模块和第六卷积后各有一层池化层；
两层全连接层接在7个卷积模块后，对卷积模块提取后的特征进行全连接提取；第一层全连接层输入维度为7个卷积模块提取后的数据特征维度，输出维度为数据特征维度的一半；第二层全连接层输入维度为数据特征维度的一半，输出维度为需要识别字符的种类数。
优选地或可选地，所述第一模型的训练方法包括：
获取截取的冠字号数据，并进行固定尺寸和归一化处理；
根据分类数制作字符标签列表；所述字符标签列表为数字0—9，字母A—Z，共36个字符；
标注冠字号数据，将冠字号图片名称和冠字号图片对应的字符内容按行写入文本文件中；
划分数据和测试集，将数据划分为小批量数据，采用adam优化方法训练构建的深度学习模型结构，损失函数采用CTC损失函数；
设定训练批次，选取训练完成后效果最好的深度学习模型参数保存，在测试集中使用保存好的深度学习模型参数进行测试实验。
优选地或可选地，所述第二特征的获取方法包括：
对第二图像进行固定尺寸和归一化处理；
将处理完成第二图像送入第一模型中识别并输出识别结果；所述识别结果为冠字号图片中每个字符为36个字符标签中字符的概率，即每个待识别字符都识别输出36个概率数字；
保存冠字号图片中每个字符的对应字符标签的概率数字最大值在字符标签列表中的位置；
根据位置信息检索字符标签列表，输出冠字号字符识别结果。
第二方面，本发明还提供一种基于深度学习的多币种纸币冠字号识别装置，所述装置包括：
第一获取单元，适于获取第一图像；所述第一图像为通过扫描设备扫描出的纸币图像；
第一处理单元，适于对所述第一图像进行预处理，并获得第一特征；所述第一特征包括纸币的币种、面额和面向；
第二处理单元，适于根据第一特征确定冠字号区域的位置，并截取、获得所述第二图像；所述第二图像为冠字号图像；
第一预设单元，适于预设第一模型；所述第一模型的构建基于深度学习的网络模型结构，利用冠字号样本数据对网络模型结构进行训练；
第三处理单元，适于通过第一模型识别所述第二图像，解码获得第二特征；所述第二特征为纸币的冠字号字符。
第三方面，本发明还提供一种基于深度学习的多币种纸币冠字号识别用服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现所述基于深度学习的多币种纸币冠字号识别方法的步骤。
第四方面，一种计算机可读存储介质，该程序被处理器执行时实现所述基于深度学习的多币种纸币冠字号识别方法的步骤。
有益效果：本发明涉及一种基于深度学习的多币种纸币冠字号识别方法、装置、服务器及可读存储介质，
1.本发明采用卷积神经网络分类识别纸币的币种，面额和面向，可以快速获得纸币的信息，减少人工干预。
2.本发明通过神经网络进行识别可以快速兼容对其他纸币信息的识别，只需要添加该纸币数据进行神经网络的重训练。实际使用时直接替换网络结构并修改相应配置参数即可，大大减少开发难度。
3.本发明采用模板匹配的形式快速定位纸币冠字号位置，避免了通过整张图左上角坐标定位时可能出现的纸币扫描图片稍微倾斜引起的冠字号识别不全问题。
4.本发明采用基于深度学习的冠字号识别方法，在实际应用时可以灵活新增需识别的纸币种类，兼容性强。
5.本发明采用基于深度学习的冠字号识别方法，可以直接对整张冠字号图片进行识别，避免了对冠字号字符图片分割操作，大大减少了识别时间。在识别准确率为99％的情况下，单张冠字号图片的识别速度为2—3ms。
附图说明
图1为本发明实施例1中一种基于深度学习的多币种纸币冠字号识别方法的流程示意图。
图2为本发明实施例1中示例性模板特征的示意图。
图3为本发明实施例1中示例性模板特征在第一图像中的位置示意图。
图4为本发明实施例1中由模板特征匹配到的冠字号区域的位置示意图。
图5为本发明实施例1中第一模型的训练流程图。
图6为本发明实施例2中一种基于深度学习的多币种纸币冠字号识别装置。
图7为本发明实施例3中示例性电子设备的结构示意图。
附图标记说明：第一获取单元11、第一处理单元12、第二处理单元13、第一预设单元14、第三处理单元15、总线300、接收器301、处理器302、发送器303、存储器304、总线接口305。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
发明概述
随着图像识别技术的快速发展，图像分类，图像识别技术越来越多的应用于日常生活中。冠字号是由数字和字母组合而成，对于冠字号的识别可以归结为图像识别技术。目前在使用的冠字号识别技术是利用传统的图像方法，根据冠字号位置的图像细节识别冠字号，此方法准确率一般，针对不同币种的纸币冠字号识别，开发难度大。基于深度学习的图像识别技术，通过大量数据对模型的训练，可以快速的将识别准确率提高，且可以通过添加多样化数据的方法提高识别模型的兼容性，这使得基于深度学习方法的多币种冠字号识别成为可能。
本发明提供一种基于深度学习的多币种纸币冠字号识别方法，包括：纸币信息识别，冠字号区域截取，深度学习模型构建与训练和冠字号字符识别四个部分。其中，纸币信息识别部分用于对纸币扫描设备扫描出的纸币图像进行神经网络分类处理，获得该纸币的币种，面额和面向信息；冠字号区域截取部分用于根据预先采集的该币种模板特征，匹配定位纸币图像中冠字号位置并截取出来；深度学习模型构建与训练部分首先搭建进行冠字号字符识别的深度学习模型，并用采集整理后的冠字号图片数据训练优化该模型，经多次迭代测试后保存识别效果最优的模型参数；冠字号字符识别部分采用已训练的最优深度学习模型识别冠字号字符，获得该字符对应的标签最大值，并通过解码获得最终识别字符。
实施例1
如附图1所示，图1为本发明实施例1中一种基于深度学习的多币种纸币冠字号识别方法的流程示意图，一种基于深度学习的多币种纸币冠字号识别方法包括如下步骤：
S100、获取第一图像；所述第一图像为通过扫描设备扫描出的纸币图像；
具体而言，通过扫描设备获得纸币的图像。所述扫描设备可以为手持式的扫描仪，用户直接对单张纸币进行扫描，然后将图像信息发送至计算机中，进而后续处理。所述扫描设备也可以为预设在验钞机、ATM设备中的扫描设备，通过将图像信息批量导入计算机中。
S200、对所述第一图像进行预处理，并获得第一特征；所述第一特征包括纸币的币种、面额和面向；
具体而言，所述第一特征的获取方法包括如下步骤：
S110、所述预处理统一设定纸币图像尺寸，对统一尺寸的图像进行归一化操作。如此，能够对纸币的位置进行同一化，能够准确的获取纸币的外边缘，提高对纸币冠号的定位和识别效率。
在本实施例中，首先将纸币图片统一尺寸为宽高(1000,500)的尺寸，再对纸币图像进行归一化操作，归一化设纸币图像数据为img，图像数据为RGB图像，取值范围为[0,255]，归一化可将图像数据值的范围固定在[-1,1]之间，让数据正态度分布，方便分类识别。数据归一化的计算公式为：
img＝img/127.5-1
S120、纸币的币种，面额和面向识别。所述识别方法包括：S210、制作成训练集和测试集；所述训练集和测试通过对预处理后的多币种纸币图片进行类型标注，标注纸币的币种，面额和面向得到的数据；S220、采用通用的卷积神经网络模型结构进行分类训练并保存训练模型，得到第二模型；S230、将第二图像输入第二模型中，获得所述第一特征。
具体地，本实例采用人民币，美元，日元，欧元，澳元，英镑共6个币种的18种不同面额纸币作为测试。首先对扫描采集的500张纸币图像经过步骤11处理后进行分类标注，考虑纸币的正反面向，共标注36类，由数字0—35表示，每个数字对应标签值为纸币信息，如0对应标签值为100元人民币正面。再将标注的数据按照7:2:1的比例划分为数据集，测试集和验证集，送入通用的卷积神经网络中分类训练，本实例采用轻量化网络结构mobilenet-V2，可以快速迭代优化出最优模型。模型迭代优化的batchsize设为32，损失函数采用交叉熵损失函数，用来判断训练时模型输出和实际标签值的接近程度，从而更新模型参数，具体公式为：
Figure BDA0003403069950000061
其中，p,q分别为训练时模型的输出和实际标签值，x为标注类别数对应的识别结果。
经过多轮迭代后，通过验证集验证模型性能，保存分类识别准确率最高的模型文件。最后对于待分类识别的纸币图像，送入训练好的模型中进行识别，识别结果为所有分类中概率最高的那一类的标签，根据标签检索出对应的标签值，即可获得该纸币图像的币种，面额和面向信息。
S300、根据第一特征确定冠字号区域的位置，并截取、获得所述第二图像；所述第二图像为冠字号图像；
具体地，所述第二图像的获取方法包括如下步骤：预先获取每种纸币的模板特征相对于第二特征之间的坐标关系；所述模板特征包括：预先对不同币种、不同面额的纸币扫描图片，并选取具有标志性的要素；根据所述第一特征匹配该中纸币所对应的模板特征；根据所述第一图像获取所述模板特征的位置；基于所述模板特征相对于第二特征之间的坐标关系定位冠字号区域在纸币图像中位置，并截取。
在本实施例中，纸币面额对应模板特征为预先从不同类型纸币图像中截取的特征区域，该特征区域具有唯一性，确保其他类型纸币图像无相似特征。再根据图像中特征区域的位置坐标计算出冠字号区域的坐标。如附图2所示，该图为100面额美元的特征区域，特征区域左上角坐标在标准100面额美元图像的位置为：(130,170)，冠字号区域的左上角坐标在标准100面额美元图像的位置为：(80,90)，宽高差分别为-50，-80。设置100面额美元冠字号截取的配置项为(-50,-80,225,40)，其中-225和40分别为标准100面额美元图像中冠字号区域的宽高。
待识别纸币图像与模板图像进行模板匹配，在纸币图像中寻找模板特征区域并匹配，找到匹配的特征区域后返回匹配位置的坐标，以100面额美元为例，匹配成功图像如附图3所示，返回的位置坐标为匹配位置左上角坐标。匹配后的坐标为：
(130,169)，通过冠字号坐标与特征区域的坐标关系，推测出的冠字号区域左上角坐标为；(80,89)。最终截取的冠字号区域如附图4所示。
S400、预设第一模型；所述第一模型的构建基于深度学习的网络模型结构，利用冠字号样本数据对网络模型结构进行训练；
其中，所述第一模型包括7个卷积模块和两层全连接层，按顺序连接；第一模型输入数据尺寸为宽，高，通道数(150,32,3)的图片数据；第一卷积模块由一个卷积核为(5,5)的卷积层和一个relu层组成；第二卷积模块、第四卷积模块和第六卷积模块均相同，由一个卷积核为(3,3)的卷积层，一个Relu层，一个卷积核为(1,1)的卷积层和一个Relu层组成；第三卷积模块、第五卷积模块和第七卷积模块均相同，由一个卷积核为(3,3)的卷积层，一个relu层，一个BN层，一个卷积核为(1,1)的卷积层，一个BN层和一个relu层构成；第二卷积模块、第四卷积模块和第六卷积后各有一层池化层；两层全连接层接在7个卷积模块后，对卷积模块提取后的特征进行全连接提取；第一层全连接层输入维度为7个卷积模块提取后的数据特征维度，输出维度为数据特征维度的一半；第二层全连接层输入维度为数据特征维度的一半，输出维度为需要识别字符的种类数。
所述第一模型的训练方法包括：获取截取的冠字号数据，并进行固定尺寸和归一化处理；根据分类数制作字符标签列表；所述字符标签列表为数字0—9，字母A—Z，共36个字符；标注冠字号数据，将冠字号图片名称和冠字号图片对应的字符内容按行写入文本文件中；划分数据和测试集，将数据划分为小批量数据，采用adam优化方法训练构建的深度学习模型结构，损失函数采用CTC损失函数；设定训练批次，选取训练完成后效果最好的深度学习模型参数保存，在测试集中使用保存好的深度学习模型参数进行测试实验。
在本实施例中，如附图5所示流程图，首先收集18种不同面额纸币的冠字号图片共9000张，固定图片尺寸为宽高(150,32)并进行归一化处理。冠字号识别所需识别的字符数为数字0—9，和字母A—Z，共36个字符，将字符顺序排列建立长度为36的标签。标注收集的冠字号图片，即新建txt文本文件，将冠字号图片名称和该图片对应的冠字号字符内容一一对应写入txt文本中。将数据按照7:2:1的比例划分为训练集，测试集和验证集。训练集和测试对应的标签文本分别为train.txt和test.txt，验证集留作验证训练好的模型效果。设置读取数据的批次大小batchsize＝32,所有数据训练15次后终止训练。训练采用adam优化方法，学习率设为0.001。其中adam方法具有梯度滑动平均和偏差纠正功能，常用于目前深度学习模型的训练。损失函数采用CTC损失函数，CTC损失函数的计算公式为：
L(S)＝-∑(x,z)∈Slnp(z|x)
其中p(z|x)，表示给定输入x,输出序列z的概率，S为训练集数据。
深度学习模型训练完成后根据验证集验证的最优准确率选择模型文件，该模型文件用于本案例的冠字号字符识别工作。
S500、通过第一模型识别所述第二图像，解码获得第二特征；所述第二特征为纸币的冠字号字符。
所述第二特征的获取方法包括：对第二图像进行固定尺寸和归一化处理；将处理完成第二图像送入第一模型中识别并输出识别结果；所述识别结果为冠字号图片中每个字符为36个字符标签中字符的概率，即每个待识别字符都识别输出36个概率数字；保存冠字号图片中每个字符的对应字符标签的概率数字最大值在字符标签列表中的位置；根据位置信息检索字符标签列表，输出冠字号字符识别结果。
在本实施例中，截取后的待识别冠字号图片固定尺寸并归一化处理后，送入训练好的深度学习模型中进行识别。识别结果以矩阵形式输出，设待测冠字号图片的字符数为n,输出矩阵N的大小为n*36，矩阵每行内容为该字符对应为各个标签值的概率数字。对矩阵N的每行取最大值的位置组成新的矩阵M。该矩阵为字符内容在标签中位置信息。
根据矩阵M中标签位置信息检索标签中对应字符，最终输出冠字号图片识别结果。经验证集验证，本发明的冠字号字符识别方法的识别准确率为99％，单张冠字号图片从读取到识别输出字符的时间平均约为2—3ms。
相对于现有技术而言，本实施例具有如下优点：1.本发明采用卷积神经网络分类识别纸币的币种，面额和面向，可以快速获得纸币的信息，减少人工干预。2.本发明通过神经网络进行识别可以快速兼容对其他纸币信息的识别，只需要添加该纸币数据进行神经网络的重训练。实际使用时直接替换网络结构并修改相应配置参数即可，大大减少开发难度。3.本发明采用模板匹配的形式快速定位纸币冠字号位置，避免了通过整张图左上角坐标定位时可能出现的纸币扫描图片稍微倾斜引起的冠字号识别不全问题。4.本发明采用基于深度学习的冠字号识别方法，在实际应用时可以灵活新增需识别的纸币种类，兼容性强。5.本发明采用基于深度学习的冠字号识别方法，可以直接对整张冠字号图片进行识别，避免了对冠字号字符图片分割操作，大大减少了识别时间。在识别准确率为99％的情况下，单张冠字号图片的识别速度为2—3ms。
实施例2
基于与前述实施例1中一种基于深度学习的多币种纸币冠字号识别方法同样的发明构思，本发明还提供一种基于深度学习的多币种纸币冠字号识别装置，如图6所示，所述装置包括：
第一获取单元，适于获取第一图像；所述第一图像为通过扫描设备扫描出的纸币图像；
第一处理单元，适于对所述第一图像进行预处理，并获得第一特征；所述第一特征包括纸币的币种、面额和面向；
第二处理单元，适于根据第一特征确定冠字号区域的位置，并截取、获得所述第二图像；所述第二图像为冠字号图像；
第一预设单元，适于预设第一模型；所述第一模型的构建基于深度学习的网络模型结构，利用冠字号样本数据对网络模型结构进行训练；
第三处理单元，适于通过第一模型识别所述第二图像，解码获得第二特征；所述第二特征为纸币的冠字号字符。
进一步的，所述装置还包括：所述对所述第一图像进行预处理的方法包括：统一设定纸币图像尺寸，对统一尺寸的图像进行归一化操作。
进一步的，所述装置还包括：
第四处理单元，适于制作成训练集和测试集；所述训练集和测试通过对预处理后的多币种纸币图片进行类型标注，标注纸币的币种，面额和面向得到的数据；
第二预设单元，适于采用通用的卷积神经网络模型结构进行分类训练并保存训练模型，得到第二模型；
第五处理单元，适于将第二图像输入第二模型中，获得所述第一特征。
进一步的，所述装置还包括：
第二获取单元，适于预先获取每种纸币的模板特征相对于第二特征之间的坐标关系；所述模板特征包括：预先对不同币种、不同面额的纸币扫描图片，并选取具有标志性的要素；
第六处理单元，适于根据所述第一特征匹配该中纸币所对应的模板特征；
第七处理单元，适于根据所述第一图像获取所述模板特征的位置；
第八处理单元，适于基于所述模板特征相对于第二特征之间的坐标关系定位冠字号区域在纸币图像中位置，并截取。
进一步的，所述第一模型包括7个卷积模块和两层全连接层，按顺序连接；其中，第一模型输入数据尺寸为宽，高，通道数(150,32,3)的图片数据；第一卷积模块由一个卷积核为(5,5)的卷积层和一个relu层组成；第二卷积模块、第四卷积模块和第六卷积模块均相同，由一个卷积核为(3,3)的卷积层，一个Relu层，一个卷积核为(1,1)的卷积层和一个Relu层组成；第三卷积模块、第五卷积模块和第七卷积模块均相同，由一个卷积核为(3,3)的卷积层，一个relu层，一个BN层，一个卷积核为(1,1)的卷积层，一个BN层和一个relu层构成；第二卷积模块、第四卷积模块和第六卷积后各有一层池化层；两层全连接层接在7个卷积模块后，对卷积模块提取后的特征进行全连接提取；第一层全连接层输入维度为7个卷积模块提取后的数据特征维度，输出维度为数据特征维度的一半；第二层全连接层输入维度为数据特征维度的一半，输出维度为需要识别字符的种类数。
进一步的，所述装置还包括：
第九处理单元，适于获取截取的冠字号数据，并进行固定尺寸和归一化处理；
第十处理单元，适于根据分类数制作字符标签列表；所述字符标签列表为数字0—9，字母A—Z，共36个字符；
第十一处理单元，适于标注冠字号数据，将冠字号图片名称和冠字号图片对应的字符内容按行写入文本文件中；
第十二处理单元，适于划分数据和测试集，将数据划分为小批量数据，采用adam优化方法训练构建的深度学习模型结构，损失函数采用CTC损失函数；
第十三处理单元，适于设定训练批次，选取训练完成后效果最好的深度学习模型参数保存，在测试集中使用保存好的深度学习模型参数进行测试实验。
进一步的，所述装置还包括：
第十四处理单元，适于对第二图像进行固定尺寸和归一化处理；
第十五处理单元，适于将处理完成第二图像送入第一模型中识别并输出识别结果；所述识别结果为冠字号图片中每个字符为36个字符标签中字符的概率，即每个待识别字符都识别输出36个概率数字；
第十六处理单元，适于保存冠字号图片中每个字符的对应字符标签的概率数字最大值在字符标签列表中的位置；
第十七处理单元，适于根据位置信息检索字符标签列表，输出冠字号字符识别结果。
前述实施例1中的一种基于深度学习的多币种纸币冠字号识别方法的各种变化方式和具体实例同样适用于本实施例的一种基于深度学习的多币种纸币冠字号识别装置，通过前述对一种基于深度学习的多币种纸币冠字号识别方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种基于深度学习的多币种纸币冠字号识别装置的实施方法，所以为了说明书的简洁，在此不再详述。
实施例3
基于与前述实施例中一种基于深度学习的多币种纸币冠字号识别方法同样的发明构思，本发明还提供一种基于深度学习的多币种纸币冠字号识别用服务器，如图7所示，图7为实施例3中示例性电子设备，包括存储器304、处理器302及存储在存储器304上并可在处理器302上运行的计算机程序，所述处理器302执行所述程序时实现前文所述基于深度学习的多币种纸币冠字号识别方法的任一方法的步骤。
其中，在图7中，总线架构(用总线300来代表)，总线300可以包括任意数量的互联的总线和桥，总线300将包括由处理器302代表的一个或多个处理器和存储器304代表的存储器的各种电路链接在一起。总线300还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口305在总线300和接收器301和发送器303之间提供接口。接收器301和发送器303可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。
处理器302负责管理总线300和通常的处理，而存储器304可以被用于存储处理器302在执行操作时所使用的数据。
实施例4
基于与前述实施例中一种基于深度学习的多币种纸币冠字号识别方法同样的发明构思，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：获取第一图像；所述第一图像为通过扫描设备扫描出的纸币图像；对所述第一图像进行预处理，并获得第一特征；所述第一特征包括纸币的币种、面额和面向；根据第一特征确定冠字号区域的位置，并截取、获得所述第二图像；所述第二图像为冠字号图像；预设第一模型；所述第一模型的构建基于深度学习的网络模型结构，利用冠字号样本数据对网络模型结构进行训练；通过第一模型识别所述第二图像，解码获得第二特征；所述第二特征为纸币的冠字号字符。
本发明实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：1.本发明采用卷积神经网络分类识别纸币的币种，面额和面向，可以快速获得纸币的信息，减少人工干预。2.本发明通过神经网络进行识别可以快速兼容对其他纸币信息的识别，只需要添加该纸币数据进行神经网络的重训练。实际使用时直接替换网络结构并修改相应配置参数即可，大大减少开发难度。3.本发明采用模板匹配的形式快速定位纸币冠字号位置，避免了通过整张图左上角坐标定位时可能出现的纸币扫描图片稍微倾斜引起的冠字号识别不全问题。4.本发明采用基于深度学习的冠字号识别方法，在实际应用时可以灵活新增需识别的纸币种类，兼容性强。5.本发明采用基于深度学习的冠字号识别方法，可以直接对整张冠字号图片进行识别，避免了对冠字号字符图片分割操作，大大减少了识别时间。在识别准确率为99％的情况下，单张冠字号图片的识别速度为2—3ms。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

Claims (10)

1.一种基于深度学习的多币种纸币冠字号识别方法，其特征在于，所述方法包括：
获取第一图像；所述第一图像为通过扫描设备扫描出的纸币图像；
对所述第一图像进行预处理，并获得第一特征；所述第一特征包括纸币的币种、面额和面向；
根据第一特征确定冠字号区域的位置，并截取、获得所述第二图像；所述第二图像为冠字号图像；
预设第一模型；所述第一模型的构建基于深度学习的网络模型结构，利用冠字号样本数据对网络模型结构进行训练；
通过第一模型识别所述第二图像，解码获得第二特征；所述第二特征为纸币的冠字号字符。
2.根据权利要求1所述的基于深度学习的多币种纸币冠字号识别方法，其特征在于，所述对所述第一图像进行预处理的方法包括：统一设定纸币图像尺寸，对统一尺寸的图像进行归一化操作。
3.根据权利要求1所述的基于深度学习的多币种纸币冠字号识别方法，其特征在于，所述第一特征的获取方法包括：
制作成训练集和测试集；所述训练集和测试通过对预处理后的多币种纸币图片进行类型标注，标注纸币的币种，面额和面向得到的数据；
采用通用的卷积神经网络模型结构进行分类训练并保存训练模型，得到第二模型；
将第二图像输入第二模型中，获得所述第一特征。
4.根据权利要求1所述的基于深度学习的多币种纸币冠字号识别方法，其特征在于，所述第二图像的获取方法包括：
预先获取每种纸币的模板特征相对于第二特征之间的坐标关系；所述模板特征包括：预先对不同币种、不同面额的纸币扫描图片，并选取具有标志性的要素；
根据所述第一特征匹配该中纸币所对应的模板特征；
根据所述第一图像获取所述模板特征的位置；
基于所述模板特征相对于第二特征之间的坐标关系定位冠字号区域在纸币图像中位置，并截取。
5.根据权利要求1所述的基于深度学习的多币种纸币冠字号识别方法，其特征在于，所述第一模型包括7个卷积模块和两层全连接层，按顺序连接；
其中，第一模型输入数据尺寸为宽，高，通道数(150,32,3)的图片数据；
第一卷积模块由一个卷积核为(5,5)的卷积层和一个relu层组成；第二卷积模块、第四卷积模块和第六卷积模块均相同，由一个卷积核为(3,3)的卷积层，一个Relu层，一个卷积核为(1,1)的卷积层和一个Relu层组成；第三卷积模块、第五卷积模块和第七卷积模块均相同，由一个卷积核为(3,3)的卷积层，一个relu层，一个BN层，一个卷积核为(1,1)的卷积层，一个BN层和一个relu层构成；第二卷积模块、第四卷积模块和第六卷积后各有一层池化层；
两层全连接层接在7个卷积模块后，对卷积模块提取后的特征进行全连接提取；第一层全连接层输入维度为7个卷积模块提取后的数据特征维度，输出维度为数据特征维度的一半；第二层全连接层输入维度为数据特征维度的一半，输出维度为需要识别字符的种类数。
6.根据权利要求1所述的基于深度学习的多币种纸币冠字号识别方法，其特征在于，所述第一模型的训练方法包括：
获取截取的冠字号数据，并进行固定尺寸和归一化处理；
根据分类数制作字符标签列表；所述字符标签列表为数字0—9，字母A—Z，共36个字符；
标注冠字号数据，将冠字号图片名称和冠字号图片对应的字符内容按行写入文本文件中；
划分数据和测试集，将数据划分为小批量数据，采用adam优化方法训练构建的深度学习模型结构，损失函数采用CTC损失函数；
设定训练批次，选取训练完成后效果最好的深度学习模型参数保存，在测试集中使用保存好的深度学习模型参数进行测试实验。
7.根据权利要求6所述的基于深度学习的多币种纸币冠字号识别方法，其特征在于，所述第二特征的获取方法包括：
对第二图像进行固定尺寸和归一化处理；
将处理完成第二图像送入第一模型中识别并输出识别结果；所述识别结果为冠字号图片中每个字符为36个字符标签中字符的概率，即每个待识别字符都识别输出36个概率数字；
保存冠字号图片中每个字符的对应字符标签的概率数字最大值在字符标签列表中的位置；
根据位置信息检索字符标签列表，输出冠字号字符识别结果。
8.一种基于深度学习的多币种纸币冠字号识别装置，其特征在于，所述装置包括：
第一获取单元，适于获取第一图像；所述第一图像为通过扫描设备扫描出的纸币图像；
第一处理单元，适于对所述第一图像进行预处理，并获得第一特征；所述第一特征包括纸币的币种、面额和面向；
第二处理单元，适于根据第一特征确定冠字号区域的位置，并截取、获得所述第二图像；所述第二图像为冠字号图像；
第一预设单元，适于预设第一模型；所述第一模型的构建基于深度学习的网络模型结构，利用冠字号样本数据对网络模型结构进行训练；
第三处理单元，适于通过第一模型识别所述第二图像，解码获得第二特征；所述第二特征为纸币的冠字号字符。
9.一种基于深度学习的多币种纸币冠字号识别用服务器，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现权利要求1-7任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
CN202111503246.7A 2021-12-10 2021-12-10 基于深度学习的多币种纸币冠字号识别方法和装置 Pending CN114202759A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111503246.7A CN114202759A (zh) 2021-12-10 2021-12-10 基于深度学习的多币种纸币冠字号识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111503246.7A CN114202759A (zh) 2021-12-10 2021-12-10 基于深度学习的多币种纸币冠字号识别方法和装置

Publications (1)

Publication Number Publication Date
CN114202759A true CN114202759A (zh) 2022-03-18

Family

ID=80651827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111503246.7A Pending CN114202759A (zh) 2021-12-10 2021-12-10 基于深度学习的多币种纸币冠字号识别方法和装置

Country Status (1)

Country Link
CN (1) CN114202759A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116128734A (zh) * 2023-04-17 2023-05-16 湖南大学 一种基于深度学习的图像拼接方法、装置、设备和介质
CN116486418A (zh) * 2023-06-19 2023-07-25 恒银金融科技股份有限公司 钞票冠字号图像的生成方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116128734A (zh) * 2023-04-17 2023-05-16 湖南大学 一种基于深度学习的图像拼接方法、装置、设备和介质
CN116486418A (zh) * 2023-06-19 2023-07-25 恒银金融科技股份有限公司 钞票冠字号图像的生成方法和装置
CN116486418B (zh) * 2023-06-19 2023-10-03 恒银金融科技股份有限公司 钞票冠字号图像的生成方法和装置

Similar Documents

Publication Publication Date Title
CN110298338B (zh) 一种文档图像分类方法及装置
US20220012487A1 (en) Systems and methods for classifying payment documents during mobile image processing
CN108717545B (zh) 一种基于手机拍照的票据识别方法及系统
CN110569850B (zh) 字符识别模板匹配方法、装置和文本识别设备
CN108777021B (zh) 一种基于扫描仪混扫的票据识别方法及系统
CN109117885B (zh) 一种基于深度学习的邮票识别方法
CN109657665A (zh) 一种基于深度学习的发票批量自动识别系统
CN107067044A (zh) 一种财务报销全票据智能审核系统
CN114202759A (zh) 基于深度学习的多币种纸币冠字号识别方法和装置
WO2021042747A1 (zh) 发票图片识别及验真方法、系统、设备及可读存储介质
CN111597958B (zh) 一种高度自动化的票据分类方法及系统
CN112508011A (zh) 一种基于神经网络的ocr识别方法及设备
CN111858977B (zh) 票据信息采集方法、装置、计算机设备和存储介质
US11393272B2 (en) Systems and methods for updating an image registry for use in fraud detection related to financial documents
TWI716761B (zh) 智能會計帳務系統與會計憑證的辨識入帳方法
CN112215225B (zh) 一种基于计算机视觉技术的kyc证件核验方法
CN111881880A (zh) 一种基于新型网络的票据文本识别方法
CN107240185A (zh) 一种冠字号识别方法、装置、设备及存储介质
US20210090086A1 (en) Systems and methods for fraud detection for images of financial documents
CN111414917A (zh) 一种低像素密度文本的识别方法
CN114550189A (zh) 票据识别方法、装置、设备、计算机存储介质和程序产品
CN116343237A (zh) 基于深度学习和知识图谱的票据识别方法
CN112348022A (zh) 一种基于深度学习的自由格式文档识别方法
CN116109914B (zh) 银行流水图像的鉴别真伪方法、装置、电子设备及介质
US20240143632A1 (en) Extracting information from documents using automatic markup based on historical data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination