CN110516676A - 一种基于图像处理的银行卡号识别系统 - Google Patents

一种基于图像处理的银行卡号识别系统 Download PDF

Info

Publication number
CN110516676A
CN110516676A CN201910772196.9A CN201910772196A CN110516676A CN 110516676 A CN110516676 A CN 110516676A CN 201910772196 A CN201910772196 A CN 201910772196A CN 110516676 A CN110516676 A CN 110516676A
Authority
CN
China
Prior art keywords
bank
card number
module
neural network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910772196.9A
Other languages
English (en)
Inventor
管鑫
张杉
陈慧萍
平宛鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201910772196.9A priority Critical patent/CN110516676A/zh
Publication of CN110516676A publication Critical patent/CN110516676A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words

Abstract

本发明公开了一种基于图像处理的银行卡号识别系统,包括图像分割模块,基于建立的CTPN神经网络模块先对卡号区域进行预测,之后通过于所述的神经网络预测模块确定所定位的卡号区域;和银行卡号数字识别模块,基于所述的CRNN+CTC神经网络模块先对卡号数字进行预测,之后通过神经网络预测模块确定识别的卡号数字。本发明通过深度学习结合文本识别技术和图像处理技术,对神经网络的构造与训练,实现了对银行卡号的快速定位与识别,为批量识别银行卡号提供基础。

Description

一种基于图像处理的银行卡号识别系统
技术领域
本发明属于图像识别技术领域,尤其涉及一种基于图像处理的银行卡号识别系统。
背景技术
随着移动支付已经十分成熟,越来越多的用户选择通过手机平台进行移动支付。在整个支付过程中,当需要手动输入银行卡号码时,不仅速度慢、易出错、用户体验差,而且对商家来说容易丢失客户。
目前传统的银行卡识别系统依靠的是传统图像处理技术,即通过OpenCV之类的计算机视觉库对图像本身进行人工的特征选取与识别技术,在这种传统的图像识别技术下,不能很好的应用在不同环境下的需求,同时准确率和识别速率也并不是很高。
为了提高在移动终端上输入银行卡号的速度和准确性,同时结合银行、保险、证券、第三方支付等行业对银行卡号识别的迫切需求,发明了一种基于图像处理的银行卡号识别系统。
发明内容
针对上述问题,本发明提出一种基于图像处理的银行卡号识别系统。
实现上述技术目的,达到上述技术效果,本发明通过以下技术方案实现:
一种基于图像处理的银行卡号识别系统,包括:
图像分割模块,基于建立的CTPN神经网络模块先对卡号区域进行预测,之后通过于所述的神经网络预测模块确定所定位的卡号区域;
银行卡号数字识别模块,基于所述的CRNN+CTC神经网络模块先对卡号数字进行预测,之后通过神经网络预测模块确定识别的卡号数字。
作为本发明的进一步改进,所述的图像分割模块包括图像预处理模块和图像增强模块;所述的图像预处理模块:首先基于对图像RGB三分量的加权处理将图形进行灰度化处理,之后对灰度化的图像进行归一化处理;所述的图像增强模块:通过对同一图片整体进行随机亮度、对比度、色度、饱和度的图片扩充增强数据集,得到初步分割的银行卡号区域。
作为本发明的进一步改进,所述的CTPN神经网络模块的建立包括以下步骤:
1)对初步分割的银行卡号区域切割成若干个宽度固定的微分区域,用于对文本垂直方向的预测;
2)输入初步分割后的银行卡号区域数据集,先使用VGG模型前五个5个Conv stage得到特征图,之后使用3*3的窗口作卷积得到下一阶段特征图;
3)将提取到的特征图输入到双向的长短期记忆网络中处理,所获得的结果输出至两个全连接层,第一个全连接层对银行卡的微分区域高度和中心的y轴的坐标进行预测,第二个全连接层预测背景和文本的偏移;之后通过回归和分类得到银行卡的微分区域对高度和中心的y轴的坐标以及该区域的水平偏移量进行确定;
4)将步骤3)预测得到的微分区域信息与步骤1)的微分区域信息进行比对,通过梯度下降方法将该训练过程迭代不低于5万次,得到训练好的CTPN神经网络模型。
作为本发明的进一步改进,所述的神经网络预测模块通过对微分区域使用文本线构造算法合并,完成对银行卡号区域的分割。
作为本发明的进一步改进,所述的文本线构造算法包括以下步骤:
1)通过CTPN神经网络模块得到分类好的银行卡的微分区域信息,包括微分区域的高度、中心的y轴的坐标和水平偏移量;
2)检查位置相近的微分区域的水平距离和垂直距离,将水平距离小于50像素点,垂直重叠指数大于0.9的两块文本区域合并。
作为本发明的进一步改进,所述的CRNN+CTC神经网络模块的建立包括以下步骤:
1)将切割好的银行卡区域数据集输入进CRNN+CTC的神经网络获取初始的银行卡号文本信息;
2)进入卷积层,进行多次卷积和池化,提取其特征,得到特征图;
3)进入循环层,将提取到的特征输入到双向的长短期记忆网络中,预测每一帧的标签分布;
4)进入转录层,将每一帧的预测变为最终的标签序列;
5)执行端到端训练,使得标签序列和最终预测数字结果对齐,得到最终预测的银行卡号文本信息。
将步骤5)预测得到的银行卡号文本信号与步骤1)数据集中原始的银行卡号文本信息进行比对,通过梯度下降的方法将训练过程迭代至少2万次,得到训练好的CRNN+CTC神经网络模块。
作为本发明的进一步改进,所述。
本发明的有益效果:
(1)本发明通过深度学习中的文本识别技术结合图像处理技术,对神经网络的构造与训练,实现了对银行卡号的快速定位与识别,为批量识别银行卡号提供了基础。
(2)本系统利用深度学习技术,将特征的提取交给神经网络,在不同场景下将银行卡号识别的准确率提高到95%以上。
(3)系统结构内部所建立的神经网络模块通过对深度学习模块的启动进行了相关优化,使得识别速度得到了提高。
附图说明
图1为本发明系统结构框图;
图2为本发明的工作流程图-。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
下面结合附图对本发明的应用原理作详细的描述。
如图1所示,本发迷的银行卡号识别系统,包括用于对所拍摄照片中的银行卡号所在区域进行定位的图像分割模块和对银行卡数字进行识别的银行卡号数字识别模块。
其中,图像分割模块,基于建立的CTPN神经网络模块先对卡号区域进行预测,之后通过于所述的神经网络预测模块确定所定位的卡号区域。银行卡号数字识别模块,基于所述的CRNN+CTC神经网络模块先对卡号数字进行预测,之后通过神经网络预测模块确定识别的卡号数字。所建立的CTPN神经网络模块和CRNN+CTC神经网络模块在后续的应用过程中,不断的进行深度学习以进行优化,提高识别的速度。
所述的图像分割模块包括图像预处理模块和图像增强模块,用于对银行卡号所在区域进行初步分割。
所述的图像预处理模块:首先基于对RGB三分量的加权处理将图形进行灰度化处理,在取得合理的灰度化图像的基础上对灰度化的图像进行归一化处理,即将图像缩放至统一分辨率。所述的图像RGB三分量的加权处理为:f(i,j)=0.3R(i,j)+0.6G(i,j)+0.1B(i,j)。
所述的图像增强模块:通过对同一图片整体进行随机亮度、对比度、色度、饱和度的图片扩充,获得大量的增强数据集,得到初步分割的银行卡号区域。在本方法中,是借助tensorflow的接口函数直接完成数据增强操作。
数据增强完成后开始训练神经网络,首先是银行卡号定位部分的CTPN神经网络的训练,包括:所述的CTPN神经网络模块的建立包括以下步骤:
1)对初步分割的银行卡号区域进行“微分”操作,切割成若干个宽度固定的微分区域,本发明的实施例中宽度取固定的15像素,用于对文本垂直方向的预测;采用“微分”操作的目的在于神经网络对文本垂直方向的预测比水平方向预测要简单。
2)输入初步分割后的银行卡号区域数据集,先使用VGG模型前五个5个Conv stage得到特征图,这些特征将用于预测该位置多个银行卡号微分区域对应的类别信息,位置信息。之后使用3*3的窗口作卷积得到下一阶段特征图。
3)将提取到的特征图输入到双向的长短期记忆网络中处理,所获得的结果输出至两个全连接层,第一个全连接层对银行卡的微分区域高度和中心的y轴的坐标进行预测,第二个全连接层预测背景和文本的偏移;之后通过回归和分类得到银行卡的微分区域对高度和中心的y轴的坐标以及该区域的水平偏移量进行确定;
4)将步骤3)预测得到的微分区域信息与步骤1)的微分区域信息进行比对,通过梯度下降方法将该训练过程迭代不低于5万次,得到训练好的CTPN神经网络模型。
由于CTPN神经网络模型在建立时对银行卡号区域实行了先微分再合并的操作,使得在银行卡号定位的过程当中不再局限于银行卡上单个数字的区域,而是银行卡卡号的整体区域,从而加快了对银行卡号定位的过程,加速了银行卡号识别的速度,有利于批量识别银行卡号。
构建的CTPN神经网络模型对银行卡号定位完成后,使用神经网络预测模块通过对微分区域使用文本线构造算法合并,完成对银行卡号区域的确切的分割。
所述的文本线构造算法包括以下步骤:
1)通过CTPN神经网络模块得到分类好的银行卡的微分区域位置信息,即微分区域的高度和中心的y轴的坐标以及该区域的水平偏移量;
2)检查位置相近的微分区域是否水平距离与垂直距离在一定范围内(两块区域距离为水平最小、两块区域距离小于50像素点、两块区域的垂直重叠指数大于0.9);
3)合并满足条件的文本框区域,直至无法再合并位置。
完成之后,再对银行卡号识别的CRNN+CTC的神经网络进行训练,包括以下步骤:
1)将切割好的银行卡区域数据集输入CRNN+CTC的神经网络;
2)进入卷积层,进行多次卷积和池化,提取其特征,得到特征图(进入卷积层之前,先把图像缩放至相同高度);
3)进入循环层,将提取到的特征输入到双向的长短期记忆网络中,预测每一帧的标签分布(真实结果的概率列表),循环层的误差被反向传播,最后会转换成特征序列,再把特征序列反馈到卷积层
4)进入转录层,将每一帧的预测变为最终的标签序列;
5)执行端到端(CTC)训练,使得标签序列和最终预测数字结果对齐,得到最终预测的银行卡号文本信息。
6)将步骤5)预测得到的银行卡号文本信号与步骤1)数据集中原始的银行卡号文本信息进行比对,通过梯度下降的方法将训练过程迭代至少2万次,得到训练好的CRNN+CTC神经网络模块。
步骤5)中所述的CTC训练不要求训练数据和标注一一对齐,直接输出不定长的序列结果,所有样本点的这些概率传输给CTC模型后,输出最可能的标签,再经过去除空格和去重操作,就可以得到最终的序列标签。
所得银行卡号具体信息,将通过WEB端或者微信端返回给用户;或者通过接口返回给需要的商家与企业客户。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种基于图像处理的银行卡号识别系统,其特征在于:包括
图像分割模块,基于建立的CTPN神经网络模块先对卡号区域进行预测,之后通过于所述的神经网络预测模块确定所定位的卡号区域;
银行卡号数字识别模块,基于所述的CRNN+CTC神经网络模块先对卡号数字进行预测,之后通过神经网络预测模块确定识别的卡号数字。
2.根据权利要求1所述的一种基于图像处理的银行卡号识别系统,其特征在于:所述的图像分割模块包括图像预处理模块和图像增强模块;
所述的图像预处理模块:首先基于对图像RGB三分量的加权处理将图形进行灰度化处理,之后对灰度化的图像进行归一化处理;
所述的图像增强模块:通过对同一图片整体进行随机亮度、对比度、色度、饱和度的图片扩充增强数据集,得到初步分割的银行卡号区域。
3.根据权利要求2所述的一种基于图像处理的银行卡号识别系统,其特征在于:所述的CTPN神经网络模块的建立包括以下步骤:
1)对初步分割的银行卡号区域切割成若干个宽度固定的微分区域,用于对文本垂直方向的预测;
2)输入初步分割后的银行卡号区域数据集,先使用VGG模型前五个5个Conv stage得到特征图,之后使用3*3的窗口作卷积得到下一阶段特征图;
3)将提取到的特征图输入到双向的长短期记忆网络中处理,所获得的结果输出至两个全连接层,第一个全连接层对银行卡的微分区域高度和中心的y轴的坐标进行预测,第二个全连接层预测背景和文本的偏移;之后通过回归和分类得到银行卡的微分区域对高度和中心的y轴的坐标以及该区域的水平偏移量进行确定;
4)将步骤3)预测得到的微分区域信息与步骤1)的微分区域信息进行比对,通过梯度下降方法将该训练过程迭代不低于5万次,得到训练好的CTPN神经网络模型。
4.根据权利要求3所述的一种基于图像处理的银行卡号识别系统,其特征在于:所述的神经网络预测模块通过对微分区域使用文本线构造算法合并,完成对银行卡号区域的分割。
5.根据权利要求4所述的一种基于图像处理的银行卡号识别系统,其特征在于:所述的文本线构造算法包括以下步骤:
1)通过CTPN神经网络模块得到分类好的银行卡的微分区域信息,包括微分区域的高度、中心的y轴的坐标和水平偏移量;
2)检查位置相近的微分区域的水平距离和垂直距离,将水平距离小于50像素点,垂直重叠指数大于0.9的两块文本区域合并。
6.根据权利要求2所述的一种基于图像处理的银行卡号识别系统,其特征在于:所述的CRNN+CTC神经网络模块的建立包括以下步骤:
1)将切割好的银行卡区域数据集输入进CRNN+CTC的神经网络获取初始的银行卡号文本信息;
2)进入卷积层,进行多次卷积和池化,提取其特征,得到特征图;
3)进入循环层,将提取到的特征输入到双向的长短期记忆网络中,预测每一帧的标签分布;
4)进入转录层,将每一帧的预测变为最终的标签序列;
5)执行端到端训练,使得标签序列和最终预测数字结果对齐,得到最终预测的银行卡号文本信息;
6)将步骤5)预测得到的银行卡号文本信号与步骤1)数据集中原始的银行卡号文本信息进行比对,通过梯度下降的方法将训练过程迭代至少2万次,得到训练好的CRNN+CTC神经网络模块。
CN201910772196.9A 2019-08-21 2019-08-21 一种基于图像处理的银行卡号识别系统 Pending CN110516676A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910772196.9A CN110516676A (zh) 2019-08-21 2019-08-21 一种基于图像处理的银行卡号识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910772196.9A CN110516676A (zh) 2019-08-21 2019-08-21 一种基于图像处理的银行卡号识别系统

Publications (1)

Publication Number Publication Date
CN110516676A true CN110516676A (zh) 2019-11-29

Family

ID=68625786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910772196.9A Pending CN110516676A (zh) 2019-08-21 2019-08-21 一种基于图像处理的银行卡号识别系统

Country Status (1)

Country Link
CN (1) CN110516676A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310762A (zh) * 2020-03-16 2020-06-19 天津得迈科技有限公司 一种基于物联网的智能医疗票据识别方法
CN111898757A (zh) * 2020-09-29 2020-11-06 北京擎盾信息科技有限公司 数值数据的获取系统、神经网络全连接模型及训练方法
CN112966678A (zh) * 2021-03-11 2021-06-15 南昌航空大学 一种文本检测方法及系统
CN113963339A (zh) * 2021-09-02 2022-01-21 泰康保险集团股份有限公司 一种信息提取方法和装置
CN113989806A (zh) * 2021-10-11 2022-01-28 浙江康旭科技有限公司 一种可扩展的crnn银行卡号识别方法
CN114140808A (zh) * 2021-11-03 2022-03-04 浪潮软件集团有限公司 一种基于国产cpu和操作系统的电子公文识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117848A (zh) * 2018-09-07 2019-01-01 泰康保险集团股份有限公司 一种文本行字符识别方法、装置、介质和电子设备
CN109919147A (zh) * 2019-03-04 2019-06-21 上海宝尊电子商务有限公司 服装吊牌图像中文本识别的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117848A (zh) * 2018-09-07 2019-01-01 泰康保险集团股份有限公司 一种文本行字符识别方法、装置、介质和电子设备
CN109919147A (zh) * 2019-03-04 2019-06-21 上海宝尊电子商务有限公司 服装吊牌图像中文本识别的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
八一: "CTPN CRNN-Pytorch 银行卡号识别", 《博客园》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310762A (zh) * 2020-03-16 2020-06-19 天津得迈科技有限公司 一种基于物联网的智能医疗票据识别方法
CN111898757A (zh) * 2020-09-29 2020-11-06 北京擎盾信息科技有限公司 数值数据的获取系统、神经网络全连接模型及训练方法
CN112966678A (zh) * 2021-03-11 2021-06-15 南昌航空大学 一种文本检测方法及系统
CN113963339A (zh) * 2021-09-02 2022-01-21 泰康保险集团股份有限公司 一种信息提取方法和装置
CN113989806A (zh) * 2021-10-11 2022-01-28 浙江康旭科技有限公司 一种可扩展的crnn银行卡号识别方法
CN114140808A (zh) * 2021-11-03 2022-03-04 浪潮软件集团有限公司 一种基于国产cpu和操作系统的电子公文识别方法

Similar Documents

Publication Publication Date Title
CN110516676A (zh) 一种基于图像处理的银行卡号识别系统
CN104298982B (zh) 一种文字识别方法及装置
CN104408449B (zh) 智能移动终端场景文字处理方法
CN104573688A (zh) 基于深度学习的移动平台烟草激光码智能识别方法及装置
CN111325203A (zh) 一种基于图像校正的美式车牌识别方法及系统
CN107871101A (zh) 一种人脸检测方法及装置
CN106529499A (zh) 基于傅里叶描述子和步态能量图融合特征的步态识别方法
Nguyen et al. Attempts to recognize anomalously deformed Kana in Japanese historical documents
CN112651289B (zh) 一种增值税普通发票智能识别与校验系统及其方法
CN106372624B (zh) 人脸识别方法及系统
CN105608454A (zh) 基于文字结构部件检测神经网络的文字检测方法及系统
CN108681735A (zh) 基于卷积神经网络深度学习模型的光学字符识别方法
CN110458132A (zh) 一种基于端到端的不定长文本识别方法
CN109840520A (zh) 一种发票关键信息识别方法及系统
CN106650670A (zh) 活体人脸视频的检测方法及装置
CN106055653A (zh) 基于图像语义注释的视频浓缩对象检索方法
CN113762269B (zh) 基于神经网络的中文字符ocr识别方法、系统及介质
CN108664975A (zh) 一种维吾尔文手写字母识别方法、系统及电子设备
CN111340035A (zh) 一种火车票识别方法、系统、设备以及介质
KR20210100592A (ko) 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 기술
CN112464925A (zh) 基于机器学习的移动端开户资料银行信息自动提取方法
CN110991374B (zh) 一种基于rcnn的指纹奇异点检测方法
CN111611933A (zh) 文档图像的信息提取方法及系统
CN111340032A (zh) 一种基于金融领域应用场景的字符识别方法
CN110766026A (zh) 一种快速识别卡号的方法及装置、模型训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191129