CN109583493A - 一种基于深度学习的信用卡检测和数字识别方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的信用卡检测和数字识别方法，包括以下步骤：1)构建用于信用卡检测的数据库；2)采用SSD 300网络进行训练；3)对于待检测图片，采用训练好的SSD网络获得备选的信用卡轮廓，进一步裁剪得到准确的信用卡图片；4)针对信用卡上的数字字体，训练用于信用卡数字识别的tesseract模型；5)采用训练好的tesseract模型，对信用卡轮廓进行数字识别，得到最终的数字识别结果。与现有技术相比，本发明具有识别快速准确、效率高等优点。

Description

一种基于深度学习的信用卡检测和数字识别方法

技术领域

本发明涉及计算机视觉技术领域，尤其是涉及一种基于深度学习的信用卡检测和数字识别方法。

背景技术

随着社会经济的快速发展，信用卡的发行和使用也得到了迅速地发展。识别信用卡数字的业务需求也随之迅速攀升，过去使用人工识别的方法效率低下，在长期作业的情况下准确率同样得不到保证。传统基于模板匹配的信用卡数字识别算法的识别准确率不高，且需要针对每种信用卡制作匹配模板，模型的可拓展性不高，无法用于实际工业应用之中。因此，基于深度学习的信用卡的检测与识别具有深刻而重要的实用意义。此外，信用卡的识别和检测可以扩展到其他领域，例如借记卡的检测与识别和身份证的检测与识别。

随着深度学习的火热发展，目标检测算法也从基于手工特征的传统算法转向了基于深度神经网络的检测技术，在这其中，SSD(Single Shot MultiBox Detector)算法在保持了高准确率的同时，运算速度也得到保证。

Canny边缘检测算法是John F.Canny于1986年开发出来的一个多级边缘检测算法。Canny算法的目标是找到一个最优的边缘检测算法。

OCR(Optical Character Recognition)技术是利用文字识别技术将图像信息转化为可以使用的计算机输入的技术。使用OCR技术，可以对目标检测中提取的信用卡数字进行识别。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的信用卡检测和数字识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于深度学习的信用卡检测和数字识别方法，包括以下步骤：

1)构建用于信用卡检测的数据库；

2)采用SSD 300网络进行训练；

3)对于待检测图片，采用训练好的SSD网络获得备选的信用卡轮廓，进一步裁剪得到准确的信用卡图片；

4)针对信用卡上的数字字体，训练用于信用卡数字识别的tesseract模型；

5)采用训练好的tesseract模型，对信用卡轮廓进行数字识别，得到最终的数字识别结果。

所述的步骤1)具体为：

选取多张信用卡图片作为训练样本，对图片进行预处理，放缩大小为300x300，并采用LabelImg标注每张信用卡图片中信用卡所在位置，设置标签为card，保存为xml格式。

所述的步骤2)具体为：

21)将大小300x300、png格式的信用卡图片和xml格式的ground truth作为SSD300网络训练的数据集；

22)构建SSD网络的结构，具体为：采用VGG16作为基础模型，将其中的两个全连接层改为卷积层后再增加4个卷积层构成网络结构；

23)向SSD网络输入数据集中的图片进行训练得到网络参数。

所述的步骤3)具体为：

根据获取的待检测图片的信用卡轮廓，进行高斯模糊处理后获取二元值得到灰度图像，选取灰度图像中直角的信用卡边框，截取信用卡图片，并选择矩形的图片，

通过信用卡边框上的三个点的余弦值判断是否为直角。

对获取的矩形信用卡图片分别进行旋转90度、180度、270度操作，获得4种角度下的图片，选取其中横向长度大于纵向长度的图片作为tesseract模型的输入。

所述的步骤4)具体为：

41)构建数字字体数据集：将数字嵌入到多种背景的图片中，比例设置为0.6。得到多张各种背景下的0～9的数字图片；

42)训练tesseract模型：使用jTessBoxEditor生成样本文件，将生成的tif格式图片合并，生成box文件和字符配置文件，对其字符矫正为0～9的数字并保存，之后训练；

43)在信用卡候选框中截取信用卡数字框，并输入训练好的tesseract模型中进行识别，获取并保存识别长度为16位的结果，若找不到识别长度为16位的结果，则，输出识别长度最长在8位或8位以上的结果，，否则判定原图片中不包含信用卡。

与现有技术相比，本发明具有以下优点：

(1)本发明使用SSD网络从测试图片中找到信用卡轮廓，进一步对图片切割得到准确的信用卡图片，使用tesseract对信用卡进行数字识别，在保证速度和准确率的前提下有效地解决了人工识别的效率低下的问题。

(2)本发明的成果可以构建具有商业意义的、基于深度学习的信用卡检测和数字识别系统。

附图说明

图1为本发明实现的流程图。

图2为带有Ground Truth边框的输入图片。

图3为SSD的基本框架。

图4为SSD的网络结构。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

本发明提供一种基于深度学习的信用卡检测和数字识别方法，用于解决传统人工识别的效率较低的问题，包含以下步骤：

(1)构建用于信用卡检测的数据库。使用LabelImg标注每张图片中信用卡所在位置的，为下一步使用SSD训练做准备。图2为带有Ground Truth边框的输入图片。

(2)使用SSD 300模型进行训练。其基本框架如图3所示。在每个格子上有一系列固定大小的Box，称为Default Box，用来框定目标物体的位置，在训练时Ground Truth会赋给某个固定的Box。

SSD的网络分为两部分，前面的网络是用于图像分类的标准网络，后面的网络适用于检测的多尺度特征映射层。其网络结构如图4所示。

(3)对于待检测图片，使用前述已训练的SSD网络获得备选的信用卡轮廓，进一步裁剪得到准确的信用卡图片。

(4)训练用于信用卡数字识别的tesseract模型。针对信用卡上的数字字体，针对性地训练用于数字识别的模型。

(5)使用前述训练好的tesseract模型，对前述获得的信用卡轮廓做数字识别，得到最终的数字识别结果。

实施例

如图1所示，本发明首先训练用于信用卡检测的SSD网络，包括构建训练数据集并进行训练，然后进一步裁剪得到准确的信用卡图片，最后训练用于数字识别的tesseract模型，包括构造数据集并进行识别，得到最终的识别结果。

对于构建用于信用卡检测的数据库。选取大量信用卡图片作为训练样本，对图片进行预处理，放缩到300X300，以便进行后序训练。使用LabelImg标注每张图片中信用卡所在位置，设置标签为“card”，生成xml格式的文件。

对于使用SSD 300模型进行训练。数据集为大小300X300、png格式的信用卡图片和xml格式的ground truth。设置num_classes为2(数据集中标签类别数量数+1)。如图3所示，SSD采用多尺度特征图用于检测即采用大小不同的特征图，划分出更多的单元，每个单元的先验框的尺寸较小。SSD的网络结构如5所示，采用VGG16作为基础模型，将其中的两个全连接层改为卷积层后再增加4个卷积层构成网络结构。其中5个不同的卷积层的输出分别用两个3X3的卷积核进行卷积，一个输出分类用的confidence，每个default box生成两个confidence；一个输出回归用的localization，每个default box生成4个坐标值(X,Y,W,H)，分别代表横坐标、纵坐标、横向长度和纵向长度。同时，这5个卷积层还经过prior box层生成default box的坐标，最后将前面三个的计算结果分别合并传递给loss层。

更具体地，SSD的网络结果描述如下：

(1)输入为300x300x3(RGB三位通道)的图片。

(2)经过conv1_1，conv1_2，conv2_1，conv2_2，conv3_1，conv3_2，conv3_3，conv4_1，conv4_2，conv4_3，conv5_1，conv5_2，conv5_3(38x38x512)，default box为4，得到38x38x4＝5776个box。

(3)经过fc6、fc7(19x19x1024)，default box为6，得到19x19x6＝2166个box。

(4)经过conv6_1，conv6_2(10x10x512)，default box为6，得到10x10x6＝600个box。

(5)经过conv7_1，conv7_2(5x5x256)，default box为6，得到5x5x6＝150个box。

(6)经过conv8_1，conv8_2(3x3x256)，default box为4，得到3x3x4＝36个box。

(7)经过conv9_1，conv9_2(1x1x256)，default box为4，得到1x1x4＝4个box。

(8)通过非极大抑制(NMS)得到最终的结果。

具体地，以conv4_3为例，说明其进行的计算：

(1)经过一次标准化(batch normalization)和一次卷积后，生成了[1,num_class*num_priorbox,layer_height,layer_width]大小的feature map用于softmax分类(其中num_class是目标类别，这里设置为2)

(2)经过一次标准化(batch normalization)和一次卷积后，生成了[1,4*num_priorbox,layer_height,layer_width]大小的feature用于bounding box regression，即每个点一组位置信息[dxmin，dymin，dxmax，dymax]。

(3)生成了[1,2,4*num_priorbox*layer_height*layer_width]大小的priorbox，其中2个通道分别存储prior box的4个点坐标(x1,y1,x2,y2)和对应的4个参数变化。

对于进一步裁剪得到准确的信用卡图片。首先确定通过SSD返回的四个顶点的相对位置，得到其在图片上的对应区域。对图片做高斯模糊处理，再获取二元值得灰度图像，再找到信用卡的边框，对于找到的边框判断是否是直角，若是直角则选取，具体地方法是：

对于一个角，选取构成这个角的三个顶点，计算这个角的余弦值。之后截取找到的信用卡图片，判断其是否为矩形，若是矩形则选择。具体地方法是判断一个角和它的对角是否均为直角，若均为直角则是矩形，否则不是。最后将其分别旋转90度、180度、270度，得到4种角度下的图片。在这其中，选取横向长度大于纵向长度的图片，因为信用卡总是长大于宽的矩形，这样只给下一步输入两张备选图片。

对于训练用于信用卡数字识别的tesseract模型。若直接使用官方已训练的tesseract模型识别信用卡上数字，效果并不理想。原因在于信用卡上数字背景杂乱、信用卡上的数字字体和一般的数字字体不一样。因此需要针对信用卡的数字字体(如Farrington-7B-Qiqi)训练tesseract模型。具体步骤如下：

(1)构建数据集。将数字嵌入到各种背景的图片中，比例设置为0.6。得到大量各种背景下的0～9的数字图片，保存格式为tif。

(2)训练tesseract模型。使用jTessBoxEditor生成样本文件，将前述生成的tif格式图片合并，保存名称为num.font.exp0.tif。生成box文件，保存名称为num.font.exp0.box。生成字符配置文件，保存名称为font_properties。对其字符矫正为0～9的数字并保存，之后训练，生成num.trainndata文件。

对于数字识别，得到最终的数字识别结果。对于输入的若干信用卡候选框，在特定位置截取信用卡数字框，即比例为(0.557-0.662,0.09-0.91)的区域。分别对其使用tesseract识别，保留识别效果最好的一个，识别过程加上二值化操作，遍历0-255之间的阈值，直到找到识别长度为16位的结果为止。识别结果保存到txt中。若找不到识别长度为16位的结果，判断识别长度最长的结果是否在8位或8位以上，若是，则输出该结果，否则认为原图片不包含信用卡。

下面结合仿真实验对本发明的效果做进一步的说明。

本发明的仿真实验时在Ubuntu16.04LTS系统下，以python为核心代码，以tensorflow为深度算法框架进行的。

实验中，用于训练SSD网络的信用卡数据集为Google上爬取的9221张信用卡图片，用于训练tesseract模型的数据集为合成的7661张不同背景下的数字图片。测试集分别为测试数字识别效果的100张信用卡图片和测试信用卡检测效果的coco数据集中的17767张不包含信用卡的图片。

表1使用tesseract识别100张信用卡图片的实验结果

	数字	比例
			准确识别所有数字	79	79％
识别出的数字位数	1465	91.6％

表2在17767张不包括信用卡的数据集上的实验结果

位数	数字	比例
			1	50	0.28％
2	46	0.26％
			3	37	0.21％
4	45	0.25％
			5	30	0.17％
6	31	0.17％
			7	25	0.14％
>7	152	0.85％

Claims (7)

1.一种基于深度学习的信用卡检测和数字识别方法，其特征在于，包括以下步骤：

1)构建用于信用卡检测的数据库；

2)采用SSD 300网络进行训练；

3)对于待检测图片，采用训练好的SSD网络获得备选的信用卡轮廓，进一步裁剪得到准确的信用卡图片；

4)针对信用卡上的数字字体，训练用于信用卡数字识别的tesseract模型；

5)采用训练好的tesseract模型，对信用卡轮廓进行数字识别，得到最终的数字识别结果。

2.根据权利要求1所述的一种基于深度学习的信用卡检测和数字识别方法，其特征在于，所述的步骤1)具体为：

选取多张信用卡图片作为训练样本，对图片进行预处理，放缩大小为300x300，并采用LabelImg标注每张信用卡图片中信用卡所在位置，设置标签为card，保存为xml格式。

3.根据权利要求2所述的一种基于深度学习的信用卡检测和数字识别方法，其特征在于，所述的步骤2)具体为：

21)将大小300x300、png格式的信用卡图片和xml格式的ground truth作为SSD 300网络训练的数据集；

22)构建SSD网络的结构，具体为：采用VGG16作为基础模型，将其中的两个全连接层改为卷积层后再增加4个卷积层构成网络结构；

23)向SSD网络输入数据集中的图片进行训练得到网络参数。

4.根据权利要求3所述的一种基于深度学习的信用卡检测和数字识别方法，其特征在于，所述的步骤3)具体为：

根据获取的待检测图片的信用卡轮廓，进行高斯模糊处理后获取二元值得到灰度图像，选取灰度图像中直角的信用卡边框，截取信用卡图片，并选择矩形的图片。

5.根据权利要求4所述的一种基于深度学习的信用卡检测和数字识别方法，其特征在于，通过信用卡边框上的三个点的余弦值判断是否为直角。

6.根据权利要求4所述的一种基于深度学习的信用卡检测和数字识别方法，其特征在于，对获取的矩形信用卡图片分别进行旋转90度、180度、270度操作，获得4种角度下的图片，选取其中横向长度大于纵向长度的图片作为tesseract模型的输入。

7.根据权利要求4所述的一种基于深度学习的信用卡检测和数字识别方法，其特征在于，所述的步骤4)具体为：

41)构建数字字体数据集：将数字嵌入到多种背景的图片中，比例设置为0.6。得到多张各种背景下的0～9的数字图片；

42)训练tesseract模型：使用jTessBoxEditor生成样本文件，将生成的tif格式图片合并，生成box文件和字符配置文件，对其字符矫正为0～9的数字并保存，之后训练；

43)在信用卡候选框中截取信用卡数字框，并输入训练好的tesseract模型中进行识别，获取并保存识别长度为16位的结果，若找不到识别长度为16位的结果，则，输出识别长度最长在8位或8位以上的结果，，否则判定原图片中不包含信用卡。