CN110414506A - 基于数据增广和卷积神经网络的银行卡卡号自动识别方法 - Google Patents

Abstract

本发明公开了一种基于数据增广和卷积神经网络的银行卡卡号自动识别方法，对银行卡卡号区域图像进行切割，获取单字符图像，对每幅单字符图像进行多次数据增广得到若干单字符图像，若干单字符图像构成训练样本；将训练样本输入基于残差神经网络的分类器对其进行训练，获得单字符图像分类器；提取待识别银行卡图片的单字符图像，将单字符图像输入单字符图像分类器得到分类结果，将分类结果进行组合得到银行卡卡号。本发明采用残差神经网络，训练速度快，在提高模型效果同时在模型层数加深时不会出现退化问题，别准确率和鲁棒性高。

Description

基于数据增广和卷积神经网络的银行卡卡号自动识别方法

技术领域

本发明属于图像处理技术，具体为一种基于数据增广和卷积神经网络的银行卡卡号自动识别方法。

背景技术

在银行进行业务前，都需要提供银行卡，扫描银行卡，进行卡号的识别操作。

同时，移动支付的越来越普及，用户需要先绑定银行卡才能使用移动支付功能，此时用户需要拍照上传银行卡图片或者手动输入自己银行卡的卡号。

现有的基于数据增广和卷积神经网络的银行卡卡号自动识别方法主要有两种，一种是基于硬件装置对银行卡卡号进行识别，按照预设的扫描模式分割提取银行卡图像中的多个单字符图像，计算单字符图像的Gabor特征值，再计算单字符图像的Gabor特征值到每一类的标准Gabor特征值的欧氏距离，距离最近的类别就是此单字符图像的类别。从每张银行卡分割提取出的一组单字符图像，输出对应类别，再按顺序组合出银行卡的卡号。

还有一种为基于固定长度滑动窗口来分割提取银行卡图像的多个单字符图像，再对单字符图像进行MeRLBP和HOG特征提取，再以此特征构建出SVM分类器，从而实现单字符图像的分类。从每张银行卡分割提取出的一组单字符图像，输出对应类别，再按顺序组合出银行卡的卡号。

然而上述两种方法都存在识别鲁棒性较差并且准确率不高的问题，导致识别出的卡号有误。

发明内容

本发明的目的在于提供一种基于数据增广和卷积神经网络的银行卡卡号自动识别方法。

实现本发明目的的技术解决方案为：一种基于数据增广和卷积神经网络的银行卡卡号自动识别方法，具体步骤为：

步骤1、对银行卡卡号区域图像进行切割，获取单字符图像，对每幅单字符图像进行多次数据增广得到若干单字符图像，所述若干单字符图像构成训练样本；

步骤2、将训练样本输入残差神经网络分类模型对其进行训练，获得单字符图像分类器；

步骤3、提取待识别银行卡图片的单字符图像，将单字符图像输入单字符图像分类器得到分类结果，将分类结果进行组合得到银行卡卡号。

优选地，步骤1对银行卡卡号区域图像进行切割，获取单字符图像，对每幅单字符图像进行多次数据增广得到若干单字符图像的具体方法为：

步骤1-1、对每张银行卡卡号区域图像进行3次分割，具体分割方式分别为：四等分平均切割，随机左偏2到5个像素切割，随机右偏2到5个像素切割，随机左偏切割时，切割出来的最左部分缺少的几列像素由最右部分多出的几列像素补上，随机右偏切割时，切割出来的最右部分缺少的几列像素由最左部分多出的几列像素补上；

步骤1-2、将单字符图像与背景图像进行融合，具体融合方法为：两张图像设定固定权重相加，以及将两张图像各部分分别设置成不同权重相加，根据需求，一张单字符图片按照不同权重融合成多张；

步骤1-3、对背景融合后的单字符图像添加噪音，将添加噪音后的单字符图像以及步骤1-1中原本的单字符图像作为训练样本。

优选地，步骤2中的基于残差神经网络的分类器包括5个串联在一起的残差块，每个残差块包括3个卷积层，每一卷积层的卷积结果经过ReLU激活函数后进入下一卷积层，最后一层卷积层的卷积结果加上本残差块的输入作为下一层残差块的输入，最后一个残差块的输出结果进入一个softmax十分类器，输出其属于十类中的每一类的概率，取概率最大的一类作为分类器判别结果。

优选地，步骤3提取待识别银行卡图片的单字符图像的具体方法为：

步骤3-1、利用霍夫变换将银行卡在图像中的倾斜角调整为水平；

步骤3-2、利用霍夫变换线定位到银行卡的矩形区域，提取出银行卡图像，消除拍摄背景；

步骤3-3、利用黑色像素所占比例判别银行卡的卡号字符类型，若是凸起型，利用十字形的核对银行卡的灰度图进行形态学开运算得到开运算图，将灰度图减去开运算图的差分图消除银行卡上的图案纹理，留下字符纹理；对差分图进行OTSU二值化获得二值图，将二值图对纵坐标进行投影，定位到卡号所在的纵轴区域，对纵轴区域向横坐标进行投影位到银行卡卡号区域图像，按照固定的字符长度分割出单个字符图像；若是黑体卡片，对步骤3-2提取的银行卡图像的灰度图进行中值滤波得到滤波图，对滤波图进行全局阈值分割得到二值图，将二值图对纵轴进行投影，提取出纵轴区域，再对纵轴区域向横轴进行投影，截取出卡号所在位置的长条形区域图，将长条形区域图像向横轴投影分割出由字符组成的小区域，消除小区域之间的空白部分，按照固定的字符长度分割出单个字符图像。

本发明与现有技术相比，其显著优点：(1)本发明无需单独采集大量训练数据集，直接对原始数据集进行数据增广，生成多种数据样本，提高了识别泛化能力和鲁棒性；(2)本发明对待识别银行卡图片进行移正和提取，从而规范输入的银行卡大小和拍摄角度，处理方便，运算快捷，鲁棒性和抗噪能力高；(3)本发明对不同类型的银行卡卡号进行判别，对不同类型的银行卡不同处理方式，保证了卡号定位分割的高效性和准确率；(4)本发明采用残差神经网络，训练速度快，在提高模型效果同时在模型层数加深时不会出现退化问题。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明的示意图。

图2是输入的银行卡字符示意图。

图3是卡号定位分割方法流程图。

图4是形态学滤波核示意图。

图5是原灰度图和形态学滤波结果二值图。

图6是二值化图分别向纵轴和横轴投影的示意图。

图7是卡号区域细分示意图。

图8是残差神经网络的每个残差块的示意图。

具体实施方式

如图1所示，一种基于数据增广和卷积神经网络的银行卡卡号自动识别方法，具体步骤为：

步骤1、按照固定长度对银行卡卡号区域图像进行切割，获取单字符图像，对每幅单字符图像进行多次随机的数据增广方法以提高图像总数，从而为后续深度学习模型提供更多训练样本，使得不需要大量训练样本就能保证有良好的识别准确率。先对包含有若干个字符的卡号区域图像进行带有随机偏移的分割，分割出若干单字符图像，同时保证字符在图像的各个可能位置都有出现。再对切割出的单字符图像与银行卡背景图像融合，融合方式随机选取，再对融合出的图片的明暗和色调进行随机增减，最后加上一点随机噪音，从而保证生成样本的真实性和模型训练结果的鲁棒性，具体步骤为：

步骤1-1、单字符卡片分割：由于输入的卡号字符图像是四个字符一组，因此采取随机分割方法把其裁剪成四个单字符图像。本方法对每张图进行三次分割。分别是四等分平均切割、随机左偏2到5个像素切割、随机右偏2到5个像素切割。在随机左偏切割中，分割出来的最左部分缺少的几列像素将由最右部分多出的几列像素补上，从而保证切出的各部分大小相等。随机右偏同理，分割出单字符图片。

步骤1-2、与背景图像融合：对步骤1-1中切割出的单字符图片与背景图像融合，从而在保留其字符格式的同时改变图片纹理背景。其中背景图像由银行卡的非卡号部分按固定窗口大小随机截取得到。两张图像融合的方法是固定权重的图像相加和动态权重图像相加，其中固定权重的字符图片权重是从0.4到0.6之间的随机数，而背景图片权重是1减去这个随机数。而渐变权重的是两张图的各部分权重不相同，越靠近中间，字符图片的权重占比越大，越靠近两边，背景图片的权重占比越大。经过此步骤每一张单字符图片都可以与各种不同的背景图融合，从而被扩展成很多张各不相同的新单字符图片。在某些实施例中，将每张单字符图像扩展到20张。即把原训练样本集的总量翻了20倍，原单字符图像保留一张在扩展集里。

步骤1-3、添加噪音：对步骤1-2背景融合出的单字符图像进行噪音添加，取得各种带有噪音的单字符图像。添加噪音的目的是为了模拟各种拍摄环境，由于输入的原始银行卡图片是手动拍摄，环境、背景、光线等因素各不相同，因此要加上一定的随机噪音来模拟各种拍摄情况，提高系统鲁棒性。添加噪音的方法有：在一定范围内调整明暗度，对比度、添加带有一定随机性高斯噪声、随机滤波处理、随机滤镜处理等。根据当前样本的特点性质的先验知识，调整各噪音添加方法的具体参数，从而模拟出尽可能真实的单字符图像集。尽量保证用每种方法添加噪音后的结果能模拟真实拍摄环境下的银行卡照片。

本发明不需要大量数据集，以人为拍摄收集到的小数据集为基础，进行图像增广，从而获得与大数据集差不多的泛化能力和准确率。并且数据增广基于纯图像处理技术，实现简单，速度快，增广结果的真实性高，防止深度学习模型的出现过拟合。

步骤2、构建基于残差神经网络的分类器，将训练样本输入基于残差神经网络的分类器对其进行训练，用以判断每个单字符图像是0到9这10个数字类中的哪一类。基于残差神经网络的分类器包括5个串联在一起的残差块，每个残差块包括3个卷积层，每一卷积层的卷积结果经过ReLU激活函数后进入下一卷积层，最后一层卷积层的卷积结果加上本残差块的输入作为下一层残差块的输入，最后一个残差块的输出结果进入一个softmax十分类器，输出其属于十类中的每一类的概率，取概率最大的一类作为分类器判别结果。

步骤3、如图3所示，从人工拍摄的银行卡图像中提取出一组单字符图像，将其输入训练好的单字符图像分类器得到输出数字类别，从而组合出这张银行卡的卡号。首先，利用霍夫变换将银行卡在图像中的倾斜角调整为水平。再利用霍夫变换线定位到银行卡片的矩形区域，提取出银行卡部分，消除拍摄背景，如图5所示。再利用黑色像素所占比例判别此银行卡的卡号字符类型。若是凸起型，利用十字形的滤波核对银行卡的灰度图进行形态学开运算得到开运算图，将灰度图减去开运算图的差分图消除银行卡上的图案纹理，留下字符纹理，此时再对差分图进行OTSU二值化获得二值图，再将二值图对纵坐标进行投影，定位到卡号所在的纵轴区域，对纵轴区域向横坐标进行投影定位到银行卡卡号区域图像。再按照固定的字符长度分割出单个字符图像。若是黑体卡片则不需要形态学滤波操作，直接阈值分割二值化，再投影定位分割即可，具体步骤为：

步骤3-1、调整银行卡倾角：把拍摄的银行卡图像平分成上半部分和下半部分，分别对这两部分进行Canny算子边缘检测再霍夫变换，获取银行卡上下边的拟合直线。由于图像的拍摄角度问题，往往上边缘倾角θ₁不与下边缘倾角θ₂相等，为了保证银行卡中部的字符区域的倾斜角水平，图片整体的倾斜角度θ的公式：θ＝0.4*θ₁+0.6*θ₂将图片整体以(0,0)坐标原点旋转-θ得到水平图，保证卡号位置是水平的。

步骤3-2、卡片区域图像提取：本步骤消除了拍摄图片中银行卡以外的背景，从而统一图像处理过程中的银行卡大小。对步骤1得到的银行卡图片的灰度图进行边缘检测再进行霍夫变换找到银行卡的上下左右四条边，被这四条边包围起来的矩形区域就是卡片所在区域。利用四条边的参数信息提取出此银行卡矩形区域图像。最后将提取出的卡片区域图像缩放到统一的大小。

步骤3-3、如图2所示，银行卡卡号的字符包括凸起型和黑体型。针对两者卡号类型的图像处理方式不同，因此需要先对字符类型进行判别，再采用针对性的图像处理方式。首先计算卡片的背景色，如果背景是黑色的话，其一定是凸起字体，不用再计算黑色像素占比，因为根据先验知识，不存在黑色背景的黑色字体银行卡。若银行卡背景不是黑色，利用卡号位置的先验知识与投影定位，截取出卡号所在区域，再对此区域计算黑色像素的占比，占比高于设定阈值的就是黑体型，低于此阈值的就是凸起型。

先对步骤3-2提取出的银行卡图片的灰度图进行中值滤波得到滤波图，消除噪音干扰。用如图4所示的十字型的核对滤波图进行形态学开运算得到开运算图，再拿滤波图减去这个开运算图得到差分图，再对差分图进行OTSU二值化得到二值图，如图5所示，差分图中银行卡上的大量背景纹理都被消除掉了，只剩下字符信息。因为字符的笔画都是横平竖直的可以被十字型的滤波核保留下来，而其它斜着的纹理被形态学滤波消除。接着将二值图对纵轴进行投影，用一个滑动窗口找到使得窗口内积分值最大的位置，即卡号所在的纵轴位置，按照窗口大小提取出纵轴区域，再对纵轴区域向横轴进行投影，从而截取出卡号所在位置的长条形区域图，如图6所示。再对长条形区域图进行Canny算子边缘检测和滤波处理消除掉稀疏的噪音点，然后再向横轴投影，如图7所示，分割出仅由字符组成的小区域，消除小区域之间的空白部分。最后根据字符长度的先验知识，把每块按字符长度平均分割便提取出了单字符图像组。

黑体型卡号定位分割：先对步骤3-2提取出的银行卡图片的灰度图进行中值滤波得到滤波图。再对滤波图进行全局阈值分割得到二值图。接着将二值图对纵轴进行投影，提取出纵轴区域，再对纵轴区域向横轴进行投影，从而截取出卡号所在位置的长条形区域图，此区域的二值图的字符与背景的区别清晰，不用消除噪音点，可直接像横轴投影分割出仅由字符组成的小区域，消除小区域之间的空白部分。最后把每块按字符长度平均分割便提取出了单字符图像组。

将得到的银行卡的单字符图像组输入步骤2训练好的分类器中，进行数字判别。把每张单字符图像的类别数字，按顺序组合得到银行卡的卡号数字串。

Claims (4)

1.一种基于数据增广和卷积神经网络的银行卡卡号自动识别方法，其特征在于，具体步骤为：

步骤1、对银行卡卡号区域图像进行切割，获取单字符图像，对每幅单字符图像进行多次数据增广得到若干单字符图像，所述若干单字符图像构成训练样本；

步骤2、将训练样本输入残差神经网络分类模型对其进行训练，获得单字符图像分类器；

步骤3、提取待识别银行卡图片的单字符图像，将单字符图像输入单字符图像分类器得到分类结果，将分类结果进行组合得到银行卡卡号。

2.根据权利要求1所述的基于数据增广和卷积神经网络的银行卡卡号自动识别方法，其特征在于，步骤1对银行卡卡号区域图像进行切割，获取单字符图像，对每幅单字符图像进行多次数据增广得到若干单字符图像的具体方法为：

步骤1-1、对每张银行卡卡号区域图像进行3次分割，具体分割方式分别为：四等分平均切割，随机左偏2到5个像素切割，随机右偏2到5个像素切割，随机左偏切割时，切割出来的最左部分缺少的几列像素由最右部分多出的几列像素补上，随机右偏切割时，切割出来的最右部分缺少的几列像素由最左部分多出的几列像素补上；

步骤1-2、将单字符图像与背景图像进行融合，具体融合方法为：两张图像设定固定权重相加，以及将两张图像各部分分别设置成不同权重相加，根据需求，一张单字符图片按照不同权重融合成多张；

步骤1-3、对背景融合后的单字符图像添加噪音，将添加噪音后的单字符图像以及步骤1-1中原本的单字符图像作为训练样本。

3.根据权利要求1所述的基于数据增广和卷积神经网络的银行卡卡号自动识别方法，其特征在于，步骤2中的基于残差神经网络的分类器包括5个串联在一起的残差块，每个残差块包括3个卷积层，每一卷积层的卷积结果经过ReLU激活函数后进入下一卷积层，最后一层卷积层的卷积结果加上本残差块的输入作为下一层残差块的输入，最后一个残差块的输出结果进入一个softmax十分类器，输出其属于十类中的每一类的概率，取概率最大的一类作为分类器判别结果。

4.根据权利要求1所述的基于数据增广和卷积神经网络的银行卡卡号自动识别方法，其特征在于，步骤3提取待识别银行卡图片的单字符图像的具体方法为：

步骤3-1、利用霍夫变换将银行卡在图像中的倾斜角调整为水平；

步骤3-2、利用霍夫变换线定位到银行卡的矩形区域，提取出银行卡图像，消除拍摄背景；

步骤3-3、利用黑色像素所占比例判别银行卡的卡号字符类型，若是凸起型，利用十字形的核对银行卡的灰度图进行形态学开运算得到开运算图，将灰度图减去开运算图的差分图消除银行卡上的图案纹理，留下字符纹理；对差分图进行OTSU二值化获得二值图，将二值图对纵坐标进行投影，定位到卡号所在的纵轴区域，对纵轴区域向横坐标进行投影位到银行卡卡号区域图像，按照固定的字符长度分割出单个字符图像；若是黑体卡片，对步骤3-2提取的银行卡图像的灰度图进行中值滤波得到滤波图，对滤波图进行全局阈值分割得到二值图，将二值图对纵轴进行投影，提取出纵轴区域，再对纵轴区域向横轴进行投影，截取出卡号所在位置的长条形区域图，将长条形区域图像向横轴投影分割出由字符组成的小区域，消除小区域之间的空白部分，按照固定的字符长度分割出单个字符图像。