CN109460767A - 基于规则的凸印银行卡卡号分割与识别方法 - Google Patents

Abstract

本发明提出了一种基于规则的凸印银行卡卡号分割与识别方法。定位方面通过对国内凸印银行卡卡号的形状、颜色进行分析和总结，提出了使用形态学梯度和数值匹配的方法进行卡号分割；提高了银行卡卡号字符定位的准确度，减少了银行卡卡号行的定位时间。针对凸印银行卡卡号的特点，通过形态学方法处理卡号图像，使其特征突出易于识别。识别方面通过大量凸印银行卡卡号图像对3个浅层卷积网络进行训练，卡号识别的结果由3个网络的结果投票得出，保证了卡号识别的准确率。本发明构建的方法具有准确率高，速度快的优点，可以非常迅速准确地确定卡号宽度，分割卡号。使用的3个浅层神经网络比单个神经网络的识别模型准确率更高。

Description

基于规则的凸印银行卡卡号分割与识别方法

技术领域

本发明涉及深度学习与计算机视觉领域，特别是一种基于规则的凸印银行卡卡号分割与识别方法。

背景技术

自然场景中出现的文本是我们一个重要的信息来源。例如广告牌、交通标识、各类证件上的文字等，这些文本包含着明确的语义信息，为人们提供必要的指示和提醒。如果能够实现对这些文本的检测和识别就可以实现对这些场景内容的理解和分析。伴随着人类科技进步，使用机器检测并理解场景中的文本成为了一个必然的趋势。随着带有摄像头的移动设备的广泛使用以及移动支付的不断发展，人们已经开始习惯使用手机应用进行支付，如支付宝、微信支付等。银行卡卡号检测和识别技术能帮助这些支付平台的用户自动输入卡号。与人工录入卡号相比，银行卡自动检测与识别技术速度更快，精度更高，体验更好。

使用传统方法检测与识别自然场景下银行卡卡号行面临一些问题。例如：(1)卡号与卡面背景无法分离，使用传统字符分割方法和字符识别方法的准确率不高。(2)由于银行卡卡号的个数与组织形式不尽相同，所以采用固定的模板对银行卡卡号进行分割会导致分割错误。(3)使用传统模板匹配算法进行卡号识别，卡号与背景粘连无法保证正确率。(4)凸印银行卡卡号与背景颜色一致，使用颜色背景建模无法完成卡号分离。

自然场景下的银行卡卡号检测与识别在生产生活中扮演着重要的角色，但其研究进展缓慢，其原因可以归结为三点：银行卡数据集难以收集、银行卡类别繁多和银行卡拍摄场景复杂。

发明内容

本发明的目的是提出基于规则的凸印银行卡卡号分割与识别方法，能够有效地对待检测凸印银行卡图像中的银行卡卡号进行分割与识别。

为实现上述目的，本发明的技术方案是：一种基于规则的凸印银行卡卡号分割与识别方法，其特征在于，包括以下步骤：

步骤S1：制作凸印银行卡卡号数据集，对卡号样本进行分类；

步骤S2：对所述凸印银行卡卡号数据集进行形态学梯度计算统计，获得卡号垂直分割标准对比值；

步骤S3：对所述凸印银行卡卡号数据集进行形态学方法处理，使其特征突出；

步骤S4：对经过步骤S3处理后的凸印银行卡卡号数据集训练3个浅层神经网络，获得凸印银行卡卡号识别模型；

步骤S5：使用所述卡号垂直分割标准对比值对待检测的银行卡图像卡号行区域进行卡号分割，得到卡号图像；再将所述卡号图像输入凸印银行卡卡号识别模型，卡号识别的结果由凸印银行卡卡号识别模型的结果投票得出。

优选地，在所述步骤S1中，通过以下步骤制作凸印银行卡卡号数据集：

步骤S11：收集凸印银行卡卡号图片样本，包括：爬虫技术抓取或人工拍摄；并对无法识别的凸印银行卡卡号图片样本进行剔除；

步骤S12：对收集到的凸印银行卡卡号图片样本进行归一化，尺寸调整至19×27，并进行分类，得到凸印银行卡卡号数据集。

优选地，在所述步骤S2中，通过以下步骤获得卡号垂直分割标准对比值：

步骤S21：计算凸印银行卡卡号图片样本卡号行区域的形态学梯度数值，保留卡号行区域的边缘信息；

步骤S22：将所述形态学梯度数值按列累加，得到19×1的数值，接着将这些数值归一化到[0,1]之间；

步骤S23：对凸印银行卡卡号数据集内所有样本执行步骤S21和步骤S22，求得形态学梯度数值的均值。

优选地，在所述步骤S3中，对所述凸印银行卡卡号数据集进行形态学方法处理，使其特征突出的具体步骤为：

步骤S31：对凸印银行卡卡号图片样本进行归一化处理，将所述凸印银行卡卡号图片样本归一化为19×27的标准卡号图像；

步骤S32：对所述标准卡号图像进行形态学滤波，使用的滤波器为形态学梯度滤波器Morphological Gradient；

步骤S33：应用直方图均衡化，归一化图像亮度，并增强图像的对比度；

步骤S34：归一化图像像素值，将像素值调整至[0,1]之间，获得特征突出卡号图像。

优选地，在所述步骤S4中，具体通过以下步骤训练所述凸印银行卡卡号识别模型：

步骤S41：将输入图像送入输入层-INPUT，使图像的尺寸归一化到32×32；

步骤S42：将图像送入卷积层-C1，使用6个大小为5×5的卷积核对输入图像进行卷积，得到6个28×28的一次特征图；

步骤S43：将一次特征图送入池化层-S2，进行2×2的下采样，得到6个14×14的二次特征图；

步骤S44：将二次特征图送入卷积层-C3，使用16个5×5的卷积核对输入的二次特征图进行卷积，得到16个10×10的三次特征图；

步骤S45：将三次特征图送入池化层-S4，进行2×2的下采样，得到16个5×5的四次特征图；

步骤S46：将四次特征图送入卷积层-C5，使用120个5×5的卷积核对输入的四次特征图进行卷积，得到120个1×1的五次特征图；

步骤S47：全连接层-F6有84个五次特征图，每个五次特征图只有一个神经元，与卷积层-C5全连接；计算卷积层-C5输入向量和权重向量之间的点积，再加上一个偏置值，结果通过sigmoid函数输出；

步骤S48：输出层-OUTPUT也是全连接层，共有10个节点，分别代表数字0-9；采用的是径向基函数(RBF)的网络连接方式；设x是输入，y是RBF的输出，w_ij为权重，i为可能的结果，j为特征图的编号，则有：w_ij的值由i的比特图编码确定，i的取值范围是0-9，j的取值范围是0到7*12-1；RBF的输出值越接近于0，则结果越接近于i；

步骤S49：将训练样本分为3份，训练3个如步骤S41-步骤S48所述用于卡号识别的浅层神经网络，得到3组不同的权重值。

优选地，所述步骤S5的具体步骤包括：

步骤S51：对待检测的银行卡图像，将其尺寸归一化到428×270；

步骤S52：使用基于Scharr算子的银行卡卡号行定位方法，定位待检测银行卡图像的卡号行区域，并将所述卡号行区域的尺寸归一化到428×27；

步骤S53：计算所述卡号行区域的形态学梯度值，并将梯度值按列累加，得到一个428×1的梯度累加数值；

步骤S54：测试卡号分割宽度从17.1-19.7，在哪个宽度下卡号梯度累加数值和卡号垂直分割标准对比值按位相减绝对值之和的分数最小，则选择哪个宽度作为宽度进行卡号分割，得到分割后的卡号图像；

步骤S55：将分割后的卡号图像尺寸归一化到32×32；送入凸印银行卡卡号识别模型；

步骤S56：先使用2个浅层神经网络进行卡号识别，如果卡号识别结果一致，则直接返回卡号识别结果；如不一致，则使用第3个模型进行识别，然后通过3个识别结果投票得出最终卡号识别结果。

随着带有摄像头的移动设备的广泛使用以及移动支付的不断发展，人们已经习惯使用手机进行支付。银行卡卡号检测和识别技术能帮助这些支付平台的用户自动输入卡号。而银行卡卡号行定位作为传统银行卡识别方法中的重要步骤，对其方法的改进具有深刻意义。

本发明提出了一种基于规则的凸印银行卡卡号分割与识别方法。定位方面通过对国内凸印银行卡卡号的形状、颜色进行分析和总结，提出了使用形态学梯度和数值匹配的方法进行卡号分割；提高了银行卡卡号字符定位的准确度，减少了银行卡卡号行的定位时间。针对凸印银行卡卡号的特点，通过形态学方法处理卡号图像，使其特征突出易于识别。识别方面通过大量凸印银行卡卡号图像对3个浅层卷积网络进行训练，卡号识别的结果由3个网络的结果投票得出，保证了卡号识别的准确率。

相较于现有技术，本发明具有以下有益效果：本发明构建的凸印银行卡卡号分割与识别方法具有准确率高，速度快的优点。本发明使用的基于卡号垂直分割标准对比值的卡号分割方法可以非常迅速准确地确定卡号宽度，从而分割卡号。本发明使用的3个浅层神经网络组成的凸印银行卡识别模型，比单个神经网络的识别模型准确率更高，通过投票方式降低了卡号错误识别的可能性。

附图说明

图1为本发明凸印银行卡卡号分割与识别方法的流程图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本发明提供基于规则的凸印银行卡卡号分割与识别方法，具体包括以下步骤：

步骤S1：制作凸印银行卡卡号数据集，对卡号样本进行分类，为训练凸印银行卡卡号识别模型做好准备；

步骤S2：对凸印银行卡卡号数据集进行形态学梯度计算，统计得到卡号垂直分割标准对比值；

步骤S3：对凸印银行卡卡号数据集进行形态学方法处理，使其特征突出；

步骤S4：使用步骤S3处理得到的凸印银行卡卡号数据集训练3个浅层神经网络组成凸印银行卡卡号识别模型用于卡号识别；

步骤S5：使用卡号垂直分割标准对比值对待检测的银行卡图像卡号行区域进行卡号分割，得到卡号图像；再将卡号图像输入训练好的凸印银行卡卡号识别模型，卡号识别的结果由凸印银行卡卡号识别模型由3个浅层神经网络的结果投票得出。

在本发明一实施例中，在所述步骤S1中，通过以下步骤制作凸印银行卡卡号数据集：

步骤S11：采用各种方式收集凸印银行卡卡号图片样本，包括爬虫技术抓取、人工拍摄等；并对无法识别的卡号图片样本进行剔除；

步骤S12：对收集到的凸印银行卡卡号图像进行归一化，尺寸调整至19×27，并对其进行分类；得到凸印银行卡卡号数据集，便于凸印银行卡卡号分割与识别模型的训练。

在本发明一实施例中，在所述步骤S2中，通过以下步骤统计得到卡号垂直分割标准对比值：

步骤S21：计算样本卡号行区域的形态学梯度数值，保留卡号行区域的边缘信息；

步骤S22：将形态学梯度数值按列累加，得到19×1的数值，接着将这些数值归一化到[0,1]之间；

步骤S23：对凸印银行卡卡号数据集内所有样本执行步骤S21和步骤S22，求得其均值，本实施例得到的卡号垂直分割标准对比值为：{0.2622,0.3028,0.3463,0.3872,0.4274,0.4587,0.4649,0.4525,0.4304,0.4243,0.4479,0.4772,0.4847,0.4645,0.4279,0.3885,0.3396,0.2880,0.2537}。

在本发明一实施例中，在所述步骤S3中，通过以下步骤对收集到的凸印银行卡卡号数据集进行形态学方法处理，使其特征突出的具体步骤为：

步骤S31：对卡号图像进行归一化处理，将卡号图像归一化成19×27的标准卡号图像，方便之后送入卷积网络进行字符识别；

步骤S32：对归一化之后的标准卡号图像进行形态学滤波，使用的滤波器为形态学梯度滤波器Morphological Gradient，通过梯度滤波，可以突出图像亮度变化最快的区域，保存数字字符的边缘轮廓；

步骤S33：接着对处理后的卡号图像应用直方图均衡化，归一化图像亮度、增强图像的对比度；

步骤S34：最后归一化经过上述处理的卡号图像像素值，将像素值调整至[0,1]之间。

在本发明一实施例中，在所述步骤S4中，通过以下步骤训练凸印银行卡卡号识别模型：

步骤S41：将经过步骤S3处理的输入图像送入输入层-INPUT，使图像的尺寸归一化到32×32；

步骤S42：将归一化后的图像送入卷积层-C1，使用6个大小为5×5的卷积核对输入图像进行卷积，得到6个28×28的一次特征图；

步骤S43：将一次特征图送入池化层-S2，进行2×2的下采样，得到6个14×14的二次特征图；

步骤S44：将二次特征图送入卷积层-C3，使用16个5×5的卷积核对输入的二次特征图进行卷积，得到16个10×10的三次特征图；

步骤S45：将三次特征图送入池化层-S4，进行2×2的下采样，得到16个5×5的四次特征图；

步骤S46：将四次特征图送入卷积层-C5，使用120个5×5的卷积核对输入特征图进行卷积，得到120个1×1的五次特征图；

步骤S47：全连接层-F6有84个五次特征图，每个五次特征图只有一个神经元，与卷积层-C5全连接；计算卷积层-C5输入向量和权重向量之间的点积，再加上一个偏置值，结果通过sigmoid函数输出；

步骤S48：输出层-OUTPUT也是全连接层，共有10个节点，分别代表数字0-9。采用的是径向基函数(RBF)的网络连接方式。假设x是输入，y是RBF的输出，w_ij为权重，i为可能的结果，j为特征图的编号，则有：w_ij的值由i的比特图编码确定，i的取值范围是0-9，j的取值范围是0到7*12-1。RBF的输出值越接近于0，则结果越接近于i；

步骤S49：将训练样本分为3份，训练3个如步骤S41-步骤S48所述用于卡号识别的浅层神经网络，得到3组不同的权重值；在本实施例中，每个模型都使用12641张凸印银行卡卡号图像样本预处理后进行训练；

在本发明一实施例中，在所述步骤S5中，通过以下步骤识别待检测凸印银行卡图像中的卡号：

步骤S51：对待检测凸印银行卡图像，将其尺寸归一化到428×270；

步骤S52：使用基于Scharr算子的银行卡卡号行定位方法，定位待检测银行卡图像的卡号行区域，并将该区域尺寸归一化到428×27；

步骤S53：计算卡号行区域的形态学梯度值，并将梯度值按列累加，得到一个428×1的梯度累加数值；

步骤S54：测试卡号分割宽度从17.1-19.7，在哪个宽度下卡号梯度累加数值和卡号垂直分割标准对比值按位相减绝对值之和的分数最小，则选择哪个宽度作为宽度进行卡号分割；得到分割后的卡号图像；

步骤S55：将分割后的卡号图像尺寸归一化到32×32；送入凸印银行卡卡号识别模型；

步骤S56：先使用2个浅层神经网络进行卡号识别，如果卡号识别结果一致，则直接返回卡号识别结果；如不一致，则使用第3个模型进行识别，然后通过3个识别结果投票得出最终卡号识别结果。

其中，基于Scharr算子的银行卡卡号行定位方法采用的是以下步骤和方法：

步骤ST1：使用CANNYLINES直线检测方法检测输入银行卡卡面图像中存在的线段，包括：

步骤ST11：使用的一个无参数Canny边缘检测器，称为CannyPF；从输入图像中提取边缘图，根据输入图像的梯度大小自适应地调整Canny算子的阈值，这样可以保证图像结构信息的完整性；

步骤ST12：从梯度最大的边缘像素点开始，将边缘图中方向相同的相邻像素点连接起来，完成边缘连接；为了得到短的初始线段，对连接形成的过长线段进行拆分；

步骤ST13：线段在两端的方向上同时延伸，以期将更多的边缘像素点加入线段；并且和周围共线的线段合并；

步骤ST14：使用基于Helmholtz原理的直线验证方法，同时使用梯度方向和梯度大小验证每一条线段；

步骤ST2：对CANNLINES直线检测得到的直线进行判断，找出银行卡卡面的4条边，并由此得到银行卡卡面的4个顶点，包括：

步骤ST21：对步骤ST1得到的所有线段进行计算，得到图像最上侧、最下侧的近水平线段L_top、L_bottom，且线段长度必须大于图像长度的0.07倍；得到图像最左侧、最右侧的近垂直线段L_left、L_right，且线段长度必须大于图像宽度的0.07倍；近水平线段的定义是线段的斜率k_i满足：i为线段序号；近垂直线段的定义是线段的斜率k_i满足：

步骤ST22：通过L_top、L_bottom、L_left、L_right四条银行卡卡面边缘直线的交点获得银行卡卡面的4个顶点c₁,c₂,c₃,c₄，c₁是左上角顶点，c₂是右上角顶点，c₃是左下角顶点，c₄是右下角顶点；

步骤ST3：使用透视变换对银行卡卡面进行矫正，得到归一化的标准银行卡卡面图像，包括：

步骤ST31：对步骤ST2所得到的银行卡卡面4个顶点c₁,c₂,c₃,c₄进行透视变换，变换公式如下：

u,v是原始图片坐标，对应变换后得到的图片坐标x,y，其中x＝x′/w′,y＝y′/w′，w＝1；

变换矩阵中a₁₁，a₁₂，…，a₃₃为变换参数，可以分为4个部分，表示线性变换，如缩放、翻转等操作，[a₃₁ a₃₂]用于平移，[a₁₃ a₂₃]^T产生透视变换，可以得到坐标的变换公式如下所示：

步骤ST32：将通过透视变换矫正后的图片归一化到856×540；得到归一化的标准银行卡卡面图像；

步骤ST4：利用Scharr算子检测银行卡面的垂直边缘，并按行累加，定位其中累加值最大的固定高度横向区域，得到银行卡卡号行区域，包括：

步骤ST41：对步骤ST3得到的归一化标准银行卡卡面图像使用Scharr算子中的垂直边缘检测算子G_x；I代表原始图像矩阵，其计算公式为：

步骤ST42：对G_x的每一行进行累加，得到其中k为标准银行卡卡面图像的行序号；

步骤ST43：逐行扫描整张标准银行卡卡面图像，计算区域最大分数Maxscore，计算公式如下：

其中P_height是标准化银行卡卡面的高度，从P_height/3开始计算是为了去除上半部分区域文字的干扰；Maxscore取最大值时，第k行就是银行卡卡号行区域的起始行，第k+53行就是银行卡卡号行区域的截止行。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.一种基于规则的凸印银行卡卡号分割与识别方法，其特征在于，包括以下步骤：

步骤S1：制作凸印银行卡卡号数据集，对卡号样本进行分类；

步骤S2：对所述凸印银行卡卡号数据集进行形态学梯度计算统计，获得卡号垂直分割标准对比值；

步骤S3：对所述凸印银行卡卡号数据集进行形态学方法处理，使其特征突出；

步骤S4：对经过步骤S3处理后的凸印银行卡卡号数据集训练3个浅层神经网络，获得凸印银行卡卡号识别模型；

步骤S5：使用所述卡号垂直分割标准对比值对待检测的银行卡图像卡号行区域进行卡号分割，得到卡号图像；再将所述卡号图像输入凸印银行卡卡号识别模型，卡号识别的结果由凸印银行卡卡号识别模型的结果投票得出。

2.根据权利要求1所述的基于规则的凸印银行卡卡号分割与识别方法，其特征在于，在所述步骤S1中，通过以下步骤制作凸印银行卡卡号数据集：

步骤S11：收集凸印银行卡卡号图片样本，包括：爬虫技术抓取或人工拍摄；并对无法识别的凸印银行卡卡号图片样本进行剔除；

步骤S12：对收集到的凸印银行卡卡号图片样本进行归一化，尺寸调整至19×27，并进行分类，得到凸印银行卡卡号数据集。

3.根据权利要求1所述的基于规则的凸印银行卡卡号分割与识别方法，其特征在于，在所述步骤S2中，通过以下步骤获得卡号垂直分割标准对比值：

步骤S21：计算凸印银行卡卡号图片样本卡号行区域的形态学梯度数值，保留卡号行区域的边缘信息；

步骤S22：将所述形态学梯度数值按列累加，得到19×1的数值，接着将这些数值归一化到[0,1]之间；

步骤S23：对凸印银行卡卡号数据集内所有样本执行步骤S21和步骤S22，求得形态学梯度数值的均值。

4.根据权利要求1所述的基于规则的凸印银行卡卡号分割与识别方法，其特征在于，在所述步骤S3中，对所述凸印银行卡卡号数据集进行形态学方法处理，使其特征突出的具体步骤为：

步骤S31：对凸印银行卡卡号图片样本进行归一化处理，将所述凸印银行卡卡号图片样本归一化为19×27的标准卡号图像；

步骤S32：对所述标准卡号图像进行形态学滤波，使用的滤波器为形态学梯度滤波器Morphological Gradient；

步骤S33：应用直方图均衡化，归一化图像亮度，并增强图像的对比度；

步骤S34：归一化图像像素值，将像素值调整至[0,1]之间，获得特征突出卡号图像。

5.根据权利要求1所述的基于规则的凸印银行卡卡号分割与识别方法，其特征在于，在所述步骤S4中，具体通过以下步骤训练所述凸印银行卡卡号识别模型：

步骤S41：将输入图像送入输入层-INPUT，使图像的尺寸归一化到32×32；

步骤S42：将图像送入卷积层-C1，使用6个大小为5×5的卷积核对输入图像进行卷积，得到6个28×28的一次特征图；

步骤S43：将一次特征图送入池化层-S2，进行2×2的下采样，得到6个14×14的二次特征图；

步骤S44：将二次特征图送入卷积层-C3，使用16个5×5的卷积核对输入的二次特征图进行卷积，得到16个10×10的三次特征图；

步骤S45：将三次特征图送入池化层-S4，进行2×2的下采样，得到16个5×5的四次特征图；

步骤S46：将四次特征图送入卷积层-C5，使用120个5×5的卷积核对输入的四次特征图进行卷积，得到120个1×1的五次特征图；

步骤S47：全连接层-F6有84个五次特征图，每个五次特征图只有一个神经元，与卷积层-C5全连接；计算卷积层-C5输入向量和权重向量之间的点积，再加上一个偏置值，结果通过sigmoid函数输出；

步骤S48：输出层-OUTPUT也是全连接层，共有10个节点，分别代表数字0-9；采用的是径向基函数(RBF)的网络连接方式；设x是输入，y是RBF的输出，w_ij为权重，i为可能的结果，j为特征图的编号，则有：w_ij的值由i的比特图编码确定，i的取值范围是0-9，j的取值范围是0到7*12-1；RBF的输出值越接近于0，则结果越接近于i；

步骤S49：将训练样本分为3份，训练3个如步骤S41-步骤S48所述用于卡号识别的浅层神经网络，得到3组不同的权重值。

6.根据权利要求1所述的基于规则的凸印银行卡卡号分割与识别方法，其特征在于，所述步骤S5的具体步骤包括：

步骤S51：对待检测的银行卡图像，将其尺寸归一化到428×270；

步骤S52：使用基于Scharr算子的银行卡卡号行定位方法，定位待检测银行卡图像的卡号行区域，并将所述卡号行区域的尺寸归一化到428×27；

步骤S53：计算所述卡号行区域的形态学梯度值，并将梯度值按列累加，得到一个428×1的梯度累加数值；

步骤S54：测试卡号分割宽度从17.1-19.7，在哪个宽度下卡号梯度累加数值和卡号垂直分割标准对比值按位相减绝对值之和的分数最小，则选择哪个宽度作为宽度进行卡号分割，得到分割后的卡号图像；

步骤S55：将分割后的卡号图像尺寸归一化到32×32；送入凸印银行卡卡号识别模型；

步骤S56：先使用2个浅层神经网络进行卡号识别，如果卡号识别结果一致，则直接返回卡号识别结果；如不一致，则使用第3个模型进行识别，然后通过3个识别结果投票得出最终卡号识别结果。