CN108960221A - 基于图像的银行卡识别方法及装置 - Google Patents

Abstract

本发明提供一种基于图像的银行卡识别方法及装置，该方法包括：步骤1，获取银行卡图像中卡号的所在区域，根据卡号行的上、下基线去除相应冗余背景，定位所述卡号行的区域；步骤2，根据所述卡号行的区域中字符边界的纹理特征，定位字符边界获取字符所在的候选区域；步骤3，识别各个字符的候选区域得到对应的识别置信度，均值化每条字符路径中各个字符得到识别置信度均值，选择所述识别置信度均值最高的字符路径为字符定位结果，结合该字符路径中各个字符的识别结果生成卡号行的识别结果。本发明无需用户在拍摄银行卡图像时，需要边框与高度对齐的高度配合，也能清楚识别出银行卡的卡号，提高了用户体验度。

Description

基于图像的银行卡识别方法及装置

技术领域

本发明涉及图像信息识别技术领域，特别是涉及一种基于图像的银行卡识别方法及装置。

背景技术

随着互联网金融的发展，在线金融业务(譬如支付，理财等)获得越来越广泛的应用需求。对于个人消费者而言，在线金融业务交易时的安全性与便捷性直接影响着其用户体验。银行卡号搭配密码的方式，因为具有较高的安全性，成为一种被普遍接受的在线交易方式。但是银行卡号往往较为冗长，其所在的银行卡背景常常较为复杂，手工输入银行卡号需要用户反复辨认多次校正，因此通过机器学习自动从银行卡图像中识别出银行卡号，成为一种提升该在线交易方式便捷性的有效手段，逐步受到关注。

现有基于图像的银行卡识别方法通常包含三个步骤，步骤1，在银行卡图像中，定位出卡号行；步骤2，在卡号行中，定位出各个字符；步骤3，识别各个字符，根据各个字符的识别结果获得银行卡号。步骤1中卡号行定位，及步骤2中字符定位，是银行卡识别的难点。因为银行卡的背景常常比较复杂，特别是对于卡号行呈现出凹凸感的银行卡图片，卡号和背景的颜色和亮度是一样的，和背景的差别仅仅体现在卡号存在凹凸效果。

现有的银行卡识别方法在上述步骤1与2中多采用用户配合式的银行卡拍摄方式及以银行卡版式规则作为先验信息来进行卡号定位。譬如，在卡号行定位阶段，现有的银行卡识别方法会提供给用户一个带有长方形边框的银行卡图片拍摄界面(长方形边框的长宽比和目前主流的银行卡长宽比一致)，提示用户在拍摄银行卡时使其四边和界面中长方形边框的四边对齐，之后再根据卡号行在银行卡中的位置先验信息，从长方形边框内的图像中截取相应位置的区域作为卡号行。而在字符定位阶段，先以字符和银行卡左右边界的相对位置作为先验信息定位出各个字段(目前的银行卡中，卡号行中各字符或者是连续无间隔排列的一个字段，或者是分隔成几个字段，每个字段存在一定间隔)，再在字段内或者进行平均切分，或者结合卡号行区域边缘图的水平投影极小值点定位出字段内各个字符的左右边界。

然而，现有的方法对于符合预先定义的版式规则的银行卡是有效的，但是其有效的前提是往往需要用户在拍摄时使银行卡四边和界面中的长方形边框四边高度对齐，这在实际拍摄中需要用户长时间的调整和定位，影响了用户体验。同时，现有的方法只能处理有限版式规则的银行卡，无法进行方便的扩展。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于图像的银行卡识别方法及装置，用于解决现有技术中拍摄银行卡图像需要边框与高度对齐，如不达要求效果不佳，影响用户体验的问题。

为实现上述目的及其他相关目的，本发明提供一种基于图像的银行卡识别方法，包括：

步骤1，获取银行卡图像中卡号的所在区域，根据卡号行的上、下基线去除相应冗余背景，定位所述卡号行的区域；

步骤2，根据所述卡号行的区域中字符边界的纹理特征，定位字符边界获取字符所在的候选区域；

步骤3，识别各个字符的候选区域得到对应的识别置信度，均值化每条字符路径中各个字符得到识别置信度均值，选择所述识别置信度均值最高的字符路径为字符定位结果，结合该字符路径中各个字符的识别结果生成卡号行的识别结果

本发明的另一目的在于提供一种基于图像的银行卡识别装置，包括：

第一定位模块，用于获取银行卡图像中卡号的所在区域，根据卡号行的上、下基线去除相应冗余背景，定位所述卡号行的区域；

第二定位模块，用于根据所述卡号行的区域中字符边界的纹理特征，定位字符边界获取字符所在的候选区域；

识别模块，用于识别各个字符的候选区域得到对应的识别置信度，均值化每条字符路径中各个字符得到识别置信度均值，选择所述识别置信度均值最高的字符路径为字符定位结果，结合该字符路径中各个字符的识别结果生成卡号行的识别结果。

如上所述，本发明的基于图像的银行卡识别方法及装置，具有以下有益效果：

本发明提供了一种基于统计机器学习自动定位复杂背景下银行卡号字符区域的算法，无需用户在拍摄银行卡图像时，需要边框与高度对齐的高度配合，也能清楚识别出银行卡的卡号，提高了用户体验度。

附图说明

图1显示为本发明提供的一种基于图像的银行卡识别方法流程图；

图2显示为本发明提供的一种基于图像的银行卡识别方法中步骤S1的步骤流程图；

图3显示为本发明提供的一种基于图像的银行卡识别方法中步骤S1.2的步骤流程图；

图4显示为本发明提供的一种基于图像的银行卡识别方法中步骤S2的步骤流程图；

图5显示为本发明提供的一种基于图像的银行卡识别方法中步骤S3的步骤流程图；

图6显示为本发明提供的一种基于图像的银行卡识别装置结构图；

图7显示为本发明提供的一种基于图像的银行卡识别装置中第一定位模块结构框图；

图8显示为本发明提供的一种基于图像的银行卡识别装置中卡号选择单元结构框图；

图9显示为本发明提供的一种基于图像的银行卡识别装置中第二定位模块结构框图；

图10显示为本发明提供的一种基于图像的银行卡识别识别装置中识别模块结构框图；

图11显示为本发明提供的一种基于图像的银行卡识别方法中滑窗搜索的示例图。

元件标号说明：

1 第一定位模块

2 第二定位模块

3 识别模块

11 候选区域搜索单元

12 卡号选择单元

121 卡号行选择子单元

122 卡号行筛选子单元

123 基线确定子单元

21 字符边界生成单元

22 第一判断单元

23 第二判断单元

31 第一识别单元

32 字符定位单元

33 第二识别单元

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，为本发明提供的一种基于图像的银行卡识别方法流程图，包括：

步骤1，获取银行卡图像中卡号的所在区域，根据卡号行的上、下基线去除相应冗余背景，定位所述卡号行的区域；

步骤2，根据所述卡号行的区域中字符边界的纹理特征，定位字符边界获取字符所在的候选区域；

步骤3，识别各个字符的候选区域得到对应的识别置信度，均值化每条字符路径中各个字符得到识别置信度均值，选择所述识别置信度均值最高的字符路径为字符定位结果，结合该字符路径中各个字符的识别结果生成卡号行的识别结果。

在本实施例中，用户在拍摄包含银行卡图像时，无需按照以往经验，特定的对齐银行卡的边框和高度，减少了拍摄时调整与定位的时间，提高了用户的体验度；同时，提出了一种基于统计机器学习自动定位复杂背景下银行卡号字符区域的算法，可精准的识别出复杂背景下银行卡号。

请参阅图2，为本发明提供的一种基于图像的银行卡识别方法中步骤S1的步骤流程图，包括：

步骤11，采用文本检测器基于滑窗搜索的方式，其中，利用滑动窗口在银行卡图像上进行滑动搜索，根据搜索窗口提取文本纹理特征作为分类器的输入，根据分类器的输出判断搜索窗口是否为卡号字段的候选区域；

其中，使用宽高比为1：4，高度分别为32，48，64的矩形窗口作为滑动窗口，以窗口高度的50％作为水平方向和竖直方向的滑动步长，从银行卡图像的左上角开始，在银行卡图像上进行滑动搜索；在每个搜索窗口提取文本纹理特征作为两类(文本、非文本)分类器的输入，根据分类器的输出结果，判断每个搜索窗口是否是卡号字段的候选区域。

具体在每个搜索窗口提取文本纹理特征的步骤，详述如下：

把每个搜索窗口按照4种分割方式分割成14种不同的子区域，如图11所示；

在每个子区域的银行卡图像灰度图上，提取8个方向的梯度幅值均值及方差作为该窗口的第一类文本纹理特征；

在每个子区域的银行卡图像灰度图上，提取水平方向(竖直方向)的一阶导数均值及方差作为该窗口的第二类文本纹理特征；

联合每个子区域的第一类及第二类文本纹理特征构成对应于每个搜索窗口的240维文本纹理特征。

在图11中的每个搜索窗口所使用的两类(文本、非文本)分类器为以cart tree(决策树) 为基础的adaboost分类器。

步骤12，根据卡号字段候选区域在竖直方向的重叠率获取卡号行的候选区域，结合卡号行的候选区域的形状与纹理特征在候选区域选择出卡号行。

在本实施例中，通过文本检测器滑窗搜索可初步确定卡号行所在区域；结合卡号行的候选区域的形状与纹理特征在候选区域，去除了图像中冗余的复杂背景。

请参阅图3，为本发明提供的一种基于图像的银行卡识别方法中步骤S1.2的步骤流程图，包括：

步骤121，计算任意两个卡号字段候选区域在竖直方向的重叠率，筛选重叠率大于75％的卡号字段候选区域为候选区域组；选择所述候选区域组中最小矩形区域为卡号行的候选区域；

具体地，对于任意两个上述步骤获得的卡号字段候选区域，计算两个区域在竖直方向的重叠率；

组合所有在竖直方向重叠率大于75％的卡号字段候选区域一系列字段候选区域组；对每个字段候选区域组，取包含该字段候选区域组最小的矩形区域，作为一个卡号行的候选区域。

步骤122，将卡号行的候选区域沿水平方向分割得到多个子区域，利用gaborfilter得到每个子区域的文本纹理特征；基于每个子区域的文本纹理特征采用分类器获取每个卡号行候选区域为卡号行文本的置信度，筛选置信度最高的卡号行候选区域为卡号行；

具体地，把每个卡号行候选区域分别沿着水平方向平均分割成2个子区域，4个子区域， 8个子区域，16个子区域累计30个子区域；

在每个子区域上运用32中不同的gabor filter得到32幅gabor图像，计算gabor图像的0 阶矩，1阶矩，2阶矩，构成每个子区域的96维文本纹理特征。

联合每个子区域的文本纹理特征构成对应于每个卡号行候选区域的2688维文本纹理特征；以该特征作为两类(卡号行文本、非卡号行文本)分类器的输入，从分类器的输出结果获得每个卡号行候选区域是卡号行文本的置信度；选择置信度度最高的卡号行候选区域为最终的卡号行。

其中，上述所使用的两类(卡号行文本、非卡号行文本)分类器，分类器为SVM，SVM与gabor filter是机器视觉领域的公知技术，不再一一赘述。

步骤123，利用文本行基线检测器中canny边缘检测算法检测卡号行区域横向笔画，根据 hough变换从横向笔画中得到卡号行的上、下基线候选区域，计算该基线所在位置的纹理变化特征作为分类器的输入，筛选置信度最高的上、下基线候选区域为卡号行的上、下基线。

在本实施例中，本发明采用的文本行基线检测器是基于排序的方式，包括

在银行卡图像的卡号行区域上，检测出横向笔画；

从横向笔画里，通过“hough”变换检测出偏离水平方向10度以内的直线；对任意两条直线，计算它们之间的夹角，选择夹角小于3度，且距离大于卡号行所在区域高度的30％的直线对作为卡号行的上下基线候选区域；

对每一个上下基线候选区域，计算基线所在位置的纹理变化特征，作为两类(基线、非基线)分类器的输入，获得该基线的置信度；选取置信度最高的基线候选作为卡号行的上下基线。

其中，上述在卡号行区域上检测横向笔画进一步包括：

用“canny”边缘检测算法生成银行卡图像在卡号行区域的边缘图；

在边缘图上，通过连通域分析，获取一些列连通域；

对于每个连通域，用计算其线性度，如果线性度大于90且连通域在水平方向上的宽度小于卡号行区域高度的50％，判断该连通域为横向笔画，否则，不为横向笔画。

线性度＝100*连通域最小外接矩形的周长/连通域内边缘点的总数

其中，上述计算上下文基线候选的纹理变化特征进一步包括，

计算上(下)基线上下邻近区域的边缘点密度变化特征：

把上(下)基线分成10个片段，对每个片段，计算该片段上方(对于下基线：下方)3个像素区域与下方(对于上基线：上方)3个像素区域的边缘点数之比；

分别统计满足边缘点数之比小于0.1，0.2，0.3的片段的长度之和，作为上(下)基线的边缘点密度变化特征。

其中，连续非边缘点的长度变化：

把上(下)基线分成10个片段，对每个片段，从该片段上方(对于下基线：下方)3个像素行的每一行中寻找最长的连续非边缘点，从该片段下方(对于上基线：上方)3个像素行的每一行中寻找最长的连续非边缘点，计算两个最长的连续非边缘点之间的长度之比；

分别统计满足边缘点数之比大于1.5，2.0，2.5的片段的长度之和，作为上(下)基线的连续非边缘点长度变化特征。

“hough变换，canny边缘检测算法”是机器视觉领域的公知技术，不再一一赘述。

请参阅图4，为本发明提供的一种基于图像的银行卡识别方法中步骤S2的步骤流程图，包括：

根据字符间纹理特征与字段间纹理特征分别定位字段内部与字段边界的字符边界；其中，采用canny边缘检测算法生成银行卡图像在卡号行区域的边缘图，计算边缘图在竖直方向上的投影，选择边缘图竖直投影的极小值点构成字符边界候选池；

在所述字符边界候选池左右两边区域中计算该候选的字符间纹理特征，根据分类器的输入与输出，判断所述候选的字符间纹理特征是否为处于字段内部的字符边界，该字符间纹理特征对应包含边缘点变化特征，梯度变化特征以及笔画连续性特征；

在所述字符边界候选池左右两边区域中计算该候选的字段间纹理特征，根据分类器的输入与输出，判断所述候选的字符间纹理特征是否为处于字段边界的字符边界，该字段间纹理特征对应包含边缘点变化特征，梯度变化特征以及笔画连续性特征。

在本实施例中，本发明采用两种字符边界纹理特征(“字符间”纹理特征及“字段间”纹理特征)分别定位处于“字段内部”和处于“字段边界”的字符边界，包括：

(如前所述，目前的银行卡中，卡号行中各字符或者是连续无间隔排列的一个字段，或者是分隔成几个字段，每个字段存在一定间隔)

用“canny”边缘检测算法生成银行卡图像在卡号行区域的边缘图，计算边缘图在竖直方向上的投影，取边缘图竖直投影的极小值点构成字符边界候选池；

对于字符边界候选池中的每一个边界候选区域，从该边界候选区域的左右两边区域中计算“字符间”纹理特征，作为两类(字符边界、非字符边界)分类器的输入，根据分类器的输出，判断该边界候选区域是否处于“字段内部”的字符边界；

对于字符边界候选池中的每一个边界候选区域，从该边界候选区域的左右两边区域中计算“字段间”纹理特征，作为两类(字符边界、非字符边界)分类器的输入，根据分类器的输出，判断该边界候选区域是否为处于“字段边界”的字符边界；

上述提取边界候选的“字符间”纹理特征，进一步包括从边界候选的相邻区域中提取3 种纹理特征，边缘点变化特征，梯度变化特征以及笔画连续性特征，

取以边界候选区域为中心，左右宽度为1/4卡号行高的子区域，记为该边界候选的中心子区域；取以边界候选区域左边偏移1/6卡号行高的位置为中心，左右宽度为1/4卡号行高的子区域，记为该边界候选的左边子区域；取以边界候选区域右边偏移1/6卡号行高的位置为中心，左右宽度为1/4卡号行高的子区域，记为该边界候选区域的右边子区域；

计算该边界候选区域的中心子区域与左边子区域的边缘点数之比；计算该边界候选区域的中心子区域与右边子区域的边缘点数之比；以这两项边缘点数之比作为该边界候选区域的边缘点变化特征；

计算该边界候选区域的中心子区域与左边子区域的水平方向及竖直方向梯度幅值之比；计算该边界候选区域的中心子区域与右边子区域的水平方向及竖直方向梯度幅值之比；以这两项梯度幅值之比作为该边界候选区域的梯度变化特征；

用上述文本基线检测步骤所采用的横笔画检测方法检测卡号行的横向笔画，统计在该边界候选区域的中心子区域内横向笔画的数目，作为该边界候选的笔画连续性特征；

上述提取边界候选的“字段间”纹理特征进一步包括从边界候选的相邻区域中提取3种纹理特征，边缘点变化特征，梯度变化特征以及笔画变化特征，

取以边界候选区域为右边界，向左宽度为1.5卡号行高的子区域，记为该边界候选区域的左边子区域；取以边界候选区域为左边界，向右宽度为1.5卡号行高的子区域，记为该边界候选区域的右边子区域；

计算该边界候选区域的左边子区域与右边子区域的边缘点数之比，作为该边界候选的区域边缘点变化特征；

计算该边界候选区域的左边子区域与右边子区域的水平方向及竖直方向梯度幅值之比，作为该边界候选的梯度变化特征；

用上述文本基线检测步骤所采用的横笔画检测方法检测卡号行的横向笔画，计在该边界候选区域的左边子区域与右边子区域的横向笔画数目之比，作为该边界候选区域的笔画变化特征。

在本实施例中，通过该算法不依赖任何先验的版式规则，可以做到版式的自由扩展。

请参阅图5，为本发明提供的一种基于图像的银行卡识别方法中步骤S3的步骤流程图，包括：

采用单字分类器识别各个字符的候选区域，获得各个字符候选区域的识别置信度；其中，所述单字分类器为google-net结构的神经网路；

利用光学字符识别技术从字符候选区域生成一系列字符定位路径；

根据每条字符定位路径中各字符的识别置信度均值，选择置信度均值最高的字符定位路径为字符定位结果，结合该字符路径中各个字符的识别结果生成卡号行的识别结果。

在本实施例中，利用google-net结构的神经网路是单字分类器识别各个字符的候选区域，提升了字符的识别速度(即效率)，同时，根据光学字符识别迅速识别出各个字符生成一系列字符定位路径，选择置信度均值最高的字符定位路径为字符定位结果，结合该字符路径中各个字符的识别结果生成卡号行的识别结果；提高了识别精度。

请参阅图6，为本发明提供的一种基于图像的银行卡识别装置结构图，包括：

第一定位模块，用于获取银行卡图像中卡号的所在区域，根据卡号行的上、下基线去除相应冗余背景，定位所述卡号行的区域；

第二定位模块，用于根据所述卡号行的区域中字符边界的纹理特征，定位字符边界获取字符所在的候选区域；

识别模块，用于识别各个字符的候选区域得到对应的识别置信度，均值化每条字符路径中各个字符得到识别置信度均值，选择所述识别置信度均值最高的字符路径为字符定位结果，结合该字符路径中各个字符的识别结果生成卡号行的识别结果。

请参阅图7，为本发明提供的一种基于图像的银行卡识别装置中第一定位模块结构框图，包括：

候选区域搜索单元，采用文本检测器基于滑窗搜索的方式，其中，利用滑动窗口在银行卡图像上进行滑动搜索，根据搜索窗口提取文本纹理特征作为分类器的输入，根据分类器的输出判断搜索窗口是否为卡号字段的候选区域；

卡号选择单元，用于根据卡号字段候选区域在竖直方向的重叠率获取卡号行的候选区域，结合卡号行的候选区域的形状与纹理特征在候选区域选择出卡号。

请参阅图8，为本发明提供的一种基于图像的银行卡识别装置中卡号选择单元结构框图，包括：

卡号行选择子单元，用于计算任意两个卡号字段候选区域在竖直方向的重叠率，筛选重叠率大于75％的卡号字段候选区域为候选区域组；选择所述候选区域组中最小矩形区域为卡号行的候选区域；

卡号行筛选子单元，用于将卡号行的候选区域沿水平方向分割得到多个子区域，利用 gabor filter得到每个子区域的文本纹理特征；基于每个子区域的文本纹理特征采用分类器获取每个卡号行候选区域为卡号行文本的置信度，筛选置信度最高的卡号行候选区域为卡号行；

基线确定子单元，利用文本行基线检测器中canny边缘检测算法检测卡号行区域横向笔画，根据hough变换从横向笔画中得到卡号行的上、下基线候选区域，计算该基线所在位置的纹理变化特征作为分类器的输入，筛选置信度最高的上、下基线候选区域为卡号行的上、下基线。

请参阅图9，为本发明提供的一种基于图像的银行卡识别装置中第二定位模块结构框图，包括：

根据字符间纹理特征与字段间纹理特征分别定位字段内部与字段边界的字符边界；其中，

字符边界生成单元，采用canny边缘检测算法生成银行卡图像在卡号行区域的边缘图，计算边缘图在竖直方向上的投影，选择边缘图竖直投影的极小值点构成字符边界候选池；

第一判断单元，用于在所述字符边界候选池左右两边区域中计算该候选的字符间纹理特征，根据分类器的输入与输出，判断所述候选的字符间纹理特征是否为处于字段内部的字符边界，该字符间纹理特征对应包含边缘点变化特征，梯度变化特征以及笔画连续性特征；

第二判断单元，用于在所述字符边界候选池左右两边区域中计算该候选的字段间纹理特征，根据分类器的输入与输出，判断所述候选的字符间纹理特征是否为处于字段边界的字符边界，该字段间纹理特征对应包含边缘点变化特征，梯度变化特征以及笔画连续性特征。

请参阅图10，为本发明提供的一种基于图像的银行卡识别识别装置中识别模块结构框图，包括：

第一识别单元，采用单字分类器识别各个字符的候选区域，获得各个字符候选区域的识别置信度；其中，所述单字分类器为google-net结构的神经网路；

字符定位单元，利用光学字符识别技术从字符候选区域生成一系列字符定位路径；

第二识别单元，用于根据每条字符定位路径中各字符的识别置信度均值，选择置信度均值最高的字符定位路径为字符定位结果，结合该字符路径中各个字符的识别结果生成卡号行的识别结果。

综上所述，本发明提供了一种基于统计机器学习自动定位复杂背景下银行卡号字符区域的算法，无需用户在拍摄银行卡图像时，需要边框与高度对齐的高度配合，也能清楚识别出银行卡的卡号，提高了用户体验度。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于图像的银行卡识别方法，其特征在于，包括：

步骤1，获取银行卡图像中卡号的所在区域，根据卡号行的上、下基线去除相应冗余背景，定位所述卡号行的区域；

步骤2，根据所述卡号行的区域中字符边界的纹理特征，定位字符边界获取字符所在的候选区域；

步骤3，识别各个字符的候选区域得到对应的识别置信度，均值化每条字符路径中各个字符得到识别置信度均值，选择所述识别置信度均值最高的字符路径为字符定位结果，结合该字符路径中各个字符的识别结果生成卡号行的识别结果。

2.根据权利要求1所述的基于图像的银行卡识别方法，其特征在于，所述步骤1包括：

步骤1.1，采用文本检测器基于滑窗搜索的方式，其中，利用滑动窗口在银行卡图像上进行滑动搜索，根据搜索窗口提取文本纹理特征作为分类器的输入，根据分类器的输出判断搜索窗口是否为卡号字段的候选区域；

步骤1.2，根据卡号字段候选区域在竖直方向的重叠率获取卡号行的候选区域，结合卡号行的候选区域的形状与纹理特征在候选区域选择出卡号行。

3.根据权利要求1所述的基于图像的银行卡识别方法，其特征在于，所述步骤1.2包括：

计算任意两个卡号字段候选区域在竖直方向的重叠率，筛选重叠率大于75％的卡号字段候选区域为候选区域组；选择所述候选区域组中最小矩形区域为卡号行的候选区域；

将卡号行的候选区域沿水平方向分割得到多个子区域，利用gabor filter得到每个子区域的文本纹理特征；基于每个子区域的文本纹理特征采用分类器获取每个卡号行候选区域为卡号行文本的置信度，筛选置信度最高的卡号行候选区域为卡号行；

利用文本行基线检测器中canny边缘检测算法检测卡号行区域横向笔画，根据hough变换从横向笔画中得到卡号行的上、下基线候选区域，计算该基线所在位置的纹理变化特征作为分类器的输入，筛选置信度最高的上、下基线候选区域为卡号行的上、下基线。

4.根据权利要求1所述的基于图像的银行卡识别方法，其特征在于，所述步骤2包括：

根据字符间纹理特征与字段间纹理特征分别定位字段内部与字段边界的字符边界；其中，采用canny边缘检测算法生成银行卡图像在卡号行区域的边缘图，计算边缘图在竖直方向上的投影，选择边缘图竖直投影的极小值点构成字符边界候选池；

在所述字符边界候选池左右两边区域中计算该候选的字符间纹理特征，根据分类器的输入与输出，判断所述候选的字符间纹理特征是否为处于字段内部的字符边界，该字符间纹理特征对应包含边缘点变化特征，梯度变化特征以及笔画连续性特征；

在所述字符边界候选池左右两边区域中计算该候选的字段间纹理特征，根据分类器的输入与输出，判断所述候选的字符间纹理特征是否为处于字段边界的字符边界，该字段间纹理特征对应包含边缘点变化特征，梯度变化特征以及笔画连续性特征。

5.根据权利要求1所述的基于图像的银行卡识别方法，其特征在于，所述步骤3包括：

采用单字分类器识别各个字符的候选区域，获得各个字符候选区域的识别置信度；其中，所述单字分类器为google-net结构的神经网路；利用光学字符识别技术从字符候选区域生成一系列字符定位路径；根据每条字符定位路径中各字符的识别置信度均值，选择置信度均值最高的字符定位路径为字符定位结果，结合该字符路径中各个字符的识别结果生成卡号行的识别结果。

6.一种基于图像的银行卡识别装置，其特征在于，包括：

第一定位模块，用于获取银行卡图像中卡号的所在区域，根据卡号行的上、下基线去除相应冗余背景，定位所述卡号行的区域；

第二定位模块，用于根据所述卡号行的区域中字符边界的纹理特征，定位字符边界获取字符所在的候选区域；

识别模块，用于识别各个字符的候选区域得到对应的识别置信度，均值化每条字符路径中各个字符得到识别置信度均值，选择所述识别置信度均值最高的字符路径为字符定位结果，结合该字符路径中各个字符的识别结果生成卡号行的识别结果。

7.根据权利要求6所述的基于图像的银行卡识别装置，其特征在于，所述第一定位模块包括：

候选区域搜索单元，采用文本检测器基于滑窗搜索的方式，其中，利用滑动窗口在银行卡图像上进行滑动搜索，根据搜索窗口提取文本纹理特征作为分类器的输入，根据分类器的输出判断搜索窗口是否为卡号字段的候选区域；

卡号选择单元，用于根据卡号字段候选区域在竖直方向的重叠率获取卡号行的候选区域，结合卡号行的候选区域的形状与纹理特征在候选区域选择出卡号。

8.根据权利要求7述的基于图像的银行卡识别装置，其特征在于，所述卡号选择单元包括：

卡号行选择子单元，用于计算任意两个卡号字段候选区域在竖直方向的重叠率，筛选重叠率大于75％的卡号字段候选区域为候选区域组；选择所述候选区域组中最小矩形区域为卡号行的候选区域；

卡号行筛选子单元，用于将卡号行的候选区域沿水平方向分割得到多个子区域，利用gabor filter得到每个子区域的文本纹理特征；基于每个子区域的文本纹理特征采用分类器获取每个卡号行候选区域为卡号行文本的置信度，筛选置信度最高的卡号行候选区域为卡号行；

基线确定子单元，利用文本行基线检测器中canny边缘检测算法检测卡号行区域横向笔画，根据hough变换从横向笔画中得到卡号行的上、下基线候选区域，计算该基线所在位置的纹理变化特征作为分类器的输入，筛选置信度最高的上、下基线候选区域为卡号行的上、下基线。

9.根据权利要求6所述的基于图像的银行卡识别装置，其特征在于，所述第二定位模块包括：

根据字符间纹理特征与字段间纹理特征分别定位字段内部与字段边界的字符边界；其中，

字符边界生成单元，采用canny边缘检测算法生成银行卡图像在卡号行区域的边缘图，计算边缘图在竖直方向上的投影，选择边缘图竖直投影的极小值点构成字符边界候选池；

第一判断单元，用于在所述字符边界候选池左右两边区域中计算该候选的字符间纹理特征，根据分类器的输入与输出，判断所述候选的字符间纹理特征是否为处于字段内部的字符边界，该字符间纹理特征对应包含边缘点变化特征，梯度变化特征以及笔画连续性特征；

第二判断单元，用于在所述字符边界候选池左右两边区域中计算该候选的字段间纹理特征，根据分类器的输入与输出，判断所述候选的字符间纹理特征是否为处于字段边界的字符边界，该字段间纹理特征对应包含边缘点变化特征，梯度变化特征以及笔画连续性特征。

10.根据权利要求6所述的基于图像的银行卡识别装置，其特征在于，所述识别模块包括：

第一识别单元，采用单字分类器识别各个字符的候选区域，获得各个字符候选区域的识别置信度；其中，所述单字分类器为google-net结构的神经网路；

字符定位单元，利用光学字符识别技术从字符候选区域生成一系列字符定位路径；

第二识别单元，用于根据每条字符定位路径中各字符的识别置信度均值，选择置信度均值最高的字符定位路径为字符定位结果，结合该字符路径中各个字符的识别结果生成卡号行的识别结果。