CN104217444A - 定位卡片区域的方法和设备 - Google Patents

Abstract

本申请涉及一种定位卡片区域的方法和设备，其中，该方法可以包括：在针对卡片拍摄的图像帧的预定义区域中确定与卡片边缘相关的目标直线段；将所述目标直线段组合成四边形并从中确定候选四边形；在所述候选四边形内的特定区域中确定与数字序列相关的候选直线段；以及基于与候选直线段相关的数字序列的特性，将与所述数字序列的特性相符的目标四边形定位为卡片区域。根据本申请的技术方案，通过利用卡片的数字序列的特性，从而验证复杂背景下得到的多个候选四边形的有效性并最终确定卡片区域，进而实现了在复杂的环境背景下对卡片区域的快速且精确的定位。

Description

定位卡片区域的方法和设备

技术领域

本申请涉及图像处理领域，更具体地涉及一种定位卡片区域的方法和设备。

背景技术

随着互联网的发展，在线支付、手机支付等快捷支付已经越来越普遍。在此期间，需要银行卡用户直接输入卡信息的情况越来越多。使用图像捕捉设备获取银行卡卡面信息，辅助信息快速录入也已成为潮流趋势。

目前市面上的大部分此类应用程序都难以提供令人满意的用户体验，其中很关键的一点就是用户使用手机拍摄卡片时，卡片定位算法无法适应多变的复杂背景，难以快速精确的进行卡片定位。大部分程序往往需要用户将卡片放置的相对简单的背景下，并且需要手动触发拍照后再做检测和识别。从交互体验上来说，这样的使用方式极其不自然的，会导致用户容忍度快速下降。

因此，需求一种在集快速、准确和便捷于一身的银行卡信息输入方式中快速准确定位卡片区域的方法。

发明内容

因此，本申请的目的在于提供一种在针对卡片拍摄的图像帧中定位卡片区域的技术，以克服上述缺陷。

根据本申请一个方面的实施例，提供一种定位卡片区域的方法，包括：在针对卡片拍摄的图像帧的预定义区域中确定与卡片边缘相关的目标直线段；将所述目标直线段组合成四边形并从中确定候选四边形；在所述候选四边形内的特定区域中确定与数字序列相关的候选直线段；以及基于与候选直线段相关的数字序列的特性，将与所述数字序列的特性相符的目标四边形定位为卡片区域。

根据本申请的实施例，在该方法中，所述预定义区域是基于图像帧上的引导框的四周的预定范围。

根据本申请的实施例，在该方法中，在所述图像帧的预定义区域中确定与卡片边缘相关的目标直线段进一步包括：查找图像帧中的预定义区域中的直线段；以及将与引导框的四条边界所形成的夹角小于第一夹角阈值的直线段确定为目标直线段。

根据本申请的实施例，在该方法中，查找图像帧中的预定义区域中的直线段进一步包括：使用最小二乘法对预定义区域中的边缘进行直线拟合以查找到直线段。

根据本申请的实施例，在该方法中，分别在候选四边形内的特定区域中确定与数字序列相关的候选直线段进一步包括：在所述四边形的特定区域内进行边缘检测以获取包含边缘信息的二值图像；针对所述二值图像执行Hough变换以获得与数字特征序列相关的直线段；以及从直线段中确定与数字特征序列相关的候选直线段。

根据本申请的实施例，该方法进一步包括：基于目标四边形，获取与该目标四边形图像相映射的矩形图像。

根据本申请的实施例，在该方法中，基于目标四边形，获取与该目标四边形图像相映射的矩形图像包括：基于目标四边形，获取所述目标四边形到矩形的单映矩阵；以及基于所述单映矩阵，获取与该目标四边形图像相映射的矩形图像。

根据本申请另一方面的实施例，提供一种定位卡片区域的设备，包括：第一线段确定模块，用于在针对卡片拍摄的图像帧的预定义区域中确定与卡片边缘相关的目标直线段；形状确定模块，用于将所述目标直线段组合成四边形并从中确定候选四边形；第二线段确定模块，用于在所述候选四边形内的特定区域中确定与数字序列相关的候选直线段；以及卡片定位模块，用于基于与候选直线段相关的数字序列的特性，将与所述数字序列的特性相符的目标四边形定位为卡片区域。

与现有技术相比，根据本申请的技术方案，通过利用卡片的数字序列的特性，从而验证复杂背景下得到的多个候选四边形的有效性并最终确定卡片区域，进而实现了在复杂的环境背景下对卡片区域的快速且精确的定位。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了根据本申请实施例的定位卡片区域方法的流程图；

图2示出了根据本申请实施例的在所述图像帧的预定义区域中查找目标直线段的步骤流程图；

图3示意性地示出了根据本申请实施例的确定目标四边形的示意图；

图4示意性地示出了根据本申请实施例的将卡片图像由目标四边形归一化为矩形的示意图；以及

图5示出了根据本申请实施例的卡片区域定位设备的框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参考图1，图1示出了根据本申请实施例的定位卡片区域方法的流程图。

在步骤S110处，在针对卡片拍摄的图像帧的预定义区域中确定目标直线段。

在本申请的一个应用场景中，例如，当用户通过诸如便携式电脑、掌上电脑、手机之类的便携式终端进行在线支付而需要输入诸如卡号、有效期等的银行卡信息时，可以通过便携式终端的图像获取装置例如摄像头来识别和输入卡信息。那么首先就需要定位卡片区域。因此，首先要在针对所述卡片拍摄的图像帧的预定义区域中确定目标直线段。

确定目标直线段的过程如图2所示。例如，在步骤201处，可以查找针对卡片拍摄的图像帧中的预定义区域中的直线段，然后在步骤202处将与预定义区域的四条边界所形成夹角小于第一夹角阈值的直线段确定为目标直线段。其中，预定义区域是基于图像帧上的引导框的四周的预定范围。其中，该引导框是虚拟的且覆盖于所拍摄的图像帧上的。其中，可以使用最小二乘法对预定义区域中的边缘进行直线拟合以查找到直线段。

具体而言，以银行卡为例，例如需要拍摄该银行卡并对图像帧中的该银行卡的位置进行定位，那么在拍摄视窗中使用引导框（引导框可以是与卡片形状相适应的的，例如可以是矩形）作为引导，在对银行卡拍摄时会试图将卡片与显示视窗上的引导框进行对齐。更具体地，显示视窗将显示摄像头所拍摄到的场景，引导框将会以OSD（On Screen Display随屏显示技术）方式叠加在所显示的实时视频上，从而形成一个引导框。用户移动摄像头或者卡片，尝试将所拍摄到的卡片图像与引导框进行对齐，在此过程中连续采集视频帧并且可以在视频帧中选取任意图像帧并对其预定义区域进行边缘检测，并使用最小二乘法对边缘检测结果进行直线拟合，并且将与引导区域的四条边界所形成的夹角小于第一夹角阈值的直线段确定为目标直线段。所述第一夹角阈值例如可以选择为20度。

在查找到目标直线段之后，该方法继续到步骤102。在步骤102处，将所述目标直线段组合成四边形并从中确定候选四边形。

具体而言，根据在步骤101处查找到的目标直线段，组合成可能的所有四边形。接着，可以对所有四边形再进行筛选。例如，如果一个四边形的邻边夹角小于第二角度阈值，则将其滤除。所述第二夹角阈值范围例如可以选择为70度到110度内的任意度数。最终筛选出符合要求的一个或多个候选四边形。记录所述一个或多个候选四边形的四个顶点位置以备后续使用。

在步骤103处，在候选四边形内的特定区域中确定与数字序列相关的候选直线段。

具体而言，首先，可以在候选四边形的特定区域内进行边缘检测以获取包含边缘信息的二值图像，然后针对所述二值图像执行Hough变换以获得与数字序列相关的直线段。其中，所述特定区域可以是与候选四边形中的数字序列相关联的区域。例如，以银行卡为例，所述特定区域为银行卡卡号所处的区域。

基于所获得的直线段，滤除长度过短以及与候选四边形上下边夹角过大的线段从而从上述直线段中确定与数字序列相关的候选直线段。例如，长度超过引导框长边的1/2长度的直线段将被删除。例如，如果直线段与候选四边形所形成的夹角大于10度，则该直线段也将被删除。通过上述方式，检测到的剩余的直线段作为与数字序列相关的候选直线段。其中，该候选直线段是数字序列的上边缘和下边缘所形成的两条线段。

以上各个段落中关于直线段的长度以及夹角的选择仅为本申请的可选示例，本申请不限于此，而是还可以按照需要进行其他适当的选择。

在步骤104处，基于与候选直线段相关的数字序列的特性，将与所述数字序列的特性相符的目标四边形定位为卡片区域。

具体而言，在步骤103处获得了与数字序列相关的候选直线段，例如，与银行卡的卡号序列相关的候选直线段。然后如图3所示，基于候选直线段并根据数字序列的特性，将与所述数字序列的特性相符的目标四边形定位为卡片区域。图3示意性地示出了根据本申请实施例的定位目标四边形的示意图。

基于与候选直线段相关的数字序列，利用数字序列的特性验证四边形的有效性，滤除不符合该特性的所有四边形，将与所述数字序列的特性相符的目标四边形定位为卡片区域。具体而言，与候选直线段相关的数字序列的特性也即是该透视投影特性。透视投影特性是指数字区域的上边缘和下边缘所构成线段的消隐点与卡片卡面位置所形成的四边形的上下两条边的消隐点重合（在平行的情况下，消隐点出现在无穷远），并且数字区域上下边缘形成的夹角应小于等于四边形上下两条边的夹角。也即是说，候选直线段与目标四边形之间符合透视投影特性，从而利用与候选直线段相关的透视投影特性来确定与之相符的目标四边形。因此，基于上述原则，滤除不符合透视投影特性的多余线段所形成的四边形，获得目标四边形。

这里需要指出的是，上面的实施例都是以银行卡为例，但实际上，本申请中的方案并不限于银行卡，而是可以应用于符合标准的各种标准卡片，例如身份证、会员卡等等。

根据本申请实施例的方法，进一步可以包括基于目标四边形，获取与该四边形图像相映射的矩形图像。基于目标四边形，获取目标四边形到矩形的单映矩阵，然后基于所述单映矩阵，获取与该目标四边形图像相映射的矩形图像。

图4示意性地示出了根据本申请实施例的将卡片图像由目标四边形归一化为矩形的步骤示意图。由于已知目标卡片为矩形，因此求解上一步检测到的目标四边形到矩形的单映矩阵，通过该单映矩阵，将目标四边形图像映射成为一个矩形图像，该矩形图像就是矫正后的卡片图像。映射公式如下：

$p_a=\left[\begin{array}{c}{x}_a\\ y_a\\ 1\end{array}\right],p_b=\left[\begin{array}{c}\mathrm{\λ}{x}_b\\ {\mathrm{\λy}}_b\\ \mathrm{\λ}\end{array}\right],H_{\mathrm{ab}}=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]$

p_b=H_abp_a

在上述各个等式中，其中p_bpb为原始图像中的点，即目标四边形的点，p_apa为矫正后的图像中的点，即矩形的点，将预设的矫正后的归一化图像的四个顶点位置(xa0,ya0),(xa1,ya1),(xa2,ya2),(xa3,ya3)和原始图像中定位的卡片的四个顶点位置(xb0,yb0),(xb1,yb1),(xb2,yb2),(xb3,yb3)带入以上公式解线性方程，得到矩阵H。然后将矫正后的每一点位置通过上述公式映射回原始图像中。假设(xa,ya)对应点(xb,yb)，那么(xb,yb)的像素值就可以用(xa,ya)的双线性插值来表示。

至此，已经描述了本申请实施例的在针对卡片拍摄的图像帧中定位卡片区域方法的流程图。

根据本申请的实施例，还提供一种用于定位卡片区域的设备500，如图5所示，图5为根据本申请实施例的一种在针对卡片拍摄的图像帧中定位卡片区域的结构框图。该设备可以包括：第一线段确定模块510、形状确定模块520、第二线段确定模块530、以及卡片定位模块540。

第一线段确定模块510可以用于在所述图像帧的预定义区域中确定与卡片边缘相关的目标直线段，其中所述预定义区域是基于图像帧上的引导框的四周的预定范围。形状确定模块520可以用于将所述目标直线段组合成四边形并从中确定候选四边形。第二线段确定模块530可以用于在所述候选四边形内的特定区域中确定与数字序列相关的候选直线段；以及卡片定位模块540可以用于基于候选直线段并根据数字序列的特性，将与所述数字序列的特性相符的目标四边形定位为卡片区域。

根据本申请实施例的设备，第一线段确定模块510可以进一步包括查找子模块511和第一线段确定子模块512，其中，查找子模块511可以用于查找图像帧中的预定义区域中的直线段，查找子模块511使用最小二乘法对预定义区域中的边缘进行直线拟合以查找到直线段。第一线段确定子模块512可以用于将与引导框的四条边界所形成的夹角小于第一夹角阈值的直线段确定为目标直线段。

根据本申请实施例的设备，第二线段确定模块530可以进一步包括检测子模块531、变换子模块532和第二线段确定子模块533。其中，检测子模块531可以用于在所述四边形的特定区域内进行边缘检测以获取包含边缘信息的二值图像，变换子模块532可以用于针对所述二值图像执行Hough变换以获得与数字特征序列相关的直线段；以及第二线段确定检测子模块533可以用于从直线段中确定与数字特征序列相关的候选直线段。

根据本申请实施例的设备，还可以进一步包括获取模块（未示出），获取模块可以用于基于目标四边形，获取与该目标四边形图像相映射的矩形图像。

根据本申请实施例的设备，获取模块可以包括第一获取子模块和第二获取子模块，其中，第一获取子模块可以用于基于目标四边形，获取所述目标四边形到矩形的单映矩阵。第二获取子模块用于基于所述单映矩阵，获取与该目标四边形图像相映射的矩形图像。

由于本实施例的设备所实现的功能基本相应于前述图1至图5所示的方法实施例，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此不做赘述。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种定位卡片区域的方法，其特征在于，包括：

在针对卡片拍摄的图像帧的预定义区域中确定与卡片边缘相关的目标直线段；

将所述目标直线段组合成四边形并从中确定候选四边形；

在所述候选四边形内的特定区域中确定与数字序列相关的候选直线段；以及

基于与候选直线段相关的数字序列的特性，将与所述数字序列的特性相符的目标四边形定位为卡片区域。

2.根据权利要求1所述的方法，其特征在于，所述预定义区域是基于图像帧上的引导框的四周的预定范围。

3.根据权利要求2所述的方法，其特征在于，在所述图像帧的预定义区域中确定与卡片边缘相关的目标直线段进一步包括：

查找图像帧中的预定义区域中的直线段；以及

将与引导框的四条边界所形成的夹角小于第一夹角阈值的直线段确定为目标直线段。

4.根据权利要求3所述的方法，其特征在于，查找图像帧中的预定义区域中的直线段进一步包括：使用最小二乘法对预定义区域中的边缘进行直线拟合以查找到直线段。

5.根据权利要求1所述的方法，其特征在于，分别在候选四边形内的特定区域中确定与数字序列相关的候选直线段进一步包括：

在所述四边形的特定区域内进行边缘检测以获取包含边缘信息的二值图像；

针对所述二值图像执行Hough变换以获得与数字特征序列相关的直线段；以及

从直线段中确定与数字特征序列相关的候选直线段。

6.根据权利要求1-5任一项所述的方法，进一步包括：基于目标四边形，获取与该目标四边形图像相映射的矩形图像。

7.根据权利要求6所述的方法，基于目标四边形，获取与该目标四边形图像相映射的矩形图像包括：

基于目标四边形，获取所述目标四边形到矩形的单映矩阵；以及

基于所述单映矩阵，获取与该目标四边形图像相映射的矩形图像。

8.一种定位卡片区域的设备，其特征在于，包括：

第一线段确定模块，用于在针对卡片拍摄的图像帧的预定义区域中确定与卡片边缘相关的目标直线段；

形状确定模块，用于将所述目标直线段组合成四边形并从中确定候选四边形；

第二线段确定模块，用于在所述候选四边形内的特定区域中确定与数字序列相关的候选直线段；以及

卡片定位模块，用于基于与候选直线段相关的数字序列的特性，将与所述数字序列的特性相符的目标四边形定位为卡片区域。

9.根据权利要求8所述的设备，其特征在于，所述预定义区域是基于图像帧上的引导框的四周的预定范围。

10.根据权利要求9所述的设备，其特征在于，所述第一线段确定模块进一步包括：

查找子模块，用于查找图像帧中的预定义区域中的直线段；以及

第一线段确定子模块，用于将与引导框的四条边界所形成的夹角小于第一夹角阈值的直线段确定为目标直线段。

11.根据权利要求10所述的设备，其特征在于，查找子模块使用最小二乘法对预定义区域中的边缘进行直线拟合以查找到直线段。

12.根据权利要求8所述的设备，其特征在于，所述第二线段确定模块进一步包括：

检测子模块，用于在所述四边形的特定区域内进行边缘检测以获取包含边缘信息的二值图像；

变换子模块，用于针对所述二值图像执行Hough变换以获得与数字特征序列相关的直线段；以及

第二线段确定子模块，用于从所述直线段中确定与数字特征序列相关的候选直线段。

13.根据权利要求8-12任一项所述的设备，其特征在于，进一步包括：获取模块，用于基于目标四边形，获取与该目标四边形图像相映射的矩形图像。

14.根据权利要求13所述的设备，获取模块包括：

第一获取子模块，用于基于目标四边形，获取所述目标四边形到矩形的单映矩阵；以及

第二获取子模块，用于基于所述单映矩阵，获取与该目标四边形图像相映射的矩形图像。