CN110516672A - 卡证信息识别方法、装置及终端 - Google Patents

Abstract

本申请公开了一种卡证信息识别方法、装置及终端，该方法包括：获取待识别的卡证图像；检测所述卡证图像中的至少部分属性标识；根据所述属性标识，得到对所述待识别的卡证图像的识别方向；依据所述识别方向对所述卡证图像进行识别，得到识别信息。由于能够获得识别方向从而使得能够对任意角度的卡证图像进行识别，可以减少在识别过程中生成图像角度引导信息的处理过程，进而使得识别过程简单，提高了识别效率。

Description

卡证信息识别方法、装置及终端

技术领域

本申请涉及技术领域，尤其涉及一种卡证信息识别方法、装置及终端。

背景技术

随着互联网技术的发展，在金融、交通、安检等业务领域中，都涉及包括银行卡或身份证件等卡证信息的自动提取，能够代替大量繁琐的人工录入。

目前，现有的卡证信息识别中，为了能够准确提取到相关信息，每次都需要生成引导信息，来引导用户以标准的角度进行卡证的拍摄，或者要求用户按照标准格式上传卡证图片，再对获得的卡证图片进行实时识别。可见，现有的卡证信息识别方法需要每次都生成引导信息，造成对卡证信息的识别过程繁琐，效率低。

发明内容

有鉴于此，本申请提供了一种卡证信息识别置及终端，以使得能够对任意角度的卡证图片进行识别，提高了识别过程的处理效率，使得识别过程简单化。

为实现上述目的，一方面，本申请提供了一种卡证信息识别方法，包括：

获取待识别的卡证图像；

检测所述卡证图像中的至少部分属性标识；

根据所述属性标识，得到对所述待识别的卡证图像的识别方向；

依据所述识别方向所述卡证图像进行识别，得到识别信息。

在一种可能的实现方式中，所述获取待识别的卡证图像，包括：

获取待识别卡证的原始图像；

对所述待识别卡证的原始图像进行特征区域识别，得到所述待识别卡证的中心区域；

根据所述中心区域，生成所述原始图像的图像采集区域，所述图像采集区域包含所述属性标识；

对所述原始图像的图像采集区域进行图像采集，得到待识别的卡证图像。

在又一种可能的实现方式中，所述检测所述卡证图像中的至少部分属性标识，包括：

将所述卡证图像输入至字段检测模型，得到所述卡证图像的字段区域和目标字段区域的属性标识，其中，所述目标字段区域表征具有预设字段格式的字段区域，所述属性标识表征所述目标字段区域的前部分字段区域。

又一方面，本申请还提供了一种卡证信息识别装置，包括：

图像获取单元，用于获取待识别的卡证图像；

标识检测单元，用于检测所述卡证图像中的至少部分属性标识；

方向获取单元，用于根据所述属性标识，得到所述待识别的卡证图像的识别方向；

信息识别单元，用于依据所述识别方向对所述卡证图像进行识别，得到识别信息。

又一方面，本申请还提供了一种终端，包括：

处理器和存储器；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中存储的程序，所述程序至少用于：

获取待识别的卡证图像；

检测所述卡证图像中的至少部分属性标识；

根据所述属性标识，得到所述待识别的卡证图像的识别方向；

依据所述识别方向对所述卡证图像进行识别，得到识别信息。

可见，在对卡证信息进行识别时，只需要获取待识别的卡证图像，并检测该卡证图像中的至少部分属性标识，由属性标识得到识别方向，这样，便可以根据识别方向对卡证图像进行识别，得到识别信息，由于能够获得识别方向从而使得能够对任意角度的卡证图像进行识别，可以减少在识别过程中生成图像角度引导信息的处理过程，进而使得识别过程简单，提高了识别效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了本申请实施例的一种卡证信息识别系统的组成架构示意图；

图2示出了本申请实施例的一种卡证信息识别方法一种流程交互示意图；

图3示出了本申请实施例的一种卡证图像获取方法的流程示意图；

图4示出了本申请实施例的一种利用卡证检测模型实现卡证图像检测的示意图；

图5示出了本申请实施例的一种卡片图像检测区域的示意图；

图6示出了本申请实施例的一种获取属性标识方法的示意图；

图7示出了本申请实施例的一种字段检测模型的训练样本的标注示意图；

图8示出了本申请实施例的一种识别信息获取方法的流程示意图；

图9示出了本申请实施例的一种获取识别信息的场景示意图；

图10示出了本申请实施例的一种卡证信息识别网络的组成示意图；

图11示出了本申请实施例的一种对身份证信息的识别示意图；

图12示出了本申请实施例的一种卡证信息识别装置的结构示意图；

图13示出了本申请实施例的一种终端的组成结构示意图。

具体实施方式

本申请的方案中的卡证表征一类具有同一形状格式的证件，如较为常见的居民身份证、驾驶证、银行卡或者其他类似会员卡等卡片，用来记录各种资料或者表征用户在某个场景下的身份信息。并且卡证图片具有类似的特点，包括:卡证图片的文档结构固定化，比如身份证的每一个字段其相对位置都大致固定，银行卡中都包括银行卡号字段等；卡证图片的拍摄场景多样化，比如，拍摄终端、拍摄环境，以及拍摄角度都会变化多样，这些会使得最终获得的卡证图片的角度也成像多样化。其中，在本申请实施例中，对卡证信息进行识别是指对卡证外观上所记载的文字等相关信息的识别，可以包括对全部文字信息的识别，也可以包括对指定字段信息的识别。例如，对居民身份证上的文字信息进行识别，获得的识别结果可以包括身份证号码、姓名、性别和证件有效期等相关信息。对应的，若识别字段只包括姓名和身份证号码两个字段，则识别到的结果只包括姓名和身份证号这两个字段相对应的文字信息。

为了便于理解本申请的卡证信息识别方法，下面对于本申请的卡证信息识别方法所适用的系统进行介绍。参见图1，其示出了本申请一种卡证信息识别系统一种组成架构示意图。

如图1所示，本申请实施例提供的卡证信息识别系统，包括：终端10和服务器20。终端10与服务器20之间通过网络30实现通讯连接。

其中，终端10可以为手机、平板电脑等移动终端，也可以为具有图像采集部件的个人计算机等固定终端，如连接有摄像头的电脑。

在本申请实施例中，终端10可以通过其设置或者连接的摄像头等图像采集部件采集需要进行信息识别的卡证图像，并通过网络30将采集到的卡证图像传输给服务器20，使得服务器20获得待识别的卡证图像；终端10也可以通过其他方式将获取的卡证图像发送至服务器20，例如终端将其预存的卡证图像发送给服务器。

相应的，服务器20会识别终端10发送的卡证图像中的信息，例如识别卡证图像中所包含的字符串，并匹配该识别出的字符串对应的字段和字段内容的识别信息，在服务器20获得识别结果后，可以通过网络30将识别结果返回给终端10，以使得终端10可以输出该识别结果对应的识别信息。需要说明的是，在服务器获得识别信息后，可以对该识别信息进行记载，也可以将识别信息发送至指定目的终端。例如，将该卡证信息识别方法应用在银行柜台业务处理场景中时，卡证为银行卡，若终端为面向银行客户的终端，则终端采集到当前银行客户的银行卡图像后，并将银行卡图像发送给服务器，以使得服务器能够基于该银行卡图像获得识别信息，由于该银行客户需要基于当前银行卡进行相应的业务办理，则服务器会将识别信息发送至当前进行业务处理的柜员的终端上，使得当前柜员能够基于该识别信息对当前银行客户的业务请求进行处理。

在一种可能的情况中，为了减少终端传输图像所耗费的流量，终端10还可以在采集到待识别的卡证图像之后，从该图像中提取部分图像作为需要传输给服务器的目标图像，其中，该目标图像属于该终端采集到的图像的一部分。当然，在某些应用领域中，为了减少终端10的硬件成本，则终端10只具备图像采集的功能，则终端10会将采集到的图像直接发送给服务器20。为了提升服务器20信息识别的处理性能，可以由服务器20对采集到的图像进行初步处理，先获得目标图像，然后再进行对应的字符识别。

可选的，终端可以运行有应用，该应用用于与服务器建立通信连接，终端通过应用与服务器进行信息交互。

下面对终端与服务器之间的交互过程进行详细介绍。

如，参见图2，其示出了本申请一种卡证信息识别方法一个实施例的流程交互示意图，本实施例的方法可以包括：

S201、终端采集待检测的卡证图像。

S202、终端将卡证图像发送至服务器。

其中，终端在对卡证图像进行采集时，可以基于图像采集指令进行采集。该图像采集指令用于触发终端对待进行信息识别的卡证进行图像采集。即终端通过该图像采集指令利用终端的摄像头采集待识别的卡证的图像。例如，终端扫描或者拍摄卡证，获得卡证图像。

在一种可能的情况下，终端与服务器连接，在服务器生成图像采集指令之后，并将该图像采集指令发送给终端时，终端进行当前存在的卡证的图像采集。如，在进行身份信息登记时，服务器会与工作人员使用的第一终端进行交互，当工作人员通过第一终端发出图像采集指令至服务器时，服务器会将该图像采集指令转发至进行图像采集的第二终端，触发第二终端的图像采集指令进行身份证的图像采集。

在又一种可能的情况中，在终端的应用中启动卡证信息识别功能之后，应用会调用终端摄像头采集待识别的卡证的图像信息。此时的，图像采集指令可以是根据启动该应用产生的指令，也可以是用户在启动该应用后选择或者输入相应的指令信息，作为图像采集指令。

在终端对卡证图像进行采集时，也可以调用卡证定位模型，即通过卡证定位模型来确定卡证图像的位置，从而能够在拍摄或者采集到的图像中获得具有精准位置的卡证图像，具体的，卡证定位模型对卡证图像的定位过程和卡证定位模型的训练过程在下面的实施例中将进行详细说明。

S203、服务器检测卡证图像中的至少部分属性标识。

其中，属性标识可以表征卡证图像中的唯一属性信息，或者唯一属性信息的区域；也可以表征唯一属性信息中的部分信息，或者唯一属性信息区域对应的字区域。例如待识别卡证为身份证时，其属性标识可以为身份证号码，或者身份证号码所在的检测区域，也或者可以为身份证号码的前半部分字段。

对于具有相同格式的卡证类型，可以基于卡证的结构特征和信息布局来获取属性标识，例如，在同一银行的同一类型且具有银行卡芯片的银行卡，可以基于属性标识与银行卡中芯片位置的对应关系，来确定属性标识的位置，也可以根据属性标识的字符串长度来确定属性标识的位置，例如，在身份证中，其属性标识为身份证号码，该身份证号码是身份证中文字信息中最长的字符串，因此，可以识别身份证中最长的字符串的位置，该位置即为属性标识的位置。

但是，若应用上述方法确定卡证图像的属性标识，需要区分不同类型的卡证，或者在某个类型的卡证下还会有不同的子类型，这种进行特征位置的识别，会使得识别过程较慢，并且由于采用不同的识别模板进行识别，还会造成过程繁琐，准确率相对较低。

因此，在另一种可能的实现方式中，通过字段检测模型来检测得到属性标识，即利用该字段检测模型来检测卡证图像中的各个字段的位置，同时可以检测到目标字段，该目标字段表征该卡证图像中的唯一标识信息所在的字段，同时还可以检测得到目标字段的前部分字段，为了便于后续确定识别方向，优选地将目标字段的前部分字段作为属性标识。具体的，属性标识的检测过程及字段检测模型将在下面的实施例中进行详细说明。

S204、服务器依据属性标识，得到对待识别的卡证图像的识别方向。

由于该属性标识属于卡证图像的目标字段区域中的一部分，可以针对目标字段区域与属性标识对应的区域进行掩膜处理，从而根据属性标识区域的掩模图像的预测值与非属性标识对应的区域掩膜图像的预测值，确定目标区域的四个顶点坐标及坐标点顺序，进而可以确定当前目标字段的识别方向。由于卡证的字段的布局均采用同一书写顺序，在确定了目标字段的识别方向后，进而获得了卡证图像以及其他目标字段的识别方向。

上述确定卡证图像的识别方向，具有通用性，只要获得属性标识以及该属性标识所在字段，根据掩膜图像处理，得到识别方向，适用于不同类型的卡证图像。

当然，对应于具有特殊格式，且格式固定通用性强的卡证，也可以通过属性标识与特定特征的位置对的对应关系来确定识别方向。需要说明的是，若采用该技术手段，首先要确定卡证的类型和格式，才能进行后续的方向识别。例如，公民身份证是一类具有统一格式特征的卡件，在识别到其属性标识，即身份证号码，可以通过身份证号码与身份证照片之间的位置对应关系来确定识别方向。

由于卡证的属性标识是能够反映卡证信息的唯一标识，其结构通常会按照特定的格式进行编排。在本申请的又一种可能的实现中可以根据属性标识的编码结构，提取属性标识的相邻的一段字符串，然后根据该字符串的字符顺序和固定的编码顺序来确定卡证图像的识别方向。

S205、服务器依据识别方向对卡证图像进行识别，得到识别信息。

S206、服务器将识别信息发送至终端；

S207、终端输出识别信息。

在获得了识别方向后，可以根据该识别方向来调整获取的卡证图像的方向，例如，根据识别方向来对卡证图像进行对应角度的翻转，以使得翻转后的卡证图像呈现的文字是文字识别模型能够进行识别的方向。又或者，可以调整文字采集框的识别方向，使得文字采集框的识别方向与卡证图像的识别方向相匹配，这样可以采集到对应的文字信息。

在采集文字信息时，可以根据OCR(Optical Character Recognition，光学字符识别)算法来提取文字等字符信息。也可以根据字符识别模型来提取识别信息。

需要说明的是，在识别字符信息时可以对全部字符信息进行识别，也可以对某些预定的识别字段对应的字段内容的字符进行识别，以获得识别信息。

可见，在对待识别的卡证进行信息识别时，可以根据卡证图像的属性标识来获得该待识别的卡证图像的识别方向，然后依据识别方向对卡证图像进行识别，得到识别信息。这样可以使得无论卡证如何摆放，并且基于当前摆放角度采集到的卡证图像，均可以根据得到的识别方向，进行正确的字符识别，从而可以精准地处理任意角度拍摄的卡证，使得的识别过程简单，识别效率高，并且也提升了识别准确度。

对应的，在服务器获得了识别信息后，可以将识别信息发送至终端，使得终端能够输出该识别信息，也可以将识别信息发送至其他输出端。

在本申请实施例的一种可能的实现方式中，可以根据按照预定规则生成的图像采集区域，来采集卡证图像或者对采集到的卡证图像进行预处理。参见图3，其示出了一种卡证图像获取方法的流程示意图，该方法包括：

S301、获取待识别卡证的原始图像；

S302、对待识别卡证的原始图像进行特征区域识别，得到待识别卡证的中心区域；

S303、根据中心区域，生成原始图像的图像采集区域，图像采集区域包含属性标识；

S304、对原始图像的图像采集区域进行图像采集，得到待识别的卡证图像。

在该实施方式中，该方法可以应用在终端上，也可以应用在服务器上。若应用在终端上时，对应终端采集卡证图像的过程，若应用在服务器上，对应服务器处理终端上传的卡证图像的过程。

其中，对待识别卡证的原始图像进行特征区域识别时，特征区域可以表征根据卡证原始图像不同像素点的特征进行划分的区域，可以表征具有与特定属性字段具有特定位置关系的区域。然后在识别到各个特征区域后，可以得到待识别卡证的中心区域，该中心区域可以表征卡证图像中处于中心位置的区域，也可以表征卡证图像中字段集中的区域。

在得到了中心区域后，可以根据中心区域生成原始图像的图像采集区域，具体的，可以将中心区域进行扩展，得到图像采集区域，该图像采集区域包含属性标识。然后依据该图像采集区域进行图像采集，得到待识别的卡证图像。这样可以得到较为精准地待识别的卡证图像，能够解决现有技术中依据特征的卡证图像检测模板无法获得部分缺失的卡证的卡证图像的问题。

例如，基于现有技术中的模板匹配的方案进行信息识别时，通常要通过边缘检测算法，得到卡证的位置信息，若当某些卡证的边缘被遮挡或者残缺时，则无法根据现有技术的边缘检测算法得到卡证图像。而本申请的实施例中可以根据确定的中心区域生成图像采集区域，能够检测到卡证图像，使得即使在卡证不完整的情况下，也能定位出卡证的位置，从而得到卡证图像。

为了能够准确识别到卡证中的字符，也为了提升服务器对信息识别的效率。在本申请实施例中提供了一种卡证检测模型，该卡证检测模型是通过全卷积网络(FullyConvolutional Network，FCN)进行训练获得的。对应的，该卡证检测模型的训练方法如下：获取多张卡证图像，对每张卡证图像根据不同区域的像素特点进行区域坐标标注和属性类别标注，得到标注数据，将包括爆竹数据的多张卡证图像作为训练集。将训练集中的图像输入到FCN，由FCN输出所检测到的区域坐标和区域属性类别，根据输出的区域坐标和属性类别与标注数据的差异，对FCN的参数进行调整，最终得到训练好的FCN模型，即卡证检测模型。

参见图4，其示出了本申请实施例中的一种利用卡证检测模型实现卡证图像检测的示意图，在该实施例中以银行卡的卡证图像检测为例。在图4中，将待检测的银行卡图像401输入至卡证检测模型402中，其中，卡证检测模型402为根据全卷积神经网络训练得到的，银行卡图像401为包括干扰信息的图像信息，其中，干扰信息可以包括背景信息或者某些遮挡信息。在卡证检测模型402获得银行卡图像401后，会对图像进行检测，输出与银行卡图像相匹配的图像检测结果403，在该图像检测结果403中包括背景区域图像4031、中心区域图像4032和边缘区域图像4033。即通过卡证检测模型对输入的银行卡图像中的每一个像素点做判断，预测这个像素点是属于背景区域、中心区域还是边缘区域。

对应的，在训练该卡证检测模型时，也可以根据已知的图像区域位置得到真值掩膜(Mask)来进行模型优化。例如，真值掩膜的背景区域的类别设置为0，卡片中央区域的值被设置为1，卡片边缘区域的值被设置为2，可以使用损失函数(如cross-entropy loss，交叉熵)来优化该卡片检测模型中的全卷积神经网络。损失函数用来表示预测值与答案的差距，在训练神经网络时，通过不断改变神经网络中所有的参数，使得损失函数不断减小，从而训练出更准确的神经网络模型。可以根据已知的图像区域位置得到真值掩膜获得掩膜图像，其中，掩膜图像是用于对待处理图像进行掩膜处理的特定图像，也可以被看作模板。具体地，数字图像处理中，掩膜图像可以为二维矩阵数组，或者多值图像。具体地，服务器可以根据中心区域和非中心区域生成相应的掩膜图像，用来分割待识别的卡证图像的中心区域，得到卡证图像。在一种可能的实现方式中，可以将非中心区域标记为0，将中心区域标记为1，可以得到包括上述非中心区域和中心区域的标记值的掩膜图像，也就是0和1组成的二维矩阵数组。图像掩膜处理时用选定的图像、图形或物体，对待识别的卡证图像进行遮挡，来控制图像处理的区域或处理过程。具体地，可按照掩膜图像，对待识别的卡证图像进行掩膜处理，遮挡非中心区域，得到包括中心区域中像素的中心区域图像。

在另一种实现方式中，对于存在干扰信息的卡证图像，也可以通过对卡证图像的像素点进行判断，来预测当前卡证图像中的每一个像素点是不是属于该卡证的某个区域。

例如，根据卡证图像的类别信息，计算每个类别的卡证的像素点的像素值信息，当识别到卡证中某个区域的像素点的像素值与该区域的基准像素值相匹配，则将该区域确定为基准像素值相匹配的区域，从而识别出该卡证的各个区域。

在对卡证进行检测后，获得卡证的各个区域后，可以根据识别到的区域，确定图像检测区域。在确定图像检测区域时，可以根据要识别的字段信息来确定，通常卡证的关键信息一般会集中在卡证的中心区域，所以会根据检测到的中心区域来确定图像检测区域，这样可以滤除掉边缘区域，在后续字符识别过程中，识别效率更高。

例如，参见图5，其示出了一种卡片图像检测区域的示意图。通过对卡证中心区域的掩膜取连通域，得到连通域501，即可得到该卡证中心区域的外接四边形502，通过将该四边形进行外扩，即可得到准确的卡片图像检测框503。

在获得了卡片检测框503后，利用卡片检测框503对采集的待识别卡证的原始图像进行检测，获得目标图像，该目标图像为待进行识别的卡证图像。

需要说明的是，通过卡证检测模型还可以处理拍摄到的图像为多张卡证具有重叠区域的图像。如，对若干个卡证的卡证信息进行信息识别时，通常为了便于快速的识别，会使得卡证是以堆叠的方式进行排放，从上至少下逐个进行识别，可能会存在下一张卡有部分信息裸露在上一张的下面，这样拍摄到的卡证图像中某个字段可能是来自不同卡的重复字段。针对这种场景，在本申请实施例中提供了一种实施方式：

对所述待识别卡证的原始图像进行特征区域识别，获得若干个特征子区域；

如果在所述若干个特征子区域中筛选到与所述待识别卡证相匹配的一组目标特征子区域，在所述目标子特征区域中获取所述待识别卡证的中心区域。

通过卡证检测模型，获得若干个特征子区域后，需要筛选出与待识别卡证相匹配的一组目标特征自区域，该目标特征子区域中包括背景区域、边缘区域和中心区域，且各个区域具有相邻或者能够进行连接的分界线或者坐标点，这样可以保证确定中心区域为待识别卡证的中心区域，后续依据中心区域扩展到的图像采集区域能够采集到当前待识别卡证的相关字段，避免其他堆叠卡证图像的影响。

参见图6，其示出了本申请实施例中一种获取属性标识方法的示意图，在该实施例中是通过字段检测模型来获得属性标识的。以银行卡为例，将卡证图像601输入至字段检测模型602，得到卡证图像的字段检测结果，在图6字段检测结果中包括了银行卡的有效期字段区域603，银行卡卡号区域604，卡号前半部分区域605。

需要说明的是，在银行卡的卡证图像字段检测过程中，目标字段区域即为银行卡卡号区域，属性标识即为卡号前半部分区域。

字段检测模型实现了定位卡证图像中的各个字段在卡证中的相对位置，且能够根据得到的目标字段区域和属性标识区域确定文字的识别方向。

字段检测模型是根据样本卡证图像，对全卷积神经网络进行训练得到的。需要说明的是，在本申请的训练样本是针对不同拍摄角度或者放置角度获得的大量的卡证图像，且在每个卡证图像中标注了各个字段区域检测框、目标字段区域位置、属性标识位置。这样可以基于神经网络的学习，能够学习到各个卡证图像的特征。从而对于每一幅输入至字段检测模型中的卡证图形，均可获得其字段位置和属性标识。

为了提高检测效率，在本申请实施例中还提供了一种通过字段检测模型来定位字段位置，从而预测文字字段方向的方法。该字段检测模型的样本卡证图像包括若干个不同角度的卡证图像，且在所述样本卡证图像中标注了字段区域检测框、目标字段区域和目标字段区域的属性标识。

参见图7，其示出了字段检测模型的训练样本的标注示意图。以银行卡为例，图(a)示出了通常方向即水平放置银行卡对应的卡证图像701，图(b)为示出了将水平方向的银行卡顺时针翻转90度对应的卡证图像702，图(c)示出了将水平方向的银行卡顺时针翻转180度对应的卡证图像703，图(d)示出了将水平方向的银行卡顺时针翻转某个任意角度对应的卡证图像704，在卡证图像中实线框表示的是对当前卡证图像各个字段的标注，虚线框表示的是对属性标识的标注，即对银行卡号前半部分的标注。

在对全卷积神经网络模型进行训练时，可以基于训练样本中已知各个字段的位置生成对应的掩膜真值，并使用分类损失函数进行优化，其中，分类函数包括但不局限于BCEloss、Dice loss等。

因此，基于上述训练样本得到的字段检测模型对银行卡的卡证图像进行检测，可以检测到对应的银行卡的卡号字段、卡号前半部分字段以及其他字段区域，如有效期字段区域。

具体的对于每一个检测得到的掩膜，可以通过计算连通域算法得到各个连通域，然后对每一个连通域最小外接矩形可得到各个字段的检测框。通过预测的检测框以及前部分框即可判定银行卡或字段的方向。

对应的，在本申请实施例提供的一种可能实现方式中，根据所述属性标识，确定所述目标字段区域的属性标识区域和非属性标识区域；基于所述属性标识区域和非属性标识区域生成掩膜图像；按照所述掩膜图像，对所述目标字段区域的图像进行图像掩膜处理，得到待识别的卡证图像的识别方向。

仍以图6中例子进行说明，属性标识区域即为银行卡卡号前半部分区域，可将卡号前半部分区域标记为1，将卡号区域中的非前半部分区域标记为0。就可以得到包括1和0的掩膜图像，也就是0和1组成的二维矩阵数组，这样可以根据掩膜图像中的值，确定卡号位置的四个顶点坐标及坐标顺序，从而确定卡号字段的识别方向。也可以理解为从1到0的方向记为卡号的识别方向。进而可以根据识别方向将卡号检测框的坐标转换为正常识别的坐标顺序，使得检测到的字段区域在输入到文字或者字符识别模型中的坐标顺序满足其识别规则。

若不采用字段检测模型获得属性标识，需要对每个卡证图像进行特征识别。即由于卡证图像中包含多个字段，并且每个字段的属性含义不同，因此各个字段满足的字段格式不同，可以根据预设字段格式，来提取所述字段信息中的至少部分属性标识。例如，预设字段格式可以表征字符串最长的字段，因此，可以将卡证图像中字符串最长的字段内容作为属性标识，具体的，在确定属性标识后也可以提取其中的部分信息。

在通过字段检测模型检测得到了各个字段具体位置之后，会将字段检测模型得到的检测结果输入值文字识别模型中，得到识别结果。该文字识别模型是根据OCR(OpticalCharacter Recognition，光学字符识别)技术得到的，识别获得与卡证图像对应的全部字符信息。

但是通常获取字符信息时会根据不同字段的格式及最终输出结果的要求，有不同的识别要求。在本申请的另一实施例中还提供了一种识别信息获取方法，参见图8，其示出了一种识别信息获取方法的流程示意图，该方法包括：

S801、依据识别方向对卡证图像进行识别，得到初始识别信息；

其中，初始识别信息包括字段和与所述字段匹配的字段内容；

S802、对初始识别信息进行信息提取，获得识别信息.

所述识别信息表征与目标待识别字段相匹配的字段内容。

在实施方式中可以滤除掉无关字段或信息。参见图9，其示出了一种获取识别信息的场景示意图。该应用场景对应于社区信息管理系统对社区住户的社会保证卡的信息进行采集的场景。信息采集终端901需要获取的采集信息字段包括：姓名、社会保障卡号码和有效期字段。利用现有技术识别到的姓名字段的字段内容为“姓名张三”，若直接将该识别内容上传至信息采集终端901的信息记录页面中，会出现记录的信息为“姓名姓名张三”这种不符合信息记录的格式，且需要对多余字段进行删除。而在本申请实施例中，可以对待识别的社保卡图像902直接根据目标待识别字段“姓名”从识别到的内容中，提取该字段的字段内容“张三”上传至信息采集终端901，避免了识别信息的再次处理，节省了处理时间。

下面以一种具体的实施方式对本申请提供的卡证信息识别方法进行说明。当对卡证图像进行信息识别时，可以通过三个神经网络进行处理，包括卡证定位网络1001、字段定位网络1002和识别网络1003。其中，卡证定位网络1001，用于检测卡证，且将非水平方向的卡证旋转至水平方向，即该卡证定位网络实现了对卡证图像的检测；字段定位网络1002可以实现定位各个字段在卡证中的相对位置，且获取预测文字字段方向；识别网络1003，用于识别检测到的各个字段的内容，获得了识别信息。上述网络的具体实现过程请参见上述实施例中的具体描述，此处不做赘述。用该实施例中的三个神经网络进行处理，可以使得处理过程更加简单且提升了处理效率和精度。

在本申请的实施例中的另一种检测属性标识的实施方式可以包括：

确定待识别的卡证图像的目标区域；

根据待识别的卡证图像中的字段与目标特征区域的位置对应关系，在待识别的卡证图像的字段中得到至少部分属性标识。

例如，参见图11，其示身份证信息的识别示意图。获取身份证识别的卡证图像1101，该卡证图像1101表征身份证正面的图像，由于在该卡证图像1101中包括居民的身份证照片1102，以其作为识别的基准，在与身份证照片1102距离最近的且最长的字符串为属性标识，即该属性标识公民身份证号码1103，然后确定与该身份证照片1102距离最近的身份证号码的一端的字段，即该身份证号码1103的末尾字段1104，然后由该末尾字段1104的最端点的字符指向身份证号码的另一端的方向的反方向作为识别方向1105，然后基于该识别方向，获得识别信息1106，对应的识别信息1106可以包括：姓名字段及内容、性别字段及内容、民族字段及内容、出生日期字段及内容、住址字段及内容、公民身份证号码字段及内容。

又一方面，本申请还提供了一种卡证信息识别装置，如参见图12，其示出了本申请一种卡证信息识别装置一个实施例的组成示意图，本实施例的装置可以应用在终端或者服务器，该装置可以包括：

图像获取单元1201，用于获取待识别的卡证图像；

标识检测单元1202，用于检测所述卡证图像中的至少部分属性标识；

方向获取单元1203，用于根据所述属性标识，得到所述待识别的卡证图像的识别方向；

信息识别单元1204，用于依据所述识别方向对所述卡证图像进行识别，得到识别信息。

在一种可能的情况中，所述图像获取单元，包括：

图像获取子单元，用于获取待识别卡证的原始图像；

区域识别子单元，用于对所述待识别卡证的原始图像进行特征区域识别，得到所述待识别卡证的中心区域；

区域生成子单元，用于根据所述中心区域，生成所述原始图像的图像采集区域，所述图像采集区域包含所述属性标识；

图像采集子单元，用于对所述原始图像的图像采集区域进行图像采集，得到待识别的卡证图像。

可选地，所述标识检测单元具体用于：

将所述卡证图像输入至字段检测模型，得到所述卡证图像的字段区域和目标字段区域的属性标识，其中，所述目标字段区域表征具有预设字段格式的字段区域，所述属性标识表征所述目标字段区域的前部分字段区域。

在一种可能的实现方式中，该装置还包括：

样本获取单元，用于获取样本卡证图像，所述样本卡证图像包括若干个不同角度的卡证图像，且在所述样本卡证图像中标注了字段区域检测框、目标字段区域和目标字段区域的属性标识；

网络训练单元，用于通过所述样本卡证图像对全卷积神经网络进行训练，得到字段检测模型。

可选地，所述方向获取单元具体用于：

根据所述属性标识，确定所述目标字段区域的属性标识区域和非属性标识区域；

基于所述属性标识区域和非属性标识区域生成掩膜图像；

按照所述掩膜图像，对所述目标字段区域的图像进行图像掩膜处理，得到待识别的卡证图像的识别方向。

可选地，所述信息识别单元包括：

初始信息识别子单元，用于依据所述识别方向对所述卡证图像进行识别，得到初始识别信息，所述初始识别信息包括字段和字段内容；

信息提取子单元，用于对所述初始识别信息进行信息提取，获得识别信息，所述识别信息表征与目标待识别字段相匹配的字段内容。

在一种可能的实现方式中，所述区域识别子单元具体用于：

对所述待识别卡证的原始图像进行特征区域识别，获得若干个特征子区域；

如果在所述若干个特征子区域中筛选到与所述待识别卡证相匹配的一组目标特征子区域，在所述目标子特征区域中获取所述待识别卡证的中心区域。

在又一种可能的实现方式中，所述标识检测单元还包括：

目标区域确定子单元，用于确定所述待识别的卡证图像的目标特征区域；

标识信息获取子单元，用于根据所述待识别的卡证图像中的字段与所述目标特征区域的位置对应关系，在所述待识别的卡证图像的字段中得到至少部分属性标识。

另一方面，本申请还提供了一种终端，如参见图13，其示出了本申请的终端的一种组成结构示意图，本实施例的终端1300可以包括：处理器1301和存储器1302。

可选的，该终端还可以包括通信接口1303、输入单元1304和显示器1305和通信总线1306。

处理器1301、存储器1302、通信接口1303、输入单元1304、显示器1305、均通过通信总线1306完成相互间的通信。

在本申请实施例中，该处理器1301，可以为中央处理器(Central ProcessingUnit，CPU)，特定应用集成电路，数字信号处理器、现成可编程门阵列或者其他可编程逻辑器件等。

该处理器可以调用存储器1302中存储的程序。具体的，处理器可以执行以下消息发送方法的实施例中应用服务器侧所执行的操作。

存储器1302中用于存放一个或者一个以上程序，程序可以包括程序代码，所述程序代码包括计算机操作指令，在本申请实施例中，该存储器中至少存储有用于实现以下功能的程序：

获取待识别的卡证图像；

检测所述卡证图像中的至少部分属性标识；

根据所述属性标识，得到所述待识别的卡证图像的识别方向；

依据所述识别方向对所述卡证图像进行识别，得到识别信息。

在一种可能的实现方式中，该存储器1302可报考存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及至少一个功能(比如图像采集功能等)所需的应用程序；数据存储区可根据计算机的使用过程中所创建的数据，比如，卡证检测模型的相关数据等等。

此外，存储器1302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如，至少一个磁盘存储器件或其他易失性固态存储期间。

该通信接口1303可以为通信模块的接口，如GSM模块的接口。

本申请还可以包括显示器1304和输入单元1305等等。

当然，图13所示的终端的结构并不构成对本申请实施例中终端的限定，在实际应用中终端可以包括比图13所示的更多或更少的部件，或者组合某些部件。

另一方面，本申请实施例还提供了一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上任意一个实施例中服务器侧所执行的卡证信息识别方法。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种卡证信息识别方法，其特征在于，该方法包括:

获取待识别的卡证图像；

检测所述卡证图像中的至少部分属性标识；

根据所述属性标识，得到所述待识别的卡证图像的识别方向；

依据所述识别方向对所述卡证图像进行识别，得到识别信息。

2.根据权利要求1所述的方法，其特征在于，所述获取待识别的卡证图像，包括：

获取待识别卡证的原始图像；

对所述待识别卡证的原始图像进行特征区域识别，得到所述待识别卡证的中心区域；

根据所述中心区域，生成所述原始图像的图像采集区域，所述图像采集区域包含所述属性标识；

对所述原始图像的图像采集区域进行图像采集，得到待识别的卡证图像。

3.根据权利要求1所述的方法，其特征在于，所述检测所述卡证图像中的至少部分属性标识，包括：

将所述卡证图像输入至字段检测模型，得到所述卡证图像的字段区域和目标字段区域的属性标识，其中，所述目标字段区域表征具有预设字段格式的字段区域，所述属性标识表征所述目标字段区域的前部分字段区域。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

获取样本卡证图像，所述样本卡证图像包括若干个不同角度的卡证图像，且在所述样本卡证图像中标注了字段区域检测框、目标字段区域和目标字段区域的属性标识；

通过所述样本卡证图像对全卷积神经网络进行训练，得到字段检测模型。

5.根据权利要求3所述的方法，其特征在于，所述根据所述属性标识，得到待识别的卡证图像的识别方向，包括：

根据所述属性标识，确定所述目标字段区域的属性标识区域和非属性标识区域；

基于所述属性标识区域和非属性标识区域生成掩膜图像；

按照所述掩膜图像，对所述目标字段区域的图像进行图像掩膜处理，得到待识别的卡证图像的识别方向。

6.根据权利要求1所述的方法，其特征在于，所述依据所述识别方向对所述卡证图像进行识别，得到识别信息，包括：

依据所述识别方向对所述卡证图像进行识别，得到初始识别信息，所述初始识别信息包括字段和字段内容；

对所述初始识别信息进行信息提取，获得识别信息，所述识别信息表征与目标待识别字段相匹配的字段内容。

7.根据权利要求2所述的方法，其特征在于，所述对所述待识别卡证的原始图像进行特征区域识别，得到所述待识别卡证的中心区域，包括：

对所述待识别卡证的原始图像进行特征区域识别，获得若干个特征子区域；

如果在所述若干个特征子区域中筛选到与所述待识别卡证相匹配的一组目标特征子区域，在所述目标子特征区域中获取所述待识别卡证的中心区域。

8.根据权利要求1所述的方法，其特征在于，所述检测所述卡证图像的至少部分属性标识，包括：

确定所述待识别的卡证图像的目标特征区域；

根据所述待识别的卡证图像中的字段与所述目标特征区域的位置对应关系，在所述待识别的卡证图像的字段中得到至少部分属性标识。

9.一种卡证信息识别装置，其特征在于，该装置包括：

图像获取单元，用于获取待识别的卡证图像；

标识检测单元，用于检测所述卡证图像中的至少部分属性标识；

方向获取单元，用于根据所述属性标识，得到所述待识别的卡证图像的识别方向；

信息识别单元，用于依据所述识别方向对所述卡证图像进行识别，得到识别信息。

10.一种终端，其特征在于，包括：

处理器和存储器；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中存储的程序，所述程序至少用于：

获取待识别的卡证图像；

检测所述卡证图像中的至少部分属性标识；

根据所述属性标识，得到对所述待识别的卡证图像的识别方向；

依据所述识别方向对所述卡证图像进行识别，得到识别信息。