CN111639648A - 证件识别方法、装置、计算设备和存储介质 - Google Patents

Abstract

本申请公开了一种证件识别方法、装置、计算设备和存储介质，该方法包括：检测待识别的证件图像中的至少一个字符块；识别所述至少一个字符块的各个字符，得到各所述字符块的字符识别结果；将所述至少一个字符块以及各所述字符块的字符识别结果，与所述证件图像对应的版面结构信息进行匹配；基于匹配结果，确定所述证件图像的各证件要素对应的要素内容。由此，可以避免光线、背景、分割误差等的不利影响，为保障证件识别准确性提供支持。

Description

证件识别方法、装置、计算设备和存储介质

技术领域

本申请涉及图像分析技术领域，特别涉及一种证件识别方法、装置、计算设备和存储介质。

背景技术

身份证是用于证明持有人身份的证件，多由各国或地区政府授予公民。作为一种重要的身份证明证件，其在公民的实际生活与工作选当中起着非常重要的作用，例如，在公民办理户口登记、婚姻登记、入学、就业、办理公证事务、前往边境管理区、办理申请出境手续等等过程中，提交身份证明材料就是不可或缺的重要步骤。

目前主要的应用场景下，是通过使用身份证读卡器读取身份证内部芯片，来完成对公民的身份证件的识别。然而，读卡器核心芯片造价昂贵，成本较高。为此，业内提出了诸如对身份证图像进行处理和识别的方案。然而当前的身份证图像识别的方案，往往是采用阈值分割、投影法分割等技术，而该方法抗干扰能力较差，在诸如影响下，鲁棒性较差，识别效果也得不到保障。

因此，如何改进证件识别方案，以为保障识别准确性提供支持，仍为亟需解决的重要问题。

发明内容

本申请的目的是提供一种证件识别方法、装置、计算设备和存储介质，以为保障证件识别准确性提供支持。

第一方面，本申请提供了一种证件识别方法，所述方法包括：

检测待识别的证件图像中的至少一个字符块；

识别所述至少一个字符块的各个字符，得到各所述字符块的字符识别结果；

将所述至少一个字符块以及各所述字符块的字符识别结果，与所述证件图像对应的版面结构信息进行匹配；

基于匹配结果，确定所述证件图像的各证件要素对应的要素内容。

在一个实施例中，检测待识别的证件图像中的至少一个字符块，包括：

对所述证件图像进行目标检测，得到至少一个检测框，其中，所述检测框用于标记包含文本的图像块；

针对每个检测框，基于所述检测框的长宽比信息放大所述检测框，并将放大后的检测框所标记的图像块作为所述字符块。

在一个实施例中，所述字符识别结果包括每个字符块包含的各个字符；将所述至少一个字符块以及各所述字符块的字符识别结果，与所述证件图像对应的版面结构信息进行匹配，包括：

基于所述字符识别结果，确定包含所述版面结构信息描述的证件要素的字符块；

将包含证件要素的字符块的位置信息，与所述版面结构信息描述的证件要素的位置信息进行匹配。

在一个实施例中，基于匹配结果，确定所述证件图像的各证件要素对应的要素内容，包括：

若位置信息匹配成功，则基于所述包含证件要素的字符块，将满足第一条件的字符块的字符识别结果作为相应证件要素的要素内容，

其中，所述第一条件包括下述至少一项：

包含所述证件要素；

与包含所述证件要素的字符块在行方向上相邻；

与包含所述证件要素的字符块在列方向上的距离小于预设距离阈值。

在一个实施例中，所述证件要素包括第一要素和至少一个第二要素，所述版面结构信息描述所述第一要素的要素内容的校验规则，以及所述至少一个第二要素的要素内容分别与所述第一要素的部分要素内容的对应关系；

将满足第一条件的各字符块的字符识别结果作为相应各证件要素的要素内容之前，所述方法还包括：

确定对应于所述第一要素的要素内容的第一字符符合所述校验规则；以及

基于所述对应关系，确定对应于所述至少一个第二要素的要素内容的第二字符，与所述第一字符相匹配。

在一个实施例中，所述字符识别结果还包括识别出的每个字符的概率，

若所述第一字符不符合所述校验规则，则基于所述预设的对应关系，确定对应于所述至少一个第二要素的要素内容的第二字符，与所述第一字符相匹配，还包括：

若所述第一字符的概率大于或等于所述第二字符的概率，则将所述第二字符变更为所述第一字符；

若所述第一字符的概率小于或等于所述第二字符的概率，则保持所述第二字符不变。

在一个实施例中，将所述第二字符变更为所述第一字符之前，所述方法还包括：

确定所述第一字符与所述第二字符不匹配。

第二方面，本申请实施例提供了一种证件识别装置，所述装置包括：

检测单元，用于检测待识别的证件图像中的至少一个字符块；

识别单元，用于识别所述至少一个字符块的各个字符，得到各所述字符块的字符识别结果；

匹配单元，用于将所述至少一个字符块以及各所述字符块的字符识别结果，与所述证件图像对应的版面结构信息进行匹配；

要素内容确定单元，用于基于匹配结果，确定所述证件图像的各证件要素对应的要素内容。

在一个实施例中，所述检测单元具体用于：

对所述证件图像进行目标检测，得到至少一个检测框，其中，所述检测框用于标记包含文本的图像块；

针对每个检测框，基于所述检测框的长宽比信息放大所述检测框，并将放大后的检测框所标记的图像块作为所述字符块。

在一个实施例中，所述字符识别结果包括每个字符块包含的各个字符；所述匹配单元具体用于：

基于所述字符识别结果，确定包含所述版面结构信息描述的证件要素的字符块；

将包含证件要素的字符块的位置信息，与所述版面结构信息描述的证件要素的位置信息进行匹配。

在一个实施例中，所述要素内容确定单元具体用于：

若位置信息匹配成功，则基于所述包含证件要素的字符块，将满足第一条件的字符块的字符识别结果作为相应证件要素的要素内容，

其中，所述第一条件包括下述至少一项：

包含所述证件要素；

与包含所述证件要素的字符块在行方向上相邻；

与包含所述证件要素的字符块在列方向上的距离小于预设距离阈值。

在一个实施例中，所述证件要素包括第一要素和至少一个第二要素，所述版面结构信息描述所述第一要素的要素内容的校验规则，以及所述至少一个第二要素的要素内容分别与所述第一要素的部分要素内容的对应关系；所述要素内容确定单元还用于：

将满足第一条件的各字符块的字符识别结果作为相应各证件要素的要素内容之前，确定对应于所述第一要素的要素内容的第一字符符合所述校验规则；以及

基于所述对应关系，确定对应于所述至少一个第二要素的要素内容的第二字符，与所述第一字符相匹配。

在一个实施例中，所述字符识别结果还包括识别出的每个字符的概率，若所述第一字符不符合所述校验规则，所述要素内容确定单元还用于：

若所述第一字符的概率大于或等于所述第二字符的概率，则将所述第二字符变更为所述第一字符；

若所述第一字符的概率小于或等于所述第二字符的概率，则保持所述第二字符不变。

在一个实施例中，所述要素内容确定单元还用于：

将所述第二字符变更为所述第一字符之前，确定所述第一字符与所述第二字符不匹配。

第三方面，本申请另一实施例还提供了一种计算装置，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例提供的任一证件识别方法。

第四方面，本申请另一实施例还提供了一种计算机存储介质，其中，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行本申请实施例中的任一证件识别方法。

本申请实施例的证件识别方案，通过对证件图像进行字符块检测，并对所检测到的字符块进行内容识别，利用版面分析方法，将检测到的字符块以及识别出的字符信息进行综合分析处理得到证件要素对应的要素内容，可以避免光线、背景等的不利影响而导致的误差，同时可以避免字符分割不准确而为后续字符识别造成的误差，从而保障证件识别的准确性。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本申请一个实施例的应用环境的示意图；

图2为根据本申请一个实施例的证件识别方法的示意图；

图3A-图3B为根据本申请一个实施例的证件图像的例子；

图4为根据本申请一个实施例的证件识别流程的示意图；

图5为根据本申请一个实施例的证件识别装置的示意图；

图6为根据本申请一个实施例的计算设备的示意图。

具体实施方式

目前，主要的应用场景下，是通过使用身份证读卡器读取身份证内部芯片，来完成对公民的身份证件的识别。然而，读卡器核心芯片造价昂贵，成本较高。为此，业内提出了诸如对身份证图像进行处理和识别的方案。

例如，方案1中，通过采集身份证图像，将采集的身份证图像进行预处理，对预处理后的图像进行定位分割，对定位分割后的图像进行识别。

又例如，方案2中，通过对待识别的初始身份证图像进行预处理，生成目标身份证图像；依据身份证信息在身份证上的位置分布，对所述目标身份证图像进行水平投影和垂直投影，根据投影结果对所述目标身份证图像进行字符分割；对分割得到的字符进行识别，根据识别结果生成身份证信息。

又例如，方案3中，首先由摄像头获取二代身份证图像，并对二代身份证图像进行灰度计算和二值化处理获取二值图像数据，再对二值图像数据进行水平投影获取各个黑色图块，根据黑色图块首先获取公民身份号码信息区域，并根据预设的二代身份证模板获取姓名信息区域和住址信息区域。

又例如，方案4中，通过图像传感器获取身份证图像，然后使用人脸检测单元提取身份证图像中人脸信息，然后再通过字符分割提取单元分割和提取身份证图像中字符信息；然后通过字符识别单元识别字符，最后通过显示单元显示识别结果。

又例如，方案5中，通过获取身份证图像；对所述身份证图像进行图像切割处理，提取至少一有用信息区域图像；对所述有用信息区域图像进行二值化处理，获得二值化图像；对所述二值化图像进行文字识别处理，提取有用身份信息。

然而，由于背景干扰、身份证污损、光线不均匀等因素的影响，当前对身份证图像的识别所采用的诸如阈值分割方法、投影法分割等来进行字符行分割与字符分割，鲁棒性差，在身份证污损、光线不均匀等情况下无法保障识别效果，导致身份证识别结果难以达到较高的鲁棒性和准确性。

随着深度学习技术的理论发展与计算能力的提升，深度学习技术逐渐应用于诸多领域。本申请提出了一种证件识别方案，通过结合深度学习技术以改进证件识别算法。其中，用于进行证件识别的证件识别系统，例如可以是多种基于深度学习的神经网络模型的结合，例如包括目标检测模型、字符识别模型、版面分析模型、结果校验模型等。实施时，可以根据业务需要训练不同的模型，在识别流程中，待识别的证件图像可以逐一通过上述神经网络模型，并得到最终输出的识别结果，从而实现对证件识别系统的整体识别效果的有效改进，以期使证件识别达到较高的鲁棒性和准确性。

证件识别时，该证件识别方案，可以通过例如目标检测算法对证件图像进行检测字符块，并基于不定长文本识别方法对所检测到的字符块进行字符识别，基于预先设计相应的版面分析逻辑，利用版面分析方法，将检测到的字符块以及识别出的字符信息进行综合分析处理得到证件要素对应的要素内容，可以避免光线、背景等的不利影响而导致的误差，同时可以避免字符分割不准确而为后续字符识别造成的误差，从而保障证件识别的准确性。本方案还能够对识别出的部分要素内容进行校验，进一步保障证件识别的准确性。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

图1为根据本申请一个实施例的应用环境的示意图。

如图1所示，该应用环境中可以包括服务器20和终端设备10。终端设备10可以经由网络40实现与服务器20的信息收发。服务器20可以通过访问数据库30来获取终端设备10所需的内容。终端设备之间(例如，10_1与10_2或10_N之间)也可以经由网络40彼此通信。网络40可以是广义上的用于信息传递的网络，可以包括一个或多个通信网络，诸如无线通信网络、因特网、私域网、局域网、城域网、广域网或是蜂窝数据网络等。在一个实施例中，网络40也可以包括卫星网络，由此将终端设备10的GPS信号传送给服务器20。

应当注意，如果向图示环境中添加附加模块或从其中去除个别模块，不会改变本发明的示例实施例的底层概念。另外，虽然为了方便说明而在图中示出了从数据库30到服务器20的双向箭头，但本领域技术人员可以理解的是，上述数据的收发也是可以通过网络40实现的。

终端设备10是可用来进行网络访问的任何合适的电子设备，包括但不限于计算机、笔记本电脑、智能电话、平板电脑或是其它类型的设备。服务器20则是能够通过网络访问的提供交互服务所需信息的任何服务器。并且在随后的描述中会选择其中的一个或部分终端设备加以描述(例如，终端设备10-1)，但是本领域技术人员应该理解的是，上述1…N个终端设备旨在表示真实网络中存在的大量终端，示出的单个服务器20和数据库30旨在表示本申请的技术方案可以涉及服务器及数据库的操作。对特定编号的终端设备以及单个服务器和数据库加以详述至少为了说明方便，而非暗示对终端和服务器的类型或是位置等具有限制。

在一个实施例中，上述服务器20和/或终端设备10中可以配置有用于证件识别系统，该证件识别系统能够执行本申请的证件识别方案。其中，该证件识别系统，可以配置在终端设备侧，也可以配置在服务器侧，或者还可以部分功能模块配置在终端设备侧部分功能模块配置在服务器侧，本申请对此不做限制。

该证件识别系统可以被配置为对身份证图像进行识别。证件识别系统可以是预先针对“身份证”这一类型的证件进行相关算法或者版面分析逻辑或者信息校验逻辑的配置。应当理解的是，身份证识别仅是本申请的一种可行的应用场景而非任何限定，在其它实施例中，本申请的证件识别方案还可以被配置为用于识别多种不同的证件，例如驾驶证、居住证等，本申请对此不做限制。实施时，可以针对每种类型的证件，训练得到相应的深度学习模型以及配置相应的版面分析逻辑和信息校验逻辑，以便实现对不同证件的准确识别，在此不再赘述。

实施时，可以首先通过图像采集设备(例如摄像头或者图像采集传感器或是其它设备)采集待识别的证件图像，或者从相关存储介质中获取待识别的证件图像。所获取的证件图像能够被提供给配置有该证件识别系统的服务器和/或终端设备，以实现证件识别，获取到证件的各证件要素的要素内容，例如身份证明信息。其中，图像采集设备也可以是终端设备自身的图像采集模块(例如摄像头)，或者，图像采集设备与服务器或者终端设备之间可以以有线或无线的方式进行通信并进行数据传输，本申请对此不做限制。

以下，将结合实施例以及方法流程图详细说明本申请的证件识别方法的细节。其中，在具体描述时，将以“身份证”作为证件的一个例子进行介绍。

图2为根据本申请一个实施例的证件识别方法的示意图。图3A-图3B为根据本申请一个实施例的证件图像的例子。

如图2所示，在步骤S210，检测待识别的证件图像中的至少一个字符块。

本申请实施例中，可以采用目标检测算法对证件图像进行目标检测，以检测得到至少一个检测框，该检测框用于标记包含文本的图像块，所标记的图像块即为检测到的字符块。例如图3A所示，以虚线框作为检测框，标识针对身份证图像300进行目标检测得到的多个字符块31_1、31_2、…31_11。应当理解的是，由于本申请实施例中是以检测框标记字符块，因此可以认为在下文实施例以及各图中，“检测框”等同于“字符块”。

实施时，例如可以预先训练目标检测模型，并使用已训练的目标检测模型检测得到证件图像的至少一个字符块。其中，用于进行模型训练的训练样本中可以包括用于进行训练的样本图像，以及关于样本图像中的文本的标注。通过训练样本迭代训练目标检测模型，直至训练满足相关的要求(例如模型收敛或是误差达到预定要求，本申请对此不做限制)。另外，所准备的样本图像还可以包括诸如背景干扰、光线不均匀、图像污损等因素影响的图像，以提高目标检测模型的准确性，在此不再赘述。

另外，由于在实际应用中所存在的多种复杂的情况，例如针对不同民族、不同人员的身份证件，证件版面存在各证件要素的要素内容所包含的字符的规格并不一致的问题，有些要素内容包含的字符较少，有些要素内容包含的字符较多。

例如，对于身份证，“姓名”要素对应的要素内容可能包含2-4个字符，例如张三、王小八、李王小四。“性别”要素对应的要素内容包含单个字符，例如男、女；民族”要素对应的要素内容可能包含1-4个字符，例如汉、蒙古、维吾尔、乌孜别克；“住址”要素对应的要素内容包含更多个字符，可能分布在两行。

因此，为保障证件识别效果，避免因单个字符所占区域面积较小而导致漏检字符的可能，本申请实施例的目标检测模型还可以被训练为，在标记到的包含文本的图像块的面积(图像块的面积可以用标记该图像块的检测框的面积表示)小于或等于预定面积阈值时(例如单个字符所占的图像区域面积)，将标记该图像块的检测框，与该检测框在行方向上最近邻的检测框合并为一个检测框。或者，本申请实施例的字符识别模型还可以被训练为，在输出识别结果之前，将对应于住址要素的要素内容的至少一个字符块进行合并，以便将合并后的字符块的字符识别结果作为识别出的住址要素的要素内容。

例如，如图3B所示，在标记到包含单个字符“女”的图像块时，由于该图像块的面积等于预定面积阈值，因此，将标记该图像块的检测框32_1，与其在行方向上最近邻的检测框，即标记到包含“姓名”的图像块的检测框32_2，合并为一个检测框32_3。与此相似地，如图3B所示，在标记到包含单个字符“汉”的图像块时，将标记该图像块的检测框32_4，与其在行方向上最近邻的检测框，即标记到包含“民族”的图像块的检测框32_5，合并为一个检测框32_6。或者，在输出识别结果之前，对应于住址要素的要素内容的至少一个字符块进行合并，如图3B的检测框32_7、32_8标识的字符块。由此，即可将合并后的字符块的字符识别结果作为识别出的住址要素的要素内容，尽可能地识别得到完整的要素内容。

在一个实施例中，为了避免在文本检测的误差给后续字符识别带来的不利应用，在检测到至少一个检测框之后，针对每个检测框，还可以将检测框放大若干像素，并以放大后的检测框所标记的图像作为检测出的字符块，以使得所得到的检测框能够尽可能充分地包含相应的全部文本，避免文本检测不完整而导致后续字符识别存在误差而带来的识别结果不准确。

参见图3A所示的“身份证图像”的例子，所得到的每个检测框的尺寸规格不完全相同，实施时，例如可以基于检测得到的检测框的长宽比信息放大该检测框，并以放大后的检测框所标记的图像块作为所述字符块。

作为示例，可以基于检测框的长宽比信息，将检测框按照按百分比例进行放大，长宽比较大则放大比例较小，长宽比较小则放大比例较大。例如，检测框31_1、31_2、31_3、31_4、31_5、31_5、31_7等的长宽比较小，因此，可以将这些检测框的长度和/或宽度相较于原尺寸放大10％。而检测框31_6、31_8、31_9的长宽比较大，因此，可以将这些检测框的长度和/或宽度相较于原尺寸放大2％-3％。或者，同一检测框在长度尺寸或宽度放尺寸大的比例也可以不同。应当理解的是，上述仅是对放大检测框的示例说明而非限定，在实际应用中可以根据业务或是场景应用需求进行设置，本申请对此不做限制。

在步骤S220，识别所述至少一个字符块的各个字符，得到各所述字符块的字符识别结果。

本申请实施例中，可以采用不定长文本识别算法对各个字符块进行文本识别，得到各字符块所包含的各个字符，以及识别得到该字符的概率(即置信度)。

实施时，例如可以预先训练字符识别模型，并使用已训练的字符识别模型识别证件图像中的至少一个字符块。其中，该字符识别模型被训练为基于不定长文本识别算法进行字符识别，用于进行模型训练的训练样本中可以包括用于进行训练的不定长的字符串，以及关于其字符的标注。通过训练样本迭代训练目标检测模型，直至训练满足相关的要求(例如模型收敛或是误差达到预定要求，本申请对此不做限制)，在此不再赘述。

在步骤S230，将所述至少一个字符块以及各所述字符块的字符识别结果，与所述证件图像对应的版面结构信息进行匹配。

在步骤S240，基于匹配结果，确定所述证件图像的各证件要素对应的要素内容。

本申请实施例中，每种类型的证件可以对应有其版面设计结构，并且版面结构信息可以预先存储在设定的设备或服务器或其它任何合适的介质中，根据所检测到的至少一个字符块，可以获取相应的版面结构信息来对该至少一个字符块进行匹配，以识别证件图像。

版面结构信息具体例如可以包括证件的版面设计结构的相关描述信息，例如证件要素、证件要素的对应关系、要素内容、证件要素与要素内容的对应关系、证件要素的位置信息、要素内容的位置信息、要素内容的校验规则、要素内容的对应关系等。

以图3A所示身份证为例，其证件要素例如可以包括“姓名”要素、“性别”要素、“民族”要素、“出生”要素、“住址”要素、“公民身份号码”要素。“姓名”要素对应的要素内容为公民的姓名，例如“张三”、“王麻子”、“李王小四”等。“性别”要素对应的要素内容为公民的性别，例如“男”、“女”。“民族”要素对应的要素内容为公民的民族，例如“汉”、“朝鲜”、“蒙古”、“维吾尔”、“乌孜别克”等。“出生”要素对应的要素内容为公民的出生日期，例如“XXXX年XX月XX日”。“住址”要素对应的要素内容为公民的居住地址，例如“XXX省XXX市XXX县XXX乡XXX村”。“公民身份号码”要素对应的要素内容为公民的身份证号码，例如“123456202001012715”。

各证件要素及其对应的要素内容基本分布在身份证的同一行，且各证件要素与其对应的要素内容在行方向上相邻。例如检测框31_1与检测框31_2、检测框31_5与检测框31_6、检测框31_7与检测框31_8、检测框31_10与检测框31_11。其中，若存在至少一个证件要素和其要素内容对应的字符总长度小于预设的第一长度阈值，则该至少一个证件要素和其要素内容可位于同一行，例如图3A所示检测框31_3和检测框31_4。若存在至少一个证件要素和其要素内容对应的字符总长度大于预设的第二长度阈值，则该至少一个证件要素和其要素内容可位于相邻的不同行，例如图3A所示，检测框31_7、31_8、31_9。

证件要素的位置关系，例如还可以包括各证件要素所在行之间的列间距小于目标检测框的高度的预设倍数。例如，如图3A所示，以“姓名”要素的检测框31_1为目标检测框，则“性别”要素的检测框31_3和“民族”要素的检测框31_4所在行，与检测框31_1所在行的列间距小于“姓名”框的高度的三倍；以“性别”要素的检测框31_3为目标检测框，则“出生”要素的检测框31_5所在行，与检测框31_3所在行的列间距小于“性别”要素的检测框31_3的高度的三倍；以“出生”要素的检测框31_5为目标检测行，则“住址”要素的检测框31_7所在行，与检测框31_6所在行的列间距小于“姓名”框的高度的三倍。

证件要素的对应关系，例如可以包括“公民身份号码”要素的各部分要素内容，分别与“性别”要素、“出生”要素、“住址”要素的要素内容的对应关系。例如，身份证号码的前六位对应于“住址”要素的要素内容，身份证号码的第7-14位对应于“出生”要素的要素内容，身份证号码的第17位对应于“性别”要素的要素内容。

要素内容的校验规则例如可以包括公民身份号码的校验规则。例如，将18位身份号码的前17位分别乘以系数：7,9,10,5,8,4,2,1,6,3,7,9,10,5,8,4,2，将结果相加后除以11，余数0-10分别对应为：{1,0,X,9,8,7,6,5,4,3,2}。

应当理解的是，上述仅以“身份证”的一种版面设计结构为例，来对版面结构信息进行举例说明而非任何限定。对于其它类型的证件，或者是其它版面设计结构的身份证，版面结构信息还可以包括其它信息，在此不再赘述。

本申请实施例中，在步骤S230进行匹配时，具体可以包括：基于所述字符识别结果，确定包含所述版面结构信息描述的证件要素的字符块；将包含证件要素的字符块的位置信息，与所述版面结构信息描述的证件要素的位置信息进行匹配。

在步骤S240，具体可以包括：若位置信息匹配成功，则基于所述包含证件要素的字符块，将满足第一条件的字符块的字符识别结果作为相应证件要素的要素内容。其中，所述第一条件包括下述至少一项：包含所述证件要素；与包含所述证件要素的字符块在行方向上相邻；与包含所述证件要素的字符块在列方向上的距离小于预设距离阈值。

仍然以图3A所示的身份证图像为例，可以以检测框的坐标(例如检测框的中心点的坐标)标记字符块在身份证图像中的位置。其中，可以以身份证图像的左上角为原点，各检测框的坐标向右和/或向下逐渐增大。步骤S230和步骤240，具体可以包括以下流程：

(1)处理名字要素：定位到与原点(例如身份证图像的左上角)距离最小的检测框31_1，并校验其字符识别结果是否为“姓名”，若校验成功，则此检测框为“姓名”框。以“姓名”框为目标检测框，找到与此框中心点y坐标差值最小的检测框，即检测框31_2，该检测框31_2识别出的字符即为对应于“姓名”要素的要素内容。

(2)处理性别要素：以对应于“姓名”要素的检测框31_1为目标检测框，找到字符识别结果中带有“性别”的检测框，同时校验此框中心点y坐标与“姓名”框的中心点y坐标之间差值，是否小于三倍“姓名”框的高度，若成立，则处理此框的字符识别结果对应“性别”要素及其要素内容。

(3)处理民族要素“”以对应于“姓名”要素的检测框31_1为目标检测框，找到字符识别结果中带有“民族”的检测框，同时校验此框中心点y坐标与“姓名”框中心点y坐标之间差值，是否小于三倍“姓名”框的高度，若成立，则处理此框的字符识别结果对应“民族”要素及其要素内容。

(4)处理出生要素：以对应于“性别”要素的检测框31_3或者对应于“民族”要素的检测框31_4为目标检测框，找到字符识别结果中带有“出生”的检测框，校验此检测框中心点y坐标与“性别”框或“民族”框中心点y坐标的差值，是否小于三倍“性别”框或“民族”框的高度，若成立，则处理此框的字符识别结果对应“出生”要素。以“出生”框为目标检测框，找到与此“出生”框中心点y坐标的差值最小的检测框，处理此框的字符识别结果对应“出生”要素的要素内容。

(5)处理公民身份号码要素：找到字符识别结果中带有“公民身份号码”的检测框31_10，同时找到检测结果中长宽比最大的检测框31_11，若两框之间的高度差小于”公民身份号码“框的高度，则此长宽比最大的检测框的字符识别结果对应“公民身份号码”要素的要素内容。

(6)处理地址要素：找到识别结果带有“住址”的检测框31_7，以该检测框31_7为目标检测框，查找与此框中心点y坐标差值最小的检测框31_8，标记为“地址1”；查找中心点y坐标值大于“地址1”框中心点y坐标的检测框，同时查找与“地址1”框y坐标差值小于“地址1”框的高度的2倍的检测框，若存在标记为“地址2”，即检测框31_9；查找中心点y坐标值大于

“地址2”框中心点y坐标的检测框，同时查找与“地址2”框y坐标差值小于“地址2”框高度的2倍的检测框，若存在标记为“地址3”；若存在“地址2”，将“地址1”框与“地址2”框的字符识别结果拼接，若存在“地址3”，将“地址3”字符识别结果再次拼接。然后，以拼接后的字符对应“住址”要素的要素内容。

由此，通过上述处理流程，可以利用版面分析方法，将检测到的字符块以及识别出的字符信息进行综合分析处理得到证件要素对应的要素内容，可以避免光线、背景等的不利影响而导致的误差，同时可以避免字符分割不准确而为后续字符识别造成的误差，从而保障证件识别的准确性。

另外，由于在进行字符识别时也可能存在识别误差而导致证件识别结果不准确。为进一步保障证件识别结果的准确性，在将满足第一条件的各字符块的字符识别结果作为相应各证件要素的要素内容之前，还可以对所识别出的要素内容进行校验，以保障识别结果的准确性。

本申请实施例中，证件要素可以包括第一要素(例如“公民身份号码”要素)和至少一个第二要素(例如“出生”要素、“性别”要素等)，识别为第一要素的要素内容的字符为第一字符，识别为第二要素的要素内容的字符为第二字符。版面结构信息可以描述所述第一要素的要素内容的校验规则，以及至少一个第二要素的要素内容分别与所述第一要素的部分要素内容的对应关系。例如，前述的身份证号码的校验规则、身份证号码的第7-14位与“出生”要素的要素内容的对应关系、身份证号码的第17位与“性别”要素的要素内容的对应关系。因此，可以基于版面结构信息对识别出的要素内容进行校验。

将满足第一条件的各字符块的字符识别结果作为相应各证件要素的要素内容之前，所述方法还可以包括：确定对应于所述第一要素的要素内容的第一字符符合所述校验规则；以及基于所述对应关系，确定对应于所述至少一个第二要素的要素内容的第二字符，与所述第一字符相匹配。若匹配，则保留所识别出的要素内容，若不匹配，则将第二字符变更为相应的第一字符。

作为示例，参见图4的流程图所示的识别流程，其中，步骤S401-S405与图2所示的各步骤对应，相关细节可参见结合图2的相关描述，在此不再赘述。

在步骤S401，获取待识别的证件图像。

在步骤S402，检测待识别的证件图像中的至少一个字符块。

在步骤S403，识别所述至少一个字符块的各个字符，得到各所述字符块的字符识别结果。

在步骤S404，将所述至少一个字符块以及各所述字符块的字符识别结果，与所述证件图像对应的版面结构信息进行匹配。

在步骤S405，基于匹配结果，得到版面分析结果。

根据版面分析结果，可以在步骤S406，基于版面结构信息中要素内容的校验规则，校验所识别出的第一字符，例如18位公民身份号码。

具体地，利用公民身份号码的校验规则，校验图3A示出的长宽比最大的检测框31_11中的字符。将识别出的18位字符的前17位，分别乘以系数：7,9,10,5,8,4,2,1,6,3,7,9,10,5,8,4,2，然后将结果相加后除以11，余数0-10分别对应校验码：{1,0,X,9,8,7,6,5,4,3,2}。若所得到的余数为7，则校验码对应为5。进一步地，判断识别出的18位字符的第18位是否为5。若是，则校验成无误，则确定识别出的18位字符为公民身份号码，在步骤S407，通过公民身份号码校验性别、出生要素的要素内容。若否，则身份证号码校验失败。

具体地，在步骤S407：

(1)进行性别校验：通过身份证号码第十七位，若为奇数则为男性、偶数为女性。将结果与版面分析后结果中得到的“性别”要素的要素内容进行比对，若不一致，则根据身份证号识别结果更新性别要素值，即“性别”要素的要素内容，若一致，则保留识别得到的“性别”要素的要素内容。

(2)进行出生要素校验：通过身份证号码第7至14位与版面分析结果中得到的“出生”要素的要素内容进行比对，若不一致，则根据身份证号识别结果更新出生要素值，即“出生”要素的要素内容，若一致，则保留识别得到的“出生”要素的要素内容。

本申请实施例中，字符识别结果还可以包括识别出的每个字符的概率(又可成为置信度)。参见图4，若所述第一字符(例如身份证号码)不符合所述校验规则，则还可以基于各字符的对应关系以及各字符的概率进行校验，若所述第一字符的概率大于或等于所述第二字符的概率，则将所述第二字符变更为所述第一字符，若所述第一字符的概率小于或等于所述第二字符的概率，则保持所述第二字符不变。换言之，以概率(置信度)高的字符为准。

具体地，在步骤S408：

(1)进行性别要素校验：则先比较身份证号码第17位的概率与识别出的“性别”要素的要素内容的置信度，以置信度高的为准，若身份证第17位置信度低于“性别”要素的要素内容的置信度，则使用识别出的“”性别”要素的要素内容作为该要素的最终输出结果。若身份证第17位置信度高于“性别”要素的要素内容的置信度，则通过身份证号码第十七位，若为奇数则为男性、偶数为女性。将结果与版面分析后结果中得到的“性别”要素的要素内容进行比对，若不一致，则根据身份证号识别结果更新性别要素值，即“性别”要素的要素内容，若一致，则保留识别得到的“性别”要素的要素内容。

(2)进行出生要素校验：依次比较身份证号码第7至14位，与识别出的“出生”要素的要素内容的各数字的置信度，每一位以高置信度结果为准，将所得到的结果作为“出生”要素的要素内容。

最终，在步骤S409，以经过校验后确定的各项要素内容，作为最终识别出的各证件要素的要素内容，即输出结果。该输出结果，包括对证件进行识别后得到的证件信息，例如身份证明信息。

由此，通过上述证件识别流程，在识别得到各证件要素的要素内容之后，对识别出的要素内容进行校验，进一步保障最终得到的证件信息的准确性，从而保障在需要进行证件识别与应用的诸多场景或业务中的准确性。

基于相同的构思，本申请实施例还提出了一种证件识别装置。

图5为根据本申请一个实施例的证件识别装置的示意图。

如图5所示，该证件识别装置500可以包括：

检测单元510，用于检测待识别的证件图像中的至少一个字符块；

识别单元520，用于识别所述至少一个字符块的各个字符，得到各所述字符块的字符识别结果；

匹配单元530，用于将所述至少一个字符块以及各所述字符块的字符识别结果，与所述证件图像对应的版面结构信息进行匹配；

要素内容确定单元540，用于基于匹配结果，确定所述证件图像的各证件要素对应的要素内容。

在一个实施例中，所述检测单元510具体用于：

对所述证件图像进行目标检测，得到至少一个检测框，其中，所述检测框用于标记包含文本的图像块；

针对每个检测框，基于所述检测框的长宽比信息放大所述检测框，并将放大后的检测框所标记的图像块作为所述字符块。

在一个实施例中，所述字符识别结果包括每个字符块包含的各个字符；所述匹配单元530具体用于：

基于所述字符识别结果，确定包含所述版面结构信息描述的证件要素的字符块；

将包含证件要素的字符块的位置信息，与所述版面结构信息描述的证件要素的位置信息进行匹配。

在一个实施例中，所述要素内容确定单元540具体用于：

若位置信息匹配成功，则基于所述包含证件要素的字符块，将满足第一条件的字符块的字符识别结果作为相应证件要素的要素内容，

其中，所述第一条件包括下述至少一项：

包含所述证件要素；

与包含所述证件要素的字符块在行方向上相邻；

与包含所述证件要素的字符块在列方向上的距离小于预设距离阈值。

在一个实施例中，所述证件要素包括第一要素和至少一个第二要素，所述版面结构信息描述所述第一要素的要素内容的校验规则，以及所述至少一个第二要素的要素内容分别与所述第一要素的部分要素内容的对应关系；所述要素内容确定单元540还用于：

将满足第一条件的各字符块的字符识别结果作为相应各证件要素的要素内容之前，确定对应于所述第一要素的要素内容的第一字符符合所述校验规则；以及

基于所述对应关系，确定对应于所述至少一个第二要素的要素内容的第二字符，与所述第一字符相匹配。

在一个实施例中，所述字符识别结果还包括识别出的每个字符的概率，若所述第一字符不符合所述校验规则，所述要素内容确定单元540还用于：

若所述第一字符的概率大于或等于所述第二字符的概率，则将所述第二字符变更为所述第一字符；

若所述第一字符的概率小于或等于所述第二字符的概率，则保持所述第二字符不变。

在一个实施例中，所述要素内容确定单元540还用于：

将所述第二字符变更为所述第一字符之前，确定所述第一字符与所述第二字符不匹配。

证件识别装置及其各个模块的功能实现，与前述所实现的证件识别方法的流程相同或相似，具体可参见前文的相关描述，在此不再赘述。

在介绍了本申请示例性实施方式的一种证件识别方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的计算装置。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本申请的计算装置可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的证件识别方法中的步骤。例如，处理器可以执行如图2或者如图4所示的步骤。

下面参照图6来描述根据本申请的这种实施方式的计算装置130。图6显示的计算装置130仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算装置130以通用计算装置的形式表现。计算装置130的组件可以包括但不限于：上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。

总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(ROM)1323。

存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

计算装置130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算装置130交互的设备通信，和/或与使得该计算装置130能与一个或多个其它计算装置进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且，计算装置130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于计算装置130的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

在一些可能的实施方式中，本申请提供的一种证件识别方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种证件识别方法中的步骤，例如，计算机设备可以执行如图2或者如图4所示的步骤。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请的实施方式的用于证件识别的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算装置上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算装置上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算装置上部分在远程计算装置上执行、或者完全在远程计算装置或服务器上执行。在涉及远程计算装置的情形中，远程计算装置可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算装置，或者，可以连接到外部计算装置(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种证件识别方法，其特征在于，所述方法包括：

检测待识别的证件图像中的至少一个字符块；

识别所述至少一个字符块的各个字符，得到各所述字符块的字符识别结果；

将所述至少一个字符块以及各所述字符块的字符识别结果，与所述证件图像对应的版面结构信息进行匹配；

基于匹配结果，确定所述证件图像的各证件要素对应的要素内容。

2.根据权利要求1所述的方法，其特征在于，检测待识别的证件图像中的至少一个字符块，包括：

对所述证件图像进行目标检测，得到至少一个检测框，其中，所述检测框用于标记包含文本的图像块；

针对每个检测框，基于所述检测框的长宽比信息放大所述检测框，并将放大后的检测框所标记的图像块作为所述字符块。

3.根据权利要求1所述的方法，其特征在于，所述字符识别结果包括每个字符块包含的各个字符；将所述至少一个字符块以及各所述字符块的字符识别结果，与所述证件图像对应的版面结构信息进行匹配，包括：

基于所述字符识别结果，确定包含所述版面结构信息描述的证件要素的字符块；

将包含证件要素的字符块的位置信息，与所述版面结构信息描述的证件要素的位置信息进行匹配。

4.根据权利要求3所述的方法，其特征在于，基于匹配结果，确定所述证件图像的各证件要素对应的要素内容，包括：

若位置信息匹配成功，则基于所述包含证件要素的字符块，将满足第一条件的字符块的字符识别结果作为相应证件要素的要素内容，

其中，所述第一条件包括下述至少一项：

包含所述证件要素；

与包含所述证件要素的字符块在行方向上相邻；

与包含所述证件要素的字符块在列方向上的距离小于预设距离阈值。

5.根据权利要求4所述的方法，其特征在于，所述证件要素包括第一要素和至少一个第二要素，所述版面结构信息描述所述第一要素的要素内容的校验规则，以及所述至少一个第二要素的要素内容分别与所述第一要素的部分要素内容的对应关系；

将满足第一条件的各字符块的字符识别结果作为相应各证件要素的要素内容之前，所述方法还包括：

确定对应于所述第一要素的要素内容的第一字符符合所述校验规则；以及

基于所述对应关系，确定对应于所述至少一个第二要素的要素内容的第二字符，与所述第一字符相匹配。

6.根据权利要求5所述的方法，其特征在于，所述字符识别结果还包括识别出的每个字符的概率，

若所述第一字符不符合所述校验规则，则基于所述对应关系，确定对应于所述至少一个第二要素的要素内容的第二字符，与所述第一字符相匹配，还包括：

若所述第一字符的概率大于或等于所述第二字符的概率，则将所述第二字符变更为所述第一字符；

若所述第一字符的概率小于或等于所述第二字符的概率，则保持所述第二字符不变。

7.根据权利要求6所述的方法，其特征在于，将所述第二字符变更为所述第一字符之前，所述方法还包括：

确定所述第一字符与所述第二字符不匹配。

8.一种证件识别装置，其特征在于，所述装置包括：

检测单元，用于检测待识别的证件图像中的至少一个字符块；

识别单元，用于识别所述至少一个字符块的各个字符，得到各所述字符块的字符识别结果；

匹配单元，用于将所述至少一个字符块以及各所述字符块的字符识别结果，与所述证件图像对应的版面结构信息进行匹配；

要素内容确定单元，用于基于匹配结果，确定所述证件图像的各证件要素对应的要素内容。

9.一种计算装置，其特征在于，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据权利要求1-7中任何一项所述的证件识别方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行根据权利要求1-7中任何一项所述的证件识别方法。

Images