CN117689935A - 证件信息识别方法、装置、系统、电子设备及存储介质 - Google Patents

Abstract

本发明实施例提供了一种证件信息识别方法、装置、系统、电子设备及存储介质，该方法包括：获取证件图像；对所述证件图像进行预处理，得到输入图像；将所述输入图像输入到预先训练的证件图像识模型中，根据所述证件图像识别模型的输出结果，确定所述证件图像包含的证件信息。本发明实施例提供的证件信息识别方法，通过预先训练的证件图像识别模型，自动识别证件图像的证件类别和包含的证件信息，能够对需要录入的法人证书和/营业执照和/或身份证进行自动分类识别，从而获得待办理信息，进而能快速验证企业及经办人身份，提高了开户审核效率和准确度。

Description

证件信息识别方法、装置、系统、电子设备及存储介质

技术领域

本发明涉及计算机技术领域，特别是涉及一种证件信息识别方法、一种证件信息识别装置、一种证件信息识别系统、一种电子设备及一种存储介质。

背景技术

用户在营业厅办理业务时，营业员需要对用户提交的材料进行审核，并根据审核结果确定是否为用户办理业务。其中，对公账户开户通常需要到柜台“面签”。现有的对公账户开户身份核验流程中，企业相关人员需持纸质营业执照(或法人证书)和法人身份证等材料，到营业厅柜面进行人工核验。营业员需要在业务系统内上传相关证件照图像，部分证件照信息需要手动输入系统，并判断企业经办人本人的长相与所携带的身份证上的照片是否一致，验证身份证信息及真伪。目前的录入方式只能在业务请求人办理业务的当场进行实时录入，该方式不但增加了办理业务的时长，还占用了营业厅大量人力资源。由于缺乏便捷高效的对公客户身份验证手段，造成用户开户自动化程度低、开户审核效率低、开户时间长、客户体验感不佳等问题。

大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。证件信息快速录入成为提升用户服务效率的一个关键部分，为解决这一问题，需要开发快速准确的证件自动识别录入系统。

传统的拍照扫描证件识别相关身份信息，用于各项业务办理、场所进入登记等场景下，但是传统的扫描获取信息的方式，需要将身份证完整拍摄下来，对证件摆放位置和图片清晰度要求较高，识别速度慢、办公效率低。并且目前图像识别领域对于不同证件信息提取识别研究应用相对较少，现有研究多集中于对身份证的信息提取，对于法人证书、营业执照、身份证等证件照图像的分类、识别和信息提取则较为欠缺。

鉴于证件信息录入的时效性和有限的人力资源，研究高效的智能证件信息识别方法对于提高用户信息入库效率、降低人工作业的时间成本具有重要意义。

发明内容

针对现有技术中的缺陷，本发明实施例提供了一种证件信息识别方法、一种证件信息识别装置、一种证件信息识别系统、一种电子设备及一种存储介质。

第一方面，本发明实施例提供一种证件信息识别方法，包括：

获取证件图像；

对所述证件图像进行预处理，得到输入图像；

将所述输入图像输入到预先训练的证件图像识模型中，根据所述证件图像识别模型的输出结果，确定所述证件图像包含的证件信息。

如上述方法，可选地，所述将所述输入图像输入到预先训练的证件图像识模型中，根据所述证件图像识别模型的输出结果，确定所述证件图像包含的证件信息，包括：

基于预先训练的证件图像分类网络对所述输入图像进行分类，确定所述输入图像的证件类别；

确定所述证件类别的证件图像模板，并提取所述证件图像模板的图像特征；

基于所述证件图像模板的图像特征，对所述输入图像进行特征匹配与校正，确定校正后的输入图像；

基于预先训练的文本检测网络对校正后的输入图像进行文本定位；

基于预先训练的文字识别网络对文本定位后的输入图像进行文字识别；

根据文字位置结构化输出对应的证件信息。

如上述方法，可选地，所述证件图像分类网络根据下述方式预先训练得到：

收集证件图像，制作证件图像分类数据集；

基于所述证件图像分类数据集中的证件图像，对所述证件图像分类网络进行训练，基于输出的证件图像分类结果对所述证件图像分类网络中的参数进行优化。

如上述方法，可选地，所述文本检测网络根据下述方式预先训练得到：

收集证件图像，对证件图像中的文字位置打标，制作文字检测数据集；

基于所述文字检测数据集中的证件图像，对所述文本检测网络进行训练，基于输出的文字位置坐标对所述文本检测网络中的参数进行优化。

如上述方法，可选地，所述文字识别网络根据下述方式预先训练得到：

收集文字图像，对文字图像中的文字打标，制作文字识别数据集；

基于所述文字识别数据集中的证件图像，对所述文字识别网络进行训练，基于输出的文字内容对所述文字识别网络中的参数进行优化。

如上述方法，可选地，还包括：

获取同一用户对应的多个证件类别的证件图像的证件信息；

基于所述证件信息，判断所述多个证件类别的证件图像是否匹配。

如上述方法，可选地，还包括：

获取人脸图像；

基于预先训练的人脸识别模型，确定所述人脸图像对应的人脸特征；

基于所述人脸特征，检索人脸实名数据库，确定所述人脸图像对应的实名信息；

根据所述实名信息和所述证件信息，判断所述证件图像与所述人脸图像是否匹配。

第二方面，本发明实施例提供一种证件信息识别装置，包括：

获取模块，用于获取证件图像；

预处理模块，用于对所述证件图像进行预处理，得到输入图像；

识别模块，用于将所述输入图像输入到预先训练的证件图像识模型中，根据所述证件图像识别模型的输出结果，确定所述证件图像包含的证件信息。

第三方面，本发明实施例提供一种证件信息识别系统，包括：

采集装置，用于采集证件图像；

证件信息识别装置，用于实现如上述第一方面任一项所述的证件信息识别方法；

显示装置，用于显示所述证件信息识别装置输出的识别结果。

第四面，本发明实施例提供一种电子设备，包括：

存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述第一方面任一项所述的证件信息识别方法。

第五方面，本发明实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面任一项所述的证件信息识别方法。

本发明实施例提供的证件信息识别方法，获取证件图像；对所述证件图像进行预处理，得到输入图像；将所述输入图像输入到预先训练的证件图像识模型中，根据所述证件图像识别模型的输出结果，确定所述证件图像的证件类别和证件信息。本发明实施例提供的证件信息识别方法，通过预先训练的证件图像识别模型，自动识别证件图像的证件类别和包含的证件信息，能够对需要录入的法人证书和/营业执照和/或身份证进行自动分类识别，从而获得待办理信息，进而能快速验证企业及经办人身份，提高了开户审核效率和准确度。

附图说明

图1是本发明的一种证件信息识别方法实施例的步骤流程图；

图2是本发明的一种证件信息识别方法实施例中待识别的营业执照示意图；

图3是本发明的一种证件信息识别方法实施例中校正后的营业执照示意图；

图4是本发明的另一种证件信息识别方法实施例的步骤流程图；

图5是本发明的又一种证件信息识别方法实施例的步骤流程图；

图6是本发明的一种证件信息识别装置实施例的结构框图；

图7是本发明的一种证件信息识别系统实施例的结构框图；

图8是本发明的一种电子设备实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明的一种证件信息识别方法实施例的步骤流程图，具体可以包括如下步骤：

步骤S110、获取证件图像；

具体地，利用图像采集设备，获取用户的证件图像，证件图像是指包括用户的法人证书、营业执照、身份证等包含用户身份信息的证件图像。图像采集设备采集到证件图像之后，可以按指定路径上传，通过图像采集设备可获取到证件图像。

例如，在运营商营业厅，通过图像采集设备如照相机等对用户的法人证书、营业执照和身份证等进行现场拍照，从而获取用户的法人证书图像、营业执照图像和身份证图像等用户相关证件图像。

步骤S120、对所述证件图像进行预处理，得到输入图像；

具体地，现有技术中，对于法人证书、营业执照信息识别精度较低主要有以下两个方面的影响：一方面，部分法人证书、营业执照由于保存方式不当，印刷字体发生较为严重的褪色，在具体的证件照拍摄过程中，不同的光照、不同的角度、遮挡等情况导致对证件的识别变得困难；另一方面，法人证书、营业执照、身份证有着特殊的花纹，提高了识别的难度，降低了识别的准确性，导致识别的结果不理想。

为了解决这一问题，在输入阶段，本发明实施例对通过图像采集设备采集的证件图像进行了预处理，对证件图像的预处理方法包括法包括倾斜矫正、灰度化、USM锐化和二值化，其中USM锐化(Unsharp masking)是源于传统照相技术的一种处理方法，通过提取图像的边缘信息，在图像轮廓处产生更黑和更白的“边饰”，从而提高图像的目视清晰度。

通过图像预处理，解决了证件图像拍摄过程的问题，使得输入图像格式统一规范，提高了后续证件信息识别的识别率。

步骤S130、将所述输入图像输入到预先训练的证件图像识模型中，根据所述证件图像识别模型的输出结果，确定所述证件图像包含的证件信息。

具体地，预先基于大量不同证件类别的证件图像样本数据，这些证件图像样本数据同样经过的相同的图像预处理操作，作为证件图像训练集输入到证件图像识别模型中进行流程化的分类与识别处理，输出识别出来的结果，识别结果为证件图像包含的证件信息，包括：证件图像的证件类别和证件文字信息，例如识别结果为证件类别为用户的营业执照，证件信息包括统一社会信用代码、法定代表人姓名等身份信息。

通过证件图像测试集不断优化证件图像识别模型的参数，最终得到训练完成的证件图像识别模型，证件图像识别模型的输入为经过预处理之后的证件图像，输出为证件图像的证件类别和包含的文字信息。

对获取的证件图像进行预处理之后，输入到预先训练的证件图像识模型中，根据证件图像识模型输出结果，确定证件图像的文字内容，从而得到证件图像的证件类别和包含的证件信息，从而通过证件图像识模型，对需要录入的法人证书和/营业执照和/或身份证进行自动分类识别，获得待办理信息。

本发明实施例提供的证件信息识别方法，获取证件图像；对所述证件图像进行预处理，得到输入图像；将所述输入图像输入到预先训练的证件图像识模型中，根据所述证件图像识别模型的输出结果，确定所述证件图像的证件类别和证件信息。本发明实施例提供的证件信息识别方法，通过预先训练的证件图像识别模型，自动识别证件图像的证件类别和包含的证件信息，能够对需要录入的法人证书和/营业执照和/或身份证进行自动分类识别，从而获得待办理信息，进而能快速验证企业及经办人身份，提高了开户审核效率和准确度。

在上述实施例的基础上，进一步地，所述将所述输入图像输入到预先训练的证件图像识模型中，根据所述证件图像识别模型的输出结果，确定所述证件图像包含的证件信息，包括：

基于预先训练的证件图像分类网络对所述输入图像进行分类，确定所述输入图像的证件类别；

确定所述证件类别的证件图像模板，并提取所述证件图像模板的图像特征；

基于所述证件图像模板的图像特征，对所述输入图像进行特征匹配与校正，确定校正后的输入图像；

基于预先训练的文本检测网络对校正后的输入图像进行文本定位；

基于预先训练的文字识别网络对文本定位后的输入图像进行文字识别；

根据文字位置结构化输出对应的证件信息。

具体地，首先收集身份信息图像，制作法人证书、营业执照、身份证等证件照的分类数据集。

具体地，证件图像识别模型按执行顺序依次包括：证件图像分类网络、证件图像模板与特征提取模块、匹配校正模块、文本检测网络、文字识别网络和输出模块。

首先，使用训练好的证件照图像分类网络，对输入图像进行分类，识别图像中是否包含法人证书、营业执照或身份证。

之后，制作法人证书、营业执照、身份证等证件的证件图像模板，以营业执照图像为例，收集标准营业执照图片，图2是本发明的一种证件信息识别方法实施例中待识别的营业执照示意图，如图2所示，为了保护隐私，使用图像编辑手段将主要证件信息内容进行模糊处理，制作营业执照的证件图像模板。

确认证件图像模板之后，可以提取证件图像模板的图像特征，例如，使用OpenCV对证件图像模板提取尺度不变特征转换(Scale invariant feature transform，SIFT)特征，SIFT算法可以有效地提取待匹配图像中的匹配特征点。将提取的特征点坐标和SIFT特征保存于数据库，制作SIFT特征集。

其中，OpenCV是一个基于Apache2.0许可(开源)发行的跨平台计算机视觉和机器学习软件库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列C函数和少量C++类构成，同时提供了各种语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

之后，对输入图像使用同样的方法提取SIFT特征，并根据输入图像的分类结果与对应模板SIFT特征匹配，获取输入图像到模板的变换矩阵。输入的图像使用变换矩阵进行透视变换，并根据模板角点坐标获取校正后的证件图像，图3是本发明的一种证件信息识别方法实施例中校正后的营业执照示意图，如图3所示，校正后的证件图像与校正前的证件图像相比，解决了普通用户使用手机拍照时照片受到背景、光照、噪声、模糊等因素影响导致识别效果不理想的问题。

之后，使用训练好的文本检测网络对校正后的证件图像进行文字检测，获取证件图像中的文字位置坐标。其中，文本检测网络对基于卷积神经网络YOLO V5，采用了深度残差网络ResNet 50作为骨干网络提取特征，使用K均值(K-Means)聚类出几个类别的锚anchor，从而得到文字位置坐标，其中，K-Means算法，是一个重复移动类中心点的过程，把类的中心点，也称重心(centroids)，移动到其包含成员的平均位置，然后重新划分其内部成员。ResNet是一种残差网络，ResNet网路通过residual(残差)结构，能够搭建超深的网络结构，解决传统卷积神经网络随着网络深度的加深而出现的梯度消失或者梯度爆炸的问题，对缓解深度网络的退化问题有较好的效果。YOLO v5是一种端到端的单阶段目标检测算法，使用回归的方法直接计算目标的类别和位置。通过对YOLO v5使用大量的数据迭代训练，可以实现对文字的精准识别和定位。

之后，基于预先训练的文字识别网络对文本定位后的输入图像进行文字识别，文字识别网络可基于CRNN+CTC实现，CRNN+CTC为卷积循环神经网络和连接时序分类器(CRNN+CTC)的端到端识别方法，其中，CRNN(Convolutional Recurrent Neural Network，卷积循环神经网络)，其结构是由CNN(Convolutional Neural Network，卷积神经网络)、RNN(Recurrent Neural Network，循环神经网络)、CTC(Connectionist TemporalClassification，连接性时序分类)三个模块组成。

最后，根据文字位置结构化的输出对应证件信息。

由于身份证图像规格一致，根据文字检测框坐标即可确定该文字对应信息，法人证书或营业执照若出现打印或复印错位的问题，对法人证书或营业执照使用双重锚点定位文字信息。首先，根据文本特征，识别法人证书或营业执照中名称和统一信用代码文本位置，以这两个信息的位置为锚点，计算其他文本框与锚点的相对位置，确定文字所对应的key值，以key：value格式输出。

本发明实施例中，通过证件图像分类网络、证件图像模板与特征提取模块、匹配校正模块、文本检测网络、文字识别网络和输出模块确定证件图像的证件类别和文字信息，具有泛用性强，识别快，识别准确率高的特点，将证件信息从背景复杂、光照不均、拍摄模糊等情况下识别出来，解决了普通用户使用手机拍照时照片受到背景、光照、噪声、模糊等因素影响导致识别效果不理想的问题。

在上述各实施例的基础上，进一步地，所述证件图像分类网络根据下述方式预先训练得到：

收集证件图像，制作证件图像分类数据集；

基于所述证件图像分类数据集中的证件图像，对所述证件图像分类网络进行训练，基于输出的证件图像分类结果对所述证件图像分类网络中的参数进行优化。

具体地，首先收集身份信息图像，制作法人证书、营业执照、身份证等证件图像的分类数据集。在实际应用中可利用图像采集设备，采集证件照图像传输至数据服务器与云端框架内，通过云端框架内的运行程序对图像进行预处理，获得证件照图像训练集，其中，证件照图像包括身份证图像、法人证书和营业执照图像。

将分类数据集中的证件图像统一缩放为224×224像素，使用ResNet 18证件照图像分类网络，结合自适应矩估计(Adaptive Moment Estimation，Adam)优化器进行参数迭代优化，并基于Pytorch框架对证件识别模型进行训练，Pytorch为一个开源的Python机器学习库，是深度学习研究和应用中常使用的训练框架。

之后将统一缩放为224×224像素的证件样本图像，输入到ResNet中，经过多层卷积和5次下采样，最终得到7×7×512的特征图，之后对特征图使用最大池化得到1×1×512的特征向量，输入全连接层，使用softmax激活函数得到图像属于每一类的置信度，置信度最高的类别为证件图像的预测类别。

本发明能实施例够对需要录入的法人证书和/营业执照和/或身份证进行自动分类识别，从而获得待办理信息，提高开户审核效率和准确度。

在上述各实施例的基础上，进一步地，所述文本检测网络根据下述方式预先训练得到：

收集证件图像，对证件图像中的文字位置打标，制作文字检测数据集；

基于所述文字检测数据集中的证件图像，对所述文本检测网络进行训练，基于输出的文字位置坐标对所述文本检测网络中的参数进行优化。

具体地，文本检测网络基于YOLO V5，采用ResNet 50作为骨干网络提取特征，使用K-Means聚类出5类anchor，结合使用Adam优化器进行参数迭代优化，并基于Pytorch框架对模型进行训练。

首先收集大量模板法人证书、营业执照或身份证等证件图像，对图像中的文字打上标签，将打标框坐标输入文档中，制作文字检测数据集。然后利用数据集去训练文本检测网络，并使用训练好的文本检测网络对校正后的证件图像进行文字检测，获取证件图片中的文字位置坐标，提升了证件图像的文本识别效率。

在上述各实施例的基础上，进一步地，所述文字识别网络根据下述方式预先训练得到：

收集文字图像，对文字图像中的文字打标，制作文字识别数据集；

基于所述文字识别数据集中的证件图像，对所述文字识别网络进行训练，基于输出的文字内容对所述文字识别网络中的参数进行优化。

具体地，文字识别网络使用CRNN+CTC模型，基于Pytorch框架训练。首先收集大量文字图片，规定输入图像统一缩放为高32像素，并将文字剪裁出并将所包含的文字写入文档中作为标签，制作文字识别数据集。

然后利用数据集去训练文字识别网络，并使用训练好的文字识别网络对文本定位后的证件图像进行文本识别，获取证件图片中的文字内容，提升了证件图像的证件信息识别效率。

图4是本发明的另一种证件信息识别方法实施例的步骤流程图，如图4所示，证件信息识别过程包括：

输入证件图像，基于证件图像分类模型对证件图像进行分类，其中证件图像分类模型使用ResNet 18证件照图像分类网络，结合Adam优化器进行参数迭代优化，并基于Pytorch框架对证件识别模型进行训练。

对证件图像进行特征提取和校正。首先提取证件图像的SIFT特征，然后基于证件图像分类模型确定证件图像的证件类别。之后根据分类结果与对应模板SIFT特征匹配，获取输入图像到模板的变换矩阵。输入的图像使用变换矩阵进行透视变换，并根据模板角点坐标获取校正后的证件图像，其中证件图像分类模型，使用OpenCV对三种证件图像模板(身份证模板、法人证书模板、营业执照模板)提取SIFT特征，将提取的特征点坐标和SIFT特征保存于数据库，制作SIFT特征集。

对证件图像进行文本定位。使用文本检测网络对校正后的证件图像进行文本定位，获取证件图片中的文字位置坐标，其中文本检测网络基于YOLO V5，采用了ResNet 50作为骨干网络提取特征，使用K-Means聚类出5类anchor，结合使用Adam优化器进行参数迭代优化，并基于Pytorch框架对模型进行训练。

对证件图像进行文字识别，使用文字识别网络，对文本定位后的证件图像进行文字识别，得到证件图像中包含的文字内容，其中，文字识别网络使用CRNN+CTC模型，基于Pytorch框架训练。

对证件图像进行证件信息提取，由于身份证图像规格一致，根据文字检测框坐标即可确定该文字对应信息，

法人证书图像、营业执照图像或户口本图像若出现打印或复印错位的问题，对法人证书图像、营业执照图像或户口本图像使用双重锚点定位文字信息。以法人证书图像为例，首先，根据文本特征，识别法人证书图像中名称和统一信用代码文本位置，以这两个信息的位置为锚点，计算其他文本框与锚点的相对位置，确定文字所对应的key值，以key：value格式输出。

最后，将识别的证件信息存储到云端数据库中。

本发明实施例中，文字识别网络通过对YOLO v5算法的改进，采用ResNet 50作为骨干网络提取特征，使用K-Means聚类出5类anchor，结合使用Adam优化器进行参数迭代优化，并基于Pytorch框架对模型进行训练，使得网络计算过程中，实现多尺度文字目标的检测效果。

在上述各实施例的基础上，进一步地，还包括：

获取同一用户对应的多个证件类别的证件图像的证件信息；

基于所述证件信息，判断所述多个证件类别的证件图像是否匹配。

具体地，为了解决运营商用户开户自动化程度低、开户审核效率低、开户时间长、客户体验感不佳等问题，在获取了用户的证件信息之后，还需要对证件信息进行自动验证。

首先，获取同一用户对应的多个证件类别的证件图像，根据本发明实施例提供的证件信息识别方法，分别识别出每个证件类别的证件图像的证件信息，例如，由同一用户提交的证件图像，识别出针对同一用户的身份证号码、身份证姓名、营业执照号码、法定代表人姓名等信息。

之后，判断多个证件类别的证件图像是否匹配。具体地，判断证件图像的证件信息包含的文字信息是否匹配，例如，身份证图像中的姓名、营业执照中的法定代表人姓名或法人证书图像中的法定代表人姓名是否一致，一致，则表明多个证件类别的证件图像匹配，否则判断多个证件类别的证件图像不匹配。

本发明实施例中，通过对证件图像的证件信息进行识别和匹配，自动识别录入证件信息，提高开户审核效率和准确度，解决现有技术中传统电信对公账户开户核验流程存在开户自动化程度低、开户时间长、客户体验感不佳等问题。

在上述各实施例的基础上，进一步地，还包括：

获取人脸图像；

基于预先训练的人脸识别模型，确定所述人脸图像对应的人脸特征；

基于所述人脸特征，检索人脸实名数据库，确定所述人脸图像对应的实名信息；

根据所述实名信息和所述证件信息，判断所述证件图像与所述人脸图像是否匹配。

具体地，在运营商开户过程中，还需要进行实名认证，首先从营业厅现场采集人脸图像，通过预处理之后，获取人脸图像，然后基于预先训练的人脸识别模型，确定人脸图像对应的人脸特征，

具体地，可以在云端框架内构建人脸识别模型，将现场采集的大量历史现场人脸图像作为现场人脸图像训练集，输入到人脸识别模型中进行识别，输出识别出来的结果，得到人脸特征向量；人脸识别模型用于为运营商营业厅实名取号设备及运营商业务服务终端设备提供人脸对比功能服务，是运营商业务服务开展手机实名制工作的关键；人脸识别模型利用活体检测人脸生物学特征处理技术，对运营商业务服务终端设备提供的现场人脸图像进行数据分析处理，进而提取出人脸影像信息中的人脸特征向量。

之后，基于人脸特征向量，检索人脸实名数据库，确定人脸图像对应的实名信息。

具体地，首先，采用大数据架构HDFS对运营商数据库中的实名人脸信息进行存储，记为人脸实名数据库。HDFS为Hadoop分布式文件系统(Hadoop Distributed File System，简称HDFS)，是部署在大量低廉硬件上的文件系统，采用流的方式进行文件系统中数据的访问，并具有数据自动备份等功能，因此具有高容错性、高吞吐量等特点，适合大数据集的应用服务。采用HDFS分布式文件系统，存储运营商海量用户数据，HDFS可横向扩展，其存储的文件可以支持PB级别或更高级别的数据存储。

人脸实名数据库存储人脸图像MD5值、人脸特征向量、用户实名信息等，其中，MD5(Message-Digest Algorithm 5，信息-摘要算法5)，用于确保信息传输完整一致。是计算机广泛使用的杂凑算法之一(又译摘要算法、哈希算法)，主流编程语言普遍已有MD5实现。

之后，采用Faiss相似性搜索工具，进行人脸图像特征向量匹配，对匹配结果进行分类判别，输出匹配结果。Faiss为基于faiss-facebook开源的AI相似性搜索工具，开发出人脸检索模块，从人脸特征值存储模块中检索出与待比对人脸特征值相似度比对分值最高的脸部图像的唯一标识以及对应的比对分值，再执行检索结果判断，以加快人脸特征值的检索速度。Faiss相似性搜索工具是一个能使开发者快速搜索相似多媒体文件的算法库，使用向量检索技术Faiss相似性搜索工具进行检索，将人脸特征向量数据服务器的实名信息库中人脸特征向量样本进行人脸检测，实现快速的相似度比对分析，设置匹配结果置信度，对匹配结果进行判别。

最后根据匹配结果，获取人脸图像对应的实名信息，例如，人脸图像对应的姓名、身份证号码等。

之后，根据人脸图像的实名信息和证件图像的证件信息，判断证件图像与人脸图像是否匹配，例如，人脸图像的实名姓名、营业执照对应的法定代表人姓名是否一致等。

若一致，则显示实名信息和证件信息，并且可在运营商营业厅现场设置现场识别装置，在现场识别装置录入并显示匹配结果和识别结果，可用于输出证件图像的相关信息。

在实际应用中，还可以建立数据服务器与云端框架，其中，数据服务器内存储用户身份信息图像、基本个人信息和人脸信息等数据，这些数据可通过实名数据库得到，也可以通过运营商已验证用户得到。采用大数据架构HDFS对运营商数据库中的图片信息进行存储，图像信息包括图像MD5值、图像内的文字内容、图像内人脸特征向量、用户信息等，云端框架是证件自动识别录入的网络运行程序。这样，除了在运营商营业厅现场采集证件图像和人脸图像之外，还可以设置基于移动端的对公预开户核验方式，通过用户个人手机等移动端设备对证件图像、人脸进行采集，采集之后，上传至数据服务器与云端框架内，通过云端框架内的运行程序对图像进行预处理，预处理方法包括倾斜矫正、灰度化、USM锐化和二值化，获得证件照图像的输入图像，将输入图像输入到证件图像识别模型进行文字内容提取，然后将人脸图像输入到人脸识别模型中进行人脸特征向量提取，得到测试证件图像的文字内容与人脸特征向量；

将测试证件图像的文字内容与人脸特征向量输入到Faiss相似性搜索工具进行向量检索，获得测试证件图像特征向量与实名信息库中的每个图片的特征向量的相似度，输出与测试图片置信度最高的文字与人脸图片，并获取相似文字及相似人脸对应的用户信息；将检索结果返回至云端框架内的程序得出识别结果，并在用户移动终端进行录入显示。

图5是本发明的又一种证件信息识别方法实施例的步骤流程图，如图5所示，该方法包括：

步骤S1、建立自身数据服务器与云端框架，其中，所述数据服务器内存储用户身份信息图像、基本个人信息和人脸信息等数据，所述云端框架是证件自动识别录入的网络运行程序；

步骤S2、利用图像采集设备，获取用户的身份信息图像；身份信息图像包括用户的法人证书、营业执照、身份证等证件照图像；采集证件照图像与现场人脸图像传输至数据服务器与云端框架内，通过云端框架内的运行程序对图像进行预处理，预处理方法包括倾斜矫正、灰度化、USM锐化和二值化，获得证件照图像训练集与现场人脸图像训练集；

步骤S3、在云端框架内构建证件识别模型，将证件照图像训练集输入证件识别模型中进行流程化的分类与识别处理，输出识别出来的结果，转化成文字，得到用户的统一社会信用代码、法定代表人姓名及公民身份证号码等身份信息；

步骤S4、在云端框架内构建人脸识别模型，将现场人脸图像训练集入到人脸识别模型中进行识别，输出识别出来的结果，得到人脸特征向量；人脸识别模型利用活体检测人脸生物学特征处理技术，对运营商业务服务终端设备提供的现场人脸图像进行数据分析处理，进而提取出人脸影像信息中的人脸特征向量；

步骤S5、采用大数据架构改进型HDFS对运营商数据库中的图片信息进行存储，图片信息包括图片MD5值、图片内的文字内容、图片内人脸特征向量、用户信息；

步骤S6、采用Faiss相似性搜索工具，进行文字内容匹配、人脸图像特征向量匹配，对匹配结果进行分类判别，输出匹配结果；

步骤S7、获取证件样本测试图片，分别输入到证件识别模型、人脸识别模型中进行识别，经过Faiss相似性搜索工具进行大数据匹配，显示实名信息，对比处理识别后，云端框架内的程序得出识别结果，且识别结果在现场识别装置区域进行录入显示。

具体地，获取证件样本测试图片和人脸图像，将证件样本测试图片输入到证件识别模型进行文字内容提取，然后将人脸图像输入到人脸识别模型中进行人脸特征向量提取，得到测试图片的文字内容与人脸特征向量；

将测试图片的文字内容与人脸特征向量输入到Faiss相似性搜索工具进行向量检索，获得测试图片特征向量与实名信息库中的每个图片的特征向量的相似度，输出与测试图片置信度最高的文字与人脸图片，并获取相似文字及相似人脸对应的用户信息；将检索结果返回至云端框架内的程序得出识别结果，并在现场识别装置区域进行录入显示。

本发明实施例中，采用基于移动端的对公预开户核验方式，通过利用法人证书、电子营业执照、法人身份证以及人脸特征信息等，交叉验证企业身份，将证件图像的文字内容匹配与人脸图像的人脸特征向量匹配结果结合，从多维度判断进入拍摄的证件图像是否与运营商大数据中的用户信息相匹配，获取用户相关数据，避免了因证件摆放位置不正确使拍摄的证件图像中文字缺失或者人脸图像缺失，无法完整提供识别信息，导致的识别错误、无法有效识别等情况的产生。通过文字内容匹配与人脸特征匹配进行多维度判断，提高识别的准确率，避免了因单一识别方式信息不全导致的无法识别与识别错误的问题。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图6，示出了本发明一种证件信息识别装置实施例的结构框图，具体可以包括如下模块：

获取模块610，用于获取证件图像；

预处理模块620，用于对所述证件图像进行预处理，得到输入图像；

识别模块630，用于将所述输入图像输入到预先训练的证件图像识模型中，根据所述证件图像识别模型的输出结果，确定所述证件图像包含的证件信息。

如上述装置，可选地，所述预处理模块620包括：

证件图像分类模块，用于基于预先训练的证件图像分类网络对所述输入图像进行分类，确定所述输入图像的证件类别；

证件图像模板确定模块，用于确定所述证件类别的证件图像模板，并提取所述证件图像模板的图像特征；

匹配与校正能模块，用于基于所述证件图像模板的图像特征，对所述输入图像进行特征匹配与校正，确定校正后的输入图像；

文本检测模块，用于基于预先训练的文本检测网络对校正后的输入图像进行文本定位；

文字识别模块，用户基于预先训练的文字识别网络对文本定位后的输入图像进行文字识别；

输出模块，用于根据文字位置结构化输出对应的证件信息。

如上述装置，可选地，还包括：证件图像分类网络训练模块，所述证件图像分类网络训练模块具体用于：

收集证件图像，制作证件图像分类数据集；

基于所述证件图像分类数据集中的证件图像，对所述证件图像分类网络进行训练，基于输出的证件图像分类结果对所述证件图像分类网络中的参数进行优化。

如上述装置，可选地，还包括：文本检测网络训练模块，所述文本检测网络训练模块具体用于：

收集证件图像，对证件图像中的文字位置打标，制作文字检测数据集；

基于所述文字检测数据集中的证件图像，对所述文本检测网络进行训练，基于输出的文字位置坐标对所述文本检测网络中的参数进行优化。

如上述装置，可选地，还包括：文字识别网络训练模块，所述文字识别网络训练模块具体用于：

收集文字图像，对文字图像中的文字打标，制作文字识别数据集；

基于所述文字识别数据集中的证件图像，对所述文字识别网络进行训练，基于输出的文字内容对所述文字识别网络中的参数进行优化。

如上述装置，可选地，所述获取模块610还用于：

获取同一用户对应的多个证件类别的证件图像的证件信息；

可选地，所述装置还包括：

匹配模块，用于基于所述证件信息，判断所述多个证件类别的证件图像是否匹配。

如上述装置，可选地，所述获取模块610还用于：

获取人脸图像；

相应地，所述装置还包括：

人脸特征提取模块，用于基于预先训练的人脸识别模型，确定所述人脸图像对应的人脸特征；

人脸识别模块，用于基于所述人脸特征，检索人脸实名数据库，确定所述人脸图像对应的实名信息；

相应地，所述匹配模块具体用于：

根据所述实名信息和所述证件信息，判断所述证件图像与所述人脸图像是否匹配。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可，此处不再赘述。

参照图7，示出了本发明一种证件信息识别系统实施例的结构框图，具体可以包括如下装置：

采集装置710，用于采集证件图像；

证件信息识别装置720，用于获取证件图像；对所述证件图像进行预处理，得到输入图像；将所述输入图像输入到预先训练的证件图像识模型中，根据所述证件图像识别模型的输出结果，确定所述证件图像包含的证件信息；

显示装置730，用于显示所述证件信息识别装置输出的识别结果。

对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可，此处不再赘述。

参照图8，示出了本发明一种电子设备实施例的结构框图，所述设备包括：处理器(processor)810、存储器(memory)820和总线830；

其中，处理器810和存储器820通过所述总线830完成相互间的通信；

处理器810用于调用存储器820中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：用于获取证件图像；对所述证件图像进行预处理，得到输入图像；将所述输入图像输入到预先训练的证件图像识模型中，根据所述证件图像识别模型的输出结果，确定所述证件图像包含的证件信息。

本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：用于获取证件图像；对所述证件图像进行预处理，得到输入图像；将所述输入图像输入到预先训练的证件图像识模型中，根据所述证件图像识别模型的输出结果，确定所述证件图像包含的证件信息。

本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：用于获取证件图像；对所述证件图像进行预处理，得到输入图像；将所述输入图像输入到预先训练的证件图像识模型中，根据所述证件图像识别模型的输出结果，确定所述证件图像包含的证件信息。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种证件信息识别方法、一种证件信息识别装置、一种证件信息识别系统、一种电子设备及一种存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种证件信息识别方法，其特征在于，包括：

获取证件图像；

对所述证件图像进行预处理，得到输入图像；

将所述输入图像输入到预先训练的证件图像识模型中，根据所述证件图像识别模型的输出结果，确定所述证件图像包含的证件信息。

2.根据权利要求1所述的方法，其特征在于，所述将所述输入图像输入到预先训练的证件图像识模型中，根据所述证件图像识别模型的输出结果，确定所述证件图像包含的证件信息，包括：

基于预先训练的证件图像分类网络对所述输入图像进行分类，确定所述输入图像的证件类别；

确定所述证件类别的证件图像模板，并提取所述证件图像模板的图像特征；

基于所述证件图像模板的图像特征，对所述输入图像进行特征匹配与校正，确定校正后的输入图像；

基于预先训练的文本检测网络对校正后的输入图像进行文本定位；

基于预先训练的文字识别网络对文本定位后的输入图像进行文字识别；

根据文字位置结构化输出对应的证件信息。

3.根据权利要求2所述的方法，其特征在于，所述证件图像分类网络根据下述方式预先训练得到：

收集证件图像，制作证件图像分类数据集；

基于所述证件图像分类数据集中的证件图像，对所述证件图像分类网络进行训练，基于输出的证件图像分类结果对所述证件图像分类网络中的参数进行优化。

4.根据权利要求3所述的方法，其特征在于，所述文本检测网络根据下述方式预先训练得到：

收集证件图像，对证件图像中的文字位置打标，制作文字检测数据集；

基于所述文字检测数据集中的证件图像，对所述文本检测网络进行训练，基于输出的文字位置坐标对所述文本检测网络中的参数进行优化。

5.根据权利要求4所述的方法，其特征在于，所述文字识别网络根据下述方式预先训练得到：

收集文字图像，对文字图像中的文字打标，制作文字识别数据集；

基于所述文字识别数据集中的证件图像，对所述文字识别网络进行训练，基于输出的文字内容对所述文字识别网络中的参数进行优化。

6.根据权利要求1-5任一项所述的方法，其特征在于，还包括：

获取同一用户对应的多个证件类别的证件图像的证件信息；

基于所述证件信息，判断所述多个证件类别的证件图像是否匹配。

7.根据权利要求1-5任一项所述的方法，其特征在于，还包括：

获取人脸图像；

基于预先训练的人脸识别模型，确定所述人脸图像对应的人脸特征；

基于所述人脸特征，检索人脸实名数据库，确定所述人脸图像对应的实名信息；

根据所述实名信息和所述证件信息，判断所述证件图像与所述人脸图像是否匹配。

8.一种证件信息识别装置，其特征在于，包括：

获取模块，用于获取证件图像；

预处理模块，用于对所述证件图像进行预处理，得到输入图像；

识别模块，用于将所述输入图像输入到预先训练的证件图像识模型中，根据所述证件图像识别模型的输出结果，确定所述证件图像包含的证件信息。

9.一种证件信息识别系统，其特征在于，包括：

采集装置，用于采集证件图像；

证件信息识别装置，用于实现如权利要求1-7任一项所述的证件信息识别方法；

显示装置，用于显示所述证件信息识别装置输出的识别结果。

10.一种电子设备，其特征在于，包括：

存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一项所述的方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。