CN115880695A - 卡证的识别方法、卡证识别模型的训练方法及电子设备 - Google Patents

Abstract

本申请提供了一种卡证的识别方法、卡证识别模型的训练方法及电子设备，具体可以包括：利用图像中卡证的角点位置，对所述卡证进行消除畸变处理，得到处理后的图像；利用所述处理后的图像的特征，确定所述卡证对应的卡证模板；利用所述卡证模板，确定所述处理后的图像中的关键信息；所述关键信息用于作为所述卡证的识别结果。依据本申请实施例，可以提高卡证识别的准确度。

Description

卡证的识别方法、卡证识别模型的训练方法及电子设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种卡证的识别方法、卡证识别模型的训练方法及电子设备。

背景技术

在诸多场景中需要自动化提取卡证的结构化信息，以便进一步做录入处理。这类场景通常存在一些导致识别精度难以保证的问题。例如，受卡证拍摄的影响，导致识别精度下降。又例如，受卡证识别算法算力的约束，导致识别精度下降。

发明内容

本申请实施例提供一种卡证的识别方法、卡证识别模型的训练方法、卡证的识别装置、卡证识别模型的训练装置、电子设备及存储介质，通过通用的卡证识别模板，可以对不同类别的卡证进行识别。

第一方面，本申请实施例提供了一种卡证的识别方法，该方法可以包括步骤：

利用图像中卡证的角点位置，对所述卡证进行消除畸变处理，得到处理后的图像；

利用所述处理后的图像的整体特征，确定所述卡证对应的卡证模板；

利用所述卡证模板，确定所述处理后的图像中的关键信息；所述关键信息用于作为所述卡证的识别结果。

第二方面，本申请实施例提供了一种卡证识别模型的训练方法，该方法可以包括步骤：

利用素材库中的物料生成卡证样本；所述素材库的物料是通过开源代码生成，或通过公开渠道获取的；

对所述卡证样本进行图像化处理，得到包含卡证样本的图像样本；

利用所述包含卡证样本的图像样本，对卡证识别模型进行训练；所述卡证识别模型用于利用包含卡证样本的图像样本中卡证样本的角点位置，对所述卡证样本进行消除畸变处理，得到处理后的图像样本；利用所述处理后的图像样本的特征，确定所述卡证样本对应的卡证模板；利用所述卡证模板，确定所述处理后的图像样本中的关键信息；所述关键信息用于作为所述卡证样本的识别结果。

第三方面，本申请实施例提供了一种卡证的识别装置，该装置可以包括：

消除畸变处理模块，用于利用图像中卡证的角点位置，对所述卡证进行消除畸变处理，得到处理后的图像；

卡证模板确定模块，用于利用所述处理后的图像的整体特征，确定所述卡证对应的卡证模板；

关键信息确定模块，用于利用所述卡证模板，确定所述处理后的图像中的关键信息；所述关键信息用于作为所述卡证的识别结果。

第四方面，本申请实施例提供了一种卡证识别模型的训练装置，该装置可以包括：

卡证样本生成模块，用于利用素材库中的物料生成卡证样本；所述素材库的物料是通过开源代码生成，或通过公开渠道获取的；

图像样本生成模块，用于对所述卡证样本进行图像化处理，得到包含卡证样本的图像样本；

训练模块，用于利用所述包含卡证样本的图像样本，对卡证识别模型进行训练；所述卡证识别模型用于利用包含卡证样本的图像样本中卡证样本的角点位置，对所述卡证样本进行消除畸变处理，得到处理后的图像样本；利用所述处理后的图像样本的特征，确定所述卡证样本对应的卡证模板；利用所述卡证模板，确定所述处理后的图像样本中的关键信息；所述关键信息用于作为所述卡证样本的识别结果。

第五方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器在执行所述计算机程序时实现上述任一项所述的方法。

第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法。

与现有技术相比，本申请具有如下优点：

依据本申请实施例对于包含卡证的图像，可以首先对卡证进行检测和矫正，从而可以降低卡证拍摄时可能出现的卡证倾斜或卡证翻转等情况而导致的识别错误率。另外，可以利用处理后的整幅图像进行特征提取，从而可以得到卡证多个维度的特征，以进行卡证模板的确定。卡证模板可以用于对卡证进行分类以及定位关键信息，由此降低了单一维度特征(例如文字特征)的不确定性，对于卡证的准确识别具有更好的效果。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请的一些实施方式，而不应将其视为是对本申请范围的限制。

图1为本申请提供的卡证的识别方法的场景示意图；

图2为本申请一实施例的卡证的识别方法的流程图；

图3是本申请一实施例的卡证识别模型的训练方法的流程图；

图4是本申请一实施例的素材库中的物料示意图；

图5是本申请一实施例的生成卡证样本的示意图；

图6是本申请一实施例的对卡证样本进行图像化处理的示意图；

图7是本申请一实施例的卡证的识别装置的结构框图；

图8是本申请一实施例的卡证识别模型的训练装置的结构框图；以及

图9为用来实现本申请实施例的电子设备的框图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本申请的构思或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的，而非限制性的。

为便于理解本申请实施例的技术方案，以下对本申请实施例的相关技术进行说明。以下相关技术作为可选方案与本申请实施例的技术方案可以进行任意结合，其均属于本申请实施例的保护范围。

首先对本申请所涉及的名词进行解释。

角点检测：计算机视觉领域中用来获得图像特征的一种方法，广泛应用于运动检测、图像匹配、视频跟踪、三维建模和目标识别等领域中。角点通常被定义为两条边的交点。实际应用中，大多数角点检测算法检测的是拥有特定特征的图像点。这些特征点在图像中有具体的坐标。

特征向量(Embedding)：将图像、文字等高维原始数据映射到低维特征。该低维特征代表了图像、文字等高维原始数据的特征表示。特征向量可以用于相似性比较、检索等。

文字识别(OCR，Optical Character Recognition)：指电子设备检查字符形状，然后用字符识别方法将字符形状翻译成计算机文字的过程。即，对文本资料、图像资料等进行扫描，然后对图像文件进行分析处理，获取文字及版面信息的过程。

图1为示例性的用于实现本申请实施例的方法的一个应用场景的示意图。对于卡证的识别，可以应用于卡证信息的快速录入或卡证信息的备案等场景。对获取到的图像进行检测，以确认图像中是否包含卡证。卡证可以包含身份证、驾驶证、护照、医保卡、购物卡等。对于包含卡证的图像，可以对图像中的卡证进行消除畸变处理。例如，图1所示的示例中，图像中卡证被拿在手中，存在一定角度的倾斜。基于此，可以对图像中的卡证进行消除畸变处理，得到正向视角无畸变的卡证的图像。通过对卡证的图像整体进行特征提取，可以得到卡证的图像的整体特征表示。利用卡证的图像的整体特征表示，可以在预先已建立的特征库中进行匹配，确定出卡证的类别。例如，中国驾驶证类、土耳其护照类等。对应的，在确定出卡证的类别后，还可以依据类别确定对应的预设模板。预设模板的作用可以包括确定卡证中关键信息的位置，以及关键信息的语种等。以驾驶证类为示例，关键信息可以包括驾驶证所允许驾驶的车型，以及驾驶证持有者的头像、姓名等内容。基于关键信息的语种，可以选择对应语种的文字识别模型，对关键信息进行提取。

本申请实施例提供了一种卡证的识别方法，如图2所示为本申请一实施例的卡证的识别方法的流程图，可以包括：

步骤S201：利用图像中卡证的角点位置，对卡证进行消除畸变处理，得到处理后的图像。

本申请实施例的执行主体可以是信息录入设备。通过采集或者用户录入等方式，可以获取到图像。图像可以包括存在卡证的图像或未存在卡证的图像。本申请实施例涉及的方法可以针对存在卡证的图像，由此可以对卡证进行识别。可以利用预先训练的卡证检测模型实现对于存在卡证的图像以及未存在卡证的图像的区分。示例性地，卡证检测模型的判定原理可以包括提取图像的特征。将提取出的特征进行升维或降维处理，得到多个尺度的特征。将多个尺度的特征进行融合处理后，基于融合处理结果进行前景背景的分类、卡证边框的预测以及角点的位置预测。所谓前景背景分类，即可确定出图像中是否包含卡证。

利用角点的位置，可以确定出图像中卡证的宽高比。如果宽高比与预存的宽高比相同，则可以表示图像中卡证的角度是利于识别的。反之，如果宽高比与预存的宽高比不同，可以基于预存的宽高比，对图像中的卡证进行消除畸变处理。或者，可以利用预先训练好的三维透视变换矩阵，对图像中的卡证进行消除畸变处理。消除畸变处理后的图像中，卡证为正向视角无畸变的显示效果。

在进行卡证识别之前，对卡证图像进行消除畸变处理，可以在一定程度上降低由于图像采集角度导致的识别干扰。为后续准确识别提供基础。

步骤S202：利用处理后的图像的整体特征，确定卡证对应的卡证模板。

在进行特征提取时，提取对象可以是处理后的整幅图像。处理后的图像的整体特征可以从文字维度、图像维度、卡证的板式布局维度等多个层面反应处理后的图像整体所包含的内容。特征的表现形式可以是特征向量。

另一方面，可以预先针对不同类别的卡证建立特征库。特征库中的类别可以按照垂类划分为驾驶证类、护照类、医保卡类、购物卡类等。对于每个垂类，还可以更进一步的划分。以垂类为驾驶证类为示例，可以依照驾驶证的准驾车型、发证的国家或地区等粒度继续细分。准驾车型可以包括汽车驾驶证、摩托车驾驶证等。更进一步的，在汽车驾驶证中可以细分为大客车、小轿车等。在特征库中，每个类别的卡证均存储有对应的特征向量。

利用处理后的图像的整体特征，在特征库中进行检索。基于检索结果即可确定与处理后图像中的卡证所对应的卡证模板。在一种卡证识别方式中，确定卡证类别时，需要对卡证进行OCR信息抽取，得到短文本数据。再用其文本数据进行卡证类别识别。由于卡证的颜色以及图案多种多样，而文字印在不同图案的卡证上对于文字的识别会有一定干扰因素。因此在确定类别时会对准确率产生影响。而采用本申请的方案利用图像的整体特征确定卡证模板的过程本质也是对卡证类别的识别，利用图像的整体特征做分类，干扰因素较小，准确率相对更高。

步骤S203：利用卡证模板，确定处理后的图像中的关键信息；关键信息用于作为卡证的识别结果。

卡证模板中会预先标注有卡证的类别、卡证中文字的语种等提示信息。利用卡证模板中的提示信息，可以在处理后的图像中确定关键信息。例如，对于汽车驾驶证模板而言，固定信息可以包含驾驶者编号、驾驶者姓名、驾驶者性别、准驾车型等内容。而跟在固定信息后面的内容，一般可以确定为关键信息。例如，驾驶者编号：1234567。驾驶者姓名：XXX。驾驶者性别：男。准驾车型：C1。对于上述示例，“1234567”、“XXX”、“男”、“C1”等内容均可以对应为关键信息。即，关键信息是当前卡证可以区别于其他卡证的信息。基于确定出的关键信息，即可实现对于卡证内容的识别。

通过上述过程，对于包含卡证的图像，可以首先对卡证进行检测和矫正，从而可以降低卡证拍摄时可能出现的倾斜或翻转等情况导致的识别错误率。另外，可以利用处理后的整幅图像进行特征提取，从而可以得到卡证多个维度的特征，以进行卡证模板的确定。卡证模板可以用于对卡证进行分类以及定位关键信息，由此降低了单一维度特征(例如文字特征)的不确定性，对于卡证的准确识别具有更好的效果。

在一种可能的实现方式中，步骤S201所涉及的利用图像中卡证的角点位置，对卡证进行消除畸变处理，可以包括：

步骤S2011：确定图像中卡证的角点位置。

在确认图像中存在卡证的情况下，利用角点检测技术可以确定卡证的角点，以及角点的位置。在理想情况下，角点的数量为4个。当然，也会出现图像中存在卡证，但是卡证内容缺失的情况。例如，图像中的卡证只有3个角点，卡证的一部分内容并未被拍摄到的情况。基于此，可以对图像中的卡证进行自动补齐。例如，根据图像中卡证的相邻角点和对角点的位置关系，可以推算出未被拍摄到的角点的位置，从而得到该角点的虚拟位置。

步骤S2012：将角点位置与预存的卡证图像模板的角点组成角点对。

根据卡证角点的位置，可以计算出卡证的宽高比。从而依据卡证的宽高比，在预存的卡证图像模板集合中查询到与该宽高比最接近的卡证图像模板。此后，可以将图像中卡证的角点与卡证图像模板对应的角点分别组成角点对。

步骤S2013：利用角点对中角点的位置差异确定畸变消除参数。

利用角点对中角点位置的差异，可以求解透视变换矩阵。透视变换是把一个图像投影到一个新的视平面的过程，该过程包括：把角点在第一二维坐标系中的坐标转换为三维坐标系中的坐标，然后把三维坐标系中的坐标投影到第二二维坐标系。透视变换矩阵可以作为畸变消除参数。

步骤S2014：利用畸变消除参数对图像中卡证进行消除畸变处理。

利用图像中卡证的角点位置以及求解的透视变换矩阵进行计算，可以对图像中的卡证进行消除畸变处理。消除畸变处理后，可以得到正向视角的卡证的图像。

相比于需要采用卡证顶点检测模型获取卡证的所有顶点位置，再用卡证检测模型得到卡证拟合矩形框，结合矩形框给每个卡证分组对应的顶点坐标，根据坐标判断是否横放，再通过一个额外的分类网络判断是否倒放等方式，上述方式一方面判别过程复杂，另外只能矫正横放/倒放等简单情况。而采用本公开实施例中的方式，可以对任意状态的卡证进行消除畸变处理，适用性更强。

在一种可能的实现方式中，还可以包括：

对处理后的图像进行图像优化调整；图像优化调整包括卡证缩放调整以及背景消除调整中的至少一种。

在对图像中的卡证进行畸变消除处理后，可以得到正向视角的卡证的图像。进一步的，还可以对包含正向视角的卡证的图像进行优化调整。

例如，可以根据图像前景背景的检测结果，对图像进行背景消除处理，从而仅保留与卡证内容相对应的部分图像。又如，可以根据预存的卡证图像模板的大小，对正向视角的卡证进行缩放处理，以使得缩放处理后的卡证图像的大小与卡证图像模板的大小相同或者差异在允许范围内。

在一种可能的实现方式中，步骤S202所涉及的利用处理后的图像的整体特征，确定卡证对应的卡证模板，可以包括：

步骤S2021：确定处理后的图像的整体特征，特征用于从卡证的底纹、卡证中元素的布局和卡证中包含的图标中的至少一种维度，反映卡证的类别。

通常而言，卡证的底纹并非是“一张白纸”，而是存在有底纹的。例如，我国的身份证，一面的底纹是长城图案，另一面的底纹是曲线型的网格线。又如，我国的医保卡，一面的底纹是放射性网格线，另一面的底纹是天坛图案。利用底纹的差异可以有助于对卡证的识别。

又例如，不同的卡证布局也是不同的。仍以我国的身份证和医保卡为示例。在医保卡包含人像的一面，医保卡中的元素为左中右布局。左侧为电子芯片，中间位置为用户的个人信息，右侧为头像照片。在身份证包含人像的一面，身份证中的元素为左右布局，左侧为用户的个人信息，右侧为用户的头像。

再例如，一些卡证可能会印制其特制的图标。例如，某车辆销售服务4S店或某商场的会员卡上会印制有该车牌品牌的商标图标或商场的商标图标。又例如，在医保卡上会印制有对应社保局的印章图标。这些图标通常可以作为与其他类别的卡证进行区分的标识。

通过卡证的底纹、卡证中元素的布局和卡证中包含的图标中的至少一种信息，可以加强对卡证的识别精度。基于此，可以利用训练好的特征提取模型对处理后的图像进行特征提取，以使提取出的特征可以只是从卡证的底纹、卡证中元素的布局和卡证中包含的图标中的至少一个维度反映卡证的类别。

步骤S2022：利用处理后的图像的整体特征，在预先构建的模板库中进行检索，确定卡证对应的卡证模板。

处理后的图像的整体特征可以是特征向量的形式。另一方面，可以预先针对不同类别的卡证的特征建立特征库。在得到处理后的图像的整体特征后，可以利用向量检索，在预先构建的特征库匹配出与处理后图像中的卡证相匹配的卡证模板。卡证模板中可以标记有关键信息的位置以及语种。利用关键信息的位置可以有助于关键信息的准确提取。利用语种可以有助于选择合适的文本提取工具，合适的文本提取工具可以是对应语种的文本提取模型。

在一种可能的实现方式中，步骤S203所涉及的利用卡证模板，确定处理后的图像中的关键信息，可以包括：

步骤S2031：利用卡证模板，确定卡证图像中关键信息的位置以及卡证中的文字语种。

通过卡证模板中标记的语种信息，可以有助于选择合适的文本提取工具。例如，语种为英语，则可以采用英语文本识别模型对关键信息进行识别。语种为法语，可以采用法语本文识别模型对关键信息进行识别。关键信息可以是持证人的身份标识相关的信息。

步骤S2032：基于关键信息的位置，利用与文字语种对应的文字提取工具确定关键信息。

以汽车驾驶证模板为示例，固定信息可以包含驾驶者编号、驾驶者姓名、驾驶者性别、准驾车型等文字。而跟在固定信息后面的内容，一般可以确定为关键信息。例如，驾驶者编号：1234567。驾驶者姓名：XXX。驾驶者性别：男。准驾车型：C1。对于上述示例，则1234567、XXX、男、C1可以对应为关键信息。通过汽车驾驶证模板，可以准确、快速的定位关键信息。进而，利用对应的文字提取工具，可以准确的对文本进行识别。尤其对应小语种，可以提高文字提取的准确性。

本申请实施例提供了一种卡证识别模型的训练方法，如图3所示为本申请一实施例的卡证识别模型的训练方法的流程图，可以包括：

步骤S301：利用素材库中的物料生成卡证样本；素材库的物料是通过开源代码生成，或通过公开渠道获取的。

素材库可以是预先构建的。素材库中的物料可以依照物料类别进行存储。结合图4所示，示例性地，素材库中的物料类别可以包括底纹、图标、人像、背景、语种中的至少一种。上述物料可以分别存储至子库中，例如，底纹可以存储至底纹库中。底纹可以对应卡证的底纹，可以利用底纹生成软件生成，或者可以利用采集到的已有卡证图样的底纹获得。图标可以对应不同品牌的商标或者用于表征不同企业或个人的印章等，可以利用采集到的已有图标或者图标开源社区获得。人像可以通过生成类AI算法生成虚拟人像。示例性地，AI算法可以是风格生成对抗网络(StyleGAN，Style Generative Adversarial Networks)。背景可以对应卡证的拍摄环境，作为卡证的背景。背景可以通过开源社区的数据集中获取。板式可以基于先验知识建立。素材库中的物料可以动态更新。

利用素材库中的物料，可以生成虚拟的各类卡证样本。由于卡证样本都是利用自动化方式生成的，无需获取真实信息，也不涉及敏感信息。样本获取速度更快，安全性更高。

步骤S302：对卡证样本进行图像化处理，得到包含卡证样本的图像样本。

卡证样本的图像化处理的目的是为了模拟用户对卡证的拍摄场景。例如，在一些场景下，待识别的卡证是在用户手持的状态下拍摄的。由此会存在包含卡证的图像中存在背景的干扰，以及用户在手持状态下卡证并非正视角的状态。基于此，可以将卡证样本与素材库中的背景物料相结合以进行图像化处理，从而得到包含卡证样本的图像样本。

步骤S303：利用包含卡证样本的图像样本，对卡证识别模型进行训练；卡证识别模型用于利用包含卡证样本的图像样本中卡证样本的角点位置，对卡证样本进行消除畸变处理，得到处理后的图像样本；利用处理后的图像样本的特征，确定卡证样本对应的卡证模板；利用卡证模板，确定处理后的图像样本中的关键信息；关键信息用于作为卡证样本的识别结果；其中，卡证识别模型为神经网络模型。

对包含卡证样本的图像样本进行标注，标注包括前背景分类、边框位置、角点位置、卡证的偏移情况、卡证样本类型等。将已标注的包含卡证样本的图像样本和未包含卡证样本的图像样本输入待训练的卡证识别模型，卡证识别模型可以实现对图像中是否包含卡证样本、对出现偏移的卡证样本进行去畸变调整、对卡证样本的类型进行识别等过程。即，卡证识别模型的工作原理和前述卡证的识别方法中的各步骤相同。

卡证识别模型作为神经网络模型，神经网络模型是一类包含卷积计算的前馈神经网络，是基于图像任务的平移不变性设计的，擅长应用于图像处理等任务。卷积神经网络利用了卷积和池化层，能够高效提取图像的特征。再通过连接在池化层后面的全连接层压缩图像信息，最终输出结果。输出的结果可以包括图像中是否包含卡证。若图像中包含卡证的情况下，输出的结果还可以包括卡证中关键信息的位置等。

通过上述步骤，卡证识别模型的训练可以通过开源数据构建的物料生成卡证样本，降低了对真实卡证数据的依赖。并且由于生成的卡证样本中的内容均是虚拟内容，杜绝了隐私数据的泄露。在保障数据安全的前提下实现一种可以对不同种类的卡证进行识别的通用卡证识别模型的训练。

在一种可能的实现方式中，步骤S301中所涉及的利用素材库中的物料生成卡证样本，可以包括：

步骤S3011：将从素材库中随机抽取的卡证样本底纹图案剪裁为指定宽高比。

通常而言，卡证的底纹并非是“一张白纸”，而是存在有底纹的。例如，我国的身份证，一面的底纹是长城图案，另一面的底纹是曲线型的网格线。又如，我国的医保卡，一面的底纹是放射性网格线，另一面的底纹是天坛图案。在素材库中预存有多种已有的或者随机生成的底纹图案。结合图5所示，可以在素材库的文理库中随机抽取底纹图案，并且依照指定宽高比对底纹图案进行检测。其中卡证可以包括横版卡证和竖版卡证。横版卡证的宽高比一般可以在1.4至1.62之间。竖版卡证的宽高比一般可以在0.7至0.79之间。此外，还可以随机设置底纹图案4个端部的圆角半径。

步骤S3012：依据卡证的布局，在剪裁后的底纹图案上设置多个区域，区域包括卡证标题区域、卡证主体区域、卡证注释区域和头像区域中的至少一种。

按照区域划分，卡证一般可以包括卡证标题区域、卡证主体区域、卡证注释区域、头像区域等。卡证标题区域可以用于表征卡证的内容，例如身份证、医保卡等。卡证主体区域可以是包含关键信息的部分，例如前述的用户名、出生日期、编号等。卡证注释区域可以是对卡证中内容的解释性文字，以驾驶证为示例，卡证注释区域可以包括对准驾车型代号的解释。例如A1的注释为大型客车、A2的注释为牵引车、C1的注释为小型汽车等。头像区域用于放置卡证拥有者的头像。

卡证的布局可以是随机布局，也可以是基于已有的卡证布局为参考，对各区域的位置进行适当调整所生成的布局。适当调整可以包括将已有区域的位置进行各向移动，移动的距离可以是在预先设定的移动距离范围以内。

步骤S3013：在区域中填充文本内容，得到卡证样本。

在各区域中，填充对应的文本内容，从而生成一张完整的带有虚拟信息的卡证样本。例如，可以从素材库的图标库中随机选择图标，填充在卡证的指定位置。在人像库中随机选择人像，填充至头像区域。随机选择字体语料库中的语种，生成填充的文字。填充的文字可以以客观事实为依据随机生成的。例如，对于出生年月，可以以当前日期为的前100年的日期。对于卡证的标题，可以是随机生成的某商场、某品牌等。

在一种可能的实现方式中，步骤S302中所涉及的对卡证样本进行图像化处理，得到包含卡证样本的图像样本，包括：

步骤S3021：从素材库中随机选择背景图像。

结合图6所示，背景图像可以是用于模拟拍照环境的。例如，背景图像可以是手部的图像、桌子的图像、天空的图像、绿植的图像等。背景图像可以从图5所示的素材库的背景库中随机选取。在背景图像是手部图像的情况下，可以用于模拟用户手持卡证的拍照环境。在背景图像是桌子的图像的情况下，可以用于模拟将卡证放置在桌子上的拍照环境。

步骤S3022：依据指定规则，将卡证样本与背景图像相结合，将结合后的图像作为包含卡证样本的图像样本；指定规则是依据卡证样本在背景图像中的大小、位置、遮挡情况中的至少一种确定的。

对应图6中的“结合”。将卡证样本与背景图像相结合可以是将卡证样本作为顶层图层，将背景图像作为顶层图层，从而形成相结合后的图像。此外，在结合过程中还需遵循一定的规则。例如，在结合过程中可以对卡证的旋转和缩放处理。其中，缩放规则可以是在指定范围内，以避免卡证缩减的过小而造成难以识别。又如，在结合过程中，卡证的位置并非在背景图像的中间位置，而是有可能在任意位置。甚至有可能超出背景图像的范围。因此规则还可以对超出背景图像范围的区域的大小进行约束，从而避免超出的区域过大而导致信息的遗漏。再如，在结合过程中可能会出现将多个卡证样本与一个背景图像相结合。由此可能会产生多个卡证相互遮挡的情况，与卡证样本超出背景图像的范围类似，规则可以对遮挡的范围进行约束，避免遮挡面积过大而导致信息的遗漏。

在一种可能的实现方式中，对包含卡证样本的图像样本进行数据增强处理的过程；

数据增强处理可以包括透视变换、饱和度变换、明暗度变换、对比度变换、运动模糊变换中的至少一种。

对应图6中的“数据增强”，通过对包含卡证样本的图像样本进行包括透视变换、饱和度变换、明暗度变换、对比度变换、运动模糊变换中的至少一种变换处理，一来可以更进一步的增加图像样本的数量，二来可以使训练的模型具有更强的识别能力。

在一种可能的实现方式中，步骤S203所涉及的利用包含卡证样本的图像样本，对卡证识别模型进行训练，可以包括：

步骤S2031：利用包含卡证样本的图像样本的背景标注结果、卡证样本边框标注结果和卡证样本的角点位置标注结果，对卡证识别模型的第一子模型进行训练；第一子模型用于在图像样本中预测是否包含卡证样本，以及在预测结果为包含卡证样本的情况下基于边框预测卡证样本的角点位置。

卡证识别模型可以是端到端模型，该模型中可以包括不同的子模型。每个子模型可以分别对应执行各自的任务。

第一子模型可以用于对图像样本进行识别，以检测图像中是否包含卡证样本。具体而言，在利用骨干网络(Backbone)对图像样本进行特征提取后，经过特征融合网络(Neck)将不同尺度的特征进行融合后，利用分类网络(Head)得到检测结果。在检测结果为包含卡证样本的情况下，可以基于卡证样本的边框，预测出卡证样本的角点位置。即，第一子模型可以执行3个任务，第1个任务是利用前背景分类，确定属于卡证的像素点。第2个任务是通过检测卡证的边框，确定是否属于卡证的像素点。第3个任务是检测角点的位置，以确定属于卡证的像素点。

将已标注的图像样本输入待训练的第一子模型，第一子模型可以根据图像的整体特征，利用前背景分类维度、卡证的边框维度和卡证的角点维度确定是否图像样本中是否包含卡证，以及卡证的角点位置。在训练中，可以根据第一子模型的输出结果和图6所示的标注的情况，调整3个子任务之间的权重参数。即，如果将前背景分类的权重参调高，则在识别时可以着重依赖于前背景分类的结果。通过调整3个子任务之间的权重参数，可以应对不同的图像情况，例如有些图像样本前背景较为明显，而卡证样本的边框或角点不明显。有些卡证样本的边框较为明显但前背景不明显。通过根据图像样本的情况调整第一子模型3个子任务之间的权重参数，可以应对不同拍摄场景。提高卡证的检测准确性。

步骤S2032：利用卡证样本的类型标注结果，对卡证识别模型的第二子模型进行训练；第二子模型用于依据图像样本的特征，确定卡证样本对应的类别。

对于存在卡证样本的图像样本，可以首先对图像样本中的卡证样本进行消除畸变处理。例如，卡证样本在进行图像化处理时，可能会将卡证的尺寸缩小为原始尺寸的1/2或1/3等。另外，卡证样本在进行图像化处理时，还可能对卡证进行透视变换处理。例如，沿X轴旋转45°、沿Z轴旋转15°等。利用求解畸变消除参数，可以将存在缩放和/或透视变换的卡证图样还原为标准大小，从而完成消除畸变处理。

第二子模型的任务主要是对卡证样本进行类别识别。基于类别识别结果和类别标注结果的差异，对骨干网络中的参数进行调整，以使得骨干网络提取出的特征满足类别内紧凑、类别间分散的特征分布。第二子模型可以利用图像识别算法(Margin-Base)实现。对于类别识别处理，可以利用角度间隔损失(Arcface)对第二子模型进行训练。

上述第一子模型和第二子模型可以同步进行训练，即，两个子模型的输入均为标注后的图像样本。两个子模型根据预测结果与标注结果的差异对模型中的参数进行迭代调整，直至两个子模型根据预测结果与标注结果的差异在允许范围内。

上述卡证的识别方法、卡证识别模型的训练方法可以是用户终端本地的一个应用程序(APP)，或者是一个APP中的一个功能模块，也可以是云端提供的一种服务，用户调用该服务对应的调用接口，将包含卡证的图像或是素材库中的物料上传至云端，并接收云端反馈的结果，例如卡证的识别结果，或者训练好的卡证识别模型。

示例性地，在云端可以部署有若干分布式计算节点，每个计算节点中都具有计算、存储等处理资源。在云端，可以组织由多个计算节点来提供卡证识别方法中的某一个或某几个服务；或者，可以组织由多个计算节点来提供卡证识别模型的训练方法中的某一个或某几个服务。以卡证识别方法为示例，服务可以包括利用图像中卡证的角点位置，对卡证进行消除畸变处理，得到处理后的图像；利用处理后的图像的整体特征，确定卡证对应的卡证模板；利用卡证模板，确处理后的图像中的关键信息等。当然，一个计算节点也可以提供一种或多种服务。云端提供该服务的方式可以是对外提供服务接口，用户调用该服务接口以使用相应的服务。

针对本发明实施例提供的方案，云端可以提供有信息识别服务的服务接口，称为目标服务接口。当用户需要针对包含卡证的图像进行识别的时候；或者，用户需要对卡证识别模型进行训练的时候，通过用户设备调用该目标服务接口，以向云端触发调用该目标服务接口的请求，在该请求中携带有需要识别的目标对象的图像。云端确定响应该请求的计算节点，利用该计算节点中的处理资源执行本申请实施例所提供的各步骤。

与本申请实施例提供的方法的应用场景以及方法相对应地，本申请实施例还提供一种卡证的识别装置。如图7所示为本申请一实施例的卡证的识别装置的结构框图，该卡证的识别装置可以包括：

消除畸变处理模块701，用于利用图像中卡证的角点位置，对卡证进行消除畸变处理，得到处理后的图像；

卡证模板确定模块702，用于利用处理后的图像的整体特征，确定卡证对应的卡证模板；

关键信息确定模块703，用于利用卡证模板，确定处理后的图像中的关键信息；关键信息用于作为卡证的识别结果。

在一种可能的实现方式中，消除畸变处理模块701，可以包括：

角点位置确定子模块，用于确定图像中卡证的角点位置；

角点对组建子模块，用于将角点位置与预存的卡证图像模板的角点组成角点对；

畸变消除参数确定子模块，用于利用角点对中角点的位置差异确定畸变消除参数；

消除畸变处理执行子模块，用于利用畸变消除参数对图像中卡证进行消除畸变处理。

在一种可能的实现方式中，还可以包括优化调整模块，优化调整模块可以用于：对处理后的图像进行图像优化调整；图像优化调整包括卡证缩放调整以及背景消除调整中的至少一种。

在一种可能的实现方式中，卡证模板确定模块702，可以包括：

特征确定子模块，用于确定处理后的图像的整体特征，特征用于从卡证的底纹、卡证中元素的布局和卡证中包含的图标中的至少一种维度，反映卡证的类别；

检索子模块，用于利用处理后的图像的整体特征，在预先构建的模板库中进行检索，确定卡证对应的卡证模板。

在一种可能的实现方式中，关键信息确定模块703，可以包括：

位置及语种确定子模块，用于利用卡证模板，确定卡证图像中关键信息的位置以及卡证中的文字语种；

关键信息确定执行子模块，用于基于关键信息的位置，利用与文字语种对应的文字提取工具确定关键信息。

与本申请实施例提供的方法的应用场景以及方法相对应地，本申请实施例还提供一种卡证识别模型的训练装置。如图8所示为本申请一实施例的卡证识别模型的训练装置的结构框图，可以包括：

卡证样本生成模块801，用于利用素材库中的物料生成卡证样本；素材库的物料是通过开源代码生成，或通过公开渠道获取的；

图像样本生成模块802，用于对卡证样本进行图像化处理，得到包含卡证样本的图像样本；

训练模块803，用于利用包含卡证样本的图像样本，对卡证识别模型进行训练；卡证识别模型用于利用包含卡证样本的图像样本中卡证样本的角点位置，对卡证样本进行消除畸变处理，得到处理后的图像样本；利用处理后的图像样本的特征，确定卡证样本对应的卡证模板；利用卡证模板，确定处理后的图像样本中的关键信息；关键信息用于作为卡证样本的识别结果；其中，卡证识别模型为神经网络模型。

在一种可能的实现方式中，卡证样本生成模块801，可以包括：

剪裁子模块，用于将从素材库中随机抽取的卡证样本底纹图案剪裁为指定宽高比；

布局子模块，用于依据卡证的布局，在剪裁后的底纹图案上设置多个区域，区域包括卡证标题区域、卡证主体区域、卡证注释区域和头像区域中的至少一种；

卡证样本生成执行子模块，用于在区域中填充文本内容，得到卡证样本。

在一种可能的实现方式中，图像样本生成模块802，可以包括：

背景图像选择子模块，用于从素材库中随机选择背景图像；

结合子模块，用于依据指定规则，将卡证样本与背景图像相结合，将结合后的图像作为包含卡证样本的图像样本；指定规则是依据卡证样本在背景图像中的大小、位置、遮挡情况中的至少一种确定的。

在一种可能的实现方式中，还包括数据增强处理模块；

数据增强处理模块用于对包含卡证样本的图像样本进行数据增强处理；数据增强处理包括透视变换、饱和度变换、明暗度变换、对比度变换、运动模糊变换中的至少一种。

在一种可能的实现方式中，训练模块803，可以包括：

第一训练子模块，用于利用包含卡证样本的图像样本的背景标注结果、卡证样本边框标注结果和卡证样本的角点位置标注结果，对卡证识别模型的第一子模型进行训练；第一子模型用于在图像样本中预测是否包含卡证样本，以及在预测结果为包含卡证样本的情况下基于边框预测卡证样本的角点位置；

第二训练子模块，用于利用卡证样本的类型标注结果，对卡证识别模型的第二子模型进行训练；第二子模型用于依据图像样本的特征，确定卡证样本对应的类别。

本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述，并具备相应的有益效果，在此不再赘述。

图9为用来实现本申请实施例的电子设备的框图。如图9所示，该电子设备包括：存储器910和处理器920，存储器910内存储有可在处理器920上运行的计算机程序。处理器920执行该计算机程序时实现上述实施例中的方法。存储器910和处理器920的数量可以为一个或多个。

该电子设备还包括：

通信接口930，用于与外界设备进行通信，进行数据交互传输。

如果存储器910、处理器920和通信接口930独立实现，则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器910、处理器920及通信接口930集成在一块芯片上，则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。

本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现本申请实施例中提供的方法。

本申请实施例还提供了一种芯片，该芯片包括处理器，用于从存储器中调用并运行存储器中存储的指令，使得安装有芯片的通信设备执行本申请实施例提供的方法。

本申请实施例还提供了一种芯片，包括：输入接口、输出接口、处理器和存储器，输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连，处理器用于执行存储器中的代码，当代码被执行时，处理器用于执行申请实施例提供的方法。

应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(Advanced RISC Machines，ARM)架构的处理器。

进一步地，可选的，上述存储器可以包括只读存储器和随机访问存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以包括随机访问存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM均可用。例如，静态随机访问存储器(Static RAM，SRAM)、动态随机访问存储器(Dynamic Random Access Memory，DRAM)、同步动态随机访问存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机访问存储器(Double Data RateSDRAM，DDR SDRAM)、增强型同步动态随机访问存储器(Enhanced SDRAM，ESDRAM)、同步链接动态随机访问存储器(Sync link DRAM，SLDRAM)和直接内存总线随机访问存储器(DirectRambus RAM，DR RAM)。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生依照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中描述的或在此以其他方式描述的任何过程或方法可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。

在流程图中描述的或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

应理解的是，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本申请的示例性实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请记载的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种卡证的识别方法，其特征在于，包括：

利用图像中卡证的角点位置，对所述卡证进行消除畸变处理，得到处理后的图像；

利用所述处理后的图像的整体特征，确定所述卡证对应的卡证模板；

利用所述卡证模板，确定所述处理后的图像中的关键信息；所述关键信息用于作为所述卡证的识别结果。

2.根据权利要求1所述的方法，其特征在于，所述利用图像中卡证的角点位置，对所述卡证进行消除畸变处理，包括：

确定所述图像中卡证的角点位置；

将所述角点位置与预存的卡证图像模板的角点组成角点对；

利用所述角点对中角点的位置差异确定畸变消除参数；

利用所述畸变消除参数对所述图像中卡证进行消除畸变处理。

3.根据权利要求1或2所述的方法，其特征在于，还包括：

对所述处理后的图像进行图像优化调整；所述图像优化调整包括卡证缩放调整以及背景消除调整中的至少一种。

4.根据权利要求1所述的方法，其特征在于，所述利用所述处理后的图像的整体特征，确定所述卡证对应的卡证模板，包括：

确定所述处理后的图像的整体特征，所述整体特征用于从卡证的底纹、卡证中元素的布局和卡证中包含的图标中的至少一种维度，反映所述卡证的类别；

利用所述处理后的图像的整体特征，在预先构建的模板库中进行检索，确定所述卡证对应的卡证模板。

5.根据权利要求1所述的方法，其特征在于，所述利用所述卡证模板，确定所述处理后的图像中的关键信息，包括：

利用所述卡证模板，确定所述卡证中关键信息的位置以及所述卡证中的文字语种；

基于所述关键信息的位置，利用与所述文字语种对应的文字提取工具确定关键信息。

6.一种卡证识别模型的训练方法，其特征在于，包括：

利用素材库中的物料生成卡证样本；所述素材库的物料是通过开源代码生成，或通过公开渠道获取的；

对所述卡证样本进行图像化处理，得到包含卡证样本的图像样本；

利用所述包含卡证样本的图像样本，对卡证识别模型进行训练；所述卡证识别模型用于利用包含卡证样本的图像样本中卡证样本的角点位置，对所述卡证样本进行消除畸变处理，得到处理后的图像样本；利用所述处理后的图像样本的特征，确定所述卡证样本对应的卡证模板；利用所述卡证模板，确定所述处理后的图像样本中的关键信息；所述关键信息用于作为所述卡证样本的识别结果；

其中，所述卡证识别模型为神经网络模型。

7.根据权利要求6所述的方法，其特征在于，所述利用素材库中的物料生成卡证样本，包括：

将从所述素材库中随机抽取的卡证样本底纹图案剪裁为指定宽高比；

依据卡证的布局，在剪裁后的底纹图案上设置多个区域，所述区域包括卡证标题区域、卡证主体区域、卡证注释区域和头像区域中的至少一种；

在所述区域中填充文本内容，得到所述卡证样本。

8.根据权利要求6所述的方法，其特征在于，所述对所述卡证样本进行图像化处理，得到包含卡证样本的图像样本，包括：

从所述素材库中随机选择背景图像；

依据指定规则，将所述卡证样本与所述背景图像相结合，将结合后的图像作为包含卡证样本的图像样本；所述指定规则用于指示所述卡证样本在所述背景图像中的大小、位置、遮挡情况中的至少一种。

9.根据权利要求6所述的方法，其特征在于，还包括对所述包含卡证样本的图像样本进行数据增强处理；

所述数据增强处理包括透视变换、饱和度变换、明暗度变换、对比度变换、运动模糊变换中的至少一种。

10.根据权利要求6所述的方法，其特征在于，所述利用所述包含卡证样本的图像样本，对卡证识别模型进行训练，包括：

利用所述包含卡证样本的图像样本的背景标注结果、卡证样本边框标注结果和卡证样本的角点位置标注结果，对卡证识别模型的第一子模型进行训练；所述第一子模型用于在图像样本中预测是否包含卡证样本，以及在预测结果为包含卡证样本的情况下基于边框预测卡证样本的角点位置；

利用所述卡证样本的类型标注结果，对卡证识别模型的第二子模型进行训练；所述第二子模型用于依据图像样本的特征，确定卡证样本对应的类别。

11.一种卡证的识别装置，其特征在于，包括：

消除畸变处理模块，用于利用图像中卡证的角点位置，对所述卡证进行消除畸变处理，得到处理后的图像；

卡证模板确定模块，用于利用所述处理后的图像的整体特征，确定所述卡证对应的卡证模板；

关键信息确定模块，用于利用所述卡证模板，确定所述处理后的图像中的关键信息；所述关键信息用于作为所述卡证的识别结果。

12.一种卡证识别模型的训练装置，其特征在于，包括：

卡证样本生成模块，用于利用素材库中的物料生成卡证样本；所述素材库的物料是通过开源代码生成，或通过公开渠道获取的；

图像样本生成模块，用于对所述卡证样本进行图像化处理，得到包含卡证样本的图像样本；

训练模块，用于利用所述包含卡证样本的图像样本，对卡证识别模型进行训练；所述卡证识别模型用于利用包含卡证样本的图像样本中卡证样本的角点位置，对所述卡证样本进行消除畸变处理，得到处理后的图像样本；利用所述处理后的图像样本的特征，确定所述卡证样本对应的卡证模板；利用所述卡证模板，确定所述处理后的图像样本中的关键信息；所述关键信息用于作为所述卡证样本的识别结果；

其中，所述卡证识别模型为神经网络模型。

13.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器在执行所述计算机程序时实现权利要求1-10中任一项所述的方法。

14.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-10中任一项所述的方法。

Images