CN117315705B - 通用的卡证识别方法、装置、系统、电子设备及存储介质 - Google Patents

Abstract

本申请涉及一种通用的卡证识别方法、装置、系统、电子设备及存储介质。检测到待识别卡证图像后，调用分类器；将所述待识别卡证图像与所述分类器中的候选卡证识别模板进行对比，判断是否存在与所述待识别卡证图像匹配的模板；若在所述候选卡证识别模板中没有与所述待识别卡证图像匹配的模板，则显示自定义模板编辑界面，提示用户创建所述待识别卡证图像匹配的自定义模板；接收到用户上传的模板图片和基于所述模板图片选定的参照字段和识别区后，判断所述参照字段和所述识别区是否符合对应的框选要求；若均符合对应的框选要求，则生成所述待识别卡证图像匹配的自定义模板；基于自定义模板对所述待识别卡证图像进行识别。

Description

通用的卡证识别方法、装置、系统、电子设备及存储介质

技术领域

本申请涉及图像识别技术领域，尤其是涉及一种通用的卡证识别方法、装置、系统、电子设备及存储介质。

背景技术

光学字符识别（Optical Character Recognition，OCR）是一种可以将图像中的文本识别转换为计算机可编辑的文本的技术。这种技术主要应用于扫描和识别印刷或手写文档，从而将它们数字化。目前，OCR技术可以广泛应用于文档数字化、图像处理、自动化填写表格、光学字符防伪等多个领域。

在文档数字化领域中，OCR可识别的类型多达十几种，如身份证识别、发票识别、营业执照识别等，基本可以满足常用的业务中大部分需求，且在实际的应用场景中表现良好。但是，仅靠增加识别场景终究不能灵活适应所有的需求。在一些使用范围较小的卡证文档（例如，仅限在某个地区发放的证照）的识别场景下，OCR的适用性较差。

发明内容

本申请提供一种通用的卡证识别方法、装置、系统、电子设备及存储介质。提供给用户自行创建识别模板的功能，以便于适用特殊场景下的识别需求，提升OCR的适用性。

第一方面，本申请提供一种通用的卡证识别方法，包括：

检测到待识别卡证图像后，调用分类器，所述分类器中包含至少一个候选卡证识别模板；

将所述待识别卡证图像与所述分类器中的候选卡证识别模板进行对比，判断是否存在与所述待识别卡证图像匹配的模板；

若在所述候选卡证识别模板中没有与所述待识别卡证图像匹配的模板，则显示自定义模板编辑界面，提示用户创建所述待识别卡证图像匹配的自定义模板；

接收到用户上传的模板图片和基于所述模板图片选定的参照字段和识别区后，判断所述参照字段和所述识别区是否符合对应的框选要求；

若所述参照字段和所述识别区均符合对应的框选要求，则生成所述待识别卡证图像匹配的自定义模板；

响应于添加模板请求，将所述待识别卡证图像匹配的自定义模板添加到分类器中；

基于调整后的分类器对所述待识别卡证图像进行识别。

可选的，所述将所述待识别卡证图像与所述分类器中的候选卡证识别模板进行对比，判断是否存在与所述待识别卡证图像匹配的模板，包括：

针对每一个候选卡证识别模板，从所述候选卡证识别模板中提取参照字段信息；所述参照字段信息包括参照字段的字符信息和位置信息；

对所述待识别卡证图像进行初步识别，确定所述待识别卡证图像中的全部字段；

根据所述参照字段的字符信息，确定所述参照字段与所述待识别卡证图像中的全部字段的重复率；

若存在重叠率大于等于预设值的候选卡证识别模板，则确定存在与所述待识别卡证图像匹配的模板；

若不存在重叠率大于等于预设值的候选卡证识别模板，则确定不存在与所述待识别卡证图像匹配的模板。

可选的，所述方法还包括：

若存在重叠率大于等于预设值的候选卡证识别模板，则从中选取若干准匹配识别模板；

针对每一准匹配识别模板，保留所述准匹配识别模板中与所述待识别卡证图像相同的参照字段，删除其它字段；

根据所述参照字段的位置信息，从所述准匹配识别模板中提取相同的参照字段的列特征、行特征、同行特征；

针对所述待识别卡证图像，保留所述待识别卡证图像中与所述准匹配识别模板相同的参照字段，删除其它字段；

根据所述参照字段的位置信息，从所述待识别卡证图像中提取相同的参照字段的列特征、行特征、同行特征；

将所述待识别卡证图像中参照字段的列特征、行特征、同行特征，分别与每一所述准匹配识别模板中参照字段的列特征、行特征、同行特征进行对比，确定匹配识别模板；

基于所述匹配识别模板对所述待识别卡证图像进行识别。

可选的，所述基于所述匹配识别模板对所述待识别卡证图像进行识别，包括：

获取所述匹配识别模板的参照字段信息、识别区信息、透视变换信息；

根据所述参照字段信息，判断所述匹配识别模板与所述待识别卡证图像是否匹配；

若确定所述匹配识别模板与所述待识别卡证图像匹配，则根据所述匹配识别模板的透视变换信息，对所述待识别卡证图像进行透视变换；

根据变换后的待识别卡证图像与所述匹配识别模板的大小关系、所述识别区信息，确定变换后的待识别卡证图像的识别区的尺寸；

根据所述参照字段信息、识别区信息、变换后的待识别卡证图像的识别区的尺寸，确定变换后的待识别卡证图像的识别区的位置；

确定所述变换后的待识别卡证图像的识别区中的待识别文本框；

调用所述匹配识别模板对应的识别算法，对所述待识别文本框中的内容进行识别。

可选的，所述透视变换信息包括透视变换角点相对于参照字段的位置信息、透视变换角点计算公式；所述根据所述匹配识别模板的透视变换信息，对所述待识别卡证图像进行透视变换，包括：

根据所述匹配识别模板中透视变换角点相对于参照字段的位置信息，确定所述待识别卡证图像中变换前的透视变换角点位置信息；

根据所述待识别卡证图像变换前的透视变换角点位置信息和所述匹配识别模板的透视变换角点计算公式，确定所述待识别卡证图像变换后的透视变换角点位置信息；

基于所述待识别卡证图像变换前的透视变换角点位置信息和变换后的透视变换角点位置信息，对所述待识别卡证图像进行透视变换。

可选的，所述确定所述变换后的待识别卡证图像的识别区中的待识别文本框，包括：

根据所述识别区的位置信息、识别过程中生成的文本框的位置信息，将完全位于所述识别区内的文本框确定为待识别文本框；

检测所述识别区与文本框的交点；

针对每一个与所述识别区有交点的文本框，根据所述文本框的位置信息、所述识别区的位置信息，确定所述文本框在所述识别区内的面积相对于所述文本框的面积占比；将面积占比大于预设面积比的文本框确定为待识别文本框。

第二方面，本申请提供一种通用的卡证识别装置，包括：

分类器调用模块，用于检测到待识别卡证图像后，调用分类器，所述分类器中包含至少一个候选卡证识别模板；

对比模块，用于将所述待识别卡证图像与所述分类器中的候选卡证识别模板进行对比，判断是否存在与所述待识别卡证图像匹配的模板；

自定义模板模块，用于若在所述候选卡证识别模板中没有与所述待识别卡证图像匹配的模板，则显示自定义模板编辑界面，提示用户创建所述待识别卡证图像匹配的自定义模板；接收到用户上传的模板图片和基于所述模板图片选定的参照字段和识别区后，判断所述参照字段和所述识别区是否符合对应的框选要求；若所述参照字段和所述识别区均符合对应的框选要求，则生成所述待识别卡证图像匹配的自定义模板；

分类器管理模块，用于响应于添加模板请求，将所述待识别卡证图像匹配的自定义模板添加到分类器中；

识别模块，用于基于调整后的分类器对所述待识别卡证图像进行识别。

第三方面，本申请提供一种电子设备，包括：存储器和处理器；

所述存储器，用于存储程序指令；

所述处理器，用于调用并执行所述存储器中的程序指令，执行如第一方面任一项所述的通用的卡证识别方法。

第四方面，本申请提供一种计算机可读存储介质，存储有能够被处理器加载并执行第一方面的通用的卡证识别方法的计算机程序。

第五方面，本申请提供一种通用的卡证识别系统，包括：

自定义模板模块，用于显示自定义模板编辑界面，提示用户创建待识别卡证图像匹配的自定义模板；接收到用户上传的模板图片和基于所述模板图片选定的参照字段和识别区后，判断所述参照字段和所述识别区是否符合对应的框选要求；若所述参照字段和所述识别区均符合对应的框选要求，则生成自定义模板；

分类器管理模块，用于响应于添加模板请求，将自定义模板添加到分类器中；

图像识别模块，用于对待识别卡证图像进行识别。

本申请提供了一种通用的卡证识别方法、装置、系统、电子设备及存储介质。检测到待识别卡证图像后，调用分类器，所述分类器中包含至少一个候选卡证识别模板；将所述待识别卡证图像与所述分类器中的候选卡证识别模板进行对比，判断是否存在与所述待识别卡证图像匹配的模板；若在所述候选卡证识别模板中没有与所述待识别卡证图像匹配的模板，则显示自定义模板编辑界面，提示用户创建所述待识别卡证图像匹配的自定义模板；接收到用户上传的模板图片和基于所述模板图片选定的参照字段和识别区后，判断所述参照字段和所述识别区是否符合对应的框选要求；若所述参照字段和所述识别区均符合对应的框选要求，则生成所述待识别卡证图像匹配的自定义模板；响应于添加模板请求，将所述待识别卡证图像匹配的自定义模板添加到分类器中；基于调整后的分类器对所述待识别卡证图像进行识别。提供给用户自行创建识别模板的功能，以便于适用特殊场景下的识别需求，提升OCR的适用性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的一种应用场景示意图；

图2为本申请一实施例提供的一种通用的卡证识别方法的流程图；

图3为本申请一实施例提供的一种模板和分类器的设置流程；

图4为本申请一实施例提供的一种分类器的设置界面图；

图5为本申请一实施例提供的一种分类器的设置界面图；

图6为本申请一实施例提供的一种自定义模板模块增加模板界面图；

图7为本申请一实施例提供的一种模板编辑页面图；

图8为本申请一实施例提供的一种模板编辑页面图；

图9为本申请一实施例提供的一种测试页面图；

图10为本申请一实施例提供的一种测试结果图；

图11为本申请一实施例提供的一种通用的卡证识别方法的装置结构示意图；

图12为本申请一实施例提供的一种电子设备的结构示意图；

图13为本申请一实施例提供的一种通用的卡证识别方法的系统结构示意图；

图14为本申请一实施例提供的通用的卡证识别系统中管理员和用户侧可实现的功能图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

下面结合说明书附图对本申请实施例作进一步详细描述。

目前常见的基于机器视觉的卡证识别系统，在交付用户进行使用前，已经基于用户场景设定好了需要识别的卡证。例如，提前内置好身份证识别的相关模板、驾驶证识别的相关模板、房产证识别的相关模板等。用户通过摄像头对需要识别的卡证进行拍摄后，上传照片，系统即可基于内置模板对照片中的文字进行识别。

这种系统的问题在于，用户只能基于单一模板或者有限个被提前内置在算法中的模板进行识别，识别场景限制较大。对于常见的有固定格式的卡证，可以预先设定模板进行识别。但是，随着用户业务拓展，很大概率会遇到未曾见过的卡证格式，甚至是用户自定义的卡证格式。那么，在此种场景下，识别系统则无能为力。这就导致系统的适用场景受限，另一方面，对于自定义格式或应用范围较小的格式的特殊卡证，识别效率比较低，也会使这种特殊卡证的应用和推广受限。

基于此，本申请提供一种通用的卡证识别方法、装置、系统、电子设备及存储介质。提供给用户自行创建识别模板的功能，以便于适用特殊场景下的识别需求，提升OCR的适用性。使用户在对特殊卡证进行识别时，可以自定义此类型卡证的识别区域，并应用于相同格式的其它卡证的识别。

图1为本申请提供的一种应用场景示意图。本申请提供的通用的卡证识别方法可被集成为通用的卡证识别系统中相应的功能模块。通用的卡证识别系统可以被搭载在计算机、服务器或其它具有相应的计算能力的电子设备中，在待识别卡证图像输入到电子设备后，可以触发执行本申请的通用的卡证识别方法，对待识别卡证图像中的相关内容进行识别。具体的实现方式可以参考以下实施例。

图2为本申请一实施例提供的一种通用的卡证识别方法的流程图，本实施例的方法可以应用于以上场景中的电子设备。如图2所示的，该方法包括：

S201、检测到待识别卡证图像后，调用分类器，分类器中包含至少一个候选卡证识别模板。

待识别卡证图像的输入作为卡证识别的触发条件，触发执行本实施例的方法。

首先调用分类器对待识别卡证图像进行分类。具体的，分类器中包含有至少一个候选卡证识别模板。候选卡证识别模板即用户根据需求选用的卡证识别模板，可以包括通用的预置模板，也可以包括用户自行创建的自定义模板。只有用户选定添加到分类器中的模板才会参与后续的卡证识别过程。因此，设置分类器可以提供给用户一个途径，设置符合自己需求的模板库，以便于减少卡证识别过程中的比较对象，提升卡证识别速度。模板的设置和应用流程，分类器的设置流程可以参考图3。

其中，预置模板管理模块仅能由管理员进行操作。管理员将开发完毕并提供接口的OCR固定版式卡证识别算法封装为预置模板，为各应用场景提供便捷的OCR识别服务。预置模板管理模块中管理员可添加、编辑、删除、测试预置模板，管理员配置预置模板完毕后可进行发布，用户可通过管理员提供的已发布的预置模板进行图像识别。

预置模板模块适用于固定版式的识别模板，例身份证、银行卡、结婚证、不动产权证等证件，用户可直接使用系统预置的已成熟的OCR识别能力，无需自己制作或编辑模板。用户可通过管理员提供的已配置完毕的预置模板进行图像识别，系统可提供十三类预置模板数据配置：

身份证：支持对二代居民身份证人像面的6个字段进行结构化识别，包括姓名、性别、民族、出生日期、住址、身份证号；支持对二代居民身份证国徽面的有效期限、签发机关2个字段进行结构化识别。

银行卡：支持对国内主流银行卡的卡号进行识别。

增值税发票：支持对增值税发票的11个关键字段进行识别，包括发票号码、发票日期、发票含税金额、购买方名称、购买方纳税人识别号、购买方地址和电话、购买方开户行及账号、销售方名称、销售方纳税人识别号、销售方地址和电话、销售方开户行及账号。

火车票：支持对蓝色火车票的10个关键字段进行结构化识别，包括身份证号和名称、价格、日期、座位号、座位类型、始发站拼音、终点站拼音、车号、始发站、终点站。

营业执照：支持对横竖两种版式营业执照所有9个字段进行结构化识别，包括统一社会信用代码、名称、类型、法人代表人、注册资本、成立日期、营业期限、公司地址、经营范围。

结婚证：支持对结婚证的14个关键字段进行结构化识别，包括结婚证字号、登记日期、持证人、第一个人姓名、第一个人国籍、第一个人身份证号、第一个人生日、第一个人性别、第二个人姓名、第二个人国籍、第二个人身份证号、第二个人生日、第二个人性别、备注。

不动产权证：支持对不动产权证的16个关键字段进行结构化识别，包括权利人、共有情况、坐落、不动产单元号、权利类型、权利性质、用途、面积、使用期限、业务号、使用权面积、专有建筑面积、分摊建筑面积、房屋总层数、所在层数、不动产权号。

不动产权登记证明：支持对不动产权登记证明的6个关键字段进行结构化识别，包括证明权力或事项、权利人、义务人、坐落、不动产单元号、其他。

房权证：支持对房权证的9个关键字段进行结构化识别，包括房屋所有权人、共有情况、房屋坐落、登记时间、房屋性质、规划用途、总层数、建筑面积、套内建筑面积。

现售备案意见书：支持对现售备案意见书的7个关键字段进行结构化识别，包括现售备案意见书编号、房地产开发企业、项目名称、项目地址、现售范围、房屋规划用途、现售面积。

预售许可证：支持对预售许可证的9个关键字段进行结构化识别，包括预售许可证编号、房地产开发企业、项目名称、项目地址、预售范围、房屋规划用途、预售面积、预售款监管银行、预售款监管账号。

资质证书：支持对资质证书的3个关键字段进行结构化识别，包括证书编号、证书有效期、资质等级。

二手房契税：支持对二手房契税的10个关键字段进行结构化识别，包括二手房契税编号、纳税人识别号、原凭证号、实缴（退）金额、金额合计、纳税人名称、税种、品目名称、税款所属时期、入（退）库日期。

自定义模板模块适用于自定义版式的识别模板，区别于预置模板模块，自定义模板模块中用户可自助创建识别模板。用户根据实际的需求，针对需要识别的图片版式，通过自定义模板模块上传一张模板图片，通过框选参照字段和识别区即可自助制作一个文字识别模板，并建立图片中文字的key-value键值对对应关系，实现对相同版式图片的结构化识别。

用户将已发布的模板添加在分类器中，即能够根据识别内容自动映射到其中的某一个模板，从而实现对不同版式图片的自动分类和识别。

进一步的，为了优化分类器的功能，一个用户还可以创建多个分类器，在进行卡证识别之前，可以选择其中的某一个分类器进行调用，作为后续卡证识别过程中的候选卡证识别模板集。

分类器的设置界面图可以参考图4、图5。在系统中设置有“自定义分类器”功能界面，在此界面中，点击【增加】按钮后可创建新分类器，创建完成后可直接进入分类器的编辑页面或点击分类器主界面的按钮进入分类器的编辑页面。

点击【添加模板】系统会弹出“添加模板”窗口，可勾选已发布的模板点击【确定】按钮，将勾选的模板添加到当前分类器中，添加模板时可从预置模板和自定义模板中选择。

选择完毕后点击编辑界面的【发布】按钮完成分类器的编辑操作，分类器列表中的所有模板即为该分类器可识别的所有卡证类型。

在分类器主界面点击对应分类器后的【测试】按钮，在弹出的测试窗口点击【上传图片】按钮上传任意一张相同版式的图片，即可测试分类器的分类效果。

S202、将待识别卡证图像与分类器中的候选卡证识别模板进行对比，判断是否存在与待识别卡证图像匹配的模板。

对待识别卡证图像的相关特征进行识别分析后，可以与分类器中的候选卡证识别模板进行对比，从而判断是否有相匹配的模板。

如果有，则可以基于此相匹配的模板进行卡证识别；如果没有则需要继续执行S203。

S203、若在候选卡证识别模板中没有与待识别卡证图像匹配的模板，则显示自定义模板编辑界面，提示用户创建待识别卡证图像匹配的自定义模板。

如果没有相匹配的模板，则允许用户自行创建自定义模板。首先，提供给用户自定义模板的编辑界面，并提示用户进行创建。

自定义模板模块增加模板界面如图6所示，用户在自定义模板界面中，点击【增加】按钮后，输入模板名称，并上传一张字迹清晰且摆放端正的模板图片（图片大小不超过2M）。

进入模板编辑页面，在右侧区域中选择【框选参照字段】按钮，在左侧工具栏中选中【框选】工具，按住鼠标在模板图片上框选位置和内容都固定不变的文字。如图7所示。

在右侧区域中选择【框选识别区】按钮，在左侧工具栏中选中【框选】工具，按住鼠标在模板图片上框选业务场景中需要识别的字段；同时，填写【字段名称】用于为字段建立key-value对应关系，并选择合适的【字段类型】以提高识别的准确率。如图8所示。

S204、接收到用户上传的模板图片和基于模板图片选定的参照字段和识别区后，判断参照字段和识别区是否符合对应的框选要求。

基于参照字段和识别区的相应框选要求，对照模板图片上的框选结果，可以确定是否符合框选要求。

其中，参照字段的框选要求是为了提高模板参考字段对模板的代表性，突出模板特征。在一些具体的实现方式中可以包括：

(1)参照字段个数需保证在4个以上，并尽量分散在四角；

(2)单个参照字段不得跨行，推荐字数在4个以上，且同一个字段之间的文字间距不宜太大；

(3)参照字段中的文字在相邻位置附近不会重复出现；

(4)仅支持框选中英文、数字，不可包含符号、图案。

识别区的框选要求是为了提高识别区定位的准确性，保证识别范围。在一些具体的实现方式中可以包括：

(1)尽量扩大识别区域框选范围，保证在实际业务场景中传入的图片可被完全覆盖，但同时也需保证不框选到其他字段内容；

(2)选择合适的字段类型有助于提升字段识别效果；

(3)框选区域之间不能相互覆盖；

(4)字段名称设置需与图片中实际字段名称保持一致，以提高识别准确率。

S205、若参照字段和识别区均符合对应的框选要求，则生成待识别卡证图像匹配的自定义模板。

参照字段和识别区的选择都符合对应的框选要求的情况下，可以达到较好的识别效果，可以基于此次框选的结果生成自定义模板。但如果参照字段和识别区的选择不太符合对应的框选要求，则识别结果可能受到一定影响，此时可以提示用户再重新进行一次框选。

具体的判断方式，可以基于当前设定的选框对框内内容进行识别，确定选框位置、框内内容是否符合要求。

S206、响应于添加模板请求，将待识别卡证图像匹配的自定义模板添加到分类器中。

在一些实现方式中，要使用新创建的自定义模板，可以将其添加到分类器中。具体的，当用户先创建自定义模板，再进行卡证识别时，先执行S203-S205，提示用户创建自定义模板，而后，用户可以将其添加到分类器中，相应执行S206-S207，进行卡证识别。

在用户点击【添加模板】后，系统会弹出“添加模板”窗口，用户从自定义模板中勾选此模板点击【确定】按钮，生成添加模板请求。响应于此请求即可将此模板添加到当前分类器中。

在另一些实现方式中，也可以直接使用自定义模板。具体的，当用户先创建自定义模板，再进行卡证识别时，先执行S203-S205，提示用户创建自定义模板，而后，用户可以选择此自定义模板，进行卡证识别。

S207、基于调整后的分类器对待识别卡证图像进行识别。

调整后的分类器中包含与待识别卡证图像匹配的模板，则可以用于该待识别卡证图像的识别。具体的识别过程中，根据模板中参照字段的位置，可以确定参照字段在待识别卡证图像中的位置。进而基于模板中参照字段与识别区的相对位置，可以确定识别区在待识别卡证图像中的位置。如此即可对识别区内的内容进行识别。基于模板中key-value键值对对应关系，即可将识别结果与其对应的关键字段对应，完成对待识别卡证图像的识别。

基于本实施例的方法，用户可以通过上传模板图片并框选参照字段和识别区的方式自由创建自定义模板，并保存为一类卡证的模板。当分类系统收集到相关图片时，会通过分类器确定图片类型，并采用相应的识别模型进行识别。这样就实现了用户的自定义模型的识别，而不用更新算法的底层逻辑。

在一些实施例中，还可以在生成自定义模板后进行识别效果测试。测试页面如图9所示，参照字段和识别区字段全部框选完毕后，用户可点击页面右上角的【测试】按钮，在弹出框中上传任意一张相同版式的图片，测试模板的识别效果。若多次测试效果满意即可进行发布，若效果不满意可再次编辑进行调整。测试结果如图10所示。

在一些实施例中，上述的将待识别卡证图像与分类器中的候选卡证识别模板进行对比，判断是否存在与待识别卡证图像匹配的模板，包括：针对每一个候选卡证识别模板，从候选卡证识别模板中提取参照字段信息；参照字段信息包括参照字段的字符信息和位置信息；对待识别卡证图像进行初步识别，确定待识别卡证图像中的全部字段；根据参照字段的字符信息，确定参照字段与待识别卡证图像中的全部字段的重复率；若存在重叠率大于等于预设值的候选卡证识别模板，则确定存在与待识别卡证图像匹配的模板；若不存在重叠率大于等于预设值的候选卡证识别模板，则确定不存在与待识别卡证图像匹配的模板。

对上传的待识别卡证图像进行文字检测和识别，取分类器中的候选卡证识别模板的参照字段信息（预置模板中的位置信息框和自定义模板中的参照字段框），根据其中的参照字段来判断待识别卡证图像属于哪一种模板图。具体的，可以先取模板的相关信息，从中确定参照字段的字符信息，即字段中具体有哪几个字符。再对待识别卡证图像进行字段识别，确定每个字段中有哪几个字符。以字段为单位进行比较，确定模板中的字段有几个完整出现在了待识别卡证图像中。一个字段，在模板中和待识别卡证图像中同时存在，即为重复（或相同）。重复的字段数量占模板中参照字段总数的比例即为重复率。考虑到识别率的限制，不一定能对所有字段完全正确识别，故可以设置一预设值，只要重叠率大于等于此预设值，可以说明有较高的概率是匹配的，可以认为存在与待识别卡证图像匹配的模板。

进一步的，在确定存在匹配的模板时，还需要从中准确确定出匹配模板为哪一个。在上述实施例的基础上，还包括：若存在重叠率大于等于预设值的候选卡证识别模板，则从中选取若干准匹配识别模板；针对每一准匹配识别模板，保留准匹配识别模板中与待识别卡证图像相同的参照字段，删除其它字段；根据参照字段的位置信息，从准匹配识别模板中提取相同的参照字段的列特征、行特征、同行特征；针对待识别卡证图像，保留待识别卡证图像中与准匹配识别模板相同的参照字段，删除其它字段；根据参照字段的位置信息，从待识别卡证图像中提取相同的参照字段的列特征、行特征、同行特征；将待识别卡证图像中参照字段的列特征、行特征、同行特征，分别与每一准匹配识别模板中参照字段的列特征、行特征、同行特征进行对比，确定匹配识别模板；基于匹配识别模板对待识别卡证图像进行识别。

具体的，可以按照重复率进行排序，并取重复率最大的若干个再进行比较，从中确定出最匹配的一个模板。以三个为例，将其作为准匹配识别模板。可以首先从准匹配识别模板、待识别卡证图像中去除不重复的字段，仅保留重复的字段。基于位置信息对重复的字段进行分析，确定对应的特征，包括但不限于列特征、行特征、同行特征等。将准匹配识别模板与待识别卡证图像中的特征进行对比，特征一致的准匹配识别模板则为匹配识别模板，即与待识别卡证图像最为匹配的一个模板。

其中，列特征可以包括每行中第一个字段的位置；行特征可以包括每列中第一个字段的位置；同行特征可以包括是否存在位于同一行中的不同字段。

在一些具体的实现方式中，可以分别针对这三种特征形成对应的列表，按照位置顺序将相应字段填充到列表中。针对每一准匹配识别模板，将其对应的列表分别与待识别卡证图像对应的列表进行比较，判断位置顺序是否一致、是否存在同行，来确定匹配识别模板。

在一些实施例中，上述的基于匹配识别模板对待识别卡证图像进行识别，包括：获取匹配识别模板的参照字段信息、识别区信息、透视变换信息；根据参照字段信息，判断匹配识别模板与待识别卡证图像是否匹配；若确定匹配识别模板与待识别卡证图像匹配，则根据匹配识别模板的透视变换信息，对待识别卡证图像进行透视变换；根据变换后的待识别卡证图像与匹配识别模板的大小关系、识别区信息，确定变换后的待识别卡证图像的识别区的尺寸；根据参照字段信息、识别区信息、变换后的待识别卡证图像的识别区的尺寸，确定变换后的待识别卡证图像的识别区的位置；确定变换后的待识别卡证图像的识别区中的待识别文本框；调用匹配识别模板对应的识别算法，对待识别文本框中的内容进行识别。

在进行图像识别时，可以再次确认匹配识别模板与待识别卡证图像是否匹配，确定匹配后，基于匹配识别模板将待识别卡证图像进行透视变换，对变换后的待识别卡证图像进行识别。

具体的，可以先根据模板id获取相应的模板信息，包括参照字段信息、识别区信息、透视变换角点。将匹配识别模板与待识别卡证图像中的这些参照字段中进行匹配，确定名称及相对位置是否一致，一致则说明两者匹配，进行透视变换。

若待识别卡证图像透视变换后与匹配识别模板尺寸不一致，则根据模板图与待识别卡证图像的高度比来等比缩放识别区的高度，根据模板图与待识别卡证图像的宽度比来等比缩放识别区的宽度，得到待识别卡证图像识别区的位置信息。从识别区中确定待识别文本框，并调用匹配识别模板对应的识别算法，对待识别文本框中的内容进行识别。

上述的，透视变换信息包括透视变换角点相对于参照字段的位置信息、透视变换角点计算公式；根据匹配识别模板的透视变换信息，对待识别卡证图像进行透视变换，包括：根据匹配识别模板中透视变换角点相对于参照字段的位置信息，确定待识别卡证图像中变换前的透视变换角点位置信息；根据待识别卡证图像变换前的透视变换角点位置信息和匹配识别模板的透视变换角点计算公式，确定待识别卡证图像变换后的透视变换角点位置信息；基于待识别卡证图像变换前的透视变换角点位置信息和变换后的透视变换角点位置信息，对待识别卡证图像进行透视变换。

在一些具体的实现方式当中，为了使模板图更为标准，可以在生成模板时对模板图进行透视变换，使其变换到一个标准的平面。透视变换过程中选择的角点可以选择图中某些特殊的点，例如，参照字段对应的选框的顶点、识别区对应的选框的顶点等。以选取参照字段对应的选框的顶点为透视变换角点为例，将参照字段对应的选框的顶点中最大纵坐标点（Xmax,Ymax）、（Xmin,Ymax）最小纵坐标点（Xmin,Ymin）、（Xmax,Ymin），作为四个透视变换角点。为了变换到标准平面，可以先在此平面中确定变换后的角点位置，这样模板图中的其它点则可以同步变换到此平面。在此过程中，变换前后角点位置之间形成一个对应关系，可以表征为透视变换过程中的角点计算公式。

在对待识别卡证图像进行变换时，期望它能够也变换到此标准平面，则可以使其利用相同的角点进行变换，这就需要求取角点变换前后的位置。变换前的位置可以借助于角点与参照字段的相对位置来确定，进一步的，结合角点计算公式，则可以确定变换后的位置，进而完成整张图像的透视变换。

上述的确定变换后的待识别卡证图像的识别区中的待识别文本框，包括：根据识别区的位置信息、识别过程中生成的文本框的位置信息，将完全位于识别区内的文本框确定为待识别文本框；检测识别区与文本框的交点；针对每一个与识别区有交点的文本框，根据文本框的位置信息、识别区的位置信息，确定文本框在识别区内的面积相对于文本框的面积占比；将面积占比大于预设面积比的文本框确定为待识别文本框。

在字符识别的过程中，算法一般会在识别到字符出标识出对应的文本框，以覆盖待识别字符。调整识别区大小后，其与待识别文本框的面积可能并不是完全一致的，为提高识别正确率，避免识别到无关信息，首先对识别区内的文本框进行分析，根据各文本框与识别区的坐标位置关系，去除待识别文本框外部的干扰框，对与识别区有交集的文本框，按照交点来智能截取缩进，获取识别区内的文本框，即为待识别文本框。相应的，调用文字识别算法，对每个识别区内的待识别文本框进行识别，即可获取待识别卡证图像识别区的识别信息。

本申请的方案，系统的自定义模板模块中用户可自助创建识别模板。用户根据实际的需求，针对需要识别的图片版式，通过自定义模板模块上传一张模板图片，通过框选参照字段和识别区即可自助制作一个文字识别模板，并建立图片中文字的键值对对应关系，实现对相同版式图片的结构化识别。当用户识别不同图片时，可以自定义框选识别区域。后台算法针对此框选区域对相同类型的图片进行识别，此功能避免了识别新卡证时，需要开发人员进行重新开发的弊端，具有一定的灵活性。系统可以对任意的制式卡证进行识别，而无需技术人员的介入。用户可以个性化定制自己的识别模型。提高了识别的便捷度。

本申请中，数据库可以采用分布式存储平台，同时满足互联网+、业务需求，通过与应用数据库、业务数据库的相互关联、利用构成平台的基础数据，为上层的业务逻辑提供数据支持。分布式存储可以单独部署在甲方的服务器机房，由中心自主管理档案材料文件，同步支持灾备至云中心确保档案安全；分布式存储也可以采购我方的云存储空间，由项目实施机构对档案材料文件进行托管。

图11为本申请一实施例提供的一种通用的卡证识别装置的结构示意图，如图11所示的，本实施例的通用的卡证识别装置110包括：

分类器调用模块111，用于检测到待识别卡证图像后，调用分类器，分类器中包含至少一个候选卡证识别模板；

对比模块112，用于将待识别卡证图像与分类器中的候选卡证识别模板进行对比，判断是否存在与待识别卡证图像匹配的模板；

自定义模板模块113，用于若在候选卡证识别模板中没有与待识别卡证图像匹配的模板，则显示自定义模板编辑界面，提示用户创建待识别卡证图像匹配的自定义模板；接收到用户上传的模板图片和基于模板图片选定的参照字段和识别区后，判断参照字段和识别区是否符合对应的框选要求；若参照字段和识别区均符合对应的框选要求，则生成待识别卡证图像匹配的自定义模板；

分类器管理模块114，用于响应于添加模板请求，将待识别卡证图像匹配的自定义模板添加到分类器中；

识别模块115，用于基于调整后的分类器对待识别卡证图像进行识别。

本实施例的装置，可以用于执行上述任一实施例的方法，其实现原理和技术效果类似，此处不再赘述。

图12为本申请一实施例提供的一种电子设备的结构示意图，如图12所示，本实施例的电子设备120可以包括：存储器121和处理器122。

存储器121上存储有能够被处理器122加载并执行上述实施例中方法的计算机程序。

其中，处理器122和存储器121相连，如通过总线相连。

可选地，电子设备120还可以包括收发器。需要说明的是，实际应用中收发器不限于一个，该电子设备120的结构并不构成对本申请实施例的限定。

处理器122可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器122也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线可包括一通路，在上述组件之间传送信息。总线可以是PCI（PeripheralComponent Interconnect，外设部件互连标准）总线或EISA（Extended Industry StandardArchitecture，扩展工业标准结构）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器121可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器121用于存储执行本申请方案的应用程序代码，并由处理器122来控制执行。处理器122用于执行存储器121中存储的应用程序代码，以实现前述方法实施例所示的内容。

其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等。图12示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

本实施例的电子设备，可以用于执行上述任一实施例的方法，其实现原理和技术效果类似，此处不再赘述。

图13为本申请一实施例提供的一种通用的卡证识别方法的系统结构示意图。包括：

自定义模板模块131，用于显示自定义模板编辑界面，提示用户创建待识别卡证图像匹配的自定义模板；接收到用户上传的模板图片和基于所述模板图片选定的参照字段和识别区后，判断所述参照字段和所述识别区是否符合对应的框选要求；若所述参照字段和所述识别区均符合对应的框选要求，则生成自定义模板；

分类器管理模块132，用于响应于添加模板请求，将自定义模板添加到分类器中；

图像识别模块133，用于对待识别卡证图像进行识别。

系统在管理员和用户侧可实现的功能如图14所示。

本申请还提供一种计算机可读存储介质，存储有能够被处理器加载并执行如上实施例中的方法的计算机程序。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (8)

1.一种通用的卡证识别方法，其特征在于，包括：

检测到待识别卡证图像后，调用分类器，所述分类器中包含至少一个候选卡证识别模板；

将所述待识别卡证图像与所述分类器中的候选卡证识别模板进行对比，判断是否存在与所述待识别卡证图像匹配的模板；

若在所述候选卡证识别模板中没有与所述待识别卡证图像匹配的模板，则显示自定义模板编辑界面，提示用户创建所述待识别卡证图像匹配的自定义模板；

接收到用户上传的模板图片和基于所述模板图片选定的参照字段和识别区后，判断所述参照字段和所述识别区是否符合对应的框选要求；

若所述参照字段和所述识别区均符合对应的框选要求，则生成所述待识别卡证图像匹配的自定义模板；

响应于添加模板请求，将所述待识别卡证图像匹配的自定义模板添加到分类器中；

基于调整后的分类器对所述待识别卡证图像进行识别；

所述将所述待识别卡证图像与所述分类器中的候选卡证识别模板进行对比，判断是否存在与所述待识别卡证图像匹配的模板，包括：

针对每一个候选卡证识别模板，从所述候选卡证识别模板中提取参照字段信息；所述参照字段信息包括参照字段的字符信息和位置信息；

对所述待识别卡证图像进行初步识别，确定所述待识别卡证图像中的全部字段；

根据所述参照字段的字符信息，确定所述参照字段与所述待识别卡证图像中的全部字段的重复率；

若存在重叠率大于等于预设值的候选卡证识别模板，则确定存在与所述待识别卡证图像匹配的模板；

若不存在重叠率大于等于预设值的候选卡证识别模板，则确定不存在与所述待识别卡证图像匹配的模板；

若存在重叠率大于等于预设值的候选卡证识别模板，则从中选取若干准匹配识别模板；

针对每一准匹配识别模板，保留所述准匹配识别模板中与所述待识别卡证图像相同的参照字段，删除其它字段；

根据所述参照字段的位置信息，从所述准匹配识别模板中提取相同的参照字段的列特征、行特征、同行特征；所述列特征包括每行中第一个字段的位置，所述行特征包括每列中第一个字段的位置，所述同行特征包括是否存在位于同一行中的不同字段；

针对所述待识别卡证图像，保留所述待识别卡证图像中与所述准匹配识别模板相同的参照字段，删除其它字段；

根据所述参照字段的位置信息，从所述待识别卡证图像中提取相同的参照字段的列特征、行特征、同行特征；

将所述待识别卡证图像中参照字段的列特征、行特征、同行特征，分别与每一所述准匹配识别模板中参照字段的列特征、行特征、同行特征进行对比，确定匹配识别模板；

基于所述匹配识别模板对所述待识别卡证图像进行识别。

2.根据权利要求1所述的通用的卡证识别方法，其特征在于，所述基于所述匹配识别模板对所述待识别卡证图像进行识别，包括：

获取所述匹配识别模板的参照字段信息、识别区信息、透视变换信息；

根据所述参照字段信息，判断所述匹配识别模板与所述待识别卡证图像是否匹配；

若确定所述匹配识别模板与所述待识别卡证图像匹配，则根据所述匹配识别模板的透视变换信息，对所述待识别卡证图像进行透视变换；

根据变换后的待识别卡证图像与所述匹配识别模板的大小关系、所述识别区信息，确定变换后的待识别卡证图像的识别区的尺寸；

根据所述参照字段信息、识别区信息、变换后的待识别卡证图像的识别区的尺寸，确定变换后的待识别卡证图像的识别区的位置；

确定所述变换后的待识别卡证图像的识别区中的待识别文本框；

调用所述匹配识别模板对应的识别算法，对所述待识别文本框中的内容进行识别。

3.根据权利要求2所述的通用的卡证识别方法，其特征在于，所述透视变换信息包括透视变换角点相对于参照字段的位置信息、透视变换角点计算公式；所述根据所述匹配识别模板的透视变换信息，对所述待识别卡证图像进行透视变换，包括：

根据所述匹配识别模板中透视变换角点相对于参照字段的位置信息，确定所述待识别卡证图像中变换前的透视变换角点位置信息；

根据所述待识别卡证图像变换前的透视变换角点位置信息和所述匹配识别模板的透视变换角点计算公式，确定所述待识别卡证图像变换后的透视变换角点位置信息；

基于所述待识别卡证图像变换前的透视变换角点位置信息和变换后的透视变换角点位置信息，对所述待识别卡证图像进行透视变换。

4.根据权利要求2所述的通用的卡证识别方法，其特征在于，所述确定所述变换后的待识别卡证图像的识别区中的待识别文本框，包括：

根据所述识别区的位置信息、识别过程中生成的文本框的位置信息，将完全位于所述识别区内的文本框确定为待识别文本框；

检测所述识别区与文本框的交点；

针对每一个与所述识别区有交点的文本框，根据所述文本框的位置信息、所述识别区的位置信息，确定所述文本框在所述识别区内的面积相对于所述文本框的面积占比；将面积占比大于预设面积比的文本框确定为待识别文本框。

5.一种通用的卡证识别装置，其特征在于，包括：

分类器调用模块，用于检测到待识别卡证图像后，调用分类器，所述分类器中包含至少一个候选卡证识别模板；

对比模块，用于将所述待识别卡证图像与所述分类器中的候选卡证识别模板进行对比，判断是否存在与所述待识别卡证图像匹配的模板；

自定义模板模块，用于若在所述候选卡证识别模板中没有与所述待识别卡证图像匹配的模板，则显示自定义模板编辑界面，提示用户创建所述待识别卡证图像匹配的自定义模板；接收到用户上传的模板图片和基于所述模板图片选定的参照字段和识别区后，判断所述参照字段和所述识别区是否符合对应的框选要求；若所述参照字段和所述识别区均符合对应的框选要求，则生成所述待识别卡证图像匹配的自定义模板；

分类器管理模块，用于响应于添加模板请求，将所述待识别卡证图像匹配的自定义模板添加到分类器中；

识别模块，用于基于调整后的分类器对所述待识别卡证图像进行识别；

所述对比模块，具体用于：针对每一个候选卡证识别模板，从所述候选卡证识别模板中提取参照字段信息；所述参照字段信息包括参照字段的字符信息和位置信息；对所述待识别卡证图像进行初步识别，确定所述待识别卡证图像中的全部字段；根据所述参照字段的字符信息，确定所述参照字段与所述待识别卡证图像中的全部字段的重复率；若存在重叠率大于等于预设值的候选卡证识别模板，则确定存在与所述待识别卡证图像匹配的模板；若不存在重叠率大于等于预设值的候选卡证识别模板，则确定不存在与所述待识别卡证图像匹配的模板；若存在重叠率大于等于预设值的候选卡证识别模板，则从中选取若干准匹配识别模板；针对每一准匹配识别模板，保留所述准匹配识别模板中与所述待识别卡证图像相同的参照字段，删除其它字段；根据所述参照字段的位置信息，从所述准匹配识别模板中提取相同的参照字段的列特征、行特征、同行特征；所述列特征包括每行中第一个字段的位置，所述行特征包括每列中第一个字段的位置，所述同行特征包括是否存在位于同一行中的不同字段；针对所述待识别卡证图像，保留所述待识别卡证图像中与所述准匹配识别模板相同的参照字段，删除其它字段；根据所述参照字段的位置信息，从所述待识别卡证图像中提取相同的参照字段的列特征、行特征、同行特征；将所述待识别卡证图像中参照字段的列特征、行特征、同行特征，分别与每一所述准匹配识别模板中参照字段的列特征、行特征、同行特征进行对比，确定匹配识别模板；基于所述匹配识别模板对所述待识别卡证图像进行识别。

6.一种电子设备，其特征在于，包括：存储器和处理器；

所述存储器，用于存储程序指令；

所述处理器，用于调用并执行所述存储器中的程序指令，执行如权利要求1-4任一项所述的通用的卡证识别方法。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序；所述计算机程序被处理器执行时，实现如权利要求1-4任一项所述的通用的卡证识别方法。

8.一种通用的卡证识别系统，其特征在于，包括：

自定义模板模块，用于显示自定义模板编辑界面，提示用户创建待识别卡证图像匹配的自定义模板；接收到用户上传的模板图片和基于所述模板图片选定的参照字段和识别区后，判断所述参照字段和所述识别区是否符合对应的框选要求；若所述参照字段和所述识别区均符合对应的框选要求，则生成自定义模板；

分类器管理模块，用于响应于添加模板请求，将自定义模板添加到分类器中；

图像识别模块，用于执行如权利要求1-4任一项所述的通用的卡证识别方法对待识别卡证图像进行识别。