CN113239910B - 证件识别方法、装置、设备及存储介质 - Google Patents

证件识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113239910B
CN113239910B CN202110782878.5A CN202110782878A CN113239910B CN 113239910 B CN113239910 B CN 113239910B CN 202110782878 A CN202110782878 A CN 202110782878A CN 113239910 B CN113239910 B CN 113239910B
Authority
CN
China
Prior art keywords
certificate
image
text
model
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110782878.5A
Other languages
English (en)
Other versions
CN113239910A (zh
Inventor
朱志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Puhui Enterprise Management Co Ltd
Original Assignee
Ping An Puhui Enterprise Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Puhui Enterprise Management Co Ltd filed Critical Ping An Puhui Enterprise Management Co Ltd
Priority to CN202110782878.5A priority Critical patent/CN113239910B/zh
Publication of CN113239910A publication Critical patent/CN113239910A/zh
Application granted granted Critical
Publication of CN113239910B publication Critical patent/CN113239910B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Character Input (AREA)

Abstract

本申请涉及人工智能技术领域,揭露了证件识别方法、装置、设备及存储介质,包括获取待处理证件图像;利用预训练的边缘切割模型对待处理证件图像进行图像切割,得到第一证件图像;基于第一证件图像,调取与第一证件图像类型对应的图像模板以及预训练的识别模型,图像模板中还包括待填充内容的位置信息,识别模型基于CRNN模型训练得到;利用识别模型对第一证件图像进行文本识别并提取,得到对应的证件文本;基于待填充内容的位置信息,将证件文本填入图像模板中的对应位置处,得到并输出第二证件图像。本申请还涉及区块链技术,待处理证件图像数据存储于区块链中。本申请实现了提高证件文本识别的准确率和速度以及提高识别得到证件的清晰度。

Description

证件识别方法、装置、设备及存储介质
技术领域
本申请涉及人工智能领域,尤其涉及证件识别方法、装置、设备及存储介质。
背景技术
目前,随着科技的发展,越来越多的业务可以网上办理,对应的需要查验各种证件,如身份证或驾驶证等,身份证或驾驶证等应用的领域范围越来越广,所以在办理网上业务时,对于证件的识别也越来越受到重视。在现有技术中,常以通过固定拍摄区域的形式,引导用户将对应证件放入固定拍摄区域,已进行证件的拍摄,并直接利用该拍摄图像上传并使用。对于固定拍摄区域的来说,其对用户拍摄要求较高,且当拍摄图像较模糊时,上传并使用后,不易被识别,导致不能办理对应业务。因此,如何使得到的证件图像变得清晰成为了亟待解决的问题。
发明内容
本申请提供了证件识别方法、装置、设备及存储介质,以解决现有技术中上传的证件图像不清晰的问题。
为解决上述问题,本申请提供了一种证件识别方法,包括:
获取待处理证件图像;
利用预训练的边缘切割模型对所述待处理证件图像进行图像切割,得到第一证件图像,所述边缘切割模型基于Canny边缘检测模型训练得到;
基于所述第一证件图像,调取与所述第一证件图像类型对应的图像模板以及预训练的识别模型,所述图像模板中包括待填充内容的位置信息,所述识别模型基于CRNN模型训练得到;
利用所述识别模型对所述第一证件图像进行文本识别并提取,得到对应的证件文本;
基于所述待填充内容的位置信息,将所述证件文本填入所述图像模板中的对应位置处,得到并输出第二证件图像。
进一步的,在所述利用预训练的边缘切割模型对所述待处理证件图像进行图像切割之前,还包括:
获取训练数据,所述训练数据包括第三证件图像及其对应的切割后的第四证件图像;
将所述第三证件图像及其对应的切割后的第四证件图像输入到所述Canny边缘检测模型进行训练,得到所述边缘切割模型。
进一步的,所述利用预训练的边缘切割模型对所述待处理证件图像进行图像切割,得到第一证件图像包括:
检测待处理证件图像是否存在目标对象;
若存在目标对象,统计目标对象的数量;
以目标对象为中心,利用预训练的边缘切割模型,依次对所述待处理证件图像进行图像切割,得到与目标对象数量一致的第一证件图像。
进一步的,在所述调取与所述第一证件图像类型对应的图像模板之前,还包括:
获取各类证件模板,对所述证件模板进行识别和文本抹除,得到对应的图像模板,所述图像模板中还包括所述待填充内容对应的类型信息。
进一步的,所述对所述证件模板进行识别和文本抹除包括:
基于OCR模型对证件模板中的各文本进行识别,提取出各文本对应的类型信息和位置信息;
利用数字图像处理对所述证件模板进行文本抹除处理。
进一步的,所述利用所述识别模型对所述第一证件图像进行文本识别并提取包括:
提取所述证件文本分别对应的类型信息。
进一步的,所述基于所述待填充内容的位置信息,将所述证件文本填入所述图像模板中的对应位置处包括:
将所述证件文本和待填充内容对应的类型信息进行匹配;
若匹配成功,则基于所述待填充内容对应的位置信息,将所述证件文本填入对应的所述待填充内容处。
为了解决上述问题,本申请还提供证件识别装置,所述装置包括:
获取模块,用于获取待处理证件图像;
切割模块,用于利用预训练的边缘切割模型对所述待处理证件图像进行图像切割,得到第一证件图像,所述边缘切割模型基于Canny边缘检测模型训练得到;
调取模块,用于基于所述第一证件图像,调取与所述第一证件图像类型对应的图像模板以及预训练的识别模型,所述图像模板中包括待填充内容的位置信息,所述识别模型基于CRNN模型训练得到;
文本识别模块,用于利用所述识别模型对所述第一证件图像进行文本识别并提取,得到对应的证件文本;
填充模块,用于基于所述待填充内容的位置信息,将所述证件文本填入所述图像模板中的对应位置处,得到并输出第二证件图像。
为了解决上述问题,本申请还提供一种计算机设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上述所述的证件识别方法。
为了解决上述问题,本申请还提供一种非易失性的计算机可读存储介质,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如上述所述的证件识别方法。
根据本申请实施例提供的证件识别方法、装置、设备及存储介质,与现有技术相比至少具有以下有益效果:
通过将获取到待处理证件图像,首先利用预训练的边缘切割模型对待处理证件图像进行图像切割,得到第一证件图像,所述第一证件图像为仅包含证件信息的图片,通过只获取含有证件信息的图像,避免了环境因素的干扰;基于所述第一证件图像,调取与所述第一证件图像类型对应的图像模板以及预训练的识别模型,通过获取与第一证件图像对应的识别模型进行对应处理,提高证件上文本的识别准确率和速度,将所述提取出的文本,基于所述待填充内容的位置信息,填入所述图像模板中的对应位置处,得到第二证件图像,通过重新组合形成清晰且完整的第二证件图像,大大提高了证件的清晰度。
附图说明
为了更清楚地说明本申请中的方案,下面将对本申请实施例描述中所需要使用的附图做一个简单介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的证件识别方法的流程示意图;
图2为本申请一实施例提供的证件识别装置的模块示意图;
图3为本申请一实施例的计算机设备的结构示意图。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”“第二”等是用于区别不同对象,而不是用于描述特定顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是是相同的实施例,也不是与其它实施例相互排斥的独立的或备选的实施例。本领域技术人员显式地或隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请提供一种证件识别方法。参照图1所示,为本申请一实施例提供的证件识别方法的流程示意图。
在本实施例中,证件识别方法包括:
S1、获取待处理证件图像;
具体的,本申请既可以用在服务器端也可用在客户端,在本申请,是用于服务器端的,通过接收客户端上传的图像作为待处理证件图像,在客户端可通过即时拍照上传,也可通过在相册中选择照片上传,服务器端还可直接调用数据库中存储的待处理证件图像;
在本申请的其他实施例中,当直接用于客户端时,配合摄像头直接拍照后进行处理,或选择相册中的照片上传。
所述待处理证件图像为客户端用户拍摄的证件图像,由于未规定拍摄框图等,所以用户拍摄得到的待处理证件图像中展示的证件可为任意大小、任意方向的,且证件可能展示不完全,并且当证件展示不完全,仅展示完证件上的文本信息就可以生成完整的证件图像。
进一步的,所述获取获取待处理证件图像包括:
向数据库发送调用请求,所述调用请求携带验签令牌;
接收所述数据库返回的验签结果,并在验签结果为通过时,调用所述数据库中的所述待处理证件图像。
具体的,若是服务器端直接调用数据库中的待处理证件图像时,由于证件图像涉及个人隐私,所以在向数据库调用所述待处理证件图像时,需要进行验签步骤,以保护待处理证件图像数据的安全。
在调用待处理证件图像时,进行验签操作,保证了数据的安全,避免泄露。
S2、利用预训练的边缘切割模型对所述待处理证件图像进行图像切割,得到第一证件图像,所述边缘切割模型基于canny边缘检测模型训练得到;
具体的,由于待处理证件图像除了有展示证件图像,还有环境图像,若将待处理证件图像直接进行文本识别,有可能会识别到环境信息中的文本,进而对识别出的证件信息文本有一定的干扰,其在将证件信息对应的文本填入图像模板时容易造成错乱,所以通过边缘切割模型对待处理证件图像进行切割处理,仅保留证件图像,将环境图像进行删除,从而得到第一证件图像,便于后续步骤进一步处理。
基于证件的边缘将图像进行分割,而所谓边缘是指图像中两个不同区域的边界线上连续的像素点的集合,是图像局部特征不连续性的反映,体现了灰度、颜色、纹理等图像特性的突变。Canny边缘检测模型的目标是找到一个最优的边缘检测算法,其主要通过高斯滤波对图像进行去噪、计算图像梯度、进行非极大值抑制以及设置滞后阈值。
进一步的,在所述利用预训练的边缘切割模型对所述待处理证件图像进行图像切割之前,还包括:
获取训练数据,所述训练数据包括第三证件图像及其对应的切割后的第四证件图像;
将所述第三证件图像及其对应的切割后的第四证件图像输入到所述Canny边缘检测模型进行训练,得到所述边缘切割模型。
具体的,所述第三证件图像及其对应的切割后的第四证件图像,可由人工进行大量拍摄并截取,最终保存至数据库中,所述第三证件图像为包含证件信息和周围环境信息的图像,而所述第四证件图像为仅包含证件信息的图像;也可直接获取现有的大量图像数据进行训练,将所述第三证件图像输入Canny边缘检测模型得到对应的裁切后的证件图像,通过将Canny边缘检测模型裁切得到的证件图像与第三证件图像对应的第四证件图像不断的比对优化,从而达到训练Canny边缘检测模型的目的,使最终的边缘切割模型的切割效果达到人工裁切的效果。
通过对Canny边缘检测模型进行训练,得到最终的边缘切割模型,实现对待处理证件图像进行切割,得到只含有证件图像的第一证件图像,以提高后续文本识别的准确率。
进一步的,所述利用预训练的边缘切割模型对所述待处理证件图像进行图像切割,得到第一证件图像包括:
检测待处理证件图像是否存在目标对象;
若存在目标对象,统计目标对象的数量;
以目标对象为中心,利用预训练的边缘切割模型,依次对所述待处理证件图像进行图像切割,得到与目标对象数量一致的第一证件图像。
具体的,在客户端上传的待处理证件图像中包含有多个类型的证件或者一个类型的多个证件的情况下,通过边缘切割模型进行切割,将得到多个单独的第一证件,通过将多个单独的第一证件依次进行后续的步骤,将对应的得到多个单独的第二证件图像。所述目标对象即所述待处理证件图像中的证件。
将多张证件拍到一张待处理证件图像中并上传的情况下,便于用户一次操作,简化了用户操作步骤,并且达到了单张证件上传得到的第二证件图像的效果。
首先通过OCR模型,检测待处理证件图像是否存在目标对象,具体的,通过识别特征词来实现目标对象的检测,若识别到有身份证和驾驶证词汇时,就表明有两个目标对象,统计目标对象的数据;根据OCR模型识别,得到目标对象的位置,以目标对象为中心,利用预训练的边缘切割模型依次对所述待处理证件图像进行切割,得到与目标数量一致的第一证件图像。
在图像切割前进行目标对象的进行获取并统计目标对象的数量,来保证切割后的第一证件图像与先前统计的目标对象数量一致,实现在一张待处理证件图像中切割出多个第一证件图像,提高了处理效率,避免用户一张张上传证件图像,以及提高了后续文本识别的准确率。
S3、基于所述第一证件图像,调取与所述第一证件图像类型对应的图像模板以及预训练的识别模型,所述图像模板中包括待填充内容的位置信息,所述识别模型基于CRNN模型训练得到;
具体的,通过第一证件图像,调取对应的图像模板以便于后续内容填充,并且还获取了与第一证件图像对应的预训练的识别模型,通过采用与第一证件图像一一对应的识别模型,提高文本识别的准确度。
所述CRNN模型即卷积循环神经网络,其主要的特点在于1)可以进行端到端的训练;2)不需要对样本数据进行字符分割,可识别任意长度的文本序列;3)模型速度快,性能好,并且模型很小。CRNN模型主要由卷积层、循环层和转录层组成。
基于关键词识别模型,对第一证件图像进行预识别,提取第一证件图像的类型信息,即关键词,例如第一证件图像为身份证件时,则进行预识别后将得到第一证件对应的类型信息为身份证;若第一证件图像为行驶证时,则进行预识别后将得到第一证件对应的类型信息为行驶证。在识别得到类型信息后,直接调取对应的图像模板以及预训练的识别模型。类型信息与图像模板和预训练的识别模型设有一一对应的关系。若得到类型信息为身份证后,基于类型信息,调用与身份证对应的图像模板和识别模型。
进一步的,在所述调取与所述第一证件图像类型对应的图像模板之前,还包括:
获取各类证件模板,对所述证件模板进行识别和文本抹除,得到对应的图像模板,所述图像模板中还包括所述待填充内容对应的类型信息。
具体的,通过从数据库提取或者网络上爬取证件模板,并对证件模板进行预处理,从而得到对应的图像模板,所述对应的类型信息,以证件类型为行驶证为例进行说明,类型信息就包括车牌号码、车辆类型、所有人、住址、车辆识别代号以及发动机号码等,可直接通过获取待填充内容前方或前部的文本,即待填充内容对应的类型信息。所述预处理包括对证件模板进行文本识别以及文本抹除,在本申请实施例中,所述文本抹除,为部分抹除,将会保留对应的类型信息,以身份证为例,身份证上的信息有姓名xx;性别x;民族xx等,经部分抹除后,图像模板中保留姓名;性别;名族,即把x进行抹除。在本申请另一实施例中,会将文本全部抹除,即把姓名 xx;性别x;民族xx等全部进行抹除。
通过对证件模板进行识别和文本抹除,得到对应的图像模板,便于后续识别到用户证件文本后,填充至图像模板中,以生成更清晰的证件图像。
再进一步的,所述对所述证件模板进行识别和文本抹除包括:
基于OCR模型对证件模板中的各文本进行识别,提取出各文本对应的类型信息和位置信息;
利用数字图像处理对所述证件模板进行文本抹除处理。
首先通过OCR模型对证件模板中的各文本进行识别,并提取出各文本对应的类型信息和位置信息并保存至证件模板对应的属性中,随后利用数字图像处理技术对证件模板中的各文本进行抹除,得到待填充内容区域,所述各待填充内容的类型信息与位置信息相对应。
通过利用OCR模型和数字图像处理分别对文本进行识别和文本抹除处理,以提高处理效率。
S4、利用所述识别模型对所述第一证件图像进行文本识别并提取,得到对应的证件文本;
通过利用与第一证件图像对应的识别模型进行文本识别并提取处理,提高了文本识别的准确率以及速度。
进一步的,所述利用所述识别模型对所述第一证件图像进行文本识别并提取包括:
提取所述证件文本分别对应的类型信息。
具体的,利用OCR模型提取证件文本前部的信息作为类型信息,例如行驶证上的证件文本有号牌号码xxxxxx车辆类型小型轿车等,通过将号牌号码提取出来作为xxxxxx的类型信息,将车辆类型提取出作为小型轿车的类型信息。
通过利用OCR模型提取所述证件文本分别对应的类型信息,以用于后续与待填充内容的类型进行匹配,以提高填充准确度。
S5、基于所述待填充内容的位置信息,将所述证件文本填入所述图像模板中的对应位置处,得到并输出第二证件图像。
在得到第二证件图像后,返回给客户端,并替换原先的图片;或者将所述第二证件图像继续用于后续步骤,例如审核等,通过采用上述的方案,能得到清晰、完整且标准的证件图像,极大的便利了后续的审核流程等。
进一步的,所述基于所述待填充内容的位置信息,将所述证件文本填入所述图像模板中的对应位置处包括:
将所述证件文本和待填充内容对应的类型信息进行匹配;
若匹配成功,则基于所述待填充内容对应的位置信息,将所述证件文本填入对应的所述待填充内容处。
由于证件文本与图像模板匹配的话,证件文本和待填充内容对应的类型信息将会一一匹配,通过将证件文本和待填充内容对应的类型信息进行匹配,以进一步判断证件文本与图像模板是否匹配;若匹配成功,将基于所述待填充内容对应的位置信息,直接将所述证件文本填入对应的所述待填充内容处,进而得到第二证件图像。
通过将证件文本与待填充内容对应的类型信息进行匹配,匹配成功,则将证件文本填入对应的待填充内容处,从而得到清晰完整的第二证件信息。
再进一步的,在所述将所述证件文本与所述带填充内容进行匹配之后,还包括:
若匹配不成功,则发送信息至客户端,以给用户进行提示。
若匹配不成功,则表明证件文本与图像模板还是不匹配,对应的情况为1)上述获取模板时,出现错误,获取到不对应的模板;2)识别得到的证件文本出现错误,所以当匹配不成功时,将发送信息至客户端,以提示用户识别出错,进行重新上传或拍照。
当匹配不成功时,向用户发出提示,以提示用户再次输入。
需要强调的是,为了进一步保证数据的私密性和安全性,所述待处理证件图像、第一证件图像和第二证件图像的所有数据还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
通过将获取到待处理证件图像,首先利用预训练的边缘切割模型对待处理证件图像进行图像切割,得到第一证件图像,所述第一证件图像为仅包含证件信息的图片,通过只获取含有证件信息的图像,避免了环境因素的干扰;基于所述第一证件图像,调取与所述第一证件图像类型对应的图像模板以及预训练的识别模型,通过获取与第一证件图像对应的识别模型进行对应处理,提高证件上文本的识别准确率和速度,将所述提取出的文本,基于所述待填充内容的位置信息,填入所述图像模板中的对应位置处,得到第二证件图像,通过重新组合形成清晰且完整的第二证件图像,大大提高了证件的清晰度。
如图2所示,是本申请证件识别装置的功能模块图。
本申请所述证件识别装置100可以安装于电子设备中。根据实现的功能,所述证件识别装置100可以包括获取模块101、切割模块102、调取模块103、文本识别模块104和填充模块105。本申请所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:
获取模块101,用于获取待处理证件图像;
进一步的,所述获取模块101包括请求发送子模块和结果接收子模块;
请求发送子模块,用于向数据库发送调用请求,所述调用请求携带验签令牌;
结果接收子模块,用于接收所述数据库返回的验签结果,并在验签结果为通过时,调用所述数据库中的所述待处理证件图像。
通过请求发送子模块和结果接收子模块的配合,在调用待处理证件图像时,进行验签操作,保证了数据的安全,避免泄露。
切割模块102,用于利用预训练的边缘切割模型对所述待处理证件图像进行图像切割,得到第一证件图像,所述边缘切割模型基于canny边缘检测模型训练得到;
具体的,由于待处理证件图像除了有展示证件图像,还有环境图像,若将待处理证件图像直接进行文本识别,有可能会识别到环境信息中的文本,进而对识别出的证件信息文本有一定的干扰,其在将证件信息对应的文本填入图像模板时容易造成错乱,所以通过切割模块102利用边缘切割模型对待处理证件图像进行切割处理,仅保留证件图像,将环境图像进行删除,从而得到第一证件图像,便于后续步骤进一步处理。
切割模块102基于证件的边缘将图像进行分割,而所谓边缘是指图像中两个不同区域的边界线上连续的像素点的集合,是图像局部特征不连续性的反映,体现了灰度、颜色、纹理等图像特性的突变。
进一步的,所述证件识别装置100还包括训练数据获取模块和训练模块;
所述训练数据获取模块,用于获取训练数据,所述训练数据包括第三证件图像及其对应的切割后的第四证件图像;
所述训练模块,用于将所述第三证件图像及其对应的切割后的第四证件图像输入到所述Canny边缘检测模型进行训练,得到所述边缘切割模型。
通过训练数据获取模块和训练模块的配合,对Canny边缘检测模型进行训练,得到最终的边缘切割模型,实现对待处理证件图像进行切割,得到只含有证件图像的第一证件图像,以提高后续文本识别的准确率。
进一步的,所述切割模块102包括对象检测子模块、统计子模块和图像切割子模块;
所述对象检测子模块,用于检测待处理证件图像是否存在目标对象;
所述统计子模块,用于若存在目标对象,统计目标对象的数量;
所述图像切割子模块,用于以目标对象为中心,利用预训练的边缘切割模型,依次对所述待处理证件图像进行图像切割,得到与目标对象数量一致的第一证件图像。
具体的,所述对象检测子模块通过OCR模型,检测待处理证件图像是否存在目标对象,具体的,通过识别特征词来实现目标对象的检测,所述统计子模块在对象检测子模块识别到有身份证和驾驶证词汇时,统计子模块统计目标对象的数据,所述图像切割子模块利用预训练的边缘切割模型依次对所述待处理证件图像进行切割,得到与目标数量一致的第一证件图像。
通过对象检测子模块、统计子模块和图像切割子模块的配合,在图像切割前进行目标对象的进行获取并统计目标对象的数量,来保证切割后的第一证件图像与先前统计的目标对象数量一致,实现在一张待处理证件图像中切割出多个第一证件图像,提高了处理效率,避免用户一张张上传证件图像,以及提高了后续文本识别的准确率。
调取模块103,用于基于所述第一证件图像,调取与所述第一证件图像类型对应的图像模板以及预训练的识别模型,所述图像模板中还包括待填充内容的位置信息,所述识别模型基于CRNN模型训练得到;
具体的,调取模块103基于关键词识别模型,对第一证件图像进行预识别,提取第一证件图像的类型信息,即关键词。
进一步的,所述证件识别装置100还包括证件模板处理模块;
所述证件模板处理模块,用于获取各类证件模板,对所述证件模板进行识别和文本抹除,得到对应的图像模板,所述图像模板中还包括所述待填充内容对应的类型信息。
具体的,证件模板处理模块通过从数据库提取或者网络上爬取证件模板,并对证件模板进行预处理,从而得到对应的图像模板。
通过证件模板处理模块对证件模板进行识别和文本抹除,得到对应的图像模板,便于后续识别到用户证件文本后,填充至图像模板中,以生成更清晰的证件图像。
再进一步的,所述证件模板处理模块还包括文本提取子模块和文本抹除子模块;
所述文本提取子模块,用于基于OCR模型对证件模板中的各文本进行识别,提取出各文本对应的类型信息和位置信息;
所述文本抹除子模块,用于利用数字图像处理对所述证件模板进行文本抹除处理。
所述文本提取子模块首先通过OCR模型对证件模板中的各文本进行识别,并提取出各文本对应的类型信息和位置信息并保存至证件模板对应的属性中;所述文本抹除子模块利用数字图像处理技术对证件模板中的各文本进行抹除,得到待填充内容区域,所述各待填充内容的类型信息与位置信息相对应。
通过文本提取子模块和文本抹除子模块的配合利用OCR模型和数字图像处理分别对文本进行识别和文本抹除处理,以提高处理效率。
文本识别模块104,用于利用所述识别模型对所述第一证件图像进行文本识别并提取,得到对应的证件文本;
文本识别模块104通过利用与第一证件图像对应的识别模型进行文本识别并提取处理,提高了文本识别的准确率以及速度。
进一步的,所述文本识别模块104包括类型信息提取子模块;
所述类型信息提取子模块,用于提取所述证件文本分别对应的类型信息。
通过类型信息提取子模块利用OCR模型提取所述证件文本分别对应的类型信息,以用于后续与待填充内容的类型进行匹配,以提高填充准确度。
填充模块105,用于基于所述待填充内容的位置信息,将所述证件文本填入所述图像模板中的对应位置处,得到并输出第二证件图像。
进一步的,所述填充模块105包括:匹配子模块和内容填充子模块;
所述匹配子模块,用于将所述证件文本和待填充内容对应的类型信息进行匹配;
所述内容填充子模块,用于若匹配成功,则基于所述待填充内容对应的位置信息,将所述证件文本填入对应的所述待填充内容处。
通过匹配子模块和内容填充子模块的配合将证件文本与待填充内容对应的类型信息进行匹配,匹配成功,则将证件文本填入对应的待填充内容处,从而得到清晰完整的第二证件信息。
再进一步的,所述填充模块还包括提示子模块;
所述提示子模块,用于若匹配不成功,则发送信息至客户端,以给用户进行提示。
通过提示子模块当匹配不成功时,向用户发出提示,以提示用户再次输入。
通过采用上述装置,所述证件识别装置100通过获取模块101、切割模块102、调取模块103、文本识别模块104和填充模块105的配合使用,提高证件文本的识别准确率和速度,以及大大提高了证件的清晰度。
为解决上述技术问题,本申请实施例还提供计算机设备。具体请参阅图3,图3为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是,图中仅示出了具有组件41-43的计算机设备4,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable GateArray,FPGA)、数字处理器 (Digital Signal Processor,DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器41可以是所述计算机设备4的内部存储单元,例如该计算机设备4的硬盘或内存。在另一些实施例中,所述存储器41也可以是所述计算机设备4的外部存储设备,例如该计算机设备4上配备的插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(FlashCard)等。当然,所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中,所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件,例如证件识别方法的计算机可读指令等。此外,所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中,所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据,例如运行所述证件识别方法的计算机可读指令。
所述网络接口43可包括无线网络接口或有线网络接口,该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本实施例通过处理器执行存储在存储器的计算机可读指令时实现如上述实施例证件识别方法的步骤,通过将获取到待处理证件图像,首先利用预训练的边缘切割模型对待处理证件图像进行图像切割,得到第一证件图像,所述第一证件图像为仅包含证件信息的图片,通过只获取含有证件信息的图像,避免了环境因素的干扰;基于所述第一证件图像,调取与所述第一证件图像类型对应的图像模板以及预训练的识别模型,通过获取与第一证件图像对应的识别模型进行对应处理,提高证件上文本的识别准确率和速度,将所述提取出的文本,基于所述待填充内容的位置信息,填入所述图像模板中的对应位置处,得到第二证件图像,通过重新组合形成清晰且完整的第二证件图像,大大提高了识别得到证件的清晰度。
本申请还提供了另一种实施方式,即提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令可被至少一个处理器执行,以使所述至少一个处理器执行如上述的证件识别方法的步骤,通过将获取到待处理证件图像,首先利用预训练的边缘切割模型对待处理证件图像进行图像切割,得到第一证件图像,所述第一证件图像为仅包含证件信息的图片,通过只获取含有证件信息的图像,避免了环境因素的干扰;基于所述第一证件图像,调取与所述第一证件图像类型对应的图像模板以及预训练的识别模型,通过获取与第一证件图像对应的识别模型进行对应处理,提高证件上文本的识别准确率和速度,将所述提取出的文本,基于所述待填充内容的位置信息,填入所述图像模板中的对应位置处,得到第二证件图像,通过重新组合形成清晰且完整的第二证件图像,大大提高了识别得到证件的清晰度。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
显然,以上所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,附图中给出了本申请的较佳实施例,但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本申请专利保护范围之内。

Claims (9)

1.一种证件识别方法,其特征在于,所述方法包括:
获取待处理证件图像,所述待处理证件图像中包括第一证件图像和环境图像;
利用预训练的边缘切割模型对所述待处理证件图像进行图像切割,得到第一证件图像,所述边缘切割模型基于Canny边缘检测模型训练得到;
基于所述第一证件图像,调取与所述第一证件图像类型对应的图像模板以及预训练的识别模型,所述图像模板中包括待填充内容的位置信息,所述识别模型基于CRNN模型训练得到;
利用所述识别模型对所述第一证件图像进行文本识别并提取,得到对应的证件文本;
基于所述待填充内容的位置信息,将所述证件文本填入所述图像模板中的对应位置处,得到并输出第二证件图像;
所述利用预训练的边缘切割模型对所述待处理证件图像进行图像切割,得到第一证件图像包括:
利用OCR模型检测待处理证件图像是否存在目标对象;
若存在目标对象,统计目标对象的数量;
以目标对象为中心,利用预训练的边缘切割模型,依次对所述待处理证件图像进行图像切割,得到与目标对象数量一致的第一证件图像,实现一张待处理证件图像切割出多个第一证件图像。
2.根据权利要求1所述的证件识别方法,其特征在于,在所述利用预训练的边缘切割模型对所述待处理证件图像进行图像切割之前,还包括:
获取训练数据,所述训练数据包括第三证件图像及其对应的切割后的第四证件图像;
将所述第三证件图像及其对应的切割后的第四证件图像输入到所述Canny边缘检测模型进行训练,得到所述边缘切割模型。
3.根据权利要求1所述的证件识别方法,其特征在于,在所述调取与所述第一证件图像类型对应的图像模板之前,还包括:
获取各类证件模板,对所述证件模板进行识别和文本抹除,得到对应的图像模板,所述图像模板中还包括所述待填充内容对应的类型信息。
4.根据权利要求3所述的证件识别方法,其特征在于,所述对所述证件模板进行识别和文本抹除包括:
基于OCR模型对证件模板中的各文本进行识别,提取出各文本对应的类型信息和位置信息;
利用数字图像处理对所述证件模板进行文本抹除处理。
5.根据权利要求1所述的证件识别方法,其特征在于,所述利用所述识别模型对所述第一证件图像进行文本识别并提取包括:
提取所述证件文本分别对应的类型信息。
6.根据权利要求5所述的证件识别方法,其特征在于,所述基于所述待填充内容的位置信息,将所述证件文本填入所述图像模板中的对应位置处包括:
将所述证件文本和待填充内容对应的类型信息进行匹配;
若匹配成功,则基于所述待填充内容对应的位置信息,将所述证件文本填入对应的所述待填充内容处。
7.一种证件识别装置,其特征在于,所述装置包括:
获取模块,用于获取待处理证件图像,所述待处理证件图像中包括第一证件图像和环境图像;
切割模块,用于利用预训练的边缘切割模型对所述待处理证件图像进行图像切割,得到第一证件图像,所述边缘切割模型基于Canny边缘检测模型训练得到;
调取模块,用于基于所述第一证件图像,调取与所述第一证件图像类型对应的图像模板以及预训练的识别模型,所述图像模板中包括待填充内容的位置信息,所述识别模型基于CRNN模型训练得到;
文本识别模块,用于利用所述识别模型对所述第一证件图像进行文本识别并提取,得到对应的证件文本;
填充模块,用于基于所述待填充内容的位置信息,将所述证件文本填入所述图像模板中的对应位置处,得到并输出第二证件图像;
所述切割模块包括对象检测子模块、统计子模块和图像切割子模块;
所述对象检测子模块,用于利用OCR模型检测待处理证件图像是否存在目标对象;
所述统计子模块,用于若存在目标对象,统计目标对象的数量;
所述图像切割子模块,用于以目标对象为中心,利用预训练的边缘切割模型,依次对所述待处理证件图像进行图像切割,得到与目标对象数量一致的第一证件图像,实现一张待处理证件图像切割出多个第一证件图像。
8.一种计算机设备,其特征在于,所述计算机设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如权利要求1至6中任一所述的证件识别方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如权利要求1至6中任一所述的证件识别方法。
CN202110782878.5A 2021-07-12 2021-07-12 证件识别方法、装置、设备及存储介质 Active CN113239910B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110782878.5A CN113239910B (zh) 2021-07-12 2021-07-12 证件识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110782878.5A CN113239910B (zh) 2021-07-12 2021-07-12 证件识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113239910A CN113239910A (zh) 2021-08-10
CN113239910B true CN113239910B (zh) 2021-11-09

Family

ID=77135403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110782878.5A Active CN113239910B (zh) 2021-07-12 2021-07-12 证件识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113239910B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114169844A (zh) * 2021-11-03 2022-03-11 安徽省招标集团股份有限公司 一种投标文件不合规处理方法和装置
CN114913320A (zh) * 2022-06-17 2022-08-16 支付宝(杭州)信息技术有限公司 基于模板的证件通用结构化方法和系统
CN115297106B (zh) * 2022-07-22 2024-03-01 江西五十铃汽车有限公司 一种机动车随车证件打印与信息上传方法及系统
CN117373030B (zh) * 2023-06-19 2024-06-25 上海简答数据科技有限公司 一种基于ocr的用户材料识别方法、系统、装置及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463074A (zh) * 2017-07-27 2017-12-12 珠海赛纳打印科技股份有限公司 成像方法及成像装置
CN107563377A (zh) * 2017-08-30 2018-01-09 江苏实达迪美数据处理有限公司 一种利用边缘和文字区域的证件关键区域检测定位方法
CN108229299A (zh) * 2017-10-31 2018-06-29 北京市商汤科技开发有限公司 证件的识别方法和装置、电子设备、计算机存储介质
CN109034159A (zh) * 2018-05-28 2018-12-18 北京捷通华声科技股份有限公司 图像信息提取方法和装置
CN109492643A (zh) * 2018-10-11 2019-03-19 平安科技(深圳)有限公司 基于ocr的证件识别方法、装置、计算机设备及存储介质
CN110728272A (zh) * 2019-09-02 2020-01-24 平安普惠企业管理有限公司 基于ocr录入证件信息的方法及相关装置
CN111079480A (zh) * 2018-10-19 2020-04-28 北京金山云网络技术有限公司 身份证信息的识别方法、装置及终端设备
CN111259891A (zh) * 2020-01-19 2020-06-09 福建升腾资讯有限公司 一种自然场景下身份证识别方法、装置、设备和介质
CN111461122A (zh) * 2020-05-18 2020-07-28 南京大学 一种证件信息检测与提取方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8467614B2 (en) * 2007-11-28 2013-06-18 Lumex As Method for processing optical character recognition (OCR) data, wherein the output comprises visually impaired character images
CN111274858A (zh) * 2018-12-04 2020-06-12 厦门美亚商鼎信息科技有限公司 网络交易监管中营业执照识别方法
US10769360B1 (en) * 2019-04-01 2020-09-08 Snapdocs, Inc. Apparatus and method for processing an electronic document to derive a first electronic document with electronic-sign items and a second electronic document with wet-sign items
CN112488106A (zh) * 2020-12-02 2021-03-12 天翼电子商务有限公司 一种模糊、倾斜、带水印的身份证复印件要素提取方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463074A (zh) * 2017-07-27 2017-12-12 珠海赛纳打印科技股份有限公司 成像方法及成像装置
CN107563377A (zh) * 2017-08-30 2018-01-09 江苏实达迪美数据处理有限公司 一种利用边缘和文字区域的证件关键区域检测定位方法
CN108229299A (zh) * 2017-10-31 2018-06-29 北京市商汤科技开发有限公司 证件的识别方法和装置、电子设备、计算机存储介质
CN109034159A (zh) * 2018-05-28 2018-12-18 北京捷通华声科技股份有限公司 图像信息提取方法和装置
CN109492643A (zh) * 2018-10-11 2019-03-19 平安科技(深圳)有限公司 基于ocr的证件识别方法、装置、计算机设备及存储介质
CN111079480A (zh) * 2018-10-19 2020-04-28 北京金山云网络技术有限公司 身份证信息的识别方法、装置及终端设备
CN110728272A (zh) * 2019-09-02 2020-01-24 平安普惠企业管理有限公司 基于ocr录入证件信息的方法及相关装置
CN111259891A (zh) * 2020-01-19 2020-06-09 福建升腾资讯有限公司 一种自然场景下身份证识别方法、装置、设备和介质
CN111461122A (zh) * 2020-05-18 2020-07-28 南京大学 一种证件信息检测与提取方法

Also Published As

Publication number Publication date
CN113239910A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN113239910B (zh) 证件识别方法、装置、设备及存储介质
CN107798299B (zh) 票据信息识别方法、电子装置及可读存储介质
CN107194398B (zh) 车损部位的识别方法及系统
WO2019205369A1 (zh) 电子装置、基于人脸图像与声纹信息的身份识别方法及存储介质
CN112861648B (zh) 文字识别方法、装置、电子设备及存储介质
EP3511861A1 (en) Data extraction pipeline
CN108491866B (zh) 色情图片鉴定方法、电子装置及可读存储介质
US11488419B2 (en) Identity and liveness verification
CN109409349B (zh) 信贷证件鉴别方法、装置、终端及计算机可读存储介质
CN112541443B (zh) 发票信息抽取方法、装置、计算机设备及存储介质
CN111886842A (zh) 使用基于阈值的匹配进行远程用户身份验证
KR20090084968A (ko) 모바일 장치 시스템을 이용한 디지탈 이미지 아카이빙 및 검색
US20180267946A1 (en) Techniques and systems for storing and protecting signatures and images in electronic documents
CN110795714A (zh) 一种身份验证方法、装置、计算机设备及存储介质
CN110942061A (zh) 文字识别方法、装置、设备和计算机可读介质
WO2021147221A1 (zh) 文本识别方法、装置、电子设备及存储介质
CN109783781B (zh) 基于图像识别的保单录入方法和相关装置
CN112330331A (zh) 基于人脸识别的身份验证方法、装置、设备及存储介质
CN112102402A (zh) 闪光灯光斑位置识别方法、装置、电子设备及存储介质
CN112581344A (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN114663871A (zh) 图像识别方法、训练方法、装置、系统及存储介质
CN112016502B (zh) 安全带检测方法、装置、计算机设备及存储介质
CN113012075A (zh) 一种图像矫正方法、装置、计算机设备及存储介质
CN114550051A (zh) 一种车损检测方法、装置、计算机设备及存储介质
CN114140649A (zh) 票据分类方法、票据分类装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant