CN114694161A - 一种特定版式证件的文本识别方法、设备及存储介质 - Google Patents

一种特定版式证件的文本识别方法、设备及存储介质 Download PDF

Info

Publication number
CN114694161A
CN114694161A CN202210247734.4A CN202210247734A CN114694161A CN 114694161 A CN114694161 A CN 114694161A CN 202210247734 A CN202210247734 A CN 202210247734A CN 114694161 A CN114694161 A CN 114694161A
Authority
CN
China
Prior art keywords
text
detection frame
identification
feature
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210247734.4A
Other languages
English (en)
Inventor
魏江超
陈金树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Leelen Technology Co Ltd
Original Assignee
Xiamen Leelen Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Leelen Technology Co Ltd filed Critical Xiamen Leelen Technology Co Ltd
Priority to CN202210247734.4A priority Critical patent/CN114694161A/zh
Publication of CN114694161A publication Critical patent/CN114694161A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Character Input (AREA)

Abstract

本发明公开了一种特定版式证件的文本识别方法、设备及存储介质，方法包括以下步骤：设定特定版式证件的固定特征及识别区域，提取所述固定特征及所述识别区域的位置信息生成文本模板；训练建立文本检测模型，生成待识别证件图像的检测框，所述检测框包括特征检测框及识别检测框；识别待识别证件图像，获得特征检测框及识别检测框的文本信息；匹配所述固定特征与特征检测框的文本信息及位置信息确定所述待识别证件图像的偏移位置，进行仿射变换，移动所述识别检测框；匹配特征检测框与文本模板，通过特征检测框的识别内容及位置信息矫正所述识别检测框的位置；通过识别检测框，获取识别区域的所述识别检测框对应的目标文本信息。

Description

一种特定版式证件的文本识别方法、设备及存储介质
技术领域
本发明涉及计算机技术领域，具体涉及一种特定版式证件的文本识别方法、设备及存储介质。
背景技术
目前随着深度学习与计算机视觉快速发展，这促使着文本识别技术同时也发展迅速。这一类技术可用于各种票据，名片之类的识别，以及用于身份证，台胞证等证件类的识别。传统的识别方法，基于目标检测或边缘检测确认待测图片轮廓，进而矫正待测图片，然后使用检测网络预测待测图片文本框位置并与预设框进行匹配，提取相应位置的信息。
现有的文本识别通常使用边缘检测算法或训练目标检测算法，例如YOLO算法，找到待测图片中所需要的目标轮廓，进而通过霍夫变换或者透视变换等目标进行矫正，然后与预设框进行匹配，提取相应位置的信息。
上述方法对于一些特定版式证件的文本识别，例如对居民户口簿的识别存在较大缺陷，由于居民户口簿印刷时，各部分信息都会发生一部分偏移，由此对于矫正方法准确率要求较高，但边缘检测方法在复杂环境下对于居民户口簿的提取较差，目标检测算法则需要大量数据模型训练，并且也不能完成很好的轮廓提取，这都对于之后的位置匹配造成干扰较大，导致算法效果较差。
发明内容
本发明提出一种特定版式证件的文本识别方法、设备及存储介质用于解决上述问题。
为实现上述目的，本发明采用以下技术方案：
一种特定版式证件的文本识别方法，包括以下步骤：
设定特定版式证件的固定特征及识别区域，提取所述固定特征及所述识别区域的位置信息生成文本模板；
训练建立文本检测模型，生成待识别证件图像的检测框，所述检测框包括特征检测框及识别检测框；
识别待识别证件图像，获得特征检测框及识别检测框的文本信息；
匹配所述固定特征与特征检测框的文本信息及位置信息确定所述待识别证件图像的偏移位置，进行仿射变换，移动所述识别检测框；
匹配特征检测框与文本模板，通过特征检测框的识别内容及位置信息矫正所述识别检测框的位置；
通过识别检测框，获取识别区域的所述识别检测框对应的目标文本信息。
优选地，所述识别待识别证件图像方法的步骤之前还包括：
获取待识别证件图像；
采用霍夫变换，确定待识别证件图像的方向直线；
利用直线与水平构成的角度做仿射变换摆正原图像。
4、优选地，所述识别待识别证件图像，获得特征检测框及识别检测框的文本信息的步骤还包括：
获得所述特征检测框及识别检测框截取的文本图像；
采用CRNN识别网络识别文本图像生成文本信息；和/或
所述识别待识别证件图像，获得特征检测框及识别检测框的文本信息的步骤还包括：
建立文本识别模型，根据所述特定版式证件的目标文本设置包括固定文本选项的预设字典；
计算文本信息符合固定文本选项的符合概率；
结合预设字典及符合概率输出文本信息。
优选地，所述匹配所述固定特征与特征检测框的文本信息及位置信息确定所述待识别证件图像的偏移位置的步骤包括：
识别固定特征所在位置的特征检测框对应的文本信息；
判断识别结果是否为固定特征，若是，则计算固定特征与特征检测框的偏移量，根据所述偏移量调整特征检测框及识别检测框位置；若否，则调整待识别证件图像与识别设备的相对位置。
优选地，所述偏移量根据所述特定检测框与固定特征的中心点的位置坐标偏移量计算。
优选地，所述方法还包括：
计算所述识别检测框与文本模板识别区域的面积匹配度；
筛选满足预设条件的识别检测框；
提取所述识别检测框识别的文本信息。
优选地，所述方法还包括：
预设识别检测框和文本模板的识别区域的匹配系数为阈值a；
通过公式S＝A/L计算所述检测框和识别区域的匹配系数，
其中S代表识别检测框和文本预设框的匹配系数，A代表识别检测框和识别区域的交集面积，L代表识别检测框的面积；
若S不小于a，则匹配度满足预设条件，保留所述识别检测框，否则，删除所述识别检测框。
优选地，所述方法还包括：
获取识别设备与待识别证件之间的高度，根据所述高度确定文本模板。
一种嵌入式核验设备，所述嵌入式核验设备包括摄像头、存储器、处理器；
所述摄像头用于获取特定版式证件的图像；
所述存储器用于存储在处理器上运行的计算机程序；
所述处理器执行所述计算机程序时执行如上述任意一项所述的一种特定版式证件的文本识别方法。
一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述任一所述方法。
采用上述技术方案后，本发明与背景技术相比，具有如下优点：
本发明一种特定版式证件的文本识别方法、设备及存储介质，用于特定式版本证件的文本识别，例如对居民户口簿的文本识别，仅利用待识别文本的特征区域和识别区域的坐标信息，不需要大量数据训练户口簿检测算法或者做一些边缘检测算法，就可以实现待识别文本相对于文本模板良好的校正效果，并且由于固定特征只依赖于文本自带信息，不易受到环境干扰；通过计算匹配系数与预设定的匹配系数阙值对比，解决识别检测框的偏移问题，才能对识别检测框的有效信息提取；在对识别检测框的文本内容进行识别时，通过预设字典对识别网络结果进行修正，可以有效的约束一些离谱的误识别，提高一定准确率。
附图说明
图1为本发明方法流程图；
图2为本发明实施例一中待识别居民户口簿示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例一
请参考图1和图2所示，本发明公开了一种特定版式证件的文本识别方法，包括以下步骤：
S1、设定特定版式证件的固定特征及识别区域，提取所述固定特征及所述识别区域的位置信息生成文本模板。其中，文本模板的确定还与本实施例中采用的识别设备与预待识别证件之间的高度有关，不同的高度所采用的文本模板类型不一致。
例如：本实施例中特定版式证件为居民户口簿，不同特定版式证件其固定特征不一致，可以设置居民户口簿的固定特征为“常住人口登记卡”，且其位于居民户口簿的最高位置，可以设置居民户口簿的识别区域是具体的姓名信息、性别、身份证号等。文本模板根据其相对位置进行生成。
S2、训练建立文本检测模型，生成待识别证件图像的检测框，所述检测框包括特征检测框及识别检测框。
其中，如图2，在居民户口簿特征检测框位于中心点最高位置，识别检测框为姓名检测框、性别检测框、身份证号检测框等所对应的位置。
匹配文本模板，取出需要地方的信息。例如：本实施例中需要识别出的内容为姓名检测框、性别检测框、身份证号检测框内的信息。
S3、识别待识别证件图像，获得特征检测框及识别检测框的文本信息，具体步骤包括：
S31、获取待识别证件图像，采用霍夫变换，确定待识别证件图像的直线，利用直线做仿射变换摆正原图像。
例如：将待识别居民户口簿放置于识别设备下方，识别设备获取待识别居民户口簿图像，由于居民户口簿在放置时，较为随意，没有进行摆正，故获取的图像可能存在角度歪斜现象，采用霍夫变换，确定待识别居民户口簿图像的直线，利用直线将仿射变换摆正原图像。
S32、根据摆正后图像，截取特征检测框的文本图像，采用CRNN识别网络识别特征检测框的文本图像生成特征检测框的文本信息。
例如：根据摆正后待识别居民户口簿图像，截取中心点最高位置的文本图像，采用CRNN识别网络识别中心点位置最高位置的文本图像生成中心点最高位置的文本信息。
S33、通过匹配所述固定特征与特征检测框的文本信息及位置信息确定所述待识别证件图像的偏移位置。若匹配成功，即特征检测框的文本信息与固定特征一致，则计算固定特征与特征检测框的偏移量，根据偏移量调整特征检测框及识别检测框位置；若否，则调整待识别证件图像与识别设备的相对位置。
例如：通过匹配文本模板上“常住人口登记卡”与中心点最高位置的文本信息及位置信息确定待识别居民户口簿的偏移位置。若匹配成功，即中心点最高位置的文本信息为“常住人口登记卡”，则计算中心点最高位置的文本信息相对于文本模板上“常住人口登记卡”的位置偏移量，根据偏移量调整特征检测框及识别检测框位置；若否，则调整待识别居民户口簿图像与识别设备的相对位置。
其中，偏移量根据特定检测框与固定特征的中心点的位置坐标偏移量计算。
S34、匹配特征检测框与文本模板，通过特征检测框的识别内容及位置信息矫正识别检测框的位置；确定好识别检测框的位置后，通过计算识别检测框与文本模板识别区域的面积匹配度，筛选满足预设条件的识别检测框。
例如：匹配特征检测框与文本模板，通过特征检测框的识别内容及位置信息矫正姓名检测框、性别检测框、身份证号检测框的位置；确定好性别框、性别框及身份证号框的位置后，通过计算姓名检测框、性别检测框、身份证号检测框与文本模板识别区域的面积匹配度，筛选姓名检测框、性别检测框、身份证号检测框中满足预设条件的识别检测框。
其中，满足预设条件的识别检测框的筛选方法具体包括：
预设识别检测框和文本模板的识别区域的匹配系数为阈值a；
通过公式S＝A/L计算所述检测框和识别区域的匹配系数，
其中S代表识别检测框和文本预设框的匹配系数，A代表识别检测框和识别区域的交集面积，L代表识别检测框的面积；
若S不小于a，则匹配度满足预设条件，保留所述识别检测框，否则，删除所述识别检测框。
S35、截取满足预设条件的识别检测框的文本图像，采用CRNN识别网络识别检测框的文本图像生成识别检测框的文本信息。
例如：截取满足预设条件的姓名检测框、性别检测框、身份证号检测框的文本图像，采用CRNN识别网络识别检测框的文本图像生成姓名检测框、性别检测框、身份证号检测框的文本信息，从而获取待识别居民户口簿的姓名、性别及身份证号信息。
在特征检测框和识别检测框的文本信息进行识别时还通过预设字典进行修正，可以有效的约束一些离谱的误识别，提高一定准确率。修正方法具体包括：
建立文本识别模型，根据所述特定版式证件的目标文本设置包括固定文本选项的预设字典；
计算文本信息符合固定文本选项的符合概率；
结合预设字典及符合概率输出文本信息。
例如：对居民户口簿中性别检测框中的性别识别，通过性别检测框相应的预设字典的约束，这里约束只判断“男”与“女”相对应序号的概率，提高文本识别结果准确率
CRNN全称为Convolutional Recurrent Neural Network，是一种卷积循环神经网络结构，主要用于端到端地对不定长的文本序列进行识别，不用先对单个文字进行切割，而将文本识别转化为时序依赖的序列学习问题，基于图像的序列识别。
实施例二本发明还公开一种嵌入式核验设备，所述嵌入式核验设备包括摄像头、存储器、处理器；
所述摄像头用于获取特定版式证件的图像；
所述存储器用于存储在处理器上运行的计算机程序；
所述处理器执行所述计算机程序时执行如实施例一所述的一种特定版式证件的文本识别方法。
实施例三
本发明一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行实施例一所述方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种特定版式证件的文本识别方法，其特征在于，包括以下步骤：
设定特定版式证件的固定特征及识别区域，提取所述固定特征及所述识别区域的位置信息生成文本模板；
训练建立文本检测模型，生成待识别证件图像的检测框，所述检测框包括特征检测框及识别检测框；
识别待识别证件图像，获得特征检测框及识别检测框的文本信息；
匹配所述固定特征与特征检测框的文本信息及位置信息确定所述待识别证件图像的偏移位置，进行仿射变换，移动所述识别检测框；
匹配特征检测框与文本模板，通过特征检测框的识别内容及位置信息矫正所述识别检测框的位置；
通过识别检测框，获取识别区域的所述识别检测框对应的目标文本信息。
2.如权利求1所述的一种特定版式证件的文本识别方法，其特征在于：所述识别待识别证件图像方法的步骤之前还包括：
获取待识别证件图像；
采用霍夫变换，确定待识别证件图像的方向直线；
利用直线与水平构成的角度做仿射变换摆正原图像。
3.如权利要求1所述的一种特定版式证件的文本识别方法，其特征在于：所述识别待识别证件图像，获得特征检测框及识别检测框的文本信息的步骤还包括：
获得所述特征检测框及识别检测框截取的文本图像；
采用CRNN识别网络识别文本图像生成文本信息；和/或
所述识别待识别证件图像，获得特征检测框及识别检测框的文本信息的步骤还包括：
建立文本识别模型，根据所述特定版式证件的目标文本设置包括固定文本选项的预设字典；
计算文本信息符合固定文本选项的符合概率；
结合预设字典及符合概率输出文本信息。
4.如权利要求1所述的一种特定版式证件的文本识别方法，其特征在于，所述匹配所述固定特征与特征检测框的文本信息及位置信息确定所述待识别证件图像的偏移位置的步骤包括：
识别固定特征所在位置的特征检测框对应的文本信息；
判断识别结果是否为固定特征，若是，则计算固定特征与特征检测框的偏移量，根据所述偏移量调整特征检测框及识别检测框位置；若否，则调整待识别证件图像与识别设备的相对位置。
5.如权利要求4所述的一种特定版式证件的文本识别方法，其特征在于：所述偏移量根据所述特定检测框与固定特征的中心点的位置坐标偏移量计算。
6.如权利要求1所述的一种特定版式证件的文本识别方法，其特征在于：所述方法还包括：
计算所述识别检测框与文本模板识别区域的面积匹配度；
筛选满足预设条件的识别检测框；
提取所述识别检测框识别的文本信息。
7.如权利要求6所述的一种特定版式证件的文本识别方法，其特征在于：所述方法还包括：
预设识别检测框和文本模板的识别区域的匹配系数为阈值a；
通过公式S＝A/L计算所述检测框和识别区域的匹配系数，
其中S代表识别检测框和文本预设框的匹配系数，A代表识别检测框和识别区域的交集面积，L代表识别检测框的面积；
若S不小于a，则匹配度满足预设条件，保留所述识别检测框，否则，删除所述识别检测框。
8.如权利要求1-7任意一项所述的一种特定版式证件的文本识别方法，其特征在于：所述方法还包括：
获取识别设备与待识别证件之间的高度，根据所述高度确定文本模板。
9.一种嵌入式核验设备，其特征在于：所述嵌入式核验设备包括摄像头、存储器、处理器；
所述摄像头用于获取特定版式证件的图像；
所述存储器用于存储在处理器上运行的计算机程序；
所述处理器执行所述计算机程序时执行如权利要求1-8任意一项所述的一种特定版式证件的文本识别方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1至8任一所述方法。
CN202210247734.4A 2022-03-14 2022-03-14 一种特定版式证件的文本识别方法、设备及存储介质 Pending CN114694161A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210247734.4A CN114694161A (zh) 2022-03-14 2022-03-14 一种特定版式证件的文本识别方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210247734.4A CN114694161A (zh) 2022-03-14 2022-03-14 一种特定版式证件的文本识别方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114694161A true CN114694161A (zh) 2022-07-01

Family

ID=82138503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210247734.4A Pending CN114694161A (zh) 2022-03-14 2022-03-14 一种特定版式证件的文本识别方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114694161A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471846A (zh) * 2022-09-22 2022-12-13 中电金信软件有限公司 一种图像矫正方法、装置、电子设备及可读存储介质
CN117274972A (zh) * 2023-11-22 2023-12-22 盛视科技股份有限公司 基于深度学习和传统算法的证件版面分析方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471846A (zh) * 2022-09-22 2022-12-13 中电金信软件有限公司 一种图像矫正方法、装置、电子设备及可读存储介质
CN115471846B (zh) * 2022-09-22 2023-06-27 中电金信软件有限公司 一种图像矫正方法、装置、电子设备及可读存储介质
CN117274972A (zh) * 2023-11-22 2023-12-22 盛视科技股份有限公司 基于深度学习和传统算法的证件版面分析方法

Similar Documents

Publication Publication Date Title
CN110766014B (zh) 票据信息定位方法、系统及计算机可读存储介质
CN109658584B (zh) 一种票据信息识别方法及装置
WO2021027336A1 (zh) 基于印章和签名的身份验证方法、装置和计算机设备
CN111680688B (zh) 字符识别方法及装置、电子设备、存储介质
CN108520254B (zh) 一种基于格式化图像的文本检测方法、装置以及相关设备
CN110569341B (zh) 配置聊天机器人的方法、装置、计算机设备和存储介质
WO2019061658A1 (zh) 眼镜定位方法、装置及存储介质
CN114694161A (zh) 一种特定版式证件的文本识别方法、设备及存储介质
JP2017084336A (ja) 画像化された文書からテキストを抽出する方法及び装置
CN108734235A (zh) 一种用于电子处方的身份识别方法及系统
CN110490190B (zh) 一种结构化图像文字识别方法及系统
CN106991421A (zh) 一种身份证信息提取系统
US9679218B2 (en) Method and apparatus for image matching
CN114359553B (zh) 一种基于物联网的签章定位方法、系统及存储介质
CN113111880B (zh) 证件图像校正方法、装置、电子设备及存储介质
CN113887484B (zh) 一种卡片式文件图像识别方法和装置
CN112396047B (zh) 训练样本生成方法、装置、计算机设备和存储介质
CN112580499A (zh) 文本识别方法、装置、设备及存储介质
US20130050765A1 (en) Method and apparatus for document authentication using image comparison on a block-by-block basis
WO2019071476A1 (zh) 一种基于智能终端的快递信息录入方法及录入系统
CN114637877A (zh) 标注方法、电子设备及存储介质
CN104899551B (zh) 一种表单图像分类方法
CN109635798B (zh) 一种信息提取方法及装置
CN116798061A (zh) 一种票据审核识别方法、装置、终端和存储介质
CN112396057A (zh) 一种字符识别方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination