CN116129456A - 一种产权权属信息识别录入方法及系统 - Google Patents

一种产权权属信息识别录入方法及系统 Download PDF

Info

Publication number
CN116129456A
CN116129456A CN202310096347.XA CN202310096347A CN116129456A CN 116129456 A CN116129456 A CN 116129456A CN 202310096347 A CN202310096347 A CN 202310096347A CN 116129456 A CN116129456 A CN 116129456A
Authority
CN
China
Prior art keywords
segmentation
certificate
character
information
prediction result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310096347.XA
Other languages
English (en)
Other versions
CN116129456B (zh
Inventor
刘润东
陈瑞波
潘婵玲
梅树红
耿栋
刘清
覃苑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Remote Sensing Spatial Information Technology Co ltd
Guangxi Institute Of Natural Resources Remote Sensing
Original Assignee
Guangxi Remote Sensing Spatial Information Technology Co ltd
Guangxi Institute Of Natural Resources Remote Sensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Remote Sensing Spatial Information Technology Co ltd, Guangxi Institute Of Natural Resources Remote Sensing filed Critical Guangxi Remote Sensing Spatial Information Technology Co ltd
Priority to CN202310096347.XA priority Critical patent/CN116129456B/zh
Publication of CN116129456A publication Critical patent/CN116129456A/zh
Application granted granted Critical
Publication of CN116129456B publication Critical patent/CN116129456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种产权权属信息识别录入方法及系统，属于图像识别技术领域，该方法包括如下步骤：首先获取证件图像集，对证件区域和文字区域分别进行分割成二分类标签，制作分割训练数据集；然后设计双分支U‑Net分割网络，并使用损失函数计算分割预测结果和对应标签的损失，在Pytorch框架中进行训练；再将待识别的证件图形输入双分支U‑Net分割网络获取证件区域分割预测结果和文字区域预测结果，结合分割预测结果中的角点对图形进行校正；最后基于分割结果结合CRNN+CTC文字识别模型对权属人信息进行提取，并将权属人证件信息录入系统。本发明能够提高复杂拍摄环境下证件信息的识别效率和识别准确率。

Description

一种产权权属信息识别录入方法及系统
技术领域
本发明属于图像识别技术领域，具体涉及一种产权权属信息识别录入方法及系统。
背景技术
自然资源和不动产登记关系国计民生，社会影响巨大。近年，我国积极推进相关工作，通过调查明晰产权，使权源信息更完整准确。为维护国民合法权益，在自然资源和不动产登记等工作的外业调查中，产权权属信息快速录入成为提高工作效率的关键环节，为解决这一问题，需要开发快速准确的权属人信息识别录入系统。传统的权属信息是通过人工识别手动输入的方法获得，是一种较为耗时且准确率受操作人员状态所影响的方法。
目前图像识别领域对权属人证件信息提取识别研究应用相对较少，现有研究多集中于对理想情况下证件的信息提取，如证件必须位于规定框线内，拍摄视角不能发生较大的变动，且对光线要求也不低，这样对拍摄者的拍照技巧也有一定的要求。而产权属性录入时证件信息识别精度较低主要有以下两个方面的影响：一方面，权属人大多没有较为熟练的拍摄技巧，拍摄时由于光照、角度、背景和对焦等因素无法控制，导致对权属信息的识别变得困难；另一方面，部分证件上有着特殊的花纹，提高了识别的难度，降低了识别的准确性，导致识别的结果不理想。鉴于权属信息录入时效性和有限人力资源，建立高效智能证件信息提取模型对于提高权属信息入库效率、降低人工时间成本具有重要意义。
发明内容
本发明旨在解决上述背景技术中提出的技术问题，提供了一种权属人证件信息识别录入方法，能够提高复杂拍摄环境下证件信息的识别效率和识别准确率。
本发明的目的是通过以下技术方案实现：
一种产权权属信息识别录入方法，该方法包括如下步骤：
步骤1、获取证件图像集，将证件图像集进行标准化预处理以制作成分割训练数据集；
步骤2、构建双分支U-Net分割网络，将训练数据集输入双分支U-Net分割网络中进行训练验证以获取关于证件和文字预测结果的分割网络模型，并对分割网络模型进行优化调整训练；
步骤3、将待识别的证件图像输入训练好的分割网络模型中，获取证件区域分割预测结果和文字区域预测结果，分别对证件区域分割预测结果和文字区域预测结果进行后处理操作，再进行矫正操作，以获取矫正后的证件图像以及文字检测框；
步骤4、制作文字识别数据集，建立CRNN+CTC文字识别模型，根据文字检测框提取出证件中的文字，输入CRNN+CTC文字识别模型，得到文字识别结果，再根据文字检测框坐标确定该文字对应的信息，获得权属人证件信息；
步骤5、从所述权属人证件信息中提取各个属性信息，自动录入预设模板表格中对应各个属性信息的位置。
作为本发明的进一步改进，所述步骤1中，将证件图像集进行标准化预处理以制作成分割训练数据集的具体步骤如下：
首先，制作证件区域分割二分类标签及文字分割二分类标签，其中，文字分割二分类标签只勾画证件中的文字，忽略背景中的干扰字样；
然后，将证件图像集中的证件原始照片、证件区域分割二分类标签及文字分割二分类标签保持长宽比并缩放为固定尺寸，制作成分割训练数据集，分割训练数据集包括证件分割训练数据集和文字分割训练数据集。
作为本发明的进一步改进，所述步骤2中，对分割网络模型参数进行优化训练的具体方法为：
根据证件和文字预测结果对应标签的损失进行计算得到分割网络模型的整体损失函数，整体损失函数为：loss＝loss证件+γ*loss文字，其中，γ为权重；通过所述整体损失函数对分割网络模型的参数进行优化更新，直至所述整体损失函数符合预设标准，完成对所述分割网络模型的优化训练。
作为本发明的进一步改进，所述步骤3中，对证件区域分割预测结果和文字区域预测结果进行后处理操作的具体方法为：
对证件分割预测结果，使用OpenCV进行后处理，将证件分割预测结果使用先腐蚀后膨胀的形态学操作优化分割边界并进行空洞填补，获取证件分割区域轮廓，并根据轮廓大小、长宽比排除误分割区域，获得处理后的证件分割区域，并计算出证件分割区域的四个角点坐标；
对文字分割预测结果，同样的，使用OpenCV进行后处理，使用先腐蚀后膨胀的形态学操作优化分割边界并进行空洞填补，获取文字检测框轮廓，利用文字检测框的几何特征滤除冗余检测框，获得处理后的文字检测框，并计算出文字检测框的四个角点坐标，得到文字检测框的轮廓大小和坐标位置；
作为本发明的进一步改进，所述步骤3中，矫正操作的具体方法为：根据文字检测框的坐标位置和轮廓大小，以证件先验知识为依据，对证件分割区域的四个角点坐标进行排序，并根据排序后的四个证件角点坐标使用OpenCV进行透视变换，得到矫正后的证件图像以及文字检测框。
作为本发明的进一步改进，所述权属人证件信息包括权属人姓名、性别、身份证号、地址、民族的属性信息。
本发明还提供一种产权权属信息识别录入系统，包括分割训练数据集制作模块、分割网络训练模块、分割结果获取及矫正模块、证件信息识别及提取模块和信息录入模块；
所述分割训练数据集制作模块，用于将证件图像集进行标准化预处理以制作成分割训练数据集；
所述分割网络训练模块，用于将训练数据集输入双分支U-Net分割网络中进行训练验证，优化分割网络参数，获取用于证件和文字分割预测的神经网络模型；
所述分割结果获取及矫正模块，用于将待识别的证件图像输入训练好的分割网络模型中，获取证件区域分割预测结果和文字区域预测结果，分别对证件区域分割预测结果和文字区域预测结果进行后处理操作，再进行矫正操作，以获取矫正后的证件图像以及文字检测框；
所述证件信息识别及提取模块，用于制作文字识别数据集，建立文字识别模型，根据文字检测框提取出证件中的文字，输入文字识别模型，得到文字识别结果，再根据文字检测框坐标确定该文字对应的信息，获得权属人证件信息；
所述信息录入模块，用于从所述权属人证件信息中提取各个属性信息，自动录入预设模板表格中对应各个属性信息的位置。
与现有技术相比，本发明具有以下有益效果：
1.本发明的产权权属人证件信息识别录入方法具有识别速度快，识别准确率高的特点。首先获取待处理的证件原始图像；之后针对证件区域和文字区域分别制作二分类分割标签，制作证件分割训练数据集和文字分割训练数据集；然后设计双分支U-Net分割网络，并使用损失函数计算分割预测结果和对应标签的损失，在Pytorch框架中进行训练；再将待识别的证件图形输入双分支U-Net分割网络获取证件区域分割预测结果和文字区域预测结果，结合分割预测结果中的角点对图形进行校正；最后基于文字分割结果使用CRNN+CTC文字识别模型对权属人身份信息进行提取。该方法根据权属人证件的特点使用了双分支U-Net分割网络对权属人证件图形进行分割操作，使用CRNN+CTC文字识别模型对证件信息进行提取，解决了普通用户使用手机拍照时，因照片受到背景、光照、噪声、模糊等因素影响导致传统方法识别效果不理想的问题，提高权属人证件信息的识别效率，还解决了人工录入证件信息效率低的问题。
2.本发明通过构建双分支U-Net分割网络，将其运用于证件图像分割问题上，以证件图像集制作分割数据集进行训练、验证、测试，得到识别准确率较高的分割网络模型。
3.本发明对证件区域分割预测结果和文字区域预测结果分别进行后处理操作，能够提高图像的容差性，保证证件识别的准确度。预测结果通过先腐蚀后膨胀的形态学操作，使预测结果连通为一个类似矩形区，腐蚀能够消除连通域的边界点以及细小区域，使边界内缩，而膨胀则将与物体接触的所有背景点合并到该物体中，使边界向外部扩张。分割结果通过腐蚀操作，可以去除离线的细小误分割噪点，平滑分割边界，通过膨胀操作将因腐蚀而内缩的分割结果外扩还原。通过后处理操作够有效解决因光照强度不均匀而影响U-Net分割网络对证件图像的证件区域和文字区域的识别定位以及分割精度的问题。
4.本发明的产权权属人证件信息识别录入系统具有泛用性好，识别快，识别准确率高的特点，本系统能够将证件信息从背景复杂、光照不均、拍摄模糊等情况下识别出来，解决了普通用户使用手机拍照时，因照片受到背景、光照、噪声、模糊等因素影响导致识别效果不理想的问题。
附图说明
图1是本发明一种产权权属人证件信息识别录入方法的具体流程图；
图2是本发明双分支U-Net分割网络的结构示意图；
图3是本发明实施例中待识别的身份证图像；
图4是本发明实施例中矫正操作后的身份证图像,；
图5是本发明一种产权权属人证件信息识别录入系统的结构示意图；
具体实施方式
下面结合附图与实施例对本发明作进一步说明。需要说明的是，本发明的具体实施例只是为了能更清楚的描述技术方案，而不能作为本发明保护范围的一种限制。
请参阅图1-图4，一种产权权属人证件信息识别录入方法，该方法包括如下步骤：
步骤1、获取证件图像集，将证件图像集进行标准化预处理以制作成分割训练数据集；以作为训练阶段的输入，具体步骤如下：
首先，制作证件区域分割二分类标签及文字分割二分类标签，其中，文字分割二分类标签只勾画证件中的文字，忽略背景中的干扰字样；
然后，将证件图像集中的证件原始照片、证件区域分割二分类标签及文字分割二分类标签保持长宽比并缩放为固定尺寸，制作成分割训练数据集，分割训练数据集包括证件分割训练数据集和文字分割训练数据集；
步骤2、构建双分支U-Net分割网络，将训练数据集输入双分支U-Net分割网络中进行训练验证，优化分割网络参数，获取用于证件和文字分割预测的神经网络模型，利用训练好的分割网络模型对待识别的证件图像进行识别分割。对分割网络模型进行优化调整训练的具体方法为：
根据证件和文字预测结果对应标签的损失进行计算得到分割网络模型的整体损失函数，整体损失函数为：loss＝loss证件+γ*loss文字，其中，γ为权重；本实施中，为提高文字分割准确率，γ＝2。通过所述整体损失函数对分割网络模型的参数进行调整，直至所述整体损失函数符合预设标准，完成对所述分割网络模型的优化调整训练，获得训练好的证件背景分割和文字分割网络。
步骤3、基于Pytorch框架训练，图3为待识别的证件图像(证件里面的个人信息做了模糊处理)，将待识别的证件图像使用与制作成分割训练数据集相同的方式，缩放为固定尺寸，输入训练好的分割网络模型中，获取证件区域分割预测结果和文字区域预测结果，分别对证件区域分割预测结果和文字区域预测结果进行后处理操作，再进行矫正操作，以获取矫正后的证件图像以及文字检测框；其中：
对证件区域分割预测结果和文字区域预测结果进行后处理操作的具体方法为：
对证件分割预测结果，使用OpenCV进行后处理，将证件分割预测结果使用先腐蚀后膨胀的形态学操作并进行空洞填补，能够提高图像边缘处的分割精度，获取更好的分割结果，得到更好的证件分割区域轮廓，并根据轮廓大小、长宽比排除误分割区域，获得处理后的证件分割区域，并计算出证件分割区域的四个角点坐标；
对文字分割预测结果，同样的，使用OpenCV进行后处理，使用先腐蚀后膨胀的形态学操作优化分割边界并进行空洞填补，获取文字检测框轮廓，利用文字检测框的几何特征滤除冗余检测框，获得处理后的文字检测框，并计算出文字检测框的四个角点坐标，得到文字检测框的轮廓大小和坐标位置。
本发明对证件区域分割预测结果和文字区域预测结果分别进行后处理操作，能够提高图像的容差性，保证证件识别的准确度。预测结果通过先腐蚀后膨胀的形态学操作，使预测结果连通为一个类似矩形区，腐蚀能够消除连通域的边界点以及细小区域，使边界内缩，而膨胀则将与物体接触的所有背景点合并到该物体中，使边界向外部扩张。分割结果通过腐蚀操作，可以去除离线的细小误分割噪点，平滑分割边界，通过膨胀操作将因腐蚀而内缩的分割结果外扩还原。通过后处理操作够有效解决因光照强度不均匀而影响U-Net分割网络对证件图像的证件区域和文字区域的识别定位以及分割精度的问题。
矫正操作的具体方法为：根据文字检测框的坐标位置和轮廓大小，以证件先验知识为依据，对证件分割区域的四个角点坐标进行排序，并根据排序后的四个证件角点坐标使用OpenCV进行透视变换，得到正投影下的证件图像，得到矫正后的证件图像以及文字检测框，以身份证为例，图4为矫正后的身份证图像。
步骤4、收集大量文字图片，将文字剪裁出并将所包含的文字写入文档中作为标签，制作文字识别数据集，文字识别使用CRNN+CTC文字识别模型，基于Pytorch框架训练，输入图像统一缩放为高32像素。根据文字检测框提取出证件中的文字，缩放为高32像素，输入训练好的CRNN+CTC文字识别模型，得到文字识别结果，再根据文字检测框坐标确定该文字对应的信息，获得产权权属人证件信息，以key：value格式输出。
步骤5、从所述产权权属人证件信息中提取各个属性信息，所述权属人证件信息包括权属人相关的姓名、性别、身份证号、地址、民族等属性信息；产权权属人信息自动录入预设模板表格中对应各个属性信息的位置，获得产权权属人信息表格并存储至产权信息系统的信息数据库中。
由于证件照拍摄背景复杂导致U-Net分割网络直接用于证件图像的分割时其网络分类性能较低，网络预测精度较低。为了解决上述技术问题，如图2所示，本发明提供了一种改进的双分支U-Net分割网络，双分支U-Net分割网络包括结构相同的证件背景分支网络和文字分支网络，利用证件背景分支网络对图像中的证件整体背景进行分类，以及利用文字分支网络对图像中的文字进行分类，然后对二者的分类结果进行融合等操作即可将图像划分为证件背景部分和文字部分。构建双分支U-Net分割网络具体的方法为：
(1)取w×h×3的图像，经过卷积操作提取特征，获得w×h×64的特征图F1，再经过四次卷积特征提取层下采样提取特征后，得到w/2×h/2×128的特征图F2、w/4×h/4×256的特征图F3，w/8×h/8×512的特征图F4，w/16×h/16×1024的特征图F5；
(2)将F5上采样一倍与F4融合并通过卷积提取特征获得w/8×h/8×512的特征图F4*，将F4*上采样一倍与F3融合并通过卷积提取特征获得w/4×h/4×256的特征图F3*，将F3*上采样一倍与F2融合并通过卷积提取特征获得w/2×h/2×128的特征图F2*，将F2*上采样一倍与F1融合并通过卷积提取特征获得w×h×64的特征图F1*；
(3)w/4×h/4×256的特征图F3*通过1×1的卷积得到w/4×h/4×2的特征图，使用插值进行两倍上采样，经softmax激活函数得到证件分割预测结果；w×h×64的特征图F1*通过1×1的卷积得到w×h×2的特征图，经softmax激活函数得到文字分割预测结果，其W和H分别为输入图像的宽度和高度。
本发明采用双分支U-Net分割网络对输入的证件图像进行不同尺度的下采样、融合及上采样，能够提高网络预测精度。本发明通过构建双分支U-Net分割网络，将其运用于证件图像分割问题上，以证件图像集作为样本数据集进行训练、验证、测试，便于得到识别准确率较高的分割网络模型。
如图5，本发明还提供一种产权权属人证件信息识别录入系统，包括分割训练数据集制作模块、分割网络训练模块、分割结果获取及矫正模块、证件信息识别及提取模块和信息录入模块；
所述分割训练数据集制作模块，用于将证件图像集进行标准化预处理以制作成分割训练数据集；
所述分割网络训练模块，用于将训练数据集输入双分支U-Net分割网络中进行训练验证以获取关于证件和文字预测结果的分割网络模型，并对分割网络模型进行优化调整训练；
所述分割结果获取及矫正模块，用于将待识别的证件图像输入训练好的分割网络模型中，获取证件区域分割预测结果和文字区域预测结果，分别对证件区域分割预测结果和文字区域预测结果进行后处理操作，再进行矫正操作，以获取矫正后的证件图像以及文字检测框；
证件信息识别及提取模块，用于制作文字识别数据集，建立CRNN+CTC文字识别模型，根据文字检测框提取出证件中的文字，输入CRNN+CTC文字识别模型，得到文字识别结果，再根据文字检测框坐标确定该文字对应的信息，获得产权权属人证件信息；
信息录入模块，用于从所述产权权属人证件信息中提取各个属性信息，自动录入预设模板表格中对应各个属性信息的位置。
本发明的产权权属人证件信息识别录入系统适用的证件类型包括：身份证、户口本、士官证、学生证、驾驶证、护照、港澳通行证等多种证件，具有泛用性好，识别快，识别准确率高的特点，本发明将证件信息从背景复杂、光照不均、拍摄模糊等情况下识别出来，解决了普通用户使用手机拍照时，因照片受到背景、光照、噪声、模糊等因素影响导致识别效果不理想的问题。
上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发明的专利申请范围，凡本发明所提示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利范围。

Claims (7)

1.一种产权权属信息识别录入方法及系统，其特征在于，包括如下步骤：
步骤1、获取证件图像集，将证件图像集进行标准化预处理以制作成分割训练数据集；
步骤2、构建双分支U-Net分割网络，将训练数据集输入双分支U-Net分割网络中进行训练验证以获取关于证件和文字预测结果的分割网络模型，并对分割网络模型进行优化调整训练；
步骤3、将待识别的证件图像输入训练好的分割网络模型中，获取证件区域分割预测结果和文字区域预测结果，分别对证件区域分割预测结果和文字区域预测结果进行后处理操作，再进行矫正操作，以获取矫正后的证件图像以及文字检测框；
步骤4、制作文字识别数据集，建立CRNN+CTC文字识别模型，根据文字检测框提取出证件中的文字，输入CRNN+CTC文字识别模型，得到文字识别结果，再根据文字检测框坐标确定该文字对应的信息，获得权属人证件信息；
步骤5、从所述权属人证件信息中提取各个属性信息，自动录入预设模板表格中对应各个属性信息的位置。
2.根据权利要求1所述的一种产权权属证件信息识别录入方法，其特征在于，所述步骤1中，将证件图像集进行标准化预处理以制作成分割训练数据集的具体步骤如下：
首先，制作证件区域分割二分类标签及文字分割二分类标签，其中，文字分割二分类标签只勾画证件中的文字，忽略背景中的干扰字样；
然后，将证件图像集中的证件原始照片、证件区域分割二分类标签及文字分割二分类标签保持长宽比并缩放为固定尺寸，制作成分割训练数据集，分割训练数据集包括证件分割训练数据集和文字分割训练数据集。
3.根据权利要求1所述的一种产权权属证件信息识别录入方法，其特征在于，所述步骤2中，对分割网络模型进行优化调整训练的具体方法为：
根据证件和文字预测结果对应标签的损失进行计算得到分割网络模型的整体损失函数，整体损失函数为：loss＝loss证件+γ*loss文字，其中，γ为权重；通过所述整体损失函数对分割网络模型的参数进行调整，直至所述整体损失函数符合预设标准，完成对所述分割网络模型的优化调整训练。
4.根据权利要求1所述的一种产权权属信息识别录入方法，其特征在于，所述步骤3中，对证件区域分割预测结果和文字区域预测结果进行后处理操作的具体方法为：
对证件分割预测结果，使用OpenCV进行后处理，将证件分割预测结果使用先腐蚀后膨胀的形态学操作优化分割边界并进行空洞填补，获取证件分割区域轮廓，并根据轮廓大小、长宽比排除误分割区域，获得处理后的证件分割区域，并计算出证件分割区域的四个角点坐标；
对文字分割预测结果，同样的，使用OpenCV进行后处理，使用先腐蚀后膨胀的形态学操作优化分割边界并进行空洞填补，获取文字检测框轮廓，利用文字检测框的几何特征滤除冗余检测框，获得处理后的文字检测框，并计算出文字检测框的四个角点坐标，得到文字检测框的轮廓大小和坐标位置。
5.根据权利要求1所述的一种产权权属信息识别录入方法，其特征在于，所述步骤3中，矫正操作的具体方法为：根据文字检测框的坐标位置和轮廓大小，以证件先验知识为依据，对证件分割区域的四个角点坐标进行排序，并根据排序后的四个证件角点坐标使用OpenCV进行透视变换，得到矫正后的证件图像以及文字检测框。
6.根据权利要求1所述的一种产权权属信息识别录入方法，其特征在于，所述权属人证件信息包括权属人姓名、性别、身份证号、地址、民族的属性信息。
7.一种产权权属信息识别录入系统，其特征在于，包括分割训练数据集制作模块、分割网络训练模块、分割结果获取及矫正模块、证件信息识别及提取模块和信息录入模块；
所述分割训练数据集制作模块，用于将证件图像集进行标准化预处理以制作成分割训练数据集；
所述分割网络训练模块，用于将训练数据集输入双分支U-Net分割网络中进行训练验证，优化分割网络参数，获取用于证件和文字分割预测的神经网络模型；
所述分割结果获取及矫正模块，用于将待识别的证件图像输入训练好的分割网络模型中，获取证件区域分割预测结果和文字区域预测结果，分别对证件区域分割预测结果和文字区域预测结果进行后处理操作，再进行矫正操作，以获取矫正后的证件图像以及文字检测框；
所述证件信息识别及提取模块，用于制作文字识别数据集，建立CRNN+CTC文字识别模型，根据文字检测框提取出证件中的文字，输入CRNN+CTC文字识别模型，得到文字识别结果，再根据文字检测框坐标确定该文字对应的信息，获得产权权属人证件信息；
所述信息录入模块，用于从所述权属人证件信息中提取各个属性信息，自动录入预设模板表格中对应各个属性信息的位置。
CN202310096347.XA 2023-02-09 2023-02-09 一种产权权属信息识别录入方法及系统 Active CN116129456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310096347.XA CN116129456B (zh) 2023-02-09 2023-02-09 一种产权权属信息识别录入方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310096347.XA CN116129456B (zh) 2023-02-09 2023-02-09 一种产权权属信息识别录入方法及系统

Publications (2)

Publication Number Publication Date
CN116129456A true CN116129456A (zh) 2023-05-16
CN116129456B CN116129456B (zh) 2023-07-25

Family

ID=86311487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310096347.XA Active CN116129456B (zh) 2023-02-09 2023-02-09 一种产权权属信息识别录入方法及系统

Country Status (1)

Country Link
CN (1) CN116129456B (zh)

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017031135A1 (en) * 2015-08-16 2017-02-23 Google Inc. Comparing an extracted user name with stored user data
CN110399873A (zh) * 2019-07-11 2019-11-01 汉王科技股份有限公司 身份证图像获取方法、装置、电子设备及存储介质
CN111160352A (zh) * 2019-12-27 2020-05-15 创新奇智(北京)科技有限公司 一种基于图像分割的工件金属表面文字识别方法及系统
TW202024993A (zh) * 2018-12-19 2020-07-01 洽吧智能股份有限公司 字元影像識別方法與系統
CN111368840A (zh) * 2020-02-20 2020-07-03 中国建设银行股份有限公司 证件图片处理的方法和装置
CN111444908A (zh) * 2020-03-25 2020-07-24 腾讯科技（深圳）有限公司 图像识别方法、装置、终端和存储介质
CN111709956A (zh) * 2020-06-19 2020-09-25 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及可读存储介质
CN111860522A (zh) * 2020-07-23 2020-10-30 中国平安人寿保险股份有限公司 身份证图片处理方法、装置、终端及存储介质
CN111860479A (zh) * 2020-06-16 2020-10-30 北京百度网讯科技有限公司 光学字符识别方法、装置、电子设备及存储介质
CN111881768A (zh) * 2020-07-03 2020-11-03 苏州开心盒子软件有限公司 一种文档版面分析方法
CN112396060A (zh) * 2020-11-17 2021-02-23 中国平安人寿保险股份有限公司 基于身份证分割模型的身份证识别方法及其相关设备
CN113420761A (zh) * 2021-06-23 2021-09-21 平安银行股份有限公司 证件定位方法、装置、设备及存储介质
CN114038004A (zh) * 2021-11-19 2022-02-11 北京恒安嘉新安全技术有限公司 一种证件信息提取方法、装置、设备及存储介质
CN114067329A (zh) * 2021-11-23 2022-02-18 中邮信息科技(北京)有限公司 一种文本图像的检测方法、装置、介质及设备
WO2022042365A1 (zh) * 2020-08-26 2022-03-03 北京嘀嘀无限科技发展有限公司 一种基于图神经网络识别证件的方法及系统
CN114463205A (zh) * 2022-01-20 2022-05-10 中国人民解放军陆军工程大学 一种基于双分支Unet噪声抑制的车辆目标分割方法
CN114463767A (zh) * 2021-12-28 2022-05-10 上海浦东发展银行股份有限公司 信用证识别方法、装置、计算机设备和存储介质
CN114882599A (zh) * 2022-06-02 2022-08-09 重庆傲雄在线信息技术有限公司 基于双分支神经网络的离线手写签名分割系统和方法
CN114972947A (zh) * 2022-07-26 2022-08-30 之江实验室 一种基于模糊语义建模的深度场景文本检测方法和装置
CN114973218A (zh) * 2021-02-24 2022-08-30 阿里巴巴集团控股有限公司 图像处理方法、装置及系统

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017031135A1 (en) * 2015-08-16 2017-02-23 Google Inc. Comparing an extracted user name with stored user data
TW202024993A (zh) * 2018-12-19 2020-07-01 洽吧智能股份有限公司 字元影像識別方法與系統
CN110399873A (zh) * 2019-07-11 2019-11-01 汉王科技股份有限公司 身份证图像获取方法、装置、电子设备及存储介质
CN111160352A (zh) * 2019-12-27 2020-05-15 创新奇智(北京)科技有限公司 一种基于图像分割的工件金属表面文字识别方法及系统
CN111368840A (zh) * 2020-02-20 2020-07-03 中国建设银行股份有限公司 证件图片处理的方法和装置
CN111444908A (zh) * 2020-03-25 2020-07-24 腾讯科技（深圳）有限公司 图像识别方法、装置、终端和存储介质
CN111860479A (zh) * 2020-06-16 2020-10-30 北京百度网讯科技有限公司 光学字符识别方法、装置、电子设备及存储介质
CN111709956A (zh) * 2020-06-19 2020-09-25 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及可读存储介质
CN111881768A (zh) * 2020-07-03 2020-11-03 苏州开心盒子软件有限公司 一种文档版面分析方法
CN111860522A (zh) * 2020-07-23 2020-10-30 中国平安人寿保险股份有限公司 身份证图片处理方法、装置、终端及存储介质
WO2022042365A1 (zh) * 2020-08-26 2022-03-03 北京嘀嘀无限科技发展有限公司 一种基于图神经网络识别证件的方法及系统
CN112396060A (zh) * 2020-11-17 2021-02-23 中国平安人寿保险股份有限公司 基于身份证分割模型的身份证识别方法及其相关设备
CN114973218A (zh) * 2021-02-24 2022-08-30 阿里巴巴集团控股有限公司 图像处理方法、装置及系统
CN113420761A (zh) * 2021-06-23 2021-09-21 平安银行股份有限公司 证件定位方法、装置、设备及存储介质
CN114038004A (zh) * 2021-11-19 2022-02-11 北京恒安嘉新安全技术有限公司 一种证件信息提取方法、装置、设备及存储介质
CN114067329A (zh) * 2021-11-23 2022-02-18 中邮信息科技(北京)有限公司 一种文本图像的检测方法、装置、介质及设备
CN114463767A (zh) * 2021-12-28 2022-05-10 上海浦东发展银行股份有限公司 信用证识别方法、装置、计算机设备和存储介质
CN114463205A (zh) * 2022-01-20 2022-05-10 中国人民解放军陆军工程大学 一种基于双分支Unet噪声抑制的车辆目标分割方法
CN114882599A (zh) * 2022-06-02 2022-08-09 重庆傲雄在线信息技术有限公司 基于双分支神经网络的离线手写签名分割系统和方法
CN114972947A (zh) * 2022-07-26 2022-08-30 之江实验室 一种基于模糊语义建模的深度场景文本检测方法和装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DUC PHAN VAN HOAI 等: "Text recognition for Vietnamese identity card based on deep features network", 《INTERNATIONAL JOURNAL ON DOCUMENT ANALYSIS AND RECOGNITION (IJDAR)》, pages 123 - 131 *
KHANH NGUYEN-TRONG: "An End-to-End Method to Extract Information from Vietnamese ID Card Images", 《(IJACSA) INTERNATIONAL JOURNAL OF ADVANCED COMPUTER SCIENCE AND APPLICATIONS》, vol. 13, no. 3, pages 600 - 609 *
刘国英 等: "一种用于甲骨字符提取的双分支融合网络", 《厦门大学学报（自然科学版）》, vol. 61, no. 2, pages 262 - 271 *
沈瑛 等: "身份证识别的文字定位算法研究", 《计算机应用与软件》, vol. 21, no. 3, pages 80 - 82 *
陈笑: "证件图像定位与信息提取技术的研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2018, pages 138 - 1711 *

Also Published As

Publication number Publication date
CN116129456B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN109977723B (zh) 大票据图片文字识别方法
CN112651289B (zh) 一种增值税普通发票智能识别与校验系统及其方法
CN111862119A (zh) 基于Mask-RCNN的语义信息提取方法
CN112613097A (zh) 一种基于计算机视觉的bim快速化建模方法
CN110276279B (zh) 一种基于图像分割的任意形状场景文本探测方法
CN110443791B (zh) 一种基于深度学习网络的工件检测方法及其检测装置
CN113393426B (zh) 一种轧钢板表面缺陷检测方法
CN109886257B (zh) 一种ocr系统中采用深度学习矫正发票图片分割结果的方法
CN110414517B (zh) 一种用于配合拍照场景的快速高精度身份证文本识别算法
CN113298809B (zh) 基于深度学习和超像素分割的复材超声图像缺陷检测方法
CN114359538A (zh) 一种水表读数定位与识别方法
CN112528954A (zh) 一种证件图像文字提取方法
CN113065396A (zh) 基于深度学习的扫描档案图像的自动化归档处理系统及方法
CN109741273A (zh) 一种手机拍照低质图像的自动处理与评分方法
CN108764230A (zh) 一种基于卷积神经网络的银行卡号自动识别方法
CN116681879B (zh) 一种光学图像边界层转捩位置的智能判读方法
CN117893519A (zh) 一种基于多尺度特征融合的lcd屏幕缺陷检测方法
CN112364863B (zh) 证照文档的文字定位方法及系统
CN113628113A (zh) 一种图像拼接方法及其相关设备
CN116129456B (zh) 一种产权权属信息识别录入方法及系统
CN113657162A (zh) 一种基于深度学习的票据ocr识别方法
CN109145912A (zh) 一种数字仪表读数自动识别方法
CN111950556A (zh) 一种基于深度学习的号牌印刷质量检测方法
CN113743159A (zh) 一种应用于电力企业的ocr方法
CN114170218B (zh) 一种染色体图像实例标签生成方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant