CN112990096B - 一种基于ocr与人脸检测融合的身份证信息录用方法 - Google Patents

一种基于ocr与人脸检测融合的身份证信息录用方法 Download PDF

Info

Publication number
CN112990096B
CN112990096B CN202110391966.2A CN202110391966A CN112990096B CN 112990096 B CN112990096 B CN 112990096B CN 202110391966 A CN202110391966 A CN 202110391966A CN 112990096 B CN112990096 B CN 112990096B
Authority
CN
China
Prior art keywords
image
probability
identity card
face
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110391966.2A
Other languages
English (en)
Other versions
CN112990096A (zh
Inventor
徐新明
柴惠芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Jinxianlian Technology Co ltd
Original Assignee
Hangzhou Jinxianlian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Jinxianlian Technology Co ltd filed Critical Hangzhou Jinxianlian Technology Co ltd
Priority to CN202110391966.2A priority Critical patent/CN112990096B/zh
Publication of CN112990096A publication Critical patent/CN112990096A/zh
Application granted granted Critical
Publication of CN112990096B publication Critical patent/CN112990096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G06V30/287—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters

Abstract

一种基于OCR与人脸检测融合的身份证信息录用方法，属于图像处理领域。方法应用于线上录用系统，其包括：步骤S01，接收身份证图像；步骤S02，采用深度卷积神经网络算法，对身份证图像进行人脸识别和人脸特征点检测，获取人脸检测概率、人脸信息和人脸方向信息，并对身份证图像进行水平放置校正；步骤S03，获取疑似身份证区域图像，根据图像相似度准则验证该图像，验证通过后，执行步骤S04；步骤S04，利用OCR技术识别身份证区域图像，提取身份信息并获取身份信息识别概率；步骤S05，基于人脸检测概率和身份信息识别概率，获取身份证信息录入概率；当身份证信息录入概率大于录入阈值概率时，录入身份证，否则，返回步骤S01。本发明提高了身份证信息录入效率。

Description

一种基于OCR与人脸检测融合的身份证信息录用方法
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于OCR与人脸检测融合的身份证信息录用方法。
背景技术
随着互联网的发展，越来越多的互联网公司都推出了自己的APP。为了防止用户非正确的输入自己的身份证信息引起后续可能的问题，很多公司要求上传证件身份证照片，但后期需要工作人员手动输入身份证号码和姓名，身份证信息录入效率低。
为了提高获取上传的身份证照片的文字信息以及人脸信息的速度，现有技术通过直接采用OCR识别技术和人脸检测技术，提取身份证信息和人脸信息。但现有技术较少考虑复杂拍摄环境，如身份证存在较大的倾斜，光照不均匀情况，则最终无法有效获得准确的身份证照片的文字信息以及人脸信息。
发明专利申请CN201811512266.9公开了一种基于OCR与人脸识别技术的身份证扫描录入方法，并具体公开了方法包括如下步骤：(1)创建身份证扫描类，导入媒体库和OCR静态库；(2)对扫描区域初始化，并添加预览图层，以及自定义的扫描界面；(3)设置人脸扫描区域；(4)从扫描输出的元数据中捕捉包含有人脸的帧图像；(5)将捕获的包含有人脸的帧图像转化成图片；调用媒体库和OCR静态库根据该图片进行身份证信息识别，识别出身份证号、姓名、性别、民族、地址、头像。该发明并未考虑复杂拍摄环境，使得最终无法有效获得准确的身份证照片的文字信息以及人脸信息。
发明专利申请CN202010484080.8公开了一种基于OCR技术的复杂场景下身份证识别方法，并具体公开了方法包括：S1、基于SIFT算法的对身份证的特征点识别，确定现实场景中身份证的位置坐标；S2、基于获取的身份证位置坐标，对现实场景中身份证的目标区域进行定位检测，并确定待识别文字区域；S3、提取待识别文字区域内的文字信息；S4、对提取的文字信息进行校正，获得准确的身份证信息，完成身份证识别。本发明方法解决了在复杂环境如光线较暗、过度曝光、拍摄模糊等情况下身份证的定位和识别问题；通过对识别结果增加字符最小距离校正算法，显著提高识别准确度，且具有一定的结果纠错功能，使识别结果更为可靠。该发明利用OCR技术进行身份识别，未对人脸信息进行捕捉，录入身份证图片存在欠缺。
发明内容
本发明针对现有技术存在的问题，提出了一种基于OCR与人脸检测融合的身份证信息录用方法，解决了身份证图像上传过程中因光照、抖动等因素造成身份证倾斜、模糊的问题，提高了身份信息和人脸的录入效率。
本发明是通过以下技术方案得以实现的：
一种基于OCR与人脸检测融合的身份证信息录用方法，应用于线上录用系统，包括：
步骤S01，接收身份证图像；
步骤S02，采用深度卷积神经网络算法，对身份证图像进行人脸识别和人脸特征点检测，进而获取人脸检测概率、人脸信息和人脸方向信息；基于人脸信息和人脸方向信息，对身份证图像进行水平放置校正；
步骤S03，获取身份证图像中的疑似身份证区域图像，根据图像相似度准则验证所述疑似身份证区域图像，验证通过后，执行步骤S04；
步骤S04，利用OCR技术识别身份证图像中身份证区域图像，提取身份信息并获取身份信息识别概率；
步骤S05，基于人脸检测概率和身份信息识别概率，获取身份证信息录入概率；当身份证信息录入概率大于录入阈值概率时，录入身份证，否则，返回步骤S01。
本发明对身份证图像进行人脸识别和字符识别，继而获得准确的身份证信息（包括人脸信息和身份信息）。本发明的身份证区域识别，是基于人脸识别后进行水平位置调整，以减少字符提取、识别难度，大大提高系统识别、录入效率。
作为优选，步骤S01中的身份证图像由智能客户端处的图像传感器采集。
作为优选，所述步骤S02具体包括：
步骤S21，采用深度卷积神经网络算法，对身份证图像进行人脸识别和人脸特征点检测，获取身份证图像中的人脸区域图像、若干人脸特征点和人脸检测概率
Figure DEST_PATH_IMAGE001
；
步骤S22，基于若干人脸特征点
Figure 822308DEST_PATH_IMAGE002
，构建图像坐标和世界坐标的关系函数；
Figure DEST_PATH_IMAGE003
其中，每个特征点坐标为
Figure 801765DEST_PATH_IMAGE004
，R、T矩阵分别为头部的旋转和平移矩阵；(xwi,ywi, zwi)是三维世界坐标系中目标点
Figure 643819DEST_PATH_IMAGE002
的三维坐标，该点是依据标准正脸时候的三维坐标标记；
Figure DEST_PATH_IMAGE005
为修正系数，
Figure 635433DEST_PATH_IMAGE006
、
Figure DEST_PATH_IMAGE007
为图像传感器水平和垂直方向的图像传感器芯片上像素的实际大小，
Figure 777702DEST_PATH_IMAGE008
为焦距，
Figure DEST_PATH_IMAGE009
为图像中心点坐标；
根据RANSAC算法拟合获得透射投影变换矩阵（R,T）；
步骤S23，根据透射投影变换矩阵（R,T），对身份证图像进行校正，获得水平放置的身份证图像。
作为优选，所述步骤S21中人脸检测概率
Figure 255957DEST_PATH_IMAGE001
获得过程如下：
获取人脸检测过程中的系统检测概率
Figure 54148DEST_PATH_IMAGE010
；
当系统检测概率
Figure 784207DEST_PATH_IMAGE010
≤人脸阈值概率时，则
Figure 984244DEST_PATH_IMAGE001
=0；当系统检测概率
Figure 508766DEST_PATH_IMAGE010
＞人脸阈值概率时，则
Figure 794254DEST_PATH_IMAGE001
=
Figure 139390DEST_PATH_IMAGE010
。
作为优选，所述步骤S03具体包括：
步骤S31，根据身份证区域和身份证图像中人脸的位置关系，获取身份证图像中的疑似身份证区域图像；
步骤S32，根据图像相似度准则验证所述疑似身份证区域图像，验证通过后，执行步骤S04。
作为优选，所述步骤S32具体包括：
将疑似身份证区域图像假定为待匹配图
Figure DEST_PATH_IMAGE011
，并将标准身份证区域图像假定为模板图T；
计算归一化积相关值，
Figure 256250DEST_PATH_IMAGE012
其中，
Figure DEST_PATH_IMAGE013
表示模板图
Figure 13991DEST_PATH_IMAGE014
在
Figure DEST_PATH_IMAGE015
和
Figure 380250DEST_PATH_IMAGE016
坐标点的灰度值，
Figure DEST_PATH_IMAGE017
表示待匹配图
Figure 780007DEST_PATH_IMAGE011
在
Figure 754304DEST_PATH_IMAGE018
和
Figure DEST_PATH_IMAGE019
坐标点的灰度值，
Figure 417367DEST_PATH_IMAGE020
和
Figure DEST_PATH_IMAGE021
表示模板图
Figure 536501DEST_PATH_IMAGE014
在待匹配图
Figure 412053DEST_PATH_IMAGE011
上滑动的位移坐标；
Figure 972348DEST_PATH_IMAGE022
为归一化积相关值；
判断计算获得的归一化积相关值大于相似度阈值时，则确认疑似身份证区域图像为身份证区域图像。
作为优选，所述步骤S04具体包括：
步骤S41，对身份证区域图像进行字符分割，获取身份证区域图像中的每个字符；
步骤S42，采用深度卷积神经网络算法对分割好的字符进行识别，获取每个字符的第一字符识别概率
Figure DEST_PATH_IMAGE023
，其中
Figure 337470DEST_PATH_IMAGE024
、
Figure DEST_PATH_IMAGE025
为对应的第
Figure 150093DEST_PATH_IMAGE024
行和第
Figure 360494DEST_PATH_IMAGE025
列的值；
步骤S43，提取身份证区域图像中固定字段后的字符，获取第二字符识别概率
Figure 509716DEST_PATH_IMAGE026
；
所述身份信息识别概率包括第一字符识别概率和第二字符识别概率。
作为优选，所述步骤S04还包括：步骤S40，对身份证区域图像进行图像二值化、图像滤波处理，对处理后的身份证区域图像进行步骤S41的字符分割步骤。
作为优选，所述步骤S05具体包括：
步骤S51，基于人脸检测概率
Figure DEST_PATH_IMAGE027
和身份信息识别概率，获取身份证信息录入概率
Figure 780160DEST_PATH_IMAGE028
；
步骤S52，判断身份证信息录入概率大于录入阈值概率时，录入身份证，否则，返回步骤S01。
作为优选，步骤S52还包括，当判断身份证信息录入概率等于0时，返回步骤S01；当判断身份证信息录入概率大于0且小于等于录入阈值概率时，重新检测身份证区域图像中的字符。
本发明具有以下有益效果：
一种基于OCR与人脸检测融合的身份证信息录用方法，解决了用户上传身份证照时由于光照、抖动等因素造成身份证倾斜、模糊的问题，有效提高了身份证信息录用效率。
附图说明
图1为本发明一种基于OCR与人脸检测融合的身份证信息录用方法的流程图；
图2为采用本发明方法的示例框图；
图3为深度卷积神经网络（MTCNN网络）的结构图；
图4为字符识别网络的结构图。
具体实施方式
以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
如图1，本发明一种基于OCR与人脸检测融合的身份证信息录用方法，应用于线上录用系统，包括：
步骤S01，接收身份证图像；
步骤S02，采用深度卷积神经网络算法，对身份证图像进行人脸识别和人脸特征点检测，进而获取人脸检测概率、人脸信息和人脸方向信息；基于人脸信息和人脸方向信息，对身份证图像进行水平放置校正；
步骤S03，获取身份证图像中的疑似身份证区域图像，根据图像相似度准则验证所述疑似身份证区域图像，验证通过后，执行步骤S04；
步骤S04，利用OCR技术识别身份证图像中身份证区域图像，提取身份信息并获取身份信息识别概率；
步骤S05，基于人脸检测概率和身份信息识别概率，获取身份证信息录入概率；当身份证信息录入概率大于录入阈值概率时，录入身份证，否则，返回步骤S01。
图2示出了采用本发明方法的示例框图，清楚看到本发明身份证录入包含身份信息、人脸信息两方面内容。并且，身份信息方面的录入涉及身份证区域位置校准问题，则本发明依赖人脸信息来调整身份证区域位置。例如，在步骤S02中，对整个身份证图像进行水平放置校正；又例如，仅对身份证区域进行水平位置校正。
在步骤S01中，身份证图像由智能客户端处的图像传感器采集，如手机相机、电脑相机等图像传感器通过拍摄身份证照片的方式采集。采集到的身份证图像被上传至信息录用系统。之后，信息路由系统对上传的身份证图像进行步骤S02~S05的处理、录入。
所述步骤S02利用深度卷积神经网络算法（MTCNN网络）对身份证图像中的人脸识别、检测。如图3，MTCNN网络由 3 个卷积神经网络P-Net （Proposal Network）、R-Net（Refine Network）和 O-Net（Output Network）分布式组合而成。采用MTCNN网络对图像进行人脸检测和人脸特征点提取，获取人脸信息和人脸方向信息，对图像进行校正。
P-Net ：对输入的图像 Image 进行金字塔化处理后再输入到P-Net 网络中用来生成人脸的候选边框，并利用非极大化抑制算法NMS校准边框，以去除多余的边框，再进行分类和定位 。
R-Net ：将P-Net 得出的候选框对应到原图Image上进行截取，并将截取的图像作为R-Net 的输入。该部分是全卷积网络层，主要对P-Net 得出的图像进行更加细节化的微处理，以过滤重复且不符合要求的候选框，再利用NMS做候选框合并处理。
O-Net：O-Net 网络和R-Net 网络的处理方法一致。将上一层的输出候选框的人脸区域作为 O-Net 的输入，最终得到人脸候选边框以及人脸的相应特征点位置。
所述步骤S02具体包括：
步骤S21，采用深度卷积神经网络算法，对身份证图像进行人脸识别和人脸特征点检测，获取身份证图像中的人脸区域图像、若干人脸特征点和人脸检测概率
Figure 749253DEST_PATH_IMAGE001
；所述特征点个数可根据看清人脸姿态的前提下选取，例如，可选5个。
步骤S22，基于若干人脸特征点
Figure 701029DEST_PATH_IMAGE002
，构建图像坐标和世界坐标的关系函数；
Figure 704757DEST_PATH_IMAGE003
其中，每个特征点坐标为
Figure 614944DEST_PATH_IMAGE004
，R、T矩阵分别为头部的旋转和平移矩阵；(xwi,ywi, zwi)是三维世界坐标系中目标点
Figure 71333DEST_PATH_IMAGE002
的三维坐标，该点是依据标准正脸时候的三维坐标标记；
Figure 561220DEST_PATH_IMAGE005
为修正系数，
Figure 750281DEST_PATH_IMAGE006
、
Figure 831369DEST_PATH_IMAGE007
为图像传感器水平和垂直方向的图像传感器芯片上像素的实际大小，
Figure 40633DEST_PATH_IMAGE008
为焦距，
Figure 865370DEST_PATH_IMAGE009
为图像中心点坐标；
根据RANSAC算法拟合获得透射投影变换矩阵（R,T）；
步骤S23，根据透射投影变换矩阵（R,T），对身份证图像进行校正，获得水平放置的身份证图像。
其中，所述步骤S21中人脸检测概率
Figure 578111DEST_PATH_IMAGE001
获得过程如下：获取人脸检测过程中的系统检测概率
Figure 830101DEST_PATH_IMAGE010
；当系统检测概率
Figure 792241DEST_PATH_IMAGE010
≤人脸阈值概率时，则
Figure 951827DEST_PATH_IMAGE001
=0；当系统检测概率
Figure 572602DEST_PATH_IMAGE010
＞人脸阈值概率时，则
Figure 182444DEST_PATH_IMAGE001
=
Figure 897459DEST_PATH_IMAGE010
。所述人脸阈值概率为0.7~0.8，例如，人脸阈值概率为0.8，当
Figure 63998DEST_PATH_IMAGE010
≤0.8时，
Figure 751331DEST_PATH_IMAGE001
=0 ；当
Figure 348053DEST_PATH_IMAGE010
＞0.8时，
Figure 753627DEST_PATH_IMAGE001
=
Figure 458278DEST_PATH_IMAGE010
。
所述检测概率
Figure 265697DEST_PATH_IMAGE010
是基于深度卷积神经网络算法获得的检测结果换算得到,一般采用卷积神经网络最后输出全连接层的向量为
Figure DEST_PATH_IMAGE029
，经
Figure 30390DEST_PATH_IMAGE030
，后采用SoftMax层得到检测概率
Figure DEST_PATH_IMAGE031
。其中
Figure 188839DEST_PATH_IMAGE029
和权重系统
Figure 431602DEST_PATH_IMAGE032
都为n*1的向量。所述人脸检测概率
Figure 827948DEST_PATH_IMAGE001
是基于系统检测概率与人脸阈值概率之间的关系确定的，当系统检测概率大于人脸阈值概率时，则确定该系统识别出人脸的概率较精准，即将人脸检测概率确定为系统检测概率，而当系统检测概率小于人脸阈值概率时，则确定该系统识别出人脸的概率不够精准，即不符合系统识别要求，则人脸检测概率确定为0，需要重新采集人脸数据。
所述步骤S03具体包括：
步骤S31，根据身份证区域和身份证图像中人脸的位置关系，获取身份证图像中的疑似身份证区域图像；
步骤S32，根据图像相似度准则验证所述疑似身份证区域图像，验证通过后，执行步骤S04。
在步骤S31中，身份证区域和身份证图像中人脸的位置关系，根据现有身份证格式所确定的固定位置关系。例如，目前公安局签发的身份证左侧区域以及下方区域为身份证区域（即包含文字信息和数字信息的身份证内容），而身份证右侧区域为人脸设置区域。
其中，所述步骤S32具体包括：
将疑似身份证区域图像假定为待匹配图
Figure 232385DEST_PATH_IMAGE011
，并将标准身份证区域图像假定为模板图T；
计算归一化积相关值，
Figure DEST_PATH_IMAGE033
其中，
Figure 878130DEST_PATH_IMAGE013
表示模板图
Figure 659004DEST_PATH_IMAGE014
在
Figure 175436DEST_PATH_IMAGE015
和
Figure 750774DEST_PATH_IMAGE016
坐标点的灰度值，
Figure 352656DEST_PATH_IMAGE017
表示待匹配图
Figure 940151DEST_PATH_IMAGE011
在
Figure 576669DEST_PATH_IMAGE018
和
Figure 588487DEST_PATH_IMAGE019
坐标点的灰度值，
Figure 146507DEST_PATH_IMAGE020
和
Figure 534763DEST_PATH_IMAGE021
表示模板图
Figure 760208DEST_PATH_IMAGE014
在待匹配图
Figure 942928DEST_PATH_IMAGE011
上滑动的位移坐标；
Figure 519403DEST_PATH_IMAGE022
为归一化积相关值；
判断计算获得的归一化积相关值大于相似度阈值时，则确认疑似身份证区域图像为身份证区域图像。具体地，
Figure 445771DEST_PATH_IMAGE020
和
Figure 260143DEST_PATH_IMAGE021
的每次位移对应着一个
Figure 879343DEST_PATH_IMAGE022
，获取最大的
Figure 677535DEST_PATH_IMAGE034
，当
Figure 142014DEST_PATH_IMAGE034
＞
Figure DEST_PATH_IMAGE035
时，此时对应的起点坐标点
Figure 607630DEST_PATH_IMAGE036
和
Figure DEST_PATH_IMAGE037
，长宽为待匹配图像的长宽，即为身份证区域图像，其中
Figure 663311DEST_PATH_IMAGE035
为相似度阈值，可以为0.6。
当判断计算获得的归一化积相关不大于相似阈值时，则确认疑似身份证区域图像不是身份证区域图像，即识别不准确，验证不通过，返回步骤S01，重新进行身份证图像采集、检测。
所述步骤S04具体包括：
步骤S41，对身份证区域图像进行字符分割，获取身份证区域图像中的每个字符；
字符分割是字符识别网络的输入为单个字符的图像，所以在识别前需将字符区域分割成单个字符的形式。字符分割采用水平方向和垂直方向投影的方式进行字符分割。
步骤S42，采用深度卷积神经网络算法对分割好的字符进行识别，获取每个字符的第一字符识别概率
Figure 951729DEST_PATH_IMAGE023
，其中
Figure 954320DEST_PATH_IMAGE024
、
Figure 8863DEST_PATH_IMAGE025
为对应的第
Figure 969866DEST_PATH_IMAGE024
行和第
Figure 477071DEST_PATH_IMAGE025
列的值；
采用深度卷积神经网络算法对分割好的字符进行识别，识别每个字符，对识别存在特殊字符，如标点符号，进行删除，按照识别的字符一行一行地排列，并且获取每个字符的概率
Figure 283353DEST_PATH_IMAGE023
。具体地，一般采用卷积神经网络最后输出全连接层的向量为
Figure 457982DEST_PATH_IMAGE029
，经
Figure 324307DEST_PATH_IMAGE038
，其中
Figure DEST_PATH_IMAGE039
为第几个字符（在人脸检测时，因只检测人脸，k为1），
Figure 849966DEST_PATH_IMAGE040
为
Figure DEST_PATH_IMAGE041
维向量，如“出”代表
Figure 991098DEST_PATH_IMAGE042
=4，“住”代表
Figure 20234DEST_PATH_IMAGE042
=6，后采用SoftMax层得到字符识别概率
Figure DEST_PATH_IMAGE043
，其中
Figure 588618DEST_PATH_IMAGE029
和权重系统
Figure 335994DEST_PATH_IMAGE032
都为n*1的向量。获取
Figure 15237DEST_PATH_IMAGE044
的最大值
Figure DEST_PATH_IMAGE045
，对应的字符序号为
Figure 507003DEST_PATH_IMAGE046
，即为该识别字符的概率
Figure 246289DEST_PATH_IMAGE023
以及识别到的字符。
步骤S43，提取身份证区域图像中固定字段后的字符，获取第二字符识别概率
Figure 215382DEST_PATH_IMAGE026
；
提取“姓名”、“性别”、“住址”、“公民身份号码”等身份证中固定字段的后面字符，如果存在这些字符，则概率为
Figure 167158DEST_PATH_IMAGE026
=1，否则概率
Figure 170886DEST_PATH_IMAGE026
=0，接着等待确认是否录入系统。
所述身份信息识别概率包括第一字符识别概率和第二字符识别概率。
为了减少字符识别的数据量并提高识别效率，所述步骤S04还包括：步骤S40，对身份证区域图像进行图像二值化、图像滤波处理，对处理后的身份证区域图像进行步骤S41的字符分割步骤。
所述图像二值化是指将图像中各像素点的灰度值设置为255或者0的过程。图像经过二值化处理后可以更加凸显其轮廓特征，最大限度地突出图像中的感兴趣区域，分离出冗余的背景信息，并减少图像的数据量。
所述图像滤波是二值化后的字符图像存在噪声，影响图像的处理效果和识别精度。经过滤波可以滤除其中的噪声，使图像的信噪比提升，降低噪声对图像的负面影响，本文图像滤波采用中值滤波。
图4示出了本发明进行字符识别的示例网络结构图。本文进行字符识别的CNN共有7层结构，输入图像尺寸为32×32，首先进入C1卷积层，有6个大小为5×5的卷积核，不使用0填充，步长为1，可得到6个28X 28的特征图。
S2是池化层，该层输入为上一层的输出。进行最大池化操作，有6个大小为2×2的池化窗口，步长为2，得到6个14×14的输出特征图。
C3为卷积层，有16个大小为5X5的卷积核，得到16个10×10的特征图。
S4是池化层，同样进行最大池化操作，有16个大小为2×2的池化窗口，得到16个5X5的特征图。
C5为卷积层，有120个大小为5X5的卷积核，每一个卷积核与输入特征图都是两两相连，得到120个1×l的特征图。
F6为全连接层，含84个节点。
最后输出层会输出一个10维的向量。
所述步骤S05具体包括：
步骤S51，基于人脸检测概率
Figure 549915DEST_PATH_IMAGE027
和身份信息识别概率，获取身份证信息录入概率
Figure DEST_PATH_IMAGE047
；
步骤S52，判断身份证信息录入概率大于录入阈值概率时，录入身份证，否则，返回步骤S01。当身份证信息录入概率大于录入阈值概率时，则身份证信息可被录入，即直接在系统内记录识别的字符信息。当不大于录入阈值概率时，则需要重新录入，即返回步骤S01，重新接收新的身份证图像。系统发出重新录入身份信息的通知，智能客户端重新拍摄身份证上传。
另外，所述步骤S52还包括，当判断身份证信息录入概率等于0时，返回步骤S01；当判断身份证信息录入概率大于0且小于等于录入阈值概率时，重新检测身份证区域图像中的字符。也就是说，在身份证信息录入概率等于0的情况下，进行重新录入。而对于身份证信息录入概率较低的情况，则仅对身份证区域图像中的字符进行重新识别检测，例如，可由人工后台识别录入，或者，再次利用OCR技术或其他字符识别技术对身份证区域图像中的字符进行自动化识别。
所述录入阈值概率可根据需要设定，如录入阈值概率为0.8时，当
Figure 271883DEST_PATH_IMAGE048
＞0.8 时，系统可以直接录入身份证数据；当0＜
Figure 27349DEST_PATH_IMAGE048
≤0.8 时，需要人工检测第
Figure 885584DEST_PATH_IMAGE024
行和第
Figure 701093DEST_PATH_IMAGE025
列的字符；当
Figure 379199DEST_PATH_IMAGE048
=0 时需要重新录入身份信息。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (8)

1.一种基于OCR与人脸检测融合的身份证信息录用方法，应用于线上录用系统，其特征在于，包括：
步骤S01，接收身份证图像；
步骤S02，采用深度卷积神经网络算法，对身份证图像进行人脸识别和人脸特征点检测，进而获取人脸检测概率、人脸信息和人脸方向信息；基于人脸信息和人脸方向信息，对身份证图像进行水平放置校正；
步骤S03，获取身份证图像中的疑似身份证区域图像，根据图像相似度准则验证所述疑似身份证区域图像，验证通过后，执行步骤S04；
步骤S04，利用OCR技术识别身份证图像中身份证区域图像，提取身份信息并获取身份信息识别概率；所述步骤S04具体包括：
步骤S41，对身份证区域图像进行字符分割，获取身份证区域图像中的每个字符；
步骤S42，采用深度卷积神经网络算法对分割好的字符进行识别，获取每个字符的第一字符识别概率
Figure 940869DEST_PATH_IMAGE001
，其中
Figure 978095DEST_PATH_IMAGE002
、
Figure 194313DEST_PATH_IMAGE003
为字符对应的第
Figure 342397DEST_PATH_IMAGE002
行和第
Figure 960460DEST_PATH_IMAGE003
列的值；
步骤S43，提取身份证区域图像中固定字段后的字符，获取第二字符识别概率
Figure 670053DEST_PATH_IMAGE004
；
所述身份信息识别概率包括第一字符识别概率和第二字符识别概率；
步骤S05，基于人脸检测概率和身份信息识别概率，获取身份证信息录入概率；当身份证信息录入概率大于录入阈值概率时，录入身份证，否则，返回步骤S01；所述步骤S05具体包括：
步骤S51，基于人脸检测概率
Figure 639146DEST_PATH_IMAGE005
和身份信息识别概率，获取身份证信息录入概率
Figure 325342DEST_PATH_IMAGE006
；
步骤S52，判断身份证信息录入概率大于录入阈值概率时，录入身份证，否则，返回步骤S01。
2.根据权利要求1所述的一种基于OCR与人脸检测融合的身份证信息录用方法，其特征在于，步骤S01中的身份证图像由智能客户端处的图像传感器采集。
3.根据权利要求1所述的一种基于OCR与人脸检测融合的身份证信息录用方法，其特征在于，所述步骤S02具体包括：
步骤S21，采用深度卷积神经网络算法，对身份证图像进行人脸识别和人脸特征点检测，获取身份证图像中的人脸区域图像、若干人脸特征点和人脸检测概率
Figure 63491DEST_PATH_IMAGE007
；
步骤S22，基于若干人脸特征点
Figure 442520DEST_PATH_IMAGE008
，构建图像坐标和世界坐标的关系函数；
Figure 633329DEST_PATH_IMAGE009
（公式一）
其中，每个特征点坐标为
Figure 388796DEST_PATH_IMAGE010
，R、T矩阵分别为头部的旋转和平移矩阵；(
Figure 715872DEST_PATH_IMAGE011
,
Figure 265802DEST_PATH_IMAGE013
,
Figure 943908DEST_PATH_IMAGE014
)是三维世界坐标系中人脸特征点
Figure 237486DEST_PATH_IMAGE008
的三维坐标，该点是依据标准正脸时候的三维坐标标记；
Figure 684648DEST_PATH_IMAGE015
为修正系数，
Figure 139900DEST_PATH_IMAGE016
、
Figure 305302DEST_PATH_IMAGE017
为图像传感器水平和垂直方向的图像传感器芯片上像素的实际大小，
Figure DEST_PATH_IMAGE018
为焦距，
Figure 898177DEST_PATH_IMAGE019
为图像中心点坐标；
根据RANSAC算法拟合获得透射投影变换矩阵（R,T）；
步骤S23，根据透射投影变换矩阵（R,T），对身份证图像进行校正，获得水平放置的身份证图像。
4.根据权利要求2所述的一种基于OCR与人脸检测融合的身份证信息录用方法，其特征在于，步骤S21中人脸检测概率
Figure 465424DEST_PATH_IMAGE007
获得过程如下：
获取人脸检测的检测概率
Figure DEST_PATH_IMAGE020
；
当检测概率
Figure 357157DEST_PATH_IMAGE020
≤人脸阈值概率时，则
Figure 9855DEST_PATH_IMAGE021
=0；当检测概率
Figure 645236DEST_PATH_IMAGE020
＞人脸阈值概率时，则
Figure DEST_PATH_IMAGE022
=
Figure 66990DEST_PATH_IMAGE020
。
5.根据权利要求1所述的一种基于OCR与人脸检测融合的身份证信息录用方法，其特征在于，所述步骤S03具体包括：
步骤S31，根据身份证区域和身份证图像中人脸的位置关系，获取身份证图像中的疑似身份证区域图像；
步骤S32，根据图像相似度准则验证所述疑似身份证区域图像，验证通过后，执行步骤S04。
6.根据权利要求5所述的一种基于OCR与人脸检测融合的身份证信息录用方法，其特征在于，所述步骤S32具体包括：
将疑似身份证区域图像假定为待匹配图
Figure 129624DEST_PATH_IMAGE023
，并将标准身份证区域图像假定为模板图T；
计算归一化积相关值，
Figure DEST_PATH_IMAGE024
（公式二）
其中，
Figure 269618DEST_PATH_IMAGE025
表示模板图
Figure DEST_PATH_IMAGE026
在
Figure DEST_PATH_IMAGE028
和
Figure 239848DEST_PATH_IMAGE029
坐标点的灰度值，
Figure DEST_PATH_IMAGE030
表示待匹配图
Figure 283153DEST_PATH_IMAGE023
在
Figure 516688DEST_PATH_IMAGE031
和
Figure DEST_PATH_IMAGE032
坐标点的灰度值，
Figure 143978DEST_PATH_IMAGE033
和
Figure 121162DEST_PATH_IMAGE034
表示模板图
Figure 251929DEST_PATH_IMAGE026
在待匹配图
Figure 656365DEST_PATH_IMAGE023
上滑动的位移坐标；
Figure 505373DEST_PATH_IMAGE035
为归一化积相关值；
判断计算获得的归一化积相关值大于相似度阈值时，则确认疑似身份证区域图像为身份证区域图像。
7.根据权利要求1所述的一种基于OCR与人脸检测融合的身份证信息录用方法，其特征在于，所述步骤S04还包括：步骤S40，对身份证区域图像进行图像二值化、图像滤波处理，对处理后的身份证区域图像进行步骤S41的字符分割步骤。
8.根据权利要求1所述的一种基于OCR与人脸检测融合的身份证信息录用方法，其特征在于，步骤S52还包括，当判断身份证信息录入概率小于0时，返回步骤S01；当判断身份证信息录入概率大于0且小于等于录入阈值概率时，重新检测身份证区域图像中的字符。
CN202110391966.2A 2021-04-13 2021-04-13 一种基于ocr与人脸检测融合的身份证信息录用方法 Active CN112990096B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110391966.2A CN112990096B (zh) 2021-04-13 2021-04-13 一种基于ocr与人脸检测融合的身份证信息录用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110391966.2A CN112990096B (zh) 2021-04-13 2021-04-13 一种基于ocr与人脸检测融合的身份证信息录用方法

Publications (2)

Publication Number Publication Date
CN112990096A CN112990096A (zh) 2021-06-18
CN112990096B true CN112990096B (zh) 2021-08-27

Family

ID=76338041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110391966.2A Active CN112990096B (zh) 2021-04-13 2021-04-13 一种基于ocr与人脸检测融合的身份证信息录用方法

Country Status (1)

Country Link
CN (1) CN112990096B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236599A (zh) * 2007-12-29 2008-08-06 浙江工业大学 基于多摄像机信息融合的人脸识别检测装置
CN106599772A (zh) * 2016-10-31 2017-04-26 北京旷视科技有限公司 活体验证方法和装置及身份认证方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378314A (zh) * 2019-05-31 2019-10-25 北京金山云网络技术有限公司 一种人脸区域图像归档方法、装置、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236599A (zh) * 2007-12-29 2008-08-06 浙江工业大学 基于多摄像机信息融合的人脸识别检测装置
CN106599772A (zh) * 2016-10-31 2017-04-26 北京旷视科技有限公司 活体验证方法和装置及身份认证方法和装置

Also Published As

Publication number Publication date
CN112990096A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN109636754B (zh) 基于生成对抗网络的极低照度图像增强方法
US10896323B2 (en) Method and device for image processing, computer readable storage medium, and electronic device
JP4712487B2 (ja) 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体
Hsu et al. Camera response functions for image forensics: an automatic algorithm for splicing detection
JP4772839B2 (ja) 画像識別方法および撮像装置
CN108810418B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN106529414A (zh) 一种通过图像比对实现结果认证的方法
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
CN107944395B (zh) 一种基于神经网络验证人证合一的方法及系统
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
KR101906796B1 (ko) 딥러닝 기반 영상 분석 장치 및 영상 분석 방법
CN112287867B (zh) 一种多摄像头的人体动作识别方法及装置
CN113989794B (zh) 一种车牌检测和识别方法
CN110008943B (zh) 一种图像处理方法及装置、一种计算设备及存储介质
CN112784712A (zh) 一种基于实时监控的失踪儿童预警实现方法、装置
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
CN111767879A (zh) 一种活体检测方法
CN114387548A (zh) 视频及活体检测方法、系统、设备、存储介质及程序产品
CN111079585B (zh) 图像增强结合伪孪生卷积神经网络的行人再识别方法
Di Martino et al. Rethinking shape from shading for spoofing detection
CN110688926B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN112990096B (zh) 一种基于ocr与人脸检测融合的身份证信息录用方法
CN116823694A (zh) 基于多聚焦信息整合的红外与可见光图像融合方法及系统
CN111932462A (zh) 图像降质模型的训练方法、装置和电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant