CN109697412A - 一种基于ocr与人脸识别技术的身份证扫描录入方法 - Google Patents

一种基于ocr与人脸识别技术的身份证扫描录入方法 Download PDF

Info

Publication number
CN109697412A
CN109697412A CN201811512266.9A CN201811512266A CN109697412A CN 109697412 A CN109697412 A CN 109697412A CN 201811512266 A CN201811512266 A CN 201811512266A CN 109697412 A CN109697412 A CN 109697412A
Authority
CN
China
Prior art keywords
identity card
card
scanning
head portrait
record method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811512266.9A
Other languages
English (en)
Inventor
刘俊鹏
孙含福
陈振林
钟卫为
张松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Hong Xin Technological Service Co Ltd
Original Assignee
Wuhan Hong Xin Technological Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Hong Xin Technological Service Co Ltd filed Critical Wuhan Hong Xin Technological Service Co Ltd
Priority to CN201811512266.9A priority Critical patent/CN109697412A/zh
Publication of CN109697412A publication Critical patent/CN109697412A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明属于图像识别技术领域，公开了一种基于OCR与人脸识别技术的身份证扫描录入方法，通过搭载iOS系统的终端设备实时扫描身份证获取实时媒体信息，通过OCR静态库进行校验，得到身份证号码、姓名、性别、住址信息，同时使用人脸识别获取身份证头像；由于扫描频率快，提升了识别效率；并且根据身份证头像位置精准限定了扫描区，能识别出身份证中的头像，用于录入身份证上对应的照片，解决了现有技术身份证识别技术效率低，克服了传统身份证扫描仅能得到身份证号码的不足之处。

Description

一种基于OCR与人脸识别技术的身份证扫描录入方法
技术领域
本发明属于图像识别技术领域，更具体地，涉及一种基于OCR与人脸识别技术的身份证扫描录入方法。
背景技术
随着互联网的发展，越来越多的互联网公司都推出了自己的APP。涉及到个人身份证信息输入认证的APP，如果手动输入身份证号码和姓名，速度慢，用户体验较差。
为了提高在移动终端上输入身份证信息的速度和准确性，现有技术采用OCR(光学字符识别)技术对图像、文字信息进行分析和管理；其中，身份证扫描包括腐蚀、取出身份证号码区域轮廊提取；轮廊提取是为了在图片中定位到身份证号码的区域。通过筛选轮廊图的算法提取身份证号码区域的轮廊，原理是该轮廊的宽度是最宽的，且其长度必须大于高度的5倍；然而现有的筛选轮廊图的算法在对图片背景较为复杂的情况，因为背景对轮廓检测的影响，导致检测准确率不高。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于OCR与人脸识别技术的身份证扫描录入方法，其目的在于通过实时扫描捕获身份证图像并通过OCR静态库进行信息识别，解决现有技术中对身份证上文字识别和人脸图像识别效率低的问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于OCR与人脸识别技术的身份证扫描录入方法，包括如下步骤：
(1)创建身份证扫描类，导入媒体库和OCR静态库；
(2)对扫描区域初始化，并添加预览图层，以及自定义的扫描界面；
(3)设置人脸扫描区域；
(4)从扫描输出的元数据中捕捉包含有人脸的帧图像；
(5)将捕获的包含有人脸的帧图像转化成图片；调用媒体库和OCR静态库根据该图片进行身份证信息识别，识别出身份证号、姓名、性别、民族、地址、头像。
优选地，上述身份证扫描录入方法，在自定义扫描界面时设置身份证头像框，用于引导用户将身份证与拍摄框边缘对齐以截取完整的身份证图像。
优选地，上述身份证扫描录入方法，步骤(4)具体为从扫描输出的元数据中捕捉人脸图像并确定人脸图像区域，将人脸图像区域与身份证头像框的区域对比，当人脸图像区域处于身份证头像框内时，捕获当前帧图像作为包含有人脸的帧图像。
优选地，上述身份证扫描录入方法，步骤(5)中的识别方法包括：
(5.1)创建身份证信息类，定义身份证属性，将识别的信息进行编码后赋值给身份证信息类中的对应属性；
(5.2)读取到身份证信息，创建IDInfo对象，使用系统类CIDetector从图片中识别人脸，得到头像；
优选地，上述身份证扫描录入方法，步骤(5.2)中通过放大截取的头像比例，使头像完整清晰。
优选地，上述身份证扫描录入方法，扫描界面中间设置有一个镂空窗口和来回移动的扫描线。
优选地，上述身份证扫描录入方法，所设置的预览图层是全屏的。
优选地，上述身份证扫描录入方法，在步骤(3)中，还判断是否有闪光灯，根据判断结果开启或关闭手电筒。总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
本发明提供的基于OCR与人脸识别技术的身份证扫描录入方法，通过实时扫描身份证进行识别，由于扫描频率快，所以效率高，并且根据身份证头像位置精准限定了扫描区，解决了现有技术身份证识别效率差的问题，并能识别出身份证中的头像，用于录入身份证上对应的照片。
附图说明
图1是本发明提供的基于OCR与人脸识别技术的身份证扫描录入方法的流程示意图；
图2是实施例提供的基于OCR与人脸识别技术的身份证扫描录入方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供的基于OCR与人脸识别技术的身份证扫描录入方法，通过实时扫描身份证获取实时媒体信息，通过OCR静态库进行校验，得到身份证号码、姓名、性别、住址信息，同时使用人脸识别获取身份证头像；克服了传统身份证扫描仅能得到身份证号码的不足之处，并且大大提升了识别效率。
本发明提供的基于OCR和人脸识别技术的身份证扫描录入方法，包括通过终端摄像头扫描身份证捕获视频帧画面帧，通过回调函数截取其中一帧作为实时画面，并根据实时画面进行身份证信息识别和人脸识别的步骤。参照图1，是实施例提供的基于OCR和人脸识别技术的身份证扫描录入方法的流程示意图，包括：
S1、在iOS设备上开启终端摄像头，使用iOS系统库AVFoundation创建一个AVCaptureSession类的实例session，配置session以产生解析度高的视频帧；初始化一个AVCaptureDeviceInput对象，以创建一个输入数据源，该数据源为捕获会话(session)，初始化一个AVCaptureVideoDataOutPut用于处理从视频中捕获的未经压缩的帧，并开始捕获画面；
采用AVCaptureSession捕捉媒体并管理输入设备，采用AVCaptureConnection将捕获的输出数据串联起来，得到实时数据；
根据串联起来的实时数据截取到完整的身份证信息，并区分输出的数据类型；通过开源的算法库OCR静态库进行身份证的文字识别；通过人脸识别OCR静态库获取身份证的头像，提高识别效率。
其中，AVCaptureSession是iOS系统自带的管理和协调输入设备到输出设备之间数据流的对象，用于采集音视频；AVCaptureConnection是iOS系统自带的捕获会话中特定输入对与输出对象之间连接的对象。
S2：通过AVCaptureVideoDataOutPut回调函数获取实时图像，通过samplebuffer得到图片；
S3：根据得到的图片进行身份证信息的识别，使用liscanidcardios.a静态库校验最终得出证件号码、姓名、性别、民族、住址，并通过iOS系统提供的CIDetector类进行身份证的人脸识别。
参照图2，实施例提供的基于OCR和人脸识别技术的身份证扫描录入方法，具体包括如下步骤：
S1、创建身份证扫描类IDCardCaptureViewController，导入AVFoundation媒体库和OCR静态库liscanidcardios.a；
S2、初始化扫描区域，添加预览图层，预览图层可以像照相机一样看到要拍摄的景物；
S3：添加自定义的扫描界面；在一个优选实施例中，扫描界面中间设置有一个镂空窗口和来回移动的扫描线；
S4：设置人脸扫描区域；由于预览图层是全屏的，即使身份证未对准拍摄框边缘，也可成功读取身份证上的信息，即会捕获到不完整的身份证图像。
在一个优选实施例中，为了截取到完整的身份证图像，在自定义扫描界面设置有一个身份证头像框，用户将身份证头像框对准身份证上的头像，以截取到完整的身份证上的头像图像；当该小框检测到人脸图像时，对比人脸区域是否在这个小框内，若是，表明用户将身份证头像图像放在了这个框里，那么此时这一帧身份证图像大小正好合适且完整，接下来才捕获该帧，获得完整的身份证头像截图；否则，放弃捕获当前图像；
检测身份证上的人脸图像是为了确定身份证上的人脸区域，获得人脸区域是为了希望人脸区域能在小框内，以截取到完整的人脸图像；通过身份证头像框可起到引导用户将身份证与拍摄框边缘对齐以获得完整的身份证图像。
在一个优选的实施例中，为了方便在光线暗的环境扫描身份证，添加手电筒的功能：具体地，判断是否有闪光灯，根据判断结果在访问硬件设备开启或关闭手电筒。
S5、从步骤S4得到的元数据中捕捉人脸图像，以确定“人脸图像区域”，将“人脸图像区域”与“身份证头像框”的区域对比，当“人脸图像区域”处于“身份证头像框”内时，捕获当前帧图像；
为videoDataOutput设置代理，调用代理方法，捕获每一帧图像；其中，videoDataOutput是iOS的视频输出，用于处理从视频中捕获的未经压缩的帧。
代理方法是iOS捕获帧图像的系统方法，采用搭载有IOS系统的终端设备扫描身份证后，在代理方法中返回结果，根据返回的结果对比“人脸区域”与“身份证头像框”，当前者在后者范围内的时候，才能截取到完整的身份证图像。
S6、将步骤S5捕获的当前帧图像、转化成图片；
S7、根据该图片进行身份证信息识别，创建身份证信息类IDInfo，定义身份证属性(身份证号、姓名、性别、民族、地址、头像)，将识别的信息进行gbkEncoding编码后赋值给身份证信息类中的对应属性；
S8、读取到身份证信息，创建IDInfo对象，截取身份证的有效区域，获取到图像，使用系统类CIDetector识别人脸，得到头像；在一个优选实施例中，通过放大截取的头像比例，使头像完整清晰；至此，得到身份证的身份证号、姓名、性别、民族、地址、头像。
本发明的方法所采用的不是传统C++的识别图像的方法，而是使用iOS的系统库结合身份证识别的算法进行处理；具有速度快，识别率高的特点，并且比传统C++识别的方法多出除姓名、性别、年龄等文字信息外的图片信息识别即识别身份证头像。通过实时扫描身份证进行识别，解决了现有技术身份证识别效率差的问题，并能使用人脸识别额外识别出身份证中的头像。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于OCR与人脸识别技术的身份证扫描录入方法，其特征在于包括如下步骤：
(1)创建身份证扫描类，导入媒体库和OCR静态库；
(2)对扫描区域初始化，并添加预览图层，以及自定义的扫描界面；
(3)设置人脸扫描区域；
(4)从扫描输出的元数据中捕捉包含有人脸的帧图像；
(5)将捕获的包含有人脸的帧图像转化成图片；调用媒体库和OCR静态库根据该图片进行身份证信息识别，识别出身份证号、姓名、性别、民族、地址、头像。
2.如权利要求1所述的身份证扫描录入方法，其特征在于，在自定义扫描界面时设置身份证头像框，用于引导用户将身份证与拍摄框边缘对齐以截取完整的身份证图像。
3.如权利要求2所述的身份证扫描录入方法，其特征在于，步骤(4)具体为从扫描输出的元数据中捕捉人脸图像并确定人脸图像区域，将人脸图像区域与身份证头像框的区域对比，当人脸图像区域处于身份证头像框内时，捕获当前帧作为包含有人脸的帧图像。
4.如权利要求1所述的身份证扫描录入方法，其特征在于，所述步骤(5)中的识别方法包括：
(5.1)创建身份证信息类，定义身份证属性，将识别的信息进行编码后赋值给身份证信息类中的对应属性；
(5.2)读取到身份证信息，创建IDInfo对象，使用系统类CIDetector从图片中识别人脸，得到头像。
5.如权利要求4所述的身份证扫描录入方法，其特征在于，步骤(5.2)中通过放大截取的头像比例，使头像完整清晰。
6.如权利要求1或2所述的身份证扫描录入方法，其特征在于，扫描界面中间设置有一个镂空窗口和来回移动的扫描线。
7.如权利要求1或2所述的身份证扫描录入方法，其特征在于，所设置的预览图层是全屏的。
8.如权利要求1或2所述的身份证扫描录入方法，其特征在于，在步骤(3)中，还判断是否有闪光灯，根据判断结果开启或关闭手电筒。
CN201811512266.9A 2018-12-11 2018-12-11 一种基于ocr与人脸识别技术的身份证扫描录入方法 Pending CN109697412A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811512266.9A CN109697412A (zh) 2018-12-11 2018-12-11 一种基于ocr与人脸识别技术的身份证扫描录入方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811512266.9A CN109697412A (zh) 2018-12-11 2018-12-11 一种基于ocr与人脸识别技术的身份证扫描录入方法

Publications (1)

Publication Number Publication Date
CN109697412A true CN109697412A (zh) 2019-04-30

Family

ID=66230523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811512266.9A Pending CN109697412A (zh) 2018-12-11 2018-12-11 一种基于ocr与人脸识别技术的身份证扫描录入方法

Country Status (1)

Country Link
CN (1) CN109697412A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443237A (zh) * 2019-08-06 2019-11-12 北京旷视科技有限公司 证件识别方法、装置、电子设备及计算机可读存储介质
CN110929715A (zh) * 2019-11-26 2020-03-27 深圳市信联征信有限公司 终端身份证智能扫描方法、装置以及终端
CN111027450A (zh) * 2019-12-04 2020-04-17 深圳市新国都金服技术有限公司 银行卡信息识别方法、装置、计算机设备及存储介质
CN114266267A (zh) * 2021-12-20 2022-04-01 武汉烽火众智智慧之星科技有限公司 集合二维码、文档、证件、人脸的自动识别方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156853A (zh) * 2010-02-11 2011-08-17 深圳鼎识科技有限公司 证件识读系统及证件识读方法
CN102902959A (zh) * 2012-04-28 2013-01-30 王浩 基于二代身份证存储证件照的人脸识别方法及系统
CN105138980A (zh) * 2015-08-20 2015-12-09 深圳云天励飞技术有限公司 基于身份证件信息和人脸识别的身份验证方法及系统
CN107145873A (zh) * 2017-05-12 2017-09-08 江苏鸿信系统集成有限公司 基于人脸识别和ocr的身份证图像识别审核方法及系统
WO2018117288A1 (ko) * 2016-12-21 2018-06-28 이종명 모바일 단말기를 이용한 비대면 금융계좌 개설방법 및 그 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156853A (zh) * 2010-02-11 2011-08-17 深圳鼎识科技有限公司 证件识读系统及证件识读方法
CN102902959A (zh) * 2012-04-28 2013-01-30 王浩 基于二代身份证存储证件照的人脸识别方法及系统
CN105138980A (zh) * 2015-08-20 2015-12-09 深圳云天励飞技术有限公司 基于身份证件信息和人脸识别的身份验证方法及系统
WO2018117288A1 (ko) * 2016-12-21 2018-06-28 이종명 모바일 단말기를 이용한 비대면 금융계좌 개설방법 및 그 시스템
CN107145873A (zh) * 2017-05-12 2017-09-08 江苏鸿信系统集成有限公司 基于人脸识别和ocr的身份证图像识别审核方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BELUGA_白鲸: "Android-Paint自定义外部阴影，内部透明画布蒙版布局", 《HTTPS://BLOG.CSDN.NET/U012246458/ARTICLE/DETAILS/81903107》 *
取个网名用了半个小时: "iOS使用AVFoundation扫描二维码并限定扫描区域", 《HTTPS://BLOG.CSDN.NET/AIRRONS/ARTICLE/DETAILS/48804727?DEPTH_1-UTM_SOURCE=DISTRIBUTE.WAP_RELEVANT.NONE-TASK-BLOG-BLOGCOMMENDFROMBAIDU-17&UTM_SOURCE=DISTRIBUTE.WAP_RELEVANT.NONE-TASK-BLOG-BLOGCOMMENDFROMBAIDU-17》 *
坤小: "iOS原生人脸识别CIDetector使用", 《HTTPS://BLOG.CSDN.NET/U013263917/ARTICLE/DETAILS/54973462》 *
新浪博客: "强大的身份证识别技术和人脸识别比对技术", 《HTTP://BLOG.SINA.CN/DPOOL/BLOG/S/BLOG_BB2A6FA40102YF2T.HTML》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443237A (zh) * 2019-08-06 2019-11-12 北京旷视科技有限公司 证件识别方法、装置、电子设备及计算机可读存储介质
CN110929715A (zh) * 2019-11-26 2020-03-27 深圳市信联征信有限公司 终端身份证智能扫描方法、装置以及终端
CN111027450A (zh) * 2019-12-04 2020-04-17 深圳市新国都金服技术有限公司 银行卡信息识别方法、装置、计算机设备及存储介质
CN114266267A (zh) * 2021-12-20 2022-04-01 武汉烽火众智智慧之星科技有限公司 集合二维码、文档、证件、人脸的自动识别方法、装置及存储介质
CN114266267B (zh) * 2021-12-20 2024-03-19 武汉烽火众智智慧之星科技有限公司 集合二维码、文档、证件、人脸的自动识别方法、装置及存储介质

Similar Documents

Publication Publication Date Title
US10650261B2 (en) System and method for identifying re-photographed images
CN109697412A (zh) 一种基于ocr与人脸识别技术的身份证扫描录入方法
WO2021031523A1 (zh) 证件识别方法及装置
JP7369500B2 (ja) 閾値ベースのマッチングによる遠隔ユーザの身元確認
CN108197586A (zh) 脸部识别方法和装置
CN107844748A (zh) 身份验证方法、装置、存储介质和计算机设备
CN105678242B (zh) 手持证件模式下的对焦方法和装置
CN110503023A (zh) 活体检测方法及装置、电子设备和存储介质
CN106296665B (zh) 卡片图像模糊检测方法和装置
Smith-Creasey et al. Continuous face authentication scheme for mobile devices with tracking and liveness detection
Vazquez-Fernandez et al. Built-in face recognition for smart photo sharing in mobile devices
CN103379282A (zh) 用于识别图像的设备和方法
US20200218772A1 (en) Method and apparatus for dynamically identifying a user of an account for posting images
KR101724971B1 (ko) 광각 카메라를 이용한 얼굴 인식 시스템 및 그를 이용한 얼굴 인식 방법
KR20220043004A (ko) 차폐된 이미지 검출 방법, 장치 및 매체
CN109657627A (zh) 身份验证方法、装置及电子设备
CN114387548A (zh) 视频及活体检测方法、系统、设备、存储介质及程序产品
US20220270352A1 (en) Methods, apparatuses, devices, storage media and program products for determining performance parameters
CN109145878B (zh) 图像提取方法及装置
CN107977636A (zh) 人脸检测方法及装置、终端、存储介质
KR100827848B1 (ko) 영상 통화 기록을 이용하여 디지털 데이터에 포함된 인물을인식하고 화면에 영상을 디스플레이하는 방법 및 시스템
Satwashil et al. English text localization and recognition from natural scene image
Jayashree et al. Voice based application as medicine spotter for visually impaired
CN109741243B (zh) 彩色素描图像生成方法及相关产品
CN113822205A (zh) 会议记录生成方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190430