CN107944395B - 一种基于神经网络验证人证合一的方法及系统 - Google Patents

一种基于神经网络验证人证合一的方法及系统 Download PDF

Info

Publication number
CN107944395B
CN107944395B CN201711207467.3A CN201711207467A CN107944395B CN 107944395 B CN107944395 B CN 107944395B CN 201711207467 A CN201711207467 A CN 201711207467A CN 107944395 B CN107944395 B CN 107944395B
Authority
CN
China
Prior art keywords
image
identity card
transformation
person
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711207467.3A
Other languages
English (en)
Other versions
CN107944395A (zh
Inventor
胡浩基
蔡成飞
毛颖
陈伟亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201711207467.3A priority Critical patent/CN107944395B/zh
Publication of CN107944395A publication Critical patent/CN107944395A/zh
Application granted granted Critical
Publication of CN107944395B publication Critical patent/CN107944395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Credit Cards Or The Like (AREA)

Abstract

本发明公开了一种验证人证合一的验证方法及系统,所述验证方法用于验证身份证上的人和拍摄照图像上的人是否为同一个人,分别采集持有身份证的人的身份证图像和所述拍摄照图像;将所述身份证图像和所述拍摄照图像进行人脸检测,获得身份证人脸位置坐标和拍摄照人脸位置坐标,并经过同一个仿射变换,获得尺寸相同的身份证变换图像和拍摄照变换图像;利用改进卷积神经网络算法提取所述身份证变换图像和所述拍摄照变换图像的特征向量,验证身份证上的人和拍摄照图像上的人是否为一个人。通过利用改进卷积神经网络算法提取身份证变换图像和拍摄照变换图像的特征向量,在光线较暗,人多的环境中引起的人脸图像差异较大情况,提高了验证结果的准确度。

Description

一种基于神经网络验证人证合一的方法及系统
技术领域
本发明涉及人脸识别领域,特别是涉及一种基于神经网络验证人证合一的方法及系统。
背景技术
传统的人脸检测算法是基于人脸图像的边缘特征、线性特征和对角线特征,根据图像的灰度变化进行识别,存在着漏检、错检的问题,多姿态情况下检测的效果较差,检测的准确率较低。
传统的人脸检测算法还是基于简单的人工特征设计的,例如局部二值模式LBP(Local Binary Pattern)特征算法,一般是将人脸图像进行分块,对每块子图像进行LBP直方图统计,并将所有块的直方图首尾相连组成一个向量,这个向量就是人脸的特征描述。由于人脸会随着年龄、情绪、温度光照条件、遮盖物等因素的限制,人脸的外形很不稳定,甚至从不同角度观察,人脸的图像特征也存在很大的差异,应用LBP特征算法就会导致检测的结果不准确。
目前基于神经网络的人脸识别,仅仅是从人脸的图像中提取人脸的某些特征,由于人脸会随着年龄、情绪、温度光照条件、遮盖物等因素的限制,人脸的外形很不稳定,仅仅通过提取的人脸特征进行验证身份证的人脸图像和人脸的生活照图像是否为同一个人,会导致验证的结果不准确,所以,亟需一种能够准确判断身份证的人脸图像和生活照的人脸图像是否为同一个人的验证方法和系统。
发明内容
本发明的目的是提供一种提高验证结果准确率的基于神经网络验证人证合一的方法及系统。
为实现上述目的,本发明提供了如下方案:
一种验证人证合一的验证方法,所述验证方法用于验证身份证上的人和拍摄照图像上的人是否为同一个人,所述验证方法具体包括:
分别采集持有身份证的人的身份证图像和所述拍摄照图像;
将所述身份证图像和所述拍摄照图像进行人脸检测,如果未检测到人脸时,重新采集持有身份证的人的身份证图像和所述拍摄照图像;否则,分别采集所述身份证图像和所述拍摄照图像的人脸中的右眼、左眼、鼻子、右嘴角、左嘴角的位置坐标,获得身份证人脸位置坐标和拍摄照人脸位置坐标;
分别将所述身份证人脸位置坐标和所述拍摄照人脸位置坐标经过同一个仿射变换,获得尺寸相同的身份证变换图像和拍摄照变换图像;
利用改进卷积神经网络算法提取所述身份证变换图像和所述拍摄照变换图像的特征向量,得到身份证变换图像特征向量和拍摄照变换图像特征向量,提高了人脸特征提取的准确度,不受光线和环境的影响;
根据所述身份证变换图像特征向量和所述拍摄照变换图像特征向量验证身份证上的人和拍摄照图像上的人是否为同一个人。
可选的,所述分别将所述身份证人脸位置坐标和所述拍摄照人脸位置坐标经过同一个仿射变换,获得尺寸相同的身份证变换图像和拍摄照变换图像具体包括:
根据所述身份证图像人脸中的右眼、左眼、鼻子、右嘴角、左嘴角的位置坐标与模板坐标中的右眼、左眼、鼻子、右嘴角、左嘴角的位置坐标建立变换方程,获得变换矩阵,所述模板坐标为变换基础的坐标;
根据变换矩阵分别变换所述拍摄照人脸位置坐标和所述身份证图像人脸位置坐标,获得尺寸相同的身份证变换图像和拍摄照变换图像。
可选的,所述利用改进卷积神经网络算法提取所述身份证变换图像和所述拍摄照变换图像的特征向量具体包括:
获取多种不同姿态的人脸信息,构成多姿态人脸信息训练集;
利用所述多姿态人脸信息训练集训练卷积神经网络,得到改进卷积神经网络算法;
利用所述改进卷积神经网络算法提取所述身份证变换图像和所述拍摄照变换图像的特征向量,提高了特征提取的准确度。
可选的,所述身份证变换图像特征向量和所述拍摄照变换图像特征向量为欧氏空间可分的1024维向量。
可选的,所述根据所述身份证变换图像特征向量和所述拍摄照变换图像特征向量验证身份证上的人和拍摄照图像上的人是否为同一个人具体包括:
计算所述身份证变换图像特征向量和所述拍摄照变换图像特征向量之间的欧氏距离;
比较所述欧氏距离与距离阈值,如果所述欧氏距离大于所述距离阈值,身份证上的人和拍摄照图像上的人不是同一个人;否则,身份证上的人和拍摄照图像上的人是同一个人。
本发明还公开了一种验证人证合一的验证系统,所述系统包括:身份证读卡器、摄像头模块、人脸检测模块、人脸图像变换模块、特征向量提取模块、判断模块;
所述身份证读卡器,用于采集所述持有身份证的人的身份证图像;
所述摄像头模块,用于采集待验证的人的拍摄照图像;
所述人脸检测模块,分别与所述身份证读卡器和所述摄像头模块连接,所述人脸检测模块用于将所述身份证图像和所述拍摄照图像进行人脸检测,如果未检测到人脸时,重新采集持有身份证的人的身份证图像和所述拍摄照图像;否则,分别采集所述身份证图像和所述拍摄照图像的人脸中的右眼、左眼、鼻子、右嘴角、左嘴角的位置坐标,获得身份证人脸位置坐标和拍摄照人脸位置坐标;
所述人脸图像变换模块,与所述人脸检测模块连接,所述人脸图像变换模块用于分别将所述身份证人脸位置坐标和所述拍摄照人脸位置坐标经过同一个仿射变换,获得尺寸相同的身份证变换图像和拍摄照变换图像;
所述特征向量提取模块,与所述人脸图像变换模块连接,所述特征向量提取模块利用改进卷积神经网络算法提取所述身份证变换图像和所述拍摄照变换图像的特征向量,得到身份证变换图像特征向量和拍摄照变换图像特征向量;
所述判断模块,与所述特征向量提取模块连接,所述判断模块用于根据所述身份证变换图像特征向量和所述拍摄照变换图像特征向量验证身份证上的人和拍摄照图像上的人是否为同一个人。
可选的,人脸图像变换模块具体包括:计算变换矩阵单元、变换图像获取单元;
所述计算变换矩阵单元,与所述人脸检测模块连接,所述计算变换矩阵单元用于根据所述身份证图像人脸中的右眼、左眼、鼻子、右嘴角、左嘴角的位置坐标与模板坐标中的右眼、左眼、鼻子、右嘴角、左嘴角的位置坐标建立变换方程,获得变换矩阵;
所述变换图像获取单元,分别与所述计算变换矩阵单元和所述特征向量提取模块连接,所述变换图像获取单元用于根据变换矩阵分别变换所述拍摄照人脸位置坐标和所述身份证图像人脸位置坐标,获得尺寸相同的身份证变换图像和拍摄照变换图像。
可选的,所述特征向量提取模块具体包括:
获取单元,与所述变换图像获取单元连接,所述采集单元用于获取多种不同姿态的人脸信息,构成多姿态人脸信息训练集;
训练单元,与所述获取单元连接,所述训练单元用于利用所述多姿态人脸信息训练集训练卷积神经网络,得到改进卷积神经网络算法;
特征向量提取单元,分别与所述训练单元和所述判断模块连接,所述特征向量提取单元根据所述改进卷积神经网络算法提取所述身份证变换图像和所述拍摄照变换图像的特征向量。
可选的,所述判断模块具体包括:计算单元、比较单元、判断单元;
所述计算单元,与所述特征向量提取模块连接,所述计算单元用于计算所述身份证变换图像特征向量和所述拍摄照变换图像特征向量之间的欧氏距离;
所述比较单元,与所述计算单元连接,所述比较单元用于比较所述欧氏距离与距离阈值;
所述判断单元,与所述比较单元连接,判断所述欧氏距离是否大于所述距离阈值,如果是,身份证上的人和拍摄照图像上的人不是同一个人;否则,身份证上的人和拍摄照图像上的人是同一个人。
根据本发明提供的具体实施例,本发明公开了以下技术效果:本发明通过将采集到的身份证图像和拍摄照图像,然后再获得身份证人脸位置坐标和拍摄照人脸位置坐标,经过变换获得尺寸相同的身份证变换图像和拍摄照变换图像,通过改进卷积神经网络算法求得特征向量,通过特征向量的距离来判断是否为同一个人,通过具体的精确的数据进行判断,提高了验证的结果的准确度,对图像采用神经网络算法进行处理,避免了由于光照、姿态等环境变化引起的人脸图像的差异较大引起的识别率低的问题,所以,提高了验证的结果的准确度和鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种验证人证合一的验证方法的流程图;
图2为本发明利用改进卷积神经网络算法提取所述身份证变换图像和所述拍摄照变换图像的特征向量的流程图;
图3为本发明根据所述身份证变换图像特征向量和所述拍摄照变换图像特征向量验证身份证上的人和拍摄照图像上的人是否为同一个人的流程图;
图4为本发明一种验证人证合一的验证系统的组成结构图;
图5为对齐前和对齐后的所述身份证图像;
图6为对齐前和对齐后的拍摄照图像;
图7为改进卷积算法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种提高验证结果准确率的基于神经网络验证人证合一的方法及系统。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所述,一种验证人证合一的验证方法,所述验证方法用于验证身份证上的人和拍摄照图像上的人是否为同一个人,所述验证方法具体包括:
步骤100:分别采集持有身份证的人的身份证图像和所述拍摄照图像;
步骤200:将所述身份证图像和所述拍摄照图像进行人脸检测,采用多重改进卷积神经网络算法进行人脸检测;
步骤300:判断是否检测到人脸,如果未检测到人脸时,重新执行步骤200;否则,执行步骤400;
步骤400:分别采集所述身份证图像和所述拍摄照图像的人脸中的右眼、左眼、鼻子、右嘴角、左嘴角的位置坐标,获得身份证人脸位置坐标和拍摄照人脸位置坐标;
步骤500:分别将所述身份证人脸位置坐标和所述拍摄照人脸位置坐标经过同一个仿射变换,获得尺寸相同的身份证变换图像和拍摄照变换图像;
步骤600:利用改进卷积神经网络算法提取所述身份证变换图像和所述拍摄照变换图像的特征向量,得到身份证变换图像特征向量和拍摄照变换图像特征向量;
步骤700:根据所述身份证变换图像特征向量和所述拍摄照变换图像特征向量验证身份证上的人和拍摄照图像上的人是否为同一个人。
可选的,所述分别将所述身份证人脸位置坐标和所述拍摄照人脸位置坐标经过同一个仿射变换,获得尺寸相同的身份证变换图像和拍摄照变换图像具体包括:
根据所述身份证图像人脸中的右眼、左眼、鼻子、右嘴角、左嘴角的位置坐标与模板坐标中的右眼、左眼、鼻子、右嘴角、左嘴角的位置坐标建立变换方程,获得变换矩阵,所述模板坐标为变换基础的坐标;
根据变换矩阵分别变换所述拍摄照人脸位置坐标和所述身份证图像人脸位置坐标,获得尺寸相同的身份证变换图像和拍摄照变换图像,所述身份证变换图像和拍摄照变换图像的像素为112×96。
如图2所示,步骤600:所述利用改进卷积神经网络算法提取所述身份证变换图像和所述拍摄照变换图像的特征向量具体包括:
步骤601:获取多种不同姿态的人脸信息,构成多姿态人脸信息训练集;
步骤602:利用所述多姿态人脸信息训练集训练卷积神经网络,得到改进卷积神经网络算法,所述改进卷积神经网络的结构如图7所示;
步骤603:利用所述改进卷积神经网络算法提取所述身份证变换图像和所述拍摄照变换图像的特征向量,利用C++与Armadillo矩阵加速库编写了神经网络前馈网络,摆脱了对神经网络框架及其依赖库的束缚,改进卷积神经网络对不同光照和侧脸能更加有效快速提取人脸特征,在低频窗口LFW数据库上测试识别率99.3%,在三百对身份证人证一致测试中,千分之一误实率条件下获得95%的正确识别率。
可选的,所述身份证变换图像特征向量和所述拍摄照变换图像特征向量为欧氏空间可分的1024维向量。
如图3所示,步骤700:所述根据所述身份证变换图像特征向量和所述拍摄照变换图像特征向量验证身份证上的人和拍摄照图像上的人是否为同一个人具体包括:
步骤701:计算所述身份证变换图像特征向量和所述拍摄照变换图像特征向量之间的欧氏距离;
步骤702::判断所述欧氏距离是否大于距离阈值,如果是,身份证上的人和拍摄照图像上的人不是同一个人;否则,身份证上的人和拍摄照图像上的人是同一个人。
为实现上述目的,本发明还提供了如下方案:
如图4所示,一种验证人证合一的验证系统,所述系统包括:身份证读卡器1、摄像头模块2、人脸检测模块3、人脸图像变换模块4、特征向量提取模块5、判断模块6;
所述身份证读卡器1,用于采集所述持有身份证的人的身份证图像,采集身份证中的大小为102×126的人脸身份证图像;
所述摄像头模块2,用于采集待验证的人的所述拍摄照图像;
所述人脸检测模块3,分别与所述身份证读卡器1和所述摄像头模块2连接,所述身份证读卡器1将身份证中存储的人脸图片输入到所述人脸检测模块中,读入的所述身份证证件照的尺寸大小固定,像素为102×126,所述摄像头模块2对人进行拍照获得拍摄照图像,所述拍摄照图像的像素为640×480,所述摄像头模块将所述拍摄照图像发送至所述人脸检测模块3,所述人脸检测模块3用于将所述身份证图像和所述拍摄照图像进行人脸检测,如果未检测到人脸时,重新采集持有身份证的人的身份证图像和所述拍摄照图像;否则,分别采集所述身份证图像和所述拍摄照图像的人脸中的右眼、左眼、鼻子、右嘴角、左嘴角的位置坐标,所述人脸中的右眼、左眼、鼻子、右嘴角、左嘴角为人脸的关键点的位置,获得身份证人脸位置坐标和拍摄照人脸位置坐标;
如图4所示,所述人脸图像变换模块4,与所述人脸检测模块3连接,所述人脸图像变换模块4用于分别将所述身份证人脸位置坐标和所述拍摄照人脸位置坐标经过同一个仿射变换,对齐所述身份证图像和所述拍摄照图像,对齐前和对齐后的所述身份证图像如图5所示,对其前与对齐后的所述拍摄照图像如图6所示,获得尺寸相同的身份证变换图像和拍摄照变换图像;
如图4所示,所述特征向量提取模块5,与所述人脸图像变换模块4连接,所述特征向量提取模块5利用改进卷积神经网络算法提取所述身份证变换图像和所述拍摄照变换图像的特征向量,得到身份证变换图像特征向量f1和拍摄照变换图像特征向量f2
所述判断模块6,与所述特征向量提取模块6连接,所述判断模块6用于根据所述身份证变换图像特征向量f1和所述拍摄照变换图像特征向量f2验证身份证上的人和拍摄照图像上的人是否为同一个人。
可选的,人脸图像变换模块4具体包括:计算变换矩阵单元4-1、变换图像获取单元4-2;
所述计算变换矩阵单元4-1,与所述人脸检测模块4连接,所述计算变换矩阵单元4-1用于根据所述身份证图像人脸中的右眼、左眼、鼻子、右嘴角、左嘴角的位置坐标与模板坐标中的右眼、左眼、鼻子、右嘴角、左嘴角的位置坐标建立变换方程,获得变换矩阵;
所述变换图像获取单元4-2,分别与所述计算变换矩阵单元4-2和所述特征向量提取模块5连接,所述变换图像获取单元4-2用于根据变换矩阵分别变换所述拍摄照人脸位置坐标和所述身份证图像人脸位置坐标,获得尺寸相同的身份证变换图像和拍摄照变换图像。
可选的,如图4所示,所述特征向量提取模块5具体包括:
获取单元5-1,与所述变换图像获取单元4-2连接,所述获取单元5-1用于获取多种不同姿态的人脸信息,构成多姿态人脸信息训练集;
训练单元5-2,与所述获取单元5-1连接,所述训练单元5-2用于利用所述多姿态人脸信息训练集训练卷积神经网络,得到改进卷积神经网络算法;
特征向量提取单元5-3,分别与所述训练单元5-2和所述判断模块6连接,所述特征向量提取单元5-3用于所述改进卷积神经网络算法提取所述身份证变换图像和所述拍摄照变换图像的特征向量。
可选的,如图4所示,所述判断模块6具体包括:计算单元6-1、比较单元6-2、判断单元6-3;
所述计算单元6-1,与所述特征向量提取模块5连接,所述计算单元6-1用于计算所述身份证变换图像特征向量f1和所述拍摄照变换图像特征向量f2之间的欧氏距离L;
将所述身份证变换图像特征向量f1和所述拍摄照变换图像特征向量f2归一化,
Figure BDA0001483977840000091
所述欧氏距离L,
Figure BDA0001483977840000092
所述比较单元6-2,与所述计算单元6-1连接,所述比较单元6-2用于比较所述欧氏距离L与距离阈值;
所述判断单元6-3,与所述比较单元6-2连接,判断所述欧氏距离L是否大于所述距离阈值,如果是,身份证上的人和拍摄照图像上的人不是同一个人;否则,身份证上的人和拍摄照图像上的人是同一个人。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种验证人证合一的验证方法,所述验证方法用于验证身份证上的人和拍摄照图像上的人是否为同一个人,其特征在于,所述验证方法具体包括:
分别采集持有身份证的人的身份证图像和所述拍摄照图像;
将所述身份证图像和所述拍摄照图像进行人脸检测,如果未检测到人脸时,重新采集持有身份证的人的身份证图像和所述拍摄照图像;否则,分别采集所述身份证图像和所述拍摄照图像的人脸中的右眼、左眼、鼻子、右嘴角、左嘴角的位置坐标,获得身份证人脸位置坐标和拍摄照人脸位置坐标;
分别将所述身份证人脸位置坐标和所述拍摄照人脸位置坐标经过同一个仿射变换,获得尺寸相同的身份证变换图像和拍摄照变换图像;具体包括:
根据所述身份证图像人脸中的右眼、左眼、鼻子、右嘴角、左嘴角的位置坐标与模板坐标中的右眼、左眼、鼻子、右嘴角、左嘴角的位置坐标建立变换方程,获得变换矩阵,所述模板坐标为变换基础的坐标;
根据变换矩阵分别变换所述拍摄照人脸位置坐标和所述身份证图像人脸位置坐标,获得尺寸相同的身份证变换图像和拍摄照变换图像;
利用改进卷积神经网络算法提取所述身份证变换图像和所述拍摄照变换图像的特征向量,得到身份证变换图像特征向量和拍摄照变换图像特征向量;
根据所述身份证变换图像特征向量和所述拍摄照变换图像特征向量验证身份证上的人和拍摄照图像上的人是否为同一个人;
利用C++与Armadillo矩阵加速库编写了神经网络前馈网络,摆脱了对神经网络框架及其依赖库的束缚,改进卷积神经网络对不同光照和侧脸能更加有效快速提取人脸特征,在低频窗口LFW数据库上测试识别率99.3%,在三百对身份证人证一致测试中,千分之一误实率条件下获得95%的正确识别率。
2.根据权利要求1所述的一种验证人证合一的验证方法,其特征在于,所述利用改进卷积神经网络算法提取所述身份证变换图像和所述拍摄照变换图像的特征向量具体包括:
获取多种不同姿态的人脸信息,构成多姿态人脸信息训练集;
利用所述多姿态人脸信息训练集训练卷积神经网络,得到改进卷积神经网络算法;
利用所述改进卷积神经网络算法提取所述身份证变换图像和所述拍摄照变换图像的特征向量。
3.根据权利要求1所述的一种验证人证合一的验证方法,其特征在于,所述身份证变换图像特征向量和所述拍摄照变换图像特征向量为欧氏空间可分的1024维向量。
4.根据权利要求1所述的一种验证人证合一的验证方法,其特征在于,所述根据所述身份证变换图像特征向量和所述拍摄照变换图像特征向量验证身份证上的人和拍摄照图像上的人是否为同一个人具体包括:
计算所述身份证变换图像特征向量和所述拍摄照变换图像特征向量之间的欧氏距离;
比较所述欧氏距离与距离阈值,如果所述欧氏距离大于所述距离阈值,身份证上的人和拍摄照图像上的人不是同一个人;否则,身份证上的人和拍摄照图像上的人是同一个人。
5.一种验证人证合一的验证系统,所述系统包括:身份证读卡器、摄像头模块、人脸检测模块、人脸图像变换模块、特征向量提取模块、判断模块;
所述身份证读卡器,用于采集持有身份证的人的身份证图像;
所述摄像头模块,用于采集待验证的人的拍摄照图像;
所述人脸检测模块,分别与所述身份证读卡器和所述摄像头模块连接,所述人脸检测模块用于将所述身份证图像和所述拍摄照图像进行人脸检测,如果未检测到人脸时,重新采集持有身份证的人的身份证图像和所述拍摄照图像;否则,分别采集所述身份证图像和所述拍摄照图像的人脸中的右眼、左眼、鼻子、右嘴角、左嘴角的位置坐标,获得身份证人脸位置坐标和拍摄照人脸位置坐标;
所述人脸图像变换模块,与所述人脸检测模块连接,所述人脸图像变换模块用于分别将所述身份证人脸位置坐标和所述拍摄照人脸位置坐标经过同一个仿射变换,获得尺寸相同的身份证变换图像和拍摄照变换图像;
人脸图像变换模块具体包括:计算变换矩阵单元、变换图像获取单元;
所述计算变换矩阵单元,与所述人脸检测模块连接,所述计算变换矩阵单元用于根据所述身份证图像人脸中的右眼、左眼、鼻子、右嘴角、左嘴角的位置坐标与模板坐标中的右眼、左眼、鼻子、右嘴角、左嘴角的位置坐标建立变换方程,获得变换矩阵;
所述变换图像获取单元,分别与所述计算变换矩阵单元和所述特征向量提取模块连接,所述变换图像获取单元用于根据变换矩阵分别变换所述拍摄照人脸位置坐标和所述身份证图像人脸位置坐标,获得尺寸相同的身份证变换图像和拍摄照变换图像;
所述特征向量提取模块,与所述人脸图像变换模块连接,所述特征向量提取模块利用改进卷积神经网络算法提取所述身份证变换图像和所述拍摄照变换图像的特征向量;
所述判断模块,与所述特征向量提取模块连接,所述判断模块用于根据所述身份证变换图像特征向量和所述拍摄照变换图像特征向量验证身份证上的人和拍摄照图像上的人是否为同一个人;
利用C++与Armadillo矩阵加速库编写了神经网络前馈网络,摆脱了对神经网络框架及其依赖库的束缚,改进卷积神经网络对不同光照和侧脸能更加有效快速提取人脸特征,在低频窗口LFW数据库上测试识别率99.3%,在三百对身份证人证一致测试中,千分之一误实率条件下获得95%的正确识别率。
6.根据权利要求5所述的一种验证人证合一的验证系统,其特征在于,所述特征向量提取模块具体包括:
获取单元,与所述变换图像获取单元连接,采集单元用于获取多种不同姿态的人脸信息,构成多姿态人脸信息训练集;
训练单元,与所述获取单元连接,所述训练单元用于利用所述多姿态人脸信息训练集训练卷积神经网络,得到改进卷积神经网络算法;
特征向量提取单元,分别与所述训练单元和所述判断模块连接,所述特征向量提取单元用于根据所述改进卷积神经网络算法提取所述身份证变换图像和所述拍摄照变换图像的特征向量。
7.根据权利要求5所述的一种验证人证合一的验证系统,其特征在于,所述判断模块具体包括:计算单元、比较单元、判断单元;
所述计算单元,与所述特征向量提取模块连接,所述计算单元用于计算所述身份证变换图像特征向量和所述拍摄照变换图像特征向量之间的欧氏距离;
所述比较单元,与所述计算单元连接,所述比较单元用于比较所述欧氏距离与距离阈值;
所述判断单元,与所述比较单元连接,判断所述欧氏距离是否大于所述距离阈值,如果是,身份证上的人和拍摄照图像上的人不是同一个人;否则,身份证上的人和拍摄照图像上的人是同一个人。
CN201711207467.3A 2017-11-27 2017-11-27 一种基于神经网络验证人证合一的方法及系统 Active CN107944395B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711207467.3A CN107944395B (zh) 2017-11-27 2017-11-27 一种基于神经网络验证人证合一的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711207467.3A CN107944395B (zh) 2017-11-27 2017-11-27 一种基于神经网络验证人证合一的方法及系统

Publications (2)

Publication Number Publication Date
CN107944395A CN107944395A (zh) 2018-04-20
CN107944395B true CN107944395B (zh) 2020-08-18

Family

ID=61949063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711207467.3A Active CN107944395B (zh) 2017-11-27 2017-11-27 一种基于神经网络验证人证合一的方法及系统

Country Status (1)

Country Link
CN (1) CN107944395B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875646B (zh) * 2018-06-22 2022-09-27 青岛民航凯亚系统集成有限公司 一种真实面部图像与身份证登记双重比对认证方法和系统
CN109033988A (zh) * 2018-06-29 2018-12-18 江苏食品药品职业技术学院 一种基于人脸识别的图书馆出入管理系统
CN108898186B (zh) * 2018-07-03 2020-03-06 北京字节跳动网络技术有限公司 用于提取图像的方法和装置
CN111553208A (zh) * 2020-04-15 2020-08-18 上海携程国际旅行社有限公司 基于人证合一的图像的身份识别方法、系统、设备和介质
CN112001318A (zh) * 2020-08-25 2020-11-27 广东光速智能设备有限公司 一种身份证件信息采集方法及其系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914904A (zh) * 2013-10-30 2014-07-09 北京安捷天盾科技发展有限公司 人脸识别排号机
CN104112114A (zh) * 2013-10-30 2014-10-22 北京安捷天盾科技发展有限公司 身份验证方法和装置
CN104182726A (zh) * 2014-02-25 2014-12-03 苏凯 基于人脸识别的实名认证系统
CN106650623A (zh) * 2016-11-18 2017-05-10 广东工业大学 一种基于人脸检测的出入境人证核实的方法
CN106709418A (zh) * 2016-11-18 2017-05-24 北京智慧眼科技股份有限公司 基于现场照和证件照的人脸识别方法及识别装置
CN106780906A (zh) * 2016-12-28 2017-05-31 北京品恩科技股份有限公司 一种基于深度卷积神经网络的人证合一识别方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914904A (zh) * 2013-10-30 2014-07-09 北京安捷天盾科技发展有限公司 人脸识别排号机
CN104112114A (zh) * 2013-10-30 2014-10-22 北京安捷天盾科技发展有限公司 身份验证方法和装置
CN104182726A (zh) * 2014-02-25 2014-12-03 苏凯 基于人脸识别的实名认证系统
CN106650623A (zh) * 2016-11-18 2017-05-10 广东工业大学 一种基于人脸检测的出入境人证核实的方法
CN106709418A (zh) * 2016-11-18 2017-05-24 北京智慧眼科技股份有限公司 基于现场照和证件照的人脸识别方法及识别装置
CN106780906A (zh) * 2016-12-28 2017-05-31 北京品恩科技股份有限公司 一种基于深度卷积神经网络的人证合一识别方法及系统

Also Published As

Publication number Publication date
CN107944395A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
CN107944395B (zh) 一种基于神经网络验证人证合一的方法及系统
CN105740775B (zh) 一种三维人脸活体识别方法及其装置
WO2019192121A1 (zh) 双通道神经网络模型训练及人脸比对方法、终端及介质
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
KR20170006355A (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
JP6544900B2 (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
WO2019061658A1 (zh) 眼镜定位方法、装置及存储介质
US9489566B2 (en) Image recognition apparatus and image recognition method for identifying object
US20100074529A1 (en) Image recognition apparatus
WO2020244071A1 (zh) 基于神经网络的手势识别方法、装置、存储介质及设备
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
US20140093142A1 (en) Information processing apparatus, information processing method, and information processing program
US20210174067A1 (en) Live facial recognition system and method
CN109858433B (zh) 一种基于三维人脸模型识别二维人脸图片的方法及装置
WO2019061659A1 (zh) 人脸图像眼镜去除方法、装置及存储介质
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN111582027A (zh) 身份认证方法、装置、计算机设备和存储介质
KR20200119425A (ko) 도메인 적응 기반 객체 인식 장치 및 그 방법
Di Martino et al. Rethinking shape from shading for spoofing detection
CN112766065A (zh) 一种移动端考生身份认证方法、装置、终端及存储介质
Geetha et al. 3D face recognition using Hadoop
JPWO2020213166A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN114332983A (zh) 人脸图像清晰度检测方法、装置、电子设备、及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant