CN108416338B - 一种非接触掌纹身份认证方法 - Google Patents

一种非接触掌纹身份认证方法 Download PDF

Info

Publication number
CN108416338B
CN108416338B CN201810405118.0A CN201810405118A CN108416338B CN 108416338 B CN108416338 B CN 108416338B CN 201810405118 A CN201810405118 A CN 201810405118A CN 108416338 B CN108416338 B CN 108416338B
Authority
CN
China
Prior art keywords
sample image
training sample
image
roi
palm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810405118.0A
Other languages
English (en)
Other versions
CN108416338A (zh
Inventor
李钦
赖红
王文丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Information Technology
Original Assignee
Shenzhen Institute of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Information Technology filed Critical Shenzhen Institute of Information Technology
Priority to CN201810405118.0A priority Critical patent/CN108416338B/zh
Publication of CN108416338A publication Critical patent/CN108416338A/zh
Application granted granted Critical
Publication of CN108416338B publication Critical patent/CN108416338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1347Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1365Matching; Classification
    • G06V40/1376Matching features related to ridge properties or fingerprint texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种非接触掌纹身份认证方法,包括如下步骤:获取训练样本图像和测试样本图像,所述训练样本图像和所述测试样本图像包括至少一组握拳的手掌图像和展开手掌的手掌图像;降低所述训练样本图像和所述测试样本图像的分辨率,提取所述训练样本图像和所述测试样本图像的ROI;对所述训练样本图像的ROI进行变换扩充所述训练样本图像的ROI;通过基于卷积神经网络的双网络深度学习,提取出所述训练样本图像的ROI中旋转、透视、亮度变换无关的全局特征与局部特征,根据所述测试样本图像与所述训练样本图像的全局特征与局部特征的相似度进行身份认证。在保证识别速度的情况下提高基于智能移动终端采集的非接触掌纹识别准确率。

Description

一种非接触掌纹身份认证方法
技术领域
本发明涉及生物特征识别技术领域,尤其涉及一种非接触掌纹身份认证方法。
背景技术
近年来,智能手机和iPad等智能移动终端设备已经越来越广泛地出现在人们的生活中。当人们享受这些移动设备带来的方便性时,由此发生的诈骗和身份盗窃也迅速增加。特别是伴随着手机银行和电子商务等移动互联网应用的推广,制约其发展的安全问题变得更加突出。例如,由于智能终端键盘的输入比较麻烦,许多用户的密码都很简单,甚至有相当一部分智能终端用户嫌麻烦而不设置密码。在智能终端丢失或者被盗用时,简单的密码很容易被破解,或者由于根本没有密码,在智能终端用户发现丢失或者被盗并采取补救措施之前,一些个人资料已经被窃取或者手机银行被盗用,造成重大经济损失。此外,密码还有容易遗忘的特点,在合法的智能终端用户忘了密码的情况下,给用户带来了极大的不便甚至损失,如在移动证券交易中,由于忘记密码而无法交易时,有可能给合法的智能终端用户造成不可挽回的损失。可以说,如果能很好的解决智能终端的安全问题,手机银行等应用将会获得巨大的、更进一步的发展。
生物特征识别技术可以辅助或替代传统的身份认证,提高移动互联网的安全性。同其它生物特征识别相比,非接触式的掌纹识别有很多优点。表1是几种常见生物识别技术和掌纹技术的对比:
表1.主流生物特征性能对比
Figure BDA0001646665150000011
下面从几个方面简单分析一下。
(1)安全性。人的手掌为柔性结构,很难以完整的、平展的状态暴漏于外界。而指纹、人脸、虹膜等特征,经常以完整的、平展的状态暴漏于外界,容易被盗取,引发安全问题。掌纹在目前主流生物特征中,安全性仅次于视网膜与掌静脉。
(2)易用性。掌纹图像可在低分辨率下识别而不需要专有的传感器或高分辨率的要求。普通的智能终端摄像头即可满足采集要求。而掌静脉采集需要特殊设备,视网膜采集伴随强光刺激,虹膜采集可能伴有光刺激且存在一定的对焦问题。并且,非接触掌纹的采集类似于扫描二维码,如图1所示,易于被用户接受,容易在手机商城、手机银行等项目中进行推广。
(3)适用性。掌纹在某些环境下,具有更强的适用性。例如,在浴室、泳池的更衣室中,如需通过生物特征开箱,虹膜、人脸等需要广角摄像头定位的生物特征无法适用。并且由于人手潮湿,指纹等接触式生物特征也无法适用。而非接触式掌纹可仿照接触式掌纹,构造一个嵌入墙体的半封闭采集结构,适用于此种环境。
尽管近几年来,非接触式掌纹识别取得了一些成果,已有若干原型系统开发出来。但如图1所示,基于智能移动终端的掌纹采集由于没有辅助的装置来固定手掌的位置,且没有背景遮挡装置,导致手掌所处的背景比较复杂,而且自由度很大,现有的掌纹识别算法不能有效实施。且目前并无公开的基于智能移动终端采集的大型掌纹数据库,开发人员面临严重的训练样本不足问题,使得基于智能移动终端的非接触掌纹没有满意的身份认证准确率。
发明内容
本发明为了解决现有技术中非接触掌纹识别的问题,提供一种非接触掌纹身份认证方法。
为了解决上述问题,本发明采用的技术方案如下所述:
一种非接触掌纹身份认证方法,包括如下步骤:S1:获取训练样本图像和测试样本图像,所述训练样本图像和所述测试样本图像包括至少一组握拳的手掌图像和展开手掌的手掌图像;S2:降低所述训练样本图像和所述测试样本图像的分辨率,提取所述训练样本图像和所述测试样本图像的ROI;S3:对所述训练样本图像的ROI进行变换扩充所述训练样本图像的ROI;S4:通过基于卷积神经网络的双网络深度学习,提取出所述训练样本图像的ROI中旋转、透视、亮度变换无关的全局特征与局部特征,根据所述测试样本图像与所述训练样本图像的全局特征与局部特征的相似度进行身份认证。
优选地,步骤S2中提取所述训练样本图像和所述测试样本图像的ROI包括如下特征:S21:获取所述握拳的手掌图像和所述展开手掌的手掌图像并转化成对应的灰度图像,同时把分辨率从1280*720降低至320*180;S22:对所述灰度图像进行平滑处理,得到所述握拳的手掌图像的灰度图像和所述展开手掌的手掌图像的灰度图像的差分图像;S23:对所述差分图像进行双阈值分割,得到掌纹预分割图像;S24:利用所述掌纹预分割图像标记训练样本图像中的掌纹区域,并转换到YCbCr色度空间,建立基于训练样本图像的肤色模型;利用所述掌纹预分割图像标记所述测试样本图像中的掌纹区域,并转换到YCbCr色度空间,建立基于测试样本图像的肤色模型;将所述训练样本图像的肤色模型和所述测试样本图像的肤色模型的均值作为最终的肤色模型;定义肤色相似度为:
Figure BDA0001646665150000031
其中Ps为最终的肤色模型,i表示当前测试样本中的像素索引,x=[Cb Cr]T表示训练样本和测试样本像素在YCbCr色度空间中的值;对PS Simility进行双阈值分割,并采用形态学膨胀填补小的内部孔洞,得到测试样本图像的的掌纹分割图像;S25:计算掌纹分割图像的重心,从重心出发,搜寻最大半径,确定最终的圆心与半径,并映射回展开手掌的手掌图像得到ROI。
优选地,步骤S3中所述变换包括:S31:对所述训练样本图像的ROI进行透视变换;S32:对所述训练样本图像的ROI进行旋转变换;S33:对所述训练样本图像的ROI进行背景消除和亮度变换。
优选地,步骤S4包括如下步骤:S41:对扩充后的所述训练样本图像的ROI提取全局特征;S42:对扩充后的所述训练样本图像的ROI恢复分辨率,然后提取局部特征;S43:对测试样本图像的ROI与训练样本图像的ROI的全部特征和局部特征对比进行身份认证。
优选地,所述步骤S41包括如下步骤:S411:采用网络结构在每一个卷积层并行使用至少一个卷积核提取特征,卷积层的激活映射为:
Figure BDA0001646665150000032
其中,W表示每个神经元的权重,b表示偏置,i表示卷积核序号,l表示层数;S412:把所述网络结构的最后一个全连接层去除,添加一个间隙层;在所述间隙层对最后一个卷积层进行平均池化,如下所示:
Figure BDA0001646665150000033
其中,Hi(x,y)表示第i个激活单元在坐标(x,y)的值;S413:在所述间隙层添加一个权重w来表达每个像素的分类表现力,最终的Softmax层表示为:
Figure BDA0001646665150000041
其中,
Figure BDA0001646665150000042
表示在全局特征下第c类的分类分数,
Figure BDA0001646665150000043
表示一个像素在第i层对第c类的表达力权重。S414:获取权重w后,每个像素的分类表达力为:
Figure BDA0001646665150000044
优选地,所述步骤S42包括:恢复扩充后的所述训练样本图像的ROI的分辨率到1280*720;并在恢复分辨率后的所述训练样本图像的ROI中取出表达力最强的至少一个像素,同时,将所述训练样本图像恢复分辨率到1280*720,映射得到所述训练样本图像中最具表达力的像素,以每个所述最具表达力的像素为中心取一个邻域;若所述领域中包含其他所述表达力最强的要素,不重复取领域。
优选地,所述表达力最强的像素的数量和所述领域的大小由穷举法从实验得到。
优选地,所述训练样本图像和所述测试样本图像的相似度定义为:
Figure BDA0001646665150000045
其中w代表权重,w∈[0,1],wA+wL=1,wA为全局特征,为局部特征,
Figure BDA0001646665150000046
为全局特征的相似度,
Figure BDA0001646665150000047
为局部特征的相似度。
优选地,其特征在于,所述wA和wL通过穷举法从实验获得最佳权重。
本发明的有益效果为:提供一种非接触掌纹身份认证方法,通过构建训练样本图像和测试样本图像,基于简单交互操作的图像差分和从测试样本图像中建立肤色模型,在基于智能移动终端采集的非接触掌纹采集环境下,能够消除光照等环境影响,准确实现掌纹分割以及活体检测,在分割后的掌纹图像中提取最大内切圆,得到旋转、平移变换无关的ROI。通过训练数据扩充以及双网络深度学习,解决训练样本不足的问题,提取出旋转、透视、亮度变换无关的全局特征与局部特征,在保证识别速度的情况下提高基于智能移动终端采集的非接触掌纹识别准确率。
附图说明
图1是本发明实施例1中一种非接触掌纹身份认证方法示意图。
图2是本发明实施例1中的掌纹采集示意图。
图3是本发明实施例1中提取训练样本图像和测试样本图像的ROI的方法示意图。
图4是本发明实施例1中获取的两幅手掌图像的原图。
图5是本发明实施例1中对训练样本图像的ROI进行变换扩充的方法示意图。
图6是本发明实施例1中背景消除示意图。
图7是本发明实施例1中光照模型示意图。
图8是本发明实施例1中身份认证的方法示意图。
图9是本发明实施例1中对扩充后的训练样本图像的ROI提取全局特征的方法示意图。
图10是本发明实施例1中深度网络结构示意图。
具体实施方式
下面结合附图通过具体实施例对本发明进行详细的介绍,以使更好的理解本发明,但下述实施例并不限制本发明范围。另外,需要说明的是,下述实施例中所提供的图示仅以示意方式说明本发明的基本构思,附图中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的形状、数量及比例可为一种随意的改变,且其组件布局形态也可能更为复杂。
实施例1
如图1所示,本发明提供一种非接触掌纹身份认证方法,包括如下步骤:
S1:获取训练样本图像和测试样本图像,所述训练样本图像和所述测试样本图像包括至少一组握拳的手掌图像和展开手掌的手掌图像;
S2:降低所述训练样本图像和所述测试样本图像的分辨率,提取所述训练样本图像和所述测试样本图像的ROI;
S3:对所述训练样本图像的ROI进行变换扩充所述训练样本图像的ROI;
S4:通过基于卷积神经网络的双网络深度学习,提取出所述训练样本图像的ROI中旋转、透视、亮度变换无关的全局特征与局部特征,根据所述测试样本图像与所述训练样本图像的全局特征与局部特征的相似度进行身份认证。
步骤S1中训练样本图像和测试样本图像,在一种具体的实施例中,如图2所示,目前训练集和测试集都是54个类,训练集每类30个样本,测试集每类5个样本,比如每个人拍摄35张掌纹,挑选其中的30张用于作为训练样本,5张用于作为测试样品。
步骤S2中的ROI是感兴趣区域(Region of Interest,ROI),即有效识别区域,指的是图像中固定的一部分,其包含的信息足够用于识别。ROI是跟手掌拍摄时的旋转平移无关的,这里所说的无关,指的是相关性很小,可以理解的是,相关性越小的ROI识别越好。
如图3所示,步骤S2中提取训练样本图像和测试样本图像的ROI包括如下步骤:
S21:获取所述握拳的手掌图像和所述展开手掌的手掌图像并转化成对应的灰度图像;
在一种具体的实施例中,提示测试对象先握拳再伸展手掌,获取到一幅握拳,一幅展开手掌两幅手掌图像P1和P2,见图4(a)-4(b)。
S22:对所述灰度图像进行平滑处理,得到所述握拳的手掌图像的灰度图像和所述展开手掌的手掌图像的灰度图像的差分图像;
在一种具体的实施例中,把两幅手掌图像P1和P2转换为灰度图像
Figure BDA0001646665150000063
Figure BDA0001646665150000064
如图4(c)和4(d);采用高斯滤波进行平滑,然后得到二者的差分图像D,如图4(e)所示。可以理解的是,图像差分前都需要平滑,不然噪声太多,影响差分效果,现有技术中的差分方法均适合,此处仅是示例性的采用高斯滤波。
D由公式(1)定义,其中*表示卷积,(x,y)表示图像中的坐标,gσ(x,y)=exp[-(x2+y2)/2σ2]表示高斯函数:
Figure BDA0001646665150000061
S23:对所述差分图像进行双阈值分割,得到掌纹预分割图像;
在一种具体的实施例中,对差分图像进行双阈值分割,设定一个低阈值tl和一个高阈值th=2tl,以高阈值得到的掌纹图为种子,以低阈值得到的掌纹图为掩膜图像,进行形态学重构,得到的分割结果作为掌纹预分割图像
Figure BDA0001646665150000062
见图4(f)。
S24:利用所述掌纹预分割图像标记训练样本图像中的掌纹区域,并转换到YCbCr色度空间,建立基于训练样本图像的肤色模型;利用所述掌纹预分割图像标记所述测试样本图像中的掌纹区域,并转换到YCbCr色度空间,建立基于测试样本图像的肤色模型;将所述训练样本图像的肤色模型和所述测试样本图像的肤色模型的均值作为最终的肤色模型;
定义肤色相似度为:
Figure BDA0001646665150000071
其中Ps为最终的肤色模型,i表示当前测试样本中的像素索引,x=[Cb Cr]T表示训练样本和测试样本像素在YCbCr色度空间中的值;
对PS Simility进行双阈值分割,并采用形态学膨胀填补小的内部孔洞,得到测试样本图像的的掌纹分割图像;
在一种具体的实施例中,标记训练样本图像中的掌纹区域,并转换到YCbCr色度空间,建立基于训练样本的肤色模型
Figure BDA0001646665150000072
见公式(2);采用掌纹预分割图像
Figure BDA0001646665150000073
标记当前测试样本图像中的掌纹区域,转换到YCbCr色度空间,建立基于当前测试样本的肤色模型
Figure BDA0001646665150000074
见公式(3)。其中x=[Cb Cr]T表示训练样本和测试样本像素在YCbCr色度空间中的值,m=E(x)为训练样本和测试样本在色度空间的均值,C=E[(x-m)(x-m)T]为样本色度分布协方差矩阵。采用
Figure BDA0001646665150000075
Figure BDA0001646665150000076
的均值
Figure BDA0001646665150000077
作为最终的肤色模型,将肤色相似度定义为
Figure BDA0001646665150000078
i表示当前测试样本中的像素索引,对PS Simility进行双阈值分割,并采用形态学膨胀填补小的内部孔洞,得到当前测试样本的掌纹分割图像
Figure BDA0001646665150000079
见图4(g)。
Figure BDA00016466651500000710
Figure BDA00016466651500000711
S25:计算掌纹分割图像的重心,从重心出发,搜寻最大半径,确定最终的圆心与半径,并映射回展开手掌的手掌图像得到ROI。
在一种具体的实施例中,计算掌纹分割图像
Figure BDA00016466651500000712
重心,作为内切圆心的初步估计,从重心出发,搜寻最大半径,确定最终圆心与半径,并映射回原图P2得到ROI,见图4(h)。
此处搜寻最大半径的具体方式是:图像是1280*720,最大半径为200个像素,从150到200做循环,找到当前图像的最大半径。
上述方案基于图像差分技术、肤色模型和简单的交互操作,能够消除光照等环境影响,准确实现掌纹分割,且同时实现了活体检测;本方案得到的ROI是旋转、平移变换无关的。
对训练样本进行旋转、透视、亮度变换以及基于匹配滤波的背景消除,在扩充训练数据样本数量以解决训练样本不足问题的同时,能够提取出旋转、仿射、亮度、肤色不变的特征。如图5所示,步骤S3中所述变换包括:
对所述训练样本图像的ROI进行透视变换;
对所述训练样本图像的ROI进行旋转变换;
对所述训练样本图像的ROI进行背景消除和亮度变换。
首先,对训练样本进行透视变换。上文提取的ROI具有旋转、平移不变性,但是智能移动终端采集到的掌纹图像会存在一定的透视变换,因此需要对训练样本进行透视变换,以提取仿射不变的特征。本方案中的透视变换由公式(4)定义,其中[x y]为原始坐标,[xλyλ]为变换后的坐标,λ为缩放系数。
Figure BDA0001646665150000081
其次,对训练样本进行旋转变换。本方案提取的ROI的内容是旋转不变的,但是为了提取旋转不变的特征,仍然需要旋转变换。本方案中的透视变换由公式(5)定义,其中[xy]为原始坐标,[xθ yθ]为变换后的坐标,θ为旋转角度。
在一种具体的实施例中,可以每次旋转5度,共旋转360度。
Figure BDA0001646665150000082
然后,对训练样本进行背景消除和亮度变换。但是智能移动终端采集到的掌纹图像存在较为严重的亮度干扰,同时,体温等因素带来的肤色变化和亮度变化混杂在一起,对图像识别造成了较为严重的干扰。我们先采用背景消除的方法去除肤色影响,以及在一定程度上去除亮度影响,然后建立一个光照模型,对背景消除后的图像进行亮度变换,以获取亮度、肤色无关的特征。
背景消除。由于掌纹识别强调的是掌纹的唯一性,可采取背景消除法抑制非掌纹信息。传统背景消除多基于高斯滤波等低通滤波来进行背景估计,然而由于二维高斯滤波是各向同性的,而掌纹的梯度是各向异性的,消除背景后会对掌纹产生不理想的梯度变化,我们在这里采用匹配滤波器进行背景消除。公式(6)定义了一个多尺度匹配滤波器,其中i表示不同尺度,x表示梯度提取的方向,y表示梯度提取方向的垂直方向,σi表示不同尺度滤波器的均方差,
Figure BDA0001646665150000091
表示不同尺度滤波器的均值,Li表示不同尺度滤波的平滑参数,该滤波器在x轴提取梯度,在y轴进行平滑,从而良好的保留了掌纹的梯度。为了提取不同方向的梯度,需要对该滤波器进行旋转,如公式(7)所示,其中φ示旋转角度,每次旋转15度,共180度,即是说旋转12次。该滤波器在某个尺度下对ROIf(x,y)的响应可表示为公式(8),其中*表示卷积。最终背景消除图像由公式(9)定义,见图6。
Figure BDA0001646665150000092
Figure BDA0001646665150000093
Figure BDA0001646665150000094
R(x,y)=max(Ri(x,y),i∈[1:3])(9)
亮度变换。本方案光照模型为一个行列相等的矩阵,矩阵中心坐标定义为(0,0),矩阵坐标表示为[…,-2,-1,0,,1,2],公式(10)定义该矩阵在x轴上的值,λ为亮度系数,将公式(10)按照公式(11)旋转180°,则得到该矩阵,见图7。将图5所示的亮度矩阵在180°内均匀旋转12次,分别与R(x,y)相加,则可得到12个亮度变换图像。可以理解的是,此处的旋转次数一种实施例而已,其他的旋转次数同样可以。
L(x,y)=-λ·x,x∈R,y=0 (10)
Figure BDA0001646665150000101
上述方案对训练样本进行旋转、透视、亮度变换以及背景消除,在扩充训练数据样本数量的同时,确保在随后的深度学习中,提取出旋转、仿射、亮度、肤色不变的特征。
将不同智能移动终端采集到的掌纹图像的分辨率统一调整为320*180,因为移动终端采集的原图分辨率一般为1280*720,相对比较大导致网络传输和识别速度都慢,先把分辨率降下来,用第一个网络选取图像中最有效的识别部分,及,然后把这一部分恢复到1280*720,再用第二个网络做识别,同时保证了识别速度和识别精度转换到YCbCr色度空间,提取ROI,在三个颜色通道进行背景消除、亮度、旋转、透视变换,原图像同变换后的图像一同作为训练样本。
如图8所示,通过基于卷积神经网络的双网络深度学习,提取出旋转、透视、亮度变换无关的全局特征与局部特征,提高基于智能移动终端采集的非接触掌纹识别准确率。步骤S4包括如下步骤:
S41:对扩充后的所述训练样本图像的ROI提取全局特征;
S42:对扩充后的所述训练样本图像的ROI恢复分辨率,然后提取局部特征;
S43:对测试样本图像的ROI与训练样本图像的ROI的全部特征和局部特征对比进行身份认证。
如图9所示,步骤S41包括如下步骤:
S411:采用网络结构在每一个卷积层并行使用至少一个卷积核提取特征,卷积层的激活映射为:
Figure BDA0001646665150000102
其中,W表示每个神经元的权重,b表示偏置,i表示卷积核序号,l表示层数;
在一种具体的实施例中,采用上述训练数据,采用类似GooLeNet的网络结构提取特征。GooLeNet网络在每一个卷积层并行使用多个卷积核提取多个特征后进行降维和拼接,使得网络的多尺度适应性更佳,能够更好的对掌纹中的粗纹、细纹、纹间几何关系进行提取。把该网络的最后一个全连接层去除以保留空间信息,添加一个间隙层以提取掌纹图像中最具表现力的像素点,网络结构如图10所示,具体操作如下:
通过一系列的卷积层提取特征。卷积层的激活映射由公式(12)定义。其中W表示每个神经元的权重,b表示偏置,i表示卷积核序号,l表示层数。
Figure BDA0001646665150000111
S412:把所述网络结构的最后一个全连接层去除,添加一个间隙层;在所述间隙层对最后一个卷积层进行平均池化,如下所示:
Figure BDA0001646665150000112
其中,Hi(x,y)表示第i个激活单元在坐标(x,y)的值;
在一种具体的实施例中,间隙层对最后一个卷积层进行平均池化,由公式(13)定义。其中Hi(x,y)表示第i个激活单元在坐标(x,y)的值。
Figure BDA0001646665150000113
S413:在所述间隙层添加一个权重w来表达每个像素的分类表现力,最终的Softmax层表示为:
Figure BDA0001646665150000114
其中,
Figure BDA0001646665150000115
表示在全局特征下第c类的分类分数,
Figure BDA0001646665150000116
表示一个像素在第i层对第c类的表达力权重
在一种具体的实施例中,在间隙层添加一个权重w来表达每个像素的分类表现力,将最终的Softmax层表示为公式(14),其中
Figure BDA0001646665150000117
表示在全局特征下第c类的分类分数。
Figure BDA0001646665150000118
S414:获取权重w后,每个像素的分类表达力为:
Figure BDA0001646665150000119
在一种具体的实施例中,通过学习获取到权重w后,每个像素的分类表达力可由公式(15)获得。
Figure BDA0001646665150000121
步骤S42局部特征提取包括:
恢复扩充后的所述训练样本图像的ROI的分辨率到1280*720;并在恢复分辨率后的所述训练样本图像的ROI中取出表达力最强的至少一个像素,同时,将所述训练样本图像恢复分辨率到1280*720,映射得到所述训练样本图像中最具表达力的像素,以每个所述最具表达力的像素为中心取一个邻域;若所述领域中包含其他所述表达力最强的要素,不重复取领域。
在一种具体的实施例方式中,将所述训练样本图像的ROI上采样至1280*720,取出表达力最强的N个像素,即权重w越大越强,并将训练样本图像也归一化为1280*720,映射得到训练样本图像中最具表达力的像素,以每个最具表达力的像素为中心取一个s*s的邻域。若该邻域中包含其它最具表达力的像素,则其它最具表达力的像素不再作为中心点重复取邻域,而是从R中取出“次强像素”,直至取出N个最强邻域。其中N和s由穷举法从实验得出。将此N个邻域作为GooLeNet网络的输入,得到基于局部特征的分类分数
Figure BDA0001646665150000122
见图10。
步骤S3的身份认证包括:
所述训练样本图像和所述测试样本图像的相似度由公式(16)定义。其中
Figure BDA0001646665150000123
为全局特征的相似度,
Figure BDA0001646665150000124
为局部特征的相似度,w代表权重,w∈[0,1],wA+wL=1,wA为全局特征,为局部特征,通过穷举法从实验获得最佳权重。
Figure BDA0001646665150000125
上述方案通过基于卷积神经网络的双网络深度学习,提取出旋转、透视、亮度变换无关的全局特征与局部特征,从而确保了基于移动智能终端非接触掌纹的身份认证的准确性。
以上给出的具体示例不应该视为对本发明的限制,而仅仅是一种实现方式,其他未明确指出的但是与本发明思路一致的具体方法均应该视为本发明的保护范围。
需要理解的是,本实施例中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本发明的创新部分,本实施例中并没有将与解决本发明所提出的技术问题关系不密切的单元引入,但这并不代表本实施例中不存在其它的单元。
需要指出,根据实施的需要,可将本申请中描述的各个步骤/模块拆分为更多步骤/模块,也可将两个或多个步骤/模块或者步骤/模块的部分操作组合成新的步骤/模块,以实现本发明的目的。
上述根据本发明的非接触掌纹身份认证方法的工作流程可在硬件、固件中实现,或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码,或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如,RAM、ROM、闪存等),当所述软件或计算机代码被计算机、处理器或硬件访问且执行时,实现在此描述的处理方法。此外,当通用计算机访问用于实现在此示出的处理的代码时,代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。

Claims (9)

1.一种非接触掌纹身份认证方法,其特征在于,包括如下步骤:
S1:获取训练样本图像和测试样本图像,所述训练样本图像和所述测试样本图像包括至少一组握拳的手掌图像和展开手掌的手掌图像;
S2:降低所述训练样本图像和所述测试样本图像的分辨率,提取所述训练样本图像和所述测试样本图像的ROI;
S3:对所述训练样本图像的ROI进行变换扩充所述训练样本图像的ROI;
S4:通过基于卷积神经网络的双网络深度学习,提取出所述训练样本图像的ROI中旋转、透视、亮度变换无关的全局特征与局部特征,根据所述测试样本图像与所述训练样本图像的全局特征与局部特征的相似度进行身份认证。
2.如权利要求1所述的非接触掌纹身份认证方法,其特征在于,步骤S2中提取所述训练样本图像和所述测试样本图像的ROI包括如下特征:
S21:获取所述握拳的手掌图像和所述展开手掌的手掌图像并转化成对应的灰度图像,同时把分辨率从1280*720降低至320*180;
S22:对所述灰度图像进行平滑处理,得到所述握拳的手掌图像的灰度图像和所述展开手掌的手掌图像的灰度图像的差分图像;
S23:对所述差分图像进行双阈值分割,得到掌纹预分割图像;
S24:利用所述掌纹预分割图像标记训练样本图像中的掌纹区域,并转换到YCbCr色度空间,建立基于训练样本图像的肤色模型;利用所述掌纹预分割图像标记所述测试样本图像中的掌纹区域,并转换到YCbCr色度空间,建立基于测试样本图像的肤色模型;将所述训练样本图像的肤色模型和所述测试样本图像的肤色模型的均值作为最终的肤色模型;
定义肤色相似度为:
Figure FDA0001646665140000011
其中Ps为最终的肤色模型,i表示当前测试样本中的像素索引,x=[Cb Cr]T表示训练样本和测试样本像素在YCbCr色度空间中的值;
对PS Simility进行双阈值分割,并采用形态学膨胀填补小的内部孔洞,得到测试样本图像的的掌纹分割图像;
S25:计算掌纹分割图像的重心,从重心出发,搜寻最大半径,确定最终的圆心与半径,并映射回展开手掌的手掌图像得到ROI。
3.如权利要求1所述的非接触掌纹身份认证方法,其特征在于,步骤S3中所述变换包括:
S31:对所述训练样本图像的ROI进行透视变换;
S32:对所述训练样本图像的ROI进行旋转变换;
S33:对所述训练样本图像的ROI进行背景消除和亮度变换。
4.如权利要求1所述的非接触掌纹身份认证方法,其特征在于,步骤S4包括如下步骤:
S41:对扩充后的所述训练样本图像的ROI提取全局特征;
S42:对扩充后的所述训练样本图像的ROI恢复分辨率,然后提取局部特征;
S43:对测试样本图像的ROI与训练样本图像的ROI的全部特征和局部特征对比进行身份认证。
5.如权利要求4所述的非接触掌纹身份认证方法,其特征在于,所述步骤S41包括如下步骤:
S411:采用网络结构在每一个卷积层并行使用至少一个卷积核提取特征,卷积层的激活映射为:
Figure FDA0001646665140000021
其中,W表示每个神经元的权重,b表示偏置,i表示卷积核序号,l表示层数;
S412:把所述网络结构的最后一个全连接层去除,添加一个间隙层;在所述间隙层对最后一个卷积层进行平均池化,如下所示:
Figure FDA0001646665140000022
其中,Hi(x,y)表示第i个激活单元在坐标(x,y)的值;
S413:在所述间隙层添加一个权重w来表达每个像素的分类表现力,最终的Softmax层表示为:
Figure FDA0001646665140000023
其中,
Figure FDA0001646665140000024
表示在全局特征下第c类的分类分数,
Figure FDA0001646665140000025
表示一个像素在第i层对第c类的表达力权重。
S414:获取权重w后,每个像素的分类表达力为:
Figure FDA0001646665140000031
6.如权利要求5所述的非接触掌纹身份认证方法,其特征在于,所述步骤S42包括:恢复扩充后的所述训练样本图像的ROI的分辨率到1280*720;并在恢复分辨率后的所述训练样本图像的ROI中取出表达力最强的至少一个像素,同时,将所述训练样本图像恢复分辨率到1280*720,映射得到所述训练样本图像中最具表达力的像素,以每个所述最具表达力的像素为中心取一个邻域;若所述领域中包含其他所述表达力最强的要素,不重复取领域。
7.如权利要求6所述的非接触掌纹身份认证方法,其特征在于,所述表达力最强的像素的数量和所述领域的大小由穷举法从实验得到。
8.如权利要求1所述的非接触掌纹身份认证方法,其特征在于,所述训练样本图像和所述测试样本图像的相似度定义为:
Figure FDA0001646665140000032
其中w代表权重,w∈[0,1],wA+wL=1,wA为全局特征,为局部特征,
Figure FDA0001646665140000033
为全局特征的相似度,
Figure FDA0001646665140000034
为局部特征的相似度。
9.如权利要求8所述的非接触掌纹身份认证方法,其特征在于,所述wA和wL通过穷举法从实验获得最佳权重。
CN201810405118.0A 2018-04-28 2018-04-28 一种非接触掌纹身份认证方法 Active CN108416338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810405118.0A CN108416338B (zh) 2018-04-28 2018-04-28 一种非接触掌纹身份认证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810405118.0A CN108416338B (zh) 2018-04-28 2018-04-28 一种非接触掌纹身份认证方法

Publications (2)

Publication Number Publication Date
CN108416338A CN108416338A (zh) 2018-08-17
CN108416338B true CN108416338B (zh) 2021-12-14

Family

ID=63137306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810405118.0A Active CN108416338B (zh) 2018-04-28 2018-04-28 一种非接触掌纹身份认证方法

Country Status (1)

Country Link
CN (1) CN108416338B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800677B (zh) * 2018-12-29 2021-11-02 掌握科技无锡有限公司 一种跨平台掌纹识别方法
CN110008871B (zh) * 2019-03-25 2020-12-11 清华大学深圳研究生院 一种掌纹识别方法及系统
CN110046588B (zh) * 2019-04-22 2019-11-01 吉林大学 一种具有盗取攻击应对机制的异质虹膜认证方法
CN110084170A (zh) * 2019-04-22 2019-08-02 Oppo广东移动通信有限公司 图像处理方法及相关装置
CN110287940B (zh) * 2019-07-03 2021-08-20 山东浪潮科学研究院有限公司 一种基于人工智能的掌纹识别方法及系统
CN111259757B (zh) * 2020-01-13 2023-06-20 支付宝实验室(新加坡)有限公司 一种基于图像的活体识别方法、装置及设备
CN111639562B (zh) * 2020-05-15 2023-06-20 圣点世纪科技股份有限公司 一种手掌感兴趣区域的智能定位方法
CN113515988B (zh) * 2020-07-09 2023-05-23 腾讯科技(深圳)有限公司 掌纹识别方法、特征提取模型训练方法、设备及介质
JP7425032B2 (ja) 2021-10-26 2024-01-30 ダイハツ工業株式会社 物体判定装置および物体判定システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196988A (zh) * 2007-12-25 2008-06-11 哈尔滨工业大学 三维掌纹身份鉴别系统的手掌定位及中心区提取方法
CN102184404A (zh) * 2011-04-29 2011-09-14 汉王科技股份有限公司 掌纹图像中手掌区域的获取方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8358336B2 (en) * 2008-07-25 2013-01-22 Handshot, Llc Frontal hand capture of fingerprints, palm prints and hand geometry using contactless photography
US10303865B2 (en) * 2016-08-31 2019-05-28 Redrock Biometrics, Inc. Blue/violet light touchless palm print identification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196988A (zh) * 2007-12-25 2008-06-11 哈尔滨工业大学 三维掌纹身份鉴别系统的手掌定位及中心区提取方法
CN102184404A (zh) * 2011-04-29 2011-09-14 汉王科技股份有限公司 掌纹图像中手掌区域的获取方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于掌纹的身份识别研究;赵晨光;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20141115;全文 *
基于深度学习的掌纹识别算法研究;赵丹丹;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20170215;全文 *
非接触式手掌识别;李军等;《中国科技信息》;20140215;全文 *
非接触掌纹图像增强与识别算法研究;刘点;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20170615;全文 *

Also Published As

Publication number Publication date
CN108416338A (zh) 2018-08-17

Similar Documents

Publication Publication Date Title
CN108416338B (zh) 一种非接触掌纹身份认证方法
Lin et al. Palmprint verification using hierarchical decomposition
Raja et al. Binarized statistical features for improved iris and periocular recognition in visible spectrum
Bakshi et al. A novel phase-intensive local pattern for periocular recognition under visible spectrum
US10922399B2 (en) Authentication verification using soft biometric traits
Heidari et al. Biometric authentication using a deep learning approach based on different level fusion of finger knuckle print and fingernail
Ungureanu et al. Unconstrained palmprint as a smartphone biometric
Alaslni et al. Transfer learning with convolutional neural networks for iris recognition
Kumar et al. Non-overlapped blockwise interpolated local binary pattern as periocular feature
Tiwari et al. A palmprint based recognition system for smartphone
Choras Multimodal biometrics for person authentication
Charfi Biometric recognition based on hand schape and palmprint modalities
Mehboob et al. Live fingerprint detection using magnitude of perceived spatial stimuli and local phase information
Estacio et al. A rotation invariant algorithm for bimodal hand vein recognition system
Ahmed et al. Intelligent techniques for matching palm vein images
Kim et al. Deep residual network-based recognition of finger wrinkles using smartphone camera
Holle et al. Local line binary pattern and Fuzzy K-NN for palm vein recognition
KR20140089277A (ko) Sift 특징점에 기반한 손가락 정맥 인증 방법
Chouhan et al. Analysis of statistical feature extraction for Iris Recognition System using Laplacian of Gaussian filter
Chan et al. A further study of low resolution androgenic hair patterns as a soft biometric trait
Hussein et al. The fundamentals of unimodal palmprint authentication based on a biometric system: a review
Palanikumar et al. Advanced palmprint recognition using unsharp masking and histogram equalization
Nirmal et al. Contactless fingerprint recognition and fingerprint spoof mitigation using CNN
Parihar et al. Palm vein recognition system for human authentication: A review
Xu et al. A novel IKP-based biometric recognition using mobile phone camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant