CN113901940B - 基于手掌温度信息的掌纹掌静脉动态融合识别方法及系统 - Google Patents
基于手掌温度信息的掌纹掌静脉动态融合识别方法及系统 Download PDFInfo
- Publication number
- CN113901940B CN113901940B CN202111229558.3A CN202111229558A CN113901940B CN 113901940 B CN113901940 B CN 113901940B CN 202111229558 A CN202111229558 A CN 202111229558A CN 113901940 B CN113901940 B CN 113901940B
- Authority
- CN
- China
- Prior art keywords
- palm
- vein
- matching
- palm vein
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000003462 vein Anatomy 0.000 title claims abstract description 172
- 230000004927 fusion Effects 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012163 sequencing technique Methods 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims description 18
- 238000012795 verification Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012790 confirmation Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000012706 support-vector machine Methods 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 210000004204 blood vessel Anatomy 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 235000010724 Wisteria floribunda Nutrition 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 101150049349 setA gene Proteins 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了基于手掌温度信息的掌纹掌静脉动态融合识别方法及系统,包括以下步骤:获得掌纹和掌静脉的感兴趣区域图像;采用嵌入网络从掌纹和掌静脉感兴趣区域图像提取掌纹特征和掌静脉特征,提取到的掌纹特征和掌静脉特征作为待匹配的样本;将待匹配的样本与所有存储的已注册样本依次组成匹配对,并获取掌纹匹配分数和掌静脉匹配分数的匹配对的匹配分数,对于匹配分数进行排序,分别得到用于融合识别的掌纹和掌静脉的最大匹配分数;利用各匹配对的温度差求取掌纹和掌静脉动态融合权重,根据得到的动态融合权重将掌纹和掌静脉最大匹配分数进行融合,得到最终的匹配分数,根据最终的匹配分数输出识别结果。
Description
技术领域
本发明涉及生物特征识别技术领域,具体涉及基于手掌温度信息的掌纹掌静脉动态融合识别方法及系统。
背景技术
掌纹和掌静脉生物特征相比常见的指纹、指静脉等特征,具有特征区域大、纹理信息丰富、安全性高及鲁棒性强等特点,因此在近几年也受到了越来越多的关注。尤其是掌纹掌静脉的模态融合识别,能够兼顾掌纹与掌静脉特征的优点,大大提高防伪能力和识别性能,然而目前掌纹掌静脉融合识别时,掌静脉识别精度易受到环境温度的影响,在同样的采集条件下不同温度的掌静脉图像之间有一定的区别,如图1所示,图1a和图1b分别为常温与低温掌静脉成像对比图。环境温度对掌静脉的影响过程为:外界环境温度降低,导致体温降低;而手部由于处于血液流出的末端,其吸收到的热能小,导致手部的温度相对来说更易降低;手掌温度降低后,手掌浅层表面的血管收缩,皮肤血流量减少,以减少体热散失;手掌浅层表面血管收缩,血液流量减少,血液中的血红蛋白浓度降低,导致850nm波长的光源被血管吸收的量减少;被血管吸收的光减少,因此图像传感器接收到的图像中,手掌浅层血管区域就不会呈现明显的暗光区域,导致掌静脉纹路被弱化,从而影响后续的特征提取和特征匹配,降低掌静脉识别算法的精度,也降低了掌纹掌静脉融合识别算法的性能,限制了掌纹掌静脉算法在实际应用场景中的部署。
2003年日本富士通着手研发掌静脉识别相关技术,并在此后几年内迅速将该理论成熟化和产品化,陆续推出了Palm Secure非接触式掌静脉识别仪等系列识别产品并在日本多家银行和企业得到广泛应用,富士通最新的非接触式掌静脉模块为PalmSecure-FPro。
研究温度对掌静脉的影响需要在采集图像的同时采集手掌温度,首先对掌纹掌静脉进行成像需要特定波长的光源,掌纹和掌静脉成像分别需要波长为400nm左右和850nm左右的光源,因此需要将手放置在光源照射到的地方才能够成像。除此之外,现有的掌纹掌静脉识别设备和算法设计没有考虑环境温度带来的掌静脉成像差异,降低了掌静脉识别算法的识别精度,限制掌静脉识别算法在实际场景应用的部署。
发明内容
针对上述存在的问题,本发明提出一种基于手掌温度信息的掌纹掌静脉动态融合识别方法及系统,通过手掌温度信息动态调整掌纹掌静脉融合识别时的融合权重,实现掌纹掌静脉融合识别算法抗环境温度变化的方法,方法过程清晰,识别算法具有高精度和对环境温度变化鲁棒等优点,能够提升算法在实际场景的应用部署能力。
本发明至少通过如下技术方案之一实现。
基于手掌温度信息的掌纹掌静脉动态融合识别方法,包括以下步骤:
第一步、截取掌纹图像和掌静脉图像进行感兴趣区域,获得掌纹和掌静脉的感兴趣区域图像;
第二步、采用嵌入网络从掌纹和掌静脉感兴趣区域图像提取掌纹特征和掌静脉特征,提取到的掌纹特征和掌静脉特征作为待匹配的样本;
第三步、将待匹配的样本与所有存储的已注册样本依次组成匹配对,并获取掌纹匹配分数和掌静脉匹配分数的匹配对的匹配分数,对于匹配分数进行排序,分别得到用于融合识别的掌纹和掌静脉的最大匹配分数;
第四步、利用各匹配对的温度差求取掌纹和掌静脉动态融合权重,根据得到的动态融合权重将掌纹和掌静脉最大匹配分数进行融合,得到最终的匹配分数,根据最终的匹配分数输出识别结果。
优选地,所述嵌入网络为深度卷积网络模型EfficientNet,所述深度卷积网络模型通过网络架构搜索来提供优化的网络尺寸参数组合,并将网络尺寸变化的问题转化为优化问题,通过网格搜索的方法进行优化。
优选地,所述深度卷积网络模型的主要模块是结合挤激(squeeze-and-excitation,SE)方式优化的移动倒置瓶颈卷积(mobile inverted bottleneck MBConv)模块。
优选地,所述嵌入网络包括掌纹特征提取网络Fpp和掌静脉特征提取网络Fpv,将掌纹图像xpp、掌静脉图像xpv分别通过掌纹特征提取网络Fpp和掌静脉特征提取网络Fpv进行处理后,得到掌纹特征bpp和掌静脉特征bpv,提取掌纹特征和掌静脉特征为:
b=F(x) (1)
其中b表示基础特征,F(x)表示嵌入网络,x是掌纹图像或掌静脉图像。
优选地,获取各匹配对掌纹匹配分数和掌静脉匹配分数时,将注册样本特征集记为(bj pp,bj pv),j=1…N,其中N为注册样本的数量;将第i个待匹配掌纹图像xi pp、掌静脉图像xi pv通过掌纹特征提取网络Fpp和掌静脉特征提取网络Fpv得到的掌纹特征和掌静脉特征记为待匹配样本(bi pp,bj pv),掌纹匹配分数公式为:
si,j pp=distance(bi pp,bj pp),i,j=1…N
其中bi pp表示待匹配样本的掌纹特征,bj pp表示已注册样本的掌纹特征,distance()为距离度量函数;
掌静脉匹配分数公式为:
si,j pv=distance(bi pv,bj pv),i,j=1…N
其中bi pv表示待匹配样本的掌静脉特征,bj pv表示已注册样本的掌静脉特征。
优选地,掌纹和掌静脉匹配分数通过动态融合权重w进行融合得到各匹配对的匹配分数si,j:
si,j=w×si,j pp+(1-w)×si,j pv,i,j=1…N (2)。
优选地,所述动态融合权重w与温度差ΔT存在相互映射关系:
w=f(ΔT) (3)
用户进行注册时,注册样本的手掌温度视为常温T0,用户进行识别时,待匹配样本的手掌温度为T1,则温度差ΔT为:
ΔT=T0-T1 (4)
其中T0为用户进行注册时注册样本的手掌温度,T1为用户进行识别时,待匹配样本的手掌温度;当环境温度变化,当待匹配样本手掌温度接近常温时,在进行掌纹和掌静脉融合时增加掌静脉的融合权重、降低掌纹的融合权重;当ΔT增大时,在掌纹和掌静脉融合时增加掌纹的融合权重、降低掌静脉的融合权重。
优选地,所述映射关系通过以下方式求取:
将第三步的掌纹掌静脉数据集划分成训练集、验证集和测试集,映射关系f()在验证集上进行求取:首先遍历验证集中的所有匹配对,使用网格搜索法求取使得等误率EER最小的最优拒识阈值m:
minw,m(EER),i,j=1…N (5)
其中N为注册样本的数量;对于验证集中的所有匹配对,当匹配对的匹配分数si,j>m时,将该匹配对称为正样本对,正样本对的匹配分数记为sp,正样本对的标签记为y=1;当匹配对的匹配分数si,j<m时,将该匹配对称为负样本对,负样本对的匹配分数记为sn,负样本对的标签记为y=-1,对于验证集的各匹配对,均存在最优容许权重且对于正样本对,存在正样本最优容许融合权重/>使得正样本对满足式(6);对于负样本对,存在负样本最优容许融合权重/>使得负样本对满足式(7):
其中si,j pp表示掌纹匹配分数,si,j pv表示掌静脉匹配分数;
对验证集所有匹配对创建总样本点集其中ΔTi,j为匹配对温度差,yi,j为该匹配对对应的标签,以样本标签和最优容许权重将总样本点集进行划分为正样本点集/>和负样本点集其中N=Np+Nn,Np为正样本的数量,Nn为负样本的数量;
对于总样本点集,存在动态融合权重w满足:
即
其中f(ΔT)是总样本点集的最优分界面,采用支持向量机对样本点集的最优分界面进行求解,通过得到的分界面方程获得动态融合权重w与温度差ΔT之间的映射关系。
优选地,正样本最优容许融合权重和负样本最优容许融合权重为:
所述的基于手掌温度信息的掌纹掌静脉动态融合识别方法的系统,包括注册模块、采集模块、识别模块和删除模块;
所述采集模块用于采集掌纹图像、掌静脉图像和手掌温度信息;
所述注册模块在待机状态下,用户点击触摸屏上的注册按键进入注册模式,进入注册模式后,用户首先需要输入自己的用户名,点击确认后进入采集状态,通过嵌入式网络对采集到的掌纹图像和掌静脉图像进行特征提取,得到注册用户的掌纹特征和掌静脉特征,即注册样本,再将掌纹特征、掌静脉特征和采集到的手掌温度信息存储到数据库,完成用户注册;
所述识别模块,当用户将手掌以自然张开状态进入图像采集区域后,自动进入识别状态,在手掌运动过程中,系首先自动采集掌纹图像、掌静脉图像和手掌温度信息,再基于手掌温度信息的掌纹掌静脉动态融合识别方法,最后将识别结果显示到触摸屏上;
所述删除模块,在待机状态下,用户点击触摸屏上的删除按键进入删除模式,进入删除模式后输入待删除的用户名,点击触摸屏上的确认按键后将指定用户的所有数据从数据库中删除。
相对于现有技术,本发明具有如下有益效果:
基于手掌温度信息,通过动态调整掌纹特征和掌静脉特征的融合权重实现不同手掌温度下的掌纹掌静脉融合识别,可抗手掌温度变化,并通过实验对系统进行了有效地验证和测试,克服环境温度对掌静脉特征的影响,提高掌纹掌静脉融合识别算法识别精度,增强算法对环境温度变化的鲁棒性和在实际场景的应用部署能力,提升识别系统的性能。能够在不同环境温度下达到较好的识别效果,防止了花费大量研究时间制作出的掌静脉识别设备在环境温度变化后无法使用的问题。
附图说明
图1为本发明常温与低温掌静脉成像对比图;
图2为本发明系统状态机流程图;
图3为本发明样本点集示意图;
图4为本发明SVM最佳分类面图。
具体实施方式
以下结合附图对本发明的具体实施作进一步说明。为表达的更简洁清晰,在下列描述当中,不详细描述公知的功能和结构,以凸显本发明的优势和特征。
所述基于手掌温度信息的掌纹掌静脉动态融合识别方法,包括如下步骤:
第一步、对掌纹图像和掌静脉图像进行感兴趣区域截取获得掌纹和掌静脉的感兴趣区域图像;
第二步、采用嵌入网络从掌纹和掌静脉感兴趣区域图像提取掌纹特征和掌静脉特征,提取到的掌纹特征和掌静脉特征作为待匹配的样本;
第三步、将待匹配的样本与所有的存储的已注册样本依次组成匹配对,并计算各匹配对掌纹匹配分数和掌静脉匹配分数,对于匹配分数进行排序,分别得到掌纹和掌静脉的最大匹配分数用于融合识别;
第四步、利用各匹配对的温度差求取掌纹掌静脉动态融合权重,根据得到的动态融合权重进行掌纹掌静脉最大匹配分数进行融合得到最终的匹配分数,根据该匹配分数给出识别结果。
所述嵌入网络使用深度卷积网络模型EfficientNet,EfficientNet通过网络架构搜索(NAS)来提供优化的网络尺寸参数组合,并将网络尺度变化的问题转化为一个优化问题,通过网格搜索的方法来解决。该网络的主要区块是mobile inverted bottleneck(MBConv)结合了squeeze-and-excitation(SE)优化。嵌入网络F被用来提取基础特征b:
b=F(x) (1)
其中x是掌纹图像或掌静脉图像,掌纹特征和掌静脉特征提取是指将掌纹图像xpp、掌静脉图像xpv分别通过掌纹特征提取网络Fpp和掌静脉特征提取网络Fpv进行处理后,得到掌纹特征bpp和掌静脉特征bpv。
所述计算各匹配对掌纹匹配分数和掌静脉匹配分数时,将注册样本特征集记为(bj pp,bj pv)(j=1…N),其中N为注册样本的数量;将第i个待匹配掌纹图像xi pp、掌静脉图像xi pv通过掌纹特征提取网络Fpp和掌静脉特征提取网络Fpv得到的掌纹特征和掌静脉特征记为待匹配样本(bi pp,bj pv)。将待匹配样本和已注册样本的掌纹特征bi pp,bj pp、掌静脉特征bi pv,bj pv分别计算掌纹匹配分数si,j pp=distance(bi pp,bj pp)和掌静脉匹配分数si,j pv=distance(bi pv,bj pv),(i,j=1…N),其中distance()为距离度量函数,该距离一般采用余弦距离。
所述掌纹和掌静脉匹配分数通过动态融合权重w按照式(2)进行融合得到各匹配对的匹配分数si,j:
si,j=w×si,j pp+(1-w)×si,j pv,i,j=1…N (2)
将用户进行注册时,即注册样本的手掌温度视为常温T0,当系统被放置在地铁、机场、火车站闸机等环境温度不可控的场所进行掌纹掌静脉融合识别时,受环境温度影响,用户进行识别时,即待匹配样本的手掌温度为T1,温度差定义如式(3):
ΔT=T0-T1 (3)
当环境温度变化,用户进行掌纹掌静脉识别时手掌温度相应变化,掌纹和掌静脉成像存在差异,因此当待匹配样本手掌温度接近常温时,ΔT较小,则在进行掌纹和掌静脉融合时应增加掌静脉的融合权重、降低掌纹的融合权重;当待匹配样本手掌温度较低时,ΔT较大,在掌纹和掌静脉融合时应增加掌纹的融合权重、降低掌静脉的融合权重。可见式(1)中的动态融合权重w与ΔT存在相互映射关系f()使得:
w=f(ΔT) (4)
所述映射关系f()可以通过下述方式求取:
根据训练过程将掌纹掌静脉数据集划分成训练集、验证集和测试集,其中训练集用于训练模型训练,验证集用于选取模型的超参数,测试集用于测试模型的性能。映射关系f()在验证集上进行求取。首先遍历验证集中的所有匹配对,使用网格搜索法求取使得等误率EER最小的最优拒识阈值m:
minw,m(EER),i,j=1…N (5)
对于验证集中的所有匹配对,当匹配对计算的匹配分数si,j>m时,将该匹配对称为正样本对,正样本对的匹配分数记为sp,正样本对的标签记为y=1;当匹配对计算的匹配分数si,j<m时,将该匹配对称为负样本对,负样本对的匹配分数记为sn,负样本对的标签记为y=-1,因此对于验证集的各匹配对,均存在最优容许权重且对于正样本对,存在正样本最优容许融合权重/>使得正样本对满足式(6);对于负样本对,存在负样本最优容许融合权重/>使得负样本对满足式(7)。
则权重可通过式(8)计算,/>通过式(9)计算得到。
因此对验证集所有匹配对可以创建总样本点集 其中ΔTi,j为匹配对温度差,yi,j为该匹配对对应的标签,取值为1或-1,以样本标签和最优容许权重将总样本点集进行划分为正样本点集/>和负样本点集/>如图3所示,其中N=Np+Nn,Np为正样本的数量,Nn为负样本的数量。
可见对于总样本点集,存在动态融合权重w满足:
即
其中f(ΔT)是样本点集的最优分界面,如图4所示,采用支持向量机(Support Vector Machine,SVM)对样本点集的最优分界面进行求解,得到的分界面方程f svm()=f(),获得动态融合权重w与温度差ΔT之间的映射关系。
本发明提出的系统采用状态机设计模式管理系统的运行,规定了系统的不同状态以及在这些状态之间的转换条件,状态机流程图如图2所示,各系统以及转换条件如下:
待机状态:系统开机后默认运行在待机状态,并实时监测是否有手掌通过图像采集区域,触摸屏显示在主页模式且无识别结果。
注册状态:在待机状态下,用户点击触摸屏上的注册按键进入注册模式,进入注册模式后,用户首先需要输入自己的用户名,点击确认后进入采集状态,通过嵌入式网络对采集到的掌纹图像和掌静脉图像进行特征提取,得到注册用户的掌纹特征和掌静脉特征,即注册样本,再将掌纹特征、掌静脉特征和采集到的手掌温度信息存储到数据库,完成用户注册。
采集状态:在采集状态下,用户需要按照触摸屏显示的提示,首先完成掌纹图像、掌静脉图像和手掌温度信息的自动采集。
删除状态:在待机状态下,用户点击触摸屏上的删除按键进入删除模式,进入删除模式后输入待删除的用户名,点击触摸屏上的确认按键后就可以将指定用户的所有数据从数据库中删除。
识别状态:当用户将手掌以自然张开状态在系统上方运动且进入图像采集区域后,系统自动进入识别状态。在手掌运动过程中,系统首先自动采集掌纹图像、掌静脉图像和手掌温度信息,再由系统运行基于手掌温度信息的掌纹掌静脉动态融合识别算法,最后将识别结果显示到触摸屏上。
现有技术在进行掌纹和掌静脉特征融合识别时没有考虑到环境温度对于掌静脉特征的影响,本发明在温度变化时使用动态权重实现掌纹掌静脉融合识别。在环境低温下降低掌静脉的融合权重,提高环境温度变化时系统的识别精度和鲁棒性。不考虑温度变化时掌静脉特征的变化,在各种温度下均使用固定的权重进行掌纹掌静脉融合识别。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (7)
1.一种基于手掌温度信息的掌纹掌静脉动态融合识别方法,其特征在于:包括以下步骤:
第一步、截取掌纹图像和掌静脉图像进行感兴趣区域,获得掌纹和掌静脉的感兴趣区域图像;
第二步、采用嵌入网络从掌纹和掌静脉感兴趣区域图像提取掌纹特征和掌静脉特征,提取到的掌纹特征和掌静脉特征作为待匹配的样本;
第三步、将待匹配的样本与所有存储的已注册样本依次组成匹配对,并获取掌纹匹配分数和掌静脉匹配分数的匹配对的匹配分数,对于匹配分数进行排序,分别得到用于融合识别的掌纹和掌静脉的最大匹配分数;
第四步、利用各匹配对的温度差求取掌纹和掌静脉动态融合权重,根据得到的动态融合权重将掌纹和掌静脉最大匹配分数进行融合,得到最终的匹配分数,根据最终的匹配分数输出识别结果;
获取各匹配对掌纹匹配分数和掌静脉匹配分数时,将注册样本特征集记为(bj pp,bj pv),j=1…N,其中N为注册样本的数量;将第i个待匹配掌纹图像xi pp、掌静脉图像xi pv通过掌纹特征提取网络Fpp和掌静脉特征提取网络Fpv得到的掌纹特征和掌静脉特征记为待匹配样本(bi pp,bj pv),掌纹匹配分数公式为:
si,j pp=distance(bi pp,bj pp),i,j=1…N
其中bi pp表示待匹配样本的掌纹特征,bj pp表示已注册样本的掌纹特征,distance()为距离度量函数;
掌静脉匹配分数公式为:
si,j pv=distance(bi pv,bj pv),i,j=1…N
其中bi pv表示待匹配样本的掌静脉特征,bj pv表示已注册样本的掌静脉特征;
掌纹和掌静脉匹配分数通过动态融合权重w进行融合得到各匹配对的匹配分数si,j:
si,j=w×si,j pp+(1-w)×si,j pv,i,j=1…N (2);
所述动态融合权重w与温度差ΔT存在相互映射关系:
w=f(ΔT) (3)
用户进行注册时,注册样本的手掌温度视为常温T0,用户进行识别时,待匹配样本的手掌温度为T1,则温度差ΔT为:
ΔT=T0-T1 (4)
其中T0为用户进行注册时注册样本的手掌温度,T1为用户进行识别时,待匹配样本的手掌温度;当环境温度变化,当待匹配样本手掌温度接近常温时,在进行掌纹和掌静脉融合时增加掌静脉的融合权重、降低掌纹的融合权重;当ΔT增大时,在掌纹和掌静脉融合时增加掌纹的融合权重、降低掌静脉的融合权重。
2.根据权利要求1所述的基于手掌温度信息的掌纹掌静脉动态融合识别方法,其特征在于:所述嵌入网络为深度卷积网络模型EfficientNet,所述深度卷积网络模型通过网络架构搜索来提供优化的网络尺寸参数组合,并将网络尺寸变化的问题转化为优化问题,通过网格搜索的方法进行优化。
3.根据权利要求2所述的基于手掌温度信息的掌纹掌静脉动态融合识别方法,其特征在于:所述深度卷积网络模型的主要模块是结合挤激(squeeze-and-excitation,SE)方式优化的移动倒置瓶颈卷积(mobile inverted bottleneck MBConv)模块。
4.根据权利要求1所述的基于手掌温度信息的掌纹掌静脉动态融合识别方法,其特征在于:所述嵌入网络包括掌纹特征提取网络Fpp和掌静脉特征提取网络Fpv,将掌纹图像xpp、掌静脉图像xpv分别通过掌纹特征提取网络Fpp和掌静脉特征提取网络Fpv进行处理后,得到掌纹特征bpp和掌静脉特征bpv,提取掌纹特征和掌静脉特征为:
b=F(x) (1)
其中b表示基础特征,F(x)表示嵌入网络,x是掌纹图像或掌静脉图像。
5.根据权利要求1所述的基于手掌温度信息的掌纹掌静脉动态融合识别方法,其特征在于:所述映射关系通过以下方式求取:
将第三步的掌纹掌静脉数据集划分成训练集、验证集和测试集,映射关系f()在验证集上进行求取:首先遍历验证集中的所有匹配对,使用网格搜索法求取使得等误率EER最小的最优拒识阈值m:
minw,m(EER),i,j=1…N (5)
其中N为注册样本的数量;对于验证集中的所有匹配对,当匹配对的匹配分数si,j>m时,将该匹配对称为正样本对,正样本对的匹配分数记为sp,正样本对的标签记为y=1;当匹配对的匹配分数si,j<m时,将该匹配对称为负样本对,负样本对的匹配分数记为sn,负样本对的标签记为y=-1,对于验证集的各匹配对,均存在最优容许权重且对于正样本对,存在正样本最优容许融合权重/>使得正样本对满足式(6);对于负样本对,存在负样本最优容许融合权重/>使得负样本对满足式(7):
其中si,j pp表示掌纹匹配分数,si,j pv表示掌静脉匹配分数;
对验证集所有匹配对创建总样本点集其中ΔTi,j为匹配对温度差,yi,j为该匹配对对应的标签,以样本标签和最优容许权重将总样本点集进行划分为正样本点集/>和负样本点集其中N=Np+Nn,Np为正样本的数量,Nn为负样本的数量;
对于总样本点集,存在动态融合权重w满足:
即
其中f(ΔT)是总样本点集的最优分界面,采用支持向量机对样本点集的最优分界面进行求解,通过得到的分界面方程获得动态融合权重w与温度差ΔT之间的映射关系。
6.根据权利要求5所述的基于手掌温度信息的掌纹掌静脉动态融合识别方法,其特征在于:正样本最优容许融合权重和负样本最优容许融合权重为:
7.实现权利要求1所述的一种基于手掌温度信息的掌纹掌静脉动态融合识别方法的系统,其特征在于:包括注册模块、采集模块、识别模块和删除模块;
所述采集模块用于采集掌纹图像、掌静脉图像和手掌温度信息;
所述注册模块在待机状态下,用户点击触摸屏上的注册按键进入注册模式,进入注册模式后,用户首先需要输入自己的用户名,点击确认后进入采集状态,通过嵌入式网络对采集到的掌纹图像和掌静脉图像进行特征提取,得到注册用户的掌纹特征和掌静脉特征,即注册样本,再将掌纹特征、掌静脉特征和采集到的手掌温度信息存储到数据库,完成用户注册;
所述识别模块,当用户将手掌以自然张开状态进入图像采集区域后,自动进入识别状态,在手掌运动过程中,系首先自动采集掌纹图像、掌静脉图像和手掌温度信息,再基于手掌温度信息的掌纹掌静脉动态融合识别方法,最后将识别结果显示到触摸屏上;
所述删除模块,在待机状态下,用户点击触摸屏上的删除按键进入删除模式,进入删除模式后输入待删除的用户名,点击触摸屏上的确认按键后将指定用户的所有数据从数据库中删除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111229558.3A CN113901940B (zh) | 2021-10-21 | 2021-10-21 | 基于手掌温度信息的掌纹掌静脉动态融合识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111229558.3A CN113901940B (zh) | 2021-10-21 | 2021-10-21 | 基于手掌温度信息的掌纹掌静脉动态融合识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113901940A CN113901940A (zh) | 2022-01-07 |
CN113901940B true CN113901940B (zh) | 2024-03-19 |
Family
ID=79025877
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111229558.3A Active CN113901940B (zh) | 2021-10-21 | 2021-10-21 | 基于手掌温度信息的掌纹掌静脉动态融合识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113901940B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116363712B (zh) * | 2023-03-21 | 2023-10-31 | 中国矿业大学 | 一种基于模态信息度评估策略的掌纹掌静脉识别方法 |
CN117350737A (zh) * | 2023-11-29 | 2024-01-05 | 深圳市盛思达通讯技术有限公司 | 一种基于掌纹识别的支付方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107122700A (zh) * | 2017-03-02 | 2017-09-01 | 华南理工大学 | 一种基于视频的掌纹掌脉联合注册和识别方法 |
CN110097006A (zh) * | 2019-04-30 | 2019-08-06 | 河海大学常州校区 | 一种基于手部掌纹掌脉特征融合的非接触式生物识别方法 |
CN110443146A (zh) * | 2019-07-09 | 2019-11-12 | 一脉通(深圳)智能科技有限公司 | 基于生物识别的身份验证方法、装置、设备及可读介质 |
CN111738076A (zh) * | 2020-05-18 | 2020-10-02 | 山东大学 | 一种非接触式的掌纹掌静脉识别方法及装置 |
-
2021
- 2021-10-21 CN CN202111229558.3A patent/CN113901940B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107122700A (zh) * | 2017-03-02 | 2017-09-01 | 华南理工大学 | 一种基于视频的掌纹掌脉联合注册和识别方法 |
CN110097006A (zh) * | 2019-04-30 | 2019-08-06 | 河海大学常州校区 | 一种基于手部掌纹掌脉特征融合的非接触式生物识别方法 |
CN110443146A (zh) * | 2019-07-09 | 2019-11-12 | 一脉通(深圳)智能科技有限公司 | 基于生物识别的身份验证方法、装置、设备及可读介质 |
CN111738076A (zh) * | 2020-05-18 | 2020-10-02 | 山东大学 | 一种非接触式的掌纹掌静脉识别方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113901940A (zh) | 2022-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Balakrishnan et al. | An embarking user friendly palmprint biometric recognition system with topnotch security | |
CN113901940B (zh) | 基于手掌温度信息的掌纹掌静脉动态融合识别方法及系统 | |
CN111783902B (zh) | 数据增广、业务处理方法、装置、计算机设备和存储介质 | |
Yüksel et al. | Biometric identification through hand vein patterns | |
CN105740779A (zh) | 人脸活体检测的方法和装置 | |
CN107392187A (zh) | 一种基于梯度方向直方图的人脸活体检测方法 | |
CN107832736A (zh) | 实时人体动作的识别方法和实时人体动作的识别装置 | |
CN113506274B (zh) | 基于视觉显著性差异图的用于人体认知状况的检测系统 | |
Al Jibory et al. | Age estimation utilizing deep learning Convolutional Neural Network | |
CN105354468A (zh) | 一种基于多轴力平台步态分析的用户身份识别方法 | |
CN116631068A (zh) | 一种基于深度学习特征融合的掌静脉活体检测方法 | |
Kadhim et al. | A multimodal biometric database and case study for face recognition based deep learning | |
Pandey et al. | Survey on finger vein recognition using convolutional neural network | |
Yang et al. | Person authentication using finger snapping—a new biometric trait | |
CN113705443A (zh) | 综合利用知识图谱和深度残差网络的掌纹图像识别方法 | |
Zhang et al. | An efficient joint bayesian model with soft biometric traits for finger vein recognition | |
Gupta | Advances in multi modal biometric systems: a brief review | |
Walczak et al. | Application of artificial neural networks in the human identification based on thermal image of hands | |
Liu et al. | A new gait recognition method using kinect via deterministic learning | |
Shende et al. | Soft computing approach for feature extraction of palm biometric | |
Balamurugan et al. | An efficient real time face expression identification system using SVM | |
Li et al. | Interaction method based on visual gesture recognition | |
WO2024041524A1 (zh) | 一种头皮头发检测方法、系统和设备 | |
Chaczko et al. | An overview of multi-layer security system using biometrics | |
Feng et al. | Personal authentication using a kinect sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |