CN112183504A - 一种基于非接触式手掌静脉图像的视频注册方法及装置 - Google Patents
一种基于非接触式手掌静脉图像的视频注册方法及装置 Download PDFInfo
- Publication number
- CN112183504A CN112183504A CN202011358877.XA CN202011358877A CN112183504A CN 112183504 A CN112183504 A CN 112183504A CN 202011358877 A CN202011358877 A CN 202011358877A CN 112183504 A CN112183504 A CN 112183504A
- Authority
- CN
- China
- Prior art keywords
- palm
- template
- templates
- training
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/11—Hand-related biometrics; Hand pose recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
Abstract
本发明涉及一种基于非接触式手掌静脉图像的视频注册方法及装置,所述的视频注册方法包括以下步骤:1)使用非接触设备采集时长为t秒的手掌静脉视频;2)定位手掌和手掌ROI位置并裁剪对应图像;3)对手掌区域A进行手掌异常检测;4)对手掌ROI区域B进行成像质量判断;5)提取手掌ROI区域B的512维特征向量;6)计算相邻两个一级模板间的余弦相似度;7)比较t秒视频结束后采集到的一级模板的数量与阈值M的大小;8)基于改进的K‑Means聚类算法,并根据最大化模板类内差异对所有一级模板进行筛选。本发明涉及的视频注册方法在注册阶段,对手掌区域进行手掌异常检测,能够有效预防有遮挡的掌静脉注册,极大提升掌静脉注册的安全性。
Description
技术领域
本发明属于生物特征识别与信息安全技术领域,尤其涉及一种基于非接触式手掌静脉图像的视频注册方法及装置。
背景技术
手掌静脉是体内一种稳定、唯一、丰富的生物活体特征,本身具有防伪特性。用掌静脉特征进行生物识别,具有很高的安全性。
随着掌静脉识别技术的研究与应用,该项技术对安全性能要求高,且应用环境复杂,不乏存在一些恶意攻击者,让异常情况下的手掌静脉进行掌静脉注册,若注册成功,容易和恶意攻击者发生误识别,从而泄露账户导致财产损失等不良后果;异常情况有:带有多种手套,受伤有包扎,有大面积污渍,手掌ROI不完整等多种情况。所以提升掌静脉注册时的安全性和识别率,都是重要的研究内容。
目前,掌静脉图像的注册方法中关于异常情况的检测内容很少;相比之下,指静脉、人脸注册等情况中提到异常检测较多;一般分为两大类:一类基于灰度、纹理等特征;该类对于环境光照等外部因素稳定性要求较高。另一类基于神经网络特征进行分类的;该类对于多种异常情况有较好的泛化性能,鲁棒性较强。关于静脉注册的内容如公开号为CN107657209A的中国专利公开的一种基于手指静脉图像质量的模板图像注册机制,提出了基于图像质量判断的注册机制,提出了只有同时满足三个判决条件的图像,方可在数据库中注册:一是判决是否为曝光过度或不足的图像;二是判决是否为静脉清晰但静脉稀疏的图像;三是判决是否为静脉图像模糊不清晰的图像,进而剔除不合格图像。
但上述专利并没有对手掌异常进行检测,对于识别率还有提升空间。
发明内容
本发明所要解决的技术问题提供一种基于非接触式手掌静脉图像的视频注册方法及装置,以解决掌静脉注册无法进行手掌异常检测以及识别率低的问题。
为了解决上述技术问题,本发明提供的技术方案为:
本发明涉及一种基于非接触式手掌静脉的视频注册方法,其包括以下步骤:
1)使用非接触设备采集时长为t秒的手掌静脉视频;
2)定位手掌和手掌ROI位置并裁剪对应图像,分别记为手掌区域A和手掌ROI区域B;
3)对手掌区域A进行手掌异常检测,输出检测结果,若检测结果为异常,返回步骤2),若检测结果为正常,进入步骤4);
4)对手掌ROI区域B进行成像质量判断,输出判断结果,若判断结果为不合格,返回步骤2),若判断结果为合格,进入步骤5);
5)对手掌ROI进行预处理,提取手掌ROI区域B的512维特征向量并将其保存为1个一级模板;
6)重复步骤2)~5),每隔2帧定位一次,进而提取若干一级模板,设置模板间的余弦相似度阈值T3,并计算相邻两个一级模板间的余弦相似度,若计算所得的余弦相似度大于等于余弦相似度阈值T3,则进入下一步继续注册,反之,注册失败,结束本次注册;
7)设置一级模板数量阈值M,比较t秒视频结束后采集到的一级模板的数量与阈值M的大小,若采集到的一级模板的数量大于或等于阈值M,进入步骤8),反之,则注册失败,结束本次注册;
8)改进K-Means聚类算法,基于改进的K-Means聚类算法,并根据最大化模板类内差异对所有一级模板进行筛选,得到k个二级模板,然后将k个二级模板融合成一个三级的注册模板,登记到模板数据库,注册成功。
优选地,所述步骤2)中,定位手掌和手掌ROI区域使用的是基于深度学习的目标检测神经网络 YOLOv5训练的目标检测模型model1,训练方法如下:
2.1) 采集训练样本:训练样本是多环境下的手掌静脉图像;
2.2)给训练样本打标签:使用标图工具LabelImage标注出每张训练样本中的手掌和手掌ROI区域的位置,生成对应的标注xml文件;
2.3)初始化训练超参数;
2.4)开始训练:基于tensorflow框架,设置训练数据的路径,开始训练;
2.5)训练结束:等到训练loss收敛且趋于稳定,选择其中一个准确率较高的模型,即为深度学习的目标检测神经网络 YOLOv5训练的目标检测模型model1。
优选地,所述步骤3)中,手掌异常检测的模型为基于VGG16网络训练好的二分类模型,基于VGG16网络的二分类模型的训练方法:
3.1) 采集训练正样本:正样本是多种灯光环境下的正常的手掌静脉图像;
3.2)采集训练负样本:负样本是采集的多种异常手掌,包括手上戴有手套和手掌有遮挡物等;
3.3)初始化训练超参数;
3.4)开始训练:基于tensorflow框架,选择VGG16网络和交叉熵损失函数,设置训练数据的路径,开始训练;
3.5)训练结束:待训练loss趋于0收敛且稳定,选择其中一个准确率较高的模型,作为手掌异常检测的二分类模型。
优选地,所述的步骤4)中,对手掌ROI区域B进行成像质量判断包括对曝光度和清晰度的判断。
优选地,所述的曝光度的计算公式为:
n是图像的像素总数,是图像种第个灰度级的像素总数,是第个灰度级,=0,
1,2,…L-1;L=256;是第个灰度级在图像整个灰度级的出现的概率;是最大的
灰度级的概率,即像素最多的概率;T1是曝光度阈值;
所述的清晰度计算公式为:
是待计算清晰度的输入手掌ROI图像,是卷积之后的输出图
像,i、j分别表示图像中像素的行列索引,m、n分别表示图像的高和宽,0<i<=m,0<j<=n,i和j
都是整数;即为图像的清晰度,该清晰度是0~1之间的浮点数,数值越
大越清晰;反之,越模糊;T2是清晰度阈值。
优选地,所述的步骤5)中,手掌ROI预处理包括高斯去噪,引导滤波增强;提取512维特征向量的方法是:调用基于深度学习训练好的掌静脉特征提取模型,进行特征提取,得到512维特征向量。
优选地,所述的步骤6)中,相邻两个一级模板间的余弦相似度的计算公式为:
本步骤中通过计算该相似度,预防视频注册过程中的换手行为,提高了注册的安全性。
优选地,所述的步骤8)中,根据最大化模板类内差异对一级模板进行筛选的方法是基于改进的K-Means聚类对所有一级模板进行聚类,k为聚类数,聚类结束后,选取每类距离质心最近的一级模板作为二级模板,得到若干二级模板,具体为:
8.2)根据位移情况计算K值:
若手掌有位移,根据公式(11)分别计算k个位移帧数索引,将对应的样本作为质心向量;
若手掌无位移,根据时间顺序从样本集D,利用公式(12)计算模板序数对应的一级模板作为初始的质心向量;
8.4)设置最大迭代次数N,迭代次数为iter_n=1,2,...,N,进行循环迭代:
c)按照公式(14)更新所有类簇的质心,j是类簇序数,0<j<(类簇数),j为整数:
判断所有质心向量是否发生变化;若没有发生变化,则进入下一步;
本发明在 K-Means算法的基础上,做了2点改进:一是对k的选值方法进行改进,通过计算手掌ROI中心的位移来自动选取K值;二是对质心的初始化方法进行了改进,根据位移位置帧数索引,选择初始化质心样本。
改进后的K-Means算法,k的取值和初始质心选择的更准确,使得后续的聚类迭代收敛更快更准,类内模板间的差异更大,选取到多姿态的手掌模板,很大程度提高多姿态验证的识别率。
优选地,所述的步骤8)中,将k个二级模板融合成一个三级的注册模板的公式为:
本发明还涉及一种基于非接触式手掌静脉的视频注册装置,其包括:
视频采集模块,用于使用非接触设备采集时长为t秒的手掌静脉视频;
图像裁剪模块,用于定位手掌和手掌ROI位置并裁剪对应图像,分别记为手掌区域A和手掌ROI区域B;
手掌异常检测模块,用于对手掌区域A进行手掌异常检测;
成像质量判断模块,用于对手掌ROI区域B进行成像质量判断;
提取模块,用于对手掌ROI进行预处理,提取手掌ROI区域B的512维特征向量并将其保存为1个一级模板;
余弦相似度对比模块,用于设置模板间的余弦相似度阈值T3,并计算相邻两个一级模板间的余弦相似度;
采集数量对比模块,用于设置一级模板数量阈值M,比较t秒视频结束后采集到的一级模板的数量与阈值M的大小;
注册模块,用于根据最大化模板类内差异对所有一级模板进行筛选,得到k个二级模板,并将k个二级模板融合成一个三级的注册模板,登记到模板数据库。
采用本发明提供的技术方案,与现有技术相比,具有如下有益效果:
1.本发明涉及的一种基于非接触式手掌静脉的视频注册方法在注册阶段,对手掌区域进行手掌异常检测,能够有效预防有遮挡的掌静脉注册,极大提升掌静脉注册的安全性。
2.本发明涉及的一种基于非接触式手掌静脉的视频注册方法提出多模板筛选方法,即基于改进的K-Means算法,自动计算K值,并选择不同方法初始化质心向量,使得聚类过程更快更准的收敛,类内模板差异更大;保存差异大的模板,使得注册模板更丰富,识别率更优。
3.本发明涉及的一种基于非接触式手掌静脉的视频注册方法在注册过程中,通过计算相邻两个一级模板间的余弦相似度,进而对手掌特征进行比对,能够实时监控是否为同一手掌,预防不合理的换手注册行为,提升了掌静脉注册的安全性。
附图说明
图1本发明涉及一种基于非接触式手掌静脉图像的视频注册方法的流程图;
图2为本发明采集的正常手掌静脉视频图像、手掌区域和手掌静脉ROI;
图3为本发明方法中基于YOLOv5网络的二目标检测模型的训练、检测流程图;
图4为本发明方法中手掌异常检测模型训练、分类流程图;
图5为本发明掌静脉ROI区域预处理后的图像;
图6为本发明方法中手掌异常检测模型训练集中的正、负样本所在原图示例;
图7为本发明方法中模板筛选过程的示意图;
图8为本发明方法基于改进的K-Means聚类的流程图;
图9为本发明方法中二级模板融合过程的示意图;
图10为本发明基于非接触式手掌静脉图像的视频注册装置的框架示意图。
具体实施方式
为进一步了解本发明的内容,结合实施例对本发明作详细描述,以下实施例用于说明本发明,但不用来限制本发明的范围。
实施例1
参照附图1所示,本发明涉及一种基于非接触式手掌静脉的视频注册方法,其包括以下步骤:
1)使用非接触设备采集时长为t秒的手掌静脉视频,帧率为30帧/秒,每帧图像尺寸为:1280像素*1024像素。
2)定位手掌和手掌ROI位置并裁剪对应图像,分别记为手掌区域A和手掌ROI区域B,手掌图像具体如附图2所示;
定位手掌和手掌ROI区域使用的是基于深度学习的目标检测神经网络 YOLOv5训练的目标检测模型model1,参照附图3所示,训练方法如下:
2.1) 采集训练样本:训练样本是多环境下的手掌静脉图像,共50000幅;
2.2)给训练样本打标签:使用标图工具LabelImage标注出每张训练样本中的手掌和手掌ROI区域的位置,生成对应的标注xml文件,共50000个,类名分别为palm和palm roi;
2.3)初始化训练超参数,超参数有:learningRate=0.01,weight_decay=10-4,momentum=0.9,InputSize=224,batchSize=128,epoch=200等;
2.4)开始训练:基于tensorflow框架,设置训练数据的路径,开始训练;
2.5)训练结束:等到训练loss收敛且趋于稳定,选择其中一个准确率较高的模型,即为深度学习的目标检测神经网络 YOLOv5训练的目标检测模型model1。
3)对手掌区域A进行手掌异常检测,输出检测结果,手掌异常检测的模型为基于VGG16网络训练好的二分类模型,参照附图4所示,其训练方法是:
3.1) 采集训练正样本:正样本是多种灯光环境下的正常的手掌静脉图像,共20000幅;
3.2)采集训练负样本:负样本是采集的多种异常手掌,包括手上戴有戴橡胶手套、针织手套、手掌心有污渍和手掌有遮挡物等,每种情况6000幅,共24000幅;见附图6所示;
3.3)初始化训练超参数,超参数有:learningRate=0.001,weight_decay=10-6,momentum=0.9,InputSize=224,batchSize=64,epoch=120等;
3.4)开始训练:基于tensorflow框架,选择VGG16网络和交叉熵损失函数,设置训练数据的路径,开始训练;
3.5)训练结束:待训练loss趋于0收敛且稳定,选择其中一个准确率较高的模型,作为手掌异常检测的二分类模型model2。
若检测结果为异常,返回步骤2),若检测结果为正常,进入步骤4);
4)对手掌ROI区域B进行成像质量判断,包括曝光度和清晰度判断;
曝光度的计算公式为:
n是图像的像素总数,是图像种第个灰度级的像素总数,是第个灰度级,=0,
1,2,…L-1;L=256;是第个灰度级在图像整个灰度级的出现的概率;是最大的
灰度级的概率,即像素最多的概率;T1是曝光度阈值;
清晰度计算公式为:
是待计算清晰度的输入手掌ROI图像,是卷积之后的输出图
像,i、j分别表示图像中像素的行列索引,m、n分别表示图像的高和宽,0<i<=m,0<j<=n,i和j
都是整数;即为图像的清晰度,该清晰度是0~1之间的浮点数,数值越大
越清晰;反之,越模糊;T2是清晰度阈值;
输出判断结果,若判断结果为不合格,返回步骤2),若判断结果为合格,进入步骤5)。
5)对手掌ROI进行预处理,包括高斯去噪,引导滤波增强;提取手掌ROI区域B的512维特征向量,提取512维特征向量的方法是:调用基于深度学习训练好的掌静脉特征提取模型,进行特征提取,得到512维特征向量,并将其保存为1个一级模板。
6)重复步骤2)~5),提取若干一级模板,设置模板间的余弦相似度阈值T3,并计算相邻两个一级模板间的余弦相似度,计算公式为:
若计算所得的余弦相似度大于等于余弦相似度阈值T3,则进入下一步继续注册,反之,注册失败,结束本次注册;该步骤能够预防视频注册过程中的换手行为,提高了注册的安全性。
7)设置一级模板数量阈值M,本实施例设置阈值M为100,比较t秒视频结束后采集到的一级模板的数量与阈值M的大小,若采集到的一级模板的数量大于或等于阈值100,进入步骤8),反之,则注册失败,结束本次注册。
8)改进K-Means聚类算法,基于改进的K-Means聚类算法,并根据最大化模板类内差异对所有一级模板进行筛选,得到k个二级模板,然后将k个二级模板融合成一个三级的注册模板,登记到模板数据库,注册成功;
即根据最大化模板类内差异对一级模板进行筛选的方法是基于改进的K-Means聚类对所有一级模板进行聚类,k为聚类数,聚类结束后,选取每类距离质心最近的一级模板作为二级模板,得到若干二级模板,参照附图7和8所示,其具体步骤为:
8.2)根据位移情况计算K值:
本实施例中K=5,无位移;
若手掌有位移,根据公式(11)分别计算k个位移帧数索引,将对应的样本作为质心向量;
若手掌无位移,根据时间顺序从样本集D,利用公式(12)计算模板序数对应的一级模板作为初始的质心向量;
本实施例无位移,故采用公式(12)将对应的样本作为质心向量;
8.4)设置最大迭代次数N,本实施例中N=20,迭代次数为iter_n=1,2,...,N,进行循环迭代:
d)按照公式(14)更新所有类簇的质心,j是类簇序数,0<j<(类簇数),j为整数:
判断所有质心向量是否发生变化;若没有发生变化,则进入下一步;
本发明在 K-Means算法的基础上,做了2点改进:一是对K的选值方法进行改进,通过计算手掌ROI中心的位移来自动选取K值;二是对质心的初始化方法进行了改进,根据位移位置帧数索引,选择初始化质心样本。
改进后的K-Means算法,K的取值和初始质心选择的更准确,使得后续的聚类迭代收敛更快更准,类内模板间的差异更大,选取到多姿态的手掌模板,很大程度提高多姿态验证的识别率。
参照附图9所示,将5个二级模板融合成一个三级的注册模板的公式为:
实施例2
参照附图10所示,本实施例涉及一种基于非接触式手掌静脉的视频注册装置,其包括:
视频采集模块,用于使用非接触设备采集时长为t秒的手掌静脉视频;视频采集模块用于实现实施例1步骤1)的功能。
图像裁剪模块,用于定位手掌和手掌ROI位置并裁剪对应图像,分别记为手掌区域A和手掌ROI区域B;图像裁剪模块用于实现实施例1步骤2)的功能。
手掌异常检测模块,用于对手掌区域A进行手掌异常检测;手掌异常检测模块用于实现实施例1步骤3)的功能。
成像质量判断模块,用于对手掌ROI区域B进行成像质量判断;成像质量判断模块用于实现实施例1步骤4)的功能。
提取模块,用于对手掌ROI进行预处理,提取手掌ROI区域B的512维特征向量并将其保存为1个一级模板;提取模块用于实现实施例1步骤5)的功能。
余弦相似度对比模块,用于设置模板间的余弦相似度阈值T3,并计算相邻两个一级模板间的余弦相似度;余弦相似度对比模块用于实现实施例1步骤6)的功能。
采集数量对比模块,用于设置一级模板数量阈值M,比较t秒视频结束后采集到的一级模板的数量与阈值M的大小;采集数量对比模块用于实现实施例1步骤7)的功能。
注册模块,用于根据最大化模板类内差异对所有一级模板进行筛选,得到k个二级模板,并将k个二级模板融合成一个三级的注册模板,登记到模板数据库;注册模块用于实现实施例1步骤8)的功能。
显然,本实施例的基于非接触式手掌静脉的视频注册装置可以作为上述实施例1的视频注册方法的执行主体,因此能够实现该视频注册方法所实现的功能。由于原理相同,本文不再赘述。
实验例
为验证本申请方法的有效性,本实验例进行以下2个实验。
实验1:本实施例使用非接触式设备,一方面应用本发明中提出的一种基于非接触式手掌静脉图像的视频注册方法,在距离摄像头[90,120]mm范围内,注册200人的正常左、右手掌静脉,约7秒/掌,分别基于改进的kmeans和原始的K-Means算法(二级模板数大致分布在K=4~7),分别得到模板库1、2;另一方面仅采集7幅/200人掌静脉图片进行注册, 二级模板数大致分布在K=4~7,得到模板库3;分别对这3模板库进行掌静脉验证,10次/掌,统计通过率,见表1;
实验2:基于实验1中的模板库1,让这200人在掌静脉验证时,在手掌部分模拟异常情况,即不同程度的遮挡手掌静脉的情况,统计验证误识率,见表2;
实验数据分析和结论:根据表1数据可见,本申请表中列出的3种注册方法,都是在二级模板数K= 7时识别率较高;本申请提出的基于改进的K-Means算法的视频注册方法的识别率优于基于原始K-Means算法的视频注册算法,也优于普通的图片注册方法;本申请视频注册方法中基于改进K-Means算法的模板筛选算法,能自动计算聚类数,选择合适、准确初始质心,进而保持模板类内最大差异,有效提高了识别率;根据表2中列举的4种异常情况,统计结果均没有出现误识;可见本申请中提出的异常检测,从源头上屏蔽了很大的误识风险,提高了整个非接触式掌静脉识别系统的安全等级。
总之,可直观看出本发明所述一种基于非接触式手掌静脉图像的视频注册方法,对掌静脉注册和识别都有很高的安全性,并且最大化模板类内差异,有效提高验证的识别率。
以上结合实施例对本发明进行了详细说明,但所述内容仅为本发明的较佳实施例,不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等,均应仍属于本发明的专利涵盖范围之内。
Claims (10)
1.一种基于非接触式手掌静脉的视频注册方法,其特征在于:其包括以下步骤:
1)使用非接触设备采集时长为t秒的手掌静脉视频;
2)定位手掌和手掌ROI位置并裁剪对应图像,分别记为手掌区域A和手掌ROI区域B;
3)对手掌区域A进行手掌异常检测,输出检测结果,若检测结果为异常,返回步骤2),若检测结果为正常,进入步骤4);
4)对手掌ROI区域B进行成像质量判断,输出判断结果,若判断结果为不合格,返回步骤2),若判断结果为合格,进入步骤5);
5)对手掌ROI进行预处理,提取手掌ROI区域B的512维特征向量并将其保存为1个一级模板;
6)重复步骤2)~5),提取若干一级模板,设置模板间的余弦相似度阈值T3,并计算相邻两个一级模板间的余弦相似度,若计算所得的余弦相似度大于等于余弦相似度阈值T3,则进入下一步继续注册,反之,注册失败,结束本次注册;
7)设置一级模板数量阈值M,比较t秒视频结束后采集到的一级模板的数量与阈值M的大小,若采集到的一级模板的数量大于或等于阈值M,进入步骤8),反之,则注册失败,结束本次注册;
8)改进K-Means聚类算法,基于改进的K-Means聚类算法,并根据最大化模板类内差异对所有一级模板进行筛选,得到k个二级模板,然后将k个二级模板融合成一个三级的注册模板,登记到模板数据库,注册成功。
2.根据权利要求1所述的基于非接触式手掌静脉的视频注册方法,其特征在于:所述步骤2)中,定位手掌和手掌ROI区域使用的是基于深度学习的目标检测神经网络 YOLOv5训练的目标检测模型model1,训练方法如下:
2.1) 采集训练样本:训练样本是多环境下的手掌静脉图像;
2.2)给训练样本打标签:使用标图工具LabelImage标注出每张训练样本中的手掌和手掌ROI区域的位置,生成对应的标注xml文件;
2.3)初始化训练超参数;
2.4)开始训练:基于TensorFlow框架,设置训练数据的路径,开始训练;
2.5)训练结束:等到训练loss收敛且趋于稳定,选择其中一个准确率较高的模型,即为深度学习的目标检测神经网络 YOLOv5训练的目标检测模型model1。
3.根据权利要求1所述的基于非接触式手掌静脉的视频注册方法,其特征在于:所述步骤3)中,手掌异常检测的模型为基于VGG16网络训练好的二分类模型,基于VGG16网络的二分类模型的训练方法:
3.1) 采集训练正样本:正样本是多种灯光环境下的正常的手掌静脉图像;
3.2)采集训练负样本:负样本是采集的多种异常手掌,包括手上戴有手套和手掌有遮挡物;
3.3)初始化训练超参数;
3.4)开始训练:基于TensorFlow框架,选择VGG16网络和交叉熵损失函数,设置训练数据的路径,开始训练;
3.5)训练结束:待训练loss趋于0收敛且稳定,选择其中一个准确率较高的模型,作为手掌异常检测的二分类模型。
4.根据权利要求1所述的基于非接触式手掌静脉的视频注册方法,其特征在于:所述的步骤4)中,对手掌ROI区域B进行成像质量判断包括对曝光度和清晰度的判断。
5.根据权利要求4所述的基于非接触式手掌静脉的视频注册方法,其特征在于:所述的曝光度的计算公式为:
n是图像的像素总数,ng是图像种第个灰度级的像素总数,rg是第个灰度级,=0,1,
2,…L-1;L=255;是第个灰度级在图像整个灰度级出现的概率;是最大的灰度
级的概率,即像素最多的概率;T1是曝光度阈值;
所述的清晰度计算公式为:
6.根据权利要求1所述的基于非接触式手掌静脉的视频注册方法,其特征在于:所述的步骤5)中,手掌ROI预处理包括高斯去噪,引导滤波增强;提取512维特征向量的方法是:调用基于深度学习训练好的掌静脉特征提取模型,进行特征提取,得到512维特征向量。
8.根据权利要求1所述的基于非接触式手掌静脉的视频注册方法,其特征在于:所述的步骤8)中,根据最大化模板类内差异对一级模板进行筛选的方法是基于改进的K-Means聚类对所有一级模板进行聚类,k为聚类数,聚类结束后,选取每类距离质心最近的一级模板作为二级模板,得到若干二级模板,具体为:
8.2)根据位移情况计算K值:
若手掌有位移,根据公式(11)分别计算k个位移帧数索引,将对应的样本作为质心向量;
若手掌无位移,根据时间顺序从样本集D,利用公式(12)计算模板序数对应的一级模板作为初始的质心向量;
8.4)设置最大迭代次数N,迭代次数为iter_n=1,2,...,N,进行循环迭代:
c)按照公式(14)更新所有类簇的质心,j是类簇序数,0<j<(类簇数),j为整数:
判断所有质心向量是否发生变化;若没有发生变化,则进入下一步;
10.一种基于非接触式手掌静脉的视频注册装置,其特征在于:其包括:
视频采集模块,用于使用非接触设备采集时长为t秒的手掌静脉视频;
图像裁剪模块,用于定位手掌和手掌ROI位置并裁剪对应图像,分别记为手掌区域A和手掌ROI区域B;
手掌异常检测模块,用于对手掌区域A进行手掌异常检测;
成像质量判断模块,用于对手掌ROI区域B进行成像质量判断;
提取模块,用于对手掌ROI进行预处理,提取手掌ROI区域B的512维特征向量并将其保存为1个一级模板;
余弦相似度对比模块,用于设置模板间的余弦相似度阈值T3,并计算相邻两个一级模板间的余弦相似度;
采集数量对比模块,用于设置一级模板数量阈值M,比较t秒视频结束后采集到的一级模板的数量与阈值M的大小;
注册模块,用于根据最大化模板类内差异对所有一级模板进行筛选,得到k个二级模板,并将k个二级模板融合成一个三级的注册模板,登记到模板数据库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011358877.XA CN112183504B (zh) | 2020-11-27 | 2020-11-27 | 一种基于非接触式手掌静脉图像的视频注册方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011358877.XA CN112183504B (zh) | 2020-11-27 | 2020-11-27 | 一种基于非接触式手掌静脉图像的视频注册方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112183504A true CN112183504A (zh) | 2021-01-05 |
CN112183504B CN112183504B (zh) | 2021-04-13 |
Family
ID=73918185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011358877.XA Active CN112183504B (zh) | 2020-11-27 | 2020-11-27 | 一种基于非接触式手掌静脉图像的视频注册方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112183504B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113673477A (zh) * | 2021-09-02 | 2021-11-19 | 青岛奥美克生物信息科技有限公司 | 掌静脉非接触式三维建模方法、装置及认证方法 |
WO2023028947A1 (zh) * | 2021-09-02 | 2023-03-09 | 青岛奥美克生物信息科技有限公司 | 掌静脉非接触式三维建模方法、装置及认证方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105474234A (zh) * | 2015-11-24 | 2016-04-06 | 厦门中控生物识别信息技术有限公司 | 一种掌静脉识别的方法和掌静脉识别装置 |
CN107122700A (zh) * | 2017-03-02 | 2017-09-01 | 华南理工大学 | 一种基于视频的掌纹掌脉联合注册和识别方法 |
CN107832739A (zh) * | 2017-11-28 | 2018-03-23 | 广州麦仑信息科技有限公司 | 一种基于orb特征提取的掌静脉识别系统及方法 |
WO2019071716A1 (zh) * | 2017-10-15 | 2019-04-18 | 常熟安智生物识别技术有限公司 | 一种基于掌静脉识别技术的支付系统 |
CN110415225A (zh) * | 2019-07-22 | 2019-11-05 | 南充折衍智能光电科技有限公司 | 一种基于多信息融合的手指静脉图像质量评价方法 |
CN111428581A (zh) * | 2020-03-05 | 2020-07-17 | 平安科技(深圳)有限公司 | 人脸遮挡检测方法及系统 |
-
2020
- 2020-11-27 CN CN202011358877.XA patent/CN112183504B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105474234A (zh) * | 2015-11-24 | 2016-04-06 | 厦门中控生物识别信息技术有限公司 | 一种掌静脉识别的方法和掌静脉识别装置 |
CN107122700A (zh) * | 2017-03-02 | 2017-09-01 | 华南理工大学 | 一种基于视频的掌纹掌脉联合注册和识别方法 |
WO2019071716A1 (zh) * | 2017-10-15 | 2019-04-18 | 常熟安智生物识别技术有限公司 | 一种基于掌静脉识别技术的支付系统 |
CN107832739A (zh) * | 2017-11-28 | 2018-03-23 | 广州麦仑信息科技有限公司 | 一种基于orb特征提取的掌静脉识别系统及方法 |
CN110415225A (zh) * | 2019-07-22 | 2019-11-05 | 南充折衍智能光电科技有限公司 | 一种基于多信息融合的手指静脉图像质量评价方法 |
CN111428581A (zh) * | 2020-03-05 | 2020-07-17 | 平安科技(深圳)有限公司 | 人脸遮挡检测方法及系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113673477A (zh) * | 2021-09-02 | 2021-11-19 | 青岛奥美克生物信息科技有限公司 | 掌静脉非接触式三维建模方法、装置及认证方法 |
WO2023028947A1 (zh) * | 2021-09-02 | 2023-03-09 | 青岛奥美克生物信息科技有限公司 | 掌静脉非接触式三维建模方法、装置及认证方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112183504B (zh) | 2021-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lin et al. | Face liveness detection by rppg features and contextual patch-based cnn | |
CN107423690B (zh) | 一种人脸识别方法及装置 | |
Iwama et al. | Gait verification system for criminal investigation | |
US9292745B2 (en) | Object detection apparatus and method therefor | |
Connaughton et al. | Fusion of face and iris biometrics | |
JP2005149506A (ja) | 対象物自動認識照合方法および装置 | |
CN112183504B (zh) | 一种基于非接触式手掌静脉图像的视频注册方法及装置 | |
Haji et al. | Real time face recognition system (RTFRS) | |
CN109934129B (zh) | 一种人脸特征点定位方法、装置、计算机设备及存储介质 | |
CN107480628B (zh) | 一种人脸识别方法及装置 | |
Al-Dmour et al. | Masked Face Detection and Recognition System Based on Deep Learning Algorithms | |
Fritz et al. | Object recognition using local information content | |
Loos et al. | Detection and identification of chimpanzee faces in the wild | |
Méndez-Llanes et al. | On the use of local fixations and quality measures for deep face recognition | |
Kimura et al. | Single sensor-based multi-quality multi-modal biometric score database and its performance evaluation | |
Sivapriyan et al. | Analysis of facial recognition techniques | |
KR100711223B1 (ko) | 저니키(Zernike)/선형 판별 분석(LDA)을 이용한얼굴 인식 방법 및 그 방법을 기록한 기록매체 | |
Sehgal | Palm recognition using LBP and SVM | |
Ruiz et al. | Weakly supervised polyp segmentation from an attention receptive field mechanism | |
Puhalanthi et al. | Effective multiple person recognition in random video sequences using a convolutional neural network | |
Martsenyuk et al. | Exploring Image Unified Space for Improving Information Technology for Person Identification | |
Hashem et al. | Human gait identification system based on transfer learning | |
CN113158788B (zh) | 人脸表情识别方法、装置、终端设备及存储介质 | |
Fuchs et al. | Inter-active learning of randomized tree ensembles for object detection | |
Nguyen et al. | Automated conformance testing for ISO/IEC 19794-5 Standard on facial photo specifications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |