CN117115624A - 一种掌静脉图像质量评估方法 - Google Patents
一种掌静脉图像质量评估方法 Download PDFInfo
- Publication number
- CN117115624A CN117115624A CN202311385206.6A CN202311385206A CN117115624A CN 117115624 A CN117115624 A CN 117115624A CN 202311385206 A CN202311385206 A CN 202311385206A CN 117115624 A CN117115624 A CN 117115624A
- Authority
- CN
- China
- Prior art keywords
- palm
- palm vein
- vein
- target frame
- palmar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000003462 vein Anatomy 0.000 title claims abstract description 369
- 238000001303 quality assessment method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 230000002159 abnormal effect Effects 0.000 claims abstract description 12
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 210000003811 finger Anatomy 0.000 claims description 21
- 238000013145 classification model Methods 0.000 claims description 20
- 244000060701 Kaempferia pandurata Species 0.000 claims description 14
- 235000016390 Uvaria chamae Nutrition 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 10
- 241001156002 Anthonomus pomorum Species 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 210000004932 little finger Anatomy 0.000 claims description 3
- 210000003813 thumb Anatomy 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 11
- 238000013441 quality evaluation Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 description 1
- 241000203475 Neopanax arboreus Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 108010002255 deoxyhemoglobin Proteins 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003333 near-infrared imaging Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/50—Maintenance of biometric data or enrolment thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Vascular Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本申请提供了一种掌静脉图像质量评估方法，包括步骤：获取掌静脉图像的掌静脉目标框以及手掌关键点；根据掌静脉目标框以及手掌关键点的几何特征检测过滤异常误检的掌静脉图像；分别对掌静脉目标框以及掌静脉目标框对应的掌静脉ROI区域进行评分；通过融合加权获取掌静脉图像的综合评分结果。本申请的掌静脉图像质量评估方法先根据掌静脉目标框以及手掌关键点的几何特征检测，从宏观层面直接过滤异常误检的掌静脉图像，再分别对掌静脉目标框以及掌静脉目标框对应的掌静脉ROI区域进行评分，从微观层面多维度评判掌静脉图像质量，解决广角摄像头在掌静脉采集过程中引起的干扰因素，有效提升掌静脉图像注册质量、识别认证的准确率以及速度。
Description
技术领域
本申请属于掌静脉识别技术领域，更具体地说，是涉及一种掌静脉图像质量评估方法。
背景技术
掌静脉识别技术利用静脉中的脱氧血红蛋白与其它生理组织对近红外光的吸收率差异，采取近红外反射成像方式，获取到手掌的静脉图像信息，将静脉特征数字化，以此作为身份信息识别认证的依据。这种技术具有高度防伪、高度准确、特性稳定和使用方便的特点，可实现完全非接触式、非限位的活体特征识别，可应用于门禁、机场、金融交易、移民局、政府部门、电子商务等多种场合。
现有的掌静脉识别技术主要由掌静脉图像采集、掌静脉预处理、掌静脉特征提取、掌静脉匹配及识别这几部分组成。目前，掌静脉图像可以通过接触式或非接触式的方式进行采集和识别。当近红外摄像头为广角摄像头时，广角摄像头能够获取的视野广，背景干扰多，且获取的图像存在一定的畸变；在非接触式采集掌静脉图像的过程中，每次采集的手掌位置、方向以及手指的张开角度都会有所不同，这样不同时间从同一手掌采集的图像都会有不同程度的旋转和偏移，容易发生倾斜，造成纹理形变。此外，由于人的手掌大小差异和采集距离不同，采集到的手掌区域图像大小也不同，而且容易受到设备分辨率、光照等各种因素的影响，产生含很多噪声的低质量图像。
这些低质量的掌静脉图像，降低了掌静脉识别认证的准确率以及速度。
发明内容
本申请实施例的目的在于提供一种掌静脉图像质量评估方法，以解决现有技术对掌静脉识别认证过程中存在的准确率以及速度不足的技术问题。
为实现上述目的，本申请采用的技术方案是：提供一种掌静脉图像质量评估方法，包括步骤：
获取掌静脉图像的掌静脉目标框以及手掌关键点；
根据掌静脉目标框以及手掌关键点的几何特征检测过滤异常误检的掌静脉图像；
分别对掌静脉目标框以及掌静脉目标框对应的掌静脉ROI区域进行评分；
通过融合加权获取掌静脉图像的综合评分结果。
优选的，所述手掌关键点包括P1、P2、P3以及P4，其中P1为拇指与食指之间的指根点，P2为中指与食指之间的指根点，P3为中指与无名指之间的指根点，P4为小指与无名指之间的指根点。
优选的，根据掌静脉目标框以及手掌关键点的几何特征检测过滤异常误检的掌静脉图像的方法，包括步骤：
以P2为支点，连接P1与P2、P2与P4、P1与P4，形成△P1P2P4；
求取∠P1P2P4的角度；
若∠P1P2P4的角度在第一阈值范围之外，则删除当前掌静脉目标框以及手掌关键点。
优选的，根据掌静脉目标框以及手掌关键点的几何特征检测过滤异常误检的掌静脉图像的方法，包括步骤：
以P2为支点，连接P1与P2、P2与P4、P1与P4，形成△P1P2P4；
求取△P1P2P4的面积S1与掌静脉目标框的面积S2的比值P；
若比值P在第二阈值范围之外，则删除当前掌静脉目标框以及手掌关键点。
优选的，根据掌静脉目标框以及手掌关键点的几何特征检测过滤异常误检的掌静脉图像的方法，包括步骤：
检测P1、P2、P3、P4是否在掌静脉目标框内；
若存在P1、P2、P3、P4任意一点在掌静脉目标框内之外，则删除当前掌静脉目标框以及手掌关键点。
优选的，对掌静脉目标框进行评分的方法，包括步骤：
计算掌静脉ROI区域在掌静脉图像中的尺寸占比；
根据掌静脉ROI区域在掌静脉图像中的尺寸占比的进行评分。
优选的，对掌静脉目标框进行评分的方法，包括步骤：
计算掌静脉目标框的宽高比；
根据掌静脉目标框的宽高比的进行评分。
优选的，对掌静脉目标框对应的掌静脉ROI区域进行评分的方法，包括步骤：
收集正常手掌静脉图像数据集以及倾斜手掌静脉图像数据集；
给定正常手掌静脉图像数据集的标签为1，倾斜手掌静脉图像数据集的标签为0；
建立基于深度卷积神经网络的手掌倾斜二分类模型；
将正常手掌静脉图像数据集以及倾斜手掌静脉图像数据集输入至手掌倾斜二分类模型进行训练；
将掌静脉目标框对应的掌静脉ROI区域输入至训练好的手掌倾斜二分类模型；
手掌倾斜分类模型输出分类结果后使用softmax函数归一化到（0，1）之间，输出手掌倾斜评估分数。
优选的，对掌静脉目标框对应的掌静脉ROI区域进行评分的方法，包括步骤：
对掌静脉目标框按照比例进行缩减，获取掌静脉ROI区域内的掌静脉ROI中心区域；
采用Lab颜色空间计算掌静脉ROI中心区域的亮度并进行评分。
优选的，对掌静脉目标框对应的掌静脉ROI区域进行评分的方法，包括步骤：
采用计算图像Brenner梯度的方法评估掌静脉ROI区域的清晰度；
根据掌静脉ROI区域的清晰度进行评分。
优选的，通过融合加权获取掌静脉图像的综合评分结果的方法，包括步骤：
对手掌倾斜评估分数score1、掌静脉ROI区域在掌静脉图像中的尺寸占比分数score2、掌静脉目标框的宽高比分数score3、掌静脉ROI中心区域的亮度分数score4、掌静脉ROI区域的清晰度分数score5进行融合加权。
本申请提供的掌静脉图像质量评估方法的有益效果在于：与现有技术相比，先根据掌静脉目标框以及手掌关键点的几何特征检测，从宏观层面直接过滤异常误检的掌静脉图像，再分别对掌静脉目标框以及掌静脉目标框对应的掌静脉ROI区域进行评分，从微观层面多维度评判掌静脉图像质量，解决广角摄像头在掌静脉采集过程中引起的干扰因素，有效提升掌静脉图像注册质量、识别认证的准确率以及速度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的掌静脉图像质量评估方法的流程示意图；
图2为本申请实施例提供的步骤S1中的掌静脉目标框以及手掌关键点的示意图；
图3为本申请实施例提供的步骤S2中的五指张开状态下△P1P2P4的示意图；
图4为本申请实施例提供的步骤S2中的五指合并状态下△P1P2P4的示意图；
图5为本申请实施例提供的掌静脉图像质量评估方法另一形式的流程示意图；
图6为本申请实施例提供的由于采集距离过远形成的低质量掌静脉图像的示意图；
图7为本申请实施例提供的由于手掌位置偏移形成的低质量掌静脉图像的示意图；
图8为本申请实施例提供的根据掌静脉目标框获取掌静脉RIO区域的示意图；
图9为本申请实施例提供的正常手掌静脉图像数据集的示意图；
图10为本申请实施例提供的倾斜手掌静脉图像数据集的示意图；
图11为本申请实施例提供的获取掌静脉ROI区域内的掌静脉ROI中心区域的示意图。
具体实施方式
为了使本申请所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
请一并参阅图1至图2，现对本申请实施例提供的掌静脉图像质量评估方法进行说明。所述掌静脉图像质量评估方法，包括：
步骤S1，获取掌静脉图像的掌静脉目标框以及手掌关键点。
可以理解的是，在红外光下可以通过广角摄像头对用户手掌持续获取掌静脉图像，将掌静脉图像输入至预先训练好的掌静脉检测模型中，例如掌静脉检测模型设置掌静脉目标检测头以及关键点检测头，通过掌静脉检测模型可以输出掌静脉目标框以及手掌关键点，如此，只需要做一次输入，即可同时获取掌静脉目标框以及手掌关键点。
步骤S2，根据掌静脉目标框以及手掌关键点的几何特征检测过滤异常误检的掌静脉图像。
可以理解的是，一般的掌静脉识别终端都是通过红外或者雷达探测是否有物体放在识别区域，探测到有物体在识别区域后即通过广角摄像头获取掌静脉图像，广角摄像头能够获取的视野广，干扰因素多，如此获取的掌静脉图像可能存在四种异常误检情况，第一种情况是该物体不是手掌，获取的掌静脉图像中无掌静脉特征，第二种情况是手掌刚伸入但还未摆放到位时，掌静脉图像中只有局部掌静脉特征，第三种情况是掌静脉检测模型的误差，导致掌静脉目标框对应的掌静脉ROI区域的提取不准确，引入过多背景区域，第四种情况是广角摄像头的成像方式带来的畸变。
因此，本申请相对于现有技术引入了手掌关键点检测，根据掌静脉目标框以及手掌关键点的几何特征检测，判断掌静脉目标框的几何特征、手掌关键点的几何特征以及掌静脉目标框与手掌关键点之间的的几何特征，是否符合正常掌静脉图像的几何特征规律，以过滤异常误检的掌静脉图像。
如此，通过引入前置的异常误检，一方面能够抵抗广角摄像头背景区域大、成像畸变带来的干扰，弥补掌静脉检测模型精度不足的缺点，提升掌静脉图像质量评估的准确率，另一方面，经过先期过滤的方式，不需要对每张掌静脉图像都进行评分，能够提升掌静脉识别的响应速度，降低算法运算量及难度。
步骤S3，分别对掌静脉目标框以及掌静脉目标框对应的掌静脉ROI区域进行评分。
可以理解的是，相对于传统的算法对掌静脉ROI区域进行评分外，本申请还对掌静脉目标框进行评分。
第一方面，由于正常人体的掌部区域呈一个近似正方形区域，当广角摄像头的成像使得掌静脉特征发生畸变后，掌静脉目标框会呈长方形，掌静脉特征畸变程度越大，掌静脉目标框的长和宽差异越大。
第二方面，当由于掌静脉检测模型的误差，掌静脉目标框内还包含大量背景时，掌静脉目标框会过大，同理掌静脉目标框内未包含完整掌静脉特征时，掌静脉目标框会过小，偏离正常掌静脉目标框大小。
第三方面，当掌静脉图像的采集距离过远会产生很多噪声，并且得到的掌静脉目标框在整个图像中的面积占比会很小，偏离正常掌静脉目标框面积大小。
第四方面，非接触式采集掌静脉的过程中，手掌在不同距离上发生的采集位置的偏移，也会引起掌静脉纹理出现缺失，降低了后续识别的准确率，而采集位置的偏移会引起掌静脉目标框的长宽比，在整个图像中的面积占比产生偏差。
如此，通过分别对掌静脉目标框以及掌静脉目标框对应的掌静脉ROI区域进行评分，以及设定合理的阈值，可以降低畸变程度大、背景面积多、采集距离远、偏移量大引起的低质量掌静脉图像的评分，并且质量程度越低，评分越低，反之评分越高。
步骤S4，通过融合加权获取掌静脉图像的综合评分结果。
可以理解的是，通过设置合理的权重，统计掌静脉ROI区域以及掌静脉目标框的综合评分结果，以更加真实合理的反应掌静脉图像的质量，有效提升掌静脉图像注册质量和识别认证的准确率。
综上所述，本申请提供的掌静脉图像质量评估方法，与现有技术相比，先根据掌静脉目标框以及手掌关键点的几何特征检测，从宏观层面直接过滤异常误检的掌静脉图像，再分别对掌静脉目标框以及掌静脉目标框对应的掌静脉ROI区域进行评分，从微观层面多维度评判掌静脉图像质量，解决广角摄像头在掌静脉采集过程中引起的干扰因素，有效提升掌静脉图像注册质量、识别认证的准确率以及速度。
在本申请另一个实施例中，请一并参阅图2至图4，在步骤S1中，所述手掌关键点包括P1、P2、P3以及P4，其中P1为拇指与食指之间的指根点，P2为中指与食指之间的指根点，P3为中指与无名指之间的指根点，P4为小指与无名指之间的指根点。
可以理解的是，由于P1、P2、P3以及P4环绕于掌部区域设置，并且P2、P3以及P4的相对位置受到手掌张紧程度的影响变化小，也即手指在张开、并拢或者弯曲状态下，指根点的相对位置变化小。相对于现有技术以指关节对手掌定位，本实施例以指根点进行定位，能够适应不同手势动作，提升识别率及速度。
进一步的，请参阅图3及图4，在步骤S2中，根据掌静脉目标框以及手掌关键点的几何特征检测过滤异常误检的掌静脉图像的方法，包括步骤：
以P2为支点，连接P1与P2、P2与P4、P1与P4，形成△P1P2P4；
求取∠P1P2P4的角度；
若∠P1P2P4的角度在第一阈值范围之外，则删除当前掌静脉目标框以及手掌关键点。
可以理解的是，不同环境下的近红外光强度变化、手掌背景区域大小变化都会降低掌静脉检测模型检测手掌的准确率，造成掌静脉目标框和手掌关键点的位置发生偏移，甚至错乱无序，最终影响到后续质量评估方法的准确性。因此，本实施例根据人类手掌的生理特点，手掌在张紧过程中，P2、P3以及P4的相对位置变化较小，唯一变化较大的是P1，但是当以P2为支点，连接P1与P2、P2与P4、P1与P4，形成△P1P2P4后，P1的运动轨迹可以视为一条直线，也即手掌在张紧过程中∠P1P2P4的角度不变，而P4相对于P3更加远离P2，P3与P4的位置受到相同大小的波动情况下，选择P4对以P2为支点形成的夹角的波动更小。因此，以P1、P2、P4形成△P1P2P4，判断∠P1P2P4的角度是否在第一阈值范围内，根据判断结果以过滤异常误检的掌静脉图像。
具体的，设x1和y1是关键点P1的横纵坐标，x2和y2是关键点P2的横纵坐标，x4和y4是关键点P4的横纵坐标，L12为P1至P2的距离，L14为P1至P4的距离，L24为P2至P4的距离，∠P1P2P4的角度为α，则α的计算公式为：
。
值得补充说明的是，经过大量的实验测试，第一阈值范围优选为[70°，140°]。
进一步的，请参阅图3及图4，在步骤S2中，根据掌静脉目标框以及手掌关键点的几何特征检测过滤异常误检的掌静脉图像的方法，包括步骤：
以P2为支点，连接P1与P2、P2与P4、P1与P4，形成△P1P2P4；
求取△P1P2P4的面积S1与掌静脉目标框的面积S2的比值P；
若比值P在第二阈值范围之外，则删除当前掌静脉目标框以及手掌关键点。
可以理解的是，通过求取△P1P2P4的面积S1与掌静脉目标框的面积S2的比值P，可以用于验证掌静脉目标框的检测准确性，若掌静脉目标框存在较大误差，则比值P在第二阈值范围之外，解决掌静脉检测模型检测手掌的准确率不足的技术问题。
此外，手掌关键点通常会用于检测手掌的旋转方向，在掌静脉识别认证过程中用于校正方向，通过求取△P1P2P4的面积S1与掌静脉目标框的面积S2的比值P，还可以对P1、P2、P3、P4的检测准确性进行验证，在识别认证阶段提高掌静脉识别认证的准确率。
具体的，设wroi与hroi分别表示掌静脉目标框的宽和高，则△P1P2P4的面积S1与掌静脉目标框的面积S2的比值P为：
。
值得补充说明的是，经过大量的实验测试，第二阈值范围优选为[0.05，0.2]。
进一步的，请参阅图3及图4，在步骤S2中，根据掌静脉目标框以及手掌关键点的几何特征检测过滤异常误检的掌静脉图像的方法，包括步骤：
检测P1、P2、P3、P4是否在掌静脉目标框内；
若存在P1、P2、P3、P4任意一点在掌静脉目标框内之外，则删除当前掌静脉目标框以及手掌关键点。
可以理解的是，由于P1、P2、P3以及P4环绕于掌部区域设置，准确的掌静脉目标框会将手掌关键点包含在内，因此，通过检测P1、P2、P3、P4是否在掌静脉目标框内，可以判断掌静脉目标框是否过小、偏移等异常误检。
值得补充说明的是，上述三种异常误检方式可以依次执行，也可以仅执行其中一种或者两种，在删除当前掌静脉目标框以及手掌关键点后异常误检程序终止，对下一帧掌静脉图像进行评估。
在本申请另一个实施例中，请一并参阅图5及图6，在步骤S3中，对掌静脉目标框进行评分的方法，包括步骤：
计算掌静脉ROI区域在掌静脉图像中的尺寸占比；
根据掌静脉ROI区域在掌静脉图像中的尺寸占比的进行评分。
可以理解的是，采集掌静脉的摄像头是近红外广角镜头时，存在一定的畸变率，容易导致同一手掌不同距离下的静脉成像发生不同程度的形变。且非接触式掌静脉采集的过程中，掌静脉采集距离过远会产生很多噪声。因此，控制掌静脉图像的采集距离能够提升掌静脉图像的采集质量。而采集距离可以直接体现在掌静脉目标框在掌静脉图像中的尺寸占比，尺寸占比越大距离越近，尺寸占比越小距离越远。
具体的，wsrc,和hsrc分别代表掌静脉图像的宽和高，wroi与hroi分别表示掌静脉目标框的宽和高，则掌静脉ROI区域在掌静脉图像中的尺寸占比分数score2的公式为：
。
值得补充说明的是，经过大量的实验测试，满分尺寸占比的取值范围优选为（10，30）。
进一步的，请一并参阅图7，在步骤S3中，对掌静脉目标框进行评分的方法，包括步骤：
计算掌静脉目标框的宽高比；
根据掌静脉目标框的宽高比的进行评分。
可以理解的是，非接触式采集不同距离的掌静脉图像时，很难控制手掌不发生采集位置的偏移。手掌采集位置的偏移，会引起掌静脉纹理缺失，降低了后续识别的准确率。正常人手掌的掌静脉目标框是接近正方形，因此，根据掌静脉目标框的宽高比的进行评分，可以降低采集位置偏移对掌静脉图像识别的干扰。
具体的，设wroi与hroi分别表示掌静脉目标框的宽和高，则掌静脉目标框的宽高比分数score3为：
。
值得补充说明的是，经过大量的实验测试，满分尺寸占比的取值范围优选为（67，100）。
在本申请另一个实施例中，请一并参阅图8至图10，在步骤S3中，对掌静脉目标框对应的掌静脉ROI区域进行评分的方法，包括步骤：
收集正常手掌静脉图像数据集以及倾斜手掌静脉图像数据集；
给定正常手掌静脉图像数据集的标签为1，倾斜手掌静脉图像数据集的标签为0；
建立基于深度卷积神经网络的手掌倾斜二分类模型；
将正常手掌静脉图像数据集以及倾斜手掌静脉图像数据集输入至手掌倾斜二分类模型进行训练；
将掌静脉目标框对应的掌静脉ROI区域输入至训练好的手掌倾斜二分类模型；
手掌倾斜分类模型输出分类结果后使用softmax函数归一化到（0，1）之间，输出手掌倾斜评估分数。
可以理解的是，手掌的倾斜对掌静脉采集的图像质量影响很大，容易造成静脉血管的遮挡且局部亮度不均匀，非接触式采集掌静脉图像时，控制手掌姿态不发生倾斜和偏移是十分困难的，并且手掌倾斜的情况本身是在三维空间上发生的，现有技术无法在二维空间上评估和衡量倾斜的角度。因此，本实施例中通过收集正常手掌静脉图像数据集以及倾斜手掌静脉图像数据集，建立了一个基于深度卷积神经网络的手掌倾斜二分类模型，解决了三维空间上发生的倾斜手掌的质量评估问题。
具体的，在训练阶段，将正常手掌静脉图像数据集以及倾斜手掌静脉图像数据集输入至手掌倾斜二分类模型，采用二分类交叉熵损失对二分类模型进行二分类训练；在推理阶段，输入任意的掌静脉ROI区域，手掌倾斜二分类模型输出分类结果后使用softmax函数归一化到（0，1）之间，输出手掌倾斜评估分数。
手掌倾斜评估分数score1的计算方式为：
。
其中softmax表示softmax函数，fclassifier是手掌倾斜二分类模型，Iroi是掌静脉ROI区域的图像，Pclassifier是分类模型的输出概率值，取值范围是（0，1）；ylabel是手掌倾斜二分类模型输出的预测标签，二分类的标签值为0或1；Argmax为Argmax函数，用于求取fclassifier（Iroi）最大值所对应的索引值，例如二分类fclassifier（Iroi）的输出值为[0.3,0.7],对应的索引值为（0，1），由于0.7大于0.3，而0.7对应的索引值为1，则argmax(fclassifier（Iroi）)=1。
值得补充说明的是，经过大量的实验测试，倾斜手掌评估分数的阈值优选设定为60，当倾斜手掌评估分数小于60时，判定掌静脉ROI区域为倾斜手掌静脉，反之掌静脉ROI区域为正常手掌静脉。
进一步的，请一并参阅图11，在步骤S3中，对掌静脉目标框对应的掌静脉ROI区域进行评分的方法，包括步骤：
对掌静脉目标框按照比例进行缩减，获取掌静脉ROI区域内的掌静脉ROI中心区域；
采用Lab颜色空间计算掌静脉ROI中心区域的亮度并进行评分。
可以理解的是，静脉血管图像采用的是近红外成像技术，自然环境中的红外光也会被近红外摄像头捕获并成像，图像背景的干扰会直接影响到图像亮度的评估准确性。因此，直接计算掌静脉ROI区域的亮度进行评估得到的结果不准确。为了避免图像背景的干扰，利用掌静脉集中于手心的人体特点，本实施例对掌静脉目标框作了进一步处理，裁切出无背景干扰的掌静脉ROI中心区域，用于计算图像亮度分数。
具体的，本实施例将掌静脉目标框的宽和高各缩小一半，获得掌静脉中心目标框，
掌静脉目标框的横纵坐标为xroi、yroi，宽高为wroi、hroi，掌静脉中心目标框的横纵坐标为、，宽高为、，根据掌静脉中心目标框获取掌静脉ROI中心区域。掌静脉
ROI中心区域的位置参数的转换公式如下所示：
。
本实施例采用Lab颜色空间评估掌静脉亮度，代替传统方法中计算图像的灰度均值。Lab颜色空间是一种与采集设备无关的颜色空间，由一个亮度通道L和两个颜色通道a、b组成的。因此，可以采用图像Lab空间的亮度通道L中像素均值评估图像亮度。掌静脉ROI中心区域的亮度分数score4计算方式如下所示：
。
其中fLab是将RGB图像转换到Lab颜色空间的函数，I、roi表示裁切后的掌静脉ROI中心区域的图像，L是转换后L通道的掌静脉ROI中心区域的图像，Li，j表示I、roi图像中在L通道上第i行第j列的像素亮度值。
值得补充说明的是，正常掌静脉图像的亮度分数取值范围优选为（35，55），亮度分数过低或过高，表示掌静脉图像欠曝或过曝。
进一步的，请一并参阅图10，在步骤S3中，对掌静脉目标框对应的掌静脉ROI区域进行评分的方法，包括步骤：
采用计算图像Brenner梯度的方法评估掌静脉ROI区域的清晰度；
根据掌静脉ROI区域的清晰度进行评分。
可以理解的是，图像清晰度的干扰会直接影响到掌静脉图像识别准确性。本实施例采用计算图像Brenner梯度的方法评估掌静脉ROI区域的清晰度。传统方法通常采用拉普拉斯梯度来计算图像清晰度，计算图像的二阶导数来检测边缘，边缘越清晰，图像就越清晰，但它会增强图像中的噪声。而本实施例中近红外摄像头采集的掌静脉图像，其图像本身存在的部分噪声会干扰清晰度计算的准确性。因此，采用Brenner梯度计算清晰度更加适合本实施例中的掌静脉图像。Brenner梯度通过简单的计算相邻两个像素灰度差的平方来实现，该方法计算掌静脉ROI区域的清晰度分数score5的公式如下所示：
。
其中fi，j表示I、roi图像中第i行第j列的像素灰度值，fi，j+2表示I、roi图像中第i行第j+2列的像素灰度值。
值得补充说明的是，正常掌静脉图像的清晰度分数取值范围优选为（50，100）。
在本申请另一个实施例中，请一并参阅图5，在步骤S4中，通过融合加权获取掌静脉图像的综合评分结果的方法，包括步骤：
对手掌倾斜评估分数score1、掌静脉ROI区域在掌静脉图像中的尺寸占比分数score2、掌静脉目标框的宽高比分数score3、掌静脉ROI中心区域的亮度分数score4、掌静脉ROI区域的清晰度分数score5进行融合加权。
可以理解的是，本实施例中通过融合加权的方式获取掌静脉图像质量评估的最终结果，综合考虑这几个质量评估分数分别对图像质量的影响，从而进一步提升掌静脉质量评估的准确性。
综合评分结果Q的表达式为：
。
其中，W1、W2、W3、W4和W5分别是手掌倾斜评估分数score1、掌静脉ROI区域在掌静脉图像中的尺寸占比分数score2、掌静脉目标框的宽高比分数score3、掌静脉ROI中心区域的亮度分数score4、掌静脉ROI区域的清晰度分数score5的权重系数。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种掌静脉图像质量评估方法，其特征在于，包括步骤：
获取掌静脉图像的掌静脉目标框以及手掌关键点；
根据掌静脉目标框以及手掌关键点的几何特征检测过滤异常误检的掌静脉图像；
分别对掌静脉目标框以及掌静脉目标框对应的掌静脉ROI区域进行评分；
通过融合加权获取掌静脉图像的综合评分结果。
2.如权利要求1所述的掌静脉图像质量评估方法，其特征在于，所述手掌关键点包括P1、P2、P3以及P4，其中P1为拇指与食指之间的指根点，P2为中指与食指之间的指根点，P3为中指与无名指之间的指根点，P4为小指与无名指之间的指根点。
3.如权利要求2所述的掌静脉图像质量评估方法，其特征在于，根据掌静脉目标框以及手掌关键点的几何特征检测过滤异常误检的掌静脉图像的方法，包括步骤：
以P2为支点，连接P1与P2、P2与P4、P1与P4，形成△P1P2P4；
求取∠P1P2P4的角度；
若∠P1P2P4的角度在第一阈值范围之外，则删除当前掌静脉目标框以及手掌关键点。
4.如权利要求2所述的掌静脉图像质量评估方法，其特征在于，根据掌静脉目标框以及手掌关键点的几何特征检测过滤异常误检的掌静脉图像的方法，包括步骤：
以P2为支点，连接P1与P2、P2与P4、P1与P4，形成△P1P2P4；
求取△P1P2P4的面积S1与掌静脉目标框的面积S2的比值P；
若比值P在第二阈值范围之外，则删除当前掌静脉目标框以及手掌关键点。
5.如权利要求2所述的掌静脉图像质量评估方法，其特征在于，根据掌静脉目标框以及手掌关键点的几何特征检测过滤异常误检的掌静脉图像的方法，包括步骤：
检测P1、P2、P3、P4是否在掌静脉目标框内；
若存在P1、P2、P3、P4任意一点在掌静脉目标框内之外，则删除当前掌静脉目标框以及手掌关键点。
6.如权利要求1至5任意一项所述的掌静脉图像质量评估方法，其特征在于，对掌静脉目标框进行评分的方法，包括步骤：
计算掌静脉ROI区域在掌静脉图像中的尺寸占比；
根据掌静脉ROI区域在掌静脉图像中的尺寸占比的进行评分。
7.如权利要求6所述的掌静脉图像质量评估方法，其特征在于，对掌静脉目标框进行评分的方法，包括步骤：
计算掌静脉目标框的宽高比；
根据掌静脉目标框的宽高比的进行评分。
8.如权利要求1至5任意一项所述的掌静脉图像质量评估方法，其特征在于，对掌静脉目标框对应的掌静脉ROI区域进行评分的方法，包括步骤：
收集正常手掌静脉图像数据集以及倾斜手掌静脉图像数据集；
给定正常手掌静脉图像数据集的标签为1，倾斜手掌静脉图像数据集的标签为0；
建立基于深度卷积神经网络的手掌倾斜二分类模型；
将正常手掌静脉图像数据集以及倾斜手掌静脉图像数据集输入至手掌倾斜二分类模型进行训练；
将掌静脉目标框对应的掌静脉ROI区域输入至训练好的手掌倾斜二分类模型；
手掌倾斜分类模型输出分类结果后使用softmax函数归一化到（0，1）之间，输出手掌倾斜评估分数。
9.如权利要求8所述的掌静脉图像质量评估方法，其特征在于，对掌静脉目标框对应的掌静脉ROI区域进行评分的方法，包括步骤：
对掌静脉目标框按照比例进行缩减，获取掌静脉ROI区域内的掌静脉ROI中心区域；
采用Lab颜色空间计算掌静脉ROI中心区域的亮度并进行评分。
10.如权利要求9所述的掌静脉图像质量评估方法，其特征在于，对掌静脉目标框对应的掌静脉ROI区域进行评分的方法，包括步骤：
采用计算图像Brenner梯度的方法评估掌静脉ROI区域的清晰度；
根据掌静脉ROI区域的清晰度进行评分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311385206.6A CN117115624A (zh) | 2023-10-25 | 2023-10-25 | 一种掌静脉图像质量评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311385206.6A CN117115624A (zh) | 2023-10-25 | 2023-10-25 | 一种掌静脉图像质量评估方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117115624A true CN117115624A (zh) | 2023-11-24 |
Family
ID=88796993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311385206.6A Pending CN117115624A (zh) | 2023-10-25 | 2023-10-25 | 一种掌静脉图像质量评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115624A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117558040A (zh) * | 2024-01-12 | 2024-02-13 | 盛视科技股份有限公司 | 一种基于掌静脉识别的键盘鼠标控制方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113870214A (zh) * | 2021-09-26 | 2021-12-31 | 盛视科技股份有限公司 | 静脉图像的质量评估方法、评估装置及终端 |
| CN115829975A (zh) * | 2022-12-07 | 2023-03-21 | 上海银欣高新技术发展股份有限公司 | 掌静脉图像质量检测方法、系统、介质及电子设备 |
| CN116071790A (zh) * | 2022-12-30 | 2023-05-05 | 佳都科技集团股份有限公司 | 掌静脉图像质量评估方法、装置、设备及存储介质 |
| CN116168422A (zh) * | 2022-12-21 | 2023-05-26 | 盛视科技股份有限公司 | 掌静脉有效区域提取及矫正方法、识别方法及存储介质 |
-
2023
- 2023-10-25 CN CN202311385206.6A patent/CN117115624A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113870214A (zh) * | 2021-09-26 | 2021-12-31 | 盛视科技股份有限公司 | 静脉图像的质量评估方法、评估装置及终端 |
| CN115829975A (zh) * | 2022-12-07 | 2023-03-21 | 上海银欣高新技术发展股份有限公司 | 掌静脉图像质量检测方法、系统、介质及电子设备 |
| CN116168422A (zh) * | 2022-12-21 | 2023-05-26 | 盛视科技股份有限公司 | 掌静脉有效区域提取及矫正方法、识别方法及存储介质 |
| CN116071790A (zh) * | 2022-12-30 | 2023-05-05 | 佳都科技集团股份有限公司 | 掌静脉图像质量评估方法、装置、设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117558040A (zh) * | 2024-01-12 | 2024-02-13 | 盛视科技股份有限公司 | 一种基于掌静脉识别的键盘鼠标控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7496214B2 (en) | Method of palm print identification | |
| CN110619628B (zh) | 一种人脸图像质量评估方法 | |
| US20160070968A1 (en) | Image-based liveness detection for ultrasonic fingerprints | |
| CN103902978B (zh) | 人脸检测及识别方法 | |
| CN107341473A (zh) | 手掌特征识别方法、手掌特征识别设备、及存储介质 | |
| CN108596087B (zh) | 一种基于双网络结果的驾驶疲劳程度检测回归模型 | |
| CN109544523B (zh) | 基于多属性人脸比对的人脸图像质量评价方法及装置 | |
| CN115841434B (zh) | 一种用于气体浓度分析的红外图像增强方法 | |
| CN117115624A (zh) | 一种掌静脉图像质量评估方法 | |
| Sharma et al. | Two-stage quality adaptive fingerprint image enhancement using Fuzzy C-means clustering based fingerprint quality analysis | |
| WO2015131468A1 (en) | Method and system for estimating fingerprint pose | |
| CN106886216A (zh) | 基于rgbd人脸检测的机器人自动跟踪方法和系统 | |
| CN112396011B (zh) | 一种基于视频图像心率检测及活体检测的人脸识别系统 | |
| CN111291701B (zh) | 一种基于图像梯度和椭圆拟合算法的视线追踪方法 | |
| CN110046565B (zh) | 一种基于Adaboost算法的人脸检测方法 | |
| CN111126240A (zh) | 一种三通道特征融合人脸识别方法 | |
| US20210200990A1 (en) | Method for extracting image of face detection and device thereof | |
| CN109190460A (zh) | 基于累积匹配和等错误率的手形手臂静脉融合识别方法 | |
| JP4507679B2 (ja) | 画像認識装置、画像抽出装置、画像抽出方法及びプログラム | |
| CN112883824A (zh) | 一种用于智能采血的手指静脉特征识别装置及其识别方法 | |
| CN105975906B (zh) | 一种基于面积特征的pca静态手势识别方法 | |
| CN111222380A (zh) | 一种活体检测方法、装置、及其识别模型训练方法 | |
| JP4901229B2 (ja) | 赤目検出方法および装置並びにプログラム | |
| Al-Nima et al. | Segmenting finger inner surface for the purpose of human recognition | |
| Ma et al. | A finger vein image quality assessment method using object and human visual system index |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |