CN116311402A - 掌静脉活体识别方法、识别装置及可读存储介质 - Google Patents
掌静脉活体识别方法、识别装置及可读存储介质 Download PDFInfo
- Publication number
- CN116311402A CN116311402A CN202310202632.5A CN202310202632A CN116311402A CN 116311402 A CN116311402 A CN 116311402A CN 202310202632 A CN202310202632 A CN 202310202632A CN 116311402 A CN116311402 A CN 116311402A
- Authority
- CN
- China
- Prior art keywords
- palm vein
- texture
- feature map
- effective area
- root
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000003462 vein Anatomy 0.000 title claims abstract description 190
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 40
- 238000012937 correction Methods 0.000 claims abstract description 21
- 238000010586 diagram Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000011176 pooling Methods 0.000 claims abstract description 7
- 244000060701 Kaempferia pandurata Species 0.000 claims description 58
- 235000016390 Uvaria chamae Nutrition 0.000 claims description 58
- 210000003811 finger Anatomy 0.000 claims description 29
- 210000004247 hand Anatomy 0.000 claims description 20
- 210000004932 little finger Anatomy 0.000 claims description 5
- 210000003813 thumb Anatomy 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000001727 in vivo Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Vascular Medicine (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Collating Specific Patterns (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本申请公开一种掌静脉活体识别方法，其包括提取掌静脉图像的掌静脉有效区域，对掌静脉有效区域进行方位旋转矫正；利用主干网络的第一特征提取层对方位旋转矫正后的掌静脉有效区域进行掌静脉纹理特征提取，获得纹理特征图f1；将纹理特征图f1进行纹理增强处理，获得纹理特征图T；利用主干网络的第二特征提取层对纹理特征图f1进行特征提取，获得特征图f2；将特征图f2输入关注掌静脉纹理局部区域的注意力模块，获得注意力特征图D；将获得特征图f2和注意力特征图D进行平均池化获得纹理特征矩阵P，将纹理特征矩阵P输入主干网络的全连接层进行掌静脉活体真伪判断。本申请还提供一种应用掌静脉活体识别方法的存储介质和识别装置。
Description
技术领域
本申请涉及图像处理领域，更具体地说，涉及一种掌静脉活体识别方法、识别装置及可读存储介质。
背景技术
当前指纹识别、人脸识别这两种常见的身份识别技术十分成熟，被广泛应用于身份识别、安检、门禁和医学研究等方面。掌静脉作为一种安全性更高的生物特征，已经被研究了几十年，掌静脉的识别具有非接触等特点，在当前公共场所人员的身份识别方面具有非常好的应用前景。为保证掌静脉识别的安全性和准确性，掌静脉识别过程中需抵御非活体掌静脉的欺骗攻击，例如利用打印的掌静脉图片进行身份验证，从而在掌静脉身份识别过程需先识别掌静脉是否为活体静脉。
发明内容
针对现有技术，本申请解决的技术问题是提供一种能识别真伪活体掌静脉的掌静脉活体识别方法、识别装置及计算机可读存储介质。
为解决上述技术问题，第一方面，本申请提供一种掌静脉活体识别方法，包括：
提取掌静脉图像的掌静脉有效区域，对掌静脉有效区域进行方位旋转矫正使食指指根与中指指根之间的点和中指指根与无名指指根之间的点位于与X轴平行的同一水平线上；
利用主干网络的第一特征提取层对方位旋转矫正后的掌静脉有效区域进行掌静脉纹理特征提取，获得纹理特征图f1；
将纹理特征图f1进行纹理增强处理，获得纹理特征图T；
利用主干网络的第二特征提取层对纹理特征图f1进行特征提取，获得特征图f2；
将特征图f2输入关注掌静脉纹理局部区域的注意力模块，获得注意力特征图D；以及，
将获得特征图f2和注意力特征图D进行平均池化获得纹理特征矩阵P，将纹理特征矩阵P输入主干网络的全连接层进行掌静脉活体真伪判断；
其中第一特征提取层和第二特征提取层均为多个卷积层且依照主干网络的前后顺序分布。
在一种可能的实现方式中，将纹理特征图f1进行纹理增强处理获得纹理特征图T的步骤包括：
将纹理特征图f1进行下采样获得平均池化后的特征映射t；
将特征映射t进行上采样扩充至与纹理特征图f1相同的维度；
将纹理特征图f1与扩充处理后的特征映射t进行聚合；
将聚合的结果进行密集卷积，获得纹理增强后的得纹理特征图T。
在一种可能的实现方式中，所述掌静脉活体识别方法还包括：
利用主干网络的第三特征提取层对特征图f2进行特征提取，获得深层特征图f3；
将深层特征图f3进行平均池化，获得全局特征图G；
将纹理特征矩阵P和全局特征图G一并输入主干网络的全连接层进行掌静脉活体真伪判断；
其中，第三特征提取层为多个卷积层且第二特征提取层和第三征提取层均为多个卷积层且依照主干网络的前后顺序分布。
在一种可能的实现方式中，主干网络为resnet50网络，第一特征提取层为resnet50网络的第一层至第七层的卷积层，第二特征提取层为resnet50网络的第八至层第十五层的卷积层，第三特征提取层为resnet50网络的第十六层至第四十九层的卷积层。
在一种可能的实现方式中，对掌静脉有效区域进行方位旋转矫正，以使食指指根与中指指根之间的点和中指指根与无名指指根之间的点位于与X轴平行的同一水平线上的步骤包括：
定位出掌静脉有效区域中四个指根点，其中四个指根点包括大拇指指根与食指指根之间的点P1、食指指根与中指指根之间的点P2、中指指根与无名指指根之间的点P3以及无名指指根与小拇指指根之间的点P4；
根据四个指根点判断掌静脉有效区域是属于左右还是右手；
将掌静脉有效区域调整为手指方向朝上，根据左右手的结构特性对掌静脉有效区域进行方位旋转矫正。
在一种可能的实现方式中，根据四个指根点判断检测出的掌静脉有效区域是属于左右还是右手的步骤包括：
以关键点P1为原点建立二维直角坐标系,计算P2、P3、P4分别和P1的连接线相对于X轴方向的偏转角度αn1，其中n∈(2,3,4)；
判断P2、P3和P4是否位于以关键点P1为原点建立二维直角坐标系的同一象限内；
若是，根据P2、P3和P4对应的偏转角度α21、α31和α41来判断掌静脉有效区域是属于左右还是右手；
若否，选取位于同一象限内的两个关键点Pi和Pj，根据Pi和Pj对应的偏转角度αi1和αj1来判断掌静脉有效区域是属于左右还是右手，其中i∈(2,3,4)，j∈(2,3,4)且i＜j。
在一种可能的实现方式中，将掌静脉有效区域调整为手指方向朝上，根据左右手的结构特性对掌静脉有效区域进行方位旋转矫正的步骤包括：
选取关键点P2和P4；
对于属于右手的掌静脉，计算方位旋转角度β＝arctan((y4’-y2’)/(x4’-x2’))，对于属于左手的掌静脉，计算方位旋转角度β＝arctan((y2’-y4’)/(x2’-x4’))；
若方位旋转角度β大于0，则将掌静脉有效区域绕图像中心点逆时针旋转角度β；
如方位旋转角度β小于0，则将掌静脉有效区域绕图像中心点顺时针旋转角度β；
其中，x2’和y2’分别为第2个关键点P2的横坐标和纵坐标，x4’和y4’分别为第4个关键点P4的横坐标和纵坐标。
第二方面，本申请还提供一种计算机可读存储介质，所述计算机可读介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行所述掌静脉活体识别方法。
第三方面，本申请还提供一种掌静脉活体识别装置，包括处理器和所述处理器连接的存储器，所述存储器用于存储可执行代码且所述处理器用于执行所述存储器的可执行代码，当所述处理器执行代码时实现执行所述掌静脉活体识别方法。
本申请提供的掌静脉活体识别方法的有益效果在于：活体和非活体的掌静脉区别体现在浅层的局部纹理区域，掌静脉活体识别方法通过主干网络提取掌静脉有效区域进行掌静脉纹理特征，并对提取后的纹理特征进行加强处理，并同时通过注意力模块关注局部纹理区域，最终将纹理特征和关注的局部特征合并至全连接层进行掌静脉活体真伪判断。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的掌静脉活体识别方法流程图；
图2为本申请实施例的申请实施例的掌静脉活体识别方法流程结构示意图；
图3为本申请实施例的左手掌静脉ROI和四个指根点标注示意图
图4为本申请实施例的右手掌静脉ROI和四个指根点标注示意图；
图5为本申请实施例的SCRFD网络对一右手掌静脉图像进行检测的结果示意图；
图6为图5掌静脉图像获取的最终的掌静脉有效区域和掌静脉有效区域内的四个指根点结果；
图7为本申请实施例的左、右手关键点P2、P3、P4在各象限内的偏转角度示意图；
图8为本申请实施例的一个左手掌静脉有效区域进行方位旋转矫正的结果示意图。
具体实施方式
为了使本申请所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
现结合附图对本申请的掌静脉活体识别方法、识别装置及计算机可读存储介质进行具体说明。
请结合参照图1和图2，本申请实施例提供的掌静脉活体识别方法包括：
步骤S100：提取掌静脉图像的掌静脉有效区域，对掌静脉有效区域进行方位旋转矫正使食指指根与中指指根之间的点和中指指根与无名指指根之间的点位于与X轴平行的同一水平线上；
步骤S200：利用主干网络的第一特征提取层对方位旋转矫正后的掌静脉有效区域进行掌静脉纹理特征提取，获得纹理特征图f1；
步骤S300：将纹理特征图f1进行纹理增强处理，获得纹理特征图T；
步骤S400：利用主干网络的第二特征提取层对纹理特征图f1进行特征提取，获得特征图f2；
步骤S500：将特征图f2输入关注掌静脉纹理局部区域的注意力模块，获得注意力特征图D；
步骤S600：将获得特征图f2和注意力特征图D进行平均池化获得纹理特征矩阵P，将纹理特征矩阵P输入主干网络的全连接层进行掌静脉活体真伪判断。
进一步地，在所述步骤S400后，所述掌静脉活体识别方法还包括：
利用主干网络的第三特征提取层对特征图f2进行特征提取，获得深层特征图f3；
将深层特征图f3进行平均池化，获得全局特征图G；
将纹理特征矩阵P和全局特征图G一并输入主干网络的全连接层进行掌静脉活体真伪判断；
在上述掌静脉活体识别方法中，第一特征提取层、第二特征提取层和第三特征提取层为多个卷积层且第一特征提取层、第二特征提取层和第三征提取层依照主干网络的前后顺序分布。活体和非活体的掌静脉区别体现在浅层的局部纹理区域，掌静脉活体识别方法通过主干网络提取掌静脉有效区域进行掌静脉纹理特征，并对提取后的纹理特征进行加强处理，并同时通过注意力模块关注局部纹理区域，最终将纹理特征和关注的局部特征合并至全连接层进行掌静脉活体真伪判断。
在一实施例中，由于真假掌静脉之间的差异通常发生在局部区域，所以本发明注意力模块为一个轻量加权的注意力模块。该注意力模块由1×1的卷积层，批量规范化层和非线性激活函数ReLu组成，将特征图f2输入到该注意力模块(CBAM)，得到注意力特征图注意力特征图D。注意力模块能够有效的增强有用的局部区域信息，弱化无用的局部区域信息，从而增强模型对真假掌静脉图像的区分能力。
值得说明的是，在图2中，backbone layer1代表第一特征提取层、backbonelayer2代表第二特征提取层、backbone3、4代表第三特征提取层。纹理增强模块实现步骤S300。
在一实施例中，主干网络为resnet50网络，第一特征提取层为resnet50网络的第一层至第七层的卷积层，第二特征提取层为resnet50网络的第八至层第十五层的卷积层，第三特征提取层为resnet50网络的第十六层至第四十九层的卷积层；主干网络的全连接层为resnet50网络的第50层，全连接层即作为图2中的分类器。在另一实施例中，主干网络不限于resnet50网络。
在一实施例中，在主干网络进行训练过程中，采用cross entropy loss和arcfaceloss(Additive Angular Margin Loss)的结合作为损失函数。将生成的掌静脉数据、原始的掌静脉数据以及伪造的掌静脉数据进行合并，形成新的训练集，训练掌静脉识别模型resnet50。arcface loss的优点是性能高，易于编程实现，复杂性低，且为了性能的稳定，arcface loss不需要与其它loss函数实现联合监督，可以很容易的收敛于任何数据集。损失函数计算表达式为：L1＝λ1*Lce+λ2*Larc；其中，Lce和Larc分别代表cross entropy loss和arcface loss,λ1和λ2分别代表两项损失函数的权值。通过分类器识别出某个掌静脉图像为非活体图像，例如该掌静脉图像是对打印出的掌静脉图片拍摄获得的，则拒绝利用该掌静脉图片进行后续的静脉身份验证识别；通过分类器识别出某个掌静脉图像为活体图像时，进行后续的静脉身份验证识别。
在一实施例中，对于所述步骤S300，将纹理特征图f1进行纹理增强处理获得纹理特征图T的步骤包括：
步骤S310：将纹理特征图f1进行下采样获得平均池化后的特征映射t；
步骤S320：将特征映射t进行上采样扩充至与纹理特征图f1相同的维度；
步骤S300：将纹理特征图f1与扩充处理后的特征映射t进行聚合；
步骤S330：将聚合的结果进行密集卷积，获得纹理增强后的得纹理特征图T。
其中，将纹理特征图f1与扩充处理后的特征映射t进行加权平均实现聚合；上述密集卷积包括多层卷积层，可以包括三层卷积，具体包括conv1、conv2和conv3。
在一实施例中，对于步骤S100，掌静脉有效区域进行方位旋转矫正，以使食指指根与中指指根之间的点和中指指根与无名指指根之间的点位于与X轴平行的同一水平线上的步骤包括：
步骤S110：定位出掌静脉有效区域中四个指根点，其中四个指根点包括大拇指指根与食指指根之间的点P1、食指指根与中指指根之间的点P2、中指指根与无名指指根之间的点P3以及无名指指根与小拇指指根之间的点P4；
步骤S120：根据四个指根点判断掌静脉有效区域是属于左右还是右手；
步骤S130：将掌静脉有效区域调整为手指方向朝上，根据左右手的结构特性对掌静脉有效区域进行方位旋转矫正。
值得说明的是，掌静脉有效区域即为手掌掌心区域的静脉区域。以图像左上角为原点建立图像坐标系，将掌静脉有效区域调整为手指方向朝上，即为将掌静脉有效区域统一调整为人眼视觉习惯查看的方向，统一掌静脉有效区域的手指朝向之后有利于后续进行方位旋转矫正。
在步骤S100中，利用基于SCRFD轻量级检测网络检测掌静脉ROI(有效区域)和四个指根点进行检测。在训练阶段，首先使用摄像头采集不同旋转角度的近红外掌静脉图像，并分别标注左、右手掌静脉有效区域(ROI)和四个指根关键点，其中ROI区域标注内容为矩形框的坐标和类别，类别是指掌静脉有效区域，四个指根关键点标注内容为指根点的二维坐标值，标注的关键点顺序固定为从大拇指到小拇指方向，并且大拇指指根和食指指根之间的点、食指指根和中指指根之间的点、中指指根和无名指指根之间的点以及无名指指根和小拇指指根之间的点分别标记为关键点P1、P2、P3和P4；然后输入掌静脉图像和标注内容训练SCRFD；在推理阶段，输入任意角度的掌静脉图像，SCRFD网络能够快速输出掌静脉ROI检测框坐标和四个指根点坐标。其中，图3为左手掌静脉ROI和四个指根点标注示意图；图4为右手掌静脉ROI和四个指根点标注示意图；
图5为SCRFD网络对一右手掌静脉图像进行检测的结果示意图；图6为图5掌静脉图像获取的最终的掌静脉有效区域和掌静脉有效区域内的四个指根点结果。
进一步地，在步骤S100中，SCRFD网络检测出的四个指根点坐标为在原始掌静脉图像中的原始坐标，定位出掌静脉有效区域中四个指根点为：xn’＝xn-xsrc；yn’＝yn-ysrc。
其中，xn’和yn’分别为定位出第n个关键点Pn的横坐标和纵坐标；xn和yn分别为原始的掌静脉图像中的第n个关键点Pn的横坐标和纵坐标，即利用SCRFD网络检测出掌静脉图像中的第n个关键点Pn的横坐标和纵坐标；xsrc和ysrc为检测出的矩形的掌静脉有效区域的左上角的横坐标和纵坐标。
在一实施例中，对于步骤S120，根据四个指根点判断检测出的掌静脉有效区域是属于左右还是右手的步骤包括：
以关键点P1为原点建立二维直角坐标系；
计算P2、P3、P4分别和P1的连接线相对于X轴方向的偏转角度αn1，其中n∈(2,3,4)；
判断P2、P3和P4是否位于以关键点P1为原点建立二维直角坐标系的同一象限内；
若是，根据P2、P3和P4对应的偏转角度α21、α31和α41来判断掌静脉有效区域是属于左右还是右手；
若否，选取位于同一象限内的两个关键点Pi和Pj，根据Pi和Pj对应的偏转角度αi1和αj1来判断掌静脉有效区域是属于左右还是右手，其中i∈(2,3,4)，j∈(2,3,4)且i＜j。
其中，偏转角度αn1的计算公式为：αn1＝arctan((yn’-y1’)/(xn’-x1’))；
其中，xn’和yn’分别为第n个关键点Pn的横坐标和纵坐标，x1’和y1’分别为第1个关键点P1的横坐标和纵坐标。并且xn’、yn’、x1’和y1’可利用步骤S100中的方法计算。
其中，如图7所示，在关键点P1为原点建立二维直角坐标系中，左右手的在同一象限内的关键点P2、P3、P4分别和P1的连接线相对于X轴方向的偏转角度的示意图。在上述步骤中，根据P2、P3和P4对应的偏转角度α21、α31和α41来判断掌静脉有效区域是属于左右还是右手具体为：若是α21>α31>α41，则掌静脉有效区域来自左手；若是α21<α31<α41，则掌静脉有效区域来自右手。
其中，在上述步骤中，选取位于同一象限内的两个关键点Pi和Pj，根据Pi和Pj对应的偏转角度αi1和αj1来判断掌静脉有效区域是属于左右还是右手具体为：计算偏转角度差△α＝αi1-αj1；若当△α＞0，则掌静脉有效区域来自左手；若当△α＜0，则掌静脉有效区域来自右手。
值得说明的是，P1为原点建立二维直角坐标系中，要么在关键点P2、P3、P4要么在同一象限内，要么不在同一个象限内。其中判断掌静有效区域来自右手还是左右时，存在四个指根点在同一象限内或者不在同一象限内。其中，处理不在同一象限内的情况时，对于不在同一象限内的关键点P2、P3、P4，按照手掌的结构特性，会存在其中两个关键点在同一个象限内，即要么关键点P2、P3在同一象限内，要么关键点P3、P4在同一象限内；以关键点P2、P3在同一象限为例，当△α＝α21-α31大于0时，掌静脉有效区域来自右手，当△α＝α21-α31小于0时，掌静脉有效区域来自左手。
在一实施例中，对于步骤S130，将掌静脉有效区域调整为手指方向朝上，根据左右手的结构特性对掌静脉有效区域进行方位旋转矫正的步骤包括：
步骤S131：选取关键点P2和P4；
步骤S132：对于属于右手的掌静脉，计算方位旋转角度β＝arctan((y4’-y2’)/(x4’-x2’))；
步骤S133：对于属于左手的掌静脉，计算方位旋转角度β＝arctan((y2’-y4’)/(x2’-x4’))；
步骤S134：若方位旋转角度β大于0，则将掌静脉有效区域绕图像中心点逆时针旋转角度β；
步骤S135：如方位旋转角度β小于0，则将掌静脉有效区域绕图像中心点顺时针旋转角度β；
在上述步骤中，x2’和y2’分别为第2个关键点P2的横坐标和纵坐标，x4’和y4’分别为第4个关键点P4的横坐标和纵坐标。
值得说明的是，左右手的结构特性存在如下特性：掌静脉有效区域统一调整为手指方向朝上，左手掌静脉的关键点P2和P4的排布顺序与右手掌静脉的关键点P2和P4的排布顺序刚好相反。为了同一方位旋转角度β求解方式，均以关键点P2和P4在X轴正方向上排位第二个的关键点为起点且以关键点P2和P4在X轴正方向上排位第一个的关键点为终点。其中，图8为一个左手掌静脉有效区域进行方位旋转矫正的结果示意图。
在所述步骤S100中，提取掌静脉图像中掌静脉有效区域以排除掌心区域以外的干扰区域；且判断提取的掌静脉有效区域属于左右还是右手，并将掌静脉有效区域调整为手指方向朝上且分别根据左右手结构特性均将左右手的掌静脉有效区域的食指指根与中指指根之间的点和中指指根与无名指指根之间的点位于与X轴平行的同一水平线上，如此可统一掌静脉有效区域中手掌朝向角度；因此该掌静脉有效区域提取及矫正方法有效地为后续掌静脉识别排除了干扰区域且排除了手掌角度问题对掌静脉识别的影响。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行所述掌静脉活体识别方法。
本申请实施例还提供一种掌静脉活体识别装置，包括处理器和所述处理器连接的存储器，所述存储器用于存储可执行代码且所述处理器用于执行所述存储器的可执行代码，当所述处理器试执行代码时实现所述掌静脉活体识别方法。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。
Claims (9)
1.一种掌静脉活体识别方法，其特征在于，包括：
提取掌静脉图像的掌静脉有效区域，对掌静脉有效区域进行方位旋转矫正使食指指根与中指指根之间的点和中指指根与无名指指根之间的点位于与X轴平行的同一水平线上；
利用主干网络的第一特征提取层对方位旋转矫正后的掌静脉有效区域进行掌静脉纹理特征提取，获得纹理特征图f1；
将纹理特征图f1进行纹理增强处理，获得纹理特征图T；
利用主干网络的第二特征提取层对纹理特征图f1进行特征提取，获得特征图f2；
将特征图f2输入关注掌静脉纹理局部区域的注意力模块，获得注意力特征图D；
将获得特征图f2和注意力特征图D进行平均池化获得纹理特征矩阵P，将纹理特征矩阵P输入主干网络的全连接层进行掌静脉活体真伪判断；
其中第一特征提取层和第二特征提取层均为多个卷积层且依照主干网络的前后顺序分布。
2.如权利要求1所述的掌静脉活体识别方法，其特征在于，将纹理特征图f1进行纹理增强处理获得纹理特征图T的步骤包括：
将纹理特征图f1进行下采样获得平均池化后的特征映射t；
将特征映射t进行上采样扩充至与纹理特征图f1相同的维度；
将纹理特征图f1与扩充处理后的特征映射t进行聚合；
将聚合的结果进行密集卷积，获得纹理增强后的得纹理特征图T。
3.如权利要求1所述的掌静脉活体识别方法，其特征在于，所述掌静脉活体识别方法还包括：
利用主干网络的第三特征提取层对特征图f2进行特征提取，获得深层特征图f3；
将深层特征图f3进行平均池化，获得全局特征图G；
将纹理特征矩阵P和全局特征图G一并输入主干网络的全连接层进行掌静脉活体真伪判断；
其中，第三特征提取层为多个卷积层且第二特征提取层和第三征提取层均为多个卷积层且依照主干网络的前后顺序分布。
4.如权利要求3所述的掌静脉活体识别方法，其特征在于，主干网络为resnet50网络，第一特征提取层为resnet50网络的第一层至第七层的卷积层，第二特征提取层为resnet50网络的第八至层第十五层的卷积层，第三特征提取层为resnet50网络的第十六层至第四十九层的卷积层。
5.如权利要求1所述的掌静脉活体识别方法，其特征在于，对掌静脉有效区域进行方位旋转矫正，以使食指指根与中指指根之间的点和中指指根与无名指指根之间的点位于与X轴平行的同一水平线上的步骤包括：
定位出掌静脉有效区域中四个指根点，其中四个指根点包括大拇指指根与食指指根之间的点P1、食指指根与中指指根之间的点P2、中指指根与无名指指根之间的点P3以及无名指指根与小拇指指根之间的点P4；
根据四个指根点判断掌静脉有效区域是属于左右还是右手；
将掌静脉有效区域调整为手指方向朝上，根据左右手的结构特性对掌静脉有效区域进行方位旋转矫正。
6.如权利要求5所述的掌静脉活体识别方法，其特征在于，根据四个指根点判断检测出的掌静脉有效区域是属于左右还是右手的步骤包括：
以关键点P1为原点建立二维直角坐标系,计算P2、P3、P4分别和P1的连接线相对于X轴方向的偏转角度αn1，其中n∈(2,3,4)；
判断P2、P3和P4是否位于以关键点P1为原点建立二维直角坐标系的同一象限内；
若是，根据P2、P3和P4对应的偏转角度α21、α31和α41来判断掌静脉有效区域是属于左右还是右手；
若否，选取位于同一象限内的两个关键点Pi和Pj，根据Pi和Pj对应的偏转角度αi1和αj1来判断掌静脉有效区域是属于左右还是右手，其中i∈(2,3,4)，j∈(2,3,4)且i＜j。
7.如权利要求5所述的掌静脉活体识别方法，其特征在于，将掌静脉有效区域调整为手指方向朝上，根据左右手的结构特性对掌静脉有效区域进行方位旋转矫正的步骤包括：
选取关键点P2和P4；
对于属于右手的掌静脉，计算方位旋转角度β＝arctan((y4’-y2’)/(x4’-x2’))，对于属于左手的掌静脉，计算方位旋转角度β＝arctan((y2’-y4’)/(x2’-x4’))；
若方位旋转角度β大于0，则将掌静脉有效区域绕图像中心点逆时针旋转角度β；
如方位旋转角度β小于0，则将掌静脉有效区域绕图像中心点顺时针旋转角度β；
其中，x2’和y2’分别为第2个关键点P2的横坐标和纵坐标，x4’和y4’分别为第4个关键点P4的横坐标和纵坐标。
8.一种计算机可读存储介质，其特征在于，所述计算机可读介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行如权利要求1至7中任一项所述的掌静脉活体识别方法。
9.一种掌静脉活体识别装置，其特征在于，包括处理器和所述处理器连接的存储器，所述存储器用于存储可执行代码且所述处理器用于执行所述存储器的可执行代码，当所述处理器试执行代码时实现如权利要求1至7中任一项所述的掌静脉活体识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310202632.5A CN116311402A (zh) | 2023-02-23 | 2023-02-23 | 掌静脉活体识别方法、识别装置及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310202632.5A CN116311402A (zh) | 2023-02-23 | 2023-02-23 | 掌静脉活体识别方法、识别装置及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116311402A true CN116311402A (zh) | 2023-06-23 |
Family
ID=86780949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310202632.5A Pending CN116311402A (zh) | 2023-02-23 | 2023-02-23 | 掌静脉活体识别方法、识别装置及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116311402A (zh) |
-
2023
- 2023-02-23 CN CN202310202632.5A patent/CN116311402A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108985134B (zh) | 基于双目摄像机的人脸活体检测及刷脸交易方法及系统 | |
| CN104123537B (zh) | 一种基于手形和掌纹识别的快速身份验证方法 | |
| Lu et al. | Finger vein identification using polydirectional local line binary pattern | |
| CN106023187B (zh) | 一种基于sift特征和角度相对距离的图像配准方法 | |
| CN106919944A (zh) | 一种基于orb算法的大视角图像快速识别方法 | |
| CN105760841B (zh) | 一种身份识别方法及系统 | |
| CN106991380A (zh) | 一种基于掌静脉图像的预处理方法 | |
| TW201211913A (en) | A method for recognizing the identity of user by palm vein biometric | |
| CN106096569A (zh) | 一种手指静脉识别方法 | |
| CN111767879A (zh) | 一种活体检测方法 | |
| CN104091145A (zh) | 人体掌脉特征图像采集方法 | |
| Xu et al. | Fingerprint pore comparison using local features and spatial relations | |
| CN112686191B (zh) | 基于人脸三维信息的活体防伪方法、系统、终端及介质 | |
| CN116229528A (zh) | 一种活体掌静脉检测方法、装置、设备及存储介质 | |
| CN104268502B (zh) | 人体静脉图像特征提取后的认识方法 | |
| Yang et al. | $\alpha $-Trimmed Weber Representation and Cross Section Asymmetrical Coding for Human Identification Using Finger Images | |
| CN116168422A (zh) | 掌静脉有效区域提取及矫正方法、识别方法及存储介质 | |
| Yu et al. | An identity authentication method for ubiquitous electric power Internet of Things based on dynamic gesture recognition | |
| CN108960003A (zh) | 基于Gabor和混沌映射的掌纹特征生成及认证方法 | |
| CN115203658A (zh) | 身份识别方法、装置、存储介质及电子设备 | |
| CN116311402A (zh) | 掌静脉活体识别方法、识别装置及可读存储介质 | |
| CN112308044A (zh) | 针对掌静脉图像的图像增强处理方法和掌静脉识别方法 | |
| Ren et al. | A novel method of score level fusion using multiple impressions for fingerprint verification | |
| CN115035332A (zh) | 基于图像识别的抗原检测结果认证方法 | |
| Yuan et al. | A realtime fingerprint liveness detection method for fingerprint authentication systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |