CN111310699A - 一种基于手掌特征的身份认证方法及系统 - Google Patents

Abstract

本发明公开了一种基于手掌特征的身份认证方法，所述方法包括：获取当前用户的手掌的掌纹红外线图像、手掌血管红外线图像以及手掌深度图像；根据一预设的手掌识别模型对所述掌纹红外线图像、手掌血管红外线图像以及手掌深度图像进行特征提取和特征融合，获取所述当前用户的手掌特征向量；将所述当前用户的手掌特征向量与一手掌注册库中的手掌特征向量进行对比，并根据对比结果确定当前用户的身份验证结果。相应的，本发明还公开了基于手掌特征的身份认证系统。通过本发明，通过对手掌掌纹和掌纹血管融合为手掌特征，来实现主动识别认证。

Description

一种基于手掌特征的身份认证方法及系统

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于手掌特征的身份认证方法及系统。

背景技术

现有技术中的非接触式安全认证一般是基于人脸识别对人进行身份验证，比如，在支付等行为时需要人配合执行所要求的动作，比如眨眼、动嘴等，以此来判断是否为真人。现有的这种安全认证模式无法主动识别人脸的真伪，需要被验证的人做出对应的动作来证明。

手掌掌纹具有唯一性和稳定性，是可用作身份鉴别的生物特征。通过手掌的掌纹特征来实现身份的鉴别，越来越得到广泛的应用。但是手掌表面的掌纹容易受到外界环境的影响，可能会导致错误的身份识别。手掌静脉隐藏在表皮下，呈网状分布，结构复杂很难被复制，手掌静脉图像需在近红外光下拍摄，无法在可见光下拍摄，这些特性使得手掌静脉成为一种安全性好的生物特征。

因此，本发明提出一种在非接触式安全认证中，通过对手掌掌纹和掌纹血管融合为手掌特征，来实现主动识别认证。

发明内容

基于此，本发明的目的在于提供一种基于手掌特征的身份认证方法及系统，通过对手掌掌纹和掌纹血管融合为手掌特征，来实现主动识别认证。

为实现上述目的，本发明提供了一种基于手掌特征的身份认证方法，所述方法包括：

S1、获取当前用户的手掌的掌纹红外线图像、手掌血管红外线图像以及手掌深度图像；

S2、根据一预设的手掌识别模型对所述掌纹红外线图像、手掌血管红外线图像以及手掌深度图像进行特征提取和特征融合，获取所述当前用户的手掌特征向量；

S3、将所述当前用户的手掌特征向量与一手掌注册库中的手掌特征向量进行对比，并根据对比结果确定当前用户的身份验证结果。

优选的，所述步骤S1包括：通过3D相机对当前用户的手掌进行拍摄，采集并获取到当前用户的手掌的掌纹红外线图像、手掌血管红外线图像以及手掌深度图像。

优选的，所述步骤S2包括:根据卷积神经网络模型，将多张手掌图像作为训练样本并对其进行训练，得到所述手掌识别模型。

优选的，所述步骤S2包括：

对所述手掌深度图像进行阈值分割处理，获取所述深度图像中的手掌区域信息；

根据所述深度图像中的手掌区域信息，对所述掌纹红外线图像、手掌血管红外线图像进行区域提取，分别获取所述掌纹红外线图像、手掌血管红外线图像中的手掌区域信息。

优选的，所述步骤S2还包括：

根据卷积神经网络和手掌识别模型，将经过阈值分割处理后的手掌深度图像、掌纹红外线图像以及手掌血管红外线图像作为所述手掌识别模型的输入，对所述手掌深度图像、掌纹红外线图像以及手掌血管红外线图像进行卷积操作和特征提取，分别获取手掌的表面纹理的特征、手掌血管分布特征以及手掌的三维几何特征，并将所述手掌的表面纹理的特征、手掌血管分布特征以及手掌的三维几何特征融合成所述手掌的特征向量。

优选的，所述步骤S2还包括：

分别对所述手掌深度图像、掌纹红外线图像以及手掌血管红外线图像进行2*2下采样和3*3的卷积操作，并运用relu函数运算，得到对应的手掌深度图像的第一特征向量、掌纹红外线图像的第一特征向量以及手掌血管红外线图像的第一特征向量；

对所述手掌深度图像的第一特征向量、掌纹红外线图像的第一特征向量以及手掌血管红外线图像的第一特征向量分别进行下采样和卷积操作，并运用relu函数运算，得到对应的手掌深度图像的第二特征向量、掌纹红外线图像的第二特征向量以及手掌血管红外线图像的第二特征向量；

重复执行上述步骤，得到对应的手掌深度图像的第三特征向量、掌纹红外线图像的第三特征向量以及手掌血管红外线图像的第三特征向量。

优选的，所述步骤S2还包括：

将所述掌纹红外线图像的第三特征向量和手掌血管红外线图像的第三特征向量进行特征融合运算，并将融合后的的特征向量进行卷积和relu函数运算，得到第一融合特征向量；

将所述第一融合特征向量与手掌深度图像的第三特征向量进行特征融合运算，并将融合后的特征向量进行卷积和relu函数运算，得到第二融合特征向量；对所述第二融合特征向量进行卷积运算得到全连层F，并对所述全连层F进行卷积运算，得到所述手掌的特征向量。

优选的，所述步骤S3包括：

采集注册用户的掌纹红外线图像、手掌血管红外线图像以及手掌深度图像，并根据所述手掌识别模型对注册用户的掌纹红外线图像、手掌血管红外线图像以及手掌深度图像进行特征提取，获取注册用户的手掌特征向量；

将所述注册用户的手掌特征向量存储于所述手掌注册库中，并建立注册用户身份信息和手掌特征向量的一一对应关系。

优选的，所述步骤S3还包括：

将所述当前用户的手掌特征向量与所述手掌注册库中的手掌特征向量进行一一对对比，若对比成功，则在所述注册库中查询该手掌特征向量对应的注册用户身份信息，获取所述当前用户的身份信息，所述当前用户身份验证成功；

若对比不成功，则所述当前用户身份验证失败。

为实现上述目的，本发明提供了一种基于手掌特征的身份认证系统，所述系统包括：

采集模块，用于获取当前用户的手掌的掌纹红外线图像、手掌血管红外线图像以及手掌深度图像；

识别模块，用于根据一预设的手掌识别模型对所述掌纹红外线图像、手掌血管红外线图像以及手掌深度图像进行特征提取和特征融合，获取所述当前用户的手掌特征向量；

验证模块，用于将所述当前用户的手掌特征向量与一手掌注册库中的手掌特征向量进行对比，并根据对比结果确定当前用户的身份验证结果。

与现有技术相比，本发明一种基于手掌特征的身份认证方法及系统，所带来的有益效果为：通过将掌纹红外线图像、手掌血管红外线图像以及手掌深度图像基于卷积网络进行特征提取和融合，生成手掌的特征向量，能够更准确的识别出用户身份信息；掌纹和血管分布不会因为年龄和意外发生大的变化，该技术方案的鲁棒性更好；通过结合手掌形状、手掌掌纹以及手掌血管等多个特征向量的技术方案，提高了精度；在非接触式的安全认证中实现了主动识别认证的功能。

附图说明

图1是根据本发明的一个实施例的基于手掌特征的身份认证方法的流程示意图。

图2是根据本发明的一个实施例的基于卷积神经网络的特征融合过程图。

图3是根据本发明的一个实施例的基于手掌特征的身份认证方法系统的系统示意图。

具体实施方式

以下将结合附图所示的具体实施方式对本发明进行详细描述，但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

如图1所示的本发明的一个实施例，本发明提供一种基于手掌特征的身份认证方法，所述方法包括：

S1、获取当前用户的手掌的掌纹红外线图像、手掌血管红外线图像以及手掌深度图像；

S2、根据一预设的手掌识别模型对所述掌纹红外线图像、手掌血管红外线图像以及手掌深度图像进行特征提取和特征融合，获取所述当前用户的手掌特征向量；

S3、将所述当前用户的手掌特征向量与一手掌注册库中的手掌特征向量进行对比，并根据对比结果确定当前用户的身份验证结果。

深度图像是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道，是指将从图像采集器到场景中各点的距离(即深度)作为像素值的图像。深度图像经过坐标转换可以计算为点云数据，数据中的每一个点表示一个空间位置信息。结构光投射到特定的光信息至物体表面后，由摄像头采集，根据物体造成的光信号的变化来计算物体的位置和深度等信息，再复原整个三维空间。一般结构光工作流程为：激光投影模组投射红外散斑场到物体的表面，红外感光模组采集图像并进行深度计算。结构光接收模组采集的散斑图，即为红外线图像。

获取当前用户的手掌的掌纹红外线图像、手掌血管红外线图像以及手掌深度图像。通过3D相机对当前用户的手掌进行拍摄，采集并获取到当前用户的手掌的掌纹红外线图像、手掌血管红外线图像以及手掌深度图像。3D相机包括结构光、TOF(Time of flight，飞行时间)和双目结构。其中，TOF类型相机的测距方式为主动式，是根据光的飞行时间直接测量距离。双目类型相机的测距方式为被动式，是根据图像特征点匹配，三角测量间接计算距离。结构光类型相机的测距方式为主动式，是根据主动投射已知编码。当前用户将手掌放置在3D相机拍摄的范围内，3D相机对手掌进行拍摄，采集到当前用户的手掌掌纹红外线图像、手掌血管红外线图像以及手掌深度图像。

将所述根据一预设的手掌识别模型对所述掌纹红外线图像、手掌血管红外线图像以及手掌深度图像进行特征提取，获取所述当前用户的手掌特征向量。所述预设的手掌识别模型是已经训练好的，通过该手掌识别模型对手掌图像进行识别，可以提取手掌的特征向量。具体地，根据卷积神经网络模型，将多张手掌图像作为训练样本并对其进行训练，得到所述手掌识别模型。卷积神经网络是一种前馈神经网络，其基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接收域相连，并提取该局部的特征；其二为特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射层是一个平面，平面上所有神经元的权值相等。

根据本发明的一个具体实施例，所述步骤S2包括：对所述手掌深度图像进行阈值分割处理，获取所述深度图像中的手掌区域信息。利用深度图的深度特性，通过设置深度值的阈值，对所述手掌深度图像进行阈值分割处理，提取所述手掌深度图像中的手掌区域，在所述手掌深度图像中除了手掌区域外，其它地方的图像像素值为0。根据所述深度图像中的手掌区域信息，对所述掌纹红外线图像、手掌血管红外线图像进行区域提取，分别获取所述掌纹红外线图像、手掌血管红外线图像中的手掌区域信息。因为掌纹红外线图像和手掌血管红外线图像与手掌深度图像是对齐的，因此可以通过手掌深度图像对掌纹红外线图像和手掌血管红外线图像进行手掌区域提取。所述手掌深度图像中像素值为0的区域，对应在掌纹红外线图像和手掌血管红外线图像的区域也设置为0。通过阈值分割的处理方式，对所述手掌深度图像、掌纹红外线图像以及手掌血管红外线图像进行图像预处理。

根据本发明的一个具体实施例，所述步骤S2包括：根据卷积神经网络和手掌识别模型，将经过阈值分割处理后的手掌深度图像、掌纹红外线图像以及手掌血管红外线图像作为所述手掌识别模型的输入，对所述手掌深度图像、掌纹红外线图像以及手掌血管红外线图像进行卷积操作和特征提取，分别获取手掌的表面纹理的特征、手掌血管分布特征以及手掌的三维几何特征，并将所述手掌的表面纹理的特征、手掌血管分布特征以及手掌的三维几何特征融合成所述手掌的特征向量。所述手掌的三维几何特征包括手掌的位置信息以及手掌的形状信息。图2所示为本发明一个具体实施例的基于卷积神经网络的特征提取过程图，其中WxHxC表示输入图像的宽、高和通道数。具体地，分别对所述手掌深度图像、掌纹红外线图像以及手掌血管红外线图像进行2*2下采样和3*3的卷积操作，并运用relu函数运算，得到对应的手掌深度图像的第一特征向量、掌纹红外线图像的第一特征向量以及手掌血管红外线图像的第一特征向量；对所述手掌深度图像的第一特征向量、掌纹红外线图像的第一特征向量以及手掌血管红外线图像的第一特征向量分别进行下采样和卷积操作，并运用relu函数运算，得到对应的手掌深度图像的第二特征向量、掌纹红外线图像的第二特征向量以及手掌血管红外线图像的第二特征向量；重复执行上述步骤，得到对应的手掌深度图像的第三特征向量、掌纹红外线图像的第三特征向量以及手掌血管红外线图像的第三特征向量。将所述掌纹红外线图像的第三特征向量和手掌血管红外线图像的第三特征向量进行特征融合运算，并将融合后的的特征向量进行卷积和relu函数运算，得到第一融合特征向量；将所述第一融合特征向量与手掌深度图像的第三特征向量进行特征融合运算，并将融合后的特征向量进行卷积和relu函数运算，得到第二融合特征向量；对所述第二融合特征向量进行卷积运算得到全连层F，并对所述全连层F进行卷积运算，得到所述手掌的特征向量。所述手掌特征向量为维度为128的特征向量。根据该技术方案，将手掌的表面纹理的特征、手掌血管分布特征以及手掌的三维几何特征进行卷积和特征融合，生成手掌的特征向量，该技术方案的鲁棒性更好。

根据本发明的一个具体实施例，所述卷积神经网络的运算，使用交叉熵损失函数和BP算法来更新和优化网络参数。其损失计算公式为：

L＝-[Ilog Y+(1-I)log(1-Y)]；

其中，L是损失大小，I是标签数据，Y是样本预测为正确的概率。BP(反向传播算法，BackPropagation)是目前用来训练人工神经网络的最常用且最有效的算法，其基本结构包括输入层、隐含层和输出层。BP神经网络的基本原理是：输入信号经过隐含层点作用于输出节点，经过非线性变换，产生输出信号，网络训练的每个样本包括输入向量和期望输出向量，网络输出值与期望输出值之间的偏差，通过调整输入节点与隐含层节点的联接强度取值和隐含层节点与输出节点之间的联接强度以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对的网络参数(权值和阈值)，训练停止

将所述当前用户的手掌特征向量与一手掌注册库中的手掌特征向量进行对比，并根据对比结果确定当前用户的身份验证结果。在所述手掌注册库中，存储注册用户身份信息和手掌特征向量的一一对应关系。基于上述技术方案，采集注册用户的掌纹红外线图像、手掌血管红外线图像以及手掌深度图像，并根据所述手掌识别模型对注册用户的掌纹红外线图像、手掌血管红外线图像以及手掌深度图像进行特征提取，获取注册用户的手掌特征向量，将所述注册用户的手掌特征向量存储于所述手掌注册库中，并建立注册用户身份信息和手掌特征向量的一一对应关系。所述注册用户身份信息用以唯一标志该注册用户的身份信息，比如身份证号码。将所述当前用户的手掌特征向量与手掌注册库中的手掌特征向量进行一一对比，若对比成功，则在所述注册库中查询该手掌特征向量对应的注册用户身份信息，获取所述当前用户的身份信息，所述当前用户身份验证成功；若对比不成功，则所述当前用户身份验证失败。

根据该技术方案，通过将掌纹红外线图像、手掌血管红外线图像以及手掌深度图像基于卷积网络进行特征提取和特征融合，生成手掌的特征向量，能够更准确的识别出用户身份信息；掌纹和血管分布不会因为年龄和意外发生大的变化，该技术方案的鲁棒性更好；通过结合多个特征向量的技术方案，提高了精度；在非接触式的安全认证中实现了主动识别认证的功能。

如图3所示的本发明的一实施例，本发明提供一种基于手掌特征的身份认证系统，所述系统包括：

采集模块30，用于获取当前用户的手掌的掌纹红外线图像、手掌血管红外线图像以及手掌深度图像；

识别模块31，用于根据一预设的手掌识别模型对所述掌纹红外线图像、手掌血管红外线图像以及手掌深度图像进行特征提取和特征融合，获取所述当前用户的手掌特征向量；

验证模块32，用于将所述当前用户的手掌特征向量与一手掌注册库中的手掌特征向量进行对比，并根据对比结果确定当前用户的身份验证结果。

通过3D相机对当前用户的手掌进行拍摄，所述采集模块采集并获取到当前用户的手掌的掌纹红外线图像、手掌血管红外线图像以及手掌深度图像。

所述识别模块根据一预设的手掌识别模型对所述掌纹红外线图像、手掌血管红外线图像以及手掌深度图像进行特征提取，获取所述当前用户的手掌特征向量。根据本发明的一个具体实施例，所述识别模块包括一预处理单元。所述预处理单元对所述手掌深度图像进行阈值分割处理，获取所述深度图像中的手掌区域信息，根据所述深度图像中的手掌区域信息，对所述掌纹红外线图像、手掌血管红外线图像进行区域提取，分别获取所述掌纹红外线图像、手掌血管红外线图像中的手掌区域信息。

根据本发明的一个具体实施例，所述识别模块还包括特征融合单元，用于根据卷积神经网络和手掌识别模型，将经过阈值分割处理后的手掌深度图像、掌纹红外线图像以及手掌血管红外线图像作为所述手掌识别模型的输入，对所述手掌深度图像、掌纹红外线图像以及手掌血管红外线图像进行卷积操作和特征提取，分别获取手掌的表面纹理的特征、手掌血管分布特征以及手掌的三维几何特征，并将所述手掌的表面纹理的特征、手掌血管分布特征以及手掌的三维几何特征融合成所述手掌的特征向量。所述手掌的三维几何特征包括手掌的位置信息以及手掌的形状信息。

所述验证模块将所述当前用户的手掌特征向量与一手掌注册库中的手掌特征向量进行对比，并根据对比结果确定当前用户的身份验证结果。所述验证模块包括注册单元和验证单元。所述注册单元采集注册用户的掌纹红外线图像、手掌血管红外线图像以及手掌深度图像，并根据所述手掌识别模型对注册用户的掌纹红外线图像、手掌血管红外线图像以及手掌深度图像进行特征提取，获取注册用户的手掌特征向量，将所述注册用户的手掌特征向量存储于所述手掌注册库中，并建立注册用户身份信息和手掌特征向量的一一对应关系。所述验证单元将所述当前用户的手掌特征向量与一手掌注册库中的手掌特征向量进行一一对比，若对比成功，则在所述注册库中查询该手掌特征向量对应的注册用户身份信息，获取所述当前用户的身份信息，所述当前用户身份验证成功；若对比不成功，则所述当前用户身份验证失败。

尽管为示例目的，已经公开了本发明的优选实施方式，但是本领域的普通技术人员将意识到，在不脱离由所附的权利要求书公开的本发明的范围和精神的情况下，各种改进、增加以及取代是可能的。

Claims (10)

1.一种基于手掌特征的身份认证方法，其特征在于，所述方法包括：

S1、获取当前用户的手掌的掌纹红外线图像、手掌血管红外线图像以及手掌深度图像；

S2、根据一预设的手掌识别模型对所述掌纹红外线图像、手掌血管红外线图像以及手掌深度图像进行特征提取和特征融合，获取所述当前用户的手掌特征向量；

S3、将所述当前用户的手掌特征向量与一手掌注册库中的手掌特征向量进行对比，并根据对比结果确定当前用户的身份验证结果。

2.如权利要求1所述的基于手掌特征的身份认证方法，其特征在于，所述步骤S1包括：通过3D相机对当前用户的手掌进行拍摄，采集并获取到当前用户的手掌的掌纹红外线图像、手掌血管红外线图像以及手掌深度图像。

3.如权利要求1所述的基于手掌特征的身份认证方法，其特征在于，所述步骤S2包括:根据卷积神经网络模型，将多张手掌图像作为训练样本并对其进行训练，得到所述手掌识别模型。

4.如权利要求1所述的基于手掌特征的身份认证方法，其特征在于，所述步骤S2包括：

对所述手掌深度图像进行阈值分割处理，获取所述深度图像中的手掌区域信息；

根据所述深度图像中的手掌区域信息，对所述掌纹红外线图像、手掌血管红外线图像进行区域提取，分别获取所述掌纹红外线图像、手掌血管红外线图像中的手掌区域信息。

5.如权利要求4所述的基于手掌特征的身份认证方法，其特征在于，所述步骤S2还包括：

根据卷积神经网络和手掌识别模型，将经过阈值分割处理后的手掌深度图像、掌纹红外线图像以及手掌血管红外线图像作为所述手掌识别模型的输入，对所述手掌深度图像、掌纹红外线图像以及手掌血管红外线图像进行卷积操作和特征提取，分别获取手掌的表面纹理的特征、手掌血管分布特征以及手掌的三维几何特征，并将所述手掌的表面纹理的特征、手掌血管分布特征以及手掌的三维几何特征进行特征融合成所述手掌的特征向量。

6.如权利要求5所述的基于手掌特征的身份认证方法，其特征在于，所述步骤S2还包括：

分别对所述手掌深度图像、掌纹红外线图像以及手掌血管红外线图像进行2*2下采样和3*3的卷积操作，并运用relu函数运算，得到对应的手掌深度图像的第一特征向量、掌纹红外线图像的第一特征向量以及手掌血管红外线图像的第一特征向量；

对所述手掌深度图像的第一特征向量、掌纹红外线图像的第一特征向量以及手掌血管红外线图像的第一特征向量分别进行下采样和卷积操作，并运用relu函数运算，得到对应的手掌深度图像的第二特征向量、掌纹红外线图像的第二特征向量以及手掌血管红外线图像的第二特征向量；

重复执行上述步骤，得到对应的手掌深度图像的第三特征向量、掌纹红外线图像的第三特征向量以及手掌血管红外线图像的第三特征向量。

7.如权利要求6所述的基于手掌特征的身份认证方法，其特征在于，所述步骤S2还包括：

将所述掌纹红外线图像的第三特征向量和手掌血管红外线图像的第三特征向量进行特征融合运算，并将融合后的的特征向量进行卷积和relu函数运算，得到第一融合特征向量；

将所述第一融合特征向量与手掌深度图像的第三特征向量进行特征融合运算，并将融合后的特征向量进行卷积和relu函数运算，得到第二融合特征向量；

对所述第二融合特征向量进行卷积运算得到全连层F，并对所述全连层F进行卷积运算，得到所述手掌的特征向量。

8.如权利要求7所述的基于手掌特征的身份认证方法，其特征在于，所述步骤S3包括：

采集注册用户的掌纹红外线图像、手掌血管红外线图像以及手掌深度图像，并根据所述手掌识别模型对注册用户的掌纹红外线图像、手掌血管红外线图像以及手掌深度图像进行特征提取，获取注册用户的手掌特征向量；

将所述注册用户的手掌特征向量存储于所述手掌注册库中，并建立注册用户身份信息和手掌特征向量的一一对应关系。

9.如权利要求8所述的基于手掌特征的身份认证方法，其特征在于，所述步骤S3还包括：

将所述当前用户的手掌特征向量与所述手掌注册库中的手掌特征向量进行一一对比，若对比成功，则在所述注册库中查询该手掌特征向量对应的注册用户身份信息，获取所述当前用户的身份信息，所述当前用户身份验证成功；若对比不成功，则所述当前用户身份验证失败。

10.一种基于手掌特征的身份认证系统，其特征在于，所述系统包括：

采集模块，用于获取当前用户的手掌的掌纹红外线图像、手掌血管红外线图像以及手掌深度图像；

识别模块，用于根据一预设的手掌识别模型对所述掌纹红外线图像、手掌血管红外线图像以及手掌深度图像进行特征提取和特征融合，获取所述当前用户的手掌特征向量；

验证模块，用于将所述当前用户的手掌特征向量与一手掌注册库中的手掌特征向量进行对比，并根据对比结果确定当前用户的身份验证结果。

Images