CN109543535A - 三维指静脉特征提取方法及其匹配方法 - Google Patents

Abstract

本发明提供一种三维指静脉特征提取方法，包括：第一步，获取二维手指静脉图像；第二步，将二维手指静脉图像映射到三维模型实现三维手指模型的构建；第三步，对三维手指模型进行归一化；第四步，对归一化后的三维手指模型进行特征提取。本发明还提供一三维指静脉特征匹配方法，该方法通过计算模板样本和待匹配样本的静脉纹理特征和中轴几何距离特征分数，并进行加权融合，通过阈值来对融合后的匹配分数进行判定，完成三维指静脉的匹配识别。本发明三维指静脉特征提取方法及其匹配方法能够获得更多的静脉纹理特征，得到更好的匹配识别效果，同时还可以有效解决手指姿态变化带来匹配识别性能差的问题，从而提高静脉匹配识别的准确性和有效性。

Description

三维指静脉特征提取方法及其匹配方法

技术领域

本发明涉及静脉识别技术领域，更具体地说，涉及一种三维指静脉特征提 取方法及其匹配方法。

背景技术

生物特征识别技术是利用一种或多种人类的生理特征(如指纹、人脸、虹 膜、静脉等)或行为特征(如步态、签名等)进行身份认证的一种技术。其中， 手指静脉识别技术以其独特的优势开始在身份认证领域占得重要的一席地位， 它是一种利用手指表皮下的血管的纹路信息作为个体身份验证的生物特征识别 技术。在生物特征识别中，指静脉识别技术因具有安全性高，稳定性强的特点 而有着独特的应用优势和应用前景。目前指静脉识别系统都是基于二维静脉图 像进行识别，在面对手指摆放姿态不当，特别是手指轴向旋转问题时，其识别 性能会大大降低。

然而，针对不同姿态下手指静脉识别的研究相对较少，现有的少量研究包 括：采用椭圆模型对采集的二维手指静脉图像进行拓展，从而实现指静脉图像 的标准化，然后再截取有效区域进行匹配；采用圆模型将二维手指静脉图像扩 展；或者，采用三维模型的方法，其关键仍然是使用椭圆模型，将六种不同姿 态下的手指静脉图像标准化，再做匹配。不管是用哪种物理模型，都在一定程 度上改善了同一手指在不同姿态下拍摄的静脉图像之间存在较大差异的情况， 但仍然存在的问题是：一方面，对应的纹理区域变少了，不利于匹配；另一方 面，边缘区域静脉图像质量受成像因素的影响一般会比较差，同样影响到识别结果。还有一种方法是基于多视图几何的三维成像方法，但这种方案在三维重 建时难以找到甚至找不到匹配的特征点，因而难以计算全部静脉纹理的深度信 息，此外，这种方法采集的静脉纹理也是只有单侧的，因此仍然存在特征信息 有限的问题。

发明内容

本发明的目的在于克服现有技术中的缺点与不足，提供一种三维指静脉特 征提取方法及其匹配方法，该方法能够获得更多的静脉纹理特征，得到更好的 匹配识别效果，同时还可以有效解决手指姿态变化带来匹配识别性能差的问题， 从而提高静脉匹配识别的准确性和有效性。

为了达到上述目的，本发明通过下述技术方案予以实现：一种三维指静脉 特征提取方法，其特征在于：包括以下步骤：

第一步，通过三个摄像头在等分角度下从三个角度拍摄手指静脉，获取二 维手指静脉图像；

第二步，通过计算三个摄像头的参数，将二维手指静脉图像映射到三维模 型，实现三维手指模型的构建；

第三步，对三维手指模型进行归一化，实现消除手指水平和垂直偏移带来 的影响；

第四步，对归一化后的三维手指模型进行特征提取：

(1)对归一化后的三维手指模型进行处理生成三维纹理展开图和几何距离 特征图；

(2)采用卷积神经网络分别对三维纹理展开图和几何距离特征图进行特征 提取，得到静脉纹理特征和中轴几何距离特征；同时对神经网络进行训练。

第二步中，通过计算三个摄像头的参数，将二维手指静脉图像映射到三维 模型，实现三维手指模型的构建是指：将手指剖面图近似视为一个椭圆，将三 维手指等距离分割成若干个剖面，计算每个剖面的轮廓，用多个不同半径不同 位置的椭圆来对手指近似建模；再将所有轮廓按手指中轴方向串接起来，即可 获得近似的三维手指模型。

第三步，对三维手指模型进行归一化，实现消除手指水平和垂直偏移带来 的影响是指：采用最小二乘法将三维重建中得到的每个横截面上近似椭圆的中 心回归到一条中轴线上，然后利用下列等式(1)，对坐标进行归一化；

其中，(x_m,y_m,z_m)代表椭圆的中点，(S,W,G)代表中轴线的方向。

通过上述归一化，可以使得手指轴向与三维模型的中轴线一致，并使得三 维模型的中心点与原点一致，进而消除了水平和垂直运动带来的偏移。

第四步中，对归一化后的三维手指模型进行处理生成三维纹理展开图和几 何距离特征图是指：

首先，定义扇形柱体区域为SC-Block(i)，其中i作为下标取值从1到N；沿 着三维柱体的轴心进行旋转切割，得到360个扇形柱体区域；将扇形柱体区域 的底面圆心角范围设置为((i-1)·△α,i·△α]；同时，设置柱体高度Z的范围为 [z_min,z_max]，其中，z_min和z_max分别表示高度的最小值和最大值；N表示特征图的 宽度，N＝360/Δα，Δα是角度采样间隔；

然后，通过以下函数将扇形柱体区域集合的三维点集映射到三维纹理展开 图I_F3DTM和几何距离特征图I_F3DGM上：

I_F3DTM.col(i)＝Γ_t(SC-Block(i)) (1)

I_F3DGM.col(i)＝Γ_g(SC-Block(i)) (2)

其中，F3DTM和F3DGM分别代表三维纹理展开图和几何距离特征图，.col(i) 表示特征图的第i列，而函数Γ_g、Γ_t则分别将扇形柱体区域集合SC-Block(i)以 固定的间隔从Z轴进行划分切割为M块；其中，I_F3DTM每一像素通过计算区域内 的平均像素值获得，而I_F3DGM的每一像素则通过计算对应区域内点集到中轴线的 直线距离的平均值来获得。

第四步中，采用卷积神经网络分别对三维纹理展开图和几何距离特征图进 行特征提取，得到静脉纹理特征和中轴几何距离特征；同时对神经网络进行训 练是指：该神经网络结构是由四个包含3×3和1×1卷积层的卷积块连续堆叠 而成，这样设计能在有效减少参数量的同时保证其识别性能；三维纹理展开图 和几何距离特征图分别依次通过神经网络结构和256维输出的全连接层，得到 256维的静脉纹理特征和256维的中轴几何距离特征；最后通过SoftMax层计算 损失并对网络进行训练。

以下对提出的三维指静脉匹配方法进行说明：

通过计算模板样本和待匹配样本的静脉纹理特征和中轴几何距离特征分数， 并进行加权融合，通过阈值来对融合后的匹配分数进行判定，完成三维指静脉 的匹配识别。

具体为：在特征匹配阶段，先对需要匹配的模板样本手指静脉和待匹配样 本手指静脉分别依次进行第一步至第四步，分别得到模板样本的静脉纹理和三 维手指形状特征(中轴几何距离特征)，以及待匹配样本的静脉纹理和三维手指 形状特征；分别计算模板样本和待匹配样本静脉纹理特征的余弦距离D₁，以及 模板样本和待匹配样本的三维手指形状特征的余弦距离D₂。他们的余弦距离的 公式分别，如下：

其中F_v1，F_v2分别为模板样本和带匹配样本手指的静脉特征向量,F_d1，F_d2或 手指形状特征向量。

之后，对静脉纹理特征和手指形状特征的余弦距离(匹配分数)进行分数 层加权融合，得到总余弦距离D。其中，融合的权重通过在数据中随机抽取10％ 作为验证集，在验证集上遍历权重值，取使得融合匹配分数之后等误率最低的 权重值作为最佳权重，使用这个最佳权重对匹配结果进行加权融合，得到最终 的匹配结果；

S＝w·S_t+(1-w)·S_g

其中，S为最终匹配分数，S_t为纹理匹配分数，S_g为形状匹配分数，w为融 合权重。

最后通过实验确定一个阈值，当总余弦距离D小于阈值时，判断为匹配，否 则不匹配。

与现有技术相比，本发明具有如下优点与有益效果：本发明三维指静脉特 征提取方法及其匹配方法能够获得更多的静脉纹理特征，得到更好的匹配识别 效果，同时还可以有效解决手指姿态变化带来匹配识别性能差的问题，从而提 高静脉匹配识别的准确性和有效性。

附图说明

图1是本发明三维指静脉特征提取方法和匹配方法的流程示意图；

图2是本发明椭圆模型的三维手指模型构建示意图；

图3是本发明沿三维柱体轴心进行旋转切割得到360个扇形柱体区域示意 图；

图4是本发明三维纹理展开图；

图5是本发明几何距离特征图；

图6是本发明三维纹理展开图和几何距离特征图通过卷积神经网络结构和 256维输出的全连接层的示意图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细的描述。

实施例

如图1至图6所示，本发明一种三维指静脉特征提取方法包括以下步骤：

第一步，通过三个摄像头在等分角度下从三个角度拍摄手指静脉，获取二 维手指静脉图像；

第二步，通过计算三个摄像头的参数，将二维手指静脉图像映射到三维模 型，实现三维手指模型的构建；

第三步，对三维手指模型进行归一化，实现消除手指水平和垂直偏移带来 的影响；

第四步，对归一化后的三维手指模型进行特征提取：

(1)对归一化后的三维手指模型进行处理生成三维纹理展开图和几何距离 特征图；

(2)采用卷积神经网络分别对三维纹理展开图和几何距离特征图进行特征 提取，得到静脉纹理特征和中轴几何距离特征；同时对神经网络进行训练。

其中，第二步中，通过计算三个摄像头的参数，将二维手指静脉图像映射 到三维模型，实现三维手指模型的构建是指：将手指剖面图近似视为一个椭圆， 将三维手指等距离分割成若干个剖面，计算每个剖面的轮廓，用多个不同半径 不同位置的椭圆来对手指近似建模；再将所有轮廓按手指中轴方向串接起来， 即可获得近似的三维手指模型。

计算每个剖面的轮廓的方法是：

1)根据三个摄像头的投影中心C₁,C₂,C₃建立xOy坐标系(2D-CS)，如图2所 示.

2)确定椭圆和直线方程的。

设椭圆的方程如下：

每个摄像机的投影中心记为C_i(x,y)，这样，直线C_iU_i(L_ui)，C_iB_i(L_ni)的方程可以求得，在这里我们只讨论直线斜率存在的情况：

L_ui:y＝k_uix+b_ui

L_bi:y＝k_bix+b_bi

其中i＝1,2,3，k_ui和b_ui分别代表直线L_ui的斜率和截距，k_bi和b_bi分别代表直线L_bi的 斜率和截距。

3)确定约束条件

作这些约束直线的平行线，就像图2所示，使它们与椭圆相切，假设这些平行 线的方程为：

L_ui:y＝k_uix+b_ui+ξ_ui

L_bi:y＝k_bix+b_bi+ξ_bi

由,L_ui,L_bi与椭圆相切的条件可以得到下面的约束方程：

其中：

A_ui＝a+bk_ui ²+2ck_ui

B_ui＝(2k_uib+2c)(b_ui+ξ_ui)+ek_ui+d

B_bi＝(2k_bib+2c)(b_bi+ξ_bi)+ek_bi+d

C_ui＝b(b_ui+ξ_ui)²+e(b_ui+ξ_ui)+f

C_bi＝b(b_bi+ξ_bi)²+e(b_bi+ξ_bi)+f

4)目标优化函数

正如前面所说，椭圆必须非常接近约束方程，所以我们的目标是使椭圆到所有 直线的距离的和最小化：

5)求解算法

①单个剖面椭圆求解

我们需要将图像上的边缘点坐标转换到2D-CS上，转换关系为下列公式：

式中，θ_i表示与x轴正方向的夹角，i＝1,2,3，y_m表示摄像机光学中心的y值， 它与摄像机内参数有关。

对于每一个椭圆，在3)中所示的约束条件下用梯度下降法求解目标优化函 数。主要的问题是如何设置初始迭代点，因为一个恰当的初始迭代点对加快寻 优的速度和找到全局最优解两方面具有极其重要的作用。通过大量的实验，确 定了设置初始迭代点的方法如下：

一个椭圆共有五个独立变量，包括椭圆中心的横、纵坐标值，椭圆长半轴 长度，离心率和旋转角度，我们的问题能够转化为计算六边形的近似内切椭圆， 根据Brianchon’s理论，一个六边形ABCDEF有一个内切椭圆当且仅当它的主对 角线AD，BE和CF交于同一点：

[(A×D),(B×E),(C×F)]＝0

在我们的模型的计算过程中，这些对角线一般是两两相交的，我们设置椭圆的 初始中心点(C₀)为这些交点组成的三角形的重点，计算如公式如下所示，设 置初始长轴长为初始中心点到六边形六个顶点距离最小值。

此外，我们设置初始的离心率和旋转角为固定值，其中离心率设为e₀＝1.4，旋转角设为α＝0，这两个常数值是通过实验确定的。

②整个三维手指模型重建

考虑到计算越多的剖面就可以得到越精确的三维手指模型，但是如果使用椭圆近似法计算越多的椭圆，就会消耗越多的时间，而在实际应用时，并不希望在 三维手指重建上耗费太多时间，通过观察，发现到这样一个细节，手指表面在 轴向上的变化是比较平缓的，我们可以先在轴向上选择一些稀疏的边缘点集合 重建部分椭圆，然后用插值的方法扩充近似椭圆的数量。然而，这就出现了另 外一个问题，如果选取的边缘点集合中，由于图像质量较差或部分边缘地方噪 声较大，从而导致所检测边缘的位置是存在比较大误差，那么重建的手指模型 就会在一些地方存在比较大的缺陷，为了减小这方面的影响，以及权衡重建精 度与时间损耗，我们提出了更加鲁棒的算法构建手指三维模型：

假设在每个矫正之后的图像中，将横坐标在91～490范围内的区域设置为有 效的区域。按横轴方向，将有效区域等分成N个子区域，在每个子区域，我们 选择一组边缘点重建出椭圆，获得所有子区域的椭圆之后，我们采用插值算法 扩展椭圆数据。最后将二维平面下的椭圆转换到三维空间下。

我们将一个椭圆的z坐标值设置为相同值，无需改变二维椭圆的方程，K是矫正 后的摄像机内参数。

第三步，对三维手指模型进行归一化，实现消除手指水平和垂直偏移带来 的影响是指：采用最小二乘法将三维重建中得到的每个横截面上近似椭圆的中 心回归到一条中轴线上，然后利用下列等式(1)，对坐标进行归一化；

其中，(x_m,y_m,z_m)代表椭圆的中点，(S,W,G)代表中轴线的方向。通过上述归 一化，可以使得手指轴向与三维模型的中轴线一致，并使得三维模型的中心点 与原点一致，进而消除了水平和垂直运动带来的偏移。

第四步中，对归一化后的三维手指模型进行处理生成三维纹理展开图和几 何距离特征图是指：

首先，定义扇形柱体区域为SC-Block(i)，其中i作为下标取值从1到N；沿 着三维柱体的轴心进行旋转切割，得到360个扇形柱体区域，如图3所示。将 扇形柱体区域的底面圆心角范围设置为((i-1)·△α,i·△α]；同时，设置柱体高度Z 的范围为[z_min,z_max]，其中，z_min和z_max分别表示高度的最小值和最大值；N表示 特征图的宽度，N＝360/Δα，Δα是角度采样间隔；

然后，通过以下函数将扇形柱体区域集合的三维点集映射到三维纹理展开 图I_F3DTM和几何距离特征图I_F3DGM上：

I_F3DTM.col(i)＝Γ_t(SC-Block(i)) (1)

I_F3DGM.col(i)＝Γ_g(SC-Block(i)) (2)

其中，F3DTM和F3DGM分别代表三维纹理展开图和几何距离特征图，.col(i) 表示特征图的第i列，而函数Γ_g、Γ_t则分别将扇形柱体区域集合SC-Block(i)以 固定的间隔从Z轴进行划分切割为M块；其中，I_F3DTM每一像素通过计算区域内 的平均像素值获得，而I_F3DGM的每一像素则通过计算对应区域内点集到中轴线的 直线距离的平均值来获得。本实施例设置△α＝1，M＝360。图4和图5为计算所 得的特征图示例。

第四步中，采用卷积神经网络分别对三维纹理展开图和几何距离特征图进 行特征提取，得到静脉纹理特征和中轴几何距离特征；同时对神经网络进行训 练是指：如图6所示，该神经网络结构是由四个包含3×3和1×1卷积层的卷 积块连续堆叠而成，这样设计能在有效减少参数量的同时保证其识别性能；三 维纹理展开图和几何距离特征图分别依次通过神经网络结构和256维输出的全 连接层，得到静脉纹理特征和中轴几何距离特征；最后通过SoftMax层计算损 失并对网络进行训练。

本发明三维指静脉特征匹配方法是这样的：通过计算模板样本和待匹配样 本的静脉纹理特征和中轴几何距离特征分数，并进行加权融合，通过阈值来对 融合后的匹配分数进行判定，完成三维指静脉的匹配识别。

具体为：在特征匹配阶段，先对需要匹配的模板样本手指静脉和待匹配样 本手指静脉分别依次进行第一步至第四步，分别得到模板样本的静脉纹理和三 维手指形状特征，以及待匹配样本的静脉纹理和三维手指形状特征；分别计算 模板样本和待匹配样本静脉纹理特征的余弦距离D₁，以及模板样本和待匹配样 本的三维手指形状特征的余弦距离D₂。他们的余弦距离的公式分别，如下：

其中F_v1，F_v2分别为模板样本和带匹配样本手指的静脉特征向量,F_d1，F_d2分 别为模板样本和带匹配样本手指的形状特征向量。

之后，对静脉纹理特征和手指形状特征的余弦距离(匹配分数)进行分数 层加权融合得到总余弦距离D。其中，融合的权重通过在数据中随机抽取10％作 为验证集，在验证集上遍历权重值，取使得融合匹配分数之后等误率最低的权 重值作为最佳权重，使用这个最佳权重对匹配结果进行加权融合，得到最终的 匹配结果；

S＝w·S_t+(1-w)·S_g

其中，S为最终匹配分数，S_t为纹理匹配分数，S_g为形状匹配分数，w为融 合权重。

最后通过实验确定一个阈值，当总余弦距离D小于阈值时，判断为匹配，否 则不匹配。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实 施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、 替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种三维指静脉特征提取方法，其特征在于：包括以下步骤：

第一步，通过三个摄像头在等分角度下从三个角度拍摄手指静脉，获取二维手指静脉图像；

第二步，通过计算三个摄像头的参数，将二维手指静脉图像映射到三维模型，实现三维手指模型的构建；

第三步，对三维手指模型进行归一化，实现消除手指水平和垂直偏移带来的影响；

第四步，对归一化后的三维手指模型进行特征提取：

(1)对归一化后的三维手指模型进行处理生成三维纹理展开图和几何距离特征图；

(2)采用卷积神经网络分别对三维纹理展开图和几何距离特征图进行特征提取，得到静脉纹理特征和中轴几何距离特征；同时对神经网络进行训练。

2.根据权利要求1所述的三维指静脉特征提取方法，其特征在于：第二步中，通过计算三个摄像头的参数，将二维手指静脉图像映射到三维模型，实现三维手指模型的构建是指：将手指剖面图近似视为一个椭圆，将三维手指等距离分割成若干个剖面，计算每个剖面的轮廓，用多个不同半径不同位置的椭圆来对手指近似建模；再将所有轮廓按手指中轴方向串接起来，即可获得近似的三维手指模型。

3.根据权利要求1所述的三维指静脉特征提取方法，其特征在于：第三步，对三维手指模型进行归一化，实现消除手指水平和垂直偏移带来的影响是指：采用最小二乘法将三维重建中得到的每个横截面上近似椭圆的中心回归到一条中轴线上，然后利用下列等式(1)，对坐标进行归一化；

其中，(x_m,y_m,z_m)代表椭圆的中点，(S,W,G)代表中轴线的方向。

4.根据权利要求1所述的三维指静脉特征提取方法，其特征在于：第四步中，对归一化后的三维手指模型进行处理生成三维纹理展开图和几何距离特征图是指：

首先，定义扇形柱体区域为SC-Block(i)，其中i作为下标取值从1到N；沿着三维柱体的轴心进行旋转切割，得到360个扇形柱体区域；将扇形柱体区域的底面圆心角范围设置为((i-1)·△α,i·△α]；同时，设置柱体高度Z的范围为[z_min,z_max]，其中，z_min和z_max分别表示高度的最小值和最大值；N表示特征图的宽度，N＝360/Δα，Δα是角度采样间隔；

然后，通过以下函数将扇形柱体区域集合的三维点集映射到三维纹理展开图I_F3DTM和几何距离特征图I_F3DGM上：

I_F3DTM.col(i)＝Γ_t(SC-Block(i)) (1)

I_F3DGM.col(i)＝Γ_g(SC-Block(i)) (2)

其中，F3DTM和F3DGM分别代表三维纹理展开图和几何距离特征图，.col(i)表示特征图的第i列，而函数Γ_g、Γ_t则分别将扇形柱体区域集合SC-Block(i)以固定的间隔从Z轴进行划分切割为M块；其中，I_F3DTM每一像素通过计算区域内的平均像素值获得，而I_F3DGM的每一像素则通过计算对应区域内点集到中轴线的直线距离的平均值来获得。

5.根据权利要求1所述的三维指静脉特征提取方法，其特征在于：第四步中，采用卷积神经网络分别对三维纹理展开图和几何距离特征图进行特征提取，得到静脉纹理特征和中轴几何距离特征；同时对神经网络进行训练是指：该神经网络结构是由四个包含3×3和1×1卷积层的卷积块连续堆叠而成；三维纹理展开图和几何距离特征图分别依次通过神经网络结构和256维输出的全连接层，得到256维的静脉纹理特征和256维的中轴几何距离特征；最后通过SoftMax层计算损失并对网络进行训练。

6.根据权利要求1所述的三维指静脉特征匹配方法，其特征在于：通过计算模板样本和待匹配样本的静脉纹理特征和中轴几何距离特征分数，并进行加权融合，通过阈值来对融合后的匹配分数进行判定，完成三维指静脉的匹配识别。

7.根据权利要求6所述的三维指静脉特征匹配方法，其特征在于：所述通过计算模板样本和待匹配样本的静脉纹理特征和中轴几何距离特征分数，并进行加权融合，通过阈值来对融合后的匹配分数进行判定，完成三维指静脉的匹配识别是指：

在特征匹配阶段，先对需要匹配的模板样本手指静脉和待匹配样本手指静脉分别依次进行第一步至第四步，分别得到模板样本的静脉纹理和三维手指形状特征，以及待匹配样本的静脉纹理和三维手指形状特征；分别计算模板样本和待匹配样本静脉纹理特征的余弦距离D₁，以及模板样本和待匹配样本的三维手指形状特征的余弦距离D₂，余弦距离的公式分别如下：

其中F_v1，F_v2分别为模板样本和带匹配样本手指的静脉特征向量,F_d1，F_d2分别为模板样本和带匹配样本手指的形状特征向量。

8.根据权利要求7所述的三维指静脉特征匹配方法，其特征在于：对静脉纹理特征和手指形状特征的余弦距离进行分数层加权融合得到总余弦距离D；其中，融合的权重通过在数据中随机抽取10％作为验证集，在验证集上遍历权重值，取使得融合匹配分数之后等误率最低的权重值作为最佳权重，使用这个最佳权重对匹配结果进行加权融合，得到最终的匹配结果；

S＝w·S_t+(1-w)·S_g

其中，S为最终匹配分数，S_t为纹理匹配分数，S_g为形状匹配分数，w为融合权重；

最后通过实验确定一个阈值，当总余弦距离D小于阈值时，判断为匹配，否则不匹配。