CN110516595A - 基于卷积神经网络的手指多模态融合识别方法 - Google Patents

Abstract

一种基于卷积神经网络手指多模态特征融合识别方法。其包括使用图像采集装置获取手指三模态图像；将手指三模态图像分别送入三个并行的CNN网络进行单模态特定特征的学习；采用PCA降维将单模态卷积特征分别进行尺寸标准化处理；将手指三个单模态的标准化卷积特征拼接在一起共同输入卷积层一起学习共同特征，将共同特征矩阵展开成向量，最后连接不同层的共同特征向量组成融合特征；使用训练样本中的手指三模态图像对卷积神经网络进行训练；将测试样本中的图像输入到上述已训练完成的卷积神经网络中完成识别等步骤。本发明方法具有稳定性和鲁棒性高，运算速度快、识别准确率高的特点。

Description

基于卷积神经网络的手指多模态融合识别方法

技术领域

本发明属于生物特征识别技术领域，具体涉及一种基于卷积神经网络的手指多模态生物特征融合识别方法。

背景技术

基于人的生理行为特征的生物特征识别技术在身份识别领域受到人们的高度重视，但是由于单模态的生物特征信息可能存在丢失、缺失、破损，而且在实际应用中容易受到采集条件和环境的影响，所以单模态生物特征识别技术不能满足人们对高性能身份鉴别的需求。所以，近年来多模态融合识别受到越来越多的关注，多模态融合的方法是提取多个模态之间的互补和共同特征，因此在识别稳定性和鲁棒性及泛化能力方面均得到有效地提高。由于手指包含丰富的纹理信息和模态特征，并且以便携性和用户友好等优势而日益受到重视，实际中常用的手指特征有指纹、指静脉、指节纹、手形、掌纹、掌静脉等，基于指纹、指静脉和指节纹这三个模态紧凑且容易获取的特点，所以经常被作为多模态融合技术的研究对象。然而多个模态可能存在图像尺寸不一致，生物特征不能有效地融合起来，并且传统手动提取特征的方法对不同模态的不同特征并不全部适用等问题，因此设计一种有效的融合策略成为研究中的关键性问题。

发明内容

为了克服上述问题，本发明的目的在于提供一种基于卷积神经网络的手指多模态特征融合识别方法，能够实现网络自动学习有效特征，进行更精准的身份识别，具有识别精度高和鲁棒性强的特点。

为了达到上述目的，本发明提供的基于卷积神经网络的手指多模态特征融合识别方法包括按顺序进行的下列步骤：

(1)首先采用手指三模态采集装置采集多张不同个体的指节纹、指静脉和指纹共三个模态的原始单模态图像，由所有原始单模态图像构成三模态数据集，然后将三模态数据集中的原始单模态图像分为训练集和测试集；

(2)构建三个并行的单模态卷积神经网络，利用其上的多个卷积层分别提取上述三个模态的原始单模态图像中的单模态卷积特征，由每一个卷积层提取的所有卷积特征构成一个单模态卷积特征矩阵；

(3)将上述每一个卷积层提取的单模态卷积特征矩阵进行尺寸标准化处理而得到各自的单模态标准化卷积特征矩阵；

(4)构建多模态特征融合卷积神经网络，然后将训练集中每一个卷积层的三个模态的单模态标准化卷积特征矩阵进行拼接后输入到多模态特征融合卷积神经网络中，对多模态特征融合卷积神经网络进行训练，不断地更新优化网络参数，得到该卷积层的共同特征，之后将不同维度的共同特征展开成向量，最后连接不同维度的共同特征向量而组合成融合特征；

(5)将测试集中每一个卷积层的三个模态的单模态标准化卷积特征矩阵进行拼接后输入到多模态特征融合卷积神经网络中，重复步骤(4)而对多模态特征融合卷积神经网络的性能进行验证；

(6)将任意一个体的三个模态的原始单模态图像采用步骤(1)至步骤(5)的方法进行处理后即可获得相应的融合特征由此完成分类识别过程。

在步骤(2)中，所述的构建三个并行的单模态卷积神经网络，利用其上的多个卷积层分别提取上述三个模态的原始单模态图像中的单模态卷积特征，由每一个卷积层提取的所有卷积特征构成一个单模态卷积特征矩阵的方法是：所构建的单模态卷积神经网络包括卷积层conv1、池化层pool1、卷积层conv2、池化层pool2、卷积层conv3、卷积层conv4、卷积层conv5、池化层pool5、全连接层fc6、全连接层fc7、全连接层fc8以及分类层，其中分类层采用交叉熵损失函数作为代价函数；其中五个卷积层用于提取原始单模态图像中的单模态卷积特征；由每一个卷积层提取的所有卷积特征构成一个单模态卷积特征矩阵F(x×y)。

在步骤(3)中，所述的将上述每一个卷积层提取的单模态卷积特征矩阵进行尺寸标准化处理而得到各自的单模态标准化卷积特征矩阵的方法是：

首先确定出尺寸标准化处理后单模态标准化卷积特征矩阵的标准化尺寸；设为第i卷积层的指节纹卷积特征矩阵，为第i卷积层的指静脉卷积特征矩阵，为第i卷积层的指纹卷积特征矩阵，则上述单模态卷积特征矩阵F(x×y)中的行数x表示n或r，列数y表示c或r；取三个模态的卷积特征矩阵中最大重叠区域作为标准化尺寸，选取三个模态的卷积特征矩阵中最小的行数作为单模态标准化卷积特征矩阵的行数，选取最小的列数作为单模态标准化卷积特征矩阵的列数；对比三个模态的卷积特征矩阵的行数，由于r＜n，因此单模态标准化卷积特征矩阵的行数为r，对比三个模态的卷积特征矩阵的列数，由于c＜r，因此单模态标准化卷积特征矩阵的列数为c，则单模态标准化卷积特征矩阵为T(r×c)；

采用PCA算法对上述单模态卷积特征矩阵进行尺寸标准化处理，方法如下：

1)特征归一化，将单模态卷积特征矩阵F(x×y)切分成n个向量[x₁,x₂,...,x_n]^T，然后将这些向量中心化得到归一化矩阵A：

其中mean(x_i)表示n个向量的均值，std(x_i)表示n个向量的标准差；

2)计算归一化矩阵A的协方差矩阵B；

3)计算协方差矩阵B对应的特征值和特征向量；

4)将特征值由大到小进行排列，对应于第一个特征值的特征向量表示主分量方向，然后选取前a个特征值对应的特征向量组成主成分投影空间P(b×a)；最后将单模态卷积特征矩阵F(x×y)投影到主成分投影空间P(b×a)上即可获得单模态标准化卷积特征矩阵T(r×c)：

T(r×c)＝F(x×y)P(b×a) (2)

其中，x表示n或r，y表示c或r，b表示n或r，a为标准化后的维数r或者c。

在步骤(4)中，所述的构建多模态特征融合卷积神经网络，然后将训练集中每一个卷积层的三个模态的单模态标准化卷积特征矩阵进行拼接后输入到多模态特征融合卷积神经网络中，对多模态特征融合卷积神经网络进行训练，不断地更新优化网络参数，得到该卷积层的共同特征，之后将不同维度的共同特征展开成向量，最后连接不同维度的共同特征向量而组合成融合特征的方法是：

构建多模态特征融合卷积神经网络，将上述不同模态的单模态标准化卷积特征矩阵进行拼接后输入到多模态特征融合卷积神经网络中，对多模态特征融合卷积神经网络进行训练，得到该卷积层的共同特征T_i：

其中，T_i表示第i卷积层的共同特征，g(.)表示卷积学习共同特征。

采用将不同维度的共同特征T_i展开成向量，然后连接不同维度的共同特征向量而组合成融合特征

其中f(.)表示展开操作，[.,.]表示将展开的共同特征进行拼接。

本发明提供的基于卷积神经网络手指多模态特征融合识别方法能够有效地将手指的指静脉、指节纹和指纹三个模态的特征融合起来，由卷积神经网络提取的高层融合特征综合学习了模态之间的互补和共同特征，因此具有很高的表征能力，可以提高识别精度，并且增强了网络的鲁棒性和稳定性，提高了泛化能力。

附图说明

图1为手指三个模态的原始单模态图像。

图2为单模态卷积神经网络结构示意图。

图3为采用PCA降维示意图。

图4为手指三模态卷积特征矩阵标准化过程示意图。

图5为手指三模态特征融合网络结构示意图。

图6为不同融合方法ROC曲线示意图。

图7为本发明提供的基于卷积神经网络的手指多模态特征融合识别方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明提供的基于卷积神经网络的手指多模态特征融合识别方法进行详细说明。

如图7所示，本发明提供的基于卷积神经网络的手指多模态特征融合识别方法包括按顺序进行的下列步骤：

(1)首先采用手指三模态采集装置采集多张不同个体的指节纹(FKP)、指静脉(FV)和指纹(FP)共三个模态的原始单模态图像，如图1所示，由所有原始单模态图像构成三模态数据集，然后将三模态数据集中的原始单模态图像分为训练集和测试集；

所述的手指三模态采集装置是利用手指的指节纹、指静脉和指纹位于不同的位置，同时又具有各自特征这一特点，采取不同的成像方式采集手指的原始单模态图像。其中指纹位于手指的指腹位置，图像采集原理是光学成像；指静脉位于手指的皮下组织内，利用近红外光照射采集图像；指节纹位于指关节的背侧，主要是通过摄像头拍摄图像。在实际的采集过程中简单方便，容易被采集者接受，同时原始单模态图像的采集可以同时进行且互不干扰，从而保证了三模态特征之间的关联度。

(2)构建三个并行的单模态卷积神经网络，利用其上的多个卷积层分别提取上述三个模态的原始单模态图像中的单模态卷积特征，由每一个卷积层提取的所有卷积特征构成一个单模态卷积特征矩阵；

如图2所示，所构建的单模态卷积神经网络包括卷积层conv1、池化层pool1、卷积层conv2、池化层pool2、卷积层conv3、卷积层conv4、卷积层conv5、池化层pool5、全连接层fc6、全连接层fc7、全连接层fc8以及分类层，其中分类层采用交叉熵损失函数作为代价函数。

其中五个卷积层用于提取原始单模态图像中的单模态卷积特征。由于手指的纹理特征比较小，所以选用较浅层的网络提取有效的特征。由每一个卷积层提取的所有卷积特征构成一个单模态卷积特征矩阵F(x×y)；

(3)将上述每一个卷积层提取的单模态卷积特征矩阵进行尺寸标准化处理而得到各自的单模态标准化卷积特征矩阵；

由于三个模态的原始单模态图像尺寸不一致，其中原始指节纹图像为90×200像素，原始指静脉图像为90×200像素，原始指纹图像为152×152像素，所以导致每一个卷积层提取出的单模态卷积特征矩阵F(x×y)尺寸不一致。将不同模态的卷积特征矩阵进行尺寸标准化处理是下一步骤特征融合的一个关键问题。因此需要首先确定出尺寸标准化处理后单模态标准化卷积特征矩阵的标准化尺寸；设为第i卷积层的指节纹卷积特征矩阵，为第i卷积层的指静脉卷积特征矩阵，为第i卷积层的指纹卷积特征矩阵，则上述单模态卷积特征矩阵F(x×y)中的行数x表示n或r，列数y表示c或r。为了尽可能多地保留特征信息，如图3所示，本发明取三个模态的卷积特征矩阵中最大重叠区域作为标准化尺寸，选取三个模态的卷积特征矩阵中最小的行数作为单模态标准化卷积特征矩阵的行数，选取最小的列数作为单模态标准化卷积特征矩阵的列数。对比三个模态的卷积特征矩阵的行数，由于r＜n，因此单模态标准化卷积特征矩阵的行数为r，对比三个模态的卷积特征矩阵的列数，由于c＜r，因此单模态标准化卷积特征矩阵的列数为c，则单模态标准化卷积特征矩阵为T(r×c)。

如图4所示，本发明采用PCA算法对上述单模态卷积特征矩阵进行尺寸标准化处理，这样既能提取数据的主要特征，又能减小数据维数，方法如下：

1)特征归一化，将单模态卷积特征矩阵F(x×y)切分成n个向量[x₁,x₂,...,x_n]^T，然后将这些向量中心化得到归一化矩阵A：

其中mean(x_i)表示n个向量的均值，std(x_i)表示n个向量的标准差；

2)计算归一化矩阵A的协方差矩阵B；

3)计算协方差矩阵B对应的特征值和特征向量；

4)将特征值由大到小进行排列，对应于第一个特征值的特征向量表示主分量方向，然后选取前a个特征值对应的特征向量组成主成分投影空间P(b×a)；最后将单模态卷积特征矩阵F(x×y)投影到主成分投影空间P(b×a)上即可获得单模态标准化卷积特征矩阵T(r×c)：

T(r×c)＝F(x×y)P(b×a) (2)

其中，x表示n或r，y表示c或r，b表示n或r，a为标准化后的维数r或者c。

结果，经过上述尺寸标准化处理，第i卷积层的指节纹卷积特征矩阵的维数从n降为r而得到指节纹标准化卷积特征矩阵第i卷积层的指静脉卷积特征矩阵的维数从n降为r而得到指静脉标准化卷积特征矩阵第i卷积层的指纹卷积特征矩阵的维数从r降为c而得到指纹标准化卷积特征矩阵这时三个标准化卷积特征矩阵具有相同的尺寸。

(4)构建多模态特征融合卷积神经网络，然后将训练集中每一个卷积层的三个模态的单模态标准化卷积特征矩阵进行拼接后输入到多模态特征融合卷积神经网络中，对多模态特征融合卷积神经网络进行训练，不断地更新优化网络参数，得到该卷积层的共同特征，之后将不同维度的共同特征展开成向量，最后连接不同维度的共同特征向量而组合成融合特征；

所构建的多模态特征融合卷积神经网络如图5所示，将上述不同模态的单模态标准化卷积特征矩阵进行拼接后输入到多模态特征融合卷积神经网络中，对多模态特征融合卷积神经网络进行训练，得到该卷积层的共同特征T_i：

其中，T_i表示第i卷积层的共同特征，g(.)表示卷积学习共同特征。

由于高层网络可以更充分地学习表征能力更强的特征，不同深度网络学习到的特征不同，所以本发明采用将不同维度的共同特征T_i展开成向量，然后连接不同维度的共同特征向量而组合成融合特征使所得到的融合特征包含更多更充分的特征信息：

其中f(.)表示展开操作，[.,.]表示将展开的共同特征进行拼接。

(5)将测试集中每一个卷积层的三个模态的单模态标准化卷积特征矩阵进行拼接后输入到多模态特征融合卷积神经网络中，重复步骤(4)而对多模态特征融合卷积神经网络的性能进行验证；

(6)将任意一个体的三个模态的原始单模态图像采用步骤(1)至步骤(5)的方法进行处理后即可获得相应的融合特征由此完成分类识别过程。

为了验证本发明方法的效果，本发明人进行了下列实验：

将由585个不同个体的指节纹、指静脉和指纹共三个模态的原始单模态图像构成的三模态数据集分成两个数据集，分别按本发明方法进行了实验，实验结果如下：

表1、本发明方法的识别性能

由表1可知，本发明方法的第4层和第5层卷积特征融合识别效果最好，所以本发明方法选用第4-5层融合。

表2.本发明方法与其他融合方法识别性能比较

由表2和图6可知，本发明方法在进行身份识别时，获得了较高的识别精度和较低的等误率(EER)。实验结果表明：本发明提供的基于卷积神经网络的手指多模态特征融合识别方法能够有效地将指纹、指静脉和指节纹图像有效地融合起来，具有一定的可行性和有效性。

Claims (4)

1.一种基于卷积神经网络的手指多模态特征融合识别方法，其特征在于：所述的基于卷积神经网络的手指多模态特征融合识别方法包括按顺序进行的下列步骤：

(1)首先采用手指三模态采集装置采集多张不同个体的指节纹、指静脉和指纹共三个模态的原始单模态图像，由所有原始单模态图像构成三模态数据集，然后将三模态数据集中的原始单模态图像分为训练集和测试集；

(2)构建三个并行的单模态卷积神经网络，利用其上的多个卷积层分别提取上述三个模态的原始单模态图像中的单模态卷积特征，由每一个卷积层提取的所有卷积特征构成一个单模态卷积特征矩阵；

(3)将上述每一个卷积层提取的单模态卷积特征矩阵进行尺寸标准化处理而得到各自的单模态标准化卷积特征矩阵；

(4)构建多模态特征融合卷积神经网络，然后将训练集中每一个卷积层的三个模态的单模态标准化卷积特征矩阵进行拼接后输入到多模态特征融合卷积神经网络中，对多模态特征融合卷积神经网络进行训练，不断地更新优化网络参数，得到该卷积层的共同特征，之后将不同维度的共同特征展开成向量，最后连接不同维度的共同特征向量而组合成融合特征；

(5)将测试集中每一个卷积层的三个模态的单模态标准化卷积特征矩阵进行拼接后输入到多模态特征融合卷积神经网络中，重复步骤(4)而对多模态特征融合卷积神经网络的性能进行验证；

(6)将任意一个体的三个模态的原始单模态图像采用步骤(1)至步骤(5)的方法进行处理后即可获得相应的融合特征由此完成分类识别过程。

2.根据权利要求1所述的基于卷积神经网络的手指多模态特征融合识别方法，其特征在于：在步骤(2)中，所述的构建三个并行的单模态卷积神经网络，利用其上的多个卷积层分别提取上述三个模态的原始单模态图像中的单模态卷积特征，由每一个卷积层提取的所有卷积特征构成一个单模态卷积特征矩阵的方法是：所构建的单模态卷积神经网络包括卷积层conv1、池化层pool1、卷积层conv2、池化层pool2、卷积层conv3、卷积层conv4、卷积层conv5、池化层pool5、全连接层fc6、全连接层fc7、全连接层fc8以及分类层，其中分类层采用交叉熵损失函数作为代价函数；其中五个卷积层用于提取原始单模态图像中的单模态卷积特征；由每一个卷积层提取的所有卷积特征构成一个单模态卷积特征矩阵F(x×y)。

3.根据权利要求1所述的基于卷积神经网络的手指多模态特征融合识别方法，其特征在于：在步骤(3)中，所述的将上述每一个卷积层提取的单模态卷积特征矩阵进行尺寸标准化处理而得到各自的单模态标准化卷积特征矩阵的方法是：

首先确定出尺寸标准化处理后单模态标准化卷积特征矩阵的标准化尺寸；设为第i卷积层的指节纹卷积特征矩阵，为第i卷积层的指静脉卷积特征矩阵，为第i卷积层的指纹卷积特征矩阵，则上述单模态卷积特征矩阵F(x×y)中的行数x表示n或r，列数y表示c或r；取三个模态的卷积特征矩阵中最大重叠区域作为标准化尺寸，选取三个模态的卷积特征矩阵中最小的行数作为单模态标准化卷积特征矩阵的行数，选取最小的列数作为单模态标准化卷积特征矩阵的列数；对比三个模态的卷积特征矩阵的行数，由于r＜n，因此单模态标准化卷积特征矩阵的行数为r，对比三个模态的卷积特征矩阵的列数，由于c＜r，因此单模态标准化卷积特征矩阵的列数为c，则单模态标准化卷积特征矩阵为T(r×c)；

采用PCA算法对上述单模态卷积特征矩阵进行尺寸标准化处理，方法如下：

1)特征归一化，将单模态卷积特征矩阵F(x×y)切分成n个向量[x₁,x₂,...,x_n]^T，然后将这些向量中心化得到归一化矩阵A：

其中mean(x_i)表示n个向量的均值，std(x_i)表示n个向量的标准差；

2)计算归一化矩阵A的协方差矩阵B；

3)计算协方差矩阵B对应的特征值和特征向量；

4)将特征值由大到小进行排列，对应于第一个特征值的特征向量表示主分量方向，然后选取前a个特征值对应的特征向量组成主成分投影空间P(b×a)；最后将单模态卷积特征矩阵F(x×y)投影到主成分投影空间P(b×a)上即可获得单模态标准化卷积特征矩阵T(r×c)：

T(r×c)＝F(x×y)P(b×a) (2)

其中，x表示n或r，y表示c或r，b表示n或r，a为标准化后的维数r或者c。

4.根据权利要求1所述的基于卷积神经网络的手指多模态特征融合识别方法，其特征在于：在步骤(4)中，所述的构建多模态特征融合卷积神经网络，然后将训练集中每一个卷积层的三个模态的单模态标准化卷积特征矩阵进行拼接后输入到多模态特征融合卷积神经网络中，对多模态特征融合卷积神经网络进行训练，不断地更新优化网络参数，得到该卷积层的共同特征，之后将不同维度的共同特征展开成向量，最后连接不同维度的共同特征向量而组合成融合特征的方法是：

构建多模态特征融合卷积神经网络，将上述不同模态的单模态标准化卷积特征矩阵进行拼接后输入到多模态特征融合卷积神经网络中，对多模态特征融合卷积神经网络进行训练，得到该卷积层的共同特征T_i：

其中，T_i表示第i卷积层的共同特征，g(.)表示卷积学习共同特征。

采用将不同维度的共同特征T_i展开成向量，然后连接不同维度的共同特征向量而组合成融合特征

其中f(.)表示展开操作，[.,.]表示将展开的共同特征进行拼接。