CN109740407B - 一种基于图网络的掌静脉特征提取方法 - Google Patents

Abstract

本发明公开了一种基于图网络的掌静脉特征提取方法，通过构建基于图网络的卷积特征提取网络，对掌静脉图像进行特征提取，得到掌静脉特征向量，基于图网络的卷积特征提取网络由3个模块构成，分别为卷积网络层、图网络层和特征向量表示层。本发明将卷积神经网络与图技术相结合，利用卷积神经网络的优势提取掌静脉的局部特征，再利用图网络技术融合这些局部特征以提取高级的全局特征，相比一般卷积神经网络，具有更好的表示能力，识别精度更高。

Description

一种基于图网络的掌静脉特征提取方法

技术领域

本发明涉及手掌静脉特征识别技术领域，尤其涉及一种基于图网络的掌静脉特征提取方法。

背景技术

掌静脉识别是一种新兴的生物特征识别技术，利用手掌静脉的分布纹路进行身份识别。掌静脉属于内部结构，只有活体的手掌才能检测，无法伪造，具有较强的防伪能力，手掌静脉血管结构相比人脸和指纹更加丰富复杂，安全级别高。

在掌静脉特征提取方法中，目前大部分基于传统的模式识别技术，虽然深度学习在图像识别领域取得了较大突破，但是将深度学习技术应用于掌静脉识别依然较少。其主要原因是掌静脉复杂的内部网状结构具有较弱的局部相关性，在选取掌静脉有效区域时存在较大的随机性，而且掌静脉存在明显的变形，这些都是导致深度学习技术难以直接应用于掌静脉特征提取的原因。因此，针对掌静脉识别存在的以上的问题，需要重新设计掌静脉特征提取网络。

掌静脉为复杂的网状结构，这种结构在数学上有个专业术语“图”，把掌静脉作为一张由顶点和边构成的图，那么就可以利用图的相关技术提取掌静脉的特征。从总体看，掌静脉的特征提取实际上就是提取该图的拓扑结构，而这种拓扑结构不会随位移、旋转、变形、缩放等因素影响。

但是，有些掌静脉图像会出现断裂或者消失，导致掌静脉的“图”不是完整的，难以将“图”的思想直接应用于掌静脉的原图，提取“点”和“线”的特征。本发明将卷积神经网络与图网络技术相结合，公开了一种基于图网络的掌静脉特征提取方法。本发明首先利用卷积神经网络的优势提取掌静脉的局部特征，这些局部特征相比原图具有更高的表示能力和抗干扰能力，再利用图网络技术融合这些局部特征以提取高级的全局特征，最后将提取的特征向量映射到各类的中心以完成特征向量的训练。本发明相比一般卷积神经网络，具有更好的表示能力，识别精度更高。

发明内容

为解决上述问题，本发明提供了一种基于图网络的掌静脉特征提取方法，通过构建基于图网络的卷积特征提取网络，对掌静脉图像进行特征提取，得到掌静脉特征向量。基于图网络的卷积特征提取网络由3个模块构成，分别为卷积网络层(CNN)、图网络层(GNN)和特征向量表示层(Embedding)。

所述的卷积网络层由1个卷积核为5x5的基础卷积层和3级Layer层构成。基础卷积层的Stride设置为2，因为掌静脉为稀疏的网状结构，不需要密集的特征提取，在降低计算量的同时，降低卷积特征平面的维度。第一级Layer层由3个Block构成，第二级Layer层由4个Block构成，第三级Layer层由3个Block构成，三级Layer级联完成对掌静脉局部特征的提取。

具体的，所述的基础卷积层由1个卷积核大小为m×n的卷积层，一个批量化层和一个激活函数层构成，输入首先经过卷积核为m×n、Stride为s的卷积层，然后经过批量化层，最后经过一个激活函数层。批量化层的主要作用是解决网络梯度消散和爆炸问题，可以更加稳定的训练网络。

具体的，Layer层由多个Block层构成，共有两种Block层，即BlockA和BlockB。BlockA层处于每个Layer层的第一级，且只有一个；BlockB层位于BlockA之后，可以根据识别精度和速度灵活配置BlockB层的个数。Layer层的主要功能是封装多个Block层，在降低卷积特征平面的维度的同时，提取更丰富的高级特征。

BlockA层主要由1个基础卷积层、2个卷积层、2个批量化层、1个求和层和1个激活函数层构成，BlockA层的主要功能是降低卷积特征平面的维度；BlockB层主要由1个基础卷积层、1个卷积层、1个批量化层、1个求和层和1个激活函数层构成，BlockB层的主要功能是融合低级的卷积特征，提取更丰富的高级特征。

所述的图网络层(GNN)，主要由1个图全连接层(Graph FC)、1个激活函数层和1个卷积层构成。图网络层的主要功能是将卷积网络层提取的局部特征进行融合，以提取掌静脉的全局拓扑结构特征。

具体的，所述的图全连接层是图网络最关键的一层，首先将卷积网络的输出卷积特征转换为特征向量，然后分别进行特征向量转换，最后根据已建立好的邻接关系矩阵得到具有邻接关系的高级特征向量。

所述特征向量表示层主要由1个深度可分离的卷积层，1个全连接层和1个Softmax层构成，主要功能是提取掌静脉的特征向量，同时将低维的特征向量映射到各自的类中心，利用Softmax层的分类功能完成整个网络的训练。

附图说明

图1是本发明基于图网络的卷积特征提取网络结构图；

图2是本发明卷积网络层的结构图；

图3是本发明基础卷积层的结构图；

图4是本发明Layer层的结构图；

图5是本发明BlockA的结构图；

图6是本发明BlockB的结构图；

图7是本发明图网络层的结构图；

图8是本发明特征向量表示层的结构图；

图9是本发明基于图网络的网络结构实施参数信息表图。

具体实施方式

为了使本发明的目的、技术方案更加清楚明白，以下结合附图对本发明的技术方案进行详细阐述。

本发明公开了一种基于图网络的掌静脉特征提取方法，该方法结合了卷积神经网络的优点和图技术的思想，将掌静脉作为一张由点和线构成的图进行识别。

考虑到直接使用图网络，难以有效从原图提取掌静脉的点和线，而且这种低级特征存在较大的不完整性，难以进行有效特征表示。一种有效的创新性思路是，可以先使用卷积神经网络提取掌静脉的局部特征，这些局部特征之间不仅具有较强的局部相关性，而且对低级特征做了较好的特征表示。然后，将这些高级特征，大小为14x14，深度为512，重新组合得到196个512维的特征向量，这些特征向量经过图网络层，进一步进行高级特征融合，最后提取掌静脉的特征向量。该发明的卷积网络层可以根据识别精度和速度灵活配置每级Layer层的Block层个数。

一种基于图网络的掌静脉特征提取方法，通过构建的基于图网络的卷积特征提取网络来获取掌静脉特征向量，具体如下：

(1)输入掌静脉图像

基于图网络的卷积特征提取网络的输入层数据为经简单预处理后的掌静脉图像，通过近红外光拍摄采集的掌静脉图像，再截取掌静脉图像ROI区域，经简单的二值化及图像增强等预处理，即可作为卷积特征提取网络的输入层。

(2)基于图网络的卷积特征提取网络

本发明公开的一种基于图网络的卷积特征提取网络结构如图1所示，该网络结构由3个模块构成，分别为卷积网络层、图网络层和特征向量表示层。

(2.1)卷积网络层的设置

如图2所示为卷积网络层的结构图，图9所示为本发明基于图网络的网络结构实施参数信息表，在本发明提供的实施例中卷积网络层由1个卷积核为5x5的基础卷积层和3级Layer层构成。基础卷积层的Stride设置为2，因为掌静脉为稀疏的网状结构，不需要密集的特征提取，在降低计算量的同时，降低卷积特征平面的维度。第一级Layer层由3个Block构成，第二级Layer层由4个Block构成，第三级Layer层由3个Block构成，三级Layer级联完成对掌静脉局部特征的提取。

优选的，所述的基础卷积层，如图3所示，由1个卷积核大小为m×n的卷积层(Convolution)、一个批量化层(BatchNorm)和一个激活函数层(ReLU)构成。输入首先经过卷积核为m×n，Stride为s的卷积层，然后经过批量化层，最后经过一个激活函数层。批量化层的主要作用是解决网络梯度消散和爆炸问题，可以更加稳定训练网络，这里激活函数层选择ReLU。

优选的，所述的Layer层，如图4所示，由多个Block层构成，共有两种Block层，即BlockA和BlockB。BlockA层处于每个Layer层的第一级，且只有一个；BlockB层位于BlockA之后，可以根据识别精度和速度灵活配置BlockB层的个数。Layer层的主要功能是封装多个Block层，在降低卷积特征平面的维度的同时，提取更丰富的高级特征。

如图5所示，BlockA由1个3x3的基础卷积层、1个3x3的卷积层、1个1x1的卷积层、2个批量化层、1个求和层和1个激活函数层ReLU构成。BlockA包含两条通路，第一条通路依次经过1个3x3的基础卷积层、1个3x3的卷积层和1个批量化层；第二条通路依次经过1个1x1的卷积层和1个批量化层，再将这两条通路对应通道求和，最后经过激活函数，输出给下一级网络。卷积核为3x3的基础卷积层和卷积核为1x1的卷积层，stride均被设置为2，达到对卷积特征平面降维的功能。BlockA通过第二条通路引入残差网络，降低深层网络的退化问题，可以使深层网络获得更高的表达能力。

如图6所示，BlockB由1个3x3的基础卷积层、1个3x3的卷积层、1个批量化层、1个求和层和1个激活函数层构成，BlockB也包括两条通路，第一条通路依次经过1个3x3的基础卷积层、1个3x3的卷积层和1个批量化层，第二条通路引入残差，最后将两条通路对应通道求和，最后经过一个激活函数层，作为下一级网络的输入。

(2.2)图网络层的设置

如图7所示为图网络层的结构图，图网络层由1个图全连接层、1个激活函数层和1个3x3的卷积层构成，图全连接的输入为卷积神经网络的输出，大小为14x14x512，即特征平面大小为14x14，深度为512，重新组合成196个512维的特征向量，简记为m_i，每个512维的特征向量可视为一个顶点，根据特征向量的邻接关系，建立一个邻接矩阵A，大小为196x196，当两个特征向量邻接时相应的位置为1，当两个特征向量不邻接时相应的位置为0，建立起图网络的线。

优选的，所述的图全连接层针对每个特征向量做变换，变换后的输出m_o定义为式(1)：

m_o＝m_i*w_i+b_i        (1)

式(1)中，w_i为特征向量m_i的参数矩阵，b_i为对应的偏置参数，m_o为对应的输出，再根据邻接矩阵，计算具有邻接关系的特征向量，其输出的特征向量m_j定义为公式(2)：

m_j＝f(A_j*M)         (2)

式(2)中，A_j为邻接矩阵的第j行，表示第j个特征向量与其他特征向量的邻接关系，M为经式(1)变换后构成的特征向量矩阵，m_j为对应的输出，函数f(*)表示激活函数ReLU，最后将经处理后的196个512维的特征向量转换成大小为14x14，深度为512的形式，作为下一级卷积网络的输入，卷积层的Stride设置为2，实现对高级特征的进一步融合，并且进一步降低特征的维度。

(2.3)特征向量表示层的设置

如图8所示为特征向量表示层的网络结构图，由1个大小为7x7的深度可分离卷积层(Depthwise Convolution)、1个大小为8000全连接层(FC)和1个Softmax层构成。特征向量表示层的主要功能是提取掌静脉的特征向量，将低维的特征向量映射到各自的类中心，通过Softmax层进行分类训练。深度可分离卷积层的通道数为1024，组数为1024，即每个特征通道得到一个特征点，输出1024维的特征向量。这样做的好处既减少了网络参数，也提升了对整体掌静脉拓扑结构的表示能力。这里训练使用了8000类，所以全连接层的参数为8000，可以根据实际应用具体配置。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于图网络的掌静脉特征提取方法，其特征在于：通过构建基于图网络的卷积特征提取网络，对掌静脉图像进行特征提取，得到掌静脉特征向量，所述的基于图网络的卷积特征提取网络由3个模块构成，分别为卷积网络层、图网络层和特征向量表示层：

1)卷积网络层由1个卷积核为5x5的基础卷积层和3级Layer层构成，基础卷积层的Stride设置为2，降低计算量和卷积特征平面的维度，第一级Layer层由3个Block构成，第二级Layer层由4个Block构成，第三级Layer层由3个Block构成，三级Layer级联完成对掌静脉局部特征的提取；

2)图网络层由1个图全连接层、1个激活函数层和1个3x3的卷积层构成，图全连接的输入为卷积神经网络的输出，大小为14x14x512，即特征平面大小为14x14，深度为512，重新组合成196个512维的特征向量，简记为m_i，每个512维的特征向量可视为一个顶点，根据特征向量的邻接关系，建立一个邻接矩阵A，大小为196x196，当两个特征向量邻接时相应的位置为1，当两个特征向量不邻接时相应的位置为0，建立起图网络的线；

3)特征向量表示层由1个大小为7x7的深度可分离卷积层、1个大小为8000全连接层和一个Softmax层构成，主要功能是提取掌静脉的特征向量，将低维的特征向量映射到各自的类中心，通过Softmax层进行分类训练，深度可分离卷积层的通道数为1024，组数为1024，即每个特征通道得到一个特征点，输出1024维的特征向量，既减少了网络参数，也提升了对整体掌静脉拓扑结构的表示能力，网络的训练使用了8000类，全连接层的参数为8000。

2.根据权利要求1所述的一种基于图网络的掌静脉特征提取方法，其特征在于：1)中所述的基础卷积层由1个卷积核大小为m×n的卷积层，一个批量化层和一个激活函数层构成，输入首先经过卷积核为m×n、Stride为s的卷积层，然后经过批量化层，最后经过一个激活函数层。

3.根据权利要求1所述的一种基于图网络的掌静脉特征提取方法，其特征在于：2)中所述的图全连接层针对每个特征向量做变换，变换后的输出m_o定义为式(1)：

m_o＝m_i*w_i+b_i       (1)

式(1)中，w_i为特征向量m_i的参数矩阵，b_i为对应的偏置参数，m_o为对应的输出，再根据邻接矩阵，计算具有邻接关系的特征向量，其输出的特征向量m_j定义为公式(2)：

m_j＝f(A_j*M)     (2)

式(2)中，A_j为邻接矩阵的第j行，表示第j个特征向量与其他特征向量的邻接关系，M为经式(1)变换后构成的特征向量矩阵，m_j为对应的输出，函数f(*)表示激活函数ReLU，最后将经处理后的196个512维的特征向量转换成大小为14x14，深度为512的形式，作为下一级卷积网络的输入，卷积层的Stride设置为2，实现对高级特征的进一步融合，并且进一步降低特征的维度。

Images