CN114973307A - 生成对抗和余弦三元损失函数的指静脉识别方法及系统 - Google Patents

生成对抗和余弦三元损失函数的指静脉识别方法及系统 Download PDF

Info

Publication number
CN114973307A
CN114973307A CN202210118016.7A CN202210118016A CN114973307A CN 114973307 A CN114973307 A CN 114973307A CN 202210118016 A CN202210118016 A CN 202210118016A CN 114973307 A CN114973307 A CN 114973307A
Authority
CN
China
Prior art keywords
image
network
training
finger vein
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210118016.7A
Other languages
English (en)
Inventor
严如强
侯博瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202210118016.7A priority Critical patent/CN114973307A/zh
Publication of CN114973307A publication Critical patent/CN114973307A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种基于生成对抗网络和余弦三元损失函数的指静脉识别方法及系统，获取待识别用户的指静脉图像；对指静脉图像信息进行图像预处理，提取指静脉感兴趣区域(ROI)图像；通过基于生成对抗网络和余弦三元损失函数的卷积神经网络提取指静脉感兴趣区域中的指静脉特征，并识别待识别用户的身份信息。本发明能够实现指静脉图像样本扩充，生成指静脉图像，有效地提取指静脉特征，提高了对噪声的冗余性，明显改善指静脉识别系统的识别精度。

Description

生成对抗和余弦三元损失函数的指静脉识别方法及系统
技术领域
本发明涉及一种生物特征识别技术领域，特别是涉及一种基于生成对抗网络和余弦三元损失函数的指静脉识别方法及系统。
背景技术
指静脉识别技术主要依靠手指掌侧浅静脉进行身份识别。静脉血管是人体循环系统的一部分，它将血液由毛细血管引导、输送回心脏。具体来说，指静脉识别通过红外成像方式获取手指静脉图像。由于血液中的脱氧血红蛋白吸收近红外光，使近红外光照射下的手指图像中出现一系列暗纹，这些暗纹就是采集到的手指静脉纹路。随后，经过图像预处理和特征提取，将采集到的手指静脉图像转换为个人生物特征数据。在识别过程中，通过比较提取的用户手指静脉特征和存储模板的差异来确定用户身份，完成个人身份识别。
指静脉生物识别具有唯一性、活体检测、稳定性、非接触性和安全性等优点，是目前世界上最尖端的第二代生物识别技术。因此，指静脉识别成为近年来生物识别技术领域的热点，并在银行、楼宇门禁、PC登录、ATM存取款机、汽车安全等领域得到应用。
当前，指静脉识别依然存在较多的问题。传统的指静脉识别方法在运用过程中受到多种因素的影响，在实际应用存在手指静脉图像获取困难、静脉图像易受到噪声干扰、指静脉特征缺乏特异性的问题。因此，目前基于手工特征的方法很难有效地提取到指静脉纹路信息，导致认证系统的识别性能有限。
同时，当前对于深度学习在指静脉识别方面的应用也存在极大的局限性，常常只能应用于大样本指静脉数据的识别及作为图像处理工具使用。传统的深度学习方法往往局限于提高样本的类间距离并以此分类样本，但是，这种做法忽视了样本的类内距离，使其往往需要大样本的指静脉数据用于训练，并没有充分发挥其强大的特征学习能力。对于当前指静脉数据库稀缺和小样本的问题，需要一类能够扩充指静脉样本数量，兼顾样本类内距离和类间距离的识别方法，提升指静脉深度学习识别模型的识别效果。
发明内容
为了提升指静脉深度学习识别模型的识别效果，解决当前指静脉数据库稀缺和缺乏样本的问题。本发明提供了一种基于生成对抗网络和余弦三元损失函数的指静脉识别方法及系统，提供了一种可以较大程度的提取指静脉特征信息的方法，可以扩充指静脉样本数量，大幅度提高指静脉识别系统的识别能力。进一步目的是提出一种实现上述方法的身份识别系统。
一种基于生成对抗网络和余弦三元损失函数的手指静脉识别方法包括以下步骤：
步骤S100：获取待识别用户的指静脉原始图像；
步骤S200：预处理所述原始图像并提取ROI图像，其中，图像数据预处理包括灰度化、边缘提取、图像增强和归一化操作；
步骤S300：所述ROI图像输入卷积神经网络进行识别处理以识别用户的身份信息，其中，所述卷积神经网络包括生成对抗网络和基于余弦三元损失的分类器网络。
所述的方法中，步骤S300包括如下步骤：
步骤S310：将所述ROI图像和标签编码输入生成对抗网络以训练生成对抗网络，得到训练后的网络权重参数，生成对抗网络包括生成器网络和判别器网络，利用生成器网络生成指静脉图像；
步骤S320：将所述ROI图像和所述生成器生成的指静脉图像输入分类器网络，利用基于余弦三元损失函数和softmax损失函数的混合损失函数指导训练得到优化的分类器网络权重参数；
步骤S330：采用训练后的分类器网络处理所述ROI图像，以识别用户的身份信息。
所述的方法中，所述步骤S310中的训练为：
选取所述ROI图像作为训练图像，将训练图像输入至所述生成对抗网络中训练，生成对抗网络分为生成器网络和判别器网络，均由卷积网络构成；
训练过程中，生成器网络的输入为随机向量和训练图像的标签值，输出为“假”指静脉图像；判别器网络的输入为训练图像和生成器网络生成的“假”指静脉图像，输出为相应的“真假”图像判别标签；生成器网络和判别器网络均由输入层、卷积层、批归一化层、全连接层和输出层组成；采用相应的生成对抗损失函数作为训练指标，通过随机梯度下降法训练生成对抗网络，得到对应的网络权重参数，完成训练后，通过生成器网络处理输入图像并得到生成的指静脉图像。
所述的方法中，x代表服从数据分布Px的真实图像，z代表来自特征空间Pz的随机向量，G(·)和D(·)分别表示生成器网络和判别器网络，
Figure BDA0003497024730000041
表示对下标变量x求期望，
Figure BDA0003497024730000042
表示对下标变量z求期望，则所述生成对抗网络的生成对抗损失函数为：
Figure BDA0003497024730000043
其中，生成器网络损失函数：
Figure BDA0003497024730000044
判别器网络损失函数：
Figure BDA0003497024730000045
采用行列式点过程方法优化生成器网络损失函数，
Figure BDA0003497024730000047
和
Figure BDA0003497024730000048
分别为真实样本和生成数据的行列式点过程内核的第i个特征值，
Figure BDA0003497024730000049
和
Figure BDA00034970247300000410
则代表真实样本和生成数据的行列式点过程内核的第i个特征向量，实际使用的生成器损失函数为：
Figure BDA0003497024730000046
所述的方法中，所述步骤S320中的训练为：
选取所述ROI图像和生成器网络生成的图像作为训练图像，将训练图像输入至所述基于余弦三元损失函数的分类器网络中训练，训练过程中，分类器网络的输入为训练图像，输出为训练图像的标签值；分类器网络由输入层，卷积层，最大池化层，全连接层和输出层组成，采用余弦三元损失函数和softmax损失函数相结合得到的混合损失函数作为训练指标，训练分类器网络，得到对应的网络权重参数，完成训练后，通过分类器网络处理输入图像得到分类结果。
所述的方法中，分类器网络提取到的特征值为xi，其是第yi类指静脉图像的第i个样本，权重为
Figure BDA0003497024730000055
偏置为
Figure BDA0003497024730000056
第j层的权重和偏置分别为
Figure BDA0003497024730000057
和bi，指静脉图像种类为N，批训练样本总数为n，所述softmax损失函数为
Figure BDA0003497024730000051
使用
Figure BDA0003497024730000058
表示锚样本特征f(ai)与正样本特征f(pi)之间的夹角，
Figure BDA0003497024730000059
表示锚样本特征f(ai)与负样本特征f(ni)之间的夹角，
Figure BDA00034970247300000510
表示特征向量v的单位向量，
Figure BDA0003497024730000052
则余弦三元损失函数表示为，
Figure BDA0003497024730000053
其中:
Figure BDA0003497024730000054
Softplus(x)＝log(1+ex)。
式中，f(ai)T的上标为转置。所述的方法中，分类器网络的损失函数为余弦三元损失函数与softmax损失函数的和，
L＝Ls+λLAT，
式中，λ是平衡两个损失函数的系数，取值范围为任意实数。
一种实施基于生成对抗网络和余弦三元损失函数的指静脉识别方法的识别系统包括；
图像采集模块，其朝向并获取待识别用户的手指静脉图像；
图像预处理模块，其连接所述图像采集模块以预处理所述原始图像得到图像数据；
图像扩充模块，其连接所述图像预处理模块以增强扩充用户的指静脉图像样本；
图像特征提取模块，其连接所述图像预处理模块，所述图像特征提取模块连接并访问卷积神经网络以提取所述图像数据的特征信息；
图像训练模块，其连接并训练所述卷积神经网络，图像训练模块包括生成对抗网络训练单元和余弦三元损失函数训练单元；
图像识别模块，其连接所述图像特征提取模块以识别用户身份信息。
所述的系统中，所述图像预处理模块包括依次连接的灰度化单元、降噪单元、ROI单元以及归一化单元，其中；
所述灰度化单元用于对所述原始图像进行灰度化；
所述降噪单元用于对灰度化后的指静脉图像进行高斯低通滤波去除噪声干扰；
所述ROI单元使用边缘检测算子进行边缘检测获取边缘检测图像中手指边缘区域，以提取ROI图像；所述归一化单元采用MAX-MIN方法对所提取的指静脉感兴趣区域图像进行像素归一化处理，处理后每个像素点的像素在[0,1]范围；并采用双线性插值法对像素归一化后图像信息的图像尺寸进行归一化处理。
所述的系统中，所述图像训练模块为基于生成对抗网络和余弦三元损失函数的分类器网络模型，包括：
图像获取单元，用于获取所有用户的指静脉的图像信息；
图像预处理单元，对所述图像信息进行图像预处理，获取预处理后的ROI图像；
生成对抗网络训练单元，对所述预处理后待识别图像信息输入生成对抗网络，采用生成对抗损失指导训练过程，得到训练后的生成对抗网络的网络参数，采用训练后的生成器网络生成相应的指静脉图像以扩充数据集，
分类器训练单元，对待识别图像信息输入分类器进行训练，采用余弦三元损失函数和softmax损失函数指导卷积神经网络训练过程，得到训练后的分类器网络的网络参数，采用训练后的分类器网络网络处理输入图像并识别。
有益效果：本发明提出了一种基于生成对抗网络和余弦三元损失函数的手指静脉识别方法及系统，通过提出的系统实现手指静脉识别方法，大幅度提高指静脉识别系统的识别能力。针对采集到的手指静脉图像，利用生成对抗网络进行样本增强，扩充用户的指静脉样本，通过余弦三元损失函数指导卷积神经网络的训练，提高了对指静脉的特征提取能力，提高了指静脉识别系统的安全性和准确性。
附图说明
图1是本发明的基于生成对抗网络和余弦三元损失函数的指静脉识别系统的架构示意图；
图2是本发明的基于生成对抗网络和余弦三元损失函数的指静脉识别方法的流程示意图；
图3是本发明方法中图像预处理模块的结构框图的示意图；
图4是本发明方法中一个实施例的基于生成对抗网络和余弦三元损失函数的指静脉识别方法的训练流程图；
图5(a)、图5(b)是本发明方法中一个实施例的指静脉真实图像与相应生成图像的对比示意图。
具体实施方式
为了更清楚地说明本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图1至图5(b)及实施例对本发明作进一步说明，进行清楚、完整的描述，显然，所描述的实施例是本发明的部分实施例，而不是全部实施例。基于本发明的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
如图1所示，本发明提供的一种基于生成对抗网络和余弦三元损失函数的手指静脉识别系统，该系统包括：图像采集模块、图像预处理模块、图像扩充模块、图像特征提取模块、图像训练模块和图像识别模块；其中，图像采集模块用于采集用户的手指静脉原始图像；图像预处理模块用于对所述用户的手指静脉原始图像进行预处理；图像扩充模块用于根据手指静脉原始图像特征生成相似的指静脉图像用于数据扩充；图像特征提取模块用于提取预处理后的手指静脉原始图像的特征信息；图像训练模块根据待训练用户的手指静脉原始图像进行训练，得到训练参数；图像识别模块根据提取到的待识别用户的指静脉特征，识别用户的身份信息。
如图3所示，图像预处理模块包括依次连接的灰度化单元、ROI单元，图像增强单元，以及归一化单元，其中，灰度化单元用于对用户指静脉原始图像进行灰度化；ROI单元使用图像梯度差异进行边缘检测获取图像中手指边缘区域，以确定手指图像位置，即提取手指静脉感兴趣区域图像；图像增强单元，采用图像均衡曝光、高斯滤波、中值滤波、限制对比度增强和Gabor滤波方法，用以增强原始图像中的指静脉信息；所述述归一化单元，采用MAX-MIN方法对所提取的指静脉感兴趣区域图像进行像素归一化处理，处理后每个像素点的像素在[0,1]范围；并采用双线性插值法对像素归一化后图像信息的图像尺寸进行归一化处理，处理后的图像尺寸大小相同，从而方便下一步处理。其中，处理后的图像尺寸优选为48×144。
图像扩充模块为采用卷积神经网络设计的生成对抗网络模型，包括生成器和判别器。生成器用于从原始指静脉图像中学习特征分布信息并生成相应的指静脉图像，判别器用于判断生成图像与原始图像的相似程度。辅助生成器训练，最终采用训练好的生成器网络生成指静脉图像用于图像扩充。
图像特征提取模块为采用卷积神经网络设计的分类器网络模型，用于提取手指静脉的深度特征，采用基于余弦三元损失函数训练好的分类器网络进行提取；
图像训练模块包括：用于获取所有用户的手指静脉图像信息的图像获取单元；对所述所有用户的手指静脉图像信息进行图像预处理的图像预处理单元，获取预处理后的ROI图像；对所述预处理后待识别图像信息输入生成对抗网络和分类器网络进行训练的训练单元，训练函数分别为生成对抗损失函数、基于余弦三元损失函数和和softmax损失函数的混合损失函数，得到训练后的卷积神经网络的网络参数。
其中，组成生成对抗网络和分类器网络的卷积神经网络包括输入层、卷积层、最大池化层、批归一化层，全连接层和输出层。
图像识别模块，其包括：基于深度特征的识别单元，采用余弦距离计算识别用户指静脉图像的深度特征和数据库中用户的指静脉图像深度特征间的距离并进行特征匹配，得到待识别用户的身份信息。
另一实施例中，如图2所示，本发明实施例中提供了一种基于生成对抗网络和余弦三元损失函数的指静脉识别方法，具体包括以下步骤：
步骤一、通过指静脉信息采集设备获取待识别用户的手指静脉原始图像；
步骤二、接收待识别用户的手指静脉图像，并进行图像数据预处理；该步骤具体处理的方式为：首先对图像进行灰度化；使用图像梯度差异进行边缘检测获取图像中手指边缘区域，以确定手指图像位置，即提取手指静脉感兴趣区域(ROI)；采用图像均衡曝光、高斯滤波、中值滤波、限制对比度增强和Gabor滤波方法，增强原始图像中的指静脉信息；采用MAX-MIN方法对所提取的指静脉感兴趣区域图像进行像素归一化处理，处理后每个像素点的像素在[0,1]范围；并采用双线性插值法对像素归一化后图像信息的图像尺寸进行归一化处理，处理后的图像尺寸大小相同，获得最终图像。
其中，在图像进行灰度化的过程采用符合人眼特性的灰度化方法，令：
Gray＝0.299R+0.587G+0.114B
式中，R、G、B为原始彩色输入图像的三通道值，Gray表示灰度化的图像。
其中，进行边缘检测获取图像中手指边缘区域，以确定手指图像位置，即提取手指静脉感兴趣区域，采用边缘梯度差异。在本实施例中，由于图像横轴像素点和纵轴像素点个数分别为120和280，手指外部为弱背景，即像素值接近0，因此横向上0至60像素点选取梯度平均递增最快点为ROI横向起始点，60至120像素点搜寻梯度平均递减最快点为ROI横向终止点，纵向上0至140像素点选取梯度平均递增最快点为ROI纵向起始点，140至280像素点搜寻梯度平均递减最快点为ROI横向终止点。
其中，对所述图像信息进行均衡曝光处理的过程中，采用限制对比度自适应直方图均衡化，具体为：首先，考虑一幅感兴趣区域图像，设定阈值，若直方图某个灰度级超过该阈值，则对之进行裁剪，并将超出阈值的部分平均分配到其余灰度级，使得感兴趣区域图像更为平缓。其次，将图像分块并计算每块图像的直方图，对每一个像素点找到其邻近的四个窗口，分别计算四个窗口直方图对该像素点的映射值，最后采用双线性插值得到该像素点的最终映射值。
其中，滤波降噪进一步为对所述灰度化图像信息采用高斯低通滤波和中值滤波来实现，高斯低通滤波为令：
Gσ＝I*Gray
式中，Gray表示灰度图像，Gσ表示经过高斯低通降噪后的图像，I表示使用的二维高斯核，同时满足
Figure BDA0003497024730000111
其中，σ表示标准差，x和y分别表示图像的横纵坐标。
中值滤波为令：
Gm(x，y)＝Med[G(x-k，y-l)]，(k，l∈W)
式中，G(x，y)表示灰度图像，Gm(x，y)表示经过中值滤波降噪后的图像，Med表示选择矩阵的中值，x和y分别表示图像的横纵坐标，k和l分别表示选取的坐标范围，W为所选择的中值滤波矩阵的横纵坐标范围。
Gabor滤波方法为令：
Gg＝Ig*G
式中，G表示灰度图像，Gg表示经过Gabor降噪后的图像，Ig表示使用的二维高斯核，且满足
Figure BDA0003497024730000121
其中
Figure BDA0003497024730000122
式中μ的取值表示Gabor核函数的方向，
Figure BDA0003497024730000123
的取值决定了Gabor滤波的波长，k表示总的方向数，v表示当前的方向数，
Figure BDA0003497024730000124
决定了高斯窗口的大小，且σ优选为
Figure BDA0003497024730000125
x和y分别表示图像的横纵坐标。
其中，像素灰度值归一化，将每一个像素点的灰度值归一化为0到1之间，归一化方法为MAX-MIN方法，归一化公式如下：
Figure BDA0003497024730000126
式中，Z(x，y)为每个像素点归一化后的灰度值，g(x，y)表示原图像的灰度值。其中，采用双线性插值法进行尺度归一化处理，遍历图像信息上的每一个像素点，在x，y方向上进行插值和调整进行尺度归一化处理，本实施例中图像尺寸大小归一化为48*144。
步骤三、扩充图像数据；该步骤首先接收步骤二中经过图像预处理后的手指静脉图像；其次，将接收到的手指静脉图像中的感兴趣区域和相应的类别标签输入至生成对抗网络中，学习手指静脉图像的深度特征信息，并生成相应的指静脉图像进行图像扩充。
具体为选取指静脉感兴趣区域图像作为训练图像，将训练图像集合输入至生成对抗网络中训练。生成对抗网络分为生成器和判别器两部分，生成器的输入为随机向量和图像类别标签，输出为生成图像；判别器的输入为真实指静脉图像和生成图像，输出为图像判定标签。其中，生成器和分类器均由输入层，卷积层，全连接层，批归一化层和输出层组成，采用生成对抗网络损失作为训练指标，训练生成对抗网络，得到生成对抗网络的网络权重，完成训练后，选取生成器得到生成指静脉图像的，达到扩充小样本指静脉数据的作用，并以此提升指静脉深度学习识别模型的识别效果。
在本发明的具体实施例中,假设x代表服从数据分布Px的真实图像，z代表来自特征空间Pz的随机向量，G(·)和D(·)分别表示生成器和判别器，则所述生成对抗网络的训练损失函数为：
Figure BDA0003497024730000131
其中，生成器的损失函数：
Figure BDA0003497024730000132
判别器的损失函数：
Figure BDA0003497024730000133
采用行列式点过程方法优化生成器损失函数，假设
Figure BDA0003497024730000134
和
Figure BDA0003497024730000135
分别为真实样本和生成数据的行列式点过程内核的第i个特征值，
Figure BDA0003497024730000136
和
Figure BDA0003497024730000137
则代表真实样本和生成数据的行列式点过程内核的第i个特征向量。则实际使用的生成器的损失函数为
Figure BDA0003497024730000141
训练过程中，生成器的输入为随机向量和训练图像的标签值，输出标签为“假”的指静脉图像；判别器的输入为训练图像和生成器生成的指静脉图像，输出为相应的“真/假”图像判别标签。本实施例中，所使用的生成对抗网络由输入层，生成器网络用反卷积层，判别器网络用卷积层，全连接层和输出层组成。其中，一个卷积层(反卷积层)，由依次连接的5×5卷积、(5×5反卷积)、批归一化层和LeakyRelu激活函数组成。生成器具体模型构建如下：
第一层全连接层，输入为随机向量和类别标签的，输出的向量为13824×1；
第二层为重组层，将上一层输出向量大小重组为3×9×512，该层运算不含参数；
第三层为反卷积层，卷积核大小为5×5，步长为2，输出512个特征图；
第四层为反卷积层，卷积核大小为5×5，步长为2，输出96个特征图；
第五层为反卷积层，卷积核大小为5×5，步长为2，输出64个特征图；第六层为反卷积层，卷积核大小为5×5，步长为2，输出1个特征图；
表1：采用的生成器模型
Figure BDA0003497024730000151
判别器网络具体模型构建如下：
第一层卷积层，输入为输入的图像大小，卷积核大小为5×5，步长为2，输出64个特征图；
第二层为卷积层，卷积核大小为5×5，步长为2，输出128个特征图；
第三层为卷积层，卷积核大小为5×5，步长为2，输出256个特征图；
第四层为全连接层，输出为27648×1；
第五层为全连接层，输出为1×1；
表2：采用的判别器模型
Figure BDA0003497024730000161
步骤四、提取图像数据的特征信息；该步骤首先接收步骤三中经过图像扩充后的手指静脉图像并将接收到的手指静脉图像输入至分类网络中，进行手指静脉图像的深度特征信息提取。
具体为选取步骤三中生成的图像和真实图像作为训练图像，将训练图像集合输入至基于余弦三元损失函数的分类器网络中训练，分类器的输入为指静脉图像，输出为图像的图像深度特征值和标签值。其中，分类器网络由输入层，卷积层，最大池化层，全连接层，批归一化层和输出层组成，采用余弦三元损失函数相结合作为训练指标，训练卷积神经网络，得到卷积神经网络的网络权重，完成训练后，选取分类器网络模型处理输入图像并得到深度特征。采用余弦三元损失函数减少指静脉图像的类内距离并增大指静脉图像的类间距离，使同一类的指静脉特征在特征空间内更靠近；同时使不同类的指静脉特征在特征空间内更远离，达到在小样本指静脉数据的基础上提升指静脉深度学习识别模型的识别效果。
在本发明的具体实施例中，选取一个样本三元组，这个三元组是这样构成的：从训练数据集中随机选一个样本，该样本称为“锚样本”，然后再随机选取一个和“锚样本”属于同一类的样本，称为正样本和不同类的样本称为负样本，由此构成一个三元组。使用
Figure BDA0003497024730000174
表示锚样本特征f(ai)与正样本特征f(pi)之间的夹角，
Figure BDA0003497024730000175
表示锚样本特征f(ai)与负样本特征f(ni)之间的夹角，同样采用
Figure BDA0003497024730000176
表示特征向量v的单位向量，
Figure BDA0003497024730000171
余弦三元损失函数可以定义为。
Figure BDA0003497024730000172
其中:
Figure BDA0003497024730000173
oftplus(x)＝log(1+ex)
余弦三元损失函数的主要作用是指导分类器网络的特征提取能力，使得样本间类内距离大于类间距离，使得同一类样本的特征在特征空间里的分布更为紧凑。同时为了达到更好的收敛效果，基于softplus函数的软间隔也得引入损失函数中，用以达到更好的训练效果。
本实施例中，所使用的分类器网络由输入层，卷积层，最大池化层，全连接层和输出层组成。其中，一个卷积层，由依次连接的3×3卷积、批归一化层和Relu激活函数组成。
具体模型构建如下：
第一层卷积层，输入为输入的图像大小，卷积核大小为3×3，步长为1，输出32个特征图；
第二层为卷积层，卷积核大小为3×3，步长为1，输出32个特征图；
第三层为最大池化层，卷积核大小为2×2，步长为2；
第四层为卷积层，卷积核大小为3×3，步长为1，输出64个特征图；
第五层为卷积层，卷积核大小为3×3，步长为1，输出64个特征图；
第六层为最大池化层，卷积核大小为2×2，步长为2；
第七层为卷积层，卷积核大小为3×3，步长为1，输出128个特征图；
第八层为卷积层，卷积核大小为3×3，步长为1，输出128个特征图；
第九层为卷积层，卷积核大小为3×3，步长为1，输出128个特征图；第十层为最大池化层，卷积核大小为2×2，步长为2；
第十一层为全连接层，输出为13824×1；
第十二层为全连接层，输出为128×1；
第十三层为全连接层，输出为指静脉类别；
表3：采用的分类器模型
表3：采用的分类器模型
神经网络层 卷积核大小 步长 输出
1 3 1 48×144×32
2 3 1 48×144×32
3 2 2 24×72×32
4 3 1 24×72×64
5 3 1 24×72×64
6 2 2 12×36×64
7 3 1 12×36×128
8 3 1 12×36×128
9 3 1 12×36×128
10 2 2 6×18×128
11 / / 13824
12 / / 128
13 / / /
在本发明的具体实施例中，如图4所示，由生成器、判别器和分类器组成的神经网络模型的具体训练方法和参数设置为：训练中采用Adam梯度优化算法进行训练，生成器和分类器的学习率设置为0.0002，判别器的学习率设置为0.0001，Adam优化器的训练参数beta_1和beta_2分别设置为0.5和0.999。最大训练轮数为100，每轮训练中，批处理大小为128。确定参数更新方法之后，使用训练数据集对所提出的网络模型进行训练。在每一个训练轮次中，都按照以下步骤进行模型的训练和参数更新，
阶段一：生成器和判别器相互配合训练。将生成器和和判别器组合起来，生成器利用随机向量和类别标签生成相应指静脉图像，判别器区分真实图像与生成图像，辅助生成器训练。这一阶段的主要任务是让生成器学习到图像的特征分布。
阶段二：生成器和分类器相互配合训练。将生成器和分类器组合进行训练，利用前一阶段生成器学到的知识产生人工图像，并与相应的真实图像组合到一起，输入分类器进行训练。利用生成图像进行类内样本增强，帮助分类器学习到更有区分性的特征，进而提高分类器的特征学习与判别能力。当完成阶段二的一次训练后，即完成了一轮迭代周期的训练，接下来返回阶段一，继续进行下一个轮次的训练，以此迭代至模型收敛。步骤五、识别用户身份信息，该步骤读取存储手指静脉特征数据库中对应的已有身份信息，并将接收步骤四提取出的手指静脉图像特征信息，将两者进行特征信息比对，进一步获得待识别用户的身份信息。其中特征信息的比对采用余弦距离，具体计算待识别用户指静脉图像的深度特征和数据库中用户的指静脉图像深度特征间的距离，从而得到待识别用户的身份信息。
为了证明该方法的优越性，本实施例比较了真实指静脉图像与生成的指静脉图像的差异，用于说明本方法所采用之生成对抗网络的图像生成能力。图5(a)、图5(b)显示了真实指静脉图像与其对应的生成图像。从图5(a)、图5(b)中可以看出，生成器生成的图像与真实图像十分接近，生成的图像包含了基本原图像的静脉网络特征，并且一些生成图像相比于原训练图像，展现出了更多的变化，这表明生成器网络成功欺骗了判别器网络，学习到了真实指静脉图像的数据分布。
为了证明该方法的优越性，本实施例比较了传统纹理特征提取方法：基于Gabor滤波器和2DPCA的方法、基于滑动窗口滤波的方法，基于双重滑动窗口滤波方法的性能、基于softmax损失函数的卷积神经网络方法(神经网络结构如表3所示)和采用余弦三元损失函数结合数据增强方法(神经网络结构如表3所示)等方案的结果。在马来西亚指静脉图像公开数据库FV_USM和山东大学大学指静脉数据库SDUMLA上进行实验，结果如表4所示。
表4.等误率对比
Figure BDA0003497024730000211
在FV_USM指静脉数据库上，基于Gabor滤波器和2DPCA的融合识别结果等误率为5.72％，基于滑动窗口滤波识别结果等误率为2.69％，基于双重滑动窗口滤波识别结果等误率为2.32％,在同一卷积神经网络结构下，使用基于softmax损失识别结果等误率为0.38％，使用基于基于余弦三元损失函数结合数据增强方法结果等误率为0.20％，使用本实施例提取特征识别等误率为0.03％。在SDUMLA指静脉数据库中，基于Gabor滤波器和2DPCA的融合识别结果等误率为3.63％，基于滑动窗口滤波识别结果等误率为2.77％，基于双重滑动窗口滤波识别结果等误率为1.59％,在同一卷积神经网络结构下，使用基于softmax损失函数识别结果等误率为2.17％，使用本实施例提取特征识别等误率为0.05％，使用基于基于余弦三元损失函数结合数据增强方法结果等误率为0.63％，使用本实施例提取特征识别等误率为0.05％。本实例方法中提取的特征更能表达指静脉根本信息。所以使用本实例方法提取指静脉图像特征更加有效。
本发明的实施例提出基于生成对抗网络和余弦三元损失函数的指静脉识别方法，同时使用两个数据库中的图像进行训练，在两个数据库上的识别率都比传统方法的识别率要高，证明了该方法确实可以获得更好的识别性能，对于不同场景采集的数据库依然适用。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (10)

1.一种基于生成对抗网络和余弦三元损失函数的指静脉识别方法，其特征在于，包括如下步骤：
步骤S100：获取待识别用户的指静脉原始图像；
步骤S200：预处理所述原始图像并提取ROI图像，其中，图像数据预处理包括灰度化、边缘提取、图像增强和归一化操作；
步骤S300：所述ROI图像输入卷积神经网络进行运算处理，以识别用户的身份信息，其中，所述卷积神经网络包括生成对抗网络和基于余弦三元损失函数的分类器网络。
2.根据权利要求1所述的方法，其特征在于，优选的，步骤S300包括如下步骤：
步骤S310：将所述ROI图像和标签编码输入生成对抗网络进行训练，得到训练后的生成对抗网络的网络权重参数，生成对抗网络包括生成器网络和判别器网络，利用生成器网络生成指静脉图像；
步骤S320：将所述ROI图像和所述指静脉图像输入分类器网络，利用包括余弦三元损失函数和softmax函数的损失函数指导训练，得到训练后的分类器网络权重参数；
步骤S330：采用训练后的分类器网络处理所述ROI图像，以识别用户的身份信息。
3.根据权利要求2所述的方法，其特征在于，所述步骤S310中的训练为：
选取所述ROI图像作为训练图像，将训练图像输入至所述生成对抗网络中训练，生成对抗网络由生成器网络和判别器网络构成且均为卷积网络；
训练过程中，生成器网络输入为随机向量和训练图像的标签值，输出为生成的“假”指静脉图像；判别器网络的输入为训练图像和生成器网络生成的“假”指静脉图像，输出为相应的“真/假”图像判别标签；生成器网络和判别器网络均由输入层、卷积层、批归一化层、全连接层和输出层组成；采用相应的生成对抗损失函数作为训练指标，通过随机梯度下降法训练生成对抗网络，得到对应的网络权重参数，完成训练后，通过生成器网络处理输入图像并得到生成的指静脉图像。
4.根据权利要求3所述的方法，其特征在于，令x代表服从数据分布Px的真实图像，z代表来自特征空间Pz的随机向量，G(·)和D(·)分别表示生成器网络和判别器网络，
Figure FDA0003497024720000021
表示对下标变量x求期望，
Figure FDA0003497024720000022
表示对下标变量z求期望，则所述生成对抗网络的生成对抗损失函数为：
Figure FDA0003497024720000023
式中，minGmaxD(·)是二次优化意义下的最小最大函数；
其中，生成器网络损失函数：
Figure FDA0003497024720000024
判别器网络损失函数：
Figure FDA0003497024720000025
采用行列式点过程方法优化生成器网络损失函数，
Figure FDA0003497024720000031
和
Figure FDA0003497024720000032
分别为真实样本和生成数据的行列式点过程内核的第i个特征值，
Figure FDA0003497024720000033
和
Figure FDA0003497024720000034
则分别代表真实样本和生成数据的行列式点过程内核的第i个特征向量，实际使用的生成器网络损失函数为：
Figure FDA0003497024720000035
5.根据权利要求2所述的方法，其特征在于，所述步骤S320中的训练为：
选取所述ROI图像和生成器网络生成的图像作为训练图像，将训练图像输入至分类器网络中训练，训练过程中，分类器网络的输入为训练图像，输出为训练图像的标签值；分类器网络由输入层、卷积层、最大池化层、全连接层和输出层组成，采用余弦三元损失函数和softmax损失函数相结合得到的损失函数作为训练指标，通过随机梯度下降法训练分类器网络，得到对应的网络权重参数，完成训练后，通过分类器网络处理输入图像得到分类结果。
6.根据权利要求5所述的方法，其特征在于，分类器网络提取到的特征值为xi，其是第yi类指静脉图像的第i个样本，权重为
Figure FDA0003497024720000036
偏置为
Figure FDA0003497024720000037
第j层的权重和偏置分别为
Figure FDA0003497024720000038
和bi，指静脉图像种类为N，批训练样本总数为n，所述softmax损失函数为
Figure FDA0003497024720000041
Figure FDA0003497024720000042
表示锚样本特征f(ai)与正样本特征f(pi)之间的夹角，
Figure FDA0003497024720000043
表示锚样本特征f(ai)与负样本特征f(ni)之间的夹角，
Figure FDA0003497024720000044
表示特征向量v的单位向量，
Figure FDA0003497024720000045
则余弦三元损失函数表示为，
Figure FDA0003497024720000046
其中：
Figure FDA0003497024720000047
Softplus(x)＝log(1+ex)，
式中，f(ai)T的上标T为转置。
7.根据权利要求5所述的方法，其特征在于，分类器网络的损失函数为余弦三元损失函数与softmax损失函数的和，
L＝Ls+λLAT，
其中，λ是平衡两个损失函数的系数，取值范围为任意实数。
8.一种实施权利要求1-7中任一项基于生成对抗网络和余弦三元损失函数的指静脉识别方法的识别系统，其特征在于，其包括依次连接的图像采集模块、图像预处理模块、图像增强模块、图像特征提取模块、图像识别模块和图像训练模块；
图像采集模块，其朝向并获取待识别用户的手指静脉图像；
图像预处理模块，其连接所述图像采集模块以预处理所述原始图像得到图像数据；
图像扩充模块，其连接所述图像预处理模块以增强扩充用户的指静脉图像样本；
图像特征提取模块，其连接所述图像预处理模块，所述图像特征提取模块连接并访问卷积神经网络以提取所述图像数据的特征信息；
图像训练模块，其连接并训练所述卷积神经网络，图像训练模块包括生成对抗网络训练单元和余弦三元损失函数训练单元；
图像识别模块，其连接所述图像特征提取模块以识别用户身份信息。
9.根据权利要求8所述的识别系统，其特征在于，所述图像预处理模块包括依次连接的灰度化单元、降噪单元、ROI单元以及归一化单元，其中，
所述灰度化单元用于对所述原始图像进行灰度化；
所述降噪单元用于对灰度化后的指静脉图像进行高斯低通滤波去除噪声干扰；
所述ROI单元使用边缘检测算子进行边缘检测获取边缘检测图像中手指边缘区域，以提取ROI图像；所述归一化单元采用MAX-MIN方法对所提取的指静脉感兴趣区域图像进行像素归一化处理，处理后每个像素点的像素在[0,1]范围；并采用双线性插值法对像素归一化后图像信息的图像尺寸进行归一化处理。
10.根据权利要求8所述的识别系统，其特征在于，所述图像训练模块为基于生成对抗网络和余弦三元损失函数的分类器网络模型，包括：
图像获取单元，用于获取所有用户的指静脉的图像信息；
图像预处理单元，对所述图像信息进行图像预处理，获取预处理后的ROI图像；
生成对抗网络训练单元，将所述预处理后待识别图像信息输入生成对抗网络，采用生成对抗损失函数指导训练过程，通过随机梯度下降方法得到优化的网络参数，采用训练后的生成器网络生成相应的指静脉图像以扩充数据集；
分类器训练单元，将待识别图像信息输入分类器进行训练，采用余弦三元损失函数和softmax损失函数指导卷积神经网络训练过程，通过随机梯度下降方法得到优化的网络参数，采用训练后的分类器网络处理输入图像并识别。
CN202210118016.7A 2022-02-08 2022-02-08 生成对抗和余弦三元损失函数的指静脉识别方法及系统 Pending CN114973307A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210118016.7A CN114973307A (zh) 2022-02-08 2022-02-08 生成对抗和余弦三元损失函数的指静脉识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210118016.7A CN114973307A (zh) 2022-02-08 2022-02-08 生成对抗和余弦三元损失函数的指静脉识别方法及系统

Publications (1)

Publication Number Publication Date
CN114973307A true CN114973307A (zh) 2022-08-30

Family

ID=82976459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210118016.7A Pending CN114973307A (zh) 2022-02-08 2022-02-08 生成对抗和余弦三元损失函数的指静脉识别方法及系统

Country Status (1)

Country Link
CN (1) CN114973307A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563642A (zh) * 2023-05-30 2023-08-08 智慧眼科技股份有限公司 图像分类模型可信训练及图像分类方法、装置、设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563642A (zh) * 2023-05-30 2023-08-08 智慧眼科技股份有限公司 图像分类模型可信训练及图像分类方法、装置、设备
CN116563642B (zh) * 2023-05-30 2024-02-27 智慧眼科技股份有限公司 图像分类模型可信训练及图像分类方法、装置、设备

Similar Documents

Publication Publication Date Title
CN108009520B (zh) 基于卷积变分自编码器网络的手指静脉识别方法及系统
CN107977609B (zh) 一种基于cnn的指静脉身份验证方法
CN110837768B (zh) 一种面向珍稀动物保护的在线检测与识别方法
CN106529504B (zh) 一种复合时空特征的双模态视频情感识别方法
CN111401145B (zh) 一种基于深度学习与ds证据理论的可见光虹膜识别方法
CN112597812A (zh) 一种基于卷积神经网络和sift算法的手指静脉识别方法及系统
CN110555380A (zh) 基于Center Loss损失函数的指静脉识别方法
CN110880010A (zh) 基于卷积神经网络的视觉slam闭环检测算法
Zuobin et al. Feature regrouping for cca-based feature fusion and extraction through normalized cut
Huang et al. Robust finger vein recognition based on deep CNN with spatial attention and bias field correction
CN114973308A (zh) 弹性权重固化和多元相似损失的手指静脉识别方法及系统
CN114973307A (zh) 生成对抗和余弦三元损失函数的指静脉识别方法及系统
CN103942545A (zh) 一种基于双向压缩数据空间维度缩减的人脸识别方法和装置
Benziane et al. Dorsal hand vein identification based on binary particle swarm optimization
Pathak et al. Multimodal eye biometric system based on contour based E-CNN and multi algorithmic feature extraction using SVBF matching
Achban et al. Wrist hand vein recognition using local line binary pattern (LLBP)
CN111898400A (zh) 一种基于多模态特征融合的指纹活性检测方法
Karungaru et al. Face recognition in colour images using neural networks and genetic algorithms
Deepamalar et al. An enhanced palm vein recognition system using multi-level fusion of multimodal features and adaptive resonance theory
Zuobin et al. Effective feature fusion for pattern classification based on intra-class and extra-class discriminative correlation analysis
Yani et al. A robust damaged fingerprint identification algorithm based on deep learning
CN114743278A (zh) 一种基于生成对抗网络和卷积神经网络的指静脉识别方法
Punyani et al. Iris recognition system using morphology and sequential addition based grouping
CN110502996B (zh) 一种面向模糊指静脉图像的动态识别方法
Khan et al. Dorsal hand vein biometric using Independent Component Analysis (ICA)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination