CN110555399A - 手指静脉识别方法、装置、计算机设备及可读存储介质 - Google Patents

手指静脉识别方法、装置、计算机设备及可读存储介质 Download PDF

Info

Publication number
CN110555399A
CN110555399A CN201910783121.0A CN201910783121A CN110555399A CN 110555399 A CN110555399 A CN 110555399A CN 201910783121 A CN201910783121 A CN 201910783121A CN 110555399 A CN110555399 A CN 110555399A
Authority
CN
China
Prior art keywords
neural network
finger vein
graph neural
convolutional neural
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910783121.0A
Other languages
English (en)
Other versions
CN110555399B (zh
Inventor
方沛宇
李静慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Zhimai Zhuhai Technology Co ltd
Original Assignee
Beijing Zhimai Recognition Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhimai Recognition Technology Co Ltd filed Critical Beijing Zhimai Recognition Technology Co Ltd
Priority to CN201910783121.0A priority Critical patent/CN110555399B/zh
Publication of CN110555399A publication Critical patent/CN110555399A/zh
Application granted granted Critical
Publication of CN110555399B publication Critical patent/CN110555399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种手指静脉识别方法、装置、计算机设备及可读存储介质，其中，该方法包括：将待识别手指静脉图像输入卷积神经网络中，卷积神经网络输出待识别手指静脉图像的特征向量；将待识别手指静脉图像的特征向量输入图神经网络的卷积神经网络中，输出每两个特征向量之间的关系信息，将待识别手指静脉图像的特征向量作为图神经网络的节点嵌入，将每两个特征向量之间的关系信息嵌入作为图神经网络的边嵌入，图神经网络输出待识别手指静脉图像的预测标签，图神经网络是采用手指静脉图像的特征向量、特征向量之间的关系以及手指静脉图像对应的预测标签训练得到的。该方案可以有效地提高手指静脉识别的精度。

Description

手指静脉识别方法、装置、计算机设备及可读存储介质
技术领域
本发明涉及生物特征识别技术领域，特别涉及一种手指静脉识别方法、装置、计算机设备及可读存储介质。
背景技术
当今信息化时代对身份识别有非常大的市场需求，生物特征识别技术凭借其突出的便利性与安全性，成为最具应用前景的身份认证手段。在众多的生物特征中，手指静脉以其独特的非接触性、稳定性、便携性和活体检测等优势吸引了广泛的关注，手指静脉识别技术也因此得到了快速的发展。
在手指静脉识别领域，目前所应用的大部分方法是基于人工设计的特征进行识别，由于这些人工设计的特征对图像成像质量、噪声干扰及手指姿态变化较为敏感，且表征能力有限，使得影响识别的准确度。针对基于人工设计的特征进行识别存在缺陷的这个问题，深度学习提供了替代方案，通过学习大规模标记样本，提取表征能力更强的高层抽象特征，使产品性能大幅提升。但是，深度卷积神经网络具有大量的参数，为了更好地对其进行优化，需要大量的训练图片，然而，由于手指静脉数据缺乏，远远不能满足要求，往往需要复杂的数据增强和图像预处理步骤来增加数据数量。此外，手指静脉图像之间的差别主要是静脉的灰度分布，数据分布不够广泛，相比自然图像有更大的学习难度。因此，深度学习在手指静脉识别中的应用基本都在小样本小范围内，仍处于试验阶段，无法确保识别精度。
发明内容
本发明实施例提供了一种手指静脉识别方法，以解决现有技术中手指静脉识别存在的数据处理繁杂、识别精度低的技术问题。该方法包括：
将待识别手指静脉图像输入卷积神经网络中，所述卷积神经网络输出所述待识别手指静脉图像的特征向量；
将所述待识别手指静脉图像的特征向量输入图神经网络的卷积神经网络中，所述图神经网络的卷积神经网络输出每两个特征向量之间的关系信息，将所述待识别手指静脉图像的特征向量作为图神经网络的节点嵌入，将每两个特征向量之间的关系信息嵌入作为所述图神经网络的边嵌入，所述图神经网络输出所述待识别手指静脉图像的预测标签，其中，所述图神经网络是采用手指静脉图像的特征向量、特征向量之间的关系以及手指静脉图像对应的预测标签训练得到的。
本发明实施例提供了一种手指静脉识别装置，以解决现有技术中手指静脉识别存在的数据处理繁杂、识别精度低的技术问题。该装置包括：
特征向量提取模块，用于将待识别手指静脉图像输入卷积神经网络中，通过所述卷积神经网络输出所述待识别手指静脉图像的特征向量；
手指静脉识别模块，用于将所述待识别手指静脉图像的特征向量输入图神经网络的卷积神经网络中，所述图神经网络的卷积神经网络输出每两个特征向量之间的关系信息，将所述待识别手指静脉图像的特征向量作为图神经网络的节点嵌入，将每两个特征向量之间的关系信息嵌入作为所述图神经网络的边嵌入，通过所述图神经网络输出所述待识别手指静脉图像的预测标签，其中，所述图神经网络是采用手指静脉图像的特征向量、特征向量之间的关系以及手指静脉图像对应的预测标签训练得到的。
在本发明实施例中，本申请提出了通过一个卷积神经网络来提取待识别手指静脉图像的特征向量，并通过图神经网络中的卷积神经网络来提取每两个特征向量之间的关系信息，进而将待识别手指静脉图像的特征向量作为图神经网络的节点嵌入，将每两个特征向量之间的关系信息嵌入作为图神经网络的边嵌入，图神经网络即可输出待识别手指静脉图像的预测标签。实现了通过卷积神经网络和图神经网络的结合来实现手指静脉的识别，由于图神经网络相对深度卷积神经网络参数较少，通过卷积神经网络提取的特征向量以及每两个特征向量之间的关系信息即可满足图神经网络的数据要求，相对现有技术中采用深度卷积神经网络进行识别的方案相比，本申请无需任何复杂的数据预处理和数据增强步骤来增加数据数量，简化了数据处理过程，同时，可以有效地提高手指静脉识别的精度，有利于提高手指静脉识别系统的安全性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1是本发明实施例提供的一种手指静脉识别方法的流程图；
图2是本发明实施例提供的一种计算节点嵌入的卷积神经网络的结构示意图；
图3是本发明实施例提供的一种图神经网络结构第一次迭代的示意图；
图4是本发明实施例提供的一种完整的图神经网络的结构示意图；
图5是本发明实施例提供的一种计算边嵌入的图神经网络中的卷积神经网络的结构示意图；
图6是本发明实施例提供的一种图神经网络训练误差变化的示意图；
图7是本发明实施例提供的一种图神经网络测试精度变化的示意图；
图8是本发明实施例提供的一种计算机设备的结构框图；
图9是本发明实施例提供的一种手指静脉识别装置的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在本发明实施例中，提供了一种手指静脉识别方法，如图1所示，该方法包括：
步骤102：将待识别手指静脉图像输入卷积神经网络中，所述卷积神经网络输出所述待识别手指静脉图像的特征向量；
步骤104：将所述待识别手指静脉图像的特征向量输入图神经网络的卷积神经网络中，所述图神经网络的卷积神经网络输出每两个特征向量之间的关系信息，将所述待识别手指静脉图像的特征向量作为图神经网络的节点嵌入，将每两个特征向量之间的关系信息嵌入作为所述图神经网络的边嵌入，所述图神经网络输出所述待识别手指静脉图像的预测标签，其中，所述图神经网络是采用手指静脉图像的特征向量、特征向量之间的关系以及手指静脉图像对应的预测标签训练得到的。
由图1所示的流程可知，在本发明实施例中，本申请提出了通过一个卷积神经网络来提取待识别手指静脉图像的特征向量，并通过图神经网络中的卷积神经网络来提取每两个特征向量之间的关系信息，进而将待识别手指静脉图像的特征向量作为图神经网络的节点嵌入，将每两个特征向量之间的关系信息嵌入作为图神经网络的边嵌入，图神经网络即可输出待识别手指静脉图像的预测标签。实现了通过卷积神经网络和图神经网络的结合来实现手指静脉的识别，由于图神经网络相对深度卷积神经网络参数较少，通过卷积神经网络提取的特征向量以及每两个特征向量之间的关系信息即可满足图神经网络的数据要求，相对现有技术中采用深度卷积神经网络进行识别的方案相比，本申请无需任何复杂的数据预处理和数据增强步骤来增加数据数量，简化了数据处理过程，同时，可以有效地提高手指静脉识别的精度，有利于提高手指静脉识别系统的安全性。
具体实施时，为了可以更准确地提取手指静脉图像的特征向量，在本实施例中，本案申请人经过大量研究，提出了一种上述卷积神经网络的结构，如图2所示，该卷积神经网络，包括：
四个串联的块、两个dropout层、一个全连接层以及一个批标准化层，其中，如图2下方显现部分所示，每个块包括2个卷积层、一个批标准化层以及1个非线性激活层(即leaky relu)，四个串联的块中第一个块作为所述卷积神经网络的输入端，所述批标准化层作为所述卷积神经网络的输出端。
具体的，dropout层为现有的结构，该dropout层的作用是指在模型训练时，按照一定的概率随机将一部分隐层节点暂时丢弃，即让网络某些的权重不工作，但它们的权重要保留下来，只是暂时不更新。
具体实施时，上述卷积神经网络中的块包括的卷积层、非线性激活层、dropout层、全连接层以及批标准化层等各个部分可以采用现有的结构，本申请的创新点在于提出了该卷积神经网络包括的各个部分的数量以及块的结构。具体的，各个部分之间的连接顺序，可以根据各个部分的功能来确定，例如，四个串联的块中的三个块连续串联，第三个块连接一个dropout层，dropout层连接第四个块，第四个块连接另一个dropout层，另一个dropout层连接全连接层，全连接层连接批标准化层。
具体的，本申请对dropout层、全连接层以及批标准化层等各层的通道数、每个块包括的卷积层的大小不做具体限定，可以采用现有的卷积层、批标准化层以及非线性激活层，例如，每个块包括的2个卷积层的大小可以为(3,3)，2个卷积层、一个批标准化层以及1个非线性激活层的通道数可以分别为{64,96,128,256}，该第一卷积神经网络以一个全连接层结束，两个dropout层的使用，可以起到避免过拟合的作用。
具体的，可以使用上述卷积神经网络对手指静脉图像进行粗粒度的特征提取，获得每幅图像的特征向量，以将特征向量作为图神经网络中的节点嵌入。输入卷积神经网络的原始手指静脉图像的分辨率本申请不做具体限定，例如，其分辨率可以为(60,128)。卷积神经网络从手指静脉图像提取特征向量，提取的取特征向量可以(N,D)矩阵形式给出，其中，N为节点数，D为节点嵌入的卷积神经网络习得的特征向量的维度，具体的，卷积神经网络输出的特征向量可以是一个128维的向量形式。
具体实施时，为了可以采用图神经网络便捷、准确地识别手指静脉，在本实施例中，可以通过以下步骤来训练得到上述图神经网络：
将手指静脉图像输入所述卷积神经网络中，所述卷积神经网络输出所述手指静脉图像的特征向量；
将所述手指静脉图像的特征向量输入图神经网络的卷积神经网络中，图神经网络的卷积神经网络输出每两个所述手指静脉图像的特征向量之间的关系信息；
将所述手指静脉图像的特征向量作为图神经网络的节点嵌入，将每两个所述手指静脉图像的特征向量之间的关系信息作为图神经网络的边嵌入；
循环以下迭代过程，直至图神经网络输出的预测标签与所述手指静脉图像对应的预测标签之间的损失符合预设数值，结束迭代过程，该图神经网络为所述图神经网络：
图神经网络进行训练得到新的节点嵌入；
将新的节点嵌入输入图神经网络的卷积神经网络中，输出新的边嵌入；
将新的节点嵌入和新的边嵌入分别作为图神经网络的节点嵌入和边嵌入。
具体实施时，经过第一次迭代的图神经网络的网络结构如图3(图3中CNN为上述卷积神经网络，GNN为图神经网络)所示，多个手指静脉图像输入上述卷积神经网络提取特征向量，即节点嵌入，再将特征向量输入图神经网络的卷积神经网络中，得到边嵌入，图神经网络基于节点嵌入和边嵌入进行迭代；通过多次迭代优化后，得到上述图神经网络。
具体实施时，在训练图神经网络的过程中，可以采用数据包含了MMCBNU_6000600个类别、SDUMLA-FV 636个类别的两个公共数据库的手指静脉图像作为样本。
具体实施时，为了准确计算损失数值，确保图神经网络的性能，在本实施例中，通过以下公式计算图神经网络输出的预测标签与所述手指静脉图像对应的预测标签之间的损失数值：
其中，L表示所有训练样本的损失之和；I表示作为训练样本的手指静脉图像的训练样本子集总数；l表示当前训练样本子集的交叉熵损失；G(Γi；θ)表示图神经网络；Γi表示输入的第i个训练样本子集；θ表示图神经网络的参数；Yi表示输入的第i个训练样本子集对应的预测标签；α表示用来调节训练损失和正则化项权重的超参数；R(θ)表示一种正则化项(例如，可以包括参数范数惩罚和dropout，作用是降低模型的泛化误差)；N表示输入图神经网络的每个训练样本子集的训练样本总数；K表示输入图神经网络的每个训练样本子集的图像类别数量；yn,k表示第k个图像类别中第n个训练样本对应的预测标签；hn,k表示图神经网络输出的第k个图像类别中第n个训练样本的预测标签。
具体地，在本实施例中，可以采用小批量梯度下降法和学习率衰减策略进行模型优化，例如，将批的大小设置为64，初始的学习速率是0.001，衰减策略如下式：
其中，lrnew表示更新后的学习率；iter表示当前迭代数；lr表示学习率。
具体实施时，训练后的图神经网络的网络结构如图4所示，该图神经网络包括：
1个卷积神经网络(即EdgeNet)、1个组卷积层、1个批标准化层、1个非线性激活层(即leaky relu)、一个拼接层、2个块以及1个归一化指数函数层(即softmax)，其中，每个块包括2个卷积层、一个批标准化层以及1个非线性激活层，卷积神经网络作为所述图神经网络的输入端，所述归一化指数函数层作为所述图神经网络的输出端。
具体实施时，图神经网络通过卷积神经网络来聚合每个节点(即特征向量)及其周围节点的信息，图神经网络是可卷积的，图神经网络中的卷积神经网络的卷积核参数在图中所有位置或者一个局部位置上都可以共享，它的目标是要学习图上信号或特征的一个映射。图神经网络的输入包括每一个节点的特征描述矩阵和图结构的特征描述邻接矩阵，图神经网络产生一个节点级别的输出。
具体实施时，为了可以更准确地提取每两个特征向量之间的关系信息，在本实施例中，本案申请人经过大量研究，如图5所示，提出了图神经网络中的卷积神经网络，包括：
四个串联的块、一个全连接层以及一个归一化指数函数层，其中，每个块包括1个卷积层、一个批标准化层以及1个非线性激活层，四个串联的块中第一个块作为该卷积神经网络的输入端，所述归一化指数函数层作为该卷积神经网络的输出端。具体的，四个串联的块中第一个块作为所述第二卷积神经网络的输入口，每次可以输入两个特征向量，然后第二卷积神经网络对两个特征向量中的对应坐标点的像素值相减求差值，然后取差值的绝对值，进而得到两个特征向量之间的关系信息。
具体的，图神经网络中的卷积神经网络输出的每两个特征向量之间的关系信息可以通过一组(N,F)矩阵E表示，其中，N为节点数，F是输出节点的维度，可以将(N,F)矩阵E输入到图神经网络的邻接矩阵A(k)中，作为图神经网络的边嵌入。在图神经网络中的卷积神经网络中，在每个卷积层之前计算当前节点的边特征表示E。
具体实施时，如图2、图4、图5所示，上述卷积神经网络输出的特征向量X可以通过矩阵V(k)输入到图神经网络的卷积神经网络中，该卷积神经网络基于每两个特征向量(例如，特征向量Xi和特征向量Xj)输出每两个特征向量之间的关系信息，每两个特征向量之间的关系信息可以通过一组(N,F)矩阵E表示，输入图神经网络的邻接矩阵A(k)中，将特征向量作为节点嵌入，将每两个特征向量之间的关系信息作为边嵌入，进而基于节点嵌入和边嵌入进行迭代。
具体实施时，图神经网络中的组卷积层、批标准化层、非线性激活层、拼接层、归一化指数函数层等各个部分可以采用现有的结构，本申请的创新点在于提出了图神经网络包括的各个部分的数量以及块的结构。具体的，各个部分之间的连接顺序，可以根据各个部分的功能来确定，例如，如图4所示，卷积神经网络连接组卷积，组卷积连接批标准化层，批标准化层连接非线性激活层，非线性激活层连接拼接层，拼接层连接两个连续串联的块，最后以一个归一化指数函数层作为图神经网络的输出端。
图神经网络中的卷积神经网络包括的全连接层、归一化指数函数层等各个部分可以采用现有的结构，本申请的创新点在于提出了图神经网络中的卷积神经网络包括的各个部分的数量以及块的结构。具体的，各个部分之间的连接顺序，可以根据各个部分的功能来确定，例如，如图5所示，四个连续串联的块，第四个块连接一个全连接层，全连接层连接一个归一化指数函数层。
具体实施时，为了证明本申请的手指静脉识别方法是有效性的，在本实施例给出了训练误差与测试精度的变化曲线，本申请图神经网络训练误差变化的示意图如图6，本申请图神经网络测试精度变化的示意图如图7所示。同时，为了证明本申请的手指静脉识别方法的优越性，在本实施例中将目前效果最好的几种识别方法(表1中“1”代表基于流形学习的方法，“2”代表基于卷积神经网络的方法，“3”代表基于卷积神经网络与欧氏距离的方法)与本申请进行比较，结果如下表1所示。可以看出，在不需要任何复杂的预处理过程和参数调整的情况下，本申请的手指静脉识别方法具有最先进的性能。
表1
具体实施时，分别使用两个数据集中的图像对本申请的手指静脉识别方法进行验证，结果表明，本申请的识别率比传统方法的识别率要高，即证明了本申请的手指静脉识别方法的有效性和优越性。
在本实施例中，提供了一种计算机设备，如图8所述，包括存储器802、处理器804及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的所述的手指静脉识别方法。
具体的，该计算机设备可以是计算机终端、服务器或者类似的运算装置。
在本实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的手指静脉识别方法的计算机程序。
具体的，计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
基于同一发明构思，本发明实施例中还提供了一种手指静脉识别装置，如下面的实施例所述。由于手指静脉识别装置解决问题的原理与手指静脉识别方法相似，因此手指静脉识别装置的实施可以参见手指静脉识别方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图9是本发明实施例的手指静脉识别装置的一种结构框图，如图9所示，该装置包括：
特征向量提取模块902，用于将待识别手指静脉图像输入卷积神经网络中，通过所述卷积神经网络输出所述待识别手指静脉图像的特征向量；
手指静脉识别模块904，用于将所述待识别手指静脉图像的特征向量输入图神经网络的卷积神经网络中，所述图神经网络的卷积神经网络输出每两个特征向量之间的关系信息，将所述待识别手指静脉图像的特征向量作为图神经网络的节点嵌入，将每两个特征向量之间的关系信息嵌入作为所述图神经网络的边嵌入，通过所述图神经网络输出所述待识别手指静脉图像的预测标签，其中，所述图神经网络是采用手指静脉图像的特征向量、特征向量之间的关系以及手指静脉图像对应的预测标签训练得到的。
在一个实施例中，还包括：
训练模块，用于将手指静脉图像输入所述卷积神经网络中，通过所述卷积神经网络输出所述手指静脉图像的特征向量；将所述手指静脉图像的特征向量输入图神经网络的卷积神经网络中，图神经网络的卷积神经网络输出每两个所述手指静脉图像的特征向量之间的关系信息；将所述手指静脉图像的特征向量作为图神经网络的节点嵌入，将每两个所述手指静脉图像的特征向量之间的关系信息作为图神经网络的边嵌入；
循环以下迭代过程，直至图神经网络输出的预测标签与所述手指静脉图像对应的预测标签之间的损失数值符合预设数值，结束迭代过程，该图神经网络为所述图神经网络：
图神经网络进行训练得到新的节点嵌入；
将新的节点嵌入输入图神经网络的卷积神经网络中，输出新的边嵌入；
将新的节点嵌入和新的边嵌入分别作为图神经网络的节点嵌入和边嵌入。
在一个实施例中，还包括：
损失值计算模块，用于通过以下公式计算图神经网络输出的预测标签与所述手指静脉图像对应的预测标签之间的损失数值：
其中，L表示所有训练样本的损失之和；I表示作为训练样本的手指静脉图像的训练样本子集总数；l表示当前训练样本子集的交叉熵损失；G(Γi；θ)表示图神经网络；Γi表示输入的第i个训练样本子集；θ表示图神经网络的参数；Yi表示输入的第i个训练样本子集对应的预测标签；α表示用来调节训练损失和正则化项权重的超参数；R(θ)表示一种正则化项(例如，可以包括参数范数惩罚和dropout，作用是降低模型的泛化误差)；N表示输入图神经网络的每个训练样本子集的训练样本总数；K表示输入图神经网络的每个训练样本子集的图像类别数量；yn,k表示第k个图像类别中第n个训练样本对应的预测标签；hn,k表示图神经网络输出的第k个图像类别中第n个训练样本的预测标签。
在一个实施例中，所述卷积神经网络，包括：
四个串联的块、两个dropout层以及一个全连接层，其中，每个块包括2个卷积层、一个批标准化层以及1个非线性激活层，四个串联的块中第一个块作为所述卷积神经网络的输入端，所述全连接层作为所述卷积神经网络的输出端。
在一个实施例中，所述图神经网络包括：
1个卷积神经网络、1个组卷积层、1个批标准化层、1个非线性激活层、一个拼接层、2个块以及1个归一化指数函数层，其中，每个块包括2个卷积层、一个批标准化层以及1个非线性激活层，卷积神经网络作为所述图神经网络的输入端，所述归一化指数函数层作为所述图神经网络的输出端。
在一个实施例中，所述图神经网络中的卷积神经网络，包括：
四个串联的块、一个全连接层以及一个归一化指数函数层，其中，每个块包括1个卷积层、一个批标准化层以及1个非线性激活层，四个串联的块中第一个块作为该卷积神经网络的输入端，所述归一化指数函数层作为该卷积神经网络的输出端。
本发明实施例实现了如下技术效果：本申请提出了通过第一卷积神经网络来提取待识别手指静脉图像的特征向量，并通过第二卷积神经网络来提取每两个特征向量之间的关系信息，进而将待识别手指静脉图像的特征向量作为图神经网络的节点嵌入，将每两个特征向量之间的关系信息嵌入作为图神经网络的边嵌入，将节点嵌入和边嵌入输入图神经网络后，图神经网络即可输出待识别手指静脉图像的预测标签。实现了通过两个卷积神经网络和图神经网络的结合来实现手指静脉的识别，由于图神经网络相对深度卷积神经网络参数较少，通过卷积神经网络提取的特征向量以及每两个特征向量之间的关系信息即可满足图神经网络的数据要求，相对现有技术中采用深度卷积神经网络进行识别的方案相比，本申请无需任何复杂的数据预处理和数据增强步骤来增加数据数量，简化了数据处理过程，同时，可以有效地提高手指静脉识别的精度，有利于提高手指静脉识别系统的安全性。
显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种手指静脉识别方法，其特征在于，包括：
将待识别手指静脉图像输入卷积神经网络中，所述卷积神经网络输出所述待识别手指静脉图像的特征向量；
将所述待识别手指静脉图像的特征向量输入图神经网络的卷积神经网络中，所述图神经网络的卷积神经网络输出每两个特征向量之间的关系信息，将所述待识别手指静脉图像的特征向量作为图神经网络的节点嵌入，将每两个特征向量之间的关系信息嵌入作为所述图神经网络的边嵌入，所述图神经网络输出所述待识别手指静脉图像的预测标签，其中，所述图神经网络是采用手指静脉图像的特征向量、特征向量之间的关系以及手指静脉图像对应的预测标签训练得到的。
2.如权利要求1所述的手指静脉识别方法，其特征在于，采用手指静脉图像和对应的预测标签训练得到所述图神经网络，包括：
将手指静脉图像输入所述卷积神经网络中，所述卷积神经网络输出所述手指静脉图像的特征向量；
将所述手指静脉图像的特征向量输入图神经网络的卷积神经网络中，图神经网络的卷积神经网络输出每两个所述手指静脉图像的特征向量之间的关系信息；
将所述手指静脉图像的特征向量作为图神经网络的节点嵌入，将每两个所述手指静脉图像的特征向量之间的关系信息作为图神经网络的边嵌入；
循环以下迭代过程，直至图神经网络输出的预测标签与所述手指静脉图像对应的预测标签之间的损失数值符合预设数值，结束迭代过程，该图神经网络为所述图神经网络：
图神经网络进行训练得到新的节点嵌入；
将新的节点嵌入输入图神经网络的卷积神经网络中，输出新的边嵌入；
将新的节点嵌入和新的边嵌入分别作为图神经网络的节点嵌入和边嵌入。
3.如权利要求2所述的手指静脉识别方法，其特征在于，还包括：
通过以下公式计算图神经网络输出的预测标签与所述手指静脉图像对应的预测标签之间的损失数值：
其中，L表示所有训练样本的损失之和；I表示作为训练样本的手指静脉图像的训练样本子集总数；l表示当前训练样本子集的交叉熵损失；G(Γi；θ)表示图神经网络；Γi表示输入的第i个训练样本子集；θ表示图神经网络的参数；Yi表示输入的第i个训练样本子集对应的预测标签；α表示用来调节训练损失和正则化项权重的超参数；R(θ)表示一种正则化项；N表示输入图神经网络的每个训练样本子集的训练样本总数；K表示输入图神经网络的每个训练样本子集的图像类别数量；yn,k表示第k个图像类别中第n个训练样本对应的预测标签；hn,k表示图神经网络输出的第k个图像类别中第n个训练样本的预测标签。
4.如权利要求1至3中任一项所述的手指静脉识别方法，其特征在于，所述卷积神经网络，包括：
四个串联的块、两个dropout层、一个全连接层以及一个批标准化层，其中，每个块包括2个卷积层、一个批标准化层以及1个非线性激活层，四个串联的块中第一个块作为所述卷积神经网络的输入端，所述批标准化层作为所述卷积神经网络的输出端。
5.如权利要求1至3中任一项所述的手指静脉识别方法，其特征在于，所述图神经网络包括：
1个卷积神经网络、1个组卷积层、1个批标准化层、1个非线性激活层、一个拼接层、2个块以及1个归一化指数函数层，其中，每个块包括2个卷积层、一个批标准化层以及1个非线性激活层，卷积神经网络作为所述图神经网络的输入端，所述归一化指数函数层作为所述图神经网络的输出端。
6.如权利要求5所述的手指静脉识别方法，其特征在于，所述图神经网络中的卷积神经网络，包括：
四个串联的块、一个全连接层以及一个归一化指数函数层，其中，每个块包括1个卷积层、一个批标准化层以及1个非线性激活层，四个串联的块中第一个块作为该卷积神经网络的输入端，所述归一化指数函数层作为该卷积神经网络的输出端。
7.一种手指静脉识别装置，其特征在于，包括：
特征向量提取模块，用于将待识别手指静脉图像输入卷积神经网络中，通过所述卷积神经网络输出所述待识别手指静脉图像的特征向量；
手指静脉识别模块，用于将所述待识别手指静脉图像的特征向量输入图神经网络的卷积神经网络中，所述图神经网络的卷积神经网络输出每两个特征向量之间的关系信息，将所述待识别手指静脉图像的特征向量作为图神经网络的节点嵌入，将每两个特征向量之间的关系信息嵌入作为所述图神经网络的边嵌入，通过所述图神经网络输出所述待识别手指静脉图像的预测标签，其中，所述图神经网络是采用手指静脉图像的特征向量、特征向量之间的关系以及手指静脉图像对应的预测标签训练得到的。
8.如权利要求7所述的手指静脉识别装置，其特征在于，还包括：
训练模块，用于将手指静脉图像输入所述卷积神经网络中，通过所述卷积神经网络输出所述手指静脉图像的特征向量；将所述手指静脉图像的特征向量输入图神经网络的卷积神经网络中，图神经网络的卷积神经网络输出每两个所述手指静脉图像的特征向量之间的关系信息；将所述手指静脉图像的特征向量作为图神经网络的节点嵌入，将每两个所述手指静脉图像的特征向量之间的关系信息作为图神经网络的边嵌入；
循环以下迭代过程，直至图神经网络输出的预测标签与所述手指静脉图像对应的预测标签之间的损失数值符合预设数值，结束迭代过程，该图神经网络为所述图神经网络：
图神经网络进行训练得到新的节点嵌入；
将新的节点嵌入输入图神经网络的卷积神经网络中，输出新的边嵌入；
将新的节点嵌入和新的边嵌入分别作为图神经网络的节点嵌入和边嵌入。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的手指静脉识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至6中任一项所述的手指静脉识别方法的计算机程序。
CN201910783121.0A 2019-08-23 2019-08-23 手指静脉识别方法、装置、计算机设备及可读存储介质 Active CN110555399B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910783121.0A CN110555399B (zh) 2019-08-23 2019-08-23 手指静脉识别方法、装置、计算机设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910783121.0A CN110555399B (zh) 2019-08-23 2019-08-23 手指静脉识别方法、装置、计算机设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110555399A true CN110555399A (zh) 2019-12-10
CN110555399B CN110555399B (zh) 2022-04-29

Family

ID=68737996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910783121.0A Active CN110555399B (zh) 2019-08-23 2019-08-23 手指静脉识别方法、装置、计算机设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110555399B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079666A (zh) * 2019-12-20 2020-04-28 广州市鑫广飞信息科技有限公司 地物识别方法、装置、设备及存储介质
CN111166070A (zh) * 2019-12-17 2020-05-19 五邑大学 一种基于指静脉认证的医疗储物柜及其管理方法
CN111815579A (zh) * 2020-06-24 2020-10-23 浙江大华技术股份有限公司 一种图像变化检测方法、装置及计算机可读存储介质
CN111950408A (zh) * 2020-07-28 2020-11-17 深圳职业技术学院 基于规则图的手指静脉图像识别方法、装置及存储介质
CN112036461A (zh) * 2020-08-24 2020-12-04 湖北师范大学 手写数字图像识别方法、装置、设备及计算机存储介质
CN112036316A (zh) * 2020-08-31 2020-12-04 中国科学院半导体研究所 手指静脉识别方法、装置、电子设备及可读存储介质
CN113256670A (zh) * 2021-05-24 2021-08-13 推想医疗科技股份有限公司 图像处理方法及装置、网络模型的训练方法及装置
CN113378934A (zh) * 2021-06-11 2021-09-10 西安电子科技大学 一种基于语义感知图神经网络的小样本图像分类方法及系统
CN113505716A (zh) * 2021-07-16 2021-10-15 重庆工商大学 静脉识别模型的训练方法、静脉图像的识别方法及装置
CN114945456A (zh) * 2020-01-31 2022-08-26 惠普发展公司，有限责任合伙企业 模型预测
US11527092B1 (en) * 2020-11-16 2022-12-13 Amazon Technologies, Inc. System for determining embedding using spatial data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529468A (zh) * 2016-11-07 2017-03-22 重庆工商大学 一种基于卷积神经网络的手指静脉识别方法及系统
US20180096457A1 (en) * 2016-09-08 2018-04-05 Carnegie Mellon University Methods and Software For Detecting Objects in Images Using a Multiscale Fast Region-Based Convolutional Neural Network
WO2018095994A1 (en) * 2016-11-22 2018-05-31 Delphinium Clinic Ltd. Method and system for classifying optic nerve head
CN110086737A (zh) * 2019-03-13 2019-08-02 西安电子科技大学 一种基于图神经网络的通信信号调制方式的识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180096457A1 (en) * 2016-09-08 2018-04-05 Carnegie Mellon University Methods and Software For Detecting Objects in Images Using a Multiscale Fast Region-Based Convolutional Neural Network
CN106529468A (zh) * 2016-11-07 2017-03-22 重庆工商大学 一种基于卷积神经网络的手指静脉识别方法及系统
WO2018095994A1 (en) * 2016-11-22 2018-05-31 Delphinium Clinic Ltd. Method and system for classifying optic nerve head
CN110086737A (zh) * 2019-03-13 2019-08-02 西安电子科技大学 一种基于图神经网络的通信信号调制方式的识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUIKAI SHAO等: ""Few-shot palmprint recognition via graph neural networks"", 《ELECTRONICS LETTERS》 *
何鑫等: ""基于改进卷积神经网络的指静脉识别"", 《计算机工程与设计》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111166070A (zh) * 2019-12-17 2020-05-19 五邑大学 一种基于指静脉认证的医疗储物柜及其管理方法
CN111079666A (zh) * 2019-12-20 2020-04-28 广州市鑫广飞信息科技有限公司 地物识别方法、装置、设备及存储介质
CN111079666B (zh) * 2019-12-20 2024-03-19 广州市鑫广飞信息科技有限公司 地物识别方法、装置、设备及存储介质
CN114945456A (zh) * 2020-01-31 2022-08-26 惠普发展公司，有限责任合伙企业 模型预测
CN111815579A (zh) * 2020-06-24 2020-10-23 浙江大华技术股份有限公司 一种图像变化检测方法、装置及计算机可读存储介质
CN111815579B (zh) * 2020-06-24 2024-04-26 浙江大华技术股份有限公司 一种图像变化检测方法、装置及计算机可读存储介质
CN111950408A (zh) * 2020-07-28 2020-11-17 深圳职业技术学院 基于规则图的手指静脉图像识别方法、装置及存储介质
CN111950408B (zh) * 2020-07-28 2023-07-11 深圳职业技术学院 基于规则图的手指静脉图像识别方法、装置及存储介质
CN112036461A (zh) * 2020-08-24 2020-12-04 湖北师范大学 手写数字图像识别方法、装置、设备及计算机存储介质
CN112036461B (zh) * 2020-08-24 2023-06-02 湖北师范大学 手写数字图像识别方法、装置、设备及计算机存储介质
CN112036316B (zh) * 2020-08-31 2023-12-15 中国科学院半导体研究所 手指静脉识别方法、装置、电子设备及可读存储介质
CN112036316A (zh) * 2020-08-31 2020-12-04 中国科学院半导体研究所 手指静脉识别方法、装置、电子设备及可读存储介质
US11527092B1 (en) * 2020-11-16 2022-12-13 Amazon Technologies, Inc. System for determining embedding using spatial data
CN113256670A (zh) * 2021-05-24 2021-08-13 推想医疗科技股份有限公司 图像处理方法及装置、网络模型的训练方法及装置
CN113378934A (zh) * 2021-06-11 2021-09-10 西安电子科技大学 一种基于语义感知图神经网络的小样本图像分类方法及系统
CN113505716A (zh) * 2021-07-16 2021-10-15 重庆工商大学 静脉识别模型的训练方法、静脉图像的识别方法及装置

Also Published As

Publication number Publication date
CN110555399B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN110555399B (zh) 手指静脉识别方法、装置、计算机设备及可读存储介质
CN112329680B (zh) 基于类激活图的半监督遥感影像目标检测和分割方法
WO2019100723A1 (zh) 训练多标签分类模型的方法和装置
CN110516095B (zh) 基于语义迁移的弱监督深度哈希社交图像检索方法和系统
CN109993236B (zh) 基于one-shot Siamese卷积神经网络的少样本满文匹配方法
CN111753789A (zh) 基于堆栈式组合自编码器的机器人视觉slam闭环检测方法
CN113159023A (zh) 基于显式监督注意力机制的场景文本识别方法
CN111027576A (zh) 基于协同显著性生成式对抗网络的协同显著性检测方法
CN110059677A (zh) 基于深度学习的数字表识别方法及设备
CN114842343A (zh) 一种基于ViT的航空图像识别方法
CN110263855A (zh) 一种利用共基胶囊投影进行图像分类的方法
CN114677535A (zh) 域适应图像分类网络的训练方法、图像分类方法及装置
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
CN114692750A (zh) 一种细粒度图像分类方法、装置、电子设备及存储介质
CN117994570A (zh) 基于模型无关适配器提高复杂多样数据分布的识别方法
CN117876299A (zh) 一种基于师生网络架构的多模态工业异常检测方法及系统
CN111563180A (zh) 一种基于深度哈希方法的商标图像检索方法
CN114912516B (zh) 一种协调特征一致性和特异性的跨域目标检测方法及系统
CN111242114A (zh) 文字识别方法及装置
CN116257609A (zh) 基于多尺度文本对齐的跨模态检索方法及系统
CN116109868A (zh) 基于轻量化神经网络的图像分类模型构建和小样本图像分类方法
CN117011219A (zh) 物品质量检测方法、装置、设备、存储介质和程序产品
CN112906829B (zh) 一种基于Mnist数据集的数字识别模型构建方法及装置
CN111814462B (zh) 基于动态正则化的高效终身关系提取方法及系统
CN113343019A (zh) 一种结合浅层与深层特征的小样本丝织品图像检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231026

Address after: Room 105, No. 6, Baohua Road, Hengqin New District, Zhuhai, Guangdong 519031 (centralized office area)

Patentee after: Zhongke Zhimai (Zhuhai) Technology Co.,Ltd.

Address before: 101111 101, floors 1-2, building 21, No. 10, Jiachuang Road, Tongzhou District, Beijing

Patentee before: SVEIN BIOMETRICS TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right