CN113657145B - 一种基于汗孔特征及神经网络的指纹检索方法 - Google Patents

一种基于汗孔特征及神经网络的指纹检索方法 Download PDF

Info

Publication number
CN113657145B
CN113657145B CN202110743928.9A CN202110743928A CN113657145B CN 113657145 B CN113657145 B CN 113657145B CN 202110743928 A CN202110743928 A CN 202110743928A CN 113657145 B CN113657145 B CN 113657145B
Authority
CN
China
Prior art keywords
fingerprint image
sweat pore
features
global
sweat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110743928.9A
Other languages
English (en)
Other versions
CN113657145A (zh
Inventor
庞倩婷
徐元荣
卢光明
张大鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Artificial Intelligence and Robotics
Original Assignee
Shenzhen Institute of Artificial Intelligence and Robotics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Artificial Intelligence and Robotics filed Critical Shenzhen Institute of Artificial Intelligence and Robotics
Priority to CN202110743928.9A priority Critical patent/CN113657145B/zh
Publication of CN113657145A publication Critical patent/CN113657145A/zh
Application granted granted Critical
Publication of CN113657145B publication Critical patent/CN113657145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种基于汗孔特征及神经网络的指纹检索方法，所述方法包括：获取指纹图像；基于已训练的特征提取模型，提取所述指纹图像的全局特征和所述指纹图像的汗孔特征；根据所述指纹图像的全局特征和所述指纹图像的汗孔特征，对所述指纹图像进行若干次筛选和匹配，得到所述指纹图像的检索结果。本发明实施通过提取指纹图像的全局特征和汗孔特征，基于这两个特征对指纹图像进行多次筛选和匹配，由于汗孔的特征丰富，特征提取模型能够有效提取上述特征信息，从而提高指纹图像检索的速度和精度。

Description

一种基于汗孔特征及神经网络的指纹检索方法
技术领域
本发明涉及人工智能技术领域，尤其涉及的是一种基于汗孔特征及神经网络的指纹检索方法。
背景技术
指纹检索指纹检索是从一个指纹库中搜索与输入指纹相似的指纹图片，以确定输入指纹图像的身份。传统的指纹识别算法使用细节点特征通过图像检索的技术搜索与输入指纹图像最相似的指纹列表，但是细节点在面对指纹碎片时，往往因为特征点数量的不足导致指纹检索失败。
因此，现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于汗孔特征及神经网络的指纹检索方法，旨在解决现有技术中传统的指纹识别算法使用细节点特征通过图像检索的技术搜索与输入指纹图像最相似的指纹列表，但是细节点在面对指纹碎片时，往往因为特征点数量的不足导致指纹检索失败的问题。
本发明解决问题所采用的技术方案如下：
第一方面，本发明实施例提供一种基于汗孔特征及神经网络的指纹检索方法，其中，所述方法包括：
获取指纹图像；
基于已训练的特征提取模型，提取所述指纹图像的全局特征和所述指纹图像的汗孔特征；
根据所述指纹图像的全局特征和所述指纹图像的汗孔特征，对所述指纹图像进行若干次筛选和匹配，得到所述指纹图像的检索结果。
在一种实现方式中，其中，所述基于已训练的特征提取模型，提取所述指纹图像的全局特征和所述指纹图像的汗孔特征包括：
提取所述指纹图像中的汗孔位置；
将所述指纹图像输入至所述特征提取模型，输出所述指纹图像的全局特征和所述指纹图像的局部特征；
将所述汗孔位置和所述指纹图像的局部特征进行融合，得到所述指纹图像的汗孔特征。
在一种实现方式中，其中，预设的第一网络模型包括第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、广义均值池化层、全连接层和四层反卷积模块；预设的第二网络模型包括编码器和解码器；所述特征提取模型的训练过程具体为：
获取训练数据集；其中，所述训练数据集包括训练指纹图像和与训练指纹图像对应的样本标签；
将所述训练指纹图像输入预设的第一网络模型，得到预测全局特征和预测汗孔位置；
根据所述汗孔位置、所述预测全局特征、所述预测汗孔位置和所述样本标签，得到全局特征的损失函数；
基于所述全局特征的损失函数，对所述第一网络模型进行训练，得到全局特征提取模型；
将所述训练指纹图像依次输入预设的第一网络模型中的所述第一卷积模块、所述第二卷积模块和所述第三卷积模块，得到初始汗孔特征；
将所述训练指纹图像输入预设的第二网络模型，得到预测汗孔特征；
根据所述初始汗孔特征和所述预测汗孔特征，得到汗孔特征的损失函数；
基于所述汗孔特征的损失函数，对所述第二网络模型进行训练，得到汗孔特征提取模型；
将所述全局特征提取模型和所述汗孔特征提取模型进行融合，得到特征提取模型。
在一种实现方式中，其中，所述根据所述汗孔位置、所述预测全局特征和所述样本标签，得到全局特征的损失函数包括：
获取分类损失权重；
分别对所述分类损失权重和所述预测全局特征进行正则化运算，得到正则化权重和正则化全局特征；
对所述样本标签进行独热编码，得到编码样本标签；
基于所述编码样本标签和正则化权重，求解所述正则化全局特征的加性角度间隔损失函数，得到增强全局特征函数；
基于所述编码样本标签，计算所述增强全局特征函数的交叉熵，得到分类损失函数；
根据所述汗孔位置，从所述指纹图像中生成掩码图像；
将所述掩码图像输入至所述四层反卷积模块，得到指纹图像的掩码图像的预测掩码图像；
根据所述掩码图像和所述预测掩码图像，计算有关所述汗孔位置的二分类交叉熵损失函数；
将所述分类损失函数和所述二分类交叉损失函数进行相加，得到全局特征的损失函数。
在一种实现方式中，其中，所述根据所述初始汗孔特征和所述预测汗孔特征，得到汗孔特征的损失函数包括：
获取通道数；
获取第三卷积模块的长度和宽度；
将所述预测汗孔特征减去所述初始汗孔特征，得到汗孔特征差值；
将所述汗孔特征差值进行平方，得到平方值；
将若干次训练得到的平方值进行累加，得到累加值；
将所述通道数乘以所述第三卷积模块的长度后得到的结果再乘以所述第三卷积模块的宽度，得到乘积；
将所述累加值除以所述乘积，得到汗孔特征的损失函数。
在一种实现方式中，其中，所述根据所述指纹图像的全局特征和所述指纹图像的汗孔特征，对所述指纹图像进行若干次筛选和匹配，得到所述指纹图像的检索结果包括：
获取注册数据库；其中，所述注册数据库用于存储若干注册指纹图像；所述注册数据库存储有与每张注册指纹图像相对应的全局特征、与每张注册指纹图像相对应的汗孔特征和由汗孔特征建立的K维树；
根据所述指纹图像的全局特征和所述注册数据库中的若干全局特征，得到第一候选集；
基于K维树，对所述指纹图像的汗孔特征和所述第一侯选集中的若干汗孔特征进行内点数筛选，得到第二候选集；
基于最长前缀匹配算法，对所述指纹图像的汗孔特征和所述第二侯选集中的若干汗孔特征进行汗孔特征匹配，得到汗孔特征匹配值；
将汗孔特征匹配值小于或等于预设的匹配阈值的汗孔删除，得到匹配正确汗孔；
将匹配正确汗孔的内点数从高到低进行排序，将最高匹配内点数对应的注册指纹图像作为检索结果输出。
在一种实现方式中，其中，所述根据所述指纹图像的全局特征和所述注册数据库中的若干全局特征，得到第一候选集包括：
求解所述指纹图像的全局特征和所述注册数据库中的每个全局特征的余弦相似度，得到若干余弦相似度值；
将若干所述余弦相似度值从高到低进行排序；
将排序结果满足预设的排序阈值的注册指纹图像作为第一侯选集。
在一种实现方式中，其中，所述基于K维树，对所述指纹图像的汗孔特征和所述第一侯选集中的若干汗孔特征进行内点数筛选，得到第二候选集包括：
基于K维树，对所述指纹图像的汗孔特征和所述第一侯选集中的若干汗孔特征进行内点数匹配，得到若干匹配内点数值；
将所述匹配内点数值大于或等于预设的匹配内点数阈值的注册指纹图像作为第二候选集。
第二方面，本发明实施例还提供一种基于汗孔特征及神经网络的指纹检索装置，其中，所述装置包括：
指纹图像获取模块，用于获取指纹图像；
全局特征和汗孔特征提取模块，用于基于已训练的特征提取模型，提取所述指纹图像的全局特征和所述指纹图像的汗孔特征；
检索结果获取模块，用于根据所述指纹图像的全局特征和所述指纹图像的汗孔特征，对所述指纹图像进行若干次筛选和匹配，得到所述指纹图像的检索结果。
第三方面，本发明实施例还提供一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如上述任意一项所述的基于汗孔特征及神经网络的指纹检索方法。
第四方面，本发明实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述中任意一项所述的基于汗孔特征及神经网络的指纹检索方法。
本发明的有益效果：本发明实施例首先获取指纹图像；然后基于已训练的特征提取模型，提取所述指纹图像的全局特征和所述指纹图像的汗孔特征，这样既得到指纹图像的全局代表性，又得到指纹图像中汗孔位置的局部信息，为后续做精确筛选和匹配做准备；最后根据所述指纹图像的全局特征和所述指纹图像的汗孔特征，对所述指纹图像进行若干次筛选和匹配，得到所述指纹图像的检索结果，从而提高检索的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于汗孔特征及神经网络的指纹检索方法流程示意图
图2为本发明实施例提供的高分辨率指纹检索流程图。
图3为本发明实施例提供的特征提取模型(DPGL)流程图。
图4为本发明实施例提供的一种实现方式中特征提取模型对汗孔位置的自监督效果示例图。
图5为本发明实施例提供的另一种实现方式中特征提取模型对汗孔位置的自监督效果示例图。
图6为本发明实施例提供的高分辨率指纹检索算法的检索效果示例图。
图7为本发明实施例提供的基于汗孔特征及神经网络的指纹检索装置的原理框图。
图8为本发明实施例提供的智能终端的内部结构原理框图。
具体实施方式
本发明公开了基于汗孔特征及神经网络的指纹检索方法、装置、智能终端、存储介质，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
由于现有技术中，指纹检索是从一个指纹库中搜索与输入指纹相似的指纹图片，以确定输入指纹图像的身份。汗孔作为高分辨率指纹中的三级特征，以其更加丰富的分布特征和稳定性、唯一性，受到广泛的关注。采用汗孔进行指纹相似度计算可以提高指纹匹配的精度。目前基于汗孔的指纹识别系统的研究成果多数集中在指纹特征提取和高分辨率指纹验证两个方面。基于汗孔的指纹检索方面的研究进步缓慢。
现有的高分辨率指纹检索方法包含：
1)基于细节点的局部特征和拓扑结构对指纹图像进行检索的方法。(C.Raffaele,F.Matteo,and M.Davide,“Fingerprint indexing based on minutia cylinder-code,”IEEE Trans Pattern Anal Mach Intell,vol.33,no.5,pp.1051–1057,2011.)
2)基于汗孔的局部特征的指纹检索方法。(V.Anand andV.Kanhangad,“Pore-based indexing for fingerprints acquired using high-resolution sensors,”PatternAnalysis andApplications,pp.1–13,2019.)
现有的指纹检索算法主要采用指纹图像的局部特征进行检索，主要思路是采用指纹图像中的细节点或者汗孔的局部特征和拓扑结构计算相似度，并进行检索。
方法1：由于细节点分布相对较少，尤其是在指纹碎片上很难得到足够数量的细节点，常常会导致检索失败。
方法2：指纹图像中的汗孔数量较大，导致检索速度较慢。
此外，现有的算法的另一个共同缺点是，都只是采用单一特征计算指纹图像的相似度，精度有待提高。
为了解决现有技术的问题，本实施例提供了一种基于汗孔特征及神经网络的指纹检索方法，通过提取指纹图像的全局特征和汗孔特征，基于这两个特征对指纹图像进行多次筛选和匹配，由于汗孔的特征丰富，特征提取模型能够有效提取上述特征信息，从而提高指纹图像检索的精度。具体实施时，先获取指纹图像；然后基于已训练的特征提取模型，提取所述指纹图像的全局特征和所述指纹图像的汗孔特征；最后根据所述指纹图像的全局特征和所述指纹图像的汗孔特征，对所述指纹图像进行若干次筛选和匹配，得到所述指纹图像的检索结果。
示例性方法
本实施例提供一种基于汗孔特征及神经网络的指纹检索方法，该方法可以应用于指纹识别的智能终端。具体如图1所示，所述方法包括：
步骤S100、获取指纹图像；
具体地，可以通过物理传感器获取指纹图像，也可以获取采集仪上采集的指纹图像。
得到指纹图像后，就可以执行如图1所示的如下步骤：S200、基于已训练的特征提取模型，提取所述指纹图像的全局特征和所述指纹图像的汗孔特征；
具体地，特征提取模型可以采用卷积网络模型，也可以采用图神经网络模型，具体不做限制。特征提取模型用来提取所述指纹图像的全局特征和所述指纹图像的汗孔特征。
相应的，所述基于已训练的特征提取模型，提取所述指纹图像的全局特征和所述指纹图像的汗孔特征包括如下步骤：
S201、提取所述指纹图像中的汗孔位置；
S202、将所述指纹图像输入至所述特征提取模型，输出所述指纹图像的全局特征和所述指纹图像的局部特征；
S203、将所述汗孔位置和所述指纹图像的局部特征进行融合，得到所述指纹图像的汗孔特征。
具体地，如图2-3所示，将所述指纹图像输入至特征提取模型，由于特征提取模型是经过训练的，故从所述特征提取模型就可以直接输出指纹图像的全局特征和指纹图像的局部特征。对于每一张指纹图像，提取指纹图像中每个汗孔的汗孔位置，然后将每个汗孔对应的位置和局部特征进行融合，得到指纹图像的汗孔特征。
在本发明的一种实现方式中，预设的第一网络模型包括第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、广义均值池化层、全连接层和四层反卷积模块；预设的第二网络模型包括编码器和解码器；所述特征提取模型的训练过程具体为：获取训练数据集；其中，所述训练数据集包括训练指纹图像、训练指纹图像对应的样本标签和训练指纹图像汗孔位置掩码图像；将所述训练指纹图像输入预设的第一网络模型，得到预测全局特征和预测汗孔位置；根据预测全局特征和所述样本标签，得到全局特征的分类损失函数；根据所述汗孔位置掩码图像和预测汗孔位置掩码，得到针对汗孔位置的二分类交叉熵损失函数。基于所述全局特征的损失函数，对所述第一网络模型进行训练，得到全局特征提取模型；将所述训练指纹图像依次输入预设的第一网络模型中的所述第一卷积模块、所述第二卷积模块和所述第三卷积模块，得到初始汗孔特征；将所述训练指纹图像输入预设的第二网络模型，得到预测汗孔特征；根据所述初始汗孔特征和所述预测汗孔特征，得到汗孔特征的损失函数；基于所述汗孔特征的损失函数，对所述第二网络模型进行训练，得到汗孔特征提取模型；将所述全局特征提取模型和所述汗孔特征提取模型进行融合，得到特征提取模型。
实际中，预设的第一网络模型采用的ResNet50主干网络，预设的第一网络模型包括第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、广义均值池化层、全连接层和四层反卷积模块；预设的第二网络模型包括编码器和解码器；先获取训练数据集，也即训练指纹图像和与训练指纹图像对应的样本标签；将所述训练指纹图像依次输入预设的第一网络模型中的第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块，得到特征图层。在本实施例中，利用GeMpooling进一步优化它的全局特征学习能力。设f(h,w)代表block4模块中坐标为(h,w)的特征，HD和WD分别代表block4模块特征图的长和宽，FC代表一层全连接层，bFC代表全连接层相关偏置，相关偏置是在网络学习过程中学习得到的。经过GeMpooling和一层全连接层后，得到指纹图像的全局特征。对于GeMpooling，有一个设定的常数参数p，最终得到指纹图像的预测全局特征为：
Figure BDA0003142231770000101
然后，根据预测全局特征和所述样本标签，得到全局特征的损失函数；实际中，可以求解预测全局特征和所述样本标签的交叉熵，得到全局特征的分类损失函数；也求解预测汗孔位置掩码和所述汗孔位置掩码的均方误差，来得到全局特征的二分类交叉熵损失函数。相应的，所述根据所述汗孔位置、所述预测全局特征和所述样本标签，得到全局特征的损失函数包括如下步骤：获取分类损失权重；分别对所述分类损失权重和所述预测全局特征进行正则化运算，得到正则化权重和正则化全局特征；对所述样本标签进行独热编码，得到编码样本标签；基于所述编码样本标签和正则化权重，求解所述正则化全局特征的加性角度间隔损失函数，得到增强全局特征函数；基于所述编码样本标签，计算所述增强全局特征函数的交叉熵，得到分类损失函数；根据所述汗孔位置，从所述指纹图像中生成掩码图像；将所述掩码图像输入至所述四层反卷积模块，得到指纹图像的掩码图像的预测掩码图像；根据所述掩码图像和所述预测掩码图像，计算有关所述汗孔位置的二分类交叉熵损失函数；将所述分类损失函数和所述二分类交叉损失函数进行相加，得到全局特征的损失函数。
具体地，全局特征的损失函数由两部分组成：利用全局特征进行分类的分类损失(即让全局特征具有全局代表性)和利用掩码自监督汗孔位置的二分类交叉熵损失(即让全局特征更加关注汗孔信息)。对于分类损失，对于分类损失，本发明利用全局特征g接一个全连接层来预测该图像属于哪一个类别，此外，本发明利用ArcFace margin进一步增强全局特征的表示能力。对预测全局特征g和分类损失权重W进行L2正则化后，分别得到正则化全局特征
Figure BDA0003142231770000111
和正则化权重/>
Figure BDA0003142231770000112
对指纹图像的样本标签L进行one-hot编码后得到编码样本标签
Figure BDA0003142231770000113
利用ArcFace margin调整类别边界，设可学习尺度参数为s，ArcFace margin的边界参数为m，全局特征g经过全连接层和ArcFace margin调整边界后得到输出增强全局特征函数V：
Figure BDA0003142231770000114
得到增强全局特征函数V，对V求取常规的交叉熵损失函数，得到分类损失函数：
Figure BDA0003142231770000121
如图4-5所示，对于二分类交叉熵损失函数，本发明根据指纹图像已知的汗孔位置，从该指纹图像中分割出对应的掩码图像M，具体来讲，掩码M是一个特征矩阵，若该特征位置是汗孔位置则为1，反之为0。根据反卷积层系统最终学习到指纹图像的掩码
Figure BDA0003142231770000122
掩码/>
Figure BDA0003142231770000123
的每一个值都在[0,1]范围内，用来预测该特征位置为汗孔位置的可能性。设输入指纹图像的长和宽分别为H和W，因此二分类交叉熵损失函数为：
Figure BDA0003142231770000124
其中，m代表M的元素值，
Figure BDA0003142231770000125
代表/>
Figure BDA0003142231770000126
的元素，最后，全局特征的损失函数为l＝la+lb。
接着基于所述全局特征的损失函数，对所述第一网络模型进行训练，得到全局特征提取模型；由于本发明采用分步训练模式。先训练全局特征，而后冻结ResNet50的block1到block 3模块，训练汗孔特征。将所述训练指纹图像依次输入预设的第一网络模型中的所述第一卷积模块、所述第二卷积模块和所述第三卷积模块，得到初始汗孔特征；将所述训练指纹图像输入预设的第二网络模型，得到预测汗孔特征；根据所述初始汗孔特征和所述预测汗孔特征，得到汗孔特征的损失函数。
在本发明的一种实现方式中，所述根据所述初始汗孔特征和所述预测汗孔特征，得到汗孔特征的损失函数包括如下步骤：获取通道数；获取第三卷积模块的长度和宽度；将所述预测汗孔特征减去所述初始汗孔特征，得到汗孔特征差值；将所述汗孔特征差值进行平方，得到平方值；将若干次训练得到的平方值进行累加，得到累加值；将所述通道数乘以所述第三卷积模块的长度后得到的结果再乘以所述第三卷积模块的宽度，得到乘积；将所述累加值除以所述乘积，得到汗孔特征的损失函数。例如：汗孔特征的损失函数是均方损失误差。已知block 3输出的初始汗孔特征为初始汗孔特征S，经过编码器后特征为SA，经过解码器后的特征为预测汗孔特征SE，自编码器的目的是使学习到的预测汗孔特征SE尽可能与初始汗孔特征S接近。设block 3模块的长宽分别为H和W，通道数为D，汗孔特征的损失函数为：
Figure BDA0003142231770000131
再基于所述汗孔特征的损失函数，对所述第二网络模型进行训练，得到汗孔特征提取模型；最后将所述全局特征提取模型和所述汗孔特征提取模型进行融合，得到特征提取模型。
得到特征提取模型后，就可以执行图1所示的如下模型：S300、根据所述指纹图像的全局特征和所述指纹图像的汗孔特征，对所述指纹图像进行若干次筛选和匹配，得到所述指纹图像的检索结果。
具体地，可以基于所述指纹图像的全局特征和所述指纹图像的汗孔特征，对所述指纹图像进行若干次筛选和若干次匹配，也可以对所述指纹图像进行若干次筛选和一次匹配，得到所述指纹图像的检索结果，具体不做限制。
为了得到所述指纹图像的检索结果，所述根据所述指纹图像的全局特征和所述指纹图像的汗孔特征，对所述指纹图像进行若干次筛选和匹配，得到所述指纹图像的检索结果包括如下步骤：
S301、获取注册数据库；其中，所述注册数据库用于存储若干注册指纹图像；所述注册数据库存储有与每张注册指纹图像相对应的全局特征、与每张注册指纹图像相对应的汗孔特征和K维树；
S302、根据所述指纹图像的全局特征和所述注册数据库中的若干全局特征，得到第一候选集；
S303、基于K维树，对所述指纹图像的汗孔特征和所述第一侯选集中的若干汗孔特征进行内点数筛选，得到第二候选集；
S304、基于最长前缀匹配算法，对所述指纹图像的汗孔特征和所述第二侯选集中的若干汗孔特征进行汗孔特征匹配，得到汗孔特征匹配值；
S305、将汗孔特征匹配值小于或等于预设的匹配阈值的汗孔删除，得到匹配正确汗孔；
S306、将匹配正确汗孔的内点数从高到低进行排序，将最高匹配内点数对应的注册指纹图像作为检索结果输出。
具体地，在步骤S301中，注册数据库中存储的注册指纹图像都是将录入的指纹图像经过特征提取模型，提取出全局特征、汗孔特征,并对每张指纹图像的汗孔特征建立K维树(KD-tree),最后将全局特征、汗孔特征和汗孔特征的K维树(KD-tree)保存下来。
在步骤S302中，具体地，可以将所述指纹图像的全局特征和所述注册数据库中的若干全局特征进行匹配，也可以将将所述指纹图像的全局特征和所述注册数据库中的若干全局特征输入深度学习网络，得到第一候选集。相应的，所述根据所述指纹图像的全局特征和所述注册数据库中的若干全局特征，得到第一候选集包括如下步骤：求解所述指纹图像的全局特征和所述注册数据库中的每个全局特征的余弦相似度，得到若干余弦相似度值；将若干所述余弦相似度值从高到低进行排序；将排序结果满足预设的排序阈值的注册指纹图像作为第一侯选集。例如：对输入指纹图像x和注册数据库Y＝{y1，y2，…，yn}，计算x指纹图像的全局特征和Y注册数据库中的若干全局特征这两个向量的夹角的余弦值，并计算余弦值相似度，并将相似度从高到低排序，选取前25％的指纹图像作为第一侯选集O1。
在步骤S303中，基于K维树，对所述指纹图像的汗孔特征和所述第一侯选集中的若干汗孔特征进行内点数筛选，得到第二候选集；
具体地，可以先建立K维树，然后在K维树中对所述指纹图像的汗孔特征和所述第一侯选集中的若干汗孔特征的内点数多少进行筛选，也可以在K维树中对所述指纹图像的汗孔特征和所述第一侯选集中的若干汗孔特征的内点数是否满足阈值来进行筛选。K维树(KD-tree)是一种空间划分的数据结构，常被用于高维空间的搜索。相应的，所述基于K维树，对所述指纹图像的汗孔特征和所述第一侯选集中的若干汗孔特征进行内点数筛选，得到第二候选集包括如下步骤：基于K维树，对所述指纹图像的汗孔特征和所述第一侯选集中的若干汗孔特征进行内点数匹配，得到若干匹配内点数值；将所述匹配内点数值大于或等于预设的匹配内点数阈值的注册指纹图像作为第二候选集。例如，利用KD-tree可以为候选集O1每张指纹图像的汗孔特征建立一个快速的搜索空间。对于输入指纹图像x的每个汗孔特征，都可以在候选指纹图像对应的搜索空间里进行范围搜索，进而判断该汗孔特征有无在搜索空间里的汗孔特征匹配。根据汗孔特征匹配数量对第一侯选集O1进行筛选(若汗孔特征匹配内点的数量小于8的候选图像则被筛选掉)，得到第二候选集O2。
在步骤S304中，最长前缀匹配算法(LPM算法)是一个可以在线性时间复杂度内，根据特征间的几何关系建立特征匹配的算法。基于最长前缀匹配算法，对所述指纹图像的汗孔特征和所述第二侯选集中的若干汗孔特征进行汗孔特征匹配，得到汗孔特征匹配值；将汗孔特征匹配值小于等于预设的匹配阈值的汗孔删除，得到匹配正确汗孔；例如，对于指纹图像x和候选指纹图像y，将由KD-tree建立的初步汗孔特征匹配输入到LPM算法中，经过LPM算法后得到符合几何关系的汗孔特征匹配(不符合几何关系的汗孔特征匹配将被删除)。最后将匹配正确汗孔的内点数从高到低进行排序，将最高匹配内点数对应的注册指纹图像作为检索结果输出。例如，根据汗孔匹配的结果，将匹配的内点数从高到底排序，将匹配的内点数最高的指纹图像作为与输入指纹图像最相似的注册指纹序列进行推荐，如图6所示。
在本发明的另一种实现方式中，采用细节点和对汗孔进行筛选，采用指纹图像中的部分汗孔进行检索，或者采用奇异点和奇异点设置ROI，对汗孔进行筛选。
本发明使用该方法对2960个指纹图像进行实验验证，实验表明该方法在精度和速度上得到了有效的提升。
示例性设备
如图7中所示，本发明实施例提供一种基于汗孔特征及神经网络的指纹检索装置，该装置包括指纹图像获取模块501，全局特征和汗孔特征提取模块502，检索结果获取模块503，其中：
指纹图像获取模块501，用于获取指纹图像；
全局特征和汗孔特征提取模块502，用于基于已训练的特征提取模型，提取所述指纹图像的全局特征和所述指纹图像的汗孔特征；
检索结果获取模块503，用于根据所述指纹图像的全局特征和所述指纹图像的汗孔特征，对所述指纹图像进行若干次筛选和匹配，得到所述指纹图像的检索结果。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图8所示。该智能终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于汗孔特征及神经网络的指纹检索方法。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该智能终端的温度传感器是预先在智能终端内部设置，用于检测内部设备的运行温度。
本领域技术人员可以理解，图8中的原理图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：获取指纹图像；
基于已训练的特征提取模型，提取所述指纹图像的全局特征和所述指纹图像的汗孔特征；
根据所述指纹图像的全局特征和所述指纹图像的汗孔特征，对所述指纹图像进行若干次筛选和匹配，得到所述指纹图像的检索结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了基于汗孔特征及神经网络的指纹检索方法、装置、智能终端、存储介质，所述方法包括：获取指纹图像；基于已训练的特征提取模型，提取所述指纹图像的全局特征和所述指纹图像的汗孔特征；根据所述指纹图像的全局特征和所述指纹图像的汗孔特征，对所述指纹图像进行若干次筛选和匹配，得到所述指纹图像的检索结果。本发明实施例通过提取指纹图像的全局特征和汗孔特征，基于这两个特征对指纹图像进行多次筛选和匹配，由于汗孔的特征丰富，特征提取模型能够有效提取上述特征信息，从而提高指纹图像检索的精度。
基于上述实施例，本发明公开了一种基于汗孔特征及神经网络的指纹检索方法，应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种基于汗孔特征及神经网络的指纹检索方法，其特征在于，所述方法包括：
获取指纹图像；
基于已训练的特征提取模型，提取所述指纹图像的全局特征和所述指纹图像的汗孔特征；
根据所述指纹图像的全局特征和所述指纹图像的汗孔特征，对所述指纹图像进行若干次筛选和匹配，得到所述指纹图像的检索结果；
所述基于已训练的特征提取模型，提取所述指纹图像的全局特征和所述指纹图像的汗孔特征包括：
提取所述指纹图像的汗孔位置；
将所述指纹图像输入至所述特征提取模型，输出所述指纹图像的全局特征和所述指纹图像的局部特征；
将所述汗孔位置和所述指纹图像的局部特征进行融合，得到所述指纹图像的汗孔特征；
所述特征提取模型的训练过程具体为：
获取训练数据集；其中，所述训练数据集包括训练指纹图像和与训练指纹图像对应的样本标签；
将所述训练指纹图像输入预设的第一网络模型，得到预测全局特征和预测汗孔位置，其中，所述预设的第一网络模型包括第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、广义均值池化层、全连接层和四层反卷积模块；
根据所述汗孔位置、所述预测全局特征和所述样本标签，得到全局特征的损失函数；
基于所述全局特征的损失函数，对所述第一网络模型进行训练，得到全局特征提取模型；
将所述训练指纹图像依次输入所述预设的第一网络模型中的所述第一卷积模块、所述第二卷积模块和所述第三卷积模块，得到初始汗孔特征；
将所述训练指纹图像输入预设的第二网络模型，得到预测汗孔特征，其中，所述预设的第二网络模型包括编码器和解码器；
根据所述初始汗孔特征和所述预测汗孔特征，得到汗孔特征的损失函数；
基于所述汗孔特征的损失函数，对所述第二网络模型进行训练，得到汗孔特征提取模型；
将所述全局特征提取模型和所述汗孔特征提取模型进行融合，得到特征提取模型。
2.根据权利要求1所述的基于汗孔特征及神经网络的指纹检索方法，其特征在于，所述根据所述汗孔位置、所述预测全局特征和所述样本标签，得到全局特征的损失函数包括：
获取分类损失权重；
分别对所述分类损失权重和所述预测全局特征进行正则化运算，得到正则化权重和正则化全局特征；
对所述样本标签进行独热编码，得到编码样本标签；
基于所述编码样本标签和正则化权重，求解所述正则化全局特征的加性角度间隔损失函数，得到增强全局特征函数；
基于所述编码样本标签，计算所述增强全局特征函数的交叉熵，得到分类损失函数；
根据所述汗孔位置，从所述指纹图像中生成掩码图像；
将所述掩码图像输入至所述四层反卷积模块，得到指纹图像的掩码图像的预测掩码图像；
根据所述掩码图像和所述预测掩码图像，计算有关所述汗孔位置的二分类交叉熵损失函数；
将所述分类损失函数和所述二分类交叉熵损失函数进行相加，得到全局特征的损失函数。
3.根据权利要求2所述的基于汗孔特征及神经网络的指纹检索方法，其特征在于，所述根据所述初始汗孔特征和所述预测汗孔特征，得到汗孔特征的损失函数包括：
获取通道数；
获取第三卷积模块的长度和宽度；
将所述预测汗孔特征减去所述初始汗孔特征，得到汗孔特征差值；
将所述汗孔特征差值进行平方，得到平方值；
将若干次训练得到的平方值进行累加，得到累加值；
将所述通道数乘以所述第三卷积模块的长度后得到的结果再乘以所述第三卷积模块的宽度，得到乘积；
将所述累加值除以所述乘积，得到汗孔特征的损失函数。
4.根据权利要求1所述的基于汗孔特征及神经网络的指纹检索方法，其特征在于，所述根据所述指纹图像的全局特征和所述指纹图像的汗孔特征，对所述指纹图像进行若干次筛选和匹配，得到所述指纹图像的检索结果包括：
获取注册数据库；其中，所述注册数据库用于存储若干注册指纹图像；所述注册数据库存储有与每张注册指纹图像相对应的全局特征、与每张注册指纹图像相对应的汗孔特征和由汗孔特征生成的K维树；
根据所述指纹图像的全局特征和所述注册数据库中的若干全局特征，得到第一候选集；
基于K维树，对所述指纹图像的汗孔特征和所述第一侯选集中的若干汗孔特征进行内点数筛选，得到第二候选集；
基于最长前缀匹配算法，对所述指纹图像的汗孔特征和所述第二侯选集中的若干汗孔特征进行汗孔特征匹配，得到汗孔特征匹配值，其中，所述最长前缀匹配算法是一个在线性时间复杂度内，根据所述指纹图像的汗孔特征和所述第二侯选集中的若干汗孔特征之间的几何关系建立特征匹配的算法；
将汗孔特征匹配值小于或等于预设的匹配阈值的汗孔删除，得到匹配正确汗孔；
将匹配正确汗孔的内点数从高到低进行排序，将最高匹配内点数对应的注册指纹图像作为检索结果输出。
5.根据权利要求4所述的基于汗孔特征及神经网络的指纹检索方法，其特征在于，所述根据所述指纹图像的全局特征和所述注册数据库中的若干全局特征，得到第一候选集包括：
求解所述指纹图像的全局特征和所述注册数据库中的每个全局特征的余弦相似度，得到若干余弦相似度值；将若干所述余弦相似度值从高到低进行排序；
将排序结果满足预设的排序阈值的注册指纹图像作为第一侯选集。
6.根据权利要求4所述的基于汗孔特征及神经网络的指纹检索方法，其特征在于，所述基于K维树，对所述指纹图像的汗孔特征和所述第一侯选集中的若干汗孔特征进行内点数筛选，得到第二候选集包括：
基于K维树，对所述指纹图像的汗孔特征和所述第一侯选集中的若干汗孔特征进行内点数匹配，得到若干匹配内点数值；
将所述匹配内点数值大于或等于预设的匹配内点数阈值的注册指纹图像作为第二候选集。
7.一种智能终端，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1-6中任意一项所述的方法。
8.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-6中任意一项所述的方法。
CN202110743928.9A 2021-06-30 2021-06-30 一种基于汗孔特征及神经网络的指纹检索方法 Active CN113657145B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110743928.9A CN113657145B (zh) 2021-06-30 2021-06-30 一种基于汗孔特征及神经网络的指纹检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110743928.9A CN113657145B (zh) 2021-06-30 2021-06-30 一种基于汗孔特征及神经网络的指纹检索方法

Publications (2)

Publication Number Publication Date
CN113657145A CN113657145A (zh) 2021-11-16
CN113657145B true CN113657145B (zh) 2023-07-14

Family

ID=78489822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110743928.9A Active CN113657145B (zh) 2021-06-30 2021-06-30 一种基于汗孔特征及神经网络的指纹检索方法

Country Status (1)

Country Link
CN (1) CN113657145B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187570B (zh) * 2022-07-27 2023-04-07 北京拙河科技有限公司 一种基于dnn深度神经网络的奇异遍历检索方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009024811A1 (en) * 2007-08-17 2009-02-26 Warwick Warp Limited Method and apparatus for identifying and matching fingerprints using sweat pores
CN107480649A (zh) * 2017-08-24 2017-12-15 浙江工业大学 一种基于全卷积神经网络的指纹汗孔提取方法
CN110633384A (zh) * 2019-09-19 2019-12-31 哈尔滨工业大学（深圳） 基于汗孔和多图匹配的高分辨率指纹检索方法、装置、系统及存储介质
CN111079626A (zh) * 2019-12-11 2020-04-28 深圳市迪安杰智能识别科技有限公司 一种活体指纹识别方法、电子设备及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009024811A1 (en) * 2007-08-17 2009-02-26 Warwick Warp Limited Method and apparatus for identifying and matching fingerprints using sweat pores
CN107480649A (zh) * 2017-08-24 2017-12-15 浙江工业大学 一种基于全卷积神经网络的指纹汗孔提取方法
CN110633384A (zh) * 2019-09-19 2019-12-31 哈尔滨工业大学（深圳） 基于汗孔和多图匹配的高分辨率指纹检索方法、装置、系统及存储介质
CN111079626A (zh) * 2019-12-11 2020-04-28 深圳市迪安杰智能识别科技有限公司 一种活体指纹识别方法、电子设备及计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Pores and Ridges: Fingerprint Matching Using Level 3 Features;Anil Jain et al.;《18th International Conference on Pattern Recognition》;第1-4页 *
Unifying Deep Local and Global Features for Image Search;Bingyi Cao et al.;《arXiv:2001.05027v4》;第1-25页 *
基于汗孔特征的指纹识别技术研究进展;丁锰等;《中国人民公安大学学报(自然科学版)》;第50-52页 *

Also Published As

Publication number Publication date
CN113657145A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN109543627B (zh) 一种判断驾驶行为类别的方法、装置、及计算机设备
CN112766244B (zh) 目标对象检测方法、装置、计算机设备和存储介质
CN107437100A (zh) 一种基于跨模态关联学习的图像位置预测方法
CN114419672A (zh) 基于一致性学习的跨场景持续学习的行人再识别方法及装置
CN112990175B (zh) 手写中文字符的识别方法、装置、计算机设备和存储介质
CN116597384B (zh) 基于小样本训练的空间目标识别方法、装置及计算机设备
CN112329559A (zh) 一种基于深度卷积神经网络的宅基地目标检测方法
Zang et al. Traffic lane detection using fully convolutional neural network
CN110580507B (zh) 一种城市肌理分类识别方法
CN113706481A (zh) 精子质量检测方法、装置、计算机设备和存储介质
CN113298146A (zh) 一种基于特征检测的图像匹配方法、装置、设备及介质
CN113657145B (zh) 一种基于汗孔特征及神经网络的指纹检索方法
CN112101154B (zh) 视频分类方法、装置、计算机设备和存储介质
CN116597267B (zh) 图像识别方法、装置、计算机设备和存储介质
CN116188995B (zh) 一种遥感图像特征提取模型训练方法、检索方法及装置
CN110991374B (zh) 一种基于rcnn的指纹奇异点检测方法
CN117115565A (zh) 一种基于自主感知的图像分类方法、装置及智能终端
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN110287970B (zh) 一种基于cam与掩盖的弱监督物体定位方法
CN116091596A (zh) 一种自下而上的多人2d人体姿态估计方法及装置
CN111814705B (zh) 一种基于批次分块遮挡网络的行人再辨识方法
CN108334884B (zh) 一种基于机器学习的手写文档检索方法
CN112926610A (zh) 车牌图像筛选模型的构建方法与车牌图像筛选方法
CN114387430B (zh) 基于人工智能的图像描述生成方法、装置、设备及介质
CN112597329B (zh) 一种基于改进的语义分割网络的实时图像检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant