CN111898400A - 一种基于多模态特征融合的指纹活性检测方法 - Google Patents

一种基于多模态特征融合的指纹活性检测方法 Download PDF

Info

Publication number
CN111898400A
CN111898400A CN201911390493.3A CN201911390493A CN111898400A CN 111898400 A CN111898400 A CN 111898400A CN 201911390493 A CN201911390493 A CN 201911390493A CN 111898400 A CN111898400 A CN 111898400A
Authority
CN
China
Prior art keywords
fingerprint
neural network
feature
fingerprint image
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911390493.3A
Other languages
English (en)
Inventor
袁程胜
李欣亭
程韡瑾
顾伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201911390493.3A priority Critical patent/CN111898400A/zh
Publication of CN111898400A publication Critical patent/CN111898400A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1382—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
    • G06V40/1388—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger using image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多模态特征融合的指纹活性检测方法。属于信息安全领域，本发明通过对三个卷积神经网络模型进行参数迁移和微调两个操作，并利用它们来提取指纹图像的特征；同时给出一种特征融合法则对提取的指纹图像特征进行融合操作，接着将融合的指纹图像特征输入SVM分类器进行训练和测试，以此判断待测试指纹图像的真伪；用卷积神经网络自动提取指纹图像的特征，可大大减轻算法设计人员的工作量；本发明不局限于单一的卷积神经网络模型，为了利用卷积神经网络模型的特征自学习的能力和更好地识别真假指纹图像，采用三个卷积神经网络模型对指纹图像进行特征提取和融合；对模型进行迁移学习和参数微调，可解决指纹图像训练集不足和模型过拟合的问题。

Description

一种基于多模态特征融合的指纹活性检测方法
技术领域
本发明属于信息安全领域，对于深度学习技术的学习和研究对指纹进行特征提取，通过对三个经典的卷积神经网络模型进行迁移学习和模型微调，并研究出较优的特征融合算法对卷积神经网络模型提取的指纹特征进行融合，以此判断指纹的真假。
背景技术
指纹识别是目前市场占有率最高的生物识别技术，也是历史最悠久、最早被广泛作为身份识别的技术，另外指纹也是当今绝大多数国家法庭、刑侦获取证据的最重要的手段；随着科技的不断发展，指纹认证系统已被广泛地应用在我们日常生活的各个领域，比如手机指纹解锁、考勤机、指纹锁防盗门等；指纹识别技术在给我们带来便捷的同时，也产生一些不必要的麻烦；如一些不法分子使用特殊材料比如硅胶、明胶制作的伪造指纹，能成功逃避现有指纹识别系统的认证，并且能冒充真实用户进行各种操作；当前的大多数智能电子产品无法判别待测的指纹图像是否来自于一个真实的用户还是来自于一枚人造的假指纹；若是不对其进行有效的防范，则会对人民的生命财产构成重大威胁；因此，设计一个真假指纹图像识别算法显得尤为重要。
然而，目前国内外对真假指纹的检测研究有硬件检测技术，而对基于软件图像处理的算法研究尚且存在不完善之处；已有的研究中提出了图像分割和质量评测方法或是活体检测方法，所能查到的最近的一个研究是基于纹理特征检测假指纹，范围不够广泛且实际应用不全面；目前所知道的传统的手工特征提取算法不仅会消耗算法设计师的大量精力，而且检测性能不够优化，基于此，我们决定进行基于多模态特征融合的指纹活性检测算法研究。
本发明专利拟采用三个经典卷积神经网络模型(即VGG 16，AlexNet和InceptionV3)作为特征提取器，并将最后一个全连接层的输出视为指纹样本的特征向量；首先使用区域提取算法消除空白区域，并将处理后的模型块作为模型的输入；接下来为了提高模型分类器的泛化性能，使用四种图像处理技术来扩充指纹的训练样本集，即图像旋转、缩放、翻转和亮度增强；接下来，将处理完的图像分别使用三个经典的卷积神经网络模型自动的学习特征；在特征提取前，分别需要对三个模型进行迁移学习和模型微调两个操作，之后便得到关于指纹样本集的训练参数，将训练好的模型参数保存下来，传递给卷积神经网络的特征提取阶段，经过预先定义好的卷积神经网络模型之后便能学习到每张指纹图像的特征；制定特征融合算法，通过测试每种特征融合方式下的精度，寻找到最好的融合方式，把特征输入到分类器里面，进行训练和测试，训练的目的是为了得到一个模型，为了验证模型的好坏，我们用测试集测试训练好的模型。
本发明不同于一般的指纹活性检测算法，普通的指纹识别技术只能进行身份认证，而不能判断指纹图像真假，而本发明在进行身份认证之前就可以判断指纹图像的真假；传统的手工特征提取算法在特征提取上需要花费大量时间，深度学习具有特征自学习的特点，可以自动的去学习这些特征，不需要手动的设计特征提取算法。通过前期的一些实验证明，本发明比一般的手工特征提取算法的检测精度更高、性能更好。
发明内容
本发明的目的在于提供一种基于多模态特征融合的指纹活性检测方法。主要利用卷积神经网络模型具有特征自学习的特征，将卷积神经网络模型的输入层到输出层之间的结构视为一个特征提取器，通过对于深度学习技术的学习和研究，设计了一个多模态的特征提取算法。然后对提取的特征进行预处理，并研究出较优的特征融合算法，对卷积神经网络模型提取的指纹特征进行特征融合。接下来，将融合的特征输入到模型分类器中进行测试和训练。最终实现了本专利的真假指纹图像检测。
本发明的技术方案是：一种基于多模态特征融合的指纹活性检测方法，包括模型训练和样本测试两个过程；
在模型训练过程中，首先使用三个卷积神经网络模型提取指纹图像的特征，接着用支持向量机对训练集的指纹图像特征进行训练，然后再用测试集的指纹图像特征对训练好的模型分类器进行测试，以检验模型分类器的分类性能。
进一步的，一种基于多模态特征融合的指纹活性检测方法，其检测方法包括以下步骤：
步骤2.1、对指纹图像进行感兴趣区域提取处理：使用指纹扫描仪采集指纹图像，通过观察采集到的指纹图像，可发现指纹图像中均匀、交替的分布着由脊线和谷线构成的纹理区，其中所述该纹理区是有效区域；在其周边无规则的分布着空白区域，该空白区域为噪声，该噪声干扰后续指纹图像特征的提取，且影响真假指纹图像的鉴别；故使用感兴趣区域提取操作剔除空白区域；
步骤2.2、对卷积神经网络网络模型的参数进行迁移学习和微调：将经过感兴趣区域提取处理完的指纹图像分别输入至三个卷积神经网络模型中；并完成指纹图像的特征提取操作；在特征提取前，需对三个卷积神经网络模型分别进行迁移学习和模型微调两个过程，上述两个操作完成后，将微调后的模型参数分别传递给目标域；经过迁移学习和模型微调之后，可得三个卷积神经网络模型的初始化参数；
步骤2.3、提取指纹图像特征：将初始化参数进行保存，并将其分别传递给三个卷积神经网络模型的特征提取器；接着，将处理完的指纹图像分别作为三个卷积神经网络模型的输入，三个卷积神经网络模型可自动学习到指纹图像的特征；
步骤2.4、制定特征融合算法：为将提取到的三个特征进行特征融合，首先制定一个特征融合法则，后将三个特征进行随机组合，通过对不同的特征组合进行测试，测试出每种特征融合方式下的精度，并寻找到适配的特征融合方式；
步骤2.5、将特征输入至SVM进行训练和测试：将融合好的指纹图像特征，输入到支持向量机中进行训练，通过参数寻优操作完成训练集的指纹图像特征训练；最终，用测试集的指纹图像特征对模型分类器的分类性能进行验证。
进一步的，在步骤2.1中，采用图像旋转、缩放、翻转和亮度增强四种指纹图像处理技术分别对每个指纹图像进行样本扩充。
进一步的，在步骤2.2中，所述迁移学习是一种将现有的知识迁移到新任务中，来解决目标域中训练样本集不足仅有少量有标签样本甚至没有数据的学习问题的方法，即把在源域中解决原始任务时获得的知识存储下来，并将其应用于指定目标域中的任务；
ImageNet数据集作为预训练样本集，分别用三个经典的卷积神经网络模型在ImageNet数据集上进行训练，并将预训练好的模型进行保存；由于该模型是在ImageNet数据集下训练得到的，为将该模型参数进行迁移学习，训练一个关于指纹样本集的模型参数时，还需要进行微调操作；
由于预训练参数的卷积层已经学习到自然图像的基本特征，如边缘、颜色、轮廓等细节，而这些细节特征能够很好的刻画指纹的脊线和谷线，因此本发明专利使用指纹数据集，将卷积层的参数进行锁定，只微调全连接层上的参数。首先将源问题中除全连接层的预训练参数外，其余学习参数都迁移到我们的指纹特征提取模型中，然后使用指纹的训练样本集对模型进行全连接层的参数微调。经过微调后，便得到了与指纹图像相关的模型。
进一步的，在步骤2.3中，所述卷积神经网络是一个三层结构：输入层、隐含层、输出层；在这三层结构中，隐含层是用于完成特征提取；其中特征提取包含两层结构，其一是特征提取，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征；其二是特征映射层，网络的每个计算层由特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。
本专利首先利用ROI消除指纹图像集中的无效区域，并将处理后的图像块作为模型的输入；接下来，为了提高模型分类器的泛化性能，本文使用四种图像处理技术来扩充指纹的训练样本集，即图像旋转、缩放、翻转和亮度增强；然后将上述处理完的指纹图像输入到卷积神经网络模型中进行特征的提取，在特征提取前，为了解决指纹图像集不足的问题，需要对模型进行迁移学习和模型微调，得到指纹样本集的参数；将参数传入到卷积神经网络模型中，将三个提取器的最后一个全连接层的输出作为指纹图像的特征；制定一个特征融合法则把得到的特征进行融合，通过在分类器中进行测试和训练，以实现本发明专利研究的真假指纹的图像检测。
本发明的有益效果是：本发明采用深度学习技术，而不是传统的手工特征提取算法，可以大大减轻算法设计师的工作量。另外，本发明的算法不局限于单一的卷积神经网络模型，而是用三个卷积神经网络模型进行特征融合，更好地提高检测精度；利用卷积神经网络模型的特征自学习能力，对模型进行迁移学习和模型微调，可以解决指纹图像集不足和模型过拟合的问题。
附图说明
图1是本发明的框架示意图；
图2是本发明中模型参数迁移学习和模型微调的结构示意图；
图3是本发明中真指纹(a)与假指纹(b)对比示意图；
图4是本发明中在指纹数据集LivDet2013中，不同分类器下对应的分类正确率示意图。
具体实施方式
本发明；一种基于多模态特征融合的指纹活性检测方法，包括模型训练和样本测试两个过程；
在模型训练过程中，首先使用三个卷积神经网络模型提取指纹图像的特征，接着用支持向量机对训练集的指纹图像特征进行训练，然后再用测试集的指纹图像特征对训练好的模型分类器进行测试，以检验模型分类器的分类性能。
进一步的，一种基于多模态特征融合的指纹活性检测方法，其检测方法包括以下步骤：
步骤2.1、对指纹图像进行感兴趣区域提取处理：使用指纹扫描仪采集指纹图像，通过观察采集到的指纹图像，可发现指纹图像中均匀、交替的分布着由脊线和谷线构成的纹理区，其中所述该纹理区是有效区域；在其周边无规则的分布着空白区域，该空白区域为噪声，该噪声干扰后续指纹图像特征的提取，且影响真假指纹图像的鉴别；故使用感兴趣区域提取操作剔除空白区域；
故当指纹图像被输入至模型时，首先使用一个感兴趣区域提取算法来消除上述空白区域，保留中间有效的部分，并将处理后的图像块作为特征提取器的输入；
深度学习技术只有在训练样本集足够大时，才能充分的学习和分析样本的各种可能特征；否则，即使使用传统的手工特征工程法，在小样本的指纹图像集中，同样能够较好的鉴别真假指纹图像，且性能与基于深度学习的方法相差不大；为了提高模型分类器的泛化性能，本发明专利使用四种图像处理技术，即图像旋转、缩放、翻转和亮度增强，分别对每个指纹扫描仪下的图像进行扩充运算；
步骤2.2、对卷积神经网络网络模型的参数进行迁移学习和微调：将经过感兴趣区域提取处理完的指纹图像分别输入至三个卷积神经网络模型(VGG 16，AlexNet和Inception V3)中；并完成指纹图像的特征提取操作；在特征提取前，需对三个卷积神经网络模型分别进行迁移学习和模型微调两个过程，上述两个操作完成后，将微调后的模型参数分别传递给目标域；经过迁移学习和模型微调之后，可得三个卷积神经网络模型的初始化参数；
步骤2.3、提取指纹图像特征：将初始化参数进行保存，并将其分别传递给三个卷积神经网络模型的特征提取器；接着，将处理完的指纹图像分别作为三个卷积神经网络模型的输入，三个卷积神经网络模型可自动学习到指纹图像的特征；
步骤2.4、制定特征融合算法：为将提取到的三个特征进行特征融合，首先制定一个特征融合法则，对特征向量集进行运算；比如简单的加减乘除，求最大值、平均值等，后将三个特征进行随机组合，通过对不同的特征组合进行测试，测试出每种特征融合方式下的精度，并寻找到适配的特征融合方式。
步骤2.5、将特征输入至SVM进行训练和测试：将融合好的指纹图像特征，输入到支持向量机中进行训练，通过参数寻优操作完成训练集的指纹图像特征训练；最终，用测试集的指纹图像特征对模型分类器的分类性能进行验证。
进一步的，在步骤2.1中，采用图像旋转、缩放、翻转和亮度增强四种指纹图像处理技术分别对每个指纹图像进行样本扩充。
进一步的，在步骤2.2中，所述迁移学习是一种将现有的知识迁移到新任务中，来解决目标域中训练样本集不足仅有少量有标签样本甚至没有数据的学习问题的方法，即把在源域中解决原始任务时获得的知识存储下来，并将其应用于指定目标域中的任务；
ImageNet数据集作为预训练样本集，分别用三个经典的卷积神经网络模型在ImageNet数据集上进行训练，并将预训练好的模型进行保存；由于该模型是在ImageNet数据集下训练得到的，为将该模型参数进行迁移学习，训练一个关于指纹样本集的模型参数时，还需要进行微调操作；
由于预训练参数的卷积层已经学习到自然图像的基本特征，如边缘、颜色、轮廓等细节，而这些细节特征能够很好的刻画指纹的脊线和谷线，因此本发明专利使用指纹数据集，将卷积层的参数进行锁定，只微调全连接层上的参数。首先将源问题中除全连接层的预训练参数外，其余学习参数都迁移到我们的指纹特征提取模型中，然后使用指纹的训练样本集对模型进行全连接层的参数微调。经过微调后，便得到了与指纹图像相关的模型。
进一步的，在步骤2.3中，所述卷积神经网络是一个三层结构：输入层、隐含层、输出层；在这三层结构中，隐含层是用于完成特征提取；其中特征提取包含两层结构，其一是特征提取，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征；其二是特征映射层，网络的每个计算层由特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。
随着深度神经网络模型层数的增加，经过交替的前向传播预测和反向传播参数更新运算后，便能从大量的带有标签的数据中精确地学习一个有关样本输入到输出映射关系的深度网络模型。
卷积神经网络深度越深，学习的高级语义特征就越好。因此，将三个模型提取器的最后一个全连接层的输出作为指纹图像的特征。经过VGG 16，AlexNet和Inception V3三个模型操作后，特征向量的维度分别为4096，4096和2048。为了减弱异常值的影响，将提取的特征分别归一处理；紧接着，将三个归一化操作的特征向量拼接到一起。
一种基于多模态特征融合的指纹活性检测方法的具体流程，如图1所示。
首先，为了提高模型分类器的泛化性能，本专利使用四种图像处理技术对指纹样本集进行图像处理，即图像旋转、缩放、翻转和亮度增强。
在特征提取之前，为了解决图像训练集不足的问题，对三个经典卷积神经网络模型(VGG 16，AlexNet和Inception V3)进行迁移学习和模型微调两个操作，如图2所示；即将源域中最后两个全连接层的之前训练好的参数传递给目标域，然后再用指纹训练集对目标域的最后两层参数进行参数微调，之后便得到关于指纹样本集的训练参数，将训练好的模型参数保存下来，传递给卷积神经网络的特征提取阶段。
接着，将获得的真假指纹图像集经过预先定义好的三个卷积神经网络模型以复数提取指纹图像特征，并对提取出的复数特征进行特征融合以达到特征互补的目的。利用特征串行融合，将三个特征向量进行首尾拼接形成一个联合特征向量。
使用三个经典的CNN模型获得网络最后一个全连接层上的输出，并将其作为样本的特征。特征组合的方式不同，算法的检测性能也不相同。本专利通过实验分析了不同模态特征组合下的分类性能。通过对LivDet2013指纹集进行7种不同的特征组合，即VGG 16，AlexNet，Inception V3，VGG 16+AlexNet，Inception V3+VGG 16，AlexNet+Inception V3，VGG 16+AlexNet+Inception V3，分别对每一种特征组合进行测试，如表1所示，得到在不同特征组合下的分类正确率和测试时间。
表1
Figure BDA0002344797310000071
构建完指纹图像的特征之后，还要在分类器中进行训练，除了使用堆叠分类器来训练模型，本专利还使用了另外两个经典的分类器：极限学习机(ELM，Extreme LearningMachine)分类器和Saftmax分类器；在指纹数据集LivDet2013中，三个分类器所对应的分类正确率如图4所示，通过对实验结果进行比较可知，当输入到分类器的特征向量相同时，堆叠分类器的检测性能明显高于另外两个分类器，说明本专利提出的特征提取算法能够更好地识别真假指纹图像。
为了验证本专利所提出的特征提取算法的性能，需定义一个性能评价函数。本专利使用评价分类错误率ACE(Average Classification Error)[16]作为标准的性能评估指标，其计算公式为：
ACE＝(FAR+FRR)/2
在公式中，FAR(False Accept Rate)表示假指纹被误分为真指纹的概率，FRR(False Reject Rate)表示真指纹被误分为假指纹的概率；指纹活性检测的结果可能是0到100之间的任意值；假设阈值设为50，测试指纹图像的值大于50，则被划分为真指纹；反之，则被划分为假指纹；如图3所示，图3(a)中的指纹图像均为真指纹，而图3(b)中的指纹图像均为假指纹。
将LivDet2013指纹集分别用本专利提出的特征提取算法和一些传统的特征提取算法进行比较，得到对应的分类错误率和ACE值，如表2所示，通过比较发现，本专利提出的特征提取算法相比其他的特征提取算法所得到的平均分类错误率是最低的；说明本专利所提出的特征提取算法的检测性能更高。
表2、LivDet2013指纹集中不同对应的分类错误率和ACE值
Figure BDA0002344797310000081
本发明提出的基于多模态特征融合的指纹活性检测方法，不仅限于三个卷积神经网络模型，还可以包括四个、五个或者更多的卷积神经网络模型；
以上仅为本发明实例中一个较佳的实施方案。但是，本发明并不限于上述实施方案，凡按本发明所做的任何均等变化和修饰，所产生的功能作用未超出本方案的范围时，均属于本发明的保护范围。

Claims (5)

1.一种基于多模态特征融合的指纹活性检测方法，其特征在于，包括模型训练和样本测试两个过程；
在模型训练过程中，首先使用三个卷积神经网络模型提取指纹图像的特征，接着用支持向量机对训练集的指纹图像特征进行训练，然后再用测试集的指纹图像特征对训练好的模型分类器进行测试，以检验模型分类器的分类性能。
2.根据权利要求1所述的一种基于多模态特征融合的指纹活性检测方法，其特征在于，其检测方法包括以下步骤：
步骤2.1、对指纹图像进行感兴趣区域提取处理：使用指纹扫描仪采集指纹图像，通过观察采集到的指纹图像，可发现指纹图像中均匀、交替的分布着由脊线和谷线构成的纹理区，其中所述该纹理区是有效区域；在其周边无规则的分布着空白区域，该空白区域为噪声，该噪声干扰后续指纹图像特征的提取，且影响真假指纹图像的鉴别；故使用感兴趣区域提取操作剔除空白区域；
步骤2.2、对卷积神经网络网络模型的参数进行迁移学习和微调：将经过感兴趣区域提取处理完的指纹图像分别输入至三个卷积神经网络模型中；并完成指纹图像的特征提取操作；在特征提取前，需对三个卷积神经网络模型分别进行迁移学习和模型微调两个过程，上述两个操作完成后，将微调后的模型参数分别传递给目标域；经过迁移学习和模型微调之后，可得三个卷积神经网络模型的初始化参数；
步骤2.3、提取指纹图像特征：将初始化参数进行保存，并将其分别传递给三个卷积神经网络模型的特征提取器；接着，将处理完的指纹图像分别作为三个卷积神经网络模型的输入，三个卷积神经网络模型可自动学习到指纹图像的特征；
步骤2.4、制定特征融合算法：为将提取到的三个特征进行特征融合，首先制定一个特征融合法则，后将三个特征进行随机组合，通过对不同的特征组合进行测试，测试出每种特征融合方式下的精度，并寻找到适配的特征融合方式。
步骤2.5、将特征输入至SVM进行训练和测试：将融合好的指纹图像特征，输入到支持向量机中进行训练，通过参数寻优操作完成训练集的指纹图像特征训练；最终，用测试集的指纹图像特征对模型分类器的分类性能进行验证。
3.根据权利要求2所述的一种基于多模态特征融合的指纹活性检测方法，其特征在于，在步骤2.1中，采用图像旋转、缩放、翻转和亮度增强四种指纹图像处理技术分别对每个指纹图像进行样本扩充。
4.根据权利要求2所述的一种基于多模态特征融合的指纹活性检测方法，其特征在于，在步骤2.2中，所述迁移学习是一种将现有的知识迁移到新任务中，来解决目标域中训练样本集不足仅有少量有标签样本甚至没有数据的学习问题的方法，即把在源域中解决原始任务时获得的知识存储下来，并将其应用于指定目标域中的任务。
5.根据权利要求2所述的一种基于多模态特征融合的指纹活性检测方法，其特征在于，在步骤2.3中，所述卷积神经网络是一个三层结构：输入层、隐含层、输出层；在这三层结构中，隐含层是用于完成特征提取；其中特征提取包含两层结构，其一是特征提取，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征；其二是特征映射层，网络的每个计算层由特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。
CN201911390493.3A 2019-12-30 2019-12-30 一种基于多模态特征融合的指纹活性检测方法 Pending CN111898400A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911390493.3A CN111898400A (zh) 2019-12-30 2019-12-30 一种基于多模态特征融合的指纹活性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911390493.3A CN111898400A (zh) 2019-12-30 2019-12-30 一种基于多模态特征融合的指纹活性检测方法

Publications (1)

Publication Number Publication Date
CN111898400A true CN111898400A (zh) 2020-11-06

Family

ID=73169688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911390493.3A Pending CN111898400A (zh) 2019-12-30 2019-12-30 一种基于多模态特征融合的指纹活性检测方法

Country Status (1)

Country Link
CN (1) CN111898400A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230119918A1 (en) * 2021-10-14 2023-04-20 Thales Dis France Sas Deep learning based fingerprint minutiae extraction
CN116168258A (zh) * 2023-04-25 2023-05-26 之江实验室 一种目标物分类方法、装置、设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170112302A (ko) * 2016-03-31 2017-10-12 주식회사 유니온커뮤니티 신경망 학습기법을 이용한 위조지문 판별장치 및 그 방법
CN107341506A (zh) * 2017-06-12 2017-11-10 华南理工大学 一种基于多方面深度学习表达的图像情感分类方法
US20180025217A1 (en) * 2016-07-22 2018-01-25 Nec Laboratories America, Inc. Liveness detection for antispoof face recognition
CN109063572A (zh) * 2018-07-04 2018-12-21 南京信息工程大学 一种基于多尺度和多卷积层特征融合的指纹活性检测方法
CN110555461A (zh) * 2019-07-31 2019-12-10 中国地质大学（武汉） 基于多结构卷积神经网络特征融合的场景分类方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170112302A (ko) * 2016-03-31 2017-10-12 주식회사 유니온커뮤니티 신경망 학습기법을 이용한 위조지문 판별장치 및 그 방법
US20180025217A1 (en) * 2016-07-22 2018-01-25 Nec Laboratories America, Inc. Liveness detection for antispoof face recognition
CN107341506A (zh) * 2017-06-12 2017-11-10 华南理工大学 一种基于多方面深度学习表达的图像情感分类方法
CN109063572A (zh) * 2018-07-04 2018-12-21 南京信息工程大学 一种基于多尺度和多卷积层特征融合的指纹活性检测方法
CN110555461A (zh) * 2019-07-31 2019-12-10 中国地质大学（武汉） 基于多结构卷积神经网络特征融合的场景分类方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CHENGSHENG YUAN等: "Fingerprint liveness detection from different fingerprint materials using convolutional neural network and principal component analysis", 《COMPUTERS, MATERIALS & CONTINUA》, vol. 53, no. 4, pages 357 - 372 *
CHENGSHENG YUAN等: "MFFFLD:A multimodal-feature-fusion-based fingerprint liveness detection", 《IEEE TRANSACTIONS ON COGNITIVE AND DEVELOPMENTAL SYSTEMS》, vol. 14, no. 02, pages 648 - 661, XP011910741, DOI: 10.1109/TCDS.2021.3062624 *
MOHAMED HAMMAD等: "Parallel score fusion of ECG and fingerprint for human authentication based on convolution neural network", 《COMPUTERS & SECURITY》, vol. 81, pages 107 - 122 *
RODRIGO FRASSETTO NOGUEIRA等: "Fingerprint liveness detection using convolutional neural networks", 《IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY》, vol. 11, no. 06, pages 1206 - 1213, XP011603918, DOI: 10.1109/TIFS.2016.2520880 *
袁程胜: "气象信息管理系统中指纹活性检测方法的研究", 《中国博士学位论文全文数据库 基础科学辑》, vol. 2022, no. 01 *
龙啸海: "基于深度卷积神经网络的指纹活体检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2019, no. 06, pages 138 - 1617 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230119918A1 (en) * 2021-10-14 2023-04-20 Thales Dis France Sas Deep learning based fingerprint minutiae extraction
CN116168258A (zh) * 2023-04-25 2023-05-26 之江实验室 一种目标物分类方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
He et al. Multi-patch convolution neural network for iris liveness detection
CN111368683B (zh) 基于模约束CenterFace的人脸图像特征提取方法及人脸识别方法
Chen et al. T-center: A novel feature extraction approach towards large-scale iris recognition
CN110610129A (zh) 一种基于自注意力机制的深度学习人脸识别系统及方法
AU2021101613A4 (en) Multi-modal feature fusion–based fingerprint liveness detection method
Jian et al. Densely connected convolutional network optimized by genetic algorithm for fingerprint liveness detection
CN114492768B (zh) 一种基于小样本学习的孪生胶囊网络入侵检测方法
CN109344856B (zh) 一种基于多层判别式特征学习的脱机签名鉴别方法
CN113221655B (zh) 基于特征空间约束的人脸欺骗检测方法
CN111062424A (zh) 小样本食品图像识别模型训练方法及食品图像识别方法
Jung et al. Fingerprint liveness detection by a template-probe convolutional neural network
CN110555380A (zh) 基于Center Loss损失函数的指静脉识别方法
CN108564040A (zh) 一种基于深度卷积特征的指纹活性检测方法
CN113920472A (zh) 一种基于注意力机制的无监督目标重识别方法及系统
CN115830531A (zh) 一种基于残差多通道注意力多特征融合的行人重识别方法
CN111898400A (zh) 一种基于多模态特征融合的指纹活性检测方法
CN109145704A (zh) 一种基于人脸属性的人脸画像识别方法
Yang et al. A Face Detection Method Based on Skin Color Model and Improved AdaBoost Algorithm.
CN116092134A (zh) 一种基于深度学习和特征融合的指纹活体检测方法
CN116385832A (zh) 双模态生物特征识别网络模型训练方法
Chapaneri et al. Plant disease detection: A comprehensive survey
CN112395901A (zh) 一种改进型复杂环境下人脸检测定位识别方法
CN103942545A (zh) 一种基于双向压缩数据空间维度缩减的人脸识别方法和装置
Liu et al. A novel high-resolution fingerprint representation method
CN115188031A (zh) 指纹识别方法、计算机程序产品、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination