CN112437926B - 使用前馈卷积神经网络的快速鲁棒摩擦脊印痕细节提取 - Google Patents

使用前馈卷积神经网络的快速鲁棒摩擦脊印痕细节提取 Download PDF

Info

Publication number
CN112437926B
CN112437926B CN201980048658.0A CN201980048658A CN112437926B CN 112437926 B CN112437926 B CN 112437926B CN 201980048658 A CN201980048658 A CN 201980048658A CN 112437926 B CN112437926 B CN 112437926B
Authority
CN
China
Prior art keywords
neural network
data
training
biometric
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980048658.0A
Other languages
English (en)
Other versions
CN112437926A (zh
Inventor
阿尔图拉斯·纳科沃萨斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uab "neurotechnology"
Original Assignee
Uab "neurotechnology"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uab "neurotechnology" filed Critical Uab "neurotechnology"
Publication of CN112437926A publication Critical patent/CN112437926A/zh
Application granted granted Critical
Publication of CN112437926B publication Critical patent/CN112437926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G06V40/1353—Extracting features related to minutiae or pores

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种使用全卷积前馈神经网络从数字信号中进行快速噪声鲁棒摩擦脊印痕迹细节提取的系统和方法。所提出的基于神经网络的系统在速度和准确性上均优于细节提取的经典方法和其他基于神经网络的系统。使用该系统提取的细节至少可以用于诸如生物特征身份验证、识别或指状分析的任务。

Description

使用前馈卷积神经网络的快速鲁棒摩擦脊印痕细节提取
技术领域
本发明涉及一种利用全卷积前馈神经网络从数字信号中进行噪声鲁棒摩擦脊印痕细节提取的系统和方法。
背景技术
指纹被认为是用于人员识别或验证的最可靠的常用生物特征识别模式。指纹(203)本身是手指的摩擦皮肤留下的印痕。每个个人具有独特的指纹203，每个指纹都是脊和谷的图案。如图2所见，这些脊和谷形成两个最突出的局部脊特征：脊终点(201)和脊分叉点(202)。指纹细节提取是使用指纹图像进行人员识别或验证的两个主要步骤之一，另一步骤是指纹细节匹配。类似于指纹，手的手掌以及脚的脚掌和脚趾也具有摩擦脊皮肤，因此本文公开的技术和方法可以应用于更多的摩擦脊印痕类型。
指纹细节提取是图像处理任务，其中指纹图像是该过程的输入，而此过程的输出是一组具有其特定属性的指纹细节。这些属性包括细节类别，例如脊终点、脊分叉点或既不是上述脊终点也不是脊分叉点、代表细节的方向的取向以及还有代表细节在原始图像中的位置的坐标。
处理真实的实时指纹扫描引起使指纹细节提取变得复杂的许多障碍。使用同一台扫描仪产生的指纹图像可能由于各种因素而明显不同：对象将他的手指放在扫描仪上的方式，手指的水分含量不一致，以及扫描期间的手指取向或多次指纹扫描之间的区域交叉点变化等。使用不同的指纹扫描仪扫描的指纹引起额外挑战，如不同的图像分辨率、对比度级别、图像质量等。
经典的指纹细节提取过程可能包括多个阶段的图像处理、变换以获得手动制作的特征。另一方面，深度神经网络有望提供简化、高效且灵活的解决方案。使用深度神经网络构建指纹特征提取器的许多方法均产生了有前景的结果，但与将深度神经网络应用于更流行的图像处理任务相比，它们全部仍然过于复杂且缺乏鲁棒性。
构建高效且有效执行特定任务的紧凑型深度神经网络是有难度的挑战。采用对一个任务运行良好的神经网络并将其应用于有难度的任务似乎是简单直接的解决方案。但通常并非如此。多种因素构成了调整神经网络以证明自己优于其他解决方案的复杂性。这样的困难之一是神经网络难以进行分析。经典形式的神经网络是由权重层、偏差层、卷积层等构成的。在构建基于神经网络的系统时遇到的挑战的示例包括：通常很难解释在测试阶段获得的或评估网络适应于以稳定的方式处理给定数据集上的给定任务的能力的权重神经网络。通常，大多数困难可以归结为与数据的数学分析、神经网络训练方法和网络本身的体系结构有关。
本发明描述了使用前馈卷积网络结构从指纹图像中快速且不失真地提取指纹细节的方法。本发明的组成部分包括识别神经网络的结构和特性。
存在从指纹图像中提取指纹细节的许多现有方法。他们中的大多数都依赖于高质量的指纹图像，而在现实生活场景中、尤其是在处理隐约指纹时，通常并非是高质量指纹图像的情况。为了解决模糊或低对比度指纹图像带来的一些困难，某些提取算法采用Gabor或类似的过滤器来提取指纹特征，但是即使这些算法也无法可靠地提取出噪声图像中的真实指纹特征。深度神经网络的出现使得信号处理行业发生重大转变，从提取手动制作的特征的算法转变到训练人工神经网络以执行此任务。指纹图像处理是这一转变的一部分。
(Sankaran，2014)示出了神经网络用于指纹细节提取的一个示例。堆叠式降噪稀疏自动编码器用于学习细节和非细节特征描述符。这些描述符随后用于构建对应的细节和非细节二进制分类器，以将图像小块分类为包含细节特征或不包含细节特征。为了提取细节特征图，将整个指纹图像划分为指定大小的重叠小块，并且每个小块都由基于小细节和基于非小细节描述符的二进制分类器进行分类。通过这两种二进制分类器的输出的加权总和融合获得最终分数。该方法对每个图像小块执行推断步骤，并且仅返回分类图像小块的中心的细节的近似位置，其中未考虑细节取向。最终，训练是两步骤过程：训练堆叠式降噪稀疏自动编码器以学习特征描述符以及通过从自动编码器中移除解码器层并添加分类器层(根据分类器任务进行微调)而创建的神经网络模型。
(Yao Tang，2017)给出了神经网络用于从指纹图像提取细节的另一示例。提出的算法包括两个步骤：利用全卷积神经网络的提议生成，其中从原始指纹图像生成具有对应分数的细节图；以及利用卷积神经网络对提议的细节进行分类，其中还提取对应细节的位置和取向。这两个神经网络共享卷积层的权重，以加快细节提取速度，整个过程可以分为以下步骤：特征图提取，提议生成和基于区域的分类，其中提取了细节特性。我们的方法不同之处至少在于指纹图像在单个阶段中处理，从而产生细节特征图提取，而无需中间提议生成和基于区域的分类。
(Yao Tang，2017)给出了神经网络用于从指纹图像中提取细节的另一个示例。通过用多层神经网络块替换传统指纹细节提取渠道中使用的取向估计、分割、增强和提取的经典操作，而构造深度神经网络。结果，从原始指纹图像重构分割的取向场和增强的指纹图像，并且它们可以与细节图一起提取，其中给出了包括精确的位置、取向和置信度的局部特征。该方法与我们的实现方式不同之处至少在于，在我们的方法中，指纹图像被映射到细节特征，而无需使用所述中间表示，这产生了简化的神经网络体系结构。
在使用神经网络进行指纹细节提取的另一种方法中(Darlow，2017)，指纹图像中的像素被分类为是否属于细节类别。该算法通过使用卷积神经网络对指定大小的图像小块(其中感兴趣像素位于中心)进行分类来实现。通过在整个指纹图像上滑动窗口方法并对结果进行后处理，获得细节特征图。最后，使用经典的局部取向估计方法来计算细节取向。这种方法与我们的实现方式不同之处至少在于前者具有更复杂的图像处理渠道：对神经网络的输出执行后处理，并使用其他经典算法进行细节取向估计。
在(Thomas Pinetz，2017)中，将指纹图像的细节特征提取转换为二进制语义分割问题。U形神经网络模型用于对原始指纹图像进行语义分割，因此，输入图像的每个像素都被分类为细节或非细节类型。取向场用于计算之后的细节点的取向。
通过使用(Dinh-Luan Nguyen，2018)中的两个不同的卷积神经网络从指纹图像中提取细节特征。名为CoarseNet的第一卷积神经网络生成细节分数图和取向。稍后，名为FineNet的第二卷积网络用于对CoarseNet生成的每个候选小块进行分类。在第二步骤期间，细化了细节位置和取向。
在另一实例中，卷积神经网络用于(Kai Cao，2018)的隐约指纹识别渠道中。卷积神经网络用于脊流动估计。同样，卷积神经网络用于为所述指纹识别渠道中的每个细节提取描述符。所述方法与我们的方法明显不同，因为提取指纹细节无需使用神经网络。
在US5572597中，神经网络被应用于对从原始指纹图像提取的特征的局部图案进行分类。这些分类后的局部图案随后用于确定指纹图像的类别，也可以在指纹识别过程中使用。
另一方面，在US5825907中，使用神经网络将指纹的粗略方向图分类为指纹类别之一。
在US5892838中提出了一种用于生物特征识别的系统，其中神经网络用于对比较向量进行分类。这些比较向量表示授权的用户生物特征标记的主模式集与要认证的用户的样本模式集之间的相似性。
在US7082394中，基于失真判别分析的卷积神经网络被用于提取具有一维或多维的测试信号(例如音频、图像或视频数据)的特征。这些提取的特征随后用于分类、检索或识别任务。最后，在US20060215883A1的生物特征识别方法中，神经网络与生物信号一起使用。
CN107480649公开了一种从指纹图像中提取汗孔的方法。所述方法使用全卷积神经网络来预测初步汗孔位置，然后根据预测的假汗孔的特征使用定制算法将它们从初步集中去除以获得真实的汗孔位置。本文公开的方法的不同之处至少在于，它使用了摩擦脊印痕细节，并且不需要其他候选特征清除。
所提出的方法消除了进行摩擦脊印痕细节提取的图像预处理或复杂的多阶段神经网络体系结构的必要性。我们构建构造了具有图像输入层和输出层的前馈卷积神经网络，因此无需进行额外的处理就能定位摩擦脊印痕细节并估算它们的性能。
发明内容
本发明描述了一种摩擦脊印痕细节提取系统和方法。指纹是使用最广泛的摩擦脊印痕模式。从各个图像中提取的指纹细节可以随后至少用于指纹分析、人员识别或验证。
本发明克服了现有技术指纹细节提取方法的缺陷，在现有技术中提取过程包括多个信号预处理阶段，然后将信号馈送到神经网络或复杂的神经网络结构中，该结构合并了多个处理阶段，这对细节提取过程的有效性和效率具有明显负面影响。本发明提供了一种使用全卷积神经网络从摩擦脊印痕数字图像中有效和高效地提取细节的系统和方法。所述方法包括以下步骤：使用摩擦脊印痕扫描仪或从预扫描的图像中加载而获取图像，将图像馈送到有目的地构造和训练的神经网络中以获得编码后的特征；解码所获得的特征以获得摩擦脊印痕细节；并将所述指纹细节存储到生物特征模板中。所述训练本质上是端到端过程，因为由输入装置产生的生物特征图像被馈送到神经网络，并且网络的最终输出是一组指纹细节。
提出的全卷积神经网络优于经典方法和其他基于神经网络的系统。现有技术中提出的基于神经网络的系统也更加复杂并且需要中间特征提议。另一方面，本文提出的系统消除了提议生成和随后的像素或特征重采样阶段，并将所有计算封装在单个网络中。这使得所提出的神经网络易于训练，并且简单直接地集成到需要指纹细节检测的系统中。体系架构的简单性是定义所提出的基于神经网络的系统的特征之一。
注意，实施例描述了单个生物特征信号处理方法。然而，在替代实施例中，可以构造整个系统或神经网络以同时处理多个信号或不同生物特征信号的组合。在又一个实施例中，可以对生物特征信号序列进行处理以合并时间信息。
可以利用本发明的其他应用可以包括：生物特征考勤，居民身份证，选民登记，边境管控，司法鉴定/犯罪，银行系统，医疗保健，生物特征数据处理。
附图说明
当结合附图和所附权利要求书阅读时，通过参考以下详细描述，将最好地理解优选实施例的新颖特征、方面和优点，其中：
图1是本发明系统的简化图，示出了输入图像、前馈全卷积神经网络、编码/解码步骤和解码后的输出特征图。
图2是指纹的图示，其中在所述指纹的区域内标记了分叉点的细节和线终点类型。
图3是示出了神经网络训练过程的流程图。
图4是示出了神经网络的微调过程的流程图。
图5是示出了训练数据准备过程的流程图。
图6是示出了数据扩充过程的流程图。
图7是示出了训练数据收集过程的流程图。
图8是示出了神经网络利用的流程图。
具体实施方式
在图1中基于神经网络大致展示了用于指纹细节提取的公开系统(100)。提出的神经网络是全卷积神经网络，它是由具有非线性激活函数的卷积层的基本构建块(102)的组合构建而成的。在优选实施例中，该网络的输入是生物特征数字图像(101)形式的生物特征信号，神经网络的输出是特征图(103)，该特征图可以被解码(104)成生物特征细节图(105)。神经网络输入通常是灰度摩擦脊印痕图像(101)，这对于本领域中的许多标准都是常见的。然后，输入值通过一组卷积层块(102)，这些卷积层块迭代地增加输出通道的数量或减小空间分辨率或同时实现这两者。来自最后一个所述块(102)的卷积层的输出被传播到不同的卷积分支(103)中。在优选实施例中，最后的激活图(103)中的每个特征具有大致等于输入分辨率的1/8的空间分辨率。可以构造分支层次结构的多个版本，或者根本不将最后的层拆分为单独的分支，但是在优选实施例中，每个所述分支负责特定的指纹特征估计。所述分支可以通过具有多损失函数的单独分量来支持，这将在下面说明。这些特征可以至少被解码为指纹细节取向、位置和类别，其中位置补偿了由于输出特征的降低的特殊分辨率而损失的精度。解码后的特征图可能具有多个候选细节。还可以将编码和解码视为所提出的神经网络的组成部分。
卷积神经网络和非线性激活函数的以下呈现的几个特性对指纹细节提取过程非常重要。卷积层由于其局部性而非常重要，这意味着当使用卷积层处理图像时，位于像素空间附近的局部图案是相关的。平移不变性是卷积层的另一重要特性，它使神经网络能够记录特定视觉图案的存在，而不管该特定图案在图像中的何处出现。换句话说，卷积网络可以学习空间表示并基于局部空间输入做出决策。所述卷积网络中的数据可以表示为大小为n×h×w的三维阵列，其中h和w为空间维度，n为特征或颜色通道维度。输入图像具有维度h×w(即高度和宽度)以及n个颜色通道。在RGB彩色图像中，n等于3，其中每个通道通常代表红色值、绿色值和蓝色值，在黑白色图像中，n等于1(单个灰度强度通道值)。当原始指纹图像被馈送到卷积神经网络时，数据会通过多个卷积层，其中在每层中都执行数据变换。观察所述变换的一种方式是，输入图像中特定位置的值表示像素颜色值，但是在后续的层中，数据被转换为更高的抽象水平特征。较高层中的每个特征都保留其与输入图像中原始位置的路径连接，这也称为：该特征的接收场。
具有激活函数f的形式卷积层可以用张量来表征，其中no和ni分别是输出通道和输入通道的数量，kh和kw分别是内核的空间高度和宽度。当将过滤器应用于大小为ni×kh×kw的输入小块x时，得到响应向量/>为
y＝f(W*x)
其中*表示卷积运算，f是逐元素非线性激活函数。Wo，i＝W[o，i，：，：]是沿着第i个输入通道和第o个输出通道的张量切片，xi＝x[i，：，：]是沿着3D张量x的第i个输入通道的张量切片，并且小块x的计算复杂度为O(no×ni×kh×kw)。将复杂度从小块级别扩展到功能图级别很容易。给定特征图大小H×W，复杂度为O(H×W×no×ni×kh×kw)。
此外，在优选实施例中，可以改善神经网络训练的计算性能，并且可以使用推断深度可分离卷积运算。通过使用常规卷积，可以达到相当或甚至更好的质量，通过将分组卷积与1x1卷积结合使用，可以达到相当的速度性能。必须注意的是，甚至可以使用更多替代卷积算子来达到相似或更好的结果，但是我们的实验表明，使用深度可分离卷积可以在一组硬件和软件环境中达到最佳性能。实际上，深度可分离卷积至少比常规卷积提供了速度改进，这允许目标应用在缺少GPU的硬件或任何其他特殊硬件上执行。
在前面介绍的常规卷积中，单个卷积内核处理n个输入通道。另一方面，深度可分离卷积将卷积分为两部分：深度卷积(DW)和逐点卷积(PW)。深度卷积通过分别为n个输入通道中的每个通道应用n个2D卷积核来聚焦于局部性。因此，对ni个输入通道进行卷积会生成堆叠在一起的ni个通道张量。另一方面，逐点(1×1)卷积聚焦于通道之间的关系。为了确保与常规卷积W相同的形状输出，将DW定义为卷积内核张量和PW卷积张量将深度卷积应用于输入小块x并将逐点卷积应用于深度卷积结果的输出是对应的响应向量y′o为
其中Po，i＝P[o，i，：，：]和Do＝D[o，：，：，：]，f0和f1是逐元素非线性激活函数。整个特征图的计算复杂度为O(H×W×(ni×kh×kw+ni×no))。
替代地，可以在DW之前切换卷积顺序并应用PW卷积，以获得另一分解形式PW+DW。
尽管有许多选项可用于非线性激活函数，如Sigmoid或双曲正切、级联ReLU、LeakyReLU、Maxout、ReLU-6、参数化ReLU等。非线性激活函数期望的特性是：其梯度的非饱和性，与Sigmoid或双曲正切函数相比，极大地加快了随机梯度下降的收敛速度，减小了梯度消失的可能性，并引起稀疏性正则化。在其他提到的若干激活函数中，ReLU具有上面列出的特性，并且在优选实施例中还用作逐元素非线性激活函数f。f0和f1可以不同，或者它们中的一者可以等效于fi(x)＝x，但在优选实施例中，f、f0和f1代表ReLU逐点激活函数，其如下定义：
同样，重要的是要了解ReLU相较于激活函数(如Sigmoid或双曲正切)的计算优势，该激活函数涉及计算量大的计算：指数和算术运算，另一方面，ReLU可以通过简单地将激活矩阵阈值设为零来实现。
同样重要的是要注意，至少由于训练期间先前的层参数变化，每层输入的分布具有明显变化。分布变化倾向于通过要求较低的学习速率和仔细的参数初始化来减慢训练过程。为了克服这个问题，在优选实施例中，使用了批量归一化。它允许使用更高的学习速率，并提高神经网络对初始化参数的容忍度。此外，批量归一化还可以用作正则化技术，从而降低模型过度拟合的风险。实际上，在优选实施例中，在第一卷积层之后使用批量归一化以及在深度卷积(DW)和逐点卷积(PW)之后的所有深度可分离卷积中使用批量归一化。应当理解，在神经网络体系结构中使用批量归一化或替代性正则化手段(如辍学层)是灵活的，并且通过以不同方式对层进行重新排序可以实现相似或更好的结果。
在训练神经网络时，定义训练目标也很重要。相对于神经网络期望解决的问题类别来定义训练问题。可以以具有不同结果的多种不同的方式来选择训练方法，但是在优选实施例中，将取向和位置训练定义为回归问题，并将指纹细节类别确定为分类问题。为了评估如何在给定训练步骤下使用提供的输入数据和预期输出结果执行神经网络，我们定义了损失或误差函数。
损失函数对于测量预测值y与网络针对于给定输入样本生成的实际值之间的不一致是必要的。然后，来自错误预测的评估误差用于迭代地调整神经网络权重或卷积过滤器值。在优选实施例中，多损失函数包括如下四个部分：分类，否定分类，位置回归和取向回归：
此处，和/>是根据基础真实细节点置信度值计算出的掩蔽因子。它们适用于所有部分损失，使得只有相关的细节点导致损失。多损失函数中的y、/>l、o分别表示指纹细节类别候选者存在、不存在、位置和取向的预测概率。应该注意的是，所述多损失函数可以具有更少或更多的部分损失分量，该部分损失分量计算出指纹特征参数或元参数上的损失。
在用于正分类和负分类的优选实施例中，将softmax交叉熵总和用作部分损失函数。对于位置和取向，使用实际值和预测值之差的总和作为部分损失回归函数。所述部分损失函数被组合为如先前所定义的多损失函数，多损失函数又被用于进行整体神经网络损失估计以进行迭代权重调整。所述权重调整由特定的优化器函数执行。与其他神经网络参数类似，有众多优化器可供选择，例如Adagrad、Adadelta、RMSprop，但在优选实施例中，使用了Adam优化器。
通常对训练收敛有重大影响的神经网络训练过程的另一方面是初始化神经网络连接权重和卷积过滤器的方法。可以以多种方式来初始化神经网络。在优选实施例中，神经网络权重和卷积过滤器值是随机初始化的。在替代实施例中，初始值可以被设置为零或根据一些特定启发式的值。在又一个实施例中，神经网络初始权重或卷积过滤器值或两者均从先前训练过的针对不同生物特征模式或其他视觉信号集而训练的神经网络中初始化，这也称为转移学习。
描述神经网络训练过程的另一种方法是将其分为若干步骤。图3中展示了通用的示例性神经网络训练过程(300)。在此，首先，收集训练数据(301)。下一步是在训练之前根据需要修改(302)收集的数据，然后对准备好的训练数据进行神经网络训练(303)。通过存储训练后的神经网络模型(304)来完成该过程。收集训练数据的过程(301)可以进一步细分，并展示在图7的流程图中。在生物特征信号是指纹印痕图像的实施例中，收集过程开始于获取指纹图像，获取指纹图像可以通过加载预扫描的生物特征数据(701)、通过用生物特征扫描仪(702)或任何其他输入装置(703)记录指纹图像来完成。而且，可以使用合成数据生成(704)。在步骤(705)中，从收集的指纹图像中提取具有对应特征的细节。细节可以手动提取、使用自动方法提取或两者的组合。在步骤(706)中，对提取的特征进行编码，编码对应于从输入信号摩擦脊细节到神经网络输出特征图的映射操作。神经网络输出特征图结构由神经网络输出层特性决定。如上面在优选实施例中提到的，输出特征图的空间分辨率大约为输入信号的1/8，因此，对于512x512分辨率的2D输入信号，输出特征图中的每个特征将大致对应于8x8输入信号小块。在优选实施例中，特征图至少具有类别、位置和取向通道组。这些组可以堆叠在一起，或者可根据优选的神经网络体系结构分离。每组的通道数量可以至少取决于细节类别、取向和位置精度以及其他候选细分的数量。每个映射的特征值表示包含细节的可能性以及在输入信号的对应小块内具有特定的类别、取向或位置特性。通过存储指纹图像和编码后的特征(707)而完成训练数据收集(301)的图示过程。
图5示出了训练数据准备(302)的流程图，其通过加载收集的训练数据(501)开始。为了克服在下一步骤期间训练数据不一致的问题，使用了对指纹图像和编码后的特征数据的扩充(502)。所述不一致是由用于训练神经网络的数据集中可能存在的各种图像引起的：大小、比例和格式不同的图像，包含平移后的、模糊或裁剪的对象的图像，包含噪声且缺乏对比度的图像。除此之外，数据扩充(502)被用于克服神经网络对数据子集的过度拟合，该过度拟合是由数据变化失实表示引起的。在步骤(503)中，存储扩充后的数据。在优选实施例中，在步骤(504)中，用于训练神经网络的数据集被分为训练、验证和测试子集。训练子集用于在数据和神经网络推断的细节之间建立预测关系。验证子集用于测试网络并调整网络的超级参数。最后，测试子集用于防止神经网络过度拟合训练或验证子集。
图6中示出了训练数据扩充过程(502)，其中通过使用各种数据变换技术(607)从现有数据(606)生成新数据(608)来扩展数据集。例如，为了使神经网络学习处理噪声变化，数据扩充(607)将包括通过从数据集中获取现有图像并添加噪声(602)或者应用随机裁剪(601)来模拟图像中的部分对象遮挡等来生成新图像。数据扩充可以包括旋转(603)、平移(604)或其他变换(包括填充、翻转等)(605)的步骤。扩充的各种组合可以用于扩展数据集(606)。在适当时，将扩充(601、602、603、604、605)应用于(607)输入信号和提取的特征数据两者，使得扩展的输入信号和提取的特征相对应。然后需要将提取和扩充的生物特征数据据编码为与所构造的神经网络的输出层相对应的形式。
可以使用广泛使用的神经网络软件框架(例如Caffe、PyTorch，Tensorflow)或使用其他适当的手段来执行训练本身。预期在训练过程期间，网络的整体质量度量将收敛到最佳值。有多种策略供选择何时停止训练以及如何从中间训练模型中选择最佳训练模型，但是通常，最佳值通常取决于训练数据本身，因此，一旦有训练后的神经网络模型对测试或验证数据进行过度拟合的迹象，训练过程通常会中止。
在训练完成并且达到期望的准确性水平之后，可以利用如图8所示的训练后的神经网络(800)。在一个实施例中，在加载训练后的神经网络模型之后(801)，用输入信号执行神经网络推断，该输入信号是在步骤(802)中从连接到个人计算机、微型计算机、嵌入式系统或任何其他计算装置的生物特征扫描仪获取的。所述计算装置应该能够接收数字生物特征输入信号，在给定输入信号的情况下推断神经网络特征(803)，并将推断出的特征解码为生物特征细节(804)。可以在相同或单独的计算装置上执行神经网络训练。在一个实施例中，可以在步骤(802)中从源获取指纹图像，该源包括扫描后的图像、从数据库加载的图像、可以经过或不经过处理而作为输入信号馈送到训练后的神经网络中的其他数据实例。在又一个实施例中，可以在推断之前对输入信号进行预处理，至少是为了性能优化、减少预测误差或由于数据格式限制而进行推断。
在另一个实施例中，可以在动态设置(400)中使用训练后的神经网络，其中随着来自初始数据集的信号的更新、移除或添加新的信号来执行神经网络的微调或重新训练。首先，如果需要，使用与训练数据类似的手段(502)来扩充(402)获取的输入数据(401)。稍后，在步骤(403)中，对扩充后的数据微调神经网络。最后，存储微调后的神经网络的模型(404)。
在又一个实施例中，用于信号特征提取的系统和方法可以用于使用本发明中公开的神经网络对数据信号的元素或片段进行分类、获取、人员验证或识别的目的。
对于本领域技术人员而言显而易见的是，由于神经网络研究的性质和当前以及可预见的状态，本文公开的除指纹外的体系结构可以应用于其他生物特征模式，如掌纹、脚印或甚至静脉、虹膜和面部。在掌纹和脚印的情况下，摩擦脊图案结构类似于指纹，因此所公开的方法可以无需进行明显修改而应用于静脉、虹膜甚至更多，而面部具有明显不同的视觉结构，但是无论如何，静脉图案局部特征点和面部界标至少具有共同的局部性，这是所公开方法的关键特性。
可以理解的是，已经关于特定实施例描述了本发明，这些实施例在所有方面都旨在说明而不是限制。在不脱离本发明范围的情况下，替代实施例对于本发明所属领域的普通技术人员将变得明显。还将理解，某些特征和子组合是实用的，并且可以在不参考其他特征和子组合的情况下被采用。
引用文献：
US 5,572,597-指纹分类系统
US 5,825,907-用于指纹分类的神经网络系统
US 5,892,838-使用分类神经网络的生物特征识别
US 7,082,394-使用多层主组分分析的噪声鲁棒特征提取
US 2006/0215883 A1-使用生物信号和人工神经网络的生物特征识别设备和方法
CN 107480649 A-基于全卷积神经网络的指纹汗孔提取方法
Bhavesh Pandya,G.C.A.A.A.A.T.V.A.B.T.M.M.,2018年,《使用深度卷积神经网络的指纹分类》,2018年第四届信息管理国际会议(ICIM),第86-91页。
BrankaA.N.O.M.,2015年,《使用傅立叶系数和神经网络的指纹ROI细分》,2015年第23届电信论坛Telfor(TELFOR)，第484-487页。
Darlow,L.N.R.B.,2017年,《使用深度学习的指纹细节提取》,2017年IEEE国际生物特征识别技术联合会议(IJCB),第22-30页。
Dinh-Luan Nguyen,K.C.A.K.J.,2018年,《稳健的细节提取器：整合深度网络和指纹域知识》,2018年国际生物特征识别会议(ICB)。
Hilbert,C.-F.C.E.,1994年,《指纹分类系统》,美国专利号5,572,597。
Kai Cao,D.-L.N.C.T.A.K.J.,2018年,《端对端隐约指纹搜索》。
Sankaran,A.a.P.P.a.V.M.a.S.R.,2014年,《关于使用堆叠式降噪稀疏自动编码器的隐约指纹细节提取》,IJCB 2014-2014 IEEE/IAPR国际生物特征识别联合会议,第1-7页。
Shrein,J.M.,2017年,《使用卷积神经网络和脊取向图像的指纹分类》,2017IEEE计算智能研讨会系列(SSCI),第1-8页。
Thomas Pinetz,D.S.R.H.-M.R.S.,2017年,《使用U型神经网络进行由细化的合成指纹训练的细节提取》,OAGM&ARW联合研讨会论文集2017,第146-151页。
Yao Tang，F.G.J.F.,2017年,《使用全卷积网络的隐约指纹细节提取》,2017IEEE国际生物特征识别联合会议(IJCB),第117-123页。
Yao Tang,F.G.J.F.Y.L.,2017年,《FingerNet：用于指纹细节提取的统一深度网络》,2017 IEEE国际生物特征识别联合会议(IJCB),第108-116页。

Claims (15)

1.一种由一个或多个计算机实现的神经网络系统，所述神经网络系统包括：
卷积神经网络，其中：
所述神经网络被配置为：
对于所述神经网络处理的每个输入信号：
在所述神经网络的第一层接收生物特征输入信号；
处理生物特征输入信号；
在所述神经网络的最后一层生成输出特征图；和
相对于输入信号，增加输出特征图的通道的数量，并且降低空间分辨率；和
子系统，其中，所述子系统被配置为：
从所述神经网络接收输出特征图；
解码输出特征图；
输出解码后的特征图；和
所述神经网络的输入是生物特征数字图像形式的生物特征信号，所述神经网络的输出是特征图，所述特征图可以被解码成生物特征细节图；生物特征输入信号表示摩擦脊印痕，解码后的特征图表示摩擦脊印痕细节；
所述神经网络的输入通过一组卷积层块，最后一个所述块的卷积层的输出被传播到不同的卷积分支中，每个所述分支负责特定的摩擦脊印痕特征估计，所述特征可以至少被解码为摩擦脊印痕细节取向、位置和类别；
用于评估如何在给定训练步骤下使用提供的输入数据和预期输出结果执行神经网络的损失函数或误差函数；和
训练数据准备，其中，所述训练数据准备过程为：
加载收集的训练数据；
扩充信号和编码后的特征数据；
存储扩充后的数据；
将扩充后的数据分为训练、验证和测试数据子集；
和
训练数据扩充，其中，所述训练数据扩充通过使用数据变换技术从现有数据生成新数据来扩展数据集；
其中，所述神经网络是全卷积神经网络，所述全卷积神经网络由具有非线性激活函数的卷积层的基本构建块的组合构建而成，并且
所述神经网络的损失函数是包括多个损失分量的多损失函数。
2.根据权利要求1所述的系统，其中，输出特征图解码包括从神经网络输出层特征图转换成摩擦脊印痕细节数字表示，其中，所述细节数字表示至少包括：类别，旋转，位置。
3.根据权利要求2所述的系统，其中，细节类别是以下之一：线终点，分叉点，即非线终点也非分叉点。
4.根据权利要求1所述的系统，其中，输入摩擦脊印痕信号是数字图像。
5.根据权利要求1所述的系统，其中，输出特征图包括一组单独的输出卷积层分支的激活图。
6.根据权利要求1所述的系统，其中，所述非线性激活函数是以下之一：Sigmoid，双曲正切，级联ReLU，Leaky ReLU，Maxout，ReLU，ReLU-6，参数化ReLU。
7.根据权利要求1所述的系统，其中，卷积是以下之一：深度可分离卷积，或分组卷积与1x1卷积的组合。
8.根据权利要求1所述的系统，其中，多损失函数分量至少包括：正类别损失，负类别损失，位置损失，取向损失。
9.根据权利要求8所述的系统，其中，细节正类别估计是分类问题。
10.根据权利要求8所述的系统，其中，细节负类别估计是分类问题。
11.根据权利要求8所述的系统，细节取向估计是回归问题。
12.根据权利要求8所述的系统，细节位置估计是回归问题。
13.根据权利要求1所述的系统，其中，每个生物特征输入信号的源是以下之一：生物特征读取器，从存储器加载，或生成。
14.根据权利要求1所述的系统，其中，训练所述神经网络过程包括对摩擦脊印痕细节进行编码。
15.根据权利要求1所述的系统，其中，训练所述神经网络过程包括数据扩充。
CN201980048658.0A 2019-06-18 2019-06-18 使用前馈卷积神经网络的快速鲁棒摩擦脊印痕细节提取 Active CN112437926B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2019/055084 WO2020254857A1 (en) 2019-06-18 2019-06-18 Fast and robust friction ridge impression minutiae extraction using feed-forward convolutional neural network

Publications (2)

Publication Number Publication Date
CN112437926A CN112437926A (zh) 2021-03-02
CN112437926B true CN112437926B (zh) 2024-05-31

Family

ID=67841104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980048658.0A Active CN112437926B (zh) 2019-06-18 2019-06-18 使用前馈卷积神经网络的快速鲁棒摩擦脊印痕细节提取

Country Status (5)

Country Link
US (1) US11430255B2 (zh)
EP (1) EP3799647A1 (zh)
JP (1) JP7130905B2 (zh)
CN (1) CN112437926B (zh)
WO (1) WO2020254857A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3540635B1 (en) * 2018-03-16 2020-08-26 Identy Inc. Method for identifying an object within an image and mobile device for executing the method
KR20210082970A (ko) * 2019-12-26 2021-07-06 삼성전자주식회사 컨볼루션 연산을 수행하는 방법 및 장치
US12014529B2 (en) * 2020-01-21 2024-06-18 Samsung Electronics Co., Ltd. Image processing method and apparatus using neural network
KR102350685B1 (ko) * 2020-01-31 2022-01-13 주식회사 알체라 생체 정보 등록 방법 및 이를 수행하기 위한 생체 정보 등록 장치
US20210383200A1 (en) * 2020-06-05 2021-12-09 PassiveLogic, Inc. Neural Network Methods for Defining System Topology
CN112884824B (zh) * 2021-03-12 2024-07-12 辽宁师范大学 一种基于卷积网络多尺度特征融合的鞋印身高估计方法
CN113808753B (zh) * 2021-09-11 2023-09-26 中南大学 基于多损失的分解表达学习预测辅助放化疗疗效的方法
CN114550224A (zh) * 2022-01-17 2022-05-27 北京海鑫科金高科技股份有限公司 基于深度学习的指纹图像识别比对方法、装置和电子设备
CN114997299B (zh) * 2022-05-27 2024-04-16 电子科技大学 一种资源受限环境下的射频指纹识别方法
CN116819482B (zh) * 2023-08-28 2023-11-10 四川省石棉县恒达粉体材料有限责任公司 一种基于雷达数据的方解石探测方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5825907A (en) * 1994-12-28 1998-10-20 Lucent Technologies Inc. Neural network system for classifying fingerprints
CN105303179A (zh) * 2015-10-28 2016-02-03 小米科技有限责任公司 指纹识别方法、装置
CN106971174A (zh) * 2017-04-24 2017-07-21 华南理工大学 一种cnn模型、cnn训练方法以及基于cnn的静脉识别方法
WO2017166586A1 (zh) * 2016-03-30 2017-10-05 乐视控股（北京）有限公司 基于卷积神经网络的图片鉴别方法、系统和电子设备
KR20170112302A (ko) * 2016-03-31 2017-10-12 주식회사 유니온커뮤니티 신경망 학습기법을 이용한 위조지문 판별장치 및 그 방법
CN107480649A (zh) * 2017-08-24 2017-12-15 浙江工业大学 一种基于全卷积神经网络的指纹汗孔提取方法
CN107958217A (zh) * 2017-11-28 2018-04-24 广州麦仑信息科技有限公司 一种基于深度学习的指纹分类识别系统及方法
EP3319015A1 (en) * 2016-11-07 2018-05-09 Samsung Electronics Co., Ltd. Convolutional neural network processing method and apparatus
CN108520225A (zh) * 2018-03-30 2018-09-11 南京信息工程大学 一种基于空间变换卷积神经网络的指纹检测分类方法
CN108564040A (zh) * 2018-04-17 2018-09-21 杭州景联文科技有限公司 一种基于深度卷积特征的指纹活性检测方法
CN109145834A (zh) * 2018-08-27 2019-01-04 河南丰泰光电科技有限公司 一种基于神经网络的指纹识别及验证方法
CN109376699A (zh) * 2018-11-30 2019-02-22 昆明理工大学 一种基于卷积神经网络的指纹识别方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109886986A (zh) * 2019-01-23 2019-06-14 北京航空航天大学 一种基于多分支卷积神经网络的皮肤镜图像分割方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5572597A (en) 1994-03-29 1996-11-05 Loral Corporation Fingerprint classification system
US5892838A (en) 1996-06-11 1999-04-06 Minnesota Mining And Manufacturing Company Biometric recognition using a classification neural network
US7082394B2 (en) 2002-06-25 2006-07-25 Microsoft Corporation Noise-robust feature extraction using multi-layer principal component analysis
KR100718125B1 (ko) 2005-03-25 2007-05-15 삼성전자주식회사 생체신호와 인공신경회로망을 이용한 생체인식 장치 및방법
US8015128B2 (en) * 2006-10-01 2011-09-06 International Business Machines Corporation Biometric security using neuroplastic fidelity
US20140019390A1 (en) * 2012-07-13 2014-01-16 Umami, Co. Apparatus and method for audio fingerprinting
US10339362B2 (en) * 2016-12-08 2019-07-02 Veridium Ip Limited Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
CN109493347B (zh) * 2017-09-12 2021-03-23 深圳科亚医疗科技有限公司 在图像中对稀疏分布的对象进行分割的方法和系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5825907A (en) * 1994-12-28 1998-10-20 Lucent Technologies Inc. Neural network system for classifying fingerprints
CN105303179A (zh) * 2015-10-28 2016-02-03 小米科技有限责任公司 指纹识别方法、装置
WO2017166586A1 (zh) * 2016-03-30 2017-10-05 乐视控股（北京）有限公司 基于卷积神经网络的图片鉴别方法、系统和电子设备
KR20170112302A (ko) * 2016-03-31 2017-10-12 주식회사 유니온커뮤니티 신경망 학습기법을 이용한 위조지문 판별장치 및 그 방법
EP3319015A1 (en) * 2016-11-07 2018-05-09 Samsung Electronics Co., Ltd. Convolutional neural network processing method and apparatus
CN106971174A (zh) * 2017-04-24 2017-07-21 华南理工大学 一种cnn模型、cnn训练方法以及基于cnn的静脉识别方法
CN107480649A (zh) * 2017-08-24 2017-12-15 浙江工业大学 一种基于全卷积神经网络的指纹汗孔提取方法
CN107958217A (zh) * 2017-11-28 2018-04-24 广州麦仑信息科技有限公司 一种基于深度学习的指纹分类识别系统及方法
CN108520225A (zh) * 2018-03-30 2018-09-11 南京信息工程大学 一种基于空间变换卷积神经网络的指纹检测分类方法
CN108564040A (zh) * 2018-04-17 2018-09-21 杭州景联文科技有限公司 一种基于深度卷积特征的指纹活性检测方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109145834A (zh) * 2018-08-27 2019-01-04 河南丰泰光电科技有限公司 一种基于神经网络的指纹识别及验证方法
CN109376699A (zh) * 2018-11-30 2019-02-22 昆明理工大学 一种基于卷积神经网络的指纹识别方法
CN109886986A (zh) * 2019-01-23 2019-06-14 北京航空航天大学 一种基于多分支卷积神经网络的皮肤镜图像分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
U-Net: Convolutional Networks for Biomedical Image Segmentation;Olaf Ronneberger et al;RoboCup 2008: Robot Soccer World Cup XII;20150101;234-241 *
Using a U-Shaped Neural Network for minutiae extraction trained from refined , synthetic fingerprints;Pinetz, Thomas et al;Proceedings of the OAGM&ARW Joint Workshop 2017;146-151 *
基于深度卷积神经网络的指纹活体检测算法研究;龙敏;龙啸海;马莉;;信息网络安全;20180610(第06期);34-41 *

Also Published As

Publication number Publication date
CN112437926A (zh) 2021-03-02
US11430255B2 (en) 2022-08-30
JP2021532453A (ja) 2021-11-25
WO2020254857A1 (en) 2020-12-24
US20210326571A1 (en) 2021-10-21
EP3799647A1 (en) 2021-04-07
JP7130905B2 (ja) 2022-09-06

Similar Documents

Publication Publication Date Title
CN112437926B (zh) 使用前馈卷积神经网络的快速鲁棒摩擦脊印痕细节提取
Yang et al. FV-GAN: Finger vein representation using generative adversarial networks
Opelt et al. Weak hypotheses and boosting for generic object detection and recognition
CN111160313B (zh) 一种基于lbp-vae异常检测模型的人脸表示攻击检测方法
Daouk et al. Iris recognition
Chuang Vein recognition based on minutiae features in the dorsal venous network of the hand
US11315358B1 (en) Method and system for detection of altered fingerprints
CN111666813B (zh) 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法
Tapia et al. Selfie periocular verification using an efficient super-resolution approach
Bachay et al. Hybrid Deep Learning Model Based on Autoencoder and CNN for Palmprint Authentication.
Fang et al. Deep belief network based finger vein recognition using histograms of uniform local binary patterns of curvature gray images
CN109359607A (zh) 一种基于纹理的掌纹掌脉融合识别方法
CN112613341A (zh) 训练方法及装置、指纹识别方法及装置、电子设备
Aboalhsan et al. Deep learning technique for fingerprint recognition
Liu et al. Finger-vein recognition with modified binary tree model
Kaur et al. Finger print recognition using genetic algorithm and neural network
CN114913610A (zh) 一种基于指纹和指静脉的多模态识别方法
CN108154107A (zh) 一种确定遥感图像归属的场景类别的方法
Santosh et al. Recent Trends in Image Processing and Pattern Recognition: Third International Conference, RTIP2R 2020, Aurangabad, India, January 3–4, 2020, Revised Selected Papers, Part I
Kuban et al. A NOVEL MODIFICATION OF SURF ALGORITHM FOR FINGERPRINT MATCHING.
AlShemmary et al. Siamese Network-Based Palm Print Recognition
Hariprasath et al. Bimodal biometric pattern recognition system based on fusion of iris and palmprint using multi-resolution approach
KR102629393B1 (ko) 병렬 서브샘플링 구조를 가지는 cnn 기반 지정맥 인식 기법
Shankar et al. Frames extracted from video streaming to recognition of face: LBPH, FF and CNN
CN114332960B (zh) 现场指纹的特征点提取和匹配的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant