CN108875907B - 一种基于深度学习的指纹识别方法和装置 - Google Patents

Abstract

本发明涉及一种基于深度学习的指纹识别方法和装置。首先搭建深度神经网络，将用户注册的指纹图像集输入深度神经网络，采用交叉熵损失函数和对比损失函数进行训练。训练完成之后，再次将用于训练的注册用户图像输入深度神经网络，获取对比损失函数的输入特征向量，并采用聚类算法对每个注册用户的指纹图像进行聚类，获取其特定数目的聚类中心作为本地特征库。在指纹验证阶段，将需要识别的指纹图像输入训练好的深度神经网络中，获取其交叉熵损失值和对比损失函数直接训练节点的输出向量，根据预设的阈值，采用判定函数进行相似指纹判定，完成指纹验证过程。本发明在保证高识别率的前提下能够获得更低的误识率，具有更高的安全性。

Description

一种基于深度学习的指纹识别方法和装置

技术领域

本发明属于深度学习在指纹识别领域的应用，具体涉及一种采用深度神经网络对小面积指纹图像进行特征提取并识别的方法和装置。

背景技术

指纹作为一种具有高独特性、高稳定性、高防欺骗性的生物特征，在很多领域都获得了成功的运用，比如手机上的移动指纹支付、工作单位的指纹打卡等。指纹识别技术通过对用户注册的指纹图像进行特征提取，获取指纹图像的纹理、关键点等细节信息，对用户的指纹进行识别。传统的指纹识别算法在获得完整的用户指纹图像的前提下，可以实现较好的指纹识别效果。然而近些年来指纹识别技术越来越广泛地被应用在移动设备上，这些移动设备的指纹采集仪采集面积较小，无法获得注册用户的完整指纹信息。小面积的指纹图像缺失了很多完整指纹图像的细节特征，传统的指纹识别算法由于过多地依赖于指纹细节，在小面积指纹识别问题上具有很大的局限性。

与此同时，随着深度学习的发展，采用深度学习的算法在各种计算机视觉问题上都体现出了比传统的机器学习算法更好的效果，也出现了一些采用深度学习的小面积指纹识别算法。然而现有的这些基于深度学习的指纹识别算法并没有充分地利用神经网络提供的信息，使得在移动端设备上的小面积指纹识别问题上具有一定的局限性。

在一般应用场景下，指纹识别技术可以划分为两个阶段：指纹注册和指纹识别。指纹注册是对合法用户进行指纹图像的采集过程，在这个阶段往往可以获得用户较好的指纹图像。指纹识别指的是指针对新来用户提供的指纹信息，进行指纹的识别过程。指纹识别根据应用场景的不同又可以划分为指纹的验证和指纹的辨识。指纹的辨识指的是对于新来的用户，根据其指纹信息，算法判定出该用户是注册用户中的一人或者都不是。指纹验证指的是用户声称自己是注册用户中的其中一人，算法验证该用户是否为那个人。无论是指纹验证还是指纹辨识，都可以在算法阶段转化为指纹的一对多匹配问题。确切地来说，一次指纹辨识过程可以转换为多次指纹验证过程，本发明主要针对指纹验证问题进行详细描述。

发明内容

本发明针对现有的指纹识别算法在小面积指纹识别领域表现出的局限性，提出了一种基于深度学习的指纹识别方法和装置。

针对现有的基于深度学习的指纹识别算法对于神经网络信息的利用不足的问题，本发明同时采用交叉熵损失函数和对比损失函数对神经网络进行训练，并在指纹识别阶段同时利用这两种损失函数提供的信息以实现较好的指纹识别效果。本发明采用的指纹识别算法是基于深度学习的识别算法，采用深度神经网络进行指纹识别，也就是通过训练深度神经网络来获取指纹图像的特征用于指纹图像的识别。

本发明的一种基于深度学习的指纹识别方法，其步骤包括：

1)搭建深度神经网络，深度神经网络的输出为并行的两种图像特征；

2)将用户注册的指纹图像集输入搭建的深度神经网络中，采用交叉熵损失函数和对比损失函数对深度神经网络进行训练；

3)将用户注册的指纹图像集输入训练好的深度神经网络中，获取其对比损失函数的输入节点作为特征向量，利用获取的特征向量采用聚类算法对用户注册的指纹图像进行聚类，针对每个用户获得特定数目的聚类中心，根据聚类中心搭建本地特征库；

4)在指纹验证阶段，将给定的指纹图像输入训练好的深度神经网络中，获取其交叉熵损失函数的损失值和对比损失函数的输出向量，利用本地特征库和判定函数进行相似指纹判定。

进一步地，步骤1)所述深度神经网络的最后的输出节点为并行结构，并行的输出节点之间没有直接的联系，以减少在指纹识别过程中获取的对比损失函数的输出向量和交叉熵损失值之间的相关性。并行结构的设计与现有的绝大多数深度神经网络的单一输出相比，在指纹识别问题上有更好的识别效果。

进一步地，步骤1)所述深度神经网络为残差网络，也可以是其它深度神经网络。

进一步地，步骤3)采用k-means++算法进行所述聚类，也可以采用其它聚类方法。

进一步地，步骤3)在本地特征库建立过程中，将用户注册的指纹图像集输入到深度神经网络中，获取其对比损失函数直接训练的特征向量；对于每个注册的用户，采用聚类算法提取稳定的特征向量作为该用户在本地特征库的特征向量。

进一步地，步骤4)对于需要验证的指纹图像I和指纹ID，将指纹图像I输入训练好的深度神经网络中，获取其交叉熵损失值L_cross、预测编号ID_cross和对比损失函数的输出向量y'，计算y'与本地特征库所有用户指纹特征向量的欧式距离，获取其最小的距离minDis及其编号ID_minDis，并设定系数α和阈值T，则有判定函数F：

F(I)＝F(a,T)＝(T-a*minDis-L_cross＞0)&！(ID_cross＝＝ID_minDis＝＝ID)，

如果判定函数为真，则通过验证，否则拒绝这次验证。

本发明还提供一种基于深度学习的指纹识别装置，其包括：

深度神经网络搭建模块，负责搭建深度神经网络，深度神经网络的输出为并行的两种图像特征；

深度神经网络训练模块，负责将用户注册的指纹图像集输入搭建的深度神经网络中，采用交叉熵损失函数和对比损失函数对深度神经网络进行训练；

本地特征库搭建模块，负责将用户注册的指纹图像集输入训练好的深度神经网络中，获取其对比损失函数的输入节点作为特征向量，利用获取的特征向量采用聚类算法对用户注册的指纹图像进行聚类，针对每个用户获得特定数目的聚类中心，根据聚类中心搭建本地特征库；

指纹验证模块，负责在指纹验证阶段，将给定的指纹图像输入训练好的深度神经网络中，获取其交叉熵损失函数的损失值和对比损失函数的输出向量，利用本地特征库和判定函数进行相似指纹判定。

本发明提出的基于深度学习的指纹识别方法，着重改善指纹识别算法在小面积指纹识别问题上的识别效果。本发明提出的方法在保证了高识别率的前提下能够获得更低的误识率，具有更高的安全性，同时依托于深度神经网络强大的特征表达能力，在大规模的指纹识别任务中也会有更好的识别效果。本发明的方法可以运用于移动端的指纹识别任务中，但不仅仅限于移动端的小面积指纹，对于常规尺寸的指纹图像同样也可以使用。

附图说明

图1为本发明的实施例中所设计的深度神经网络示意图。

图2为本发明的实施例中残差网络的跨层的数据流通示意图。

图3为本发明的实施例中注册用户特征库生成过程示意图。

图4为本发明的实施例中用户指纹识别过程示意图。

图5为本发明测试识别效果所采用的小面积指纹集部分样图。

具体实施方式

下面通过实施例和附图，对本发明作详细说明。

步骤1：设计并搭建如图1所示深度神经网络。该网络模型采用残差网络，有多个残差单元串联而成，残差单元有助于加速神经网络的训练过程，在神经网络的输出部分采用并行的结构用于作为交叉熵损失函数和对比损失函数的输入。

残差网络在不同层之间有跨层的数据流通，如图2所示，其中Relu是一种激活函数，F(X)是参数层1的输出，H(X)是参数层2的输出。

步骤2：将用户注册的指纹图像输入神经网络，采用交叉熵损失函数和对比损失函数进行深度神经网络的训练。

对于交叉熵损失函数L_cross有：

其中n为输入图像的张数，m为F_c层节点个数，F_c层为交叉熵损失函数的输入层，y_i,j和z_i,j分别为第i张指纹图像在F_c层第j个节点的实际输出值和预期输出值，即：

其中m₀，x_i分别为F_c前一层输出节点个数和第i个节点的输出值，b_i,j为第i张指纹图像在F_c层第j的节点的偏置，w_i,j为F_c层的参数。

对于任意指纹图像对的对比损失函数L_pairs有：

其中I₁，I₂为指纹图像对，d为误差边缘阈值，r为松弛系数，||.||₂为L₂范式，σ(I₁,I₂)、I₁-I₂、|I₁|-1分别定义为：

其中F_c'层为对比损失函数的输入层，m′、y'、z'分别为F_c'层的节点个数、指纹图像的实际输出值和预期输出值。

所以对于

对比损失值L_con为：

此外，对于所有的参数层，均采用了权重衰减的正则化方式。所以对于所有的参数层参数W有权重损失值L_dw：

故总的损失函数L为:

L＝L_cross+λL_con+L_dw，λ为权重系数 (9)

结合公式(1)、(7)、(8)，L可以改写成如下形式，其中I_i,I_j为指纹图像对，W_i为网络中所有参数层参数：

步骤3：将注册的所有指纹图像输入训练好的神经网络模型中，获得每张指纹图像的对比损失函数训练的节点的输出向量。并对每一用户的指纹图像进行采用聚类法进行聚类，本实施例采用k-means++算法进行聚类，获取每个注册用户的指纹图像集的特定数目聚类中心存储在本地，并建立索引作为本地特征库。图3为注册用户指纹特征库生成过程示意图，其中y'表示特征向量，y”表示聚类中心。

步骤4：对于给定的需要验证的指纹图像I和指纹ID，将指纹图像输入训练好的神经网络中，获取其交叉熵损失值L_cross、预测编号ID_cross和对比损失函数的输出向量y'。计算y'与本地特征库所有用户指纹特征向量的欧式距离，获取其最小的距离minDis，及其编号ID_minDis，并设定系数α和阈值T，则有判定函数F：

F(I)＝F(a,T)＝(T-a*minDis-L_cross＞0)&！(ID_cross＝＝ID_minDis＝＝ID) (11)

如果判定函数为真，则通过验证，否则拒绝这次验证。

图4为本发明用户指纹识别过程示意图，识别过程主要包括以下步骤：

1)将需要验证的指纹图像输入到深度神经网络中，获取其交叉熵损失值L_cross、特征向量y'和神经网络预测的用户编号ID_cross；

2)如果神经网络预测的用户编号与用户声称的编号不一致则验证失败，算法结束，否则进入3)；

3)采用欧式距离计算公式，将该指纹图像的特征向量与本地注册用户的指纹特征进行相似度计算，获取最相似指纹的编号ID_minDis。如果该指纹编号与用户声称的指纹编号不一致则验证失败，算法结束；否则进入4)；

4)依照下式计算误差值H：

H＝a*minDis+L_cross＜T，其中a为非负系数。

如果H小于给定的阈值T，则验证通过，否则验证失败，算法结束。

为验证本发明方法的识别效果，采用有效采集面积为7.2mm x3.6mm的触碰式传感器进行小面积指纹的采集，所采集的指纹图像尺寸为103x52像素，如图5所示。经大量测试本文提出的小面积指纹识别算法识别率分别为90％、80％的情况下误识率为0.0270％和0.0203％。

本发明采用的聚类算法不限于k-means++算法，采用的深度神经网络也不限于残差网络。

本发明另一实施例提供一种基于深度学习的指纹识别装置，其包括：

深度神经网络搭建模块，负责搭建深度神经网络，深度神经网络的输出为并行的两种图像特征；

深度神经网络训练模块，负责将用户注册的指纹图像集输入搭建的深度神经网络中，采用交叉熵损失函数和对比损失函数对深度神经网络进行训练；

本地特征库搭建模块，负责将用户注册的指纹图像集输入训练好的深度神经网络中，获取其对比损失函数的输入节点作为特征向量，利用获取的特征向量采用聚类算法对用户注册的指纹图像进行聚类，针对每个用户获得特定数目的聚类中心，根据聚类中心搭建本地特征库；

指纹验证模块，负责在指纹验证阶段，将给定的指纹图像输入训练好的深度神经网络中，获取其交叉熵损失函数的损失值和对比损失函数的输出向量，利用本地特征库和判定函数进行相似指纹判定。

上述实施例及附图仅用以说明本发明的技术原理，并不用以限制本发明。本领域的技术人员可以对本发明的技术方案做同等变化与修改，本发明的保护范围应以权利要求书的限定为准。

Claims (10)

1.一种基于深度学习的指纹识别方法，其特征在于，包括以下步骤：

1)搭建深度神经网络，深度神经网络的输出为并行的两种图像特征；

2)将用户注册的指纹图像集输入搭建的深度神经网络中，然后同时采用交叉熵损失函数和对比损失函数对深度神经网络进行训练；

3)将用户注册的指纹图像集输入训练好的深度神经网络中，获取其对比损失函数的输入节点作为特征向量，利用获取的特征向量采用聚类算法对用户注册的指纹图像进行聚类，针对每个用户获得特定数目的聚类中心，根据聚类中心搭建本地特征库；

4)在指纹验证阶段，将给定的指纹图像输入训练好的深度神经网络中，获取其交叉熵损失函数的损失值和对比损失函数的输出向量，利用本地特征库和判定函数进行相似指纹判定。

2.如权利要求1所述的方法，其特征在于，步骤1)所述深度神经网络的最后的输出节点为并行结构，并行的输出节点之间没有直接的联系，以减少在指纹识别过程中获取的对比损失函数直接训练节点的输出向量和交叉熵损失值之间的相关性。

3.如权利要求1所述的方法，其特征在于，步骤1)所述深度神经网络为残差网络。

4.如权利要求1所述的方法，其特征在于，步骤2)同时采用交叉熵损失函数和对比损失函数对深度神经网络进行训练，依下式计算损失值L：

其中，L_cross为交叉熵损失函数；L_con为对比损失值；λ为权重系数；L_dw为权重损失值；n为输入图像的张数，m为F_c层节点个数，F_c层为交叉熵损失函数的输入层，y_i,j和z_i,j分别为第i张指纹图像在F_c层第j个节点的实际输出值和预期输出值；L_pairs为指纹图像对的对比损失函数；I_i,I_j为指纹图像对；W_i为网络中所有参数层参数；m”为参数层个数。

5.如权利要求4所述的方法，其特征在于，L_pairs的计算公式如下：

其中I₁，I₂为指纹图像对，d为误差边缘阈值，r为松弛系数，||.||₂为L₂范式，σ(I₁,I₂)、I₁-I₂、|I₁|-1分别定义为：

其中F′_c层为对比损失函数的输入层，m'、y'、z'分别为F′_c层的节点个数、指纹图像的实际输出值和预期输出值。

6.如权利要求1所述的方法，其特征在于，步骤3)在本地特征库建立过程中，将用户注册的指纹图像集输入到深度神经网络中，获取其对比损失函数直接训练的特征向量；对于每个注册的用户，采用聚类算法提取特征向量作为该用户在本地特征库的特征向量。

7.如权利要求1所述的方法，其特征在于，步骤4)对于需要验证的指纹图像I和指纹ID，将指纹图像I输入训练好的深度神经网络中，获取其交叉熵损失值L_cross、预测编号ID_cross和对比损失函数的输出向量y'，计算y'与本地特征库所有用户指纹特征向量的欧式距离，获取其最小的距离minDis及其编号ID_minDis，并设定系数α和阈值T，则有判定函数F：

F(I)＝F(a,T)＝(T-a*minDis-L_cross>0)&！(ID_cross＝＝ID_minDis＝＝ID)，

如果判定函数为真，则通过验证，否则拒绝这次验证。

8.如权利要求7所述的方法，其特征在于，步骤4)的相似指纹判定过程包括：

4-1)将需要验证的指纹图像输入到深度神经网络中，获取其交叉熵损失值L_cross、特征向量y'和神经网络预测的用户编号ID_cross；

4-2)如果神经网络预测的用户编号与用户声称的编号不一致则验证失败，算法结束，否则进入4-3)；

4-3)采用欧式距离计算公式，将该指纹图像的特征向量与本地注册用户的指纹特征进行相似度计算，获取最相似指纹的编号ID_minDis；如果该指纹编号与用户声称的指纹编号不一致则验证失败，算法结束；否则进入4-4)；

4-4)依照下式计算误差值H：

H＝a*minDis+L_cross<T，其中a为非负系数；

如果H小于给定的阈值T，则验证通过，否则验证失败，算法结束。

9.一种基于深度学习的指纹识别装置，其特征在于，包括：

深度神经网络搭建模块，负责搭建深度神经网络，深度神经网络的输出为并行的两种图像特征；

深度神经网络训练模块，负责将用户注册的指纹图像集输入搭建的深度神经网络中，然后同时采用交叉熵损失函数和对比损失函数对深度神经网络进行训练；

本地特征库搭建模块，负责将用户注册的指纹图像集输入训练好的深度神经网络中，获取其对比损失函数的输入节点作为特征向量，利用获取的特征向量采用聚类算法对用户注册的指纹图像进行聚类，针对每个用户获得特定数目的聚类中心，根据聚类中心搭建本地特征库；

指纹验证模块，负责在指纹验证阶段，将给定的指纹图像输入训练好的深度神经网络中，获取其交叉熵损失函数的损失值和对比损失函数直接训练节点的输出向量，利用本地特征库和判定函数进行相似指纹判定。

10.如权利要求9所述的装置，其特征在于，对于需要验证的指纹图像I和指纹ID，所述指纹验证模块将指纹图像I输入训练好的深度神经网络中，获取其交叉熵损失值L_cross、预测编号ID_cross和对比损失函数直接训练节点的输出向量y'，计算y'与本地特征库所有用户指纹特征向量的欧式距离，获取其最小的距离minDis及其编号ID_minDis，并设定系数α和阈值T，则有判定函数F：

F(I)＝F(a,T)＝(T-a*minDis-L_cross>0)&！(ID_cross＝＝ID_minDis＝＝ID)，

如果判定函数为真，则通过验证，否则拒绝这次验证。

Images