CN107392082B - 一种基于深度学习的小面积指纹比对方法 - Google Patents

Abstract

一种基于深度学习的小面积指纹比对方法，包括以下步骤：1)找到小面积指纹中的特征点的方位和方向信息；2)根据步骤1)中得到的细节特征点方位和方向信息，以特征点为中心，以特征点的方向为X轴，对图像进行旋转归一化，截取设定大小的小块B；3)卷积网络训练：卷积神经网络的网络模型采用深度残差网络，使用Caffe框架对训练样本进行训练；4)语义特征提取；5)指纹注册：注册过程中需要用户配合相应指令进行注册，注册模板以注册指纹图像的特征点并集构成；6)指纹比对：比对分数由待匹配图像与注册模板中相似度最高的若干值的均值决定。本发明提出了一种有效适用于小面积指纹比对、可靠性良好的基于深度学习的小面积指纹比对方法。

Description

一种基于深度学习的小面积指纹比对方法

技术领域

本发明涉及神经网络、图像处理、模式识别、指纹比对等技术领域，尤其是一种针对小面积指纹的比对方法，该方法适用于智能移动设备、门禁系统、笔记本等设备的身份认证。

背景技术

随着科学技术的进步，传统的依靠公民身份证、工作证、个人密码等身份验证方式，因其自身的缺点和不足，已经无法满足人们日益提升对安全性和便捷性的需求，生物识别技术应运而生。生物识别技术从属于利用人体固有的生物特征和行为特征进行身份认证的模式识别范畴。随着图像处理和模式识别技术的不断完善，在众多生物特征中，指纹因为具有唯一性、确定性以及随身携带和易获取等优势，指纹识别技术被大量应用于人们的生产和生活中。目前，大面积指纹识别技术已经相对成熟，但是随着移动设备中指纹识别技术的引入，受到移动设备内部空间的限制，故采用体积较小的指纹采集模块，因而采集到指纹区域较小。

目前专门针对于小面积指纹识别的算法相对较少，将现有大面积指纹识别算法根据小面积调整迁移后的比对算法，已有研究表明，目前针对大面积指纹的比对算法性能会随着采集到指纹面积的缩小而大幅下降。

发明内容

为了克服现有的指纹比对方法对小面积指纹比对性能无法适应实际使用需求，本发明提出了一种有效适用于小面积指纹比对、可靠性良好的基于深度学习的小面积指纹比对方法。

为了解决上述技术问题，本发明采用的技术方案是：

一种基于深度学习的小面积指纹比对方法，所述比对方法包括以下步骤：

1)小面积指纹图像细节特征点相关信息的提取：找到小面积指纹中的特征点的方位和方向信息；

2)ROI(Region of Interest，感兴趣区域)截取：根据步骤1)中得到的细节特征点方位和方向信息，以特征点为中心，以特征点的方向作为X轴，对图像进行旋转归一化，截取设定大小的小块B；

3)卷积网络训练：卷积神经网络的网络模型采用深度残差网络，使用Caffe框架对训练样本进行训练；

4)语义特征提取：对步骤2)中的每个ROI使用深度卷积神经网络提取其语义特征

其中，L为每个ROI的特征长度，f_m为第m维特征；

5)指纹注册：注册过程中需要用户配合相应指令进行注册，注册模板由注册指纹图像的特征点并集构成；

6)指纹比对：比对分数由待匹配图像与注册模板中相似度最高的若干值的均值决定。

进一步，所述比对方法还包括以下步骤：

7)训练样本的选取：对训练库以步骤2)方法进行ROI截取，将指纹有效面积百分比超过60％的ROI作为训练样本，对训练样本进行小于6度的随机旋转变换；

8)网络模型采用Triplet Loss方式进行训练。

再进一步，所述步骤5)中，指纹注册过程如下：

设定单枚手指最大采集张数为P，实际有效注册图像数量为S，注册过程中需要用户配合指令进行相应的操作，操作如下：第一张注册图像要求将手指的中心位置置于采集仪的采集表面；后续在注册过程中手指相对采集仪的位置需要进行移动。

假设I_i表示第i张注册的指纹图像，

表示I_i对应的特征点集，

表示I_i对应的特征点集的特征集合；所述注册模板的生成步骤具体如下：

5.1)当采集第1张指纹图像时，即N＝1时，其中N表示采集指纹图像的张数，判断采集到图像的指纹有效面积Area_e，若Area_e≥thr_area时，将

加入注册模板中，此时注册模板中特征点集为

特征模板为

Q表示模板中注册指纹的数量，其中，thr_area为采集到指纹图像中指纹有效区域的阈值；若Area_e＜thr_area，则提示重新采集；

5.2)当Q＝2时，如步骤5.1)所述方法对采集到的图像进行有效区域判断，将I₂的细节特征点集

对应的特征

与注册模板中的特征

进行比对，求取

中与

不相同的特征点个数n₂，若n₂≥thr_dif，则将

加入注册模板中，此时注册模板特征点集为

特征模板为

记新注册图像与原注册模板中不同的特征点数的累计值为N_dif，此时N_dif＝n₂；否则提示用户移动手指位置，重新采集注册图像；其中thr_dif为注册指纹与注册模板间不同特征点个数的最小阈值；

5.3)以此类推，注册模板特征点集为

特征模板为

每次新注册图像与注册模板中不同的特征点数累计值为

5.4)若N_dif≤Thr_dif且N＜P，则继续采集下一张指纹图像进行注册；

若N_dif＞Thr_dif且Q＝S，则提示注册完成；

若N_dif≤Thr_dif且N＝P，则提示本手指注册失败；

其中，Thr_dif为注册指纹与注册模板间不同特征点累加个数的最小阈值。

所述步骤6)中，指纹比对的过程如下：

假设

表示数据库中其中一个注册指纹图像序列的特征点集的并集，

为对应的特征集，N⁰为模板包含的特征点个数；

假设M¹表示待匹配指纹图像的特征点集，F¹表示待匹配指纹图像的特征集合，N¹表示此待匹配指纹图像的特征点个数；

对于M¹的任一特征点

其中j＝1,2,...,N¹，与M⁰的任一特征点

进行比对，其中k＝1,2,...,N⁰，计算得到对应的相似度

选取相似度最大

并且

的特征点对

作为候选的匹配点对，其中，T_S为两个特征点对应语义特征间的相似度阈值；

从

中选取值最大的三个值，分别记为

取这三个值的平均值

作为最后的比对分数；

若此待比对指纹图像与数据库中所有模板比对分数的最大值S_max＞Thr_S，则表示比对通过，其中Thr_S为比对阈值。

所述步骤3)中，网络的输入图像为64×64，经过一个5×5卷积层，3个池化层和13个残差结构的运算后，得到256个4×4的特征模板，再经过全连接层后得到一个1024维的向量输出。

本发明的技术构思为：目前专门针对小面积指纹识别的研究不多，主要还是将传统指纹比对算法进行一些修改移植到小面积指纹比对中。

深度学习是受“大脑是一个深度网络结构”的启发，通过对低层特征进行组合形成更抽象、更高级的语义特征。卷积神经网络是一种深层神经网络模型，其网络结构中独特的局部连接和权值共享特性使之更类似于生物的神经网络。卷积神经网络是一个为了识别2D图像而量身打造的多层感知器，以图像的局部感受区域作为层级结构的最底层的输入，信息再依次传输到不同的层，每层通过一个数字滤波器去获得观测数据的最显著特征。此方法可有效获取对平移、缩放和旋转不变的观测数据的显著特征。

本发明提出的方法的工作重心在于针对小面积指纹有效区域不足的情况进行指纹注册策略的制定，指纹比对方法的制定，以及卷积神经网络模型的选择和训练方法的选取。该方法中的网络模型采用深度残差网络，可以有效避免训练误差和测试误差随着网络层数加深后而加大的情况，可以实现对目标进行更高等级特征的表述；本发明结合小面积指纹中包含特征点较少的情况，设定以注册指纹的特征点并集为注册模板，认证过程中选取其中最优的三个特征点的平均比对相似度为最终的评判标准。注册和比对策略结合深度残差网络对指纹特征的深度语义表述在实际应用中，可靠性良好。

本发明的有益效果主要表现在：一方面随着智能移动设备中指纹识别的应用，而又受到设备空间的限制，指纹采集模块的面积越来越小，然而已有研究表明，随着指纹采集面积的减小，传统的基于细节点的指纹识别方法由于捕捉到的细节点过少而导致的性能下降较厉害；另一方面采集的图像存在角度和方位不定性，注册过程若以指纹拼接形式得到注册模板的难度和准确度也造成了较大的影响。因此小面积指纹识别的研究引起了关注，本发明应运而生。本发明提出了一种适用于不同厂家、不同款式的指纹采集模块，指纹特征表述具有旋转和平移不变性，对指纹图像细节点数量依赖性低的小面积指纹比对方法，基于深度学习算法和注册、识别的相应策略，有效降低了识别的误识率，提高比对算法的匹配率。

附图说明：

图1是指纹细节特征点(端点、分叉点)的位置和方向示例图；

图2是残差结构的基本构造图；

图3是改进的残差网络结构图；

图4是本发明采用的网络结构图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图4，一种基于深度学习的小面积指纹比对方法，包括如下步骤：

1)小面积指纹图像细节特征点相关信息的提取：使用传统算法找到小面积指纹中的细节特征点(端点、分叉点)的位置、方向、质量等信息；

2)ROI截取：根据步骤1)中得到的细节特征点位置和方向信息，以特征点为中心，根据特征点的方向对图像进行旋转归一化，截取大小为64×64的小块B；

3)卷积网络训练：卷积神经网络的网络模型采用深度残差网络，使用Caffe框架对训练样本进行训练；

4)语义特征提取：对步骤2)中的每个ROI使用深度卷积神经网络提取其语义特征

其中，L为每个ROI的特征长度，f_m为第m维特征；

5)获取注册模板：由于指纹采集模块尺寸较小，每次只能采集到部分指纹信息，因此注册过程中需要采集多张指纹图像，此处设定单枚手指最大采集张数为P，实际有效注册图像数量为S。为了获取注册指纹更多的有效信息，注册过程中需要用户配合指令进行相应的操作，具体操作如下：第一张注册图像要求将手指的中心位置置于采集仪的采集表面；后续在注册过程中手指相对采集仪的位置需要进行一些移动。注册模板的生成步骤具体如下：

假设I_i表示第i张注册的指纹图像，

表示I_i对应的特征点集，

表示I_i对应的特征点集的语义特征集合。

5.1)当采集第1张指纹图像时(即N＝1时，其中N表示采集指纹图像的张数)，判断采集到图像的指纹有效面积Area_e，若Area_e≥thr_area时，将

加入注册模板中，此时注册模板中特征点集为

特征模板为

(Q表示模板中注册指纹的数量)。其中thr_area为采集到指纹图像中指纹有效区域的阈值；若Area_e＜thr_area，则提示重新采集；

5.2)当Q＝2时，如步骤5.1)所述方法对采集到的图像进行有效区域判断，将I₂的细节特征点集

对应的特征

与注册模板中特征集

进行比对，求取

中与

不相同的特征点个数n₂，若n₂≥thr_dif，则将

加入注册模板中，此时注册模板特征点集为

对应特征模板为

记新注册图像与原注册模板中不同的特征点数的累计值为N_dif(此时N_dif＝n₂)；否则提示用户移动手指位置，重新采集注册图像；其中thr_dif为注册指纹与注册模板间不同特征点个数的最小阈值；

5.3)以此类推，注册模板特征点集为

特征模板为

每次新注册图像与注册模板中不同的特征点数累计值为

5.4)若N_dif≤Thr_dif且N＜P，则继续采集下一张指纹图像进行注册；

若N_dif＞Thr_dif且Q＝S，则提示注册完成；

若N_dif≤Thr_dif且N＝P，则提示本手指注册失败；

其中Thr_dif为注册指纹与注册模板间不同特征点累加个数的最小阈值；

6)指纹比对：假设

表示数据库中其中一个注册指纹图像序列的特征点集的并集，

为对应的特征集，N⁰为模板包含的特征点个数。

假设M¹表示待匹配指纹图像的特征点集，F¹表示待匹配指纹图像的特征集合，N¹表示此待匹配指纹图像的特征点个数。

对于M¹的任一特征点

其中j＝1,2,...,N¹，与M⁰的任一特征点

进行比对，其中k＝1,2,...,N⁰，计算得到对应的相似度

选取相似度最大

并且

的特征点对

作为候选的匹配点对。其中，T_S为两个特征点对应语义特征间的相似度阈值。

从

中选取值最大的三个值，分别记为

取这三个值的平均值

作为最后的比对分数。

若此待比对指纹图像与数据库中所有模板比对分数的最大值S_max＞Thr_S，则表示比对通过，其中Thr_S为比对阈值。

所述步骤3)中，卷积神经网络：在本发明中网络模型为残差网络，残差网络由一系列残差结构串联而成，一个基本的残差结构的组成如图2所示。其中每个卷积层后接一个批归一化层，在图中未标出，dropout层的丢弃率为0.2。在每个池化层之后，当特征模板的个数需要改变时，为了保证相加运算的两部分长度相同，需要增加一个映射层，残差结构改为如图3所示。网络的整体结构如图4所示，输入图像为64×64，经过一个5×5卷积层，3个池化层和13个残差结构的运算后，得到256个4×4的特征模板，再经过全连接层后得到一个1024维的向量输出。

对所述步骤3)中卷积神经网络训练采用Triplet Loss方式进行训练。TripletLoss方法主要特点在于：训练过程中，样本以一个三元组形式输入，其中三元组的构造方式为：从训练样本中随机选取一个样本，该样本称之为参考样本I^a，然后再随机选取一个与参考样本属于同一手指同一特征点的正样本I^p以及一个与参考样本不同类的负样本Iⁿ。三元组一次性输入同一个网络并得到3组特征

通过求解以下误差函数并用反向传播方法调节整个网络：

其中，(a)₊等效于max(0,a)。该式本质上定义了同类样本和异类样本之间的距离关系，其目的在于通过训练，使得参考样本与正样本之间的欧氏距离Dis_P和参考样本与负样本之间的欧氏距离Dis_N满足同类样本间的距离加上某个给定的阈值threshold要小于异类样本间的距离，即

所述比对方法还包括以下步骤：

步骤7)训练样本的选取，过程如下：

根据所述步骤1)和步骤2)得到各细节特征点相对应的ROI，并且将ROI中指纹有效区域百分比超过60％的作为训练样本，同时为了增加样本的多样性，防止过拟合现象，对训练样本进行小于6度的随机旋转变换。

其中ROI指纹有效面积的计算方法如下：对于一个原始图像Img₀，使用sobel算子对Img₀提取边缘，之后使用9×9的圆形模板对边缘图像进行闭运算，得到作为有效指纹区域判定的图像Img₁。采用所述步骤1)中的方法找到图像Img₀中的M_k个细节特征点，以每个细节特征点作为原点，以特征点的方向偏转-6°，-3°，0°，3°，6°为x轴正方向进行截取，总共可以得到5×M_k个小方块。同时在Img₁上截取相同位置的小方块，只有当Img₁上的小方块中的有效指纹面积超过其面积的60％才作为一个可靠的样本用于网络模型的训练。8)网络模型采用Triplet Loss方式进行训练。

Claims (5)

1.一种基于深度学习的小面积指纹比对方法，其特征在于：所述比对方法包括以下步骤：

1)小面积指纹图像细节特征点相关信息的提取：找到小面积指纹中的特征点的方位和方向信息；

2)ROI截取：根据步骤1)中得到的细节特征点方位和方向信息，以特征点为中心，以特征点的方向作为X轴对图像进行旋转归一化，截取设定大小的小块B；

3)卷积网络训练：卷积神经网络的网络模型采用深度残差网络，使用Caffe框架对训练样本进行训练；

4)语义特征提取：对步骤2)中的每个ROI使用深度卷积神经网络提取其语义特征

其中L为每个ROI的特征长度，f_m为第m维特征；

5)指纹注册：注册过程中需要用户配合相应指令进行注册，注册模板由注册指纹图像的特征点并集构成；

设定I_i表示第i张注册的指纹图像，

表示I_i对应的特征点集，

表示I_i对应的特征点集的特征集合；所述步骤5)中注册模板的生成步骤具体如下：

5.1)当采集第1张指纹图像时，即N＝1时，其中N表示采集指纹图像的张数，判断采集到图像的指纹有效面积Area_e，若Area_e≥thr_area时，将

加入注册模板中，此时注册模板中特征点集为

特征模板为

Q表示模板中注册指纹的数量，其中，thr_area为采集到指纹图像中指纹有效区域的阈值；若Area_e＜thr_area，则提示重新采集；

5.2)当N＝2时，如步骤5.1)所述方法对采集到的图像进行有效区域判断，将I₂的细节特征点集

对应的特征集合

与注册模板中的特征

进行比对，求取

中与

不相同的特征点个数n₂，若n₂≥thr_dif，则将

加入注册模板中，此时注册模板特征点集为

特征模板为

记新注册图像与原注册模板中不同的特征点数的累计值为N_dif，此时N_dif＝n₂；否则提示用户移动手指位置，重新采集注册图像；其中thr_dif为注册指纹与注册模板间不同特征点个数的最小阈值；

5.3)以此类推，注册模板特征点集为

特征模板为

每次新注册图像与注册模板中不同的特征点数累计值为

5.4)若N_dif≤Thr_dif且N＜P，P为单枚手指最大采集张数，则继续采集下一张指纹图像进行注册；

若N_dif＞Thr_dif且Q＝S，S为实际有效注册图像数量，则提示注册完成；

若N_dif≤Thr_dif且N＝P，则提示本手指注册失败；

其中，Thr_dif为注册指纹与注册模板间不同特征点累加个数的最小阈值；

6)指纹比对：比对分数由待匹配图像与注册模板中相似度最高的若干值的均值决定。

2.如权利要求1中所述的一种基于深度学习的小面积指纹比对方法，其特征在于：所述比对方法还包括以下步骤：

7)训练样本的选取：对训练库以步骤2)方法进行ROI截取，将指纹有效面积百分比超过60％的ROI作为训练样本，对训练样本进行小于6度的随机旋转变换；

8)网络模型采用Triplet Loss方式进行训练。

3.如权利要求1或2所述的一种基于深度学习的小面积指纹比对方法，其特征在于：所述步骤5)中，指纹注册过程如下：

设定单枚手指最大采集张数为P，实际有效注册图像数量为S，注册过程中需要用户配合指令进行相应的操作，操作如下：第一张注册图像要求将手指的中心位置置于采集仪的采集表面；后续在注册过程中手指相对采集仪的位置需要进行移动。

4.如权利要求1或2所述的一种基于深度学习的小面积指纹比对方法，其特征在于：所述步骤6)中，指纹比对的过程如下：

设定

表示数据库中其中一个注册指纹图像序列的特征点集的并集，

为对应的特征模板，N⁰为模板包含的特征点个数；

设定M¹表示待匹配指纹图像的特征点集，F¹表示待匹配指纹图像的特征集合，N¹表示此待匹配指纹图像的特征点个数；

对于M¹的任一特征点

其中j＝1,2,...,N¹，与M⁰的任一特征点

进行比对，其中K＝1,2,...,N⁰，计算得到对应的相似度

选取相似度最大

并且

的特征点对

作为候选的匹配点对，其中，T_S为两个特征点对应语义特征间的相似度阈值；

从

中选取值最大的三个值，分别记为

取这三个值的平均值

作为最后的比对分数；

若此待比对指纹图像与数据库中所有模板比对分数的最大值S_max＞Thr_S，则表示比对通过，其中Thr_S为比对阈值。

5.如权利要求1或2所述的一种基于深度学习的小面积指纹比对方法，其特征在于：所述步骤3)中，网络的输入图像为64×64，经过一个5×5卷积层，3个池化层和13个残差结构的运算后，得到256个4×4的特征模板，再经过全连接层后得到一个1024维的向量输出。

Images