CN115830652A - 一种深度掌纹识别装置及方法 - Google Patents

Abstract

本发明提供了一种深度掌纹识别装置及方法，属于掌纹识别技术领域；解决了大多DCNN在训练过程中存在不稳定性、难以收敛的问题；包括处理器、存储器、摄像机；存储器存储有用于识别深度掌纹的算法的计算机程序，识别深度掌纹的算法采用结合自监督学习和加性角度边距损失的深度掌纹识别的网络架构，网络架构包括用于对下游模型进行图像预处理的提取掌纹图像ROI模块、用于对网络进行预训练并将训练好的参数传递到下游模型的自监督网络模块、用于提取掌纹判别特征的加性角度边距损失与中心损失函数联合监督模块、用于对同一掌纹图像的每个局部区域进行表示的联合约束最小二乘回归模块、用于增加重要特征的权重的卷积注意模块；本发明应用于掌纹识别。

Description

一种深度掌纹识别装置及方法

技术领域

本发明提供了一种深度掌纹识别装置及方法，属于掌纹识别技术领域。

背景技术

在过去的几十年里，生物识别取得了巨大的成功，并广泛应用于个人认证。掌纹是指手指根部到手腕之间的皮肤纹理，具有较大的信息捕获区域，含有丰富的特征，可用于辨识身份。近些年，国内外学者基于掌纹识别技术，做了大量的工作，取得了很多的优秀的成果。与面部、虹膜和耳等其他生物特征生理特征相比，掌纹具有较高的特殊性、稳定性、鲁棒性和用户友好性等优点。掌纹识别由于其显著的性能引起了人们的兴趣。然而，在受约束或半受约束的情况下，掌纹识别仍有许多问题需要解决。掌纹识别与人均欠采样训练样本是这一领域的一个大挑战。

LSR已被证明是统计理论中的一种有效技术，在模式识别和计算机视觉中得到了广泛的应用。线性回归（LR）是最流行的LSR方法之一，其目的是以最小的回归误差学习从训练数据到相应的标记矩阵（目标矩阵）的投影。此外，稀疏性技术使投影矩阵更有可能提取鉴别特征，这将有助于提高分类性能。近年来，许多LSR方法也要求每个人都有足够的训练数据。因此，如何有效地提高训练数据不足情况下投影矩阵的判别能力是掌纹识别中的一个新问题。

近年来，深度卷积神经网络（DCNN）被用于学习生物特征识别的深度表示特征，在人脸、虹膜等方面取得了显著的性能。使用深度卷积神经网络（DCNN）进行大规模人脸识别的特征学习的主要挑战之一是设计适当的损失函数，以增强判别力，并提出了通过最大化类间方差和最小化类内方差的DCNN学习的鉴别策略。然而将这些方法应用于掌纹识别仍存在一些挑战。首先，深度卷积网络的深度架构需要大量的标记数据进行训练来克服过拟合问题，这对缺乏标记的手掌数据集来说是一个挑战。其次，用大量的训练数据来训练一个新的深度CNN，其计算成本是昂贵的，需要一个强大的图形处理单元(GPU)。最后，用这些方法训练DCNN存在不稳定、难以收敛等问题。

发明内容

本发明为了解决大多DCNN在训练过程中存在不稳定性、难以收敛的问题，提出了一种深度掌纹识别装置及方法。

为了解决上述技术问题，本发明采用的技术方案为：一种深度掌纹识别装置，包括处理器、存储器、用于采集掌纹数据的摄像机，所述摄像机通过线缆与处理器相连；

所述存储器内部存储有用于识别深度掌纹的算法的计算机程序，所述处理器用于执行上述算法的计算机程序，其中识别深度掌纹的算法采用结合自监督学习和加性角度边距损失及中心损失函数联合监督的深度掌纹识别的网络架构，包括图像预处理模块、分析模块，所述图像预处理模块包括用于对下游模型进行图像预处理的提取掌纹图像ROI模块，所述分析模块包括用于对网络进行预训练并将训练好的参数传递到下游模型的自监督网络模块、用于提取掌纹判别特征的加性角度边距损失和中心损失联合监督模块、用于对同一掌纹图像的每个局部区域进行表示的联合约束最小二乘回归模块、用于增加重要特征的权重的卷积注意模块。

所述自监督网络模块由特征提取网络和特征融合网络组成，其中特征提取网络采用一对相同的EfficientNet网络组成，其中EfficientNet网络由一个3×3的卷积层、7个连续的MBconv、一个1×1的卷积层、一个平均池化层、一个全连接层组成，特征融合网络由2个串联的全连接层组成。

所述加性角度边距损失和中心损失联合监督模块用于获得最终的高维嵌入特征。

所述联合约束最小二乘回归模块通过对手掌图像的不同局部区域进行定期采样，利用深度卷积神经网络学习完整和有区别的卷积特征。

一种深度掌纹识别方法，包括如下步骤：

S1：掌纹图像的ROI提取：输入一个原始的手掌图像并将原始图像转换为灰度图像，通过阈值法得到二值图像；从背景中检测出手掌的边界，检测到食指和中指之间，以及无名指和小指之间的两个关键点，构建一个避免旋转的坐标；最后手掌中心的一个子区域ROI从灰色手掌图像中分割出来；

S2：构建自监督学习预训练网络，并从预处理的图像中提取特征，自监督学习预训练网络需提供有两个输入补丁的卷积网络，并产生一个八个空间位置的概率值的输出；

S3：构建深度掌纹识别的鉴别特征学习方法，使用附加的角边距损失ArcFaceloss和中心损失函数Center loss的联合监督下训练一个DCNN深度掌纹识别网络；

S4：构建联合约束最小二乘回归框架，框架通过对手掌图像的不同局部区域进行定期采样，利用深度卷积神经网络学习完整和有区别的卷积特征；

S5：在深度卷积神经网络中嵌入卷积注意模块增加重要特征的权重。

所述自监督预训练网络包括特征提取网络和特征融合网络，其中特征提取网络采用一对相同结构框架的EfficientNet网络，各自处理一个补丁，直到一个类似于EfficientNet网络中的fc的深度后把提取到的特征进行融合，特征融合网络由2个串联的全连接层组成。

所述EfficientNet网络包括一个3×3的卷积层、7个连续的MBconv、一个1x1卷积层、一个平均池化层、一个全连接层。

所述联合约束最小二乘回归框架对手掌图像进行采样处理的过程如下：

首先，将手掌图像分割成5个补丁；然后，将原始图像输入到深度全局卷积网络DGCN中，其余的5个补丁分别输入其相应的深度局部卷积网络DLCNs，导出深度局部卷积特征DLCFs，从同一手掌图像中生成6个DLCF；最后，从深度局部卷积特征DLCFs中学习到6个投影矩阵，它们试图将DLCFs映射到6个相似的向量中。

所述卷积注意模块插入DLCNs和DGCN六个下游网络中。

本发明相对于现有技术具备的有益效果为：本发明提供的结合自监督学习和加性角度边距损失的深度掌纹识别的网络架构，该结构具有五个模块：一个提取掌纹图像ROI模块用于对下游模型进行图像预处理，一个自监督网络模块用于对网络进行预训练并将训练好的参数传递到下游模型，一个加性角度边距损失的深度掌纹识模块用于提取掌纹的高判别特征，一个联合约束最小二乘回归(JCLSR)模块对同一掌纹图像的每个局部区域进行表示，并且同一掌纹的不同区域具有相似的投影目标矩阵，从而完成识别任务，一个卷积注意模块用来增加重要特征的权重进而提高掌纹识别精度。

附图说明

下面结合附图对本发明做进一步说明：

图1为本发明掌纹识别装置的结构示意图；

图2为本发明掌纹识别方法的整体处理流程示意图；

图3为掌纹图像从灰色手掌分割的示意图；

图4为基于接触场景和非接触式场景下捕获的掌纹ROI图像；

图5为本发明自监督学习预训练网络的结构图；

图6为本发明学习掌纹图像局部区域的DCNN和深度局部卷积特征提取过程及联合约束最小二乘回归框架的结构图；

图7为本发明卷积注意模块的原理图。

具体实施方式

本发明提供了一种深度掌纹识别装置及方法，图1为本发明提出的深度掌纹识别装置的结构示意图，主要由摄像机、处理器和存储器组成，处理器中包括图像预处理模块、分析模块，所述图像预处理模块包括用于对下游模型进行图像预处理的提取掌纹图像ROI模块，所述分析模块包括用于对网络进行预训练并将训练好的参数传递到下游模型的自监督网络模块、用于提取掌纹判别特征的加性角度边距损失和中心损失联合监督模块、用于对同一掌纹图像的每个局部区域进行表示的联合约束最小二乘回归模块、用于增加重要特征的权重的卷积注意模块。

图2为本发明提出的深度掌纹识别方法的流程图，主要根据以下五个模块实现：

模块1：掌纹图像提取感兴趣ROI

从手掌图像中提取ROI的流程为：首先，输入一个原始的手掌图像并将原始图像转换为灰度图像，通过阈值法得到二值图像。然后，从背景中检测出手掌的边界，这时可以检测到食指和中指之间，以及无名指和小指之间的两个关键点，构建一个避免旋转的坐标。最后ROI（手掌中心的一个子区域）从灰色手掌图像中分割出来。如图3所示：

本发明的分割策略将ROI分为全局尺度和局部尺度的6个斑块。将整个掌纹ROI图像视为一个包含全局信息的区域s1。然后，将ROI图像分割为四个相同大小的不重叠的正方形区域，即s2、s3、s4和s5。子区域s6是位于ROI图像中心的部分，其大小与区域s2、s3、s4、s5相同。例如，对于大小为128×128的ROI图像，所有sk(其中k=2、3、4、5和6)的大小为64×64。基于接触场景和非接触式场景下捕获的掌纹ROI图像如图4所示；学习掌纹图像局部区域的DCNN和深度局部卷积特征提取过程如图6所示。

模块2：自监督学习预训练网络

该特征提取网络从预处理的图像中提取特征，该网络需提供有两个输入补丁的卷积网络，并产生一个输出，该输出是八个空间位置的概率值。

特征提取网络使用了一对相同的EfficientNet风格的框架，它们各自处理一个补丁，直到一个类似于EfficientNet中的fc的深度后把提取到的特征进行融合。对于那些仅处理其中一个补丁的层，需要将网络两边的权重绑定，这样可以为两个补丁计算相同的fc嵌入函数。该特征提取的基本网络架构是由两个部分组成，分别是特征提取部分和特征融合部分。对于特征提取部分，它是由一个3×3的卷积层、7个连续的MBconv、一个1x1卷积层、一个平均池化层、一个全连接层组成；对于特征融合部分是由2个串联的全连接层组成，如图5所示，其中conv表示卷积层，MBConv是一个MobileNet的倒残差模块，但是这个模块中还封装了挤压和激发的方法。

模块3：深度掌纹识别的鉴别特征学习方法

所提出的掌纹识别模型的训练过程是采用以下形式的组合学习目标：

；

其中

；

；

在上述等式中，

是附加的角边距损失，它是现有损失函数并被称为ArcFace loss，

是中心损失函数，也是现有损失函数且被称center loss，λ是平衡两个损失函数的超参数。上述公式中m表示角度

上的角度边距惩罚，s是一个特征尺度参数，M和n分别表示批量大小和类别数。x_i表示属于第y类的第i个特征向量，c_yi表示第y_i个类中心。

使用联合损失共同监督的优点有两个：（1）附加的角边距损失

有助于更好的分离类之间的嵌入空间和确保高鉴别性的特征表示，而（2）中心损失函数

最小化类内变化和鼓励相同类的特征更接近相应的类中心。实验表明，这两种损失的结合可以提高识别性能。

模块4：联合约束最小二乘回归(JCLSR)框架

该框架通过对手掌图像的不同局部区域进行定期采样，利用深度卷积神经网络(DCNNs)学习完整和有区别的卷积特征。利用这种强大的掌纹描述对同一掌纹图像的每个局部区域进行表示，要求掌纹图像的所有常规局部区域具有相似的投影目标矩阵，以利用不同补丁的共性。该方法可以很好地解决掌纹识别过程中的欠采样分类问题。JCLSR模型的流程图如图6所示。首先，将手掌图像分割成5个补丁。然后，将包含原始图像输入到DGLN中，其余的5个补丁分别输入其相应的DLCN，导出DLCF，因此可以从同一手掌图像中生成6个DLCF。最后，从DLCFs中学习到6个投影矩阵，它们试图将DLCFs映射到6个相似的向量中。

模块5：卷积注意模块

卷积注意模块(CBAM)是一个简单而有效的用于前馈卷积神经网络的注意模块。将给定的特征图顺序通过通道注意力和空间注意力，然后将注意力映射图乘到输入特征映射上进行自适应特征细化。因为CBAM是一个轻量级的通用模块，它可以无缝集成到任何CNN架构中，开销可以忽略不计，并且可以与基本的CNN一起进行端到端训练。所以本发明将卷积注意模块插入到DLCNs和DGCN等6个下游网络中来增加重要特征的权重，从而进一步提高掌纹识别精度。

其中通道注意力公式如下：

；

首先我们将特征图F分别经过平均池化（AvgPool）和最大池化（MaxPool）生成两个不同的空间上下文描述

和

，它们分别表示平均池化特征和最大池化特征 ，然后这两个描述符被发送到共享网络中产生通道注意图M_c，共享网络由多层感知器（MLP）组成。上述公式中σ表示sigmoid函数，

它们都被两个输入所共享。

空间注意力公式如下：

；

上式中，σ表示sigmoid函数，f^7×7表示一个滤波器大小为7×7的卷积操作。

卷积注意模块(CBAM)的工作原理如图7所示：该模块有两个顺序的子模块：通道模块和空间模块。中间特征图通过模块(CBAM)在深度网络的每个卷积块上进行自适应地细化。

关于本发明具体结构需要说明的是，本发明采用的各部件模块相互之间的连接关系是确定的、可实现的，除实施例中特殊说明的以外，其特定的连接关系可以带来相应的技术效果，并基于不依赖相应软件程序执行的前提下，解决本发明提出的技术问题，本发明中出现的部件、模块、具体元器件的型号、相互间连接方式以及，由上述技术特征带来的常规使用方法、可预期技术效果，除具体说明的以外，均属于本领域技术人员在申请日前可以获取到的专利、期刊论文、技术手册、技术词典、教科书中已公开内容，或属于本领域常规技术、公知常识等现有技术，无需赘述，使得本案提供的技术方案是清楚、完整、可实现的，并能根据该技术手段重现或获得相应的实体产品。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种深度掌纹识别装置，其特征在于：包括处理器、存储器、用于采集掌纹数据的摄像机，所述摄像机通过线缆与处理器相连；

所述存储器内部存储有用于识别深度掌纹的算法的计算机程序，所述处理器用于执行上述算法的计算机程序，其中识别深度掌纹的算法采用结合自监督学习和加性角度边距损失及中心损失函数联合监督的深度掌纹识别的网络架构，包括图像预处理模块、分析模块，所述图像预处理模块包括用于对下游模型进行图像预处理的提取掌纹图像ROI模块，所述分析模块包括用于对网络进行预训练并将训练好的参数传递到下游模型的自监督网络模块、用于提取掌纹判别特征的加性角度边距损失和中心损失联合监督模块、用于对同一掌纹图像的每个局部区域进行表示的联合约束最小二乘回归模块、用于增加重要特征的权重的卷积注意模块。

2.根据权利要求1所述的一种深度掌纹识别装置，其特征在于：所述自监督网络模块由特征提取网络和特征融合网络组成，其中特征提取网络采用一对相同的EfficientNet网络组成，其中EfficientNet网络由一个3×3的卷积层、7个连续的MBconv、一个1×1的卷积层、一个平均池化层、一个全连接层组成，特征融合网络由2个串联的全连接层组成。

3.根据权利要求1所述的一种深度掌纹识别装置，其特征在于：所述加性角度边距损失和中心损失联合监督模块用于获得最终的高维嵌入特征。

4.根据权利要求1所述的一种深度掌纹识别装置，其特征在于：所述联合约束最小二乘回归模块通过对手掌图像的不同局部区域进行定期采样，利用深度卷积神经网络学习完整和有区别的卷积特征。

5.一种深度掌纹识别方法，其特征在于：包括如下步骤：

S1：掌纹图像的ROI提取：输入一个原始的手掌图像并将原始图像转换为灰度图像，通过阈值法得到二值图像；从背景中检测出手掌的边界，检测到食指和中指之间，以及无名指和小指之间的两个关键点，构建一个避免旋转的坐标；最后手掌中心的一个子区域ROI从灰色手掌图像中分割出来；

S2：构建自监督学习预训练网络，并从预处理的图像中提取特征，自监督学习预训练网络需提供有两个输入补丁的卷积网络，并产生一个八个空间位置的概率值的输出；

S3：构建深度掌纹识别的鉴别特征学习方法，使用附加的角边距损失ArcFace loss和中心损失函数Center loss的联合监督下训练一个DCNN深度掌纹识别网络；

S4：构建联合约束最小二乘回归框架，框架通过对手掌图像的不同局部区域进行定期采样，利用深度卷积神经网络学习完整和有区别的卷积特征；

S5：在深度卷积神经网络中嵌入卷积注意模块增加重要特征的权重。

6.根据权利要求5所述的一种深度掌纹识别方法，其特征在于：所述自监督预训练网络包括特征提取网络和特征融合网络，其中特征提取网络采用一对相同结构框架的EfficientNet网络，各自处理一个补丁，直到一个类似于EfficientNet网络中的fc的深度后把提取到的特征进行融合，特征融合网络由2个串联的全连接层组成。

7.根据权利要求6所述的一种深度掌纹识别方法，其特征在于：所述EfficientNet网络包括一个3×3的卷积层、7个连续的MBconv、一个1x1卷积层、一个平均池化层、一个全连接层。

8.根据权利要求5所述的一种深度掌纹识别方法，其特征在于：所述联合约束最小二乘回归框架对手掌图像进行采样处理的过程如下：

首先，将手掌图像分割成5个补丁；然后，将原始图像输入到深度全局卷积网络DGCN中，其余的5个补丁分别输入其相应的深度局部卷积网络DLCNs，导出深度局部卷积特征DLCFs，从同一手掌图像中生成6个DLCF；最后，从深度局部卷积特征DLCFs中学习到6个投影矩阵，它们试图将DLCFs映射到6个相似的向量中。

9.根据权利要求8所述的一种深度掌纹识别方法，其特征在于：所述卷积注意模块插入DLCNs和DGCN六个下游网络中。

Images