CN113569638A - 由平面指纹估计手指三维姿态的方法和装置 - Google Patents

Abstract

本申请提出了一种由平面指纹估计手指三维姿态的方法，涉及人机交互和触摸屏幕交互技术领域，其中，由平面指纹估计手指三维姿态的方法包括：采集待测试的平面指纹图像；将待测试的平面指纹图像输入预设的深度神经网络模型中，输出预测的姿态角。采用上述方案的本发明解决了现有方法传感器分辨率低，姿态估计精度有限的技术问题，也解决了现有方法需要额外引入硬件，给实际应用场景带来阻碍的问题，同时还解决了现有方法需要采集完整的展开指纹，给方案实际落地带来困难的问题，实现了增强指纹识别应用安全性和可靠性，丰富触屏信息输入，提高用户体验，促进指纹交互式应用的目的。

Description

由平面指纹估计手指三维姿态的方法和装置

技术领域

本申请涉及人机交互和触摸屏幕交互技术领域，尤其涉及一种由平面指纹估计手指三维姿态的方法和装置。

背景技术

在人机交互领域，触屏输入作为一种简单、快速的交互方式受到大量智能移动设备的青睐。智能设备之所以能够普及，除了芯片制造，手机系统等技术的发展，也离不开触屏这一交互方式的迭代更新。传统的智能设备可以感应到用户的手指按压区域，并给予相应的反馈。在进行图片放大、旋转、缩放等操作的情况下，用户需要使用到至少两根手指才能顺利完成上述操作。如果能够准确估计出手指在接触触屏时的角度作为额外的输入信息，将极大地提高用户体验，简化部分操作的逻辑，也能够拓宽指纹输入的应用场景，带来更多有趣的交互形式。

指纹作为一种重要的生物识别信息已经广泛用于智能手机、笔记本电脑等的身份认证中，由于指纹识别模型本身存在一些缺陷，不法分子容易利用这些漏洞来构造虚假指纹从而达到欺骗身份识别系统的目的，这对于国民经济、社会稳定、个人信息安全将造成重大损失。在人脸识别中，有同样的问题，该领域的研究者发明了活体检测技术，能通过眨眼、张嘴、摇头、点头等组合动作，使用人脸关键点定位和人脸追踪等技术，验证用户是否为真实活体本人操作。可有效抵御照片、换脸、面具、遮挡以及屏幕翻拍等常见的攻击手段，从而帮助用户甄别欺诈行为。然后回到指纹识别领域，活体检测算法却仍然缺少。

在现有的触屏交互中，由于智能设备接受的来自传感器的信息只包括按压手指的数目以及位置，所以由此组合而来的手势有限，无法满足越来越多的交互应用的需求。

指纹的三维姿态估计领域，根据输入指纹的模态能够将现有技术划分成如下几个类型：

一、基于电容感应式指纹的姿态估计

电容感应指纹是利用指纹接触屏幕与非接触情况下的传感器电容差异成像，由于其原理相对简单广泛应用于触屏设备中。(Xiao et al.)从电容感应式指纹中提取了42个特征，并训练了一个高斯回归模型来估计俯仰角和偏移角，并在智能手机和智能手表上取得了不错的精度，但是他们没有无法预测滚动角，因此得到的指纹姿态是不完整的。而且由于这类传感器的分辨率低，姿态估计的精度受限。

二、融合其他模态信息的姿态估计

(Mayer et al.)则使用外部安装的深度相机获取了指纹的深度信息，并融合了先验知识约束俯仰角的范围在0～90度之间。(Watanabe et al.)在实验对象的指尖绑定一个摄像机，通过检测指甲盖的光照强度变化来计算俯仰角和偏移角。这些方案利用了平面指纹之外的模态信息，从而能够获得指纹完整的三维姿态，但是需要引入额外的硬件，给实际应用场景带来阻碍。

三、基于平面按捺指纹的姿态估计

目前为止，直接基于平面按捺指纹去估计手指三维姿态的已有方案只有一个。(Holz and Baudisch)通过计算输入指纹和数据库中相应对象的展开指纹之间的空间变换关系得到当前输入指纹的三维姿态，包括俯仰角、滚动角和偏移角。此方案使用的传感器与本发明一致，但是此方案需要先建立与每一个输入指纹对应的完整展开指纹库，无法对任意一个新用户的平面按捺指纹做出预测，而采集完整的展开指纹是一件冗杂繁琐的过程，给这些技术方案的实际落地带来了困难。

现有三维指纹姿态估计技术方案要么无法精准估计完整的指纹姿态，要么需要额外的传感器设备进行辅助，在功能和便利性方面都不理想。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种由平面指纹估计手指三维姿态的方法，解决了现有方法传感器分辨率低，姿态估计精度有限的技术问题，也解决了现有方法需要额外引入硬件，给实际应用场景带来阻碍的问题，同时还解决了现有方法需要采集完整的展开指纹，给方案实际落地带来困难的问题，实现了增强指纹识别应用安全性和可靠性，丰富触屏信息输入，提高用户体验，促进指纹交互式应用的目的。

本申请的第二个目的在于提出一种由平面指纹估计手指三维姿态装置。

本申请的第三个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本申请第一方面实施例提出了一种由平面指纹估计手指三维姿态的方法，包括：采集待测试的平面指纹图像；将待测试的平面指纹图像输入预设的深度神经网络模型中，输出预测的姿态角。

可选地，在本申请的一个实施例中，深度神经网络模型包括特征提取主干网络、注意力机制模块、三维角度预测模块，特征提取主干网络包括卷积层和非线性激活层。

可选地，在本申请的一个实施例中，将待测试的平面指纹图像输入预设的深度神经网络模型中，输出预测的姿态角，包括以下步骤：

对待测试的平面指纹图像经过卷积层和非线性激活层的堆叠与抽象进行特征提取，输出一个固定维度的特征描述子；

使用注意力机制模块对固定维度的特征描述子进行注意力机制计算，将输出的热图与特征描述子进行融合，得到优化后的特征描述子；

将优化后的特征描述子的俯仰角、滚动角、偏移角的值域划分成若干个区间，然后用三维角度预测模块输出当前指纹图像属于每一个区间的概率，基于这一概率以及划分的区间中点值，加权得到最终预测的姿态角。

可选地，在本申请的一个实施例中，训练深度神经网络模型，包括以下步骤：

获取训练数据，包括平面指纹图像和对应的手指三维姿态的数据库；

使用训练数据，采用损失函数对深度神经网络模块进行训练。

可选地，在本申请的一个实施例中，获取训练数据包括：

将绑有陀螺仪的手指在指纹传感器上由一边滚动到另一边；

通过程序控制指纹采集仪以固定的频率采集多个平面指纹图像，陀螺仪同步将角度读取出来；

通过两个陀螺仪数值的差异计算得到每个平面指纹图像对应的三维姿态角。

可选地，在本申请的一个实施例中，获取训练数据包括，利用光学跟踪技术结合指纹采集仪，同步获取手指姿态和指纹图像，或利用事先构造的三维指纹数据库，合成任意姿态下的平面指纹图像。

可选地，在本申请的一个实施例中，损失函数表示为：

L_{roll/pitch/yaw}＝L_ce+λL_MSE

L_all＝L_roll+L_pitch+L_yaw

其中，L_CE为分类问题交叉熵损失函数，y_c为0或者1，y_c＝1当且仅当c为当前姿态角分布在第c个区间，p_c(c∈[1,M])表示网络预测的属于每一个区间的概率值，s_c表示每一个角度区间的代表值，M表示划分的区间总数，

为角度预测值，θ为角度真值，L_{roll/pitch/yaw}为单个姿态角度的损失函数，λ为超参数，取1.0，L_all为所有姿态角的总损失函数。

为达上述目的，本发明第二方面实施例提出了一种由平面指纹估计手指三维姿态装置，包括数据采集模块、预测模块，其中，

数据采集模块，用于采集待测试的平面指纹图像；

预测模块，用于对待测试的平面指纹图像进行预测，输出预测的姿态角。

可选地，在本申请的一个实施例中，预测模块还包括训练单元，训练单元具体用于：

获取训练数据，包括平面指纹图像和对应的手指三维姿态的数据库；

使用训练数据，采用损失函数对深度神经网络模块进行训练。

为了实现上述目的，本发明第三方面实施例提出了一种非临时性计算机可读存储介质，当存储介质中的指令由处理器被执行时，能够执行由平面指纹估计手指三维姿态的方法和装置。

本申请实施例的由平面指纹估计手指三维姿态的方法、由平面指纹估计手指三维姿态装置和非临时性计算机可读存储介质，解决了现有方法传感器分辨率低，姿态估计精度有限的技术问题，也解决了现有方法需要额外引入硬件，给实际应用场景带来阻碍的问题，同时还解决了现有方法需要采集完整的展开指纹，给方案实际落地带来困难的问题，实现了增强指纹识别应用安全性和可靠性，革新与补充交互方式，丰富触屏信息输入，增加交互趣味，在保持简单易用的优势下弥补触屏设备与传统物理键入式设备之间的差距，提高用户体验，促进指纹交互式应用的目的。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例一所提供的一种由平面指纹估计手指三维姿态的方法的流程图；

图2为本申请实施例的由平面指纹估计手指三维姿态的方法的手指在按捺屏幕时三维姿态的定义示例图；

图3为本申请实施例的由平面指纹估计手指三维姿态的方法的另一个流程图；

图4为本申请实施例的由平面指纹估计手指三维姿态的方法的数据采集仪器图；

图5为本申请实施例的由平面指纹估计手指三维姿态的方法的神经网络结构图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的由平面指纹估计手指三维姿态的方法和装置。

图1为本申请实施例一所提供的一种由平面指纹估计手指三维姿态的方法的流程图。

如图1所示，该由平面指纹估计手指三维姿态的方法包括以下步骤：

步骤101，采集待测试的平面指纹图像；

步骤102，将待测试的平面指纹图像输入预设的深度神经网络模型中，输出预测的姿态角。

本申请实施例的由平面指纹估计手指三维姿态的方法，通过采集待测试的平面指纹图像；将待测试的平面指纹图像输入预设的深度神经网络模型中，输出预测的姿态角。由此，能够解决现有方法传感器分辨率低，姿态估计精度有限的技术问题，也解决现有方法需要额外引入硬件，给实际应用场景带来阻碍的问题，同时还解决现有方法需要采集完整的展开指纹，给方案实际落地带来困难的问题，实现了增强指纹识别应用安全性和可靠性，革新与补充交互方式，丰富触屏信息输入，增加交互趣味，在保持简单易用的优势下弥补触屏设备与传统物理键入式设备之间的差距，提高用户体验，促进指纹交互式应用的目的。

进一步地，在本申请实施例中，深度神经网络模型包括特征提取主干网络、注意力机制模块、三维角度预测模块，特征提取主干网络包括卷积层和非线性激活层。

进一步地，在本申请实施例中，将待测试的平面指纹图像输入预设的深度神经网络模型中，输出预测的姿态角，包括以下步骤：

对待测试的平面指纹图像经过卷积层和非线性激活层的堆叠与抽象进行特征提取，输出一个固定维度的特征描述子；

使用注意力机制模块对固定维度的特征描述子进行注意力机制计算，将输出的热图与特征描述子进行融合，得到优化后的特征描述子；

将优化后的特征描述子的俯仰角、滚动角、偏移角的值域划分成若干个区间，然后用三维角度预测模块输出当前指纹图像属于每一个区间的概率，基于这一概率以及划分的区间中点值，加权得到最终预测的姿态角。

近年来，深度神经网络借助其强大的表示能力以及从大规模数据中挖掘信息的能力，在计算机视觉、医疗图像处理、自然语言处理等领域获得了巨大成功。为了能够充分利用按捺指纹图像中的信息、提高姿态预测的准确度，设计了深度神经网络模型。特征提取模块：借鉴了目前表达能力最强的骨干网络框架，遵循了(Yin et al.)的骨干网络，并对其做了一些修改，充分利用了多尺度融合的技巧，最终输出了一个固定维度的特征描述子；注意力机制模块：为了能够让网络更加关注到指纹图像的前景区域，忽视无效的背景信息，结合并修改了(Yin et al.)中最新的注意力机制模块，本模块的输出将作为一个掩模，增强特征提取模块输出中的前景区域；姿态角回归模块：融合并优化了(Ruiz et al.)中提出的角度回归模块，该工作是头部姿态估计中的最优方法。假设这三个角度之间不存在依赖关系，采取了各自独立预测的方案。

进一步地，在本申请实施例中，训练深度神经网络模型，包括以下步骤：

获取训练数据，包括平面指纹图像和对应的手指三维姿态的数据库；

使用训练数据，采用损失函数对深度神经网络模块进行训练。

为了训练得到一个精准的模型，需要先建立一个平面指纹图像和对应手指三维姿态的数据库。深度学习模型的精准程度依赖于构建数据库的大小，因此数据采集方案是本发明设计的一个重要部分。

进一步地，在本申请实施例中，获取训练数据包括：

将绑有陀螺仪的手指在指纹传感器上由一边滚动到另一边；

通过程序控制指纹采集仪以固定的频率采集多个平面指纹图像，陀螺仪同步将角度读取出来；

通过两个陀螺仪数值的差异计算得到每个平面指纹图像对应的三维姿态角。

将采用常用的平面指纹采集仪(用于采集平面指纹图像)和在两个飞行器中用到的三轴陀螺仪(用于读取三维角度数据)进行数据的采集。两个陀螺仪分别被固定在指纹传感器和待采集手指上，通过两者读数差值得到手指相对指纹传感器平面的三维角度。

进一步地，在本申请实施例中，获取训练数据包括，利用光学跟踪技术结合指纹采集仪，同步获取手指姿态和指纹图像，或利用事先构造的三维指纹数据库，合成任意姿态下的平面指纹图像。

进一步地，在本申请实施例中，损失函数表示为：

L_{roll/pitch/yaw}＝L_ce+λL_MSE

L_all＝L_roll+L_pitch+L_yaw

其中，L_CE为分类问题交叉熵损失函数，y_c为0或者1，y_c＝1当且仅当c为当前姿态角分布在第c个区间，p_c(c∈[1,M])表示网络预测的属于每一个区间的概率值，s_c表示每一个角度区间的代表值，M表示划分的区间总数，

为角度预测值，θ为角度真值，L_{roll/pitch/yaw}为单个姿态角度的损失函数，λ为超参数，取1.0，L_all为所有姿态角的总损失函数。

由于每个人的手指形态存在差异，在预测角度时容易出现歧义和模糊，从而降低姿态估计的准确度。针对这一情况设计了两个损失函数，相互辅助以减小姿态误差。利用上一步骤中提出的神经网络得到每一个预测区间的概率之后，能够与真实值分布的区间做一个比较，使用了经典的分类问题交叉熵损失函数。利用上述预测概率p_c以及划分的角度区间的中点s_c得到加权平均之后的角度预测值

与角度真值θ进行比较，并利用L₂范数计算回归损失函数，最终单个姿态角度的损失函数是上述两者的加权求和。

图2为本申请实施例的由平面指纹估计手指三维姿态的方法的手指在按捺屏幕时三维姿态的定义示例图。

如图2所示，由平面指纹估计手指三维姿态的方法，手指在按捺屏幕时三维姿态分别为：偏移角yaw，指以垂直屏幕平面为轴旋转的角度；俯仰角pitch，指手指长轴与屏幕平面形成测角度；滚动角roll，指手指以长轴旋转的角度。

图3为本申请实施例的由平面指纹估计手指三维姿态的方法的另一个流程图。

如图3所示，由平面指纹估计手指三维姿态的方法，根据平面按捺指纹估计手指的三维姿态，采用深度学习方法从构建的数据集中学习映射规律，包括：建立一个平面指纹图像和对应手指三维姿态的数据库；采用常用的平面指纹采集仪(用于采集平面指纹图像)和在两个飞行器中用到的三轴陀螺仪(用于读取三维角度数据)进行数据的采集；遵循(Yinet al.)的骨干网络，对其做了一些修改，充分利用了多尺度融合的技巧，输出了一个固定维度的特征描述子；融合并优化(Ruiz et al.)中提出的角度回归模块，将需要回归的俯仰角、滚动角、偏移角的值域划分成若干个区间，用此模块输出当前指纹图像属于每一个区间的概率，基于这一概率以及划分的区间中点值，加权得到最终预测的姿态角；采用损失函数对深度神经网络模块进行训练。

图4为本申请实施例的由平面指纹估计手指三维姿态的方法的数据采集仪器图。

如图4所示，由平面指纹估计手指三维姿态的方法，将采用常用的平面指纹采集仪(用于采集平面指纹图像)和在两个飞行器中用到的三轴陀螺仪(用于读取三维角度数据)进行数据的采集。两个陀螺仪分别被固定在指纹传感器和待采集手指上，通过两者读数差值得到手指相对指纹传感器平面的三维角度。

图5为本申请实施例的由平面指纹估计手指三维姿态的方法的神经网络结构图。

如图5所示，由平面指纹估计手指三维姿态的方法，为了能够充分利用按捺指纹图像中的信息、提高姿态预测的准确度，设计了神经网络。按照其功能可以划分成：特征提取主干网络，遵循(Yin et al.)的骨干网络，并对其做了一些修改，充分利用了多尺度融合的技巧，最终输出了一个固定维度的特征描述子；注意力机制模块，为了能够让网络更加关注到指纹图像的前景区域，忽视无效的背景信息，结合并修改了(Yin et al.)中最新的注意力机制模块，本模块的输出将作为一个掩模，增强特征提取模块输出中的前景区域；三维角度预测模块，融合并优化了(Ruiz et al.)中提出的角度回归模块，将需要回归的俯仰角、滚动角、偏移角的值域划分成若干个区间，然后用此模块输出当前指纹图像属于每一个区间的概率，基于这一概率以及划分的区间中点值，加权得到最终预测的姿态角。

本申请实施例二提出了一种由平面指纹估计手指三维姿态装置，包括数据采集模块、预测模块，其中，

数据采集模块，用于采集待测试的平面指纹图像；

预测模块，用于对待测试的平面指纹图像进行预测，输出预测的姿态角。

进一步地，在本申请实施例中，预测模块还包括训练单元，训练单元具体用于：

获取训练数据，包括平面指纹图像和对应的手指三维姿态的数据库；

使用训练数据，采用损失函数对深度神经网络模块进行训练。

本申请实施例的由平面指纹估计手指三维姿态装置，包括数据采集模块，用于采集待测试的平面指纹图像；预测模块，用于对待测试的平面指纹图像进行预测，输出预测的姿态角。由此，能够解决现有方法传感器分辨率低，姿态估计精度有限的技术问题，也解决现有方法需要额外引入硬件，给实际应用场景带来阻碍的问题，同时还解决现有方法需要采集完整的展开指纹，给方案实际落地带来困难的问题，实现了增强指纹识别应用安全性和可靠性，革新与补充交互方式，丰富触屏信息输入，增加交互趣味，在保持简单易用的优势下弥补触屏设备与传统物理键入式设备之间的差距，提高用户体验，促进指纹交互式应用的目的。

为了实现上述实施例，本发明还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的由平面指纹估计手指三维姿态的方法和装置。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种由平面指纹估计手指三维姿态的方法，其特征在于，包括以下步骤：

采集待测试的平面指纹图像；

将所述待测试的平面指纹图像输入预设的深度神经网络模型中，输出预测的姿态角。

2.如权利要求1所述的方法，其特征在于，所述深度神经网络模型包括特征提取主干网络、注意力机制模块、三维角度预测模块，所述特征提取主干网络包括卷积层和非线性激活层。

3.如权利要求1或2所述的方法，其特征在于，将所述待测试的平面指纹图像输入预设的深度神经网络模型中，输出预测的姿态角，包括以下步骤：

对所述待测试的平面指纹图像经过所述卷积层和所述非线性激活层的堆叠与抽象进行特征提取，输出一个固定维度的特征描述子；

使用所述注意力机制模块对所述固定维度的特征描述子进行注意力机制计算，将输出的热图与所述特征描述子进行融合，得到优化后的特征描述子；

将所述优化后的特征描述子的俯仰角、滚动角、偏移角的值域划分成若干个区间，然后用所述三维角度预测模块输出当前指纹图像属于每一个区间的概率，基于这一概率以及划分的区间中点值，加权得到最终预测的姿态角。

4.如权利要求1所述的方法，其特征在于，训练所述深度神经网络模型，包括以下步骤：

获取训练数据，包括平面指纹图像和对应的手指三维姿态的数据库；

使用所述训练数据，采用损失函数对所述深度神经网络模块进行训练。

5.如权利要求4所述的方法，其特征在于，所述获取训练数据包括：

将绑有陀螺仪的手指在指纹传感器上由一边滚动到另一边；

通过程序控制指纹采集仪以固定的频率采集多个平面指纹图像，所述陀螺仪同步将角度读取出来；

通过两个陀螺仪数值的差异计算得到每个平面指纹图像对应的三维姿态角。

6.如权利要求4所述的方法，其特征在于，所述获取训练数据包括，利用光学跟踪技术结合指纹采集仪，同步获取手指姿态和指纹图像，或利用事先构造的三维指纹数据库，合成任意姿态下的平面指纹图像。

7.如权利要求4所述的方法，其特征在于，所述损失函数表示为：

L_{roll/pitch/yaw}＝L_ce+λL_MSE

L_all＝L_roll+L_pitch+L_yaw

其中，L_CE为分类问题交叉熵损失函数，y_c为0或者1，y_c＝1当且仅当c为当前姿态角分布在第c个区间，p_cc∈[1,M]表示网络预测的属于每一个区间的概率值，s_c表示每一个角度区间的代表值，M表示划分的区间总数，

为角度预测值，θ为角度真值，L_{roll/pitch/yaw}为单个姿态角度的损失函数，λ为超参数，取1.0，L_all为所有姿态角的总损失函数。

8.一种由平面指纹估计手指三维姿态装置，其特征在于，包括数据采集模块、预测模块，其中，

所述数据采集模块，用于采集待测试的平面指纹图像；

所述预测模块，用于对所述待测试的平面指纹图像进行预测，输出预测的姿态角。

9.如权利要求8所述的装置，其特征在于，所述预测模块还包括训练单元，所述训练单元具体用于：

获取训练数据，包括平面指纹图像和对应的手指三维姿态的数据库；

使用所述训练数据，采用损失函数对所述深度神经网络模块进行训练。

10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的方法。

Images