CN113570699A - 三维指纹重建的方法和装置 - Google Patents

Abstract

本申请提出了一种三维指纹重建的方法和装置，涉及指纹识别技术领域，其中，该方法包括：采集手指在滚动按压中的指纹图像序列；采集指纹图像序列中每帧指纹图像对应的手指三维空间姿态；对每帧指纹图像进行指纹区域分割，并对指纹区域内的手指表面深度进行估计得到每帧指纹图像中各点上手指表面法向量的近似估计；根据每帧指纹图像中指纹区域内各点的表面法向量以及手指三维空间姿态进行帧间信息融合，计算完整手指表面上各点的表面法向量；将手指表面上各点的表面法向量转换为三维空间中梯度的表达形式，以对手指指纹进行三维指纹表面的重建。本发明降低三维指纹的获取难度，促进三维指纹的应用，提高指纹识别算法在困难场景下的效率和性能。

Description

三维指纹重建的方法和装置

技术领域

本申请涉及指纹识别技术领域，尤其涉及一种三维指纹重建的方法和装置。

背景技术

进入大数据时代以来，指纹识别一直是一种重要的身份识别技术，在考勤系统、出入境管理、移动支付以及刑侦领域得到了广泛的应用。现有的指纹数据一般是通过接触方式采集的二维指纹，这种传统的接触式指纹采集方式成本低廉且能够得到高质量指纹数据的优势，同时这种接触式的采集方式能够获得清晰的指纹脊线结构，但是却损失了手指表面的三维形状信息。而指纹的三维信息在安防、刑侦领域有着重要的意义，例如可以根据指纹的三维信息辅助非接触指纹图像与接触式指纹之间的匹配任务，以及根据三维信息实现对指模等指纹造假技术的鉴别，因此三维信息的利用可以进一步提高指纹识别算法的精度和效率。

在指纹三维信息的获取方面已有很多的算法，但是这些算法一般具有以下的局限性和不足：

非接触指纹图像容易受到环境光照、对焦、设备操作的影响，导致得到的指纹图像中出现脊线结构不够清晰、对比度低，指纹的有效区域小等问题；

使用结构光、激光雷达等方式采集三维指纹时，需要使用特定的采集设备，占用空间较大且价格昂贵，另外这类设备的操作流程也比较复杂。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种三维指纹重建的方法，解决了现有方法中非接触指纹图像容易受到环境光照、对焦、设备操作的影响，导致得到的指纹图像中出现脊线结构不够清晰、对比度低，指纹的有效区域小等技术问题，同时可以解决现有方法使用结构光、激光雷达等方式采集三维指纹时，需要使用占用空间较大且价格昂贵的特定采集设备，且操作流程比较复杂的技术问题，实现了获得具有高质量脊线结构以及成本优势的三维指纹数据的目的，降低了三维指纹的获取难度，促进三维指纹在更多的场景中得到应用，进而提高指纹识别算法在复杂困难场景下的效率和性能。

本申请的第二个目的在于提出一种三维指纹重建的装置。

为达上述目的，本申请第一方面实施例提出了一种三维指纹重建的方法，包括：采集手指在滚动按压过程中的指纹图像序列，指纹图像序列包括多帧指纹图像；采集指纹图像序列中每帧指纹图像对应的手指三维空间姿态；对指纹图像序列中的每帧指纹图像进行指纹区域分割，并对指纹区域内的手指表面深度进行估计，以得到每帧指纹图像中各点上手指表面法向量的近似估计；根据每帧指纹图像中指纹区域内各点的表面法向量以及每帧指纹图像对应的手指三维空间姿态进行帧间信息融合，计算手指表面上各点的表面法向量；将手指表面上各点的表面法向量转换为三维空间中梯度的表达形式，以对手指指纹进行三维指纹表面的重建。

可选地，在本申请的一个实施例中，对指纹图像序列中的每帧指纹图像进行指纹区域分割，包括：

基于指纹高斯梯度一致性的分割算法进行指纹区域分割：

其中，

是指纹图像的高斯梯度图像，J_ω是大小为ω×ω且元素全部是1的矩阵，*为图像卷积操作，然后对一致性图像Coh进行分割，本发明中以全局阈值分割法得到指纹区域掩膜为例，其中分割阈值设定为T_coh。

可选地，在本申请的一个实施例中，对指纹区域内的手指表面深度进行估计，包括：

在每帧图像的指纹分割区域内，估计当前图像中手指的表面深度；

其中，将指纹的脊线密度作为手指表面深度的近似估计，根据估计的手指表面深度计算指纹区域内各点的梯度向量：

其中，p和q分别表示该点的表面深度沿图像X方向和沿Y方向上的梯度；

然后将梯度向量转化为三维空间中的表面法向量表示：

其中，(·)^T代表向量的转置。

可选地，在本申请的一个实施例中，根据每帧指纹图像中指纹区域内各点的表面法向量以及每帧指纹图像对应的手指三维空间姿态进行帧间信息融合，计算手指完整表面上各点的表面法向量，包括：

将手指三维空间姿态从欧拉角转换为旋转矩阵表示，当欧拉角为(α，β，γ)时，旋转矩阵的表示为：

R(α，β，γ)＝R_Z(γ)·R_Y(β)·R_X(α)

其中：

选择任意一帧指纹图像所对应的手指三维空间姿态作为参考R_k0，计算其他各帧指纹图像所对应的手指三维空间姿态R_k到参考姿态的变换T_k：

其中，K代表序列中数据的帧数；

将各帧指纹图像中的表面法向量根据对应的变换矩阵T_k进行旋转，对齐至参考姿态所在坐标系，将指纹图像序列中每帧对应点的表面法向量进行融合，得到手指完整表面上各点的表面法向量。

可选地，在本申请的一个实施例中，将手指表面上各点的表面法向量转换为三维空间中梯度的表达形式，以对手指指纹进行三维指纹表面的重建，包括：

定义

为点i处的表面法向量，则沿X轴和Y轴方向的梯度向量分别表示为：

选取某一点作为积分原点O＝(0，0，0)^T，从积分原点开始，根据梯度向量沿X轴、Y轴和Z轴方向分别进行积分，得到一组三维空间坐标点，三维空间坐标点用于表示三维空间中的一个曲面，曲面上各点与指纹图像中的各像素点一一对应。

为达上述目的，本发明第二方面实施例提出了一种三维指纹重建的装置，包括：

第一采集模块，用于采集手指在滚动按压过程中的指纹图像序列，指纹图像序列包括多帧指纹图像；

第二采集模块，用于采集指纹图像序列中每帧指纹图像对应的手指三维空间姿态；

处理模块，用于对指纹图像序列中的每帧指纹图像进行指纹区域分割，并对指纹区域内的手指表面深度进行估计，以得到每帧指纹图像中指纹区域内各点上手指表面法向量的近似估计；

融合模块，用于根据每帧指纹图像中指纹区域内各点的表面法向量以及每帧指纹图像对应的手指三维空间姿态进行帧间信息融合，计算手指完整表面上各点的表面法向量；

重建模块，用于将手指表面上各点的表面法向量转换为三维空间中梯度的表达形式，以对手指指纹进行三维指纹表面的重建。

可选地，在本申请的一个实施例中，处理模块，具体用于：

基于指纹高斯梯度一致性的分割算法进行指纹区域分割：

其中，

是指纹图像的高斯梯度图像，J_ω是大小为ω×ω且元素全部是1的矩阵，*为图像卷积操作，然后对一致性图像Coh进行分割，本发明中以全局阈值分割法得到指纹区域掩膜为例，其中分割阈值设定为T_coh。

可选地，在本申请的一个实施例中，处理模块，还用于：

在每帧图像的指纹分割区域内，估计当前图像中手指的表面深度；

其中，将指纹的脊线密度作为手指表面深度的近似估计，根据估计的手指表面深度计算指纹区域内各点的梯度向量：

其中，p和q分别表示该点的表面深度沿图像X方向和Y方向上的梯度；

然后将梯度向量转化为三维空间中的表面法向量表示：

其中，(·)^T代表向量的转置。

可选地，在本申请的一个实施例中，融合模块，具体用于：

将手指三维空间姿态从欧拉角转换为旋转矩阵表示，当欧拉角为(α，β，γ)时，旋转矩阵的表示为：

R(α，β，γ)＝R_Z(γ)·R_Y(β)·R_X(α)

其中：

选择任意一帧指纹图像所对应的手指三维空间姿态作为参考R_k0，计算其他各帧指纹图像所对应的手指三维空间姿态R_k到参考姿态的变换T_k：

其中，K代表序列中数据的帧数；

将各帧指纹图像中的表面法向量根据对应的变换矩阵T_k进行旋转，对齐至参考姿态所在坐标系，将指纹图像序列中每帧对应点的表面法向量进行融合，得到完整手指表面上各点的表面法向量。

可选地，在本申请的一个实施例中，重建模块，具体用于：

定义

为点i处的表面法向量，则沿X轴和Y轴方向的梯度向量分别表示为：

选取某一点作为积分原点O＝(0，0，0)^T，从积分原点开始，根据梯度向量沿X轴、Y轴和Z轴方向分别进行积分，得到一组三维空间坐标点，三维空间坐标点用于表示三维空间中的一个曲面，曲面上各点与指纹图像中的各像素点一一对应。

本申请实施例的三维指纹重建方法及装置，解决了现有方法中非接触指纹图像容易受到环境光照、对焦、设备操作的影响，导致得到的指纹图像中出现脊线结构不够清晰、对比度低，指纹的有效区域小等技术问题，同时可以解决现有方法使用结构光、激光雷达等方式采集三维指纹时，需要使用占用空间较大且价格昂贵的特定采集设备，且操作流程比较复杂的技术问题，可以有效获取高质量的三维指纹以及与同一手指滚动指纹之间的逐点对应关系；同时也可以获得具有高质量脊线结构以及成本优势的三维指纹数据，降低三维指纹的获取难度，促进三维指纹在更多的场景中得到应用，进而提高指纹识别算法在复杂困难场景下的效率和性能。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例一所提供的一种三维指纹重建方法的流程图；

图2为本申请实施例的三维指纹重建方法的另一个流程图；

图3为本申请实施例的三维指纹重建方法的滚动指纹图像序列示意图；

图4为本申请实施例的三维指纹重建方法的指纹分割及深度估计结果示意图；

图5为本申请实施例的三维指纹重建方法的三维重建结果示意图。

图6为本申请实施例二的三维指纹重建装置结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的三维指纹重建方法和装置。

图1为本申请实施例一所提供的一种三维指纹重建方法的流程图。

如图1所示，该三维指纹重建方法包括以下步骤：

步骤101，采集手指在滚动按压过程中的指纹图像序列，指纹图像序列包括多帧指纹图像；

步骤102，采集指纹图像序列中每帧指纹图像对应的手指三维空间姿态；

步骤103，对指纹图像序列中的每帧指纹图像进行指纹区域分割，并对指纹区域内的手指表面深度进行估计，以得到每帧指纹图像中各点上手指表面法向量的近似估计；

步骤104，根据每帧指纹图像中指纹区域内各点的表面法向量以及每帧指纹图像对应的手指三维空间姿态进行帧间信息融合，计算手指表面上各点的表面法向量；

步骤105，将手指表面上各点的表面法向量转换为三维空间中梯度的表达形式，以对手指指纹进行三维指纹表面的重建。

本申请实施例的三维指纹重建方法，通过采集手指在滚动按压过程中的指纹图像序列，指纹图像序列包括多帧指纹图像；采集指纹图像序列中每帧指纹图像对应的手指三维空间姿态；对指纹图像序列中的每帧指纹图像进行指纹区域分割，并对指纹区域内的手指表面深度进行估计，以得到每帧指纹图像中各点上手指表面法向量的近似估计；根据每帧指纹图像中指纹区域内各点的表面法向量以及每帧指纹图像对应的手指三维空间姿态进行帧间信息融合，计算手指表面上各点的表面法向量；将手指表面上各点的表面法向量转换为三维空间中梯度的表达形式，以对手指指纹进行三维指纹表面的重建。由此，能够解决现有方法中非接触指纹图像容易受到环境光照、对焦、设备操作的影响，导致得到的指纹图像中出现脊线结构不够清晰、对比度低，指纹的有效区域小等技术问题，同时可以解决现有方法使用结构光、激光雷达等方式采集三维指纹时，需要使用占用空间较大且价格昂贵的特定采集设备，且操作流程比较复杂的技术问题，实现了获得具有高质量脊线结构以及成本优势的三维指纹数据的目的，降低了三维指纹的获取难度，促进三维指纹在更多的场景中得到应用，进而提高指纹识别算法在复杂困难场景下的效率和性能。

本发明需要的数据分为两种，分别是手指在滚动过程中的接触式指纹图像序列和每帧图像对应的手指三维空间姿态。相比于其他形式的接触式指纹，滚动指纹涵盖了更大范围的指纹区域，因此采用手指在采集滚动指纹过程中的图像序列作为一种模态的数据。但是滚动指纹这类接触式指纹在采集时损失了手指表面的三维形状信息，考虑到手指在滚动指纹采集过程中的姿态变化同样包含了手指表面的三维形状信息，因此在采集滚动指纹图像序列的同时采集手指在三维空间中的姿态变化。获取手指三维空间姿态的方式有很多，不但可以将陀螺仪固定在手指背部从而实时获取各帧指纹图像所对应的手指姿态，还可以使用光学定位等各种成熟的定位技术获取手指姿态。

进一步地，在本申请实施例中，手指表面法向量的估计共分为三个步骤，分别是指纹图像预处理、指纹表面深度估计以及帧间信息融合。表面法向量包含有三维表面的形状信息，通过估计指纹表面的法向量来对指纹表面进行三维重建。只有指纹所在区域对最后的三维指纹重建具有意义，因此需要对采集得到的指纹图像进行指纹区域分割。对指纹图像序列中的每帧指纹图像进行指纹区域分割，包括：

基于指纹高斯梯度一致性的分割算法进行指纹区域分割：

其中，

是指纹图像的高斯梯度图像，J_ω是大小为ω×ω且元素全部是1的矩阵，*为图像卷积操作，然后对一致性图像Coh进行分割，本发明中以全局阈值分割法得到指纹区域掩膜为例，其中分割阈值设定为T_coh。

进一步地，在本申请实施例中，对指纹区域内的手指表面深度进行估计，包括：

在每帧图像的指纹分割区域内，估计当前图像中手指的表面深度；

其中，将指纹的脊线密度作为手指表面深度的近似估计，根据估计的手指表面深度计算指纹区域内各点的梯度向量：

其中，p和q分别表示该点的表面深度沿图像X方向和Y方向上的梯度；

然后将梯度向量转化为三维空间中的表面法向量表示：

其中，(·)^T代表向量的转置。

当手指表面与采集平面接触区域较小时，指纹图像平面的法向量(即z＝(0，0，1)^T)几乎也垂直于接触区域内的手指表面，但是由于手指皮肤在按压时会出现变形，导致图像平面的法向量与手指实际的表面法向量通常是不平行的。因此对于图像序列中的各帧图像，对指纹区域内的手指表面深度进行估计，从而能够得到手指表面法向量的近似估计。

进一步地，在本申请实施例中，三维曲面的表面法向量包含了曲面的三维信息，根据每帧指纹图像中指纹区域内各点的表面法向量以及每帧指纹图像对应的手指三维空间姿态进行帧间信息融合，计算完整手指表面上各点的表面法向量，包括：

将手指三维空间姿态从欧拉角转换为旋转矩阵表示，当欧拉角为(α，β，γ)时，旋转矩阵的表示为：

R(α，β，γ)＝R_Z(γ)·R_Y(β)·R_X(α)

其中：

选择任意一帧指纹图像所对应的手指三维空间姿态作为参考R_k0，计算其他各帧指纹图像所对应的手指三维空间姿态R_k到参考姿态的变换T_k：

其中，K代表序列中数据的帧数；

将各帧指纹图像中的表面法向量根据对应的变换矩阵T_k进行旋转，对齐至参考姿态所在坐标系，将指纹图像序列中每帧对应点的表面法向量进行融合，得到手指表面上各点的表面法向量。

进一步地，在本申请实施例中，将手指表面上各点的表面法向量转换为三维空间中梯度的表达形式，以对手指指纹进行三维指纹表面的重建，包括：

定义

为点i处的表面法向量，则沿X轴和Y轴方向的梯度向量分别表示为：

选取某一点作为积分原点O＝(0，0，0)^T，从积分原点开始，根据梯度向量沿X轴、Y轴和Z轴方向分别进行积分，得到一组三维空间坐标点，三维空间坐标点用于表示三维空间中的一个曲面，曲面上各点与指纹图像中的各像素点一一对应。

图2为本申请实施例的三维指纹重建方法的另一个流程图。

如图2所示，该三维指纹重建方法，包括：数据采集、表面法向量估计、三维指纹重建以及输出三维指纹重建结果。采集手指在滚动过程中的接触式指纹图像序列，同时获取每帧指纹图像所对应的手指三维空间姿态；根据采集的指纹图像序列以及手指空间姿态序列，估计手指表面在三维空间中的表面法向量；根据得到的手指表面法向量，进行三维指纹重建；输出三维指纹重建结果。采集得到的手指空间姿态序列数据包含了手指表面的三维形状信息，从而可以与接触式指纹图像序列结合进行重建得到三维指纹；结合指纹图像序列与手指空间姿态序列，并且融合相邻数据帧的信息，估计手指表面在三维空间中的表面法向量；基于手指表面的表面法向量在三维空间中通过积分运算实现三维指纹的重建。

图3为本申请实施例的三维指纹重建方法的滚动指纹图像序列示意图。

如图3所示，相比于其他形式的接触式指纹，滚动指纹涵盖了更大范围的指纹区域，因此采用手指在采集滚动指纹过程中的图像序列作为一种模态的数据。滚动指纹这类接触式指纹在采集时损失了手指表面的三维形状信息，考虑到手指在滚动指纹采集过程中的姿态变化同样包含了手指表面的三维形状信息，因此采集滚动指纹图像序列的同时采集手指在三维空间中的姿态变化。

图4为本申请实施例的三维指纹重建方法的指纹分割及深度估计结果示意图。

如图4所示，只有指纹所在区域对最后的三维指纹重建具有意义，因此需要对采集得到的指纹图像进行指纹区域分割，这里采用基于指纹高斯梯度一致性的分割算法进行分割。当手指表面与采集平面接触区域较小时，指纹图像平面的法向量(即z＝(0，0，1)^T)几乎也垂直于接触区域内的手指表面，但是由于手指皮肤在按压时会出现变形，导致图像平面的法向量与手指实际的表面法向量通常是不平行的。因此对于图像序列中的各帧图像，对指纹区域内的手指表面深度进行估计，从而能够得到手指表面法向量的近似估计。这里采用基于脊线密度的深度估计为例，将指纹的脊线密度作为当前图像帧内手指表面深度的估计。

图5为本申请实施例的三维指纹重建方法的三维重建结果示意图。

如图5所示，对于三维空间中曲面上的某一点，其表面法向量与该点上的梯度是等价的，得到手指表面上各点的表面法向量之后，将其转换为三维空间中梯度的表达形式，从而可以在三维空间中进行积分运算实现三维表面重建。

图6为本申请实施例二的三维指纹重建装置结构示意图。

如图6所示，该三维指纹重建装置，包括：

第一采集模块，用于采集手指在滚动按压过程中的指纹图像序列，指纹图像序列包括多帧指纹图像；

第二采集模块，用于采集指纹图像序列中每帧指纹图像对应的手指三维空间姿态；

处理模块，用于对指纹图像序列中的每帧指纹图像进行指纹区域分割，并对指纹区域内的手指表面深度进行估计，以得到每帧指纹图像中指纹区域内各点上手指表面法向量的近似估计；

融合模块，用于根据每帧指纹图像中指纹区域内各点的表面法向量以及每帧指纹图像对应的手指三维空间姿态进行帧间信息融合，计算完整手指表面上各点的表面法向量；

重建模块，用于将手指表面上各点的表面法向量转换为三维空间中梯度的表达形式，以对手指指纹进行三维指纹表面的重建。

本申请实施例的三维指纹重建装置，包括：第一采集模块，用于采集手指在滚动按压过程中的指纹图像序列，指纹图像序列包括多帧指纹图像；第二采集模块，用于采集指纹图像序列中每帧指纹图像对应的手指三维空间姿态；处理模块，用于对指纹图像序列中的每帧指纹图像进行指纹区域分割，并对指纹区域内的手指表面深度进行估计，以得到每帧指纹图像中指纹区域内各点上手指表面法向量的近似估计；融合模块，用于根据每帧指纹图像中指纹区域内各点的表面法向量以及每帧指纹图像对应的手指三维空间姿态进行帧间信息融合，计算完整手指表面上各点的表面法向量；重建模块，用于将手指表面上各点的表面法向量转换为三维空间中梯度的表达形式，以对手指指纹进行三维指纹表面的重建。由此，能够解决现有方法中非接触指纹图像容易受到环境光照、对焦、设备操作的影响，导致得到的指纹图像中出现脊线结构不够清晰、对比度低，指纹的有效区域小等技术问题，同时可以解决现有方法使用结构光、激光雷达等方式采集三维指纹时，需要使用占用空间较大且价格昂贵的特定采集设备，且操作流程比较复杂的技术问题，实现了获得具有高质量脊线结构以及成本优势的三维指纹数据的目的，降低了三维指纹的获取难度，促进三维指纹在更多的场景中得到应用，进而提高指纹识别算法在复杂困难场景下的效率和性能。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，″计算机可读介质″可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种三维指纹重建的方法，其特征在于，包括以下步骤：

采集手指在滚动按压过程中的指纹图像序列，所述指纹图像序列包括多帧指纹图像；

采集所述指纹图像序列中每帧指纹图像对应的手指三维空间姿态；

对所述指纹图像序列中的每帧指纹图像进行指纹区域分割，并对所述指纹区域内的手指表面深度进行估计，以得到每帧指纹图像中各点上手指表面法向量的近似估计；

根据所述每帧指纹图像中指纹区域内各点的表面法向量以及每帧指纹图像对应的手指三维空间姿态进行帧间信息融合，计算手指表面上各点的表面法向量；

将所述手指表面上各点的表面法向量转换为三维空间中梯度的表达形式，以对手指指纹进行三维指纹表面的重建。

2.如权利要求1所述的方法，其特征在于，对所述指纹图像序列中的每帧指纹图像进行指纹区域分割，包括：

基于指纹高斯梯度一致性的分割算法进行指纹区域分割：

其中，

是指纹图像的高斯梯度图像，J_ω是大小为ω×ω且元素全部是1的矩阵，*为图像卷积操作，然后对一致性图像Coh进行分割，本发明中以全局阈值分割法得到指纹区域掩膜为例，其中分割阈值设定为T_coh。

3.如权利要求2所述的方法，其特征在于，对所述指纹区域内的手指表面深度进行估计，包括：

在每帧图像的指纹分割区域内，估计当前图像中手指的表面深度；

其中，将指纹的脊线密度作为手指表面深度的近似估计，根据估计的手指表面深度计算指纹区域内各点的梯度向量：

其中，p和q分别表示该点的表面深度沿图像X方向和Y方向上的梯度；

然后将所述梯度向量转化为三维空间中的表面法向量表示：

其中，(·)^T代表向量的转置。

4.如权利要求1-3任一项所述的方法，其特征在于，根据所述每帧指纹图像中指纹区域内各点的表面法向量以及每帧指纹图像对应的手指三维空间姿态进行帧间信息融合，计算完整手指表面上各点的表面法向量，包括：

将所述手指三维空间姿态从欧拉角转换为旋转矩阵表示，当欧拉角为(α,β,γ)时，旋转矩阵的表示为：

R(α，β，γ)＝R_Z(γ)·R_Y(β)·R_X(α)

其中：

选择任意一帧指纹图像所对应的手指三维空间姿态作为参考R_k0，计算其他各帧指纹图像所对应的手指三维空间姿态R_k到参考姿态的变换T_k：

其中，K代表序列中数据的帧数；

将各帧指纹图像中的表面法向量根据对应的变换矩阵T_k进行旋转，对齐至参考姿态所在坐标系，将指纹图像序列中每帧对应点的表面法向量进行融合，得到所述完整手指表面上各点的表面法向量。

5.如权利要求1-3任一项所述的方法，其特征在于，将所述手指表面上各点的表面法向量转换为三维空间中梯度的表达形式，以对手指指纹进行三维指纹表面的重建，包括：

定义

为点i处的表面法向量，则沿X轴和Y轴方向的梯度向量分别表示为：

选取某一点作为积分原点O＝(0,0,0)^T，从积分原点开始，根据梯度向量沿X轴、Y轴和Z轴方向分别进行积分，得到一组三维空间坐标点，所述三维空间坐标点用于表示三维空间中的一个曲面，所述曲面上各点与指纹图像中的各像素点一一对应。

6.一种三维指纹重建的装置，其特征在于，包括：

第一采集模块，用于采集手指在滚动按压过程中的指纹图像序列，所述指纹图像序列包括多帧指纹图像；

第二采集模块，用于采集所述指纹图像序列中每帧指纹图像对应的手指三维空间姿态；

处理模块，用于对所述指纹图像序列中的每帧指纹图像进行指纹区域分割，并对所述指纹区域内的手指表面深度进行估计，以得到每帧指纹图像中指纹区域内各点上手指表面法向量的近似估计；

融合模块，用于根据所述每帧指纹图像中指纹区域内各点的表面法向量以及每帧指纹图像对应的手指三维空间姿态进行帧间信息融合，计算完整手指表面上各点的表面法向量；

重建模块，用于将所述手指表面上各点的表面法向量转换为三维空间中梯度的表达形式，以对手指指纹进行三维指纹表面的重建。

7.如权利要求6所述的装置，其特征在于，所述处理模块，具体用于：

基于指纹高斯梯度一致性的分割算法进行指纹区域分割：

其中，

是指纹图像的高斯梯度图像，J_ω是大小为ω×ω且元素全部是1的矩阵，*为图像卷积操作，然后对一致性图像Coh进行分割，本发明中以全局阈值分割法得到指纹区域掩膜为例，其中分割阈值设定为T_coh。

8.如权利要求7所述的装置，其特征在于，所述处理模块，还用于：

在每帧图像的指纹分割区域内，估计当前图像中手指的表面深度；

其中，将指纹的脊线密度作为手指表面深度的近似估计，根据估计的手指表面深度计算指纹区域内各点的梯度向量：

其中，p和q分别表示该点的表面深度沿图像X方向和Y方向上的梯度；

然后将所述梯度向量转化为三维空间中的表面法向量表示：

其中，(·)^T代表向量的转置。

9.如权利要求6-8任一项所述的装置，其特征在于，所述融合模块，具体用于：

将所述手指三维空间姿态从欧拉角转换为旋转矩阵表示，当欧拉角为(α,β,γ)时，旋转矩阵的表示为：

R(α，β，γ)＝R_Z(γ)·R_Y(β)·R_X(α)

其中：

选择任意一帧指纹图像所对应的手指三维空间姿态作为参考R_k0，计算其他各帧指纹图像所对应的手指三维空间姿态R_k到参考姿态的变换T_k：

其中，K代表序列中数据的帧数；

将各帧指纹图像中的表面法向量根据对应的变换矩阵T_k进行旋转，对齐至参考姿态所在坐标系，将指纹图像序列中每帧对应点的表面法向量进行融合，得到所述手指完整表面上各点的表面法向量。

10.如权利要求6-8任一项所述的装置，其特征在于，所述重建模块，具体用于：

定义

为点i处的表面法向量，则沿X轴和Y轴方向的梯度向量分别表示为：

选取某一点作为积分原点O＝(0,0,0)^T，从积分原点开始，根据梯度向量沿X轴、Y轴和Z轴方向分别进行积分，得到一组三维空间坐标点，所述三维空间坐标点用于表示三维空间中的一个曲面，所述曲面上各点与指纹图像中的各像素点一一对应。

Images