CN111597880B - 一种基于单幅条纹投影的多视角三维指纹获取方法 - Google Patents

Abstract

一种基于单幅条纹投影的多视角三维指纹获取方法，通过基于条纹投影技术同时获取一幅无相位信息的二维指纹图和带有相位信息的指纹条纹图像，对带有相位信息的指纹条纹图像进行相位提取；进行相位解缠得到连续的相位，通过相位信息对单视角三维指纹完成重建；在获取多个视角的三维指纹后，在每个三维指纹对应的二维指纹图上找到端点或者分叉点作为特征点并且与下个相邻视角二维指纹进行特征点匹配，确定二维指纹的特征匹配点集，在通过特征点集的二维信息，在三维指纹上找到匹配的特征点；获得三维指纹的特征匹配点集后，进行三维指纹配准，重建出多视角的三维指纹模型。本发明测量速度快，通过多视角配准的方法采集出更加完整的三维指纹数据。

Description

一种基于单幅条纹投影的多视角三维指纹获取方法

技术领域

本发明涉及一种图像处理算法，尤其是一种基于单幅条纹投影的多视角三维指纹获取方法。

背景技术

随着现代信息安全的发展，指纹技术已经广泛应用于日常生活等多个领域。与其他生物识别技术相比较，基于指纹的识别技术具有较强的安全性和可靠性。针对传统接触式指纹获取存在以下问题：(1)用户手指按压力的不均匀，导致指纹纹理断裂或者粘连。(2)以往采集信息留下的痕迹会影响下次采集图像的质量(3)只能获取二维指纹的数据，缺失一维指纹数据。非接触式三维指纹采集通过间接的传感器技术采集指纹，能很好地解决以上问题。

目前对于三维指纹数据获取方法主要包括三大类：基于立体摄影的技术、基于标定光源的技术、基于结构光的技术。基于立体摄影采集系统包含多个相机和发光二极管，存在结构复杂、成本较高等缺点。基于标定光源采集系统包含一个摄像机和多个发光二极管，但算法复杂且标定计算量大。传统基于结构光的采集系统只能采集一个角度的手指指纹信息且测量速度较慢。因此，本发明提出了一种基于单幅条纹投影的多视角三维指纹获取技术。基于单幅条纹投影采集不同视角的图像，然后把采集到不同视角的图像进行逐一配准，重建出更加完整的三维指纹。

发明内容

为了克服现有三维指纹获取技术的不足，本发明提供一种基于单幅条纹投影的多视角三维指纹获取方法，解决三维指纹获取技术中采集速度慢、三维指纹数据不完整等问题。

为了实现上述目的，本发明采用的技术方案为：

一种基于单幅条纹投影的多视角三维指纹获取方法，包括以下步骤：

(1)通过基于条纹投影技术同时获取一幅无相位信息的二维指纹图和带有相位信息的指纹条纹图像，对带有相位信息的指纹条纹图像进行相位提取；

(2)由于提取出来的相位是包裹的，所以进行相位解缠得到连续的相位，最终通过相位信息对单视角三维指纹完成重建；

(3)在获取多个视角的三维指纹后，在每个三维指纹对应的二维指纹图上找到端点或者分叉点作为特征点并且与下个相邻视角二维指纹进行特征点匹配，确定二维指纹的特征匹配点集，在通过特征点集的二维信息，在三维指纹上找到匹配的特征点；

(4)获得三维指纹的特征匹配点集后，进行三维指纹配准，重建出多视角的三维指纹模型。

进一步，所述步骤(1)的过程为：通过条纹投影技术获取的指纹变形条纹图像，由于手指指纹的连续性，抗干扰性强，所以采用傅里叶变换法提取相位，当条纹投影到手指上时其光场会变形，其变形图像表示为：

f(x,y)＝a(x,y)+b(x,y)cos[φ(x,y)] (1)

其中a(x,y)和b(x,y)分别反映背景光和表面反射率的变化，φ(x,y)是待计算的相对相位值，也称作相位主值，它反映了物体对应点上高度信息；

然后对式(1)进行傅里叶变换，利用高通滤波器进行滤波，去除背景光强的零频信号，选取以零频信号为中心的其右部分的基频信号，进行傅里叶逆变换，求出相位主值。

进一步，进行傅里叶逆变换，表示为：

其实部和虚部分别为：

其相位主值写成：

再进一步，所述步骤(2)包括如下步骤：

(21)由于从(1)提取出来的相位是包裹的，因此需要进行相位解缠。为了防止在解缠过程中，某个像素点有噪声，造成解缠误差，采用基于质量图的空间相位解缠，过程如下：

分别计算各个像素点的水平、垂直方向梯度的正弦函数值，然后分别求出全部像素水平、垂直方向梯度的正弦函数的平均值，作为当前像素的评估权值。质量权值越大表示相位质量越差，公式：

式中，

和/>

分别表示当前像素点水平和垂直相位梯度正弦函数值，/>

和/>

分别表示全部像素点水平和垂直相位梯度的正弦函数平均值，针对三维指纹，其相位梯度差异较小所以平均梯度更能反应当前像素点的质量；

(22)从质量图中找出质量最高的像素点为解缠路径的起点并且默认其相位为连续的，遍历其四邻域找到四领域内质量最高的像素点作为下一个解缠点，并进行解缠，并标记已经解缠后的点且不参加二次解缠，依次循环上述遍历过程，直至所有像素点都在解缠路径上，并完成解缠，解缠公式如下：

其中，round为四舍五入取整操作，

解缠后的相位，φ(x,y)待解缠的包裹相位，/>

为相邻的已解缠连续相位；

(23)在获得解缠后的相位后，根据系统标定的参数，求出对应的三维坐标，完成单视角三维指纹重建。

进一步，所述步骤(3)包括如下步骤：

(31)对每个三维指纹所以对应的二维指纹图进行图像增强、二值化、指纹细化等操作，提取指纹的端点、分叉点作为特征点，以特征点A₀为例，首先计算其方向场θ₀，之后以特征点A₀位圆心，画一个以R为半径的圆，A₁为其方向场与圆相交的点，在圆上逆时针做辅助点A₂，A₃且A₁、A₂、A₃在圆上均匀分布，夹角均为120°，并计算三个点的方向场，所以特征点的特征信息为(x,y,T,θ₀,θ₁,θ₂,θ₃)，其中(x,y)为特征点的坐标，T为特征点的类型，(θ₀,θ₁,θ₂,θ₃)为A₀,A₁,A₂,A₃的方向场；

令待配准的二维指纹P₀、二维指纹Q₀，提取到的特征点集合分别为F_p＝{f_p1,f_p2,...,f_pN}和F_q＝{f_q1,f_q2,...,f_qN}；

(311)对于F_p中的某个特征点f_qi遍历F_q中的特征点f_qi，如果其T相等，进入(312)，如果在F_q中没有匹配到T相等的特征点，则舍弃这个点；

(312)计算特征点描述子中任意两点之间的角度差，公式如下：

Δθ_k＝|θ_i-θ_j|(i,j＝0,1,2,3；i<j)(4)

其中，k为特征点描述子各点之间相对角度差的对应编号；

两特征点描述子之间第k角度偏差为G(k)，公式如下：

式(9)中，

为特征点p_i的相对角度差，/>

为特征点q_i的相对角度差；

(313)在F_p中下个特征点重复1)，直到F_p中所有的特征点匹配结束为止；

(314)如果式2)中，任意G(k)大于阈值T₁，则说明两特征点不匹配；

那么C_pqi＝(f_pi,f_qi)构成了一个对应的特征点对，则可以得到特征点匹配集合C_pq＝{C_pq1,C_pq2,...,C_pqN}；

(32)再找到两个待匹配二维指纹的匹配特征点对后，通过特征点的二维坐标信息，在其对应的三维指纹上找到匹配好的特征点，便可以估计出刚体变换参数R、T，其中R为3×3的旋转矩阵，T＝[t_x t_y t_z]^T为平移向量，旋转矩阵R可用欧拉角表示，按照(x,y,z)坐标进行旋转，则R具有如下形式：

其中α、β、γ、t_x、t_y、t_z分别表示与x轴、y轴、z轴的夹角以及平移位置，因此只要求出α、β、γ、t_x、t_y、t_z这六个参数即可得出初始刚体变换矩阵；

(33)初步得到两个三个指纹的初始变换关系R₀、T₀之后，需要对其再进行精细配准，其目的是通过不断优化两个三维指纹对应特征点之间的平均距离，使得平均距离最小得到最优变换关系，目标函数的模型如下所示：

其中，p_i和q_i是两个待配准的三维指纹的对应特征点，步骤如下：

根据(33)得到的初始刚体变换参数R₀和T₀对目标指纹Q₀进行变换得到Q₁，并求出以待配准指纹P₀为基准指纹与变换后指纹Q₁之间的距离S₁；

计算P₀与Q₁分别对应的特征点集的平均距离，若满足平均距离阈值则完成配准，否则将P0与Q₁作为新的待配准的三维指纹，重新遍历特征点得到匹配点集，循环(22)(23)的步骤，直到满足特征点集的平均距离的阈值且P₀与Q_i之间的距离S_i小于S₁；

在完成最初的两个三维指纹配准后，把配准后的三维指纹作为待配准三维指纹继续与其他视角的三维指纹进行配准重复上述步骤，直到重建出完整的三维指纹模型。

相比其他三维指纹的获取技术，本发明的有益效果表现在：只需单张指纹条纹图就能重建出单视角三维指纹，测量速度快。通过多视角配准的方法，采集出更加完整的三维指纹数据。

附图说明

图1是本发明的流程图。

图2是三维指纹模型效果图。

具体实施方式

下面结合附图和实施方式对本发明作进一步说明：

参照图1和图2，一种基于单幅条纹投影的多视角三维指纹获取方法，包括以下步骤：

(1)通过基于条纹投影技术同时获取一幅无相位信息的二维指纹图和带有相位信息的指纹条纹图像，对带有相位信息的指纹条纹图像进行相位提取；

所述步骤(1)的过程为：通过条纹投影技术获取的指纹变形条纹图像，由于手指指纹的连续性，抗干扰性强，所以采用傅里叶变换法提取相位，当条纹投影到手指上时其光场会变形，其变形图像表示为：

f(x,y)＝a(x,y)+b(x,y)cos[φ(x,y)] (1)

其中a(x,y)和b(x,y)分别反映背景光和表面反射率的变化，φ(x,y)是待计算的相对相位值，也称作相位主值，它反映了物体对应点上高度信息；

然后对式(1)进行傅里叶变换，利用高通滤波器进行滤波，去除背景光强的零频信号，选取以零频信号为中心的其右部分的基频信号，进行傅里叶逆变换，求出相位主值；

进一步，进行傅里叶逆变换，表示为：

其实部和虚部分别为：

其相位主值写成：

(2)由于提取出来的相位是包裹的，所以进行相位解缠得到连续的相位，最终通过相位信息对单视角三维指纹完成重建；

所述步骤(2)包括如下步骤：

(21)由于从(1)提取出来的相位是包裹的，因此需要进行相位解缠。为了防止在解缠过程中，某个像素点有噪声，造成解缠误差，采用基于质量图的空间相位解缠，过程如下：

分别计算各个像素点的水平、垂直方向梯度的正弦函数值，然后分别求出全部像素水平、垂直方向梯度的正弦函数的平均值，作为当前像素的评估权值。质量权值越大表示相位质量越差，公式：

式中，

和/>

分别表示当前像素点水平和垂直相位梯度正弦函数值，/>

和/>

分别表示全部像素点水平和垂直相位梯度的正弦函数平均值，针对三维指纹，其相位梯度差异较小所以平均梯度更能反应当前像素点的质量；

(22)从质量图中找出质量最高的像素点为解缠路径的起点并且默认其相位为连续的，遍历其四邻域找到四领域内质量最高的像素点作为下一个解缠点，并进行解缠，并标记已经解缠后的点且不参加二次解缠，依次循环上述遍历过程，直至所有像素点都在解缠路径上，并完成解缠，解缠公式如下：

其中，round为四舍五入取整操作，

解缠后的相位，φ(x,y)待解缠的包裹相位，/>

为相邻的已解缠连续相位；

(23)在获得解缠后的相位后，根据系统标定的参数，求出对应的三维坐标，完成单视角三维指纹重建；

(3)在获取多个视角的三维指纹后，在每个三维指纹对应的二维指纹图上找到端点或者分叉点作为特征点并且与下个相邻视角二维指纹进行特征点匹配，确定二维指纹的特征匹配点集，在通过特征点集的二维信息，在三维指纹上找到匹配的特征点；

所述步骤(3)包括如下步骤：

(31)对每个三维指纹所以对应的二维指纹图进行图像增强、二值化、指纹细化等操作，提取指纹的端点、分叉点作为特征点，以特征点A₀为例，首先计算其方向场θ₀，之后以特征点A₀位圆心，画一个以R为半径的圆，A₁为其方向场与圆相交的点，在圆上逆时针做辅助点A₂，A₃且A₁、A₂、A₃在圆上均匀分布，夹角均为120°，并计算三个点的方向场，所以特征点的特征信息为(x,y,T,θ₀,θ₁,θ₂,θ₃)，其中(x,y)为特征点的坐标，T为特征点的类型，(θ₀,θ₁,θ₂,θ₃)为A₀,A₁,A₂,A₃的方向场；

令待配准的二维指纹P₀、二维指纹Q₀，提取到的特征点集合分别为F_p＝{f_p1,f_p2,...,f_pN}和F_q＝{f_q1,f_q2,...,f_qN}；

(311)对于F_p中的某个特征点f_qi遍历F_q中的特征点f_qi，如果其T相等，进入(312)，如果在F_q中没有匹配到T相等的特征点，则舍弃这个点；

(312)计算特征点描述子中任意两点之间的角度差，公式如下：

Δθ_k＝|θ_i-θ_j|(i,j＝0,1,2,3；i<j)(4)

其中，k为特征点描述子各点之间相对角度差的对应编号；

两特征点描述子之间第k角度偏差为G(k)，公式如下：

式(9)中，

为特征点p_i的相对角度差，/>

为特征点q_i的相对角度差；

(313)在F_p中下个特征点重复1)，直到F_p中所有的特征点匹配结束为止；

(314)如果式2)中，任意G(k)大于阈值T₁，则说明两特征点不匹配；

那么C_pqi＝(f_pi,f_qi)构成了一个对应的特征点对，则可以得到特征点匹配集合C_pq＝{C_pq1,C_pq2,...,C_pqN}；

(32)再找到两个待匹配二维指纹的匹配特征点对后，通过特征点的二维坐标信息，在其对应的三维指纹上找到匹配好的特征点，便可以估计出刚体变换参数R、T，其中R为3×3的旋转矩阵，T＝[t_x t_y t_z]^T为平移向量，旋转矩阵R可用欧拉角表示，按照(x,y,z)坐标进行旋转，则R具有如下形式：

其中α、β、γ、t_x、t_y、t_z分别表示与x轴、y轴、z轴的夹角以及平移位置，因此只要求出α、β、γ、t_x、t_y、t_z这六个参数即可得出初始刚体变换矩阵；

(33)初步得到两个三个指纹的初始变换关系R₀、T₀之后，需要对其再进行精细配准，其目的是通过不断优化两个三维指纹对应特征点之间的平均距离，使得平均距离最小得到最优变换关系，目标函数的模型如下所示：

其中，p_i和q_i是两个待配准的三维指纹的对应特征点，步骤如下：

根据(33)得到的初始刚体变换参数R₀和T₀对目标指纹Q₀进行变换得到Q₁，并求出以待配准指纹P₀为基准指纹与变换后指纹Q₁之间的距离S₁；

计算P₀与Q₁分别对应的特征点集的平均距离，若满足平均距离阈值则完成配准，否则将P0与Q₁作为新的待配准的三维指纹，重新遍历特征点得到匹配点集，循环(32)(33)的步骤，直到满足特征点集的平均距离的阈值且P₀与Q_i之间的距离S_i小于S₁；

在完成最初的两个三维指纹配准后，把配准后的三维指纹作为待配准三维指纹继续与其他视角的三维指纹进行配准重复上述步骤，直到重建出完整的三维指纹模型。

(4)获得三维指纹的特征匹配点集后，进行三维指纹配准，重建出多视角的三维指纹模型。

Claims (4)

1.一种基于单幅条纹投影的多视角三维指纹获取方法，其特征在于，所述方法包括如下步骤：

(1)通过基于条纹投影技术同时获取一幅无相位信息的二维指纹图和带有相位信息的指纹条纹图像，对带有相位信息的指纹条纹图像进行相位提取；

(2)由于提取出来的相位是包裹的，所以进行相位解缠得到连续的相位，最终通过相位信息对单视角三维指纹完成重建；

(3)在获取多个视角的三维指纹后，在每个三维指纹对应的二维指纹图上找到端点或者分叉点作为特征点并且与下个相邻视角二维指纹进行特征点匹配，确定二维指纹的特征匹配点集，在通过特征点集的二维信息，在三维指纹上找到匹配的特征点；

所述步骤(3)包括如下步骤：

(31)对每个三维指纹所对应的二维指纹图进行图像增强、二值化、指纹细化操作，提取指纹的端点、分叉点作为特征点，对于特征点A₀，首先计算其方向场θ₀，之后以特征点A₀位圆心，画一个以R为半径的圆，A₁为其方向场与圆相交的点，在圆上逆时针做辅助点A₂，A₃且A₁、A₂、A₃在圆上均匀分布，夹角均为120°，并计算三个点的方向场，所以特征点的特征信息为(x,y,T,θ₀,θ₁,θ₂,θ₃)，其中(x,y)为特征点的坐标，T为特征点的类型，(θ₀,θ₁,θ₂,θ₃)为A₀,A₁,A₂,A₃的方向场；

令待配准的二维指纹P₀、二维指纹Q₁，提取到的特征点集合分别为F_p＝{f_p1,f_p2,…,f_pN}和F_q＝{f_q1,f_q2,…,f_qN}；

(311)对于F_p中的某个特征点f_pi遍历F_q中的特征点f_qi，如果其T相等，进入(312)，如果在F_q中没有匹配到T相等的特征点，则舍弃这个点；

(312)计算特征点描述子中任意两点之间的角度差，公式如下：

Δθ_k＝|θ_i-θ_j|(i,j＝0,1,2,3；i<j) (4)

其中，k为特征点描述子各点之间相对角度差的对应编号；

两特征点描述子之间第k角度偏差为G(k)，公式如下：

式(5)中，

为特征点p_i的相对角度差，/>

为特征点q_i的相对角度差；

(313)在F_p中下个特征点重复(311)，直到F_p中所有的特征点匹配结束为止；

(314)如果式(5)中，任意G(k)大于阈值T₁，则说明两特征点不匹配；

那么C_pqi＝(f_pi,f_qi)构成了一个对应的特征点对，则可以得到特征点匹配集合C_pq＝{C_pq1,C_pq2,...,C_pqN}；

(32)在找到两个待匹配二维指纹的匹配特征点对后，通过特征点的二维坐标信息，在其对应的三维指纹上找到匹配好的特征点，估计出刚体变换参数R、T，其中R为3′3的旋转矩阵，T＝[t_x t_y t_z]^T为平移向量，旋转矩阵R可用欧拉角表示，按照(x,y,z)坐标进行旋转，则R具有如下形式：

其中α、β、γ、t_x、t_y、t_z分别表示与x轴、y轴、z轴的夹角以及平移位置，因此只要求出α、β、γ、t_x、t_y、t_z这六个参数即可得出初始刚体变换矩阵；

(33)初步得到两个三个指纹的初始变换关系R₀、T₀之后，需要对其再进行精细配准，其目的是通过不断优化两个三维指纹对应特征点之间的平均距离，使得平均距离最小得到最优变换关系，目标函数的模型如下所示：

其中，p_i和q_i是两个待配准的三维指纹的对应特征点，步骤如下：

根据(33)得到的初始刚体变换参数R₀和T₀对目标指纹Q₀进行变换得到Q₁，并求出以待配准指纹P₀为基准指纹与变换后指纹Q₁之间的距离S₁；

计算P₀与Q₁分别对应的特征点集的平均距离，若满足平均距离阈值则完成配准，否则将P₀与Q₁作为新的待配准的三维指纹，重新遍历特征点得到匹配点集，循环(32)(33)的步骤，直到满足特征点集的平均距离的阈值且P₀与Q_i之间的距离S_i小于S₁；

在完成最初的两个三维指纹配准后，把配准后的三维指纹作为待配准三维指纹继续与其他视角的三维指纹进行配准重复上述步骤，直到重建出完整的三维指纹模型；

(4)获得三维指纹的特征匹配点集后，进行三维指纹配准，重建出多视角的三维指纹模型。

2.根据权利要求1所述的基于单幅条纹投影的多视角三维指纹获取方法，其特征在于，所述步骤(1)的过程为：

通过条纹投影技术获取的指纹变形条纹图像，由于手指指纹的连续性，抗干扰性强，所以采用傅里叶变换法提取相位，当条纹投影到手指上时其光场会变形，其变形图像表示为：

f(x,y)＝a(x,y)+b(x,y)cos[φ(x,y)] (1)

其中a(x,y)和b(x,y)分别反映背景光和表面反射率的变化，φ(x,y)是待计算的相对相位值，也称作相位主值，它反映了物体对应点上高度信息；

然后对式(1)进行傅里叶变换，利用高通滤波器进行滤波，去除背景光强的零频信号，选取以零频信号为中心的其右部分的基频信号，进行傅里叶逆变换，求出相位主值。

3.根据权利要求2所述的基于单幅条纹投影的多视角三维指纹获取方法，其特征在于，进行傅里叶逆变换，表示为：

其实部和虚部分别为：

其相位主值写成：

4.根据权利要求1～3之一所述的基于单幅条纹投影的多视角三维指纹获取方法，其特征在于，所述步骤(2)包括如下步骤：

(21)由于从(1)提取出来的相位是包裹的，因此需要进行相位解缠，为了防止在解缠过程中，某个像素点有噪声，造成解缠误差，采用基于质量图的空间相位解缠，过程如下：

分别计算各个像素点的水平、垂直方向梯度值，然后分别求出全部像素水平、垂直方向梯度的平均值，计算每个像素点水平方向梯度值与全部像素水平方向平均梯度值的差值、垂直方向梯度值与全部像素垂直方向平均值的差值，作为当前像素的评估权值，质量权值越大表示相位质量越差，公式为：

式(2)中，

和/>

分别表示当前像素点水平和垂直相位梯度，/>

和/>

分别表示全部像素点水平和垂直平均相位梯度，针对三维指纹，其相位梯度差异较小所以平均梯度更能反应当前像素点的质量；

(22)从质量图中找出质量最高的像素点为解缠路径的起点并且默认其相位为连续的，遍历其四邻域找到四领域内质量最高的像素点作为下一个解缠点，并进行解缠，并标记已经解缠后的点且不参加二次解缠，依次循环上述遍历过程，直至所有像素点都在解缠路径上，并完成解缠，解缠公式如下：

其中，round为四舍五入取整操作，

解缠后的相位，φ(x,y)待解缠的包裹相位，

为待解缠相邻的连续相位；

(23)在获得解缠后的相位后，根据系统标定的参数，求出对应的三维坐标，完成单视角三维指纹重建。

Images