CN111009007A - 一种指部多特征全面三维重建方法 - Google Patents

Abstract

本发明提供一种指部多特征全面三维重建方法，包括：第一步，对多视角多光谱手指采集装置进行标定；第二步，采用多视角立体重建算法对手指的表面纹理图像进行特征匹配得到手指表面的稀疏三维点云，完成多视角立体重建；第三步，采用光度立体法实现对手指表面进行三维重建得到稠密深度信息；第四步，将多视角立体重建的三维点云与光度立体法得到的稠密深度信息进行融合，得到融合后的三维Mesh模型；第五步，将手指的表面纹理图像和内部静脉纹理图像映射得到融合后的三维Mesh模型中，得到指部多特征全面三维模型。本发明采用多视角立体重建和光度立体法重建相融合得到稠密三维模型，从而降低三维建模方法导致的识别准确率降低的情况。

Description

一种指部多特征全面三维重建方法

技术领域

本发明涉及生物特征识别技术领域，更具体地说，涉及一种指部多特征全面三维重建方法。

背景技术

在信息技术和网络技术高度发达的今天，鉴定个人身份及个人信息安全已经成为一个亟待解决的关键社会问题，生物特征识别作为一种身份认证和信息安全技术，已大量应用到通关检查、安防监控、金融银行、刑事侦查及户籍管理等各个领域。生物特征识别技术利用生物特征进行身份鉴定，所采用的生物特征主要可分为生理特征，如人脸、指纹、虹膜、指静脉、指形等；及行为特征，如步态、签名、声纹等。相比于传统的基于身份证件或密码等的身份鉴定方式，生物特征识别具有安全性高、不易伪造及不会遗失等优点。

指部生物特征作为生物特征识别领域应用最广泛的一类特征，主要包括指纹、指静脉、指肚横纹、指背横纹、指甲床、指形等特征。指部生物特征具有使用方便、设备易于小型化的特点，且由于需要用户主动配合，从而极大降低了生物特征未经本人允许而被采集甚至盗用的风险，这是人脸、步态、声纹等特征所难以具备的。但是目前的指部生物特征识别系统往往只使用二维特征或单一模态进行身份识别，单模态其信息容量少、识别准确率低、容易被伪冒、特征易受环境影响而改变，所以目前很多研究者和企业采用多模态生物特征，将两种甚至多种生物特征共同进行身份识别，从而降低上述问题的影响。

比较常见的指部多模态融合方式是指纹和指静脉融合，指纹是广泛使用的一种生物特征，其特征点多，识别准确率高；指静脉作为一种手指内部的生物特征具有安全性高和能活体检测的优势，将两者结合从而提高系统识别准确率和安全性。但是目前特征采集主要分别采用指纹传感器和近红外摄像头，两种传感器分别采集对应生物特征，这使得系统仍然存在每种生物特征被单独伪冒攻击的风险，而且生产成本较高。同时二维指纹和二维指静脉特征在实际使用中，往往会由于手指轴向旋转导致采集区域与注册模板区域不一致从而降低识别准确率。

发明内容

本发明的目的在于克服现有技术中的缺点与不足，提供一种指部多特征全面三维重建方法，该方法得到的指部多特征全面三维模型同时集成三维指纹、三维指静脉和三维指形特征，极大提高信息量和识别准确率，伪冒攻击难度极高从而保证安全性，同时其三维信息的应用降低了手指轴向旋转的影响。

为了达到上述目的，本发明通过下述技术方案予以实现：一种指部多特征全面三维重建方法，其特征在于：包括以下步骤：

第一步，对多视角多光谱手指采集装置进行标定；

第二步，采用多视角立体重建算法对手指的表面纹理图像进行特征匹配得到手指表面的稀疏三维点云，完成多视角立体重建，以获得手指准确轮廓信息；

第三步，采用光度立体法实现对手指表面进行三维重建得到稠密深度信息，该方法具有可获得手指表面细节信息的优势；

第四步，将多视角立体重建的三维点云与光度立体法得到的稠密深度信息进行融合，即采用匹配点对在三维空间中的均方差损失和平滑项损失进行迭代优化，得到融合后的三维 Mesh模型；

第五步，将手指的表面纹理图像和内部静脉纹理图像映射至三维Mesh模型得到融合后的三维Mesh模型中，即为指部多特征全面三维模型。

所述多视角多光谱手指采集装置包括上位机和与上位机连接的手指三维采集机构；

所述手指三维采集机构包括相互连接的多视角采集模块和底座模块；所述多视角采集模块由六边形支架、6个无滤波片摄像头模组、6个多光谱光源电路板及用于配套可调节位置的螺丝螺母组成；所述多光谱光源电路板与无滤波片摄像头模组通过螺丝螺母固定于六边形支架的内侧面上，以360°围绕的方式对手指进行图像采集；所述多光谱光源电路板上设置有红外发光二极管和可见光发光二极管；所述底座模块由与六边形支架连接的底座支架及光源控制电路板组成；

所述上位机包括三维重建系统及身份识别系统；所述三维重建系统由图像采集控制模块和三维重建算法模块组成，三维重建算法模块应用光度立体法和多视角立体重建算法实现指部多特征全面三维模型重建；所述身份识别系统使用已重建的指部多特征全面三维模型进行身份识别。

在第一步中，所述对多视角多光谱手指采集装置进行标定是指：分别对多相机系统、相机响应函数和可见光发光二极管光源位置进行标定；所述多相机系统标定是为获取6个无滤波片摄像头模块，即相机A,B,C,D,E,F的内参K_i和外参R_i,t_i，其中i＝A,B,C,D,E,F。

对可见发光二极管光源位置进行标定是指：将手指三维采集机构放置于黑暗环境下，相机D侧的多光谱光源电路板上的一颗可见光发光二极管点亮，记为点光源 P_k(x_Pk,y_Pk,z_Pk，1)，k＝1…K,其中K为所有可见光发光二极管灯的个数；相机D正对面的相机是相机A及相机A邻近的一个相机B共两个相机拍摄到有该可见光发光二极管的图片I_A,Pk和 I_B,Pk，两相机A，B内外参由多相机标定步骤已标定，故A,B相机内外参已知为 K_A,R_A,t_A,K_B,R_B,t_B，由于图片I_A,Pk和I_B,Pk在黑暗环境下拍摄所以直接使用全局灰度值阈值可精确地获得该可见光发光二极管灯在图片坐标系下的位置p_A,Pk(u_A,Pk,v_A,Pk，1)和 p_B,Pk(u_B,Pk,v_B,Pk，1)，相机模型采用透射投影相机模型，在齐次坐标系下有：

sp＝K[Rt]P (1)

其中P是相机坐标系下三维点坐标位置，K,R,t分别是相机内外参，p是三维点对应图片坐标系上点的二维坐标位置，s是尺度因子，为1/z，z为相机坐标系下该三维点的深度；将已知的A,B相机内外参已知为K_A,R_A,t_A,K_B,R_B,t_B，图片坐标系下的位置p_A,Pk(u_A,Pk,v_A,Pk，1)和p_B,Pk(u_B,Pk,v_B,Pk，1)已知，代入式(1)得到三维欧式坐标系下两条直线：

求两直线之间垂线段的中点作为该点光源P_k的坐标(x_Pk,y_Pk,z_Pk)；对同一点光源拍摄多次图像，得到多组该点光源P_k的坐标(x_Pk,y_Pk,z_Pk)，求其平均值作为该点光源P_k的实际坐标

将上述步骤对6个多光谱光源电路板上的每颗可见光发光二极管进行标定，得所有可见光发光二极管的三维坐标

在第二步中，所述采用多视角立体重建算法对手指的表面纹理图像进行特征匹配得到手指表面的稀疏三维点云，完成多视角立体重建，以获得手指准确轮廓信息是指：

首先采集手指表面纹理图像，图像采集控制模块通过串口发送指令控制6个多光谱光源电路板上的每个可见光发光二极管依次轮流闪烁，在每次可见光发光二极管亮期间，该可见光发光二极管所处六边形支架该边上及邻近两边上共三个无滤波片摄像头模块分别采集一张手指表面纹理图像I_Ai,I_Bi,I_Fi,i＝1…K；

然后进行多视角立体重建，对三张图片I_Ai,I_Bi,I_Fi提取SIFT特征，两两图片之间进行特征匹配找出匹配的SIFT特征匹配点对，使用极线几何得到手指表面的稀疏三维点云，即完成多视角立体重建。

在第三步中，所述采用光度立体法实现对手指表面进行三维重建得到稠密深度信息是指： 6个无滤波片摄像头模块A,B,C,D,E,F均会拍摄可视范围内6个多光谱光源电路板上的每个可见光发光二极管照射手指表面的图片；每张图片对应光源三维坐标已标定，是

其中M是摄像头A可视范围内可见光发光二极管个数；手指表面反射模型采用兰伯特反射模型：

I^k(p)＝Φ(M^k(p))＝ρ(P){s^k(P)·n(P)} (3)

其中P是手指表面的三维空间点；k＝1…M是摄像头A可视范围内可见光发光二极管个数；ρ(P)为手指表面点P处的表面反射率；s(P)是光源向量，该向量方向为从表面点P指向点光源，长度为照射至表面点P的光强度；n(P)为手指表面空间点P处的表面法向量，为待求对象；M(p)是三维空间点P处的反射光通过透镜到达相机图像传感器对应像素p点处的像素点灰度值；Φ(·)是已标定的相机响应函数的反函数，该函数输出值与到达图像传感器对应点光通量成线性关系；I(p)是已进行辐射校正的图像；

每一个可见光发光二极管的数学模型采用：

将光强归一化后，可写成：

其中，s^k(P)是第k个可见光发光二极管照射到三维表面点P处的光强；

是光源主方向；

其中

是光源三维坐标位置，P是物体表面点三维坐标位置，

是从物体表面三维点P指向光源点

的方向矢量；μ^k是光源模型参数；

在透射投影相机模型下，有：

其中，P＝[x,y,z]是手指表面三维点，P(p)是在像素坐标系下像素点p对应的手指表面点P；z(p)是在像素坐标系下像素点p对应的手指表面点P在z轴上的值，一般认为是深度信息；K是已标定的相机内参：

引入重参数化z＝logz，三维表面的坐标P(x,y,logz)与表面法向量

存在如下关系：

其中z＝logz

引入一种伪反射率

将式(5)(8)(9)代入式(3)中，得：

联合估计出深度信息logz，伪反射率

和光源光强φ，引入重参数化θ^k＝φ^kρ，同时将上述模型转换为离散优化问题：

其中Φ是鲁棒估计器，采用柯西估计器：

Φ(x)＝λ²log(1+x²/λ²) (12)

其中λ为超参，采用λ＝0.1；采用共轭梯度法进行数值迭代优化得到深度信息z，再令 z＝10^z得到最终该无滤波片摄像头模块的相机坐标系下的深度z(p)。

在第四步中，所述将多视角立体重建的三维点云与光度立体法得到的稠密深度信息进行融合，即采用匹配点对在三维空间中的均方差损失和平滑项损失进行迭代优化，得到融合后的三维Mesh模型是指：

S1，多视角立体重建中，6个无滤波片摄像头模块A,B,C,D,E,F，在可视范围内每个模块拍摄图片为I_Ai,I_Bi,I_Ci,I_Di,I_Ei,I_Fi,i＝1…M，两两相邻视角之间同一可见光发光二极管光照下拍摄的图片提取SIFT特征并进行特征匹配获得匹配点对，并使用极线几何得到手指表面的稀疏三维点云P_ABi,P_BCi,P_CDi,P_DEi,P_EFi,P_FAi；

S2，光度立体法中，6个无滤波片摄像头模块A,B,C,D,E,F，在不同可见光发光二极管光照下拍摄多张图片进行光度立体三维重建得到稠密深度信息z_A,z_B,z_C,z_D,z_E,z_F；

S3，定义一个初始的三维Mesh，其每个顶点有5个维度(x,y,z,v1,v2)，其中x，y，z是三维坐标信息，v1是表面指纹灰度信息，v2是内部静脉灰度信息；两相邻相机A和相机B，所获得SIFT匹配点对为(p_Ai,p_Bi)，对应三维点云为P_ABi，光度立体法在图像坐标系下图像为I(p_A),I(p_B)，对应各自相机坐标系下深度信息为z_A,z_B，则各自相机坐标系下三维Mesh 顶点坐标是P_{PS_A}(x_A(p_Ai),y_A(p_Ai),z_A(x_A,y_A))，P_{PS_B}(x_B(p_Bi),y_B(p_Bi),z_B(x_B,y_B))，则在世界坐标系下其顶点坐标为[R_A t_A]P_{PS_A}，[R_B t_B]P_{PS_B}，这些稠密Mesh在图像像素点p_Ai,p_Bi对应的三维Mesh 顶点记为[R_A t_A]P_{PS_A,i}，[R_B t_B]P_{PS_B,i}，由实际物理原理可知，两种重建方法所获得的三个点云P_ABi，和三维Mesh顶点坐标[R_A t_A]P_{PS_A,i}，[R_B t_B]P_{PS_B,i}均为手指表面的同一点，因此三点应该是同一点；

使用均方差损失和平滑项损失进行迭代优化，对两种三维信息进行融合：

其中X＝A,B,C,D,E,F，且有关系B＝A+1,C＝B+1,D＝C+1,E＝D+1,F＝E+1,A＝F+1；||[R_X t_X]P_{PS_X,i}-P_X(X+1)i||²+||[R_(X+1) t_(X+1)]P_{PS_(X+1),i}-P_X(X+1)i||²是三维点坐标的均方误差损失； ||▽P_{PS_X}||²是平滑项损失；β是超参权重，采用0.01；i代表在一个无滤波片摄像头模块下匹配点对的编号；最外层求和符号表示分别对A,B,C,D,E,F相机均将该损失值进行相加求和作为总的损失；

S4，使用Levenberg-Marquardt方法对三维Mesh进行迭代优化得到融合后的三维Mesh 模型。

在第五步中，所述将手指的表面纹理图像和内部静脉纹理图像映射至三维Mesh模型得到融合后的三维Mesh模型，即为指部多特征全面三维模型是指：三维Mesh融合时，需标记光度立体法获得的Mesh的原始顶点编号，以及融合后原始顶点编号变化的对应位置索引，如此由于光度立体法重建所获得的Mesh顶点是P_{PS_A}(x_A(p_Ai),y_A(p_Ai),z_A(x_A,y_A))，图像平面每个像素点p_Ai对应的三维Mesh顶点P_{PS_A}均是一一对应且已知的，同时拍摄手指表面反射图像和指静脉图像时相机和手指认为均是没有移动，因此指纹图像和指静脉图像都可以依据图像平面每个像素点的像素坐标p_Ai找到其对应到已经融合后的三维Mesh顶点中去，根据该索引方式填充步骤(4)中采用Mesh的顶点的5个维度(x,y,z,v1,v2)中的v1和v2，v1赋值为对同一相机拍摄多张指纹反射图像亮度归一化后的像素值，v2赋值为指静脉图像亮度归一化后的像素值；

通过上述步骤，得到最终的Mesh顶点具有5个维度(x,y,z,v1,v2)的信息，成为完整的指部多特征全面三维模型的建立。

与现有技术相比，本发明具有如下优点与有益效果：

1、本发明指部多特征全面三维重建方法采用多视角立体重建和光度立体法重建相融合得到稠密三维模型，结合两种三维重建方法的优点，既能获得准确的细节信息又能有精确的轮廓信息，使得三维模型更接近真实手指外形，从而降低三维建模方法导致的识别准确率降低的情况。

2、本发明指部多特征全面三维重建方法得到的指部多特征全面三维模型集成了多种指部生物特征，包括三维指纹、三维指静脉、三维指形、指肚横纹、指背横纹和指甲床等，基本囊括指部所有特征于一体，使得识别准确率高，伪冒攻击难度极大。

附图说明

图1是本发明指部多特征全面三维重建方法的流程图；

图2是本发明手指三维采集机构的结构示意图；

图3是本发明手指三维采集机构中多光谱光源电路板的示意图；

其中，1为六边形支架、2为多光谱光源电路板、3为近红外发光二极管灯、4为可见光发光二极管、5为底座支架、6为圆孔、7为导线槽、8为固定孔、9为手指支撑架、9.1为圆弧状顶端、10为挡板架、10.1为圆弧孔。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细的描述。

实施例

本发明指部多特征全面三维重建方法包括以下步骤：

第一步，对多视角多光谱手指采集装置进行标定；

第二步，采用多视角立体重建算法对手指的表面纹理图像进行特征匹配得到手指表面的稀疏三维点云，完成多视角立体重建，以获得手指准确轮廓信息；

第三步，采用光度立体法实现对手指表面进行三维重建得到稠密深度信息，以可获得手指表面细节信息的优势；

第四步，将多视角立体重建的三维点云与光度立体法得到的稠密深度信息进行融合，即采用匹配点对在三维空间中的均方差损失和平滑项损失进行迭代优化，得到融合后的三维 Mesh模型；

第五步，将手指的表面纹理图像和内部静脉纹理图像映射至三维Mesh模型得到融合后的三维Mesh模型中，即为指部多特征全面三维模型。

本发明的多视角多光谱手指采集装置包括上位机和与上位机连接的手指三维采集机构，如图1和图2所示，手指三维采集机构包括相互连接的多视角采集模块和底座模块，多视角采集模块由六边形支架1、6个无滤波片摄像头模组、6个多光谱光源电路板2及用于配套可调节位置的螺丝螺母组成。该无滤波片摄像头模组与多光谱光源电路板2连接后，通过螺丝螺母固定于六边形支架1的内壁上，实现以围绕的方式对手指进行图像采集。多光谱光源电路板2上设置有近红外发光二极管灯3和可见光发光二极管4。而底座模块包括底座支架5、光源控制电路板和用于手指放置的手指支架，该底座支架5与六边形支架1连接，手指支架与底座支架5连接并位于六边形支架1两侧，光源控制电路板设置在底座支架5的内部，并分别与无滤波片摄像头模组和多光谱光源电路板2信号连接。

上位机包括三维重建系统及身份识别系统，该三维重建系统由图像采集控制模块和三维重建算法模块组成，三维重建算法模块应用光度立体法和多视角立体重建算法实现指部多特征全面三维模型重建；身份识别系统使用已重建的指部多特征全面三维模型进行身份识别。

具体地说，多光谱光源电路板2开设有圆孔6，无滤波片摄像头模组的采集组件伸出圆孔6至六边形支架1内。本实施例的无滤波片摄像头模组为现有市面上的产品，其采集组件由无滤波片镜头和宽光谱灰度摄像头模组组成。该手指三维采集机构的近红外发光二极管灯 3沿手指轴向方向设置在多光谱光源电路板2上，并排列成“一”字型。而可见光发光二极管4环形等间距分布在圆孔6四周。

本发明的六边形支架1的侧面设置有用于多光谱光源电路板2和无滤光片摄像头模组走线的导线槽7，多光谱光源电路板2和无滤光片摄像头模组的导线通过导线槽7汇集至底座支架5内，与光源控制电路板信号连接。另外，六边形支架1的侧面设置有用于固定和调节无滤波片摄像头模组和多光谱光源电路板位置的固定孔8。配套可调节位置的螺丝螺母通过固定孔8以固定和调节无滤波片摄像头模组和多光谱光源电路板2的位置，从而非常方便地调节实现最佳的光照距离和拍摄距离，保证后续三维重建的效果。手指支架包括用于支撑手指的手指支撑架9和用于防止手指前后大距离移动的挡板架10，其中，手指支撑架9和挡板架10相对设置在六边形支架1的两侧。该手指支撑架9的顶端设置为便于手指放置的圆弧状顶端9.1。该挡板架10高于手持支撑架9，并与手指支撑架圆弧状顶端9.1相对位置设置圆弧孔10.1，用于对手指指尖的定位。

底座支架5的后侧面和底侧面为开口，可用矩形活动板覆盖，活动板使用螺丝固定到底座支架5上，底侧面活动板用于固定光源控制电路板和无滤波片摄像头模组的导线，后侧面活动板挖一个矩形孔用于无滤波片摄像头模组导线和光源控制电路板信号线连接至上位机。光源控制电路板通过导线连接6个多光谱光源电路板2，使用嵌入式芯片及光源控制电路实现对每个近红外发光二极管灯3和可见光发光二极管4的驱动。同时光源控制电路板通过串口连接至上位机，上位机发送控制指令对多光谱光源电路板2上的近红外发光二极管灯3和可见光发光二极管4进行控制。同时6个无滤波片摄像头模块的导线进入底座支架内再从底座支架后侧壁孔连出至上位机。上位机为个人台式计算机，上位机有6个图像采集接口用于连接6个无滤波片摄像头模块，还有1个串口连接至光源控制电路板的串口。

上位机集成三维重建系统和身份识别系统。三维重建系统由图像采集控制模块和三维重建算法模块组成，图像采集控制模块通过串口发送指令控制6个多光谱光源电路板上的各个近红外发光二极管灯3和可见光发光二极管4，对伸入手指进行打光，然后图像采集控制模块再控制6个无滤波片摄像头模块采集手指的表面纹理图像和内部静脉图像。三维重建算法模块使用已采集到的手指的表面纹理图像应用光度立体法和多视角立体重建算法实现对手指表面精确的三维重建，然后将手指表面纹理和内部静脉纹理采用纹理映射得到指部多特征全面三维模型。身份识别系统使用机器学习模型实现对指部多特征全面三维模型提取模板特征，将待识别的指部多特征全面三维模型的特征与已注册模板进行匹配，实现身份认证。

为实现指部多特征全面三维重建，本发明提供一种指部多特征全面三维重建方法，其主要内容为：

上位机中的三维重建系统由图像采集控制模块和三维重建算法模块组成，图像采集控制模块通过串口发送指令控制6个多光谱光源电路板2上的各个近红外发光二极管灯3和可见光发光二极管4，对伸入手指进行打光，然后再由图像采集控制模块控制6个无滤波片摄像头模块采集手指的表面纹理图像和内部静脉图像。具体为，手指伸入到手指支撑上并保持不动后。先采集近红外指静脉图像，上位机发送指令使一块多光谱光源电路板2上“一”字型布局的多颗近红外发光二极管灯3全部亮，一小段时间后灭，6块多光谱光源电路板依次如此亮灭一周。在每次“一”字型布局的近红外发光二极管灯3亮期间，该多光谱光源电路板 2正对面的无滤波片摄像头模块采集一张近红外指静脉图片。完成上述过程后，进入采集表面纹理指纹图像阶段，图像采集控制模块通过串口发送指令控制6个多光谱光源电路板2上的每个可见光发光二极管4依次轮流闪烁，在每次可见光发光二极管4亮的期间，该可见光发光二极管4所处六边形支架1的该边及邻近两边共三个无滤波片摄像头模块分别采集一张手指表面纹理图像，之后将使用这些表面纹理图像进行光度立体法和多视角立体的三维模型重建。

获得上述手指的表面纹理图像和内部静脉图像后，三维重建算法模块使用光度立体法和多视角立体重建算法来实现对手指表面精确的三维重建，然后将手指表面纹理和内部静脉纹理采用纹理映射得到指部多特征全面三维模型。三维重建算法模块一共由五部分组成，系统标定部分，多视角立体重建，单视角光度立体法三维重建，三维模型融合，纹理映射部分。

1)系统标定部分

系统标定部分包括多相机系统标定，相机响应函数标定，可见光发光二极管光源位置标定。多相机系统标定是为获得6个无滤波片摄像头模块(记为相机A,B,C,D,E,F)的内参K_i和外参R_i,t_i，其中i＝A,B,C,D,E,F。使用Tomas Svoboda 2005年提出的多相机标定方法对该多相机系统进行标定。相机响应函数标定是为确定无滤波片摄像头模块的进入镜头的通光量与图像传感器输出像素灰度值之间的关系，对该映射函数关系进行辐射校正，从而建立相机的光度模型。相机响应函数标定采用Tommo Mitsunaga 1999年提出的辐射自标定法进行标定。

可见光发光二极管光源位置标定是为获得每个可见光发光二极管灯的精确三维坐标位置，用于光度立体法三维重建。具体标定方法为，将装置放置于黑暗环境下，相机D侧的多光谱光源电路板上的一颗可见光发光二极管微弱地点亮(记为点光源 P_k(x_Pk,y_Pk,z_Pk，1)，k＝1…K,其中K为设备上所有可见光发光二极管灯的个数)，其亮度调节为非常微弱以便获得位置精度更高，相机D正对面的相机是相机A及相机A邻近的一个相机B 共两个相机拍摄到有该可见光发光二极管的图片I_A,Pk和I_B,Pk，两相机A，B内外参由多相机标定步骤已标定，故A,B相机内外参已知为K_A,R_A,t_A,K_B,R_B,t_B，由于图片I_A,Pk和I_B,Pk在黑暗环境下拍摄所以直接使用全局灰度值阈值可精确地获得该可见光发光二极管灯在图片坐标系下的位置p_A,Pk(u_A,Pk,v_A,Pk，1)和p_B,Pk(u_B,Pk,v_B,Pk，1)。相机模型采用透射投影相机模型，在齐次坐标系下有：

sp＝K[R t]P (1)

其中P是相机坐标系下三维点坐标位置，K,R,t分别是相机内外参，p是三维点对应图片坐标系上点的二维坐标位置，s是尺度因子，为1/z，z为相机坐标系下该三维点的深度。将已知的A,B相机内外参已知为K_A,R_A,t_A,K_B,R_B,t_B，图片坐标系下的位置p_A,Pk(u_A,Pk,v_A,Pk，1)和 p_B,Pk(u_B,Pk,v_B,Pk，1)已知，代入式(1)得到三维欧式坐标系下两条直线：

上述直线从理论上应该有交点，但由于实际测量误差并未相交，因此求两直线之间垂线段的中点作为该点光源P_k的坐标(x_Pk,y_Pk,z_Pk)。对同一点光源拍摄多次图像，得到多组该点光源P_k的坐标(x_Pk,y_Pk,z_Pk)，求其平均值作为该点光源P_k的实际坐标

将上述步骤对6 个多光谱光源电路板上的每颗可见光发光二极管进行标定，得所有可见光发光二极管的三维坐标

如此可见光发光二极管光源位置标定完成。

2)多视角立体重建

首先采集表面纹理图像，图像采集控制模块通过串口发送指令控制6个多光谱光源电路板上的每个可见光发光二极管依次轮流闪烁，在每次可见光发光二极管亮期间，该可见光发光二极管所处六边形支架该边上及邻近两边上共三个无滤波片摄像头模块(比如摄像头模块 A，B，F)分别采集一张手指表面纹理图像I_Ai,I_Bi,I_Fi,i＝1…K。然后进行多视角立体重建，对三张图片I_Ai,I_Bi,I_Fi提取SIFT特征，两两图片之间进行特征匹配找出匹配的SIFT特征匹配点对，使用极线几何得到手指表面的稀疏三维点云，即完成多视角立体重建。

3)单视角光度立体法三维重建

光度立体法是基于光学和物理学理论，建立物体表面反射物理几何模型，基于该模型，摄像机在同一位置，而光源在不同角度下打光，拍摄多副图像，结合物体表面反射模型计算物体表面法向量分布，最后根据法向量还原物体三维结构信息。这里，6个无滤波片摄像头模块A,B,C,D,E,F均会拍摄可视范围内6个多光谱光源电路板上的每个可见光发光二极管照射手指表面的图片。如无滤波片摄像头模块A拍摄不同光照下的手指反射图像为I_A,Pk，每张图片对应光源三维坐标已标定，是

其中M是摄像头A可视范围内可见光发光二极管个数。手指表面反射模型采用兰伯特反射模型：

I^k(p)＝Φ(M^k(p))＝ρ(P){s^k(P)·n(P)} (3)

其中P是手指表面的三维空间点；k＝1…M是摄像头A可视范围内可见光发光二极管个数；ρ(P)为手指表面点P处的表面反射率；s(P)是光源向量，该向量方向为从表面点P指向点光源，长度为照射至表面点P的光强度；n(P)为手指表面空间点P处的表面法向量，为待求对象；M(p)是三维空间点P处的反射光通过透镜到达相机图像传感器对应像素p点处的像素点灰度值；Φ(·)是已标定的相机响应函数的反函数，该函数输出值与到达图像传感器对应点光通量成线性关系；I(p)是已进行辐射校正的图像。

每一个可见光发光二极管的数学模型采用：

将光强归一化后，可写成：

其中，s^k(P)第k个可见光发光二极管照射到三维表面点P处的光强；

是光源主方向；

其中

是光源三维坐标位置，P是物体表面点三维坐标位置，

是从物体表面三维点P指向光源点

的方向矢量；μ^k是光源模型参数。

在透射投影相机模型下，有：

其中，P＝[x,y,z]是手指表面三维点，P(p)是在像素坐标系下像素点p对应的手指表面点P； z(p)是在像素坐标系下像素点p对应的手指表面点P在z轴上的值，一般认为是深度信息；K 是已标定的相机内参：

引入重参数化z＝logz，三维表面的坐标P(x,y,logz)与表面法向量

存在如下关系：

其中z＝logz

不直接估计兰伯特模型中的表面反射率ρ(p)，而是引入一种伪反射率

将式(5)(8)(9)代入式(3)中，得：

我们的目标是联合估计出深度信息logz，伪反射率

和光源光强φ，引入重参数化θ^k＝φ^kρ，同时将上述模型转换为离散优化问题：

其中Φ是鲁棒估计器，采用柯西估计器：

Φ(x)＝λ²log(1+x²/λ²) (12)

其中λ为超参，采用λ＝0.1。为解决式(11)的优化问题，采用共轭梯度法进行数值迭代优化得到我们所需要的深度信息z，再令z＝10^z得到最终该无滤波片摄像头模块的相机坐标系下的深度z(p)。

4)三维模型融合

光度立体法三维重建具有设备结构简单，重建三维模型细节特征丰富，这是很多三维重建算法难以实现的。但光度立体法存在重建表面全局轮廓畸变严重，低频特征准确度差的缺点，为此本发明将多视角立体重建与光度立体法进行融合，多视角立体重建采用多相机系统的相机模型，使用几何关系建立稀疏三维点云，而由于这些三维点云是基于相机模型和几何关系的，因此低频轮廓信息更准确，但高频细节特征非常稀疏且不准确，使用多视角立体重建获得的三维点云去修正光度立体法所获得的稠密三维信息，使得所得三维模型不仅细节特征丰富而且全局轮廓准确，得到更加接近手指真实三维表面的手指全面三维模型。为将多视角立体重建的三维点云与光度立体法稠密深度信息进行融合，具体采用方法为：首先，多视角立体重建中，6个无滤波片摄像头模块A,B,C,D,E,F，在可视范围内每个模块拍摄图片为 I_Ai,I_Bi,I_Ci,I_Di,I_Ei,I_Fi,i＝1…M，两两相邻视角之间同一可见光发光二极管光照下拍摄的图片提取SIFT特征并进行特征匹配获得匹配点对，并使用极线几何得到手指表面的稀疏三维点云 P_ABi,P_BCi,P_CDi,P_DEi,P_EFi,P_FAi。光度立体法中，6个无滤波片摄像头模块A,B,C,D,E,F，在不同可见光发光二极管光照下拍摄多张图片进行光度立体三维重建得到稠密深度信息 z_A,z_B,z_C,z_D,z_E,z_F。定义一个初始的Mesh，其每个顶点有5个维度(x,y,z,v1,v2)，其中x，y， z是三维坐标信息，v1是表面指纹灰度信息，v2是内部静脉灰度信息。在三维模型融合阶段只操作x，y，z进行三维信息融合。两相邻相机A和相机B，所获得SIFT匹配点对为(p_Ai,p_Bi)，对应三维点云为P_ABi，而光度立体法在图像坐标系下图像为I(p_A),I(p_B)，对应各自相机坐标系下深度信息为z_A,z_B，因此各自相机坐标系下Mesh顶点坐标是P_{PS_A}(x_A(p_Ai),y_A(p_Ai),z_A(x_A,y_A))，P_{PS_B}(x_B(p_Bi),y_B(p_Bi),z_B(x_B,y_B))，则在世界坐标系下其顶点坐标为[R_A t_A]P_{PS_A}，[R_B t_B]P_{PS_B}，这些稠密Mesh在图像像素点p_Ai,p_Bi对应的Mesh顶点记为[R_A t_A]P_{PS_A,i}，[R_B t_B]P_{PS_B,i}，由实际物理原理可知，两种重建方法所获得的三个点云P_ABi，和Mesh顶点坐标[R_A t_A]P_{PS_A,i}， [R_B t_B]P_{PS_B,i}均为手指表面的同一点，因此三点应该是同一点。

由此使用均方差损失和平滑项损失进行迭代优化，对两种三维信息进行融合：

其中X＝A,B,C,D,E,F，且有关系B＝A+1,C＝B+1,D＝C+1,E＝D+1,F＝E+1,A＝F+1；||[R_X t_X]P_{PS_X,i}-P_X(X+1)i||²+||[R_(X+1) t_(X+1)]P_{PS_(X+1),i}-P_X(X+1)i||²是三维点坐标的均方误差损失； ||▽P_{PS_X}||²是平滑项损失，β是超参权重，采用0.01；i代表在一个无滤波片摄像头模块下匹配点对的编号；最外层求和符号表示分别对A,B,C,D,E,F相机均将该损失值进行相加求和作为总的损失。然后使用Levenberg-Marquardt方法对三维Mesh进行迭代优化得到融合后的全面稠密三维Mesh。

5)纹理映射部分

三维Mesh融合时，需标记光度立体法获得的Mesh的原始顶点编号，以及融合后原始顶点编号变化的对应位置索引，如此由于光度立体法重建所获得的Mesh顶点是 P_{PS_A}(x_A(p_Ai),y_A(p_Ai),z_A(x_A,y_A))，图像平面每个像素点p_Ai对应的三维Mesh顶点P_{PS_A}均是一一对应且已知的，同时拍摄手指表面反射图像和指静脉图像时相机和手指认为均是没有移动，因此指纹图像和指静脉图像都可以依据图像平面每个像素点的像素坐标p_Ai找到其对应到已经融合后的三维Mesh顶点中去，根据该索引方式填充步骤(4)中采用Mesh的顶点的5个维度(x,y,z,v1,v2)中的v1和v2，v1赋值为对同一相机拍摄多张指纹反射图像亮度归一化后的像素值，v2赋值为指静脉图像亮度归一化后的像素值。通过上述步骤，得到最终的Mesh 顶点具有5个维度(x,y,z,v1,v2)的信息，包含了全面三维指纹特征，全面三维指静脉特征，把指纹、三维指形，指静脉，以及其他手指表面生物特征如指肚横纹，指背横纹均集成到此Mesh中，成为完整的指部多特征全面三维模型。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种指部多特征全面三维重建方法，其特征在于：包括以下步骤：

第一步，对多视角多光谱手指采集装置进行标定；

第二步，采用多视角立体重建算法对手指的表面纹理图像进行特征匹配得到手指表面的稀疏三维点云，完成多视角立体重建，以获得手指准确轮廓信息；

第三步，采用光度立体法实现对手指表面进行三维重建得到稠密深度信息，以可获得手指表面细节信息的优势；

第四步，将多视角立体重建的三维点云与光度立体法得到的稠密深度信息进行融合，即采用匹配点对在三维空间中的均方差损失和平滑项损失进行迭代优化，得到融合后的三维Mesh模型；

第五步，将手指的表面纹理图像和内部静脉纹理图像映射至三维Mesh模型得到融合后的三维Mesh模型中，即为指部多特征全面三维模型。

2.根据权利要求1所述的指部多特征全面三维重建方法，其特征在于：所述多视角多光谱手指采集装置包括上位机和与上位机连接的手指三维采集机构；

所述手指三维采集机构包括相互连接的多视角采集模块和底座模块；所述多视角采集模块由六边形支架、6个无滤波片摄像头模组、6个多光谱光源电路板及用于配套可调节位置的螺丝螺母组成；所述多光谱光源电路板与无滤波片摄像头模组通过螺丝螺母固定于六边形支架的内侧面上，以围绕的方式对手指进行图像采集；所述多光谱光源电路板上设置有红外发光二极管和可见光发光二极管；所述底座模块由与六边形支架连接的底座支架及光源控制电路板组成；

所述上位机包括三维重建系统及身份识别系统；所述三维重建系统由图像采集控制模块和三维重建算法模块组成，三维重建算法模块应用光度立体法和多视角立体重建算法实现指部多特征全面三维模型重建；所述身份识别系统使用已重建的指部多特征全面三维模型进行身份识别。

3.根据权利要求2所述的指部多特征全面三维重建方法，其特征在于：在第一步中，所述对多视角多光谱手指采集装置进行标定是指：分别对多相机系统、相机响应函数和可见光发光二极管光源位置进行标定；所述多相机系统标定是为获取6个无滤波片摄像头模块，即相机A,B,C,D,E,F的内参K_i和外参R_i,t_i，其中i＝A,B,C,D,E,F。

4.根据权利要求3所述的指部多特征全面三维重建方法，其特征在于：对可见发光二极管光源位置进行标定是指：将手指三维采集机构放置于黑暗环境下，相机D侧的多光谱光源电路板上的一颗可见光发光二极管点亮，记为点光源P_k(x_Pk,y_Pk,z_Pk，1)，k＝1…K,其中K为所有可见光发光二极管灯的个数；相机D正对面的相机是相机A及相机A邻近的一个相机B共两个相机拍摄到有该可见光发光二极管的图片I_A,Pk和I_B,Pk，两相机A，B内外参由多相机标定步骤已标定，故A,B相机内外参已知为K_A,R_A,t_A,K_B,R_B,t_B，由于图片I_A,Pk和I_B,Pk在黑暗环境下拍摄所以直接使用全局灰度值阈值可精确地获得该可见光发光二极管灯在图片坐标系下的位置p_A,Pk(u_A,Pk,v_A,Pk，1)和p_B,Pk(u_B,Pk,v_B,Pk，1)，相机模型采用透射投影相机模型，在齐次坐标系下有：

sp＝K[R t]P (1)

其中P是相机坐标系下三维点坐标位置，K,R,t分别是相机内外参，p是三维点对应图片坐标系上点的二维坐标位置，s是尺度因子，为1/z，z为相机坐标系下该三维点的深度；将已知的A,B相机内外参已知为K_A,R_A,t_A,K_B,R_B,t_B，图片坐标系下的位置p_A,Pk(u_A,Pk,v_A,Pk，1)和p_B,Pk(u_B,Pk,v_B,Pk，1)已知，代入式(1)得到三维欧式坐标系下两条直线：

求两直线之间垂线段的中点作为该点光源P_k的坐标(x_Pk,y_Pk,z_Pk)；对同一点光源拍摄多次图像，得到多组该点光源P_k的坐标(x_Pk,y_Pk,z_Pk)，求其平均值作为该点光源P_k的实际坐标

将上述步骤对6个多光谱光源电路板上的每颗可见光发光二极管进行标定，得所有可见光发光二极管的三维坐标

5.根据权利要求2所述的指部多特征全面三维重建方法，其特征在于：在第二步中，所述采用多视角立体重建算法对手指的表面纹理图像进行特征匹配得到手指表面的稀疏三维点云，完成多视角立体重建，以获得手指准确轮廓信息是指：

首先采集手指表面纹理图像，图像采集控制模块通过串口发送指令控制6个多光谱光源电路板上的每个可见光发光二极管依次轮流闪烁，在每次可见光发光二极管亮期间，该可见光发光二极管所处六边形支架该边上及邻近两边上共三个无滤波片摄像头模块分别采集一张手指表面纹理图像I_Ai,I_Bi,I_Fi,i＝1…K；

然后进行多视角立体重建，对三张图片I_Ai,I_Bi,I_Fi提取SIFT特征，两两图片之间进行特征匹配找出匹配的SIFT特征匹配点对，使用极线几何得到手指表面的稀疏三维点云，即完成多视角立体重建。

6.根据权利要求5所述的指部多特征全面三维重建方法，其特征在于：在第三步中，所述采用光度立体法实现对手指表面进行三维重建得到稠密深度信息是指：6个无滤波片摄像头模块A,B,C,D,E,F均会拍摄可视范围内6个多光谱光源电路板上的每个可见光发光二极管照射手指表面的图片；每张图片对应光源三维坐标已标定，是

其中M是摄像头A可视范围内可见光发光二极管个数；手指表面反射模型采用兰伯特反射模型：

I^k(p)＝Φ(M^k(p))＝ρ(P){s^k(P)·n(P)} (3)

其中P是手指表面的三维空间点；k＝1…M是摄像头A可视范围内可见光发光二极管个数；ρ(P)为手指表面点P处的表面反射率；s(P)是光源向量，该向量方向为从表面点P指向点光源，长度为照射至表面点P的光强度；n(P)为手指表面空间点P处的表面法向量，为待求对象；M(p)是三维空间点P处的反射光通过透镜到达相机图像传感器对应像素p点处的像素点灰度值；Φ(·)是已标定的相机响应函数的反函数，该函数输出值与到达图像传感器对应点光通量成线性关系；I(p)是已进行辐射校正的图像；

每一个可见光发光二极管的数学模型采用：

将光强归一化后，可写成：

其中，s^k(P)是第k个可见光发光二极管照射到三维表面点P处的光强；

是光源主方向；

其中

是光源三维坐标位置，P是物体表面点三维坐标位置，

是从物体表面三维点P指向光源点

的方向矢量；μ^k是光源模型参数；

在透射投影相机模型下，有：

其中，P＝[x,y,z]是手指表面三维点，P(p)是在像素坐标系下像素点p对应的手指表面点P；z(p)是在像素坐标系下像素点p对应的手指表面点P在z轴上的值，一般认为是深度信息；K是已标定的相机内参：

引入重参数化z＝logz，三维表面的坐标P(x,y,logz)与表面法向量

存在如下关系：

其中z＝logz

引入一种伪反射率

将式(5)(8)(9)代入式(3)中，得：

联合估计出深度信息logz，伪反射率

和光源光强φ，引入重参数化θ^k＝φ^kρ，同时将上述模型转换为离散优化问题：

其中Φ是鲁棒估计器，采用柯西估计器：

Φ(x)＝λ²log(1+x²/λ²) (12)

其中λ为超参，采用λ＝0.1；采用共轭梯度法进行数值迭代优化得到深度信息z，再令z＝10^z得到最终该无滤波片摄像头模块的相机坐标系下的深度z(p)。

7.根据权利要求6所述的指部多特征全面三维重建方法，其特征在于：在第四步中，所述将多视角立体重建的三维点云与光度立体法得到的稠密深度信息进行融合，即采用匹配点对在三维空间中的均方差损失和平滑项损失进行迭代优化，得到融合后的三维Mesh模型是指：

S1，多视角立体重建中，6个无滤波片摄像头模块A,B,C,D,E,F，在可视范围内每个模块拍摄图片为I_Ai,I_Bi,I_Ci,I_Di,I_Ei,I_Fi,i＝1…M，两两相邻视角之间同一可见光发光二极管光照下拍摄的图片提取SIFT特征并进行特征匹配获得匹配点对，并使用极线几何得到手指表面的稀疏三维点云P_ABi,P_BCi,P_CDi,P_DEi,P_EFi,P_FAi；

S2，光度立体法中，6个无滤波片摄像头模块A,B,C,D,E,F，在不同可见光发光二极管光照下拍摄多张图片进行光度立体三维重建得到稠密深度信息z_A,z_B,z_C,z_D,z_E,z_F；

S3，定义一个初始的三维Mesh，其每个顶点有5个维度(x,y,z,v1,v2)，其中x，y，z是三维坐标信息，v1是表面指纹灰度信息，v2是内部静脉灰度信息；两相邻相机A和相机B，所获得SIFT匹配点对为(p_Ai,p_Bi)，对应三维点云为P_ABi，光度立体法在图像坐标系下图像为I(p_A),I(p_B)，对应各自相机坐标系下深度信息为z_A,z_B，则各自相机坐标系下三维Mesh顶点坐标是P_{PS_A}(x_A(p_Ai),y_A(p_Ai),z_A(x_A,y_A))，P_{PS_B}(x_B(p_Bi),y_B(p_Bi),z_B(x_B,y_B))，则在世界坐标系下其顶点坐标为[R_A t_A]P_{PS_A}，[R_B t_B]P_{PS_B}，这些稠密Mesh在图像像素点p_Ai,p_Bi对应的三维Mesh顶点记为[R_A t_A]P_{PS_A,i}，[R_B t_B]P_{PS_B,i}，由实际物理原理可知，两种重建方法所获得的三个点云P_ABi，和三维Mesh顶点坐标[R_A t_A]P_{PS_A,i}，[R_B t_B]P_{PS_B,i}均为手指表面的同一点，因此三点应该是同一点；

使用均方差损失和平滑项损失进行迭代优化，对两种三维信息进行融合：

其中X＝A,B,C,D,E,F，且有关系B＝A+1,C＝B+1,D＝C+1,E＝D+1,F＝E+1,A＝F+1；||[R_Xt_X]P_{PS_X,i}-P_X(X+1)i||²+||[R_(X+1) t_(X+1)]P_{PS_(X+1),i}-P_X(X+1)i||²是三维点坐标的均方误差损失；

是平滑项损失；β是超参权重，采用0.01；i代表在一个无滤波片摄像头模块下匹配点对的编号；最外层求和符号表示分别对A,B,C,D,E,F相机均将该损失值进行相加求和作为总的损失；

S4，使用Levenberg-Marquardt方法对三维Mesh进行迭代优化得到融合后的三维Mesh模型。

8.根据权利要求7所述的指部多特征全面三维重建方法，其特征在于：在第五步中，所述将手指的表面纹理图像和内部静脉纹理图像映射至三维Mesh模型得到融合后的三维Mesh模型中，即为指部多特征全面三维模型是指：三维Mesh融合时，需标记光度立体法获得的Mesh的原始顶点编号，以及融合后原始顶点编号变化的对应位置索引，如此由于光度立体法重建所获得的Mesh顶点是P_{PS_A}(x_A(p_Ai),y_A(p_Ai),z_A(x_A,y_A))，图像平面每个像素点p_Ai对应的三维Mesh顶点P_{PS_A}均是一一对应且已知的，同时拍摄手指表面反射图像和指静脉图像时相机和手指认为均是没有移动，因此指纹图像和指静脉图像都可以依据图像平面每个像素点的像素坐标p_Ai找到其对应到已经融合后的三维Mesh顶点中去，根据该索引方式填充步骤(4)中采用Mesh的顶点的5个维度(x,y,z,v1,v2)中的v1和v2，v1赋值为对同一相机拍摄多张指纹反射图像亮度归一化后的像素值，v2赋值为指静脉图像亮度归一化后的像素值；

通过上述步骤，得到最终的Mesh顶点具有5个维度(x,y,z,v1,v2)的信息，成为完整的指部多特征全面三维模型的建立。

Images