CN102829736A

CN102829736A - 一种三维指纹传感系统

Info

Publication number: CN102829736A
Application number: CN2012103383622A
Authority: CN
Inventors: 黄淑君; 张宗华; 高楠
Original assignee: Hebei University of Technology
Current assignee: Hebei University of Technology
Priority date: 2012-09-12
Filing date: 2012-09-12
Publication date: 2012-12-19
Anticipated expiration: 2032-09-12
Also published as: CN102829736B

Abstract

本发明公开一种三维指纹传感系统。该系统基于条纹投影相位测量方法构建，包括硬件与软件；硬件包括电脑、相机、投影仪和支撑架；电脑通过其HDMI接口与投影仪连接，并通过其千兆网接口与相机连接；支撑架包括大底板、移动板、相机架底板和相机固定板以及上底板、下底板和角位移台；相机固定在直角连接的相机架底板和相机固定板上，相机架底板与移动板固定连接，移动板以可滑动方式安装在大底板的一端；投影仪夹持在上底板和下底板之间，角位移台与下底板连接,并安装在大底板的另一端；且相机与投影仪的相对安装位置和角度应使两者的镜头中心线符合三维成像原理要求；所述软件主要包括图像采集、读入、存储、数据分析、处理和三维显示步骤。

Description

一种三维指纹传感系统

技术领域

本发明涉及非接触式三维测量技术，具体为一种基于条纹投影相位测量方法的三维指纹传感系统。

背景技术

指纹识别作为一种历史悠久的身份认证技术，多年来其发展一直备受关注。由于指纹信息的唯一性、终身不变性及本身方便快捷的采集方式，被认为是颇具普遍性的身份认证方法。随着计算机及光学扫描技术的发展，计算机图像处理算法更加可靠，取像设备成本逐渐降低，尤其是数字投影仪的出现使图像采集处理系统不断优化，并为现代三维光学测量技术的发展提供了良好的条件。

三维光学测量技术具有非接触、精度高、速度快和自动化程度完善等特点。使用光学测量方法获取物体信息时，被测物体表面无形变，且无深度信息损失，因此保留了更多、更准确的测量信息。人体指纹具有三维特征，利用三维光学测量技术获取无畸变三维指纹特征，对高精度生物测定技术的应用和发展具有重大意义。在申请人检索的范围内，基于三维指纹测量的相关文献信息如下：

1.Ruggero Donida Labati,Angelo Genovese Vincenzo Piuri,Fabio Scotti在“基于双视角结构光获取的快速3D指尖重建”(Fast 3-D Fingertip ReconstructionUsing a Single Two-View Structured Light Acquisition,BIOMS,1-8,（2011))文章中,提供了一种以固定投影模式的双目视觉非接触指纹获取系统。该系统利用投影仪投影固定模式的结构光到被测物体表面，利用2个CCD相机从不同角度同时采集图像，然后根据结构光所包含的几何信息找到参考点，并快速将两幅图像拼接；根据所得到的几何信息及相机标定参数可以重建指纹模型。但是这种系统依靠两个CCD相机，成本较高；并且它利用编码结构光提取指纹特征信息，分辨率较低。

2.Yi Chen，Geppy Parziale，Eva Diaz-Santana，Anil K.Jain在“三维非接触指纹：与传统滚动图像的兼容性”（3D Touchless Fingerprints:CompatibilityWith Legacy Rolled Images.Maryland USA,IEEE Conference Publications,(2006)pp.1-6）一文中，提供了一种新型的指纹采集系统。该系统中的成像设备是由5个摄像头组成。这些摄像头围绕指纹采集区域均匀分布。工作过程中多个摄像头同时拍摄实现全视角采集，克服了传统平面采集设备因手指位置不同而引起的图像质量差、信息不充分等缺点。但是该系统中有5个相机，采集之前需要准确确定每个相机的位置并分别进行系统标定，而多相机相对位置的调整和标定一直是该类系统的难点和重点并且难以操作，为实际采集工作带来困难。除此之外，多相机系统的成本较单相机要高很多，不利于实际推广应用。

3.蔡安野在“基于双目视觉的非接触式指纹三维重建”（哈尔滨工业大学，深圳研究生院，硕士研究生论文，（2010.12））论文中，提出了使用两个摄像头采集指纹图像，重建指纹的三维形状信息。该论文从两个不同视角对指纹采集后进行图像拼接处理、获得指纹三维形状数据。双摄像头相对于单摄像头，能够获取较多的被测物体信息。但是，双目视觉系统本身包括两个图像采集设备，其相对位置的调整及匹配较烦琐，并且对同一物体采集的同步性难以保证。除此之外，该种方法需要两个图像中有效匹配点的个数足够多，匹配点个数过少或分布不均匀将无法正确恢复出整个指纹的三维信息，因此需要数据采集量大，效率较低。

4.Yongchang Wang,Hassebrook,L.G.,Lau,D.L.在“三维指纹数据的获取和处理”(Data Acquisition and Processing of 3-D Fingerprints,InformationForensics and Security,5(4),750-760(2010))一文中，提出了一种3D指纹扫描处理方法。该方法将结构光照明引入系统设备中，获得反照率较高的图片信息同时得到指纹纹路的深度信息。该文提供的设备是非接触测量，使用方便、快捷、卫生，基于其三维测量的特点，该设备数据获取量大，并且能够同时获得纹理和深度信息。但该设备采用灰度条纹，其在手指表面的条纹对比度较低，因此所获得的三维指纹不精确。再者，所得到的相位是相对展开相位，而不是绝对展开相位，因此相对三维形状使后面的识别变得复杂。

通过以上文献可以看出：已有的三维指纹传感系统均为非接触式测量，手指以一定姿势放置在设备取像区域内即可由相机拍摄到指纹信息，避免了之前传统的二维传感系统的缺陷。但是已有被动式测量方法首先是系统标定繁琐、调节过程复杂；其次是多相机被动式测量无法给出高精度三维形状数据；另外，多个相机系统成本较高。而已有主动式基于条纹投影相位测量方法的三维指纹传感系统采用了灰度条纹，其在手指表面的条纹对比度较低，无法获得高精度的三维指纹数据；再者，所得到的是相对、而不是绝对展开相位，从而相对三维形状使后续的识别变得复杂。因此，在避免二维指纹传感系统缺陷的同时，如何利用三维指纹传感系统快速、准确地获得指纹绝对三维形状信息，降低系统成本是一个急需解决的难题。

发明内容

针对现有指纹传感系统的不足，本发明拟解决的技术问题是，提供一种三维指纹传感系统。该系统基于条纹投影相位测量方法，可在避免接触式指纹测量过程中由于挤压、手指干湿状态及反复接触带来的指纹信息变形、信息采集量不确定及残影等问题的同时，实现快速、精确指纹图像采集传输，并采用单相机，成本低，使用方便，推广容易。

本发明解决所述技术问题的技术方案是：设计一种三维指纹传感系统，该系统基于条纹投影相位测量方法构建，包括硬件与软件；硬件主要包括电脑、CCD数码相机、DLP数字投影仪和支撑架；所述电脑通过其上的HDMI接口与DLP数字投影仪连接，并通过其上的千兆网接口与CCD数码相机连接；电脑控制DLP数字投影仪和CCD数码相机，并存储、显示和处理所采集的图像，获得相应的结果；DLP数字投影仪用来投射所产生的正弦光栅条纹到被测手指表面的指纹采集区域；CCD相机用于采集投影在手指上的变形条纹图像；所述支撑架主要包括大底板、移动板、相机架底板和相机固定板以及投影仪上底板、投影仪下底板和角位移台；所述CCD数码相机固定在直角连接的相机架底板和相机固定板上，相机架底板与移动板固定连接，移动板以可滑动方式安装在大底板的一端；所述DLP数字投影仪夹持在投影仪上底板和投影仪下底板之间，角位移台与投影仪下底板连接，并安装在大底板的另一端；且所述CCD数码相机与DLP数字投影仪两者的相对安装位置和角度应使两者的镜头中心线符合三维成像原理要求；所述软件主要包括图像采集、读入、存储、数据分析、处理和三维显示步骤。

与现有技术相比，本发明三维指纹传感系统基于条纹投影相位测量方法，其优点是：

1.数据采集量少，图像分辨率高：本发明系统采用相位轮廓测量技术获得指纹三维形状数据，相对于二进制码和灰度投影相位测量技术而言，可以在减少数据采集量的同时，获得更高的图像分辨率；

2.调节简单，使用方便：本发明系统将三维测量系统（主要是DLP投影仪和CCD数码相机）集成在一个相对位置固定的支撑架上，大大减少了测前系统调节的工作量、节省了调节时间，提高了测量效率；

3.结构简单，成本较低，便于推广：相对于双目视觉及多目视觉等被动测量方法，本发明系统仅用一个CCD数码相机采集图像，即可获得高精度三维数据（不依赖图像间特征的匹配），结构简单，成本节省，推广容易。

附图说明

图1为本发明三维指纹传感系统一种实施例的整体结构示意图；

图2为本发明三维指纹传感系统一种实施例的支撑架机械结构示意图：

图2（a）为实施例支撑架整体形状结构示意图；

图2（b）为图2（a）中大底板51的形状结构俯视图；

图2（c）为图2（a）中移动板52的形状结构俯视图；

图2（d）为图2（a）中相机架底板53的形状结构俯视图；

图2（e）为图2（a）中相机固定板54的形状结构前视图；

图2（f）为图2（a）中相机架肋板55的形状结构前视图；

图2（g）为图2（a）中投影仪上底板56的形状结构仰视图；

图2（h）为图2（a）中投影仪下底板57的形状结构俯视图；

图3为本发明三维指纹传感系统一种实施例的硬件系统实物照片图；

图4为本发明三维指纹传感系统一种实施例的人机交互采集界面图，即GUI操作界面图（图中左方显示区域为绿色条纹）；

图5为本发明三维指纹传感系统一种实施例的红、绿、蓝条纹分别照射在手指上的表面成像图；其中，（a）为红色条纹图；（b）为绿色条纹图；（c）为蓝色条纹图；

图6为图5中不同颜色通道正弦条纹中间一行剖面图；

图7为本发明三维指纹传感系统一种实施例中根据最佳三条纹选择方法产生三组最佳条纹个数的条纹于被测手指表面的采集图像图（本图条纹均为绿色），本实施例中应用的最佳条纹选择方法采用的条纹数分别为25,24,20；其中，（a）为25个条纹在手指表面的采集图像；（b）为24个条纹在手指表面的采集图像；（c）为20个条纹在手指表面的采集图像；

图8为本发明三维指纹传感系统一种实施例利用四步相移算法到每组图像得到的三幅折叠相位图；其中，（a）为对应于图7（a）的折叠相位图；（b）为对应于图7（b）的折叠相位图；（c）为对应于图7（c）的折叠相位图；图（d）为应用最佳条纹选择方法到此三幅折叠相位图而得到的展开相位图；

图9为本发明三维指纹传感系统一种实施例对指纹传感系统进行标定得到的三维指纹数据图（原图均为彩色图）；其中，图9（a）、（c）为两个不同视角按光照模式显示的三维数据图；图9（b）、（d）为与两个光照模式相同视角显示的指纹三维纹理映射数据图；将采集的纹理图像映射到三维数据上，得到指纹的三维纹理映射显示信息。

图10为本发明三维指纹传感系统一种实施例的软件工作流程图。

具体实施方式

下面结合实施例及其附图进一步叙述本发明，但本申请权利要求的保护范围不受具体实施例的限制。

本发明设计的三维指纹传感系统（简称系统，参见图1-10），该系统基于条纹投影相位测量方法，包括硬件和软件：硬件包括电脑1、CCD数码相机（简相机）2、DLP数字投影仪（简称投影仪）3和支撑架5；电脑1通过其上的HDMI接口与DLP数字投影仪3连接，并通过其上的千兆网接口与CCD数码相机2连接；所述电脑1用来控制DLP投影仪3和CCD相机2，并存储、显示和处理所采集的图像，获得相应的结果；DLP投影仪3用来投射所产生的正弦光栅条纹到被测手指表面的指纹采集区域4；CCD相机2用于采集投影在手指上的变形条纹图像。所述电脑1、CCD相机2和DLP投影仪3均为市购产品。

本发明所述的支撑架5为本发明特别设计。所述支撑架5（见图2）包括：大底板51、移动板52、相机架底板53、相机固定板54、相机架肋板55、相机2、投影仪上底板56、投影仪3、投影仪下底板57和角位移台58。其中移动板52、相机架底板53、相机固定板54、相机架肋板55与相机2构成相机子系统，投影仪上底板（简称上底板）56、投影仪下底板（简称下底板）57、角位移台58与投影仪3构成投影仪子系统。大底板51为一个矩形的长条形板，作为支撑，其一端用于固定相机子系统，另一端用于固定投影仪子系统，并保证两个子系统相对位置和角度符合三维成像原理要求。

所述大底板51上固定相机子系统的一端开有一个倾斜一定角度的凹槽512，实施例倾斜的角度为87°（见图2（b）），移动板52（见图2（c））配嵌在凹槽512中，可以做前后滑移运动；所述大底板51上固定投影仪系统的一端开有4个螺纹孔514，4个螺纹孔514构成矩形的4个顶点，其对称轴线与大底板51的宽边平行线具有一定夹角，实施例的夹角为18°；所述大底板51长边的中心线上开有3个螺纹孔513，其中2个螺纹孔513对称开在凹槽512中，另一个螺纹孔513开在4个螺纹孔514的几何中心。

所述移动板52（见图2（c））的左右两边对称开有两个长槽522，两个长槽522之间的对称中心线上开有螺纹孔523，螺纹孔523的正下方开有螺纹孔521；移动板52的上端或后端开有长弧形槽524，实施例的长弧形槽524为100°角对应的弧长。

所述相机架底板53（见图2（d））最上端有3个螺纹孔535，通过螺栓与相机固定板54连接。上端左侧有一个螺纹孔534，螺纹孔534与移动板52上的长弧形槽524通过螺栓连接、螺丝紧固；上端右侧有2个螺纹孔533用于与肋板55连接，增强系统稳定性；相机架底板53的中心位置有一个螺纹孔532，该螺纹孔532与移动板52上的中心螺纹孔523通过螺栓连接；相机架底板53的最下端开有短弧形槽531，实施例的弧形槽531为30°角对应的弧长，该弧形槽531通过螺栓与移动板52前端的螺纹孔521连接。所述的短弧形槽531与所述的长弧形槽524相配合，可完成相机2左右角度的调整。

所述相机固定板54（见图2（e））为正方形，其中心开有圆形通孔543，圆形通孔543外接正方形的四个角分别开有带沉孔的螺纹孔544。螺纹孔544与相机自带的四个螺纹孔通过螺栓连接，以固定相机2。相机固定板54的一个端面开有的3个螺纹孔541，与该端面相邻的一条边上开有2个带沉孔的螺纹孔542，用于和肋板55连接，增强系统稳定性。

本发明支撑架5还包括相机架肋板55，相机架肋板55安装在直角连接的相机架底板53与相机固定板54之间。实施例的相机架肋板55（见图2（f））为直角三角形，其两条直角边的端面各开有2个连接孔551。连接孔551分别与相机底板53上的螺纹孔533、相机固定板54上的螺纹孔542通过螺栓连接，用于加强直角连接的相机架底板53和相机固定板54的连接强度。

所述相机架底板53通过其上的3个螺纹孔535和相机固定板54上一个端面开有的3个螺纹孔541垂直连接为一体。所述相机架底板53、相机固定板54和肋板55连接后的形状结构如图2（a）所示。

所述上底板56（见图2（g））和下底板57（见图2（h））根据投影仪3尺寸要求设计。上底板56的四个角各开有1个通孔561，通孔561通过螺栓与下底板57连接；上底板56的中间开有凹槽562，以便于放置和固定投影仪3。

所述下底板57（见图2（h））的四个角分别开有1个通孔571，通孔571通过螺栓与上底板56连接；靠近下底板57中间部分根据角位移台58的安装尺寸开有4个带沉孔的螺纹孔572，利用螺纹孔572可以把角位移台58固定在下底板57上。

安装投影仪3时，应当使投影仪3的前端面（靠近待测对象一面）与角位移台58前端面平行。角位移台58为外购件，具有角度调节功能，用于调节投影仪3的俯仰角。角位移台58底端自带4个螺纹孔，其位置及大小与所述大底板51中的4个螺纹孔514（见图2（b））对应，直接用螺栓连接即可固定。

本发明进一步特征在于所述的硬件系统的投影距离为70mm-90mm、DLP数字投影仪的投影面积为32*23mm²-50*37mm；CCD数码相机的成像距离为90mm-100mm、成像面积为27*23mm²。

本发明系统遵循三维结构光三角形成像原理，其有效性已经被证明。本发明系统的软件系统设计是（参见流程图10）：结合相机2自带的开发包在VC++中开发图形化的人机交互界面，用以实现指纹图像的采集、读入、存储、数据分析、处理、三维显示等步骤；主要包括图像采集和图像处理两部分，图像采集部分：根据四步相移算法和最佳条纹选择方法，利用VC++软件在计算机中生成三组共十二幅正弦条纹图，并调制这些条纹图到绿颜色通道；与电脑1连接的数字投影仪3投射条纹图像到指纹表面，CCD相机2从另一角度采集三组十二幅绿色变形条纹图，并存储至计算机，供后续处理；图像处理部分：读入所述三组十二幅绿色变形条纹图,对每一组条纹利用四步相移算法分别计算得到三幅折叠相位图；把最佳条纹选择方法作用到这三幅折叠相位图，独立计算出每个像素点的绝对相位；然后对系统进行标定，确定展开相位图与三维数据间的关系，得到所测指纹的三维形状信息；最后将采集的纹理图像信息映射到三维数据，即得到手指的三维纹理映射表达。

具体工作步骤如下：

1.根据人类手指大小，确定测量场大小，实施例为27*23mm²，基于结构光测量方法确定CCD相机2和DLP投影仪3的相对位置，设计出支撑架5结构（参见图2、3）；

2.应用相机2自带开发包，在VC++环境中开发交互式操作界面，并实现系统功能（操作界面参考图4）；

3.由于人类皮肤对红、绿、蓝各色光谱具有不同的吸收和反射作用，通过将红、绿、蓝三颜色通道的条纹投射在待测对象4的手指表面，测量得出绿色光谱对比度最大，有利于指纹信息的获取和相位计算，因此选用绿色光进行指纹测量（参见图5和6）；

4.软件编程产生三组正弦直条纹，每组包含四幅彼此间有90度相移的图像，因此共有12幅正弦直条纹图像；DLP数字投影仪3投射软件所产生的12幅图像到手指表面上，受到手指表面形状的调制，从不同于DLP数字投影仪3投影方向，CCD相机2顺次采集变形的12幅条纹图像，并把它们存储到电脑中；此三组条纹图像具有最佳条纹个数25、24、20，从而可用最佳条纹选择方法独立计算每个像素点位置的绝对相位，获得分别代表三组不同数量的条纹在手指表面的采集图像（见图7（a）-（c））；

5.对于采集的12幅条纹图像，应用四步相移算法到每组的四个条纹图像计算各个像素点的相位信息，得到三幅高精度的折叠相位图（参见图8（a）-（c））；

6.应用最佳条纹选择方法（参见Z.H.Zhang,C.E.Towers,and D.P.Towers,“利用最佳三频率选择的有效彩色条纹投影系统获取物体三维形状和颜色”(Time efficient color fringe projection system for 3D shape and colorusing optimum 3-frequency selection，Opt.Express 14,6444-6455(2006))），计算得到手指表面每个像素点的绝对相位图（参见图8（d））；

7.对系统进行标定，得到指纹的三维数据图（见图9（a）、（c），不同视角按光照模式显示的三维数据）；

8.采集的纹理映射到三维数据上，得到指纹的三维纹理映射显示信息图（参见图9（b）、（d），和光照模式相同的两个视角显示的指纹三维纹理映射数据）。

本发明系统基于结构光三角化的工作原理和条纹投影技术：（1）从DLP投影仪方向产生的光栅直条纹投射到手指表面，受到其手指表面形状的调制，从另外一个方向看到的条纹将变形。此变形的条纹包含手指表面三维形状信息，其具体关系由成像光轴和投影光轴所构成的三角形决定。（2）利用条纹投影技术确定了绝对相位图与三维数据之间的关系，通过标定确定二者关系从而得到指纹的三维形状数据。

本发明的具体工作过程如下（参见流程图10）：根据所选择的最佳条纹个数，例如25、24、20，利用软件在电脑1中产生3组、每组包含4幅彼此间有90度相位移动的正弦条纹图，因此共有12幅条纹图像。调制这些条纹图到彩色图像的绿色通道。将手指放至三维指纹传感系统的测量场中，通过电脑1顺次传送这12幅图像到DLP投影仪3，从而在指纹4的表面产生变形的条纹图像。CCD相机2从不同于DLP投影仪3投影的方向顺次采集这些图像并存储到电脑1中。对这三组图像，分别利用四步相移算法计算出对应变形条纹图的折叠相位，共得到三幅折叠相位图。应用最佳条纹选择方法到所获得的三幅折叠相位图，可独立确定每个正弦条纹的绝对级次。结合所得到的折叠相位和正弦条纹的绝对级次，独立计算出各个像素点位置的绝对相位，得到手指的绝对相位图。通过系统标定，建立绝对相位和三维数据之间的关系从而获得指纹的三维形状数据。最后，通过软件对三维数据进行光照显示同时将纹理映射到该三维数据上获得所测指纹的纹理图，得到更加直观形象的指纹显示信息。

本发明未述及之处适用于现有技术。

Claims

1.一种三维指纹传感系统，该系统基于条纹投影相位测量方法构建，包括硬件与软件；硬件主要包括电脑、CCD数码相机、DLP数字投影仪和支撑架；所述电脑通过其上的HDMI接口与DLP数字投影仪连接，并通过其上的千兆网接口与CCD数码相机连接；电脑控制DLP数字投影仪和CCD数码相机，并存储、显示和处理所采集的图像，获得相应的结果；DLP数字投影仪用来投射所产生的正弦光栅条纹到被测手指表面的指纹采集区域；CCD相机用于采集投影在手指上的变形条纹图像；所述支撑架主要包括大底板、移动板、相机架底板和相机固定板以及投影仪上底板、投影仪下底板和角位移台；所述CCD数码相机固定在直角连接的相机架底板和相机固定板上，相机架底板与移动板固定连接，移动板以可滑动方式安装在大底板的一端；所述DLP数字投影仪夹持在投影仪上底板和投影仪下底板之间，角位移台与投影仪下底板连接，并安装在大底板的另一端；且所述CCD数码相机与DLP数字投影仪两者的相对安装位置和角度应使两者的镜头中心线符合三维成像原理要求；所述软件主要包括图像采集、读入、存储、数据分析、处理和三维显示步骤。

2. 根据权利要求1所述的三维指纹传感系统，其特征在于所述的硬件系统的投影距离为70mm-90mm、DLP数字投影仪的投影面积为32*23 mm² - 50*37mm；CCD数码相机的成像距离为90mm-100mm、成像面积为27*23mm²。

3. 根据权利要求1所述的三维指纹传感系统，其特征在于所述支撑架还包括相机架肋板，相机架肋板安装在直角连接的相机架底板与相机固定板之间。