CN104361315B - 基于单目多视角立体机器视觉的3d指纹识别装置 - Google Patents

Abstract

本发明公开了一种基于单目多视角立体机器视觉的3D指纹识别装置，包括用于采集3D手指图像的高清摄像机、2枚与高清摄像机的主光轴成45°夹角的平面镜构成的对称梯形腔体和由4个绿色LED构成的照明光源模块，用于对论证手指进行图像处理、检测和识别的微处理器，微处理器软件包括指纹图像预处理、指纹图像后处理、指纹库和指纹匹配与识别模块；本发明提供一种具有机构简单、制造成本低、使用和维护方便、防伪性高的无接触式3D指纹识别装置。

Description

基于单目多视角立体机器视觉的3D指纹识别装置

技术领域

本发明涉及立体成像技术、机器视觉技术、机械设计技术和光学技术在指纹识别方面的应用，尤其涉及一种基于单目多视角立体机器视觉的3D指纹识别装置。

背景技术

指纹作为一种唯一、终身不变及方便快捷采集的生物特征，其发展多年来一直备受关注，基于指纹的生物识别被认为是颇具普遍性的身份认证方法。随着信息技术的发展，指纹识别技术已经广泛的应用于身份证、访问权限控制、出入境管理、犯罪侦查鉴定等诸多领域。传统的指纹识别方法是通过获取的二维指纹特征进行分析处理。而指纹本身是三维的特征，从三维到二维空间的映射损失了一维信息，同时存在着非线性畸变。因此，获取无畸变、无残影的三维指纹信息变得越来越重要。

一般获取指纹图像采用两种方式，接触式和非接触式采集。接触式系统主要包括光学扫描采集和固体传感器采集，非接触式系统则采用光学器件或超声波等手段采集指纹。接触式指纹采集设备具有体积小、集成度高等特点，但采集范围较小，且容易受到不完全按压、采集镜面污染等外界条件的影响，而非接触式采集设备的采集范围大小则很少受到限制，同时对受污损的指纹图像抗干扰较强，能够获取比较清晰的指纹图像。

与二维指纹识别技术相比较，三维指纹识别具有以下优点：非接触，无形变，信息量大；同时获取包括深度信息在内的被测部位形貌信息以及表面颜色纹理信息，不会因识别对象与识别仪器的接触而采集到畸变后的形貌，对于杂乱和错误的数据具有免疫性，同时对于不同光照和多视角测量及多用户的残影和污染具有很好的鲁棒性。指纹图像采集的方式是影响指纹图像质量的瓶颈。

2006年Parziale等人研究出了多摄像头三维指纹采集设备，如图1所示；在该设备中手指放在采集区域，多个摄像头分布在手指周围从不同视角同时采集指纹图像通过形状轮廓法得到三维指纹信息。中国发明专利申请，申请号为200580032390.X，公开了一种用无接触光学装置识别3D指纹的方法，通过在各种视野和角度下获得多幅手指图像实现手指的三维指纹信息。这种方法需要多台高速摄像机或者高精度控制装置等，一定程度上增加了硬件成本。另一方面，目前的三维指纹识别是分别对不同视角下的指纹图像进行识别后再进行信息融合，这种识别后进行融合的方法在某种程度上会增加指纹识别的拒识率。

2011年美国肯塔基大学的王永昌等人提出了一种基于结构光照明方法的非接触式指纹传感系统，该系统利用相位轮廓术测量相位的方法，通过将结构光打在手指表面并扫描得到指纹的三维深度。中国发明专利申请，申请号为201110381974.5，公开了一种基于结构光的嵌入式3D指纹采集方法及系统，系统通过采集多幅指纹图像，然后对图像进行编码，根据编码图像及四步相移法得到指纹图像的相位值，然后根据参考平面的相位值得出指纹的高度信息，至此，得到指纹的三维图像。这种方法需要增添结构光照明来实现手指的三维测量，因此，会提高装置的制造和维护成本，增加控制系统的难度。

因此，一种基于单目多视角立体机器视觉的3D指纹识别装置的设计迫切需要解决以下几个问题：1)如何设计一种低成本的、以手指为中心的全景视觉装置从不同视角来一次性获得手指表面的三维图像；2)如何将不同视角获得的二维指纹进行融合拼接，得到便于识别的3D指纹图像；3)研制一种专门适合非接触式系统的3D指纹特征提取、匹配算法。

发明内容

为了克服已有的3D非接触式指纹识别系统的机构复杂、制造成本高、使用和维护困难等不足，本发明提供一种具有机构简单、制造成本低、使用和维护方便、防伪性高的基于单目多视角立体机器视觉的3D指纹识别装置。

本发明解决其技术问题所采用的技术方案是：

为了用一个高清摄像机一次性、全方位获取被论证手指表面的图像，本发明设计了一种由1个高清摄像机和2个平面镜构成的单目多视角的立体视觉装置，通过一个高清摄像机的一次成像来获取从3个不同视角拍摄的手指表面图像，实现一种以手指为观察中心的全方位视觉装置；具体做法是：在高清摄像机前面放置由2枚与高清摄像机光轴成45°夹角的平面镜构成的对称梯形腔，镜面朝向腔体内侧；在高清摄像机的镜头后面配置由4个绿色LED构成的照明光源模块，为被论证手指提供柔性的照明；用一个相对封闭的指纹识别装置箱体将高清摄像机、2枚与高清摄像机光轴成45°夹角的平面镜构成的对称梯形腔和照明体光源模块固定在指纹识别装置箱体的内部，指纹识别装置箱体上开有一个略大于被论证手指尺寸大小的孔，身份验证时将被论证手指伸入到指纹识别装置箱体内，伸入到指纹识别装置箱体内的被论证手指空间位置处于高清摄像机成像范围以及2枚与高清摄像机光轴成45°夹角的平面镜构成的对称梯形腔的折反射成像范围内；指纹识别装置箱体的内壁用黑色绒布覆盖；被论证手指光线经过2枚平面镜反射后，反射到摄像机图像平面的不同区域，在摄像机图像平面上有直接从高清摄像机透视成像以及从2枚平面镜折反射成像的3个不同视角的手指影像，生成单目多视角立体手指图像；该图像等价于不同视角的多幅图像，等价于3个摄像机构成的立体视觉装置，该装置通过一次成像就能从3个不同视角拍摄的手指表面图像，为3D指纹识别提供一种高质量的立体视觉装置。

高清摄像机通过USB接口与微处理器进行连接，当被识别的手指伸入到指纹识别装置箱体内后，微处理器通过USB接口读取高清摄像机的图像，微处理器对该图像进行识别，判断伸入的手指位置是否正确；如果正确就抓拍手指图像，否则提醒被验证者按正确的伸入方式摆正手指位置；接着微处理器对抓拍的手指图像进行预处理；3D指纹图像预处理模块包括手指图像分割单元、镜面图像轴对称变换单元、前景提取与灰度变换单元、多视角手指图像融合拼接单元；下一步，由微处理器对预处理的3D指纹图像进行后处理；3D指纹图像后处理模块包括基于动态阈值的二值化单元、中值滤波单元，后处理结束后输出便于指纹识别的3D指纹二值图；最后，利用现有成熟的自动指纹识别算法来进行指纹识别。

高清摄像机用于从不同视角拍摄被验证者的手指图像，根据研究结果，所拍摄的图像分辨率在400dpi时指纹能有效识别，这里我们优选采用拍摄静态图像为800万的高清摄像机。

对于指纹识别，在指纹识别前首先需要建立身份认证者的3D指纹库，建立3D指纹库的主要方法是通过对3D指纹二值图进行特征提取，并将3D指纹的特征与身份认证者的ID进行绑定保存在3D指纹库中；在指纹识别时，首先对3D指纹二值图进行特征提取，然后进行图像对准和特征匹配处理，识别和判定被认证者的身份。

本申请的3D指纹识别装置的原理图主要由高清摄像机、2枚与高清摄像机的主光轴成45°夹角的平面镜构成的对称梯形腔体和由4个绿色LED构成的照明光源模块组成。高清摄像机、2枚与高清摄像机的主光轴成45°夹角的平面镜构成的对称梯形腔体和4个绿色LED固定在一个相对封闭的指纹识别装置箱体内，指纹识别装置箱体的内壁用黑色绒布覆盖。平面镜的镜面朝向对称梯形腔体内侧，且腔体的中轴线重合于摄像机的主光轴；高清摄像机的镜头入射光线由直射光线和镜面反射光线组成；高清摄像机的镜头通过腔体的直射光线投影在摄像机投影面的中央区域，获得手指的正视图；2枚与高清摄像机的主光轴成45°夹角的平面镜通过折反射投影在摄像机投影面的两侧区域，分别获得手指的左视图和右视图。

考虑到手指表面为形状不规则的曲面，单一光源的照射必定会造成光在指纹表面分布不均匀的现象，即出现亮光区等，最理想的照明光源是一种能均匀照射到手指表面上的体光源。四个LED绿色光源安装在摄像机的前后左右四个方位，前后两个光源的距离较近，主要考虑给手指的正面图像有足够的、均匀的光照；为了使手指的左右两侧能被较均匀地照亮并且光源不会被映射在平面镜中，依据两块平面镜的夹角参数为45°，确定左右两个LED光源的距离；在LED颜色选择方面，本发明采用绿色的LED，实验表面绿色的LED有助于提高提取指纹图像的质量，从而能有效增加指纹识别的精度。

指纹图像预处理模块，包括手指图像分割单元、镜面图像轴对称变换单元、前景提取与灰度变换单元和多视角手指图像融合拼接单元。

手指图像分割单元，用于将抓拍的图像分割成为三张各含有一个指纹图案的手指图像，即分别得到手指图像的正视图、左视图和右视图。由于装置的各项参数，摄像机焦距、两块平面镜的夹角参数及距离都已确定，正视图、左视图和右视图中的成像手指之间几何关系明确，因此，采用简易的固定参数方法来进行三个手指图像的分割。

镜面图像轴对称变换单元，用于将左视图和右视图中的成像手指的倒影指纹图像根据相应的对称轴进行轴对称变换。由于左视图和右视图中的手指图像是通过镜面的折反射来得到的，即为平面镜中的倒影；这里采用了对图像中每一行的像素点灰度数据进行逆序操作，从而获得轴对称变换以后的图像灰度数组，最后通过顺序的方式读取图像灰度数组实现指纹图像的轴对称变化。

前景提取与灰度变换单元，用于分别对手指图像的正视图和经过镜面图像轴对称变换的左右视图进行前景提取操作，同时将这些图像转化为灰度值的手指前景图像。对手指图像进行灰度值变化，使得能从手指图像的正视图、左右视图这样即可从原始图像中过滤掉颜色可能会所造成干扰的颜色信息，同时又能保留下更利于纹路提取的图像各像素点亮度信息。前景提取是要有效地将指纹前景提取出来；在设计装置时，指纹识别装置箱体的内壁采用了黑色绒布作为背景颜色，这样给前景提取操作提供了很多便利；由于人类手指表面颜色与装置中黑色的背景相差较大，且对光照的反射相对强烈，在获取的图像中作为光亮区域，而黑色绒布背景作为低亮度区域；于是采用分割的方法将手指图像从背景中分割出来；指纹图像预处理后得到的三幅不同视角的指纹图像用灰度图形式进行保存，以便多视角手指图像融合拼接单元将三幅不同视角的灰度图形式的指纹图像融合拼接为一幅3D指纹灰度图像。

多视角手指图像融合拼接单元，用于将三幅不同视角的灰度图形式的指纹图像融合拼接为一幅3D指纹灰度图像；根据基于单目多视角立体机器视觉的3D指纹识别装置所固有几何关系的特点，提出了一种与之相匹配的3D指纹融合算法；手指作为一个不规则形状的三维物体，如何将三幅不同视角的灰度图形式的指纹图像融合拼接为有利于高效、准确识别的3D指纹图像是关键。因此如何确定3D指纹图像融合拼接点、融合拼接线又是重中之重；要对3D指纹融合拼接处理，对手指形状模型的估计是重要前提。

为了对手指形状模型进行估计，首先需要建立手指的三维坐标轴(x,y,z)，定义手指的正视平面为沿着y轴负方向的x-z平面，左视平面为沿着x轴负方向的y-z平面，俯视平面为沿着z轴负方向的x-y平面；研究结果发现，手指形状在手指轴心线的垂直切面上的轮廓线非常类似于抛物线，以下简称为轮廓线，鉴于上述考虑，通过对手指的三维测量数据拟合，得到手指轴心线的垂直切面上的轮廓线方程用公式(1)表示；

y＝-0.3x²+c(y＞0) (1)

另一方面，将沿手指正视图上的轴心线的垂直切面上的轮廓线用三次曲线来近似描述，通过对手指的三维测量数据拟合，得到沿手指正视图上的轴心线的垂直切面上的轮廓线方程用公式(2)表示；

z＝2.45-1.2y³(y＞0,z＞0) (2)

轮廓线上通过标定确定B_i、C_i两点，然后将其分为三个部分，即左侧，中间以及右侧区域；这里将B_i、C_i两点作为3D指纹图像的融合拼接点，在每一手指的轮廓线上提取B_i、C_i两点，将B_i各点进行连接构成左侧融合拼接线，将C_i各点进行连接构成右侧融合拼接线。

在装置的左右两侧反射平面镜中的成像区域里，B_i点与C_i点分别对应于两侧各自成像区域中的和点；因此，只需找到和点所在位置，即获取了某一高度两侧指纹图像各自与中间指纹图像匹配的拼接点；由于中间指纹图像中包含了最多的指纹信息，这里设定弧B_iC_i的长度为整个在手指的轮廓线的二分之一。

在装置的设计中，已经确定了摄像机、镜面的角度及手指位置等几何参数，所以能使用几何关系进行计算和点所处两侧图像区域的位置；但是使用几何关系计算每一和点的位置需要大量时间，这里尝试寻找出一种简化寻找和点的算法。

当随机采样五条不同位置上的轮廓线进行计算时发现，和点总是出现在两侧图像区域线段的某一比例位置附近；因此，当每一条中间指纹轮廓线的B_iC_i点比例位置被确定后，就能够确定两侧图像区域中和点所处的比例位置；然后再分别连接所有的和点就得到了两侧指纹图像上的融合拼接线；在中间图像区域采用两条融合拼接线之间的区域，这里记为中间图像区域，即手指正视图中的两条融合拼接线之间区域；左右两侧手指图像分别取手指正视图中的融合拼接线外侧的图像与相应视图中的图像进行融合。

为了使得3D指纹数据能够利用现有成熟的自动指纹识别算法来进行指纹识别，需要将3D手指展开到2D平面上；为了寻找到一种只需分析用手指轮廓线的近似曲线来描述近似3D手指形状模型；在构建3D手指形状模型时，采用公式(1)来描述手指的轮廓线，它的变化只由c来决定；经分析发现，这条曲线与半径为2.3cm的圆的某段圆弧非常相似，圆弧的长度由c来决定，而c又由z来决定，如图10所示；于是在不同的深度上，即对于图9中的不同z值，这里使用不同长度的圆弧来近似手指形状模型的水平轮廓线；由于每一条轮廓线都能很好地的被圆弧近似，这里直接使用有参圆柱方法来近似3D手指形状模型；建立了3D手指形状模型后，对该3D手指形状模型进行展开处理获得较为理想的3D指纹融合拼接灰度值图像。

3D指纹图像后处理模块，用于对3D指纹融合拼接灰度值图像进行处理，得到便于3D指纹指纹识别的3D指纹二值化图像；其中包括了基于动态阈值的二值化单元和中值滤波单元。

所述的基于动态阈值的二值化单元，将3D指纹融合拼接灰度值图像转化为3D指纹二值化图像；由于在获取手指指纹图像时手指表面上还会在一定程度上受到不均匀光源的照射，因而导致了手指表面某些区域的受光强度有所差异；个别高光区域的指纹谷部阴影纹路的灰度值会高于阈值；如果采用单一阈值算法，会将高光区域整块设为白色，而将低光区域整块的设为黑色，造成指纹纹路信息的丢失；因此，这里采用改进的动态阈值图像二值化方法对3D指纹灰度值图像进行处理；动态阈值二值化方法是将图像分为很多的小区域，获得每一个区域内像素点的灰度值之后求平均，其灰度平均值能够反映这块区域的整体亮度情况，再根据该平均值设定这个区域的阈值，然后将区域内每一个像素点和阈值相比，小于阈值的置为0，大于阈值的置为255；当遍历整幅3D指纹融合拼接灰度值图像，就得到了3D指纹二值化图像。

所述的中值滤波单元，用于对3D指纹二值化图像进行处理，过滤掉一些孤立的噪声点；为了3D指纹脊部纹路和谷部纹路更加分明，提高指纹识别时的精确性，这里对3D指纹二值化图像进一步进行中值滤波处理；中值滤波处理是基于排序统计理论的一种能够有效抑制噪声的非线性信号处理技术，中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个领域中的各点值的中值代替，让周围的像素值接近真实值，从而消除孤立的噪声点，最终得到便于指纹识别的精细化的3D指纹二值化图像。

本发明提出的基于单目多视角机器视觉的3D指纹图像获取及处理装置的有益效果主要表现在：

(1)采用一枚高清摄像头，拍摄一张照片即可同时获得多个视角的指纹图像，相较于现有的使用多个高清摄像头拍摄多张指纹图像的无接触式3D指纹图像获取技术来说，不仅大大降低了设备的成本，还减少了多角度指纹图像获取和处理的时间；

(2)通过分析手指形状建立手指形状模型，利用装置的特性将多幅不同角度指纹图像快速匹配到3D手指模型上，最后使用改进的有参展开算法获取了具有良好效果的展开指纹图像，该过程中运用的算法结合装置特性，大大减少了处理多幅指纹图像以及寻找其对应关系的时间和复杂度；

(3)经过处理完成的图像相对于传统的2D指纹图像来说显著增加了有效指纹面积，从而提高了指纹识别的精度和保证指纹识别的安全性。

附图说明

图1为多摄像机机器视觉的3D指纹识别装置的示意图；

图2为基于单目多视角立体机器视觉的3D指纹识别装置的示意图；

图3为基于单目多视角立体机器视觉的3D指纹识别装置的外观图；

图4为基于单目多视角立体机器视觉的3D指纹识别装置的软硬件框图；

图5为高清摄像机、照明模块和被论证手指之间的位置关系图；

图6为用基于单目多视角立体机器视觉的3D指纹识别装置获取的被论证手指的左视图(c)、正视图(b)和右视图(a)；

图7为3D指纹融合拼接处理流程图；

图8为3D指纹有参展开原理图；

图9为获取3D指纹图像的光路图及手指3D模型图；

图10为用手指的圆弧轮廓线来替代手指的抛物轮廓线的误差分析图；

图11为对被论证手指的左视图、正视图和右视图进行融合拼接处理后得到的3D手指灰度图；

图12为对3D手指灰度图进行动态二值化处理后得到的3D手指二值化图；

图13为对3D手指二值化图进行中值滤波处理后得到的精细3D手指二值化图。

具体实施方式

下面结合附图说明对本发明作进一步描述。

如图2所示，一种基于单目多视角立体机器视觉的3D指纹识别装置，主要由高清摄像机2、2枚与高清摄像机2的主光轴成45°夹角的平面镜4和平面镜5构成的对称梯形腔体和由4个绿色LED构成的照明光源模块3组成。高清摄像机2、2枚与高清摄像机的主光轴成45°夹角的平面镜构成的对称梯形腔体和4个绿色LED固定在一个相对封闭的指纹识别装置箱体1内，箱体上设有供认证者手指伸入的孔6，指纹识别装置箱体1的内壁用黑色绒布覆盖；镜面朝向对称梯形腔体内侧，且腔体的中轴线重合于摄像机2的主光轴；高清摄像机的镜头入射光线由直射光线和镜面反射光线组成；高清摄像机的镜头通过腔体的直射光线投影在摄像机投影面的中央区域7，获得手指的正视图。2枚与高清摄像机的主光轴成45°夹角的平面镜通过折反射投影在摄像机投影面的两侧区域，分别获得手指的左视图和右视图，点O₁和点O₂相当于虚拟摄像机的投影点，分别对应右视图和左视图。

高清摄像机通过USB接口与微处理器进行连接，当被识别的手指伸入到指纹识别装置箱体内后，如图3所示，微处理器通过USB接口读取高清摄像机的图像，微处理器对该图像进行识别，判断伸入的手指位置是否正确；如果正确就抓拍手指图像，否则提醒被验证者按正确的伸入方式摆正手指位置；接着微处理器对抓拍的手指图像进行预处理；3D指纹图像预处理模块中包括了手指图像分割单元、镜面图像轴对称变换单元、前景提取与灰度变换单元、多视角手指图像融合拼接单元；进一步，微处理器对预处理的3D指纹图像进行后处理；3D指纹图像后处理模块中包括了基于动态阈值的二值化单元、中值滤波单元，后处理结束后输出便于指纹识别的3D指纹二值图；最后，利用现有成熟的自动指纹识别算法来进行指纹识别；微处理器对被论证手指进行身份识别的流程如图4所示。

对于指纹识别，在指纹识别前首先需要建立身份认证者的3D指纹库，建立3D指纹库的主要方法是通过对3D指纹二值图进行特征提取，并将3D指纹的特征与身份认证者的ID进行绑定保存在3D指纹库中；在指纹识别时，首先对3D指纹二值图进行特征提取，然后进行图像对准和特征匹配处理，识别和判定被认证者的身份。

高清摄像机用于从不同视角拍摄被验证者的手指图像，根据研究结果，所拍摄的图像分辨率在400dpi时指纹能有效识别，这里我们采用了拍摄静态图像为800万的高清摄像机。

平面镜的折反射镜面存在着一定的厚度，同一束光线通过镜面时会有两次折反射，以致造成了镜面反射成像中的重影现象，对指纹识别带来不良影响，这里通过在玻璃面的前面喷涂反射涂膜面来消除两次折反射现象。

手指表面为形状不规则的曲面，单一光源的照射必定会造成光在指纹表面分布不均匀的现象，即出现亮光区等，最理想的照明光源是一种能均匀照射到手指表面上的体光源。图5为3D指纹识别装置在某一切面上的俯视图，其中，黑色圆体部分表示摄像机，在其前后左右四个方位安置了四个LED绿色光源，前后两个光源的距离较近，主要考虑给手指的正面图像有足够的、均匀的光照；为了使手指的左右两侧能被较均匀地照亮并且光源不会被映射在平面镜中，依据两块平面镜的夹角参数为45°，确定左右两个LED光源的距离；在LED颜色选择方面，本发明采用绿色的LED，实验表面绿色的LED有助于提高提取指纹图像的质量，从而能有效增加指纹识别的精度。

3D指纹图像预处理模块，包括手指图像分割单元、镜面图像轴对称变换单元、前景提取与灰度变换单元和多视角手指图像融合拼接单元。

手指图像分割单元，用于将抓拍的图像分割成为三张各含有一个指纹图案的手指图像，即分别得到手指图像的正视图、左视图和右视图。由于装置的各项参数，摄像机焦距、两块平面镜的夹角参数及距离都已确定，正视图、左视图和右视图中的成像手指之间几何关系明确，因此，采用简易的固定参数方法来进行三个手指图像的分割。

镜面图像轴对称变换单元，用于将左视图和右视图中的成像手指的倒影指纹图像根据相应的对称轴进行轴对称变换。由于左视图和右视图中的手指图像是通过镜面的折反射来得到的，即为平面镜中的倒影；这里采用了对图像中每一行的像素点灰度数据进行逆序操作，从而获得轴对称变换以后的图像灰度数组，最后通过顺序的方式读取图像灰度数组实现指纹图像的轴对称变化。

前景提取与灰度变换单元，用于分别对手指图像的正视图和经过镜面图像轴对称变换的左右视图进行前景提取操作，同时将这些图像转化为灰度值的手指前景图像。对手指图像进行灰度值变化，使得能从手指图像的正视图、左右视图这样即可从原始图像中过滤掉颜色可能会所造成干扰的颜色信息，同时又能保留下更利于纹路提取的图像各像素点亮度信息；前景提取是要有效地将指纹前景提取出来；在设计装置时，指纹识别装置箱体的内壁采用了黑色绒布作为背景颜色，这样给前景提取操作提供了很多便利；由于人类手指表面颜色与装置中黑色的背景相差较大，且对光照的反射相对强烈，在获取的图像中作为光亮区域，而黑色绒布背景作为低亮度区域；于是采用分割的方法将手指图像从背景中分割出来，如图6中的a图、b图和c图；指纹图像预处理后得到的三幅不同视角的指纹图像用灰度图形式进行保存，以便多视角手指图像融合拼接单元将三幅不同视角的灰度图形式的指纹图像融合拼接为一幅3D指纹灰度图像。

多视角手指图像融合拼接单元，用于将三幅不同视角的灰度图形式的指纹图像融合拼接为一幅3D指纹灰度图像，其处理流程如图7所示。根据基于单目多视角立体机器视觉的3D指纹识别装置所固有几何关系的特点，这里采用一种与之相匹配的3D指纹融合算法；手指作为一个不规则形状的三维物体，如何将三幅不同视角的灰度图形式的指纹图像融合拼接为有利于高效、准确识别的3D指纹图像是关键；因此如何确定3D指纹图像融合拼接点、融合拼接线又是重中之重；要对3D指纹融合拼接处理，对手指形状模型的估计是重要前提。

为了对手指形状模型进行估计，首先需要建立手指的三维坐标轴(x,y,z)，如图8所示；定义手指的正视平面为沿着y轴负方向的x-z平面，左视平面为沿着x轴负方向的y-z平面，俯视平面为沿着z轴负方向的x-y平面；研究结果发现，手指形状在手指轴心线的垂直切面上的轮廓线非常类似于抛物线，以下简称为轮廓线，如图9和图10所示；鉴于上述考虑，通过对手指的三维测量数据拟合，得到手指轴心线的垂直切面上的轮廓线方程用公式(1)表示；

y＝-0.3x²+c(y＞0) (1)

另一方面，将沿手指正视图上的轴心线的垂直切面上的轮廓线用三次曲线来近似描述，通过对手指的三维测量数据拟合，得到沿手指正视图上的轴心线的垂直切面上的轮廓线方程用公式(2)表示；

z＝2.45-1.2y³(y＞0,z＞0) (2)

如图9所示，M为摄像机成像光路所处的中间图像采用区域，L为左侧成像区域，F为右侧成像区域。轮廓线上通过标定确定B_i、C_i两点，然后将其分为三个部分，即左侧，中间以及右侧区域；这里将B_i、C_i两点作为3D指纹图像的融合拼接点，在每一手指的轮廓线上提取B_i、C_i两点，将B_i各点进行连接构成左侧融合拼接线，将C_i各点进行连接构成右侧融合拼接线。

在装置的左右两侧反射平面镜中的成像区域里，B_i点与C_i点分别对应于两侧各自成像区域中的和点，和点对应图中的A1和A2点；因此，只需找到和点所在位置，即获取了某一高度两侧指纹图像各自与中间指纹图像匹配的拼接点；由于中间指纹图像中包含了最多的指纹信息，这里设定弧B_iC_i的长度为整个在手指的轮廓线的二分之一。

在装置的设计中，已经确定了摄像机、镜面的角度及手指位置等几何参数，所以能使用几何关系进行计算和点所处两侧图像区域的位置，但是使用几何关系计算每一和点的位置需要大量时间，这里尝试寻找出一种简化寻找和点的算法。

当随机采样五条不同位置上的轮廓线进行计算时发现，和点总是出现在两侧图像区域线段的某一比例位置附近。因此，当每一条中间指纹轮廓线的B_iC_i点比例位置被确定后，就能够确定两侧图像区域中和点所处的比例位置；然后再分别连接所有的和点就得到了两侧指纹图像上的融合拼接线；在中间图像区域采用两条融合拼接线之间的区域，这里记为中间图像区域，即手指正视图中的两条融合拼接线之间区域；左右两侧手指图像分别取手指正视图中的融合拼接线外侧的图像与相应视图中的图像进行融合；融合拼接后的3D手指图像如图11所示。

为了使得3D指纹数据能够利用现有成熟的自动指纹识别算法来进行指纹识别，需要将3D手指展开到2D平面上；为了寻找到一种只需分析用手指轮廓线的近似曲线来描述近似3D手指形状模型；在构建3D手指形状模型时，采用的公式(1)来描述手指的轮廓线，它的变化只由c来决定；经分析发现，这条曲线与半径为2.3cm的圆的某段圆弧非常相似，圆弧的长度由c来决定，而c又由z来决定，如图10所示；于是在不同的深度上，即对于图9中的不同z值，这里使用不同长度的圆弧来近似手指形状模型的水平轮廓线；由于每一条轮廓线都能很好地的被圆弧近似，这里直接使用有参圆柱方法来近似3D手指形状模型；建立了3D手指形状模型后，对该3D手指形状模型进行展开处理获得较为理想的3D指纹融合拼接灰度值图像。

3D指纹图像后处理模块，用于对3D指纹融合拼接灰度值图像进行处理，得到便于3D指纹指纹识别的3D指纹二值化图像；其中包括了基于动态阈值的二值化单元和中值滤波单元。

基于动态阈值的二值化单元，将3D指纹融合拼接灰度值图像转化为3D指纹二值化图像。由于在获取手指指纹图像时手指表面上还会在一定程度上受到的不均匀光源的照射，因而导致了手指表面某些区域的受光强度有所差异；个别高光区域的指纹谷部阴影纹路的灰度值会高于阈值；如果采用单一阈值算法，会将高光区域整块设为白色，而将低光区域整块的设为黑色，造成指纹纹路信息的丢失；因此，这里采用改进的动态阈值图像二值化方法对3D指纹灰度值图像进行处理；动态阈值二值化方法是将图像分为很多的小区域，获得每一个区域内像素点的灰度值之后求平均，其灰度平均值能够反映这块区域的整体亮度情况，在根据该平均值设定这个区域的阈值，然后将区域内每一个像素点和阈值相比，小于阈值的置为0，大于阈值的置为255；当遍历整幅3D指纹融合拼接灰度值图像，就得到了3D指纹二值化图像，如图12所示。

中值滤波单元，用于对3D指纹二值化图像进行处理，过滤掉一些孤立的噪声点。为了3D指纹脊部纹路和谷部纹路更加分明，提高指纹识别时的精确性，这里对3D指纹二值化图像进一步进行中值滤波处理；中值滤波处理是基于排序统计理论的一种能够有效抑制噪声的非线性信号处理技术，中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个领域中的各点值的中值代替，让周围的像素值接近真实值，从而消除孤立的噪声点，最终得到便于指纹识别的精细化的3D指纹二值化图像，如图13所示。

通过中值滤波处理后得到的精细化的3D指纹二值化图像，就可以直接调用现有成熟的2D自动指纹识别算法利用指纹的总体特征和局部特征来进行身份识别。

Claims (8)

1.一种基于单目多视角立体机器视觉的3D指纹识别装置，其特征在于，包括：

成像模块，用于拍摄3D指纹图像，包括正对认证者手指的摄像机和位于手指两侧且镜面倾斜朝向所述摄像机的平面镜，所述摄像机所拍摄的图像包括正对手指成像的正视图，以及两侧平面镜通过折反射成像的左视图和右视图；

3D指纹图像预处理模块，用于将摄像机拍摄的图像预处理为3D指纹灰度图像；所述的3D指纹图像预处理模块包括：手指图像分割单元，用于将摄像机所拍摄的图像分割成单张的正视图、左视图和右视图；镜面图像轴对称变换单元，用于将左视图和右视图中的成像手指的倒影指纹图像根据相应的对称轴进行轴对称变换；前景提取与灰度变换单元，用于分别对手指图像的正视图和经过镜面图像轴对称变换后的左、右视图进行前景提取操作，并同时将三幅图像转化为灰度值的手指前景图像；多视角手指图像融合拼接单元，用于将三幅转化为灰度值的手指前景图像融合拼接为一幅3D指纹灰度图像；

所述的多视角手指图像融合拼接单元进行图像融合拼接的具体步骤如下：

1)构建手指的三维坐标轴(x,y,z)，定义手指的正视平面为沿着y轴负方向的x-z平面，左视平面为沿着x轴负方向的y-z平面，俯视平面为沿着z轴负方向的x-y平面，得出在手指轴心线的垂直切面上的轮廓，并建立与所述轮廓相似的圆弧，并以圆弧作为手指的轮廓线，形成3D手指形状模型；

2)在所述的轮廓线上分别提取正视图和左视图及正视图和右视图之间的融合拼接点B_i和融合拼接点C_i，B_i点与C_i点分别对应两侧反射平面镜中成像区域的点和点，根据摄像机、平面镜的角度及手指位置间的几何参数，确定B_i点与C_i点在轮廓线上的比例位置，弧B_iC_i的长度为整个在手指的轮廓线的二分之一，进而得出点和点在成像区域里的比例位置，分别连接所有的轮廓线上的点和点得到左、右视图与正视图间的指纹图像融合拼接线；

3)将三幅转化为灰度值的手指前景图像与所述的3D手指形状模型匹配，对匹配后的3D手指形状模型进行展开处理，并根据所述的指纹图像融合拼接线对左、右视图与正视图进行融合拼接，得到所述的3D指纹灰度图像；

3D指纹图像后处理模块，用于对所述的3D指纹灰度图像进行处理，得到3D指纹二值化图像；

3D指纹库，预存有认证者的身份信息及其3D指纹的特征；

3D指纹识别模块，对所述的3D指纹二值化图像进行特征提取，并与3D指纹库中预存的3D指纹特征进行对准和特征匹配，识别出认证者的身份。

2.如权利要求1所述的基于单目多视角立体机器视觉的3D指纹识别装置，其特征在于，所述的平面镜照射在手指的左右两侧，且镜面与所述摄像机的主光轴成45°夹角。

3.如权利要求1所述的基于单目多视角立体机器视觉的3D指纹识别装置，其特征在于，所述的3D指纹识别装置还包括内部安装有成像模块的箱体，所述箱体上开设有供认证者手指伸入的孔，箱体内壁用黑色绒布覆盖。

4.如权利要求1所述的基于单目多视角立体机器视觉的3D指纹识别装置，其特征在于，所述的3D指纹图像后处理模块包括：

二值化单元，采用动态阈值二值化方法对3D指纹灰度值图像进行处理，得到所述的3D指纹二值化图像；

中值滤波单元，用于对3D指纹二值化图像进行中值滤波处理，过滤去除图像中的噪声点。

5.如权利要求4所述的基于单目多视角立体机器视觉的3D指纹识别装置，其特征在于，所述的动态阈值二值化方法的操作步骤如下：

将图像分为很多的小区域，获得每一个区域内像素点的灰度值之后求平均，其灰度平均值能够反映这块区域的整体亮度情况，再根据该平均值设定这个区域的阈值，然后将区域内每一个像素点和阈值相比，小于阈值的置为0，大于阈值的置为255，并遍历整幅3D指纹灰度值图像，得到所述的3D指纹二值化图像。

6.如权利要求1所述的基于单目多视角立体机器视觉的3D指纹识别装置，其特征在于，所述的3D指纹识别装置还包括照明光源模块，用于给认证者手指提供柔性的照明。

7.如权利要求6所述的基于单目多视角立体机器视觉的3D指纹识别装置，其特征在于，所述的照明光源模块包括安装在摄像机的前后左右四个方位的LED绿色光源；前后两个光源的距离较近，用于给手指的正面提供均匀的光照；左右两个光源用于均匀地照亮手指的左右两侧且不会照射到折反射的平面镜中。

8.如权利要求1所述的基于单目多视角立体机器视觉的3D指纹识别装置，其特征在于，所述平面镜的玻璃面的前面喷涂有用于消除两次折反射现象的反射涂膜面。