CN113505626A - 一种快速三维指纹采集方法与系统 - Google Patents
一种快速三维指纹采集方法与系统 Download PDFInfo
- Publication number
- CN113505626A CN113505626A CN202110277067.XA CN202110277067A CN113505626A CN 113505626 A CN113505626 A CN 113505626A CN 202110277067 A CN202110277067 A CN 202110277067A CN 113505626 A CN113505626 A CN 113505626A
- Authority
- CN
- China
- Prior art keywords
- camera
- fingerprint
- dimensional
- projector
- phase
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000010363 phase shift Effects 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000005315 distribution function Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000002834 transmittance Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000012795 verification Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- PNEYBMLMFCGWSK-UHFFFAOYSA-N aluminium oxide Inorganic materials [O-2].[O-2].[O-2].[Al+3].[Al+3] PNEYBMLMFCGWSK-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种快速三维指纹采集方法与系统,属于图像采集技术领域,硬件系统包括图像投影端、图像采集端和进行图像处理与三维计算的计算机,图像投影端包括投影仪,图像采集端包括左相机和右相机,左相机与右相机分别位于投影仪的左侧和右侧。方法为计算机设计编码正弦相移条纹与格雷码图并且发送给投影仪,投影仪将编码图案投影到手指表面;左相机和右相机从各自的角度对手指进行拍摄,采集被手指表面深度调制而变形的编码图案并将其传输至计算机,计算机通过算法模块完成指纹的三维重建。本发明能够正确地反映出了指纹的真实三维形状,且指纹的纹理脉络连续且清晰、脊谷分明。
Description
技术领域
本发明涉及一种快速三维指纹采集系统,本发明还涉及一种快速三维指纹采集方法,属于三维数据采集技术领域。
背景技术
现有技术中,三维指纹采集得到越来越广泛的研究,例如,公开号为CN111597880A的中国发明专利申请,公开了一种基于单幅条纹投影的多视角三维指纹获取方法,通过基于条纹投影技术同时获取一幅无相位信息的二维指纹图和带有相位信息的指纹条纹图像,对带有相位信息的指纹条纹图像进行相位提取;进行相位解缠得到连续的相位,通过相位信息对单视角三维指纹完成重建;在获取多个视角的三维指纹后,在每个三维指纹对应的二维指纹图上找到端点或者分叉点作为特征点并且与下个相邻视角二维指纹进行特征点匹配,确定二维指纹的特征匹配点集,在通过特征点集的二维信息,在三维指纹上找到匹配的特征点;获得三维指纹的特征匹配点集后,进行三维指纹配准,重建出多视角的三维指纹模型。该申请如其它主流的三维指纹采集系统一样,存在模块分散、体积庞大不便携、采集过程复杂的局限性。
发明内容
本发明的目的在于,克服现有技术中存在的问题,提供一种快速三维指纹采集方法与系统,能够正确地反映出了指纹的真实三维形状,且指纹的纹理脉络连续且清晰、脊谷分明。
为解决以上技术问题,本发明的快速三维指纹采集系统,包括硬件系统,所述硬件系统包括图像投影端、图像采集端和进行图像处理与三维计算的计算机,所述图像投影端包括投影仪,所述图像采集端包括左相机和右相机,所述左相机与右相机分别位于所述投影仪的左侧和右侧,所述计算机设计编码正弦相移条纹与格雷码图并且发送给投影仪,投影仪将编码图案投影到手指表面;左相机和右相机从各自的角度对手指进行拍摄,采集被手指表面深度调制而变形的编码图案并将其传输至计算机,所述计算机通过算法模块完成指纹的三维重建。
进一步的,所述左相机和右相机与投影仪之间通过触发线连接,投影仪每投影一张图片,便向左相机和右相机输出一个触发电平,实现投影仪与左相机和右相机之间的同步工作。
进一步的,所述投影仪的投影分别率为912*1140像素,对1bit图案的投影帧率最高达到4kHz,透射比为1.2;所述左相机和右相机的分辨率为800*600像素,镜头的焦距为35mm;所述投影仪的投射窗与手指的距离为28cm。
本发明还包括一种快速三维指纹采集方法,依次包括如下步骤:
步骤1:将手指置于投影仪的正前方,所述投影仪的左右两侧分别设有左相机和右相机;
步骤2:计算机设计编码正弦相移条纹与格雷码图并且发送给投影仪;
步骤3:投影仪将接受到的编码图案投影到手指表面,并且向左相机和右相机输出一个触发电平;
步骤4:所述左相机和右相机从各自的角度同步对手指进行拍摄,采集被手指表面深度调制而变形的条纹图片,并将其传输至计算机;
步骤5:所述计算机通过算法模块完成指纹的三维重建。
进一步的,步骤5中的三维重建包括如下子步骤:
步骤5.1:计算机对接收到的被手指表面深度调制而变形的编码图案进行系统标定;
步骤5.2:对经过系统标定的图案进行条纹采集及增强;
步骤5.3:对指纹进行主值相位提取;
步骤5.4:对提取的相位解包裹;
步骤5.5:重建三维指纹;
步骤5.6:展示指纹的三维效果。
进一步的,步骤2中:计算机采用三步相移法进行条纹设计,三步相移条纹的周期为18个像素,相应的格雷码图片数量为6张,共需要投影9张图片,利用投影仪将该9张图片依次高速投影到手指表面;
步骤4中:所述左相机和右相机以2000us的相机曝光时间、500帧的采集速度对指纹条纹图片进行采集,可以得到左右相机的相移条纹图片。
进一步的,步骤5.3中:利用相移法计算得到左相机和右相机中指纹的包裹相位,利用6张格雷码图得到指纹表面各个像素的解码值后,得到各个像素的绝对相位值。
进一步的,步骤5.4具体包括如下分步骤:
步骤5.41:使用自适应的中值滤波器来检测并消除解包裹相位误差,中值滤波的模板大小选择为9×9或者11×11;
步骤5.42:用格雷码方法直接解码获得绝对相位的分布函数,计算指纹的理想绝对相位φ(x,y),
式中,φ1(x,y)为绝对相位的分布函数,φ2(x,y)为经中值滤波后获取的绝对相位分布;round()为四舍五入函数,所获得的该相位便是无歧义的准确绝对相位。
进一步的,步骤5.5具体包括如下分步骤:
步骤5.51:利用左相机和右相机的极线约束方程匹配基于相位的像素点:对左相机图像目标区域的每个像素,依次求取其在右相机图像中匹配点的亚像素坐标,将所有的匹配点对坐标保存,完成像素点的匹配;
设待匹配像点的相位值为φ1,由于相位值是连续的,通过找到极线上相邻像点的相位值φ2、φ3满足:φ2<φ1<φ3的条件;设其坐标分别为(u1,v1)、(u2,v2),则匹配点的亚像素坐标(u,v)为:
步骤5.52:求取出左右相机所有的指纹匹配点对;由标定得到的系统参数,各坐标系下的坐标有以下关系:
m为相机的投影矩阵,由相机的内外参数构成,下标表示矩阵的行列数值。Xw、 Yw、Zw为指纹点的世界坐标,u1、v1、u2、v2分别是左右相机中指纹的像点的横、纵坐标。
通过最小二乘法可以计算出匹配点对所对应的指纹空间三维坐标,用MATLAB将三维坐标绘制在X-Y-Z坐标系中即得到指纹对应的三维形状。
相对于现有技术,本发明取得了以下有益效果:1、能够满足指纹采集时小视场、高速、高分辨率的要求,能够实现高速高精度的三维指纹采集;
2、先对图像的待测目标区域与背景噪声区域进行分割,提取图像中的感兴趣区域,再对像素点进行匹配,提高了像素点的匹配效率与三维重建准确度,方便且高效;
3、利用极线约束方程将匹配点的搜索范围从整幅图像缩小为一条直线,大幅提高匹配精度,并极大地缩小像素点匹配的计算时间。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明,附图仅提供参考与说明用,非用以限制本发明。
图1为本发明的系统示意图;
图2为本发明所使用的标定板示意图;
图3为左右相机采集的部分圆点标定板图像;
图4为本发明中两相机的相对位置图;
图5为左右相机的重投影误差;
图6为左右相机的相移条纹图片;
图7为左右相机中的指纹包裹相位;
图8为左右相机采集的格雷码图;
图9为左右相机中的指纹绝对相位;
图10为左右相机中的指纹目标区域;
图11为双目极线约束关系图;
图12为双线性插值方法示意图;
图13将三维坐标绘制在X-Y-Z坐标系中可得到对应的三维形状;
图14为2mm量块测量结果图;
图15为同时测量1.5/1.6mm量块结果图;
图16为将所获取的三维指纹点云进行三角化封装后的效果图。
具体实施方式
如图1所示,本发明的快速三维指纹采集系统的硬件系统包括图像投影端、图像采集端和进行图像处理与三维计算的计算机,图像投影端包括DLP投影仪,图像采集端包括左相机和右相机,左相机与右相机分别位于投影仪的左侧和右侧,计算机设计编码正弦相移条纹与格雷码图并且发送给投影仪,投影仪将编码图案投影到手指表面;左相机和右相机从各自的角度对手指进行拍摄,采集被手指表面深度调制而变形的编码图案并将其传输至计算机,计算机通过算法模块完成指纹的三维重建。
在图像投影端,考虑到指纹区域比较小且表面纹理细节较为细腻,要实现高精度的指纹采集,必须使得投影到手指表面的条纹图具有尽可能多的像素,这就要求所选用的投影仪具有足够大的分辨率且透射比应该尽可能小,此外投影仪必须有较大的投影帧率来实现高速测量。因此,本发明使用的投影仪是德州仪器公司的DLP Lightcraft 4500,其投影分辨率为912*1140,对1bit图案的投影帧率最高可达到4kHz,透射比为1.2。
在图像采集端,同样考虑到测量精度及成本之间的关系,本发明选用了Basler 公司的acA800-510um黑白相机,相机的分辨率为800*600,镜头是Computar公司的手动定焦镜头,焦距为35mm。相机与投影仪之间通过触发线连接,投影仪每投影一张图片,便向相机输出一个触发电平,可以实现投影仪与相机之间的同步工作。
在搭建系统时,需要调整好两个相机的相对位置,使得两相机尽可能多的拍摄到指纹的公共区域。同时为了提高系统的平面分辨能力,相机与投影仪尽可能放置在与拍摄区域最近的对焦位置。在发明中,目标手指与投影仪的投射窗的距离在 28cm。
本发明快速三维指纹采集方法,依次包括如下步骤:
步骤1:将手指置于投影仪的正前方,所述投影仪的左右两侧分别设有左相机和右相机;
步骤2:计算机设计编码正弦相移条纹与格雷码图并且发送给投影仪;
步骤3:投影仪将接受到的编码图案投影到手指表面,并且向左相机和右相机输出一个触发电平;
步骤4:所述左相机和右相机从各自的角度同步对手指进行拍摄,采集被手指表面深度调制而变形的条纹图片,并将其传输至计算机;
步骤5:所述计算机通过算法模块完成指纹的三维重建。
其中,步骤5中的三维重建包括如下子步骤:
步骤5.1:计算机对接收到的被手指表面深度调制而变形的编码图案进行系统标定;
步骤5.2:对经过系统标定的图案进行条纹采集及增强;
步骤5.3:对指纹进行主值相位提取;
步骤5.4:对提取的相位解包裹;
步骤5.5:重建三维指纹;
步骤5.6:展示指纹的三维效果。
其中,步骤5.4具体包括如下分步骤:
步骤5.41:使用自适应的中值滤波器来检测并消除解包裹相位误差,中值滤波的模板大小选择为9×9或者11×11;
步骤5.42:用格雷码方法直接解码获得绝对相位的分布函数,计算指纹的理想绝对相位φ(x,y),
式中,φ1(x,y)为绝对相位的分布函数,φ2(x,y)为经中值滤波后获取的绝对相位分布;round()为四舍五入函数,所获得的该相位便是无歧义的准确绝对相位。
关于系统标定
要实现对被测物体的三维重建,必须要建立其在真实空间中的三维坐标与图像像素坐标之间的映射关系,对双目相机进行标定,获取两个相机的内参与相机之间姿态关系的外参。
由于相机采集所得图像中的噪点信息会对棋盘格标定模板的角点提取带来很大的技术干扰,为了提高标定精度,选用特征点易于检测、特征点坐标提取对噪声不敏感的圆点标定板。该圆点标定板为特征点数量为11*9的氧化铝制哑光标定板,如图2所示。
该圆点标定板的特征圆之间水平间距和垂直间距均为4mm,包含有5个用于标志方向的大圆和94个小圆,大圆的直径为2.5mm,小圆的直径为1.25mm。左右相机同时采集了20组不同位姿下的标定图像数据,部分标定图如图3所示,其中左侧为左相机采集的部分圆点标定板图像,右侧为右相机采集的部分圆点标定板图像。
标定板平面为世界坐标系x-y平面,已知特征圆之间的圆心距,则被认为是得到了圆心点的世界坐标;此外还需要各圆心的图像像素坐标,因此还需要对特征点圆心的图像亚像素坐标进行提取。
对圆心亚像素坐标的提取包括圆轮廓的拟合与圆心的定位。首先对采集到的标定图像使用canny边缘检测算子进行边缘检测及提取,然后手动框选采集图案中包含所有圆点的感兴趣区域。为了进一步提高圆点中心坐标提取的准确性,利用 Fourier-Mellin矩算子计算亚像素级别的圆点边缘信息;由于相机拍摄中的仿射变换,标定板上的特征圆可能成像为椭圆,本发明最后使用最小二乘法的椭圆拟合方法定位出椭圆的质心坐标,即为圆心的图像亚像素坐标。
将圆点标定板圆心的图像坐标与世界坐标一一对应起来,通过平面标定法计算可以得到双目相机的参数。删除误差较大的标定图像对,对剩余的18对图像进行标定。选取第16组相机采集位置下的标定板平面作为世界坐标系的基准x-y平面,得到双目相机的参数如表1所示:
表1双目相机参数
本系统中的双相机标定相对位置关系如图4所示。
使用标定出的系统参数,可以将标定板上各圆点的左右相机图像坐标转换成三维世界坐标,并将其分别与实际的世界坐标计算距离,可以得到左右相机的重投影误差,如图5所示,左侧为左相机的重投影误差,右侧为右相机的重投影误差。
从图3可以得出,左相机在x方向上和y方向上的重投影平均误差分别为 0.048mm、0.069mm,右相机在x方向上和y方向上的重投影平均误差分别为 0.053mm、0.062mm。由上述结果可知,本发明所得到的系统标定参数具有较高的精度。
关于指纹三维重建中的主值相位提取
本发明使用三步相移法以及基于格雷码的方法求取出指纹表面的绝对相位分布。首先使用计算机进行条纹设计,三步相移条纹的周期为18,相应的格雷码的图片数量为6张,所以总共需要投影9张图片。利用投影仪将9张图片依次高速的投影到手指表面,通过触发使双目相机同步高速采集受指纹表面调制的条纹图片。为了尽可能防止手指的抖动影响,本发明以2000us的相机曝光时间、500帧的采集速度对指纹条纹图片进行采集,可以得到左右相机的相移条纹图片,其中一张相移条纹图片分别如图6所示,其中左侧为左相机相移图片,右侧为右相机相移图片。
利用相移法计算得到左右相机中指纹的包裹相位如图7所示,其中左侧为左相机,右侧为右相机。
利用6张格雷码图如图8所示,其中上图为左相机,下图为右相机。
得到指纹表面各个像素的解码值后,可以得到各个像素的绝对相位值。由于对真实场景中所采集的格雷码图进行二值化时,在图像的黑白交界处可能出错,这将导致获取的解码值和绝对相位值出现错误,在相位图像中则表现出突变现象。因此,本发明使用了自适应的中值滤波器来检测并消除解包裹相位误差。中值滤波的模板大小通常选择为9×9或者11×11。假设采用格雷码方法直接解码获得的绝对相位的分布函数为φ1(x,y),经中值滤波后获取的绝对相位分布为φ2(x,y),则理想绝对相位φ(x,y) 的相位分布可以通过如下公式获得:
上式中,round()为四舍五入函数,所获得的该相位便是无歧义的准确绝对相位。经处理后得到的左右相机中指纹的绝对相位如图9所示,其中左侧为左相机,右侧为右相机。
关于基于相位的像素点匹配
由双目立体视觉的测量原理可知,对于空间任意一点,要计算出其空间三维坐标,已知左右两相机的内外参数,还需要找到其在左右两相机中对应的像投影点像素坐标。
(1)感兴趣区域提取
相机采集的条纹图片中通常包含待测目标区域与背景噪声区域,背景噪声区域不存在待测物体的相位信息,此区域无效点的存在会增大像素点的匹配时间,增加三维重建的计算量,还会引入三维重建误差。因此为了提高像素点的匹配效率与三维重建准确度,可以先对图像的待测目标区域与背景噪声区域进行分割,提取图像中的感兴趣区域,再对像素点进行匹配。可以计算图像中各点的调制度b。在同一投影与采集条件下,b的大小一般与各区域的表面反射率有关。因此通过设置一个阈值对b二值化,生成一个掩膜,将非目标区域置0,则可以提取出图像的目标区域,这种方式方便且高效。对待测的指纹区域进行分割提取,如图10所示,左侧为左相机,右侧为右相机。
(2)双目极线约束
在像素点的匹配阶段,可以利用左右相机的极线约束方程:
其中p1为空间点P在左相机上图像平面上的像点齐次坐标,p2为世界点P在左相机上图像平面上的像点齐次坐标,F为只与双目相机的内外参数有关的基本矩阵。其具体关系如图11所示。
在图11中,由左右相机光心O、O'及空间点所组成的平面为极平面π,极平面与两相机成像平面分别相交于l和l′两条直线,这两条直线称为对极线。OO′两点连线称为基线,基线与两相机的图像平面的交点e、e′称为对极点。此方程是双目立体视觉内在的约束关系,即左图像点p1在右图像上的对应像点一定存在于极线l'上。
由公式(4.2)可知,已知任意一个像点的坐标,可以求解出另一幅图像中该像点的匹配点所在的极线方程。这样可以将匹配点的搜索范围从整幅图像缩小为一条直线,大幅提高匹配精度,并极大地缩小像素点匹配的计算时间。
(3)极线对上像点的匹配
公式(4.2)所求的极线为一条直线,而图像中的像素点都是离散的,极线上的亚像素坐标像点,其相位值可通过双线性插值的方法进行求解,如图12所示。
在图12中,假设对于所求极线上的任意一点M,其相位值为p,该点周围相邻的四个离散像素点的相位值分别为a1、a2、a3、a4。M点到其相邻四个像素点围成的左边界的距离为m,到上边界的距离为n。则点M的相位p可由以下计算得到:
p=(1-m)·(1-n)·a1+m·(1-n)·a2+(1-m)·n·a3+m·n·a4
设待匹配像点的相位值为φ1,由于相位值是连续的,通过找到极线上相邻像点的相位值φ2、φ3满足:φ2<φ1<φ3的条件。设其坐标分别为(u1,v1)、(u2,v2),则匹配点的亚像素坐标(u,v)为:
对左相机图像目标区域的每个像素,依次求取其在右相机图像中匹配点的亚像素坐标,将所有的匹配点对坐标保存,完成像素点的匹配。
指纹三维重建
通过以上计算,本发明可以求取出左右相机所有的指纹匹配点对。由标定得到的系统参数,各坐标系下的坐标有以下关系:
m为相机的投影矩阵,由相机的内外参数构成,下标表示矩阵的行列数值。Xw、 Yw、Zw为指纹点的世界坐标,u1、v1、u2、v2分别是左右相机中指纹的像点的横、纵坐标。
通过最小二乘法可以计算出匹配点对所对应的指纹空间三维坐标。用MATLAB 将三维坐标绘制在X-Y-Z坐标系中可得到对应的三维形状,如图13所示。
系统精度验证及指纹采集效果对比
为了验证所搭建的系统对指纹三维测量的准确性与高效性,本节对系统三维的测量精度进行定量验证,同时与现有基于结构光的三维指纹采集系统进行对比。
使用测量标准量块的方式对系统精度进行验证。在测量过程中使用3块一级标准陶瓷哑光量块,量块的厚度分别是2mm和1.5mm、1.6mm,精度为±1.5um。
首先对单块厚度为2mm的标准量块进行测量,经过测量后绘制得到的三维点云结果如图14所示。
对于高度差的测量:首先选取图14中水平面部分的点云坐标进行平面拟合,可以得到水平面的平面方程;然后选取量块中心区域的点云数据,计算其所有点到水平拟合平面的距离,最后计算距离的平均值。对量块进行多组测量,其结果如表2、表3所示:
表2系统测量2mm高度结果(mm)
表3系统测量2mm高度均值及均方误差(mm)
同时为了验证系统对微小如指纹深度的三维测量能力,本发明将1.5mm量块与1.6mm量块并排放置在一起,通过测量量块之间0.1mm的高度差来进行验证。
图15为同时测量1.5/1.6mm量块结果图;图16为将所获取的三维指纹点云进行三角化封装后的效果图。
Claims (9)
1.一种快速三维指纹采集系统,包括硬件系统,其特征在于:所述硬件系统包括图像投影端、图像采集端和进行图像处理与三维计算的计算机,所述图像投影端包括投影仪,所述图像采集端包括左相机和右相机,所述左相机与右相机分别位于所述投影仪的左侧和右侧,所述计算机设计编码正弦相移条纹与格雷码图并且发送给投影仪,投影仪将编码图案投影到手指表面;左相机和右相机从各自的角度对手指进行拍摄,采集被手指表面深度调制而变形的编码图案并将其传输至计算机,所述计算机通过算法模块完成指纹的三维重建。
2.根据权利要求1所述的快速三维指纹采集系统,其特征在于:所述左相机和右相机与投影仪之间通过触发线连接,投影仪每投影一张图片,便向左相机和右相机输出一个触发电平,实现投影仪与左相机和右相机之间的同步工作。
3.根据权利要求1所述的快速三维指纹采集系统,其特征在于:所述投影仪的投影分别率为912*1140像素,对1bit图案的投影帧率最高达到4kHz,透射比为1.2;所述左相机和右相机的分辨率为800*600像素,镜头的焦距为35mm;所述投影仪的投射窗与手指的距离为28cm。
4.一种快速三维指纹采集方法,其特征在于,依次包括如下步骤:
步骤1:将手指置于投影仪的正前方,所述投影仪的左右两侧分别设有左相机和右相机;
步骤2:计算机设计编码正弦相移条纹与格雷码图并且发送给投影仪;
步骤3:投影仪将接受到的编码图案投影到手指表面,并且向左相机和右相机输出一个触发电平;
步骤4:所述左相机和右相机从各自的角度同步对手指进行拍摄,采集被手指表面深度调制而变形的条纹图片,并将其传输至计算机;
步骤5:所述计算机通过算法模块完成指纹的三维重建。
5.根据权利要求4所述的快速三维指纹采集方法,其特征在于:步骤5中的三维重建包括如下子步骤:
步骤5.1:计算机对接收到的被手指表面深度调制而变形的编码图案进行系统标定;
步骤5.2:对经过系统标定的图案进行条纹采集及增强;
步骤5.3:对指纹进行主值相位提取;
步骤5.4:对提取的相位解包裹;
步骤5.5:重建三维指纹;
步骤5.6:展示指纹的三维效果。
6.根据权利要求5所述的快速三维指纹采集方法,其特征在于,步骤2中:计算机采用三步相移法进行条纹设计,三步相移条纹的周期为18个像素,相应的格雷码图片数量为6张,共需要投影9张图片,利用投影仪将该9张图片依次高速投影到手指表面;
步骤4中:所述左相机和右相机以2000us的相机曝光时间、500帧的采集速度对指纹条纹图片进行采集,可以得到左右相机的相移条纹图片。
7.根据权利要求6所述的快速三维指纹采集方法,其特征在于,步骤5.3中:利用相移法计算得到左相机和右相机中指纹的包裹相位,利用6张格雷码图得到指纹表面各个像素的解码值后,得到各个像素的绝对相位值。
9.根据权利要求2所述的快速三维指纹采集方法,其特征在于,步骤5.5具体包括如下分步骤:
步骤5.51:利用左相机和右相机的极线约束方程匹配基于相位的像素点:对左相机图像目标区域的每个像素,依次求取其在右相机图像中匹配点的亚像素坐标,将所有的匹配点对坐标保存,完成像素点的匹配;
设待匹配像点的相位值为φ1,由于相位值是连续的,通过找到极线上相邻像点的相位值φ2、φ3满足:φ2<φ1<φ3的条件;设其坐标分别为(u1,v1)、(u2,v2),则匹配点的亚像素坐标(u,v)为:
步骤5.52:求取出左右相机所有的指纹匹配点对;由标定得到的系统参数,各坐标系下的坐标有以下关系:
m为相机的投影矩阵,由相机的内外参数构成,下标表示矩阵的行列数值。Xw、Yw、Zw为指纹点的世界坐标,u1、v1、u2、v2分别是左右相机中指纹的像点的横、纵坐标。
通过最小二乘法可以计算出匹配点对所对应的指纹空间三维坐标,用MATLAB将三维坐标绘制在X-Y-Z坐标系中即得到指纹对应的三维形状。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110277067.XA CN113505626B (zh) | 2021-03-15 | 一种快速三维指纹采集方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110277067.XA CN113505626B (zh) | 2021-03-15 | 一种快速三维指纹采集方法与系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113505626A true CN113505626A (zh) | 2021-10-15 |
CN113505626B CN113505626B (zh) | 2024-07-12 |
Family
ID=
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113884027A (zh) * | 2021-12-02 | 2022-01-04 | 南京理工大学 | 基于自监督深度学习的几何约束相位展开方法 |
CN114332349A (zh) * | 2021-11-17 | 2022-04-12 | 浙江智慧视频安防创新中心有限公司 | 一种双目结构光边缘重建方法、系统及存储介质 |
CN114708316A (zh) * | 2022-04-07 | 2022-07-05 | 四川大学 | 基于圆形条纹的结构光三维重建方法、装置和电子设备 |
CN117589302A (zh) * | 2023-11-22 | 2024-02-23 | 西湖大学 | 一种三维高速压缩成像方法及系统 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102831414A (zh) * | 2012-09-12 | 2012-12-19 | 河北工业大学 | 一种三维掌纹和手形的非接触式采集方法和装置 |
CN104331897A (zh) * | 2014-11-21 | 2015-02-04 | 天津工业大学 | 基于极线校正的亚像素级相位立体匹配方法 |
CN104484648A (zh) * | 2014-11-27 | 2015-04-01 | 浙江工业大学 | 基于轮廓识别的机器人可变视角障碍物检测方法 |
CN104596439A (zh) * | 2015-01-07 | 2015-05-06 | 东南大学 | 一种基于相位信息辅助的散斑匹配三维测量方法 |
CN106525004A (zh) * | 2016-11-09 | 2017-03-22 | 人加智能机器人技术(北京)有限公司 | 双目立体视觉系统及深度测量方法 |
CN109360246A (zh) * | 2018-11-02 | 2019-02-19 | 哈尔滨工业大学 | 基于同步子区搜索的立体视觉三维位移测量方法 |
CN110207614A (zh) * | 2019-05-28 | 2019-09-06 | 南京理工大学 | 一种基于双远心相机匹配的高分辨高精度测量系统及方法 |
CN111189413A (zh) * | 2019-12-27 | 2020-05-22 | 河北科技大学 | 双相机线结构光测量系统优化方法及终端设备 |
CN111275776A (zh) * | 2020-02-11 | 2020-06-12 | 北京淳中科技股份有限公司 | 投影增强现实方法、装置和电子设备 |
CN111597880A (zh) * | 2020-04-03 | 2020-08-28 | 浙江工业大学 | 一种基于单幅条纹投影的多视角三维指纹获取方法 |
US20200293763A1 (en) * | 2019-03-11 | 2020-09-17 | Wisesoft Co., Ltd. | Three-Dimensional Real Face Modeling Method and Three-Dimensional Real Face Camera System |
CN111951377A (zh) * | 2020-07-31 | 2020-11-17 | 中国科学院深圳先进技术研究院 | 三维对象重建方法及终端设备 |
CN112013792A (zh) * | 2020-10-19 | 2020-12-01 | 南京知谱光电科技有限公司 | 一种复杂大构件机器人面扫描三维重建方法 |
CN112053432A (zh) * | 2020-09-15 | 2020-12-08 | 成都贝施美医疗科技股份有限公司 | 一种基于结构光与偏振的双目视觉三维重建方法 |
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102831414A (zh) * | 2012-09-12 | 2012-12-19 | 河北工业大学 | 一种三维掌纹和手形的非接触式采集方法和装置 |
CN104331897A (zh) * | 2014-11-21 | 2015-02-04 | 天津工业大学 | 基于极线校正的亚像素级相位立体匹配方法 |
CN104484648A (zh) * | 2014-11-27 | 2015-04-01 | 浙江工业大学 | 基于轮廓识别的机器人可变视角障碍物检测方法 |
CN104596439A (zh) * | 2015-01-07 | 2015-05-06 | 东南大学 | 一种基于相位信息辅助的散斑匹配三维测量方法 |
CN106525004A (zh) * | 2016-11-09 | 2017-03-22 | 人加智能机器人技术(北京)有限公司 | 双目立体视觉系统及深度测量方法 |
CN109360246A (zh) * | 2018-11-02 | 2019-02-19 | 哈尔滨工业大学 | 基于同步子区搜索的立体视觉三维位移测量方法 |
US20200293763A1 (en) * | 2019-03-11 | 2020-09-17 | Wisesoft Co., Ltd. | Three-Dimensional Real Face Modeling Method and Three-Dimensional Real Face Camera System |
CN110207614A (zh) * | 2019-05-28 | 2019-09-06 | 南京理工大学 | 一种基于双远心相机匹配的高分辨高精度测量系统及方法 |
CN111189413A (zh) * | 2019-12-27 | 2020-05-22 | 河北科技大学 | 双相机线结构光测量系统优化方法及终端设备 |
CN111275776A (zh) * | 2020-02-11 | 2020-06-12 | 北京淳中科技股份有限公司 | 投影增强现实方法、装置和电子设备 |
CN111597880A (zh) * | 2020-04-03 | 2020-08-28 | 浙江工业大学 | 一种基于单幅条纹投影的多视角三维指纹获取方法 |
CN111951377A (zh) * | 2020-07-31 | 2020-11-17 | 中国科学院深圳先进技术研究院 | 三维对象重建方法及终端设备 |
CN112053432A (zh) * | 2020-09-15 | 2020-12-08 | 成都贝施美医疗科技股份有限公司 | 一种基于结构光与偏振的双目视觉三维重建方法 |
CN112013792A (zh) * | 2020-10-19 | 2020-12-01 | 南京知谱光电科技有限公司 | 一种复杂大构件机器人面扫描三维重建方法 |
Non-Patent Citations (2)
Title |
---|
杨顺波;龙永红;向昭宇;姚佳成: "基于SURF算法的双目视觉立体匹配研究", 湖南工业大学学报, no. 003, pages 75 - 80 * |
毛翠丽;卢荣胜;董敬涛;张育中;: "相移条纹投影三维形貌测量技术综述", 计量学报, no. 05, pages 628 - 640 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114332349A (zh) * | 2021-11-17 | 2022-04-12 | 浙江智慧视频安防创新中心有限公司 | 一种双目结构光边缘重建方法、系统及存储介质 |
CN114332349B (zh) * | 2021-11-17 | 2023-11-03 | 浙江视觉智能创新中心有限公司 | 一种双目结构光边缘重建方法、系统及存储介质 |
CN113884027A (zh) * | 2021-12-02 | 2022-01-04 | 南京理工大学 | 基于自监督深度学习的几何约束相位展开方法 |
CN113884027B (zh) * | 2021-12-02 | 2022-03-18 | 南京理工大学 | 基于自监督深度学习的几何约束相位展开方法 |
CN114708316A (zh) * | 2022-04-07 | 2022-07-05 | 四川大学 | 基于圆形条纹的结构光三维重建方法、装置和电子设备 |
CN114708316B (zh) * | 2022-04-07 | 2023-05-05 | 四川大学 | 基于圆形条纹的结构光三维重建方法、装置和电子设备 |
CN117589302A (zh) * | 2023-11-22 | 2024-02-23 | 西湖大学 | 一种三维高速压缩成像方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110276808B (zh) | 一种单相机结合二维码测量玻璃板不平度的方法 | |
CN111750806B (zh) | 一种多视角三维测量系统及方法 | |
CN106989695B (zh) | 一种投影仪标定方法 | |
US8090194B2 (en) | 3D geometric modeling and motion capture using both single and dual imaging | |
CN104335005B (zh) | 3d扫描以及定位系统 | |
WO2007015059A1 (en) | Method and system for three-dimensional data capture | |
CN110956660B (zh) | 定位方法、机器人以及计算机存储介质 | |
CN110514143A (zh) | 一种基于反射镜的条纹投影系统标定方法 | |
CN111028295A (zh) | 一种基于编码结构光和双目的3d成像方法 | |
CN1251157C (zh) | 基于主动视觉的物体三维模型快速获取方法 | |
KR20160121509A (ko) | 2개의 카메라로부터의 곡선의 세트의 구조형 광 매칭 | |
CN105303572B (zh) | 基于主被动结合的深度信息获取方法 | |
CN106500626A (zh) | 一种手机立体成像方法及三维成像手机 | |
CN112489109B (zh) | 一种三维成像系统方法、装置及三维成像系统 | |
Fernandez et al. | Planar-based camera-projector calibration | |
CN110763204A (zh) | 一种平面编码靶标及其位姿测量方法 | |
CN112945141A (zh) | 基于微透镜阵列的结构光快速成像方法及系统 | |
CN106500625A (zh) | 一种远心立体视觉测量装置及其应用于物体三维形貌微米级精度测量的方法 | |
Wenzel et al. | High-resolution surface reconstruction from imagery for close range cultural Heritage applications | |
JP5761750B2 (ja) | 画像処理方法および装置 | |
Wijenayake et al. | Dual pseudorandom array technique for error correction and hole filling of color structured-light three-dimensional scanning | |
Yu et al. | An improved projector calibration method for structured-light 3D measurement systems | |
CN108895979A (zh) | 线段编码的结构光深度获取方法 | |
CN113505626B (zh) | 一种快速三维指纹采集方法与系统 | |
CN113432558B (zh) | 一种基于激光的不规则物体表面积的测量装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |