CN112762859A - 一种非数字光机正弦条纹结构光高精度三维测量装置 - Google Patents

Abstract

本发明涉及光学三维成像领域，特别涉及非数字光机正弦条纹结构光高精度三维测量装置。结构光场投影装置包括N个结构光投射模组、合光棱镜和投影镜组，结构光投射模组按照预定时序依次开启，生成N个正弦条纹结构光场；合光棱镜用于将N个正弦条纹结构光场进行光路转换输出到投影镜组；投影镜组用于将N个正弦条纹结构光场投射到同一待测目标；其中，N个正弦条纹结构光场投射到同一待测目标时，具有相同的成像位置，并且时序上相邻的正弦条纹结构光场之间存在2π/N的空间相位间隔。采用本发明的结构光场投影装置和三维成像系统，可高速高精度获取人脸目标的三维数据。

Description

一种非数字光机正弦条纹结构光高精度三维测量装置

技术领域

本发明涉及光学三维成像领域，特别涉及一种非数字光机正弦条纹结构光高精度三维测量装置。

背景技术

三维人脸识别技术快速走向应用的前提是大规模三维人脸数据的建库，基于三角测量原理的光学三维测量技术具有全场非接触、精度高、速度快等显著优点，被认为是获取高速高精度三维人脸数据推崇的技术之一。采用光学三维测量的方法获取三维人脸数据的原理为：投影结构光光场至待测人脸表面，并采用单目或双目相机来拍摄受到待测人脸表面调制的变形图像序列，根据图像序列提取相位信息，从而获取三维人脸数据并重建三维模型。其中，投影结构光采用结构光编码的目的在于丰富或增加被测弱纹理人脸表面的特征，从而提高三维重建结果的准确性、可靠性以及建模的完整性。

其中，基于正弦条纹投影的三维测量技术可以获得优异的建模效果，但是正弦条纹序列要求精确相移，通常采用DLP(Digital Light Processing)、LCOS(Liquid Crystalon Silicon)等商业数字投影设备，其投影帧率低、体积大、成本高，在需要平衡精度、测量速度、集成度以及成本等因素的三维人脸识别应用中受到限制。目前，还未见报道能够满足人脸三维数据获取的成本低廉的高速高精度结构光三维成像系统。

发明内容

本发明的目的在于，综合考虑精度、测量速度、集成度以及成本等因素，基于照明光源和结构光模板，构建了新的结构光场投影装置，并提出了基于该结构光场投影装置的三维成像系统，即提出了一种非数字光机正弦条纹结构光高精度三维测量装置，在实际应用环境中，可高速高精度获取人脸目标的三维数据。

为了实现上述发明目的，本发明采用的技术方案包括以下各方面。

一种非数字光机正弦条纹结构光高精度三维测量装置，包括N个结构光投射模组、合光棱镜和投影镜组，

N个结构光投射模组按照预定时序依次开启，生成N个正弦条纹结构光场；

合光棱镜用于将N个正弦条纹结构光场进行光路转换，输出N个正弦条纹结构光场到投影镜组；

投影镜组用于将N个正弦条纹结构光场投射到同一待测目标；

其中，N个正弦条纹结构光场投射到同一待测目标时，具有相同的成像位置，并且时序上相邻的正弦条纹结构光场之间存在2π/N的空间相位间隔。

作为本发明的优选方案，结构光投射模组包括照明光源、复合透镜阵列、结构光模板和滤光片；

照明光源用于提供不同波长的光源；

复合透镜阵列用于将光源形成均匀的发光面；

结构光模板上有条纹状结构光模板图案，当均匀的发光面投射到结构光模板上时，通过结构光模板图案形成正弦条纹结构光场；

滤光片用于从正弦条纹结构光场中选取出所需辐射波段并输出到合光棱镜。

作为本发明的优选方案，结构光模板上还设置有对准标记，对准标记用于调整正弦条纹结构光场的投射位置，并且对准标记用于调整正弦结构光模板的几何位置，使得时序上相邻的结构光模板的条纹状结构光模板图案之间存在2π/N的空间相位间隔。

作为本发明的优选方案，调整正弦结构光模板的几何位置时，时序上相邻的结构光模板的条纹状结构光模板图案之间的几何位置偏差在纳米级范围。

作为本发明的优选方案，照明光源的光谱范围包括可见光光谱范围和近红外光光谱范围。

作为本发明的优选方案，合光棱镜上镀膜，镀膜的位置与各结构光投射模组发出光路的波长相匹配，使得所述各结构光投射模组发出的光路能通过同一个投影镜组投射到同一个待测目标。

作为本发明的优选方案，还包括准直透镜，准直透镜的后焦面对接复合透镜阵列，用于减小光线的发散角。

作为本发明的优选方案，还包括校准工具，校准工具具有与皮肤相似的反射特性，用于调节照明光源的对比度和亮度，当各结构光投射模组的照明光源波长不同时，调节正弦条纹结构光场具有相同的对比度和亮度。

基于相同的构思，还提出了一种高速高精度条纹结构光场三维成像系统，包括上述任一项的一种非数字光机正弦条纹结构光高精度三维测量装置、系统控制单元、成像系统和三维重建算法模块，

条纹结构光场投影装置用于将N个正弦条纹结构光场投射到同一待测目标；

成像系统用于拍摄被待测目标表面调制的结构光图像，获取结构光场图像序列，并将结构光场图像序列输出到三维重建算法模块；

三维重建算法模块根据结构光场图像序列计算出待测目标的三维重建数据；

系统控制单元用于控制多个条纹结构光场投影装置的投射模组按照预定时序依次开启，并且用于控制成像系统按照时序同步拍摄待测目标表面调制的结构光图像，系统控制单元还控制三维重建算法模块计算出待测目标的三维重建数据。

基于相同的构思还提出了一种三维重建方法，包括以下步骤：

S500，采用如权利要求1-8任一的一种非数字光机正弦条纹结构光高精度三维测量装置将N个正弦条纹结构光场按照预定时序依次投射到同一待测目标上，并同时拍摄被待测目标表面调制的结构光图像，获取N步相移条纹立体图像对；

S501，基于N步相移条纹立体图像对，利用最小二乘法计算立体截断相位对；

S502，对立体截断相位对进行展开得到相对连续相位，并利用系统标定参数进行畸变和极线校正；

S503，利用N步相移条纹立体图像对的两个视角的纹理图，并进行人脸特征点检测；

S504，利用同名人脸特征点确立统一相位展开起点，并利用相位匹配生成视差图；

S505，利用系统标定参数，基于步骤S504得到的视差图进行三维人脸重建，得到三维人脸的点云数据。

综上所述，由于采用了上述技术方案，本发明至少具有以下有益效果：

1、本发明提出了一种非数字光机正弦条纹结构光高精度三维测量装置，系统控制单元按照预定时序依次开启结构光投射模组，结构光投射模组中的照明光源，生成N个存在2π/N的空间相位间隔的正弦条纹结构光场，正弦条纹结构光场经过合光棱镜的光路转换后，通过投影镜组投射到待测人脸表面。与传统的数字结构光投影相比，采用本发明的装置，通过结构光投射模组的开与关实现相移条纹的切换，切换速度快，因此，可以实现高对比度、高分辨率和高投影帧频，从而保证高速高精度人脸模型三维重建。

2、本发明的投影装置安装空间需求小、复杂性低，可以实现三维成像系统成本低、结构紧凑的系统设计。此外，结构光模板的图案可以根据实际测量需要进行个性化设计，系统具有很强的灵活性；同时具有广泛的应用范围，可满足人脸目标的高速高精度三维成像。

附图说明

图1为本发明实施例1中一种非数字光机正弦条纹结构光高精度三维测量装置的实施例框图；

图2为本发明实施例1中的一种非数字光机正弦条纹结构光高精度三维测量装置结构示意图；

图3为本发明实施例1中高速非数字光机正弦条纹结构光光场投影装置结构光模板对准方案示意图；

图4是本发明实施例1中的正弦结构光场图像亮度对比度校正流程图；

图5是本发明实施例1中采用的三维重建算法步骤流程图。

具体实施方式

下面结合实例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

图1示出了根据本发明设计的一种非数字光机正弦条纹结构光高精度三维测量装置实施例框图，其以人脸对象(105)作为测量目标，示例性地说明三维成像系统(100)构成及工作原理。

在图1中，三维成像系统(100)由光场投影装置(101)、系统控制单元(102)、成像系统(103)和三维重建算法模块(104)组成。光场投影装置(101)和成像系统(103)具有立体视觉三角测量约束关系。

其中，在图1中，光场投影装置(101)将正弦条纹光场投影至待测人脸目标(105)，成像系统(103)同步抓拍被待测人脸目标(105)表面形状调制的图像，当采用成像系统为双目成像系统时，抓拍的调制图像为2N，左右相机各N张(N＝3或5，以下不再说明)，2N幅图像组成变形正弦结构光场图像序列，变形正弦结构光场图像序列被送至三维重建算法模块(104)进行图像处理，得到重建的人脸三维数据(106)。以下对光场投影装置(101)的结构和原理进行详细说明，说明中以LED照明光源为例进行说明，但是并不作为限制，可见光光谱范围、近红外光光谱范围的光都可以作为光场投影装置(101)的照明光源。照明光源可以是LED也可以是激光光源。

在图1中，光场投影装置(101)包括LED照明光源及驱动电路(1010)、复合透镜阵列(1011)、结构光模板(1012)、滤光片(1013)、合光棱镜(1014)、投影透镜(1015)等，系统控制单元(102)按照预定时序分时开启不同波长的LED照明光源，LED光经复合透镜阵列(1011)匀光后依次照明其对应的条纹结构光模板(1012)形成正弦条纹结构光场，正弦条纹结构光场依次通过滤光片(1013)和合光棱镜(1014)进行光路转换，然后投影镜组(1015)将相应的正弦条纹结构光场投影至待测人脸表面。系统控制单元(102)按照预定时序分时开启照明光源时，开启时间间隔按需求设置，特别的，开启时间间隔为毫秒级。

在示例性的结构框图1中，光场投影装置(101)的N个不同波长λ的LED光源照明的正弦条纹结构光模板(1012)具有恒定的2π/N的空间相移间隔，且正弦条纹结构光模板之间的相位间隔通过预先制作在模板上的几何标记进行纳米级对准，从而保证结构光模板图案之间准确的相位间隔。

在示例性的结构框图1中，光场投影装置(101)，正弦条纹结构光模板(1012)由玻璃板、金属板或者塑料板制作而成，制作过程包括印刷和蚀刻等，模板图案通过二值编码进行光场调制，包括但不限于误差扩散二值图案。

以本实施例为基础扩展多视三维成像系统或其它相似的改进方案都应属于本发明的保护范围。

图2示出了根据本发明实施例框图(如图1所示)设计的高速非数字光机正弦条纹结构光光场投影装置示意图(N＝3)，光场投影装置由三路不同红外波长的LED照明光路(200、201、202)，合光棱镜(203)和投影镜组(204)组成。

以光路(200)为例说明光场投影装置的工作原理，使用某一波长λ，例如820nm的LED照明光源(2001)经复合透镜阵列(2002)进行匀光并准直(2003)后被条纹结构光模板(2004)调制形成正弦条纹结构光场，并经“×”型合光棱镜(203)进行光路转换，然后投影镜组(204)将正弦条纹光场投影至测量空间。LED照明光路201、202和LED照明光路(200)具有完全一样的光学结构，但结构光模板存在恒定的空间相位间隔2π/3。

由于本方案中，入射方向不同的多路光路(例如200、201、202为三路光路)共用一个合光棱镜进行光路转换(半反半透、透反)，为了确保各光路能共用同一个投影镜组，使不同的光路经过投影镜组实现正弦条纹结构光场的投射，因此，各结构光投射模组中的波长设置为不同，并且针对每一种波长在合光棱镜中的光路，对合光棱镜镀膜，波长与合光棱镜镀膜的位置相匹配。

当光场投影装置封装好后，结构光投射模组与合光棱镜、投影镜组的相对位置关系就确定下来，各结构光投射模组的光路就唯一确定下来，合光棱镜中各光路的入射角度、出射角度就唯一确定下来，因此针对各光路的波长，在合光棱镜对应的位置上镀不同的膜，确保不同光路从同一个投影镜组发出。在使用光场投影装置的过程中，就不再需要调整光场投影装置内部的光路，而直接调试安装光场投影装置的位置，就能实现光场的高速切换。

光场投影装置工作时，系统控制单元(102)按照预定时序控制LED照明光路依次开启(例如按照光路200、201和202的顺序开启)，从而实现三步相移光场高速投影。以本实施例为基础扩展多个光路，如N＝5，或其它相似的改进方案都应属于本发明的保护范围。

图3示出了高速非数字光机正弦条纹结构光光场投影装置结构光模板对准方案示意图；3个不同波长λ的LED光源照明光路(300)最后经过投影镜组(301)将具有恒定的2π/3的空间相移间隔正弦条纹结构光模板投影至测量空间；正弦结构光模板刻有100-150个周期的条纹图形，同时在模板的四个角刻有对准标记(十字叉+圆形莫尔条纹)。在本实施例中，光场投影装置的装调分为两方面，一方面是每个波长光路装置光路元器件的精密调节，保证清晰成像；另一方面，是通过模板上的对准标记确保结构光模板之间的空间相移间隔。

其具体流程为：

S1：把LED照明光源及驱动电路、复合透镜阵列、滤光片等组件通过多维调节机构安置的光具座上，结合透镜的焦距参数等调节好间距，保持各组件中心共线；

S2：通过多维调节平台对各组件进行精确调节，LED照明组件投射出的光斑，在目标位置用鉴像屏承接，标记光斑中心位置，在沿光具座线性移动时调节使投影保持其中心在屏上位置不变；

S3，将匀光复合透镜阵列的理论焦平面与LED发光中心重合。在匀光复合透镜阵列后端用白屏承接，调节LED与匀光复合透镜阵列间距使白屏上的光斑均匀清晰；

S4，光路中加入准直透镜，调节准直透镜使其后焦面对接匀光复合透镜阵列。在垂直光轴平面内调节准直透镜使出光后的光斑中心与加入准直透镜前保持不变，经过准直后光线具有较小发散角；

S5，加入结构光模板，保持结构光模板与光轴垂直，调节结构光模板相对准直透镜的位置，使在设计测量空间的工作面上投射出边沿清晰的光场图案。将上述S1-S4组成的一路LED照明光学系统的所有光学组件进行固定封装，形成图3(300)所示光场投影装置的一个结构光投射模组。

S6，按照上述步骤S1-S5步骤对图3(300)所示光场投影装置的剩余2个结构光投射模组进行同样操作，但在封装前须以首次封装的结构光投射模组的对准标记(十字叉+圆形光栅)作为基准。具体而言：将开启首次封装的结构光投射模组，将结构光模板图案(302)及对准标记(303，304)投影至工作平面，然后开启正在调解的结构光投射模组，将其对应的结构光模板图案及对准标记投影至工作平面，当两个结构光模板上的“十”型标记重合时，再精调正在调解的结构光模组中的圆形光栅标记，当在工作平面上形成同心圆环时，表明调解完成，然后对当前的结构光投射模组进行封装。以此类推，最后一个结构光投射模组进行同样的操作。

图4示出了本发明实施例的正弦结构光场图像亮度对比度校正流程图，具体步骤：

S400，通过系统控制单元打开LED灯并同步拍摄投射到与皮肤反射特性相近的平面目标物的条纹结构光图像；

S401，选取某一波长LED光源照明的光场图像中的有效区域作为校准的参考区域，将成像系统拍照参数调节至实际工作的参数，通过控制光源的电流将条纹图像的正弦灰度范围调至20-220范围，且具有相同的对比度；

S402，将S2步骤调节完成的图像的对比度和灰度范围作为参考，对于其它N-1个波长对应的LED光源照明的光场图像实施上述S401-S402步骤调节。

图5是本发明实施例采用的三维重建算法步骤流程图。双目相机构成的成像系统实时获取受人脸三维几何形貌调制的条纹序列图像：在双目相机配置下得到2N张条纹图，左右相机各N张。

具体步骤：

S500，通过系统控制单元控制双目成像单元同步获取N步相移条纹立体图像对；

拍摄到的变形条纹用公式表示为：

其中，(x,y)为像素坐标；R(x,y)是人脸表面反射率的分布；A(x,y)为背景光强，B(x,y)/A(x,y)表示了条纹的对比度；φ(x,y)是表示条纹结构光场所蕴含的相位信息；N为编码φ(x,y)所选用的条纹图数目，表相移次数；M(x,y)为嵌入调制信息，相邻图像之间进行反号；n为条纹图序号，表第n次相移，其取值范围为1到N。

S501，利用如下最小二乘法计算立体截断相位对；

S502，对立体截断相位对进行展开得到相对连续相位，并利用系统标定参数进行畸变和极线校正；

S503，利用相移条纹计算立体图像对的两个视角的纹理图，并进行人脸特征点检测；

人脸表面纹理图像可由对应的N幅条纹图像生成：

S504，利用同名人脸特征点确立统一相位展开起点，并利用相位匹配生成视差图；

进一步，将人脸特征点的相对相位值与以右相机空间相位展开结果中人脸特征点处的相对相位值进行对比，求取左右相机人脸特征点的相对相位值的差值，并除以2π并取整的整数K，求得K后将右相机相位图加上2Kπ即实现使用人脸特征点为锚点，将双目相机获取的相互独立的相对相位信息进行统一。

S505，利用系统标定参数，基于步骤S504得到的视差图进行三维人脸重建，得到三维人脸的点云数据。

Claims (10)

1.一种非数字光机正弦条纹结构光高精度三维测量装置，包括N个结构光投射模组、合光棱镜和投影镜组，其特征在于，

所述N个结构光投射模组按照预定时序依次开启，生成N个正弦条纹结构光场；

所述合光棱镜用于将所述N个正弦条纹结构光场进行光路转换，输出所述N个正弦条纹结构光场到所述投影镜组；

所述投影镜组用于将所述N个正弦条纹结构光场投射到同一待测目标；

其中，所述N个正弦条纹结构光场投射到同一待测目标时，具有相同的成像位置，并且时序上相邻的正弦条纹结构光场之间存在2π/N的空间相位间隔。

2.如权利要求1所述的一种非数字光机正弦条纹结构光高精度三维测量装置，其特征在于，所述结构光投射模组包括照明光源、复合透镜阵列、结构光模板和滤光片；

所述照明光源用于提供不同波长的光源；

所述复合透镜阵列用于将所述光源形成均匀的发光面；

所述结构光模板上有条纹状结构光模板图案，当所述均匀的发光面投射到所述结构光模板上时，通过所述结构光模板图案形成正弦条纹结构光场；

所述滤光片用于从所述正弦条纹结构光场中选取出所需辐射波段并输出到所述合光棱镜。

3.如权利要求2所述的一种非数字光机正弦条纹结构光高精度三维测量装置，其特征在于，所述结构光模板上还设置有对准标记，所述对准标记用于调整所述正弦条纹结构光场的投射位置，并且所述对准标记用于调整所述正弦结构光模板的几何位置，使得时序上相邻的结构光模板的条纹状结构光模板图案之间存在2π/N的空间相位间隔。

4.如权利要求3所述的一种非数字光机正弦条纹结构光高精度三维测量装置，其特征在于，调整所述正弦结构光模板的几何位置时，时序上相邻的结构光模板的条纹状结构光模板图案之间的几何位置偏差在纳米级范围。

5.如权利要求4所述的一种非数字光机正弦条纹结构光高精度三维测量装置，其特征在于，所述照明光源的光谱范围包括可见光光谱范围和近红外光光谱范围。

6.如权利要求1-5任一所述的一种非数字光机正弦条纹结构光高精度三维测量装置，其特征在于，所述合光棱镜上镀膜，镀膜的位置与各结构光投射模组发出光路的波长相匹配，使得所述各结构光投射模组发出的光路能通过同一个投影镜组投射到同一个待测目标。

7.如权利要求6所述的一种非数字光机正弦条纹结构光高精度三维测量装置，其特征在于，还包括准直透镜，所述准直透镜的后焦面对接所述复合透镜阵列，用于减小光线的发散角。

8.如权利要求7所述的一种非数字光机正弦条纹结构光高精度三维测量装置，其特征在于，还包括校准工具，所述校准工具具有与皮肤相似的反射特性，用于调节所述照明光源的对比度和亮度，当各结构光投射模组的照明光源波长不同时，调节正弦条纹结构光场具有相同的对比度和亮度。

9.一种高速高精度条纹结构光场三维成像系统，其特征在于，包括如权利要求1-8任一所述的一种非数字光机正弦条纹结构光高精度三维测量装置、系统控制单元、成像系统和三维重建算法模块，

所述条纹结构光场投影装置用于将所述N个正弦条纹结构光场投射到同一待测目标；

所述成像系统用于拍摄被所述待测目标表面调制的结构光图像，获取结构光场图像序列，并将所述结构光场图像序列输出到三维重建算法模块；

所述三维重建算法模块根据所述结构光场图像序列计算出所述待测目标的三维重建数据；

所述系统控制单元用于控制多个所述条纹结构光场投影装置的投射模组按照预定时序依次开启，并且用于控制所述成像系统按照所述时序同步拍摄所述待测目标表面调制的结构光图像，所述系统控制单元还控制所述三维重建算法模块计算出所述待测目标的三维重建数据。

10.一种三维重建方法，其特征在于，包括以下步骤：

S500，采用如权利要求1-8任一所述的一种非数字光机正弦条纹结构光高精度三维测量装置将N个正弦条纹结构光场按照预定时序依次投射到同一待测目标上，并同时拍摄被所述待测目标表面调制的结构光图像，获取N步相移条纹立体图像对；

S501，基于所述N步相移条纹立体图像对，利用最小二乘法计算立体截断相位对；

S502，对所述立体截断相位对进行展开得到相对连续相位，并利用系统标定参数进行畸变和极线校正；

S503，利用所述N步相移条纹立体图像对的两个视角的纹理图，并进行人脸特征点检测；

S504，利用同名人脸特征点确立统一相位展开起点，并利用相位匹配生成视差图；

S505，利用系统标定参数，基于步骤S504得到的视差图进行三维人脸重建，得到三维人脸的点云数据。

Images