CN112987021B - 一种飞行时间法和结构光法相融合的结构光三维成像系统及方法 - Google Patents

Abstract

本发明公开了一种飞行时间法和结构光法相融合的结构光三维成像系统及方法，包含以下步骤：搭建基于MEMS的飞行时间法和结构光混合成像系统；标定投射系统和相机之间的坐标变换关系；采集飞行时间法和结构光法的数据；使用飞行时间法重建低精度三维数据；使用低精度三维数据和结构光法重建近距离高精度三维数据；对低精度和高精度三维数据进行融合。使用MEMS微镜配合激光器和数字相机，在同一套系统中同时完成飞行时间三维成像和结构光三维成像，并进行数据融合，充分发挥不同成像方法的优势。此外，本方法使用飞行时间法，来帮助结构光法进行相位解包裹，减少传统结构光的帧数，使得本方法中的结构光三维成像速度大大提升。

Description

一种飞行时间法和结构光法相融合的结构光三维成像系统及 方法

技术领域：

本发明涉及一种飞行时间法和结构光法相融合的结构光三维成像系统及方法，主要使用MEMS微镜配合激光器和数字相机，在同一套系统中同时完成飞行时间三维成像和结构光三维成像，并进行数据融合，充分发挥不同成像方法的优势。该发明属于三维测量领域。

背景技术：

飞行时间法(TOF)和结构光法三维成像是目前最为广泛使用的两种三维成像技术。飞行时间法，使用激光照射被测物，然后使用光电探测器直接或者间接测量光从发射到反射然后被光电探测器接收到的时间差，计算出测量点的深度。常用的飞行时间法有，i-TOF和d-TOF，典型的i-TOF通过对发射光的强度进行正余弦调制，然后通过测量光波的相位，间接测量飞行时间。d-TOF通过使用脉冲调制的激光照射物体，然后使用单光子雪崩二极管直接检测发射和接收信号的时间差，作为飞行时间，进一步计算出深度值。飞行时间法的优点是：不依赖三角成像(发射器和探测器之间不需要有距离偏置)，因而集成度高；其精度随测量距离的增大，衰减不明显，更适用于中远距离的成像。但是其缺点是，成像精度要远低于结构光法。结构光法，通过向被测物表面投射特定编码的图案，然后图像传感器从另外一个角度拍摄图像，进而解算出物体表面采样点的深度。结构光法的优势是，在近距离处其横向分辨率和深度方向的方向的深度远高于飞行时间法，缺点是在中远距离的精度大幅度降低。

通常近距离三维成像，结构光法具有明显的优势，中远距离则飞行时间法更加适用，如何将两种方法结合起来是以提高系统的适用性是一个重要的技术改进方法，传统方法多采用多传感器进行数据融合，这种使用分立子系统的方法具有诸多的缺点，其降低了系统的集成度，同时还使得成本和复杂度升高，大大限制了这类方法的使用场景。本方法的一个目标是在同一套系统中同时实现上述两种成像方法，并进行数据融合，提高系统的精度和工作范围；此外，本方法的另一个目的是，使用飞行时间法，来帮助结构光法进行相位解包裹，进一步提高结构光三维成像的速度。

发明内容：

本发明目的是提出一种飞行时间法和结构光法相融合的结构光三维成像方法，在同一套系统中同时实现两种三维成像方法，并进行数据融合，提高系统的三维测量精度和范围。

一种飞行时间法和结构光法相融合的结构光三维成像方法，包含以下步骤：

(一)搭建基于MEMS的飞行时间法和结构光法混合成像系统

(二)标定投射系统和相机之间的坐标变换关系

(三)采集飞行时间法和结构光法的数据

(四)使用飞行时间法重建低精度三维数据

(五)使用低精度三维数据和结构光法重建近距离高精度三维数据

(六)对低精度和高精度三维数据进行融合

所述步骤(一)中，基于MEMS的飞行时间和结构光混合成像系统，如图2所示，光学投射器9用于投射结构光光场，以及发射和接收用于飞行时间成像的激光信息；图像传感器8用于拍摄结构光经过被测物10反射以后的结构光信息；光学投射器由光电探测器1，第一激光器2，第一半反半透光学组件3，第二激光器4，第二半反半透光学组件5，二维MEMS微镜6组成。其中第一激光器2用于发射波长为λ₁的激光，所发射的激光经过第一半反半透光学组件3反射以后，再经过第二半反半透光学组件5反射，入射到二维MEMS微镜6，并被反射到物体表面。波长为λ₁的激光在经过物体的反射后经过二维MEMS微镜6和第二半反半透光学组件5反射，再透过第一半反半透光学组件3照射在光电探测器1上，完成激光的发射和探测接收过程；第二激光器4发出波长为λ₂的激光，透过第二半反半透光学组件5，经过二维MEMS微镜6的反射，照射在物体上；通过控制MEMS微镜6的运动，完成波长为λ₁的激光的全场扫描；通过控制MEMS微镜6的运动和第二激光器4的光强，向物体表面投射预定的结构光光场7。系统至少还包含一个计算机系统，用于完成上述数据的采集和处理。

所述图像传感器包含但不限于CCD和CMOS，所述图像传感器还包含附属的光学成像组件，如镜头，和相应的处理电路。所述的图像传感器工作在λ₂波段。

所述的第一半反半透光学组件对λ₁是半反半透的；所述的第二半反半透光学组件对λ₁是反射的，对λ₂是透射的；所述MEMS微镜对λ₁和λ₂均有良好的反射特性。

所述波长λ₁和λ₂优选不同波段的激光。波长λ₁和λ₂可以相等，此时，通过选择合适的激光功率，以及合适灵敏度的光电探测器，以保证在光电探测器端检测到第一激光器的信号。

所述结构光优选基于相位编码的条纹投影结构光，在本方法的另一个实施方案中，结构光是伪随机点阵、或者最小编码、或者格雷码、或者网格编码。

所述二维MEMS微镜，还包含其附属的控制电路，在控制信号的控制下，可以进行二维扫描。作为本方法的另一个实施方案中，二维MEMS微镜可以被两个正交的一维扫描微镜代替，或者使用二维扫描机械振镜，或者使用两个正交的一维扫描机械振镜。

所述步骤(二)，向标定平面投射不同方向的正余弦条纹图，使用相机拍摄包含相位信息的条纹图，求解相位，从而标定出投射系统和采集系统之间的内参和外参。

所述步骤(三)中，使用光电探测器采集扫描像素点的飞行时间数据，使用相机曝光采集全场的结构光数据信息。

所述步骤(四)中，利用光在空气中匀速飞行的性质，计算所有像素点的深度信息，得到飞行时间深度图。利用步骤(二)得到的标定数据，将所述的深度图变换到相机视角下。

所述步骤(五)包含以下子步骤：

(1)使用单帧相位提取方法，或者相移法获得高频包裹相位图。所述单帧方法包含但不限于：傅里叶变换法、窗口傅里叶法、希尔伯特变换、经验模式分解、卷积网络法。

(2)使用上述高频包裹相位图和步骤(三)中的相机视角下的飞行时间深度数据，将包裹相位展开为绝对相位。

(3)使用上述绝对相位进行高精度结构光三维重建。

所述步骤(六)，对相机视角下的飞行时间深度数据，和结构光深度数据进行融合。融合的原则是，近处使用高精度的精度结构光深度数据，远处使用飞行时间深度数据，近处或者远处缺失的部分，使用另外一种数据进行填充，以提高精度和完整性。

本发明的积极效果

本方法在同一套系统中同时实现结构光三维成像和飞行时间成像，并进行数据融合，提高系统的精度和工作范围；此外，本方法使用飞行时间法，来帮助结构光法进行相位解包裹，减少传统结构光的帧数，使得本方法中的结构光三维成像速度大大提升。

附图说明

图1光学投射器。1、光电探测器(λ₁)；2、第一激光器(λ₁)；3、第一半反半透光学组件；4、第二激光器(λ₂)；5、第二半反半透光学组件；6、二维MEMS微镜；7结构光光场。

图2混合三维成像系统。8、图像传感器(λ₂)；9、光学投射器；10、被测物。

具体实施方式

本发明旨在利用MEMS二维扫描技术，在同一套系统中同时实现结构光三维成像和飞行时间成像，并进行数据融合，提高系统的精度和工作范围。为了实现该目的，本方法给出如下示例技术方案：

(一)搭建基于MEMS的飞行时间法和结构光法混合成像系统

基于MEMS的飞行时间和结构光混合成像系统，如图2所示，光学投射器9用于投射结构光光场，以及发射和接收用于飞行时间成像的激光信息；图像传感器8用于拍摄结构光经过被测物10反射以后的结构光信息；光学投射器如图1所示，由光电探测器1，第一激光器2，第一半反半透光学组件3，第二激光器4，第二半反半透光学组件5，二维MEMS微镜6组成。其中第一激光器2用于发射波长为λ₁的激光，所发射的激光经过第一半反半透光学组件3反射以后，再经过第二半反半透光学组件5反射，入射到二维MEMS微镜6，并被反射到物体表面。波长为λ₁的激光在经过物体的反射后经过二维MEMS微镜6和第二半反半透光学组件5反射，再透过第一半反半透光学组件3照射在光电探测器1上，完成激光的发射和探测接收过程；第二激光器4发出波长为λ₂的激光，透过第二半反半透光学组件5，经过二维MEMS微镜6的反射，照射在物体上；通过控制MEMS微镜6的运动，完成波长为λ₁的激光的全场扫描；通过控制MEMS微镜6的运动和第二激光器4的光强，向物体表面投射预定的结构光光场7。系统至少还包含一个计算机系统，用于完成上述数据的采集和处理。

所述图像传感器包含但不限于CCD和CMOS，所述图像传感器还包含附属的光学成像组件，如镜头，和相应的处理电路。所述的图像传感器工作在λ₂波段。

所述的第一半反半透光学组件对λ₁是半反半透的；所述的第二半反半透光学组件对λ₁是反射的，对λ₂是透射的；所述MEMS微镜对λ₁和λ₂均有良好的反射特性。光路图如图1所示。

所述波长λ₁和λ₂优选不同波段的激光。所述结构光优选基于相位编码的条纹投影结构光。所述二维MEMS微镜，还包含其附属的控制电路，在控制信号的控制下，可以进行二维扫描。

(二)标定投射系统和相机之间的坐标变换关系。包含以下子步骤：

(1)使用常用的黑白标定板对系统进行标定。标定方法是，使用多频多步相移技术，向标定板表面投射水平和垂直两组结构光，使用相机采集相移图，计算出标定板表面的相位分布。

(2)保持标定板不动，使用均匀照明，采集标定板图案。

(3)提取均匀照明标定板，提取标定板的特征，如角点或者圆心。

(4)提取特征点对应的相位值。

(5)使用特征点的相位值，计算出其对应的投射系统的等效像素坐标。

(6)利用特征点之间的已知关系，以及其在相机中的像素坐标和投射系统中的等效像素坐标，计算投射系统和相机的内参和外参。计算方法使用张正友标定法。

(三)采集飞行时间法和结构光法的数据

采集飞行时间数据，此处的采集帧速率要满足一下约束：

其中，c是光在空气中的速度，D是测量范围，H和V是深度图分辨率，f是最大采集帧速率(即扫描的帧速率)。

当飞行时间探测器在逐点扫描时，同步调整激光器2的亮度，完成结构光的投射，和采集。采集的条纹投影结构光的帧速率也为f。

(四)使用飞行时间法重建低精度三维数据

深度的计算为：

d＝ct/2

其中，t是光的飞行时间。

然后将d转换到相机视角的深度图，变换矩阵由步骤(二)给出，得到d₁(x,y).

(五)使用低精度三维数据和结构光法重建近距离高精度三维数据

使用傅里叶变换法，利用单帧条纹图得到包裹相位

使用d₁(x,y)作为先验知识，对/>

进行去包裹。具体方法是，对d₁(x,y)进行去噪处理，然后求一阶微分；使用其一阶微分/>

换算得到级数矩阵N：

其中a和b是和系统有关的常数。

计算得到绝对相位：

进而通过相位匹配得到精确的深度图d₂(x,y)

(六)对低精度和高精度三维数据进行融合

对相机视角下的飞行时间深度数据d₁(x,y)，和结构光深度数据d₂(x,y)进行融合。融合的原则是，近处使用高精度的精度结构光深度数据，远处使用飞行时间深度数据，近处或者远处缺失的部分，使用另外一种数据进行填充，以提高精度和完整性。

虽然已经详细的描述和显示了一些具体实施方案，但本发明不受所述实施方案的限制，也可以以下权利要求书限定的主和范围内的其他方式实现。具体来说，应该了解在不偏离本发明范围的情况下，可使用其他实施方案，并可以进行功能修改。

在列举若干工具的装置权利要求中,这些工具中的一些可由一个相同的硬件项目实现。相互不同的从属权利要求中叙述或不同的实施方案中描述了特定量度这一事实,并不表示不能使用这些量度的组合以使有点突出。

应强调,在本说明书中使用术语“包括/包含(comprises/comprising)”时,其被理解为规定存在所述的特征、整数、步骤或组分,但不排除存在或添加一个或多个其它特征、整数、步骤、组分或其群组。

上文和下文描述的方法的特征可以软件实施,且可通过执行计算机可执行指令而在数据处理系统或其它处理工具上执行。指令可以是程序代码,其从存储介质或经由计算机网络从另一台计算机载入内存(例如RAM)。或者,所述的特征可由硬连线电路代替软件实现,或由硬连线电路和软件组合实现。

Claims (8)

1.一种飞行时间法和结构光法相融合的结构光三维成像方法，其特征在于，包含以下步骤：

(一)搭建基于MEMS的飞行时间法和结构光法的混合成像系统；包括光学投射器和图像传感器，光学投射器用于投射结构光光场，以及发射和接收用于飞行时间成像的激光信息；图像传感器用于拍摄结构光经过被测物反射以后的结构光信息；光学投射器由光电探测器，第一激光器，第一半反半透光学组件，第二激光器，第二半反半透光学组件，二维MEMS微镜组成；其中第一激光器用于发射波长为λ₁的激光，所发射的激光经过第一半反半透光学组件反射以后，再经过第二半反半透光学组件反射，入射到二维MEMS微镜，并被反射到物体表面；波长为λ₁的激光在经过物体的反射后经过二维MEMS微镜和第二半反半透光学组件反射，再透过第一半反半透光学组件照射在光电探测器上，完成激光的发射和探测接收过程；第二激光器发出波长为λ₂的激光，透过第二半反半透光学组件，经过二维MEMS微镜的反射，照射在物体上；通过控制MEMS微镜的运动，完成波长为λ₁的激光的全场扫描；通过控制MEMS微镜的运动和第二激光器的光强，向物体表面投射预定的结构光光场；混合成像系统至少还包含一个计算机系统，用于完成数据的采集和处理；

(二)标定投射系统和相机之间的坐标变换关系；

(三)采集飞行时间法和结构光法的数据；

(四)使用飞行时间法重建低精度三维数据；

(五)使用低精度三维数据和结构光法重建近距离高精度三维数据；使用单帧相位提取方法，或者相移法获得高频包裹相位图；进而使用步骤(三)中的相机视角下的飞行时间深度数据，将包裹相位展开为绝对相位；最后，通过相位匹配得到精确的飞行时间深度图；

(六)对低精度三维数据和高精度三维数据进行融合；所述步骤(六)，对相机视角下的飞行时间深度数据和结构光深度数据进行融合；融合的原则是，近处使用高精度的结构光深度数据，远处使用飞行时间深度数据，近处缺失飞行时间深度数据或者远处缺失结构光深度数据时，使用另外一种数据填充。

2.如权利要求1所述的结构光三维成像方法，其特征在于：

所述的第一半反半透光学组件对波长λ₁是半反半透的；所述的第二半反半透光学组件对波长λ₁是反射的，对波长λ₂是透射的；所述MEMS微镜对波长λ₁和波长λ₂均有良好的反射特性；

所述波长λ₁和波长λ₂优选不同波段的激光；波长λ₁和波长λ₂可以相等，此时，通过选择合适的激光功率，以及合适灵敏度的光电探测器，以保证在光电探测器端检测到第一激光器的信号。

3.如权利要求1所述的结构光三维成像方法，其特征在于：所述结构光是基于相位编码的条纹投影结构光，或者结构光是基于伪随机点阵的条纹投影结构光、或者最小编码的条纹投影结构光、或者格雷码的条纹投影结构光、或者网格编码的条纹投影结构光。

4.如权利要求1所述的结构光三维成像方法，其特征在于：

所述步骤(二)，向标定平面投射不同方向的正余弦条纹图，使用相机拍摄包含相位信息的条纹图，求解相位，从而标定出投射系统和采集系统之间的内参和外参。

5.如权利要求1所述的结构光三维成像方法，其特征在于：所述步骤(三)中，使用光电探测器采集扫描像素点的飞行时间数据，使用相机曝光采集全场的结构光深度数据；

采集飞行时间深度数据，此处的采集帧速率要满足一下约束：

其中，c是光在空气中的速度，D是测量范围，H和V是深度图分辨率，f是最大采集帧速率，即扫描的帧速率；

当飞行时间探测器在逐点扫描时，同步调整激光器的亮度，完成结构光的投射和采集；采集的条纹投影结构光的帧速率也为f。

6.如权利要求1所述的结构光三维成像方法，其特征在于：所述步骤(四)中，利用光在空气中匀速飞行的性质，计算所有像素点的深度信息，得到飞行时间深度图；利用步骤(二)得到的标定数据，将所述的飞行时间深度图变换到相机视角下，得到飞行时间深度数据d₁(x,y)。

7.如权利要求1所述的结构光三维成像方法，其特征在于：所述步骤(五)包含以下子步骤：

(1)使用单帧相位提取方法，或者相移法获得高频包裹相位图；所述单帧方法包含但不限于：傅里叶变换法、窗口傅里叶法、希尔伯特变换、经验模式分解、卷积网络法；

(2)使用上述高频包裹相位图和步骤(三)中的相机视角下的飞行时间深度数据d₁(x,y)，将包裹相位展开为绝对相位；

(3)使用上述绝对相位进行高精度结构光三维重建；进而通过相位匹配得到结构光深度数据d₂(x,y)。

8.如权利要求7所述的结构光三维成像方法，其特征在于:

使用傅里叶变换法，利用单帧条纹图得到包裹相位

使用d₁(x,y)作为先验知识，对/>

进行去包裹；具体方法是，对d₁(x,y)进行去噪处理，然后求一阶微分；使用其一阶微分/>

换算得到级数矩阵N：

其中a和b是和系统有关的常数；

计算得到绝对相位：

进而通过相位匹配得到精确的结构光深度数据d₂(x,y)。

Images