CN112729164B

CN112729164B - 一种基于mems的自适应点阵结构光投射方法

Info

Publication number: CN112729164B
Application number: CN202011522177.XA
Authority: CN
Inventors: 杨涛; 彭磊; 李晓晓; 姜军委; 林淦; 王丛华; 周翔
Original assignee: Gedian Technology Shenzhen Co ltd
Current assignee: Gedian Technology Shenzhen Co ltd
Priority date: 2020-12-21
Filing date: 2020-12-21
Publication date: 2023-06-30
Anticipated expiration: 2040-12-21
Also published as: CN112729164A

Abstract

本发明公开了一种基于MEMS的自适应点阵结构光投射方法，包含以下步骤：构建一个单目MEMS结构光三维测量系统；标定所构建的单目MEMS结构光三维测量系统；利用结构光成像方法进行粗成像；反馈调制激光器的光强；利用结构光成像方法进行精细成像。本发明的方案，使用光束扫描的方法，既具有DOE+VCSEL低成本、低功耗、高集成度的优点，还可以进行点阵结构光自适应调节，与传统的DOE配合VCSEL的点阵投影方案相比，具有更好的材质、距离适应性，以及更好的精度。与基于多种曝光的高动态方法相比，本方法在不显著降低帧速率的前提下有效的提高系统的动态范围。

Description

一种基于MEMS的自适应点阵结构光投射方法

技术领域：

本发明涉及一种基于MEMS的自适应点阵结构光投射方法，该系统使用激光束作为光源，二维的MEMS微镜作为扫描装置，通过分析采集到的图像质量进行反馈，自适应调整激光器的功率，改善点阵结构光在不同距离和纹理条件下的成像质量。该方法属于光学三维测量领域。

背景技术：

伪随机点阵结构光，图1展示了两种伪随机点阵列编码，该方法由于可以进行单帧成像，具有较好的鲁棒性，而且成本低，使得该方法广泛的被用于人脸识别、人机交互、机器视觉等领域。

在结构光投射方式上，实现的方法有以DLP为代表的数字器件，还包括LCD、LCOS等技术，这些技术可以灵活精确的投射任何形式的结构光，理所应当的也可以被用于投射伪随机点阵编码结构光。但是这些投射技术由于通常使用LED光源，并且等效光圈很大，所以通常具有较小的景深，大大的限制了其成像范围。最新的研究人员利用光学衍射器件(DOE)和垂直腔面发射激光器(VCSEL)进行点阵结构光的投射，不仅大大降低了成本、体积、功耗，还具有更大的景深，这种DOE配合VCSEL的方案广泛的被在相关的产品中，如Intel的realsense系列，还有苹果公司的faceID。虽然伪随机点阵结构光具有良好的鲁棒性，但是由于光强的衰减与距离的平方成正比，即光强的变换随距离的衰减很强烈，当被测场景的深度变化很大时，相机视场中，近处的结构光会由于过曝光而导致成像质量很差。传统地，通过相机的多重曝光，也可以在一定程度上解决这个问题，但是当系统深度和纹理复杂的时候，即动态范围很大的时候，该方法会数倍的提高单次成像所耗时间。本发明提出一种方法，在具有DOE+VCSEL低成本、低功耗、高集成度的前提下，进行点阵结构光自适应调节的投射方法，以解决点阵结构光过曝或者欠曝光的问题。

发明内容：

本发明的目的是解决点阵结构光能量随距离分配不均，导致的过曝或者欠曝光问题，提出一种基于MEMS的自适应点阵结构光投射方法。该系统使用激光束作为光源，二维的MEMS微镜作为扫描装置，通过分析采集到的图像质量进行反馈，自适应调整激光器的功率，改善点阵结构光在不同距离和纹理条件下的成像质量。

一种基于MEMS的自适应点阵结构光投射方法，包含以下步骤：

(一)构建一个单目MEMS结构光三维测量系统

(二)标定所构建的系统

(三)利用结构光成像方法进行粗成像

(四)反馈调制激光器的光强

(五)利用结构光成像方法进行精细成像

所述步骤(一)中，所述的单目MEMS结构光三维测量系统，包含以下部分：激光器用于发射激光束；二维的MEMS微镜用于反射激光束，并进行扫描；至少一个相机用于采集点阵结构光图案；计算机系统用于控制和计算。

所述的激光器还包含了用于光学整形和聚焦的光学透镜，激光束在射出时，激光束的截面是一个良好的高斯光斑或者平顶光斑。

所述激光器优选单模边发射激光器，所述的激光器工作在与之配合的相机的感光波段。

所述MEMS微镜拥有至少两个旋转轴，以实现二维扫描。所述MEMS微镜可以是电磁驱动的、也可以静电驱动的、也可以是电热的。

所述相机与MEMS微镜的光轴都指向被测物，两者光轴之间具有一定的夹角，或者两者之间具有位置偏移。

所述步骤(二)中，采用通用的方法对所构成的单目结构光三维成像系统进行标定，以使得其可以进行三维成像。

所述的标定方法可采用不同的通用标定方法，不影响本专利的实施和效果。

所述步骤(三)中，使用相机采集变形的点阵结构光图案，然后配合第(二)步中的标定数据，计算出深度信息，得到深度图，完成初步的粗成像。

所述的深度图是和采集的结构光图案，像素对齐的。

所述步骤(四)中，包含以下子步骤：

1)首先利用采集的结构光图像进行纹理和反射率的分析

2)利用所得到的深度图进行场景的深度分割

3)根据上述反射率和深度信息，生成结构光强度调制索引

4)使用坐标空间坐标变换，将调制索引变换到投射视角

5)使用投射视角的调制索引图对激光器的投射强度进行进一步的调制

所述步骤(五)中，使用新的经过调制的点阵结构光图像，并进行投射、采集，计算精确的深度图，作为最终的输出结果。

有益效果

本发明的方案，使用光束扫描的方法，既具有DOE+VCSEL低成本、低功耗、高集成度的优点，还可以进行点阵结构光自适应调节，与传统的DOE配合VCSEL的点阵投影方案相比，具有更好的材质、距离适应性，以及更好的精度。与基于多种曝光的高动态方法相比，本方法在不显著降低帧速率的前提下有效的提高系统的动态范围。

附图说明

图1示例伪随机点阵编码结构光

图2点阵结构光过曝光示例(近处过曝光)

图3单目伪随机点阵结构光系统结构。1被测物；2相机；3光学透镜；4激光器；5二维MEMS微镜

具体实施方式

本发明提供了一种对深度和纹理自适应的点阵结构光调控方式，旨在解决现有伪随机点阵结构光系统中容易出现过曝光和欠曝光的问题。为了实现发明目的，本方法给出如下示例技术方案：

(一)构建一个单目MEMS结构光三维测量系统

构建单目MEMS结构光三维测量系统，如图3所示，激光器使用半导体单模边发射激光器(EEL)，MEMS使用二维微镜，MEMS投射系统的等效光轴与相机的光轴都指向被测物体，两者的夹角为15°-30°。

(二)标定所构建的系统

使用张正友法标定获得相机的内参和畸变，将激光束照射在标定板上，利用激光点和标定板的共面约束，得到激光点在相机坐标系的坐标。通过多个不同激光点的标定，获得相机坐标系和投影坐标系的旋转平移关系，即两个坐标系RT矩阵。

(三)利用结构光成像方法进行粗成像

使用匹配算法对投射点阵结构光和采集点阵结构光图像进行匹配，计算得到视差图。此时由于受到物体距离和反射率的影响，得到的视差图为低质量、不完整的视差图。

(四)反馈调制激光器的光强

该步骤包含以下子步骤

1)首先利用采集的结构光图像进行纹理反射率的分析

使用低通滤波器对结构光图像进行滤波，得到低频的背景光强信息(图像I)，然后进行阈值分割，得到过曝光(灰度＞240)的像素。进一步进行形态学的操作，将离散的像素区域进行连通，最后按照区域的面积进行过滤，面积低于整个图像面积5％的予以剔除，得到过曝光区域(mask_I)。

2)利用所得到的深度图进行场景的深度图处理

使用类似步骤1)的流程进行深度图处理，得到经过低通滤波和形态学操作之后连续平缓变化的深度图D，进一步得到深度图缺失的区域(mask_D)。

3)根据上述反射率和深度信息，生成结构光强度调制索引

通常为了增强信噪比，激光器都工作在高功率状态下，即对于欠曝光区域，很难通过调高激光器的功率来进行补偿，但是对于过曝光的区域，则可以通过减弱激光器的功率来提高质量。

对于mask_I＝1(过曝光)区域，调制系数为：

其中α为和系统相关的固定的系数，使得k的最大值为1；I′为灰度调整阈值；

对于mask_I＝1且mask_D＝1(深度缺失)的区域：

调整系数仍按上式计算，其中z取最小工作距离定值。

其他区域k＝1，得到调整调制索引图K。

4)使用坐标空间坐标变换，将调制索引变换到投射视角

使用RT矩阵将相机坐标系下的(x，y，z，k)得到投射视角的索引图K′。

新的投射点阵结构光P按下式计算，并投射。

P＝K′*P

(五)利用结构光成像方法进行精细成像

使用匹配算法对投射点阵结构光和采集点阵结构光图像进行匹配，计算得到相对完整、高精度的视差图。

虽然已经详细的描述和显示了一些具体实施方案，但本发明不受所述实施方案的限制，也可以以下权利要求书限定的主和范围内的其他方式实现。具体来说，应该了解在不偏离本发明范围的情况下，可使用其他实施方案，并可以进行功能修改。

在列举若干工具的装置权利要求中,这些工具中的一些可由一个相同的硬件项目实现。相互不同的从属权利要求中叙述或不同的实施方案中描述了特定量度这一事实,并不表示不能使用这些量度的组合以使有点突出。

应强调,在本说明书中使用术语“包括/包含(comprises/comprising)”时,其被理解为规定存在所述的特征、整数、步骤或组分,但不排除存在或添加一个或多个其它特征、整数、步骤、组分或其群组。

上文和下文描述的方法的特征可以软件实施,且可通过执行计算机可执行指令而在数据处理系统或其它处理工具上执行。指令可以是程序代码,其从存储介质或经由计算机网络从另一台计算机载入内存(例如RAM)。或者,所述的特征可由硬连线电路代替软件实现,或由硬连线电路和软件组合实现。

Claims

1.一种基于MEMS的自适应点阵结构光投射方法，其特征在于，包含以下步骤：

(一)构建一个单目MEMS结构光三维测量系统；

(二)标定所构建的单目MEMS结构光三维测量系统；采用通用的方法对所构成的单目结构光三维成像系统进行标定，以使得其可以进行三维成像；

(三)利用结构光成像方法进行粗成像；使用相机采集变形的点阵结构光图案，然后配合第(二)步中的标定数据，计算出深度信息，得到深度图，完成初步的粗成像；

(四)反馈调制激光器的光强；1)首先利用采集的结构光图像进行纹理反射率的分析；使用低通滤波器对结构光图像进行滤波，然后进行阈值分割，进一步进行形态学的操作，得到过曝和欠曝区域；2)利用所得到的深度图进行场景的深度图处理；使用步骤1)的流程进行深度图处理，得到经过低通滤波和形态学操作之后连续平缓变化的深度图，进一步得到深度图缺失的区域；3)根据上述反射率和深度信息，生成结构光强度调制索引；4)使用坐标空间坐标变换，将调制索引变换到投射视角；使用RT矩阵将相机坐标系下的(x，y，z，k)得到投射视角的索引图K′；5)使用投射视角的调制索引图对激光器的投射强度进行进一步的调制；新的投射点阵结构光P按P＝K′*P计算，并投射；

(五)利用结构光成像方法进行精细成像；使用新的经过调制的点阵结构光图像，并进行投射、采集，计算精确的深度图，作为最终的输出结果。

2.如权利要求1所述自适应点阵结构光投射方法，其特征在于：所述的单目MEMS结构光三维测量系统，包含以下部分：激光器用于发射激光束；二维的MEMS微镜用于反射激光束，并进行扫描；至少一个相机用于采集点阵结构光图案；计算机系统用于控制和计算。

3.如权利要求2所述自适应点阵结构光投射方法，其特征在于：所述的激光器还包含了用于光学整形和聚焦的光学透镜，激光束在射出时，激光束的截面是一个良好的高斯光斑或者平顶光斑。

4.如权利要求2所述自适应点阵结构光投射方法，其特征在于：所述激光器优选单模边发射激光器，所述的激光器工作在与之配合的相机的感光波段。

5.如权利要求2所述自适应点阵结构光投射方法，其特征在于：

所述MEMS微镜拥有至少两个旋转轴，以实现二维扫描；所述MEMS微镜是电磁驱动的、或者是静电驱动的、或者是电热驱动的。

6.如权利要求2所述自适应点阵结构光投射方法，其特征在于：所述相机与MEMS微镜的光轴都指向被测物，两者光轴之间具有一定的夹角，或者两者之间具有位置偏移。

7.如权利要求1所述自适应点阵结构光投射方法，其特征在于：所述步骤(四)中，包含以下子步骤：

1)首先利用采集的结构光图像进行纹理反射率的分析；

使用低通滤波器对结构光图像进行滤波，得到低频的背景光强信息、即图像I，然后进行阈值分割，得到过曝光，即灰度＞240的像素；进一步进行形态学的操作，将离散的像素区域进行连通，最后按照区域的面积进行过滤，面积低于整个图像面积5％的予以剔除，得到过曝光区域，即mask_I；

2)利用所得到的深度图进行场景的深度图处理；

使用步骤1)的流程进行深度图处理，得到经过低通滤波和形态学操作之后连续平缓变化的深度图D，进一步得到深度图缺失的区域，即mask_D；

3)根据上述反射率和深度信息，生成结构光强度调制索引；

为了增强信噪比，激光器都工作在高功率状态下，即对于欠曝光区域，通过调高激光器的功率来进行补偿，对于过曝光的区域，通过减弱激光器的功率来提高质量；

对于mask_I＝1，即过曝光区域，调制系数为：

对于mask_I＝1且mask_D＝1；

mask_D＝1表示深度缺失的区域；

调整系数仍按上式计算，其中z取最小工作距离定值；

其他区域k＝1，得到调整调制索引图K；

4)使用坐标空间坐标变换，将调制索引变换到投射视角；

使用RT矩阵将相机坐标系下的(x，y，z，k)得到投射视角的索引图K′；

5)使用投射视角的调制索引图对激光器的投射强度进行进一步的调制；

新的投射点阵结构光P按下式计算，并投射；

P＝K′*P。