CN112729164A - 一种基于mems的自适应点阵结构光投射方法 - Google Patents

一种基于mems的自适应点阵结构光投射方法 Download PDF

Info

Publication number
CN112729164A
CN112729164A CN202011522177.XA CN202011522177A CN112729164A CN 112729164 A CN112729164 A CN 112729164A CN 202011522177 A CN202011522177 A CN 202011522177A CN 112729164 A CN112729164 A CN 112729164A
Authority
CN
China
Prior art keywords
structured light
mems
laser
lattice structure
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011522177.XA
Other languages
English (en)
Other versions
CN112729164B (zh
Inventor
杨涛
彭磊
李晓晓
姜军委
林淦
王丛华
周翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gedian Technology Shenzhen Co ltd
Original Assignee
Gedian Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gedian Technology Shenzhen Co ltd filed Critical Gedian Technology Shenzhen Co ltd
Priority to CN202011522177.XA priority Critical patent/CN112729164B/zh
Publication of CN112729164A publication Critical patent/CN112729164A/zh
Application granted granted Critical
Publication of CN112729164B publication Critical patent/CN112729164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于MEMS的自适应点阵结构光投射方法，包含以下步骤：构建一个单目MEMS结构光三维测量系统；标定所构建的单目MEMS结构光三维测量系统；利用结构光成像方法进行粗成像；反馈调制激光器的光强；利用结构光成像方法进行精细成像。本发明的方案，使用光束扫描的方法，既具有DOE+VCSEL低成本、低功耗、高集成度的优点，还可以进行点阵结构光自适应调节，与传统的DOE配合VCSEL的点阵投影方案相比，具有更好的材质、距离适应性，以及更好的精度。与基于多种曝光的高动态方法相比，本方法在不显著降低帧速率的前提下有效的提高系统的动态范围。

Description

一种基于MEMS的自适应点阵结构光投射方法
技术领域：
本发明涉及一种基于MEMS的自适应点阵结构光投射方法，该系统使用激光束作为光源，二维的MEMS微镜作为扫描装置，通过分析采集到的图像质量进行反馈，自适应调整激光器的功率，改善点阵结构光在不同距离和纹理条件下的成像质量。该方法属于光学三维测量领域。
背景技术：
伪随机点阵结构光，图1展示了两种伪随机点阵列编码，该方法由于可以进行单帧成像，具有较好的鲁棒性，而且成本低，使得该方法广泛的被用于人脸识别、人机交互、机器视觉等领域。
在结构光投射方式上，实现的方法有以DLP为代表的数字器件，还包括LCD、LCOS等技术，这些技术可以灵活精确的投射任何形式的结构光，理所应当的也可以被用于投射伪随机点阵编码结构光。但是这些投射技术由于通常使用LED光源，并且等效光圈很大，所以通常具有较小的景深，大大的限制了其成像范围。最新的研究人员利用光学衍射器件(DOE)和垂直腔面发射激光器(VCSEL)进行点阵结构光的投射，不仅大大降低了成本、体积、功耗，还具有更大的景深，这种DOE配合VCSEL的方案广泛的被在相关的产品中，如Intel的realsense系列，还有苹果公司的faceID。虽然伪随机点阵结构光具有良好的鲁棒性，但是由于光强的衰减与距离的平方成正比，即光强的变换随距离的衰减很强烈，当被测场景的深度变化很大时，相机视场中，近处的结构光会由于过曝光而导致成像质量很差。传统地，通过相机的多重曝光，也可以在一定程度上解决这个问题，但是当系统深度和纹理复杂的时候，即动态范围很大的时候，该方法会数倍的提高单次成像所耗时间。本发明提出一种方法，在具有DOE+VCSEL低成本、低功耗、高集成度的前提下，进行点阵结构光自适应调节的投射方法，以解决点阵结构光过曝或者欠曝光的问题。
发明内容：
本发明的目的是解决点阵结构光能量随距离分配不均，导致的过曝或者欠曝光问题，提出一种基于MEMS的自适应点阵结构光投射方法。该系统使用激光束作为光源，二维的MEMS微镜作为扫描装置，通过分析采集到的图像质量进行反馈，自适应调整激光器的功率，改善点阵结构光在不同距离和纹理条件下的成像质量。
一种基于MEMS的自适应点阵结构光投射方法，包含以下步骤：
(一)构建一个单目MEMS结构光三维测量系统
(二)标定所构建的系统
(三)利用结构光成像方法进行粗成像
(四)反馈调制激光器的光强
(五)利用结构光成像方法进行精细成像
所述步骤(一)中，所述的单目MEMS结构光三维测量系统，包含以下部分：激光器用于发射激光束；二维的MEMS微镜用于反射激光束，并进行扫描；至少一个相机用于采集点阵结构光图案；计算机系统用于控制和计算。
所述的激光器还包含了用于光学整形和聚焦的光学透镜，激光束在射出时，激光束的截面是一个良好的高斯光斑或者平顶光斑。
所述激光器优选单模边发射激光器，所述的激光器工作在与之配合的相机的感光波段。
所述MEMS微镜拥有至少两个旋转轴，以实现二维扫描。所述MEMS微镜可以是电磁驱动的、也可以静电驱动的、也可以是电热的。
所述相机与MEMS微镜的光轴都指向被测物，两者光轴之间具有一定的夹角，或者两者之间具有位置偏移。
所述步骤(二)中，采用通用的方法对所构成的单目结构光三维成像系统进行标定，以使得其可以进行三维成像。
所述的标定方法可采用不同的通用标定方法，不影响本专利的实施和效果。
所述步骤(三)中，使用相机采集变形的点阵结构光图案，然后配合第(二)步中的标定数据，计算出深度信息，得到深度图，完成初步的粗成像。
所述的深度图是和采集的结构光图案，像素对齐的。
所述步骤(四)中，包含以下子步骤：
1)首先利用采集的结构光图像进行纹理和反射率的分析
2)利用所得到的深度图进行场景的深度分割
3)根据上述反射率和深度信息，生成结构光强度调制索引
4)使用坐标空间坐标变换，将调制索引变换到投射视角
5)使用投射视角的调制索引图对激光器的投射强度进行进一步的调制
所述步骤(五)中，使用新的经过调制的点阵结构光图像，并进行投射、采集，计算精确的深度图，作为最终的输出结果。
有益效果
本发明的方案，使用光束扫描的方法，既具有DOE+VCSEL低成本、低功耗、高集成度的优点，还可以进行点阵结构光自适应调节，与传统的DOE配合VCSEL的点阵投影方案相比，具有更好的材质、距离适应性，以及更好的精度。与基于多种曝光的高动态方法相比，本方法在不显著降低帧速率的前提下有效的提高系统的动态范围。
附图说明
图1示例伪随机点阵编码结构光
图2点阵结构光过曝光示例(近处过曝光)
图3单目伪随机点阵结构光系统结构。1被测物；2相机；3光学透镜；4激光器；5二维MEMS微镜
具体实施方式
本发明提供了一种对深度和纹理自适应的点阵结构光调控方式，旨在解决现有伪随机点阵结构光系统中容易出现过曝光和欠曝光的问题。为了实现发明目的，本方法给出如下示例技术方案：
(一)构建一个单目MEMS结构光三维测量系统
构建单目MEMS结构光三维测量系统，如图3所示，激光器使用半导体单模边发射激光器(EEL)，MEMS使用二维微镜，MEMS投射系统的等效光轴与相机的光轴都指向被测物体，两者的夹角为15°-30°。
(二)标定所构建的系统
使用张正友法标定获得相机的内参和畸变，将激光束照射在标定板上，利用激光点和标定板的共面约束，得到激光点在相机坐标系的坐标。通过多个不同激光点的标定，获得相机坐标系和投影坐标系的旋转平移关系，即两个坐标系RT矩阵。
(三)利用结构光成像方法进行粗成像
使用匹配算法对投射点阵结构光和采集点阵结构光图像进行匹配，计算得到视差图。此时由于受到物体距离和反射率的影响，得到的视差图为低质量、不完整的视差图。
(四)反馈调制激光器的光强
该步骤包含以下子步骤
1)首先利用采集的结构光图像进行纹理反射率的分析
使用低通滤波器对结构光图像进行滤波，得到低频的背景光强信息(图像I)，然后进行阈值分割，得到过曝光(灰度＞240)的像素。进一步进行形态学的操作，将离散的像素区域进行连通，最后按照区域的面积进行过滤，面积低于整个图像面积5％的予以剔除，得到过曝光区域(mask_I)。
2)利用所得到的深度图进行场景的深度图处理
使用类似步骤1)的流程进行深度图处理，得到经过低通滤波和形态学操作之后连续平缓变化的深度图D，进一步得到深度图缺失的区域(mask_D)。
3)根据上述反射率和深度信息，生成结构光强度调制索引
通常为了增强信噪比，激光器都工作在高功率状态下，即对于欠曝光区域，很难通过调高激光器的功率来进行补偿，但是对于过曝光的区域，则可以通过减弱激光器的功率来提高质量。
对于mask_I＝1(过曝光)区域，调制系数为：
Figure BDA0002849376960000041
其中α为和系统相关的固定的系数，使得k的最大值为1；I′为灰度调整阈值；
对于mask_I＝1且mask_D＝1(深度缺失)的区域：
调整系数仍按上式计算，其中z取最小工作距离定值。
其他区域k＝1，得到调整调制索引图K。
4)使用坐标空间坐标变换，将调制索引变换到投射视角
使用RT矩阵将相机坐标系下的(x，y，z，k)得到投射视角的索引图K′。
5)使用投射视角的调制索引图对激光器的投射强度进行进一步的调制
新的投射点阵结构光P按下式计算，并投射。
P＝K′*P
(五)利用结构光成像方法进行精细成像
使用匹配算法对投射点阵结构光和采集点阵结构光图像进行匹配，计算得到相对完整、高精度的视差图。
虽然已经详细的描述和显示了一些具体实施方案，但本发明不受所述实施方案的限制，也可以以下权利要求书限定的主和范围内的其他方式实现。具体来说，应该了解在不偏离本发明范围的情况下，可使用其他实施方案，并可以进行功能修改。
在列举若干工具的装置权利要求中,这些工具中的一些可由一个相同的硬件项目实现。相互不同的从属权利要求中叙述或不同的实施方案中描述了特定量度这一事实,并不表示不能使用这些量度的组合以使有点突出。
应强调,在本说明书中使用术语“包括/包含(comprises/comprising)”时,其被理解为规定存在所述的特征、整数、步骤或组分,但不排除存在或添加一个或多个其它特征、整数、步骤、组分或其群组。
上文和下文描述的方法的特征可以软件实施,且可通过执行计算机可执行指令而在数据处理系统或其它处理工具上执行。指令可以是程序代码,其从存储介质或经由计算机网络从另一台计算机载入内存(例如RAM)。或者,所述的特征可由硬连线电路代替软件实现,或由硬连线电路和软件组合实现。

Claims (10)

1.一种基于MEMS的自适应点阵结构光投射方法，其特征在于，包含以下步骤：
(一)构建一个单目MEMS结构光三维测量系统；
(二)标定所构建的单目MEMS结构光三维测量系统；
(三)利用结构光成像方法进行粗成像；
(四)反馈调制激光器的光强；
(五)利用结构光成像方法进行精细成像。
2.如权利要求1所述自适应点阵结构光投射方法，其特征在于：所述的单目MEMS结构光三维测量系统，包含以下部分：激光器用于发射激光束；二维的MEMS微镜用于反射激光束，并进行扫描；至少一个相机用于采集点阵结构光图案；计算机系统用于控制和计算。
3.如权利要求2所述自适应点阵结构光投射方法，其特征在于：所述的激光器还包含了用于光学整形和聚焦的光学透镜，激光束在射出时，激光束的截面是一个良好的高斯光斑或者平顶光斑。
4.如权利要求2所述自适应点阵结构光投射方法，其特征在于：所述激光器优选单模边发射激光器，所述的激光器工作在与之配合的相机的感光波段。
5.如权利要求2所述自适应点阵结构光投射方法，其特征在于：
所述MEMS微镜拥有至少两个旋转轴，以实现二维扫描；所述MEMS微镜是电磁驱动的、或者是静电驱动的、或者是电热驱动的。
6.如权利要求2所述自适应点阵结构光投射方法，其特征在于：所述相机与MEMS微镜的光轴都指向被测物，两者光轴之间具有一定的夹角，或者两者之间具有位置偏移。
7.如权利要求1所述自适应点阵结构光投射方法，其特征在于：所述步骤(二)中，采用通用的方法对所构成的单目结构光三维成像系统进行标定，以使得其可以进行三维成像。
8.如权利要求1所述自适应点阵结构光投射方法，其特征在于：所述步骤(三)中，使用相机采集变形的点阵结构光图案，然后配合第(二)步中的标定数据，计算出深度信息，得到深度图，完成初步的粗成像。
9.如权利要求1所述自适应点阵结构光投射方法，其特征在于：所述步骤(四)中，包含以下子步骤：
1)首先利用采集的结构光图像进行纹理和反射率的分析；
2)利用所得到的深度图进行场景的深度分割；
3)根据上述反射率和深度信息，生成结构光强度调制索引；
4)使用坐标空间坐标变换，将调制索引变换到投射视角；
5)使用投射视角的调制索引图对激光器的投射强度进行进一步的调制。
10.如权利要求1所述自适应点阵结构光投射方法，其特征在于：
所述步骤(五)中，使用新的经过调制的点阵结构光图像，并进行投射、采集，计算精确的深度图，作为最终的输出结果。
CN202011522177.XA 2020-12-21 2020-12-21 一种基于mems的自适应点阵结构光投射方法 Active CN112729164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011522177.XA CN112729164B (zh) 2020-12-21 2020-12-21 一种基于mems的自适应点阵结构光投射方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011522177.XA CN112729164B (zh) 2020-12-21 2020-12-21 一种基于mems的自适应点阵结构光投射方法

Publications (2)

Publication Number Publication Date
CN112729164A true CN112729164A (zh) 2021-04-30
CN112729164B CN112729164B (zh) 2023-06-30

Family

ID=75605646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011522177.XA Active CN112729164B (zh) 2020-12-21 2020-12-21 一种基于mems的自适应点阵结构光投射方法

Country Status (1)

Country Link
CN (1) CN112729164B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115655153A (zh) * 2022-11-09 2023-01-31 四川大学 光源调制方法及其mems扫描3d成像系统与成像方法
CN116222433A (zh) * 2023-03-22 2023-06-06 西安知象光电科技有限公司 一种基于超表面的结构光三维成像系统及方法
CN116608794A (zh) * 2023-07-17 2023-08-18 山东科技大学 一种抗纹理3d结构光成像方法、系统、装置及存储介质
WO2024187474A1 (zh) * 2023-03-16 2024-09-19 华为技术有限公司 图像探测方法、芯片系统及交通工具

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105651203A (zh) * 2016-03-16 2016-06-08 广东工业大学 一种自适应条纹亮度的高动态范围三维形貌测量方法
CN107193123A (zh) * 2017-05-25 2017-09-22 西安知象光电科技有限公司 一种自适应线结构光的闭环调制方法
CN107607040A (zh) * 2017-08-11 2018-01-19 天津大学 一种适用于强反射表面的三维扫描测量装置及方法
CN109950793A (zh) * 2019-05-10 2019-06-28 苏州长光华芯半导体激光创新研究院有限公司 基于mems微镜扫描的vcsel点阵光源系统
US20190388194A1 (en) * 2018-06-22 2019-12-26 Align Technology, Inc. Light field intraoral 3d scanner with structured light illumination
CN110764254A (zh) * 2019-09-30 2020-02-07 中国科学院苏州纳米技术与纳米仿生研究所 可编译的结构光投影系统
CN111174702A (zh) * 2020-01-22 2020-05-19 无锡微视传感科技有限公司 一种自适应结构光投射模组及测量方法
CN111243002A (zh) * 2020-01-15 2020-06-05 中国人民解放军国防科技大学 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法
CN111458717A (zh) * 2020-04-20 2020-07-28 深圳奥比中光科技有限公司 一种tof深度测量装置、方法及电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105651203A (zh) * 2016-03-16 2016-06-08 广东工业大学 一种自适应条纹亮度的高动态范围三维形貌测量方法
CN107193123A (zh) * 2017-05-25 2017-09-22 西安知象光电科技有限公司 一种自适应线结构光的闭环调制方法
CN107607040A (zh) * 2017-08-11 2018-01-19 天津大学 一种适用于强反射表面的三维扫描测量装置及方法
US20190388194A1 (en) * 2018-06-22 2019-12-26 Align Technology, Inc. Light field intraoral 3d scanner with structured light illumination
CN109950793A (zh) * 2019-05-10 2019-06-28 苏州长光华芯半导体激光创新研究院有限公司 基于mems微镜扫描的vcsel点阵光源系统
CN110764254A (zh) * 2019-09-30 2020-02-07 中国科学院苏州纳米技术与纳米仿生研究所 可编译的结构光投影系统
CN111243002A (zh) * 2020-01-15 2020-06-05 中国人民解放军国防科技大学 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法
CN111174702A (zh) * 2020-01-22 2020-05-19 无锡微视传感科技有限公司 一种自适应结构光投射模组及测量方法
CN111458717A (zh) * 2020-04-20 2020-07-28 深圳奥比中光科技有限公司 一种tof深度测量装置、方法及电子设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115655153A (zh) * 2022-11-09 2023-01-31 四川大学 光源调制方法及其mems扫描3d成像系统与成像方法
CN115655153B (zh) * 2022-11-09 2023-10-10 四川大学 光源调制方法及其mems扫描3d成像系统与成像方法
WO2024187474A1 (zh) * 2023-03-16 2024-09-19 华为技术有限公司 图像探测方法、芯片系统及交通工具
CN116222433A (zh) * 2023-03-22 2023-06-06 西安知象光电科技有限公司 一种基于超表面的结构光三维成像系统及方法
CN116222433B (zh) * 2023-03-22 2023-09-05 西安知象光电科技有限公司 一种基于超表面的结构光三维成像系统及方法
CN116608794A (zh) * 2023-07-17 2023-08-18 山东科技大学 一种抗纹理3d结构光成像方法、系统、装置及存储介质
CN116608794B (zh) * 2023-07-17 2023-10-03 山东科技大学 一种抗纹理3d结构光成像方法、系统、装置及存储介质

Also Published As

Publication number Publication date
CN112729164B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN112729164B (zh) 一种基于mems的自适应点阵结构光投射方法
US11748618B2 (en) Methods for obtaining normal vector, geometry and material of three-dimensional objects based on neural network
CN107578464B (zh) 一种基于线激光扫描的传送带工件三维轮廓测量方法
EP2869266B1 (en) Method and apparatus for generating depth map of a scene
CN112525107B (zh) 一种基于事件相机的结构光三维测量方法
CN107193123B (zh) 一种自适应线结构光的闭环调制方法
CN104023177A (zh) 摄像机控制方法、装置及摄像机
CN107272192A (zh) 摄像系统和摄像方法
CN106773495B (zh) 多光源投影仪的自动调焦方法与系统
CN113324478A (zh) 一种线结构光的中心提取方法及锻件三维测量方法
CN110807811B (zh) 对不同反射率物体的深度补偿方法及tof相机
CN113570639B (zh) 一种基于条纹修正相关的运动目标纹影检测系统
CN117611578A (zh) 一种图像处理方法及图像处理系统
Khan et al. High-density single shot 3D sensing using adaptable speckle projection system with varying preprocessing
CN115049528A (zh) 毛发图像处理方法、系统、计算机设备、介质和程序产品
CN112507818B (zh) 一种基于近红外图像的光照估计方法及系统
CN113160416A (zh) 一种用于煤流检测的散斑成像装置及方法
US20220347952A1 (en) Apparatus and method for manufacturing phase masks for lens-less camera
CN116016952B (zh) 用于光学成像系统的图像编解码模型的训练方法
CN116543030A (zh) 深度估计模型及方法、训练系统及i-TOF深度相机
CN116793953A (zh) 高速显微成像装置及方法
CN111884019B (zh) 一种三维多光束激光参数调控方法及系统
KR102650328B1 (ko) 렌즈리스 카메라를 위한 위상 마스크 제조 장치 및 방법
CN113902791B (zh) 一种基于液态镜头深度聚焦的三维重建方法及装置
CN117830533B (zh) 一种基于离焦特征的三维重建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant