CN115655153B - 光源调制方法及其mems扫描3d成像系统与成像方法 - Google Patents

Abstract

本发明公开一种光源调制方法及其MEMS扫描3D成像系统与成像方法，应用于三维成像领域，针对现有技术对复杂被测物的三维重建、以及动态物体的检测存在的系统复杂，且重建精度低的问题；本发明通过简单的频率匹配关系，实现系统投影不同类型的结构光图案，并且简化了控制系统，可以实现系统的高度集成化，同时提高了投影效率，为不同复杂被测物的3D重建提供了多自由度的解决方案，实现更高的重建精度；采用像素级激光扫描的方式且本身为无焦系统，可以解决投影成像范围受限制且二次光学体积较大的问题；同时结合多个不同波长激光源的方法可以为3D成像系统利用单帧结构光图案实现三维重建和动态物体的检测提供了一个更高精度的解决方案。

Description

光源调制方法及其MEMS扫描3D成像系统与成像方法

技术领域

本发明属于三维成像领域，特别涉及一种成像系统与光源调制技术。

背景技术

与传统的二维成像技术相比，三维(3D)成像技术包含了物体的深度信息，能更加充分地描述真实三维场景中物体的位置和运动信息，因此无论是在工业检测、AR/VR、消费电子等领域都有广阔的应用前景；基于光学成像的机器视觉3D成像技术由于具有非接触、高精度和速度快的优势，已经成为学术界以及工业界在3D成像技术领域研究热点，目前机器视觉光学3D成像技术分为主动式和被动式两种：

被动式技术主要以立体视觉为代表，计算复杂，难度大，需要处理芯片有很高的计算性能，在昏暗环境下以及特征不明显的情况下不适用；

主动式技术一般采用结构光投影方法，其原理是将带有编码的结构光图案投影到被测物体表面，由图像传感器采集经被测物表面调制的变形图案，经过系统标定进一步求解得到被测物的三维信息，实现三维重建。

目前，主流的结构光扫描三维成像技术，采用数字光投射器(DLP)、液晶显示器(LCD)、硅基液晶显示器(LCoS)投影结构光，可以投影任何形式的结构光图案。这些投影技术由于通常使用LED光源，且采用面阵显示方式，等效光圈很大所以通常具有较小的景深，大大限制了成像范围，以及较大的二次光学体积的限制无法做到高度集成化。同时，针对复杂可变的结构光投射场景需求时，需要重新设计编码并多帧输入对应的结构光图案，大大增加了系统的复杂性和数据传输需求，效率较低。

由于MEMS微镜激光扫描系统具有体积小、成本低的优点，为结构光投影提供了一个优选方案。

公开号为：CN 110764254 A的专利申请公开了可编译的结构光投影系统，所述可编译的结构光投影系统包括图像编译单元、控制中心、光源、MEMS微镜以及反馈单元等器件。图像编译单元用于根据输入的编译语言对待投影的结构光的图案信息进行编译；控制中心用于控制光源MEMS(Micro electromechanical systems，微机电系统)微镜发射光线，以MEMS微镜向待测物的表面投射扫描光束，同时根据生成的图案信息控制MEMS微镜进行转动，形成预设的结构光图案；反馈单元用于获取MEMS微镜的转动信息，计算获得扫描光束投射在待测物上的位置信息并反馈至控制中心。该专利申请虽然可以自由地对每一个像素进行编程，以实现投射多个不同种类、高分辨率的结构光图案，但是复杂的控制系统及反馈单元限制了系统的投影效率。

公开号为：CN112945144A的专利申请公开了一种多MEMS振镜结构光三维扫描系统，将2个或更多个MEMS振镜排列成阵列进行结构光三维扫描的方法，该扫描系统采用的投射器包含了2个或更多个MEMS微振镜激光投射单元。该专利申请采取多个MEMS投射单元，虽然提高了投射光强，得到大景深高亮度的投影图案，但同时也增加了系统的光学复杂度。

公开号为：CN 112729164 A的专利申请公开了一种基于MEMS的自适应点阵结构光投射方法，包含以下步骤：构建一个单目MEMS结构光三维测量系统；标定所构建的单目MEMS结构光三维测量系统；利用结构光成像方法进行粗成像；反馈调制激光器的光强；利用结构光成像方法进行精细成像。该方案，可以进行点阵结构光自适应调节，该专利申请虽然解决了点阵结构光过曝或者欠曝光的问题，但仅限于实现点阵结构光的投影，限制了系统应用在三维测量领域的自由度以及投影效率。

发明内容

为解决上述技术问题，本发明提出一种光源调制方法及其MEMS扫描3D成像系统与成像方法，可以通过简单的频率匹配关系，实现系统投影不同类型的结构光图案。

本发明采用的技术方案之一为：一种3D成像系统的光源调制方法，光源模块的调制信号频率与MEMS微镜的驱动信号频率呈倍数关系；光源模块在调制信号的作用下发射出光束，MEMS微镜在驱动信号的作用下对光束进行调制生成结构光图案。

本发明采用的技术方案之二为：一种MEMS激光扫描3D成像系统，包括：光源模块、扫描模块、图像采集模块、控制模块；还包括目标测量物体5；图像采集模块、光源模块、目标测量物体5位置上满足三角关系；

光源模块发出的光经扫描模块调制后生成结构光图案，所述结构光图案投影到目标测量物体5上，图像采集模块采集投影到目标测量物体5上变形的结构光图案；

控制模块分别与光源模块、扫描模块、图像采集模块连接；控制模块具体为基于上述光源调制方法生成扫描模块的驱动信号、光源模块的调制信号；控制模块还包括存储图像采集模块的图像数据并进行计算处理。

所述光源模块为提供单波长或者多波长光输出的激光源2。

图像采集模块为包括具有图像采集功能的图像传感器和信号处理电路3。

MEMS微镜1为二维扫描(2D)MEMS微镜。

MEMS微镜1为一维扫描(1D)MEMS微镜时，还包括扩束镜20。

所述扩束镜20设置于光源模块与1D MEMS微镜之间。

所述扩束镜20设置于1D MEMS微镜与目标测量物体5之间。

所述2D MEMS微镜1采用以下驱动方式中的一种驱动方式或两两组合的混合驱动方式：

压电驱动、电磁驱动、电热驱动、静电驱动。

本发明采用的技术方案之三为：一种三维成像方法，控制模块基于上述光源调制方法生成MEMS微镜的驱动信号和光源模块的调制信号，光源模块在调制信号的作用下发射出光束，MEMS微镜在驱动信号的作用下对光束进行调制生成结构光图案，所述结构光图案投影到目标测量物体5上，控制系统4控制图像传感器3采集并存储投影到目标测量物体5上的图像信息，经过系统标定，求解目标测量物体5的三维信息，实现目标测量物体5的三维重建。

MEMS微镜通过单个方向扫描，生成沿扫描方向具有图案调控自由度的结构光图案，实现目标测量物体5的三维重建。

当MEMS微镜1为2D MEMS微镜时，还包括通过多个方向扫描，生成沿不同扫描方向具有图案调控自由度的结构光图案，实现目标测量物体5的三维重建。

本发明的有益效果：本发明根据MEMS微镜1的驱动信号频率和激光源2的调制信号频率的不同匹配关系，激光源2发射出激光被MEMS微镜1调制后可生成不同结构光图案用于投影，包括条纹结构光，伪随机点阵结构光，随机点阵结构光，基于所生成的结构光图案对目标测量物体5进行三维重建；本发明具备以下优点：

1、投影随机和伪随机的点阵结构光，同时控制点阵的密度与点间的交叠还可以实现投影条纹结构光，为复杂物体的3D重建提供了多自由度的解决方案，实现更高的精度；

2、采用多波长激光源，通过控制不同波长激光的调制频率，为利用单帧图案进行更高精度的三维重建提供了全新解决方案，为动态物体的测量提供一个优选方案；

3、只需要简单的MEMS微镜驱动信号频率和激光的调制频率相匹配，系统就能实现结构光图案的投影，简化了控制系统，提高了系统的集成化和投影效率；

4、相对于目前的DLP、LCD、LCoS投影，MEMS微镜的体积小成本低，更有利于系统的小型化、集成化。

附图说明

图1为本发明的具有Lissajous扫描2D MEMS微镜的三维成像系统；

图2为采用本发明的光源调制方法生成的结构光图案；

图3为采用本发明的光源调制方法生成的伪随机点阵结构光示意图；

图4为激光源2为单波长时的激光源时的2D MEMS微镜的三维成像系统示意图；

图5为激光源2为多波长的激光源时的2D MEMS微镜的三维成像系统示意图；

图6为激光源2为多波长的激光源时得到的结构光图案示意图；

图7为采用本发明方法生成的条纹状伪随机点阵结构光示意图；

图8为2D MEMS微镜、激光源以及图像传感器的集成示意图；

图9为激光源2为单波长时的一维MEMS微镜的三维成像系统示意图一；

图10为激光源2为单波长时的一维MEMS微镜的三维成像系统示意图二。

具体实施方式

为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。

实施例1

如图1所示，本发明提供了一种具有Lissajous扫描2D MEMS微镜的三维(3D)成像系统，包括：扫描模块，光源模块，图像采集模块，控制模块；其中，扫描模块是具有Lissaious扫描的二维(2D)MEMS微镜1，其中，光源模块是提供单波长或者多波长输出的激光源2，图像采集模块包括具有图像采集功能的图像传感器或者信号采集电路3，控制模块包括能用于生成扫描模块的驱动信号和光源模块的调制信号，并且存储图像采集模块的图像数据以及计算的控制系统4。

所述2D MEMS微镜1基于彼此正交的两个轴旋转和振动，通过 两个正弦信号实现双轴驱动，实现Lissajous轨迹扫描，V_x一般为实现驱动2D MEMS微镜在水平方向上做扫描运动的信号，即为快轴，记为2D MEMS微镜的快轴驱动信号，A_x是快轴的幅值，f_x是快轴扫描的驱动信号频率，t是扫描时间，/>是快轴的相位，V_y一般为实现驱动2D MEMS微镜在垂直方向上做扫描运动的信号，即为慢轴，记为2D MEMS微镜的慢轴驱动信号，A_y是慢轴的幅值，f_y是慢轴扫描的驱动信号频率，/>是慢轴的相位。

所述MEMS微镜1采用的驱动方式为：压电驱动、电磁驱动、电热驱动、静电驱动中的一种，也可以是两两组合混合驱动。

通过2D MEMS微镜1对激光源2所发出的光束进行空间上的调制生成结构光图案，结构光图案的形状可以通过至少改变2D MEMS微镜1的扫描驱动信号频率，相位，占空比三者其中一个来改变。

所述结构光图案的密度由不同的f_x，f_y组合确定。

所述结构光图案的视场与A_x，A_y成正相关，比如A_x越大，则快轴的扫描角度越大；A_y越大，则慢轴的扫描角度越大。

所述激光源2可以是相同波长或者不同波长多种可调制激光器组合。

所述图像传感器3可以是CMOS、CCD图像传感器。

实施例2

本实施例提供一种不同结构光图案生成的光源调制方法，根据2D MEMS微镜1的驱动信号频率和激光源2的调制信号频率的不同匹配关系，激光源2发射出激光被MEMS微镜1调制后可生成不同结构光图案；具体的：

图像传感器3、激光源2、目标测量物体5位置上满足三角关系；激光源2的调制信号可以是方波信号，也可以是正弦波信号、三角波信号；如图2所示，激光源2的调制信号频率f_L需满足n倍n_x或n_y，n为正实数，当f_L满足n倍n_x时，生成伪随机点阵结构光图案6和随机点阵结构光图案7，当f_L满足n倍n_y时，生成伪随机点阵结构光图案8和随机点阵结构光图案9：

f_x与f_y的最大公约数设为G，则

所述结构光图案的密度与n相关，n越大，结构光图案越密集，根据被测物不同复杂区域匹配控制点阵的密度，可以提高3D重建的精度；

如图3所示，f_L满足n倍n_x，且n为正整数，伪随机点阵结构光Y方向点的密集程度保持不变，通过控制n的大小控制X方向的点阵密度，记为沿X方向扫描结构光6，f_L满足n倍n_y，伪随机点阵结构光X方向点的密集程度保持不变，通过控制n的大小控制Y方向的点阵密度，记为沿Y方向扫描结构光8，单个方向扫描就可以实现3D重建，可实现多个方向扫描生成不同方向的结构光图案提高3D成像系统的自由度。

当n为正非整数时，控制系统4生成驱动信号和调制信号，激光源2发射出光束通过2D MEMS微镜1调制后生成随机点阵结构光图案7或9。

当激光源2为单波长的激光源时，如图4所示，当n为正整数，以生成X方向扫描结构光为例，控制系统4生成驱动信号和调制信号，使得f_L满足n倍n_x，激光源2发射出光束通过2DMEMS微镜1调制后生成伪随机点阵结构光图案10，控制系统4控制图像传感器3采集伪随机点阵结构光图案10投影到被测物5上的变形结构光图案并存储，通过MEMS微镜1、图像传感器3和被测物5它们之间的三角关系，标定3D成像系统，进一步求解被测物5的深度信息，可以实现被测物5的三维重建。

当激光源2为多波长的激光源时，激光源2包括多个不同波长的激光器，如图5所示，以生成X方向扫描结构光为例，这时n取值为正实数，不同波长激光器各自的调制信号频率f_L满足n倍n_x，由控制系统4对多个不同波长的激光器进行调制，确保在单个周期T内相同间隔时间，依次发射到2D MEMS微镜1上，具体过程为：控制系统4生成驱动信号，多个不同波长的激光通过2D MEMS微镜1调制后，控制系统4控制图像传感器3采集并存储图像信息，经过系统标定，进一步求解被测物5的三维信息，可以实现被测物的三维重建；如图6所示给出了伪随机点阵结构光采用多波长的示意图，多个颜色(波长)通道组成的单帧结构光图案13可以通过图像阈值处理，可得到多张含有被测物5不同信息的结构光图案14，15，16，有助于提高单帧结构光投射的3D重建精度，并为动态物体的快速3D高精度重建提供一个可行方案。

当激光源2为多波长的激光源时，不同波长的激光器调制可以是采用不同的调制频率，然后同时发射，也能达到提高单帧重建精度的效果。

本实施例中的伪随机点阵结构光，通过控制Y方向点阵足够密集，可生成沿X方向扫描的条纹结构光17，通过控制X方向点阵足够密集，可生成沿Y方向扫描的条纹结构光18，如图7所示。具体控制原理为通过控制系统4施加驱动信号和调制信号给2D MEMS微镜1和激光源2，激光源2发射出激光被MEMS微镜1调制生成条纹结构光图案，控制系统4控制图像传感器3采集变形的条纹结构光并存储图像信息，经过系统标定，主流的一些结构光算法解算被测物5的三维信息，可实现被测物5的三维重建；

这里的足够密应理解为激光点与点之间边缘已经重合，无法区分为两个激光点，导致人眼甚至图像传感器观察到的是一条激光条纹。

当然随机点阵结构光在控制X或Y方向点阵密度，也可以得到沿Y方向扫描的条纹结构光图案或沿X方向扫描的条纹结构光图案。

如图8所示，2D MEMS微镜1、激光源2、图像传感器3可以集成在一个模组内，通过腔体12支撑；本发明的成像系统集成化更高，且整体体积更小。

实施例3

根据2D MEMS微镜1的驱动信号频率和激光源2的调制信号频率的不同匹配关系，生成不同结构光图案，也适用于一维(1D)MEMS微镜的三维成像系统，即激光调制信号频率为驱动信号频率正实数倍，如图9所示，以激光源2为单波长的激光源为例，三维重建过程为：由控制系统4生成1D MEMS微镜19的驱动信号和激光源2的调制信号，激光源2通过扩束镜20扩束为线激光，然后线激光束通过1D MEMS微镜19单方向调制后生成条纹结构光21投影到被测物5上，最后控制系统4控制图像传感器3采集变形的条纹结构光图案并存储，通过系统标定，进一步求解得到被测物5的三维信息，可实现被测物5的三维重建。图9仅给出了1D MEMS微镜在水平方向上做扫描运动时，所生成的竖直条纹结构光图案，实际应用中1DMEMS微镜还可以在竖直方向上做扫描运动，可以生成水平条纹结构光图案。

上述扩束镜20可以是柱面镜，鲍威尔棱镜。

如图10所示，条纹结构光21的生成方式还可以为：激光源2发射的光束经1D MEMS微镜单方向调制后通过扩束镜20生成条纹结构光21。

所述的多个不同波长的激光源调制也适用于一维(1D)MEMS微镜的三维成像系统。

实施例4

在驱动信号频率通过与激光调制信号频率相匹配下，产生结构光图案。任意改变一个信号(激光调制信号，驱动信号)的占空比和相位，都能改变结构光的图案的形状，具体的：

相位影响结构光图案，可以经过两个正弦驱动信号来进行推导；占空比指的也就是扫描图案/整幅图案(整幅图案包括扫描图案加空白区域)的比值，占空比越高，说明图案的填充越好，密度越大，对控制生成结构光条纹的数量和点阵的密度成正相关。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (9)

1.一种3D成像系统的光源调制方法，其特征在于，光源模块的调制信号频率与MEMS微镜的驱动信号频率呈正非整数倍数关系；光源模块在调制信号的作用下发射出光束，MEMS微镜在驱动信号的作用下对光束进行调制生成结构光图案；

所述光源模块为提供单波长或者多波长光输出的激光源；不同波长的激光器调制采用不同的调制频率，然后同时发射。

2.一种MEMS激光扫描3D成像系统，其特征在于，包括：光源模块、扫描模块、图像采集模块、控制模块、目标测量物体；图像采集模块、光源模块、目标测量物体(5)位置上满足三角关系；

光源模块发出的光经扫描模块调制后生成结构光图案，所述结构光图案投影到目标测量物体(5)上，图像采集模块采集投影到目标测量物体上变形的结构光图案；

控制模块分别与光源模块、扫描模块、图像采集模块连接；控制模块具体为基于权利要求1所述光源调制方法生成扫描模块的驱动信号、光源模块的调制信号；控制模块还包括存储图像采集模块的图像数据并进行计算处理；扫描模块为MEMS微镜。

3.根据权利要求2所述的一种MEMS激光扫描3D成像系统，其特征在于，所述MEMS微镜采用以下驱动方式中的一种驱动方式或两两组合的混合驱动方式：

压电驱动、电磁驱动、电热驱动、静电驱动。

4.根据权利要求3所述的一种MEMS激光扫描3D成像系统，其特征在于，MEMS微镜为二维扫描MEMS微镜。

5.根据权利要求3所述的一种MEMS激光扫描3D成像系统，其特征在于，MEMS微镜为一维扫描MEMS微镜时，还包括扩束镜；

所述扩束镜(20)设置于光源模块与1D MEMS微镜之间；

或者，

所述扩束镜(20)设置于1D MEMS微镜与目标测量物体(5)之间。

6.根据权利要求2所述的一种MEMS激光扫描3D成像系统，其特征在于，图像采集模块为包括具有图像采集功能的图像传感器和信号处理电路。

7.一种三维成像方法，其特征在于，控制模块基于权利要求1所述光源调制方法生成MEMS微镜的驱动信号和光源模块的调制信号，光源模块在调制信号的作用下发射出光束，MEMS微镜在驱动信号的作用下对光束进行调制生成结构光图案，所述结构光图案投影到目标测量物体上，控制系统控制图像传感器采集并存储投影到目标测量物体上的图像信息，经过系统标定，求解目标测量物体的三维信息，实现目标测量物体的三维重建。

8.根据权利要求7所述的一种三维成像方法，其特征在于，MEMS微镜通过单个方向扫描，生成沿扫描方向具有图案调控自由度的结构光图案，实现目标测量物体的三维重建。

9.根据权利要求7所述的一种三维成像方法，其特征在于，当MEMS微镜为2D MEMS微镜时，还包括通过多个方向扫描，生成沿不同扫描方向具有图案调控自由度的结构光图案，实现目标测量物体的三维重建。