CN116222433B - 一种基于超表面的结构光三维成像系统及方法 - Google Patents
一种基于超表面的结构光三维成像系统及方法 Download PDFInfo
- Publication number
- CN116222433B CN116222433B CN202310286922.2A CN202310286922A CN116222433B CN 116222433 B CN116222433 B CN 116222433B CN 202310286922 A CN202310286922 A CN 202310286922A CN 116222433 B CN116222433 B CN 116222433B
- Authority
- CN
- China
- Prior art keywords
- structured light
- light
- laser
- frame
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000033001 locomotion Effects 0.000 claims description 26
- 239000004065 semiconductor Substances 0.000 claims description 23
- 238000009826 distribution Methods 0.000 claims description 18
- 230000003287 optical effect Effects 0.000 claims description 16
- 239000000463 material Substances 0.000 claims description 15
- 239000002086 nanomaterial Substances 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000003491 array Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 230000010363 phase shift Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000010894 electron beam technology Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000001459 lithography Methods 0.000 claims 1
- 230000033228 biological regulation Effects 0.000 abstract description 12
- 238000013461 design Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 241000252073 Anguilliformes Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000002061 nanopillar Substances 0.000 description 2
- 238000001259 photo etching Methods 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000005428 wave function Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000001465 metallisation Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
- G02B27/0927—Systems for changing the beam intensity distribution, e.g. Gaussian to top-hat
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
- G02B27/0938—Using specific optical elements
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种基于超表面的结构光三维成像系统及方法,通过使用基于超表面的调控器件对激光光束进行高质量的调控,使用MEMS微镜进行激光光束的扫描投射,配合相关的结构光设计和解调方法,实现对物体表面三维信息的高精度重建;本发明实现了对结构光的精细调控,提升结构光光场的质量、降低激光散斑、提升功率,从而达到提高三维成像精度和鲁棒性的目的。
Description
技术领域
本发明属于光电测量和三维视觉技术领域,特别涉及一种基于超表面的结构光三维成像系统及方法。
背景技术
结构光三维成像技术由于具有精度高,鲁棒性好的特点被广泛地应用于三维建模,机器人导航,检测测量等领域。经典的结构光三维成像系统由一个结构光投射和一个带有光学系统的相机组成,结构光投射器将预先设计好的结构光图像或者图像序列投射到物体的表面,带有光学系统的相机从另一个角度拍摄物体表面的结构光图案,由于两者存在视角的差别,相机拍摄到的为变形的结构光图案,变形的结构光和图案和物体表面的高度分布有关,通过设计相应的标定和解调算法,可以计算出物体表面的高度分布,进而重建三维信息。结构光的技术大致分为动态结构光和静态结构光,静态结构光通过向物体表面投射固定图案的结构光,特点是可以单帧成像,适于对动态物体进行成像,但是精度较低。动态结构光通过向物体表面投射一系列的结构光图像,来重建物体的三维信息,精度远高于静态结构光,因而在对精度要求更高的三维测量、机器人三维视觉、三维扫描等领域应用更加广泛。
典型的动态结构光三维成像系统,使用以DLP为代表的数字调制技术,利用DMD芯片对LED光源进行调制,从而投射出不断变换的结构光光场。类似的,使用数字调控技术的还有LCD和LCoS芯片,他们通常配合高压汞灯光源使用。这些基于数字光调控技术的三维成像系统由于精度良好,成本较低取得了巨大的成功。近年出现的“MEMS微镜+激光”的投射方案,由于抗环境光能力、功耗低、体积小、成本极低的优势,发展迅速。例如专利CN106705889B公开一种大景深可编程模拟光栅生成方法,激光器发出的激光光束,经过准直透镜聚焦和准直之后,得到了满足要求的准直高斯激光光束,但是由于其使用激光光源,不可避免地引入了激光散斑,在一定程度上影响了精度。使用单模边发射激光器,在光源能量上受到制约,使得其信噪比难以进一步提升,工作距离也十分受限,例如解决激光器光束的整形和调控,对于进一步挖掘MEMS结构光三维成像方案的在精度和鲁棒性上的潜力至关重要。
超表面(metasurface)是由具有特殊电磁属性的人工原子按照一定的排列方式组成的二维平面结构,可实现对入射光的振幅,相位,偏振等灵活的调控,具有强大的光场操控能力,因此受到人们的广泛关注。和超材料相比,超表面不仅了突破了传统材料电磁属性,其二维平面结构还克服超材料三维结构加工难度大等问题,为纳米光学器件集成化,小型化提供便利。超表面在偏振转换,全息成像,超薄透镜,光束偏转等方面具有广泛的应用前景。因此如何将超表面强大的光场操控能力应用到三维成像中来,逐渐成为一个热门研究方向。
发明内容
为了克服动态结构光现有技术的缺陷,本发明的目的是提出一种基于超表面的结构光三维成像系统及方法,通过使用基于超表面的调控器件对激光光束进行高质量的调控,使用MEMS微镜进行激光光束的扫描投射,配合相关的结构光设计和解调方法,实现对物体表面三维信息的高精度重建;本发明实现了对结构光的精细调控,提升结构光光场的质量、降低激光散斑、提升功率,从而达到提高三维成像精度和鲁棒性的目的。
为了达到上述目的,本发明的技术方案为:
基于超表面的结构光三维成像系统,设置在目标物体上方,至少包含一个基于超表面的结构光投射器和用于采集结构光的相机系统。
所述结构光投射器,包括作为光源的半导体激光器,半导体激光器入射前方依次设置匀光器、聚光器、柱面镜和MEMS微镜。
所述相机系统至少包含一个感光单元和一个光学系统,组成一个完整的成像单元,同步采集目标物体表面投射的结构光图案。
所述匀光器、聚光器表面均设置有微纳米结构,通过光刻或者电子束加工或者纳米压印进行制造。
所述微纳米结构是由离散的纳米单元结构材料组成,在红外波段采用Ge或Si作为单元结构材料;在可见光波段选择TiO2或GaN作为单元结构材料;在紫外波段选用HfO2或AlN作为单元结构材料。
所述半导体激光器选自多模边发射激光器EEL或垂直腔面发射激光器阵列VCSELs。
所述MEMS微镜选自基于电-磁,电-热,静电驱动原理的MEMS微镜。
基于上述一种基于超表面的结构光三维成像系统的成像方法,包含以下步骤:
S1:搭建基于超表面的结构光三维成像系统;
S2:设计结构光投射方案;
S3:控制结构光三维成像系统进行结构光投射,同步进行结构光图像采集;
S4:完成特征提取和三维重建。
所述S1具体为:
多模边或者垂直腔面的半导体激光器所产生的激光束首先穿过匀光器,匀光器进行轻微往复的切向平动或者绕轴旋转,运动的幅度为[1μm,1000μm],其往复运动的频率范围为[50Hz,5000Hz],匀光器表面有纳米尺度的微结构,改变光波的相位和振动方向,光波在穿过匀光器后能量被均匀化,并且振动方向变得随机分布,相干性被破坏;激光在通过匀光器之后进入聚光器,聚光器通过表面纳米尺度的微结构将激光汇聚整形为一个高斯光束,高斯光束经过柱面镜被拉伸之后,成为均匀的光刀结构即x-y平面为一字线分布,入射到MEMS微镜上,然后进一步被反射到被测目标物体表面,驱动MEMS微镜绕旋转轴做简谐运动,带动激光在物体表面进行扫描,同步调整激光器的亮度,向目标物体表面投射一维编码二维分布的结构光图案;
所述聚光器对光波的相位需满足下述相位分布,从而将激光汇聚为一个高斯激光束,高斯光束需要的相位分布为:
其中,为高斯光束的相位分布,λ为入射光的波长,f焦距,x,y为光束截面的位置坐标;
通过对纳米单元的分布进行设计,使其满足相位分布,从而将激光汇聚为一个高斯激光束;
所述高斯光束的传播模型,其数学模型为:
其中,光束沿着z向传播,w(z)为高斯光束参数,w0为束腰直径,束腰处的z值为z0,M2是和激光束有关的参数,对于理想高斯光束,M2=1,λ为入射光的波长,w(z)为高斯光束参数。
所述S2具体为:
S2-1:首先确定结构光编码的形式:
基于以下两个因素选择合适的结构光编码:(1)不同的结构光编码适用不同场景,线结构光对不同反射表面拥有良好的适应性,但效率低;格雷编码结构光能够进行全场三维测量,但是精度低,而且不抗运动模糊;三角函数编码结构光相比线结构光、格雷编码结构光对反射表面适应性差,但精度高,并且具有抗运动模糊能力;(2)考虑S1中所搭建的结构光三维成像系统在投射过程中的损失,所编码图案经过投射低通滤波之后,仍能满足要求;
S2-2:确定编码的参数:
根据所选择的结构光在S1中产生的高斯激光光束,在MEMS微镜105的带动下进行扫描的过程,在空域等效于卷积作用,因此根据卷积定理,时域内的卷积对应频域内的乘积,将所选择的结构光编码图案进行傅里叶变换到频域,与S1中的实际高斯光束参数w(z)相乘,计算得到滤波后通过的频率分量,进而选择出适合S1搭建的结构光三维成像系统的结构光编码;
在确定了编码方案后,对其进行离散化,一个一维编码图案能够用一个固定长度的一组数组表示,这个数组用于控制激光器电流,其为[1,n],然后根据需要投射编码的数量N,完整的编码方式是P[N,n];考虑到简谐运动的非匀速特性,对P再进行校正。
所述S3具体方法如下:
S3-1:启动MEMS微镜的驱动器,驱动器根据MEMS微镜的谐振频率fmirror,生成谐振频率为fmirror的正弦电流信号;将电流信号加在MEMS微镜的静电MEMS驱动结构的两极,使其做受激简谐振动,直到稳定;
具体地:假设每一个投射周期为T,一个帧周期时间为Tframe,则有:T=N×Tframe;
在T的启始时刻发出周期起始同步信号ST-start,结束时刻发出周期结束同步信号ST-end;在Tframe的开始时刻发出帧起始同步信号Sf-start,在Tframe的结束时刻发出帧结束同步信号Sf-end;T的启始时刻为某一个简谐运动的开始t0,第一个帧周期时间Tframe和t0对齐,Tframe的结束时刻为K个简谐运动的结束,在N*K(Tframe)个简谐运动结束时T周期结束;
S3-2:在每一个周期T的ST-start时刻,结构光投射器的控制系统将P(1,1:n)发送到半导体激光器驱动器,驱动器将数组P(1,1:n)进行数模转换并放大后产生电流信号,将电流信号加在半导体激光器的两极用于驱动激光器产生对应亮度的图像;在接收到下一帧开始的信号Sf-start,对P(2,1:n)执行与P(1,1:n)相同的操作,重复进行上述操作,直到完成P(N,1:n)的投射;
S3-3:相机系统采集时,等待下一个最近的ST-start,然后在Sf-start时刻启动相机曝光,在Sf-end时刻结束相机曝光,直到1→N完成T周期内所有图像的采集。
所述S4包含以下具体步骤:
S4-1:在第一次重建前,对基于超表面的结构光三维成像系统进行标定,所需标定的内参包括相机系统的焦距、分辨率、像素大小、主点位置、畸变参数;外参包括相机系统和结构光投射器之间的光心距离、光轴夹角;
S4-2:对S3中采集到的图像进行分析,提取对应的特征,结合S4-1中的参数进行深度图的计算;
具体是:采用余弦结构光投影,使用相移法计算包裹相位然后使用多频解包裹的方法对相位进行展开得到绝对相位Φ(x,y);
将S4-1中的标定数据,进行深度映射换算Φ(x,y)→h(x,y);将h(x,y)进行uint16或者uint32换算,转换成无符号整数形式的深度图D(u,v),并将深度图D(u,v)发给上位机;
S4-3:使用S4-2中的深度图D(u,v),结合S4-1中的参数对点云进行三维重建,世界坐标(xw,yw,zw)重建的方法为:
其中,fx,fy为x,y方向的焦距,u0,v0为主点位置像素坐标,u,v为像素坐标。
本发明的积极效果:
本方法通过所提出的基于超表面的结构光投射方法,实现了多模边发射激光器和垂直腔发射激光器阵列光源的调制,提升了系统的功率和光场调控的质量。配合相关的结构光投射和解调方法,实现了对结构光三维成像的精度、工作范围、抗干扰能力的提升。此外,本方法发明的系统体积小,成本低,在没有显著改变体积和成本的前提上,实现了上述性能的提升。
附图说明
图1为三维成像系统结构图,图中:001—相机系统;002—结构光投射器;003—目标物体。
图2为超表面结构光投射器系统结构图,图中:101—半导体激光器,102—匀光器,103—聚光器,104—柱面镜,105—MEMS微镜,106—结构光图案。
图3为多模激光器光斑图。
图4为多模激光器光斑剖面图。
图5为垂直腔面发射激光器阵列光斑图。
图6为MEMS微镜实物图,图中:201反射镜面,202基座,203旋转轴,204支撑结构。
图7为超表面调控器件,401基板,402纳米单元。
图8为两种纳米单元的结构示意图。
图9为高斯光束的传播模型。
图10为光场调制流程图。
具体实施方式
下面结合附图对本发明做详细叙述。
参照图1基于超表面的结构光三维成像系统,设置在目标物体003上方,至少包含一个基于超表面的结构光投射器002和用于采集结构光的相机系统001。
参照图2,所述结构光投射器002,包括作为光源的半导体激光器101,半导体激光器101入射前方依次设置匀光器102,聚光器103、柱面镜104和MEMS微镜105。
所述相机系统001至少包含一个感光单元和一个光学系统,组成一个完整的成像单元,同步采集目标物体003表面投射的结构光图案106。
所述匀光器102、聚光器103表面均设置有微纳米结构,通过光刻或者电子束加工或者纳米压印进行制造。所述的匀光器102,轻微往复的切向平动或者绕轴旋转,运动的幅度为若干个微米,以进一步削弱激光散斑,提升投射光场的质量。
所述微纳米结构是由离散的纳米单元结构材料组成,所述匀光器102表面设置有微纳米结构,微纳米结构是由离散的纳米单元结构材料组成,根据入射激光的波长,选择不同的材料;针对红外波段采用Ge或Si作为单元结构材料,在可见光波段选择TiO2或GaN作为单元结构材料,在紫外波段选用HfO2或AlN作为单元结构材料。通过对纳米单元的特征参数进行调整,可以调控光波的相位和振动方向。对这些具有不同特征参数的纳米单元进行二维排布,从而实现对整个广场的调控。在一些实施方案中,通过改变纳米柱的不同方向的尺度比例来进行光波的调制,如图8左图中的P和H参数。在另一些实施方案中,通过V型天线的角度臂长参数来实现对光波的调控,如图8右图中的α和L参数。
所述半导体激光器101选自多模边发射激光器EEL或垂直腔面发射激光器阵列VCSELs,这将有利于提高系统的功率,提高工作范围和鲁棒性。所述半导体激光器101也可以用其他类型的激光器所代替,不影响本专利的效果。由于在现有的方案中通常采用单模激光器,其光斑图如图3中TEM00所示。而多模边发射激光的光斑如图3其他模式所示,单模和多模边发射激光器光斑能量分布的剖面图如图4所示。垂直腔面发射激光器阵列(VCSELs)的光斑如图5所示。多模边发射激光器和VCSELs由于光斑模式复杂,传统方法难以将其整形为一个高质量的高斯激光束。
所述MEMS微镜105选自基于电-磁,电-热,静电驱动原理的MEMS微镜。优选静电驱动类型的微镜,体积更小,温漂更小。其结构如图6所示,其至少包含一反射镜面201,基座202,旋转轴203,支撑结构204;反射镜面201上进行金属沉积镀膜,根据半导体激光器波长选取适合的金属,对于可见光红外波段优选Au或者Ag,对于短波和紫外优选Al,旋转轴203上有梳齿结构,在外加电流的作用下,可提供镜面简谐振动的驱动力。
根据上述一种基于超表面的结构光三维成像系统的成像方法,包含以下步骤:
S1:搭建基于超表面的结构光三维成像系统;
在目标物体003上方,至少包含一个基于超表面的结构光投射器002和用于采集结构光的相机系统001;所述结构光投射器002,包括作为光源的半导体激光器101,半导体激光器101入射前方依次设置匀光器102、聚光器103、柱面镜104和MEMS微镜105;相机系统001同步采集目标物体003表面投射的结构光图案106。
S2:设计结构光投射方案;
S3:控制结构光投射系统进行结构光投射,同步进行结构光图像采集;
S4:完成特征提取和三维重建。
所述S1具体为:
如图1所示,多模边或者垂直腔面的半导体激光器101所产生的激光束301首先穿过匀光器102,匀光器进行轻微往复的切向平动或者绕轴旋转,运动的幅度为[1μm,1000μm],其往复运动的频率范围为[50Hz,5000Hz],以进一步削弱激光散斑,提升投射光场的质量;匀光器102表面有很多纳米尺度的微结构,这些纳米结构具有改变光波的相位和振动方向的功能,光波在穿过匀光器102后能量被均匀化,并且振动方向变得随机分布,相干性被破坏;激光在通过匀光器102之后进入聚光器103,聚光器103通过表面纳米尺度的微结构将激光汇聚整形为一个高斯光束,所形成的高斯光束的传播模型如图9所示,其数学模型为:
其中,w(z)为高斯光束参数,光束沿着z向传播,w0为束腰直径,束腰处的z值为z0,M2是和激光束有光的参数,对于理想高斯光束,M2=1。λ为光波的波长,w(z)为高斯光束参数。
进一步地,光束通过柱面镜104后,被拉伸,最后通过MEMS微镜105的扫描形成投射结构光图案106。
高斯光束经过柱面镜104被拉伸之后,成为均匀的光刀结构即x-y平面为一字线分布,入射到MEMS微镜105上,然后进一步被反射到被测目标物体003表面,驱动MEMS微镜105绕旋转轴做简谐运动,带动激光在物体表面进行扫描,同步调整激光器的亮度,向目标物体003表面投射一维编码二维分布的结构光图案106。
所述匀光器和聚光器的基本结构如图7所示,有基板401及上面的纳米单元402组成。通过对纳米单元的特征参数进行调整,可以调控光波的相位和振动方向。对这些具有不同特征参数的纳米单元进行二维排布,从而实现对整个光场的调控。在一些实施方案中,通过改变纳米柱的不同方向的尺度比例来进行光波的调制。在另一些实施方案中,通过V型天线的角度、臂长参数来实现对光波的调控。所述的两种结构如图8所示。
所述聚光器103为了将所有的光线聚焦在同一个焦点,那么就需要对光波的相位需满足下述相位分布,从而将激光汇聚为一个高斯激光束:
其中,为高斯光束的相位分布,λ为入射光的波长,f焦距。x,y为光束截面的位置坐标。
通过对纳米单元的分布进行设计,使其满足相位分布,从而将激光汇聚为一个高斯激光束。
所述S2具体为:
S2-1:首先确定结构光编码的形式
由于S1中MEMS微镜只有一个旋转轴,所以只能投射一维编码的结构光,结构光类型包括单线结构光、多线结构光、格雷编码结构光、三角函数编码结构光及其上述多种方式的组合。基于以下两个因素选择合适的结构光编码:(1)不同的结构光编码适用不同场景,线结构光对不同反射表面拥有良好的适应性,但效率低;格雷编码结构光能够进行全场三维测量,但是精度低,而且不抗运动模糊;三角函数编码结构光相比线结构光、格雷编码结构光对反射表面适应性差,但精度高,并且具有抗运动模糊能力;(2)考虑S1中所搭建的结构光三维成像系统在投射过程中的损失,所编码图案经过投射低通滤波之后,仍能满足要求。
S2-2:确定编码的参数
根据所选择的结构光在S1中产生的高斯激光光束,在MEMS微镜105的带动下进行扫描的过程,在空域等效于卷积作用,根据卷积定理,时域内的卷积对应频域内的乘积。将所选择的结构光编码图案进行傅里叶变换到频域,与符合S1实际高斯光束参数w(z)相乘,计算得到滤波后通过的频率分量,进而选择出适合上述系统的结构光编码。
由于在S1中产生的高斯激光光束,在空间中可看做一个二维高斯滤波器,其空域和频域描述为:
其中,gpsf·(x,y)为空域描述,GPsf(ξ,η)为频域描述,x,y为空域坐标,ξ和η为频域坐标,σ为扩散参数。
令σ=kw(z),其中k为和系统有关的常数。将单线激光(冲击函数)、格雷码(方波函数)、正余弦条纹投影(余弦函数)进行傅里叶级数展开,变换到频域。将投射的结构光图像记作f(x,y),其傅里叶变换形式记作F(ξ,η)。那么经过光束扫描滤波的图像的频域形式为I(ξ,η):
I(ξ,η)=F(ξ,η)*Gpsf(ξ,η)
这里以余弦条纹投影结构光为例,说明如何利用上述方法分析结构光的图案是否可以通过上述系统进行投射。
对于一个余弦函数:
其傅里叶变换为:
F(ω)=aπδ(ω-ω0)+aπδ(ω+ω0)
其中,δ为狄拉克函数。
只考虑一个维度方向:
I(ξ)=F(ξ)*Gpsf(ξ)=exp(-π2k2w(z)2ξ2)[aπ(ξ-ξ0)+aπ(ξ+ξ0)]
通过对不同类型的结构光进行上述类似的变换,可以比较在相同的激光束参数的情况下,结构光投射之后的损失,从而选择适合系统的结构光。
优选正余弦编码的结构光,其经过扫描光束滤波后,损失较小。
结合一个频率损失的阈值,例如要求Gpsf(ξ0)>0.8,那么给定一个激光束的束腰直径w0,可确定一个投射条纹的最高空间频率ξ0;反之给定需要投射的空间频率,即得到对光束的要求,即束腰直径w0的值。从而确定投射正余弦编码的周期或格雷码的频率参数,以达到最优投射效果,同时保障精度。
以余弦结构光为例,在确定最优的空间频率ξ0后,那么所投射的结构光信号为I(x):
其中,A,B是常数,以便将I(x)变换到激光器驱动电流阈值区间,是给定的相移量。
所述S3具体为:
S3-1、启动MEMS微镜的驱动器,驱动器根据MEMS微镜的谐振频率fmirror,生成谐振频率为fmirror的正弦电流信号;将电流信号加在MEMS微镜的静电MEMS驱动结构的两极,使其做受激简谐振动,直到稳定;
在确定了编码方案后,对其进行离散化,一个一维编码图案能够用一个固定长度的一组数组表示,这个数组用于控制激光器电流,其为[1,n],然后根据需要投射编码的数量N,完整的编码方式是P[N,n];考虑到简谐运动的非匀速特性,对P再进行校正。
在一些案例中,使用S2-2设计的余弦结构光,则有,第i帧结构光为Ii(x):
具体地:假设每一个投射周期为T,一个帧周期时间为Tframe,则有:T=N×Tframe;
在T的启始时刻发出周期起始同步信号ST-start,结束时刻发出周期结束同步信号ST-end;在Tframe的开始时刻发出帧起始同步信号Sf-start,在Tframe的结束时刻发出帧结束同步信号Sf-end;T的启始时刻为某一个简谐运动的开始t0,第一个帧周期时间Tframe和t0对齐,Tframe的结束时刻为K个简谐运动的结束,在N*K(Tframe)个简谐运动结束时T周期结束;
S3-2:在每一个周期T的ST-start时刻,结构光投射器002的控制系统将P(1,1:n)发送到半导体激光器101驱动器,驱动器将数组P(1,1:n)进行数模转换并放大后产生电流信号,将电流信号加在半导体激光器101的两极用于驱动激光器产生对应亮度的图像;在接收到下一帧开始的信号Sf-start,对P(2,1:n)执行与P(1,1:n)相同的操作,重复进行上述操作,直到完成P(N,1:n)的投射;
S3-3:相机系统001采集时,等待下一个最近的ST-start,然后在Sf-start时刻启动相机曝光,在Sf-end时刻结束相机曝光,直到1→N完成T周期内所有图像的采集。
所述S4包含以下具体步骤:
S4-1:在第一次重建前,需要对基于超表面的结构光三维成像系统进行标定,所需标定的内参包括相机系统001的焦距、分辨率、像素大小、主点位置、畸变参数;外参包括相机系统001和结构光投射器002之间的光心距离、光轴夹角;
S4-2:对S3中采集到的图像进行分析,提取对应的特征,结合S4-1中的参数进行深度图的计算。
具体是:采用余弦结构光编码,使用相移法计算包裹相位然后使用多频解包裹的方法对相位进行展开得到绝对相位Φ(x,y)。
在另外一些实施案例中,采用余弦结构光投影,使用基于学习的方法,得到包裹相位和绝对相位Φ(x,y)。
将S4-1中的标定数据,进行深度映射换算Φ(x,y)→h(x,y);将h(x,y)进行uint16或者uint32换算,转换成无符号整数形式的深度图D(u,v),便于传输和保存,并将深度图D(u,v)发给上位机。
S4-3:使用S4-2中的深度图D(u,v),结合S4-1中的参数对点云进行三维重建,世界坐标(xw,yw,zw)重建的方法为:
其中,fx,fy为x,y方向的焦距,u0,v0为主点位置像素坐标,u,v为像素坐标。
Claims (8)
1.基于超表面的结构光三维成像系统,设置在目标物体(003)上方,其特征在于,至少包含一个基于超表面的结构光投射器(002)和用于采集结构光的相机系统(001);
所述结构光投射器(002),包括作为光源的半导体激光器(101),半导体激光器(101)入射前方依次设置的匀光器(102)、聚光器(103)、柱面镜(104)和MEMS微镜(105);
所述相机系统(001)至少包含一个感光单元和一个光学系统,组成一个完整的成像单元,同步采集目标物体(003)表面投射的结构光图案(106);
所述半导体激光器(101)选自多模边发射激光器EEL或垂直腔面发射激光器阵列VCSELs;多模边或者垂直腔面的半导体激光器(101)所产生的激光束(301)首先穿过匀光器(102),匀光器进行轻微往复的切向平动或者绕轴旋转,运动的幅度为[1μm,1000μm],其往复运动的频率范围为[50Hz,5000Hz],匀光器(102)表面有纳米尺度的微结构,改变光波的相位和振动方向,光波在穿过匀光器(102)后能量被均匀化,并且振动方向变得随机分布,相干性被破坏;激光在通过匀光器(102)之后进入聚光器(103),聚光器(103)通过表面纳米尺度的微结构将激光汇聚整形为一个高斯光束,高斯光束经过柱面镜(104)被拉伸之后,成为均匀的光刀结构即x-y平面为一字线分布,入射到MEMS微镜(105)上,然后进一步被反射到被测目标物体(003)表面,驱动MEMS微镜(105)绕旋转轴做简谐运动,带动激光在物体表面进行扫描,同步调整激光器的亮度,向目标物体(003)表面投射一维编码二维分布的结构光图案(106);
所述聚光器(103)对光波的相位需满足下述相位分布,从而将激光汇聚为一个高斯激光束,高斯光束需要的相位分布为:
其中,λ为入射光的波长,f焦距,x,y为光束截面的位置坐标;
通过对纳米单元的分布进行设计,使其满足相位分布,从而将激光汇聚为一个高斯激光束;
所述高斯光束的传播模型,其数学模型为:
其中,光束沿着z向传播,w0为束腰直径,束腰处的z值为z0,M2是和激光束有关的参数,对于理想高斯光束,M2=1,λ为光波的波长;w(z)为高斯光束参数。
2.根据权利要求1所述的基于超表面的结构光三维成像系统,其特征在于,所述匀光器(102)、聚光器(103)表面均设置有微纳米结构,通过光刻或者电子束加工或者纳米压印进行制造。
3.根据权利要求2所述的基于超表面的结构光三维成像系统,其特征在于,所述微纳米结构是由离散的纳米单元结构材料组成,在红外波段采用Ge或Si作为单元结构材料;在可见光波段选择TiO2或GaN作为单元结构材料;在紫外波段选用HfO2或AlN作为单元结构材料。
4.根据权利要求1所述的基于超表面的结构光三维成像系统,其特征在于,所述MEMS微镜(105)选自基于电-磁,电-热,静电驱动原理的MEMS微镜。
5.基于权利要求1所述的基于超表面的结构光三维成像系统的成像方法,其特征在于,包含以下步骤:
S1:搭建基于超表面的结构光三维成像系统;
S2:设计结构光投射方案;
S3:控制结构光三维成像系统进行结构光投射,同步进行结构光图像采集;
S4:完成特征提取和三维重建。
6.根据权利要求5所述的成像方法,其特征在于,所述S2具体为:
S2-1:首先确定结构光编码的形式:
基于以下两个因素选择合适的结构光编码:(1)线结构光适应不同反射表面;格雷编码结构光能够进行全场三维测量;三角函数编码结构精度高;(2)考虑S1中所搭建的结构光三维成像系统在投射过程中的损失,所编码图案经过投射低通滤波之后,仍能满足要求;
S2-2:确定编码的参数:
根据所选择的结构光在高斯激光光束、在MEMS微镜(105)的带动下进行扫描的过程,在空域等效于卷积作用,因此根据卷积定理,时域内的卷积对应频域内的乘积,将所选择的结构光编码图案进行傅里叶变换到频域,与实际高斯光束参数w(z)相乘,计算得到滤波后通过的频率分量,进而选择出适合S1搭建的结构光三维成像系统的结构光编码;
在确定了编码方案后,对其进行离散化,一个一维编码图案能够用一个固定长度的一组数组表示,这个数组用于控制激光器电流,其为[1,n],然后根据需要投射编码的数量N,完整的编码方式是P[N,n];考虑到简谐运动的非匀速特性,对P再进行校正。
7.根据权利要求5所述的成像方法,其特征在于,所述S3具体方法如下:
S3-1:启动MEMS微镜(105)的驱动器,驱动器根据MEMS微镜(105)的谐振频率fmirror,生成频率为fmirror的正弦电流信号;将电流信号加在MEMS微镜(105)的静电MEMS驱动结构的两极,使其做受激简谐振动,直到稳定;
具体地:假设每一个投射周期为T,一个帧周期时间为Tframe,则有:T=N×Tframe;
在T的启始时刻发出周期起始同步信号ST-start,结束时刻发出周期结束同步信号ST-end;在Tframe的开始时刻发出帧起始同步信号Sf-start,在Tframe的结束时刻发出帧结束同步信号Sf-end;T的启始时刻为某一个简谐运动的开始t0,第一个帧周期时间Tframe和t0对齐,Tframe的结束时刻为K个简谐运动的结束,在N*K(Tframe)个简谐运动结束时T周期结束;
S3-2:在每一个周期T的ST-start时刻,结构光投射器(002)的控制系统将P(1,1:n)发送到半导体激光器(101)驱动器,驱动器将数组P(1,1:n)进行数模转换并放大后产生电流信号,将电流信号加在半导体激光器(101)的两极用于驱动激光器产生对应亮度的图像;在接收到下一帧开始的信号Sf-start,对P(2,1:n)执行与P(1,1:n)相同的操作,重复进行上述操作,直到完成P(N,1:n)的投射;
S3-3:相机系统(001)采集时,等待下一个最近的ST-start,然后在Sf-start时刻启动相机曝光,在Sf-end时刻结束相机曝光,直到1→N完成T周期内所有图像的采集。
8.根据权利要求5所述的成像方法,其特征在于,所述S4包含以下具体步骤:
S4-1:在第一次重建前,对基于超表面的结构光三维成像系统进行标定,所需标定的内参包括相机系统(001)的焦距、分辨率、像素大小、主点位置、畸变参数;外参包括相机系统(001)和结构光投射器(002)之间的光心距离、光轴夹角;
S4-2:对S3中采集到的图像进行分析,提取对应的特征,结合S4-1中的参数进行深度图的计算;
具体是:采用余弦结构光投影,使用相移法计算包裹相位然后使用多频解包裹的方法对相位进行展开得到绝对相位Φ(x,y);
将S4-1中的标定数据,进行深度映射换算Φ(x,y)→h(x,y);将h(x,y)进行uint16或者uint32换算,转换成无符号整数形式的深度图D(u,v),并将深度图D(u,v)发给上位机;
S4-3:使用S4-2中的深度图D(u,v),结合S4-1中的参数对点云进行三维重建,世界坐标(xw,yw,zw)重建的方法为:
其中,fx,fy为x,y方向的焦距,u0,v0为主点位置像素坐标,u,v为像素坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310286922.2A CN116222433B (zh) | 2023-03-22 | 2023-03-22 | 一种基于超表面的结构光三维成像系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310286922.2A CN116222433B (zh) | 2023-03-22 | 2023-03-22 | 一种基于超表面的结构光三维成像系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116222433A CN116222433A (zh) | 2023-06-06 |
CN116222433B true CN116222433B (zh) | 2023-09-05 |
Family
ID=86582559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310286922.2A Active CN116222433B (zh) | 2023-03-22 | 2023-03-22 | 一种基于超表面的结构光三维成像系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116222433B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3226042A1 (en) * | 2016-03-30 | 2017-10-04 | Samsung Electronics Co., Ltd | Structured light generator and object recognition apparatus including the same |
KR20200020630A (ko) * | 2018-08-17 | 2020-02-26 | 한국전자통신연구원 | 메타표면 집적 광원 기반 구조 광 프로젝터 |
CN112729164A (zh) * | 2020-12-21 | 2021-04-30 | 革点科技(深圳)有限公司 | 一种基于mems的自适应点阵结构光投射方法 |
CN112987021A (zh) * | 2021-02-08 | 2021-06-18 | 革点科技(深圳)有限公司 | 一种飞行时间法和结构光法相融合的结构光三维成像系统及方法 |
CN114089348A (zh) * | 2021-11-16 | 2022-02-25 | 支付宝(杭州)信息技术有限公司 | 结构光投射器、结构光系统以及深度计算方法 |
CN115265784A (zh) * | 2022-08-12 | 2022-11-01 | 中国计量大学 | 一种基于超表面衍射元件的计算层析成像光谱仪 |
CN115524719A (zh) * | 2022-10-09 | 2022-12-27 | 深圳博升光电科技有限公司 | 偏振结构光3d相机及3d成像方法 |
CN115655153A (zh) * | 2022-11-09 | 2023-01-31 | 四川大学 | 光源调制方法及其mems扫描3d成像系统与成像方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106705889B (zh) * | 2016-12-07 | 2019-05-07 | 西安知象光电科技有限公司 | 一种大景深可编程模拟光栅生成方法 |
-
2023
- 2023-03-22 CN CN202310286922.2A patent/CN116222433B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3226042A1 (en) * | 2016-03-30 | 2017-10-04 | Samsung Electronics Co., Ltd | Structured light generator and object recognition apparatus including the same |
KR20200020630A (ko) * | 2018-08-17 | 2020-02-26 | 한국전자통신연구원 | 메타표면 집적 광원 기반 구조 광 프로젝터 |
CN112729164A (zh) * | 2020-12-21 | 2021-04-30 | 革点科技(深圳)有限公司 | 一种基于mems的自适应点阵结构光投射方法 |
CN112987021A (zh) * | 2021-02-08 | 2021-06-18 | 革点科技(深圳)有限公司 | 一种飞行时间法和结构光法相融合的结构光三维成像系统及方法 |
CN114089348A (zh) * | 2021-11-16 | 2022-02-25 | 支付宝(杭州)信息技术有限公司 | 结构光投射器、结构光系统以及深度计算方法 |
CN115265784A (zh) * | 2022-08-12 | 2022-11-01 | 中国计量大学 | 一种基于超表面衍射元件的计算层析成像光谱仪 |
CN115524719A (zh) * | 2022-10-09 | 2022-12-27 | 深圳博升光电科技有限公司 | 偏振结构光3d相机及3d成像方法 |
CN115655153A (zh) * | 2022-11-09 | 2023-01-31 | 四川大学 | 光源调制方法及其mems扫描3d成像系统与成像方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116222433A (zh) | 2023-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200241182A1 (en) | Low-contrast metasurfaces | |
CN101799569B (zh) | 一种制作凸面双闪耀光栅的方法 | |
US8411340B2 (en) | Ultra-wide angle MEMS scanner architecture | |
Hagelin et al. | Optical raster-scanning displays based on surface-micromachined polysilicon mirrors | |
CN108917651B (zh) | 一种基于光镊介质微球的超分辨三维形貌测量方法 | |
CN105814402A (zh) | 连续可调结构光照明的超分辨显微成像方法与系统 | |
WO2018033917A1 (en) | Structured light projector | |
CN102998914B (zh) | 一种直写式光刻加工系统及光刻方法 | |
JP2007233371A (ja) | レーザ照明装置 | |
US9804502B2 (en) | Illumination device and method for using the same in the projection lithography machine | |
US20200064480A1 (en) | Optical device, measurement device, robot, electronic apparatus, mobile object, and shaping device | |
KR20200071590A (ko) | 회절 광학 소자, 이의 제조 방법 및 이를 포함하는 광학 장치 | |
US20220357151A1 (en) | A method and a system for 3d imaging | |
CN115128042B (zh) | 一种离焦扫描的轴向叠层衍射成像方法和系统 | |
CN202494863U (zh) | 一种通过对高斯光斑检测定位的均匀光刻系统 | |
CN110824681A (zh) | 一种无扫描高超分辨光学三维显微成像方法 | |
CN116222433B (zh) | 一种基于超表面的结构光三维成像系统及方法 | |
CN114459381B (zh) | 一种编码结构光投影方法及其系统 | |
CN115015200A (zh) | 一种基于空间光调制的纳米精度荧光成像装置和方法 | |
CN1156848A (zh) | 照明装置及使用它的曝光方法 | |
WO2003014665A1 (en) | Device and method for 3d imaging | |
US9158109B2 (en) | Aspherical optical surfaces and optical scanners | |
JP2939944B2 (ja) | 3次元物体形状計測装置 | |
CN113031256B (zh) | 一种集成透镜阵列的微镜、微镜制备方法及激光显示系统 | |
Ebstein | A plausible approach for actinic patterned mask inspection using coherent interferometric imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |