CN112799080A - 深度感测装置及方法 - Google Patents

深度感测装置及方法 Download PDF

Info

Publication number
CN112799080A
CN112799080A CN201911115272.5A CN201911115272A CN112799080A CN 112799080 A CN112799080 A CN 112799080A CN 201911115272 A CN201911115272 A CN 201911115272A CN 112799080 A CN112799080 A CN 112799080A
Authority
CN
China
Prior art keywords
light
laser
mode
reflected
structured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911115272.5A
Other languages
English (en)
Inventor
洪昌黎
郭柏辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xinshi Microsystem Technology Co ltd
OPU Microsystems Application Corp
Original Assignee
Shenzhen Xinshi Microsystem Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xinshi Microsystem Technology Co ltd filed Critical Shenzhen Xinshi Microsystem Technology Co ltd
Priority to CN201911115272.5A priority Critical patent/CN112799080A/zh
Priority to TW109109216A priority patent/TW202119058A/zh
Publication of CN112799080A publication Critical patent/CN112799080A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning

Abstract

深度感测装置及方法被提出,其中,装置包含光发射组件、光接收组件及控制单元。光发射组件包含雷射光源及振镜,雷射光源包含单一特定波长光源或复数个子光源,朝向振镜发射雷射光、以使该雷射光投射至一待测物上;光接收组件光耦合光发射组件,以接收雷射光从待测物反射的反射光;控制单元与光发射组件及光接收组件电性连接,依据结构光模式及/或雷射雷达模式来控制光发射组件及光接收组件。方法包含执行雷射雷达模式及/或结构光模式。藉此,能依据待测物的远近,选择雷射雷达模式及/或结构光模式来进行待测物的深度感测。

Description

深度感测装置及方法
技术领域
本发明是关于感测装置及方法,特别关于物体的深度感测装置及方法。
背景技术
在例如人脸辨识、手势辨识、物体及环境建模等应用中,会使用深度感测装置来感测物体及环境的位置及深度资讯,以获得对应的点云资料,从而建立出物体及环境的三维模型。
该装置所用的深度感测技术大至可分为三种:立体视觉(Stereo vision)、结构光(Structured Light)及飞行时间测距(Time of Flight,TOF),每一种技术各有优缺点。举例而言,立体视觉的优点在于硬体成本较低,但是容易受到环境光而影响量测的深度精度;结构光的优点在于可得到较佳的深度精度,但是其受限于结构光图案投影光强度限制工作距离较短;相反地,飞行时间测距的优点在于其工作距离较长,但是于近距离的深度精度受限于光飞行时间或相位差的计算解析度而较差。因此,业者会依据产品的特性及应用,决定适合的深度感测技术。
此外,有业者将不同类型的技术整合于一产品中,例如当待测物体较近时,该产品使用结构光技术来做深度感测,而当待测物体较远时,该产品使用飞行时间测距技术来做深度感测。如此,各技术之间的缺点可互补,在近距离与远距离都可得到较佳的深度精度。
然而,上述产品需包括两种不同的光发射组件,以分别产生结构光图案及飞时测距的雷射光,因此其体积与成本都会增加。此外,所产生的结构光图案为静态的光斑图案时(speckle pattern),受限于产生光斑图案元件需要以达到雷射光波长等级的奈米制程工艺制作,难以得到更佳的解析度;而所产生的雷射光则由于能量发散,工作距离亦有限。再者,该产品通常使用一绕射式光学元件(DOE)来产生静态结构光图案,但绕射式光学元件若制程质量不佳时,易影响到结构光图案的光均匀性,造成解析度不佳。
有鉴于此,如何提供改善上述缺失,乃为业界待解决的问题。另说明的是,上述的技术内容是用于帮助对本发明所欲解决问题的理解,其全部或部分不必然是本领域已公开或公知者。
发明内容
本发明的目的在于提供一深度感测装置及一深度感测方法,其可依据物体与装置之间的距离,选择利用结构光模式及雷射雷达模式的其中一者来做深度感测。并且,所提供的深度感测装置及方法可使用由一雷射光源配合一振镜组成的单一光发射组件,即能产生结构光模式的结构光图案及雷射雷达模式的扫描光线;与习知需个两光源相比,装置所需体积可较小、成本较低亦较省电。此外,深度感测装置及方法可提供动态变化的结构光图案来照射于物体上,以提升量测的解析度
于一实施态样中,本发明所提供的深度感测装置可包含:一光发射组件,包含相光耦合的一雷射光源、一光整形件及一振镜,该雷射光源可被调控发射出一连续波雷射光及/或一脉冲雷射光,该雷射光源发射该雷射光穿过该光整形件后被该振镜反射扫描,以使该些雷射光投射至一待测物上;一光接收组件,与该光发射组件光耦合,用以接收该雷射光从该待测物反射的反射光;以及一控制单元,与该光发射组件及该光接收组件电性连接,用以依据一结构光模式及一雷射雷达模式的至少其中一者来控制该光发射组件及该光接收组件。
于一实施态样中,本发明所提供的深度感测装置亦可包含:一光发射组件,包含相光耦合的一雷射光源、一光整形件及一振镜,该雷射光源包含复数个子光源,且该雷射光源可被调控发射出一连续波雷射光或一脉冲雷射光,该雷射光源发射该雷射光穿过该光整形件后被该振镜反射扫描,以使该雷射光投射至一待测物上;一光接收组件,包含与该光发射组件光耦合的一图像撷取器及/或一光感测器,用以接收该些雷射光从该待测物反射的反射光;以及一控制单元,与该光发射组件及该光接收组件电性连接,用以依据一结构光模式及一雷射雷达模式的至少其中一者来控制该光发射组件及该光接收组件。
于一实施态样中,该光接收组件可包含一图像撷取器及/或一光感测器。当该光接收组件包含该图像撷取器及该光感测器,该光感测器可设置于该光发射组件与该图像撷取器之间。
于一实施态样中,该光接收组件可包含该图像撷取器;于该结构光模式时,该控制单元控制该图像撷取器逐帧撷取该待测物上的结构光图案;于该雷射雷达模式时,该控制单元控制该图像撷取器逐行接收从该待测物反射的该反射光。
于一实施态样中,该些子光源可被各别控制其发光时间。
于一实施态样中,本发明所提供的深度感测方法,包含:执行一雷射雷达模式及一结构光模式的至少其中一者;其中,执行该雷射雷达模式时,控制一光发射组件发出一脉冲雷射光及/或一连续波雷射光至一待测物上扫描,并控制一光接收组件接收该脉冲雷射光及/或该连续波雷射光从该待测物反射的反射光,以获得该待测物的点云资料;其中,执行该结构光模式时,控制该光发射组件发出该连续波雷射光于该待测物上构成一组结构光图案,并控制该光接收组件撷取该结构光图案,以获得该待测物体的另一点云资料;其中,该光发射组件包含一雷射光源、一光整形件及一振镜,其中该光整形件设置于该雷射光源与该振镜之间,该雷射光源朝向该光整形件以及该振镜发射该些雷射光。
于一实施态样中,可先执行该雷射雷达模式,并获得该待测物与该光接收组件之间的一距离;当该距离判断小于一预设距离时,执行该结构光模式;当该距离判断大于该预设距离时,则使用该雷射雷达模式所获得的该点云资料。
于一实施态样中,可先执行该雷射雷达模式,并获得该待测物与该光接收组件之间的多个距离;当该些距离的其中一者小于该预设距离、而其中另一者大于该预设距离时,执行该结构光模式,并合并该点云资料及该另一点云资料。
于一实施态样中,可依据一输入讯号执行该雷射雷达模式及该结构光模式的其中一者。亦可依据另一输入讯号执行该雷射雷达模式及该结构光模式的其中另一者。然后,可合并该点云资料及该另一点云资料。
于一实施态样中,可同时执行该雷射雷达模式及该结构光模式,且其中包含:控制该光发射组件发出该脉冲雷射光至该待测物上扫描;以及控制该光接收组件接收该脉冲雷射光从该待测物反射的该反射光,以获得该反射光的亮度、反射光回来的时间以及该反射光的结构光图案。
于一实施态样中,该光接收组件可包含一图像撷取器及一光感测器;其中,执行该雷射雷达模式时,控制该光感测器来接收该反射光,而执行该结构光模式时,控制该图像撷取器来撷取该结构光图案。
于一实施态样中,该光接收组件可包含一图像撷取器;其中,执行该雷射雷达模式时,控制该图像撷取器逐行接收该反射光,而执行该结构光模式时,控制该图像撷取器逐帧接收该结构光图案。
于一实施态样中,该雷射光源可包含复数个子光源,且控制该等子光源各别的发光时间。
为了让上述的目的、技术特征和优点能够更为本领域的人士所知悉并应用,下文是以本新型创作的数个较佳实施例以及附图进行详细的说明。
附图说明
图1为依据本发明的较佳实施例的深度感测装置的示意图。
图2A为依据本发明的较佳实施例的深度感测装置的光发射组件的示意图(侧视图)。
图2B为依据本发明的另一较佳实施例的深度感测装置的光发射组件的示意图(侧视图)。
图2C为图2B所示的雷射光源的示意图(前视图)。
图3A及图3B分别为依据本发明的较佳实施例的光发射组件的雷射光示意图。
图4A及图4B皆为依据本发明的较佳实施例的深度感测装置执行雷射雷达模式的示意图。
图5A为依据本发明的较佳实施例的深度感测装置执行结构光模式的示意图。
图5B至图5F分别为不同的结构光图案的示意图。
图6及图7分别为依据本发明的较佳实施例的深度感测方法的二步骤流程图。
符号说明
100 深度感测装置
10 光发射组件
11 雷射光源
111、111A、111B 子光源
12 振镜
13 光整形件
20 光接收组件
21 图像撷取器
21S 撷取范围
22 光感测器
30 控制单元
200 微处理器
300 待测物
L、L1、L2 雷射光
La 雷射光束
Ls 子光束
R 反射光
D 距离
X 迹线
S 结构光图案
θ 倾斜角
S101~S107、S201~S209 步骤
具体实施方式
以下将具体地描述根据本发明的具体实施例;惟,在不背离本发明的精神下,本发明尚可以多种不同形式的实施例来实践,不应将本发明保护范围解释为限于说明书所陈述者。另,上述发明内容中的各实施态样的技术内容亦可作为实施例的技术内容,或是作为实施例的可能变化态样。此外,除非上下文清楚地另外指明,否则本文所用的单数形式「一」亦包含复数形式,当本说明书中使用用语「包含」或「包括」时,是用以指出特征、元件或组件等的存在,不排除含有一个或多个其他特征、元件或组件等的存在或添加。另,所述方位(如前、后、上、下、两侧等)是为相对者,可依据深度感测装置及方法的使用状态而定义,而不是指示或暗示深度感测装置或方法须有特定方位、以特定方位构造或操作;所述方位因此不能理解为对本发明作的限制。
请参阅图1所示,于本发明的较佳实施例中,一深度感测装置100(以下简称装置100)被提出,其可安装于一电子产品(例如移动电话、监控设置等)中,作为电子产品的一部分。装置100可执行一结构光模式及一雷射雷达模式,以获得待测物(人脸、手部、环境等)300的各部位的深度资讯(即点云资料)等,进而产生(建构)待测物300的三维模型(图像)。装置100可进一步与电子产品的其他元件相电性连接,例如与一微处理器(晶片)200电性连接,以将所获得距离或点云资料等传送至微处理器200建立三维模型或做身份辨识等其他应用。
装置100可包括一光发射组件10、一光接收组件20及一控制单元30,光接收组件20邻设于光发射组件10(例如位于光发射组件10左侧及/或右侧),且两者光耦合,也就是,光发射组件10所发射的光线经反射后能由光接收组件20接收。所以,只要符合这种关系,光发射组件10及光接收组件20即属于邻设或光耦合;另,光发射组件10及光接收组件20不限定需位于相同水平面上,两者之间有段差仍能达成光耦合。控制单元30则与光发射组件10及光接收组件20各别地电性连接,以控制光发射组件10如何发光、及光接收组件20如何收光;控制单元30亦可与微处理器200相电性连接,以将光接收组件20的讯号传递至微处理器200,或是接收微处理器200的讯号来控制光发射组件10及光接收组件20。以下将更具体说明各元件的技术内容以及如何通过这些元件来感测待测物300的深度。
请配合参阅图2A至到图2C所示,光发射组件10可包含一雷射光源11、一振镜12及一光整形件13。雷射光源11可发射出雷射光L,其较佳地可为红外光雷射(不可见光),但不以此为限。雷射光源可为一边射型雷射(EEL:Edge Emitting Laser)或垂直共振腔面射型雷射(VCSEL:Vertical Cavity Surface Emitting Laser)等,雷射光源11具有两种可控制的输出模式,分别为连续波调变(Continuous Wave Modulation)和脉冲调变(Pulsemodulation),换言之,可控制雷射光源11发射出一连续波雷射光及一脉冲雷射光的其中一者,且连续波雷射光的发射频率可调整。
请参阅图2A及图2B,其中雷射光源11可使用单一发光源,该发光源可发射出具有一特定波长的雷射光束La,或是使用包含复数个子光源111,每个子光源111可发射出子光束Ls,然后该雷射光束La与该些子光束Ls经过光整形件13构成该雷射光L;每个子光源111的发光与否、及发光时间都能由控制单元30来个别地控制,因此该些子光源111可轮流地发射光线。该些子光源111可排列成一维或二维阵列,从不同位置发出子光束Ls。雷射光源11及其子光源111的具体结构例如可参考US2019/0109436A1公开号的美国专利申请案,然不局限于此。
振镜12与雷射光源11相光耦合,即设置于雷射光源11的光路上,故雷射光源11的雷射光束La或子光束Ls经光整形件13整形完的雷射光L能抵达至振镜12。振镜12是一种微机电系统(Microelectromechanical Systems,简称MEMS)扫描振镜,且可为一轴摆动的一维振镜或是在两轴摆动的二维振镜。雷射光L(雷射光束La或子光束Ls)可在振镜12上反射而改变前进方向、然后投射出光发射组件10外,而控制振镜12的摆动角度,可使雷射光L投射至特定位置。振镜12的具体结构可参考US2017/0044003A1公开号的美国专利申请案、US7,329,930公告号及US9,219,219的美国专利等,振镜12亦可为申请人所贩卖的微机电扫描晶片等,然不局限于此。
于其他实施态样中,振镜12可相对于雷射光源11为倾斜,且倾斜角θ大于等于45°、且不大于60°,可使装置100有较大的感测范围、较佳的解析度以及减小最小可感测距离,同时光发射组件10整体未倾斜(仅内部的振镜12倾斜),故可减少其所占用装置100内的空间,使装置100能有更小的整体体积。
光整形件13设置于雷射光源11的光路上、且位于雷射光源11与振镜12之间,使得雷射光源11发射出的雷射光束La或子光束Ls需通过光整形件13才能抵达振镜12。光整形件13可包含透镜等光学元件,用以调整雷射光源11的雷射光束La或子光束Ls的形状或角度,例如将雷射光束La或子光束Ls准直并整束成一线形光束,或者光整形件13可为一绕射元件,用以调整雷射光源11的雷射光L形成多个点发射或是线形光束。若雷射光源11发射出的雷射光束La或子光束Ls已具备所需的形状与角度,则光整形件13可省略设置。
另一方面,如图3A及图3B所示,本实施例中雷射光源11采用单一发光源发射出的雷射光束La,经由光整形件13后形成雷射光L1,其能量较集中而两侧能量相较于中心能量较低(即光束的越外侧的能量越小),而另一实施例中,雷射光源11采用子发光源111所发射出的复数个子光束Ls,当经过光整形件13后构成光束L2,其雷射光L2的能量分布较均匀,可得到较佳的解析度。另外,藉由复数个子光束Ls轮流发射,其单位时间内发射数相较于习知的发射数会更多,因此可以获得更多资料。
请复参图1,光接收组件20可包含一图像撷取器(image capturing device)21及一光感测器(optical sensor)22,两者分别位于光发射组件10的两侧,或者位于光发射组件10的同一侧。较佳地,由于光发射组件10与图像撷取器21之间有维持一基本距离的需求,而光感测器22位于光发射组件10与图像撷取器21之间即可使两者维持一定的距离,帮助符合上述需求,且能减少装置100的体积。
图像撷取器21可为电荷耦合元件(CCD:Charge coupled device)或互补式金属氧化半导体(CMOS)等元件。图像撷取器21主要用于结构光模式下,撷取待测物300上的结构光图案(光斑)。光感测器22可包含硅光电倍增管(Silicon photomultiplier)或光电二极管(photodiode)等,其中,光电二极管可为例如雪崩光电二极管APD(AvalanchePhotodiode)、PIN光电二极管(PIN Photodiode)或单光子雪崩二极管(Single-PhotonAvalancheDiode;SPAD)等。光感测器22主要用于雷射雷达模式下,接收雷射光L于待测物300上反射回的反射光R。另,上述硅光电倍增管或光电二极管可为复数个,其排列成一维或二维阵列,以增加感测解析度。
于另一实施态样中,光接收组件20包含图像撷取器21、但不包含光感测器22,而图像撷取器21具有两种图像撷取方式。于结构光模式时,图像撷取器21是采「逐帧(frame byframe)」撷取方式,利用图像撷取器21的全部或多数的画素单元来撷取一或多张投射至待测物300上的结构光图案;而于雷射雷达模式时,图像撷取器21是采「逐行(line by line)」撷取方式,利用图像撷取器21的其中一行画素来感测、接收从待测物300反射的反射光R。
控制单元30可包含一微控制器及其对应的周边元件,其能执行一扫描模式来控制光发射组件10及光接受组件20。该扫描模式可为储存于控制单元30内的软件(程序)、或是可由控制单元30读取的软件来执行。
扫描模式包含一雷射雷达模式及一结构光模式。
如图2A、图2B、图4A及图4B所示,控制单元30执行雷射雷达模式时,可控制光发射组件10发出脉冲雷射光L(雷射光束La或子光束Ls形成的雷射光L)至振镜12上,经由振镜12反射扫描至待测物300上;所投射至待测物300上的雷射光L可为线形光束。如图4B所示,控制单元30可控制振镜12沿着单一转轴进行摆动,以使雷射光L于待测物300上进行一维扫描(沿着迹线X),让雷射光L的光点移动到待测物300上的不同处以覆盖待测物。于其他实施态样中,投射至待测物300上的雷射光L可为集中的光点,而振镜12亦可为二维振镜时,藉由光栅扫描(raster scan)或利萨茹扫描(Lissajous scan)等方式来控制振镜12沿着两个互相垂直的转轴进行摆动,让雷射光L进行二维扫描以覆盖待测物300。
接着,控制单元30控制光接收组件20以光感测器22接收雷射光L从待测物300上的不同处反射回的反射光R,并且依据反射光R的亮度和雷射光L发射与接收到反射光R回来的时间,能计算出待测物300的不同处相对于光接收组件30的距离(即TOF,Time of Flight),从而获得待测物300的点云及反射率资料。
控制单元30执行雷射雷达模式时,亦可采频率调制连续波(FMCW:FrequencyModulated Continuous Wave)的方式来获得点云资料。也就是,控制单元30控制的子光源111发射出调制频率连续变化的雷射光L经振镜12反射至待测物300上进行扫描,然后光感测器22接收雷射光L从待测物300上的不同处反射回的反射光R,并依据反射光R的强度和相位变化,计算出待测物300的不同处相对于光接收组件30的距离、速度及反射率。
相比TOF方式,FMCW能同时获得待测物300的移动速度,且较不受环境光的干扰而影响量测准确度。而TOF是使用脉冲雷射光L,脉冲雷射光L的能量较为集中,能投射至较远的距离。因此,能依据应用情况或需求,选择采用TOF及FMCW的其中一者。
如图2A及图5A所示,控制单元30执行结构光模式时,可控制光发射组件10的雷射光源11发出连续波雷射光L至振镜12上、经由振镜12反射扫描至待测物300上。控制单元30控制振镜12以一维或二维扫描方式摆动,以使雷射光L于待测物300上扫描,透过控制雷射光L的明暗或强弱变化于待测物300上构成一组结构光图案S。如图5B至图5D所示,结构光图案S可为二进制编码(Binary code)、格雷码(Gray code)、条纹码(Fringe code)、点状编码(Dot code)等,而这些不同编码的结构光图案S可由控制振镜12的摆动频率及雷射光源11的发光时序来达成。
如图5A所示,结构光图案S投射至待测物300上后,控制单元30控制光接收组件20以图像撷取器21来撷取位于撷取范围21S内的该结构光图案S,并且依据结构光图案S对应的演算法来计算待测物300的不同处的深度,从而获得待测物300的点云资料。控制单元30还能使光发射组件10依据编码型态投射出一组结构光图案S至待测物300上,即投射至待测物300上的结构光图案S会动态地变化,藉由图像撷取器21依序地撷取该些多组结构光图案S,并依据这些结构光图案S来获得解析度更高的点云资料。
另一方面,如图2C、图5E及图5F所示,当光发射组件10包含复数个子光源111时,其子光源111的发光位置经过设计为特定的排列方式,且该些子光源111A、111B的发光时间能个别地控制,例如控制子光源111A及子光源111B交替发光的时序,可构成不同编码的结构光图案S。例如于点状编码图案S中,子光源111A发光时可构成由点D1(白色点)排列成的结构光图案S1,而子光源111B发光时可构成点D2(黑色点)所排列成的结构光图案S2,子光源111A及111B同时发光时可构成由点D1、D2所排列成的结构光图案S。
以上说明了依据本发明的一较佳实施例的深度感测装置100的主要技术内容,接着说明依据本发明的另一较佳实施例的深度感测方法。深度感测方法可藉由上述深度感测装置100来实现,故深度感测方法与深度感测装置100的技术内容可相互参考,重复的部分将省略或简化。深度感测方法可由深度感测装置100的控制单元30来执行、或是控制单元30配合电子产品的微处理器200来执行。深度感测方法至少包含三种步骤流程,依序说明如下
请参阅图6所示,第一种流程是让控制单元30主动(自行)地判断及执行适合的扫描模式(雷射雷达模式及/或结构光模式),无须使用者决定。
首先,于步骤S101中,先执行雷射雷达模式,以获得待测物300的点云资料及待测物300与光接收组件20之间的一距离D(如图4A所示)。该距离D可为待测物300的某一部分与光接收组件20之间的距离,或是待测物300的多个部分与光接收组件20之间的距离的平均值。
接着,于步骤S103中,判断该距离D是否小于一预设距离。该预设距离是依据雷射雷达模式及结构光模式的量测精度与范围来决定,例如设定为1米(meter)时,表示1米以上由执行雷射雷达模式所获得的点云资料较佳,1米以下由执行结构光模式所获得的点云资料较佳。
若距离D大于预设距离时,则可不用执行其他步骤,直接使用步骤S101中所获得的点云资料来建立待测物300的三维模型或深度图或做其他应用(步骤S107)。若距离D小于预设距离时,则执行结构光模式(步骤S105),以获得待测物体300的另一点云资料,并且使用该另一点云资料来建立待测物300的三维模型等(步骤S107);此时,步骤S101中所获得的点云资料将不使用。
由此可知,依据待测物300的远近,该深度感测方法可主动地选择适合的扫描模式。
另一方面,若待测物300的某一部分的距离D小于预设距离,但另一部分的距离D大于预设距离,即待测物300是涵盖预设距离内外的范围,则可将步骤S101中所获得的点云资料及步骤S105中所获得的另一点云资料融合。也就是,于步骤S107中,透过软体演算法将两种点云资料融合,于预设距离内的待测物300的点云为结构光模式中所获得者,而于预设距离外的待测物300的点云为雷射雷达模式所获得者。如此建立的三维模型可涵盖较完整的范围,兼顾近距离点云精确度高、又可建立远距离点云资料的优点。
请参阅图7所示,第二种流程是控制单元30需依据使用者所输入的输入讯号来执行,而非主动执行,因此可称为被动式深度感测。
具体而言,首先,于步骤S201中,控制单元30接收使用者所输入的一输入讯号。输入讯号对应三种模式,包含远距模式、近距模式及自动模式,使用者可通过电子产品的输入设备来选择其中一种模式,然后产生该输入讯号至控制单元30。使用者可判断待测物300的远近来选择远距模式或近距模式,若难以判断待测物300的远近时,可选择自动模式来由装置100判断。
接着,于步骤S203中,依据该输入讯号,执行雷射雷达模式及结构光模式的其中一者。举例而言,输入讯号对应于远距模式时,执行雷射雷达模式,输入讯号对应于近距模式时,执行结构光模式。若输入讯号对应于自动模式,则如上述图6所示的第一种流程,先执行雷射雷达模式,再视情况执行结构光模式。
当执行完雷射雷达模式及结构光模式的其中一者后,可选择地进行步骤S205。也就是,用户可选择另外一种模式,然后产生另一输入讯号由控制单元30接收。控制单元30将依据另一输入讯号执行另外一种模式(步骤S207)。如此,将获得两种点云资料(雷射雷达模式的点云资料及结构光模式的点云资料),然后于建立三维模型时(步骤S209),可选择地将两种点云资料合并。
深度感测方法的第三种流程是让控制单元30同时执行该雷射雷达模式及该结构光模式。具体而言,首先,控制单元30控制光发射组件10的子雷射光111发射出脉冲雷射光L(子光束Ls)于待测物300上;由于子雷射光111的发光位置及时间不同,使得该脉冲雷射光L在待测物300上形成带有编码资讯的结构光图案。接着,控制单元30控制图像撷取器21及光感测器22来接收该脉冲雷射光L从待测物300反射的反射光R;藉由图像撷取器21能解析反射光R中的编码资讯,而藉由光感测器22能解析反射光R的反射时间。最后,藉由该编码资讯及该反射时间演算出待测物300的点云资料。
综上,本发明的深度感测装置及方法至少具有以下技术效果:
1.本发明可依据待测物的远近来选择适合的扫描模式,兼具近距离高精度及远距离低功耗的三维深度感测的装置及方法,藉由单一光发射组件来产生结构光模式的结构光图案及雷射雷达模式的扫描光线,与习知各别模式需要各别光发射组件相比,装置所需体积可较小、亦较省电。
2.与习知的静态结构光图案相比,本发明可藉由雷射光源及振镜来提供动态变化的结构光图案于待测物上,以提升深度量测的解析度。此外,本发明的结构光图案是由振镜反射及控制雷射来产生,振镜可具备高反射率的反射镜来反射雷射光,故不会造成结构光图案的光均匀性不佳。
3.本发明可藉由一维振镜来扫描雷射光覆盖于待测物上,而相对于二维振镜而言,一维振镜控制较单纯,且较容易产生大角度运动。相应地,动态变化的结构光图案可有较大的投射角度,使得感测装置有比较广的视角。
4.本发明可藉由连续变化的雷射光强度来产生解析度较佳的结构光图案,而藉由脉冲雷射光所产生的结构光图案通常具有较差的解析度。
5.本发明可藉由雷射光于待测物的一次扫描,同时获得雷射雷达模式及结构光模式的点云资料,较有效率。
6.比起藉由单一光源的雷射光而言,本发明藉由多个雷射子光源来投射出雷射光,在单位时间内较多光线发射数,因此可得到较佳的解析度。
上述的实施例仅用来例举本新型创作的实施态样,以及阐释本新型创作的技术特征,并非用来限制本新型创作的保护范畴。任何熟悉此技术者可轻易完成的改变或均等性的安排均属于本新型创作所主张的范围,本新型创作的权利保护范围应以申请专利范围为准。

Claims (18)

1.一种深度感测装置,包含:
一光发射组件,包含相光耦合的一雷射光源、一光整形件及一振镜,该雷射光源可被调控发射出一连续波雷射光及/或一脉冲雷射光,该雷射光源发射该雷射光穿过该光整形件后被该振镜反射扫描,以使该些雷射光投射至一待测物上;
一光接收组件,与该光发射组件光耦合,用以接收该雷射光从该待测物反射的反射光;以及
一控制单元,与该光发射组件及该光接收组件电性连接,用以依据一结构光模式及一雷射雷达模式的至少其中一者来控制该光发射组件及该光接收组件。
2.根据权利要求1所述的深度感测装置,其中,该光接收组件包含一图像撷取器及/或一光感测器。
3.根据权利要求2所述的深度感测装置,其中,该光接收组件包含该图像撷取器及该光感测器,且该光感测器设置于该光发射组件与该图像撷取器之间。
4.根据权利要求2所述的深度感测装置,其中,该光接收组件包含该图像撷取器;于该结构光模式时,该控制单元控制该图像撷取器逐帧撷取该待测物上的结构光图案;于该雷射雷达模式时,该控制单元控制该图像撷取器逐行接收从该待测物反射的该反射光。
5.一种深度感测装置,包含:
一光发射组件,包含相光耦合的一雷射光源、一光整形件及一振镜,该雷射光源包含复数个子光源,且该雷射光源可被调控发射出一连续波雷射光或一脉冲雷射光,该雷射光源发射该雷射光穿过该光整形件后被该振镜反射扫描,以使该雷射光投射至一待测物上;
一光接收组件,包含与该光发射组件光耦合的一图像撷取器及/或一光感测器,用以接收该些雷射光从该待测物反射的反射光;以及
一控制单元,与该光发射组件及该光接收组件电性连接,用以依据一结构光模式及一雷射雷达模式的至少其中一者来控制该光发射组件及该光接收组件。
6.根据权利要求5所述的深度感测装置,其中,该些子光源被各别控制其发光时间。
7.根据权利要求5或6所述的深度感测装置,其中,该光接收组件包含该图像撷取器及该光感测器,且该光感测器设置于该光发射组件与该图像撷取器之间。
8.根据权利要求5或6所述的深度感测装置,其中,该光接收组件包含该图像撷取器;于该结构光模式时,该控制单元控制该图像撷取器逐帧撷取该待测物上的结构光图案;于该雷射雷达模式时,该控制单元控制该图像撷取器逐行接收从该待测物反射的该反射光。
9.一种深度感测方法,包含:
执行一雷射雷达模式及一结构光模式的至少其中一者;
其中,执行该雷射雷达模式时,控制一光发射组件发出一脉冲雷射光及/或一连续波雷射光至一待测物上扫描,并控制一光接收组件接收该脉冲雷射光及/或该连续波雷射光从该待测物反射的反射光,以获得该待测物的点云资料;
其中,执行该结构光模式时,控制该光发射组件发出该连续波雷射光于该待测物上构成一组结构光图案,并控制该光接收组件撷取该结构光图案,以获得该待测物体的另一点云资料;
其中,该光发射组件包含一雷射光源、一光整形件及一振镜,其中该光整形件设置于该雷射光源与该振镜之间,该雷射光源朝向该光整形件以及该振镜发射该些雷射光。
10.根据权利要求9所述的深度感测方法,其中,先执行该雷射雷达模式,并获得该待测物与该光接收组件之间的一距离;当该距离判断小于一预设距离时,执行该结构光模式;当该距离判断大于该预设距离时,则使用该雷射雷达模式所获得的该点云资料。
11.根据权利要求9所述的深度感测方法,其中,先执行该雷射雷达模式,并获得该待测物与该光接收组件之间的多个距离;当该些距离的其中一者小于该预设距离、而其中另一者大于该预设距离时,执行该结构光模式,并合并该点云资料及该另一点云资料。
12.根据权利要求9所述的深度感测方法,其中,依据一输入讯号执行该雷射雷达模式及该结构光模式的其中一者。
13.根据权利要求12所述的深度感测方法,其中,依据另一输入讯号执行该雷射雷达模式及该结构光模式的其中另一者。
14.如请求项13所述的深度感测方法,其中,合并该点云资料及该另一点云资料。
15.根据权利要求9所述的深度感测方法,其中,同时执行该雷射雷达模式及该结构光模式,且其中包含:
控制该光发射组件发出该脉冲雷射光至该待测物上扫描;以及
控制该光接收组件接收该脉冲雷射光从该待测物反射的该反射光,以获得该反射光的亮度、反射光回来的时间以及该反射光的结构光图案。
16.根据权利要求11至15任一项所述的深度感测方法,其中,该光接收组件包含一图像撷取器及一光感测器;其中,执行该雷射雷达模式时,控制该光感测器来接收该反射光,而执行该结构光模式时,控制该图像撷取器来撷取该结构光图案。
17.根据权利要求11至15任一项所述的深度感测方法,其中,该光接收组件包含一图像撷取器;其中,执行该雷射雷达模式时,控制该图像撷取器逐行接收该反射光,而执行该结构光模式时,控制该图像撷取器逐帧接收该结构光图案。
18.根据权利要求11至15任一项所述的深度感测方法,其中,该雷射光源包含复数个子光源,且控制该等子光源各别的发光时间。
CN201911115272.5A 2019-11-14 2019-11-14 深度感测装置及方法 Pending CN112799080A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911115272.5A CN112799080A (zh) 2019-11-14 2019-11-14 深度感测装置及方法
TW109109216A TW202119058A (zh) 2019-11-14 2020-03-19 深度感測裝置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911115272.5A CN112799080A (zh) 2019-11-14 2019-11-14 深度感测装置及方法

Publications (1)

Publication Number Publication Date
CN112799080A true CN112799080A (zh) 2021-05-14

Family

ID=75803767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911115272.5A Pending CN112799080A (zh) 2019-11-14 2019-11-14 深度感测装置及方法

Country Status (2)

Country Link
CN (1) CN112799080A (zh)
TW (1) TW202119058A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023083274A1 (zh) * 2021-11-10 2023-05-19 梅卡曼德(北京)机器人科技有限公司 条纹光强不均匀的改善方法、相机、存储介质及程序

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240052757A1 (en) * 2022-08-11 2024-02-15 Raytheon Technologies Corporation Detection of gas turbine engine blade abnormalities based on light reflections
US11940269B1 (en) * 2023-09-29 2024-03-26 Mloptic Corp. Feature location detection utilizing depth sensor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023083274A1 (zh) * 2021-11-10 2023-05-19 梅卡曼德(北京)机器人科技有限公司 条纹光强不均匀的改善方法、相机、存储介质及程序

Also Published As

Publication number Publication date
TW202119058A (zh) 2021-05-16

Similar Documents

Publication Publication Date Title
US20210311171A1 (en) Improved 3d sensing
CN111722241B (zh) 一种多线扫描距离测量系统、方法及电子设备
CN113538591B (zh) 一种距离测量装置与相机融合系统的标定方法及装置
CN105143820B (zh) 利用多个发射器进行深度扫描
CN109581360B (zh) 用于光检测和测距的装置和方法
CN107193123B (zh) 一种自适应线结构光的闭环调制方法
CN112799080A (zh) 深度感测装置及方法
CN110244318B (zh) 基于异步ToF离散点云的3D成像方法
CN111487639A (zh) 一种激光测距装置及方法
CN111965658B (zh) 一种距离测量系统、方法及计算机可读存储介质
US20220201264A1 (en) Mems mirror-based extended reality projection with eye-tracking
JP2020153820A (ja) 光学装置、検出装置及び電子機器
KR20160147766A (ko) 3d 레이저 스캐너
US11879979B2 (en) Method and apparatus for dynamic reconfiguration of region of interest in integrated FMCW LIDAR
CN112066907B (zh) 深度成像装置
CN114935742B (zh) 发射模组、光电检测装置及电子设备
CN114935743B (zh) 发射模组、光电检测装置及电子设备
CN113311451B (zh) 一种激光散斑投射ToF深度感知方法及装置
CN115667990A (zh) 具有准直器功能的衍射光学元件
WO2019124177A1 (ja) 光走査装置及び測距装置
KR102483975B1 (ko) 위상변조 기능을 구비한 3차원 이미지 획득 장치
KR102302424B1 (ko) 오브젝트 인식을 위한 센서 장치
CN116660868B (zh) 电子设备
CN114924257B (zh) 接收模组、光电检测装置及电子设备
EP4199509A1 (en) 3d image acquisition device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination