CN115151837A - 具有虚拟保护壳体的眼睛安全扫描lidar - Google Patents
具有虚拟保护壳体的眼睛安全扫描lidar Download PDFInfo
- Publication number
- CN115151837A CN115151837A CN202180016770.3A CN202180016770A CN115151837A CN 115151837 A CN115151837 A CN 115151837A CN 202180016770 A CN202180016770 A CN 202180016770A CN 115151837 A CN115151837 A CN 115151837A
- Authority
- CN
- China
- Prior art keywords
- pulse
- laser
- short range
- tof
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/484—Transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4868—Controlling received signal intensity or exposure of sensor
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
一种眼睛安全光探测和测距系统(100)包括虚拟保护壳体(180)。在有条件地发射长程脉冲(230)之前,在视场中的每个测量点发射短程脉冲(210)。短程脉冲产生在短距离内对眼睛安全的可达发射,并且长程脉冲产生在较长距离内对眼睛安全的可达发射。
Description
背景技术
包括激光设备的产品通常基于其可能对人眼或皮肤导致损害的可能性分为不同的激光安全等级。国际标准IEC 60825.1描述了示例性激光安全等级。虽然存在许多不同的激光安全等级,但等级之间的一个主要区别是产品是否被认为是“眼睛安全”还是“非眼睛安全”。眼睛安全的激光系统通常被认为不会在操作期间产生有害的可达辐射级别,并且通常还免除设备标记要求、控制措施或其他附加安全措施。IEC60825.1将眼睛安全产品归类为1级。然而,包括原本将被分类为非眼睛安全的高功率激光设备的产品可被分类为眼睛安全的,如果该产品包括附加的安全措施(诸如将可达发射极限降低到安全级别的保护性壳体)的话。
附图说明
图1示出根据本发明的各种实施例的具有虚拟保护壳体的扫描光探测和测距(LIDAR)系统;
图2示出根据本发明的各种实施例的短程和长程脉冲;
图3示出根据本发明的各种实施例的视场中的测量点;
图4示出根据本发明的各种实施例的方法的流程图;
图5示出根据本发明的各种实施例的作为距离的函数的未检测到对象的概率;
图6示出根据本发明的各种实施例的具有眼睛安全LIDAR系统的移动平台;
图7示出根据本发明的各种实施例的方法的流程图;
图8和图9示出根据本发明的各种实施例的具有虚拟保护壳体和冗余检测器的扫描光探测和测距(LIDAR)系统;
图10示出根据本发明的各种实施例的发送模块的侧视图;
图11示出根据本发明的各种实施例的发送模块的俯视图;
图12示出根据本发明的各种实施例的接收模块的侧视图;
图13示出根据本发明的各种实施例的接收模块的俯视图;
图14示出根据本发明的各种实施例的集成光子模块的横截面俯视图;
图15示出图14的集成光子模块的透视图;
图16示出根据本发明的各种实施例的具有眼睛安全LIDAR系统的扫描投影仪;
图17示出根据本发明的各种实施例的交互式显示设备;以及
图18示出根据本发明的各种实施例的短焦投影仪。
具体实施方式
在以下具体实施方式中,参考借助于图示来示出其中可以实践本发明的特定实施例的附图。充分详细地描述这些实施例以使本领域技术人员能够实践本发明。应理解,本发明的各种实施例尽管不同,但未必是互斥的。例如,在不偏离本发明的范围的情况下,本文结合一个实施例描述的特定特征、结构或特性可以实现在其他实施例内。另外,应理解,可以在不偏离本发明的范围的情况下修改每一公开的实施例内的个别元件的定位或布置。因此,以下具体实施方式不应被视为具有限制性意义,并且本发明的范围仅由适当解释的随附权利要求书以及权利要求书授权的等同物的全部范围来限定。在附图中,相似数字在若干视图中指代相同或类似的功能性。
图1示出根据本发明的各种实施例的具有虚拟保护壳体的扫描光探测和测距(LIDAR)系统。系统100包括脉冲生成电路190、红外(IR)激光源130、具有扫描镜116的扫描镜组件114以及镜驱动和控制电路154。系统100还包括红外(IR)检测器142、飞行时间(TOF)测量电路144、3D点云存储电路146、比较器148和虚拟保护壳体电路180。
激光源130可以是能够发射激光束162的激光源,诸如激光二极管等。射束162撞击在扫描镜组件114上,在一些实施例中,扫描镜组件114是基于微机电系统(MEMS)的扫描仪等的一部分,并且从扫描镜116反射以生成受控输出射束134。在一些实施例中,光学元件被包括在光源130与镜子116之间的光路径中。例如,系统100可以包括准直透镜、分色镜或任何其他合适的光学元件。
扫描镜驱动和控制电路154提供一个或多个驱动信号155来控制扫描镜116的角运动,以使输出射束134横贯视场128中的光栅扫描轨迹140。在操作中,光源130产生不可见光谱中的调制光脉冲,并且扫描镜116将光脉冲作为射束134反射横贯光栅扫描轨迹140。
在一些实施例中,光栅扫描轨迹140通过组合水平轴上的正弦分量和垂直轴上的锯齿分量来形成。在这些实施例中,受控输出射束134以正弦模式从左到右来回扫描,并且在扫描回程(从下到上)期间在显示空白时以锯齿模式垂直扫描(从上到下)。图1示出当射束从上到下垂直扫描时的正弦模式,但未示出从下到上的扫描回程。在其他实施例中,垂直扫描由三角波控制,因此不存在扫描回程。在其他实施例中,垂直扫描是正弦的。本发明的各种实施例不受用于控制垂直和水平扫描或所得光栅模式的波形的限制。垂直轴也称为慢扫描轴,并且水平轴也称为快扫描轴。标签“垂直”和“水平”在某种程度上是任意的,因为装置的90度旋转将切换水平和垂直轴。因此,术语“垂直”和“水平”并不意味着是限制性的。
尽管扫描镜116被示出为在二维中扫描的单个镜,但这不是本发明的限制。例如,在一些实施例中,镜116由两个镜代替,一个在一个维度上扫描,并且第二个在第二维度上扫描。此外,尽管系统100被描述为具有一个或多个MEMS设备来执行激光脉冲的扫描,但这不是本发明的限制。在不偏离本发明范围的情况下,可以采用用于沿着扫描路径扫描光脉冲的任何设备或方法。
在一些实施例中,扫描镜116包括一个或多个传感器来检测镜偏转的角位置或角范围(一维或二维)。例如,在一些实施例中,扫描镜组件114包括压阻传感器,该压阻传感器传递与镜在快扫描轴上的偏转成正比的电压。此外,在一些实施例中,扫描镜组件114包括附加压阻传感器,该附加压阻传感器传递与镜在慢扫描轴上的偏转成正比的电压。镜位置信息作为一个或多个SYNC信号115被提供回镜驱动和控制电路154。在这些实施例中,镜驱动和控制电路154包括一个或多个反馈环路,以响应于镜的测量角偏转来修改驱动信号。另外,在一些实施例中,镜驱动和控制电路154包括一个或多个锁相环路,其基于SYNC信号来估计扫描镜的瞬时角位置。
镜驱动和控制电路154可以使用诸如锁相环(PLL)、滤波器、加法器、乘法器、寄存器、处理器、存储器等功能电路来实现。因此,镜驱动和控制电路154可以用硬件、软件或任何组合来实现。例如,在一些实施例中,控制电路154在专用集成电路(ASIC)中实现。此外,在一些实施例中,一些较快的数据路径控制在ASIC中执行,并且整体控制是软件可编程的。
IR检测器142包括能够检测IR激光脉冲的反射的一个或多个光敏设备。例如,IR检测器142可以包括一个或多个PIN光电二极管、硅光电倍增管(SiPM)、雪崩光电二极管(APD)等。用IR激光脉冲照射的视场中的每一点(本文称为“测量点”)可以或可以不将一定量的入射光反射回IR检测器142。如果IR检测器142检测到反射,则IR检测器142向TOF测量电路144提供信号143。
TOF测量电路144测量IR激光脉冲的飞行时间(TOF),以确定到视场中对象的距离。在一些实施例中,虚拟保护壳体电路180向TOF测量电路144提供对应于特定IR激光脉冲的发射时间的定时信号(未示出),并且TOF测量电路144通过确定脉冲的发射与相同脉冲的反射的接收之间的经过时间来测量IR激光脉冲的TOF。
TOF测量电路144可以使用任何合适的电路来实现。例如,在一些实施例中,TOF测量电路144包括模拟积分器,该模拟积分器在发起IR脉冲时被重置,并且在接收到反射的脉冲时被停止。TOF测量电路144还可以包括模数转换器,以将模拟积分器输出转换成对应于IR激光脉冲的飞行时间(TOF)的数字值,该飞行时间又对应于系统100与视场中反射光脉冲的对象之间的距离。
3D点云存储设备146从镜驱动和控制电路154接收X、Y数据,并从TOF测量电路144接收节点145上的距离(Z)数据。对于每一检测到的反射,三元组(X,Y,Z)被写入3D点云存储设备,产生一系列3D点,在本文被称为“点云”。并不是视场中的每个X、Y测量点都必须有对应的Z测量。因此,所得的点云可以是稀疏的,或可以是密集的。包括在3D点云中的数据量不是本发明的限制。
3D点云存储设备146可以使用任何合适的电路结构来实现。例如,在一些实施例中,3D点云存储设备146在双端口存储器设备中实现,该双端口存储器设备可以在一个端口上写入,并且在第二端口上读取。在其他实施例中,3D点云存储设备146被实现为通用存储器设备中的数据结构。在其他实施例中,3D点云存储设备146实现在专用集成电路(ASIC)中。
比较器148将节点145上的距离数据(Z)与节点147上的阈值进行比较,如果距离小于阈值,则比较器148断言节点184上的短程对象检测信号。短程对象检测信号提醒VPH电路180检测到“短程”内的对象,其中“短程”由节点147上的阈值确定。例如,如果阈值被设置为对应于5米距离的值,并且检测到的距离低于该阈值,则已经检测到小于5米的对象,并且节点184上的短程对象检测信号将通知VPH电路180。
节点147上的阈值和对应的短程距离可以由VPH电路184基于任何准则来修改。例如,阈值可以是IR激光脉冲功率、脉冲持续时间、脉冲密度、波长、扫描仪速率(speed)、期望的激光安全分类等的函数。确定阈值的方式不是本发明的限制。
VPH电路180进行操作以允许整体操作保持眼睛安全的方式来管理可达发射级别。例如,在一些实施例中,VPH电路180通过设置节点185上的脉冲能量值来控制是生成“短程脉冲”还是“长程脉冲”。发射的脉冲能量可以由脉冲功率、脉冲持续时间或脉冲计数中的一者或多者来控制。
VPH电路180还可以经由节点157上的定时信号来控制发射脉冲的定时。在一些实施例中,对于视场中的每个测量点,VPH电路180向脉冲生成电路190发信号,以生成短程脉冲,该短程脉冲能够以非常高的置信度检测到足以提供虚拟保护壳体的距离之外的对象。如本文所使用,术语“短程脉冲”是指在非常短的范围内被认为对眼睛安全的脉冲。例如,在一些实施例中,短程IR激光脉冲的能级(energy level)可以保持在IEC 60825.1 1类可达发射极限以下,使得短程IR激光脉冲可以在每个测量点发射,而没有损害人眼的风险。
如果在短程距离内检测到对象,则对应的三元组(x,y,z)可以被写入3D点云存储设备146,并且系统100通过在该测量点不发射任何较高的能量脉冲来提供虚拟保护壳体。然而,如果未检测到短程对象,则系统100可以发射一个或多个总能量更高的“长程脉冲”来检测短程距离之外的对象。例如,在一些实施例中,系统100可以发射短程IR激光脉冲,该脉冲在100毫米(mm)的距离处被认为是对眼睛安全的,在明亮的阳光下有50%的概率检测到36米(m)处的5%反射目标。这种短程脉冲可能有100亿分之一的概率检测不到12米距离处10%的反射目标。又例如,系统100可以发射长程脉冲,该长程脉冲能够检测多达200米远的对象,同时在超过4米的距离时保持眼睛安全。在此示例中,系统100可以发射短程脉冲,其具有极高的概率检测到四米内的对象,且然后发射长程脉冲,其能够检测到200米处的对象。
如本文所使用,术语“长程脉冲”是指总能量高于短程脉冲的一个或多个脉冲。例如,在一些实施例中,可以发射单个长程脉冲,并且单个长程脉冲可以具有比单个短程脉冲更高的能量,而在其他实施例中,可以发射多个长程脉冲,并且多个长程脉冲的总能量可以高于单个短程脉冲。
虚拟保护壳体电路180可以使用任何合适的电路结构来实现。例如,在一些实施例中,VPH电路180可以包括使用数字逻辑实现的一个或多个有限状态机,以响应于短程对象检测并且有条件地向脉冲生成电路190发信号以发射长程脉冲。此外,在一些实施例中,VPH电路180可以包括处理器和存储器,以提供短程脉冲能量、长程脉冲能量、阈值等的软件可编程性。实现VPH电路180的方式不是本发明的限制。
图2示出根据本发明的各种实施例的短程和长程脉冲。短程脉冲210和长程脉冲230是可以由LIDAR系统在每一测量点发射的IR激光脉冲的示例。例如,LIDAR系统100可以发射短程脉冲210,并且然后基于是否检测到短程对象而有条件地发射一个或多个长程脉冲230。在图2的图表中,脉冲幅度示出在垂直轴上,并且时间示出水平轴上。短程脉冲210被示出为在第一时间发射,并且阈值被示出为表示第二时间。第一时间与第二时间之间的差表示短程距离。例如,在一些实施例中,阈值被设置为大约33纳秒(ns),对应于大致5米的短程距离。在一些实施例中,短程脉冲210具有在非常短的距离上被认为对眼睛安全的能级。例如,短程脉冲210在距发射它的LIDAR系统100mm处可以是对眼睛安全的。
在一些实施例中,如果检测到短程对象,则LIDAR系统不会为该测量点发射任何长程脉冲,并且检测到的距离会被写入3D点云。另一方面,如果未检测到短程对象,则以将可达发射维持在眼睛安全级别的方式发射一个或多个长程脉冲230。例如,短程脉冲210可以具有提供在短程距离内检测到对象的非常高的概率的能级,而长程脉冲220可以具有在短程距离和更远距离对眼睛安全的总能级。如果未检测到短程对象,则长程脉冲可以在阈值时间之后马上跟随。例如,长程脉冲220可以在阈值时间的100ns内或在133ns发射。基于期望的短程距离和处理时间,对应于长程脉冲的阈值和发射的时间在各种实施例中可以不同,并且不是本发明的限制。
在一些实施例中,发射单个长程脉冲220,而在其他实施例中,为每一测量点发射一系列长程脉冲230。在单个测量点发射的长程脉冲的数量不是本发明的限制。例如,在一些实施例中,可以发射单个长程脉冲,其中单个长程脉冲具有比短程脉冲高的能量。还例如,在一些实施例中,可以发射多个长程脉冲,并且每一长程脉冲可以具有与短程脉冲相同的能级,但多个长程脉冲的总能量大于短程脉冲的能量。
可以采用任何能级的任何数量的脉冲以定义多个范围。例如,短程可以由单个短程脉冲的能量来定义。还例如,中程可以由多个脉冲定义,每一脉冲具有与短程脉冲相同的能量,并且长程可以由一个或多个具有与短程脉冲相同或更大能量的长程脉冲定义。
在一些实施例中,在每个测量点发射短程脉冲,而在其他实施例中,短程脉冲不在每个测量点发射。例如,可以在第一测量点发射短程脉冲,并且如果未检测到短程对象,则可以在一个或多个后续测量点发射长程脉冲,而不首先发射短程脉冲。这在一些实施例中是可能的,部分是因为测量点可以被定义为彼此足够接近,以实现有效的假设,即当没有短程对象占据测量点时,没有短程对象占据一定数量的后续测量点。
图3示出根据本发明的各种实施例的视场中的测量点。测量点310是LIDAR系统测量距离的光栅扫描轨迹140上的点。例如,在一些实施例中,诸如LIDAR系统100(图1)的LIDAR系统在每一测量点310发射短程脉冲,以检测对象是否在短程距离内,并且然后如上所述有条件地发射一个或多个长程脉冲。
如本文所使用的术语“测量点”并不意图表示空间中无限小的点,而是表示光栅扫描轨迹140的小且有限的连续部分。例如,受控输出射束134(图1)在每一测量点的短程脉冲和长程脉冲的往返发送时间期间横贯光栅扫描轨迹140的有限部分。测量点面积也是激光光斑尺寸(初始尺寸和发散度)在遇到对象的距离处的函数。因此,“测量点”包含一个面积,尽管非常小,并且该面积的尺寸和定位可以是许多因素的函数。
图4示出根据本发明的各种实施例的方法的流程图。在一些实施例中,方法400或其部分由LIDAR系统执行,其实施例在前面的附图中示出。在其他实施例中,通过一系列电路或电子系统来执行方法400。方法400并不被执行该方法的装置的特定类型所限制。方法400中的各种动作可以以所呈现的顺序执行,或者可以以不同的顺序执行。此外,在一些实施例中,从方法400省略图4中列出的一些动作。
方法400被示为从方框410开始,在方框410中,设置短程脉冲能级并发射短程脉冲。在一些实施例中,这对应于将脉冲能级设置为在距LIDAR系统的特定距离处导致眼睛安全操作的值。例如,在一些实施例中,短程脉冲能级可以由虚拟保护壳体电路180(图1)设置,使得可达发射导致在100mm处的眼睛安全操作,而在其他实施例中,脉冲能级可以被设置成使得可达发射导致在大于100mm最小距离处的眼睛安全操作。
如果在420检测到短程对象,则可以将3D点(X,Y,Z)写入3D点云存储设备,诸如3D存储设备146(图1)。如果未检测到短程对象,则可以在440发送一个或多个长程脉冲。如上文所述,短程对象检测可以通过检测短程脉冲的反射、测量检测到的反射的飞行时间并将该飞行时间与阈值进行比较来完成。可以将对应于短程距离的阈值设置为任何合适的值。
在430,发射一个或多个长程脉冲。如果在440检测到对象,则可以将3D点(X,Y,Z)写入3D点云存储设备,诸如3D存储设备146(图1),并且在460,处理在下一测量点继续。如果未检测到对象,则在460,处理在下一测量点继续,而无需将3D点写入点云存储设备。
图5示出根据本发明的各种实施例的作为距离的函数的未检测到对象的概率。概率曲线510是典型的曲线,其可以基于许多参数向左或向右偏移,这些参数包括脉冲能级、对象的反射率、环境光等。例如,在极其明亮的阳光下,在100mm处对眼睛安全的短程脉冲可能具有10-10的概率未检测到在20m处具有20%反射率的对象。这导致在更近的距离未检测到对象的概率更低,因此在同样的情况下,在5m处对眼睛安全的长程脉冲提供了非常稳健的虚拟保护壳体。
在一些实施例中,对应于短程距离的阈值和长程脉冲的能级被设置为导致短程距离和长程脉冲的最小眼睛安全距离相等的值。在其他实施例中,对应于短程距离的阈值和长程脉冲的能级被设置为导致短程距离大于长程脉冲的最小眼睛安全距离的值。
图6示出根据本发明的各种实施例的具有眼睛安全LIDAR系统的移动平台。汽车610是其上安装了眼睛安全LIDAR系统620的平台。在一些实施例中,使用LIDAR系统100(图1)或下文进一步论述的任何LIDAR系统来实现眼睛安全LIDAR系统620。
在一些实施例中,当安装LIDAR系统的平台运动时,短程脉冲的能量增加。例如,当汽车610具有高于阈值的速度时,短程脉冲的能量可以具有导致在100mm以上的最小距离处可达发射眼睛安全级别的级别。在一些实施例中,可达发射导致眼睛安全级别的最小距离可以是一米或更远。还例如,短程脉冲的能量可以随着增加的平台速度而增加。在一些实施例中,当平台在每秒2.5米(m/s)和每秒25米之间加速时,短程脉冲的能量可以逐渐增加。
增加短程脉冲的能级可以导致增加检测短程内对象的概率和/或增加可以检测对象的短程。图6示出了由于短程脉冲能量增加而导致的短程增加。
图7示出根据本发明的各种实施例的方法的流程图。在一些实施例中,方法410或其部分由LIDAR系统执行,其实施例在前面的附图中示出。在其他实施例中,通过一系列电路或电子系统来执行方法410。例如,方法410可以由虚拟保护壳体电路来执行。方法410并不被执行该方法的装置的特定类型所限制。方法410中的各种动作可以以所呈现的顺序执行,或者可以以不同的顺序执行。此外,在一些实施例中,从方法410省略图7中列出的一些动作。
方法410对应于图4的方框410。方法410被示为从方框710开始,在方框710中,设置默认短程脉冲能级和默认时间阈值。在一些实施例中,设置短程脉冲能级,使得可达发射在短距离(例如,100mm或更近)是眼睛安全的,并且将时间阈值设置为提供非常低的未检测到对象的概率的值(参见图5)。
在720,如果速度快于阈值,则处理在740继续,并且如果速度不比阈值快,则处理在730继续。在一些实施例中,速度对应于安装LIDAR系统的移动平台的速度。例如,如果LIDAR系统安装在汽车上,则该速度对应于汽车的速率(speed)。在一些实施例中,LIDAR系统从汽车接收速度信息,而在其他实施例中,LIDAR系统包括速度传感器并且不依赖于速度信息的外部源。
在740,增加短程脉冲能级和对应于短程距离的时间阈值。在一些实施例中,短程脉冲能量被增加到一级别,该级别产生导致在一米的最小距离的眼睛安全级别的可达发射。在其他实施例中,短程脉冲能量被增加到一级别,该级别产生导致在大于或小于一米的最小距离的眼睛安全级别的可达发射。在730,发射短程脉冲。
图8和图9示出根据本发明的各种实施例的具有虚拟保护壳体和冗余检测器的扫描光探测和测距(LIDAR)系统。
参考图8,LIDAR系统800包括LIDAR系统100(图1)的所有部件,并且还包括第二IR检测器842、第二TOF电路844、第二比较器848和OR门880。在操作中,附加电路提供冗余短程对象检测能力,并且如果任一电路检测到短程对象,则OR门880发出检测到短程对象的信号。
冗余短程对象检测提供了附加的安全措施。例如,如果一个或IR检测器、TOF电路或比较器发生故障,冗余将确保持续的安全操作。
在一些实施例中,IR检测器142和第二IR检测器842通过不同的光学路径接收反射光。例如,IR检测器142可以接收沿着135所示路径的反射光,并且IR检测器835可以与发射的光脉冲共享光学路径。在图8所示的实施例中,162处发射的IR激光被镜116反射以产生沿路径834的光脉冲,并且沿路径834的任何反射光也将被镜116反射并沿路径835到达IR检测器842。
在一些实施例中,检测和TOF电路两者都操作来检测短程对象,并且检测和TOF电路中只有一者操作来测量长程距离和/或向3D云存储设备写入。例如,在图8所示的实施例中,由TOF电路844或TOF电路144测量的飞行时间可以用于检测短程对象,但是只有由TOF电路144测量的飞行时间用于填充3D点云。
现参考图9,LIDAR系统900包括VPH电路184、脉冲生成电路190、3D点云存储设备146、OR门880和控制电路154。LIDAR系统900还包括发送模块910、接收模块930、TOF和短程检测电路940以及TOF和短程电路950。
TOF和短程检测电路940和950中的每一者包括TOF电路和比较器。例如,TOF和短程检测电路940可以包括TOF电路844和比较器848(图8),并且TOF和短程检测电路950可以包括TOF电路144和比较器148(图8)。
发送模块910包括产生脉冲激射束的IR激光源、准直和聚焦光学器件以及一个或多个在视场中二维扫描脉冲激射束的扫描镜组件。发送模块910还包括IR激光检测器,其与发射的IR激光脉冲共享光学路径。下文参考后面的附图更充分地描述发送模块的示例性实施例。
接收模块930包括光学设备和一个或多个扫描镜组件,以进行二维扫描,从而将来自视场的反射光引导至所包括的IR光检测器。下文参考后面的附图更充分地描述接收模块的示例性实施例。
控制电路154控制发送模块910内扫描镜的移动,如上文参考图1所描述。控制电路154还控制接收模块930内扫描镜的移动。在操作中,控制电路140从发送模块910接收镜位置反馈信息(未示出),并且还从接收模块930接收镜位置反馈信息(未示出)。镜位置反馈信息用于对镜的操作进行锁相。控制电路540用驱动信号945驱动扫描镜在发送模块910内的微机电(MEMS)组件,并且还用驱动信号947驱动扫描镜在接收模块930内的MEMS组件,其使得镜移动通过镜偏转的角范围,该角范围限定了视场128的大小和定位。发送和接收扫描的同步允许接收孔径仅接受来自所发送能量被发送的视场部分的光子。这导致显著的环境光抗噪性。
如图9所示,二维扫描在第一维度(垂直的快扫描方向)和第二维度(水平的慢扫描方向)上执行。标签“垂直”和“水平”在某种程度上是任意的,因为装置的90度旋转将切换水平和垂直轴。作为示例,与图1和图8所示的方向相比,图9所示的快扫描方向和慢扫描方向旋转了90度。
图10示出根据本发明的各种实施例的发送模块的侧视图,且图11示出该发送模块的俯视图。发送模块910包括激光源1010、射束整形光学设备1020、接收能量拾取设备1060、镜1062、射束整形设备1064、IR检测器1066、扫描仪1028和出射光学设备450。
在一些实施例中,激光源1010发出不可见光,诸如红外(IR)光。在这些实施例中,IR检测器1066检测相同波长的不可见光,接收模块930(图9)中的IR检测器也是如此。例如,在一些实施例中,光源1010可以包括产生波长大致为905纳米(nm)的红外光的激光二极管,并且IR检测器1066检测波长大致为905nm的反射光脉冲。还例如,在一些实施例中,光源1010可以包括产生波长大致为940纳米(nm)的红外光的激光二极管,并且IR检测器1066检测波长大致为940nm的反射光脉冲。光的波长不是本发明的限制。可以在不偏离本发明的范围的情况下使用任何波长,可见的或不可见的。
激光源1010可以包括任何数量或类型的适于产生脉冲激光射束的发射器。例如,在一些实施例中,激光源1010包括多个激光二极管,如图11中在1112、1114、1116和1118所示。由激光源1010产生的脉冲激光被射束整形光学设备1020组合、准直和聚焦,以产生脉冲激光射束。例如,光学设备1022可以在快轴上准直激光束,偏振旋转器1023和射束组合器1020可以组合激光束,并且光学设备1022可以在慢轴上将脉冲激光射束形成扇形。在本发明的各种实施例中,射束尺寸和发散值不一定一致;一些实施例具有较高的值,而一些实施例具有较低的值。
扫描仪1028从光学设备1020接收脉冲激光射束,并在二维中扫描该脉冲射束。在图10和图11所示的实施例中,扫描仪1028包括两个独立的扫描镜组件1030、1040,每一扫描镜组件包括扫描镜1032、1042,其中每一扫描镜在一个维度上扫描射束。例如,扫描镜1032在快扫描方向上扫描该脉冲射束,并且扫描镜1042在慢扫描方向上扫描该脉冲射束。
尽管扫描仪1028被示为包括两个扫描镜组件,其中每一扫描镜组件在单独的维度上扫描,但这不是本发明的限制。例如,在一些实施例中,扫描仪1028使用在二维中扫描的单个双轴扫描镜组件来实现。在一些实施例中,扫描设备使用电磁致动,其使用含有MEMS裸片和永久磁体的小型子组件的微型组件和电气接口实现,但是各种实施例在此方面不受限制。
当扫描脉冲激光射束离开发送模块时,出射光学设备1050对其进行操作。在一些实施例中,出射光学设备1050执行场扩展。例如,扫描镜组件1028可以在快扫描轴上扫描通过20度的最大角范围,并且可以在慢扫描轴上扫描通过40度的最大角范围,并且出射光学设备1050可以将视场扩展到快扫描轴上的30度和慢扫描轴上的120度。扫描镜的扫描角度与由出射光学设备1050提供的场扩展量之间的关系不是本发明的限制。
接收能量拾取设备1060偏转与发射光脉冲(实线所示)共享发送光学路径的接收光(虚线所示)。偏转的接收光然后被镜1062反射,被光学设备1064聚焦,并被IR检测器1066检测。在一些实施例中,拾取设备1060包括“窗口”和反射外部,该“窗口”透射由IR激光源产生的脉冲射束,且该反射外部将接收的能量偏转到窗口之外。在其他实施例中,拾取设备1060是部分反射体,其透射一部分入射光并反射其余部分。例如,透射90%的入射光并反射10%的入射光的反射体将为IR检测器提供从视场中的对象反射的10%的光。在其他实施例中,拾取设备1060可以并入偏振分束器,该偏振分束器透射脉冲激光(以第一偏振),并拾取不同偏振的接收光。这是有效的,部分原因是由于朗伯(Lambertian)反射导致反射被随机偏振。在其他实施例中,传出的激光射束和接收的能量可以被引导到扫描镜的不同部分,并且拾取设备1060可以是定位成反射一个而不反射另一个的偏置镜。
IR检测器1066可以是IR检测器842(图8)的示例性实施例。例如,在一些实施例中,发送模块930实现LIDAR系统800的发送侧(具有冗余IR检测器)。
图12示出根据本发明的各种实施例的接收模块的侧视图,且图13示出该接收模块的俯视图。接收模块930包括IR检测器1210、折叠镜1212、成像光学设备1220、带通滤波器1222、扫描仪1228和出射光学设备1250。
扫描镜组件1230和1240与扫描镜组件1030和1040是相似或相同的,并且出射光学设备1250与出射光学设备1050是相似或相同的。带通滤波器1222通过由激光源1010产生的波长的光,并阻挡其他波长的环境光。例如,在一些实施例中,激光源产生905nm的光,并且带通滤波器1222通过905nm的光。
成像光学设备1220使一部分视场在被折叠镜1212反射后成像到IR检测器1210上。因为扫描仪1228与扫描仪1028同步扫描,所以阵列接收器1210总是收集来自被扫描脉冲射束照射的测量点的光。
图14示出根据本发明的各种实施例的集成光子模块的横截面俯视图。集成光子模块1410包括发送模块910和接收模块930两者。在一些实施例中,光子模块包括发送模块910以及不包括单独扫描组件的接收模块。例如,光子模块可以实现LIDAR系统800(图8)的光学部分,其包括在发送侧与IR检测器共享光学路径的扫描仪,并且包括没有单独扫描仪的接收器侧。
图15示出图14的集成光子模块的透视图。集成光子模块1410被示为具有矩形壳体,具有并排放置的发送模块910和接收模块930。在一些实施例中,发送模块910和接收模块930一个放在另一个上面。发送模块910和接收模块930的相对定向不是本发明的限制。
图16示出根据本发明的各种实施例的具有眼睛安全LIDAR系统的扫描投影仪。扫描投影仪1600包括图1中所示的所有部件,并且还包括图像处理部件1602、功率控制电路1604和可见激光源1630。在一些实施例中,可见激光源包括红色、绿色和蓝色激光源,这些激光源被脉冲化以创建可见像素,从而在视场128中产生可视图像。
当在视场中检测到对象时,功率控制电路1604响应于VPH电路184来降低可见激光脉冲的功率。例如,如果检测到短程对象,则功率控制电路1604可以消隐可见激光或降低功率级(power level),使得可达发射在检测到的对象的距离处对眼睛安全。
图17示出根据本发明的各种实施例的交互式显示设备。交互式显示设备1700包括扫描投影仪1600,扫描投影仪1600又包括激光源1630、130和IR检测器142。在一些实施例中,交互式显示设备显示可见内容,并且用户可以通过手势辨识进行交互。
图18示出根据本发明的各种实施例的短焦投影仪。短焦投影仪1800位于架子1810上,并投影到墙壁1720上的视场1880中。投影仪1800包括上述任何虚拟保护壳体电路。
尽管已经结合特定实施例描述了本发明,但是应该理解,如本领域的技术人员容易理解的,在不偏离本发明的范围的情况下可以采取修改和变化。此类修改和变化被视为在本发明的范围和随附权利要求内。
Claims (15)
1.一种装置,包含:
激光源,所述激光源用于在对应于视场中的深度测量点的时间处产生多个能级的红外(IR)激光脉冲;
扫描镜组件,所述扫描镜组件用于扫描所述视场中的所述IR激光脉冲;
第一IR光检测器,所述第一IR光检测器用于检测来自所述视场内的所述IR激光脉冲的反射;
响应于所述第一IR光检测器的飞行时间(TOF)电路,所述TOF电路用于测量在所述视场中的所述深度测量点处到对象的距离;以及
虚拟保护壳体电路,对于多个深度测量点,所述虚拟保护壳体电路使所述激光源发射第一脉冲能量的第一IR激光脉冲以检测短程内的对象,确定所述短程内没有对象,并且发射具有总第二能级的至少一个第二IR激光脉冲以检测长程内的对象,其中,所述第一能级低于所述总第二能级。
2.根据权利要求1所述的装置,还包含:
第二IR光检测器;以及
响应于所述第二IR光检测器的第二TOF电路。
3.根据权利要求2所述的装置,还包含:
第一光学路径,所述第一光学路径在所述扫描镜组件与所述视场之间;以及
第二光学路径,所述第二光学路径在所述视场与所述第一IR光检测器之间,其中,所述第二IR光检测器被定位以通过所述第一光学路径从所述视场接收光。
4.根据权利要求1所述的装置,其中,所述装置安装在移动平台上。
5.根据权利要求4所述的装置,其中,当所述移动平台具有高于阈值的速度时,所述第一脉冲能量增加。
6.根据权利要求4所述的装置,其中,所述第一脉冲能量随着增加的平台速度而增加。
7.根据权利要求1所述的装置,还包含发射可见激光的至少一个可见激光源,其中,所述虚拟保护壳体电路包括响应于所述TOF电路而降低所述可见激光的功率级的电路。
8.一种装置,包含:
第一激光源,所述第一激光源用于在对应于二维视场中的测量点的时间处发射IR激光脉冲;
扫描镜组件,所述扫描镜组件用于在所述视场中的所述测量点处反射所述IR激光脉冲;
第一飞行时间(TOF)测量电路,所述第一TOF测量电路用于响应于接收到的IR激光脉冲的反射而产生深度数据,所述深度数据表示在所述视场中的所述测量点处距对象的距离;
脉冲生成电路,所述脉冲生成电路用于对于每一测量点首先产生短程IR激光脉冲且然后产生至少一个长程IR激光脉冲,其中,所述短程IR激光脉冲的能量低于所述至少一个长程IR激光脉冲的能量;以及
3D点云存储设备,所述3D点云存储设备用于存储3D深度图信息。
9.根据权利要求1所述的装置,其中,所述短程IR激光脉冲的脉冲能量在第一距离处低于眼睛安全阈值,并且所述至少一个长程IR激光脉冲的总能量在第二距离处低于眼睛安全阈值。
10.根据权利要求9所述的装置,其中,所述装置安装在移动平台上。
11.根据权利要求10所述的装置,其中,当所述移动平台具有高于阈值的速度时,所述第一距离增加。
12.根据权利要求10所述的装置,其中,所述第一距离基于所述移动平台的所述速而增加。
13.根据权利要求8所述的装置,还包含第二TOF测量电路,其中,所述第一TOF测量电路和所述第二TOF测量电路测量在不同光学路径上接收的反射的TOF。
14.根据权利要求8所述的装置,其中,所述脉冲生成电路被配置成:当通过所述短程脉冲未检测到对象时生成所述至少一个长程脉冲,以及当通过所述短程脉冲检测到对象时不生成所述至少一个长程脉冲。
15.根据权利要求8所述的装置,还包含:
至少一个可见激光源,所述至少一个可见激光源用于发射可见激光;以及
电路,所述电路用于响应于所述第一TOF测量电路而降低所述可见激光的功率级。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/806,150 | 2020-03-02 | ||
US16/806,150 US12019188B2 (en) | 2020-03-02 | 2020-03-02 | Eye-safe scanning lidar with virtual protective housing |
PCT/US2021/018986 WO2021178152A1 (en) | 2020-03-02 | 2021-02-22 | Eye-safe scanning lidar with virtual protective housing |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115151837A true CN115151837A (zh) | 2022-10-04 |
Family
ID=77464122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180016770.3A Pending CN115151837A (zh) | 2020-03-02 | 2021-02-22 | 具有虚拟保护壳体的眼睛安全扫描lidar |
Country Status (6)
Country | Link |
---|---|
US (1) | US12019188B2 (zh) |
EP (1) | EP4115196A4 (zh) |
JP (1) | JP2023516297A (zh) |
KR (1) | KR20220154091A (zh) |
CN (1) | CN115151837A (zh) |
WO (1) | WO2021178152A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11768274B2 (en) * | 2020-07-06 | 2023-09-26 | Huawei Technologies Co., Ltd. | Preamble pulse based LiDAR systems and methods |
US20220155416A1 (en) * | 2020-11-13 | 2022-05-19 | Beijing Voyager Technology Co., Ltd. | Laser emission control in light detection and ranging (lidar) systems |
EP4303615A1 (en) * | 2022-07-05 | 2024-01-10 | Veoneer Sweden AB | Lidar system and method to operate |
KR20240027940A (ko) * | 2022-08-23 | 2024-03-05 | 삼성전자주식회사 | Tof 라이다 센서를 제어하여 주행하는 로봇 및 그 제어 방법 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59180472A (ja) * | 1983-03-31 | 1984-10-13 | Nec Corp | レ−ザレ−ダ方式 |
US8203698B2 (en) * | 2008-02-28 | 2012-06-19 | B.E. Meyers & Co. Inc. | Control modules for laser systems having auto-ranging and control capability |
US20090273770A1 (en) * | 2008-04-30 | 2009-11-05 | Honeywell International Inc. | Systems and methods for safe laser imaging, detection and ranging (lidar) operation |
EP2466333A1 (en) * | 2010-12-14 | 2012-06-20 | Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO | A method of performing a laser based radar measurement, a system and a computer program product |
US9684075B2 (en) * | 2011-10-27 | 2017-06-20 | Microvision, Inc. | Scanning laser time of flight 3D imaging |
WO2017079483A1 (en) | 2015-11-05 | 2017-05-11 | Luminar Technologies, Inc. | Lidar system with improved scanning speed for high-resolution depth mapping |
JP6852085B2 (ja) | 2015-11-30 | 2021-03-31 | ルミナー テクノロジーズ インコーポレイテッド | 分布型レーザー及び複数のセンサー・ヘッドを備える光検出及び測距システム、並びに、光検出及び測距システムのパルス・レーザー |
US9946259B2 (en) * | 2015-12-18 | 2018-04-17 | Raytheon Company | Negative obstacle detector |
WO2018044958A1 (en) * | 2016-08-29 | 2018-03-08 | Okeeffe James | Laser range finder with smart safety-conscious laser intensity |
US9791557B1 (en) | 2016-09-15 | 2017-10-17 | Qualcomm Incorporated | System and method for multi-area LIDAR ranging |
WO2018079921A1 (ko) * | 2016-10-25 | 2018-05-03 | 전자부품연구원 | 광 송수광 장치 및 방법 |
DE102017100068A1 (de) * | 2017-01-04 | 2018-07-05 | Rheinmetall Waffe Munition Gmbh | Lasersystem mit Schutzeinrichtung |
JP6754706B2 (ja) | 2017-02-14 | 2020-09-16 | 京セラ株式会社 | 電磁波検出装置、プログラム、および情報取得システム |
US10114111B2 (en) * | 2017-03-28 | 2018-10-30 | Luminar Technologies, Inc. | Method for dynamically controlling laser power |
US11092674B2 (en) * | 2017-07-13 | 2021-08-17 | Texas Instruments Incorporated | Transmit signal design for an optical distance measurement system |
JP6847795B2 (ja) * | 2017-09-20 | 2021-03-24 | 株式会社東芝 | 光検出器、光検出装置、ライダー装置及び光検出器の製造方法 |
US11346952B2 (en) * | 2017-12-08 | 2022-05-31 | Hesai Technology Co., Ltd. | Systems and methods for light detection and ranging |
CN111536712A (zh) | 2020-04-13 | 2020-08-14 | 南京天加环境科技有限公司 | 一种双压缩机空气源冷水热泵机组及其控制方法 |
-
2020
- 2020-03-02 US US16/806,150 patent/US12019188B2/en active Active
-
2021
- 2021-02-22 EP EP21763572.1A patent/EP4115196A4/en active Pending
- 2021-02-22 CN CN202180016770.3A patent/CN115151837A/zh active Pending
- 2021-02-22 WO PCT/US2021/018986 patent/WO2021178152A1/en unknown
- 2021-02-22 JP JP2022551624A patent/JP2023516297A/ja active Pending
- 2021-02-22 KR KR1020227028360A patent/KR20220154091A/ko active Search and Examination
Also Published As
Publication number | Publication date |
---|---|
US12019188B2 (en) | 2024-06-25 |
EP4115196A1 (en) | 2023-01-11 |
WO2021178152A1 (en) | 2021-09-10 |
EP4115196A4 (en) | 2023-11-01 |
KR20220154091A (ko) | 2022-11-21 |
US20210270938A1 (en) | 2021-09-02 |
JP2023516297A (ja) | 2023-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12019188B2 (en) | Eye-safe scanning lidar with virtual protective housing | |
KR102506579B1 (ko) | 잡음 적응형 솔리드-스테이트 lidar 시스템 | |
US10823825B2 (en) | System and method for wide-area surveillance | |
CA3017735C (en) | Integrated illumination and detection for lidar based 3-d imaging | |
US9285477B1 (en) | 3D depth point cloud from timing flight of 2D scanned light beam pulses | |
JP2020511666A (ja) | 構造化された光及び統合化された照明と検出によるlidarベースの3dイメージング | |
JP7545770B2 (ja) | 低エネルギー反射を感知するための検出器を有する走査レーザ装置および方法 | |
US11828881B2 (en) | Steered LIDAR system with arrayed receiver | |
US11579427B2 (en) | Method and apparatus for filtering and filtered light detection | |
US20200379089A1 (en) | Adaptive Lidar Scanning Methods | |
US20240118393A1 (en) | Scanning Laser Devices and Methods with Adjusted Emission Control Pulse Sets | |
US20240192376A1 (en) | Scanning Laser Devices and Methods with Multiple Range Emission Control Pulse Sets | |
US20220390569A1 (en) | Scanning Laser Devices and Methods with Non-Uniform Optical Expansion and Pulse Energy Variation | |
US11914076B2 (en) | Solid state pulse steering in LiDAR systems | |
WO2021194887A1 (en) | Scanning lidar systems with flood illumination for near-field detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |