CN117337404A - 像素映射固态lidar发射机系统和方法 - Google Patents
像素映射固态lidar发射机系统和方法 Download PDFInfo
- Publication number
- CN117337404A CN117337404A CN202280034260.3A CN202280034260A CN117337404A CN 117337404 A CN117337404 A CN 117337404A CN 202280034260 A CN202280034260 A CN 202280034260A CN 117337404 A CN117337404 A CN 117337404A
- Authority
- CN
- China
- Prior art keywords
- transmitter
- array
- lidar system
- light
- laser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 44
- 239000007787 solid Substances 0.000 title description 5
- 230000003287 optical effect Effects 0.000 claims abstract description 36
- 238000005259 measurement Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 6
- 238000010191 image analysis Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 10
- 238000005286 illumination Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000010304 firing Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 4
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
- G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
一种LiDAR系统,包括发射机,发射机具有生成第一和第二光束的第一和第二激光发射器的发射机,并且沿发射机光学轴投射这些光束。接收机包括相对于接收光学轴定位的像素阵列,使得来自物体反射的第一光束的光在像素阵列上形成第一图像区域,并且来自物体反射的第二光束的光在像素阵列上形成第二图像区域,使得基于测量范围以及基于发射机光学轴和接收光学轴的相对位置而形成第一图像区域和第二图像区域之间的重叠区。处理器根据重叠区中的至少一个像素生成的电信号来确定哪些像素在重叠区中,并且生成返回脉冲作为响应。
Description
本文所使用的节标题仅是为了组织目的并且不应被理解为以任何方式限制本公开中所描述的主题。
对相关申请的交叉引用
本申请是2021年5月11日提交的标题为“Pixel Mapping Solid-State LIDARTransmitter System and Method“的美国临时专利申请No.63/187,375的非临时申请。美国临时专利申请No.63/187,375的全部内容通过引用并入本文。
背景技术
无人驾驶、自动驾驶以及半无人驾驶的汽车使用诸如雷达、图像识别相机以及声纳之类的不同传感器和技术的组合,来探测和定位周围物体。这些传感器实现了对驾驶员安全性的大量改进,包括碰撞预警、自动紧急制动、车道偏移预警、车道保持辅助、自适应巡航、以及领航驾驶。在这些传感器技术中,光探测和测距(LIDAR)系统发挥关键作用,实现对周围环境的实时、高分辨率3D映射。
目前用于无人驾驶车辆的大多数商用LIDAR系统利用少量激光器,其结合机械地扫描环境的某种方法。非常期望的是未来的无人驾驶汽车利用具备高可靠性和广泛运行环境范围的基于半导体的固态LIDAR系统。
附图说明
根据优选的和典型的实施例以及它们的进一步优势,本教导结合附图在下文具体实施方式中被更具体地描述。本领域中的技术人员将理解的是下文所描述的图仅是为了例示目的。这些图不一定按比例绘制;而是重点通常被放在例示本教导的原理。这些图并非旨在以任何方式限制申请人的教导的范围。
图1例示了已知的成像接收机系统。
图2A例示了使用本教导的分开的发射机和接收机的像素映射(pixel mapping)光探测和测距(LiDAR)系统的实施例。
图2B例示了像素映射LiDAR系统的实施例的框图,该系统包括连接到本教导的主处理器的分开的发射机和接收机系统。
图3例示了在本教导的像素映射LiDAR系统中使用的一维探测器阵列的实施例。
图4例示了在本教导的像素映射LiDAR系统中使用的二维探测器阵列的实施例。
图5例示了在已知LiDAR系统中使用的现有二维探测器阵列。
图6例示了在本教导的像素映射LiDAR系统中使用的二维探测器阵列的实施例中单个激光器的视差(parallax)的影响。
图7例示了图6的二维探测器阵列的实施例中的两个相邻激光器的视差的影响。
图8例示了用于本教导的LiDAR的像素映射方法的实施例中的步骤的流程图。
具体实施方式
现在将参考在附图中所示的典型实施例来更详细地描述本教导。尽管本教导是结合不同实施例和示例来描述的,但是这不旨在将本教导限制到这些实施例。相反,本教导涵盖不同变型、修改以及等同物,如本领域中的技术人员将理解的。能够获得本文教导的本领域中的技术人员将认识到额外的实施方式、修改以及实施例和在其他领域的使用,这些在本文所描述的本公开的范围中。
在说明书中对“一个实施例”或“实施例”的引用意味着关于该实施例描述的特定特征、结构或特性被包括在本教导的至少一个实施例中。在说明书中各处出现的短语“在一个实施例中”不一定全部指代同一个实施例。
应被理解的是,只要本教导保持可运行,本教导的方法的各个步骤就可以以任意顺序和/或同时地被实施。进一步地,应当理解的是,只要本教导保持可运行,本教导的装置和方法就可以包括所描述的实施例中的任意数量的实施例或者全部。
本教导整体上涉及光探测和测距(LiDAR),光探测和测距是使用激光来测量到物体的距离(范围)的遥感方法。LIDAR系统通常测量到不同物体或目标(其反射和/或散射光线)的距离。无人驾驶车辆利用LIDAR系统以生成具备良好分辨率的高度准确的周围环境的3D地图。本文所描述的系统和方法涉及提供具备高水平的可靠性的固态、脉冲飞行时间(TOF)LIDAR系统,同时还维持长测量范围以及低成本。
具体地,本教导涉及LIDAR系统,这些系统发送出短时激光脉冲,并且使用对返回脉冲(以接收到的返回信号痕迹的形式)的直接探测来测量到物体的TOF。此外,本教导涉及具有发射机和接收机光学器件的系统,这些发射机和接收机光学器件物理上以一些方式彼此分开。
图1例示了已知的成像接收机系统100。系统100包括接收机102,该接收机包括位于透镜系统108的焦平面106处的探测器阵列104。探测器阵列104可以是二维阵列。探测器阵列104可以被称为图像传感器。透镜系统108可以包括一个或多个透镜和/或其他光学元件。透镜系统108和阵列104被固定在外壳110中。接收机102具有视场112,并且产生该视场112中的目标116的实像114。实像114由透镜系统108创建在焦平面106处。阵列104所产生的实像114被示出为通过近轴光线投影(paraxial ray projection)投射到焦平面106上,并且相比于实际目标被翻转。
图2A例示了像素映射光探测和测距(LiDAR)系统200的实施例,该系统使用本教导的分开的发射机和接收机。分开的发射机202和接收机204被使用。发射机202和接收机204具有彼此分隔距离206(P)而放置的中心。发射机202具有从发射机202投射光的光学透镜系统208。接收机204具有收集光的光学透镜系统210。发射机具有光学轴212,并且接收机204具有光学轴214。分开的发射机光学轴212和接收机光学轴214不是共轴的,而是径向偏移的。发射机透镜系统208和接收机透镜系统210的光学轴212、214之间的径向偏移在本文中也被称为视差。
发射机202在一视场(FOV)内投射光,该视场对应于图中光线A 216和光线C 218之间的角度。发射机包含激光器阵列,其中该激光器阵列的子集可以被激活以用于测量。在单个测量期间,发射机不是跨整个FOV均匀地发射光,而是仅在该视场的一部分内发射光。更具体而言,光线A 216、B 220以及C 218形成各个激光束的中心轴,这些激光束围绕该轴具有一些发散或者说锥角度(cone angle)。也就是说,光线B 220与发射机202的光学轴212相同。在一些实施例中,每个光线216、218、220可以标称地与来自发射机202中的激光器阵列(未示出)中的单个激光发射器的光相关联。应被理解的是,激光发射器可以指激光源,该激光源带有单个物理发射孔或作为一组来操作的多个物理发射孔。在一些实施例中,每个光线216、218、220可以标称地与来自发射机202中的激光器阵列(未示出)中的一组相邻的各个激光发射器元件的光相关联。在类似的光线分析中,接收机接收一FOV内的光,该FOV对应于图中光线1 222与光线5 224之间的角度。该光是以跨该FOV的一定分布被收集的,包括(为了例示目的)沿光线2 226、光线3 228以及光线4 230的光。更具体地,光线3 228形成围绕轴214具有一些发散(或锥角度)的所收集的光的中心轴214。在一些实施例中,每个光线226、228、230可以标称地与接收机204中的探测器阵列(未示出)中的单个探测器元件接收的光相关联。在一些实施例中,每个光线226、228、230可以标称地与接收机202中的探测器阵列(未示出)中的一组相邻的各个探测器元件接收的光相关联。单个探测器元件或相邻的成组的探测器元件可以被称为像素。
发射机202的设计被配置为生成带有具有中心轴212的FOV的光照,该设计包括激光源(未示出)以及透镜系统208。接收机204的设计被配置为收集带有具有中心轴214的FOV的光照,该设计包括探测器阵列(未示出)以及透镜系统208位置。发射机202的FOV的中心轴212被调节为与接收机204的FOV的中心轴214相交于SMATCH所指示的表面232处。该表面232是平滑的。在一些实施例中,该表面标称地是球形的。在其他实施例中,该表面不是球形的,因为它依赖于发射机202和接收机204中的光学系统的设计(包括它们的相对扭转)。来自发射机202的光照与接收机204收集的光之间的沿着表面232的若干交点234、236、238被指示出。第一个字母对应于发射机202光线,并且第二个字母对应接收机204阵列。也就是说,点234(C1)是发射机202光线C 218与接收机204光线1 222的交点。点236(B3)是发射机202光线B220与接收机204光线3 228的交点。点238(A5)是发射机202光线A 216与接收机204光线5224的交点。其他交点240、242、244、246、248、250也被指示出,具有与沿表面232的点234、236、238相同的命名约定。如本领域中技术人员清楚的,这些交点的完整三维集合可以被应用到发射机202和接收机204的任意特定对,这基于它们的相对中心位置206,光学轴212、214方向以及FOV。
图2B例示了像素映射LiDAR系统260的实施例的框图,该系统包括连接到本教导的主处理器274的发射机和接收机系统261。LiDAR系统261具有六个主要部件:(1)控制器和接口电子设备262;(2)包括激光器驱动器的发送电子设备264;(3)激光器阵列266;(4)接收和飞行时间及强度计算电子设备268;(5)探测器阵列270;以及(6)在一些实施例中,光学监视器272。LiDAR系统控制器和接口电子设备262控制LiDAR系统261的整体功能,并且提供数字通信到主系统处理器274。发送电子设备264控制激光器阵列266的操作,以及在一些实施例中,设定阵列266中的各个元件的激光发射的图案(pattern)和/或功率。
接收和飞行时间计算电子设备268从探测器阵列270接收电探测信号,并且然后处理这些电探测信号以通过飞行时间计算来计算距离。接收和飞行时间计算电子设备268还可以控制探测器阵列270的像素,以便选择像素的子集用于特定测量。返回信号的强度也在电子设备268中被计算。在一些实施例中,接收和飞行时间计算电子设备268确定来自激光器阵列206的两个不同的发射器的返回信号是否存在于来自单个像素(或与一测量相关联的一组像素)的信号中。在一些实施例中,发送控制器264控制脉冲参数,诸如脉冲幅度、脉冲宽度和/或脉冲延迟。
图2B的LiDAR系统260的框图例示了部件之间的连接,并不旨在以任何方式限制物理结构。系统260的各个元件可以根据实施例被物理地放置于不同位置。此外,元件可以根据实施例被分布到不同物理配置中。参考图2A和图2B两者,在一些实施例中,用于发射机202的模块可以容纳激光器阵列266部件(发送电子设备)以及激光器驱动器264(处理元件)两者。在一些实施例中,用于接收机204的模块可以容纳探测器阵列270部件(接收电子设备)以及TOF计算268(处理元件)两者。
图3例示了在本教导的像素映射LiDAR系统中使用的一维探测器阵列300的实施例。为了简洁,该图表示简单的1D探测器阵列300,但是本教导并不被限制于此。探测器阵列300具有一个维度的32个像素302。图3的例示中的阵列300为了例示目的被简化。本教导的范围内存在一维探测器阵列300的许多种配置。在一些配置中,像素302表示例如图2中所示的系统200中的接收机204中的图像传感器的一个元件。在一些配置中,探测器阵列300是二维的。在一些配置中,探测器阵列300包括远多于32个像素302。在一些配置中,像素302是探测器阵列的单个元件(如,单光子雪崩探测器(SPAD)、硅光电倍增管(SiPM))。在一些配置中,像素302是一组相邻的各个探测器(如,单光子雪崩探测器(SPAD)、硅光电倍增管(SiPM))。
参考图2A和图3两者,每个交点234、236、238、240、242、244、246、248、250的位置与图像平面处的位置304、306、308、310、312(在这些位置处将接收到与放置于每个交点234、236、238、240、242、244、246、248、250处的目标对应的反射脉冲)相关联地示出。可以看出的是,A1 240、B1 248以及C1 234全都成像到同一像素314。也可以看出的是,取决于接收机FOV内的位置以及目标距离,A光线216将导致在阵列中的每个像素处都接收到反射信号。例如,点A2 242(像素316)、A3 244(像素318)、A4 246(像素310)以及A5 234(像素322)全都落在阵列300上。另一方面,C光线218被标记的交点中只有一个交点落在阵列300上,即点C1234(像素314)。B光线220的被标记的交点中的若干个交点落在阵列300上,例如点B1248(像素314)、B2 248(像素316)以及点B3 250(像素318)。
照此,发射机和接收机之间的视差创造了一种几何分布,其中接收反射脉冲的特定像素是正被发射的激光器(即,哪个激光器光线)的位置以及FOV接收机(即,哪个接收机光线)内的位置这两者的函数。因此,在激光器光线和接收机光线(即,激光器元件和接收机元件)之间不存在一对一的对应关系。而是,该对应关系取决于反射目标的距离。
图4例示了在本教导的像素映射LiDAR系统中使用的二维探测器阵列400的实施例。在一些实施例中,探测器阵列400是各种已知二维成像像素阵列中的任意一种。阵列400包括以行406和列408布置的像素402。例如,许多相机采用使用滚动快门的已知2D探测器阵列。在滚动快门中,数据是逐行获得的。
图4例示了被高亮的单个列408或单个行410的这个操作。利用滚动快门的主要原因是关于数据能够被读出的速度的限制。还可能存在对任何一次能够被读出的数据量的限制。一些相机使用全局快门。在全局快门中,整个探测器阵列的数据被同时捕获。全局快门的劣势在于全部同时从传感器而来的庞大数据量,这可能限制帧率。也就是说,由于使用全局快门的每帧存在大量数据要被处理,所以在帧之间需要更多的时间。因此,滚动快门操作逐行或逐列来收集数据帧。将存在24个列帧(其中每个列帧具有16个像素)以从整个阵列400捕获数据。替代地,将存在16个行帧(其中每个行帧具有24个像素)以从整个阵列400捕获数据。全局快门操作从二维阵列中的所有像素收集数据帧。将存在来自于384个像素的一帧数据以读出整个阵列400。
图5例示了在已知的LiDAR系统中使用的已知二维探测器阵列500。2D探测器像素阵列500包括384个像素502(小灰色方块),这些像素与24个发射机发射器FOV 504(黑色边框方块)重叠。在具有视差的系统中,如示出的任何特定发射机504与16个接收机像素502的严格重叠将仅在一个特定距离处发生。也就是说,FOV 504仅对于一个测量距离具有这个形状。图5所示的配置没有采用一次性照亮整个系统FOV的已知的闪光发射机。而是,该发射机包括多个(24)激光发射器,每个激光发射器生成发射机发射器FOV 504,其中每个单独的激光器可以被独立地发射。每个激光发射器所发射的光束对应于如下3D投射角度,该3D投射角度仅包括整个系统的FOV的一部分。也就是说,发射器FOV仅包括一个方块,而发射机FOV是全部24个方块的集合。这样的发射机的一个实施例在US专利公开No.2017/0307736A1中被详细描述,该专利公开被转让给本申请人。US专利公开No.2017/0307736A1的全部内容通过引用并入于本文。
如示出的使用多个激光发射器的LIDAR系统具有许多优势,包括更高的光学功率密度,同时仍然维持眼睛安全性限制。为了具有最快的数据获取速率(以及帧率),优选的是仅对应于单个激光器的像素502(即,特定发射器FOV 504中的16个像素502)在特定测量序列期间被利用。由于单独的激光发射器在特定距离处仅反射到特定区域,所以可以通过适当地选择探测器区域以仅激活对应于特定发射器的那些像素来优化整个系统的速度。
已知的LiDAR系统的挑战是发射机发射器光照FOV在探测器阵列收集区域FOV上的投射仅在如上文所述的一个距离处严格成立。在不同的测量距离处,从目标反射到探测器阵列上的发射机光照区域的形状是不同的。为了分清在一个距离处成立的FOV投射与在其他距离处成立的更一般的重叠情况之间的区别,申请人引用了图像区域。在本文中使用的图像区域是从一定范围的测量距离落在探测器上的光照的形状。特定系统的图像区域的尺寸和形状可以基于系统测量范围(系统进行测量的距离的范围),发射机和接收机的光学轴的相对位置和角度,以及在发射机中的发射器和在接收机中的探测器的尺寸、形状和位置以及其他系统设计参数来被确定。
本教导的一个特征是根据本教导的方法和系统利用发射机和接收机的光学轴以及相对位置之间的已知关系,并且预先确定发射机中每个发射器的图像区域。该信息可以然后被用于处理所收集的测量数据,包括在两个不同发射器的图像区域之间的重叠区收集的数据。例如,该处理可以消除冗余的数据点、通过选择重叠区中的一个或多个最优数据点来减少噪声和环境光的影响、和/或产生来自沿特定方向的不同距离的多个返回结果。该处理也可以被用于提高图像质量,包括减少过度曝光。
图6例示了在本教导的像素映射LiDAR系统中使用的二维探测器阵列600的实施例中的单个激光器的视差的影响。阵列600包括384个像素602。使用本教导的探测器阵列的LiDAR系统的一些实施例被具有多个发射器的发射机照亮,并且每个发射器通常不照亮接收机阵列的整个视场。照此,如系统500所示并且关于图5所描述的,在被投射到接收机阵列FOV上时,存在多个发射机发射器FOV(这些FOV组合以创建完整发射机FOV)。该FOV投射是至少部分地基于发射机光学轴和接收机光学轴的相对位置的。假设单个目标或多个目标在某个有限范围上延伸,则视差影响单个激光发射器所形成的图像。在该图像中,在垂直方向和水平方向两者都存在视差的分量。照此,也参考图5,对应于9号激光发射器的单个目标距离的矩形FOV 506对角地分散成标号为9的多边形图像区域604。该图像区域604包括在一定范围的目标距离上发生的反射。虚线606形成描绘像素602集合的轮廓的矩形,该像素集合完整地划定激光器图像的界限(图像区域604),该虚线指示需要被选择以用于该特定激光发射器的接收机像素区域,以确保在目标距离的该一定范围(在该范围中存在来自某一目标的反射)上没有数据的损失。
图7例示了在图6的二维探测器阵列600的实施例中两个相邻激光器的视差的影响。也参考图5,对应于一定范围的目标距离的9号发射器矩形FOV 506以及10号发射器矩形FOV 508两者都对角地分散成针对9号发射器的多边形图像区域702和针对10号发射器的多边形图像区域704。假设单个目标在距发射机的一定范围的距离上延伸或多个目标在某个有限范围上延伸,则视差影响两个相邻激光器(在该示例中为9号发射器和10号发射器)所形成的图像。可以看出的是,9号和10号两个激光发射器的图像区域702、704现在部分地重叠。在对应单个测量距离的图5中,在所投射的激光器图像FOV 506、508之间不存在重叠。
在图7中,划定与9号和10号两个激光发射器对应的像素的界限的两个像素集合的区域706、708也部分地重叠。在这种情况下,将存在对应于重叠区(该重叠区对应于由两个(或更多个)激光器引起的光照的测量结果)的像素集合710。在一些实施例中,该重叠区既不是阵列600中的整行像素也不是整列像素。视差效应对LiDAR系统(该系统中各个发射器或发射器组的FOV是小的)是特别巨大的。例如,视差效应对于如下系统是特别强烈的,这些系统中各个像素的行和/或列的仅一子集被代表单个测量的所激活的发射器或同时激活的发射器组照亮。在一些实施例中,单个测量与来自被激活的发射器或发射器组的激光的单个脉冲相关联。
在一些实施例中,与一个激光发射器相结合使用的(一个或多个)像素的至少一个子集和与不同激光发射器相结合使用的(一个或多个)像素的至少一个子集重叠。该系统包括处理器(未示出),该处理器通过分析和组合从重叠区获得的数据来处理从该重叠区中的像素获得的数据,并且基于经处理的数据创建经组合的单个点云。在一些实施例中,该处理器基于被照亮的像素所生成的数据中所包含的返回脉冲来动态地选择与特定激光发射器相关联的被照亮的像素(即,两个或更多个被激活的激光发射器的图像区域中的像素)。各种返回脉冲属性可以被用于动态地选择特定激光器,这些属性包括例如返回脉冲强度、噪声级别、脉冲宽度和/或其他属性。参考图2B作为示例,在一些实施例中,处理从阵列210的像素获得的数据的处理器可以是主系统处理器274、控制器和接口电子设备262、接收和飞行时间以及强度计算电子设备268和/或任意或全部这些处理元件274、262、268的组合的部件。
在本教导的一些实施例中,像素阵列的仅一部分被激活以用于特定测量(例如,不是整行和/或不是整列)。在这些实施例中,二维矩阵可寻址探测器阵列可以被使用。在一些实施例中,二维矩阵可寻址探测器阵列是SPAD阵列。在本教导的一些实施例中,激光发射器的阵列的仅一部分被激活以用于特定测量。例如,不满一整行和/或不满一整列可以被激活。在这些实施例中,二维矩阵可寻址激光器阵列可以被使用。在一些实施例中,二维矩阵可寻址激光器阵列是VCSEL阵列。在一些实施例中,发射机部件全部是固态的,没有移动的部件。
图8例示了本教导的LiDAR的像素映射方法的实施例中的步骤的流程图800。该方法提供本教导的LIDAR系统中的经整合的四维(4D)点云。申请人所指4D意味着三个空间维度加上强度。在第一步骤802中,测量被发起。在第二步骤804中,所选择的激光发射器被发射。也就是说,单独的激光器被控制以通过生成光学脉冲发起单个测量。应被理解的是,在根据本教导的各种方法中,所选择的单独的和/或成组的激光器被发射以生成单个光脉冲,使得激光器FOV的期望图案在给定的单个发射测量周期中被照亮。在一些实施例中,发射机激光功率作为到目标的距离的函数而变化。在一些实施例中,发射机脉冲长度作为到目标的距离的函数而变化。
在第三步骤806中,反射的返回信号被LIDAR系统接收。在第四步骤808中,所接收的反射的返回信号被处理。在一些方法中,对返回信号的处理确定返回峰的数量。在一些方法中,该处理基于飞行时间(TOF)计算到物体的距离。在一些方法中,该处理确定返回峰的强度或伪强度。这些处理结果的各种组合可以被提供。强度可以使用P型-本征层-N型结构探测器(PIN)或雪崩光电探测器(APD)来直接探测。附加地或替代地,强度可以使用硅光电倍增管(SiPM)或单光子雪崩二极管探测器(SPAD)阵列来探测,该阵列基于同时被触发的像素的数量来提供伪强度。该方法的一些实施例进一步确定返回信号痕迹的噪声水平。在该方法的各种实施例中,还考虑额外的信息,例如,环境光水平以及各种环境条件和/或因素。
在第五步骤810中,做出关于发射激光器以从激光器生成另一个光脉冲的决定。如果该决定为是,则该方法返回第二步骤804。在该方法的各种实施例中,例如,该决定可以基于决定矩阵、编程到LIDAR控制器中的算法、或查找表。然后,特定数量的激光脉冲通过在包括第二步骤804、第三步骤806、以及第四步骤808的循环中周期循环来生成,直到期望数量的激光脉冲已经被生成,并且决定步骤810返回停止,并且继续到第六步骤812。
在第六步骤812中,系统执行多个测量信号处理步骤。在方法800的各种实施例中,该多个测量信号处理步骤可以包括,例如,过滤、平均、和/或作出柱状图(histogramming)。该多个测量信号处理从被处理的多个脉冲测量结果数据产生最终所得的测量结果。这些所得的测量结果可以包括原始信号痕迹信息和经处理的信息两者。原始信号信息可以用标志或标签来增强,这些标志或标签指示与第六步骤的处理有关的元数据以及数据的盖然性或置信度水平。
在第七步骤814处,系统移动到控制在某一发射序列中的下一个激光器的决定循环,并且继续循环通过发射序列中的激光器的完整列表,直到对该发射序列中的所有激光器的完整测量集合被获得。当该方法从第七步骤814进展到第二步骤804时,新的不同的激光器被发射。发射序列确定在特定循环被发射的特定激光器。例如,该序列可以与整个帧或部分帧对应。
在另一个可能的实施例中,循环810和814被组合,使得激光器的子组被形成,其中激光器的发射是交错的,从而与任意单独激光器发射背对背脉冲(back-to-back pulses)相比减少了该单个激光器的占空比,但是仍然维持特定激光器的脉冲之间相对短的时间。在该替代实施例中,系统将逐步完成多个子组来完成整个帧或部分帧。
在第八步骤816中,系统分析来自发射序列的完整数据集,并且对在任意重叠像素区中的数据采取各种动作。例如,这可以是与图7相关联描述的重叠区710。这些动作可以包括对具有两个单独的TOF距离的重叠像素区中的数据进行组合,以创建特定角方向中的多个返回结果。在一些实施例中,对来自重叠像素的测量数据的组合导致针对特定角方向的多个返回结果。在这些实施例中,对来自重叠像素的测量数据的组合导致TOF返回结果中的至少一些被丢弃,从而在经组合的测量数据中仅剩余一个返回结果。在一些实施例中,系统可以选择丢弃一组TOF数据,例如,如果这些距离大致相同并且一个测量结果基于一些标准而言是优选的。例如,该标准可以是噪声水平、或返回结果的强度水平或某一其他度量。在一些实施例中,系统可以使用该重叠数据来执行图像分析以校正图像缺陷,例如过度曝光。
在第九步骤818中,通过对多个测量返回信号处理的分析而确定的经组合的4D信息然后被报告。例如,所报告的数据可以包括3D测量点数据(即,三个空间维度)和/或各种其他度量,包括返回峰的数量、(一个或多个)飞行时间、(一个或多个)返回脉冲幅度、错误和/或各种校准结果。在第十步骤820中,该方法被终止。
存在许多选择单独和/或成组的激光器和/或探测器的方法。例如,参见标题为“Solid-State LIDAR Transmitter with Laser Control”的美国临时专利申请No.62/831,668。也参见标题为“Eye-Safe Long-Range Solid-State LIDAR System”的美国临时专利申请No.62/859,349以及标题为“Noise Adaptive Solid-State LIDAR System”的美国专利申请No.16/366,729。这些专利申请全部被转让给本申请人并且通过引用全部并入本文。
本教导的一些方面的重要特征是认识到如果目标在距LiDAR的一定范围的距离上延伸,则视差会导致特定激光发射器(或发射器组)的图像区域相比于在单个目标距离处提供的FOV被扭曲。对于来自一定范围的目标距离的测量结果,这种扭曲导致来自相邻的发射器的FOV之间的一些重叠。例如,该视差可以基于发射器的位置、来自发射机的光照的光学轴的角度、和/或像素的位置以及被像素收集的光照的光学轴的角度来表征。发射机的光学轴与接收机的光学轴是不一致的。通过对所接收的数据执行分析和处理,并且使用该已知的视差,有可能分析重叠区并且处理该数据以考虑在这些区域中包含的信息,并且使用其来获益。结果是单个的、具备信息量的、经组合的数据集合,该数据集合对鉴别LiDAR所探查的三维空间中的物体是有帮助的。
等同物
尽管申请人的教导是结合各种实施例来描述的,但是这并不旨在将申请人的教导限制到这些实施例。相反,申请人的教导涵盖本领域的技术人员将理解的在不偏离本教导的精神和范围的情况下可以作出的各种变型、修改以及等同物。
Claims (30)
1.一种光探测和测距(LiDAR)系统,包括:
a)发射机,所述发射机包括第一激光发射器和第二激光发射器,所述第一激光发射器在被激活时生成包括第一视场(FOV)的第一光束,所述第二激光发射器在被激活时生成包括第二FOV的第二光束,所述发射机在被激活时沿发射机光学轴投射所述第一光束和所述第二光束;以及
b)接收机,所述接收机被配置为沿接收光学轴收集从物体反射的光,所述接收机包括:
i)像素阵列,所述像素阵列相对于所述接收光学轴定位,使得来自物体反射的所述第一光束的光在所述像素阵列上形成第一图像区域,并且来自物体反射的所述第二光束的光在所述像素阵列上形成第二图像区域,使得基于测量范围以及基于所述发射机光学轴和所述接收光学轴的相对位置而形成所述第一图像区域与所述第二图像区域之间的重叠区;以及
ii)处理器,所述处理器根据所述重叠区中的至少一个像素所生成的电信号确定哪些像素在所述重叠区中,并且响应于所述确定而生成返回脉冲。
2.根据权利要求1所述的LiDAR系统,其中,所述重叠区被该区的尺寸表征。
3.根据权利要求1所述的LiDAR系统,其中,所述重叠区被该区的形状表征。
4.根据权利要求1所述的LiDAR系统,其中,所述重叠区被所述像素阵列的位置表征。
5.根据权利要求1所述的LiDAR系统,其中,所述第一激光发射器和所述第二激光发射器中的至少一者包括VCSEL发射器。
6.根据权利要求1所述的LiDAR系统,其中,所述第一激光发射器和所述第二激光发射器被形成在阵列中。
7.根据权利要求6所述的LiDAR系统,其中,所述阵列包括VCSEL阵列。
8.根据权利要求1所述的LiDAR系统,其中,所述激光器阵列包括二维阵列。
9.根据权利要求8所述的LiDAR系统,其中,所述VCSEL阵列是2D矩阵可寻址阵列,使得所述发射机能够照亮FOV,所述FOV在宽度和长度上分别地既不是整行也不是整列。
10.根据权利要求1所述的LiDAR系统,其中,所述发射机还包括第三激光发射器。
11.根据权利要求1所述的LiDAR系统,其中,所述发射机还包括发送光学器件。
12.根据权利要求1所述的LiDAR系统,其中,所述发射机被配置为使得所述第一激光发射器生成包括脉冲光束的所述第一光束。
13.根据权利要求12所述的LiDAR系统,其中,所述激光脉冲中的至少一个激光脉冲的强度基于到所述物体的距离而变化。
14.根据权利要求12所述的LiDAR系统,其中,所述激光脉冲中的至少一个激光脉冲的脉冲宽度基于到所述物体的距离而变化。
15.根据权利要求1所述的LiDAR系统,其中,所述接收机还包括接收光学器件。
16.根据权利要求1所述的LiDAR系统,其中,所述像素阵列包括二维阵列。
17.根据权利要求1所述的LiDAR系统,其中,所述像素阵列包括探测器阵列。
18.根据权利要求1所述的LiDAR系统,其中,所述像素阵列包括SPAD阵列。
19.根据权利要求1所述的LiDAR系统,其中,所述像素阵列被配置为使得仅像素的子集被激活以用于特定测量。
20.根据权利要求1所述的LiDAR系统,其中,所述重叠区中的至少一个像素被配置为接收来自特定角方向的多个返回结果。
21.根据权利要求1所述的LiDAR系统,其中,所述处理器被配置为丢弃来自所述重叠区的至少一个像素的至少一个飞行时间返回结果。
22.根据权利要求1所述的LiDAR系统,其中,所述处理器被配置为对所述重叠区执行图像分析。
23.一种光探测和测距(LiDAR)的方法,所述方法包括:
a)生成包括第一视场(FOV)的第一光束;
b)生成包括第二FOV的第二光束;
c)沿发射机光学轴投射所述第一光束和所述第二光束;
d)利用像素阵列沿接收光学轴收集被物体反射的光,所述像素阵列相对于所述接收光学轴定位,使得来自物体反射的所述第一光束的光在所述像素阵列上形成第一图像区域,并且来自物体反射的所述第二光束的光在所述像素阵列上形成第二图像区域,使得基于测量范围以及基于所述发射机光学轴和所述接收光学轴的相对位置而形成所述第一图像区域与所述第二图像区域之间的重叠区;
e)根据所述重叠区中的至少一个像素所生成的电信号来确定哪些像素在所述重叠区中;
f)响应于所述确定而生成返回脉冲。
24.一种用于光探测和测距(LiDAR)的像素映射以提供经整合的四维(4D)点云的方法,所述方法包括:
a)选择一个或多个激光器来生成单个光脉冲,使得激光器FOV的期望图案被照亮;
b)从目标接收反射的返回信号;
c)处理所述反射的返回信号;
d)发射所选择的一个或多个激光器以生成其他单个光脉冲,使得基于所述处理以及预先确定的决定标准照亮激光器FOV的期望图案;以及
e)分析从对所选择的激光器的发射而得到的数据,以确定四维(4D)点云信息。
25.根据权利要求24所述的方法,其中,处理所述反射的返回信号包括确定返回峰的数量。
26.根据权利要求24所述的方法,其中,处理所述反射的返回信号包括基于飞行时间计算到物体的距离。
27.根据权利要求24所述的方法,其中,处理所述反射的返回信号包括确定返回信号痕迹的噪声水平。
28.根据权利要求24所述的方法,其中,处理所述反射的返回信号包括确定返回峰的强度或伪强度。
29.根据权利要求24所述的方法,所述方法还包括:使生成所述单个光脉冲的所选择的一个或多个激光器的功率作为到所述目标的距离的函数而变化。
30.根据权利要求24所述的方法,所述方法还包括:使生成所述单个光脉冲的所选择的一个或多个激光器的脉冲长度作为到所述目标的距离的函数而变化。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163187375P | 2021-05-11 | 2021-05-11 | |
US63/187,375 | 2021-05-11 | ||
PCT/US2022/028297 WO2023282970A2 (en) | 2021-05-11 | 2022-05-09 | Pixel mapping solid-state lidar transmitter system and method |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117337404A true CN117337404A (zh) | 2024-01-02 |
Family
ID=83998690
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280034260.3A Pending CN117337404A (zh) | 2021-05-11 | 2022-05-09 | 像素映射固态lidar发射机系统和方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220365219A1 (zh) |
EP (1) | EP4337989A2 (zh) |
JP (1) | JP2024518461A (zh) |
KR (1) | KR20240005752A (zh) |
CN (1) | CN117337404A (zh) |
WO (1) | WO2023282970A2 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10761195B2 (en) | 2016-04-22 | 2020-09-01 | OPSYS Tech Ltd. | Multi-wavelength LIDAR system |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7202776B2 (en) * | 1997-10-22 | 2007-04-10 | Intelligent Technologies International, Inc. | Method and system for detecting objects external to a vehicle |
US9014903B1 (en) * | 2012-05-22 | 2015-04-21 | Google Inc. | Determination of object heading based on point cloud |
KR102038533B1 (ko) * | 2012-06-14 | 2019-10-31 | 한국전자통신연구원 | 레이저 레이더 시스템 및 목표물 영상 획득 방법 |
US9234618B1 (en) * | 2012-09-27 | 2016-01-12 | Google Inc. | Characterizing optically reflective features via hyper-spectral sensor |
BE1021971B1 (nl) * | 2013-07-09 | 2016-01-29 | Xenomatix Nv | Omgevingssensorsysteem |
US9266148B2 (en) * | 2014-06-27 | 2016-02-23 | Key Technology, Inc. | Method and apparatus for sorting |
EP3045936A1 (en) * | 2015-01-13 | 2016-07-20 | XenomatiX BVBA | Surround sensing system with telecentric optics |
US10539661B2 (en) * | 2015-11-25 | 2020-01-21 | Velodyne Lidar, Inc. | Three dimensional LIDAR system with targeted field of view |
US10627490B2 (en) * | 2016-01-31 | 2020-04-21 | Velodyne Lidar, Inc. | Multiple pulse, LIDAR based 3-D imaging |
JP7183046B2 (ja) * | 2016-03-21 | 2022-12-05 | ベロダイン ライダー ユーエスエー,インコーポレイテッド | 可変照射強度を有するlidarに基づく三次元撮像 |
WO2017210418A1 (en) * | 2016-06-01 | 2017-12-07 | Velodyne Lidar, Inc. | Multiple pixel scanning lidar |
CA3068943A1 (en) * | 2017-07-05 | 2019-01-10 | Ouster, Inc. | Light ranging device with electronically scanned emitter array and synchronized sensor array |
DE102017223102A1 (de) * | 2017-12-18 | 2019-06-19 | Robert Bosch Gmbh | Multipuls-Lidarsystem zur mehrdimensionalen Erfassung von Objekten |
CN115079195A (zh) * | 2018-04-23 | 2022-09-20 | 布莱克莫尔传感器和分析有限责任公司 | 用相干距离多普勒光学传感器控制自主车辆的方法和系统 |
KR20210152499A (ko) * | 2019-04-17 | 2021-12-15 | 더 리젠츠 오브 더 유니버시티 오브 미시건 | 다차원 물질 감지 시스템 및 방법 |
KR20220006638A (ko) * | 2019-05-13 | 2022-01-17 | 아우스터, 인크. | 전자 스캐닝 lidar 시스템을 위한 동기화된 이미지 캡처 |
DE102019209112A1 (de) * | 2019-06-24 | 2020-12-24 | Infineon Technologies Ag | Ein LIDAR-System, das eine Größe des Sichtfelds selektiv verändert |
US20210033708A1 (en) * | 2019-07-31 | 2021-02-04 | OPSYS Tech Ltd. | High-Resolution Solid-State LIDAR Transmitter |
KR20190117418A (ko) * | 2019-09-27 | 2019-10-16 | 엘지전자 주식회사 | 라이다 시스템과 그 제어 방법 및 라이다 시스템을 포함한 자율 주행 시스템 |
US11892572B1 (en) * | 2020-12-30 | 2024-02-06 | Waymo Llc | Spatial light modulator retroreflector mitigation |
-
2022
- 2022-05-09 EP EP22838193.5A patent/EP4337989A2/en active Pending
- 2022-05-09 CN CN202280034260.3A patent/CN117337404A/zh active Pending
- 2022-05-09 JP JP2023568683A patent/JP2024518461A/ja active Pending
- 2022-05-09 KR KR1020237038937A patent/KR20240005752A/ko unknown
- 2022-05-09 US US17/739,859 patent/US20220365219A1/en active Pending
- 2022-05-09 WO PCT/US2022/028297 patent/WO2023282970A2/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP4337989A2 (en) | 2024-03-20 |
WO2023282970A2 (en) | 2023-01-12 |
US20220365219A1 (en) | 2022-11-17 |
KR20240005752A (ko) | 2024-01-12 |
WO2023282970A8 (en) | 2023-02-09 |
WO2023282970A3 (en) | 2023-04-13 |
JP2024518461A (ja) | 2024-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11867790B2 (en) | Three dimensional LIDAR system with targeted field of view | |
CA3012691C (en) | Lidar based 3-d imaging with far-field illumination overlap | |
US20240045038A1 (en) | Noise Adaptive Solid-State LIDAR System | |
CA3017819C (en) | Lidar based 3-d imaging with varying illumination intensity | |
US9983297B2 (en) | LIDAR based 3-D imaging with varying illumination field density | |
CN108885263B (zh) | 具有可变脉冲重复的基于lidar的3d成像 | |
US20210278540A1 (en) | Noise Filtering System and Method for Solid-State LiDAR | |
CN108603932B (zh) | 多脉冲的基于光探测和测距的三维成像 | |
CN109557522A (zh) | 多射束激光扫描仪 | |
JP2022539706A (ja) | 適応型多重パルスlidarシステム | |
US20220365219A1 (en) | Pixel Mapping Solid-State LIDAR Transmitter System and Method | |
CN217879628U (zh) | 一种发射器、固态激光雷达及探测系统 | |
US20230266450A1 (en) | System and Method for Solid-State LiDAR with Adaptive Blooming Correction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |