CN110286388B - 激光雷达系统和使用其检测物体的方法及介质 - Google Patents

激光雷达系统和使用其检测物体的方法及介质 Download PDF

Info

Publication number
CN110286388B
CN110286388B CN201910565709.9A CN201910565709A CN110286388B CN 110286388 B CN110286388 B CN 110286388B CN 201910565709 A CN201910565709 A CN 201910565709A CN 110286388 B CN110286388 B CN 110286388B
Authority
CN
China
Prior art keywords
light
lidar system
field
view
fov
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910565709.9A
Other languages
English (en)
Other versions
CN110286388A (zh
Inventor
O.D.凯拉夫
A.戴
P.伯曼
A.斯坦伯格
D.埃洛兹
G.佐哈尔
H.克雷默
J.弗莱科
M.梅迪纳
N.卡哈纳
N.奥西罗夫
O.耶鲁哈米
O.布斯基拉
O.罗森茨威格
R.埃舍尔
S.戴维德拉莉
Y.安特曼
Y.阿尔珀恩
S.索拉尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yingnuowesi Technology Co.,Ltd.
Original Assignee
Creative Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Creative Technology Ltd filed Critical Creative Technology Ltd
Publication of CN110286388A publication Critical patent/CN110286388A/zh
Application granted granted Critical
Publication of CN110286388B publication Critical patent/CN110286388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4812Constructional features, e.g. arrangements of optical elements common to transmitter and receiver transmitted and received beams following a coaxial path
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017Devices integrating an element dedicated to another function
    • B60Q1/0023Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04Systems determining the presence of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50Systems of measurement based on relative movement of target
    • G01S17/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4868Controlling received signal intensity or exposure of sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4918Controlling received signal intensity, gain or exposure of sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S7/4972Alignment of sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G02B26/0858Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD the reflecting means being moved or deformed by piezoelectric means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B60W2420/408

Abstract

本公开提供激光雷达系统和使用其检测物体的方法及介质。激光雷达系统可以包括至少一个处理器,被配置为:访问存储在存储器中的光学预算,该光学预算与至少一个光源相关联并且定义在预定时间段中可由至少一个光源发射的光量;接收指示激光雷达系统的平台条件的信息;基于接收到的信息并且通过选择与扫描速率、扫描模式、扫描角度、空间光分布和时间光分布中的至少两个相关联的参数值,动态地分摊光学预算,使得根据所选择的参数值对激光雷达系统的视场扫描期间的光投射符合存储在存储器中的光学预算;以及根据所动态分摊的光学预算输出信号,用于以使得光通量能够在对视场进行扫描时变化的方式来控制至少一个光源。

Description

激光雷达系统和使用其检测物体的方法及介质
本申请是申请日为2017年9月20日、申请号为201780057688.9(国际申请号为PCT/IB2017/001320)、发明名称为“激光雷达系统和方法”的发明专利申请的分案申请。
相关申请的交叉引用
本申请要求以下申请的优先权权益:于2016年9月20日提交的美国临时专利申请No.62/396,858;于2016年9月20日提交的美国临时专利申请No.62/396,863;于2016年9月20日提交的美国临时专利申请No.62/396,864;于2016年9月21日提交的美国临时专利申请No.62/397,379;于2016年10月9日提交的美国临时专利申请No.62/405,928;于2016年10月25日提交的美国临时专利申请No.62/412,294;于2016年10月30日提交的美国临时专利申请No.62/414,740;于2016年11月7日提交的美国临时专利申请No.62/418,298;于2016年11月16日提交的美国临时专利申请No.62/422,602;于2016年11月22日提交的美国临时专利申请No.62/425,089;于2017年1月3日提交的美国临时专利申请No.62/441,574;于2017年1月3日提交的美国临时专利申请No.62/441,581;于2017年1月3日提交的美国临时专利申请No.62/441,583;以及于2017年6月18日提交的美国临时专利申请No.62/521,450。所有上述申请通过引用整体上并入本文。
技术领域
本公开总体上涉及用于扫描周围环境的勘测技术,并且更具体地,涉及使用激光雷达(LIDAR)技术来检测周围环境中的物体的系统和方法。
背景技术
随着驾驶员辅助系统和自主车辆的出现,汽车需要配备有能够可靠地感测和解释其周围环境的系统,包括识别可能会影响车辆导航的障碍物、危险、物体和其它物理参数。为此,已经提出了多种不同的技术,包括单独或以冗余方式操作的雷达、激光雷达、基于相机的系统。
驾驶员辅助系统和自主车辆的一个考虑因素是系统在不同条件下(包括雨、雾、黑暗、强光和雪)确定周围环境的能力。光检测和测距系统(激光雷达(LIDAR),也称为光雷达(LADAR))是可以在不同条件下很好地工作的技术的示例,该技术通过用光照亮物体并用传感器测量反射的脉冲,来测量到物体的距离。激光是可以在激光雷达系统中使用的光源的一个示例。与任何传感系统一样,为了使基于激光雷达的感测系统完全被汽车行业采用,系统应当提供可靠的数据,以使得能够检测远处的物体。然而,目前激光雷达系统的最大照明功率受到使激光雷达系统对眼睛安全的需要的限制(即,使得它们将不会损伤人眼,这种损伤会在投射的光发射被眼睛的角膜和晶状体吸收时发生,而对视网膜造成热损伤。)
本公开的系统和方法针对在遵守眼睛安全规定的同时改进激光雷达系统的性能。
发明内容
与本公开一致的实施例提供了使用LIDAR技术来检测周围环境中的物体的系统和方法。
与所公开的实施例一致,激光雷达系统可以包括至少一个处理器,该处理器被配置为:以使得光通量能够在使用来自至少一个光源的光对视场进行扫描时变化的方式,控制至少一个光源;控制至少一个光偏转器,以偏转来自至少一个光源的光,以便扫描视场;使用与视场的第一部分的扫描相关联的第一检测到的反射,来确定在第一部分中在第一距离处第一物体的存在;确定在视场的第二部分中在第一距离处不存在物体;在检测到第一反射并确定第二部分中不存在物体之后,更改光源参数,使得朝着视场的第二部分投射比朝着视场的第一部分投射更多的光;以及使用视场的第二部分中的第二检测到的反射,来确定在大于第一距离的第二距离处第二物体的存在。
与所公开的实施例一致,激光雷达系统可以包括至少一个处理器,该处理器被配置为:以使得光通量能够在使用来自至少一个光源的光对视场进行扫描时变化的方式,控制至少一个光源;控制朝着视场的第一部分被引导的至少第一光发射的投射,以确定在视场的第一部分中在第一距离处不存在物体;当基于至少第一光发射而确定视场的第一部分中不存在物体时,控制朝着视场的第一部分被引导的至少第二光发射的投射,以使得能够在视场的第一部分中在大于第一距离的第二距离处检测到物体;以及控制朝着视场的第一部分被引导的至少第三光发射的投射,以确定在视场的第一部分中在大于第二距离的第三距离处物体的存在。
与所公开的实施例一致,激光雷达系统可以包括至少一个处理器,该处理器被配置为:以使得光通量能够在对视场进行扫描时变化的方式,控制至少一个光源,该视场包括第一部分和第二部分;在逐个像素的基础上,接收来自至少一个传感器的信号,其中信号指示与和至少一个传感器相关联的噪声相结合的、环境光和来自至少一个光源的、被视场中的物体反射的光中的至少一个;估计与视场的第一部分相关联的至少一些信号中的噪声;基于视场的第一部分中的噪声的估计,来对于与视场的第一部分相关联的反射,更改传感器灵敏度;估计与视场的第二部分相关联的至少一些信号中的噪声;以及基于视场的第二部分中的噪声的估计,来对于与视场的第二部分相关联的反射,更改传感器灵敏度,其中对于与第二部分相关联的反射更改后的传感器灵敏度不同于对于与第一部分相关联的反射更改后的传感器灵敏度。
与所公开的实施例一致,激光雷达系统可以包括至少一个处理器,该处理器被配置为:以使得光强度能够在使用来自至少一个光源的光对视场进行扫描时变化的方式,控制至少一个光源;控制至少一个光偏转器,以偏转来自至少一个光源的光,以便扫描视场;获得视场中至少一个独特(distinct)感兴趣区域的标识;以及相对于其它区域,增加对至少一个独特感兴趣区域的光分配,使得在第一扫描周期之后,在至少一个后续第二扫描周期中在与至少一个独特感兴趣区域相关联的位置处的光强度高于在第一扫描周期中在与至少一个独特感兴趣区域相关联的位置处的光强度。
与所公开的实施例一致,激光雷达系统可以包括至少一个处理器,该处理器被配置为:以使得光通量能够在使用来自至少一个光源的光对视场进行扫描时变化的方式,控制至少一个光源;控制至少一个光偏转器,以偏转来自至少一个光源的光,以便扫描视场;从至少一个传感器接收反射信号,该反射信号指示从视场中的物体反射的光;基于初始光发射的反射信号,确定是否有物体位于激光雷达系统的紧邻区域中并且在距至少一个光偏转器的阈值距离内,其中该阈值距离与安全距离相关联,并且当在紧邻区域中没有检测到物体时,控制至少一个光源,使得朝着紧邻区域投射附加的光发射,由此使得能够检测到超出紧邻区域的物体;当在紧邻区域中检测到物体时,调整至少一个光源和至少一个光偏转器中的至少一个,以防止紧邻区域中的光的累积能量密度超过最大允许曝光。
与所公开的实施例一致,激光雷达系统可以包括至少一个处理器,该处理器被配置为:控制光源的光发射;通过重复地移动位于光源的外传路径中的至少一个光偏转器来扫描视场,其中在视场的单个扫描周期期间,至少一个光偏转器瞬时地位于多个位置;在至少一个偏转器处于特定瞬时位置时,经由至少一个偏转器,接收单个光束斑沿着到传感器的返回路径的反射;在逐个束斑的基础上,从传感器接收与每个光束斑的图像相关联的信号,其中该传感器包括多个检测器,并且其中每个检测器的尺寸小于每个光束斑的图像,使得在逐个束斑的基础上,每个光束斑的图像照射在多个检测器上;以及根据从多个检测器上的照射而产生的信号,来确定与单个光束斑的图像相关联的至少两个不同的范围测量。
与所公开的实施例一致,激光雷达系统可以包括至少一个处理器,该处理器被配置为:控制至少一个偏转器,以在至少一个偏转器处于特定瞬时位置时,沿着多条外传路径、朝着形成视场的多个区域偏转来自多个光源的光;控制至少一个偏转器,使得在至少一个偏转器处于特定瞬时位置时,在至少一个偏转器的至少一个公共区域上接收来自视场的光反射,其中在至少一个公共区域中,多个光源中的至少一些光源的至少一些光反射照射在彼此之上;以及从多个检测器中的每一个接收至少一个信号,该至少一个信号指示在至少一个偏转器处于特定瞬时位置时来自至少一个公共区域的光反射。
与所公开的实施例一致,激光雷达系统可以包括至少一个处理器,该处理器被配置为:访问存储在存储器中的光学预算,该光学预算与至少一个光源相关联并且定义在预定时间段中可由至少一个光源发射的光量;接收指示激光雷达系统的平台条件的信息;基于接收到的信息,基于扫描速率、扫描模式、扫描角度、空间光分布和时间光分布中的至少两个,将光学预算动态地分摊到激光雷达系统的视场;以及根据动态分摊的光学预算,输出信号,用于以使得光通量能够在对视场进行扫描时变化的方式来控制至少一个光源。
与所公开的实施例一致,用于被配置用在车辆上的激光雷达的振动抑制系统可以包括至少一个处理器,该处理器被配置为:以使得来自至少一个光源的光的光通量能够在对视场进行扫描时变化的方式,控制至少一个光源;控制至少一个光偏转器的定位,以偏转来自至少一个光源的光,以便扫描视场;获得指示车辆的振动的数据;基于所获得的数据,确定用以补偿车辆的振动的、对至少一个光偏转器的定位的调节;以及实施所确定的对至少一个光偏转器的定位的调节,由此在至少一个光偏转器上抑制车辆的振动对视场的扫描的影响的至少一部分。
与所公开的实施例一致,激光雷达系统可以包括至少一个处理器,该处理器被配置为:以使得来自至少一个光源的光的光通量能够在视场的扫描周期内变化的方式,控制至少一个光源,其中从至少一个光源投射的光被引导到至少一个偏转器,以扫描视场;从至少一个传感器接收指示从视场中的物体反射的光的反射信号;以以下方式协调光通量和扫描:使得视场的至少三个扇区在扫描周期中出现,第一扇区具有第一光通量和相关联的第一检测范围,第二扇区具有第二光通量和相关联的第二检测范围,并且第三扇区具有第三光通量和相关联的第三检测范围,并且其中第二光通量大于第一光通量和第三光通量中的每一个;以及基于来自至少一个传感器的输入,检测第二扇区中的位于超出第一检测范围和第三检测范围的距离处的物体。
与所公开的实施例一致,激光雷达系统可以包括至少一个处理器,该处理器被配置为:以使得至少一个光源的光通量能够在对视场进行多个扫描时变化的方式,控制至少一个光源,该视场包括近场部分和远场部分;控制至少一个光偏转器,以扫描视场的方式偏转来自至少一个光源的光;对于与覆盖近场部分的扫描周期相关联的第一帧实施第一扫描速率,并且对于与覆盖远场部分的扫描周期相关联的第二帧实施第二扫描速率,其中第一扫描速率大于第二速率;以及在投射使得能够在与近场部分相关联的多个顺序的第一帧中检测到物体的光之后,控制至少一个光源,以更改光源参数并由此以使得能够在与远场部分相关联的第二帧中检测到物体的方式来投射光。
与所公开的实施例一致,用在车辆中的激光雷达系统可以包括至少一个处理器,该处理器被配置为:以使得至少一个光源的光通量能够在对视场进行扫描时变化的方式,控制至少一个光源;控制至少一个光偏转器,以偏转来自至少一个光源的光,以便扫描视场;接收指示车辆的当前驾驶环境的输入;以及基于当前驾驶环境,协调至少一个光源的控制与至少一个光偏转器的控制,以通过改变跨视场的扫描的投射的光量和光的空间光分布,来动态地调节瞬时检测距离。
与所公开的实施例一致,用在车辆中的激光雷达系统可以包括至少一个处理器,该处理器被配置为:以使得来自至少一个光源的光的光通量能够在视场的扫描周期内变化的方式,控制至少一个光源;控制至少一个偏转器,以偏转来自至少一个光源的光,以便扫描视场;获得指示车辆的即将发生的跨车道转弯的输入;以及响应于指示即将发生的跨车道转弯的输入,协调至少一个光源的控制与至少一个光偏转器的控制,以相对于视场的其它部分,增加在车辆的与跨车道转弯的方向相反并涵盖车辆正在并入其中的远处交通车道的一侧上的光通量,并且使得与车辆的跨车道转弯的方向相反的检测范围暂时超过朝着跨车道转弯的方向的检测范围。
与所公开的实施例一致,用于在高速公路上行驶的道路车辆的激光雷达系统可以包括至少一个处理器,该处理器被配置为:以使得来自至少一个光源的光的光通量能够在视场的扫描周期内变化的方式,控制至少一个光源;控制至少一个偏转器,以偏转来自至少一个光源的光,以便扫描视场,其中视场可划分为总体与车辆正在其上行驶的高速公路对应的中心区域、总体与高速公路右侧的区域对应的右周边区域、以及总体与高速公路左侧的区域对应的左周边区域;获得车辆处于与高速公路行驶对应的模式的输入;以及响应于车辆处于与高速公路行驶对应的模式的输入,协调至少一个光源的控制与至少一个光偏转器的控制,使得在对涵盖中心区域、右周边区域和左周边区域的视场进行扫描期间,与右周边区域和左周边区域相比,更多的光被引导到中心区域。
与所公开的实施例一致,激光雷达系统可以包括至少一个处理器,该处理器被配置为:以使得来自至少一个光源的光的光通量能够在对视场进行扫描时变化的方式,控制至少一个光源;控制至少一个偏转器,以偏转来自至少一个光源的光,以便扫描视场;从至少一个传感器接收指示视场中的环境光的信息;在接收到的信息中识别视场的第一部分比视场的第二部分中具有更多环境光的指示;以及更改光源参数,使得当扫描视场时,朝着视场的第一部分投射的光的光通量大于朝着视场的第二部分投射的光的光通量。
与所公开的实施例一致,用在车辆中的激光雷达系统可以包括至少一个光源,该至少一个光源被配置为朝着视场投射光,用以照亮车辆的环境中的多个物体;至少一个处理器,被配置为:以使得来自至少一个光源的光的光通量能够在对视场的多个部分进行扫描时变化的方式,控制至少一个光源,其中在视场的扫描期间,热量从至少一个系统部件辐射;接收指示与至少一个系统部件相关联的温度超过阈值的信息;以及响应于接收到的指示温度超过阈值的信息,修改视场的两个部分之间的照明比,使得在至少一个后续扫描周期期间,比前一扫描周期中更少的光被递送到视场。
与所公开的实施例一致,激光雷达系统可以包括:用于接收光的窗口;微机电(MEMS)反射镜,用于使光偏转以提供偏转光;框架;致动器;以及在致动器和MEMS反射镜之间机械连接的互连元件;其中每个致动器包括主体和压电元件;并且其中压电元件被配置为在经受电场时使主体弯曲并使MEMS反射镜移动;并且其中当MEMS反射镜位于空闲位置时,MEMS反射镜相对于窗口定向。
与其它公开的实施例一致,方法可以包括上述任何处理器执行的步骤的一个或多个步骤和/或包括本文描述的任何步骤。
与其它公开的实施例一致,非暂时性计算机可读存储介质可以存储程序指令,该程序指令由至少一个处理设备执行并执行本文描述的任何方法。
前面的一般性描述和以下的详细描述仅仅是示例性和解释性的,并不是对权利要求的限制。
附图说明
合并到本公开中并构成本公开的一部分的附图图示了各种公开的实施例。附图中:
图1A是图示与所公开的实施例一致的示例性激光雷达系统的图。
图1B是示出与所公开的实施例一致的、安装在车辆上的激光雷达系统的单个扫描周期的示例性输出的图像。
图1C是示出从与所公开的实施例一致的激光雷达系统的输出而确定的点云模型的表示的另一个图像。
图2A-2D是图示根据本公开的一些实施例的投射单元的不同配置的图。
图3A-3D是图示根据本公开的一些实施例的扫描单元的不同配置的图。
图4A-4E是图示根据本公开的一些实施例的感测单元的不同配置的图。
图5A包括图示对于视场的单个部分的单个帧时间中的发射模式的四个示例图。
图5B包括图示对于整个视场的单个帧时间中的发射模式的三个示例图。
图5C是图示对于整个视场的单个帧时间期间朝着投射的实际光发射和接收的反射的图。
图6A-6C是图示与本公开的一些实施例一致的第一示例实现的图。
图6D是图示与本发明的一些实施例一致的第二实例实现的图。
图7是图示使用与本公开的一些实施例一致的激光雷达系统来检测物体的示例方法的流程图。
图8A是图示与本公开的一些实施例一致的二维传感器的示例的图。
图8B是图示与本公开的一些实施例一致的一维传感器的示例的图。
图9A是图示与本公开的一些实施例一致的、使发送和反射对准的示例激光雷达设备的框图。
图9B是图示与本公开的一些实施例一致的、使发送和反射对准的另一个示例激光雷达设备的另一个框图。
图10A是图示与本发明的一些实施例一致的示例第一视场(FOV)以及第二FOV的若干示例的图。
图10B是图示与本发明的一些实施例一致的第二FOV跨第一FOV的示例扫描模式的图。
图10C是图示与本发明的一些实施例一致的第二FOV跨第一FOV的另一个示例扫描模式的图。
图11提供了根据当前公开的实施例的、与激光雷达系统相关联的视场和相关联深度图场景表示的图解表示。
图12提供了根据当前公开的实施例的、使用具有动态可变光通量能力的激光雷达系统生成的视场和相关联的深度图场景表示的图解表示。
图13提供了根据当前公开的实施例的、用于在激光雷达系统的被扫描视场上动态改变光通量的方法的流程图表示。
图14提供了根据当前公开的实施例的、与激光雷达系统相关联的视场和相关联的深度图场景表示的图解表示。
图15提供了根据当前公开的实施例的、使用具有动态可变光通量能力的激光雷达系统生成的视场和相关联的深度图场景表示的图解表示。
图16提供了根据当前公开的实施例的、用于在激光雷达系统的被扫描视场上动态改变光通量的方法的流程图表示。
图17是图示用于更改与本公开的一些实施例一致的激光雷达系统中的传感器灵敏度的示例方法的流程图。
图18是图示与本公开的一些实施例一致的、接收信号与用于估计预期信号的函数的示例的图。
图19是图示与本公开的一些实施例一致的、接收信号与用于估计噪声的函数的示例的图。
图20是图示用于使用激光雷达系统来检测感兴趣区域中的物体的方法的第一示例的流程图。
图21是图示用于使用激光雷达系统来检测感兴趣区域中的物体的方法的第二示例的流程图。
图22是图示与所公开的实施例一致的示例性激光雷达系统的另一个图。
图23是与本公开的实施例一致的激光雷达系统的图解表示。
图24是与本公开的实施例一致的、用于控制光发射的示例性处理的流程图。
图25A是与本公开的实施例一致的、由图24所示的处理的示例性实现的流程图。
图25B是图示与本公开的一些实施例一致的、用于检测物体的示例方法的流程图。
图26A是图示用于使用与本公开的一些实施例一致的激光雷达来检测物体的示例方法的流程图。
图26B是图示用于使用与本公开的一些实施例一致的激光雷达来检测物体的另一个示例方法的流程图。
图26C是图示用于使用与本公开的一些实施例一致的激光雷达来检测物体的又一个示例方法的流程图。
图27是与本公开的一些实施例一致的、具有多个光源和公共偏转器的激光雷达系统的图。
图28是与本公开的一些实施例一致的、具有多个光源和公共偏转器的另一个激光雷达系统的图。
图29提供了激光雷达系统100以及激光雷达系统100在分摊可用光学预算和/或计算预算时可依赖的各种信息源的框图表示。
图30A提供了提供与所公开的实施例一致的方法3000的示例的流程图,方法3000用于基于分摊的预算来控制激光雷达系统。
图30B提供了用于控制根据当前公开的实施例的激光雷达系统的示例性方法的流程图表示。
图31提供了与当前公开的实施例一致的可以证明以非均匀方式来分摊光学预算是合理的情形的示意性示例。
图32A-32G是图示根据示例性公开的实施例的车辆、根据一些实施例的振动补偿系统、转向设备、中央处理单元(CPU)、致动器-反射镜、双轴MEMS反射镜、单轴MEMS反射镜、和圆形MEMS反射镜的图。
图33是与示例性公开的实施例一致的、能够补偿感测到的沿着道路的运动的激光雷达系统安装的图解表示。
图34是图示利用车辆振动补偿系统的方法的流程图。
图35A-35D是与当前公开的实施例一致的、不同扇区中的不同检测范围的图解表示。
图36是图示与当前公开的实施例一致的视场中的不同扇区的图。
图37是图示与当前公开的实施例一致的、用于使用激光雷达系统来检测感兴趣区域中的物体的方法的示例的流程图。
图38是与本公开的实施例一致的激光雷达系统的视场的图解表示。
图39是与本公开的实施例一致的激光雷达系统的示例性视场的图解表示。
图40A和40B是与本公开的实施例一致的扫描处理的示例性实现的流程图。
图41A是图示用于使用与本公开的一些实施例一致的激光雷达来检测车辆的路径中的物体的示例方法的流程图。
图41B是图示用于使用与本公开的一些实施例一致的激光雷达来检测车辆的路径中的物体的另一个示例方法的流程图。
图42A是图示与本公开的一些实施例一致的城市环境中的车辆的示例的图。
图42B是图示与本公开的一些实施例一致的农村环境中的车辆的示例的图。
图42C是图示与本公开的一些实施例一致的交通拥堵中的车辆的示例的图。
图42D是图示与本公开的一些实施例一致的隧道中的车辆的示例的图。
图42E是图示与本公开的一些实施例一致的离开隧道的车辆的示例的图。
图42F是与本公开的一些实施例一致的、从不同角度图示图42A、42B和42C的示例车辆的图。
图43是图示具有瞄准至少一个光偏转器的公共区域的多个光源的示例激光雷达系统的图。
图44是图示与本公开的一些实施例一致的、用于跨交通转弯的激光雷达检测方案的示例方法的流程图。
图45是图示与本公开的一些实施例一致的激光雷达检测扫描方案的示例的图。
图46A和46B是图示与本公开的一些实施例一致的、用于跨交通转弯和其它情形的激光雷达检测方案的示例的图。
图47提供了在与示例性公开的实施例一致的激光雷达系统的帮助下在高速公路环境中行驶的车辆的图解表示。
图48A-48D提供了根据示例性公开的实施例的、由激光雷达系统在高速公路环境中进行动态光分配的图解表示。
图49图示了使用与示例性公开的实施例一致的激光雷达来检测车辆的路径中的物体的方法。
图50是图示用于根据示例性公开的实施例的激光雷达系统的感测布置的示例的图。
图51是表示激光雷达视场的不同部分的图解表示。
图52是图示用于使用激光雷达系统来检测感兴趣区域中的物体的方法的示例的流程图。
图53是与本公开的实施例一致的激光雷达系统的图解表示。
图54是与本公开的实施例一致的温度降低处理的示例性实现的流程图。
图55是与本公开的实施例一致的温度降低处理的示例性实现的流程图。
图56-84是图示并入到根据本公开的一些实施例的激光雷达系统的扫描单元中的MEMS反射镜和相关联部件的各种示例的图。
具体实施方式
以下详细描述参考附图。只要有可能,在附图和以下描述中使用相同的标号表示相同或相似的部分。虽然本文描述了若干说明性实施例,但是,修改、改编和其它实现是可能的。例如,可以对附图中示出的部件进行替换、添加或修改,并且可以通过对所公开的方法的步骤进行替换、重新排序、移除或添加来修改本文描述的说明性方法。因而,以下详细描述不限于所公开的实施例和示例。相反,适当的范围由所附权利要求限定。
术语定义
所公开的实施例可以涉及光学系统。如本文所使用的,术语“光学系统”广泛地包括用于生成、检测和/或操纵光的任何系统。仅作为示例,光学系统可以包括一个或多个用于生成、检测和/或操纵光的光学部件。例如,光源、透镜、反射镜、棱镜、分束器、准直器、偏振光学器件、光学调制器、光学开关、光学放大器、光学检测器、光学传感器、光纤部件、半导体光学部件,尽管不是每个都是必需的,但每个都可以成为光学系统的一部分。除了一个或多个光学部件之外,光学系统还可以包括其它非光学部件,诸如电子部件、机械部件、化学反应部件和半导体部件。非光学部件可以与光学系统的光学部件合作。例如,光学系统可以包括至少一个用于分析检测到的光的处理器。
与本公开一致,光学系统可以是激光雷达系统。如本文所使用的,术语“激光雷达系统”广泛地包括可以基于反射光来确定指示一对有形物体之间的距离的参数值的任何系统。在一个实施例中,激光雷达系统可以基于由激光雷达系统发射的光的反射,来确定一对有形物体之间的距离。如本文所使用的,术语“确定距离”广泛地包括生成指示有形物体对之间的距离的输出。所确定的距离可以表示一对有形物体之间的物理维度。仅作为示例,所确定的距离可以包括激光雷达系统与激光雷达系统的视场中的另一个有形物体之间的飞行距离线。在另一个实施例中,激光雷达系统可以基于由激光雷达系统发射的光的反射,来确定一对有形物体之间的相对速度。指示一对有形物体之间的距离的输出的示例包括:有形物体之间的标准长度单位的数量(例如,米数、英寸数、公里数、毫米数)、任意长度单位的数量(例如,激光雷达系统长度的数量)、距离与另一个长度之比(例如,与在激光雷达系统的视场中检测到的物体的长度之比)、时间量(例如,以标准单位、任意单位或比率给出的,例如,光在有形物体之间行进所花费的时间)、一个或多个位置(例如,使用协定的坐标系指定的、相对于已知位置指定的),等等。
激光雷达系统可以基于反射光,确定一对有形物体之间的距离。在一个实施例中,激光雷达系统可以处理传感器的检测结果,该结果产生指示光信号的发射与由传感器检测到该光信号的时间之间的时间段的时间信息。该时间段有时被称为光信号的“飞行时间”。在一个示例中,光信号可以是短脉冲,其上升和/或下降时间可以在接收时被检测到。使用关于相关介质(通常是空气)中光速的已知信息,可以处理关于光信号的飞行时间的信息,以提供光信号在发射和检测之间行进的距离。在另一个实施例中,激光雷达系统可以基于频率相移(或多频率相移)来确定距离。具体而言,激光雷达系统可以处理指示光信号的一个或多个调制相移的信息(例如,通过求解一些联立方程以给出最终测量)。例如,所发射的光学信号可以用一个或多个恒定频率进行调制。所发射的信号和检测到的反射之间的调制的至少一个相移可以指示光在发射和检测之间行进的距离。调制可以应用于连续波光信号、准连续波光信号或其它类型的发射的光信号。要注意的是,激光雷达系统可以使用附加信息以用于确定距离,例如,投射位置、信号的检测位置(尤其是如果彼此远离的话)之间的位置信息(例如,相对位置),等等。
在一些实施例中,激光雷达系统可以被用于检测激光雷达系统的环境中的多个物体。术语“检测激光雷达系统的环境中的物体”广泛地包括生成指示朝着与激光雷达系统相关联的检测器反射光的物体的信息。如果激光雷达系统检测到多于一个物体,那么生成的与不同物体有关的信息可以互连,例如汽车在道路上行驶、鸟儿坐在树上、男人接触自行车、货车朝着建筑物移动。激光雷达系统在其中检测物体的环境的维度可以因实现而异。例如,激光雷达系统可以被用于检测其上安装有激光雷达系统的车辆的环境中的多个物体,直至100m(或200m、300m等等)的水平距离,并且直至10米(或25米、50米等等)的垂直距离。在另一个示例中,激光雷达系统可以被用于检测车辆的环境中或预定义水平范围(例如,25°、50°、100°、180°等等)内的多个物体,并且直至预定义的垂直高程(例如,±10°、±20°、+40°-20°、±90°或0°-90°)。
如本文所使用的,术语“检测物体”可以广泛地指确定物体的存在(例如,物体可以相对于激光雷达系统和/或另一个参考位置存在于某个方向上,或者物体可以存在于某个空间体积中)。附加地或可替代地,术语“检测物体”可以指确定物体与另一个位置(例如,激光雷达系统的位置、地表上的位置或另一个物体的位置)之间的距离。附加地或可替代地,术语“检测物体”可以指识别物体(例如,对物体的类型进行分类,诸如小汽车、植物、树、道路;分辨具体的物体(例如,华盛顿纪念碑);确定车牌号;确定物体的成分(例如,固体、液体、透明、半透明);确定物体的运动学参数(例如,它是否在移动、它的速度、它的移动方向、物体的膨胀)。附加地或可替代地,术语“检测物体”可以指生成点云图,其中点云图的一个或多个点中的每个点与物体中的位置或其面上的位置对应。在一个实施例中,与视场的点云图表示相关联的数据分辨率可以与视场的0.1°x0.1°或0.3°x0.3°相关联。
与本公开一致,术语“物体”广泛地包括可以从其至少一部分反射光的物质的有限组成。例如,物体可以至少部分是固体的(例如,小汽车、树);至少部分是液体的(例如,道路上的水坑、雨水);至少部分是气态的(例如,烟雾、云);由多种独特颗粒组成(例如,沙尘暴、雾、喷雾);并且可以是一个或多个量值规模,诸如约1毫米(mm)、约5mm、约10mm、约50mm、约100mm、约500mm、约1米(m)、约5m、约10m、约50m、约100m,等等。还可以检测更小或更大的物体,以及那些示例之间的任何尺寸。要注意的是,出于各种原因,激光雷达系统可以仅检测物体的一部分。例如,在一些情况下,光可以仅从物体的一些侧面反射(例如,将仅检测与激光雷达系统相对的一侧);在其它情况下,光可以仅投射在物体的一部分上(例如,投射到道路或建筑物上的激光束);在其它情况下,物体可以被激光雷达系统和被检测物体之间的另一个物体部分地阻挡;在其它情况下,LIDAR的传感器可以仅检测从物体的一部分反射的光,例如,因为环境光或其它干扰与物体的一些部分的检测发生干扰。
与本公开一致,激光雷达系统可以被配置为通过扫描激光雷达系统的环境来检测物体。术语“扫描激光雷达系统的环境”广泛地包括照亮激光雷达系统的视场或视场的一部分。在一个示例中,扫描激光雷达系统的环境可以通过移动或枢转光偏转器以使光在不同方向上朝着视场的不同部分偏转来实现。在另一个示例中,扫描激光雷达系统的环境可以通过改变传感器相对于视场的定位(即,位置和/或朝向)来实现。在另一个示例中,扫描激光雷达系统的环境可以通过改变光源相对于视场的定位(即,位置和/或朝向)来实现。在又一个示例中,扫描激光雷达系统的环境可以通过改变至少一个光源和至少一个传感器的位置以相对于视场刚性地移动(即,至少一个传感器与至少一个光源的相对距离和朝向保持)来实现。
如本文所使用的,术语“激光雷达系统的视场”可以广泛地包括激光雷达系统的可以在其中检测物体的可观察环境的范围。要注意的是,激光雷达系统的视场(FOV)可以受到各种条件的影响,诸如但不限于:激光雷达系统的朝向(例如,是激光雷达系统的光轴的方向);激光雷达系统相对于环境的位置(例如,地面之上的距离以及相邻的地形和障碍物);激光雷达系统的操作参数(例如,发射功率、计算设置、定义的操作角度)等等。激光雷达系统的视场可以例如通过立体角来定义(例如,使用
Figure BDA0002109505060000151
、θ角定义,其中
Figure BDA0002109505060000152
和θ是例如相对于激光雷达系统和/或其FOV的对称轴而在垂直平面中定义的角度)。在一个示例中,视场也可以被定义在某个范围内(例如,直至200m)。
类似地,术语“瞬时视场”可以广泛地包括激光雷达系统可以在任何给定时刻在其中检测物体的可观察环境的范围。例如,对于扫描激光雷达系统,瞬时视场比激光雷达系统的整个FOV窄,并且它可以在激光雷达系统的FOV内被移动,以便使得能够在激光雷达系统的FOV的其它部分中进行检测。瞬时视场在激光雷达系统的FOV内的移动可以通过移动激光雷达系统的(或在激光雷达系统的外部的)光偏转器来实现,以便在不同方向将光束偏转到激光雷达系统和/或从激光雷达系统偏转光束。在一个实施例中,激光雷达系统可以被配置为扫描激光雷达系统正在其中操作的环境中的场景。如本文所使用的,术语“场景”可以广泛地包括在激光雷达系统的视场内的、在其相对位置中且在其当前状态下、在激光雷达系统的操作持续时间内的一些或所有物体。例如,场景可以包括地面元素(例如,地表、道路、草地、人行道、路面标记)、天空、人造物体(例如,车辆、建筑物、标志)、植被、人、动物、光投射元素(例如,手电筒、太阳、其它激光雷达系统),等等。
所公开的实施例可以涉及获得在生成重构三维模型时使用的信息。可以使用的重构三维模型的类型的示例包括点云模型和多边形网格(例如,三角形网格)。术语“点云”和“点云模型”在本领域中是众所周知的,并且应当被解释为包括在某种坐标系中空间定位的数据点(即,在由相应坐标系描述的空间中具有可识别的位置)的集合。术语“点云点”是指空间中的点(可以是无量纲的,或微小的细胞空间,例如1cm3),并且其位置可以通过点云模型使用一组坐标(例如,(X,Y,Z)、(r,φ,θ))来描述。仅作为示例,点云模型可以存储用于其一些或所有点的附加信息(例如,对于从相机图像生成的点的颜色信息)。同样,任何其它类型的重构三维模型可以存储用于其一些或所有物体的附加信息。类似地,术语“多边形网格”和“三角形网格”在本领域中是众所周知的,并且应当被解释为包括限定一个或多个3D物体(例如,多面体物体)的形状的顶点、边和面的集合。这些面可以包括以下当中的一个或多个:三角形(三角形网格)、四边形或其它简单的凸多边形,因为这可以简化渲染。这些面还可以包括更一般的凹多边形或具有孔的多边形。多边形网格可以使用不同的技术来表示,诸如:顶点-顶点网格、面-顶点网格、翼形边网格和渲染动态网格。多边形网格的不同部分(例如,顶点、面、边)或者直接地和/或相对于彼此地,空间地位于某个坐标系中(即,在由相应坐标系描述的空间中具有可识别的位置)。重构三维模型的生成可以使用任何标准的、专用的和/或新颖的摄影测量技术来实现,其中许多技术在本领域中已知的。要注意的是,激光雷达系统可以生成其它类型的环境模型。
与所公开的实施例一致,激光雷达系统可以包括至少一个投射单元,其具有被配置为投射光的光源。如本文所使用的,术语“光源”广泛地指被配置为发射光的任何设备。在一个实施例中,光源可以是激光器,诸如固态激光器、激光二极管、高功率激光器,或替代光源(诸如基于发光二极管(LED)的光源)。此外,如贯穿附图所示,光源112可以以不同格式发射光,诸如光脉冲、连续波(CW)、准CW等等。例如,可以使用的一种类型的光源是垂直腔面发射激光器(VCSEL)。可以使用的另一种类型的光源是外腔二极管激光器(ECDL)。在一些示例中,光源可以包括被配置为发射波长在大约650nm至1150nm之间的光的激光二极管。可替代地,光源可以包括被配置为发射波长在大约800nm至大约1000nm之间、大约850nm至大约950nm之间或者大约1300nm至大约1600nm之间的光的激光二极管。除非另有说明,否则关于数值的术语“大约”被定义为相对于所称值有直至5%的变化。关于投射单元和至少一个光源的附加细节在下面参考图2A-2C描述。
与所公开的实施例一致,激光雷达系统可以包括至少一个扫描单元,该扫描单元具有至少一个光偏转器,光偏转器被配置为偏转来自光源的光,以便扫描视场。术语“光偏转器”广泛地包括被配置为使光偏离其原始路径的任何机制或模块;例如,反射镜、棱镜、可控透镜、机械镜、机械扫描多边形、主动衍射(例如,可控LCD)、Risley棱镜、非机械电光束转向(诸如由Vscent制造)、偏振光栅(诸如由Boulder Non-Linear Systems提供)、光学相控阵(OPA),等等。在一个实施例中,光偏转器可以包括多个光学部件,诸如至少一个反射元件(例如,反射镜)、至少一个折射元件(例如,棱镜、透镜)等等。在一个示例中,光偏转器可以是可移动的,以使光偏离到不同的角度(例如,离散的角度,或者在连续的度数跨度内)。光偏转器可以可选地以不同方式可控(例如,偏转到角度α、将偏转角改变Δα、将光偏转器的部件移动M毫米、改变偏转角改变的速度)。此外,光偏转器可以可选地可操作为在单个平面(例如,θ坐标)内改变偏转的角度。光偏转器可以可选地可操作为在两个非平行平面(例如,θ和
Figure BDA0002109505060000171
坐标)内改变偏转的角度。可替代地或附加地,光偏转器可以可选地可操作为在预定设置之间(例如,沿着预定义的扫描路线)或以其它方式改变偏转的角度。关于光偏转器在激光雷达系统中的使用,要注意的是,光偏转器可以在外传(outbound)方向(也称为发送方向或TX)中使用,以将来自光源的光偏转到视场的至少一部分。然而,光偏转器也可以在传入(inbound)方向(也称为接收方向或RX)中使用,以将来自视场的至少一部分的光偏转到一个或多个光传感器。下面参考图3A-3C描述关于扫描单元和至少一个光偏转器的附加细节。
所公开的实施例可以涉及使光偏转器枢转,以便扫描视场。如本文所使用的,术语“枢转”广泛地包括物体(尤其是固体物体)围绕一个或多个旋转轴的旋转,同时基本上保持旋转中心固定。在一个实施例中,光偏转器的枢转可以包括光偏转器围绕固定轴(例如,心轴(shaft))的旋转,但这不是必需的。例如,在一些MEMS反射镜实现中,MEMS反射镜可以通过致动连接到反射镜的多个弯曲器(bender)而移动,该反射镜除了旋转之外还可以经历一些空间平移。不过,这种反射镜可以被设计成围绕基本上固定的轴旋转,因此与本公开内容一致,它被认为是枢转的。在其它实施例中,一些类型的光偏转器(例如,非机械电光束转向,OPA)不要求任何移动部件或内部运动以便改变偏转光的偏转角。要注意的是,关于移动或枢转光偏转器的任何讨论在经过必要的改动后也适用于控制光偏转器,使得其改变光偏转器的偏转行为。例如,控制光偏转器可以造成从至少一个方向到达的光束的偏转角的改变。
所公开的实施例可以涉及接收与视场的与光偏转器的单个瞬时位置对应的一部分相关联的反射。如本文所使用的,术语“光偏转器的瞬时位置”(也称为“光偏转器的状态”)广泛地指光偏转器的至少一个受控部件在瞬时时间点或在短的时间跨度内所位于的空间中的地点或位置。在一个实施例中,光偏转器的瞬时位置可以相对于参照系进行测量。参照系可以与激光雷达系统中的至少一个固定点有关。或者,例如,参照系可以与场景中的至少一个固定点有关。在一些实施例中,光偏转器的瞬时位置可以包括光偏转器的一个或多个部件(例如,反射镜、棱镜)的一些移动,通常是移动到相对于视场的扫描期间的最大变化程度的有限角度。例如,激光雷达系统的整个视场的扫描可以包括在30°的跨度上改变光的偏转,并且至少一个光偏转器的瞬时位置可以包括光偏转器在0.05°以内的角移位。在其它实施例中,术语“光偏转器的瞬时位置”可以指光的获取期间光偏转器的位置,所述光被处理以提供用于由激光雷达系统生成的点云(或另一种类型的3D模型)的单个点的数据。在一些实施例中,光偏转器的瞬时位置可以与固定位置或朝向对应,偏转器在激光雷达视场的特定子区域的照明期间以该固定位置或朝向暂停一小段时间。在其它情况下,光偏转器的瞬时位置可以与沿着光偏转器的被扫描的位置/朝向范围的某个位置/朝向对应,光偏转器通过该位置/朝向以作为激光雷达视场的连续或半连续扫描的一部分。在一些实施例中,光偏转器可以被移动,使得在激光雷达FOV的扫描周期期间,光偏转器位于多个不同的瞬时位置。换句话说,在扫描周期发生的时间段期间,偏转器可以被移动通过一系列不同的瞬时位置/朝向,并且偏转器可以在扫描周期期间的不同时间到达每个不同的瞬时位置/朝向。
与所公开的实施例一致,激光雷达系统可以包括至少一个具有至少一个传感器的感测单元,其中传感器被配置为检测来自视场中的物体的反射。术语“传感器”广泛地包括能够测量电磁波的特性(例如,功率、频率、相位、脉冲定时、脉冲持续时间)并生成与测得的特性相关的输出的任何设备、元件或系统。在一些实施例中,至少一个传感器可以包括由多个检测元件构成的多个检测器。至少一个传感器可以包括一种或多种类型的光传感器。要注意的是,至少一个传感器可以包括多个相同类型的传感器,这些传感器可以在其它特点(例如,灵敏度、尺寸)方面有所不同。也可以使用其它类型的传感器。可以出于不同的原因使用几种类型的传感器的组合,诸如改进范围跨度上(尤其是近的范围内)的检测;改进传感器的动态范围;改进传感器的时间响应;以及改进在变化的环境条件(例如,大气温度、雨水等等)下的检测。
在一个实施例中,至少一个传感器包括SiPM(硅光电倍增器),它是由雪崩光电二极管(APD)、单光子雪崩二极管(SPAD)的阵列构建的固态单光子敏感器件,用作公共硅基板上的检测元件。在一个示例中,SPAD之间的典型距离可以在大约10μm至大约50μm之间,其中每个SPAD可以具有在大约20ns至大约100ns之间的恢复时间。也可以使用来自其它非硅材料的类似光电倍增管。虽然SiPM器件以数字/开关模式工作,但SiPM是模拟器件,因为所有的微单元(microcell)可以被并行读取,从而使得其有可能生成由不同SPAD检测的、从单个光子到成千上万个光子的动态范围内的信号。要注意的是,来自不同类型的传感器(例如,SPAD、APD、SiPM、PIN二极管、光电检测器)的输出可以组合在一起,成为可以由激光雷达系统的处理器处理的单个输出。下面参考图4A-4C描述关于感测单元和至少一个传感器的附加细节。
与所公开的实施例一致,激光雷达系统可以包括被配置为执行不同功能的至少一个处理器或与之通信。至少一个处理器可以构成具有对一个或多个输入执行逻辑运算的电路的任何物理设备。例如,至少一个处理器可以包括一个或多个集成电路(IC),包括专用集成电路(ASIC)、微芯片、微控制器、微处理器、中央处理单元(CPU)的全部或部分、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或者适于执行指令或执行逻辑运算的其它电路。由至少一个处理器执行的指令可以例如被预加载到与控制器集成的或嵌入在控制器中的存储器中,或者可以存储在分离的存储器中。存储器可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光盘、磁介质、闪存,其它永久、固定或易失性存储器,或者能够存储指令的任何其它机制。在一些实施例中,存储器被配置为存储代表关于激光雷达系统的环境中的物体的数据的信息。在一些实施例中,至少一个处理器可以包括多于一个处理器。每个处理器可以具有相似的结构,或者处理器可以具有彼此电连接或断开的不同构造。例如,处理器可以是分离的电路或集成在单个电路中。当使用多于一个处理器时,处理器可以被配置为独立地或协作地操作。处理器可以以电、磁、光学、声学、机械或通过允许它们交互的其它手段来耦合。下面参考图5A-5C描述处理单元和至少一个处理器的附加细节。
系统概述
图1A图示了激光雷达系统100,其包括投射单元102、扫描单元104、感测单元106和处理单元108。激光雷达系统100可以是可安装在车辆110上的。与本公开的实施例一致,投射单元102可以包括至少一个光源112,扫描单元104可以包括至少一个光偏转器114,感测单元106可以包括至少一个传感器116,并且处理单元108可以包括至少一个处理器118。在一个实施例中,至少一个处理器118可以被配置为协调至少一个光源112的操作与至少一个光偏转器114的移动,以便扫描视场120。在扫描周期期间,至少一个光偏转器114的每个瞬时位置可以与视场120的特定部分122相关联。此外,激光雷达系统100可以包括至少一个可选的光学窗口124,用于引导朝着视场120投射的光和/或接收从视场120中的物体反射的光。可选的光学窗口124可以用于不同的目的,诸如投射光的准直和反射光的聚焦。在一个实施例中,可选的光学窗口124可以是开口、平面窗口、透镜或任何其它类型的光学窗口。
与本公开一致,激光雷达系统100可以用在自主或半自主道路车辆(例如,小汽车、公共汽车、货车、卡车和任何其它陆地车辆)中。具有激光雷达系统100的自主道路车辆可以扫描他们的环境并且在没有人类输入的情况下驾驶到目的地。类似地,激光雷达系统100也可以用在自主/半自主飞行器(例如,UAV、无人驾驶飞机、四轴飞行器和任何其它空中飞行器或设备)中;或自主或半自主水上船舶(例如,船、轮船、潜水艇或任何其它船只)中。具有激光雷达系统100的自主飞行器和水运船只可以扫描他们的环境并且自主地或使用远程操作员导航到目的地。根据一个实施例,车辆110(道路车辆、飞行器或水运船只)可以使用激光雷达系统100来帮助检测和扫描车辆110正在其中操作的环境。
在一些实施例中,激光雷达系统100可以包括一个或多个扫描单元104,以扫描车辆110周围的环境。激光雷达系统100可以附连或安装到车辆110的任何部分。感测单元106可以接收来自车辆110的周围环境的反射,并将指示从视场120中的物体反射的光的反射信号传送到处理单元108。与本公开一致,扫描单元104可以安装到或并入到保险杠、挡泥板、侧板、扰流板、车顶、前灯组件、尾灯组件、后视镜组件、引擎罩、行李箱或车辆110的能够容纳激光雷达系统的至少一部分的任何其它合适的部分中。在一些情况下,激光雷达系统100可以捕获车辆110的环境的完整环绕视图。因此,激光雷达系统100可以具有360度水平视场。在一个示例中,如图1A中所示,激光雷达系统100可以包括安装在车辆110的车顶上的单个扫描单元104。可替代地,激光雷达系统100可以包括多个扫描单元(例如,两个、三个、四个或更多个扫描单元104),每个扫描单元都具有视场,使得总体上水平视场被围绕车辆110的360度扫描覆盖。本领域技术人员将认识到的是,激光雷达系统100可以包括以任何方式布置的任何数量的扫描单元104,每个扫描单元具有80°至120°或更小的视场,这取决于所采用的单元的数量。而且,还可以通过在车辆110上安装多个激光雷达系统100,来获得360度水平视场,每个激光雷达系统100具有单个扫描单元104。不过,要注意的是,一个或多个激光雷达系统100不必提供完整的360°视场,并且较窄的视场在一些情形下可以是有用的。例如,车辆110可以要求看向车辆前方的具有75°视场的第一激光雷达系统100,以及可能地要求向后看的具有相似FOV的第二激光雷达系统100(可选地具有较低的检测范围)。还要注意的是,也可以实现不同的垂直视场角。
图1B是示出与所公开的实施例一致的、来自安装在车辆110上的激光雷达系统100的单个扫描周期的示例性输出的图像。在这个示例中,扫描单元104并入到车辆110的右前灯组件中。图像中的每个灰点与从由感测单元106检测到的反射确定的车辆110周围的环境中的位置对应。除了位置之外,每个灰点可以也可以与不同类型的信息相关联,例如,强度(例如,从那个位置返回多少光)、反射率、与其它点的接近度等等。在一个实施例中,激光雷达系统100可以从视场的多个扫描周期的检测到的反射中生成多个点云数据条目,以例如使得能够确定车辆110周围的环境的点云模型。
图1C是示出根据激光雷达系统100的输出确定的点云模型的表示的图像。与所公开的实施例一致,通过处理所生成的车辆110周围的环境的点云数据条目,环绕视图图像可以从点云模型产生。在一个实施例中,可以将点云模型提供给特征提取模块,该特征提取模块处理点云信息,以识别多个特征。每个特征可以包括关于点云和/或车辆110周围的环境中的物体(例如,小汽车、树、人和道路)的不同方面的数据。特征可以具有与点云模型相同的分辨率(即,具有相同数量的数据点,可选地布置成类似尺寸的2D阵列),或者可以具有不同的分辨率。特征可以存储在任何种类的数据结构中(例如,光栅、向量、2D阵列、1D阵列)。此外,虚拟特征(诸如车辆110的表示、边界线、或分隔图像中的区域或物体的边界框(例如,如图1B中所描绘的),以及表示一个或多个识别出的物体的图标)可以覆盖在点云模型的表示上,以形成最终的环绕视图图像。例如,车辆110的符号可以覆盖在环绕视图图像的中心上。
投射单元
图2A-2D描绘了投射单元102的各种配置及其在激光雷达系统100中的作用。具体而言,图2A是图示具有单个光源的投射单元102的图,图2B是图示具有瞄准公共光偏转器114的多个光源的多个投射单元102的图,图2C是图示具有主光源112和辅助光源112的投射单元102的图,并且图2D是图示在投射单元102的一些配置中使用的不对称偏转器的图。本领域技术人员将认识到的是,所描绘的投射单元102的配置可以具有许多变化和修改。
图2A图示了激光雷达系统100的收发分置配置的示例,其中投射单元102包括单个光源112。术语“收发分置(bi-static)配置”广泛地指这样一种激光雷达系统配置,其中离开激光雷达系统的投射光和进入激光雷达系统的反射光穿过不同的光学通道。具体而言,外传光辐射可以穿过第一光学窗口(未示出),并且传入光辐射可以穿过另一个光学窗口(未示出)。在图2A所描绘的示例中,收发分置配置包括扫描单元104包括两个光偏转器(用于外传光的第一光偏转器114A和用于传入光的第二光偏转器114B)的配置(激光雷达系统中的传入光包括从场景中的物体反射的发射光,并且还可以包括从其它源到达的环境光)。在这种配置中,传入路径和外传路径不同。
在这个实施例中,激光雷达系统100的所有部件可以包含在单个壳体200内,或者可以在多个壳体之间划分。如图所示,投射单元102与包括被配置为发射光(投射光204)的激光二极管202A(或耦合在一起的一个或多个激光二极管)的单个光源112相关联。在一个非限制性示例中,由光源112投射的光可以为大约800nm和950nm之间的波长,具有在大约50mW至大约500mW之间的平均功率,具有在大约50W至大约200W之间的峰值功率,以及大约2ns至大约100ns之间的脉冲宽度。此外,光源112可以可选地与用于操纵由激光二极管202A发射的光的光学组件202B相关联(例如,以用于准直、聚焦等等)。要注意的是,可以使用其它类型的光源112,并且本公开不限于激光二极管。此外,光源112可以以不同的格式发射光,诸如光脉冲、频率调制、连续波(CW)、准CW或者与所采用的特定光源对应的任何其它形式。投射格式和其它参数可以基于诸如来自处理单元108的指令之类的不同的因素不时地通过光源改变。投射光朝着外传偏转器114A被投射,该外传偏转器114A用作用于在视场120中引导投射光的转向元件。在这个示例中,扫描单元104还包括可枢转的返回偏转器114B,返回偏转器114B将从视场120内的物体208反射回来的光子(反射光206)朝着传感器116引导。反射光被传感器116检测,并且关于物体的信息(例如,到物体208的距离)由处理单元108确定。
在这个图中,激光雷达系统100连接到主机210。与本公开一致,术语“主机”是指可以与激光雷达系统100接口的任何计算环境,它可以是车辆系统(例如,车辆110的部分)、测试系统、安全性系统、监控系统、交通控制系统、城市建模系统、或者监视其周围环境的任何系统。这样的计算环境可以包括至少一个处理器和/或可以经由云连接到激光雷达系统100。在一些实施例中,主机210还可以包括到外部设备的接口,外部设备诸如被配置为测量主机210的不同特点(例如,加速度、方向盘偏转、反向驾驶等等)的相机和传感器。与本公开一致,激光雷达系统100可以固定到与主机210相关联的静止物体(例如,建筑物、三脚架)或固定到与主机210相关联的便携式系统(例如,便携式计算机、电影摄像机)。与本公开一致,激光雷达系统100可以连接到主机210,以向主机210提供激光雷达系统100的输出(例如,3D模型、反射率图像)。具体而言,主机210可以使用激光雷达系统100来帮助检测和扫描主机210的环境或任何其它环境。此外,主机210可以将激光雷达系统100的输出与其它感测系统(例如,相机、麦克风、雷达系统)的输出集成、同步或以其它方式一起使用。在一个示例中,激光雷达系统100可以由安全性系统使用。这个实施例在下面参考图7更详细地描述。
激光雷达系统100还可以包括互连子系统和部件的总线212(或其它通信机制),用于在激光雷达系统100内传送信息。可选地,总线212(或另一种通信机制)可以被用于互连激光雷达系统100与主机210。在图2A的示例中,处理单元108包括两个处理器118,以至少部分地基于从激光雷达系统100的内部反馈接收的信息,以协调的方式调整投射单元102、扫描单元104和感测单元106的操作。换句话说,处理单元108可以被配置为在闭环中动态地操作激光雷达系统100。闭环系统的特征在于具有来自至少一个元件的反馈和基于接收到的反馈更新一个或多个参数。而且,闭环系统可以接收反馈,并至少部分地基于该反馈更新其自己的操作。动态系统或元件是可以在操作期间被更新的系统或元件。
根据一些实施例,扫描激光雷达系统100周围的环境可以包括用光脉冲照亮视场120。光脉冲可以具有如下参数:脉冲持续时间、脉冲角色散、波长、瞬时功率、距光源112不同距离处的光子密度、平均功率、脉冲功率强度、脉冲宽度、脉冲重复率、脉冲序列、脉冲占空比、波长、相位、偏振,等等。扫描激光雷达系统100周围的环境还可以包括检测和表征反射光的各个方面。反射光的特点可以包括例如:飞行时间(即,从发射直到检测的时间)、瞬时功率(例如,功率特征)、整个返回脉冲的平均功率、以及返回脉冲时段的光子分布/信号。通过比较光脉冲的特点与对应反射的特点,可以估计物体208的距离以及有可能的物理特点(诸如反射强度)。通过以预定义的模式(例如,光栅、Lissajous或其它模式)在多个相邻部分122上重复这个处理,可以实现视场120的整个扫描。如下面更详细地讨论的,在一些情形下,激光雷达系统100可以在每个扫描周期将光引导到视场120中的仅一些部分122。这些部分可以彼此相邻,但不必如此。
在另一个实施例中,激光雷达系统100可以包括用于与主机210(例如,车辆控制器)通信的网络接口214。激光雷达系统100和主机210之间的通信由虚线箭头表示。在一个实施例中,网络接口214可以包括集成服务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器、或提供与对应类型的电话线的数据通信连接的调制解调器。作为另一个示例,网络接口214可以包括局域网(LAN)卡,以提供与兼容LAN的数据通信连接。在另一个实施例中,网络接口214可以包括连接到射频接收器和发送器和/或光学(例如,红外)接收器和发送器的以太网端口。网络接口214的具体设计和实现取决于激光雷达系统100和主机210要在其上操作的(一个或多个)通信网络。例如,网络接口214可以被用于例如将激光雷达系统100的输出提供给外部系统,该输出诸如3D模型、激光雷达系统100的操作参数等等。在其它实施例中,通信单元可以被用于例如从外部系统接收指令、接收关于被检查的环境的信息、从另一个传感器接收信息,等等。
图2B图示了包括多个投射单元102的激光雷达系统100的收发合置配置的示例。术语“收发合置(monostatic)配置”广泛地指这样一种激光雷达系统配置,其中离开激光雷达系统的投射光和进入激光雷达系统的反射光穿过至少部分共享的光学路径。在一个示例中,外传光束和传入光束可以共享至少一个光学组件,两个光束都通过该光学组件。在另一个示例中,外传光辐射可以穿过光学窗口(未示出),并且传入光辐射可以穿过相同的光学窗口。收发合置配置可以包括这样一种配置,其中扫描单元104包括单个光偏转器114,光偏转器114将投射光朝着视场120引导并将反射光朝着传感器116引导。如图所示,投射光204和反射光206都击中不对称偏转器216。术语“不对称偏转器”是指具有两个侧面的、能够以与偏转从一侧击中它的光束的方向不同的方向来偏转从第二侧击中它的光束的任何光学设备。在一个示例中,不对称偏转器不偏转投射光204,并朝着传感器116偏转反射光206。不对称偏转器的一个示例可以包括偏振分束器。在另一个示例中,不对称偏转器216可以包括允许光只在一个方向通过的光隔离器。与本公开一致,激光雷达系统100的收发合置配置可以包括不对称偏转器,以防止反射光击中光源112,并将所有反射光朝着传感器116引导,由此增加检测灵敏度。
在图2B的实施例中,激光雷达系统100包括三个投射单元102,每个投射单元102具有瞄准公共光偏转器114的单个光源112。在一个实施例中,多个光源112(包括两个或更多个光源)可以投射具有基本相同波长的光,并且每个光源112一般与视场的不同区域(在图中表示为120A、120B和120C)相关联。这使得能够扫描比利用光源112可以实现的更宽的视场。在另一个实施例中,多个光源102可以投射具有不同波长的光,并且所有光源112可以被引导到视场120的相同部分(或重叠部分)。
图2C图示了激光雷达系统100的示例,其中投射单元102包括主光源112A和辅助光源112B。主光源112A可以投射具有比对人眼敏感的更长波长的光,以便优化SNR和检测范围。例如,主光源112A可以投射波长在大约750nm和1100nm之间的光。相反,辅助光源112B可以投射具有人眼可见波长的光。例如,辅助光源112B可以投射波长在大约400nm和700nm之间的光。在一个实施例中,辅助光源112B可以沿着与由主光源112A投射的光基本相同的光学路径投射光。两个光源可以是时间同步的并且可以一起或以交织模式投射光发射。交织模式意味着光源不同时处于活动状态,这可以减轻相互干扰。本领域技术人员将容易地看到波长范围和激活时间表(schedule)的其它组合也可以实现。
与一些实施例一致,辅助光源112B可以在它太靠近激光雷达光学输出端口时造成人眼眨眼。这可以确保眼睛安全机制,而该机制是用利用近红外光谱的典型激光源不可行的。在另一个实施例中,辅助光源112B可以被用于在服务点的校准和可靠性,其方式与相对于车辆110在离地面一定高度处用特殊的反射器/模式进行的前灯校准有些相似。服务点处的操作员可以通过对有特征的目标(诸如距激光雷达系统100指定距离处的测试图案板)上的扫描图案的简单目视检查,来检查激光雷达的校准。此外,辅助光源112B可以提供用于激光雷达正为终端用户工作的操作置信度的手段。例如,系统可以被配置为允许人将手放在光偏转器114的前面,以测试其操作。
辅助光源112B还可以具有不可见元件,该不可见元件在主光源112A发生故障的情况下可以兼作备用系统。这个特征对于具有更高功能安全等级的故障安全设备是有用的。假定辅助光源112B可以是可见的,并且还由于成本和复杂性的原因,与主光源112A相比,辅助光源112B可以与更小的功率关联。因此,在主光源112A发生故障的情况下,系统功能将回退到辅助光源112B的功能和能力集。虽然辅助光源112B的能力可能逊于主光源112A的能力,但是可以以使车辆110能够安全地到达其目的地这样的方式,设计激光雷达系统100系统。
图2D图示了可以是激光雷达系统100的一部分的不对称偏转器216。在所示示例中,不对称偏转器216包括反射表面218(诸如发射镜)和单向偏转器220。虽然不必如此,但不对称偏转器216可以可选地是收发配置的偏转器。不对称偏转器216可以用在激光雷达系统100的收发合置配置中,以便允许经由至少一个偏转器114用于发送和接收光的公共光学路径,如图2B和2C中所示。但是,典型的不对称偏转器(诸如分束器)特征在于能量损失,尤其是在接收路径中,而该接收路径可能比发送路径对功率损耗更加敏感。
如图2D中所描绘的,激光雷达系统100可以包括位于发送路径中的不对称偏转器216,其包括用于在发送光信号和接收光信号之间进行分离的单向偏转器220。可选地,单向偏转器220可以对发送光基本上是透明的,并且对接收光是反射性的。发送光由投射单元102生成并且可以通过单向偏转器220行进到扫描单元104,该扫描单元104使其朝着光学出口偏转。接收光通过光学入口到达至少一个偏转元件114,该偏转元件114将反射信号偏转到远离光源并朝着感测单元106的分离路径中。可选地,不对称偏转器216可以与偏振光源112组合,该偏振光源112利用与单向偏转器220相同的偏振轴被线性地偏振。值得注意的是,外传光束的横截面远小于反射信号的横截面。因而,激光雷达系统100可以包括一个或多个光学部件(例如,透镜、准直器),用于将发射的偏振光束聚焦或以其它方式操纵到不对称偏转器216的维度。在一个实施例中,单向偏转器220可以是对偏振光束几乎透明的偏振分束器。
与一些实施例一致,激光雷达系统100还可以包括用于修改发射光的偏振的光学器件222(例如,四分之一波片延迟器)。例如,光学器件222可以将发射光束的线性偏振修改为圆形偏振。从视场反射回到系统100的光将通过偏转器114回到光学器件222,其承受具有相对于发送光的倒置偏手性的圆形偏振。然后,光学器件222将接收到的倒置偏手性偏振光转换成与偏振分束器216的线性偏振不在同一个轴上的线性偏振。如上面所指出的,由于光束的光学色散穿过到目标的距离,接收光斑块(light-patch)大于发送光斑块。
接收到的光中的一些将照射在单向偏转器220上,该单向偏转器220将带有一些功率损耗地朝着传感器106反射光。但是,接收光斑块的另一部分将落在围绕单向偏转器220(例如,偏振分束器狭缝)的反射表面218上。反射表面218将基本上零功率损耗地朝着感测单元106反射光。单向偏转器220将反射由各个偏振轴和方向组成的、将最终到达检测器的光。可选地,感测单元106可以包括传感器116,该传感器116对激光偏振不可知,并且主要对某个波长范围内的照射光子的量是敏感的。
要注意的是,当与其中具有通孔的简单反射镜相比,所提出的不对称偏转器216提供更优秀的性能。在具有孔的反射镜中,到达该孔的所有反射光都对于检测器是损失掉的。但是,在偏转器216中,单向偏转器220使这种光的大部分(例如,大约50%)朝着相应的传感器116偏转。在激光雷达系统中,从远程距离到达激光雷达的光子数量非常有限,并且因此光子捕获率的改进是重要的。
根据一些实施例,描述了用于分束和转向的设备。可以从具有第一偏振的光源发射偏振光束。可以引导所发射的光束穿过偏振分束器组件。该偏振分束器组件在第一侧包括单向狭缝并且在相对侧包括反射镜。该单向狭缝使偏振的发射光束能够朝着四分之一波片/波延迟器行进,这将发射信号从偏振信号变为线性信号(反之亦然),以使得随后反射的光束不能行进通过该单向狭缝。
扫描单元
图3A-3D描绘了扫描单元104的各种配置及其在激光雷达系统100中的作用。具体而言,图3A是图示具有MEMS反射镜(例如,形状为方形)的扫描单元104的图,图3B是图示具有MEMS反射镜(例如,形状为圆形)的另一个扫描单元104的图,图3C是图示具有用于收发合置扫描激光雷达系统的反射器阵列的扫描单元104的图,并且图3D是图示机械地扫描激光雷达系统100周围的环境的示例激光雷达系统100的图。本领域技术人员将认识到的是,所描绘的扫描单元104的配置仅仅是示例性的,并且在本公开的范围内可以具有许多变化和修改。
图3A图示了具有单轴方形MEMS反射镜300的示例扫描单元104。在这个示例中,MEMS反射镜300用作至少一个偏转器114。如图所示,扫描单元104可以包括一个或多个致动器302(具体而言,302A和302B)。在一个实施例中,致动器302可以由半导体(例如,硅)制成,并且包括响应于由致动控制器施加的电信号而改变其维度的压电层(例如,PZT、锆钛酸铅、氮化铝)、半导体层和基(base)层。在一个实施例中,致动器302的物理特性可以确定致动器302在电流通过它时所经受的机械应力。当压电材料被激活时,它在致动器302上施加力并使其弯曲。在一个实施例中,当反射镜300在某个角位置偏转时,可以在激活状态下测量一个或多个致动器302的电阻率(Ractive),并且与休眠状态下的电阻率(Rrest)进行比较。包括Ractive的反馈可以提供信息以确定与预期角度相比的实际反射镜偏转角度,并且如果需要,可以校正反射镜300的偏转。Rrest和Ractive之间的差可以通过反射镜驱动而关联到可以用来闭合环路的角度偏转值中。这个实施例可以被用于动态跟踪实际反射镜位置,并且可以优化线性模式和谐振模式MEMS反射镜方案的响应、振幅、偏转效率和频率。下面参考图32-34更详细地描述这个实施例。
在扫描期间,电流(在图中表示为虚线)可以从触点304A流到触点304B(通过致动器302A、弹簧306A、反射镜300、弹簧306B和致动器302B)。半导体框架308中的隔离间隙(诸如隔离间隙310)可以使致动器302A和302B成为通过弹簧306和框架308电连接的两个分离的岛。电流流动或任何相关联的电参数(电压、电流频率、电容、相对介电常数等等)可以通过相关的位置反馈来监视。在机械故障(其中一个部件受损)的情况下,流过该结构的电流将更改并改变其功能校准值。在极端情况下(例如,当弹簧断裂时),由于电气链中的电路断开,电流将借助于故障元件而完全停止。
图3B图示了具有双轴圆形MEMS反射镜300的另一个示例扫描单元104。在这个示例中,MEMS反射镜300用作至少一个偏转器114。在一个实施例中,MEMS反射镜300可具有大约1mm至大约5mm之间的直径。如图所示,扫描单元104可以包括四个致动器302(302A、302B、302C和302D),每个致动器可以处于不同的长度。在所示的示例中,电流(在图中表示为虚线)从触点304A流到触点304D,但在其它情况下,电流可以从触点304A流到触点304B、从触点304A流到触点304C、从触点304B流到触点304C、从触点304B流到触点304D、或从触点304C流到触点304D。与一些实施例一致,双轴MEMS反射镜可以被配置为在水平方向和垂直方向上偏转光。例如,双轴MEMS反射镜的偏转角度在垂直方向上可以在大约0°至30°之间并且在水平方向上在大约0°至50°之间。本领域技术人员将认识到的是,所描绘的反射镜300的配置可以具有许多变化和修改。在一个示例中,至少一个偏转器114可以具有双轴方形镜或单轴圆形反射镜。圆形和方形反射镜的示例仅作为示例在图3A和3B中示出。取决于系统规格,可以采用任何形状。在一个实施例中,致动器302可以作为至少一个偏转器114的组成部分被并入,使得移动MEMS反射镜300的动力直接朝着它施加。此外,MEMS反射镜300可以通过一个或多个刚性支撑元件连接到框架308。在另一个实施例中,至少一个偏转器114可以包括静电或电磁MEMS反射镜。
如上所述,收发合置扫描激光雷达系统利用相同光学路径的至少一部分来用于发射投射光204并用于接收反射光206。外传路径中的光束可以被准直并聚焦成窄光束,而返回路径中的反射由于色散而扩散到更大的光斑块中。在一个实施例中,扫描单元104可以在返回路径中具有大的反射区域以及将反射(即,反射光206)重定向到传感器116的不对称偏转器216。在一个实施例中,扫描单元104可以包括具有大的反射区域以及对视场和帧速率性能具有可以忽略不计的影响的MEMS反射镜。下面参考图2D提供关于不对称偏转器216的附加细节。
在一些实施例中(例如,如图3C中所例示的),扫描单元104可以包括具有小的光偏转器(例如,反射镜)的偏转器阵列(例如,反射器阵列)。在一个实施例中,将光偏转器114实现为一组同步工作的较小的个体光偏转器可以允许光偏转器114以高扫描速率以较大的偏转角度来执行。就有效区域而言,偏转器阵列可以基本上充当大的光偏转器(例如,大反射镜)。可以使用共享转向组件配置来操作该偏转器阵列,该共享转向组件配置允许传感器116从由光源112并发照亮的视场120的基本相同部分收集反射光子。术语“并发”意味着两个被选功能在重合或重叠的时间段期间发生,无论是一个在另一个的持续时间内开始和结束,还是后一个在另一个完成之前开始。
图3C图示了扫描单元104的示例,其中反射器阵列312具有小的反射镜。在这个实施例中,反射器阵列312用作至少一个偏转器114。反射器阵列312可以包括多个被配置为枢转(单独地或一起)并朝着视场120导引光脉冲的反射器单元314。例如,反射器阵列312可以是从光源112投射的光的外传路径的一部分。具体而言,反射器阵列312可以将投射光204朝着视场120的一部分引导。反射器阵列312也可以是用于从位于视场120的被照亮部分内的物体的表面反射的光的返回路径的一部分。具体而言,反射器阵列312可以将反射光206朝着传感器116或朝着不对称偏转器216引导。在一个示例中,反射器阵列312的面积可以在大约75至大约150mm2之间,其中每个反射器单元314可以具有大约10μm的宽度并且支撑结构可以小于100μm。
根据一些实施例,反射器阵列312可以包括可转向偏转器的一个或多个子组。电可转向偏转器的每个子组可以包括一个或多个偏转器单元(诸如反射器单元314)。例如,每个可转向偏转器单元314可以包括MEMS反射镜、反射表面组件和机电致动器中的至少一个。在一个实施例中,每个反射器单元314可以由个体处理器(未示出)单独地控制,使得它可以沿着一个或两个分离的轴中的每一个轴朝着具体角度倾斜。可替代地,反射器阵列312可以与公共控制器(例如,处理器118)相关联,该公共控制器被配置为同步地管理反射器单元314的移动,使得它们中的至少一部分将并发地枢转并指向大致相同的方向。
此外,至少一个处理器118可以选择用于外传路径的至少一个反射器单元314(在下文中称为“TX反射镜”)和用于返回路径的一组反射器单元314(在下文中称为“RX反射镜”)。与本公开一致,增加TX反射镜的数量可以增加反射光子束扩展。此外,减少RX反射镜的数量可以缩窄接收场并补偿环境光条件(诸如云、雨、雾、极热和其它环境条件)并改进信噪比。而且,如上所述,发射的光束通常比反射光斑块窄,并且因此可以被偏转阵列的一小部分完全偏转。而且,有可能阻挡从偏转阵列的用于发送的部分(例,如TX反射镜)反射的光到达传感器116,由此减少激光雷达系统100的内部反射对系统操作的影响。此外,至少一个处理器118可以使一个或多个反射器单元314枢转,以克服由于例如热和增益效应引起的机械损伤和漂移。在示例中,一个或多个反射器单元314可以与预期不同地移动(频率、速率、速度等等),并且它们的移动可以通过适当地电控制偏转器来补偿。
图3D图示了机械扫描激光雷达系统100的环境的示例性激光雷达系统100。在这个示例中,激光雷达系统100可以包括用于围绕激光雷达系统100的轴来旋转壳体200的马达或其它机制。可替代地,马达(或其它机制)可以机械地旋转激光雷达系统100的、其上安装有一个或多个光源112和一个或多个传感器116的刚性结构,由此扫描环境。如上所述,投射单元102可以包括被配置为投射光发射的至少一个光源112。投射的光发射可以沿着外传路径朝着视场120行进。具体而言,当投射光204朝着可选的光学窗口124行进时,投射的光发射可以被偏转器114A通过出口孔314反射。反射的光发射可以沿着返回路径从物体208朝着感测单元106行进。例如,当反射光206朝着感测单元106行进时,反射光206可以被偏转器114B反射。本领域技术人员将认识到的是,具有用于同步地旋转一个或多个光源或一个或多个传感器的旋转机制的激光雷达系统可以使用这种同步旋转来代替使内部光偏转器转向(或作为补充)。
在对视场120的扫描是机械式的实施例中,投射的光发射可以被引导到出口孔314,该出口孔314是将投射单元102与激光雷达系统100的其它部分分离的壁316的一部分。在一些示例中,壁316可以由涂覆有反射材料的透明材料(例如,玻璃)形成,以形成偏转器114B。在这个示例中,出口孔314可以与壁316的未涂覆反射材料的部分对应。附加地或可替代地,出口孔314可以包括在壁316中的孔或切口。反射光206可以被偏转器114B反射并且朝着感测单元106的入口孔318被引导。在一些示例中,入口孔318可以包括滤波窗口,该滤波窗口被配置为允许某个波长范围内的波长进入感测单元106并衰减其它波长。来自视场120的物体208的反射可以被偏转器114B反射并击中传感器116。通过比较反射光206与投射光204的几何特性,可以确定物体208的至少一个方面。例如,通过比较由光源112发射投射光204的时间与传感器116接收反射光206的时间,可以确定物体208和激光雷达系统100之间的距离。在一些示例中,还可以确定物体208的其它方面(诸如形状、颜色、材料等等)。
在一些示例中,激光雷达系统100(或其一部分,包括至少一个光源112和至少一个传感器116)可以围绕至少一个轴旋转,以确定激光雷达系统100的周围环境的三维地图。例如,激光雷达系统100可以围绕基本垂直的轴旋转(如由箭头320所示),以便扫描视场120。虽然图3D图示了激光雷达系统100围绕轴顺时针旋转(如由箭头320所示),但是附加地或可替代地,激光雷达系统100可以逆时针方向旋转。在一些示例中,激光雷达系统100可以围绕垂直轴旋转360度。在其它示例中,激光雷达系统100可以沿着比激光雷达系统100的360度更小的扇区来回旋转。例如,激光雷达系统100可以安装在围绕轴来回摆动而不做完整旋转的平台上。
感测单元
图4A-4E描绘了感测单元106的各种配置及其在激光雷达系统100中的作用。具体而言,图4A是图示具有检测器阵列的示例感测单元106的图,图4B是图示使用二维传感器的收发合置扫描的图,图4C是图示二维传感器116的示例的图,图4D是图示与传感器116相关联的透镜阵列的图,并且图4E包括图示透镜结构的三个图。本领域技术人员将认识到的是,所描绘的感测单元106的配置仅仅是示例性的,并且可以具有与本公开的原理一致的许多替代变体和修改。
图4A图示了具有检测器阵列400的感测单元106的示例。在这个示例中,至少一个传感器116包括检测器阵列400。激光雷达系统100被配置为检测视场120中位于距激光雷达系统100不同距离处(可以是几米或更多)的物体(例如,自行车208A和云208B)。物体208可以是固体物体(例如,道路、树、小汽车、人)、液体物体(例如,雾、水、大气颗粒)、或另一种类型的物体(例如,灰尘或粉末状被照亮物体)。当从光源112发射的光子击中物体208时,它们或者反射、折射或者被吸收。通常,如图所示,从物体208反射的光子的仅一部分进入可选的光学窗口124。由于每个约15cm的距离变化导致1ns的行进时间差(因为光子以光速向物体208和从物体208行进),因此通过具有足够快响应的飞行时间传感器,击中不同物体的不同光子的行进时间之间的时间差可以是可检测的。
传感器116包括多个检测元件402,用于检测从视场120反射回的光子脉冲的光子。检测元件可以全部被包括在检测器阵列400中,检测器阵列400可以具有矩形布置(例如,如图所示)或任何其它布置。检测元件402可以彼此并发或部分并发地操作。具体而言,每个检测元件402可以对于每个采样持续时间(例如,每1纳秒)发出检测信息。在一个示例中,检测器阵列400可以是SiPM(硅光电倍增器),其是由公共硅基板上的单光子雪崩二极管(SPAD,用作检测元件402)的阵列而构建的固态单光子敏感器件。也可以使用来自其它非硅材料的类似光电倍增管。虽然SiPM器件以数字/开关模式工作,但SiPM是模拟设备,因为所有的微单元可以被并行读取,从而使得有可能生成由不同SPAD检测的从单个光子到成千上万个光子的动态范围内的信号。如上面所提到的,可以实现多于一种类型的传感器(例如,SiPM和APD)。感测单元106有可能可以包括集成到SiPM阵列中的至少一个APD和/或位于分离或公共硅基板上SiPM旁边的至少一个APD检测器。
在一个实施例中,检测元件402可以被分组为多个区域404。这些区域是传感器116内的几何位置或环境(例如,在检测器阵列400内),并且可以被成形为不同的形状(例如,如图所示的矩形、正方形、环等等,或任何其它形状)。虽然并非包括在区域404的几何范围内的所有个体检测器都必然属于那个区域,但在大多数情况下,它们将不属于覆盖传感器310的其它范围的其它区域404,除非在区域之间的接缝中期望一些重叠。如图4A中所示,区域可以是非重叠区域404,但是可替代地,它们可以重叠。每个区域可以与和那个区域相关联的区域输出电路406相关联。区域输出电路406可以提供对应组的检测元件402的区域输出信号。例如,输出电路406的区域可以是求和电路,但是可以采用将个体检测器的输出组合成单位输出(无论是标量、向量还是任何其它格式)的其它形式。可选地,每个区域404是单个SiPM,但不必是这样,并且区域可以是单个SiPM的子部分、几个SiPM的组、或甚至不同类型的检测器的组合。
在所示示例中,处理单元108位于(例如,车辆110内)主机210(内部或外部)的分离的壳体200B处,并且感测单元106可以包括用于分析反射光的专用处理器408。可替代地,处理单元108可以被用于分析反射光206。要注意的是,激光雷达系统100可以以除所示示例之外的其它方式实现多个壳体。例如,光偏转器114可以位于与投射单元102和/或感测模块106不同的壳体中。在一个实施例中,激光雷达系统100可以包括以不同方式彼此连接的多个壳体,诸如:电线连接、无线连接(例如,RF连接)、光纤电缆、以及上述的任意组合。
在一个实施例中,分析反射光206可以包括基于不同区域的个体检测器的输出来确定反射光206的飞行时间。可选地,处理器408可以被配置为基于输出信号的多个区域来确定反射光206的飞行时间。除了飞行时间之外,处理单元108还可以分析反射光206,以确定整个返回脉冲上的平均功率,并且可以在返回脉冲时段上确定光子分布/信号(“脉冲形状”)。在所示示例中,任何检测元件402的输出可以不被直接发送到处理器408,而是在被传递到处理器408之前与区域404的其它检测器的信号组合(例如,求和)。但是,这仅仅是示例并且传感器116的电路可以经由其它路线(不经由区域输出电路406)将信息从检测元件402发送到处理器408。
图4B是图示被配置为使用二维传感器116扫描激光雷达系统100的环境的激光雷达系统100的图。在图4B的示例中,传感器116是4X6检测器410(也称为“像素”)的矩阵。在一个实施例中,像素尺寸可以是大约1×1mm。传感器116在这样一种意义上是二维的,即,它在两个非平行轴(例如,正交轴,如图示的示例中例示的)中具有多于一组(例如,行、列)检测器410。传感器116中的检测器410的数量可以在不同的实现之间有所变化,例如,取决于期望的分辨率、信噪比(SNR)、期望的检测距离等等。例如,传感器116可以具有5至5000个像素之间的任何值。在另一个示例中(图中未示出),传感器116也可以是一维矩阵(例如,1X8像素)。
要注意的是,每个检测器410可以包括多个检测元件402(诸如雪崩光电二极管(APD)、单光子雪崩二极管(SPAD)、雪崩光电二极管(APD)和单光子雪崩二极管(SPAD)的组合)或者包括测量从激光脉冲发送事件到接收事件的飞行时间以及接收光子的强度两者的检测元件。例如,每个检测器410可以包括20至5000个SPAD之间的任何值。每个检测器410中的检测元件402的输出可以被求和、求平均或以其它方式组合,以提供统一的像素输出。
在所示示例中,感测单元106可以包括二维传感器116(或多个二维传感器116),其视场小于激光雷达系统100的视场120。在本讨论中,视场120(可以由激光雷达系统100不在任何方向上移动、旋转或滚动的情况下扫描的整个视场)表示为“第一FOV 412”,而传感器116的较小FOV表示为“第二FOV 412”(可互换地称为“瞬时视场”)。取决于激光雷达系统100的具体用途,第二FOV 414相对于第一FOV 412的覆盖范围可以不同,并且可以例如在0.5%至50%之间。在一个示例中,第二FOV 412可以在垂直维度上伸长大约0.05°至1°之间。即使激光雷达系统100包括多于一个二维传感器116,传感器阵列的组合视场仍然可以小于第一FOV 412,例如,小至少5倍、至少10倍、至少20倍、或至少50倍。
为了覆盖第一FOV 412,扫描单元104可以在不同时间将从环境的不同部分到达的光子引导到传感器116。在所示的收发合置配置中,连同将投射光204朝着视场120引导并且当至少一个光偏转器114位于瞬时位置时,扫描单元104也可以将反射光206引导到传感器116。通常,在第一FOV 412的扫描期间的每个时刻,由激光雷达系统100发射的光束覆盖环境的大于第二FOV 414的部分(在角开口中)并且包括环境的由扫描单元104和传感器116从其收集光的部分。
图4C是图示二维传感器116的示例的图。在这个实施例中,传感器116是8X5检测器410的矩阵,并且每个检测器410包括多个检测元件402。在一个示例中,检测器410A位于传感器116的第二行(表示为“R2”)和第三列(表示为“C3”)中,其包括4X3检测元件402的矩阵。在另一个示例中,位于传感器116的第四行(表示为“R4”)和第六列(表示为“C6”)中的检测器410B包括3X3检测元件402的矩阵。因而,每个检测器410中检测元件402的数量可以是恒定的,或者可以是变化的,并且公共阵列中的不同检测器410可以具有不同数量的检测元件402。每个检测器410中的所有检测元件402的输出可以被求和、求平均或以其它方式组合,以提供单个像素输出值。要注意的是,虽然图4C的示例中的检测器410是矩形矩阵(直行和直列),但也可以使用其它布置,例如,圆形布置或蜂窝布置。
根据一些实施例,来自每个检测器410的测量可以使得能够确定从光脉冲发射事件到接收事件的飞行时间和接收光子的强度。接收事件可以是光脉冲从物体208反射的结果。飞行时间可以是表示反射物体到可选的光学窗口124的距离的时间戳值。飞行时间值可以通过光子检测和计数方法(诸如时间相关单光子计数器(TCSPC))、用于光子检测的模拟方法(诸如信号积分和鉴定(经由模数转换器或普通(plain)比较器))或其它方法来实现。
在一些实施例中并且参考图4B,在扫描周期期间,至少一个光偏转器114的每个瞬时位置可以与视场120的特定部分122相关联。传感器116的设计使得能够在来自视场120的单个部分的反射光与多个检测器410之间建立关联。因此,激光雷达系统的扫描分辨率可以由(每个扫描周期的)瞬时位置的数量乘以传感器116中检测器410的数量来表示。来自每个检测器410(即,每个像素)的信息表示从中构建三维空间中的捕获的视场的基本数据元素。这可以包括例如点云表示的基本元素,具有空间位置和相关联的反射强度值。在一个实施例中,由多个检测器410检测到的来自视场120的单个部分的反射可以从位于视场120的单个部分中的不同物体返回。例如,视场120的单个部分在远场处可以大于50x50cm,这可以容易地包括彼此部分覆盖的两个、三个或更多个物体。
图4D是根据当前公开主题的示例的传感器116的一部分的横切图。传感器116的所示部分包括检测器阵列400的一部分,包括四个检测元件402(例如,四个SPAD、四个APD)。检测器阵列400可以是在互补金属氧化物半导体(CMOS)中实现的光电检测器传感器。每个检测元件402具有敏感区域,该敏感区域位于基板环境内。虽然不必是这样,但是传感器116可以用在具有窄视场的收发合置激光雷达系统中(例如,因为扫描单元104在不同时间扫描视场的不同部分)。用于入射光束的窄视场(如果被实现的话)消除了离焦成像的问题。如图4D中所例示的,传感器116可以包括多个透镜422(例如,微透镜),每个透镜422可以将入射光朝着不同的检测元件402(例如,朝着检测元件402的活动区域)引导,这在离焦成像不是问题时会是有用的。透镜422可以被用于增加检测器阵列400的光学填充因子和灵敏度,因为到达传感器116的大部分光可以朝着检测元件402的活动区域偏转。
如图4D中所例示的,检测器阵列400可以包括通过各种方法(例如,植入)内置于硅基板中的若干层,从而产生敏感区域、与金属层的接触元件和隔离元件(例如,浅沟槽植入STI、护环、光学沟槽等等)。敏感区域可以是CMOS检测器中的体积元件,其使得能够在向器件施加足够的电压偏置的情况下将入射光子光学转换成电流。在APD/SPAD的情况下,敏感区域将是将由光子吸收产生的电子拉向倍增区域的电场的组合,在该倍增区域中光子诱发的电子被放大,从而产生倍增电子的击穿雪崩。
前侧照亮的检测器(例如,如图4D中所示)具有与驻留在半导体(硅)顶部的金属层相同侧的输入光学端口。需要金属层来实现每个个体光电检测器元件(例如,阳极和阴极)与各种元件(诸如:偏置电压、淬火/镇流器元件和公共阵列中的其它光电检测器)的电连接。光子通过其照射检测器敏感区域的光学端口由通过金属层的通道构成。要注意的是,从一些方向通过这个通道的光可以被一个或多个金属层(例如,金属层ML6,如图4D中最左边的检测器元件402所示)阻挡。这种阻挡降低了检测器的总光学光吸收效率。
图4E图示了根据当前公开主题的示例的三个检测元件402,每个检测元件具有相关联的透镜422。图4E中的表示为402(1)、402(2)和402(3)三个检测元件中的每一个图示了可以与传感器116的检测元件402中的一个或多个相关联地实现的透镜配置。要注意的是,也可以实现这些透镜配置的组合。
在关于检测元件402(1)示出的透镜配置中,相关联的透镜422的焦点可以位于半导体表面上方。可选地,检测元件的不同金属层中的开口可以具有与由相关联透镜422生成的聚焦光锥对准的不同尺寸。这样的结构可以改进作为整个设备的阵列400的信噪比和分辨率。大的金属层对于递送功率和接地屏蔽可以是重要的。这种方法例如可以对具有窄视场的收发合置激光雷达设计是有用的,其中入射光束由平行射线组成并且成像焦点对检测到的信号没有任何后果。
在关于检测元件402(2)示出的透镜配置中,可以通过识别最佳点(sweet spot)来提高检测元件402的光子检测效率。具体而言,在CMOS中实现的光电检测器可以在敏感体积区域中具有最佳点,光子在该区域中产生雪崩效应的概率最高。因此,透镜422的焦点可以位于敏感体积区域内在最佳点位置处,如由检测元件402(2)所演示的。透镜形状和距焦点的距离可以考虑激光束沿着从透镜到埋在半导体材料中的敏感最佳点位置的路径所经过的所有元件的折射率。
在关于图4E右侧的检测元件示出的透镜配置中,可以使用漫射器和反射元件来提高半导体材料中的光子吸收效率。具体而言,近IR波长要求显著长的硅材料路径,以便实现高概率的对行进穿过了的光子的吸收。在典型的透镜配置中,光子可以穿过敏感区域并且可以不被吸收到可检测的电子中。对于用典型的铸造工艺制造的CMOS设备,提高了光子产生电子的概率的长的吸收路径使敏感区域的尺寸朝着不太实用的维度(例如,数十μm)变化。图4E中最右侧的检测器元件演示了一种处理入射光子的技术。相关联的透镜422将入射光聚焦到漫射器元件424上。在一个实施例中,光传感器116还可以包括位于远离至少一些检测器的外表面的间隙中的漫射器。例如,漫射器424可以使光束侧向地(例如,尽可能垂直)朝着敏感区域和反射光学沟槽426转向。漫射器位于焦点处、焦点上方或焦点下方。在这个实施例中,入射光可以聚焦在漫射器元件所在的具体位置上。可选地,检测器元件422被设计成在光学上避免光子诱发的电子可能在其中丢失并降低有效检测效率的非活动区域。反射光学沟槽426(或其它形式的光学反射结构)使光子在敏感区域上来回反弹,从而增加检测的可能性。理想情况下,光子将被无限期地俘获在由敏感区域和反射沟槽组成的腔中,直到光子被吸收并产生电子/空穴对。
与本公开一致,产生长的路径以使照射光子被吸收并有助于更高的检测概率。光学沟槽也可以在检测元件422中实现,用于减少在雪崩期间产生的寄生光子的串扰效应,所述寄生光子可能泄漏到其它检测器并导致误检测事件。根据一些实施例,可以优化光电检测器阵列,以便利用更高的接收信号产量(yield),这意味着同样多的接收信号被接收到,并且更少的信号对于信号的内部降级而损失掉。可以通过以下方式改进光电检测器阵列:(a)将焦点移动到半导体表面上方的位置处,可选地通过适当地在基板上方设计金属层;(b)通过使焦点转向至基板的最响应/敏感区域(或“最佳点”)以及(c)在基板上方添加漫射器以将信号朝着“最佳点”转向、和/或向沟槽添加反射材料使得偏转的信号被反射回“最佳点”。
虽然在一些透镜配置中,透镜422可以被放置成使得其焦点在对应检测元件402的中心上方,但要注意的是,不必如此。在其它透镜配置中,基于相应检测元件402距检测阵列400的中心的距离,透镜422的焦点相对于对应检测元件402的中心的位置而移位。这在相对较大的检测阵列400中可以是有用的,其中更远离中心的检测器元件以越来越离轴的角度接收光。移动焦点的位置(例如,朝着检测阵列400的中心)允许对入射角进行校正。具体而言,移动焦点的位置(例如,朝着检测阵列400的中心)允许对入射角进行校正同时对于所有检测元件使用基本上相同的透镜422,所述透镜422是相对于检测器的表面以相同的角度放置的。
当使用仅覆盖视场的一小部分的相对小的传感器116时,将透镜422的阵列添加到检测元件402的阵列会是有用的,因为在这种情况下,来自场景的反射信号从基本上相同的角度到达检测器阵列400,因此,容易将所有光聚焦到个体检测器上。还要注意的是,在一个实施例中,透镜422可以被用在激光雷达系统100中,以有利于增加整个阵列400的整体检测概率(防止光子在检测器/子检测器之间的死区中被“浪费”),以牺牲空间独特性为代价。这个实施例与诸如CMOS RGB相机之类的现有技术实施例形成对比,现有技术实施例优先考虑空间独特性(即,不允许在检测元件A的方向上传播的光被透镜朝着检测元件B引导,即,“逸出”到阵列的另一个检测元件)。可选地,传感器116包括透镜422的阵列,每个透镜与对应的检测元件402相关,而透镜422中的至少一个将传播到第一检测元件402的光朝着第二检测元件402偏转(由此它可以增加整个阵列的整体检测概率)。
具体而言,与本公开的一些实施例一致,光传感器116可以包括光检测器的阵列(例如,检测器阵列400),每个光检测器(例如,检测器410)被配置为当光穿过相应检测器的外表面时使电流流动。此外,光传感器116可以包括至少一个被配置为将光朝着光检测器阵列引导的微透镜,这至少一个微透镜具有焦点。光传感器116还可以包括插入在至少一个微透镜和光检测器阵列之间并且在其中具有间隙的至少一个导电材料层,以允许光从至少一个微透镜传递到阵列,这至少一层的尺寸被设计为在至少一个微透镜和该阵列之间维持空间,以使焦点(例如,该焦点可以是平面)位于该间隙中在与光检测器阵列的检测表面隔开的位置处。
在相关实施例中,每个检测器可以包括多个单光子雪崩二极管(SPAD)或多个雪崩光电二极管(APD)。导电材料可以是多层金属构造,并且至少一个导电材料层可以电连接到阵列中的检测器。在一个示例中,至少一个导电材料层包括多个层。此外,间隙可以被成形为从至少一个微透镜朝着焦点会聚,并且从焦点的区域朝着阵列发散。在其它实施例中,光传感器116还可以包括与每个光电检测器相邻的至少一个反射器。在一个实施例中,多个微透镜可以布置在透镜阵列中,并且多个检测器可以布置在检测器阵列中。在另一个实施例中,多个微透镜可以包括单个透镜,该单个透镜被配置为将光投射到阵列中的多个检测器。
处理单元
图5A-5C描绘了根据本公开的一些实施例的处理单元108的不同功能。具体而言,图5A是图示针对视场的单个部分的单个帧时间中的发射模式的图,图5B是图示针对整个视场的单个帧时间中的发射模式的图,以及图5C是图示在单个扫描周期期间朝着视场投射的实际光发射的图。
图5A图示了对于与至少一个光偏转器114的瞬时位置相关联的视场120的单个部分122在单个帧时间中的发射模式的四个示例。与本公开的实施例一致,处理单元108可以以使得光通量能够在对视场120进行扫描时变化的方式,控制至少一个光源112和光偏转器114(或协调至少一个光源112和至少一个光偏转器114的操作)。与其它实施例一致,处理单元108可以仅控制至少一个光源112,并且光偏转器114可以以固定的预定义模式移动或枢转。
图5A中的图A-D描绘了随着时间推移朝着视场120的单个部分122发射的光的功率。在图A中,处理器118可以以使得在扫描视场120期间初始光发射是朝着视场120的部分122被投射的方式,控制光源112的操作。当投射单元102包括脉动光光源时,初始光发射可以包括一个或多个初始脉冲(也称为“导(pilot)脉冲”)。处理单元108可以从传感器116接收关于与初始光发射相关联的反射的导频信息。在一个实施例中,导频信息可以基于一个或多个检测器(例如,一个或多个SPAD、一个或多个APD、一个或多个SiPM等等)的输出表示为单个信号,或者基于多个检测器的输出表示为多个信号。在一个示例中,导频信息可以包括模拟和/或数字信息。在另一个示例中,导频信息可以包括单个值和/或多个值(例如,对于片段的不同时间和/或部分)。
基于关于与初始光发射相关联的反射的信息,处理单元108可以被配置为确定要朝着视场120的部分122投射的后续光发射的类型。对于视场120的特定部分确定的后续光发射可以在相同的扫描周期期间(即,在相同的帧中)或在后续的扫描周期中(即,在后续帧中)进行。下面参考图23-25更详细地描述这个实施例。
在图B中,处理器118可以以使得在视场120的扫描期间,不同强度的光脉冲朝着视场120的单个部分122被投射的方式,控制光源112的操作。在一个实施例中,激光雷达系统100可以可操作为生成一种或多种不同类型的深度图,例如以下类型中的任何一种或多种:点云模型、多边形网格、深度图像(保持图像或2D阵列的每个像素的深度信息)或场景的任何其它类型的3D模型。深度图的序列可以是时间序列,其中在不同的时间生成不同的深度图。可以在对应的后续帧时间的持续时间内,生成与扫描周期(可互换地称为“帧”)相关联的序列的每个深度图。在一个示例中,典型的帧时间可以持续少于一秒。在一些实施例中,激光雷达系统100可以具有固定的帧速率(例如,每秒10帧、每秒25帧、每秒50帧),或者帧速率可以是动态的。在其它实施例中,不同帧的帧时间跨序列可以不完全相同。例如,激光雷达系统100可以实现10帧/秒的速率,其包括在100毫秒(平均值)中生成第一深度图、在92毫秒中生成第二帧,以及在142毫秒处生成第三帧,等等。
在图C中,处理器118可以以使得在视场120的扫描期间,与不同持续时间相关联的光脉冲朝着视场120的单个部分122投射的方式,控制光源112的操作。在一个实施例中,激光雷达系统100可以可操作为在每个帧中生成不同数量的脉冲。脉冲的数量可以在0到32个脉冲(例如,1、5、12、28或更多个脉冲)之间变化,并且可以基于从先前发射导出的信息。光脉冲之间的时间可以取决于期望的检测范围,并且可以在500ns至5000ns之间。在一个示例中,处理单元108可以从传感器116接收关于与每个光脉冲相关联的反射的信息。基于该信息(或该信息的不存在),处理单元108可以确定是否需要附加的光脉冲。要注意的是,图A-D中的处理时间和发射时间的持续时间不是按比例的。具体而言,处理时间可以基本上长于发射时间。在图D中,投射单元102可以包括连续波光源。在一个实施例中,初始光发射可以包括发射光的时间段,并且后续发射可以是初始发射的延续,或者可以存在不连续性。在一个实施例中,连续发射的强度可以随时间改变。
与本公开的一些实施例一致,可以按照视场120的每个部分,确定发射模式。换句话说,处理器118可以控制光的发射,以允许区分视场120的不同部分的照明。在一个示例中,处理器118可以基于对来自相同扫描周期(例如,初始发射)的反射光的检测来确定视场120的单个部分122的发射模式,这使得激光雷达系统100极其动态。在另一个示例中,处理器118可以基于对来自先前扫描周期的反射光的检测,来确定视场120的单个部分122的发射模式。后续发射的模式的差异可以由于确定用于后续发射的光源参数的不同值而产生,所述参数诸如以下任何一个。
a.后续发射的总能量。
b.后续发射的能量曲线(profile)。
c.每帧的光脉冲重复的数量。
d.光调制特点,诸如持续时间、速率、峰值、平均功率和脉冲形状。
e.后续发射的波特性,诸如偏振、波长等等。
与本公开一致,后续发射的区分可以用于不同的用途。在一个示例中,有可能在视场120的安全性是一项考虑因素的部分中限制发射功率电平,而对于视场120的其它部分发射更高功率电平(从而改进信噪比和检测范围)。这与眼睛安全有关,但也可能与皮肤安全、光学系统的安全、敏感材料的安全等等有关。在另一个示例中,基于来自相同帧或前一帧的检测结果,有可能将更多的能量朝着视场120的能量将更加有用的部分(例如,感兴趣的区域、更远距离的目标、低反射目标等等)引导,而限制到视场120的其它部分的照明能量。要注意的是,处理单元108可以在单个扫描帧时间内多次处理来自单个瞬时视场的检测信号;例如,可以在每个脉冲发射之后或者在多个脉冲发射之后,确定后续的发射。
图5B图示了用于视场120的单个帧时间中的发射方案的三个示例。与本公开的实施例一致,至少一个处理单元108可以使用所获得的信息,来动态地调节激光雷达系统100的操作模式和/或确定激光雷达系统100的具体部件的参数值。所获得的信息可以从对在视场120中捕获的数据进行处理而确定,或者从主机210接收(直接地或间接地)。处理单元108可以使用获得的信息,来确定用于扫描视场120的不同部分的扫描方案。所获得的信息可以包括当前光条件、当前天气条件、主车辆的当前驾驶环境、主车辆的当前位置、主车辆的当前轨迹、围绕主车辆的道路的当前地形、或通过光反射可检测的任何其它条件或物体。在一些实施例中,所确定的扫描方案可以包括以下当中的至少一个:(a)作为扫描周期的一部分,将视场120内的部分指定为要被主动扫描,(b)投射单元102的投射计划,该计划定义视场120的不同部分处的光发射曲线;(c)扫描单元104的偏转计划,该计划定义例如偏转方向、频率,以及指定反射器阵列内的空闲元件;以及(d)感测单元106的检测计划,该计划定义检测器灵敏度或响应度模式。
此外,处理单元108可以至少部分地通过获得视场120内的至少一个感兴趣区域和视场120内的至少一个不感兴趣区域的标识,来确定扫描方案。在一些实施例中,处理单元108可以至少部分地通过获得视场120内的至少一个高兴趣区域和视场120内的至少一个较低兴趣区域的标识,来确定扫描方案。例如,视场120内的至少一个感兴趣区域的标识可以如下确定:例如,从对在视场120中捕获的数据进行处理而确定,基于另一个传感器(例如,相机、GPS)的数据而确定,(直接地或间接地)从主机210接收,或上述的任意组合。在一些实施例中,至少一个感兴趣区域的标识可以包括:对视场120内对于监视重要的部分、区域、扇区、像素或物体的标识。可以被识别为感兴趣区域的区域的示例可以包括人行横道、移动的物体、人、附近车辆或者可以有助于车辆导航的任何其它环境条件或物体。可以被识别为不感兴趣(或较低兴趣)区域的区域的示例可以是静态(非移动)远处建筑物、天际线、地平线以及视场中的物体上方的区域。一旦获得视场120内的至少一个感兴趣区域的标识,处理单元108可以确定扫描方案或改变现有的扫描方案。为了进一步确定或改变光源参数(如上所述),处理单元108可以基于至少一个感兴趣区域的标识来分配检测器资源。在一个示例中,为了降低噪声,处理单元108可以激活预期是感兴趣区域的检测器410,并且禁用预期是不感兴趣的区域的检测器410。在另一个示例中,处理单元108可以改变检测器灵敏度,例如,增大用于反射功率低的长程检测的传感器灵敏度。
图5B中的图A-C描绘了用于扫描视场120的不同扫描方案的示例。视场120中的每个方形表示与至少一个光偏转器114的瞬时位置相关联的不同部分122。图例500详细说明了由方形的填充图案表示的光通量的水平。图A描绘了第一扫描方案,其中所有部分具有相同的重要性/优先级并且为它们分配缺省光通量。第一扫描方案可以在启动阶段中使用或者与另一个扫描方案周期性地交织,以监视整个视场中非预期的/新的物体。在一个示例中,第一扫描方案中的光源参数可以被配置为以恒定的振幅生成光脉冲。图B描绘了第二扫描方案,其中视场120的一部分被分配有高光通量,而视场120的其余部分被分配有缺省光通量和低光通量。视场120的最不感兴趣的部分可以被分配有低光通量。图C描绘了第三扫描方案,其中在视场120中识别出紧凑的车辆和公共汽车(参见轮廓图)。在这种扫描方案中,可以以高功率跟踪车辆和公共汽车的边缘,并且车辆和公共汽车的中心质量可以被分配较少的光通量(或没有光通量)。这种光通量分配使得能够在识别出的物体的边缘上集中更多的光学预算,而在其不太重要的中心上集中更少的光学预算。
图5C图示了在单个扫描周期期间朝着视场120的光发射。在所描绘的示例中,视场120由8X9矩阵表示,其中72个单元格中的每一个对应于与至少一个光偏转器114的不同瞬时位置相关联的分离部分122。在这个示例性扫描周期中,每个部分包括一个或多个白点,白点表示朝着该部分投射的光脉冲的数量,并且一些部分包括黑点,黑点表示由传感器116检测到的来自该部分的反射光。如图所示,视场120被划分为三个扇区:在视场120的右侧的扇区I、在视场120的中间的扇区II、以及在视场120的左侧的扇区III。在这个示例性扫描周期中,扇区I对于每个部分最初都被分配有单个光脉冲;先前被识别为感兴趣区域的扇区II对于每个部分最初被分配有三个光脉冲;并且扇区III对于每个部分最初被分配有两个光脉冲。而且如图所示,扫描视场120揭示出四个物体208:近场中(例如,在5至50米之间)的两个自由形状物体,中场中(例如,在50至150米之间)的圆角方形物体、以及远场中(例如,在150至500米之间)的三角形物体。虽然图5C的讨论使用脉冲数量作为光通量分配的示例,但要注意的是,对视场的不同部分的光通量分配也可以以其它方式实现,诸如:脉冲持续时间、脉冲角色散、波长、瞬时功率、距光源112不同距离处的光子密度、平均功率、脉冲功率强度、脉冲宽度、脉冲重复率、脉冲序列、脉冲占空比、波长、相位、偏振等等。在图5C中作为单个扫描周期的光发射的图示演示了激光雷达系统100的不同能力。在第一实施例中,处理器118被配置为使用两个光脉冲来检测第一距离处的第一物体(例如,圆角方形物体),并使用三个光脉冲来检测大于第一距离的第二距离处的第二物体(例如,三角形物体)。下面参考图11-13更详细地描述这个实施例。在第二实施例中,处理器118被配置为将更多光分配给视场的识别出感兴趣区域的部分。具体而言,在本示例中,扇区II被识别为感兴趣区域,因此它被分配有三个光脉冲,而视场120的其余部分被分配有两个或更少的光脉冲。下面参考图20-22更详细地描述这个实施例。在第三实施例中,处理器118被配置为以这样一种方式控制光源112,使得仅向图5C中的部分B1、B2和C1投射单个光脉冲,尽管它们是每个部分最初被分配有两个光脉冲的扇区III的一部分。这是因为处理单元108基于第一光脉冲检测近场中的物体而发生。下面参考图23-25更详细地描述这个实施例。小于最大脉冲量的分配也可以是其它考虑因素的结果。例如,在至少一些区域中,在第一距离处的物体(例如,近场物体)的检测可以导致减少发射到视场120的这个部分的总光量。下面参考图14-16更详细地描述这个实施例。确定对不同部分的功率分配的其它原因在下面参考图29-31、图53-55和图50-52来讨论。
关于激光雷达系统100的不同部件及其相关联功能的其它细节和示例包括在申请人于2016年12月28日提交的美国专利申请No.15/391,916;申请人于2016年12月29日提交的美国专利申请No.15/393,749;申请人于2016年12月29日提交的美国专利申请No.15/393,285;以及申请人于2016年12月29日提交的美国专利申请No.15/393,593,这些申请都通过引用整体上并入本文。
示例实现:车辆
图6A-6C图示了激光雷达系统100在车辆(例如,车辆110)中的实现。上面或下面描述的激光雷达系统100的任何方面可以合并到车辆110中,以提供范围感测车辆。具体而言,在这个示例中,激光雷达系统100在单个车辆中集成了多个扫描单元104以及潜在地多个投射单元102。在一个实施例中,车辆可以利用例如这种激光雷达系统,来改进重叠区中及其之外的功率、范围和准确度、以及FOV的敏感部分(例如,车辆的向前移动方向)的冗余。如图6A中所示,车辆110可以包括用于控制视场120A的扫描的第一处理器118A、用于控制视场120B的扫描的第二处理器118B、以及用于控制扫描两个视场的同步的第三处理器118C。在一个示例中,处理器118C可以是车辆控制器并且可以在第一处理器118A和第二处理器118B之间具有共享接口。共享接口可以使得能够以中间处理级别交换数据以及使得组合视场的扫描能够同步,以便在时间和/或空间空间中形成重叠。在一个实施例中,使用共享接口交换的数据可以是:(a)与重叠视场中和/或其附近的像素相关联的接收信号的飞行时间;(b)激光转向位置状态;(c)视场中物体的检测状态。
图6B图示了视场120A和视场120B之间的重叠区域600。在所描绘的示例中,重叠区域与来自视场120A的24个部分122和来自视场120B的24个部分122相关联。假定重叠区域是由处理器118A和118B定义并知道的,那么每个处理器可以被设计为限制在重叠区域600中发射的光的量,以便符合跨越多个光源的眼睛安全限制,或者出于其它原因(诸如维持光学预算)。此外,处理器118A和118B可以通过扫描单元104A和扫描单元104B之间的松散同步和/或通过控制激光器发送定时和/或检测电路使能定时,来避免由两个光源发射的光之间的干扰。
图6C图示了视场120A和视场120B之间的重叠区域600如何可以被用于增加车辆110的检测距离。与本公开一致,将它们的标称光发射投射到重叠区域中的两个或更多个光源112可以被充分利用,以增加有效检测范围。术语“检测范围”可以包括距离车辆110的近似距离,激光雷达系统100在该距离处可以清楚地检测物体。在一个实施例中,激光雷达系统100的最大检测范围是大约300米、大约400米或大约500米。例如,对于200米的检测范围,激光雷达系统100可以以超过95%、超过99%、超过99.5%的次数,检测距车辆110为200米(或更小)的物体。即使物体的反射率可能小于50%(例如,小于20%、小于10%,或小于5%)。此外,激光雷达系统100可以具有小于1%的误报率。在一个实施例中,可以利用来自从在时间和空间空间中并置的两个光源投射的光来改进SNR,并因此增加位于重叠区域中的物体的服务范围和/或质量。处理器118C可以从视场120A和120B中的反射光中提取高层级信息。术语“提取信息”可以包括通过本领域普通技术人员已知的任何手段,在捕获的图像数据中识别与物体、个体、位置、事件等等相关联的信息的任何处理。此外,处理器118A和118B可以共享高层级信息,诸如物体(道路分隔带、背景、行人、车辆等等)和运动向量,以使每个处理器能够提醒周边区域即将成为感兴趣区域。例如,可以确定视场120A中的移动物体很快进入视场120B。
示例实现:监控系统
图6D图示了激光雷达系统100在监控系统中的实现。如上面所提到的,激光雷达系统100可以固定到静止物体650,该静止物体650可以包括用于旋转激光雷达系统100的壳体以获得更宽视场的马达或其它机制。可替代地,监控系统可以包括多个激光雷达单元。在图6D所描绘的示例中,监控系统可以使用单个可旋转激光雷达系统100,来获得表示视场120的3D数据并且处理3D数据以检测人652、车辆654、环境中的变化或任何其它形式的安全性重要数据。
与本公开的一些实施例一致,可以分析3D数据,以监视零售业务过程。在一个实施例中,3D数据可以用在涉及物理安全性的零售业务过程(例如,检测:零售设施内的入侵、零售设施内或周围的故意破坏行为、对安全区域的未授权接近、以及在停车场的汽车周围的可疑行为)。在另一个实施例中,3D数据可以用于公共安全(例如,检测:人们在商店财产上滑倒和摔倒、商店地板上的危险液体溢出或阻塞、商店停车场中的攻击或绑架、消防通道的阻塞、以及在商店区域或商店外的拥挤)。在另一个实施例中,3D数据可以用于商业智能数据搜集(例如,跟踪通过商店区域的人,以确定例如有多少人通过、他们在哪里停留、他们停留多久、他们的购物习惯与他们的购买习惯相比是什么样子)。
与本公开的其它实施例一致,3D数据可以被分析并用于交通强制执行(enforcement)。具体而言,3D数据可以被用于识别行驶超过合法速度限制或某个其它道路合法要求的车辆。在一个示例中,激光雷达系统100可以被用于检测在红色交通信号灯显示时越过停车线或指定停靠位置的车辆。在另一个示例中,激光雷达系统100可以被用于识别在为公共交通预留的车道中行驶的车辆。在又一个示例中,激光雷达系统100可以被用于识别在红灯时禁止具体转弯的交叉路口处转弯的车辆。
应当注意的是,虽然上面和下面关于控制偏转器的扫描的控制单元描述了各种公开的实施例的示例,但是所公开的实施例的各种特征不限于这样的系统。而是,用于将光分配到激光雷达FOV的各个部分的技术可以适用于其中可以期望或需要将不同量的光引导到视场的不同部分的、基于光的感测系统的类型(激光雷达或其它类型)。在一些情况下,如本文所述,这种光分配技术可以积极地影响检测能力,但是还可以产生其它优点。
基于检测器阵列的扫描激光雷达
许多现存的激光雷达系统提供了将激光闪烁到场景上,其然后产生反射并使用反射来构建场景的图像。但是,这样的系统可能提供低细节(例如,低分辨率)并且可能在测量中不提供冗余。
因此,本公开的系统和方法可以允许在多个检测器的情况下对移动(或扫描)激光光斑(spot)的使用。因而,除了对每个光斑的测量的多样性之外,与现有系统相比,还可以获得更多细节。这种多样性可以提供附加的细节和/或提供冗余测量以用于例如错误校正。
图7图示了使用激光雷达系统检测物体的示例方法700。方法700可以由一个或多个处理器(例如,图1A中描绘的激光雷达系统100的处理单元108的至少一个处理器118和/或图2A中描绘的激光雷达系统100的处理单元108的两个处理器118)执行。
在步骤701,处理器118控制光源(例如,图1A的光源112、图2A的光源112的激光二极管202和/或图2B的多个光源102)的光发射。例如,处理器118可以给光源加电或使光源断电。此外,处理器118可以改变来自光源的脉冲的定时。可替代地或并发地,处理器118可以改变来自光源的脉冲的长度。作为另一个示例,处理器118可以可替代地或并发地改变从光源发射的光脉冲的空间维度(例如,长度或宽度或以其它方式更改横截面积)。在又一个示例中,处理器118可以可替代地或并发地改变来自光源的脉冲的振幅和/或频率。在又一个示例中,处理器118可以改变来自光源的连续波(CW)或准CW光发射的参数(例如,其振幅、其调制、其相位等)。虽然光源可以被称为“激光器”,但是替代光源可以替代地或与激光器并发地使用。例如,基于发光二极管(LED)的光源或类似的光源可以被用作光源。在一些实施例中,光发射的控制可以包括除了光源本身之外还控制发射路径的其它部件的操作。例如,处理器118可以通过控制激光雷达系统的发送路径上的准直光学器件和/或其它光学部件来进一步控制光源。
在步骤703,处理器118通过重复地移动位于光源的外传路径中的至少一个光偏转器(例如,图1A的光偏转器114、图2A的偏转器114A和/或偏转器114B、和/或图2B的单向偏转器114),来扫描视场(例如,图1A和图2A的视场120)。在一些实施例中,至少一个光偏转器可以包括可枢转的MEMS反射镜(例如,图3A的MEMS反射镜300)。
在一些实施例中,处理器118可以移动至少一个光偏转器,使得在视场的单个扫描周期期间,至少一个光偏转器可以位于多个不同的瞬时位置(例如,偏转器可以被控制,使得偏转器在激光雷达FOV的扫描期间从一个瞬时位置或通过一个瞬时位置移动到另一个瞬时位置)。例如,在扫描周期期间,至少一个光偏转器可以从多个位置中的一个位置连续地或非连续地移动到另一个位置(可选地带有附加位置和/或重复)。如本文所使用的,术语“移动”可以指偏转器的物理移动或偏转器的电特性、光学特性的修改(例如,如果偏转器包括MEMS反射镜或者其它压电或热电反射镜、如果偏转器包括光学相控阵(OPA)等等)。至少一个偏转器的移动也可以为了与至少一个偏转器组合的光源而实现。例如,如果激光雷达系统包括垂直腔表面发射激光器(VCSEL)阵列或任何其它类型的光发射器阵列,那么移动至少一个偏转器可以包括修改阵列的活动激光器的组合。在这样的实现中,偏转器的瞬时位置可以由VCSEL阵列(或其它类型的光发射器阵列)的活动光源的具体组合来定义。
在一些实施例中,处理器118可以协调至少一个光偏转器和光源,使得当至少一个光偏转器处于特定的瞬时位置时,光源的外传路径至少部分地与返回路径重合。例如,如图2B中所描绘的,投射光204和反射光206至少部分重合。在这样的实施例中,至少一个偏转器可以包括可枢转的MEMS反射镜。
类似地,在一些实施例中,外传路径和返回路径的重叠部分可以包括公共光偏转元件。例如,如图2B中所描绘的,光偏转器114将投射光朝着视场120引导并将反射光朝着传感器116引导。在一些实施例中,公共光偏转元件可以是可移动的偏转元件(即,可以在多个瞬时位置之间可控地移动的偏转元件)。在一些实施例中,重叠部分可以包括公共光偏转元件的表面的一部分。因而,在某些方面,即使投射光不照射在公共光偏转元件的整个(或几乎整个)范围上,一个或多个反射也可以覆盖公共光偏转元件的整个(或几乎整个)范围。
可替代地或并发地,至少一个光偏转器可以包括至少一个外传偏转器和至少一个返回偏转器。例如,如图2A中所描绘的,外传偏转器114A将投射光204朝着视场120引导,而返回偏转器114B将反射光206从视场120内的物体208引导回来。在这样的实施例中,处理器118可以经由至少一个返回偏转器接收单个光束斑沿着返回路径到传感器的反射,该返回路径与外传路径不重合。例如,如图2A中所描绘的,投射光205沿着与反射光206不重合的路径行进。
光学路径(诸如上面提到的外传路径和返回路径)可以至少部分地位于激光雷达系统的壳体内。例如,外传路径可以包括光源和至少一个光偏转器之间的空间的一部分,和/或可以包括位于壳体内的至少一个光偏转器和壳体的孔之间的空间的一部分。类似地,返回路径可以包括至少一个光偏转器(或分离的至少一个光偏转器)和壳体的孔之间的空间的一部分,和/或可以包括位于壳体内的传感器和至少一个光偏转器(或分离的至少一个光偏转器)之间的空间的一部分。
在步骤705,当至少一个偏转器处于特定的瞬时位置时,处理器118经由至少一个偏转器接收单个光束斑沿着返回路径到传感器(例如,图1A、2A、2B和2C的感测单元106的至少一个传感器116)的反射。如本文所使用的,术语“束斑”可以指来自光源的光束的一部分,其可以生成来自视场的一个或多个反射。“束斑”可以包括单个像素或者可以包括多个像素。因而,“束斑”可以照亮场景的一部分,该部分由激光雷达系统的单个像素或激光雷达系统的若干像素检测到;场景的相应部分可以覆盖整个像素,但不需要为了被那个像素检测到而这样做。此外,“束斑”的尺寸可以比至少一个偏转器的尺寸大、尺寸近似相同或者尺寸小(例如,当束斑被外传路径上的偏转器偏转时)。
在步骤707,处理器118在逐个束斑的基础上,从传感器接收与每个光束斑的图像相关联的信号。例如,传感器可以吸收每个束斑的反射并将吸收的束斑转换成电子(或其它数字)信号以发送到处理器118。因而,传感器可以包括SiPM(硅光电倍增器)或由公共硅基板上的雪崩光电二极管(APD、SPAD等等)的阵列构建的任何其它固态器件、或者能够测量电磁波的特性(例如,功率、频率)并生成与被测量的特性有关的输出(例如,数字信号)的任何其它设备。
在一些实施例中,传感器可以包括多个检测器(例如,图4A的检测阵列400的检测元件402)。在某些方面,每个检测器的尺寸可以小于每个光束斑的图像,使得在逐个束斑的基础上,每个光束斑的图像照射在多个检测器上。因而,如本文所使用的,多个光束斑不需要包括为其投射图像的所有光斑,而是包括比多个检测器大的至少两个光斑。
在一些实施例中,传感器的多个检测器中的每个检测器可以包括一个或多个子检测器。例如,检测器可以包括SiPM,其可以包括多个个体单光子雪崩二极管(SPAD)。在这样的示例中,传感器可以包括多个SiPM检测器(例如,5、10、20个等等),并且每个SiPM可以包括多个SPAD(例如,数十、数百、数千个)。因而,在某些方面,检测器包括最小组,其输出被转换为所生成的输出模型中的单个数据点(例如,所生成的3D模型中的单个数据点)。
在一些实施例中,激光雷达系统可以包括多个光源。在这样的实施例中,处理器118可以并发地控制瞄准公共光偏转器的多个光源的光发射。例如,如图2B中所描绘的,多个光源102瞄准公共光偏转器114。而且,处理器118可以从多个传感器接收与不同光束斑的图像相关联的信号,其中每个传感器沿着不同的返回路径定位。例如,如图2B中进一步描绘的,多个传感器116接收沿着不同返回路径的反射。因此,多个传感器116可以生成与不同光束斑的图像相关联的信号。在一些实施例中,反射也可以被至少一个扫描光偏转器偏转。例如,如图2B中所描绘的,多个扫描光偏转器216在发射到达多个传感器116之前,偏转沿不同返回路径接收的反射。
在一些实施例中,传感器可以包括一维检测器阵列(例如,具有至少四个个体检测器)。在其它实施例中,传感器可以包括二维检测器阵列(例如,具有至少八个个体检测器)。
在步骤709,处理器118根据从在多个检测器上的照射而产生的信号,来确定与单个光束斑的图像相关联的至少两个不同的范围测量。例如,这至少两个不同的范围测量可以与至少两个不同距离对应。在类似的示例中,传感器可以被配置为检测与单个光束斑的至少两个不同飞行时间相关联的反射。在这样的示例中,飞行时间测量可以由于光束斑相对于不同检测器的行进距离的差异而不同。类似地,频率相移测量和/或调制相移测量可以由于相对于不同检测器的距离和/或入射角的差异而不同。
在一些实施例中,可以从由(一个或多个)传感器的两个或更多个检测器(例如,两个或更多个独立采样的SiPM检测器)获取的检测信息,导出至少两个不同的范围测量。此外,这至少两个不同的范围测量可以与关于激光雷达系统的两个不同方向相关联。例如,由(一个或多个)传感器的第一检测器检测到的第一范围测量可以被转换为第一检测位置(例如,在球面坐标中,θ1
Figure BDA0002109505060000533
D1),并且从由(一个或多个)传感器的第二检测器对相同束斑的反射检测到的第二范围测量可以被转换为第二检测位置(例如,在球面坐标中,θ2
Figure BDA0002109505060000534
D2),其中至少两对坐标的任意组合在第一检测位置和第二检测位置之间有所不同(例如,θ1≠θ2,D1≠D2等)。
在至少两个不同的范围测量与至少两个不同距离对应的另一个示例中,这至少两个不同的范围测量可以包括到物体的一部分的第一距离测量和到物体的环境中的元素的第二距离测量。例如,如果束斑既覆盖物体(诸如树、建筑物、车辆等等)又覆盖物体的环境中的元素(诸如道路、人、雾、水、灰尘等等),那么第一范围测量可以指示到物体的一部分(诸如树枝、门、前灯等等)的距离,并且第二范围测量可以指示到背景元素的距离。在至少两个不同的范围测量与至少两个不同距离对应的又一个示例中,这至少两个不同的范围测量可以包括到物体的第一部分的第一距离测量和到物体的第二部分的第二距离测量。例如,如果物体是车辆,那么第一范围测量可以指示到车辆的第一部分(诸如保险杠、前灯等等)的距离,并且第二范围测量可以指示到车辆的第二部分(诸如行李箱把手、车轮等等)的距离。
可替代地或并发地,与单个光束斑的图像相关联的至少两个不同的范围测量可以与至少两个不同的强度对应。类似地,于是,至少两个不同的范围测量可以包括与物体的第一部分相关联的第一强度测量和与物体的第二部分相关联的第二强度测量。
在一些实施例中,处理器118可以并发地确定与第一光束斑的图像相关联的第一多个范围测量和与第二光束斑的图像相关联的第二多个范围测量。在某些方面,第一多个范围测量可以多于第二多个范围测量。例如,如果第一光束斑包括比第二光束斑更多的细节,那么处理器118可以从第一光束斑比从第二光束斑确定更多的范围测量。在这样的示例中,例如,如果第二光束斑被引导到或至少部分地包括天空,那么来自第一光束斑的测量可以包括8个测量,而来自第二光束斑的测量可以包括5个测量。
在一些实施例中,在扫描周期中确定的多个不同的范围测量可以多于多个瞬时位置。例如,处理器118可以为每个瞬时位置确定至少两个不同的范围测量,如上面参考步骤709所解释的。例如,如果传感器包括N个检测器,并且激光雷达系统在每个扫描周期中在偏转器的M个瞬时位置中检测范围,所确定的范围测量的数量可以多达N×M。在一些实施例中,即使当对于FOV的每个部分发射多个脉冲时,每个扫描周期中所发射脉冲的数量也可以低于所生成的点云数据点(或其它3D模型数据点)的数量。例如,如果在每个瞬时位置发射P个脉冲,那么扫描周期的脉冲数量可以是P×M,并且在上述实施例中,P<M。
方法700可以包括附加步骤。例如,方法700可以包括生成输出数据(例如,3D模型),其中不同的测量与相对于激光雷达的不同方向相关联。在这样的示例中,处理器118可以根据不同光束的信息和来自FOV的不同角度的许多像素,来创建3D模型帧(或类似物)。
在某些方面,不同方向可以相对于激光雷达的光学窗口或开口而不同,反射信号通过该光学窗口或开口一路传递到至少一个检测器。例如,在球面坐标中,
Figure BDA0002109505060000541
或θ中的至少一个可以在两个测量之间是不同的。
在一些实施例中,方法700还可以包括从单个光束斑的反射生成多个点云数据条目。例如,处理器118可以从单个光束斑的反射生成多个点云数据条目,如图1B中所描绘的那些。处理器118可以例如使用来自步骤709的至少两个范围测量,从单个光束斑生成多个点云数据条目(诸如2、3、4、8个等)。
多个点云数据条目可以定义二维平面。例如,多个点云数据条目可以形成点云模型的一部分,如图1C中所描绘的。
可以执行方法700,使得在不同时间检测视场的不同部分。因而,可以照亮视场的一部分并且导致确定多个范围测量,而视场的至少一个其它部分不被光源照亮。因而,方法700可以导致扫描视场的一部分,然后对于视场的不同部分重复该动作,从而导致视场的多个“扫描内的扫描”,如在图10B和10C的示例中所描绘的。
如上面所解释的,图4C是图示可以在图7的方法700中使用的二维传感器116的示例的图。图8A描绘了用于代替图4C的传感器116或与其组合使用的替代传感器800。例如,图4C的示例中的检测器410是矩形的,而图8A的示例描绘了由个体检测器(诸如检测器846)组成的多个六边形像素(例如,像素844)。类似地,图8B描绘了用于代替图4C的传感器116和/或图8A的传感器800或与其组合使用的替代的一维传感器850。在图8B的示例中,像素(例如,像素854)的一维列由个体检测器(诸如检测器856)组成。虽然在图8B中被描绘为一维垂直列,但是另一个实施例可以包括检测器的一维水平行。
图9A和9B是图示使发送和反射对准的示例激光雷达设备的框图。图9A和9B的激光雷达系统900和900'表示图1的激光雷达系统100的实现。因而,关于图1A-C讨论的功能和修改可以类似地应用于图9A和9B的实施例,反之亦然。例如,如图9A和9B中所描绘的,激光雷达900和900'可以包括至少一个光子脉冲发射器组件910,用于发射光子检查脉冲(或多个脉冲)。发射器910可以包括图1A、2A或2B的具有至少一个光源112的投射单元102。
如图9A和9B中进一步描绘的,激光雷达900和900'可以包括至少一个光子转向组件920,用于在被扫描的场景片段的方向上引导光子检查脉冲,并且用于将反射的光子朝着光子检测组件930导引。转向组件920可以包括可控制地可转向的光学器件(例如,旋转/可移动的反射镜、可移动的透镜等等),并且还可以包括固定的光学部件(诸如分束器)。例如,图2A的偏转器114A和114B和/或图2B的公共光偏转器114和多个扫描光偏转器216可以包括在转向组件920中。一些光学部件(例如,用于激光脉冲的准直)可以是发射器910的一部分,而其它光学部件可以是检测器930的一部分。
在图9A和9B中,激光雷达900和900'还可以包括至少一个光子检测组件930,用于检测从被扫描场景的物体反射回来的光子检查脉冲的光子。检测组件930可以例如包括二维传感器932(诸如图4C的传感器116和/或图8的传感器800)。在一些实施例中,检测组件930可以包括多个二维传感器。
如图9A和9B中所描绘的,激光雷达900和900'可以包括用于控制转向组件920和/或发射器910和/或检测器930的控制器940。例如,控制器940可以包括至少一个处理器(例如,如图1A中所描绘的激光雷达系统100的处理单元108的处理器118和/或图2A中所描绘的激光雷达系统的处理单元108的两个处理器118)。控制器940可以以各种协调的方式控制转向组件920和/或发射器910和/或检测器930,如上面和下面所解释的。因而,控制器940可以执行本文公开的方法的全部或部分。
如图9B中所描绘的,激光雷达900'还包括至少一个视觉处理器950。视觉处理器950可以从光子检测器930获得收集数据,并且可以处理收集数据以便从其生成数据。例如,视觉处理器950(可选地与控制器940组合)可以从收集数据生成点云数据条目和/或从中生成点云数据模型。
在激光雷达900和900'两者中,使用控制器940(以及可选地用于激光雷达900'的视觉处理器950)来协调发送(TX)和反射(RX)。这种协调可以涉及使用多个光偏转器之间的协调的发送和反射两者的同步偏转、和/或使用共享偏转器内的协调的发送和反射两者的同步偏转。同步可以涉及(一个或多个)光偏转器的物理移动和/或压电/热电调节。
图10A图示了示例第一FOV 1000以及第二FOV 1002和1004的若干示例。任何FOV的角尺寸和像素维度可以与图10A中提供的示例不同。
图10B图示了图10A的第二FOV 1002跨越图10A的第一FOV 1000的示例扫描模式。如图10B中所描绘的,第二FOV 1002可以被扫描,并且然后以水平模式从右向左移动,然后跨FOV 1000以对角线模式从左向右移动。这些模式仅仅是示例;本公开的系统和方法可以使用任何模式用于跨第一FOV移动第二FOV。
图10C图示了第二FOV 1006跨越图10A的第一FOV 1000的示例扫描模式。如图10C中所描绘的,第二FOV 1006可以被扫描,并且然后跨FOV 1000以水平模式从右向左移动。这种模式仅仅是示例;本公开的系统和方法可以使用任何模式用于跨第一FOV移动第二FOV。参考图10B和10C的示例,要注意的是,图中使用的阵列尺寸仅用作非限制性示例,就像图10A的非限制性示例一样,并且每个阵列中像素的数量可以显著更低(例如,2x3,3x5等等)、显著更高(例如,100x100等等),或者介于两者之间的任何值。
在图10C的示例中,第二FOV 1006具有与第一FOV 1000的高度对应的高度。因而,如图10C中所示,通过将第二FOV的至少一个对应维度与第一FOV匹配,可以要求第二FOV跨越第一FOV的较低扫描速率。因而,与本公开一致的激光雷达系统可以包括1D传感器阵列,其维度与第一FOV的至少一个维度对应。
回到图10B的示例,第二FOV 1002在两个维度上都小于第一FOV 1000。这可以允许激光雷达系统将更多能量集中在更小的区域,这可以改进信噪比和/或检测距离。
通过跨第一FOV扫描第二FOV,本公开的系统可以允许以相对低物体拖尾生成3D模型,这部分地是因为可转向的2D传感器阵列可以并发地检测物体的较大部分。可以跨传感器阵列的一个或多个轴上(例如,(X,Y)、(φ,θ))和/或跨深度轴(例如,Z、r)实现降低的拖尾水平。低水平的拖尾可以产生更高的检测准确度。
跨第一FOV扫描第二FOV还可以允许以相对低的频率进行扫描(例如,如果在传感器阵列中实现10个垂直像素,那么在垂直轴处以大约10倍更低的频率移动反射镜)。较慢的扫描速率可以允许使用较大的反射镜。
跨第一FOV扫描第二FOV还可以允许使用比现存系统中更弱的光源,这可以降低功耗,产生更小的激光雷达系统,和/或改进眼睛安全和其它安全考虑。类似地,与现存系统相比,跨第一FOV扫描第二FOV可以允许使用相对小的传感器,这可以减小系统的尺寸、重量、成本和/或复杂性。它还可以允许使用比现存系统中更灵敏的传感器。
跨第一FOV扫描第二FOV还可以允许收集较少的环境光和/或噪声。与现存系统相比,这可以改进信噪比和/或检测距离。
基于检测结果的激光雷达中的选择性照明
如上所述,激光雷达系统100可以被用于生成场景内检测到的物体的深度图。这样的深度图可以包括点云模型、多边形网格、深度图像或场景的任何其它类型的3D模型。但是,在一些情况下,激光雷达系统可以检测到特定场景中或特定距离范围内的少于全部的物体。例如,虽然相对靠近激光雷达系统的物体可以被检测到并包括在场景的3D重构中,但是其它物体(例如,包括更小、更不反射的或更远等等的物体)可能对于激光雷达系统的特定操作参数集未被检测到。此外,在一些情况下,系统的信噪比可以小于期望或低于使得能够检测激光雷达系统的视场中的物体的水平。
在某些实施例中,当前描述的激光雷达系统(包括上述任何配置)可以在FOV的当前扫描期间或者在FOV的任何后续扫描期间,使得激光雷达系统的一个或多个操作参数能够变化,以便动态地改变到激光雷达FOV的不同部分的光通量。在这样做时,激光雷达系统100可以提供增加在FOV内检测到的物体的数量的能力。激光雷达系统100还可以使得信噪比能够增加(例如,来自激光雷达系统与例如其它噪声或干扰源(诸如太阳光(或其它照明源)和与检测电路相关联的电噪声)的照明比)。增加信噪比可以增强系统灵敏度和分辨率。通过在激光雷达FOV的不同区域处提供的光通量的这种动态变化,可以生成来自激光雷达系统的环境的深度图(或场景的其它表示),其包括可以否则会不被检测到的一个或多个物体的表示。
虽然对于动态地更改到被扫描FOV的某些区域的光通量,存在许多不同的可能性,下面将更详细地讨论其若干示例,但是光通量的这种动态变化可以包括在被扫描FOV内检测到物体的地方减少或维持光通量水平,而在未检测到物体的区域中增加光通量。光通量的这种增加可以使得能够检测更远的物体或更不反射性的物体。光通量的这种增加还可以增强被扫描FOV的特定区域中的信噪比。如上所述,这些效果可以使得能够在激光雷达系统的环境中生成物体的深度图,该深度图提供更完整的信息。除了在与固定光通量扫描相关联的某个范围内可检测的物体之外,系统还可以通过在扫描期间动态调节光通量来识别其它物体。
如上所述,激光雷达系统100可以包括投射单元102,其包括至少一个光源112。处理单元108可以被配置为协调光源112和任何其它可用光源的操作。在一些情况下,处理单元108可以以在使用来自至少一个光源112的光对激光雷达系统的视场进行扫描时使得光通量能够变化的方式来控制光源112。处理单元108还可以控制扫描单元104的偏转器114,以便偏转来自至少一个光源112的光,以便扫描视场。并且如前所述,处理单元108可以与感测单元106交互,以便监视来自被扫描的FOV中的各种物体的反射(例如,基于由反射入射在其上的一个或多个传感器生成的信号)。基于监视到的反射,处理单元108可以生成与被扫描的FOV相关联的场景的深度图或其它重构。例如,处理单元108可以使用与视场的第一部分的扫描相关联的第一检测到的反射,来确定第一部分中第一距离处第一物体的存在。在FOV的扫描期间,处理单元108可以确定视场的第二部分中第一距离处不存在物体。例如,处理单元108可以通过处理在一段时间内接收的传感器检测信号来确定第二部分中不存在物体,该时间段对应于或包括沿着等于第一距离的两倍的距离的光的传播时间(因为,如果物体存在于第一范围内,那么反射光需要行进到物体并从物体返回),如从光朝着视场的第二部分发射开始所测量的。在检测到第一反射并确定第二部分中不存在物体之后,处理单元108可以更改例如与至少一个光源112相关联的光源参数,使得比朝着视场的第一部分投射的光更多的光朝着视场的第二部分投射。处理单元108还可以使用视场的第二部分中的第二检测到的反射,来确定大于第一距离的第二距离处第二物体的存在。
在激光雷达系统FOV的扫描期间,处理器单元108可以控制与可用光源112相关联的一个或多个参数,以便改变提供(例如,投射)到FOV的某些区域的光通量的量。在一些情况下,光通量的改变可以包括FOV的一个区域中的光通量相对于FOV的另一个区域中提供的光通量的量的增加。光通量的改变还可以包括在特定时间段内提供的光量相对于另一个时间段(例如,在FOV的特定区域内)的增加。与投射或供给特定区域的更多光对应的光通量的增加可以包括投射光的各种定量特点。例如,光通量的增加可以导致或可以与以下项的对应增加相关联:每立体角的功率、相对于FOV部分的辐照度、投射的光脉冲的数量、每像素的功率、每单位时间的光子数量、每个扫描周期的光子数量、在某个时间段内的合计能量、在单个扫描周期内的合计能量、通量密度(例如,以W/m2为单位测量)、所生成的点云模型中每数据点发射的光子数量、所生成的点云模型中每数据点的合计能量、或增加光通量的任何其它特点。
由处理单元108控制以偏转来自至少一个光源112的光的偏转器114可以包括用于改变入射在偏转器上的光的至少一部分的光学路径的任何合适的光学元件。例如,在一些实施例中,偏转器114可以包括MEMS反射镜(例如,可枢转的MEMS反射镜)。偏转器可以包括其它类型的反射镜、棱镜、可控透镜、机械反射镜、机械扫描多边形、有源衍射元件(例如,可控LCD)、Risley棱镜、非机械电光束转向器、偏振光栅、光学相控阵(OPA)或任何其它合适的光转向元件。
可选地,在检测到第一物体之后,处理单元108可以控制至少一个光源112和/或至少一个偏转器,使得用于检测第二物体的、朝着FOV的第二区域的所有发射都在附加的光被发射到第一部分(例如,在稍后的扫描周期)之前被发射。
扫描激光雷达FOV并动态改变提供给激光雷达FOV的某些区域的光通量的这种技术将参考图11和12更详细地描述。图11提供了可以使用处理单元108控制一个或多个光源112和至少一个偏转器114而被扫描的FOV 120的图解表示。例如,如前所述,可以通过移动偏转器114通过多个瞬时位置来扫描FOV,每个瞬时位置与FOV 120的特定部分122对应。要注意的是,FOV 120可以包括多个基本相等尺寸的部分122(例如,由相同的立体角定义)。但是,不必如此。应当注意的是,在FOV 120的扫描期间,偏转器114可以在每个瞬时位置停留预定的时间量。在那个时间期间,光可以以连续波、单脉冲、多脉冲等等投射到FOV 120的对应部分122。而且,在特定瞬时位置的预定停留时间期间,从场景中的物体反射的光也可以使用偏转器114(例如,在收发合置实施例中)被引导到一个或多个检测器单元。可替代地,在FOV 120的扫描期间,偏转器114可以连续地(或半连续地)移动通过多个瞬时位置。在这种连续或半连续扫描期间,光可以以连续波、单脉冲、多脉冲等等投射到FOV 120的瞬时部分122。而且,在这种连续或半连续扫描期间,从场景中的物体反射的光也可以使用偏转器114被引导到一个或多个检测器单元(例如,在收发合置实施例中)。
FOV 120的扫描可以例如通过将来自光源112的光投射到FOV 120的区域1102、收集来自区域1102的反射光、以及基于投射光和反射光执行飞行时间分析以确定到区域1102内产生反射的一个或多个物体的距离来进行。在从区域1102收集到反射光之后,处理单元108可以使偏转器114移动到FOV 120的另一个区域(例如,相邻区域或某个其它区域)并重复该处理。可以以这种方式扫描整个FOV 120(例如,从区域1102移动到1104,然后扫描所有附加行,以在区域1106处结束)。虽然与图11相关联的扫描模式对于从顶行开始的每个连续行可以从左到右然后从右到左,但是任何合适的扫描模式都可以用于扫描FOV 120(例如,在任一个或两个水平方向上逐行地;在任一个或两个垂直方向上逐列地;对角线地;或通过选择任何个体区域或区域的子集)。并且还如前所述,可以基于反射和到物体的距离确定来生成深度图或任何类型的重构。
处理单元108可以以任何合适的方式控制偏转器114,以使得偏转器114能够将来自光源112的光重定向到FOV 120的各个区域122。例如,在一些实施例中,至少一个处理器118可以被配置为控制至少一个光偏转器114,使得至少一个光偏转器在两个正交轴上或沿着两个基本垂直的轴枢转。在其它实施例中,至少一个处理器118可以被配置为控制至少一个光偏转器114,使得至少一个光偏转器沿着两个线性独立的轴枢转,这可以使得能够进行二维扫描。这种偏转器移动可以通过上述任何技术获得。此外,在一些情况下,处理单元108可以控制可旋转马达,以使至少一个光偏转器转向。
随着FOV 120的扫描进行,来自FOV中的一些特定区域(例如,区域122)的光反射可以被用于确定FOV的特定区域内物体的存在。例如,在区域1108的扫描期间,从小汽车1110接收的反射可以使处理单元108能够确定区域1108内的物体(即,小汽车)的存在并且还确定到那个物体的距离。作为区域1108的扫描的结果,处理单元108可以确定物体存在于那个区域内并且该物体相对于激光雷达系统100的主机位于距离D1处。要注意的是,可选地,处理单元108可以为FOV的区域确定多于单个距离。例如,如果两个或更多个物体在同一个FOV中反射光(例如,在图12的区域1120中,来自小汽车1202和道路两者的反射可以被接收和分析),或者如果反射物体位于从一距离范围反射光(例如,从倾斜的表面)的途中,那么会发生这种情况。
但是,FOV 120的其它区域的扫描可能不会导致可观察到的反射的返回。在这种情况下,处理单元108将不会检测那些区域内物体的存在。例如,如图11中所示,FOV 120的区域1120和1122在那些区域的相应扫描期间没有返回可观察到的反射。因此,基于接收到的反射和对于FOV 120的区域执行的距离分析而创建的深度图将不显示区域1120或1122内任何物体的存在。处理单元108可以基于区域1120或1122(以及其它非反射区域)内可用反射的不存在,来确定在那些区域中在激光雷达系统100对于给定的操作参数集是敏感的一距离范围处不存在物体。例如,因为处理单元108可以基于从区域1108接收的反射,来确定小汽车1110(或至少小汽车的一部分)存在于那个区域1108中在距离D1处,所以处理单元108可以确定在区域1120中在相对于激光雷达系统100的距离D1处不存在任何物体。这种确定可以基于如下假设:在区域1120中在距离D1处如果已经存在任何物体(并且假设这些物体具有类似于小汽车1110的反射率特点),那么处理单元108将会像在区域1108中那样识别出那些物体的存在。
值得注意的是,在FOV 120的特定区域中确定不存在物体可以基于激光雷达系统对于特定操作参数集的检测能力。改变那些操作参数,尤其是以可以增加激光雷达系统的检测灵敏度(例如,增加信噪比)的方式,可以导致在改变操作参数之前在没有检测到物体的区域中识别出物体。
在FOV的、处理单元108确定距离D1处不存在物体的区域(例如,区域1120或1122)中,处理单元108可以更改光源参数,使得比投射到FOV的检测到了物体的区域的光更多的光朝着FOV的一个或多个区域投射。关于图11中所示的示例,在未在区域1120中检测到任何物体(或者在距离D1处或者在其它地方)之后,处理单元108可以更改光源参数,使得比被引导到区域1108(在其中检测到汽车1110的一部分)的光更多的光被投射到区域1120。提供给区域1120的光量的这种增加可以增加那个区域中的信噪比,可以增加那个区域中的激光雷达系统灵敏度,可以使系统能够检测具有较低反射率的物体,和/或可以使系统能够检测可能位于更远处的物体(例如,在大于D1的距离处)。
各种光源参数可以被更改,以便使得供给FOV的特定区域的光量增加。例如,处理单元108可以使光源112增加连续波发射的持续时间、增加光脉冲的总数、增加发射光的总光能、和/或增加投射到FOV的特定区域的一个或多个光脉冲的功率(例如,峰值功率、平均功率等等)。附加地或可替代地,可以增加每扫描的光脉冲重复次数,使得与FOV的另一个区域相比,更多的光脉冲被提供给FOV的一个区域。更广泛地,例如,在确定特定区域中特定距离或距离范围处不存在物体之后,或者基于与关于FOV的某个区域的检测结果有关的任何其它标准,任何光源参数可以被调节,使得被引导到视场的一部分(例如,区域1120)的光通量与被引导到视场的另一个部分(例如,区域1108)的光通量不同(例如,更大)。如前所述,对投射到特定区域的更多光的参考可以包括以下当中的至少一个:每立体角提供的附加功率、相对于部分尺寸的增加的辐照度、附加的光脉冲、每像素的更多功率、对于给定时间段的更多光子、在预定义时间段内能量合计的增加、更高的通量密度W/m2、每个扫描周期的更多光子数量、在某个时间段内更多的合计能量、在单个扫描周期内更多的合计能量、所生成的点云模型中每数据点发射的更多光子数量、所生成的点云模型中每数据点的更多合计能量,等等。
响应于任何观察到的标准,可以发生各种光源参数的更改。例如,可以发射至少一个导脉冲,并且可以基于所获取的至少一个导脉冲的反射来观察检测结果。在其中发射了至少一个导脉冲的特定区域的检测结果指示没有物体存在、没有物体存在于特定距离(例如,D1)处、存在的物体少于预期、没有检测到超出特定距离范围的物体、检测到低反射率物体、低信噪比(或任何其它合适的标准)的情况下,那么处理单元108可以使用上述任何技术(更长的连续波、增加的脉冲、更高的功率等等)或导致更多的光被供给特定区域的任何其它技术来使更多光被供给特定区域。在一些情况下,“导脉冲”可以指光的脉冲,其被检测到的反射旨在用于决定随后的光发射(例如,在同一扫描期间到FOV的同一区域)。要注意的是,导脉冲可以比后续光发射的脉冲的能量低,但不必如此。在一些情况下,导脉冲可以与提供给激光雷达FOV的特定区域的(发射序列中的)任何初始光脉冲相对应。
各种光源参数的更改也可以作为预定操作序列的一部分发生。例如,在一些实施例中,FOV 120的一个或多个区域122的预定照明序列可以包括朝着FOV 120的一个或多个区域122提供指定系列的光脉冲。第一光脉冲可以包括相对低的功率,并且一个或多个后续脉冲可以包括比第一发射脉冲更高的功率电平。在一些情况下,可以以逐渐增加的功率电平,来发射光脉冲。不过,要注意的是,系列的脉冲可以具有相似的每脉冲功率电平,并且在扫描期间以累积发射量实现光量的增加。
提供给FOV的特定区域的光量的增加可以在激光雷达系统100的操作期间的各种时间发生。在一些实施例中,供给特定区域的光相对于FOV的另一个区域的增加可以在FOV的当前扫描期间发生。即,在FOV的特定扫描期间,供给FOV的与偏转器114的特定瞬时位置相关联的一部分的光量可以大于在FOV的该特定扫描期间提供给FOV的与偏转器114的不同瞬时位置对应的一部分的光量。因此,在一些实施例中,处理单元108可以被配置为更改光源参数,使得在确定了在FOV的其它区域中(例如,在特定距离处)不存在物体的相同扫描周期中,朝着FOV的特定区域投射更多的光(例如,每立体角更多的辐照度)。
可替代地,与FOV的另一个区域相比,供给特定FOV区域的光的增加可以在FOV的不同扫描期间发生。换句话说,可以执行FOV的完整扫描,并且在FOV的后续扫描中,基于FOV的先前扫描的结果,与FOV的其它区域相比,可以将更多的光供给FOV的一个或多个区域。在一些情况下,在返回到FOV的特定部分且相对于供给FOV的另一个部分的光量增加提供给特定区域的光量之前,可以不必要对FOV进行完整扫描。而是,这种增加甚至可以在返回到FOV的特定区域并增加在那里供给的光量之前对FOV进行了部分扫描之后发生,这种增加或者是相对于在先前扫描(或部分扫描)期间供给那个区域的光量、或者是相对于提供给FOV的另一个区域的光量。
供给FOV的特定区域(诸如区域1120)的光量的增加可以导致附加的反射,从该反射是有可能检测到物体的。鉴于供给特定区域的光量的增加,可以有可能增加从那个区域收集的光的信噪比。由于改进的信噪比和/或鉴于可用于检测的附加光(至少在一些情况下包括更高功率的光),可以有可能在与基于在特定FOV区域中使用较低量的光所可能的相比,在更远离激光雷达系统的距离处检测到物体的存在。
作为说明性示例,在一些实施例中,图11中的FOV 120的扫描可以使用供给FOV的每个具体区域122的预定或缺省量的光开始。如果在特定区域(例如,诸如区域1108)中检测到物体,那么处理单元108可以将偏转器114移动到另一个瞬时位置,以便检查FOV 120的另一个区域,而不将附加的光发射到上面提到的区域(例如,区域1108)。在特定区域(诸如区域1120)中没有检测到物体的情况下,处理单元108可以使附加量的光被供给那个区域。可以在FOV的当前扫描期间并且在偏转器114移动到新的瞬时位置之前,提供增加量的光。可替代地,可以在FOV 120的后续扫描或部分扫描期间,进行例如到区域1120的光量的增加。在一些情况下,供给区域(诸如区域1120)的光量的增加可以导致检测到在使用较少量的光检查特定FOV区域期间未曾检测到的物体。在FOV 120的部分扫描期间提供附加光的示例是:在第一方向扫描的同时向一行的每个区域发射导脉冲,并且在向相反方向往回扫描的同时向确定不存在物体的区域发射附加的光,并且只有这时才发起另一个行的扫描。
在说明性示例中,如果基于一个或多个导脉冲,在区域1120中没有检测到物体,或者在区域1120中超过某个距离(例如,小汽车1110被确定所在的距离D1)没有检测到物体,那么可以使用任何先前描述的技术增加到区域1120的光量。例如,在一个实施例中,可以向区域1120提供一个或多个附加的光脉冲(可选地,以比导脉冲更高的功率电平)。这些附加的光脉冲各自可以导致可由感测单元106检测的后续反射。因此,如图12中所示,可以检测到诸如小汽车1202之类的物体。在一些情况下,这个物体(诸如小汽车1202)可以位于距离D2处,该距离D2大于先前在相同区域或不同区域中检测到了物体的距离(例如,小汽车1110位于距离D1处并且占据FOV的区域1108和附近区域)。因此,在具体(和非限制性)说明性示例中,提供给区域1120的光的初始导脉冲及其后续反射可能不会导致在距离D1处检测到任何物体,该距离D1是在区域1108中基于例如提供给区域1108的导脉冲而曾检测到小汽车1110的距离。响应于观察到在区域1120中距离D1处不存在物体,一个或多个附加脉冲(可选地,更高功率的脉冲或加长的连续波等等,但是不必如此)可以被供给区域1120,以便向区域1120提供更多的光。基于提供给区域1120的这一个或多个附加脉冲及其相应的后续反射,可以在大于距离D1的距离D2处确定存在物体(诸如小汽车1202),其中在距离D1处在区域1108中曾检测到小汽车1110。
应当注意的是,光量的增加和为提供光量增加而选择的具体协议可以是FOV的特定区域(诸如区域1120)所独有的,该区域可以与偏转器114的特定瞬时位置对应。可替代地,为增加光而选择的具体协议可以不限于FOV的特定区域(诸如区域1120),而是可以由FOV的多个区域共享。例如,FOV 120的区域1204(在图12中由虚线围绕)可以包括FOV的四个特定区域,每个区域与偏转器114的不同瞬时位置对应。在一些实施例中,为增加到FOV区域1204的任何一个子区域的光而选择的协议可以跨所有子区域相同。因此,将公共的光增加协议应用于FOV区域1204的每个子区域可以导致在子区域中在相似距离或距离范围处检测到多个物体或单个物体。例如,如图12中所示,通过跨FOV区域1204的子区域应用公共的光增加协议,小汽车1202的部分(例如,在距离D2处,距离D2大于曾检测到小汽车1110的距离D1)可以在FOV区域1204的每个不同子区域中被检测到。应当注意的是,可选地,是否增加FOV的一个区域中的光发射的决定可以(至少部分地)取决于FOV的另一个区域的反射检测信息。
除了通过增加到FOV的特定区域的光来提供检测更远距离物体的能力之外,还可以由于光的增加而检测到其它物体。例如,如图11中所示,供给区域1122的光的导脉冲可能不会导致在区域1122中检测到任何物体。但是,供给区域1122的光的后续增加和至少一个所得的反射可以使得能够在区域1122中检测到物体(诸如如图12中所示的乌龟1206)。虽然乌龟1206可以位于小于D1的距离D3处(例如,比小汽车1110更靠近激光雷达系统),但是乌龟1206可以具有低于小汽车1110的反射率,因此,可能响应于供给区域1122的初始导脉冲而未被检测到(乌龟1206的较低反射率可以是例如其相对于区域112的部分尺寸和/或其壳的较低反射率因子的结果)。例如,提供给区域1122的一个或多个后续光脉冲以及它们相应的反射可以使得能够检测到较低反射率的乌龟1206。这种增加到FOV区域的光的方法可以使得能够检测到基于供给FOV区域的初始光量而未曾被检测到的各种物体。例如,可以使用这种技术,检测诸如道路1214的远距离路缘1208和1210和/或地平线1212(在大于D1、D2和D3的距离D4处)之类的物体。同时,对于FOV的其中使用初始脉冲(或可用光学预算的一部分)检测到了诸如小汽车1110或树1216之类的物体的区域,可能不需要附加的光增加,并且FOV扫描可以在偏转器114的不同瞬时位置继续。
虽然在FOV的特定区域中检测到物体之后,偏转器114可以移动到新的瞬时位置而无需进一步的光发射,但是在一些情况下,可以在偏转器仍然将光朝着FOV的对应特定区域引导的同时发射附加的光。由补充光产生的反射可以提供关于FOV的特定区域的进一步信息和/或确认基于提供给相同区域的较低水平的光进行的检测。例如,在图11和12的说明性示例中,可以定位偏转器114,以便向区域1120提供导脉冲。所得的反射可能不会导致区域1120中任何物体的检测。接下来,第二脉冲可以被提供给区域1120(例如,以比导脉冲更高的功率电平)。来自第二脉冲的反射可以使得能够在距离D2处检测到小汽车1202,距离D2比基于提供给区域1108的导脉冲的反射而曾检测到小汽车1110的距离D1大。但是,并非在那个区域中检测到小汽车1202之后从区域1120移动,而是偏转器114可以保持在其与区域1120对应的瞬时位置。可以向区域1120提供第三脉冲(可选地,以比第二脉冲更高的功率)。第三脉冲的后续反射可能不会导致在区域1120中检测到任何额外的物体(尽管可能会)。但是,第三脉冲的反射可以使得能够确认在区域1120中在距离D1处不存在物体的确定(例如,基于第二脉冲的反射)。第三脉冲的反射还可以使得能够确认如基于供给区域1120的第二脉冲的反射所确定的、在距离D2处检测到小汽车1202。要注意的是,可能地,第一、第二和第三脉冲的反射都不可以使得能够在相应区域中检测到物体,而所有反射的组合可以。这可以是SNR改进的结果。另一个示例是决策算法,该算法可以检查跨若干脉冲的检测的一致性。
应当注意的是,提供给FOV 120的特定区域的光量的增加(无论是相对于提供给FOV的其它区域、还是相对于在FOV的相同或更早扫描期间提供给FOV的特定区域的光量)可以根据任何期望的协议进行。这样的协议可以适用于FOV中的所有区域、FOV的一些区域或FOV的单个区域。用于选择性地增加到FOV的任何部分的光的协议可以是预定的,或者可以在FOV的扫描期间基于例如在FOV扫描期间遇到的各种标准(例如,特定区域中物体的检测等等)来开发的。在由于特定的投射光量而在特定区域中检测到物体的情况下,在FOV的后续扫描期间,可以向该特定区域提供类似量的光。这种方法可以通过潜在地消除使用增加量的光来搜索物体的需要,来加速物体检测和FOV的扫描。但是,在一些情况下,可能期望在FOV的后续扫描中,返回到将较低水平的光应用于特定FOV区域。例如,在激光雷达系统朝着先前检测到的物体移动的情况下,可以有可能地,并非以用于其原始检测的较高光量、而是使用较低量的光,再次检测到该物体。
通过在激光雷达系统FOV的扫描期间改变提供给不同区域的光量,可以改进激光雷达系统的检测能力和/或分辨率。并且基于在FOV的每个不同区域中检测到的物体,可以使用任何合适的技术生成与FOV相关联的场景的三维地图或重构。例如,在一些实施例中,可以生成示出FOV内检测到的物体的一些或全部的点云。返回图12的示例,点云(或其它3D构建)可以示出距离D1处的小汽车1110、距离D2处的小汽车1202以及距离D3处的乌龟1206,其中D3<D1<D2。在3D构建中表示的每个检测到的物体可以与特定检测方向(
Figure BDA0002109505060000681
\θ或x\y)或角度范围相关联。
基于FOV的不同部分中物体的检测和物体的不存在、朝着FOV的不同部分选择性地发射光可以允许激光雷达系统100实现若干能力,诸如以下当中的任何一个或多个:(a)通过潜在地消除使用增加的光量来搜索物体的需要,来加速物体检测和FOV的扫描,(b)减少用于跨FOV进行检测的总能量,(c)允许将能量配发转移到它可以在其中具有更大影响的区域,(d)例如,通过在已知物体所存在的方向上减少过多(excessive)光发射,来减少激光雷达系统的环境影响,以及(e)减少对于处理多余检测信号的处理要求。
图13提供了用于使用激光雷达系统检测物体的方法1302的流程图表示。在以与当前公开的实施例一致的方式操作激光雷达系统100期间,任何或所有步骤可以包括以使得光通量能够使用来自至少一个光源的光对视场进行扫描时变化的方式,控制至少一个光源。任何或所有操作步骤还可以包括控制至少一个光偏转器以偏转来自至少一个光源的光,以便扫描视场。在步骤1308,方法1302可以包括使用与视场的第一部分的扫描相关联的第一检测到的反射,来确定第一部分中第一距离处第一物体的存在。在步骤1310,方法1302可以包括确定视场的第二部分中第一距离处不存在物体。在步骤1312,方法1302可以包括改更改光源参数,使得在检测到第一反射和确定第二部分中不存在物体之后,朝着视场的第二部分投射比朝着视场的第一部分投射的光更多的光。在步骤1314,方法1302可以包括使用视场的第二部分中的第二检测到的反射,来确定大于第一距离的第二距离处第二物体的存在。应当注意的是,为了在第二部分中检测到第二物体而增加光通量可以在FOV的当前扫描期间或在FOV的后续扫描期间进行。可选地,如果在阶段1308的检测之后执行阶段1310、1312和1314,那么在将附加的光发射到第一部分(例如,在以后的扫描周期)之前,将在第二物体的检测中使用的、朝着第二FOV部分的所有发射进行发射。
在一些实施例中,该方法可以包括在多个扫描周期内扫描FOV 120,其中单个扫描周期包括跨多个瞬时位置移动至少一个光偏转器。当至少一个光偏转器位于特定瞬时位置时,该方法可以包括将来自至少一个光源的光束朝着视场中的物体偏转,并且将接收到的来自物体的反射朝着至少一个传感器偏转。
用于激光雷达检测的增量通量分配
如上所述,当在激光雷达FOV的第二区域中在第一距离D1处没有检测到物体时,到那个区域的光通量可以变化,其中在激光雷达FOV的不同区域中检测到一个或多个物体。但是,附加地,在一些实施例中,基于在激光雷达FOV的特定区域中在任何距离处是否检测到物体,到那个区域的光通量可以变化。例如,基于提供给激光雷达FOV的特定区域的第一光量,处理器118可以确定在距激光雷达系统100距离S1内没有物体驻留在那个区域中。响应于这样的确定,处理器118可以使更多的光被提供给FOV的该特定部分。随着光的增加,处理器118可以确定在距激光雷达系统100距离S2内没有物体驻留在该特定区域中,其中S2>S1。响应于这样的确定,可以向激光雷达FOV的该特定区域提供甚至更多的光,并且响应于光的这种增加,处理器118可以检测到在距激光雷达系统100距离S3处一个或多个物体的存在,其中S3>S2>S1。因此,提供给激光雷达FOV的特定区域的光的这种增加可以增强激光雷达系统在该特定区域内的检测能力。此外,使用所公开的渐变照明方案允许在有限的功耗下实现远程处的检测。
图14提供了激光雷达视场1410和可由激光雷达系统100生成的相关联深度图场景表示的图解表示。如图所示,在范围S0内相对接近激光雷达系统100(从图14中的视点来看)的距离处,可以检测到场景中的物体。取决于激光雷达系统100的操作参数,范围S0可以覆盖变化的距离间隔。在一些情况下,S0可以表示0m至10m之间的范围。在其它情况下,S0可以与0m到20m、30m、50m等等的范围对应。
在一些情况下,激光雷达系统可以确定在视场的第一部分中在第一距离S1处不存在检测到的物体。例如,如图14中所示,基于投射到激光雷达FOV1410的特定区域1412的光(例如,第一光发射),激光雷达系统可以识别各种前景物体(诸如道路1414的表面、路缘1416、和/或人行道1418的表面)。但是,激光雷达系统100的处理器118可能未在区域1412中在距离S1处检测到任何物体。即,处理器118可以确定:在区域1412中在距离S1处(以及可能更远处)不存在物体。在一些实施例中,距离S1可以大于距离S0。例如,S0可以包括在0m到20m的距离S1之间的范围。在一些示例中,S1可以等于距离S0和/或小于距离S0。例如,如果相关场景(例如,环境光条件)中的第一光发射将会允许检测到距激光雷达系统直至大约40米的给定反射率物体,那么第一光发射可以允许系统确定在距离20m、30m、39m以及有可能甚至40m的距离内不存在具有至少这种反射率的物体。
激光雷达系统100在区域1412中在距离S1处没有检测到物体可以有几个原因。例如,在一些情况下,在那个区域中在距离S1处可以不存在任何物体。但是,在其它情况下,投射到区域1412的光量可能不足以检测距离S1处的物体,无论是因为那些物体的特征为低反射率的、还是因为距离S1超出了激光雷达系统100的对于特定操作参数集(例如,投射到区域1412的光的持续时间、强度、功率电平等等)的操作范围。
并非当基于第一光发射没有在区域1412中在距离S1处检测到物体时就放弃对那里的物体的检测,而是处理器118可以使得附加的光通量被供给区域1412,以便在可能的情况下检测在超过S1的距离处的物体。换句话说,当处理器118基于第一光发射确定在视场1410的第一部分1412中不存在检测到的物体时,处理器118可以控制朝着视场1410的区域1412被引导的至少第二光发射的投射,以使得能够在大于第一距离S1的第二距离S2处检测区域1412中的物体。第二发射不仅可以潜在地增加在距离S2处检测到物体的能力,而且第二发射还可以增加激光雷达系统100在距离S1处检测到物体的潜在性。
在一些情况下,处理器118可以使光投射器112和偏转器114朝着区域1412投射附加的光。例如,处理器118可以控制朝着视场1410的区域1412被引导的至少第三光发射的投射,以确定在区域1412中在大于第二距离S2的第三距离S3处物体的存在,而第二距离S2又大于距离S1。如图15中所示,到区域1412的第三光发射可以使得能够在距激光雷达系统100距离S3处检测到行人1510(或其至少一部分)。虽然可能响应于朝着区域1412被引导的第一发射或第二光发射而未曾检测到行人1510,但是到区域1412的第三发射使得能够确定在距离S3处行人1510的存在。而且,使得能够分别在区域1412中在第二距离S2或第三距离S3处检测到物体的第二和第三光发射可以使激光雷达系统100能够检测到超出距离范围S0的物体(例如,路缘1416、路面1414、和/或人行道1418)。例如,如图15中所示,对于直至和超过距离S3的距离,这样的物体已经被检测到并被制图。
因此,如上所述,处理器118可以基于是否在激光雷达FOV的特定区域区域中在各种距离处检测到物体,而使得附加的光发射朝着那个区域被投射。例如,在一个实施例中,处理器118可以被配置为,当基于对第一光发射和第二光发射中的至少一个的检测而确定在激光雷达FOV的特定部分/区域中在第一距离(例如,图14中的S1)处不存在物体时,控制朝着激光雷达FOV的该部分被引导的至少第三光发射的投射。此外,处理器118可以被配置为,当基于至少第二光发射的检测确定在激光雷达FOV的特定区域/部分中在第二距离(例如,图14中的距离S2)处不存在物体时,控制至少第三光发射朝着激光雷达FOV的那个部分的投射。
距离S1、S2和S3可以取决于激光雷达系统100的特定操作参数,所述特定操作参数可以被选择为适应激光雷达系统100的特定部署(例如,在车辆、建筑物、飞机等等上),适应特定的天气条件(例如,晴朗的天气、雨、雪),或适应任何其它环境条件(例如,农村环境相对于城市环境等等)。但是,在一些实施例中,距离S1可以是距激光雷达系统100的20m或更小。距离S3可以包括大于100m的距离,并且距离S2可以落在距离S1和S3之间。如关于激光雷达系统的检测距离的概念更详细讨论的,要注意的是,上面提到的检测距离(S0、S1、S2、S3)不必是预先定义的,并且这些距离可以基于由激光雷达系统使用的光发射能量方案来确定。此外,检测距离还可以取决于其它因素,诸如天气、环境光条件、可见度、目标反射率等。还要注意的是,在图14和15中,为了简单起见,检测范围S0已经被示为从激光雷达系统所在的垂直平面均匀地延伸。但是,如所指出的,任何检测范围跨FOV的不同部分都不必是均匀的,并且距离可以从位于激光雷达的光学窗口上的点径向地测量,而不是从零距离平面测量(如图所示)。
在这里并且相对于任何公开的实施例,激光雷达FOV的特定部分或区域在一些实施例中可以指FOV的扫描的单个像素。在那些实施例中,FOV的特定部分可以与偏转器114的随着它移动通过一系列位置/朝向以便扫描激光雷达FOV的单个瞬时位置对应。参考图14,例如,区域1412(例如,激光雷达FOV的一部分)可以表示激光雷达FOV 1410的单个像素。但是,在其它实施例中,激光雷达FOV的特定区域可以包括多个像素。例如,激光雷达FOV的区域1520可以包括多个像素,每个像素与偏转器114的不同瞬时位置对应。包括在FOV的区域或部分中的个体像素可以是连续的(诸如区域1520中包括的像素),或者它们可以是不连续的。在一些情况下,FOV的一部分可以表示激光雷达FOV内的特定感兴趣区域,可以经受类似的光发射协议,等等。
在一些实施例中,激光雷达FOV的特定部分在激光雷达FOV内的相对位置可以变化。例如,在一些情况下,偏转器114可以连续移动(例如,以扫掠模式、以光栅模式、随机地、伪随机地)通过多个瞬时位置,每个瞬时位置与激光雷达FOV的特定区域对应。在上述处理中,在到FOV的特定部分的第一光发射和到FOV的相同部分的第二光发射之间可以存在某个时间量。在那个时间期间,偏转器114可以移动,使得偏转器在第一发射期间的确切瞬时位置可以与其在第二发射期间的确切瞬时位置不同。类似地,偏转器114在第三发射期间的确切瞬时位置可以与其在第一和第二发射期间的确切瞬时位置不同。因此,由第一、第二和第三发射照亮的激光雷达FOV的区域可以相对于彼此略微不同。但是,出于本公开的目的,朝着激光雷达FOV的基本上重叠的区域投射的分组的光发射或者光发射将被视为被引导到激光雷达FOV的相同区域。换句话说,在一些实施例中,激光雷达FOV的特定部分可以与偏转器114的单个瞬时位置对应。在其它实施例中,激光雷达FOV的特定部分可以与偏转器114的两个或更多个瞬时位置对应。
如上所述,通过监视和/或处理一个或多个传感器(诸如传感器116)的输出,处理器118可以确定激光雷达FOV的特定区域内物体的存在或者同一区域内物体的不存在。例如,如图14中所示,投射到FOV区域1412的光的反射可以使得能够对诸如路面1414、路缘1416或人行道1418之类的物体的检测和深度制图,尤其是在S0范围内的距离处的物体。另一方面,光到区域1412的相同投射可能不会导致对距激光雷达系统距离S1处或更远的距离S2处的物体的检测或深度制图能力。在这样的情况下,基于从来自区域1412的光的可用反射获得的信息,处理器118可以做出确定:在区域1412中在超出S0、S1、S2等等的距离处不存在物体。
不存在物体的确定并不意味着在激光雷达FOV的特定区域中实际上不存在物体。而是,如上所述,当检测器116从特定区域接收到不足以检测那个区域中的物体的光反射时,会做出这样的确定。例如,如果收集到了反射,但是存在不足以基于接收到的(一个或多个)反射从其确定到至少一个反射源的测距信息或生成深度图的信息,那么也可以做出不存在物体的确定。但是,如关于图14和15所描述的,增加到FOV的特定区域的光通量水平可以导致检测到先前未曾被检测到的物体。并且物体检测可以不涉及二进制处理(例如,或者接收到来自物体的反射、或者没有接收到反射)。而是,检测可以要求检测器116接收足够的光反射,以使处理器118分辨在光被投射的特定区域中物体的存在。因此,检测是否发生可以取决于各种因素,诸如物体反射率、到物体的距离等等。如本文所述,被描述为使得能够在一个距离或另一个距离处进行检测的光投射可以构成以下光投射:该投射导致在涉及具有某个反射率水平(例如,至少2.5%、5%、10%等等的反射率水平)的物体以一定百分比的实例地(例如,涉及某个特点集的光投射的实例中的至少50%、75%、90%、99%或更多)的阳性检测。
使用上述处理以基于是否在激光雷达FOV的特定区域中在各种距离处检测到物体来增加到那个区域的光通量,可以执行激光雷达FOV的扫描,其中可以使用来自与特定FOV区域相关联的光投射序列内的任何地方的光投射来检测多个物体。例如,在一些情况下,可以仅使用第一光发射,在激光雷达FOV的一个区域中检测到物体。仅在向激光雷达FOV的其它区域提供第二光发射、第三光发射等等之后,扫描那些部分才可以导致在那些区域中检测到物体。在由图14和15表示的示例性实施例中,到FOV区域1530的第一光发射可以导致检测到道路1414的表面。在区域1412中,第一光发射可以导致至少直至某个范围(S0或S1,如图14中所示)检测到诸如人行道1418、路缘1416和道路1414之类的物体。朝着区域1412被引导的后续(例如,第二)光发射可以导致在更长的范围(例如,S2)处检测到人行道1418、路缘1416和道路1414。朝着区域1412被引导的第三光发射可以导致在距离S3处检测到行人1510。对于FOV 1410中的一个或多个其它区域,可以获得类似的结果。当然,一些区域可以仅接收一个光发射(或者甚至根本不接收光发射),而其它区域可以接收多个光发射。因此,激光雷达FOV的特定扫描可以包括基于第一光发射、第二光发射和/或第三光发射等等检测到的物体,这取决于朝着特定区域投射了多少光发射。
存在各种技术可以被用于增加到激光雷达FOV的特定区域的光通量,包括上面或下面所描述的任何技术。在一些情况下,为了改变到FOV的特定区域的光通量,处理器118可以控制光投射器112(例如,其瞄准方向、功率电平、光强度、波长、脉冲宽度、连续波施加的持续时间等等)。在其它情况下,处理器118可以控制至少一个光偏转器114,以便改变光通量(例如,通过控制朝向并因此控制朝着FOV的特定区域的投射的方向,控制光被投射到FOV的某个区域的时间量,等等)。
另外,处理器118可以控制光投射器112的至少一个方面和偏转器114的至少一个方面两者,以便控制由FOV的特定区域接收的光量。例如,在一些实施例中,处理器118可以控制光投射器112发射多个光发射能量。处理器118还可以控制光偏转器114,使得由光投射器112提供的第一光发射、第二光发射和第三光发射全部朝着与光偏转器114的单个瞬时位置(或偏转器的至少紧密间隔的瞬时位置)对应的激光雷达FOV的特定部分投射。第一、第二和第三光发射中的每一个可以具有类似的特点(例如,功率电平、持续时间、脉冲数量、波长等等)。可替代地,第一、第二和第三光发射中的一个或多个可以具有不同的特点。例如,这些发射中的一个或多个可以表现出比其它发射更高的功率电平。在一些实施例中,与第一、第二和第三光发射相关联的功率电平可以随着每个发射而逐渐增加。并且在一些实施例中,处理器118可以被配置为控制光投射器112(其可以包括多波长源、或者每个都能发射不同波长的光的多个光源),使得朝着FOV的特定区域投射的第一光发射具有与朝着FOV的该特定区域的第二光发射和第三光发射均不同的波长。在一些示例中,第一光发射、第二光发射和第三光发射中的每一个包括单个脉冲(可选地,这些脉冲可以具有相似的特点)。在一些示例中,第一光发射、第二光发射和第三光发射中的每一个包括相同数量的脉冲(可选地,这些脉冲可以具有相似的特点)。在一些示例中,第一光发射、第二光发射和第三光发射中的每一个包括一个或多个脉冲(可选地,这些脉冲可以具有相似的特点)。
在一些实施例中,朝着激光雷达FOV的特定区域投射的每个光发射可以具有相似的光强度(例如,基本相同的光强度)。但是,在其它实施例中,处理器118可以使来自光投射器112的各种光发射的光强度变化。例如,处理器118可以被配置为控制光投射器112,使得第二光发射的光强度大于由光投射器112相对于FOV的特定区域提供的第一光发射的光强度。类似地,处理器118可以控制光投射器112,使得来自光投射器112相对于FOV的特定区域的第三光发射的光强度大于第二光发射的光强度。
类似地,朝着激光雷达FOV的特定区域投射的每个光发射可以具有相似的功率电平。但是,在其它实施例中,处理器118可以使来自光投射器112的各种光发射的光功率电平变化。例如,处理器118可以被配置为控制光投射器112,使得第二光发射的功率电平大于由光投射器112相对于FOV的特定区域提供的第一光发射的功率电平。类似地,处理器118可以控制光投射器112,使得来自光投射器112的相对于FOV的特定区域的第三光发射的功率电平大于第二光发射的功率电平。还有在其它情况下,与到激光雷达FOV的特定区域的第一光发射之后的一个或多个光发射相关联的功率电平可以低于与第一光发射相关联的功率电平。由于附加光发射被提供给激光雷达FOV的特定区域,累积的光能可以随着每个后续发射而增加,这可以增加在那个区域中物体检测(包括在逐渐更长的距离处)的机会。
鉴于提供给激光雷达FOV的特定部分的光能的累积效应,可以将不同的光发射或脉冲彼此一起使用,以检测FOV的那个部分中的物体。例如,在一些实施例中,处理器118可以使用朝着FOV的特定区域投射的第三光发射连同朝着那个区域投射的第一光发射或第二光发射中的任一个或两者,以便确定FOV的那个部分中物体的存在。另外,累积光能可以使得检测距离能够增加。通过使用第一发射以及第二或第三发射中的任一个或两者,可以使得处理器118能够检测距离(例如,S3)处的物体,该距离(例如,S3)大于与单独第二发射相关联的检测距离(例如,S2)或单独第一发射相关联的检测距离(例如,S0)。
除了使用多个光发射来检测物体之外,多个光发射还可以被用于创建用于生成表示场景中的物体的深度图的数据点。例如,在一些实施例中,可以仅基于朝着激光雷达FOV的特定区域投射的第一光发射,来创建用于深度图的数据点。在其它实施例中,可以基于朝着FOV的特定区域投射的第一发射和第二发射和/或第三发射(或更多)的组合,来创建用于深度图的数据点。
而且,可以使用光发射的不同组合,在不同时间(例如,在激光雷达FOV的不同扫描中)检测特定物体。在一些情况下,在时间T0,可以要求组合多个光发射(例如,两个、三个或更多个发射),以检测行人1510的存在(图15)。随着到行人1510的距离减小(例如,当其上部署有激光雷达系统100的车辆接近行人1510时),可以要求更少的光发射来检测行人1510。例如,当到行人1510的距离小于S0时,可以在后续的FOV扫描期间,基于到激光雷达FOV的特定区域的单个光发射来检测行人1510。
在所描述的用于动态改变在FOV的扫描期间提供给激光雷达FOV的特定区域的光通量的量的实施例中,可以在FOV扫描期间将比投射到激光雷达FOV的一个或多个其它区域的光更多的光投射到FOV的特定区域。例如,处理器118可以被配置为更改与投射到激光雷达FOV的第一部分的光相关联的光源参数,使得在FOV的相同扫描周期期间,被引导到第一部分的光的光通量大于被引导到激光雷达FOV的至少一个其它部分的光的光通量。处理器118还可以监视提供给FOV的各个区域的光量,以确保符合适用的规定。例如,处理器118可以被配置为控制光投射器112,使得投射到激光雷达FOV的任何特定部分的光的累积能量密度不超过最大允许曝光限制(或者在FOV的任何单次扫描内、或在FOV的多个扫描内)。
例如,处理单元108可以控制光逐渐投射到激光雷达FOV的一部分上,从而间歇地确定何时在激光雷达FOV的相应部分中检测到物体,并且当检测到物体时,处理单元108控制到FOV的那个部分的光发射保持在安全的光发射限制内,这将不会对被检测的物体造成伤害。这些技术可以以互补的方式实现:在FOV的一个或多个部分中的每一个部分当中,处理单元108可以一起实现停止条件(防止删除最大允许曝光限制),同时以互补方式连续检查是否需要附加的光(例如,通过确定到目前为止朝着激光雷达FOV的部分投射的光不足以有效检测物体)。
要注意的是,激光雷达系统100可以包括初步信号处理器(未示出),用于以快速方式处理早期光发射(例如,第一光发射、第二光发射)的反射信号,以便允许关于随后的光发射(例如,第二光发射、第三光发射)的快速决定,尤其是如果要在相同的扫描周期内执行随后的光发射的话,并且特别是如果随后的光发射是在光偏转器仍处于基本上相同的瞬时位置的同时被执行的话。关于随后的发射的快速决定可以包括是否要求任何进一步的发射(例如,第二发射、第三发射)的决定,并且还可以包括确定用于每个片段的后续发射的参数。要注意的是,初步信号处理器的一些或全部电路可以与用于确定3D模型中的点的范围的范围估计模块的电路不同。这是因为快速决定不必需要确切的范围估计(例如,仅确定物体的存在或不存在就足够了)。使用不同电路的另一个原因是:主要范围估计电路可能不够快,以至于无法决定在至少一个光偏转器的相同瞬时位置中发射进一步的光发射所需的速率。要注意的是,这种初步信号处理器的处理结果可能不足以进行范围估计。可选地,初步信号处理器可以是处理模拟检测信号(例如,电压)的模拟处理器,而主要范围估计器模块可以是(或包括)在检测信息已从模拟转换到数字之后处理该检测信息的数字处理模块。还要注意的是,相同(或相似)的初步信号处理模块可以在激光雷达系统100中实现并被用于检测激光雷达系统的紧邻区域中的物体,以防止发射过多的光能(例如,出于眼睛安全的原因),如下面更详细讨论的。
提供给激光雷达FOV的特定部分的光通量的增加可以根据任何合适的协议进行。例如,在一些实施例中,如上所述,在偏转器114移动到不同的瞬时位置以扫描FOV的不同区域之前,可以将第一、第二和第三光发射(或更多或更少的发射)投射到激光雷达FOV的特定区域。换句话说,处理器118可以被配置为控制偏转器114,使得第一光发射、第二光发射和第三光发射在单个扫描周期中朝着激光雷达FOV的特定部分投射。
在其它情况下,可以将指定用于激光雷达FOV的特定区域的多个光发射,在FOV的不同扫描期间朝着FOV的那个部分投射。例如,处理器118可以被配置为控制偏转器114,使得第一光发射、第二光发射和第三光发射中的一个或多个在不同的扫描周期中各自朝着激光雷达FOV的特定部分投射。
所公开的实施例可以被用于执行使用激光雷达系统检测物体的方法。例如,如上所述,利用激光雷达系统100检测物体可以包括:以使得光通量能够在使用来自至少一个光源的光对激光雷达视场进行扫描时变化的方式,控制至少一个光源。如图16中所示,用于利用激光雷达系统100检测物体的方法还可以包括:控制朝着视场的第一部分被引导的至少第一光发射的投射(步骤1620),以确定在视场的第一部分中在第一距离处不存在物体(步骤1630)。该方法还可以包括:当基于至少第一光发射在视场的第一部分中确定不存在物体时,控制朝着视场的第一部分被引导的至少第二光发射的投射,以使得能够在视场的第一部分中在大于第一距离的第二距离处检测到物体(步骤1640)。并且该方法可以包括:控制朝着视场的第一部分被引导的至少第三光发射的投射,以确定在视场的第一部分中在大于第二距离的第三距离处物体的存在(步骤1650)。
对于视场的不同部分的自适应噪声减轻
在与本公开的实施例一致的激光雷达系统中,所捕获的信号可以包括噪声。噪声可以由各种各样的源而造成。例如,一些噪声可以起因于检测器(例如,图4A-4C的感测单元106),并且可以包括暗噪声、放大噪声等等。此外,一些噪声可以起因于环境,并且可以包括环境光等。例如,如果激光雷达系统将光投射到天空中、朝着非常远的物体投射或朝着反射最小的其它区域投射,那么环境噪声相对于反射信号可以是强的。另一方面,如果激光雷达系统将光投射到位于视场的暗区域中的物体上,那么环境噪声相对于反射信号可以较低。在一个示例中,环境光可以包括直接从外部光源(例如,太阳、汽车的前灯、电照明装置)到达激光雷达系统的光。作为另一个示例,环境光可以包括在来自外部光源的、被FOV中的物体偏转(例如,反射)(例如,光从金属或非金属表面的反射、通过大气、玻璃或其它透明或半透明物体的偏转,等等)之后到达激光雷达系统的光。
本公开的系统和方法可以在逐个像素的基础上(例如,相对于感测单元106),收集数据。此外,与本公开的实施例一致的激光雷达系统可以解决由各种源造成的噪声,并且也可以在逐个像素的基础上这样做。
如本文所使用的,术语“像素”被广泛地用于包括激光雷达系统的FOV的一部分,其被处理为所得的FOV中物体的模型的元素。例如,如果处理传感器的检测数据以提供点云模型,那么FOV的“像素”可以与FOV的被转换为点云模型的单个数据点的一部分对应。在一个示例中,像素的维度可以使用立体角或其角尺寸的两个角度(例如,
Figure BDA0002109505060000791
和θ)给出。在一些实施例中,FOV的单个“像素”可以由多个传感器(例如,多个SiPM检测器)检测,以提供3D模型的对应的多个数据点。在扫描系统中,FOV的像素可以与投射到场景上的激光束基本上具有相同的角尺寸,或者可以小于光束的角尺寸(例如,如果同一光束覆盖若干像素的话)。与激光束斑尺寸相同的像素意味着,在FOV的该部分内发射的激光束的大部分光子(例如,超过50%、超过70%、超过90%等等)被定义为相应的像素。在一些实施例中,FOV的任何两个像素可以是完全不重叠的。但是,可选地,一些像素对可以彼此部分地重叠。
本公开的系统和方法可以例如通过更改检测器(例如,图4A-4C的感测单元106)的灵敏度,以允许噪声估计、减轻以及可能地消除。图17图示了用于更改激光雷达系统中的传感器灵敏度的示例方法1700。方法1700可以由至少一个处理器(例如,如图1A中描绘的激光雷达系统100的处理单元108的处理器118和/或图2A中描绘的激光雷达系统的处理单元108的两个处理器118)来执行。
在步骤1701,处理器118以使得光通量能够在对视场(例如,图1A和2A的视场120)进行扫描时变化的方式,控制至少一个光源(例如,图1A的光源112、图2A的光源112的激光二极管202、和/或图2B的多个光源102)。例如,处理器118可以改变来自至少一个光源的脉冲的定时。可替代地或并发地,处理器118可以改变来自至少一个光源的脉冲的长度。作为另一个示例,处理器118可以可替代地或并发地改变来自至少一个光源的脉冲的尺寸(例如,长度或宽度,或以其它方式更改横截面积)。在又一个示例中,处理器118可以可替代地或并发地改变来自至少一个光源的脉冲的振幅和/或频率。在又一个示例中,处理器118可以改变连续波(CW)或准CW光发射的参数(例如,其振幅、其调制、其相位等)。
在一些实施例中,视场(例如,图1A和2A的视场120)可以包括至少第一部分和第二部分。例如,第一部分和第二部分可以包括由视场覆盖的范围的一半、四分之一或其它分数。在其它示例中,第一部分和第二部分可以包括由视场覆盖的范围的不规则部分,而不是对称和/或分数部分。还有在其它示例中,第一部分和第二部分可以包括由视场覆盖的范围的不连续部分。在一些示例中,FOV的第一部分可以是一个FOV像素,并且FOV的第二部分可以是另一个像素。还有在其它示例中,FOV的第一部分可以包括多个FOV像素,并且FOV的第二部分可以包括不同组的相同数量的像素。在一些实施例中,FOV的第一部分和第二部分可以部分地重叠。可替代地,第一部分和第二部分可以完全不重叠。
步骤1701还可以包括控制至少一个光偏转器(例如,图1A的光偏转器114、图2A的偏转器114A和/或偏转器114B、和/或图2B的单向偏转器216),以便扫描视场。例如,处理器118可以导致至少一个光偏转器的机械移动,以扫描视场。可替代地或并发地,处理器118可以在至少一个偏转器中诱发压电或热电变化,以扫描视场。
在一些实施例中,视场的单个扫描周期可以包括移动至少一个偏转器,使得在扫描周期期间,这至少一个光偏转器位于多个不同的瞬时位置(例如,控制偏转器,使得偏转器在激光雷达FOV的扫描期间,从一个瞬时位置移动到达或通过一个瞬时位置到达另一个瞬时位置)。例如,在扫描周期期间,至少一个光偏转器可以从多个位置中的一个位置连续地或非连续地移动到另一个位置(可选地带有附加位置和/或重复)。
在这样的实施例中,处理器118可以协调至少一个光偏转器和至少一个光源,使得当至少一个光偏转器处于特定的瞬时位置时,光束被至少一个光偏转器从至少一个光源朝着视场偏转,并且来自视场中的物体的反射被至少一个光偏转器朝着至少一个传感器偏转。因而,至少一个光偏转器可以将光束朝着视场引导,并且还从视场接收反射。例如,图1A、2B和2C描绘了其中偏转器既将光束朝着视场引导、又从视场接收反射的示例。在某些方面,反射可以由朝着视场被引导的光束造成。在其它实施例中,通过与接收来自视场的反射的至少一个其它光偏转器分离的至少一个光偏转器,可以将来自至少一个光源的光束朝着视场引导。例如,图2A描绘了一个示例,其中一个偏转器将光束朝着视场引导,并且分离的偏转器接收来自视场的反射。
在步骤1703,处理器118在逐个像素的基础上,从至少一个传感器(例如,图4A-4C的感测单元106)接收信号。例如,信号可以指示环境光和来自至少一个光源的由视场中的物体反射的光中的至少一个。如上面所解释的,在某些方面,例如在物体是暗的和/或远的方面,环境光可以比反射光占信号的更大部分。在其它方面,例如在物体是明亮的和/或靠近的方面,环境光可以比反射光占信号的更小部分。
接收到的信号还可以指示环境光和来自至少一个光源的由视场中的物体反射的光中的至少一个与和至少一个传感器相关联的噪声组合。例如,暗噪声、放大噪声等可以在信号中与环境光和/或反射光组合。特别地,来自至少一个传感器的信号可以包括源自放大电子器件的噪声。
接收到的信号可以与视场的各种部分相关联。例如,至少一个信号可以与视场的第一部分相关联,而至少一个其它信号可以与视场的第二部分相关联。在一些实施例中,每个信号可以与视场的特定部分相关联。在其它实施例中,一些和/或所有信号可以与视场的多个部分相关联(例如,在视场的部分具有重叠扇区的实施例中)。
在一些实施例中,步骤1703还可以包括在不同时间,接收用于不同像素的信号。例如,如果在扫描周期期间移动至少一个偏转器,如上所述,处理器118可以在不同时间接收与不同像素对应的信号,该不同时间取决于至少一个偏转器何时处于特定的瞬时位置。
在步骤1705,处理器118估计与视场的第一部分相关联的至少一个信号中的噪声。处理器118可以单独地或组合地使用各种噪声估计技术,来估计至少一个信号中的噪声。下面参考图18和19讨论噪声估计技术的示例。
在一些实施例中,处理器118可以基于与至少一个光偏转器的单个位置相关联的反射,来估计视场的每个部分(每个部分可以小于视场的10%、5%、1%、0.1%等等)中的噪声。例如,处理器118可以将估计的噪声从单个位置外推到相同部分中的其它位置。在一些实施例中,外推可以包括将估计的噪声从单个位置复制到其它位置。
在其它实施例中,外推可以包括将一个或多个函数应用于来自单个位置的估计的噪声,以生成对于其它位置的估计的噪声的输出。例如,函数可以取决于其它位置与该单个位置之间的距离、其它位置与该单个位置的实际和/或预测亮度之间的差异、其它位置中先前估计的噪声与该单个位置中当前估计的噪声之间的差异,等等。函数可以直接输出对于其它位置的估计,可以输出用于将对于该单个位置的估计的噪声变换为对于其它位置的估计的调节因子(例如,用于加、减、乘等等),或者可以与对于该单个位置的估计的噪声进行卷积或以其它方式对其进行运算以产生对于其它位置的估计或调节因子。同样,在一些示例中,处理器118可以基于FOV的多个其它部分的噪声估计(或基于原始信号)来估计对于单个位置的噪声,例如,通过对来自围绕FOV部分的位置的噪声估计求平均。
在一些实施例中,每个部分可以包括小于视场的10%。在某些方面,每个部分可以包括小于视场的5%。例如,每个部分可以包括小于视场的1%。作为另一个示例,每个部分可以包括小于视场的0.1%。
可替代地或并发地,处理器118可以基于在至少一个先前扫描周期中接收到的与视场的特定部分相关联的信号的比较,来估计与视场的该特定部分相关联的信号中的噪声。例如,处理器118可以将一个或多个函数应用于至少一个先前信号,以生成对于其它位置的估计的噪声的输出。例如,函数可以取决于先前信号和当前信号之间的时间、先前信号与当前信号的实际和/或预测亮度之间的差异、先前信号中的先前估计的噪声,等等。函数可以直接输出对于当前信号的噪声估计,可以输出用于将对于先前信号的估计的噪声变换为对于当前信号的估计的调节因子(例如,用于加、减、乘等等),或者可以与对于先前信号的估计的噪声进行卷积或以其它方式对其进行运算以产生对于当前信号的估计或调节因子。
在步骤1707,处理器118可以基于视场的第一部分中的噪声估计,对于与视场的第一部分相关联的反射,更改传感器灵敏度。例如,传感器灵敏度可以基于信号阈值。在一些实施例中,处理器118可以相对于用于第二部分的信号阈值,增大用于第一部分的信号阈值。例如,当第一部分中的噪声估计高于第二部分中的噪声估计时,处理器118可以这样做。因而,第一部分中的信号阈值越高,可以被滤除掉的估计的噪声越多。
在一些实施例中,可以在传感器的(一个或多个)检测器中更改传感器灵敏度。可替代地或并发地,可以在处理器118中更改传感器灵敏度。例如,可以相对于预处理的数据或后处理的数据,来更改信号阈值。在一个示例中,传感器可以输出模拟数据,该模拟数据可以被转换为数字采样(例如,按时间的振幅等)。在将数字采样与表示预期信号(如下面参考图18所描述的)的函数相关(例如,卷积等)之后,可以将信号阈值应用于该相关的输出。
在一些实施例中,处理器118可以通过更改处理器118的操作参数,来对于与FOV的一部分相关联的反射,更改传感器灵敏度。这种情况下的操作参数的更改可以通过改变对由至少一个传感器获取的信号电平和/或噪声电平进行检测的灵敏度,来修改传感器灵敏度。例如,处理器118可以通过改变后卷积阈值,来改变传感器灵敏度(例如,在步骤1707和/或1711中),如前一段中所讨论的。但是,处理器118的其它操作参数可以附加地或可替代地由处理器118响应于噪声电平而更改,以便更改传感器灵敏度。
作为附加的示例,处理器118可以估计由于暗噪声和/或放大噪声引起的噪声电平,并且更改传感器灵敏度,使得灵敏度具有高于所估计的噪声电平的最小阈值。因而,通过相应地设置最小阈值,可以使估计的噪声最小化(如果没有被消除或去除的话)。
在一些实施例中,处理器118可以对于与对应于至少一个光偏转器的单个瞬时位置的视场的一部分(例如,第一部分)相关联的反射,更改传感器灵敏度。例如,处理器118可以仅在至少一个光偏转器处于特定瞬时位置的时间期间,更改传感器灵敏度。在其它实施例中,处理器118可以对于与对应于至少一个光偏转器的多个瞬时位置的视场的一部分(例如,第一部分)相关联的反射,更改传感器灵敏度。例如,处理器118可以对于至少一个光偏转器处于多个瞬时位置当中的不同位置时的变化的时间,更改传感器灵敏度。在某些方面,对于多个瞬时位置的更改后的灵敏度可以是等效的,即,处理器118可以在至少一个光偏转器处于多个瞬时位置之一时的时间期间,以相同的方式更改传感器灵敏度。在其它方面,对于多个瞬时位置,更改后的灵敏度可以是不同,即,处理器118可以在至少一个光偏转器处于多个瞬时位置之一时的时间期间,以不同于当至少一个光偏转器处于多个瞬时位置中的另一个位置时的方式来更改传感器灵敏度。
可替代地或并发地,步骤1707还可以包括对于与第一部分和第二部分相关联的反射,单独地更改传感器灵敏度,使得:对于朝着第一部分和第二部分投射的相同量的光,与第一部分相关联的检测距离高于与第二部分相关联的检测距离(例如,高至少50%的因子)。因而,可以增加第一部分的传感器灵敏度(和/或减小最小阈值、和/或增加最大阈值),以增加检测距离。
可替代地或并发地,步骤1707还可以包括对于与第一部分和第二部分相关联的反射,单独地更改传感器灵敏度,使得:对于朝着第一部分和第二部分投射的相同量的光,与第一部分相关联的分辨率高于与第二部分相关联的分辨率。因而,可以增加第一部分的传感器灵敏度(和/或减小最小阈值、和/或增加最大阈值),以增加分辨率。
在一些实施例中,可以仅在完成步骤1705之后执行步骤1707。此外,在一些实施例中,可以在对更改所基于的FOV的一部分进行对应的噪声估计(例如,分别为步骤1705和1709)之后,执行对FOV的相应部分的传感器灵敏度的更改(例如,步骤1707和1711),而不对FOV的任何其它部分进行任何测量。类似地,在一些实施例中,可以在对更改所基于的FOV的一部分进行对应的噪声估计(例如,分别为步骤1705和1709)之后,执行对FOV的相应部分的传感器灵敏度的更改(例如,步骤1707和1711),而不将至少一个偏转器移动到另一个瞬时位置。
在步骤1709,处理器118估计与视场的第二部分相关联的至少一些信号中的噪声。如上面所讨论的,处理器118可以单独地或组合地使用各种各样的噪声估计技术,来估计至少一些信号中的噪声。处理器118可以在步骤1705和1709中使用相同的(一种或多种)噪声估计技术,或者可以在步骤1705和1709中使用不同的(一种或多种)噪声估计技术。在某些方面,处理器118可以确定,特定的噪声估计技术更适于第一部分,且不同的噪声估计技术更适于第二部分。例如,处理器118可以确定,第一部分具有较大的来自放大的噪声贡献,原因例如是由于第一部分比第二部分更暗因而放大更高。在这样的示例中,处理器118可以使用不同的技术,来估计第一部分中的噪声,以应对(account for)较大的放大噪声。下面参考图18和19讨论噪声估计技术的示例。可选地,步骤1709中FOV的第二部分中的噪声估计可以取决于步骤1705的结果。可替代地,FOV的一部分中的和第二部分中的噪声估计(分别为步骤1705和1709)可以完全不相关并且彼此独立。
在一些实施例中,处理器118可以将在步骤1705和/或1709中生成的噪声估计报告给另一个系统(例如,外部服务器)。此外,处理器118可以基于由处理器118获得的相应噪声估计,来报告一个或多个噪声指示参数和/或一个或多个噪声相关参数。相应的参数可以特定于FOV的相应部分,或者特定于包括FOV的相应部分的FOV的更大部分。所报告的参数的示例包括但不限于噪声估计、一个或多个灵敏度设置、检测距离、检测质量指示符等。在一些实施例中,该报告还可以包括指示来自步骤1707和/或1711的更改后的传感器灵敏度的一个或多个参数。
在步骤1711,处理器118基于视场的第二部分中的噪声估计,来对于与视场的第二部分相关联的反射,更改传感器灵敏度。例如,传感器灵敏度可以包括信号阈值。在一些实施例中,处理器118可以相对于用于第一部分的信号阈值,增大用于第二部分的信号阈值。例如,当第二部分中的噪声估计高于第一部分中的噪声估计时,处理器118可以这样做。因而,第二部分中的更高的信号阈值可以滤除掉更多的估计的噪声。
作为示例,处理器118可以估计由于暗噪声和/或放大噪声引起的噪声电平,并且更改传感器灵敏度,使得灵敏度具有高于估计的噪声电平的最小阈值。因而,通过设置最小阈值,可以使估计的噪声最小化(如果没有消除或去除的话)。对于与第二部分相关联的反射的更改后的传感器灵敏度可以与对于与第一部分相关联的反射的更改后的传感器灵敏度不同。
在一些实施例中,如上面所讨论的,处理器118可以对于与对应于至少一个光偏转器的单个瞬时位置的视场的一部分(例如,第二部分)相关联的反射,更改传感器灵敏度。在其它实施例中,如上面所讨论的,处理器118可以对于与对应于至少一个光偏转器的多个瞬时位置的视场的一部分(例如,第二部分)相关联的反射,更改传感器灵敏度。
在一些实施例中,处理器118可以对于在第一扫描周期中接收到的与第一部分相关联的第一反射,更改传感器灵敏度,并且对于第二扫描周期中的与第二部分相关联的第二反射,改变传感器灵敏度。例如,步骤1705和1707可以在第一扫描周期中执行,并且步骤1709和1711可以在第二扫描周期中执行。在某些方面,第一扫描周期可以在时间上在第二扫描周期之前发生。可替代地,第二扫描周期可以在时间上在第一扫描周期之前发生。
在其它实施例中,处理器118可以对于与第一部分相关联的第一反射和与第二部分相关联的第二反射,更改传感器灵敏度,其中第一反射和第二反射是在单个扫描周期中接收的。例如,步骤1705和1707可以在与步骤1709和1711相同的扫描周期中执行。
步骤1707和/或步骤1711还可以包括,在第一部分中第一距离处检测到外部光源之后,对于与第一部分和第二部分相关联的反射,不同地更改传感器灵敏度,以使得能够在第二部分中在大于第一距离的第二距离处检测到物体。因而,可以增加第二部分的传感器灵敏度(和/或减小最小阈值、和/或减小最大阈值),以补偿可能会在第二部分中导致噪声的第一部分中的外部光源。在另一个示例中,在第一部分中第一距离处检测到物体之后,处理器118可以更改传感器灵敏度,以使得能够进行在第二部分中超出该物体的检测。在又一个示例中,处理器118可以更改传感器灵敏度,以使得能够在第二部分中检测到由于第一部分中增加的噪声而在第一部分中曾是不可见的物体。
作为另一个示例,步骤1707和/或1711还可以包括,在第二部分中第一距离处检测到外部光源之后,对于与第一部分和第二部分相关联的反射,不同地更改传感器灵敏度,以使得能够在第一部分中在大于第一距离的第二距离处检测到物体。因而,可以增加第一部分的传感器灵敏度,以补偿可能会在第一部分中导致噪声的第二部分中的外部光源。
可替代地或并发地,步骤1711还可以包括对于与第一部分和第二部分相关联的反射,单独地更改传感器灵敏度,使得:对于朝着第一部分和第二部分投射的相同量的光,与第二部分相关联的检测距离高于与第一部分相关联的检测距离。因而,可以增加第二部分的传感器灵敏度(和/或减小最小阈值、和/或增加最大阈值),以增加检测距离。
可替代地或并发地,步骤1707和1711还可以包括对于与第一部分和第二部分相关联的反射,单独地更改传感器灵敏度,使得:对于朝着第一部分和第二部分投射的相同量的光,与第二部分相关联的分辨率可以高于与第一部分相关联的分辨率。因而,可以增加相对于第二部分的传感器灵敏度(和/或减小最小阈值、和/或增加最大阈值),以增加分辨率。
对于处理器118为其更改了灵敏度设置的FOV的每个部分(例如,在步骤1707和/或1711中),处理器118还可以使用更改后的灵敏度设置来检测FOV的相应部分中的物体。对于处理器118为其更改了灵敏度设置的FOV的每个部分,处理器118还可以生成该FOV中所包含的场景的模型(例如,2D或3D模型,诸如点云模型,等等)中数据点。
方法1700可以包括附加的步骤。例如,方法1700还可以包括基于第一部分中的噪声估计,来对于与视场的第三部分(与第一部分和第二部分不同)相关联的反射,更改传感器灵敏度。例如,如上面所解释的,处理器118可以将估计的噪声从第一部分外推到第三部分。可替代地,方法1700还可以包括基于第一部分和第二部分中的噪声估计,来对于与视场的第三部分(与第一部分和第二部分不同)相关联的反射,更改传感器灵敏度。
在一些实施例中,外推可以包括将估计的噪声从第一部分和/或第二部分复制到第三部分。在其它实施例中,外推可以包括将一个或多个函数应用于来自第一部分和/或第二部分的估计噪声,以生成对于第三部分的估计噪声的输出。例如,函数可以取决于第一部分和/或第二部分与第三部分之间的距离、第一部分和/或第二部分与第三部分的实际和/或预测亮度之间的差异、第三部分中先前估计的噪声与第一部分和/或第二部分中当前估计的噪声之间的差异等等。函数可以直接输出对于第三部分的估计,可以输出用于将对于第一部分和/或第二部分的估计的噪声变换为对于第三部分的估计的调节因子(例如,用于加、减、乘等等),或者可以与对于第一部分和/或第二部分的估计的噪声进行卷积或以其它方式对其进行运算以产生对于第三部分的估计或调节因子。
除了更改传感器灵敏度之外,处理器118还可以基于FOV的相应部分中的噪声估计,来更改用于FOV的一部分的至少一个光源的一个或多个操作特点。例如,处理器118可以更改与第一部分相关联的光源参数(例如,脉冲定时、脉冲长度、脉冲尺寸、脉冲振幅、脉冲频率等等),使得被引导到第一部分的光通量大于被引导到视场的至少一个其它部分的光通量。可替代地,处理器118可以更改与第一部分相关联的光源参数,使得被引导到第一部分的光通量小于被引导到视场的至少一个其它部分的光通量。处理器118可以基于步骤1705和/或步骤1709的噪声估计,来更改光源参数。例如,处理器118可以确定,可以减少被引导到第一部分的光通量,因为来自第一部分的反射包含较少的噪声。作为另一个示例,处理器118可以确定,可以增加被引导到第一部分的光通量,因为来自第一部分的反射包含更多的噪声。因而,或者单独地、或者与更改传感器灵敏度组合地,处理器118还可以通过改变被引导到视场的一部分的光通量,来应对噪声。
作为另一个示例,处理器118可以相对于朝着第二部分投射的光量,增加朝着第一部分投射的光量。例如,当第一部分中的噪声估计高于第二部分中的噪声估计时,处理器118可以这样做。如上面所解释的,处理器118因此可以通过改变投射的光量,来应对噪声。可替代地,处理器118可以相对于朝着第二部分投射的光量,减少朝着第一部分投射的光量。例如,当第一部分中的噪声估计低于第二部分中的噪声估计时,处理器118可以这样做。如上面所解释的,处理器118因此可以通过改变投射的光量,来应对噪声。
许多噪声估计技术可以用于图17的方法1700。图18描绘了接收信号与用于估计预期信号的函数的一个示例。如图18中所描绘的,接收信号1801表示接收到的、包括噪声的、对于视场的一部分的总信号。接收信号1801是离散化的测量,因此被表示为具有不连续斜坡点的函数。
如图18中进一步描绘的,函数1803可以表示没有噪声的预期信号的估计。例如,可以基于过去的测量和/或正在测量的已知特性,来开发函数1803。例如,可以由处理器118基于视场的一部分中先前接收到的信号和/或基于视场的一部分中物体的特性(例如,物体的已知位置、物体的已知亮度等等),来开发函数1803。处理器118可以基于先前接收到的信号,导出物体的特性。
为了调节接收信号1801以应对噪声,处理器118可以将接收信号1801拟合到函数1803。在其它实施例中,函数1803可以表示可以与接收信号1801卷积或以其它方式对其进行运算以移除噪声的函数。
图19描绘了接收信号与用于估计预期信号的函数的一个示例。如图19中所描绘的,并且类似于图18,接收信号1901表示接收到的包括噪声的总信号。接收信号1901是离散化的测量,因此被表示为具有不连续斜坡点的函数。
如图19中进一步描绘的,函数1903可以表示预期噪声的估计。例如,可以基于过去的测量和/或基于至少一个传感器的已知特性,来开发函数1903。例如,可以由处理器118基于视场的一部分中先前接收到的信号和/或基于至少一个传感器的特性(例如,已知的暗噪声、已知的放大噪声等等),来开发函数1903。处理器118可以基于制造规范和/或基于先前的测量,来导出至少一个传感器的特性。
为了调节接收信号1901以应对噪声,处理器118可以从接收信号1901中减去函数1903。在其它实施例中,函数1903可以表示可以与接收信号1901卷积或以其它方式对其进行运算以估计来自接收信号1901的噪声的函数。
与本公开一致的系统和方法可以包括任何适当的噪声估计技术,并且不限于图18和19的示例。
激光雷达FOV内的可变通量分配,以改进感兴趣区域中的检测
通过检测来自其环境中的现实世界周围环境的激光束反射,激光雷达系统100可以创建激光雷达系统的FOV内的环境中的物体的3D重构。这种激光雷达系统可以应用于各种各样的技术。其中一种这样的技术是自动和半自动车辆领域。随着对自驾驶技术的兴趣不断增加,激光雷达系统越来越多地被视为自驾驶车辆操作的重要组成部分。对于要由汽车工业采用的激光雷达系统,该系统应当提供对周围环境中的物体的可靠重构。因此,激光雷达系统的操作能力的改进可以使激光雷达成为实现自主导航的重要贡献者。这些改进可以包括扫描分辨率的增加、检测范围的增加、和/或接收器的灵敏度的增加。这种性能增加可以通过使用高能激光器来实现。但是,目前,出于不同的原因,使用高能激光器可能是不切实际的,诸如成本、汽车环境中的工作温度、以及激光雷达系统的最大照明功率受限于使激光雷达系统对人眼安全的需要(例如,避免当投射的光发射在眼睛中被吸收时可能对视网膜和眼睛的其它部分造成损害的可能性)。因此,需要符合眼睛安全规定、但同时提供增强系统对其被合并在其中的技术平台(例如,自驾驶车辆等等)的有用性的性能特点的激光雷达系统。
一般而言,所公开的激光雷达系统和方法可以在遵守眼睛安全规定的同时改进系统性能。例如,通过跨激光雷达系统的视场分配可变光功率,所公开的系统可以在感兴趣区域(ROI)中的检测质量和后续的重构中表现出改进。通过基于某个ROI中的感兴趣级别将功率分配给视场,甚至在维持来自ROI的高质量和有用数据的同时,也可以提高系统的效率。此外,将FOV分离成不同级别的ROI并基于某个ROI中的兴趣级别将功率分配给视场,可以带来许多优点。例如,它可以使激光雷达系统能够通过避免在较低兴趣区域中花费光投射和检测资源,来更高效地利用光学预算。它还可以减少对周围环境(例如,其它激光雷达系统或街道上的行人)的干扰。此外,它可以简化准备和分析结果的计算复杂性,并且可以降低与其相关联的成本。感兴趣区域可以构成激光雷达FOV的任何区域或子区域。在一些情况下,可以将ROI确定为包括激光雷达FOV的矩形区域,或者FOV的具有任何其它形状的区域。在一些实施例中,ROI可以在激光雷达FOV上以不规则模式延伸,其可以包括不连续的片段。此外,ROI不需要与FOV的任何特定轴对准,而是可以相对于FOV以自由形式的方式定义。
与所公开的实施例一致,在图22中,激光雷达系统100可以包括至少一个处理器118,例如,在处理单元108内。这至少一个处理器118可以以使得光强度在使用来自至少一个光源的光对视场120进行扫描时变化的方式,控制至少一个光源102。至少一个处理器118还可以控制至少一个光偏转器114,以偏转来自至少一个光源的光,以便扫描视场120。此外,在一些实施例中(例如,如图3中所示),至少一个光偏转器114可以包括可枢转的MEMS反射镜300。至少一个处理器118可以获得视场120中至少一个独特的(distinct)感兴趣区域的标识。然后,至少一个处理器118可以相对于其它区域,增加到该至少一个独特的感兴趣区域的光分配,使得:在第一扫描周期之后,在至少一个后续第二扫描周期中在与该至少一个独特的感兴趣区域相关联的位置处的光强度高于在第一扫描周期中在与该至少一个独特的感兴趣区域相关联的位置处的光强度。例如,可以通过增加每立体角的功率、增加相对于FOV部分的辐照度、发射附加的光脉冲、增加每像素的功率、每单位时间发射附加的光子、增加某个时间段内的合计能量、所生成的点云模型中每数据点发射附加的光子、增加所生成的点云模型中每数据点的合计能量、或者增加光通量的任何其它特点,来增加光强度。
所公开的系统(诸如激光雷达系统100),至少一个处理器118可以控制至少一个光源112。例如,至少一个处理器118可以使至少一个光源112例如响应于与激光雷达FOV的感兴趣区域相关联的兴趣级别,生成更高或更低的光通量。具有较低兴趣的视场120的部分(例如,诸如距道路30米远的区域或天际线)可以被分配较低水平的光通量或甚至根本没有光通量。但是,在其它较高兴趣的区域中(例如,诸如包括行人或移动的小汽车的区域)可以分配较高的光通量水平。这种分配可以避免在较低兴趣区域中花费光投射和检测资源,并且可以增强更感兴趣区域中的分辨率和其它性能特点。还有可能并非在逐个物体的基础上改变光分配,而是在逐个物体部分的基础上改变光分配。例如,在一些情况下,具有关于物体边缘的位置(诸如物体(诸如车辆)的外边缘或包络)的明确定义的信息,可能是更重要和有用的。因此,可能期望朝着车辆边缘所驻留的FOV区域分配更多的光通量,并且朝着包括物体的驻留在外部包络内的部分的FOV区域分配更少的光通量。仅仅作为一个说明性示例,如图5C中所示,至少一个处理器118可以被配置为使得投射光的两个光脉冲的发射用于分析包括物体(例如,在图5C的坐标单位(B,1)、(B,2)、(C,1)、(C,2)的圆角方形物体)的边缘的FOV区域。另一方面,对于与物体的内部相关联或者至少在由检测到的外边缘定义的包络内的FOV区域,诸如在图5C中所示的圆角方形物体内的中间区域(坐标(C,5)),可以向那些区域供给较少的光通量。作为图5C中所示的另一个说明性示例,在第一扫描周期之后,仅将一个光脉冲供给圆角方形形状的内部区域。应该注意的是,可以相对于特定的感兴趣区域,使用任何用于增加光通量的合适技术。例如,可以通过发射附加的光脉冲、发射更长持续时间的光脉冲或连续波、增加光功率等等,来增加光通量。
例如,至少一个处理器118可以控制至少一个光偏转器114的运动的各个方面(例如,偏转器的角朝向、偏转器沿着两个或更多个轴的旋转角度等等),以便改变偏转角。此外,至少一个处理器118可以控制至少一个偏转器114的移动速度、至少一个偏转器停留在某个瞬时位置的时间量、至少一个偏转器的平移等等。通过控制至少一个光偏转器114,至少一个处理器118可以以具体的方式将投射光朝着激光雷达FOV中的一个或多个感兴趣区域引导,这可以使激光雷达系统能够以期望的检测灵敏度水平、信噪比等等,扫描视场中的感兴趣区域。如上所述,光偏转器114可以包括可枢转的MEMS反射镜300,并且至少一个处理器118可以控制MEMS反射镜的偏转角度、偏转速度、停留时间等等,其中任何一个都会影响激光雷达系统的FOV范围和/或帧速率。要注意的是,由处理单元108对至少一个光偏转器114的控制可以改变由激光雷达系统100发射的光和/或从FOV的场景中朝着激光雷达系统100反射回的光的偏转角度。
在操作期间,至少一个处理器118可以获得标识或以其它方式确定或识别视场120中的至少一个感兴趣区域。视场120内的至少一个感兴趣区域的标识可以通过分析从感测单元106收集的信号来确定;可以通过检测FOV 120中的一个或多个物体、物体部分或物体类型来确定;可以基于在FOV 120的扫描期间实现的各种检测特点中的任何一个来确定;和/或可以基于从主机210(直接或间接地)接收的信息;或基于任何其它合适的标准。
如图22中所示,处理单元108不仅可以从感测单元106和激光雷达系统100的其它部件接收信息,而且还可以从各种其它系统接收信息。在一些实施例中,处理单元108例如可以从GPS 2207、车辆导航系统2201、雷达2203、另一个激光雷达单元2209、一个或多个相机2205和/或任何其它传感器或信息系统中的至少一个接收输入。除了基于来自激光雷达系统100的检测等等而确定FOV 120内的一个或多个特定感兴趣区域之外,处理单元108还可以基于GPS 2207、车辆导航系统2201、雷达2203、激光雷达单元2209、相机2205等等中的一个或多个的输出来识别FOV 120中的一个或多个感兴趣区域。至少一个感兴趣区域可以包括与FOV 120相关联的部分、区块、扇区、区域、子区域、像素等等。
在获得视场120内的至少一个感兴趣区域的标识之后,至少一个处理器118可以确定新的扫描方案,或者可以相对于至少一个感兴趣区域而改变与光投射以及后续检测相关联的现有扫描方案。例如,在识别出至少一个感兴趣区域之后,至少一个处理器118可以确定或更改与光投射器112相关联的一个或多个光源参数(如上所述)。例如,至少一个处理器118可以确定提供给特定感兴趣区域的光通量的量、要投射的光脉冲的数量、光投射的功率电平、连续波的投射时间、或者潜在地影响提供给特定的识别出的感兴趣区域的光通量的量的任何其它特点。
至少一个处理器118可以确定偏转器114在至少一个感兴趣区域的扫描期间可以移动通过的特定瞬时位置。处理单元108还可以确定与所确定的瞬时位置相关联的停留时间、和/或用以使偏转器114在所确定的瞬时位置之间移动的移动特点。
在识别激光雷达FOV中的感兴趣区域之前,在一些实施例中,可以在FOV的扫描期间在FOV的每个区域中投射缺省量的光。例如,在FOV的所有部分具有相同的重要性/优先级的情况下,可以将缺省量的光分配给FOV的每个部分。在FOV的每个区域处递送缺省量的光可以涉及控制可用光源,使得在FOV的扫描期间在每个FOV区域处提供相似数量的光脉冲(例如,具有相似振幅)。但是,在识别至少一个感兴趣区域之后,至少一个处理器118可以相对于FOV的一个或多个其它区域,增加供给感兴趣区域内的至少一个区域的光量。在图5C的说明性示例中,扇区II可以表示识别出的感兴趣区域(例如,因为扇区II被确定为具有高的物体密度、特定类型的物体(行人等等)、相对于激光雷达系统在特定距离范围处的物体(例如,在50m内或在100m内,等等)、被确定为靠近主车辆或在主车辆的路径中的物体、或者鉴于暗示比FOV 120内的至少一个其它区域具有较高兴趣的区域的任何其它特点)。鉴于扇区II作为感兴趣区域的状态,可以向扇区II中包括的子区域供给比视场内其它区域更多的光。例如,如图5C中所示,扇区II内的子区域(除了被确定为被物体占据的区域之外)可以被分配三个光脉冲。其它不太感兴趣的区域(诸如扇区I和扇区III)可以分别接收较少的光(诸如一个光脉冲或两个光脉冲)。
在一些实施例中,感兴趣区域指定可以取决于目标物体相对于激光雷达系统所驻留的距离。目标物体所驻留之处距激光雷达系统越远,激光脉冲必须行进的路径越长,潜在的激光信号损失可能越大。因此,远距离目标可以要求比附近目标更高能量的光发射,以便维持期望的信噪比。这种光能可以通过调制源112的功率输出、脉冲宽度、脉冲重复率、或影响光源112的输出能量的任何其它参数来实现。附近的物体可以是容易地可检测的,因此,在一些情况下,这种附近的物体可能无法证明感兴趣区域指定是合理的。另一方面,更远距离的物体可以要求更多的光能,以便实现使得能够检测目标的合适的信噪比。这种远距离物体可以证明感兴趣区域指定以及被供给那些物体所驻留的FOV的相应区域的光能的增加是合理的。例如,在图5C中,可以分配单个光脉冲以检测第一距离处的第一物体(例如,位于图5C的底部附近的近场物体中的任一个),可以分配两个光脉冲以检测大于第一距离的第二距离处的第二物体(例如,具有圆角方形形状的中场物体),并且可以分配三个光脉冲以检测大于第一距离和第二距离的第三距离处的第三物体(例如,远场三角形物体)。
但是,另一方面,可用的激光能量水平可以受到眼睛安全规定以及潜在的热和电限制的限制。因此,为了在使用激光雷达系统100的同时确保眼睛安全,至少一个处理器118可以基于眼睛安全阈值,来给至少一个独特的感兴趣区域中的累积光封顶(cap)。例如,至少一个处理器118可以被编程为限制在FOV的独特的区域内投射的光量(例如,在特定持续时间内),以便符合眼睛安全限制。如这里所使用的,封顶可以指特定持续时间内与上限光量眼睛安全限制(或者被设置为低于上限以提供安全裕度的限制)对应的阈值光量。至少一个处理器118可以控制至少一个光源112,使得在激光雷达系统100的操作期间不超过封顶。因此,例如,可以在可能会发现眼睛的区域中定义较低兴趣区域,例如:在车辆的驾驶员区域中、在人行道和自行车道上方的某些高度处等等。在这些区域的上下文中的较低兴趣并不一定意味着,与其它区域相比而言那些区域中的检测不太重要,而是检测要比维持系统的安全操作的重要性(或兴趣)低。
至少一个处理器118可以基于从任何合适的源接收的信息,来确定至少一个独特的感兴趣区域的标识。在一些实施例中,至少一个处理器118可以从至少一个传感器接收至少一个感兴趣区域的标识,其中传感器被配置为检测与第一扫描周期相关联的光的反射。这种传感器可以包括例如感测单元106,其可以包括一个或多个光敏物体和被配置为生成感兴趣区域或潜在的感兴趣区域的至少一个标识符的一个或多个逻辑器件(例如,处理器、DSP、门阵列等等)。在一些实施例中,例如,至少一个处理器118可以基于感测单元106的输出,来识别感兴趣区域。在其它实施例中,至少一个处理器118可以从激光雷达系统100外围的一个或多个源,接收感兴趣区域的标识或感兴趣区域的至少一个指示符。例如,如图22中所示,这种标识或指示符可以从车辆导航系统2201、雷达2203、相机2205、GPS 2207或另一个激光雷达2209接收。这种指示符或标识符可以与来自车辆导航系统的已制图的物体或特征、定向航向等等或者与由雷达2203或激光雷达2209或相机2205等等检测到的一个或多个物体、物体集群等等相关联。可选地,至少一个处理器118可以基于从位于其上安装了激光雷达系统100的平台之外的远程源接收到的信息,确定至少一个独特的感兴趣区域的标识。例如,如果激光雷达系统100被用于多个车辆的环境的制图,那么可以从协调不同车辆的操作的服务器接收关于如何确定感兴趣区域的定义。
在一些示例中,可以在FOV的第一扫描期间或之后确定感兴趣区域,并且可以在FOV的一个或多个后续扫描中完成对识别出的感兴趣区域的光增加。因此,在至少一个后续的第二扫描周期中在与至少一个独特的感兴趣区域相关联的位置处的光强度可以高于在第一扫描周期中在与该至少一个独特的感兴趣区域相关联的位置处的光强度。在一些示例中,FOV的至少一个后续的第二扫描周期包括多个后续的第二扫描周期。在这种情况下,在多个第二扫描周期内在FOV中的至少一个独特的感兴趣区域的范围中的合计光强度可以大于在该多个第二扫描周期内在其它感兴趣区域中的合计光强度。
通过识别感兴趣区域并相对于较低兴趣区域而增加供给那些区域的光量,与不太感兴趣的区域相比,可以在感兴趣区域中检测到更多物体和/或更远距离的物体。例如,在感兴趣区域中,投射光的反射可以导致在至少一个独特的感兴趣区域中在第一距离处确定第一物体的存在。并且这个第一距离可以大于在不感兴趣区域中未检测到物体的第二距离。
至少一个处理器118可以相对于其它区域,修改向至少一个独特的感兴趣区域的照明分辨率。至少一个后续的第二扫描周期中的至少一个独特的感兴趣区域的3D表示的空间分辨率高于第一扫描周期中的该至少一个独特的感兴趣区域的3D表示的空间分辨率。此外,至少一个处理器118还可以相对于其它区域,修改向至少一个独特的感兴趣区域的照明定时,使得至少一个后续的第二扫描周期中的至少一个独特的感兴趣区域的3D表示的时间分辨率高于第一扫描周期中的该至少一个独特的感兴趣区域的3D表示的时间分辨率。其中,例如,可以通过但不限于增加帧速率,来获得更高的时间分辨率;反之亦然。
如上面提到的示例,当更多光被分配给至少一个感兴趣区域时,也可以获取更高的空间和/或时间分辨率。另一方面,对于不感兴趣和低兴趣的区域,可以减少朝着那些区域的光分配,并且进而可以获得较低的空间和/或时间分辨率。可以通过但不限于使用更高的光强度(例如,缩窄感兴趣区域的范围,使得每面积被分配更多的光通量),来实现空间和/或时间分辨率的增加。类似地,可以通过但不限于使用较低的光强度(例如,加宽不感兴趣的区域的范围,使得每面积被分配较少的光通量),来实现空间和/或时间分辨率的减小。
图20是用于使用激光雷达系统来检测感兴趣区域中的物体的示例方法2000的流程图。在步骤2001中,处理器(例如,处理器118)以使得光强度能够在使用来自至少一个光源的光对视场(例如,视场120)进行扫描时变化的方式,控制至少一个光源(例如,光源112)。在步骤2002中,处理器(例如,处理器118)控制至少一个光偏转器(例如,光偏转器114)以偏转来自至少一个光源(例如,光源112)的光,以便扫描视场(例如,视场120)。在步骤2002中至少一个光源的偏转还可以影响从视场(例如,视场120)到达的反射光在至少一个传感器(例如,传感器116)的方向上的偏转。在步骤2003中,处理器(例如,处理器118)获得视场(例如,视场120)中的至少一个独特的感兴趣区域的标识。此外,所获得的视场(例如,视场120)中的至少一个独特的感兴趣区域的标识可以来自至少一个传感器(例如,感测单元106),该至少一个传感器被配置为检测与第一扫描周期相关联的光的反射。此外,在一些实施例中,所获得的视场(例如,视场120)中的至少一个独特的感兴趣区域的标识可以基于其中部署有激光雷达系统的车辆的当前驾驶模式。在一些实施例中,所获得的视场(例如,视场120)中的至少一个独特的感兴趣区域的标识可以基于在至少一个独特的感兴趣区域中检测到的物体。在一些实施例中,所获得的视场(例如,视场120)中的至少一个独特的感兴趣区域的标识可以来自GPS、车辆导航系统、雷达、激光雷达和相机中的至少一个。
在步骤2004中,处理器(例如,处理器118)相对于其它区域,增加向至少一个独特的感兴趣区域的光分配,使得:在第一扫描周期之后,在至少一个后续的第二扫描周期中在与该至少一个独特的感兴趣区域相关联的位置处的光强度高于在第一扫描周期中在与该至少一个独特的感兴趣区域相关联的位置处的光强度。此外,至少一个后续的第二扫描周期包括多个后续的第二扫描周期,并且在多个第二扫描周期内在该至少一个独特的感兴趣区域的范围中的合计光强度大于在多个第二扫描周期内在其它不感兴趣区域中的合计光强度。
在步骤2005中,处理器(例如,处理器118)调节光分配,使得:在单个扫描周期中,相对于其它区域,向至少一个独特的感兴趣区域投射更多的光。在一些情况下,相对于在第一扫描周期中朝着被识别为不感兴趣区域的多个区域投射的光量,处理器(例如,至少一个处理器118)可以在至少一个后续的第二扫描周期中将较少的光分配给被这多个区域。
图21是用于使用激光雷达系统来检测多个感兴趣区域中的物体的示例方法2100的流程图。在步骤2001中,处理器(例如,处理器118)以使得光强度能够在使用来自至少一个光源的光对视场(例如,视场120)进行扫描时变化的方式,控制至少一个光源(例如,光源112)。在步骤2002中,处理器(例如,处理器118)控制至少一个光偏转器(例如,光偏转器114)以偏转来自至少一个光源(例如,光源112)的光,以便扫描视场(例如,视场120)。在步骤2003中,处理器(例如,至少一个处理器118)获得视场(例如,视场120)中至少一个独特的感兴趣区域的标识。此外,所获得的视场(例如,视场120)中的至少一个独特的感兴趣区域的标识可以来自至少一个传感器(例如,感测单元106),该至少一个传感器被配置为检测与第一扫描周期相关联的光的反射。此外,在一些实施例中,所获得的视场(例如,视场120)中的至少一个独特的感兴趣区域的标识可以基于其中部署有激光雷达系统的车辆的当前驾驶模式。在一些实施例中,所获得的视场(例如,视场120)中的至少一个独特的感兴趣区域的标识可以基于在至少一个独特的感兴趣区域中检测到的物体。在一些实施例中,所获得的视场(例如,视场120)中的至少一个独特的感兴趣区域的标识可以来自GPS、车辆导航系统、雷达、激光雷达和相机中的至少一个。
在步骤2101中,处理器(例如,处理器118)可以对多个感兴趣区域进行排名。例如,场景可以由激光雷达系统扫描。场景的感兴趣区域可以被指定为或者不感兴趣区域(RONI)、或者具有低和高之间的兴趣水平的感兴趣区域(ROI)。例如,道路分隔带和建筑物的垂直平面可以被指定为高兴趣区域(R2),行人和移动的小汽车可以被指定在中等兴趣区域(R1)内,并且场景的其余部分可以一般被认为是低兴趣区域(R0)。天际线可以被指定为RONI(R3)。
在步骤2103中,处理器(例如,处理器118)基于排名来分配光,其中分配给最高排名的感兴趣区域的光量可以大于分配给较低排名的感兴趣区域的光量。例如,对于上述说明性场景的功率或资源分配可以由处理器确定。基于排名,处理器可以将最大功率分配给最高兴趣区域R2,然后是分配给中等兴趣区域R1,并且可以向低兴趣区域R0提供最低分配。也可以将一些功率分配给RONI R3,以便周期性地确认它仍然是RONI。在这个示例中,区域2(R2)可以被定义为最感兴趣的区域。这可能归因于最高的服务质量、最大的激光功率、最高的接收器灵敏度、最高的角扫描分辨率、最高的范围分辨率、最高的帧速率等等,这暗示最长的范围检测能力。
在步骤2004中,处理器(例如,处理器118)可以相对于其它区域,增加向至少一个独特的感兴趣区域的光分配,使得:在第一扫描周期之后,在至少一个后续第二扫描周期中在与该至少一个独特的感兴趣区域相关联的位置处的光强度高于在第一扫描周期中在与该至少一个独特的感兴趣区域相关联的位置处光强度。此外,至少一个后续的第二扫描周期可以包括多个后续的第二扫描周期,并且在多个第二扫描周期内在至少一个独特的感兴趣区域的范围中的合计光强度可以大于在多个第二扫描周期内在其它感兴趣区域中的合计光强度。
在步骤2005中,处理器(例如,处理器118)调节光分配,使得:在单个扫描周期中,相对于其它区域,朝着至少一个独特的感兴趣区域投射更多的光。在一些情况下,相对于在第一扫描周期中朝着被识别为不感兴趣区域的多个区域投射的光量,处理器(例如,处理器118)可以在至少一个后续的第二扫描周期中将较少的光分配给该多个区域。
基于中间检测结果的自适应激光雷达照明技术
图23图示了发射光并检测从激光雷达的视场反射的光子的激光雷达系统2300的示例性实施例。在一些实施例中,激光雷达系统2300可以如上面参考激光雷达系统100所描述的那样操作。基于检测结果,激光雷达可以生成深度图序列。如前所述,激光雷达可以可操作为生成一种或多种不同类型的深度图,诸如以下当中的任何一种或多种:点云模型(PC)、多边形网格、深度图像(保持图像或2D阵列的每个像素的深度信息)、或场景的任何其它类型的3D模型。
所生成的深度图可以包括时间特点。例如,可以按时间顺序生成深度图,其中不同的深度图在不同时间生成。可以在激光雷达FOV的扫描持续时间内生成序列的每个深度图(可互换地称为“帧”)。在一些实施例中,这种扫描可以在数秒、大约1秒内或小于1秒的时段内发生。
在一些实施例中,激光雷达系统2300(可互换地称为“激光雷达”)可以在序列上具有固定的帧速率(例如,每秒10帧(10FPS)-每秒25帧(25FPS)等等)或动态的帧速率。不同帧的帧时间跨序列不必相同。例如,10FPS激光雷达可以在100毫秒(平均值)内生成一个深度图,在92毫秒内生成下一帧,在142毫秒处生成第三帧,以及以平均到10FPS规格的各种速率生成附加帧。
帧时间可以指:以光的第一投射(对其检测的产生帧的检测信息)开始、并以相应深度图(“帧”)的完成结束的时间跨度。“帧照明持续时间”是:以光的第一投射(对其检测的产生帧的检测信息)开始、并且当最后一个光子(对其的检测影响帧的检测信息)被发射时结束的时间跨度(即,“帧照明持续时间”是相应帧时间的第一部分,接着是帧的检测信息的至少一些处理以产生相应的深度图的持续时间)。在一些实施例中,可以要求在本公开中描述为在相同的帧时间内发生的所有动作、处理或事件在相同的帧照明持续时间内发生(即,可以实现更严格的时间约束)。
在一些实施例中,帧时间可以部分重叠(例如,第N个深度图的处理可以延伸到第(N+1)帧的照明中),但是可选地可以是完全不重叠的。在一些实施例中,在不同帧的帧时间之间可以存在时间间隙。
序列中的深度图的数量可以等于或大于3,但是激光雷达可以生成明显更长的帧序列。例如,序列可以包括多于10个深度图。例如,序列可以包括多于100个深度图。例如,序列可以包括多于1000个深度图。要注意的是,序列不必包括由激光雷达生成的所有帧。可选地,深度图序列可以包括由激光雷达生成的、序列的第一个和最后一个深度图之间所有深度图。
系统2300可以包括至少传感器接口2350和光源控制器2360,但是还可以包括附加部件,诸如(但不限于)下面讨论的部件。传感器接口2350可以被配置并且可操作为从激光雷达的一个或多个传感器(例如,传感器2344(1)、2344(2)和2344(3))接收检测信息,该信息指示由相应的(一个或多个)传感器检测到的(一个或多个)光量(例如,检测到的光子的数量、检测到的光的累积能量等等)。对于激光雷达的视场(FOV)的至少一些片段,由传感器检测的光可以包括由激光雷达发射并且从场景朝着激光雷达的一个或多个检测器反射回的光子。
激光雷达的FOV可以包括在不同定时被照亮的若干片段(两个或更多个,多达数百或数千个,并且可能更多)。每个片段可以包括深度图的一个或多个项(例如,一个或多个多边形、一个或多个点云点、一个或多个深度图像像素),并且可以被一个或多个传感器覆盖(从而生成一个或多个检测信号)。在一些实施例中,FOV的片段可以包括非重叠片段。在其它实施例中,FOV的片段中的一些可以部分地彼此重叠。可选地,深度图可以不包括用于一个或多个片段的项(例如,因为在允许的时间帧内没有反射的光子,或者SNR太低而无法检测)。在这种情况下,深度图可以包括缺少数据的对应指示,但不必如此。
在一些实施例中,由激光雷达生成的深度图可以包括深度信息,该深度信息基于对来自在没有初步照明处理(例如,如可以关于中心片段和圆周片段之间的可选区分来实现)的情况下被照亮的片段的光的检测。由激光雷达生成的深度图可以包括还对于FOV的未被照亮的部分(或片段)的、和/或并非是基于光的检测的深度信息。例如,深度图的一些项(像素、PC点、多边形或其部分)可以基于对于FOV的被照亮部分而确定的基于检测的值的内插或求平均。
在示例性实施例中,传感器接口2350可操作为,在序列的每个帧时间中并且对于激光雷达的视场的多个片段中的每个片段,(从激光雷达的一个或多个传感器)接收由激光雷达在相应的帧时间期间发射并且从相应的片段反射(或以其它方式散射)的光的初步检测信息。对于其中一些片段,激光雷达投射的光都不会被反射(例如,如果在激光雷达的检测范围内没有目标),但是对于至少其中一些片段,初步检测信息可以指示从场景反射并由激光雷达的一个或多个传感器检测到的投射光的量。连同由一个或多个传感器提供的检测信息(包括初步检测信息),由一个或多个传感器生成的信号可以包括来自例如外部辐射(例如,阳光、手电筒和除激光雷达系统100之外的其它光/辐射的源)和传感器噪声(例如,暗电流)的贡献。
初步检测信息可以作为单个信号(基于一个或多个传感器(例如,一个或多个SPAD、一个或多个APD、一个或多个SiPM等等)的输出)或作为多个信号(例如,多个传感器的输出)获得。初步检测信息可以包括模拟和/或数字信息。初步检测信息可以包括单个值和/或多个值(例如,对于不同时间和/或片段的不同部分)。初步检测信息可以涉及深度图的一个或多个项(例如,涉及一个或多个多边形、一个或多个点云点、一个或多个深度图像像素等等)。要注意的是,初步信息可以稍后用于确定到FOV中的至少一个物体的距离。
光源控制器2360可以被配置并可操作为控制激光雷达的光源2310,并且尤其是控制光源2310对光的发射。光源控制器2360可以是控制激光雷达的光源2310对光的发射的唯一实体,但不必如此。如果激光雷达包括多于一个光源,那么光源控制器2360可以被配置并可操作为控制这些光源中的一个或多个,可能是所有光源。此外,除控制器2360之外的各种控制器也可以控制或影响与激光雷达系统100相关联的光源的至少一个操作方面。
在一些实施例中,光源控制器2360被配置为,在序列的每个帧时间中,控制激光雷达对光的后续发射。在初步光发射(即用于初步检测信息的发射)的发射之后,后续发射(如果其发射被光源控制器2360允许)被发射。如果激光雷达发射脉动光,那么后续的光的发射可以包括一个或多个光的脉冲。
光源控制器2360可以被配置为,在序列的每个帧时间中,基于多个片段中的每个片段的初步检测信息,控制在相应的帧时间期间由激光雷达对光到相应片段的后续发射。即,在每个帧时间中,光源控制器2360可以基于对由激光雷达在相同帧时间内发射的并且在相同片段中被检测到的光的检测和处理,来控制多个片段中每个片段中的后续的光的发射。
控制FOV的每个片段的后续光的发射允许了:基于对来自相同帧的反射光的检测,来在将光投射到激光雷达的FOV的不同片段时加以区分,其中来自相同帧的反射光指示了对于几乎瞬时输入的检测结果(例如,指示了FOV的不同部分中的目标)。这种区分可以被用于实现各种目标,诸如-
a.眼睛安全(以及其它安全考虑因素,诸如皮肤安全、光学系统的安全、敏感材料和物体的安全,等等):有可能在激光雷达FOV的、安全在其中是考虑因素的一个或多个部分中限制发射的功率电平,同时向FOV的其它部分发射更高的功率电平(从而潜在地改进信噪比和检测范围)。
b.功率管理:有可能将更多的能量朝着激光雷达FOV的能量将会更加有用的部分(例如,感兴趣区域、更远距离的目标、低反射目标等等)引导,同时限制递送到FOV的其它部分的照明能量。用于眼睛安全或功率管理(或任何其它目的)的这种光分配可以基于来自当前帧或任何在前帧的检测结果。
在一些实施例中,控制光到FOV的特定片段或区域的后续投射的发射可以包括控制(例如,更改)光源的一个或多个参数,以影响后续的光发射。这种更改可以影响投射光的各种特点,诸如(但不限于)以下任何一个:
a.在FOV的当前扫描期间或在FOV的后续扫描期间,增加、减少、限制或阻止到任何一个或多个激光雷达FOV片段的光投射;
b.供给跨FOV或供给FOV的任何部分的总光能;
c.供给FOV的任何部分的光的能量曲线;
d.光发射的持续时间;
e.投射到FOV的任何部分的光的波特性,诸如偏振、波长等等。
此外,图23图示了FOV的多个片段。本领域技术人员将清楚的是,每个片段可以表示三维圆锥形截面(实质上是锥形或截锥形)。为了简化说明,仅示出了每个片段的横截面。此外,片段的数量和它们的空间配置可以显著地不同。例如,图示中的片段以3乘6的2D矩形阵列布置,但是也可以代替地使用其它非矩形布置,以及1D布置。
系统2300可以适配为使用光脉冲(或其它形式的发送光,诸如CW激光照明),来控制(并且还可能地检查)场景的区域或片段(这里示出的是被扫描的具体视场(FOV))的检查。可以根据以下参数中的任何一个或多个(以及其它参数),来选择(可能也在激光雷达的操作期间)照明的特点(初始照明、后续照明或激光雷达的任何其它照明):
a.正被检查的场景片段的光学特点。
b.除正被检查的场景片段之外的场景片段的光学特点。
c.存在于正被检查的场景片段中或附近的场景元素。
d.存在于除正被检查的场景片段之外的场景片段中或附近的场景元素。
e.扫描或转向设备的操作模式。
f.扫描或转向设备正与其一起操作的主机平台的情景特征/特点。
激光雷达的光源2310(可互换地称为“发射器”和“发射器组件”)可以包括一个或多个个体发射器(例如,一个或多个激光器、一个或多个LED),其可以使用相似或不同的操作参数(例如,波长、功率、聚焦、发散等等)来操作。光源控制器2360可以控制光源2310的个体发射器中的一个、一些或全部。在一些实施例中,光源2310可以可操作为朝着FOV发射光子检查脉冲。在一些实施例中,光源和偏转器可以被组合。例如,激光雷达系统可以包括垂直腔表面发射激光器或光学相控阵。
激光雷达的传感器组件2340(可互换地称为“传感器阵列”、“传感器”、“检测器阵列”和“检测器组件”)可以包括一个或多个光敏检测器2344,每个光敏检测器可以包括个体感测单元。例如,每个检测器2344可以是硅光电倍增管(SiPM),其包括多个单光子雪崩二极管(SPAD)。传感器组件检测由激光雷达发射的、从扫描场景的物体反射回来的光子。
在一些实施例中,激光雷达还可以包括转向组件2330,用于在被扫描的场景片段的方向上引导发射光,和/或用于将反射的光子朝着传感器阵列2340引导。转向组件2330可以包括可控制地可转向的光学器件(例如,旋转/可移动的反射镜、旋转/可移动的透镜等等),并且还可以包括固定的光学部件,诸如分束器、反射镜和透镜。一些光学部件(例如,用于激光脉冲的准直)可以是发射器的一部分,而其它光学部件可以是检测器组件的一部分。在一些实施例中,转向组件2330可以包含反射镜的阵列。
在一些实施例中,光源控制器2360可以以不同方式连接到光源2310,诸如通过电路或其它有线连接、通过无线连接等等。光源控制器2360还可以连接到转向组件2330,用于基于初步检测信息的分析来控制发射光和/或反射光的转向方向。例如,如果对于给定片段不需要后续照明,那么可以指示转向组件立即改变到另一个转向状态,以便照亮场景的另一个片段。
激光雷达的控制器2320可以被实现为用于控制感测阵列2340、转向组件2330和/或激光雷达的其它部件。控制器2320可以包括光源控制器2360,但是光源控制器2360也可以在控制器2320外部和/或独立于控制器2320(例如,主机230)。在后一种情况下,光源有可能可以由控制器2320和光源控制器2360两者控制。控制器2320可以可选地被使用,以便以协调的方式并可选地根据场景片段检查特点(例如,基于内部反馈、主机信息或其它源),调整发射器2310、转向组件2330和传感器组件2340的操作。
根据一些实施例,激光雷达对场景片段的检查可以包括:用发送光(例如,光子的脉冲)来照亮场景片段(可互换地称为“片段”、“区域”和“场景区域”)。发射光可以具有已知的参数,诸如:持续时间、角色散、波长、瞬时功率、距发射器不同距离处的光子密度、平均功率、功率强度、脉冲宽度、脉冲重复率、脉冲序列、占空比、波长、相位、偏振等等。
对区域的检查还可以包括:检测反射光子,以及表征这些反射的检查光子的各个方面。反射的检查光子可以包括从被扫描的场景片段内存在的被照亮的元件朝着激光雷达反射回的发射光的光子。
反射光子可以由检查光子和场景元素(检查光子是从场景元素被反射的)产生,因此可以相应地分析接收到的反射信号。通过比较发射光的特点与对应的反射及检测信号的特点,可以估计被扫描的场景片段中存在的一个或多个场景元素的距离以及可能的其它物理特点(诸如反射强度)。通过跨FOV的多个部分重复这个处理(例如,以光栅模式、利萨如(Lissajous)模式或其它模式),可以扫描整个场景以便产生场景的深度图。
“场景片段”或“场景区域”可以例如使用球面坐标系中的角度来定义,例如,与给定方向上的光束对应。在给定方向上具有中心径向向量的光束还可以通过角发散值、光束的球面坐标范围等等来表征。
在一些实施例中,在照明的上下文中定义的不同片段不必与在检测的上下文(例如,“像素”或深度图)中区分的FOV部分或部位的尺寸相同。例如,激光雷达可以生成N×M深度图(例如,100×100深度图像),但是将相同的FOV分割成更小的片段(例如,10×10或20×1)以用于照明。在另一个示例中,照明片段可以在至少一个维度上比检测的角分辨率更窄。
在一些实施例中,范围估计器2390获得由传感器阵列2340获取的检测信息,并处理该信息以便生成深度图。处理可以基于飞行时间分析,或者以本领域已知的任何其它方式。
初步检测信息可以基于多个检测器(例如,像素、SiPM)对并发发射(例如,一个或多个脉冲、或空间上连续的照明)的检测。光源控制器2360可以基于由多个检测器(例如,2340)生成的初步检测信息,来确定如何共同地控制可由所有的相应检测器检测的后续发射。在一些实施例中,光源控制器2360可以阻挡对整个片段的任何后续发射-即便仅一个或一些检测器(但不是全部)指示出向相应片段的投射是不安全的。
图24是图示根据当前公开的实施例的方法2400的示例的流程图。方法2400是用于控制光检测和测距设备(激光雷达)的操作的方法,该光检测和测距设备(激光雷达)生成深度图的序列。可以在对应的后续帧时间,生成序列的每个深度图。在一些实施例中,方法2400可以在逐个像素或逐个束斑的基础上执行。
参考关于前面的附图阐述的示例,方法2400可以由系统2300执行。方法2400可以包括执行关于系统2300讨论的任何功能、处理、能力等等,即使没有明确地陈述。同样,系统2300可以被配置、调节和/或可操作为合并方法2400的任何步骤或变体,即使没有明确地陈述。
方法2400可以包括:在序列的每个帧时间中,对于激光雷达的视场的多个片段中的每个片段,执行至少阶段2440和2450。在一些实施例中,方法2400可以包括或可以不包括对于FOV中的所有片段执行阶段2440和2450。在其它实施例中,方法2400可以包括或可以不包括对于FOV的所有被照亮的片段执行阶段2440和2450。
阶段2440可以包括:基于在相应的帧时间期间由激光雷达发射并且从相应片段反射的光,来获得初步检测信息(例如,在一个或多个信号中)。获得初步检测信息可以包括获得对于深度图像的单个像素(或者另一种类型的深度图的项,诸如PC点或多边形、表面、面、多边形网格的边或顶点)、或对于多于一个像素(或项)的检测信息。参考关于前面的附图阐述的示例,阶段2440可以由传感器接口2350和/或传感器组件2340执行。
阶段2450可以包括:基于初步检测信息(阶段2440的、针对相同帧时间中的相同片段的),选择性地控制在相同的相应帧时间期间由激光雷达对光到相应片段的后续发射。参考关于前面的附图阐述的示例,可以例如由光源控制器2360执行阶段2450。阶段2450的控制可以包括例如关于光源控制器2360讨论的任何形式的控制。在一些实施例中,阶段2450可以包括控制激光雷达的转向组件(例如,转向组件2330),以将后续发射引导到相应片段。
在一些实施例中,在每个帧时间中,(对所有片段)初步检测信息的获得和选择性的控制是在相同的帧照明持续时间(这是第一光子在帧时间中的发射到最后一个光子(对其的检测影响该帧的深度图)的发射之间的时间)内执行的。可选地,在对用于生成该帧时间的深度图的检测信息的处理开始之前,完成选择性的控制和后续的发射。
在一些实施例中,可以实现不同片段被照亮和不同片段被分析的不同次序。例如,可以在进行针对另一个片段的相同步骤之前,进行初步照亮每个片段、获得相应的初步检测信息(阶段2440)以及选择性地控制对相同片段的后续照明(阶段2450)。
在另一个实施例中,在第一片段的初步照明到其后续照明(利用相应的后续发射)之间,另一个片段可以被照亮。在一些实施例中,对于单个片段的后续发射之前是该单个片段的片段暗时间(即,在此期间激光雷达不将任何光投射到该片段),在此期间多个片段中的另一个片段被激光雷达照亮。
方法2400可以被用于确保激光雷达系统100是眼睛安全的(例如,根据任何相关的眼睛安全规定的要求进行操作)。在一些实施例中,选择性控制照明之前是以下阶段(未示出):该阶段基于初步检测信息,确定投射场(例如,球形扇区、锥形或截锥形)在至少预定数量的帧内在至少眼睛安全的范围内是没有人的。以这种方式,激光雷达系统100可以防止对FOV的并非没有人的部分的、其功率超过安全阈值的后续发射。眼睛安全范围(例如,图23的“范围阈值”)可以是预定范围,但不必如此。在一些情况下,处理器118可以被配置为基于反射信号,来调节与安全距离相关联的阈值,该反射信号是基于对激光雷达FOV的特定区域的一个或多个光投射(或者基于初始光投射或者基于具有至少一个相对于初始光投射有所更改的特点的后续光投射)而接收的。
取决于检测到的条件或场景,阶段2450的选择性控制可以包括控制后续光发射到投射场的投射,该后续光发射落在或不落在眼睛安全照明限制之下,但是在所有情况下,控制照明都可以以符合眼睛安全规定的方式执行。例如,在激光雷达检测指示在激光雷达FOV的一个或多个特定区域中缺乏带眼的个体(人或其它)的情况下,那个或那些区域中的后续光投射可以在通常不会是眼睛安全的水平上进行。如果随后检测到带眼的个体(例如,进入之前未被这种个体占据的一个或多个区域),那么可以更改光投射器的一个或多个参数,使得可以以某种对个体的眼睛而言是安全的方式,执行到被占据区域的后续光发射。在其它情况下,可以在激光雷达FOV的特定区域内检测到一个或多个带眼的个体,但是是在超出眼睛安全阈值(例如,眼部危险距离)的距离处。在这种情况下,可以以在眼睛安全阈值内可能不是眼睛安全的但是在检测到个体的、超出眼睛安全阈值的地方是眼睛安全的方式,将光投射到那个区域。还有在其它情况下,可以在激光雷达系统的紧邻区域内(例如,在预定的眼睛安全阈值距离内)的范围处,检测人和/或动物。在这种情况下,可以更改光投射,以在激光雷达的紧邻区域中的检测到一个或多个带眼的个体的那些区域中维持眼睛安全。眼睛安全协议可以定义最大功率电平或时间内的累积能量的阈值。例如,如果后续光发射包括一组脉冲,那么眼睛安全依从性可以要求那些脉冲的合计能量不超过预定的阈值水平。在一些情况下,当在激光雷达系统的紧邻区域中检测到物体(例如,人)时,处理器118可以被配置为防止朝着紧邻区域的与检测到的物体相关联的一部分的任何进一步的光发射。在其它情况下,当在紧邻区域中检测到物体时,至少一个处理器还可以被配置为调整至少一个光源和至少一个光偏转器中的至少一个,以朝着该紧邻区域发射可见光。要注意的是,可见光可以由分离的光源发射,该光源的光在确定距离时使用。
术语“紧邻区域”在本领域中被广泛使用,并且应当广泛地解释为包括激光雷达系统附近的区域。紧邻区域的尺寸可以取决于激光雷达系统的功率设置(这会影响激光雷达系统的潜在危险距离)。紧邻区域在(可以由激光雷达系统向其发射光的)FOV的所有方向上可以具有基本相同的直径,例如具有直至50%的差异,但不必如此。可选地,激光雷达系统的紧邻区域在可以由激光雷达系统向其发射光的FOV的所有方向上被定义。
在一些实施例中,基于投射到激光雷达FOV的选定区域的光,处理器(诸如处理器118)可以从至少一个传感器接收指示从激光雷达FOV中的物体反射的光的反射信号。处理器118可以基于由初始光发射产生的反射信号,确定是否有物体位于激光雷达系统的紧邻区域中(例如,在与激光雷达FOV的特定片段或FOV的一组片段相关联的区域中并且在距至少一个光偏转器的阈值距离内)。阈值距离可以与安全距离(诸如眼睛安全距离)相关联。当在FOV的紧邻区域中没有检测到物体时,处理器118可以控制至少一个光源,使得:可以朝着紧邻区域投射附加的光发射,由此使得能够检测超出紧邻区域的物体。在这种情况下,例如,至少一个处理器可以被配置为使用初始光发射和附加光发射,来确定位于超出紧邻区域的物体的距离。要注意的是,术语“反射信号”应当广泛地解释为包括光的任何形式的反射和散射,包括镜面反射、漫反射和任何其它形式的光散射。
当在紧邻区域中检测到物体时,处理器118可以调整至少一个光源和至少一个光偏转器中的至少一个,以防止投射在紧邻区域中的光的累积能量密度超过最大允许曝光。例如,可以更改光投射单元和/或光偏转单元的各种参数,以向特定的激光雷达FOV片段提供在至少一个方面与初始光发射不同(例如,在与眼睛安全参数有关的至少一个方面不同)的附加光发射。可以或者在与进行初始光发射时相同的FOV扫描期间,或者在任何后续的FOV扫描期间,对特定激光雷达FOV片段进行附加的光发射。
由于激光雷达系统可以能够确定到检测到的物体的距离值,因此激光雷达系统可以充分利用这个信息以符合眼睛安全规定。例如,一旦检测到物体,处理器118就可以确定到物体的距离(例如,基于飞行时间分析等等)。处理器118可以计算检测到的物体处的投射光的强度(例如,基于检测到的距离和从光源112/偏转器114投射的光的已知特点)。基于这种计算,处理器118可以确定在该距离处对物体眼睛安全的曝光时间。然后,处理器118可以控制光源112和偏转器114中的至少一个,以确保不超过该曝光时间。类似地,处理器118可以被配置为确定与最大允许曝光相关联的值,并且这种确定可以基于至少一个光偏转器与在激光雷达系统的紧邻区域中检测到的物体之间的所确定的距离。
除了曝光时间的确定之外或替代曝光时间的确定,处理器118还可以基于上面提到的强度的计算,来确定在该距离处对物体眼睛安全的允许光能。对于曝光时间和允许光能两者,要注意的是,在一些示例中,处理器118可以通过确定指示相应参数的值,来间接地确定相应参数。要注意的是,即使没有明确阐述,在经过必要的改动后,对允许光能的确定(如果被实现的话)也可以以与所确定的曝光时间被使用的方式相同的方式而被使用。
还要注意的是,可以直接或间接地确定至少一个光偏转器与物体之间的距离。例如,可以通过确定另一个距离(诸如至少一个光源与物体之间的距离)来实现那个距离的间接确定。
在激光雷达FOV被划分为片段或扇区以执行FOV的扫描的实施例中,例如,每个片段或扇区可以相对于激光雷达系统与不同的紧邻区域相关联。即,每个片段或扇区连同眼睛安全阈值距离可以在激光雷达系统附近定义分离的紧邻区域。在一些实施例中,处理器118可以被配置为基于由到每个扇区的初始光发射产生的反射信号,来确定是否有物体位于与多个扇区相关联的紧邻区域中的每个紧邻区域中。在一些情况下并且基于经由传感器单元从特定扇区接收的反射信号,处理器118可以被配置为在与第一扇区相关联的第一紧邻区域中检测到物体。类似地,处理器118可以被配置为确定在与第二扇区相关联的第二紧邻区域中不存在物体。在这种情况下,至少一个处理器118可以被配置为控制(例如,在单个扫描周期中)至少一个光源,使得朝着第二紧邻区域投射附加的光发射。另外,处理器118可以调整光源和/或光偏转器中的至少一个,以防止第一紧邻区域中的光的累积能量密度超过最大允许曝光。
在激光雷达FOV被划分为扇区的一些实施例中,处理器118可以被配置为基于与来自每个扇区的初始光发射相关联的反射信号,来确定是否有物体位于与多个扇区相关联的紧邻区域中的每个紧邻区域中。一旦在与第一扇区相关联的第一紧邻区域中检测到物体并且确定在与第二扇区相关联的第二紧邻区域中不存在物体,处理器118可以控制至少一个光源,使得在单个扫描周期中,可以朝着第二紧邻区域投射附加的光发射。处理器118还可以调整至少一个光源和至少一个光偏转器中的至少一个,以防止第一紧邻区域中的光的累积能量密度超过最大允许曝光。
应当注意的是,上述任何激光雷达系统实施例可以与这里描述的眼睛安全光投射协议结合使用。例如,在一些实施例中,眼睛安全激光雷达可以包括收发合置偏转器配置,使得偏转器将投射光朝着视场的特定片段导引,同时从视场的特定片段中的物体反射的光被同一个偏转器朝着一个或多个传感器引导。此外,光偏转器可以包括多个光偏转器,并且处理器118可以被配置为使多个光偏转器合作,以扫描激光雷达FOV。在一些实施例中,至少一个光偏转器可以包括单个光偏转器,并且至少一个光源可以包括瞄准单个光偏转器的多个光源。
在激光雷达系统100中可以采用各种不同的光源。例如,在一些情况下,光源可以被配置为投射波长小于1000nm、800nm至1000nm之间等等的光。
在一些实施例中,激光雷达系统100可以包括多于一个光源。在这种情况下,每个光源可以与激光雷达FOV的不同区域相关联。处理器118可以被配置为协调至少一个光偏转器和多个光源的操作,使得当在视场的第一区域中在大于安全距离的距离处检测到一个物体时,由不同光源投射到视场的第二区域的光的能量密度不超过与视场的第二区域相关联的最大允许曝光。
此外,处理器118可以被配置为协调至少一个光偏转器和至少一个光源,使得当在另一个区域中在大于安全距离的距离处检测到另一个物体时,由至少一个光源投射到视场的该另一个部分的光的能量密度不超过与视场的该另一个部分相关的最大允许曝光。在一些实施例中,安全距离是标称眼部危险距离(NOHD)。
在一些实施例中,阶段2450的选择性控制可以包括:在至少一个帧时间期间,在至少一个片段中,对于在至少预定数量的帧时间内并非没有人的投射场,防止其功率超过安全阈值的后续发射。在一些实施例中,在至少一个帧时间内对至少一个FOV片段的选择性控制可以包括维持或甚至增加光投射功率电平,同时减少提供给该至少一个FOV片段的累积能量量。例如,在脉动激光器示例中,先前照明的脉冲(或多个脉冲)可以具有与一个或多个后续发射的脉冲(或多个脉冲)相同的峰值功率(或甚至更低的功率电平)。但是,还有,后续照明的累积能量却可以低于一个或多个先前发射的累积能量。以这种方式,可以有可能在仍然符合眼睛安全规定操作的同时增加信噪比和/或检测范围。当然,在其它情况下,可以有可能以任意组合改变功率电平、累积能量特点或任何其它光发射参数,以便在符合眼睛安全规定的同时实现激光雷达检测目标。
在一些实施例中,阶段2450的选择性控制可以包括:在任何给定的帧时间内,停止(或防止)到特定FOV片段或一组片段的后续光发射,以符合眼睛安全规定。还可以实现这种控制,以减少或消除检测器或者检测和/或处理链的任何其它部件的饱和的风险。这种控制还可以支持节能考虑(例如,在不需要的情况下不消耗能量,例如,如果基于先前的发射并且无需持续的发射就可以检测到物体和/或可以确定范围)。
在一些实施例中,在至少一个帧时间中对激光雷达FOV的至少一个片段的选择性控制可以包括:如果初步检测信息满足预定的检测标准,那么防止任何后续发射的发射。在一些实施例中,选择性控制之后可以是对初步检测信息的进一步处理(对于相应片段,没有任何其它后续检测信息),以产生用于该片段的深度信息。
关于眼睛安全(例如),方法2400可以被用来:基于所确定的一个或多个物体包括人和/或动物的可能性,防止对在其中检测到一个或多个物体的FOV区域的潜在有害发射的照明。即使仅存在低的一个或多个物体包括带眼的个体的可能性,也可以暂停对特定FOV区域的潜在有害发射。即使在没有检测到个体(或甚至物体)的情况下,如果特定FOV区域被确定(例如,基于检测到的上下文(诸如在停止的公共汽车附近、在人行横道附近、在人行道附近、在建筑物入口附近,等等))为通常会在其中发现带眼的个体的区域,那么也可以暂停(或以其它方式更改)对该FOV的潜在有害发射。在FOV的未被确定为包括带眼的个体或者未被预期/预测为包括这种个体的其它区域中,可以向那些区域提供更高功率的发射。因此,生成的深度图可以受益于那些不受制于眼睛安全限制的区域中的检测(例如,由于更高功率的发射等等),使得深度图的整体质量可以高于如果跨整个FOV的每个光发射都是以假设存在带眼的个体的功率电平等等而进行的情况下的整体质量。
方法2400可以包括在序列的单个帧时间内执行:基于相应的初步检测信息,选择性地控制具有彼此相差至少2倍或更多倍的功率电平的、到不同FOV片段的后续发射(例如,在同一帧时间内,到一个FOV片段的后续发射可以具有到另一个片段的后续发射的至少两倍高的功率电平)。对于这个帧时间,可以生成深度图(例如,在阶段2401中)。这可以允许例如在FOV的一些部分中的高SNR或长距离检测,同时在FOV的其它区域中或者甚至跨整个FOV维持眼睛安全依从性(例如,鉴于累积能量阈值)。
在一些实施例中,阶段2450可以包括选择性地控制后续发射,以防止通过其获得传感器检测信息的检测路径的饱和。这可以包括传感器,或者在检测和/或处理路径中的激光雷达的任何部件(例如,放大器、模数转换器等等)。在检测结果的高级处理中(例如,用于估计检测到的目标的反射率水平),可以充分利用饱和的防止。
方法2400可以包括基于(或者同一片段的、或者其它片段的)在前的一帧(或多帧)中的检测结果,来限制(或以其它方式管理)给定帧时间中到给定FOV片段的发射水平。方法2400可以包括基于(或者相同的帧时间中的、或者在前的帧时间中的)另一个片段的检测结果,来限制(或以其它方式管理)在给定帧时间中到给定片段的发射水平。
方法2400可以包括基于在相同帧时间中获得的、相同FOV片段或FOV的另一个片段的初步检测信息,来控制对FOV的片段的后续发射(例如,在相同的帧时间中)。例如,在特定FOV片段中在激光雷达的紧邻区域内检测到目标(尤其是与带眼的个体对应的目标)可以影响提供给相同FOV片段和/或提供给一个或多个周围FOV片段的后续光发射。例如,这样的目标可以跨越两个或更多个FOV片段,或者可以预期移动到邻近的FOV片段。
方法2400可以包括:在获得初步检测信息之前,基于在先前帧时间期间收集的检测信息,选择性地控制对特定FOV片段的初步发射。在一些实施例中,不同的光源可以被用于初步照明和用于后续照明。例如,虽然后续发射可以由激光雷达的主光源投射,但是初步照明可以由另一个光源(例如,可见光源,或甚至另一个系统的光源)投射。可选地,初步检测信息基于对由激光雷达的至少一个光源发射的至少一个光子的检测,该至少一个光源在相应的后续发射期间不投射。不同的光源可以由单个光源控制器或由不同的控制器控制。
初步检测信息的检测和后续检测信息的检测可以由不同的传感器执行。例如,初步检测信息可以基于由至少一个针对近范围检测而被优化的传感器所进行的检测,而方法2400还包括处理由至少一个针对更大范围检测而被优化的其它传感器检测到的后续发射的反射光子的检测信息。不同类型传感器的使用可以与不同类型光源(例如,针对不同的传感器而被优化,反之亦然)的使用相结合,但不必如此。在一个示例中,除了单光子雪崩二极管(SPAD)阵列之外(或替代其),传感器116还可以包括用于近范围物体检测的雪崩光电二极管(APD)检测器。
FOV片段的初步照明可以用在FOV的一些片段中(例如,如果初步照明低于阈值水平-例如,眼睛安全阈值)。可以通过对相关帧的初步检测信息的分析,来控制对FOV的其它片段的照明(例如,利用超过阈值水平的能量水平)。例如,可以使用初步的低水平调查信号来分析FOV的圆周,而如果围绕FOV的圆周的FOV的区域返回对带眼的个体的低风险的指示,那么可以使用更高功率的光投射来扫描FOV的中心。
方法2400可以包括在FOV扫描的帧时间内执行以下步骤,包括:例如基于在该帧时间期间由激光雷达发射并且从位于FOV圆周处的至少一个片段中的一个或多个物体反射的光,获得圆周检测信息。这些步骤还可以包括基于圆周检测信息,选择性地控制到位于FOV的中心处的片段的光发射。
整体上参考方法2400,并且参考其上面讨论的任何变体,要注意的是,方法2400可以体现为可以由处理器(例如,激光雷达的控制器)执行的计算机可读代码(指令集)。由此公开了用于控制光检测和测距设备(激光雷达)的操作的非暂时性计算机可读介质,该光检测和测距设备(激光雷达)生成深度图的序列(序列的每个深度图是在对应的后续帧时间内生成的)。那种非暂时性计算机可读介质可以包括存储在其上的指令,当指令在处理器上执行时,可以执行包括以下的步骤:(a)获得由激光雷达在相应的帧时间期间发射并从相应片段反射的光的初步检测信息;以及(b)基于初步检测信息,选择性地控制在相应的帧时间期间由激光雷达对光向相应片段的后续发射。方法2400的任何其它步骤也可以被实现为存储在计算机可读介质上并可由处理器执行的指令。
图25A是图示根据当前公开主题的方法2500的示例的流程图。方法2500是方法2400的一种可能的实现。如图25A中例示的,可选地,基于来自相同帧时间的检测结果对由激光雷达(在给定帧时间内在给定片段中)对光的进一步发射的选择性控制可以在相同的帧时间内重复若干次。例如,可以关于相对于特定FOV片段发射的每个脉冲,重复发射、检测、分析和选择性控制的这个序列。
在一些实施例中,方法2500可以包括用于在激光雷达的范围阈值内检测物体并基于是否已检测到物体来设置后续光发射的步骤。激光雷达系统100或如上面参考图23描述的激光雷达可以控制一个或多个光源112朝着紧邻区域发射光脉冲。光脉冲可以由一个或多个偏转器114朝着FOV的特定片段引导。如果物体在FOV的特定片段内,那么激光雷达系统100可以经由一个或多个传感器116或传感器阵列接收从那个物体反射的光。处理器118或范围估计器2390可以使用反射光,来确定物体与激光雷达系统100之间的距离。如果物体在阈值距离内,那么处理器118可以调整光源112中的至少一个和光偏转器114中的至少一个,以防止投射在紧邻区域中的光的累积能量密度超过最大允许曝光。如果没有检测到物体,那么可以在同一片段中发射后续的光的脉冲,以检测超出该紧邻区域是否存在物体。
例如,如果检测到行人,那么可以确定后续的光发射特点,以应对行人的存在。在一些实施例中,对确定了行人驻留在其中的一个或多个特定FOV片段的光发射,可以限于功率电平、合计能量水平、持续时间等等,以符合适用的眼睛安全规定。这个实施例的优点包括:通过将发射功率降低到本地或联邦规定认为是安全的范围内,对激光雷达的区域中的行人或其他人的安全有所增加。
图25B图示了用于检测物体的示例方法2500。方法2500可以由至少一个处理器(例如,如图1A中描绘的激光雷达系统100的处理单元108的处理器118和/或图2A中描绘的激光雷达系统的处理单元108的两个处理器118)来执行。在步骤2502,处理器118以使得来自至少一个光源的光的光通量能够在视场(例如,图1A和2A的视场120)的扫描周期内变化的方式,控制至少一个光源(例如,图1A的光源112、图2A的光源112的激光二极管202和/或图2B的多个光源102)。例如,处理器118可以改变来自至少一个光源的脉冲的定时。可替代地或并发地,处理器118可以改变来自至少一个光源的脉冲的长度。作为另一个示例,处理器118可以可替代地或并发地改变来自至少一个光源的脉冲的尺寸(例如,长度或宽度或以其它方式更改横截面积)。在还有另一个示例中,处理器118可以可替代地或并发地改变来自至少一个光源的脉冲的振幅和/或频率。
步骤2504还可以包括处理器118控制至少一个偏转器(例如,图1A的光偏转器114、图2A的偏转器114A和/或偏转器114B、和/或图2B的单向偏转器216)以偏转来自至少一个光源的光,以便扫描视场。例如,处理器118可以造成至少一个光偏转器的机械移动,以扫描视场。可替代地或并发地,处理器118可以在至少一个偏转器中诱发压电或热电变化,以扫描视场。
在步骤2506,处理器118可以从至少一个传感器(例如,图1A的传感器116)接收反射信号,该反射信号指示从视场中的物体反射的光。在一个实施例中,反射信号可以与视场的单个部分相关联(例如,图4B的第二FOV414)。在步骤2508,处理器118可以基于初始光发射的反射信号,来确定是否有物体位于视场的紧邻区域中在距至少一个光偏转器阈值距离内。与一个实施例一致,阈值距离可以与眼部危险距离相关联。换句话说,处理器118可以确定投射的光量是否可能伤害位于紧邻区域中的个体。与另一个实施例一致,阈值距离可以与传感器饱和距离相关联。换句话说,处理器118可以确定投射的光量是否可能使反射光溢出传感器116。
当在紧邻区域中没有检测到物体时,即,在步骤2510,处理器118可以控制至少一个光源,使得朝着紧邻区域投射附加的光发射,由此使得能够检测到超出紧邻区域的物体。此外,当在紧邻区域中检测到物体时,即,在步骤2512,处理器118可以包括调整至少一个光源和至少一个光偏转器中的至少一个,以防止紧邻区域中光的累积能量密度超过最大允许曝光。根据上述两个实施例,最大允许曝光可以与可能伤害位于紧邻区域中的个体的投射的光量相关联;或者与可能使反射光溢出传感器116使得它可能损害其功能的投射的光量相关联。
使用公共的可转向偏转器在激光雷达中的并行场景扫描
在与本公开的实施例一致的激光雷达系统中,可以使用多个光源。例如,使用多个光源可以允许对视场的不同部分的并发扫描,和/或允许使用不同波长、强度等等的光来扫描视场。此外,与本公开的实施例一致的激光雷达系统可以使用公共的偏转器,将来自多个光源的光进行瞄准。例如,与本公开的实施例一致的激光雷达系统可以使用单个偏转器,将来自多个光源的光并发地朝着FOV中的不同方向瞄准。通过使用公共的偏转器,可以减小激光雷达系统的尺寸、成本和/或复杂性。在一些实施例中,与本公开的实施例一致的激光雷达系统可以使用相同的偏转器,将来自多个光源的光进行瞄准并且将从视场接收的反射进行瞄准。在一些实施例中,多个光源中的光源可以包括多个个体光源,这些光源一致地操作(例如,以便增加通量等等)。这样的多个光源可以包括相似的个体光源,但也可以包括不同种类和/或具有不同特性的个体光源。
图26A、26B和26C图示了根据本公开主题的示例的用于使用激光雷达(特别是具有公共偏转器的激光雷达)来检测物体的方法2600、2630和2660(分别地)。方法2600、2630和2660中的任何一个可以由至少一个处理器(例如,如图1A中描绘的激光雷达系统100的处理单元108的处理器118、图2A中描绘的激光雷达系统的处理单元108的两个处理器118、图27的激光雷达系统2700的至少一个处理器2702、和/或图28的激光雷达系统2800的至少一个处理器2802)来执行。至少一个处理器可以位于车辆(例如,图42A的车辆4201、图42B的车辆4205、图42C的车辆4209等,如下所述)的主体内。方法2600、2630和/或2660的任意组合也可以由至少一个处理器实现。这样的组合可以包括来自下面讨论的方法2600、2630和/或2660中的任何一个的两个或更多个步骤的任意组合。此外,方法2600、2630和/或2660可以可选地由与所公开的实施例一致的任何激光雷达系统执行。在这些方法(2600、2630和2660)中的任何一个的上下文中与激光雷达系统的部件有关的任何讨论也可以以非限制性的方式在加以必要的变更后适用于其它两个方法。
在步骤2601,当至少一个偏转器(例如,图27的激光雷达系统2700的偏转器2704和/或图28的激光雷达系统2800的偏转器2804)处于特定的瞬时位置时,至少一个处理器118或2702或2802控制至少一个偏转器,以沿着多条外传路径,将来自多个光源(例如,图27的激光雷达系统2700的光源2706、2708和2710和/或图28的激光雷达系统2800的光源2806和2808),朝着形成了视场(例如,图27的视场2712和/或图28的视场2810)的多个区域(例如,图27的区域2712a、2712b和2712c和/或图28的区域2810a和2810b)偏转。例如,在至少一个偏转器的每个瞬时位置处,每个不同光源的光可以被引导到对应区域的一部分,例如,如图2B、27和28中所描绘的。上面提到的多个区域(例如,2712a、2712b)可以通过跨越比任何相应区域更大的更大视场,从而形成视场。在一些实施例中,所形成的FOV可以是连续的(例如,如图27和28中所例示的)。可替代地或并发地,所形成的FOV可以包括两个或更多个分离的FOV区域。
多个光源的一个或多个特性可以变化。例如,如下面所解释的,来自多个光源中的至少两个光源的发射光的波长可以不同。作为另一个示例,多个光源中的至少两个光源的最大功率、占空比、脉冲定时、脉冲长度等可以不同。另一方面,多个光源的一个或多个特性可以在光源之间相同或至少基本上相似。
例如,多个光源可以包括至少三个分离的光源,如图27中所描绘的。在一些实施例中,来自多个光源的光之间的角度可以在整个扫描中是固定的。例如,来自第一光源的光可以在不同的时间t以角度α1(t)照射在偏转器的表面上,并且来自第二光源的光可以不同的时间t以角度α2(t)照射在偏转器的同一表面上,并且α1(t)-α2(t)对于所有不同的时间t可以是恒定的。在光源未布置在单个平面上的实施例中,可以使用两个角度来识别每个光源在偏转器的表面上的入射角。在一些实施例中,每个光源一般可以与视场的不同区域相关联。例如,视场的至少第一区域(例如,图27的区域2712a)可以与至少第二区域(例如,图27的区域2712b)相邻并且与至少第三区域(例如,图27的区域2712c)隔开。可替代地或并发地,在这样的示例中,视场的至少每个区域可以与视场的不同角部分相关联。在一些实施例中,不同区域可以具有相似的尺寸(例如,相似的角尺寸等),这可以例如由图1A的相应偏转器114的瞬时位置的范围所定义的。
在一些实施例中,至少一个偏转器可以包括被配置为沿着两个分离的轴枢转的单个偏转器,如图27和28中所描绘的。因而,单个偏转器可以沿着两个分离的轴而转向和/或偏转光。可替代地或并发地,至少一个偏转器可以包括偏转器阵列,该偏转器阵列具有被配置为单独地枢转的多个偏转器,如图3B中所描绘的。如本文中所使用的,术语“枢转”可以指偏转器或偏转器内的反射器的机械移动,但也可以指在不同的瞬时位置之间移动的任何其它方式,如关于图1A的偏转器114(例如,关于OPA、VCSEL阵列、MEMS阵列等)更详细地所讨论的。
在某些方面,在扫描周期期间,至少一个光偏转器可以位于多个不同的瞬时位置。例如,至少一个光偏转器可以在不同的瞬时位置之间,以连续扫掠运动而移动。可替代地,至少一个光偏转器可以在扫描周期期间,在多个离散的瞬时位置之间移动,而不是以连续扫掠而移动。
在一些实施例中,至少一个偏转器可以是二维的并且因此定义两个轴。在这样的实施例中,视场的区域可以布置在至少一个偏转器的一个轴上,或者布置在两个轴上。可替代地或并发地,FOV的两个、三个或更多个区域可以彼此平行地沿着直线布置,例如,每个区域基本上覆盖相同的范围。因而,扫描周期内的扫描可以在对至少一个轴的另一个(与基本至少一个轴垂直的)方向上,并行地发生。
在一些实施例中,至少一个光偏转器可以包含在与多个光源中的至少一个光源相同的壳体内。在其它实施例中,至少一个光偏转器可以包含在与多个光源分离的壳体内。
在步骤2603,至少一个处理器118或2702或2802控制至少一个偏转器,使得当至少一个偏转器处于特定瞬时位置时,在至少一个偏转器的至少一个公共区域(例如,图27的偏转器2704的公共区域2714、图27的公共区域2748、和/或图28的偏转器2804的公共区域2812)上接收来自视场的光反射。在某些方面,在至少一个公共区域中,多个光源中的至少一些光源的至少一些光反射照射在彼此之上。例如,其上接收到了一个光反射的区域可以至少部分地与其上接收到了另一个光反射的区域重叠。这种照射可以是同时的,或者可以在不同的时间发生。例如,从不同距离行进的光反射可以在不同的时间到达。作为另一个示例,来自多个光源的光可以在不同的定时发射,由此在不同的时间生成反射。这种定时可以跨多个光源而变化。
在步骤2605,至少一个处理器118或2702或2802从多个检测器(例如,图27的传感器2716、2718和2720的检测器和/或图28的传感器2814的检测器)中的每一个接收至少一个信号,该信号指示在至少一个偏转器处于特定的瞬时位置时来自至少一个公共区域的光反射。例如,多个检测器可以吸收光反射并将吸收的反射转换成电信号、数字信号等等,用于发送到至少一个处理器118或2702或2802。因而,多个检测器可以包括能够测量电磁波的特性(例如,功率、频率)并生成与测得的特性相关的输出(例如,数字信号)的任何光敏器件。在某些方面,接收到的光反射可以来自公共照射区域,即,来自于来自两个或更多个光源的反射撞击(strike)在其中的区域,如上面所解释的。
在一些实施例中,多个检测器可以是单个传感器的一部分,该单个传感器被配置为测量与至少一个光偏转器的特定位置相关联的至少两个不同距离,例如,如图28中所描绘的。例如,至少两个不同的距离可以与FOV的不同部分相关联。可替代地或并发地,可以在同一个像素中确定至少两个不同的距离,例如,通过从部分地隐藏彼此的不同目标反射的光子来确定。在其它实施例中,多个检测器可以是彼此分离并位于激光雷达系统内的不同位置的不同传感器的一部分。
在多个光源包括至少三个分离光源(并且在一些情况下,多个光源包括两个光源)的示例中,每个光源可以与视场的不同区域相关联,并且视场的至少第一区域可以位于与至少第二区域相邻并且与至少第三区域隔开,多个检测器可以与至少三个分离的传感器(或者两个,例如在两个光源的情况下)相关联。在这样的实施例中,至少三个分离的传感器中的每一个可以与不同的光源相关联,例如,如图27中所描绘的。此外,在这样的实施例中,多个检测器可以被配置为并发地检测位于视场的第一区域中的第一物体和位于视场的第三区域的第二物体。这种检测可以例如在第一区域的其中一个像素的扫描时间内是并发的。但是,这种并发可以不是瞬时的并发。例如,如上面所解释的,从不同距离行进而来的光反射可以在不同的时间到达。作为另一个示例,来自多个光源的光可以在不同的定时发射,由此在不同的时间生成反射。
方法2600可以包括附加的步骤。例如,方法2600还可以包括通过重复地移动至少一个偏转器来扫描视场,如上面所解释的。在视场的单个扫描周期期间,至少一个偏转器可以位于多个不同的瞬时位置(在不同的时间)。因而,在不同的瞬时位置,对来自多个光源的光和/或对反射的偏转也可以是不同的。因而,光可以在视场的不同区域被引导,和/或反射可以从视场的不同区域接收。
作为另一个示例,方法2600可以包括:基于来自至少一个公共区域的光反射,确定与视场的不同区域相关联的多个距离测量。例如,一个距离测量可以是到第一区域中的第一车辆,并且另一个距离测量可以是到第二区域中的第二车辆。作为另一个示例,一个距离测量可以是到第一区域中的车辆,并且另一个距离测量可以是到第二区域中的道路(例如,道路可以在车辆的后方、前方或旁边)。作为又一个示例,一个距离测量可以是到第一区域中的第一车辆,并且另一个距离测量可以是到第二区域中的物体(例如,该物体可以在道路的一侧)。在某些方面,一些物体可以在不同区域中被检测到,例如,因为区域部分地重叠和/或因为物体位于那些两个区域之间的边界上。
方法2600还可以包括控制多个光源,使得第一光源在至少一个偏转器的第一瞬时位置处(即,在至少一个偏转器保持在第一瞬时位置时)朝着至少一个偏转器发射比第二光源更多的光通量,并且第二光源在至少一个偏转器的第二瞬时位置处朝着至少一个偏转器发射比第一光源更多的光通量。举例来说,当来自第一光源的光被引导直向前方时,至少一个处理器118或2702或2802可以在第一瞬时位置处增加来自第一光源的光通量,并且当来自第二光源的光被引导直向前方时,可以在第二瞬时位置处增加来自第二光源的光通量。因而,观察直接前方的物体可以比侧面的物体消耗更多的能量。如上面所解释的,至少一个处理器118或2702或2802可以改变来自多个光源的脉冲的定时,改变来自多个光源的脉冲的长度,改变来自多个光源的脉冲的尺寸(例如,长度或宽度或以其它方式更改横截面积),改变来自多个光源的脉冲的振幅和/或频率,和/或改变来自多个光源的连续波(CW)或准CW光发射的参数(例如,其振幅、调制、相位等)。在一些实施例中,可以独立于其它区域,来管理不同区域(由不同光源)的通量管理。可替代地或并发地,至少一个处理器118或2702或2802可以在两个或更多个区域一起的光学预算和/或功率预算之间进行平衡(例如,以便不超过最大功耗)。
参考图26B中所示的方法2630,在步骤2631,当至少一个偏转器处于特定的瞬时位置时,至少一个处理器118或2702或2802移动至少一个偏转器,以沿着多条外传路径,朝着形成视场的多个区域,偏转来自多个光源的光。应当广泛地解释术语“移动”,如上面更详细地并通过上面的几个示例所讨论的。例如,在至少一个偏转器的每个瞬时位置处,每个不同光源的光可以被引导到对应区域的一部分,例如,如图2B、27和28中所描绘的。
多个光源的一个或多个特性可以变化,如上面参考图26A的方法2600所解释的。此外,与图26A的方法2600一样,多个光源可以包括至少两个(例如,如图28中所描绘的)、至少三个(例如,如图27中所描绘的)或更多个分离的光源。在这样的示例中,每个光源一般可以与视场的不同区域相关联。可替代地或并发地,区域可以至少部分重叠(例如,以便提高性能,增加那个区域中的最大通量,在两个区域之间进行校准,允许在FOV的重要部分发生故障的情况下进行备份,当以不同波长操作时等等)。此外,在这样的示例中,视场的至少第一区域可以与至少第二区域相邻并且与至少第三区域隔开。可替代地或并发地,在这样的示例中,视场的至少每个区域可以与视场的不同角部分相关联。
在一些实施例中,与图26A的方法2600一样,至少一个光偏转器可以包含在与多个光源中的至少一个光源相同的壳体内。在其它实施例中,至少一个光偏转器可以包含在与多个光源分离的壳体内。
在步骤2633,当至少一个偏转器处于特定的瞬时位置时,至少一个偏转器可以在至少一个偏转器的至少一个公共区域上,接收多个光源从视场中的物体的光反射。在某些方面,在至少一个公共区域中,至少一些光反射照射在彼此之上。例如,如上面参考图26A的方法2600所解释的,其上接收了一个光反射的区域可以至少部分地与其上接收了另一个光反射的区域重叠。这种照射可以是同时的,或者可以在不同的时间发生。例如,从不同距离行进而来的光反射可以在不同的时间到达。作为另一个示例,来自多个光源的光可以在不同的定时发射,由此在不同的时间生成反射。这种定时可以跨多个光源而变化。
在步骤2635,当至少一个光偏转器处于瞬时位置时,多个检测器(例如,图27的传感器2716、2718和2720的检测器和/或图28的传感器2814的检测器)中的每一个可以接收来自至少一个公共区域的光反射。例如,如上面参考图26A的方法2600所解释的,多个检测器可以包括能够测量电磁波的特性(例如,功率、频率)并生成与测得的特性相关的输出(例如,数字信号)的任何光敏器件。在某些方面,接收到的光反射可以来自公共照射区域,即,来自于来自两个或更多个光源的反射撞击在其中的区域,如上面所解释的。
在一些实施例中,与如图26A的方法2600一样,多个检测器可以是单个传感器的一部分,该单个传感器被配置为测量与至少一个光偏转器的特定位置相关联的至少两个不同距离,如图28中所描绘的。例如,至少两个不同的距离可以与FOV的不同部分相关联。可替代地或并发地,可以在同一个像素中确定至少两个不同的距离,例如,通过从部分地隐藏彼此的不同目标反射的光子来确定。
方法2630可以包括附加步骤,诸如(但不限于)关于方法2600讨论的一个或多个步骤的任意组合。
参考图26C中所示的方法2660,在步骤2661,至少一个处理器118或2702或2802控制瞄准至少一个偏转器的多个光源。例如,与方法2600的步骤2601一样,至少一个处理器118或2702或2802可以控制来自多个光源的脉冲的定时,控制来自多个光源的脉冲的长度,控制来自多个光源的脉冲的尺寸(例如,长度或宽度或以其它方式更改横截面积),控制来自多个光源的脉冲的振幅和/或频率,和/或控制来自多个光源的连续波(CW)或准CW光发射的参数(例如,其振幅、调制、相位等)。
在步骤2663,至少一个处理器118或2702或2802从多个检测器接收数据,该多个检测器被配置为检测来自多个光源的反射。在一些实施例中,与图26A的方法2600一样,多个检测器可以是单个传感器的一部分,该单个传感器被配置为测量与至少一个光偏转器的特定位置相关联的至少两个不同距离,如图28中所描绘的。例如,至少两个不同的距离可以与FOV的不同部分相关联。可替代地或并发地,可以在同一像素中确定至少两个不同的距离,例如,通过从部分地隐藏彼此的不同目标反射的光子来确定。
在步骤2665,当至少一个偏转器处于特定的瞬时位置时,至少一个处理器118或2702或2802移动至少一个偏转器,以沿着多条外传路径,朝着形成视场的多个区域,偏转来自多个光源的光。应当广泛地解释术语“移动”,如上面更详细地并通过上面的几个示例所讨论的。
与图26A的方法2600一样,多个光源可以包括至少三个分离的光源,如图27中所描绘的。在这样的示例中,每个光源一般可以与视场的不同区域相关联。此外,在这样的示例中,视场的至少第一区域可以与至少第二区域相邻并且与至少第三区域隔开。可替代地或并发地,在这样的示例中,视场的至少每个区域可以与视场的不同角部分相关联。
在步骤2667,至少一个处理器118或2702或2802控制至少一个偏转器,使得当至少一个偏转器处于特定的瞬时位置时,在至少一个偏转器的公共区域上接收来自视场的光反射。在某些方面,在至少一个公共区域中,多个光源中的至少一些光源的至少一些光反射可以照射在彼此之上。上面参考图26A的方法2600提供了说明性示例。
在步骤2669,至少一个处理器118或2702或2802从多个检测器中的每一个接收至少一个信号,该信号指示当至少一个偏转器处于特定的瞬时位置时来自至少一个公共区域的光反射。上面参考图26A的方法2600提供了说明性示例。
方法2660可以包括附加步骤,诸如(但不限于)关于方法2600和/或2630讨论的一个或多个步骤的任意组合。
作为另一个示例,与图26A的方法2600一样,方法2660可以包括基于来自至少一个公共区域的光反射,确定与视场的不同区域相关联的多个距离测量。类似于图26A的方法2600,方法2660还可以包括控制多个光源,使得在至少一个偏转器的第一瞬时位置处,第一光源朝着至少一个偏转器发射比第二光源更多的光通量,并且在至少一个偏转器的第二瞬时位置处,第二光源朝着至少一个偏转器发射比第一光源更多的光通量。
虽然被描述为使用形成视场的完全分离的区域,但是方法2600、2630和/或2660可以利用至少一对部分重叠的FOV区域来实现。这可以为不同的用途实现,诸如(但不限于):以便提高性能,增加那个区域中的最大通量,在两个或更多个区域之间进行校准,允许在FOV的重要部分发生故障的情况下进行备份,当以不同波长操作时等等。这些用途中的一些在下面更详细地讨论。
在多个光源可以包括至少两个分离的光源的实施例中,每个光源可以被配置为投射不同波长的光(例如,图27和28的光源)。在给定波长下操作的光源可以发射波长带中的光,该波长带可以是窄带(例如,波长为600nm的光源可以在±2nm的带宽内发射不可忽略的量的光,即,在598-602nm之间)。在某些方面,激光雷达系统100、200、2700和/或2800的光源可以与滤波器耦合,例如,以便限制所投射的光波长的范围。在一些实施例中,至少第一光源可以被配置为投射波长在400-800nm之间和/或在800-1000nm之间的光,并且至少第二光源被配置为发射波长大于800nm(或850nm或900nm等等)和/或大于1500nm的光。在某些方面,第一光源可以被配置为投射一定波长的光,使得来自第一光源的光和来自第二光源的光二者均完全超出可见范围。
在这样的实施例中,至少两个光源可以被配置为在视场的基本重叠的区域中投射光。在基本重叠的区域中使用不同波长可以允许利用一个波长检测到利用另一个波长不可见(或至少不那么容易可见)的物体。
此外,在多个光源可以被配置为以相同(或基本相同)的波长投射光的实施例中,多个光源仍然可以被配置为在视场的基本重叠的区域中投射光。这种重叠可以允许结果的对准,使得当使用第二光源时可以减少校准或检测中的误差和/或可以减少来自一个光源的噪声。而且,这种重叠可以允许对有故障的装备(诸如如有故障的光源、检测器等)的检测。
虽然被描述为使用完全分离的光源,但是方法2600、2630和/或2660中使用的多个光源可以包括与分束器耦合的单个光源。因而,分束器可以将光束从不同方向投射到至少一个偏转器上,由此像完全分离的光源那样起作用。
图27是图示具有多个光源和公共偏转器的示例性激光雷达系统2700的图。如图27中所描绘的,来自多个光源的光可以照射在至少一个光偏转器的重叠区域上。附加地或可替代地,源自多个光源并从场景反射回来的光可以照射在至少一个光偏转器的重叠区域上。如图27中所描绘的,系统2700具有控制至少一个偏转器2704的至少一个处理器2702。在扫描周期期间,至少一个偏转器2704可以处于特定的瞬时位置。至少一个处理器2702还可以控制多个光源(例如,光源2706、2708和2710)。
多个光源2706、2708和2710可以朝着视场2712被引导。如图27中所描绘的,视场2712包括与第二区域2712b相邻并与第三区域2712c隔开的第一区域2712a。虽然在图27中被描绘为非重叠,但是一些实施例可以包括具有基本重叠区域的两个或更多个区域。
图27的插图描绘了偏转器2704(例如,单个矩形反射镜)的表面以及来自三个光源2706、2708和2710的照射在表面上的光束的照明——被示为光束横截面2742、2744和2746。不同的阴影水平表示偏转器2704的每个区域的累积照明水平——由单个光源照亮、由两个光源照亮、或由三个光源照亮(例如,区域2748)。如插图中所描绘的,在区域2748中,来自三个光源2706、2708和2710的光照射在偏转器的公共区域上(可能地,但不必并发地)。如在插图中进一步描绘的,来自光源2706、2708和2710中的一个或多个的一些光可以不撞击偏转器(如由虚线椭圆所表示的)。例如,光束可以超过该表面的维度(如在垂直轴中所描绘的),并且因此也可以小于该表面的对应维度。插图还描绘了光束2742、2744和2746的尺寸可以不同和/或可以至少部分地彼此不对准。在一些实施例中,因为反射波前可以比激光雷达系统(例如,系统2700)的光学开口大得多,所以可以对偏转器2704定尺寸和/或定位,使得从多个光源反射的光照射在偏转器的整个活动偏转区域上。
在图27的实施例中,至少一个偏转器2704具有公共区域2714。多个光源2706、2708和2710可以瞄准公共区域2714。因此,多个光源2706、2708和2710可以沿着外传路径(例如,路径2722a、2722b和2722c),朝着区域2712a、2712b和2712c,发射对应的多个光束。多个光束可以使得多个对应的反射沿着返回路径(例如,路径2724a、2724b和2724c),从视场2712(或从其中的物体)行进而来。如在图27的示例中进一步描绘的,可以使用至少一个偏转器2704的公共区域2714,将每个反射引导到对应的传感器(例如,传感器2716、2718和2720)。如图27的示例中所描绘的,外传路径2722a、2722b和2722c都不重合,并且返回路径2724a、2724b和2724c都不重合。在其它实施例中,至少两条外传路径和/或至少两条返回路径可以重合。
图28是图示具有多个光源和公共偏转器的另一个示例激光雷达系统2800的图。如图28中所描绘的,来自多个光源的光可以照射在至少一个光偏转器的重叠区域上。附加地或可替代地,源自多个光源并从场景反射回来的光可以照射在至少一个光偏转器的重叠区域上。如图28中所描绘的,系统2800具有控制至少一个偏转器2804的至少一个处理器2802。在扫描周期期间,至少一个偏转器2804可以处于特定的瞬时位置。至少一个处理器2802还可以控制多个光源(例如,光源2806和2808)。在图28的示例中,光源2806和2808可以具有不同的波长。在其它实施例中,光源2806和2808可以具有不同的最大功率、占空比、脉冲定时、脉冲长度等。
光源2806和2808可以朝着视场2810被引导。如图28中所描绘的,视场2810包括第一区域2810a和第二区域2810b。虽然在图28中被描绘为非重叠,但是一些实施例可以包括具有基本重叠区域的两个或更多个区域。
在图28的实施例中,至少一个偏转器2804具有公共区域2812。光源2806和2808可以瞄准公共区域2812。因此,光源2806和2808可以沿着外传路径(例如,路径2816a和2816b),朝着区域2810a和2810b发射对应的多个光束。多个光束可以使得多个对应的反射沿着返回路径(例如,路径2818a和2818b),从视场2810(或从其中的物体)行进而来。如在图28的示例中进一步描绘的,可以使用至少一个偏转器2804的公共区域2812,将每个反射引导到单个传感器2814。如图28的示例中所描绘的,外传路径2816a和2816b都不重合,但是返回路径2818a和2818b是重合的。在其它实施例中,至少两条外传路径可以是重合的,和/或至少两条返回路径可以不重合。
在一些示例中,至少一个偏转器2704、2804、114等可以包括例如如图3B中所示的偏转器的阵列(例如,枢转的反射镜的阵列,诸如枢转的压电反射镜的阵列等)。如果这种偏转器阵列被用于投射和检测两者(发送路径和接收路径),那么可以使用用于发送、接收和/或双向用途的各个偏转的分配的任意组合。举例来说,在包括由三个光源用来照亮FOV的不同部分的十个反射镜的阵列中,三个反射镜可以用于各自与一个光源对应的发送,并且其余七个反射镜可以用于接收。可替代地,可以使用一个或两个反射镜用于所有光源的发送(例如,通过利用那些反射镜的重叠区域,其示例在图27中描绘),并且所有十个反射镜可以用于接收。也可以使用任何其它组合。在某些方面,偏转器阵列中的个体偏转器的一些或全部可以被同步,以便以基本相同的角度偏转光。在某些方面,偏转器阵列中的个体偏转器的一些或全部可以被同步,以便在它们之间以固定角度在不同方向上偏转光。
激光雷达中的光学预算分摊(apportion)
如本文所述,激光雷达系统的一个功能可以是通过将光投射到环境、然后收集并分析来自环境中的物体的光反射,来生成激光雷达系统的周围环境的三维深度图。一般而言,激光雷达系统及其深度图的有用性可以随着可以从所收集的光获知的信息水平以及随着所生成的深度图的分辨率而增加。但是,可能存在实际限制,其可能阻止仅通过增加由激光雷达系统发射到环境的光能而生成更高分辨率的深度图。首先,眼睛安全是可能限制可以由激光雷达输出的光能的量的主要约束。为了确保眼睛安全并为了符合适用的规定,激光雷达系统可以被限于在某个时间段内不超过某个能量密度的光投射。而且,即使眼睛安全不是问题,也会存在禁止对激光雷达的环境进行未减轻的光发射的其它实际限制。例如,激光雷达系统可以具有有限的光学预算和/或计算预算,这会限制激光雷达系统仅通过对激光雷达FOV的光发射的无限制增加而增加检测分辨率的能力。从概念上讲,光学预算和计算预算可以在可用光输出功率和计算能力方面,反映出激光雷达系统在特定时间段内的最大能力。激光雷达系统还可以受到技术限制的约束,诸如功率限制、过热、光源的输出等等。
但是,并不是说由激光雷达系统生成的深度图必须在激光雷达FOV的所有区域上被限制到绝对的分辨率水平。而是,如下面和贯穿本公开的各个部分所讨论的,激光雷达系统的光学预算和计算预算可以以这样一种方式分摊:更多资源(例如,光学预算和/或计算预算中更多的)可以专用于激光雷达FOV的某些区域,而不是激光雷达FOV的其它区域。因此,可以有可能生成在一些区域(例如,与感兴趣区域对应的区域)中具有高分辨率、并且在其它区域(例如,较低兴趣或不感兴趣区域)中具有较低分辨率的相应深度图。下面和贯穿本公开的许多部分的描述解决了光学预算和/或计算预算的非均匀分摊在其中可以是期望的各种场景、条件、情景等等。下面和贯穿全文的描述还提供了如何可以动态分配可用光学预算和/或计算预算,以便有助于生成潜在地在深度图所覆盖的一个或多个感兴趣区域中提供增加的信息水平的深度图的示例。
图29提供了激光雷达系统100以及激光雷达系统100在分摊可用光学预算和/或计算预算时可依赖的各种信息源的框图表示。在一些实施例中,激光雷达系统100可以包括至少一个处理器118,该处理器118被配置为访问存储在存储器2902中的光学预算(或指示光学预算的至少一方面或者可以从其导出或确定光学预算的任何信息),光学预算与至少一个光源112相关联并且定义在预定时间段内由至少一个光源可发射的光量。存储器2902可以与激光雷达系统100的处理单元108相关联,如图29中所示。但是,在一些实施例中,存储器2902可以与激光雷达系统100部署在其上的主机(例如,车辆、车辆-计算机)相关联。例如,在一些情况下,存储器2902可以与主车辆的电子控制单元2904相关联,并且可以由处理器118通过数据总线2900可访问。在其它实施例中,存储器2902可以与相对于激光雷达系统100(或其主机)远程定位的一个或多个系统相关联。例如,在一些实施例中,存储器2902可以与远程服务器(未示出)相关联,并且可以例如经由云2916(例如,因特网连接)或使用无线收发器2901来访问。
处理器118还可以被配置为接收指示激光雷达系统的平台条件的信息(例如,来自任何信息源2904、2906、2908、2910、2912、2914、2916、2918、2920,或来自任何其它合适的信息源)。激光雷达系统的平台条件可以指与激光雷达系统的一个或多个方面、激光雷达系统周围的环境、其上部署有激光雷达系统的主机相关的任何操作参数、参数值、观察到的条件、指令、信息项等等,这些信息可以证明在特定时间段内向至少一组激光雷达FOV部分或者在一个扫描周期中分配比向另一组激光雷达FOV部分或在另一个扫描周期中提供的更多的光是合理的。
虽然可以从激光雷达系统100外部的一个或多个源获得接收的信息,但是指示激光雷达系统的平台条件的信息还可以包括从系统100内部的源获得的信息(例如,经由系统一个或多个部件,包括:光投射器112、偏转器114、检测器116、反馈元件等等)。基于接收到的信息,处理器118可以使用例如与光源112和/或偏转器114相关联的两个或更多个操作参数,将光学预算动态地分摊到激光雷达系统100的视场,其中操作参数包括例如扫描速率、扫描模式、扫描角度、空间光分布和/或时间光分布。处理器118还可以根据动态分摊的光学预算,输出信号,用于以使得光通量能够在扫描激光雷达系统100的视场时变化的方式来控制光源112和/或偏转器114。
可以相对于与在某个时间段内可以发射到激光雷达FOV的光量相关的任何参数、值或者参数集或值集,来表达光学预算(例如,就激光雷达扫描周期而言;时间测量以毫秒、秒等等为单位,或者时间段的任何其它指示符)。在一些实施例中,激光雷达系统的光学预算可以取决于激光雷达系统中包括的一个或多个光源的能力。例如,激光雷达系统100的光学预算可以与光源112相关联,并且可以定义光源112在预定时间段内可发射的光量。定义光量可以指指示相对于某个时间测量(例如,微秒、毫秒、秒、分钟等等)的光量(例如,功率、发光度、光通量、强度、光子数量、光脉冲数量、占空比、脉冲宽度、脉冲振幅、照明持续时间等等)的任何参数或参数关系。
在一些情况下,对于光源112的平均光学预算可以在大约10毫瓦至1000毫瓦之间。附加地或可替代地,光学预算可以参考在激光雷达FOV的单个扫描周期中可发射的光量。例如,用于激光雷达系统100的光学预算可以在每个光源每个扫描周期10000个脉冲至每个光源每个扫描周期50000个脉冲(例如,用于覆盖1000-10000个光束位置,每个光束位置与一个或多个像素相关联)。在一些实施例中,可以在可供光源112使用的功率(例如,来自其上部署有激光雷达系统100的车辆或其它主机)的方面,来表达光学预算。光学预算还可以由在标准时间单位(例如,毫秒、秒、分钟等等)内由光源112(或系统100的任何可用光源)可发射的光量来定义。
在一些情况下,光学预算可以保持固定。在其它情况下,可以修改和更新存储在存储器2902中的光学预算。例如,基于激光雷达系统的操作参数和由激光雷达系统提供的检测信息中的至少一个,这种修改可以发生。
此外,在一些实施例中,光学预算可以仅与具有单个光源的单个激光雷达系统对应。在其它情况下,光学预算可以指包括多个光源的单个激光雷达系统。在其它情况下,光学预算可以应用于部署在不同位置处(例如,在车辆周围的不同位置处)的多个激光雷达系统,每个激光雷达系统包括单个光源或多个光源。在任何情况下,光学预算都可以定义在预定时间段内可用于从多个光源(或总体上多个激光雷达系统)分摊的可发射光量。处理器118可以动态地分摊单个激光雷达系统/光源的光学预算。在其它情况下,处理器118可以动态地分摊与多个光源/激光雷达系统相关联的光学预算。
除了光学预算之外,激光雷达系统100(或多个激光雷达系统的组合)可以具有可以被分摊的计算预算。计算预算一般可以指在特定时间段内一个或多个激光雷达系统的处理能力。处理能力可以取决于可用处理器的数量(例如,用于控制激光雷达系统的各个方面,用于接收和处理检测到的反射,用于生成深度图,用于处理深度图以便检测物体及其它更高级和场景理解信息,以及用于执行与激光雷达系统或一组激光雷达系统相关联的任何其它功能)。处理能力可以不仅取决于可用处理器的数量,而且还可以取决于其它参数,诸如:一个或多个处理器的处理能力的专用于激光雷达系统的某些功能(例如,深度图的生成、控制FOV的扫描、物体检测、识别和/或分类等等)的部分、一个或多个可用处理器的处理速度、数据传送速率(例如,跨总线2900)、每单位时间可以由一个或多个可用处理器执行的计算次数等等。
虽然以下描述包括与光学预算的分摊相关的细节,但是可以以与相对于光学预算分摊所描述的方式类似的方式来分摊计算预算。例如,在一些情况下,计算预算可以涉及可用于处理点云以便确定激光雷达已经检测到什么的计算资源量。在一些情况下,与点云相关的处理可以要求大量的计算资源——有限的资源。因此,在一些情况下,可以期望确定:对于处理相关联的点云,某些区域是否可能比其它区域具有更高的兴趣/重要性。例如,许多可用的处理能力可以专用于处理点云并生成车辆前方区域的深度图,因为那个区域可能最重要,尤其是对于前进的小汽车。另一方面,虽然仍然很重要,但是在一些情况下,在从车辆侧面延伸的视场中发生的检测可能没有车辆前方那么重要(除非例如车辆正在转弯、停止等等)。在这种情况下,即使激光雷达已经从距主车辆130米远的高反射率物体反射的反射信号检测到成组的检测,处理器118也可以决定仅处理直到距车辆40米距离(或小于130米的某个距离)的相关联的点云,以节省计算预算(例如,因为从计算角度来看,处理包括130m处的成组的检测的全点云可能成本太高,尤其是如果计算支出(像在这个车辆侧面的示例中那样)没有被检测到的物体的重要性证明是合理的话)。
计算预算不仅可以在可用的激光雷达系统之间分摊,使得可以为一个激光雷达系统提供比另一个激光雷达系统更多的计算能力,例如,通过将一个或多个集中式处理器的计算能力更多地专用于一个激光雷达系统而不是另一个激光雷达系统。在另一个示例中,可以使两个或更多个激光雷达系统的处理器聚合/联网,并且可以分配该合计处理能力,使得来自一个激光雷达系统的处理器可以至少部分地专用于不同激光雷达系统的计算任务。例如,来自多个可用激光雷达系统的处理能力可以专用于与主车辆前方区域相关联的计算任务,该区域是可以期望高分辨率物体检测和深度制图的区域。
还可以相对于与特定激光雷达FOV相关联的计算,来分摊计算预算,使得与FOV的一部分相关联的计算任务可以比与FOV的另一部分相关联的计算任务接收更多的计算预算。可以如何分摊计算预算的一些示例包括例如:检测/聚类(来自点云点的物体级别);收紧物体的边界框(“边界框”);物体/物体类型的分类;物体的跟踪(例如,帧之间);确定物体特点(例如,尺寸、方向、速度、反射率等等)。可以用将处理能力与时间相关的术语(例如,GMAC、每秒所执行的浮点运算10亿次数(Gflops)、能力等等),来表示计算预算。要注意的是,对FOV的不同部分的预算分摊(但尤其不仅仅是计算预算)可以指3D中的FOV分割,而不仅仅是2D中。例如,可以为FOV的给定扇区(例如,给定的1°×0.5°扇区)分配计算预算:70%的计算预算被分配用于处理超过70m的范围中的检测,30%的计算预算被分配用于处理接近激光雷达小于40m的范围中的检测,并且没有为40到70m之间的范围分配计算预算。
返回到光学预算,可以以使得能够在特定时间段内选择性地向一组激光雷达FOV部分提供比另一组激光雷达FOV部分更多的光的任何方式,分摊可用的光学预算。在这个上下文中,一组激光雷达FOV部分可以指特定激光雷达FOV的一个或多个部分(例如,特定激光雷达FOV的一个或多个像素、区域、子区域等等),或者可以指一个或多个完整的激光雷达FOV(例如,光学预算可以跨多个激光雷达系统被分摊的情况)。对更多光的参考可以指:增加的光通量、增加的光密度、增加的光子数量等等,例如,如上面更详细地例示的。
在一些情况下,可以通过改变与特定激光雷达FOV相关联的扫描速率、扫描模式、扫描角度、空间光分布(例如,向一组或多组激光雷达FOV部分提供比一组或多组其它激光雷达FOV部分更多的光)、和/或时间光分布来实现光学预算的分摊。时间光分布可以涉及例如:控制或以其它方式改变随时间被施加到激光雷达FOV部分的组的光通量或光量,使得在第一扫描周期中投射的总光量高于在第二后续扫描周期中投射的总光量。在一些情况下,可以通过改变以下两个或更多个来实现光学预算的分摊:与特定激光雷达FOV或特定激光雷达FOV部分相关联的扫描速率、扫描模式、扫描角度、空间光分布或者时间光分布。可以关于多于一个激光雷达FOV、一个激光雷达FOV、激光雷达FOV的一部分(例如,感兴趣区域)、一个扫描周期、多个扫描周期等等,而进行这样的变化。
可以通过确定用于一个或多个激光雷达系统的扫描速率,来执行光学预算的动态分摊的至少一部分(例如,基于接收到的关于激光雷达系统的至少一个平台条件的反馈或其它信息,来改变或更新分摊)。例如,至少一个处理器可以被配置为确定以下当中的至少一个的扫描速率:激光雷达FOV的近场部分、视场的远场部分、视的窄角扇区、和/或视场的广角扇区。
如上所述,还可以至少部分地通过确定用于一个或多个激光雷达系统的至少一个扫描周期的扫描模式,来完成光学分摊。可以基于对以下场景类型中的至少一个的分辨,来确定扫描模式:在高速公路上驾驶、在越野驾驶、在雨中驾驶、在雪中驾驶、在雾中驾驶、在城市地区驾驶、在农村地区驾驶、驾驶穿过隧道、在靠近预定机构的地区驾驶、左转、右转、跨车道、接近交叉点、以及接近人行横道。
光学预算分摊可以由任何合适的处理器完成。在一些情况下,激光雷达系统100的处理器118可以基于来自一个或多个源的信息,来分摊光学预算。可替代地或附加地,可以使用来自其它激光雷达系统的处理器来分摊光学预算(例如,与一组激光雷达系统相关联的光学预算),和/或可以使用与激光雷达系统主机(例如,车辆ECU等等)相关联的一个或多个处理器。任何其它可用的处理器也可以被用于分摊光学预算。
如上所述,光学预算分摊可以导致比另一组所施加的更多的光被施加到一组激光雷达FOV部分。例如,可以通过改变相对于多个光源内的第一光源的光学预算分摊与相对于多个光源内的第二光源的光学预算分摊的比率(或激光雷达检测器之间的类似比率),来实现所施加的光量的这种改变。还可以相对于不同的激光雷达FOV部分或在不同的时间,出于不同的原因,应用光学分摊。例如,在激光雷达FOV的一些部分中或在扫描周期期间的一些时间,光学分摊可以针对在特定的FOV部分中或在特定的时间段内增加分辨率、检测质量等等。在其它情形下,光学分摊可以针对增加与特定FOV部分、特定FOV子区域或特定时间段相关联的检测范围。一般而言,光学/功率预算可以被用于实现获取不同帧或所获取帧的不同部分的不同目标。以这种方式,激光雷达系统可以为不同的ROI提供一系列有用或高质量的帧,每个帧出于不同的原因是有用的。以这种方式,可以以被确定为高概率地将有用的信息返回到主机平台(例如,车辆的导航系统)的方式,来花费光学预算。
关于控制,可以使用任何合适的参数或信息元素,来确定是否和/或如何分摊光学预算。在一些实施例中,激光雷达系统的平台条件可以被用作光学预算分摊的基础。如上所述,激光雷达系统的平台条件可以指与激光雷达系统、激光雷达系统周围的环境、在其上部署有激光雷达系统的主机等等相关的一个或多个方面的任何操作参数、参数值、观察到的条件、指令、信息项等等,这些信息可以证明在特定时间段内向至少一组激光雷达FOV部分或者在一个扫描周期中提供比向另一组激光雷达FOV部分或在另一个扫描周期中提供的更多的光是合理的。
可以以各种方式并使用任何合适的信息源,来确定这种激光雷达系统的平台条件。在一些情况下,可以在激光雷达系统内部,确定激光雷达系统的平台条件。例如,基于所获取的光反射、反射率特征、深度图等等,处理器118可以确定与其中部署有激光雷达系统的环境相关联的一个或多个特点。在其它情况下,可以基于从与激光雷达系统100分离的一个或多个源接收的信息,来确定激光雷达系统的平台条件(PCLS)。例如,如图29中所示,可以基于来自主车辆的电子控制单元2904、一个或多个温度传感器2906、GPS接收器2908、车辆导航系统2910、雷达单元2912、一个或多个其它激光雷达系统2914、因特网或其它网络连接2916、相机2920或任何其它合适的光源当中的一个或多个的信息,来确定PCLS。
在一些情况下,指示PCLS的信息可以将激光雷达FOV的一个或多个区域建立为感兴趣区域,这些感兴趣区域可以证明:与其它区域(例如,不太感兴趣或不感兴趣区域)相比,光学预算或计算预算的更高比例是合理的。可以基于其中部署有激光雷达系统的车辆的感测到的当前驾驶模式,来识别感兴趣的区域,这可以基于信息源2904、2906、2908、2910、2912、2914、2916、2920中的任何一个的或来自激光雷达系统100的或这些的任意组合的一个或多个输出来确定。在一个示例中,基于感测到的当前驾驶模式的感兴趣区域可以包括重叠了主车辆正在转向的区域(如由导航系统2910、GPS接收器2908等等传达的)的激光雷达FOV的一个或多个部分。在另一个示例中,感兴趣区域可以与激光雷达FOV的、激光雷达系统100已经在其中检测到物体(诸如另一个车辆、行人、障碍物等等)的一个或多个部分对应。感兴趣区域以及如何识别这种区域的其它示例包括在本公开的其它部分中。
可以在其上确定光学分摊(或计算预算)的、指示PCLS的信息可以包括车辆操作参数、环境条件、驾驶决策、车辆的导航状态或功率管理模式中的至少一个等等。
光学预算(或计算预算)分摊可以基于的、车辆操作参数或车辆的导航状态的示例可以包括:当前速度(例如,来自ECU 2904、GPS 2908)、当前车辆航向(例如,来自GPS 2908、导航系统2910)、当前制动或加速条件(例如,来自GPS 2908、ECU 2904)、主车辆是否正在导航跨车道情形(例如,来自导航系统2908、相机2920、GPS 2908等等)。车辆操作参数还可以涉及与其上部署有激光雷达系统100的车辆平台相关联的任何部件的条件或状态、或者激光雷达系统100自身的任何部件的条件或状态。这样的条件可以包括:激光雷达系统的至少一个部件的温度、FOV的一部分是否被遮挡(例如,被雨、泥、碎片等等)、镜头是否被刮伤、偏转器114是否被阻挡到达某些瞬时位置、与其它角度相比在某些角度是否存在更多的内部反射。车辆的导航状态还可以包括:主车辆相对于三维地图、部分地图、2-D地图、地标、或地图和地标的任意组合等等的位置。地图可以预先存储,经由通信信道接收,或生成(例如,由SLAM)。
环境条件的示例可以包括以下当中的至少一个:天气条件(例如,基于来自相机2920、云2916、导航系统2910的信息确定的雨、雪、雾等等);照明条件(例如,基于来自激光雷达系统100的信息确定的(环境光、光源类型等等));环境温度(例如,基于来自温度传感器2906的输出);和/或与预定义类型的机构的接近度(例如,如基于来自导航系统2910、GPS2908、相机2920等等的输入确定的学校)。光学预算(或计算预算)分摊可以基于的环境条件的附加示例可以包括天气条件、空间中检测到的物体的位置或分布(例如,相对于激光雷达系统100和/或主车辆)、空间中的物体的检测到的特点(例如,形状、反射率、影响SNR的特点)、物体的类型/分类(例如,行人、建筑物、车辆、灯柱)、太阳或其它光源的相对位置、交通状态(例如,堵车的高速公路相对于畅通的高速公路)、其它主车辆系统的状态(例如,驾驶相关的或其它传感器——在一些情况下,激光雷达系统100可以补偿失灵的相机2920)、道路本身的条件(例如,颠簸度、粗糙度、往上/往下、弯曲、其反射率)、基于地图/GPS的数据(例如,场景中的道路位置和朝向、场景中建筑物的位置和朝向(可以相对于建筑物或其它障碍物建立较低兴趣区域,因为激光雷达不会预期接收来自建筑物远侧的物体的反射)、激光雷达系统100周围的环境温度、主车辆环境的环境温度、来自先前收集的FOV帧的数据分析(例如,点云、表面的法线、反射率、置信水平等等)。一般而言,可以基于关于环境的知识,来分配光学/功率预算。例如,GPS数据、地图数据、先前帧的经处理的激光雷达信息、来自车辆的其它传感器或任何其它源的数据可以指示:在FOV的一部分中,在给定范围(例如,15m)中,建筑物的存在。虽然该建筑物可以处于高兴趣区域中(例如,在车辆正前方),但是处理器仍然可以将相对低的功率分配给FOV的这个部分,并且将剩余能量分配给激光雷达FOV的其它部分,以便不将预算浪费在该FOV的、隐藏在建筑物后面(例如,超出15m)的并且无论可以在FOV中向那个方向分配多少光量都无法达到的部分。
光学预算(或计算预算)分摊可以基于的驾驶决策的示例可以包括以下当中的至少一个:农村相关的指示、城市相关的指示、包含激光雷达系统的车辆的当前速度、下一次驾驶操纵、有条件的驾驶操纵(仅在存在指示这样做是安全的附加环境信息的情况下才可以完成的操纵)、驾驶导航事件、手动驾驶指示和自主驾驶指示。可以基于例如由激光雷达系统100或2914、导航系统2910、ECU 2904、GPS 2908、这些源的任意组合或PCLS指示符的其它潜在源提供的输出,来获取这样的信息。
光学预算(或计算预算)分摊可以基于的功率管理模式的示例可以包括正常功率操作模式和功率节省模式的指示中的至少一个。例如,这样的信息可以从ECU 2904获得,并且可以反映从主车辆可用的电量。功率管理模式的其它指示符可以基于激光雷达系统100的一个或多个部件的感测到的状况(例如,任何部件是否过热或是否有过热的危险)。
若干示例可以进一步示出光学预算或计算预算分摊可以基于的PCLS的集合。例如,在操作期间,处理器118可以接收指示车辆的当前驾驶环境的输入。例如,处理器118可以接收包括农村相关的指示和城市相关的指示中的至少一个的输入。作为另一个示例,处理器118可以接收输入,该输入包括至少一个农村相关的指示、城市相关的指示、与光条件相关联的信息、与天气条件相关联的信息、以及与车辆的速度相关联的信息。
在一些实施例中,处理器118可以从处理器118自身执行的确定,接收输入。在这样的示例中,处理器118可以基于来自视场的一个或多个先前(和/或当前)扫描的信息,来确定当前驾驶环境。例如,处理器可以基于紧邻车辆的多个车辆和/或建筑物的存在,来确定当前驾驶环境是城市。作为另一个示例,处理器可以基于多棵树和/或开阔陆地的存在,来确定当前驾驶环境是农村。处理器118可以可替代地或并发地,基于车辆的速度和/或基于地图信息(其可以被存储或接收,并且可以包括更新后的交通信息),来确定当前驾驶环境。例如,处理器118可以基于车辆的持续高速和/或基于车辆的位置与已知的州际公路或高速公路对准,来确定当前驾驶环境是州际公路或高速公路。作为另一个示例,处理器118可以基于车辆以持续低速频繁停止和/或基于已知的交通信息,来确定当前驾驶环境是交通拥堵。
可替代地或并发地,处理器118可以从主车辆处理单元(例如,ECU 2904)接收输入。中央计算机可以使用上面关于处理器118描述的技术,来确定当前驾驶环境。类似地,处理器118可以附加地或可替代地,从远程系统接收输入。例如,处理器118可以从天气服务器或其它更新后的天气信息的源,接收天气的指示。类似地,处理器118可以从交通服务器或其它更新后的交通信息的源,接收交通的指示。
在一些实施例中,处理器118可以从如图29中所示的GPS、车辆导航系统、车辆控制器、雷达、激光雷达和相机中的至少一个,接收指示当前驾驶环境的输入。例如,如上面所解释的,处理器118可以使用由GPS和/或车辆导航系统结合地图和/或交通信息确定的车辆位置,来导出当前驾驶环境。在这样的示例中,处理器118可以将车辆的GPS位置与地图对准以确定车辆在州际公路上,或者可以将车辆的GPS位置与交通信息对准以确定车辆处于交通拥堵中。类似地,处理器118可以使用来自车辆控制器的速度、航向等,来导出当前驾驶环境,如上面所解释的。附加地或可替代地,处理器118可以使用来自雷达、激光雷达和/或相机的信息,来导出当前驾驶环境。例如,处理器118可以使用雷达、激光雷达和/或相机,来识别一个或多个物体(诸如田地、树、建筑物、隔离带等),并使用识别出的物体来导出当前驾驶环境。
一旦已经分配了光学预算或计算预算以及已经开发了应用分摊预算的计划,处理器118(或其它处理设备)就可以实现该计划。例如,处理器118可以根据动态分摊的光学预算,向激光雷达FOV输出信号,用于以使得光通量在对激光雷达FOV进行扫描时变化的方式来控制至少一个光源112和/或光偏转器114或影响光通量(空间或时间)的任何其它部件。在一些情况下,分摊的光学预算的应用可以导致一个或多个激光雷达FOV的某些部分(例如,ROI)的更多光通量,这进而可以要求到其它区域(例如,较低兴趣或不感兴趣区域)的减少的光通量。为了执行用于实现所分配的光学预算的计划,处理器118可以被配置为控制至少一个光偏转器114以便扫描FOV,并且在扫描周期期间,至少一个光偏转器114可以位于多个不同的瞬时位置。另外,处理器118可以协调至少一个光偏转器114和至少一个光源112(例如,使它们的操作同步),使得当至少一个光偏转器处于特定的瞬时位置时,光束的一部分被至少一个光偏转器从至少一个光源朝着视场中的物体偏转,并且光束的该部分从该物体的反射被至少一个光偏转器朝着至少一个传感器116偏转。在一些情况下,激光雷达系统100可以包括瞄准至少一个光偏转器114的多个光源,并且处理器118可以被配置为控制至少一个光偏转器114,使得当至少一个光偏转器114处于特定的瞬时位置时,来自多个光源的光朝着激光雷达FOV的多个独立区域被投射。一般而言,处理器118可以根据动态分摊的光学预算,来协调至少一个光源112和至少一个光偏转器114。通过应用所分摊的光学预算,每单位时间更多的光可以应用于较高兴趣区域,并且每单位时间更少的光可以应用于较低兴趣区域。而且,基于激光雷达FOV的一个或多个部分中物体的检测,处理器118可以防止投射到特定部分的光的累积能量密度(例如,无论是感兴趣区域、还是不太感兴趣的区域)超过最大允许曝光。
图30A提供了与所公开的实施例一致的、提供用于基于所分摊的预算来控制激光雷达系统的方法3000的示例的流程图。例如,在步骤3002,处理器118(或其它可用处理设备)可以接收指示激光雷达系统的一个或多个平台条件(PCLS)的信息。如上所述,这些PCLS可以包括与激光雷达系统100或它部署在其上的平台主机相关联的任何条件,可以对其期望非均匀的光分摊。在步骤3004,处理器118可以确定系统约束,该系统约束可以部分地帮助定义光学预算或计算预算(例如,可用光源的光输出能力、可用CPU的处理能力等等)。基于在步骤3002和3004获取的信息,处理器118可以在步骤3006确定分摊的光学预算和/或分摊的计算预算。在步骤3008,处理器118可以开发用于将分摊的预算应用于一个或多个激光雷达系统的操作的扫描计划。在步骤3010,处理器118可以通过例如基于分摊的预算控制光源112和偏转器114的操作,来控制每个光束斑的光投射(例如,来自偏转器114的特定瞬时位置的光投射)。例如,可以向感兴趣区域提供比应用于不太感兴趣的区域的每单位时间更多的光通量。在步骤3012,处理器可以例如基于检测器116的输出,来检测和处理反射光。在步骤3014,处理器118可以确定对于特定束斑的分摊的光学预算的规定应用是否完成。如果已完成,那么处理可以返回到步骤3010,以继续控制另一个束斑处的光投射。如果没有完成,那么在步骤3016,处理器118可以确定是否允许另一个束斑投射(例如,另一个投射是否符合眼睛安全规定、是否将超过用于特定束斑的最大允许光通量的量,等等)。如果不允许另一个投射,那么处理可以返回到步骤3010,以继续控制另一个束斑处的光投射。如果允许另一个投射,那么在步骤3018,处理器118可以确定是否需要在特定束斑处的另一个投射(例如,是否已经基于与该特定束斑相关联的先前投射或先前照亮的像素而获得了足够的数据或检测)。如果不需要附加的投射,那么处理可以返回到步骤3010,以继续控制另一个束斑处的光投射。可选地,处理器118可以决定在同一个扫描周期中,为至少一个其它束斑重新分布分配给当前束斑的剩余未使用功率。如果保证了附加投射,那么在步骤3020,处理器118可以在返回到步骤3012以检测和处理反射光之前,在特定束斑处造成附加的光投射。
图30B提供了根据当前公开的实施例的、用于控制激光雷达系统的示例性方法3050的流程图表示。步骤3062可以包括访问存储在存储器中的光学预算,光学预算与至少一个光源相关联并且定义由至少一个光源在预定时间段内可发射的光量。步骤3064可以包括接收关于车辆操作参数的信息,包括以下当中的至少一个:环境条件、驾驶决策和功率管理模式。基于接收到的信息,步骤3066可以包括基于以下当中的至少两个,将光学预算动态地分摊到激光雷达系统的视场:扫描速率、扫描模式、扫描角度、空间光分布和时间光分布。步骤3068可以包括根据动态分摊的光学预算,输出信号,用于以使得光通量能够在扫描视场时变化的方式控制至少一个光源。
在一些实施例中,基于空间光分布动态地分摊光学预算可以包括:在单个扫描周期期间,朝着视场的第一部分比朝着视场的第二部分投射更多的光。在随后的扫描周期中,基于空间光分布动态地分摊光学预算可以包括:在该随后的扫描周期期间,朝着视场的第二部分比朝着视场的第一部分投射更多的光。该方法还可以包括获得第一部分作为感兴趣区域的标识、和第二部分作为不感兴趣(或较低兴趣)区域的标识。该方法还可以包括确定第二部分中物体的存在,并防止第二部分中的光的累积能量密度超过最大允许曝光。
在如何在激光雷达系统的操作期间应用分摊的光学预算的另一个示例中,处理器118可以被配置为,基于指示同一车辆上的另一个激光雷达系统的故障的PCLS,将更多的光学预算(例如,更多通量/FOV)分摊给安装在激光雷达系统上的特定激光雷达系统。这种分摊可以至少部分地补偿发生故障的激光雷达系统。例如,对工作的激光雷达系统的分摊可以包括向那个激光雷达的FOV的、在正常操作期间通常不发送脉冲(或发送几个脉冲)的部分发射脉冲。例如,这种分摊还可以包括改变偏转器参数,以便扫描更宽的FOV。
为了进一步说明这个示例,图31提供了车辆的图解表示,车辆包括位于车辆中的不同位置处的七个安装的激光雷达系统。每个个体激光雷达设备可以在视场、范围、分辨率、准确度等等方面表现出不同的参数。安装的激光雷达系统可以通过总线(例如,CAN总线)连接,该总线提供系统以及潜在地如图29中所示的其它部件之间的通信访问。在操作期间,各种激光雷达设备可以作为能力交换引导阶段或按需状态请求的一部分,而将它们的操作参数广播到彼此。这种信息交换可以使另一个激光雷达系统(诸如激光雷达系统#7)的处理器能够分辨激光雷达系统#2已经发生故障(例如,基于接收到的错误消息、健康状态指示符等等)。在一些情况下,总线上的故障设备可能无法报告(例如,它失去了电力供应)。在那种情况下,不报告的系统不再连接到共享总线并被假设为发生故障。
一个或多个其它激光雷达系统可以采取动作,以至少部分地补偿发生故障的激光雷达设备。例如,如图31中所示,激光雷达系统#2的故障可以导致车辆感觉系统的盲点。硬件或固件中的监视层(连接到总线的主控制器或指定的主激光雷达设备)将检测到激光雷达#2不起作用并且将在系统中指定另一个激光雷达,以补偿覆盖范围的损失。在这个具体的示例中,鉴于其扩展能力,激光雷达#7被发现是补偿覆盖范围损失的最佳选择。激光雷达#7被指定以备用模式操作并扩展其视场,以便覆盖激光雷达#2视场。增加激光雷达#7的扫描范围可以是以其一些能力(减小的总范围、分辨率或帧速率)为代价而发生的。车辆主控制器级别的完整系统将被通知到更新后的传感器状态与精简的性能参数集,并且补偿车辆行为。类似于将车辆限制在80公里/小时的窄备用轮胎,车辆可能在最高速度上受限。故障传感器的补偿最终由自主车辆维持最小自主水平的需要驱动,以便能够在没有人为干预的情况下安全地到达服务位置。
要注意的是,可选地,计算资源可以由两种或更多种类型的多个传感器(例如,激光雷达、相机、超声波传感器、雷达)共享,或者被分配给来自不同类型传感器的检测信息的处理。这可以例如由整合来自车辆(诸如,自主小汽车)中的不同传感器的信息的主计算机来实现。上面公开的用于计算预算的分摊的方法和处理(例如,方法3000)可以扩展到在由不同类型的传感器收集的处理信息之间分摊计算预算。可选地,这还可以扩展到基于各种参数(诸如车辆或安装在其中的任何系统的平台条件),在不同类型的多个传感器中的每个传感器的FOV部分之间不同地分配计算预算,同时还在不同类型的检测数据之间移动计算资源。这样的参数可以包括例如以下当中的一个或多个的任意组合:车辆操作参数、环境条件、驾驶决策、车辆的导航状态、或功率管理模式、一个或多个检测系统(诸如激光雷达、雷达等等)的系统参数。用于处理第一种类型的第一传感器的计算预算的分摊可以基于另一种类型的另一个传感器的处理。
例如,如果相机在其ROI之一中检测到可疑物体,那么分摊处理器可以分摊更多的激光雷达计算预算以用于处理来自FOV的那个ROI的检测信息,代价是处理来自FOV的其它部分的激光雷达检测信息。在另一个示例中,分摊处理器可以基于检测结果和/或平台参数来分摊计算预算,使得FOV的一些部分(当然可以在3D中定义,而不仅仅在2D中)将主要使用来自第一种类型的传感器的检测信息来分析,而FOV的其它部分将主要使用来自第二种类型的传感器的检测信息来分析。在更高级的分配方案中,主机(或另一个处理器)也可以例如基于先前公开的参数中的任何一个,并且根据上面提到的任何一项考虑,加以必要的变更后,在不同类型的传感器之间移动功率分配。
要注意的是,贯穿本公开讨论的用于激光雷达系统的许多方法、处理和技术,在与方法3000(以及预算分摊的整个讨论)一起考虑时,可以是更广泛的预算分摊方案的一部分,其组合了所公开的方法、处理和技术中的任何两个或更多个。这些方法、处理和技术可以适合所公开的预算分配方案中的不同地方。例如,这些方法、处理和技术中的一些可以被用于确定将预算分配给FOV的不同部分所按照的因素;这些方法、处理和技术中的一些可以被用于确定限制到FOV的不同部分的预算分配所按照的因素;这些方法、处理和技术中的一些可以被用于利用分配给FOV的不同部分的预算,等等。
根据一些实施例,激光雷达系统100可以包括:
a.光子发射器组件(PTX),诸如投射单元102(或其一部分),以产生检查光子的脉冲,其中脉冲由至少一个脉冲参数表征;
b.光子接收和检测组件(PRX),以接收从物体反射回来的反射光子,PRX包括检测器(例如,检测器116)以检测反射光子并产生检测到的场景信号(例如,由处理器118)。光子接收和检测组件可以包括感测单元106(或其一部分)和处理单元108(或其一部分);
c.光子转向组件(PSY),诸如扫描单元104(或其一部分),在功能上它与PTX和PRX两者相关联,以在被检查的场景片段的方向上引导检查光子的脉冲,并将反射光子导引回到PRX;以及
d.闭环控制器(下文中也称为“控制器”),其可以由处理单元108(或其一部分,诸如至少一个处理器118)实现,以:(a)控制PTX、PRX和PSY,(b)接收来自检测器的检测到的场景信号,以及(c)至少部分地基于检测到的场景信号,更新至少一个脉冲参数。
根据一些实施例,可以从以下组中选择至少一个脉冲参数:脉冲功率强度、脉冲宽度、脉冲重复率、脉冲序列、脉冲占空比、波长、相位和/或偏振。
根据一些实施例,控制器可以包括情景评估单元,以接收检测到的场景信号并产生扫描/工作计划。工作计划可以包括确定的预算分配中的一些或全部,并且还可以包括附加的操作决策(例如,扫描模式)。情景评估单元可以从光子转向组件接收光子转向组件反馈。情景评估单元可以接收存储在存储器上的信息。可选地,该信息可以从以下列表中选择:激光功率预算(或任何其它形式的光学预算)、电操作特点和/或校准数据。情景评估单元可以使用光子转向组件反馈,来产生扫描/工作计划。光学预算(例如,激光功率预算)可以从诸如以下的约束中导出:眼睛安全限制、热预算、随时间的激光老化,等等。
根据一些实施例,可以基于(a)实时检测到的场景信号、(b)帧内级别的场景信号、和(c)在两个或更多帧内累积和分析的帧间级别的场景信号,来产生工作计划。
根据一些实施例,检测器可以是具有一个或多个检测器参数的动态检测器,并且闭环控制器可以基于工作计划更新检测器参数。检测器参数可以从以下组中选择:扫描方向、帧速率、采样率、环境光效应、机械静态和动态损伤、用于减少寄生光的动态选通、动态灵敏度、动态偏置和/或热效应。PSY可以具有一个或多个转向参数,并且闭环控制器可以基于工作计划更新转向参数。可以从以下组中选择转向参数:扫描方法、功率调制、单轴或多轴方法、同步部件。可选地,情景评估单元可以从主机设备接收主机反馈,并使用主机反馈来产生或促成工作计划。
根据一些实施例,处理器118可以包括情景评估逻辑或电路,诸如情景评估逻辑(SAL)。SAL可以接收来自检测器116的检测到的场景信号、以及来自扫描单元104内部或外部的附加块/元件的信息。
根据一些实施例,可以在有或没有附加反馈信号(诸如光子转向部件反馈、PTX反馈、PRX反馈和主机反馈)以及存储在存储器2902中的信息的情况下,以确定扫描/工作计划(诸如用于扫描单元104的工作计划信号(诸如:扫描FOV中的哪些像素、以哪个激光参数预算、以哪个检测器参数预算))的局部成本函数和全局成本函数的加权方式,评估和计算场景信号。因而,处理器118可以是闭环动态控制器,其接收系统反馈并基于那个反馈更新系统的操作。例如,可以开发扫描工作计划,以实现分摊的光学预算或计算预算。
根据一些实施例,可以提供扫描单元104,用于扫描场景的一个或多个片段,也称为场景片段。该设备可以包括一个或多个光子发射器组件(PTX)、一个或多个光子接收和检测组件(PRX)、光子转向组件(PSY)以及适配为同步PTX、PRX和PSY的操作的情景感知处理器,使得设备可以在扫描帧期间动态地执行场景的一个或多个场景片段或区域的主动扫描。主动扫描可以包括朝着场景片段并跨场景片段发送一个或多个光子检查脉冲,并且当场景片段内存在的场景元素被检查脉冲击中时,测量该脉冲击中该元素以及其反射返回的往返飞行时间,以便估计该场景元素上由检查脉冲击中的点的距离和(相对)三维坐标。通过使用检查脉冲集来收集元素上的点集合的坐标,可以生成三维点云并用于检测、配准以及可能地识别场景元素。
处理器118可以是情景感知控制器,并且可以基于一个或多个检测到的和/或以其它方式已知的场景相关的情景参数,动态地调节PTX、PRX和/或PSY的操作模式和操作参数。根据一些实施例,基于对情景参数(诸如一个或多个场景片段中存在的场景元素)的理解,处理器118可以生成和/或调节工作计划(诸如用于扫描场景的部分的扫描计划)以实现分摊的光学预算或计算预算,作为旨在扫描/覆盖该场景的一个或多个片段的扫描帧的一部分。在生成扫描计划时可以考虑的其它情景参数可以包括:携带根据实施例的设备的主机平台的位置和/或轨迹。在生成扫描计划时可以考虑的还有其它情景参数可以包括:携带根据实施例的设备的主机平台周围的地形,包括道路坡度、俯仰和曲率。
扫描计划可以包括:(a)将场景内的要被主动扫描的场景片段作为扫描帧的一部分的指定,(b)检查脉冲集方案(PSS),其可以定义用于扫描所述场景片段中的至少一个的检查脉冲集的脉冲分布模式和/或个体脉冲特点,(c)检测方案,其可以定义检测器灵敏度或响应度模式,(d)转向方案,其可以定义转向方向、频率,指定转向阵列中的空闲元件等等。换句话说,扫描计划可以至少部分地影响/确定PTX控制信号、转向参数控制、PRX控制和/或检测器控制参数,使得基于场景分析和分摊的光学预算和/或计算预算,主动地扫描扫描帧。
以下讨论提供了基于所确定的光学预算和/或计算预算,来控制激光雷达FOV的一个或多个扫描的附加示例。例如,基于当前的检测到或推断的驾驶环境,处理器118可以协调至少一个光源的控制与至少一个光偏转器的控制,以通过改变在空间上跨视场的扫描而被应用的光学预算的量,来动态地调节瞬时检测距离。例如,处理器118可以增加投射的光量和/或减小光的空间分布,以增加FOV的某些区域(感兴趣区域)中的瞬时检测距离。作为另一个示例,处理器118可以减少投射的光量和/或增加光的空间分布,以减小FOV的其它区域(较低兴趣区域)中的瞬时检测距离。
激光雷达中的偏转器反馈控制
在一些实施例中,如前所述,激光雷达系统100可以合并到车辆上。由于在道路和其它表面上的引擎操作以及运动,会导致一定量的振动,并且这种振动会干扰激光雷达系统100的操作。例如,振动可以被转移到激光雷达系统100的任何部件,并且可以影响它们的性能和/或系统的整体性能。在一些情况下,光源和/或光偏转器的振动可以导致:朝着激光雷达视场(“FOV”)发射的光的方向的变化、来自FOV中的物体的光的收集的减少、偏转器位置和/或瞬时FOV位置的不确定性、和/或引入到偏转器/传感器耦合中的低效率。因此,激光雷达FOV的区域可能未按预期被照亮(例如,如图32A中预期的FOV 3220与实际FOV 3222之间的差异所例示的),激光雷达FOV中的物体可能未被检测到,物体可能在错误的方向被检测到,和/或物体检测可能导致低于期望的分辨率水平。
为了抵消这种影响,在一些实施例中,激光雷达系统100可以合并振动抑制系统3200(例如,图32A-B)。在一些情况下,激光雷达系统100可以确定振动的存在,并且可以采取一个或多个动作来减少或去除这种振动的影响。激光雷达系统100可以通过任何合适的技术确定振动的存在。例如,在一些情况下,可以使用与车辆或与激光雷达系统100本身相关联的一个或多个传感器,来检测振动。这种传感器可以包括一个或多个加速度计、应变计或任何其它合适类型的传感器。在一些情况下,可以基于从偏转器114接收的反馈,来检测振动。即,在一些情况下,激光雷达系统100的振动抑制系统可以对基于与偏转器114相关联的反射镜位置数据而确定的振动反馈作出响应(例如,使用图32C所示的反射镜位置反馈传感器来检测由振动引起的偏转器114的移动,以及图62、65、67、76、77和84)。由于振动产生的反射镜位置的变化可以是由直接地或间接地耦合到激光雷达系统100的任何振动源引起的。例如,这种振动源可以由引擎操作、在路面上滚动的车轮、车辆部件的机械移动(包括激光雷达系统100的部件的移动)等等引起。
除了能够抵消振动对激光雷达系统100的一些或全部影响或作为其替代,激光雷达系统100的振动抑制系统3200还能够抵消由反射镜的定位的不确定性造成的影响。例如,当使用压电致动的MEMS反射镜时,压电致动可以包括一定量的滞后,这意味着:由于反射镜位置相比于控制电压的模糊性,某个控制电压可能不一定导致反射镜的期望定位。因此,位置反馈机制(诸如图32C的位置反馈机制3256(例如,图62、65、67、76、77和84))可以对抵消这种影响是有用的,这种影响可以存在于任何类型的激光雷达系统100的安装上(例如,移动平台上(诸如车辆)的安装、或固定物体上(诸如建筑物、基础设施)的安装,等等)。还要注意的是,传感器3228(例如,图32B)可以被用于获得指示至少一个光偏转器的位置、朝向、速度或加速度的数据。加以必要的变更后,无论转移(diversion)的原因如何(例如,振动、滞后、温度效应),都可以确定关于光偏转器的状态的这些确定信息,并且可以在光偏转器的反馈控制中使用这些信息,以提高激光雷达系统100的检测准确度和可操作性(例如,在下面提供的示例中)。
在被配置为抑制光偏转器位置的振动或不确定性的影响的激光雷达系统中,系统3200可以包括至少一个处理器,该处理器被配置为以使得来自至少一个光源的光的光通量在扫描视场时变化的方式,控制至少一个光源;控制至少一个光偏转器的定位,以偏转来自至少一个光源的光,以便扫描视场;以及获得指示其上部署有激光雷达系统的车辆的振动的数据。基于所获得的指示感测到的振动的数据,至少一个处理器可以确定对至少一个光偏转器的定位的调节,以便补偿车辆的振动。至少一个处理器还可以实施所确定的对至少一个光偏转器的定位的调节,以在至少一个光偏转器上抑制车辆的振动对视场的扫描的影响的至少一部分。
图32A图示了在颠簸的路面上的示例性振动抑制系统3200和车辆3210。车辆3210可以配备有各种类型的传感器,以用于检测振动的存在和/或与感测到的振动相关联的特点。例如,在一些实施例中,车辆3210可以包括部署在车辆上的各个位置处的传感器单元和/或振动传感器。这样的传感器可以感测与车辆的车轮、引擎、主体等等相关联的振动,该振动是由于车辆在道路或其它表面上的移动、车辆引擎的操作、车辆的一个或多个其它部件的操作、或者强加(impart)到车辆3210的任何其它潜在的振动源而引起的。例如,传感器单元3206(包括传感器3216)可以定位在车辆引擎附近的区域中,并且可以监视与引擎相关联的振动。此外,包括传感器3218的一个或多个传感器单元3208可以定位在与车辆相关联的车轮附近或其上的区域中,以便监视与车辆的车轮相关联的振动。车辆还可以配备有一个或多个振动传感器3219,其定位在激光雷达系统100附近、之上或之中,以用于检测激光雷达系统100附近或其中的位置处的振动。
传感器3216、3218和/或3219可以包括能够测量振动的至少一个特点或振动的影响的任何类型的传感器,包括例如力、加速度、扭矩、应变、应力、电压、光学偏转等等。这种传感器3216、3218和/或3219可以经由有线或无线连接直接地或间接地连接到与激光雷达系统100相关联的一个或多个处理器,并且可以向激光雷达系统的一个或多个处理器传送指示感测到的振动的信息。
除了传感器3216、3218和/或3219之外,激光雷达系统100还可以配备有一个或多个传感器,或者可以配置有感测能力,以检测振动的存在和/或感测到的振动的一个或多个特点(例如,图32B的传感器3228)。如下面更详细讨论的,与激光雷达系统100相关联的一个或多个处理器可以包括例如使得能够检测偏转器114上存在的振动的编程。作为激光雷达FOV扫描的一部分,可以例如通过监视偏转器114的移动来检测这种振动,包括非故意强加到偏转器114的移动。例如,图32B图示了车辆振动补偿系统3200与激光雷达系统100部件,以及与扫描单元104和偏转器114接触的传感器3228。传感器3228可以被用于获得指示至少一个光偏振器114的位置、朝向、速度或加速度的数据。而且,预期的FOV扫描3220合并如由偏转器114扫描的瞬时FOV 3224和实际瞬时FOV 3226。扫描单元104中存在的振动导致预期瞬时视场与实际瞬时视场(分别为3224和3226)之间的差异。传感器3228可以检测影响偏转器114的振动。应当进一步注意的是,图32B图示了收发分置实施例,但是替代情况可以合并收发合置设计。
回到图32A,车辆3210上振动的存在可以干扰激光雷达系统100的操作。例如,当车辆3210沿着道路朝着物体3202前进时,激光雷达系统100可以在激光雷达FOV的扫描期间朝着物体3202引导一定量的光通量。如前所述,可以通过以下方式来实现被引导到激光雷达FOV的特定子区域(例如,物体3202所驻留的区域)的这种光通量:使光投射单元102向位于瞬时位置的光偏转器114提供光,使得光朝着包含物体3202的FOV子区域投射。但是,在存在振动的情况下,偏转器114可以经历移动,该移动使得预期被引导到物体3202所驻留的子区域的光被至少部分地引导到激光雷达FOV的未预期接收光的区域。因此,激光雷达系统100检测物体3202并提供足以生成包括物体3202的细节及其位置的合适深度图的信息的能力会降级。为了抵抗这种振动的影响,激光雷达系统100的处理单元108可以基于从感测单元106、传感器116和/或偏转器位置监视单元接收的输出来检测振动,包括那些振动的一个或多个特点。处理单元108可以使偏转器114以这样一种方式移动:即,抵消影响光投射、收集或检测的、强加到偏转器114、光投射单元102、感测单元106或激光雷达系统100的任何其它部件的移动的至少一部分。例如,在一些实施例中,包括一个或多个处理器118的处理单元108可以监视偏转器114的位置或朝向,将被监视的位置与预期的瞬时位置/朝向进行比较,并且如果确定了差异,那么处理器118可以使偏转器114朝着预期的瞬时位置/朝向移动。使用这种反馈方法,处理器118可以抵消倾向于使偏转器114从其预期位置或朝向移位的振动的影响。在一些实施例中,处理器118可以被配置为对激光雷达系统100的任何可移动部件引起振动减小或消除移动,以便减轻感测到的振动的影响。
以下部分进一步阐述系统3200的振动检测和振动抑制能力。
当前公开的实施例可以包括处理器118(即,CPU 3234),该处理器被配置为确定至少一个光偏转器114(即,反射镜3236)的瞬时角位置(例如,使用θ、
Figure BDA0002109505060001471
坐标)。术语“瞬时角位置”是指至少一个偏转器的瞬时位置,其使得光朝着(和/或从)给定的角方向(例如,由θ、
Figure BDA0002109505060001472
表示)偏转。这种确定可以基于与车辆3210或激光雷达系统100相关联的一个或多个振动传感器(例如,与光偏转器114相关联的传感器)的光学测量、电容测量、压电电阻测量、介电常数测量和压电偏振测量中的至少一个。
如面上所讨论的,可以使用一个或多个传感器3216、3218和/或3219来检测振动。这种传感器可以包括一个或多个加速度计、应变计或适于感测振动或振动的至少一个特点的任何其它类型的传感器。此外,如所指出的,激光雷达系统100可以配备有专用的振动传感器(即,传感器3228),或者可以使用用于扫描激光雷达FOV的系统的一个或多个部件来检测振动。例如,在一些实施例中,可以使用偏转器114和图32C中所示的位置反馈传感器3256来检测振动。
图32C中所示的是包括反射镜3236的示例性可枢转反射镜配置,反射镜3236可以在两个或更多个轴(例如,θ、
Figure BDA0002109505060001473
)中移动。如图32C-G中所示,反射镜3236可以包括在不同的配置中,包括例如矩形、方形、圆形或圆角反射镜形状。处理器118可以被配置为在激光雷达FOV的扫描期间控制至少一个偏转器114,包括例如控制反射镜3236的位置。处理器118还可以控制反射镜3236的移动,以便提供期望的扫描速率、扫描模式、空间光分布、时间光分布等等。
对于瞬时方向控制,包括反射镜3236的转向单元3232(即,扫描单元104)还可以包括可电控制的机电驱动器(诸如致动驱动器3238)。致动驱动器3238可以使移动或动力被中继到致动器/悬臂/弯曲器(诸如致动器3240)。致动器3240可以是诸如框架3241之类的支撑框架的一部分,或者它们可以间接连接。附加致动器(诸如致动器3242、3244和3246)可以各自由如图所示的附加致动驱动器控制/驱动,并且可以(适当地)各自具有与多个层3243、3245和3247一致的支撑框架。要理解的是,框架3241、3243、3245和/或3247可以包括支撑所有致动器的单个框架,或者可以是多个互连的框架。此外,框架可以通过隔离(Isn)元件或部分(如图所示)电分离。可选地,柔性互连元件或连接器(诸如弹簧3248)可以被用于将致动器3240邻接到反射镜3236,以将动力或移动从致动驱动器3238中继到反射镜3236。致动器3240可以包括两个或更多个电触点(诸如触点3240A、3240B、3240C和3240D)。可选地,一个或多个触点3240A、3240B、3240C和/或3240D可以位于框架3241或致动器3240上,只要框架3241和致动器3240电连接。根据一些实施例,致动器3240可以是可以被掺杂的半导体,使得致动器3240一般在触点3240A-3240D之间是导电的,并且在隔离3250和3252中是隔离的以将致动器3240与致动器3242和3246(分别)电隔离。可选地,代替掺杂该致动器,致动器3240可以包括导电元件,该导电元件可以粘附或以其它方式机械地或化学地连接到致动器3240,在这种情况下,隔离元件可以固有地在致动器3240的不具有粘附到它们的导电元件的区域中。致动器3240可以包括压电层,使得流过致动器3240的电流可以造成压电部分中的反应,这种反应可以使致动器3240可控地弯曲。
例如,可以合并到处理单元108中的CPU 3234可以向反射镜驱动器3254输出/中继由θ、
Figure BDA0002109505060001481
参数描述的用于反射镜3236的期望角位置。反射镜驱动器3254可以被配置为控制反射镜3236的移动并且可以使致动驱动器3238将某个电压推动到触点3240C和3240D,以便尝试基于致动器3240、3242、3244和3246的弯曲来实现用于反射镜3236的θ、
Figure BDA0002109505060001482
偏转值的具体请求值。根据一些实施例,位置反馈控制电路可以被配置为向触点(诸如触点3240A(或3240B))供给电源(诸如电压或电流),并且另一个触点(诸如触点3240B(或3240A,适当地))可以连接到位置反馈3256内的传感器,该传感器可以被用于测量致动器3240的一个或多个电参数,以确定致动器3240的弯曲以及适当地确定反射镜3236的实际偏转。还要理解的是,通过确定致动器3240的弯曲和适当地确定反射镜3236的偏转,CPU 3234进而确定光偏转器的实时位置。
可以为致动器3242-3246中的每一个复制类似于位置反馈3256的附加位置反馈和类似于致动驱动器3238的附加致动驱动器,并且反射镜驱动器3254和CPU 3234也可以控制那些元件,使得反射镜偏转对于所有方向被控制。包括致动驱动器3238的致动驱动器可以向前推动在致动器3240-3246中造成机电反应的信号,每个致动器进而被采样以用于反馈。关于致动器(3240-3246)位置的反馈用作到反射镜驱动器3254的信号,从而使其能够高效地朝着由CPU 3234设置的期望位置θ、
Figure BDA0002109505060001491
收敛,从而基于检测到的实际偏转来校正所请求的值。
除了所描述的对反射镜3236进行定位并且例如经由3242A/B、3244A/B或3246A/B和位置反馈传感器获得反馈的操作之外,这些元件等还可以用于检测振动。例如,处理器118可以监视来自位置反馈传感器的反馈,以便确定指示车辆振动(或激光雷达系统振动)的数据。如上面所讨论的,车辆振动补偿系统可以利用从偏转器获取的测得的反射光学器件数据。扫描单元104(类似如图3A-3C所示)或激光雷达系统100可以利用压电致动器微机电(MEMS)反射镜器件,来偏转扫描视场(FOV)的激光束。反射镜3236偏转是施加到在致动器3240上构建的压电元件的电压电位/电流的结果。对于致动器3240不将其转换成恒定位移值的某个电压电平,反射镜3236偏转被转换成可以未以线性方式来表现的角扫描模式。使用闭环方法来最佳地实现FOV维度是确定性的并且跨不同设备是可重复的扫描激光雷达系统,该闭环方法提供从位置反馈和传感器3256到反射镜驱动器3254和/或CPU 3234的角偏转反馈。反射光学器件不仅可以提供用于激光雷达系统的相关数据(例如,用于创建深度图的、来自激光雷达FOV的特定子区域的反射光),而且CPU 3234也可以使用测得的光学器件数据作为基础检测振动。例如,如果由反射镜3236反射到传感器116上的光斑被确定为相对于传感器移动,尤其是如果该移动与和振动相关联的频率、振幅等等一致,那么所收集的光束的移动的方向和程度可以使得处理器118能够检测振动的存在以及振动的一个或多个特点。
处理器118还可以使用其它技术来检测振动的存在。返回图32C并如上面所讨论的,位置反馈传感器还可以被用于测量振动。例如,位置反馈传感器可以经由触点3242A或3242B、3244A或3244B和/或3246A或3246B,来感测致动器3242、3244和/或3246处的信号。感测到的信号可以被用于确定致动器移动,其进而可以指示振动。在通过监视致动器和/或位置反馈传感器的输出来检测振动的影响的一个示例中,处理器118可以使反射镜3236移动到作为激光雷达FOV的扫描的一部分的特定的瞬时位置。一旦反射镜3236已经移动到其指定的瞬时位置(例如,以便将光引导到激光雷达FOV的特定子区域),处理器118可以预期反射镜在反射镜移动到其下一个瞬时位置之前保持在该位置某个停留时间。在停留时间期间,可以预期反射镜3236在指定的瞬时位置保持固定,或者以允许将光连续导引到具体的瞬时FOV的步幅(pace)移动,如上面更详细地讨论的。因此,在停留时间期间,如果在处理器118处接收到指示反射镜3236偏离其预期朝向的信号,尤其是如果那个偏离是振荡的、偶发的、随机的、高于某个频率、高于某个阈值等等,那么处理器118可以确定指示停留时间期间的移动/偏离的信号可以指示振动。同样,处理器118还可以确定指示瞬时位置扫描时间期间的移动/偏离的信号指示施加到反射镜的外力。可选地,处理器118可以使用指示瞬时位置扫描时间期间的移动/偏离的信号,而不确定其起因。当处理器118使反射镜3236移动时(例如,在不同瞬时位置处的停留时间之间),如果处理器118观察到来自位置反馈传感器的信号与对规定移动所预期的信号不一致,那么处理器118可以确定不一致的信号可以与振动效应相关联。当处理器118使反射镜3236移动时(例如,在不同瞬时位置处的停留时间之间),如果处理器118观察到来自位置反馈传感器的信号与对规定移动所预期的信号不一致,那么处理器118可以响应于位置反馈传感器的信号而向反射镜3236的至少一个致动器发出位置控制信号。本领域技术人员将清楚的是,加以必要的变更后,这种位置控制信号也可以由处理器118向任何其它类型的光偏转器114发出。
确定和/或监视反射镜3236的位置不仅可以对检测振动有用,而且还可以对抵消非预期的反射镜移动的其它起因有用。例如,图32D示出了根据某些公开的实施例的示例性致动器-反射镜耦合。致动器3240可以由若干层制成,并且可以包括压电层3241、半导体层3243和基层3245。半导体层3243的电阻率可以在当反射镜在某个角位置偏转时的激活阶段(stage)中测量(在图中表示为“Ractive”),并与休眠状态下的电阻率(Rrest)相比。包括Ractive的反馈可以提供信息以测量/确定与预期角度相比的实际反射镜偏转角度。基于这个信息,如果与反射镜3236的预期角度/朝向/位置之间存在差异,那么可以控制致动器3240,以便根据所预期的,来更改反射镜3236的角度/朝向/位置。基于硅(或其它半导体)的致动器3240的电导率可以响应于致动器3240经历的机械应力而变化。当致动器3240休眠时,在两个触点3240A和3240B处表现出的电导率将是Rrest。如果层3241的压电材料被激活(例如,通过施加电压),那么其将在致动器3240上施加力并使其弯曲。此外,激光雷达系统100经历的振动可以导致反射镜3236的(一个或多个)意外移动,这也会造成致动器3240的弯曲。致动器3240响应于机械力的弯曲(无论是由压电层的电激活造成、还是由振动而引起)可以导致在两个触点3240A和3240B处表现出的电导率Ractive的改变。Rrest与Ractive之间的差异可以通过反射镜驱动器(诸如图32C的反射镜驱动器3254)与用来闭合环路的角偏转值相关联。这种方法可以被用于动态跟踪实际反射镜位置。并且在反馈回路中使用这种信息,处理器118可以使电信号(例如,供应电流/电压)施加到致动器3240,以对抗由振动造成的运动。
提供双轴MEMS反射镜(3270)的图解表示的图32E、提供单轴MEMS反射镜(3280)的图解表示的图32F、和描绘圆形MEMS反射镜(3290)的图32G中的每一个提供反射镜和致动器组件的示例,其可以被用于检测由振动造成的反射镜的移动并且通过主动反馈回路来抵消那些移动。根据特定应用的要求,反射镜和致动器耦合可以被配置有各种特点。例如,在一些实施例中,光偏转器(例如,悬挂在致动器框架内的反射镜3236)可以具有低于1000Hz的谐振频率。另外,偏转器可以包括MEMS反射镜阵列,每个分离的反射镜构成光偏转器元件。在一些实施例中,每个光偏转器可以包括具有至少4.5mm宽度的单个MEMS反射镜。在其它实施例中,每个光偏转器可以包括二维反射镜阵列,每个反射镜具有至少2mm的宽度。如所指出的,在检测到至少一个移动(尤其是但不限于指示振动的移动)时——例如通过监视反射镜3236的移动的一个或多个指示符——处理器118可以控制各种致动器以抵消该移动。这种控制可以作为反馈回路的一部分来执行,其中控制可以寻求减少或去除反射镜3236的预期/期望位置或移动与反射镜3236的观察到的位置/运动/速度/加速度之间的差异。可以通过以使反射镜3236与由振动(或由任何其它力,如上面所讨论的)施加的运动相反地移动、或以其它方式修改反射镜3236的移动特点的方式来驱动致动器(例如,致动器3240、3242、3244和/或3246),来实现反射镜3236的预期位置/朝向/速度/加速度与反射镜3236的观察到的位置/朝向/速度/加速度之间的差异的减少或去除。通过作为反馈回路的一部分而连续监视反射镜3236的位置/朝向/速度/加速度以及通过将反射镜3236朝着与反射镜3236的预期瞬时位置相关联的预期位置/朝向驱动(在激光雷达FOV的扫描期间),尽管有施加在反射镜3236上的力(例如,由振动造成的力),但是反射镜3236可以被导向到基本上预期的位置/朝向。
可替代地或附加地,处理器118可以基于接收到的一个或多个传感器(例如,传感器3216、3218和/或3219)的输出,来控制反射镜3236的位置。在这样的实施例中,处理器118可以确定用于抵消所观察到的振动的调节,这可以包括计算用将反射镜3236移动到预期的瞬时位置的适当的轴(θ,
Figure BDA0002109505060001521
)参数调节。在一些情况下,这些调节可以包括利用转向设备3232移动偏转器114,以便补偿基于与车辆自身相关联的传感器的输出而确定的、计算出的加速度、扭矩、应变等等。
除了振动抑制之外,激光雷达系统100还可以能够感测与其上安装有或以其它方式关联于激光雷达系统100的平台(例如,车辆)相关联的其它移动并对其作出反应。例如,处理器(例如,处理器118、CPU 3234等等)还可以被配置为收集指示车辆的倾斜度的数据(例如,图33)。指示车辆的倾斜度的信息可以被提供为一个或多个加速度计、一个或多个三维加速度计、惯性测量单元(IMU)等的输出。基于这个信息,可以对激光雷达系统100的一个或多个方面进行调节。例如,在一些实施例中,可以以抵消车辆倾斜度的变化的方式,激活一个或多个机械致动器以便旋转激光雷达系统100(或其一个或多个部件,包括:偏转器114;包括光投射器、一个或多个光偏转器和光传感器的光投射器组件;或者激光雷达系统100的至少部分地影响激光雷达FOV相对于特定场景的位置的任何其它部件)。尽管车辆倾斜度有变化,但是这种车辆倾斜度的抵消可以导致例如:激光雷达FOV相对于场景保持基本固定(至少达某个时间段)。在其它情况下,激光雷达FOV可以相对于场景而变化,但是以小于通常与车辆倾斜度的特定变化相关联的量而变化。作为示例,当车辆接近山顶(例如,负拐折)时,可以移动激光雷达系统(或其一个或多个部件),使得激光雷达FOV相对于场景向下移动。这种移动可以使激光雷达FOV能够与更少的天空和更多的道路重叠。类似地,当车辆接近道路中向上的拐折(例如,正拐折)时,可以移动激光雷达系统(或其一个或多个部件),使得激光雷达FOV相对于场景向上移动。这种移动可以使激光雷达FOV能够与该场景的、包括道路的经过向上的拐折的更远距离部分的区域重叠。
作为说明性示例,图33示出了两个类似的场景,包括具有激光雷达系统100的车辆110在卡车3302的方向上正在下坡行驶。在场景A中,激光雷达系统100具有固定的视场120A,具有最小高程点和最大高程点,使得未检测到卡车3302。在这种情况下,激光雷达系统100将不会检测到卡车3302,直到稍后的时间(例如,当车辆经过道路中的正拐折点时,使得激光雷达FOV相对于场景向上移动,由此与包括卡车3302的区域重叠)。但是,在场景B中,激光雷达系统100具有动态视场120B,其可以通过调节激光雷达系统100或其一个或多个部件的瞄准方向相对于场景定位,例如,如上面所讨论的。在这个示例中,可以检测车辆在下坡行驶时的倾斜度,并且可以调节动态FOV120B,使得其不与山的底部重叠(如在场景A中),而是与沿着道路更远的、卡车3302所驻留的区域重叠。因此,激光雷达系统100可以比没有动态FOV能力的情况下更早地检测到卡车3302。显然,处理器118可以对车辆110的各种位置作出反应,并且提供下坡驾驶仅作为一个示例场景。
处理单元108(例如,包括CPU 3234)可以以各种方式完成这种调节。例如,CPU3234可以根据通过与车辆相关联的各种传感器的反馈而收集的数据,实现恒定的反馈回路,以便使得激光雷达系统100的位置的改变。可替代地或附加地,偏转器114(例如,反射镜3236)可以以弥补(offset)车辆的倾斜度变化的方式被转向。
一种用于抑制用在车辆上的激光雷达系统的振动的方法可以包括:以使得来自至少一个光源的光的光通量能够在对视场进行扫描时变化的方式,控制至少一个光源。该方法还包括:控制至少一个光偏转器的定位,以偏转来自至少一个光源的光,以便扫描视场。该方法获得指示车辆振动的数据。基于所获得的数据,该方法调节至少一个光偏转器的定位,以补偿车辆的振动。并且该方法还实施所确定的对至少一个光偏转器的定位的调节,由此在至少一个光偏转器上抑制车辆的振动对视场扫描的影响的至少一部分。
现在转到图34,还要理解的是,用于抑制被配置用在车辆上的激光雷达的振动的方法可以包括:以使得来自至少一个光源的光的光通量在对视场进行扫描时变化的方式,控制至少一个光源(步骤3410)。此外,在一些实施例中,光偏转器114具有低于1000Hz的谐振频率。在步骤3420中,可以通过控制或转向光偏转器定位来扫描视场,以偏转来自至少一个光源的光。在步骤3430中,可以获得指示车辆振动的数据,其中上面解释了收集到的数据的若干示例。然后,在步骤3440中,基于所获得的数据,确定用于至少一个光偏转器的定位的调节,用以补偿车辆的振动。并且步骤3450指示该方法可以通过至少一个光偏转器的定位来实施所确定的调节,以便抑制或去除振动对激光雷达FOV的一个或多个扫描的影响。附加的实施例还可以包括确定光偏转器的瞬时角位置,以及更改光偏转器的瞬时角位置,以补偿预期或要求位置与瞬时角位置之间的差异。
可转向的高能束
为了帮助汽车行业采用激光雷达系统,可以对表现出与人类视觉的某些方面类似的能力的激光雷达系统存在兴趣。例如,人类视觉提供使得个体能够感知三维中的场景的信息(例如,通过两只眼睛从略微不同的位置观看场景而提供的视差)。在道路情形下,这种能力可以使人能够感知起伏的道路、上坡路段、下坡路段、俯仰、偏航、减速带、紧急转弯、护堤、陡峭的通路(例如,地下车库)等等,如三维中的深度。此外,人类视觉可以使个体能够确定和/或预测视场中(或场景内)中的哪些区域可以要求更多注意力,使得个体可以关注那些区域。例如,当在街道上驾驶时,行人和车辆所驻留的区域可以要求比天际线或者个体视场的或场景中的不包括可能与例如个体自己的车辆相互作用的物体的区域更多的注意力。因此,响应于确定场景(或个体的环境)中这种物体的存在,个体可以将更多的注意力引导到那些物体所驻留的区域。可以期望给激光雷达系统提供相似的能力。
在与本公开的实施例一致的激光雷达系统中,系统可以生成激光雷达系统的FOV内的环境中的物体的3D重构。所公开的激光雷达系统可以包括“凝视(gaze)”能力,该能力在某种程度上模仿人类的视觉行为,其中根据环境特征、道路特征以及以三个自由度(3DOF)至最多六个自由度(6DOF)的车辆运动向量,将活动视场朝着具体的周围区域移动。通过将FOV自适应地分割为例如分配有不同服务质量等级(QoS)的片段,这种能力可以使激光雷达系统能够跨大的视场而提供增强的感测性能。
如上所述,激光雷达系统100可以包括至少一个处理器118,例如,在处理单元108内,其可以控制至少一个光源112以使光源112在FOV的某些区域内生成更高或更低的光通量。例如,响应于与FOV的特定区域相关联的兴趣水平,可以向与该兴趣水平相称的那个特定区域提供更多或更少的光。视场120的具有较低兴趣的部分(例如,诸如远离图5B中所示的检测到的车辆的区域)可以被分配较低水平的光通量或甚至根本没有光通量。但是,在其它较高兴趣的区域中(例如,诸如其中检测到物体的区域,如图5B中所示的检测到汽车的区域)可以被分配较高的光通量水平。这样的分配可以避免在较低兴趣的区域中消耗光能和检测资源,而是可以在更感兴趣的区域中增强分辨率和其它性能特点。可以通过更改与第一部分相关联的光源参数(例如,脉冲定时、脉冲长度、脉冲尺寸、脉冲振幅、脉冲频率等)来生成更高或更低的光通量,使得被引导到第一部分的光通量大于被引导到视场的至少一个其它部分的光通量。可替代地,处理器118可以更改与第一部分相关联的光源参数,使得被引导到第一部分的光通量小于被引导到视场的至少一个其它部分的光通量。还可以通过修改偏转器参数(例如,扫描模式、转向速率)以及通过改变光源和偏转器的同步,来实现通量差异。
光分配还可以基于跨FOV的预定的分配模式。图35A图示了在垂直于传感器的检测平面的平面上的FOV的示例,例如,从用于水平地指向的激光雷达系统的鸟瞰图中可以看到的。在图35A所示的示例中,FOV被划分为三个扇区,但是可以实现更多或更少的扇区。每个扇区可以具有被引导到它的一定的光通量。因此,每个扇区可以表现出与提供给每个扇区的光量相关联的对应的信噪比区别性平衡、和/或对应检测范围。在图35A中所描绘的三个扇区当中,扇区II已被分配的光通量大于扇区I或扇区III。因此,激光雷达系统可以能够在扇区II处检测到比在扇区I或扇区III处更远的相似物体。类似地,如图所示,扇区III被分配比扇区I多的光,但比扇区II的光少。因此,扇区III可以使得能够在大于扇区I的范围但是小于扇区II的范围处检测物体。当然,其它光分配模式是可能的。例如,在一些实施例中,扇区II可以被分配有最大光通量,扇区I和扇区III可以各自分配有基本相同量的光通量。被引导到第二扇区的更高水平的光通量可以至少部分地补偿在光源和感兴趣的目标之间的距离上的激光信号损失。而且,被引导到第二扇区的更大光通量还可以增强系统可以能够在那个扇区中提供的分辨率,并且进而可以增加那个扇区和激光雷达系统作为整体的服务质量。增强的分辨率可以是增强的时间分辨率、增强的空间分辨率、或两者的组合。
不仅可以将不同水平的光通量分配给FOV的不同扇区,而且扇区的形状和尺寸也可以变化。例如,在一些实施例中,扇区II(例如,图35A实施例中的最高光分配的扇区)可以占据FOV的中心区域,如图35A所示的说明性示例中所示。换句话说,如上所述,FOV可以被划分为多个子区域。处理器118可以将FOV中的任何区域/子区域指定为扇区II(或任何其它扇区)。因此,由处理器118引起的光分配可以包括向特定扇区内包括的一个或多个子区域供给某个光通量水平。此外,每个扇区/子扇区包含至少一个像素。本公开的系统和方法可以在逐个像素的基础上收集数据。为了扫描FOV,处理器118可以控制至少一个光偏转器(例如,图1A的光偏转器114、图2A的偏转器114A和/或偏转器114B、和/或图2B的单向偏转器216),以便扫描视场。例如,处理器118可以造成至少一个光偏转器的机械移动,以扫描视场。可替代地或并发地,处理器118可以在至少一个偏转器中诱发压电或热电变化,以扫描视场。
与激光雷达系统相关联的扇区可以包括任何合适的尺寸或任何朝向或不同的立体角。例如,在一些实施例中,每个扇区可以具有相似的尺寸(例如,可以占据相似数量的相似尺寸的FOV子区域,诸如相似数量的“像素”、相似数量的“束斑”)。但是,在其它情况下,扇区可以具有不同的尺寸。例如,图35C图示了具有不同尺寸和形状的不同扇区。
扇区还可以以各种不同的朝向位于激光雷达FOV内。在图35A所示的说明性示例中,每个扇区占据激光雷达FOV的整个高度,使得激光雷达FOV被垂直地划分为三个扇区(I、II和III),每个扇区占据激光雷达FOV的整个高度。但是,不必在所有实施例中都是这种情况。而是,因为处理器118可以将任何FOV子区域或子区域组指派给特定扇区,因此这些扇区可以构成FOV的垂直切片(图35A)、FOV的水平切片、或者可以采用各种其它形状或模式,如下面参考图36更详细地讨论的。在本文中,例如,子区域可以是瞬时FOV,其可以通过更改至少一个偏转器的瞬时位置而在FOV内移动。
此外,与每个扇区相关联的尺寸、形状和/或范围可以在不同的扫描周期中改变。例如,在FOV的一扫描周期内获取帧之后,可以改变对各个扇区的光分配,可以改变扇区的数量,可以改变扇区的尺寸,和/或可以改变FOV内任何扇区的相对位置。在图35B所示的说明性示例中,在FOV的稍后扫描中分配给扇区III的光相对于如图35A所表示的在FOV的较早扫描中分配给扇区III的光量已经改变。因此,与图35A扫描中的扇区III相比,图35B扫描中的扇区III可以与较少的光通量相关联,因此与较短的检测范围、较低的信噪比等等相关联。因此,如图35B中所示,扇区I和扇区III可以具有相同的检测范围。
此外,基于检测反馈、基于由主机或另一个外部系统提供的指令或信息、或基于任何其它合适的基础,可以根据预定模式在多个扫描周期内改变与不同扇区相关联的位置、尺寸、形状和/或光通量。在一些实施例中,例如,特定扇区的相对位置可以跨FOV的两个或更多个扫描周期而在FOV内改变。因此,可以使特定扇区(诸如扇区II)跨多个扫描来扫描FOV(例如,以光栅模式、以扫掠运动等等)。此外,提供给可用扇区的光通量的量可以在扫描到扫描之间变化。例如,与图35A相关联的扫描相比,由图35B表示的扫描示出分配给扇区III的光量已经减少。因此,扇区III的检测范围也可以改变(例如,减小)。光分配的这种改变可以由处理器118响应于预定的扇形扫描方案、基于反馈(例如,与车辆运动相关的传感器输出、一个或多个感兴趣物体的激光雷达检测、其它传感器/检测器等等)来进行。因此,如图35B中所示,处理器118可以为FOV中的两个不同扇区确定相同的检测范围。
在一个示例中,参考图1A,激光雷达系统100可以部署在车辆110上,并且处理单元108可以基于车辆的驾驶模式(例如,俯仰、偏航、滚动、停止等等),为特定扇区(诸如扇区II)选择预定义的扫描模式。随着车辆移动,处理单元108可以使扇区II以扫掠运动在扫描到扫描之间发生移动。这种位置变化可以使激光雷达系统能够有效地检测目标物体(包括位于一个或多个感兴趣范围内的物体)。此外,跨激光雷达FOV的多个扫描来扫掠特定扇区可以使系统能够跨多个扫描跟踪一个或多个感兴趣的目标。例如,如果在扫描到扫描之间,车辆继续相对于检测到的物体移动,那么,通过相对于FOV移动检测扇区的位置(例如,跨多个扫描中以扫掠运动来移动扇区II),随着车辆相对于那些物体移动,激光雷达系统可以保持跟踪一个或多个目标物体。
另一个说明性示例可以包括车辆110改变方向的情况(例如,进行左转或右转、进行掉头、停车等等)。在这种情况下,在多个扫描周期内跨FOV扫描特定扇区可以实现使得能够对目标物体连续跟踪,否则如果不跨FOV扫描特定扇区将会检测不到该物体(或者可能无法以期望的分辨率检测到)。虽然这种扫描可以根据预定模式发生(例如,以预定速率、位置等等对FOV中的相对位置的有规律的扫掠),但是特定扇区的扫描也可以基于任何其它合适的基础。例如,在一个实施例中,扫描可以基于与车辆运动相关联的反馈,如上面所提到的。随着车辆移动,车辆上的传感器(例如,速度传感器、加速度计等等)可以监视车辆的速度和朝向。进而,FOV中特定扇区的位置可以从一个扫描周期到下一个扫描周期有所改变,以至少部分地应对车辆的感测到的运动。在一个示例中,可以改变扇区位置,使得可以在多个FOV扫描周期的过程内至少部分地在特定扇区(例如,图35A或35B的扇区II或者图35C的扇区IV)内跟踪检测到的物体(例如,另一个车辆、行人等等)。
此外,扇区在FOV内的相对移动可以基于其它类型的反馈。例如,如果在FOV的特定扇区(例如,扇区II)内检测到感兴趣的物体,并且确定那个物体正在相对于激光雷达系统移动,那么当指派特定扇区在一个或多个后续扫描期间在FOV内的后续位置时,可以考虑感兴趣物体的相对运动。例如,如图35C中所示,如果目标车辆在包括激光雷达系统的主车辆前方穿过并且从右向左穿过,那么特定扇区(例如,扇区IV)的相对位置可以在多个扫描中跨FOV被扫掠,以便随着目标车辆跨FOV从右向左移动而跟踪其运动。因此,在FOV的多个扫描中,扇区IV的位置也可以跨FOV从右向左移动。扇区移动到FOV中的新位置的速率(例如,扇区位置在扫描到扫描之间的角变化)可以取决于观察到的目标车辆的相对移动特点(例如,其相对速度、加速度、距主车辆的距离等等)。相应地,图35D图示了被划分为与图35C中的扇区对应的扇区的FOV。
可替代地并且并发地,扇区在FOV内的相对移动可以是扫略模式。类似于“灯塔”的光投射模式,特定扇区可以跨FOV或跨FOV的一部分而移动,以检测任何移动物体并跟踪它们。
可替代地并且并发地,处理器118可以基于主车辆的速度,使得FOV中的特定扇区(例如,扇区II)的帧中心的维度减小,以便以更宽的场景理解为代价而增加前方的检测范围。
可以连续地完成在扫描到扫描之间跨FOV扫掠扇区(或多于一个扇区)(例如,扇区的角变化在扫描到扫描之间是恒定的)。扫掠一个或多个扇区也可以以非连续方式完成(例如,扇区的角变化在扫描到扫描之间不是恒定的)。
FOV的一个或多个扇区也可以由处理器118指定,以接收很少或不接收光通量。例如,如果检测到死区(例如,具有很少或没有感兴趣物体的区)或者附近的物体阻挡FOV的一部分,那么可能不太需要在一个或多个后续扫描期间来自那个区的附加信息。因此,在FOV的一个或多个后续扫描期间,可以指定低光通量扇区或甚至无光通量扇区,以与死区重叠。以那种方式,可以降低激光雷达系统的能量使用/能量要求。附加地或可替代地,可以释放本应该已可用于分配给(一个或多个)死区扇区的光能,以重新分配给一个或多个其它更高兴趣的扇区。
如上所述,FOV可以被划分为一个或多个扇区,每个扇区由该FOV内的任何一个或多个子区域构成。这样的扇区划分可以包括FOV的垂直扇区、FOV的水平扇区、或者可以包括各种其它模式。在一个实施例中,如图36中所示,FOV可以被划分为三个扇区(扇区I、扇区II和扇区III)。在这个实施例中,扇区I和III包括FOV的垂直切片。但是,扇区II被指派给FOV的子区域,这些子区域完全被第一扇区和第三扇区包围。扇区II的位置在扫描到扫描之间可以在FOV内处于相似的相对位置,或者可以移动。在一些实施例中,可以使扇区II在多个相继扫描周期中扫掠,使得在每个扫描周期中,第二扇区的至少一部分位于水平线或水平面下方。例如,当在起伏的道路上驾驶并且在道路上检测到感兴趣的物体(例如,坑洞、另一个车辆、行人等等)时,可以期望朝着感兴趣的物体的区域分配更多的光通量,以增加那个区域中的分辨率并改进确定物体特点的能力。因此,以上述方式,处理器118可以使扇区II基于感测到的车辆朝向、感兴趣的物体的相对运动、或任何其它标准,来在扫描到扫描之间跟踪感兴趣的物体。因此,随着激光雷达系统所驻留的车辆沿着山坡向下驾驶时,可以使扇区II在扫描到扫描之间向上移动,以维持与前方道路上的感兴趣物体的重叠。类似地,当主车辆沿着山坡向上驾驶时,可以使FOV中的扇区II的位置在扫描到扫描之间向下移动。因此,尽管道路起伏,但是扇区II在FOV内的位置(例如,高光通量分配区)可以上下移动,使得扇区II与FOV的基本上低于水平线的区域重叠。
图37是用于使用激光雷达系统检测物体的示例方法3700的流程图。在步骤3701中,处理器(例如,处理器118)以使得来自至少一个光源的光的光通量能够在视场(例如,视场120)的扫描周期内变化的方式,控制至少一个光源(例如,光源112),其中从至少一个光源投射的光被引导到至少一个偏转器(例如,光偏转器114),以扫描视场。在步骤3702中,处理器(例如,处理器118)从至少一个传感器(例如,传感器116)接收指示从视场(例如,视场120)中的物体反射的光的反射信号。在步骤3703中,处理器(例如,处理器118)以使得在扫描周期中出现至少三个扇区的方式,协调光通量和扫描。处理器118可以使相似或不同水平的光通量被供给这至少三个扇区中的每一个。在一些示例中,供给第二扇区的光通量可以大于供给第一扇区和第三扇区的光通量。处理器118还可以针对一个或多个可用扇区,导致不同的点分辨率。“点分辨率”可以指点云图的分辨率,其中点云图的一个或多个点中的每个点与物体中的位置或其面上的位置对应。即,如果每个点之间的平均间隔减小并且点数增加,那么点分辨率可以更高。并且,点分辨率变得越高,信息可以越准确(例如,空间信息、时间信息等等)。
在步骤3704中,处理器(例如,处理器118)可以控制至少一个光源(例如,光源112),使得供给第一扇区的光通量与供给第三扇区的光通量基本相同,并且供给第二扇区的光通量水平大于供给第一区域和第三区域的通量。因此,与第二扇区相关联的检测范围可以比与第一扇区相关联的检测范围或与第三扇区相关联的检测范围延伸至少50%远。在步骤3705中,处理器(例如,处理器118)可以基于来自至少一个传感器(例如,传感器116)的输入,以高于由第一扇区或第三扇区中任一个提供的点分辨率的点分辨率,在第二扇区中检测物体。在步骤3706中,处理器(例如,处理器118)可以使用第二点分辨率在第二扇区中检测物体,该第二点分辨率在每个点之间的平均间隔比与第一扇区和第三扇区相关联的点分辨率下的点之间的平均间隔的大约50%要小。例如,当期望第二扇区中的更准确信息时,至少一个处理器可以通过减小与第二扇区相关联的点分辨率下的每个点之间的平均间隔,来增强点分辨率。在步骤3707中,处理器(例如,处理器118)可以基于来自至少一个传感器(例如,传感器116)的输入,来在第二扇区中检测物体。
以不同的速率并行捕获激光雷达帧
图38是图示激光雷达系统3800的视场3802的图。激光雷达系统3800可以如上面参考激光雷达系统100所描述的那样操作。在一些实施例中,激光雷达系统3800包括一个或多个处理器,其被配置为以使得光通量在对视场3802进行多个扫描时变化的方式来控制一个或多个光源。视场的每个扫描可以产生捕获的帧。每个帧可以包括视场的、在扫描期间对其引导了且收集了光的每个区域的传感器输出信息。视场可以包括近场部分3804和远场部分3806。在一些情况下,捕获的帧可以以近场部分中物体的检测为目标。在其它情况下,捕获的帧可以以远场部分中物体的检测为目标。如下面更详细讨论的,与针对FOV的远场部分的扫描(以及相关联的捕获帧)相比,针对近场的扫描(以及相关联的捕获帧)可以涉及更低的光通量和更快的扫描速率。
如前所述,处理器可以控制一个或多个光偏转器以偏转来自光源的光,以扫描视场3802。例如,控制器118可以控制一个或多个偏转器的移动,以提供期望的扫描速率。处理器可以对与覆盖视场的近场部分3804的扫描周期相关联的帧,实施近场扫描速率。处理器118可以对与覆盖视场的远场部分3806的扫描周期相关联的帧,实施远场扫描速率。
在用于捕获一个或多个对应帧的一个或多个扫描期间,处理器118可以以使得能够在视场的近场部分3804中检测到物体的方式控制光源。例如,处理器118可以使光源发射一定量的光通量、发射一定功率电平的光等等,其适于检测近场中的物体(例如,距离小于50米的物体、距离小于100米的物体等等)。在其它时间,处理器118可以控制光源,使得以使得能够在远场部分3806中检测到物体的方式发射光。例如,在捕获与远场中的检测相关联的帧时,可以使光源供给更高量的通量、更高功率电平的光等等,以便增加激光雷达对更远距离处的物体、对反射率较低的物体等等的灵敏度。应当注意的是,光通量的这种增加同样可以使得能够在近场中检测到物体(包括相对于其它物体具有较低反射率的物体)。
在一些情况下,诸如当激光雷达系统3800与车辆相关联时,当物体更靠近激光雷达系统时,与物体离得更远离的情况相比,可能有更少的时间来对检测到的物体作出反应。因此,在一些实施例中,近场扫描速率可以大于用于获取集中在远场的帧的扫描速率,在远场处反应时间可以更长。在一些实施例中,近场扫描速率可以比远场扫描速率快至少五倍。例如,在一个示例实施例中,用于视场的近场部分3802的扫描速率可以是每秒25帧,而用于视场的远场部分3804的扫描速率可以是每秒5帧。更快的扫描速率可以在短时间段内提供增加的反馈,并且可以允许激光雷达系统以足够的时间来检测近场物体,以对检测到的近场物体作出反应(例如,通过自主或半自主驾驶系统;驾驶辅助系统;导航系统等等的反应)。远场检测可以要求比近场检测更大量的光能(例如,由于更高的光通量水平、更高的光源功率电平等等)。与以较高的扫描速率对远场区域扫描相比,调节远场检测的扫描速率(例如,通过相对于可以聚焦在近场检测的其它扫描而降低FOV扫描速率)可以提供降低激光雷达系统的功耗的益处。
激光雷达视场的近场部分中的物体可以包括位于相对靠近激光雷达系统的物体。例如,在一些实施例中,近场物体可以指位于距激光雷达系统小于50米的物体。类似地,远场物体可以包括位于比近场物体更大距离处的物体。例如,在一些实施例中,远场物体可以包括位于距激光雷达系统超过100米的物体。在一些实施例中,视场的近场部分中的物体可以距激光雷达系统小于100米。在一些实施例中,视场的远场部分中的物体可以距激光雷达系统超过50米。例如,在一个说明性实施例中,激光雷达系统3800可以在第一帧中检测到停在近场(例如,30米远)中的路缘处的第一小汽车。激光雷达系统3800还可以在第二帧中检测到停在路缘处的第一小汽车和远场(例如,200米远)中的前方车道中的第二小汽车。换句话说,在一些实施例中,除了远场信息之外,远场帧还可以提供近场信息,使得接收到的关于近场的信息的速率可以不被中断。
在一些实施例中,与远场帧相关联的激光雷达系统的检测距离可以比与近场帧相关联的检测距离延伸至少50%远。在一些实施例中,与近场帧和远场帧相关联的检测距离可以是可调节的,例如,通过调节光通量/光能水平来调节。与近场检测相比,远场检测可以要求更多的功率,因为可能要求更多的光以从远场搜集物体信息。如上所述,可以通过降低用于与远场检测相关联的帧获取的帧扫描速率,来减轻来自远场检测的增加的功耗。
处理器可以控制一个或多个光偏转器在扫描周期期间位于多个不同的瞬时位置。在一些实施例中,可以协调至少一个光偏转器114和至少一个光源112,使得光偏转器处于将由光源生成的光束的一部分偏转到视场中的物体并将来自物体的反射朝着一个或多个传感器偏转的位置。在一些实施例中,一个或多个光源可以朝着光偏转器中的公共区域瞄准,使得处理器可以控制偏转器,以将来自光源的光朝着视场的一个或多个独立区域投射。
在一些实施例中,处理器可以控制一个或多个光源,以在给定帧中提供特定空间光分布并在一个或多个后续帧中提供不同的空间光分布。此外,处理器可以控制光源以使用某个光分布方案用于近场帧以及使用不同的光分布方案用于远场帧。例如,如图39中所示,根据远场光分布方案,光可以朝着远场3904中的位于地平线附近的区域发射。并且根据近场光分布方案,可以在近场3906中朝着地平线发射较少的光。通过将发射光集中于远场地平线上,激光雷达系统可以在远场中检测到物体,同时节省资源以在近场的更大部分中扫描物体。可以不需要确定或检测关于远场中的物体的性质、尺寸或其它特性的信息,直到检测到的物体相对于激光雷达系统处于更近的距离。
在一些实施例中,处理器可以从与帧相关联的一个或多个传感器接收信息,以检测位于远场中的(一个或多个)物体。在一些实施例中,在某个帧中,处理器可以从传感器接收指示一个或多个物体位于远场中和/或一个或多个物体位于视场的近场部分中的信息。
在一些实施例中,与远场相关联的所获取帧的分辨率可以低于与近场相关联的帧的分辨率。虽然这种分辨率的各种表达是可能的,但是在一个示例中,近场帧中的点之间的平均间距可以比远场帧中的点之间的平均间距的大约75%要小。要注意的是,加以必要的变更后,可以使用帧之间的类似的区分方案,其中以第一帧速率获取高分辨率帧,并且以第二更高帧速率获取低分辨率帧。
在一些实施例中,可以取决于包含激光雷达系统的车辆的驾驶模式,来实施近场扫描速率和/或远场扫描速率。例如,与在农村道路上驾驶的车辆相比,在城市中驾驶的车辆可以受益于对近场扫描的重视。在其它实施例中,可以取决于车辆速度,实施近场扫描速率和/或远场扫描速率。例如,随着车速减慢,可以减小与远场和近场中的任一个或两者相关联的扫描速率。类似地,随着车辆速度增加,与远场和近场中的任一个或两者相关联的扫描速率可以增加。
图40A是用于从激光雷达系统发射光的示例性处理4000的流程图。在步骤4010中,光源将光发射到视场的近场部分的一个或多个区域。如果物体存在于近场中,那么光可以从物体反射出并在步骤4020中由激光雷达系统的一个或多个传感器检测到。步骤4010和4020的组合可以形成一个扫描周期。在一些实施例中,步骤4010和4020的序列可以作为单个扫描周期的一部分重复一次或多次。
在下一个扫描周期的开始,在步骤4030,可以以远场扫描速率从光源发射光。如果物体存在于远场中,那么光可以从物体反射出并在步骤4040中由激光雷达系统的一个或多个传感器检测到。步骤4030和4040的组合可以形成另一个扫描周期。在一些实施例中,步骤4030和4040的序列可以作为单个扫描周期的一部分重复一次或多次。在完成步骤4010-4040之后,扫描周期的序列可以从步骤4010重新开始。
图40B是用于从激光雷达系统100发射光的另一个示例性处理的流程图。在步骤4502,处理器118可以确定当前FOV帧是否匹配或以其它方式被指定有指定为远场扫描速率的扫描速率。如果是,那么在步骤4506,处理器118可以根据远场照明方案来控制光源112和偏转器114。如果不是,那么在步骤4504,处理器118可以根据近场照明方案来控制光源112和偏转器114。在步骤4508,可以获取反射光。在步骤4510,可以分析检测到的光,并且在步骤4512,可以基于检测到的光反射为FOV生成3D深度图表示。
基于驾驶环境的动态操作模式
在具有与本公开实施例一致的激光雷达系统的车辆中,驾驶环境可以在整个驾驶过程中改变。例如,车辆可以在城市(或郊区)环境中开始,并且在旅行期间移动到农村环境。其它驾驶环境可能包括停车场、交通拥堵、隧道、交叉点、桥、州际公路或高速公路等。基于环境的各种指示符(或基于对系统的直接输入),与本公开的实施例一致的激光雷达系统可以调节视场的扫描的一个或多个特性,以应对该环境。例如,激光雷达系统可以调节瞬时检测距离、空间分辨率、时间分辨率、信噪比、跨FOV的通量分布、帧速率、视场的尺寸、视场的纵横比、一个或多个脉冲发送方案等。
因此,本公开的系统和方法可以允许例如响应于确定的驾驶环境,调节视场扫描的一个或多个特性。图41A图示了用于在激光雷达系统中更改检测距离的示例方法4100。虽然图41A的方法4100调节检测距离,但是可以附加地或可替代地调节其它特性,诸如上面讨论的那些特性。方法4100可以由至少一个处理器(例如,如图1A中描绘的激光雷达系统100的处理单元108的处理器118和/或图2A中描绘的激光雷达系统的处理单元108的两个处理器118)来执行。
在步骤4101,处理器118以使得至少一个光源的光通量能够在对视场(例如,图1A和2A的视场120、图42A的视场4203、图42B的视场4207、图42C的视场4211、图42D的视场4215、图42E的视场4215'、图43的视场4311)进行扫描时变化的方式,控制至少一个光源(例如,图1A的光源112、图2A的光源112的激光二极管202、和/或图2B的多个光源102)。例如,处理器118可以改变来自至少一个光源的脉冲的定时。可替代地或并发地,处理器118可以改变来自至少一个光源的脉冲的长度。作为另一个示例,处理器118可以可替代地或并发地改变来自至少一个光源的脉冲的尺寸(例如,长度或宽度或以其它方式改变横截面积)。在又一个示例中,处理器118可以可替代地或并发地改变来自至少一个光源的脉冲的振幅和/或频率。
在步骤4103,处理器118控制至少一个光偏转器(例如,图1A的光偏转器114、图2A的偏转器114A和/或偏转器114B、和/或图2B的单向偏转器216),以偏转来自至少一个光源的光,以便扫描视场。例如,处理器118可以造成至少一个光偏转器的机械移动,以扫描视场。可替代地或并发地,处理器118可以在至少一个偏转器中诱发压电或热电变化,以扫描视场。可替代地或并发地,处理器118可以通过修改光学相控阵(OPA)的不同发射源的相对振幅、相位或其它信号特点,来诱发OPA光源的转向。可替代地或并发地,处理器118可以诱发垂直腔表面发射激光器(VCSEL)阵列的有源光发射器的改变。
在一些实施例中,视场(例如,图42D的视场4215、图42E的视场4215'、图43的视场4311)可以包括多个部分(例如,第一部分和第二部分)。例如,这些部分可以包括被视场覆盖的范围的一半、四分之一或其它分数。在其它示例中,这些部分可以包括被视场覆盖的范围的不规则部分,而不是对称部分和/或分数部分。还有在其它示例中,这些部分可以包括被视场覆盖的范围的不连续部分。
在一些实施例中,处理器118可以控制至少一个光偏转器,使得在单个扫描周期期间,至少一个光偏转器位于多个不同的瞬时位置(例如,偏转器被控制,使得偏转器在激光雷达FOV的扫描期间从一个瞬时位置或通过其移动到另一个瞬时位置)。例如,在扫描周期期间,至少一个光偏转器可以从多个位置中的一个位置连续地或非连续地移动到另一个位置(可选地带有附加位置和/或重复)。
在这样的实施例中,处理器118可以协调至少一个光偏转器和至少一个光源,使得当至少一个光偏转器位于特定的瞬时位置时,光束的一部分被至少一个光偏转器从至少一个光源朝着视场中的物体偏转,并且光束的该部分的反射从物体朝着至少一个传感器偏转。因而,至少一个光偏转器可以将光束的一部分朝着视场引导,并且还接收来自视场的反射。例如,图1A、2B和2C描绘了这样的示例,其中偏转器既将光束的一部分朝着视场引导,又接收来自视场的反射。在其它实施例中,来自至少一个光源的光束的一部分可以被至少一个光偏转器朝着视场引导,该至少一个光偏转器与接收来自视场的反射的至少一个其它光偏转器分离。例如,图2A描绘了这样的示例,其中一个偏转器将光束的一部分朝着视场引导,并且分离的偏转器接收来自视场的反射。在一些实施例中,至少一个偏转器可以包括用于(发送)的第一组一个或多个偏转器和用于(接收)的第二组一个或多个偏转器,它们可以彼此不同。
在一些实施例中,至少一个光源可以包括瞄准至少一个光偏转器的公共区域的多个光源。在这样的实施例中,处理器118可以控制至少一个光偏转器,使得当至少一个光偏转器位于特定的瞬时位置时,来自多个光源的光朝着形成视场的多个独立区域被投射。在下面讨论的图43中描绘了这种实施例的示例。
在步骤4105,处理器118接收指示车辆的当前驾驶环境的输入。例如,处理器118可以接收包括农村相关的指示和城市相关的指示中的至少一个的输入。作为另一个示例,处理器118可以接收包括农村相关的指示、城市相关的指示、与光条件相关联的信息、与天气条件相关联的信息、以及与车辆的速度相关联的信息中的至少一个的输入。
在一些实施例中,处理器118可以从处理器118自身执行的确定,接收输入。在这种示例中,处理器118可以基于来自视场的一个或多个先前(和/或当前)扫描的信息,来确定当前驾驶环境。例如,处理器可以基于紧邻车辆的多个车辆和/或建筑物的存在,来确定当前驾驶环境是城市。作为另一个示例,处理器可以基于多棵树和/或开阔陆地的存在,来确定当前驾驶环境是农村。处理器118可以可替代地或并发地,基于车辆的速度和/或基于地图信息(其可以被存储或接收并且可以包括更新后的交通信息),来确定当前驾驶环境。例如,处理器118可以基于车辆的持续高速和/或基于车辆的位置与已知的州际公路或高速公路对准,来确定当前驾驶环境是州际公路或高速公路。作为另一个示例,处理器118可以基于车辆以持续低速频繁停止和/或基于已知的交通信息,来确定当前驾驶环境是交通拥堵。
可替代地或并发地,处理器118可以从主处理单元(例如,与处理器118一起位于车辆中的中央计算机)接收输入。中央计算机可以使用上面关于处理器118描述的技术,来确定当前驾驶环境。类似地,处理器118可以附加地或可替代地从远程系统接收输入。例如,处理器118可以从天气服务器或其它更新后的天气信息的源,接收天气的指示。类似地,处理器118可以从交通服务器或其它更新后的交通信息的源,接收交通的指示。
在一些实施例中,处理器118可以从GPS、车辆导航系统、车辆控制器、雷达、激光雷达和相机中的至少一个,接收指示当前驾驶环境的输入。例如,如上面所解释的,处理器118可以使用由GPS和/或车辆导航系统结合地图和/或交通信息确定的车辆位置,来导出当前驾驶环境。在这样的示例中,处理器118可以将车辆的GPS位置与地图对准以确定车辆在州际公路上,或者可以将车辆的GPS位置与交通信息对准以确定车辆处于交通拥堵中。类似地,处理器118可以使用来自车辆控制器的速度、航向等来导出当前驾驶环境,如上面所解释的。附加地或可替代地,处理器118可以使用来自雷达、激光雷达和/或相机的信息,来导出当前驾驶环境。例如,处理器118可以使用雷达、激光雷达和/或相机来识别一个或多个物体(诸如田地、树、建筑物、隔离带等),并使用识别出的物体来导出当前驾驶环境。
在步骤4107,基于当前检测出或推断的驾驶环境,处理器118可以协调至少一个光源的控制与至少一个光偏转器的控制,以通过改变跨视场的扫描的投射的光量和光的空间光分布,来动态地调节瞬时检测距离。例如,处理器118可以增加投射的光量和/或减小光的空间分布,以增加瞬时检测距离。作为另一个示例,处理器118可以减少投射的光量和/或增加光的空间分布,以减小瞬时检测距离。例如,处理器118可以确定车辆何时离开隧道并协调至少一个光源和至少一个光偏转器的控制,以便与当车辆在隧道中时在至少一个部分中曾使用的光发射相比,增加视场的至少一部分中的光发射,如图42D和42E的示例中所描绘的。
处理器118可以通过改变来自至少一个光源的脉冲长度、来自至少一个光源的脉冲的振幅和/或频率等,来改变跨视场的扫描的投射的光量。附加地或可替代地,处理器118可以通过改变至少一个光偏转器的强度(在例如其中至少一个光偏转器是压电的或热电的实施例中)、至少一个光偏转器的反射角(例如,导致来自至少一个光源的光束的更多或更少的扩散)等等,来改变跨视场的扫描的光的空间光分布。
处理器118可以基于当前驾驶环境对瞬时检测距离进行动态调节。例如,处理器118可以增加农村环境中的检测距离。农村环境可以具有比在城市环境中更稀疏的物体,因此,更长的检测距离可以补偿增加的稀疏性。作为另一个示例,处理器118可以减少交通拥堵中的检测距离。交通拥堵可以导致显著更慢的速度以及更频繁和突然的停止,从而使得更远离的物体的检测不那么重要。可以简单地保存未花费在较长检测范围上的能量,或者可以将该能量用于改进其它检测特点,诸如分辨率、帧速率、SNR等等。
在步骤4107,处理器118可以附加地或可替代地调节激光雷达系统的其它特性。例如,处理器118可以协调至少一个光源的控制和至少一个光偏转器的控制,以通过改变跨视场的扫描的投射的光量和光的空间光分布,来动态地调节扫描速率。在这种示例中,处理器118可以增加城市环境中的扫描速率。城市环境可以具有大量正在移动的其它车辆和行人,因此,更快的扫描速率可以允许对事件的更早检测,所述事件诸如其它车辆正在车辆前方停车以及行人进入道路的移动。作为另一个示例,处理器118可以降低农村环境中的扫描速率。与城市环境相比,农村环境可以具有更少的其它车辆和更少的行人,从而降低了对快速扫描速率的需要。因而,处理器118可以确定车辆何时处于城市地区,并且协调至少一个光源和至少一个光偏转器的控制,以便与在非城区中使用的扫描周期速率相比,导致扫描周期速率增加。
在另一个示例中,处理器118可以协调至少一个光源的控制与至少一个光偏转器的控制,以通过改变跨视场的扫描的投射的光量和光的空间光分布,来动态地调节空间分辨率。在这种示例中,处理器118可以增加雨中的空间分辨率。城市环境可以具有比在乡村环境中更密集的物体,因此,更大的空间分辨率可以补偿增加的密度。作为另一个示例,处理器118可以降低隧道中的扫描速率。除了车辆前方的其它车辆之外,隧道可以具有很少的细节,从而减少了对高分辨率的需要。
在又一个示例中,处理器118可以协调至少一个光源的控制与至少一个光偏转器的控制,以通过改变跨视场的扫描的投射的光量和光的空间光分布,来动态地调节时间分辨率。在这种示例中,处理器118可以增加城市环境中的时间分辨率。城市环境可以有大量正在移动的其它车辆和行人,因此,更大的时间分辨率可以允许更详细地监视其它车辆和行人的移动。作为另一个示例,处理器118可以降低农村环境中的时间分辨率。与城市环境相比,农村环境可以有更少的其它车辆和更少的行人,从而减少了对详细监视的需要。
在又另一个示例中,处理器118可以协调至少一个光源的控制与至少一个光偏转器的控制,以通过改变跨视场的扫描的投射的光量和光的空间光分布,来动态地调节信噪比。在这种示例中,处理器118可以增加雨中的信噪比。雨可以通过增加视场中的反射的量而增加环境内的噪声,因此,更高的信噪比可以减少增加的噪声的影响。作为另一个示例,处理器118可以降低夜间的信噪比。噪声可以在夜间降低,从而减少了对获得更强信号以区分于噪声的需要。
在附加的示例中,处理器118可以协调至少一个光源的控制与至少一个光偏转器的控制,以通过改变跨视场的扫描的投射的光量和光的空间光分布,来动态地调节视场的尺寸。在这种示例中,处理器118可以减小农村环境中的视场的尺寸。农村环境可以具有带有较少车道的道路,从而减少了对更大视场的需要。作为另一个示例,处理器118可以增加州际公路上的视场的尺寸。州际公路可以具有大量车道,因此,更大的视场可以允许监视州际公路可以容纳的大量车辆。
在另一个示例中,处理器118可以协调至少一个光源的控制与至少一个光偏转器的控制,以通过改变跨视场的扫描的投射的光量和光的空间光分布,来动态地调节一个或多个脉冲发送方案。例如,一些方案可以或多或少地受噪声和/或环境光的影响。因而,处理器118可以在诸如雨或雪之类的高噪声环境中选择不易受噪声影响的脉冲发送方案,并且可以在诸如城市环境或夜间之类的带有高的环境光的环境中选择不易受环境光影响的脉冲发送方案。
在视场具有多个部分的实施例中,处理器118可以在单个扫描周期中动态地调节瞬时检测距离,使得视场的第一部分中的检测距离从先前的扫描周期增加,而视场的第二部分中的检测距离从先前的扫描周期减小。例如,如果车辆处在交通拥堵但道路的另一侧没有拥堵,那么处理器118可以减小在道路的当前侧上在车辆前方的、视场的一部分中的检测距离,并且增加在车辆旁边并且具有道路的该另一侧的、视场的另一部分中的检测距离。在这种示例中,如果道路的该另一侧的车辆正在侵占(encroach)当前侧,那么包含道路的该另一侧的部分中增加的检测距离可以允许车辆更早地作出反应。而且,在包含当前侧的部分中减小的检测距离可以防止因为交通未在移动而不必要地消耗能量。
类似地,处理器118可以动态地调节扫描的另一个特性,使得视场的第一部分中的特性从先前的扫描周期增加,而视场的第二部分中的特性从先前的扫描周期减小。例如,处理器118可以增加第一部分中的空间分辨率,并减小第二部分中的空间分辨率。在这种示例中,如果车辆在隧道中,那么处理器118可以增大用于前部的空间分辨率,并减小用于侧部的空间分辨率。增加的空间分辨率可以允许更大地跟踪车辆前方的其它车辆的运动,而减小的空间分辨率可以防止在跟踪隧道的墙上不必要地消耗能量。
作为附加的示例,处理器118可以增加第一部分中的时间分辨率,并且减小第二部分中的时间分辨率。在这种示例中,如果车辆在州际公路上,那么处理器118可以增大用于侧部的时间分辨率,并且减小用于前部的时间分辨率。增加的时间分辨率可以允许更加详细地跟踪在相反方向上行驶的其它车辆的运动,如果它们越界进入车辆的车道则可能需要快速响应,而减小的时间分辨率可以防止在跟踪在车辆前方的其它车辆并随之行驶上不必要地消耗能量。
在另一个示例中,处理器118可以增加第一部分中的信噪比,并减小第二部分中的信噪比。在这种示例中,如果车辆处于城市环境中,那么处理器118可以增大用于侧部的信噪比,并减小用于前部的信噪比。增加的信噪比可以补偿来自道路侧面的路灯的环境光,而减小的信噪比可以防止在跟踪车辆前方的其它车辆并随之行驶上不必要地消耗能量。
在还有另一个示例中,处理器118可以增加视场的第一部分的尺寸,并减小视场的第二部分的尺寸。在这种示例中,如果车辆处于农村环境中,那么处理器118可以增加前部中的视场并减小用于侧部的视场。增加的视场可以允许了对迎面而来或前方的车辆的更快的可见性,而减小的视场可以防止在跟踪道路一侧的田地或树上不必要地消耗能量。
在另一个示例中,处理器118可以修改第一部分中的脉冲发送方案,并且不同地修改第二部分中的脉冲发送方案。在这种示例中,如果车辆在夜间处于农村环境中,那么处理器118可以对前部选择使噪声最小化的脉冲发送方案,并且对侧部选择更易受噪声影响的脉冲发送方案。前一种方案可以应对来自迎面而来的车辆的明亮前灯或来自前方车辆的尾灯的噪声,而后一种方案可以防止在使来自道路一侧的物体的已经很小的噪声最小化上不必要地消耗能量。
类似地,在一些实施例中,处理器118可以基于当前驾驶环境,在多个扫描周期中协调至少一个光源和至少一个光偏转器的控制,以动态地调节用于在视场的近场部分中检测物体的第一扫描周期速率和用于在视场的远场部分中检测物体的第二扫描周期速率。例如,处理器118可以相比远场部分中的物体,以更大的速率来扫描近场部分中的物体。这可以允许处理器118相比更远的物体的运动,更精确地跟踪更近的物体的运动。可替代地,处理器118可以相比远场部分中的物体,以更低的速率扫描近场部分中的物体。
方法4100可以包括附加的步骤。例如,方法4100还可以包括在至少一个扫描周期中协调至少一个光源和至少一个光偏转器的控制,以动态地调节与视场的第一部分相关联的瞬时点分辨率。例如,来自至少一个光源的光束可以扩散在更大的范围上以产生跨越更多数量像素的数据,或者可以被收缩到更小的范围中以产生跨更少数量像素的数据。
方法4100还可以包括基于与接收到的指示当前驾驶环境的输入对应的环境类型,来控制至少一个光源。例如,处理器118可以调节至少一个光源的特性,诸如光通量、波长等。在这种示例中,处理器118可以在夜间选择比在白天期间更低的波长,或者可以在农村环境中选择比城市环境更大的强度。
方法4100还可以包括基于当前驾驶环境,调节至少一个传感器的灵敏度模式。例如,处理器118可以确定车辆何时在雨中驾驶,并调节与来自至少一个传感器的输出相关联的灵敏度模式以排除掉(dismiss)雨滴的反射。如上面更详细地讨论的,可以通过修改传感器参数(例如,操作电压)、检测路径参数(例如,信号放大水平、ADC参数)、或甚至处理器参数(例如,处理器应用的阈值或决策规则),来实现传感器灵敏度的修改。
图41B图示了用于更改激光雷达系统中的检测距离的示例方法4100'。方法4100'可以由至少一个处理器(例如,图1A中描绘的激光雷达系统100的处理单元108的处理器118和/或图2A中描绘的激光雷达系统的处理单元108的两个处理器118)执行。
图41B的方法4100'的步骤4101、4103和4105与图41A的方法4100的步骤4101、4103和4105相同。因而,这里将不再重复它们的描述。
在步骤4107,基于当前检测到或推断的驾驶环境,处理器118可以协调至少一个光源的控制和至少一个光偏转器的控制,以修改检测操作方案。例如,如上面参考图17所解释的,处理器118可以更改至少一个传感器和/或处理器118的操作参数。例如,在这种情况下更改操作参数可以将检测的灵敏度改变为由至少一个传感器获取的信号电平和/或噪声电平。例如,处理器118可以通过改变后卷积阈值来更改传感器灵敏度,如上面参考图17所讨论的。但是,至少一个传感器和/或处理器118的其它操作参数可以附加地或可替代地由处理器118更改。
在图42A-42E中描绘了不同驾驶环境的示例。在图42A的示例中,车辆4201可以包括车辆主体和位于车辆主体内的至少一个处理器。至少一个处理器可以执行图41的方法4100或其变体。在图42A的示例中,车辆4201正在城市环境中驾驶。因而,车辆4201的激光雷达系统可以以较高的帧速率(例如,每秒25帧(FPS)),在中等距离(例如,100米)处,并且以宽的水平视场(例如,320°、340°、360°等等),来扫描视场4203,如图42A中所描绘的。这可以应对与城市环境相关联的中速度、高细节、近处物体、以及可能的快速的条件变化。
在图42B的示例中,车辆4205可以包括车辆主体和位于车辆主体内的至少一个处理器。至少一个处理器可以执行图41的方法4100或其变体。在图42B的示例中,车辆4205在农村环境中驾驶。因而,车辆4205的激光雷达系统可以以中等帧速率(例如,每秒20帧(FPS)),在较大距离(例如,200米)处,并且以中等水平视场(例如,200°、150°、120°等),来扫描视场4207,并且如图42B中所描绘的。在一些实施例中,该范围可以在扫描之间变化,例如,对于大多数扫描而言在100米处扫描,但是在每第五次扫描时在200米处扫描。这样的设置可以应对与农村环境相关联的快速度、低细节、远处物体和较慢的条件变化。
在图42C的示例中,车辆4209可以包括车辆主体和位于车辆主体内的至少一个处理器。至少一个处理器可以执行图41的方法4100或其变体。在图42C的示例中,车辆4209在交通拥堵中驾驶。因而,车辆4209的激光雷达系统可以以中等帧速率(例如,每秒20帧(FPS)),在短距离(例如,75米)处,并且以中等水平视场(例如,200°、150°、120°等等),来扫描视场4211,如图42C中所描绘的。这样的设置可以应对与交通拥堵相关联的低速度、低细节、近处物体以及一般较慢的条件变化。
在图42D的示例中,车辆4213可以包括车辆主体和位于车辆主体内的至少一个处理器。至少一个处理器可以执行图41的方法4100或其变体。在图42D的示例中,车辆4213正在驾驶穿过隧道。因而,车辆421的激光雷达系统可以在区域4217a和4217c中使用与区域4217b中不同的特性,来扫描视场4215。在区域4217a和4217c中,可以使用低的帧速率(例如,每秒10帧(FPS))、短距离(例如,75米)、以及低的空间和/或时间分辨率,来应对跟踪隧道的墙的不必要性。另一方面,在区域4217b中,可以使用中等帧速率(例如,每秒20帧(FPS))、中等距离(例如,100米)、以及中等空间和/或时间分辨率,来跟踪车辆4213前方另一个车辆的可能的突然停止。可替代地,如图42D中所描绘的,可以不扫描区域4217a和4217c(如由“X”所描绘的),而扫描区域4217b。
在图42E的示例中,车辆4213现在正离开隧道。因而,车辆4213的激光雷达系统可以在区域4217a'和4217c'中使用与先前在区域4217a和4217c中曾使用的特性不同的特性,来扫描视场4215'。例如,可以增加帧速率、检测距离、和/或空间和/或时间分辨率,以应对在那些区域中跟踪可能的物体的必要性。另一方面,区域4217b'中的帧速率、检测距离、和/或空间和/或时间分辨率可以保持与区域4217b中使用的相同。可替代地,现在除了区域4217b之外还可以扫描区域4217a和4217c,或者利用相同的特性(如图42E中所描绘的)或者利用不同的特性。
图42F分别描绘了图42A、42B和42C的车辆4201、4205和4209,以及它们对应的视场4203、4207和4211。如图42F中所描绘的,用于城市环境中的车辆4201的视场4203具有中等的检测距离和宽的水平视场。如图42F中进一步描绘的,用于农村环境中的车辆4205的视场4207具有比视场4203(在城市环境中)更大的检测距离,但是与视场4203(在城市环境中)相比具有中等的水平视场。如图42F中进一步描绘的,用于交通拥堵中的车辆4209的视场4211具有比视场4203(在城市环境中)更短的检测距离,但是也具有宽的水平视场(例如,类似于城市环境中的视场4203)。
图42A-42F中未描绘的附加驾驶环境可以导致激光雷达系统的一个或多个特性的调节。例如,在雨中,与本公开的实施例一致的激光雷达系统可以以更高的帧速率(例如,每秒25帧(FPS))和更高的空间和/或时间分辨率扫描视场,以适应每帧中更大的噪声和失真的细节。
图43是图示示例激光雷达系统4300的图,该系统具有瞄准至少一个光偏转器的公共区域的多个光源。如图43中所描绘的,来自多个光源的光可以照射在至少一个光偏转器的重叠区域上。附加地或可替代地,源自多个光源并从场景反射回来的光可以照射在至少一个光偏转器的重叠区域上。如图43中所描绘的,系统4300包括处理单元(例如,至少一个处理器4301)以及多个光源(例如,光源4303a、4303b和4303c)。多个光源4303a、4303b和4303c可以发射对应的多个光束(例如,光束4305a、4305b和4305c)。
在图43的实施例中,激光雷达系统4300包括具有公共区域4307的至少一个偏转器4309。至少一个偏转器4309可以例如在扫描周期期间处于特定的瞬时位置。多个光源4303a、4303b和4303c可以瞄准公共区域4307,因此将多个对应的光束4305a、4305b和4305c引导到其。公共区域4307可以将多个光束4305a、4305b和4305c投射到视场4311。在图43的实施例中,公共区域4307可以将多个光束4305a、4305b和4305c朝着形成视场4311的多个独立区域(例如,区域4313a、4313b和4313c)投射。多个光束4305a、4305b和4305c导致来自视场4311(或来自其中的物体)的多个对应的反射4315a、4315b和4315c。
此外,在图43的示例中,用于多个区域4313a、4313b和4313c的扫描速率可以不同。例如,如图43中所描绘的,用于区域4313a的扫描速率可以慢于区域4313b的扫描速率,而区域4313c的扫描速率可以快于区域4313b的扫描速率。
在其它实施例中,扫描的附加或可替代特性可以在多个区域4313a、4313b和4313c之间不同。例如,瞬时检测距离、空间分辨率、时间分辨率、信噪比、视场的尺寸、一个或多个脉冲发送方案等可以在多个区域4313a、4313b和4313c之间独立地或组合地不同。
在图43的示例中,光束4305a、4305b和4305c以及对应的反射4315a、4315b和4315c两者均击中至少一个偏转器4309的公共区域4307。但是,在其它实施例中,光束4305a、4305b和4305c可以由一个或多个偏转器投射,该一个或多个偏转器与对对应的反射4315a、4315b和4315c进行反射的那些偏转器不同。
如图43的示例中进一步描绘的,每个反射4315a、4315b和4315c被引导到对应的至少一个偏转器和传感器(例如,与传感器4319a、4319b和4319c对应地耦合的偏转器4317a、4317b和4317c)。但是,在其它实施例中,可以省略任何附加的偏转器。此外,在其它实施例中,多于一个反射可以被引导到单个传感器。
用于跨交通转弯的激光雷达检测方案
跨车道转弯可以存在某些挑战。例如,在具有迎面而来的车辆、自行车和行人的繁忙交通中,沿着跨过一个或多个交通车道的路径(例如,在美国的交叉路口左转、或在英格兰的交叉路口右转等)导航车辆会是困难的。人类驾驶员可以进入交叉路口并等待机会加速并执行有风险的跨车道转弯。对于自主或半自主车辆,可以存在相似的挑战。
为了帮助导航过包括跨过交通车道的交叉路口或其它道路情形,激光雷达系统100可以被配置为,与激光雷达FOV的其它区域相比,相对于激光雷达FOV的某些区域更改系统的一个或多个操作特点。例如,在与本公开的实施例一致的激光雷达系统中,激光雷达FOV的某个区域的检测范围(例如,FOV的、与要被跨过的车道重叠的一部分)可以相对于激光雷达FOV的一个或多个其它区域增加。例如,在一个示例中,如果车辆(自主的或其它)正试图跨至少一个交通车道进行左转弯,那么与激光雷达FOV的、与要被跨过的车道重叠的一个或多个区域(例如,一般在FOV的右半部分,其可以与面向要被跨过的车道的迎面而来的交通的、车辆的右前四分之一对应)相关联的检测范围可以被扩展到超过FOV的其它区域(例如,一般在FOV的左半部分,其可以与不面向要被跨过的车道的迎面而来的交通的、车辆的左前方四分之一对应)相关联的检测范围。应当注意的是,激光雷达FOV可以包括多个扫描区域的集合,无论是否是连续的。例如,在一些实施例中,激光雷达FOV可以由重叠连续范围的立体角值的多个部分组成。在其它实施例中,激光雷达FOV可以是多个非重叠或部分重叠的立体角范围的集合,每个立体角范围被在不同方向上延伸的轴平分(例如,如图45中所示)。以这种方式,激光雷达系统100可以更好地能够检测迎面而来的车辆,并且生成与要被跨过的车道相关联的更高分辨率的深度图。
本公开的系统和方法可以允许在与车辆的跨车道转弯的方向相反的方向上的检测范围(例如,当跨车道转弯的方向是向左时,与FOV的右半部分上的FOV的一个或多个区域相关联的检测范围)暂时地超过朝着跨车道转弯的方向的检测范围。可以例如通过协调至少一个光源的控制与至少一个光偏转器的控制,相对于视场的其它部分,在车辆的与跨车道转弯的方向相反并且涵盖车辆正在并入的远处交通车道的一侧上增加光通量,来进行检测范围的这种改变。
图44图示了用于跨交通转弯的激光雷达检测方案的示例方法4400。方法4400可以由至少一个处理器(例如,如图1A中所描绘的激光雷达系统100的处理单元108的处理器118和/或图2A中描绘的激光雷达系统的处理单元108的两个处理器118)来执行。在步骤4401,处理器118以使得来自至少一个光源的光的光通量能够在视场(例如,图1A和2A的视场120)的扫描周期内变化的方式,控制至少一个光源(例如,图1A的光源112、图2A的光源112的激光二极管202和/或图2B的多个光源102)。例如,处理器118可以改变来自至少一个光源的脉冲的定时。可替代地或并发地,处理器118可以改变来自至少一个光源的脉冲的长度。作为另一个示例,处理器118可以可替代地或并发地改变来自至少一个光源的脉冲的尺寸(例如,长度或宽度或以其它方式改变横截面积)。在又一个示例中,处理器118可以可替代地或并发地改变来自至少一个光源的脉冲的振幅和/或频率。
步骤4402还可以包括处理器118控制至少一个偏转器(例如,图1A的光偏转器114、图2A的偏转器114A和/或偏转器114B、和/或图2B的单向偏转器216),以偏转来自至少一个光源的光,以便扫描视场。例如,处理器118可以导致至少一个光偏转器的机械移动,以扫描视场。可替代地或并发地,处理器118可以在至少一个偏转器中诱发压电或热电变化,以扫描视场。
在一些实施例中,视场的单个扫描周期可以包括移动至少一个偏转器,使得在该扫描周期期间,至少一个光偏转器位于多个不同的瞬时位置(例如,偏转器被控制,使得偏转器在激光雷达FOV的扫描期间从一个瞬时位置或通过其移动到另一个瞬时位置)。例如,在扫描周期期间,至少一个光偏转器可以从多个位置中的一个位置连续地或非连续地移动到另一个位置(可选地带有附加位置和/或重复)。
在这样的实施例中,处理器118可以协调至少一个光偏转器和至少一个光源,使得当至少一个光偏转器位于特定的瞬时位置时,光束被至少一个光偏转器从至少一个光源朝着视场偏转,并且来自视场中的物体的反射被至少一个光偏转器朝着至少一个传感器偏转。因而,至少一个光偏转器可以将光束朝着视场引导,并且还接收来自视场的反射。例如,图1A、2B和2C描绘了这样的示例,其中偏转器既将光束朝着视场引导,又接收来自视场的反射。在其它实施例中,来自至少一个光源的光束可以被至少一个光偏转器朝着视场被引导,该至少一个光偏转器与接收来自视场的反射的至少一个其它光偏转器分离。例如,图2A描绘了这样的示例,其中一个偏转器将光束朝着视场引导,并且分离的偏转器接收来自视场的反射。
在步骤4403,处理器118获得指示车辆的即将发生的跨车道转弯的输入。下面参考图45和46讨论跨车道转弯技术的示例。
在步骤4404,响应于指示即将发生的跨车道转弯的输入,处理器118可以协调至少一个光源的控制与至少一个光偏转器的控制,以相对于视场的其它部分,在车辆的与跨车道转弯的方向相反并且涵盖车辆正在并入的远处交通车道的一侧(即,方向、角度、感兴趣区域,而不是车辆的一部分)上增加光通量,并且使得与车辆的跨车道转弯的方向相反的检测范围暂时超过朝着跨车道转弯的方向的检测范围。
在一些实施例中,处理器118可以控制一个光源或一个光偏转器,以相对于视场的其它部分,在车辆的与跨车道转弯的方向相反并且涵盖车辆正在并入的远处交通车道的一侧上增加光通量。例如,如果偏转器(例如,图1A的光偏转器114、图2A的偏转器114A和/或偏转器114B、和/或图2B的单向偏转器216)根据固定的扫描时间表而继续扫描,那么光源112的参数可以被改变,以便改变激光雷达FOV的、在其中可以找到要被跨车道转弯跨过的一个或多个交通车道中的物体(例如,车辆)的区域中的检测范围。这种FOV的、在其中可以增加检测范围(单独地或合计地)的区域可以被称为感兴趣区域。
在一些实施例中,感兴趣区域中的检测范围可以高于FOV的感兴趣区域外的区域中的检测范围。可以实现任何合适的检测范围比。在一些实施例中,感兴趣区域中的检测范围可以是感兴趣区域外的检测范围的至少两倍。在车辆进行跨车道转弯的上下文中的特定示例中,处理器118可以在与感兴趣区域(例如,激光雷达FOV的与跨车道重叠的特定部分)对应的方向上在范围X处检测到车辆,并且可以能够在激光雷达FOV的不在感兴趣区域中的区域(例如,不与跨车道重叠)中仅在X/2或更小的范围处检测到车辆。例如,如果自主车辆准备、发起和/或进行左转,那么感兴趣区域可以在激光雷达FOV的右半部分中,该部分可以涵盖车辆右侧的至少一部分。在一些情况下,激光雷达FOV的与紧邻车辆前方的区域重叠的区域可以落在感兴趣区域之外。附加地或可替代地,可以跨不同的片段提供激光雷达系统FOV,例如,每个片段潜在地被引导到车辆周围的不同区。在这种情况下,激光雷达FOV的感兴趣区域可以驻留在车辆的乘客侧、车辆的驾驶员侧、车辆的后部、在相对于车辆的任何四等分方向上(例如,在通过车辆的纵轴和横轴之间)。处理器118可以以增加感兴趣区域中的检测范围并相对于激光雷达FOV的较低兴趣的区域保存资源的方式,控制光源112(包括影响光输出的其任何可控参数)和偏转器114、以及激光雷达系统100的其它部件。
方法4400可以包括附加的步骤。例如,方法4400还可以包括控制光偏转器,使得在视场的扫描周期期间,至少一个光偏转器位于多个不同的瞬时位置。可替代地,方法4400还可以包括协调至少一个光偏转器和至少一个光源,使得当光偏转器位于特定的瞬时位置时,光束的一部分被光偏转器从光源朝着视场中的物体偏转,并且光束的该部分从物体的反射被光偏转器朝着至少一个传感器偏转。在一些实施例中,激光雷达系统还可以包括瞄准至少一个光偏转器的多个光源。处理器可以控制光偏转器,使得当光偏转器处于特定的瞬时位置时,来自多个光源的光朝着视场中的多个独立区域投射。
处理器118可以确定主车辆正计划执行跨车道转弯或者已经基于各种源发起了跨车道转弯。例如,在一些实施例中,处理器118可以从车辆的导航系统接收指示即将发生的跨车道转弯的输入。在其它实施例中,处理器118可以从车辆的另一个系统(例如,一个或多个传感器、接通(engaged)的转弯信号、车轮转向方向、GPS传感器等等)或车辆外部的系统(例如,一个或多个自主车辆导航服务器系统、制图系统等等),接收指示即将发生的跨车道转弯的输入。在其它实施例中,处理器118可以基于从至少一个传感器(例如,传感器116)接收的信息,确定指示即将发生的跨车道转弯的输入,该传感器被配置为检测与从至少一个光源投射的光相关联的反射。换句话说,处理器118可以基于激光雷达系统100的传感器116的输出,确定即将发生的或被发起的跨车道转弯。
处理器118可以被配置为确定在要被跨过的车道内检测到的物体的一个或多个特点。在一些情况下,一个或多个特点可以包括到检测到的物体的距离和/或物体的类型(例如,小汽车、卡车、静止物体、行人等等)。在一些实施例中,处理器118还可以确定在跨车道(例如,远处交通车道)中检测到的移动物体的速度、行驶方向(例如,通过监视FOV的两个或更多个扫描内的位置)、或与检测到的物体相关联的任何其它特点。在一些实施例中,处理器118可以监视主车辆的运动特点(例如,速度、加速度、位置等等),并且可以基于主车辆的运动特点和检测到的物体(例如,在跨车道中)的运动特点,来确定主车辆和检测到的物体是否在碰撞路线上。如果是这样,如果主车辆和移动物体被确定为在碰撞路线上,那么处理器118可以触发警报(例如,喇叭轰鸣、视觉警报、向与检测到的物体相关联的控制器的无线通信等等)。在其它实施例中,碰撞路线的确定可以包括其它潜在危险。例如,即使主车辆是静止的,如果例如接近的车辆在主车辆的当前位置或主车辆期望移动的地方对主车辆造成危险,那么也可以对主机发出警报。在一些实施例中,处理器118可以使警报不仅在自主模式下发出(听觉、视觉或其它),而且在其它模式下发出(例如,高级驾驶员辅助系统操作、完全驾驶员控制等等)。
在一些实施例中,处理器118可以生成与激光雷达视场相关联的反射率图像。反射率图像可以包括检测到的移动物体的指纹,该指纹表示从该移动物体的各个部分反射的光量。举例来说,当来自光投射器112的光入射在激光雷达系统100的环境中的物体上时,基于这些物体的反射特点,处理器118可以检测一图案。例如,处理器118可以识别反射率图案或指纹,以便确定与检测到的物体相关联的类型类别(例如,行人、车辆、道路分隔带障碍物等等)。处理器118还可以能够确定与检测到的物体相关联的子类型(例如,检测到的车辆是公共汽车、小型汽车还是货车等等)。每个车辆可以基于其形状和配置(例如,车牌位置和周围轮廓;前灯尺寸、形状、间距和在车辆上的放置等等)表现出不同的反射率指纹。
在一些实施例中,处理器118可以被配置为基于检测到的反射率图案与预定反射率模板之间的比较,来确定检测到的物体的一个或多个状态。例如,在一些实施例中,处理器118可以将相对于检测到的移动物体获取的一个或多个反射率指纹(例如,在多个扫描周期内)与多个预定的/存储的反射率模板进行比较,以确定移动物体是发出右转弯信号的车辆。
处理器118还可以被配置为基于检测到的主车辆进行的操纵,将不同的光通量水平分配给激光雷达FOV的不同区域。例如,在一些实施例中,处理器118可以对于右转应用与左转不同的功率分配方案。例如,取决于光通量的变化,处理器118可以为左转分配与右转不同的功率。相对于图29-31进一步描述了功率预算分配的附加示例。
在其它实施例中,处理器118可以接收指示当前驾驶环境的输入,并且取决于所确定的驾驶环境应用不同的功率分配方案。例如,处理器118可以对农村地区的跨车道转弯应用与城市地区的跨车道转弯不同的功率分配方案。举例来说,在城市地区中,更有可能的是,行人或骑车者可以从车辆的侧面接近主车辆。因而,与更农村的地区相比,在城市地区中可能更需要以比当在农村地区中的更高的精度,在相对于主车辆的一个或多个方向上(例如,驾驶员侧、乘客侧、后方等等)检测物体。相比之下,在农村地区,可以存在更少的行人和其它障碍物。因此,对主车辆周围的高分辨率深度图的需求可以更少,尤其是在靠近主车辆的距离范围处。但是,另一方面,由于各种因素(包括较少的交通),农村环境中的车辆速度往往高于城市地区中的。因此,处理器118可以分配更少的资源来检测紧邻主车辆的物体(例如,在大约40米、20米等等内),而是可以分配更多的资源来检测更远距离的物体。
在一些实施例中,处理器118可以控制至少两个光源和至少两个偏转器,以使得能够扫描与车辆的右侧相关联的第一视场和与车辆的左侧相关联的第二视场。还有在其它实施例中,处理器118可以控制至少一个光源112,使得朝着视场的第一部分(包括车辆正在并入到其上的道路)投射的光量大于提供给视场的第二部分(包括邻近道路的建筑物)的光量。
如前所述,提供给激光雷达FOV的特定部分的光通量的增加可以增强那些区域中的检测能力以及其它能力。可以放大视场(例如,图1A和2A的视场120)。如图2C中所描述的,主光源112A可以投射具有较长波长的光,以便优化检测范围。如图5A中进一步描述的,光脉冲之间的时间可以取决于期望的检测范围。具体而言,在较短的时间段内发送相同量的光脉冲可以增加光通量。如图5C中所述,改变脉冲数或改变脉冲之间的时间量可以不是调节光通量的唯一方式。光通量的改变也可以以其它方式实现,诸如:脉冲持续时间、脉冲角色散、波长、瞬时功率、距光源112不同距离处的光子密度、平均功率、脉冲功率强度、脉冲宽度、脉冲重复率、脉冲序列、脉冲占空比、波长、相位、偏振等。
举例来说,处理器118可以以使得来自至少一个光源的光的光通量在视场(例如,图1A和2A的视场120)的扫描周期内变化的方式,控制至少一个光源(例如,图1A的光源112、图2A的光源112的激光二极管202、和/或图2B的多个光源102)。
图45包括图示激光雷达检测扫描方案的示例的图4500。如图所描绘的,自主车辆4510在道路上从东向西驾驶,接近从西向东驾驶的车辆4530。自主车辆4510可以包括能够朝着车辆4510周围的环境的七个不同区域投射光的激光雷达系统,以提供七个视场(其可以在至少一些部分中重叠)。在一些实施例中,激光雷达系统的每个视场可以与对应的模块相关联,该对应的模块可以是光源112、偏转器114、检测器116和相关的光学部件(例如,透镜等等),但是更多或更少部件是可能的。为简单起见,这些模块中的每一个在这里将被称为透镜系统,作为用于识别不同视场的手段。通过透镜系统,激光雷达系统可以接收来自视场中的物体的反射光。自主车辆4510可以具有与透镜系统4511对应的视场4521(例如,类似于图1A的视场120)、与透镜系统4512对应的视场4522、与透镜系统4513对应的视场4523、与透镜系统4514对应的视场4524、与透镜系统4515对应的视场4525、与透镜系统4516对应的视场4526、以及与透镜系统4517对应的视场4527。
在一个特定示例(未示出)中,激光雷达系统100可以包括“看”向小汽车前方的四个透镜系统。总的来说,四个透镜系统可以使用四个光源覆盖合计的160°视场,每个光源例如经由共享的偏转器来扫描40°的水平视场。在一些实施例中,处理器118可以增加第一光源(与FOV的、跨车道可以位于其中的一部分对应)的光通量,而并发地减少第二光源的光通量(与另一个方向和基本上不与感兴趣区域(诸如跨车道)重叠的FOV部分对应)。两个信号的反射可以照射在公共光偏转器114(例如,反射镜)上。
图46A描绘了图示用于跨交通转弯的激光雷达检测方案的示例的图4600。图45的自主车辆4510可以进入交叉路口以便跨车道转弯。在其它实施例中,自主车辆可以进入T形交叉点、Y形交叉路口或任何其它类型的交叉点/交叉路口进行跨车道转弯。自主车辆4510可以遵循用于跨车道转弯的路径,例如轨迹4620。当自主车辆4510进入交叉路口时(或甚至在之前),处理器118可以增加到由FOV部分4525、4522和4523表示的激光雷达视场的一部分的光通量水平。结果是与那些部分相关联的潜在检测范围可以相对于总激光雷达FOV的其它部分增加。例如,如图所描绘的,FOV部分4522可以具有大于FOV部分4521的检测范围;FOV部分4523可以具有大于4524的检测范围;FOV部分4525(车辆的、面向正被跨的车道的迎面方向的一侧上的部分)可以具有大于FOV部分4526的检测范围,并且还可以具有大于FOV部分4522和4523的检测范围。在一些情况下,FOV部分4525的检测范围可以是其它FOV部分的两倍长以上。如图46A中所描绘的,在车辆右侧的FOV部分4525可以被分配最高光通量并且在向左跨车道转弯期间具有最大检测范围,因为它处于被确定为与感兴趣区域重叠的方向上。车辆左侧的FOV部分4521、4526和4524的检测范围可以相对于它们的缺省值保持不变(例如,如图46A所示的跨车道转弯之前的图45中所示的)。可替代地,投射到车辆左侧的FOV部分4521、4526和4524中的任何一个的光通量可以在跨车道转弯期间相对于它们的缺省值减小。在图46A的跨转弯情形期间捕获自主车辆4510前方的FOV部分4527可以被分配有低于在非跨车道情形下通常会分配给前向FOV部分的水平的光通量水平。例如,如图45中所示,在诸如车辆在道路上以一定速度行驶之类的情形下,FOV部分4527可以被分配较高的光通量值,这进而可以增加FOV部分4527的检测范围。在跨车道情形下可以减小FOV部分4527的光通量水平,因为速度可以低于图45中所示的情形。而且,与图46A的跨车道情形下车辆的前向行驶方向相比,在跨车道情形下车辆的与迎面而来的交通相邻的一侧可以表示较高兴趣区域(例如,从潜在碰撞的角度来看)。当然,由于右转弯(例如,在美国和其它汽车在道路右侧行驶的国家)可以不涉及跨车道情形,因此可能没有必要增加激光雷达系统的驻留在车辆左侧的FOV部分中的光通量。但是,在诸如日本和英国之类的国家中,在右转跨车道情形期间,可以增加供给车辆左侧的FOV部分的光通量。处理器118可以被配备为自动确定主车辆的位置(例如,基于车辆导航系统、GPS传感器等等的输出),并且根据所确定位置的驾驶习惯/道路配置等等,来控制施加到各个FOV部分的光通量。
如图46A中进一步描绘的,处理器118可以在跨车道转弯期间检测到车辆4610,这是由于来自FOV部分4525的扩展的检测范围。举例来说,处理器118可以确定检测到的物体是否是感兴趣的物体,例如,移动的车辆、行人等等。处理器118可以至少基于与检测到的物体相关联的反射率图案,来在建筑物、人行道、停放的车辆、行人和移动的车辆之间区分。因而,处理器118可以将更大级别的资源分配给被确定为包括这种感兴趣的物体(移动的车辆或行人等等)的FOV部分,并且可以通过减少(或不增加)被确定包含建筑物、停放的小汽车或其它静止物体的FOV部分上的资源花费来保存资源。
在一些实施例中,处理器118可以增加供给FOV部分的特定子区域的光通量。例如,在图46A所示的跨车道情形中,移动的小汽车4610可以由处理器118确定为感兴趣的物体。因此,处理器118可以使更多光通量被提供给FOV部分4525的与小汽车4610重叠的子区域。在其它情况下,处理器118还可以增加提供给FOV部分的一个或多个子区域的光水平。例如,在没有检测到物体或者在FOV部分的特定子区域内在超出某个距离外没有检测到物体的情况下,处理器118可以将增加的光通量分配给那些子区域以试图检测更远距离范围处的物体。
图46B提供了用于跨交通转弯的激光雷达检测方案的另一个示例。在这个示例中,车辆4510已接近T形交叉路口并且停止并等待机会向左转入远处车道。在这种情形下,从车辆4510的后部或从车辆4510左侧的大部分遇到物体的风险可能很小。相反,最感兴趣的区域可以是车辆的前方且左方和右方。因此,可以减少对FOV 4526、4524和4523的光投射,因为在这些区中可能不需要长检测范围和/或高分辨率深度制图。在一些实施例中,投射到FOV 4526、4524和4523的光的减少可以释放可以相对于其它视场而被使用的资源。例如,通过减少扫描FOV 4526、4524和4523所需的资源,可以将原本应在较大版本的FOV 4526、4524和4523中检测物体时使用的光发射功率和/或计算资源,重新分配给其它FOV(诸如FOV4521、4522、4527或4525)。
利用可用于增强在重要区域中的检测的更多资源,激光雷达系统100可以增加投射到FOV 4521的光通量的量,以便增加车辆4510的前方且左侧的区域中的检测范围。并且提供给FOV 4521的光通量的增加在FOV的所有区域上不需要是均匀的。而是,如图46B中所示,FOV 4521可以被分段为FOV子区域4680和4682。例如,虽然这两个子区域可以接收比FOV4526更多的光通量,但是在FOV 4526的一个或多个扫描周期期间,子区域4680可以接收比子区域4682更多的光通量。这种FOV扫描方案可以潜在地增加从左侧接近的交通车道中的检测距离。
在图46B中所示的T形交叉路口处进行左转弯时,增强关于从左侧接近车辆4510的车辆的检测能力会是重要的。因此,如上所述,可以向FOV 4521供给更多的光通量,并且如以上所描述的将光通量均匀地或非均匀地分布到其子区域,以增强关于从左侧接近的车辆的检测能力。但是,在图46B所示的情形中,甚至可以更重要的是从右侧接近车辆4510的交通的检测能力。虽然一般而言,可以预期从左侧和右侧接近的交通以相似的速度接近车辆4510,但是与从右侧接近的车辆的相互作用时间可以明显长于从左侧接近的车辆的相互作用时间。例如,为了在所示的T形交叉路口左转,车辆4510可能需要确定是否有任何车辆正在从右侧接近、以及是否在正常加速条件下有足够的时间使车辆4510简单地在左侧接近的车辆前方通过(clear)。一旦通过了那些车辆,车辆4510与左侧接近车辆之间的相互作用就可以结束。
另一方面,假设车辆4510在图示的T形交叉路口向左转弯,那么车辆4510和右侧接近车辆之间的相互作用时间可以更长。例如,车辆4510不仅必须确定是否有足够的时间在右侧接近车辆前方进行导航,而且车辆4510还必须确定是否有足够的时间加速(accelerate up)以在右侧接近车辆前方快速前行(speed)、而不会在车辆4510完成左转弯之后并且在其加速期间使得那个车辆与车辆4510的后部碰撞。因此,不仅可以存在对更大的检测范围来检测从右侧接近的车辆(诸如车辆4690)的需要,而且可以存在对甚至比检测左侧接近车辆所需的检测范围更长的检测范围的需要。因此,在所示的示例中,FOV 4522和4525(具有车辆4510的前方和右方的区域的覆盖范围的FOV)已被分配有增加的光通量水平,以便增加车辆4510的前方和右方的检测能力。再次,不需要在相应FOV的所有区域上均匀地进行这种光增加。而是,如图所示,FOV 4525的子区域4675已经被分配了比FOV 4525的另一个子区域4676更多的光。实际上,供给子区域4675的光量可以远远大于供给子区域4676的光量。因此,子区域4675中的检测范围可以是与子区域4676相关联的检测范围的两倍、三倍、五倍、十倍(或更多)。
类似地,可以将增加的光水平应用于FOV 4522。如图所示,FOV 4522可以包括三个子区域4677、4678和4679,并且应用于这些子区域的光通量水平可以从子区域4677到子区域4679逐渐增加,使得子区域4679可以提供比子区域4678更高的检测范围,子区域4678可以提供比子区域4677更高的检测范围。通过以这种方式重新分配可用资源(例如,光学预算),可以在足以确定车辆4510是否有足够的时间在车辆4690前面并入并加速以快速前行的范围处,检测到右侧接近车辆4690。
高速公路驾驶中的动态照明分配
激光雷达系统100可以并入到车辆上(例如,并入到车辆的主体上或任何其它合适的位置)。并且如前面所讨论的,激光雷达系统100可以能够动态地控制提供给激光雷达FOV的不同部分的光通量。在下面讨论的一个示例中,处理器118可以确定或以其它方式接收车辆正在沿着高速公路驾驶的指示(例如,车辆可以在高速公路上以更高的速度行驶,而具有较少遇到横跨的障碍物(诸如城市环境中更常发现的行人、自行车和其它车辆等等)的风险。响应于这种指示,处理器118可以分摊可用的光学预算,使得在激光雷达FOV的一个或多个扫描上,可以向FOV的中心区域提供比对FOV的周边区域更多的光通量。这种光通量的分摊可以适用于高速公路驾驶,在高速公路处可能需要增加车辆前方的检测范围并且可能不太需要在FOV的周边区域中维持长范围或高分辨率检测能力。在处理器118确定主车辆已经离开高速公路环境并且例如进入非高速公路道路或环境(例如,城市环境)的情况下,在那里可以存在更大的与横跨物体碰撞的风险,处理器118可以重新分摊光学预算,使得在高速公路驾驶期间应用在FOV的中心区域中的额外光通量被重新分配到周边区域。
更具体而言,在一些实施例中,激光雷达系统100的处理器118可以以使得来自至少一个光源的光的光通量能够在FOV的扫描周期内变化的方式,控制至少一个光源112。处理器118还可以控制至少一个偏转器114以偏转来自光源112的光,以便扫描FOV,该FOV可以可划分为总体与车辆在其上行驶的道路的位置对应的中心区域、总体与道路右侧的区域对应的右周边区域、以及总体与道路左侧的区域对应的右周边区域。处理器118可以获得车辆处于与高速公路行驶对应的模式的输入,并且响应于该输入,处理器118可以协调光源112的控制与光偏转器114的控制,使得在扫描FOV期间,比向右周边区域和向左周边区域引导的更多的光可以被引导到中心区域。
处理器118可以从任何合适的源接收主车辆正在高速公路上行驶的指示。在一些情况下,可以通过与车辆导航系统4730(图47)通信、经由GPS接收器和地图服务器或地图应用、通过对来自一个或多个相机的图像的分析、基于来自激光雷达系统100本身的输出、基于其它激光雷达系统的输出等等,来获得这种信息。例如,在一些实施例中,导航系统4730可以合并、访问或以其它方式从远程服务器接收一个或多个地图,从中可以将道路的状态确定为高速公路或者非高速公路。处理器118可以直接从导航系统4730接收道路是否是高速公路的指示。在其它情况下,处理器118可以基于与由导航系统4730使用的地图信息相关联的一个或多个指示符(例如,道路状态指示符、与特定道路相关联的速度限制等等),来确定道路状态。在一些情况下,处理器118可以基于来自两个或更多个传感器或信息源的信息的组合,将道路的状态确定为高速公路或非高速公路。例如,与从导航系统4730接收的信息组合,处理器118可以从GPS接收器接收位置信息、从车辆传感器(例如,速度计)接收速度信息、从相机接收视觉信息、从一个或多个激光雷达系统(包括处理器118所基于的系统)接收深度图信息、或任何其它合适的源,并且可以使用信息源的组合来确定正在行驶的道路是否是高速公路。这种辅助信息源可以传达指示车辆速度、车辆位置、识别出的车道标记、识别出的地标、识别出的道路障碍、交通流的方向、道路宽度、车道宽度、车道配置、识别出的交通标志、识别出的交通灯等等的信息。处理器118可以单独或组合地使用任何这种信息,来验证道路的状态。
图47提供了在与示例性公开实施例一致的激光雷达系统的帮助下在高速公路环境中行驶的车辆的图解表示。车辆4710可以配备有激光雷达系统100,并且在一些情况下可以配备有导航系统4730。如图所示,激光雷达FOV120可以被分割为中心区域4720、右周边区域4724和左周边区域4722。通过协调光投射器112和偏转器114的操作,处理器118可以使FOV 120在一个或多个扫描周期期间被扫描(例如,通过在扫描周期期间的不同时间连续地或不连续地移动偏转器通过多个不同的瞬时位置)。例如,处理器118可以协调光偏转器114和光源112,使得当光偏转器114位于特定的瞬时位置时,光束的一部分被光偏转器从光源112朝着激光雷达FOV中的物体偏转,并且光束的该部分从物体的反射被偏转器朝着至少一个传感器116偏转。在一些实施例中,可以使用多于一个光源。例如,多个光源可以瞄准偏转器114,并且处理器118可以控制偏转器114,使得当偏转器114位于特定的瞬时位置时,来自多个光源的光朝着激光雷达FOV中的多个独立区域被投射。
可以以任何合适的方式将可用的光学预算分摊给激光雷达FOV的一个或多个部分。在一些实施例中,例如,在处理器118确定车辆正在高速公路上行驶的情况下,处理器118可以将可用的光学预算分配给激光雷达FOV的部分,使得中心区域4720接收比提供给右周边区域4724或左周边区域4722更多的光通量。例如,处理器118可以被配置为协调光源112的控制与偏转器114的控制,使得在第一扫描周期期间,具有第一光通量的光被引导到中心区域4720。在确定车辆正在高速公路上行驶之后,处理器118可以改变光分摊,使得在第二扫描周期期间,具有第二光通量的光被引导到中心区域4720,并且其中第二光通量大于第一光通量。由于激光雷达FOV的中心区域中的光通量相对于激光雷达FOV的周边区域的增加,因此中心区域中的检测范围可以大于周边区域中的检测范围。在一些情况下,处理器118可以控制光源112,使得中心区域中的检测距离比右周边区域中的和左周边区域中的检测距离大至少两倍。
当然,激光雷达FOV可以被分段成多于或少于三个区域。此外,任何片段可以被进一步划分为多个子区域。并且,处理器118可以被配置为使得,在扫描视场期间,比多个子区域中的另一个子区域更多的光被引导到多个子区域中的一个子区域。
正如光分摊可以基于主车辆正在高速公路上行驶的确定而改变那样,处理器118可以基于车辆已经离开高速公路或者车辆的环境以其它方式从高速公路环境有所改变的确定,来重新分配光学预算。例如,在车辆的道路类型转换(诸如从高速公路到城市)的情况下,处理器118可以重新分配可用的光学预算。例如,在从高速公路环境改变到城市环境时,处理器118可以减少朝着中心区域4720投射的光通量(与一个或多个先前扫描周期相比),并且可以增加应用到一个或多个周边区域的光(与一个或多个先前扫描相比)。
可用光学预算对激光雷达FOV的选定区域的这种分摊可以被称为定义空间光扫描模式。在一些实施例中,处理器118可以在获得指示车辆正在其上行驶的道路的类型的数据时,确定与多个扫描周期相关联的空间光扫描模式。如上所述,道路的类型可以包括以下当中的至少一个:城市道路、高速公路道路、未划分的道路、每个方向具有单个车道的道路、每个方向具有多个车道的道路、或者具有公共交通车道的道路。并且在获得指示车辆正在其上行驶的道路的类型的改变(例如,从高速公路到未划分的道路)的数据时,与在先前扫描周期中投射的光相比,可以将更少的光引导到中心区域并且可以将更多的光引导到右周边区域和左周边区域。
处理器118可以不仅基于主车辆在其上行驶的道路的类型确定来分摊可用的光学预算,而且还可以基于检测到的驾驶事件来分摊可用的光学预算。例如,图48A表示如上所述的场景。处理器118可以确定车辆已进入高速公路,并且作为这个事件的结果,处理器118可以分配可用的光学预算,使得与右周边区域或左周边区域任一个相比,可以向中心区域供给更多的光通量(例如,更高的光功率电平)。
在图48B中,处理器可以确定车辆已进入道路可以在任一侧被建筑物定界封闭(closes bounded)的区域。例如,在城市环境中可能发生这种场景。基于进入城市道路设置的驾驶事件的检测,处理器118可以使得向左周边区域和右周边区域供给比供给中心区域的更多的光通量。这种光学预算的分配可以适于车辆速度通常低于高速公路速度的城市环境(意味着车辆前方的检测范围在城市环境中不需要那么大,并且在公路环境中可能是优选的)。另外,在城市环境中,可以存在更多与行人遇到的风险,行人可以驻留在车辆任一侧的区域中(例如,在与所示建筑物相邻的人行道上)。因此,在城市环境中,相对于中心区域,增强激光雷达FOV的周边区域的检测范围和/或分辨能力可以是有益的。
图48C提供了检测到的驾驶事件的另一个示例,其可以触发可用光学预算到激光雷达FOV的某些区域的分配的改变。例如,如图所示,可以在与主车辆相邻的车道中检测到另一个车辆102,其中车辆102和主车辆被确定为在相同的方向上移动。在这种场景中,处理器118可以确定主车辆的前方和右方的区域构成感兴趣区域,因为这是车辆102所位于的区域。为了帮助检测和/或跟踪车辆102,处理器118可以分配可用的光学预算,使得右周边区域接收最高水平的光通量,中心区域接收次最高水平的光通量,并且左周边区域接收最低水平的光通量。
图48D提供了检测到的驾驶事件的又一个示例,其可以触发可用光学预算到激光雷达FOV的某些区域的分配的改变。例如,如图所示,可以在与主车辆相邻的车道中检测到另一个车辆102,其中车辆102和主车辆被确定为在相反的方向上移动。在这种场景中,处理器118可以确定主车辆前方和左方的区域构成感兴趣区域,因为这是车辆102所位于的区域(并且预期发现迎面而来的交通的地方)。为了帮助检测和/或跟踪车辆102,处理器118可以分配可用的光学预算,使得左周边区域接收最高水平的光通量,中心区域接收次最高水平的光通量,并且右周边区域接收最低水平的光通量。另外,如图48D中所示,可以定义左周边区域的特定子区域,并且处理器118可以使最高水平的光通量(甚至在左周边区域内)被供给该特定子区域。在一些情况下,所定义的左周边区域的子区域可以与检测到的车辆102的位置重叠。
处理器118还可以基于其它检测到的驾驶事件,来分配或重新分配可用的光学预算。例如,在一些实施例中,证明光学预算的分配或重新分配是合理的检测到的驾驶事件可以包括交通相关的事件、道路相关的事件、接近预定义的机构、和天气相关的事件中的至少一个。基于任何这些类型的事件的检测或指示,处理器118可以从一个扫描周期到另一个扫描周期更改空间光扫描模式。例如,处理器118可以更改空间光扫描模式,使得比在先前扫描周期中被引导到右周边区域的至少一部分的光更多的光被引导到右周边区域的该至少一部分,使得比在先前扫描周期中被引导到左周边区域的至少一部分的光更多的光被引导到左周边区域的该至少一部分,使得比在先前扫描周期中被引导到中心区域区域的至少一部分的光更多的光被引导到中心区域的该至少一部分,等等。
图49提供了用于操作与当前公开的实施例一致的激光雷达系统的方法4900的流程图表示。该方法可以包括以使得来自至少一个光源的光的光通量能够在视场的扫描周期内变化的方式,控制至少一个光源(步骤4910)。该方法还可以包括控制至少一个偏转器以偏转来自至少一个光源的光,以便扫描视场,其中视场可划分为总体与车辆正在其上行驶的高速公路对应的中心区域、总体与高速公路右侧的区域对应的右周边区域、以及总体与高速公路左侧的区域对应的左周边区域(步骤4920)。在步骤4930,处理器118可以获得车辆处于与高速公路行驶对应的模式的输入,并且作为响应,如步骤4940,处理器118可以协调至少一个光源的控制与至少一个光偏转器的控制,使得在对涵盖中心区域、右周边区域和左周边区域的视场的扫描期间,比右周边区域和左周边区域更多的光被引导到中心区域。
响应于环境光水平而改变激光雷达照明
激光雷达系统可以用在具有不同水平的环境光的许多不同环境中。此外,环境光的水平在单个场景内在任何时候都可以显著不同。例如,场景的一些部分可以被遮蔽,其它部分可以被阳光或其它光源照亮,并且场的另外其它部分可以包括环境光源(诸如灯、前灯、明火等等)。这种环境光可以造成噪声,噪声进而可以降低激光雷达系统的服务质量(QoS)。在激光雷达系统100在存在高环境光(例如,明亮的阳光或人造光源)时操作的情况下,激光雷达系统100可以经受来自环境噪声的显著噪声。另一方面,如果激光雷达系统100在环境光较少的环境中操作,那么噪声会较小。
如所描述的,与当前公开的实施例一致的系统和方法可以相对于激光雷达FOV,在逐个像素的基础上、在逐个束斑的基础上、或者在逐个部分的基础上,收集光反射数据并分配光通量(要注意的是,在下面的描述中,关于这些上面提到的基础中的任何一个讨论的实现也可以加以必要的变更后,相对于其它两个基础被实现)。在一些情况下,分配给激光雷达FOV的特定部分的光通量的量可以取决于在FOV的特定区域中检测到的环境光的量。尤其是,在一些情况下,在给定扫描周期中分配给激光雷达FOV的特定部分(例如,分配给具体像素)的光通量的量可以取决于在相同的扫描周期中在FOV的那个特定区域中检测到的环境光的量。在一些情况下,在至少一个光偏转器114的给定瞬时位置中分配给激光雷达FOV的特定部分(例如,分配给具体像素)的光通量的量可以取决于在至少一个光偏转器114保持在那个特定的瞬时位置时在FOV的那个特定部分中检测到的环境光的量(例如,在环境光的检测与所分配的光通量的发射之间没有间歇地到FOV的任何其它部分的任何发射)。例如,在确定FOV的特定区域中的环境光量为低的情况下,可以向那个特定区域供给较低量的光通量。另一方面,当在FOV的特定区域内检测到更多的环境光时,可以增加提供给那个区域的光通量的量。通过基于检测到的环境光的水平改变对激光雷达FOV的区域的光分配,可以减少或去除噪声对激光雷达系统100的操作的影响。
在一些实施例中,视场(例如,FOV 120,如图50中所示)可以包括多个部分,每个部分与偏转器114的不同瞬时位置对应。每个部分可以具有任何合适的尺寸和/或占据FOV120的任何合适部分。
至少一个处理器118可以在逐个像素的基础上,接收来自至少一个传感器116的信号,如图50中所示。例如,至少一个传感器可以在逐个像素的基础上(例如,如图51中所示的FOV 120的像素A1、B1、C1、A2等等)检测从FOV的具体部分收集的光,并生成与为每个像素收集的光对应的信号。信号可以指示从FOV收集的光的多个源。例如,被收集并提供给传感器116的光的一个分量可以包括环境光。被收集并提供给传感器116的光的另一个分量可以包括来自至少一个光源112的光,该光被投射到FOV的特定部分并被视场的该特定部分中的一个或多个物体反射。在某些情形下(例如,在物体远离或具有低反射率的情况下),从激光雷达FOV的特定部分收集的环境光可以在提供给传感器116的光中占比源自激光雷达照明的反射光更大的比例。在其它情形下(例如,在物体更近或具有更高反射率的情况下),从激光雷达FOV的特定部分收集的环境光可以在提供给传感器116的光中占比反射光更小的比例。例如,在激光雷达FOV的第一部分(由图51中的白色所示的FOV的特定区域表示)中,环境光可以在从FOV 120收集的光中占比从FOV 120的第二部分(由图51中的阴影所示的FOV的特定区域表示)收集的反射光更大的比例。应当注意的是,激光雷达FOV的第一部分和第二部分可以各自包括比图51中所示的激光雷达FOV的更多或更少特定区域。例如,在一些实施例中,第一部分和/或第二部分可以各自与FOV 120的单个特定区域对应或者可以包括多个部分(如图所示)。
基于传感器116的输出,处理器118可以被配置为与检测从物体反射的投射光分开地,检测激光雷达FOV的特定部分中的环境光。例如,在一些实施例中,处理器118可以在不预期反射光的时候,对传感器116的输出进行采样。例如,在从投射器112朝着FOV的特定部分发射光之前,不会预期来自FOV的该特定部分的反射光,因为还没有光投射到那里。因此,可以假设由传感器116/处理器118感测到的光与环境光对应。类似地,在已将光投射到特定部分之后,但是在已经过足够的时间使得不预期来自光投射的反射之后(例如,在大于或等于与对于特定光发射的到达和来自激光雷达系统的最大预期范围的光的飞行时间对应的时间的时间),从FOV的特定部分搜集的光可以归因于环境光。在一些实施例中,在光投射器112的光发射之后,传感器116可以在该光发射之后的第一感测持续时间内,检测来自视场的光的反射。并且传感器116可以在该光发射之后的第二感测持续时间内,测量视场中的环境光水平。通过在这样的时间监视传感器116的输出,可以确定FOV的特定部分中的环境光水平。
可选地,处理器118可以被配置为在投射到特定部分的光从一个或多个物体反射并由传感器116接收的时间期间,确定FOV的该特定部分中的环境光的量。例如,在一些情况下,投射光可以与可以从背景环境光感测和/或区分出的一个或多个特点(例如,波长、调制模式、脉冲持续时间等等)相关联,例如,基于传感器116或一个或多个其它传感器的输出来感测和/或区分。在一些情况下,激光雷达系统100可以包括第一传感器和第二传感器,第一传感器被配置为检测来自视场中的物体的光的反射,第二传感器被配置为测量视场中的环境光。在其它情况下,传感器116可以检测来自物体的反射和环境光两者。以这种方式区分环境光与反射光可以使得能够确定FOV的特定部分中存在的环境光的量。在一些示例中,可以从整个接收信号中减去由处理器118确定为由激光雷达发射的光的反射信号(例如,基于匹配滤波器)的接收光,以提供对环境光水平的估计。
在一些实施例中,处理器118可以被配置为识别与在激光雷达FOV的特定部分中检测到的环境光相关联的一个或多个光源的类型。例如,在接收到与FOV的具体部分相关联的感测到的光信息之后,处理器118可以将接收到的信息与和环境光的各种源相关联的预先存储的噪声电平数据进行比较。基于这种比较,处理器118可以识别环境光可以已源自于的光源的类型。处理器118还可以使用环境光的其它特点(例如,偏振、波动水平)和/或来自多个像素的信息(例如,物理尺寸估计、光源之间的距离)来识别光源的类型。要注意的是,光源类型的识别可以稍后用于物体分类(例如,基于前灯之间的距离,前灯可以指示物体是小汽车或半挂车卡车),反之亦然(物体特征可以被用于识别光源,例如,建筑物中的高光源可以被识别为点亮的窗户)。
在一些实施例中,在激光雷达FOV的特定区域中感测到环境光水平的情况下,处理器118可以基于感测到的环境光水平,确定要投射到FOV的那个特定部分的光的分配。例如,如果感测到的环境光水平低于预定的阈值/值,那么处理器118可以确定不需要将附加的光投射到该特定FOV部分。另一方面,如果感测到的环境光水平高于预定的阈值/值,那么处理器118可以确定应当将附加的光投射到该特定FOV部分。在这种情况下,处理器118可以使附加的光通量被供给FOV的该特定部分。
仅作为由图51的图表示的一个示例,FOV的第一部分包括FOV的十五个特定区域,并且FOV的第二部分包括25个特定区域。第二部分的区域全部都被确定为具有低于预定水平的环境光水平。因此,在这些区域中,仅有一个光脉冲(或影响提供给特定FOV区域的光通量的量的任何其它类型的光投射)已被分配给FOV的第二部分的区域。另一方面,第一部分中的FOV的每个区域被确定为具有高于预定环境光水平阈值/值的环境光水平。因此,处理器118已经分配了三个光脉冲,以朝着包括在FOV的第二部分中的每个区域投射。当然,提供给FOV区域的光脉冲的概念仅仅是示例性的。可以使用任何其它类型的光投射技术,以便相对于提供给FOV的第二部分的区域的光量来增加FOV的第一部分的区域中的光通量。
还要注意的是,除了检测环境光水平之外,还可以使用其它考虑因素来确定在每个扫描周期期间将提供给FOV的不同部分(例如,提供给不同像素)的通量的量。例如,如果在其中检测到光源的部分被包含在预定义的不感兴趣区域中,那么处理器118可以决定不将附加的光分配给那个部分。处理器118可以将FOV的一部分中所确定的环境光水平的信息与指示那个部分的其它噪声电平的信息或者与在本公开中所公开的对于确定通量水平有用的任何其它类型的信息(来自相同的扫描周期或不是相同的扫描周期)相结合。
处理器118分配给FOV的特定区域的光量还可以取决于所确定的与在该特定区域中检测到的环境光相关联的光源的类型。例如,如果环境光被确定为源自太阳而不是来自电灯,那么可以将更多的光分配给该特定区域。当然,反过来也可以是如此。
为了扫描FOV(例如,图50的FOV 120),至少一个处理器118可以协调至少一个光偏转器和至少一个光源,使得当至少一个光偏转器位于特定的瞬时位置时,光束被至少一个光偏转器从至少一个光源朝着视场偏转,并且来自视场中的物体的反射被至少一个光偏转器朝着至少一个传感器偏转。因而,至少一个光偏转器可以将光束朝着视场引导并且还接收来自视场的反射。例如,图1A、2B和2C描绘了其中偏转器既将光束朝着视场引导又接收来自视场的反射的示例。在某些方面,反射可以由朝着视场被引导的光束造成。在其它实施例中,来自至少一个光源的光束可以被至少一个光偏转器朝着视场引导,该至少一个光偏转器与接收来自视场的反射的至少一个其它光偏转器分离。例如,图2A描绘了一个示例,其中一个偏转器将光束朝着视场引导,并且分离的偏转器接收来自视场的反射。
在一些实施例中,可以基于检测到的环境光和/或是否检测到光源,来控制与传感器116相关联的灵敏度水平,例如,在激光雷达FOV的特定区域中(例如,在相同的扫描周期期间,但不必如此)。例如,处理器118可以被配置为基于从传感器116接收的信息,识别激光雷达FOV的特定部分中光源的存在。响应于这种光源的识别,处理器118可以相对于来自激光雷达FOV的该特定部分的光反射更改传感器灵敏度。
如上面所解释的,随着在FOV的特定区域内检测到更多的环境光,可以增加提供给那个区域的光通量的量,以便减少或去除噪声的影响。至少一个处理器118可以使至少一个光源(例如,图50的光源112)朝着视场(例如,图50的视场120)的一部分投射更高的光通量。朝着FOV的特定部分投射的更高光通量可以改进信噪比(或以其它方式改进FOV的这个部分中的检测概率,例如,如上面所讨论的),并且因此可以增加对于位于视场的该部分中的物体的QoS。
至少一个处理器118还可以获得视场的一部分中的至少一个独特的感兴趣区域的标识,并且可以增加该感兴趣区域中的光通量。例如,可以通过以下方式来增加光通量:增加每立体角的光脉冲数量、增加相对于FOV部分的辐照度、发射附加的光脉冲、增加每像素的功率、每单位时间发射附加的光子、在某个时间段内增加合计能量、所生成的点云模型中每数据点发射附加的光子、增加所生成的点云模型中每数据点的合计能量、更改波长、增加光脉冲的振幅和/或频率、或者增加光通量的任何其它特点。在一些情况下,感兴趣区域可以是被确定为具有满足至少一个预定特点(例如,环境光水平、光源类型、夜晚或白天操作(指示夜间的前灯的环境光源),等等)的激光雷达FOV的特定区域。
还可以基于从GPS单元、车辆导航系统、雷达、激光雷达、相机等等中的至少一个接收的信息,来识别视场的一部分中的特定感兴趣区域。基于该识别,至少一个处理器118可以使至少一个光源(例如,图50的光源112)朝着视场的一部分投射比在视场的其它部分中所投射的光通量更高的光通量。例如,来自相机的信号可以指示激光雷达系统100处于明亮的环境中(例如,在光源下或在太阳下)。为了补偿与这种光源相关联的高噪声电平,至少一个处理器118可以使光源112向激光雷达视场的一部分投射更高的光通量。
为了朝着FOV中的一部分投射更多的光,至少一个处理器118可以使至少一个光源112投射更多的光脉冲。例如,至少一个处理器118可以改变来自至少一个光源的脉冲的定时。为了增加一部分中光脉冲的数量,至少一个处理器可以缩短脉冲的定时。作为另一个示例,处理器118可以可替代地或并发地改变来自至少一个光源的脉冲的功率电平。在又一个示例中,处理器118可以可替代地或并发地改变来自至少一个光源的脉冲的振幅和/或频率。例如,在图51中,作为缺省值,系统可以确定每个像素投射一个光脉冲。因为FOV 120的第一部分可以包含较高的环境光并且接收的信号可以大于预定阈值,所以可以在FOV的第一部分中投射每像素三个光脉冲,而不是每像素一个光脉冲,如上所描述的。在一些实施例中,投射到图51中的FOV的第一部分的区域的光的强度可以大于提供给图51中的FOV的第二部分的光的强度。
而且,处理器118可以被配置为更改与光投射器112相关联的光源参数,使得在单个扫描周期中,在图51中,比朝着FOV的第二部分投射的每立体角光脉冲数量更多的每立体角光脉冲朝着FOV的第一部分被投射。在一些情况下,不是仍向激光雷达FOV的某些区域提供缺省水平的光,而是处理器118可以被配置为更改与光投射器112相关联的光源参数,使得在激光雷达FOV的至少一个单个扫描周期期间,没有光朝着图51中所示的视场的第二部分投射。在另一个示例中,处理器118还可以被配置为更改光源参数,使得朝着第一部分投射的光与朝着第二部分投射的光的波长不同。
图52图示了使用激光雷达系统检测物体的示例方法5200。在步骤5201,如上面所解释的,处理器118可以以使得光通量在对视场(例如,图1A和2A的视场120)进行扫描时变化的方式,控制至少一个光源(例如,图1A的光源112、图2A的光源112的激光二极管202、和/或图2B的多个光源102)。在步骤5202,至少一个处理器118控制至少一个光偏转器(例如,图1A的光偏转器114、图2A的偏转器114A和/或偏转器114B、和/或图2B的单向偏转器216),以便扫描视场。例如,处理器118可以造成至少一个光偏转器的机械移动,以扫描视场。可替代地或并发地,处理器118可以在至少一个偏转器中诱发压电或热电变化,以扫描视场。在一些实施例中,视场的单个扫描周期可以包括:移动至少一个偏转器,使得在扫描周期期间,至少一个光偏转器瞬时地位于多个位置。例如,在扫描周期期间,至少一个光偏转器可以被从多个位置中的一个移动到另一个(可选地带有附加位置和/或重复),而不是以连续扫掠被移动。
在步骤5203,至少一个处理器118在逐个像素的基础上,接收来自至少一个传感器(例如,图50的感测单元106)的信号。例如,信号可以指示环境光和来自至少一个光源的由视场中的物体反射的光中的至少一个。在步骤5204,至少一个处理器118可以识别在视场的一部分处的光源(其造成来自接收信息的环境噪声)的类型,并确定用以分配至少一个光源(例如,图1A的光源112、图2A的光源112的激光二极管202、和/或图2B的多个光源102)的光通量水平。在步骤5205,如上面所解释的,至少一个处理器118可以使得至少一个光源(例如,图1A的光源112、图2A的光源112的激光二极管202、和/或图2B的多个光源102)将更高的光通量朝着视场(例如,图1A和2A的视场120)的一部分投射。例如,至少一个处理器118可以使得至少一个光源在移动到视场的另一个部分之前(例如,在至少一个偏转器仍处于同一瞬时位置的同时),朝着视场的一部分投射更高的光通量。
激光雷达中基于温度的控制
在激光雷达系统中,调整系统部件的温度以防止损坏部件本身和出于安全原因可以是重要的。此外,激光雷达系统的一些部件可以在超过温度范围时提供次优性能,并且因此重要的是修改激光雷达系统的操作以优化可以在这种次优条件下提供的性能。在一些实施例中,激光雷达系统可以用在车辆中。激光雷达系统100可以包括一个或多个光源112,用于将光投射到FOV 120,用于照亮处于车辆环境中的FOV 120中的一个或多个物体。激光雷达系统100可以包含一个或多个处理器118,以通过控制光源112来改变FOV 120的一个或多个部分的扫描时的光通量。在FOV 120的扫描期间,可以从一个或多个激光雷达系统部件辐射热量。系统部件可以包括一个或多个光源、偏转器、传感器、处理器和/或其它激光雷达系统部件。热量也可以从其中安装有激光雷达系统100的车辆辐射(尤其是如果激光雷达系统安装在热的位置和/或难以通风的位置的话,诸如在车辆的引擎盖下)。热量也可以由于天气或其它环境条件(例如,在仓库内驾驶)而引起。还要注意的是,激光雷达系统100也可以对低温敏感,这也可以由类似的起因引起。
处理器118可以经由一个或多个温度传感器,接收指示一个或多个部件的温度超过阈值温度的信息。阈值温度可以由处理器动态确定,或者可以是静态的预设值。阈值温度可以是这样的温度,如果处于或高于该温度,那么部件或系统处于过热的风险。在一些实施例中,阈值温度可以是系统或系统部件处于过热的风险的温度的百分比。例如,阈值温度可以是系统或系统部件处于过热的风险的温度的80%。如果系统或部件过热,那么它会损坏激光雷达系统、造成火灾危险、和/或造成系统故障。如果一个或多个系统部件的检测到的温度满足和/或超过阈值,那么处理器118可以修改FOV 120的两个部分之间的照明比,使得在一个或多个后续扫描周期期间较少的光被递送到FOV 120。
如上所述,可以动态地确定温度阈值,并且可以基于激光雷达系统100的各种部件的状态、在其中安装它的车辆的状态、以及基于其它参数来修改温度阈值。还要注意的是,温度阈值可以与测得的温度有关,但也可以与其它基于温度的参数有关(例如,温度随时间的变化、在不同位置测得的多个温度等等)。在处理器118实现这种复杂的和/或依赖时间的温度阈值的实现中,处理器118可以被认为实现了温度决策规则。处理器118可以被配置为通过确定何时超过温度阈值,使得极高的温度和/或温度上升速率被测量,来管理激光雷达系统中的高温。处理器118可以被配置为通过确定何时超过温度阈值,使得极低的温度和/或过快的温度下降速率被测量,来管理激光雷达系统中的低温。
图53是与本公开实施例一致的激光雷达系统的图解表示。例如,如图所示,激光雷达系统5300可以包含光源5310、传感器组件5340和温度感测单元5380。在一些实施例中,激光雷达系统5300可以包含激光雷达系统100的全部或一些部件以及温度感测单元5380。在一些实施例中,激光雷达系统100可以包含温度感测单元5380。温度感测单元5380可以被配置为检测个体系统部件的温度和/或激光雷达系统5300的总体温度。
在一些实施例中,激光雷达系统5300可以包含控制系统5300,控制系统5300包括传感器接口5350、光源控制器5360和温度处理器5370。温度处理器5370可以从可选的温度检测器5380(或从其它源,诸如外部温度传感器、从主机等等)接收温度信息并处理接收到的信息,以确定一个或多个系统部件或激光雷达系统5300的温度是否超过阈值温度。如果超过阈值温度(例如,在特定的扫描周期期间),那么温度处理器5370可以与光源控制器5360通信,以修改FOV的两个部分之间的照明比,使得在后续的扫描周期期间将更少的光递送到FOV,由此降低一个或多个系统部件和/或激光雷达系统5300的温度。在一些实施例中,激光雷达系统5300可以包括冷却部件,以冷却具有满足或超过阈值的温度的系统部件。
在一些实施例中,处理器118可以被配置为控制一个或多个光偏转器114,使得在FOV的扫描周期期间,一个或多个光偏转器114位于一个或多个不同的瞬时位置。处理器118还可以协调一个或多个光偏转器114和一个或多个光源112,使得当光偏转器114位于特定的瞬时位置时,光束的一部分被偏转器114从光源朝着FOV 120中的物体偏转。光束的该部分从物体的反射可以被一个或多个偏转器114朝着一个或多个传感器116偏转。在一些实施例中,一个或多个光源112可以瞄准一个或多个偏转器114。处理器118可以控制一个或多个光偏转器114,使得当光偏转器114位于特定的瞬时位置时,来自一个或多个光源112的光可以朝着FOV 120中的若干独立区域被投射。
在一些实施例中,处理器118可以基于温度信息确定FOV的单个扫描周期中的空间光分布,并且修改照明比,使得与FOV的第二部分相比,更多的光朝着FOV的第一部分投射。在一些实施例中,处理器118可以基于温度信息来协调一个或多个光源112和一个或多个光偏转器114的控制,使得在一个或多个后续的扫描周期期间,朝着FOV的一部分投射与在先前扫描周期中所投射的相同量的光。在一些实施例中,处理器118可以基于温度信息来协调一个或多个光源112和一个或多个光偏转器114的控制,以朝着FOV的第一部分投射比朝着FOV的第二部分更多的光脉冲。在一些实施例中,处理器118可以基于温度信息在一个或多个扫描周期中协调一个或多个光源112和一个或多个光偏转器114的控制,以动态调节用于照亮FOV的第一部分的扫描周期速率和用于照亮FOV的第二部分的扫描周期速率。调节扫描周期速率可以降低一个或多个系统部件的温度。在一些实施例中,一旦系统或一个或多个部件的温度返回到低于阈值温度的值,处理器118就可以恢复激光雷达系统100的设置。
在一些实施例中,处理器118可以识别FOV的一部分中的感兴趣区域,并基于温度信息修改FOV的该部分与FOV的另一部分之间的照明比,使得在一个或多个后续的扫描周期期间,更多的光朝着FOV的包含感兴趣区域的该部分被引导。在一些实施例中,处理器118可以识别FOV的一部分中的不感兴趣区域。基于感兴趣区域的确定并基于温度信息,与激光雷达FOV的不太感兴趣区域或不在确定的感兴趣区域中的区域相比,可以将更多的光通量分配给感兴趣区域。因此,感兴趣区域的照明(例如,以不同的扫描速率、功率电平、光强度、光通量、脉冲持续时间、脉冲数量等等)可以增加在投射光的光学路径中的激光雷达系统100的一个或多个部件(例如,偏转器114等等)中的局部发热。因此,通过本文描述的光分配技术进行的温度管理对于在感兴趣区域正被照亮时的系统部件的某些部分会变得更加重要。
在一些实施例中,处理器118可以接收与激光雷达系统100的一个或多个部件(或那些部件的一个或多个部分)相关联的温度超过阈值温度的信息。处理器118可以经由与温度感测部件(诸如温度传感器5380)的有线或无线连接来接收温度信息。在一些实施例中,处理器118可以从车辆控制器接收一个或多个系统部件的温度超过阈值的信息,这可以涉及一个或多个附加的处理器。
在一些实施例中,由处理器118接收的温度信息可以包括关于车辆外部的环境的温度的信息、关于车辆引擎热量的信息、关于一个或多个光源112的温度的信息、和/或关于一个或多个处理器(包括处理器118)的温度的信息。
在一些实施例中,处理器118可以基于关于车辆周围的环境的温度的信息,来确定阈值温度的值。例如,在热天,可以降低阈值温度,以应对来自太阳或来自激光雷达系统100周围的空气的外部热量。
在一些实施例中,如果一个或多个系统部件的温度超过温度阈值,那么处理器118可以降低FOV的一部分中的分辨率。可以在具有较少照明的FOV的区域中降低分辨率,但是检测距离可以与利用原始分辨率实现的检测距离相同。在一些实施例中,利用比原始分辨率更低的分辨率来实现更远的检测距离。
图54是用于检测激光雷达系统100的一个或多个部件的温度的示例性处理5400的示例性流程图。在步骤5402,激光雷达系统100以初始扫描速率开始扫描周期。在一些实施例中,步骤5402可以不在每个扫描周期期间发生,而是以预定间隔发生。在其它实施例中,步骤5402可以在扫描周期之外发生,例如,当激光雷达系统被接通或启动时。在步骤5404,处理器118可以从一个或多个温度传感器5380接收指示一个或多个系统部件的温度的信息。在步骤5404,处理器118可以确定系统部件的温度是否满足或超过阈值温度。如果不满足阈值温度,那么一个或多个部件没有过热(或者可替代地,冷冻)的风险,并且激光雷达系统100可以执行后续的扫描周期而无需更改部件温度的措施。如果满足或超过阈值温度,那么处理器118可以采取行动,以通过调节激光雷达系统100以在FOV中发射较少的总计光来限制(例如,降低)部件的温度(步骤5408),由此降低部件的温度。在一些实施例中,处理器118可以采取行动,以防止部件的温度达到阈值温度。在一些实施例中,处理器118可以调节FOV的各部分之间在随后的扫描周期期间的照明比。基于哪个部件处于过热的风险,处理器118可以采用不同的热量降低技术。在一些实施例中,处理器118可以在随后的扫描周期中降低扫描速率。在一些实施例中,处理器118可以在随后的扫描周期中降低分辨率。在其它实施例中,处理器118可以控制冷却部件以冷却过热或处于过热风险的部件。在其它实施例中,处理器118可以控制发热的部件以加热冷冻或处于冷冻风险的部件。
图55是用于确定阈值温度并检测车辆中激光雷达系统100的一个或多个部件的温度的示例性处理5500的示例性流程图。在5502,激光雷达系统100开始确定部件温度的处理。处理器118可以从一个或多个传感器(诸如温度传感器5380)接收指示一个或多个系统部件、车辆引擎和/或车辆周围环境的温度的温度信息。在步骤5504,处理器118可以从一个或上述温度传感器接收信息。在步骤5506,处理器118可以使用算法或其它计算方法,来基于车辆引擎温度、车辆内部的温度和/或车辆周围环境的温度,确定对于系统部件的适当阈值温度。计算出的阈值温度还可以应对部件开始次优地进行执行的温度。在步骤5508,处理器118可以确定部件温度是否大于或等于计算出的阈值温度。如果温度不满足阈值,那么处理器118可以不采取任何动作,直到下一次评估温度。处理5500可以以预定的时间间隔发生,独立于激光雷达系统100的扫描周期。计算的阈值温度可以在每个扫描周期期间计算,或者可以以另一个间隔重复地计算。例如,可以每五分钟、30分钟、两小时等等计算阈值。
如果部件温度大于或等于阈值温度,那么处理器118可以在步骤5510修改场景投射方案以在FOV中发射更少的光。如上所述,处理器118可以以多种方式降低部件温度。然后,处理5500可以在下一个预定间隔重新开始。在一些实施例中,可以颠倒在步骤5510中进行的修改,从而在部件的温度低于阈值温度时恢复部件的性能。
MEMS反射镜和致动技术
图56图示了扫描设备(例如,偏转器114,下文中称为“扫描设备8202”)和处理设备(例如,处理器118,下文中称为控制器8204)的示例实施例。与本公开一致,控制器8204可以是本地的并且包括在扫描设备8202内。控制器8204可以包括至少一个硬件部件、一个或多个集成电路、一个或多个FPGA、一个或多个ASIC、一个或多个硬件加速器等。中央处理器单元(CPU)和致动驱动器是控制器8204的一些示例。
如图56中所示,反射镜配置可以包括反射镜8206,反射镜8206可以在两个或更多个轴(θ,
Figure BDA0002109505060002021
)中移动。反射镜8206可以与电可控机电驱动器(诸如致动驱动器8208)相关联。致动驱动器8208可以使移动或动力被中继到致动器/悬臂/弯曲器(诸如致动器8210)。致动器8210可以是诸如框架8211之类的支撑框架的一部分。如图所示,附加的致动器(诸如致动器8212、8214和8216)可以由附加的致动驱动器控制/驱动,并且可以各自具有支撑框架8213、8215和8217(适当地)。应该理解的是,框架8211、8213、8215和/或8217可以包括支撑所有致动器的单个框架,或者可以是多个互连的框架。此外,框架可以通过隔离元件或部分电隔离。可选地,柔性互连元件或连接器(互连)(诸如弹簧8218)可以被用于将致动器8210邻接到反射镜8206,以将动力或移动从致动驱动器8208中继到弹簧8218。
致动器8210可以包括两个或更多个电触点(例如触点8210A、8210B、8210C和8210D)。可选地,一个或多个触点8210A、8210B、8210C和/或8210D可以位于框架8211或致动器8210上,只要它们电连接。根据一些实施例,致动器8210可以是可以被掺杂的半导体,使得部分致动器8210(除了绝缘的压电层之外)一般在触点8210A-8210D之间是导电的并且在隔离8220和8222中是隔离的,以将致动器8210与致动器8212和8216(分别)电隔离。可选地,代替掺杂该致动器,致动器8210可以包括导电元件,该导电元件可以粘附或以其它方式机械地或化学地连接到致动器8210,在这种情况下,隔离元件可以固有在致动器8210的不具有粘附到它们的导电元件的区域中。致动器8210可以包括压电层,使得流过致动器8210的电流可以导致压电部分中的反应,这种反应可以使致动器8210可控地弯曲。
根据一些实施例,控制器8204可以向反射镜驱动器8224输出/中继由θ、
Figure BDA0002109505060002031
参数描述的期望的角位置。反射镜驱动器8224可以被配置为控制反射镜8206的移动,并且可以使得致动驱动器8208将某个电压振幅推动到触点8210C和8210D,以便尝试基于致动器8210、8212、8214和8216的弯曲来实现用于反射镜8206的θ、
Figure BDA0002109505060002032
偏转值的具体请求值。此外,位置反馈控制电路可以被配置为向触点(诸如触点8210A或8210B)供给电源(诸如电压或电流),并且另一个触点(诸如分别触点8210B或8210A)可以连接到位置反馈8226内的传感器,该传感器可以被用于测量致动器8210的一个或多个电参数,以确定致动器8210的弯曲以及适当地确定反射镜8206的实际偏转。如图所示,类似于位置反馈8226的附加位置反馈和类似于致动驱动器8208的附加致动驱动器可以针对致动器8212-8216中的每一个被复制,并且反射镜驱动器8224和控制器8204也可以控制那些元件,使得对于所有方向来控制反射镜偏转。
包括致动驱动器8208的致动驱动器可以向前推动造成致动器8210-8216中的机电反应的信号,每个致动器进而被采样以用于反馈。关于致动器(8210-8216)的位置的反馈用作到反射镜驱动器8224的信号,从而使其能够高效地朝着由控制器8204设置的期望位置θ、
Figure BDA0002109505060002041
收敛,从而基于检测到的实际偏转来校正所请求的值。根据一些实施例,扫描设备或激光雷达可以利用压电致动器微机电(MEMS)反射镜器件,来偏转扫描视场的激光束。反射镜8206偏转是施加到在致动器8210上构建的压电元件的电压电位的结果。对于致动器8210不将其转换成恒定位移值的某个电压电平,反射镜8206偏转被转换成可以未以线性方式来表现的角扫描模式。使用闭环方法最佳地实现扫描激光雷达系统(例如,激光雷达系统100),其中视场维度是确定性的并且跨不同设备是可重复的,该闭环方法提供从位置反馈和传感器8226到反射镜驱动器8224和/或控制器8204的角偏转反馈。
在一些实施例中,位置反馈和传感器8226也可以用作可靠性反馈模块。根据一些实施例,多个元件可以包括半导体或导电元件或层,因而,致动器8210-8216可以至少部分地包括半导体元件,弹簧8218、8226、8228和8230可以各自包括半导体,并且反射镜8206也可以包括半导体。可以经由位置反馈8226在第一致动器触点处供给电功率(电流和/或电压),并且位置反馈8226可以经由触点8214A或8214B和/或8216A或8216B感测在致动器8212、8214和/或8216处的适当的信号。下面的一些图图示了MEMS反射镜、致动器和互连。互连的数量、互连的形状、致动器的数量、致动器的形状、MEMS反射镜的形状、以及任何MEMS反射镜、致动器和互连之间的空间关系可以不同于以下图中所示的那些。
互连
图57图示了连接在圆形MEMS反射镜9002与四个致动器9011、9012、9013和9014之间的四个L形互连9021、9022、9023和9024。每个L形互连(例如9021)包括第一段90212和第二段90211。第一段和第二段彼此机械连接。在图57中,第一段和第二段彼此垂直。在图57中,每个L形互连的第二段连接到致动器的圆周,并且每个L形互连的第一段连接到MEMS反射镜的圆周。第二段垂直于第一致动器的圆周。第一段垂直于MEMS反射镜的圆周,和/或当MEMS反射镜处于空闲位置时可以朝着MEMS反射镜的中心指向。当耦合到MEMS反射镜的所有致动器不经受弯曲电场时,MEMS反射镜处于空闲位置。
在一个实施例中,使用L形互连可以提供优异的耐久性和应力释放。使用L形互连,便利于围绕彼此垂直的两个旋转轴(参见互连9024附近表示为AOR的虚线)的无缝移动。由此,致动器的弯曲和不弯曲不会对L形互连施加过度的应力。此外,L形互连相对紧凑并且可以具有小体积,这减小了强加在致动器上的机械负载,并且可以帮助增加MEMS反射镜的扫描幅度。应当注意的是,互连的不同段可以以相对于彼此(和/或相对于MEMS反射镜和/或相对于致动器)不同于九十度的角度为朝向。这些角度可以基本上等于九十度(基本上可以意味着不超过5%、10%、15%或20%的偏差等)。还应当注意的是,L形互连可以由包括单个段或多于一对段的互连来代替。具有多于单个段的互连可以包括彼此相等的段和/或彼此不同的段。段可以因形状、尺寸、横截面或任何其它参数而不同。互连还可以包括线性段和/或非线性段。互连可以以任何方式连接到MEMS反射镜和/或致动器。
图58图示了连接在圆形MEMS反射镜9002与四个致动器9011、9012、9013和9014之间的四个互连9021'、9022'、9023'和9024'。每个互连的第一段和第二段通过关节连接。例如,互连9021'包括第一段90212、第二段90211和关节(joint)90213,该关节90213连接到第一段和第二段并便于第一与第二段之间的相对移动。关节可以是球窝关节或任何其它类型的关节。
图59图示了互连的十个非限制性示例。互连90215、90216、90217、90218和90219不包括关节。互连90215'、90216'、90217'、90218'和90219'包括至少一个关节。此外,图59图示了包括线性段、非线性段、一个段、两个段甚至九个段的互连。互连可以包括任何数量的段、具有任何形状的段,并且可以包括零到多个关节。
对机械振动的响应
扫描单元(例如,扫描单元104)可以包括MEMS反射镜、致动器、互连器和激光雷达系统的其它结构元件。扫描单元104可以经受沿着不同方向传播的机械振动。例如,当车辆从一个点移动到另一个点时,安装在车辆中的激光雷达系统可以经受不同的振动(来自不同的方向)。如果所有致动器具有相同的结构和维度,那么该单元对一些频率的响应会非常高(高Q因子)。通过在致动器之间引入某种不对称性,扫描单元104可以对更多频率作出反应,但是,反应可以更温和(低Q因子)。
图60图示了第一对致动器9011和9013,它们彼此相对并且比第二对致动器9012和9014的致动器更短(短ΔL 9040)。致动器9012和9014彼此相对并且朝向致动器9011和9013。图60还图示了L形互连9021、9022、9023和9024,以及圆形MEMS反射镜9002。该单元的谐振频率可以在机械振动的频率范围之外。该单元的谐振频率可以超过某个频率范围的最大频率至少两倍。该单元的谐振频率在四百赫兹和一千赫兹之间。
图61A图示了围绕致动器9011、9012、9013和9014、互连9021、9022、9023和9024、以及MEMS反射镜9002的框架9050。致动器9011、9012、9013和9014分别在其基部9071、9072、9073和9074连接到框架9050。在一个实施例中,基部的宽度可以是致动器的整个长度的任何分数(例如,低于50%)。此外,基部可以定位在从致动器的连接点到互连的任何距离处。例如,基部可以定位在致动器的一端附近,该端与致动器的连接到互连的端相对。
图61B图示了根据当前公开主题的示例的、围绕致动器9511、9512、9513和9514的框架9550,致动器9511、9512、9513和9514经由心轴9590连接到MEMS反射镜9002,该MEMS反射镜9002定位在与框架9550的平面不同的平面上。为简单起见,未示出致动器9511、9512、9513和9514与心轴9590之间的互连。那些互连可以具有与上面关于互连9021、9022、9023和9024所讨论的那些相似的形状和特点,但不必如此。如图61A中所例示的,MEMS反射镜9002可以由致动器致动,致动器位于与MEMS反射镜9002的平面不同的平面中。致动器9511、9512、9513和9514的移动通过心轴9590被传动到MEMS反射镜9002,该心轴9590的一端连接到致动器,另一端连接到MEMS反射镜9002的基部表面。要注意的是,心轴9590可以由任何种类的刚性连接器代替。参考使心轴移动的致动器(当然可以是任何其它数量,并且不必是如图所示的四个),要注意的是,可以使用任何种类的致动技术来致动这些致动器,例如,压电致动、静电致动、电磁致动、机电致动,包括本公开中讨论的任何致动方法。要注意的是,MEMS反射镜可以在不同平面上实现致动,用于一维(1D)扫描或二维(2D)扫描。
所公开的MEMS反射镜9002的致动组件在反射表面平面后面的不同平面中的位置允许创建反射器阵列(诸如反射器阵列312),该阵列包括彼此非常靠近地定位的多个反射器。这增加了反射器阵列的表面的可用部分,并减少了不期望的反射的量(从反射器组件的、不是反射镜表面的部分反射)。而且,将移动的致动器定位在MEMS反射镜9002后面(并且远离系统中光的光学发送路径)减少了在非预期方向上从移动的致动器反射的光子的量,从而降低了系统中的噪声电平。MEMS反射镜9002和致动表面(其包括致动器和框架9550)可以在两个不同的晶片上制造,并且以不同的方式彼此连接,诸如本领域中已知的那些方式。
使用可变电容器监视MEMS反射镜
与本公开一致,可以通过监视(经由互连)连接到MEMS反射镜的致动器的弯曲,来估计MEMS反射镜的朝向。例如,激光雷达系统100可以包括一个或多个可变电容器。可以每致动器有一个可变电容器、可以每致动器有多于单个可变电容器、和/或比致动器少的可变电容器。对于每个可变电容器,可变电容器的电容表示框架与致动器之间的空间关系。可变电容器的电容可以是可变电容器的连接到框架的一个或多个板与可变电容器的连接到致动器(尤其是连接到致动器的面向框架的圆周)的一个或多个其它板之间的重叠范围的函数。
图62图示了包围致动器9011、9012、9013和9014、互连9021、9022、9023和9024、以及MEMS反射镜9002的框架9050。图62还图示了在框架9050与致动器9011之间形成的可变电容器9061。可变电容器9061包括连接到致动器的多个第一板90612和连接到框架的多个第二板90611。在至少三个致动器和框架之间具有至少三个可变电容器会是有益的。为了简化解释,仅示出了单个可变电容器。可变电容器可以位于沿着致动器的圆周的任何地方,并且位于距致动器的连接到互连的圆周的任何距离处。此外,可以基于可变电容器的板的形状和尺寸、以及可以由致动器的不同部分经历的弯曲量,来确定可变电容器的位置。例如,将可变电容器定位在基部附近将导致第一板和第二板之间的重叠区域的改变较小,而将可变电容器定位在到互连的连接点附近可以导致第一板和第二板之间缺少重叠。
图62还图示了(从左到右)第一板和第二板(90611和90612)完全重叠,然后(随着致动器开始弯曲)大部分重叠(重叠区域9068),然后当致动器继续弯曲时仅略微重叠(小的重叠区域9068)。第一板90612彼此并联耦接。第二板90611彼此并联耦接。第一板和第二板耦合到电容传感器9065,电容传感器9065被配置为感测可变电容器的电容。激光雷达系统的控制器可以基于一个或多个可变电容器的电容,来估计MEMS反射镜的朝向。
图63图示了围绕致动器9011、9012、9013和9014、互连9021、9022、9023和9024、以及MEMS反射镜9002的框架9050。图63还图示了连接到致动器9011、9012、9013和9014的电极9081、9082、9083和9084。电极可以连接到致动器的任何部分。致动器可以连接到多个电极。电极通常沿着致动器的重要区域展开。
使用虚设压电元件监视MEMS反射镜
与本公开一致,所提供的电极可以传达用于使致动器弯曲和/或用于感测致动器的弯曲的电信号。可以通过使用包括虚设元件的致动器,来监视致动器的弯曲。虚设元件可以是虚设电极和虚设压电元件。虚设压电元件机械地耦合到经受弯曲电场的压电元件。该压电元件被弯曲。这种弯曲使得虚设压电元件弯曲。可以通过耦合到虚设压电元件的电极,来测量虚设压电元件的弯曲。
图64图示了围绕致动器9011、9012、9013和9014、互连9021、9022、9023和9024、以及MEMS反射镜9002的框架9050。图64还图示了连接到致动器9011、9012、9013和9014的压电元件9111、9112、9113和9114的电极9081、9082、9083和9084。电极9081、9082、9083和9084被用于传达弯曲控制信号。图64还图示了连接到致动器9011、9012、9013和9014的虚设压电元件9111'、9112'、9113'和9114'的电极9091、9092、9093和9094。电极9091、9092、9093和9094被用于测量虚设压电元件9111'、9112'、9113'和9114'的状态。电极9081、9082、9083、9084、9091、9092、9093和9094通常覆盖压电元件的重要部分。应当注意的是,每个压电元件位于电极对之间,并且图64仅图示了外部电极。未示出位于致动器的基板(或主体)与压电元件之间的内部电极。
图65是致动器9011、反馈传感器9142和转向源信号9140的横截面图。致动器9011可以包括基板(或主体)层9121、内部电极9081'、内部虚设电极9091'、压电元件9111、虚设压电元件9111'、外部电极9081和外部虚设电极9091。转向信号传感器9140将转向信号SS19151和SS2 9152发送到外部电极9081和内部电极9081',用于使致动器9011弯曲。反馈传感器9142通过测量内部虚设电极9091'与外部虚设电极9091之间的电场,来感测绝缘(dully)压电元件9111'的弯曲。应当注意的是,可以仅提供一个转向信号。
图66图示了致动器9011、9012、9013和9014中的每个致动器可以由四个主要的层形成:外部电极层(9124、9134、9144和9154)、压电层(9123、9133、9143和9153)、内部电极层(9122、9132、9142和9152)、以及基板(或主体)层(9121、9131、9141和9151)。
通过测量介电系数变化来监视MEMS反射镜
与本公开一致,致动器的弯曲可以改变压电元件的介电系数。因而,可以通过测量压电元件的介电系数的变化,来监视致动器。可以向致动器馈送由来自控制信号源的一个或多个控制信号诱发的电场,这一个或多个控制信号被馈送到激光雷达系统100的一个或多个电极,例如,位于压电元件的相对侧上的一对电极。一个控制信号、两个控制信号和/或控制信号之间的差异都具有交流偏置分量和转向分量。主体的弯曲是响应于转向分量的。在一些实施例中,交流偏置分量的频率可以超过转向分量的最大频率(例如,至少十倍);并且,交流偏置分量的振幅可以以任何因子低于转向分量的振幅,例如,不小于一百倍。例如,转向分量可以是几十伏特,而交流偏置分量可以在几十到几百毫伏特之间。因此,激光雷达系统100的传感器可以被配置为感测由于致动器的弯曲引起的致动器的介电系数变化。
图67图示了包括外部电极层9124、压电层9123、内部电极层9122和基板层9121的致动器。转向信号源9140将控制信号SS1 9151发送到外部电极层9124,并将控制信号SS29152发送到内部电极层9122。控制信号SS1 9151和SS2 9152中的至少一个或控制信号之间的差异包括交流偏置分量和转向分量。反馈传感器9124耦合到外部电极层9124,并且耦合到内部电极层9122,并且可以(直接或间接地)感测压电层9123的介电系数的变化。反馈传感器9124可以是例如电流振幅传感器、或电流振幅传感器和相移传感器的组合。激光雷达传感器可以包括控制器,该控制器可以被配置为(从反馈传感器9142)接收关于介电系数变化的信息并确定MEMS反射镜的方向。图67还图示了转向信号源9140包括初始信号源,该初始信号源输出控制信号SS1 9151和SS2 9152的转向分量(9161和9164)。这些转向分量(通过混频器9163和9165)与交流偏置分量(由振荡器9162和9165生成)混合,以生成控制信号SS1 9151和SS2 9152。可以通过感测致动器的电阻,来监视致动器。
图68图示了两个电极9211和9212,它们位于致动器9011的两个相对端,并用于测量致动器的电阻。电极9135用于使致动器弯曲。电极9211、9212和9135电耦合到三个导体9201、9202和9203。
图69图示了在致动器9011中形成的应力释放孔(aperture)9220。图69的应力释放孔是弯曲的并且基本上彼此平行。应力释放孔的数量可以不同于四个,槽可以具有任何形状或尺寸并且可以彼此不同。在一些先前的图中,压电元件位于基板上方。应当注意的是,压电元件可以位于基板下方。压电元件可以位于基板下方和上方。
图70图示了致动器9012包括七个主要层:外部电极层9124、压电层9123、内部电极层9122、基板(或主体)层9121、附加的内部电极层9129、附加的压电层9128和附加的外部电极层9127。外部电极层9124、压电层9123和内部电极层9122位于基板层9121上方。附加的内部电极层9129、附加的压电层9128和附加的外部电极层9127位于基板层9121下方。附加的压电层9128可以与压电层9123相等,或者可以与压电层9123至少在尺寸、形状等等之一上不同。具体而言,任何电极层都可以彼此相同或可以彼此不同。附加的压电层9128和压电层9123可以彼此独立地或以依赖的方式被控制。附加的压电层9128也可以被用于使致动器向下弯曲,而压电层9123可以被用于使致动器向上弯曲。当压电层9123被激活以使致动器弯曲时,附加的压电层9128可以被用作虚设压电传感器(用于监视致动器)。在一个示例中,当压电层9128被激活以使致动器弯曲时,压电层9122可以用作虚设压电传感器(用于监视致动器)。
图71从上到下图示了(i)反射镜9002的空闲状态,(ii)向下弯曲的致动器,其降低了MEMS反射镜9002的圆周,以及(iii)向上弯曲的致动器,其提升了MEMS反射镜9002的圆周。MEMS反射镜9002经由互连9300耦合到致动器。MEMS反射镜9002可以包括由加固元件加固的薄反射表面。
图72和73图示了框架9050、以及MEMS反射镜9002的背侧。为了简化解释,未示出致动器。加固元件9003包括同心环和径向段。可以提供加固元件的任何布置和形状。
可以通过照亮MEMS反射镜9002的背侧,来监视MEMS反射镜的朝向。照亮MEMS反射镜的至少一个区域并且在至少三个位置中感测反射光会是有益的。可以通过照亮MEMS反射镜9002的背侧,来监视MEMS反射镜的朝向。照亮MEMS反射镜的背侧的至少一个区域并且在至少三个位置中感测反射光会是有益的。要注意的是,激光雷达系统100可以包括用于照亮MEMS反射镜的背侧的专用光源。该专用光源(例如,LED)可以位于反射镜后面(即,远离其用于偏转来自至少一个光源112的光的主反射侧)。可替代地,激光雷达系统100可以包括将光引导到反射镜的背侧的光学器件。在一些示例中,被引导在MEMS反射镜的背侧的光(例如,专用光源的光)被限制到反射镜的背侧区域,并且被防止到达MEMS反射镜的主反射侧。背侧传感器的信号的处理可以由处理器118执行,但也可以由集成在位于反射镜的壳内的芯片中的专用电路处理。该处理可以包括将反射信号与不同的背侧传感器(例如,9231、9232、9233)进行比较、减去这种信号、对这种信号进行归一化等等。这种信号的处理可以基于在校准阶段期间收集的信息。
图74图示了被照亮的区域9230和三个传感器9231、9232和9233,三个传感器9231、9232和9233位于MEMS反射镜下方并且被布置成感测在三个不同方向上反射的光(虚线),由此允许感测MEMS反射镜的朝向。被照亮的区域可以位于MEMS反射镜的背侧的任何位置,并且可以具有任何形状和尺寸。在实施例中,MEMS反射镜可以不与激光雷达系统的窗口平行。MEMS反射镜可以接收穿过激光雷达系统的窗口并在反射镜处偏转的光,以提供可以穿过窗口并到达激光雷达系统的其它部件(诸如光传感器)的偏转光。偏转光的一部分可以(被窗口)向后反射——朝着MEMS反射镜、框架或致动器。但是,当MEMS反射镜和窗口彼此平行时,光可以被MEMS反射镜和窗口反复地反射,由此生成不需要的光伪影。通过提供不平行于MEMS反射镜的窗口、或者当MEMS反射镜的光轴和窗口的光轴彼此不平行时,可以衰减甚至防止这些光伪影。当MEMS反射镜和窗口中的任一个是弯曲的或具有相对彼此定向的多个部分时,MEMS反射镜的部分都不应该平行于窗口的任何部分会是有益的。可以设置窗口与MEMS反射镜之间的角度,使得当MEMS反射镜处于空闲位置时或者甚至当MEMS反射镜被任何致动器移动时,窗口不会朝着MEMS反射镜反射光。
要注意的是,当反射镜的背面是基本上均匀地反射的时(例如,平坦的背面,没有加固脊部),可以实现照亮MEMS反射镜的背侧。但是,不必是这种情况,并且反射镜的背面可以被设计为以图案化的非均匀方式反射光。反射镜的背侧的图案化反射行为可以以各种方式实现,诸如表面几何形状(例如,突起、侵入)、表面纹理、不同材料(例如,硅、氧化硅、金属)等。可选地,MEMS反射镜可以包括图案化的背侧,在反射镜的背面的至少一部分上具有反射率图案,其将背侧照明(例如,来自上面提到的背侧专用光源)的图案化反射投射(cast)到背侧传感器(例如,9231、9232、9233)上。图案化的背侧可以可选地包括位于MEMS反射镜背面的可选的加固元件9003的部分,但不必如此。例如,加固元件9003可以被用于以一些角度在传感器9231等等上产生阴影(或者用于将光偏转到不同的角度),这意味着反射镜的移动会将传感器上的反射从有阴影改变为明亮。
可选地,背侧传感器(9231、9232、9233等等)的输出的处理可以考虑背侧的反射率图案(例如,由加固脊部的模式产生)。因此,该处理可以使用由背侧表面模式产生的图案化,作为正被处理的反馈的一部分。可选地,本文讨论的背侧反射镜反馈选项可以利用背侧反射率图案,该背侧反射率图案可以通过来自背侧传感器的数据来处理,其中背侧传感器位于更加靠近反射镜(与均匀反射率实现相比),这减小了MEMS组件的尺寸并改进了其封装。例如,可以设计背侧图案,使得反射图案包括暗反射与亮反射之间的锐利过渡。那些锐利的过渡意味着,即使MEMS反射镜的角度/位置的微小变化,也会造成反射到位于甚至近距离的检测器的光的显著变化。此外,反射率图案可以与反射率梯度而不是与锐利的边缘(即,光或阴影)相关联。这个实施例可以从锐利边缘的第一选项中获得线性度,因此它可以简化后处理过程,并且还支持更大的角度范围并且将可能对组件容限不那么敏感。
与激光雷达系统的窗口不平行的MEMS反射镜
与本公开一致,MEMS反射镜可以接收穿过激光雷达系统的窗口并在反射镜处偏转的光,以提供可以穿过窗口并到达激光雷达系统100的其它部件(诸如光传感器)的偏转光。偏转光的一部分可以(被窗口)向后朝着MEMS反射镜、框架或致动器反射。当MEMS反射镜和窗口彼此平行时,光可以被MEMS反射镜和窗口重复地反射,由此生成不想要的光伪影。通过提供不平行于MEMS反射镜的窗口、或者当MEMS反射镜的光轴和窗口的光轴彼此不平行时,可以衰减甚至防止这些光伪影。当MEMS反射镜和窗口中的任一个是弯曲的或具有相对彼此定向的多个部分时,MEMS反射镜的部分都不应该平行于窗口的任何部分会是有益的。可以设置窗口与MEMS反射镜之间的角度,使得当MEMS反射镜处于空闲位置时或者甚至当MEMS反射镜被任何致动器移动时,窗口不会朝着MEMS反射镜反射光。
图75图示了包括窗口9322的壳体9320。壳体封住MEMS反射镜9002。壳体9320可以是密封壳体,其可以使用晶片级封装或任何其它技术制造。壳体9320包括基部9310。基部9310可以是透明的或不透明的。当通过照明监视MEMS反射镜9002的背侧时,透明基部可以是有用的。光9601穿过窗口9322并照射在MEMS反射镜9002上。MEMS反射镜9002使光偏转,以提供偏转光9602。偏转光的一部分可以穿过窗口9322,但是另一部分9603被窗口9322朝着壳体9320反射。因而,部分9603可以不朝着MEMS反射镜9002反射。
图76图示了壳体9320包括上部部分。上部部分包括反射镜9002以及两个侧壁9321和9323。壳体的中间部分可以由包括各种层(诸如9121和9122)的集成电路的外部部分(诸如但不限于框架9050)形成。集成电路可以包括MEMS反射镜9002(具有上反射表面9004、层9121和9122的各种中间元件,以及加固元件9003)、互连9022和9021、致动器9012和9014。键合层9301可以位于集成电路和基部9310之间。
图77图示了包括透明基部的壳体9320。为了简化解释,这个图图示了照明单元9243、分束器9263和传感器9253。照明单元9243和光传感器9253位于壳体外部。
图78图示了位于致动器和互连顶部的抗反射层9380。图79图示了位于致动器、框架和互连顶部的抗反射层9380。图80图示了位于框架顶部的抗反射层9380。上面提到的抗反射层中的任何一个可以由可以与层不同的一个或多个抗反射元件代替。抗反射元件可以平行于窗口、相对于窗口定向等。
图81图示了具有与MEMS窗口平行的窗口的壳体。壳体包括透明基部。为了简化解释,这个图图示了照明单元9243、分束器9263和传感器9253。照明单元9243和光传感器9253位于壳体外部。MEMS反射镜可以具有任何形状或尺寸。例如,MEMS反射镜可以是矩形的。
图82和83图示了矩形MEMS反射镜9402、两个致动器9404和9407、两个互连9403和9406、电极9410和9413、以及矩形框架,该框架包括上部部分9405、下部部分9408、以及连接在框架的上部部分和下部部分之间的两个绝缘部分9411和9412。在图82中,致动器9404和9407彼此平行相对,面向MEMS反射镜的相对侧并连接到框架的相对部分。在图83中,致动器9404和9407彼此平行相对,面向MEMS反射镜的相对侧并连接到框架的同一侧。
图84图示了矩形MEMS反射镜9402、四个致动器9404、9407、9424、9427、四个互连9403、9406、9423和9426,四个电极9410、9413、9440和9443、以及矩形框架,该矩形框架包括两个上部部分9405和9435、两个下部部分9408和9438以及连接在该框架的上部部分和下部部分之间的四个绝缘部分9411、9412、9441和9442。四个致动器面向MEMS反射镜9402的四个刻面,并且每个致动器连接到框架的不同刻面。虽然图56-84图示了单个MEMS反射镜,但是激光雷达系统100可以包括多个MEMS反射镜的阵列。可以监视任何数量的MEMS反射镜,以便提供用于控制多个MEMS反射镜中的任何MEMS反射镜的反馈。例如,如果存在比1和N之间的任何数量更多的N个MEMS反射镜,那么可以监视MEMS反射镜以提供可以用于监视N个MEMS反射镜中的任何数量的MEMS反射镜的反馈。
在一个实施例中,激光雷达系统100可以包括用于接收光的窗口;用于使光偏转以提供偏转光的微机电(MEMS)反射镜;框架;致动器;可以机械连接在致动器和MEMS反射镜之间的互连元件。每个致动器可以包括主体和压电元件。压电元件可以被配置为在经受电场时使主体弯曲并使MEMS反射镜移动。当MEMS反射镜位于空闲位置时,它可以相对于窗口定向。光可以是可以在激光雷达系统的视场的至少一个片段内的反射光。光可以是来自激光雷达系统的光源的发送光。在第一时段期间,光是来自激光雷达系统的光源的发送光,并且在第二时段期间,光是在激光雷达系统的视场的至少一个片段内的反射光。
在另一个实施例中,激光雷达系统100可以包括可以位于窗口和框架之间的至少一个抗反射元件。抗反射元件可以相对于窗口定向。MEMS反射镜和窗口之间的朝向角可以在20到70度之间。窗口可以被成形和定位,以防止偏转光的任何部分朝着MEMS反射镜的反射。即使当被至少一个致动器移动时,MEMS反射镜也可以对着窗口定向。互连元件中的互连元件可以包括可以连接到MEMS反射镜的第一段和可以连接到致动器的第二段,其中第一段和第二段可以彼此机械耦合。
在相关实施例中:第一段可以与第二段成大致90度而定向;第一段可以连接到MEMS反射镜的圆周,并且可以与MEMS反射镜的圆周成大致90度而定向;当MEMS反射镜位于空闲位置时,第一段可以指向MEMS反射镜的中心;第二段连接到致动器的圆周,并且可以与致动器的圆周成大致90度而定向;第二段的纵轴可以基本上平行于致动器的纵轴;当MEMS反射镜位于空闲位置时,第一段和第二段可以布置成L形;互连元件可以包括至少一个附加段,该附加段可以机械地耦合在第一段和第二段之间;第一段与第二段可以按长度彼此不同;第一段与第二段可以按宽度彼此不同;第一段与第二段可以按横截面的形状彼此不同;当MEMS反射镜位于空闲位置时,第一段和第二段可以位于与MEMS反射镜相同的平面。第一段和第二段可以位于与致动器相同的平面。
在另一个实施例中,激光雷达系统100可以包括可以具有椭圆形状的MEMS反射镜(例如,MEMS反射镜可以是圆形的),并且其中致动器可以包括至少三个独立控制的致动器。每对致动器和互连元件可以直接连接在框架和MEMS反射镜之间。MEMS反射镜可以可操作为绕两个旋转轴枢转。
在相关实施例中,致动器可以包括至少四个独立控制的致动器;MEMS反射镜的纵轴与光束的纵轴对应;MEMS反射镜的纵轴与激光雷达系统的检测器阵列的纵轴对应;致动器可以包括第一对致动器和第二对致动器,第一对致动器可以沿着第一方向彼此相对,第二对致动器可以沿着第二方向彼此相对;第一对致动器可以与第二对致动器不同;窗口、MEMS反射镜、框架和致动器可以构成单元;该单元可以对沿第一方向传播的机械振动和对沿着第二方向传播的机械振动不同地作出响应;在空闲时,第一对的致动器可以具有与第二对的致动器在空闲时的长度大不相同的长度;在空闲时,第一对的致动器可以具有与第二对的致动器在空闲时的形状大不相同的形状;在操作期间,激光雷达系统可以经受具有某个频率范围的机械振动;单元的谐振频率可以在该某个频率范围之外;该单元的谐振频率可以超过该某个频率范围的最大频率至少两倍;该单元的谐振频率可以在四百赫兹到一千赫兹之间;致动器可以包括可以位于该致动器的主体下方的压电元件,而另一个致动器可以包括可以位于该另一个致动器的主体上方的压电元件;致动器可以包括可以位于该致动器的主体上方的压电元件;激光雷达系统还可以包括控制器,该控制器可以被配置为从传感器接收附加压电元件的状态的指示;控制器可以被配置为基于附加压电元件的状态的指示来控制致动器;并且控制器可以被配置为基于附加压电元件的状态的指示来确定MEMS反射镜的朝向。
在另一个实施例中,激光雷达系统100可以包括可变电容器和传感器。可变电容器的电容表示框架与致动器中的致动器之间的空间关系。传感器可以被配置为感测可变电容器的电容。
在相关实施例中,可变电容器可以包括可以连接到致动器的第一板和可以连接到框架的第二板。框架和致动器之间的空间关系决定了第一板和第二板之间的重叠;可变电容器可以包括可以连接到致动器的多个第一板和可以连接到框架的多个第二板;致动器具有可以机械连接到框架的第一端、以及可以与第一端相对并且可以机械地连接到互连元件的第二端;可变电容器和第一端之间的距离超过可变电容器和第二端之间的距离;致动器具有可以机械地连接到框架的第一端、以及可以与第一端相对并且可以机械地连接到互连元件的第二端;并且可变电容器和第一端之间的距离可以小于可变电容器和第二端之间的距离。
在另一个实施例中,激光雷达系统100可以包括控制器,该控制器可以被配置为接收可变电容器的电容的指示,并且基于可变电容器的电容来确定MEMS反射镜的朝向。压电元件可以被配置为当经受由来自控制信号源的控制信号诱发的电场时使主体弯曲并使MEMS反射镜移动,该控制信号可以被馈送到激光雷达系统的电极。
控制信号具有交流偏置分量和转向分量。主体的弯曲可以响应于转向分量,其中交流偏置分量的频率超过转向分量的最大频率。传感器可以被配置为感测由于致动器的弯曲引起的致动器的介电系数变化。
在相关实施例中,传感器可以是电流振幅传感器;传感器也可以是电流振幅传感器和相移传感器;交流偏置分量的振幅可以比转向分量的振幅低至少一百倍;激光雷达系统还可以包括控制器,该控制器可以被配置为接收关于介电系数变化的信息,并确定MEMS反射镜的朝向;窗口可以属于壳体。壳体可以是封住MEMS反射镜、框架和致动器的密封壳体;壳体可以包括可以位于MEMS反射镜下方的透明区域;激光雷达系统还可以包括至少一个光学传感器和至少一个光源,该至少一个光源可以被配置为发送至少一个光束通过透明区域并且朝着MEMS反射镜的背侧;至少一个光学传感器可以被配置为接收来自MEMS反射镜的背侧的光;激光雷达系统可以包括控制器,该控制器可以被配置为基于来自至少一个光学传感器的信息,确定MEMS反射镜的朝向;壳体的不同部分可以通过晶片级封装形成;框架可以属于形成壳体的底部区域的集成电路;互连元件中的互连元件可以包括多个段,这些段可以通过至少一个关节彼此机械耦合;关节可以是球窝关节;并且关节也可以是MEMS关节。
出于说明的目的给出了前述描述。它并非详尽的,并且不限于所公开的精确形式或实施例。考虑到所公开的实施例的说明书和实践,修改和适应对于本领域技术人员来说是显而易见的。此外,虽然所公开的实施例的各方面被描述为存储在存储器中,但是本领域技术人员将认识到的是,这些方面也可以存储在其它类型的计算机可读介质上,诸如辅助存储设备,例如硬盘或CD ROM,或其它形式的RAM或ROM、USB介质、DVD、蓝光或其它光驱介质。
基于书面描述和所公开的方法的计算机程序在有经验的开发者的技能范围内。各种程序或程序模块可以使用本领域技术人员已知的任何技术来创建,或者可以结合现有软件来设计。例如,程序部分或程序模块可以在.Net框架、.Net紧凑框架(以及相关语言,诸如Visual Basic、C等等)、Java、C++、Objective-C、HTML、HTML/AJAX组合、XML或包含Java小程序的HTML中设计或借助于它们来设计。
而且,虽然本文已经描述了说明性实施例,但是具有等同元件、修改、省略、组合(例如,跨各种实施例的各方面)、适应和/或更改的任何和所有实施例的范围将被本领域技术人员基于本公开而理解。权利要求书中的限制应当基于权利要求书中采用的语言广泛地解释,并且不限于本说明书中或在申请的审查期间描述的示例。这些示例应当被解释为非排他性的。此外,可以以任何方式修改所公开的方法的步骤,包括通过对步骤重新排序和/或插入或删除步骤。因此,意图是说明书和实施例仅被认为是说明性的,真正的范围和精神由以下权利要求书及其等同物的全部范围指示。

Claims (29)

1.一种激光雷达系统,包括:
至少一个处理器,被配置为:
访问存储在存储器中的光学预算,该光学预算与至少一个光源相关联并且定义在预定时间段中可由所述至少一个光源发射的光量;
接收指示所述激光雷达系统的平台条件的信息;
基于接收到的信息并且通过选择与扫描速率、扫描模式、扫描角度、空间光分布和时间光分布中的至少两个相关联的参数值,动态地分摊所述光学预算,使得根据所选择的参数值对所述激光雷达系统的视场扫描期间的光投射符合存储在存储器中的光学预算;以及
根据所动态分摊的光学预算,输出信号,用于以使得光通量能够在对所述视场进行扫描时变化的方式来控制所述至少一个光源。
2.如权利要求1所述的激光雷达系统,其中所述至少一个处理器还被配置为控制至少一个光偏转器以便扫描所述视场,并且其中在扫描周期期间,所述至少一个光偏转器移动通过多个不同的瞬时位置。
3.如权利要求2所述的激光雷达系统,其中所述至少一个处理器还被配置为协调所述至少一个光偏转器和所述至少一个光源,使得当所述至少一个光偏转器位于特定瞬时位置时,光束的一部分被所述至少一个光偏转器从所述至少一个光源朝着所述视场中的物体偏转,并且该光束的该部分从所述物体的反射被所述至少一个光偏转器朝着至少一个传感器偏转。
4.如权利要求2所述的激光雷达系统,还包括瞄准所述至少一个光偏转器的多个光源,并且其中至少一个处理器还被配置为控制所述至少一个光偏转器,使得当所述至少一个光偏转器位于特定瞬时位置时,来自所述多个光源的光朝着所述视场的多个独立的区域被投射。
5.如权利要求2所述的激光雷达系统,其中所述至少一个处理器还被配置为根据所动态分摊的光学预算,来协调所述至少一个光源和所述至少一个光偏转器。
6.如权利要求1所述的激光雷达系统,其中每单个光源的平均光学预算在10毫瓦至1000毫瓦之间。
7.如权利要求1所述的激光雷达系统,其中所述光学预算定义在单个扫描周期中可发射的光量。
8.如权利要求1所述的激光雷达系统,其中所述光学预算定义在标准时间单位内可发射的光量。
9.如权利要求1所述的激光雷达系统,其中所述激光雷达系统的平台条件包括指示所述激光雷达系统的至少一个部件的温度的信息。
10.如权利要求1所述的激光雷达系统,其中所述至少一个处理器还被配置为基于所述接收到的信息来确定所述空间光分布,使得在单个扫描周期期间,朝着所述视场的第一部分投射比朝着所述视场的第二部分更多的光。
11.如权利要求10所述的激光雷达系统,其中所述至少一个处理器还被配置为获得所述第一部分作为感兴趣区域的标识以及所述第二部分作为不感兴趣区域的标识。
12.如权利要求11所述的激光雷达系统,其中所获得的所述第一部分作为感兴趣区域的标识基于其中部署有所述激光雷达系统的车辆的当前驾驶模式。
13.如权利要求10所述的激光雷达系统,其中所述至少一个处理器还被配置为确定所述第二部分中物体的存在,并防止投射到所述第二部分的光的累积能量密度超过最大允许曝光。
14.如权利要求1所述的激光雷达系统,其中所述至少一个处理器还被配置为确定时间光分布,并控制光通量,使得在第一扫描周期中投射的总光量高于在第二后续扫描周期中投射的总光量。
15.如权利要求1所述的激光雷达系统,其中,作为所述光学预算的动态分摊的至少一部分,所述至少一个处理器被配置为确定用于以下当中的至少一个的扫描速率:所述视场的近场部分、所述视场的远场部分、所述视场的窄角扇区、以及所述视场的广角扇区。
16.如权利要求1所述的激光雷达系统,其中所述至少一个处理器还被配置为确定用于至少一个扫描周期的扫描模式,其中所述扫描模式基于对以下场景类型中的至少一个的分辨来确定:在高速公路上驾驶、越野驾驶、在雨中驾驶、在雪中驾驶、在雾中驾驶、在城市地区驾驶、在农村地区驾驶、在靠近预定义机构的地区驾驶、左转、右转、跨车道、以及接近人行横道。
17.如权利要求1所述的激光雷达系统,其中所述至少一个处理器还被配置为基于所述激光雷达系统的操作参数和由所述激光雷达系统提供的检测信息中的至少一个,来修改所述光学预算。
18.如权利要求1所述的激光雷达系统,其中所述光学预算与部署在车辆周围的不同位置的多个光源相关联,并且其中所述光学预算定义在预定时间段内可用于从所述多个光源分摊的可发射光量,并且其中所述至少一个处理器还被配置为基于所述接收到的信息来动态地分摊所述光学预算。
19.如权利要求18所述的激光雷达系统,其中所述处理器被配置为改变在所述多个光源内关于第一光源的光学预算分摊相对于在所述多个光源内关于第二光源的光学预算分摊的比率。
20.如权利要求1所述的激光雷达系统,其中所述激光雷达系统的平台条件包括车辆操作参数、环境条件、驾驶决策、车辆的导航状态或功率管理模式中的至少一个。
21.如权利要求20所述的激光雷达系统,其中:
所述环境条件包括天气条件、照明条件、环境温度和与预定义类型的机构的接近度中的至少一个;
所述驾驶决策包括农村相关的指示、城市相关的指示、包含所述激光雷达系统的车辆的当前速度、下一个驾驶操纵、驾驶导航事件、手动驾驶指示和自主驾驶指示中的至少一个;以及
所述功率管理模式包括正常功率操作模式和功率节省模式的指示中的至少一个。
22.如权利要求1所述的激光雷达系统,其中根据所动态分摊的光学预算,以使得光通量能够在对所述视场进行扫描时变化的方式来控制所述至少一个光源包括:使光以第一光强度朝着第一感兴趣区域中的至少一个视场像素投射,并使光以第二光强度朝着第二感兴趣区域中的至少一个视场像素投射。
23.如权利要求22所述的激光雷达系统,其中所述至少一个视场像素对应于视场的一部分,来自该部分的反射光被转换为单个数据点。
24.如权利要求1所述的激光雷达系统,其中根据所动态分摊的光学预算,以使得光通量能够在对所述视场进行扫描时变化的方式来控制所述至少一个光源包括:增加发射到至少一个视场像素的脉冲数量。
25.一种用于使用激光雷达系统来检测物体的方法,该方法包括:
访问存储在存储器中的光学预算,该光学预算与至少一个光源相关联并且定义在预定时间段中可由所述至少一个光源发射的光量;
接收关于车辆操作参数的信息,所述车辆操作参数包括以下当中的至少一个:环境条件、驾驶决策和功率管理模式;
基于接收到的信息并且通过选择与扫描速率、扫描模式、扫描角度、空间光分布和时间光分布中的至少两个相关联的参数值,动态地分摊所述光学预算,使得根据所选择的参数值对所述激光雷达系统的视场扫描期间的光投射符合存储在存储器中的光学预算;以及
根据所动态分摊的光学预算,输出信号,用于以使得光通量能够在对所述视场进行扫描时变化的方式来控制所述至少一个光源。
26.如权利要求25所述的方法,其中基于空间光分布动态地分摊所述光学预算包括,在单个扫描周期期间,朝着所述视场的第一部分比朝着所述视场的第二部分投射更多的光。
27.如权利要求26所述的方法,还包括获得所述第一部分作为感兴趣区域的标识以及所述第二部分作为不感兴趣区域的标识。
28.一种存储指令的非暂时性计算机可读存储介质,当指令由至少一个处理器执行时,使所述至少一个处理器执行用于使用激光雷达系统来检测物体的方法,该方法包括:
访问存储在存储器中的光学预算,该光学预算与至少一个光源相关联并且定义在预定时间段中可由所述至少一个光源发射的光量;
接收关于车辆操作参数的信息,所述车辆操作参数包括以下当中的至少一个:环境条件、驾驶决策和功率管理模式;
基于接收到的信息并且通过选择与扫描速率、扫描模式、扫描角度、空间光分布和时间光分布中的至少两个相关联的参数值,动态地分摊所述光学预算,使得根据所选择的参数值对所述激光雷达系统的视场扫描期间的光投射符合存储在存储器中的光学预算;以及
根据所动态分摊的光学预算,输出信号,用于以使得光通量能够在对所述视场进行扫描时变化的方式来控制所述至少一个光源。
29.一种激光雷达系统,用于动态地分摊在预定时间段内可由至少一个光源发射的光量,该激光雷达系统包括:
至少一个处理器,被配置为:
接收关于车辆操作参数的信息,所述车辆操作参数包括以下当中的至少一个:环境条件、驾驶决策和功率管理模式;
基于接收到的信息并且通过选择与扫描速率、扫描模式、扫描角度、空间光分布和时间光分布中的至少两个相关联的参数值,动态地分摊光学预算,使得根据所选择的参数值对所述激光雷达系统的视场扫描期间的光投射符合所述光学预算;以及
根据对由所述至少一个光源发射的光的动态分摊,输出信号,用于以使得光通量能够在扫描视场时变化的方式来控制所述至少一个光源。
CN201910565709.9A 2016-09-20 2017-09-20 激光雷达系统和使用其检测物体的方法及介质 Active CN110286388B (zh)

Applications Claiming Priority (29)

Application Number Priority Date Filing Date Title
US201662396863P 2016-09-20 2016-09-20
US201662396858P 2016-09-20 2016-09-20
US201662396864P 2016-09-20 2016-09-20
US62/396,858 2016-09-20
US62/396,864 2016-09-20
US62/396,863 2016-09-20
US201662397379P 2016-09-21 2016-09-21
US62/397,379 2016-09-21
US201662405928P 2016-10-09 2016-10-09
US62/405,928 2016-10-09
US201662412294P 2016-10-25 2016-10-25
US62/412,294 2016-10-25
US201662414740P 2016-10-30 2016-10-30
US62/414,740 2016-10-30
US201662418298P 2016-11-07 2016-11-07
US62/418,298 2016-11-07
US201662422602P 2016-11-16 2016-11-16
US62/422,602 2016-11-16
US201662425089P 2016-11-22 2016-11-22
US62/425,089 2016-11-22
US201762441581P 2017-01-03 2017-01-03
US201762441574P 2017-01-03 2017-01-03
US201762441583P 2017-01-03 2017-01-03
US62/441,574 2017-01-03
US62/441,583 2017-01-03
US62/441,581 2017-01-03
US201762521450P 2017-06-18 2017-06-18
US62/521,450 2017-06-18
CN201780057688.9A CN109997057B (zh) 2016-09-20 2017-09-20 激光雷达系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780057688.9A Division CN109997057B (zh) 2016-09-20 2017-09-20 激光雷达系统和方法

Publications (2)

Publication Number Publication Date
CN110286388A CN110286388A (zh) 2019-09-27
CN110286388B true CN110286388B (zh) 2020-11-03

Family

ID=60413226

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202010555640.4A Pending CN111796255A (zh) 2016-09-20 2017-09-20 激光雷达系统和使用其检测物体的方法及车辆
CN201780057688.9A Active CN109997057B (zh) 2016-09-20 2017-09-20 激光雷达系统和方法
CN201910565709.9A Active CN110286388B (zh) 2016-09-20 2017-09-20 激光雷达系统和使用其检测物体的方法及介质

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202010555640.4A Pending CN111796255A (zh) 2016-09-20 2017-09-20 激光雷达系统和使用其检测物体的方法及车辆
CN201780057688.9A Active CN109997057B (zh) 2016-09-20 2017-09-20 激光雷达系统和方法

Country Status (6)

Country Link
US (17) US10031232B2 (zh)
EP (6) EP3859396A1 (zh)
JP (6) JP6697636B2 (zh)
KR (7) KR102496509B1 (zh)
CN (3) CN111796255A (zh)
WO (1) WO2018055449A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023017321A1 (en) * 2022-01-30 2023-02-16 Saemi Zohreh Laser smoke / motion / vibration / temperature detector without the need for electrical energy

Families Citing this family (442)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10676057B2 (en) * 2015-10-28 2020-06-09 Lg Innotek Co., Ltd. Optical output module, vehicle including same, and control method therefor
US10908262B2 (en) 2016-02-18 2021-02-02 Aeye, Inc. Ladar transmitter with optical field splitter/inverter for improved gaze on scan area portions
US10761196B2 (en) 2016-02-18 2020-09-01 Aeye, Inc. Adaptive ladar receiving method
US10042159B2 (en) 2016-02-18 2018-08-07 Aeye, Inc. Ladar transmitter with optical field splitter/inverter
US9933513B2 (en) 2016-02-18 2018-04-03 Aeye, Inc. Method and apparatus for an adaptive ladar receiver
JP6645254B2 (ja) * 2016-02-23 2020-02-14 株式会社デンソー 物体認識装置
AU2017250112B2 (en) 2016-04-12 2020-09-17 Quidient, Llc Quotidian scene reconstruction engine
US10761195B2 (en) 2016-04-22 2020-09-01 OPSYS Tech Ltd. Multi-wavelength LIDAR system
US10234856B2 (en) * 2016-05-12 2019-03-19 Caterpillar Inc. System and method for controlling a machine
EP3485314A4 (en) * 2016-07-16 2020-02-19 Ideal Perceptions Llc INTERACTIVE PROJECTION SYSTEM
DE102017205195A1 (de) * 2016-07-28 2018-02-01 Robert Bosch Gmbh Laserentfernungsmessgerät
US10502574B2 (en) * 2016-09-20 2019-12-10 Waymo Llc Devices and methods for a sensor platform of a vehicle
US10277084B1 (en) 2016-10-19 2019-04-30 Waymo Llc Planar rotary transformer
DE102016122194A1 (de) * 2016-11-18 2018-05-24 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines optoelektronischen Sensors eines Kraftfahrzeugs mit variabler Ansteuerung einer Lichtquelle, optoelektronischer Sensor, Fahrerassistenzsystem sowie Kraftfahrzeug
US20180150703A1 (en) * 2016-11-29 2018-05-31 Autoequips Tech Co., Ltd. Vehicle image processing method and system thereof
US10469758B2 (en) 2016-12-06 2019-11-05 Microsoft Technology Licensing, Llc Structured light 3D sensors with variable focal length lenses and illuminators
US10554881B2 (en) 2016-12-06 2020-02-04 Microsoft Technology Licensing, Llc Passive and active stereo vision 3D sensors with variable focal length lenses
US10942257B2 (en) 2016-12-31 2021-03-09 Innovusion Ireland Limited 2D scanning high precision LiDAR using combination of rotating concave mirror and beam steering devices
US11009605B2 (en) 2017-01-05 2021-05-18 Innovusion Ireland Limited MEMS beam steering and fisheye receiving lens for LiDAR system
CN110268282B (zh) * 2017-01-24 2023-11-14 美国亚德诺半导体公司 从动态位置提供接收光的动态视场
US10168423B2 (en) * 2017-01-27 2019-01-01 Waymo Llc LIDAR sensor window configuration for improved data integrity
US10185028B2 (en) 2017-02-17 2019-01-22 Aeye, Inc. Method and system for ladar pulse deconfliction using delay code selection
CN110402398B (zh) 2017-03-13 2023-12-01 欧普赛斯技术有限公司 眼睛安全的扫描激光雷达系统
WO2018166611A1 (en) * 2017-03-16 2018-09-20 Fastree3D Sa Method and device for optimizing the use of emitter and detector in an active remote sensing application
US10365351B2 (en) * 2017-03-17 2019-07-30 Waymo Llc Variable beam spacing, timing, and power for vehicle sensors
US10641874B2 (en) * 2017-03-29 2020-05-05 Luminar Technologies, Inc. Sizing the field of view of a detector to improve operation of a lidar system
US10663595B2 (en) * 2017-03-29 2020-05-26 Luminar Technologies, Inc. Synchronized multiple sensor head system for a vehicle
CN110692172B (zh) * 2017-04-12 2022-02-25 感应光子公司 超小型垂直腔表面发射激光器(vcsel)阵列的光束整形
US10677897B2 (en) * 2017-04-14 2020-06-09 Luminar Technologies, Inc. Combining lidar and camera data
US20180301484A1 (en) * 2017-04-17 2018-10-18 Semiconductor Components Industries, Llc Image sensors with high dynamic range and autofocusing hexagonal pixels
DE102017207402A1 (de) * 2017-05-03 2018-11-08 Robert Bosch Gmbh Optischer Rußpartikelsensor für Kraftfahrzeuge
DE102017208047A1 (de) * 2017-05-12 2018-11-15 Robert Bosch Gmbh LIDAR-Vorrichtung und Verfahren mit vereinfachter Detektion
JP6638695B2 (ja) * 2017-05-18 2020-01-29 トヨタ自動車株式会社 自動運転システム
US10698108B2 (en) * 2017-05-25 2020-06-30 Texas Instruments Incorporated Receive signal beam steering and detector for an optical distance measurement system
CN106980850B (zh) * 2017-06-02 2020-03-06 京东方科技集团股份有限公司 一种纹路检测装置及其纹路检测方法
US10409286B2 (en) * 2017-07-21 2019-09-10 Ford Global Technologies, Llc Highway detection systems and methods
US10514444B2 (en) 2017-07-28 2019-12-24 OPSYS Tech Ltd. VCSEL array LIDAR transmitter with small angular divergence
IL253769B (en) * 2017-07-31 2022-03-01 Israel Aerospace Ind Ltd Planning a path in motion
US10447973B2 (en) 2017-08-08 2019-10-15 Waymo Llc Rotating LIDAR with co-aligned imager
CN107367736B (zh) * 2017-08-14 2024-01-19 杭州欧镭激光技术有限公司 一种高速激光测距装置
CN111344647A (zh) 2017-09-15 2020-06-26 艾耶股份有限公司 具有低延时运动规划更新的智能激光雷达系统
EP4220230A1 (en) 2017-09-26 2023-08-02 Innoviz Technologies Ltd. Lidar systems and methods
US11415675B2 (en) * 2017-10-09 2022-08-16 Luminar, Llc Lidar system with adjustable pulse period
US10785400B2 (en) * 2017-10-09 2020-09-22 Stmicroelectronics (Research & Development) Limited Multiple fields of view time of flight sensor
US20190120941A1 (en) * 2017-10-19 2019-04-25 Shenzhen Suteng JuChuang Technologies Ltd. Co. Arrangement of light sources and detectors in a lidar system
JP6980486B2 (ja) * 2017-10-24 2021-12-15 株式会社小糸製作所 車両用灯具の制御装置及び車両用灯具システム
US10324189B2 (en) * 2017-10-24 2019-06-18 Harman International Industries, Incorporated Collaborative data processing
US20230243935A1 (en) * 2017-11-10 2023-08-03 Suteng Innovation Technology Co., Ltd. Lidar devices
US11650297B2 (en) * 2017-11-10 2023-05-16 Suteng Innovation Technology Co., Ltd. LIDAR devices
EP3710855A4 (en) 2017-11-15 2021-08-04 Opsys Tech Ltd. NOISE ADAPTIVE SOLID-STATE LIDAR SYSTEM
DE102017220397A1 (de) * 2017-11-15 2019-05-16 Osram Gmbh Abstandsmesseinheit
US10634772B2 (en) * 2017-11-27 2020-04-28 Atieva, Inc. Flash lidar with adaptive illumination
JP7114244B2 (ja) * 2017-11-30 2022-08-08 キヤノン株式会社 光検出装置、光検出システム、及び移動体
US10768304B2 (en) 2017-12-13 2020-09-08 Luminar Technologies, Inc. Processing point clouds of vehicle sensors having variable scan line distributions using interpolation functions
DE102017222974A1 (de) * 2017-12-15 2019-06-19 Ibeo Automotive Systems GmbH Anordnung und Verfahren zur Ermittlung einer Entfernung wenigstens eines Objekts mit Lichtsignalen
DE102017222972A1 (de) 2017-12-15 2019-07-04 Ibeo Automotive Systems GmbH Empfangsanordnung zum Empfang von Lichtsignalen
US11194994B2 (en) * 2017-12-20 2021-12-07 X Development Llc Semantic zone separation for map generation
US11493601B2 (en) * 2017-12-22 2022-11-08 Innovusion, Inc. High density LIDAR scanning
US10591598B2 (en) 2018-01-08 2020-03-17 SOS Lab co., Ltd Lidar device
WO2019135494A1 (ko) 2018-01-08 2019-07-11 주식회사 에스오에스랩 라이다 장치
US11675050B2 (en) 2018-01-09 2023-06-13 Innovusion, Inc. LiDAR detection systems and methods
WO2019139895A1 (en) 2018-01-09 2019-07-18 Innovusion Ireland Limited Lidar detection systems and methods that use multi-plane mirrors
EP4321898A3 (en) * 2018-01-17 2024-04-24 Hesai Technology Co., Ltd. Detection device and method for adjusting parameter thereof
US10359303B1 (en) * 2018-02-09 2019-07-23 Ford Global Technologies, Llc System for vehicle sensor assembly
US11391823B2 (en) 2018-02-21 2022-07-19 Innovusion, Inc. LiDAR detection systems and methods with high repetition rate to observe far objects
US11808888B2 (en) * 2018-02-23 2023-11-07 Innovusion, Inc. Multi-wavelength pulse steering in LiDAR systems
WO2019173898A1 (en) * 2018-03-15 2019-09-19 Metrio Sensors Inc. System, apparatus, and method for improving performance of imaging lidar systems
WO2019176101A1 (ja) * 2018-03-16 2019-09-19 日本電気株式会社 光監視装置及び方法
WO2019186741A1 (ja) * 2018-03-28 2019-10-03 日本電気株式会社 測距センサ、制御装置、制御方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP7324518B2 (ja) 2018-04-01 2023-08-10 オプシス テック リミテッド 雑音適応型固体ライダシステム
US10887433B2 (en) 2018-04-03 2021-01-05 Pony Ai Inc. System and method for incremental data processing
US11029406B2 (en) * 2018-04-06 2021-06-08 Luminar, Llc Lidar system with AlInAsSb avalanche photodiode
CN112236685A (zh) * 2018-04-09 2021-01-15 创新科技有限公司 具有内部光校准的激光雷达系统和方法
WO2019199645A1 (en) * 2018-04-09 2019-10-17 Sense Photonics, Inc. Automatic gain control for lidar for autonomous vehicles
US10705220B2 (en) * 2018-04-19 2020-07-07 Faraday & Future Inc. System and method for ground and free-space detection
US10705534B2 (en) * 2018-04-19 2020-07-07 Faraday&Future Inc. System and method for ground plane detection
EP3714289B1 (en) * 2018-04-28 2022-04-20 SZ DJI Technology Co., Ltd. Light detection and ranging sensors with optics and solid-state detectors, and associated systems and methods
WO2019213450A1 (en) 2018-05-02 2019-11-07 Quidient, Llc A codec for processing scenes of almost unlimited detail
DE102018110549A1 (de) * 2018-05-03 2019-11-07 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben einer Laserscanvorrichtung und Laserscanvorrichtung
KR102155425B1 (ko) * 2018-05-14 2020-09-11 주식회사 에스오에스랩 라이다 장치
DE102018207711A1 (de) * 2018-05-17 2019-11-21 Osram Gmbh Abstandsmesseinheit
JP7141242B2 (ja) * 2018-05-18 2022-09-22 株式会社小糸製作所 センサシステム
WO2019226487A1 (en) * 2018-05-23 2019-11-28 The Charles Stark Draper Laboratory, Inc. Parallel photon counting
US10739462B2 (en) * 2018-05-25 2020-08-11 Lyft, Inc. Image sensor processing using a combined image and range measurement system
WO2019227975A1 (zh) 2018-05-30 2019-12-05 Oppo广东移动通信有限公司 激光投射器的控制系统、终端和激光投射器的控制方法
US10751875B2 (en) * 2018-05-31 2020-08-25 Indoor Robotics Ltd Rotatable mobile robot for mapping an area and a method for mapping the same
US10670719B2 (en) 2018-05-31 2020-06-02 Beijing Voyager Technology Co., Ltd. Light detection system having multiple lens-receiver units
US20200341149A1 (en) * 2018-05-31 2020-10-29 Indoor Robotics Ltd. Rotatable mobile robot for mapping an area and a method for mapping the same
US11353557B2 (en) 2018-06-04 2022-06-07 Infineon Technologies Ag Hybrid LIDAR receiver and lidar methods
DE102018113739A1 (de) 2018-06-08 2019-12-12 Blickfeld GmbH Koaxiales optisches System eines reibungsfreien Scansystems für Lichtdetektion und Abstandsmessung, LIDAR, Messungen
CN114114295A (zh) 2018-06-15 2022-03-01 图达通爱尔兰有限公司 用于聚焦感兴趣的范围的lidar系统和方法
US11430145B2 (en) 2018-06-17 2022-08-30 Foresight Ai Inc. Identification of local motions in point cloud data
WO2019245719A1 (en) * 2018-06-21 2019-12-26 Oyla, Inc Device and method of optical range imaging
JP6625267B1 (ja) * 2018-06-22 2019-12-25 三菱電機株式会社 センサ制御装置、車両、センシング方法およびセンサ制御プログラム
US11144775B2 (en) * 2018-06-25 2021-10-12 Cnh Industrial Canada, Ltd. System and method for illuminating the field of view of a vision-based sensor mounted on an agricultural machine
US11041957B2 (en) * 2018-06-25 2021-06-22 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for mitigating effects of high-reflectivity objects in LiDAR data
EP3612857A1 (en) 2018-06-25 2020-02-26 Beijing Didi Infinity Technology and Development Co., Ltd. A high-definition map acquisition system
US10345447B1 (en) * 2018-06-27 2019-07-09 Luminar Technologies, Inc. Dynamic vision sensor to direct lidar scanning
JP2020008482A (ja) * 2018-07-11 2020-01-16 株式会社Ihi 物体検出装置
JP7039411B2 (ja) 2018-07-20 2022-03-22 株式会社東芝 光検出器、光検出システム、ライダー装置及び車
US10969668B2 (en) * 2018-07-24 2021-04-06 Qualcomm Incorporated Adjustable light distribution for active depth sensing systems
WO2020023969A1 (en) * 2018-07-27 2020-01-30 Arizona Board Of Regents On Behalf Of The University Of Arizona Mems-based hybrid beam steering device for lidar
WO2020028146A1 (en) * 2018-07-30 2020-02-06 Blackmore Sensors And Analytics, Llc Method and system for optimizing scanning of coherent lidar in autonomous vehicles
CN108594266B (zh) * 2018-08-02 2024-01-19 成都英鑫光电科技有限公司 激光雷达及激光雷达测风系统
US11449067B1 (en) * 2018-08-03 2022-09-20 GM Global Technology Operations LLC Conflict resolver for a lidar data segmentation system of an autonomous vehicle
JP7161337B2 (ja) * 2018-08-09 2022-10-26 株式会社小糸製作所 車両用灯具
DE102019211732A1 (de) * 2018-08-06 2020-02-06 Koito Manufacturing Co., Ltd. Fahrzeugleuchte
US20210310349A1 (en) * 2018-08-08 2021-10-07 Four Flags Pty Ltd Blast hole measurement and logging
CN109143206B (zh) * 2018-08-27 2021-06-01 森思泰克河北科技有限公司 激光雷达标定装置及标定方法
JP6731020B2 (ja) * 2018-09-03 2020-07-29 株式会社Subaru 車外環境認識装置および車外環境認識方法
US11828870B2 (en) 2018-09-21 2023-11-28 Honda Motor Co., Ltd. Vehicle inspection system
DE102018123298A1 (de) * 2018-09-21 2020-03-26 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines optoelektronischen Sensors für ein Kraftfahrzeug, Computerprogrammprodukt, optoelektronischer Sensor sowie Kraftfahrzeug
US11513196B2 (en) * 2018-09-28 2022-11-29 Waymo Llc Terrain adaptive pulse power in a scanning LIDAR
EP3633405B1 (de) * 2018-10-03 2023-01-11 Hexagon Technology Center GmbH Messgerät zur geometrischen 3d-abtastung einer umgebung mit einer vielzahl sendekanäle und semiconductor-photomultiplier sensoren
US20210341729A1 (en) * 2018-10-04 2021-11-04 Innoviz Technologies Ltd. Electrooptical systems having heating elements
US20200110160A1 (en) * 2018-10-08 2020-04-09 Quanergy Systems, Inc. Lidar with dynamically variable resolution in selected areas within a field of view
US11726182B2 (en) * 2018-10-11 2023-08-15 GM Global Technology Operations LLC Multiple beam, single MEMS lidar
CN109188451A (zh) 2018-10-15 2019-01-11 北京径科技有限公司 一种激光雷达系统
DE102018125715A1 (de) * 2018-10-17 2020-04-23 Valeo Schalter Und Sensoren Gmbh Verfahren zur Erfassung wenigstens von Partikelzusammensetzungen in einem Überwachungsbereich mit einer optischen Detektionsvorrichtung und Detektionsvorrichtung
EP3867668A2 (en) * 2018-10-19 2021-08-25 Innoviz Technologies Ltd. Lidar systems and methods
KR102057199B1 (ko) * 2018-10-22 2019-12-18 전자부품연구원 넓은 시야각 구조를 갖는 고효율 무회전 스캐닝 라이다 시스템
DE102018126522A1 (de) 2018-10-24 2020-04-30 Blickfeld GmbH Laufzeitbasierte Entfernungsmessung unter Verwendung von modulierten Pulsfolgen von Laserpulsen
US11327177B2 (en) 2018-10-25 2022-05-10 Aeye, Inc. Adaptive control of ladar shot energy using spatial index of prior ladar return data
CN109444848B (zh) * 2018-10-25 2021-03-19 上海禾赛科技股份有限公司 扫描装置及其扫描方法、激光雷达
US10757363B2 (en) * 2018-10-30 2020-08-25 GM Global Technology Operations LLC Method and system for reconstructing a vehicle scene at a cloud layer
CN113287031A (zh) 2018-11-02 2021-08-20 伟摩有限责任公司 车辆的多个旋转传感器的同步
US11808887B2 (en) * 2018-11-02 2023-11-07 Waymo Llc Methods and systems for mapping retroreflectors
US11275146B2 (en) * 2018-11-08 2022-03-15 Infineon Technologies Ag LIDAR system with non-uniform sensitivity response
DE102018128164A1 (de) * 2018-11-12 2020-05-14 Infineon Technologies Ag Lidar-sensoren und verfahren für lidar-sensoren
WO2020102406A1 (en) 2018-11-14 2020-05-22 Innovusion Ireland Limited Lidar systems and methods that use a multi-facet mirror
CA3028223C (en) 2018-11-16 2021-02-16 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for positioning vehicles under poor lighting conditions
WO2020098771A1 (zh) * 2018-11-16 2020-05-22 上海禾赛光电科技有限公司 一种激光雷达系统
US11287824B2 (en) * 2018-11-19 2022-03-29 Mobile Industrial Robots A/S Detecting a location of an autonomous device
US10877264B2 (en) * 2018-11-20 2020-12-29 Infineon Technologies Ag Adaptive and context-aware micro-electro-mechanical systems (MEMS) mirror control
WO2020106813A1 (en) * 2018-11-20 2020-05-28 Sense Photonics, Inc. Methods and systems for spatially distributed strobing
DE102018129572A1 (de) * 2018-11-23 2020-05-28 Bayerische Motoren Werke Aktiengesellschaft Fahrassistenzsystem für ein automatisiert fahrendes Fahrzeug und Verfahren zum Führen eines automatisiert fahrenden Fahrzeugs
WO2020109237A1 (en) * 2018-11-26 2020-06-04 Zkw Group Gmbh Vehicle vision system with adaptive reversing light
US11391822B2 (en) 2018-11-30 2022-07-19 Seagate Technology Llc Rotating pyramidal mirror
US11921218B2 (en) * 2018-11-30 2024-03-05 Garmin Switzerland Gmbh Marine vessel LIDAR system
US11119195B2 (en) 2018-12-07 2021-09-14 Beijing Voyager Technology Co., Ltd. Mirror assembly for light steering
US11105902B2 (en) 2018-12-07 2021-08-31 Beijing Voyager Technology Co., Ltd. Mirror assembly for light steering
US11181621B2 (en) 2018-12-07 2021-11-23 Beijing Voyager Technology Co., Ltd. Mirror assembly for light steering
US10422881B1 (en) * 2018-12-07 2019-09-24 Didi Research America, Llc Mirror assembly for light steering
US10855896B1 (en) * 2018-12-13 2020-12-01 Facebook Technologies, Llc Depth determination using time-of-flight and camera assembly with augmented pixels
WO2020121201A1 (en) * 2018-12-13 2020-06-18 Gentex Corporation Alignment apparatus for vehicle authentication system
US10791286B2 (en) 2018-12-13 2020-09-29 Facebook Technologies, Llc Differentiated imaging using camera assembly with augmented pixels
US10791282B2 (en) 2018-12-13 2020-09-29 Fenwick & West LLP High dynamic range camera assembly with augmented pixels
US11313968B2 (en) * 2018-12-14 2022-04-26 Texas Instruments Incorporated Interference signal rejection in LIDAR systems
US10661795B1 (en) * 2018-12-20 2020-05-26 Verizon Patent And Licensing Inc. Collision detection platform
US11709231B2 (en) 2018-12-21 2023-07-25 Infineon Technologies Ag Real time gating and signal routing in laser and detector arrays for LIDAR application
DE102018222721A1 (de) * 2018-12-21 2020-06-25 Robert Bosch Gmbh LIDAR-Sensor für ein LIDAR-System
US11175390B2 (en) * 2018-12-24 2021-11-16 Beijing Voyager Technology Co., Ltd. Real-time estimation of DC bias and noise power of light detection and ranging (LiDAR)
CN111369784A (zh) * 2018-12-25 2020-07-03 北京嘀嘀无限科技发展有限公司 一种控制车道流量的方法及装置
CN111366947B (zh) * 2018-12-26 2022-04-22 武汉万集信息技术有限公司 导航激光雷达对场景的识别方法、装置及系统
WO2020135802A1 (zh) * 2018-12-29 2020-07-02 华为技术有限公司 一种激光测量模组和激光雷达
CN115267802A (zh) * 2018-12-29 2022-11-01 华为技术有限公司 一种激光测量模组和激光雷达
US11332007B2 (en) * 2019-01-03 2022-05-17 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle speed control using speed maps
EP3906424A1 (en) * 2019-01-04 2021-11-10 Blackmore Sensors & Analytics, LLC Method and system for refractive beam-steering
CN111670384A (zh) * 2019-01-09 2020-09-15 深圳市大疆创新科技有限公司 一种光发射方法、装置及扫描系统
US11675062B2 (en) 2019-01-10 2023-06-13 Gm Cruise Holdings Llc Context aware real-time power adjustment for steerable lidar
US11675055B2 (en) 2019-01-10 2023-06-13 Innovusion, Inc. LiDAR systems and methods with beam steering and wide angle signal detection
US11274800B2 (en) * 2019-01-11 2022-03-15 Valeo North America, Inc. IR illuminator with asymetric radiation pattern
KR102299264B1 (ko) * 2019-01-16 2021-09-07 삼성전자주식회사 라이다 장치
CN109917348B (zh) * 2019-01-25 2020-11-03 上海禾赛科技股份有限公司 一种激光雷达系统
WO2020152716A1 (en) * 2019-01-25 2020-07-30 Ankur Anchlia System-on-chip interfaced with sensor for processing sensor output signals
CN113383280A (zh) * 2019-01-28 2021-09-10 斯坦雷电气株式会社 用于经由雾的图像增强的弹道光调制
US10926273B2 (en) * 2019-01-31 2021-02-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for modifying an infrared signature of a vehicle
DE102019201666A1 (de) * 2019-02-08 2020-08-13 Ford Global Technologies, Llc Verfahren zum Betrieb eines selbstfahrenden Kraftfahrzeugs
US11486970B1 (en) 2019-02-11 2022-11-01 Innovusion, Inc. Multiple beam generation from a single source beam for use with a LiDAR system
TWI693419B (zh) * 2019-02-13 2020-05-11 國立交通大學 訊號處理方法
CN111610506A (zh) * 2019-02-22 2020-09-01 宁波舜宇车载光学技术有限公司 多点扫描激光雷达及其探测方法
EP3702809A1 (en) * 2019-02-27 2020-09-02 Nokia Solutions and Networks Oy Device navigation
US11947041B2 (en) * 2019-03-05 2024-04-02 Analog Devices, Inc. Coded optical transmission for optical detection
DE102019105478A1 (de) * 2019-03-05 2020-09-10 Infineon Technologies Ag LIDAR-Sensoren und Verfahren für dieselben
US20200292703A1 (en) * 2019-03-14 2020-09-17 Visteon Global Technologies, Inc. Flexible field of view solid state lidar
WO2020186236A1 (en) * 2019-03-14 2020-09-17 Waymo Llc Methods and systems for detecting obstructions on a sensor housing
EP3719529A1 (en) * 2019-03-20 2020-10-07 Ricoh Company, Ltd. Range finding device and range finding method
US11440471B2 (en) * 2019-03-21 2022-09-13 Baidu Usa Llc Automated warning system to detect a front vehicle slips backwards
JP7172786B2 (ja) * 2019-03-22 2022-11-16 トヨタ自動車株式会社 車両制御システム
WO2020198134A1 (en) * 2019-03-22 2020-10-01 Vergence Automation, Inc. Lighting-invariant sensor system for object detection, recognition, and assessment
CN111750331A (zh) * 2019-03-28 2020-10-09 深圳市中光工业技术研究院 一种具有探测功能的照明系统
EP3936884A4 (en) * 2019-03-28 2022-03-16 Huawei Technologies Co., Ltd. RADAR POWER CONTROL METHOD AND DEVICE
US20220146670A1 (en) * 2019-03-29 2022-05-12 Omron Corporation Visual indicators for presence sensing systems
US10933803B2 (en) * 2019-03-31 2021-03-02 Gm Cruise Holdings Llc Autonomous vehicle visual based communication
US11579299B2 (en) * 2019-04-02 2023-02-14 Litexel Inc. 3D range imaging method using optical phased array and photo sensor array
US11325523B2 (en) * 2019-04-02 2022-05-10 Pony Ai Inc. Lighting element control for an autonomous vehicle
US10740405B1 (en) * 2019-04-03 2020-08-11 Capital One Services, Llc Methods and systems for filtering vehicle information
US11022813B2 (en) 2019-04-08 2021-06-01 Qualcomm Incorporated Multifunction light projector with multistage adjustable diffractive optical elements
CN109991025B (zh) * 2019-04-08 2023-11-14 中国矿业大学(北京) 一种地铁管片偏差自动测量靶及其测量方法
KR102634887B1 (ko) 2019-04-09 2024-02-08 옵시스 테크 엘티디 레이저 제어를 갖는 솔리드-스테이트 lidar 송신기
US11402472B2 (en) 2019-04-16 2022-08-02 Argo AI, LLC Polarization sensitive LiDAR system
CN113711153B (zh) * 2019-04-17 2024-04-19 日本电产株式会社 地图制作系统、信号处理电路、移动体和地图制作方法
US11800205B2 (en) * 2019-04-18 2023-10-24 University Of Florida Research Foundation, Incorporated Fast foveation camera and controlling algorithms
US11513223B2 (en) 2019-04-24 2022-11-29 Aeye, Inc. Ladar system and method with cross-receiver
US11320535B2 (en) 2019-04-24 2022-05-03 Analog Devices, Inc. Optical system for determining interferer locus among two or more regions of a transmissive liquid crystal structure
US11378485B2 (en) * 2019-04-26 2022-07-05 Mikael Sven Johan Sjoblom Structural monitoring system
CN110261865B (zh) * 2019-05-05 2021-06-15 深圳大学 一种激光雷达多通道数据传输方法、激光雷达及其应用
CN113924510A (zh) * 2019-05-06 2022-01-11 上海禾赛科技有限公司 用于激光雷达系统的扫描器控制
CN111988081A (zh) * 2019-05-06 2020-11-24 上海汽车集团股份有限公司 一种激光雷达数据的冗余处理方法及系统
DE102019113406A1 (de) * 2019-05-21 2020-11-26 Bayerische Motoren Werke Aktiengesellschaft Beleuchtungsvorrichtung für ein Kraftfahrzeug
DE102019207741A1 (de) * 2019-05-27 2020-12-03 Infineon Technologies Ag Ein LIDAR-System, ein Verfahren für ein LIDAR-System und ein Empfänger für ein LIDAR-System mit ersten und zweiten Umwandlungselementen
US11846728B2 (en) 2019-05-30 2023-12-19 OPSYS Tech Ltd. Eye-safe long-range LIDAR system using actuator
CN113924506A (zh) 2019-06-10 2022-01-11 欧普赛斯技术有限公司 眼睛安全的长范围固态lidar系统
JP7079753B2 (ja) 2019-06-11 2022-06-02 株式会社東芝 光検出装置、電子装置及び光検出方法
CN110275510B (zh) * 2019-06-14 2021-12-07 百度在线网络技术(北京)有限公司 车辆控制模型的处理频率调整方法、装置和电子设备
WO2020256174A1 (ko) * 2019-06-18 2020-12-24 엘지전자 주식회사 자율주행시스템에서 차량의 리소스 관리 방법 및 이를 위한 장치
US11476641B1 (en) 2019-06-25 2022-10-18 Mac Thin Films, Inc. Window for laser protection
JP2022539706A (ja) * 2019-06-25 2022-09-13 オプシス テック リミテッド 適応型多重パルスlidarシステム
KR102190520B1 (ko) * 2019-06-26 2020-12-11 주식회사 옵티맥 3차원 카메라 모듈
US10775175B1 (en) * 2019-06-28 2020-09-15 Rockwell Collins, Inc. Wearable dead reckoning system for GPS-denied navigation
KR20210003003A (ko) 2019-07-01 2021-01-11 삼성전자주식회사 라이다 장치 및 그 제어 방법
US20210003511A1 (en) * 2019-07-03 2021-01-07 Continental Automotive Systems, Inc. Detection of damage to optical element of illumination system
DE102019209935A1 (de) * 2019-07-05 2020-07-23 Carl Zeiss Ag Vorrichtung und Verfahren zur Abstandsermittlung von Objekten
US11269076B2 (en) * 2019-07-11 2022-03-08 Mtd Products Inc Solid state LIDAR machine vision for power equipment device
JP7389578B2 (ja) * 2019-07-16 2023-11-30 シャープ株式会社 測距センサ
US11447063B2 (en) * 2019-07-18 2022-09-20 GM Global Technology Operations LLC Steerable scanning and perception system with active illumination
US11802944B2 (en) * 2019-07-26 2023-10-31 Hyundai Mobis Co., Ltd. LiDAR device for vehicle and operating method thereof
US11662434B2 (en) 2019-07-29 2023-05-30 Ford Global Technologies, Llc Depth sensor
US20210055421A1 (en) * 2019-08-22 2021-02-25 Continental Automotive Systems, Inc. Electrical circuit across optical element to detect damage
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
CN110549941B (zh) * 2019-08-23 2022-06-07 东南大学 一种基于实时信息的行人碰撞分级预警方法
CN112445215A (zh) * 2019-08-29 2021-03-05 阿里巴巴集团控股有限公司 自动导引车行驶控制方法、装置及计算机系统
CN110455367B (zh) * 2019-08-29 2021-03-19 长江水利委员会长江科学院 联合无人机和高密度电阻率法的工程堆弃体量测量方法
CN110456372A (zh) * 2019-08-30 2019-11-15 上海禾赛光电科技有限公司 激光雷达系统的测距方法以及激光雷达系统
CN110554409B (zh) * 2019-08-30 2021-06-04 江苏徐工工程机械研究院有限公司 一种凹障碍物检测方法及系统
CN110456326B (zh) * 2019-08-31 2021-07-06 上海禾赛科技股份有限公司 一种扫描装置和包括其的激光雷达及操作方法
EP3789794A1 (de) * 2019-09-04 2021-03-10 Ibeo Automotive Systems GmbH Verfahren und vorrichtung zur distanzmessung
JP7133523B2 (ja) 2019-09-05 2022-09-08 株式会社東芝 光検出装置及び電子装置
US11287530B2 (en) 2019-09-05 2022-03-29 ThorDrive Co., Ltd Data processing system and method for fusion of multiple heterogeneous sensors
US11635496B2 (en) 2019-09-10 2023-04-25 Analog Devices International Unlimited Company Data reduction for optical detection
WO2021055485A1 (en) * 2019-09-17 2021-03-25 Maka Autonomous Robotic Systems, Inc. Autonomous laser weed eradication
JP7153001B2 (ja) * 2019-09-18 2022-10-13 株式会社東芝 光検出器、光検出システム、ライダー装置、及び車
JP7433819B2 (ja) * 2019-09-19 2024-02-20 株式会社東芝 距離計測装置、及び距離計測方法
CN112528711A (zh) 2019-09-19 2021-03-19 北京百度网讯科技有限公司 用于处理信息的方法和装置
US11899139B2 (en) * 2019-09-20 2024-02-13 Intel Corporation Photonic devices with redundant components and their applications
KR20210036200A (ko) 2019-09-25 2021-04-02 삼성전자주식회사 라이다 장치 및 그 동작 방법
US11159738B2 (en) 2019-09-25 2021-10-26 Semiconductor Components Industries, Llc Imaging devices with single-photon avalanche diodes having sub-exposures for high dynamic range
US11579304B2 (en) 2019-09-27 2023-02-14 Gm Cruise Holdings Llc Dynamic power throttling of spinning LIDAR
US11144769B2 (en) * 2019-09-30 2021-10-12 Pony Ai Inc. Variable resolution sensors
DE102019126400A1 (de) * 2019-09-30 2021-04-01 Ford Global Technologies, Llc Verfahren zum Betrieb eines Kraftfahrzeugs mit einem LIDAR-Sensor
CN110531377B (zh) * 2019-10-08 2022-02-25 北京邮电大学 雷达系统的数据处理方法、装置、电子设备和存储介质
CN110579747B (zh) * 2019-10-11 2021-11-19 北京邮电大学 用于道路的雷达系统布设方法、装置和电子设备
KR20210043287A (ko) 2019-10-11 2021-04-21 삼성전자주식회사 광학 장치 및 이를 포함하는 라이다 시스템
JP7259695B2 (ja) * 2019-10-11 2023-04-18 株式会社デンソー 光測距装置及び光測距装置の制御方法
US11604259B2 (en) * 2019-10-14 2023-03-14 Infineon Technologies Ag Scanning LIDAR receiver with a silicon photomultiplier detector
DE102019127667A1 (de) * 2019-10-15 2021-04-15 Sick Ag Entfernungsmessender optoelektronischer Sensor und Verfahren zur Erfassung eines Zielobjekts
DE102020104338A1 (de) * 2019-10-15 2021-04-15 HELLA GmbH & Co. KGaA Verfahren zum Betreiben eines LiDAR Systems
US11675075B2 (en) * 2019-10-15 2023-06-13 Beijing Voyager Technology Co., Ltd. Dynamic laser power control in light detection and ranging (LiDAR) systems
US11521328B2 (en) 2019-10-16 2022-12-06 Banner Engineering Corp Image-based jam detection
EP3812209A1 (de) * 2019-10-23 2021-04-28 ZKW Group GmbH Lichtmodul für kraftfahrzeuge
DE102019128661A1 (de) * 2019-10-23 2021-04-29 Valeo Schalter Und Sensoren Gmbh Verarbeitung von Messdaten eines aktiven optischen Sensorsystems
CN113056682B (zh) * 2019-10-24 2022-04-29 趣眼有限公司 光子系统及方法
KR102269098B1 (ko) * 2019-10-29 2021-06-24 주식회사 한컴엔플럭스 보안 구역 내에 설치된 복수의 라이더 센서들을 통해 침입을 탐지하는 침입 탐지 장치 및 그 동작 방법
US11514594B2 (en) 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
US20220390560A1 (en) * 2019-11-05 2022-12-08 Outsight Adaptive Active Safety System using Multi-spectral LIDAR, and Method implemented in the Adaptive Active Safety System
CN110703232A (zh) * 2019-11-07 2020-01-17 大连理工大学 一种复杂环境下的大型挖掘装备的三维环境感知系统
EP4042200A4 (en) * 2019-11-08 2024-02-07 Vayyar Imaging Ltd SYSTEMS AND METHODS FOR DETECTING THE SURROUNDINGS OF A VEHICLE
KR20210059591A (ko) * 2019-11-13 2021-05-25 주식회사 에스오에스랩 옵틱 및 그 제작 방법
US10902623B1 (en) 2019-11-19 2021-01-26 Facebook Technologies, Llc Three-dimensional imaging with spatial and temporal coding for depth camera assembly
KR102276597B1 (ko) * 2019-11-28 2021-07-14 한국전자기술연구원 벡터맵을 이용한 라이다 데이터 범위 최적화를 위한 차량 제어 장치 및 방법
US20210165094A1 (en) * 2019-11-29 2021-06-03 Waymo Llc Retroreflector Detection and Avoidance in a LIDAR Device
US10797698B1 (en) 2019-11-29 2020-10-06 Waymo Llc Systems and methods for selecting light emitters for emitting light
US11680804B2 (en) 2019-12-02 2023-06-20 Toyota Motor North America, Inc. System and method for verifying roads
CN110995357A (zh) * 2019-12-02 2020-04-10 大连理工大学 一种新型高鲁棒水下光通信系统
US11740333B2 (en) 2019-12-04 2023-08-29 Waymo Llc Pulse energy plan for light detection and ranging (lidar) devices based on areas of interest and thermal budgets
US11346924B2 (en) 2019-12-09 2022-05-31 Waymo Llc SiPM with cells of different sizes
US11176647B2 (en) 2019-12-11 2021-11-16 Toyota Motor Engineering And Manufacturing North America, Inc. Image and object detection enhancement based on lighting profiles
DE102019134181A1 (de) * 2019-12-12 2021-06-17 Valeo Schalter Und Sensoren Gmbh Verfahren zum Steuern eines Laserscanners für ein Kraftfahrzeug
CN110703224A (zh) * 2019-12-16 2020-01-17 杭州辰知光科技有限公司 一种面向无人驾驶的扫描型tof激光雷达
WO2021126082A1 (en) * 2019-12-20 2021-06-24 Ams Sensors Asia Pte. Ltd. Eye-safe operation of lidar scanner
US20230028749A1 (en) * 2019-12-20 2023-01-26 Ams Sensors Asia Pte. Ltd Lidar with multi-range channels
RU2762744C2 (ru) * 2019-12-23 2021-12-22 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" СПОСОБЫ И СИСТЕМЫ ОБНАРУЖЕНИЯ С ПОМОЩЬЮ ЛИДАРА (LiDAR) С ВОЛОКОННО-ОПТИЧЕСКОЙ МАТРИЦЕЙ
RU2762618C2 (ru) * 2019-12-23 2021-12-21 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" ЛИДАРНАЯ (LiDAR) СИСТЕМА ДЛЯ ОБНАРУЖЕНИЯ ОБЪЕКТОВ В ИНТЕРЕСУЮЩЕЙ ОБЛАСТИ И СПОСОБ НА ЕЕ ОСНОВЕ
CN111123253B (zh) * 2019-12-26 2022-05-17 成都纳雷科技有限公司 基于自适应门限目标聚类的车辆识别方法、系统及介质
WO2021051722A1 (zh) * 2020-01-03 2021-03-25 深圳市速腾聚创科技有限公司 激光雷达及自动驾驶设备
WO2021139834A1 (zh) * 2020-01-06 2021-07-15 宁波舜宇车载光学技术有限公司 激光雷达、用于激光雷达的探测方法和制造方法
US20210208251A1 (en) * 2020-01-07 2021-07-08 Continental Automotive Systems, Inc. Lidar system including scanning field of illumination
US11790555B2 (en) 2020-01-17 2023-10-17 Electronics And Telecommunications Research Institute System and method for fusion recognition using active stick filter
KR102441424B1 (ko) * 2020-01-17 2022-09-07 한국전자통신연구원 능동 스틱 필터를 이용한 융합 인식 시스템 및 그 방법
US11194160B1 (en) 2020-01-21 2021-12-07 Facebook Technologies, Llc High frame rate reconstruction with N-tap camera sensor
RU197056U1 (ru) * 2020-01-22 2020-03-26 Акционерное общество "Московский завод "САПФИР" Двухканальный комбинированный прибор ночного видения с радиолокационным каналом
IT202000001411A1 (it) * 2020-01-24 2021-07-24 St Microelectronics Srl Metodo di lavorazione di una fetta per la fabbricazione di una struttura oscillante quale un microspecchio
US11520010B2 (en) * 2020-01-29 2022-12-06 GM Global Technology Operations LLC Dynamic polarization modulation of a lidar system in a vehicle
IL272450B (en) 2020-02-03 2021-10-31 Elbit Systems Ltd A system and method for creating 3D maps based on mapping information
US11536843B2 (en) * 2020-02-08 2022-12-27 The Boeing Company De-jitter of point cloud data for target recognition
US20210253048A1 (en) * 2020-02-14 2021-08-19 Magna Electronics Inc. Vehicular sensing system with variable power mode for thermal management
CN111175768B (zh) * 2020-02-14 2022-06-14 深圳奥锐达科技有限公司 一种离轴扫描距离测量系统及方法
US10901074B1 (en) 2020-02-17 2021-01-26 Hesai Technology Co., Ltd. Systems and methods for improving Lidar performance
CN113267762A (zh) * 2020-02-17 2021-08-17 上海禾赛科技有限公司 激光雷达
US11408995B2 (en) * 2020-02-24 2022-08-09 Aptiv Technologies Limited Lateral-bin monitoring for radar target detection
US11538179B2 (en) * 2020-02-25 2022-12-27 Zebra Technologies Corporation Depth-based data capture system configuration
CN111239752A (zh) * 2020-02-27 2020-06-05 宁波飞芯电子科技有限公司 可编程探测器及自适应测距方法
USD948563S1 (en) * 2020-03-05 2022-04-12 Jaguar Land Rover Limited Display screen or portion thereof with icon
DE112021001525T5 (de) * 2020-03-09 2023-01-05 Nec Corporation Managementsystem
KR102186830B1 (ko) * 2020-03-13 2020-12-04 주식회사 자오스모터스 인공지능에 대응한 라이다 시스템
CN111272183A (zh) * 2020-03-16 2020-06-12 达闼科技成都有限公司 一种地图创建方法、装置、电子设备及存储介质
US11521504B2 (en) * 2020-03-18 2022-12-06 Rosemount Aerospace Inc. Method and system for aircraft taxi strike alerting
DE102020107377A1 (de) 2020-03-18 2021-09-23 Valeo Schalter Und Sensoren Gmbh Verfahren zur Verarbeitung einer dreidimensionalen Punktwolke
CN111307159B (zh) * 2020-03-19 2022-11-18 哈尔滨工程大学 一种多auv三维协同航路规划方法
CN111524344A (zh) * 2020-03-25 2020-08-11 武汉纵横智慧城市股份有限公司 基于大数据的车辆排放监测方法、设备、存储介质及装置
US11810160B1 (en) * 2020-03-27 2023-11-07 United Services Automobile Association Building mapping tools
DE102020110142A1 (de) * 2020-04-14 2021-10-14 Scantinel Photonics GmbH Vorrichtung und Verfahren zur scannenden Messung des Abstands zu einem Objekt
CN111541031B (zh) * 2020-04-16 2021-08-10 华南理工大学 一种宽带低剖面传输阵列天线及无线通信设备
CN111453691B (zh) * 2020-04-21 2023-05-12 安徽奥飞声学科技有限公司 一种mems结构的制造方法
CN111652292B (zh) * 2020-05-20 2022-12-06 贵州电网有限责任公司 一种基于ncs、ms的相似物体实时检测方法及系统
DE102020113647A1 (de) 2020-05-20 2021-11-25 Blickfeld GmbH Optical System for Light Detection and Ranging, LIDAR
US11115734B1 (en) 2020-05-28 2021-09-07 Northrop Grumman Systems Corporation Spatial transmit/receive isolation apparatus and method for optical communication systems
ES2882834A1 (es) * 2020-06-02 2021-12-02 Beamagine S L Sistema y método para el rastreo de objetos en movimiento en vehículos
DE102020115252A1 (de) 2020-06-09 2021-12-09 Daimler Ag Verfahren und Vorrichtung zu einer Erkennung von Verunreinigungen auf einer Schutzscheibe eines Lidarsensors
CN113807108B (zh) * 2020-06-11 2023-07-18 杭州九阳小家电有限公司 一种炒菜机的料盒识别方法
KR102326598B1 (ko) * 2020-06-11 2021-11-17 박상욱 자율주행 정보 획득 장치를 구비하는 버스
EP4165439A1 (en) * 2020-06-12 2023-04-19 Baraja Pty Ltd Light-based spatial estimation transmission and reception systems
GB2598078B (en) * 2020-06-17 2022-12-21 Jaguar Land Rover Ltd Vehicle control system using a scanning system
US11796638B2 (en) * 2020-06-18 2023-10-24 Beijing Voyager Technology Co., Ltd. Mirror assembly for light steering with flexible support structure
US11815627B2 (en) 2020-06-18 2023-11-14 Beijing Voyager Technology Co., Ltd. Mirror assembly for light steering with reduced finger thickness
WO2021256226A1 (ja) * 2020-06-19 2021-12-23 パナソニックIpマネジメント株式会社 測距装置および測距システム
CN115702364A (zh) * 2020-06-22 2023-02-14 华为技术有限公司 一种雷达系统、可移动设备与雷达探测方法
CN111751833A (zh) * 2020-06-24 2020-10-09 深圳市汇顶科技股份有限公司 一种打光以及反射光数据获取方法、装置
DE102020208099A1 (de) * 2020-06-30 2021-12-30 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Ermitteln einer eine Umgebung eines LiDAR-Sensors repräsentierenden Punktwolke
US10960900B1 (en) * 2020-06-30 2021-03-30 Aurora Innovation, Inc. Systems and methods for autonomous vehicle control using depolarization ratio of return signal
US20220003851A1 (en) * 2020-07-03 2022-01-06 Beijing Voyager Technology Co., Ltd. Dynamic receiver gain control for lidar system
US20220004012A1 (en) * 2020-07-06 2022-01-06 Seagate Technology Llc Variable resolution and automatic windowing for lidar
US11802970B2 (en) 2020-07-08 2023-10-31 Aptiv Technologies Limited Alternating power-level scanning for time-of-flight lidar systems
CN116157625A (zh) * 2020-07-15 2023-05-23 株式会社小糸制作所 光反射装置、传感器装置以及照明装置
CN112558511A (zh) * 2020-07-20 2021-03-26 浙江明德微电子股份有限公司 消防通道智能监管系统
CA3125716C (en) 2020-07-21 2024-04-09 Leddartech Inc. Systems and methods for wide-angle lidar using non-uniform magnification optics
US11828853B2 (en) * 2020-07-21 2023-11-28 Leddartech Inc. Beam-steering device particularly for LIDAR systems
CA3198326A1 (en) 2020-07-21 2021-10-06 Leddartech Inc. Beam-steering device particularly for lidar systems
US20220026537A1 (en) * 2020-07-22 2022-01-27 Beijing Voyager Technology Co., Ltd. Systems and methods for sensing rotation angles of a micro mirror in an optical sensing system
CN113970748A (zh) * 2020-07-23 2022-01-25 上海禾赛科技有限公司 激光雷达及其探测方法
CN112073722A (zh) * 2020-07-23 2020-12-11 西安万像电子科技有限公司 图像处理方法、装置、设备及存储介质
DE102020119722A1 (de) 2020-07-27 2022-01-27 Valeo Schalter Und Sensoren Gmbh Temperatursteuerung in einem aktiven optischen Sensorsystem
KR20220014717A (ko) * 2020-07-29 2022-02-07 엘지이노텍 주식회사 거리 측정 카메라
KR102400605B1 (ko) * 2020-08-04 2022-05-20 한국기계연구원 거리측정 헤드 및 이를 구비한 다중대상 거리측정 시스템
CN111965626B (zh) * 2020-08-11 2023-03-10 上海禾赛科技有限公司 用于激光雷达的回波检测校正方法及装置、环境感知系统
WO2022040366A1 (en) * 2020-08-18 2022-02-24 IntelliShot Holdings, Inc. Automated threat detection and deterrence apparatus
CN114078330A (zh) * 2020-08-20 2022-02-22 华为技术有限公司 交通信号的识别方法和装置
CN115989427A (zh) 2020-08-24 2023-04-18 应诺维思科技有限公司 在确保眼睛安全的同时进行多个同时激光束的发射和照明
CN114114288B (zh) * 2020-08-27 2022-11-18 上海禾赛科技有限公司 用于激光雷达的测量电路及其测量方法、以及激光雷达
CN114114305A (zh) * 2020-08-27 2022-03-01 鸿富锦精密工业(深圳)有限公司 激光光路系统及激光雷达
DE102020005343A1 (de) * 2020-08-31 2022-03-03 Daimler Ag Verfahren zur Objektverfolgung von mindestens einem Objekt, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Objektverfolgungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Objektverfolgungsvorrichtung
CN112198495B (zh) * 2020-09-04 2022-03-08 腾讯科技(深圳)有限公司 激光雷达仿真及其参数标定方法、装置和设备
EP4213127A4 (en) * 2020-09-07 2023-12-20 Panasonic Intellectual Property Management Co., Ltd. INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING APPARATUS
US11828854B2 (en) * 2020-09-09 2023-11-28 WeRide Corp. Automatic LIDAR performance monitoring and maintenance for autonomous driving
CN116235072A (zh) * 2020-09-14 2023-06-06 应诺维思科技有限公司 具有可变分辨率多光束扫描的激光雷达系统
US11790671B2 (en) 2020-10-05 2023-10-17 Crazing Lab, Inc. Vision based light detection and ranging system using multi-fields of view
US20220120905A1 (en) * 2020-10-15 2022-04-21 Waymo Llc Speed Determination Using Light Detection and Ranging (LIDAR) Device
CN114488176A (zh) * 2020-10-23 2022-05-13 睿镞科技(北京)有限责任公司 3d图像传感器测距系统及使用该系统进行测距的方法
US11320124B1 (en) 2020-10-29 2022-05-03 Waymo Llc Infrared light module uniformity rotational test module
KR102390231B1 (ko) * 2020-10-29 2022-04-25 (주)스핀텍 스캐닝 라이다 및 이의 측정 시야각 제어 방법
US20220136817A1 (en) * 2020-11-02 2022-05-05 Artilux, Inc. Reconfigurable Optical Sensing Apparatus and Method Thereof
KR20220060891A (ko) * 2020-11-05 2022-05-12 주식회사 케이티 라이다 장치
CN112389440B (zh) * 2020-11-07 2021-06-04 吉林大学 一种基于车路作用机理的越野环境中车辆行驶风险预测方法
KR102385094B1 (ko) * 2020-11-11 2022-04-11 주식회사 유니트론텍 라이다 센서 테스트 시스템
US20220144287A1 (en) * 2020-11-11 2022-05-12 Hyundai Mobis Co., Ltd. Radar system for vehicles and method for operating the same
US20220155416A1 (en) * 2020-11-13 2022-05-19 Beijing Voyager Technology Co., Ltd. Laser emission control in light detection and ranging (lidar) systems
DE102020007064B4 (de) 2020-11-19 2022-08-11 Daimler Truck AG Verfahren zum Kalibrieren einer ersten Beleuchtungseinrichtung, einer zweiten Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kalibrierungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Kalibrierungsvorrichtung
US20220163635A1 (en) * 2020-11-23 2022-05-26 Harman International Industries, Incorporated Systems and methods for reducing cognitive workload and energy consumption by a sensor utilized on a vehicle
US11835949B2 (en) 2020-11-24 2023-12-05 Mobile Industrial Robots A/S Autonomous device safety system
CN114640394B (zh) * 2020-12-15 2023-05-26 中国联合网络通信集团有限公司 通信方法及通信装置
US11747611B2 (en) 2020-12-16 2023-09-05 Stmicroelectronics (Research & Development) Limited Compact line scan mems time of flight system with actuated lens
CN112819877A (zh) * 2021-01-12 2021-05-18 深圳辰视智能科技有限公司 一种激光线点云生成方法、装置及计算机可读存储介质
CN112880976B (zh) * 2021-01-14 2023-02-28 歌尔股份有限公司 入射光束的角度调节装置和反射器件的制造方法
CN112882014B (zh) * 2021-01-20 2023-08-22 东风汽车集团股份有限公司 凸台凹坑识别方法及系统
EP4285142A1 (en) * 2021-01-28 2023-12-06 Preciseley Microtechnology Corporation Lidar systems with mems micromirrors and micromirror arrays
EP4036596A1 (en) * 2021-02-01 2022-08-03 Nokia Technologies Oy High resolution lidar scanning
US11763425B2 (en) 2021-02-03 2023-09-19 Qualcomm Incorporated High resolution time-of-flight depth imaging
DE102021102425A1 (de) * 2021-02-03 2022-08-04 Valeo Schalter Und Sensoren Gmbh Erkennung einer Helligkeitsänderung in der Umgebung eines Kraftfahrzeugs
WO2022178667A1 (zh) * 2021-02-23 2022-09-01 华为技术有限公司 一种激光雷达系统、调整方法及相关设备
US11789128B2 (en) 2021-03-01 2023-10-17 Innovusion, Inc. Fiber-based transmitter and receiver channels of light detection and ranging systems
US20220283273A1 (en) * 2021-03-04 2022-09-08 Beijing Voyager Technology Co., Ltd. Scanning fiber transmitter for distance detection
CN113809109A (zh) * 2021-03-18 2021-12-17 神盾股份有限公司 光感测阵列模块与光收发装置
US20220299318A1 (en) * 2021-03-19 2022-09-22 Topcon Corporation Surveying system, surveying method, and storage medium storing surveying program
US20230044929A1 (en) 2021-03-26 2023-02-09 Aeye, Inc. Multi-Lens Lidar Receiver with Multiple Readout Channels
US20220308214A1 (en) 2021-03-26 2022-09-29 Aeye, Inc. Hyper Temporal Lidar with Controllable Detection Intervals Based on Range Estimates
US11448734B1 (en) * 2021-03-26 2022-09-20 Aeye, Inc. Hyper temporal LIDAR with dynamic laser control using laser energy and mirror motion models
US11630188B1 (en) * 2021-03-26 2023-04-18 Aeye, Inc. Hyper temporal lidar with dynamic laser control using safety models
US11474214B1 (en) 2021-03-26 2022-10-18 Aeye, Inc. Hyper temporal lidar with controllable pulse bursts to resolve angle to target
US11635495B1 (en) * 2021-03-26 2023-04-25 Aeye, Inc. Hyper temporal lidar with controllable tilt amplitude for a variable amplitude scan mirror
US11500093B2 (en) 2021-03-26 2022-11-15 Aeye, Inc. Hyper temporal lidar using multiple matched filters to determine target obliquity
CN113031010B (zh) * 2021-03-31 2023-04-28 小马易行科技(上海)有限公司 检测天气的方法、装置、计算机可读存储介质与处理器
US11887283B2 (en) * 2021-04-19 2024-01-30 Apple Inc. Fast distortion correction for wide field of view (FOV) cameras
DE102021109727A1 (de) 2021-04-19 2022-10-20 Bayerische Motoren Werke Aktiengesellschaft Lidar-Sensor für ein Fahrzeug mit Empfangselement zum Fokussieren in einem Brennpunktbereich, Fahrzeug umfassend einen Lidar-Sensor sowie Verfahren zum Betreiben eines Lidar-Sensors
US11555895B2 (en) 2021-04-20 2023-01-17 Innovusion, Inc. Dynamic compensation to polygon and motor tolerance using galvo control profile
US11614521B2 (en) 2021-04-21 2023-03-28 Innovusion, Inc. LiDAR scanner with pivot prism and mirror
JP2022166647A (ja) * 2021-04-21 2022-11-02 パナソニックIpマネジメント株式会社 光学測定装置、実装基板の組立装置、および、実装基板の組立方法
CN117178199A (zh) 2021-04-22 2023-12-05 图达通智能美国有限公司 具有高分辨率和超宽视场的紧凑型光检测和测距设计
CN113156445B (zh) * 2021-05-11 2023-10-20 东风汽车集团股份有限公司 一种超声波雷达盲区监测系统及监测方法
US20220373649A1 (en) * 2021-05-17 2022-11-24 Raytheon Company Mode chaining for multifunction laser radar
IL283638B2 (en) * 2021-05-18 2023-04-01 Elbit Systems Ltd A system and method for creating focused 3D maps
CN117413199A (zh) 2021-05-21 2024-01-16 图达通智能美国有限公司 使用lidar扫描仪内部的检流计镜进行智能扫描的移动配置文件
US20220373690A1 (en) * 2021-05-21 2022-11-24 Connectsix Llc Atmospheric sensor using programmable time-gated detection aperture
TWI780732B (zh) * 2021-05-26 2022-10-11 光焱科技股份有限公司 光調變系統、方法、電腦程式產品及電腦可讀取紀錄媒體
US11402475B1 (en) * 2021-05-28 2022-08-02 Aeva, Inc. Techniques for periodic synchronization of light system
US20220381594A1 (en) * 2021-05-28 2022-12-01 Contitech Transportbandsysteme Gmbh Volume flow measurement of material using 3d lidar
WO2022250765A1 (en) * 2021-05-28 2022-12-01 Intel Corporation Light detection and ranging systems
WO2022250766A1 (en) * 2021-05-28 2022-12-01 Intel Corporation Controlling means for a light detection and ranging system and non-transitory computer readable mediums
US11624831B2 (en) * 2021-06-09 2023-04-11 Suteng Innovation Technology Co., Ltd. Obstacle detection method and apparatus and storage medium
CN116601518A (zh) * 2021-06-11 2023-08-15 深圳市大疆创新科技有限公司 激光雷达控制方法、装置、激光雷达及存储介质
CN113156397B (zh) * 2021-06-25 2021-10-19 雷神等离子科技(杭州)有限公司 一种高灵敏度激光雷达及其信号处理方法、定位方法
DE102021119350A1 (de) 2021-07-27 2023-02-02 Valeo Schalter Und Sensoren Gmbh Objektverfolgung mittels eines Laserscanners
KR20230021457A (ko) * 2021-08-05 2023-02-14 현대모비스 주식회사 차량의 장애물 감지 시스템 및 방법
KR102621696B1 (ko) * 2021-08-27 2024-01-08 한국건설기술연구원 가변 도로교통정보 제공 장치
KR102420506B1 (ko) * 2021-09-17 2022-07-14 주식회사 제이에스솔루션 크레인 충돌방지를 위한 지능형 비전 센서
WO2023054883A1 (ko) * 2021-09-29 2023-04-06 주식회사 에스오에스랩 라이다 장치에 대한 성능 평가 방법 및 라이다 장치에 대한 성능 평가 장치
CN115901245A (zh) * 2021-09-30 2023-04-04 华为技术有限公司 一种激光雷达系统和车辆
US11760412B2 (en) * 2021-10-07 2023-09-19 Denso Corporation Systems and methods for controlling a vehicle localization routine
CN113885590B (zh) * 2021-10-11 2023-06-23 电子科技大学 一种基于fpga的高速可扩展光学相控阵控制系统
DE102021127448A1 (de) 2021-10-22 2023-04-27 Marelli Automotive Lighting Reutlingen (Germany) GmbH LIDAR-Baugruppe und Verfahren zur Beschichtung einer Abdeckscheibe einer LIDAR-Baugruppe
CN113704381B (zh) * 2021-10-27 2022-01-28 腾讯科技(深圳)有限公司 路网数据处理方法、装置、计算机设备和存储介质
WO2023082253A1 (zh) * 2021-11-15 2023-05-19 深圳市大疆创新科技有限公司 无人飞行器的控制方法、无人飞行器及存储介质
CN114325730B (zh) * 2021-11-17 2022-12-13 杭州宏景智驾科技有限公司 一种大视场远距离激光雷达测试方法
KR20230094788A (ko) * 2021-12-21 2023-06-28 삼성전자주식회사 라이더 센서 장치 및 이를 구비한 전자 장치
CN114338998A (zh) * 2021-12-31 2022-04-12 联想(北京)有限公司 一种点云数据获取方法及电子设备
WO2023130125A1 (en) * 2022-01-03 2023-07-06 Innovusion, Inc. Systems and methods for scanning a region of interest using a light detection and ranging scanner
US11927814B2 (en) * 2022-01-05 2024-03-12 Scidatek Inc. Semiconductor photodetector array sensor integrated with optical-waveguide-based devices
WO2023137564A1 (en) * 2022-01-24 2023-07-27 Leddartech Inc. Beam steering system with a configurable beam deflection element
JP7332731B1 (ja) 2022-02-17 2023-08-23 本田技研工業株式会社 外界認識装置
WO2023164906A1 (zh) * 2022-03-03 2023-09-07 华为技术有限公司 一种扫描方法及装置
WO2023166512A1 (en) * 2022-03-03 2023-09-07 Innoviz Technologies Ltd Increasing signal to noise ratio of a pixel of a lidar system
CN114325631B (zh) * 2022-03-04 2023-04-07 北京一径科技有限公司 激光雷达控制方法及装置、激光雷达、车辆及存储介质
US20230281955A1 (en) 2022-03-07 2023-09-07 Quidient, Llc Systems and methods for generalized scene reconstruction
WO2023182674A1 (ko) * 2022-03-21 2023-09-28 현대자동차주식회사 라이다 포인트 클라우드 코딩을 위한 방법 및 장치
US11871130B2 (en) 2022-03-25 2024-01-09 Innovusion, Inc. Compact perception device
WO2023184547A1 (zh) * 2022-04-02 2023-10-05 华为技术有限公司 一种扫描系统和方法
KR102498023B1 (ko) * 2022-04-08 2023-02-09 이동수 라이다 센서를 이용한 보안 시스템 및 방법
CN114460596B (zh) * 2022-04-14 2022-06-14 宜科(天津)电子有限公司 一种基于能量和距离的自适应数据处理方法
CN114935743B (zh) * 2022-04-18 2023-06-23 深圳阜时科技有限公司 发射模组、光电检测装置及电子设备
CN114935742B (zh) * 2022-04-18 2023-08-22 深圳阜时科技有限公司 发射模组、光电检测装置及电子设备
CN114966620B (zh) * 2022-04-18 2023-05-05 深圳阜时科技有限公司 光电检测装置及电子设备
US20230367014A1 (en) * 2022-05-10 2023-11-16 Velodyne Lidar Usa, Inc. Beam steering techniques for correcting scan line compression in lidar devices
CN115015955A (zh) * 2022-05-23 2022-09-06 天津卡尔狗科技有限公司 运动信息的确定方法、装置、设备、存储介质和程序产品
CN114779464A (zh) * 2022-05-24 2022-07-22 北京有竹居网络技术有限公司 光学信号调制器、控制方法及投影设备
US20230384455A1 (en) * 2022-05-31 2023-11-30 Continental Autonomous Mobility US, LLC Lidar sensor including spatial light modulator to direct field of illumination
DE102022114716A1 (de) 2022-06-10 2023-12-21 3D Mapping Solutions GmbH Verfahren und Prozessorschaltung zum Erzeugen eines 3D-Flächenmodells aus Messpunkten einer Messfahrt eines Fahrzeugs sowie zugehöriges System
US11921214B2 (en) * 2022-08-03 2024-03-05 Aeva, Inc. Techniques for foveated and dynamic range modes for FMCW LIDARs
KR102507068B1 (ko) * 2022-08-04 2023-03-08 주식회사 인포웍스 악천후 환경에 강건한 FMCW LiDAR 물체 탐지 시스템 및 물체 탐지 방법
CN117630866A (zh) * 2022-08-10 2024-03-01 上海禾赛科技有限公司 激光雷达、激光雷达的资源分配方法及计算机可读存储介质
WO2024048346A1 (ja) * 2022-08-30 2024-03-07 ソニーセミコンダクタソリューションズ株式会社 物体認識システム、物体認識装置及び物体認識方法
WO2024048275A1 (ja) * 2022-08-31 2024-03-07 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法および車室内監視装置
CN116842321B (zh) * 2023-07-11 2024-03-15 赛诺威盛医疗科技(扬州)有限公司 计算机断层扫描设备的扫描数据的校正方法及校正装置
CN117173897B (zh) * 2023-11-03 2024-01-26 浪潮智慧科技(青岛)有限公司 一种基于物联网技术的路面交通监测调控方法及系统

Family Cites Families (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US80000A (en) * 1868-07-14 Cyrus mil nee
CA2056842A1 (en) * 1991-02-07 1992-08-08 Jay M. Eastman System for scanning and reading symbols, such as bar codes, which is adapted to be configured in a hand held unit and can automatically read symbols on objects which are placed inthe detection zone of the unit
JP2903746B2 (ja) * 1991-03-20 1999-06-14 トヨタ自動車株式会社 車間距離検出装置
JPH05203736A (ja) * 1992-01-29 1993-08-10 Mazda Motor Corp 車両の障害物検出装置
JP3183598B2 (ja) * 1993-12-14 2001-07-09 三菱電機株式会社 障害物検知装置
JP2776253B2 (ja) * 1994-07-15 1998-07-16 日本電気株式会社 レーザ・レーダ
JP3676371B2 (ja) * 1994-08-29 2005-07-27 ライテル インストゥルメンツ インコーポレイテッド 回析限界に近づくための現存の像形成装置の補正板補正
JPH08248133A (ja) * 1995-03-07 1996-09-27 Omron Corp 位置情報検出装置、位置情報検出装置を用いた車両搭載用レーダ、および路上障害物認識方法
US5784023A (en) 1995-06-26 1998-07-21 Bluege; John Speed detection method
JPH09197045A (ja) * 1996-01-24 1997-07-31 Nissan Motor Co Ltd 車両用レーダ装置
US5682225A (en) * 1996-06-07 1997-10-28 Loral Vought Systems Corp. Ladar intensity image correction for laser output variations
JP3562278B2 (ja) * 1997-11-07 2004-09-08 日産自動車株式会社 環境認識装置
JP3420049B2 (ja) * 1997-12-27 2003-06-23 本田技研工業株式会社 車両用物体検知装置
FR2783330B1 (fr) * 1998-09-15 2002-06-14 Assist Publ Hopitaux De Paris Dispositif d'observation de l'interieur d'un corps produisant une qualite d'observation perfectionnee
JP3514166B2 (ja) 1999-05-06 2004-03-31 日産自動車株式会社 先行車認識装置
US6204955B1 (en) * 1999-07-09 2001-03-20 Advanced Optical Technologies, Inc. Apparatus for dynamic control of light direction in a broad field of view
US6664529B2 (en) * 2000-07-19 2003-12-16 Utah State University 3D multispectral lidar
JP2002071808A (ja) 2000-08-28 2002-03-12 Omron Corp 測距装置及びこれを使用した先行車検知システム並びに先行車追従システム
JP4595197B2 (ja) * 2000-12-12 2010-12-08 株式会社デンソー 距離測定装置
JP3838432B2 (ja) * 2002-02-08 2006-10-25 オムロン株式会社 測距装置
JP4092956B2 (ja) * 2002-06-05 2008-05-28 トヨタ自動車株式会社 車載運転支援装置
US6970578B1 (en) * 2002-07-16 2005-11-29 The United States Of America As Represented By The Secretary Of The Navy Method of generating images to aid in the detection of manmade objects in cluttered underwater environments
JP3879848B2 (ja) 2003-03-14 2007-02-14 松下電工株式会社 自律移動装置
US7177063B2 (en) 2003-08-12 2007-02-13 Terraop Ltd. Bouncing mode operated scanning micro-mirror
JP2005077379A (ja) 2003-09-03 2005-03-24 Denso Corp レーダ装置
US7064810B2 (en) * 2003-09-15 2006-06-20 Deere & Company Optical range finder with directed attention
DE10361869A1 (de) * 2003-12-29 2005-07-28 Iqsun Gmbh Vorrichtung und Verfahren zum optischen Abtasten und Vermessen einer Umgebung
JP2005257325A (ja) * 2004-03-09 2005-09-22 Denso Corp 距離検出装置
WO2006077588A2 (en) * 2005-01-20 2006-07-27 Elbit Systems Electro-Optics Elop Ltd. Laser obstacle detection and display
US7106552B2 (en) 2005-02-03 2006-09-12 Hitachi Global Storage Technologies Netherlands B.V. Method for secondary-actuator failure detection and recovery in a dual-stage actuator disk drive
JP2006258604A (ja) * 2005-03-17 2006-09-28 Sanyo Electric Co Ltd 検出装置
JP2007139594A (ja) * 2005-11-18 2007-06-07 Omron Corp 物体検出装置
US7936448B2 (en) 2006-01-27 2011-05-03 Lightwire Inc. LIDAR system utilizing SOI-based opto-electronic components
US7944548B2 (en) * 2006-03-07 2011-05-17 Leica Geosystems Ag Increasing measurement rate in time of flight measurement apparatuses
US8493445B2 (en) 2006-05-31 2013-07-23 Sigma Space Corp Scanner/optical system for three-dimensional lidar imaging and polarimetry
US8072581B1 (en) 2007-01-19 2011-12-06 Rockwell Collins, Inc. Laser range finding system using variable field of illumination flash lidar
US8922864B2 (en) 2007-03-06 2014-12-30 Stmicroelectronics International N.V. MEMS device having reduced deformations
DE102007011425A1 (de) * 2007-03-08 2008-09-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Projektionsvorrichtung zum scannenden Projizieren
JP2011503526A (ja) * 2007-10-09 2011-01-27 ダンマークス テクニスク ユニバーシテット 半導体レーザと増幅器とに基づくコヒーレントライダーシステム
US8251517B2 (en) * 2007-12-05 2012-08-28 Microvision, Inc. Scanned proximity detection method and apparatus for a scanned image projection system
US20090219961A1 (en) * 2008-02-28 2009-09-03 B.E. Meyers & Co., Inc. Laser Systems and Methods Having Auto-Ranging and Control Capability
US8332134B2 (en) * 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
US20090273770A1 (en) * 2008-04-30 2009-11-05 Honeywell International Inc. Systems and methods for safe laser imaging, detection and ranging (lidar) operation
WO2010048960A1 (en) * 2008-10-28 2010-05-06 3Shape A/S Scanner with feedback control
WO2010070701A1 (ja) * 2008-12-15 2010-06-24 トヨタ自動車株式会社 対象物測定装置、及び当該装置で用いられる方法
CN101526619B (zh) * 2009-04-02 2011-07-13 哈尔滨工业大学 基于无扫描激光雷达与ccd相机的同步测距测速系统
JP5710109B2 (ja) * 2009-07-10 2015-04-30 日本信号株式会社 光測距装置
DE102009029364A1 (de) * 2009-09-11 2011-03-24 Robert Bosch Gmbh Messvorrichtung zur Messung einer Entfernung zwischen der Messvorrichtung und einem Zielobjekt mit Hilfe optischer Messstrahlung
US20110285981A1 (en) 2010-05-18 2011-11-24 Irvine Sensors Corporation Sensor Element and System Comprising Wide Field-of-View 3-D Imaging LIDAR
US20120170024A1 (en) * 2009-09-22 2012-07-05 Medhat Azzazy Long Range Acquisition and Tracking SWIR Sensor System Comprising Micro-Lamellar Spectrometer
JP2011089874A (ja) 2009-10-22 2011-05-06 Toyota Central R&D Labs Inc 距離画像データ取得装置
US8212995B2 (en) 2010-03-16 2012-07-03 Raytheon Company Laser imaging system with uniform line illumination and method for generating images
JP5602225B2 (ja) 2010-05-07 2014-10-08 三菱電機株式会社 レーザレーダ装置
LU91688B1 (en) 2010-05-17 2011-11-18 Iee Sarl Scanning 3D imager
US8736818B2 (en) * 2010-08-16 2014-05-27 Ball Aerospace & Technologies Corp. Electronically steered flash LIDAR
US20120236379A1 (en) 2010-08-23 2012-09-20 Lighttime, Llc Ladar using mems scanning
JP2012063236A (ja) 2010-09-16 2012-03-29 Ricoh Co Ltd レーザレーダ装置
KR101395089B1 (ko) * 2010-10-01 2014-05-16 안동대학교 산학협력단 장애물 감지 시스템 및 방법
CN102565808B (zh) 2010-12-17 2015-10-21 上海无线电设备研究所 一种稀疏阵列高速三维成像激光雷达的实现方法
EP2469294A1 (en) 2010-12-23 2012-06-27 André Borowski 2D/3D real-time imager and corresponding imaging methods
EP2469295A1 (en) * 2010-12-23 2012-06-27 André Borowski 3D landscape real-time imager and corresponding imaging methods
KR101071362B1 (ko) * 2011-03-25 2011-10-07 위재영 차량의 물체 거리 인식 시스템 및 작동 방법
JP2012215521A (ja) 2011-04-01 2012-11-08 Denso Corp レーザレーダ装置
WO2013094791A1 (ko) 2011-12-22 2013-06-27 엘지전자 주식회사 거리 측정 장치
JP5985661B2 (ja) 2012-02-15 2016-09-06 アップル インコーポレイテッド 走査深度エンジン
KR101357051B1 (ko) * 2012-05-22 2014-02-04 한국생산기술연구원 3차원 스캐닝 시스템 및 이를 이용한 3차원 영상획득방법
EP2677340A1 (en) 2012-06-18 2013-12-25 Hexagon Technology Center GmbH Distance measuring method using dynamic pulse width adaptation
GB2504291A (en) * 2012-07-24 2014-01-29 St Microelectronics Ltd A proximity and gesture detection module
CN202794523U (zh) * 2012-07-27 2013-03-13 符建 一种基于飞行光谱的三维成像雷达系统
US9383753B1 (en) * 2012-09-26 2016-07-05 Google Inc. Wide-view LIDAR with areas of special attention
ES2512965B2 (es) * 2013-02-13 2015-11-24 Universitat Politècnica De Catalunya Sistema y método para escanear una superficie y programa de ordenador que implementa el método
KR102048361B1 (ko) * 2013-02-28 2019-11-25 엘지전자 주식회사 거리 검출 장치, 및 이를 구비하는 영상처리장치
US9128190B1 (en) * 2013-03-06 2015-09-08 Google Inc. Light steering device with an array of oscillating reflective slats
US9086273B1 (en) * 2013-03-08 2015-07-21 Google Inc. Microrod compression of laser beam in combination with transmit lens
US9254846B2 (en) 2013-05-03 2016-02-09 Google Inc. Predictive reasoning for controlling speed of a vehicle
US9121703B1 (en) 2013-06-13 2015-09-01 Google Inc. Methods and systems for controlling operation of a laser device
US8836922B1 (en) 2013-08-20 2014-09-16 Google Inc. Devices and methods for a rotating LIDAR platform with a shared transmit/receive path
US9368936B1 (en) 2013-09-30 2016-06-14 Google Inc. Laser diode firing system
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
KR102178860B1 (ko) * 2013-11-25 2020-11-18 한국전자통신연구원 레이저 레이더 장치 및 그것의 동작 방법
CN103576134B (zh) * 2013-11-26 2015-10-07 北京航空航天大学 一种基于同轴双通道数据采集的全波形激光雷达系统
US9625580B2 (en) 2014-01-03 2017-04-18 Princeton Lightwave, Inc. LiDAR system comprising a single-photon detector
JP6292534B2 (ja) 2014-01-23 2018-03-14 株式会社リコー 物体検出装置及びセンシング装置
CN103901435B (zh) * 2014-03-11 2016-05-18 北京航空航天大学 一种全光纤光路全波形激光雷达系统
SG11201606510XA (en) 2014-03-14 2016-09-29 Heptagon Micro Optics Pte Ltd Optoelectronic modules operable to recognize spurious reflections and to compensate for errors caused by spurious reflections
CN106415309B (zh) 2014-06-27 2019-07-30 Hrl实验室有限责任公司 扫描激光雷达及其制造方法
WO2016025502A1 (en) * 2014-08-11 2016-02-18 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
CA2958204A1 (en) 2014-08-15 2016-02-18 Aeye, Inc. Methods and systems for ladar transmission
US9869753B2 (en) 2014-08-15 2018-01-16 Quanergy Systems, Inc. Three-dimensional-mapping two-dimensional-scanning lidar based on one-dimensional-steering optical phased arrays and method of using same
KR101632873B1 (ko) 2014-09-05 2016-07-01 현대모비스 주식회사 장애물 검출 시스템 및 방법
JP2016057141A (ja) * 2014-09-09 2016-04-21 株式会社リコー 距離測定装置、移動体装置及び距離測定方法
US10782392B2 (en) * 2014-10-09 2020-09-22 Konica Minolta, Inc. Scanning optical system and light projecting and receiving apparatus
US10036803B2 (en) 2014-10-20 2018-07-31 Quanergy Systems, Inc. Three-dimensional lidar sensor based on two-dimensional scanning of one-dimensional optical emitter and method of using same
IL235359A (en) 2014-10-27 2015-11-30 Ofer David Simulates a wide-dynamic-range environment with a high intensity beam / reflector
US10073177B2 (en) * 2014-11-14 2018-09-11 Massachusetts Institute Of Technology Methods and apparatus for phased array imaging
JP2016110008A (ja) * 2014-12-10 2016-06-20 スタンレー電気株式会社 二軸光偏向器
JP6497071B2 (ja) 2014-12-26 2019-04-10 富士通株式会社 レーザ測距装置、汚れ検出方法、およびプログラム
US9625582B2 (en) * 2015-03-25 2017-04-18 Google Inc. Vehicle with multiple light detection and ranging devices (LIDARs)
US10120076B2 (en) 2015-05-07 2018-11-06 GM Global Technology Operations LLC Spatio-temporal scanning patterns for array lidar systems
US10527726B2 (en) * 2015-07-02 2020-01-07 Texas Instruments Incorporated Methods and apparatus for LIDAR with DMD
US10093312B2 (en) * 2015-07-27 2018-10-09 Sharp Kabushiki Kaisha Obstacle determining apparatus, moving body, and obstacle determining method
WO2017079483A1 (en) 2015-11-05 2017-05-11 Luminar Technologies, Inc. Lidar system with improved scanning speed for high-resolution depth mapping
US10520602B2 (en) 2015-11-30 2019-12-31 Luminar Technologies, Inc. Pulsed laser for lidar system
WO2017106875A1 (en) * 2015-12-18 2017-06-22 Gerard Dirk Smits Real time position sensing of objects
CN105467399B (zh) * 2015-12-29 2019-02-12 大连楼兰科技股份有限公司 基于Light Tools的车载激光雷达光学系统及其工作方法
US10434573B2 (en) * 2016-02-18 2019-10-08 Velo3D, Inc. Accurate three-dimensional printing
US20170323429A1 (en) * 2016-05-09 2017-11-09 John Peter Godbaz Multiple patterns in time-of-flight camera apparatus
GB2570791B (en) 2016-05-18 2021-10-27 James Okeeffe A dynamically steered lidar adapted to vehicle shape
US9789808B1 (en) 2016-07-01 2017-10-17 Toyota Motor Engineering & Manufacturing North America, Inc. Headlight directional control for illuminating an identified object
WO2018031830A1 (en) * 2016-08-10 2018-02-15 Okeeffe James Laser range finding with enhanced utilization of a remotely located mirror
WO2018044958A1 (en) * 2016-08-29 2018-03-08 Okeeffe James Laser range finder with smart safety-conscious laser intensity
US9791557B1 (en) * 2016-09-15 2017-10-17 Qualcomm Incorporated System and method for multi-area LIDAR ranging
DE102016011299A1 (de) 2016-09-19 2018-03-22 Blickfeld GmbH Codierte Laserlicht-Pulssequenzen für LIDAR
US10379540B2 (en) * 2016-10-17 2019-08-13 Waymo Llc Light detection and ranging (LIDAR) device having multiple receivers
US10114111B2 (en) 2017-03-28 2018-10-30 Luminar Technologies, Inc. Method for dynamically controlling laser power

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023017321A1 (en) * 2022-01-30 2023-02-16 Saemi Zohreh Laser smoke / motion / vibration / temperature detector without the need for electrical energy

Also Published As

Publication number Publication date
JP6697636B2 (ja) 2020-05-20
US20180143302A1 (en) 2018-05-24
CN109997057A (zh) 2019-07-09
EP3516421A2 (en) 2019-07-31
JP7336014B2 (ja) 2023-08-30
US20180113200A1 (en) 2018-04-26
KR102472631B1 (ko) 2022-11-30
KR20230110646A (ko) 2023-07-24
WO2018055449A9 (en) 2018-05-17
EP3859396A1 (en) 2021-08-04
EP4194888A1 (en) 2023-06-14
US20180136331A1 (en) 2018-05-17
KR102457029B1 (ko) 2022-10-24
KR20220164081A (ko) 2022-12-12
JP7106595B2 (ja) 2022-07-26
US10107915B2 (en) 2018-10-23
KR102547582B1 (ko) 2023-06-26
JP2023022195A (ja) 2023-02-14
KR102554215B1 (ko) 2023-07-11
US10698114B2 (en) 2020-06-30
US20190212450A1 (en) 2019-07-11
US10031232B2 (en) 2018-07-24
US20180143306A1 (en) 2018-05-24
US20180143308A1 (en) 2018-05-24
US10222477B2 (en) 2019-03-05
KR20220163517A (ko) 2022-12-09
US10031214B2 (en) 2018-07-24
EP4194889A1 (en) 2023-06-14
EP4191278A1 (en) 2023-06-07
US10353075B2 (en) 2019-07-16
KR20220159493A (ko) 2022-12-02
JP2023052121A (ja) 2023-04-11
CN110286388A (zh) 2019-09-27
KR102547651B1 (ko) 2023-06-26
JP7281594B2 (ja) 2023-05-25
US20180128920A1 (en) 2018-05-10
US20180143305A1 (en) 2018-05-24
JP7241223B2 (ja) 2023-03-16
CN111796255A (zh) 2020-10-20
JP2019535014A (ja) 2019-12-05
JP2023022136A (ja) 2023-02-14
KR20220146680A (ko) 2022-11-01
US20180143322A1 (en) 2018-05-24
US20190271769A1 (en) 2019-09-05
US10241207B2 (en) 2019-03-26
JP2022141781A (ja) 2022-09-29
KR102496509B1 (ko) 2023-02-07
EP4194887A1 (en) 2023-06-14
US10241208B2 (en) 2019-03-26
US10481268B2 (en) 2019-11-19
KR20190049871A (ko) 2019-05-09
WO2018055449A2 (en) 2018-03-29
KR102656212B1 (ko) 2024-04-09
US10310088B2 (en) 2019-06-04
US20180143304A1 (en) 2018-05-24
US20220050203A1 (en) 2022-02-17
US20180120441A1 (en) 2018-05-03
US10317534B2 (en) 2019-06-11
KR20220163509A (ko) 2022-12-09
US10215859B2 (en) 2019-02-26
US10281582B2 (en) 2019-05-07
US20180143324A1 (en) 2018-05-24
CN109997057B (zh) 2020-07-14
US20180136337A1 (en) 2018-05-17
US20180120424A1 (en) 2018-05-03
US20180143307A1 (en) 2018-05-24
JP2020126065A (ja) 2020-08-20
US10191156B2 (en) 2019-01-29

Similar Documents

Publication Publication Date Title
CN110286388B (zh) 激光雷达系统和使用其检测物体的方法及介质
KR20240051293A (ko) Lidar 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Israeli Rosh ha'ayin

Patentee after: Yingnuowesi Technology Co.,Ltd.

Address before: Israeli Rosh ha'ayin

Patentee before: Creative Technology Ltd.

CP01 Change in the name or title of a patent holder