CN111157977B - 用于自动驾驶车辆的、使用时间-数字转换器和多像素光子计数器的lidar峰值检测 - Google Patents

用于自动驾驶车辆的、使用时间-数字转换器和多像素光子计数器的lidar峰值检测 Download PDF

Info

Publication number
CN111157977B
CN111157977B CN201910815694.7A CN201910815694A CN111157977B CN 111157977 B CN111157977 B CN 111157977B CN 201910815694 A CN201910815694 A CN 201910815694A CN 111157977 B CN111157977 B CN 111157977B
Authority
CN
China
Prior art keywords
time
laser beam
sensor
peak amplitude
initial laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910815694.7A
Other languages
English (en)
Other versions
CN111157977A (zh
Inventor
韩阳
申耀明
周翔飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of CN111157977A publication Critical patent/CN111157977A/zh
Application granted granted Critical
Publication of CN111157977B publication Critical patent/CN111157977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J11/00—Measuring the characteristics of individual optical pulses or of optical pulse trains
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/14—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein a voltage or current pulse is initiated and terminated in accordance with the pulse transmission and echo reception respectively, e.g. using counters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G04—HOROLOGY
    • G04F—TIME-INTERVAL MEASURING
    • G04F10/00—Apparatus for measuring unknown time intervals by electric means
    • G04F10/005—Time-to-digital converters [TDC]

Abstract

LIDAR扫描系统使用时间‑数字转换(TDC)装置和多像素光子计数器(MPPC)的组合来确定离开对象的激光束的反射的峰值位置(时间)和幅度。TDC的可配置触发阈值指示已触发足够数量的MPPC像素，峰值检测模块应开始采样并存储触发的像素的MPPC计数。当从反射的激光束接收的光低于TDC的触发阈值时，MPPC停止对MPPC计数采样。根据MPPC的最高样本计数确定激光束的反射的峰值幅度。将峰值幅度出现的时间确定为TDC触发点的中点。峰值幅度MPPC计数与强度值相关。

Description

用于自动驾驶车辆的、使用时间-数字转换器和多像素光子计 数器的LIDAR峰值检测
技术领域
本公开的实施方式总体涉及用于自动驾驶车辆(ADV)的LIDAR传感器。
背景技术
以自动驾驶模式运行(例如，无人驾驶)的车辆可将乘员、尤其是驾驶员从一些驾驶相关的职责中解放出来。当以自动驾驶模式运行时，车辆可使用车载传感器导航到各个位置，从而允许车辆在最少人机交互的情况下或在没有任何乘客的一些情况下行驶。
自动驾驶车辆(ADV)中的车载传感器之一是光探测和测距(“LIDAR”)。ADV可使用LIDAR以在驾驶时检测ADV周围的对象。LIDAR还可用于生成和/或更新表示ADV周围的对象的高清晰度地图，所述对象诸如为建筑物、道路、标志、树木以及可能出现在高清晰度地图中的其它对象。
为了使车载LIDAR有效地检测ADV周围的对象，必须迅速地执行对对象的扫描，并尽可能多地捕获ADV周围的信息。LIDAR装置的一个功能是确定从LIDAR装置发射的、从由LIDAR装置扫描的对象反射回LIDAR装置的激光束的反射的峰值位置和幅度。在现有技术中，峰值位置(时间)和幅度通常都是使用高速模数转换器(ADC)进行测量。这些ADC非常昂贵，导致了LIDAR装置的高成本。此外，如果对象很远(例如，100米)并且具有不规则表面，则发射的激光束的反射可具有低的强度。相反，如果扫描的对象很近(例如，10米)并且具有坚硬的反射表面，则发射的激光束的反射可具有高的强度。诸如PIN二极管和雪崩光电二极管的现有技术检测器可能具有不足以用于高性能LIDAR装置的动态范围。
发明内容
根据本公开的一方面，提供了一种用于自动驾驶车辆的LIDAR装置，包括：
激光发射器，用于发射初始激光束；
第一传感器，测量所述初始激光束的反射的峰值幅度；
第二传感器，测量所述初始激光束的反射的峰值幅度出现的时间；以及
处理模块，联接至所述第一传感器和所述第二传感器，以根据所述峰值幅度和从发射所述初始激光束到所述峰值幅度出现的时间的飞行时间生成LIDAR信息，其中，所述LIDAR信息用于响应于由所述LIDAR装置检测到的一个或多个障碍物来导航所述自动驾驶车辆。
根据本公开的另一方面，提供了一种自动驾驶车辆，包括：
LIDAR装置，其中，所述LIDAR装置包括：
激光发射器，用于发射初始激光束；
第一传感器，测量所述初始激光束的反射的峰值幅度；
第二传感器，测量所述初始激光束的反射的峰值幅度出现的时间；以及
处理模块，联接至所述第一传感器和所述第二传感器，以根据所述峰值幅度和从发射所述初始激光束到所述峰值幅度出现的时间的飞行时间生成LIDAR信息；以及
感知与规划系统，联接至所述LIDAR装置，并配置成响应于由所述LIDAR装置检测到的一个或多个障碍物利用所述LIDAR信息来导航所述自动驾驶车辆。
根据本公开的又一方面，提供了一种在LIDAR装置上实践的计算机实施的方法，其中，所述LIDAR装置包括激光发射器、第一传感器、第二传感器和处理模块，所述方法包括：
通过所述激光发射器发射初始激光束；
通过所述第一传感器测量所述初始激光束的反射的峰值幅度；
通过具有可配置的触发阈值的所述第二传感器测量所述初始激光束的反射的峰值幅度出现的时间；以及
根据所述峰值幅度和从发射所述初始激光束到所述峰值幅度出现的时间的飞行时间生成LIDAR信息，其中，所述LIDAR信息用于响应于由所述LIDAR装置检测到的一个或多个障碍物来导航自动驾驶车辆。
附图说明
本公开的实施方式在附图的各图中以举例而非限制的方式示出，附图中的相同参考标记指示相似元件。
图1是示出根据一个实施方式的网络化系统的框图。
图2是示出根据一个实施方式的自动驾驶车辆(ADV)的示例的框图。
图3是示出根据一个实施方式的与ADV一起使用的感知与规划系统的示例的框图。
图4A和图4B是示出根据一个实施方式的LIDAR传感器系统的框图，该LIDAR传感器系统包括使用多像素光子计数器和时间-数字转换装置的峰值检测，以用于ADV中的LIDAR系统。
图5示出根据一个实施方式的从由ADV的LIDAR系统扫描的对象反射的初始激光束的示例性反射脉冲。
图6示出根据一些实施方式的确定从由ADV的LIDAR系统扫描的对象反射的初始激光束的反射的峰值幅度以及峰值幅度出现的时间的方法。
具体实施方式
将参考以下所讨论的细节来描述本公开的各种实施方式和方面，附图将示出所述各种实施方式。下列描述和附图是本公开的说明，而不应当解释为对本公开进行限制。描述了许多特定细节以提供对本公开的各种实施方式的全面理解。然而，在某些情况下，并未描述众所周知的或常规的细节，以提供对本公开的实施方式的简洁讨论。
本说明书中对“一个实施方式”或“实施方式”的提及意味着结合该实施方式所描述的特定特征、结构或特性可包括在本公开的至少一个实施方式中。短语“在一个实施方式中”在本说明书中各个地方的出现不必全部指同一实施方式。
本文中描述的实施方式结合使用低成本的时间-数字转换(TDC)装置和多像素光子计数器(MPPC)来克服现有PIN二极管和雪崩光电二极管的低动态范围以及高速模数转换器(ADC)的高成本问题，以测量从LIDAR装置发射的激光束从目标对象的反射的强度。
在第一实施方式中，用于自动驾驶车辆(ADV)的LIDAR装置包括激光发射器、第一传感器和第二传感器，其中，第一传感器测量初始激光束的反射的峰值幅度，第二传感器测量初始激光束的反射的峰值幅度出现的时间。联接至第一传感器和第二传感器的处理模块根据峰值幅度和从发射初始激光束到出现峰值幅度的时间的飞行时间生成LIDAR信息。LIDAR信息可用于响应于由LIDAR装置检测到的一个或多个障碍物来导航ADV。可使用第二反射光束来测量峰值幅度出现的时间。在实施方式中，第一传感器和第二传感器可合并成单个传感器。在实施方式中，第二传感器可包括时间-数字转换器(TDC)。TDC的触发阈值可配置成在对应于LIDAR装置的最大感测距离范围的水平处触发。峰值幅度出现的时间可使用TDC接收到反射的初始激光束的前沿触发的时间与TDC检测到反射的初始激光束的后沿触发的时间之间的中点进行确定。在实施方式中，当反射的初始激光束的幅度上升到TDC的触发阈值以上时，发生TDC的前沿触发，以及当反射的初始激光束的幅度下降到TDC的触发阈值以下时，可发生后沿触发。在实施方式中，第一传感器可包括多像素光子计数器(MPPC)。峰值的幅度可至少部分地通过对由MPPC测量的触发像素的计数来确定。在实施方式中，MPPC可包括单光子雪崩二极管(SPAD)阵列。在实施方式中，MPPC可包括单雪崩光电二极管阵列。在实施方式中，MPPC可包括CCD摄像机。LIDAR装置还可包括将峰值幅度与反射的初始激光束的强度相关联的逻辑。
在第二实施方式中，自动驾驶车辆(ADV)可包括上述LIDAR装置以及感知与规划系统，其中，感知与规划系统可接收由LIDAR装置生成的LIDAR信息，以感知ADV周围的驾驶环境并控制ADV在驾驶环境中导航。
在第三实施方式中，计算机实施的方法可在LIDAR装置上实施，该LIDAR装置包括激光发射器、第一传感器、第二传感器和处理模块。该方法可包括通过激光发射器发射初始激光束；通过第一传感器测量初始激光束的反射的峰值幅度；以及通过具有可配置的触发阈值的第二传感器测量初始激光束的反射的峰值幅度出现的时间。可根据峰值幅度和从发射初始激光束到峰值幅度出现的时间的飞行时间来生成LIDAR信息。LIDAR信息可用于响应于由LIDAR装置检测到的一个或多个障碍物来导航自动驾驶车辆(ADV)。在实施方式中，第一传感器包括多像素光子计数器(MPPC)。在实施方式中，第二传感器可以是时间-数字至转换(TDC)装置。该方法还可包括将MPPC的计数与强度值相关联，以及将强度值和飞行时间与反射初始激光束的对象的一个？？或多个属性相关联。测量峰值幅度还可包括：对于多个时间增量中的每个，读取和存储与时间增量相关联地MPPC的计数。在实施方式中，当初始激光束的反射超过第二传感器的触发阈值时，开始读取和存储，以及当初始激光束的反射低于第二传感器的触发阈值时，结束读取和存储。在实施方式中，峰值幅度可确定为针对多个时间增量的所存储的MPPC计数当中的最高MPPC计数。
在第四实施方式中，可在包括用可执行指令编程的存储器的系统上执行上述方法操作中的任一个，该存储器联接至具有至少一个硬件处理器的处理系统，当指令由处理系统执行时，执行所述方法操作。非暂时性计算机可读介质可存储可执行指令，该可执行指令在由具有至少一个硬件处理器的处理系统执行时，执行上述方法操作中的任一个。
图1是示出根据本公开的一个实施方式的自动驾驶车辆网络配置的框图。参考图1，网络配置100包括可通过网络102通信地联接到一个或多个服务器103至104的自动驾驶车辆101。尽管示出一个自动驾驶车辆，但多个自动驾驶车辆可通过网络102联接到彼此和/或联接到服务器103至104。网络102可以是任何类型的网络，例如，有线或无线的局域网(LAN)、诸如互联网的广域网(WAN)、蜂窝网络、卫星网络或其组合。服务器103至104可以是任何类型的服务器或服务器群集，诸如，网络或云服务器、应用服务器、后端服务器或其组合。服务器103至104可以是数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(MPOI)服务器或位置服务器等。
自动驾驶车辆(ADV)101是指可配置成以自动驾驶模式运行的车辆，在所述自动驾驶模式下车辆在极少或没有来自驾驶员的输入的情况下导航通过环境。这种自动驾驶车辆可包括传感器系统115，所述传感器系统115具有配置成检测与ADV 101运行环境有关的信息的一个或多个传感器。ADV 101和其相关联的控制器使用所检测的信息来导航通过所述环境。自动驾驶车辆101可在手动模式下、在全自动驾驶模式下或者在部分自动驾驶模式下运行。在手动模式下，ADV 101可在很少或没有自动驾驶车辆上的逻辑辅助的情况下由人类驾驶员操作。在全自动驾驶模式下，ADV 101可在使用很少或没有人类驾驶员辅助的情况下运行。在部分自动驾驶模式下，ADV 101可在一些或所有驾驶逻辑子系统处于活动状态以及人类驾驶员提供一些驾驶控制输入的情况下运行。
在一个实施方式中，自动驾驶车辆101包括，但不限于，感知与规划系统110、车辆控制系统111、无线通信系统112、用户接口系统113和传感器系统115。自动驾驶车辆101还可包括普通车辆中包括的某些常用部件，诸如：发动机、车轮、方向盘、变速器等，所述部件可由车辆控制系统111和/或感知与规划系统110使用多种通信信号和/或命令进行控制，该多种通信信号和/或命令例如，加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等。
部件110至115可经由互连件、总线、网络或其组合通信地联接到彼此。例如，部件110至115可经由控制器局域网(CAN)总线通信地联接到彼此。CAN总线是设计成允许微控制器和装置在没有主机的应用中与彼此通信的车辆总线标准。它是最初是为汽车内的复用电气布线设计的基于消息的协议，但也用于许多其它环境。
现在参考图2，在一个实施方式中，传感器系统115包括但不限于一个或多个摄像机211、全球定位系统(GPS)单元212、惯性测量单元(IMU)213、雷达单元214以及光探测和测距(LIDAR)单元215。GPS单元212可包括收发器，所述收发器可操作以提供关于自动驾驶车辆的位置的信息。IMU单元213可基于惯性加速度来感测自动驾驶车辆的位置和定向变化。雷达单元214可表示利用无线电信号来感测自动驾驶车辆的本地环境内的对象的系统。在一些实施方式中，除感测对象之外，雷达单元214可另外感测对象的速度和/或前进方向。LIDAR单元215可使用激光来感测自动驾驶车辆所处环境中的对象。除其它系统部件之外，LIDAR单元215还可包括一个或多个激光源、激光扫描器和一个或多个检测器。LIDAR单元215可包括多个传感器类型以执行以下任务：检测从自动驾驶车辆周围的对象反射的反射初始激光束的峰值幅度，以及反射的初始激光束的峰值幅度出现的时间。在实施方式中，时间-数字转换(TDC)装置可用可配置的触发电平进行编程。当所接收的光量产生高于触发阈值的电压时，多像素光子计数器(MPPC)可开始对由于反射的初始激光束而被触发的像素的数量进行计数。当由反射的初始激光束产生的电压低于TDC触发阈值时，MPPC可停止对触发像素的数量计数。最高的MPPC像素计数可表示反射的初始激光束的峰值幅度。触发TDC的时间与TDC停止触发的时间之间的中点可以是检测到峰值幅度的时间。MPPC可包括单光子雪崩二极管(SPAD)阵列。摄像机211可包括用来采集自动驾驶车辆周围环境的图像的一个或多个装置。摄像机211可以是静物摄像机和/或视频摄像机。摄像机可以是可机械地移动的，例如，通过将摄像机安装在旋转和/或倾斜平台上。
传感器系统115还可包括其它传感器，诸如：声纳传感器、红外传感器、转向传感器、油门传感器、制动传感器以及音频传感器(例如，麦克风)。音频传感器可配置成从自动驾驶车辆周围的环境中采集声音。转向传感器可配置成感测方向盘、车辆的车轮或其组合的转向角度。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。在一些情形下，油门传感器和制动传感器可集成为集成式油门/制动传感器。
传感器系统115可检测ADV的路径的障碍物。这些障碍物可通过模拟人类驾驶行为的最低成本路径模块进行考虑。
在一个实施方式中，车辆控制系统111包括但不限于转向单元201、油门单元202(也称为加速单元)和制动单元203。转向单元201用来调整车辆的方向或前进方向。油门单元202用来控制电动机或发动机的速度，电动机或发动机的速度进而控制车辆的速度和加速度。制动单元203通过提供摩擦使车辆的车轮或轮胎减速而使车辆减速。应注意，如图2所示的部件可以以硬件、软件或其组合实施。转向单元201可至少部分地由参与确定用于沿着路线导航ADV的路径的最低成本路径模块控制。
返回参考图1，无线通信系统112允许自动驾驶车辆101与诸如装置、传感器、其它车辆等外部系统之间的通信。例如，无线通信系统112可以与一个或多个装置直接无线通信，或者经由通信网络进行无线通信，诸如，通过网络102与服务器103至104通信。无线通信系统112可使用任何蜂窝通信网络或无线局域网(WLAN)，例如，使用WiFi，以与另一部件或系统通信。无线通信系统112可例如使用红外链路、蓝牙等与装置(例如，乘客的移动装置、显示装置、车辆101内的扬声器)直接通信。用户接口系统113可以是在车辆101内实施的外围装置的部分，包括例如键盘、触摸屏显示装置、麦克风和扬声器等。
自动驾驶车辆101的功能中的一些或全部可由感知与规划系统110控制或管理，尤其当在自动驾驶模式下操作时。感知与规划系统110包括必要的硬件(例如，处理器、存储器、存储装置)和软件(例如，操作系统、规划和路线安排程序)，以从传感器系统115、控制系统111、无线通信系统112和/或用户接口系统113接收信息，处理所接收的信息，规划从起始点到目的地点的路线或路径，随后基于规划和控制信息来驾驶车辆101。可替代地，感知与规划系统110可与车辆控制系统111集成在一起。
例如，作为乘客的用户可例如经由用户接口来指定行程的起始位置和目的地。感知与规划系统110获得行程相关数据。例如，感知与规划系统110可从MPOI服务器中获得位置和路线信息，所述MPOI服务器可以是服务器103至104的一部分。位置服务器提供位置服务，并且MPOI服务器提供地图服务和某些位置的POI。可替代地，此类位置和MPOI信息可本地高速缓存在感知与规划系统110的永久性存储装置中。
当自动驾驶车辆101沿着路线移动时，感知与规划系统110也可从交通信息系统或服务器(TIS)获得实时交通信息。应注意，服务器103至104可由第三方实体进行操作。可替代地，服务器103至104的功能可与感知与规划系统110集成在一起。基于实时交通信息、MPOI信息和位置信息以及由传感器系统115检测或感测的实时本地环境数据(例如，障碍物、对象、附近车辆)，感知与规划系统110可规划最佳路线并且根据所规划的路线例如经由控制系统111来驾驶车辆101，以安全且高效到达指定目的地。
服务器103可以是数据分析系统，从而为各种客户执行数据分析服务。在一个实施方式中，数据分析系统103包括数据收集器121和机器学习引擎122。数据收集器121从各种车辆(自动驾驶车辆或由人类驾驶员驾驶的常规车辆)收集驾驶统计数据123。驾驶统计数据123包括指示所发出的驾驶指令(例如，油门、制动、转向指令)以及由车辆的传感器在不同的时间点捕捉到的车辆的响应(例如，速度、加速、减速、方向)的信息。驾驶统计数据123还可包括描述不同时间点下的驾驶环境的信息，例如，路线(包括起始位置和目的地位置)、MPOI、道路状况、天气状况等。数据收集器121还可从自动驾驶车辆控制系统的传感器系统115中的LIDAR装置接收LIDAR信息。LIDAR信息可发送至服务器103以更新自动驾驶车辆周围的对象的高清晰度(HD)地图。
在实施方式中，数据收集器121可记录数据，该数据包括用于ADV路线的一部分的初始路径以及该路线的该部分的所选择的最低成本路径的驾驶统计数据123。初始路径可以是例如遵循道路车道的中心线的路径。驾驶统计数据123还可包括传感器数据和当ADV沿着该路线沿着路径行驶时与ADV相关联的控制输入数据。用于沿着该路线的路径的驾驶统计数据123可包括速度、前进方向、转向输入、制动输入(如果有的话)以及诸如当ADV沿路径行驶时可能影响乘客舒适度的、包括侧向力、加速度和制动力等的传感器数据。机器学习引擎122可使用驾驶统计数据123来生成可用于升级ADV驾驶逻辑的算法和模型124。
然后算法124可上传到ADV上以在自动驾驶期间实时使用。在实施方式中，ADV 101可将驾驶统计数据上传到服务器103，以促进可下载到ADV的算法和模型124的众源学习。例如，机器学习引擎122可确定影响乘客舒适度的速度与转向输入的关系，其中，速度和转向输入都在可接受的极限内，但是由IMU或滚距检测的乘客舒适度指示影响乘客舒适度的水平。
图3是示出根据一个实施方式的与自动驾驶车辆一起使用的感知与规划系统的示例的框图。系统300可实施为图1的自动驾驶车辆101的一部分，包括但不限于感知与规划系统110、控制系统111和传感器系统115。感知与规划系统110包括但不限于定位模块301、感知模块302、预测模块303、决策模块304、规划模块305、控制模块306和路线安排模块307。
模块301至307中的一些或全部可以以软件、硬件或其组合实施。例如，这些模块可安装在永久性存储装置352中、加载到存储器351中，并且由一个或多个处理器(未示出)执行。应注意，这些模块中的一些或全部可通信地联接到图2的车辆控制系统111的一些或全部模块或者与它们集成在一起。模块301至307中的一些可一起集成为集成模块。
定位模块301确定自动驾驶车辆300的当前位置(例如，利用GPS单元212)以及管理与用户的行程或路线相关的任何数据。定位模块301(又称作为地图与路线模块)管理与用户的行程或路线相关的任何数据。用户可例如经由用户接口登录并且指定行程的起始位置和目的地。定位模块301与自动驾驶车辆300的诸如地图与路线信息311的其它部件通信，以获得行程相关数据。例如，定位模块301可从位置服务器和地图与POI(MPOI)服务器获得位置和路线信息。位置服务器提供位置服务，并且MPOI服务器提供地图服务和某些位置的POI，从而可作为地图与路线信息311的一部分高速缓存。当自动驾驶车辆300沿着路线移动时，定位模块301也可从交通信息系统或服务器获得实时交通信息。
基于由传感器系统115提供的传感器数据和由定位模块301获得的定位信息，感知模块302确定对周围环境的感知。感知信息可表示普通驾驶员在驾驶员正驾驶的车辆周围将感知到的东西。感知可包括例如采用对象形式的车道配置、交通灯信号、另一车辆的相对位置、行人、建筑物、人行横道或其它交通相关标志(例如，停止标志、让行标志)等。车道配置包括描述一个或多个车道的信息，诸如，例如车道的形状(例如，直线或弯曲)、车道的宽度、道路中的车道数量、单向或双向车道、合并或分开车道、出口车道等。
感知模块302可包括计算机视觉系统或计算机视觉系统的功能，以处理并分析由一个或多个摄像机采集的图像，从而识别自动驾驶车辆环境中的对象和/或特征。所述对象可包括交通信号、道路边界、其它车辆、行人和/或障碍物等。计算机视觉系统可使用对象识别算法、视频跟踪以及其它计算机视觉技术。在一些实施方式中，计算机视觉系统可绘制环境地图，跟踪对象，以及估算对象的速度等。感知模块302也可基于由诸如雷达和/或LIDAR的其它传感器提供的其它传感器数据来检测对象。如下面进一步描述的，LIDAR装置可包括LIDAR峰值检测器，该LIDAR峰值检测器利用多个传感器来执行峰值检测。如下面进一步描述的，多个传感器可包括时间-数字转换(TDC)装置和多像素光子计数器(MPPC)。
针对每个对象，预测模块303预测对象在这种情况下将如何表现。预测是基于感知数据执行的，该感知数据在考虑一组地图/路线信息311和交通规则312的时间点感知驾驶环境。例如，如果对象为相反方向上的车辆且当前驾驶环境包括十字路口，则预测模块303将预测车辆是否可能会笔直向前移动或转弯。如果感知数据表明十字路口没有交通灯，则预测模块303可能会预测车辆在进入十字路口之前可能需要完全停车。如果感知数据表明车辆目前处于左转唯一车道或右转唯一车道，则预测模块303可能预测车辆将更可能分别左转或右转。
针对每个对象，决策模块304作出关于如何处置对象的决定。例如，针对特定对象(例如，交叉路线中的另一车辆)以及描述对象的元数据(例如，速度、方向、转弯角度)，决策模块304决定如何与所述对象相遇(例如，超车、让行、停止、超过)。决策模块304可根据诸如交通规则或驾驶规则312的规则集来作出此类决定，所述规则集可存储在永久性存储装置352中。
路线安排模块307配置成提供从起始点到目的地点的一个或多个路线或路径。对于从起始位置到目的地位置的给定行程，例如从用户接收的给定行程，路线安排模块307获得路线与地图信息311，并确定从起始位置至到达目的地位置的所有可能路线或路径。路线安排模块307可生成地形图形式的参考线，它确定了从起始位置至到达目的地位置的每个路线。参考线是指不受其它诸如其它车辆、障碍物或交通状况的任何干扰的理想路线或路径。即，如果道路上没有其它车辆、行人或障碍物，则ADV应精确地或紧密地跟随参考线。然后，将地形图提供至决策模块304和/或规划模块305。
基于针对所感知到的对象中的每个的决定，规划模块305使用由路线安排模块307提供的参考线作为基础，为自动驾驶车辆规划路径或路线以及驾驶参数(例如，距离、速度和/或转弯角度)。换言之，针对给定的对象，决策模块304决定对该对象做什么，而规划模块305确定如何去做。例如，针对给定的对象，决策模块304可决定超过所述对象，而规划模块305可确定在所述对象的左侧还是右侧超过。规划和控制数据由规划模块305生成，包括描述车辆300在下一移动循环(例如，下一路线/路径段)中将如何移动的信息。例如，规划和控制数据可指示车辆300以30英里每小时(mph)的速度移动10米，随后以25mph的速度变到右侧车道。
基于规划和控制数据，控制模块306根据由规划和控制数据限定的路线或路径通过将适当的命令或信号发送到车辆控制系统111来控制并驾驶自动驾驶车辆。所述规划和控制数据包括足够的信息，以沿着路径或路线在不同的时间点使用适当的车辆设置或驾驶参数(例如，油门、制动、转向命令)将车辆从路线或路径的第一点驾驶到第二点。
在一个实施方式中，规划阶段在多个规划周期(也称作为驾驶周期)中执行，例如，在每个时间间隔为100毫秒(ms)的周期中执行。对于规划周期或驾驶周期中的每一个，将基于规划和控制数据发出一个或多个控制命令。即，对于每100ms，规划模块305规划下一个路线段或路径段，例如，包括目标位置和ADV到达目标位置所需要的时间。可替代地，规划模块305还可规定具体的速度、方向和/或转向角等。在一个实施方式中，规划模块305为下一个预定时段(诸如，5秒)规划路线段或路径段。对于每个规划周期，规划模块305基于在前一周期中规划的目标位置规划用于当前周期(例如，下一个5秒)的目标位置。控制模块306然后基于当前周期的规划和控制数据生成一个或多个控制命令(例如，油门、制动、转向控制命令)。
应注意，决策模块304和规划模块305可集成为集成模块。决策模块304/规划模块305可包括导航系统或导航系统的功能，以确定自动驾驶车辆的驾驶路径。例如，导航系统可确定用于影响自动驾驶车辆沿着以下路径移动的一系列速度和前进方向：所述路径在使自动驾驶车辆沿着通往最终目的地的基于车行道的路径前进的同时，基本上避免感知到的障碍物。目的地可根据经由用户接口系统113进行的用户输入来设定。导航系统可在自动驾驶车辆正在运行的同时动态地更新驾驶路径。导航系统可将来自GPS系统和一个或多个地图的数据合并，以确定用于自动驾驶车辆的驾驶路径。
现在参考图4A和图4B，在实施方式中，LIDAR单元215可包括LIDAR装置400。在实施方式中，LIDAR装置400可包括与控制器460互连的激光发射器405、多像素光子计数器(MPPC)450和时间-数字转换(TDC)装置455。图4A示出了包括激光发射器405、MPPC 450和TDC 455的示例性光学路径。图4B示出了对应于图4A的部件的布局的俯视图。所示部件是作为说明。可使用更多或更少的部件来实施检测反射的激光束的峰值的时间和幅度的双传感器(MPPC和TDC)方法。在实施方式中，MPPC 450和TDC 455可集成为单个部件。
多像素光子计数器(MPPC)450可包括单光子雪崩二极管(SPAD)阵列。单光子雪崩二极管(SPAD)是具有非常大的增益(诸如106增益)的数字器件。SPAD的输出是二进制的：如果SPAD没有检测到任何光子，则输出为“0”。在存在光的情况下，SPAD具有输出“1”的概率，该概率取决于所接收的光的强度。由于SPAD的内部增益非常大，因此可触发SPAD的光的强度的动态范围相当大。MPPC输出是所有单个SPAD输出的线性总和。
MPPC 450可接收光脉冲，例如由LIDAR激光发射器405发射的激光束440的反射440'。当MPPC 450接收到光时，将触发许多SPAD，这取决于所接收的光的强度。在接收到反射的激光束440'的光脉冲的持续时间内，MPPC 450的输出将基于任何时刻的脉冲的强度而变化。单独的MPPC 450可确定所接收的光脉冲的峰值幅度，但不能确定脉冲的峰值幅度出现的时间。峰值幅度出现的时间可通过时间-数字转换(TDC)装置455来确定。
时间-数字转换(TDC)装置455可配置成在从MPPC 450接收的信号的可配置阈值处触发。触发阈值可选择成表示LIDAR装置400的最大扫描距离。MPPC 450接收反射的激光束440'的光脉冲，并基于触发的SPAD(像素)的数量以及来自MPPC 450中的每个像素的输出的幅度，开始向TDC 455输出模拟信号，例如电流或电压信号。TDC 455将在配置的阈值处触发，指示MPPC 450接收到反射激光束440'的光脉冲的上升沿的时间t0。控制器460中的峰值检测模块485可开始对MPPC 450的输出进行采样，以确定与TDC 455的上升沿触发的时间t0有关的、从MPPC 450输出的信号的峰值幅度。激光束440的所接收的反射440'的峰值幅度出现的时间tpeak可根据以下项确定：发射激光束440的时间，TDC 455由来自MPPC 450的模拟输出触发的时间t0，峰值检测模块485对MPPC 450输出进行采样的采样速率，以及检测到MPPC 450输出信号的峰值幅度的样本数量i。在实施方式中，对MPPC 450输出的采样可在时间t0时开始以及在时间tn时停止。时间tn表示由TDC 455从MPPC 450接收的信号低于TDC455的触发阈值的时间。在实施方式中，当TDC 455从MPPC 450接收的信号幅度低于为MPPC450配置的触发阈值时，可停止对MPPC 450输出的采样。在实施方式中，峰值检测模块485可通过生成在t0与tn之间的MPPC 450的样本幅度的直方图来确定峰值幅度，并将峰值幅度确定为在采样期间最频繁出现的最高MPPC 450信号。在实施方式中，可假设所接收的反射激光束440'基本上对称，使得峰值幅度出现的时间被确定为发生在t0与tn之间的中点处。反射的激光束440'的峰值幅度可与反射的激光束440'的强度相关联。
参考图4A，用于LIDAR装置的示例性光学路径从激光发射器405发射初始激光束440和后续激光束440(“激光束”)开始。激光束440可从对象445反射作为反射的激光束440'。反射的激光束440'和后续反射的激光束440'由TDC 455和MPPC 450接收。控制器460中的峰值检测模块485可检测相对于激光束440的发射、反射的激光束440'的峰值幅度出现的时间，以及反射的激光束440'的峰值幅度。在实施方式中，激光发射器405发射初始激光束(“激光束”)440。由激光发射器405发射的激光束440可穿过准直透镜410以确保发射的激光束440基本上准直。接下来，准直的激光束440可穿过滤光器光学器件415。在实施方式中，滤光器光学器件415可以是50％透射-50％反射光学器件，使得50％的准直激光束400穿过滤光器光学器件415，朝向扫描镜420传递，以及50％的准直光束不穿过滤光器光学器件415。穿过滤光器光学器件415到扫描镜420的激光束440的部分可由扫描镜420反射至反射器430，然后通过孔435离开LIDAR装置400。然后激光束440继续到达待扫描的对象445。
对象445将激光束440反射为反射的激光束440'。反射的激光束440'通过孔435进入LIDAR装置400，到达反射器430。反射器430将反射光束440'反射至扫描镜420。扫描镜420将反射激光束440'反射至滤光器光学器件415。如上所述，滤光器光学器件415可以是50％透射-50％反射透镜。滤光器光学器件415将反射激光束440'朝向TDC 455和MPPC 450反射。在实施方式中，反射激光束440'穿过准直透镜410前往TDC 455和MPPC 450。
控制器460的扫描镜控制模块490可经由通信线493向扫描镜马达422发送定位和控制信号。在实施方式中，一系列激光发射和扫描可包括以下操作：扫描镜控制模块490用控制信号将扫描镜420定位至扫描镜马达422，激光触发器模块480激发激光发射器405以发射激光束440；MPPC 450从对象445接收反射光束440'；MPPC 450接收生成到TDC 455的模拟信号的光的强度；TDC 455从MPPC 450接收的模拟信号在时间t0时上升到TDC 455的可配置的触发阈值之上；峰值检测模块485开始对MPPC 450触发的像素计数和/或从MPPC 450接收的模拟信号进行采样，并继续从MPPC 450采样和存储样本，直到TDC 455从MPPC 450接收的信号低于触发阈值，从而建立时间tn，指示采样周期t0到tn的结束；峰值检测模块485确定反射的激光束440'的峰值强度的时间和幅度；微控制器460的处理模块与峰值检测模块485一起，将峰值幅度与光强度值相关联，并且根据激光束440发射的时间直到反射激光束440的峰值幅度出现的时间tpeak确定激光束的飞行时间；以及控制器460的处理模块将峰值幅度、强度和飞行时间作为LIDAR信息传送至自动驾驶车辆ADV的感知与规划系统110。然后重复这个过程。
控制器460可包括处理模块，该处理模块协调激光触发器480和峰值检测模块485，以针对每个发射的激光束440确定由TDC 455、MPPC 450和峰值检测模块485检测到的反射激光束440'的峰值幅度的检测。扫描镜控制模块490可经由通信线493控制扫描镜马达422，以影响扫描镜420的旋转，使得发射的激光束440从扫描镜420反射，作为平面中的扫描线。控制器460的处理模块、激光触发器模块480和峰值检测模块485还可确定从发射激光束440时到检测到反射激光束440'的峰值幅度的时间的飞行时间。控制器460的处理模块和激光触发器模块480可经由通信线491发送信号以发射下一激光束。峰值检测模块485可经由通信线492接收TDC 455触发器信息和MPPC 450计数和/或信号的信息。控制器460的处理模块可将到峰值幅度的飞行时间与对象445距LIDAR装置400的距离相关联。控制器460还可将对象445距LIDAR装置400的距离与峰值幅度相关联以确定对象445的性质。LIDAR信息可至少包括到对象445的距离和对象445的性质。为了导航ADV，LIDAR信息传递至感知与规划系统110以帮助确定ADV周围的一个或多个对象。
控制器460可包括处理器、存储器、存储装置、一个或多个通信接口、显示器、一个或多个输入装置、一个或多个输入/输出(I/O)通道、一个或多个模数转换器通道、一个或多个计时器通道、中断控制器和计算系统的其它部件。处理器可包括一个或多个硬件处理器，该一个或多个硬件处理器可包括中央处理单元、图形处理单元、数学协处理器或流水线处理器。可执行指令可存储在一个或多个非暂时性非易失性存储装置上。通信接口可包括WiFi、以太网、I2C、USB、RS485等。存储器可以是只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器、静态存储器等。
控制器460可包括一个或多个输入装置，诸如鼠标、触摸板、触敏屏幕(其可与显示装置集成在一起)、指针装置(诸如，手写笔)和/或键盘(例如，物理键盘或作为触敏屏幕的一部分显示的虚拟键盘)。例如，输入装置可包括联接到触摸屏的触摸屏控制器。触摸屏和触摸屏控制器例如可使用多种触敏技术(包括但不限于电容、电阻、红外和表面声波技术)中的任一种，以及其它接近传感器阵列或用于确定与触摸屏接触的一个或多个点的其它元件来检测其接触和移动或间断。
输入/输出(I/O)装置可包括音频装置。音频装置可包括扬声器和/或麦克风，以促进支持语音的功能，诸如语音识别、语音复制、数字记录和/或电话功能。其它I/O装置还可包括通用串行总线(USB)端口、并行端口、串行端口、打印机、网络接口、总线桥(例如，PCI-PCI桥)、传感器(例如，诸如加速度计运动传感器、陀螺仪、磁强计、光传感器、罗盘、接近传感器等)或者它们的组合。I/O装置还可包括成像处理子系统(例如，摄像机)，所述成像处理子系统可包括用于促进摄像机功能(诸如，记录照片和视频片段)的光学传感器，诸如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)光学传感器。某些传感器可经由传感器集线器(未示出)联接到互连件，而诸如键盘或热传感器的其它装置可根据系统的具体配置或设计由嵌入式控制器(未示出)控制。
计算机可读存储介质可用来永久性地存储以上描述的一些软件功能。虽然计算机可读存储介质在示例性实施方式中被示为单个介质，但是术语“计算机可读存储介质”应当被认为包括存储所述一个或多个指令集的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。术语“计算机可读存储介质”还应当被认为包括能够存储或编码指令集的任何介质，所述指令集用于由机器执行并且使得所述机器执行本公开的任何一种或多种方法。因此，术语“计算机可读存储介质”应当被认为包括但不限于固态存储器以及光学介质和磁性介质，或者任何其它非暂时性机器可读介质。
应注意，如上文示出和描述的部件中的一些或全部可在软件、硬件或其组合中实施。例如，此类部件可实施为安装并存储在永久性存储装置中的软件，所述软件可通过处理器加载在存储器中并在存储器中执行以实施贯穿本申请所述的过程或操作。可替代地，此类部件可实施为编程或嵌入到专用硬件(诸如，集成电路(例如，专用集成电路或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA))中的可执行代码，所述可执行代码可经由来自应用的相应驱动程序和/或操作系统来访问。此外，此类部件可实施为处理器或处理器内核中的特定硬件逻辑，作为可由软件部件通过一个或多个特定指令访问的指令集的一部分。
图5以框图形式示出了峰值幅度以及从激光束440发射的时间到离开对象445的激光束440'的反射的峰值幅度出现的时间的飞行时间的检测。激光束440在时间temit时发射。激光束440从对象445反射回LIDAR装置400。反射的激光束440'由TDC 455和MPPC 450接收。当MPPC 450从反射的激光束440'接收光时，基于所接收的光的强度触发MPPC 450中的像素量。MPPC 450向TDC 455发送模拟信号，该模拟信号由所触发的像素的百分比或计数确定。当TDC 455接收的模拟信号达到TDC 455的可配置阈值时，TDC 455向峰值检测模块485输出触发信号。触发TDC 455的上升沿时间为时间t0。在时间t0时，峰值检测模块485开始对MPPC450的输出进行采样，包括对触发像素的计数和/或表示MPPC 450的触发像素的计数或百分比的模拟信号。由于MPPC的输出是各个SPAD输出的总和，因此触发的像素越多，输出电压越高。样本的存储与样本采样的顺序有关。例如，MPPC count0与时间t0相关地进行采样和存储。对于由峰值检测模块485采样和存储的每个样本i，样本MPPC counti与表示样本i的时间ti相关地存储。峰值检测模块485继续对从MPPC 450接收的计数和/或模拟信号进行采样，直到TDC 455从MPPC 450接收的信号下降到低于TDC 455的可配置阈值的水平。这就是时间tn。然后，峰值检测模块485确定所存储的样本的峰值幅度，以及相对于激光束440的发射时间峰值幅度所出现的时间。
峰值检测模块485使用样本MPPC count0到MPPC countn来确定反射激光束440'的峰值幅度和在t0与tn之间的、峰值幅度出现的时间(样本数)tpeak。峰值检测模块485还可从激光触发器模块480接收该时间temit。然后，峰值检测模块485可确定从temit到反射激光束440的峰值幅度出现的tpeak的飞行时间。相对于t0的时间tpeak可使用样本数MPPC countpeak和MPPC 450的采样速率来确定。控制器460的峰值检测模块485和/或处理模块可将峰值幅度的MPPC计数与反射激光束440的强度相关联，并使用飞行时间确定对象445距LIDAR装置400的距离。控制器460的处理模块可将峰值幅度、飞行时间和强度作为与激光束440相关联的LIDAR信息传送至ADV的感知与规划系统110。感知与规划系统110可确定ADV周围的一个或多个对象，并沿着考虑到这些对象的驾驶路径导航ADV。
图6示出了根据一些实施方式的确定从由ADV的LIDAR系统扫描的对象445反射的初始激光束440的反射440'的峰值幅度以及峰值幅度出现的时间的方法600。参考上面的图5描述了示例性反射激光束440'脉冲。
在操作605中，激光发射器405可从LIDAR装置400发射初始激光束440。方法600可重复多次以扫描对象445。上面参考图4A和图4B描述了用于将初始激光束440引导至对象445并且用于LIDAR装置以从对象445接收和处理激光束400的反射440'的代表性光束路径。
在操作610中，多像素光子计数器(MPPC)450可接收反射的激光束440'。MPPC 450基于MPPC 450中已被触发的像素数量生成输出模拟信号。像素基于由像素接收的光的强度触发。每个触发的像素均可输出信号(电流或电压)，使得输出模拟信号表示所触发的像素的和(计数)。MPPC 450可保持在数字上对触发的像素的数量求和的内部计数器。MPPC 450将模拟信号输出到TDC 455。
在操作615中，来自MPPC 450的输出信号可由时间-数字转换(TDC)装置455接收。TDC 455可配置成在从由激光发射器405发射的发射激光束440的反射440'接收到阈值量的光时触发。当TDC 455从MPPC 450接收的光量达到TDC 455的触发阈值时，可将触发信号发送至峰值检测模块485以开始对MPPC 450的输出进行采样。峰值检测模块485可对MPPCcount(MPPC计数)和输出至TDC 455的MPPC模拟信号中的任一个或两者采样。触发时间为t0。
在操作620中，在时间(即，样本数)t0时，将变量峰值幅度初始化为0。将样本数计数器初始化为0。将反射的激光束440'的峰值幅度出现时的样本数tpeak设置为0。
在操作625中，可确定来自MPPC 450的输出信号是否已降低至TDC 455的配置阈值以下。如果是，则这是从MPPC 450接收的信号的拖尾，并且方法600在操作630处继续。否则，方法600在操作635处继续。
在操作630中，变量峰值幅度中的值可通过峰值检测模块485与时间tpeak处的反射激光束440'的强度相关联。峰值检测模块485还可确定从初始激光束440的发射到反射的初始激光束440'的峰值幅度出现的时间的飞行时间。控制器460的峰值检测模块485和/或处理模块可将强度、峰值幅度和飞行时间作为LIDAR信息返回至感知与规划系统110。感知与规划系统110可利用LIDAR信息来确定ADV周围的环境，并且可在考虑ADV周围的环境的同时沿着驾驶路径导航ADV。然后，方法600在操作605继续，在操作605中发射另一激光束440。
在操作635中，可通过峰值检测模块485对当前MPPC 450输出进行采样并将其存储在变量Count(计数)中。样本可以是MPPC 450中的模拟样本，或由MPPC 450生成的触发像素的计数。
在操作640中，可确定变量Count中的采样的MPPC 450输出是否大于变量PeakMagnitude(峰值幅度)中的采样的MPPC 450输出。如果是，则方法600在操作645处继续。否则，方法600在操作650处继续。
在操作645中，可将变量PeakMagnitude设置为Count，MPPC 450输出的当前样本。时间(样本数)tpeak可设置为ti，MPPC 450的输出的第i个样本。方法600在操作650处继续。
在操作650中，样本增量变量i可递增1。方法600在操作625处重新开始，在操作625中确定来自反射的激光束440'的光量是否已降低至TDC 455的触发阈值以下。
前述详细描述中的一些部分已经根据在计算机存储器内对数据位的运算的算法和符号表示而呈现。这些算法描述和表示是数据处理领域中的技术人员所使用的方式，以将他们的工作实质最有效地传达给本领域中的其他技术人员。本文中，算法通常被认为是导致所期望结果的自洽操作序列。这些操作是指需要对物理量进行物理操控的操作。
然而，应当牢记，所有这些和类似的术语均旨在与适当的物理量关联，并且仅仅是应用于这些量的方便标记。除非在以上讨论中以其它方式明确地指出，否则应当了解，在整个说明书中，利用术语(诸如所附权利要求书中所阐述的术语)进行的讨论是指计算机系统或类似电子计算装置的动作和处理，所述计算机系统或电子计算装置操控计算机系统的寄存器和存储器内的表示为物理(电子)量的数据，并将所述数据变换成计算机系统存储器或寄存器或者其它此类信息存储装置、传输或显示装置内类似地表示为物理量的其它数据。
本公开的实施方式还涉及用于执行本文中的操作的设备。这种计算机程序存储在非暂时性计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式存储信息的任何机构。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪存存储器装置)。
前述附图中所描绘的过程或方法可由处理逻辑来执行，所述处理逻辑包括硬件(例如，电路、专用逻辑等)、软件(例如，体现在非暂时性计算机可读介质上)或两者的组合。尽管所述过程或方法在上文是依据一些顺序操作来描述的，但是应当了解，所述操作中的一些可按不同的顺序执行。此外，一些操作可并行地执行而不是顺序地执行。
本公开的实施方式并未参考任何特定的编程语言进行描述。应认识到，可使用多种编程语言来实施如本文描述的本公开的实施方式的教导。
在以上的说明书中，已经参考本公开的具体示例性实施方式对本公开的实施方式进行了描述。将显而易见的是，在不脱离所附权利要求书中阐述的本公开的更宽泛精神和范围的情况下，可对本发明作出各种修改。因此，应当在说明性意义而不是限制性意义上来理解本说明书和附图。

Claims (16)

1.一种用于自动驾驶车辆的LIDAR装置，包括：
激光发射器，用于发射初始激光束；
第一传感器，测量所述初始激光束的反射的峰值幅度，并包括多像素光子计数器；
第二传感器，测量所述初始激光束的反射的峰值幅度出现的时间；以及
处理模块，联接至所述第一传感器和所述第二传感器，以根据所述峰值幅度和从发射所述初始激光束到所述峰值幅度出现的时间的飞行时间生成LIDAR信息，其中，所述LIDAR信息用于响应于由所述LIDAR装置检测到的一个或多个障碍物来导航所述自动驾驶车辆；
其中，对于多个时间增量中的每个，所述第一传感器读取和存储与所述时间增量相关联的所述多像素光子计数器的计数，并将所述峰值幅度确定为针对所述多个时间增量的所存储的多像素光子计数器计数当中的最高多像素光子计数器计数，其中，当所述初始激光束的反射超过所述第二传感器的触发阈值时，开始所述读取和所述存储，以及当所述初始激光束的反射低于所述第二传感器的所述触发阈值时，结束所述读取和所述存储。
2.根据权利要求1所述的LIDAR装置，其中，所述第一传感器和所述第二传感器合并成单个传感器。
3.根据权利要求1所述的LIDAR装置，其中，所述第二传感器包括时间-数字转换装置。
4.根据权利要求3所述的LIDAR装置，其中，所述时间-数字转换装置的触发阈值配置成在对应于所述LIDAR装置的最大感测范围的水平处触发。
5.根据权利要求3所述的LIDAR装置，其中，所述峰值幅度出现的时间使用所述时间-数字转换装置接收到所反射的初始激光束的前沿触发的时间和所述时间-数字转换装置检测到所反射的初始激光束的后沿触发的时间来确定，其中，当所反射的初始激光束的幅度上升到所述时间-数字转换装置的触发阈值以上时，发生所述时间-数字转换装置的所述前沿触发，以及当所反射的初始激光束的幅度降低到所述时间-数字转换装置的所述触发阈值以下时，发生所述后沿触发。
6.根据权利要求1所述的LIDAR装置，其中，所述峰值幅度至少部分地由从所述多像素光子计数器输出的、表示所述多像素光子计数器的触发的像素的计数的信号确定。
7.根据权利要求1所述的LIDAR装置，其中，所述多像素光子计数器包括单光子雪崩二极管阵列。
8.根据权利要求1所述的LIDAR装置，其中，所述多像素光子计数器包括雪崩光电二极管阵列。
9.根据权利要求1所述的LIDAR装置，其中，所述多像素光子计数器包括CCD摄像机。
10.根据权利要求1所述的LIDAR装置，其中，所述处理模块将所述峰值幅度与所反射的初始激光束的强度相关联。
11.一种自动驾驶车辆，包括：
LIDAR装置，其中，所述LIDAR装置包括：
激光发射器，用于发射初始激光束；
第一传感器，测量所述初始激光束的反射的峰值幅度，
并包括多像素光子计数器；
第二传感器，测量所述初始激光束的反射的峰值幅度出现的时间；以及
处理模块，联接至所述第一传感器和所述第二传感器，
以根据所述峰值幅度和从发射所述初始激光束到所述峰值幅度出现的时间的飞行时间生成LIDAR信息；以及
感知与规划系统，联接至所述LIDAR装置，并配置成响应于由所述LIDAR装置检测到的一个或多个障碍物利用所述LIDAR信息来导航所述自动驾驶车辆；
其中，对于多个时间增量中的每个，所述第一传感器读取和存储与所述时间增量相关联的所述多像素光子计数器的计数，并将所述峰值幅度确定为针对所述多个时间增量的所存储的多像素光子计数器计数当中的最高多像素光子计数器计数，其中，当所述初始激光束的反射超过所述第二传感器的触发阈值时，开始所述读取和所述存储，以及当所述初始激光束的反射低于所述第二传感器的所述触发阈值时，结束所述读取和所述存储。
12.根据权利要求11所述的自动驾驶车辆，其中，所述第二传感器包括时间-数字转换装置。
13.根据权利要求11所述的自动驾驶车辆，所述处理模块还配置成将所述多像素光子计数器的计数与强度值相关联，以及将所述强度值和所述飞行时间与反射所述初始激光束的对象的一个或多个属性相关联。
14.一种在LIDAR装置上实践的计算机实施的方法，其中，所述LIDAR装置包括激光发射器、第一传感器、第二传感器和处理模块，所述方法包括：
通过所述激光发射器发射初始激光束；
通过所述第一传感器测量所述初始激光束的反射的峰值幅度，所述第一传感器包括多像素光子计数器；
通过具有可配置的触发阈值的所述第二传感器测量所述初始激光束的反射的峰值幅度出现的时间；以及
根据所述峰值幅度和从发射所述初始激光束到所述峰值幅度出现的时间的飞行时间生成LIDAR信息，其中，所述LIDAR信息用于响应于由所述LIDAR装置检测到的一个或多个障碍物来导航自动驾驶车辆；
其中，对于多个时间增量中的每个，所述第一传感器读取和存储与所述时间增量相关联的所述多像素光子计数器的计数，并将所述峰值幅度确定为针对所述多个时间增量的所存储的多像素光子计数器计数当中的最高多像素光子计数器计数，其中，当所述初始激光束的反射超过所述第二传感器的触发阈值时，开始所述读取和所述存储，以及当所述初始激光束的反射低于所述第二传感器的所述触发阈值时，结束所述读取和所述存储。
15.根据权利要求14所述的方法，其中，所述第二传感器包括时间-数字转换装置。
16.根据权利要求14所述的方法，还包括将所述多像素光子计数器的计数与强度值相关联，以及将所述强度值和所述飞行时间与反射所述初始激光束的对象的一个或多个属性相关联。
CN201910815694.7A 2018-11-07 2019-08-30 用于自动驾驶车辆的、使用时间-数字转换器和多像素光子计数器的lidar峰值检测 Active CN111157977B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/183,483 US11320520B2 (en) 2018-11-07 2018-11-07 Lidar peak detection using time-to-digital converter and multi-pixel photon counter for autonomous driving vehicles
US16/183,483 2018-11-07

Publications (2)

Publication Number Publication Date
CN111157977A CN111157977A (zh) 2020-05-15
CN111157977B true CN111157977B (zh) 2023-10-03

Family

ID=70458498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910815694.7A Active CN111157977B (zh) 2018-11-07 2019-08-30 用于自动驾驶车辆的、使用时间-数字转换器和多像素光子计数器的lidar峰值检测

Country Status (2)

Country Link
US (1) US11320520B2 (zh)
CN (1) CN111157977B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7420038B2 (ja) * 2019-10-16 2024-01-23 株式会社デンソー 車載の異常検出装置
KR102317072B1 (ko) * 2019-12-17 2021-10-25 현대모비스 주식회사 라이다 시스템에서의 시간-디지털 변환 방법 및 장치
US11789130B2 (en) * 2020-02-13 2023-10-17 Sensors Unlimited, Inc. Detection pixels and pixel systems
US11644551B2 (en) * 2020-03-30 2023-05-09 Semiconductor Components Industries, Llc Lidar systems with improved time-to-digital conversion circuitry
US20220035035A1 (en) * 2020-07-31 2022-02-03 Beijing Voyager Technology Co., Ltd. Low cost range estimation techniques for saturation in lidar
KR20240030503A (ko) 2022-08-31 2024-03-07 주식회사 솔리드뷰 거리 측정 장치
CN116559841B (zh) * 2023-07-07 2023-10-27 苏州识光芯科技术有限公司 光子计数方法、装置、芯片及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10149423A1 (de) * 2001-10-06 2003-05-08 Eads Deutschland Gmbh Verfahren und Vorrichtung zur Messung von Entfernungen in optisch trüben Medien
CN101504431A (zh) * 2009-02-20 2009-08-12 重庆大学 随机脉冲时间序列的纳秒级在线检测系统
CN106154279A (zh) * 2016-07-22 2016-11-23 武汉海达数云技术有限公司 一种激光测距仪校正方法
TW201805591A (zh) * 2016-08-11 2018-02-16 高通公司 用於在一光學系統中量測參考及返回光束之系統及方法
US10007001B1 (en) * 2017-03-28 2018-06-26 Luminar Technologies, Inc. Active short-wave infrared four-dimensional camera
CN108304781A (zh) * 2017-12-29 2018-07-20 华中科技大学 一种面阵盖革apd激光成像雷达图像预处理方法
CN108490426A (zh) * 2018-02-06 2018-09-04 深圳信息职业技术学院 一种目标测距方法及其设备
CN108513618A (zh) * 2017-03-29 2018-09-07 深圳市大疆创新科技有限公司 脉冲信息测量方法及相关装置、移动平台

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4375064B2 (ja) * 2004-03-10 2009-12-02 株式会社デンソー レーダ装置
GB201516701D0 (en) * 2015-09-21 2015-11-04 Innovation & Business Dev Solutions Ltd Time of flight distance sensor
US10556585B1 (en) * 2017-04-13 2020-02-11 Panosense Inc. Surface normal determination for LIDAR range samples by detecting probe pulse stretching
CN110809704B (zh) * 2017-05-08 2022-11-01 威力登激光雷达美国有限公司 Lidar数据获取与控制
EP3415950B1 (de) * 2017-06-13 2020-05-27 Hexagon Technology Center GmbH Distanzmesser mit spad-anordnung und range walk kompensation
US11467256B2 (en) * 2017-11-01 2022-10-11 Luminar, Llc Detection of crosstalk and jamming pulses with lidar system
JP7388720B2 (ja) * 2017-11-15 2023-11-29 オプシス テック リミテッド ノイズ適応ソリッドステートｌｉｄａｒシステム
US20200133270A1 (en) * 2018-10-31 2020-04-30 Baidu Usa Llc Lidar device with cylindrical lens for autonomous driving vehicles
US10877134B2 (en) * 2018-11-19 2020-12-29 Baidu Usa Llc LIDAR peak detection using splines for autonomous driving vehicles

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10149423A1 (de) * 2001-10-06 2003-05-08 Eads Deutschland Gmbh Verfahren und Vorrichtung zur Messung von Entfernungen in optisch trüben Medien
CN101504431A (zh) * 2009-02-20 2009-08-12 重庆大学 随机脉冲时间序列的纳秒级在线检测系统
CN106154279A (zh) * 2016-07-22 2016-11-23 武汉海达数云技术有限公司 一种激光测距仪校正方法
TW201805591A (zh) * 2016-08-11 2018-02-16 高通公司 用於在一光學系統中量測參考及返回光束之系統及方法
US10007001B1 (en) * 2017-03-28 2018-06-26 Luminar Technologies, Inc. Active short-wave infrared four-dimensional camera
CN108513618A (zh) * 2017-03-29 2018-09-07 深圳市大疆创新科技有限公司 脉冲信息测量方法及相关装置、移动平台
CN108304781A (zh) * 2017-12-29 2018-07-20 华中科技大学 一种面阵盖革apd激光成像雷达图像预处理方法
CN108490426A (zh) * 2018-02-06 2018-09-04 深圳信息职业技术学院 一种目标测距方法及其设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
彼得•塞茨 等.现代光学工程精品译丛 单光子成像.国防工业出版社,2015,正文第250-252页. *

Also Published As

Publication number Publication date
US20200142038A1 (en) 2020-05-07
CN111157977A (zh) 2020-05-15
US11320520B2 (en) 2022-05-03

Similar Documents

Publication Publication Date Title
CN111157977B (zh) 用于自动驾驶车辆的、使用时间-数字转换器和多像素光子计数器的lidar峰值检测
US10078335B2 (en) Ray tracing for hidden obstacle detection
CN111273259B (zh) 一种用于自动驾驶车辆的lidar装置及lidar峰值检测方法
CN111366910B (zh) 用于自动驾驶车辆的光探测和测距装置
CN111398934B (zh) 使用多棱镜的lidar 3d设计
US11726212B2 (en) Detector for point cloud fusion
US11604260B2 (en) LIDAR device with polygon-shape mirror and prism for autonomous driving vehicles
JP7389267B2 (ja) 点群の特徴に基づく障害物濾過システム
CN111198364A (zh) 用于自动驾驶车辆的具有柱面透镜的lidar装置
US11527076B2 (en) Point cloud-based low-height obstacle detection system
CN111308446B (zh) 自动驾驶车辆的具有单旋转镜的光检测和测距装置
US11835629B2 (en) Neighbor-based point cloud filter system
US20240036175A1 (en) Single photon detection based light detection and range (lidar) for autonomous driving vehicles
CN111381220B (zh) 用于自动驾驶车辆的光探测和测距装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant