CN110888146A - 自主交通工具计算系统、光检测和测距校准系统及其方法 - Google Patents

自主交通工具计算系统、光检测和测距校准系统及其方法 Download PDF

Info

Publication number
CN110888146A
CN110888146A CN201910701809.XA CN201910701809A CN110888146A CN 110888146 A CN110888146 A CN 110888146A CN 201910701809 A CN201910701809 A CN 201910701809A CN 110888146 A CN110888146 A CN 110888146A
Authority
CN
China
Prior art keywords
reflectance
data points
light detection
value
ranging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910701809.XA
Other languages
English (en)
Other versions
CN110888146B (zh
Inventor
善塔努·贾因
杨歌华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aurora Operations Inc
Original Assignee
Uber Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uber Technologies Inc filed Critical Uber Technologies Inc
Publication of CN110888146A publication Critical patent/CN110888146A/zh
Application granted granted Critical
Publication of CN110888146B publication Critical patent/CN110888146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/4738Diffuse reflection, e.g. also for testing fluids, fibrous materials
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请公开了一种自主交通工具计算系统、光检测和测距校准系统及其方法。本公开的各个方面涉及用于基于光检测和测距强度值确定对象的反射率特性的系统、方法和设备。一种系统包括机器的一个或更多个处理器和存储指令的机器存储介质,该指令在由一个或更多个处理器执行时使机器执行包括以下的操作:在交通工具的操作期间访问由光检测和测距单元输出的输入数据点。该操作还可以包括使用反射率推断模型基于输入数据点来推断对象的反射率值。反射率推断模型包括使用相关联的测距值和原始强度值使先前收集的数据点至坐标系的映射。该操作还可以包括基于推断的反射率值来确定对象的一个或更多个特性。

Description

自主交通工具计算系统、光检测和测距校准系统及其方法
优先权声明
本申请要求2018年7月31日提交的美国临时申请序列号第62/712,479号的优先权的益处,其全部内容通过引用并入本文。
技术领域
本文公开的主题涉及光检测和测距(Lidar)系统。具体地,示例实施方式可以涉及用于基于通过Lidar系统输出的原始强度值的对象检测的系统和方法。
背景技术
Lidar是类似雷达的系统,其使用激光来创建周围环境的三维表示。Lidar单元包括至少一个与检测器配对以形成通道的激光发射器,但是可以使用通道阵列来扩展Lidar单元的视场。在操作期间,每个通道将激光信号发射至环境中,该激光信号被周围环境反射回检测器。单个通道提供单个点的测距信息。总的来说,通道被组合以创建与周围环境的三维表示对应的点云。Lidar单元还包括测量飞行时间即从发射激光信号至检测返回信号所经过的时间的电路系统。飞行时间被用来确定Lidar单元至检测到的对象的距离。
一些Lidar单元还测量返回信号的强度。返回信号的强度提供关于对信号进行反射的表面的反射率的信息,并且可以被用于对象检测。返回信号的强度取决于许多因素,例如Lidar单元与被检测对象的距离、发射的激光信号的入射角、周围环境的温度以及被检测的对象的实际反射率。其他因素,例如发射器和检测器对的对准添加了信号噪声,该信号噪声可以进一步影响由每个通道输出的强度值的均匀性。
Lidar越来越多地获得在自主交通工具(AV)例如部分或全部自主汽车中的应用。通常,由每个Lidar通道返回的强度值被用在AV的定位、感知、预测和运动计划中,因为这些信号提供与检测到的对象的反射率有关的信息。然而,鉴于由信号噪声和上述影响返回信号的强度的其他因素导致的Lidar的强度值的不均匀性,由Lidar单元提供的原始强度值的使用经常导致用于自主和半自主交通工具的定位、感知、预测和运动计划的不准确和其他问题。
发明内容
根据一些实施方式,提供一种自主交通工具计算系统,其包括:包括一个或更多个处理器的反射率推断系统;以及包括一个或更多个处理器的运动计划系统,所述运动计划系统基于所述对象的所述一个或更多个特性来确定用于自主交通工具的运动计划,所述运动计划被用来控制所述自主交通工具的运动。所述反射率推断系统执行包括以下的操作:在所述自主交通工具计算系统的操作期间访问通过光检测和测距单元输出的输入数据点;使用由光检测和测距校准系统生成的反射率推断模型基于所述输入数据点来确定对象的经推断的反射率值,所述反射率推断模型包括将一组先前收集的数据点的测距值和原始强度值用作坐标使所述先前收集的数据点至坐标系的映射,所述推断的反射率值根据映射至所述坐标系的所述一组先前收集的数据点中的至少两个先前收集的数据点被插值,所述两个先前收集的数据点中的每个对应于多个已知反射率值之一;以及基于所述推断的反射率值来确定所述对象的一个或更多个特性。
根据一些实施方式,提供一种光检测和测距校准系统,包括:机器的一个或更多个处理器;以及存储指令的机器存储介质。所述指令在由所述一个或更多个处理器执行时使所述机器执行包括以下的操作:收集包括由光检测和测距单元输出的多个数据点的数据组,所述数据点中的每个对应于多个目标之一,每个目标具有已知的反射率值,所述光检测和测距单元的每个通道能够在多个功率水平下操作,所述数据组的收集包括收集由每个通道在每个功率水平下输出的数据点;以及基于所述数据组来生成用于所述光检测和测距单元的反射率推断模型,所述反射率推断模型的生成包括将每个数据点的测距值和原始强度值用作坐标使所述多个数据点映射至坐标系,所述反射率推断模型能够操作以根据由所述光检测和测距单元输出的输入数据点推断反射率值,所述反射率推断模型的生成包括生成所述多个数据点至所述坐标系的多个映射,每个映射对应于特定通道的特定功率水平。
根据一些实施方式,提供一种方法,包括:通过至少包括第一硬件处理器的光检测和测距校准系统来收集包括由自主交通工具的光检测和测距单元输出的多个数据点的数据组,所述数据点中的每个对应于多个目标之一,每个目标具有已知的反射率值;通过所述光检测和测距校准系统基于所述数据组来生成用于所述光检测和测距单元的反射率推断模型,所述反射率推断模型的生成包括将每个数据点的测距值和原始强度值用作坐标使所述多个数据点映射至坐标系;通过至少包括第二硬件处理器的交通工具计算系统的反射率推断系统,在所述自主交通工具的操作期间访问由所述光检测和测距单元输出的输入数据点;通过所述反射率推断系统并使用所述反射率推断模型基于所述输入数据点来确定对象的推断的反射率值,所述推断的反射率值根据映射至所述坐标系的至少两个数据点被插值;以及通过所述交通工具计算系统的运动计划系统基于所述推断的反射率值来确定用于所述自主交通工具的运动计划,所述自主交通工具的所述运动计划被用来控制所述自主交通工具的运动。
附图说明
附图的各个附图仅示出了本发明主题的示例实施方式,并且不能被视为限制其范围。
图1是示出了根据一些实施方式的示例自主交通工具(AV)系统的框图。
图2是示出了根据一些实施方式的可以被包括为AV系统的一部分的Lidar单元的框图。
图3至图6是示出了根据一些实施方式的作为用于基于依据原始Lidar强度值推断的反射率值来确定对象特性的方法的一部分而执行的示例操作的流程图。
图7是示出了根据一些实施方式的作为用于基于依据原始Lidar强度值推断的一个或更多个反射率值来执行交通工具定位的方法的一部分而执行的示例操作的流程图。
图8是示出了根据一些实施方式的示例环境的示意图,在该示例环境中多个目标被布置为用于收集在生成用于基于原始Lidar强度值来推断反射率值的模型时使用的数据组的过程的一部分。
图9A至图9D是示出了根据一些实施方式的用于基于输入的Lidar数据点推断反射率值的示例过程的概念图。
图10是计算机系统的示例形式的机器的图形表示,在该计算机系统内可以执行用于使机器执行本文所讨论的方法中的任何一种或更多种的一组指令。
具体实施方式
现在将详细地参考用于执行本发明主题的特定示例实施方式。在附图中示出了这些特定实施方式的示例,并且在以下描述中阐述了具体的细节以便提供对主题的透彻理解。将理解的是,这些示例不旨在将权利要求的范围限于所示的实施方式。相反,其旨在涵盖可以包括在本公开的范围内的这些替选、修改和等同物。
本公开的各个方面涉及用于基于从Lidar单元获得的原始强度值来确定对象反射率的系统、方法和设备。一种用于确定对象反射率的方法可以被分为校准阶段和交通工具操作阶段。在校准阶段期间,Lidar校准系统收集包括由Lidar单元输出的多个数据点的数据组,并且基于所收集的数据生成Lidar单元特有的反射率推断模型。收集的数据组中的每个数据点包括原始强度值和测距值,并且对应于多个已知的反射率值之一。反射率推断模型可以在交通工具操作阶段期间由自主交通工具(AV)计算机系统使用以基于由Lidar单元输出的输入数据点来推断对象反射率。反射率推断模型的生成包括使用每个数据点的原始强度值和测距值将每个数据点映射至坐标系。可以针对Lidar单元的每个通道的每个功率水平生成数据点的映射。因此,反射率推断模型的生成可以包括生成多个映射。
在交通工具操作阶段中,AV计算机系统的反射率推断系统在AV的操作期间使用反射率推断模型基于由Lidar单元输出的输入数据点来推断一个或更多个对象的反射率值。推断的反射率值表示对象的反射率(例如,照射对象的光的被对象反射的比例的量度)。反射率推断系统基于推断的反射率值来确定对象的一个或更多个特性。例如,反射率推断系统可以基于推断的反射率值来确定对象的反射率。作为另一示例,推断的反射率值可以被用作用于确定漫反射或镜面反射特性的基础。
在交通工具操作阶段期间,对象的推断的反射率值也可以被用在下游感知、预测和运动计划中。例如,AV计算系统的部件可以基于对象的推断的反射率值来确定用于AV的运动计划。运动计划控制AV的运动。另外,AV计算系统的部件可以基于对象的推断的反射率值来生成对对象进行描述的状态数据。
在一些实施方式中,推断的反射率值也可以被用在交通工具定位过程中。例如,可以生成包括推断的反射率的指示的地图,并且一个或更多个AV的定位系统可以结合其他传感器数据使用该地图来生成描述AV的位置和取向的交通工具位姿。
用来生成反射率推断模型的数据组的收集可以包括在距Lidar单元的各个距离处布置多个目标并且从Lidar单元收集与每个目标对应的数据点。每个目标具有已知的反射率,并且因此,每个数据点具有相关联的已知反射率值。针对每个目标收集的数据点包括由Lidar单元的每个通道在Lidar单元的每个功率水平下输出的数据点。在一些实施方式中,Lidar单元可以被安装在万向节上,并且万向节可以被用来使Lidar单元相对于多个目标以各种角度取向以在多个取向角度处获得每个目标的数据点。
在一些实施方式中,反射率值的推断包括在AV的操作期间访问由Lidar单元输出的输入数据点,并且将输入数据点映射至坐标系。输入数据点可以映射在特定映射内,该特定映射与输出数据点的通道的功率水平对应。通过根据从映射中识别的数据点的最近邻居中的两个或更多个的插值来推断数据点所对应的对象的反射率值。
在其他实施方式中,反射率推断模型的生成包括生成查找表,该查找表包括用于针对Lidar单元的每个通道的每个功率水平的测距值和原始强度值的多个组合的反射率值。可以通过根据映射的数据点的插值来确定反射率值。查找表可以在存储在AV的计算系统之前被压缩,从而减少存储该数据所需的存储器的量。与这些实施方式一致,在AV操作期间反射率值的推断包括访问查找表并基于测距值、原始强度值、功率水平和与数据点对应的通道从查找表确定反射率值。通过在校准阶段期间预先计算反射率值而不是在交通工具操作期间推断反射率值,与上述实施方式相比,减少了AV计算机系统在推断对象反射率时的处理时间,并且因此,可以改进AV系统的反应时间(例如,在避开对象时)。
参照图1,根据一些实施方式,示出了示例自主交通工具(AV)系统100。为了避免以不必要的细节使本发明的主题晦涩,从图1中省略了与传达对本发明的主题的理解没有密切关系的各种功能部件。然而,技术人员将容易认识到,各种附加的功能部件可以被包括为AV系统100的一部分以有利于本文未具体描述的附加功能。
AV系统100负责控制交通工具。AV系统100能够在没有人输入的情况下感测其环境并导航。AV系统100可以包括基于地面的自主交通工具(例如,汽车、卡车、公共汽车等)、基于空气的自主交通工具(例如,飞机、无人驾驶飞机、直升机或其他飞机)或其他类型的交通工具(例如,船舶)。
AV系统100包括交通工具计算系统102、一个或更多个传感器104以及一个或更多个交通工具控制116。交通工具计算系统102可以有助于控制AV系统100。具体地,交通工具计算系统102可以从一个或更多个传感器104接收传感器数据,尝试通过对由传感器104收集的数据执行各种处理技术来理解周围环境,并且生成穿过这样的周围环境的适当的运动路径。交通工具计算系统102可以控制一个或更多个交通工具控制116以根据运动路径操作AV系统100。
如图1中所示,交通工具计算系统102可以包括一个或更多个有助于控制AV系统100的计算设备。交通工具计算系统102可以包括定位器系统106、感知系统108、预测系统110、运动计划系统112和反射率推断系统120,这些设备协作以感知AV系统100的动态周围环境并且确定对AV系统100的建议运动路径进行描述的轨迹。交通工具计算系统102可以另外包括交通工具控制器114,该交通工具控制器114被配置成控制一个或更多个交通工具控制116(例如,控制气流(推进)、转向、制动等的致动器)以执行AV系统100的运动以遵循轨迹。
具体地,在一些实现方式中,定位器系统106、感知系统108、预测系统110、运动计划系统112或反射率推断系统120中的任何一个可以从一个或更多个传感器104接收传感器数据,一个或更多个传感器104被耦接至AV系统100或以其他方式包括在AV系统100内。作为示例,一个或更多个传感器104可以包括Lidar单元118、无线电检测和测距(RADAR)系统、一个或更多个相机(例如,可见光谱相机、红外相机等)以及/或者其他传感器。传感器数据可以包括描述对象在AV系统100的周围环境内的位置的信息。
作为一个示例,对于Lidar单元118,传感器数据可以包括点数据,该点数据包括与反射经发射的激光的对象对应的许多点的位置(例如,在相对于Lidar单元118的三维空间中)。例如,Lidar单元118可以通过测量飞行时间(ToF)来测量距离,短的激光脉冲从一个或更多个传感器104传送至对象并且返回需要花费该飞行时间(ToF),从而根据已知的光速来计算距离。点数据还包括用于每个点的强度值,如上所述,该强度值可以提供关于反射经发射的激光的对象的反射性的信息。
作为另一示例,对于RADAR系统,传感器数据可以包括与反射测距无线电波的对象对应的许多点的位置(例如,在相对于RADAR系统的三维空间中)。例如,由RADAR系统发送的无线电波(例如,脉冲的或连续的)可以从对象反射并返回至RADAR系统的接收器,从而给出关于对象的位置和速度的信息。因此,RADAR系统可以提供关于对象的当前速度的有用信息。
作为又一示例,对于相机,可以执行各种处理技术(例如,测距成像技术诸如例如运动结构法则、结构光、立体三角测量和/或其他技术)以识别许多点的位置(例如,在相对于相机的三维空间中),所述许多点的位置与由相机捕获的图像中描绘的对象对应。其他传感器系统也可以识别与对象对应的点的位置。
作为另一示例,一个或更多个传感器104可以包括定位系统124。定位系统124可以确定AV系统100的当前位置。定位系统124可以是用于分析AV系统100的位置的任何设备或电路系统。例如,定位系统124可以通过使用如下来确定位置:一个或更多个惯性传感器;基于互联网协议(IP)地址通过使用三角测量和/或靠近网络访问点或其他网络部件(例如,蜂窝塔、WiFi访问点等)的卫星定位系统;和/或其他合适的技术。AV系统100的位置可以由交通工具计算系统102的各个系统使用。
因此,一个或更多个传感器104可以被用来收集传感器数据,该传感器数据包括描述与AV系统100的周围环境内的对象对应的点的位置(例如,在相对于AV系统100的三维空间中)的信息。
除了传感器数据之外,定位器系统106、感知系统108、预测系统110、运动计划系统112和/或反射率推断系统120可以检索或以其他方式获得地图数据122,该地图数据122提供关于AV系统100的周围环境的详细信息。地图数据122可以提供关于以下的信息:不同行车道(例如,道路、小巷、小径和指定用于行进的其他路径)、道路段、建筑物或者其他项或对象(例如,灯柱、人行横道、设路缘石等)的标识和位置;已知的不同行车道(例如,道路)、路段、建筑物或者其他项或对象(例如,路灯柱、人行横道、设路缘石等)的反射性(例如,辐射率);交通车道的位置和方向(例如,停车道、转弯车道、自行车道或者特定道路或其他行车道内的其他车道的位置和方向);交通控制数据(例如,标牌、交通信号灯或其他交通控制设备的位置和指示);和/或提供有助于交通工具计算系统102理解和感知其周围环境及其与周围环境的关系的信息的任何其他地图数据。
另外,根据本公开的一个方面,地图数据122可以包括描述穿过人类环境的大量标称路径的信息。作为示例,在一些情况下,标称路径通常可以对应于交通工具沿一个或更多个车道(例如,道路或其他行车道上的车道)行驶的共同模式。例如,穿过车道的标称路径通常可以对应于这样的车道的中心线。
如所示,Lidar单元118与Lidar校准系统126通信。Lidar校准系统126负责在离线过程中(例如,在AV系统100未操作时)生成反射率推断模型。该离线过程涉及收集数据组,该数据组包括由Lidar单元118的每个通道在其能够操作的每个功率水平下输出的多个数据点,其中每个数据点对应于多个目标之一,多个目标中的每个具有已知的反射率。收集的数据组为反射率推断模型的生成提供基础。
在AV系统100的操作期间,反射率推断系统120使用由Lidar校准系统126生成的反射率推断模型基于由Lidar单元118输出的输入数据点来推断对象的反射率值。反射率值表示相应对象的反射率(例如,照射对象的光的被对象反射的比例的量度)。反射率推断系统120可以基于推断的反射率值来确定对象的一个或更多个特性。例如,反射率推断系统120可以基于推断的反射率值来确定对象的反射率。反射率推断系统120可以将推断的反射率值传送至交通工具计算系统102的其他部件。
定位器系统106接收地图数据122、来自传感器104的一些或全部传感器数据以及来自反射率推断系统120的推断的反射率值,并且基于该信息为AV系统100生成交通工具位姿。交通工具位姿描述了交通工具的位置和取向。AV系统100的位置是三维空间中的点。在一些示例中,由一组笛卡尔坐标的值来描述位置,但是可以使用任何其他合适的坐标系。在一些示例中,通过关于竖直轴的横摆、关于第一水平轴的俯仰和关于第二水平轴的滚动来描述交通工具取向。在一些示例中,定位器系统106周期性地(例如,每秒、每半秒等)生成交通工具位姿。在用于位姿的时间戳表示由位姿描述的时间点的情况下,定位器系统106将时间戳附加至交通工具位姿。定位器系统106通过将传感器数据(例如,远程传感器数据)与描述AV系统100的周围环境的地图数据122进行比较来生成交通工具位姿。
在一些示例中,定位器系统106包括一个或更多个定位器和位姿滤波器。定位器通过将远程传感器数据(例如,Lidar、RADAR等数据)与地图数据122进行比较来生成位姿估计。位姿滤波器接收来自一个或更多个定位器的位姿估计以及来自惯性测量单元(IMU)、编码器、里程表等的其他传感器数据诸如例如运动传感器数据。在一些示例中,位姿滤波器执行卡尔曼滤波器或其他机器学习算法以将来自一个或更多个定位器的位姿估计与运动传感器数据组合以生成交通工具位姿。
感知系统108可以基于从一个或更多个传感器104接收的传感器数据、由反射率推断系统120提供的经推断的反射率值和/或地图数据122来识别靠近AV系统100的一个或更多个对象。具体地,在一些实现方式中,感知系统108可以针对每个对象确定描述对象的当前状态的状态数据。作为示例,每个对象的状态数据可以描述对象的当前位置(也被称为位置)、当前速度(也被称为速度)、当前加速度、当前航向、当前取向、大小/覆盖区(例如,如由边界形状例如边界多边形或多面体表示的)、类别(例如,交通工具、行人、自行车或其他)、横摆率、反射率特性、镜面反射或漫反射特性以及/或者其他状态信息的估计。
在一些实现方式中,感知系统108可以在多次迭代中确定每个对象的状态数据。具体地,感知系统108可以在每次迭代时更新每个对象的状态数据。因此,感知系统108可以随着时间的推移来检测并跟踪靠近AV系统100的对象(例如,交通工具)。在一些情况下,感知系统108基于由反射率推断系统120计算的对象的镜面反射反射率值来更新对象的状态数据。
预测系统110可以从感知系统108接收状态数据,并基于这样的状态数据来预测每个对象的一个或更多个未来位置。例如,预测系统110可以预测每个对象将在接下来的5秒、10秒、20秒等内定位的位置。作为一个示例,可以根据其当前速度来预测对象遵守其当前轨迹。作为另一个示例,可以使用其他更复杂的预测技术或建模。
运动计划系统112可以至少部分地基于由预测系统110提供的用于对象的预测的一个或更多个未来位置和/或由感知系统108提供的对象的状态数据来确定用于AV系统100的运动计划。另需注意的是,给定关于对象的当前位置和/或预测的邻近对象的未来位置的信息,运动计划系统112可以确定用于AV系统100的运动计划,该运动计划相对于这些位置处的对象最佳地导航AV系统100。
运动计划系统112可以将运动计划提供给交通工具控制器114。在一些实现方式中,交通工具控制器114可以是线性控制器,该线性控制器可能不具有与在其他计算系统部件(例如,感知系统108、预测系统110、运动计划系统112等)中可用的关于移动的期望路径周围的环境和障碍物的信息相同水平的信息。尽管如此,交通工具控制器114可以起到使AV系统100合理地接近运动计划的作用。
更具体地,交通工具控制器114可以被配置成控制AV系统100的运动以遵循运动计划。交通工具控制器114可以控制AV系统100的推进和制动中的一个或更多个以遵循运动计划。交通工具控制器114还可以控制AV系统100的转向以遵循运动计划。在一些实现方式中,交通工具控制器114可以被配置成生成一个或更多个交通工具致动器命令并且被配置成根据一个或更多个交通工具致动器命令来进一步控制交通工具控制116内提供的一个或更多个交通工具致动器。交通工具控制116内的交通工具致动器可以包括例如转向致动器、制动致动器和/或推进致动器。
定位器系统106、感知系统108、预测系统110、运动计划系统112、反射率推断系统120和交通工具控制器114中的每个可以包括用来提供所需功能的计算机逻辑。在一些实现方式中,定位器系统106、感知系统108、预测系统110、运动计划系统112、反射率推断系统120和交通工具控制器114中的每个可以以对通用处理器进行控制的硬件、固件和/或软件来实现。例如,在一些实现方式中,定位器系统106、感知系统108、预测系统110、运动计划系统112、反射率推断系统120和交通工具控制器114中的每个包括存储在存储设备上、加载至存储器中并由一个或更多个处理器执行的程序文件。在其他实现方式中,定位器系统106、感知系统108、预测系统110、运动计划系统112、反射率推断系统120和交通工具控制器114中的每个包括一组或更多组计算机可执行指令,所述一组或更多组计算机可执行指令存储在有形计算机可读存储介质例如随机存取存储器(RAM)、硬盘或者光学或磁性介质中。
图2是示出了根据一些实施方式的Lidar单元118的框图,该Lidar单元118可以被包括为AV系统100的一部分。为了避免以不必要的细节使本发明的主题晦涩,从图2中省略了与传达对本发明的主题的理解没有密切关系的各种功能部件。然而,技术人员将容易认识到,各种附加的功能部件可以被包括为Lidar单元118的一部分以有利于本文未具体描述的附加功能。
如所示,Lidar单元118包括通道200-0至200-N;因此,Lidar单元118包括通道0至N。通道200-0至200-N中的每个输出提供单个点的测距信息的点数据。总的来说,由通道200-0至200-N中的每个输出的点数据(即,点数据0-N)被组合以创建与周围环境的三维表示对应的点云。
通道200-0至200-N中的每个包括与检测器204配对的发射器202。发射器202将激光信号发射至环境中,该激光信号从周围环境反射并返回至检测器204(例如,光学检测器)中的传感器206。每个发射器202可以具有可调节的功率水平,该可调节的功率水平控制发射的激光信号的强度。可调节的功率水平允许发射器202能够以多个不同的功率水平(例如,强度)之一发射激光信号。
传感器206将返回信号提供给读出电路208,并且读出电路208又基于返回信号输出点数据。点数据包括Lidar单元118距检测到的表面(例如,道路)的距离,该距离由读出电路208通过测量ToF确定,ToF是在发射器202发射激光信号与检测器204检测返回信号之间经过的时间。
点数据还包括与每个返回信号对应的强度值。强度值表示由读出电路208确定的返回信号的强度的量度。如上所述,返回信号的强度提供关于对信号进行反射的表面的信息,并且可以由定位器系统106、感知系统108、预测系统110和运动计划系统112中的任何一个使用用于定位、感知、预测和运动计划。返回信号的强度取决于许多因素例如Lidar单元118至检测到的表面的距离、发射器202发射激光信号的入射角、周围环境的温度、发射器202与检测器204的对准以及检测到的表面的反射率。
如所示,由Lidar单元118的通道200-0至200-N输出的点数据(即,点数据0-N)被提供给反射率推断系统120。如下面将进一步详细讨论的,反射率推断系统120使用由Lidar校准系统126生成的反射率推断模型根据点数据来推断对象的反射率值,并且反射率推断系统120使用推断的反射率值来确定对象的一个或更多个特性。
图3至图6是示出了根据一些实施方式的作为方法300的一部分而执行的示例性操作的流程图,该方法300用于基于依据原始Lidar强度值推断的反射率值来确定对象特性。方法300的操作中的至少一部分可以实施在由硬件部件(例如,处理器)执行的计算机可读指令中,使得这些操作可以由AV系统100的一个或更多个部件来执行。因此,以下通过示例的方式参考其来描述方法300。然而,应当理解,方法300可以部署在各种其他硬件配置上,并且不旨在限于AV系统100上的部署。方法300可以在概念上分成如下两个阶段——1)离线校准阶段;和2)交通工具操作阶段。操作305和310形成离线校准阶段,并且操作315、320、325和330形成交通工具操作阶段。
在操作305处,Lidar校准系统126收集数据组,该数据组包括由Lidar单元118输出的多个数据点。每个数据点包括原始强度值和测距值。原始强度值包括返回信号的强度的量度,并且测距值包括从Lidar单元118至反射经发射的光信号的表面或对象的距离的量度。每个数据点对应于多个目标之一。每个目标具有已知的反射率值,并且因此,每个数据点与已知的反射率值相关联。
数据组的收集可以包括收集与多个目标的每个目标对应的数据点。针对每个目标的数据点的收集可以包括收集由Lidar单元118的通道200-0至200-N中的每个输出的数据点。由通道200-0至200-N中的每个输出的数据点的收集可以包括收集在通道200-0至200-N中的每个的每个功率水平下输出的数据点。此外,在通道200-0至200-N中的每个的每个功率水平下输出的数据点的收集可以包括在Lidar单元118相对于多个目标定位于各个角度时收集由Lidar单元118输出的数据点。换句话说,数据组的收集可以包括在使Lidar单元118相对于多个目标定位于各个角度时收集在Lidar单元118的通道200-0至200-N中的每个的每个功率水平下输出的数据点。因此,收集的数据组可以包括多组的数据点,并且多组的数据点包括与Lidar单元118的通道200-0至200-N中的每个的每个功率水平对应的一组数据点。与通道200-0至200-N中的特定通道的特定功率水平对应的一组数据点包括与每个目标对应的多个数据点,并且多个数据点包括由Lidar单元118在相对于每个目标定位于多个角度时输出的数据点。
在操作310处,Lidar校准系统126基于所收集的数据组生成并训练用于Lidar单元118的反射率推断模型。反射率推断模型包括将每个数据点的测距值和原始强度值用作坐标使多个数据点至坐标系的至少一个映射。在映射内,数据点的已知反射率值(例如,对应于多个目标)基于每个数据点的测距值和原始强度值与坐标相关联。下面参照图5、图6以及图9A至图9D来描述关于反射率模型的生成的进一步细节。
在交通工具操作阶段中,反射率推断系统120在交通工具的操作(操作315)期间使用反射率推断模型根据由Lidar单元118输出的输入数据点来推断对象的反射率值。Lidar单元118响应于对象将发射的光信号反射回Lidar单元118而由Lidar单元118输出该输入数据点。输入数据点包括测距值和原始强度值。反射率值表示对象的反射率的量度(例如,照射对象的光的被对象反射的比例的量度)。可以基于对反射率推断模型中包括的数据点的映射(例如,数据点的与将输入数据点输出的通道200的功率水平对应的映射)执行的局部插值来推断反射率值。更具体地,可以根据映射中包括的至少两个数据点来插值反射率值。下面参照图5、图6以及图9A至图9D描述关于使用反射率推断模型来推断反射率值的进一步细节。
在操作320处,交通工具计算系统102的一个或更多个部件基于推断的反射率值来确定对象的一个或更多个特性。例如,反射率推断系统120可以基于推断的反射率值来确定对象的反射率。作为另一示例,反射率推断系统120可以使用推断的反射率值作为用于确定对象的漫反射或镜面反射特性的基础。感知系统108还可以使用推断的反射率值来确定对象的当前位置、当前速度、当前加速度、当前航向、当前取向、尺寸/覆盖区、类别和横摆率中的一个或更多个的估计。预测系统110可以使用推断的反射率值来预测对象的一个或更多个未来位置。
在操作325处,感知系统108基于推断的反射率值生成与对象相关联的对状态进行描述的状态数据。因此,对象的状态数据包括对象距Lidar单元118的距离以及对象的经推断的反射率值。状态数据还可以包括基于推断的反射率值确定的对象的一个或更多个特性。
在操作330处,运动计划系统112基于对象的推断的反射率值来确定用于交通工具的运动计划。如上所述,交通工具控制器114使用运动计划来控制交通工具的运动。
如图4中所示,在一些实施方式中,方法300可以包括操作405、410和415。与这些实施方式一致,在Lidar校准系统126收集数据组的情况下,操作405、410和415可以在操作305之前或者作为操作305的一部分执行。
在操作405处,一个或更多个人类操作员布置多个目标。每个目标具有已知的反射率值。多个目标可以被布置在距Lidar单元118不同的距离处。下面参照图8来描述多个目标的示例布置。
在操作410处,一个或更多个人类操作员将Lidar单元118安装在万向节上。万向节允许人类操作员使Lidar单元118相对于多个目标以各种角度取向。
在操作415处,Lidar校准系统126使Lidar单元118相对于多个目标定位于多个角度同时Lidar单元118输出数据点。更具体地,Lidar校准系统126向万向节提供电子命令以在Lidar单元118生成数据点时调节Lidar单元118相对于多个目标的角度。例如,Lidar校准系统126可以在命令万向节使Lidar单元118定位于第二角度之前允许Lidar单元118在第一角度处生成与多个目标对应的数据点,Lidar单元118在该第二角度处生成另外的数据点。Lidar校准系统126可以命令万向节以小增量(例如,0.25度)扫过一系列角度。如上所述,对于每个角度,Lidar校准系统126可以收集与每个通道的每个功率水平对应的数据点。
如图5中所示,在一些实施方式中,方法300可以包括操作505、510、515、520和525。与这些实施方式一致,在Lidar校准系统120生成反射率推断模型的情况下,操作505可以作为操作310的一部分来执行。在操作505处,Lidar校准系统126使用每个数据点的相应测距值和原始强度值生成多个数据点至坐标系的映射。在生成映射时,Lidar校准系统126使用每个数据点的测距值和原始强度值将每个数据点映射至坐标系。在将数据点映射至坐标系时,Lidar校准系统126基于数据点的测距值和原始强度值将数据点与一组坐标相关联,从而将已知的反射率值与测距值和原始强度值相关联。
与一些实施方式一致,反射率推断模型包括数据点至坐标系的多个映射。在这些实施方式中,每个映射对应于通道200-0至200-N中的特定通道的特定功率水平,并且因此,特定映射仅包括由特定通道在特定功率水平下输出的数据点。因此,在操作310处执行的反射率推断模型的生成可以包括生成用于每个通道的每个功率水平的数据点的映射。也就是说,可以针对每个通道的每个功率水平重复操作505。
在反射率推断系统120推断对象的反射率值的情况下,操作510、515、520和525可以作为操作315的一部分来执行。在操作510处,在交通工具的操作期间反射率推断系统120访问由Lidar单元118输出的输入数据点。如上所述,输入数据点对应于检测到的对象并且包括原始强度值和测距值。
在操作515处,反射率推断系统120使用原始强度值和测距值将输入数据点映射至坐标系。也就是说,反射率推断系统120基于原始强度值和测距值将输入数据点与一组坐标相关联。
在操作520处,反射率推断系统120基于多个数据点至坐标系的映射来识别输入数据点在坐标系中的K个最近邻居。在操作520的上下文中,K是两个或更多个。反射率推断系统120可以使用多种已知技术中的一种用于识别输入数据点的K个最近邻居(例如,线性搜索、空间划分、局部敏感散列法、k最近邻居、(1+ε)近似最近邻居搜索等)。
在反射率推断模型包括多个映射的实施方式中,对象的反射率值的推断包括基于Lidar单元118的将输入数据点输出的通道和通道的功率水平从多个映射中选择用于识别最近邻居的映射。换句话说,反射率推断系统120选择映射以用于识别输入数据点的最近邻居,该映射特定于与输入数据点对应的通道和功率水平。
在操作525处,反射率推断系统120根据K个最近邻居来插值输入数据点的反射率值。反射率推断系统120可以使用许多已知插值技术中的任何一种来根据K个最近邻居插值反射率值。
如图6中所示,在一些实施方式中,方法300可以包括操作605、610、615、620、625、630和635。与这些实施方式一致,在Lidar校准系统126训练并生成反射率推断模型的情况下,操作605、610、615和620可以作为操作310的一部分来执行。
在操作605处,Lidar校准系统126使用每个数据点的相应测距值和原始强度值生成多个数据点至坐标系的映射。在生成映射时,反射率推断系统120使用每个数据点的测距值和原始强度值将每个数据点映射至坐标系。在将数据点映射至坐标系时,反射率推断系统120基于数据点的测距值和原始强度值将数据点与一组坐标相关联,从而将已知的反射率值与测距值和原始强度值相关联。
在操作610处,Lidar校准系统126使用映射来生成包括多个反射率值的查找表。在查找表内,每个反射率值与测距值、原始强度值、通道和功率水平的组合相关联。包括在查找表中的反射率值可以包括已知反射率值(例如,多个目标的反射率值),该已知反射率值与测距值和原始强度值的组合(例如,通过映射)以及根据多个数据点的映射插值的反射率值预先相关联。因此,查找表的生成可以包括根据多个数据点的映射来插值多个反射率值。
在操作615处,Lidar校准系统126压缩查找表。在压缩查找表时,反射率推断系统120可以使用若干已知的压缩技术或算法中的任何一种。在操作620处,反射率推断系统120将压缩的查找表存储在交通工具计算系统102的存储器设备中。
与这些实施方式一致,在反射率推断系统120使用反射率推断模型根据输入数据点来推断对象的反射率值的情况下,操作625、630和635可以作为操作315的一部分来执行。
在操作625处,在交通工具的操作期间反射率推断系统120访问由Lidar单元118输出的输入数据点。如上所述,输入数据点对应于检测到的对象并且包括原始强度值和测距值。在操作630处,反射率推断系统120从交通工具计算系统102的存储器设备访问压缩的查找表。
在操作635处,反射率推断系统120使用查找表确定输入数据点的反射率值。更具体地,反射率推断系统120使用输入数据点的原始强度值和测距值以及将输入数据点输出的通道的号和通道的功率水平从查找表中识别反射率值。
图7是示出了根据一些实施方式的作为方法700的一部分执行的示例操作的流程图,该方法700用于基于依据原始Lidar强度值推断的一个或更多个反射率值来执行交通工具定位。方法700可以实施在由硬件部件(例如,处理器)执行的计算机可读指令中,使得方法700的操作可以由AV系统100的一个或更多个部件执行。因此,下面通过示例的方式参考其来描述方法700。然而,应当理解,方法700可以部署在各种其他硬件配置上,并且不旨在限于AV系统100上的部署。
在操作705处,反射率推断系统120使用反射率推断模型根据输入数据点来推断对象的反射率值。在交通工具的操作期间,由Lidar单元118输出该输入数据点。反射率推断系统120可以根据本文描述的技术推断反射率值。
在操作710处,定位器系统106生成反射率地图,该反射率地图包括由反射率推断系统120推断的对象的推断的反射率值。具体地,在反射率地图内,推断的反射率值与其所对应的对象的地理定位相关联。在生成反射率地图时,定位器系统106可以在反射率值所对应的对象的位置处增加地图数据122以包括所述反射率值的指示。反射率地图还可以包括由交通工具计算系统生成的推断的反射率值。
在操作715处,定位器系统106基于反射率地图执行交通工具定位。也就是说,定位器系统106可以使用反射率地图来为AV系统100生成交通工具位姿,该交通工具位姿描述交通工具的位置和取向。
图8是示出了根据一些实施方式的示例环境800的示意图,在示例环境800中多个目标被布置为用于收集在生成用于反射率推断模型时使用的Lidar单元118的数据组的过程的一部分。如所示,多个目标在距离Lidar单元118不同距离处被布置在环境800内。例如,目标802位于与Lidar单元118相距7米处,目标804位于与Lidar单元118相距14米处,以及目标806位于与Lidar单元118相距26米处。每个目标具有已知的反射率(例如,照射对象的光的被对象反射的比例的量度)。如上所述,在收集Lidar单元118的用于生成反射率推断模型的数据组时,收集与每个目标对应的数据点。也就是说,Lidar单元118发射指向每个目标的光信号,接收与所发射的光信号从每个目标的反射对应的返回信号,并输出与每个返回信号对应的点数据,所述每个返回信号包括测距值和原始强度值。针对每个目标收集的数据点包括由通道200-0至200-N(图2)中的每个在每个功率水平下输出的数据点。
图9A至图9D是示出了根据一些实施方式的用于基于从Lidar单元118接收的输入数据点推断反射率值的示例过程的概念图。参照图9A,示出了反射率推断模型900的视觉表示。反射率推断模型900包括映射902-1至902-440。如上所述,Lidar校准系统126可以基于以上述方式收集的一组数据在离线预处理阶段中生成反射率推断模型900。如图9A中所示,映射902-1至902-440被可视化为由测距和原始强度限定的坐标系内的多个图。
在映射902-1至902-440中的每个内,基于与每个数据点相关联的测距值和原始强度值将数据点映射至坐标系。也就是说,每个数据点包括测距值和原始强度值,并且映射内的数据点使用与数据点相关联的原始强度值和范围值与一组坐标相关联。每个数据点都包含在收集的数据组中。此外,每个数据点与该数据点所对应的目标(例如,图8的目标802、804或806)的已知反射率值(例如,照射对象的光的被对象反射的比例的量度)相关联。
映射902-0至902-440中的每个与特定功率水平和通道组合相关联。在图9A至图9D中,“L”被用来表示与映射相关联的通道,并且“P”被用来表示通道的功率水平。例如,映射902-0与功率水平0下的通道0相关联,并且因此,映射902-0被标记为“L0P0”。作为另一示例,映射902-440与功率水平7下的通道63相关联,并且因此,映射902-440被标记为“L63P7”。
映射902-0包括数据点903至908。数据点903至908中的每个由Lidar单元118的通道0在功率水平0下输出。如所示,数据点903至908中的每个与该数据点所对应的目标的已知反射率相关联。例如,数据点903包括50%反射率值,数据点904包括12%反射率值,数据点905包括6.5%反射率值,数据点906包括36%反射率值,数据点907包括64%反射率值,以及数据点908包括82%反射率值。
参照图9B,在交通工具操作期间,在通过Lidar单元118的功率水平0下的通道0输出该输入数据点910时,反射率推断系统120访问映射902-0并将输入数据点映射至映射902-0内的坐标系。与先前收集的数据点一样,输入数据点包括原始强度值和测距值。反射率推断系统120使用输入数据点的原始强度值和测距值将输入数据点与映射902-1的坐标系内的一组坐标相关联。如所示,与输入数据点910相关联的反射率值最初是未知的。
参照图9C,反射率推断系统120识别映射902-0内的输入数据点910的两个最近邻居,在该示例中,所述两个最近邻居对应于数据点903和907。在识别最近邻居时,反射率推断系统120可以使用若干已知技术或算法中的一种用于识别最近邻居(例如,k近邻算法)。此外,尽管在图9C的上下文中,识别仅两个最近邻居,但是应当理解,可以使用不止一的任意数目的最近邻居。
参照图9D,反射率推断系统120根据最近邻居——数据点903和907——插值与输入数据点910相关联的反射率值。反射率推断系统120可以使用若干已知的插值技术或算法中的一种根据数据点903和907插值反射率值。在该示例中,反射率推断系统120确定57%的反射率值与输入数据点910相关联。基于该确定,反射率推断系统120推断与输入数据点910对应的对象具有57%的反射率值。
图10示出了根据示例实施方式的计算机系统的形式的机器1000的图形表示,在该计算机系统内可以执行一组指令以使机器1000执行本文所讨论的方法中的任何一种或更多种。具体而言,图10示出了计算机系统的示例形式的机器1000的图形表示,在该计算机系统内可以执行用于使机器1000执行本文所讨论的方法中的任何一种或更多种的指令1016(例如,软件、程序、应用、小应用程序、应用程序或其他可执行代码)。例如,指令1016可以使机器1000执行方法300和700。以这种方式,指令1016将通用的未编程的机器变换为特定的机器1000,例如Lidar校准系统126或交通工具计算系统102,该特定的机器1000被特别地配置成以本文描述的方式执行所描述和所示的功能。在替选实施方式中,机器1000作为独立设备操作或者可以耦接(例如,联网)至其他机器。在联网部署中,机器1000可以在服务器客户端网络环境中以服务器机器或客户端机器的容量操作,或者作为对等(或分布式)网络环境中的对等机器操作。机器1000可以包括但不限于服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、智能电话、移动设备、网络路由器、网络交换机、网桥或能够顺序地或以其他方式执行指令1016的任何机器,该指令1016指定要由机器1000采取的动作。此外,虽然仅示出了单个机器1000,但是术语“机器”应还可以被视为包括机器1000的集合,所述机器1000的集合单独地或共同地执行指令1016以执行本文所讨论的方法中的任何一种或更多种。
机器1000可以包括可以被配置成例如经由总线1002彼此通信的处理器1010、存储器1030和输入/输出(I/O)部件1050。在示例实施方式中,处理器1010(例如,中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)、另一处理器或其任何合适的组合)可以包括例如可以执行指令1016的处理器1012和处理器1014。术语“处理器”旨在包括多核处理器1010,该多核处理器1010可以包括可以同时执行指令的两个或更多个独立的处理器(有时被称为“核”)。虽然图10示出了多处理器1010,但是机器1000可以包括具有单个核的单个处理器、具有多个核的单个处理器(例如,多核处理器)、具有单个核的多个处理器、具有多个核的多个处理器或者其任何组合。
存储器1030可以包括主存储器1032、静态存储器1034和包括机器存储介质1037的存储单元1036,每个可以例如经由总线1002访问处理器1010。主存储器1032、静态存储器1034和存储单元1036存储实施本文所述的方法或功能中的任何一种或更多种的指令1016。在由机器1000执行指令1016期间,指令1016还可以全部地或部分地驻留在主存储器1032内、在静态存储器1034内、在存储单元1036内、在处理器1010中的至少一个内(例如,在处理器的高速缓冲存储器内)或者在其任何合适的组合内。
I/O部件1050可以包括用于接收输入、提供输出、产生输出、发送信息、交换信息、捕获测量结果等的部件。包括在特定机器1000中的特定I/O部件1050将取决于机器的类型。例如,诸如移动电话的便携式机器将可能包括触摸输入设备或其他这样的输入机构,而无外设服务器机器将可能不包括这样的触摸输入设备。将理解的是,I/O部件1050可以包括图10中未示出的许多其他部件。根据功能对I/O部件1050进行分组仅用于简化以下讨论,并且该分组决不是限制性的。在各种示例实施方式中,I/O部件1050可以包括输出部件1052和输入部件1054。输出部件1052可以包括可视部件(例如,诸如等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT)的显示器)、声音部件(例如,扬声器)、其他信号发生器等。输入部件1054可以包括字母数字输入部件(例如,键盘、被配置成接收字母数字输入的触摸屏、光学键盘或其他字母数字输入部件)、基于指向的输入部件(例如,鼠标、触摸板、轨迹球、操纵杆、运动传感器或另一指向仪器)、触觉输入部件(例如,物理按钮、提供触摸或触摸手势的位置和/或力的触摸屏或其他触觉输入部件)、音频输入部件(例如,麦克风)等。
可以使用各种技术来实现通信。I/O部件1050可以包括通信部件1064,通信部件1064能够操作以分别经由耦接(coupling)1082和耦接1072将机器1000耦接至网络1080或设备1070。例如,通信部件1064可以包括与网络1080连接的网络接口部件或另一合适的设备。在又一示例中,通信部件1064可以包括有线通信部件、无线通信部件、蜂窝通信部件和经由其他方式(例如,蓝牙、WiFi和NFC)提供通信的其他通信部件。设备1070可以是另一机器或各种外围设备中的任何一种(例如,经由通用串行总线(USB)耦接的外围设备)。
可执行指令和机器存储介质
各种存储器(例如,1030、1032、1034和/或一个或更多个处理器1010的存储器)和/或存储单元1036可以存储由本文描述的方法或功能中的任何一种或更多种实施或利用的一组或更多组指令1016和数据结构(例如,软件)。这些指令在由一个或更多个处理器1010执行时使各种操作实现所公开的实施方式。
如本文所使用的,术语“机器存储介质”、“设备存储介质”和“计算机存储介质”意指相同的事物并且可以互换使用。上述术语指的是存储可执行指令和/或数据的单个或多个存储设备和/或介质(例如,集中式或分布式数据库、和/或相关联的高速缓存和服务器)。因此,上述术语应被视为包括但不限于固态存储器以及光学和磁性介质,包括处理器内部或外部的存储器。机器存储介质、计算机存储介质和/或设备存储介质的具体示例包括如下:非易失性存储器,包括例如半导体存储器设备,例如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、现场可编程门阵列(FPGA)和闪存器件;磁盘例如内部硬盘和可移动磁盘;磁光盘;以及CD-ROM和DVD-ROM磁盘。术语“机器存储介质”、“计算机存储介质”和“设备存储介质”特别地排除了载波、调制数据信号和其他这样的介质,其中的至少一些被下面讨论的术语“传输介质”所涵盖。
传输介质
在各种示例实施方式中,网络1080中的一个或更多个部分可以是自组网网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线局域网(WLAN)、广域网(WAN)、无线广域网(WWAN)、城域网(MAN)、互联网、互联网的一部分、公共交换电话网(PSTN)的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、
Figure BDA0002151026540000211
网络、另一类型的网络或者两个或更多个这样的网络的组合。例如,网络1080或网络1080的一部分可以包括无线或蜂窝网络,并且耦接1082可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或者另一类型的蜂窝或无线耦接。在该示例中,耦接1082可以实现如下各种类型的数据传输技术中的任何一种,例如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线服务(GPRS)技术、增强型数据速率GSM演进(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动电信系统(UMTS)、高速分组访问(HSPA)、全球微波访问互操作性(WiMAX)、长期演进(LTE)标准、由各种标准制定组织限定的其他标准、其他远程协议或其他数据传输技术。
可以经由网络接口设备(例如,包括在通信部件1064中的网络接口部件)使用传输介质并利用许多公知的传输协议中的任何一个(例如,超文本传输协议(HTTP))来在网络1080上发送或接收指令1016。类似地,可以使用传输介质经由耦接1072(例如,对等耦接)将指令1016发送或接收至设备1070。术语“传输介质”和“信号介质”意指相同的事物并且可以在本公开中互换使用。术语“传输介质”和“信号介质”应被视为包括能够存储、编码或携带指令1016以供机器1000执行的任何无形介质,并且包括有利于这样的软件的通信的数字或模拟通信信号或者其他无形介质。因此,术语“传输介质”和“信号介质”应被视为包括任何形式的调制数据信号、载波等。术语“调制数据信号”意指这样的信号,该信号具有以对信号中的信息进行编码的方式设置或改变的其特性中的一个或更多个。
机器可读介质
术语“机器可读介质”、“计算机可读介质”和“设备可读介质”意指相同的事物,并且可以在本公开中互换使用。这些术语被限定为包括机器存储介质和传输介质两者。因此,这些术语包括存储设备/介质和载波/调制数据信号。
本文描述的示例方法的各种操作可以至少部分地由一个或更多个处理器来执行,一个或更多个处理器被临时地配置(例如,通过软件)或永久地配置成执行相关操作。类似地,本文描述的方法可以至少部分地处理器实现。例如,可以由一个或更多个处理器执行方法的操作中的至少一些。操作中的某些操作的性能可以分布在一个或更多个处理器中,不仅驻留在单个机器中,而且跨多个机器部署。在一些示例实施方式中,一个或更多个处理器可以位于单个位置(例如,在家庭环境、办公室环境或服务器群内),而在其他实施方式中,处理器可以跨许多位置分布。
尽管已经参考特定示例实施方式描述了本公开的实施方式,但是明显是,在不脱离本发明的主题的更宽范围的情况下,可以对这些实施方式进行各种修改和改变。因此,说明书和附图应被视为说明性的而非限制性的。形成本文中的一部分的附图通过说明而非限制的方式示出了可以实践主题的特定实施方式。足够详细地描述了所示的实施方式以使得本领域技术人员能够实践本文所公开的教导。可以使用其他实施方式并且从中导出其他实施方式,使得可以在不脱离本公开的范围的情况下进行结构和逻辑的替换和改变。因此,该详细描述不应被视为具有限制意义,并且各种实施方式的范围仅由所附权利要求以及这些权利要求所赋予的等同物的全部范围来限定。
如果实际上公开了不止一个发明或发明构思,仅为了方便并且不旨在将本申请的范围自愿地限制于任何单个发明或发明构思,本发明的主题的这些实施方式可以单独地和/或共同地由术语“发明”在本文中提及。因此,尽管本文已经示出和描述了特定实施方式,但是应理解的是,经推算(calculate)以实现相同目的的任何布置可以替代所示的特定实施方式。本公开旨在涵盖各种实施方式的调整或变化中的任何一个和所有。在审查以上描述时,对于本领域技术人员来说,上述实施方式的组合以及本文未具体描述的其他实施方式将是明显的。
在本文中,如在专利文献中常见的,术语“一(a)”或“一个(an)”被用来包括一个或不止一个,独立于“至少一个”或“一个或更多个”的任何其他实例或用法。在本文中,除非另有说明,否则术语“或”被用来表示非排他性的或,使得“A或B”包括“A而没有B”、“B而没有A”和“A和B”。在所附权利要求中,术语“包括(including)”和“其中(in which)”被用作相应术语“包括(comprising)”和“其中(wherein)”的普通英语等同物。此外,在所附权利要求中,术语“包括”和“包含”是开放式的;也就是说,包括除权利要求中的这一术语之后列出的元素之外的元素的系统、设备、物品或过程仍然被认为属于该权利要求的范围内。
本公开的实施方式还包括:
(1)一种自主交通工具(AV)系统,包括:
机器的一个或更多个处理器;以及
存储指令的机器存储介质,所述指令在由所述一个或更多个处理器执行时使所述机器执行包括以下的操作:
在所述AV系统的操作期间访问通过光检测和测距(Lidar)单元输出的输入数据点;
使用反射率推断模型基于所述输入数据点来推断对象的反射率值,所述反射率推断模型包括将一组先前收集的数据点的测距值和原始强度值用作坐标使所述先前收集的数据点至坐标系的映射,所述反射率值根据映射至所述坐标系的所述一组先前收集的数据点中的至少两个先前收集的数据点被插值,所述两个先前收集的数据点中的每个对应于多个已知反射率值之一;以及
基于推断的反射率值来确定所述对象的一个或更多个特性。
(2)根据(1)所述的AV系统,其中,所述对象的所述反射率值的推断包括:
将所述输入数据点映射至所述坐标系;
识别映射至所述坐标系的所述输入数据点的两个或更多个最近邻居,所述两个或更多个最近邻居包括所述至少两个先前收集的数据点;以及
根据所述两个或更多个最近邻居来插值所述反射率值。
(3)根据(1)所述的AV系统,其中:
所述反射率推断模型包括查找表,所述查找表包括根据映射至所述坐标系的所述一组先前收集的数据点插值的多个反射率值,每个反射率值对应于测距值和原始强度值的特定组合;并且
所述对象的所述反射率值的推断包括:
访问所述查找表;以及
基于所述输入数据点的原始强度值和测距值从所述查找表确定所述反射率值。
(4)根据(1)所述的AV系统,其中:
所述Lidar单元包括多个通道,每个通道能够在多个功率水平下操作;
所述反射率推断模型包括所述先前收集的数据点至所述坐标系的多个映射,所述映射中的每个对应于所述Lidar单元的特定通道的特定功率水平;并且
所述对象的所述反射率值的推断包括基于所述Lidar单元的输出所述输入数据点的通道和所述通道的功率水平从所述多个映射中选择所述一组先前收集的数据点的所述映射。
(5)根据(1)所述的AV系统,其中,所述操作还包括生成描述所述对象的状态数据,所述状态数据至少包括所推断的反射率值。
(6)根据(1)所述的AV系统,其中,所述操作还包括:
生成反射率地图,所述反射率地图包括所述对象的推断的反射率值的指示;以及
基于所述反射率地图执行交通工具定位。
(7)根据(1)所述的AV系统,其中,所述操作还包括:
收集包括由所述Lidar单元输出的数据点的数据组,所述数据点中的每个对应于多个目标之一,每个目标具有所述多个已知反射率值之一,所述数据组对应于所述一组先前收集的数据点;以及
基于所述数据组来生成用于所述Lidar单元的所述反射率推断模型,所述反射率推断模型的生成包括将所述一组先前收集的数据点映射至所述坐标系。
(8)一种光检测和测距(Lidar)校准系统,包括:
机器的一个或更多个处理器;以及
存储指令的机器存储介质,所述指令在由所述一个或更多个处理器执行时使所述机器执行包括以下的操作:
收集包括由Lidar单元输出的多个数据点的数据组,所述数据点中的每个对应于多个目标之一,每个目标具有已知的反射率值;以及
基于所述数据组来生成用于所述Lidar单元的反射率推断模型,所述反射率推断模型的生成包括将每个数据点的测距值和原始强度值用作坐标使所述多个数据点映射至坐标系,所述反射率推断模型能够操作以根据由所述Lidar单元输出的输入数据点推断反射率值。
(9)根据(8)所述的Lidar校准系统,其中:
所述反射率推断模型的生成还包括生成查找表,所述查找表包括根据映射至所述坐标系的所述多个数据点插值的多个反射率值,
每个反射率值对应于测距值和原始强度值的特定组合。
(10)根据(9)所述的Lidar校准系统,其中,所述操作还包括:
压缩所述查找表以生成压缩的查找表;以及
将压缩的查找表存储在交通工具计算系统的存储器设备中。
(11)根据(9)所述的Lidar校准系统,其中:
所述数据组的收集包括收集由所述Lidar单元的每个通道输出的数据点;并且
所述反射率推断模型的生成包括针对每个通道生成数据点至所述坐标系的映射。
(12)根据(11)所述的Lidar校准系统,其中:
所述Lidar单元的每个通道能够在多个功率水平下操作;
由所述Lidar单元的每个通道输出的所述数据点的收集包括收集由每个通道在每个功率水平下输出的数据点;并且
所述反射率推断模型的生成包括生成所述数据点至所述坐标系的多个映射,每个映射对应于特定通道的特定功率水平。
(13)一种方法,包括:
收集包括由自主交通工具的光检测和测距(Lidar)单元输出的多个数据点的数据组,所述数据点中的每个对应于多个目标之一,每个目标具有已知的反射率值;
基于所述数据组来生成用于所述Lidar单元的反射率推断模型,所述反射率推断模型的生成包括将每个数据点的测距值和原始强度值用作坐标使所述多个数据点映射至坐标系;
通过所述自主交通工具的交通工具计算系统,在所述自主交通工具的操作期间访问由所述Lidar单元输出的输入数据点;
使用所述反射率推断模型基于所述输入数据点来推断对象的反射率值,所述反射率值根据映射至所述坐标系的至少两个数据点被插值;以及
通过所述交通工具计算系统基于推断的反射率值来确定用于所述自主交通工具的运动计划,所述自主交通工具的所述运动计划被用来控制所述自主交通工具的运动。
(14)根据(13)所述的方法,其中,所述对象的所述反射率值的推断包括:
将所述输入数据点映射至所述坐标系;
识别映射至所述坐标系的所述输入数据点的两个或更多个最近邻居,所述两个或更多个最近邻居包括所述至少两个数据点;以及
根据所述两个或更多个最近邻居来插值所述反射率值。
(15)根据(13)所述的方法,其中:
所述反射率推断模型的生成还包括:
生成查找表,所述查找表包括根据映射至所述坐标系的所述多个数据点插值的多个反射率值,每个反射率值对应于测距值和原始强度值的特定组合;并且
所述对象的所述反射率值的推断包括:
通过所述交通工具计算系统从所述交通工具计算系统的存储器设备访问所述查找表;以及
通过所述交通工具计算系统基于所述输入数据点的测距值和原始强度值从所述查找表中确定所述反射率值。
(16)根据(13)所述的方法,其中:
所述数据组的收集包括收集由所述Lidar单元的每个通道输出的数据点;并且
所述反射率推断模型的生成包括针对每个通道生成数据点至所述坐标系的映射。
(17)根据(16)所述的方法,其中:
所述Lidar单元的每个通道能够在多个功率水平下操作;
由所述Lidar单元的每个通道输出的所述数据点的收集包括收集由每个通道在每个功率水平下输出的数据点;并且
所述反射率推断模型的生成包括生成所述数据点至所述坐标系的多个映射,每个映射对应于特定通道的特定功率水平。
(18)根据(17)所述的方法,其中:
所述对象的所述反射率值的推断包括基于所述Lidar单元的输出所述输入数据点的通道和所述通道的功率水平从所述多个映射中选择映射。
(19)根据(13)所述的方法,其中,所述数据组的收集包括:
布置多个目标,所述目标中的每个具有已知的反射率;以及
收集与每个目标对应的至少一个数据点。
(20)根据(19)所述的方法,其中,所述操作还包括:
将所述Lidar单元安装在万向节上;以及
使用所述万向节使所述Lidar单元定位于多个角度;并且
其中,与每个目标对应的所述至少一个数据点的收集包括在所述多个角度中的每个角度处收集与每个目标对应的至少一个数据点。

Claims (18)

1.一种自主交通工具计算系统,包括:
包括一个或更多个处理器的反射率推断系统,所述反射率推断系统执行包括以下的操作:
在所述自主交通工具计算系统的操作期间访问通过光检测和测距单元输出的输入数据点;
使用由光检测和测距校准系统生成的反射率推断模型基于所述输入数据点来确定对象的经推断的反射率值,所述反射率推断模型包括将一组先前收集的数据点的测距值和原始强度值用作坐标使所述先前收集的数据点至坐标系的映射,所述推断的反射率值根据映射至所述坐标系的所述一组先前收集的数据点中的至少两个先前收集的数据点被插值,所述两个先前收集的数据点中的每个对应于多个已知反射率值之一;以及
基于所述推断的反射率值来确定所述对象的一个或更多个特性;以及
包括一个或更多个处理器的运动计划系统,所述运动计划系统基于所述对象的所述一个或更多个特性来确定用于自主交通工具的运动计划,所述运动计划被用来控制所述自主交通工具的运动。
2.根据权利要求1所述的自主交通工具计算系统,其中,所述对象的所述推断的反射率值的确定包括:
将所述输入数据点映射至所述坐标系;
识别映射至所述坐标系的所述输入数据点的两个或更多个最近邻居,所述两个或更多个最近邻居包括所述至少两个先前收集的数据点;以及
根据所述两个或更多个最近邻居来插值所述反射率值。
3.根据权利要求1所述的自主交通工具计算系统,其中:
所述反射率推断模型包括查找表,所述查找表包括根据映射至所述坐标系的所述一组先前收集的数据点插值的多个反射率值,每个反射率值对应于测距值和原始强度值的特定组合;并且
所述对象的所述推断的反射率值的确定包括:
访问所述查找表;以及
基于所述输入数据点的原始强度值和测距值从所述查找表确定所述推断的反射率值。
4.根据权利要求1所述的自主交通工具计算系统,其中:
所述光检测和测距单元包括多个通道,每个通道能够在多个功率水平下操作;
所述反射率推断模型包括所述先前收集的数据点至所述坐标系的多个映射,所述映射中的每个对应于所述光检测和测距单元的特定通道的特定功率水平;并且
所述对象的所述推断的反射率值的确定包括基于所述光检测和测距单元的输出所述输入数据点的通道和所述通道的功率水平从所述多个映射中选择所述一组先前收集的数据点的所述映射。
5.根据权利要求1所述的自主交通工具计算系统,其中,所述操作还包括生成描述所述对象的状态数据,所述状态数据至少包括所述推断的反射率值。
6.根据权利要求1所述的自主交通工具计算系统,其中,所述操作还包括:
生成反射率地图,所述反射率地图包括所述对象的所述推断的反射率值的指示;以及
基于所述反射率地图执行交通工具定位。
7.根据权利要求1所述的自主交通工具计算系统,其中,所述操作还包括:
收集包括由所述光检测和测距单元输出的数据点的数据组,所述数据点中的每个对应于多个目标之一,每个目标具有所述多个已知反射率值之一,所述数据组对应于所述一组先前收集的数据点;以及
基于所述数据组来生成用于所述光检测和测距单元的所述反射率推断模型,所述反射率推断模型的生成包括将所述一组先前收集的数据点映射至所述坐标系。
8.一种光检测和测距校准系统,包括:
机器的一个或更多个处理器;以及
存储指令的机器存储介质,所述指令在由所述一个或更多个处理器执行时使所述机器执行包括以下的操作:
收集包括由光检测和测距单元输出的多个数据点的数据组,所述数据点中的每个对应于多个目标之一,每个目标具有已知的反射率值,所述光检测和测距单元的每个通道能够在多个功率水平下操作,所述数据组的收集包括收集由每个通道在每个功率水平下输出的数据点;以及
基于所述数据组来生成用于所述光检测和测距单元的反射率推断模型,所述反射率推断模型的生成包括将每个数据点的测距值和原始强度值用作坐标使所述多个数据点映射至坐标系,所述反射率推断模型能够操作以根据由所述光检测和测距单元输出的输入数据点推断反射率值,所述反射率推断模型的生成包括生成所述多个数据点至所述坐标系的多个映射,每个映射对应于特定通道的特定功率水平。
9.根据权利要求8所述的光检测和测距校准系统,其中:
所述反射率推断模型的生成还包括生成查找表,所述查找表包括根据映射至所述坐标系的所述多个数据点插值的多个反射率值,
每个反射率值对应于测距值和原始强度值的特定组合。
10.根据权利要求9所述的光检测和测距校准系统,其中,所述操作还包括:
压缩所述查找表以生成压缩的查找表;以及
将所述压缩的查找表存储在交通工具计算系统的存储器设备中。
11.一种方法,包括:
通过至少包括第一硬件处理器的光检测和测距校准系统来收集包括由自主交通工具的光检测和测距单元输出的多个数据点的数据组,所述数据点中的每个对应于多个目标之一,每个目标具有已知的反射率值;
通过所述光检测和测距校准系统基于所述数据组来生成用于所述光检测和测距单元的反射率推断模型,所述反射率推断模型的生成包括将每个数据点的测距值和原始强度值用作坐标使所述多个数据点映射至坐标系;
通过至少包括第二硬件处理器的交通工具计算系统的反射率推断系统,在所述自主交通工具的操作期间访问由所述光检测和测距单元输出的输入数据点;
通过所述反射率推断系统并使用所述反射率推断模型基于所述输入数据点来确定对象的推断的反射率值,所述推断的反射率值根据映射至所述坐标系的至少两个数据点被插值;以及
通过所述交通工具计算系统的运动计划系统基于所述推断的反射率值来确定用于所述自主交通工具的运动计划,所述自主交通工具的所述运动计划被用来控制所述自主交通工具的运动。
12.根据权利要求11所述的方法,其中,所述对象的所述推断的反射率值的确定包括:
将所述输入数据点映射至所述坐标系;
识别映射至所述坐标系的所述输入数据点的两个或更多个最近邻居,所述两个或更多个最近邻居包括所述至少两个数据点;以及
根据所述两个或更多个最近邻居来插值所述推断的反射率值。
13.根据权利要求11所述的方法,其中:
所述反射率推断模型的生成还包括:
生成查找表,所述查找表包括根据映射至所述坐标系的所述多个数据点插值的多个反射率值,每个反射率值对应于测距值和原始强度值的特定组合;并且
所述对象的所述推断的反射率值的确定包括:
通过所述交通工具计算系统从所述交通工具计算系统的存储器设备访问所述查找表;以及
通过所述交通工具计算系统基于所述输入数据点的测距值和原始强度值从所述查找表中确定所述推断的反射率值。
14.根据权利要求11所述的方法,其中:
所述数据组的收集包括收集由所述光检测和测距单元的每个通道输出的数据点;并且
所述反射率推断模型的生成包括针对每个通道生成数据点至所述坐标系的映射。
15.根据权利要求14所述的方法,其中:
所述光检测和测距单元的每个通道能够在多个功率水平下操作;
由所述光检测和测距单元的每个通道输出的所述数据点的收集包括收集由每个通道在每个功率水平下输出的数据点;并且
所述反射率推断模型的生成包括生成所述数据点至所述坐标系的多个映射,每个映射对应于特定通道的特定功率水平。
16.根据权利要求15所述的方法,其中:
所述对象的所述推断的反射率值的确定包括基于所述光检测和测距单元的输出所述输入数据点的通道和所述通道的功率水平来从所述多个映射中选择映射。
17.根据权利要求11所述的方法,其中,所述数据组的收集包括:
布置多个目标,所述目标中的每个具有已知的反射率;以及
收集与每个目标对应的至少一个数据点。
18.根据权利要求17所述的方法,其中,所述操作还包括:
将所述光检测和测距单元安装在万向节上;以及
使用所述万向节使所述光检测和测距单元定位于多个角度;并且
其中,与每个目标对应的所述至少一个数据点的收集包括在所述多个角度中的每个角度处收集与每个目标对应的至少一个数据点。
CN201910701809.XA 2018-07-31 2019-07-31 自主交通工具计算系统、光检测和测距校准系统及其方法 Active CN110888146B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862712479P 2018-07-31 2018-07-31
US62/712,479 2018-07-31
US16/166,950 2018-10-22
US16/166,950 US10598791B2 (en) 2018-07-31 2018-10-22 Object detection based on Lidar intensity

Publications (2)

Publication Number Publication Date
CN110888146A true CN110888146A (zh) 2020-03-17
CN110888146B CN110888146B (zh) 2022-05-31

Family

ID=67514419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910701809.XA Active CN110888146B (zh) 2018-07-31 2019-07-31 自主交通工具计算系统、光检测和测距校准系统及其方法

Country Status (7)

Country Link
US (1) US10598791B2 (zh)
EP (1) EP3605137A1 (zh)
JP (1) JP6676814B2 (zh)
CN (1) CN110888146B (zh)
AU (1) AU2019210587B2 (zh)
CA (1) CA3050586A1 (zh)
SG (1) SG10201907051SA (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112666566A (zh) * 2021-01-14 2021-04-16 深圳市杉川机器人有限公司 激光雷达测距方法、装置、电子设备及存储介质
WO2021195831A1 (zh) * 2020-03-30 2021-10-07 深圳市大疆创新科技有限公司 反射率的实时测量方法、装置、可移动平台和计算机可读存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
US20210325520A1 (en) * 2020-04-17 2021-10-21 Velodyne Lidar, Inc. Systems and Methods for Calibrating a LIDAR Device
CN112558047A (zh) * 2020-12-22 2021-03-26 中国第一汽车股份有限公司 一种反射率标定系统、数据处理方法、设备和存储介质
CN113189980B (zh) * 2021-04-07 2024-04-16 惠州拓邦电气技术有限公司 充电桩反光强度过滤方法、装置及充电机器人
KR102616439B1 (ko) * 2022-10-27 2023-12-21 주식회사 모빌테크 이웃점을 통한 노이즈 필터링 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN116660873B (zh) * 2023-08-01 2023-11-03 佛山市兴颂机器人科技有限公司 一种激光传感器的精度补偿方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034155A (zh) * 2006-03-07 2007-09-12 徕卡测量系统股份有限公司 提高飞行时间测量设备的测量速率
US20140152971A1 (en) * 2012-12-05 2014-06-05 Toyota Motor Engineering & Manufacturing North America, Inc. (Tema) Method and apparatus for intensity calibration of multi-beam lidar sensors
CN104203702A (zh) * 2012-03-23 2014-12-10 谷歌公司 检测车道标记
US9080866B1 (en) * 2013-06-26 2015-07-14 Google Inc. Methods and systems for detection of reflective markers at long range
CN105518480A (zh) * 2013-06-14 2016-04-20 微软技术许可有限责任公司 使用查找表进行深度图纠正

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983817B2 (en) * 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
US8050863B2 (en) * 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
EP2291677B1 (en) * 2008-04-18 2014-01-01 BAE Systems PLC Improvements in lidars
JP5649298B2 (ja) 2009-11-05 2015-01-07 三菱重工業株式会社 対象物検出装置および対象物検出方法
JP6338369B2 (ja) 2013-12-26 2018-06-06 キヤノン株式会社 情報処理装置および情報処理方法
US9098754B1 (en) 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
US9625582B2 (en) 2015-03-25 2017-04-18 Google Inc. Vehicle with multiple light detection and ranging devices (LIDARs)
US9910441B2 (en) 2015-11-04 2018-03-06 Zoox, Inc. Adaptive autonomous vehicle planner logic
US10582121B2 (en) 2016-01-12 2020-03-03 Mitsubishi Electric Research Laboratories, Inc. System and method for fusing outputs of sensors having different resolutions
US10145945B2 (en) 2017-01-11 2018-12-04 Toyota Research Institute, Inc. Systems and methods for automatically calibrating a LIDAR using information from a secondary vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034155A (zh) * 2006-03-07 2007-09-12 徕卡测量系统股份有限公司 提高飞行时间测量设备的测量速率
CN104203702A (zh) * 2012-03-23 2014-12-10 谷歌公司 检测车道标记
US20140152971A1 (en) * 2012-12-05 2014-06-05 Toyota Motor Engineering & Manufacturing North America, Inc. (Tema) Method and apparatus for intensity calibration of multi-beam lidar sensors
CN105518480A (zh) * 2013-06-14 2016-04-20 微软技术许可有限责任公司 使用查找表进行深度图纠正
US9080866B1 (en) * 2013-06-26 2015-07-14 Google Inc. Methods and systems for detection of reflective markers at long range

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021195831A1 (zh) * 2020-03-30 2021-10-07 深圳市大疆创新科技有限公司 反射率的实时测量方法、装置、可移动平台和计算机可读存储介质
CN112666566A (zh) * 2021-01-14 2021-04-16 深圳市杉川机器人有限公司 激光雷达测距方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
SG10201907051SA (en) 2020-02-27
JP6676814B2 (ja) 2020-04-08
EP3605137A1 (en) 2020-02-05
AU2019210587B2 (en) 2020-04-23
US10598791B2 (en) 2020-03-24
CN110888146B (zh) 2022-05-31
CA3050586A1 (en) 2019-10-02
AU2019210587A1 (en) 2020-02-20
JP2020020793A (ja) 2020-02-06
US20200041652A1 (en) 2020-02-06

Similar Documents

Publication Publication Date Title
CN110888146B (zh) 自主交通工具计算系统、光检测和测距校准系统及其方法
US11960028B2 (en) Determining specular reflectivity characteristics using LiDAR
US11726191B2 (en) Lidar intensity calibration
US11543535B2 (en) Lidar fault detection system
US20230213631A1 (en) LIDAR System Design to Mitigate LIDAR Cross-Talk
US11668573B2 (en) Map selection for vehicle pose system
US11971536B2 (en) Dynamic matrix filter for vehicle image sensor
US20220121219A1 (en) Methods and Systems for Configuring Vehicle Communications
US20220404500A1 (en) Online lidar intensity normalization
CN112740077B (zh) 用以减轻激光雷达串扰的激光雷达系统设计

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40025726

Country of ref document: HK

TA01 Transfer of patent application right

Effective date of registration: 20210129

Address after: California, USA

Applicant after: Uatc Co.,Ltd.

Address before: California, USA

Applicant before: Uber Technologies, Inc.

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Pennsylvania, USA

Patentee after: Uatc Co.,Ltd.

Country or region after: U.S.A.

Address before: California, USA

Patentee before: Uatc Co.,Ltd.

Country or region before: U.S.A.

CP03 Change of name, title or address
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240430

Address after: Pennsylvania, USA

Patentee after: Aurora operations

Country or region after: U.S.A.

Address before: Pennsylvania, USA

Patentee before: Uatc Co.,Ltd.

Country or region before: U.S.A.