CN112313133A - 基于附加车辆的所确定的横摆参数控制自动驾驶车辆 - Google Patents

基于附加车辆的所确定的横摆参数控制自动驾驶车辆 Download PDF

Info

Publication number
CN112313133A
CN112313133A CN201980024410.0A CN201980024410A CN112313133A CN 112313133 A CN112313133 A CN 112313133A CN 201980024410 A CN201980024410 A CN 201980024410A CN 112313133 A CN112313133 A CN 112313133A
Authority
CN
China
Prior art keywords
vehicle
yaw
additional
determining
lidar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980024410.0A
Other languages
English (en)
Other versions
CN112313133B (zh
Inventor
沃伦·史密斯
伊桑·伊德
斯特林·J·安德森
詹姆斯·安德鲁·巴格尼尔
巴托洛梅乌斯·C·纳本
克里斯多佛·保罗·厄姆森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aurora Innovation Opco
Original Assignee
Aurora Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aurora Innovation Inc filed Critical Aurora Innovation Inc
Publication of CN112313133A publication Critical patent/CN112313133A/zh
Application granted granted Critical
Publication of CN112313133B publication Critical patent/CN112313133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/114Yaw movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/34Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50Systems of measurement based on relative movement of target
    • G01S17/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/247Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/80Arrangements for reacting to or preventing system or operator failure
    • G05D1/81Handing over between on-board automatic and on-board manual control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/14Yaw
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4041Position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/803Relative lateral speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2754/00Output or target parameters relating to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

确定附加于正被自主控制的车辆的附加车辆的横摆参数(例如,至少一个横摆率),并基于所述附加车辆的所确定的横摆参数适配所述车辆的自主控制。例如,可以基于所述附加车辆的所确定的横摆率适配所述车辆的自主转向、加速和/或减速。在许多实施方式中,所述附加车辆的所述横摆参数基于来自所述车辆的相位相干光检测和测距(LIDAR)组件(诸如相位相干LIDAR单脉冲组件和/或频率调制连续波(FMCW)LIDAR组件)的数据来确定。

Description

基于附加车辆的所确定的横摆参数控制自动驾驶车辆
背景技术
随着计算技术和车辆技术继续演进,自主相关特征已变得更强大且广泛可用,并且能够在各种各样的情况下控制车辆。对于汽车,例如,汽车工程师协会(SAE)已建立了标准(J3016),该标准标识从“无自动驾驶”到“完全自动驾驶”的六个驾驶自动驾驶级别。SAE标准将级别0定义为即便当由警告或干预系统增强时人类驾驶员也对动态驾驶任务的所有方面进行完全执行的“无自动驾驶”。级别1被定义为其中车辆在至少一些驾驶模式下控制转向或加速/减速(而不是两者)从而让操作者执行动态驾驶任务的所有剩余方面的“驾驶员辅助”。级别2被定义为其中车辆在至少一些驾驶模式下控制转向和加速/减速从而让操作者执行动态驾驶任务的所有剩余方面的“部分自动驾驶”。级别3被定义为其中对于至少一些驾驶模式自动驾驶系统执行动态驾驶任务的所有方面同时期望人类驾驶员会适当地对干预请求做出响应的“有条件自动驾驶”。级别4被定义为其中对于仅某些条件即使人类驾驶员未适当地对干预要求做出响应自动驾驶系统也执行动态驾驶任务的所有方面的“高度自动驾驶”。级别4的某些条件可以是例如某些类型的道路(例如,高速公路)和/或某些地理区域(例如,已被适当地绘制的领域范围大都市区域)。最后,级别5被定义为其中车辆能够在所有条件下在没有操作者输入的情况下操作的“完全自动驾驶”。
任何自主相关技术的基本挑战涉及收集并解释关于车辆周围环境的信息,以及规划并执行命令以适当地控制车辆运动以将车辆安全地导航通过其当前环境。因此,人们一直在努力改进这些方面中的每个方面,并且通过这样做,自动驾驶车辆日益能够在日益复杂的环境中可靠地操作并且适配环境内的预期交互和意外交互两者。
发明内容
在一些实施方式中,提供了一种基于附加车辆的所确定的横摆参数而适配自动驾驶车辆的自主控制的方法。该方法包括从车辆的相位相干光检测和测距(LIDAR)组件接收相位相干LIDAR组件的感测周期的相位相干LIDAR数据点的组。该组的相位相干LIDAR数据点中的每个指示环境中的对应点的对应范围(range)和对应速度,并且该组的相位相干LIDAR数据点中的每个基于相位相干LIDAR组件在感测周期期间的对应感测事件来生成。该方法进一步包括确定该组的相位相干LIDAR数据点的子组对应于除车辆之外的附加车辆。该方法进一步包括基于确定子组对应于附加车辆,基于子组中的多个相位相干LIDAR数据点来确定附加车辆的横摆参数。该方法进一步包括基于附加车辆的所确定的横摆参数来适配车辆的自主控制。
本文描述的技术的这些和其它实施方式能够包括以下特征中的一个或多个。
在一些实施方式中,确定该组的相位相干LIDAR数据点的子组对应于附加车辆包括:使用经训练的机器学习模型处理该组的相位相干LIDAR数据点;基于使用经训练的机器学习模型对该组的相位相干LIDAR数据点的处理,生成指示子组具有车辆分类的输出;以及基于指示子组具有车辆分类的输出,确定子组对应于附加车辆。
在一些实施例中,基于子组中的多个相位相干LIDAR数据点确定附加车辆的横摆参数包括:确定子组的多个相位相干LIDAR数据点中的一个或多个的第一集合;基于子组的多个相位相干LIDAR数据点中的一个或多个的第二集合在空间上与第一集合的偏移,确定该第二集合;以及基于第一集合与第二集合的比较确定横摆参数。在那些实施方式的一些版本中,确定第一集合和第二集合相对于彼此在空间上偏移至少部分地基于由第一集合和第二集合指示的对应范围。在那些实施方式的一些附加或可替代版本中,基于第一集合与第二集合的比较来确定附加车辆的横摆参数包括:基于第一集合的第一设定速度量值与第二集合的第二设定速度量值的比较来确定横摆参数。第一设定速度量值基于第一集合的对应速度,而第二设定速度量值基于第二集合的对应速度。在各种实施方式中,附加车辆的横摆参数可以包括附加车辆的横摆率,并且基于第一集合与第二集合的比较来确定附加车辆的横摆参数可以进一步包括:基于第一集合和第二集合之间的空间偏移来确定距离;和基于第一设定速度量值与第二设定速度量值的比较以及距离来确定横摆率。基于第一设定速度量值和第二设定速度量值的比较以及距离来确定横摆率可以包括:基于第一设定速度量值和第二设定速度量值的比较来确定第一设定速度量值和第二设定速度量值之间的速度差;和基于距离将速度差转换成横摆率。在各种实施方式中,附加车辆的横摆参数可以是附加车辆的下限横摆率,并且该方法可以进一步包括确定附加车辆的附加横摆参数,该附加横摆参数是上限横摆率并且基于第一集合与第二集合之间的比较来确定。例如,该方法可以进一步包括基于第一设定速度量值与第二设定速度量值的比较来确定第一设定速度量值和第二设定速度量值之间的速度差,并且确定下限横摆率可以包括将速度差除以距离,并且确定上限横摆率可以包括将速度差除以下述值:该值基于距离,但是该值的量值相对于距离减小。在确定相位相干LIDAR数据点的第一集合和第二集合的各种实施方式中,第一集合包括多个相位相干LIDAR数据点中的多个,并且第一设定速度量值基于多个相位相干LIDAR数据点中的多个的对应速度来确定。例如,第一设定速度量值可以基于多个相位相干LIDAR数据点中的多个的对应速度的平均值。在其中横摆参数包括横摆率并且其中确定附加车辆的横摆参数基于第一集合与第二集合的比较的各种实施方式中,确定横摆参数包括:基于第一设定速度量值与第二设定速度量值的比较来确定速度差;识别附加车辆的存储模型;以及基于附加车辆的存储模型将速度差转换成横摆率。第一设定速度量值可以基于第一集合的对应速度,而第二设定速度量值可以基于第二集合的对应速度。在那些各种实施方式中的一些中,识别附加车辆的存储模型包括基于子组的相位相干LIDAR数据点,从多个候选存储模型中选择存储模型。
在各种实施方式中,横摆参数包括横摆率和横摆方向。在那些实施方式中的一些中,基于子组的多个相位相干LIDAR数据点来确定附加车辆的横摆参数包括:使用经训练的机器学习模型来处理子组的多个相位相干LIDAR数据点;基于使用经训练的机器学习模型对该组的相位相干LIDAR数据点的处理,生成指示横摆率的输出;以及基于该输出来确定横摆率和横摆方向。在那些实施方式的一些版本中,使用经训练的机器学习模型来处理子组的多个相位相干LIDAR数据点包括使用经训练的机器学习模型来处理子组的所有相位相干LIDAR数据点。
在一些实施方式中,附加车辆的横摆参数是指示横摆率的速度差。在那些实施方式中的一些中,基于附加车辆的所确定的横摆参数适配车辆的自主控制包括基于速度差超过阈值来适配自主控制。
在一些实施方式中,基于附加车辆的所确定的横摆参数适配车辆的自主控制包括改变车辆的速度和/或车辆的方向。在那些实施方式中的一些中,横摆参数是横摆率,并且基于附加车辆的所确定的横摆率适配车辆的自主控制响应于确定所确定的横摆率满足阈值。
在一些实施方式中,基于附加车辆的所确定的横摆参数适配车辆的自主控制包括:基于所确定的横摆参数确定附加车辆的至少一个候选轨迹;和基于至少一个候选轨迹适配车辆的自主控制。
在一些实施方式中,该组相位相干LIDAR数据点包括三维点云。
在一些实施方式中,相位相干LIDAR组件是相位相干LIDAR单脉冲组件。在那些实施方式中的一些中,相位相干LIDAR组件的对应感测事件均包括在相位相干LIDAR单脉冲组件的第一接收器处的第一接收器感测事件以及在相位相干LIDAR单脉冲组件的第二接收器处的第二接收器感测事件。在那些实施方式的一些版本中,相位相干LIDAR组件的对应感测事件进一步包括在相位相干LIDAR单脉冲组件的第三接收器处的第三接收器感测事件。
在一些实施方式中,相位相干LIDAR组件是调频连续波(FMCW)LIDAR组件。
在一些实施方式中,提供了一种基于附加车辆的所确定的横摆率适配自动驾驶车辆的自主控制的方法,并且该方法包括从车辆的相位相干LIDAR组件接收捕获车辆的环境的相位相干LIDAR数据。对于车辆的环境中的多个点中的每个点,相位相干LIDAR数据指示基于相位相干LIDAR组件的对应感测事件的至少一个对应范围和至少一个对应速度。该方法进一步包括确定相位相干LIDAR数据的子组对应于处于环境中、除车辆之外的附加车辆。该方法进一步包括确定附加车辆的横摆率以及基于附加车辆的所确定的横摆率适配车辆的自主控制。确定附加车辆的横摆率基于由子组的相位相干LIDAR数据指示的多个对应速度。
本文描述的技术的这些和其它实施方式能够包括以下特征中的一个或多个。
在一些实施方式中,确定相位相干LIDAR数据的子组对应于附加车辆包括:使用经训练的机器学习模型处理相位相干LIDAR数据;基于使用经训练的机器学习模型处理相位相干LIDAR数据生成指示子组具有车辆分类的输出;以及基于指示子组具有车辆分类的输出选择子组。
在一些实施方式中,确定附加车辆的横摆率包括:基于子组的相位相干LIDAR数据指示的多个对应速度确定速度梯度;并且基于速度梯度确定横摆率。
在一些实施方式中,基于附加车辆的所确定的横摆率适配车辆的自主控制包括改变车辆的速度以及车辆的方向其中之一或两者。
在一些实施方式中,相位相干LIDAR数据包括:距离多普勒图像、三维点云和/或中频波形。中频波形可以基于本地光学振荡器在对应的感测事件期间与时间延迟反射的混合来生成。
在一些实施方式中,相位相干LIDAR组件是至少包括第一相干接收器和第二相干接收器的相位相干LIDAR单脉冲组件。在那些实施方式中的一些中,相位相干LIDAR组件的对应感测事件每个都包括相位相干LIDAR单脉冲组件的第一相干接收器处的第一接收器感测事件以及相位相干LIDAR单脉冲组件的第二相干接收器处的第二接收器感测事件(以及可选的进一步接收器处的进一步接收器感测事件)。
在一些实施方式中,相位相干LIDAR组件是FMCW LIDAR组件。
在一些实施方式中,提供了一种基于附加车辆的所确定的横摆参数适配自动驾驶车辆的自主控制的方法,并且该方法包括从车辆的相位相干LIDAR单脉冲组件接收捕获车辆的环境的相位相干LIDAR单脉冲数据。相位相干LIDAR单脉冲组件包括激光源以及至少第一相干接收器和第二相干接收器。对于车辆的环境中的多个点中的每个点,相位相干LIDAR单脉冲数据都指示基于相位相干LIDAR单脉冲组件的对应感测事件的至少一个对应范围和至少一个对应速度。相位相干LIDAR组件的对应感测事件每个都包括通过第一接收器进行的第一接收器感测事件和通过第二接收器进行的第二接收器感测事件。该方法进一步包括基于由相位相干LIDAR单脉冲数据指示的多个对应速度确定车辆的环境中的附加车辆的横摆参数。该方法进一步包括基于附加车辆的所确定的横摆参数适配车辆的自主控制。
本文公开的技术的这些和其他实施方式可以可选地包括一个或多个下列特征。
在一些实施方式中,基于相位相干LIDAR单脉冲数据确定附加车辆的横摆参数包括:确定相位相干LIDAR单脉冲数据的第一集合;基于相位相干LIDAR单脉冲数据的第二集合在空间上与第一集合的偏移确定该第二集合;以及基于第一设定速度和第二设定速度确定横摆参数。第一设定速度基于第一集合的至少一个对应速度,第二设定速度基于第二集合的至少一个对应速度。在那些实施方式中的一些中,附加车辆的横摆参数包括附加车辆的横摆率。在那些实施方式的一些版本中,基于第一设定速度与第二设定速度的比较确定附加车辆的横摆参数进一步包括:基于第一集合与第二集合之间的空间偏移确定距离;和根据第一设定速度、第二设定速度以及距离确定横摆率。在那些版本中的一些中,根据第一设定速度、第二设定速度和距离确定横摆率包括:确定第一设定速度与第二设定速度之间的速度差;和基于距离将速度差转换成横摆率。
在一些实施方式中,横摆参数包括横摆率,并且基于由相位相干LIDAR单脉冲数据指示的多个对应速度确定横摆参数包括:识别附加车辆的存储模型;和基于多个对应速度并且基于附加车辆的存储模型确定横摆率。在那些实施方式中的一些中,基于多个对应速度并基于附加车辆的存储模型确定横摆率包括:基于多个对应速度确定速度差;和基于附加车辆的存储模型将速度差转换成横摆率。
在一些实施方式中,横摆参数包括横摆率,并且基于相位相干LIDAR单脉冲数据确定附加车辆的横摆参数包括:使用经训练的机器学习模型处理相位相干LIDAR单脉冲数据的至少一部分;基于使用经训练的机器学习模型处理相位相干LIDAR单脉冲数据的至少一部分来生成指示横摆率的输出;以及基于输出确定横摆率。
在一些实施方式中,相位相干LIDAR组件是FMCW LIDAR组件。
在一些实施方式中,提供了一种方法,包括从车辆的相位相干LIDAR组件接收捕获车辆的环境的相位相干LIDAR数据。对于车辆的环境中的多个点中的每个点,相位相干LIDAR数据都指示基于相位相干LIDAR组件的对应感测事件的至少一个对应范围和至少一个对应速度。该方法进一步包括确定相位相干LIDAR数据的子组对应于处于环境中并附加于车辆的附加车辆。该方法进一步包括基于由子组的相位相干LIDAR数据指示的多个对应速度,确定附加车辆的横摆参数。该方法进一步包括向车辆的至少一个子系统(诸如车辆的规划子系统和/或控制子系统)提供所确定的横摆参数。
在一些实施方式中,提供了一种方法,该方法包括从车辆的相位相干组件接收相位相干LIDAR数据,该相位相干LIDAR数据捕获车辆的环境并且对于车辆的环境中的多个点中的每个点都指示基于相位相干LIDAR组件的对应感测事件的至少一个对应范围和至少一个对应速度。该方法进一步包括基于由相位相干LIDAR数据指示的多个对应速度,确定处于车辆的环境中的附加车辆的横摆参数。该方法进一步包括向车辆的至少一个子系统(诸如车辆的规划子系统和/或控制子系统)提供所确定的横摆参数。
上述两个实施方式,以及本文公开的技术的其他实施方式可以包括一个或多个下列特征。
在一些实施方式中,横摆参数包括横摆率,并且基于相位相干LIDAR数据确定附加车辆的横摆参数包括使用经训练的机器学习模型处理相位相干LIDAR数据的至少一部分;基于使用经训练的机器学习模型处理相位相干LIDAR数据的至少一部分来生成指示横摆率的输出;以及基于输出确定横摆率。
在一些实施方式中,相位相干LIDAR组件是相位相干单脉冲组件,并且相位相干LIDAR数据是相位相干LIDAR单脉冲数据。在一些附加或可替代实施方式中,相位相干LIDAR组件是FMCW LIDAR组件。
在一些实施方式中,提供了一种训练机器学习模型的方法。该机器学习模型将用于至少一辆自动驾驶车辆的自主控制,并且该方法包括生成多个训练实例。生成每个训练实例包括:基于来自对应自动驾驶车辆的视觉组件的视觉数据的对应实例,生成训练实例的训练实例输入;并且基于附加车辆数据的对应实例生成训练实例的监督训练实例输出,该附加车辆数据的对应实例基于由视觉数据的对应实例捕获的对应附加车辆的一个或多个传感器。附加车辆数据的对应实例指示对应附加车辆的至少一个动态特性的对应当前状态。附加车辆数据的对应实例用于基于确定附加车辆数据的对应实例在时间上对应于视觉数据的对应实例来生成监督训练实例输出。该方法进一步包括基于多个训练实例来训练机器学习模型,以及提供经训练的机器学习模型以用于控制至少一辆自动驾驶车辆。
本文公开的技术的这些和其他实施方式可以可选地包括一个或多个下列特征。
在一些实施方式中,视觉数据的对应实例是光检测和测距(LIDAR)数据,视觉组件是LIDAR组件。在那些实施方式中的一些中,LIDAR组件是相位相干LIDAR组件,并且LIDAR数据包括相位相干LIDAR组件的感测周期的一组LIDAR数据点。该组的LIDAR数据点中的每个都指示环境中的对应点的对应范围和对应速度,并且每个都基于感测周期的对应感测事件来生成。
在一些实施方式中,训练实例的监督训练实例输出进一步包括限制区域的指示,限制区域限制了捕获对应附加车辆的视觉数据的一部分。
在一些实施方式中,训练机器学习模型包括:使用机器学习模型处理训练实例的训练实例输入,以生成预测输出;基于预测输出和训练实例的监督训练实例输出生成损失;并基于所生成的损失来更新机器学习模型。
在一些实施方式中,附加车辆数据的实例包括一个或多个横摆参数,并且对应附加车辆的一个或多个传感器至少包括横摆率传感器。在那些实施方式中的一些中,附加车辆数据基于对对应附加车辆的控制器局域网的监控来确定。
在一些实施方式中,附加车辆数据的实例包括对应附加车辆的速度和加速度其中之一或两者。
在一些实施方式中,附加车辆数据的实例包括横摆参数以及速度和加速度其中之一或两者。
在一些实施方式中,该方法进一步包括:由至少一个自动驾驶车辆的给定自动驾驶车辆的至少一个处理器使用经训练的机器学习模型来处理(由给定自动驾驶车辆的给定视觉组件捕获的)给定视觉数据;基于处理,生成由给定视觉数据捕获的给定附加车辆的预测状态;以及基于预测状态控制给定自动驾驶车辆。在那些实施方式中的一些中,给定视觉数据是在视觉组件的感测周期期间捕获的视觉数据的子组,并且该方法进一步包括基于确定子组对应于给定附加车辆来生成视觉数据的子组。在那些实施方式的一些版本中,确定子组对应于给定附加车辆包括:使用附加对象检测和分类模型处理视觉数据;和基于根据使用附加对象检测和分类模型处理视觉数据而生成的输出来确定子组对应于给定附加车辆。
在一些实施方式中,提供了一种使用经训练的机器学习模型控制自动驾驶车辆的方法。该方法由自动驾驶车辆的一个或多个处理器实现,该方法包括使用经训练的机器学习模型来处理给定视觉数据,其中,给定视觉数据被自动驾驶车辆的视觉组件捕获。该方法进一步包括基于处理,生成由给定视觉数据捕获的给定附加车辆的至少一个动态特性的预测状态。该方法进一步包括基于预测状态控制自动驾驶车辆。经训练的机器学习模型基于多个训练实例来训练,这些训练实例每个都包括:基于来自对应的自动驾驶车辆的视觉组件的视觉数据的对应实例的训练实例输入;和基于附加车辆数据的对应实例的监督训练实例输出,附加车辆数据的对应实例基于由视觉数据的对应实例捕获的对应附加车辆的一个或多个传感器。
本文公开的技术的这些和其他实施方式可以包括一个或多个下列特征。
在一些实施方式中,给定视觉数据是在视觉组件的感测周期期间捕获的视觉数据的子组,并且该方法进一步包括基于确定子组对应于给定附加车辆生成视觉数据的子组。在那些实施方式中的一些中,确定子组对应于给定附加车辆包括:使用附加对象检测和分类模型处理视觉数据;并且基于根据使用附加对象检测和分类模型处理视觉数据而生成的输出来确定子组对应于给定附加车辆。
在一些实施方式中,控制自动驾驶车辆包括控制自动驾驶车辆的速率和/或方向。
在一些实施方式中,至少一个特性包括附加车辆的横摆率和/或横摆方向。
在一些实施方式中,至少一个特性包括附加车辆的速度和/或加速度。
在一些实施方式中,至少一个特性包括附加车辆的横摆参数、速度和/或加速度。
此外,一些实施方式包括一种具有一个或多个处理器的自动驾驶车辆,所述一个或多个处理器可操作来执行存储在相关存储器中的指令,并且其中指令被配置成使得执行本文描述的方法中的任一种。一些实施方式附加地或替换地包括一种或多种非暂时性计算机可读存储介质,所述非暂时性计算机可读存储介质存储可由一个或多个处理器执行以执行本文描述的方法中的任一种的计算机指令。
应该领会,在本文中更详细地描述的前述构思和附加构思的所有组合被设想为是本文公开的主题的一部分。例如,在本公开的结尾处出现的要求保护的主题的所有组合被设想为是本文公开的主题的一部分。
附图说明
图1图示能够在其中实现本文公开的实施方式的示例环境。
图2A示意性地图示图1的FMCW LIDAR组件的实施方式。
图2B示意性地图示图1的FMCW LIDAR组件的另一实施方式。
图3图示示例附加车辆连同附加车辆的横摆轴线、俯仰轴线和滚转轴线。
图4是图示基于附加车辆的所确定的横摆参数适配对车辆的自主控制的实施方式的框图。
图5、图6、图7以及图8均图示其中环境包括附加车辆的车辆的示例环境,并且每个还图示可以与该环境中的附加车辆相对应的一些FMCW LIDAR数据点的示例。
图9图示如何能够基于所确定的横摆参数来确定附加车辆的候选轨迹以及如何能够基于附加车辆的候选轨迹来适配车辆的自主控制的示例。
图10是图示确定横摆参数并基于所确定的横摆参数来控制自动驾驶车辆的示例性方法的流程图。
图11是图示确定横摆参数并基于所确定的横摆参数来控制自动驾驶车辆的另一示例性方法的流程图。
图12是图示训练可用于基于FMCW LIDAR数据来确定横摆率的机器学习模型的示例方法的流程图。
具体实施方式
在对车辆的各种级别的自主控制(例如,上述SAE级别1-5中的任何一个)中,有必要确定所谓的自我车辆(即,该车辆被自动控制)的各种参数——并基于自动驾驶车辆自身的各种确定的参数适配对自我车辆的自主控制。这样的参数之一是自我车辆的横摆率。车辆的横摆率是车辆绕车辆的横摆轴线旋转的角速度,通常以弧度/秒或度/秒为单位。例如,可以基于来自自我车辆的横摆率传感器的输出来确定自我车辆的横摆率,该横摆率传感器诸如为测量自我车辆的科里奥利力的压电或微机械传感器。自我车辆的横摆率已经被用于各种车辆控制技术(诸如自我车辆的电子稳定性控制(ESC))中。在ESC中,来自横摆率传感器和其他传感器的输出可以用于适配例如对防抱死制动系统(ABS)的控制,由此减轻自我车辆的牵引力损失/打滑。
在自我车辆(为了简单起见,在下文中也称为“车辆”)的各种级别的自主控制中,还期望和/或有必要确定处于自我车辆环境中并附加于自我车辆的附加车辆的各种参数。例如,可能有必要确定附加车辆相对于车辆的姿态(位置以及可选地定向),并确定附加车辆正相对于车辆如何移动。例如,当确定附加车辆的姿态和移动可能导致如果车辆在其当前有意轨迹上继续行驶,附加车辆太靠近车辆时,则可能需要车辆的自主回避制动和/或自主回避转向。
本文公开的实施方式主要涉及确定附加车辆的横摆参数,并且基于附加车辆的所确定的横摆参数来适配对车辆的自主控制。例如,可以基于附加车辆的所确定的横摆参数来适配车辆的自主转向、加速和/或减速。附加车辆的横摆参数可以包括例如附加车辆的至少一个横摆率。横摆率可以指示附加车辆绕其横摆轴线旋转的角速度,并可选地指示该旋转的方向。附加车辆的横摆参数可以附加地或可替代地包括至少一个速度差,该速度差指示附加车辆的两个部分之间的速度差的量值,可选地连同附加车辆绕其横摆轴线的旋转方向的指示。横摆参数可以附加地或可替代地包括附加车辆是否正在经历横摆移动的指示(例如,附加车辆是否正在经历绕其横摆轴线的至少阈值移动程度)。
在本文公开的许多实施方式中,基于来自车辆的相位相干光检测和测距(LIDAR)组件的数据来确定附加车辆的横摆参数。来自车辆的相干LIDAR组件的数据在本文中被称为“相位相干LIDAR数据”。如本文所描述的,相位相干LIDAR数据能够针对环境中的多个点中的每一个,指示至少点的范围和点的速度。点的范围指示从相位相干LIDAR组件的接收器到该点的距离。点的速度指示点的速度的幅度(和任选地方向)。所指示的点的范围和速度基于相位相干LIDAR组件的对应感测事件。因此,通过感测周期的感测事件,能够确定指示环境中的大量点的瞬时范围和瞬时速度的相位相干LIDAR数据。本文公开的实施方式能够基于通过FMCW LIDAR数据中的至少一些所指示的瞬时范围和瞬时速度确定附加车辆的瞬时横摆参数。因此,基于感测周期的相位相干LIDAR数据确定的横摆参数基于附加车辆在感测周期期间的横摆运动为附加车辆提供横摆信息,而无需参考来自未来感测周期的相位相干LIDAR数据。这使得能够快速解析附加车辆的当前横摆参数,并且结果使得能够鉴于当前横摆参数快速确定是否需要适配车辆的控制(并且在确定了需要适配时使得能实现快速适配)。
通常,LIDAR是使用光谱中的电磁波的反射来确定点在环境中的范围的技术。例如,一些LIDAR实施方式基于测量光脉冲到点的往返延迟确定点的范围。LIDAR组件能够包括用于在光谱中生成光脉冲的光源(例如,激光器)、用于引导光源(例如,以扫描方位角和仰角)的光学器件(例如,反射镜)、用于测量反射脉冲的传感器以及用于处理反射脉冲的本地处理器和/或其它电子组件。能够对反射脉冲进行处理以基于发射脉冲与反射脉冲之间的时间延迟(并且使用光速)来确定环境中的目标到点的范围。在一些实施方式中,LIDAR组件基于处理生成输出,该输出是可能具有强度值(基于反射脉冲的强度)的三维(3D)点云。
通常,相位相干LIDAR是使用光谱中的电磁波的反射来确定指示环境中的点的范围和径向速度的数据的技术。相位相干LIDAR组件包括生成波形的至少一个可调谐激光器(或其它光源),并且包括至少一个接收器,诸如相干光接收器。相位相干LIDAR组件也能够包括用于引导可调谐激光器的一个或多个组件,诸如能够用于将波形从可调谐激光器(在方位角和/或仰角上)引导到环境中的多个点的光学器件。另外,相位相干LIDAR组件能够包括用于处理波形的反射的本地处理器和/或其它电子组件。相位相干LIDAR组件的可调谐激光器是可调谐的,因为它能够被控制为使得它生成的波形通过跨波形适配波形的一种或多种性质被编码。能够控制可调谐激光器以生成各种类型的编码波形中的一种或多种,诸如啁啾波形、阶跃波形和/或脉冲波形。
调频连续波(FMCW)LIDAR组件是一种特定类型的相位相干LIDAR组件。FMCW LIDAR组件至少选择性地(例如,总是当在使用中时)控制其可调谐激光器,使得它生成既通过频率调制来编码且连续的波形。例如,波形可以是通过频率调制编码的连续阶跃波形。例如,能够控制可调谐激光器以生成通过适配阶跃频率来编码的阶跃波形。来自车辆的FMCWLIDAR组件的数据在本文中被称为“FMCW LIDAR数据”。因此,当“相位相干FMCW LIDAR数据”由FMCW LIDAR组件基于既通过频率调制来编码且又是连续的波形来生成时,“相位相干FMCW LIDAR数据”可以是“FMCW LIDAR数据”。
在相位相干LIDAR组件的感测周期期间,所发射的编码波形被依次引导到环境中的多个点中的每一个,并且依次从环境中的多个点中的每一个中反射出来。编码波形的反射部分各自由相位相干LIDAR组件的至少一个接收器在感测周期的对应感测事件中检测。例如,感测事件的反射部分能够由至少一个相干光接收器使用相干检测方案来检测,在该相干检测方案中,反射部分与对应于所发射的编码波形的本地光信号混合。相干检测方案可以是例如零差混合、外差混合、自外差混合或其它相干检测方案。从将反射部分与本地光信号混合生成的所得信号指示以下两者:(1)到对应点的范围和(2)对应点的速度。例如,能够通过对信号应用二维傅立叶变换来处理所得信号,以生成具有直接维度上的频率坐标和间接维度上的频率坐标的2D频谱。能够利用直接维度上的频率坐标来确定范围,并且能够利用间接维度上的频率坐标来确定速度。作为一个特定示例,能够使用零差检测方案,其中本地光信号是所发射的编码波形的分离部分并且被用作光接收器的光本地振荡器信号。在感测事件期间将本地振荡器与延时反射部分混合产生时变中频(IF)波形,该时变IF波形与对应点的范围直接有关。另外,当点正在移动时,多普勒频移将被叠加到IF波形,这能够用于确定点的径向速度。通过在感测周期的多个感测事件时的检测,为车辆的环境中的多个点中的每一个生成相位相干LIDAR数据,并且指示在感测周期内的环境中的每个点的范围、速度和任选地强度。
如上所述,在本文公开的各种实施方式中,在确定附加车辆的横摆参数时利用由相位相干LIDAR组件生成的相位相干LIDAR数据。在那些实施方式中,感测周期的相位相干LIDAR数据直接或间接指示与相位相干LIDAR组件联接的车辆环境中的多个点中的每一个的对应范围和对应速度。在那些实施方式中的一些实施方式中,相位相干LIDAR数据包括三维(3D)点云,其中3D点云中的每个点定义对应范围(经由其在3D点云中的3D坐标)、对应速度和任选地对应强度。在一些其它实施方式中,相位相干LIDAR数据包括距离多普勒图像,诸如每个像素为对应范围和横向距离定义对应速度(和任选地强度)的距离多普勒图像。换句话说,距离多普勒图像中的每个像素与对应范围和横向范围(其对应于环境中的一点)相对应,并且为该范围和横向范围定义速度。在又一其它的实施方式中,相位相干LIDAR数据包括由FMCW LIDAR组件的光接收器基于将本地振荡器与延时反射混合而生成的时变中频(IF)波形。时变IF波形能够直接用于确定横摆参数并且/或者能够使用傅里叶变换和/或其它技术来处理,并且经处理的数据用于确定横摆参数。例如,能够对时变IF波形的每个分片进行处理以确定环境中的对应点的范围和速度,并且在确定横摆参数时利用多个点的范围和速度。因此,根据本文公开的实施方式,能够由相位相干LIDAR组件生成并在确定附加车辆的横摆参数时利用前述的一种或多种和/或其它类型的相位相干LIDAR数据。在确定横摆参数时生成和利用的相位相干LIDAR数据的类型能够取决于例如被利用的特定相位相干LIDAR组件。另外,注意在一些实施方式中,在接收到的相位相干LIDAR数据中指示的速度能够减去自我车辆的速度(例如,基于根据自我车辆的传感器确定的自我车辆的速度,或者基于根据相位相干LIDAR数据中的静态对象的速度推理自我车辆的速度)。在一些其它实施方式中,可能不从所接收到的相位相干LIDAR数据中减去自我车辆的速度。在那些实施方式中,可以任选地处理所接收到的相位相干LIDAR数据以减去自我车辆的速度。
在一些实施方式中,相位相干LIDAR数据来自包括至少诸如第一相干光接收器和第二相干光接收器的第一接收器和第二接收器的相位相干LIDAR单脉冲组件。在那些实施方式中,每个感测事件包括通过第一接收器的第一接收器感测事件和通过第二接收器的第二接收器感测事件。例如,第一接收器感测事件能够包括本地振荡器与对波形的反射部分的第一检测的相干混合,而第二接收器感测事件能够包括本地振荡器与对波形的反射部分的第二检测的相干混合。第一接收器感测事件和第二接收器感测事件在本文中被表示为单独的事件,因为它们通过单独的接收器。然而,注意感测事件能够各自具有相同的反射并且能够同时或基本上同时发生(例如,在彼此的一个毫秒内、在彼此的一个微秒内或在彼此的一个纳秒内)。
第一接收器和第二接收器相对于彼此在位置上偏移,从而使第一检测和第二检测变化(例如,在时间上和/或在特性上(例如,同相)变化)。这使得能够基于对第一接收器感测事件和第二接收器感测事件的比较来为感测事件确定数据的至少一个额外的通道。能够利用额外的通道来提高基于感测事件确定的点的角度准确度。例如,额外的通道能够基于第一接收器感测事件与第二接收器感测事件之间的振幅和/或相位差异(例如,由第一接收器和第二接收器中的每一个在与本地振荡器信号混合时生成的时变IF波形中的差异)。例如,对于基于感测事件确定的一个或多个点中的每一个,能够比较振幅和/或相位差异以确定角度(特定角度或角度范围),其中每个角度被解析使得点小于产生了感测事件的反射的波束宽度。因此,能够将对应范围的角度(例如,相对于接收器的方位角和仰角)确定到子波束宽度级别,从而提供所确定的角度的更大准确度。此外,由于点的位置由角度和范围定义,所以能够将点定位到子波束宽度级别。
注意,在一些实施方式中,能够基于单个感测事件(例如,基于由距离多普勒图像和/或IF波形所指示的多个范围/速度当中的范围/或速度中的差异)确定多个范围/速度对。在那些实施方式中,能够为多个范围/速度对中的每一个确定对应角度,并且可以将对应角度各自解析到子波束宽度级别。换句话说,能够利用感测周期的单个感测事件来确定两个或更多个点中的每一个的对应范围和对应速度。在那些实施方式的一些版本中,与非增厚波束宽度比较,能够有意地使由相位相干LIDAR组件的激光器输出的电磁输出的波束宽度增厚/变宽以使得波束宽度能够覆盖更多空间。例如,能够使波束宽度固定,使得在距相位相干LIDAR组件的给定距离(例如,10米、15米、20米、50米或其它距离)处,在感测周期的波束之间不存在覆盖范围间隙。能够利用本文描述的提高的角准确度技术来确定在感测周期的每个波束的增厚波束宽度内的两个或更多个点中的每一个的对应范围和对应速度。这使得能够以一定准确度确定范围和速度,在缺少本文描述的提高的角速度技术情况下,这将另外在感测周期中需要更大量的波束和感测事件。因此,本文描述的提高的角速度技术使得能够在感测周期中以给定准确度解析范围和速度,同时减少实现该准确度所需的感测周期中的感测事件的量。这能够减少在每个感测周期中发生的感测事件的量,从而保存硬件资源(例如,激光资源和/或电源资源)。这能够附加地或替换地使得能够在减少的时间量内解析一个区域的给定量的范围和速度,从而提供过剩时间用于解析附加区域的范围和速度(例如,使得能够在不增加感测周期的持续时间的情况下在每个感测周期中覆盖更大的总区域)和/或使得能够快速重新解析该区域更新的范围和速度(例如,使得能够使感测周期缩短,而不会降低角准确度)。
因此,利用相位相干LIDAR单脉冲组件,在通过跨两个接收器使反射分离来降低信噪比(SNR)(即,提高噪声)同时,能够实现超像素分辨率。这在确定遥远的(远离相位相干LIDAR单脉冲组件)和/或小的附加车辆的点的范围和速度时可能是有益的。例如,它能够提高能够针对给定返回/感测事件确定范围和速度的角准确度(对于给定点,在角度意义上为更准确的定位)—从而提高分辨率并且使得能够确定(或至少更准确地确定)遥远的和/或小的附加车辆的横摆参数,然而横摆参数对遥远的和/或小的附加车辆来说将不会是可确定的(或将至少是不太准确的)。
在各种实施方式中,利用相位相干LIDAR单脉冲组件,在通过跨两个或更多个接收器使反射分离来降低信噪比(SNR)(即,提高噪声),同时能够附加地和/或替换地实现超分辨率。两个或更多个接收器相对于彼此在位置上偏移,从而使接收器的相应的检测变化(例如,在时间上和/或在特性上(例如,同相)变化)。这使得来自每个接收器处的感测事件的非冗余LIDAR数据能够被组合,以生成与来自相应的接收器处的感测事件中的任何一个的LIDAR数据比具有更高分辨率(例如,更高分辨率范围和/或速度)的LIDAR数据(例如,距离多普勒图像和/或IF波形)。换句话说,每个感测事件能够包括每个接收器处的接收器感测事件(例如,第一接收器处的第一接收器感测事件、第二接收器处的第二接收器感测事件等)并且为相应的接收器感测事件产生相应的LIDAR数据。能够将接收器感测事件的非冗余LIDAR数据组合以构造感测事件的超分辨率LIDAR数据。非冗余LIDAR数据能够基于例如相应的接收器感测事件之间的振幅和/或相位差异(例如,由第一接收器和第二接收器中的每一个在与本地振荡器信号混合时生成的时变IF波形中的差异)。能够利用各种技术来从多个接收器感测事件生成超分辨率LIDAR数据,这些技术诸如频域技术(例如,基于连续和离散傅立叶变换的移位和混叠性质)和/或空间域技术(例如,非迭代和/或迭代技术)。能够利用空间域技术来在从来自接收器感测事件的较低分辨率LIDAR数据构造超分辨率LIDAR数据时应用一个或多个灵活的估计器。此类灵活的估计器包括例如最大似然、最大后验、凸集投影、贝叶斯处理等。在本文中提供了包括单脉冲组件和技术的一些相位相干LIDAR技术和一些相位相干LIDAR组件的附加描述。
如上所述,在相位相干LIDAR组件的感测周期期间,发射的编码波形被依次引导到环境中的多个点中的每一个,并且依次从环境中的多个点中的每一个中反射出去,并且编码波形的反射部分各自由相位相干LIDAR组件的至少一个接收器在感测周期的对应感测事件中检测。在感测周期期间,波形被引导到环境的区域中的多个点,并且检测对应反射,而不会在感测周期中将波形重新引导到那些点。因此,通过感测周期的相位相干LIDAR数据所指示的点的范围和速度可以是瞬时的,因为它基于单个感测事件而不参考在先或后续感测事件。在一些实施方式中,多个(例如,所有)感测周期中的每一个能够具有相同的持续时间、相同的视场和/或相同的波形分布图案(通过在感测周期期间引导波形)。例如,各自为扫描的多个感测周期中的每一个能够具有相同的持续时间、相同的视场和相同的波形分布图案。然而,在许多其它实施方式中,持续时间、视场和/或波形分布图案能够在一个或多个感测周期之间变化。例如,第一感测周期能够具有第一持续时间、具有第一视场和第一波形分布图;而第二感测周期能够具有比第一持续时间短的第二持续时间、具有作为第一视场的子集的第二视场、并且具有比第一波形分布图案更密集的第二波形分布图案。
现在转向图,图1图示可以在其内实现本文公开的各种技术的示例自动驾驶车辆100。例如,车辆100可以包括:动力总成102,该动力总成102包括由能量源106供以动力并能够向传动系统108提供动力的原动机104;以及控制系统110,该控制系统110包括方向控件112、动力总成控件114和制动控件116。可以将车辆100实现为任何数目的不同类型的车辆,包括能够运送人和/或货物并能够由陆地、由海路、在空中、在地下、在海面下和/或在太空中行进的交通工具,应领会,前述组件102-116能够基于利用这些组件的车辆的类型而广泛地变化。
例如,在下文中讨论的实施方式将集中于轮式陆地车辆,诸如汽车、货车、卡车、公共汽车等。在此类实施方式中,原动机104可以包括一个或多个电动机和/或内燃机(等等)。能量源106可以包括例如燃料系统(例如,提供汽油、柴油、氢等)、电池系统、太阳能电池板或其它可再生能量源和/或燃料电池系统。传动系统108可以包括车轮和/或轮胎以及适合于将原动机104的输出转换成车辆运动的变速器和/或任何其它机械驱动组件,以及被配置成可控制地使车辆100停止或慢下来的一个或多个制动器和适合于控制车辆100的轨迹的方向或转向组件(例如,使得车辆100的一个或多个车轮能够绕通常垂直轴线枢转以改变车轮的旋转平面相对于车辆的纵向轴线的角度的齿条和小齿轮转向连杆)。在一些实施方式中,可以(例如,在电动/燃气混合动力车辆的情况下)使用动力总成和能量源的组合,并且在一些情况下,可以将多个电动机(例如,专用于个别车轮或轮轴)用作原动机。
方向控件112可以包括一个或多个致动器和/或传感器以用于控制并接收来自方向或转向组件的反馈以使得车辆100能够遵循期望轨迹。动力总成控件114可以被配置成控制动力总成102的输出,例如,控制原动机104的输出动力,控制传动系统108中的变速器的齿轮等,从而控制车辆100的速率和/或方向。制动控件116可以被配置成控制使车辆100慢下来或停止的一个或多个制动器,例如,联接到车辆的车轮的盘式或鼓式制动器。
如受益于本公开的普通技术人员将领会的,其它车辆类型,包括但不限于飞机、太空车辆、直升机、无人机、军用车辆、全地形或履带车辆、轮船、潜艇、建筑装备等,将必定利用不同的动力总成、传动系统、能量源、方向控件、动力总成控件和制动控件。此外,在一些实施方式中可以组合这些组件中的一些,例如,在主要通过改变一个或多个原动机的输出来处理车辆的方向控制的情况下。因此,本文公开的实施方式不限于本文描述的技术在自主轮式陆地车辆中的特定应用。
在所图示的实施方式中,在车辆控制系统120中实现对车辆100的完全或半自主控制,该车辆控制系统可以包括一个或多个处理器122和一个或多个存储器124,其中每个处理器122被配置成执行存储在存储器124中的程序代码指令126。处理器122能够包括例如图形处理单元(GPU)和/或中央处理单元(CPU)。
传感器130可以包括适合于从车辆的周围环境收集信息以供在控制车辆的操作时使用的各种传感器。例如,传感器130能够包括车辆的调频连续波(FMCW)光检测和测距(LIDAR)组件132(FMCW)。如本文所描述的,FMCW LIDAR组件132能够生成FMCW LIDAR数据,该FMCW LIDAR数据能够用于确定车辆100的环境中的一个或多个附加车辆中的每一个的对应横摆参数。对于车辆的环境中的多个点中的每一个,由FMCW LIDAR组件132生成的FMCWLIDAR数据指示基于FMCW LIDAR组件的对应感测事件的对应范围和对应速度。尽管在图1(和其它图)中图示并在本文中与许多图关联地描述FMCW LIDAR组件,但是在许多实施方式中,能够替换地利用不是FMCW LIDAR组件的相位相干LIDAR组件。另外,在那些实施方式中能够利用不是FMCW LIDAR数据的相位相干LIDAR数据代替FMCW LIDAR数据。
传感器130也能够任选地包括无线电检测和测距(RADAR)组件134和/或LIDAR组件136(非相位相干的,其生成能够用于确定范围而不是速度的数据)。另外,传感器也能够任选地包括例如与诸如GPS、GLONASS、伽利略、Compass等的各种卫星导航系统中的任一种兼容的卫星导航(SATNAV)组件138。SATNAV组件138能够用于使用卫星信号来确定车辆在地球上的定位。传感器130也能够任选地包括相机140、惯性测量单元(IMU)142和/或一个或多个车轮编码器144。相机140可以是单像相机或立体相机并且能够记录静止和/或视频成像器。IMU 142能够包括能够检测车辆100在三个方向上的线性和旋转运动的多个陀螺仪和加速度计。车轮编码器142可以用于监视车辆100的一个或多个车轮的旋转。
可以将传感器130的输出提供给一组控制子系统150,包括定位子系统152、规划子系统156、感知子系统154和控制子系统158。定位子系统152主要负责精确地确定车辆100在其周围环境内并且通常在某个参考系内的定位和定向(有时也称为“姿态”)。感知子系统154主要负责检测、跟踪和/或识别车辆100周围环境内的元素。例如,并且如本文所描述的,感知子系统154可以除了别的之外还确定车辆100周围环境中一个或多个附加车辆的横摆率。规划子系统156主要负责考虑到环境内的期望目的地以及静止和移动对象规划车辆100在某个时间帧期间的轨迹。例如,并且如本文所描述的,规划子系统156能够至少部分地基于车辆100周围环境中的附加车辆的(通过感知子系统154确定的)所确定的横摆参数来规划车辆100的轨迹。控制子系统158主要负责生成合适的控制信号以用于控制控制系统110中的各种控件以便实现车辆100的所规划的轨迹。
应领会,在图1中针对车辆控制系统120图示的组件的合集在性质上仅仅是示例性的。可以在一些实施方式中省略个别传感器。附加地或替换地,在一些实施方式中,图1中图示的类型的多个传感器可以被用于冗余和/或覆盖车辆周围的不同区域,并且可以使用其它类型的传感器。同样地,可以在其它实施方式中使用不同类型和/或组合的控制子系统。另外,虽然子系统152-160被图示为与处理器122和存储器124分开,但是应领会在一些实施方式中,子系统152-160的功能性中的一些或全部可以用驻留在一个或多个存储器124中并由一个或多个处理器122执行的程序代码指令126来实现,并且这些子系统152-160可以在一些情况下使用同一处理器和/或存储器来实现。一些实施方式中,子系统可以至少部分地使用各种专用电路逻辑、各种处理器、各种现场可编程门阵列(“FPGA”)、各种专用集成电路(“ASIC”)、各种实时控制器和/或子系统等来实现,并且如上所指出的,多个子系统可以利用电路、处理器、传感器和/或其它组件。另外,车辆控制系统120中的各种组件可以以各种方式联网。
在一些实施方式中,车辆100也可以包括辅助车辆控制系统(未图示),该辅助车辆控制系统可以被用作车辆100的冗余或备用控制系统。在一些实施方式中,辅助车辆控制系统可以能够在车辆控制系统120中发生不利事件的情况下完全地操作自动驾驶车辆100,然而在其它实施方式中,辅助车辆控制系统可以仅具有有限的功能性,例如,以响应于在主车辆控制系统120中检测到的不利事件而执行车辆100的受控停止。在仍然其它的实施方式中,可以省略辅助车辆控制系统。
通常,无数种不同的架构,包括软件、硬件、电路逻辑、传感器、网络等的各种组合,可以用于实现图1中图示的各种组件。每个存储器可以例如作为微处理器被实现,并且每个存储器可以表示包括主存储装置的随机存取存储器(RAM)设备,以及任何补充级别的存储器,例如高速缓存存储器、非易失性或备用存储器(例如,可编程或闪速存储器)、只读存储器等。此外,每个存储器可以被认为包括物理上位于车辆100中其它地方的存储器存储装置,例如,处理器中的任何高速缓存存储器,以及用作虚拟存储器的任何存储容量,例如,如存储在大容量存储设备上或在另一计算机或控制器上的。图1中图示的一个或多个处理器或完全单独的处理器可以用于实现车辆100中除自主控制的目的外的附加功能性,例如,以控制娱乐系统,以操作门、灯、方便特征等。
此外,对于附加存储,车辆100也可以包括一个或多个大容量存储设备,例如,可移动磁盘驱动器、硬盘驱动器、直接存取存储设备(DASD)、光驱(例如,CD驱动器、DVD驱动器等)、固态存储驱动器(SSD)、网络附连存储、存储区域网络和/或磁带驱动器等。此外,车辆100可以包括使得车辆100能够从用户或操作者接收许多输入并且为用户或操作者生成输出的用户接口164,例如,一个或多个显示器、触摸屏、话音和/或手势接口、按钮和其它触觉控件等。否则,可以经由另一计算机或电子设备例如经由移动设备上的应用或经由web接口接收用户输入。
此外,车辆100可以包括适合于与一个或多个网络(例如,LAN、WAN、无线网络和/或因特网等等)进行通信以允许与其它计算机和电子设备一起传递信息的一个或多个网络接口,例如网络接口162,其它计算机和电子设备包括例如中央服务,诸如云服务,车辆100从该中央服务接收环境和其它数据以供在其自主控制中使用。
如将在下面更详细描述的,图1中图示的每个处理器以及本文公开的各种附加控制器和子系统通常在操作系统的控制下操作,并且执行或以其它方式依靠各种计算机软件应用、组件、程序、对象、模块、数据结构等。此外,各种应用、组件、程序、对象、模块等也可以在例如在分布式、基于云的或客户端-服务器计算环境中的经由网络耦合到车辆100的另一计算机上的一个或多个处理器上执行,由此可以通过网络将实现计算机程序的功能所需要的处理分配给多个计算机和/或服务。
通常,被执行以实现本文描述的各种实施方式的例程,无论是作为操作系统的一部分还是作为具体应用、组件、程序、对象、模块或指令序列或甚至其子集被实现,都将在本文中被称为“程序代码”。程序代码通常包括一个或多个指令,该一个或多个指令在各个时间驻留在各种存储器和存储设备中,并且当由一个或多个处理器读取和执行时,执行实行体现本发明各个方面的步骤或元素所必需的步骤。此外,虽然已经并在下文中将在功能完全的计算机和系统的上下文中描述实施方式,但是应领会,本文描述的各种实施方式能够被以各种形式作为程序产品分发,并且能够不管用于实际地执行分发的计算机可读介质的特定类型都实现这些实施方式。计算机可读介质的示例包括有形的非暂时性介质,诸如易失性和非易失性存储设备、软盘和其它可移动盘、固态驱动器、硬盘驱动器、磁带和光盘(例如,CD-ROM、DVD等)等等。
此外,可以基于在特定实施方式中实现的应用识别在下文中描述的各种程序代码。然而,应该领会,接下来的任何特定程序术语是仅仅为了方便被使用,因此本发明不应该限于仅在由此类术语识别和/或暗示的任何具体应用中使用。此外,给定可以将计算机程序组织成例程、程序、方法、模块、对象等的通常无数种方式以及可以在驻留在典型计算机内的各种软件层(例如,操作系统、库、API、应用、小程序等)之间分配程序功能性的各种方式,应该领会,本发明不限于本文描述的程序功能性的具体组织和分配。
受益于本公开的本领域的技术人员应认识到,图1中图示的示例性环境不旨在限制本文公开的实施方式。实际上,本领域的技术人员将认识到,在不脱离本文公开的实施方式的范围的情况下,可以使用其它替代硬件和/或软件环境。
现在转向图2A和图2B,示意性地图示了图1的FMCW LIDAR组件132的两个实施方式。图2A图示包括单个接收器132A3的FMCW LIDAR组件132A,然而图2B图示包括两个接收器132B3A和132B3B的FMCW LIDAR单脉冲组件132B。
在图2A中,FMCW LIDAR组件132A包括可调谐激光器132A1,其光输出由信号生成器132A2控制。信号生成器132A2驱动激光器132A1,使得激光器132A1生成电磁输出,该电磁输出在光谱中并且通过适配电磁输出的频率来编码。信号生成器132A2生成使波形被编码的信号。能够经由信号生成器132A2和激光器132A1生成各种类型的频率编码波形。
图2A图示来自激光器132A1的发送波束192A,该发送波束如前面段落中所描述的那样被编码,并且被导向目标对象191上的点。发送波束192A被反射离开目标对象191上的点并且在感测事件期间在接收器132A3处接收反射193A。发送波束192A包括编码波形的分片并且反射193A也包括编码波形的分片。编码波形的分片由接收器132A3在感测事件期间检测。
接收器132A3可以是相干接收器并且反射193A能够由接收器132A3使用相干检测方案来检测,在该相干检测方案中,反射193A与本地光信号混合,该本地光信号诸如为发送波束192A的分离部分的本地光信号。注意,由接收器132A3对反射193A的检测相对于对本地光信号(例如,发送波束192A的分离部分)的检测将被延时。相干检测方案能够由处理器132A4实现并且可以是例如零差混合、外差混合、自外差混合或其它相干检测方案。从将反射部分与本地光信号混合而生成的所得信号指示以下两者:(1)到目标对象191的点的范围,和(2)目标对象191的点的速度。在一些实施方式中,处理器132A4提供所得信号作为来自FMCW LIDAR组件132A的点的FMCW LIDAR数据。在一些其它实施方式中,处理器132A4执行进一步处理以生成点的FMCW LIDAR数据,其直接指示点的范围和速度。例如,能够在FMCWLIDAR数据中直接指示点的范围和速度,该FMCW LIDAR数据是指示范围和速度值的3D点云或距离多普勒图像。通过对多个感测事件的检测,在来自激光器132A1的光输出的方向变化(例如,在方位角和/或仰角上变化)的情况下,FMCW LIDAR数据由FMCW LIDAR组件针对环境中的多个点中的每一个来生成并且指示环境中的每个点的范围、速度和任选地强度。
尽管以上图2A的描述描述了FMCW LIDAR组件,但是注意,不是FMCW的相位相干LIDAR组件能够具有相同和/或类似的组件。然而,利用非FMCW LIDAR组件,信号生成器132A2能够驱动激光器132A1以生成非连续的和/或使用除频率调制以外的技术来编码的波形。
在图2B中,FMCW LIDAR单脉冲组件132B包括可调谐激光器132B1,其光输出由信号生成器132B2控制。信号生成器132B2驱动激光器132B1,使得激光器132B1生成电磁输出,该电磁输出在光谱中并且通过适配电磁输出的频率来编码。信号生成器132B2生成使波形被编码的信号。能够经由信号生成器132B2和激光器132B1生成各种类型的编码波形。
图2B图示来自激光器132B1的发送波束192B,该发送波束如前面段落中所描述的那样被编码并且被导向目标对象191上的点。发送波束192B被反射离开目标对象191上的点,并且在感测事件期间,在第一接收器132B3A处接收第一反射193B1并且在第二接收器132B3B处接收第二反射193B2。发送波束192B包括编码波形的分片并且反射193B1和193B2也包括编码波形的分片。第一接收器132B3A和第二接收器132B3B可以是相干接收器,并且感测事件能够包括第一接收器感测事件和第二接收器感测事件。第一接收器感测事件能够包括本地振荡器(例如,发送波束192B的分离部分)与对第一反射193B1的第一检测的相干混合,并且第二接收器感测事件能够包括本地振荡器与对第二反射193B2的第二检测的相干混合。第一接收器132B3A和第二接收器132B3B相对于彼此在位置上偏移,从而使第一检测和第二检测变化。这使得处理器132B4能够基于对第一接收器感测事件和第二接收器感测事件的比较确定感测事件的数据的至少一个额外的通道。例如,处理器132B4能够基于第一接收器感测事件与第二接收器感测事件之间的振幅和/或相位差异(例如,由第一接收器和第二接收器中的每一个在与本地振荡器信号混合时生成的时变IF中的差异)来确定额外的通道。例如,对于基于感测事件确定的一个或多个点中的每一个,能够比较振幅和/或相位差异以确定角度(特定角度或角度范围),其中每个角度被解析使得点小于产生了感测事件的反射的波束宽度。因此,能够将对应范围的角度(例如,相对于接收器的方位角和仰角)确定到子波束宽度级别。此外,因为点的位置由角度和范围定义,所以能够将点定位到子波束宽度级别。因此,在通过跨两个接收器使反射分离来降低信噪比(SNR)(即,提高噪声)同时,能够实现提高的角准确度。这在确定遥远的(远离FMCW LIDAR单脉冲组件)和/或小的附加车辆的多个点的范围和速度时可能是有益的。附加地或替换地,并且如本文所描述的,处理器132B4能够使用来自第一检测和第二检测的非冗余数据来确定具有超分辨率的LIDAR数据。例如,处理器132B4能够从来自第一检测和第二检测的较低分辨率LIDAR数据构造超分辨率LIDAR数据。因此,在通过跨两个接收器使反射分离来降低SNR的同时,能够确定超分辨率范围和速度。
在一些实施方式中,处理器132B4提供从第一接收器感测事件和第二接收器感测事件生成的信号作为来自FMCW LIDAR单脉冲组件132B的点的FMCW LIDAR单脉冲数据。在一些其它实施方式中,处理器132B4执行进一步处理以生成点的FMCW LIDAR单脉冲数据,其直接指示点的范围和速度。例如,能够在作为3D点云或距离多普勒图像的FMCW LIDAR单脉冲数据中直接指示点的范围和速度。通过对多个感测事件的检测,在来自激光器132B1的光输出的方向变化(例如,在方位角和/或仰角上变化)的情况下,FMCW LIDAR单脉冲数据由FMCWLIDAR单脉冲组件132B针对环境中的多个点中的每一个来生成并且指示环境中的每个点的范围、速度和任选地强度。
尽管以上图2B的描述描述了FMCW LIDAR单脉冲组件,但是注意,不是FMCW的相位相干LIDAR单脉冲组件能够具有相同和/或类似的组件。然而,利用非FMCW LIDAR组件,信号生成器132B2能够驱动激光器132B1以生成非连续的和/或使用除频率调制以外的技术来编码的波形。
现在参考图3,其中示出了示例附加车辆300,连同附加车辆300的横摆轴线371、俯仰轴线372和滚转轴线373。附加车辆300的横摆轴线371垂直于附加车辆300的车轴。在一些情况下,横摆轴线371可以与附加车辆300的后车轴交叉,虽然这不是必需的——并且根据附加车辆300的横摆移动的原因和/或程度,横摆轴线371在某些情况下甚至可以转移。附加车辆300绕横摆轴线371的旋转可能由各种因素引起,诸如附加车辆300的转弯、附加车辆300的牵引力损失(例如,水漂)、附加车辆300撞击另一对象等等。附加车辆300的横摆移动是附加车辆300绕横摆轴线371的旋转,附加车辆300的横摆率是其绕横摆轴线371的旋转的角速度。横摆率通常是以弧度/秒或度/秒为单位测量的。
附加车辆300的滚转轴线373垂直于横摆轴线371,并沿附加车辆300以从前到后的方式延伸。当附加车辆300在运动时,附加车辆将具有沿滚转轴线373的绝对对象速度。这种绝对对象速度也可以在本文所述的实施方式中适配对自动驾驶车辆的控制中考虑。然而,应注意,绝对对象速度与附加车辆300的横摆率分开。例如,附加车辆300可以在移动期间具有相对高的绝对对象速度,同时具有零或最小的横摆率(例如,如果其正在沿相对直线路径移动而没有任何牵引力损失)。附加车辆300的俯仰轴线垂直于横摆轴线371和滚转轴线373,并沿附加车辆300以从一侧到另一侧的方式延伸。
现在参考图4,提供了示出了基于附加车辆的所确定的横摆参数适配对车辆的自主控制的方框图。图4示出了车辆控制系统120的子系统152、154、156和158,以及它们可以如何交互以确定附加车辆的横摆参数和/或基于所确定的横摆参数适配自主控制的示例。
定位子系统152通常负责定位其环境内的车辆。例如,定位子系统152可以确定其周围环境内的自动驾驶车辆100的姿态(通常是位置,并且在一些情况下是定向)。定位子系统152能够利用来自FMCW LIDAR组件132的FMCW LIDAR数据492和/或来自其它传感器491的数据来确定自动驾驶车辆100的姿态,其它传感器诸如图1的相机140、RADAR组件134、LIDAR组件136和/或其它传感器130(例如,IMU 142、编码器144)。例如,由定位子系统152确定的姿态可以是相对于由车辆控制系统120利用的地图。姿态能够随着车辆100在其环境中各处移动而由定位子系统152更新,或者姿态被提供给其它子系统154、156和/或158中的一个或多个(或者变得可由其它子系统154、156和/或158中的一个或多个访问)以供由子系统使用。
感知子系统154主要负责感知环境中的动态对象,诸如行人和附加车辆,并且可以利用FMCW LIDAR数据492以及可选地来自其他传感器491(例如,相机140、RADAR组件134)的数据来识别和跟踪动态对象。在跟踪附加车辆时,感知子系统154可以在多个迭代中的每个迭代中确定附加车辆的各种特征,诸如它们的姿态(位置和/或定位)以及它们的绝对对象速度和/或横摆参数(例如,横摆率)。
感知子系统154可以包括对象检测和分类模块154A,该对象检测和分类模块154利用FMCW LIDAR数据492和/或来自其他传感器491的数据来检测各种对象(例如,确定对象的姿态)并且可选地对检测到的对象进行分类。例如,对象检测和分类模块154A可以处理FMCWLIDAR数据492和/或来自其他传感器491的数据来检测和分类车辆100的环境中的附加车辆、行人和/或其他动态对象。在各种实施方式中,对象检测和分类模块154A可以利用一个或多个经训练的机器学习模型来检测和/或分类各种对象。例如,经训练的机器学习模型可以包括神经网络模型,该神经网络模型经训练以用于处理FMCW LIDAR数据(和/或其他数据),以生成在数据中指示的对象的姿态以及可选地对象的对应分类的指示作为输出。例如,输出可以指示在数据中检测到的一个或多个对象中的每个对象的包围框、限制球或其他限制区域,可选地连同每个限制区域的对应分类。
作为一个特定示例,FMCW LIDAR数据492可以包括3D点云,3D点云定义了对应范围(通过其在3D点云中的3D坐标)、对应速度以及可选地对应强度。对象检测和分类模块154A可以使用经训练的机器学习模型来处理FMCW LIDAR数据492,以生成指示一个或多个包围框的输出,每个包围框都对应于包括检测到的对象的3D点云的一部分。在一些实施方式中,输出还可以针对每个包围框都指示检测到的对象所属的分类。例如,针对每个包围框,输出都可以指示检测到的对象是附加车辆、行人、动物等的相应概率。在一些其他实施方式中,经训练的机器学习模型可以被训练以仅检测附加车辆,并且可以用于生成指示包围框和/或其他限制形状的输出,无需明确指示限制形状的分类。
在一些实施方式中,在检测和/或分类各种对象时,对象检测和分类模块154A可以附加地或可替代地处理FMCW LIDAR数据492和/或来自其他传感器491的数据,无需利用机器学习模型。例如,可以利用最近邻和/或其他聚类技术来确定可能对应于附加车辆和/或其他对象的数据部分。
与所利用的技术无关,对象检测和分类模块154A可以向感知子系统154的横摆模块154B提供附加车辆493的姿态的指示。姿态可以相对于车辆控制系统120所利用的地图和/或相对于FMCW LIDAR数据492。横摆模块154B使用附加车辆的所提供的姿态493来确定FMCW LIDAR数据492的对应于姿态的子组。此外,横摆模块154B基于FMCW LIDAR数据492的子组来确定附加车辆494的一个或多个横摆参数。
横摆模块154B可以基于由FMCW LIDAR数据492的全部或部分子组指示的量值和可选的方向来确定附加车辆494的横摆参数。例如,横摆参数模块154B可以基于确定速度的至少阈值梯度由FMCW LIDAR数据492的至少一些子组指示来确定指示车辆是否正在经历横摆移动(例如,至少横摆移动的阈值程度)的横摆参数。例如,如果FMCW LIDAR数据492的子组具有4m/s的速度梯度(例如,速度范围从+2m/s到-2m/s或速度范围从+9m/s到+5m/s),则横摆参数模块154B可以基于4m/s的速度梯度确定车辆正在经历横摆移动。另一方面,如果FMCW LIDAR数据492的子组具有小于0.1m/s的速度梯度,则横摆参数模块154B可以基于低速度梯度来确定车辆正在经历很小或没有经历横摆移动。
同样地,例如,横摆参数模块154B可以基于由FMCW LIDAR数据492的子组的多个集合指示的速度来确定附加车辆的横摆参数。例如,横摆参数模块154B可以基于第一组FMCWLIDAR数据492的速度与空间上偏移的第二组FMCW LIDAR数据492的速度的比较来确定速度差。横摆参数模块154B可以利用速度差作为横摆参数,或者可以基于速度差确定横摆率。在一些实施方式中,横摆参数模块154B可以基于速度差并且基于第一集合和第二集合之间的所确定的距离来确定横摆率。在那些实施方式中的一些中,横摆参数模块154B可以基于将速度差除以距离(可选地乘以常数)来确定横摆率,以确定以弧度/秒为单位的横摆率。在那些实施方式的一些版本中,横摆参数模块154B可以确定横摆率的范围。例如,下限横摆率可以基于速度差除以距离,而上限横摆率可以基于速度差除以:距离乘以0到1之间的常数,诸如介于0.4和0.9之间的值、介于0.4和0.75之间的值或介于0.4和0.7之间的值。例如,如果速度差为1m/s,距离为1.5m,则下限横摆率可以为0.67弧度/秒((1m/s)/(1.5m)),而如果速度差为1m/s,并且距离大于4.0m,则下限横摆率可以为0.25弧度/秒。常数的值例如可以基于附加车辆相对于自我车辆的角度的余弦。例如,附加车辆相对于FMCW LIDAR接收器的角度,该角度可以基于由FMCW LIDAR数据指示的对应于附加车辆的一个或多个角度。
作为一个特定示例,第一集合可以是单一数据点,第一集合的速度可以是单一数据点的速度,第二集合可以是单独的单一数据点,并且第二集合的速度可以是针对单独的单一数据点的速度。横摆参数模块154B可以基于第一和第二集合的速度量值的差(速度差)并基于第一和第二集合之间的所确定的距离来确定横摆率。横摆参数模块154B也可以基于第一和第二集合的速度的量值(并且可选地在极端横摆移动情况下的方向(例如,失去对附加车辆的控制))的比较来确定横摆移动的方向(当速度差不为零时)。
作为另一特定示例,横摆参数模块154B可以基于确定FMCW LIDAR数据的第一和第二集合,确定附加车辆的横摆率,其中,第一集合和第二集合每个都包括多个对应数据点。此外,横摆率模块154B可以确定第一集合的数据点的速度的平均速度或其他统计测量值(例如,平均值),第二集合的数据点的速度的统计测量值,并基于第一集合的速度的统计测量值和第二集合的速度的统计测量值的比较来确定横摆率。本文提供了用于确定横摆率的这些和其他技术的附加说明。另外,下面与对图5至图8的说明相关联地提供对各种技术的附加说明。
在一些实施方式中,横摆参数模块154B可以附加或可替代地基于由FMCW LIDAR数据492的至少一些子组指示的速度并且基于附加车辆的存储模型来确定附加车辆的横摆率。附加车辆的存储模型描述了附加车辆的几何特征。存储模型例如可以是附加车辆的三维(3D)模型。横摆参数模块154B可以将由FMCW LIDAR数据492的至少一些子组指示的速度映射到存储模型上的对应定位,并且使用速度及其在存储模型上的定位确定附加车辆的横摆率。例如,横摆参数模块154B可以向存储模型应用多个速度,以确定在所应用的速度下的存储模型绕横摆轴线的横摆率。横摆参数模块154B例如可以使用以所应用的速度模拟存储模型的移动的模拟器确定横摆率。
在其中利用附加车辆的存储模型的一些实施方式中,横摆参数模块154B可以可选地利用针对所有附加车辆的一般存储模型。在一些其他实施方式中,横摆参数模块154B可以基于确定所选择的存储模型最接近地符合捕获附加车辆的传感器数据,从多个候选存储模型中选择针对给定附加车辆的存储模型。例如,横摆参数模块154B可以基于确定(被确定为对应于附加车辆的)子组的FMCW LIDAR数据比任何其他存储模型都更接近地符合所选模型而选择存储模型。
在一些实施方式中,横摆参数模型154B可以附加地或可替选地利用经训练的横摆机器学习(ML)模型154B1确定附加车辆的横摆率。例如,横摆参数模型154B可以使用经训练的横摆ML模型154B1处理全部或部分FMCW LIDAR数据492,从而生成指示横摆率的输出。例如,可以使用经训练的横摆ML模型154B1处理被确定为对应于附加车辆的至少FMCW LIDAR数据492的子组,以生成指示横摆率的输出。经训练的横摆ML模型154B1例如可以如下文关于图12的方法1200所述地进行训练。
感知子系统154将用于附加车辆494的横摆参数提供给计划子系统156(或者以其他方式使其可用于计划子系统156)。计划子系统156主要负责计划车辆在某个时间框架内(例如,几秒钟)的轨迹,并且可以从位置子系统152和感知子系统154两者接收输入。计划子系统156可以基于附加车辆494的所提供的横摆参数适配车辆的轨迹。例如,如果横摆参数494指示附加车辆的速度差和/或横摆率超过指示附加车辆已经失去控制的阈值,则计划子系统154可以适配车辆的轨迹,以便回避附加车辆。而且,例如,如果横摆参数494指示横摆率和横摆方向,则计划子系统154可以利用附加车辆494的横摆率和横摆方向来确定附加车辆的一个或多个候选轨迹,并且可以适配车辆的轨迹,使得如果附加车辆行进经过候选轨迹之一,则车辆不会接触和/或进入附加车辆的阈值距离内。本文中提供了用于基于附加车辆的所确定的横摆参数来适配对车辆的控制的这些和其他技术的附加说明。例如,下面结合图9的说明提供了一些技术的附加说明。
然后,将由计划子系统156鉴于所确定的横摆参数而生成的轨迹和/或其他数据传递到控制子系统158,以将期望轨迹转换成适合于控制在控制系统110中的各种车辆控件112、114的轨迹命令195,并且还向控制子系统158提供位置数据,以使控制子系统158可以发出适当的命令,从而在车辆定位随时间框架变化时实现期望轨迹。
现在参考图5至图8,这些图每个都示出了车辆的示例环境,其中环境包括附加车辆300。此外,图5至图8每个也示出了可以对应于环境中的附加车辆300的一些FMCW LIDAR数据点的示例。例如,图5示出了示例FMCW LIDAR数据点582A-B、583A-B、584A-C以及585A-C。数据点可以例如是来自作为3D点云的FMCW LIDAR数据的实例,其中3D点云的每个点都指示对应范围(通过其在3D点云中的定位),并且包括对应速率/速度,以及可选的对应强度值。应理解,附加FMCW LIDAR数据点将被提供有FMCW LIDAR数据,包括对应于车辆300的附加点——以及对应于附加环境对象的附加点。然而,为了简单起见,在图5至图8的每一个中仅示出了一些FMCW LIDAR数据点。此外,应理解,车辆300在图5至图8中出现时将不会以FMCW LIDAR数据呈现(尽管可以经由对应FMCW LIDAR数据点在视觉上确定)。然而,在图5至图8中的每一个中示出了车辆300以供参考。另外,应理解,虽然关于FMCW LIDAR数据点描述了图5至图8,但是附加或可替代类型的FMCW LIDAR数据可以用于确定附加车辆的横摆参数,诸如本文中也描述的那些横摆参数。
在图5中,在附加车辆300周围描绘了包围框581。包围框581指示可以对应于附加车辆300的FMCW LIDAR数据的子组。包围框581可以例如由图4的对象检测和分类模块154A基于对FMCW LIDAR数据和/或其他数据的处理以检测车辆及其姿态来确定。例如,对象检测和分类模块154A可以使用机器学习模型来处理FMCW LIDAR数据,以生成输出,该输出指示被包围框581所包围的FMCW LIDAR数据点对应于车辆。在包围框581内示出了示例FMCWLIDAR数据点。即,数据点582A-B的第一集合582、数据点583A-B的第二集合583、数据点584A-C的第三集合584以及数据点585A-C的第四集合。
图4的横摆参数模块154B可以基于第一集合582、第二集合583、第三集合584和/或第四集合585之间的比较来确定附加车辆300的横摆参数。例如,横摆参数模块154B可以基于由数据点582A和582B指示的速度,确定第一集合582的速度的统计测量值。例如,如果数据点582A指示速度为+3.1m/s,而数据点582B指示速度为+3.3m/s,则横摆参数模块154B可确定第一集合582的平均速度为+3.2m/s。此外,横摆参数模块还可以基于数据点583A和583B指示的速度来确定第二集合583的速度的统计测量值。例如,如果数据点583A指示速度为+3.8m/s,而数据点583B指示速度为+4.0m/s,则横摆参数模块154B可以确定第二集合583的平均速度为+3.9m/s。然后,横摆参数模块154B可以确定第一集合582和第二集合583之间的速度差。例如,其中第一集合582和第二集合583具有相应的平均速度+3.1m/s和+3.9m/s时,速度差可以为0.8m/s。在一些实施方式中,可以将0.8m/s的速度差用作横摆参数。此外,横摆参数模块154B还可以基于对第一集合582和第二集合583的速度量值的比较来确定横摆移动的方向。例如,其中第一集合582和第二集合583具有相应的平均速度+3.1m/s和+3.9m/s,则横摆移动的方向(横摆方向)可以沿图5的箭头371A所示的方向。
在一些实施方式中,横摆参数可以附加地或可替代地包括基于0.8m/s的速度差确定的横摆率。例如,至少上限横摆率和下限横摆率可以基于0.8m/s的速度差以及基于以第一集合582和第二集合583之间的空间偏移为基础的距离588来确定。距离588可以是例如点582A和582B的平均距离与点583A和583B的平均距离之间的3D距离。作为一个示例,如果距离588为4.5米,并且速度差为0.8m/s,则下限横摆速率可以是0.18弧度/秒((0.8m/s)/(4.5m)),上限横摆速率可以是0.36弧度/秒((0.8m/s)/(4.5m)(0.5))。
横摆参数模块154B可以附加地或可替代地确定第三集合584的速度的统计测量值、第四集合585的速度的统计测量值,确定第三集合584和第四集合585之间的速度差,并且基于第三集合584和第四集合585之间的速度差来确定横摆参数。例如,横摆参数可以仅基于第三集合583和第四集合584之间的速度差,或者可以基于该速度差与第一集合582和第二集合583之间的速度差的组合(例如,平均值)。此外,附加集合(未示出的集合和/或所示集合的不同组合)之间的附加速度差可以被确定并用于确定横摆参数。
在图6中,在附加车辆300周围描绘了包围框681。包围框681指示可以对应于附加车辆300的FMCW LIDAR数据的子组。包围框681可以例如由图4的对象检测和分类模块154A基于对FMCW LIDAR数据和/或其他数据的处理以检测车辆及其姿态来确定。在包围框681内示出了示例FMCW LIDAR数据点682A-H。
图4的横摆参数模块154B可以基于两个或多个FMCW LIDAR数据点682A-H之间的比较来确定附加车辆300的横摆参数。例如,横摆参数模块154B可以:基于由数据点682E和682H指示的速度之间的第一速度差以及数据点682E和682H之间的所确定的距离来确定第一横摆率(或者第一下限和上限横摆率);基于由数据点682F和682H指示的速度之间的第二速度差以及数据点682F和682H之间的所确定的距离来确定第二横摆率(或者第二下限和上限横摆率);基于由数据点682A和682D指示的速度之间的第三速度差以及数据点682A和682D之间的所确定的距离来确定第三横摆率(或者第三下限和上限横摆率);等等。继续该示例,横摆参数模块154B然后可以基于多个横摆率的组合(或多个下界横摆率的组合和多个上限横摆率的组合)确定总横摆率(或总下限和上限横摆率)。此外,横摆参数模块154B还可以基于一个或多个数据点对的量值的比较来确定横摆移动的方向。
在图7中,附加车辆300被示出为处于与图5和图6所示的不同的姿态(相对于FMCWLIDAR组件)。即,在图7中,附加车辆300垂直于FMCW LIDAR组件。在图7的附加车辆300周围描绘了包围框781,并且包围框781指示了FMCW LIDAR数据的可以对应于附加车辆300的子组。在包围框781内示出了示例FMCW LIDAR数据点782A和782B。
由于附加车辆300在图7中是垂直的,所以如果附加车辆300不正在进行横摆运动,则数据点782A和782B将指示零(或接近零)速度。另一方面,如果附加车辆300正在进行横摆运动,则数据点782A和782B将指示非零速度。图4的横摆参数模块154B可以基于数据点782A和782B之间的比较确定附加车辆300的横摆参数。例如,横摆参数模块154B可以基于确定由数据点782A和782B指示的速度之间的第一速度差是否满足阈值来确定附加车辆300是否正在进行横摆运动。
在图8中,在附加车辆300周围描绘了包围框881,并且包围框881指示了仅有两个FMCW LIDAR数据点882A和882B对应于附加车辆300。在图8中,附加车辆300远离FMCW LIDAR组件。图8中的FMCW LIDAR数据点882A和882B可以是由FMCW LIDAR单脉冲组件生成的FMCWLIDAR单脉冲数据点。图8的示例是其中FMCW LIDAR单脉冲数据点可能特别有益的一个示例。即,图8示出了下列情况:其中FMCW LIDAR单脉冲组件的更大角度精度使得能够确定两个FMCW LIDAR数据点882A和882B,而可能已经可通过FMCW LIDAR(非单脉冲组件)确定其中一个(或没有)。虽然图8是一个示例,但是应注意,图5至图7的FMCW LIDAR数据点也可以是FMCW LIDAR单脉冲数据点,并且也可以是有益的,因为例如其提高了附加车辆300的可以用于根据本文公开的实施方式确定横摆率的FMCW LIDAR数据的角度精度。FMCW LIDAR数据的这种更大角度精度可以在一些实施方式中产生更精确的横摆率确定。
图4的横摆参数模块154B可以基于FMCW LIDAR数据点882A和882B的比较确定附加车辆300的横摆参数。例如,横摆参数模块154B可以基于由数据点882A和882B指示的速度之间的速度差以及数据点882A和882B之间的所确定的距离来确定横摆率。此外,横摆参数模块154B也可以基于数据点882A和882B的速度量值的比较来确定横摆移动的方向。
根据本文公开的技术确定的横摆参数可以用于适配自我车辆的控制。关于图9描述了这种适配的一个示例,图9示出了可以如何基于所确定的横摆参数确定附加车辆300的候选轨迹,以及可以如何基于附加车辆300的候选轨迹适配车辆100的自主控制的示例。
在图9中,车辆100可以在给定实例中利用来自车辆100的FMCW LIDAR组件的FMCWLIDAR数据确定附加车辆300的横摆率。候选轨迹991示出了如果所确定的横摆率为零或接近零可以确定的候选轨迹。可以基于附加车辆300的所确定的绝对对象速度方向和量值来确定候选轨迹991,不需要基于横摆率的任何适配(因为所确定的横摆率为零或接近零)。
另一方面,候选轨迹992示出了如果所确定的横摆率指示车辆在作为相对于图9的鸟瞰图的顺时针方向的横摆方向上的横摆移动则可以确定的候选轨迹。候选轨迹992可以根据所确定的绝对速度方向和量值以及所确定的横摆率的所确定的量值和方向来确定。可以利用各种技术来确定绝对对象速度,诸如附加车辆在传感器数据(例如,MCW LIDAR数据和/或其他数据)的多个实例上的跟踪。虽然在图9中仅示出了单个候选轨迹992,但是在一些实施方式中,可以确定多个候选轨迹。例如,在如本文所述地确定下限和上限横摆率的情况下,可以基于下限横摆率确定第一候选轨迹,可以基于上限横摆率确定第二候选轨迹,并且处于第一和第二候选轨迹之间的多个轨迹(以及可选地它们之间的第一和第二候选轨迹)可以被视为是附加车辆300的候选轨迹(例如,候选轨迹区域)。
通过观察图9应明白,如果确定了车辆300的候选轨迹991,则可能必需适配对车辆100的控制,以回避附加车辆300(因为如果附加车辆300行进经过候选轨迹991,它将进入车辆100的车道)。另一方面,如果作为代替确定了候选轨迹992,则可以不必对车辆进行回避适配控制。
图9示出了可以基于给定实例的所确定的横摆率针对给定实例确定的候选轨迹。横摆率和候选轨迹将继续在多个附加实例的每一个上生成(例如,更新的横摆率和候选轨迹可以在每个控制周期(例如,以60Hz和/或其他速率)生成),由此使得能够考虑改变横摆率而连续地更新候选轨迹。此外,在给定实例中生成实例轨迹时,来自一个或多个先前实例的一个或多个候选轨迹和/或一个或多个横摆率可以被视为在给定实例中基于例如错误地确定的横摆率(例如,基于噪音数据)和/或短暂且间歇的横摆率变化平滑候选轨迹并且防止不必要的回避适配。
现在参考图10,其中提供了示出确定横摆参数以及基于所确定的横摆参数控制自动驾驶车辆的示例方法1000的流程图。为了方便,参考执行操作的系统来描述流程图的操作。该系统可以包括各种组件,诸如图1的自动驾驶车辆100的一个或多个处理器。同时,虽然以特定顺序示出了方法1000的操作,但是这无意作为限制。可以重新排序、省略或添加一个或多个操作。
在方框1002,系统从车辆的FMCW LIDAR组件接收FMCW LIDAR数据。方框1002的以迭代所接收的FMCW LIDAR数据可以是FMCW LIDAR组件所生成的数据的最近未处理(使用方法1000未处理)的实例。数据的实例可以由FMCW LIDAR组件在感测周期期间生成,并且可以被系统例如作为数据流的一部分或作为数据包接收,或经由访问共享存储器接收。
在方框1004,系统确定FMCW LIDAR数据的子组对应于附加车辆。方框1004可以可选地包括子方框1004A,其中,系统基于使用经训练的机器学习模型处理FMCW LIDAR数据和/或其他传感器数据来确定子组具有车辆分类。在一些实施方式中,可以省略子方框1004A,并且系统可以确定子组对应于附加车辆,无需利用机器学习模型。例如,系统可以利用最近邻居和/或其他聚类技术,以确定FMCW LIDAR数据的子组可能对应于附加车辆。
在方框1006,系统基于子组的FMCW LIDAR数据来确定附加车辆的一个或多个横摆参数。基于子组的FMCW LIDAR数据对应于附加车辆,系统基于子组的FMCW LIDAR数据确定横摆参数。
方框1006可以可选地包括子方框1006A和/或子方框1006B。在子方框1006A,系统基于子组的FMCW LIDAR数据的第一集合与子组的FMCW LIDAR数据的第二集合的比较确定横摆参数。例如,系统可以基于第一集合和第二集合之间的速度差,并且基于第一集合和第二集合之间的3D距离确定横摆率。系统可以基于第一集合和第二集合的比较单独地,或者也基于附加集合的附加比较来确定横摆参数。
在子方框1006B,系统可以基于使用经训练的横摆机器学习模型对子组的FMCWLIDAR数据的处理来确定横摆参数。例如,系统可以使用经训练的横摆机器学习模型处理子组的全部或部分FMCW LIDAR数据,以生成指示横摆率的输出。例如,可以如下文参考图12的方法1200所述地训练经训练的横摆机器学习模型。
在一些实施方式中,系统仅使用子方框1006A和子方框1006B其中之一确定横摆参数。在其他实施方式中,系统使用子方框1006A和子方框1006B两者确定横摆参数。例如,系统可以基于子方框1006A确定第一横摆率,基于子方框1006B确定第二横摆率,并且基于第一横摆率和第二横摆率的组合确定最终横摆率。虽然在图10中示出了子方框1006A和1006B,但是应理解,可以在方框1006中包括附加和/或可替代的子方框,诸如利用附加车辆的存储的3D模型确定横摆参数的子方框。
在方框1008,系统基于所确定的横摆参数确定是否适配对车辆的自主控制。例如,系统可以至少部分地基于所确定的横摆参数选择性地适配自主转向和/或加速/减速。方框1008可以可选地包括子方框1008A,其中,系统基于所确定的横摆参数确定附加车辆的候选轨迹,并且基于候选轨迹确定是否适配对车辆的自主控制。例如,如果附加车辆的候选轨迹以及车辆的当前有意轨迹指示附加车辆和/或附加车辆指示车辆和附加车辆之间存在碰撞的可能性,则系统可以适配对车辆的自主控制。
在方框1008,系统返回到方框1002,在方框1002,系统接收新FMCW LIDAR数据(例如,还未使用方法1000处理的最新近生成的数据),然后进行到执行方框1002、1004、1006和1008的另一迭代。虽然在图10中示出为串行的,但是方框1002、1004和/或1006的下一次迭代可以在一个或多个后续方框的前一次迭代之前并行地执行(例如,通过多个处理器和/或线程)。通过图10的方框在车辆正在行驶的同时的继续迭代,附加车辆的横摆参数可以被连续地确定并更新(当存在附加车辆时),并且基于横摆参数选择性地适配对车辆的自主控制。
现在参考图11,提供了示出确定横摆参数并基于所确定的横摆参数控制自动驾驶车辆的另一示例方法1100的流程图。为了方便,参考执行操作的系统来描述流程图的操作。该系统可以包括各种组件,诸如图1的自动驾驶车辆100的一个或多个处理器。同时,虽然以特定顺序示出了方法1000的操作,但是这无意作为限制。可以重新排序、省略或添加一个或多个操作。
在方框1102,系统从车辆的FMCW LIDAR组件接收FMCW LIDAR数据。作为一个非限制性工作示例,FMCW LIDAR数据可以是测距多普勒图像。
在方框1104,系统基于所接收的FMCW LIDAR数据确定附加车辆的横摆参数。方框1104可以可选地包括子方框1004A,在子方框1004A,系统基于使用经训练的横摆机器学习模型对FMCW LIDAR数据的处理来确定横摆参数。继续工作示例,系统可以使用经训练的横摆机器学习模型来处理全部或部分距离多普勒图像,以生成至少指示在距离多普勒图像中捕获的附加车辆的横摆率的输出。例如,系统可以处理整个距离多普勒图像以生成指示附加车辆的横摆率以及附加车辆在距离多普勒图像中的定位的指示的输出。同样地,例如,系统可以处理距离多普勒图像的与单个附加车辆相对应的一部分,并生成指示单个附加车辆的横摆率的输出。经训练的横摆机器学习模型例如可以被如下面关于图12的方法1200所述地训练。
在方框1106,系统基于所确定的横摆参数确定是否适配对车辆的自主控制。方框1106可以可选地包括子方框1106A,在子方框1106A,系统基于所确定的横摆参数确定附加车辆的候选轨迹,并基于候选轨迹确定是否适配车辆的自主控制。
在方框1106,系统返回到方框1102,在方框1102,系统接收新的FMCW LIDAR数据(例如,还未使用方法1100处理的最新近生成的数据),然后进行到执行方框1104和1106的另一迭代。虽然在图11中示出为串行的,但是方框1102、1104和/或1106的下一次迭代可以在一个或多个后续方框的前一次迭代之前并行地执行(例如,通过多个处理器和/或线程)。通过图11的方框在车辆正在行驶的同时的继续迭代,附加车辆的横摆参数可以被连续地确定并更新(当存在附加车辆时),并且基于横摆参数选择性地适配对车辆的自主控制。
现在参考图12,提供了示出训练可以用于基于FMCW LIDAR数据确定横摆率的机器学习模型的示例方法1200的流程图。为了方便,参考执行操作的系统来描述流程图的操作。该系统可以包括各种组件,诸如一个或多个计算设备的一个或多个处理器,诸如一个或多个计算设备的一个或多个图形处理单元。同时,虽然以特定顺序示出了方法1200的操作,但是这无意作为限制。可以重新排序、省略或添加一个或多个操作。
在方框1202,系统生成每个都包括训练实例输入和训练实例输出的训练实例。训练实例输入包括FMCW LIDAR数据。训练实例输出包括与训练实例输入的FMCW LIDAR数据相对应的附加车辆的横摆率的指示。附加车辆可以包括附加的自动驾驶车辆和/或非自动驾驶车辆。
作为一个特定示例,每个训练实例的训练实例输入都可以包括实例的整个FMCWLIDAR数据。例如,每个训练实例输入都可以是对应的距离多普勒图像、对应的3D点云(具有速度值和强度值)或对应的时变中频(IF)波形。在这样的特定示例中,每个训练实例的训练实例输出都可以包括例如:包围框(或其他限制指示)(如果存在),每个包围框都指示FMCWLIDAR数据的包括附加车辆的一部分;以及每个包围框(如果存在)的横摆率和横摆方向。例如,对于具有包括没有捕获任何附加车辆的FMCW LIDAR数据的训练实例输入的第一训练实例,训练实例输出可以指示没有限制指示。同样地,例如,对于具有包括捕获了单个附加车辆的FMCW LIDAR数据的训练实例输入的第二训练实例,训练实例输出可以指示单个限制指示,该限制指示指示了FMCW LIDAR数据的与单个附加车辆相对应的部分,以及该限制指示的横摆率和横摆方向。同样地,例如,对于具有包括捕获了多个附加车辆的FMCW LIDAR数据的训练实例输入的第三训练实例,训练实例输出可以指示多个限制指示,该限制指示中的每一个均指示了FMCW LIDAR数据的与多个附加车辆中的对应一个相对应的部分,以及每个限制指示的对应横摆率和对应横摆方向。
作为另一特定示例,每个训练示例的训练实例输入都可以包括实例的FMCW LIDAR数据的子组,其中,FMCW LIDAR数据的子组基于确定FMCW LIDAR数据的对应于附加车辆的子组(例如,基于使用单独的经训练对象检测和分类机器学习模型来处理实例的FMCWLIDAR数据)来选择。由于FMCW LIDAR数据的对应于附加车辆的子组可能因实例而异(例如,基于附加车辆在实例时的相应姿态),所以可以采用一种或多种技术来生成每个都为相同尺寸的训练实例输入。例如,可以将填充数据添加到小于该尺寸的子组中。同样地,例如,FMCW LIDAR数据可以上采样(小于该尺寸时)或下采样(小于该尺寸时)。在这样的特定示例中,每个训练实例的训练实例输出都可以包括例如横摆率和横摆方向。
用于训练实例的训练实例输出的附加车辆的横摆率可以基于在与训练实例的FMCW LIDAR数据的捕获时间相对应的时间的横摆率的确定。在一些实施方式中并且对于至少一些训练实例,可以基于来自附加车辆的车载横摆率传感器的输出来确定横摆率。例如,来自车载横摆率传感器的输出可以与FMCW LIDAR数据时间同步,并且被用来向多个FMCWLIDAR数据实例中的每一个指配横摆率和横摆方向。在这些实施方式中,应注意,附加车辆的车载横摆率传感器可以用于生成用于训练横摆机器学习模型的训练实例的训练实例输出。然而,在推断时间,可以使用经训练的横摆机器学习模型来生成附加车辆的横摆率预测,而无需利用来自附加车辆的横摆率传感器的数据。例如,在推断时间,可以基于使用经训练的横摆机器学习模型仅处理给定实例的FMCW LIDAR数据,生成给定实例的横摆率预测。
在各种实施方式中,可以基于对来自附加车辆的控制器局域网(CAN总线)或包括来自横摆传感器的数据的附加车辆的其他通信网络的数据的监控,确定用于生成训练实例输出的来自附加车辆的车载横摆率传感器的输出。在那些各种实施方式中的一些中,膝上型计算机或其他计算设备可以在附加车辆的移动期间被结合在附加车辆中或附加车辆上,并且可以被耦合到附加车辆的通信网络,以记录在通信网络上传输的横摆率传感器数据和/或其他数据。在附加的或可替代的实施方式中,附加车辆的车载横摆率传感器可以是附加车辆的不与CAN总线和/或附加车辆的其他集成通信网络通信的孤立传感器。例如,在附加车辆的移动期间,包括横摆率传感器和计算设备的设备套件可以被结合在附加车辆中或附加车辆上,并且计算设备可以与横摆率传感器通信地耦合,以记录和时间戳记来自传感器的传感器数据。
可以利用各种技术来使(附加车辆的)车载横摆率速度传感器的输出与(自动驾驶车辆的)FMCW LIDAR数据时间同步,以使得能够将给定横摆率和给定横摆方向指配给对应的FMCW LIDAR数据实例。例如,记录来自附加车辆的横摆率数据的附加车辆的计算设备可以使用计算设备的本地时钟来对横摆率数据进行时间戳记。同样地,自动驾驶车辆的本地时钟可以对FMCW LIDAR数据进行时间戳记。横摆率数据的时间戳和FMCW LIDAR数据的时间戳可以用于配对FMCW LIDAR数据实例和对应的横摆率数据。例如,本地时钟可能在收集数据之前已被最近同步,并且时间戳被认为是同步的。同样地,例如,可以(在收集数据之前或之后)确定本地时钟之间的增量,该增量用于确定FMCW LIDAR数据的哪些时间戳对应于横摆率数据的哪些时间戳。
在一些附加的或可替代的实施方式中,并且对于至少一些训练实例,可以基于自动化横摆率确定技术确定横摆率,自动化横摆率确定技术至少部分地基于对捕获附加车辆的FMCW LIDAR数据(和/或其他传感器数据)的一个或多个先前/后续实例的分析,确定针对给定实例的横摆率。在这些实施方式中,应注意,可以在生成用于训练横摆机器学习模型的训练实例的训练实例输出时利用FMCW LIDAR数据的先前和/或后续实例。然而,在推断时间,可以使用针对给定实例的经训练的横摆机器学习模型和FMCW LIDAR数据,无需采用先前和/或后续FMCW LIDAR数据,生成针对给定实例的附加车辆的横摆率预测。例如,在推断时间,可以使用经训练的横摆机器学习模型,无需处理任何后续FMCW LIDAR数据(以及可选地在已经生成和/或接收后续FMCW LIDAR数据之前),基于对给定实例的FMCW LIDAR数据的处理,生成针对给定实例的横摆率预测。
在方框1204,系统选择在方框1202生成的训练实例中的训练实例。
在方框1206,系统基于使用机器学习模型处理实例的训练实例输入来生成预测。在一些实施方式中,机器学习模型可以是神经网络模型,诸如前馈神经网络模型。例如,机器学习模型可以是包括一个或多个卷积层的前馈卷积神经网络(CNN)。
在方框1208,系统基于预测与训练实例的训练实例输出的比较来生成损失。例如,可以基于预测与训练实例输出之间的差来确定误差,并基于误差的量值来确定损失。
在方框1210,系统基于损失更新机器学习模型。例如,系统可以通过基于损失执行机器学习模型的反向传播,更新机器学习模型的感知机权重。
在方框1212,系统确定是否执行进一步的训练。如果系统确定执行进一步的训练,则系统执行方框1204、1206、1208和1210的另一迭代。在一些实施方式中,如果仍存在任何未处理的训练实例,则系统确定执行进一步的训练。在一些实施方式中,系统基于一个或多个附加或可替代标准确定是否执行进一步的训练。例如,系统可以基于是否执行了阈值数量的训练时期,基于确定使用机器学习模型生成的最近预测满足标准,和/或基于其他标准/多条标准,确定是否执行进一步的训练。
如果,在方框1214,系统确定不执行进一步的训练,则系统进行到方框1214。在方框1214,系统提供经训练的机器学习模型,以用于基于FMCW LIDAR数据确定附加车辆的横摆率。例如,系统可以提供经训练的机器学习模型,以用于图10的方法1000或图11的方法1100。
虽然关于基于预测和单个训练实例的训练实例输出生成损失描述了方法1200,但是在各种实施方式中,可以利用批处理技术,其中基于一批训练实例的一批预测和训练实例输出确定损失。例如,可以在方框1208的每次迭代之前执行方框1204和1206的多次迭代,并且在方框1208每次迭代时,系统都可以基于方框1204和1206的最近迭代生成损失。
如本文所述,可以利用根据图12的方法1200的实施方式训练的经训练机器学习模型来确定附加车辆的横摆参数。如进一步所述的,可以使用经训练的机器学习模型的一些实施方式来处理LIDAR数据并基于对LIDAR数据的处理来生成输出,该输出直接地或间接地指示被LIDAR数据捕获的附加车辆的横摆参数。在那些实施方式中的一些中,经处理的LIDAR数据可以是已经被确定为对应于附加车辆的LIDAR数据的子集。例如,可以利用附加的经训练机器学习模型来检测对应于附加车辆的一部分LIDAR数据,并且使用经训练的机器学习模型来处理该部分LIDAR数据。如进一步所述的,可以使用经训练的机器学习模型的各种实施方式来处理LIDAR数据并基于对LIDAR数据的处理生成输出,该输出指示限制指示,每个限制指示都指示与对应车辆相对应的FMCM LIDAR数据的一部分,以及每个限制指示的对应横摆率和对应横摆方向。因而,在那些各种实施方式中,可以训练经训练的机器学习模型来用于执行附加车辆的检测,以及确定经检测的附加车辆的横摆参数。
关于训练可以用于基于FMCM LIDAR数据确定横摆率的机器学习模型描述了图12的方法1200。然而,在许多实施方式中,方法1200可以被适配以训练下列机器学习模型,该机器学习模型可以用于基于FMCM LIDAR数据和/或基于其他传感器数据(例如,非FMCMLIDAR数据、基于相机的图像和/或其他视觉传感器数据)来确定附加车辆的附加和/或可替代参数。
作为这种适配的一个示例,在步骤1202的变体中,系统可以生成训练实例,每个训练实例都包括具有相位相干LIDAR数据(FMCM LIDAR数据或其他相位相干LIDAR数据)的训练实例输入,并且包括训练实例输出,该训练实例输出包括与训练实例输入的相位相干LIDAR数据相对应的附加车辆的速度、加速度和/或航向的指示。附加车辆可以包括附加自动驾驶车辆和/或非自动驾驶车辆。在训练实例输出中,针对给定附加车辆的速度、加速度和/或航向的指示可以基于来自附加车辆的对应传感器的输出。例如,指示可以基于对来自CAN总线或附加车辆的其他通信网络的对应数据的监控和/或基于对不与CAN总线和/或附加车辆的其他集成通信网络通信的附加车辆的孤立传感器的监控来确定。可以利用各种技术将(附加车辆的)速度、加速度和/或航向与(自动驾驶车辆的)相位相干LIDAR数据时间同步,从而使得能够将给定速度、给定加速度和/或给定航向指配给对应的相位相干LIDAR数据实例。
作为适配的一个特定示例,每个训练实例的训练实例输入都可以包括实例的整个相位相干LIDAR数据。例如,每个训练实例输入都可以是对应的距离多普勒图像、对应的3D点云(具有速度值和强度值),或者对应的时变中频(IF)波形。这种特定示例中的每个训练实例的训练实例输出都可以包括例如:每个都指示包括附加车辆的相位相干LIDAR数据一部分的包围框(或其他限制指示)(如果存在);以及针对每个包围框(如果存在)的速度、加速度和/或航向的指示。
作为适配的另一特定示例,每个训练示例的训练实例输入都可以包括实例的相位相干LIDAR数据的子组,其中,相位相干LIDAR数据的子组基于确定相位相干LIDAR数据的子组对应于附加车辆(例如,基于使用单独的经训练的对象检测和分类机器学习模型对实例的相位相干LIDAR数据的处理)来选择。这种特定示例中的每个训练实例的训练实例输出都可以包括例如针对附加车辆的速度、加速度和/或航向的指示。
因而,本文所述的各种实施方式可以生成训练实例,该训练实例包括基于自动驾驶车辆的传感器数据的训练实例输入并且包括基于附加车辆的传感器数据的训练实例输出,其中,附加车辆至少部分地由自动驾驶车辆的传感器数据捕获。基于这些训练实例训练机器学习模型可以使得能够使用机器学习模型处理来自自动驾驶车辆的传感器数据,从而预测被至少部分地基于传感器数据捕获的附加车辆的一个或多个特性。通过本文的说明应明白,可以自动地并且没有(或很少)人工干预地执行这些训练实例的生成。例如,可以基于附加车辆的传感器数据生成针对训练实例的监督标签,消除了人工审核员提供此类监督标签的需求(并避免了与此类人工加标签相关联的各种计算资源的消耗),和/或在人工无法基于对训练实例输入的审查而生成标签的情况下,能够进行准确的自动加监督标签。

Claims (24)

1.一种基于附加车辆的所确定的横摆参数来适配自动驾驶车辆的自主控制的方法,所述方法包括:
从车辆的相位相干光检测和测距(LIDAR)组件接收所述相位相干LIDAR组件的感测周期的LIDAR数据点的组,所述组的所述LIDAR数据点中的每个指示环境中的对应点的对应范围和对应速度,并且所述组的所述LIDAR数据点中的每个基于所述相位相干LIDAR组件在所述感测周期期间的对应感测事件来生成;
确定所述组的所述LIDAR数据点的子组对应于除所述车辆之外的附加车辆;
基于确定所述子组对应于所述附加车辆:
基于所述子组中的多个所述LIDAR数据点来确定所述附加车辆的横摆参数;并且
基于所述附加车辆的所确定的横摆参数来适配所述车辆的自主控制。
2.根据权利要求1所述的方法,其中,确定所述组的所述LIDAR数据点的所述子组对应于所述附加车辆包括:
使用经训练的机器学习模型处理所述组的所述LIDAR数据点;
基于使用所述经训练的机器学习模型对所述组的所述LIDAR数据点的处理,生成指示所述子组具有车辆分类的输出;以及
基于指示所述子组具有所述车辆分类的输出,确定所述子组对应于所述附加车辆。
3.根据权利要求1所述的方法,其中,基于所述子组的所述多个LIDAR数据点确定所述附加车辆的所述横摆参数包括:
确定所述子组的所述多个LIDAR数据点中的一个或多个的第一集合;
基于所述子组的所述多个LIDAR数据点中的一个或多个的第二集合在空间上与所述第一集合偏移,确定所述第二集合;以及
基于所述第一集合与所述第二集合的比较确定所述横摆参数。
4.根据权利要求3所述的方法,其中,确定所述第一集合和所述第二集合相对于彼此在空间上偏移至少部分地基于由所述第一集合和所述第二集合指示的所述对应范围。
5.根据权利要求3所述的方法,其中,基于所述第一集合与所述第二集合的比较来确定所述附加车辆的所述横摆参数包括:
基于所述第一集合的第一设定速度量值与所述第二集合的第二设定速度量值的比较来确定所述横摆参数,其中,所述第一设定速度量值基于所述第一集合的所述对应速度,并且其中,所述第二设定速度量值基于所述第二集合的所述对应速度。
6.根据权利要求5所述的方法,其中,所述附加车辆的所述横摆参数包括所述附加车辆的横摆率,并且其中,基于所述第一集合与所述第二集合的比较来确定所述附加车辆的所述横摆参数进一步包括:
基于所述第一集合和所述第二集合之间的空间偏移来确定距离:和
基于下列参数来确定所述横摆率:
所述第一设定速度量值与所述第二设定速度量值的比较,和
所述距离。
7.根据权利要求6所述的方法,其中,基于所述第一设定速度量值和所述第二设定速度量值的比较以及所述距离来确定所述横摆率包括:
基于所述第一设定速度量值和所述第二设定速度量值的比较来确定所述第一设定速度量值和所述第二设定速度量值之间的速度差;并且
基于所述距离将所述速度差转换成所述横摆率。
8.根据权利要求5所述的方法,其中,所述附加车辆的所述横摆参数是所述附加车辆的下限横摆率,并且进一步包括基于所述第一集合与所述第二集合之间的比较确定所述附加车辆的附加横摆参数,所述附加横摆参数是上限横摆率。
9.根据权利要求8所述的方法,进一步包括:
基于所述第一集合和所述第二集合之间的空间偏移确定距离;
基于所述第一设定速度量值与所述第二设定速度量值的比较来确定所述第一设定速度量值和所述第二设定速度量值之间的速度差;
其中,确定所述下限横摆率包括:
将所述速度差除以所述距离。
10.根据权利要求9所述的方法,其中,确定所述上限横摆率包括:
将所述速度差除以下述值:所述值基于所述距离,但是所述值的量值相对于所述距离减小。
11.根据权利要求5所述的方法,其中,所述第一集合包括所述多个LIDAR数据点中的多个,并且所述第一设定速度量值基于所述多个LIDAR数据点中的多个的对应速度来确定。
12.根据权利要求11所述的方法,其中,所述第一设定速度量值基于所述多个LIDAR数据点中的多个的对应速度的平均值。
13.根据权利要求3所述的方法,其中,所述横摆参数包括横摆率,并且其中,基于所述第一集合与所述第二集合的比较确定所述附加车辆的所述横摆参数包括:
基于第一设定速度量值与第二设定速度量值的比较来确定速度差,其中,所述第一设定速度量值基于所述第一集合的对应速度,并且其中,所述第二设定速度量值基于所述第二集合的对应速度;
识别所述附加车辆的存储模型;以及
基于所述附加车辆的存储模型将所述速度差转换为所述横摆率。
14.根据权利要求13所述的方法,其中,识别所述附加车辆的所述存储模型包括:
基于所述子组的LIDAR数据点,从多个候选存储模型中选择所述存储模型。
15.根据权利要求1所述的方法,其中,所述横摆参数包括横摆率和横摆方向,并且其中,基于所述子组的所述多个LIDAR数据点来确定所述附加车辆的所述横摆参数包括:
使用经训练的机器学习模型来处理所述子组的所述多个LIDAR数据点;
基于使用所述经训练的机器学习模型对所述组的所述LIDAR数据点的处理,生成指示所述横摆率和所述横摆方向的输出;以及
基于所述输出来确定所述横摆率和所述横摆方向。
16.根据权利要求15所述的方法,其中,使用所述经训练的机器学习模型来处理所述子组的所述多个FMCW LIDAR数据点包括:使用所述经训练的机器学习模型来处理所述子组的所有所述LIDAR数据点。
17.根据权利要求1所述的方法,其中,所述附加车辆的所述横摆参数是指示横摆率的速度差,并且其中,基于所述附加车辆的所确定的横摆参数适配所述车辆的自主控制包括:基于所述速度差超过阈值来适配所述自主控制。
18.根据权利要求1所述的方法,其中,所述附加车辆的所述横摆参数包括横摆率和横摆方向。
19.根据权利要求1所述的方法,其中,基于所述附加车辆的所确定的横摆参数适配所述车辆的自主控制包括改变以下中的至少一个:
所述车辆的速度,和
所述车辆的方向。
20.根据权利要求19所述的方法,其中,所述横摆参数是横摆率,并且其中,基于所述附加车辆的所确定的横摆率适配所述车辆的自主控制响应于确定所确定的横摆率满足阈值。
21.根据权利要求1所述的方法,其中,基于所述附加车辆的所确定的横摆参数适配所述车辆的自主控制包括:
基于所确定的横摆参数确定所述附加车辆的至少一个候选轨迹;并且
基于所述至少一个候选轨迹适配所述车辆的自主控制。
22.根据权利要求1所述的方法,其中,所述LIDAR组件是LIDAR单脉冲组件,并且其中,所述LIDAR组件的所述对应感测事件各自包括在所述LIDAR单脉冲组件的第一接收器处的第一接收器感测事件以及在所述LIDAR单脉冲组件的第二接收器处的第二接收器感测事件。
23.一种基于附加车辆的所确定的横摆率适配自动驾驶车辆的自主控制的方法,所述方法包括:
从车辆的相位相干光检测和测距(LIDAR)组件接收捕获所述车辆的环境的LIDAR数据,
对于所述车辆的环境中的多个点中的每个点,所述LIDAR数据指示基于所述LIDAR组件的对应感测事件的至少一个对应范围和至少一个对应速度;
确定所述LIDAR数据的子组对应于所述环境中的、除所述车辆之外的附加车辆;
确定所述附加车辆的横摆率,所述确定基于由所述子组的所述LIDAR数据指示的多个对应速度;以及
基于所述附加车辆的所确定的横摆率适配所述车辆的自主控制。
24.一种自动驾驶车辆,包括:
相位相干光检测和测距(LIDAR)组件;
一个或多个处理器,所述一个或多个处理器执行所存储的计算机指令以:
从所述相位相干LIDAR组件接收捕获所述车辆的环境的LIDAR数据,
对于所述车辆的环境中的多个点中的每个点,所述LIDAR数据指示基于所述相位相干LIDAR组件的对应感测事件的至少一个对应范围和至少一个对应速度;
基于由所述相位相干LIDAR数据指示的多个所述对应速度,确定所述车辆的环境中的附加车辆的横摆参数;以及
基于所述附加车辆的所确定的横摆参数适配所述车辆的自主控制。
CN201980024410.0A 2018-04-11 2019-03-28 基于附加车辆的所确定的横摆参数控制自动驾驶车辆 Active CN112313133B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862655965P 2018-04-11 2018-04-11
US62/655,965 2018-04-11
US16/173,660 2018-10-29
US16/173,660 US10906536B2 (en) 2018-04-11 2018-10-29 Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle
PCT/US2019/024672 WO2019199474A1 (en) 2018-04-11 2019-03-28 Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle

Publications (2)

Publication Number Publication Date
CN112313133A true CN112313133A (zh) 2021-02-02
CN112313133B CN112313133B (zh) 2024-05-17

Family

ID=68160190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980024410.0A Active CN112313133B (zh) 2018-04-11 2019-03-28 基于附加车辆的所确定的横摆参数控制自动驾驶车辆

Country Status (6)

Country Link
US (5) US10676085B2 (zh)
EP (1) EP3774477B1 (zh)
JP (1) JP7358384B2 (zh)
KR (2) KR102464758B1 (zh)
CN (1) CN112313133B (zh)
WO (2) WO2019199474A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114025153A (zh) * 2021-03-05 2022-02-08 黑芝麻智能科技有限公司 LiDAR辅助的轮编码器到相机的校准
CN116279457A (zh) * 2023-05-15 2023-06-23 北京斯年智驾科技有限公司 基于雷达点云的防撞方法、装置、设备及存储介质

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110168311B (zh) 2016-11-29 2021-12-17 布莱克莫尔传感器和分析有限责任公司 用于以点云数据集合对对象进行分类的方法和系统
EP3548841A4 (en) 2016-11-30 2020-06-10 Blackmore Sensors And Analytics Inc. METHOD AND SYSTEM FOR DOPPLER DETECTION AND DOPPLER CORRECTION OF THE OPTICAL DETECTION OF THE CHIRPED AREA
CN110140064B (zh) 2016-11-30 2023-07-18 布莱克莫尔传感器和分析有限责任公司 利用光学测距系统进行自动实时自适应扫描的方法和系统
US11624828B2 (en) 2016-11-30 2023-04-11 Blackmore Sensors & Analytics, Llc Method and system for adaptive scanning with optical ranging systems
US10422880B2 (en) 2017-02-03 2019-09-24 Blackmore Sensors and Analytics Inc. Method and system for doppler detection and doppler correction of optical phase-encoded range detection
US10401495B2 (en) 2017-07-10 2019-09-03 Blackmore Sensors and Analytics Inc. Method and system for time separated quadrature detection of doppler effects in optical range measurements
US11307309B2 (en) * 2017-12-14 2022-04-19 COM-IoT Technologies Mobile LiDAR platforms for vehicle tracking
US11620419B2 (en) * 2018-01-24 2023-04-04 Toyota Research Institute, Inc. Systems and methods for identifying human-based perception techniques
US11550061B2 (en) 2018-04-11 2023-01-10 Aurora Operations, Inc. Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data
US10676085B2 (en) 2018-04-11 2020-06-09 Aurora Innovation, Inc. Training machine learning model based on training instances with: training instance input based on autonomous vehicle sensor data, and training instance output based on additional vehicle sensor data
WO2019209727A1 (en) * 2018-04-23 2019-10-31 Blackmore Sensors and Analytics Inc. Method and system for controlling autonomous vehicle using coherent range doppler optical sensors
US10839262B2 (en) * 2018-04-24 2020-11-17 Here Global B.V. Machine learning a feature detector using synthetic training data
JP6661695B2 (ja) * 2018-05-09 2020-03-11 三菱電機株式会社 移動体検出装置、車両制御システム、移動体検出方法および車両制御方法
US11354406B2 (en) * 2018-06-28 2022-06-07 Intel Corporation Physics-based approach for attack detection and localization in closed-loop controls for autonomous vehicles
USD922889S1 (en) * 2018-06-29 2021-06-22 Zoox, Inc. Sensor housing
US11726210B2 (en) 2018-08-05 2023-08-15 COM-IoT Technologies Individual identification and tracking via combined video and lidar systems
US11061406B2 (en) * 2018-10-22 2021-07-13 Waymo Llc Object action classification for autonomous vehicles
US11403492B2 (en) 2018-11-02 2022-08-02 Aurora Operations, Inc. Generating labeled training instances for autonomous vehicles
US11829143B2 (en) 2018-11-02 2023-11-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11256263B2 (en) 2018-11-02 2022-02-22 Aurora Operations, Inc. Generating targeted training instances for autonomous vehicles
US11086319B2 (en) 2018-11-02 2021-08-10 Aurora Operations, Inc. Generating testing instances for autonomous vehicles
US11209821B2 (en) 2018-11-02 2021-12-28 Aurora Operations, Inc. Labeling autonomous vehicle data
CA3173997A1 (en) * 2018-11-13 2020-05-22 Blackmore Sensors & Analytics, Llc Method and system for laser phase tracking for internal reflection subtraction in phase-encoded lidar
US10831209B2 (en) * 2018-12-19 2020-11-10 Fca Us Llc Using a long-term recurrent convolutional network to plan a sequence of lateral controls in autonomous driving
US11822010B2 (en) 2019-01-04 2023-11-21 Blackmore Sensors & Analytics, Llc LIDAR system
JP2020148593A (ja) * 2019-03-13 2020-09-17 株式会社明電舎 自動操縦ロボットを制御する操作推論学習モデルの学習システム及び学習方法
CN109782015A (zh) * 2019-03-21 2019-05-21 同方威视技术股份有限公司 激光测速方法、控制装置和激光测速仪
US11016496B2 (en) 2019-04-10 2021-05-25 Argo AI, LLC Transferring synthetic LiDAR system data to real world domain for autonomous vehicle training applications
KR20210050052A (ko) * 2019-10-25 2021-05-07 현대모비스 주식회사 자동차용 센서 통합 모듈
US11657290B2 (en) * 2019-10-28 2023-05-23 Robert Bosch Gmbh System and method with a robust deep generative model
US11531107B2 (en) * 2019-11-19 2022-12-20 Volvo Car Corporation Long range LIDAR-based speed estimation
US10732261B1 (en) * 2019-12-31 2020-08-04 Aurora Innovation, Inc. Generating data using radar observation model based on machine learning
US11906967B1 (en) * 2020-03-31 2024-02-20 Zoox, Inc. Determining yaw with learned motion model
US10733463B1 (en) 2020-03-31 2020-08-04 Lyft, Inc. Systems and methods for augmenting perception data with supplemental information
US11782451B1 (en) * 2020-04-21 2023-10-10 Aurora Operations, Inc. Training machine learning model for controlling autonomous vehicle
US11919529B1 (en) 2020-04-21 2024-03-05 Aurora Operations, Inc. Evaluating autonomous vehicle control system
US12007791B2 (en) 2020-05-11 2024-06-11 Soter Technology Inc Multi-drone/sensor platform with information lateralization and federated path planning
EP3935413A4 (en) * 2020-05-15 2022-03-30 Baidu.com Times Technology (Beijing) Co., Ltd. PARTLY POINT CLOUD BASED METHOD OF ESTIMATING THE SPEED OF A PEDESTRIAN
KR102283237B1 (ko) * 2020-05-29 2021-07-29 서울대학교산학협력단 데이터 주도 기계학습 기반 차량 조향 특성 모델 실시간 규명 장치 및 방법
CA3181067A1 (en) 2020-06-05 2021-12-09 Gautam Narang Method and system for context-aware decision making of an autonomous agent
CA3180999A1 (en) 2020-06-05 2021-12-09 Gatik Ai Inc. Method and system for deterministic trajectory selection based on uncertainty estimation for an autonomous agent
US11124204B1 (en) * 2020-06-05 2021-09-21 Gatik Ai Inc. Method and system for data-driven and modular decision making and trajectory generation of an autonomous agent
US11989020B1 (en) 2020-07-14 2024-05-21 Aurora Operations, Inc. Training machine learning model(s), in simulation, for use in controlling autonomous vehicle(s)
US11960290B2 (en) * 2020-07-28 2024-04-16 Uatc, Llc Systems and methods for end-to-end trajectory prediction using radar, LIDAR, and maps
US20220128995A1 (en) * 2020-10-22 2022-04-28 Waymo Llc Velocity estimation and object tracking for autonomous vehicle applications
US11841439B2 (en) * 2020-11-02 2023-12-12 Waymo Llc Point cloud segmentation using a coherent lidar for autonomous vehicle applications
GB2600695A (en) * 2020-11-03 2022-05-11 Daimler Ag A method for estimating an attribute of an entity for an autonomous control system such as an at least partially autonomous motor vehicle
US20220141804A1 (en) * 2020-11-04 2022-05-05 Huawei Technologies Co., Ltd. Waveform adaptation for integrated communications and sensing
WO2022104259A1 (en) * 2020-11-16 2022-05-19 Oculii Corp. System and method for radar-based localization and/or mapping
US11656629B1 (en) 2020-12-08 2023-05-23 Waymo Llc Detection of particulate matter in autonomous vehicle applications
JP7472784B2 (ja) * 2020-12-28 2024-04-23 トヨタ自動車株式会社 車両電子制御装置、車両電子制御方法及び車両制御プログラム
EP4320019A1 (en) * 2021-04-07 2024-02-14 Ridecell, Inc. A systematic approach towards system identification based yaw rate estimation with low-cost imu+gps units
US11734909B2 (en) * 2021-05-04 2023-08-22 Ford Global Technologies, Llc Machine learning
WO2023069556A1 (en) * 2021-10-19 2023-04-27 Cyngn, Inc. System and method of same-loop adaptive simulation for autonomous driving
KR102647477B1 (ko) * 2022-06-21 2024-03-14 (주)뉴빌리티 자율주행을 위한 횡방향 제어 장치 및 방법

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001291197A (ja) * 2000-04-07 2001-10-19 Honda Motor Co Ltd 車両制御装置
JP2004017731A (ja) * 2002-06-14 2004-01-22 Hitachi Ltd 自動車の走行制御装置,道路情報提供サービスシステム,自動車の走行制御方法
CN1668938A (zh) * 2002-07-15 2005-09-14 汽车系统实验室公司 道路曲率估计和车辆目标状态估计系统
US20070118263A1 (en) * 2005-11-22 2007-05-24 Nelson Frederick W Direction determination utilizing vehicle yaw rate and change in steering position
EP2112042A1 (en) * 2008-04-25 2009-10-28 Ford Global Technologies, LLC Yaw stability control system capable of returning the vehicle to a pre body-force-disturbance heading
CN103496366A (zh) * 2013-09-09 2014-01-08 北京航空航天大学 一种基于车车协同的主动换道避撞控制方法与装置
US8825265B1 (en) * 2012-03-16 2014-09-02 Google Inc. Approach for consolidating observed vehicle trajectories into a single representative trajectory
RU2617727C1 (ru) * 2015-12-02 2017-04-26 Общество с ограниченной ответственностью "КБ Аврора" Способ определения относительного взаимного положения ведущего и ведомого транспортного средства и устройство для его осуществления
CN106828492A (zh) * 2013-05-03 2017-06-13 谷歌公司 对控制车辆的速度的预测性推理
CN107074241A (zh) * 2014-10-20 2017-08-18 米兰综合工科大学 估计车辆侧滑角度的方法、实施所述方法的计算机程序、装载有所述计算机程序的控制单元以及包括所述控制单元的车辆
WO2017158768A1 (ja) * 2016-03-16 2017-09-21 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
CN107192409A (zh) * 2016-03-14 2017-09-22 通用汽车环球科技运作有限责任公司 自动传感器姿态估计的方法
CN107627564A (zh) * 2017-11-02 2018-01-26 东莞市欧若拉精密塑料制品有限公司 模具及其抽芯强脱顶出机构
EP3285230A1 (en) * 2016-08-19 2018-02-21 Autoliv Development AB Enhanced object detection and motion estimation for a vehicle environment detection system
US20180089538A1 (en) * 2016-09-29 2018-03-29 The Charles Stark Draper Laboratory, Inc. Autonomous vehicle: object-level fusion

Family Cites Families (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3477616A (en) * 1968-01-16 1969-11-11 Mainar Sa Ind Metering device
US3987297A (en) 1975-06-09 1976-10-19 United Technologies Corporation Monopulse optical receiver system
SE432224B (sv) * 1983-08-04 1984-03-26 Stig Holmgren Sekerhetsinrettning vid fordon
US7629899B2 (en) 1997-10-22 2009-12-08 Intelligent Technologies International, Inc. Vehicular communication arrangement and method
JP3651259B2 (ja) * 1998-05-01 2005-05-25 日産自動車株式会社 先行車追従制御装置
DE19851027C2 (de) * 1998-11-05 2000-09-21 Daimler Chrysler Ag Kopfstütze für Fahrzeugsitze
DE10148071A1 (de) * 2001-09-28 2003-04-17 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und Verfolgung von Objekten
DE10353348A1 (de) 2003-11-14 2005-06-02 Ibeo Automobile Sensor Gmbh Verfahren zur Verfolgung von Objekten
US8473140B2 (en) 2005-10-21 2013-06-25 Deere & Company Networked multi-role robotic vehicle
US8050863B2 (en) 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
US7744154B2 (en) * 2008-07-30 2010-06-29 Cosco Management, Inc. Energy-dissipation system
US8229663B2 (en) * 2009-02-03 2012-07-24 GM Global Technology Operations LLC Combined vehicle-to-vehicle communication and object detection sensing
CN103733538A (zh) 2011-04-14 2014-04-16 诺基亚西门子网络公司 利用单载波小区聚合的联合传输CoMP
DE102013100446B4 (de) * 2012-01-25 2020-01-09 Denso Corporation Spurhalte-Steuersystem
EP2637072B1 (en) * 2012-03-05 2017-10-11 Volvo Car Corporation Path following of a target vehicle
DE102012008391A1 (de) * 2012-04-26 2013-10-31 Trw Automotive Gmbh Fahrzeuginsassenschutzsystem
US8849557B1 (en) * 2012-11-15 2014-09-30 Google Inc. Leveraging of behavior of vehicles to detect likely presence of an emergency vehicle
US8849494B1 (en) 2013-03-15 2014-09-30 Google Inc. Data selection by an autonomous vehicle for trajectory modification
US9463725B2 (en) * 2013-04-03 2016-10-11 AISIN Technical Center of America, Inc. Comfort headrest
US8983705B2 (en) * 2013-04-30 2015-03-17 Google Inc. Methods and systems for detecting weather conditions including fog using vehicle onboard sensors
EP3456597B1 (en) 2013-04-11 2023-06-07 Waymo Llc Methods and systems for detecting weather conditions using vehicle onboard sensors
US9523772B2 (en) * 2013-06-14 2016-12-20 Microsoft Technology Licensing, Llc Object removal using lidar-based classification
KR101470221B1 (ko) * 2013-10-17 2014-12-05 현대자동차주식회사 현가 제어 장치 및 그 방법
US9851433B2 (en) * 2013-12-19 2017-12-26 DSCG Solutions, Inc. Single laser LIDAR system
EP3114574A4 (en) 2014-03-03 2018-03-07 Inrix, Inc. Traffic obstruction detection
US9834207B2 (en) * 2014-04-15 2017-12-05 GM Global Technology Operations LLC Method and system for detecting, tracking and estimating stationary roadside objects
US10012734B2 (en) * 2014-05-21 2018-07-03 DSCG Solutions, Inc. Devices, systems, and methods for real time tracking of an object
CA2902601A1 (en) * 2014-09-02 2016-03-02 Olivia Wakeman Multi-function customizable cover
KR20160093465A (ko) 2015-01-29 2016-08-08 엘지전자 주식회사 차량용 레이더 장치, 차량 운전 보조 장치, 차량 및 차량용 레이더 장치의 동작 방법
JP6626957B2 (ja) 2015-04-07 2019-12-25 ストローブ, インク.Strobe, Inc. 小型lidarシステム
JP6330712B2 (ja) * 2015-04-08 2018-05-30 トヨタ自動車株式会社 障害物検出装置
WO2017013750A1 (ja) * 2015-07-21 2017-01-26 日産自動車株式会社 運転計画装置、走行支援装置、運転計画方法
US9481277B1 (en) * 2015-09-23 2016-11-01 Ford Global Technologies, Llc Adjustable headrest
US9606539B1 (en) 2015-11-04 2017-03-28 Zoox, Inc. Autonomous vehicle fleet service and system
US9632502B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US9734455B2 (en) 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US10220752B2 (en) * 2016-01-13 2019-03-05 Ford Global Technologies, Llc Adjustable headrest assembly with neck support feature
US9940834B1 (en) 2016-01-22 2018-04-10 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
JP6480366B2 (ja) * 2016-03-14 2019-03-06 株式会社Soken 自動運転制御装置、自動運転制御方法、および運転情報出力方法
JP2019510240A (ja) 2016-03-15 2019-04-11 ソルファイス リサーチ、インコーポレイテッド 車両認知を提供するためのシステム及び方法
EP3432285A4 (en) * 2016-03-16 2019-03-27 Panasonic Intellectual Property Management Co., Ltd. FAHRANALYSE DEVICE AND FAIR ANALYSIS SYSTEM
JPWO2017168586A1 (ja) * 2016-03-29 2019-03-07 パイオニア株式会社 算出装置、制御方法、プログラム及び記憶媒体
JP6500826B2 (ja) * 2016-04-08 2019-04-17 トヨタ自動車株式会社 乗員保護装置
US20200222010A1 (en) 2016-04-22 2020-07-16 Newton Howard System and method for deep mind analysis
US20180188736A1 (en) 2016-08-16 2018-07-05 Faraday&Future Inc. System and method for vehicle localization assistance using sensor data
US20180053102A1 (en) 2016-08-16 2018-02-22 Toyota Jidosha Kabushiki Kaisha Individualized Adaptation of Driver Action Prediction Models
US10592805B2 (en) 2016-08-26 2020-03-17 Ford Global Technologies, Llc Physics modeling for radar and ultrasonic sensors
GB201616097D0 (en) 2016-09-21 2016-11-02 Univ Oxford Innovation Ltd Segmentation of path proposals
US20180113210A1 (en) 2016-10-21 2018-04-26 Waymo Llc Mountable Radar System
US20180136332A1 (en) 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
EP3563265B1 (en) 2016-12-30 2021-06-02 DeepMap Inc. High definition map updates
WO2018127789A1 (en) * 2017-01-03 2018-07-12 Innoviz Technologies Ltd. Lidar systems and methods for detection and classification of objects
US10145945B2 (en) 2017-01-11 2018-12-04 Toyota Research Institute, Inc. Systems and methods for automatically calibrating a LIDAR using information from a secondary vehicle
US10409279B2 (en) 2017-01-31 2019-09-10 GM Global Technology Operations LLC Efficient situational awareness by event generation and episodic memory recall for autonomous driving systems
US10127814B2 (en) 2017-02-03 2018-11-13 Ford Global Technologies, Llc Advanced V2X event dissemination
JP6542824B2 (ja) * 2017-03-13 2019-07-10 ファナック株式会社 入力画像から検出した対象物の像の尤度を計算する画像処理装置および画像処理方法
US10252688B2 (en) * 2017-03-22 2019-04-09 Ford Global Technologies, Llc Monitoring a vehicle cabin
US10037613B1 (en) 2017-03-30 2018-07-31 Uber Technologies, Inc. Systems and methods to track vehicles proximate perceived by an autonomous vehicle
JP2018176792A (ja) * 2017-04-03 2018-11-15 本田技研工業株式会社 車両シート制御装置、車両シート制御方法、及びプログラム
CN110800273B (zh) * 2017-04-24 2024-02-13 卡内基梅隆大学 虚拟传感器系统
US10262234B2 (en) 2017-04-24 2019-04-16 Baidu Usa Llc Automatically collecting training data for object recognition with 3D lidar and localization
US10007269B1 (en) 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
US11209825B2 (en) 2017-07-01 2021-12-28 International Business Machines Corporation Moving traffic obstacle detection and avoidance
US10416681B2 (en) 2017-07-12 2019-09-17 Mitsubishi Electric Research Laboratories, Inc. Barcode: global binary patterns for fast visual inference
US10558224B1 (en) 2017-08-10 2020-02-11 Zoox, Inc. Shared vehicle obstacle data
US10216189B1 (en) 2017-08-23 2019-02-26 Uber Technologies, Inc. Systems and methods for prioritizing object prediction for autonomous vehicles
US10503170B2 (en) 2017-08-28 2019-12-10 GM Global Technology Operations LLC Method and apparatus for monitoring an autonomous vehicle
US10591605B2 (en) 2017-10-19 2020-03-17 Gerard Dirk Smits Methods and systems for navigating a vehicle including a novel fiducial marker system
EP3477616A1 (en) 2017-10-27 2019-05-01 Sigra Technologies GmbH Method for controlling a vehicle using a machine learning system
US11644834B2 (en) 2017-11-10 2023-05-09 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles
US11017550B2 (en) 2017-11-15 2021-05-25 Uatc, Llc End-to-end tracking of objects
US11232350B2 (en) 2017-11-29 2022-01-25 Honda Motor Co., Ltd. System and method for providing road user classification training using a vehicle communications network
US10627521B2 (en) 2017-12-13 2020-04-21 Luminar Technologies, Inc. Controlling vehicle sensors based on dynamic objects
US10599929B2 (en) 2018-01-04 2020-03-24 Motionloft, Inc. Event monitoring with object detection systems
US11022971B2 (en) 2018-01-16 2021-06-01 Nio Usa, Inc. Event data recordation to identify and resolve anomalies associated with control of driverless vehicles
JP6819620B2 (ja) * 2018-01-23 2021-01-27 トヨタ自動車株式会社 車両用シート及び車両
US10915101B2 (en) 2018-02-02 2021-02-09 Uatc, Llc Context-dependent alertness monitor in an autonomous vehicle
US11386055B2 (en) 2018-02-23 2022-07-12 Toyota Research Institute, Inc. Adaptive storage of data captured by one or more vehicles
US11073618B2 (en) * 2018-04-03 2021-07-27 GM Global Technology Operations LLC Optical amplifier in return path of coherent lidar system
US11550061B2 (en) 2018-04-11 2023-01-10 Aurora Operations, Inc. Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data
US10676085B2 (en) 2018-04-11 2020-06-09 Aurora Innovation, Inc. Training machine learning model based on training instances with: training instance input based on autonomous vehicle sensor data, and training instance output based on additional vehicle sensor data
US11164016B2 (en) 2018-05-17 2021-11-02 Uatc, Llc Object detection and property determination for autonomous vehicles
US10755575B2 (en) 2018-08-30 2020-08-25 Cisco Technology, Inc. Raw sensor data sharing for enhanced fleet-wide environmental awareness and safety
US11182986B2 (en) 2018-10-10 2021-11-23 Micron Technology, Inc. Real-time selection of data to collect in autonomous vehicle
US11163998B2 (en) 2018-10-22 2021-11-02 Woven Planet North America, Inc. Systems and methods for automated image labeling for images captured from vehicles
US10928826B2 (en) 2018-10-26 2021-02-23 Lyft, Inc. Sensor fusion by operations-control vehicle for commanding and controlling autonomous vehicles
US11256263B2 (en) 2018-11-02 2022-02-22 Aurora Operations, Inc. Generating targeted training instances for autonomous vehicles
US11086319B2 (en) 2018-11-02 2021-08-10 Aurora Operations, Inc. Generating testing instances for autonomous vehicles
US11209821B2 (en) * 2018-11-02 2021-12-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11403492B2 (en) 2018-11-02 2022-08-02 Aurora Operations, Inc. Generating labeled training instances for autonomous vehicles
US11829143B2 (en) 2018-11-02 2023-11-28 Aurora Operations, Inc. Labeling autonomous vehicle data

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001291197A (ja) * 2000-04-07 2001-10-19 Honda Motor Co Ltd 車両制御装置
JP2004017731A (ja) * 2002-06-14 2004-01-22 Hitachi Ltd 自動車の走行制御装置,道路情報提供サービスシステム,自動車の走行制御方法
CN1668938A (zh) * 2002-07-15 2005-09-14 汽车系统实验室公司 道路曲率估计和车辆目标状态估计系统
US20070118263A1 (en) * 2005-11-22 2007-05-24 Nelson Frederick W Direction determination utilizing vehicle yaw rate and change in steering position
EP2112042A1 (en) * 2008-04-25 2009-10-28 Ford Global Technologies, LLC Yaw stability control system capable of returning the vehicle to a pre body-force-disturbance heading
US8825265B1 (en) * 2012-03-16 2014-09-02 Google Inc. Approach for consolidating observed vehicle trajectories into a single representative trajectory
CN106828492A (zh) * 2013-05-03 2017-06-13 谷歌公司 对控制车辆的速度的预测性推理
CN103496366A (zh) * 2013-09-09 2014-01-08 北京航空航天大学 一种基于车车协同的主动换道避撞控制方法与装置
CN107074241A (zh) * 2014-10-20 2017-08-18 米兰综合工科大学 估计车辆侧滑角度的方法、实施所述方法的计算机程序、装载有所述计算机程序的控制单元以及包括所述控制单元的车辆
RU2617727C1 (ru) * 2015-12-02 2017-04-26 Общество с ограниченной ответственностью "КБ Аврора" Способ определения относительного взаимного положения ведущего и ведомого транспортного средства и устройство для его осуществления
CN107192409A (zh) * 2016-03-14 2017-09-22 通用汽车环球科技运作有限责任公司 自动传感器姿态估计的方法
WO2017158768A1 (ja) * 2016-03-16 2017-09-21 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
EP3285230A1 (en) * 2016-08-19 2018-02-21 Autoliv Development AB Enhanced object detection and motion estimation for a vehicle environment detection system
US20180089538A1 (en) * 2016-09-29 2018-03-29 The Charles Stark Draper Laboratory, Inc. Autonomous vehicle: object-level fusion
CN107627564A (zh) * 2017-11-02 2018-01-26 东莞市欧若拉精密塑料制品有限公司 模具及其抽芯强脱顶出机构

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张宝珍;阿米尔;谢晖;黄晶;: "主动脉冲转向的横摆稳定性分析与试验研究", 湖南大学学报(自然科学版), no. 10, 25 October 2016 (2016-10-25), pages 32 - 41 *
申焱华;李艳红;金纯;: "电驱动铰接式工程车辆操纵稳定性控制分析", 农业工程学报, no. 12, 15 June 2013 (2013-06-15), pages 71 - 78 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114025153A (zh) * 2021-03-05 2022-02-08 黑芝麻智能科技有限公司 LiDAR辅助的轮编码器到相机的校准
CN114025153B (zh) * 2021-03-05 2023-11-21 黑芝麻智能科技有限公司 LiDAR辅助的轮编码器到相机的校准
CN116279457A (zh) * 2023-05-15 2023-06-23 北京斯年智驾科技有限公司 基于雷达点云的防撞方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR102464758B1 (ko) 2022-11-08
WO2019199474A1 (en) 2019-10-17
JP7358384B2 (ja) 2023-10-10
WO2019199475A3 (en) 2019-11-28
KR20220151039A (ko) 2022-11-11
US20190315351A1 (en) 2019-10-17
WO2019199475A2 (en) 2019-10-17
US10676085B2 (en) 2020-06-09
US20190318206A1 (en) 2019-10-17
CN112313133B (zh) 2024-05-17
US20200391736A1 (en) 2020-12-17
JP2021521050A (ja) 2021-08-26
US20230271615A1 (en) 2023-08-31
KR102497330B1 (ko) 2023-02-07
EP3774477B1 (en) 2022-12-07
US11964663B2 (en) 2024-04-23
US20210146932A1 (en) 2021-05-20
KR20200138817A (ko) 2020-12-10
US11654917B2 (en) 2023-05-23
US11358601B2 (en) 2022-06-14
US10906536B2 (en) 2021-02-02
EP3774477A1 (en) 2021-02-17

Similar Documents

Publication Publication Date Title
CN112313133B (zh) 基于附加车辆的所确定的横摆参数控制自动驾驶车辆
KR102481638B1 (ko) 위상 코히어런트 라이다 데이터를 사용하여 결정된 환경 객체 분류에 기반한 자율주행 차량 제어
US10338223B1 (en) Processing point clouds of vehicle sensors having variable scan line distributions using two-dimensional interpolation and distance thresholding
RU2767955C1 (ru) Способы и системы для определения компьютером наличия динамических объектов
US11693110B2 (en) Systems and methods for radar false track mitigation with camera
US11531113B1 (en) System and methods for object detection and tracking using a lidar observation model
US20240217520A1 (en) Control Of Autonomous Vehicle Based On Determined Yaw Parameter(s) of Additional Vehicle
US11859994B1 (en) Landmark-based localization methods and architectures for an autonomous vehicle
EP4184204A1 (en) Methods and systems for reducing lidar memory load

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Aurora operations

Address before: California, USA

Applicant before: Aurora innovation OpCo

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210930

Address after: California, USA

Applicant after: Aurora innovation OpCo

Address before: California, USA

Applicant before: Aurora innovations

CB02 Change of applicant information
CB02 Change of applicant information

Address after: Pennsylvania, America

Applicant after: Aurora operations

Address before: California, USA

Applicant before: Aurora operations

GR01 Patent grant
GR01 Patent grant