CN112041702A - 基于使用相位相干lidar数据确定的环境对象分类对自动驾驶车辆的控制 - Google Patents

基于使用相位相干lidar数据确定的环境对象分类对自动驾驶车辆的控制 Download PDF

Info

Publication number
CN112041702A
CN112041702A CN201980024172.3A CN201980024172A CN112041702A CN 112041702 A CN112041702 A CN 112041702A CN 201980024172 A CN201980024172 A CN 201980024172A CN 112041702 A CN112041702 A CN 112041702A
Authority
CN
China
Prior art keywords
vehicle
determining
lidar data
subset
lidar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980024172.3A
Other languages
English (en)
Inventor
沃伦·史密斯
伊桑·伊德
斯特林·J·安德森
詹姆斯·安德鲁·巴格尼尔
巴托洛梅乌斯·C·纳本
克里斯多佛·保罗·厄姆森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aurora innovation OpCo
Original Assignee
Aurora Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aurora Innovation Inc filed Critical Aurora Innovation Inc
Publication of CN112041702A publication Critical patent/CN112041702A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00272—Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/34—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G05D1/228—
    • G05D1/247—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2754/00—Output or target parameters relating to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

能够基于环境中的对象394的所确定的姿态和/或分类来控制车辆的自主转向、加速和/或减速。控制能够直接基于姿态和/或分类，和/或基于根据姿态和/或分类确定的对象394的移动参数。基于来自车辆的诸如相位相干LIDAR单脉冲组件和/或调频连续波(FMCW)LIDAR组件的相位相干光检测和测距(LIDAR)组件392的数据来确定环境对象的姿态和/或分类。定位子系统152通常负责定位其环境内的车辆。感知子系统154主要负责感知车辆环境内的对象，并且能够利用FMCW LIDAR数据392和可选地来自其它传感器391(例如，相机140、RADAR组件134)的数据来检测那些对象，对那些对象进行分类，确定那些对象的速度，并且跟踪那些对象。对象检测和分类模块154A能够向感知子系统154的速度模块154B提供对象394的姿态和类别的指示。感知子系统154将对象396中的一个或多个中的每一个的瞬时速度以及对象394的姿态和类别提供给规划子系统156。然后，将由规划子系统156生成的轨迹和/或其它数据传递到控制子系统158以将所期望的轨迹转换成适合于控制控制系统110中的各种车辆控件112、114和/或116的轨迹命令398，其中也将定位数据提供给控制子系统158以使得控制子系统158能够发出适当的命令以随着车辆的定位在时间帧期间改变而实现所期望的轨迹。通过跨两个或更多个接收器使反射分离来减少信噪比，同时能够实现超分辨率，该两个或更多个接收器相对于彼此在位置上偏移，从而使接收器的相应的检测变化。

Description

基于使用相位相干LIDAR数据确定的环境对象分类对自动驾 驶车辆的控制
背景技术
随着计算和车辆技术继续演进，自主相关特征已变得更强大且广泛可用，并且能够在各种各样的情况下控制车辆。对于汽车，例如，汽车工程师协会(SAE)已建立了标准(J3016)，该标准标识从“无自动”到“完全自动”的六个自动驾驶级别。SAE标准将级别0定义为即便当由警告或干预系统增强时人类驾驶员也对动态驾驶任务的所有方面进行完全执行的“无自动”。级别1被定义为“驾驶员辅助”，其中车辆在至少一些驾驶模式下控制转向或加速/减速(而不是两者)，从而让操作者执行动态驾驶任务的所有剩余方面。级别2被定义为“部分自动”，其中车辆在至少一些驾驶模式下控制转向和加速/减速，从而让操作者执行动态驾驶任务的所有剩余方面。级别3被定义为“有条件自动”，其中，对于至少一些驾驶模式，自动驾驶系统执行动态驾驶任务的所有方面，同时期望人类驾驶员将适当地对干预请求做出响应。级别4被定义为“高度自动”，其中，对于仅某些条件，即使人类驾驶员未适当地对干预请求做出响应，自动驾驶系统也执行动态驾驶任务的所有方面。级别4的某些条件可以是例如某些类型的道路(例如，高速公路)和/或某些地理区域(例如，已被充分地绘制的地理围栏大都市区域)。最后，级别5被定义为“完全自动”，其中车辆能够在所有条件下在没有操作者输入的情况下操作。
任何自主相关技术的基本挑战涉及收集并解释关于车辆周围环境的信息，以及规划并执行命令以适当地控制车辆运动以在其整体当前环境中安全地导航车辆。因此，一直在努力改进这些方面中的每个方面，并且通过这样做，自动驾驶车辆日益能够在日益复杂的环境中可靠地操作并且适应环境内的预期相互作用和意外相互作用两者。
发明内容
在一些实现方式中，提供了一种方法，该方法包括从车辆的相位相干光检测和测距(LIDAR)组件接收共同地捕获车辆环境的区域中的多个点的相位相干LIDAR数据点的组。该组的相位相干LIDAR数据点中的每一个指示环境中的点中的对应一个的对应范围和对应速度，并且该组的相位相干LIDAR数据点中的每一个是基于相位相干LIDAR组件的对应感测事件而生成的。该方法进一步包括确定该组的相位相干LIDAR数据点的子组与特定分类的对象相对应。确定子组与特定分类的对象相对应基于以下两者：子组的多个相位相干LIDAR数据点的对应范围，和子组的多个相位相干LIDAR数据点的对应速度。该方法进一步包括基于确定子组与特定分类的对象相对应来适配车辆的自主控制。
本文描述的技术的这些和其它实现方式能够包括以下特征中的一个或多个。
在一些实现方式中，该方法进一步包括基于子组的对应速度中的至少一个确定对象的至少一个瞬时速度。在基于确定子组与对象相对应而确定对象的至少一个瞬时速度时利用子组的对应速度中的至少一个。适配车辆的自主控制能够进一步基于至少一个瞬时速度。在那些实现方式的一些版本中，基于子组的对应速度中的至少一个确定至少一个瞬时速度包括基于子组的多个对应速度的函数确定至少一个瞬时速度。在那些实现方式的一些附加或替代版本中，基于至少一个瞬时速度适配车辆的自主控制包括：基于至少一个瞬时速度确定对象的至少一个候选轨迹；以及基于至少一个候选轨迹适配车辆的自主控制。基于至少一个瞬时速度确定对象的至少一个候选轨迹能够可选地包括：基于至少一个瞬时速度为对象适配先前确定的速度；以及基于对先前确定的速度的适配确定对象的至少一个候选轨迹。在确定了至少一个瞬时速度的一些附加或替代版本中，基于子组的对应速度中的至少一个确定至少一个瞬时速度包括：从多种候选瞬时速度确定技术中选择瞬时速度确定技术；以及在确定至少一个瞬时速度时使用所选择的瞬时速度确定技术。在那些版本中的一些版本中，从多种候选瞬时速度确定技术中选择瞬时速度确定技术是基于被指派给特定分类的瞬时速度确定技术和/或是基于子组的对应速度的量。
在一些实现方式中，该组的相位相干LIDAR数据点中的每一个进一步指示对应强度，并且确定该组的相位相干LIDAR数据点的子组与特定分类的对象相对应进一步基于子组的多个相位相干LIDAR数据点的对应强度。
在一些实现方式中，该方法进一步包括：紧接在接收组之前，从相位相干LIDAR组件接收共同地捕获车辆环境的区域中的多个点的在先相位相干LIDAR数据点的在先组。在先组的在先相位相干LIDAR数据点中的每一个指示环境中的对应点的对应在先范围和对应在先速度，并且在先组的在先相位相干LIDAR数据点中的每一个是基于相位相干LIDAR组件的在先对应感测事件而生成的。在那些实现方式中的一些实现方式中，确定该组的相位相干LIDAR数据点的子组与特定分类的对象相对应进一步基于以下两者：多个在先相位相干LIDAR数据点的对应在先范围，和多个在先相位相干LIDAR数据点的对应速度。
在一些实现方式中，确定该组的相位相干LIDAR数据点的子组与特定分类的对象相对应包括：使用训练后的机器学习模型(例如，包括一个或多个卷积层的神经网络模型)来处理该组的相位相干LIDAR数据点；基于使用训练后的机器学习模型对该组的相位相干LIDAR数据点进行的处理来生成指示子组具有特定分类的输出；以及基于指示子组具有特定分类的输出来确定子组与具有特定分类的对象相对应。在那些实现方式的一些版本中，对于该组的相位相干LIDAR数据点的多个空间区域中的每一个，输出指示对应空间区域具有特定分类的对应概率。在那些版本中的一些版本中，基于指示子组具有特定分类的输出来确定子组与具有特定分类的对象相对应包括：基于集合的空间区域的对应概率各自满足阈值来确定一个或多个空间区域中的该集合；以及基于子组与一个或多个空间区域中的集合相对应来确定子组。由输出所指示的空间区域能够各自与该组的相位相干LIDAR数据点中的一个或多个相对应。例如，空间区域能够各自与该组的相位相干LIDAR数据点中的对应单个相对应，或者能够各自与该组的相位相干LIDAR数据点中的两个或更多个的对应唯一分组相对应。在输出指示子组具有特定分类的实现方式的一些附加或替代版本中，对于该组的相位相干LIDAR数据点的多个空间区域中的每一个，输出指示对应空间区域具有特定分类的对应第一概率和对应空间区域具有不同的特定分类的对应附加概率。在那些附加或替代实现方式中，基于输出指示子组具有特定分类来确定子组与具有特定分类的对象相对应包括：基于集合的空间区域的对应概率各自满足阈值来确定一个或多个空间区域中的该集合；以及基于子组与一个或多个空间区域中的集合相对应来确定子组。在那些附加或替代实现方式的一些实现方式中，该方法进一步包括：基于以下步骤确定相位相干LIDAR数据的附加子组与具有不同的特定分类的附加对象相对应：基于附加集合的空间区域的对应附加概率各自满足阈值来确定一个或多个空间区域中的该附加集合；以及基于附加子组与一个或多个空间区域中的附加集合相对应来确定该附加子组。适配车辆的自主控制能够进一步基于确定附加子组与具有不同的特定分类的附加对象相对应。
在一些实现方式中，确定该组的相位相干LIDAR数据点的子组与特定分类的对象相对应包括：确定子组的相位相干LIDAR数据点满足相对于针对特定分类定义的相位相干LIDAR数据点的参考组的差异准则。
在一些实现方式中，基于确定子组与特定分类的对象相对应来适配车辆的自主控制包括更改车辆的速度和/或车辆的方向。
在一些实现方式中，基于确定子组与特定分类的对象相对应来适配车辆的自主控制包括：基于子组的相位相干LIDAR数据点确定对象的姿态；以及基于对象的姿态并基于对象的特定分类适配自主控制。
在一些实现方式中，基于确定子组与特定分类的对象相对应来适配车辆的自主控制包括：基于特定分类确定对象是移动的；基于子组的相位相干LIDAR数据点确定对象的姿态；响应于确定对象是移动的，基于对象的姿态确定对象的至少一个候选轨迹；以及基于至少一个候选轨迹适配车辆的自主控制。在那些实现方式的一些版本中，该方法进一步包括基于子组的相位相干LIDAR数据点确定对象的瞬时速度。在那些版本中，确定对象的至少一个候选轨迹能够进一步基于对象的瞬时速度。
在一些实现方式中，相位相干LIDAR数据点的组包括三维点云。
在一些实现方式中，相位相干LIDAR组件是相位相干LIDAR单脉冲组件，并且相位相干LIDAR组件的对应感测事件各自包括相位相干LIDAR单脉冲组件的第一接收器处的第一接收器感测事件和相位相干LIDAR单脉冲组件的第二接收器处的第二接收器感测事件。
在一些实现方式中，相位相干LIDAR组件是调频连续波(FMCW)LIDAR组件。
在一些实现方式中，提供了一种方法，该方法包括：从车辆的相位相干LIDAR组件接收捕获车辆环境的相位相干LIDAR数据。对于车辆环境中的多个点中的每一个，相位相干LIDAR数据基于相位相干LIDAR组件的对应感测事件指示至少一个对应范围、至少一个对应速度和至少一个对应强度。该方法进一步包括确定相位相干LIDAR数据的子组与特定分类的对象相对应。确定子组与特定分类的对象相对应是基于：子组的相位相干LIDAR数据的对应范围、子组的相位相干LIDAR数据的对应速度和子组的相位相干LIDAR数据的对应强度。该方法进一步包括基于确定子组与特定分类的对象相对应自主地控制车辆。
本文描述的技术的这些和其它实现方式能够包括以下特征中的一个或多个。
在一些实现方式中，该方法进一步包括基于子组的对应速度中的至少一个确定对象的至少一个瞬时速度。在基于确定子组与对象相对应而确定对象的至少一个瞬时速度时利用子组的对应速度中的至少一个。自主地控制车辆能够进一步基于至少一个瞬时速度。在那些实现方式的一些版本中，基于子组的对应速度中的至少一个确定至少一个瞬时速度包括基于子组的多个对应速度的函数确定至少一个瞬时速度。在那些实现方式的一些附加或替代版本中，基于至少一个瞬时速度自主地控制车辆包括：基于至少一个瞬时速度确定对象的至少一个候选轨迹；以及基于至少一个候选轨迹自主地控制车辆。
在一些实现方式中，该方法进一步包括在接收相位相干LIDAR数据之前，从相位相干LIDAR组件接收相位相干LIDAR数据的在先实例。对于车辆环境中的多个点中的每一个，相位相干LIDAR数据的在先实例基于相位相干LIDAR组件的对应在先感测事件指示至少一个对应在先范围、至少一个对应在先强度和至少一个对应在先速度。在那些实现方式中，确定该组的相位相干LIDAR数据的子组与特定分类的对象相对应进一步基于以下两者：在先相位相干LIDAR数据的多个对应在先范围，和在先相位相干LIDAR数据的多个对应在先速度。
在一些实现方式中，确定相位相干LIDAR数据的子组与特定分类的对象相对应包括：使用训练后的机器学习模型来处理相位相干LIDAR数据；基于使用训练后的机器学习模型对相位相干LIDAR数据进行的处理来生成指示子组具有特定分类的输出；以及基于输出指示子组具有特定分类来确定子组与具有特定分类的对象相对应。
在一些实现方式中，相位相干LIDAR数据包括距离多普勒图像。
在一些实现方式中，相位相干LIDAR数据包括基于本地光振荡器在对应感测事件期间与延时反射的混合而生成的中频波形。
在一些实现方式中，相位相干LIDAR组件是包括至少第一相干接收器和第二相干接收器的相位相干LIDAR单脉冲组件。在那些实现方式中的一些实现方式中，相位相干LIDAR组件的对应感测事件各自包括相位相干LIDAR单脉冲组件的第一接收器处的第一接收器感测事件和相位相干LIDAR单脉冲组件的第二接收器处的第二接收器感测事件。在那些实现方式的一些版本中，相位相干LIDAR组件的对应感测事件进一步包括相位相干LIDAR单脉冲组件的第三接收器处的第三接收器感测事件。
在一些实现方式中，相位相干LIDAR组件是调频连续波(FMCW)LIDAR组件。
在一些实现方式中，提供了一种方法，该方法包括从车辆的相位相干LIDAR单脉冲组件接收捕获车辆环境的相位相干LIDAR单脉冲数据。相位相干LIDAR单脉冲组件包括激光源以及至少第一相干接收器和第二相干接收器。对于车辆环境中的多个点中的每一个，相位相干LIDAR单脉冲数据基于相位相干LIDAR单脉冲组件的对应感测事件指示至少一个对应范围和至少一个对应速度。相位相干LIDAR组件的对应感测事件各自包括第一接收器处的第一接收器感测事件和第二接收器处的第二接收器感测事件(以及可选地另外的接收器处的另外的接收器感测事件)。该方法进一步包括确定相位相干LIDAR数据的子组与特定分类的对象相对应。确定子组与特定分类的对象相对应是基于：子组的相位相干LIDAR单脉冲数据的对应范围，和子组的相位相干LIDAR单脉冲数据的对应速度。该方法进一步包括基于确定子组与特定分类的对象相对应自主地控制车辆。
在一些实现方式中，提供了一种方法，该方法包括从车辆的相位相干LIDAR组件接收共同地捕获车辆环境的区域中的多个点的相位相干LIDAR数据点的组。该组的相位相干LIDAR数据点中的每一个指示环境中的点中的对应一个的对应范围和对应速度，并且每个相位相干LIDAR数据点是基于相位相干LIDAR组件的对应感测事件而生成。该方法进一步包括确定该组的相位相干LIDAR数据点的子组与特定分类的对象相对应。确定子组与特定分类的对象相对应是基于以下两者：子组的多个相位相干LIDAR数据点的对应范围，和子组的多个相位相干LIDAR数据点的对应速度。该方法进一步包括：基于该组的相位相干LIDAR数据点的子组确定对象的多维姿态；以及将所确定的多维姿态和特定分类的指示提供给车辆的规划子系统。
本文描述的技术的这些和其它实现方式能够包括以下特征中的一个或多个。
在一些实现方式中，多维姿态是指示对象的位置和定向的六维姿态。
在一些实现方式中，多维姿态是指示对象的位置的三维姿态。
在一些实现方式中，该方法进一步包括由规划子系统基于特定分类生成车辆的轨迹。
在一些实现方式中，相位相干LIDAR组件是调频连续波(FMCW)LIDAR组件。
此外，一些实现方式包括一种具有一个或多个处理器的自动驾驶车辆，所述一个或多个处理器可被操作来执行存储在相关存储器中的指令，并且其中指令被配置成使执行本文描述的方法中的任一种。一些实现方式附加地或替换地包括一种或多种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质存储可由一个或多个处理器执行以执行本文描述的方法中的任一种的计算机指令。
应该理解，在本文中更详细地描述的前述构思和附加构思的所有组合被设想为是本文公开的主题的一部分。例如，在本公开的结尾处出现的要求保护的主题的所有组合被设想为是本文公开的主题的一部分。
附图说明
图1图示能够在其中实现本文公开的实现方式的示例环境。
图2A示意性地图示图1的FMCW LIDAR组件的实现方式。
图2B示意性地图示图1的FMCW LIDAR组件的另一实现方式。
图3A是图示确定车辆环境中的对象的分类并且基于分类控制车辆的实现方式的框图。
图3B是图示在图3A中如何能够确定车辆环境中的对象的分类的一个示例的框图。
图3C是图示在图3A中如何能够确定车辆环境中的对象的分类的另一示例的框图。
图4A图示根据本文公开的实现方式的训练引擎如何能够利用训练实例来训练分类模型的示例。
图4B图示图4A的训练实例的示例训练实例输出。
图5图示具有多个环境对象的车辆的示例环境，并且也图示能够与环境对象相对应的一些FMCW LIDAR数据点的示例。
图6图示车辆与附加车辆的另一示例环境，并且也图示能够与附加车辆相对应的一些FMCW LIDAR数据点的示例。
图7A图示如何能够针对多个对象中的每一个基于那些对象的分类和/或那些对象的瞬时速度确定候选轨迹(若有的话)并且如何能够基于候选轨迹适配车辆的自主控制的示例。
图7B图示如何能够针对多个对象中的每一个基于那些对象的分类和/或那些对象的瞬时速度确定候选轨迹(若有的话)并且如何能够基于候选轨迹适配车辆的自主控制的另一示例。
图8是图示确定车辆环境中的对象的分类并且基于分类控制车辆的示例方法的流程图。
具体实施方式
在车辆的各种自主控制级别(例如，上述SAE级别1-5中的任一个)下，有必要确定所谓的自我车辆(即，被自主地控制的车辆，为了简洁在下文中也称为“车辆”)的各种参数并且基于自我车辆本身的各种确定的参数来适配对自我车辆的自主控制。在自我车辆的各种自主控制级别下，也期望和/或有必要确定在自我车辆环境中并且除了自我车辆之外的附加对象的各种参数。例如，可能有必要确定环境中的各种对象的姿态(位置和可选地定向)和/或那些对象的分类。此外，对于至少一些对象，可能期望确定那些对象的移动参数，诸如速度、加速度、候选轨迹(其能够基于速度和/或加速度)等。例如，在多次迭代中的每一次时，能够至少部分地基于自我车辆环境中的诸如对象的姿态、分类和/或移动参数(若有的话)的对象的各种参数来确定自我车辆的轨迹。能够确定轨迹以便防止自我车辆接触和/或太接近于这些对象中的任一个。
本文公开的实现方式通常涉及确定车辆环境中的对象的分类并且基于所确定的分类控制车辆。例如，能够基于所确定的附加对象的分类适配车辆的自主转向、加速和/或减速。例如，基于被确定为行人的第一环境对象而为车辆确定的转向和/或加速/减速参数能够与在对象替换地被确定为附加车辆的情况下确定的转向和/或加速/减速参数不同。
在一些实现方式中，能够在控制车辆时利用对象的确定姿态和对象的确定分类。作为一个示例，如果对象的确定姿态不在车辆的当前计划路径内(或在车辆的阈值距离内)，并且对象被确定为具有指示对象不移动的分类(例如，树分类)，则能够在确定是否需要适配车辆的控制时可选地忽视该对象。另一方面，如果对象的确定姿态在车辆的当前预定路径内(或在车辆的阈值距离内)并且具有指示对象移动的分类(例如，车辆、行人、骑自行车的人或动物分类)，则能够在确定是否需要适配车辆的控制时利用该对象。
另外，在那些实现方式中的一些实现方式中，能够在控制车辆时确定并利用对象的移动参数(其能够可选地基于其分类被确定)。例如，能够利用对象的速度和/或加速度来生成对象的候选轨迹，并且基于该候选轨迹控制车辆，使得车辆适配它自已的轨迹以避免太接近于对象的候选轨迹。如何接近是太接近能够可选地取决于例如对象的分类。例如，当轨迹大致平行时对具有骑自行车的人分类的对象来说小于1.0米的任何值可以是太接近，然而当轨迹大致平行时对具有车辆分类的对象来说仅小于0.7米的值可以是太接近。
在本文公开的许多实现方式中，基于来自车辆的相位相干光检测和测距(LIDAR)组件的数据确定环境对象的姿态和分类。此外，在那些实现方式中的一些实现方式中，也基于来自相位相干LIDAR组件的相同数据确定环境对象的速度和可选地加速度。
来自车辆的相位相干LIDAR组件的数据在本文中被称为“相位相干LIDAR数据”。如本文所描述的，相位相干LIDAR数据能够针对环境中的多个点中的每一个，指示至少点的范围和点的速度。点的范围指示从相位相干LIDAR组件的接收器到该点的距离。点的速度指示点的速度的大小(和可选地方向)。所指示的点的范围和速度基于相位相干LIDAR组件的对应感测事件。因此，通过感测周期的感测事件，能够确定指示环境中的大量点的瞬时范围和瞬时速度的相位相干LIDAR数据。本文公开的实现方式能够基于通过FMCW LIDAR数据中的至少一些所指示的瞬时范围和瞬时速度确定对象的姿态和分类以及可选地对象的瞬时速度。在基于感测周期的相位相干LIDAR数据确定对象的瞬时速度的那些实现方式中，瞬时速度指示对象在感测周期期间的速度，而无需参考来自将来感测周期的相位相干LIDAR数据。这使得能够快速解析对象的瞬时速度，并且结果使得能够鉴于瞬时速度快速确定是否需要适配车辆的控制(并且在确定了需要适配时使得能实现快速适配)。
通常，LIDAR是使用光谱中电磁波的反射来确定环境中的点的范围的技术。例如，一些LIDAR实现方式基于测量光脉冲到点的往返延迟确定点的范围。LIDAR组件能够包括用于在光谱中生成光脉冲的光源(例如，激光器)、用于引导光源(例如，以扫描方位角和仰角)的光学器件(例如，反射镜)、用于测量反射脉冲的传感器以及用于处理反射脉冲的本地处理器和/或其它电子组件。能够对反射脉冲进行处理以基于发射脉冲与反射脉冲之间的时间延迟(并且使用光速)来确定到环境中的目标点的范围。在一些实现方式中，LIDAR组件基于处理生成输出，该输出是具有强度值(基于反射脉冲的强度)的三维(3D)点云。
通常，相位相干LIDAR是使用光谱中电磁波的反射来确定指示环境中的点的范围和速度的数据的技术。相位相干LIDAR组件包括生成波形的至少一个可调谐激光器(或其它光源)，并且包括至少一个接收器，诸如相干光接收器。相位相干LIDAR组件也能够包括用于引导可调谐激光器的一个或多个组件，诸如能够用于将波形从可调谐激光器(在方位角和/或仰角上)引导到环境中的多个点的光学器件。另外，相位相干LIDAR组件能够包括用于处理波形的反射的本地处理器和/或其它电子组件。相位相干LIDAR组件的可调谐激光器是可调谐的，因为它能够被控制为使得它生成的波形通过跨波形地修改波形的一种或多种性质被编码。能够控制可调谐激光器以生成各种类型的编码波形中的一种或多种，诸如啁啾波形、阶跃波形和/或脉冲波形。
调频连续波(FMCW)LIDAR组件是一种特定类型的相位相干LIDAR组件。FMCW LIDAR组件至少选择性地(例如，总是当在使用中时)控制其可调谐激光器，使得它生成既通过频率调制来编码且又连续的波形。例如，波形可以是通过频率调制编码的连续阶跃波形。例如，能够控制可调谐激光器以生成通过修改阶跃频率来编码的阶跃波形。来自车辆的FMCWLIDAR组件的数据在本文中被称为“FMCW LIDAR数据”。因此，当“相位相干FMCW LIDAR数据”由FMCW LIDAR组件基于既通过频率调制来编码且又连续的波形来生成时，“相位相干FMCWLIDAR数据”可以是“FMCW LIDAR数据”。
在相位相干LIDAR组件的感测周期期间，所发射的编码波形被依次引导到环境中的多个点中的每一个，并且依次从环境中的多个点中的每一个中反射出来。编码波形的反射部分各自由相位相干LIDAR组件的至少一个接收器在感测周期的对应感测事件中检测。例如，感测事件的反射部分能够由至少一个相干光接收器使用相干检测方案来检测，在该相干检测方案中，反射部分与对应于所发射的编码波形的本地光信号混合。相干检测方案可以是例如零差混合、外差混合、自外差混合或其它相干检测方案。从将反射部分与本地光信号混合生成的所得信号指示以下两者：(1)到对应点的范围；和(2)对应点的速度。例如，能够通过对信号应用二维傅立叶变换来处理所得信号，以生成具有直接维度上的频率坐标和间接维度上的频率坐标的2D频谱。能够利用直接维度上的频率坐标来确定范围，并且能够利用间接维度上的频率坐标来确定速度。作为一个特定示例，能够使用零差检测方案，其中本地光信号是所发射的编码波形的分离部分并且被用作光接收器的光本地振荡器信号。在感测事件期间将本地振荡器与延时反射部分混合产生时变中频(IF)波形，该时变IF波形与对应点的范围直接有关。另外，当点正在移动时，多普勒频移将被叠加到IF波形，这能够用于确定点的径向速度。通过在感测周期的多个感测事件时的检测，为车辆环境中的多个点中的每一个生成相位相干LIDAR数据，并且指示在感测周期内环境中每个点的范围、速度和可选地强度。
如上所述，在本文公开的各种实现方式中，在确定对象的分类、姿态和/或一个或多个瞬时速度时利用由相位相干LIDAR组件生成的相位相干LIDAR数据。在那些实现方式中，感测周期的相位相干LIDAR数据直接或间接指示与相位相干LIDAR组件耦合的车辆环境中的多个点中的每一个的对应范围和对应速度。在那些实现方式中的一些实现方式中，相位相干LIDAR数据包括三维(3D)点云，其中3D点云中的每个点定义对应范围(经由其在3D点云中的3D坐标)、对应速度和可选地对应强度。在一些其它实现方式中，相位相干LIDAR数据包括距离多普勒图像，诸如其中每个像素为对应范围和横向范围定义对应速度(和可选地强度)的距离多普勒图像。换句话说，距离多普勒图像中的每个像素与对应范围和横向范围(其对应于环境中的一点)相对应，并且为该范围和横向范围定义速度。在又一其它的实现方式中，相位相干LIDAR数据包括由FMCW LIDAR组件的光接收器基于将本地振荡器与延时反射混合而生成的时变中频(IF)波形。时变IF波形能够被直接利用以确定分类、姿态和/或一个或多个瞬时速度并且/或者能够使用傅里叶变换和/或其它技术来处理，并且经处理的数据用于确定分类、姿态和/或一个或多个瞬时速度。例如，能够对时变IF波形的每个分片进行处理以确定环境中的对应点的范围和速度，并且在确定分类、姿态和/或一个或多个瞬时速度时利用多个点的范围和速度。因此，根据本文公开的实现方式，能够由相位相干LIDAR组件生成并在确定对象的特征时利用前述的一种或多种和/或其它类型的相位相干LIDAR数据。在确定特征时生成和利用的相位相干LIDAR数据的类型能够取决于例如被利用的特定相位相干LIDAR组件。另外，注意在一些实现方式中，在接收到的相位相干LIDAR数据中指示的速度能够减去自我车辆的速度(例如，基于根据自我车辆的传感器确定的自我车辆的速度，或者基于根据相位相干LIDAR数据中的静态对象的速度推断自我车辆的速度)。在一些其它实现方式中，可能不从所接收到的相位相干LIDAR数据中减去自我车辆的速度。在那些实现方式中，可以可选地处理所接收到的相位相干LIDAR数据以减去自我车辆的速度。
在一些实现方式中，相位相干LIDAR数据来自包括至少第一接收器和第二接收器——诸如第一相干光接收器和第二相干光接收器——的相位相干LIDAR单脉冲组件。在那些实现方式中，每个感测事件包括通过第一接收器的第一接收器感测事件和通过第二接收器的第二接收器感测事件。例如，第一接收器感测事件能够包括本地振荡器与对波形的反射部分的第一检测的相干混合，而第二接收器感测事件能够包括本地振荡器与对波形的反射部分的第二检测的相干混合。第一接收器感测事件和第二接收器感测事件在本文中被表示为单独的事件，因为它们通过单独的接收器。然而，注意感测事件能够各自是相同的反射并且能够同时或基本上同时发生(例如，在彼此的一毫秒内、在彼此的一微秒内或在彼此的一纳秒内)。
第一接收器和第二接收器相对于彼此在位置上偏移，从而使第一检测和第二检测变化(例如，在时间上和/或在特性上(例如，同相)变化)。这使得能够基于对第一接收器感测事件和第二接收器感测事件的比较来为感测事件确定数据的至少一个额外的通道。能够利用额外的通道来提高基于感测事件确定的点的角度准确度。例如，额外的通道能够基于第一接收器感测事件与第二接收器感测事件之间的振幅和/或相位差异(例如，由第一接收器和第二接收器中的每一个在与本地振荡器信号混合时生成的时变IF波形中的差异)。例如，对于基于感测事件确定的一个或多个点中的每一个，能够比较振幅和/或相位差异以确定角度(特定角度或角度范围)，其中每个角度被解析使得点小于产生了感测事件的反射的光束宽度。因此，能够将对应范围的角度(例如，相对于接收器的方位角和仰角)确定到子光束宽度级别，从而提供所确定的角度的更大准确度。此外，由于点的位置由角度和范围定义，所以能够将点定位到子光束宽度级别。
注意，在一些实现方式中，能够基于单个感测事件(例如，基于由距离多普勒图像和/或IF波形所指示的多个范围/速度对当中的范围和/或速度中的差异)确定多个范围/速度对。在那些实现方式中，能够为多个范围/速度对中的每一个确定对应角度，并且可以将对应角度各自解析到子光束宽度级别。换句话说，能够利用感测周期的单个感测事件来确定两个或更多个点中的每一个的对应范围和对应速度。在那些实现方式的一些版本中，与非增厚光束宽度比较，能够有意地使由相位相干LIDAR组件的激光器输出的电磁输出的光束宽度增厚/变宽以使得光束宽度能够覆盖更多空间。例如，能够使光束宽度固定，使得在距相位相干LIDAR组件的给定距离(例如，10米、15米、20米、50米或其它距离)处，在感测周期的光束之间不存在覆盖范围间隙。能够利用本文描述的提高的角准确度技术来确定在感测周期的每个光束的增厚光束宽度内的两个或更多个点中的每一个的对应范围和对应速度。这使得能够以一定准确度确定范围和速度，在缺少本文描述的提高的角速度技术情况下，否则这将在感测周期中需要更大量的光束和感测事件。因此，本文描述的提高的角速度技术使得能够在感测循环中以给定准确度解析范围和速度，同时减少实现该准确度所需的感测循环中的感测事件的量。这能够降低在每个感测周期中发生的感测事件的量，从而保存硬件资源(例如，激光资源和/或电源资源)。这能够附加地或替换地使得能够在减少的时间量内解析区域的给定量的范围和速度，从而提供过剩时间用于解析附加区域的范围和速度(例如，使得能够在不增加感测周期的持续时间的情况下在每个感测周期中覆盖更大的总区域)和/或使得能够快速重新解析该区域更新的范围和速度(例如，使得能够使感测周期缩短，而不减少角准确度)。
因此，利用相位相干LIDAR单脉冲组件，在通过跨两个或更多个接收器使反射分离来减少信噪比(SNR)(即，提高噪声)，同时能够实现超像素准确度。这在确定遥远的(远离相位相干LIDAR单脉冲组件)和/或小的各种对象的点的范围和速度时可能是有益的。例如，它能够提高能够针对给定返回/感测事件确定范围和速度的角准确度(对于给定点，在角度意义上为更准确的定位)——从而提高角准确度并且使得能够确定(或至少更准确地确定)遥远的和/或小的对象的分类、姿态和/或移动参数，而分类、姿态和/或移动参数否则对遥远的和/或小的对象来说将不是可确定的(或将至少是不太准确的)。
在各种实现方式中，用相位相干LIDAR单脉冲组件，在通过跨两个或更多个接收器使反射分离来减少信噪比(SNR)(即，提高噪声)，同时能够附加地和/或替换地实现超分辨率。两个或更多个接收器相对于彼此在位置上偏移，从而使接收器的相应的检测变化(例如，在时间上和/或在特性上(例如，同相)变化)。这使得来自每个接收器处的感测事件的非冗余LIDAR数据能够被组合，以生成与来自相应的接收器处的感测事件中的任何一个的LIDAR数据相比具有更高分辨率(例如，更高分辨率范围和/或速度)的LIDAR数据(例如，距离多普勒图像和/或IF波形)。换句话说，每个感测事件能够包括每个接收器处的接收器感测事件(例如，第一接收器处的第一接收器感测事件、第二接收器处的第二接收器感测事件等)并且为相应的接收器感测事件产生相应的LIDAR数据。能够将接收器感测事件的非冗余LIDAR数据组合以构造感测事件的超分辨率LIDAR数据。非冗余LIDAR数据能够基于例如相应的接收器感测事件之间的振幅和/或相位差异(例如，由第一接收器和第二接收器中的每一个在与本地振荡器信号混合时生成的时变IF波形中的差异)。能够利用诸如频域技术(例如，基于连续和离散傅立叶变换的移位和混叠性质)和/或空间域技术(例如，非迭代和/或迭代技术)的各种技术来从多个接收器感测事件生成超分辨率LIDAR数据。能够利用空间域技术来在从来自接收器感测事件的较低分辨率LIDAR数据构造超分辨率LIDAR数据时应用一个或多个灵活的估计器。此类灵活的估计器包括例如最大似然、最大后验、凸集投影、贝叶斯处理等。在本文中提供了包括单脉冲组件和技术的一些相位相干LIDAR技术和一些相位相干LIDAR组件的附加描述。
如上所述，在相位相干LIDAR组件的感测周期期间，发射的编码波形被依次引导到环境中的多个点中的每一个，并且依次从环境中的多个点中的每一个中反射出去，并且编码波形的反射部分各自由相位相干LIDAR组件的至少一个接收器在感测周期的对应感测事件中检测。在感测周期期间，波形被引导到环境的区域中的多个点，并且检测对应反射，而不会在感测周期中将波形重新引导到那些点。因此，通过感测周期的相位相干LIDAR数据所指示的点的范围和速度可以是瞬时的，因为它基于单个感测事件而不参考在先或后续感测事件。在一些实现方式中，多个(例如，所有)感测周期中的每一个能够具有相同的持续时间、相同的视场和/或相同的波形分布图案(通过在感测周期期间引导波形)。例如，各自为扫描的多个感测周期中的每一个能够具有相同的持续时间、相同的视场和相同的波形分布图案。然而，在许多其它实现方式中持续时间、视场和/或波形分布图案能够在一个或多个感测周期之间变化。例如，第一感测周期能够具有第一持续时间，具有第一视场和第一波形分布图；而第二感测周期能够具有比第一持续时间短的第二持续时间，具有作为第一视场的子集的第二视场，并且具有比第一波形分布图案更密集的第二波形分布图案。
现在转向附图，图1图示可以在其内实现本文公开的各种技术的示例自动驾驶车辆100。例如，车辆100可以包括：动力总成(powertrain)102，其包括由能量源106供以动力并能够向传动系统108提供动力的原动机104；以及控制系统110，其包括方向控件112、动力总成控件114和制动控件116。可以将车辆100实现为任何数目的不同类型的车辆，包括能够运送人和/或货物并能够由陆地、由海路、在空中、在地下、在海面下和/或在太空中行进的交通工具，并且应理解，前述组件102至116能够基于其中利用这些组件的车辆的类型而广泛地变化。
例如，在下文中讨论的实现方式将集中于轮式陆地车辆，诸如汽车、货车、卡车、公共汽车等。在此类实现方式中，原动机104可以包括一个或多个电动机和/或内燃机(等等)。能量源106可以包括例如燃料系统(例如，提供汽油、柴油、氢等)、电池系统、太阳能电池板或其它可再生能量源和/或燃料电池系统。传动系统108可以包括车轮和/或轮胎以及适合于将原动机104的输出转换成车辆运动的变速器和/或任何其它机械驱动组件，以及被配置成可控制地使车辆100停止或慢下来的一个或多个制动器和适合于控制车辆100的轨迹的方向或转向组件(例如，使得车辆100的一个或多个车轮能够绕通常垂直的轴线枢转以改变车轮的旋转平面相对于车辆的纵向轴线的角度的齿条和小齿轮转向连杆)。在一些实现方式中，可以使用动力总成和能量源的组合(例如，在电动/燃气混合动力车辆的情况下)，并且在一些实例中，可以将多个电动机(例如，专用于个别车轮或轮轴)用作原动机。
方向控件112可以包括一个或多个致动器和/或传感器以用于控制并接收来自方向或转向组件的反馈以使得车辆100能够遵循计划轨迹。动力总成控件114可以被配置成控制动力总成102的输出，例如，以控制原动机104的输出动力，以控制传动系统108中的变速器的齿轮等，从而控制车辆100的速度和/或方向。制动控件116可以被配置成控制使车辆100慢下来或停止的一个或多个制动器，例如，耦合到车辆的车轮的盘式或鼓式制动器。
如受益于本公开的普通技术人员将理解的，其它车辆类型，包括但不限于飞机、太空车辆、直升机、无人机、军用车辆、全地形或履带车辆、轮船、潜艇、建筑装备等，将必定利用不同的动力总成、传动系统、能量源、方向控件、动力总成控件和制动控件。此外，例如，在主要通过改变一个或多个原动机的输出来处理车辆的方向控制的情况下，在一些实现方式中可以组合这些组件中的一些。因此，本文公开的实现方式不限于本文描述的技术在自主轮式陆地车辆中的特定应用。
在所图示的实现方式中，在车辆控制系统120中实现对车辆100的完全自主或半自主控制，该车辆控制系统可以包括一个或多个处理器122和一个或多个存储器124，其中每个处理器122被配置成执行存储在存储器124中的程序代码指令126。处理器122能够包括例如图形处理单元(GPU)和/或中央处理单元(CPU)。
传感器130可以包括适合于从车辆的周围环境收集信息以在控制车辆的操作时使用的各种传感器。例如，传感器130能够包括车辆的调频连续波(FMCW)光检测和测距(LIDAR)组件132(FMCW)。如本文所描述的，FMCW LIDAR组件132能够生成FMCW LIDAR数据，能够在确定车辆100环境中的一个或多个对象中的每一个的姿态、分类和速度时利用该FMCW LIDAR数据。对于车辆环境中的多个点中的每一个，由FMCW LIDAR组件132生成的FMCWLIDAR数据指示基于FMCW LIDAR组件的对应感测事件的对应范围和对应速度。尽管在图1(和其它图)中图示并在本文中与许多图关联地描述FMCW LIDAR组件，但是在许多实现方式中，能够替换地利用不是FMCW LIDAR组件的相位相干LIDAR组件。另外，在那些实现方式中能够利用不是FMCW LIDAR数据的相位相干LIDAR数据代替FMCW LIDAR数据。
传感器130也能够可选地包括无线电检测和测距(RADAR)组件134和/或LIDAR组件136(非相位相干，其生成能够用于确定范围而不是速度的数据)。另外，传感器也能够可选地包括例如与诸如GPS、GLONASS、伽利略、Compass等的各种卫星导航系统中的任一种兼容的卫星导航(SATNAV)组件138。SATNAV组件138能够用于使用卫星信号来确定车辆在地球上的定位。传感器130也能够可选地包括相机140、惯性测量单元(IMU)142和/或一个或多个车轮编码器144。相机140可以是单像相机或立体相机并且能够记录静止和/或视频图像。IMU142能够包括能够检测车辆100在三个方向上的线性和旋转运动的多个陀螺仪和加速度计。车轮编码器142可以用于监视车辆100的一个或多个车轮的旋转。
可以将传感器130的输出提供给一组控制子系统150，包括定位子系统152、规划子系统156、感知子系统154和控制子系统158。定位子系统152主要负责精确地确定车辆100在其周围环境内并且通常在某个参考系内的定位和定向(有时也称为“姿态”)。感知子系统154主要负责检测、跟踪和/或识别车辆100周围环境内的元素。例如，并且如本文所描述的，感知子系统154能够在多次迭代中的每次迭代时确定车辆100周围环境中的一个或多个对象中的每一个的姿态、分类和速度。另外，例如，感知子系统154能够遍及多次迭代跟踪各种对象。例如，感知子系统154能够随着附加车辆相对于自我车辆100移动而遍及多次迭代跟踪附加车辆。感知子系统154在遍及多次迭代跟踪对象时利用本文描述的检测、分类和/或速度技术。规划子系统156主要负责给定计划目的地以及环境内的静止和移动对象在某个时间帧期间为车辆100规划轨迹。例如，并且如本文所描述的，规划子系统156能够至少部分地基于在车辆100周围环境中的、车辆100的环境中的一个或多个对象中的每一个的姿态、分类和/或速度来为车辆100规划轨迹。在一些实现方式中，规划子系统156通过为环境中的一个或多个附加移动对象中的每一个生成候选轨迹并考虑它们来为车辆100规划轨迹。规划子系统156能够在迭代时基于该迭代的姿态、分类和/或速度和/或遍及多次迭代对对象的跟踪来确定对象的候选轨迹。控制子系统158主要负责生成合适的控制信号以控制控制系统110中的各种控件以便实现车辆100的规划轨迹。
应理解，在图1中针对车辆控制系统120图示的组件的合集在性质上仅仅是示例性的。可以在一些实现方式中省略个别传感器。附加地或替换地，在一些实现方式中图1中图示的类型的多个传感器可以被用于冗余和/或覆盖车辆周围的不同区域，并且可以使用其它类型的传感器。同样地，可以在其它实现方式中使用不同类型和/或组合的控制子系统。另外，虽然子系统152-160被图示为与处理器122和存储器124分开，但是应理解在一些实现方式中，子系统152至160的功能性中的一些或全部可以用驻留在一个或多个存储器124中并由一个或多个处理器122执行的程序代码指令126来实现，并且这些子系统152至160可以在一些情况下使用同一处理器和/或存储器来实现。一些实现方式中的子系统可以至少部分地使用各种专用电路逻辑、各种处理器、各种现场可编程门阵列(“FPGA”)、各种应用专用集成电路(“ASIC”)、各种实时控制器和/或子系统等来实现，并且如上所指出的，多个子系统可以利用电路、处理器、传感器和/或其它组件。另外，车辆控制系统120中的各种组件可以以各种方式联网。
在一些实现方式中，车辆100也可以包括辅助车辆控制系统(未图示)，该辅助车辆控制系统可以被用作车辆100的冗余或备用控制系统。在一些实现方式中，辅助车辆控制系统可以能够在车辆控制系统120中发生不良事件的情况下完全地操作自动驾驶车辆100，然而在其它实现方式中，辅助车辆控制系统可以仅具有有限的功能性，例如，以响应于在主车辆控制系统120中检测到的不良事件而执行车辆100的受控停止。在又一其它的实现方式中，可以省略辅助车辆控制系统。
通常，无数种不同的架构，包括软件、硬件、电路逻辑、传感器、网络等的各种组合，可以用于实现图1中图示的各种组件。每个处理器可以例如作为微处理器被实现，并且每个存储器可以表示包括主存储的随机存取存储器(RAM)设备，以及任何补充级别的存储器，例如高速缓存存储器、非易失性或备用存储器(例如，可编程或闪速存储器)、只读存储器等。此外，每个存储器可以被认为包括物理上位于车辆100中其它地方的存储器存储装置，例如，处理器中的任何高速缓存存储器，以及用作虚拟存储器的任何存储容量，例如，如存储在大容量存储设备上或在另一计算机或控制器上的。图1中图示的一个或多个处理器或完全单独的处理器可以用于实现车辆100中除自主控制的目的外的附加功能性，例如，以控制娱乐系统，以操作门、灯、方便特征等。
此外，对于附加存储，车辆100也可以包括一个或多个大容量存储设备，例如，可移动磁盘驱动器、硬盘驱动器、直接存取存储设备(DASD)、光驱(例如，CD驱动器、DVD驱动器等)、固态存储驱动器(SSD)、网络附连存储、存储区域网络和/或磁带驱动器等。此外，车辆100可以包括使得车辆100能够从用户或操作者接收许多输入并且为用户或操作者生成输出的用户接口164，例如，一个或多个显示器、触摸屏、话音和/或手势接口、按钮和其它触觉控件等。否则，可以经由另一计算机或电子设备例如经由移动设备上的应用或经由web接口接收用户输入。
此外，车辆100可以包括适合于与一个或多个网络(例如，LAN、WAN、无线网络和/或因特网等等)进行通信以允许与包括例如中央服务——诸如云服务——的其它计算机和电子设备一起传递信息的一个或多个网络接口，例如网络接口162，车辆100从其它计算机和电子设备接收环境和其它数据以供在其自主控制中使用。
如将在下面更详细描述的，图1中图示的每个处理器以及本文公开的各种附加控制器和子系统通常在操作系统的控制下操作，并且执行或以其它方式依靠各种计算机软件应用、组件、程序、对象、模块、数据结构等。此外，各种应用、组件、程序、对象、模块等也可以在例如在分布式、基于云的或客户端-服务器计算环境中的经由网络耦合到车辆100的另一计算机上的一个或多个处理器上执行，由此可以通过网络将实现计算机程序的功能所需要的处理分配给多个计算机和/或服务。
通常，被执行以实现本文描述的各种实现方式的例程，无论是作为操作系统的一部分还是作为具体应用、组件、程序、对象、模块或指令序列或甚至其子集被实现，都将在本文中被称为“程序代码”。程序代码通常包括一个或多个指令，该一个或多个指令在各个时间驻留在各种存储器和存储设备中，并且当由一个或多个处理器读取和执行时，执行实行体现本发明各个方面的步骤或元素所必需的步骤。此外，虽然已经并在下文中将在功能完全的计算机和系统的上下文中描述实现方式，但是应理解，本文描述的各种实现方式能够被以各种形式作为程序产品分发，并且能够不管用于实际地执行分发的计算机可读介质的特定类型都实现这些实现方式。计算机可读介质的示例包括有形的非暂时性介质，诸如易失性和非易失性存储设备、软盘和其它可移动盘、固态驱动器、硬盘驱动器、磁带和光盘(例如，CD-ROM、DVD等)等等。
此外，可以基于在特定实现方式中实现的应用识别在下文中描述的各种程序代码。然而，应该理解，接下来的任何特定程序术语是仅仅为了方便被使用，因此本发明不应该限于仅在由此类术语识别和/或暗示的任何具体应用中使用。此外，给定可以将计算机程序组织成例程、程序、方法、模块、对象等的通常无数种方式以及可以在驻留在典型计算机内的各种软件层(例如，操作系统、库、API、应用、小程序等)之间分配程序功能性的各种方式，应该理解，本发明不限于本文描述的程序功能性的具体组织和分配。
受益于本公开的本领域的技术人员应认识到，图1中图示的示例性环境不旨在限制本文公开的实现方式。实际上，本领域的技术人员将认识到，在不脱离本文公开的实现方式的范围的情况下，可以使用其它替代硬件和/或软件环境。
现在转向图2A和图2B，示意性地图示了图1的FMCW LIDAR组件132的两个实现方式。图2A图示包括单个接收器132A3的FMCW LIDAR组件132A，然而图2B图示包括两个接收器132B3A和132B3B的FMCW LIDAR单脉冲组件132B。
在图2A中，FMCW LIDAR组件132A包括可调谐激光器132A1，其光输出由信号生成器132A2控制。信号生成器132A2驱动激光器132A1，使得激光器132A1生成电磁输出，该电磁输出在光谱中，并且通过修改电磁输出的频率来编码。信号生成器132A2生成使波形被编码的信号。能够经由信号生成器132A2和激光器132A1生成各种类型的频率编码波形。
图2A图示来自激光器132A1的透射光束192A，该透射光束如前面段落中所描述的那样被编码，并且被导向目标对象191上的点。透射光束192A被反射离开目标对象191上的点并且在感测事件期间在接收器132A3处接收反射193A。透射光束192A包括编码波形的分片并且反射193A也包括编码波形的分片。编码波形的分片由接收器132A3在感测事件期间检测。
接收器132A3可以是相干接收器并且反射193A能够由接收器132A3使用相干检测方案来检测，在该相干检测方案中，反射193A与本地光信号混合，该本地光信号诸如为透射光束192A的分离部分的本地光信号。注意，由接收器132A3对反射193A的检测相对于对本地光信号(例如，透射光束192A的分离部分)的检测将被延时。相干检测方案能够由处理器132A4实现并且可以是例如零差混合、外差混合、自外差混合或其它相干检测方案。从将反射部分与本地光信号混合而生成的所得信号指示以下两者：(1)到目标对象191的点的范围，和(2)目标对象191的点的速度。在一些实现方式中，处理器132A4提供所得信号作为来自FMCW LIDAR组件132A的点的FMCW LIDAR数据。在一些其它实现方式中，处理器132A4执行进一步处理以生成点的FMCW LIDAR数据，其直接指示点的范围和速度。例如，能够在FMCWLIDAR数据中直接指示点的范围和速度，该FMCW LIDAR数据是指示范围和速度值的3D点云或距离多普勒图像。通过对多个感测事件的检测，在来自激光器132A1的光输出的方向变化(例如，在方位角和/或仰角上变化)的情况下，FMCW LIDAR数据由FMCW LIDAR组件针对环境中的多个点中的每一个来生成并且指示环境中的每个点的范围、速度和可选地强度。
尽管以上图2A的描述描述了FMCW LIDAR组件，但是注意，不是FMCW的相位相干LIDAR组件能够具有相同和/或类似的组件。然而，用非FMCW LIDAR组件，信号生成器132A2能够驱动激光器132A1以生成非连续的和/或使用除频率调制以外的技术来编码的波形。
在图2B中，FMCW LIDAR单脉冲组件132B包括可调谐激光器132B1，其光输出由信号生成器132B2控制。信号生成器132B2驱动激光器132B1，使得激光器132B1生成电磁输出，该电磁输出在光谱中，并且通过修改电磁输出的频率来编码。信号生成器132B2生成使波形被编码的信号。能够经由信号生成器132B2和激光器132B1生成各种类型的编码波形。
图2B图示来自激光器132B1的透射光束192B，其如前面段落中所描述的那样被编码，并且被导向目标对象191上的点。透射光束192B被反射离开目标对象191上的点，并且在感测事件期间，在第一接收器132B3A处接收第一反射193B1并且在第二接收器132B3B处接收第二反射193B2。透射光束192B包括编码波形的分片并且反射193B1和193B2也包括编码波形的分片。第一接收器132B3A和第二接收器132B3B可以是相干接收器，并且感测事件能够包括第一接收器感测事件和第二接收器感测事件。第一接收器感测事件能够包括本地振荡器与对第一反射193B1的第一检测的相干混合(例如，透射光束192B的分离部分)，并且第二接收器感测事件能够包括本地振荡器与对第二反射193B2的第二检测的相干混合。第一接收器132B3A和第二接收器132B3B相对于彼此在位置上偏移，从而使第一检测和第二检测变化。这使得处理器132B4能够基于对第一接收器感测事件和第二接收器感测事件的比较确定感测事件的数据的至少一个额外的通道。例如，处理器132B4能够基于第一接收器感测事件与第二接收器感测事件之间的振幅和/或相位差异(例如，由第一接收器和第二接收器中的每一个在与本地振荡器信号混合时生成的时变IF中的差异)来确定额外的通道。例如，对于基于感测事件确定的一个或多个点中的每一个，能够比较振幅和/或相位差异以确定角度(特定角度或角度范围)，其中每个角度被解析使得点小于产生了感测事件的反射的光束宽度。因此，能够将对应范围的角度(例如，相对于接收器的方位角和仰角)确定到子光束宽度级别。此外，因为点的位置由角度和范围定义，所以能够将点定位到子光束宽度级别。因此，在通过跨两个接收器使反射分离来减少信噪比(SNR)(即，提高噪声)的同时，能够实现提高的角准确度。这在确定遥远的(远离FMCW LIDAR单脉冲组件)和/或小的附加车辆的多个点的范围和速度时可能是有益的。附加地或替换地，并且如本文所描述的，处理器132B4能够使用来自第一检测和第二检测的非冗余数据来确定具有超分辨率的LIDAR数据。例如，处理器132B4能够从来自第一检测和第二检测的较低分辨率LIDAR数据构造超分辨率LIDAR数据。因此，在通过跨两个接收器使反射分离来减少SNR的同时，能够确定超分辨率范围和速度。
在一些实现方式中，处理器132B4提供从第一接收器感测事件和第二接收器感测事件生成的信号作为来自FMCW LIDAR单脉冲组件132B的点的FMCW LIDAR单脉冲数据。在一些其它实现方式中，处理器132B4执行进一步处理以生成点的FMCW LIDAR单脉冲数据，其直接指示点的范围和速度。例如，能够在作为3D点云或距离多普勒图像的FMCW LIDAR单脉冲数据中直接指示点的范围和速度。通过对多个感测事件的检测，在来自激光器132B1的光输出的方向变化(例如，在方位角和/或仰角上变化)的情况下，FMCW LIDAR单脉冲数据由FMCWLIDAR单脉冲组件132B针对环境中的多个点中的每一个来生成并且指示环境中的每个点的范围、速度和可选地强度。
尽管以上图2B的描述描述了FMCW LIDAR单脉冲组件，但是注意，不是FMCW的相位相干LIDAR单脉冲组件能够具有相同和/或类似的组件。然而，用非FMCW LIDAR组件，信号生成器132B2能够驱动激光器132B1以生成非连续的和/或使用除频率调制以外的技术来编码的波形。
现在转向图3A，提供了框图，该框图图示确定车辆环境中的对象的分类并且基于分类控制车辆的实现方式。图3A图示车辆控制系统120的子系统152、154、156和158以及它们如何可以在确定车辆环境中的对象的分类、确定对象的姿态、确定对象的移动参数(若有的话)和/或基于这些确定适配自主控制时相互作用的示例。
定位子系统152通常负责定位其环境内的车辆。例如，定位子系统152可以确定其周围环境内的自动驾驶车辆100的姿态(通常是位置，并且在一些实例中是定向)。定位子系统152能够利用来自FMCW LIDAR组件132的FMCW LIDAR数据392和/或来自诸如图1的相机140、RADAR组件134、LIDAR组件136和/或其它传感器130(例如，IMU 142、编码器144)的其它传感器391的数据来确定自动驾驶车辆100的姿态。例如，由定位子系统152确定的姿态可以是相对于由车辆控制系统120利用的地图。姿态能够随着车辆100在其环境中各处移动而由定位子系统152更新，并且姿态被提供给其它子系统154、156和/或158中的一个或多个(或者变得可由其它子系统154、156和/或158中的一个或多个访问)以由子系统使用。
感知子系统154主要负责感知车辆环境内的对象，并且能够利用FMCW LIDAR数据392和可选地来自其它传感器391(例如，相机140、RADAR组件134)的数据来检测那些对象，对那些对象进行分类，确定那些对象的速度，并且跟踪那些对象。
感知子系统154能够包括对象检测和分类模块154A，其在检测各种对象(例如，确定对象的姿态)并且对所检测到的对象进行分类时利用FMCW LIDAR数据392和/或来自其它传感器391的数据。例如，对象检测和分类模块154A能够在对车辆100环境中的附加车辆、行人、动物、树木、标志、骑自行车的人和/或其它对象进行检测和分类时处理FMCW LIDAR数据392和/或来自其它传感器391的数据。
在各种实现方式中，对象检测和分类模块154A能够在对各种对象进行检测和/或分类时利用一个或多个分类模型170。例如，分类模型能够包括诸如贝叶斯模型、随机森林模型、马尔可夫模型和/或神经网络模型的一个或多个训练后的机器学习模型。例如，经训练后的机器学习模型能够包括被训练以用于在处理FMCW LIDAR数据(和/或其它数据)时利用以生成输出的神经网络模型，该输出针对通过数据捕获的一个或多个对象中的每一个指示对象的对应姿态和对象的对应分类。在本文中(例如，参考图3B、图3C、图4A和图4B)更详细地描述此类神经网络模型的一些非限制性示例。在一些实现方式中，在对各种对象进行检测和/或分类时，对象检测和分类模块154A能够附加地或替换地在不利用机器学习模型的情况下处理FMCW LIDAR数据392和/或来自其它传感器391的数据。例如，能够利用最近邻和/或其它聚类技术来确定很可能具有对应分类的数据的部分。
不管利用的技术如何，对象检测和分类模块154A能够向感知子系统154的速度模块154B提供对象394的姿态和类别的指示。例如，所提供的每个对象的姿态可以是相对于由车辆控制系统120利用的地图和/或相对于FMCW LIDAR数据392。速度模块154B使用FMCWLIDAR数据392来确定对象396中的一个或多个中的每一个的瞬时速度。在一些实现方式中，速度模块154B确定仅针对具有某个分类的那些对象(如由394所指示的)的瞬时速度并且/或者从瞬时速度确定中排除对象的某个分类。例如，速度模块154B能够排除具有诸如树木分类的指示非移动对象的某个分类的对象。另外，例如，速度模块154B能够排除具有诸如行人分类的指示某些相对较慢的移动对象的某个分类的对象。作为又一个示例，速度模块154B能够确定具有指示能够相对快速地移动的对象的车辆、骑自行车的人和/或其它分类的对象的瞬时速度。
在确定对象的瞬时速度时，速度模块154B能够使用所提供的该对象的姿态(在394中提供)来确定与姿态(并且作为结果，对象)相对应的FMCW LIDAR数据392的子组。另外，速度模块154B能够确定随子组的FMCW LIDAR数据的速度(包括方向和大小)变化的瞬时速度。例如，速度模块154B能够基于速度的均值、中值和/或其它统计量度确定瞬时速度。作为另一示例，速度模块154B能够附加地或替换地将子组的FMCW LIDAR数据的速度分布到区间中(其中每个区间与一系列速度相对应)，并且基于具有符合区间的速度的最大发生量的区间来确定瞬时速度(例如，直方图分析)。能够利用附加和/或替代技术。
在一些实现方式中，速度模块154B能够基于对象的分类从多种候选技术中选择用于对象的特定瞬时速度确定技术。例如，对于行人的对象分类，能够基于与行人相对应的子组的FMCW LIDAR数据的均值确定瞬时速度，然而能够替代地将平均值用于车辆的对象分类。作为另一示例，对于车辆的对象分类，能够使用直方图分析来确定瞬时速度，然而直方图分析未被用于行人的对象分类。在一些实现方式中，速度模块154B能够附加地或替换地基于对象的姿态和/或与对象相对应的子组的FMCW LIDAR数据的量从多种候选技术中选择用于对象的特定瞬时速度确定技术。例如，当对象的姿态指示对象离车辆相对较远时，速度模块154B能够利用比替代地在姿态指示对象相对接近时利用的替代技术更加计算高效(但是潜在地不太鲁棒和/或不太准确)的技术。作为另一示例，当与对象相对应的子组的FMCWLIDAR数据的量相对小(例如，由于对象遥远而导致)时，速度模块154B能够利用第一技术(例如，平均值)，然而当子组的FMCW LIDAR数据的量相对大时，速度模块154B能够利用第二技术(例如，直方图分析)。
感知子系统154将对象396中的一个或多个中的每一个的瞬时速度以及对象394的姿态和类别提供给规划子系统156(或者以其它方式提供给规划子系统156)。规划子系统156主要负责在某个时间帧(例如，几秒钟)期间规划出车辆的轨迹，并且可以从定位子系统152和感知子系统154两者接收输入。规划子系统156能够基于所提供的对象的速度、姿态和/或类别适配车辆的轨迹。例如，如果数据396和394针对为附加车辆的给定对象指示：车辆的分类、附加车辆的姿态和附加车辆的瞬时速度—则规划子系统154能够在为附加车辆确定一个或多个候选轨迹时利用车辆的姿态和瞬时速度。规划子系统154能够在为附加车辆确定一个或多个候选轨迹时单独利用瞬时速度，或者也能够利用附加车辆的一个或多个先前确定的速度。例如，规划子系统154能够利用瞬时速度以及针对附加车辆的一个或多个紧接在前确定的瞬时速度(每个瞬时速度是基于来自在先感测循环的FMCW LIDAR数据而确定的)。另外，规划子系统154能够适配自我车辆100的预定轨迹，使得如果附加车辆横穿候选轨迹之一，则自我车辆100不接触和/或进入附加车辆的阈值距离内。
作为另一示例，如果数据396和394针对为行人的给定对象进一步指示行人的分类和行人的姿态(但是没有行人的速度)，则规划子系统154能够利用行人的姿态和分类来确定行人周围的候选轨迹区域，其中候选轨迹区域是行人的姿态周围的区域，该区域是基于行人在下一个对象检测事件之前能行进的最大距离而确定的和/或是基于具有行人分类的对象的默认最大速度而确定的。另外，规划子系统能够确定自我车辆的、避开行人的姿态周围的候选轨迹区域的轨迹。作为又一个示例，如果数据396和394针对为树的给定对象进一步指示树的分类和树的姿态(但是没有树的速度)，则规划子系统154能够利用树的姿态和分类来确定避免树的姿态的自我车辆的轨迹。在本文中提供了用于基于对象的确定分类、姿态和速度来控制车辆的这些和其它技术的附加描述。例如，在下面与图7A和图7B的描述关联地提供一些技术的附加描述。
然后，将由规划子系统156生成的轨迹和/或其它数据传递到控制子系统158以将所期望的轨迹转换成适合于控制控制系统110中的各种车辆控件112、114和/或116的轨迹命令398，其中也将定位数据提供给控制子系统158以使得控制子系统158能够发出适当的命令以随着车辆的定位在时间帧期间改变而实现所期望的轨迹。
图3B是图示如何能够利用分类模型170A来确定图3A的对象394的姿态和类别的一个示例的框图。分类模型170A是图3A的分类模型170的一个示例。在图3B中，对象检测和分类模块154A将FMCW LIDAR数据392作为输入应用于分类模型170A，使用分类模型170A来处理FMCW LIDAR数据392，并且基于处理生成输出393A。在一些实现方式中，以与从FMCWLIDAR组件136接收FMCW LIDAR数据392相同的形式应用FMCW LIDAR数据392。在一些其它实现方式中，在将FMCW LIDAR数据392作为输入应用于分类模型170A之前对FMCW LIDAR数据392执行预处理。例如，能够通过以下步骤来预处理FMCW LIDAR数据392：降低其分辨率以使其符合分类模型170A的输入维度；执行主成分分析(PCA)；填充数据以使其符合分类模型170A的输入维度；和/或在将它作为输入应用之前以其它方式生成FMCW LIDAR数据392的更改版本。应理解，若有的话，所执行的预处理将取决于分类模型170A(例如，其输入维度和基于来训练它的输入数据)。另外，在一些实现方式中FMCW LIDAR数据392来自仅FMCW LIDAR组件132的最近感测周期。在一些其它实现方式中，FMCW LIDAR数据392能够包括来自FMCWLIDAR组件132的最近感测周期的FMCW LIDAR数据以及来自FMCW LIDAR组件132的一个或多个在先感测周期(例如，来自紧接在前的感测周期)的FMCW LIDAR数据。
对于多个空间区域1-N中的每一个，基于使用分类模型170A来处理而生成的输出393A包括针对类别1-N中的每一个的对应概率。输出393A的空间区域1-N中的每一个与FMCWLIDAR数据392的一部分相对应，并且结果，与环境的区域相对应。例如，FMCW LIDAR数据392能够包括定义对应范围(经由其在3D点云中的3D坐标)、对应速度和可选地对应强度的3D点云。在这样的示例中，空间区域1-N中的每一个能够与3D点中的一个或多个(例如，单个点或邻近点的合集)相对应。例如，空间区域1-N中的每一个可以与FMCW LIDAR数据392的3D点中的一个相对应。作为替代实例，空间区域1-N中的每一个可以与FMCW LIDAR数据392的邻近3D点的合集相对应(例如，每个空间区域能够与八个3D点的合集相对应，从而使得空间区域的量能够为3D点的量的八分之一)。作为另一示例，在FMCW LIDAR数据392包括距离多普勒图像的情况下，空间区域1-N中的每一个可以与距离多普勒图像的一个或多个像素(例如，单个像素或邻近像素的合集)相对应。
针对空间区域1-N中的每一个的输出393A的概率中的每一个与1-N个类别中的一种相对应。例如，类别1概率可以是车辆类别的概率，类别2概率可以是行人类别的概率，类别3概率可以是骑自行车的人类别的概率等。注意，虽然利用N来引用空间区域1-N的总量，并且在输出393A中引用类别1-N的总量，但是空间区域1-N的总量和类别1-N的总量能够在各种实现方式中彼此不同。作为一个非限制性示例，能够提供超过一千个空间区域，然而能够提供仅五十个或更少的类别。
对象检测和分类模块154A能够利用输出393A来确定对象394的姿态和类别。例如，对象检测和分类模块154A能够确定在其类别1-N概率各自未能满足阈值低概率(例如，0.2、0.3或其它概率)的那些空间区域1-N中不存在对象。另外，例如，对象检测和分类模块154A能够确定具有满足阈值高概率的类别1-N概率中的一个或多个的那些空间区域1-N很可能包含对象。另外，对象检测和分类模块154A能够确定具有满足相同类别的阈值的概率的邻近的(直接邻近的或在N(例如，1、2或3)个空间区域内)的群集并且确定它们与那些类别的同一对象相对应。例如，如果空间区域20-30是邻近的并且全部具有满足阈值的类别1的概率，则对象检测和分类模块154A能够确定空间区域20-30与类别1的单个对象相对应。又进一步地，对象检测和分类模块154A能够基于那些空间区域20-30确定那单个对象的姿态。例如，模块154A能够确定对象具有与对应于空间区域20-30的FMCW LIDAR数据392相对应的姿态。所确定的姿态能够参考FMCW LIDAR数据392，或者参考另一系(例如，世界系或其它参考系)。
图3C是图示如何能够利用分类模型170B1-170BN的合集来确定图3A的对象394的姿态和类别的另一示例的框图。分类模型170B1-170BN是图3A的分类模型170的一个示例。在图3B中，训练分类模型170A以生成输出393A，该输出393A对于多个空间区域1-N中的每一个提供针对类别1-N中的每一个的对应概率。相反，在图3C中，训练分类模型170B1-170BN中的每一个以生成对应输出，该对应输出对于多个空间区域1-N中的每一个提供针对仅一个对应类别的对应概率。
在图3C中，对象检测和分类模块154A将FMCW LIDAR数据392作为输入应用于分类模型170B1-170BN中的每一个，使用模型170B1-170BN来处理FMCW LIDAR数据392，并且基于处理生成输出393B1-393BN。在一些实现方式中，以与从FMCW LIDAR组件136接收FMCWLIDAR数据392相同的形式应用FMCW LIDAR数据392。在一些其它实现方式中，在将FMCWLIDAR数据392作为输入应用之前对FMCW LIDAR数据392执行预处理。
对于多个空间区域1-N的每一个，基于使用分类模型170B1来处理而生成的输出393B1包括针对类别1的对应概率。对于多个空间区域1-N中的每一个，基于使用分类模型170BN来处理而生成的输出393BN包括针对类别N的对应概率。对于多个空间区域1-N中的每一个，基于使用分类模型170B2-170B(N-1)来处理而生成的未图示的输出各自包括针对对应单个类别的对应概率。输出393B1-393BN的空间区域1-N中的每一个与FMCW LIDAR数据392的一部分相对应，并且作为结果，与环境的区域相对应。
对象检测和分类模块154A能够利用输出393B1-393BN来确定对象394的姿态和类别。例如，对象检测和分类模块154A能够确定在其由输出393BA-393BN指示的类别1-N概率各自未能满足阈值低概率(例如，0.2、0.3或其它概率)的那些空间区域1-N中不存在对象。另外，例如，对象检测和分类模块154A能够确定具有由输出393BA-393BN指示的满足阈值高概率的类别1-N概率中的一个或多个的那些空间区域1-N很可能包含那些类别的对象。另外，对象检测和分类模块154A能够确定具有满足相同类别的阈值的概率的邻近的(直接邻近的或在N(例如，1、2或3)个空间区域内)的群集并且确定它们与该类别的相同对象相对应。又进一步地，对象检测和分类模块154A能够基于那些空间区域确定那单个对象的姿态。
现在转向图4A，图示了训练引擎465利用训练实例数据库467的训练实例467A来训练图3A的分类模型170A的示例。训练引擎465能够在分类模型170A用在图3A中之前训练分类模型170A。训练实例467A包括训练实例输入468A，该训练实例输入468A包括FMCW LIDAR数据(例如，来自感测周期或来自多个顺序感测周期的FMCW LIDAR数据)。训练实例467A也包括训练实例输出469A，该训练实例输出469A对于多个空间区域中的每一个定义在空间区域中是否存在一种或多种类别的对象。训练实例输出469A被更特别示出在图4B中。训练实例输出469A定义了多个空间区域1-N，并且对于空间区域1-N中的每一个，定义针对类别1-N中的每一种的对应概率。例如，如果在空间区域1-5中存在具有仅类别1的仅一个对象，则空间区域1-5中的每一个的类别1概率可以为“1”，针对类别6-N中的每一种的概率对空间区域1-5来说可以为“0”，并且针对类别1-N中的每一种的概率对空间区域6-N来说可以为“0”。在一些实现方式中，训练实例输出469A能够基于FMCW LIDAR数据的手动注释，其指示存在于FMCWLIDAR数据中的对象的类别。
再次转向图4A，在训练分类模型170A时，训练引擎465将训练实例输入468A应用于分类模型170A，并且利用分类模型170A且基于分类模型170A的当前参数来处理训练实例输入468A，以生成具有维度符合训练实例输出469A的维度的输出。训练引擎465然后将所生成的输出与训练实例输出469A相比较，并且基于比较更新分类模型170A的一个或多个参数。例如，训练引擎465能够基于所生成的输出与训练实例输出469A之间的差异生成误差，并且在分类模型170A之上反向传播损失(其基于误差)以更新分类模型170A。尽管在图4A中图示了仅单个训练实例467A，但是将基于训练实例数据库467的大量训练实例来训练分类模型170A。那些训练实例能够共同地包括具有各种FMCW LIDAR数据和各种训练实例输出的训练实例输入。此外，尽管关于图4A描述了非分批训练，但是可以附加地或替换地利用分批训练(例如，其中损失基于根据一批训练实例确定的误差)。
图4A也在虚线内图示可以被包括在分类模型170A中的示例层。特别地，图示了输入层170A1、卷积层170A2、其它层170A3和输出层170A4。如本文所描述的，输入层170A1的维度/形状能够取决于要应用的FMCW LIDAR数据的形状。另外，输出层170A4的维度/形状能够取决于空间区域的大小、要预测多少类别概率等。在一些实现方式中，提供了多个卷积层170A2，并且可以可选地在一个或多个卷积层170A2之间插置最大池化层和/或其它层。其它层170A3能够包括此类最大池化层和/或仿射层，诸如在输出层170A4之前的softmax层和/或全连接层。尽管图4A图示可以被包括在分类模型170A中的示例层，但是能够在其它实现方式中包括附加和/或替代层。例如，其它实现方式可能不包括任何卷积层和/或不包括任何最大池化层。例如，它们能够替代地在输入层170A1与输出层170A4之间包括替代层。
现在转向图5，图示了车辆的示例环境。该环境包括多个环境对象591-594，并且也图示了能够与环境对象相对应的一些FMCW LIDAR数据点的示例。示例FMCW LIDAR数据点被图示为加号(+)、减号(-)和圆圈(o)。例如，FMCW LIDAR数据点可以来自作为3D点云的FMCWLIDAR数据的实例(例如，感测周期)，其中3D点云的点中的每一个指示对应范围(通过其在3D点云中的位置)，并且包括对应速率/速度和可选地对应强度值。加号(+)指示具有正的对应速度值的FMCW LIDAR数据点，减号(-)指示具有负的对应速度值的FMCW LIDAR数据点，并且圆圈(o)指示具有零(或接近零)的对应速度值的FMCW LIDAR数据点。注意，尽管正的速度值全部由加号(+)指示，而负的速度值全部由减号(-)指示，但是那些速度值的大小能够变化(例如，车辆591的速度值能够大于行人593的速度值)。另外，应理解，附加FMCW LIDAR数据点将被提供有FMCW LIDAR数据，这些附加FMCW LIDAR数据点包括与对象591-594相对应的附加点以及与附加环境对象相对应的附加点。然而，为了简单在图5中图示了FMCW LIDAR数据点中的仅一些。此外，应理解，对象591-594将不像它们在图5中出现那样被渲染在FMCWLIDAR数据中(但是它们可以是经由对应的FMCW LIDAR数据点在视觉上可探知的)。然而，出于参考目的在图5中图示了对象591-594。附加地，应理解，虽然关于FMCW LIDAR数据点描述了图5，但是能够在确定姿态、分类和移动参数时利用附加或替代类型的FMCW LIDAR数据，诸如本文同样描述的那些类型的FMCW LIDAR数据。
在图5中，边界形状581-584被各自描绘在对象591-594中的对应一个周围。边界形状581-584各自指示FMCW LIDAR数据的可以与对象591-594中的对应一个相对应的子组，并且结果，各自指示对象591-594中的对应一个的姿态。每个姿态可以是多维姿态，诸如指示位置的三维(3D)姿态，或指示位置以及定向的六维(6D)姿态。如本文所描述的，对象检测和分类模块154A能够基于利用分类模型170对FMCW LIDAR数据进行的处理来确定边界形状581-584，并且能够利用分类模型170进一步确定由边界形状581-584包含的对象591-594中的每一个的对应分类。尽管图示了特定边界形状，但是应理解，能够附加地或替换地确定并利用其它边界形状。
在图5中，边界形状581包含与附加车辆591相对应的FMCW LIDAR数据点。边界形状581内的FMCW LIDAR数据点中的每一个与附加车辆591相对应并且用加号(+)指示，这意味着它具有正的对应速度值(相对于车辆100的FMCW LIDAR组件132)。对象检测和分类模块154A能够基于在分类模型170之上处理FMCW LIDAR数据来确定边界形状581，以生成指示邻近空间区域的输出，这些邻近空间区域各自具有针对车辆的满足阈值的分类概率。邻近空间区域能够符合边界形状581，并且它们指示附加车辆591的姿态。另外，速度模块154B能够基于由边界形状581包含的FMCW LIDAR数据点确定附加车辆592的瞬时速度。例如，速度模块154B能够基于通过由边界形状581包含的FMCW LIDAR数据所指示的速度的均值来确定瞬时速度。如所描述的，在一些实现方式中速度模块154B能够利用基于对象检测和分类模块154A确定车辆的分类而选择的技术来确定瞬时速度。
在图5中，边界形状582包含与树592相对应的FMCW LIDAR数据点。边界形状592内的FMCW LIDAR数据点中的每一个与树592相对应。如图示的，与树592的树枝和/或树叶相对应的FMCW LIDAR数据点中的一些用加号(+)指示，然而其它数据点用减号(-)指示。这可能是由于树枝/树叶沿不同方向移动(例如，由于风而导致)并且具有不同的速度方向而导致的。与树592的树干相对应的FMCW LIDAR数据点中的一些用圆圈(o)指示，这意味着它们具有零(或接近零)的速度。对象检测和分类模块154A能够基于在分类模型170之上处理FMCWLIDAR数据来确定边界形状582，以生成指示邻近空间区域的输出，这些邻近空间区域各自具有针对“树”的满足阈值的分类概率。邻近空间区域能够符合边界形状582，并且它们指示树的姿态。在一些实现方式中，速度模块154B能够基于树592的由对象检测和分类模块154A所确定的分类来跳过对树592的瞬时速度的任何确定。
在图5中，边界形状583包含与行人593相对应的FMCW LIDAR数据点。边界形状583内的FMCW LIDAR数据点中的每一个与行人593相对应。那些数据点中的一些用加号(+)指示(这意味着它们具有正的对应速度值)，然而其它数据点用减号(-)指示(这意味着它们具有负的对应速度值)，然而其它数据点用圆圈(o)指示(这意味着它们具有零或接近零的对应速度值)。行人593上的这些不同的速度方向可以是由于行人在感测周期期间行走而导致的。对象检测和分类模块154A能够基于在分类模型170之上处理FMCW LIDAR数据来确定边界形状583，以生成指示邻近空间区域的输出，这些邻近空间区域各自具有针对“行人”的满足阈值的分类概率。邻近空间区域能够符合边界形状583，并且它们指示行人593的姿态。另外，速度模块154B能够基于由边界形状583包含的FMCW LIDAR数据点来可选地确定行人593的瞬时速度。例如，速度模块154B能够基于通过由边界形状583包含的FMCW LIDAR数据所指示的速度的中值来确定瞬时速度。如所描述的，在一些实现方式中速度模块154B能够利用基于对象检测和分类模块154A确定“行人”的分类而选择的技术来确定瞬时速度。
在图5中，边界形状584包含与骑自行车的人594相对应的FMCW LIDAR数据点。边界形状584内的FMCW LIDAR数据点中的每一个均与骑自行车的人594相对应。那些数据点中的一些用加号(+)指示(这意味着它们具有正的对应速度值)，然而其它数据点用减号(-)指示。骑自行车的人594的自行车的车轮上的不同的速度方向可以是由于车轮的车轮旋转而导致的。骑自行车的人594的身体与骑自行车的人594的一条腿之间的不同的速度方向可以是由于一条腿由于骑自行车的人在感测周期期间踩踏而沿相反方向移动而导致的。对象检测和分类模块154A能够基于在分类模型170之上处理FMCW LIDAR数据来确定边界形状584，以生成指示邻近空间区域的输出，这些邻近空间区域各自具有针对“骑自行车的人”的满足阈值的分类概率。邻近空间区域能够符合边界形状584，并且它们指示骑自行车的人594的姿态。另外，速度模块154B能够基于由边界形状584包含的FMCW LIDAR数据点可选地确定骑自行车的人594的瞬时速度。例如，速度模块154B能够基于对通过由边界形状584包含的FMCW LIDAR数据所指示的速度的直方图分析来确定瞬时速度。如所描述的，在一些实现方式中速度模块154B能够利用基于对象检测和分类模块154A确定“骑自行车的人”的分类而选择的技术来确定瞬时速度。
在图6中，图示了车辆的另一示例环境。该环境包括附加车辆691，并且也图示了与附加车辆691相对应的三个FMCW LIDAR数据点682A、682B和682C。例如，FMCW LIDAR数据点可以来自作为3D点云的FMCW LIDAR数据的实例(例如，感测周期)，其中3D点云的点中的每一个指示对应范围(通过其在3D点云中的位置)并且包括对应速率/速度和可选地对应强度值。应理解，将给诸如与附加环境对象相对应的附加点的附加FMCW LIDAR数据点提供FMCWLIDAR数据。然而，为了简单在图6中图示了FMCW LIDAR数据点中的仅一些。此外，应理解，附加车辆691将不像它在图6中出现那样被渲染在FMCW LIDAR数据中，而是出于参考目的被图示在图6中。附加地，应理解，虽然关于FMCW LIDAR数据点描述了图6，但是能够在确定姿态、分类和移动参数时利用附加或替代类型的FMCW LIDAR数据，诸如本文同样描述的那些类型的FMCW LIDAR数据。
在图6中，附加车辆691远离FMCW LIDAR组件。图6中的FMCW LIDAR数据点682A、682B和682C可以是由FMCW LIDAR单脉冲组件生成的FMCW LIDAR单脉冲数据点。图6的示例是FMCW LIDAR单脉冲数据点可能是特别有益的一个示例。即，它图示了这样的情形:其中FMCW LIDAR单脉冲组件的提高的角准确度使得能够确定三个FMCW LIDAR数据点682A、682B和682C，而利用FMCW LIDAR非单脉冲组件可能可确定更少的数据点(例如，两个、一个或没有)。虽然图6是一个示例，但是应注意，图5的FMCW LIDAR数据点也可以是FMCW LIDAR单脉冲数据点并且也可能是有益的，因为例如它提高了能够在根据本文公开的实施方式确定姿态、分类和移动参数时利用的附加对象的FMCW LIDAR数据的角准确度。FMCW LIDAR数据的这种提高的角准确度能够在一些实现方式中导致更准确的姿态、分类和/或移动参数确定。
在图6中，边界形状681被描绘在附加车辆691周围，并且指示与附加车辆691相对应的FMCW LIDAR数据的子组，并且结果，指示附加车辆691的姿态。对象检测和分类模块154A能够基于利用分类模型170对FMCW LIDAR数据进行的处理来确定边界形状681，并且能够利用分类模型170进一步确定车辆针对由边界形状681包含的对象的分类。另外，速度模块154B能够基于FMCW LIDAR数据点682A、682B和682C确定附加车辆691的瞬时速度。例如，速度模块154B能够基于由FMCW LIDAR点682A、682B和682C所指示的速度的最大大小确定瞬时速度。在一些实现方式中，速度模块154B能够基于与附加车辆691相对应的相对少量的FMCW LIDAR数据点利用最大大小来确定瞬时速度。
能够在自我车辆的控制中利用根据本文描述的技术确定的环境对象的姿态、分类和/或速度。参考图7A和图7B描述这种适配的一些示例，图7A和图7B各自图示如何能够基于此类考虑自主地控制车辆100的示例。
图7A图示如何能够针对多个对象791、792和793中的每一个基于那些对象的分类和/或那些对象的瞬时速度确定候选轨迹(若有的话)并且如何能够基于候选轨迹适配车辆100的自主控制的示例。
在图7A中，从鸟瞰图图示车辆791、树木792和骑自行车的人793。对象检测和分类模块154A能够利用本文描述的技术来确定车辆791、树木792和骑自行车的人793的对应分类。对象检测和分类模块154A能够利用本文描述的技术来进一步确定车辆791、树木792和骑自行车的人793的对应姿态。另外，速度模块154B能够利用本文描述的技术来确定车辆791的瞬时速度和骑自行车的人793的瞬时速度。
规划子系统156能够利用车辆791的姿态和瞬时速度来确定附加车辆791的候选轨迹791A。另外，规划子系统156能够利用骑自行车的人793的姿态和瞬时速度来确定骑自行车的人793的候选轨迹793A。注意，没有为树792确定候选轨迹，因为它是指示静止/非移动对象的分类。另外，注意在各种实现方式中，速度模块154B可以基于所确定的树792的分类不确定树792的任何速度。
规划子系统156能够在为自我车辆100确定轨迹101A时利用至少候选轨迹791A和793A。轨迹101A能够在一段时间期间被确定和实现并且表示自我车辆100的当前轨迹的直线连续性，因为如能够从观察图7A理解的，候选轨迹791A和793A将不使对象791或793太接近于自动驾驶车辆100以保证轨迹的适配。另外，树792不更改轨迹，因为它不在自我车辆100的路径中并且其分类指示它是非移动的。
图7B图示如何能够针对多个对象791、792和794中的每一个基于那些对象的分类和/或那些对象的瞬时速度确定候选轨迹(若有的话)并且如何能够基于候选轨迹适配车辆100的自主控制的另一示例。
在图7B中，从鸟瞰图图示车辆791、树木792和行人794。对象检测和分类模块154A能够利用本文描述的技术来确定车辆791、树木792和行人794的对应分类。对象检测和分类模块154A能够利用本文描述的技术来进一步确定车辆791、树木792和行人794的对应姿态。另外，速度模块154B能够利用本文描述的技术来确定车辆791的瞬时速度。可选地，速度模块154B不确定树792或行人794的瞬时速度。
规划子系统156能够利用车辆791的姿态和瞬时速度来确定附加车辆791的候选轨迹791A。轨迹791A与图7A中图示的轨迹相同。另外，规划子系统156能够利用行人794的姿态和作为行人的行人794分类来确定行人794的候选轨迹794B。候选轨迹794B在行人周围的区域中延伸并且能够基于例如行人分类的默认最大速度和/或行人在下一个感测周期之前能行进的默认最大距离(其中能确定行人794的更新姿态)。注意，没有为树792确定候选轨迹，因为它是指示静止/非移动对象的分类。
规划子系统156能够在确定自我车辆100的轨迹101B时利用至少候选轨迹791A和794A。轨迹101B能够在一段时间期间被确定和实现，并且表示自我车辆100的当前轨迹的减速，因为如能够从观察图7B理解的，行人794的候选轨迹794A可以使行人太接近于自我车辆100，除非自我车辆被减速。另外，能够选取自我车辆100的减速代替鉴于候选轨迹791A从行人794转向开(例如，转向开可以使车辆太接近于附加车辆791的候选轨迹791A)。
图7A和图7B各自图示基于环境对象在给定时刻的姿态、分类和/或移动参数对自我车辆100在对应给定时刻的控制。然而，应理解，对自我车辆100的控制将在多个附加时刻中的每个时刻基于环境对象在那些附加时刻中的每个时刻的姿态、分类和/或移动参数继续，从而使得能够连续地适配对自我车辆100的控制。
现在转向图8，提供了图示基于FMCW LIDAR数据确定环境对象的姿态和分类并且基于姿态和分类中的至少一些控制自动驾驶车辆的示例方法800的流程图。为了方便，参考执行操作的系统来描述流程图的操作。此系统可以包括各种组件，诸如图1的自动驾驶车辆100的一个或多个处理器。此外，虽然以特定次序示出方法800的操作，但是这不意在为限制性的。可以重新排序、省略或添加一个或多个操作。
在框802处，系统从车辆的FMCW LIDAR组件接收FMCW LIDAR数据。在一些实现方式中，在框802的迭代时接收到的FMCW LIDAR数据可以是由FMCW LIDAR组件生成的数据的最近未处理的(未使用方法800处理的)的实例。数据的实例能够由FMCW LIDAR组件在感测周期期间生成并且能够由系统例如作为流的一部分、作为数据分组或经由访问共享存储器来接收。在一些实现方式中，在框802的迭代时接收到的FMCW LIDAR数据仅包括由FMCW LIDAR组件生成的数据的最近未处理的实例。在一些其它实现方式中，在框802的迭代时接收到的FMCW LIDAR数据也包括由FMCW LIDAR组件生成的数据的一个或多个在先实例，诸如由FMCWLIDAR组件生成的数据的最近N个实例。
在框804处，系统基于使用至少一个分类模型来处理在框802处接收到的FMCWLIDAR数据而生成输出。例如，至少一个分类模型能够包括训练后的神经网络模型，并且对于多个空间区域1-N中的每一个，所生成的输出能够包括针对一种或多种类别中的每一种的对应概率。在这样的示例中，输出的空间区域1-N中的每一个可以与FMCW LIDAR数据的一部分相对应，并且作为结果，与环境的区域相对应。针对空间区域中的每一个的输出的概率中的每一个均与分类相对应。例如，对于空间区域1-N中的每一个，使用分类模型生成的输出能够指示车辆类别的第一概率、行人类别的第二概率、骑自行的人类别的第三概率等。作为另一示例，对于空间区域1-N中的每一个，使用分类模型生成的输出能够指示诸如车辆类别的仅单个类别的对应概率。在那些或其它示例中，能够利用多个分类模型，每个分类模型被配置成对于类别的子集(例如，仅单个类别)针对空间区域预测概率。
在框806处，系统基于输出并针对一个或多个对象中的每一个来确定对象的姿态和对象的分类。例如，系统能够基于空间区域1-N的输出和对应类别概率确定在其类别概率各自未能满足阈值低概率的那些空间区域1-N中不存在对象。另外，例如，系统能够确定具有满足阈值高概率的对应类别概率的那些空间区域1-N很可能包含该类别的对象。另外，系统能够确定具有满足相同类别的阈值的概率的邻近的(直接邻近的或在N(例如，1、2或3)个空间区域内)的空间区域的群集并且确定它们与该类别的单个对象相对应。又进一步地，系统能够基于那些空间区域确定该单个对象的姿态。所确定的姿态能够参考框802的FMCWLIDAR数据或参考另一系。
在框808处，系统基于在框806处确定的对象的姿态和分类来控制车辆。例如，系统能够基于在框806确定的姿态和/或分类中的一个或多个来为车辆生成轨迹。在一些实现方式中，框808包括子框808A。在子框808A处，系统对于对象中的一个或多个确定对象的候选轨迹。在一些实现方式中，系统可能不针对某些类别的对象——诸如具有与不移动对象相对应和/或与移动的但具有相对较慢的最大速度的对象相对应的分类的对象——确定候选轨迹。
在子框808A处，系统能够基于对象的瞬时速度可选地确定对象的候选轨迹。在这样的情形下，子框808A能够包括子框808B，其中针对对象中的一个或多个，系统基于与对象相对应的FMCW LIDAR数据确定瞬时速度。例如，系统能够基于由与对象相对应的FMCWLIDAR数据(在框802处接收)所指示的速度来确定对象的瞬时速度。例如，能够利用对象的姿态(在框806处确定)来选择与对象相对应的FMCW LIDAR数据的子组，并且基于由子组的FMCW LIDAR数据所指示的速度确定瞬时速度。在一些实现方式中，系统能够基于所确定的对象的分类、所确定的对象的姿态和/或基于可用于对象的FMCW LIDAR数据的量从多种候选技术中选择用于确定对象的瞬时速度的特定技术。在一些实现方式中，在子框808A处，系统能够基于对象的分类并在不参考对象的任何瞬时速度的情况下可选地确定对象的候选轨迹。例如，对于行人分类的对象，能够基于行人的默认最大瞬时速度确定候选轨迹。
在框808包括子框808A(和可选地子框808B)的实现方式中，系统能够基于在子框808A处生成的候选轨迹中的一个或多个来为车辆生成轨迹(其基于在框806处确定的姿态和/或分类)。
在框808之后，系统往回进行到框802，其中系统接收新的FMCW LIDAR数据(例如，尚未使用方法800来处理的最近生成的数据)，然后继续执行框802、804、806和808的另一次迭代。尽管在图8中连续地图示，但是能够与一个或多个后续框的在先迭代并行地执行框802、804和/或806的下一次迭代(例如，经由多个处理器和/或线程)。通过在车辆导航的同时对图8的各框的连续迭代，能够连续地确定环境对象的姿态和分类以反映变化的环境参数，并且基于此类确定连续地自主地控制车辆。

Claims (25)

1.一种方法，包括：
从车辆的相位相干光检测和测距(LIDAR)单脉冲组件接收共同地捕获所述车辆的环境的区域中的多个点的LIDAR数据点的组，
所述组的LIDAR数据点中的每一个指示所述环境中的所述点中的对应一个的对应范围和对应速度，并且每一个LIDAR数据点是基于所述相位相干LIDAR单脉冲组件的对应感测事件而生成的，
其中，所述相位相干LIDAR单脉冲组件的所述对应感测事件各自包括所述相位相干LIDAR单脉冲组件的第一接收器处的第一接收器感测事件和所述相位相干LIDAR单脉冲组件的第二接收器处的第二接收器感测事件；
确定所述组的LIDAR数据点的子组与特定分类的对象相对应，所述确定基于以下两者：
所述子组的多个LIDAR数据点的所述对应范围，和
所述子组的多个LIDAR数据点的所述对应速度；以及
基于确定所述子组与所述特定分类的所述对象相对应来适配所述车辆的自主控制。
2.根据权利要求1所述的方法，进一步包括：
基于所述子组的对应速度中的至少一个确定所述对象的至少一个瞬时速度，其中，在基于确定所述子组与所述对象相对应而确定所述对象的所述至少一个瞬时速度时利用所述子组的对应速度中的至少一个；
其中，适配所述车辆的自主控制进一步基于所述至少一个瞬时速度。
3.根据权利要求2所述的方法，其中，基于所述子组的所述对应速度中的至少一个确定所述至少一个瞬时速度包括基于所述子组的多个对应速度的函数确定所述至少一个瞬时速度。
4.根据权利要求2所述的方法，其中，基于所述至少一个瞬时速度适配所述车辆的自主控制包括：
基于所述至少一个瞬时速度确定所述对象的至少一个候选轨迹；以及
基于所述至少一个候选轨迹适配所述车辆的自主控制。
5.根据权利要求4所述的方法，其中，基于所述至少一个瞬时速度确定所述对象的所述至少一个候选轨迹包括：
基于所述至少一个瞬时速度为所述对象适配先前确定的速度；以及
基于对所述先前确定的速度的所述适配确定所述对象的所述至少一个候选轨迹。
6.根据权利要求2所述的方法，其中，基于所述子组的所述对应速度中的至少一个确定所述至少一个瞬时速度包括：
基于被指派给所述特定分类的瞬时速度确定技术，从多种候选瞬时速度确定技术中选择瞬时速度确定技术；以及
在确定所述至少一个瞬时速度时使用所选择的瞬时速度确定技术。
7.根据权利要求2所述的方法，其中，基于所述子组的所述对应速度中的至少一个确定所述至少一个瞬时速度包括：
基于所述子组的对应速度的量，从多种候选瞬时速度确定技术中选择瞬时速度确定技术；以及
在确定所述至少一个瞬时速度时使用所选择的瞬时速度确定技术。
8.根据权利要求1所述的方法，其中，为所述组的LIDAR数据点中的每一个定义对应角度，并且其中，所述对应角度被各自定义为小于来自所述相位相干LIDAR单脉冲组件的激光器的对应光输出的光束宽度的度数，所述对应光输出产生了生成所述LIDAR数据点所基于的所述对应感测事件。
9.根据权利要求1所述的方法，进一步包括为所述组的LIDAR数据点中的每一个生成对应角度，其中，为所述LIDAR数据点中的给定LIDAR数据点生成所述对应角度中的给定对应角度包括：
基于比较以下各项来生成所述给定对应角度：
来自针对所述给定LIDAR数据点的所述对应感测事件的所述第一接收器感测事件的第一数据，和
来自针对所述给定LIDAR数据点的所述对应感测事件的所述第二接收器感测事件的第二数据。
10.根据权利要求9所述的方法，其中，比较所述第一数据和所述第二数据包括比较以下各项中的一者或两者：
所述第一数据与所述第二数据之间的相位差异，以及
所述第一数据与所述第二数据之间的振幅差异。
11.根据权利要求10所述的方法，其中，所述第一数据和所述第二数据各自是相应的时变中频波形或相应的距离多普勒图像。
12.根据权利要求1所述的方法，其中，所述组的LIDAR数据点中的每一个是对应的超分辨率LIDAR数据点，所述对应的超分辨率LIDAR数据点是基于将来自所述对应感测事件的所述第一接收器感测事件的第一数据和来自所述对应感测事件的所述第二接收器感测事件的第二数据组合而构造的。
13.根据权利要求1所述的方法，其中，所述组的LIDAR数据点中的每一个进一步指示对应强度，并且其中，确定所述组的LIDAR数据点的子组与所述特定分类的对象相对应进一步基于所述子组的多个LIDAR数据点的所述对应强度。
14.根据权利要求1所述的方法，进一步包括：
紧接在接收所述组之前，从所述相位相干LIDAR单脉冲组件接收共同地捕获所述车辆的环境的区域中的多个所述点的在先LIDAR数据点的在先组，
所述在先组的在先LIDAR数据点中的每一个指示所述环境中的所述对应点的对应在先范围和对应在先速度，并且每个在先LIDAR数据点各自是基于所述相位相干LIDAR单脉冲组件的在先对应感测事件而生成的；
其中，确定所述组的LIDAR数据点的子组与所述特定分类的对象相对应进一步基于以下两者：
多个所述在先LIDAR数据点的所述对应在先范围，和
多个所述在先LIDAR数据点的所述对应在先速度。
15.根据权利要求1所述的方法，其中，确定所述组的LIDAR数据点的子组与所述特定分类的对象相对应包括：
使用训练后的机器学习模型来处理所述组的LIDAR数据点；
基于使用所述训练后的机器学习模型对所述组的LIDAR数据点进行的处理来生成指示所述子组具有所述特定分类的输出；以及
基于指示所述子组具有所述特定分类的所述输出来确定所述子组与具有所述特定分类的所述对象相对应。
16.根据权利要求15所述的方法，
其中，对于所述组的LIDAR数据点的多个空间区域中的每一个，所述输出指示对应空间区域具有所述特定分类的对应概率，并且
其中，基于指示所述子组具有所述特定分类的所述输出来确定所述子组与具有所述特定分类的所述对象相对应包括：
基于集合的所述空间区域中的对应概率各自满足阈值来确定一个或多个空间区域的所述集合；以及
基于所述子组与所述一个或多个空间区域的集合相对应来确定所述子组。
17.根据权利要求16所述的方法，其中，由所述输出所指示的所述空间区域各自与以下任何一个相对应：
所述组的LIDAR数据点中的对应一个，或
所述组的LIDAR数据点中的两个或更多个的对应唯一分组。
18.根据权利要求16所述的方法，
其中，对于所述组的LIDAR数据点的多个空间区域中的每一个，所述输出指示所述对应空间区域具有所述特定分类的对应第一概率和所述对应空间区域具有不同的特定分类的对应附加概率，并且
其中，基于所述输出指示所述子组具有所述特定分类来确定所述子组与具有所述特定分类的所述对象相对应包括：
基于集合的所述空间区域中的对应概率各自满足阈值来确定一个或多个空间区域的所述集合；以及
基于所述子组与所述一个或多个空间区域中的集合相对应来确定所述子组。
19.根据权利要求18所述的方法，进一步包括：
基于以下步骤确定所述LIDAR数据的附加子组与具有所述不同的特定分类的附加对象相对应：
基于附加集合的所述空间区域中的对应附加概率各自满足阈值来确定一个或多个空间区域的所述附加集合；以及
基于所述附加子组与所述一个或多个空间区域中的所述附加集合相对应来确定所述附加子组；
其中，适配所述车辆的自主控制进一步基于确定所述附加子组与具有所述不同的特定分类的所述附加对象相对应。
20.根据权利要求1所述的方法，其中，基于确定所述子组与所述特定分类的对象相对应来适配所述车辆的自主控制包括更改以下各项中的至少一个：
所述车辆的速度，或
所述车辆的方向。
21.根据权利要求17所述的方法，其中，基于确定所述子组与所述特定分类的对象相对应来适配所述车辆的自主控制包括：
基于所述子组的LIDAR数据点确定所述对象的姿态；以及
基于所述对象的姿态并基于所述对象的特定分类来适配自主控制。
22.根据权利要求1所述的方法，其中，基于确定所述子组与所述特定分类的对象相对应来适配所述车辆的自主控制包括：
基于所述特定分类确定所述对象是移动的；
基于所述子组的LIDAR数据点确定所述对象的姿态；
响应于确定所述对象是移动的，基于所述对象的姿态确定所述对象的至少一个候选轨迹；以及
基于所述至少一个候选轨迹适配所述车辆的自主控制。
23.根据权利要求23所述的方法，进一步包括：
基于所述子组的LIDAR数据点确定所述对象的瞬时速度；
其中，确定所述对象的所述至少一个候选轨迹进一步基于所述对象的瞬时速度。
24.一种自动驾驶车辆，包括：
相位相干光检测和测距(LIDAR)单脉冲组件；
一个或多个处理器，所述一个或多个处理器执行存储的计算机指令以：
从所述相位相干LIDAR单脉冲组件接收共同地捕获所述车辆环境的区域中的多个点的相位相干LIDAR数据点的组，
所述组的相位相干LIDAR数据点中的每一个指示所述环境中的所述点中的对应一个的对应范围和对应速度，并且每一个LIDAR数据点是基于所述相位相干LIDAR单脉冲组件的对应感测事件而生成的，
其中，所述相位相干LIDAR单脉冲组件的所述对应感测事件各自包括所述相位相干LIDAR单脉冲组件的第一接收器处的第一接收器感测事件和所述相位相干LIDAR单脉冲组件的第二接收器处的第二接收器感测事件；
确定所述组的相位相干LIDAR数据点的子组与特定分类的对象相对应，所述确定基于以下两者：
所述子组的多个相位相干LIDAR数据点的所述对应范围，和
所述子组的多个相位相干LIDAR数据点的所述对应速度；以及
基于确定所述子组与所述特定分类的对象相对应来控制所述车辆的转向、加速和/或减速。
25.一种方法，包括：
从车辆的相位相干光检测和测距(LIDAR)单脉冲组件接收共同地捕获所述车辆环境的区域中的多个点的LIDAR数据点的组，
所述组的相位相干LIDAR数据点中的每一个指示所述环境中的所述点中的对应一个的对应范围和对应速度，并且每一个LIDAR数据点是基于所述FMCW LIDAR单脉冲组件的对应感测事件而生成的，
其中，所述LIDAR单脉冲组件的对应感测事件各自包括所述相位相干LIDAR单脉冲组件的第一接收器处的第一接收器感测事件和所述相位相干LIDAR单脉冲组件的第二接收器处的第二接收器感测事件；
确定所述组的相位相干LIDAR数据点的子组与特定分类的对象相对应，所述确定基于以下两者：
所述子组的多个LIDAR数据点的所述对应范围，和
所述子组的多个LIDAR数据点的所述对应速度；
基于所述组的LIDAR数据点的子组确定所述对象的多维姿态；以及
将所确定的多维姿态和所述特定分类的指示提供给所述车辆的规划子系统，其中，所述车辆的所述规划子系统基于所述多维姿态和所述特定分类的所述指示来生成所述车辆的轨迹。
CN201980024172.3A 2018-04-11 2019-03-28 基于使用相位相干lidar数据确定的环境对象分类对自动驾驶车辆的控制 Pending CN112041702A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862655963P 2018-04-11 2018-04-11
US62/655,963 2018-04-11
US16/173,648 US11550061B2 (en) 2018-04-11 2018-10-29 Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data
US16/173,648 2018-10-29
PCT/US2019/024671 WO2019199473A2 (en) 2018-04-11 2019-03-28 Control of autonomous vehicle based on environmental object classification determined using phase coherent lidar data

Publications (1)

Publication Number Publication Date
CN112041702A true CN112041702A (zh) 2020-12-04

Family

ID=68161505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980024172.3A Pending CN112041702A (zh) 2018-04-11 2019-03-28 基于使用相位相干lidar数据确定的环境对象分类对自动驾驶车辆的控制

Country Status (5)

Country Link
US (2) US11550061B2 (zh)
EP (1) EP3775997A2 (zh)
KR (1) KR102481638B1 (zh)
CN (1) CN112041702A (zh)
WO (1) WO2019199473A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11550061B2 (en) 2018-04-11 2023-01-10 Aurora Operations, Inc. Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data
US11654917B2 (en) 2018-04-11 2023-05-23 Aurora Operations, Inc. Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114296093A (zh) 2016-11-29 2022-04-08 布莱克莫尔传感器和分析有限责任公司 用于以点云数据集合对对象进行分类的方法和系统
WO2018102188A1 (en) 2016-11-30 2018-06-07 Blackmore Sensors and Analytics Inc. Method and system for automatic real-time adaptive scanning with optical ranging systems
CN113985427A (zh) 2016-11-30 2022-01-28 布莱克莫尔传感器和分析有限责任公司 对光学啁啾距离检测进行多普勒检测和校正的方法和系统
US11624828B2 (en) 2016-11-30 2023-04-11 Blackmore Sensors & Analytics, Llc Method and system for adaptive scanning with optical ranging systems
US10422880B2 (en) 2017-02-03 2019-09-24 Blackmore Sensors and Analytics Inc. Method and system for doppler detection and doppler correction of optical phase-encoded range detection
US10401495B2 (en) 2017-07-10 2019-09-03 Blackmore Sensors and Analytics Inc. Method and system for time separated quadrature detection of doppler effects in optical range measurements
US10468062B1 (en) * 2018-04-03 2019-11-05 Zoox, Inc. Detecting errors in sensor data
WO2019209727A1 (en) * 2018-04-23 2019-10-31 Blackmore Sensors and Analytics Inc. Method and system for controlling autonomous vehicle using coherent range doppler optical sensors
US11827241B2 (en) * 2018-10-29 2023-11-28 Motional Ad Llc Adjusting lateral clearance for a vehicle using a multi-dimensional envelope
US11256263B2 (en) 2018-11-02 2022-02-22 Aurora Operations, Inc. Generating targeted training instances for autonomous vehicles
US11086319B2 (en) 2018-11-02 2021-08-10 Aurora Operations, Inc. Generating testing instances for autonomous vehicles
US11829143B2 (en) 2018-11-02 2023-11-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11209821B2 (en) 2018-11-02 2021-12-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11403492B2 (en) 2018-11-02 2022-08-02 Aurora Operations, Inc. Generating labeled training instances for autonomous vehicles
US11822010B2 (en) 2019-01-04 2023-11-21 Blackmore Sensors & Analytics, Llc LIDAR system
US11828848B2 (en) * 2019-03-14 2023-11-28 Aeva, Inc. Velocity estimation using doppler per point LiDAR systems
US11618502B2 (en) * 2019-03-28 2023-04-04 Volkswagen Aktiengesellschaft On-road localization methodologies and equipment utilizing road surface characteristics
US11153010B2 (en) * 2019-07-02 2021-10-19 Waymo Llc Lidar based communication
US10838061B1 (en) * 2019-07-16 2020-11-17 Blackmore Sensors & Analytics, LLC. Method and system for enhanced velocity resolution and signal to noise ratio in optical phase-encoded range detection
US11022972B2 (en) * 2019-07-31 2021-06-01 Bell Textron Inc. Navigation system with camera assist
US11148663B2 (en) * 2019-10-02 2021-10-19 Ford Global Technologies, Llc Enhanced collision mitigation
US11407431B2 (en) * 2019-11-22 2022-08-09 Samsung Electronics Co., Ltd. System and method for object trajectory prediction in an autonomous scenario
DE102020104385A1 (de) 2020-02-19 2021-08-19 OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung Lasersystem und betriebsverfahren für ein lasersystem
CN115461258B (zh) * 2020-02-21 2023-09-05 蓝色空间人工智能公司 用于自主导航期间对象避让的方法
US11703599B2 (en) * 2020-05-15 2023-07-18 Baidu Usa Llc Partial point cloud-based pedestrians' velocity estimation method
JP7409234B2 (ja) * 2020-06-12 2024-01-09 株式会社デンソー 物体認識装置
CN111781608B (zh) * 2020-07-03 2023-04-25 浙江光珀智能科技有限公司 一种基于fmcw激光雷达的运动目标检测方法及系统
US20220011438A1 (en) * 2020-07-10 2022-01-13 Xin Jin Multi-domain optical sensor chip and apparatus
US11635500B2 (en) 2020-09-04 2023-04-25 Ours Technology, Llc Lidar phase noise cancellation system
US20220128995A1 (en) * 2020-10-22 2022-04-28 Waymo Llc Velocity estimation and object tracking for autonomous vehicle applications
US11841439B2 (en) * 2020-11-02 2023-12-12 Waymo Llc Point cloud segmentation using a coherent lidar for autonomous vehicle applications
US20220135074A1 (en) * 2020-11-02 2022-05-05 Waymo Llc Classification of objects based on motion patterns for autonomous vehicle applications
US11702102B2 (en) * 2020-11-19 2023-07-18 Waymo Llc Filtering return points in a point cloud based on radial velocity measurement
US11656629B1 (en) 2020-12-08 2023-05-23 Waymo Llc Detection of particulate matter in autonomous vehicle applications
EP4030188B1 (de) * 2021-01-15 2022-12-07 Sick Ag Vorrichtung und verfahren zum absichern eines überwachungsbereiches
WO2022192539A1 (en) * 2021-03-10 2022-09-15 Neophotonics Corporation Lidar with 4d object classification, solid state optical scanning arrays, and effective pixel designs
US11960292B2 (en) * 2021-07-28 2024-04-16 Argo AI, LLC Method and system for developing autonomous vehicle training simulations
WO2023129479A1 (en) * 2021-12-31 2023-07-06 Aeva, Inc. Techniques for point cloud frame accumulation in fmcw lidar
US20230242149A1 (en) * 2022-01-31 2023-08-03 Zoox, Inc. Radar object classification based on radar cross-section data
US11693101B1 (en) * 2022-09-26 2023-07-04 Aeva, Inc. Techniques for target orientation estimation

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3987297A (en) * 1975-06-09 1976-10-19 United Technologies Corporation Monopulse optical receiver system
US5815250A (en) * 1997-05-27 1998-09-29 Coherent Technologies, Inc. Doublet pulse coherent laser radar for precision range and velocity measurements
US20040125835A1 (en) * 2001-09-28 2004-07-01 Halmos Maurice J. Synthetic aperture ladar with chirped modelocked waveform
US20140333468A1 (en) * 2013-05-07 2014-11-13 Google Inc. Methods and Systems for Detecting Weather Conditions Including Sunlight Using Vehicle Onboard Sensors
CN105324287A (zh) * 2013-04-11 2016-02-10 谷歌公司 使用车载传感器检测天气条件的方法和系统
KR20160093465A (ko) * 2015-01-29 2016-08-08 엘지전자 주식회사 차량용 레이더 장치, 차량 운전 보조 장치, 차량 및 차량용 레이더 장치의 동작 방법
US20160299228A1 (en) * 2015-04-07 2016-10-13 Oewaves, Inc. Compact LIDAR System
EP3144696A1 (en) * 2015-09-15 2017-03-22 Delphi Technologies, Inc. Radar system for automated vehicle with phase change based target categorization
US9632502B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US20180089538A1 (en) * 2016-09-29 2018-03-29 The Charles Stark Draper Laboratory, Inc. Autonomous vehicle: object-level fusion

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7629899B2 (en) 1997-10-22 2009-12-08 Intelligent Technologies International, Inc. Vehicular communication arrangement and method
JP3651259B2 (ja) 1998-05-01 2005-05-25 日産自動車株式会社 先行車追従制御装置
DE10148071A1 (de) 2001-09-28 2003-04-17 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und Verfolgung von Objekten
DE10353348A1 (de) 2003-11-14 2005-06-02 Ibeo Automobile Sensor Gmbh Verfahren zur Verfolgung von Objekten
DE112006003044T5 (de) 2005-10-21 2008-10-23 Deere & Company, Moline Vielseitiges Robotersteuermodul
US8229663B2 (en) 2009-02-03 2012-07-24 GM Global Technology Operations LLC Combined vehicle-to-vehicle communication and object detection sensing
JP2014514849A (ja) 2011-04-14 2014-06-19 ノキア シーメンス ネットワークス オサケユキチュア 単一キャリアセルアグリゲーションでの協調送信ＣｏＭＰ
DE102013100446B4 (de) * 2012-01-25 2020-01-09 Denso Corporation Spurhalte-Steuersystem
EP2637072B1 (en) 2012-03-05 2017-10-11 Volvo Car Corporation Path following of a target vehicle
US8983705B2 (en) * 2013-04-30 2015-03-17 Google Inc. Methods and systems for detecting weather conditions including fog using vehicle onboard sensors
US9523772B2 (en) 2013-06-14 2016-12-20 Microsoft Technology Licensing, Llc Object removal using lidar-based classification
KR101470221B1 (ko) * 2013-10-17 2014-12-05 현대자동차주식회사 현가 제어 장치 및 그 방법
EP3114574A4 (en) * 2014-03-03 2018-03-07 Inrix, Inc. Traffic obstruction detection
US9734455B2 (en) 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US9606539B1 (en) 2015-11-04 2017-03-28 Zoox, Inc. Autonomous vehicle fleet service and system
US9940834B1 (en) 2016-01-22 2018-04-10 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
CN116659526A (zh) * 2016-03-15 2023-08-29 康多尔收购第二分公司 用于提供车辆认知的系统和方法
EP3432285A4 (en) 2016-03-16 2019-03-27 Panasonic Intellectual Property Management Co., Ltd. FAHRANALYSE DEVICE AND FAIR ANALYSIS SYSTEM
US20180053102A1 (en) 2016-08-16 2018-02-22 Toyota Jidosha Kabushiki Kaisha Individualized Adaptation of Driver Action Prediction Models
EP3285230B1 (en) * 2016-08-19 2021-04-07 Veoneer Sweden AB Enhanced object detection and motion estimation for a vehicle environment detection system
US10592805B2 (en) 2016-08-26 2020-03-17 Ford Global Technologies, Llc Physics modeling for radar and ultrasonic sensors
GB201616097D0 (en) 2016-09-21 2016-11-02 Univ Oxford Innovation Ltd Segmentation of path proposals
EP3563265B1 (en) * 2016-12-30 2021-06-02 DeepMap Inc. High definition map updates
CN117310741A (zh) * 2017-01-03 2023-12-29 应诺维思科技有限公司 用于检测和分类物体的激光雷达系统和方法
JP6542824B2 (ja) 2017-03-13 2019-07-10 ファナック株式会社 入力画像から検出した対象物の像の尤度を計算する画像処理装置および画像処理方法
US10262234B2 (en) 2017-04-24 2019-04-16 Baidu Usa Llc Automatically collecting training data for object recognition with 3D lidar and localization
US10007269B1 (en) 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
WO2019040866A2 (en) * 2017-08-25 2019-02-28 The Board Of Trustees Of The University Of Illinois APPARATUS AND METHOD FOR COLLECTING AGRICULTURAL DATA AND AGRICULTURAL OPERATIONS
WO2019079750A1 (en) * 2017-10-19 2019-04-25 Gerard Dirk Smits METHODS AND SYSTEMS FOR NAVIGATING A VEHICLE EQUIPPED WITH A NEW MILITARY MARKER SYSTEM
EP3477616A1 (en) 2017-10-27 2019-05-01 Sigra Technologies GmbH Method for controlling a vehicle using a machine learning system
US11232350B2 (en) 2017-11-29 2022-01-25 Honda Motor Co., Ltd. System and method for providing road user classification training using a vehicle communications network
US10915101B2 (en) 2018-02-02 2021-02-09 Uatc, Llc Context-dependent alertness monitor in an autonomous vehicle
US11073618B2 (en) 2018-04-03 2021-07-27 GM Global Technology Operations LLC Optical amplifier in return path of coherent lidar system
US10676085B2 (en) 2018-04-11 2020-06-09 Aurora Innovation, Inc. Training machine learning model based on training instances with: training instance input based on autonomous vehicle sensor data, and training instance output based on additional vehicle sensor data
US11550061B2 (en) 2018-04-11 2023-01-10 Aurora Operations, Inc. Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data
US11209821B2 (en) 2018-11-02 2021-12-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11256263B2 (en) 2018-11-02 2022-02-22 Aurora Operations, Inc. Generating targeted training instances for autonomous vehicles
US11829143B2 (en) 2018-11-02 2023-11-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11086319B2 (en) 2018-11-02 2021-08-10 Aurora Operations, Inc. Generating testing instances for autonomous vehicles
US11403492B2 (en) * 2018-11-02 2022-08-02 Aurora Operations, Inc. Generating labeled training instances for autonomous vehicles

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3987297A (en) * 1975-06-09 1976-10-19 United Technologies Corporation Monopulse optical receiver system
US5815250A (en) * 1997-05-27 1998-09-29 Coherent Technologies, Inc. Doublet pulse coherent laser radar for precision range and velocity measurements
US20040125835A1 (en) * 2001-09-28 2004-07-01 Halmos Maurice J. Synthetic aperture ladar with chirped modelocked waveform
CN105324287A (zh) * 2013-04-11 2016-02-10 谷歌公司 使用车载传感器检测天气条件的方法和系统
US20140333468A1 (en) * 2013-05-07 2014-11-13 Google Inc. Methods and Systems for Detecting Weather Conditions Including Sunlight Using Vehicle Onboard Sensors
KR20160093465A (ko) * 2015-01-29 2016-08-08 엘지전자 주식회사 차량용 레이더 장치, 차량 운전 보조 장치, 차량 및 차량용 레이더 장치의 동작 방법
US20160299228A1 (en) * 2015-04-07 2016-10-13 Oewaves, Inc. Compact LIDAR System
EP3144696A1 (en) * 2015-09-15 2017-03-22 Delphi Technologies, Inc. Radar system for automated vehicle with phase change based target categorization
US9632502B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US20180089538A1 (en) * 2016-09-29 2018-03-29 The Charles Stark Draper Laboratory, Inc. Autonomous vehicle: object-level fusion

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11550061B2 (en) 2018-04-11 2023-01-10 Aurora Operations, Inc. Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data
US11654917B2 (en) 2018-04-11 2023-05-23 Aurora Operations, Inc. Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle
US11933902B2 (en) 2018-04-11 2024-03-19 Aurora Operations, Inc. Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data
US11964663B2 (en) 2018-04-11 2024-04-23 Aurora Operations, Inc. Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle

Also Published As

Publication number Publication date
US11933902B2 (en) 2024-03-19
WO2019199473A2 (en) 2019-10-17
US20190317219A1 (en) 2019-10-17
KR20200139779A (ko) 2020-12-14
KR102481638B1 (ko) 2022-12-27
WO2019199473A3 (en) 2019-11-21
US20230133611A1 (en) 2023-05-04
EP3775997A2 (en) 2021-02-17
US11550061B2 (en) 2023-01-10

Similar Documents

Publication Publication Date Title
US11933902B2 (en) Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data
US11964663B2 (en) Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle
US20220128995A1 (en) Velocity estimation and object tracking for autonomous vehicle applications
WO2022094430A1 (en) Point cloud segmentation using a coherent lidar for autonomous vehicle applications
WO2022098516A1 (en) Systems and methods for radar false track mitigation with camera
JP7081098B2 (ja) 走行環境認識装置、走行環境認識方法、プログラム
US11531113B1 (en) System and methods for object detection and tracking using a lidar observation model
US11978259B2 (en) Systems and methods for particle filter tracking
CN112313133B (zh) 基于附加车辆的所确定的横摆参数控制自动驾驶车辆
US20230161014A1 (en) Methods and systems for reducing lidar memory load
US11859994B1 (en) Landmark-based localization methods and architectures for an autonomous vehicle
US20230194700A1 (en) Fuzzy Labeling of Low-Level Electromagnetic Sensor Data
JP2022077003A (ja) センサによって生成されたパルスを分類するための方法、システム、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Aurora operations

Address before: California, USA

Applicant before: Aurora innovation OpCo

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210930

Address after: California, USA

Applicant after: Aurora innovation OpCo

Address before: California, USA

Applicant before: Aurora innovations

CB02 Change of applicant information
CB02 Change of applicant information

Address after: Pennsylvania, America

Applicant after: Aurora operations

Address before: California, USA

Applicant before: Aurora operations