CN113228040A - 多级对象行进方向估计 - Google Patents

多级对象行进方向估计 Download PDF

Info

Publication number
CN113228040A
CN113228040A CN201980085241.1A CN201980085241A CN113228040A CN 113228040 A CN113228040 A CN 113228040A CN 201980085241 A CN201980085241 A CN 201980085241A CN 113228040 A CN113228040 A CN 113228040A
Authority
CN
China
Prior art keywords
travel
estimate
preliminary
generate
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980085241.1A
Other languages
English (en)
Other versions
CN113228040B (zh
Inventor
D.李
X.金
C.李
N.阿布多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN113228040A publication Critical patent/CN113228040A/zh
Application granted granted Critical
Publication of CN113228040B publication Critical patent/CN113228040B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/806—Relative heading
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

用于生成对象行进方向估计的系统、方法、设备和技术。在一个示例中，方法包括以下动作：接收表示在车辆附近检测的对象的测量的传感器数据；用一个或多个初步行进方向估计子系统处理传感器数据，以分别生成对象的一个或多个初步行进方向估计；用第二行进方向估计子系统处理两个或更多个输入，以生成对象的精确行进方向估计，所述两个或更多个输入包括对象的一个或多个初步行进方向估计；以及向外部处理系统提供对象的精确行进方向估计。

Description

多级对象行进方向估计
相关申请的交叉引用
本申请要求2018年12月21日提交的第16/229，370号美国申请序列的优先权，其全部内容通过引用其整体结合到本公开中。
背景技术
本说明书涉及自动驾驶车辆。
自动驾驶车辆包括自动驾驶汽车、船只和飞机。自动驾驶车辆使用各种车载传感器和计算机系统来检测附近的对象，并使用这些检测来做出控制和导航决策。所用的自动驾驶车辆可以指全自动驾驶车辆或半自动驾驶车辆。全自动驾驶车辆通常能够独立于人类操作员全自动驾驶，而半自动驾驶车辆自动进行一些驾驶操作，但允许不同级别的人类控制或干预。
自动驾驶车辆可以包括车载计算机系统，车载计算机系统被配置为执行任务，诸如分析关于车辆环境的数据和确定车辆的导航规划。在一些情况下，自动驾驶车辆包括被配置为检测车辆周围的对象并估计对象的属性的传感器。例如，可以检测到其他车辆、骑自行车的人或行人，并确定他们的位置、方向和移动。对象的行进方向(heading)通常是指对象在特定时间在特定坐标系中面对的方向。
发明内容
本说明书描述了计算机系统如何实现完全学习的对象行进方向估计器，以生成改进的对象行进方向估计。系统可以包括两级(stage)：第一级，使用不同形式的可用传感器数据和不同的估计技术来生成初步行进方向估计，以及第二级，基于初步行进方向估计的每一个和可选的附加辅助输入来确定通用或精确行进方向估计。
一般来说，本说明书中描述的主题的一个创新方面可以体现在包括以下动作的方法中：接收表示在车辆附近检测的对象的测量的传感器数据；用一个或多个初步行进方向估计子系统处理传感器数据，以分别生成对象的一个或多个初步行进方向估计；用第二行进方向估计子系统处理两个或更多个输入，以生成对象的精确行进方向估计，所述两个或更多个输入包括对象的一个或多个初步行进方向估计；以及向外部处理系统提供对象的精确行进方向估计。
该方面的其他实施例包括记录在一个或多个计算机存储设备上的对应的计算机系统、装置和计算机程序，每个计算机存储设备被配置为执行方法的动作。对于由一台或多台计算机组成的系统来说，被配置为执行特定的操作或动作意味着该系统已经在其上安装了软件、固件、硬件或它们的组合在操作中导致该系统执行这些操作或动作。对于被配置为执行特定操作或动作的一个或多个计算机程序来说，意味着该一个或多个程序包括指令，当被数据处理装置执行时，这些指令使得该设备执行这些操作或动作。
前述和其他实施例可以各自可选地单独或组合包括一个或多个以下特征。
初步行进方向估计子系统中的第一个可以是神经网络系统，神经网络系统被配置为对点云数据的投影进行分类，以生成对象的第一初步行进方向估计。点云数据可以表示基于由光检测和测距传感器(LIDAR)子系统或无线电检测和测距(RADAR)子系统中的至少一个获得的信号的对象测量。
一个或多个初步行进方向估计子系统可以包括以下至少两个：基于点云的行进方向估计子系统，被配置为处理点云数据以生成对象的第一初步行进方向估计；基于道路的行进方向估计子系统，被配置为处理道路图数据和对象位置的指示以生成对象的第二初步行进方向估计；或者基于运动的行进方向估计子系统，被配置为处理运动数据以生成对象的第三初步行进方向估计。
这些动作还可以包括基于(i)来自第一初步行进方向估计子系统的当前初步行进方向估计和(ii)来自第一初步行进方向估计子系统的一个或多个先前初步行进方向估计，生成时间平均的初步行进方向估计；以及由第二行进方向估计子系统与至少一个附加输入一起处理时间平均的初步行进方向估计，以生成对象的精确行进方向估计，对象的精确行进方向估计表示对象的当前行进方向的估计。
本说明书中描述的主题的另一创新方面可以实施在计算机系统中，包括一个或多个数据处理装置，数据处理装置包括：第一行进方向估计子系统，被配置为处理表示对象测量的传感器数据，以生成对象的第一行进方向估计；以及第二行进方向估计子系统，被配置为处理对象的第一行进方向估计和至少一个附加输入，以生成对象的第二行进方向估计，对象的第二行进方向估计表示第一行进方向估计的改进。
前述和其他实施例可以各自可选地单独或组合包括一个或多个以下特征。
第一行进方向估计子系统可以包括基于神经网络的分类器，该分类器被配置为处理点云数据的投影以生成对象的第一行进方向估计，该点云数据表示基于由光检测和测距传感器(LIDAR)子系统或无线电检测和测距(RADAR)子系统中的至少一个获得的信号的对象的测量。
基于神经网络的分类器可以包括多个点云子网络，每个点云子网络被配置为对点云数据的不同相应投影进行操作，每个点云子网络包括具有一个或多个卷积层的卷积栈。
第二行进方向估计子系统可以包括决策树、神经网络或回归模型中的至少一个。
系统可以具有多个初步行进方向估计子系统，包括第一行进方向估计子系统。每个初步行进方向估计子系统可以被配置为独立地为对象生成各自的初步行进方向估计。第二行进方向估计子系统可以被配置为处理包括对象的第一行进方向估计的对象的初步行进方向估计，以生成第二行进方向估计。
多个初步行进方向估计子系统可以包括以下至少两个：基于点云的行进方向估计子系统，被配置为处理点云数据以生成对象的第一初步行进方向估计；基于道路的行进方向估计子系统，被配置为处理道路图数据和对象位置的指示以生成对象的第二初步行进方向估计；或者基于运动的行进方向估计子系统，被配置为处理运动数据以生成对象的第三初步行进方向估计。
对象可以是位于自动驾驶车辆附近的机动车辆、骑车人或行人，并且表示该对象的测量的传感器数据可以基于由自动驾驶车辆上的一个或多个传感器子系统捕获的信号。
这些动作还可以包括轨迹预测子系统，该轨迹预测子系统被配置为使用第二行进方向估计来预测对象的未来轨迹。
第一行进方向估计子系统可以包括分类器，该分类器被配置为生成对象的第一行进方向估计，并且第一行进方向估计可以包括置信度分数集合，每个置信度分数对应于不同的相应行进方向区间，并且表示对象的行进方向落入相应行进方向区间内的可能性。
第二行进方向估计子系统可以包括时间滤波器和行进方向估计模型，时间滤波器被配置为处理来自第一行进方向估计子系统的当前时间步长和至少一个先前时间步长的相应行进方向估计，以生成时间平均的行进方向估计。行进方向估计模型可以被配置为处理时间平均的行进方向估计和至少一个附加输入，以生成对象的第二行进方向估计。
可以实现本说明书中描述的主题的特定实施例，以便实现一个或多个以下优点。自动驾驶车辆系统可以估计附近对象的行进方向，以提高对其环境的理解，并做出更好的驾驶和导航决策。通过采用两级估计架构，多个初步行进方向估计可以被组合以生成精确行进方向估计，该精确行进方向估计通常比任何初步估计具有更高的精度或置信水平。不同的个体行进方向估计技术在不同的环境中可能或多或少地有效。例如，基于运动的行进方向估计往往对快速移动的对象更好，但对静止或非常缓慢移动的对象不太有效。同样，如果对象被部分遮挡或者点云的质量降低，则基于点云的行进方向估计的可靠性会降低。通过使用所有或多种可用的估计技术进行最终行进方向估计，结果可以平均改善。因为自动驾驶车辆依赖于关于其环境的准确信息来做出最佳驾驶决策，所以通过本文所述的多级系统来提高行进方向估计的准确性也提高了自动驾驶车辆的性能(例如，允许车辆利用精确行进方向估计来更精确地规划车辆的轨迹，预测车辆环境中对象的轨迹，并更精确地表征环境的当前状态)。在一些实施方式中，第二级行进方向估计器可以使用自动机器学习技术来完全学习，从而促进用于组合初步行进方向估计的模型的更有效和更准确的开发。
本说明书主题的一个或多个实施例的细节在附图和以下描述中阐述。根据说明书、附图和权利要求，本主题的其他特征、方面和优点将变得明显。
附图说明
图1是用于在自动驾驶车辆上训练和使用对象行进方向估计系统的示例系统的示意图。
图2是自动驾驶车辆的示例环境的示意图。
图3是示例性两级对象行进方向估计系统的示意图。
图4是用于估计自动驾驶车辆附近的对象的行进方向的示例过程的流程图。
图5是用于训练多级对象行进方向估计系统的示例过程的流程图。
不同附图中相同的附图标记和名称表示相同的元件。
具体实施方式
本说明书描述了能够感知关于其环境信息的系统(例如，自动驾驶车辆)可以使用多级估计器，来使用关于环境和在其中检测的对象的各种类型的测量来对附近的对象进行行进方向估计。行进方向估计可以指示特定对象在特定坐标系中可能面对的方向，通常是在获得对象的测量时。行进方向估计可以表示为单个方向；作为方向的分布，每个方向具有相应的可能性或置信度分数；作为单一方向的多个分量；或者以任何其他适当的表示。
图1是示例系统100的示意图。系统100包括训练系统110和车载系统130。
车载系统130物理上位于车辆122上。图1中的车辆122被示出为汽车，但是车载系统130可以位于任何其他合适的车辆上。车辆122可以是自动驾驶车辆，自动驾驶车辆使用对象行进方向估计来通知自主驾驶决策，诸如预测车辆122附近或周围的对象(例如，其他车辆、骑自行车的人、行人)的未来运动和轨迹。
车载系统130包括一个或多个传感器子系统132。传感器子系统包括接收电磁辐射反射的组件的组合，例如，检测激光反射的光检测和测距(light detection and ranging，LIDAR)系统，检测无线电波反射的无线电检测和测距(radio detection and ranging，RADAR)系统，以及检测可见光反射的相机系统。
原始输入传感器数据可以指示反射辐射的距离、方向和强度。每个传感器可以以特定方向上发射一个或多个电磁辐射脉冲，并可以测量任何反射的强度以及接收反射的时间。可以通过确定脉冲和其相应反射之间的时间延迟来计算距离。每个传感器可以以角度、方位角或两者连续扫描特定空间。例如，方位角扫描可以允许传感器沿着同一视线检测多个对象。
传感器子系统132还可以将一个或多个原始传感器测量的组分类为对应于另一个对象(例如，车辆22附近的另一车辆)。每组原始传感器测量可以表示为三维点云，每个点具有强度和位置。在一些实施方式中，位置被表示为范围和高度对。传感器子系统132还可以处理原始传感器测量，以确定在车辆22的环境中检测的对象的其他属性，诸如特定对象的位置、对象的当前轨迹、对象的最近位置或运动，或者这些的组合。传感器子系统132也可以使用一个或多个相机来捕获环境的图像。
传感器子系统132向车载对象行进方向估计器134提供一种或多种类型的传感器数据155。例如，传感器数据155可以包括点云数据、相机数据、对象位置数据、对象运动数据、或者这些或从原始传感器输入导出的其他类型的传感器数据的组合。车载对象行进方向估计器134处理传感器数据155以生成一个或多个对象行进方向估计165。对象行进方向估计器134可以包括具有一个或多个初步行进方向估计器的第一级180和处理多个输入(包括初步行进方向估计)以确定精确行进方向估计的第二级182。关于两级对象行进方向估计系统(诸如车载对象行进方向估计器134)的附加细节参考图3进行描述。
在一些实施方式中，车载对象行进方向估计器134包括神经网络系统，该神经网络系统实现被训练来进行对象行进方向估计165的神经网络的每一层的操作。神经网络是采用多层操作从一个或多个输入计算一个或多个输出的机器学习模型。神经网络通常包括位于输入层和输出层之间的一个或多个隐藏层。每一层的输出被用作网络中另一层(例如，下一个隐藏层或输出层)的输入。神经网络的每一层指定一个或多个要对该层的输入执行的变换操作。一些神经网络层具有被称为神经元的操作。每个神经元接收一个或多个输入，并生成由另一个神经网络层接收的输出。通常，每个神经元从其他神经元接收输入，并且每个神经元向一个或多个其他神经元提供输出。车载对象行进方向估计器134可以包括一个或多个具有软件和/或硬件模块的计算设备，该软件和/或硬件模块根据神经网络的架构实现神经网络的每一层的相应操作。
例如，车载对象行进方向估计器134可以通过加载从训练系统110接收的模型参数值172的集合来实现神经网络的每一层的操作。
车载对象行进方向估计器134使用传感器数据155来生成一个或多个对象行进方向估计165。每个对象行进方向估计165指定附近车辆可能面对的一个或多个方向。车载对象行进方向估计器134可以向规划子系统136、用户界面子系统138和/或轨迹预测子系统186提供一个或多个对象行进方向估计165。
当规划子系统136接收一个或多个对象行进方向估计165时，规划子系统136可以使用所述一个或多个对象行进方向估计165来做出全自动或半自动驾驶决策，从而至少部分地基于一个或多个对象行进方向估计165来控制车辆122。例如，规划子系统136可以基于对象行进方向估计165生成全自动驾驶规划，以避开正在退出停车位的车辆，并且车辆122可以根据该规划自动操纵。作为另一个示例，规划子系统136可以为人类驾驶员生成半自动驾驶建议，以在车辆退出停车位时使用刹车。
用户界面子系统138可以接收对象行进方向估计165，并且可以生成指示附近车辆的位置及其关联行进方向的用户界面呈现。例如，用户界面子系统138可以生成具有图像或视频数据的用户界面呈现，该图像或视频数据包含可能被车辆占据的空间区域的表示，并且可以使用车辆的预测行进方向来确定该空间中车辆的方位(orient)。车载显示设备然后可以显示用户界面呈现，以供车辆122的乘客观看。
轨迹预测子系统136可以使用对象行进方向估计165作为特征来预测由行进方向估计165参考的对象的未来运动，以规划车辆122的未来运动，或者两者。对象的当前行进方向可以是其未来运动的强指示符，并且轨迹预测186处理行进方向估计165以在预测或规划未来运动中利用这种相关性。
车载对象行进方向估计器134也可以使用传感器数据155来生成训练数据127。车载系统130可以离线批量或以在线方式向训练系统110提供训练数据127，例如，无论何时生成，都持续不断。
为了生成训练数据127，车载系统130可以生成具有各种类型的传感器数据(例如点云数据、对象位置数据、相机数据和对象运动数据)的训练示例。然后，由车载系统130生成的训练数据127可以由人类标签员用行进方向来添加标签。替换地，车载系统130可以从其行进方向可以由车载系统130确定的对象自动生成训练数据127的行进方向。例如，车载系统130可能能够确定在特定方向上以高于阈值速度移动的车辆的可靠行进方向。
具有由车载系统130自动生成的训练数据127的优点在于，所得到的神经网络可以学习根据许多不同类型的对象的物理特征来预测行进方向。例如，可以部署许多全自动或半自动驾驶车辆来生成在特定时间段期间遇到的所有车辆的训练数据。
训练系统110通常托管在数据中心112内，数据中心112可以是在一个或多个位置具有数百或数千台计算机的分布式计算系统。关于训练两级对象行进方向估计器的操作的附加细节将参考图5进一步描述。
训练系统110包括训练神经网络子系统114，训练神经网络子系统114可以实现神经网络的每一层的操作，该神经网络被设计成根据传感器数据进行对象行进方向估计。训练神经网络子系统114包括多个具有软件或硬件模块的计算设备，这些软件或硬件模块根据神经网络的架构实现神经网络的每一层的相应操作。
训练神经网络通常具有与车载对象行进方向估计器134相同的架构和参数。然而，训练系统110不需要使用相同的硬件来计算每一层的操作。换句话说，训练系统110可以只使用CPU、高度并行化的硬件或它们的一些组合。
训练神经网络子系统114可以使用存储在模型参数值集合170中的当前参数值115来计算神经网络的每一层的操作。尽管被图示为逻辑上分离的，但是模型参数值170和执行操作的软件或硬件模块实际上可以位于相同的计算设备或相同的存储器设备上。
训练神经网络子系统114可以为每个训练示例123生成一个或多个对象行进方向估计135。训练引擎116分析对象行进方向估计135，并将对象行进方向估计与训练示例123中的标签进行比较。训练引擎116然后通过使用适当的更新技术(例如，具有反向传播的随机梯度下降)生成更新的模型参数值145。训练引擎116然后可以使用更新的模型参数值145来更新模型参数值170的集合。在一些实施方式中，第一级对象估计器180与第二级对象行进方向估计器182被分开训练。
在训练完成之后，训练系统110可以向车载系统130提供参数值171的最终集合，用于对全自动或半自动驾驶决策进行对象行进方向估计165。例如，训练系统110可以通过与车载系统130的有线或无线连接来提供模型参数值171的最终集合。
图2是自动驾驶车辆202的示例环境200的示意图。自动驾驶车辆上的传感器可以持续扫描环境200，收集可用于通知车辆202的驾驶决策的测量，包括关于在环境200中车辆202应该导航绕过的对象或障碍物的信息。为了说明，边界204被示为限制环境200的一部分，自动驾驶车辆202位于环境的中心。边界204表示车辆202的感兴趣区域。在一些实施方式中，感兴趣区域的范围受到车辆202上的传感器的范围的限制。感兴趣区域(例如，由边界204包围的区域)内的对象可以说是车辆202的附近或近旁。
例如，几个对象206a-f被视为在车辆202周围的不同位置。这些对象包括轿车206a和206f、自行车206c以及行人206b、206d和206e。在给定时刻，对象206a-f中的每一个对象都具有对应的行进方向208a-f，该行进方向表示对象正朝向的方向(例如，对象的朝向)。对象可以说是面向该对象典型的或最常见的行进方向的方向。例如，机动车辆通常或最常见地向前行驶，因此机动车辆的行进方向可以是车辆前部面对的方向。当车辆向前移动时，车辆的行进方向和运动方向可以相同。当车辆反向行驶时，车辆的行进方向和运动方向可能相反。当车辆静止时，车辆的行进方向可以基于车辆前部面对的方向。对于没有典型的或最常见的行进方向的对象，系统可以指定对象的特定侧面或表面作为参考侧面或表面，以便为对象指定行进方向。例如，如果对象当前正在运动，则对象的参考侧面或表面可以是对象当前行进方向上的引导侧面或表面。如果对象是静止的，则可以基于其他标准(诸如对象的可识别的“前”面或表面，或者面向车辆202的对象的侧面或表面)来指定对象的参考侧面或表面。对象的行进方向可以表示为在定义的坐标系中的方向。例如，坐标系可以与主要地理方向(例如，北、南、东、西)对齐或与车辆202的当前或最近行进方向对齐。本文描述的对象估计系统可以使自动驾驶车辆202能够估计车辆202周围的感兴趣区域中的对象(例如，对象206a-e)的行进方向。
图3是示例对象行进方向估计系统300的示意图。对象行进方向估计系统300可以在自动驾驶车辆上实现，并且对应于例如图1中描述的对象行进方向估计器134。对象行进方向估计系统300可以包括被编程为生成对象的行进方向估计的一个或多个计算机或其他数据处理装置。在一些实施方式中，对象行进方向估计器134为系统300所在的自动驾驶车辆附近的对象生成行进方向估计。系统300可以被训练来估计单一类型对象(例如，其他机动车辆、骑自行车的人或行人)的行进方向，或者可以被训练来估计几种不同类型对象(例如，其他机动车辆、骑自行车的人、行人)的行进方向。在一些实施方式中，在系统300被训练为仅估计单一类型对象的行进方向的情况下，自动驾驶车辆可以实现系统300的多个实例，其中系统300的每个实例被专门训练和配置为估计不同对应类型对象的行进方向。在一些实施方式中，根据系统评估的对象类型，行进方向估计的坐标系或参考点可能不同。例如，对于行人/骑自行车者，该系统可以根据从汽车指向对象的方位角来表征他们的行进方向，而该系统可以相对于单独的坐标系来表征其他机动车辆的行进方向。
系统300通常可操作来分两级生成对象的行进方向估计。对象的一个或多个初步行进方向估计(例如，估计314a-c)在第一级302中生成，然后在第二级304中处理这些初步行进方向估计，以生成精确行进方向估计318。第二级304可以组合多个输入，包括，在一些实施方式中，多个初步行进方向估计，以确定精确行进方向估计318。以这种方式，系统300可以利用不同来源和方法的行进方向估计来最终生成平均而言比任何单独来源或方法更准确和可靠的估计。
在图3所示的示例中，系统300的第一级302包括三个初步行进方向估计器306a-c，尽管在一些示例中可以实现更多或更少(例如，1或2)初步估计器。初步行进方向估计器306a-c通常彼此独立，并且可以使用不同的方法或技术来估计对象的行进方向。
基于点云的行进方向估计器306a被配置为基于点云数据312a来生成初步行进方向估计，例如，基于点云的行进方向估计314a。点云数据312a包括由点云中的点表示的传感器测量，每个点都被分类为属于主车辆(例如，车辆122)附近的特定对象。点云数据312a中的每个测量可以指示主车辆周围空间中的三维(3D)位置，并且选的地，指示空间中该位置处的反射的强度。点云数据312a可以基于由主车辆上的一个或多个传感器子系统(诸如光检测和测距(LIDAR)子系统、无线电检测和测距(RADAR)子系统或两者)捕获的信号来生成。点云中的点可以表示表面的计算位置，在该位置检测到由相应传感器子系统(例如，LIDAR或RADAR)发射的电磁辐射的反射。点云数据312a可以包括点云的3D表示、点云的一个或多个2D投影或两者。投影是点云到特定投影平面的映射。可以使用不同的投影平面来提供目标对象的不同视图。例如，系统可以生成表示左后视图、右后视图和自顶向下视图的投影，仅举几个可能性，并且投影可以由基于点云的行进方向估计器306a处理以生成行进方向估计314a。
可选地，除了点云数据312a之外，基于点云的行进方向估计器306a还可以处理相机数据312b，以生成行进方向估计314a。相机数据312b表示由主车辆上的相机子系统捕获的对象的一个或多个图像。图像可以提供与相应的点云投影所提供的视图相同的对象的视图，或者图像可以表示附加的或不同的视图。行进方向估计314a可以指示在与进行由点云数据312a和图像数据312b反映的测量的时间相对应的当前时间的对象的估计行进方向。
在一些实施方式中，基于点云的行进方向估计器306a是被配置为执行分类任务的神经网络系统，该分类任务包括基于点云数据312a和可选的相机数据312b来确定目标对象的当前行进方向在行进方向类别的预定义集合的每一个集合内的可能性。每个行进方向类别可以表示行进方向值的区间。例如，考虑主车辆周围环境的360度视图和N个预定义行进方向类别，基于点云的行进方向估计器306a可以确定置信度分数，该置信度分数指示目标对象的行进方向落入N个不同行进方向区间(例如，跨度为360/N度)中的每一个的可能性。对于给定的应用，可以适当地选择行进方向类别的数量和每个行进方向区间的跨度。在一些实施方式中，基于点云的行进方向估计器306a包括卷积神经网络，该卷积神经网络具有用于处理多个点云投影中的每一个的不同的相应卷积堆栈。用于行进方向估计的这种卷积神经网络的架构在第15/374，884号美国专利申请序列中更完整的描述，其全部内容通过引用整体并入本文。
基于道路的行进方向估计器306b使用道路图数据312c和对象位置数据312d生成初步行进方向估计，例如，基于道路的行进方向估计314b。基于道路的行进方向估计器306b不是像基于点云的行进方向估计器306a那样直接评估目标对象的LIDAR或RADAR测量，而是基于对象当前位置处或附近的道路轮廓(或对象沿其移动的人行道或其他路径)来估计对象的当前行进方向。道路图数据312c描述主车辆周围环境中的道路地图，并且对象位置数据312d指示对象的当前位置。基于道路的行进方向估计器306b可以将对象的当前位置与由道路图数据312c描述的地图中的特定位置相关联，并且基于对象当前所在地点的道路或其他路径的轮廓来确定对象的行进方向。例如，在朝向正北的高速公路上的车道上行驶的车辆可以被估计为朝着与高速公路相同的方向(即，正北)行驶。通过交叉路口左转的车辆可以具有估计的行进方向314b，该行进方向对应于通过交叉路口的左转之后的车道的轮廓。
基于运动的行进方向估计器306c使用对象运动数据312e生成初步行进方向估计，例如，基于运动的行进方向估计314c。对象运动数据312e基于例如对象的最近跟踪位置、对象的当前或最近速度、对象的最近运动的一致性或这些的组合来指示对象的运动。基于对象运动数据312e，基于运动的行进方向估计器306c估计对象的行进方向。例如，估计器306c可以将对象的行进方向估计为其行进方向。
第一级302中的行进方向估计器306a-c中的每一个通常彼此独立，并且每一个都可以具有彼此相似或不同的模型类型或操作特性。例如，所有或不同的行进方向估计器306a-c可以实现为多箱(multi-bin)分类器或回归模型、神经网络或基于启发式的模型。此外，由相应的第一级行进方向估计器306a-c生成的行进方向估计器314a-c可以具有相同或不同的形式。给定的行进方向估计可以表示为单个方向(例如，代表最可能的行进方向)，作为方向的分布(例如，行进方向区间的集合的置信度分数)或任何其他适当的表示。
第二行进方向估计子系统304使用来自第一级302的初步行进方向估计314a-c，以及可选的一个或多个辅助输入320，来确定精确行进方向估计318。如图3所示，第二级子系统304可以包括时间滤波器308和多输入行进方向估计模型310。
时间滤波器308被配置为基于最近的初步行进方向估计(例如，行进方向估计314a-c)，生成时间滤波后的行进方向估计，例如，行进方向估计316a-c。例如，系统300可操作来通过周期性地(例如，每100-500毫秒)处理对象的新的测量并基于新的测量(例如，基于最新的LIDAR或RADAR扫描的更新的点云数据312a、表示对象的最新检测的运动的更新的对象运动数据312e、和/或基于表示对象的最新检测的位置的更新的对象位置数据312d)确定更新的行进方向估计，来定期地生成更新的对象的行进方向估计。更新的测量变得可用并且初步行进方向估计器306a-c处理更新的测量以生成新的初步行进方向估计值314a-c的每个实例被称为时间步长。在每个时间步长，时间滤波器308与来自一个或多个先前时间步长的初步行进方向估计314a-c一起处理最新的(即，当前)初步行进方向估计314a-c，以生成当前时间步长的时间滤波后的行进方向估计316a-c。时间滤波器308参考的先前时间步长的数量可以是静态的(例如，1、2、5、10或更多)，或者可以根据系统的实时操作条件而变化。可以应用各种规则或操作来生成时间滤波后的行进方向估计。在一个示例中，时间滤波器308在最近n个时间步长上对来自特定源的初步行进方向估计进行平均，以生成时间平均的行进方向估计。在另一个示例中，时间滤波器308在最近n个时间步长上对来自特定源的初步行进方向估计进行低通滤波。时间滤波器308可以暂时过滤由第一级302中的每个估计器306a-c提供的行进方向估计314a-c，或者时间滤波器308可以暂时过滤仅来自估计器306a-c中的特定估计器而不是其他估计器的初步行进方向估计。相同或不同的过滤规则/操作可以应用于初步行进方向估计(即，对于来自不同行进方向估计器306a-c的每一个的初步行进方向估计314a-c)的每个通道。
在一些实施方式中，时间滤波器308可以附加地或替代地基于来自一个或多个先前时间步长的多输入行进方向估计器310的精确行进方向估计来生成时间滤波后的行进方向估计。也就是说，在每个时间步长的精确行进方向估计318可以作为输入在下一个时间步长馈送到时间滤波器308，并且时间滤波器308可以处理预定数量的最近的精确行进方向估计，以提供时间滤波后的精确行进方向估计作为行进方向估计器310的输入。
多输入行进方向估计器310处理行进方向估计的多个通道，以及可选的处理一个或多个辅助输入320，以生成精确行进方向估计318。由于考虑到来自其他源的估计和经由时间滤波估计的随时间的估计(estimations over time)的好处，精确行进方向估计318可能比由任何单个初步行进方向估计器306a-c生成的行进方向估计314a-c更精确。
可以采用不同类型的模型来实现多输入行进方向估计器310。在一些实施方式中，多输入行进方向估计器310是决策树，决策树通过基于对树的特定叶子的输入遍历(traversing)逻辑决策矩阵来确定精确行进方向估计318。在一些实施方式中，多输入行进方向估计器310是神经网络系统(例如，前馈或卷积神经网络)，并且另外神经网络系统可以是分类器。分类器可以具有与任何初步行进方向估计器306a-c相同数量的表示相同行进方向区间的类别，或者可以具有甚至更多数量的类别，使得行进方向区间的大小更小，并且精确行进方向估计器318由此提供比初步行进方向估计器314a-c更高的分辨率。在一些实施方式中，多输入行进方向估计器310包括被配置为确定对象的精确行进方向估计的回归模型，而不是对应于分类器类型模型中的类别的行进方向区间。例如，回归模型可以是包括线性输出层的神经网络，该线性输出层生成0和2*pi之间的值(当角度表示为弧度时)或0和360之间的值(当角度表示为度时)。
多输入行进方向估计器310可以处理初步行进方向估计314a-c、时间滤波后的行进方向估计316a-c和辅助输入320的组合，以生成精确行进方向估计318。虽然图3示出了所有初步行进方向估计314a-c和时间滤波后的行进方向估计316a-c作为行进方向估计器310的输入，在一些实施方式中，估计器310仅处理这些行进方向估计314a-c、316a-c的子集，以生成精确行进方向估计318。例如，只有非时间滤波后的估计314a-c可以被提供作为估计器310的输入，或者只有时间滤波后的估计316a-c可以被提供作为估计器310的输入。
在一些实施方式中，初步行进方向估计器306a-c以不同于直接提供给多输入行进方向估计器310的形式向时间滤波器308提供它们相应的行进方向估计314a-c。例如，基于点云的行进方向估计器306a可以直接向多输入行进方向估计器310提供初步行进方向估计的分布(例如，指示对象的行进方向在行进方向区间的集合的每一个内的可能性的置信度分数)，使得估计器310可以在确定精确行进方向估计318时处理整个分布。然而，可以仅向时间滤波器308提供表示对象的最可能行进方向的单个行进方向估计。时间滤波器308可以生成时间滤波后的行进方向估计316a，例如，通过在指定数量的最近时间步长上对最可能的行进方向估计314a进行时间平均，而不考虑行进方向区间集合上的置信度分布。类似的形式差异可以分别应用于由初步行进方向估计器306b-c生成的行进方向估计314b-c。
多输入行进方向估计器310可以可选地处理一个或多个辅助输入320以及初步行进方向估计，以生成精确行进方向估计318。辅助输入320是与对象的行进方向相关的附加输入，但是它们本身不是方向估计。例如，如果系统300被配置为估计多种类型对象(例如，机动车辆、骑自行车的人、行人)的行进方向，辅助输入320可以包括对象类型指示符，该对象类型指示符指示要估计行进方向的对象类型的真实或估计指示。在第一级302中，对象类型指示符也可以或替代地被任何初步行进方向估计器306a-c作为输入处理。辅助输入320当中可包括的其他信息包括对象位置数据、对象运动数据、道路图数据、相机数据、点云数据或这些或其他数据的组合。
图4是用于估计对象的行进方向的示例过程400的流程图。在一些实施方式中，示例过程400由自动驾驶车辆上的系统(例如，系统130(图1)或系统300(图3))执行，以确定位于车辆附近的对象的行进方向。然后，关于对象行进方向的信息可以被应用于例如规划自动驾驶车辆的移动(例如，轨迹)，以确定检测的对象的边界框的方位，呈现环境的地图，该地图包括与它们的估计行进方向一致的朝向、或者用于任何其他合适的目的的检测的对象的表示。
在阶段(stage)402，系统获得表示关于在自动驾驶车辆附近检测的特定对象的信息的传感器数据。传感器数据基于由车辆上的一个或多个传感器子系统(例如，LIDAR、RADAR和/或相机系统)生成的信号指示关于对象的测量。传感器数据可以包括描述来自LIDAR或RADAR系统的电磁辐射的反射点的位置和可选地强度的点云数据；包括或表征对象的图像的相机数据；描述对象的当前和/或过去位置的对象位置数据；描述对象最近运动的对象运动数据；或者这些或其他测量的组合。
在阶段404，系统可以可选地获得道路图数据。道路图数据描述了自动驾驶车辆周围环境的地图。道路图数据可以包括诸如环境中车辆的道路或其他路径的位置和轮廓的信息，以及道路或路径的行驶车道的轮廓和/或中线。例如，道路图数据可以描述特定地理位置的道路车道及其相关的行驶方向
在阶段406，系统利用第一级(初步)行进方向估计子系统(例如，估计器306a-c)来处理传感器数据以及可选地道路图数据，用于生成一个或多个初步行进方向估计，例如，估计值314a-c。可以使用不同形式的传感器数据和不同的方法来估计初步行进方向估计。例如，基于点云的行进方向估计可以通过使用基于卷积神经网络的分类器处理对象的点云的不同投影来确定(406a)。基于道路的行进方向估计子系统可以处理道路图和对象位置数据，以基于对象(例如，汽车或类似的车辆、骑自行车的人或行人)当前所在的道路的方向和轮廓来估计对象的行进方向(406b)。可以确定车辆在特定车道内的位置，然后根据与该特定车道相关联的行驶方向确定行进方向。基于运动的行进方向估计子系统可以处理对象运动数据，以基于最近检测的对象运动来估计对象的行进方向(406c)。
在阶段408，初步行进方向估计或其子集被时间过滤。时间滤波器(例如，时间滤波器308)包括存储器，该存储器存储关于在前面的时间步长生成的初步行进方向估计的信息。对于作为输入提供的初步行进方向估计的每个通道，时间滤波器基于当前时间步长和一个或多个先前时间步长的行进方向估计来生成相应的时间滤波后的行进方向估计。可以实现不同类型的时间滤波器，例如时间平均滤波器或低通滤波器。在一些实施方式中，时间滤波器通过获取指定数量的最近时间步长上的行进方向估计的平均值或加权平均值来生成时间平均的行进方向估计。
在阶段410，第二级行进方向估计器(例如，多输入行进方向估计器310)处理输入集合，以确定对象的精确行进方向估计。输入集合可以包括一个或多个时间滤波后的初步行进方向估计、一个或多个非时间滤波后的初步行进方向估计、(多个)辅助输入或这些的组合。在一些实施方式中，第二级行进方向估计器处理公共初步行进方向估计的不同表示。例如，第二级行进方向估计器可以处理不同行进方向区间的行进方向置信度分数的分布，以及表示为单个值的最可能行进方向的时间滤波表示。
在生成精确行进方向估计后，它们可用于一个或多个外部系统，即，不同于对象行进方向估计系统的系统(阶段412)。例如，精确行进方向估计可以被提供给轨迹预测系统、规划系统或用户界面子系统，或者由轨迹预测系统、规划系统或用户界面子系统检索。
图5是用于训练诸如对象行进方向估计器134(图1)或系统300(图3)的对象估计系统的示例过程500的流程图.在一些实施方式中，正如最终或精确行进方向估计分两级生成一样，对象行进方向估计也可以分两级训练。在第一级，训练初步行进方向估计器。如果系统包括一个以上的初步行进方向估计器，每个估计器都可以独立于另一个进行训练。一旦已经训练了初步行进方向估计器，第二级估计器就可以基于从由经训练的初步行进方向估计器生成的初步行进方向估计中导出的训练示例来训练。不同的机器学习或其他技术可以用于以适合于相应模型的方式训练不同的初步行进方向估计器和/或第二级行进方向估计器。例如，基于神经网络的模型可以使用迭代更新过程来训练，该迭代更新过程基于具有反向传播的随机梯度下降来更新模型参数值过程。
在示例训练过程500中，系统在阶段502获得第一训练数据，该第一训练数据包括要训练的每个第一级初步行进方向估计器的训练示例的不同集合。例如，可以获得训练数据的第一集合来训练基于点云的行进方向估计器，并且可以获得训练数据的第二集合来训练基于道路的行进方向估计器。第一训练数据可以被添加标签，使得每个训练示例包括训练输入和目标输出(即，标签)。根据被训练的估计器的类型，训练输入可以包括传感器数据和/或道路图数据，并且目标输出是由训练输入所表示的对象的行进方向的机器估计或人类添加标签的指示。在阶段504，系统例如通过调整模型参数值来最小化训练示例的目标输出和相应模型的实际输出之间的差异来训练第一级行进方向估计器。
在阶段506，系统获得包括用于训练第二级行进方向估计器的训练示例的第二训练数据。第二训练示例也包括训练输入和目标输出(即，标签)。训练输入可以包括来自一个或多个初步行进方向估计器、时间滤波初步行进方向估计器、辅助输入或这些的组合的初步行进方向估计。初步行进方向估计可以由经训练的初步行进方向估计器生成。目标输出可以是由训练输入表示的对象的行进方向的机器估计或人类添加标签的指示。在阶段508，系统通过调整模型参数值来最小化训练示例的目标输出和模型的实际输出之间的差异来训练第二级行进方向估计器。
本说明书中描述的主题和功能操作的实施例可以在数字电子电路中、在有形实施的计算机软件或固件中、在包括本说明书中公开的结构及其结构等同物的计算机硬件中、或者在它们中的一个或多个的组合中实现。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即，编码在有形非暂时性存储介质上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机存储介质可以是机器可读存储设备、机器可读存储基底、随机或串行存取存储器设备，或者它们中的一个或多个的组合。替代地或附加地，程序指令可以被编码在人工生成的传播信号上(例如，机器生成的电、光或电磁信号)，生成该信号是为了对信息进行编码，以便发送到合适的接收设备，由数据处理装置执行。
术语“数据处理装置”指的是数据处理硬件，并且包含用于处理数据的所有种类的装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或多个计算机。装置也可以是或还包括现成的或定制的并行处理子系统，例如，GPU或另一种专用处理子系统。装置也可以是或还包括专用逻辑电路，例如，现场可编程门阵列(field programmable gatearray，FPGA)或专用集成电路(application-specific integrated circuit，ASIC)。除了硬件之外，装置可以可选地包括为计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。
也可以被称为或描述为程序、软件、软件应用、应用、模块、软件模块、脚本或代码的计算机程序可以以任何形式的编程语言编写，包括编译或解释语言、声明或过程语言，并且它可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其他单元。程序可以，但不是必须，对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件(例如，存储一个或多个模块、子程序或部分代码的文件)的一部分中，例如，存储在标记语言文档中、存储在专用于所述程序的单个文件中或存储在多个协调文件中的一个或多个脚本。计算机程序可以被部署为在一台计算机上或位于一个站点或分布在多个站点并通过数据通信网络互连的多台计算机上执行。
如本说明书中所使用的，“引擎”或“软件引擎”是指提供不同于输入的输出的软件实现的输入/输出系统。引擎可以是编码的功能块，诸如库、平台、软件开发工具包(“software development kit，SDK”)或对象。每个引擎可以在包括一个或多个处理器和计算机可读介质的任何适当类型的计算设备(例如，服务器、移动电话、平板计算机、笔记本计算机、音乐播放器、电子书阅读器、膝上型计算机或台式计算机、PDA、智能手机或其他固定或便携式设备)上实现。附加地，两个或更多个引擎可以在相同的计算设备上实现，或者在不同的计算设备上实现。
本说明书中描述的过程和逻辑流程可以由一个或多个可编程计算机执行，该可编程计算机执行一个或多个计算机程序，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路来执行，现场可编程门阵列或专用集成电路(例如，FPGA或ASIC)，或者由专用逻辑电路和一个或多个编程计算机的组合来实现。
适于执行计算机程序的计算机可以基于通用或专用微处理器或两者，或者任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的中央处理单元和用于存储指令和数据的一个或多个存储器设备。中央处理单元和存储器可以由专用逻辑电路来补充或并入专用逻辑电路。通常，计算机还将包括或可操作地耦合到用于存储数据的一个或多个大容量存储器设备(例如，磁盘、磁光盘或光盘)，以从其接收数据或向其传送数据，或两者兼有。然而，计算机不需要这样的设备。此外，计算机可以嵌入到另一个设备(例如，移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(Global PositioningSystem，GPS)接收器或便携式存储器设备(例如。通用串行总线(universal serial bus，USB)闪存驱动器)，仅举几个示例)中。
适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如，EPROM，EEPROM和闪存设备；磁盘，例如，内部硬盘或可移动磁盘；磁光盘；和CD-ROM和DVD-ROM盘。
为了提供与用户的交互，本说明书中描述的主题的实施例可以在具有用于向用户显示信息的显示设备(例如，阴极射线管(cathode ray tube，CRT)或液晶显示器(liquidcrystal display，LCD)监视器)和键盘和定点设备(例如，鼠标、轨迹球)或存在敏感显示器或用户可以向计算机提供输入的其他表面的计算机上实现。也可以使用其他类型的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。此外，计算机可以通过向用户使用的设备发送文档和从用户使用的设备接收文档来与用户交互；例如，通过响应于从网络浏览器接收的请求将网页发送到用户设备上的网络浏览器。此外，计算机可以通过向个人设备(例如，智能手机)发送文本消息或其他形式的消息，，运行消息传递应用，并反过来从用户那里接收响应消息来与用户交互。
虽然本说明书包含许多具体的实施细节，但是这些不应被解释为对任何发明的范围或对所要求保护的范围的限制，而是对特定发明的特定实施例的特定特征的描述。本说明书中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独实现或者在任何合适的子组合中实现。此外，尽管特征可以在上文中被描述为在某些组合中起作用，并且甚至最初被如此要求保护，但是在一些情况下，来自所要求保护的组合的一个或多个特征可以从该组合中删除，并且所要求保护的组合可以针对子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描述了操作，但是这不应该理解为要求以所示的特定顺序或顺序执行这些操作，或者要求执行所有示出的操作，以获得期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应该被理解为在所有实施例中都需要这种分离，并且应该理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。
已经描述了本主题的特定实施例。其他实施例在以下权利要求的范围内。例如，权利要求中列举的动作可以以不同的顺序执行，并且仍然获得期望的结果。作为一个示例，附图中描述的过程不一定需要所示的特定顺序或顺序来实现期望的结果。在一些情况下，多任务和并行处理可能是有利的。

Claims (20)

1.一种包括一个或多个数据处理装置的用于估计对象的行进方向的系统，所述系统包括：
第一行进方向估计子系统，被配置为处理表示所述对象的测量的传感器数据，以生成所述对象的第一行进方向估计，所述第一行进方向估计表示所述对象在环境中面对的方向；和
第二行进方向估计子系统，被配置为处理所述对象的第一行进方向估计和至少一个附加输入，以生成所述对象的第二行进方向估计，所述对象的第二行进方向估计表示所述第一行进方向估计的改进。
2.根据权利要求1所述的系统，其中所述第一行进方向估计子系统包括基于神经网络的分类器，所述基于神经网络的分类器被配置为处理点云数据的投影以生成所述对象的第一行进方向估计，所述点云数据表示基于由光检测和测距传感器(LIDAR)子系统、相机子系统或无线电检测和测距(RADAR)子系统中的至少一个获得的信号的所述对象的测量。
3.根据权利要求1-2中任一项所述的系统，其中所述基于神经网络的分类器包括多个点云子网络，每个点云子网络被配置为对所述点云数据的不同相应投影进行操作，所述每个点云子网络包括具有一个或多个卷积层的卷积栈。
4.根据权利要求1-3中任一项所述的系统，其中所述第二行进方向估计子系统包括决策树、神经网络或回归模型中的至少一个。
5.根据权利要求1-4中任一项所述的系统，其中所述系统包括多个初步行进方向估计子系统，其包括所述第一行进方向估计子系统，并且每个初步行进方向估计子系统被配置为独立地生成所述对象的相应初步行进方向估计，
其中所述第二行进方向估计子系统被配置为处理包括所述对象的第一行进方向估计的所述对象的初步行进方向估计，以生成所述第二行进方向估计。
6.根据权利要求5所述的系统，其中所述多个初步行进方向估计子系统包括以下至少两个：
基于点云的行进方向估计子系统，被配置为处理点云数据以生成所述对象的第一初步行进方向估计；
基于道路的行进方向估计子系统，被配置为处理道路图数据和所述对象的位置的指示，以生成所述对象的第二初步行进方向估计；或者
基于运动的行进方向估计子系统，被配置为处理运动数据以生成所述对象的第三初步行进方向估计。
7.根据权利要求1-6中任一项所述的系统，其中所述对象是位于自动驾驶车辆附近的机动车辆、骑车人或行人，并且表示所述对象的测量的传感器数据基于由所述自动驾驶车辆上的一个或多个传感器子系统捕获的信号。
8.根据权利要求1-7中任一项所述的系统，还包括轨迹预测子系统，所述轨迹预测子系统被配置为使用所述第二行进方向估计来预测所述对象的未来轨迹。
9.根据权利要求1-8中任一项所述的系统，其中所述第一行进方向估计子系统包括分类器，所述分类器被配置为生成所述对象的第一行进方向估计，并且所述第一行进方向估计包括多个置信度分数，每个置信度分数对应于不同的相应行进方向区间，并且表示所述对象的行进方向落入所述相应行进方向区间内的可能性。
10.根据权利要求1-9中任一项所述的系统，其中所述第二行进方向估计子系统包括时间滤波器和行进方向估计模型，所述时间滤波器被配置为针对当前时间步长和至少一个先前时间步长处理来自所述第一行进方向估计子系统的相应行进方向估计，以生成时间平均的行进方向估计，并且所述行进方向估计模型被配置为处理所述时间平均的行进方向估计和所述至少一个附加输入，以生成所述对象的第二行进方向估计。
11.一种计算机实现的方法，所述方法包括：
接收表示在车辆附近检测的对象的测量的传感器数据；
用一个或多个初步行进方向估计子系统处理所述传感器数据，以分别生成所述对象的一个或多个初步行进方向估计；
用第二行进方向估计子系统处理两个或更多个输入，以生成所述对象的精确行进方向估计，所述两个或更多个输入包括所述对象的一个或多个初步行进方向估计；以及
向外部处理系统提供所述对象的精确行进方向估计。
12.根据权利要求11所述的计算机实现的方法，其中所述初步行进方向估计子系统中的第一初步行进方向估计子系统是神经网络系统，并且所述方法还包括：
接收点云数据，所述点云数据表示基于由光检测和测距(LIDAR)传感器子系统获得的信号的所述对象的测量；以及
利用所述神经网络系统对所述点云数据的投影进行分类，以生成所述对象的第一初步行进方向估计。
13.根据权利要求11-12中任一项所述的计算机实现的方法，其中所述一个或多个初步行进方向估计子系统包括以下至少两个：
基于点云的行进方向估计子系统，被配置为处理点云数据以生成所述对象的第一初步行进方向估计；
基于道路的行进方向估计子系统，被配置为处理道路图数据和所述对象的位置的指示，以生成所述对象的第二初步行进方向估计；或者
基于运动的行进方向估计子系统，被配置为处理运动数据以生成所述对象的第三初步行进方向估计。
14.根据权利要求11-13中任一项所述的计算机实现的方法，还包括：
基于(i)来自所述初步行进方向估计子系统中的第一初步行进方向估计子系统的当前初步行进方向估计和(ii)来自所述初步行进方向估计子系统中的第一初步行进方向估计子系统的一个或多个先前初步行进方向估计，生成时间平均的初步行进方向估计；以及
由所述第二行进方向估计子系统连同至少一个附加输入一起处理所述时间平均的初步行进方向估计，以生成所述对象的精确行进方向估计，所述对象的精确行进方向估计表示所述对象的当前行进方向的估计。
15.一个或多个其上编码有指令的非暂时性计算机可读介质，当所述指令被一个或多个数据处理装置执行时使得数据处理装置执行操作，所述操作包括：
接收表示在车辆附近检测的对象的测量的传感器数据；
用一个或多个初步行进方向估计子系统处理所述传感器数据，以分别生成所述对象的一个或多个初步行进方向估计；
用第二行进方向估计子系统处理两个或更多个输入，以生成所述对象的精确行进方向估计，所述两个或更多个输入包括所述对象的一个或多个初步行进方向估计；以及
向外部处理系统提供所述对象的精确行进方向估计。
16.根据权利要求15所述的计算机可读介质，其中所述初步行进方向估计子系统中的第一初步行进方向估计子系统是神经网络系统，所述神经网络系统被配置为对点云数据的投影进行分类，以生成所述对象的第一初步行进方向估计，所述点云数据表示基于由光检测和测距传感器(LIDAR)子系统或无线电检测和测距(RADAR)子系统中的至少一个获得的信号的所述对象的测量。
17.根据权利要求15-16中任一项所述的计算机可读介质，其中所述一个或多个初步行进方向估计子系统包括以下至少两个：
基于点云的行进方向估计子系统，被配置为处理点云数据以生成所述对象的第一初步行进方向估计；
基于道路的行进方向估计子系统，被配置为处理道路图数据和所述对象的位置的指示，以生成所述对象的第二初步行进方向估计；或者
基于运动的行进方向估计子系统，被配置为处理运动数据以生成所述对象的第三初步行进方向估计。
18.根据权利要求15-17中任一项所述的计算机可读介质，其中所述操作还包括：
基于(i)来自所述初步行进方向估计子系统中的第一初步行进方向估计子系统的当前初步行进方向估计和(ii)来自所述初步行进方向估计子系统中的第一初步行进方向估计子系统的一个或多个先前初步行进方向估计，生成时间平均的初步行进方向估计；以及
由所述第二行进方向估计子系统连同至少一个附加输入一起处理所述时间平均的初步行进方向估计，以生成所述对象的精确行进方向估计，所述对象的精确行进方向估计表示所述对象的当前行进方向的估计。
19.根据权利要求15-18中任一项所述的计算机可读介质，其中所述对象是位于自动驾驶车辆附近的机动车辆、骑车人或行人，并且表示所述对象的测量的传感器数据基于由所述自动驾驶车辆上的一个或多个传感器子系统捕获的信号。
20.根据权利要求15-19中任一项所述的计算机可读介质，其中所述操作还包括轨迹预测子系统被配置为使用所述第二行进方向估计来预测所述对象的未来轨迹。
CN201980085241.1A 2018-12-21 2019-12-18 多级对象行进方向估计的系统和方法 Active CN113228040B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/229,370 US11782158B2 (en) 2018-12-21 2018-12-21 Multi-stage object heading estimation
US16/229,370 2018-12-21
PCT/US2019/067240 WO2020132108A1 (en) 2018-12-21 2019-12-18 Multi-stage object heading estimation

Publications (2)

Publication Number Publication Date
CN113228040A true CN113228040A (zh) 2021-08-06
CN113228040B CN113228040B (zh) 2024-03-15

Family

ID=69191223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980085241.1A Active CN113228040B (zh) 2018-12-21 2019-12-18 多级对象行进方向估计的系统和方法

Country Status (4)

Country Link
US (1) US11782158B2 (zh)
EP (1) EP3881227A1 (zh)
CN (1) CN113228040B (zh)
WO (1) WO2020132108A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11430071B2 (en) * 2017-08-16 2022-08-30 Mobileye Vision Technologies Ltd. Navigation based on liability constraints
CN113454692B (zh) * 2019-02-19 2024-04-16 Sk电信有限公司 驾驶信息提供方法以及车辆地图提供服务器和方法
US11351991B2 (en) * 2019-03-25 2022-06-07 Zoox, Inc. Prediction based on attributes
US11699279B1 (en) * 2019-06-28 2023-07-11 Apple Inc. Method and device for heading estimation
US11407431B2 (en) * 2019-11-22 2022-08-09 Samsung Electronics Co., Ltd. System and method for object trajectory prediction in an autonomous scenario
US10732261B1 (en) * 2019-12-31 2020-08-04 Aurora Innovation, Inc. Generating data using radar observation model based on machine learning
US20210295171A1 (en) * 2020-03-19 2021-09-23 Nvidia Corporation Future trajectory predictions in multi-actor environments for autonomous machine applications
US11676392B2 (en) 2020-06-03 2023-06-13 Waymo Llc Localization using surfel data
US20220179082A1 (en) * 2020-12-08 2022-06-09 Argo AI, LLC Methods and system for analyzing dynamic lidar point cloud data
US20230150543A1 (en) * 2021-11-16 2023-05-18 Argo AI, LLC Systems and methods for estimating cuboid headings based on heading estimations generated using different cuboid defining techniques

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090276705A1 (en) * 2008-05-05 2009-11-05 Matsushita Electric Industrial Co., Ltd. System architecture and process for assessing multi-perspective multi-context abnormal behavior
US20130332034A1 (en) * 2012-06-12 2013-12-12 Gentex Corporation Vehicle imaging system providing multi-stage aiming stability indication
CN105160356A (zh) * 2015-08-31 2015-12-16 上汽通用汽车有限公司 一种车辆主动安全系统传感器数据融合方法及系统
CN105793730A (zh) * 2013-06-14 2016-07-20 优步技术公司 对象运动的基于激光雷达的分类
WO2016189112A1 (en) * 2015-05-27 2016-12-01 Cambridge Enterprise Limited Collision avoidance method, computer program product for said collision avoidance method and collision avoidance system
US20170206426A1 (en) * 2016-01-15 2017-07-20 Ford Global Technologies, Llc Pedestrian Detection With Saliency Maps
CN107024215A (zh) * 2016-01-29 2017-08-08 福特全球技术公司 追踪动态环境内的对象以改进定位
CN108089571A (zh) * 2016-11-22 2018-05-29 百度（美国）有限责任公司 用于预测无人驾驶车辆的车辆交通行为以做出驾驶决策的方法和系统
US20180173971A1 (en) * 2016-12-19 2018-06-21 Waymo Llc Pedestrian detection neural networks
CN108292356A (zh) * 2015-11-04 2018-07-17 祖克斯有限公司 用于实施自主车辆中的主动安全系统的系统
CN108416321A (zh) * 2018-03-23 2018-08-17 北京市商汤科技开发有限公司 用于预测目标对象运动朝向的方法、车辆控制方法及装置
CN108431549A (zh) * 2016-01-05 2018-08-21 御眼视觉技术有限公司 具有施加的约束的经训练的系统
US20180348374A1 (en) * 2017-05-31 2018-12-06 Uber Technologies, Inc. Range-View Lidar-Based Object Detection

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0785280B2 (ja) 1992-08-04 1995-09-13 タカタ株式会社 神経回路網による衝突予測判定システム
US5311600A (en) 1992-09-29 1994-05-10 The Board Of Trustees Of The Leland Stanford Junior University Method of edge detection in optical images using neural network classifier
US5640468A (en) 1994-04-28 1997-06-17 Hsu; Shin-Yi Method for identifying objects and features in an image
US8041483B2 (en) 1994-05-23 2011-10-18 Automotive Technologies International, Inc. Exterior airbag deployment techniques
US6404920B1 (en) 1996-09-09 2002-06-11 Hsu Shin-Yi System for generalizing objects and features in an image
US8255144B2 (en) 1997-10-22 2012-08-28 Intelligent Technologies International, Inc. Intra-vehicle information conveyance system and method
US8983771B2 (en) 1997-10-22 2015-03-17 Intelligent Technologies International, Inc. Inter-vehicle information conveyance system and method
US6208963B1 (en) 1998-06-24 2001-03-27 Tony R. Martinez Method and apparatus for signal classification using a multilayer network
US20030233233A1 (en) 2002-06-13 2003-12-18 Industrial Technology Research Institute Speech recognition involving a neural network
US7983446B2 (en) 2003-07-18 2011-07-19 Lockheed Martin Corporation Method and apparatus for automatic object identification
DE102005024716B4 (de) 2005-05-30 2023-09-21 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung und Klassifizierung von Objekten
US7769329B2 (en) 2005-10-21 2010-08-03 Seiko Epson Corporation Image forming apparatus that drives plural image forming stations with common motor
JP2007299366A (ja) 2006-01-31 2007-11-15 Sony Corp 学習装置および学習方法、認識装置および認識方法、生成装置および生成方法、認識生成装置および認識生成方法、並びにプログラム
US8478480B2 (en) 2006-10-27 2013-07-02 International Electronic Machines Corp. Vehicle evaluation using infrared data
CA2848272C (en) 2008-10-22 2017-11-14 International Electronic Machines Corp. Thermal imaging-based vehicle analysis
US9229102B1 (en) 2009-12-18 2016-01-05 L-3 Communications Security And Detection Systems, Inc. Detection of movable objects
JP5401344B2 (ja) 2010-01-28 2014-01-29 日立オートモティブシステムズ株式会社 車両用外界認識装置
US20120050021A1 (en) 2010-08-27 2012-03-01 Ford Global Technologies, Llc Method and Apparatus for In-Vehicle Presence Detection and Driver Alerting
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9129211B2 (en) 2012-03-15 2015-09-08 GM Global Technology Operations LLC Bayesian network to track objects using scan points using multiple LiDAR sensors
US9275308B2 (en) 2013-05-31 2016-03-01 Google Inc. Object detection using deep neural networks
US9523772B2 (en) 2013-06-14 2016-12-20 Microsoft Technology Licensing, Llc Object removal using lidar-based classification
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US10365363B2 (en) 2015-05-08 2019-07-30 Humatics Corporation Mobile localization using sparse time-of-flight ranges and dead reckoning
US9710714B2 (en) 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
US10013640B1 (en) 2015-12-21 2018-07-03 Google Llc Object recognition from videos using recurrent neural networks
US9760806B1 (en) 2016-05-11 2017-09-12 TCL Research America Inc. Method and system for vision-centric deep-learning-based road situation analysis
EP3446260B1 (en) 2016-05-20 2019-09-25 DeepMind Technologies Limited Memory-efficient backpropagation through time
US9989964B2 (en) 2016-11-03 2018-06-05 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling vehicle using neural network
US10235771B2 (en) 2016-11-11 2019-03-19 Qualcomm Incorporated Methods and systems of performing object pose estimation
US10345449B2 (en) 2016-12-02 2019-07-09 Verizon Connect Ireland Limited Vehicle classification using a recurrent neural network (RNN)
US10366502B1 (en) 2016-12-09 2019-07-30 Waymo Llc Vehicle heading prediction neural network
US10331135B2 (en) 2017-11-22 2019-06-25 GM Global Technology Operations LLC Systems and methods for maneuvering around obstacles in autonomous vehicles

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090276705A1 (en) * 2008-05-05 2009-11-05 Matsushita Electric Industrial Co., Ltd. System architecture and process for assessing multi-perspective multi-context abnormal behavior
US20130332034A1 (en) * 2012-06-12 2013-12-12 Gentex Corporation Vehicle imaging system providing multi-stage aiming stability indication
CN105793730A (zh) * 2013-06-14 2016-07-20 优步技术公司 对象运动的基于激光雷达的分类
WO2016189112A1 (en) * 2015-05-27 2016-12-01 Cambridge Enterprise Limited Collision avoidance method, computer program product for said collision avoidance method and collision avoidance system
CN105160356A (zh) * 2015-08-31 2015-12-16 上汽通用汽车有限公司 一种车辆主动安全系统传感器数据融合方法及系统
CN108292356A (zh) * 2015-11-04 2018-07-17 祖克斯有限公司 用于实施自主车辆中的主动安全系统的系统
CN108431549A (zh) * 2016-01-05 2018-08-21 御眼视觉技术有限公司 具有施加的约束的经训练的系统
US20170206426A1 (en) * 2016-01-15 2017-07-20 Ford Global Technologies, Llc Pedestrian Detection With Saliency Maps
CN107024215A (zh) * 2016-01-29 2017-08-08 福特全球技术公司 追踪动态环境内的对象以改进定位
CN108089571A (zh) * 2016-11-22 2018-05-29 百度（美国）有限责任公司 用于预测无人驾驶车辆的车辆交通行为以做出驾驶决策的方法和系统
US20180173971A1 (en) * 2016-12-19 2018-06-21 Waymo Llc Pedestrian detection neural networks
US20180348374A1 (en) * 2017-05-31 2018-12-06 Uber Technologies, Inc. Range-View Lidar-Based Object Detection
CN108416321A (zh) * 2018-03-23 2018-08-17 北京市商汤科技开发有限公司 用于预测目标对象运动朝向的方法、车辆控制方法及装置

Also Published As

Publication number Publication date
US20200200905A1 (en) 2020-06-25
CN113228040B (zh) 2024-03-15
US11782158B2 (en) 2023-10-10
WO2020132108A1 (en) 2020-06-25
EP3881227A1 (en) 2021-09-22

Similar Documents

Publication Publication Date Title
CN113228040B (zh) 多级对象行进方向估计的系统和方法
US10229363B2 (en) Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking
JP7239703B2 (ja) 領域外コンテキストを用いたオブジェクト分類
JP2019055768A (ja) ビークルの自律動作能力の構成
US11727799B2 (en) Automatically perceiving travel signals
US10650256B2 (en) Automatically perceiving travel signals
US11851081B2 (en) Predictability-based autonomous vehicle trajectory assessments
CN111094095B (zh) 自动地感知行驶信号的方法、装置及运载工具
US20220188695A1 (en) Autonomous vehicle system for intelligent on-board selection of data for training a remote machine learning model
CN110576847A (zh) 基于焦点的对传感器数据的标记
US20180299893A1 (en) Automatically perceiving travel signals
US20210389133A1 (en) Systems and methods for deriving path-prior data using collected trajectories
KR102565573B1 (ko) 서브시스템 성능 평가를 위한 메트릭 역전파
US10495480B1 (en) Automated travel lane recommendation
Dey et al. VESPA: A framework for optimizing heterogeneous sensor placement and orientation for autonomous vehicles
US20230343107A1 (en) Behavior prediction of surrounding agents
US20180300566A1 (en) Automatically perceiving travel signals
JP2021082286A (ja) 車線変更の検出を改良するためのシステム、非一時的コンピュータ可読媒体および方法
JP7464616B2 (ja) 速度および位置情報を使用するレーダ反射の認識
CN115195772A (zh) 用于预测周围车辆的轨迹的装置和方法
US20240062386A1 (en) High throughput point cloud processing
US11897501B2 (en) ADS perception development
US20230082365A1 (en) Generating simulated agent trajectories using parallel beam search
US20220309693A1 (en) Adversarial Approach to Usage of Lidar Supervision to Image Depth Estimation
US20230025579A1 (en) High-definition mapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant