CN109863513B - 用于自主车辆控制的神经网络系统 - Google Patents

用于自主车辆控制的神经网络系统 Download PDF

Info

Publication number
CN109863513B
CN109863513B CN201780064218.5A CN201780064218A CN109863513B CN 109863513 B CN109863513 B CN 109863513B CN 201780064218 A CN201780064218 A CN 201780064218A CN 109863513 B CN109863513 B CN 109863513B
Authority
CN
China
Prior art keywords
sdv
neural network
navigation points
route
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780064218.5A
Other languages
English (en)
Other versions
CN109863513A (zh
Inventor
N·久里奇
J·休斯敦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aurora Operations Inc
Original Assignee
Uatc Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uatc Co ltd filed Critical Uatc Co ltd
Publication of CN109863513A publication Critical patent/CN109863513A/zh
Application granted granted Critical
Publication of CN109863513B publication Critical patent/CN109863513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4026—Cycles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance

Abstract

本发明揭示一种神经网络，其可用于自主驾驶自动驾驶车辆SDV。所述神经网络可在相对于所述SDV的局部坐标中建立目的地位置。然后，所述神经网络可识别所述SDV的前向操作方向上的一或多个导航点，并处理来自所述SDV的传感器系统的传感器数据，所述传感器数据提供所述SDV的所述前向操作方向的传感器视图。利用所述传感器数据，所述神经网络可操作所述SDV的加速系统、制动系统及转向系统，以沿着到达所述目的地位置的所建立路线连续跟随所述一或多个导航点。

Description

用于自主车辆控制的神经网络系统
相关申请案
本申请案主张在2016年10月17日提出申请的美国临时申请案第15/295,088号的权益；且所提及申请案特此通过全文引用的方式并入本文中。
背景技术
神经网络正在各行各业中应用，以改进决策制定，并为传统的基于规则的编程提供对广泛各种已经证明存在问题或过度资源密集的计算任务的解决方案。例如，语音识别、音频识别，任务导向的活动(例如，象棋及跳棋等游戏活动)，解决问题及回答问题通过使用神经网络及深度学习已经取得了突破性进展。这些网络可采用多层非线性处理及自适应技术，这些技术可在某些计算功能中提供显着的效率，特别是当某些认知人工任务被替换或改进时。
附图说明
通过举例方式而非通过限制方式在所附图式的图中说明本文中揭示内容，其中相同参考编号可指类似元件，在附图中：
图1为说明实施如本文中所描述的神经网络控制系统的实例自动驾驶车辆的框图；
图2为说明根据本文中所描述的实例的结合自动驾驶车辆使用的实例神经网络导航系统的框图；
图3展示根据实例实施方案的利用传感器数据来导航环境的自主控制的自动驾驶车辆的实例；
图4为根据本文中所描述实例描述通过使用神经网络自主操作自动驾驶车辆的实例方法的流程图；
图5为根据本文中所描述实例描述通过使用神经网络自主操作自动驾驶车辆的实例方法的下级流程图；
图6为用于可在其上实施本文中所描述实例的自动驾驶车辆的计算机系统的框图。
具体实施方式
某些自主驾驶技术涉及使用非常详细及预处理的定位地图，自主车辆的控制系统可连续地将所述定位地图与实时传感器视图进行比较，以便操作车辆通过道路交通并检测任何潜在危险。作为实例，用于自动驾驶车辆的导航技术可涉及设置终点位置，确定从当前位置到终点的路线，以及执行动态定位及对象检测以安全地将车辆操作到终点。在提供足够的安全性的同时，此类方法可能过度劳动密集，需要在给定区域的道路上预先记录的街道视图地图，并处理那些地图以建立定位参数，例如车道位置、静态对象(例如，树木、建筑物、路缘石、停车计时器、消防栓等)，所关注对象(例如，交通信号及标志)，动态对象(例如，人、其它车辆等)等。此外，为了在可变条件下安全操作，通常需要一套传感器，由LIDAR、雷达、立体及单眼摄影机、红外传感器甚至声纳的组合构成。然而此类自主驾驶方法的缺点已变得越来越明显。例如，为了在新的驾驶区域中实施这些方法，必须记录新的定位地图、加以处理并将其上传到SDV。
为解决当前方法的缺点，本文中揭示一种用于自动驾驶车辆(SDV)的自主控制的神经网络系统的实例。根据本文中所提供的实例，神经网络系统可实施机器学习模型(例如，监督学习)以学习并改进公共道路环境中的自主驾驶。某些神经网络(或深度学习)方法可涉及车道保持，或将SDV维持在某个车道内，同时数据处理系统实施SDV的控制机构(例如，加速度、制动及转向系统)的传统基于指令的控制。根据本文中所提供的实例，神经网络系统可在与SDV有关的局部坐标中建立或以其它方式输入目的地位置(例如，在惯性参考系中)，且可沿着到达目的地的路线在SDV的前向操作方向上(例如，在总体坐标中且附加至SDV的非惯性参考系)建立或以其它方式输入一或多个导航点。例如，一或多个导航点中的每一者可包括具有相对于目的地位置变化的值的二维坐标(例如，笛卡尔x-y坐标值，或极坐标中的距离及角度值)。在变型中，导航点可建立在三维空间(例如，笛卡尔坐标系或球面坐标系)中。因此，神经网络利用导航点的坐标值(沿着路线在SDV之前持续地建立)来做出关于加速度、制动、转向、车道选择及信号的决策。
在某些方面中，神经网络系统可作为SDV的控制系统操作，对SDV外部的处理资源(经由一或多个网络向SDV传送决策或控制命令)，或可作为两者的组合操作。在各种实施方案中，SDV可包括传感器阵列，所述传感器阵列包括任何数目个传感器及传感器类型，例如LIDAR、立体及/或单目摄影机、雷达、声纳、某些类型的接近传感器(例如，红外传感器)等。在将SDV导航到目的地时，神经网络可依赖于来自SDV的传感器阵列的导航点及传感器数据沿着路线操作SDV的加速度、制动及转向系统，以便不仅维持SDV在相应车道内，但也关于车道选择、交通信号、行人、其它车辆、骑车人、障碍物、道路标志等做出反应或作出决策。沿着这些线，神经网络系统可通过训练阶段、测试阶段及最终实施阶段进行监督学习，其中神经网络在公共道路及高速公路上安全地操作SDV以将乘客运送到顺序目的地(例如，一次神经网络符合标准化安全阈值)。
在一些实例中，神经网络系统可利用全球定位系统(GPS)模块来在总体坐标中设置导航点及在局部坐标中设置目的地位置。根据实例，神经网络系统可利用GPS模块在SDV之前预定距离处(或基于交通及速度在时间上在车辆之前)设置定位信号(即，导航点)。在变型中，导航点可通过后端管理系统沿着路线在SDV之前的持续距离处设置。实例性后端路线管理系统可包括基于网络的传输系统，其管理按需运输安排服务，例如由加利福尼亚州旧金山的Uber技术股份有限公司提供的服务。
本文中所描述的实例认识到精确的导航点信号可能导致神经网络系统的过度拟合问题，其中神经网络系统变得过于依赖导航点，且因此开始盲目地遵循它们而不是依靠传感器数据进行决策。为了解决过度拟合的风险，神经网络系统可将噪声引入到对应于导航点的定位信号，以致使神经网络更多地依赖于图像数据或传感器数据，从而减少过度依赖导航点的可能性。噪声会降低定位信号的准确性(例如，提升水平误差)，致使神经网络系统处理数据，稳定SDV的道路性能，并使神经网络更加稳健。
神经网络系统的关键方面为利用导航点作为“诱饵”，所述“诱饵”使得神经网络系统能够除简单的车道保持之外还执行额外的自主驾驶任务，尽管车道保持可通过实施本文中所描述的实例显着改进。在各种方面中，神经网络系统可跟踪导航点—其自身遵循到目的地的路线—以选择车道，在新道路上转弯，以及响应于事件、交通信号、道路标志、天气状况以及其它突发事件。此外，为了增加稳健性，可调整导航点在车辆之前的距离或时间，导航点的数目以及引入到导航点信号的噪声量。因此，在一个实例中，神经网络系统沿着SDV之前的路线连续建立一对导航点(例如，50米处的第一点及100米处的第二点)。在沿着路线操作SDV时，神经网络系统可连续地比较每一导航信号的坐标值以做出关于加速度、转向及制动的决策。在进一步的实例中，神经网络系统可进一步动态地将导航点的坐标值与SDV自身的坐标进行比较，以便确定即时路线规划。
例如，车辆的坐标及导航点的坐标中的每一者可建立在总体坐标中，使得可容易地比较每一者的坐标值。神经网络系统可将局部坐标中的目的地作为额外输入。所比较的坐标值的性质(例如，每一坐标的单独x值及y值正聚合还是分散)可向神经网络系统指示转弯是否是即将到来或到目的地的总路线的性质。因此，在跟踪或跟踪导航点时，神经网络可创建一系列连续的高级路线规划(例如，用于总路线的下一五十或一百米)。神经网络系统可联合利用传感器数据以沿着每一连续路线规划安全地自主地操作SDV。
除了其它益处之外，本文中所描述的实例通过利用神经网络克服在基于规则的自主驾驶编程中明显存在的挑战(例如，记录所有操作区域中的详细表面地图的需要)来实现改进现有自主驾驶方法的技术效果。使用神经网络技术使得能够使用容易获得的地图(例如，粗略道路网络地图)作为路线参考，而神经网络系统利用导航点及传感器数据来将车辆自主地操作到目的地。因此，给定目的地，神经网络系统可建立路线并跟踪持久导航点以将车辆操作到目的地。
如本文中所使用的，计算装置指的是对应于以下的装置：台式计算机、蜂窝装置或智能电话、个人数字助理(PDA)、膝上型计算机、平板装置、虚拟现实(VR)及/或增强现实(AR)装置、可穿戴计算装置、电视(IP电视)等，其可提供网络连通性并处理资源以经由网络与系统通信。计算装置还可对应于定制硬件，车载装置或车载计算机等。计算装置还可操作经配置以与网络服务通信的指定应用程序。
本文中所述的一或多个实例提供由计算装置执行的方法、技术及动作以编程方式执行，或作为计算机实施方法。如本文中所使用的，以编程方式意指通过使用代码或计算机可执行指令。这些指令可存储在计算装置的一或多个存储器资源中。以编程方式执行的步骤可为或可并非自动的。
本文中所描述的一或多个实例可使用编程模块、引擎或组件实施。程序模块，引擎或组件可包括程序，子例程，程序的一部分，或能够执行一或多个所述任务或功能的软件组件或硬件组件。如本文中所使用，模块或组件可独立于其它模块或组件存在于硬件组件上。替代地，模块或组件可为其它模块、程序或机器的共享元件或过程。
本文中所描述的一些实例可通常需要使用计算装置，包括处理及存储资源。例如，本文中所描述的一或多个实例可全部或部分地在例如服务器、台式计算机、蜂窝或智能电话、个人数字助理(例如，PDA)、膝上型计算机、虚拟现实(VR)或增强现实(AR)计算机、网络设备(例如，路由器)及平板装置的计算装置上实施。存储器、处理及网络资源都可结合本文中所描述的任何实例的建立、使用或执行使用(包含执行任何方法或任何系统的实施方案)。
此外，本文中所描述的一或多个实例可通过使用可通过一或多个处理器执行的指令来实施。这些指令可在计算机可读媒体上运载。下文与图一起展示或描述的机器提供处理资源及计算机可读媒体的实例，在所述媒体上可运载及/或执行本文中所揭示的实施例。特定来说，用本发明的实例展示的众多机器包含处理器及用于保持数据及指令的各种形式的存储器。计算机可读媒体的实例包含永久存储器存储装置，例如个人计算机或服务器上的硬盘驱动器。计算机存储媒体的其它实例包含便携式存储单元，例如CD或DVD单元，快闪存储器(例如在智能电话、多功能装置或平板上运载的那些)及磁性存储器。计算机、终端、网络使能装置(例如，移动装置，例如蜂窝电话)皆为利用存储在计算机可读媒体上的处理器、存储器及指令的机器及装置的实例。另外，实例可以计算机程序的形式实施，或能够运载此程序的计算机可用载体媒体。
众多实例在自主车辆(AV)或自动驾驶车辆(SDV)的上下文引用在本文中。AV或SDV是指在转向及推进方面以自动化状态操作的任何车辆。关于AV及SDV可能存在不同级别的自主。例如，一些车辆可在有限的情况下实现自动化，例如在高速公路上，前提是驾驶员在车辆中。更先进的AV及SDV可在车辆内或外部没有任何人工辅助的情况下驾驶。
此外，本文中所描述众多实例引用“神经网络”、“深入学习”或“深层神经网络”。这些术语可在贯穿本发明可互换地使用，以表示利用多个处理层的一或多个机器学习模型(例如，一组算法)的执行(例如，包括任何数目个线性及/或非线性映射或变换)以基于任何数目的输入推断、自适应、确认及/或作出决策。在本发明的上下文中，提供“神经网络”或“深层神经网络”，其实施一或多个机器学习模型，其致使网络自主地操作车辆的控制机构(例如，车辆的加速度、制动、转向及/或辅助系统)。此些实例可接收对应于导航点的多个输入，具有总体坐标值、车辆自身的总体坐标，一系列目的地位置(例如，在局部坐标中)，以及提供车辆周围环境(例如，在前向操作方向上)的传感器视图的传感器数据。此外，此类实例可经训练、测试及实施以执行关于将车辆保持在车道内的人类认知功能，且关于改变车道、避免危险或危险威胁做出实际、谨慎及安全的决定，遵守交通规则及规定，以及安全地转弯以在测试道路及公共道路和高速公路上自主地驾驶车辆。
系统说明
图1为说明实施如本文中所描述的神经网络控制系统的实例自动驾驶车辆的框图。在图1的实例中，控制系统120可在给定的地理区域中自主地操作SDV 100以用于各种目的，包含运输服务(例如，人的运输，递送服务等)。在所描述的实例中，SDV 100可在没有人为控制的情况下操作。例如，SDV 100可以自主地转向，加速度，转换，制动和操作照明组件。一些变型还认识到SDV 100可在自主模式与手动模式之间切换，在自主模式中SDV控制系统120自主地操作SDV 100，在手动模式中驾驶员接管加速度系统152、转向系统154及制动系统156的手动控制。
根据一些实例中，控制系统120可利用特定传感器资源，以便在各种驾驶环境及条件下智能地操作SDV 100。例如，控制系统120可通过自主地操作SDV 100的转向系统152、加速度系统154及制动系统156来操作车辆100到规定目的地。控制系统120可使用传感器信息以及其它输入(例如，来自远程或本地人类操作员的传输，来自其车辆的网络通信等)来执行车辆控制动作(例如，制动、转向、加速度)和路线规划。
在图1的实例中，控制系统120包含计算机或处理系统，其操作以处理从SDV 100的传感器系统102接收的传感器数据111，所述传感器数据提供SDV 100在其上操作的路段的传感器视图。传感器数据111可用于确定SDV 100要执行的动作，以便SDV 100在到目的地的路线上继续。在一些变型中，控制系统120可包含其它功能，例如使用通信接口115的无线通信能力，以发送及/或接收经由一或多个网络160与一或多个远程源的无线通信117。在控制SDV 100时，控制系统120可发出命令135以控制SDV 100的各种机电接口。命令135可用于控制SDV 100的各种控制机构155，包括车辆的加速度系统152、转向系统154、制动系统156及辅助系统158(例如，灯及方向信号)。
SDV 100可配备有多个类型的传感器101、103、105，所述传感器可组合以提供对SDV 100周围的空间及物理环境的计算机化认知。同样地，控制系统120可在SDV 100内操作以从传感器101、103、105的集合接收传感器数据111并控制各种控制机构155以便自主地操作SDV 100。例如，控制系统120可分析传感器数据111以产生可由一或多个控制器140执行的低级命令135，控制器140直接控制SDV 100的加速度系统152、转向系统154及制动系统156。控制器140执行命令135可导致节气门输入、制动输入及转向输入，所述输入共同致使SDV 100沿着连续的路段操作到特定目的地。
更详细地，传感器101、103、105操作以共同获得用于车辆100的传感器视图(例如，在前向操作方向上，或提供360度传感器视图)并且进一步获得接近SDV 100的情境信息，包含任何潜在的危险或障碍。举例来说，传感器101、103、105可包括多组摄影机系统(摄影机，立体摄影机或深度感知摄影机、远程单目摄影机)、远程检测传感器，例如雷达、LIDAR及声纳、接近传感器、红外传感器、触摸传感器等。根据本文中所提供的实例，传感器可经配置或分组在传感器系统或阵列102中(例如，在安装到SDV 100的屋顶的传感器盒中)，包括任何数目个LIDAR、雷达、单目摄影机、立体摄影机、声纳、红外线或其它有源或无源传感器系统。
传感器101、103、105中的每一者可利用对应传感器接口110、112、114与控制系统120通信。传感器接口110、112、114中的每一者可例如包括与相应传感器耦合或以其它方式提供的硬件及/或其它逻辑组件。例如，传感器101、103、105可包括视频摄影机及/或立体摄影机组，其连续地生成SDV 100的物理环境的图像数据。作为补充或替代，传感器接口110、112、114可包括专用处理资源，例如提供有场可编程门阵列(FPGA)，其可例如接收及/或预处理来自摄影机传感器的原始图像数据。
根据本文中所提供的实例，SDV控制系统120可实施神经网络124，所述神经网络执行机器学习模型(例如，一组机器学习算法)，以自主地操作SDV 100的控制机构155。在一些方面中，控制系统120可经由网络160(例如，后端路线管理系统)的外部实体，或经由来自SDV 100的乘客的输入接收的目的地119。控制系统120可包含路线规划器122及存储粗略道路网络地图131的数据库130，路线规划器122可利用所述路线规划器来确定从SDV 100的当前位置到目的地119的路线123。在一些方面中，路线规划器122还可经由一或多个网络160存取第三方网络资源165，以接收地图数据及/或交通数据，以确定到目的地119的最佳路线123。
在进一步的实施方案中，路线规划器122在SDV 100在到目的地119的途中随着交通状况改变而可动态地更新路线123。如本文中所提供，路线123的更新可致使神经网络124适应某些配置，使得其能够跟踪或跟踪更新路线123。具体地，神经网络124可从SDV 100的GPS模块125接收GPS数据127，且在路线123上SDV 100之前附加某一距离或时间建立一或多个导航点129。然而，如本文中所描述，实例不限于单个导航点129，而是可包括沿着路线123并且在SDV 100的前向操作方向上设置的一对或任何数目个导航点129。
如本文中所提供，(多个)导航点129可建立在总体坐标，而目的地119可建立在局部坐标。换句话说，导航点129可经设置为持续地在SDV 100之前(例如，前50米)，且可具有随着SDV 100沿着路线123前进而在总体坐标中连续更新的坐标值。在另一方面，神经网络124可相对于行进SDV 100在局部坐标中建立目标119。根据实施例，神经网络124可经训练以跟随(多个)导航点129，其可充当神经网络124的参考来做出即将到来的决定，例如车道选择，预期转弯时的加速度及制动输入，以及转弯动作本身。在跟踪导航点129中，神经网络124提供有简单的框架，所述框架使得神经网络124能够对类似于人类决策的控制机构155执行中高级操作以预测即将到来的转弯(例如，车道选择、减速及制动)。
在变型中，一旦从GPS模块125知道SDV 100的总体坐标，即可以SDV的位置作为原点建立局部坐标系(例如，在本地笛卡尔x-y坐标系中)。此后，可在此局部坐标系中生成导航点129以沿着路线123持续地在SDV 100之前。因此，神经网络124可容易地比较SDV 100的局部坐标系统中的导航点129的坐标值(例如，确定即将到来的路线段的即时路线规划)。另外或替代地，神经网络124可将导航点129的坐标值与沿着路线123设置的连续目的地进行比较，以识别路线特征，例如即将到来的转弯。基于坐标值之间的比较，神经网络124可相应地调制加速度、制动及转向输入。
预期导航点129可经建立为沿着当前路线持续地在SDV 100之前，或可当SDV 100接近沿途的各种决策点时选择性地建立在SDV 100之前。例如，当SDV 100之前的路线仅提供有限的决策(例如，没有十字路口的直道)时，可排除导航点129，这使得网络网络124能够主要关注传感器数据111以基于对SDV的情景环境的观察而识别潜在危险并调制转向、制动及加速度输入。在接近沿着路线的决策点时—例如十字路口或公路岔口，其中神经网络124必须在两个或多于两个方向上决定—可建立导航点129，如本文中所述，以使得神经网络124能够容易地确定决策点的即时规划(例如，转弯动作)，并相应地执行加速度、制动、转向及/或车道改变动作。
在一些方面中，可基于接近十字路口的SDV 100之前的预定距离或时间而触发一或多个导航点129。例如，可利用道路网络地图来识别用于决策区域(例如，十字路口)的接近区域，其可触发导航点129。在其它实施方案中，可以基于其它参数(例如，由神经网络124输入的止动、下文超过或越过的阈值速度等)来触发导航点129。
对于较低级别的操作，神经网络124可分析传感器数据111以检测其它车辆及任何可能障碍物、危险，或所关注对象(例如，行人或骑车人)。在变型中，神经网络124可进一步分析传感器数据111以检测交通车道、自行车道、道路标志、交通信号、当前速度限制及道路标记(例如，在道路上绘制的箭头)。在处理传感器数据111时，神经网络124不需要沿着路线123的预先记录及处理的路段的详细定位地图或子图。相反，在训练及测试阶段，神经网络124可实施机器学习以分析传感器数据111以识别及识别所关注对象，忽略其它对象，并操作SDV 100的控制机构155以避免任何潜在的事故。下面关于图2提供对神经网络124的更详细论述。
图2为说明根据本文中所描述的实例的结合自动驾驶车辆使用的实例神经网络导航系统的框图。在许多方面中，图2中所展示的SDV 201的神经网络导航系统200可执行如关于图1所展示及描述的SDV控制系统120及神经网络124的一或多个功能。作为实例，神经网络导航系统200可包括实施深入学习以训练、自适应及改进自主驾驶能力的神经处理多个资源250。在某些实例中，神经网络导航系统200可包含将神经网络导航系统200连接到一或多个网络260的网络接口255。在一些实例中，网络接口255可经由网络260与一或多个外部装置通信以接收连续目的地262。
在一些实施中，神经网络导航系统200可与主管后端运输管理系统的数据中心290进行通信，所述后端运输管理系统部署在整个给定区域(例如，大都市区域)SDV的车队来提供基于应用的按需运输服务，例如由Uber技术股份有限公司提供的服务。在此类实施方案中，数据中心290可在整个给定区域中接收驱动器及SDV位置，从请求用户294接收提取请求，使那些用户与邻近可用驾驶员或SDV匹配，并向那些驾驶员及SDV发送邀约以服务接送(pick-up)请求。当选择SDV 201来服务特定的接送请求时，数据中心290可将目的地262发送到SDV 201，其中目的地262对应于SDV 201将与请求用户294会合的接送位置。一旦SDV201到达接送位置，发出请求的用户294或数据中心290可为SDV 201提供对应于用户所希望的下车位置的新的目的地262。另外或替代地，神经网络导航系统200可经由车载接口(例如显示屏或语音输入接口(例如，实施语音识别)从乘客本地接收目的地262。因此，SDV 201在任何给定时间范围内的总体旅程可包括在道路网络存在的任何地方的一系列目的地262。
在任何状况下，可将目的地262提交到神经网络导航系统200的选路引擎240。选路引擎240可存取存储道路网络地图231的数据库230，并且可确定SDV 201从当前位置行进到目的地262的最佳路线242。在某些实施方案中，最佳路线242可包括关于交通状况、速度限制、交通信号、十字路口等等最小化距离或时间的路线。在一些方面，神经网络导航系统200可包括GPS模块210(或其它基于位置的资源)，其可在沿着路线在SDV 201的前向操作方向上预定距离处为SDV 201建立一或多个导航点信号212。如本文中所描述，对应于导航点信号212的导航点可经建立以沿着路线242持续地在SDV 201之前(在距离上还是在时间上)。
在一些实例中，GPS模块210可为神经处理资源250提供对应于导航点的GPS信号，神经处理资源250可将所述导航点投射在SDV 200之前作为导航点以沿着路线242前往目的地262。在此类实例中，神经网络处理资源250可在总体坐标中建立导航点信号212，或相对于惯性参考系建立坐标。因此，当SDV 201在整个给定区域中行进时，导航点的坐标值将相对于惯性参考系变化。如此，可沿着路线242在SDV 201之前的预定距离处将导航点附加到SDV 201的非惯性参考系(例如，类似于L4拉格朗日点)。在一个实例中，神经网络导航系统200可在局部坐标中建立目的地坐标214，或在SDV 100的非惯性参考系中作为地址点。因此，可通过比较所述导航点坐标的坐标值及/或车辆211的坐标值，通过目的地262的神经处理资源250跟踪导航点坐标。
在变型中，可在SDV的当前位置处具有原点的局部坐标系统中建立导航点212。此外，神经网络处理资源250可容易地将导航点212的坐标值与作为原点的SDV的当前位置进行比较。另外或替代地，导航点212可基于SDV 201的当前位置及SDV 201的从当前位置到整个目的地的地图路线242来计算。
在各种实施方案中，导航点212的坐标可包括神经处理资源250可连续分析的二维坐标，以便预测及执行转弯，进行车道选择，加速或减速，以及以其它方式改变SDV 201的加速度、制动及转向输入。在某些方面中，每一导航点212包括笛卡尔x坐标及y坐标，其为神经处理资源250提供简单框架以跟踪并在自主操作SDV 201中做出控制决定，如下面进一步详细描述。
本文中所提供实例认识到神经网络可经训练以利用并平衡多个输入以实现期望的结果。在神经网络导航系统200的状况下，神经处理资源250可执行机器学习模型236以利用来自SDV 201的多个传感器系统270的导航点信号212及传感器数据272。如本文中所描述的，SDV传感器系统270可包括单目及/或立体摄影机。另外或替代地，SDV传感器系统270可包含一或多个LIDAR系统、雷达系统、声纳系统及/或接近传感器，其可生成传感器数据272以通过神经网络导航系统200的神经处理资源250来分析。传感器数据272可经由SDV传感器接口255来接收，且可以原始形式提交到神经处理源250，或可通过对SDV 201的加法处理资源进行预处理以消除非必要数据以便减少神经处理资源250上的总负载。
本文中所提供的实施例进一步认识通过精确导航点信号212，神经处理资源250可在无需充分依赖于传感器数据272的情况下结束严重依赖于跟踪信号212。因此，神经网络导航系统200可包含噪声发生器215以将噪声(例如，高斯分布式噪声)引入或以其它方式并入到导航点信号212，以生成粗略导航点217用于沿着路线242追踪神经处理资源250。所引入噪声可导致导航点信号212中的较大水平误差，且可导致神经网络处理资源250期望地依赖于传感器数据272以便增加系统200的稳健性。因此，基于最佳路线242，导航点信号212可通过噪声发生器215运行以增加噪声，从而产生粗略导航点217。这些粗略导航点217可作为输入由神经处理资源250连同传感器数据272及目的地坐标214接收以生成控制指令242以自主地操作SDV 200的控制机构。
因此，神经处理资源250可提取总体坐标中的粗略导航点217以沿着最佳路线242定位并且连续地计算SDV 200的未来目的地。例如，神经处理资源250可沿着最佳路线242在SDV 201之前预定距离处或时间上提取多个粗略导航点217(例如，基于SDV的定向及/或定位参数)，且连续地监视粗略导航点217中之每一者的坐标值。在一个方面中，神经处理资源250将粗略导航点217的坐标值与SDV 201的车辆坐标211进行比较以作出关于即将到来的路线段的即时路线规划的中级或高级决策。另外或替代地，神经处理资源250可使粗略导航点217的坐标值相关，其可除其它外还指示即将到来的转弯。在一个实例中，对于笛卡尔实施方案，导航点217之间的聚合x值可指示即将到来或即将发生的转弯，而y值的正或负方面可指示转弯的方向，如图3中进一步说明。对于极坐标实施方案，发散角度值可指示即将到来的转弯及转弯方向。在任何状况下，神经处理资源250可利用粗略导航点217的坐标值来调整用于使SDV 201加速度、制动及转向的输入。
神经处理资源250可进一步接收作为与SDV 201有关的局部坐标的目的地坐标214作为额外输入。另外，对于每一即时路线规划中的每一道路段可包括在SDV的局部坐标系的局部坐标中一或多个即将到来或即时的目的地(即，在SDV的动态位置作为原点的情况下)。这些目的地中的每一个可包括SDV的局部坐标系中的固定目的地坐标214。因此，神经处理资源250可将目的地坐标214用作每一直接路线段的连续目标终点，或作为当前行程的总终点。因此，在操作SDV的控制机构时，神经处理资源250可将导航点坐标值与SDV的当前坐标及定向(以及额外车辆参数，例如速度、加速度及制动输入等)进行比较，以及连续目的地坐标214。在执行机器学习模型236中，神经处理资源250可经训练以平衡沿着路线242跟踪粗略导航点217与分析传感器数据272的潜在危险之间的处理。如此做，神经处理资源250可由SDV控制单元280执行的控制指令242以操作SDV 201的转向系统282、制动系统284、加速系统286以及发信号与辅助系统288。在某些实施方案中，神经网络导航系统200可包括SDV控制接口245，通过所述SDV控制接口将控制指令242发射到SDV控制单元280以供执行。SDV控制单元280可处理控制指令242以生成控制命令289，用于在SDV 201的转向系统282、制动系统284、加速度系统286及/或发信号系统288上直接实施。
在逻辑块的上下文中论述结合图2所展示的逻辑过程，所述逻辑块表示神经网络导航系统200的各种元件及逻辑流程。然而，前述过程中的一或多者可由后端数据中心290执行，例如基于SDV 201的当前位置297及最佳路线242建立导航点217，将噪声引入到导航点信号212，及确定SDV 201到目的地262的最佳路线242。因此，在图2的上下文中，粗略导航点217可由数据中心290建立在固定到SDV 200的参考帧的总体坐标中，从而使得神经处理资源250能够利用基本道路网络地图231来提取及跟踪粗略导航点217以便沿着路线242自动地操作SDV 200。如此做，神经处理资源250不仅可遵循路线，并执行车道保持，但也可能作出关于即将到来的转弯的决策，例如车道选择、发信号、安全检查(例如，分析传感器数据272用于安全车道改变及转弯机会)，以及预期制动及加速度。
操作中的自动驾驶车辆
图3展示根据实例实施方案的利用传感器数据来导航环境的自主控制的自动驾驶车辆的实例。在图3的实例中，自主车辆310可包含各种传感器，例如车顶摄影机阵列(RTC)322、前向摄影机324及激光测距仪330。在一些方面中，数据处理系统325(包括一或多个处理器、FPGA及/或存储器单元的组合)可定位在车辆310的载货空间中。
根据实例，车辆310使用一或多个传感器视图303(例如，环境300的立体或3D图像)来扫描车辆310在其上横穿的路段。车辆310可处理对应于来自一或多个传感器的传感器视图303的图像数据或传感器数据，以便检测对象，所述对象在或可能在车辆310的路径中。在所展示的实例中，所检测到的对象包含骑车人302、行人304及另一车辆327—其中每一者可能跨越进入车辆310沿者其横穿的路段315。车辆310可使用关于路段及/或来自传感器视图303的图像数据来确定路段包含分隔物317及相对车道，以及人行道(SW)321及人行道结构，例如停车计时器(PM)327。
车辆310可基于传感器视图303确定对象在环境300中的位置、大小及/或距离。例如，传感器视图303可为3D传感器图像，其组合来自车顶摄影机阵列322、前置摄影机324及/或激光测距仪330的传感器数据。因此，车辆可准确地检测对象在环境300中的存在，允许车辆安全地导航路线，同时避免与其它对象碰撞。
根据实施例中，车辆310可确定环境300中的一或多个对象将沿着车辆的当前路径或路线干扰车辆310或与其碰撞的概率。在一些方面中，车辆310可基于碰撞的概率选择性地执行避让动作。避让动作可包含速度调整、车道移转、道路移转(例如，改变车道或驾驶远离路缘石)，灯或喇叭动作以及其它动作。在一些方面中，回避动作可能与某些驾驶惯例及/或规则相反(例如，允许车辆310越过中心线行驶以与骑车者产生空间)。
在变型中，车辆310可通过一系列的训练、测试及现实世界的实施阶段实施深层神经网络以最终建立以与自主驾驶的人为评级或安全标准同等级或超过其等级自主操作车辆310的技能组。因此，在分析传感器视图303时，深层神经网络可关于每一所检测到的对象进行即时评估，且根据某些安全标准(例如，机动车辆操作标准的安全实践)主动地控制自主车辆310。如此做，深层神经网络可根据以下观点寻求优化自主驾驶习惯：最小化碰撞风险(例如，通过识别及预测可能的危险情况)，实施确定的前方净距离(例如，基于速度的跟随标准)，甚至实践以效率及安全为方针的特定驾驶技术。
在实例中，数据处理系统325可实施深层神经网络(例如，经由执行一组机器学习算法)来识别静态对象，例如停车计时器327，且可准确地确定停车计时器327为固定对象(例如，基于其在传感器视图303中的相对静态或稳定的位置)。深层神经网络可进一步检测并明确识别可能的危险，例如骑车人302、行人304及其它车辆327。深层神经网络可进一步识别传感器视图303中可能影响自主车辆310沿着其给定路线366行进的方式的其它对象，例如人行横道315及交通信号340。在执行车道保持时，深层神经网络可识别车道分隔物标记317及指示行进的当前车道的边界的其它道路特征(例如，涂漆线、路缘石、停放的汽车、自行车道、从混凝土或沥青到泥土或草的过渡区等)。
根据本文中所描述的实例，深层神经网络可沿着车辆310的当前路线366提取一或多个导航点(例如，导航点360及导航点362)。在一些方面中，导航点360、362可包括在全局坐标中建立的二维笛卡尔坐标点，且可作为“诱饵”点附加到车辆310的非惯性参考系。在图3的上下文中，每一导航点360、362的坐标值可在车辆310沿着当前路线366行进时关于总体坐标系380变化。因此，深层神经网络可沿着路线366跟踪导航点360、362，对导航点360、362的坐标值相对于彼此(及/或SDV 310的车辆坐标323)进行动态地比较，并且利用比较值来作出关于SDV 310的即将到来的路段的决策，例如车道选择及预期动作(例如，制动、发信号、检查传感器视图的个别部分等)。
在图3中所展示的实例中，总体坐标系380可包括用于给定区域的映射网格(例如，基于分别对应于x轴及y轴的东/西与北/南网格)，其使得深层神经网络能够通过跟随导航点360、362确定路线366的即将到来的特性(例如道路曲线及转弯)。在一个方面中，所述深神经网络可利用车辆自己的坐标323来与在车辆的前向方向上设置的一或多个导航点360、362进行比较。如此，聚合的x值可对应于即将到来的转弯，且发散的y值可对应于即将到来的转弯的方向。x聚合及y发散(假设当前沿x方向行进)可使得深层神经网络能够通过选择适当的车道、使用车辆的方向信号发出信号，在即将到来的十字路口或转弯处制动，以及转向及加速度来完成转弯作出响应。
二维笛卡尔坐标的使用在本文中经提供仅用于说明，并不意味着以任何方式进行限制。导航点360、362，车辆坐标323以及目的地坐标可在任何二维或三维坐标系或参考系中，且可利用笛卡尔全局及局部坐标、二维极全局坐标及局部坐标，及/或三维球形全局及/或局部坐标的任意组合。因此，在数据处理系统325上实施的深层神经网络可提取导航点360、362的坐标值(在任何设置坐标系中)—在车辆310行进穿过给定区域时—用于动态比较以便确定即时路线规划(例如，对于驾驶的下一百米或接下来的三十秒)并对车辆310执行任何数目的控制动作以实施即时路线规划。
结合利用导航点360、362的路线以下论述，深层神经网络可动态地分析传感器视图303以获得较低级别安全问题，例如来自其它车辆327的可能危险威胁，本地行人304及骑车人302。深层神经网络可进一步处理传感器视图303来识别道路及交通特征—例如交通信号340及信号状态(例如，红色、黄色或绿色)、人行横道315、人行道321及车道分隔物317—以便作出关于实际执行车道改变，即将到来的十字路口的制动以及安全地执行由导航点360、362识别的即将到来的转弯的较低级别的决策。
方法论
图4为根据本文中所描述实例描述通过使用神经网络自主操作自动驾驶车辆的实例方法的流程图。在图4的以下描述中，可参考表示如关于图1至3所展示及所描述的相同特征的参考字符。此外，结合图4所描述的方法可通过在自动驾驶车辆100、200上实施的神经网络124或神经网络导航系统200来执行。参考图4，神经网络124可在局部坐标中建立目的地119(400)。神经网络124可进一步在SDV 100的前向操作方向上识别一或多个导航点129(405)。如本文中所提供，导航点129可通过后端实体在了解目的地119及最佳路线123的情况下在SDV 100之前的附加距离处(或时间上)提取及建立。在变型中，一旦确定到目的地119的最佳路线123，即可通过SDV 100的单独模块或神经网络124本身提取及建立导航点129。
在操作SDV 100的控制机构155时，神经网络124还可处理指示来自SDV 100的传感器阵列102的传感器视图的传感器数据111(410)。根据本文中所描述的一些方面，神经网络124可动态地利用导航点129用于即时路线规划(415)。因此，神经网络124可将导航点129的个别坐标值彼此及/或与SDV 100的车辆坐标进行比较，以便确定即将到来的路段的即时路线规划。即时路线规划可包括SDV 100的总路线123的下一个五十或一百米或设定时间段(例如，接下来的三十秒)的规划，且可与SDV 100之前的导航点129的位置直接相关。因此，即时路线规划可对应于其中SDV 100必须发信号、改变车道，并执行转弯的即将到来的转弯。
在各种实施方案中，神经网络124可利用传感器数据111进行立即动作执行(420)。即时动作执行可包括生成由SDV 100的个别控制机构155(例如SDV的加速度系统152、转向系统154、制动系统156及辅助系统158)执行的个别命令输入135。在执行经由比较导航点129(及/或车辆自身的坐标)所确定的即时路线规划时，神经网络124可分析传感器数据111以确切地确定何时改变车道、关于十字路口或潜在危险的制动，及当情况安全时使SDV 100加速度及转向以完成转弯。因此，神经网络124可自主地操作SDV 100的控制机构155以沿着给定路线123跟踪导航点129(425)。
图5为根据本文中所描述实例描述通过使用神经网络自主操作自动驾驶车辆的实例方法的下级流程图。在图5的以下描述中，可参考表示如关于图1至3所展示及所描述的相同特征的参考字符。此外，结合图5所描述的方法可通过在自动驾驶车辆100、200上实施的神经网络124或神经网络导航系统200来执行。参考图5，神经网络导航系统200可接收目的地262(500)。目的地262可从在数据中心290上实施的后端运输管理系统接收(504)，或可由SDV 201的乘客通过使用本地用户接口直接输入(502)。
在各种实施方案中，神经网络导航系统200可根据到目的地262的当前位置确定路线242(505)，及在与SDV 201有关的局部坐标中设置目的地262(510)。神经网络导航系统200可进一步在总体坐标中设置一或多个导航点212，并将导航点212附加或以其它方式配置到SDV 201的非惯性参考系(515)。如此做，神经网络导航系统200可沿着路线242在SDV201之前的持续距离处或在时间上设置导航点(516)，使得导航点212在距SDV 201的距离方面不同(例如，基于SDV的当前速度)(517)。例如，导航点212中的每一者的时间位置可基于时间步长(例如，SDV 201之前一或两秒)及SDV的当前速度的计算。在变型中，SDV 201的总体坐标值(例如，经由GPS模块210)可在SDV的当前、动态位置作为原点的情况下用于建立局部坐标系。在此类变型中，导航点212及连续即将到来的目的地坐标214可沿着路线242建立在SDV的局部坐标系中。作为实例，局部笛卡尔坐标系(例如，二维x-y系统)可经建立，其中正x轴在SDV 201的前向操作方向上延伸，且正y轴延伸到SDV 201的左侧。导航点坐标212及/或连续目标坐标214可关于此局部笛卡尔系统建立，使得神经网络处理资源250能够容易地识别例如即将到来的转弯。在一些方面中，神经网络导航系统200可设置基于距离及基于时间的导航点212的组合以进一步增加稳健性。此外，神经网络导航系统200可设置导航点的数目(518)，且可包含单个点，或沿着路线在SDV 201之前的各种距离处及/或时间的多个点。
此外，神经网络导航系统200可包含或以其它方式将噪声引入到导航点信号212，以使得导航点212包括具有一定量的增加水平误差的粗略导航点217(520)。如本文中所描述，此可阻止神经网络导航系统200的神经处理资源250在系统200的至少训练阶段中过度依赖于导航点217，从而导致系统200的稳健性增加。在一些方面中，噪声可仅包含在系统200的训练及/或测试阶段中。在此类方面中，可在实施阶段排除或减少噪声。在变型中，还可在公共道路上实施系统200期间包括噪声。神经网络导航系统250可进一步从SDV传感器系统接收传感器数据272(525)，其可包含LIDAR数据(526)、摄影机或图像数据(527)及/或雷达数据(528)。预期神经网络导航系统250可能不知道传感器数据源的类型，且可利用来自任何个别传感器系统(例如，单个单眼、前置摄影机)或本文中所描述的传感器系统的组合的数据。
在各种实施方案中，神经网络导航系统200可动态地分析及比较坐标值，以连续地或周期性地(例如，每隔几秒钟)确定即时路线规划(530)。如上文所论述，神经网络导航系统200可比较粗略导航点217的个别坐标值(531)、SDV 201的车辆坐标(532)及目的地坐标214(533)的各种组合。在某些实施中，神经处理资源可确定SDV 201的驶向，并利用驶向在坐标值之间进行比较以最终确定即时路线规划。基于即时路线规划中的每一者，神经网络导航系统200可操作SDV控制机构，以便跟踪到目的地262的粗略导航点217(535)。因此，神经网络导航系统200可操作SDV 201的加速系统286(536)、制动系统284(537)及转向系统282(538)，以便执行进展的低级自主动作，沿着到目的地262的总路线242使SDV 201沿着每一即时路线规划前进的低级自主动作。
硬件图
图6为说明计算机系统的框图，在所述计算机系统上可实施本文中所描述的实例SDV处理系统。计算机系统600可使用多个处理资源610来实施，处理资源610可包括处理器611、场可编程门阵列(FPGA)613。此外，可使用计算机系统600的任何数目的处理器611及/或FPGA 613作为实施机器学习模型662并利用存储在计算机系统600的存储器661中的道路网络图664的神经网络阵列617的组件。在图1及2的上下文中，控制系统120、神经网络124及神经网络导航系统200可使用图6中所展示的计算机系统600的一或多个组件来实施。
根据一些实例，计算机系统600可在自主车辆或自动驾驶车辆(SDV)的范围内用软件及硬件资源实施，例如结合图1及2的实例描述。在所展示的实例中，计算机系统600可在空间上分布到SDV的各个区域中，其中各个方面与SDV本身的其它组件集成。例如，可在SDV的载货空间中提供处理资源610及/或存储器资源660。计算机系统600的各种处理资源610还可使用微处理器611、FPGA 613或其任何组合来执行控制指令及机器学习模型662(例如，包括一组机器学习算法)。在一些实例中，机器学习模型662可由构成神经网络阵列617的处理器611及/或FPGA 613的各种组合来执行。沿着这些线，嵌入在机器学习模型662中的各种可执行任务可分布在组成神经网络阵列617的计算机系统600的多种类型的处理资源610。
在图6的实例中，计算机系统600可包含通信接口650，其可经由网络680实现通信。在一个实施方案中，通信接口650还可将数据总线或其它本地链接提供到车辆的机电接口，例如进出控制机构620的无线或有线链路(例如，经由控制接口622)，传感器系统630，并且可进一步经由一或多个网络680将网络链路提供到后端传输管理系统(在一或多个数据中心上实施)。例如，处理资源610可经由一或多个网络680，或经由SDV的本地用户接口接收目的地682。
存储器资源660可包括，例如，主存储器661、只读存储器(ROM)667、存储装置以及高速缓存资源。存储器资源660的主存储器661可包含随机存取存储器(RAM)668或其它动态存储装置，用于存储可由计算机系统600的处理资源610执行的信息及指令。处理资源610可执行用于处理用存储器资源660的主存储器661存储的信息的指令。主存储器661还可存储临时变量或其它中间信息，其可在处理资源610执行指令期间使用。存储器资源660还可包含用于存储关于处理资源610的静态信息及指令的ROM 667或其它静态存储装置。存储器资源660还可包含其它形式的存储器装置及组件，例如磁盘或光盘，用于存储供处理资源610使用的信息及指令。计算机系统600可进一步使用以下的任何组合来实施：易失性及/或非易失性存储器，例如快闪存储器、PROM、EPROM、EEPROM(例如，存储固件669)、DRAM、高速缓存资源、硬盘驱动器及/或固态驱动器。
根据一些实例，存储器661可存储一组软件指令及/或机器学习算法，包含例如机器学习模型662。存储器661还可存储道路网络地图664，其中执行机器学习模型662的处理资源610可用于提取及跟踪导航点(例如，经由来自GPS模块640的基于位置的信号)，将噪声引入到导航点信号，确定连续的路线规划，并在SDV上执行控制操作。机器学习模型662可由神经网络阵列617执行，以便自主地操作SDV的加速度系统622、制动系统624、转向系统626及发信号系统628(统称为控制机构620)。因此，在执行机器学习模型662时，神经网络阵列617可作出关于即将到来的路线段的中间或高级别决策，且处理资源610可从传感器系统630接收传感器数据632以启用神经网络阵列617动态地生成低级别控制命令615用于对SDV的加速、转向及制动进行操作控制。然后，神经网络阵列317可将控制命令615发射到控制机构620的一或多个控制接口622，以通过道路及高速公路上的道路交通自主地操作SDV，如贯穿本发明所描述。
设想本文中所描述的实例扩展到本文中所描述的个别元件及概念，独立于其它概念、想法或系统，以及用于实施例以包含在本申请案中任何地方列举的要素的组合的实例。尽管本文中参考附图详细描述实例，但应理解，这些概念不限于那些精确的实例。因此，许多修改及变化对于所属领域的技术人员来说是显而易见的。因此，意图是由以下权利要求及其等同物限定概念的范围。此外，预期，单独描述或作为实例的部分所描述的特定特征可与其它单独描述的特征或其它实例的部分组合，即使其它特征及实例未提及特定特征。因此，不存在描述组合不应排除声称对此类组合的权利。

Claims (14)

1.一种用于自主控制自动驾驶车辆SDV的神经网络系统，所述神经网络系统包括：
一或多个处理器；
噪声发生器；及
一或多个存储器资源，其存储机器学习模型，所述机器学习模型在由所述一或多个处理器执行时，致使所述神经网络系统：
在相对于所述SDV的局部坐标中建立目的地位置；
在所述SDV的前向操作方向上识别一或多个导航点；
处理来自所述SDV的传感器系统的传感器数据，所述传感器数据提供所述SDV的所述前向操作方向的传感器视图；
使用基于位置的资源来确定所述SDV的当前位置，其中所述一或多个导航点是基于所述SDV的所述当前位置及到所述目的地位置的所建立路线来计算；及
利用所述传感器数据，操作所述SDV的加速系统、制动系统及转向系统，以沿着到达所述目的地位置的所述所建立路线连续跟随所述一或多个导航点；其中所述噪声发生器经配置以将噪声引入到所述一或多个导航点中，且其中所述噪声致使所述神经网络系统依赖于结合连续跟随所述一或多个导航点来处理所述传感器数据。
2.根据权利要求1所述的神经网络系统，其中所述所执行的机器学习模型致使所述神经网络系统在(i)沿着所述所建立路线的所述SDV之前的恒定距离处或(ii)沿着所述所建立的路线基于所述SDV的当前速度在所述SDV之前的时间位置识别所述一或多个导航点中的每一者。
3.根据权利要求1所述的神经网络系统，其中所述一或多个导航点各自包括总体坐标中的坐标点，所述坐标点具有随着所述SDV朝向所述目的地位置前进而变化的值，且其中所述所执行的机器学习模型致使所述神经网络系统通过将所述坐标点的所述值与所述SDV的车辆坐标进行连续地比较来沿着到所述目的地位置的所述所建立的路线连续跟随所述一或多个导航点。
4.根据权利要求1所述的神经网络系统，其中所述一或多个导航点包括沿着所述所建立的路线在所述SDV之前的不同距离处建立的多个导航点。
5.根据权利要求4所述的神经网络系统，其中所述所执行的机器学习模型致使所述神经网络系统(i)利用所述多个导航点来动态地确定即时路线规划，以及(ii)分析所述传感器数据以对所述SDV的所述加速系统、制动系统及转向系统执行控制动作以便动态地实施所述即时路线规划。
6.一种自动驾驶车辆SDV，其包括：
传感器系统，其经配置以检测所述SDV的情景环境；
加速系统、制动系统及转向系统；及
控制系统，其包括神经网络，其中所述神经网络包括噪声发生器，所述神经网络实施机器学习模型，所述机器学习模型致使所述控制系统：
在相对于所述SDV的局部坐标中建立目的地位置；
在所述SDV的前向操作方向上识别一或多个导航点；
处理来自所述SDV的所述传感器系统的传感器数据，所述传感器数据提供所述SDV的所述前向操作方向的传感器视图；
使用基于位置的资源来确定所述SDV的当前位置，其中所述一或多个导航点是基于所述SDV的所述当前位置及到所述目的地位置的所建立路线来计算；及
利用所述传感器数据，操作所述SDV的加速系统、制动系统及转向系统，以沿着到达所述目的地位置的所述所建立路线连续跟随所述一或多个导航点；其中所述噪声发生器经配置以将噪声引入到所述一或多个导航点中，且其中所述噪声致使所述神经网络系统依赖于结合连续跟随所述一或多个导航点来处理所述传感器数据。
7.根据权利要求6所述的SDV，其中由所述神经网络实施的所述机器学习模型致使所述控制系统在(i)沿着所述所建立路线的所述SDV之前的恒定距离处或(ii)沿着所述所建立的路线基于所述SDV的当前速度在所述SDV之前的时间位置识别所述一或多个导航点中的每一者。
8.根据权利要求6所述的SDV，其中所述一或多个导航点各自包括总体坐标中的坐标点，所述坐标点具有随着所述SDV朝向所述目的地位置前进而变化的值，且其中由所述神经网络实施的所述机器学习模型致使所述控制系统通过将所述坐标点的所述值与所述SDV的车辆坐标进行连续地比较来沿着到所述目的地位置的所述所建立的路线连续跟随所述一或多个导航点。
9.根据权利要求6所述的SDV，其中所述一或多个导航点包括沿着所述所建立的路线在所述SDV之前的不同距离处建立的多个导航点。
10.根据权利要求9所述的SDV，其中由所述神经网络实施的所述机器学习模型致使所述控制系统(i)利用所述多个导航点来动态地确定即时路线规划，以及(ii)分析所述传感器数据以对所述SDV的所述加速系统、制动系统及转向系统执行控制动作以便动态地实施所述即时路线规划。
11.一种自主操作车辆的计算机实施的方法，所述方法由自动驾驶车辆SDV的神经网络系统的一或多个处理器执行，且包括：
在相对于所述SDV的局部坐标中建立目的地位置；
在所述SDV的前向操作方向上识别一或多个导航点；
处理来自所述SDV的传感器系统的传感器数据，所述传感器数据提供所述SDV的所述前向操作方向的传感器视图；
使用基于位置的资源来确定所述SDV的当前位置，其中所述一或多个导航点是基于所述SDV的所述当前位置及到所述目的地位置的所建立路线来计算；及
利用所述传感器数据，操作所述SDV的加速系统、制动系统及转向系统，以沿着到达所述目的地位置的所述所建立路线连续跟随所述一或多个导航点；其中噪声发生器经配置以将噪声引入到所述一或多个导航点中，且其中所述噪声致使所述神经网络系统依赖于结合连续跟随所述一或多个导航点来处理所述传感器数据。
12.根据权利要求11所述的方法，其中所述神经网络系统在(i)沿着所述所建立路线的所述SDV之前的恒定距离处或(ii)沿着所述所建立的路线基于所述SDV的当前速度在所述SDV之前的时间位置识别所述一或多个导航点中的每一者。
13.根据权利要求11所述的方法，其中所述一或多个导航点各自包括总体坐标中的坐标点，所述坐标点具有随着所述SDV朝向所述目的地位置前进而变化的值，且其中所述神经网络系统通过将所述坐标点的所述值与所述SDV的车辆坐标进行连续地比较来沿着到所述目的地位置的所述所建立的路线连续跟随所述一或多个导航点。
14.根据权利要求11所述的方法，其中所述一或多个导航点包括沿着所述所建立的路线在所述SDV之前的不同距离处建立的多个导航点。
CN201780064218.5A 2016-10-17 2017-10-12 用于自主车辆控制的神经网络系统 Active CN109863513B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/295,088 US10452068B2 (en) 2016-10-17 2016-10-17 Neural network system for autonomous vehicle control
US15/295,088 2016-10-17
PCT/US2017/056277 WO2018075325A1 (en) 2016-10-17 2017-10-12 Neural network system for autonomous vehicle control

Publications (2)

Publication Number Publication Date
CN109863513A CN109863513A (zh) 2019-06-07
CN109863513B true CN109863513B (zh) 2021-09-28

Family

ID=61902218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780064218.5A Active CN109863513B (zh) 2016-10-17 2017-10-12 用于自主车辆控制的神经网络系统

Country Status (6)

Country Link
US (1) US10452068B2 (zh)
EP (1) EP3526737B1 (zh)
JP (1) JP6651678B2 (zh)
CN (1) CN109863513B (zh)
CA (1) CA3038542C (zh)
WO (1) WO2018075325A1 (zh)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10733506B1 (en) 2016-12-14 2020-08-04 Waymo Llc Object detection neural network
IL288191B2 (en) 2016-12-23 2023-10-01 Mobileye Vision Technologies Ltd A navigation system with forced commitment constraints
JP6828429B2 (ja) * 2016-12-27 2021-02-10 株式会社デンソー 車両用衝突回避支援装置および車両の衝突回避支援方法
US10759415B2 (en) * 2017-02-23 2020-09-01 GM Global Technology Operations LLC Effective rolling radius
KR101878490B1 (ko) * 2017-03-10 2018-07-13 만도헬라일렉트로닉스(주) 차선 인식 시스템 및 방법
CN115855022A (zh) * 2017-04-07 2023-03-28 辉达公司 使用深度神经网络执行自主路径导航
US10271179B1 (en) * 2017-05-05 2019-04-23 Ball Aerospace & Technologies Corp. Geolocation determination using deep machine learning
US11190944B2 (en) 2017-05-05 2021-11-30 Ball Aerospace & Technologies Corp. Spectral sensing and allocation using deep machine learning
US11358608B2 (en) * 2017-05-06 2022-06-14 The Texas A&M University System Method and system for vehicular communication and safety monitoring of driving environment to provide early warnings in real-time
CN110997387B (zh) * 2017-06-20 2023-06-20 动态Ad 有限责任公司 具有自主驾驶能力的运载工具的风险处理
US10621448B2 (en) 2017-08-02 2020-04-14 Wing Aviation Llc Systems and methods for determining path confidence for unmanned vehicles
US11210744B2 (en) 2017-08-16 2021-12-28 Mobileye Vision Technologies Ltd. Navigation based on liability constraints
US10496098B2 (en) * 2017-09-12 2019-12-03 Baidu Usa Llc Road segment-based routing guidance system for autonomous driving vehicles
US11093829B2 (en) * 2017-10-12 2021-08-17 Honda Motor Co., Ltd. Interaction-aware decision making
US11657266B2 (en) 2018-11-16 2023-05-23 Honda Motor Co., Ltd. Cooperative multi-goal, multi-agent, multi-stage reinforcement learning
JP6804792B2 (ja) * 2017-11-23 2020-12-23 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 到着時間を推定するためのシステムおよび方法
US10990096B2 (en) * 2018-04-27 2021-04-27 Honda Motor Co., Ltd. Reinforcement learning on autonomous vehicles
CN108897313A (zh) * 2018-05-23 2018-11-27 清华大学 一种分层式端到端车辆自动驾驶系统构建方法
US11334960B2 (en) * 2018-06-08 2022-05-17 Uatc, Llc Systems and methods for pipelined processing of sensor data using hardware
US11427211B2 (en) * 2018-06-18 2022-08-30 Baidu Usa Llc Methods for handling sensor failures in autonomous driving vehicles
US10457294B1 (en) * 2018-06-27 2019-10-29 Baidu Usa Llc Neural network based safety monitoring system for autonomous vehicles
US11454975B2 (en) * 2018-06-28 2022-09-27 Uatc, Llc Providing actionable uncertainties in autonomous vehicles
EP3588226B1 (en) * 2018-06-29 2020-06-24 Zenuity AB Method and arrangement for generating control commands for an autonomous road vehicle
EP3625635B1 (en) * 2018-07-09 2020-10-28 Baidu.com Times Technology (Beijing) Co., Ltd. A speed control command auto-calibration system for autonomous vehicles
WO2020014683A1 (en) * 2018-07-13 2020-01-16 Kache.AI Systems and methods for autonomous object detection and vehicle following
US20200055524A1 (en) * 2018-08-20 2020-02-20 Alberto LACAZE System and method for verifying that a self-driving vehicle follows traffic ordinances
FR3086491B1 (fr) * 2018-09-26 2020-09-25 Psa Automobiles Sa Assistance a la conduite d’un vehicule, par determination de l’angle de braquage au moyen d’un reseau neuronal sans biais de calcul
US11040714B2 (en) * 2018-09-28 2021-06-22 Intel Corporation Vehicle controller and method for controlling a vehicle
US11182672B1 (en) 2018-10-09 2021-11-23 Ball Aerospace & Technologies Corp. Optimized focal-plane electronics using vector-enhanced deep learning
US11068724B2 (en) * 2018-10-11 2021-07-20 Baidu Usa Llc Deep learning continuous lane lines detection system for autonomous vehicles
CN111090277B (zh) * 2018-10-22 2021-11-26 科沃斯机器人股份有限公司 行进控制的方法、设备及存储介质
US10879946B1 (en) 2018-10-30 2020-12-29 Ball Aerospace & Technologies Corp. Weak signal processing systems and methods
US11513515B2 (en) * 2018-11-27 2022-11-29 SparkCognition, Inc. Unmanned vehicles and associated hub devices
WO2020117530A1 (en) 2018-12-03 2020-06-11 Ball Aerospace & Technologies Corp. Star tracker for multiple-mode detection and tracking of dim targets
US11520331B2 (en) * 2018-12-28 2022-12-06 Intel Corporation Methods and apparatus to update autonomous vehicle perspectives
US11353870B2 (en) * 2018-12-31 2022-06-07 Baidu Usa Llc Autonomous driving computing and storage expansion device with flexible host and client configuration
US11851217B1 (en) 2019-01-23 2023-12-26 Ball Aerospace & Technologies Corp. Star tracker using vector-based deep learning for enhanced performance
US10919543B2 (en) * 2019-01-30 2021-02-16 StradVision, Inc. Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route
US11520345B2 (en) * 2019-02-05 2022-12-06 Nvidia Corporation Path perception diversity and redundancy in autonomous machine applications
US11412124B1 (en) 2019-03-01 2022-08-09 Ball Aerospace & Technologies Corp. Microsequencer for reconfigurable focal plane control
WO2020184277A1 (ja) * 2019-03-08 2020-09-17 マツダ株式会社 車両用演算システム
JP2020142760A (ja) * 2019-03-08 2020-09-10 マツダ株式会社 車両用演算システム
JP7434714B2 (ja) * 2019-03-08 2024-02-21 マツダ株式会社 車両用演算システム
JP7434715B2 (ja) * 2019-03-08 2024-02-21 マツダ株式会社 車両用演算システム
US11216001B2 (en) 2019-03-20 2022-01-04 Honda Motor Co., Ltd. System and method for outputting vehicle dynamic controls using deep neural networks
CN111830949B (zh) * 2019-03-27 2024-01-16 广州汽车集团股份有限公司 自动驾驶车辆控制方法、装置、计算机设备和存储介质
US11618502B2 (en) * 2019-03-28 2023-04-04 Volkswagen Aktiengesellschaft On-road localization methodologies and equipment utilizing road surface characteristics
KR20200131664A (ko) 2019-05-14 2020-11-24 삼성전자주식회사 차량의 주행을 보조하는 전자 장치 및 방법
CN112034829A (zh) * 2019-05-15 2020-12-04 广州汽车集团股份有限公司 一种端到端自动驾驶方法及其系统、车辆
US11488024B1 (en) 2019-05-29 2022-11-01 Ball Aerospace & Technologies Corp. Methods and systems for implementing deep reinforcement module networks for autonomous systems control
US11303348B1 (en) 2019-05-29 2022-04-12 Ball Aerospace & Technologies Corp. Systems and methods for enhancing communication network performance using vector based deep learning
US11120566B2 (en) * 2019-06-28 2021-09-14 Baidu Usa Llc Determining vanishing points based on feature maps
DE102019211457A1 (de) * 2019-07-31 2021-02-04 Volkswagen Aktiengesellschaft Verfahren und System zum Bereitstellen einer kontextabhängigen Wissensbasis zum Plausibilisieren mindestens einer Wahrnehmungsfunktion
NL2023628B9 (nl) * 2019-08-09 2021-08-20 Wilhelmus Maria Van Bentum Johannes Systeem voor het aansturen van een op basis van stuur- en versnellingswaarden bestuurbaar autonoom rijdend voer- of (lucht)vaartuig, autonoom rijdend voer- of (lucht)vaartuig voorzien van een dergelijk systeem.
US11634162B2 (en) 2019-08-16 2023-04-25 Uatc, Llc. Full uncertainty for motion planning in autonomous vehicles
US11828598B1 (en) 2019-08-28 2023-11-28 Ball Aerospace & Technologies Corp. Systems and methods for the efficient detection and tracking of objects from a moving platform
US10609148B1 (en) * 2019-09-17 2020-03-31 Ha Q Tran Smart vehicle
US11520037B2 (en) * 2019-09-30 2022-12-06 Zoox, Inc. Perception system
CN110940310B (zh) * 2019-11-15 2021-12-07 北京遥测技术研究所 弹箭载中继测控终端相控阵天线波束指向角度计算方法
CN110956851B (zh) * 2019-12-02 2020-11-24 清华大学 一种智能网联汽车协同调度换道方法
JP7396125B2 (ja) 2020-03-03 2023-12-12 オムロン株式会社 モデル生成装置、推定装置、モデル生成方法、及びモデル生成プログラム
JP7464425B2 (ja) * 2020-03-31 2024-04-09 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
US11814083B2 (en) 2020-03-31 2023-11-14 Uatc, Llc Asynchronous processing for autonomous vehicle computing systems
US20220021953A1 (en) * 2020-07-16 2022-01-20 R9 Labs, Llc Systems and methods for processing data proximate to the point of collection
CN111708369B (zh) * 2020-07-17 2021-07-23 武汉科技大学 一种变电站巡检机器人路径规划方法
CN112254755B (zh) * 2020-11-11 2022-01-04 北京邮电大学 测量信号处理方法、装置、电子设备及可读存储介质
US11707952B2 (en) 2020-11-19 2023-07-25 GM Global Technology Operations LLC Method and system for determining tire effective radius
CN114701875A (zh) * 2022-03-08 2022-07-05 中国人民解放军空军工程大学 一种无光条件下铁路车辆装卸载的引导装置及方法
ES2928677A1 (es) * 2022-07-06 2022-11-21 La Iglesia Nieto Javier De Sistema de conduccion ecoeficiente adaptado a la modelización tridimensional geoposicionada de la parametrización del trazado de cualquier infraestructura lineal particularizado al vehiculo
CN116382179B (zh) * 2023-06-06 2023-08-08 上海临滴科技有限公司 一种调制器集成电路卡及其控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5961571A (en) * 1994-12-27 1999-10-05 Siemens Corporated Research, Inc Method and apparatus for automatically tracking the location of vehicles
WO2016130719A2 (en) * 2015-02-10 2016-08-18 Amnon Shashua Sparse map for autonomous vehicle navigation

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080033645A1 (en) 2006-08-03 2008-02-07 Jesse Sol Levinson Pobabilistic methods for mapping and localization in arbitrary outdoor environments
CN101033978B (zh) * 2007-01-30 2010-10-13 珠海市智汽电子科技有限公司 智能汽车辅助导航和自动兼辅助驾驶系统
US8150620B2 (en) 2009-04-14 2012-04-03 Alpine Electronics, Inc. Route search method and apparatus for navigation system utilizing map data of XML format
KR101662595B1 (ko) 2009-11-03 2016-10-06 삼성전자주식회사 사용자 단말 장치, 경로 안내 시스템 및 그 경로 안내 방법
US20120296539A1 (en) 2011-03-23 2012-11-22 Tk Holdings Inc. Driver assistance system
US9140792B2 (en) 2011-06-01 2015-09-22 GM Global Technology Operations LLC System and method for sensor based environmental model construction
US20130060461A1 (en) 2011-09-07 2013-03-07 INRO Technologies Limited Method and apparatus for using pre-positioned objects to localize an industrial vehicle
US8873813B2 (en) * 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
EP2589932B1 (en) * 2011-11-07 2017-02-08 Elektrobit Automotive GmbH Technique for structuring a navigation database
US8825265B1 (en) 2012-03-16 2014-09-02 Google Inc. Approach for consolidating observed vehicle trajectories into a single representative trajectory
US8521352B1 (en) * 2012-05-07 2013-08-27 Google Inc. Controlling a vehicle having inadequate map data
US9958272B2 (en) 2012-08-10 2018-05-01 Telogis, Inc. Real-time computation of vehicle service routes
GB201305067D0 (en) 2013-03-19 2013-05-01 Massive Analytic Ltd Apparatus for controlling a land vehicle which is self-driving or partially self-driving
RU132393U1 (ru) 2013-03-21 2013-09-20 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный аграрный университет" Устройство автоматического управления безопасностью движения транспортного средства
US9631933B1 (en) 2014-05-23 2017-04-25 Google Inc. Specifying unavailable locations for autonomous vehicles
WO2015195529A1 (en) 2014-06-20 2015-12-23 Google Inc. Integrating online navigation data with cached navigation data during active navigation
US9513132B2 (en) 2014-08-21 2016-12-06 Here Global B.V. Measuring quality in optimal navigation routes by navigation systems
EP3018448B1 (en) 2014-11-04 2021-01-06 Volvo Car Corporation Methods and systems for enabling improved positioning of a vehicle
KR101641490B1 (ko) 2014-12-10 2016-07-21 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
US10262213B2 (en) 2014-12-16 2019-04-16 Here Global B.V. Learning lanes from vehicle probes
WO2016170786A1 (ja) * 2015-04-21 2016-10-27 パナソニックＩｐマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
US20170023659A1 (en) 2015-05-08 2017-01-26 5D Robotics, Inc. Adaptive positioning system
US9494439B1 (en) 2015-05-13 2016-11-15 Uber Technologies, Inc. Autonomous vehicle operated with guide assistance of human driven vehicles
EP4067824A1 (en) 2015-05-28 2022-10-05 Google LLC Notification of upcoming loss of offline data coverage in a navigation application
US9841763B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
US10347134B2 (en) 2015-12-31 2019-07-09 Gt Gettaxi Limited System for navigating drivers to selected locations to reduce passenger wait time
KR102373926B1 (ko) 2016-02-05 2022-03-14 삼성전자주식회사 이동체 및 이동체의 위치 인식 방법
US9902403B2 (en) 2016-03-03 2018-02-27 Uber Technologies, Inc. Sensory stimulation for an autonomous vehicle
US9739881B1 (en) 2016-03-24 2017-08-22 RFNAV, Inc. Low cost 3D radar imaging and 3D association method from low count linear arrays for all weather autonomous vehicle navigation
JP6575818B2 (ja) * 2016-03-25 2019-09-18 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援システム、プログラム
US9953523B2 (en) 2016-04-22 2018-04-24 Here Global B.V. Node-centric navigation optimization
US10255816B2 (en) 2016-04-27 2019-04-09 Uber Technologies, Inc. Transport vehicle configuration for impaired riders
US10438493B2 (en) 2016-08-24 2019-10-08 Uber Technologies, Inc. Hybrid trip planning for autonomous vehicles
US20180060778A1 (en) 2016-08-31 2018-03-01 Uber Technologies, Inc. Driver location prediction for a transportation service
US10515390B2 (en) 2016-11-21 2019-12-24 Nio Usa, Inc. Method and system for data optimization
US9904375B1 (en) 2017-04-10 2018-02-27 Uber Technologies, Inc. LIDAR display systems and methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5961571A (en) * 1994-12-27 1999-10-05 Siemens Corporated Research, Inc Method and apparatus for automatically tracking the location of vehicles
WO2016130719A2 (en) * 2015-02-10 2016-08-18 Amnon Shashua Sparse map for autonomous vehicle navigation

Also Published As

Publication number Publication date
CN109863513A (zh) 2019-06-07
JP6651678B2 (ja) 2020-02-19
US20180107215A1 (en) 2018-04-19
JP2019533810A (ja) 2019-11-21
CA3038542C (en) 2020-06-02
CA3038542A1 (en) 2018-04-26
US10452068B2 (en) 2019-10-22
EP3526737B1 (en) 2022-08-03
EP3526737A4 (en) 2020-03-25
WO2018075325A1 (en) 2018-04-26
EP3526737A1 (en) 2019-08-21

Similar Documents

Publication Publication Date Title
CN109863513B (zh) 用于自主车辆控制的神经网络系统
US11231286B2 (en) Dynamic routing for self-driving vehicles
US20200209857A1 (en) Multimodal control system for self driving vehicle
US11462022B2 (en) Traffic signal analysis system
JP7266053B2 (ja) 自律走行車の動的ルート決定
RU2762786C1 (ru) Планирование траектории
US10489686B2 (en) Object detection for an autonomous vehicle
US11619940B2 (en) Operating an autonomous vehicle according to road user reaction modeling with occlusions
US11377123B2 (en) Solution path overlay interfaces for autonomous vehicles
US20210072756A1 (en) Solution Path Overlay Interfaces for Autonomous Vehicles
US20210005088A1 (en) Computing system implementing traffic modeling using sensor view data from self-driving vehicles
US11782439B2 (en) Determining routes for autonomous vehicles
US20210001843A1 (en) Neural network with lane aggregation for lane selection prediction of moving objects during autonomous driving

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201214

Address after: California, USA

Applicant after: Uatc Co.,Ltd.

Address before: California, USA

Applicant before: Uber Technologies, Inc.

GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Pennsylvania, USA

Patentee after: Uatc Co.,Ltd.

Country or region after: U.S.A.

Address before: California, USA

Patentee before: Uatc Co.,Ltd.

Country or region before: U.S.A.

TR01 Transfer of patent right

Effective date of registration: 20240423

Address after: Pennsylvania, USA

Patentee after: Aurora operations

Country or region after: U.S.A.

Address before: Pennsylvania, USA

Patentee before: Uatc Co.,Ltd.

Country or region before: U.S.A.