CN111033415A - 用于确定无人驾驶运载工具的路径置信度的系统和方法 - Google Patents

用于确定无人驾驶运载工具的路径置信度的系统和方法 Download PDF

Info

Publication number
CN111033415A
CN111033415A CN201880050611.3A CN201880050611A CN111033415A CN 111033415 A CN111033415 A CN 111033415A CN 201880050611 A CN201880050611 A CN 201880050611A CN 111033415 A CN111033415 A CN 111033415A
Authority
CN
China
Prior art keywords
vehicle
navigation
target location
confidence level
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880050611.3A
Other languages
English (en)
Inventor
M.F.舒伯特
P.E.沃森
M.J.格朗德曼
G.莱文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
X Development LLC
Wing Aviation LLC
Original Assignee
X Development LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by X Development LLC filed Critical X Development LLC
Publication of CN111033415A publication Critical patent/CN111033415A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0027—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K31/00—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
    • B60K31/0008—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator including means for detecting potential obstacles in vehicle path
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/082—Selecting or switching between different modes of propelling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/24—Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted
    • B62D1/28—Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted non-mechanical, e.g. following a line or other known markers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/24—Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted
    • B62D1/28—Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted non-mechanical, e.g. following a line or other known markers
    • B62D1/283—Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted non-mechanical, e.g. following a line or other known markers for unmanned vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3484—Personalized, e.g. from learned user behaviour or user-defined profiles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Abstract

示例实施方式涉及确定运载工具的路径置信度。一种示例方法包括接收使运载工具导航到目标地点的请求。该方法还包括基于针对穿越与目标地点的第一路段类似的路段而先前确定的多个之前的导航路径，确定使运载工具穿越目标地点的第一路段的导航路径。该方法还包括确定与导航路径相关联的置信度水平。该方法另外包括基于所确定的置信度水平，从与多个远程协助级别对应的多个导航模式中选择运载工具的导航模式。该方法还包括使用与运载工具的所选择的导航模式对应的远程协助级别，使运载工具穿越目标地点的第一路段。

Description

用于确定无人驾驶运载工具的路径置信度的系统和方法
背景技术
自动运载工具(autonomous vehicle)，也称为无人驾驶运载工具，能够在没有物理上存在的人类操作者的情况下行驶。一些自动运载工具可以具有在不同模式(诸如远程控制模式、部分自动模式和自动模式)下操作的能力。在远程控制模式期间，运载工具可以根据由位于远处的操作者提供的控制来进行操作。控制系统可以在自动模式期间控制运载工具的导航。操作者和控制系统可以在部分自动模式期间共享对运载工具的控制。例如，操作者可以选择让控制系统处置导航，同时提供非导航控制以完成任务，诸如操作机械系统从而以物理方式递送物体。
发明内容
本文描述了用于确定运载工具的路径置信度的示例实施方式。传感器、计算能力和其他技术的进步使能够自动操作的运载工具能够用于完成任务，诸如包裹运输和递送以及其他有用的操作。然而，运载工具的控制系统可能需要学习如何在能够无需人类协助而安全且有效地完成任务之前在目标地点处导航以及穿越该地点处的障碍物。本文公开的示例实施方式旨在帮助运载工具的控制系统学习如何在目标地点处导航通过不同的环境布局以完成所请求的任务。特别地，一些示例可以涉及远程人类操作者提供协助，直到运载工具的控制系统获取足够的信息以在没有远程协助的情况下确信地导航。利用这种布置，控制系统随着时间的推移可以较少地依赖于远程协助来执行递送或其他潜在任务。
在一方面，提供了一种示例方法。该方法包括接收使运载工具导航到目标地点的请求。该方法还包括基于针对穿越与目标地点的第一路段类似的路段而先前确定的多个之前的导航路径，确定使运载工具穿越目标地点的第一路段的导航路径。该方法还包括确定与导航路径相关联的置信度水平。该方法另外包括基于所确定的置信度水平，从与多个远程协助级别对应的多个导航模式中选择运载工具的导航模式。该方法还包括使用与运载工具的所选择的导航模式对应的远程协助级别，使运载工具穿越目标地点的第一路段。
在另一方面，提供了一种示例系统。该系统包括运载工具和控制系统。控制系统可以被配置为接收使运载工具导航到目标地点的请求。控制系统还可以被配置为基于针对穿越与目标地点的第一路段类似的路段而先前确定的多个之前的导航路径，确定使运载工具穿越目标地点的第一路段的导航路径。控制系统还可以被配置为确定与导航路径相关联的置信度水平。控制系统可以另外被配置为基于所确定的置信度水平，从与多个远程协助级别对应的多个导航模式中选择运载工具的导航模式。控制系统还可被配置为使用与运载工具的所选择的导航模式对应的远程协助级别，使运载工具穿越目标地点的第一路段。
在另一方面，提供了一种非暂时性计算机可读介质。该非暂时性计算机可读介质在其中存储有可由一个或多个处理器执行以使计算系统执行功能的指令。该功能包括接收使运载工具导航到目标地点的请求。该功能还包括基于针对穿越与目标地点的第一路段类似的路段而先前确定的多个之前的导航路径，确定使运载工具穿越目标地点的第一路段的导航路径。该功能还包括确定与导航路径相关联的置信度水平。该功能另外包括基于所确定的置信度水平，从与多个远程协助级别对应的多个导航模式中选择运载工具的导航模式。该功能还包括使用与运载工具的所选择的导航模式对应的远程协助级别，使运载工具穿越目标地点的第一路段。
在另一示例中，提供了一种系统，该系统包括用于接收使运载工具导航到目标地点的请求的装置。该系统还包括用于基于被确定用以穿越与目标地点的第一路段类似的路段的之前的导航路径、来确定使运载工具穿越目标地点的第一路段的导航路径的装置。该系统还包括用于确定与导航路径相关联的置信度水平的装置。该系统另外包括用于基于所确定的置信度水平、从与多个远程协助级别对应的多个导航模式中选择运载工具的导航模式的装置。该系统还包括用于使用与运载工具的所选择的导航模式对应的远程协助级别、使运载工具穿越目标地点的第一路段的装置。
前述发明内容仅是说明性的，而无意于以任何方式进行限制。除了上述说明性方面、实施例和特征之外，通过参考附图和以下具体实施方式以及附图，其他方面、实施例和特征将变得显而易见。
附图说明
图1是示例计算系统的简化框图。
图2是示例运载工具的简化框图。
图3示出了示例运载工具。
图4示出了另一示例运载工具。
图5示出了用于组织和调度一组运载工具的示例系统。
图6是示出示例方法的流程图。
图7A、图7B、图7C、图7D和图7E示出了用于在住宅区中导航运载工具的示例场景。
图8示出了示例人工神经网络。
图9A示出了人工神经网络的示例节点的结构。
图9B、图9C和图9D示出了示例激活函数。
图10示出了示例生成式对抗网络。
具体实施方式
下面的具体实施方式参考附图描述了所公开的设备、系统和方法的各种特征和操作。本文描述的示意性设备、系统和方法实施例并不意味着是限制性的。应当理解，词语“示例性”、“示例”和“示意性”在本文中用来表示“用作示例、实例或示意”。本文中被描述为“示例性”、“示例”和“示意性”的任何实施方式、实施例或特征不一定被解释为比其他实施方式、实施例或特征优选或有利。此外，本文一般地描述并且在附图中示出的本公开的各个方面可以以各种不同的配置来布置、替换、组合、分离和设计。
在下面的具体实施方式中对附图进行了参考，附图形成具体实施方式的一部分。在附图中，除非上下文另外指出，否则类似的符号通常标识类似的组件。在不脱离本文提出的主题的精神或范围的情况下，可以利用其他实施例，并且可以进行其他改变。此外，除非另有说明，否则附图不按比例绘制，并且仅用于示意性目的。此外，附图仅是表示性的，并且未示出所有组件。例如，可能未显示附加结构或约束组件。
技术的进步帮助促进了包裹和材料运输业。随着对运送和递送服务需求的增长，能够远程控制和自动操作的运载工具开始被测试并在运送过程的不同阶段(诸如包裹提取、运输和递送阶段)使用。尽管部分自动和自动运载工具可以提供一些优于当前技术的优势，但是运载工具的自动控制系统有时可能缺乏在没有人类协助的情况下进行安全导航和完成任务的能力，尤其是在不熟悉的地点。
在一些情况下，自动运载工具可能会遇到包括运载工具不能确信地进行导航的物理障碍物或表面的环境布局。在这样的情况下，运载工具的控制系统可能会使运载工具执行人类通常会避免的操作。例如，控制系统可能使运载工具导航通过包裹收件人可能视为越限(off-limits)的区域，诸如花园、私人走道或草坪。在一些情况下，控制系统可能根本不能确信地识别运载工具的可行导航路径。因此，尽管自动和部分自动运载工具可能表现出一些可以改善运送过程的要素的潜在益处，但其使用的其他方面也可能会引起一些可以抵消一些或所有的潜在益处的问题。
本文提出的示例系统和方法可以帮助减少与使用自动和部分自动运载工具在目标地点处执行任务(诸如包裹递送)相关联的潜在缺陷。特别地，可以分阶段地训练用于控制运载工具的机器学习模型。位于远处的人类操作者可以最初远程地控制运载工具以执行任务。这种人类操作可用于针对特定任务来训练模型，直到模型获得足够的置信度以对任务独立地运行。如果模型对任务具有低置信度，则该模型可能会退回到人类协助。如果远程人类操作者或模型成功执行任务，则此信息可以作为模型的附加训练数据而保留。
更特别地，模型可以是人工神经网络(ANN)，其为运载工具生成导航路径以导航目标地点的路段。在一些示例中，模型可以是生成导航路径和相关联概率的分布的概率找路模型。可以基于远程操作者选择的在较早的时间点导航类似的地点或相同的地点的导航路径来训练模型。在已经用足够的信息训练模型以确信地确定导航通过某个地点的路径之后，控制系统可以自动地控制运载工具以导航通过类似的地点，而无需依赖远程协助。在一些示例中，可以在用于所有类型的运载工具的共享部分与考虑到任何给定运载工具的机动能力的运载工具特定部分之间分割模型。
在一些实施方式中，运载工具的控制系统可以将任务(诸如将物体递送到某个地点)划分为多个子任务。每个子任务可以与目标地点的单独路段对应。例如，控制系统可以将递送划分为第一子任务和第二子任务，该第一子任务涉及到达相对于目标卸货地点的位置，该第二子任务涉及在目标卸货地点处物理地递送物体。模型可以单独运行，以确定每个单独的路段或子任务的单独的导航路径。
在一些实施方式中，控制系统可以识别针对类似于目标地点的路段的地点而确定的之前的导航路径。类似的地点可以与目标地点的路段共享各种特征，诸如具有类似的拓扑或类似的表面材料类型，以及其他类似之处。一些或所有之前的导航路径可能已经由远程操作者提供，并且先前由该运载工具或另一运载工具在类似的地点处沿循。一些或所有之前的导航路径也可能已经由操作者在模拟中提供，而实际上从未由运载工具沿循。一些或所有之前的导航路径也可能或者替代地可能已经由运载工具的控制系统自动地确定。
如上所述，为了确定目标地点的路段的导航路径，可以使用机器学习模型。可以基于针对类似的地点而先前确定的导航路径来训练模型。当输入表示目标地点的路段的数据时，模型可以输出供运载工具沿循的可能导航路径的分布。在一些示例中，输入数据可以是来自运载工具上的一个或多个传感器的传感器数据。在附加示例中，输入数据可以来自其他数据源，诸如来自其他示例的保存的地图数据或传感器数据。在一些示例中，可以赋予每个可能导航路径对应的概率，该概率表明该路径是最优路径的可能性。在其他示例中，可能导航路径的分布可以被表示为表示目标地点的一部分的网格，其中可能导航路径上的网格的单元被突出显示。随着控制系统对导航路径变得更确信，可能路径的分布将变窄(例如，网格中较少的单元将被突出显示)。
其他因素也可以输入到机器学习模型中。在一些示例中，可以基于运载工具的机动能力来确定导航路径或导航路径的分布。例如，运载工具可以是带有轮的、带有腿的或飞行的。在其他示例中，导航路径的分布可以基于要由运载工具递送的包裹的属性(诸如尺寸、重量等)来确定。在附加示例中，天气状况和/或其他环境状况也可以被输入到机器学习模型中。在一些示例中，控制系统可以将目标与影响导航路径的各种子任务相关联，诸如在导航期间不破坏或损害环境的目标(例如，避障)以及旨在以最少量的时间完成整个任务的目标。
控制系统可以确定与导航路径相关联的置信度水平。当地形不熟悉和/或特别地具有挑战性(例如，许多斜坡、阶梯)时，控制系统可能具有对导航路径的较小置信度。在针对高度类似情况的大量之前的导航路径可用的情况下，控制系统可以确定其对导航路径的置信度高。高置信度水平可以表明控制系统很有可能会使运载工具在没有太多或任何远程协助的情况下完成任务。另一方面，在控制系统缺乏足够的之前的导航路径和/或地形固有地具有挑战性的情况下，控制系统可以确定其具有与自动导航该地点相关联的低置信度水平。低置信度水平可能表示控制系统应从远程操作者请求一定量的远程协助。
在一些示例中，可以使用对来自模型的输出分类的统计分析来完成模型置信度的评估。例如，模型可以是生成可能导航路径和相关联概率的分布的概率找路模型。然后，可以基于与分布内具有最高概率的导航路径相关联的概率来确定置信度水平。也可以考虑可能导航路径的分布的方差；较窄的分布可以表明较高的置信度水平。
在其他示例中，可以使用生成式对抗网络(Generative Adversarial Network，GAN)生成导航路径。GAN可以涉及彼此竞争的两个模型(例如，两个神经网络)的系统。特别地，路径规划模型的输出可以被馈送到鉴别器模型中。鉴别器模型可以被训练为区分来自路径规划模型的路径和人类操作者提供的路径。特别地，鉴别器模型被训练为区分操作者提供的路径，而路径规划模型被训练为生成欺骗鉴别器模型的导航路径。随着时间的推移，路径规划模型将变得足够好，能够一致性地欺骗鉴别器模型，此时，系统可以确信由路径规划模型生成的路径是可行的路径。
在一些示例中，运载工具的控制系统可以最初接收指令以在目标地点处执行递送或另一任务。例如，控制系统可以从系统的网络接收指令，该系统的网络被布置为根据请求的类型、目标地点及运载工具的地点和能力以及其他可能的因素来组织和调度一组运载工具以完成任务，诸如包裹递送。在分析指令和与导航到目标地点和执行任务(例如，递送包裹)相关联的信息之后，控制系统可以确定其缺乏足够的置信度来在没有远程协助的情况下执行递送。例如，控制系统可以确定系统对导航到目标地点不熟悉并且没有足够数量的在类似地点处使用的之前的导航路径来确信地确定要在目标地点使用的导航路径。在其他情况下，控制系统可以具有关于目标地点和之前的导航路径的足够信息，以用于自动地确定用于完成任务的导航路径。
在确定与完成所请求的任务(或整个任务的一个或多个子任务)相关联的置信度水平之后，控制系统可以继而使运载工具在目标地点处完成任务(例如，递送请求)。在一些示例中，控制系统可以请求取决于所确定的置信度水平的远程协助级别，并且继而使用该远程协助级别使运载工具完成任务。例如，控制系统可以基于其对路径规划模型的输出的置信度来确定在没有远程协助的情况下完成期望的任务。如果是这种情况，则控制系统可以向运载工具的系统提供指令以完成任务，而不请求操作者的帮助。在这样的情况下，除非运载工具遇到控制系统不能克服的情况(诸如意外的障碍物)，否则控制系统可以不请求远程协助。
在其他示例中，控制系统可以确定需要远程协助来执行任务或子任务。作为结果，控制系统可以使用位于远处的操作者提供的协助使运载工具完成递送请求。例如，控制系统可以在确定其对于完成子任务的置信度水平低于预定的阈值水平之后发送协助请求。在接收到来自操作者的信号后，运载工具可以使用来自操作者的一定量的输入来完成任务。
在一些示例中，对具有自动能力的运载工具的控制的转变可以随时间推移发生。换句话说，随着运载工具的控制系统经历不断增加的递送反复次数，该控制系统可以承担对该运载工具的更多控制。例如，在新地点处的初期递送可能会使运载工具的控制系统完全依赖于操作者提供的导航控制。在这里，操作者可以使用传感器数据(诸如来自运载工具的传感器系统的视频和音频)来安全地导航运载工具以完成递送(或其他任务)。在另一示例中，操作者还可以在提供指令的同时与运载工具一起出现在目标地点处(例如，在运载工具内部或在运载工具旁)。
在其他示例中，可以使用附加级别的粒度来确定要请求的远程协助的量。为了说明，在控制系统确定与完成任务相关联的中等置信度水平的情况下，控制系统可以请求适量的协助。这可能涉及控制系统请求操作者设置或完善系统可以沿循的航路点，以导航到目标地点并完成递送。在另一示例中，控制系统可以请求操作者控制导航，而系统控制完成递送的其他方面(例如，操作操纵器以将物体放置在该地点处)。在附加的示例中，当控制系统控制运载工具时，控制系统可以提交让操作者监视运载工具的请求。利用这种布置，控制系统可以向操作者提供控制系统对要沿循的导航路径的最佳猜测，操作者可以确认或覆写(override)。
此外，在一些示例中，运载工具的控制系统可以在整个任务执行期间调整其置信度水平。例如，控制系统可以最初在导航通过目标地点的第一路段的同时开始在自动模式下执行任务。然而，当在目标地点的第二路段上运行路径规划模型时，控制系统可以确定其对第二路段具有比第一路段低的置信度。然后，控制系统可以请求某一远程协助级别以导航目标地点的第二部分。
在另一示例中，控制系统可以确定目标地点是新的，并请求操作者从操作者的远程位置承担对运载工具的完全控制。作为结果，可以给操作者提供包括来自运载工具的传感器的传感器数据(例如，视频、音频)的显示，以控制运载工具完成递送。控制系统可以衡量和存储由操作者提供的控制，以供未来在该目标地点或类似地点处(例如，该房屋或邻区中的其他房屋)递送期间使用。在一些示例中，控制系统可以将传感器数据和操作者的控制指令存储在分布式存储存储器中，该分布式存储存储器使其他运载工具的控制系统能够访问和使用该信息从而帮助确定完成其他相关任务的策略。
在示例中，用于完成所请求的任务的运载工具可以与各种类型的运载工具(包括传统的运载工具(例如，卡车、叉车、小汽车、拖拉机)和非传统的运载工具(例如，机器人、无人飞行器))对应。例如，可以用于执行递送的运载工具可以类似于四轮运载工具，但是也可以是机器人设备(例如，两足机器人设备、四足机器人设备)或飞行器(例如，双翼飞机、多旋翼机)。另外，运载工具可以是由接收请求并相应地将任务分配给运载工具的系统组织和调度的一组运载工具的一部分。特别地，该系统可以包括一个或多个计算系统，该计算系统进行通信以根据能力和/或地点来组织运载工具以完成所请求的任务。例如，系统可以接收递送请求并基于目标地点、要运送的包裹的地点、与包裹相关联的特性(例如，尺寸、材料)和/或运载工具的当前或未来地点来选择运载工具以完成递送请求。
现在参考附图，图1是示例计算系统100的简化框图，该示例计算系统100可以执行各种动作和/或功能，诸如本公开中所描述的动作和/或功能。计算系统100可以充当用于自动或部分自动的运载工具(诸如地面运载工具、飞行器、机器人设备等)的控制系统，并且可以包括各种组件，诸如处理器102、数据存储单元104、通信接口106和/或用户接口108。这些组件以及其他可能的组件可以经由连接机构110相互连接(或连接到另一设备、系统或其他实体)，连接机构110表示促进两个或更多个设备、系统或其他实体之间的通信的机构。这样，连接机构110可以是简单的机构，诸如电缆或系统总线，或者是相对复杂的机构，诸如基于分组的通信网络(例如，互联网)。在一些情况下，连接机构可以包括非有形介质(例如，在无线连接的情况下)。在另一实施方式中，计算系统100可以包括更多或更少的组件，包括图1中未示出的组件。
处理器102可以与通用处理器(例如，微处理器)和/或专用处理器(例如，数字信号处理器(DSP))对应。在一些情况下，计算系统100可以包括处理器的组合。
数据存储单元104可包括一个或多个易失性、非易失性、可移动和/或不可移动存储组件，诸如磁、光学或闪存存储装置，并且/或可整体或部分地与处理器102集成。这样，数据存储单元104可以采用非暂时性计算机可读存储介质的形式，其上存储有程序指令(例如，编译或未编译的程序逻辑和/或机器代码)，该程序指令在由处理器102执行时使计算系统100执行一个或多个动作和/或功能，诸如本公开中描述的动作和/或功能。这样的程序指令可以限定离散软件应用和/或作为离散软件应用的一部分。在一些情况下，计算系统100可以响应于诸如从通信接口106和/或用户接口108接收输入而执行程序指令。数据存储单元104还可以存储其他类型的数据，诸如在本公开中描述的类型的数据。
通信接口106可以允许计算系统100根据一个或多个协议连接到另一实体和/或与另一其他实体通信。例如，通信接口106可以使计算系统100能够接收请求并与其他设备通信。该请求和通信可以与在目标地点处执行任务(诸如物体提取和/或递送)的请求对应。在一个示例中，通信接口106可以是有线接口，诸如以太网接口或高清串行数字接口(HD-SDI)。在另一示例中，通信接口106可以是无线接口，诸如蜂窝或WI FI接口。连接可以是直接连接或间接连接，后者是传过和/或穿越一个或多个实体(诸如路由器、交换机或其他网络设备)的连接。同样，传输可以是直接传输或间接传输。
如果适用，用户接口108可以促进计算系统100与计算系统100的用户之间的交互。这样，用户接口208可以包括输入组件(诸如键盘、小键盘、鼠标、触敏面板、麦克风和/或相机)和/或输出组件(诸如显示设备(例如，其可以与触敏面板结合)、扬声器和/或触觉反馈系统)。更一般地，用户接口108可以包括促进计算系统100与计算设备系统的用户之间的交互的硬件和/或软件组件。
在一些实施方式中，通信接口106和用户接口108可以使位于远处的人类操作者能够与计算系统100进行通信。例如，计算系统100可以使操作者能够提供控制以进行导航或控制由计算系统100控制的运载工具的其他操作。
图2是示例自动运载工具系统200的简化框图，运载工具系统200表示能够执行本文描述的过程和操作的自动或部分自动运载工具的一种可能的配置。运载工具系统200可以表示各种类型的运载工具(诸如面向地面的运载工具、机器人或飞行器等)的组件。如图2所示，运载工具系统200包括处理器202、数据存储单元204、控制器206、传感器208、(多个)动力源210和(多个)可移动组件212，但是在不脱离本公开的范围的情况下可以包括更多或更少的以任何方式布置和连接的组件。例如，系统200内包括的组件可以形成能够控制运载工具的一个或多个操作的控制系统(例如，计算系统100)。
类似于图1所示的处理器102，处理器202可以是通用处理器或专用处理器(例如，数字信号处理器、专用集成电路等)，并且可以被配置为执行存储在数据存储单元204中的计算机可读程序指令，该计算机可读程序指令可执行以提供系统200的功能。程序指令可以执行以提供控制器206的功能，控制器206可以被配置为指示致动器或系统200的其他组件引起一个或多个可移动组件212的移动以及其他操作。数据存储单元204可以包括或采取可以由处理器202读取或访问的一个或多个计算机可读存储介质的形式。计算机可读存储介质可以包括易失性和/或非易失性存储组件，诸如光学、磁、有机或其他存储器或盘存储装置，其可以整体或部分地与处理器202集成。在一些实施方式中，数据存储装置204可以使用单个物理设备(例如，一个光学、磁、有机或其他存储器或盘存储单元)来实施，而在其他实施方式中，可以使用两个或更多个物理设备来实施数据存储装置204。此外，数据存储装置204还可包括诸如诊断数据的附加数据等。在系统200的一些实施方式中，处理器202、数据存储装置204和/或控制器206可以作为被配置为对系统200的一个或多个操作进行控制的控制系统的一部分来操作。
运载工具系统200可以包括一个或多个传感器208，诸如力传感器、接近传感器、负载传感器、位置传感器、电容传感器、触摸传感器、深度传感器、超声距离传感器、红外传感器、全球定位系统(GPS)接收器、声纳、光学传感器、生物传感器、射频识别(RFID)传感器、近场通信(NFC)传感器、无线传感器、罗盘、烟雾传感器、光传感器、无线电传感器、麦克风、扬声器、雷达、相机(例如，彩色相机、灰度相机和/或红外相机)、深度传感器(例如，红绿蓝加深度(RGB-D)、激光器、光检测和测距(LIDAR)设备、结构化光扫描仪和/或飞行时间相机)、立体相机、运动传感器(例如，陀螺仪、加速度计、惯性测量单元(IMU)和/或脚步或车轮里程表)和/或范围传感器(例如，超声波和/或红外)等。
传感器208的数量和类型可以取决于系统200的配置和用途而变化。例如，传感器208可以将传感器数据提供给处理器202以使运载工具系统200能够在环境中操作。传感器208还可以测量系统200的各个方面，包括监视功能和检测潜在的组件错误。在一些示例中，传感器208可以使运载工具系统200的控制系统(例如，计算系统100)能够测量目标地点的各个方面，以便在该地点处执行一个或多个任务。例如，控制系统可以使用传感器数据来导航到目标地点、避障并执行其他操作，诸如处置物体。在另一示例中，运载工具系统200可以包括一个或多个传感器208，其被配置为测量天气以帮助确定完成任务的策略。另外，传感器208还可以捕获音频和/或视频(以及可能的其他类型的信息)并将其提供给可以使用该信息的位于远处的操作者以控制运载工具系统200。
运载工具系统200还可以包括一个或多个动力源210，其被配置为向运载工具系统200的各个组件供应动力。可以使用任何类型的动力源，诸如，例如汽油引擎或电池。运载工具系统200还可包括可耦接至运载工具系统200的硬件的一些部分的传动系统。在一些示例中，传动系统可包括诸如离合器、差速器、皮带轮、缆绳、皮带、驱动轴和/或其他可能的元素的组件。这样，传动系统可以改变运载工具系统200的硬件组件的速度、扭矩和转动方向。
运载工具系统200还可包括一个或多个致动器，其可产生机械运动。特别地，致动器可以被配置为将存储的能量转换成一个或多个组件的运动。例如，致动器可以由化学品、压缩气体、液压或电力等供以动力。利用这种布置，致动器和/或传动系统可引起各种可移动组件212的移动，该可移动组件212可包括附件，诸如机器人臂或其他机械结构。例如，致动器可以使致动器能够提升和移动物体(例如，拾取和卸下包裹)。此外，(多个)可移动组件212还可以包括可移动基座、轮、夹具、工具和/或末端执行器等。(多个)可移动组件212可以使运载工具系统200能够完成各种任务。
重要的是要注意，运载工具系统200的配置和组件在示例内可能会有所不同，这可能取决于运载工具系统200的类型和能力。例如，飞行器系统可以包括实现飞行导航的其他组件以及协助飞行器完成适合飞行器的特定任务的特定传感器。
图3示出了示例自动运载工具300，其表示可以执行本文所讨论的操作的一种类型的地面运载工具。运载工具300可以是图2中所示的运载工具系统200的物理表示，并且包括轮302、货厢床304和传感器(传感器306A、传感器306B)。在其他示例中，运载工具300可以具有更多或更少的组件，包括图3中未示出的一个或多个组件，诸如控制系统和/或被配置为处置物体的一个或多个操纵器。
如上所述，运载工具300可以包括计算系统和传感器(传感器306A、306B)，其使运载工具300能够在多种模式(诸如自动、部分自动和远程控制模式)下操作。当在自动或部分自动模式下操作时，控制系统(例如，计算系统100)可以控制运载工具300的一个或多个操作，诸如导航策略(例如，路线规划)、避障和物体操纵。控制系统可以使用来自各种源的信息来确定控制策略，包括从存储器(例如，物理上在运载工具300上的存储装置和/或云存储存储器)、从其他设备(例如，来自服务器系统的地图)以及从传感器(例如，传感器306A、306B)获得的信息。控制系统还可以根据由与远程操作者相关联的设备提供的指令进行操作。
当在远程控制模式下操作时，操作者可以承担对运载工具300的一个或多个操作的直接控制。例如，操作者可以基于来自定位在运载工具300上的传感器(例如，传感器306A-306B)的传感器数据(例如，图像、视频、GPS坐标)来提供控制指令。在一些情况下，操作者和控制系统可共享对运载工具300的部分控制。例如，操作者可控制对运载工具300的导航，而控制系统控制定位在运载工具300上的操纵器。
在操作期间，运载工具300可以使用轮302导航。示例轮可以以各种材料存在，并且可以包括单轮、双轮、复合轮、脚轮或被配置为转动以使运载工具300移动的任何其他轮。此外，在一些示例中，轮302可以包括能量吸收材料(例如，橡胶等)以促进轮302的操作和/或维护。例如，轮302可以包括耦接至每个轮的轮辋的轮胎。在其他示例中，运载工具300可以包括能够进行机动运动的其他机械装置，诸如履带。
货厢床304是运载工具300的可以承载包裹和其他物体的机械组件。这样，货厢床304可以包括可以协助移动物体的机械装置，诸如可以将物体推离运载工具300的辊子或者可以提升和定位物体的机械致动器(未示出)。尽管运载工具300包括货厢床304，但是其他类型的地面运载工具可能具有与运载工具300不同的其他物理配置和属性。特别地，其他类型的运载工具可能具有取决于运载工具所用于执行的任务的配置。例如，另一示例地面运载工具可以包括允许运载工具运输乘客的座椅。
运载工具300还包括传感器306A、306B，以捕获运载工具的周围环境和/或运载工具300的组件操作的信息。传感器306A、306B可以与各种类型的传感器对应，并且可以协助控制系统和/或人类操作者使用运载工具300进行操作。运载工具300还可以包括图3中未示出的其他类型的传感器。
图4示出了另一示例自动运载工具400，其表示能够执行本文所讨论的操作的另一类型的运载工具。与运载工具300不同，运载工具400表示示例性飞行器，其可以通过在空中行驶而在地点之间导航。尽管将运载工具400示出为多旋翼机类型，但是其他类型的飞行器也可以执行本文所述的操作。
如图4所示，运载工具400包括四个转子402A、402B、402C、402D，这些转子被配置为使用来自电动机406的动力向运载工具400提供推进力和机动性。更具体地，转子402A包括叶片404A，转子402B包括叶片404B，转子402C包括叶片404C，并且转子402D包括叶片404D。利用这种配置，转子402A-402D可以使运载工具400能够垂直起飞和降落、在所有方向上进行操纵、以及悬停、以及其他可能的操作。例如，运载工具400可以调整叶片的俯仰以控制其俯仰、侧倾、偏航和海拔。在另一示例中，运载工具400可以是不同的配置，诸如多个电动机。
运载工具400还可包括被配置为操纵和持有物体的机械组件。例如，运载工具400可以包括机械臂，该机械臂可以在递送期间拾取并持有物品。另外，运载工具400还可包括各种传感器，诸如相机、触觉传感器和降落传感器等。
图5示出了用于组织和调度一组自动运载工具的示例系统。更具体地，系统500表示站(station)和计算系统的网络的示例配置，该计算系统被布置为接收指定地点的任务请求、处理该请求并相应地调度运载工具以完成任务。其他示例系统可以具有其他配置，包括更多或更少的元素。
如图5所示，系统500涉及各种元素之间的连接，各种元素包括接入系统502、中央调度系统504、用户账户数据库506、(多个)本地调度系统508a-b、(多个)部署系统510a-d、(多个)运载工具512a-d、(多个)通信网络514和(多个)远程设备516。图5所示的每个元素可以表示一个或多个元素。例如，在另一实施方式中，接入系统502可以与多个接入系统对应。另外，在其他示例实施方式中，元素可以以其他方式组合或互连。例如，在其他示例中，中央调度系统504可以与接入系统502和用户账户数据库506组合。系统500内的元素可以以图5中未示出的其他方式连接。
在一些示例中，系统500可以调度(多个)运载工具512a-d以跨越大地理区域(例如，其比任何单个运载工具的行驶范围大得多)提供服务。(多个)运载工具512a-d可包括能够执行不同任务的各种类型的自动和部分自动运载工具。例如，(多个)运载工具512a-d可包括地面型运载工具(例如，运载工具300、机器人设备)、飞行器(例如，运载工具400)以及其他可能的类型。通过使不同的(多个)运载工具512a-d在多个地点处可用，系统500可以基于运载工具的能力以及其他因素来调度特定的运载工具以执行任务。例如，系统500可以选择地面型运载工具(例如，运载工具300)来递送重的包裹或材料，并且选择飞行器(例如，运载工具400)来将小包裹递送到远程地点。
接入系统502可以能够实现并帮助促进与系统500的初始通信。例如，接入系统502可以接收使系统500的一个或多个元素处理、组织和调度(多个)运载工具512a-d来完成的任务请求。接入系统502可以包括使操作者能够请求并可能控制(多个)运载工具512a-d的接口。如图5所示，接入系统502可以将信息中继到中央调度系统504，中央调度系统504可以进一步组织和协调要调度的(多个)运载工具512a-d。类似于接入系统502，中央调度系统504可以与可以向(多个)本地调度系统508a-b和/或直接向(多个)部署系统510a-d提供指令的计算系统或计算系统的网络对应。为了提供这样的功能，中央调度系统504可以经由诸如互联网或私有网络的数据网络与接入系统502和系统500的其他元素通信。
中央调度系统504可以协调位于不同的(多个)本地调度系统508a-b处的(多个)运载工具512a-d。例如，中央调度系统504可以分析地点、可用性、任务分配以及关于(多个)运载工具512a-d的其他信息以确定调度指令。类似于中央调度系统504，(多个)本地调度系统508a-b可执行与组织和促进(多个)运载工具512a-d的调度有关的操作，并且可以将指令进一步传送至(多个)部署系统510a-d。
部署系统510a-d可以布置(多个)运载工具512a-d的部署，并且还可以提供附加功能，诸如与诊断相关的功能(例如，验证每个运载工具的系统功能)，确保每个运载工具接收物体或与所指示的任务有关的其他信息，和/或维护设备或容纳在运载工具中的其他物品(例如，通过监视有效负载的状态，诸如其温度、重量等)。在一些实施方式中，部署系统510a-d及其对应的(多个)运载工具512a-d(以及可能相关联的(多个)本地调度系统508a-b)可以策略性地分布在诸如城市的区域中。例如，部署系统510a-d可以策略性地分布在一个或多个取货地点附近(例如，在餐馆、商店或仓库附近)。
远程设备516表示可以经由(多个)通信网络514与接入系统502和/或系统500的其他元素进行通信的任何设备。例如，远程设备516可以与能和接入系统502(或在接入系统502处操作的人类操作者)通信的智能手机、应用、软件、网站对应。在一些示例中，远程设备516可以使用户能够请求让系统500调度运载工具以完成请求(例如，递送包裹)。系统500还可以包括用户账户数据库506。对于给定的用户账户，用户账户数据库506可以包括与提供服务有关或在提供服务时有用的数据。与每个用户账户相关联的用户数据可以可选地由相关联用户提供和/或在相关联用户的许可下收集。
除了上面讨论的各种元素之外，系统500可以放置介入者(未示出)(例如，人、机器人设备)，其可以修理或回收经历故障的运载工具。可以针对激励介入者前往需要协助以重启死机的运载工具、机器人或回收落下的无人机的地方市场而产生重置任务。可以基于介入者资格级别将不同的任务分配给特定的介入者。
在一些示例中，系统500可以作为混合递送模型来操作，其可以同时规划使用人类递送者和运载工具递送者来完成递送。例如，人类递送者可以担当递送包裹并处于适当位置以协助运载工具(例如，提供远程协助)的双重作用。例如，为了递送到覆盖整个邻区的网格，递送运载工具可以被交错(interleave)以一次关注网格的小区块，同时将人员布置在每组运载工具的中央，以便在需要时提供快速协助。在另一示例中，可以将区域网格划分为对于每个运载工具的长切片(slice)，而不是单独的象限。然后，运载工具可以全部沿相同方向前进，使得可以容易地定位人类介入者以协助组中的任何故障运载工具。可能存在涉及运载工具和人员动态地完成递送的其他示例配置。
在另一示例中，系统500可以包括一个或多个元素，该一个或多个元素被配置为监督可以由与部署运载工具的卡车相关联的设备或系统远程地操作的一个或多个运载工具。这样，(多个)运载工具512a-d可以包括不需要完整的感测和规划系统来完成任务的一些运载工具。不如说，更具成本效益的运载工具可以根据由位于部署卡车或另一地点处的系统或操作者远程地提供的规划来执行操作。例如，可以利用到卡车的高带宽链路，使得仅需要到每个递送运载工具的低带宽链路。在一些情况下，部署卡车还可以具有其自己的门架运载工具或机器人，以在部署运载工具进行递送之前将包裹装载到递送运载工具上。另外，卡车可以发动单个运载工具、多个运载工具或不同类型的运载工具。
在其他示例中，系统500可以为给定的部署卡车规划路线，并基于递送运载工具递送包裹并返回卡车的预期时间来优化路线。例如，卡车可以被配置为连续地移动通过一区域，随着卡车的行驶而卸下或拾取运载工具。当各个递送运载工具特别慢和/或当一些递送地点可能难以到达时，这样的系统可能特别有利。控制系统可以负责动态同时调整各个递送运载工具和部署卡车的路线规划。
图6是示出方法600的流程图，方法600表示可以包括如框602、604、606、608和610中的一个或多个所描绘的一个或多个操作、功能或动作的示例方法，每个操作、功能或动作可以由计算系统来执行。在一些示例中，一些或所有功能可以由位于诸如运载工具512a-d的运载工具上的计算系统来执行。在另外的示例中，一些或所有功能可以由远离运载工具定位的计算系统(诸如作为中央调度系统504的一部分的计算系统)来执行。本领域技术人员将理解，本文所描述的流程图示出了本公开的某些实施方式的功能和操作。就这一点而言，流程图的每个框可以表示程序代码的模块、段或一部分，其包括一个或多个指令，该一个或多个指令可由一个或多个处理器执行以用于实施过程中的特定逻辑功能或步骤。程序代码可以存储在任何类型的计算机可读介质(例如，诸如包括盘或硬盘驱动器的存储设备)上。
另外，每个框可以表示被布线以执行过程中的特定逻辑功能的电路。如本领域技术人员将会理解的，替代实施方式包括在本申请的示例实施方式的范围内，其中取决于所涉及的功能，功能可以与所示出或所讨论的次序不同的次序来执行，包括基本上同时的次序或以相反的次序。在示例中，计算系统可以执行方法600的一个或多个框。
在框602处，方法600可以包括接收使运载工具导航到目标地点的请求。例如，该请求可以是运载工具的递送请求。计算系统(诸如运载工具(例如，运载工具系统200、运载工具300、运载工具400)的控制系统(例如，计算系统100))可以接收将物体(诸如包裹、材料或其他物体)递送到目标地点的递送请求。在一些情况下，该请求可以替代地是在目标地点处完成不同类型的任务(例如，物体拾取)。该请求还可以包括使计算系统能够制定策略以满足该请求的信息。作为示例，计算系统可以从公司接收将一个或多个物品递送到客户的家庭地址的请求。替代地，另一示例可以是来自一群人的请求，请求他们被能够安全运输人员的运载工具接载并运输到另一位置。在目标地点处的其他示例任务请求也是可能的。
在示例内，该请求可以来自各种源，包括来自人或公司使用的设备和/或软件。例如，用户可以发送电子邮件请求、文本请求或请求完成任务的某种其他形式的无线通信。在另一示例中，计算系统可以从与公司相关联的平台接收请求，诸如来自公司销售软件的请求。每个请求可以指定对计算系统有用的其他信息，诸如目标地址、订单详细信息和收件人信息(例如，姓名、电话号码、电子邮件地址)，以及其他可能的信息。例如，递送订单还可以包括与完成任务有关的特殊指令，诸如用于将包裹放置在目标地点处(例如，在后门附近)的特定指令。
目标地点可以取决于所请求的任务。特别地，目标地点可以表示地理地点。例如，目标地点可以与给定地址处的房屋或其他类型的建筑对应。示例可以包括单户住宅、多户住宅、公寓、联排别墅、合作社和公园等。在其他示例中，目标地点可以与其他类型的区域或目的地对应，诸如商业地点、农业地点或建筑(例如，在农场上)、室外区域、医疗建筑、教育建筑、政府建筑和工业地点等。在一些示例中，目标地点可以表示被表明为接收或提供与递送或提取相关联的物体的人员或公司的当前位置。在另一示例中，给定的目标地点可以与接收递送的消费者或公司的未来位置对应。在示例内，与目标地点类似的地点可以共享在导航跨越类似地点期间运载工具可能会感觉熟悉的特征。
被配置为接收导航到目标地点的请求的计算系统可以在示例内变化。例如，可以将请求发送到被配置成组织和调度一组运载工具以完成请求的计算系统。例如，计算系统可以对应于系统500或类似的分发网络，其可以接收许多请求并进一步将每个请求分发给其他计算系统(例如，递送运载工具的控制系统)以执行递送。调度计算系统可以将请求分发给各个递送运载工具以改善递送的组织和效率。例如，计算系统可以将对紧密靠近在一起的递送的请求发送到被组织成在该大致位置完成递送的(多个)递送运载工具的一个或多个计算系统。
在另一示例中，请求可以直接到达递送运载工具的控制系统。例如，中央系统可以使请求到达位于靠近需要递送和/或提取的包裹的地理区域中的运载工具的控制系统。运载工具的控制系统可以位于运载工具上和/或远离运载工具而定位。在另一示例中，控制系统可以访问包括传感器数据和基于类似任务的执行而从云存储器存储装置获得的导航信息的信息。作为结果，运载工具的控制系统可以基于其他运载工具对这些任务的执行来开发信息，以学习如何在给定地点处执行任务。
在另一示例中，接收计算系统可以处理每个请求以对目标地点进行分类，以帮助促进任务的组织和完成。作为示例，计算系统可以基于地址和建筑类型对请求进行分组，以潜在地改善与递送运载工具的控制系统相关联的置信度构建过程。例如，运载工具控制系统可以以类似的方式分析对位于相同区域中的住宅的递送请求，因为这些住宅可能共享共同的特征(例如，共同的街道、车道和前门位置)。这样，当到达具有与先前完成的请求类似的属性(诸如相同的建筑类型或邻区)的新递送或提取请求时，递送运载工具的控制系统可以利用来自先前完成的请求的信息(例如，导航路线、表面识别)，以协助构建置信度并努力以最少的远程协助完成该任务。
在另一示例中，可以将请求发送到在云类型存储装置内维护请求的计算系统网络。这样，可以基于类型(例如，递送或提取)、地址和/或递送尺寸等来组织请求。利用位于云中的请求，各种递送运载工具的控制系统可以访问请求的集合或子集以发起操作。
在框604处，方法600可以包括确定使运载工具穿越目标地点的第一路段的导航路径。导航路径可以基于使运载工具(例如，相同或类似运载工具类型的运载工具)穿越与目标地点的第一路段类似的路段的先前确定的导航路径。运载工具可以从运载工具上的一个或多个传感器(诸如深度传感器、视觉成像器或摄像机)收集表示目标地点的第一路段的传感器数据。针对相同地点或不同地点的类似路段而确定的之前的导航路径然后可以用于生成运载工具的导航路径。在一些示例中，控制系统可以基于环境布局、地形、表面类型和/或其他因素来明确地识别类似的路段。在其他示例中，可以使用针对类似路段而确定的之前的导航路径来训练路径规划模型。然后，可以使用该模型生成目标地点的第一路段的导航路径。
在其他示例中，可以为目标地点的第一路段生成可能导航路径的分布。特别地，该模型可以是生成几个可能导航路径和相关联概率的概率路径规划模型。概率可以表示对应路径是最优路径或者是将由远程人类操作者选择以穿越特定路段的路径的几率。随着运载工具的自动控制系统对如何穿越特定类型的地点越来越确信，可能导航路径的分布可以变得更窄，并且最终可以减少到单个导航路径。
目标地点的路段可以被识别为地点的离散部分。在一些示例中，可以使用图像分割来处理目标地点的一个或多个图像，以将该地点划分为路段。可以将分离的路段识别为具有不同的地形和/或表面材料。例如，递送地点可以被划分为与铺装车道、混凝土走道和木制阶梯对应的三个路段。在其他示例中，可以将地点划分为长度、面积或预期穿越时间均匀的路段。路径规划模型可以在每个路段上单独运行，以确定每个路段的单独的导航路径和相关联的置信度水平。
路径规划模型的输入数据可以包括来自运载工具上的一个或多个传感器的视觉和/或深度传感器数据。在另外的示例中，也可以或者替代地使用由一个或多个其他运载工具收集的传感器数据和/或先前存储在环境地图中的数据。其他因素也可以输入到路径规划模型中，以影响该模型生成的导航路径。在一些示例中，可以输入运载工具机动能力(例如，带有轮的、带有腿的或飞行的)。在另外的示例中，可以输入由运载工具承载的包裹的包裹特性(例如，重量或尺寸)。此外，系统还可以收集可以协助系统确定导航路径的其他类型的信息。
在一些示例中，运载工具的控制系统可以检查并分析目标地点处的天气。系统可以经由另一设备、数据库、网站和/或当运载工具在距目标地点的范围内时使用定位在运载工具上的传感器来访问天气信息，以收集准确的读数。系统可以检查天气，因为对于依赖于运载工具传感器数据的控制系统而言，恶劣天气可能使完成诸如包裹递送的任务更加困难。例如，控制系统可以分析目标地点处的之前的以及当前的降水水平和温度，以确定导航路径是否可能较难行进或天气是否会干扰运载工具的传感器。
在其他示例中，可以使用生成式对抗网络(GAN)生成导航路径。GAN可以包括两个竞争模型，诸如两个单独的神经网络。路径规划模型可以生成地点的路段的导航路径或导航路径的分布(例如，使用运载工具传感器数据作为输入)。可以训练单独的鉴别器模型以区分操作者提供的导航路径和自动地生成的导航路径。鉴别器模型的输出可用于帮助训练路径规划模型，以生成类似于操作者会选择的导航路径的导航路径。一旦针对特定类型的路段对路径规划模型进行了适当的训练，就可以依赖路径规划模型来生成导航路径，而无需操作者协助。
在框606处，方法600可以包括确定与导航路径相关联的置信度水平。置信度水平可以表示所确定的导航路径将允许运载工具自动穿越目标地点的第一路段的可能性。
在一些示例中，可以使用对由路径规划模型生成的输出的统计分析来确定置信度水平。例如，路径规划模型可以生成地点的路段的可能导航路径的分布。较宽范围的可能导航路径可以与较低的置信度水平相关联。在一些示例中，模型还可以生成与每个可能导航路径相关联的概率。模型可以选择具有最高相关联概率的导航路径，以使运载工具穿越地点的路段。然后，可以基于与所选导航路径相关联的概率来确定置信度水平。在其他示例中，可以使用预测特定导航路径(其自动地生成或由操作者提供)是否可能有问题的单独模型来确定置信度水平。例如，该模型可以输出所生成的导航路径将允许特定的递送运载工具成功穿越该地点的该路段的可能性。
在框608处，方法600可以包括从与多个远程协助级别对应的多个导航模式中选择运载工具的导航模式。如上所述，控制系统可以确定表示与控制系统自动地控制运载工具完成所请求的任务(例如，执行递送)相关联的成功率的估计的置信度水平。在一些情况下，控制系统可以确定低置信度水平，并选择涉及请求远程协助以协助运载工具完成任务的导航模式。例如，控制系统可以确定置信度水平低于预定义置信度水平，并且作为结果，向位于远处的操作者提交请求以承担对运载工具的控制。当递送运载工具遇到与其他先前遇到的递送地点不类似的新递送地点时，和/或当递送运载工具遇到固有地非常困难的地点时，可能会发生这种情况。
另一方面，在一些情况下，控制系统可以确定中等或高置信度水平，并确定涉及在运载工具完成所请求的任务的同时控制系统自动地控制运载工具的至少一些方面的控制策略。例如，控制系统可以确定其置信度水平高于预定义置信度水平。在这种情况下，系统可以选择涉及在没有远程协助的情况下自动地控制运载工具的导航模式。
在框610处，方法600可以包括使用与运载工具的所选的导航模式对应的远程协助级别，使运载工具穿越目标地点的第一路段。例如，如果置信度水平低，则可以将请求发送给远程操作者以对运载工具进行远程操作以穿越第一路段。如果置信度水平高，则运载工具可以改用路径规划模型生成的导航路径自动地穿越第一路段。
在一些实施方式中，在运载工具完成递送请求的同时，控制系统可以在各个步骤处确定新的置信度水平。例如，可以为目标地点的几个离散路段中的每一个确定单独的导航路径和置信度水平。这可以使控制系统能够调整其在过程的不同点处完成递送的策略。例如，控制系统可以最初在目标地点处控制运载工具，但是遇到控制系统无法克服的不熟悉路段(例如，阻挡路径的物理物体)。作为结果，控制系统可以将其置信度水平从高调整到低，并请求远程协助以帮助克服障碍物。当运载工具遇到已知好或已知坏的场景时，也可以调整置信度水平。例如，也可以给有狗挡住路径的递送位置低置信度水平，即使该场景反而对于运载工具容易穿越。
在一些实施方式中，随着时间的推移，由递送运载工具到特定递送地点的递送可以从由位于远处的人类操作者提供的远程操作控制转换到由递送运载工具的控制系统进行的自动控制。更具体地说，由于与该地点相关联的未知数，到该特定地点的初始递送可能需要人类操作者的控制。例如，操作者可以使用传感器数据，诸如来自递送运载工具的音频和视频，来向递送运载工具提供控制指令以完成递送。操作者可以确定运载工具的控制系统最初可能无法正确进行选择(诸如递送运载工具应沿着哪些表面行进以及在何处主动递送和放置物体，以及其他可能的决定)的各种信息。在另一示例中，操作者甚至可以在提供指令以协助完成递送的同时与递送运载工具同行。这样，随着时间的推移，运载工具的控制系统可以基于获取的传感器数据和来自到该地点的之前的递送期间所提供的操作者的控制的信息，主动学习如何执行到该地点的递送。
在一些示例中，导航特定地点或一组类似地点可以通过各层级的不同远程协助级别进行。作为示例，不同的层级可以包括远程操作层级(第一级别)、设置航路点(第二级别)、确认航路点(第三级别)以及在整个递送操作中由运载工具的控制系统或另一计算系统进行的完全自动控制(第四级别)。其他示例可以包括具有不同量的远程控制和/或计算机控制的更多或更少的层级。现在将更详细地讨论以上示例中所表明的每个级别。
如上所述，由于运载工具的控制系统随着时间的推移而获取更多信息，所以使用能够进行部分和完全自动操作的运载工具进行的到递送地点的递送可能会发生变化。在开始时，控制系统可以完全或至少基本上依赖于人类操作者提供的指令。该操作控制的初始层级可以与上述第一级别对应。操作者可以进行控制系统最初难以确定的决策，包括要使用什么导航路径。例如，操作者可以为递送运载工具选择避免损坏财产的路径(例如，使用走道而不是穿过草地或花园)。在一些示例中，操作者还可以控制递送运载工具的速度和导航的其他方面，使得运载工具正确地完成递送。
上文最初讨论的示例层级系统中的远程操作的第二级别可以涉及操作者设置的要使递送运载工具的控制系统沿循的航路点。航路点，也称为地标，可以与物理空间中的可用于导航目的的参考点对应。航路点可以与标识物理空间中不同点的坐标集对应。在示例内，可以以各种方式描述航路点，诸如包括经度和纬度的坐标。在一些示例中，诸如在涉及飞行器或非飞行器的示例中，航路点还可以包括海拔信息。递送运载工具可以使用导航系统(例如，GPS)来监视和沿循航路点。
完全远程控制以外，可以仅要求远程操作者设置一个或多个航路点来帮助引导运载工具。递送运载工具的控制系统可以控制递送运载工具至使运载工具行进到每个航路点直到完成递送的程度。在一些情况下，操作者可以在航路点之间的导航期间监视并可能协助控制系统。例如，在控制系统未正确沿循由航路点规定的期望路径的情况下，操作者可以覆写对递送运载工具的控制。这样，操作者可以防止递送运载工具进行不想要的操作(例如，将递送运载工具保持在使用适当表面的正确路径上)。
当控制系统确定置信度水平大于第一预定义置信度水平阈值并且小于第二预定义置信度水平时，可以使用该层级。
在一些示例中，潜在的第三级别可以涉及远程操作者确认由运载工具的控制系统自动地生成的航路点。特别地，运载工具的控制系统可以自动地导航，同时还发送操作者可以检查和批准运载工具的行进进展的航路点。
示例层级系统中的第四级别可以涉及递送运载工具的控制系统自动地完成递送过程。此时，控制系统可能已经从先前在相同或类似地点处控制运载工具的操作者获取导航信息，以及从在其他级别(例如，第二级别、第三级别)期间获取的导航信息获取导航信息。
远程协助的不同层级之间的转换可以取决于与地点相关联的置信度水平。另外，控制系统可以在执行期望任务的不同点处在层级之间转换。例如，控制系统可以将运载工具导航到目标地点，但是请求协助以完成递送。控制系统还可在执行不同任务(例如，多次递送)之间的层级之间进行转换。
在另一示例中，控制系统还可以进行关于到不同类型的地点的预期递送时间的预测，并将该预测馈送给可以在多个运载工具之间动态地平衡工作负荷的集中式规划器。例如，运载工具可能具有多个要进行递送并确定高效地完成所有递送(例如，使行程最小化)的路线。
图7A、图7B、图7C、图7D和图7E示出了用于导航运载工具的示例场景。特别地，场景700示出了运载工具确定完成到房屋702的递送的递送置信度的示例实施方式。场景700涉及运载工具针对住宅区调整其递送策略，但是其他示例场景可以包括其他类型的区域，诸如商业、室外或工业环境。此外，尽管场景700涉及运载工具执行到房屋702的递送，但是其他示例场景可以涉及运载工具执行其他任务(例如，包裹提取或人员运送)。
图7A示出了示例场景700中描绘的住宅区的总体布局。如图所示，该住宅区包括沿道路712定位的多个房屋(例如，房屋702、房屋714)。房屋702还包括通常与住宅区中的财产有关的元素，包括门704、室外阶梯706、围墙708和从室外阶梯706通往道路712的走道710。因此，房屋702表示与潜在的递送地点对应的示例房屋，但其他递送地点可能具有其他配置和布局。例如，另一示例递送地点可以是没有物理建筑的室外空间。
图7B示出了递送运载工具最初可以使用远程协助沿循的导航路径720。特别地，如上所述，位于远处的人类操作者可以向递送运载工具提供指令以沿着道路712、走道710和阶梯706导航运载工具，直到运载工具到达卸货地点726并完成递送。这样，操作者可以沿着导航路径720导航运载工具以完成到房屋702的一次或多次初始递送，同时递送运载工具的控制系统获得并存储信息以供在房屋702或类似的递送地点处(例如，房屋714)后续使用。
图7C示出了当在房屋702处执行递送时递送运载工具可以使用的示例航路点。如上所述，递送运载工具的控制系统可以在系统获得相关的导航信息(诸如由人类操作者提供的用于在该地点或类似地点处执行递送的导航路径)之后承担对运载工具的导航的更多控制。在获取信息之后，控制系统可以确定其与成功执行递送相关联的置信度水平仍然表明系统需要一定量的远程协助来执行递送。控制系统可以请求操作者以系统可以沿循来完成递送的航路点的形式提供协助。如图7C所示，航路点730、732、734、736、738和740表示示例航路点，操作者可以设置这些航路点，以供运载工具的控制系统在递送期间使用。特别地，运载工具的系统可以在穿越每个航路点的同时导航运载工具以完成递送。
在一些示例中，操作者可以响应于从运载工具的控制系统接收对航路点的请求和/或当操作者可以具有对运载工具的完全控制时在房屋702处的初始递送期间设置航路点。
图7D示出了递送运载工具在导航到房屋702的同时可以使用的导航路径750。在获取足够的信息以提高其在房屋702或类似房屋处执行递送的置信度之后，运载工具的控制系统可以自动地沿循导航路径750。如图所示，导航路径750类似于操作者用来完成之前的递送的导航路径720。特别地，这显示了在确定如何自动地完成递送或其他任务时，操作者提供的之前的指令可以如何影响运载工具的控制系统。
在一些示例中，递送运载工具的控制系统可以处理表示房屋702周围的区域的传感器数据，以将导航问题分割成子任务。特别地，可以识别与道路712、走道710和阶梯706对应的三个单独的路段。可以针对每个路段确定单独的导航路径和相关联的置信度。例如，可以通过单独地在道路712和走道710上运行路径规划模型来确定导航路径750。在每种情况下，系统可以确定其对自动地生成的导航路径750具有足够的置信度以允许运载工具在没有远程协助的情况下自动地前进。
图7E示出了控制系统可以确定来穿越递送地点的路段的导航路径752的分布。更具体地，概率路径规划模型可以生成分布752内示出的三个可能导航路径中的每一个。在一些情况下，每个导航路径可以具有表明其是最优路径的相关联概率。例如，在该示例中，用于穿越阶梯706的三个可能导航路径中的每一个可以具有33.33％的相关联概率。基于来自模型的该输出，控制系统可以确定其没有足够的置信度来自动地导航阶梯706。然后，递送运载工具可以退回到使用远程协助来导航该路段。该示例可以表明与对于道路712和走道710相比，对于类似于阶梯706的阶梯可用的之前的导航较少。该示例还可以表明在导航如阶梯706之类的阶梯时，远程操作者选择了多个不同的路径，使得控制系统比较难以自动地生成导航路径。
图8示出了可用于确定目标地点的路段的导航路径的ANN 800的示例结构。ANN800可以包括输入节点811和812至813，其形成ANN 800的输入层810的一部分并且被配置为分别接受输入x1和x2至xn。在一些实施例中，输入的数量n可以等于或大于表示目标地点的路段的运载工具传感器数据的尺寸/大小。例如，传感器数据可以是包括M列和N行像素的红绿蓝加深度(RGB-D)图像数据。M×N个像素中的每一个可以与下列四个不同的值相关联：红色值、绿色值、蓝色值和深度值。因此，ANN 800可以被配置为将n＝M×N×4或更多个输入作为输入。在另一示例中，可以以包括高度M、宽度N和深度K的3D虚拟模型的形式将传感器数据提供给ANN 800。3D模型的每个元素(例如，像素)可以与以下三个不同的值相关联：红色值、绿色值和蓝色值。因此，ANN 800可以被配置为将n＝M×N×K×3或更多个输入作为输入。在其他示例中，ANN 800可以接受以不同方式格式化的传感器数据。在一些实施例中，ANN 800可以另外考虑在本文讨论的其他输入，并且因此可以接受比传感器数据的尺寸所指示的更多输入。
ANN 800可以另外包括形成一个或多个隐藏层820和830的一部分的多个隐藏节点。隐藏节点821、822、823和824至825可以形成第一隐藏层820，而隐藏节点831、832、833、834和834至835可以形成第二隐藏层830。在一些示例中，ANN 800可以包括本文未示出的另外的隐藏节点和另外的隐藏层。可以在训练ANN 800期间凭经验确定隐藏节点和隐藏层的数量，以实现利用令人满意的置信度水平确定导航路径的ANN。
值得注意的是，术语“隐藏节点”和“隐藏层”在本文中分别用于表示位于ANN的输入层和输出层之间的节点和层。这些和类似术语不应解释为暗示与隐藏节点或层相关联的值、函数或其他属性必然是未知的或隐藏的。
ANN 800还可以包括形成ANN 800的输出层840的一部分的输出节点841和842至843。输出节点841和842至843可以被配置为分别提供输出y1和y2至ym。在一些实施例中，输出节点可以与(x,y,z)坐标的序列对应以指定所确定的导航路径。导航路径也可以通过其他方式指定。作为另一示例，输出节点可以与表明从先前输出节点的行进方向的向量序列对应。
ANN 800的节点可以彼此连接，如图8中的箭头所示。例如，输入节点811-813可以连接到第一隐藏层820的隐藏节点821-825(即，输入层810可以连接到隐藏层820)，隐藏节点821-825可以连接到第二隐藏层830的隐藏节点831-835(即，隐藏层820可以连接到隐藏层830)，并且隐藏节点830-835可以连接到输出节点841-843(即，隐藏层830可以连接到输出层840)。在一些实施例中，层的每个节点可以连接到后续层内的每个节点(例如，节点824可以连接到节点831-835中的每一个)。替代地，层内的一些节点可以不连接到后续层内的一个或多个节点。
在其他实施例中，层内的节点可以被连接回到先前层内或同一层内的节点。例如，层830内的节点835可以通过连接836连接到先前层820内的节点825。在另一示例中，层830内的节点835可以连接到层830内的节点831、832、833或834中的至少一个(未示出)。因此，ANN 800可以包括在网络内创建内部状态的反馈。这种类型的ANN可以称为递归人工神经网络(RANN)。值得注意的是，没有任何反馈路径的ANN可以称为前馈人工神经网络(FF-ANN)。
图9A示出了ANN 800的示例节点950的结构和连接。特别地，ANN 800的节点之间的每个连接可以与相应的加权值相关联。输入a1和a2至ak中的每一个可分别与对应的加权值w1和w2至wk相关联。节点950可以通过首先取每个输入乘以对应的加权值的相应乘积之和来进行操作，如求和结点952所表示。求和结点952可以计算总和
Figure BDA0002379633780000261
然后可将总和
Figure BDA0002379633780000262
传过激活函数954以产生节点950的输出。在图9B、图9C和图9D中示出了示例激活函数。图9B示出了线性激活函数，其中，节点输出与总和
Figure BDA0002379633780000263
成线性比例。图9C示出了高斯激活函数，其中，节点输出根据总和
Figure BDA0002379633780000264
沿钟形曲线正态分布。图9D示出了S形激活函数，其中，总和
Figure BDA0002379633780000265
被映射到节点输出的有界范围。
在一些实施例中，ANN 800可以是或可以在其中包括卷积人工神经网络(CANN)的各方面。因此，激活函数954可以是整流器函数(即，f(x)＝max(0,x))。当给定层内的所有节点都使用整流器函数时，可以说该给定层包括整流线性单元(ReLU)层。另外，在层910、920、930和940之间可以包括池化层(即，下采样层)。此外，当ANN 800是CANN或包括CANN时，隐藏节点中的一个或多个可以表示被配置为对特定特征(例如，竖直线、水平线、曲线、边缘等)的输入传感器数据进行过滤的特征过滤器。随着遍历CANN的隐藏节点，过滤器可能变得越来越复杂，对高阶特征进行过滤。
可以将节点950的输出作为输入提供给ANN 800内的其他节点。在节点950的输出连接到的每个相应节点处，可以将节点950的输出乘以对应的加权值并与到相应节点的其他输入一起求和。例如，可以将节点821的输出提供给节点835。可以将节点821的输出乘以与节点821和835之间的连接相关联的加权值。然后可以将该乘积在节点835处与下列乘积一起求和：节点822的输出与节点822和节点835之间的加权值的乘积、节点823的输出与节点823和节点835之间的加权值的乘积、节点824的输出与节点824和节点835之间的加权值的乘积、以及节点825的输出与节点825和节点835之间的加权值的乘积。总和可以传过激活函数954来确定节点835的输出。然后，节点835的输出可以提供给节点841和842至843。
可以通过基于之前的导航路径和与之相关联的任何附加数据来训练ANN 800，来确定互连节点之间的加权值。之前的导航路径可以包括由人类操作者选择并由运载工具沿循的路径、人类操作者在模拟中选择的路径以及自动地生成的路径。在一些示例中，如果之前的导航路径导致成功完成任务或路段的导航，则可以仅使用它们来训练ANN 800。可以通过例如反向传播(例如，经典反向传播、具有动量的反向传播、高斯-雅各比反向传播、高斯-塞德尔反向传播等)来执行对ANN 800的训练。
通常，ANN 800可以被配置为接受其被训练所使用的类型的数据作为输入并基于该数据来确定导航路径。因此，例如，可以基于多个先前导航的路径来训练ANN，每个先前导航的路径与目标地点的虚拟模型相关联，并且还与包裹尺寸、递送时的天气状况以及执行递送的相应递送运载工具的机动能力相关联。然后，ANN可以接受目标地点的虚拟模型、要递送的包裹的尺寸、目标地点处的当前天气状况以及执行递送的递送运载工具的机动能力作为输入并基于它们来确定目标地点内的导航路径。
更具体地，作为输入的机动能力可以包括表示递送运载工具可以基于该递送运载工具的物理构造而执行的操作的数据。可对于部署系统可用的每种类型的递送运载工具获得该数据。例如，对于基于地面的递送运载工具，递送运载工具能力数据可以表明运载工具能够穿越的表面纹理范围，运载工具的轮、履带或腿能够克服的最大高度差，以及递送运载工具可以将物体提升的最大高度。在确定导航路径时，ANN 800可以依赖于与为将物体递送到递送目的地而选择的递送运载工具的类型对应的数据。因此，通过考虑递送运载工具的能力，ANN 800可以确定递送运载工具很可能能够沿循的导航路径。另外，ANN 800可以考虑正被递送的包裹的物体尺寸和/或其他特性，以确定允许足够空间以容纳该物体的导航路径。
值得注意的是，经训练的ANN 800可以确定其先前未遇到递送目的地内的导航路径，或者先前未在递送目的地内的导航路径上训练过。ANN可以基于训练数据来确定与先前沿循导航路径的地点类似的地点的导航路径。例如，ANN可以确定导航路径以允许运载工具绕过倒在路径中的树木，即使运载工具从未遇到过具有完全相同尺寸的障碍物。此外，通过在人类用户(例如，远处的远程操作者)先前已经指定的导航路径上进行训练，ANN 800可以被训练成确定很可能类似于人类将选择的导航路径的导航路径。因此，递送系统可以在没有人类用户直接参与的情况下自动地选择很有可能成功的导航路径。
在一些示例中，ANN 900可以被训练成生成导航路径的分布。例如，ANN 900可以是概率神经网络。在一些示例中，每个输出节点(或输出节点的子集)可以与单独的导航路径和相关联的概率对应。该概率可以表明导航路径是穿越目标地点的特定路段的最优路径。为了从分布中选择导航路径，可以选择具有最高相关联概率的导航路径。可以基于所选导航路径的概率来确定对于导航路径的置信度水平。例如，如果ANN 800生成具有99％的相关联概率的导航路径，则该置信度水平可能比在ANN 800生成的具有最高相关联概率的导航路径仅具有60％的相关联概率的情况要高得多。
图10示出了可以根据本文所述的实施例使用的示例生成式对抗网络(GAN)。更具体地，GAN 1000可以包括两个单独的模型，路径生成模型1002和鉴别器模型1008。在一些示例中，路径生成模型1002可以是参考图8描述的ANN 800。鉴别器模型1008本身可以是单独的ANN。鉴别器模型1008可用于帮助训练路径生成模型1002，以生成与人类操作者选择的路径非常类似的导航路径。
路径生成模型1002可以生成可以被馈送到鉴别器模型1008中的自动地生成的路径1004。此外，还可以将操作者提供的路径1006馈送到鉴别器模型1008中。可以训练鉴别器模型1008以区分自动地生成的路径1004和操作者提供的路径1006。更具体地，可以训练鉴别器模型1008以提供是/否输出1010，以表明给定路径是否来自操作者。可以评估是/否输出1010，以确定路径生成模型1002是否成功地利用自动地生成的路径欺骗了鉴别器模型1008。特别地，可以生成是/否信号1012，以表明鉴别器模型1008是否将路径正确地识别为自动地生成的。是/否信号1012可以被反馈到路径生成模型1002和/或鉴别器模型1008中以进一步完善(多个)模型。因此，路径生成模型1002可以被训练为学习如何欺骗鉴别器模型1008错误地产生表明路径是由操作者提供的而实际上该路径来自路径生成模型1002的输出。
随着时间的推移，路径生成模型1002将变得被训练得充分好，使得鉴别器模型1008将无法针对子任务或目标地点的路段而区分自动地生成的导航路径与操作者提供的导航路径。此时，控制系统可以确定自动地生成的导航路径是确信的路径，并允许运载工具沿循路径生成模型1002生成的导航路径，而无需请求远程协助。
本公开不限于本申请中描述的特定实施例，这些特定实施例旨在作为各个方面的说明。如本领域技术人员将显而易见的，在不脱离本申请的精神和范围的情况下可以进行许多修改和变型。除了本文列举的方法和装置之外，根据前述说明，本领域技术人员也将明了本发明范围内的功能等效的方法和装置。这样的修改和变化旨在落入所附权利要求的范围内。
上面的具体实施方式参考附图描述了所公开的系统、设备和方法的各种特征和功能。在附图中，除非上下文另外指出，否则类似的符号通常标识类似的组件。本文和附图中描述的示例实施例并不意味着是限制性的。在不脱离本文提出的主题的精神或范围的情况下，可以利用其他实施例，并且可以进行其他改变。容易理解的是，可以以各种不同的配置来布置、替换、组合、分离和设计如本文一般地描述的以及在附图中示出的本公开的各方面，所有这些都被明确地在本文构想。
附图中所示的特定布置不应视为限制性的。应当理解，其他实施例可以包括给定图中所示的每个元素的更多或更少。此外，一些示出的元素可以被组合或省略。此外，示例实施例可以包括在附图中未示出的元素。
尽管本文已经公开了各个方面和实施例，但是其他方面和实施例对于本领域技术人员将是显而易见的。本文所公开的各个方面和实施例是出于说明的目的，而不是旨在进行限制，真实范围由所附权利要求表明。

Claims (20)

1.一种方法，包括：
接收使运载工具导航到目标地点的请求；
基于针对穿越与目标地点的第一路段类似的路段而先前确定的多个之前的导航路径，确定使运载工具穿越目标地点的第一路段的导航路径；
确定与导航路径相关联的置信度水平；
基于所确定的置信度水平，从与多个远程协助级别对应的多个导航模式中选择运载工具的导航模式；和
使用与运载工具的所选择的导航模式对应的远程协助级别，使运载工具穿越目标地点的第一路段。
2.根据权利要求1所述的方法，其中，确定所述导航路径包括使用基于所述之前的导航路径而训练的人工神经网络(ANN)。
3.根据权利要求2所述的方法，其中，所述ANN包括被配置为从运载工具上的传感器接收表示目标地点的第一路段的传感器数据作为输入的输入节点。
4.根据权利要求2所述的方法，其中，所述ANN包括被配置为接收运载工具的一个或多个机动能力作为输入的输入节点。
5.根据权利要求1所述的方法，其中，确定所述导航路径还包括使用概率找路模型来确定导航路径和相关联概率的分布，其中，所述置信度水平还基于导航路径和相关联概率的分布。
6.根据权利要求1所述的方法，其中，确定所述导航路径包括使用生成式对抗网络(GAN)，其中，所述GAN包括被训练为生成导航路径的路径规划模型和被训练为在操作者提供的导航路径与由路径规划模型生成的导航路径之间进行区分的鉴别器模型。
7.根据权利要求1所述的方法，其中，所述之前的导航路径包括由所述运载工具的远程操作者导航的路径。
8.根据权利要求1所述的方法，其中，所述之前的导航路径包括由除所述运载工具之外的一个或多个运载工具导航的路径。
9.根据权利要求1所述的方法，其中，所述之前的导航路径包括由操作者在用户接口处输入的用于模拟运载工具递送的路径。
10.根据权利要求1所述的方法，还包括：
确定置信度水平大于预定义置信度水平阈值；和
基于确定置信度水平大于预定义置信度水平阈值，选择由运载工具上的控制系统进行自动控制作为导航模式，以穿越目标地点的第一路段。
11.根据权利要求1所述的方法，还包括：
确定置信度水平小于预定义置信度水平阈值；和
基于确定置信度水平小于预定义置信度水平阈值，选择由远程操作者对运载工具进行远程控制作为导航模式，以穿越目标地点的第一路段。
12.根据权利要求1所述的方法，还包括：
确定置信度水平大于第一预定义置信度水平阈值且小于第二预定义置信度水平；和
基于确定置信度水平大于第一预定义置信度水平阈值且小于第二预定义置信度水平，选择由运载工具上的控制系统进行沿循操作者设置的多个航路点的自动控制作为导航模式，以穿越目标地点的第一路段。
13.根据权利要求1所述的方法，还包括：
确定使运载工具穿越目标地点的第二路段的第二导航路径；
确定与使运载工具穿越目标地点的第二路段的所确定的第二导航路径相关联的第二置信度水平；
基于所确定的第二置信度水平，从多个导航模式中选择运载工具的不同导航模式；和
使用与运载工具的所选择的不同导航模式对应的不同远程协助级别，使运载工具穿越目标地点的第二路段。
14.根据权利要求13所述的方法，其中，第一路段和第二路段中的每一个都包括使运载工具在目标地点处穿越的离散表面。
15.根据权利要求1所述的方法，其中，与所述目标地点的第一路段类似的路段具有与所述目标地点的第一路段类似的拓扑。
16.根据权利要求1所述的方法，其中，与所述目标地点的第一路段类似的路段包括与所述目标地点的第一路段相同的表面材料。
17.根据权利要求1所述的方法，其中，与所述目标地点的第一路段类似的路段包括所述目标地点的第一路段。
18.一种系统，包括：
运载工具；和
控制系统，其被配置为：
接收使运载工具导航到目标地点的请求；
基于针对穿越与目标地点的第一路段类似的路段而先前确定的多个之前的导航路径，确定使运载工具穿越目标地点的第一路段的导航路径；
确定与导航路径相关联的置信度水平；
基于所确定的置信度水平，从与多个远程协助级别对应的多个导航模式中选择运载工具的导航模式；和
使用与运载工具的所选择的导航模式对应的远程协助级别，使运载工具穿越目标地点的第一路段。
19.根据权利要求18所述的系统，其中，所述运载工具包括被配置为收集表示目标地点的传感器数据的传感器，并且其中，所述控制系统还被配置为通过使用基于所述之前的导航路径而训练的ANN来确定导航路径，其中，所述ANN包括被配置为从运载工具上的传感器接收表示目标地点的传感器数据作为输入的输入节点。
20.一种其中存储有程序指令的非暂时性计算机可读介质，所述程序指令可由计算系统执行以使计算系统执行操作，所述操作包括：
接收使运载工具导航到目标地点的请求；
基于针对穿越与目标地点的第一路段类似的路段而先前确定的多个之前的导航路径，确定使运载工具穿越目标地点的第一路段的导航路径；
确定与导航路径的分布相关联的置信度水平；
基于所确定的置信度水平，从与多个远程协助级别对应的多个导航模式中选择运载工具的导航模式；和
使用与运载工具的所选择的导航模式对应的远程协助级别，使运载工具穿越目标地点的第一路段。
CN201880050611.3A 2017-08-02 2018-07-24 用于确定无人驾驶运载工具的路径置信度的系统和方法 Pending CN111033415A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/667,391 US10621448B2 (en) 2017-08-02 2017-08-02 Systems and methods for determining path confidence for unmanned vehicles
US15/667,391 2017-08-02
PCT/US2018/043458 WO2019027733A1 (en) 2017-08-02 2018-07-24 SYSTEMS AND METHODS FOR DETERMINING TRACK CONFIDENCE FOR NON-PILOT VEHICLES

Publications (1)

Publication Number Publication Date
CN111033415A true CN111033415A (zh) 2020-04-17

Family

ID=65231782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880050611.3A Pending CN111033415A (zh) 2017-08-02 2018-07-24 用于确定无人驾驶运载工具的路径置信度的系统和方法

Country Status (6)

Country Link
US (2) US10621448B2 (zh)
EP (1) EP3662338B1 (zh)
CN (1) CN111033415A (zh)
AU (2) AU2018311700B2 (zh)
SG (1) SG11201913991UA (zh)
WO (1) WO2019027733A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686609A (zh) * 2020-12-31 2021-04-20 江苏佳利达国际物流股份有限公司 基于优化效率评价算法的智能无人物流运输方法和系统
CN114148347A (zh) * 2020-09-08 2022-03-08 伟摩有限责任公司 用于使用远程协助将自主载具操纵到位置的方法和系统
WO2022077218A1 (en) * 2020-10-13 2022-04-21 SZ DJI Technology Co., Ltd. Online point cloud processing of lidar and camera data

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10353388B2 (en) * 2016-10-17 2019-07-16 X Development Llc Drop-off location planning for delivery vehicle
US10473793B2 (en) * 2017-01-19 2019-11-12 Ford Global Technologies, Llc V2V collaborative relative positioning system
WO2019036425A1 (en) * 2017-08-17 2019-02-21 Walmart Apollo, Llc SYSTEMS AND METHODS FOR DELIVERY OF RETAIL ITEMS
US11232391B1 (en) * 2017-08-31 2022-01-25 Amazon Technologies, Inc. Customized indoor and outdoor navigation maps and routes for autonomous vehicles
KR102529198B1 (ko) * 2017-12-19 2023-05-04 한화에어로스페이스 주식회사 무인 장치를 활용한 무선통신 중계시스템 및 그 방법
DE102018113314A1 (de) * 2018-06-05 2019-12-05 Valeo Schalter Und Sensoren Gmbh Fahrassistenzsystem
US11370446B2 (en) * 2018-08-06 2022-06-28 Honda Motor Co., Ltd. System and method for learning and predicting naturalistic driving behavior
US11584379B2 (en) 2018-08-06 2023-02-21 Honda Motor Co., Ltd. System and method for learning naturalistic driving behavior based on vehicle dynamic data
US10882522B2 (en) * 2018-09-13 2021-01-05 Toyota Research Institute, Inc. Systems and methods for agent tracking
KR20200080396A (ko) * 2018-12-18 2020-07-07 삼성전자주식회사 자율 주행 방법 및 장치
US11119494B2 (en) * 2019-01-07 2021-09-14 Wing Aviation Llc Using machine learning techniques to estimate available energy for vehicles
TWI711804B (zh) * 2019-05-15 2020-12-01 宜陞有限公司 自駕車輛之車輛導航設備
CN110207719A (zh) * 2019-05-21 2019-09-06 北京百度网讯科技有限公司 一种自动驾驶路径的处理方法及装置
US11474530B1 (en) * 2019-08-15 2022-10-18 Amazon Technologies, Inc. Semantic navigation of autonomous ground vehicles
FR3100016B1 (fr) * 2019-08-23 2021-08-06 Psa Automobiles Sa Procédé et système pour gérer un déplacement d’un véhicule automobile
TWI725611B (zh) * 2019-11-12 2021-04-21 亞慶股份有限公司 高爾夫球場自駕車輛之車輛導航切換設備
US11797906B2 (en) * 2019-12-18 2023-10-24 Industrial Technology Research Institute State estimation and sensor fusion switching methods for autonomous vehicles
DE112021000216T5 (de) * 2020-02-19 2022-11-03 Nvidia Corporation Verhaltensplanung für autonome Fahrzeuge
IT202000011098A1 (it) * 2020-05-14 2021-11-14 Leitner Spa Impianto di trasporto ibrido aereo/terrestre e metodo di funzionamento di tale impianto di trasporto
US11595619B1 (en) 2020-06-02 2023-02-28 Aurora Operations, Inc. Autonomous vehicle teleoperations system
US11560154B1 (en) 2020-06-02 2023-01-24 Aurora Operations, Inc. Autonomous vehicle remote teleoperations system
US11644830B1 (en) * 2020-06-02 2023-05-09 Aurora Operations, Inc. Autonomous vehicle remote teleoperations system with scenario selection
FR3111424A1 (fr) * 2020-06-15 2021-12-17 Psa Automobiles Sa Génération de trajectoires par un réseau de neurones issu d’un système de réseaux antagonistes génératifs
US20220034669A1 (en) * 2020-07-28 2022-02-03 Bae Systems Information And Electronic Systems Integration Inc. Navigation architecture for contested environments
US20220080875A1 (en) * 2020-09-15 2022-03-17 Hall Labs Llc Package Delivery Vehicle
CN112003955A (zh) * 2020-10-27 2020-11-27 深圳裹动智驾科技有限公司 云端人机混合决策的方法
DE102021102460A1 (de) 2021-02-03 2022-08-04 Ford Global Technologies, Llc Verfahren zur Durchführung einer Simulation
WO2022235429A1 (en) * 2021-05-07 2022-11-10 United Parcel Service Of America, Inc. Cloud-based platform for determining and generating optimized navigation instructions for autonomous vehicles
US20220357167A1 (en) * 2021-05-07 2022-11-10 United Parcel Service Of America, Inc. Cloud-based platform for determining and generating optimized navigation instructions for autonomous vehicles
US20220355822A1 (en) * 2021-05-10 2022-11-10 Toyota Research Institute, Inc. Method for enumerating homotopies for maneuvers using a hierarchy of tolerance relations
US11754414B2 (en) 2021-05-13 2023-09-12 Ford Global Technologies, Llc Systems and methods to provide last mile assistance to a delivery robot
US11565717B2 (en) * 2021-06-02 2023-01-31 May Mobility, Inc. Method and system for remote assistance of an autonomous agent
JP2022188661A (ja) * 2021-06-09 2022-12-21 トヨタ自動車株式会社 遠隔操作依頼装置、遠隔操作依頼システム、遠隔操作依頼方法、及び遠隔操作依頼プログラム
US20220396289A1 (en) * 2021-06-15 2022-12-15 Nvidia Corporation Neural network path planning
KR20230001073A (ko) * 2021-06-25 2023-01-04 현대자동차주식회사 자율 주행 차량, 그를 원격 제어하는 관제 시스템 및 그 방법
KR20230001072A (ko) * 2021-06-25 2023-01-04 현대자동차주식회사 자율 주행 차량, 그를 원격 제어하는 관제 시스템 및 그 방법
JP2023048674A (ja) * 2021-09-28 2023-04-07 株式会社J-QuAD DYNAMICS 移動体の制御装置
CN113959446B (zh) * 2021-10-20 2024-01-23 苏州大学 一种基于神经网络的机器人自主物流运输导航方法
US11676399B1 (en) * 2022-07-18 2023-06-13 Motional Ad Llc. Object tracking

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020120396A1 (en) * 2001-02-27 2002-08-29 International Business Machines Corporation Apparatus, system, method and computer program product for determining an optimum route based on historical information
US20110238289A1 (en) * 2010-03-24 2011-09-29 Sap Ag Navigation device and method for predicting the destination of a trip
US8930044B1 (en) * 2012-12-28 2015-01-06 Google Inc. Multi-part navigation process by an unmanned aerial vehicle for navigating to a medical situatiion
WO2016183525A1 (en) * 2015-05-13 2016-11-17 Uber Technologies, Inc. Autonomous vehicle operated with guide assistance
WO2017124331A1 (en) * 2016-01-20 2017-07-27 Bayerische Motoren Werke Aktiengesellschaft Navigation apparatus and method

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7979172B2 (en) 1997-10-22 2011-07-12 Intelligent Technologies International, Inc. Autonomous vehicle travel control systems and methods
AU761590B2 (en) 1998-06-16 2003-06-05 Victor R. Davila Method of making heat-resistant chocolate and chocolate-like compositions with reduced apparent viscosity and products made thereby
GB9912407D0 (en) * 1999-05-28 1999-09-15 Fisher Tortolano Systems Limit Navigation apparatus and method
US8035508B2 (en) 2002-06-11 2011-10-11 Intelligent Technologies International, Inc. Monitoring using cellular phones
DE60316327T2 (de) 2003-07-17 2008-01-03 Harman Becker Automotive Systems Gmbh Routenberechnung um verkehrshindernisse herum unter verwendung markierter umleitungen
US7666682B2 (en) 2003-10-21 2010-02-23 Immediate Response Technologies, Inc. Marking system
KR20050081492A (ko) 2004-02-13 2005-08-19 디브이에스 코리아 주식회사 전방 실제 영상을 사용한 자동차 항법 장치 및 그 제어 방법
US20050228553A1 (en) * 2004-03-30 2005-10-13 Williams International Co., L.L.C. Hybrid Electric Vehicle Energy Management System
EP2605194A1 (en) 2005-06-21 2013-06-19 United Parcel Service Of America, Inc. Systems and Methods for Providing Personalized Delivery Services
US7953526B2 (en) 2006-01-18 2011-05-31 I-Guide Robotics, Inc. Robotic vehicle controller
US9070101B2 (en) 2007-01-12 2015-06-30 Fatdoor, Inc. Peer-to-peer neighborhood delivery multi-copter and method
US20140330456A1 (en) 2006-03-17 2014-11-06 Manuel R. Lopez Morales Landing site designation in an autonomous delivery network
US7487017B1 (en) * 2008-03-31 2009-02-03 International Business Machines Corporation Systems and methods for generating pattern keys for use in navigation systems to predict user destinations
EP2352081B1 (en) 2008-09-29 2014-12-31 International Business Machines Corporation Apparatus, method and program for deciding data recall order
EP2427729A4 (en) 2009-05-04 2014-08-27 Tomtom North America Inc METHOD AND SYSTEM FOR REDUCING SHAPE POINTS IN A GEOGRAPHIC DATA COMPUTING SYSTEM
WO2011106787A2 (en) 2010-02-26 2011-09-01 Duthie Hill Llc Systems and methods for arranging delivery of a package
US9132009B2 (en) 2010-07-21 2015-09-15 Mitraltech Ltd. Guide wires with commissural anchors to advance a prosthetic valve
US9043129B2 (en) 2010-10-05 2015-05-26 Deere & Company Method for governing a speed of an autonomous vehicle
WO2012119087A1 (en) 2011-03-03 2012-09-07 Telogis, Inc. Vehicle route calculation
US8743244B2 (en) 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
EP2527792B1 (de) 2011-05-27 2014-03-12 EADS Deutschland GmbH Verfahren zur Pilotenunterstützung für die Landung eines Luftfahrzeugs unter Sichtbehinderungen
US20130023182A1 (en) 2011-07-19 2013-01-24 Mattel, Inc. Toy vehicle systems and methods
US9429943B2 (en) * 2012-03-05 2016-08-30 Florida A&M University Artificial intelligence valet systems and methods
US8600589B2 (en) 2012-04-24 2013-12-03 Exelis, Inc. Point cloud visualization of acceptable helicopter landing zones based on 4D LIDAR
US9384668B2 (en) 2012-05-09 2016-07-05 Singularity University Transportation using network of unmanned aerial vehicles
US20140088865A1 (en) * 2012-09-27 2014-03-27 Siemens Industry, Inc. Apparatus and method for predicting arrival times in a transportation network
US8949016B1 (en) 2012-09-28 2015-02-03 Google Inc. Systems and methods for determining whether a driving environment has changed
FR2996670B1 (fr) 2012-10-05 2014-12-26 Dassault Aviat Systeme de visualisation pour aeronef, et procede de visualisation associe
US10387824B2 (en) 2012-12-21 2019-08-20 United Parcel Service Of America, Inc. Systems and methods for delivery of an item
US20150017899A1 (en) 2013-07-11 2015-01-15 Kia Motors Corp. System for mixing cabin air and outside air of air-conditioner for vehicle and method of controlling the same
US9696430B2 (en) 2013-08-27 2017-07-04 Massachusetts Institute Of Technology Method and apparatus for locating a target using an autonomous unmanned aerial vehicle
US9150224B2 (en) 2013-09-24 2015-10-06 Ford Global Technologies, Llc Transitioning from autonomous vehicle control to to driver control to responding to driver control
US9573684B2 (en) 2013-10-26 2017-02-21 Amazon Technologies, Inc. Unmanned aerial vehicle delivery system
US9517771B2 (en) 2013-11-22 2016-12-13 Ford Global Technologies, Llc Autonomous vehicle modes
US11087268B2 (en) 2013-12-02 2021-08-10 United Parcel Service Of America, Inc. Systems and methods for delivering an item to a dynamic location
US20150158599A1 (en) 2013-12-10 2015-06-11 Michael Sisko Robotic aerial vehicle delivery system and method
US9177481B2 (en) 2013-12-13 2015-11-03 Sikorsky Aircraft Corporation Semantics based safe landing area detection for an unmanned vehicle
US9406177B2 (en) 2013-12-20 2016-08-02 Ford Global Technologies, Llc Fault handling in an autonomous vehicle
US9989967B2 (en) 2014-03-04 2018-06-05 Cybernet Systems Corporation All weather autonomously driven vehicles
US9336506B2 (en) 2014-05-02 2016-05-10 Google Inc. Machine-readable delivery platform for automated package delivery
WO2015179797A1 (en) 2014-05-23 2015-11-26 Lily Robotics, Inc. Unmanned aerial copter for photography and/or videography
US9494937B2 (en) 2014-06-20 2016-11-15 Verizon Telematics Inc. Method and system for drone deliveries to vehicles in route
US10163177B2 (en) 2014-07-31 2018-12-25 Emmett Farris System and method for controlling drone delivery or pick up during a delivery or pick up phase of drone operation
US9359074B2 (en) 2014-09-08 2016-06-07 Qualcomm Incorporated Methods, systems and devices for delivery drone security
US9459620B1 (en) 2014-09-29 2016-10-04 Amazon Technologies, Inc. Human interaction with unmanned aerial vehicles
US9868526B2 (en) 2014-10-15 2018-01-16 W. Morrison Consulting Group, Inc. Airborne drone delivery network and method of operating same
US9776512B2 (en) * 2014-11-10 2017-10-03 Streetsmart Ltd. Methods, circuits, devices, systems and associated computer executable code for driver decision support
US9366543B1 (en) * 2014-12-05 2016-06-14 Lenovo (Singapore) Pte. Ltd. Intelligent navigation instruction generator
CN111351494A (zh) * 2015-02-10 2020-06-30 御眼视觉技术有限公司 导航系统及计算机可读介质
US9488979B1 (en) 2015-04-14 2016-11-08 Zipline International Inc. System and method for human operator intervention in autonomous vehicle operations
US9902401B2 (en) * 2015-05-10 2018-02-27 Mobileye Vision Technologies Ltd. Road profile along a predicted path
US9494439B1 (en) * 2015-05-13 2016-11-15 Uber Technologies, Inc. Autonomous vehicle operated with guide assistance of human driven vehicles
US10002658B1 (en) * 2015-11-02 2018-06-19 Green Mountain Semiconductor Inc. Dynamic random-access memory with embedded artificial neural network functionality
EP3995782A1 (en) * 2016-01-05 2022-05-11 Mobileye Vision Technologies Ltd. Systems and methods for estimating future paths
US9672734B1 (en) * 2016-04-08 2017-06-06 Sivalogeswaran Ratnasingam Traffic aware lane determination for human driver and autonomous vehicle driving system
US10452068B2 (en) * 2016-10-17 2019-10-22 Uber Technologies, Inc. Neural network system for autonomous vehicle control
US10254121B2 (en) * 2017-01-23 2019-04-09 Uber Technologies, Inc. Dynamic routing for self-driving vehicles
US10262243B2 (en) * 2017-05-24 2019-04-16 General Electric Company Neural network point cloud generation system
US10551842B2 (en) * 2017-06-19 2020-02-04 Hitachi, Ltd. Real-time vehicle state trajectory prediction for vehicle energy management and autonomous drive
WO2019010428A1 (en) * 2017-07-06 2019-01-10 Top Flight Technologies, Inc. NAVIGATION SYSTEM FOR A DRONE
US11118930B2 (en) * 2017-07-14 2021-09-14 Lyft, Inc. Providing information to users of a transportation system using augmented reality elements

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020120396A1 (en) * 2001-02-27 2002-08-29 International Business Machines Corporation Apparatus, system, method and computer program product for determining an optimum route based on historical information
US20110238289A1 (en) * 2010-03-24 2011-09-29 Sap Ag Navigation device and method for predicting the destination of a trip
US8930044B1 (en) * 2012-12-28 2015-01-06 Google Inc. Multi-part navigation process by an unmanned aerial vehicle for navigating to a medical situatiion
WO2016183525A1 (en) * 2015-05-13 2016-11-17 Uber Technologies, Inc. Autonomous vehicle operated with guide assistance
WO2017124331A1 (en) * 2016-01-20 2017-07-27 Bayerische Motoren Werke Aktiengesellschaft Navigation apparatus and method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114148347A (zh) * 2020-09-08 2022-03-08 伟摩有限责任公司 用于使用远程协助将自主载具操纵到位置的方法和系统
WO2022077218A1 (en) * 2020-10-13 2022-04-21 SZ DJI Technology Co., Ltd. Online point cloud processing of lidar and camera data
CN112686609A (zh) * 2020-12-31 2021-04-20 江苏佳利达国际物流股份有限公司 基于优化效率评价算法的智能无人物流运输方法和系统
CN112686609B (zh) * 2020-12-31 2021-08-13 江苏佳利达国际物流股份有限公司 基于优化效率评价算法的智能无人物流运输方法和系统

Also Published As

Publication number Publication date
EP3662338A4 (en) 2021-06-02
AU2021201661B2 (en) 2022-02-17
AU2021201661A1 (en) 2021-04-08
WO2019027733A1 (en) 2019-02-07
EP3662338A1 (en) 2020-06-10
EP3662338B1 (en) 2024-03-13
US11126866B2 (en) 2021-09-21
AU2018311700A1 (en) 2020-01-30
US20200234064A1 (en) 2020-07-23
US20190042859A1 (en) 2019-02-07
AU2018311700B2 (en) 2020-12-24
SG11201913991UA (en) 2020-01-30
US10621448B2 (en) 2020-04-14

Similar Documents

Publication Publication Date Title
AU2021201661B2 (en) Systems and methods for determining path confidence for unmanned vehicles
CN110998467B (zh) 确定运送位置处的下放点的模型
Droeschel et al. Multilayered mapping and navigation for autonomous micro aerial vehicles
AU2018311699B2 (en) Systems and methods for navigation path determination for unmanned vehicles
US11694356B2 (en) Methods and systems for joint pose and shape estimation of objects from sensor data
Ibrahim et al. BIM-driven mission planning and navigation for automatic indoor construction progress detection using robotic ground platform
Choi et al. Improved CNN-based path planning for stairs climbing in autonomous UAV with LiDAR sensor
Huang et al. An autonomous UAV navigation system for unknown flight environment
Fukao Field robotics: Applications and fundamentals
JP2021196487A (ja) 地図変換システム、及び地図変換プログラム
US11609582B2 (en) Systems and methods for planning a travel route of a multifunctional robot
US20220026890A1 (en) Systems and methods for surveying a manufacturing environment
WO2023060461A1 (en) Selecting a frontier goal for autonomous map building within a space
US11787439B1 (en) Multistage autonomous vehicle motion planning
US20230351739A1 (en) Network for multisweep 3d detection
Moustafa et al. Towards Autonomous Drone-Based Dynamic and Seismic Response Monitoring of Bridges
Baxevani et al. Resilient Ground Vehicle Autonomous Navigation in GPS-Denied Environments
Agrawal Extending drone’s capabilities for autonomous flight approach combined with indoor pod delivery mechanism
Kanse et al. Simulation Based Logistics Automation using ROS
Dimitrakopoulos Path Planning and Landing for Unmanned Aerial Vehicles Using AI
KR20230149350A (ko) 디지털 트윈된 가상공간 기반 배송 시뮬레이션 시스템 및 방법
Dalton Autonomous vehicle path planning with remote sensing data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination