CN110998466B - 用于无人驾驶交通工具的导航路径确定的系统和方法 - Google Patents

用于无人驾驶交通工具的导航路径确定的系统和方法 Download PDF

Info

Publication number
CN110998466B
CN110998466B CN201880050220.1A CN201880050220A CN110998466B CN 110998466 B CN110998466 B CN 110998466B CN 201880050220 A CN201880050220 A CN 201880050220A CN 110998466 B CN110998466 B CN 110998466B
Authority
CN
China
Prior art keywords
vehicle
location
path
video data
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880050220.1A
Other languages
English (en)
Other versions
CN110998466A (zh
Inventor
M.F.舒伯特
P.E.沃森
M.J.格朗德曼
G.莱维恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wing Aviation LLC
Original Assignee
Wing Aviation LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wing Aviation LLC filed Critical Wing Aviation LLC
Publication of CN110998466A publication Critical patent/CN110998466A/zh
Application granted granted Critical
Publication of CN110998466B publication Critical patent/CN110998466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1654—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with electromagnetic compass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/60—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/60—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
    • B64U2101/64—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons for parcel delivery or retrieval
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

示例实施例涉及导航路径确定。示例方法包括在计算系统处接收用于显示用于驶向一位置的演示路径的视频数据。该方法还包括使用视频数据识别在该位置的一组允许表面，其中演示路径经过每个允许表面。该方法另外包括确定交通工具在该位置要遵循的导航路径，其中该导航路径包括与演示路径相比的变化，使得该变化使交通工具保持在该组允许表面中的一个或更多个允许表面内。该方法还包括通过计算系统使交通工具遵循该导航路径驶向所述位置。

Description

用于无人驾驶交通工具的导航路径确定的系统和方法
技术领域
本公开涉及用于无人驾驶交通工具的导航路径确定的系统和方法。
背景技术
自动驾驶交通工具(vehicle)，也被称为无人驾驶交通工具，能够在没有实际操作人员的情况下行驶。一些自动驾驶交通工具可以具有以不同模式(诸如遥控模式、部分自动驾驶模式和自动驾驶模式)操作的能力。在遥控模式期间，交通工具可以根据由位于远处的操作者提供的控制来进行操作。相反，控制系统可以在自动驾驶模式期间控制交通工具的航行，并且操作员和控制系统可以在部分自动驾驶模式期间共享交通工具的控制。例如，操作员可以选择让控制系统处理航行，同时提供非航行控制以完成任务，诸如操作机械系统以物理地递送对象。
发明内容
本文描述了用于导航路径确定的示例实施例。能够自主操作的交通工具可以被配置为驶向一位置以执行任务，诸如包裹递送或拾取。为了使交通工具能够驶向该位置，计算系统可以接收显示用于驶向该位置的演示路径的视频数据。也可以接收代表演示路径的其它类型的传感器数据，包括全球定位系统(GPS)数据和惯性测量单位(IMU)数据。通过处理视频数据以识别演示路径的允许表面(例如人行道、铺砌或未铺砌的走道)，计算系统可以开发出一导航路径，该导航路径使交通工具可以遵循与演示路径大致相同的路径，同时在需要时还允许由于交通工具的机动能力和/或其它潜在原因(例如，要递送的包裹的大小)而引起的与演示路径相比的变化。
在一个方面，提供了一种示例方法。该方法包括在计算系统处接收显示用于驶向一位置的演示路径的视频数据。该方法还包括使用视频数据识别在该位置的一组允许表面，其中演示路径经过每个允许表面。该方法另外包括确定交通工具在该位置要遵循的导航路径，其中导航路径包括与演示路径相比的变化，使得该变化使交通工具保持在所述一组允许表面中的一个或更多个允许表面内。该方法还包括计算系统使交通工具沿着导航路径驶向所述位置。
在另一方面，提供了一示例系统。该系统可以包括交通工具和被配置为接收显示用于驶向一位置的演示路径的视频数据的控制系统。控制系统还可以被配置为使用视频数据识别在该位置的一组允许表面，其中演示路径经过每个允许表面。控制系统可以另外被配置为确定交通工具在该位置要遵循的导航路径，其中导航路径包括与演示路径相比的变化，使得该变化使交通工具保持在该组允许表面中的一个或更多个允许表面内。控制系统还可以被配置为使交通工具沿着导航路径驶向所述位置。
在另一方面，提供一种非暂时性计算机可读介质。在该非暂时性计算机可读介质中存储有由一个或更多个处理器可执行以使计算系统执行操作的指令。该操作包括接收显示用于驶向一位置的演示路径的视频数据。该操作还包括使用视频数据识别在该位置的一组允许表面，其中演示路径经过每个允许表面。该操作另外包括确定交通工具在该位置要遵循的导航路径，其中导航路径包括与演示路径相比的变化，使得该变化使交通工具保持在该组允许表面中的一个或更多个允许表面内。该操作还包括使交通工具遵循导航路径驶向所述位置。
在另一示例中，提供一种系统，该系统包括用于接收显示用于驶向一位置的演示路径的视频数据的装置。该系统还包括用于使用视频数据识别在该位置处的一组允许表面的装置，其中演示路径经过每个允许表面。该系统另外包括用于确定交通工具在该位置要遵循的导航路径的装置，其中该导航路径包括与演示路径相比的变化，使得该变化使交通工具保持在该组允许表面中的一个或多个允许表面内。该系统还包括用于使交通工具沿着导航路径驶向所述位置的装置。
前述发明内容仅是说明性的，而无意以任何方式进行限制。除了上述说明性方面、实施方式和特征之外，通过参考附图和以下详细描述以及附图，其它方面、实施方式和特征将变得明显。
附图说明
图1是示例计算系统的简化框图。
图2是示例交通工具的简化框图。
图3示出示例交通工具。
图4示出另一示例交通工具。
图5示出用于组织和调度一组交通工具的示例系统。
图6是显示了用于导航路径确定的示例方法的流程图。
图7A示出在一位置处的示例演示路径。
图7B示出示例GPS航点，计算系统可使用该GPS航点而基于图7A所示的演示路径来开发导航路径。
图7C示出计算系统，该计算系统识别与图7A和图7B中所示的演示路径相对应的一组允许表面。
图7D示出交通工具可以遵循的示例导航路径。
图7E示出用于导航路径修改的示例请求，以克服与图7D所示的导航路径相关联的障碍。
具体实施方式
下面的详细描述参照附图描述了所公开的装置、系统和方法的各种特征和操作。在本文中描述的示意性装置、系统和方法实施方式并不意味着是限制性的。应当理解，词语“示例性”、“示例”和“示意性”在本文中用来表示“用作示例、例子或说明”。本文中描述为“示例性”、“示例”或“示意性”的任何实施例、实施方式或特征不一定被解释为比其它实施例、实施方式或特征优选或有利。此外，如本文一般地描述并且在附图中示出的，本公开的方面可以以各种不同的配置来布置、替换、组合、分离和设计。
在下面的详细描述中，参考形成其一部分的附图。在附图中，除非上下文另外指出，否则相似的符号通常标识相似的组件。在不脱离本文给出的主题的精神或范围的情况下，可以利用其它实施方式，并且可以进行其它改变。此外，除非另有说明，否则附图不是按比例绘制，仅用于说明目的。此外，这些图仅是代表性的，并且未示出所有组件。例如，可能未显示另外的结构或约束组件。
技术的进步帮助促进了包裹和材料运输业。随着对运输和递送(delivery)服务需求的不断增长，能够远程控制和自动驾驶操作的交通工具开始在运输过程的不同阶段(诸如包裹提取、输运和投递阶段)进行测试和使用。尽管半自动和自动驾驶交通工具可以提供一些优于当前技术的优势，但是交通工具的自动控制系统在没有人工协助的情况下有时可能缺乏安全航行和完成任务的能力，尤其是在不熟悉的地方。
在某些情况下，自动驾驶交通工具可以在不熟悉的位置收到执行递送或某些其它任务的请求。在这种情况下，在尝试递送到该位置之前，先收到递送到该位置是可能的视觉确认可能是有益的。另外，在某些情况下，自主控制系统可使交通工具执行人类通常会避免的操作，诸如选择和航行于穿过在该位置处的禁区(例如花园、私人走道或草坪)的路线。因此，对于控制系统可能有益的是，接收表示交通工具在该位置要遵循的优选路径的数据。
示例系统和方法涉及自动驾驶交通工具的导航路径确定。本文描述的几个示例讨论了用于交通工具递送的导航路径，但是这些方法同样适用于允许交通工具航行以执行其它类型的任务，诸如取货、检查等。特别地，在某些情况下，计算系统可以基于在由用户装置(例如，包裹的预期接收者或其他人或实体的用户设备)提供的视频数据中获取和分析的演示路径来开发交通工具可在该位置遵循的导航路径。例如，计算系统可以从预期接收者获取视频数据，该视频数据显示在该位置处接收者希望给定的递送员(例如，递送人、递送交通工具)遵循的演示路径。作为一示例说明，在一些实施例中，计算系统可以接收接收者使用智能电话或配置有照相机的其它设备(例如，可穿戴设备、无人机)捕获的演示路径的视频数据。
在一些示例中，视频数据中显示的演示路径可以包括用户(例如，预期接收者)在该位置处确定的路线，以示出用户希望递送者如何驶向该位置。特别地，演示路径可以包括走道、道路、小道(trails)和接收者认为允许递送人或递送交通工具使用的其它路径。例如，捕获演示路径的视频数据的接收者可以最初从远离目标投放点(drop off spot)的大概位置开始，并穿过从该大概位置到目标投放点的路径。为了进一步说明，演示路径可以在视频数据中被显示为从该位置的一条道路开始，从该道路一直延伸到一条车道，直到到达通往接收者的房屋前门的走道。在这样的说明中，视频数据可以向计算系统传达接收者希望递送者使用车道和走道以便在递送者的房屋前门处投放递送物。在其它示例中，演示路径可以显示一条涉及上楼梯、使用电梯、打开门或栅栏的大门、或执行其它任务以到达接收者希望接收递送物的期望投放位置的路径。
显示演示路径的视频数据可以描绘接收者使用或建议使用的路径，包括路径的物理特征和与该路径相关联的边界。例如，视频数据可以使计算系统能够识别部分的演示路径对应于铺砌的表面或其它固体表面，并与位于路径两侧的草形成边界。在某些情况下，视频数据甚至可以描述位于演示路径附近的潜在障碍物，包括递送交通工具可能遇到的门或大门。
在一些实施例中，视频数据可以传送从在该位置处的目标投放点开始并且从该目标投放点向起点(诸如在该位置的边界的大概位置)延伸的演示路径，在该起点处，递送者可以最初开始沿着演示路径。作为一示例说明，接收者可以开始捕获显示位于他办公室门口的投放点的视频数据，并还捕获从他办公室的门延伸到走廊、延伸到电梯、从电梯出来到办公大楼的正门的演示路径的视频数据。在该示例中，视频数据可以将内部路径传送到计算系统，当执行需要进入办公大楼的递送时，递送交通工具可以沿着该内部路径。此外，该示例还演示了在一些示例中，计算系统如何可以接收和处理以显示从投放位置开始并延伸离开投放位置的演示路径为开始的视频数据，而不是以在投放位置处描绘演示路径为结尾的视频数据。
其它示例实施例可以涉及接收这样的视频数据的计算系统：该视频数据显示引导通过各种环境的演示路径。在一些情况下，视频数据可以传达接收者认为允许空中递送交通工具使用的降落点。例如，计算系统可以接收视频数据，该视频数据显示接收者指示的、位于接收者的后院中的开放空间应被空中递送交通工具使用以完成递送。在这样的示例中，即使在其它示例中院子通常是禁区，该计算系统仍可以确定空中递送交通工具可以与接收者的后院接合。如所示的，捕获和描绘供递送交通工具使用的演示路径的视频数据可以根据接收者的需求以及该位置的物理布局而变化。
在一些示例中，计算系统可以从接收者的装置接收传感器数据，该传感器数据补充了描绘演示路径的视频数据。例如，计算系统可以从惯性测量单元(IMU)接收与接收者的装置的移动相关的测量值。移动测量值可以指示在演示路径的不同部分期间装置的当前加速度以及其它信息，诸如装置的旋转属性(即，俯仰、滚动和偏航)的变化。在一些情况下，计算系统可以接收与描述演示的视频数据的相应部分对准(alignment))的移动测量值。如果是这种情况，则计算系统可以利用测量值和视频数据，而不必执行其它过程来对准信息。然而，在其它情况下，可能需要计算系统确定测量值和从装置接收到的视频数据的相应部分之间的映射，以便在沿演示路径的正确点处关联装置的移动。
在另一实施例中，计算系统可以从接收者的装置接收补充视频数据的全球定位系统(GPS)测量值。特别地，计算系统可以接收GPS航点，该GPS航点是识别在该位置处沿该演示路径的点的坐标集合。例如，每个GPS航点可以在经度和纬度方面指示沿演示路径的方位。这样，视频数据可以传达演示路径，并且进一步由GPS航点补充，该GPS航点可以用作递送交通工具的检查点，以确认递送交通工具在正确的路径上。此外，GPS航点还可以在开发适合于递送交通工具使用的导航路径的过程中，进一步增强计算系统对该位置的演示路径的理解。在某些示例中，各个视频帧可以与对应的GPS坐标同步以帮助产生导航路径。计算系统还可以开发导航路径，以使该路径连接从接收者的装置接收的全部或一组GPS航点。
在从接收者的装置接收视频数据和可能的其它信息之后，计算系统可以处理和分析该信息，以确定供递送交通工具遵循从而完成递送的导航路径。在某些情况下，计算系统可能需要开发包括与视频数据中描绘的演示路径相比的变化的导航路径。例如，计算系统可能需要以适合于递送交通工具遵循的方式来开发导航路径。由于递送交通工具与接收者相比的物理结构，递送交通工具可能需要比演示路径的某些部分更宽的导航路径。类似地，在一些情况下，由于递送交通工具无法以反映接收者如何穿越一部分演示路径的方式来穿越该路径，所以导航路径可能需要更改。作为示例说明，导航路径可以包括这样的变化：该变化在示出演示时避免了接收者攀爬的楼梯，因为递送交通工具可能不具有通过楼梯的能力。其它因素会影响导航路径和演示路径之间的差异。例如，被递送的对象的尺寸或配置可能需要导航路径包括与视频数据中描绘的演示路径相比的一些差异。
为了开发导航路径，计算系统可以使用计算机视觉技术来处理从接收者的装置接收到的信息，该计算机视觉技术使计算系统能够建立对位置、演示路径和投放位置的理解。在一些情况下，由计算系统执行的计算机视觉处理可以涉及捕获、处理和分析视频数据内的数字图像，从而制定潜在的决策。特别地，计算系统可以使用图像分割来识别边界，该边界定义了在该位置处导航路径可以合并和利用的一组允许表面。为了进一步说明，允许表面可以是在演示路径的视频捕获期间由接收者经过的表面。例如，允许表面通常可以包括在视频数据中被描绘为演示路径的一部分的铺砌或未铺砌的表面，诸如道路、人行道、走道(walkway)、小道(trails)和其它路径。在许多情况下，接收者可以在演示路径中包括这些类型的表面，因为递送交通工具可以在这些表面上行驶而不会对表面造成损坏。这些表面不同于计算系统可确定为禁区的其它类型的表面和区域，诸如院子、花园和多岩石的地形等，其可能因为递送交通工具的重量和尺寸而被损坏。然而，在一些情况下，计算系统可以确定接收者清楚地打算使递送交通工具经通常为禁区的区域沿一路径行进。例如，视频数据中显示的演示路径可以清楚地表明，接收者希望递送交通工具通过田野或院子，尽管交通工具可能在这些区域留下印迹。因此，为了制定适合于在该位置处完成递送的类似于接收者的演示路径的导航路径，计算系统可以使用视频数据基于演示路径来识别允许区域。
在一些示例中，计算系统可以进一步使接收者能够提供有助于导航路径的开发的注释。例如，计算系统可以提供界面，该界面允许接收者指示对递送交通工具而言，哪些路径是允许的，哪些区域是禁区。在另一示例中，计算系统可以将已确定的导航路径的指示提供给接收者的装置，该接收者的装置使得接收者能够在递送交通工具执行递送之前查看导航路径。在该示例中，接收者可以提供注释，该注释包括对接收者认为需要的导航路径进行调整。
在确定导航路径之后，计算系统可以使递送交通工具沿着导航路径以完成在该位置的递送。在一些示例中，计算系统的角色可以确定计算系统如何使递送交通工具遵循导航路径。例如，在一些实施例中，计算系统可以用作指定递送交通工具的控制系统。在这种情况下，计算系统可以通过向交通工具的系统提供导航指令来使递送交通工具遵循导航路径。例如，计算系统可以遵循导航路径，同时还使用传感器来测量交通工具的周围环境，以避开障碍物并保持在正确的路径上。在另一示例实施方式中，计算系统可以作为被配置为组织和调度一组递送交通工具从而在多个位置完成递送的系统来操作。这样，计算系统可以向指定递送交通工具提供包括导航路径的指令以完成在一位置的递送。在一些情况下，计算系统可以基于众多因素，诸如交通工具的能力、导航路径的参数、交通工具的当前位置和递送时间表、和/或被递送的对象的大小和配置，选择特定交通工具来完成递送。
在进一步的示例中，计算系统可以估计递送交通工具可以用来航行于所确定的导航路径的时间量，这可以取决于各种因素，诸如导航路径的长度和复杂度、递送交通工具的类型和性能、在该位置的天气状况(例如下雪、下雨)和/或被递送的对象类型以及其它潜在因素。时间估计可以使计算系统能够以更有效的方式来组织递送。例如，计算系统可以基于递送交通工具可能花费的估计时间量来向接收者提供估计的递送时间。在一示例中，计算系统可以使用估计的递送时间来协调何时投放递送交通工具来执行递送以及在完成之后何时拾取递送交通工具。例如，在涉及调度多辆递送交通工具的卡车或其它交通工具以完成指定区域中的递送的示例中，计算系统可以使用针对不同位置的估计递送时间来确定卡车的投放时间表和拾取时间表。
在一些情况下，计算系统可能需要在执行递送期间调整导航路径。例如，递送交通工具可能遇到位于导航路径中的障碍物。在这种情况下，计算系统可以分析情况，包括确定递送交通工具是否在仍然遵循导航路径的同时可以保持在允许表面上并绕过障碍物。在一些情况下，计算系统可以在保持在导航路径内的同时使用传感器数据来避开障碍物。然而，在其它情况下，计算系统可以确定障碍物阻挡递送交通工具完成递送，除非递送交通工具临时航行到禁区以避开障碍物。例如，计算系统可以确定一棵树已经倒在用于导航路径的走道上，并且如果不航行于绕过这颗树周围的走道的路径，则递送交通工具不能完成递送。如果是这种情况，则计算系统可以将请求允许递送交通工具临时离开走道和导航路径以通过禁区(例如院子)绕行避开这棵树的询问发送到接收者的装置。这样，计算系统可以在向递送交通工具提供指令之前收到进入禁区的批准。在一些情况下，计算系统甚至可以使接收者选择递送交通工具要遵循的绕过障碍物的路径。其中计算系统可调整已确定的导航路径的其它潜在模式也是可能的。
在示例中，用于完成所请求的任务的递送交通工具可以对应于各种类型的递送交通工具，包括传统的递送交通工具(例如，卡车、叉车、汽车、拖拉机)和非传统的递送交通工具(例如，机器人、无人驾驶飞机)。例如，可用于执行递送的递送交通工具可以类似于四轮车辆，但是也可以是机器人装置(例如，两足装置，四足装置)或飞行器(例如，双翼飞机、多轴飞行器)。另外，如上所述，一个或更多个递送交通工具可以是通过接收请求并相应地将任务分配给交通工具的系统而被组织和调度的一组交通工具的一部分。特别地，该系统可以包括一个或更多个计算系统，其进行通信以根据能力和/或位置来组织交通工具从而完成所请求的任务。例如，系统可以接收递送请求，并基于递送位置、要运输的包裹的位置和类型、和/或交通工具的当前或将来的位置和能力等因素来选择交通工具以完成递送请求。
现在参考附图，图1是示例计算系统100的简化框图，该示例计算系统100能够执行各种动作和/或功能，诸如本公开中所描述的那些。计算系统100可以用作用于自动驾驶或部分自动驾驶的交通工具(诸如地面交通工具、飞行器、机器人装置等)的控制系统，并且能够包括各种组件，诸如处理器102、数据存储单元104、通信接口106和/或用户界面108。所述组件以及其它可能的组件可以通过连接机构110彼此连接(或连接到另一装置、系统或其它实体)，该连接机构110意指有助于在两个或更多个装置、系统或其它实体之间进行通信的机构。这样，连接机构110可以是诸如电缆或系统总线的简单机构，或者诸如基于分组的通信网络(例如，因特网)的相对复杂的机构。在某些情况下，连接机构可以包括非有形的介质(例如，在无线连接的情况下)。在进一步的实施例中，计算系统100可以包括更多或更少的组件，包括图1中未示出的组件。
处理器102可以对应于通用处理器(例如，微处理器)和/或专用处理器(例如，数字信号处理器(DSP))。在一些情况下，计算系统100可以包括处理器的组合。
数据存储单元104可以包括一个或更多个诸如磁、光学或快闪存储器的易失性、非易失性、可移动和/或不可移动的存储组件，和/或可整体或部分地与处理器102集成的组件。这样，数据存储单元104可以采用其上存储有程序指令(例如，已编译或未编译的程序逻辑和/或机器代码)的非暂时性计算机可读存储介质的形式，其中当由处理器102执行所述程序指令时，所述程序指令使计算系统100执行一个或更多个动作和/或功能，诸如本公开中描述的那些。这样的程序指令可以定义离散软件应用程序的一部分，和/或是离散软件应用程序的一部分。在一些情况下，计算系统100可以响应于诸如从通信接口106和/或用户界面108接收输入而执行程序指令。数据存储单元104还可以存储其它类型的数据，诸如在本公开中描述的那些类型。
通信接口106可以允许计算系统100根据一个或更多个协议连接到另外的其它实体和/或与另外的其它实体通信。例如，通信接口106可以使计算系统100能够接收请求、信息，并且否则通常与其它装置通信。该请求和通信可以对应于执行任务(诸如对象拾取和/或递送)的请求。在一示例中，通信接口106可以是有线接口，诸如以太网接口或高清串行数字接口(HD-SDI)。在另一示例中，通信接口106可以是无线接口，例如蜂窝或WI FI接口。连接可以是直接连接或间接连接，后者是通过和/或跨过一个或更多个实体(诸如路由器、切换器或其它网络装置)的连接。同样，传输可以是直接传输或间接传输。
如果适用，用户界面108可以帮助计算系统100与计算系统100的用户之间的交互。这样，用户界面208可以包括诸如键盘、小键盘、鼠标、触敏控制板、麦克风和/或照相机的输入组件，和/或诸如显示装置(例如，其可以与触敏控制板组合)、扬声器和/或触觉反馈系统的输出组件。更一般而言，用户界面108可以包括有助于计算系统100与计算装置系统的用户之间的交互的硬件和/或软件组件。在一些实施方式中，通信接口106和用户界面108可以使位于远处的人类操作员能够与计算系统100进行通信。例如，计算系统100可以使操作员能够提供控制以导航或控制由计算系统100控制的交通工具的其它操作。
图2是示例性自动驾驶交通工具系统200的简化框图，其表示能够执行本文所述的过程和操作的自动驾驶或部分自动驾驶交通工具的一种可能配置。在实施例内，除其它可能性之外，交通工具系统200可以对应于地面交通工具、机器人或飞行器。如图2所示，交通工具系统200包括处理器202、数据存储单元204、控制器206、传感器208、电源210和可移动组件212，但是可以包括以不脱离本公开的范围的情况下的任何方式布置和连接的更多或更少的组件。例如，系统200内包括的组件可以形成能够控制交通工具的一个或更多个操作的控制系统(例如，计算系统100)。
类似于图1所示的处理器102，处理器202可以是通用处理器或专用处理器(例如，数字信号处理器、专用集成电路等)，并且可以被配置为执行可执行以提供系统200的功能且存储在数据存储单元204中的计算机可读程序指令。程序指令可以是可执行的以提供控制器206的功能，该控制器206可以被配置为指示执行器或系统200的其它组件引起一个或多个可移动组件212的移动，以及其他操作。数据存储单元204可以包括或可以采用由处理器202读取或访问的一种或更多种计算机可读存储介质的形式。计算机可读存储介质可以包括可与处理器202整体或部分集成的易失性和/或非易失性存储组件，诸如光学存储器、磁性存储器、有机存储器或其它存储器或磁盘存储。在一些实施例中，数据存储器204可以使用单个物理装置(例如，一个光学存储器、磁性存储器、有机存储器或其它存储器或磁盘存储单元)实现，而在其它实施例中，可以使用两个或更多个物理装置来实现数据存储器204。此外，除其它可能性之外，数据存储204还可以包括诸如诊断数据的附加数据。在系统200的某些实施例中，处理器202、数据存储器204和/或控制器206可以作为被配置为控制系统200的一个或更多个操作的控制系统的一部分来操作。
交通工具系统200可以包括一个或更多个传感器208，诸如力传感器、接近传感器、负载传感器、位置传感器、电容传感器、触摸传感器、深度传感器、超声测距传感器、红外传感器、全球定位系统(GPS)接收器、声纳、光学传感器、生物传感器、射频识别(RFID)传感器、近场通信(NFC)传感器、无线传感器、指南针、烟雾传感器，光传感器、无线电传感器、麦克风、扬声器、雷达、照相机(例如彩色照相机、黑白相机和/或红外相机)、深度传感器(例如，红绿蓝加深度(RGB-D)、激光器、光检测和测距(LIDAR)设备、结构化光扫描仪和/或飞行时间照相机)、立体相机、运动传感器(例如，陀螺仪、加速计、惯性测量单元(IMU)和/或脚步或车轮里程表)和/或测距传感器(例如，超声波和/或红外)等。
传感器208的数量和类型可以根据系统200的配置和用途而变化。例如，传感器208可以将传感器数据提供给处理器202以使交通工具系统200能够在一环境中运行。传感器208还可以测量系统200的各方面，包括监视功能和检测潜在的组件错误。在一些示例中，传感器208可以使交通工具系统200的控制系统(例如计算系统100)能够测量目标位置的各方面，以便在该位置执行一个或更多个任务。例如，控制系统可以使用传感器数据来导航目标位置，避开障碍物，并执行其它操作，诸如处理对象。在另外的示例中，交通工具系统200可以包括一个或更多个传感器208，其被配置为测量天气以帮助确定完成任务的策略。另外，传感器208还可以捕获音频和/或视频(以及可能的其它类型的信息)并将其提供给可使用该信息来控制交通工具系统200的远程操作者。
交通工具系统200还可以包括被配置为向交通工具系统200的各个组件供电的一个或更多个电源210。可以使用任何类型的电源，诸如例如汽油发动机或电池。交通工具系统200还可以包括可联接至部分交通工具系统200的硬件的传动系统。在某些示例中，传动系统可以包括诸如离合器、差动齿轮、皮带轮、电缆、皮带、驱动轴和/或其它可能的元件。这样，传送系统可以改变交通工具系统200的硬件组件的速度、扭矩和旋转方向。
交通工具系统200还可包括一个或更多个致动器，其可以产生机械运动。特别地，致动器可以被配置为将存储的能量转换成一个或更多个组件的移动。例如，除其它可能性外，致动器可以由化学制品、压缩空气、液压或电力驱动。通过这种布置，致动器和/或传动系统可引起各种可移动组件212的移动，该可移动组件212可以包括诸如机械臂或其它机械结构的配件。例如，致动器可以使致动器能够提升和移动对象(例如，拾取和投放包裹)。此外，除了别的以外，一个或更多个可移动组件212还可以包括可移动基座、轮子、夹持器、工具和/或末端执行器。可移动组件212可以使交通工具系统200能够完成各种任务。
重要的是要注意，交通工具系统200的配置和组件在示例内可以改变，这可能取决于交通工具系统200的类型和能力。例如，飞行器系统可以包括能够进行空中航行的其它组件以及协助飞行器完成特定任务的适合飞行器的特定传感器。
图3示出示例递送交通工具300，其代表了可以执行本文讨论的操作的一种类型的地面交通工具。例如，交通工具300可以是图2所示的交通工具系统200的实物代表，并且被示为配置有附加特征，诸如轮子302、货床304和传感器(传感器306A、传感器306B)。在其它示例中，交通工具300可以具有更多或更少的组件，包括图3中未示出的一个或更多个组件，诸如控制系统和/或配置为处理对象的一个或多个操纵器。
如上所述，交通工具300可以包括计算系统和传感器(传感器306A、306B)，其使交通工具300能够以多种模式操作，例如自动驾驶、部分自动驾驶和远程模式。当以自动驾驶或部分自动驾驶模式操作时，控制系统(例如，计算系统100)可以控制交通工具300的一个或更多个操作，诸如航行策略(例如，路线计划)、避障和对象操纵。控制系统可以使用来自各种来源的信息来确定控制策略，包括从存储器(例如，交通工具300上的实物存储器和/或云存储存储器)获取的信息、从其它系统或装置(例如，来自服务器系统的地图)获取的信息、以及从传感器(例如，传感器306A、306B)获取的信息。控制系统还可以根据与远程操作员关联的装置提供的指令进行操作。
当在远程控制模式中运行时，操作员可以假定对交通工具300的一项或多项操作直接控制。例如，操作员可以基于来自位于交通工具300上的传感器(例如，传感器306A-306B)的传感器数据(例如，图像、视频、GPS坐标)提供控制指令。在一些情况下，操作员和控制系统可以共享对交通工具300的部分控制。例如，操作员可以控制交通工具300的航行，同时控制系统控制位于交通工具300上的操纵器。
交通工具300的通信系统可以与其它装置通信。例如，通信系统可以使控制系统能够从其它装置接收视频数据和其它信息，以使控制系统能够制定用于执行操作的策略。交通工具300的通信系统还可以使交通工具300能够执行从配置为组织一组递送交通工具的系统接收的指令。
在操作期间，交通工具300可以使用轮子302航行。示例轮子可以以各种材料存在，并且可以包括单轮、双轮、复合轮、脚轮或配置为旋转以移动交通工具300的任何其它轮。另外，在一些示例中，轮子302可以包括能量吸收材料(例如，橡胶等)以帮助轮子302的操作和/或维护。例如，轮子302可以包括联接至每个轮子的轮辋的轮胎。在其它示例中，交通工具300可以包括能够进行移动的其它机械装置，例如履带。
货床304是交通工具300的机械组件，可以运载包裹和其它对象。这样，货床304可以包括可帮助移动对象的机械结构(mechanics)，诸如可以将对象推离交通工具300的辊子或者可以提起和定位对象的机械致动器(未示出)。尽管交通工具300包括货床304，但是其它类型的地面交通工具可以具有与交通工具300不同的其它物理配置和属性。特别地，其它类型的交通工具可以具有取决于使用交通工具执行的任务的配置。例如，另一示例地面交通工具可以包括允许交通工具运输乘客的座椅。
交通工具300进一步包括传感器306A、306B，以捕获交通工具周围环境和/或交通工具300的组件的操作的信息。传感器306A、306B可以对应于各种类型的传感器，并且可以辅助控制系统和/或人类操作员使用交通工具300执行操作。交通工具300还可以包括图3中未显示的其它类型的传感器。
图4示出了另一示例递送交通工具400，其表示能够执行本文所讨论的操作的另一类型的交通工具。与交通工具300不同，交通工具400表示示例飞行器，其可以通过在空中行驶而在多个位置之间航行。尽管将交通工具400示出为一种多轴飞行器，但是其它类型的飞行器也可以执行本文所述的操作。
如图4所示，交通工具400包括配置为使用来自马达406的动力为交通工具400提供推进力和机动性的四个转子402A、402B、402C、402D。更具体地，转子402A包括叶片404A，转子402B包括叶片404B，转子402C包括叶片404C，转子402D包括叶片404D。通过这种配置，转子402A-402D可以使交通工具400能够垂直起飞和降落，在所有方向上进行操纵、以及悬停，以及其它可能的操作。例如，交通工具400可以调节叶片的桨距以控制其桨距、侧倾、偏航和高度。在另一示例中，交通工具400可以具有不同的构造，诸如多个马达。
交通工具400还可以包括构造成操纵和保持对象的机械组件。例如，交通工具400可以包括可在递送期间拾取并保持物品的机械臂。另外，交通工具400还可以包括各种传感器，诸如照相机、触觉传感器和着陆传感器等。
图5示出了用于组织和调度一组递送交通工具的示例系统500。系统500表示站和计算系统的网络的示例配置，其被布置为接收指定位置的任务请求、处理所述请求和调度交通工具以相应地完成任务。其它示例系统可以具有其它配置，包括更多或更少的元件。
如图5所示，系统500涉及各种元件之间的连接，包括访问系统502、中央调度系统504、用户帐户数据库506、本地调度系统508a-b、部署系统510a-d、交通工具512a-d、通信网络514和远程装置516。图5所示的每个元件可以表示一个或更多个元件。例如，在另一实施例中，访问系统502可以对应于多个访问系统。另外，在其它示例实施例中，元件可以以其它方式组合或互连。例如，在其它示例中，中央调度系统504可以与访问系统502和用户账户数据库506组合。系统500内的元件可以以图5中未示出的其它方式连接。
在某些示例中，系统500可以调度交通工具512a-d以在较大的地理区域(例如，比任何单个交通工具的行驶范围大得多的区域)上提供服务。交通工具512a-d可以包括能够执行不同任务的各种类型的自动驾驶和半自动驾驶交通工具。例如，交通工具512a-d可以包括地面型交通工具(例如，交通工具300、机器人装置)、空中运输机(例如交通工具400)以及其它可能的类型。通过在多个位置提供不同的交通工具512a-d，系统500可以基于交通工具的能力以及其它因素来调度特定的交通工具来执行任务。例如，系统500可以选择地面型交通工具(例如交通工具300)来递送重的包裹或材料，而选择空中运输机(例如交通工具400)来将小包裹递送到远程位置。
访问系统502可以启动并帮助促进与系统500的初始通信。例如，访问系统502可以接收针对系统500的一个或更多个元件的任务请求，以处理、组织和调度交通工具512a-d以完成。访问系统502可以包括使操作员能够请求并可能地控制交通工具512a-d的界面。如图5所示，访问系统502可以将信息中继到中央调度系统504，该中央调度系统504可以进一步组织和协调要调度的交通工具512a-d。类似于访问系统502，中央调度系统504可以对应于可以向本地调度系统508a-b和/或直接向部署系统510a-d提供指令的计算系统或计算系统网络。为了提供这种功能，中央调度系统504可以经由诸如因特网或专用网络的数据网络与访问系统502和系统500的其它元件通信。
中央调度系统504可以协调位于不同的本地调度系统508a-b的交通工具512a-d。例如，中央调度系统504可以分析位置、可用性、任务分配以及关于交通工具512a-d的其它信息以确定调度指令。类似于中央调度系统504，本地调度系统508a-b可以执行与组织和促进交通工具512a-d的调度有关的操作，并且可以进一步将指令传送给部署系统510a-d。
部署系统510a-d可以布置交通工具512a-d的部署，并且还可以提供附加功能，诸如与诊断相关的功能(例如，验证每个交通工具的系统功能)，确保每个交通工具接收对象或与被指示的任务有关的其它信息，和/或维护被容纳在交通工具中的装置或其它物品(例如，通过监视有效负载的状态，诸如其温度、重量等)。在一些实施方式中，部署系统510a-d及其对应的交通工具512a-d(以及可能相关联的本地调度系统508a-b)可以策略性地分布在整个诸如城市的区域中。部署系统510a-d可以策略性地分布在一个或更多个取货位置附近(例如，在餐馆、商店或仓库附近)。
远程装置516表示可以经由通信网络514与访问系统502和/或系统500的其它元件通信的任何装置。例如，远程装置516可以对应于智能手机、应用程序、软件、可与访问系统502(或在访问系统502上操作的人类操作员)通信的网站。在一些示例中，远程装置516可以使用户能够请求系统500调度交通工具以完成请求(例如递送包裹)。系统500还可以包括用户账户数据库506。对于给定的用户账户，用户账户数据库506可以包括与提供服务有关或在提供服务中有用的数据。与每个用户帐户关联的用户数据可以由相关联的用户可选地提供和/或在相关联用户的许可下收集。
除了上面讨论的各种元件之外，系统500还可以安排可修理或恢复经历故障的交通工具的干预者(未示出)(例如人、机器人装置)。可以对某个市场产生重置任务，其促使干预者前往需要帮助的地方，以重启死机的交通工具、机器人，或收回降落的无人机。可以基于干预者资格水平将不同的任务分配给特定的干预者。
在一些示例中，系统500可以作为混合递送模型来操作，其可以同时计划使用人类递送者和交通工具递送者来完成递送。例如，人类递送者可以担任递送包裹和被适当地定位以协助交通工具(例如，提供现场协助)的双重角色。例如，为了递送到覆盖整个地区的网格(grid)，可以使递送交通工具交错以一次集中于网格的小部分上，同时将人员定位在每组交通工具的中央以在需要时提供快速帮助。在另一示例中，对于每个交通工具，可以将区域网格划分为长切片(slices)，而不是单独的象限。交通工具于是可以全部沿相同方向前进，使得人类干预者可以被容易地定位来协助该组中的任何故障交通工具。可以存在涉及交通工具和人员动态地完成递送的其它示例配置。
在又一示例中，系统500可以包括一个或更多个元件，该一个或多个元件被配置为监视可以由与部署交通工具的卡车(truck)相关联的装置或系统远程操作的一个或更多个交通工具。这样，交通工具512a-d可以包括一些不需要完整的感测和计划系统来完成任务的交通工具。而是，更具成本效益的交通工具可以根据由位于部署卡车或另一位置的系统或操作员远程提供的计划来执行操作。例如，可以利用通向卡车的高带宽管道，从而仅需要到每个递送交通工具的廉价链接。在一些情况下，部署卡车还可以使其自身的龙门交通工具(gantry vehicle)或机器人，在交通工具被部署用于递送之前将包裹装载到递送交通工具上。另外，卡车可以发动单个交通工具、多个交通工具或不同类型的交通工具。
在另外的示例中，系统500可以为给定的部署卡车计划路线，并基于递送交通工具递送包裹并返回卡车的预期时间来优化路线。例如，卡车可以被配置为连续地移动通过一区域，随着其行驶而投放和拾取交通工具。当各个递送交通工具特别慢和/或当某些递送位置可能难以到达时，这样的系统可以特别有利。控制系统可以负责动态同步调整各个递送交通工具和部署卡车的路线计划。
图6是示出了用于导航路径确定的方法600的流程图，其表示一示例方法，该方法可以包括如方框602、604、606和608中的一个或更多个所描绘的一个或更多个操作、功能或动作，其每个可以由计算装置(例如计算系统100)执行，但是也可以使用其它系统。本领域技术人员将理解，本文描述的流程图示出了本公开的某些实施例的功能和操作。在这一点上，流程图的每个框可以表示程序代码的模块、段或部分，其包括可由一个或更多个处理器执行以实现在该过程中的特定逻辑功能或步骤的一个或更多个指令。程序代码可以被存储在任何类型的计算机可读介质上，例如，诸如包括磁盘或硬盘驱动器的存储装置。
另外，每个框可以表示被布线以执行在该过程中的特定逻辑功能的电路。如本领域的技术人员所理解的，替代性实施例包括于本申请的示例实施例的范围内，其中取决于所涉及的功能性(functionality)，功能可以以与所示出或所讨论的功能不同的顺序执行，包括基本上同时或以相反的顺序执行。在示例中，计算系统可以执行方法600的一个或更多个框。例如，计算系统可以对应于递送交通工具的控制系统，或者可以对应于被配置为组织和提供指令到递送交通工具的控制系统的系统(例如，系统500)。
在框602，方法600可以包括：接收显示了用于驶向一位置的演示路径的视频数据。计算系统(例如，计算系统100、系统500)可以从用户装置(例如，递送的预期接收者的装置，或能够记录或流传输视频数据的其它装置)接收视频数据。例如，计算系统可以从接收者的智能电话、可穿戴计算装置、照相机或其它类型的装置接收显示在一位置处的演示路径的视频数据。
演示路径可以对应于通过该位置的区域并且使递送者(例如，递送人、递送交通工具)能够完成递送的路线。特别地，演示路径表示接收者批准递送交通工具使用的表面，并且通常可以包括走道、道路、人行道和接收者指示递送交通工具应使用的其它允许表面。例如，演示路径可以从该位置附近的大概位置开始或以该位置为前提的大概位置开始，并从第一大概位置沿允许表面延伸到接收者希望对象(例如包裹、材料)被递送的投放位置。为了进一步说明，在一些示例中，接收者可以最初在靠近该位置定位的主要道路附近开始获取视频数据，并捕获从最初开始点延伸且还包括接收者所经过的走道或其它表面直到到达完成递送的投放点的视频数据(例如，该位置处的房屋门)。
另外，在一些情况下，视频数据中显示的演示路径可以最初从投放位置开始，并从投放位置延伸到该位置处的边界或附近的大概位置。例如，代替离开投放位置开始，接收者可以最初在她的位置(例如，她的房屋门)处的投放位置处开始获取视频数据，并捕获从投放位置沿着走道或其它允许表面延伸直到到达远离递送交通工具可到达的投放位置(例如，公共道路)的大概位置的视频数据。
在一些示例实施例中，计算系统可以从装置接收附加数据以及显示该位置处的演示路径的视频数据。例如，定位在该装置上的一个或更多个传感器可以在装置捕获视频数据的同时捕获传感器数据，诸如GPS航路点和装置移动的测量值。这样，该装置可以将传感器数据与视频数据一起提供给计算系统。
在一些情况下，计算系统可以以未对准的格式从装置接收传感器数据和视频数据。结果，计算系统可以确定传感器数据与视频数据的相应部分之间的映射，以使计算系统能够在开发交通工具在该位置使用的导航路径时一起使用传感器数据和视频数据。在一些示例中，当交通工具航行于已确定的导航路径时，计算系统可以使交通工具的控制系统将其传感器数据与接收到的传感器数据进行比较。
在一示例中，计算系统可以从装置的IMU接收移动测量值。例如，装置的IMU可以使用加速度计、陀螺仪和/或磁力计的组合来测量视频拍摄者的比力、角速度、以及处理该装置的接收者周围的可能磁场。这样，IMU可以在接收者沿着演示路径移动该装置时捕获测量值，使得装置位置、加速度、取向变化等的测量值可以反映在捕获视频数据的不同部分期间装置的移动。结果，计算系统可以利用移动信息来增强递送过程。作为一示例，该计算系统可以在对递送交通工具的指令内包括在移动上的变化的指示，其指示该装置在沿着该位置处的路径的不同点处的速度、方向和其它移动。
在另一示例中，装置可以将全球定位系统(GPS)测量值(例如GPS航点)与视频数据一起提供给计算系统。特别地，装置可以确定装置的GPS航点与视频数据的相应部分(例如帧)之间的映射，使得GPS航点可以增强该位置处导航路径的开发和使用。例如，计算系统可以使递送交通工具遵循在由装置提供的不同GPS航点之间延伸的导航路径。
在另一示例中，计算系统可以从发送装置接收GPS和加速度计数据以及视频数据，并确定GPS和加速度计数据与所接收的视频数据的相应部分之间的映射。计算系统可以将数据与相应的部分对准，以供随后在导航路径开发和执行阶段期间的使用，如之前在以上关于其它示例所指示的。
在框604处，方法600可以包括使用视频数据来识别在该位置处的一组允许表面。在一些实施例中，每个被识别出的允许表面可以对应于演示路径已经过的表面。
在从用户的装置接收视频数据和可能的其它信息之后，计算系统可以处理输入的视频数据以识别接收者在视频捕获期间所经过的表面。具体地，计算系统可以使用计算机视觉来从视频数据获得高级理解，包括在捕获显示演示路径的视频数据的同时检测接收者经过的位置处的表面。该计算系统可以被配置为理解由接收者经过并在视频数据中显示的路径表示递送者(例如，递送人、递送交通工具)应当使用以完成在该位置处的递送的接收者理想路径。计算系统还可以被配置为检测由接收者经过并在视频数据中显示的路径(诸如走道、人行道、街道等)的表面。可以使用图像分割处理来完成表面检测，以识别环境中的表面之间的边界。这样，计算系统可以将由接收者直接经过的特定路径扩展至包括相同表面的其它部分(例如，人行道、走道、街道的较大宽度或整个宽度)，并将扩展后的部分识别为递送交通工具也可以使用的允许表面。
在一些示例中，计算系统可以被配置为将演示路径扩展为包括从接收者的直接经过路线延伸的更多允许表面，因为递送交通工具和/或被递送的对象可能需要额外的空间。例如，递送交通工具可能比接收者大得多，因此，计算系统可能需要识别与演示路径相关联的允许表面，而不仅仅是识别接收者所经过的狭窄路径。
在一些实施例中，计算系统可以使用图像处理软件来分析视频数据，包括用于在识别演示路径的视频数据时识别接收者在其上行走的表面。例如，计算系统可以使用一个或更多个过程来识别接收者在演示路径的视频捕获期间所经过的允许路径的部分。在另一示例中，计算系统还可以为该组允许特征中的每个允许表面识别物理特征。例如，计算系统可以检测所识别的允许表面的边界、坡度、纹理和其它特征。在一些情况下，计算系统可以将环境分割成由边界分隔的连续均匀表面。例如，计算系统可以将区域划分为允许表面和禁区。这样，计算系统可以基于具有禁区的表面的边界来识别允许表面的边界。
作为一示例，计算系统可以确定在哪处人行道延伸直到到达草。在另一示例中，计算系统可以确定演示路径的一部分包括可能对交通工具造成问题的砾石路径。
在框606处，方法600可以包括确定交通工具在该位置要遵循的导航路径。在处理了从装置接收到的视频数据和其它信息之后，计算系统可以确定交通工具可以遵循以完成在该位置处的递送或其它任务的导航路径。特别地，计算系统可以使用其对接收到的数据的理解，包括所识别的一组允许表面，来确定适合于递送交通工具但是也类似于在视频数据中所示的演示路径的导航路径。
如上所述，导航路径可以近似地遵循接收者捕获视频数据所经过的演示路径，但是也可以包括一种或更多种变化，其使导航路径更适合于由递送交通工具进行的航行。尽管导航路径可以包括与演示路径的一些差异，但是计算系统可以被配置为确定导航路径，使得导航路径仍共享计算系统使用视频数据所识别的允许表面。允许表面可以对应于视频拍摄者所经过的演示路径的表面。例如，除其它可能的表面外，示例允许表面可以对应于走道、道路、车道和指定的小道或路径。这些表面可以对应于人和车辆可以在该位置行进的路径，而不对应于可能包括院子、花园和其它不允许区域的其它禁区表面。这样，计算系统可以确定导航路径，该导航路径具有与演示路径相比的一些变化，这些变化导致递送交通工具保持在一组允许表面中的一个或更多个允许表面内。
在示例内，由于多种原因，可以包括所述变化。例如，在一些情况下，计算系统可以确定一个或更多个变化，这些变化由于完成递送的递送交通工具的能力而导致导航路径不同于演示路径。递送交通工具可能需要较宽的路径行进，因此，计算系统可以确定具有一个或更多个变化的导航路径，所述一个或更多个变化能在将递送交通工具保持在使用来自装置的视频和其它数据先前识别的允许表面(例如走道、人行道、道路)上的同时使递送交通工具能够完成递送。类似地，被递送的对象或对象们的大小也可能影响由计算系统确定的导航路径。计算系统可以确定递送交通工具在递送的一些部分中需要比演示路径提供的空间更大的空间。因此，计算系统可以开发导航路径，使得导航路径在需要的地方包括变化以适应递送物的大小，同时仍使导航路径使用先前识别的允许表面。与演示路径相比，其它情况可能导致计算系统在导航路径中包含变化。
在一些示例中，计算系统还可以基于在视频数据分析期间识别的物理特征来确定导航路径。例如，当开发用于交通工具遵循的导航路径时，计算系统可以考虑允许表面的物理特征，诸如边界、宽度、坡度和组成。
在框608中，方法600可以包括使车辆遵循导航路径来导航位置。在确定导航路径之后，计算系统可以向车辆提供指令以使其沿着导航路径来完成递送或在该位置执行一些其它任务。例如，如果计算系统对应于递送交通工具的控制系统，则计算系统可以执行控制策略以航行于导航路径并完成递送。该计算系统可以在将交通工具保持在导航路径的允许路径上的同时使用由交通工具的传感器获取的传感器数据来避开障碍物。
在另一示例中，计算系统可以对应于被配置为调度递送交通工具的系统，诸如以上讨论的系统500。在这种情况下，计算系统可以选择特定的交通工具来完成递送，并且在完成递送时向该特定的递送交通工具提供指令以使其遵循导航路径。系统的交通工具选择可以取决于一个或更多个因素，诸如车辆的可用性、每辆交通工具的不同能力和交通工具的当前和未来位置。如以上关于图5所讨论的，系统可以以有效地完成所有递送的方式来组织使用多个交通工具的多个递送中的递送。这样，该系统可以包括一个或更多个计算系统，该计算系统被配置为接收显示递送位置处的演示路径的视频数据，并因此，使用方法600或类似过程来开发各种位置的导航路径。该系统可以进一步使用已确定的导航路径来组织车辆完成在不同位置处的递送。
在一示例实施例中，除了航行于已确定的导航路径之外，计算系统还可以使递送交通工具遵循接收者的装置提供的GPS坐标。在另一示例实施例中，计算系统可以使递送交通工具使用位于递送交通工具上的IMU来测量其取向、加速度和相对位置，从而将测量值与由装置提供的测量值以及视频数据进行比较。
在进一步的实施例中，计算系统执行方法600可以进一步估计递送交通工具导航于在该位置处已确定的导航路径可能需要的时间量。例如，配置为组织和调度多辆交通工具的系统可以在组织交通工具时使用估计的递送时间。计算系统可以基于诸如被选择来执行递送的递送交通工具的类型、该位置处的条件(例如，天气状况)、接收者在捕获视频数据时经过演示路径所花费的时间、已确定的导航路径的距离和/或复杂程度以及其它可能因素的因素来估计时间。在某些情况下，计算系统可以使用在示例内可能变化的因素的加权组合。
在另一示例中，作为分析视频数据的结果，计算系统可以识别位于演示附近的障碍物。在一些情况下，计算系统可以确定导航路径，使得导航路径包括避开障碍物但仍使递送保持在使用视频数据识别的一组允许表面中的允许表面内的变化。在其它情况下，计算系统可以确定所识别的障碍物阻挡递送交通工具沿着导航路径完成该位置处的递送。结果，计算系统可以向该位置处的接收者(例如视频拍摄者)发送请求，以扩展该组允许表面，以便绕开障碍物以完成在该位置处的递送。例如，计算系统可以在返回到导航路径之前请求交通工具允许递送交通工具暂时通过院子或另一禁区表面从而避开障碍物。在另一示例中，计算系统可以提供界面，该界面允许接收者选择递送交通工具可遵循以避开障碍物的路径。该界面甚至可以使接收者指定剩余路径来完成递送。
在另一示例实施例中，计算系统可以使接收者能够提供附加信息，诸如识别允许表面或禁区的注释。例如，计算系统可以提供使接收者能够进一步辅助导航路径的开发的界面。在一些情况下，在接收到演示路径的视频数据之后，计算系统可以提供来自接收者的注释或补充信息的请求。计算系统可以分析视频数据或演示路径，并确定可有助于导航路径的开发的附加信息(诸如来自接收者的注释)。
图7A、图7B、图7C、图7D和图7E示出了涉及计算系统执行与导航路径确定有关的过程和操作的示例场景700。特别地，场景700涉及确定用于完成在位于住宅区的房屋702处的递送的导航路径的计算系统。
其它示例场景可以涉及确定在诸如商业、户外或工业环境的其它环境中的导航路径的计算系统。例如，计算系统可以确定在诸如办公室、商店或购物中心的完全室内环境中供递送交通工具遵循的导航路径。同样，计算系统还可以确定递送交通工具在室外公园遵循的路线。此外，尽管场景700涉及递送到房屋702的递送交通工具，但是其它示例场景可以涉及执行其它任务(诸如定位和拾取物体或人以进行运输)的一辆交通工具或更多辆交通工具。
图7A图示了该位置处的示例演示路径720。如以上所讨论的，在计算系统开发出交通工具遵循以完成在一位置的递送的导航路径之前，可能需要计算系统获得与该位置有关的信息。特别地，在一些情况下，计算系统可以直接从目标接收者获得信息，诸如用于完成递送的投放点的指示或显示递送者(例如，递送人、递送交通工具)应遵循以完成递送的路径的演示路径。
如图7A所示，可能需要计算系统获得关于房屋702的信息，包括在何处投放包裹(例如在门704旁)。为了将该信息传送到计算系统，接收者可以使用装置(例如智能电话、照相机)在该位置捕获演示路径720的视频数据，并将所捕获的视频发送到计算系统。例如，接收者可以最初开始捕获在大概位置(例如位置722)开始的演示路径720的视频数据，并继续捕获显示演示路径720的视频数据，直到到达递送的目标投放位置(例如门704旁的位置726)。这样，接收者可以向计算系统传达她希望递送者如何经过该位置，包括对递送交通工具遵循的大概路径(例如，演示路径72)的指示。如之前所讨论的，在一些示例中，接收者的装置还可以发送可帮助计算系统为递送交通工具开发导航路径的其它信息，诸如GPS航点和装置移动的测量值。
因此，计算系统可以使用经由接收者的装置所提供的视频数据和其它信息来获得对演示路径720的理解。更具体地，计算系统可以确定递送交通工具是否完全能够全部执行演示路径720，或者是否计算系统可能需要为递送交通工具开发与演示路径720相比包括一些变化的导航路径。例如，计算系统可以分析演示路径720，包括方向变化，诸如在位置724处转弯。作为从接收者的装置接收视频数据和可能其它信息的结果，计算系统可以进一步确定演示路径720从道路710延伸到走道708，直到在位置724处转弯，从而经过楼梯706直至到达在门704旁的位置726处的投放位置。
在一些情况下，计算系统可以确定递送交通工具或对象需要系统开发遵循允许表面和经由演示路径720提出的建议的导航路径，而且还使得能够完成递送。例如，计算系统可以确定递送交通工具不能经过楼梯706，并且确定需要与演示路径720相比的变化以使递送交通工具能够完成到门704旁的投放位置的递送。
图7B显示了示例GPS航点，其中计算系统可以使用该示例GPS航点以基于图7A所示的演示路径720进一步开发导航路径。如以上所指示的，该位置处的接收者的装置可以发送显示演示路径的视频数据，以使计算系统处理从而开发供递送交通工具遵循以完成该位置处的一递送或多个递送的导航路径。在一些情况下，装置还可以向计算系统提供附加信息，诸如GPS航点和IMU测量值。特别地，如图7B所示，除了视频数据之外，计算系统还可以接收GPS航点(GPS航点730、GPS航点732、GPS航点734、GPS航点736、GPS航点738和GPS航点740)。每个GPS航点指示沿演示路径720的特定位置(例如，经度、纬度坐标)，并且可以用作计算系统可以用来确保递送交通工具在正确路径上的检查点。在一些情况下，计算系统可以使用GPS航点730-740来识别允许表面并协助开发适合于交通工具在该位置使用的导航路径。
在一些情况下，GPS航点730-740可以到达与视频数据的相应部分对准的计算系统。如果是这种情况，则计算系统可以利用GPS航点730-740和相应的视频数据，而不必执行对准过程。然而，在其它情况下，可能需要计算系统确定GPS航点730-740与视频数据的相应部分之间的映射，以便使用视频数据和GPS航点730-740两者来开发导航路径。
图7C示出了识别与图7A和图7B所示的演示路径720相对应的一组允许表面的计算系统。如本文之前所描述的，计算系统可以使用接收到的视频数据来确定适合于递送交通工具航行的运行表面，并因此，使用允许表面来开发导航路径。如图7C所示，允许表面可以对应于与接收者捕获演示路径720所经过的路径相关联的表面。特别地，计算系统可以识别与道路710相对应的表面740和表面742，与走道708相对应的表面744、与楼梯706相对应的表面746和位于门704旁的表面748全都是递送交通工具可以在其上行驶的允许表面，因为演示路径720中经过所有所述表面。计算系统可以通过从视频数据提取信息(包括对演示路径720的检测和分析)来识别以上允许表面(例如，表面740-748)。
如在图7C中进一步显示的，计算系统还可以使用计算机视觉分析来识别允许表面的扩展，该扩展延伸超出仅在演示路径720中经过的特定路径。特别地，表面740和表面742被示为延伸以覆盖道路710的未被接收者捕获的演示路径720直接接触的部分。相反，计算系统可以被配置为确定道路710整体上适合于递送交通工具使用，尽管仅一部分包括于演示路径720中。类似地，表面744被示为延伸超过位置724，在该位置724处演示路径720包括向楼梯706的转弯，因为计算系统可以识别出表面744的扩展覆盖了允许表面走道708。在另一示例中，计算系统可以被配置为将允许表面限制到位于与演示路径720相距一阈值距离(例如约1-5米)内的部分表面。
图7D示出了递送交通工具可以遵循的示例导航路径750。在识别出允许表面并分析了演示路径720之后，计算系统可以确定交通工具使用以完成递送的导航路径750。如图所示，导航路径750可以使交通工具在保持于所识别的允许表面(例如，道路710、走道708、楼梯706)上的同时驶向该位置。取决于递送交通工具的能力，递送交通工具可以将包裹或材料递送到门704附近的投放位置。
在一些示例中，计算系统可以确定导航路径，该导航路径包括与由接收者在视频数据中提供的演示路径相比的一个或更多个变化。如图7D中所示，由计算系统确定的导航路径750包括与演示路径720相比的至少一个变化(例如变化752)，该变化显示了递送交通工具可以沿走道710进一步航行，因为递送交通工具可能不具有爬楼梯706的能力。变化752可以将递送交通工具保持在允许表面744(即，走道708)上，并且还将递送交通工具更靠近门704旁的投放位置定位。结果，配置有操纵器(例如机械臂)的递送交通工具可以提起包裹并将包裹放置在门704旁。
图7E示出了对导航路径修改以克服与图7D所示的导航路径750相关联的障碍的示例请求。如以上所指示的，导航路径750可以包括与演示路径720相比的一个或更多个变化，诸如变化752。在递送交通工具不能通过楼梯706的情况下，计算系统可以发送请求以使得递送交通工具能够临时行驶在区域760上以使用机械夹具提起包裹并将其放置在门704旁而完成递送。计算系统可以询问提供原始视频数据的装置，从而扩展递送交通工具可以行驶于其上以完成递送的该组允许表面。
本公开内容不在本申请中描述的特定实施方式方面受到限制，这些特定实施方式旨在作为各个方面的说明。如对本领域技术人员而言将明显的是，可以在不脱离其精神和范围的情况下进行许多修改和变型。除了本文列举的方法和装置之外，根据前述描述，本公开范围内的在功能上等效的方法和装置对本领域技术人员将是明显的。这样的修改和变化旨在落入所附权利要求的范围内。
上面的详细描述参照附图描述了所公开的系统、装置和方法的各种特征和功能。在附图中，除非上下文另外指出，否则相似的符号通常标识相似的组件。本文和附图中描述的示例实施方式并不意味着是限制性的。在不脱离本文提出的主题的精神或范围的情况下，可以利用其它实施方式，并且可以进行其它改变。容易理解的是，可以以各种不同的配置来布置、替换、组合、分离和设计如本文一般地描述的以及在附图中示出的本公开的各方面，所有这些在本文中都是明确地想要的。
附图中显示的特定布置不应视为限制性的。应当理解，其它实施方式可以包括给定图中所示的每个元件的更多或更少。此外，一些示出的元件可以被组合或省略。更进一步地，示例实施方式可以包括在附图中未示出的元件。
尽管本文已经公开了各个方面和实施方式，但是其它方面和实施方式对于本领域技术人员而言将是明显的。本文所公开的各个方面和实施方式是出于说明目的，而不是旨在进行限制，其真实范围由所附权利要求指示。

Claims (20)

1.一种方法，包括：
由计算系统接收显示用于在一位置处导航向目的地的演示路径的视频数据，其中，所述视频数据由设备在所述位置处的路线导航期间捕获，以说明如何导航向目的地，其中，所述演示路径涵盖所导航的路线；
使用所述视频数据，识别在所述位置处的一组允许表面，其中，每个允许表面是所述演示路径经过的表面；
确定交通工具在所述位置处要遵循的导航向目的地的导航路径，其中，所述导航路径包括与所述演示路径相比的变化，使得所述变化使所述交通工具保持在所述一组允许表面中的一个或更多个允许表面上；和
由所述计算系统使所述交通工具在所述位置处自主地遵循导航向目的地的所述导航路径。
2.根据权利要求1所述的方法，其中，所述演示路径以递送目的地为终点，其中，所述导航路径被确定为到达所述递送目的地，并且其中，所述方法还包括使所述交通工具将对象递送到所述递送目的地。
3.根据权利要求1所述的方法，其中，接收显示所述演示路径的视频数据包括：
接收位于所述演示路径的多个点处的全球定位系统航点；以及
确定所述全球定位系统航点与视频数据的相应部分之间的映射。
4.根据权利要求3所述的方法，其中，基于所述全球定位系统航点与视频数据的所述相应部分之间的映射，确定所述交通工具在所述位置处要遵循的所述导航路径。
5.根据权利要求1所述的方法，其中，接收显示所述演示路径的视频数据包括：
接收与显示所述演示路径的所述视频数据相对应的全球定位系统和加速度计数据；
确定所述全球定位系统和加速度计数据与视频数据的相应部分之间的映射；以及
其中，基于所述全球定位系统和加速度计数据与视频数据的所述相应部分之间的所述映射，确定所述交通工具在所述位置处要遵循的所述导航路径。
6.根据权利要求1所述的方法，还包括：
基于所述导航路径，在所述位置处从一组交通工具中选择要导航的所述交通工具，其中，所述一组交通工具至少包括具有第一组能力的第一类型的交通工具和具有第二组能力的第二类型的交通工具，并且其中，从所述一组交通工具选择所述交通工具是基于被选择的交通工具的能力。
7.根据权利要求1所述的方法，还包括：
基于确定所述交通工具在所述位置处要遵循的所述导航路径，估计所述交通工具航行于所述导航路径将需要的时间量。
8.根据权利要求1所述的方法，还包括：
使用所述视频数据识别位于所述演示路径附近的障碍物；以及
其中，确定所述交通工具在所述位置处要遵循的所述导航路径包括：
确定所述导航路径，以使所述导航路径包括给定的变化，所述变化避开了所述障碍物，但是使所述交通工具保持在所述一组允许表面中的一个或更多个允许表面上。
9.根据权利要求1所述的方法，其中，确定所述交通工具在所述位置处要遵循的所述导航路径包括：
基于所述交通工具的机动能力，确定所述导航路径以包括与所述演示路径相比的所述变化。
10.根据权利要求1所述的方法，其中，确定所述交通工具在所述位置要遵循的所述导航路径包括：
基于要在所述位置处由交通工具递送的对象的一个或更多个参数，确定所述导航路径以包括与所述演示路径相比的所述变化。
11.一种系统，包括：
交通工具；和
控制系统，被配置为：
接收显示用于在一位置处导航向目的地的演示路径的视频数据，其中，所述视频数据由设备在所述位置处的路线导航期间捕获，以说明如何导航向目的地，其中，所述演示路径涵盖所导航的路线；
使用所述视频数据，识别在所述位置处的一组允许表面，其中，每个允许表面是所述演示路径经过的表面；
确定所述交通工具在所述位置处要遵循的导航向目的地的导航路径，其中，所述导航路径包括与所述演示路径相比的变化，使得所述变化使所述交通工具保持在所述一组允许表面中的一个或更多个允许表面上；和
使所述交通工具在所述位置处自主地遵循导航向目的地的所述导航路径。
12.根据权利要求11所述的系统，其中，所述控制系统还被配置为：
确定靠近所述位置以投放所述交通工具的定位，其中，所述交通工具位于被配置为航行于多个位置之间的另一交通工具上；以及
使所述交通工具在所述位置处投放。
13.根据权利要求11所述的系统，其中，所述控制系统被配置为进一步通过确定所述一组允许表面中的每个允许表面的物理特征来识别所述位置处的所述一组允许表面。
14.根据权利要求13所述的系统，其中，所述控制系统被配置为：基于关于所述一组允许表面中的每个允许表面确定的物理特征，确定所述交通工具在所述位置处要遵循的所述导航路径。
15.根据权利要求11所述的系统，其中，所述控制系统还被配置为：基于所接收的视频数据，提供对来自用户的注释的请求，所述注释指示与所述演示路径相对应的航点。
16.根据权利要求15所述的系统，其中，所述控制系统被配置为基于所述航点来确定所述导航路径的部分。
17.一种非暂时性计算机可读介质，在其中存储有计算系统可执行以使所述计算系统执行操作的程序指令，所述操作包括：
接收显示用于在一位置处导航向目的地的演示路径的视频数据，其中，所述视频数据由设备在所述位置处的路线导航期间捕获，以说明如何导航向目的地，其中，所述演示路径涵盖所导航的路线；
使用所述视频数据，识别在所述位置处的一组允许表面，其中，每个允许表面是所述演示路径经过的表面；
确定交通工具在所述位置处要遵循的导航向目的地的导航路径，其中，所述导航路径包括与所述演示路径相比的变化，使得所述变化使所述交通工具保持在所述一组允许表面中的一个或更多个允许表面上；以及
使所述交通工具在所述位置处自主地遵循导航向目的地的所述导航路径。
18.根据权利要求17所述的非暂时性计算机可读介质，其中，识别在所述位置处的所述一组允许表面的所述操作包括：
确定与在所述位置处的给定允许表面相对应的铺砌走道。
19.根据权利要求18所述的非暂时性计算机可读介质，其中，确定所述交通工具在所述位置处要遵循的所述导航路径的所述操作包括：
确定所述导航路径，使得所述导航路径的一部分使用所识别的铺砌走道的一部分。
20.根据权利要求17所述的非暂时性计算机可读介质，其中，所述操作还包括：
使用所述视频数据识别位于所述演示路径附近的障碍物；
确定所述障碍物阻挡所述交通工具在所述位置遵循所述导航路径；和
在所述位置处向用户发送请求，以请求允许交通工具离开所述一组允许表面从而绕过所述障碍物以完成在所述位置处的导航。
CN201880050220.1A 2017-08-02 2018-07-24 用于无人驾驶交通工具的导航路径确定的系统和方法 Active CN110998466B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/667,443 2017-08-02
US15/667,443 US10393528B2 (en) 2017-08-02 2017-08-02 Systems and methods for navigation path determination for unmanned vehicles
PCT/US2018/043449 WO2019027732A1 (en) 2017-08-02 2018-07-24 SYSTEMS AND METHODS FOR NAVIGATION TRACK DETERMINATION FOR VEHICLES WITHOUT PILOT

Publications (2)

Publication Number Publication Date
CN110998466A CN110998466A (zh) 2020-04-10
CN110998466B true CN110998466B (zh) 2023-07-14

Family

ID=65229331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880050220.1A Active CN110998466B (zh) 2017-08-02 2018-07-24 用于无人驾驶交通工具的导航路径确定的系统和方法

Country Status (6)

Country Link
US (1) US10393528B2 (zh)
EP (1) EP3662334A4 (zh)
CN (1) CN110998466B (zh)
AU (1) AU2018311699B2 (zh)
SG (1) SG11202000013WA (zh)
WO (1) WO2019027732A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10353388B2 (en) 2016-10-17 2019-07-16 X Development Llc Drop-off location planning for delivery vehicle
CN107845011B (zh) * 2017-08-07 2019-08-02 北京小度信息科技有限公司 用于处理订单的方法和装置
US11681293B2 (en) * 2018-06-07 2023-06-20 Deka Products Limited Partnership System and method for distributed utility service execution
US20210095978A1 (en) * 2019-09-26 2021-04-01 Uber Technologies, Inc. Autonomous Navigation for Light Electric Vehicle Repositioning
DE102019219660A1 (de) * 2019-12-16 2021-06-17 Volkswagen Aktiengesellschaft Verfahren zur Erstellung von Navigationshilfen für Auslieferungsroboter, System für die Erstellung von Navigationshilfen für Auslieferungsroboter
WO2021196241A1 (zh) * 2020-04-03 2021-10-07 Oppo广东移动通信有限公司 通信控制方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8996224B1 (en) * 2013-03-15 2015-03-31 Google Inc. Detecting that an autonomous vehicle is in a stuck condition

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7979172B2 (en) 1997-10-22 2011-07-12 Intelligent Technologies International, Inc. Autonomous vehicle travel control systems and methods
US8035508B2 (en) 2002-06-11 2011-10-11 Intelligent Technologies International, Inc. Monitoring using cellular phones
DE60316327T2 (de) 2003-07-17 2008-01-03 Harman Becker Automotive Systems Gmbh Routenberechnung um verkehrshindernisse herum unter verwendung markierter umleitungen
US7666682B2 (en) 2003-10-21 2010-02-23 Immediate Response Technologies, Inc. Marking system
KR20050081492A (ko) 2004-02-13 2005-08-19 디브이에스 코리아 주식회사 전방 실제 영상을 사용한 자동차 항법 장치 및 그 제어 방법
EP2605194A1 (en) 2005-06-21 2013-06-19 United Parcel Service Of America, Inc. Systems and Methods for Providing Personalized Delivery Services
US7953526B2 (en) 2006-01-18 2011-05-31 I-Guide Robotics, Inc. Robotic vehicle controller
US9373149B2 (en) * 2006-03-17 2016-06-21 Fatdoor, Inc. Autonomous neighborhood vehicle commerce network and community
US9070101B2 (en) 2007-01-12 2015-06-30 Fatdoor, Inc. Peer-to-peer neighborhood delivery multi-copter and method
US20140330456A1 (en) 2006-03-17 2014-11-06 Manuel R. Lopez Morales Landing site designation in an autonomous delivery network
US8187182B2 (en) * 2008-08-29 2012-05-29 Dp Technologies, Inc. Sensor fusion for activity identification
EP2427729A4 (en) 2009-05-04 2014-08-27 Tomtom North America Inc METHOD AND SYSTEM FOR REDUCING SHAPE POINTS IN A GEOGRAPHIC DATA COMPUTING SYSTEM
WO2011106787A2 (en) 2010-02-26 2011-09-01 Duthie Hill Llc Systems and methods for arranging delivery of a package
US8762041B2 (en) 2010-06-21 2014-06-24 Blackberry Limited Method, device and system for presenting navigational information
US9043129B2 (en) 2010-10-05 2015-05-26 Deere & Company Method for governing a speed of an autonomous vehicle
US8743244B2 (en) 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
EP2527792B1 (de) 2011-05-27 2014-03-12 EADS Deutschland GmbH Verfahren zur Pilotenunterstützung für die Landung eines Luftfahrzeugs unter Sichtbehinderungen
US8600589B2 (en) 2012-04-24 2013-12-03 Exelis, Inc. Point cloud visualization of acceptable helicopter landing zones based on 4D LIDAR
US9384668B2 (en) 2012-05-09 2016-07-05 Singularity University Transportation using network of unmanned aerial vehicles
US8949016B1 (en) 2012-09-28 2015-02-03 Google Inc. Systems and methods for determining whether a driving environment has changed
FR2996670B1 (fr) 2012-10-05 2014-12-26 Dassault Aviat Systeme de visualisation pour aeronef, et procede de visualisation associe
US10387824B2 (en) 2012-12-21 2019-08-20 United Parcel Service Of America, Inc. Systems and methods for delivery of an item
US10551851B2 (en) 2013-07-01 2020-02-04 Steven Sounyoung Yu Autonomous unmanned road vehicle for making deliveries
US9150224B2 (en) 2013-09-24 2015-10-06 Ford Global Technologies, Llc Transitioning from autonomous vehicle control to to driver control to responding to driver control
US9573684B2 (en) 2013-10-26 2017-02-21 Amazon Technologies, Inc. Unmanned aerial vehicle delivery system
US9517771B2 (en) 2013-11-22 2016-12-13 Ford Global Technologies, Llc Autonomous vehicle modes
US11087268B2 (en) 2013-12-02 2021-08-10 United Parcel Service Of America, Inc. Systems and methods for delivering an item to a dynamic location
US20150158599A1 (en) 2013-12-10 2015-06-11 Michael Sisko Robotic aerial vehicle delivery system and method
US9177481B2 (en) 2013-12-13 2015-11-03 Sikorsky Aircraft Corporation Semantics based safe landing area detection for an unmanned vehicle
US9989967B2 (en) 2014-03-04 2018-06-05 Cybernet Systems Corporation All weather autonomously driven vehicles
US9336506B2 (en) 2014-05-02 2016-05-10 Google Inc. Machine-readable delivery platform for automated package delivery
US10207193B2 (en) * 2014-05-21 2019-02-19 Universal City Studios Llc Optical tracking system for automation of amusement park elements
WO2015179797A1 (en) 2014-05-23 2015-11-26 Lily Robotics, Inc. Unmanned aerial copter for photography and/or videography
US9335764B2 (en) * 2014-05-27 2016-05-10 Recreational Drone Event Systems, Llc Virtual and augmented reality cockpit and operational control systems
US10163177B2 (en) 2014-07-31 2018-12-25 Emmett Farris System and method for controlling drone delivery or pick up during a delivery or pick up phase of drone operation
US9359074B2 (en) 2014-09-08 2016-06-07 Qualcomm Incorporated Methods, systems and devices for delivery drone security
US9459620B1 (en) 2014-09-29 2016-10-04 Amazon Technologies, Inc. Human interaction with unmanned aerial vehicles
US9129355B1 (en) * 2014-10-09 2015-09-08 State Farm Mutual Automobile Insurance Company Method and system for assessing damage to infrastructure
US9868526B2 (en) 2014-10-15 2018-01-16 W. Morrison Consulting Group, Inc. Airborne drone delivery network and method of operating same
US20160146616A1 (en) 2014-11-21 2016-05-26 Alpine Electronics, Inc. Vehicle positioning by map matching as feedback for ins/gps navigation system during gps signal loss
US9568335B2 (en) 2015-01-30 2017-02-14 Nissan North America, Inc. Associating parking areas with destinations based on automatically identified associations between vehicle operating information and non-vehicle operating information
CN107407938B (zh) * 2015-03-31 2021-04-02 深圳市大疆创新科技有限公司 针对限飞区域的开放平台
US9488979B1 (en) 2015-04-14 2016-11-08 Zipline International Inc. System and method for human operator intervention in autonomous vehicle operations
US10088736B2 (en) 2015-09-24 2018-10-02 Amazon Technologies, Inc. Unmanned aerial vehicle descent
WO2017079404A1 (en) 2015-11-06 2017-05-11 Wal-Mart Stores, Inc. Targeted location product delivery systems and methods
EP3391164B1 (en) * 2016-01-08 2021-10-20 Pictometry International Corp. System and method for capturing, processing, retrieving and displaying images from an unmanned aerial vehicle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8996224B1 (en) * 2013-03-15 2015-03-31 Google Inc. Detecting that an autonomous vehicle is in a stuck condition

Also Published As

Publication number Publication date
WO2019027732A1 (en) 2019-02-07
US20190041219A1 (en) 2019-02-07
SG11202000013WA (en) 2020-02-27
US10393528B2 (en) 2019-08-27
AU2018311699A1 (en) 2020-01-30
CN110998466A (zh) 2020-04-10
EP3662334A4 (en) 2021-05-05
EP3662334A1 (en) 2020-06-10
AU2018311699B2 (en) 2020-10-29

Similar Documents

Publication Publication Date Title
AU2021201661B2 (en) Systems and methods for determining path confidence for unmanned vehicles
CN110998466B (zh) 用于无人驾驶交通工具的导航路径确定的系统和方法
AU2018311702B2 (en) Model for determining drop-off spot at delivery location
TWI827649B (zh) 用於ｖｓｌａｍ比例估計的設備、系統和方法
CN113853508A (zh) 定位方法和定位装置
JP2020079997A (ja) 情報処理装置、情報処理方法、及びプログラム
CN111837136A (zh) 基于本地感测的自主导航以及相关联的系统和方法
US11880203B2 (en) Methods and system for predicting trajectories of uncertain road users by semantic segmentation of drivable area boundaries
Gomez et al. Ros-based architecture for autonomous intelligent campus automobile (icab)
MacArthur et al. Use of cooperative unmanned air and ground vehicles for detection and disposal of simulated mines
Wallar et al. Foresight: Remote sensing for autonomous vehicles using a small unmanned aerial vehicle
Bao et al. Outdoor navigation of a mobile robot by following GPS waypoints and local pedestrian lane
WO2022178738A1 (en) Method and system for generating a topological graph map
Basiri et al. An autonomous mobile manipulator to build outdoor structures consisting of heterogeneous brick patterns
Nieuwenhuisen et al. Autonomous MAV navigation in complex GNSS-denied 3D environments
Tomizawa et al. Developing a Remotely Operated Portable Mobile Robot
Buckeridge et al. Autonomous social robot navigation in unknown urban environments using semantic segmentation
US20230351739A1 (en) Network for multisweep 3d detection
WO2023228283A1 (ja) 情報処理システム及び移動体、情報処理方法、プログラム
Yaakub et al. A Review on Autonomous Driving Systems
US20240124028A1 (en) Autonomous vehicle blind spot management
Lu et al. An Autonomous Vehicle Platform for Parcel Delivery
Mattison et al. An autonomous ground explorer utilizing a vision-based approach to indoor navigation
Dragt Modelling and Control of an Autonomous Underground Mine Vehicle
WO2023229731A1 (en) System and method for inbound and outbound autonomous vehicle operations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant