CN112447059A - 用于使用遥操作命令来管理运输装置车队的系统和方法 - Google Patents

用于使用遥操作命令来管理运输装置车队的系统和方法 Download PDF

Info

Publication number
CN112447059A
CN112447059A CN202010857229.2A CN202010857229A CN112447059A CN 112447059 A CN112447059 A CN 112447059A CN 202010857229 A CN202010857229 A CN 202010857229A CN 112447059 A CN112447059 A CN 112447059A
Authority
CN
China
Prior art keywords
electric vehicle
teleoperational
electric
indication
electric scooter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010857229.2A
Other languages
English (en)
Inventor
斯姆如蒂·帕尼格拉希
贾斯汀·米勒
蒂莫西·费尔德坎普
洪相贤
卢建波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN112447059A publication Critical patent/CN112447059A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291—Fleet control
    • G05D1/0293—Convoy travelling
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291—Fleet control
    • G05D1/0295—Fleet control by at least one leading vehicle of the fleet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62J—CYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J43/00—Arrangements of batteries
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62K—CYCLES; CYCLE FRAMES; CYCLE STEERING DEVICES; RIDER-OPERATED TERMINAL CONTROLS SPECIALLY ADAPTED FOR CYCLES; CYCLE AXLE SUSPENSIONS; CYCLE SIDE-CARS, FORECARS, OR THE LIKE
    • B62K2204/00—Adaptations for driving cycles by electric motor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62K—CYCLES; CYCLE FRAMES; CYCLE STEERING DEVICES; RIDER-OPERATED TERMINAL CONTROLS SPECIALLY ADAPTED FOR CYCLES; CYCLE AXLE SUSPENSIONS; CYCLE SIDE-CARS, FORECARS, OR THE LIKE
    • B62K3/00—Bicycles
    • B62K3/002—Bicycles without a seat, i.e. the rider operating the vehicle in a standing position, e.g. non-motorized scooters; non-motorized scooters with skis or runners

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Abstract

本公开提供了“用于使用遥操作命令来管理运输装置车队的系统和方法”。本文中提供了用于使用遥操作来管理运输装置车队的系统和方法。遥操作可有益于执行车队管理任务，诸如重平衡、将装置重定位到充电站和/或辅助自主地操作的遇到障碍物并且无法自主地前进的装置。

Description

用于使用遥操作命令来管理运输装置车队的系统和方法
技术领域
本公开涉及用于使用遥操作命令来管理运输装置车队的系统和方法，并且更特别地涉及使用遥操作来辅助无法以自主模式继续操作的电动车辆，诸如电动踏板车(“电动车辆”)。
背景技术
遥操作式电动车辆(诸如电动踏板车)有各种应用。一些示例可包括使用遥操作来执行使电动踏板车重平衡(将电动踏板车移动到更优的位置)的操作以优化电动踏板车车流并减少停机时间，以及确保电动踏板车被置于人行道上不干扰行人/自行车交通的区域中。遥操作还可允许遥操作员同时地管理和操作多个电动踏板车，并且可允许遥操作员当电动踏板车遇到问题并且无法自主地操作时干预并手动地操作电动踏板车。在计算机屏幕上或在沉浸式环境中实时地查看每个电动踏板车的整个地理围栏区域和位置可用于增强遥操作体验。这些仅是使用遥操作命令来进行运输装置管理的示例益处，并且不意图进行限制。
发明内容
本文中提供了用于使用遥操作来管理运输装置车队的系统和方法。遥操作可有益于执行车队管理任务，诸如重平衡、将装置重定位到充电站和/或辅助自主地操作的遇到障碍物并且无法自主地前进的装置。
附图说明
参考附图阐述了具体实施方式。使用相同的附图标记可指示类似或相同的物品。各种实施例可利用除了在附图中示出的元件和/或部件之外的元件和/或部件，并且一些元件和/或部件在各种实施例中可能不存在。图中的元件和/或部件不一定按比例绘制。在整个本公开中，根据上下文，可互换地使用单数和复数术语。
图1描绘了根据本公开的一个或多个示例实施例的说明性架构。
图2描绘了根据本公开的一个或多个示例实施例的运输装置的示例环境。
图3描绘了根据本公开的一个或多个示例实施例的示例方法的流程图。
图4A描绘了根据本公开的一个或多个示例实施例的示例遥操作用户界面。
图4B描绘了根据本公开的一个或多个示例实施例的示例遥操作用户界面。
具体实施方式
概述
除其他外，本公开涉及用于使用遥操作命令来管理运输装置车队的系统和方法。在一些实施例中，运输装置车队可包括电动车辆车队。更具体地，在一个示例中，电动车辆车队可包括电动踏板车车队(为简单起见，本文对“电动踏板车”的任何提及可类似地应用于任何其他类型的运输装置，诸如电动车辆、自主车辆、机器人等)。用户或遥操作员可能能够与电动踏板车车队中的一个或多个电动踏板车建立遥操作通信，以便向电动踏板车提供指令(例如，命令电动踏板车行驶到特定目的地，或者甚至执行更小尺度的动作，诸如以特定速率向前移动、左转等)。遥操作可被定义为从远程位置执行的操作，例如对本文中所述的电动踏板车的远程控制。在一些情况下，遥操作可有益于执行电动踏板车车队管理任务，诸如重平衡(例如，将电动踏板车重安排在地理围栏内的最佳位置中)或将电动踏板车引导到充电站(例如，这两个任务可能都在图2中进行了描绘)。遥操作在电动踏板车自主地操作但遇到自身无法越过的障碍物并且因此要求遥操作辅助来前进的情况下也可能是有益的。
在一些实施例中，可向遥操作员提供电动踏板车可能要求遥操作辅助的指示。例如，如果电动踏板车已怠速超过阈值时间段(例如，五分钟或更长)，或者如果电动踏板车具有小于阈值量的剩余电池电量(例如，25％电池电量)，则可提供这样的指示。这些指示可用于向遥操作员通知：遥操作员需要向电动踏板车提供遥操作命令以执行诸如将电动踏板车移动到更优的位置或将电动踏板车送往充电站的动作。在一些实施例中，遥操作员可通过遥操作通信自动地连接到电动踏板车，而不是在遥操作员决定是否遥操作电动踏板车之前就发送指示。
在一些实施例中，遥操作可涉及使用人机界面(HCI)。HCI可由至少两个部分组成：1)输出装置(例如，图形界面)，该输出装置可呈现来自电动踏板车的关于电动踏板车的状态和电动踏板车周围的环境的状态的所有必要反馈；以及2)输入装置，该输入装置可用于向所述电动踏板车发出命令。在一些情况下，输入装置的示例可包括游戏板、操纵杆、游戏方向盘、触摸屏平板计算机或能够用于向电动踏板车提供输入命令的任何其他装置。例如，输出装置可包括具有深度信息的图形界面，诸如平板计算机上的用户界面位置。沉浸在电动踏板车的视觉传感器在真实世界中看到的环境中的用户可为遥操作员提供真实且无缝的控制体验。下面进一步描述输入和/或输出装置以及能够用作输入装置和输出装置两者的装置的其他示例。
遥操作也可使用增强现实(AR)来执行。增强现实可被定义为将虚拟内容叠加到真实世界视图上。一种示例方法可以是基于用诸如移动电话或平板计算机的装置的触摸面板实现AR。该示例方法可涉及遥操作和自主导航的组合，因为可在装置屏幕上向遥操作员呈现反馈数据，就像在遥操作中一样，但不是操纵电动踏板车本身，而是遥操作员可提供供电动踏板车自主完成的输入(例如，目的地目标或整个轨迹路径)。在一些实施例中，例如，遥操作员可手动地绘制路径以提供电动踏板车的轨迹(例如，如参考图4A和图4B所描述)。
虚拟现实(VR)也可用于执行遥操作。例如，AR可与来自VR头戴式耳机的输入集成，这可用于增强对电动踏板车的控制。来自VR头戴式耳机(其可配备有惯性传感器)的信号可用于馈送到电动踏板车的控制输入端，使得例如当遥操作员转动他/她的头部时，电动踏板车可执行对应的转向动作。作为另一个示例，当遥操作员向上或向下移动他/她的头部时，电动踏板车可向前移动或制动。加速和制动的量或速率也可使用来自VR头戴式耳机或触觉手套的反馈来控制(例如，遥操作员向上或向下移动他/她的头部的速率可直接地与电动踏板车向前移动或制动的速率相对应)。另外，VR头戴式耳机可用于为遥操作员提供电动踏板车的环境的视觉表示。可基于由电动踏板车(或车队内的任何数量的电动踏板车)或由环境内的任何数据捕获装置或基础设施(例如，交通相机、无人机、道路上的通过车辆对车辆(V2V)或车辆对基础设施(V2I)进行通信的车辆等)捕获的数据来生成这种环境和/或对这种环境进行补充。
混合现实(MR)也可用于执行遥操作。混合现实可被定义为存在于增强现实与虚拟现实之间的虚拟元素被锚定到真实世界视图的技术。在混合现实下，遥操作员可使用可穿戴式混合现实(MR)护目镜和触觉手套。使用MR，遥操作员可在表示电动踏板车的环境的虚拟环境中行走，并且可在其在虚拟环境中路过电动踏板车时与该电动踏板车交互。在一些情况下，一种这样形式的交互可涉及遥操作员通过MR头戴式耳机提供电动踏板车要遵循的行驶轨迹或行驶到达的目的地位置。当操作员在虚拟环境中遇到需要送回对接站的电动踏板车时，他/她可能能够在MR头戴式耳机中看到同一电动踏板车的虚拟化身，并且还可能能够使用他/她的眼睛移动来提供电动踏板车到对接站(或任何其他目标位置)的轨迹。然后可将眼睛移动转换成轨迹，之后可经由无线网络(例如，5G网络)将所述轨迹发送到电动踏板车。然后，电动踏板车可自主地遵循所指示的轨迹，或者可行驶到所指示的目的地位置。在一些情况下，与电动踏板车自主地执行导航相反，遥操作员还可使用触觉手套和MR头戴式耳机来接管对电动踏板车的控制并将所述电动踏板车导航到期望的目标位置。
在一些实施例中，电动踏板车可在环境中导航时在多个模式(例如，自主模式和遥操作模式)之间切换。例如，电动踏板车可使用车载传感器(诸如相机和超声传感器)来执行自主导航。相机可用于检测障碍物，该障碍物可触发扫描模式，在该扫描模式中，电动踏板车扫描其环境以确定是以自主模式继续进行，还是转变到遥操作模式。如果电动踏板车转变到遥操作模式，则可通知遥操作员，并且随后所述遥操作员可控制电动踏板车。由于遥操作员在其导航时还可通过电动踏板车的传感器观察环境，因此遥操作员还可在任何点处改变轨迹，以便提供新轨迹以避免与人或环境发生碰撞。
在一些实施例中，可同时对多个电动踏板车执行本文中所述的操作中的任一个，诸如重平衡。例如，遥操作员可选择或以其他方式命令多个电动踏板车行驶到一个或多个特定目的地。在一些情况下，遥操作员还可为电动踏板车中的每一个在最佳距离和/或最佳行驶时间之间作出选择。可例如以GPS坐标的形式向电动踏板车中的每一个发送目的地位置。可向电动踏板车中的每一个发送路线，并且电动踏板车中的每一个可自主地导航到一个或多个目的地位置。遥操作员也可手动地干预遥操作命令并将遥操作命令提供给电动踏板车中的一个或多个电动踏板车。例如，电动踏板车中的一个或多个电动踏板车可能会被卡在障碍物处，可向遥操作员指示这种情况，并且遥操作员可提供命令以辅助电动踏板车。
当确定是否应使用什么类型的遥操作系统和/或遥操作是否比自主导航更合适时，可考虑诸如延时的连接考虑因素。例如，如果确定存在高延时连接，则使电动踏板车自主地操作将是更有益的，因为遥操作命令在到达电动踏板车的过程中会遭遇迟滞。在一些情况下，可对所有传感器数据和机器人命令加时间戳，并且可将延时测量为电动踏板车接收到命令的时间与加时间戳的数据中指示的时间之间的时间差。
说明性实施例
现在转向附图，图1描绘了其中可实现本公开的技术和结构的说明性架构100。说明性架构100可包括运输装置车队网络102，该运输装置车队网络包括多个运输装置102(a)、102(b)和102(c)。在一些实施例中，运输装置车队网络可包括电动踏板车车队网络并且可包括电动踏板车(例如，其可为102(a)、102(b)和102(c))、通信网络104、一个或多个无人机106、服务器108和一个或多个遥操作装置110，所述一个或多个遥操作装置包括例如应用程序装置112、虚拟现实和/或混合现实设备114和/或操纵杆116(或类似的物理控制装置)，所有这些都可由用户118(例如，遥操作员)操作。在一些实施例中，电动踏板车车队网络102可包括任何其他类型的运输装置，诸如自主车辆、电动自行车等。
在一些实施例中，通信网络104可包括多个不同类型的网络，诸如有线网络、互联网、无线网络和其他专用和/或公共网络中的任一种或其组合。在一些情况下，通信网络104可包括蜂窝(例如，5G)、Wi-Fi或Wi-Fi直连。在一些实施例中，网络可涉及网络中的电动踏板车之间和/或网络中的电动踏板车与网络之外的元件之间的通信。例如，仅举几例，可使用车辆对车辆(V2V)通信、车辆对基础设施(V2I)通信、车辆对外界(V2X)通信和/或专用短程通信(DSRC)。
电动踏板车(例如，电动踏板车102(a))可包括至少一个或多个处理器116、存储器118、一个或多个操作模块120和一个或多个传感器122。在一些实施例中，本文中所述的模块(例如，操作模块120)的功能也可被实现为单个模块或任何其他数量的模块。本文参考电动踏板车102(a)作出的任何描述可类似地应用于任何其他电动踏板车，例如像电动踏板车102(b)或102(c)。
在一些实施例中，电动踏板车102(a)可包括一个或多个处理器116，该一个或多个处理器可包括能够接收数字数据作为输入、基于所存储的计算机可执行指令来处理输入数据并且生成输出数据的任何合适的处理单元。计算机可执行指令可被存储在例如数据存储设备中，并且除其他外可包括操作系统软件和应用程序软件。可根据执行需要从数据存储设备中检索计算机可执行指令并将其加载到存储器118中。处理器116可被配置为执行计算机可执行指令以致使执行各种操作。每个处理器116可包括任何类型的处理单元，包括但不限于：中央处理单元、微处理器、微控制器、精简指令集计算机(RISC)微处理器、复杂指令集计算机(CISC)微处理器、专用集成电路(ASIC)、片上系统(SoC)、现场可编程门阵列(FPGA)等。
存储器118可为易失性存储器(在无电力供应时没有被配置为保留所存储信息的存储器)，诸如随机存取存储器(RAM)；和/或非易失性存储器(即使在无电力供应时也被配置为保留所存储信息的存储器)，诸如只读存储器(ROM)、快闪存储器等。在各种实现方式中，存储器118可包括多个不同类型的存储器，诸如各种形式的静态随机存取存储器(SRAM)、各种形式的动态随机存取存储器(DRAM)、不可更改ROM和/或ROM的可写变体(诸如电可擦除可编程只读存储器(EEPROM))、快闪存储器等。
操作模块120可执行操作，包括至少从一个或多个电动踏板车中的第一电动踏板车接收一个或多个状态输入，以及基于该一个或多个状态输入，在第一电动踏板车与一个或多个遥操作系统之间建立遥操作通信。操作模块120还可能能够执行本文中所述的任何操作或功能。
传感器122可包括用于捕获电动踏板车102(a)的环境中的数据的任何传感器，包括例如音频传感器、视频传感器、加速度计、陀螺仪、温度传感器、接近传感器、激光雷达等。由传感器122捕获的信息可以多种不同的方式使用。例如，传感器信息可由电动踏板车102(a)本身使用来执行环境的自主导航。传感器信息可被传输到远程用户或遥操作员，并且可辅助遥操作员来遥操作电动踏板车102(a)(例如，可提供电动踏板车102(a)的视角的视频馈送以辅助遥操作员通过遥操作命令来导航电动踏板车102(a))。类似地，传感器信息可被传输到遥操作装置110中的任一个(例如，传感器信息可用于通过虚拟现实和/或混合现实设备114来辅助创建电动踏板车102(a)的虚拟环境)。传感器信息还可用于提供电动踏板车102(a)要求遥操作的指示。例如，如果电动踏板车102(a)已怠速超过阈值时间段，或者如果电动踏板车102(a)具有小于阈值的电池电量并且需要导航到充电站。
在一些实施例中，无人机106可指空中装置。无人机可用于对由电动踏板车102(a)捕获的传感数据进行补充。在一些情况下，无人机可跟随电动踏板车102(a)并捕获关于电动踏板车102(a)周围的环境的数据。例如，无人机可提供电动踏板车102(a)的空中视频馈送。作为示例，单独的无人机可被分配给特定电动踏板车102(a)，可被分配给多个电动踏板车102(a)，或者可被分配给特定地理围栏或地理区域。
服务器108可用作远程云平台以执行本文中所述的功能中的任一个，诸如相对于电动踏板车车队中的电动踏板车(例如，102(a))的操作。服务器108可包括单个计算装置或分布在网络上的多个计算装置。
遥操作装置110可允许用户118(诸如遥操作员)向电动踏板车102(a)提供遥操作命令。例如，遥操作命令可包括用于使电动踏板车102(a)向前或向后行驶、转弯、停止、遵循特定行驶路径或进行电动踏板车102(a)能够执行的任何其他操作的指令。
在一些实施例中，遥操作装置110可包括应用程序装置112。应用程序装置112可包括用于向电动踏板车102(a)提供遥操作命令的任何形式的计算机实现的应用程序(例如，台式计算机、膝上型计算机、平板计算机等)。应用程序装置112还可实施增强现实特征以辅助遥操作员对电动踏板车102(a)执行遥操作功能。例如，应用程序装置112可将信息覆盖在用户界面上。在一些情况下，应用程序装置112可包括与参考图4A和图4B描述的界面类似的界面。
在一些实施例中，遥操作装置110可包括虚拟现实和/或混合现实设备114。虚拟现实和/或混合现实设备可包括例如虚拟现实头戴式耳机和/或其他虚拟现实设备。虚拟现实和/或混合现实设备114可通过允许遥操作员与表示电动踏板车102(a)的真实环境的虚拟环境交互来对应用程序装置114的增强现实进行补充。遥操作员通过穿戴虚拟现实和/或混合现实设备114就可能能够查看电动踏板车102(a)或电动踏板车102(a)的环境中的任何其他装置的视频和/或音频馈送(例如，来自电动踏板车102(a)和/或无人机的视角)，并且还可能能够通过虚拟现实和/或混合现实装备114提供命令。在一些情况下，用户可通过身体移动向电动踏板车102(a)提供命令。作为一个示例，用户可能能够向前和向后倾斜其头部以向前和向后移动电动踏板车102(a)，并且向左或向右移动其头部以使电动踏板车102(a)转弯。作为另一个示例，用户可能能够使用手势来向电动踏板车102(a)提供命令。在一些情况下，电动踏板车102(a)执行命令的速率也可由虚拟现实和/或混合现实设备114确定。例如，用户向前移动其头部的速率可直接地与电动踏板车102(a)向前行驶的速度相对应。作为另一个示例，用户的头部的角度可指示电动踏板车102(a)的预期的速度。
在一些实施例中，遥操作装置110可包括操纵杆116或用于控制电动踏板车102(a)的类似的模拟或其他装置。操纵杆116或类似的装置可用于以与虚拟现实和/或混合现实设备114类似的方式向电动踏板车102(a)提供遥操作命令，但用户并不是移动其身体的部位来指示电动踏板车102(a)的移动指令，而是用户与操纵杆116交互以提供移动指令。例如，向前移动操纵杆116可指示电动踏板车102(a)也向前行驶。操纵杆116还可与虚拟现实和/或混合现实设备114或任何其他遥操作装置110组合使用。
图2描绘了电动踏板车206的示例环境200，该示例环境包括地理围栏环境202。电动踏板车206可与电动踏板车102(a)、102(b)、102(c)中的任一个或电动踏板车车队102中的任何其他电动踏板车相同。地理围栏环境202可被描述为允许电动踏板车206穿行的地理区域。地理围栏环境202可由边界线204限定，其中地理围栏环境202被包含在边界线204内。地理围栏环境202可包括一个或多个电动踏板车充电站208，电动踏板车206可自主地行驶到该一个或多个电动踏板车充电站，或者电动踏板车206可基于来自遥操作员的命令来行驶到该一个或多个电动踏板车充电站。地理围栏环境202还可包括在重平衡操作期间供电动踏板车206行驶到达的一个或多个最佳位置210。例如，最佳位置210可包括遭遇较大行人步行交通量的区域，并且因此将更有可能导致用户乘骑电动踏板车206。
图3是本公开的示例方法的流程图。在一些实施例中，该方法包括从一个或多个电动踏板车中的第一电动踏板车接收一个或多个状态输入的操作302。
在一些实施例中，该方法包括基于一个或多个状态输入来在第一电动踏板车与一个或多个遥操作系统之间建立遥操作通信的操作304。
图4A描绘了示例遥操作用户界面400。示例遥操作用户界面400可呈现在用户移动装置402(例如，应用程序装置112)上，并且可显示电动踏板车403(其可与电动踏板车102(a)相同)周围的环境的街道视图。遥操作用户界面可允许用户(例如，遥操作员)通过在遥操作用户界面400上绘制电动踏板车403要遵循的行驶路径406来控制电动踏板车403的移动。然后，电动踏板车403可遵循行驶路径到达目的地位置408。电动踏板车403可在没有另外的用户输入的情况下以自主模式执行这些操作。如果电动踏板车403开始行驶到目的地位置408并且确定其已遇到其无法自主地越过的障碍物，则可向用户发送指示，并且用户可提供遥操作命令以辅助电动踏板车403到达目的地位置408。
图4B描绘了遥操作用户界面401的第二示例。该第二示例可类似于图4A的第一示例，但在以下方面可能有所不同：显示地图视图而不是街道视图。用户仍然可绘制电动踏板车403(其可与电动踏板车102(a)相同)的行驶路径406，但可替代地参考在地图上显示的道路和其他特征来绘制行驶路径406。在图4A和图4B中所述的实例中的任一者中，用户可能能够查看与电动踏板车403的当前位置有关的信息，该信息可在示例用户界面400或401中可视地显示。用户还可能能够通过从电动踏板车403本身、与电动踏板车403相关联的飞行无人机和/或位于电动踏板车403的环境中的任何数据捕获元件(诸如交通相机)接收的视频、音频和其他数据流来跟踪电动踏板车403的行进。
在以上公开内容中，已参考了形成以上公开内容的一部分的附图，所述附图示出了其中可实践本公开的具体实施方式。应理解，可利用其他实现方式，并且在不脱离本公开的范围的情况下，可进行结构改变。本说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指示所描述的实施例可包括特定特征、结构或特性，但每个实施例可不一定包括所述特定特征、结构或特性。此外，此类短语不一定指代同一个实施例。另外，当结合实施例描述特定特征、结构或特性时，无论是否明确地描述，本领域技术人员都将认识到结合其他实施例的此类特征、结构或特性。
如本文所述，本文所公开的系统、设备、装置和方法的实现方式可包括或利用专用或通用计算机，所述专用或通用计算机包括计算机硬件，例如像一个或多个处理器和系统存储器。本公开的范围内的实现方式还可包括用于携载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。此类计算机可读介质可为可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。携载计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实现方式可包括至少两种截然不同的计算机可读介质：计算机存储介质(装置)和传输介质。
计算机可执行指令包括例如当在处理器处执行时致使通用计算机、专用计算机或专用处理装置执行特定功能或功能组的指令和数据。计算机可执行指令可为例如二进制代码、中间格式指令(诸如汇编语言)或甚至源代码。尽管已用特定于结构特征和/或方法动作的语言描述了本主题，但应理解，在所附权利要求中限定的主题不必限于上面描述的所述特征或动作。相反，所描述的特征和动作被公开作为实现权利要求的示例形式。
尽管已在上文描述了本公开的各个实施例，但应理解，这些实施例仅通过示例而非限制的方式呈现。相关领域的技术人员将明白，在不脱离本公开的精神和范围的情况下可作出形式和细节上的各种改变。因此，本公开的广度和范围不应受上述示例性实施例中的任一者的限制，而是应仅根据所附权利要求及其等效物来限定。出于说明和描述目的已呈现了以上描述。前述描述不意图是详尽的或将本公开限制于所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。此外，应注意，任何或所有上述替代实现方式可以期望的任何组合使用以形成本公开的附加混合实现方式。例如，相对于特定装置或部件描述的任何功能都可由另一个装置或部件执行。此外，尽管已描述了特定的装置特性，但本公开的实施例可与众多其他装置特性相关。此外，尽管已用特定于结构特征和/或方法动作的语言描述了实施例，但应理解，本公开不一定限于所描述的特定特征或动作。而是，将特定特征和动作公开为实现实施例的说明性形式。除非另有特别说明或在使用时在上下文内以其他方式理解，否则诸如尤其是“可(can)”、“可(could)”、“可能”或“可能会”等条件语言一般意图表达某些实施例可包括某些特征、元件和/或步骤，而其他实施例可能不包括某些特征、元件和/或步骤。因此，此类条件语言一般并不意图暗示一个或多个实施例无论如何都需要各特征、元件和/或步骤。
在本发明的一方面，该方法包括：从第一电动车辆接收第一电动车辆当前无法以自主模式前进的指示；以及发送第一电动车辆当前无法以自主模式前进的指示；接收将在第一电动车辆与一个或多个遥操作系统之间建立第二遥操作通信的指示；以及在第一电动车辆与一个或多个遥操作系统之间建立第二遥操作通信。
在本发明的一方面，该方法包括：在第二遥操作通信中接收第一电动车辆要遵循的行驶路径的指示，其中该指示是呈通过装置应用程序绘制的路径线的形式；以及发送用于致使电动车辆遵循行驶路径的指令。
在本发明的一方面，该方法包括在第二遥操作通信中接收增强现实控制命令，其中该增强现实控制命令包括指示第一电动车辆的行驶方向的身体运动；基于身体运动的速度速率来确定速率；以及发送用于致使电动车辆以该确定的速率遵循控制命令的指令。
在本发明的一方面，该方法包括确定遥操作通信的延时值下降至低于延时阈值。
根据本发明，提供了一种系统，该系统具有：一个或多个运输装置，该一个或多个运输装置包括至少一个传感器；一个或多个遥操作系统；一个或多个无人机，其中一个或多个无人机中的第一无人机被配置为提供与一个或多个运输装置中的第一运输装置的位置相对应的视频馈送；至少一个处理器；以及至少一个存储器，该至少一个存储器存储计算机可执行指令，该计算机可执行指令当由至少一个处理器执行时致使至少一个处理器：从第一运输装置接收一个或多个状态输入，其中该状态输入包括以下项中的至少一者：运输装置已保持怠速阈值时间段的指示；第一运输装置的电池电量低于阈值电量的指示；或者运输装置在以自主模式操作时遇到障碍物并且要求遥操作辅助来继续的指示；基于一个或多个状态输入，在第一运输装置与一个或多个遥操作系统之间建立遥操作通信；以及通过遥操作通信接收遥操作命令以引导运输装置的移动，其中遥操作通信通过来自第一无人机的数据进行补充。

Claims (15)

1.一种系统，所述系统包括：
一个或多个电动车辆，所述一个或多个电动车辆包括至少一个传感器；一个或多个遥操作系统；
至少一个处理器；以及
至少一个存储器，所述至少一个存储器存储计算机可执行指令，所述计算机可执行指令当由所述至少一个处理器执行时致使所述至少一个处理器：
从所述一个或多个电动车辆中的第一电动车辆接收一个或多个状态输入；以及
基于所述一个或多个状态输入，在所述第一电动车辆与所述一个或多个遥操作系统之间建立遥操作通信。
2.如权利要求1所述的系统，其中所述第一电动车辆被配置为以自主模式操作，并且其中来自所述第一电动车辆的所述一个或多个状态输入中的第一输入包括所述第一电动车辆要求通过所述一个或多个遥操作系统进行遥操作辅助的指示。
3.如权利要求1所述的系统，其中所述一个或多个遥操作系统包括装置应用程序、增强现实系统和/或混合现实系统中的至少一者。
4.如权利要求1所述的系统，所述系统还包括一个或多个无人机，其中所述一个或多个无人机中的第一无人机被配置为提供与所述第一电动车辆的位置相对应的视频馈送。
5.如权利要求1所述的系统，其中来自所述第一电动车辆的所述一个或多个状态输入中的第一输入包括以下项中的至少一者的指示：所述第一电动车辆的当前位置是非理想位置；所述第一电动车辆的电池电量低于电池电量阈值；和/或所述第一电动车辆的怠速时间高于怠速时间阈值。
6.如权利要求1所述的系统，其中所述计算机可执行指令还致使所述至少一个处理器：
接收所述第一电动车辆行驶的目的地位置的指示；以及
指示所述第一电动车辆以自主模式行驶到所述目的地位置。
7.如权利要求6所述的系统，其中所述计算机可执行指令还致使所述至少一个处理器：
从所述第一电动车辆接收所述第一电动车辆当前无法以自主模式前进的指示；以及
发送所述第一电动车辆当前无法以自主模式前进的所述指示；
接收将在所述第一电动车辆与所述一个或多个遥操作系统之间建立第二遥操作通信的指示；以及
在所述第一电动车辆与所述一个或多个遥操作系统之间建立所述第二遥操作通信。
8.如权利要求7所述的系统，其中所述计算机可执行指令还致使所述至少一个处理器：
在所述第二遥操作通信中接收所述第一电动车辆要遵循的行驶路径的指示，其中所述指示是呈在装置应用程序中绘制的路径线的形式；以及
发送用于致使所述电动车辆遵循所述路径线的指令。
9.如权利要求7所述的系统，其中所述计算机可执行指令还致使所述至少一个处理器：
在所述第二遥操作通信中接收增强现实控制命令，其中所述增强现实控制命令包括指示所述第一电动车辆的行驶方向的身体运动；
基于所述身体运动的速度速率来确定速率；以及
发送用于致使所述电动车辆以所述确定的速率遵循所述控制命令的指令。
10.如权利要求1所述的系统，其中所述计算机可执行指令还致使所述至少一个处理器：
确定所述遥操作通信的延时值下降至低于延时阈值；以及
发送用于使所述第一电动车辆以自主模式操作的指示。
11.一种电动车辆管理方法，所述电动车辆管理方法包括：
从一个或多个电动车辆中的第一电动车辆接收一个或多个状态输入；以及
基于所述一个或多个状态输入，在所述第一电动车辆与一个或多个遥操作系统之间建立遥操作通信。
12.如权利要求11所述的方法，其中所述遥操作系统包括以下项中的至少一者：装置应用程序、增强现实系统或混合现实系统。
13.如权利要求11所述的方法，其中所述第一电动车辆以自主模式操作，并且其中来自所述第一电动车辆的所述一个或多个状态输入中的第一输入包括所述第一电动车辆要求通过所述一个或多个遥操作系统进行遥操作辅助的指示。
14.如权利要求11所述的方法，其中来自所述第一电动车辆的所述一个或多个状态输入中的第一输入包括以下项中的至少一者的指示：所述第一电动车辆的当前位置是非理想位置；所述第一电动车辆的电池电量低于电池电量阈值；或者所述第一电动车辆的怠速时间高于怠速时间阈值。
15.如权利要求11所述的方法，所述方法还包括：
接收所述第一电动车辆行驶到达的目的地位置的指示；以及
指示所述第一电动车辆以自主模式行驶到所述目的地位置。
CN202010857229.2A 2019-08-27 2020-08-24 用于使用遥操作命令来管理运输装置车队的系统和方法 Pending CN112447059A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/552,979 US11422570B2 (en) 2019-08-27 2019-08-27 Systems and methods for managing a transportation device fleet using teleoperation commands
US16/552,979 2019-08-27

Publications (1)

Publication Number Publication Date
CN112447059A true CN112447059A (zh) 2021-03-05

Family

ID=74564925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010857229.2A Pending CN112447059A (zh) 2019-08-27 2020-08-24 用于使用遥操作命令来管理运输装置车队的系统和方法

Country Status (3)

Country Link
US (1) US11422570B2 (zh)
CN (1) CN112447059A (zh)
DE (1) DE102020122085A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11322030B2 (en) * 2019-06-21 2022-05-03 Acton, Inc. Electric vehicle that distributes information between vehicles in a fleet
JP2021149705A (ja) * 2020-03-19 2021-09-27 本田技研工業株式会社 収容領域管理装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112006002892B4 (de) 2005-10-21 2022-01-27 Deere & Company Systeme und Verfahren zum Umschalten zwischen autonomer und manueller Bedienung eines Fahrzeugs
US9052710B1 (en) * 2009-03-20 2015-06-09 Exelis Inc. Manipulation control based upon mimic of human gestures
US9547945B2 (en) 2011-03-18 2017-01-17 The Raymond Corporation Integration of an autonomous industrial vehicle into an asset management system
US9132913B1 (en) * 2013-09-26 2015-09-15 Rockwell Collins, Inc. Simplified auto-flight system coupled with a touchscreen flight control panel
US8825258B2 (en) 2012-11-30 2014-09-02 Google Inc. Engaging and disengaging for autonomous driving
US11137832B2 (en) * 2012-12-13 2021-10-05 Eyesight Mobile Technologies, LTD. Systems and methods to predict a user action within a vehicle
USD746747S1 (en) * 2013-09-26 2016-01-05 Rockwell Collins, Inc. Flight control panel
US9335764B2 (en) * 2014-05-27 2016-05-10 Recreational Drone Event Systems, Llc Virtual and augmented reality cockpit and operational control systems
WO2016164241A1 (en) * 2015-04-10 2016-10-13 Virzoom, Inc. Virtual reality exercise game
US20160306349A1 (en) * 2015-04-14 2016-10-20 Lifejoys, Inc. Apparatus and method for remotely maneuvering a device
WO2017217936A1 (en) 2016-06-16 2017-12-21 Neuron Mobility Pte. Ltd. Motorised scooter
US10369898B2 (en) 2017-01-17 2019-08-06 Nio Usa, Inc. Rechargeable vehicle thermal management charging system
US10740988B2 (en) * 2017-06-16 2020-08-11 nuTonomy Inc. Intervention in operation of a vehicle having autonomous driving capabilities
US10627810B2 (en) * 2017-06-16 2020-04-21 nuTonomy Inc. Intervention in operation of a vehicle having autonomous driving capabilities
US11009868B2 (en) * 2017-07-20 2021-05-18 Nuro, Inc. Fleet of autonomous vehicles with lane positioning and platooning behaviors
US20190206258A1 (en) * 2018-01-04 2019-07-04 nuTonomy Inc. Augmented reality vehicle interfacing
US11079753B1 (en) * 2018-01-07 2021-08-03 Matthew Roy Self-driving vehicle with remote user supervision and temporary override
IL277233B2 (en) * 2018-03-18 2024-04-01 Driveu Tech Ltd Device, system and method for autonomous driving and remotely controlled vehicles
WO2019191313A1 (en) * 2018-03-27 2019-10-03 Nvidia Corporation Remote operation of vehicles using immersive virtual reality environments
US10908604B2 (en) * 2018-12-14 2021-02-02 Valeo Schalter Und Sensoren Gmbh Remote operation of vehicles in close-quarter environments
US11565420B2 (en) * 2019-02-13 2023-01-31 Phantom Auto Inc. Teleoperation in a smart container yard
FR3093267B1 (fr) * 2019-02-25 2022-04-01 Transdev Group Dispositif électronique de bridage, dispositif de surveillance, véhicule automobile autonome, système de transport, procédé de bridage et produit programme ordinateur associés
US11325591B2 (en) * 2019-03-07 2022-05-10 Honda Motor Co., Ltd. System and method for teleoperation service for vehicle
US11275370B2 (en) * 2019-06-28 2022-03-15 Zoox, Inc. Techniques for navigating vehicles using teleoperator instructions
US11209822B2 (en) * 2019-06-28 2021-12-28 Zoox, Inc. Techniques for contacting a teleoperator

Also Published As

Publication number Publication date
DE102020122085A1 (de) 2021-03-04
US11422570B2 (en) 2022-08-23
US20210064059A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
US11307597B2 (en) Tele-operation of autonomous cars to negotiate problem situations
US11061406B2 (en) Object action classification for autonomous vehicles
US9922466B2 (en) Virtual reality experience for a vehicle
US10043316B2 (en) Virtual reality experience for a vehicle
EP3332300B1 (en) Method and system to construct surrounding environment for autonomous vehicles to make driving decisions
US20190286143A1 (en) Providing remote assistance to an autonomous vehicle
Liu et al. The role of the hercules autonomous vehicle during the covid-19 pandemic: An autonomous logistic vehicle for contactless goods transportation
JP2019533810A (ja) 自律的車両制御のためのニューラルネットワークシステム
JP2016095851A (ja) 自律的な乗客用の乗り物のためのコンピューティング装置、コンピュータにより実施される方法及びシステム
CN111290401A (zh) 通过引导协助操作的自动驾驶车辆
US11148668B2 (en) Autonomous vehicle control for reverse motion
US20220041146A1 (en) Systems and Methods for Emergency Braking in Autonomous Vehicles
US11046304B2 (en) Rider selectable ride comfort system for autonomous vehicle
JP2021512304A (ja) 自律走行車のバッチ経路指定のためのコンピュータフレームワーク
US11768490B2 (en) System and methods for controlling state transitions using a vehicle controller
CN112447059A (zh) 用于使用遥操作命令来管理运输装置车队的系统和方法
US11531865B2 (en) Systems and methods for parallel autonomy of a vehicle
US20230415739A1 (en) Systems and methods for controlling longitudinal acceleration based on lateral objects
JP2022034227A (ja) 運転制御装置、運転制御方法及びプログラム
US20230415781A1 (en) Systems and methods for controlling longitudinal acceleration based on lateral objects
US20240278794A1 (en) Systems and methods for controlling a vehicle
WO2024142373A1 (ja) 無人走行車両の走行経路の直観的表示
US20240075923A1 (en) Systems and methods for deweighting veering margins based on crossing time
US20240166231A1 (en) Systems and methods for determining steer while stopped behavior for a vehicle using dynamic limits
US20240241893A1 (en) Systems and methods for providing electronic maps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination