CN110192083A - 自主车辆远程支持映射界面 - Google Patents

自主车辆远程支持映射界面 Download PDF

Info

Publication number
CN110192083A
CN110192083A CN201780073364.4A CN201780073364A CN110192083A CN 110192083 A CN110192083 A CN 110192083A CN 201780073364 A CN201780073364 A CN 201780073364A CN 110192083 A CN110192083 A CN 110192083A
Authority
CN
China
Prior art keywords
vehicle
state
indicator
remote support
status
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780073364.4A
Other languages
English (en)
Other versions
CN110192083B (zh
Inventor
L.佩德森
M.西尔休伊斯
H.乌茨
M.D.彭纳
J.布拉德肖
M.约翰森
M.维格纳蒂
L.邦奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Florida Institute Of Human-Machine Cognition Ltd
Nissan Motor Co Ltd
Original Assignee
Florida Institute Of Human-Machine Cognition Ltd
Nissan North America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Florida Institute Of Human-Machine Cognition Ltd, Nissan North America Inc filed Critical Florida Institute Of Human-Machine Cognition Ltd
Publication of CN110192083A publication Critical patent/CN110192083A/zh
Application granted granted Critical
Publication of CN110192083B publication Critical patent/CN110192083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0025Planning or execution of driving tasks specially adapted for specific operations
    • B60W60/00253Taxi operations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291Fleet control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/123Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/127Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station
    • G08G1/13Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station the indicator being in the form of a map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/20Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/207Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles with respect to certain areas, e.g. forbidden or allowed areas with possible alerting when inside or outside boundaries
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0063Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Selective Calling Equipment (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

已经公开了用于对车辆的自主操作进行远程支持的方法和系统。由第一状态显示基于来自车辆中被分配给相应第一级别控制站的一部分车辆的状态数据生成状态指示符。生成用于第二控制站的第二状态显示,并且该第二状态显示显示出用于车辆的状态数据的状态指示符。生成远程支持界面,该远程支持界面包括第一状态显示和从车辆中的第一车辆接收的图像数据。使用远程支持界面并基于第一车辆需要远程支持的指示,将指令数据传输到第一车辆,该指令数据修改第一车辆的自主操作。通过使用第二状态显示的状态指示符分配车辆,在第一级别控制站之间分派工作量。

Description

自主车辆远程支持映射界面
技术领域
本申请涉及一种自主车辆映射界面,包括用于使用映射界面对包括自主车辆的车辆进行远程支持和遥控操作的方法、装置、系统和非暂时性计算机可读介质。
背景技术
传统的交通控制管理集中在处理仅部分受人类操作员的控制的基础设施。例如,除了以与驾驶员通信的形式(例如,提供路边援助指令)之外,人力驱动车辆大多超出操作员的范围。自主车辆使操作员能够远程控制和支持自主车辆。
发明内容
本文公开的是用于车辆的远程支持的方面、特征、元素、实施和实施方式。
在一种实施方式中,提供了一种远程支持装置。远程支持自装置包括存储器和处理器,该处理器被配置成执行存储在存储器中的指令以:从车辆接收状态数据;生成第一地图显示,该第一地图显示包括地理区域的表示以及表示车辆中在地理区域内的一部分车辆的车辆地图指示符;生成第一状态显示,该第一状态显示包括作为状态指示符的、车辆中的该部分车辆的表示;生成远程支持界面,远程支持界面包括第一状态显示和从车辆的一部分车辆中的第一车辆接收的图像数据,其中,远程支持界面对来自第一状态显示的第一车辆的第一状态指示符的输入信号是响应性的;以及基于到远程支持界面的输入信号,将指令数据传输到第一车辆以修改第一车辆的自主操作。
在实施方式中,提供了一种远程支持装置。远程支持设备包括存储器和处理器,该处理器被配置成执行存储在存储器中的指令以:从车辆接收状态数据;基于用于车辆的远程支持的紧迫性级别(level,水平)来对车辆进行排序,使用状态数据确定紧迫性级别;生成第一状态显示,该第一状态显示将车辆中的至少一些车辆的状态数据显示为基于紧迫性级别布置的相应状态指示符;生成远程支持界面,该远程支持界面包括第一状态显示和从车辆中的至少一些车辆中的第一车辆接收的图像数据,该远程支持界面对来自第一状态显示的第一车辆的第一状态指示符的输入信号是响应性的;以及使用远程支持界面将信号传输到第一车辆。
在实施方式中,提供了一种用于对车辆的自主操作进行远程支持的方法。该方法包括:从车辆接收状态数据;生成用于第一级别控制站的相应的第一状态显示,该第一状态显示将来自被分配给第一级别控制站中相应第一级别控制站的车辆的一部分车辆的状态数据显示为相应的状态指示符;生成用于第二级别控制站的第二状态显示,该第二状态显示显示出车辆的状态数据;生成远程支持界面,该远程支持界面包括第一状态显示和从车辆中的第一车辆接收的图像数据;基于第一车辆需要远程支持的指示,使用远程支持界面将指令数据传输到第一车辆,该指令数据一旦被第一车辆接收,就修改第一车辆的自主操作;以及通过使用第二状态显示的状态指示符分配车辆来在第一级别控制站之间分派工作量。
在以下对实施方式、所附权利要求和附图的详细描述中公开了本公开内容的这些和其他方面。
附图说明
当结合附图阅读时,从以下详细描述中最好地理解所公开的技术。要强调的是,根据常规实践,附图的各特征不是按比例的。相反,为了清楚起见,各特征的尺寸被任意扩大或缩小。
图1是其中可以实施本文公开的方面、特征和元素的车辆的一部分的实施例的图。
图2是其中可以实施本文公开的方面、特征和元素的车辆运输和通信系统的一部分的实施例的图。
图3是示出了根据本公开内容的远程车辆援助中心的框图。
图4是示出了根据本公开内容的用于在界面中使用的车辆指示符的实施例的图。
图5是示出了根据本公开内容的车队管理员界面的实施例的图。
图6是示出了根据本公开内容的用于在界面中使用的车辆指示符的实施例的图。
图7是示出了根据本公开内容的车辆管理员界面的实施例的图。
图8是示出了根据本公开内容的车辆管理员界面的实施例的图。
图9是示出了根据本公开内容的车辆管理员界面的实施例的图。
图10是示出了根据本公开内容的车辆管理员界面的实施例的图。
图11是根据本公开内容的用于对车辆的自主操作提供远程支持的技术的流程图。
图12是根据本公开内容的用于对车辆的自主操作提供远程支持的技术的流程图。
图13是根据本公开内容的用于对车辆的自主操作提供远程支持的技术的流程图。
图14示出了根据本公开内容的用于远程支持的方法。
具体实施方式
管理包括自主车辆的大量车辆通常导致对应的大量数据的创建和处理。这些数据中的大部分最终被负责管理车辆的人类操作员查看和使用。正因如此,数据被组织和分发至操作员的方式可能影响操作员使用数据来管理和提供对车辆的远程支持的效率。
所公开的技术为与车辆交互的操作员提供了更有效的界面,包括在远程操作员界面上生成指示符的增强方式,使得可以根据车辆的优先级(例如,车辆请求援助的紧迫性)或其他聚合数据和因子来安排车辆。以这种方式,负责管理车辆的操作员可以有效地查看有关数据并与之交互。所公开的技术为操作员提供了流线型方式来援助车辆、更新车辆的援助状态(例如,问题已解决)以及转移到需要援助的下一个车辆。车辆的信息(包括情形或状态信息)可以聚合成各种指示符,各种指示符显示与车辆有关的相关信息(例如,剩余的行进时间、乘客数量、汽车的健康状况)。然后,指示符可以被分配给由车辆管理员管理的各个控制站。该分配可以由车队管理员手动完成,或者可以使用机器学习技术或聚合的历史信息自动完成。
如本文所使用的,术语“驾驶员”或“操作员”可以互换使用。如本文所使用的,术语“制动”或“减速”可以互换使用。如本文所使用的,术语“计算机”或“计算设备”包括能够执行本文公开的任何方法或其任何一个或多个部分的任何单元或单元的组合。
如本文所使用的,术语“处理器”指示一个或多个处理器,诸如一个或多个专用处理器、一个或多个数字信号处理器、一个或多个微处理器、一个或多个控制器、一个或多个微控制器、一个或多个应用处理器、一个或多个特殊应用集成电路、一个或多个特殊应用标准产品;一个或多个现场可编程门阵列、集成电路的任何其他类型或组合、一个或多个状态机、或它们的任何组合。
如本文所使用的,术语“存储器”指示任何计算机可用或计算机可读介质或设备,其可以有形地包含、存储、传达或传送可以由任何处理器使用或与任何处理器结合使用的任何信号或信息。例如,存储器可以是一个或多个只读存储器(ROM)、一个或多个随机存取存储器(RAM)、一个或多个寄存器、低功率双倍数据速率(LPDDR)存储器、一个或多个高速缓冲存储器、一个或多个半导体存储设备、一个或多个磁介质、一个或多个光学介质、一个或多个磁光介质或它们的任何组合。
如本文所使用的,术语“指令”可以包括用于执行本文公开的任何方法或其任何一个或多个部分的命令或表达,并且可以以硬件、软件或它们的任何组合来实施。例如,指令可以被实施为存储在存储器中的信息,诸如计算机程序,其可以由处理器执行以执行如本文中所描述的相应方法、算法、方面或它们的组合中的任何一种。在一些实施方式中,指令或其一部分可以被实施为专用处理器或电路,其可以包括用于执行如本文中所描述的方法、算法、方面或它们的组合中的任何一种的专用硬件。在一些实施方式中,指令的部分可以分发在单个设备上的、多个设备上的多个处理器上,这些设备可以直接通信或跨网络诸如局域网、广域网、因特网或它们的组合通信。
如本文所使用的,术语“实施例”、“实施方式”、“实施”、“方面”、“特征”或“元素”指示用作实施例、实例或说明。除非明确指示,否则任何实施例、实施方式、实施、方面、特征或元素独立于每个其他的实施例、实施方式、实施、方面、特征或元素,并且可以与任何其他实施例、实施方式、实施、方面、特征或元素组合使用。
如本文所使用的,术语“确定”和“识别”或它们的任何变型包括以任何方式无论什么使用本文所示出和描述的设备中的一个或多个进行选择、查明、计算、查找、接收、确定、建立、获得或以其他方式识别或确定。
如本文所使用的,术语“或”旨在意味着包含性的“或”而不是排他性的“或”。即,除非另有指定或从上下文中明确,否则“X包括A或B”旨在指示自然的包含性排列中的任何排列。如果X包括A;X包括B;或者X包括A和B,则在前述实例中的任何实例下都满足“X包括A或B”。另外,如在本申请和所附权利要求中使用冠词“一(a)”和“一(an)”通常应理解为意味着“一个或多个”,除非另有指定或从上下文明确地指向单数形式。
此外,为了简化说明,尽管本文中的附图和描述可以包括连续的或一系列步骤或阶段,但是本文公开的方法的元素可以以各种顺序发生或同时发生。另外,本文公开的方法的元素可以与本文未明确呈现和描述的其他元素一起发生。此外,实施根据本公开内容的方法可能不需要本文所描述的方法的所有元素。虽然本文描述了处于特定组合的方面、特征和元素,但是每个方面、特征或元素可以独立使用或者与或不与其他方面、特征和元素以各种组合使用。
2017年3月20日提交的标题为“OBJECT MANAGEMENT DISPLAY”的U.S.专利申请No.15/463,242通过引用整体并入本文。
为了更详细地描述一些实施方式,对以下附图进行参考。
图1是其中可以实施本文公开的方面、特征和元素的车辆1000的实施例的图。车辆1000包括底盘1100、动力系1200、控制器1300、车轮1400/1410/1420/1430、或车辆的任何其他元件或元件的组合。尽管为了简单起见,车辆1000被示出为包括四个车轮1400/1410/1420/1430,但是可以使用任何其他的一个或多个推进设备,诸如推进器或踏面。在图1中,使元件诸如动力系1200、控制器1300和车轮1400/1410/1420/1430互相连接的线指示了信息——诸如数据或控制信号、动力诸如电力或扭矩或者信息和动力两者——可以在相应元件之间传达。例如,控制器1300可以从动力系1200接收动力并且与动力系1200、车轮1400/1410/1420/1430或与两者通信以控制车辆1000,其可以包括使车辆1000加速、减速、转向或通过其他方式控制车辆。
动力系1200包括动力源1210、变速器1220、转向单元1230、车辆致动器1240、或任何其他元件或动力系的元件诸如悬架、驱动轴、车轴或排出系统的组合。尽管单独示出,但是车轮1400/1410/1420/1430可以包括在动力系1200中。
动力源1210可以是可操作以提供能量诸如电能、热能或动能的任何设备或设备的组合。例如,动力源1210包括发动机诸如内燃发动机、电动机、或内燃发动机和电动机的组合,并且可操作以向车轮1400/1410/1420/1430中的一个或多个车轮提供动能作为原动力。在一些实施方式中,动力源1210包括:势能单元,诸如一个或多个干式单体电池,诸如镍镉(NiCd)、镍锌(NiZn)、镍金属氢化物(NiMH)、锂离子(Li离子);太阳能单体;燃料单体;或任何其他能够提供能量的设备。
变速器1220从动力源1210接收能量诸如动能,并将能量传输到车轮1400/1410/1420/1430以提供原动力。变速器1220可以由控制器1300、车辆致动器1240或由两者控制。转向单元1230可以由控制器1300、车辆致动器1240或两者控制,并控制车轮1400/1410/1420/1430以使车辆转向。车辆致动器1240可以从控制器1300接收信号,并且可以致动或控制动力源1210、变速器1220、转向单元1230或它们的任何组合以操作车辆1000。
在一些实施方式中,控制器1300包括位置单元1310、电子通信单元1320、处理器1330、存储器1340、用户接口1350、传感器1360、电子通信接口1370或它们的任何组合。尽管被示出为单个单元,但是控制器1300的任何一个或多个元件可以集成到任何数量的单独实体单元中。例如,用户接口1350和处理器1330可以集成在第一实体单元中,并且存储器1340可以集成在第二实体单元中。尽管未在图1中示出,但是控制器1300可以包括动力源,诸如电池。尽管被示出为单独的元件,但是位置单元1310、电子通信单元1320、处理器1330、存储器1340、用户接口1350、传感器1360、电子通信接口1370或它们的任何组合可以集成在一个或多个电子单元、电路或芯片中。
在一些实施方式中,处理器1330包括能够操纵或处理现存或此后开发的信号或其他信息的任何设备或设备的组合,包括光学处理器、量子处理器、分子处理器或它们的组合。例如,处理器1330可以包括一个或多个专用处理器、一个或多个数字信号处理器、一个或多个微处理器、一个或多个控制器、一个或多个微控制器、一个或多个集成电路、一个或多个特殊应用集成电路、一个或多个现场可编程门阵列、一个或多个可编程逻辑阵列、一个或多个可编程逻辑控制器、一个或多个状态机、或它们的任何组合。处理器1330可以与位置单元1310、存储器1340、电子通信接口1370、电子通信单元1320、用户接口1350、传感器1360、动力系1200或它们的任何组合可操作地耦合。例如,处理器可以经由通信总线1380与存储器1340可操作地耦合。
在一些实施方式中,处理器1330可以被配置成执行包括用于远程操作的指令的指令,该用于远程操作的指令可以用于从包括操作中心的远程位置操作车辆1000。用于远程操作的指令可以存储在车辆1000中,或者从外部源诸如交通管理中心或服务器计算设备处接收,该服务器计算设备可以包括基于云的服务器计算设备。
存储器1340可以包括任何有形的非暂时性计算机可用或计算机可读介质,该介质能够例如包含、存储、传达或传送机器可读指令或与其相关联的任何信息,以供处理器1330使用或与该处理器结合使用。存储器1340是例如:一个或多个固态驱动器;一个或多个存储卡;一个或多个可移动介质;一个或多个只读存储器;一个或多个随机存取存储器;一个或多个盘,包括硬盘、软盘、光盘;磁卡或光卡;或适合于存储电子信息的任何类型的非暂时性介质;或它们的任何组合。
电子通信接口1370可以是:无线天线,如图所示的;有线通信端口;光通信端口;或能够与有线或无线电子通信介质1500对接的任何其他有线或无线单元。
电子通信单元1320可以被配置成经由有线或无线电子通信介质1500传输或接收信号,诸如经由电子通信接口1370。虽然未在图1中明确示出,但是电子通信单元1320被配置成经由任何有线或无线通信介质诸如无线电频率(RF)、紫外线辐射(UV)、可见光、光纤、有线线路或它们的组合来传输、接收或者传输和接收。尽管图1示出了单个的电子通信单元1320和单个电子通信接口1370,但是可以使用任何数量的通信单元和任何数量的通信接口。在一些实施方式中,电子通信单元1320可以包括专用短程通信(DSRC)单元、无线安全单元(WSU)、IEEE 802.11p(Wifi-P)或它们的组合。
位置单元1310可以确定地理位置信息,包括但不限于车辆1000的经度、纬度、高度、行进方向或速度。例如,位置单元包括全球定位系统(GPS)单元诸如广域增强系统(WAAS)启用的国家海洋电子协会(NMEA)单元、无线电三角测量单元或它们的组合。位置单元1310可以用于获得表示例如下述的信息:车辆1000的当前航向、车辆1000在二维或三维中的当前位置、车辆1000的当前角度定向或者它们的组合。
用户接口1350可以包括能够被人用作接口的任何单元,包括虚拟键盘、实体键盘、触摸板、显示器、触摸屏、扬声器、麦克风、摄像机、传感器和打印机中的任何一种。用户接口1350可以与处理器1330可操作地耦合,如图所示,或者与控制器1300的任何其他元件可操作地耦合。尽管被示出为单个单元,但是用户接口1350可以包括一个或多个实体单元。例如,用户接口1350包括用于与人进行音频通信的音频接口,以及用于与人进行基于视觉和触摸的通信的触摸显示器。
传感器1360可以包括一个或多个传感器,诸如传感器阵列,其可以是可操作的以提供可以用于控制车辆的信息。传感器1360可以提供与车辆或其周围环境的当前操作特性有关的信息。传感器1360包括例如速度传感器、加速度传感器、转向角传感器、牵引有关的传感器、制动有关的传感器或者可操作以报告关于车辆1000的当前动态情况的一些方面的信息的任何传感器或传感器的组合。
在一些实施方式中,传感器1360可以包括可操作以获得关于车辆1000周围的物理环境的信息的传感器。例如,一个或多个传感器检测道路几何形状和障碍物,诸如固定的障碍物、车辆、骑行者和行人。在一些实施方式中,传感器1360可以是或包括一个或多个摄像机、激光感测系统、红外感测系统、声学感测系统或任何其他合适类型的车载环境感测设备或现在已知或以后开发的设备的组合。在一些实施方式中,传感器1360和位置单元1310被组合。
虽然没有单独示出,但是车辆1000可以包括轨迹控制器。例如,控制器1300可以包括轨迹控制器。轨迹控制器可以是可操作的,以获得描述车辆1000的当前状态和为车辆1000计划的路线的信息,并且基于该信息来确定并优化用于车辆1000的轨迹。在一些实施方式中,轨迹控制器输出信号,该信号可操作以控制车辆1000,使得车辆1000遵循由轨迹控制器确定的轨迹。例如,轨迹控制器的输出可以是优化的轨迹,其可以被供应给动力系1200、车轮1400/1410/1420/1430或两者。在一些实施方式中,优化的轨迹可以是控制输入,诸如一组转向角,其中每个转向角对应一时间点或位置点。在一些实施方式中,优化的轨迹可以是一个或多个路径、线、曲线或它们的组合。
车轮1400/1410/1420/1430中的一个或多个车轮可以是:在转向单元1230的控制下枢转到一转向角的转向轮、在变速器1220的控制下被扭转以推进车辆1000推进轮、或者转向和推进车辆1000的转向和推进轮。
车辆可以包括图1中未示出的单元或元件,诸如外壳、模块、调频(FM)无线电单元、近场通信(NFC)模块、液晶显示器(LCD)显示单元、有机发光二极管(OLED)显示单元、扬声器或它们的任何组合。
图2是其中可以实施本文公开的方面、特征和元素的车辆运输和通信系统2000的一部分的实施例的图。车辆运输和通信系统2000包括:车辆2100,诸如图1中所示的车辆1000;以及一个或多个外部物体,诸如外部物体2110,其可以包括任何形式的交通工具诸如图1中所示的车辆1000、行人、骑行者以及任何形式的结构诸如建筑物。车辆2100可以经由传输网络2200的一个或多个部分行进,并且可以经由电子通信网络2300中的一种或多种与外部物体2110通信。虽然未在图2中明确示出,但是车辆可以穿过没有明确或完全包括在传输网络中的区域,诸如越野区域。在一些实施方式中,传输网络2200可以包括一个或多个车辆检测传感器2202,诸如感应回路传感器,其可以用于检测车辆在传输网络2200上的移动。
电子通信网络2300可以是多址接入(access,访问)系统,其在车辆2100、外部物体2110与操作中心2400之间提供通信,诸如语音通信、数据通信、视频通信、消息通信或它们的组合。例如,车辆2100或外部物体2110可以经由电子通信网络2300从操作中心2400接收信息,诸如表示传输网络2200的信息。
操作中心2400包括控制器装置2410,其包括图1中所示的控制器1300的特征中的一些或全部特征。控制器装置2410可以监控和协调包括自主车辆的车辆的移动。控制器装置2410可以监控车辆诸如车辆2100和外部物体诸如外部物体2110的状态或状况。控制器装置2410可以接收车辆数据和基础设施数据,包括下述中的任何一种:车辆速度;车辆位置;车辆运行状态;车辆目的地;车辆路线;车辆传感器数据;外部物体速度;外部物体位置;外部物体运行状态;外部物体目的地;外部物体路线;以及外部物体传感器数据。
此外,控制器装置2410可以建立对一个或多个车辆诸如车辆2100或外部物体诸如外部物体2110的远程控制。以这种方式,控制器装置2410可以从远程位置遥控操作车辆或外部物体。控制器装置2410可以经由无线通信链路诸如无线通信链路2380或有线通信链路诸如有线通信链路2390与车辆、外部物体或计算设备诸如车辆2100、外部物体2110或服务器计算设备2500交换(发送或接收)状态数据。
服务器计算设备2500可以包括一个或多个服务器计算设备,其可以经由电子通信网络2300与一个或多个车辆或包括车辆2100的计算设备、外部物体2110或操作中心2400交换(发送或接收)状态信号数据。
在一些实施方式中,车辆2100或外部物体2110经由有线通信链路2390、无线通信链路2310/2320/2370或任何数量或类型的有线或无线通信链路的组合进行通信。例如,如所示的,车辆2100或外部物体2110经由地面无线通信链路2310、经由非地面无线通信链路2320或者经由它们的组合进行通信。在一些实施方式中,地面无线通信链路2310包括以太网链路、串行链路、蓝牙链路、红外(IR)链路、紫外(UV)链路或能够提供电子通信的任何链路。
车辆诸如车辆2100或外部物体诸如外部物体2110可以与另一车辆、外部物体或操作中心2400通信。例如,主机或主体车辆2100可以经由直接通信链路2370或经由电子通信网络2300从操作中心2400接收一个或多个自动化车辆间的消息,诸如基本安全消息(BSM)。例如,操作中心2400可以将消息广播到在限定的广播范围诸如300米内的主机车辆,或者广播到限定地理区域。在一些实施方式中,车辆2100经由第三方诸如信号中继器(未示出)或另一远程车辆(未示出)接收消息。在一些实施方式中,车辆2100或外部物体2110基于限定的间隔诸如一百毫秒来周期性地传输一个或多个自动化车辆间消息。
自动化车辆间消息可以包括:车辆识别信息;地理空间状态信息,诸如经度、纬度或高度信息;地理空间位置精度信息;运动学状态信息,诸如车辆加速度信息、偏转率信息、速度信息、车辆航向信息、制动系统状态数据、油门信息、转向轮角度信息或车辆路线信息;或车辆运行状态信息,诸如车辆大小信息、前灯状态信息、转动信号信息、雨刷状态数据、变速器信息或任何其他信息;或者与传动中的车辆状态有关的信息的组合。例如,变速器状态信息指示传动中的车辆的变速器是处于空档状态、停车状态、前进状态还是倒车状态。
在一些实施方式中,车辆2100经由接入点2330与电子通信网络2300通信。可以包括计算设备的接入点2330可以被配置成经由有线或无线通信链路2310/2340与车辆2100、与电子通信网络2300、与操作中心2400或与它们的组合通信。例如,接入点2330是基站、基地收发信台(BTS)、Node-B、增强型Node-B(eNode-B)、Home Node-B(HNode-B)、无线路由器、有线路由器、集线器、中继器、交换机或任何类似的有线或无线设备。虽然被示出为单个单元,但是接入点可以包括任何数量的互相连接的元件。
车辆2100可以经由卫星2350或其他非地面通信设备与电子通信网络2300通信。可以包括计算设备的卫星2350可以被配置成经由一个或多个通信链路2320/2360与车辆2100、与电子通信网络2300、与操作中心2400或与它们的组合通信。虽然被示出为单个单元,但是卫星可以包括任何数量的互相连接的元件。
电子通信网络2300可以是被配置成提供语音、数据或任何其他类型的电子通信的任何类型的网络。例如,电子通信网络2300包括局域网(LAN)、广域网(WAN)、虚拟私人网络(VPN)、移动或蜂窝电话网络、因特网或任何其他电子通信系统。电子通信网络2300可以使用通信协议,诸如传输控制协议(TCP)、用户数据报协议(UDP)、互联网协议(IP)、实时传输协议(RTP)、超文本传输协议(HTTP)或者它们的组合。虽然被示出为单个单元,但是电子通信网络可以包括任何数量的互相连接的元件。
在一些实施方式中,车辆2100经由电子通信网络2300、接入点2330或卫星2350与操作中心2400通信。操作中心2400可以包括一个或多个计算设备,该一个或多个计算设备能够交换(发送或接收)来自下述的数据:车辆,诸如车辆2100;外部物体,包括外部物体2110;或者计算设备,诸如服务器计算设备2500。
在一些实施方式中,车辆2100识别传输网络2200的一部分或状况。例如,车辆2100可以包括一个或多个车载传感器2102,诸如图1中所示的传感器1360,其包括速度传感器、车轮速度传感器、相机、陀螺仪、光学传感器、激光感测器、雷达传感器、声波传感器或者能够确定或识别传输网络2200的一部分或状况的任何其他传感器或设备或者它们的组合。
车辆2100可以使用经由电子通信网络2300传达的信息——诸如表示传输网络2200的信息、由一个或多个车载传感器2102识别的信息或者它们的组合——来穿过传输网络2200的一个或多个部分。外部物体2110可能能够进行上面关于车辆2100所描述的通信和动作中的所有或一些通信和动作。
为简单起见,图2示出了作为主机车辆的车辆2100、外部物体2110、传输网络2200、电子通信网络2300和操作中心2400。然而,可以使用任何数量的车辆、网络或计算设备。在一些实施方式中,车辆运输和通信系统2000包括图2中未示出的设备、单元或元件。虽然车辆2100或外部物体2110被示出为单个单元,但是车辆可以包括任何数量的互相连接的元件。
尽管车辆2100被示出为经由电子通信网络2300与操作中心2400通信,但是车辆2100(和外部物体2110)可以经由任何数量的直接或间接通信链路与操作中心2400通信。例如,车辆2100或外部物体2110可以经由直接通信链路诸如蓝牙通信链路与操作中心2400通信。尽管为简单起见,图2示出了传输网络2200中的一个传输网络以及电子通信网络2300中的一个电子通信网络,但是可以使用任何数量的网络或通信设备。
图3是示出了根据本公开内容的远程车辆援助中心3000的框图。远程车辆援助中心3000包括:车队管理员3010;多个车辆管理员,包括但不限于车辆管理员3020和车辆管理员3030;以及多个车辆,包括但不限于车辆3040、3050、3060和3070。
车队管理员3010可以包括一装置,该装置包括图1中所示的控制器1300的特征中的一些或所有特征。车队管理员3010可以监控和协调:车辆管理员,包括车辆管理员3020/3030;以及车辆的移动,该车辆包括自主车辆,以及车辆3040/3050/3060/3070。监控和协调车辆管理员可以包括下述中的任何一种:向车辆管理员分配、分派或解除分派(deallocate)车辆;审查和监控车辆管理员的性能数据;以及将车辆管理员分配到一地理区域。在一实施方式中,可以存在多个车队管理员,它们又可以被其他车队管理员管理或在其他车队管理员的管辖下。
车辆管理员3020可以监控包括车辆3040和车辆3050的车辆的状态或状况。如图3中所示,车辆管理员3020已经被分配了车辆3040和车辆3050。可以由车队管理员诸如车队管理员3010来执行车辆到车辆管理员的分配。
车辆管理员3030可以监控包括车辆3060和车辆3070的车辆的状态或状况。如图3中所示,车辆管理员3030已经被分配了车辆3060和车辆3070。可以由车队管理员诸如车队管理员3010来执行车辆到车辆管理员的分配。也可以使用机器学习技术来使车辆到车辆管理员的分配自动化。
在实施方式中,车辆管理员可以对车辆进行聚簇(cluster,群集、分群)或分组、建立与车辆中乘员的通信、远程操作车辆、以及协调车辆通过传输网络或围绕各种障碍物诸如交通拥堵的移动。车辆管理员可以与其他车辆管理员交互以帮助监控和管理车辆。
包括车辆3040/3050/3060/3070的车辆包括车辆,诸如图2中所示的车辆2100,这些车辆由车队管理员3010监控或协调。车辆可以自主地操作或由人类驾驶员操作,并且可以交换(发送和接收)与车辆的状态或状况及其周围环境有关的车辆数据,包括下述中的任何一种:车辆速度;车辆位置;车辆运行状态;车辆目的地;车辆路线;车辆传感器数据;外部物体速度;以及外部物体位置。
图4是示出了用于在包括车队管理员界面的界面中使用的车辆指示符4000的实施例的图。车辆指示符4000包括任务状态指示符4010、车辆模式指示符4020、车辆占用情况指示符4030和时态状态指示符4040。
任务状态指示符4010可以用于指示由车辆正在执行的任务或者被分配给车辆的任务,包括下述中的任何一种:向接载目的地行进,包括向目的地行进以接载一个或多个乘客或货物;向下车目的地行进,包括向目的地行进以让一个或多个乘客或货物下车;向维护目的地行进,包括向可以对车辆进行维护或修理的目的地行进;以及向补充燃料目的地行进,包括向目的地行进以为车辆补充燃料,包括石油站或充电站。
任务状态指示符4010的特性——包括形状和颜色——可以对应于由车辆正在执行的任务。例如,任务状态指示符4010在图4中示出为方形,其可以指示例如车辆正在向接载目的地行进。在实施方式中,任务状态指示符4010的圆形形状可以指示车辆正在向下车目的地行进。不同的形状和颜色可以指示车辆正在执行的不同任务。
车辆模式指示符4020可以用于指示车辆是否在下述中的任何一种模式下运行:自主模式,包括车辆指挥自己或车辆正在由计算设备远程指挥的模式;被指挥模式,包括人类操作员从远程位置指挥车辆的模式;手动模式,包括人类操作员正从车辆内部操作车辆的模式;以及半自主模式,包括车辆可以基于车辆的状态(例如,当超过接近度和加速度阈值时可以启用辅助制动)在自主模式和手动模式之间切换的模式,以及使用自主特征和人工操作同时控制车辆的模式。例如,车辆模式指示符4020在图4中示出为十字形,其可以指示例如上述模式中的任何模式。
车辆占用情况指示符4030可以用于指示下述中的任何一种:车辆是否容纳一个或多个乘客;以及车辆中乘客的状态。在实施方式中,由处于填充状态的车辆占用情况指示符4030来指示已占用的车辆(例如,车辆占用情况指示符4030内部的区域与任务状态指示符4010周围的边界是相同的颜色)。
车辆占用情况指示符4030的特性——包括颜色——可以用于指示与车辆相关联的问题,包括下述中的任何一种:乘客问题,包括来自车辆内部的乘客的援助请求;交通问题,包括与交通拥堵、交通事故和建设物有关的问题;决策问题,包括与可以由车辆管理员关于是否控制车辆、使车辆重定线、建立与车辆的通信或者指示关于车辆的动作已经完成所做出的决策有关的问题;关于车辆的状态的实体问题,包括与车辆的运行状态(例如发动机状态、燃料状态)有关的问题。在实施方式中,可以使用默认颜色来指示车辆在正常状态下操作并且车辆没有待决的问题。
时态状态指示符4040可以用于指示车辆的与预期或预测的时态状态有关的时态状态。在实施方式中,时态状态指示符4040的颜色可以指示车辆是在安排时间之前还是在安排时间之后。
时态状态指示符4040的长度可以指示与预期或预测的时态状态的偏差的量值。时态状态指示符4040的长度可以和与预期或预测的时态状态的偏差的量值成比例(例如,直接比例、反比例、指数比例、对数比例)。
在另一实施方式中,时态状态指示符4040的长度和与预期或预测的时态状态的偏差可以是不成比例的(例如,三分之一的长度指示小于五分钟的偏差,三分之二的长度指示大于5分钟且小于15分钟的偏差,并且整个长度指示大于15分钟的偏差。时态状态指示符4040的其他特性可以用于指示车辆的状态,例如,红色可以指示车辆在安排时间之后并且绿色可以指示车辆在安排时间之前。
图5是示出了车队管理员界面5000的实施例的图。可以基于一个或多个指令来生成车队管理员界面5000,该一个或多个指令能够在包括图2中所示的控制器装置2410的计算装置上执行,并且该一个或多个指令可以存储在包括控制器装置2410的计算装置的存储器中。
例如,车队管理员界面5000可以由控制器装置2410基于指令来生成,所述指令由通过计算机网络访问控制器装置2410的客户端计算设备解译。然后,客户端计算设备可以在显示设备上生成车队管理员界面5000的表示。
车队管理员界面5000包括车队管理员部分5010、地图部分5020、车辆管理员指示符5030、车辆指示符5040和车辆管理员分配队列5050,其中任何一种均可以是基于与实体物体的状态相关联的数据的,该实体物体包括但不限于车辆、道路、建筑物和行人中的至少一者。
车队管理员部分5010包括由车队管理员和/或车辆管理员监控或追踪的物体的表示,包括车辆管理员与车辆的关联。物体可以包括车辆,包括如图2中所示的车辆2100。物体可以表示为指示符,诸如车辆指示符5040,其可以被生成为静态图像或移动图像,诸如如图4中所示的车辆指示符4000。此外,车队管理员部分5010可以接收输入,包括下述中的任何一种:触摸输入、语音输入和来自输入设备的输入。举例来说,包括车辆指示符5040的车辆指示符可以由操作员诸如车辆管理员选择。对车辆指示符的选择可以生成与由车辆指示符表示的相应车辆的状态或状况有关的数据(例如,所选择的车辆指示符可以指示车辆是否正确运作或者是否将准时到达目的地)。
地图部分5020包括地理区域的表示,该地理区域包括预限定地理区域内的物体。在实施方式中,预限定地理区域可以包括:与包括正由车辆管理员之一监控的车辆中的全部车辆或至少一部分车辆的地理区域对应的地理区域。地理区域内的物体可以包括车辆和外部物体中的任何一种,该外部物体包括道路、建筑物和行人。地图部分5020可以接收输入,该输入包括下述中的任何一种:触摸输入、语音输入和来自输入设备的输入。到地图部分的输入可以生成关于所选择的车辆或外部物体的状态或状况的数据。
在实施方式中,地图部分5020包含与在车队管理员部分5010上显示的物体相同的表示。在另一实施方式中,在车队管理员部分5010与地图部分5020之间,显示的物体的数量和类型可以不同。例如,车辆管理员可以放大到特定地理区域,从而仅显示在车队管理员部分5010上表示的物体或车辆的子集。
车辆管理员指示符5030是用于车辆管理员的标识符的表示。在车队管理员界面500上显示的车辆管理员中的每个车辆管理员均包括单独的车辆管理员指示符。车辆管理员可以与一个或多个车辆相关联,该一个或多个车辆可以由车队管理员或使用机器学习技术动态地分发或分派。例如,车队管理员可以修改分配给车辆管理员的车辆的数量,包括下述中的任何一种:添加或移除车辆,以及将一个或多个车辆从一个车辆管理员转移到另一个车辆管理员。
车辆指示符5040是自主车辆的状态或状况的表示,该状态包括下述中的任何一种:车辆任务、车辆占用情况、车辆操作模式(例如,自主操作或手动操作)以及车辆问题,该车辆问题包括但不限于关于车辆的运行状态的问题。车辆指示符5040可以包括各种颜色、形状、图案、文本、象形图或它们的任何组合,以表示车辆指示符的状态或状况的各方面。例如,车辆指示符5040可以表示正在向目的地行进以便接载乘客的自主车辆。此外,车辆指示符5040可以表示正在运载乘客并且向目的地行进以便让乘客下车的自主车辆。
车辆管理员分配队列5050是分配给一车辆管理员的车辆的表示。可以由车队管理员或由车辆管理员自己或者使用机器学习技术自动地将车辆分配给车辆管理员分配队列5050。例如,一个车辆管理员可以意识到它们正在监控太多车辆并且可以将这些车辆的子集分配给被确定为具有额外监控容量的另一车辆管理员。如图5中所示的,车辆管理员分配队列5050内的车辆指示符(例如,车辆指示符5040)被分配给与车辆管理员指示符5030“Larry”相关联的车辆管理员。该车辆管理员指示符可以表示车辆管理员的真实名字或用户名或另一标识符。
图6是示出了用于在界面中使用的车辆指示符6000的实施例的图,该界面包括图5中所示的车队管理员界面500、图7中所示的车辆管理员界面7000或图9中所示的车辆管理员界面9000。
车辆指示符6000包括下一个任务指示符6010、当前任务指示符6020、实际进度指示符6030、偏差量值指示符6040、预期进度指示符6050、时间刻度6060、用以完成的时间6070、经过的时间6080和时间压缩指示符6090。
下一个任务指示符6010可以用于指示分配给车辆并且当前未执行的任务。下一个任务指示符6010可以指示在执行当前任务(例如,与当前任务指示符6020相关联的当前任务)之后将执行的任务。例如,下一个任务指示符6010可以指示在完成与当前任务指示符6020相关联的当前任务之后将发生下车。在实施方式中,与下一个任务指示符6010的交互(例如,选择下一个任务指示符6010)可以显示对下一个将要执行的任务的描述。
当前任务指示符6020可以用于指示当前正由车辆执行的任务。例如,当前任务指示符6020可以包括在指定位置接载乘客。在实施方式中,与当前任务指示符6020的交互(例如,选择当前任务指示符6020)可以显示对当前正在执行的任务的描述。
下一个任务指示符6010和当前任务指示符6020可以与任务相关联,该任务包括但不限于下述中的任何一种:向接载目的地行进,包括向目的地行进以接载一个或多个乘客或货物;向下车目的地行进,包括向目的地行进以让一个或多个乘客或货物下车;向维护目的地行进,包括向可以对车辆进行维护或修理的目的地行进;以及向补充燃料目的地行进,包括向目的地行进以为车辆补充燃料,包括石油站或充电站。
下一个任务指示符6010或当前任务指示符6020的形状可以对应于由车辆正在执行的任务。例如,下一个任务指示符6010在图6中示出为圆形,其指示了车辆正在向下车目的地行进。当前任务指示符6020的圆形形状可以指示车辆正在向接载目的地行进。形状可以包括但不限于圆形、方形、三角形、矩形等。
下一个任务指示符6010或当前任务指示符6020中的图案(例如,十字形、之字形)可以指示车辆是否在下述中的任何一种模式下运行:自主模式,包括车辆指挥自己或车辆正在由计算设备远程指挥的模式;被指挥模式,包括人类操作员从远程位置指挥车辆的模式;手动模式,包括人类操作员正从车辆内部操作车辆的模式;以及半自主模式,包括车辆可以基于车辆的状态在自主模式和手动模式之间切换的模式,以及使用自主特征和人工操作同时控制车辆的模式。例如,车辆模式指示符4020在图4中示出为十字形,其可以指示例如上述模式中的任何模式。
下一个任务指示符6010或当前任务指示符6020的特性——包括填充——可以用于指示车辆是否容纳一个或多个乘客。在实施方式中,由处于填充状态的下一个任务指示符6010或当前任务指示符6020来指示已占用的车辆。例如,可以使用无填充(例如,无图案、无阴影和浅色)来指示车辆没有容纳乘员。
下一个任务指示符6010或当前任务指示符6020的颜色可以用于指示与车辆相关联的问题,包括下述中的任何一种:乘客问题,包括来自车辆内部的乘客的援助请求;交通问题,包括与交通拥堵、交通事故和建设物有关的问题;决策问题,包括与可以由车辆管理员关于是否控制车辆所做出的决策有关的问题;关于车辆的状态的实体问题,包括与车辆的运行状态(例如发动机状态、燃料状态)有关的问题。在实施方式中,可以使用默认颜色来指示车辆在正常状态下运行并且车辆没有待决的问题。
实际进度指示符6030指示在去目的地的路上已经穿过的路线距离的实际部分或已经经过的时间的实际部分。例如,如果进度指示符在时间刻度6060的中间点,则已经完成路线距离的一半,或者已经经过估计的行进时间的一半。
预期进度指示符6050指示估计的到当前时间车辆已经完成的路线距离的一部分,并且可以包括行进到目的地的估计时间的一部分或车辆已经穿过的估计距离的一部分。偏差量值指示符6040指示预期进度时间(由预期进度指示符6050指示)与实际进度时间(由实际进度指示符6030指示)偏离的路线距离的一部分或行进时间的一部分。
时间刻度6060指示用以使车辆完成路线的总行进时间或总行进距离。例如,如果时间刻度6060表示三十分钟的总行进时间,则时间刻度6060的一半是十五分钟。在时间刻度6060为较长时间段的情况下,时间压缩指示符6090可以指示已经经过了时间刻度6060的与时间刻度6060的剩余部分不成比例的一部分。例如,时间压缩指示符6090可以指示已经经过了时间刻度6060的一半。举例来说,经过的时间6080指示在去目的地的路上已经经过的行进时间。
用于路线的总完成时间可以由时间刻度6060的长度表示,其包括偏差量值指示符6040的长度、用以完成的时间6070的长度以及经过的时间6080的长度。举例来说,用以完成的时间6070指示在车辆到达目的地或完成相关联的/被分配的任务之前剩余的行进时间。
图7是示出了车辆管理员界面7000的实施例的图。可以基于一个或多个指令来生成车辆管理员界面7000,该一个或多个指令能够在包括图2中所示的控制器装置2410的计算装置上执行,并且该一个或多个指令可以存储在包括控制器装置2410的计算装置的存储器中。
例如,车辆管理员界面7000可以由控制器装置2410基于指令来生成,所述指令由通过计算机网络访问控制器装置2410的客户端计算设备解译。然后,客户端计算设备可以在显示设备上生成车辆管理员界面7000的表示。
车辆管理员界面7000包括车辆管理员部分7010、地图部分7020、车辆指示符7030和车辆指示符7040,其中任何一种均可以是基于与实体物体的状态相关联的数据的,该实体物体包括车辆和外部物体中的任何一种,该外部物体包括但不限于行人、骑行者、道路和建筑物。
车辆管理员部分7010包括由车辆管理员利用车辆管理员界面7000监控或追踪的物体的表示。多个车辆管理员可以监控多个车辆,每个车辆管理员均具有其自己的特定界面。物体可以包括车辆,包括图2中所示的车辆2100。物体可以表示为指示符,诸如车辆指示符7030,其可以被生成为各种图像,包括但不限于静态图像、动态图像、移动图像、实况照片或视频馈送、或它们的任何组合。此外,车辆管理员部分7010可以接收输入,包括下述中的任何一种:触摸输入、语音输入和来自输入设备的输入。
地图部分7020包括地理区域的表示,包括地理区域内的物体。地理区域内的物体可以包括车辆和外部物体中的任何一种,该外部物体包括道路、建筑物、骑行者和行人。在实施方式中,地图部分7020可以具有被表示为与由车辆管理员部分7010表示的物体类似或不同的物体。
车辆指示符7030和车辆指示符7040是自主车辆的状态或状况的表示,包括下述中的任何一种:车辆任务、车辆占用情况、车辆操作模式(例如,自主操作或手动操作)以及车辆问题,该车辆问题包括但不限于关于车辆的运行状态的问题。车辆指示符7030和车辆指示符7040可以包括各种颜色、形状、图案、文本或象形图,以表示自主车辆的状态或状况的各方面。
例如,车辆指示符7030可以表示正在向目的地行进以便接载乘客的自主车辆。此外,车辆指示符7040可以表示正在运载另一乘客并且向目的地行进以便让该乘客下车的自主车辆。相应自主车辆正在执行的不同任务或动作导致车辆指示符7030和7040之间的图形显示差异(例如,车辆指示符7030具有填充的圆形并且车辆指示符7040具有未填充的方形)。
图8是示出了车辆管理员界面8000的实施例的图。可以基于一个或多个指令来生成车辆管理员界面8000,该一个或多个指令能够在包括图2中所示的控制器装置2410的计算装置上执行,并且该一个或多个指令可以存储在包括控制器装置2410的计算装置的存储器中。
例如,车辆管理员界面8000可以由控制器装置2410基于指令来生成,所述指令由通过计算机网络访问控制器装置2410的客户端计算设备解译。然后,客户端计算设备可以在显示设备上生成车辆管理员界面8000的表示。
车辆管理员界面8000类似于车辆管理员界面7000,并且包括车辆管理员部分8010(类似于如图7中所示的车辆管理员部分7010)、地图部分8020(类似于如图7中所示的地图部分7020)、车辆指示符8030、任务控件8040、解决控件8050、呼叫控件8060和重定线控件8070,其中任何一种均可以是基于与实体物体的状态相关联的数据的,该实体物体包括但不限于车辆、道路、建筑物和行人中的至少一种。在另一实施方式中,车辆管理员界面8000包括除了任务控件8040、解决控件8050、呼叫控件8060和重定线控件8070之外的不同控制功能,其使得车辆管理员能够与正被监控或追踪的相应的自主车辆或物体的各个方面对接并控制该各个方面。
车辆管理员部分8010包括正被监控或追踪的物体的表示。物体可以包括车辆,包括图2中所示的车辆2100。物体可以表示为指示符,诸如车辆指示符8030,其可以被生成为静态图像或移动图像或不同类型的图像。此外,车辆管理员部分8010可以接收输入,该输入包括下述中的任何一种:触摸输入、语音输入和来自输入设备的输入。举例来说,包括车辆指示符8030的车辆指示符可以由车辆管理员界面8000的操作员诸如车辆管理员选择。对车辆指示符的选择可以生成关于由车辆指示符表示的相应车辆的状态或状况的数据(例如,所选择的车辆指示符可以指示车辆是否将准时到达目的地)。
地图部分8020包括地理区域的表示,包括地理区域内的物体。地理区域内的物体可以包括车辆和外部物体中的任何一种,该外部物体包括但不限于道路、建筑物和行人。地图部分8020可以接收输入,该输入包括下述中的任何一种:触摸输入、语音输入和来自输入设备的输入。到地图部分的输入可以生成关于所选择的车辆或外部物体的状态或状况的数据。在实施方式中,地图部分8020可以具有被表示为与由车辆管理员部分8010表示的物体类似或不同的物体。
例如,选择建筑物诸如体育场可以生成指示在一定时间帧内在该体育场举行体育事件的数据。因此,由于离开该体育场的顾客导致的增加的交通流量,车辆管理员可以预计在体育事件结束时体育场附近的拥堵。因此,车辆管理员可以使他们正在监控的自主车辆中的一个自主车辆重定线或改变该自主车辆的完成时间,并且该自主车辆被安排在体育事件结束时在体育场附近执行特定任务。
车辆指示符8030包括车辆(例如,自主车辆或人力驱动车辆)的状态或状况的表示,并且包括下述中的任何一种:车辆任务、车辆占用情况、车辆操作模式(例如,自主操作或手动操作)以及车辆问题,该车辆问题包括但不限于关于车辆的运行状态的问题。车辆指示符8030可以包括各种特性,包括颜色、形状、图案、文本或象形图,以表示车辆指示符的状态或状况的各方面。例如,车辆指示符8030可以表示正在向目的地行进以便接载乘客的自主车辆。或者,车辆指示符8030可以表示正在运载乘客并且向目的地行进以便让乘客下车的自主车辆。
可以基于输入来控制或修改任务控件8040、解决控件8050、呼叫控件8060和重定线控件8070中的任何一种,该输入包括基于通过输入设备接收的输入的任何用户输入,该输入设备包括触觉输入设备(例如键盘、鼠标或触摸屏)、音频输入设备(例如麦克风)和视觉输入设备(例如相机)。此外,可以基于指令——诸如计算机程序指令(例如,用以选择满足预先建立的标准诸如共同目的地的车辆指示符的指令)——来控制或修改任务控件8040、任务解决控件8050、呼叫控件8060和重定线控件8070中的任何一种。
任务控件8040可以用于修改与车辆相关联的任务。例如,与车辆指示符8030相关联的车辆可能已经完成下车。车辆管理员可以与任务控件8040交互并修改车辆任务以指示车辆现在应该接载乘客而不是完成先前分配的下一个任务。在任务完成正在进行时或关于即将到来的任务,可以修改和/或更新任务。例如,当前任务可以被设置为在特定时间递送包裹,但是基于交通状况,当前任务被更新为接载附近的乘客并且在交通拥堵区域之外的地方让他们下车。在另一实施例中,车辆的即将到来的任务之一可以在车辆正在完成当前不相关的任务时被修改/更新/删除。
解决控件8050可以用于指示车辆管理员已经解决或完成与车辆有关的问题。例如,在车辆管理员接收到来自与车辆指示符8030相关联的车辆或车辆的乘客的帮助请求并向车辆提供援助之后,车辆管理员可以启用解决控件8050以指示问题已经解决并且不再是待决的。在实施方式中,启用解决控件8050可以修改与车辆相关联的车辆数据,包括车辆任务紧迫性,其包括车辆请求或车辆任务的紧迫性的指示(例如,将患者运载到医院的救护车)。例如,运载急需医疗帮助的患者的车辆可以向车辆管理员发送优化的重定线的请求,并且一旦车辆管理员注意到该请求或者得出需要额外帮助的结论,车辆管理员可以与解决控件8050交互以更新请求的状态。
呼叫控件8060可以用于与和车辆指示符8030相关联的车辆联系和通信。例如,当呼叫控件8060被启用时,车辆管理员可以与和车辆指示符8030相关联的车辆的乘员或乘客交互。在实施方式中,当呼叫控件8060被启用时,可以与和车辆指示符8030相关联的车辆建立音频连接或音频和视频连接(例如,实况视频通信馈送)中的任何一种。
重定线控件8070可以用于修改与车辆相关联的路线。例如,与车辆指示符8030相关联的车辆可能经由将经过严重拥堵的交通的路线转运到目的地。重定线控件8070可以用于使车辆重定线以避免进入具有高度拥堵的交通的区域。在另一实施方式中,重定线控件8070可以是提供对自主车辆的遥控操作的不同类型的控制。
图9是示出了车辆管理员界面9000的实施例的图。可以基于一个或多个指令来生成车辆管理员界面9000,该一个或多个指令能够在包括控制器装置2410的计算装置上执行,并且该一个或多个指令可以存储在包括控制器装置2410的计算装置的存储器中。
例如,车辆管理员界面9000可以由控制器装置2410基于指令生成,所述指令由通过计算机网络访问控制器装置2410的客户端计算设备解译。然后,客户端计算设备可以在显示设备上生成车辆管理员界面9000的表示。
车辆管理员界面9000类似于如图8中所示的车辆管理员界面8000,并且包括车辆管理员部分9010、地图部分9020、车辆指示符9030、车辆指示符9040、聚簇控件9050和区域选择控件9060,其中任何一种均可以是基于与实体物体的状态相关联的数据的,该实体物体包括但不限于车辆、道路、建筑物和行人中的至少一种。
车辆管理员部分9010包括正被监控或追踪的物体的表示。物体可以包括车辆,包括图2中所示的车辆2100。物体可以表示为指示符,诸如车辆指示符9030,其可以被生成为静态图像或移动图像或任何其他类型的图像。此外,车辆管理员部分9010可以接收输入,该输入包括下述中的任何一种:触摸输入、语音输入和来自输入设备的输入。
举例来说,包括车辆指示符9030和车辆指示符9040的车辆指示符可以由操作员诸如车辆管理员选择。对车辆指示符的选择可以生成关于由车辆指示符表示的相应车辆的状态或状况的数据(例如,所选择的车辆指示符可以指示车辆是否将准时到达目的地)。
地图部分9020包括地理区域的表示,包括地理区域内的物体。地理区域内的物体可以包括车辆和外部物体中的任何一种,该外部物体包括但不限于道路、建筑物、骑行者和行人。地图部分9020可以接收输入,该输入包括下述中的任何一种:触摸输入、语音输入和来自输入设备的输入。到地图部分的输入可以生成关于所选择的车辆或外部物体的状态或状况的数据。例如,选择建筑物诸如体育场可以生成指示在一定时间帧内在该体育场举行体育事件的数据。因此,由于离开该体育场的顾客导致的增加的交通流量,车辆管理员可以预计在体育事件结束时体育场附近的拥堵,并使车辆重定线。
车辆指示符9030和车辆指示符9040是两个单独的自主车辆的状态或状况的表示,包括下述中的任何一种:车辆任务、车辆占用情况、车辆操作模式(例如,自主操作或手动操作)和车辆问题,该车辆问题包括关于车辆的运行状态的问题。车辆指示符9030和车辆指示符9040可以包括各种颜色、形状、图案、文本或象形图,以表示车辆指示符的状态或状况的各方面。例如,车辆指示符9030可以表示正在向目的地行进以便接载乘客的自主车辆。此外,车辆指示符9040可以表示正在运载另一乘客并且向目的地行进以便让该乘客下车的自主车辆。
聚簇控件9050和区域选择控件9060包括可以基于输入进行控制或修改的控制元件,该输入包括基于通过输入设备接收的输入的任何用户输入,该输入设备包括触觉输入设备(例如,键盘、鼠标或触摸屏)、音频输入设备(例如麦克风)和视觉输入设备(例如相机)。此外,可以基于指令——诸如计算机程序指令(例如,用以选择满足预先建立的标准诸如共同目的地的车辆指示符的指令)——来控制或修改聚簇控件9050和区域选择控件9060元件。
区域选择控件9060是可以被控制或修改以选择地图部分9020的一区段的控制元件。例如,可以由车辆管理员选择或突出显示地图的矩形区段,以便限定地图的地理区域内的车辆将被监控并且被选择或聚簇在与地图部分9020的所选部分对应的车辆管理员部分9010上。可以根据聚簇标准来监控和组织地图部分9020的所选区段内的物体,该聚簇标准包括共同的路线、目的地和出发点中的任何一种。如图9中所示的,聚簇控件9050可以指示车辆指示符9030和车辆指示符9040是基于共享的聚簇标准(例如,它们共享类似的路线)的聚簇组中的一部分。
图10是示出了车辆管理员界面10000的实施例的图。可以基于一个或多个指令来生成车辆管理员界面10000,该一个或多个指令能够在包括图2中所示的控制器装置2410的计算装置上执行,并且该一个或多个指令可以存储在包括控制器装置2410的计算装置的存储器中。
例如,车辆管理员界面10000可以由控制器装置2410基于指令生成,所述指令由通过计算机网络访问控制器装置2410的客户端计算设备解译。然后,客户端计算设备可以在显示设备上生成车辆管理员界面10000的表示。
车辆管理员界面10000包括车辆指示符10010、路径指示符10020、外部物体指示符10030、障碍指示符10040、行人指示符10050,其中任何一种均可以是基于与实体物体的状态相关联的数据的,该实体物体包括但不限于车辆、道路、建筑物和行人中的至少一种。可以在车辆管理员界面10000上显示外部物体、障碍、行人及它们的任何组合的多种配置。车辆指示符10010可以用于表示车辆。在该实施例中,车辆被表示为三维模型,然而可以以不同的方式表示车辆指示符10010,包括二维图像和象形图诸如图标中的任何一种。
路径指示符10020可以用于表示当前车辆位置与车辆目的地之间的路径。在实施方式中,车辆管理员可以引导与车辆指示符10010相关联的车辆沿着由路径指示符10020指示的路径。例如,当向与车辆指示符10010相关联的车辆提供远程援助时,可以生成路径指示符诸如虚拟车道,以便提供由路径指示符10020示出的车辆可以在其上行进的路径的视觉表示。
外部物体指示符10030可以用于表示外部物体,诸如,例如,可以改变车辆的预期路线的其他车辆。障碍指示符10040可以用于表示可以阻碍由车辆指示符10010表示的车辆的移动的外部物体。行人指示符10050可以用于表示外部物体,包括行人或骑行者或另一移动物体。可以用与由外部物体指示符10030或障碍指示符10040表示的其他外部物体不同的独特颜色图式来指示行人指示符10050。这样,可以将行人与其他类型的外部物体区分开,以提供额外的察觉和避免能力。在实施方式中,外部物体指示符10030、障碍指示符10040和行人指示符10050或它们的任何组合可以由相同或类似类型的指示符表示,该相同或类似类型的指示符涵盖了可能影响由车辆指示符10010表示的车辆的至少一个参数(例如,路线、行进时间等)的所有物体。
结合本文中所公开的技术的实施描述的任何方法、过程或算法的步骤或操作可以以硬件、固件、由硬件执行的软件、电路或它们的任何组合来实施。为了便于说明,图11至图13中所示的过程11000至13000被描绘和描述为一系列操作。然而,根据本公开内容的操作可以以各种顺序发生或同时发生。另外,根据本公开内容的操作可以与本文未呈现和描述的其他操作一起发生。
图11是根据本公开内容的用于对车辆的自主操作提供远程支持的技术11000的流程图。在实施方式中,技术11000由包括车队管理员、车辆管理员和前述界面中的任何一种的车辆监控系统或远程支持系统利用。用于车辆处理的技术11000的一些或全部方面可以在车辆中实施,该车辆包括图1中所示的车辆1000、图2中所示的车辆2100或者包括图2中所示的控制器装置2410的计算装置。在实施方式中,用于车辆处理的技术11000的一些或全部方面可以在结合了本公开内容中描述的特征中的一些或所有特征的系统中实施。
在操作11010,从车辆中的一个或多个车辆接收情形或状态数据。在实施方式中,状态数据由车辆监控系统的通信系统或类似设备接收。一个或多个车辆可以包括用于运输物体的设备或装置(例如运输工具),该物体包括乘客和货物中的任何一种。一个或多个车辆可以包括自主车辆或由人类驾驶员驾驶的车辆或半自主车辆。
状态数据包括但不限于基于车辆的状态或状况的数据,包括下述中的任何一种:与车辆的速度和加速度中的任何一种有关的动力学数据;位置数据,包括车辆的地理位置(例如,车辆的纬度和经度)或车辆关于另一物体的位置;车辆位置,包括车辆的取向和倾斜度(例如车辆在斜坡上的斜率);车辆的运行状态,包括车辆的电力状态或机械状态(例如电动车辆系统、机械车辆系统、轮胎压力等的健康状况);与车辆的持续维护有关的维护数据;能源数据,包括剩余燃料的量或剩余电池电荷的量;基于来自传感器的输出的传感器数据,该传感器包括光学传感器、音频传感器、运动传感器;内部状态数据,包括车辆的客舱内的温度和湿度;以及车辆的当前任务(例如,接载乘客)。
在实施方式中,状态数据可以包括来自车辆的援助请求,该车辆包括第一车辆。第一车辆可以包括下述中的任何一种:从车辆中选择的一车辆,和基于与车辆相关联的状态数据被排序或优先处理为第一优先级或高优先级的车辆。在实施方式中,传感器数据可以包括从包括第一车辆的车辆接收的图像数据。图像数据可以包括相机图像,该相机图像包括下述中的任何一种:第一车辆外部的环境的图像,和第一车辆内或内部的乘员的图像。
在操作11020,生成地图。在实施方式中,生成限定地理区域的第一地图显示。限定地理区域可以由操作员预先确定,或者基于历史数据或机器学习技术自动限定。第一地图显示包括限定地理区域内的车辆中的至少一些车辆或所有车辆。限定地理区域中的车辆可以被表示为车辆地图指示符。在实施方式中,响应于对状态指示符的输入,修改第一地图显示内表示相应车辆的车辆地图指示符的外观。
在实施方式中,生成另一个限定地理区域或者与用于第一地图显示相同的限定地理区域的第二地图显示。第二地图显示包括在另一个限定地理区域内的、并且被分配给第一远程支持队列作为车辆地图指示符的车辆。第二地图显示可以与另一显示被同时显示,包括第一状态显示和第二状态显示中的任何一种。在实施方式中,第二地图显示可以生成为半透明的叠盖物,其叠加在包括第一地图显示的另一显示的顶部上。
在操作11030,生成第一情形或状态显示。第一状态显示包括与和第一状态显示相关联的车辆中的至少一些车辆的状态数据对应的状态指示符。状态指示符可以包括下述中的任何一种:字形、图像、文本、形状、象形图以及它们的任何组合。第一状态显示可以与第一地图显示被同时显示。
状态指示符可以指示下述中的任何一种:指示车辆是否正在接收远程支持或已请求远程支持的车辆的操作模式;完成当前任务的预期进度;完成当前任务的实际进度;指示实际进度与预期进度之间的偏差(如果有的话)的进度指示符;指示车辆是否是提早、迟到和准时中的任何一种的进度指示符;以及与车辆的操作有关的问题。状态指示符使用下述来指示上述信息:在状态显示——包括第一状态显示和第二状态显示中任一种——中表示车辆的状态指示符的至少一部分的颜色、形状和大小中的任何一种;具有基于完成当前任务的预期时间的量的长度的时间刻度,该时间刻度包括表示实际进度的线;以及从该线延伸并且沿着时间刻度的长度指示偏差的的进度指示符,进度指示符的颜色指示车辆是否处于提早、迟到和准时中的任何一种。
在实施方式中,响应于对车辆地图指示符的输入,在第一状态显示内表示相应车辆的状态指示符的外观被修改。输入诸如来自输入设备的输入可以引起状态指示符的改变,包括颜色、大小、形状、亮度和文本的改变中的任何一种。例如,当乘客已经下车时,状态指示符上的文本可以从“接载”改变或更新为“下车”。
在实施方式中,车辆被分配给相应的远程支持队列,并且生成用于车辆的对应状态指示符,以用于在与各个远程支持队列对应的车道中进行显示,例如,如图5中所示的。例如,如果总共监控十辆车,并且存在五个车道对应于每个由单独的车辆管理员管理的远程支持队列,则操作员可以将两辆车及其对应的状态指示符分配给五个车道中的每个车道。
在实施方式中,状态指示符可以在远程支持队列之间移动。例如,用于车辆的状态指示符可以由操作员(诸如车辆监控系统的车队管理员)从与第一远程支持队列相关联的第一车道移动到与第二远程支持队列相关联的第二车道。通过在远程支持队列之间移动或重新分配对应车辆的状态指示符,系统可以确保恰当地监控和远程支持车辆。再例如,车队管理员可以通过将状态指示符的位置从与第一车辆管理员对应的第一远程支持队列改变到与第二车辆管理员对应的第二远程支持队列来将一组车辆从第一车辆管理员分配给第二车辆管理员。
在实施方式中,生成用于第一远程支持队列的第二状态显示。第二状态显示包括分配给第一远程支持队列的作为相应的状态指示符的车辆的状态数据的表示,所述相应的状态指示符基于与状态指示符表示的车辆相关联的紧迫性或优先级级别进行布置。例如,作为在去往让乘客在医院下车的路上的救护车的车辆可能与高紧迫性的级别相关联。紧迫性的级别可以是基于与车辆、优先、历史数据和实时交通数据相关联的状态数据中的任何一种的。基于紧迫性的级别,可以修改状态指示符的位置或显示。例如,较高级别的紧迫性(或较高的紧迫性级别)可以对应于较高的位置(例如,沿着竖向轴),或者与表示具有较低紧迫性级别的车辆的较小的状态指示符相比可以对应于较大的状态指示符。
在实施方式中,第一状态显示的状态指示符包括第二状态显示的状态指示符,并且第一状态显示的状态指示符的元素包括第二状态显示的状态指示符的元素的子集。例如,为了便于对大量状态指示符进行分组,可以简化第一状态显示中的状态指示符,以显示关于车辆的状态数据的更少细节。在另一实施方式中,第二状态显示的状态指示符的元素包括第一状态显示的状态指示符的元素的子集。
在操作11040,生成远程支持界面。远程支持界面对到车辆的任何状态指示符的输入信号可以是响应性的,包括但不限于来自第一状态显示的到第一车辆的第一状态指示符的输入信号。例如,与第一状态指示符的交互可以生成远程支持界面,该远程支持界面具有诸如图8中所示的界面中的任务控件、解决控件、重定线控件和呼叫控件。远程支持界面可以叠加在第一状态显示上并且处于已经使用输入信号与之进行交互的状态指示符周围的区域中,或者远程支持界面可以是响应于输入信号而生成的新显示。
在实施方式中,远程支持界面的一部分被分派为显示下述中的任何一种:包括相机图像的传感器数据的指示;表示相机图像的地图数据的指示,其中相机图像包括第一车辆外部的环境的图像。
在操作11050,将指令数据传输到车辆中的任何车辆,诸如第一车辆。指令数据包括用于由车辆或车辆的乘员(例如驾驶员)执行的对车辆(例如自主车辆)的指令。例如,指令数据包括但不限于下述中的任何一种:控制车辆的移动,包括改变车辆的加速度、速度或方向(例如,转向);打开或关闭车辆的一些或所有部分(例如,打开车辆外部的灯);启用或停用车辆中的控制系统,包括机械控制系统和电气控制系统;启用或停用车辆中的传感器(例如,启用相机以查看车辆内部或车辆外部);启用或停用提供与车辆、车辆的乘员以及车辆外部的物体或个人通信的通信系统。
在实施方式中,响应于下述中的任何一种可以启动将指令数据传输到第一车辆:接收到传输指令数据的信号,包括由预编程脚本发出的命令;以及使用远程支持界面(例如,用户与远程支持界面交互)。基于车辆的状态数据,指令数据还可以响应于检测到的状态或情况被自动传输到车辆。
在实施方式中,指令数据包括到第一车辆的地图数据内的虚拟车道,以用于第一车辆的自主操作,以供第一车辆用于导航。例如,指令数据可以生成图像,该图像可以包括在车辆的预定距离内的区域的表示或模型中,例如,图10中所示的路径指示符10020。虚拟车道可以帮助引导被提示需要接收指令数据的、围绕各种障碍或外部物体的自主车辆。
在操作11060,根据远程支持的紧迫性级别对车辆进行排序。在实施方式中,根据紧迫性级别对处于第一状态显示或第二状态显示或两者的车辆进行排序。可以基于状态数据或用户输入或其他类型的聚合数据(例如,一天中的时间、通过分析历史数据获得的类似车辆的典型紧迫性级别等)来确定远程支持的紧迫性级别。例如,指示车辆比计划晚了三十分钟的状态数据可能具有比仅比计划晚了二十秒的车辆高的紧迫性级别。
在操作11070,基于对应的紧迫性级别在第一状态显示中对状态指示符进行布置。在实施方式中,该布置可以将类似的紧迫性级别聚簇或者以升序或降序从上到下列出它们。例如,表示车辆中的至少一些车辆的状态指示符可以根据增加的紧迫性级别从第一状态显示的下部部分移动到第一状态显示的上部部分。在另一实施例中,与较低紧迫性级别相关联的状态指示符可以显示在显示器的最左部分上,随着紧迫性级别的增加,状态指示符向右移动。另外,低于一定紧迫性阈值级别的状态指示符对于显示器可以是隐藏的。
图12是根据本公开内容的用于对车辆的自主操作提供远程支持的技术12000的流程图。用于车辆处理的技术12000中的一些或全部可以在车辆中实施,该车辆包括图1中所示的车辆1000、图2中所示的车辆2100或包括图2中所示的控制器装置2410的计算装置。在实施方式中,用于车辆处理的技术12000的一些或全部方面可以在结合了本公开内容描述的特征中的一些或所有特征的系统中实施。
在操作12010,从车辆中的一个或多个车辆接收情形数据或状态数据。状态数据包括车辆的状态或状况的指示,诸如,例如过程11000中描述的状态数据。在操作12020,生成第一级别控制站。第一级别控制站可以包括实例,该实例可以接收输入、处理包括状态数据的数据以及产生包括显示输出的输出。第一级别控制站包括相应的第一状态显示,其显示来自被分配给第一级别控制站中相应第一级别控制站的车辆的一部分的状态数据的状态指示符。第一级别控制站可以包括远程支持队列和对应的车道,并且可以由操作员诸如车辆管理员管理。
在操作12030,生成用于第二级别控制站的第二情形或状态显示。在实施方式中,第二级别控制站是管理第一级别控制站和对应的车辆管理员的车队管理员。在另一实施方式中,生成用于各个第二级别控制站的多个第二状态显示。第二状态显示显示出车辆的状态数据,并且可以显示与第一状态显示上显示的类似或不同的状态数据。例如,第二级别控制站可以对应于由车队管理员操作的控制站,并且第一级别控制站可以对应于由在车队管理员的管辖下的车队管理员操作的控制站。
在操作12040,响应于接收到车辆正在请求支持的指示,将指令数据传输到车辆。在实施方式中,在没有接收到指示(例如,请求支持)的情况下传输指令数据。可以将指令数据传输到在第一级别控制站的第一状态显示之一中显示的第一车辆。指令数据可以包括用于车辆的远程操作的指令,包括图11中的技术11000中描述的指令数据。
在操作12050,由操作员(诸如车队管理员)分派或平衡或优化第一级别控制站之间的工作量,该操作员使用第二状态显示的状态指示符来分配车辆。在实施方式中,基于系统检测到工作量之间存在不平衡或者车辆管理员中的一个急需帮助(例如,车辆管理员正在监控太多车辆或其中一个车辆需要耗时的支持,因此其他车辆应重新分配预定的时间段),分配是自动化的。工作量可以基于下述中的任何一种:状态数据、外部数据、历史数据以及车辆到第一级别控制站的分发。
图13是根据本公开内容的用于对车辆的自主操作提供远程支持的技术13000的流程图。用于车辆处理的技术13000的一些或全部方面可以在车辆中实施,该车辆包括图1中所示的车辆1000、图2中所示的车辆2100或者包括图2中所示的控制器装置2410的计算装置。在实施方式中,用于车辆处理的技术13000的一些或全部方面可以在结合了本公开内容中描述的特征中的一些或所有特征的系统中实施方式。
在操作13010,生成限定地理区域的地图显示。在实施方式中,地图显示可以包括为各个第一级别控制站生成的、第一限定地理区域的第一地图显示。第一地图显示包括车辆地图指示符,所述车辆地图指示符用以指示在限定地理区域内的车辆并且被分配给第一级别控制站中相应第一级别控制站作为车辆地图指示符。第一地图显示可以与相应的第一状态显示被同时显示。
在操作13020,生成限定地理区域的另一地图显示。在实施方式中,另一地图显示是为第二控制站生成的、第一限定地理区域(或另一限定地理区域)的第二地图显示。第二地图显示包括车辆地图指示符,所述车辆地图指示符用以指示在第一限定地理区域内的车辆并被分配给第二控制站作为车辆地图指示符。第二地图显示可以与相应的第二状态显示被同时显示。在操作13030,接收选择了相应的第一级别控制站的第一地图显示的一部分的输入。例如,输入可以包括来自输入设备的选择信号。
在操作13040,对应于操作13030的选择,对第一状态显示的状态指示符进行聚簇。在实施方式中,基于车辆中被分配给第一级别控制站的那些车辆相对于第一地图显示的所选部分的位置的相应位置,对相应第一级别控制站的第一状态显示的状态指示符进行聚簇。例如,通过选择第一地图显示的一部分——该部分包围或围绕在彼此的预定距离内的车辆,可以将在彼此的预定距离内的车辆聚簇在一起。在实施方式中,可以基于状态数据或观察到的数据或优先级对状态指示符进行聚簇。
在操作13050,将指令数据传输到簇内的全部或部分车辆。在实施方式中,基于已经发送或传输到第一车辆的指令数据将指令数据传输到第二车辆。指令数据可以包括用以控制车辆或与车辆通信的指令,并且可以包括图11的技术11000中描述的指令数据。在实施方式中,可以基于到表示第二车辆的第二状态指示符——与表示第一车辆的第一状态指示符在共同的簇中——的输入来启动指令数据的传输。
图14示出了根据本公开内容的用于远程支持的方法14000。方法14000包括:经由14010从车辆接收状态数据;经由14020生成用于第一级别控制站的相应的第一状态显示,该第一状态显示将来自被分配给第一级别控制站中相应第一级别控制站的车辆的一部分车辆的状态数据显示为相应的状态指示符;经由14030生成用于第二级别控制站的显示车辆的状态数据的第二状态显示;经由14040生成远程支持界面,该远程支持界面包括第一状态显示和从车辆中的第一车辆接收的图像数据;经由14050,基于第一车辆需要远程支持的指示,使用第一状态显示之一中表示第一车辆的状态指示符将指令数据传输到第一车辆,指令数据一旦被第一车辆接收,就修改第一车辆的自主操作;以及经由14060通过使用第二状态显示的状态指示符分配车辆来在第一级别控制站之间分派工作量。
所公开的技术提供了更有效地组织传输网络中与自主车辆的操作有关的数据的方式的益处。所公开的技术可以接收指示自主车辆的状态的状态数据,该状态数据可以用于对车辆进行优先处理,以便更有效地为运输中的车辆规划路线并且援助出故障或受到外部因素的不利影响的车辆。此外,所公开的技术为人类操作员提供了改进的方式来远程控制自主车辆,从而减少传输网络中的中断。
虽然已经结合某些实施方式描述了所公开的技术,但是要理解的是,所公开的技术不限于所公开的实施方式,相反,旨在涵盖包括在所附权利要求的范围内的各种修改和等同布置,该范围应被赋予最广泛的解释,以包含法律允许的所有这些修改和等同结构。

Claims (20)

1.一种远程支持装置,包括:
存储器;以及
处理器,所述处理器被配置成执行存储在所述存储器中的指令以:
从车辆接收状态数据;
生成第一地图显示,所述第一地图显示包括地理区域的表示以及表示所述车辆中在所述地理区域内的一部分车辆的车辆地图指示符;
生成第一状态显示,所述第一状态显示包括作为状态指示符的、所述车辆中的所述一部分车辆的表示;
生成远程支持界面,所述远程支持界面包括所述第一状态显示和从所述车辆中的所述一部分车辆中的第一车辆接收的图像数据,其中,所述远程支持界面对到来自所述第一状态显示的所述第一车辆的第一状态指示符的输入信号是响应性的;以及
基于到所述远程支持界面的所述输入信号,将指令数据传输到所述第一车辆以修改所述第一车辆的自主操作。
2.根据权利要求1所述的装置,其中,所述处理器还被配置成执行存储在所述存储器中的指令以:
根据基于所述状态数据的紧迫性级别对所述车辆进行排序;以及
基于与所述状态指示符对应的所述紧迫性级别,在所述第一状态显示中对所述状态指示符进行定位。
3.根据权利要求2所述的装置,其中,所述车辆被分配给相应的远程支持队列,并且所述处理器还被配置成执行存储在所述存储器中的指令以:
通过显示车道来生成所述第一状态显示,每个车道对应于相应的远程支持队列,基于至少一个车辆对应于相应的远程支持队列的分配,将所述状态指示符布置在所述车道中。
4.根据权利要求3所述的装置,其中,所述处理器还被配置成执行存储在所述存储器中的指令以:
通过将相应的状态指示符从表示所述远程支持队列中的第一远程支持队列的第一车道移动到表示所述远程支持队列中的第二远程支持队列的第二车道,将车辆从所述远程支持队列中的所述第一远程支持队列分配给所述远程支持队列中的所述第二远程支持队列。
5.根据权利要求1所述的装置,其中,所述第一状态显示与所述第一地图显示被同时显示。
6.根据权利要求1所述的装置,其中,所述处理器还被配置成执行存储在所述存储器中的指令以:
接收来自所述第一车辆的援助请求;以及
响应于所述援助请求,改变所述第一状态显示中所述第一状态指示符的外观。
7.根据权利要求1所述的装置,其中,所述图像数据包括相机图像,所述相机图像包括在所述第一车辆外部的环境的图像和在所述第一车辆内的乘员的图像中的任何图像,其中,所述远程支持界面显示所述相机图像。
8.根据权利要求7所述的装置,其中,所述处理器还被配置成执行存储在所述存储器中的指令以:
通过包括地图数据来生成所述远程支持界面,所述地图数据表示在所述第一车辆外部的环境的图像;以及
通过将所述地图数据内的虚拟车道传输到所述第一车辆以供所述第一车辆用于导航,将所述指令数据传输到所述第一车辆以修改所述第一车辆的自主操作。
9.一种远程支持装置,包括:
存储器;以及
处理器,所述处理器被配置成执行存储在所述存储器中的指令以:
从车辆接收状态数据;
基于对所述车辆的远程支持的紧迫性级别来对所述车辆进行排序,所述紧迫性级别是使用所述状态数据确定的;
生成第一状态显示,所述第一状态显示将所述车辆中的至少一些车辆的状态数据显示为基于所述紧迫性级别布置的相应状态指示符;
生成远程支持界面,所述远程支持界面包括所述第一状态显示和从所述车辆中的所述至少一些车辆中的第一车辆接收的图像数据,所述远程支持界面对到来自所述第一状态显示的所述第一车辆的第一状态指示符的输入信号是响应性的;以及
使用所述远程支持界面将信号传输到所述第一车辆。
10.根据权利要求9所述的装置,其中,所述处理器还被配置成执行存储在所述存储器中的指令以:
通过根据增加的紧迫性级别将表示所述车辆中的所述至少一些车辆的所述状态指示符从所述第一状态显示的下部部分布置到所述第一状态显示的上部部分,生成所述第一状态显示。
11.根据权利要求9所述的装置,其中,所述车辆被分配给相应的远程支持队列,并且所述处理器还被配置成执行存储在所述存储器中的指令以:
生成所述第一状态显示,以显示所述车辆中的每个车辆的相应的状态指示符;以及
通过显示下述中的任何项来显示车辆的状态数据:该车辆的当前任务;指示该车辆是否正在接收远程支持的该车辆的操作模式;该车辆离所述当前任务的预期进度的偏差;所述偏差是在所述预期进度之前还是之后;以及与该车辆的操作有关的问题,其中,所述显示利用所述第一状态显示中表示该车辆的状态指示符的至少一部分的颜色、形状和大小中的至少一种。
12.根据权利要求11所述的装置,其中,所述处理器还被配置成执行存储在所述存储器中的指令以:
生成限定地理区域的第一地图显示,所述第一地图显示将所述车辆中在所述限定地理区域内的那些车辆显示为车辆地图指示符,所述第一地图显示与所述第一状态显示被同时显示。
13.根据权利要求12所述的装置,其中,所述处理器还被配置成执行存储在所述存储器中的指令以:
响应于对与相应车辆相关联的状态指示符的输入,修改所述第一地图显示内表示所述相应车辆的车辆地图指示符的外观;以及
响应于对所述车辆地图指示符的输入,修改所述第一状态显示内表示所述相应车辆的所述状态指示符的外观。
14.根据权利要求12所述的装置,其中,所述车辆被分配给相应的远程支持队列,并且所述指令包括用以进行下述的指令:
生成用于远程支持队列的第二状态显示,所述第二状态显示将所述车辆中被分配给所述远程支持队列的那些车辆的状态数据显示为基于所述紧迫性级别布置的相应状态指示符;以及
生成第二限定地理区域的第二地图显示,所述第二地图显示将所述车辆中在所述第二限定地理区域内并且被分配给所述远程支持队列的那些车辆显示为车辆地图指示符,所述第二地图显示与所述第二状态显示被同时显示。
15.根据权利要求14所述的装置,其中,所述第一状态显示的状态指示符包括所述第二状态显示的状态指示符,并且所述第一状态显示的状态指示符的元素包括所述第二状态显示的状态指示符的元素的子集。
16.根据权利要求15所述的装置,其中,所述状态数据包括下述中的任何项:所述车辆的当前任务;指示所述车辆是否正在接收远程支持的所述车辆的操作模式;完成所述当前任务的预期进度;完成所述当前任务的实际进度;指示所述实际进度与所述预期进度之间的偏差的进度指示符;指示所述车辆是提早、迟到还是准时的进度指示符;以及与所述车辆的操作有关的问题。
17.根据权利要求16所述的装置,其中,所述第二状态显示中表示所述车辆的状态指示符包括:具有基于完成所述当前任务的预期时间的量的长度的时间刻度,所述时间刻度包括表示实际进度的线;以及从该线延伸且沿着所述时间刻度的长度指示偏差的进度指示符,所述进度指示符的颜色指示所述车辆是否处于提早、迟到和准时中的任何一种。
18.一种用于对车辆的自主操作进行远程支持的方法,所述方法包括:
从所述车辆接收状态数据;
生成用于第一级别控制站的相应的第一状态显示,所述第一状态显示将来自所述车辆中被分配给所述第一级别控制站中的相应第一级别控制站的一部分车辆的状态数据显示为相应的状态指示符;
生成用于第二级别控制站的第二状态显示,所述第二状态显示显示出所述车辆的状态数据;
生成远程支持界面,所述远程支持界面包括所述第一状态显示和从所述车辆中的第一车辆接收的图像数据;
基于所述第一车辆需要远程支持的指示,使用所述远程支持界面将指令数据传输到所述第一车辆,所述指令数据一旦被所述第一车辆接收就修改所述第一车辆的自主操作;以及
通过使用所述第二状态显示的所述状态指示符分配所述车辆,在所述第一级别控制站之间分派工作量。
19.根据权利要求18所述的方法,还包括:
生成用于所述第一级别控制站的第一限定地理区域的相应的第一地图显示,所述相应的第一地图显示将所述车辆中在所述第一限定地理区域内并且被分配给所述第一级别控制站的相应第一级别控制站的那些车辆显示为车辆地图指示符,所述相应的第一地图显示与所述相应的第一状态显示被同时显示;以及
生成用于所述第二级别控制站的第二限定地理区域的第二地图显示,所述第二地图显示将所述车辆中在所述第二限定地理区域内的那些车辆显示为车辆地图指示符,所述第二地图显示与所述第二状态显示被同时显示。
20.根据权利要求19所述的方法,还包括:
接收对第一级别控制站的第一地图显示的一部分的选择;
基于所述车辆中被分配给所述第一级别控制站的那些车辆相对于所述第一地图显示的所述一部分的位置的相应位置,对所述第一级别控制站的所述第一状态显示的状态指示符进行聚簇;以及
基于传输到所述第一车辆的指令数据,使用与表示所述第一车辆的状态指示符在共同的簇中的表示第二车辆的第二状态指示符,将所述指令数据传输到所述第二车辆。
CN201780073364.4A 2016-11-30 2017-11-30 对车辆的自主操作进行远程支持的装置和方法 Active CN110192083B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662428026P 2016-11-30 2016-11-30
US62/428,026 2016-11-30
PCT/US2017/063816 WO2018102475A1 (en) 2016-11-30 2017-11-30 Autonomous vehicle remote support mapping interface

Publications (2)

Publication Number Publication Date
CN110192083A true CN110192083A (zh) 2019-08-30
CN110192083B CN110192083B (zh) 2020-09-08

Family

ID=62242247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780073364.4A Active CN110192083B (zh) 2016-11-30 2017-11-30 对车辆的自主操作进行远程支持的装置和方法

Country Status (7)

Country Link
US (2) US10591912B2 (zh)
EP (1) EP3548843B1 (zh)
JP (1) JP6732130B2 (zh)
CN (1) CN110192083B (zh)
BR (1) BR112019010737A2 (zh)
MX (1) MX2019006183A (zh)
WO (1) WO2018102475A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112019010737A2 (pt) * 2016-11-30 2019-10-01 Florida Inst For Human & Machine Cognition Inc interface de mapeamento de suporte remoto de veículo autônomo
JP7050006B2 (ja) * 2017-06-28 2022-04-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 移動体制御装置、移動体制御方法、及び学習方法
CN111194440A (zh) * 2017-08-07 2020-05-22 北美日产公司 自主车辆通知系统和方法
CN107957259B (zh) * 2017-10-26 2019-06-04 深圳大学 轮迹横向分布测量系统及测量方法
US20190187691A1 (en) 2017-12-18 2019-06-20 Steeringz, Inc. Safety of autonomous vehicles by remote support request
US10775806B2 (en) * 2017-12-22 2020-09-15 Lyft, Inc. Autonomous-vehicle dispatch based on fleet-level target objectives
WO2019180700A1 (en) * 2018-03-18 2019-09-26 Liveu Ltd. Device, system, and method of autonomous driving and tele-operated vehicles
JP7243087B2 (ja) * 2018-09-04 2023-03-22 トヨタ自動車株式会社 情報処理装置、情報処理方法およびプログラム
EP3621310A1 (en) * 2018-09-10 2020-03-11 Panasonic Intellectual Property Corporation of America Video transmitting device, video transmitting method, and program
US11499837B2 (en) * 2018-09-30 2022-11-15 Strong Force Intellectual Capital, Llc Intelligent transportation systems
EP3856596A4 (en) 2018-09-30 2022-10-12 Strong Force Intellectual Capital, LLC INTELLIGENT TRANSPORT SYSTEMS
US20200342419A1 (en) * 2019-04-29 2020-10-29 Lyft, Inc. Intelligent management of one or more machines of a vehicle service center
JP7238670B2 (ja) * 2019-07-23 2023-03-14 トヨタ自動車株式会社 画像表示装置
CN114631005A (zh) * 2019-08-30 2022-06-14 马格纳电子系统公司 监视者分配系统和方法
JP7226238B2 (ja) * 2019-10-15 2023-02-21 トヨタ自動車株式会社 車両制御システム
US11274936B2 (en) * 2019-11-14 2022-03-15 Nissan North America, Inc. Safety-assured remote driving for autonomous vehicles
EP3965443A1 (en) 2020-09-08 2022-03-09 Volkswagen Ag Vehicles, methods, computer programs, and apparatuses for resolving a deadlock traffic situation of an automatically operated vehicle
JP7351320B2 (ja) 2021-03-09 2023-09-27 トヨタ自動車株式会社 車両制御システム及び車両制御方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090132163A1 (en) * 2007-08-30 2009-05-21 Wirelesswerx International, Inc. Configuring and using multi-dimensional zones
US20140210646A1 (en) * 2012-12-28 2014-07-31 Balu Subramanya Advanced parking and intersection management system
US20150039157A1 (en) * 2011-09-22 2015-02-05 Aethon, Inc. Monitoring, Diagnostic and Tracking Tool for Autonomous Mobile Robots
US20150248131A1 (en) * 2014-03-03 2015-09-03 Google Inc. Remote Assistance for Autonomous Vehicles in Predetermined Situations
CN104898497A (zh) * 2015-04-10 2015-09-09 北京林业大学 消防车远程控制终端
CN105966329A (zh) * 2015-03-12 2016-09-28 曼卡车和巴士股份公司 用于协助车辆特别是商用车辆的驾驶员的方法及设备
CN105984425A (zh) * 2015-03-19 2016-10-05 现代自动车株式会社 车辆以及包括车辆的车辆远程控制系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4899746B2 (ja) 2006-09-22 2012-03-21 日産自動車株式会社 経路案内表示装置
US8855847B2 (en) 2012-01-20 2014-10-07 Toyota Motor Engineering & Manufacturing North America, Inc. Intelligent navigation system
JP6033838B2 (ja) 2012-02-27 2016-11-30 ヤマハ発動機株式会社 運転状態共有装置および運転状態共有システム
US9547989B2 (en) * 2014-03-04 2017-01-17 Google Inc. Reporting road event data and sharing with other vehicles
US9404761B2 (en) 2014-05-30 2016-08-02 Nissan North America, Inc. Autonomous vehicle lane routing and navigation
US9494935B2 (en) 2014-11-13 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Remote operation of autonomous vehicle in unexpected environment
US10345809B2 (en) 2015-05-13 2019-07-09 Uber Technologies, Inc. Providing remote assistance to an autonomous vehicle
JP5957744B1 (ja) 2015-07-31 2016-07-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP5957745B1 (ja) 2015-07-31 2016-07-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
US10386835B2 (en) * 2016-01-04 2019-08-20 GM Global Technology Operations LLC System and method for externally interfacing with an autonomous vehicle
WO2017138920A1 (en) * 2016-02-09 2017-08-17 Ford Global Technologies, Llc Apparatus and method for an autonomous vehicle to follow an object
BR112019010737A2 (pt) * 2016-11-30 2019-10-01 Florida Inst For Human & Machine Cognition Inc interface de mapeamento de suporte remoto de veículo autônomo

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090132163A1 (en) * 2007-08-30 2009-05-21 Wirelesswerx International, Inc. Configuring and using multi-dimensional zones
US20150039157A1 (en) * 2011-09-22 2015-02-05 Aethon, Inc. Monitoring, Diagnostic and Tracking Tool for Autonomous Mobile Robots
US20140210646A1 (en) * 2012-12-28 2014-07-31 Balu Subramanya Advanced parking and intersection management system
US20150248131A1 (en) * 2014-03-03 2015-09-03 Google Inc. Remote Assistance for Autonomous Vehicles in Predetermined Situations
CN105966329A (zh) * 2015-03-12 2016-09-28 曼卡车和巴士股份公司 用于协助车辆特别是商用车辆的驾驶员的方法及设备
CN105984425A (zh) * 2015-03-19 2016-10-05 现代自动车株式会社 车辆以及包括车辆的车辆远程控制系统
CN104898497A (zh) * 2015-04-10 2015-09-09 北京林业大学 消防车远程控制终端

Also Published As

Publication number Publication date
EP3548843A4 (en) 2019-12-11
US20190294159A1 (en) 2019-09-26
CN110192083B (zh) 2020-09-08
EP3548843A1 (en) 2019-10-09
JP6732130B2 (ja) 2020-07-29
EP3548843B1 (en) 2021-01-20
MX2019006183A (es) 2019-09-11
WO2018102475A4 (en) 2018-07-26
US20200218255A1 (en) 2020-07-09
WO2018102475A1 (en) 2018-06-07
US11378952B2 (en) 2022-07-05
JP2020513621A (ja) 2020-05-14
BR112019010737A2 (pt) 2019-10-01
US10591912B2 (en) 2020-03-17

Similar Documents

Publication Publication Date Title
CN110192083A (zh) 自主车辆远程支持映射界面
US11307597B2 (en) Tele-operation of autonomous cars to negotiate problem situations
JP6726363B2 (ja) 生成されたインターフェースを使用する自律走行車の監視
CN108292474B (zh) 派遣和维护自主车辆的车队的协调
CN108290579B (zh) 用于自主车辆的模拟系统和方法
CA3170637A1 (en) System and method for autonomous vehicle systems simulation
JP2019537159A5 (zh)
US20210278523A1 (en) Systems and Methods for Integrating Radar Data for Improved Object Detection in Autonomous Vehicles
US11541904B2 (en) Systems and methods for selective autonomous vehicle ridership and control
US11834069B2 (en) Systems and methods for selecting trajectories based on interpretable semantic representations
US11507090B2 (en) Systems and methods for vehicle motion control with interactive object annotation
US20220032961A1 (en) Systems and Methods for Autonomous Vehicle Motion Control and Motion Path Adjustments
CN110291362A (zh) 生成用于自主车辆的解决方案数据以克服问题状况
WO2021178517A1 (en) Systems and methods for object detection and motion prediction by fusing multiple sensor sweeps into a range view representation
US20210403024A1 (en) Hybrid autonomy system for autonomous and automated delivery vehicle
US20220092412A1 (en) Systems and Methods for Segregating Machine Learned Models for Distributed Processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230524

Address after: Kanagawa

Patentee after: NISSAN MOTOR Co.,Ltd.

Patentee after: Florida Institute of Human-Machine Cognition Ltd.

Address before: Tennessee,USA

Patentee before: NISSAN NORTH AMERICA, Inc.

Patentee before: Florida Institute of Human-Machine Cognition Ltd.