CN110249272B - 自主车辆监控方法、设备和计算机可读存储介质 - Google Patents

自主车辆监控方法、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN110249272B
CN110249272B CN201780073288.7A CN201780073288A CN110249272B CN 110249272 B CN110249272 B CN 110249272B CN 201780073288 A CN201780073288 A CN 201780073288A CN 110249272 B CN110249272 B CN 110249272B
Authority
CN
China
Prior art keywords
vehicle
data
state
external
status
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780073288.7A
Other languages
English (en)
Other versions
CN110249272A (zh
Inventor
L.佩德森
M.西尔休伊斯
H.乌茨
M.D.彭纳
J.布拉德肖
M.约翰森
M.维格纳蒂
L.邦奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Florida Institute Of Human-Machine Cognition Ltd
Nissan Motor Co Ltd
Original Assignee
Florida Institute Of Human-Machine Cognition Ltd
Nissan North America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Florida Institute Of Human-Machine Cognition Ltd, Nissan North America Inc filed Critical Florida Institute Of Human-Machine Cognition Ltd
Publication of CN110249272A publication Critical patent/CN110249272A/zh
Application granted granted Critical
Publication of CN110249272B publication Critical patent/CN110249272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06Q50/40—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
    • G07C5/0825—Indicating performance data, e.g. occurrence of a malfunction using optical means
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Abstract

描述了用于监控车辆(包括自主车辆)的方法、设备、系统和非暂时性计算机可读存储介质。所公开的技术包括车辆监控系统，所述车辆监控系统接收与车辆和对应的预定区域相关联的车辆数据和外部数据。所述车辆数据包括所述车辆的车辆状态，并且所述外部数据包括外部对象的外部状态。基于所述外部状态中的至少一个和所述车辆状态确定所述车辆的问题类型。生成问题类型的指示以在界面上显示。

Description

自主车辆监控方法、设备和计算机可读存储介质
技术领域
本申请涉及车辆监控，包括用于生成界面以监控车辆(包括自主车辆)的方法、设备、系统和非暂时性计算机可读介质。
背景技术
自主车辆的激增部分地由以下思想来推动：通过减少人类驾驶员的数量并且相应地减少由这些驾驶员引起的错误的数量，使得车辆通过运输网络的移动可以更加有效且安全。然而，由于自主车辆与不可预测的环境交互的方式的潜在特性，用自主车辆代替驾驶员可能导致各种问题。
发明内容
本文公开了用于监控运输网络中的车辆的各个方面、特征、元素(元件)、实施和实现。
在一种实现中，提供了一种用于车辆监控的方法。所述方法包括接收与车辆和预定区域相关联的车辆数据和外部数据，其中所述车辆数据包括所述车辆的车辆状态，并且所述外部数据包括外部对象的外部状态。所述方法包括：基于所述外部状态中的至少一个和所述车辆状态确定所述车辆的问题类型，并生成所述问题类型的指示以在界面上显示。
在一种实现中，提供了一种车辆监控设备。所述车辆监控设备包括非暂时性存储器和处理器。所述处理器被配置为执行储存在所述非暂时性存储器中的指令，以接收与车辆和对应的预定区域相关联的车辆数据和外部数据，其中所述车辆数据包括所述车辆的车辆状态，并且所述外部数据包括外部对象的外部状态。所述车辆监控设备可以基于所述外部状态中的至少一个和所述车辆状态确定所述车辆的问题类型，并且可以生成所述问题类型的指示以在界面上显示。
在一种实现中，提供了一种非暂时性计算机可读存储介质。所述非暂时性计算机可读存储介质包括可由一个或多个处理器执行的程序指令，所述程序指令在被执行时引起所述一个或多个处理器执行操作。所述操作包括接收与车辆和对应的预定区域相关联的车辆数据和外部数据，其中所述车辆数据包括所述车辆的车辆状态，并且所述外部数据包括外部对象的外部状态。所述操作包括基于所述外部状态中的至少一个和所述车辆状态确定所述车辆的问题类型，并且生成所述问题类型的指示以在界面上显示。
在以下实施方式的具体描述、所附权利要求和随附附图中公开了本公开的这些和其他方面。
附图说明
当结合随附附图阅读时，从以下具体描述中可以最好地理解所公开的技术。要强调的是，根据惯例，附图的各种特征不是按比例的。相反地，为了清楚起见，各种特征的尺寸被任意扩大或缩小。
图1是可以实施本文公开的各个方面、特征和元素的车辆的一部分的示例的图。
图2是可以实施本文公开的各个方面、特征和元素的车辆运输和通信系统的一部分的示例的图。
图3是例示了根据本公开的远程车辆辅助中心的框图。
图4是例示了根据本公开的用于在界面中使用的车辆指示符的示例的图。
图5是示例了根据本公开的车队管理员界面的示例的图。
图6是例示了根据本公开的用与在界面中使用的车辆指示符的示例的图。
图7是例示了根据本公开的车辆管理员界面的示例的图。
图8是例示了根据本公开的车辆管理员界面的示例的图。
图9是例示了根据本公开的车辆管理员界面的示例的图。
图10是例示了根据本公开的车辆管理员界面的示例的图。
图11是根据本公开的用于车辆监控的技术的流程图。
图12是根据本公开的用于车辆监控的技术的流程图。
图13是根据本公开的用于车辆监控的技术的流程图。
图14是根据本公开的用于车辆监控的技术的流程图。
图15是根据本公开的用于车辆监控的技术的流程图。
图16示出了根据本公开的用于车辆监控的方法。
具体实施方式
在包括由操作员(包括但不限于人类和机器操作员)监控的大量车辆的运输网络中，检测和解决问题的能力通常受到监控系统向操作员提供有用数据的能力的限制。由于受监控的车辆数量众多以及可与这些车辆相关联的大量数据，当数据被提供而未进行充分过滤并且为不易于理解且未使用流线型视觉效果而生成的形式时，操作员可能经历信息过载。现有的监控车辆的方式通常是劳动密集型的，并且不能以易于理解和访问的方式显示车辆的状态和周围环境，以便一目了然地生成建议。
因此，存在对于以更有效方式监控车辆运输网络中的车辆的状态的未满足的需求。照此，具有快速评估每个车辆的状态而不必通过用户接口进行复杂交互的方式将是有利的。在所公开的技术中，通过基于外部对象和相应的车辆的状态而生成将车辆数据和外部或环境数据(包括但不限于外部对象、道路障碍物、其他车辆、行人、交通数据、天气数据等)转换成易于理解的指示符(例如生成的视觉指示符符号(glyph，字形))的多个界面(包括但不限于车队管理员和车辆管理员界面)来促进对车辆的状态的监控。所公开的技术还使得操作员能够使用经由界面生成和聚集的信息直接向正被监控的车辆提供远程支持和辅助。以这种方式，生成原始数据并将原始数据转换成易于阅读的指示，所述指示为操作员(诸如远程监控人员)提供运输网络中的车辆的状态的全面的图片。
例如，经常存在可能无法以有效的方式管理自主车辆的情况，诸如车辆故障或针对已建立的交通模式的临时交通路线选择。在这种情况下，本公开提供了一种监督机制(例如，监控自主车辆及其周围的环境/基础设施的状态的人或系统)，该监督机制接收并转换数据以使远程支持(包括但不限于路线选择、其他类型的导航建议)指令能够从监控系统传送到被支持的车辆。这可以优化自主车辆通过运输网络的流动。此外，可以响应于对支持的请求或基于数据分析自动生成并提供来提供远程支持。
经由界面监控指示可以由人类操作员(例如，车队管理员，所述车队管理员监督分配给独立车辆管理员的所有车辆，所述独立车辆管理员负责监控已经分配给他们的车辆)或由系统本身使用机器学习技术和数据分析来进行。例如，在处理从各种源接收的信号和复杂的原始数据(例如，车辆的状态信息、来自周围环境的图像、该地区的整体交通数据等)并生成输出或显示在界面上的指示符之后，系统可以利用界面的历史数据、先前传送的指令和建议以及优化的过程来平衡车辆管理员之间的监控分配并提供可以提供给车辆的对于问题解决方案的推荐。
如本文所使用的，术语“驾驶员”或“操作员”可以互换使用。如本文所使用的，术语“制动”或“减速”可以互换使用。如本文所使用的，术语“计算机”或“计算装置”包括能够执行本文所公开的任何方法或所述方法的任何一个或多个部分的任何单元或多个单元的组合。
如本文所使用的，术语“处理器”指示一个或多个处理器，诸如一个或多个专用处理器、一个或多个数字信号处理器、一个或多个微处理器、一个或多个控制器、一个或多个微控制器、一个或多个应用处理器、一个或多个专用集成电路、一个或多个专用标准产品；一个或多个现场可编程门阵列，集成电路的任何其他类型或组合，一个或多个状态机，或它们的任何组合。
如本文所使用的，术语“存储器”指示可以有形地包含、储存、传递或传输可由任何处理器使用或与任何处理器结合使用的任何信号或信息的任何计算机可用或计算机可读介质或装置。例如，存储器可以是一个或多个只读存储器(ROM)、一个或多个随机存取存储器(RAM)、一个或多个寄存器、低功率双倍数据速率(LPDDR)存储器、一个或多个高速缓冲存储器、一个或多个半导体存储装置、一个或多个磁介质、一个或多个光学介质、一个或多个磁光介质或它们的任何组合。
如本文所使用的，术语“指令”可以包括用于执行本文公开的任何方法或所述方法的任何一个或多个部分的指示或表达，并且可以硬件、软件或它们的任何组合来实现。例如，指令可以被实现为储存在存储器中的信息，诸如计算机程序，所述信息可以由处理器执行以实行如本文所描述的相应的方法、算法、方面或它们的组合中的任何一个。在一些实现中，指令或所述指令的一部分可以实现为专用处理器或电路系统，这些专用处理器或电路系统可以包括用于实施本文所描述的方法、算法、方面或它们的组合中的任何一个的专用硬件。在一些实现中，所述指令的部分可以分布在单个装置上的、多个装置上的多个处理器上，这些装置可以直接地或通过网络诸如局域网、广域网、因特网或它们的组合来通信。
如本文所使用的，术语“示例”、“实施方式”、“实现”、“方面”、“特征”或“元素”指示用作示例、实例或例示。除非明确指示，否则任何示例、实施方式、实现、方面、特征或元素独立于任何其他示例、实施方式、实现、方面、特征或元素，并且可以与任何其他示例、实施方式、实现、方面、特征或元素组合使用。
如本文所使用的，术语“确定”和“识别”或它们的任何变型包括使用本文所示出和描述的装置中的一个或多个来选择、断定、计算、查找、接收、决定、建立、获得，或另以无论任何方式来识别或确定。
如本文所使用的，术语“或”旨在表示包含性的“或”而不是排他性的“或”。即，除非另有说明或从上下文能清楚，否则“X包括A或B”旨在表示任何自然的包容性排列。如果X包括A；X包括B；或X包括A和B二者，那么在前述情况下的任何一种均满足“X包括A或B”。另外，如在本申请和所附权利要求中使用的冠词“a(一)”和“an(一)”通常应理解为表示“一个或多个”，除非另有说明或根据上下文清楚地指向单数形式。
此外，为了简化说明，尽管本文的附图和描述可以包括步骤或阶段的序列或系列，但是本文所公开的方法的元素可以以各种顺序发生或同时发生。另外，本文所公开的方法的元素可以与本文未明确呈现和描述的其他元素一起发生。此外，并非需要本文所描述的方法的所有元素来实现根据本公开的方法。虽然本文以特定组合描述了各个方面、特征和元素，但是每个方面、特征或元素可以独立地使用，或与其他方面、特征和元素一起以各种组合使用或不与其他方面、特征和元素一起以各种组合使用。
本公开的实现提供了对计算机网络和自主车辆管理的技术性改进，例如，涉及对计算机网络部件的扩展以聚集关于车辆及其周围的复杂信息来生成能够实现对自主车辆的远程监控、支持和遥控操作的监控界面的那些技术性改进。开发监控自主车辆网络资源以例如识别系统或车辆损伤并指示需要管理或关注以及在监控装置与车辆之间传递指令或信息的新方式基本上同与自主车辆相关的计算机网络相关。
本公开的实现至少提供了用于监控多个车辆(诸如自主车辆)的系统和方法。与车辆和所述车辆周围的或与所述车辆相关联的对应的预定区域相关联的车辆数据和外部数据由系统接收，所述系统包括例如包括可执行指令的存储器和处理器。所述车辆数据可以包括车辆的车辆状态(例如，燃料运行不足、在输送包裹时行驶落后)，并且外部数据可以包括多个外部对象的外部状态和外部环境的数据。外部对象在车辆外部，并且可以包括基础设施诸如建筑物、道路阻碍物或障碍物诸如倒下的树，并且外部环境数据可以包括天气预报、实时交通报告、体育赛事安排等。车辆的问题类型由系统基于所接收的数据(包括但不限于外部状态中的至少一个和车辆状态)来确定。
例如，如果车辆燃料运行不足(车辆状态)并且交通拥堵(外部状态)，那么确定的问题类型可能是燃料问题，且系统然后可以基于知道车辆无法到达当前任务的目的地而将车辆导航到最近的加油站。在确定了问题类型之后，可以由系统生成问题类型的指示，以在界面诸如移动装置或计算装置上显示。问题类型的指示可以使监控系统的操作员和被监控的车辆能够然后向车辆提供可以被接受或拒绝的指令数据，或自动地改变车辆的自主操作。
于2017年3月20日提交的名称为“OBJECT MANAGEMENT DISPLAY”的美国专利申请No.15/463,242通过引用其整体而并入本文。
为了更详细地描述一些实现，参考了以下附图。
图1是可以实现本文公开的各个方面、特征和元素的车辆1000的示例的图。车辆1000包括底盘1100、动力系1200、控制器1300、车轮1400/1410/1420/1430或车辆的任何其他元件或多个元件的组合。尽管为了简单起见车辆1000被示出为包括四个车轮1400/1410/1420/1430，但是可以使用任何其他一个或多个推进装置，诸如螺旋桨或胎面。在图1中，将诸如动力系1200、控制器1300和车轮1400/1410/1420/1430之类的元件互连的线指示：诸如数据或控制信号之类的信息、诸如电动力或转矩之类的动力，或信息和动力两者可以在各个元件之间传递。例如，控制器1300可以从动力系1200接收动力，并且与动力系1200、车轮1400/1410/1420/1430或这两者通信以控制车辆1000，这可以包括加速、减速、转向或以其他方式控制车辆1000。
动力系1200包括动力源1210、变速器1220、转向单元1230、车辆致动器1240或动力系的任何其他元件或多个元件的组合，诸如悬架、驱动轴、车轴或排气系统。尽管单独地示出，但是车轮1400/1410/1420/1430可以包括在动力系1200中。
动力源1210可以是可操作以提供诸如电能、热能或动能之类的能量的任何装置或多个装置的组合。例如，动力源1210包括发动机，诸如内燃机、电动机或内燃机和电动机的组合，并且所述动力源可操作以向车轮1400/1410/1420/1430中的一个或多个提供动能作为动力。在一些实施方式中，动力源1210包括势能单元，诸如一个或多个干电池，诸如镍镉(NiCd)、镍锌(NiZn)、镍金属氢化物(NiMH)、锂离子(Li离子)；太阳能电池；燃料电池；或任何其他能够提供能量的装置。
变速器1220从动力源1210接收能量，诸如动能，并将所述能量传送到车轮1400/1410/1420/1430以提供动力。变速器1220可以由控制器1300、车辆致动器1240或这两者控制。转向单元1230可以由控制器1300、车辆致动器1240或这两者控制，并控制车轮1400/1410/1420/1430以使车辆转向。车辆致动器1240可以从控制器1300接收信号，并且可以致动或控制动力源1210、变速器1220、转向单元1230或它们的任何组合以操作车辆1000。
在一些实施方式中，控制器1300包括定位单元1310、电子通信单元1320、处理器1330、存储器1340、用户接口1350、传感器1360、电子通信接口1370或它们的任何组合。尽管示出为单个单元，但是控制器1300的任何一个或多个元件可以集成到任何数量的单独物理单元中。例如，用户接口1350和处理器1330可以集成在第一物理单元中，并且存储器1340可以集成在第二物理单元中。尽管未在图1中示出，但是控制器1300可以包括动力源，诸如电池。尽管示出为单独的元件，但是定位单元1310、电子通信单元1320、处理器1330、存储器1340、用户接口1350、传感器1360、电子通信接口1370或它们的任何组合可以集成在一个或多个电子单元、电路或芯片中。
在一些实施方式中，处理器1330包括能够操纵或处理现有或以后发生的信号或其他信息的任何装置或多个装置的组合，这些装置包括光学处理器、量子处理器、分子处理器或它们的组合。例如，处理器1330可以包括一个或多个专用处理器、一个或多个数字信号处理器、一个或多个微处理器、一个或多个控制器、一个或多个微控制器、一个或多个集成电路、一个或多个专用集成电路电路、一个或多个现场可编程门阵列、一个或多个可编程逻辑阵列、一个或多个可编程逻辑控制器、一个或多个状态机或它们的任何组合。处理器1330可以与定位单元1310、存储器1340、电子通信接口1370、电子通信单元1320、用户接口1350、传感器1360、动力系1200或它们的任何组合可操作地耦接。例如，处理器可以经由通信总线1380与存储器1340可操作地耦接。
在一些实施方式中，处理器1330可以被配置为执行指令，包括用于远程操作的指令，该用于远程操作的指令可以用于从包括操作中心的远程位置操作车辆1000。该用于远程操作的指令可以储存在车辆1000中，或从外部源诸如交通管理中心或服务器计算装置接收，所述服务器计算装置可以包括基于云的服务器计算装置。
存储器1340可以包括任何有形的非暂时性计算机可用或计算机可读介质，这些介质能够例如包含、储存、传递或运输机器可读指令或与其相关联的任何信息，以供处理器1330使用或与该处理器结合使用。存储器1340是例如一个或多个固态驱动器、一个或多个存储卡、一个或多个可移动介质、一个或多个只读存储器、一个或多个随机存取存储器、一个或多个磁盘，所述磁盘包括硬盘、软盘、光盘、磁卡或光卡，或适用于储存电子信息的任何类型的非暂时性介质，或它们的任何组合。
电子通信接口1370可以是无线天线(如图所示的)、有线通信端口、光学通信端口或能够与有线或无线电子通信媒介1500接口的任何其他有线或无线单元。
电子通信单元1320可以被配置为经由有线或无线电子通信媒介1500诸如经由电子通信接口1370来发送或接收信号。尽管未在图1中明确示出，电子通信单元1320被配置为经由任何有线或无线通信媒介进行发送、接收或这两者，所述有线或无线通信媒介诸如射频(RF)、紫外线(UV)、可见光、光纤、有线接线或它们的组合。尽管图1示出了单个的电子通信单元1320和单个的电子通信接口1370，但是可以使用任何数量的通信单元和任何数量的通信接口。在一些实施方式中，电子通信单元1320可以包括专用短程通信(dedicatedshort range communication,DSRC)单元、无线安全单元(wireless safety unit,WSU)、IEEE 802.11p(Wifi-P)或它们的组合。
定位单元1310可以确定地理位置信息，包括但不限于车辆1000的经度、纬度、海拔、行驶方向或速度。例如，定位单元包括全球定位系统(GPS)单元，诸如广域增强系统(Wide Area Augmentation System,WAAS)启用的国家海洋电子协会(National MarineElectronics Association,NMEA)单元、无线电三角测量单元或它们的组合。定位单元1310可用于获得表示例如车辆1000的当前航向、车辆1000的二维或三维的当前位置、车辆1000的当前角度定向或它们的组合的信息。
用户接口1350可以包括能够被人用作接口的任何单元，包括虚拟键盘、物理键盘、触摸板、显示器、触摸屏、扬声器、麦克风、摄像机、传感器和打印机中的任何一种。用户接口1350可以如图所示地与处理器1330可操作地耦接，或者与控制器1300的任何其他元件可操作地耦接。尽管示出为单个单元，但是用户接口1350可以包括一个或多个物理单元。例如，用户接口1350包括用于与人进行音频通信的音频接口，以及用于与人进行基于视觉和触摸的通信的触摸显示器。
传感器1360可以包括一个或多个传感器，诸如传感器阵列，这些传感器可以操作以提供可用于控制车辆的信息。传感器1360可以提供关于车辆或其周围的当前操作特性的信息。传感器1360包括例如速度传感器、加速度传感器、转向角传感器、牵引相关传感器、制动相关传感器或可操作以报告关于车辆1000的当前动态情况的某些方面的信息的任何传感器或多个传感器的组合。
在一些实施方式中，传感器1360可以包括可操作以获得关于车辆1000周围的物理环境的信息的传感器。例如，一个或多个传感器检测路形和道路障碍物，诸如固定障碍物、车辆、骑车的人和行人。在一些实施方式中，传感器1360可以是，或者包括：一个或多个摄像机、激光传感系统、红外传感系统、声学传感系统或现在已知或以后开发的任何其他合适类型的车载环境感测装置或多个装置的组合。在一些实施方式中，组合了传感器1360和定位单元1310。
尽管未单独示出，但是车辆1000可以包括轨迹控制器。例如，控制器1300可以包括轨迹控制器。所述轨迹控制器可操作以获得描述车辆1000的当前状态和为车辆1000规划的路线的信息，并且基于该信息，确定并优化车辆1000的轨迹。在一些实施方式中，轨迹控制器输出可操作以控制车辆1000的信号，使得车辆1000遵循由轨迹控制器所确定的轨迹。例如，轨迹控制器的输出可以是优化的轨迹，该优化的轨迹可以被供应给动力系1200、车轮1400/1410/1420/1430或这两者。在一些实施方式中，优化的轨迹可以是控制输入，诸如一组转向角，其中每个转向角对应于位置或时间点。在一些实施方式中，优化的轨迹可以是一个或多个路径、线路、曲线或它们的组合。
车轮1400/1410/1420/1430中的一个或多个可以是：转向轮，该转向轮在转向单元1230的控制下枢转到转向角；推进轮，该推进轮在变速器1220的控制下扭转以推进车辆1000；或转向和推进轮，该转向和推进轮使车辆1000转向并推进该车辆。
车辆可以包括图1中未示出的单元或元件，诸如外壳、
Figure GDA0002719490920000121
Figure GDA0002719490920000122
模块、调频(FM)无线电单元、近场通信(NFC)模块、液晶显示器(LCD)显示单元、有机发光二极管(OLED)显示器单元、扬声器或它们的任何组合。
图2是可以实现本文公开的各个方面、特征和元素的车辆运输和通信系统2000的一部分的示例的图。车辆运输和通信系统2000包括：车辆2100，诸如图1中所示的车辆1000；以及一个或多个外部对象，诸如外部对象2110，所述外部对象可以包括任何形式的运输，诸如图1中所示的车辆1000、行人、骑车的人以及任何形式的结构，诸如建筑物。车辆2100可以经由运输网络2200的一个或多个部分行驶，并且可以经由一个或多个电子通信网络2300而与外部对象2110通信。尽管未在图2中明确示出，但是车辆可以行驶通过未明确地或完全地包括在运输网络中的区域，诸如越野区域。在一些实施方式中，运输网络2200可以包括一个或多个车辆检测传感器2202，诸如感应回路传感器，这些传感器可以用于检测运输网络2200中的车辆的移动。
电子通信网络2300可以是多路存取系统，该多路存取系统在车辆2100、外部对象2110和操作中心2400之间提供通信，诸如语音通信、数据通信、视频通信、消息通信或它们的组合。例如，车辆2100或外部对象2110可以经由电子通信网络2300从操作中心2400接收诸如表示运输网络2200的信息之类的信息。
操作中心2400包括控制器设备2410，所述控制器设备包括图1中所示的控制器1300的特征中的一些或全部特征。控制器设备2410可以监控和协调车辆(包括自主车辆)的移动。控制器设备2410可以监控诸如车辆2100之类的车辆和诸如外部对象2110之类的外部对象的状态或状况。控制器设备2410可以接收车辆数据和基础设施数据，所述车辆数据和基础设施数据包括以下中的任何一种：车辆速度；车辆位置；车辆操作状态；车辆目的地；车辆路线；车辆传感器数据；外部对象速度；外部对象位置；外部对象操作状态；外部对象目的地；外部对象路线和外部对象传感器数据。
此外，控制器设备2410可以建立对诸如车辆2100之类的一个或多个车辆或诸如外部对象2110之类的外部对象的远程控制。以这种方式，控制器设备2410可以从远程位置遥控操作车辆或外部对象。控制器设备2410可以经由诸如无线通信链路2380之类的无线通信链路或诸如有线通信链路2390之类的有线通信链路来与车辆、外部对象或计算装置(诸如车辆2100、外部对象2110或服务器计算装置2500)交换(发送或接收)状态数据。
服务器计算装置2500可以包括一个或多个服务器计算装置，所述服务器计算装置可以经由电子通信网络2300来与一个或多个车辆或计算装置(包括车辆2100、外部对象2110或操作中心2400)交换(发送或接收)状态信号数据。
在一些实施方式中，车辆2100或外部对象2110经由有线通信链路2390、无线通信链路2310/2320/2370或任何数量或类型的有线或无线通信链路的组合进行通信。例如，如图所示，车辆2100或外部对象2110经由地面无线通信链路2310、经由非地面无线通信链路2320或经由它们的组合进行通信。在一些实现中，地面无线通信链路2310包括以太网链路、串行链路、蓝牙链路、红外(IR)链路、紫外(UV)链路或能够提供电子通信的任何链路。
诸如车辆2100之类的车辆或诸如外部对象2110之类的外部对象可以与另一车辆、外部对象或操作中心2400进行通信。例如，主或从车辆2100可以从操作中心2400，经由直接通信链路2370或经由电子通信网络2300，接收一个或多个自动车辆间消息，诸如基本安全消息(basic safety message,BSM)。例如，操作中心2400可以将消息广播到诸如300米之类的限定的广播范围内的主车辆，或广播到限定的地理区域。在一些实施方式中，车辆2100经由第三方接收消息，所述第三方诸如信号转发器(未示出)或另一远程车辆(未示出)。在一些实施方式中，车辆2100或外部对象2110基于限定的间隔(诸如一百毫秒)周期性地发送一个或多个自动车辆间消息。
自动车辆间消息可以包括车辆识别信息，地理空间状态信息，诸如经度、纬度或海拔信息，地理空间位置精度信息，运动状态信息，诸如车辆加速度信息，偏航率信息，速度信息，车辆航向信息，制动系统状态数据，风门信息，方向盘角度信息，或车辆路线信息，或车辆操作状态信息，诸如车辆大小信息，前灯状态信息，转向信号信息，雨刷状态数据，变速器信息或与变速车辆状态相关的任何其他信息或信息的组合。例如，变速器状态信息指示变速车辆的变速器是处于空档状态、停车状态、前进状态还是倒车状态。
在一些实施方式中，车辆2100经由接入点2330与电子通信网络2300通信。接入点2330，其可以包括计算装置，可以被配置为经由有线或无线通信链路2310/2340与车辆2100、与电子通信网络2300、与操作中心2400或与它们的组合进行通信。例如，接入点2330是基站、基站收发信台(base transceiver station,BTS)、Node-B、增强型Node-B(eNode-B)、家庭Node-B(HNode-B)、无线路由器、有线路由器、集线器、中继器、交换机或任何类似的有线或无线装置。尽管示出为单个单元，但是接入点可以包括任何数量的互连元件。
车辆2100可以经由卫星2350或其他非地面通信装置与电子通信网络2300通信。卫星2350，其可以包括计算装置，可以被配置为经由一个或多个通信链路2320/2360与车辆2100、与电子通信网络2300、与操作中心2400或它们的组合进行通信。尽管示出为单个单元，但是卫星可包括任何数量的互连元件。
电子通信网络2300可以是被配置为提供语音、数据或任何其他类型的电子通信的任何类型的网络。例如，电子通信网络2300包括局域网(LAN)、广域网(WAN)、虚拟专用网(VPN)、移动或蜂窝电话网、因特网或任何其他电子通信系统。电子通信网络2300可以使用通信协议，诸如传输控制协议(TCP)、用户数据报协议(UDP)、互联网协议(IP)、实时传输协议(RTP)、超文本传输协议(HTTP)或它们的组合。尽管示出为单个单元，但是电子通信网络可以包括任何数量的互连元件。
在一些实施方式中，车辆2100经由电子通信网络2300、接入点2330或卫星2350与操作中心2400进行通信。操作中心2400可以包括能够交换(发送或接收)数据的一个或多个计算装置，这些数据来自：车辆，诸如车辆2100；外部对象，包括外部对象2110；或计算装置，诸如服务器计算装置2500。
在一些实施方式中，车辆2100识别运输网络2200的一部分或状况。例如，车辆2100可以包括一个或多个车载传感器2102，诸如图1中所示的传感器1360，所述车载传感器包括速度传感器、轮速传感器、摄像头、陀螺仪、光学传感器、激光传感器、雷达传感器、声波传感器或能够确定或识别运输网络2200的一部分或状况的任何其他传感器或装置或它们的组合。
车辆2100可以使用经由电子通信网络2300传递的信息来行驶通过运输网络2200的一个或多个部分，所述信息诸如表示运输网络2200的信息、由一个或多个车载传感器2102识别的信息或它们的组合。外部对象2110可以是能够进行以上关于车辆2100所描述的通信和行为中的所有或一些。
为了简单起见，图2示出了作为主车辆的车辆2100、外部对象2110、运输网络2200、电子通信网络2300和操作中心2400。然而，可以使用任何数量的车辆、网络或计算装置。在一些实施方式中，车辆运输和通信系统2000包括图2中未示出的装置、单元或元件。尽管车辆2100或外部对象2110被示出为单个单元，但是车辆可以包括任何数量的互连元件。
尽管示出了车辆2100经由电子通信网络2300与操作中心2400进行通信，但是车辆2100(和外部对象2110)可以经由任何数量的直接或间接通信链路与操作中心2400进行通信。例如，车辆2100或外部对象2110可以经由直接通信链路诸如蓝牙通信链路与操作中心2400进行通信。尽管如此，为了简单起见，图2示出了运输网络2200中的一个和电子通信网络2300中的一个，但是可以使用任何数量的网络或通信装置。
图3是示出了根据本公开的远程车辆辅助中心3000的框图。远程车辆辅助中心3000包括：车队管理员3010、多个车辆管理员(包括但不限于车辆管理员3020和车辆管理员3030)以及多个车辆(包括但不限于车辆3040、3050、3060和3070)。
车队管理员3010可以包括一种设备，所述设备包括图1中所示的控制器1300的特征中的一些或全部特征。车队管理员3010可以监控和协调车辆管理员(包括车辆管理员3020/3030)以及车辆(包括自主车辆和车辆3040/3050/3060/3070)的移动。监控和协调车辆管理员可以包括以下中的任何一种：向车辆管理员分配、分派或解除分派车辆；审查和监控车辆管理员的表现数据；以及将车辆管理员分配给地理区域。在一种实现中，可以有多个车队管理员，他们可以转而被管理或处于其他车队管理员的领导下。
车辆管理员3020可以监控车辆(包括车辆3040和车辆3050)的状态或状况。如图3所例示的，车辆管理员3020已经被分配了车辆3040和车辆3050。向车辆管理员分配车辆可以由车队管理员诸如车队管理员3010进行。
车辆管理员3030可以监控车辆(包括车辆3060和车辆3070)的状态或状况。如图3所例示的，车辆管理员3030已经被分配了车辆3060和车辆3070。向车辆管理员分配车辆可以由车队管理员诸如车队管理员3010进行。向车辆管理员分配车辆还可以使用机器学习技术而自动化。
在一种实现中，车辆管理员可以对车辆进行分群或分组、与车辆中的乘员建立通信、远程地操作车辆以及协调通过运输网络或围绕各种诸如交通拥堵之类的障碍物的车辆的移动。车辆管理员可以与其他车辆管理员交互以帮助监控和管理车辆。
车辆(包括车辆3040/3050/3060/3070)包括正由车队管理员3010监控或协调的车辆，诸如图2中所示的车辆2100。所述车辆可以自主地或由人类驾驶员操作，并且可以交换(发送和接收)与车辆的状态或状况及其周围有关的车辆数据，所述车辆数据包括以下中的任何一种：车速；车辆位置；车辆操作状态；车辆目的地；车辆路线；车辆传感器数据；外部对象速度和外部对象位置。
图4是例示了用于在包括车队管理员界面的界面中使用的车辆指示符4000的示例的图。车辆指示符4000包括任务状态指示符4010、车辆模式指示符4020、车辆占用指示符4030和时间状态指示符4040。
任务状态指示符4010可以用于指示正由车辆执行的或分配给车辆的任务，所述任务包括以下中的任何一种：前往接载目的地，包括前往接载一个或多个乘客或货物的目的地；前往卸放(drop-off)目的地，包括前往卸放一个或多个乘客或货物的目的地；前往维护目的地，包括前往可对车辆进行维护或修理的目的地；以及前往补充燃料目的地，包括前往为车辆补充燃料的目的地，包括油站或充电站。
任务状态指示符4010的特性(包括形状和颜色)可以对应于车辆正在执行的任务。例如，任务状态指示符4010在图4中示出为方形，这可以指示例如车辆正在前往接载目的地。在一种实现中，任务状态指示符4010的圆形形状可以指示车辆正在前往卸放目的地。不同的形状和颜色可以指示车辆正在执行的不同任务。
车辆模式指示符4020可以用于指示车辆是否正处于如下中的任何一种操作：自主模式，包括车辆指导自身或车辆正由计算装置远程地指导的模式；指导模式，包括人类操作员正从远程位置指导车辆的模式；手动模式，包括人类操作员正从车辆内操作车辆的模式；以及半自主模式，包括车辆可以基于车辆的状态而在自主模式与手动模式之间切换的模式(例如，当超过接近度和加速度阈值时，可以激活辅助制动)和同时使用自主特征和人类操作来控制车辆的模式。例如，车辆模式指示符4020在图4中示出为十字形，这可以指示例如上述模式中的任何一种。
车辆占用指示符4030可以用于指示以下中的任何一种：车辆是否包含一个或多个乘客；以及车辆中的乘客的状态。在一种实现中，由车辆占用指示符4030处于填充状态(例如，车辆占用指示符4030内的区域与任务状态指示符4010周围的边界颜色相同)来指示占用的车辆。
车辆占用指示符4030的特性(包括颜色)可以用于指示与车辆相关联的问题，所述问题包括以下中的任何一种：乘客问题，包括来自车辆内的乘客的帮助请求；交通问题，包括与交通拥堵、交通事故和施工有关的问题；决策问题，包括与车辆管理员可以做出的决策有关的问题，这些决策有关于是否控制车辆、为车辆重新选择路线、与车辆建立通信，或指示关于车辆的动作已经完成；车辆的状态的物理问题，包括与车辆的操作状态(例如，发动机状态、燃料状态)有关的问题。在一种实现中，可以使用默认颜色来指示车辆在正常状态下操作并且车辆没有待决问题。
时间状态指示符4040可以用于指示与预期或预测的时间状态相关的车辆的时间状态。在一种实现中，时间状态指示符4040的颜色可以指示车辆是在排定时间之前还是在排定时间之后。
时间状态指示符4040的长度可以指示与预期或预测的时间状态的偏差的幅度。时间状态指示符4040的长度可以同与预期或预测的时间状态的偏差的幅度成比例(例如，成正比例、成反比例、成指数比例、成对数比例)。
在另一种实现中，时间状态指示符4040的长度相对于与预期或预测的时间状态的偏差可以是不成比例的(例如，三分之一长度指示偏差小于五分钟，三分之二长度指示偏差在五分钟以上且小于十五分钟，且全长度指示偏差在十五分钟以上)。时间状态指示符4040的其他特性可以用于指示车辆的状态，例如，红色可以指示车辆在排定时间之后，并且绿色可以指示车辆在排定时间之前。
图5是例示了车队管理员界面5000的示例的图。车队管理员界面5000可以基于一个或多个指令而生成，所述一个或多个指令可以在计算设备(包括在图2中所示的控制器设备2410)上执行，并且其可以储存在计算设备(包括控制器设备2410)的存储器中。
例如，车队管理员界面5000可以由控制器设备2410基于指令来生成，所述指令由通过计算机网络访问控制器设备2410的客户端计算装置解释。然后，所述客户端计算装置可以在显示装置上生成车队管理员界面5000的表示。
车队管理员界面5000包括车队管理员部分5010、地图部分5020、车辆管理员指示符5030、车辆指示符5040和车辆管理员分配队列5050，这些中的任何一个都可以是基于与物理对象(包括但不限于车辆、道路、建筑物和行人中的至少一种)的状态相关联的数据。
车队管理员部分5010包括由车队管理员和/或车辆管理员监控或跟踪的对象的表示，包括车辆管理员与车辆的关联。所述对象可以包括车辆，包括如图2中所示的车辆2100。所述对象可以表示为指示符，诸如车辆指示符5040，这些指示符可以被生成为静态图像或运动图像，诸如图4中所示的车辆指示符4000。此外，车队管理员部分5010可以接收输入，所述输入包括来自输入装置的输入、语音输入和触摸输入中的任何一种。举例来说，包括车辆指示符5040的车辆指示符可以由操作员诸如车辆管理员选择。车辆指示符的选择可以生成关于由车辆指示符表示的相应车辆的状态或状况的数据(例如，所选择的车辆指示符可以指示车辆是否正常运行或是否将按时到达目的地)。
地图部分5020包括地理区域(包括预限定地理区域内的对象)的表示。在一种实现中，预限定地理区域可以包括：与包括正在由车辆管理员中的一个监控的车辆的所有或至少一些部分的地理区域相对应的地理区域。所述地理区域内的对象可以包括车辆和外部对象(包括道路、建筑物和行人)中的任何一个。地图部分5020可以接收输入，所述输入包括来自输入装置的输入、语音输入和触摸输入中的任何一种。对地图部分的输入可以生成关于所选车辆或外部对象的状态或状况的数据。
在一种实现中，地图部分5020包含在车队管理员部分5010上显示的对象的相同表示。在另一种实现中，在车队管理员部分5010与地图部分5020之间显示的对象的数量和类型可以不同。例如，车辆管理员可以放大到特定地理区域，从而仅显示在车队管理员部分5010上表示的对象或车辆的子集。
车辆管理员指示符5030是车辆管理员的标识符的表示。在车队管理员界面500上显示的车辆管理员中的每个包括单独的车辆管理员指示符。车辆管理员可以与一个或多个车辆相关联，所述车辆可以由车队管理员分配或分派或使用机器学习技术动态地分配或分派。例如，车队管理员可以修改分配给车辆管理员的车辆的数量，所述修改包括以下中的任何一种：添加或移除车辆，以及将一个或多个车辆从一个车辆管理员转移到另一个车辆管理员。
车辆指示符5040是自主车辆的状态或状况的表示，所述状态包括以下中的任何一种：车辆任务、车辆占用、车辆操作模式(例如，自主操作或手动操作)和车辆问题，所述车辆问题包括但不限于车辆的操作状态的问题。车辆指示符5040可以包括各种颜色、形状、图案、文本、象形图或它们的任何组合，以表示车辆指示符的状态或状况的各方面。作为示例，车辆指示符5040可以表示正在前往目的地以便接载乘客的自主车辆。此外，车辆指示符5040可以表示携带乘客并且前往目的地以卸放乘客的自主车辆。
车辆管理员分配队列5050是分配给车辆管理员的车辆的表示。所述车辆可以由车队管理员或车辆管理员自身或者使用机器学习技术自动地分配至车辆管理员分配队列5050。例如，一个车辆管理员可能意识到他们正在监控太多车辆，并且可以将这些车辆的子集分配给被确定为具有额外监控能力的另一车辆管理员。如图5所示，车辆管理员分配队列5050内的车辆指示符(例如，车辆指示符5040)被分配给与车辆管理员指示符5030“Larry”相关联的车辆管理员。该车辆管理员指示符可以表示车辆管理员的真实姓名或用户名或其他标识符。
图6是例示了用于在界面中使用的车辆指示符6000的示例的图，所述界面包括图5中例示的车队管理员界面500、图7中例示的车辆管理员界面7000或图9中例示的车辆管理员界面9000。
车辆指示符6000包括下一个任务指示符6010、当前任务指示符6020、实际进度指示符6030、偏差幅度指示符6040、预期进度指示符6050、时标6060、完成尚需时间6070、经过的时间6080和时间压缩指示符6090。
下一个任务指示符6010可以用于指示分配给车辆并且当前未被执行的任务。下一个任务指示符6010可以指示在执行当前任务(例如，与当前任务指示符6020相关联的当前任务)之后将要执行的任务。例如，下一个任务指示符6010可以指示在与当前任务指示符6020相关联的当前任务完成之后将要发生卸放。在一种实现中，与下一个任务指示符6010的交互(例如，选择下一个任务指示符6010)可以示出对接下来将要执行的任务的描述。
当前任务指示符6020可以用于指示当前正由车辆执行的任务。例如，当前任务指示符6020可以包括在指定位置接载乘客。在一种实现中，与当前任务指示符6020的交互(例如，选择当前任务指示符6020)可以示出对当前正在执行的任务的描述。
下一个任务指示符6010和当前任务指示符6020可以与任务相关联，所述任务包括但不限于以下中的任何一种：前往接载目的地，包括前往接载一个或多个乘客或货物的目的地；前往卸放目的地，包括前往卸放一个或多个乘客或货物的目的地；前往维护目的地，包括前往可以对车辆进行维护或修理的目的地；以及前往补充燃料目的地，包括前往为车辆补充燃料的目的地，所述补充燃料目的地包括油站或充电站。
下一个任务指示符6010或当前任务指示符6020的形状可以对应于车辆正在执行的任务。例如，下一个任务指示符6010在图6中示出为圆，其指示车辆正在前往卸放目的地。当前任务指示符6020的圆形形状可以指示车辆正在前往接载目的地。该形状可以包括但不限于圆形、方形、三角形、矩形等。
下一个任务指示符6010或当前任务指示符6020中的图案(例如，十字形、之字形)可以指示车辆是否正在以以下中的任何一种操作：自主模式，包括车辆指导其自身或车辆正在由计算装置远程地指导的模式；指导模式，包括人类操作员正从远程位置指导车辆的模式；手动模式，包括人类操作员正在车辆内操作车辆的模式；以及半自主模式，包括车辆可以基于车辆的状态在自主模式和手动模式之间切换的模式以及同时使用自主特征和人类操作来控制车辆的模式。例如，车辆模式指示符4020在图4中示出为十字形，其可以指示例如上述模式中的任何一种。
下一个任务指示符6010或当前任务指示符6020的特性(包括填充)可以用于指示车辆是否包含一个或多个乘客。在一种实现中，由下一个任务指示符6010或当前任务指示符6020处于填充状态来指示占用的车辆。例如，无填充(例如，无图案、无阴影和浅色)可以用于指示车辆不包含乘员。
下一个任务指示符6010或当前任务指示符6020的颜色可以用于指示与车辆相关联的问题，所述问题包括以下中的任何一种：乘客问题，包括来自车辆内的乘客的帮助请求；交通问题，包括与交通拥堵、交通事故和施工有关的问题；决策问题，包括与由车辆管理员可以做出的关于是否控制车辆的决策有关的问题；车辆的状态的物理问题，包括与车辆的操作状态(例如，发动机状态、燃料状态)有关的问题。在一种实现中，可以使用默认颜色来指示车辆正在正常状态下操作并且车辆没有待决问题。
实际进度指示符6030指示在去往目的地的路上已经行驶的路线距离的实际部分或已经过去的时间。例如，如果进度指示符位于时标6060的中间点，则路线距离的一半已经完成或估计的行驶时间的一半已经过去。
预期进度指示符6050指示估计的在当前时间已由车辆完成的路线距离的一部分，并且可以包括行驶到目的地的估计时间的一部分或已经由车辆行驶通过的估计距离的一部分。偏差幅度指示符6040指示预期进度时间(由预期进度指示符6050指示)偏离实际进度时间(由实际进度指示符6030指示)的路线距离的一部分或行驶时间的一部分。
时标6060指示完成车辆的路线的总行驶时间或总行驶距离。例如，如果时标6060表示三十分钟的总行驶时间，则时标6060的一半是十五分钟。在时标6060针对较长时间段的情况下，时间压缩指示符6090可以指示与时标6060的剩余部分不成比例的时标6060的部分已经过去。例如，时间压缩指示符6090可以指示时标6060的一半已经过去。举例来说，经过的时间6080指示在去往目的地的路上已经经过的行驶时间。
路线的总完成时间可以由时标6060的长度表示，时标的长度包括偏差幅度指示符6040的长度、完成尚需时间6070的长度以及经过的时间6080的长度。举例来说，完成尚需时间6070指示在车辆到达目的地或完成相关联的/所分配的任务之前的剩余行驶时间。
图7是例示了车辆管理员界面7000的示例的图。可以基于一个或多个指令生成车辆管理员界面7000，所述一个或多个指令可在计算设备(包括如图2所示的控制器设备2410)上执行，并且可以储存在计算设备(包括控制器设备2410)的存储器中。
例如，车辆管理员界面7000可以由控制器设备2410基于指令来生成，所述指令由通过计算机网络访问控制器设备2410的客户端计算装置解释。然后，客户端计算装置可以在显示装置上生成车辆管理员界面7000的表示。
车辆管理员界面7000包括车辆管理员部分7010、地图部分7020、车辆指示符7030和车辆指示符7040，这些中的任何一个都可以是基于与物理对象的状态相关联的数据，所述物理对象包括车辆和外部对象(包括但不限于行人、骑车的人、道路和建筑物)中的任何一种。
车辆管理员部分7010包括正由车辆管理员利用车辆管理员界面7000监控或跟踪的对象的表示。多个车辆管理员可以监控多个车辆，每个具有其自身的特定界面。所述对象可以包括车辆，包括图2中所示的车辆2100。所述对象可以表示为指示，诸如车辆指示符7030，其可以被生成为各种图像，包括但不限于静态图像、动态图像、运动图像、实况照片或视频馈入或它们的任何组合。此外，车辆管理员部分7010可以接收输入，所述输入包括来自输入装置的输入、语音输入和触摸输入中的任何一种。
地图部分7020包括地理区域(包括所述地理区域内的对象)的表示。地理区域内的对象可以包括车辆和外部对象(包括道路、建筑物、骑车的人和行人)中的任何一个。在一种实现中，地图部分7020可以具有与表示为由车辆管理员部分7010表示的对象相似或不同的对象。
车辆指示符7030和车辆指示符7040是自主车辆的状态或状况的表示，所述自主车辆的状态或状况包括以下中的任何一种：车辆任务、车辆占用、车辆操作模式(例如，自主操作或手动操作)和车辆问题，所述车辆问题包括但不限于车辆的操作状态的问题。车辆指示符7030和车辆指示符7040可以包括各种颜色、形状、图案、文本或象形图，以表示自主车辆的状态或状况的各方面。
作为示例，车辆指示符7030可以表示正在前往目的地以接载乘客的自主车辆。此外，车辆指示符7040可以表示携带另一乘客并且前往目的地以卸放该乘客的自主车辆。各自主车辆正实施的不同任务或行动导致车辆指示符7030和7040之间的图形显示差异(例如，车辆指示符7030具有填充的圆形而车辆指示符7040具有未填充的方形)。
图8是例示了车辆管理员界面8000的示例的图。车辆管理员界面8000可以基于一个或多个指令生成，所述一个或多个指令可在计算设备(包括如图2所示的控制器设备2410)上执行，并且可以储存在计算设备(包括控制器设备2410)的存储器中。
例如，车辆管理员界面8000可以由控制器设备2410基于指令来生成，所述指令由通过计算机网络访问控制器设备2410的客户端计算装置解释。然后，客户端计算装置可以在显示装置上生成车辆管理员界面8000的表示。
车辆管理员界面8000与车辆管理员界面7000类似，并且包括车辆管理员部分8010(类似于如图7中所示的车辆管理员部分7010)、地图部分8020(类似于如图7中所示的地图部分7020)、车辆指示符8030、任务控件8040、解决控件8050、呼叫控件8060和重新选择路线控件8070，这些中的任何一个都可以是基于与物理对象的状态相关联的数据，所述物理对象包括但不限于车辆、道路、建筑物和行人中的至少一种。在另一种实现中，车辆管理员界面8000包括除了任务控件8040、解决控件8050、呼叫控件8060和重新选择路线控件8070之外的不同的控制功能，这些不同的控制功能使得车辆管理员能够与被监控或跟踪的对象或相应的自主车辆的各个方面交互并控制这些方面。
车辆管理员部分8010包括被监视或跟踪的对象的表示。所述对象可以包括车辆，包括图2中所示的车辆2100。所述对象可以表示为指示符，诸如车辆指示符8030，其可以被生成为静态图像或运动图像或不同类型的图像。此外，车辆管理员部分8010可以接收输入，所述输入包括来自输入装置的输入、语音输入和触摸输入中的任何一种。举例来说，包括车辆指示符8030的车辆指示符可以由车辆管理员界面8000的操作员(诸如车辆管理员)选择。对车辆指示符的选择可以生成关于由车辆指示符表示的相应车辆的状态或状况的数据(例如，所选择的车辆指示符可以指示车辆是否将准时到达目的地)。
地图部分8020包括地理区域(包括该地理区域内的对象)的表示。所述地理区域内的对象可以包括车辆和外部对象(包括但不限于道路、建筑物、骑车的人和行人)中的任何一种。地图部分8020可以接收输入，所述输入包括来自输入装置的输入、语音输入和触摸输入中的任何一种。对地图部分的输入可以生成关于所选择的车辆或外部对象的状态或状况的数据。在一种实现中，地图部分8020可以具有与表示为由车辆管理员部分8010表示的对象相似或不同的对象。
例如，选择诸如体育场之类的建筑物可以生成指示在特定时间范围内在体育场正在进行体育赛事的数据。因此，由于顾客离开体育场而导致的交通流量增加，车辆管理员可以预料在体育赛事结束时体育场附近的拥堵。因此，车辆管理员可以重新选择路线或改变他们正在监控的且计划在体育赛事结束时在体育场附近执行特定任务的自主车辆中的一个的完成时间。
车辆指示符8030包括车辆(例如，自主车辆或人力驱动车辆)的状态或状况的表示，并且包括以下中的任何一种：车辆任务、车辆占用、车辆操作模式(例如，自主操作或手动操作)和车辆问题，所述车辆问题包括但不限于车辆的操作状态的问题。车辆指示符8030可以包括各种特性，所述特性包括颜色、形状、图案、文本或象形图，以表示车辆指示符的状态或状况的各方面。作为示例，车辆指示符8030可以表示正在前往目的地以接载乘客的自主车辆。或者，车辆指示符8030可以表示正携带乘客并且前往目的地以卸放乘客的自主车辆。
可以基于输入来控制或修改任务控件8040、解决控件8050、呼叫控件8060和重新选择路线控件8070中的任何一个，所述输入包括基于通过输入装置接收的输入的用户输入中的任何一个，所述输入装置包括触觉输入装置(例如，键盘、鼠标或触摸屏)、音频输入装置(例如，麦克风)和视觉输入装置(例如，摄像头)。此外，可以基于诸如计算机程序指令之类的指令(例如，选择满足诸如共同目的地之类的预建立的准则的车辆指示符的指令)来控制或修改任务控件8040、任务解决控件8050、呼叫控件8060和重新选择路线控件8070中的任何一个。
任务控件8040可以用于修改与车辆相关联的任务。例如，与车辆指示符8030相关联的车辆可能已经完成卸放。车辆管理员可以与任务控件8040交互并修改车辆任务以指示车辆现在应该接载乘客而不是完成先前分配的下一个任务。在任务完成正在进行或关于即将到来的任务时，可以修改和/或更新任务。例如，当前任务可以设置为在特定时间递送包裹，但是根据交通状况，当前任务被更新为接载附近的乘客并且在不在交通拥堵区域内的地方卸放他们。在另一示例中，当车辆正在完成当前不相关的任务时，可以修改/更新/删除车辆的即将到来的任务中的一个。
解决控件8050可以用于指示车辆管理员已经解决或完成了的与车辆相关的问题。例如，在车辆管理员从与车辆指示符8030相关联的车辆或车辆的乘客接收求助请求，并向车辆提供帮助之后，车辆管理员可以激活解决控件8050以指示该问题已经被解决并且不再待决。在一种实现中，激活解决控件8050可以修改与车辆相关联的车辆数据，所述数据包括车辆任务紧急程度，所述车辆任务紧急程度包括车辆请求或车辆任务(例如，将病人送往医院的救护车)的紧急程度的指示。例如，携带急需医疗救助的患者的车辆可以向车辆管理员发送请求，以对重新选择路线进行优化，并且一旦车辆管理员处理该请求或得出需要额外救助的结论，车辆管理员就可以与解决控件8050交互以更新请求的状态。
呼叫控件8060可以用于同与车辆指示符8030相关联的车辆联系和通信。例如，当呼叫控件8060被激活时，车辆管理员可以同与车辆指示符8030相关联的车辆的乘员或乘客进行交互。在一种实现中，当呼叫控件8060被激活时，可以同与车辆指示符8030相关联的车辆建立音频连接或音频和视频连接(例如，实况视频通信馈入)中的任何一种。
重新选择路线控件8070可以用于修改与车辆相关联的路线。例如，与车辆指示符8030相关联的车辆可以经由将会通过严重拥堵的交通的路线运送到目的地。重新选择路线控件8070可以用于为车辆重新选择路线以避免进入具有高度拥堵的交通的区域。在另一种实现中，重新选择路线控件8070可以是提供自主车辆的遥控操作的不同类型的控件。
图9是例示了车辆管理员界面9000的示例的图。车辆管理员界面9000可以基于一个或多个指令生成，所述一个或多个指令可以在计算设备(包括控制器设备2410)上执行，并且可以储存在计算设备(包括控制器设备2410)的存储器中。
例如，车辆管理员界面9000可以由控制器设备2410基于指令来生成，所述指令由通过计算机网络访问控制器设备2410的客户端计算装置解释。然后，客户端计算装置可以在显示装置上生成车辆管理员界面9000的表示。
车辆管理员界面9000与如图8中所示的车辆管理员界面8000类似，并且包括车辆管理员部分9010、地图部分9020、车辆指示符9030、车辆指示符9040、群集控件9050和区域选择控件9060，这些中的任何一个都可以是基于与物理对象的状态相关联的数据，所述物理对象包括但不限于车辆、道路、建筑物和行人中的至少一个。
车辆管理员部分9010包括正被监控或跟踪的对象的表示。所述对象可以包括车辆，包括图2中所示的车辆2100。所述对象可以表示为指示符，诸如车辆指示符9030，其可以被生成为静态图像或运动图像或任何其他类型的图像。此外，车辆管理员部分9010可以接收输入，所述输入包括来自输入装置的输入、语音输入和触摸输入中的任何一种。
举例来说，包括车辆指示符9030和车辆指示符9040的车辆指示符可以由操作员诸如车辆管理员选择。车辆指示符的选择可以生成关于由车辆指示符表示的相应车辆的状态或状况的数据(例如，所选择的车辆指示符可以指示车辆是否将准时到达目的地)。
地图部分9020包括地理区域(包括该地理区域内的对象)的表示。所述地理区域内的对象可以包括车辆和外部对象(包括但不限于道路、建筑物、骑车的人和行人)中的任何一种。地图部分9020可以接收输入，所述输入包括来自输入装置的输入、语音输入和触摸输入中的任何一种。对地图部分的输入可以生成关于所选择的车辆或外部对象的状态或状况的数据。例如，选择诸如体育场之类的建筑物可以生成指示在特定时间范围内在体育场正进行体育赛事的数据。因此，由于顾客离开体育场并且为车辆重新选择路线而导致的交通流量增加，车辆管理员可以预料在体育赛事结束时体育场附近的拥堵。
车辆指示符9030和车辆指示符9040是两个单独的自主车辆的状态或状况的表示，所述自主车辆的状态或状况包括以下中的任何一种：车辆任务、车辆占用、车辆操作模式(例如，自主操作或手动操作)以及车辆问题，所述车辆问题包括车辆的操作状态的问题。车辆指示符9030和车辆指示符9040可以包括各种颜色、形状、图案、文本或象形图，以表示车辆指示符的状态或状况的各方面。作为示例，车辆指示符9030可以表示正在前往目的地以接载乘客的自主车辆。此外，车辆指示符9040可以表示携带另一乘客并且前往目的地以卸放乘客的自主车辆。
群集控件9050和区域选择控件9060包括如下控制元件，所述控制元件可以基于输入而被控制或修改，所述输入包括基于通过输入装置接收的输入的用户输入中的任何一种，所述输入装置包括触觉输入装置(例如，键盘、鼠标或触摸屏)、音频输入装置(例如，麦克风)和视觉输入装置(例如，摄像头)。此外，群集控件9050和区域选择控件9060元件可以基于诸如计算机程序指令之类的指令(例如，选择满足诸如公共目的地之类的预建立的准则的车辆指示符的指令)而被控制或修改。
区域选择控件9060是可以被控制或修改以选择地图部分9020的一部分的控制元件。例如，车辆管理员可以选择或突出显示地图的矩形部分以便限定将在对应于地图部分9020的所选部分的车辆管理员部分9010上监控和选择或群集化地图的地理区域内的车辆。可以根据群集准则来监控并组织地图部分9020的所选部分内的对象，所述群集准则包括路线、目的地和出发地点中的任何一个。如图9中所示，群集控件9050可以基于共享群集准则(例如，它们共享类似的路线)来指示车辆指示9030和车辆指示9040是群集组的一部分。
图10是例示了车辆管理员界面10000的示例的图。车辆管理员界面10000可以基于一个或多个指令生成，所述一个或多个指令可在计算设备(包括如图2中所示的控制器设备2410)上执行，并且可以储存在计算设备(包括控制器设备2410)的存储器中。
例如，车辆管理员界面10000可以由控制器设备2410基于指令来生成，所述指令由通过计算机网络访问控制器设备2410的客户端计算装置解释。然后，客户端计算装置可以在显示装置上生成车辆管理员界面10000的表示。
车辆管理员界面10000包括车辆指示符10010、路径指示符10020、外部对象指示符10030、阻碍物指示符10040、行人指示符10050，这些中的任何一个都可以是基于与物理对象的状态相关联的数据，所述物理对象包括但不限于车辆、道路、建筑物和行人中的至少一个。可以在车辆管理员界面10000上显示外部对象、阻碍物、行人及它们的组合的多种配置。车辆指示符10010可以用于表示车辆。在该示例中，车辆被表示为三维模型，然而车辆指示符10010可以以不同的方式表示，包括二维图像和诸如图标之类的象形图中的任何一种。
路径指示符10020可以用于表示当前车辆位置与车辆目的地之间的路径。在一种实现中，车辆管理员可以沿着由路径指示符10020指示的路径引导与车辆指示符10010相关联的车辆。例如，当向与车辆指示符10010相关联的车辆提供远程帮助时，可以生成路径指示符诸如虚拟通道，以提供车辆可以行驶的路径的视觉表示，其由路径指示符10020例示。
作为示例，外部对象指示符10030可以用于表示外部对象，诸如可以改变车辆的预期路线的其他车辆。阻碍物指示符10040可以用于表示可能阻碍由车辆指示符10010表示的车辆的移动的外部对象。行人指示符10050可以用于表示包括行人或骑车的人或另一移动对象的外部对象。行人指示符10050可以用与由外部对象指示符10030或阻碍物指示符10040表示的其他外部对象不同的独特颜色方案来指示。以这种方式，行人可以与其他类型的外部对象区分开以提供额外的意识和规避能力。在一种实现中，外部对象指示符10030、阻碍物指示符10040和行人指示符10050或它们的任何组合可以由覆盖可能影响由车辆指示符10010表示的车辆的至少一个参数(例如，路线、行驶时间等)的所有对象的相同或相似类型的指示符来表示。
结合本文公开的技术的实现描述的任何方法、过程或算法的步骤或操作可以硬件、固件、由硬件执行的软件、电路系统或它们的任何组合来实现。为了便于说明，图11-图15中示出的过程11000-15000被描绘并描述为一系列操作。然而，根据本公开的操作可以以各种顺序发生或同时地发生。另外，根据本公开的操作可以与本文未呈现和描述的其他操作一起发生。
图11是根据本公开的用于车辆监控的技术11000的流程图。技术11000可以由车辆监控系统使用，所述车辆监控系统可以包括但不限于至少一个车队管理员、车辆管理员和前述界面。用于车辆监控的技术11000的一些或所有方面可以在车辆或计算设备中实现，所述车辆包括图1中所示的车辆1000、图2中所示的车辆2100，所述计算设备包括图2中所示的控制器设备2410。在一种实现中，用于车辆监控的技术11000的一些或所有方面可以在组合本公开中描述的特征中的一些或所有特征的系统中实现。
在操作11010处，车辆数据和外部数据由例如车辆监控系统的通信系统或其他装置接收。例如，可以从包括用于运输包括乘客和货物中的任何一种的对象的装置或设备(例如，运输工具)的车辆接收车辆数据。车辆可以包括自主车辆或由人类驾驶员驾驶的车辆或半自主车辆。
车辆数据和外部数据可以基于来自车辆的预定车辆距离或例如对应于车辆的预定区域内的车辆数据和外部数据。车辆数据可以包括车辆的车辆状态，并且外部数据可以包括基础设施的基础设施状态，所述基础设施包括外部对象(例如，其他车辆、行人、骑车的人、建筑物、桥梁、道路)。换句话说，外部数据包括在车辆周围的环境中的多个外部对象中的每个的外部状态。
车辆数据可以包括但不限于对应于以下数据的任何数据：与车辆的速度和加速度中的任何一种相关的动力学数据；位置数据，包括车辆的地理位置(例如，车辆的纬度和经度)或车辆相对于另一对象的位置；车辆位置，包括车辆的定向和倾斜度(例如，在斜坡上的车辆的斜度)；车辆的操作状态，包括车辆的电气状态或机械状态(例如，轮胎压力、机械车辆系统、电气车辆系统的健康状况等)；与车辆的持续维护有关的维护数据；车辆能量状态数据，包括燃料剩余量或电池剩余电量；基于来自传感器的输出的传感器数据，所述传感器包括光学传感器、音频传感器和运动传感器；内部状态数据，包括车辆的客舱内的温度和湿度；以及车辆的当前任务(例如，接载乘客)。
外部数据可以包括对应于以下的任何数据：外部对象速度，包括车辆外部的任何外部对象的速度，包括其他车辆、行人和骑车的人的速度；外部对象定向，包括外部对象相对于车辆的定向和诸如罗盘定向之类的定向中的任何一种；外部对象位置，包括外部对象的地理位置(例如，外部对象的纬度和经度)；外部对象标识配置文件；外部对象音频配置文件；外部对象电磁配置文件；以及预定区域内的表面(例如，地面)的状态；交通信号数据；道路封闭数据；施工数据；紧急车辆路线数据，包括紧急车辆诸如救护车、警车和消防车(即，救火车)的路线；基础设施数据，包括建筑物的位置；环境数据，包括当前和即将到来的天气数据；以及分区数据，包括企业、学校或住宅区的位置。
在操作11020处，响应于接收和处理状态数据，基于外部对象的外部状态中的至少一个和车辆状态来确定车辆的问题类型。问题类型的确定可以基于状态数据与包括多个问题类型和对应的多个问题类型的问题类型数据的比较。例如，可以基于查找表或通过匹配包括关系数据库的数据集中的数据(例如，记录)或通过使用历史数据的机器学习技术来确定问题类型。
在一种实现中，基于车辆数据(例如，通过从车辆数据中提取车辆速度属性)确定车辆的速度。响应于确定了车辆处于静止状态(例如，车辆速度低于速度阈值，诸如每秒零米的速度)，可以确定车辆处于静止状态并且问题类型被确定为静止性问题类型。
在操作11030处，基于对问题类型的确定，生成问题类型的指示以在界面(例如，车辆监控系统的监控操作员的界面)上显示。问题类型的指示可以基于问题类型与多个问题类型指示符的比较。问题类型与多个问题类型指示符的比较可以包括问题类型与多个问题类型指示符之间的匹配。所述匹配可以基于问题类型与多个问题类型指示符之间的精确匹配或相似度。
问题类型的指示可以包括但不限于以下中的任何一种：任务状态，包括车辆正执行的任务类型(例如，执行卸放或接载)；占用状态，所述占用状态可以基于车辆中的可以确定车辆内的乘客的状态的传感器；以及自主模式状态，所述自主模式状态可以指示车辆正在由计算装置(例如，自主车辆)还是由人类操作员还是由这两者(半自主)来操作。问题类型的指示可以包括图4中所示的车辆指示符4000和图6中所示的车辆指示符6000中的任何一个的特征中的一些或所有特征。例如，当问题类型是静止性问题类型时，指示可以包括静止性问题类型的指示(例如，使用红色，表示车辆停止)。
图12是根据本公开的用于车辆监控的技术12000的流程图。技术12000可以由车辆监控系统使用，所述车辆监控系统可以包括但不限于至少一个车队管理员、车辆管理员和前述界面。用于车辆监控的技术12000的一些或所有方面可以在车辆或计算设备中实现，所述车辆包括图1中所示的车辆1000、图2中所示的车辆2100，所述计算设备包括图2中所示的控制器设备2410。在一种实现中，用于车辆监控的技术12000的一些或所有方面可以在组合本公开中描述的特征中的一些或所有特征的系统中实现。
在操作12010处，除了来自其他源(例如，在线交通数据聚集平台)的实时数据之外，基于外部对象的数量和位置中的任何一种来生成交通数据。例如，交通数据可以包括但不限于以下中的任何一种：预定区域内的车辆的数量(例如，车辆密度)、车辆相对于可以破坏交通流量的外部对象(例如，施工工地)的位置、外部对象本身(例如，道路上倒下的树)的位置、基于沿同一方向行驶或在同一道路上行驶的车辆的数量的交通流量以及类似时间范围的历史信息。
在操作12020处，基于所接收的交通数据确定交通问题类型。问题类型的指示可以包括交通问题类型。交通问题类型可以包括但不限于基于形状、颜色、图案、象形图、文本及它们的组合中的任何一种的指示。交通问题类型的指示可以包括图4中所示的车辆指示符4000和图6中所示的车辆指示符6000中的任何一个的特征中的一些或所有特征。
图13是根据本公开的用于车辆监控的技术13000的流程图。技术13000可以由车辆监控系统使用，所述车辆监控系统可以包括但不限于至少一个车队管理员、车辆管理员和前述界面。用于车辆监控的技术13000的一些或所有方面可以在车辆或计算设备中实现，所述车辆包括图1中所示的车辆1000、图2中所示的车辆2100，所述计算设备包括图2中所示的控制器设备2410。在一种实现中，用于车辆监控的技术13000的一些或所有方面可以在组合本公开中描述的特征中的一些或所有特征的系统中实现。
在操作13010处，基于以下数据生成路线数据，所述数据包括但不限于相对于车辆的预期位置状态和预期时间状态的车辆的位置状态和时间状态。例如，位置状态可以包括车辆的过去和当前的地理位置，预期位置状态可以包括目的地位置和将要行驶至到达目的地位置的路线。时间状态可以包括车辆处于过去位置的时间或车辆处于当前位置的当前时间。预期时间状态可以包括车辆将处于预期或目的地位置的将来的预期时间。预期时间状态可以基于状态数据和外部数据。在一种实现中，问题类型(例如，与车辆的操作中的故障或低效率有关)可以基于路线数据。在另一种实现中，路线数据基于其他数据源，包括实时交通数据、类似环境的历史数据，以及偏好。
路线数据可以指示车辆在两个或更多个位置(例如，原始位置和目的地位置)之间的路线或路径。路线数据可以包括将车辆的路线或路径与行驶通过路线或路径的预定时间段相关联的定时数据。此外，路线数据可以包括车辆相对于地理区域(例如，限定的地理区域，诸如城市或州，或车辆的预定距离内的区域)或地理区域中的对象的位置。例如，路线数据可包括但不限于以下中的任何一种：地理坐标，包括一个或多个位置的纬度和经度，使用路径(包括街道、高速路和快车道)的不同地理坐标之间的距离，交通管制数据，包括速度限制、让行标志和停止标志的位置，以及地理区域内的交通信号的状况。
车辆的位置状态可以包括但不限于车辆的地理位置(例如，经度和纬度、地址或地图位置)以及车辆的报告位置中的任何一个。车辆的时间状态可以包括车辆处于所述位置状态中的一个所处的时间。
例如，路线数据可以指示车辆在下午5:01.00时处于42°33'47.1”N83°11'01.8”W处，并且车辆在下午5:01.30时处于42.562065”N，83.160406”W处。车辆的位置(位置状态)与车辆处于该位置的时间(时间状态)的组合可以用于生成路线数据。
在操作13020处，基于预期位置状态和预期时间状态来生成车辆的预期目的地。例如，可以确定，在前往相应的目的地的途中，一百辆车辆将行驶通过单个预期的目的地(例如，通过预定区域的狭窄道路)。照此，由于道路的狭窄以及在预期的时间范围内将通过预定区域的一百辆车辆的群集，可以确定在单个预期目的地处发生瓶颈。该确定的瓶颈和任何导致的延迟随后可能会改变预期目的地。
在操作13030处，根据预期目的地将外部对象分组成群集。将外部对象分组成群集可以基于分组准则，所述分组准则包括但不限于以下中的任何一种：车辆的位置，包括外部对象的地理位置或地理对象相对于该车辆和其他车辆的位置，以及车辆在预定时间段内的预期位置。将外部对象分组成群集可以用于促进例如车辆管理员对车辆的管理，所述车辆管理员稍后可以负责为车辆围绕外部对象的群集选择路线。例如，如果沿着特定路线确定了外部对象的群集，则可以为车辆重新选择路线以避免群集，从而致使到目的地的行驶时间减少。在另一种实现中，车辆和外部对象二者都可以根据各种属性和信息进行分组。
在操作13040处，确定群集中的每个群集的大小。群集的大小可以基于群集大小中的每个中的外部对象的加权或未加权计数。群集大小的权重可以基于群集中的外部对象的属性，所述属性包括以下中任何一种：外部对象的速度(例如，较慢的速度增加群集的权重)，以及车辆相对于外部对象的群集的目的地的一致性(例如，车辆行驶到外部对象的群集附近的相同目的地增加群集的权重)。换句话说，更高集中度的外部对象和/或车辆导致更大的群集大小。
在操作13050处，基于所确定的群集大小与阈值群集大小的比较，并且响应于所述群集大小超过阈值群集大小，技术13000进行到操作13060。基于群集大小与阈值群集大小的比较，并且响应于群集大小不超过阈值群集大小，技术13000返回到操作13010。确定群集大小是否超过阈值群集大小可以基于加权群集大小或未加权群集大小与阈值群集大小的比较。阈值群集大小可以基于偏好预先确定，或可以使用分析历史数据的机器学习技术来确定。
在操作13060处，生成群集指示，包括但不限于具有超过阈值群集大小的群集大小的每个群集的拥堵指示。例如，群集指示可以包括颜色、形状、图案、文本、象形图、数字及它们的组合中的任何一种，以表示由群集引起的拥堵量。交通问题类型的拥堵指示可以包括图4中所示的车辆指示符4000和图6中所示的车辆指示符6000中的任何一个的特征中的一些或所有特征。在另一示例中，群集指示还可以指示尽管群集超过阈值群集大小，但是各种参数导致确定该特定群集附近的拥堵不会导致延迟。
在操作13070处，修改由超过阈值群集大小的群集影响的车辆的一部分的预期时间状态。所述修改可以包括以下中的任何一种：最小化群集中的每个群集内的预期时间状态之间的差异、最小化时间状态与预期时间状态之间的最大差异以及减小车辆行驶的距离。例如，由于确定的外部对象的群集，可以修改车辆行驶的路线，以最小化与到达目的地的预期时间的聚集偏差。
图14是根据本公开的用于车辆监控的技术14000的流程图。技术14000可以由车辆监控系统使用，所述车辆监控系统可以包括但不限于至少一个车队管理员、车辆管理员和前述界面。用于车辆监控的技术14000的一些或所有方面可以在车辆或计算设备中实现，所述车辆包括图1中所示的车辆1000、图2中所示的车辆2100，所述计算设备包括图2中所示的控制器设备2410。在一种实现中，用于车辆监控的技术14000的一些或所有方面可以在组合本公开中描述的特征中的一些或所有特征的系统中实现。
在操作14010处，通过例如车辆监控系统的通信系统将情形或状态查询消息发送至车辆。状态查询消息可以经由例如图2中所示的电子通信网络2300的网络发送。在一种实现中，状态查询消息可以从车辆请求各种类型的信息，包括但不限于来自车辆的驾驶员的反馈和来自车辆的关于与其他车辆的对话的车辆到车辆通信数据。在另一种实现中，状态查询消息可以包括对来自车辆的车辆数据的请求，并且可以被作为包括数据或数据包(例如，TCP/IP包)的信号发送。例如，状态查询消息可以被发送到一个或多个车辆并且包括对来自车辆的速度以及车辆系统的状态(例如，发动机状态、指示灯状态)的请求。
在操作14020处，响应于在从车辆接收到对状态查询消息的响应之前经过了预定时间段，技术14000进行到操作14030。响应于在接收到对状态查询消息的响应之前没有经过预定时间段，在发送附加请求之前技术14000返回到操作14010。
在操作14030处，基于位于预定区域内的外部对象中的任何一个来检索对象传感器数据。例如，不响应状态查询消息的车辆可以指示车辆故障(例如，通信故障)或由于阻碍物(例如，阻挡发送到车辆的变速器的结构)而不能访问车辆。照此，可以查询包括传感器(例如，交通信号摄像头)的预定区域中的外部对象，并且可以从外部对象检索对象传感器数据以便确定车辆的状态。对象传感器数据还可以包括但不限于来自车辆的周围环境和附近的其他车辆(例如，可以提供关于从车辆接收响应的延时的信息的车辆与其他周围车辆的通信)的图像数据(例如，360度图像)。
图15是根据本公开的用于车辆监控的技术15000的流程图。技术15000可以由车辆监控系统使用，所述车辆监控系统可以包括但不限于至少一个车队管理员、车辆管理员和前述界面。用于车辆监控的技术15000中的一些或所有方面可以在车辆或计算设备中实现，所述车辆包括图1中所示的车辆1000、图2中所示的车辆2100，所述计算设备包括图2中所示的控制器设备2410。在一种实现中，用于车辆监控的技术15000的一些或所有方面可以在组合本公开中描述的特征中的一些或所有特征的系统中实现。
在操作15010处，基于车辆数据确定乘员状态值，所述车辆数据可以包括车辆传感器数据。车辆传感器数据可以基于来自车辆中的至少一个传感器的输出。传感器可包括一个或多个传感器，诸如图1中所示的传感器1360。举例来说，可以基于感测车辆的内部状态的热传感器或光学传感器(例如，车辆内的摄像头)来确定车辆中的乘员的数量。此外，乘员状态值可以基于车辆中的任何乘员的状况的状态。例如，可以使用麦克风或摄像头来确定乘员正在请求帮助或小乘员已经被留在车辆中而无人看管。此外，乘员状态值可以基于来自车辆的状态数据，所述状态数据可以包括帮助请求。
在操作15020处，响应于乘员状态值满足乘员状态状况，过程进行到操作15030。响应于乘员状态值不满足乘员状态状况，过程返回到操作15020。乘员状态状况可以包括车辆的阈值数量的乘员、阈值乘员活动水平(例如，不稳定地移动的乘员或不移动的乘员)以及乘员的帮助请求中的任何一种。
例如，如果乘员状态值指示在汽车中未检测到移动并且乘员状态状况不需要移动水平，则满足乘员状态状况并且技术15000进行到操作15030。在另一种实现中，乘员状态值和乘员状态状况可以颠倒。例如，代替确定乘员状态值满足乘员状态状况以进行到操作15030，技术15000可能要求不满足乘员状态状况以进行到操作15030。在该示例中，乘员状态值可以再次指示在汽车中没有检测到移动并且乘员状态状况可能需要最小的移动水平，并且因为没有满足乘员状态状况，所以技术15000可以进行到操作15030。
在操作15030处，基于在操作15020中完成的比较，生成乘员状态指示并在车辆监控系统的界面上显示所述乘客状态指示。例如，乘员状态指示可包括以下中的任何一种：修改问题类型的指示的颜色、形状或大小，指示车辆中的乘员数量的文本以及指示车辆中的乘员数量的数字。在一种实现中，乘员状态指示可以包括来自车辆的指示，包括乘员数量的表示。乘员状态指示可以包括图4中所示的车辆指示符4000和图6中所示的车辆指示符6000中的任何一个的特征中的一些或所有特征。
图16例示了根据本公开的用于车辆监控的方法16000。方法16000包括经由操作16010接收与车辆和对应的预定区域相关联的车辆数据和外部数据。车辆数据包括车辆的车辆状态，并且外部数据包括外部对象的外部状态。方法16000包括经由操作16020而基于外部状态中的至少一个和车辆状态确定车辆的问题类型，并且经由操作16030生成问题类型的指示以在界面上显示。
所公开的技术提供了更有效的车辆监控(包括监控自动车辆)的益处。所公开的技术可以有效地处理与车辆的物理状态和车辆的预期路线有关的数据。该数据处理有助于预测车辆的未来状态，从而允许对影响车辆的问题进行更佳的诊断。此外，所公开的技术可以通过能够更快速地识别流动停滞(即，扰乱交通的停止车辆)来改善通过运输网络的交通流量，从而允许更有效地分配辅助以改善流动停滞。
尽管已经结合某些实施方式描述了所公开的技术，但是应该理解，所公开的技术不限于所公开的实施方式，而是相反地，旨在涵盖包括在所附权利要求的范围内的各种修改和等同布置，所述范围应被赋予最宽泛的解释，以包含法律所允许的所有这些修改和等同结构。

Claims (20)

1.一种用于车辆监控的方法，所述方法包括：
接收与车辆和对应的预定区域相关联的车辆数据和外部数据，其中所述车辆数据包括：所述车辆的车辆状态；任务状态，所述任务状态包括与所述车辆相关联的车辆任务的紧急程度；和至少一个乘员的乘员状态，所述至少一个乘员的乘员状态与所述车辆相关联，进一步地，其中所述外部数据包括外部对象的外部状态；
基于所述外部数据和所述车辆数据确定所述车辆的问题类型；以及
生成所述问题类型的指示以在界面上显示，所述问题类型的指示包括所述任务状态、自主模式状态、和车辆占用状态。
2.根据权利要求1所述的方法，还包括：
基于相对于所述车辆的预期位置状态和预期时间状态的所述车辆的位置状态和时间状态来生成路线数据，其中所述问题类型基于所述路线数据。
3.根据权利要求2所述的方法，还包括：
基于所述预期位置状态和所述预期时间状态来生成所述车辆的预期目的地；
根据所述预期目的地将所述外部对象分组为群集；
确定所述群集中的每个群集的群集大小；以及
生成群集大小超过阈值群集大小的每个群集的拥堵指示。
4.根据权利要求3所述的方法，还包括：
修改超过所述阈值群集大小的所述群集中的所述外部对象的一部分的所述预期时间状态，其中所述修改包括最小化所述群集中的每个群集内的所述预期时间状态之间的差异。
5.根据权利要求1所述的方法，还包括：
基于所述外部对象的数量和位置中的任何一种生成交通数据；以及
基于所述交通数据确定交通问题，其中所述问题类型的指示包括所述交通问题。
6.根据权利要求1所述的方法，还包括：
将状态查询消息发送至所述车辆，其中所述状态查询消息包括对所述车辆数据的请求；以及
响应于在接收到对所述状态查询消息的响应之前经过了预定时间段，检索位于所述预定区域内的所述外部对象中的任何一个外部对象的对象传感器数据。
7.根据权利要求1所述的方法，还包括：
基于所述车辆数据确定所述车辆的速度；以及
响应于基于所述车辆的速度确定所述车辆处于静止状态，确定所述问题类型是所述车辆的静止性问题，其中所述问题类型的指示包括所述静止性问题。
8.根据权利要求1所述的方法，其中，所述车辆数据基于所述车辆中的至少一个传感器的车辆传感器数据，并且还包括：
基于所述车辆传感器数据确定乘员状态值；以及
响应于所述乘员状态值满足乘员状态状况，生成乘员状态指示。
9.根据权利要求1所述的方法，其中，所述外部数据还包括：所述车辆的速度、所述外部对象的速度、车辆定向、所述外部对象的定向、所述车辆的自主模式状态、车辆操作状态、车辆能量状态、交通信号数据、道路封闭数据、施工数据、道路状况数据、紧急车辆路线数据和分区数据。
10.一种车辆监控设备，包括：
非暂时性存储器；和
处理器，所述处理器被配置为执行储存在所述非暂时性存储器中的指令，以：
接收与车辆和对应的预定区域相关联的车辆数据和外部数据，其中所述车辆数据包括：车辆的车辆状态，任务状态，所述任务状态包括与所述车辆相关联的车辆任务的紧急程度；和至少一个乘员的乘员状态，所述至少一个乘员的乘员状态与所述车辆相关联，进一步地，其中所述外部数据包括外部对象的外部状态；
基于所述外部数据和所述车辆数据确定所述车辆的问题类型；以及
生成所述问题类型的指示以在界面上显示，所述问题类型的指示包括所述任务状态、自主模式状态、和车辆占用状态。
11.根据权利要求10所述的设备，其中，所述处理器还被配置为执行储存在所述存储器中的指令，以：
基于相对于所述车辆的预期位置状态和预期时间状态的所述车辆的位置状态和时间状态来生成路线数据，其中所述问题类型是基于所述路线数据。
12.根据权利要求11所述的设备，其中，所述处理器还被配置为执行储存在所述存储器中的指令，以：
基于所述预期位置状态和所述预期时间状态来生成所述车辆的预期目的地；
根据所述预期目的地将所述外部对象分组为群集；
确定所述群集中的每个群集的群集大小；以及
生成群集大小超过阈值群集大小的每个群集的拥堵指示。
13.根据权利要求10所述的设备，其中，所述处理器还被配置为执行储存在所述存储器中的指令，以：
基于所述外部对象的数量和位置中的任何一种生成交通数据；以及
基于所述交通数据确定交通问题，其中所述问题类型的指示包括所述交通问题。
14.根据权利要求10所述的设备，其中，所述外部数据包括：所述车辆的速度、所述外部对象的速度、车辆定向、所述外部对象的定向、所述车辆的自主模式状态、车辆操作状态、车辆能量状态、交通信号数据、道路封闭数据、施工数据、道路状况数据、紧急车辆路线数据和分区数据。
15.根据权利要求10所述的设备，其中，所述处理器还被配置为执行储存在所述存储器中的指令，以：
将状态查询消息发送至所述车辆，其中所述状态查询消息包括对所述车辆数据的请求；以及
响应于在接收到对所述状态查询消息的响应之前经过了预定时间段，检索位于所述预定区域内的所述外部对象中的任何一个外部对象的对象传感器数据。
16.一种非暂时性计算机可读存储介质，包括能由一个或多个处理器执行的程序指令，所述程序指令在被执行时引起所述一个或多个处理器执行操作，所述操作包括：
接收与车辆和对应的预定区域相关联的车辆数据和外部数据，其中所述车辆数据包括：车辆的车辆状态；任务状态，所述任务状态包括与所述车辆相关联的车辆任务的紧急程度；和至少一个乘员的乘员状态，所述至少一个乘员的乘员状态与所述车辆相关联，进一步地，其中所述外部数据包括外部对象的外部状态；
基于所述外部数据和所述车辆数据确定所述车辆的问题类型；以及
生成所述问题类型的指示以在界面上显示，所述问题类型的指示包括所述任务状态、自主模式状态、和车辆占用状态。
17.根据权利要求16所述的非暂时性计算机可读存储介质，所述操作还包括：
基于相对于所述车辆的预期位置状态和预期时间状态的所述车辆的位置状态和时间状态来生成路线数据，其中所述问题类型基于所述路线数据。
18.根据权利要求17所述的非暂时性计算机可读存储介质，所述操作还包括：
基于所述预期位置状态和所述预期时间状态来生成所述车辆的预期目的地；
根据所述预期目的地将所述外部对象分组为群集；
确定所述群集中的每个群集的群集大小；以及
生成群集大小超过阈值群集大小的每个群集的拥堵指示。
19.根据权利要求16所述的非暂时性计算机可读存储介质，所述操作还包括：
基于所述外部对象的数量和位置中的任何一种生成交通数据；以及
基于所述交通数据确定交通问题，其中所述问题类型的指示包括所述交通问题。
20.根据权利要求16所述的非暂时性计算机可读存储介质，其中，所述外部数据包括：所述车辆的速度、所述外部对象的速度、车辆定向、所述外部对象的定向、所述车辆的自主模式状态、车辆操作状态、车辆能量状态、交通信号数据、道路封闭数据、施工数据、道路状况数据、紧急车辆路线数据和分区数据。
CN201780073288.7A 2016-11-30 2017-11-30 自主车辆监控方法、设备和计算机可读存储介质 Active CN110249272B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662428082P 2016-11-30 2016-11-30
US62/428,082 2016-11-30
PCT/US2017/063815 WO2018102474A1 (en) 2016-11-30 2017-11-30 Autonomous vehicle monitoring using generated interfaces

Publications (2)

Publication Number Publication Date
CN110249272A CN110249272A (zh) 2019-09-17
CN110249272B true CN110249272B (zh) 2021-02-09

Family

ID=62242680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780073288.7A Active CN110249272B (zh) 2016-11-30 2017-11-30 自主车辆监控方法、设备和计算机可读存储介质

Country Status (6)

Country Link
US (1) US10839473B2 (zh)
EP (1) EP3548974A4 (zh)
JP (1) JP6726363B2 (zh)
CN (1) CN110249272B (zh)
BR (1) BR112019010721A2 (zh)
WO (1) WO2018102474A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10623834B1 (en) * 2018-01-15 2020-04-14 United Services Automobile Association (Usaa) Vehicle tracking techniques
US10817610B2 (en) * 2018-03-23 2020-10-27 Wipro Limited Method and system for providing hack protection in an autonomous vehicle
KR20200057505A (ko) * 2018-11-16 2020-05-26 현대자동차주식회사 긴급차량 회피 제어 장치 및 방법, 그리고 차량 시스템
CN109544049A (zh) * 2019-01-07 2019-03-29 上海德启信息科技有限公司 车辆数据处理方法及装置
US10896555B2 (en) * 2019-03-29 2021-01-19 Toyota Motor North America, Inc. Vehicle data sharing with interested parties
US10726642B1 (en) 2019-03-29 2020-07-28 Toyota Motor North America, Inc. Vehicle data sharing with interested parties
US10535207B1 (en) 2019-03-29 2020-01-14 Toyota Motor North America, Inc. Vehicle data sharing with interested parties
CN111854774A (zh) * 2019-04-24 2020-10-30 北京京东尚科信息技术有限公司 用于发送信息的方法和装置
US20210081863A1 (en) * 2019-07-25 2021-03-18 Airwire Technologies Vehicle intelligent assistant
US11263833B2 (en) * 2019-10-23 2022-03-01 Uber Technologies, Inc. Light electric vehicle defect management
US11560154B1 (en) 2020-06-02 2023-01-24 Aurora Operations, Inc. Autonomous vehicle remote teleoperations system
US20230256980A1 (en) * 2020-11-06 2023-08-17 Mitsubishi Electric Corporation Vehicle control system
US11145208B1 (en) * 2021-03-15 2021-10-12 Samsara Networks Inc. Customized route tracking
US20220379927A1 (en) * 2021-05-25 2022-12-01 At&T Intellectual Property I, L.P. Connected systems based on contextually aware dynamic visual indicators
CN116820014B (zh) * 2023-08-24 2023-11-14 山西交通科学研究院集团有限公司 一种交通机电设备智能化监控预警方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0922497A (ja) 1995-07-05 1997-01-21 Hitachi Ltd 交通個別誘導方法及び装置
JP3337202B2 (ja) 1998-08-05 2002-10-21 日本電信電話株式会社 交通状況予測方法、装置、および交通状況予測プログラムを記録した記録媒体
JP2002318844A (ja) * 2001-02-15 2002-10-31 Hitachi Ltd 車両管理方法
CN2660612Y (zh) * 2003-10-08 2004-12-01 常毅敏 道路车辆监控和信息采集装置
JP4985428B2 (ja) 2007-02-01 2012-07-25 株式会社デンソー ドライバ管理装置および運行管理システム
JP2009251968A (ja) 2008-04-07 2009-10-29 Toyota Motor Corp 緊急通報システム、通信管理サーバー、及び車載情報通信装置
JP2010231274A (ja) * 2009-03-25 2010-10-14 Victor Co Of Japan Ltd 標識表示方法、車載システム、ｒｆｉｄタグ、標識送信装置、および標識表示装置
US20110130916A1 (en) 2009-12-01 2011-06-02 Ise Corporation Location Based Vehicle Data Logging and Diagnostic System and Method
JP5891889B2 (ja) 2011-10-27 2016-03-23 住友電気工業株式会社 交通システムとこれに用いるコンピュータプログラム、並びに異常事象の判定処理装置
JP5338948B2 (ja) 2012-06-12 2013-11-13 住友電気工業株式会社 情報提供装置及び方法、コンピュータプログラム
CN103391316A (zh) * 2013-07-09 2013-11-13 潍柴动力股份有限公司 车辆远程端、客户端监控方法和装置及车辆远程监控系统
US9536424B2 (en) * 2014-02-10 2017-01-03 Here Global B.V. Adaptive traffic dynamics prediction
CN104932441A (zh) * 2014-03-20 2015-09-23 上海宝信软件股份有限公司 新能源车集成监控的数据采集和查询方法

Also Published As

Publication number Publication date
EP3548974A4 (en) 2019-12-18
JP2019537159A (ja) 2019-12-19
WO2018102474A1 (en) 2018-06-07
JP6726363B2 (ja) 2020-07-22
US10839473B2 (en) 2020-11-17
CN110249272A (zh) 2019-09-17
EP3548974A1 (en) 2019-10-09
BR112019010721A2 (pt) 2019-10-01
US20200193549A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
CN110249272B (zh) 自主车辆监控方法、设备和计算机可读存储介质
CN110235070B (zh) 用以解决问题情况的自主车辆的遥操作
US11378952B2 (en) Autonomous vehicle remote support mapping interface
US10659991B2 (en) Bandwidth constrained image processing for autonomous vehicles
US20220227394A1 (en) Autonomous Vehicle Operational Management
US10580296B2 (en) Advanced threat warning for autonomous vehicles
JP2019537159A5 (zh)
US10935973B2 (en) Generation of solution data for autonomous vehicles to negotiate problem situations
CN111886611A (zh) 用于自主运载工具的批路线规划的计算框架

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230526

Address after: Kanagawa

Patentee after: NISSAN MOTOR Co.,Ltd.

Patentee after: Florida Institute of Human-Machine Cognition Ltd.

Address before: Tennessee,USA

Patentee before: NISSAN NORTH AMERICA, Inc.

Patentee before: Florida Institute of Human-Machine Cognition Ltd.