CN110077410B - 对在预定情况中的自主车辆的远程协助 - Google Patents

对在预定情况中的自主车辆的远程协助 Download PDF

Info

Publication number
CN110077410B
CN110077410B CN201910206868.XA CN201910206868A CN110077410B CN 110077410 B CN110077410 B CN 110077410B CN 201910206868 A CN201910206868 A CN 201910206868A CN 110077410 B CN110077410 B CN 110077410B
Authority
CN
China
Prior art keywords
vehicle
sensor data
autonomous vehicle
environment
graphical interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910206868.XA
Other languages
English (en)
Other versions
CN110077410A (zh
Inventor
N.费尔菲尔德
J.S.赫巴赫
V.弗曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN110077410A publication Critical patent/CN110077410A/zh
Application granted granted Critical
Publication of CN110077410B publication Critical patent/CN110077410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0044—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • B60W60/00253—Taxi operations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0027—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0033—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/049—Number of occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Abstract

提供了对在预定情况中的自主车辆的远程协助。示例系统和方法使得自主车辆能在预定的情况中向远程操作员请求协助。一个示例方法包括基于环境的传感器数据确定自主车辆的环境的表示。基于该表示，该方法还可以包括从预定的情况组中识别自主车辆将请求远程协助的情况。该方法还可以包括向远程协助者发送协助请求，所述请求包括环境的表示和所识别的情况。所述方法还可以包括从远程协助者接收指示自主操作的响应。所述方法可以也包括致使自主车辆执行自主操作。

Description

对在预定情况中的自主车辆的远程协助
本申请是国际申请日为2015年02月09日、中国申请号为201580020571.4、发明名称为“对在预定情况中的自主车辆的远程协助”的发明专利申请的分案申请。
背景技术
除非在本文中另外指出，否则本节中描述的材料不是本申请中的权利要求的现有技术，并且不因为包括在本部分中就被承认是现有技术。
车辆可以是任何有轮子的机动车辆，并且可以包括轿车、卡车、摩托车、公共汽车等。车辆可以用于诸如人员和货物运输以及许多其它用途的各种任务。
一些车辆可以是部分或完全自主的。例如，当车辆处于自主模式中时，车辆操作的一些或所有的驾驶方面可以由车辆控制系统处理。在这种情况下，位于车上和/或在服务器网络的计算设备是可操作的以实施诸如规划行驶路线、车辆的感测方面、感测车辆的环境、以及控制诸如方向盘、油门和制动的驾驶组件的功能。因此，自主车辆可以减少或消除在车辆操作的各个方面与人互动的需求。
发明内容
本公开提供了能使自主车辆在某些预定的情况向远程操作员请求协助的方法和设备。在自主车辆的操作期间，车辆可从预定的情况组中识别其将请求协助的情况。然后车辆可以向远程协助者发送协助请求，识别情况以及它的环境的传感器表示。然后，车辆可以接收从远程协助者返回的指示如何继续的响应。
在一个示例中，提供了一种方法，其包括基于环境的传感器数据确定自主车辆的环境的表示。基于该表示，该方法还可以包括从预定的情况组中识别自主车辆将请求远程协助的情况。该方法还可以包括向远程协助者发送协助请求，该请求包括环境的表示和识别的情况。该方法也可另外包括从远程协助者接收指示自主操作的响应。该方法还可以包括致使自主车辆执行自主操作。
在另一个例子中，提供了另外的方法，其包括从自主车辆接收协助请求，该请求包括自主车辆环境的表示以及从预定的情况组中识别的情况。该方法可另外地包括接收表示自主车辆的环境的传感器数据。基于环境的表示和传感器数据，该方法还可以包括为自主车辆确定在所识别的情况中执行的自主操作。该方法还可以另外包括向自主车辆发送对协助请求的响应，以在所识别的情况中执行自主操作。
在另一个例子中，公开了一种包括控制系统的自主车辆。该控制系统可以被配置为基于环境的传感器数据确定自主车辆的环境的表示。基于该表示，控制系统也可以被配置为从预定的情况组中识别自主车辆将请求远程协助的情况。控制系统还可以被配置为向远程协助者发送请求协助，该请求包括环境的表示和所识别的情况。控制系统还可以被配置为从远程协助者接收指示自主操作的响应。控制系统还可以被配置为使自主车辆执行自主操作。
在另一个例子中，一种系统可以包括用于基于环境的传感器数据确定自主车辆的环境的表示的方法。基于该表示，所述系统还可以包括用于从预定的情况组中识别自主车辆将请求远程协助的情况的装置。该系统还可以包括用于向远程协助者发送协助请求的装置，该请求包括环境的表示和所识别的情况。该系统还可以包括用于接收来自远程协助器的指示自主操作的响应的装置。该系统还可以包括用于使自主车辆执行自主操作的装置。
在另一个例子中，系统可以包括用于从自主车辆接收协助请求的装置，该请求包括自主车辆的环境的表示以及从预定的情况组中识别的情况。该系统还可以包括用于接收表示自主车辆的环境的传感器数据的方法。基于环境的表示和传感器数据，该系统还可以包括用于为自主车辆确定在所识别的情况中执行的自主操作的装置。该系统还可以包括用于向自主车辆发送对协助请求的响应以在所识别的情况中执行自主操作的装置。
在另一个例子中，提供了一种计算机实现的方法，包括：接收来自自主车辆的对协助的请求，所述请求包括：所述自主车辆的环境的传感器数据表示，所述传感器数据表示包括基于由所述自主车辆收集的传感器数据的表示；以及来自所述自主车辆上的一个或多个照相机的所述环境的部分的直播视频流；提供图形界面的显示，其中，所述图形界面包括示出所述环境的传感器数据表示的第一子窗口，以及所述图形界面还包括示出所述环境的部分的直播视频流的第二子窗口，其中，所述第一子窗口和第二子窗口同时显示在所述图形界面内，以允许对所述传感器数据表示中的检测的对象与所述直播视频流中的对应对象进行比较；经由所述图形界面接收指示用于所述自主车辆的自主操作的输入数据；以及向所述自主车辆发送响应，其中，所述响应包括用于所述自主车辆的自主操作的指示。
在另一个例子中，提供了一种系统，包括：显示设备；以及控制系统，被配置为：接收来自自主车辆的对协助的请求，所述请求包括：所述自主车辆的环境的传感器数据表示，所述传感器数据表示包括基于由所述自主车辆收集的传感器数据的表示；以及来自所述自主车辆上的一个或多个照相机的所述环境的部分的直播视频流；在所述显示设备上显示图形界面，其中，所述图形界面包括示出所述环境的传感器数据表示的第一子窗口，以及所述图形界面还包括示出所述环境的部分的直播视频流的第二子窗口，其中，所述第一子窗口和第二子窗口同时显示在所述图形界面内，以允许对所述传感器数据表示中的检测的对象与所述直播视频流中的对应对象进行比较；经由所述图形界面接收指示用于所述自主车辆的自主操作的输入数据；以及向所述自主车辆发送响应，其中，所述响应包括用于所述自主车辆的自主操作的指示。
在另一个例子中，提供了一种非暂时性计算机可读介质，其中存储有指令，当所述指令由计算系统执行时，使所述计算系统执行功能，所述功能包括：接收来自自主车辆的对协助的请求，所述请求包括：所述自主车辆的环境的传感器数据表示，所述传感器数据表示包括基于由所述自主车辆收集的传感器数据的表示；以及来自所述自主车辆上的一个或多个照相机的所述环境的部分的直播视频流；提供图形界面的显示，其中，所述图形界面包括示出所述环境的传感器数据表示的第一子窗口，以及所述图形界面还包括示出所述环境的部分的直播视频流的第二子窗口，其中，所述第一子窗口和第二子窗口同时显示在所述图形界面内，以允许对所述传感器数据表示中的检测的对象与所述直播视频流中的对应对象进行比较；经由所述图形界面接收指示用于所述自主车辆的自主操作的输入数据；以及向所述自主车辆发送响应，其中，所述响应包括用于所述自主车辆的自主操作的指示。
前面的概述仅是说明性的，并无意以任何方式进行限制。除了上面描述的说明性的方面、实施例和特征，更多方面、实施例和特征将通过参考图和下面的详细描述以及附图变得明显。
附图说明
图1是示出了根据示例性实施例的车辆的功能框图。
图2显示了根据示例性实施例的车辆。
图3是根据示例性实施例的方法的方框图。
图4A示出了根据示例性实施例的自主车辆操作场景的顶视图。
图4B示出了根据示例性实施例的图4A中场景的传感器表示。
图4C示出了根据示例性实施例的图4A中车辆获得的视频输入(feed)。
图4D示出了根据示例性实施例的包含图4B中的传感器表示和图4C中的视频输入的用户界面。
图4E示出了根据示例性实施例的图4D中的包括控制菜单的用户界面。
图4F示出了根据示例性实施例的完成操作后的图4A中的自主车辆的顶视图。
图5示出了根据示例性实施例的另一种方法的框图。
图6是根据示例性实施例的计算机程序的示意图。
具体实施方式
本文描述了示例方法和系统。本文描述的任何示例性实施例或特征不一定被解释为优选的或比其它实施例或特征有利。本文所描述的示例性实施例并不意在限制。将容易理解的是，所公开的系统和方法的某些方面可以在各种不同的配置中安排和组合，本文中考虑了所有这些。
此外，在图中所示的特定安排不应被看作是限制性的。应当理解的是，其他实施例可能包括比在给定的图中所示的各个元件更多和更少。此外，示出的元件中的部分可被组合或省略。更进一步，示例性实施例可包括未在图中示出的元件。
本公开提供了使得当车辆遇到这样的协助可能是有用的或必需的情况时，使自主车辆能够从远程操作者(例如，指导人员或远程计算系统)请求协助的方法和装置。例如，未受保护的左转可以描述这样的场景，其中要做左转的自主汽车有稳定的绿灯但没有绿色的箭头，并且存在可能干扰转向的对向交通的可能性。在这种场景中，车辆可具有指示其可以安全地完成左转(例如，不存在可能干扰转向的对向交通或其它障碍物)的环境的特定表示。然而，在这样的场景下有远程操作员验证(例如，基于从轿车内取得的实况视频)没有可能干扰转向的对向交通是有用的。
可以定义自主车辆将从远程操作员寻求协助的一组预定情况。例如，该组可以包括这样的情况，该车辆可以：(1)检测到其在所述情况中，(2)向远程协助者提问有用的问题，以及(3)自动解释来自远程协助者的问题的答案以继续进行操作。在其中请求远程协助的这组情况为最小化车辆操作延迟，以及/或者由于带宽或可用的远程协助者的限制是有限的。除了未受保护的左转，可能被包含在该组中的其他示例情况包括：红灯时右转，在上客或落客后检查车辆的搭载人数，车道堵塞时导航，或解释临时的停止信号。
某些预定的情况可能涉及事先已知的车辆的行为(例如，无保护的左转)，使得可以做出什么时候遇到该情况的估计。在这些情况下，可以向远程协助者提供关于什么时候需要协助的提前通知(例如，以确保在需要时远程协助者可提供协助)。在其他场景中，可能无法提供提前通知(例如，当检测到临时停止标志时)。在一些示例系统中，一定数量的远程协助者一直有空以处理这些类型的请求。
车辆可以连同协助请求一起向远程操作员发送它的环境的传感器数据(例如，实况视频输入)。然后，远程操作员可以基于传感器数据确认车辆的计划是正确的(例如，对于未受保护的左转验证没有对向交通)。在一些示例中，车辆可以保持位置直到它从远程操作员接收到“释放”以继续提议的操作。在其它示例中，对特定的场景，可以向远程操作员呈现有两个或多个可能的车辆操作的列表以从中选择(例如，从左侧或右侧通过停止的车辆)。在另外的实施例中，远程操作员也可能能够为车辆建议其他行动步骤或代替。
在一些实施例中，远程协助者可以是被呈现了包括来自车辆的信息和数据(例如，除从车辆所获得的实况视频之外的对某一情况的提议行动路线)的用户界面的操作人员。该接口也可以指示延迟(例如，屏幕上的数据的陈旧程度)。在其它示例中，远程协助者可以代以更强大的远程计算系统，其可能能够在自主车辆的车载计算系统不能很容易处理的情况下确定正确的车辆行为。在更多示例中，远程协助者可以是车辆上的乘客，对某些难以实现自动化的直觉行为(例如，要求出租车在落客前前进几英尺)这可能非常有用。在一些示例中也可以同时向多个远程向导和/或其它类型的远程向导发送协助请求。
现在将更详细地描述本公开内容范围内的示例性系统。示例系统可以实现为或可以采取汽车的形式。然而，示例性系统也可以实现为或采取其它车辆的形式，如轿车、卡车、摩托车、客车、船、飞机、直升机、割草机、推土机、船、雪地机动车、飞行器、休闲车、游乐场车辆、农用设备、建筑设备、有轨电车、高尔夫球车、火车和无轨电车。也有可能是其他车辆。
图1是根据示例性实施例的示出了车辆100的功能框图。车辆100可以包括各种子系统，如推进系统102、传感器系统104、控制系统106、一个或多个外围设备108，以及电源110、计算机系统112、数据存储器114和用户接口116。车辆100可以包括更多或更少的子系统，并且每个子系统可以包括多个元件。此外，车辆100的每个子系统和元件可以是相互连接的。因此，所描述的车辆100的一个或多个的功能可以被划分成另外的功能或物理组件，或组合成更少的功能或物理组件。在一些进一步的示例中，另外的功能和/或物理组件可被添加到由图1所示的示例。
推进系统102可包括可操作的以向车辆100提供动力运动的组件。取决于实施例，推进系统102可以包括发动机/马达118、能量源119、变速器(transmission)120和车轮/轮胎121。发动机/马达118可以是内燃机、电动马达、蒸汽机、斯特林发动机的任意组合。其它马达和/或发动机是可能的。在一些实施例中，发动机/马达118可以被配置为将能量源119转换成机械能。在一些实施例中，推进系统102可以包括多种类型的发动机和/或马达。例如，油电混合动力汽车可以包括汽油发动机和电动机。也可能是其他的例子。
能量源119可表示可以提供发动机/马达118的全部的或部分的动力的能量源。在本公开内容的范围内考虑的能量源119的例子包括汽油、柴油、其它基于石油的燃料、丙烷、其他基于气体的压缩燃料、乙醇、太阳能电池板、电池和其他电力源。能量源119可以另外地或替代地包括油箱、电池、电容器和/或飞轮的任意组合。能量源118也可以为车辆100的其他系统提供能量。
变速器120可包括可操作的以从发动机/马达118传送机械动力到车轮/轮胎121的元件。变速器120可以包括变速箱(gearbox)、离合器(clutch)、差速器(differential)以及驱动轴(drive shaft)。变速器120的其他组件也是可能的。驱动轴可包括可以耦合到一个或多个车轮/轮胎121的一个或多个车轴。
车辆100的车轮/轮胎121可被配置为各种形式，包括独轮车、自行车/摩托车、三轮车或轿车/卡车的四轮形式。其它车轮/轮胎的几何形状是可能的，如那些包括六个或更多个车轮的。车辆100的车轮/轮胎121的任何组合可以是可操作的以相对于其它车轮/轮胎121差别地旋转。车轮/车胎121可以表示至少一个被固定地连接到变速器120的车轮和至少一个被耦合到可以与驱动表面接触的车轮的轮毂的轮胎。车轮/轮胎121可包括金属和橡胶的任意组合。其它材料是可能的。
传感器系统104可包括若干元件，诸如全球定位系统(GPS)122、惯性测量单元(IMU)124、雷达126、激光测距仪/LIDAR 128、照相机130、转向传感器123和节流阀/制动器传感器125。传感器系统104还可以包括其它传感器，诸如那些可以监视车辆100的内部系统(如，氧气监视器、燃料计、发动机油温度、制动器磨损)。
GPS 122可包括可操作的以提供关于车辆100相对于地球的位置信息的收发器。IMU 124可以包括加速度计和陀螺仪的组合，并且可以表示任何数目的基于惯性加速度感测主体位置和方向变化的系统。此外，IMU 124可以是能够检测车辆100的俯仰和偏航。当汽车静止或在运动中时俯仰和偏航是可以检测的。
雷达126可以表示利用无线电信号在车辆100的本地环境内感测对象以及在一些情况下它们的速度和航向的系统。另外，雷达126可以具有被配置为发送和接收无线电信号的多个天线。激光测距仪/LIDAR 128可以包括一个或多个激光源、激光扫描仪和一个或多个检测器，以及其他系统组件。激光测距仪/LIDAR 128可以被配置为以相干方式(例如，使用外差检测)或非相干检测模式操作。照相机130可以包括被配置为捕获车辆100的环境的多个图像的一个或多个设备。相机130可以是静态照相机或摄像机。
转向传感器123可以表示感测车辆100的转向角的系统。在一些实施例中，转向传感器123可以测量方向盘本身的角度。在其它实施例中，转向传感器123可以测量方向盘自身的角度。在其它实施例中，转向传感器123可以测量表示方向盘角度的电信号。此外，在另外的实施例中，转向传感器123可以测量车辆100的车轮的角度。例如，可以感测到车轮相对于车辆100的前进轴向的角度。此外，在另一些实施例中，转向传感器123可以测量车辆100的方向盘的角度、表示方向盘角度的电信号以及车轮的角度的组合(或子集)。
节流阀/制动器传感器125可以表示感测车辆100的节流阀位置或制动器的位置的任一个的位置的系统。在一些实施例中，单独的传感器可以测量节流阀位置和制动器位置。在一些实施例中，节流阀/制动器传感器125可以测量油门踏板(节流阀)和刹车踏板两者的角度。在其他实施例中，节流阀/制动器传感器125可以测量能够表示例如油门踏板的角度(节流阀)和/或制动踏板的角度的电信号。此外，在另一些实施例中，节流阀/制动器传感器125可以测量车辆100的节流阀体的角度。节流阀体可包括提供能量源119的调制到发动机/马达118的物理机制的一部分(例如，蝶形阀或化油器)。此外，节流阀/制动器传感器125可以测量车辆100的转子上的一个或多个刹车片的压力。在另一些实施例中，节流阀/制动器传感器125可以测量油门踏板(节流阀)和刹车踏板角度、表示油门踏板(节流阀)和刹车踏板的角度的电信号、节流阀体的角度以及至少一个刹车片施加到车辆100的转子的压力的组合(或子集)。在其他实施例中，节流阀/制动器传感器125可以被配置为测量施加到诸如油门或刹车踏板的车辆踏板的压力。
控制系统106可包括各种元件，包括转向单元132、节流阀134、制动单元136、传感器融合算法138、计算机视觉系统140、导航/路径系统142和障碍物躲避系统144。转向单元132可以表示可操作的以用于调整车辆100的前进方向的机制的任意组合。节流阀134可以控制，例如，发动机/马达118的操作速度，从而控制车辆100的速度。制动单元136可以是可操作的以使车辆100减速。制动单元136可以利用摩擦来减慢车轮/轮胎121的速度。在其它实施例中，制动单元136可以将车轮/轮胎121的动能转换成电流。
传感器融合算法138可以包括，例如，卡尔曼滤波器、贝叶斯网络或其它可以从传感器系统104接收数据作为输入的算法。传感器融合算法138可以基于传感器数据提供各种评估。取决于实施例，该评估可以包括对个别对象和/或特征的评价、对特定情况的评价、和/或基于特定情况评估可能的影响。其他评估是可能的。
计算机视觉系统140可以包括可操作的以用于处理和分析图像以试图确定对象、重要的环境特征(例如，停止灯，行车道边界等)和障碍的硬件和软件。计算机视觉系统140可以使用对象识别、运动恢复结构(SFM)、视频跟踪、以及在计算机视觉中使用的其它算法，例如，以识别物体、绘制环境地图、跟踪对象、估计对象的速度等。
导航/路径系统142可以被配置为为车辆100确定驾驶路径。导航/路径系统142在车辆100在运行时可以另外的动态地更新驾驶路径。在一些实施例中，导航/路径系统142可以整合来自传感器融合算法138、GPS 122和公知的地图数据，为车辆100确定驾驶路径。
障碍躲避系统144可以表示被配置为基于传感器数据评估潜在的障碍，并控制车辆100避免潜在障碍或者以其它方式与潜在障碍协商的控制系统。
车辆100可以包括各种外围设备108。例如，外围设备108可包括无线通信系统146、触摸屏148、麦克风150和/或扬声器152。外围设备108可以提供，例如，用于让车辆100的用户与用户界面116交互的装置。例如，触摸屏148可以向车辆100的用户提供信息。用户界面116也可以是可操作的以经由触摸屏148接受来自用户的输入。在其它情况下，外围设备108可以向车辆100提供与它的环境中的设备进行通信的方法。
在一个示例中，无线通信系统146可以被配置为直接地或经由通信网络与一个或多个设备无线通信。例如，无线通信系统146可以使用诸如CDMA、EVDO、GSM/GPRS的3G蜂窝通信，或诸如WiMAX或LTE的4G蜂窝通信。可替代地，无线通信系统146可以与无线局域网络(WLAN)通信，例如，使用WiFi。在一些实施例中，无线通信系统146可以直接与设备通信，例如，使用红外链路、蓝牙或ZigBee。其他无线协议，诸如各种车辆通信系统，在本公开的范围内是可能的。例如，无线通信系统146可以包括一个或多个专用的短程通信(DSRC)设备，其可以包括在车辆和/或路边站之间的公共和/或私有数据通信。
电源110可以向车辆100的各种组件提供电力，并可以表示，例如，可充电的锂离子或铅酸电池。在示例性实施例中，一个或多个这样的电池组可以被配置为提供电力。其它电源材料和类型是可能的。取决于实施例，电源110以及能量源119可以被集成为如在一些全电式汽车中的单个能量源。
车辆100的许多或所有的功能可以由计算机系统112来控制。计算机系统112可以包括至少一个处理器113(其可包括至少一个微处理器)，其运行存储在诸如数据存储器114的非暂时性计算机可读介质中的指令115。计算机系统112还可以表示可以以分布式方式以控制车辆100的个别组件或子系统的多个计算设备。
在一些实施例中，数据存储器114可以包含可由处理器113运行以运行车辆100的各种功能的指令115(例如，程序逻辑)，包括上面结合图1描述的。数据存储器114也可以包含另外的指令，包括将数据发送到、从其接收数据、与其交互，和/或控制一个或多个推进系统102、传感器系统104、控制系统106以及外围设备108的指令。
除了指令115外，数据存储器114可以存储诸如道路地图、路径信息以及其它信息的数据。这样的信息可以在车辆100在自主、半自主和/或手动模式中的操作过程中由车辆100和计算机系统112使用。
车辆100可以包括用户界面116，用于向或从车辆100的用户提供信息或接收输入。用户界面116可以控制或使能对可以在触摸屏148显示的内容和/或交互图象的布局的控制。进一步地，在诸如无线通信系统146、触摸屏148、麦克风150和扬声器152的外围设备组108中，用户界面116可以包括一个或多个输入/输出设备。
计算机系统112可以基于从各种子系统(例如，推进系统102、传感器系统104和控制系统106)以及从用户界面116接收的输入来控制车辆100的功能。例如，计算机系统112可利用来自传感器系统104的输入，以估计由推进系统102和控制系统106产生的输出。取决于实施例，计算机系统112可以是可操作的以监视车辆100和它的子系统的许多方面。在一些实施例中，计算机系统112可以基于从传感器系统104接收到的信号禁用车辆100的某些或所有功能。
车辆100的组件可以被配置为与它们各自系统之内或之外的其他组件的以互连的方式工作。例如，在示例性实施例中，相机130可以捕获可以表示关于在自主模式下操作的车辆100的环境的状态的信息的多个图像。环境的状态可以包括车辆在其上操作的道路的参数。例如，计算机视觉系统140可以能够基于多个道路图像识别斜率(度)或者其他特征。此外，全球定位系统122和由计算机视觉系统140识别的特征的组合可以与存储在数据存储器114中的地图数据以用于确定特定道路参数。此外，雷达单元126也可以提供关于车辆周围事物的信息。
换言之，各种传感器的组合(其可以被称为输入指示和输出指示传感器)和计算机系统112可以交互以提供用以供以控制车辆的输入的指示或车辆周围事物的指示。
在一些实施例中，计算机系统112可以基于除了无线电系统外的其它系统提供的数据以做出关于各种对象的确定。例如，车辆可以具有被配置为感测在车辆视界中的对象的激光器或其他光学传感器。计算机系统112可以使用来自各种传感器的输出以确定有关在车辆的视界中的对象的信息。计算机系统112可确定各种对象的距离和方向信息。计算机系统112还可以基于来自各种传感器的输出确定对象是所希望的还是不希望的。
虽然图1示出了车辆100的各种组件，也即，无线通信系统146、计算机系统112、数据存储器114和用户界面116，但是因为被集成到车辆100中，所以这些组件中的一个或多个可分离于车辆100安装或结合。例如，数据存储器114可以部分或全部地分离于车辆100存在。因此，可以以分离地或一体地放置的设备元件的形式提供车辆100。构成车辆100的设备元件可以以有线和/或无线的方式通信地耦合在一起。
图2显示了可以是与参考图1描述的车辆100相似或相同的车辆200。取决于实施例，车辆200可以包括传感器单元202、无线通信系统204、无线电单元206、激光测距仪208和照相机210。车辆200的元件可以包括图1中描述的部分或全部的元件。虽然在图2中车辆200被示为汽车，但其他实施例是可能的。例如，车辆200可以表示卡车、厢式车、半拖挂车、摩托车、高尔夫球车、越野车或农用车以及其它例子。
传感器单元202可以包括被配置为获取关于车辆200的环境的信息的一个或多个不同的传感器。例如，传感器单元202可包括相机、雷达、LIDAR、测距仪、无线电设备(例如，蓝牙和/或802.11)和声学传感器的任意组合。其他类型的传感器是可能的。取决于实施例，传感器单元202可以包括可操作的可移动的底座，以调节传感器单元202中的一个或多个传感器的方向。在一个实施例中，可移动的底座可以包括可以扫描传感器以便获得来自绕车辆200的各个方向的信息的旋转平台。在另一实施例中，传感器单元202的可移动底座可以在角度和/或方位角的特定范围内以扫描方式移动。例如，传感器单元202可以被安装在汽车顶部的上面，但其他安装位置是可能的。此外，传感器单元202的传感器可分布在不同的位置，并且不需要被并置在一个位置。一些可能的传感器类型和安装位置包括无线电单元206和激光测距仪208。
无线通信系统204可如图2描绘的放置。或者，无线通信系统204可全部或部分地放置于其他地方。无线通信系统204可以包括可被配置为与车辆200的外部或内部的设备进行通信的无线发送器和接收器。具体而言，无线通信系统204可以包括被配置为与其他车辆和/或计算设备进行通信的收发器，例如，在车辆通信系统或公路站中。这种车辆通信系统的例子包括专用短程通信(DSRC)、射频识别(RFID)和针对智能运输系统提议的其他通信标准。
照相机210可以安装在车辆200的前挡风玻璃内。照相机210可以被配置为捕获车辆200的环境的多个图像。具体而言，如所示出的，照相机210可以从相对于车辆200的前视视野捕获图像。照相机210的其它安装位置和视角是可能的。照相机210可以表示一个或多个可见光照相机。可替代地或另外地，照相机210可以包括红外线检测能力。照相机210可以具有可操作的以提供可调节的视界的相关联的光学器件。此外，照相机210可以被安装到具有可操作的以改变照相机210的指向角的可移动的底座的车辆200。
提供了方法300以使得自主汽车在某些预定情况下能够向远程操作员请求协助。在一些示例中，可以由分别参照图1和图2示出和描述的诸如车辆100和/或车辆200的车辆实施方法300。例如，本文描述的过程可以使用雷达单元126、激光测距仪和/或LIDAR 128、和/或安装到自主车辆中与控制系统106进行通信的照相机130、传感器融合算法138、计算机视觉系统140、导航系统142和/或障碍物规避系统144来实施。此外，方法300可以使用来自诸如图2所示的传感器单元202和/或照相机210的自主车辆(例如，车辆200)上的一个或多个传感器的传感器数据来实施。
此外，应当注意的是结合本文中所描述的流程图描述的功能可以被实现为特殊功能和/或配置的通用功能的硬件模块、由处理器(例如，计算机系统112中的处理器113)运行的部分程序代码，用于实现结合在图3或图5中所示的流程图描述的特定的逻辑功能、确定和/或步骤。当被使用时，程序代码可被存储在任何类型的计算机可读介质上(如计算机可读存储介质或非暂时性介质，如上面关于计算机系统112描述的数据存储器114和/或下面描述的计算机程序产品600)，例如，诸如包括磁盘或硬盘驱动器的存储装置。
另外，在图3中显示的流程图的每个块可以表示在过程中执行特定的逻辑功能的布线的电路。除非特别指出，否则只要所描述的方法的整体功能被保持，取决于涉及的功能，在图3中显示的流程图中的功能就可以不按照所示或所讨论的顺序来执行，包括大体上并行执行分别描述的功能，或者甚至在一些示例中反序。
如由图3的块302所显示的，方法300可首先涉及基于环境的传感器数据确定自主车辆的环境的表示。图4A示出了根据示例性实施例的自主车辆遇到的场景的顶视图。如所显示的，自主车辆402可以在包含其他车辆406、408、410的环境400中操作。自主车辆402可以在接近交通灯404的车道内操作。在该示例中，自主车辆402可能正在计划左转穿过十字路口。
图4B根据示例性实施例基于由车辆收集的传感器数据示出了图4A的环境的表示。自主车辆可接收在其中车辆以各种方式操作的环境中收集的数据。尤其是车辆可以配备有提供描述周围环境数据的一个或多个传感器系统。例如，车辆可具有各种传感器，包括相机、雷达单元、激光测距仪、麦克风、无线电单元以及其它传感器。这些传感器中的每一个可以和车辆中的处理器通信关于各个传感器接收到的信息。
在一个示例中，照相机可以被配置为捕获静止图像和/或视频。在各种实施例中，车辆可具有放置在不同方位的多个照相机。此外，在一些实施例中，照相机可能能够移动以捕获不同的方向上的图像和/或视频。照相机可以被配置为将所捕获的图像和视频存储到存储器以用于由车辆的处理系统进行后续处理。所捕获的图像和/或视频可以形成从环境中收集的传感器数据的一部分。
在另一个示例中，雷达单元可以被配置为发送将由车辆附近的各种对象反射的电磁信号。雷达装置可以能够捕获反射的电磁信号。所捕获的反射的电磁信号可以使得雷达系统(或处理系统)做出关于反射电磁信号的对象的各种确定。例如，可以确定各种反射对象的距离和位置。在各种实施例中，车辆可具有不同的方位上的多于一个雷达装置。雷达系统可被配置为将捕获到的信息存储在存储器中以供车辆的处理系统进行后续处理。由雷达系统捕获的信息可以形成从环境中收集的传感器数据的一部分。
在另一些实例中，激光测距系统可被配置成为发送将被车辆附近的目标对象反射的电磁信号(例如，光，如来自气体或二极管激光器或其它可能的光源)。激光测距系统可能能够捕获反射的电磁(例如，激光)信号。所捕获的反射电磁信号可以使得测距系统(或处理系统)能够确定到各种对象的范围。测距系统也可以能够确定目标对象的速率或速度并将其存储为从环境收集的数据。
此外，在其它示例中，麦克风可以被配置为捕获来自车辆周围事物的音频数据。由麦克风捕获的声音可以包括来自车辆或环境的其它方面的声音。例如，麦克风可以捕获紧急车辆的警笛声。处理系统可以能够识别所捕获的音频信号指示紧急车辆。在另一示例中，麦克风可以捕获另一车辆的排气的声音，例如来自摩托车。处理系统可能能够识别所捕获的音频信号指示摩托车。由麦克风捕获的数据可以形成从环境中收集的传感器数据的一部分。
在另外的示例中，无线单元可以被配置为发送电磁信号，其可以采取蓝牙信号、802.11信号和/或其它无线电技术信号的形式。电磁辐射信号可以经由位于无线电单元中的一个或多个天线发送。此外，电磁辐射信号可以以许多不同的无线电信号模式中的一个发送。在一些实施例中，可能希望以请求来自位于自主车辆附近的设备的响应的信号模式来发送电磁辐射信号。处理系统可能能够基于反馈给无线电单元的响应来检测附近的设备并使用该通信的信息作为从环境中收集的传感器数据的一部分。
在一些实施例中，处理系统可能能够组合某些或所有车辆的传感器信息，以便做出关于车辆的环境的进一步确定。例如，处理系统可以组合雷达信息和捕获的图像两者以确定是否有另一车辆或行人在自主车辆的前方。在其他实施例中，处理系统也可以使用传感器数据的其他组合来做出对环境的确定。
如在图4B中显示的，自主车辆402可以基于如上所述的可能类型的传感器数据的任意组合来创建其环境400的表示。在一些示例中，该表示可能不是环境的完美复制。例如，传感器中的一些可能在某些方向被挡住或一些传感器数据可能会失真。此外，某些对象可以被抽象成几何形状，诸如在图中示出的车辆406、408和410的表示。自主车辆402可以以变化的精度级别识别对象或环境的其它方面。
车辆402可在其中车辆可以具有很少或没有人类输入的使用计算机系统来控制车辆的操作的自主模式下运行。例如，操作人员可以输入地址到自主车辆，然后车辆可能能够在没有来自人类的进一步输入(例如，人不必操纵或触摸制动/油门踏板)的情况下驱动到达指定的目的地。
当车辆自主地操作时，如相对块302所讨论的，传感器系统可接收表示车辆的环境的数据。车辆的处理系统可以基于从各种传感器接收到的数据来改变车辆的控制。在一些示例中，自主车辆可以响应于来自各种传感器的数据改变自主车辆的速度。例如，自主车辆可以改变速度以避开障碍物、遵守交通法规等。当车辆中的处理系统识别到障碍或自主车辆遇到的其他情况时，车辆可能能够自主地确定如何进行(例如，通过改变速度、改变轨迹以避免障碍物等)。
块304包括从一组预定情况中识别一种自主汽车将请求远程协助的情况。自主汽车可能周期性地遇到那些远程协助将是有用的情况。出于说明的目的，下面的示例描述了对远程指导人员的远程协助请求，但应该一般地理解到，也可以向车辆的乘客或也可以或替代地向远程计算系统发送请求。
可以定义预定的情况组，车辆可能为其请求远程输入。在示例中，该组预定的情况可能包括自主车辆可自主确定它是在场景中，向操作人员询问有用的问题，并解释来自操作人员的响应以继续进行自主操作的场景。在一些示例中，该组可以取决于车辆的类型或版本、车辆的地理位置、当前的时间或天气条件等变化。车辆上的控制系统可以基于如上所述收集的有关环境的传感器数据识别出车辆是在预定情况中的一个之中。
图4A-图4F共同描述可被包括在一组预定的场景中的场景，未受保护的左转。未受保护的左转可以被定义为在车辆正在接近或停在稳定的绿灯(但没有绿色箭头)等待在十字路口进行左转，其中存在对面车道对向交通干扰转弯可能性。在这种场景下，在车辆完成转弯前，有指导人员验证没有汽车正在接近(例如，通过验证自主车辆的环境的表示是准确的)是有用的。在这种场景下，车辆可能难以以高置信度地确定它是否可以安全地完成转弯，但就像典型的人类驾驶员可以做到的，观看来自自主车辆视频输入的指导人员能够很容易地进行确定。
例如，参考图4B，自主车辆402可能正在计划在绿灯404进行左转。由于自主车辆402没有绿色箭头，所以可能需要自主车辆402向对向交通让路。在这个示例中，自主车辆402可基于传感器数据确定来自对向的汽车406停靠在路边并不会干扰左转。然而，因为轿车406拥有通行权，所以自主车辆402可以请求协助以验证它可以安全地完成左转。
在另一示例性实施例中，该组预定的情况也可包括其中自主车辆试图在有红灯的交叉路口右转的场景。例如，可以使用指导人员来验证右转不会干扰交叉交通和/或没有行人正在穿过或打算穿过交叉路口。其他涉及必须由自主车辆在交叉路口作出自主决定的场景也可以被包括在该组预定的情况中，包括其它类型的交叉路口(例如，铁路交叉路口)。在其它例子中，可能包括涉及在交叉路口交通灯故障或无法检测到交通灯的场景。
在另一些示例中，在其中自主车辆可能有必要检查车辆的占用的场景，可能向指导人员发送协助请求。例如，车辆可能需要验证在乘客下车后车辆是空的或者在搭载乘客后正确数量的人员已经上车。另一个示例场景可能涉及检查旅客都扣紧安全带或在登车后不久所有车门已经关闭。另一个示例场景可能涉及检查在下车后旅客已经随身带走他们所有的财物。在一些例子或替代中，在乘客下车或上车的情况中的其他场景也可以被包括在该组预定的情况中。
在另外的实施例中，该组预定的情况可能包括其中车辆(例如，停止或停泊的汽车)或其他障碍物(例如，自行车)正堵塞道路中的车道的情景。例如，自主车辆可请求协助以确定是否要等待堵塞疏通、左侧超车、右侧超车、掉头等等。在另一些例子中，可以包括其中必须通过移动到对向车辆的车道来超过车辆(例如，停泊的搬家汽车或并排停放的轿车)的情况。在其它的实施例中，该组预定的情况可以包括停车场内的堵塞，如部分阻塞(例如，由停止的运货卡车)、缓缓倒车出来的汽车、或购物车或其他在自主车辆的路径上或附近的移动的或静止的障碍物。
在另一些例子中，该组预定的方案可以包括其中车辆遇到临时停止标志(例如，在由车辆使用的用于导航的永久地图上不存在的停止标志)的情况。在这种情况下，可以使用协助人员确定所识别的标志是否是真正是临时停止(例如，在施工区张贴的标志或由道路工人或其他人举起的标志)、应被添加到地图上的永久停止标志、还是其他什么东西(例如，不同种类的标志或误认为是停止标志的其他物体)。在一些示例中，协助人员也可以基于对标志的识别向车辆给出如何继续进行的指令。例如，协助人员可以确认标志是停止标志(临时或永久的)并指示车辆停下来。在其它示例中，也可以包括遇到临时交通灯或不同类型的临时交通信号或标志的情况。其它示例场景可以包括遇到施工现场或施工区、遇到事故现场、检测到闪光或锥形警示标、或检测到指挥交通的人(例如，工人、警察或旁观者)。
在另一些示例中，该组场景中可以包括其中检测到特定类型的车辆的场景，如警车、救护车、消防车、校车、市政公交车、垃圾车、邮件车辆、或不同类型的特殊车辆。在其它示例中，也可以包括某些类型的可识别的环境，例如通过邻近街区行驶、进入高速公路、或在大道中行驶。在另外的示例中，该组中可以包括某些类型的音频信号，例如警笛或鸣喇叭。在另一个示例中，也可以包括有让车辆遵循的不明确的优先级的任何场景。
应当理解，上述例子并不意味着是限制性的，也不意味着它们是必需的。示例车辆可为一组包括以上场景和/或没有具体列出的其他例子的任意组合的场景请求协助。
方法300的块306包括向远程协助者发送请求协助的请求。如上面相对于块304讨论的，该请求可以包括车辆的环境的当前表示(例如，如在图4B中描绘的)，以及从该组预定的情况中所确定的情况。在一些示例中，该请求可以另外包括由车辆从其周围环境收集的传感器数据的至少一个子集。例如，来自一个或多个摄像机的直播视频流和/或静态照片可以连同协助请求一起发送。
图4C显示了从自主车辆402的视角的自主车辆402的环境400的视频流。例如，自主车辆402可配备有捕获环境400的一部分的视频流的一个或多个摄像机。该数据可以连同协助请求一起发送以供远程操作员使用。在这个例子中，视频流中所捕获的环境400的部分包括汽车406和410以及交通灯404。在一些示例中，相机可以是可移动的(并可能由远程操作员直接或间接地控制)以便捕获环境400的另外部分的视频，以便解决某些场景。
在另一些示例中，协助请求还可以另外地包括供车辆在识别的情况下采用的一个或多个建议的自主操作。例如，再次参照相对于图4描述的场景，车辆可发送包括保持位置或完成左转的选项。在一个示例中，车辆可以发送单个的建议的操作以便收到其提议的行动步骤的验证(verification)，并可以保持原来位置直到接收到响应。在其它示例中，车辆可发送一组两个或多个提议的选项以供远协助者从中选择。在一些示例中，指导人员也可能能够提供供车辆采取的不同的操作或代替。
在一些示例中，操作人员可以位于具有与车辆的通信系统无线连接的远程位置。例如，远程操作人员可以位于具有提供来自自主车辆的信息的用户界面的远程计算机终端，以供操作人员回答请求。例如，图4D显示了可以呈现给操作人员的一个示例用户界面。用户界面412可以包括独立的子窗口414和416。第一子窗口414可以包括如上面相对于图4B描述的车辆关于其环境的表示。第二子窗口416可以包括如上面相对于图4C所描述的环境的一部分的视频流。因此，操作人员可能能够将车辆对其环境的理解与视频流比较，以验证车辆关于其环境的表示和/或验证车辆计划的行动步骤。在一些示例中，车辆关于其环境的表示也可以叠加在用户界面内的视频流的顶部。例如，不是如图4C所示的作为用户界面中的独立窗口在子窗口414中显示车辆的表示并在子窗口416中显示视频流，用户界面可含有具有对齐的视频流和车辆的表示两者的单个查看窗口。叠加车辆的表示可以使得操作者更容易地理解车辆的表示中检测到的对象如何对应于视频流中的看见的对象。
在其他示例性实施例中，协助请求可被发送到位于自主车辆内的协助人员，例如在乘客座位的乘客或坐在驾驶座的人。一些需要一定量的人的直觉的操作可能难以使用自主车辆自动化。例如，确定精确的下车位置(例如，其中乘客有空间舒适地离开车辆)可以在乘客的帮助下更容易地完成。其他类型的场景也可以从车辆乘客的协助中受益。在一些示例中，一组不同的场景可能会导致请求被发送到远程指导而其中一组场景中请求被发送到车辆中的乘客。
在另外的实施例中，该请求可以被发送到比自主车辆中存在的更强大的计算机，如远程计算机服务器。更强大的计算机可以具有比自主车辆中的更强大的计算能力和/或更多的关于环境的存储数据，并因此可能能够更准确地确定如何在给定的场景中继续进行。在一些实施例中，自主车辆也可将收集的关于环境的传感器数据的子集无线地通信到远程计算设备。
在另一些实施例中，更强大的计算机可能也无法为所识别的场景确定适当行动步骤。当发生这种情况时，在一些示例系统中，系统可以求助操作人员来尝试解决该场景。另外，在一些实施例中，更强大的计算机和操作人员都可以接收协助请求。因此，更强大的计算机或操作人员(以及可能两者)可能能够为车辆确定适当的行动步骤。通过在大约相同的时间将数据发送到更强大的计算机和操作人员两者，在一个或另一个无法快速响应的情况下可能有冗余的好处。协助请求可另外含有指示在其中需要对请求响应的时间量的超时量。
方法300的块308包括从远程协助者接收指示自主操作的响应。响应可以指示自主车辆如何在所识别的场景中继续进行。在一些示例中，车辆可能已经向远程协助者发送了单个提议的操作。在这种情况下，响应可以指示车辆可以自由以所提议的操作继续进行，并且车辆可以保持位置直到接收到响应。在其它示例中，车辆可以已将两个或多个提议的操作到远程协助者，在该情况下，响应可以指示车辆应采用哪个提议的操作。远程协助者也可能能够提议供车辆采取或代替的不同的替代操作。
可以向远程协助者呈现包含能使远程协助者向自主车辆发送指示在给定的场景中车辆如何继续进行的控制菜单的用户界面。例如，如以上相对于图4D描述的，图4E显示了包含显示车辆的关于其环境表示的第一子窗口和显示车辆的环境的一部分的视频的第二子窗口的示例用户界面。图4E另外地包含使操作人员能够为车辆选择自主操作的控制菜单418。在这个示例中，指导人员已经选择继续进行420以指示自主车辆应继续左转。控制菜单418可以另外地包含指示接收传感器数据的陈旧程度的延迟条422，其可能会影响指导人员的响应。
可以以多种不同的方式接收对协助请求的响应。在协助请求被发送到不位于车辆内的远程协助者(或远程计算系统)的情况下，可以通过位于自主车辆内的通信系统无线地接收响应。在其他实施例中，诸如那些其中协助请求被发送到位于车辆内的乘客，当乘客输入自主操作到位于车辆内的计算机系统的用户界面时可以接收到响应。乘客也可以能够以其它方式来指导车辆，例如通过语音命令或通过手持移动设备。也可以使用其他模式的发送和/或接收协助请求和/或对请求的响应。
方法300的块310包括执行自主操作。当车辆接收到对协助请求的响应时，响应可指示车辆可以自由地以提议的操作继续进行或建议供车辆使用的不同的操作。基于该响应，车辆可以继续进行自主操作，其可能是转弯、启动，停止、左侧或右侧超车、改变速度和/或方向、靠边停车、倒车或任何数量的其他可能的操作。在一些示例中，在继续进行自主操作之前，车辆可以做另外的处理。例如，如果与接收到的指令相关联的延迟高到不能被信任，则车辆可以在继续之前发送另一协助请求。在另一示例中，车辆可基于最近检测到的传感器数据推翻操作员的响应(例如，做无保护的左转的轿车可能突然检测到对向的车辆，并推翻远程操作员的指令以继续进行)。
图4F显示了自主车辆402完成左转。例如，远程操作员可能已经查看到环境的视频流并验证在对面车道的车辆406已经靠边并停止，使得车辆不太可能干涉自主车辆402的左转。因此，如图所示，车辆可能已经接收到来自远程操作员的指示车辆可以安全地继续进行左转的响应。
图5是根据示例性实施例的另一方法的方框图。可以执行如图5中所显示的方法500以响应来自自主车辆的协助请求，如以上相对于方法300所描述的由车辆发送的请求。可以由远程计算系统，例如具有接收来自远程操作员的输入的用户界面的计算系统，来运行方法500。也可以由存在于自主车辆上的更强大的计算系统，诸如被配置为回答来自自主车辆的请求的计算系统，来运行方法500。方法500也可以由自主车辆的计算系统来运行，诸如当自主车辆向车辆的乘客请求协助的时候。
此外，在图5中所示的流程图的每个块可以表示在过程中执行特定的逻辑功能的布线的电路。除非特别指出，否则只要所描述的方法的整体功能得以保持，那么取决于涉及的功能，在图5中显示的流程图中的功能就可以不按显示的或讨论的顺序运行，包括大体上并行执行单独描述的功能，或者甚至在一些示例中反序。
方法500的块502包括从自主汽车接收协助请求，包括车辆的环境的表示以及从预定的情况组中所识别的情况。所述请求可以包括如上相对于方法300描述的请求的任何方面。特别是，如在图4B中所显示的，该请求可以包括从由车辆收集的传感器数据构建的环境的表示。此外，该请求可以指示从预定的情况组中识别的车辆可能请求远程协助的情况。该组可以包括任何上面相对于方法300描述的场景。
方法500的块504包括接收表示自主汽车的环境的传感器数据。传感器数据可以包括上面相对于方法300描述的任何类型的传感器的数据。特别是，如图4C中所显示的，传感器数据可以包括车辆的环境的部分的一个或多个视频流。也可以接收其它类型的传感器数据，包括静止图像、指示到附近的物体的距离/或附近的物体的位置的雷达或激光测距仪数据、或由一个或多个麦克风捕获的音频数据。
方法500的块506包括为识别的情况确定自主操作。在一些实例中，车辆可以已经连同提议的操作一起发送了协助请求。在那些示例中，确定自主操作可能涉及确定车辆是否(或何时)应执行所提议的操作。在其它示例中，车辆可以已经连同其协助请求一起发送两个或更多个不同的可能的提议操作。在那些示例中，确定自主操作可能涉及从可能的提议选项中选择。在另一些实施例中，自主操作可以单独地确定替代，或是除了从车辆接收建议的操作外。
在一些示例中，方法500可以涉及使用远程协助人员，诸如访问用户界面的指导人员，如在图4D和图4E所示的那样。可以向指导人员呈现车辆自身的环境和/或诸如实况视频反馈的附加的传感器数据的表示。也可以向指导人员呈现该提出协助请求的所识别的场景。在一些示例中，指导人员可以通过查看视频反馈验证车辆的关于其环境的表示和/或车辆的提议操作是正确的。然后，指导人员可输入自主操作到用户界面(例如，通过从可能的选项列表中选择或人工输入不同的操作)。在一些示例中，可以向指导人员呈现他们总是可以发送至车辆的预置选项的列表(例如，“立刻停止”、“快靠边停车”等等)。在其他示例中，自主车辆请求协助的一组预定场景中的每一个场景可以具有其自己的供指导人员选择的预设选项。
在另一些示例中，方法500可以涉及从自主车辆的乘客接收帮助以便为车辆确定自主操作。可以通过例如汽车内的界面接口、或通过远程设备(例如，蜂窝电话)、或者通过言语请求向乘客寻求帮助。然后乘客可以通过为车辆选择自主操作(例如，通过选择在用户界面上的选项或通过向车辆给出语音命令)来响应。
在另外的示例中，方法500可以涉及从更强大的远程计算系统接收帮助以便为车辆确定自主操作。例如，可以向远程计算系统发送包括车辆已经识别的当前场景以及传感器数据的关于车辆的信息。然后就像指导人员那样，远程计算系统可以使用该传感器数据来验证车辆的情况，并为车辆确定提议的操作。在一些示例中，协助请求也可被发送至多个源(例如，指导人员和远程计算系统)用于独立验证或者也为了冗余的好处。在这些示例中，确定自主操作可能涉及组合从多个源接收到的输入。
方法500的块508涉及向自主车辆发送响应以执行自主操作。自主操作可能是上面描述的任何一种自主操作，例如转弯、启动、停止、从左边或右边超车、改变速度和/或方向、靠边停车、倒车、或任何其他可能的操作。在方法500是由远程计算系统执行的情况中，可以无线地向自主车辆的通信系统发送响应。在其它的示例中(如当自主操作是与车辆乘客交流确定的时候)，可以通过自主车辆内的直接的硬件连接发送响应。在一些实施例中，也可以通过其它系统和/或以其他方式间接地将响应发送给自主车辆的控制系统。
在一些实施例中，所公开的方法可以实现为以机器可读的格式编码在非暂时性计算机可读存储介质上或在其他非暂时性介质或制造的物品上的计算机程序指令。图6是根据本文中所呈现的至少一些实施例中布置的示出了包括了用于在计算设备上执行计算机处理的计算机程序的示例计算机程序产品的概念的局部视图的示意图。
在一个实施例中，提供了使用信号承载介质602的示例计算机程序产品600。信号承载介质602可包括一个或多个程序指令604，其当由一个或多个处理器执行时可以提供以上相对于图1至图5描述的功能或部分功能。在一些实例中，信号承载介质602可以包括非暂时性计算机可读介质606，诸如，但不限于，硬盘驱动器、光盘(CD)、数字视频光盘(DVD)、数字磁带、存储器等。在一些实现中，信号承载介质602可以包含计算机可记录介质608，诸如，但不限于，存储器、可读/写(R/W)CD、可读/写DVD等。在一些实现中，信号承载介质602可以包括通信介质610，诸如，但不限于，数字和/或模拟通信介质(例如，光缆、波导、有线通信链路、无线通信链路等)。因此，例如，信号承载介质602可以由通信介质610的无线形式表达。
一个或多个程序指令604可以是，例如，计算机可执行的和/或逻辑实现的指令。在一些示例中，诸如图1的计算机系统112的计算设备可以被配置为响应于由计算机可读介质、计算机可记录介质608、和/或通信介质610中的一个或多个输送到计算机系统112的程序指令604以提供各种操作、功能或动作606。
非暂时性计算机可读介质也可以分布在可以彼此远离的多个数据存储器元件之间。该运行部分或全部所存储的指令的计算设备可以是车辆，如在图2中所示的车辆200。可替代地，运行部分或全部的所存储的指令的计算设备可以是另一计算设备，诸如服务器。
上面的具体实施例参照附图描述了所公开的系统、设备和方法的各种特征和功能。虽然本文已经公开了各种方面和实施例，但是其他方面和实施例将是显而易见的。本文所公开的各个方面和实施例是出于说明的目的，而不是意在限制，真正的范围由以下权利要求指示。

Claims (20)

1.一种用于远程协助的计算机实现的方法，包括：
接收来自自主车辆的对协助的请求，所述请求包括：
所述自主车辆的环境的传感器数据表示，所述传感器数据表示包括基于由所述自主车辆收集的传感器数据的表示；以及
来自所述自主车辆上的一个或多个照相机的所述环境的部分的直播视频流；
提供图形界面的显示，其中，所述图形界面包括示出所述环境的传感器数据表示的第一子窗口，以及所述图形界面还包括示出所述环境的部分的直播视频流的第二子窗口，其中，所述第一子窗口和第二子窗口同时显示在所述图形界面内，以允许对所述传感器数据表示中的检测的对象与所述直播视频流中的对应对象进行比较；
经由所述图形界面接收指示用于所述自主车辆的自主操作的输入数据；以及
向所述自主车辆发送响应，其中，所述响应包括用于所述自主车辆的自主操作的指示。
2.如权利要求1所述的方法，其中，所述传感器数据表示包括基于从所述自主车辆上的多种不同类型的传感器收集的传感器数据的表示。
3.如权利要求1所述的方法，其中，所述传感器数据表示包括与所述自主车辆的环境中的一个或多个对象对应的抽象几何形状。
4.如权利要求3所述的方法，其中，所述抽象几何形状包括三维矩形形状。
5.如权利要求1所述的方法，其中，在所述图形界面内，水平地邻近于示出所述环境的部分的直播视频流的第二子窗口显示示出所述环境的传感器数据表示的第一子窗口。
6.如权利要求1所述的方法，其中，在所述图形界面内所述传感器数据表示叠加在所述直播视频流的顶部。
7.如权利要求1所述的方法，其中，所述第一子窗口和第二子窗口是在所述图形界面内大致相同尺寸的单独的窗口。
8.如权利要求1所述的方法，还包括：
接收指示所述传感器数据何时被收集的一个或多个时间戳；
基于所述一个或多个时间戳，确定指示所述传感器数据的陈旧程度的延迟量；以及
在所述图形界面内提供所述延迟量的显示。
9.如权利要求1所述的方法，其中，向远离所述自主车辆的操作人员呈现所述图形界面。
10.一种用于远程协助的系统，包括：
显示设备；以及
控制系统，被配置为：
接收来自自主车辆的对协助的请求，所述请求包括：
所述自主车辆的环境的传感器数据表示，所述传感器数据表示包括基于由所述自主车辆收集的传感器数据的表示；以及
来自所述自主车辆上的一个或多个照相机的所述环境的部分的直播视频流；
在所述显示设备上显示图形界面，其中，所述图形界面包括示出所述环境的传感器数据表示的第一子窗口，以及所述图形界面还包括示出所述环境的部分的直播视频流的第二子窗口，其中，所述第一子窗口和第二子窗口同时显示在所述图形界面内，以允许对所述传感器数据表示中的检测的对象与所述直播视频流中的对应对象进行比较；
经由所述图形界面接收指示用于所述自主车辆的自主操作的输入数据；以及
向所述自主车辆发送响应，其中，所述响应包括用于所述自主车辆的自主操作的指示。
11.如权利要求10所述的系统，其中，所述传感器数据表示包括基于从所述自主车辆上的多种不同类型的传感器收集的传感器数据的表示。
12.如权利要求10所述的系统，其中，所述传感器数据表示包括与所述自主车辆的环境中的一个或多个对象对应的抽象几何形状。
13.如权利要求12所述的系统，其中，所述抽象几何形状包括三维矩形形状。
14.如权利要求10所述的系统，其中，所述第一子窗口和第二子窗口是在所述图形界面内大致相同尺寸的单独的窗口，以及其中，在所述图形界面内，水平地邻近于示出所述环境的部分的直播视频流的第二子窗口显示示出所述环境的传感器数据表示的第一子窗口。
15.如权利要求10所述的系统，其中，在所述图形界面内所述传感器数据表示叠加在所述直播视频流的顶部。
16.一种非暂时性计算机可读介质，其中存储有指令，当所述指令由计算系统执行时，使所述计算系统执行功能，所述功能包括：
接收来自自主车辆的对协助的请求，所述请求包括：
所述自主车辆的环境的传感器数据表示，所述传感器数据表示包括基于由所述自主车辆收集的传感器数据的表示；以及
来自所述自主车辆上的一个或多个照相机的所述环境的部分的直播视频流；
提供图形界面的显示，其中，所述图形界面包括示出所述环境的传感器数据表示的第一子窗口，以及所述图形界面还包括示出所述环境的部分的直播视频流的第二子窗口，其中，所述第一子窗口和第二子窗口同时显示在所述图形界面内，以允许对所述传感器数据表示中的检测的对象与所述直播视频流中的对应对象进行比较；
经由所述图形界面接收指示用于所述自主车辆的自主操作的输入数据；以及
向所述自主车辆发送响应，其中，所述响应包括用于所述自主车辆的自主操作的指示。
17.如权利要求16所述的非暂时性计算机可读介质，其中，所述传感器数据表示包括基于从所述自主车辆上的多种不同类型的传感器收集的传感器数据的组合表示。
18.如权利要求16所述的非暂时性计算机可读介质，其中，所述传感器数据表示包括与所述自主车辆的环境中的一个或多个对象对应的抽象几何形状。
19.如权利要求16所述的非暂时性计算机可读介质，其中，所述第一子窗口和第二子窗口是在所述图形界面内大致相同尺寸的单独的窗口，以及其中，在所述图形界面内，水平地邻近于示出所述环境的部分的直播视频流的第二子窗口显示示出所述环境的传感器数据表示的第一子窗口。
20.如权利要求16所述的非暂时性计算机可读介质，其中，在所述图形界面内，所述传感器数据表示叠加在所述直播视频流的顶部。
CN201910206868.XA 2014-03-03 2015-02-09 对在预定情况中的自主车辆的远程协助 Active CN110077410B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US14/195,682 2014-03-03
US14/195,682 US9720410B2 (en) 2014-03-03 2014-03-03 Remote assistance for autonomous vehicles in predetermined situations
CN201580020571.4A CN106232444B (zh) 2014-03-03 2015-02-09 对在预定情况中的自主车辆的远程协助
PCT/US2015/015039 WO2015134152A1 (en) 2014-03-03 2015-02-09 Remote assistance for autonomous vehicles in predetermined situations

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580020571.4A Division CN106232444B (zh) 2014-03-03 2015-02-09 对在预定情况中的自主车辆的远程协助

Publications (2)

Publication Number Publication Date
CN110077410A CN110077410A (zh) 2019-08-02
CN110077410B true CN110077410B (zh) 2022-04-05

Family

ID=54006738

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201910206892.3A Pending CN110077412A (zh) 2014-03-03 2015-02-09 对在预定情况中的自主车辆的远程协助
CN201910206870.7A Active CN110077411B (zh) 2014-03-03 2015-02-09 对在预定情况中的自主车辆的远程协助
CN201910206868.XA Active CN110077410B (zh) 2014-03-03 2015-02-09 对在预定情况中的自主车辆的远程协助
CN202210064910.0A Pending CN114407924A (zh) 2014-03-03 2015-02-09 对在预定情况中的自主车辆的远程协助
CN201580020571.4A Active CN106232444B (zh) 2014-03-03 2015-02-09 对在预定情况中的自主车辆的远程协助

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201910206892.3A Pending CN110077412A (zh) 2014-03-03 2015-02-09 对在预定情况中的自主车辆的远程协助
CN201910206870.7A Active CN110077411B (zh) 2014-03-03 2015-02-09 对在预定情况中的自主车辆的远程协助

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202210064910.0A Pending CN114407924A (zh) 2014-03-03 2015-02-09 对在预定情况中的自主车辆的远程协助
CN201580020571.4A Active CN106232444B (zh) 2014-03-03 2015-02-09 对在预定情况中的自主车辆的远程协助

Country Status (4)

Country Link
US (4) US9720410B2 (zh)
EP (3) EP3113997B1 (zh)
CN (5) CN110077412A (zh)
WO (1) WO2015134152A1 (zh)

Families Citing this family (272)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10157422B2 (en) 2007-05-10 2018-12-18 Allstate Insurance Company Road segment safety rating
US9932033B2 (en) 2007-05-10 2018-04-03 Allstate Insurance Company Route risk mitigation
US8606512B1 (en) 2007-05-10 2013-12-10 Allstate Insurance Company Route risk mitigation
US10096038B2 (en) 2007-05-10 2018-10-09 Allstate Insurance Company Road segment safety rating system
US9355423B1 (en) 2014-01-24 2016-05-31 Allstate Insurance Company Reward system related to a vehicle-to-vehicle communication system
US9390451B1 (en) 2014-01-24 2016-07-12 Allstate Insurance Company Insurance system related to a vehicle-to-vehicle communication system
US10096067B1 (en) 2014-01-24 2018-10-09 Allstate Insurance Company Reward system related to a vehicle-to-vehicle communication system
US10783587B1 (en) * 2014-02-19 2020-09-22 Allstate Insurance Company Determining a driver score based on the driver's response to autonomous features of a vehicle
US10783586B1 (en) 2014-02-19 2020-09-22 Allstate Insurance Company Determining a property of an insurance policy based on the density of vehicles
US10796369B1 (en) 2014-02-19 2020-10-06 Allstate Insurance Company Determining a property of an insurance policy based on the level of autonomy of a vehicle
US10803525B1 (en) 2014-02-19 2020-10-13 Allstate Insurance Company Determining a property of an insurance policy based on the autonomous features of a vehicle
US9940676B1 (en) 2014-02-19 2018-04-10 Allstate Insurance Company Insurance system for analysis of autonomous driving
EP2916190B1 (en) * 2014-03-04 2019-05-08 Volvo Car Corporation Apparatus and method for prediction of time available for autonomous driving, in a vehicle having autonomous driving cap
EP2915718B1 (en) 2014-03-04 2018-07-11 Volvo Car Corporation Apparatus and method for continuously establishing a boundary for autonomous driving availability and an automotive vehicle comprising such an apparatus
US9720418B2 (en) * 2014-05-27 2017-08-01 Here Global B.V. Autonomous vehicle monitoring and control
DE102014015493B4 (de) 2014-10-06 2019-04-18 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs und Kraftfahrzeug
US10629005B1 (en) * 2014-10-20 2020-04-21 Hydro-Gear Limited Partnership Interactive sensor, communications, and control system for a utility vehicle
US9586585B2 (en) * 2014-11-20 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to traffic officer presence
JP6354542B2 (ja) * 2014-11-26 2018-07-11 株式会社デンソー 車両自動運転システム
US9541409B2 (en) 2014-12-18 2017-01-10 Nissan North America, Inc. Marker aided autonomous vehicle localization
US9448559B2 (en) 2015-01-15 2016-09-20 Nissan North America, Inc. Autonomous vehicle routing and navigation using passenger docking locations
US9519290B2 (en) * 2015-01-15 2016-12-13 Nissan North America, Inc. Associating passenger docking locations with destinations
US9625906B2 (en) 2015-01-15 2017-04-18 Nissan North America, Inc. Passenger docking location selection
US9697730B2 (en) 2015-01-30 2017-07-04 Nissan North America, Inc. Spatial clustering of vehicle probe data
US9568335B2 (en) 2015-01-30 2017-02-14 Nissan North America, Inc. Associating parking areas with destinations based on automatically identified associations between vehicle operating information and non-vehicle operating information
US9778658B2 (en) 2015-03-13 2017-10-03 Nissan North America, Inc. Pattern detection using probe data
US9486921B1 (en) * 2015-03-26 2016-11-08 Google Inc. Methods and systems for distributing remote assistance to facilitate robotic object manipulation
US10345809B2 (en) * 2015-05-13 2019-07-09 Uber Technologies, Inc. Providing remote assistance to an autonomous vehicle
EP3295268B1 (en) * 2015-05-13 2020-05-06 Uber Technologies, Inc. Autonomous vehicle operated with guide assistance
US9494439B1 (en) 2015-05-13 2016-11-15 Uber Technologies, Inc. Autonomous vehicle operated with guide assistance of human driven vehicles
US9547309B2 (en) 2015-05-13 2017-01-17 Uber Technologies, Inc. Selecting vehicle type for providing transport
US20160349754A1 (en) 2015-05-29 2016-12-01 Clearpath Robotics, Inc. Method, system and apparatus for controlling self-driving vehicles
US9690290B2 (en) * 2015-06-04 2017-06-27 Toyota Motor Engineering & Manufacturing North America, Inc. Situation-based transfer of vehicle sensor data during remote operation of autonomous vehicles
US9933780B2 (en) * 2015-06-17 2018-04-03 Qualcomm Incorporated Systems and methods for remote distributed control of unmanned aircraft
US9555883B1 (en) 2015-06-25 2017-01-31 Amazon Technologies, Inc. Unmanned aerial vehicle sensor synchronization
US10454943B2 (en) 2015-08-17 2019-10-22 The Toronto-Dominion Bank Augmented and virtual reality based process oversight
US10150448B2 (en) * 2015-09-18 2018-12-11 Ford Global Technologies. Llc Autonomous vehicle unauthorized passenger or object detection
US10139828B2 (en) 2015-09-24 2018-11-27 Uber Technologies, Inc. Autonomous vehicle operated with safety augmentation
US9802661B1 (en) 2015-11-04 2017-10-31 Zoox, Inc. Quadrant configuration of robotic vehicles
US10000124B2 (en) 2015-11-04 2018-06-19 Zoox, Inc. Independent steering, power, torque control and transfer in vehicles
US9916703B2 (en) 2015-11-04 2018-03-13 Zoox, Inc. Calibration for autonomous vehicle operation
US9734455B2 (en) 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US9754490B2 (en) 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
JP7036732B2 (ja) * 2015-11-04 2022-03-15 ズークス インコーポレイテッド 自律車両のためのシミュレーションシステムおよび方法
WO2017079229A1 (en) * 2015-11-04 2017-05-11 Zoox, Inc. Simulation system and methods for autonomous vehicles
US9632502B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US10334050B2 (en) * 2015-11-04 2019-06-25 Zoox, Inc. Software application and logic to modify configuration of an autonomous vehicle
US9606539B1 (en) * 2015-11-04 2017-03-28 Zoox, Inc. Autonomous vehicle fleet service and system
US9720415B2 (en) 2015-11-04 2017-08-01 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
US9630619B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Robotic vehicle active safety systems and methods
US9804599B2 (en) 2015-11-04 2017-10-31 Zoox, Inc. Active lighting control for communicating a state of an autonomous vehicle to entities in a surrounding environment
US9878664B2 (en) 2015-11-04 2018-01-30 Zoox, Inc. Method for robotic vehicle communication with an external environment via acoustic beam forming
US9701239B2 (en) 2015-11-04 2017-07-11 Zoox, Inc. System of configuring active lighting to indicate directionality of an autonomous vehicle
US11283877B2 (en) 2015-11-04 2022-03-22 Zoox, Inc. Software application and logic to modify configuration of an autonomous vehicle
US9910441B2 (en) 2015-11-04 2018-03-06 Zoox, Inc. Adaptive autonomous vehicle planner logic
US9517767B1 (en) 2015-11-04 2016-12-13 Zoox, Inc. Internal safety systems for robotic vehicles
US10745003B2 (en) 2015-11-04 2020-08-18 Zoox, Inc. Resilient safety system for a robotic vehicle
US9507346B1 (en) 2015-11-04 2016-11-29 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US9958864B2 (en) * 2015-11-04 2018-05-01 Zoox, Inc. Coordination of dispatching and maintaining fleet of autonomous vehicles
US10496766B2 (en) * 2015-11-05 2019-12-03 Zoox, Inc. Simulation system and methods for autonomous vehicles
US10401852B2 (en) 2015-11-04 2019-09-03 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
EP4180893A1 (en) * 2015-11-04 2023-05-17 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US10248119B2 (en) 2015-11-04 2019-04-02 Zoox, Inc. Interactive autonomous vehicle command controller
WO2017079341A2 (en) 2015-11-04 2017-05-11 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US9953283B2 (en) 2015-11-20 2018-04-24 Uber Technologies, Inc. Controlling autonomous vehicles in connection with transport services
US10243604B2 (en) 2015-12-08 2019-03-26 Uber Technologies, Inc. Autonomous vehicle mesh networking configuration
US9432929B1 (en) 2015-12-08 2016-08-30 Uber Technologies, Inc. Communication configuration system for a fleet of automated vehicles
GB2556272B (en) * 2015-12-24 2021-06-30 Beijing Didi Infinity Technology & Dev Co Ltd Systems and methods for vehicle management
US10379533B2 (en) 2016-01-04 2019-08-13 GM Global Technology Operations LLC System and method for autonomous vehicle fleet routing
US10322717B2 (en) * 2016-01-04 2019-06-18 GM Global Technology Operations LLC Expert mode for vehicles
US11441916B1 (en) 2016-01-22 2022-09-13 State Farm Mutual Automobile Insurance Company Autonomous vehicle trip routing
US10493936B1 (en) 2016-01-22 2019-12-03 State Farm Mutual Automobile Insurance Company Detecting and responding to autonomous vehicle collisions
US11719545B2 (en) 2016-01-22 2023-08-08 Hyundai Motor Company Autonomous vehicle component damage and salvage assessment
US10269075B2 (en) 2016-02-02 2019-04-23 Allstate Insurance Company Subjective route risk mapping and mitigation
US10662045B2 (en) 2016-02-11 2020-05-26 Clearpath Robotics Inc. Control augmentation apparatus and method for automated guided vehicles
JP6589678B2 (ja) * 2016-02-18 2019-10-16 トヨタ自動車株式会社 遠隔操作システム
US9902311B2 (en) 2016-02-22 2018-02-27 Uber Technologies, Inc. Lighting device for a vehicle
WO2017148516A1 (en) 2016-03-03 2017-09-08 Volvo Truck Corporation A vehicle with autonomous driving capability
US10096158B2 (en) * 2016-03-24 2018-10-09 Ford Global Technologies, Llc Method and system for virtual sensor data generation with depth ground truth annotation
US9964948B2 (en) * 2016-04-20 2018-05-08 The Florida International University Board Of Trustees Remote control and concierge service for an autonomous transit vehicle fleet
US10705519B2 (en) 2016-04-25 2020-07-07 Transportation Ip Holdings, Llc Distributed vehicle system control system and method
JP6508177B2 (ja) * 2016-04-27 2019-05-08 株式会社デンソー 支援システム、携帯端末、及び車載装置
US9877470B2 (en) 2016-05-10 2018-01-30 Crinklaw Farm Services, Inc. Robotic agricultural system and method
US10149468B2 (en) 2016-05-10 2018-12-11 Crinklaw Farm Services, Inc. Robotic agricultural system and method
JP6723820B2 (ja) * 2016-05-18 2020-07-15 株式会社デンソーテン 画像生成装置、画像表示システムおよび画像表示方法
US10303166B2 (en) 2016-05-23 2019-05-28 nuTonomy Inc. Supervisory control of vehicles
JP6817337B2 (ja) 2016-05-27 2021-01-20 ユーエーティーシー， エルエルシー 自動運転車のための乗客の乗車の円滑化
US10037033B2 (en) * 2016-06-15 2018-07-31 Ford Global Technologies, Llc Vehicle exterior surface object detection
EP3258433A1 (en) * 2016-06-17 2017-12-20 Starship Technologies OÜ Method and system for delivering items
DE102016213300A1 (de) * 2016-07-20 2018-01-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtungen zum Führen eines autonom fahrenden Fahrzeugs in kritischen Situationen
US10737702B2 (en) * 2016-07-27 2020-08-11 Toyota Motor Engineering & Manufacturing North America, Inc. Visually simulating driving plans in autonomous vehicles
DE102016009763A1 (de) * 2016-08-11 2018-02-15 Trw Automotive Gmbh Steuerungssystem und Steuerungsverfahren zum Bestimmen einer Trajektorie und zum Erzeugen von zugehörigen Signalen oder Steuerbefehlen
EP3503703B8 (en) 2016-08-29 2023-10-18 Guss Automation LLC Robotic agricultural system and method
DE102016216520A1 (de) * 2016-09-01 2018-03-01 Robert Bosch Gmbh Verfahren und System zum Betrieb eines Fahrzeugs
US10133273B2 (en) * 2016-09-20 2018-11-20 2236008 Ontario Inc. Location specific assistance for autonomous vehicle control system
CA3038033A1 (en) * 2016-09-23 2018-03-29 Nissan Motor Co., Ltd. Driving assistance method and driving assistance device
CN107943015B (zh) * 2016-10-12 2022-07-15 福特环球技术公司 自主个人移动系统
JP6677817B2 (ja) * 2016-11-11 2020-04-08 本田技研工業株式会社 遠隔操作システム、交通システム、および遠隔操作方法
KR102003940B1 (ko) 2016-11-11 2019-10-01 엘지전자 주식회사 자율 주행 차량 및 그 제어방법
US10726640B2 (en) * 2016-11-15 2020-07-28 At&T Mobility Ii Llc Facilitation of smart communications hub to support driverless vehicles in 5G networks or other next generation networks
CN110192083B (zh) * 2016-11-30 2020-09-08 日产北美公司 对车辆的自主操作进行远程支持的装置和方法
MX2019006128A (es) 2016-11-30 2020-01-27 Nissan North America Inc Teleoperacion de carros autonomos para negociar situaciones problematicas.
CN110291477B (zh) 2016-12-02 2022-08-16 嘉蒂克人工智能公司 车辆控制系统及使用方法
US10481609B2 (en) * 2016-12-09 2019-11-19 Ford Global Technologies, Llc Parking-lot-navigation system and method
US9817400B1 (en) 2016-12-14 2017-11-14 Uber Technologies, Inc. Vehicle servicing system
EP3559774A4 (en) * 2016-12-22 2020-01-01 Nissan North America, Inc. REMOTE SYSTEM FOR A SELF-CONTAINED VEHICLE
DE102017200151B4 (de) 2017-01-09 2019-08-22 Ford Motor Company Betriebsverfahren für ein Kraftfahrzeug zur Beförderung einer Person, Kraftfahrzeug
CN110234538B (zh) * 2017-01-18 2022-10-28 本田技研工业株式会社 车辆控制装置
DE102017200978A1 (de) * 2017-01-23 2018-07-26 Audi Ag Verfahren zum Betreiben eines Fahrzeugs
DE112017006531T5 (de) * 2017-01-25 2019-09-26 Ford Global Technologies, Llc Ferngesteuerter virtual-reality-parkdienst
EP3577528B1 (en) 2017-02-06 2021-10-27 Telefonaktiebolaget LM Ericsson (PUBL) Enabling remote control of a vehicle
US20180224850A1 (en) * 2017-02-08 2018-08-09 Uber Technologies, Inc. Autonomous vehicle control system implementing teleassistance
US10202126B2 (en) 2017-03-07 2019-02-12 Uber Technologies, Inc. Teleassistance data encoding for self-driving vehicles
US10293818B2 (en) * 2017-03-07 2019-05-21 Uber Technologies, Inc. Teleassistance data prioritization for self-driving vehicles
US10124688B2 (en) * 2017-03-08 2018-11-13 Toyota Research Institute, Inc. Systems and methods for rendezvousing with an autonomous modular vehicle to provide energy
US10338594B2 (en) * 2017-03-13 2019-07-02 Nio Usa, Inc. Navigation of autonomous vehicles to enhance safety under one or more fault conditions
WO2018170074A1 (en) 2017-03-14 2018-09-20 Starsky Robotics, Inc. Vehicle sensor system and method of use
US10168697B2 (en) 2017-03-31 2019-01-01 At&T Intellectual Property I, L.P. Assistance for an autonomous vehicle using crowd-sourced responses
US10365654B2 (en) * 2017-03-31 2019-07-30 Uber Technologies, Inc. System for safe passenger departure from autonomous vehicle
US10423162B2 (en) 2017-05-08 2019-09-24 Nio Usa, Inc. Autonomous vehicle logic to identify permissioned parking relative to multiple classes of restricted parking
DE102017208163A1 (de) * 2017-05-15 2018-11-15 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines automatisierten Fahrzeugs
WO2018213931A1 (en) 2017-05-25 2018-11-29 Clearpath Robotics Inc. Systems and methods for process tending with a robot arm
KR102387613B1 (ko) * 2017-06-26 2022-04-15 엘지전자 주식회사 차량용 인터페이스 시스템
CN109429503B (zh) * 2017-06-30 2022-04-29 松下电器（美国）知识产权公司 车辆、车辆控制方法、车辆远程操作装置及车辆远程操作方法
US10576984B2 (en) * 2017-07-06 2020-03-03 Toyota Research Institute, Inc. Second stop position for intersection turn
US10386836B2 (en) 2017-07-07 2019-08-20 Zoox, Inc. Interactions between vehicle and teleoperations system
US10606259B2 (en) 2017-07-07 2020-03-31 Zoox, Inc. Interactions between vehicle and teleoperations system
US10564638B1 (en) * 2017-07-07 2020-02-18 Zoox, Inc. Teleoperator situational awareness
US10268191B1 (en) 2017-07-07 2019-04-23 Zoox, Inc. Predictive teleoperator situational awareness
US10922903B2 (en) * 2017-07-11 2021-02-16 Waymo Llc Methods and systems for providing remote assistance to a stopped vehicle
US10416671B2 (en) 2017-07-11 2019-09-17 Waymo Llc Methods and systems for vehicle occupancy confirmation
US10466694B1 (en) * 2017-07-11 2019-11-05 Waymo Llc Methods and systems for providing remote assistance based on a tactile event
CN111094097A (zh) * 2017-07-11 2020-05-01 伟摩有限责任公司 用于为车辆提供远程辅助的方法和系统
WO2019013929A1 (en) 2017-07-11 2019-01-17 Waymo Llc METHODS AND SYSTEMS FOR PROVIDING REMOTE ASSISTANCE TO A VEHICLE
US10761542B1 (en) 2017-07-11 2020-09-01 Waymo Llc Methods and systems for keeping remote assistance operators alert
US10369974B2 (en) 2017-07-14 2019-08-06 Nio Usa, Inc. Control and coordination of driverless fuel replenishment for autonomous vehicles
US10710633B2 (en) 2017-07-14 2020-07-14 Nio Usa, Inc. Control of complex parking maneuvers and autonomous fuel replenishment of driverless vehicles
CA3070300A1 (en) * 2017-07-28 2019-01-31 Nuro, Inc. Food and beverage delivery system on autonomous and semi-autonomous vehicle
DE102018200435B3 (de) * 2017-07-31 2018-11-15 Volkswagen Aktiengesellschaft Kraftfahrzeug und Verfahren zum Steuern eines Roboters
US10437247B2 (en) 2017-08-10 2019-10-08 Udelv Inc. Multi-stage operation of autonomous vehicles
WO2019040080A1 (en) * 2017-08-25 2019-02-28 Ford Global Technologies, Llc DETECTION OF ANOMALIES INSIDE AN AUTONOMOUS VEHICLE
WO2019041044A1 (en) 2017-08-31 2019-03-07 Clearpath Robotics Inc. APPARATUS, SYSTEMS AND METHODS FOR SEIZING AND DEPOSITING A PAYLOAD USING A SELF-PROPELLED MATERIAL TRANSPORT VEHICLE
US11422569B2 (en) 2017-08-31 2022-08-23 Clearpath Robotics Inc. Systems and methods for generating a mission for a self-driving material-transport vehicle
US10725473B2 (en) 2017-09-01 2020-07-28 Uatc, Llc Systems and methods for changing a destination of an autonomous vehicle in real-time
CN114768268A (zh) 2017-09-14 2022-07-22 环球城市电影有限责任公司 自主运输技术
CN107589745B (zh) * 2017-09-22 2021-04-16 京东方科技集团股份有限公司 驾驶方法、车载驾驶端、远程驾驶端、设备和存储介质
CN107505944B (zh) * 2017-09-27 2021-04-16 驭势科技（北京）有限公司 一种用于对车辆进行远程协助的方法与设备
US10539200B2 (en) 2017-09-27 2020-01-21 Robert Bosch Gmbh Sound-based brake wear detection for vehicle braking systems
JP6967417B2 (ja) * 2017-10-03 2021-11-17 株式会社 ミックウェア 経路生成装置、及びプログラム
US10339931B2 (en) 2017-10-04 2019-07-02 The Toronto-Dominion Bank Persona-based conversational interface personalization using social network preferences
US10460748B2 (en) 2017-10-04 2019-10-29 The Toronto-Dominion Bank Conversational interface determining lexical personality score for response generation with synonym replacement
US10613548B2 (en) * 2017-10-19 2020-04-07 Zoox, Inc. Architecture for secure vehicle control
US20210197808A1 (en) * 2017-10-20 2021-07-01 Hitachi, Ltd. Moving body control system
US11392121B2 (en) 2017-10-31 2022-07-19 Clearpath Robotics Inc. Systems and methods for operating robotic equipment in controlled zones
US10885240B2 (en) * 2017-11-02 2021-01-05 Uatc, Llc Deterministic simulation framework for autonomous vehicle testing
US10967862B2 (en) 2017-11-07 2021-04-06 Uatc, Llc Road anomaly detection for autonomous vehicle
JP7049808B2 (ja) 2017-11-08 2022-04-07 株式会社デンソー 制動制御装置
CN107633684B (zh) * 2017-11-22 2020-11-24 河南大学 一种用于无人驾驶车的特种车辆识别方法
US10732625B2 (en) * 2017-12-04 2020-08-04 GM Global Technology Operations LLC Autonomous vehicle operations with automated assistance
US20190187691A1 (en) * 2017-12-18 2019-06-20 Steeringz, Inc. Safety of autonomous vehicles by remote support request
US11377123B2 (en) 2017-12-22 2022-07-05 Nissan North America, Inc. Solution path overlay interfaces for autonomous vehicles
US11022971B2 (en) 2018-01-16 2021-06-01 Nio Usa, Inc. Event data recordation to identify and resolve anomalies associated with control of driverless vehicles
US10467581B2 (en) 2018-01-19 2019-11-05 Udelv Inc. Delivery management system
WO2019150331A1 (en) * 2018-02-04 2019-08-08 Wedrive Technology, Inc. Systems and methods for a common operator to control multiple vehicles cross-reference to related applications
JP6831344B2 (ja) * 2018-02-07 2021-02-17 株式会社Ｓｕｂａｒｕ 管制装置
US11460841B2 (en) * 2018-02-21 2022-10-04 Nissan North America, Inc. Remote operation extending an existing route to a destination
WO2019165451A1 (en) 2018-02-26 2019-08-29 Nvidia Corporation Systems and methods for computer-assisted shuttles, buses, robo-taxis, ride-sharing and on-demand vehicles with situational awareness
US11054830B2 (en) 2018-03-28 2021-07-06 Anderson Industries, Llc Fuel cell powered autonomous vehicle
CN108490949B (zh) * 2018-04-20 2022-02-15 驭势（上海）汽车科技有限公司 一种用于控制停车场内avp车辆的方法与设备
WO2019213497A1 (en) 2018-05-03 2019-11-07 Scotty Labs Virtual vehicle control system
DE102018207658B4 (de) * 2018-05-16 2019-12-19 Zf Friedrichshafen Ag Verfahren zum Verarbeiten von Sensordaten, Anordnung zur Verarbeitung von Sensordaten, Anordnung zum Verarbeiten einer Anfrage eines Ego-Fahrzeugs für ein weiteres Fahrzeug, Rechner zum Verarbeiten von Sensordaten sowie Rechner zum Verarbeiten einer Anfrage eines Ego-Fahrzeugs für ein weiteres Fahrzeug
DE102018112513A1 (de) * 2018-05-24 2019-11-28 Daimler Ag Verfahren und System zur Ableitung einer Trajektorie an einer Systemgrenze eines autonomen Fahrzeugs durch einen Teleoperator
US10901413B2 (en) * 2018-06-13 2021-01-26 City University Of Hong Kong System and method for controlling operation of an autonomous vehicle
US10793164B2 (en) 2018-06-25 2020-10-06 Allstate Insurance Company Logical configuration of vehicle control systems based on driver profiles
US10915105B1 (en) 2018-06-25 2021-02-09 Allstate Insurance Company Preemptive logical configuration of vehicle control systems
CN109141911B (zh) * 2018-06-26 2019-11-26 百度在线网络技术（北京）有限公司 无人车性能测试的控制量的获取方法和装置
US10920401B2 (en) * 2018-07-26 2021-02-16 Caterpillar Paving Products Inc. Managing work area reservations for autonomous vehicles
US11138350B2 (en) * 2018-08-09 2021-10-05 Zoox, Inc. Procedural world generation using tertiary data
WO2020031370A1 (ja) * 2018-08-10 2020-02-13 三菱電機株式会社 運転計画作成装置、遠隔運転サーバおよび運転計画作成方法
DE102018120049A1 (de) * 2018-08-17 2020-02-20 Valeo Schalter Und Sensoren Gmbh Method for recognizing driving lanes for a motor vehicle with selection of a temporary driving lane by a user on a display unit, as well as vehicle guidance system and computer program product
DE102018214023A1 (de) 2018-08-20 2020-02-20 Bayerische Motoren Werke Aktiengesellschaft Skalierbare Teleoperation Autonomer Roboter
US11214265B2 (en) 2018-08-22 2022-01-04 Phantom Auto Inc. Vehicle teleoperator ranking and selection
US10768637B2 (en) * 2018-08-30 2020-09-08 Pony Ai Inc. Prioritizing vehicle navigation
CN109389042A (zh) * 2018-09-07 2019-02-26 百度在线网络技术（北京）有限公司 协助驾驶的方法、设备、无人驾驶设备及可读存储介质
DE102018215289A1 (de) * 2018-09-07 2020-03-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Auslösen einer Anfrage für ein Bereitstellen einer Unterstützung durch einen Tele-Operator und zugehörige Vorrichtung
JP7253446B2 (ja) * 2018-10-05 2023-04-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、及び、情報処理システム
WO2020070941A1 (ja) * 2018-10-05 2020-04-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、及び、情報処理システム
JP7187242B2 (ja) * 2018-10-05 2022-12-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、及び、情報処理システム
US11829275B2 (en) 2018-10-17 2023-11-28 Toyota Research Institute, Inc. Systems and methods for automatic test generation
DK201970121A1 (en) * 2018-10-30 2020-06-04 Aptiv Technologies Limited GENERATION OF OPTIMAL TRAJECTORIES FOR NAVIGATION OF VEHICLES
US11604464B2 (en) 2018-10-30 2023-03-14 Here Global B.V. Virtual valet
CN109532847B (zh) * 2018-11-19 2020-01-24 百度在线网络技术（北京）有限公司 用于控制无人驾驶车辆的方法和装置、服务器、介质
US11803184B2 (en) 2018-12-18 2023-10-31 Motional Ad Llc Methods for generating maps using hyper-graph data structures
CN109375649B (zh) * 2018-12-19 2021-11-19 中国商用飞机有限责任公司 用于控制飞行器的方法和系统
US11112790B2 (en) 2018-12-21 2021-09-07 GM Global Technology Operations LLC Micro-authorization of remote assistance for an autonomous vehicle
DE102018251771A1 (de) * 2018-12-28 2020-07-02 Robert Bosch Gmbh Verfahren zum zumindest teilautomatisierten Führen eines Kraftfahrzeugs
CN113874803A (zh) 2018-12-28 2021-12-31 北京航迹科技有限公司 用于基于远程干预更新车辆操作的系统和方法
US11720094B2 (en) 2018-12-28 2023-08-08 Beijing Voyager Technology Co., Ltd. System and method for remote intervention of vehicles
CN109808703B (zh) * 2019-01-15 2021-07-20 北京百度网讯科技有限公司 自动驾驶汽车的远程控制方法和装置
WO2020154676A1 (en) * 2019-01-25 2020-07-30 Uatc, Llc Operator assistance for autonomous vehicles
US11526816B2 (en) 2019-02-27 2022-12-13 Uber Technologies, Inc. Context-based remote autonomous vehicle assistance
US10885725B2 (en) * 2019-03-18 2021-01-05 International Business Machines Corporation Identifying a driving mode of an autonomous vehicle
US11122062B2 (en) 2019-03-26 2021-09-14 International Business Machines Corporation Remote interference assessment and response for autonomous vehicles
US11016485B2 (en) 2019-03-28 2021-05-25 Nissan North America, Inc. Teleoperation for exception handling
US11048261B1 (en) 2019-04-05 2021-06-29 State Farm Mutual Automobile Insurance Company Systems and methods for evaluating autonomous vehicle software interactions for proposed trips
DE102019204941A1 (de) 2019-04-05 2020-10-08 Robert Bosch Gmbh System zum sicheren teleoperierten Fahren
DE102019204940A1 (de) 2019-04-05 2020-10-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum Steuern zwischen einem Fahrzeug und einer Cloud verteilter Anwendungen
DE102019204943A1 (de) 2019-04-05 2020-10-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum teleoperierten Fahren eines Fahrzeuges
US11321972B1 (en) 2019-04-05 2022-05-03 State Farm Mutual Automobile Insurance Company Systems and methods for detecting software interactions for autonomous vehicles within changing environmental conditions
DE102019204942A1 (de) * 2019-04-05 2020-10-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum Überführen eines teleoperablen Fahrzeuges von einem Ausgangsbetriebsmodus in einen Zielbetriebsmodus
WO2020206426A1 (en) * 2019-04-05 2020-10-08 Equipmentshare.Com Inc. System and method for autonomous operation of a machine
DE102019204939A1 (de) 2019-04-05 2020-10-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum Steuern eines Fahrzeuges durch einen Teleoperator
US10870433B2 (en) * 2019-04-11 2020-12-22 Ford Global Technologies, Llc Emergency route planning system
US11086996B2 (en) 2019-04-12 2021-08-10 International Business Machines Corporation Automatic idle-state scanning for malicious code
US11603110B2 (en) 2019-04-18 2023-03-14 Kyndryl, Inc. Addressing vehicle sensor abnormalities
US11608029B2 (en) 2019-04-23 2023-03-21 Volvo Car Corporation Microphone-based vehicle passenger locator and identifier
US11247695B2 (en) 2019-05-14 2022-02-15 Kyndryl, Inc. Autonomous vehicle detection
CN112026496B (zh) * 2019-06-04 2022-02-22 上海擎感智能科技有限公司 车窗显示方法、前端、后端、介质及设备
DE102019208403A1 (de) 2019-06-08 2020-12-10 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeuges
DE102019208744A1 (de) * 2019-06-17 2020-12-17 Audi Ag Zentrales Steuern einer Mehrzahl von Fahrzeugen
US11768493B2 (en) * 2019-06-28 2023-09-26 Zoox, Inc. Remote vehicle guidance
US11467573B2 (en) 2019-06-28 2022-10-11 Zoox, Inc. Vehicle control and guidance
US11153010B2 (en) * 2019-07-02 2021-10-19 Waymo Llc Lidar based communication
JP7310397B2 (ja) * 2019-07-19 2023-07-19 株式会社デンソー 自動運転運行計画装置、自動運転運行計画方法、及び自動運転運行計画プログラム
US11392122B2 (en) 2019-07-29 2022-07-19 Waymo Llc Method for performing a vehicle assist operation
NL2023628B9 (nl) * 2019-08-09 2021-08-20 Wilhelmus Maria Van Bentum Johannes Systeem voor het aansturen van een op basis van stuur- en versnellingswaarden bestuurbaar autonoom rijdend voer- of (lucht)vaartuig, autonoom rijdend voer- of (lucht)vaartuig voorzien van een dergelijk systeem.
US11048256B2 (en) 2019-08-09 2021-06-29 Waymo Llc Parking behaviors for autonomous vehicles
US11314246B2 (en) 2019-08-16 2022-04-26 Uber Technologies, Inc. Command toolbox for autonomous vehicles
JP7222332B2 (ja) * 2019-08-23 2023-02-15 トヨタ自動車株式会社 車両遠隔指示システム
DE102019213796A1 (de) * 2019-09-11 2021-03-11 Robert Bosch Gmbh Verfahren zur Unterstützung von einem zumindest teilautomatisierten Fahren einer zumindest teilautomatisierten mobilen Plattform
JP7234872B2 (ja) * 2019-09-12 2023-03-08 トヨタ自動車株式会社 車両遠隔指示システム
US11661089B2 (en) * 2019-09-13 2023-05-30 Phantom Auto Inc. Mapping of intelligent transport systems to remote support agents
US11370454B2 (en) 2019-09-26 2022-06-28 Nuro, Inc. Parallel and failover autonomy systems
US11623657B2 (en) 2019-10-16 2023-04-11 Nuro, Inc. Remote startup of autonomous vehicles
US11390300B2 (en) * 2019-10-18 2022-07-19 Uatc, Llc Method for using lateral motion to optimize trajectories for autonomous vehicles
CN110745143B (zh) * 2019-10-29 2021-08-24 广州文远知行科技有限公司 一种车辆的控制方法、装置、设备和存储介质
US11698634B2 (en) * 2019-11-18 2023-07-11 Nuro, Inc. Remote assistance system for autonomous vehicle
US10999719B1 (en) * 2019-12-03 2021-05-04 Gm Cruise Holdings Llc Peer-to-peer autonomous vehicle communication
US11353877B2 (en) * 2019-12-16 2022-06-07 Zoox, Inc. Blocked region guidance
WO2021134217A1 (zh) * 2019-12-30 2021-07-08 深圳元戎启行科技有限公司 基于远程接管的车辆控制方法、装置和计算机设备
FR3107025B1 (fr) * 2020-02-10 2022-02-18 Transdev Group Innovation Dispositif de pilotage d’un véhicule automobile, système de surveillance, système de transport, procédé de commande et programme d’ordinateur associés
SE2050260A1 (en) 2020-03-09 2021-09-10 Einride Ab Method for controlling a fleet of autonomous/remotely operated vehicles
US11830302B2 (en) 2020-03-24 2023-11-28 Uatc, Llc Computer system for utilizing ultrasonic signals to implement operations for autonomous vehicles
US20210341926A1 (en) * 2020-04-29 2021-11-04 Gm Cruise Holdings Llc Dynamic tire rotation during collision
US11710411B2 (en) * 2020-05-08 2023-07-25 The Travelers Indemnity Company Systems and methods for autonomous hazardous area data collection
EP3910937B1 (en) * 2020-05-11 2024-03-27 Voysys AB Method and system for monitoring communication between vehicle and remote terminal
DE102020003026A1 (de) 2020-05-19 2020-07-30 Daimler Ag Kraftwagenzug und Kraftwagenzug mit einem Kraftwagen
DE102020113933B4 (de) 2020-05-25 2023-01-05 Mercedes-Benz Group AG Verfahren zur Fernsteuerung eines zumindest teilweise autonom betriebenen Kraftfahrzeugs durch einen Operator, sowie Unterstützungssystem
US11595619B1 (en) 2020-06-02 2023-02-28 Aurora Operations, Inc. Autonomous vehicle teleoperations system
US11644830B1 (en) * 2020-06-02 2023-05-09 Aurora Operations, Inc. Autonomous vehicle remote teleoperations system with scenario selection
US11560154B1 (en) 2020-06-02 2023-01-24 Aurora Operations, Inc. Autonomous vehicle remote teleoperations system
US11285968B2 (en) * 2020-06-30 2022-03-29 Waymo Llc Roadside assistance for autonomous vehicles
CN111882899B (zh) * 2020-07-24 2021-10-22 北京小马慧行科技有限公司 确定交通信号灯的位置的方法及装置、系统
US11726471B2 (en) * 2020-08-27 2023-08-15 Waymo Llc Methods and systems for gradually adjusting vehicle sensor perspective using remote assistance
US11535276B2 (en) * 2020-09-08 2022-12-27 Waymo Llc Methods and systems for using remote assistance to maneuver an autonomous vehicle to a location
US11519743B2 (en) 2020-09-17 2022-12-06 International Business Machines Corporation Stalled self-driving vehicle rescue system
EP3979027A1 (en) 2020-10-01 2022-04-06 Volkswagen Ag Methods, computer programs, communication circuits for communicating in a tele-operated driving session, vehicle and remote control center for controlling a vehicle from remote
CN112003955A (zh) * 2020-10-27 2020-11-27 深圳裹动智驾科技有限公司 云端人机混合决策的方法
US11761784B2 (en) 2020-11-24 2023-09-19 Waymo Llc Reachability user experience interfaces for autonomous vehicles
US11447156B2 (en) * 2021-01-15 2022-09-20 Tusimple, Inc. Responder oversight system for an autonomous vehicle
US11953896B2 (en) 2021-02-15 2024-04-09 Argo AI, LLC System and method for a modular and continually learning remote guidance system for autonomous vehicles
JP2022148824A (ja) * 2021-03-24 2022-10-06 トヨタ自動車株式会社 遠隔支援システム及び遠隔支援方法
WO2022246331A1 (en) * 2021-05-21 2022-11-24 Urban Robotics, Inc. Remote pilot and driver assist system and methods
CN117561554A (zh) * 2021-06-28 2024-02-13 松下知识产权经营株式会社 信息输出方法、信息输出装置以及程序
JP7447882B2 (ja) * 2021-10-07 2024-03-12 トヨタ自動車株式会社 遠隔支援システム及び遠隔支援方法
US11952014B2 (en) 2021-10-29 2024-04-09 Waymo Llc Behavior predictions for active emergency vehicles
EP4187342A1 (en) 2021-11-30 2023-05-31 Hitachi, Ltd. Teleoperable vehicle and system
CN114475660A (zh) * 2022-02-28 2022-05-13 苏州挚途科技有限公司 自动驾驶车辆防碰撞的方法、装置及电子设备
US20230326091A1 (en) * 2022-04-07 2023-10-12 GM Global Technology Operations LLC Systems and methods for testing vehicle systems
US20240036571A1 (en) * 2022-07-29 2024-02-01 Zoox, Inc. Teleoperations queueing for autonomous vehicles
EP4325461A1 (en) * 2022-08-18 2024-02-21 Volvo Car Corporation Method for controlling a first vehicle, method for assisting a first vehicle in travelling along a planned trajectory, method for providing an information describing an amount of vehicles being positioned on a planned trajectory, data processing apparatuses, computer programs, vehicle and traffic control system
DE102022125794A1 (de) * 2022-10-06 2024-04-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers mit fahrzeugexternen Sensorinformationen für einen Fernsteuerer, sowie elektronisches Fernsteuerungssystem

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201508493U (zh) * 2009-03-16 2010-06-16 厦门矿通科技有限公司 矿井机车无人控制系统
CN102666262A (zh) * 2009-09-25 2012-09-12 法雷奥开关和传感器有限责任公司 用于车辆的驾驶员辅助系统，具有驾驶员辅助系统的车辆，和用于辅助驾驶员驾驶车辆的方法
CN103065500A (zh) * 2011-10-20 2013-04-24 通用汽车环球科技运作有限责任公司 公路并道辅助和控制
CN103339009A (zh) * 2010-10-05 2013-10-02 谷歌公司 对自主车辆的诊断和修理

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6089214A (ja) * 1983-10-21 1985-05-20 Toyoda Autom Loom Works Ltd 無人車の制御装置
US4887223A (en) * 1985-08-30 1989-12-12 Texas Instruments Incorporated Visual navigation system for a mobile robot having capabilities of regenerating of hidden images
US5448479A (en) * 1994-09-01 1995-09-05 Caterpillar Inc. Remote control system and method for an autonomous vehicle
US7418346B2 (en) 1997-10-22 2008-08-26 Intelligent Technologies International, Inc. Collision avoidance methods and systems
JPH09244745A (ja) 1996-03-05 1997-09-19 Cap Top Eng:Kk 無人車両制御方法および装置
JPH1145322A (ja) * 1997-03-24 1999-02-16 Yoshiaki Masuno タクシー乗客検知器
DE19916967C1 (de) 1999-04-15 2000-11-30 Daimler Chrysler Ag Verfahren zur Aktualisierung einer Verkehrswegenetzkarte und kartengestütztes Verfahren zur Fahrzeugführungsinformationserzeugung
JP3646605B2 (ja) * 2000-02-23 2005-05-11 株式会社日立製作所 車両走行制御装置
KR20020023437A (ko) * 2000-09-21 2002-03-29 연현모 화상 인식을 통한 승객 확인 시스템 및 그 방법
EP1327233A2 (en) * 2000-10-13 2003-07-16 Paxgrid Telemetric Systems Inc. Automotive telemetry protocol
KR20040063245A (ko) * 2003-01-06 2004-07-14 한명국 무인 택시 보안관제 시스템
US7421334B2 (en) * 2003-04-07 2008-09-02 Zoom Information Systems Centralized facility and intelligent on-board vehicle platform for collecting, analyzing and distributing information relating to transportation infrastructure and conditions
US6876907B2 (en) 2003-07-16 2005-04-05 Alcatel Remote restart for an on-board train controller
US20050283294A1 (en) * 2004-06-16 2005-12-22 Lehman Allen A Jr Method and apparatus for machine guidance at a work site
US7499804B2 (en) * 2004-10-22 2009-03-03 Irobot Corporation System and method for multi-modal control of an autonomous vehicle
JP4507884B2 (ja) * 2005-01-11 2010-07-21 トヨタ自動車株式会社 遠隔制御システム及び遠隔制御装置を備える車両
US7240879B1 (en) 2005-05-06 2007-07-10 United States of America as represented by the Administration of the National Aeronautics and Space Administration Method and associated apparatus for capturing, servicing and de-orbiting earth satellites using robotics
EP1924981B1 (en) * 2005-07-26 2012-09-12 MacDonald Dettwiler & Associates Inc. Traffic management system for a passageway environment
WO2007048029A2 (en) 2005-10-21 2007-04-26 Deere & Company Systems and methods for obstacle avoidance
US8577538B2 (en) * 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
US7603212B2 (en) 2006-03-30 2009-10-13 Honeywell International, Inc. Real time planning and scheduling for a team of unmanned vehicles
US8108092B2 (en) 2006-07-14 2012-01-31 Irobot Corporation Autonomous behaviors for a remote vehicle
JP4724043B2 (ja) 2006-05-17 2011-07-13 トヨタ自動車株式会社 対象物認識装置
US8947531B2 (en) 2006-06-19 2015-02-03 Oshkosh Corporation Vehicle diagnostics based on information communicated between vehicles
US8532862B2 (en) 2006-11-29 2013-09-10 Ryan A. Neff Driverless vehicle
JP5064870B2 (ja) 2007-04-17 2012-10-31 株式会社日立製作所 デジタル道路地図の生成方法及び地図生成システム
US7825824B2 (en) 2007-09-18 2010-11-02 At&T Intellectual Property I, L.P. Collaborative environmental reporting
JP2009081574A (ja) 2007-09-25 2009-04-16 Toshiba Corp 画像処理装置、方法およびプログラム
US8131432B2 (en) 2008-02-27 2012-03-06 Deere & Company Method and system for managing the turning of a vehicle
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US20100017215A1 (en) * 2008-07-16 2010-01-21 Meena Nigam Public transportation standing and sitting room notification system
US8195358B2 (en) 2008-09-11 2012-06-05 Deere & Company Multi-vehicle high integrity perception
US8229618B2 (en) * 2008-09-11 2012-07-24 Deere & Company Leader-follower fully autonomous vehicle with operator on side
US8639408B2 (en) 2008-10-15 2014-01-28 Deere & Company High integrity coordination system for multiple off-road vehicles
US8126642B2 (en) * 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
CN101380951A (zh) * 2008-10-30 2009-03-11 马抗震 一种机动、电动车辆自动驾驶识别系统
FR2940211A3 (fr) * 2008-12-22 2010-06-25 Renault Sas Vehicule dote d'un dispositif de signalement de presence ou sortie de conducteur
WO2010101749A1 (en) 2009-03-05 2010-09-10 Massachusetts Institute Of Technology Predictive semi-autonomous vehicle navigation system
US9163909B2 (en) 2009-12-11 2015-10-20 The Boeing Company Unmanned multi-purpose ground vehicle with different levels of control
JP5595030B2 (ja) * 2009-12-17 2014-09-24 三菱重工業株式会社 移動体制御システム、制御装置、制御方法、プログラム及び記録媒体
DE102010001581B4 (de) * 2010-02-04 2023-08-10 Robert Bosch Gmbh Fahrerassistenzsystem und Verfahren zur Fahrerassistenz zum automatischen Fahren
IT1398637B1 (it) 2010-02-25 2013-03-08 Rotondo Metodo e sistema per la mobilita' delle persone in un contesto urbano ed extra urbano.
WO2011110891A1 (en) * 2010-03-12 2011-09-15 Mobile Devices Ingenierie Autonomous tracking device for vehicle
US9165468B2 (en) 2010-04-12 2015-10-20 Robert Bosch Gmbh Video based intelligent vehicle control system
CN101813492B (zh) * 2010-04-19 2012-11-14 清华大学 车辆导航系统及方法
CN101823486A (zh) * 2010-04-30 2010-09-08 奇瑞汽车股份有限公司 一种自动驾驶系统
US9104202B2 (en) 2010-05-11 2015-08-11 Irobot Corporation Remote vehicle missions and systems for supporting remote vehicle missions
US20110288695A1 (en) 2010-05-18 2011-11-24 Clearpath Robotics, Inc. Control interface for unmanned vehicles
GB201009522D0 (en) 2010-06-07 2010-07-21 Capoco Design Ltd An autonomous venicle with control means for optimising the operation of the vehicle
DE102010025351A1 (de) * 2010-06-28 2011-12-29 Audi Ag Verfahren und Vorrichtung zum Unterstützen eines Fahrzeugführers
CN102316414A (zh) * 2010-07-09 2012-01-11 北汽福田汽车股份有限公司 车辆远程监控方法及系统
CN102029983A (zh) * 2010-08-06 2011-04-27 深圳市赛格导航科技股份有限公司 一种限速控制方法、系统及车载终端
US20120310465A1 (en) 2011-06-02 2012-12-06 Harman International Industries, Incorporated Vehicle nagivation system
US20130057397A1 (en) * 2011-09-01 2013-03-07 GM Global Technology Operations LLC Method of operating a vehicle safety system
US9037852B2 (en) * 2011-09-02 2015-05-19 Ivsc Ip Llc System and method for independent control of for-hire vehicles
CN202394343U (zh) * 2011-12-12 2012-08-22 浙江金刚汽车有限公司 一种用于出租车防遗忘物品的语音提示系统
CN202448860U (zh) * 2011-12-21 2012-09-26 浙江吉利汽车研究院有限公司 一种出租车行李遗忘提醒装置
US8340902B1 (en) * 2012-03-15 2012-12-25 Yan-Hong Chiang Remote vehicle management system by video radar
US20150032366A1 (en) 2012-03-16 2015-01-29 Matthew Lai Him Man Systems and methods for delivering high relevant travel related content to mobile devices
US8930081B2 (en) 2012-03-21 2015-01-06 Steering Solutions Ip Holding Corporation System for indicating an impending vehicle maneuver
US9145140B2 (en) * 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
US8521352B1 (en) * 2012-05-07 2013-08-27 Google Inc. Controlling a vehicle having inadequate map data
US8527199B1 (en) 2012-05-17 2013-09-03 Google Inc. Automatic collection of quality control statistics for maps used in autonomous driving
US8793046B2 (en) * 2012-06-01 2014-07-29 Google Inc. Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data
US20150294431A1 (en) 2012-10-22 2015-10-15 Jean-Louis Fiorucci Apparatus and methods for providing city services
CN103164751B (zh) * 2013-01-30 2016-08-03 顾泰来 一种无限定站点无固定线路公共交通运营系统及运营方法
US8996224B1 (en) * 2013-03-15 2015-03-31 Google Inc. Detecting that an autonomous vehicle is in a stuck condition
US9330136B2 (en) 2013-10-08 2016-05-03 Toyota Jidosha Kabushiki Kaisha System for proving proactive zone information
WO2015099679A1 (en) * 2013-12-23 2015-07-02 Intel Corporation In-vehicle authorization for autonomous vehicles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201508493U (zh) * 2009-03-16 2010-06-16 厦门矿通科技有限公司 矿井机车无人控制系统
CN102666262A (zh) * 2009-09-25 2012-09-12 法雷奥开关和传感器有限责任公司 用于车辆的驾驶员辅助系统，具有驾驶员辅助系统的车辆，和用于辅助驾驶员驾驶车辆的方法
CN103339009A (zh) * 2010-10-05 2013-10-02 谷歌公司 对自主车辆的诊断和修理
CN103065500A (zh) * 2011-10-20 2013-04-24 通用汽车环球科技运作有限责任公司 公路并道辅助和控制

Also Published As

Publication number Publication date
CN106232444B (zh) 2019-04-16
US11016482B2 (en) 2021-05-25
CN110077411B (zh) 2022-04-12
EP3848264A1 (en) 2021-07-14
CN110077410A (zh) 2019-08-02
CN114407924A (zh) 2022-04-29
US20150248131A1 (en) 2015-09-03
CN110077412A (zh) 2019-08-02
CN110077411A (zh) 2019-08-02
WO2015134152A1 (en) 2015-09-11
EP3848264B1 (en) 2023-07-19
EP3113997A1 (en) 2017-01-11
US20170277181A1 (en) 2017-09-28
EP3113997B1 (en) 2021-04-07
US9720410B2 (en) 2017-08-01
US11650584B2 (en) 2023-05-16
US10241508B2 (en) 2019-03-26
US20190171202A1 (en) 2019-06-06
EP3113997A4 (en) 2017-11-29
EP4234356A2 (en) 2023-08-30
US20210278837A1 (en) 2021-09-09
CN106232444A (zh) 2016-12-14
EP4234356A3 (en) 2023-10-04

Similar Documents

Publication Publication Date Title
US11650584B2 (en) Remote assistance for autonomous vehicles in predetermined situations
US11815903B2 (en) Assisted perception for autonomous vehicles
US11651691B2 (en) Reporting road event data and sharing with other vehicles
US10444754B2 (en) Remote assistance for an autonomous vehicle in low confidence situations
US20230244228A1 (en) Remote Assistance for Autonomous Vehicles in Predetermined Situations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant