通过引导协助操作的自动驾驶车辆
相关申请
本申请要求2015年5月13日提交的题为AUTONOMOUS VEHICLE OPERATED WITHGUIDE ASSISTANCE OF HUMAN DRIVEN VEHICLES的美国专利申请号14/711,506、2015年5月13日提交的题为SELECTING VEHICLE TYPE FOR PROVIDING TRANSPORT的美国专利申请号14/711,602以及2015年5月13日提交的题为PROVIDING REMOTE ASSISTANCE TO ANAUTONOMOUS VEHICLE的美国专利申请号14/711,570的优先权;上述申请的全部内容通过引证结合于此。
背景技术
自动驾驶车辆目前以实验或原型形式存在。这些车辆用传感器和计算机实现的智能取代了人类驾驶员。在现有技术下,自动驾驶车辆可以容易地在高速公路等道路上与其他车辆一起处理驾驶。然而,城市环境会给自动驾驶车辆带来挑战,部分原因是拥挤的状况可能会导致传感器信息的解读出现误差。
附图说明
图1示出了根据实施例的利用自动驾驶车辆以及操作人员的混合服务的各种示例;
图2示出了用于提供有人驾驶车辆作为自动驾驶车辆的引导助手的示例系统;
图3示出了智能地选择是提供有人驾驶车辆还是自动驾驶车辆来实现运输请求的示例运输安排系统;
图4示出了用于使用操作人员指导自动驾驶车辆处理和/或理解道路事件或状况的示例系统;
图5示出了与本文所述的示例一起使用的有人车辆接口系统;
图6示出了可以在其上实现一个或多个示例的示例计算机系统;
图7示出了可以由自动驾驶车辆执行以接收有人驾驶引导的示例方法;
图8示出了可以由服务实现以便将自动驾驶车辆与有人驾驶车辆配对以接收驾驶引导的示例方法;
图9示出了用于为了协助自动驾驶车辆而指示操作人员驾驶车辆的示例方法;
图10示出了自动驾驶车辆由有人驾驶车辆引导的混合运输服务的示例实现方式;
图11A到11C示出了用于在引导自动驾驶车辆时指示操作人员驾驶车辆的示例接口;
图12示出了智能地选择用于运输服务的车辆类型的示例方法;
图13示出了用于操作自动驾驶车辆以接收来自远程操作人员的协助的示例方法;
图14示出了用于操作远程服务以响应来自自动驾驶车辆的警报的示例方法;
图15示出了用于在检测到影响安全性置信度的事件或状况时使得操作人员能够提供提示输入以便于操作自动驾驶车辆的示例人机接口。
具体实施方式
根据一些示例,自动驾驶车辆在有人驾驶车辆的引导协助下运行。在一个方面,当确定自动驾驶车辆在其路线上不能安全行驶时,提供来自有人驾驶车辆的引导协助。例如,自动驾驶车辆可能遇到施工、公共事件或传感器没有正确检测到或车辆的车载智能系统不能理解的情况。在这类情况下,所描述的一些示例提供了自动驾驶车辆与有人驾驶车辆配对,以引导其通过自动驾驶车辆不理解的行程段。
在一些示例中,确定自动驾驶车辆的置信度,其表示自动驾驶车辆在到达目的地的计划或当前路线上安全行进的能力。当置信度被确定为低于阈值时,选择有人驾驶车辆,以引导自动驾驶车辆通过计划或当前路线的至少一部分。可以控制自动驾驶车辆,以跟踪第二车辆,同时行进通过计划或当前路线的部分。
另外,在一些示例中,有人驾驶车辆可以被选择以通过收集关于道路和路况的信息来协助自动驾驶车辆,缺少这些信息则可能妨碍自动驾驶车辆安全行进的能力。根据一个方面,有人驾驶车辆可以配备有一组传感器,其可以获得选定道路的传感器信息。来自有人驾驶车辆的传感器信息可以用于确定路段具有路况的时间,所述路况具有妨碍自动驾驶车辆安全地导航通过一个或多个路段的足够高的可能性。可以从传感器信息中确定信息,用于协助自动驾驶车辆引导通过已经确定具有路况的路段。信息可以包括例如用于导航自动驾驶车辆的指令或用于使自动驾驶车辆能够解释传感器信息的指令。
其他示例包括为用户安排运输服务的系统,其中,对用于提供运输的车辆是有人驾驶的还是自动驾驶的做出智能决定。在一个方面中,运输安排系统操作,以接收来自用户的运输请求,并且至少部分地基于与运输请求或用户信息相关联的一组标准,来为用户选择车辆类型。例如,确定是否要提供自动驾驶车辆可以至少部分地基于运输请求指定的目的地。
除了其他益处之外,本文所描述的一些示例还认识到,一般的道路(尤其是城市大道)对面临未知状况或事件的自动驾驶车辆构成挑战。在通过所描述的示例实现的益处和技术效果中,服务可以将自动驾驶车辆与有人驾驶车辆相链接,以便于自动驾驶车辆导航通过构成相对未知的或具有挑战性的状况的道路。自动驾驶车辆因此可以通过简单地跟踪另一车辆来简化其自己的操作,而不是试图导航未知的或具有挑战性的状况。
根据另一示例,系统向自动驾驶车辆提供人类协助。根据一个方面,检测到妨碍自动驾驶车辆通过当前路线进行的置信度的事件。响应于检测到事件,自动驾驶车辆将关于事件的信息传送给远程引导源。自动驾驶车辆可以接收来自远程引导源的关于如何处理事件的指令。然后自动驾驶车辆可以在操作时执行指令,以处理事件。
根据一些改型,操作人员的服务可以被实现为车辆的远程引导源。可以为操作人员的终端生成人机接口,以便显示与由车辆检测到的事件相关的信息。在一些改型中,用户接口可以显示操作人员可以从中作出选择的预定选项,然后,所选择的选项可以转换为用于自动驾驶车辆处理事件的指令。
如本文中所使用的,客户端装置、驱动器装置和/或计算装置是指对应于台式计算机、蜂窝装置或智能电话、个人数字助理(PDA)、膝上型计算机、平板装置、电视(IP电视)等的装置,这种装置可以提供网络连接和处理资源,用于通过网络与系统进行通信。驱动器装置也可以对应于定制硬件、车载装置或车载计算机等。客户端装置和/或驱动器装置也可以操作被配置为与服务安排系统通信的指定应用程序。
尽管本文描述的一些示例涉及运输服务,但是服务安排系统可以使其他按需的基于位置的服务(例如,流动餐车服务、传送服务、娱乐服务)能够设置在个人和服务提供商之间。例如,用户可以利用该系统请求按需服务,例如,传送服务(例如,食物传送、信使服务、流动餐车服务或产品运送)或娱乐服务(例如,墨西哥流浪乐队、弦乐四重奏),并且系统可以选择服务提供商,例如,驾驶员或车辆、食物提供商、乐队等,以向用户提供按需服务。
本文描述的一个或多个示例规定,由计算装置执行的方法、技术和动作是以编程方式或者作为计算机实现的方法来执行的。如本文所使用的,以编程方式意味着通过使用代码或计算机可执行指令。这些指令可以存储在计算装置的一个或多个存储器资源中。以编程方式执行的步骤可能是自动的,也可能不是自动的。
本文描述的一个或多个示例可以使用编程模块、引擎或部件来实现。编程模块、引擎或部件可以包括能够执行一个或多个规定的任务或功能的程序、子程序、一部分程序、或者软件部件或硬件部件。如本文所使用的,模块或部件可以独立于其他模块或部件而存在于硬件部件上。或者,模块或部件可以是其他模块、程序或机器的共享元件或过程。
本文描述的一些示例通常可以要求使用计算装置,包括处理和存储资源。例如,本文中描述的一个或多个示例可全部或部分地在诸如服务器、台式计算机、蜂窝或智能电话、个人数字助理(例如,PDA)、膝上型计算机、打印机、数码相框、网络设备(例如,路由器)和平板装置等计算装置上实现。存储、处理和网络资源可以全部结合本文描述的任何示例(包括执行任何方法或者实现任何系统)的建立、使用或执行来使用。
此外,本文描述的一个或多个示例可以通过使用可由一个或多个处理器执行的指令来实现。这些指令可以在计算机可读介质上携载。以下附图中示出或描述的机器提供处理资源和计算机可读介质的示例,在其上可以携带和/或执行用于实现本文描述的示例的指令。特别地,利用本发明的示例所示的大量机器包括处理器和用于保存数据和指令的各种形式的存储器。计算机可读介质的示例包括永久存储器存储装置,例如,个人计算机或服务器上的硬盘驱动器。计算机存储介质的其他示例包括诸如CD或DVD单元等便携式存储单元、闪存(例如,在智能手机、多功能装置或平板电脑上携带的)以及磁存储器。计算机、终端、网络使能装置(例如,移动装置,例如,手机)都是利用处理器、存储器和存储在计算机可读介质上的指令的机器和装置的示例。此外,示例可以以计算机程序或者能够携带这种程序的计算机可用载体介质的形式来实现。
系统描述
图1示出根据实施例的利用自动驾驶车辆以及操作人员的混合服务的各种示例。在图1的示例中,自动驾驶车辆系统(“AVS 100”)包括计算机或处理系统,其操作,以处理关于车辆的传感器信息,以便接合/联系和控制自动驾驶车辆101。另外,AVS 100可以包括其他功能,包括无线通信能力,以便发送和/或接收与例如图1的远程服务50所提供的一个或多个远程源的无线通信。在控制自动驾驶车辆101时,AVS 100可以发出以编程方式控制车辆的各种机电接口的指令和数据,以便控制诸如推进、制动、转向和协助动作等车辆运动的方面(例如,打开灯)。
在图1的示例中,AVS 100与多个可能的远程服务50中的任何一个进行通信,以便提供将自动驾驶车辆101的使用或操作与人工受控资源相结合的混合服务或功能。自动驾驶车辆101的最终混合服务或功能通常识别自动驾驶车辆的许多缺点,特别是当在运输服务的情况下使用这种车辆时。
具体地,所描述的一些实施例预期由其当前形式所开发制造的自动驾驶车辆是对于日常城市使用而言相对不舒服的人员运输车辆(与有人驾驶车辆相比)。具体地,一些实施例认识到,自动驾驶车辆倾向于或需要经常停下或减速,以便处理其周围环境并识别物体、事件或状况。这种车辆的制动和变速动作给乘客带来不舒服的体验。
而且,城市驾驶环境对自动驾驶车辆构成重大挑战。在城市环境中,道路建设、公共事件、道路障碍物和突发事件等事件不断要求驾驶员关注和认识驾驶环境。本文提供的示例认识到,自动驾驶车辆在城市环境中的有效性可能受到自动驾驶车辆在识别和理解如何处理拥挤环境的众多日常事件中的局限性的限制。
在图1的示例中,远程服务50可以包括通过一个或多个网络(例如,蜂窝/因特网网络)可供自动驾驶车辆101访问的服务。当这种车辆与运输服务一起使用时,远程服务50利用人力资源来解决自动驾驶车辆的缺陷,如本文所述的实施例所认识到的。在图1的示例中,远程服务50包括运输安排服务10、有人车辆引导协助服务20和远程操作人员协助服务30。运输安排服务10、有人车辆引导协助服务20、远程操作人员协助服务30或其他网络服务均可以包括或者以其他方式使用相应的操作人员接口90。如各种示例所描述的,每个远程服务50的操作人员接口90可以访问和利用人力资源池92,以便混合自动驾驶车辆101提供的服务。除其他功能之外,操作人员接口90可以协调和以其他方式利用人力资源,以便促进自动驾驶车辆101的操作和使用。
根据一些示例,自动驾驶车辆101包括AVS 100以及用于使得AVS能够感知其周围和环境的大量传感器。自动驾驶车辆101的传感器与AVS 100通信,以提供对自动驾驶车辆101周围的空间和环境的计算机化感知。同样地,AVS 100可以在自动驾驶车辆101内操作,以接收来自大量传感器的传感器数据,并控制用于在道路上操作车辆的各种机电接口。
根据一个方面,AVS 100包括一个或多个传感器接口部件105、传感器分析部件110、车辆接口(或控制)子系统130和控制器144。传感器分析部件110包括事件确定逻辑120,用于检测自动驾驶车辆101在其上行驶的道路上的事件和状况。
多个传感器102、104、106、108操作,以共同获得车辆的完整传感器观察,并进一步获得车辆附近的以及车辆行驶的路径附近或前方的信息。通过示例,多个传感器102、104、106、108包括多组相机传感器102(视频相机、立体相机对或深度感知相机、远程相机)、远程检测传感器(例如,由雷达或激光雷达104提供)、接近或触摸传感器106和/或声纳传感器108。另外,自动驾驶车辆101还可以包括位置检测资源107,用于(周期性地)确定自动驾驶车辆101的当前位置。通过示例,设置有自动驾驶车辆101的位置检测机构107可以包括无线收发器和/或无线信号处理、全球定位系统(GPS)资源或其他卫星位置接收器。在一些改型中,传感器接口105可以包括逻辑,用于实现信号或传感器处理,以例如通过视觉测距、地标识别和/或传感器运动处理和映射来确定位置信息。
传感器接口105从各种传感器102、104、106、108接收原始传感器数据99。原始传感器数据99可以共同表示来自AVS 100提供的各种传感器的输出信号或通信。传感器接口105可以处理原始传感器数据99,以便生成传感器配置集合95。传感器配置集合95可以经受传感器分析部件110的一个或多个处理。传感器分析部件110的处理操作,以生成传感器数据111,其可以作为例如AVS 100的其他部件的参数或指令输入来处理。传感器数据111可以由控制器144接收,以便控制自动驾驶车辆101的各种车辆接口。
更详细地,车辆接口子系统130可以包括或控制多个车辆接口,包括推进接口132、转向接口134、制动接口136和照明/协助接口138、和/或用于车辆操作的其他接口。控制器144可以一次向多个车辆接口提供车辆控制信号149,以便在自动驾驶车辆101沿着路线的同时控制推进、转向、制动和其他车辆动作。因此,当自动驾驶车辆101可以沿着路线时,控制器144可以响应于接收到传感器数据111而连续地调节和改变车辆的移动。在没有影响车辆在路线上安全行进中的置信度的事件或状况的情况下,控制器144可以处理传感器数据111,以便为车辆接口子系统130的不同接口产生各种车辆控制信号149。
自动驾驶车辆101可以与也利用或合并人力资源的各种远程服务50一起使用。通过示例,自动驾驶车辆101可以用作提供运输服务的车队的一部分。在这种情况下,远程服务50可以包括运输安排服务10,其安排由用户或客户进行的运输请求的运输。当自动驾驶车辆101作为运输提供商操作时,运输安排服务10可以从自动驾驶车辆101接收位置信息133(例如,由GPS接收器检测到),并且进一步将路线信息141传送给AVS 100。可以经由服务接口140由AVS 100接收路线信息141。控制器144可以处理路线信息141,以便根据由路线信息指定的路线来使车辆接口系统130转向或以其他方式移动。这样,自动驾驶车辆101可以在行程中行进,以实现通过运输安排服务10进行的运输请求。例如,自动驾驶车辆101可以在例如从上车或服务位置到下车或其他服务位置的行程中行进,使用从运输安排服务10提供的路线信息141。运输安排服务10的更详细的示例由图1的示例提供。
事件确定逻辑120可以操作,以检测在车辆的理解方面具有降低的置信度的事件或状况。在一个实现方式中,事件确定逻辑120可以为从传感器数据111检测到的单独事件或状况生成置信度分数或值。置信度分数或值可以与AVS 100能够如何安全地处理事件或状况的指示相关。例如,如果事件对应于降雨的发生或道路上的大坑洼的出现,则由事件确定逻辑120确定的置信度分数可以相对较高,这意味着AVS100对于事件或状况是什么以及如何应对该事件(例如,忽略事件,如果可能的话,更换车道等)具有自信的理解。事件确定逻辑120可以确定事件或状况导致低于阈值的置信度值的时间。可以通过实现或设计来选择阈值,以表示对于事件或状况的AVS 100的理解和/或应该由自动驾驶车辆101进行的动作对于信赖来说太低的点。
事件确定逻辑120可以响应于不充分理解确定事件或状况(包括车辆应该如何对事件或状况作出响应)而生成事件请求121。另外,如果事件确定逻辑120确定针对事件或状况的计划的或可能的动作具有相对低的置信度分数,则事件确定逻辑120可以生成事件请求121。例如,自动驾驶车辆可能为了安全而计划向左转弯,但是传感器数据111可能在开放空间中看到松散的灰尘,导致关于计划的或可能的机动是否安全的不确定性。
AVS 100可将事件请求121传送给一个或多个远程服务50,例如,(i)有人车辆协助服务20或(ii)远程操作人员协助服务30。有人车辆协助服务20或远程操作人员协助服务30可以从人力资源池92提供不同形式的人类协助,以便于自动驾驶车辆101理解事件或状况。
根据一个实现方式,事件请求121可以提供给有人车辆协助服务20,该服务又可以触发操作人员接口90来选择有人驾驶车辆。操作人员接口90例如可以对应于利用有人驾驶车辆的运输服务的调度系统。示例认识到,有人驾驶的车辆由于许多原因是有利的,包括因为作为运输提供商,这种车辆的路线、当前和/或未来位置是已知的。例如,操作人员接口90可以操作,作为将有人驾驶车辆派送到服务位置的运输服务的一部分,以便搭乘乘客和包裹并且运输乘客或送包裹者到下车或服务位置。因此,有人驾驶车辆的路线在给定的时刻可以是已知的。
如图2的示例所述,有人车辆引导协助服务20可以利用操作人员接口90来识别正在积极行程上驾驶车辆以便履行运输请求的操作人员以及可用于现场运输请求的操作人员。如图2的示例所述,当例如事件确定逻辑120确定在如何安全地处理事件或状况方面具有相对低的置信度(例如,置信度值低于可接受的阈值)时,有人车辆引导协助服务20可以将有人驾驶车辆与自动驾驶车辆101配对。当配对时,自动驾驶车辆101可以接收路线信息141和/或指令151,用于(i)遇到用作引导的有人驾驶车辆,并且(ii)通过对自动驾驶车辆101有问题的路段跟踪有人驾驶车辆。路线信息141和/或指令151可由控制器144实现,作为路线控制输入147和/或车辆控制输入149。例如,车辆接口子系统130可产生路线控制输入147和/或车辆控制输入149,以推进、转向和制动车辆(例如,遇到有人驾驶车辆并跟随有人驾驶车辆)。以这种方式,AVS 100可以通过生成用于车辆接口子系统130的相应的控制信号来接收路线信息141和/或指令151并且作用在其上,以使得自动驾驶车辆101跟踪被有人车辆引导协助服务20选择为引导的有人驾驶车辆。
作为补充或替代,有人车辆引导协助服务20可以从自动驾驶车辆101将要采取的运输安排服务10接收路线信息。基于关于路线的特定部分的难度的信息,有人车辆引导协助服务20可以将有人驾驶车辆与自动驾驶车辆101配对。使用从车辆接收到的位置数据,有人车辆协助服务20可以确定哪个有人驾驶车辆将沿着路线的相同困难部分行驶,使得有人驾驶车辆可以用作自动驾驶车辆101的引导车辆,并且向自动驾驶车辆提供路线信息141和/或指令151。
在改型中,事件请求121可以传送到远程操作人员协助服务30。远程操作人员协助服务30与一个或多个远程操作人员通信,远程操作人员通过为自动驾驶车辆提供用于处理被视为安全问题的事件或状况(例如,事件确定逻辑120确定低于阈值的安全置信度值或分数的那些事件)的实时指令,来促进对自动驾驶车辆101的远程引导。作为替代或者补充,远程引导可以向自动驾驶车辆101提供实时指令,以便于自动驾驶车辆101执行最佳或者适当的动作,例如,(i)识别放下乘客的位置,(ii)在最佳到达时间(或安全或舒适等)占用的行驶车道,或(iii)自动驾驶车辆未知结果的动作,例如,一旦车辆靠近,则向前行驶到将自动滑动打开的电子门。
在所描述的示例中,可以提供远程操作人员协助服务30,用于需要从远程操作人员立即输入的事件或状况。如图4的示例所述,远程操作人员可以提供由AVS 100接收的输入,作为指令。可以接收由远程操作人员提供的输入,作为路线信息141或指令151。控制器144可以使用输入来控制车辆接口子系统130及其各种接口,以便以最小的中断处理事件或状况。
如图4的示例所述,示例认识到,自动驾驶车辆对于乘客来说可能是不舒服的运输方式,因为所述车辆比有人驾驶车辆减速并停止得多。自动驾驶车辆通常利用几秒的时间来处理和理解路况或事件。根据示例,远程操作人员协助服务30的实现方式和使用提供了一种解决方案,用于在遇到相对已知的事件或状况时解决自动驾驶车辆谨慎操作并且使得乘客对于制动动作和缓慢进行不舒服的固有特性。相反,远程操作人员协助服务30通过减轻当遇到事件或状况时自动驾驶车辆需要制动、减速或停止而促进自动驾驶车辆101在行程中行进。
有人车辆引导协助系统
图2示出了用于提供有人驾驶车辆作为自动驾驶车辆的引导助手的示例系统。有人车辆引导协助系统200可以实现相应的服务,例如,图1的HV引导协助服务20所描述的。在图2的示例中,有人车辆引导协助系统200包括自动驾驶车辆接口(“AV接口204”)、事件分析208、路线分析部件210、有人车辆选择部件(“HV选择部件220”)、有人车辆指令确定部件(“HV选择指令确定部件230”)、有人车辆接口(“HV接口240”)和有人车辆跟踪器(“HV跟踪器244”)。AV接口204与自动驾驶车辆101的AVS 100进行通信,如图1的示例所述。AV接口204接收事件请求121,指示AVS 100已经检测到AVS 100不知道(充分置信地)如何处理的事件或状况。事件请求121可以提供有包括从AVS 100获得的不同类型的数据的自动驾驶车辆数据(“AV数据201”)。具体地,AV数据201可以包括自动驾驶车辆101的当前位置(“AV CL203”)、自动驾驶车辆(“AV Doff 205”)的计划出发或服务位置(例如,停靠点)、自动驾驶车辆101的计划路线(“路线信息207”)以及各种传感器信息(统称为“传感器信息209”)。地图服务199可以与系统200的各种部件集成或以其他方式提供。例如,地图服务199可以与事件分析部件208、路线分析部件210、HV选择部件220、HV指令确定部件230、和/或HV跟踪器244集成或提供。
事件分析部件208可以操作,以发展对触发事件请求121的事件或状况的理解。例如,事件分析208可以在自动驾驶车辆101的位置信息的背景处理传感器信息209。事件分析208可以在地图服务199上参考自动驾驶车辆101的位置信息,以便确定事件请求121的背景。在一些示例中,区域特定信息源217可以记录关于区域的基于位置的信息,并且传感器信息209和自动驾驶车辆101的位置信息(例如,由AV CL 203提供的)的组合可以关联到关于事件的上下文信息(“上下文或事件信息215”)中。通过示例,上下文信息215可以包括标签或描述符、或者参数的数字等同物或相关性,其指示以下中的一个或多个:道路建设、行人交通、紧急情况、特别交通等。
路线分析部件210可以操作,以确定自动驾驶车辆101应该走到哪里,直到有人驾驶引导被定位并且提供给自动驾驶车辆101。例如,路线分析部件210可以确定自动驾驶车辆101应当保持在当前位置(AV CL 203)中,或者可替换地,定位第一可用街道停车位或者自动驾驶车辆101可以等待有人驾驶引导车辆到达的其他空间。然而,示例认识到,在城市环境中,特别是在可能产生事件请求121的情况下,自动驾驶车辆101依然在途中或在当前位置处等待援助的可能性并不总是可行或实际的。路线分析部件210可以包括路线(或协助)偏差部件212,其确定自动驾驶车辆101可以安全地等待,然后跟随或跟踪有人驾驶引导车辆的交汇地点或交汇位置(“ML 213”)。路线偏差部件212可以包括逻辑,该逻辑查询地图服务199,用于获取与自动驾驶车辆的当前位置(AV CL 203)接近的停车信息。路线分析部件210可以确定从AV CL 203到交汇位置213的路线。
在一些改型中,路线分析部件210和/或路线偏离部件212还可以利用上下文信息215,以确定合适的或最佳的交汇位置213。例如,上下文信息215可以指示自动驾驶车辆101的当前位置是否可以是交汇位置213。或者,上下文信息215可以确定自动驾驶车辆101的行进距离或方向,以便到达交汇位置。例如,上下文信息215可以指示存在影响1平方英里的可用停车的行人人群事件(例如,球赛透露)。
路线分析部件210可将交汇位置213传送给有人车辆选择部件220。有人车辆选择部件220可操作,以选择有人驾驶车辆作为自动驾驶车辆101的引导。有人车辆选择部件220选择有人驾驶车辆来指导自动驾驶车辆101的过程可以根据实现方式和设计而变化。有人车辆选择部件220可以查询一个或多个数据存储器,包括关于也可以用作自动驾驶车辆101的引导的由人驾驶的潜在车辆的信息。特别地,有人车辆选择部件220可以查询主动行程数据存储器232,该存储器在主动运输路线上记录有人驾驶车辆,以履行运输要求。相应地,主动行程数据存储器232可以包括潜在的有人驾驶车辆的当前位置以及这些车辆正在使用的路线(例如,当前行驶或计划行驶的路线)。作为补充或替代,有人车辆选择部件220还可以访问开放式有人驾驶员数据存储器234,该开放式有人驾驶员数据存储器234标识由由人驾驶的可用于新的运输请求但在当前时刻既不在主动行程中也不在履行运输要求的过程中的车辆。作为替代或改型,HV选择部件220可以查询交通工具库236,该交通工具库可以识别已知或估计当前位置的并且当前路线是已知的车辆。作为示例,交通工具库236可以识别市政巴士。
HV选择部件220可以产生HV准则227,用于针对主动行程数据存储器232、开放式有人驾驶员数据存储器234或交通工具库236中的一个或多个作出选择。HV标准227可以包括可以用来选择有人驾驶车辆以引导自动驾驶车辆101的数据。
HV标准227可以主要地或部分地基于交汇位置213。因此,例如,可以指示自动驾驶车辆101行驶到交汇位置213,可以基于邻近自动驾驶车辆101的当前位置,选择该交汇位置213。然后,交汇位置213可形成识别有人驾驶车辆以引导自动驾驶车辆101的基础。在改型中,HV标准227包括或代替自动驾驶车辆101的当前位置和/或诸如自动驾驶车辆101需要协助穿过的路线段等其他因素。
HV选择部件220可以接收对应于满足HV标准227的有人驾驶车辆(例如,在交汇位置213的足够距离内的有人驾驶车辆)的一组候选有人驾驶车辆231(“(有人驾驶车辆的)候选集合231”)。有人驾驶车辆的候选集合231可以表示初步结果集合,从中进行最终选择。候选组231的每个车辆可以与有人车辆当前位置233、有人车辆下车位置235或有人驾驶车辆路线237中的一个或多个相关联。
在一个方面,HV选择部件220包括有人车辆交通工具路线偏差确定部件222(也称为“HV RDD部件222”)、时间计算逻辑224和选择规则226。对于由有人驾驶车辆的候选集合231识别的每个车辆,路线偏离确定部件222从(i)有人车辆当前位置233(例如,在具有有效票价的行程正在进行时重新路由车辆)、(ii)有人驾驶车辆下车位置235(例如,在有效票价完成时,将有人驾驶车辆路由到交汇位置213)、和/或(iii)有人驾驶车辆路线237(例如,在具有有效票价的行程正在进行时重新路由车辆)中确定到达交汇位置213的一个或多个路线。时间计算逻辑224可基于该车辆的所确定的路线来计算候选集合231的每个有人驾驶车辆的估计到达时间(“ETA”)。当车辆在主动行程中时,时间计算逻辑224可以计算候选集合231的每个车辆的ETA,以(i)到达自动驾驶车辆101等待的交汇位置213和/或(ii)到达该车辆的计划的有人驾驶车辆下车位置235。在后一种情况下,时间计算逻辑224可以确定在选择车辆来引导自动驾驶车辆101的情况下向主动行程的行程添加多少时间。在一些改型中,时间计算逻辑224还可以计算有人驾驶车辆231的候选集合的所选择的车辆从交汇位置213引导自动驾驶车辆101通过存在事件或状况的路段的时间。
选择规则226可以实现基于规则的判定逻辑,用于选择一个候选有人驾驶车辆231作为自动驾驶车辆101的引导车辆。通过示例,规则可以基于标准或权重,从有人驾驶车辆231的候选集合中选择驾驶员,所述标准或权重包括(i)使所选有人驾驶车辆到达交汇位置213的时间或距离最小化,(ii)当在主动行程中时,使所选有人驾驶车辆偏离到交汇位置213,然后引导自动驾驶车辆101并减少有效票价所需的额外时间最小化,(iii)使有人驾驶车辆为了到达交汇位置213,并引导自动驾驶车辆通过关注的路段而需要的绝对时间最小化,和/或(iv)从使选择的车辆完成引导自动驾驶车辆101通过路段并且到达下一个服务目的地(例如,为作为指导操作的有人驾驶车辆选择的运输请求的上车位置)时的时间的最小化。选择规则226还可以实现其他类型的选择规则,例如,基于车辆类型、简档信息或关于特定驾驶员的历史信息,一个有人驾驶车辆优于另一的规则(例如,让驾驶员轮流协助自动驾驶车辆,或选择具有引导自动驾驶车辆经验的同一驾驶员)。
作为补充或替代,选择规则226可以基于确定候选集合231的车辆所驻留的资源的类型来选择或加权选择有人驾驶车辆。在一个方面,因为车辆包括用于捕捉关于自动驾驶车辆101所关心的路段的传感器信息的集成传感器装置,所以加权选择有人驾驶车辆,作为引导。例如,所选有人驾驶车辆可以包括具有相机组的机械扩展,以获取路段的图像数据,以使远程服务可以处理并理解其他自动驾驶车辆的信息。
HV选择部件220使用诸如与有人车辆辆路线偏差确定部件222、时间计算逻辑224和选择规则226一起描述的功能和逻辑来从候选集合231中选择有人驾驶车辆。当HV选择部件220选择来自候选集合231的有人车辆时,所选择的有人驾驶车辆的标识符(“HV标识符255”)可以通过AV接口204传送到自动驾驶车辆101。HV指令确定部件230还可以生成HV标识符255的一组指令257。HV指令确定部件230可以利用例如与有人车辆当前位置233交叉参考的地图服务199,以便确定所选择的车辆行进以到达交汇位置213的路线(“ML路线265”)、有人驾驶车辆应当在交汇位置213处等待自动驾驶车辆101到达(如果有人驾驶车辆首先到达交汇位置)的大致或最大时间(“等待时间267”或“TWait 267”)、以及通知所选车辆的驾驶员自动驾驶车辆101正在/即将跟随有人驾驶车辆的一个或多个通知(“通知269”)。指令集257可以传送到选择的车辆的有人驾驶车辆系统500(例如,参见图5),用于向有人驾驶员提供信息,并且提示或以其他方式指导有人驾驶员执行与操作车辆以引导自动驾驶车辆101一致的手动动作。
在一些改型中,随着引导车辆朝向自动驾驶车辆101(或交汇位置213)行进,HV跟踪器244获得引导车辆的位置(“HV位置245”)。HV跟踪器244可以使用HV位置245(从有人驾驶员车辆系统500的位置检测机构560接收到),以向自动驾驶车辆101提供关于所选择的引导车辆的到达的更新的位置信息。作为补充或改型,引导车辆到达交汇位置(“HV ML ETA247”)的估计时间也可以经由AV接口204传送到自动驾驶车辆101。另外,在一些改型中,当引导车辆即将到达交汇位置213时,HV跟踪器244可以向自动驾驶车辆101发送警报。自动驾驶车辆101还可以将其自己的位置(“AV位置259”)直接或间接地传送到引导车辆。
一旦自动驾驶车辆101和选择的引导车辆交汇,自动驾驶车辆101就可以通过所关注的路段跟踪引导车辆。在一些改型中,有人驾驶车辆可以包括能够使自动驾驶车辆101识别有人驾驶车辆的传感器可感知标记,然后通过所选择的道路跟随或跟踪所选择的引导车辆。例如,自动驾驶车辆101可以包括在引导车辆的可视标记上进行训练的相机。另外,相机或其他传感器可以基于车辆固有的标记(例如,引导车辆的牌照)或车辆的其他固有可感知的视觉特性来跟随引导车辆。在一些改型中,网络服务(例如,“HV引导协助服务20”)跟踪引导车辆,并进一步将引导车辆的位置传送给自动驾驶车辆101,以便于和/或使得引导车辆能够通过关注的路段跟踪。
此外,有人驾驶车辆可以包括位置传感器和装置,以确定其在道路上的自身位置,包括识别车辆正在行驶在道路的哪个车道或侧边上的位置信息。位置信息可以传送到自动驾驶车辆101,然后自动驾驶车辆101寻找并跟随或跟踪有人驾驶车辆。从有人驾驶车辆到自动驾驶车辆101的位置信息的传送可以是直接的或者通过远程服务的。此外,在一些改型中,有人驾驶车辆可以包括用于在到达交汇位置213时搜索自动驾驶车辆101的部件。以这种方式,所选有人驾驶车辆到达交汇位置213可以遵循以下协议或握手,其中,两个车辆在自动驾驶车辆101锁定和遵循之前交换标识符和位置信息。
在一些实现方式中,自动驾驶车辆101锁定到有人驾驶车辆的过程是自动的,并且要求有人驾驶车辆简单地行驶到和/或通过交汇位置213。在改型中,自动驾驶车辆101锁定的位置可以包括手动输入或动作。例如,有人驾驶车辆的驾驶员可能需要开到路边或者直接驾驶将自动驾驶车辆101,或者操作有人车辆接口系统500来发送促进自动驾驶车辆101锁定的通信或识别信号。
具有AV选择的运输安排系统
图3示出了示例性运输安排系统300,其智能地选择是提供有人驾驶车辆还是自动驾驶车辆来履行运输请求。有人车辆引导协助系统200可以实现相应的服务,例如,图1的运输安排服务10所描述的。在图3中,运输安排系统300包括用于自动驾驶车辆(“AV路线340”)和用于有人驾驶车辆(“HV路线342”)的偏好确定部件310、AV/HV判定逻辑320、路线比较引擎330和预测路线部件。系统300还可以包括客户接口302,客户接口302可以作为用于客户请求运输服务的接口来操作。
除了其他益处和技术影响之外,图3的实施例认识到自动驾驶车辆不能总是能够到达期望的位置或采取最有效的路线,因为这些车辆能够理解环境和设置的能力受到限制。例如,如果上车位置处于门禁社区,则系统300可以识别出驾驶员可以协商所需的步骤以到达客户大门,而自动驾驶车辆可能需要在门口与客户见面。同样,如其他示例(见图2)所述,城市设置在影响自动驾驶车辆理解和导航的能力的障碍和状况方面是动态的,并且这种事件可以是到小时或者天的时间。系统300认识到,当利用例如按需运输服务来实现时,自动驾驶车辆可能需要偏离服务位置和/或路线。另外,如图2的示例所述,系统300识别自动驾驶车辆可能由于道路的事件或状况而需要额外资源来完成行程。此外,图3的示例认识到,自动驾驶车辆的这种限制可以影响哪种类型的车辆更适合于特定的运输请求,例如,用户或客户最终会喜欢什么类型的车辆。
客户可以例如在客户移动计算装置上操作应用程序。当启动时,应用程序可以自动链接客户的移动计算装置与运输安排系统300。在链接客户时,应用程序可以响应于用户输入产生运输请求301(“TR301”)。运输请求301可以传送以下信息:(i)客户和/或客户账户的标识符(“客户标识符311”),以及(ii)运输请求301的一个或多个服务位置,例如,上车位置313和/或下车位置315。另外,运输请求301可以包括客户可以指定额外请求或参数(“特殊请求317”)的接口。特殊请求317可以根据实现方式和设计(例如,用户具有杂货或大量物品要输送的输入或其他指示(例如,推断客户位置))而变化。另外,特殊请求317可以可选地指定用户对于车辆类型的偏好,并且具体地指定用户是偏好自动驾驶车辆还是有人驾驶车辆。
进一步参考图3,客户接口302可以将客户运输请求301传送给优先权确定部件310。优先权确定部件310可以使用客户标识符311来获得客户简档314。另外,在一些改型中,客户简档314可以包括指示以下信息中的一个或多个的数据:(i)用户接收自动驾驶车辆或有人驾驶车辆的设置或预先存储的偏好;(ii)为车辆提供运输服务的最近类型的车辆,例如,用户接收或特别请求自动驾驶车辆的次数;(iii)客户为过去的运输提供的评价信息,包括客户为自动驾驶车辆提供的评价或反馈;(iv)如果使用自动驾驶车辆来提供运输,则指示对可能受到影响的运输因素的用户偏好的数据,包括指示客户是否可以容忍以下内容的数据:(a)为一种类型的车辆支付额外费用(例如,如果对一个车辆的需求超过对另一车辆的需求,或者如果一种车辆比另一更昂贵),和/或(b)偏离预期的下车位置的服务位置(例如,当自动驾驶车辆不能安全地行驶到下车位置)。
在一些改型中,偏好确定部件310还可以访问可能对自动驾驶车辆101有问题的当前已知位置的库(“规则库318”)。规则库318可以提供选择规则327和/或权重329,来管理或影响选择一种类型车辆,而非另一种类型车辆。选择规则和/或权重329可以基于位置参数(例如,上车位置313和下车位置315)、运输请求的特殊请求317和/或时间参数(例如,一天中的时间)。规则库318因此可以提供可以与包括在运输请求301中的参数相关联的选择规则。例如,一个或多个服务位置对于自动驾驶车辆可能是不可接近的或难以到达的。或者,客户的任何特殊请求317可排除或支持一种类型的车辆。例如,如果客户有食品杂货,则由于缺乏内部空间,可以排除自动驾驶车辆。
偏好确定部件310可以向AV/HV判定逻辑320发信号通知选择参数335。偏好选择参数335可以考虑客户偏好以及运输请求301的参数。选择参数335也可以根据权重或其他确定来考虑选择规则327和权重329。
根据一些示例,客户接口302还可以将服务位置(例如,上车位置313和/或下车位置315)传送到路线比较引擎330。路线比较引擎330可以操作,以预测运输请求301的路线,考虑优化参数和自动驾驶车辆101是否将偏离最佳路线的预测,或要求上车或放下位置313、315变化。如图1或图2的示例所描述的,实现方式认识到自动驾驶车辆本身在城市环境中需要协助,因为这种车辆的内在限制是将传感器输入理解为被认为是安全的阈值水平。
更详细地,路由比较引擎330可以实现处理上车位置313和下车位置315之间的最优和可行路由的AV路由处理340。由AV路由处理340实现的预测路由确定可以利用例如实时交通信息和区域专用信息,例如,提供有地图服务199(见图2)或区域专用信息源217(见图2)。AV路由过程340可以确定自动驾驶车辆是否将(i)可能需要上车位置313或放下位置315的偏差,或者(ii)有人驾驶引导车辆的协助(如图2的示例所描述的)。在后一种情况下,AV路由处理340可以识别自动驾驶车辆的可能的等待时间或延迟。AV路由过程340可以使用成本计算344来估计使用自动驾驶车辆来完成运输请求301的AV成本度量345。成本计算344可以包括成本公式346(例如,客户接收运输的票价值)以及时间成本部件348,用于确定特定选择的时间参数。
在确定AV成本度量345时,一些改型规定,成本计算344可包含关于自动驾驶车辆是否将需要偏离或等待(用于有人驾驶车辆引导等)的概率确定。因此,成本度量345可以测量时间成本,这意味着客户(或运输服务)为了使用自动驾驶车辆来满足运输请求301所需要的额外时间。成本度量345还可以包括自动驾驶车辆的价格或服务费用,由于额外的行驶距离(例如,由于路线或下车偏差)或等待时间(例如,用于有人驾驶的引导车辆)而可能增加费用。在改型中,成本度量345可以测量客户、运输服务提供商甚至驾驶员的其他成本。这些其他成本可以包括例如燃料的需求或特定类型车辆的库存需求减少。例如,如果运输请求301指定已知对自动驾驶车辆有问题的区域中的服务位置,则AV路线处理340可以考虑该服务的机会成本,因为自动驾驶车辆可能更适合于在接收到运输请求301的时间段内有可能收到的其他运输请求。
AV路由过程340可以包括HV路由过程342的替换实例,其确定使用有人驾驶车辆的路线和成本(“HV成本度量355”)。当假定自动驾驶车辆的价格与有人驾驶车辆相比相同或者更大时,HV成本度量355可以主要是货币。还可以根据相应的HV成本公式356和时间逻辑358(例如,以确定ETA)来计算用于确定HV成本度量355的成本计算354。
AV和HV路由部件340、342可以向路由比较引擎330提供成本度量参数351、353。成本度量参数351、353可以对应于例如参数集和/或标准化值,其能够比较各种成本维度,包括对客户的货币成本、运输商的成本基础和/或客户和提供商的机会成本损失。路由比较引擎330可将从相应的AV和HV路由部件340、342确定的成本度量参数351、353相比较,以便确定基于成本的选择参数331。例如,基于成本的选择参数331可以反映例如货币成本与客户的比较以及与其他成本参数(包括运输服务的成本)或隐藏成本(例如,丢失时间或增加的运输资源(例如,提供有人驾驶引导车辆))的比较。
在确定基于成本的选择参数331时,一些改型为路由比较引擎330提供了将有人驾驶车辆365的可用池与自动驾驶车辆367的池相比较。例如,运输安排系统300可以保持跟踪动作车辆池的服务接口370,然后更新相应的数据存储器,以反映有人驾驶车辆(HV池365”)和自动驾驶车辆(AV池367”)的当前需求和供应。例如,每种类型车辆的每单位价格可以根据需求与供应在给时间刻增加。此外,如果一个池相对于另一池相对过度/不足使用,则有人车辆和自动驾驶车辆的相应池365、367的需求和供应可以考虑系统成本。在图3的示例中,供应/需求逻辑384可以生成反映每个相应池365、367的需求或可用性的需求参数385(“DP 385”)。路线比较引擎330可以使用需求参数385来比较每个车辆类型的相对成本。因此,基于成本的选择参数331可以包括反映需求参数385的变量或值。
路由比较引擎330可以将基于成本的选择参数331信号发送给AV/HV判定逻辑320。AV/HV判定逻辑320可以基于偏好选择参数335和/或基于成本的选择参数331生成车辆类型选择375。偏好选择参数335和基于成本的选择参数331可以通过规则、权重或其他因子组合,以反映(i)排除一种类型的车辆的绝对确定(例如,表达对有人驾驶车辆的用户请求,自动驾驶车辆排除),和/或(ii)基于基于偏好的选择参数335和/或基于成本的选择参数331的应用的加权或计算的确定。
示例进一步规定:AV/HV判定逻辑320可以基于AV/HV判定逻辑320的车辆类型选择375来提出建议或推荐。例如,如果表达的用户(例如,在运输请求301中指定,或者通过用户设置)或者推断的偏好(例如,基于过去的运输)将该确定强烈地加权给有人驾驶车辆,则例如,在自动驾驶车辆此时具有更多的供应和/或更便宜的前提下,AV/HV判定逻辑320可以执行并行计算,以生成针对自动驾驶车辆的推荐。
在一个实现方式中,车辆类型选择375可以传送到调度部件382,调度部件382然后可以基于车辆类型来选择车辆(如车辆标识符361所示)。车辆类型选择375也可以传送给客户接口302,以将选择传回客户。在一个改型中,客户可以改变或否决选择。
远程人力协助响应系统
图4示出了用于使用操作人员来指导自动驾驶车辆处理和/或理解道路事件或状况的示例系统。如一些示例所描述的,例如在对自动驾驶车辆的安全性的自信受到不利影响时,操作人员可以远程协助自动驾驶车辆101。
作为另一替代方案,当例如自动驾驶车辆缺乏对事件或状况的理解并且请求用于未来处理或训练的信息时,操作人员可远程协助自动驾驶车辆101。例如,AVS 100可以实现一个或多个训练模型来理解道路物体或其他状况或事件。作为实现训练的一部分,AVS 100可以使用例如一个或多个学习模型来确定物体的性质、特征或其他属性。当做出这种确定时,AVS 100可以与远程操作人员一起检查答案,并使用答案来更新训练模型。
在图4的示例中,用于自动驾驶车辆(“HARSAV 400”)的人类协助响应系统可以实现与AVS 100通信的远程操作人员协助服务30(见图1)。在图4的示例中,AVS 100可以包括传感器输出逻辑或功能410,用于通过服务接口140将选择传感器数据411快速选择和传送给远程操作人员协助系统400。选择传感器数据组411可以与传送给控制器144的传感器数据111分开确定,用于控制车辆。
根据一个方面,传感器接口105从各种传感器部件获得原始传感器数据99,并且传感器分析部件110实现诸如物体检测、图像识别、图像处理和其他传感器处理等功能,以便检测道路中的危险或不明物体或事件。就这一点而言,传感器分析部件110可以通过多个不同的过程来实现,每个过程分析不同的传感器简档/配置(profile)数据组95。在图4的示例中,传感器分析部件110包括用于确定对已知物体的适当响应的响应库445。当传感器分析部件110对物体的性质具有足够的置信度并且可以从响应库445选择或识别适当响应时,传感器分析部件110可以将响应动作447(“RAction 447”)传送给控制器144。然后控制器144可以实现车辆控制信号149,来控制车辆接口子系统130,包括选择诸如制动接口136和/或转向接口134等接口。车辆控制信号149可以默认地实现响应动作447,独立于远程协助或人为干预。
然而,图4的示例认识到自动驾驶车辆往往是谨慎和慎重的。例如,当自动驾驶车辆101用于运送乘客时,AVS 100可以执行传感器分析部件110,来重复分析所感知的物体和状况。通过自动驾驶车辆101的性质,自动驾驶车辆101将减速或制动,以评估未知物体或状况,或者当最佳响应动作未充分置信地知晓时,选择响应动作。其结果是,自动驾驶车辆101可能倾向于减速和停止并开始行程,使得乘车不太愉快并且不舒服。然而,示例进一步认识到,如果传感器分析部件110可以以更快的时间识别物体或状况,或者更快速地选择响应动作,则自动驾驶车辆101将具有更少的制动事件变化(例如,以降低速度或停止)。制动事件的减少可以使得自动驾驶车辆101更适合于输送乘客,因为制动事件的减少使得乘客在自动驾驶车辆101中乘坐更加舒适。
因此,AVS 100可以被配置为优化从自动驾驶车辆101到HARSAV400的选择传感器数据411的传输,并且还以适合于人类感知的快速渲染的格式或结构传送传感器数据411,使得操作人员可以提供指定AVS100的响应动作的快速和适当的输入。自动驾驶车辆101可以实现或配置传感器分析部件110,以在传感器配置集合95的分析识别以下内容时,生成一种或多种类型的警报413:(i)车辆路径中的未知或意外的物体或状况(例如,远距离相机在道路上检测到行李,但图像处理不识别行李或将行李与岩石或固体物体区分开),和/或(ii)相对已知的物体或状况,这可能需要响应,其结果是充分不确定的(例如,道路上的紧急车辆、响应于在不确定的给定环境或事件状况下停车)。警报413可以指定或触发协助请求。在改型中,警报413可以指定所请求的不同类型的援助,例如,协助识别物体或状况、协助识别对事件或状况的响应、和/或识别物体或状况的警报以及处理物体或状况的适当响应。此外,在其他改型中,警报413可以指定紧急程度,并且进一步为人员协助响应分配时间限制。例如,紧急警报可以在不到两秒的时间内寻求响应,然后自动驾驶车辆101将执行启动硬制动的默认响应动作。中等警报可以提供少于3秒的响应时间,在此之后,自动驾驶车辆101将执行启动缓慢制动的默认响应动作,同时继续监视人类协助响应。紧急程度的差别可以基于例如检测到的物体或状态的接近程度、车辆的速度、物体的尺寸或所关注的物体的其他感知物理特性。
在一个改型中,警报413经由服务接口140传送到远程操作人员协助系统400。传感器分析部件110可以包括传感器输出逻辑410,以识别相关的传感器数据,过滤或分类相关的传感数据,以便在开始时传送最相关的传感器信息。可以生成输出传感器组411,以反映事件或状况的分类和优先化的传感器信息。被选择作为输出传感器数据组411的传感器简档集95的传感器数据项可以基于例如提供关于未知物体或状况的大部分信息的感官视图或感知。输出传感器组411可以用作警报器413或者是警报器413的一部分。
在图4的示例中,HARSAV400包括自动驾驶车辆接口(“AV接口432”)和操作人员接口部件434。AV接口432处理来自一个或多个自动驾驶车辆101的警报413。在一个实现方式中,可以将每个警报413分配给操作人员。因此,警报413可以由AV接口432解析,用于自动驾驶车辆101的标识符421,然后被转发给对应操作人员的操作人员接口部件434。来自操作人员的响应435可以传送回标识符421的自动驾驶车辆。每个警报413还可以包括有效载荷或选择传感器数据411,其识别需要输入的物体、状况或事件。操作人员接口部件434可被构造成以组织数据的方式立即呈现传感器数据411,以促进人类感知和响应时间。例如,操作人员接口部件434可以组织传感器数据411,以在捕捉传感器数据时反映或保存自动驾驶车辆101的取向和方向性。操作人员接口部件434还可实现用于逐渐显露或呈现传感器数据411的过程,其中,首先呈现较小的数据项。
操作人员接口部件434还可以包括用于操作人员的一个或多个接口,其促进操作人员的感知。例如,操作人员接口部件434可以包括来自自动驾驶车辆101内部或来自车辆外部的模拟视图。在一些改型中,操作人员部件434可以提供道路和/或自动驾驶车辆的三维或三人视图。作为补充或替代,操作人员部件434可以生成并显示一个或多个地图接口,以显示自动驾驶车辆101的道路的相关地图(例如,显示由自动驾驶车辆驾驶的道路的周围环境的地图)。此外,操作人员接口部件434可以包括用于使操作人员能够请求更多信息的功能。操作人员接口部件434可以使操作人员能够做出请求,而无需特殊或特别性,而是通过视觉直觉。例如,不需要操作人员请求来自特定传感器的额外传感器数据,操作人员可以简单地指向车辆的可视表示的区域,并且操作人员的请求可以自动转换为对来自运营商所确定的区域的特定一组传感器的原始或处理的传感器数据的请求。例如,操作人员可以请求观看车辆上方,或观看远距离相机图像,并且操作人员可以通过接触与车辆上方或车辆前方一致的显示屏来发出请求。
根据一些示例,预响应菜单逻辑450可以提供有HARSAV 400或AVS 100的功能,以便减少操作人员的响应时间。在一个实现方式中,预响应菜单逻辑450可以被实现为操作人员接口部件434的一部分,以为操作人员呈现一组选项。作为补充或改型,预响应菜单逻辑450可以部分地或全部地与AVS 100一起执行,从而基于关于未知物体、状况或事件的背景和已知信息来选择响应选项455的适当菜单。例如,如果未识别的物体远在自动驾驶车辆101的前方,则预响应菜单逻辑450可以执行,以提供第一预设菜单或第一组选项,操作人员可以从该菜单作出选择。如果未知物体离开自动驾驶车辆101侧面或后方,则预响应菜单逻辑450可以操作,以提供第二预设菜单或第二组选项。以这种方式,改型规定,可以使用关于未知物体、事件或状况已知的背景和其他信息来选择操作人员可以从中选择的选项。操作人员的选择可以对应于指示自动驾驶车辆101执行的响应动作。例如,响应选项455的菜单可以指定一组动作,其指定特定的转向和/或步伐控制动作。以图15的示例示出了响应选项455的菜单的示例,其可以从预响应菜单逻辑450生成并且在操作人员接口部件434上呈现。
有人车辆接口系统
图5示出了与本文所述的示例一起使用的有人车辆接口系统。根据一些实现方式,可以使用驾驶员的移动计算装置来实现有人车辆接口系统500。例如,驾驶员的蜂窝电话装置可以包括用于提供用于实现有人车辆接口系统500的功能的应用程序。在改型中,驾驶员车辆可以集成所描述的一些或全部部件或功能中,以提供有人车辆接口系统500。另外,一些车辆可以包括独立于有人车辆接口系统500的其他方面而操作的辅助部件。
在图5的示例中,有人车辆接口系统500包括处理器510、存储资源520、显示装置530(例如,触敏显示装置)、一个或多个无线通信端口540(包括无线通信子系统)以及一个或多个定位检测机构560。有人车辆接口系统500还可包括一组辅助传感器550,用于例如当车辆充当自动驾驶车辆101的引导时感测车辆的环境。在改型中,辅助传感器550可以包括例如一套传感器装置,例如入图1的自动驾驶车辆101所示和所描述的。例如,传感器可以伸出车外,捕捉场景的二维或三维图像,捕捉车辆上方或下方的图像,并获得周围区域的声纳或激光雷达图像。
各种地理意识资源和位置检测机制可以用于位置检测机构560。通过示例,设置有有人车辆接口系统500的位置检测机构可以包括全球定位系统(GPS)资源、视觉测距、地标识别(例如,来自相机传感器的图像处理)和/或运动传感器处理。在一些示例中,当例如有人车辆接口系统500具有差的或不存在的GPS接收时,位置检测机构可以为GPS提供冗余的或替代的位置检测能力。无线通信端口540可以通过一个或多个无线数据信道(例如,蜂窝信道)发送和接收无线数据。在图5的示例中,存储器资源520可以存储用于通知引擎522的指令。处理器510可以执行通知引擎522的指令,以便在显示装置530上显示或呈现通知521。可以例如基于从图2的HV引导系统200传送的数据,生成通知521。显示装置530可以显示例如通知驾驶员在引导自动驾驶车辆101时驾驶员要扮演的角色的消息。通过图11A到图11C的示例,示出了用于在引导车辆的作用下显示给驾驶员的通知521的示例。
当有人车辆辆接口系统500在用作引导的车辆中操作时,处理器510还可以通过无线通信端口540接收引导指令(或路线协助指令)527。引导指令527可以例如作为引导内容529呈现,其提供视觉信息和/或文本信息,以协助驾驶员定位自动驾驶车辆101,并且还用于以便于自动驾驶车辆跟踪或跟随的方式驾驶。
通知引擎522还可执行,以与驾驶员通信并触发驾驶员开启或以其他方式操作辅助传感器组550。例如,通知引擎522可使用通过无线通信端口540从HV引导协助系统200接收的位置提示525(见图2),以通知驾驶员使用例如这组辅助传感器550来开始记录传感器信息535的时间。因此,例如,HV引导车辆可以服务于记录对于一个自动驾驶车辆101难以导航的特定路段的传感器信息535的双重角色。利用从传感器信息535确定的额外信息,HV引导系统200可以确定信息,以便于其他车辆避开或驾驶通过所关注的路段。通过示例,传感器信息209可以被处理和实现为包括区域特定信息源217的一部分的信息(见图2)。
在一些改型中,该组辅助传感器550可以独立于和/或与有人车辆接口系统500的其他部件分开操作。例如,在一个实现方式中,处理器510可以例如在传感器装置应当操作时通过发信号来经一个或多个辅助传感器实现控制511。另外,处理器510可以接收记录的传感器信息535并存储数据和/或将数据传送给可以处理或以其他方式利用数据的远程服务。然而,在改型中,辅助传感器组550可以独立于可以在驾驶员的移动计算装置上的处理器510进行操作。因此,辅助传感器组550可以可选地包括单独的无线通信、存储器和处理资源,并且在远程服务的控制下进一步工作。
在一些改型中,有人车辆接口系统500可以被实现为移动计算装置,该移动计算装置还从远程服务接收指令或提示,以触发驾驶员获得关于道路的信息。例如,处理器510可以接收来自无线通信端口540的信息提示,该端口可以在显示装置530上或者通过音频呈现,以促使驱动器提供信息,或者采取另一行动(例如,停车并且使用移动计算装置上的相机拍摄路段的照片)。
远程服务或系统计算机系统
图6是示出可以在其上实现本文描述的实施例的计算机系统的方框图。计算机系统600可以在例如服务器或服务器的组合上实现。例如,计算机系统600可以实现为网络服务的一部分,例如,运输安排服务10(见图1)或系统300(见图3)、HV引导协助服务20(见图1)或系统200(见图2)和/或远程操作人员协助服务30(见图1)或系统(见图4)。在图1至图4的上下文中,用于安排运输、提供有人车辆指导服务和/或远程操作人员协助服务的服务和相应系统可以使用例如图1所描述的计算机系统或计算机系统组合来实现。作为服务器或服务器组合的替代方案,所描述的任何示例服务或系统可以使用如图6所描述的多个计算机系统的组合来实现。
在一个实现方式中,计算机系统600包括处理资源610、存储器资源620(包括只读存储器(ROM)和/或存储装置)以及通信接口650。计算机系统600至少包括一个处理器610,用于处理存储在存储器资源620中的信息。存储器资源620包括用于存储可由处理器610执行的信息和指令的主存储器部件、随机存取存储器(RAM)和/或其他动态存储装置。存储器资源620也可以用于在执行要由处理器610执行的指令期间存储暂时变量或其他中间信息。存储器资源620可以使用ROM或其他静态存储装置来存储用于处理器610的静态信息和指令。提供诸如磁盘或光盘等存储装置,用于存储信息和指令。
通信接口650使得计算机系统600能够通过使用网络链路(无线或有线)与一个或多个网络680(例如,蜂窝网络)进行通信。使用网络链路,计算机系统600可以与一个或多个计算装置通信,例如,与自动驾驶车辆101通信和/或与有人车辆接口系统500一起使用或用作有人车辆接口系统500的装置(见图5)通信。根据示例,计算机系统600接收由所描述的一个或多个服务组合的有人驾驶车辆和自动驾驶车辆的位置信息,以提供增强或加强服务的混合。存储在存储器630中的可执行指令可以包括(i)用于实现运输安排服务10(见图1)及其系统(见图3)(“TRI 621”)的指令621,(ii)用于实现HV引导协助服务20(见图1)及其系统(见图2)(“HVGI 623”)的指令623,以及(iii)用于实现远程操作人员协助服务30(见图1)及其系统(见图4)(“RHOA 625”)的指令625。例如,指令625的执行可以促使用户接口在与计算机系统600相关联的显示器上呈现,以使得操作人员能够经由输入机构提供引导响应,以发送到自动驾驶车辆,例如关于图4所描述的。
本文描述的示例涉及使用计算机系统600来实现本文描述的技术。根据一些示例,响应于处理器610执行包含在存储器资源620的主存储器中的一个或多个指令的一个或多个序列,计算机系统600执行那些技术。这种指令可以从另一机器可读介质(例如,存储装置)读入主存储器。包含在存储器资源620中的指令序列的执行促使处理器610执行在本文描述的处理步骤。在替代实现方式中,可以使用硬连线电路来代替软件指令或与软件指令结合,来实现在本文描述的示例。因此,所描述的示例不限于硬件电路和软件的任何特定组合。
人类引导车辆协助方法和示例
图7示出了可以由自动驾驶车辆执行以接收有人驾驶引导的示例方法。图8示出了可以由服务实现以便将自动驾驶车辆与有人驾驶车辆配对以接收驾驶引导的示例方法。图9示出了用于为了协助自动驾驶车辆而指示操作人员驾驶车辆的示例方法。例如,可以使用例如图1和图2的示例所描述的系统和服务来实现图7至图9所示的系统和服务。另外,结合将有人驾驶车辆用作引导,用于实现有人驾驶交通工具接口系统的各方面的硬件部件和功能可以利用硬件部件和功能,例如,如图5的示例所描述的。此外,用于实现网络服务的各方面的硬件部件和功能可以使用诸如图6的示例所描述的计算机系统来实现。在描述图7至图9的示例时,可以参考图图1、2、5和6的元件。为了示出用于实现或执行所描述的操作的合适的部件和功能。
参考图7,自动驾驶车辆101可以以搭载乘客或者运送包裹或物品的形式提供运输服务。自动驾驶车辆101的AVS 100可以操作,以连续检测影响AVS 100的安全通行的置信度值的事件或状况。更具体地,根据设计和实现方式,由AVS 100确定的置信度值可以反映各种参数。在一些示例中,置信度值反映(i)AVS 100如何行进和理解道路的确定性水平,(ii)影响道路的事件或状况,和/或(iii)AVS 100需要执行的动作,以便沿着其路线安全地行进到目的地。就这一点而言,AVS 100先前遇到的事件或状况可能具有固有的较高置信度值,而相对较新的或从未遇到的情形可能导致低置信度值。在城市环境中,例如,交通、道路建设、行人事件和许多其他情况常常被认为是相对较新的情况或事件,因为这种事件或状况的性质在不同时刻以及在该地区不同的地理位置是相对独特的。
自动驾驶车辆101的AVS 100可以预先确定当置信度值被认为是不安全的时候的阈值水平(或阈值多个水平)(710)。此外,AVS 100可以调节阈值,以反映变化的环境或一组状况。不同的地理区域可能需要置信度值的不同的阈值,这被认为是安全或不安全的。例如,具有相对较少的交通量和较少的道路危险以及较慢的行驶车辆的地理区域可以具有关于AVS 100的感官知觉的不确定性的更加宽容的置信度值。根据一个示例,运输安排系统的操作人员可以向AVS 100提供预定的阈值水平。
基于预定阈值,事件或状况影响AVS的置信度值,以确定动作(720)。根据一些示例,AVS 100可以对应于检测事件或状况的实体(722)。在一些改型中,远程服务(例如,图1的远程操作人员服务30)可以检测或预测事件或状况(724)。
当检测到事件或状况时,向自动驾驶车辆101提供协助(730)。例如,当AVS 100检测到置信度值低于安全通行阈值的事件或状况时,AVS 100可以生成事件请求121(见图1)。在一些改型中,由自动驾驶车辆101请求或提供给自动驾驶车辆101的服务可以基于检测到的事件或状况的类型。例如,参考图1的示例,用于协助自动驾驶车辆的多个服务可用于AVS100。自动驾驶车辆101的AVS 100可以使用例如基于计算机的智能或逻辑来确定访问或请求协助哪个服务。在发出请求时,AVS 100可以通过例如一个或多个无线网络发信号通知事件请求121,以供选择的网络服务处理。在图7的示例中,事件请求121可以由HV引导协助系统200实现,如图2的示例所述。自动驾驶车辆101可以接收来自有人驾驶车辆的协助引导,以便于自动驾驶车辆通过AVS 100所关注的路段。
在一些示例中,有人驾驶车辆引导的接收可以由AVS 100分阶段地实现,并且每个阶段可以要求来自自动驾驶车辆101的不同类型的动作。首先,可以由路线分析部件210指导AVS 100穿入交汇位置213,在该位置,自动驾驶车辆101可以等待所选择的有人驾驶引导车辆的到达(732)。在一个基本示例中,用于自动驾驶车辆的指令可以简单地传送自动驾驶车辆101将在当前路段上的第一可用开放空间停放或停车。然而,示例认识到,在车辆中产生不确定性的事件或状况经常阻止车辆能够停车和停放。例如,极端道路拥堵和/或行人事件可以阻止自动驾驶车辆101发现或访问车辆可以停放和等待的停车位或紧急停车道。因此,在改型中,可以通过路线指示AVS 100,以行驶到交汇位置(734)。指令还可以指定自动驾驶车辆101应当在交汇位置等待,并且执行诸如打开头灯和/或应急灯等其他安全行动(736)。车辆应当执行什么动作(例如,接通灯)的确定可以部分地基于环境因素,例如,一天中的时间、天气状况、交汇位置所在的交通量或拥堵量以及各种其他状况。AVS 100可以使用车辆接口子系统130来执行指令。例如,HV引导系统200可以将路线信息141传送给AVS100,使得控制器144可以实现路线控制147并且使车辆接口子系统130将车辆转向到交汇位置213。在交汇位置213,HV引导系统200可以传送指令151,并且控制器144可以实现车辆控制信号149,以使车辆在交汇位置213处等待,并且执行其他动作,例如,接通灯。
根据一些改型,自动驾驶车辆101在有人驾驶引导车辆之前到达交汇位置213。例如,当首先发信号通知事件请求121时,可以假定交汇位置213紧邻自动驾驶车辆101的位置。一旦在交汇位置213,AVS 100等待检测有人驾驶引导车辆的到达。在一些改型中,有人驾驶引导车辆的到达可以被动地实现,例如,通过简单地驾驶经过和/或靠近自动驾驶车辆101的有人驾驶引导车辆。在改型中,有人驾驶引导车辆可以停车和/或能够执行视觉握手或其他交换,通过该视觉握手或其他交换,链接自动驾驶车辆101,以在给定路段跟随或跟踪引导车辆。
有人驾驶引导车辆的到达也可以通过各种机构来检测(740)。在一个实现方式中,HV接口240跟踪引导车辆的位置,并且位置信息由有人驾驶车辆引导协助系统200传送给AVS 100。有人驾驶车辆引导协助系统200和/或AVS 100也可以包括例如启动自动驾驶车辆101以执行选择操作或促进使用有人驾驶引导车辆的接近逻辑。通过示例,自动驾驶车辆101可以启动其发动机和/或定向其自身,使得车辆能够进入引导车辆后方的交通中。
一旦检测到引导车辆的到达,自动驾驶车辆101就通过包括自动驾驶车辆101丧失其置信度的点的路段跟踪引导车辆(750)。在跟踪引导车辆时,自动驾驶车辆101可以执行各种驾驶操作,包括转向跟随(752)、缓慢跟随(754)和/或忽略道路的已知规则和/或知识(756),以执行与在任何其他情况下自动驾驶车辆101将执行的动作相反的动作。更详细地,转向跟随(752)可以包括诸如自动驾驶车辆101改变车道和/或转入道路等动作,以便跟踪引导车辆的路线。参考图1,转向跟随可以可选地通过使用引导车辆的位置信息作为路线信息141来实现,该路线信息传送到车辆接口子系统130的控制器144。缓慢跟随(754)还可以包括诸如由自动驾驶车辆101推进和制动等动作。推进和/或制动可以独立于或不考虑靠近引导车辆来执行,其实际上可以是在自动驾驶车辆101之前超过一个汽车或汽车长度。缓慢跟随配置可以被设置为使得自动驾驶车辆101能够与引导车辆一起通过路段行进,但是不同的环境和/或事件可以要求自动驾驶车辆101在操纵通过路段时具有不同的制动和/或推进。例如,引导车辆可以通过路段行进并且错过进入车道的大型行人交通组,这意味着自动驾驶车辆101必须在停车和行走的同时更慢地行进,而引导车辆可以保持更稳定的速度。
关于(756),一些改型规定,当状况或事件要求AVS 100对动作作出决定时,AVS100保持作为默认授权的驾驶规则。例如,AVS 100可以保持关于交通信号灯的规则,其中,当灯是绿色时,车辆通过交通信号灯行进,如果灯变成黄色,则向交通信号灯减速,并且当灯是红色时,完全停止交通信号灯。交通规则灯可以指定当交通信号灯变红时自动驾驶车辆101不能进入交叉路口。类似地,另一规则可以规定,自动驾驶车辆101将不会在街道的错误的一侧和/或在紧急停车道或道路的人行道上行驶。示例认识到,AVS 100可以训练的这些规则有时可能与车辆需要驾驶的方式相冲突,以便通过一些复杂的道路状况(例如,由重型建筑工地提供)行进。相应地,AVS 100可以包括引导操作模式,其中,引导车辆对AVS 100的现有规则和知识具有权威性。例如,当在引导模式下操作时,自动驾驶车辆101可以忽略交通信号灯,偏离道路,或者在街道的错误位置驾驶,有人驾驶引导车辆也是如此。
根据某个示例,一旦路段变得可计算地理解,AVS 100也可以从有人驾驶引导车辆分离(或解除配对),和/或状况或事件经过,使得AVS 100的置信度返回到高于安全阈值的值,并返回默认自动驾驶模式(760)。在一个实现方式中,由AVS 100进行确定,该AVS 100连续地监测道路,以便计算其自身通过道路导航的置信度值。在一个改型中,有人驾驶引导车辆(例如,操作人员)可以确定自动驾驶车辆101何时应该脱离跟踪引导车辆。例如,可以使用人为判断,并且引导车辆的操作人员可以选择手机上提供的特征,其可以形成有人驾驶引导系统、有人车辆接口系统、有人车辆接口系统500(见图5)的一部分。此外,HV引导系统200可以基于关于道路的状况或20的其他信息做出的确定来确定自动驾驶车辆101和有人驾驶引导车辆何时可以分离或分开。
参考图8,HV引导系统200可以作为管理或以其他方式监视车队的有人驾驶车辆的网络服务的一部分来操作(810)。有人驾驶车辆的监控可以包括识别各个车辆的当前位置以及每个车辆的操作状态。每个车辆的操作状态可以识别处于动作行程中的那些车辆(812)以及可用但不在动作行驶中的车辆(814)。在一些改型中,使用状态还可以识别处于动作行程的那些车辆,但是在指时间间或服务位置或行程下车的距离阈值内,此时车辆将不再处于动作行程。例如,HV引导系统200可以在有效票价上识别出乘客、等待运输请求的车辆、以及处于有效票价但是在到达目的地或由于票价而下车的一分钟内的那些车辆。此外,在一些改型中,HV引导系统200可以识别那些动作的、但是新分配票价的车辆,以便在到达服务位置的路线上(例如,搭乘乘客)。
HV引导系统200可以接收引导的协助请求,当如其他示例所描述的,在确定自动驾驶车辆101是否可以安全地在其行程上行进时,自动驾驶车辆101的AVS 100遇到降低AVS100的置信度值的事件或状况(820)。响应于接收到该请求,HV引导系统200可以指示自动驾驶车辆101行驶到交汇位置(822)。该指令可以包括到交汇位置的路线信息。另外,指令可以包括自动驾驶车辆101将执行的额外动作,例如,在交汇位置等待、打开其灯、停车和可用的停车位、或者在位于交汇位置的区域中的给定位置停车。或者,HV引导系统200可以确定自动驾驶车辆101将行进到已经被识别为难以导航的部分的路线(例如,路段)的一部分。
HV引导系统200可以从人力资源池92中选择有人驾驶车辆(见图1),以充当协助自动驾驶车辆101的引导(830)。可以确定引导车辆、交汇位置和/或驾驶员池与交汇位置的接近度(832)。有人驾驶车辆的选择可以基于多种因素,例如,如图2的示例所描述的。除其他因素外,所选引导车辆到达交汇位置的接近度或估计时间可形成用于选择的标准或部件(834)。例如,当所选车辆具有动作状态时,选择有人驾驶车辆的标准可包括添加到引导车辆的现有票价的时间量或距离(例如,票价的ETA的变化正在进行中)(836)以及引导车辆在前往交汇位置之前完成当前路线的能力。
一旦选择了有人驾驶车辆来引导自动驾驶车辆101,则为该车辆发送指令,以驾驶至交汇位置(840)。作为示例,指令可以指定车辆的当前票价不中断,或者驾驶员在前往交汇位置之前完成正在进行的票价。
在交汇位置,自动驾驶车辆101可以开始跟踪有人驾驶引导车辆(850)。自动驾驶车辆101可以以例如图7所述的方式跟踪引导车辆。当发生跟踪时,可以通知引导车辆的操作人员引导车辆正在被自动驾驶车辆跟踪(852)。例如,有人驾驶引导车辆系统、有人车辆接口系统、有人车辆接口系统500可以包括驾驶员的移动计算装置,其显示识别关于自动驾驶车辆101的信息以及自动驾驶车辆101跟踪引导车辆的状态(例如,跟踪正在进行、跟踪停止等)的通知521。图11A至图11C示出了可以在有人驾驶引导车辆系统、有人车辆接口系统、有人车辆接口系统500上显示的通知的示例接口。
参考图9的示例,池的一个HV车辆的驾驶员为了接收对自动驾驶车辆101的引导而设置了通知驾驶员行驶到交汇位置的通知(910)。例如,当驾驶员结合运输安排服务10使用的移动计算装置的屏幕上出现通知521时,有人驾驶车辆可以正在进行中,或者可选地,在通往运输安排服务10的图中。有人驾驶车辆可以产生警报,或者在靠近或到达交汇位置时,以其他方式传送位置信息(912)。
一旦有人驾驶车辆到达或经过交汇位置,有人驾驶车辆可以确定或以其他方式提供经过自动驾驶车辆101遇到置信度损失的位置的新路线段(920)。例如,如果在处于有效票价时重新路由有人驾驶车辆,则为经过要提供引导的路段的引导车辆计算新的路线,然后进入服务位置或由于当前票价而下车。
当引导车辆与自动驾驶车辆101配对时,有人车辆接口系统500可以接收通知驾驶员存在自动驾驶车辆101的通知(930)。在一些改型中,引导车辆的驾驶员还可以接收反馈,以促进或便于自动驾驶车辆101跟踪或跟随(932)。例如,驾驶员可以被告知减速、导航和在小街上暂停,和/或执行其他动作,以确保自动驾驶车辆101可以通过所讨论的路段来跟踪引导车辆。在一些改型中,还可以指导引导车辆来操作传感器装置和/或记录信息(包括口头地或通过相关联的移动计算装置的相机操作),以便获得关于与自动驾驶车辆101引起问题的路段的信息(934)。HV导航协助系统200可以处理由驾驶员提供的信息,以便进一步理解导致自动驾驶车辆101丧失置信度的事件或状况。根据各种示例,驾驶员和/或HV引导协助系统200可以i)对事件或状况进行分类,(ii)手动识别纯自动驾驶车辆101的导航策略,以通过或规避事件或状况,和/或(iii)随着时间估计事件或状况的持续时间、幅度或其他属性。当自动驾驶车辆101的引导完成时,引导车辆的驾驶员可以接收到自动驾驶车辆101的跟踪结束的通知(936)。
图10示出根据一个或多个实施例的使用人类引导车辆协助自动驾驶车辆通过路段的示例。在图10的示例中,自动驾驶车辆1020在路段上存在困难,包括暂时构建的绕过一群人的道路改道。自动驾驶车辆1020具有路段的知识,因为自动驾驶车辆1020可以了解交通信号灯,并且与道路相邻的区域是人行道。虽然道路对于自动驾驶车辆1020可能是已知的,但是在所提供的示例中,道路上的人群产生了该自动驾驶车辆1020的AVS 100失去信心的事件或状况,导致到HV引导系统200的事件请求121。HV引导系统200(例如,显示为服务云1012)可以选择并知道有人车辆驾驶员引导自动驾驶车辆1020。HV引导系统200还可以将跟踪指令1010发送到自动驾驶车辆1020。自动驾驶车辆1020可以到达交汇位置,并且自动驾驶车辆1020可以跟随或跟踪有人驾驶引导车辆1022到达路段1005。自动驾驶车辆1020然后可以跟踪有人驾驶车辆1022到达路段1005。在跟踪有人驾驶引导车辆1022时,自动驾驶车辆1020可以转弯,改变车道并转向,以避免被自动驾驶车辆1020的传感器感测到的道路危险或状况,并且还保持有人驾驶引导车辆1022的道路位置和地点。因此,例如,当自动驾驶车辆1020遇到该有人驾驶车辆1022不具有的路况时,车辆1020将仍沿着相同的路径尝试跟随有人驾驶车辆1022,使用相同的道路车道并且执行相同的转弯。在一些实现方式中,自动驾驶车辆1020在与有人驾驶车辆1022相同的道路位置处执行诸如车道变换、转弯和其他转向动作等动作。自动驾驶车辆1020还可以以其自己的确定速度前进,同时独立地调节其速度或操作,来以相同的方式处理可能不影响有人驾驶车辆1022的状况或事件。
另外,在跟踪有人驾驶车辆1022时,自动驾驶车辆1020的AVS 100可以实现有人驾驶车辆1022是权威的模式,从而使得AVS 100能够忽略自动驾驶车辆1020依赖的规则和信息。例如,自动驾驶车辆1020可具有与道路相邻的人行道的信息或知识,但是在所提供的示例中,人行道用于形成道路AVS 1005。尽管具有规定车辆避开人行道的知识和规则,但是自动驾驶车辆1020跟随有人驾驶引导车辆1022。由于自动驾驶车辆1020以替代引导模式操作,因此可以忽略其自身的驾驶规则。类似地,当自动驾驶车辆1020跟随有人驾驶引导车辆1022时,交通信号灯可以变红。虽然红灯事件可以由自动驾驶车辆1020的AVS100检测到,但是操作模式规定自动驾驶车辆跟随有人驾驶引导车辆1022,而不是遵守自己的驾驶规则。
图11A至图11C示出了用于在引导自动驾驶车辆时指导驾驶员驾驶车辆的示例接口。在所提供的示例中,提供对自动驾驶车辆101的引导的驾驶员可以提供通信,以在驾驶员执行提供引导的角色的同时,向驾驶员通知信息的状态、反馈和/或提示。显示屏1102可以设置在驾驶员的移动计算装置上,该移动计算装置也可以对应于有人驾驶员接口系统500或者是有人驾驶员接口系统500的一部分,例如,如图5的示例所描述的。
在图11A中,驾驶员的显示屏1102显示来自请求驾驶员用作自动驾驶车辆的车辆引导的网络服务的指示。显示屏1102显示通知驾驶员选择的驾驶员用作自动驾驶车辆101的引导的消息1103。消息1103还可以与识别驾驶员将与其配对的交汇位置1109的地图内容一起显示。可以为驾驶员显示路线1111,例如,指示通向交汇位置的路径和/或通过自动驾驶车辆101不能导航的路段的路径。消息1103可以可选地包括或识别请求驾驶员执行的动作,以使自动驾驶车辆1101跟踪驾驶员的车辆。通过示例,可以指示驾驶员停放并等待自动驾驶车辆,或者仅仅行驶到自动驾驶车辆停放的位置。
在图11B中,显示屏1102反映驾驶员到达交汇位置之后的状态。因此,显示屏1102可以包括状态消息1115和/或指示器1116,其通知驾驶员自动驾驶车辆101正在跟踪驾驶员的车辆。在自动驾驶车辆101正在跟踪的同时,显示屏1102还可以显示反馈1112,具有关于驾驶员应该如何驾驶的指导或指令。例如,反馈1112可以响应于自动驾驶车辆101和驾驶员车辆之间的测量距离,并且如果自动驾驶车辆开始与驾驶车辆分离,则可以指示驾驶员减速。作为另一示例,可以指示驾驶员停下来或者停车,以使自动驾驶车辆能够追上。
在图11C中,显示屏1102反映自动驾驶车辆101停止跟随驾驶员的车辆之后的状态。例如,一旦自动驾驶车辆开始跟踪,驾驶员可以接收到驾驶的路线,但是驾驶员可能没有关于自动驾驶车辆101停止跟踪的时间或地点的独立知识。显示屏上的驾驶员通知1125可以确认自动驾驶车辆101停止跟踪。在自动驾驶车辆停止跟踪之后,驾驶员可以继续到达服务位置的路线。
图11C还示出了引导车辆的驾驶员用于确定关于自动驾驶车辆101请求协助的事件或状况的实时信息的变化。例如,可以提示驾驶员使用语音或文本输入来提供信息,指示驾驶员感知的标签或简短描述。
在改型中,选择驾驶员车辆,用于驾驶员可以选择性地(或连续地)部署的一整套传感器设备。当驾驶通过在自动驾驶车辆101中引起置信度下降的路段时,可以提示驾驶员部署传感器设备。一旦自动驾驶车辆101脱离,还可以提示驾驶员执行其他动作,例如,从传感器设备上传数据或收回已部署的传感器设备,直到另行通知。
根据一些示例,从有人驾驶车辆收集的数据可以包括来自驾驶员的传感器信息和/或增强。作为示例,HV引导协助系统20或其他远程服务可以处理或分析来自有人驾驶车辆的数据。在一个实现方式中,可以分析数据,以便事件或状况分类。例如,分类可以将事件或状况标记为其他自动驾驶车辆应该避免的事件或状况,或者替代地,其他自动驾驶车辆可以导航通过的但是仅具有高级指令或远程指导的事件或状况。作为补充或替代,可以分析数据,以确定事件或状况的一个或多个属性,例如,在道路上存在事件或状况的估计时间或持续时间。也可以使用传感器数据检测和记录可以影响例如自动驾驶车辆101的性能或健康的各种其他状况或事件。例如,新发现的道路危险(例如,坑洼)可以通过传感器数据成像或以其他方式检测,并传送到远程服务。反过来,传感器数据和/或这些数据的分析结果可以分配给包括自动驾驶车辆的车队。该信息可以向自动驾驶车辆提供关于可能影响自动驾驶车辆的导航能力的事件或状况的预先信息以及可能例如损坏自动驾驶车辆101的潜在危险。通过示例,可以将信息作为来自源217(例如,参见图2)的区域特定信息传送给其他自动驾驶车辆。
用于运输安排服务的车辆类型选择的方法和示例
图12示出了智能地选择用于提供运输服务的车辆类型的示例方法。例如,可以使用例如图1和图3的示例所描述的系统来实现图12所描述的示例方法。另外,可以使用例如图6的示例所描述的计算机系统来实现用于实现用于安排运输服务的网络服务的各方面的硬件部件和功能。在描述图12的示例时,可以参考图1、3和6的元件,为了说明用于实现或执行所描述的操作的合适的部件和功能。
参考图12,从用户接收运输请求(1210)。运输请求可能是车辆的类型非特定的,从而不指示用户的偏好。如图12的示例所述,在选择车辆类型时,可以可选地推断用户的偏好。作为补充或改型,车辆类型(例如,自动驾驶车辆)的选择可以部分地基于用于选择一种类型的车辆而不是另一种类型的车辆的物流和/或预测成本分析。另外,在一些改型中,可以在运输请求中提供用户偏好或者通过设置来表达用户偏好。然而,如在变化中进一步描述的,如果预测成本分析和/或物流价值考虑其他类型的车辆,则运输安排服务10可以向用户提供另一种车辆类型的推荐。
运输请求可以与服务位置信息(例如,搭乘者的上车和/或下车位置)进行通信。如一些其他示例所述,客户可以利用在移动计算装置上运行的应用程序来向运输安排服务10发出运输请求。运输请求可以例如指定客户的当前位置,作为服务位置,或者提供服务位置的定点位置。
响应于接收到运输请求,运输安排服务10选择车辆类型和车辆,以完成运输请求(1220)。根据一些示例,在选择车辆和车辆类型时,运输安排服务10确定搭乘者的初步路线或目的地(1222)。在另一示例中,运输安排服务10可以基于用户特定偏好、用户历史和/或反馈、和/或用户简档,来选择车辆类型,例如,用户的年龄、用户居住的地方等(例如,与喜欢有人驾驶车辆的安全感的老年搭乘者相比,年轻用户可能倾向于享受新的技术进步)。
在一个实现方式中,然后,针对该地区的地图(如由图2的地图服务199所提供的)或区域特定信息来交叉参考目的地和/或路线的点,以便确定自动驾驶车辆101的选择是否将导致需要偏离路线或目的地的统计上显着的或可能的可能性。如果自动驾驶车辆101被认为可能遇到自己无法解决的状况、事件或物体,则可能导致偏差,在这种情况下,自动驾驶车辆101可能需要横穿到遇见点。参考图3,330可以例如预测自动驾驶车辆101的路线,并且进一步估计是否需要有人驾驶车辆引导的可能性。统计确定可以基于例如过去的自动驾驶车辆101偏离(i)履行的运输的预测路线上的下车位置和/或点的区域,或ii)运输请求的行程上可能出现的情况或事件。自动驾驶车辆是否需要路线偏离的预测也可以通过其他概率确定来通过,包括路况或事件的分析(没有历史分析)和/或基于车辆性能和/或状况或事件存在的建模。
作为另一改型,可以检查服务位置点(或下车位置)以及最佳路线上的路线,以确保自动驾驶车辆101可以穿过相关路段(1230)。例如,如果目的地是附近建筑物或者拥挤的行人交通,则可以确定自动驾驶车辆101不可访问路线或目的地的点。
作为补充或替代,可以执行成本分析,以便将每个车辆类型的估计到达时间(到达目的地)或者替换地行程时间相比较,包括自动驾驶车辆类型(1232)。甚至当认为自动驾驶车辆可能没有偏差时,与有人驾驶车辆相比,对于自动驾驶车辆,行程的时间和/或行程的估计到达时间可以变化。例如,由于自动驾驶车辆的谨慎性,所以统计或历史信息可能表明这种车辆比有人驾驶车辆需要更多的时间。如果计划行程或请求的行程足够长,则行程时间或ETA的差异可能会导致显着的成本,这将朝着选择有人驾驶车辆加权。另外,如果认为与最佳或期望路线(或服务位置)的偏差足够可能,则针对自动驾驶车辆确定行程时间或ETA,在计算中包括偏差。
费用计算也可以考虑到车辆类型的选择中。例如,可以实现运输安排服务10,以自动地为客户选择更便宜的车辆类型,除非客户另有偏好。因此,如果客户表示没有偏好,而是提供两个运输工具中更昂贵的,则由于商业原因,将不支持车辆选择决定。例如,可以使用可以确定每个车辆类型的费用并且进一步执行费用类型的比较的路线部件340来估算每个车辆类型的运输费用。例如,基于每个车辆类型的需求和供应,两个车辆类型的费用类型可以彼此偏离。可能影响成本确定的其他因素包括行驶时间。如果自动驾驶车辆101例如需要路线偏差和/或有人驾驶车辆引导,则与该有人驾驶车辆相比,该车辆类型的时间(和成本)可以不成比例地增加。同样,路线偏差会增加行程的长度,这会进一步增加成本。因此,货币成本在车辆类型之间进行比较,以便对一种车辆类型进行或加权选择,优先于另一种车辆类型。
便于选择车辆类型的另一参数包括客户对车辆类型的偏好(1234)。作为补充或替代,客户的偏好可以是行程时间或预计到达时间的形式,这直接影响车辆类型。
在一些实现方式中,客户偏好是最终选择。在改型中,可以基于其他考虑(例如,行程时间或ETA)或总成本来推翻客户偏好。例如,可以实现业务规则或考虑因素,使得(i)如果客户对于车辆类型没有偏好,则选择对客户来说是最低的货币成本的车辆类型,除非(ii)客户对行程时间或ETA具有偏好,在这种情况下,基于行程时间或ETA选择车辆类型。更进一步,如果客户具有指示一种车辆类型选择优先于另一种车辆类型的偏好,则如果坚持客户偏好会将货币成本或时间成本(例如,ETA)中的任何一个或多个增加超过某个阈值量(例如,25%),则可以推翻该偏好。
利用远程协助的自动驾驶车辆的方法和示例
图13示出了用于操作自动驾驶车辆以接收来自远程操作人员的协助的示例方法。图14示出了用于操作远程服务以便于自动驾驶车辆导航未知道路事件或状况的示例方法。可以使用例如图1和图4的示例所描述的自动驾驶车辆101来实现图13所描述的示例方法。类似地,可以使用例如图4的示例所描述的系统来实现图14所描述的示例方法。另外,可以使用例如图6的示例所描述的计算机系统来实现用于实现网络服务的各方面的硬件部件和功能。在描述图13或图14的示例时,可以参考图1、4或6的元件,用于示出用于实现或执行所描述的操作的合适的部件和功能的目的。
参考图13的示例,自动驾驶车辆101可以在行程中处理其接收到的传感器信息,以便确定自动驾驶车辆101需要或正在请求信息的事件或状况(1310)。在一个方面,事件或状况影响车辆对其安全性置信度的确定(1312)。在改型中,事件或状况可以是自动驾驶车辆101可以安全处理的事件或状况,但是AVS 100在最佳行动或未来如何最好地处理事件方面是不确定的。
当评估状况或事件时,AVS 100可以包括关于置信度或确定性的预定阈值水平(1320)。当自动驾驶车辆101遇到事件或状况、物体、不符合阈值的事件或状况(基于置信度阈值)时,自动驾驶车辆101发送警报,以请求来自远程源(1322)的协助。在一些实现方式中,相对于自动驾驶车辆了解如何安全地响应于事件或状况,可以响应于自动驾驶车辆101具有超过阈值的不确定性水平(或相反地,小于阈值的置信度值),生成警报。例如,响应于自动驾驶车辆不能(具有足够的确定性)识别道路中的物体,可以生成警报。在例如由图4提供的示例中,请求可以发送到服务,以接收操作人员输入。
该请求可以传送或以其他方式设置有传感器信息,以使得操作人员能够看到在自动驾驶车辆101的道路上正在发生什么(1330)。例如,来自自动驾驶车辆101的一个或多个相机的图像数据可以用于向远程服务传送信息。可以选择、过滤和/或优先化传送到远程源的传感器信息,以针对影响车辆置信度的物体、事件或状况(1340)。例如,如果自动驾驶车辆101上的长距离相机检测到道路上不可识别的物体,则传送到源的传感器数据包括来自首先检测到物体的相机的图像以及来自随后可能会看到物体的其他相机或传感器的图像。
图13的示例认识到从远程服务分配用于指定响应的时间通常是几秒(例如,小于8秒),并且小于3秒。因此,在一个实现方式中,AVS 100在给定的时间阈值之前确定是否从远程服务接收到响应(1345)。时间阈值可以是静态或动态预定的。例如,用于接收回复动作的阈值时间限制可以是静态的,并且由地理区域和/或道路默认设置。或者,用于接收回复动作的阈值时间限制可以是动态的,并由即时测量的一个或多个参数设置。例如,阈值时间限制可以通过自动驾驶车辆101的速度和/或物体的范围、作为警报源的事件或状况设置。
如果确定(1345)接收到来自远程服务(例如,HARVAS)的响应,则自动驾驶车辆101的AVS 100可以根据从远程服务接收到的响应来执行(1350)。在一个实现方式中,响应可以指定自动驾驶车辆101将要执行的动作或非动作(1352),例如,立即减速,改变车道或停车。在改型中,从远程操作人员传送的响应可以指定(或修改)自动驾驶车辆101的响应策略(1354)。响应策略可以被实现为例如状况和/或多步指令。例如,响应策略可以指定自动驾驶车辆101执行动作,(i)当检测到特定状况时,或者(ii)只要特定状况存在或者真实。例如,响应策略可以识别一个或多个动作,“作为要遵循的安全/适当策略”(例如,“当检测到安全的通行状况时,通过左车道”)。另外,在一些改型中,所指定的动作作为标识符传送给自动驾驶车辆101的预定动作或策略选项列表。还可以传送所指定的动作,作为动作列表(例如,通过标识符),例如,当操作人员模拟驾驶控制和在减速时使车辆转向时。在每个示例中,来自远程服务的通信标识(i)动作、(ii)设置(或动作序列)或(iii)AVS 100执行一个或多个动作的响应策略中的一个或多个。
如果阈值时间段经过并且没有从远程服务接收到响应动作,则自动驾驶车辆101可以发起执行默认动作(1362)。例如,当道路物体未知时的默认动作可以是适度地制动,以减慢速度。然而,对于不同类型的事件、状况或物体,可以执行不同的响应动作。例如,当自动驾驶车辆101在高速公路上时的默认动作可以是适度地制动或改变车道(更可用的那个),而在城市环境中,默认动作可以更积极地制动,以便完全停止。
在一些改型中,在启动执行默认动作之后,作出关于默认启动的动作是否完成和/或是否解决未知物体、事件或状况的确定(1365)。如果未知物体、事件或状况仍然存在,则在确定是否从远程服务接收到响应时,过程重复进行确定(1345)。例如,可以在阈值时间限制之后,但在默认动作完成之前,接收来自远程服务的响应。例如,自动驾驶车辆101可以开始制动并减速,然后接收来自远程服务的回复。
作为替代或改型,当执行默认动作时,可以在自动驾驶车辆101再次执行动作(例如,再次制动和减速)或更严厉地执行动作(例如,制动和停止)之前,测量另一阈值持续时间。(1355)的确定可以包括确定是否需要更多的动作,然后执行默认动作或由远程服务指定的动作。
参考图14,远程服务操作,以监视来自自动驾驶车辆101的警报(1410)。当接收到警报时,远程服务识别作为传输源的车辆,然后相应地将警报转发给人机接口部件434(1414)。操作人员可以操作接口,并且在一个实现方式中,操作人员接口部件434仅分配给一个车辆(或限制的一组车辆)。以这种方式,警报413例如传送给具有关于传送车辆和/或车辆所在的特定行程(例如,地理区域或道路)的信息或知识的操作人员。
根据一个实现方式,来自自动驾驶车辆101的接收到的数据封装到演示中,该演示可以包括操作人员可以从中作出选择的一个或多个菜单选项(1420)。例如,菜单选项可以提供关于自动驾驶车辆101如何响应道路中的物体的选项(例如,转向左/右、减速并避免、忽略等)。演示可以将菜单选项覆盖在从传感器信息生成的内容上(例如,远距离相机或视频)。提供给操作人员的演示还可以包括使操作人员能够从自动驾驶车辆101请求更多信息的特征(1422)。例如,操作人员可以请求更多的图像、来自不同相机或不同方向的相机的图像、或者车辆的地图信息。此外,在一些改型中,呈现给操作人员的信息可以识别操作人员提供响应所剩余的时间量(在采取默认动作之前)(1424)。
从演示中,操作人员作出选择(例如,菜单选项的选择)。该选择传回发出警报413的自动驾驶车辆101(1430)。然后可以在作用在其上的自动驾驶车辆101上解释该选择。如其他示例所述,在没有从操作人员选择的情况下,自动驾驶车辆101可以执行默认动作,例如,适度制动。除了一些示例的其他益处,操作人员指定的动作可以消除或减少自动驾驶车辆101的制动,以便提高乘客的乘坐体验。
图15示出了用于远程服务的示例人机接口,例如,图4和图14的示例所描述的。示例接口1500例如可以对应于用预响应菜单逻辑450修改的操作人员接口部件434。如图所示,操作人员可以提供一个或多个图像或图像内容1502(例如,视频、视频的图像帧等),图标表示动作项目。在提供的示例中,图像内容1502反映具有未识别物体的道路。图标可以单独地选择,以使操作人员能够提供选择输入,以指示自动驾驶车辆的方向或速度的调节。操作人员的选择输入可以响应于操作人员对事件或物体的感知,其导致自动驾驶车辆的不确定性。
作为补充或替代,接口1500可以包括一个或多个机械元件,其使得操作人员能够对自动驾驶车辆101进行不同程度的驾驶控制。例如,接口1500的机械元件可以包括操纵杆(或操纵杆组合)、车轮、手柄或其他手动控制,以能够例如进行方向引导、速度控制、传感器控制(例如,相机的方向控制或视角)或其他车辆的运动或控制。作为补充或替代,接口1500的机械元件可以包括脚踏控制或踏板,其可以由操作人员控制,以例如提供速度控制和/或车辆停止。
图15示出了图标是定向的实现方式,以参考自动驾驶车辆101将采取的定向动作。在图15的示例中,方向箭头1512、1514、1516指示自动驾驶车辆101向左或向右转弯或前进。另一特征1518可指示自动驾驶车辆应停止或制动,以减速。例如,可以重复地或连续地按压特征1518,以指示制动的持续时间和/或严重性。时间特征1522可以指示自动驾驶车辆101开始采取默认动作之前的剩余时间量。另一特征可以专用于“无动作”,使得特征的选择表示自动驾驶车辆101由于检测到的物体而在方向或速度上进行零调节。在改型中,图标可以用于请求更多的信息,或者执行可能在菜单演示之外的替代动作。
可以设想,本文描述的实施例独立于其他概念、想法或系统扩展到本文描述的单独元素和概念,并且实施例包括在本申请的任何地方引用的元素的组合。虽然本文参考附图详细描述了实施例,但是应该理解的是,这些概念不限于那些精确的实施例。同样,对于本领域技术人员而言,许多修改和变化将是显而易见的。因此,本发明的范围旨在由所附权利要求及其等同物限定。此外,可以设想,单独地或者作为实施例的一部分描述的特定特征可以与其他单独描述的特征或者部分其他实施例组合,即使其他特征和实施例没有提及特定特征。因此,没有描述组合,不应该排除发明人对这种组合的权利。