CN108268034A

CN108268034A - 用于车辆的专家模式

Info

Publication number: CN108268034A
Application number: CN201711446368.0A
Authority: CN
Inventors: I·鲁斯特
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2016-01-04
Filing date: 2017-12-27
Publication date: 2018-07-10
Anticipated expiration: 2037-12-27
Also published as: US10322717B2; US20170192426A1; CN108268034B; DE102017130936A1

Abstract

提供了用于控制自主车辆的系统和方法。在一个实施例中，一种用于控制自主车辆的方法包括：确定需要辅助以用于自主车辆的继续移动；以及由自主车辆上的处理器通过实施由远离自主车辆的远程用户提供的手动指令来促进自主车辆的移动。

Description

用于车辆的专家模式

相关申请的交叉引用

本申请要求2016年1月4日提交的美国临时申请第62/274,577号的权益，其全部内容通过引用并入本文中。

技术领域

本公开总体上涉及车辆，并且更具体地涉及用于实施用于自主车辆的专家模式的系统和方法，其中可能需要手动指令，例如，以促进自主车辆围绕障碍物移动。

背景技术

自主车辆是能够感测其环境并几乎不需要或者不需要用户输入进行导航的车辆。它通过使用感测装置(诸如，雷达、激光雷达、图像传感器等)来实现感测环境。自主车辆还使用来自全球定位系统(GPS)技术、导航系统、车对车通信、车对基础设施技术和/或线控驱动系统的信息来导航车辆。

虽然自主车辆提供了优于传统车辆的许多潜在优势，但是在某些情况下，自主车辆可能难以在障碍物周围导航，例如，如果在道路上存在车道标记，其可能与障碍物周围的路径产生干扰。

因此，期望为专家模式提供用于改善自主车辆的操作的系统和方法，例如，包括在物体周围引导自主车辆。

发明内容

提供用于控制自主车辆的系统和方法。在一个实施例中，用于控制自主车辆的方法包括：确定需要辅助以使自主车辆继续移动；以及经由自主车辆上的处理器实施由远离自主车辆的远程用户提供的手动指令来促进自主车辆的移动。

在一个实施例中，用于控制自主车辆的系统包括远程计算机模块和自主车辆计算机模块。远程计算机模块被配置为确定需要辅助以使自主车辆继续移动。自主车辆计算机模块配置为通过自主车辆上的处理器实施由远离自主车辆的远程用户提供的手动指令来促进自主车辆的移动。

附图说明

在下文中将结合以下附图来描述示例性实施例，其中相同的附图标记表示相同的元件，并且其中：

图1是示出根据各种实施例的自主车辆的功能框图；

图2是示出根据各种实施例的具有如图1所示的一个或多个自主车辆的交通系统的功能框图；

图3是示出根据各种实施例的与自主车辆相关联的自主驾驶系统(ADS)的功能框图；

图4是示出根据各种实施例的用于自主车辆的专家模式系统的数据流图；

图5是根据各种实施例的在其路径上具有障碍物的道路上的自主车辆的示意图；

图6-1和图6-2(也统称为图6，其包括相同流程图的两页，第二页续第一页)是根据各种实施例的用于实施用于自主车辆的专家模式的控制过程的流程图；和

图7和图8是根据各种实施例的与图5的控制过程相关联的示例性显示的示意图。

具体实施方式

下文的详细描述本质上仅仅是示例性的，并不意图限制应用和用途。此外，不意受到在前述技术领域、背景技术、发明内容或以下详细描述中呈现的任何表达或暗示的理论的束缚。如本文所使用的，术语“模块”是指单独地或以任何组合的任何硬件、软件、固件、电子控制组件、处理逻辑和/或处理器装置，包括但不限于：专用集成电路(ASIC)、现场可编程门阵列(FPGA)、电子电路、处理器(共享的、专用的或成组的)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供上述功能的其它合适组件。

本文可以根据功能和/或逻辑块组件以及各种处理步骤来描述本公开的实施例。应该理解的是，这样的块组件可以由配置为执行指定功能的任何数量的硬件、软件和/或固件组件来实现。例如，本公开的实施例可以采用各种集成电路组件，例如，存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其它控制装置的控制下执行各种功能。另外，本领域技术人员将会理解，本公开的实施例可以结合任何数量的系统来实践，并且这里所描述的系统仅仅是本公开的示例性实施例。

为了简洁起见，可能不在此详细描述涉及信号处理、数据传输、信令、控制、机器学习、图像分析以及系统(以及系统的各个操作组件)的其它功能方面的传统技术。此外，这里包含的各个附图中示出的连接线旨在表示各个元件之间的示例功能关系和/或物理联接。应该注意的是，在本公开的实施例中可以存在许多替代的或附加的功能关系或物理连接。

参照图1，根据各种实施例，总体上示为100的专家模式实施系统100与车辆10相关联。通常，专家模式实施系统(或简称“系统”)100在适当的情况下实施来自远程用户的手动指令以用于车辆10的操作。如在本申请全文中所使用的，除非另有说明，否则术语“远程用户”、“远程操作者”和“远程个人”是指处于远离车辆10位置的远程人员。

如图1所示，车辆10通常包括底盘12、车身14、前轮16和后轮18。主体14布置在底盘12上并且基本上包围车辆10的部件。主体14和底盘12可以共同形成框架。车轮16-18各自旋转地联接到靠近车身14的相应角部的底盘12。

在各种实施例中，车辆10是自主车辆，并且专家模式实施系统100和/或其组件被并入到自主车辆10(以下称为自主车辆10)中。自主车辆10例如是被自动控制以将乘员从一个位置运送到另一个位置的车辆。在所示实施例中，车辆10被描述为乘用车，但是应该理解，也可以使用任何其它车辆，包括摩托车、卡车、运动型多功能车(SUV)、休闲车(RV)、船舶、飞机等。

在示例性实施例中，自主车辆10对应于汽车工程师协会(SAE)“J3016”标准分类的自动驾驶水平下的四级或五级自动化系统。使用这个术语，即使驾驶员没有对干预请求做出适当的响应，四级系统也表示“高度自动化”，指的是自动驾驶系统执行动态驾驶任务的所有方面的驾驶模式。另一方面，五级系统表示“全自动化”，指的是其中自动驾驶系统在人驾驶员可以管理的所有道路和环境条件下执行动态驾驶任务的所有方面的驾驶模式。然而，需要理解的是，根据本主题的实施例不限于任何特定的分类或者自动化类别的标题。此外，根据本实施例的系统可以与使用导航系统和/或其它系统来提供路线引导和/或实施的任何自主车辆或其它车辆结合使用。

如图所示，自主车辆10通常包括推进系统20、传动系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、通信系统36、至少一个数据存储装置32和至少一个控制器34。在各种实施例中，推进系统20可以包括内燃机、电气机器(诸如，牵引电机)和/或燃料电池推进系统。传动系统22构造成根据可选速比将来自推进系统20的动力传递到车轮16和18。根据各种实施例，传动系统22可以包括有级自动变速器、无级变速器或其它适当的变速器。

制动系统26构造成向车轮16和18提供制动转矩。在各种实施例中，制动系统26可以包括摩擦制动器、线制动器、再生制动系统(诸如，电气机器)，和/或其它适当的制动系统。

转向系统24影响车轮16和/或18的位置。虽然为了说明的目的将其描述为包括方向盘25，但是在本公开的范围内设想的一些实施例中，转向系统24可以不包括方向盘。

传感器系统28包括感测自主车辆10的外部环境和/或内部环境的可观察状况的一个或多个感测装置40a-40n。感测装置40a-40n可以包括但不限于雷达、激光雷达、全球定位系统、光学相机、热像仪、超声波传感器和/或其它传感器。致动器系统30包括一个或多个致动器装置42a-42n，其控制一个或多个车辆特征，例如但不限于推进系统20、传动系统22、转向系统24和制动系统26。在各种实施例中，自主车辆10还可以包括图1中未示出的内部和/或外部车辆特征，诸如，各种门、后备箱以及舱室特征，诸如，空气、音乐、照明、触摸屏显示组件(诸如，与导航系统连接使用的那些)等。

数据存储装置32存储用于自动控制自主车辆10的数据。在各种实施例中，数据存储装置32存储可导航环境的定义的地图。在各种实施例中，所定义的地图可以由远程系统预定义并且从远程系统获得(关于图2进一步详细描述)。例如，所定义的地图可以由远程系统组装并且以无线方式和/或以有线方式传送到自主车辆10，并存储在数据存储装置32中。路线信息还可以被存储在数据装置32内，即一组路段(在地理上与一个或多个所定义的地图关联)，其一起定义了用户从起始位置(例如，用户的当前位置)行驶到目标位置的路线。可以理解的是，数据存储装置32可以是控制器34的一部分，与控制器34分离，或者是控制器34的一部分并且是单独系统的一部分。

控制器34包括计算机可读存储装置或介质46和至少一个处理器44。处理器44可以是任何定制的或商业上可用的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、其任何组合、或者通常用于执行指令的任何装置。例如，计算机可读存储装置或介质46可以包括在只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储器。KAM是可用于在处理器44断电时存储各种操作变量的持久性或非易失性存储器。计算机可读存储装置或介质46可以使用已知存储装置(诸如，PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪存或者能够存储数据的任何其它电、磁、光或组合的存储器装置，其中一些数据表示可执行指令，由控制器34用于控制自主车俩10)中的任何一个来实现。

该指令可以包括一个或多个单独的程序，每个程序包括用于实现逻辑功能的可执行指令的有序列表。指令该在由处理器44执行时接收并处理来自传感器系统28的信号，执行用于自动控制自主车辆10的组件的逻辑、计算、方法和/或算法，并生成传送给致动器系统30的控制信号，以基于该逻辑、计算、方法和/或算法来自动地控制自主车辆10的组件。尽管图1中仅示出了一个控制器34，但是自主车辆10的实施例可以包括任何数量的控制器34，其通过任何合适的通信介质或通信介质的组合进行通信，并且协作以处理传感器信号、执行逻辑、计算、方法和/或算法，以及生成控制信号以自动控制自主车辆10的特征。在一个实施例中，如下面详细讨论的，控制器34被配置用于实施用于控制车辆10的专家模式。在一个实施例中，控制器34被配置为识别车辆10可能需要专家模式的情况，以在适当的情况下实施来自远程用户的用于车辆10的操作的手动指令。

通信系统36被配置为将信息无线传输至其它实体48(诸如但不限于：其它交通工具(“V2V”通信)、基础设施(“V2I”通信)、远程交通系统和/或用户装置(关于图2更详细地描述))，并且无线传输来自该其它实体48的信息。在示例性实施例中，通信系统36是被配置为使用IEEE802.11标准或通过使用蜂窝数据通信经由无线局域网(WLAN)进行通信的无线通信系统。然而，附加或替代通信方法(诸如，专用短程通信(DSRC)信道)也被认为在本公开的范围内。DSRC信道是指专门为汽车使用而设计的单向或双向短距离到中距离的无线通信信道以及相应的一组协议和标准。

现在参考图2，在各种实施例中，关于图1描述的自主车辆10可以适用于在特定地理区域(例如，城市、学校或商业园区、购物中心、游乐园、活动中心等)的出租车或班车系统的情况中，或可以只是由远程系统进行管理。例如，自主车辆10可以与基于自主车辆的远程交通系统相关联。图2绘示了总体上以50示出的操作环境的示例性实施例，该操作环境包括基于远程交通系统(或简称为“远程交通系统”)52的自主车辆，该远程交通系统52与关于图1描述的一个或多个自主车辆10a-10n相关联。在各种实施例中，操作环境50(全部或其一部分可对应于图1中所示的实体48)还包括一个或多个用户装置54，其经由通信网络56与自主车辆10和/或远程交通系统52通信。

通信网络56根据需要支持由操作环境50支持的装置、系统和组件之间(例如，经由有形通信链路和/或无线通信链路)的通信。例如，通信网络56可以包括无线载波系统60，诸如，蜂窝电话系统，其包括多个发射塔(未示出)、一个或多个移动交换中心(MSC)(未示出)以及连接无线载波系统60与陆地通信系统所需的任何其它网络组件。每个发射塔包括发送和接收天线以及基站，来自不同发射塔的基站直接或通过中间装置(诸如，基站控制器)连接到MSC。无线载波系统60可以实现任何合适的通信技术，包括例如，数字技术，诸如，CDMA(例如，CDMA2000)、LTE(例如，4G LTE或5G LTE)、GSM/GPRS或其它当前或新兴的无线技术。其它发射塔/基站/MSC安排是可能的，并且可以与无线载波系统60一起使用。例如，基站和发射塔可以位于同一地点，也可以彼此远离，每个基站可以负责单个发射塔，或者单个基站可以负责各种发射塔，或者各种基站可以耦接到单个MSC，仅举几个可能的安排。

除了包括无线载波系统60之外，可以包括卫星通信系统64形式的第二无线载波系统，以提供与自主车辆10a-10n的单向或双向通信。这可以使用一个或多个通信卫星(未示出)和上行链路发射站(未示出)来完成。单向通信可以包括，例如卫星无线电服务，其中节目内容(新闻、音乐等)由发射台接收，打包上传，然后发送到卫星，卫星将节目广播给用户。双向通信可以包括，例如使用卫星来中继车辆10和站之间的电话通信的卫星电话服务。除无线载波系统14之外，可以使用这种卫星电话，或者这种卫星电话可以代替无线载波系统14。

还可以包括陆地通信系统62，其是连接到一个或多个陆线电话并将无线载波系统60连接到远程交通系统52的传统的基于陆地的电信网络。例如，陆地通信系统62可以包括公共交换电话网络(PSTN)，诸如，其用于提供硬连线电话、分组交换数据通信和因特网基础设施。陆地通信系统62的一个或多个部分可以通过使用标准有线网络、光纤或其它光学网络、电缆网络、电力线、其它无线网络(诸如，无线局域网(WLAN))、或者提供宽带无线接入(BWA)的网络或其任何组合来实现。此外，远程交通系统52不需要经由陆地通信系统62连接，而是可以包括无线电话装置，从而其可以直接与无线网络(诸如，无线载波系统60)通信。

尽管在图2中仅示出了一个用户装置54，但是操作环境50的实施例可以支持任意数量的用户装置54，包括由一个人拥有、操作或以别的方式使用的多个用户装置54。由操作环境50支持的每个用户装置54可以使用任何合适的硬件平台来实现。就此而言，用户装置54可以以任何常见形式因素来实现，包括但不限于：台式计算机；移动计算机(例如，平板电脑、膝上型计算机或上网本计算机)；智能手机；视频游戏装置；数字媒体播放器；家庭娱乐装置的组件；数码相机或摄像机；可穿戴计算装置(例如，智能手表、智能眼镜、智能服装)等。由操作环境50支持的每个用户装置54被实现为具有执行本文描述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑的计算机实现的或基于计算机的装置。例如，用户装置54包括可编程装置形式的微处理器，该微处理器包括存储在内部存储结构中的一个或多个指令，并且被应用来接收二进制输入以创建二进制输出。在一些实施例中，用户装置54包括能够接收GPS卫星信号并且基于那些信号生成GPS坐标的GPS模块。在其它实施例中，用户装置54包括蜂窝通信功能，使得装置使用一个或多个蜂窝通信协议在通信网络56上执行语音和/或数据通信，如本文所讨论的。在各种实施例中，用户装置54包括可视显示器，诸如，触摸屏图形显示器或其它显示器。

远程交通系统52包括一个或多个后端服务器系统(未示出)，其可以是基于云的、基于网络的或驻留在由远程交通系统52服务的特定校园或地理位置处。远程交通系统52可以由现场顾问、自动顾问、人工智能系统或其组合来管理。远程交通系统52可以与用户装置54和自主车辆10a-10n进行通信以安排乘车、派遣自主车辆10a-10n等。在各种实施例中，远程交通系统52存储账户信息，诸如，用户认证信息、车辆标识符、简档记录、生物计量数据、行为模式和其它相关用户信息。在一个实施例中，如下面进一步详细描述的，远程交通系统52包括路线数据库53，其存储与导航系统路线有关的信息，包括：沿各种路线的道路的车道标记，以及特定路线段是否以及在何种度上受到施工区域的影响或受到一个或多个自主车辆10a-10n已经检测到的其它可能的危险或障碍的影响。

根据典型的用例工作流程，远程交通系统52的注册用户可以通过用户装置54创建乘车请求。乘车请求通常将指示乘员希望的乘车位置(或当前GPS位置)、期望的目的地位置(其可以识别预定的车辆停靠站和/或用户指定的乘员目的地)以及乘车时间。远程交通系统52接收乘车请求，处理该请求，并且在适当的时间，在指定的乘车地点(在和如果可用的情况下)分派选定的一个自动车辆10a-10n来接乘员。交通系统52还可以生成并向用户装置54发送适当配置的确认消息或通知，以使乘员知道车辆正在途中。

可以理解的是，本文公开的主题提供了可被认为是标准或基准自主车辆10和/或基于远程交通系统52的自主车辆的某些增强的特征和功能。为此，自主车辆和基于远程交通系统的自主车辆可以被修改、增强或以其它方式补充以提供下面更详细描述的附加特征。

根据各种实施例，控制器34实施如图3所示的自主驾驶系统(ADS)70。即，利用控制器34(例如，处理器44和计算机可读存储装置46)的合适的软件和/或硬件组件来提供与车辆10结合使用的自主驾驶系统70。

在各种实施例中，自主驾驶系统70的指令可以由功能或系统组织。例如，如图3所示，自主驾驶系统70可以包括传感器融合系统74、定位系统76、引导系统78和车辆控制系统80。可以理解，在各种实施例中，指令可以被组织进任何数量的系统(例如，组合，进一步划分等)，因为本公开不限于本示例。

在各种实施例中，传感器融合系统74合成并处理传感器数据，并预测车辆10的环境的物体和特征的存在、位置、分类和/或路径。在各种实施例中，传感器融合系统74可并入来自多个传感器(包括但不限于：相机、激光雷达、雷达和/或任何数量的其它类型的传感器)的信息。

定位系统76将传感器数据连同其它数据一起处理以确定车辆10相对于环境的位置，例如，相对于地图的本地位置、相对于道路车道的确切位置、车辆航向、速度等。引导系统78处理传感器数据以及其它数据，以确定车辆10遵循的路径。车辆控制系统80根据所确定的路径产生用于控制车辆10的控制信号。

在各种实施例中，控制器34实现机器学习技术以辅助控制器34的功能，诸如，特征检测/分类、障碍物减少、路线穿越、绘图、传感器集成、地面实况确定等。

返回参考图1，在各种实施例中，控制器34的一个或多个指令体现嵌入在图1的专家模式实施系统100中。专家模式实施系统100在由处理器44执行时处理与专家模式实施有关的数据，并且在适当的情况下实施来自远程用户的用于车辆10的操作的手动指令。

参考图4，示例性专家模式实施系统400通常包括自主车辆计算机模块410和远程计算机模块420。在所描述的实施例中，自主车辆计算机模块410设置在车辆10上，例如，作为图1的控制器34和/或一个或多个其它关联的计算机系统和/或装置的一部分。同样在所描述的实施例中，远程车辆计算机模块410远离车辆10设置，例如，作为基于图2的自主车辆的远程交通系统52的一部分。在各种实施例中，远程计算机模块420基于由自主车辆计算机模块410提供的数据和信息来启动用于车辆操作的专家模式的实施。并且，在各种实施例中，自主车辆计算机模块410基于经由远程计算机模块420从远程操作者提供的手动指令来实施专家模式。

在各种实施例中，自主车辆计算机模块410包括如图4所示的一个或多个传感器412、接口414(例如，包括一个或多个输入装置415)、处理器416和/或收发器418。在各种实施例中，自主车辆计算机模块410提供信息和/或数据，用于确定情况是否准许使用车辆10的专家模式，其中针对车辆10实施用于远程用户的手动指令。

在某些实施例中，传感器412包括图1的一个或多个传感器40a、40b、...40n(诸如，雷达、激光雷达、声纳、照相机等)，其被配置为检测车辆10附近的障碍物和/或接近车辆10的这种物体的移动模式，以用于确定启动专家模式是否适当。而且，在某些实施例中，接口414(诸如，其输入装置415)接收来自车辆10的乘员的输入，其请求实施专家模式(例如，经由输入装置(诸如，车辆10的触摸屏或麦克风)和/或经由图2的乘员的用户装置54的乘员输入)。

而且，在某些实施例中，将处理器416配置为做出确定(例如，使用传感器数据)，该确定可以用于确定专家模式的启动是否合适。另外，在各种实施例中，当启动专家模式时，处理器416促进用于专家模式的手动指令的实施，例如，通过利用手动指令生成用于车辆移动的草拟备用路径。

另外，在各种实施例中，收发器418促进自主车辆计算机模块410与远程计算机模块420之间的通信。例如，在某些实施例中，收发器418向远程计算机模块420提供数据以用于确定专家模式的启动是否合适(例如，包括来自接口414的任何输入、来自传感器412的数据、和/或来自处理器416的相关的确定)。在某些实施例中，收发器418还提供视频片段(例如，从具有车辆10周围的各种视野的传感器412的各种相机获得的片段)和相关信息(例如，关于各种车辆系统的操作)到远程计算机模块420。而且，在某些实施例中，收发器418经由远程计算机模块420接收手动指令，并且在实施专家模式时将车辆10提出的备用路径提供给远程计算机模块420以供确认。在各种实施例中，收发器418经由图2的通信网络56(例如，经由一个或多个无线运营商和/或其系统)与远程计算机模块420通信。

在各种实施例中，远程计算机模块420包括如图4所示的一个或多个处理器422、接口424和收发器426。在各种实施例中，远程计算机模块420在适当情况下启动专家模式，并且在专家模式下通过由人类远程操作者提供的用于由自主车辆计算机模块410实施的手动指令来促进车辆10的移动。

在某些实施例中，处理器422基于由自主车辆计算机模块410提供的信息(例如，基于经由接口414提供的用户请求，和/或使用来自传感器412的障碍物检测，经由处理器416提供的关于车辆10的运动延迟的初始确定，和/或车辆10和/或附近障碍物的移动模式，以及视频片段和/或经由收发器418提供的其它信息)确定专家模式的实施是否适当。

在各种实施例中，接口424促进由用于专家模式的远程操作人员提供的手动指令的发布。例如，在各种实施例中，接口424经由显示器430向远程操作者提供与车辆10的当前操作有关的数据(包括视频片段，任何相关联的音频和系统操作数据)。在各种实施例中，显示器430包括可视组件434，诸如，显示屏(例如，LCD显示屏)。而且，在某些实施例中，显示器430还可以包括音频组件436(例如，与用于视频片段和/或专家模式实施的可能性的音频描述等的相关音频)。另外，在各种实施例中，接口424还包括供远程用户提供输入的一个或多个输入装置432(例如，包括操纵杆、键盘、触摸屏、方向盘、计算机鼠标、麦克风等)，例如，以便确认需要专家模式，批准车辆10提出的备用路径，确认退出专家模式等。

并且，在各种实施例中，收发器426促进远程计算机模块420与自主车辆计算机模块410之间的通信。例如，在某些实施例中，收发器426将远程操作者的手动指令提供给自主车辆计算机模块410以在车辆10上实施。而且，在某些实施例中，收发器426将来自从远程操作者的附加信息(诸如，确认启动专家模式或从专家模式退出)提供到自主车辆计算机模块410。

还参考图4，在各种实施例中，来自自主车辆计算机模块410的输出442用作远程计算机模块420的输入。在各种实施例中，来自自主车辆计算机模块410的这样的输出442包括围绕车辆10的视频片段、来自传感器412(例如，关于在车辆10附近检测到的障碍物，和/或车辆10和/或障碍物的移动)的传感器数据、经由接口414的来自车辆10的乘员的输入(例如，对专家模式的请求)、来自处理器416的初始确定(例如，关于车辆10的运动的任何延迟)、和/或车辆10的建议备用路线，例如，经由收发器418提供的备用路线。

并且，还参考图4，远程计算机模块420还接收来自远程用户的附加输入444。在各种实施例中，该附加输入444包括专家模式被准许的远程用户的确认。远程计算机模块420提供输出446，在各种实施例中，该输出446包括：专家模式被启动的手动确认，连同手动指令，以及关于进入和退出专家模式的确认，其用作自主车辆计算机模块410的输入。自主车辆计算机模块410和远程控制器还分别向彼此提供另外的相应输出442、446，例如，其可以包括作为输出442为车辆10提供备用路径的自主车辆计算机模块410，然后其由远程用户通过到远程计算机模块420的输入444确认，其中确认作为输出446从远程计算机模块420发送到自主车辆模块410。并且，在各种实施例中，自主车辆计算机模块410最终提供输出448(例如，至图1的交通系统22、转向系统24、制动系统26、致动器系统30和/或其它车辆系统)用于控制车辆10沿确认的备用路径行驶。

现在转到图5，根据各种实施例，在可以利用专家模式的道路500上提供自主车辆10的示意图。在所描述的实施例中，该道路具有车辆10正在其中移动的第一车道502以及相邻车道504。车道502、504由车道标记506分开(例如，双黄线)。

如所描述的实施例，车辆10最初沿第一车道502中的初始路径512行驶。然而，检测到会阻挡初始路径512的障碍物510。因此，最终提出备用路径514以使车辆10在障碍物510周围行驶。然而，备用路径514将要求车辆10行驶通过或经过车道标记506(例如，双黄线)。因此，专家模式将被利用，包括使用来自远程用户的手动指令来计划和执行车辆10沿备用路径514的移动。

现在参考图6，根据各种实施例，提供了用于使用专家模式操作自主车辆的控制方法600的流程图。下面结合图2讨论控制方法600，并且继续参考图1-图5以及图7和图8。在各种实施例中，控制方法600可以由系统100和根据示例性实施例的图1-图5以及图7-图8的实施方式来执行。如根据本公开可以理解的，该方法内的操作顺序不限于如图6所示的顺序执行，而是可以按照适用的和根据本发明的一个或多个变化的顺序来执行。在各种实施例中，控制方法600可以被安排为基于一个或多个预定事件来运行，和/或可以在自主车辆10的操作期间连续运行。

在各种实施例中，控制方法600可以在602处开始。在各种实施例中，当乘员在车辆10内并且车辆10以自动方式开始操作时602发生。

在604处获得传感器数据。在各种实施例中，自主车辆计算机模块410的各种传感器412(例如，对应于图1中的传感器40a、40b、...40n)获得关于车辆10附近的障碍物的检测数据(例如，经由激光雷达、雷达、声纳、照相机和/或其它传感器)。并且，在各种实施例中，其它传感器412(例如，车辆10上的相机)获得车辆10周围的图像和视频片段。另外，在各种实施例中，其它传感器412(例如，车轮速度传感器、加速度计、GPS装置等)跟踪车辆10的运动和/或与各种车辆系统的操作有关的参数。

在606处获得地图数据。在各种实施例中，从存储器(诸如，图1的车辆10上的数据存储装置32和/或基于远程交通系统52的自主车辆的远程路线数据库53)中检索地图数据。

在某些实施例中，在608处获得乘员输入。在各种实施例中，乘员输入涉及经由车辆10行驶的期望目的地。而且，在某些实施例中，乘员输入可以包括用于远程用户实施专家模式的车辆乘员的请求，以便于对车辆10的控制的手动指令。在各种实施例中，用户输入可以经由图4的输入装置415和/或图2的用户装置54获得。

在610处生成并实施用于自主车辆的初始路径。在各种实施例中，使用乘员输入608、地图数据606和604的传感器数据(例如，经由处理器416提供的自动指令)经由用于图1的车辆10的图3的ADS70生成并实施初始路径。在各种实施例中，610的初始路径包括车辆10的移动路径，预期该路径将促进车辆10移动到预期目的地，同时最大化相关联的分数和/或期望的标准(例如，最小化驾驶时间，最大化安全性和舒适性等)。

在612处确定是否已经请求辅助。在一个实施例中，图4的处理器422(例如，对应于图2的基于远程交通系统52的自主车辆的处理器)在接收到车辆10的乘员已经通过图4的输入装置415和/或图2的用户装置54提供对专家模式辅助的请求的通知时，确定车辆10的乘员已经请求了辅助。

如果在612处确定用户已经请求辅助，则在614处做出需要辅助的确定。在一个实施例中，该确定也由图4的处理器422做出。

在616处将视频馈送和车辆信息从自主车辆计算机模块410经由收发器418、426(例如，对应于图4的输出442)提供给远程计算机模块420。在各种实施例中，视频馈送和信息包括在车辆的驾驶员侧和乘员侧的前方、后方的视频片段，以及与在车辆10的路径中或其附近的任何障碍物有关的物体检测信息，以及车辆系统和操作信息(例如，包括初始路径、车道、当前车道的中心线、车道标记、车辆速度和齿轮数据、关于任何错误消息的数据等)，和/或任何其它相关的信息和数据。在各种实施例中，经由图4的显示器430为远程操作者(例如，在基于图2的远程交通系统52的自主车辆处)显示视频馈送和数据。并且，在各种实施例中，在整个专家模式过程中优选连续地提供视频馈送和信息。

参考图7，在一个实施例中，车辆信息616包括信息700，信息700包括显示相对于车辆10正行驶的道路的车辆10的位置和移动的屏幕显示器702。在一个实施例中，屏幕显示器702示出车辆10、连同障碍物714(例如，对应于图5的障碍物510)、连同车辆10的初始路径716和用于道路的车道标记718、720。在某些实施例中，屏幕显示器702最终还可以包括车辆10的修正路径722(例如，当针对车道标记720的限制被重新绘制时，例如，由远程操作者)。同样，如图7所示，在各种实施例中，车辆信息616还包括前方视频片段704(即，在车辆10前方的视野)、驾驶员侧视频片段706(即，朝向车辆10的驾驶员侧的视野)、乘员侧视频片段708(即，朝向车辆10的乘员侧的视野)和后方视频片段710(即，车辆10后面的视野)以及各种车辆系统数据724(例如，举例来说，包括专家模式状态、车辆速度、车辆未运动的时间量以及各种车辆传感器、致动器和系统的运行状态等)。

再次参考图6，在618处车辆进入专家模式。在各种实施例中，专家模式由图4的处理器422启动。

当车辆处于专家模式时，在620处识别约束。在各种实施例中，约束是会干扰自主车辆的移动的道路的特征。具体而言，在一个实施例中，约束条件是会干扰车辆10在车辆10的初始路径中的障碍物周围移动的道路的特征。例如，在一个实施例中，约束包括图5的道路500的车道标记506(例如，双黄线)，这可能潜在地干扰车辆10在图5的物体510周围移动的能力，物体510阻挡了图5的初始路径512。

在622处获得用于约束的输入。在各种实施例中，用于放宽或另外调整约束的输入是经由图4的一个或多个输入装置432(例如，对应于图4的输入444)从远程操作者获得的。例如，在约束是道路的双黄线的一个实施例中，该输入可包括更远离车辆10的黄线的虚拟移动或虚拟重绘(为了规划目的)，例如，由远程操作者使用计算机鼠标、操纵杆、触摸屏和/或其它输入装置手动执行。例如，参考图7，在一个实施例中，图7的改变的车道标记720示出了车道标记的放宽的约束。另外，在各种实施例中，用于放宽或修改的约束(例如，双黄线的虚拟移动)从图4的远程计算机模块420发送到图4的自主车辆计算机模块410(例如，对应于图4的输出446)。

在624处生成备用路径。在各种实施例中，备用路径由图4的处理器416使用由远程计算机模块420提供的宽松的约束在车辆10上产生。并且，在各种实施例中，备用路径包括用于车辆10利用放宽的约束在检测到的障碍物周围移动的建议路线。例如，关于图5，在该示例中，备用路径514包括用于车辆10利用放宽的约束围绕障碍物510移动的路线，该放宽的约束使车辆10能够移动通过车道标记506(例如，双黄线)。在各种实施例中，备用路径经由收发器418、426(例如，对应于图4的输出442)从图4的自主车辆计算机模块410传输到远程计算机模块420。

在某些实施例中，在专家模式的实施期间，定位和地图图示仍然是激活的。因此，在某些实施例中，相对运动约束仍然被处理，但是可以基于在622处获得的约束的输入，在从百分之零(0％)到百分之百(100％)的范围内被放宽。而且，在某些实施例中，车辆10的可操纵性可能受此影响，并且如果使用A*(A星)算法，则可通过经由启发式的宽松的约束来辅助可操纵性，[f(n)＝g(n)+h(n)，其中h(n)是启发式函数]。

在626处批准输入被接收。在各种实施例中，批准输入包括由远程操作者提供的输入(例如，基于图2的交通系统52的自主车辆)，其用于批准或拒绝建议的路线。在各种实施例中，在远程操作者已经连续观看到由车辆10提供的作为616(例如，对应于图7的更新信息700)的连续的性能的一部分的更新的视频馈送和图像时，经由图4中的一个或多个输入装置432从远程操作者接收批准输入(例如，对应于图4的输入444)。

在628处确定备用路径是否已被批准。在各种实施例中，图4的处理器基于626的批准输入(例如，基于远程操作是否点击“批准”或“不批准”框，或者一个或多个其它用户对批准或不批准的指示)确定远程操作者是否已经批准备用路径。

如果确定备用路径尚未被批准，则该过程返回到624处。具体地说，在车辆10上的图4的处理器会产生不同的备用路径(例如，基于从远程计算机模块420接收的图4的输出446，指示备用路径尚未被批准)，并且该过程将使用修订的备用路径从624处以新的迭代而再次继续。

相反，如果确定备用路径已被批准，则在630处实施备用路径。具体地，在一个实施例中，备用路径的批准经由收发器426、418(例如，对应于图4的输出446)从图2的远程计算机模块420传输到自主车辆计算机模块410，并且处理器416提供用于各种车辆系统(例如，至图1的交通系统22、转向系统24、制动系统26、致动器系统30和/或其它车辆系统)的指令以实施备用路径(例如，对应于图4的输出448)。

在某些实施例中，在632处接收关于车辆是否已经成功实施备用路径的远程用户输入。在各种实施例中，远程操作者在替代路线的实施期间和之后使用来自616的更新的视频馈送和数据来确定车辆是否已经成功地实施了备用路径，并且远程操作者经由图4的一个或多个输入装置432提供输入以确认成功实施。

如上所述，在各种实施例中，远程用户基于观看作为616的连续的性能的一部分的连续的视频馈送和信息在632处进行附加确认。例如，参考图8，在一个实施例中，连续的车辆信息包括更新信息800，更新信息800包括更新的屏幕显示802(示出车辆10的更新位置以及道路的更新路径816和更新车道标记818、820)以及更新的前视频片段804、更新的驾驶员侧视频片段806、更新的乘员侧视频片段808、更新的后视频片段810和更新的车辆系统数据814(例如，作为示例，包括关于专家模式状态、车辆速度、车辆未运动的时间量以及各种车辆传感器、致动器和系统的运行状态等的更新信息)。

再次参考图6，在634处确定是否已经接收到该确认。在各种实施例中，在632处基于来自远程操作者的输入由图4的处理器422做出该确定。

如果确定还没有接收到该确认，则该过程返回到630处。该过程继续630-634的新的迭代，直到收到该确认。

一旦确定已经接收到该确认，则在各种实施例中，在636处更新一个或多个数据库。例如，在各种实施方式中，更新图2的路线数据库53以便车队中的其它车辆(例如，对应于图2的车辆10a、10b、...10n)可以适当地利用与专家模式有关的信息。例如，在某些实施例中，如果专家模式条件可能被沿相同道路行驶的其它车辆遇到，那么这样的信息可以有助于促进其它这样的车辆(例如，如果遇到长时间残留在道路上的障碍物，和/或长时间不工作的交通灯和/或施工区等)实施专家模式。

另外，在各种实施例中，在确定634处的确认之后，在636处终止专家模式。在各种实施例中，专家模式由图4的处理器422终止。

另外，在各种实施例中，在640处将控制归还给车辆。在各种实施例中，图4的处理器将全自动控制归还给车辆10(例如，到图4的自主车辆计算机模块410)，并且该过程返回到604处以进行新的迭代。

返回到612处，如果没有接收到辅助请求，则仍然可以基于可以经由图4的自主车辆计算机模块410感测和/或确定的条件来实施专家模式。

具体而言，在各种实施例中，在640处确定是否已经检测到可能准许实施专家模式的条件。在各种实施例中，该确定由图4的一个或多个处理器416和/或422利用从图4的传感器412获得的传感器数据做出。例如，在各种实施例中，如果在车辆10附近检测到障碍物(例如，如由车辆雷达、激光雷达、声纳、相机和/或其它传感器检测到的)，该障碍物以可能妨碍车辆10沿初始路径移动的方式，和/或如果车辆10不移动和/或以不大于预定阈值速度和/或距离的方式移动(例如，由车轮速度传感器、加速度计、GPS装置和/或其它传感器所检测的)，则在640处可以确定这种条件存在。

如果在640处确定不存在这样的条件，则该过程返回到604处。该过程然后继续，从604开始，直到在640处确定这样的条件和/或在612处确定已经接收到该请求。

相反，如果在640处确定存在这样的条件，则在642处确定与该条件有关的方面是否已经被满足。在各种实施例中，该确定由图4的一个或多个处理器416和/或422利用从图4的传感器412获得的传感器数据做出。例如，在各种实施例中，如果时间长度(例如，经由计时器所测量的)超过预定阈值(例如，如果障碍物和/或车辆10在预定的时间量上没有移动足够的距离)。在某些实施例中，如果已经满足一个或多个其它移动模式，则该条件的方面可能被满足。

如果在642处确定该条件的方面已经被满足，则在644处确定需要关于该要求的检查，以确定专家模式的实施是否是被准许。在各种实施例中，该确定由图4的一个或多个处理器416和/或422做出。

另外，在646处将视频馈送和车辆信息从自主车辆计算机模块410经由收发器418、426(例如，对应于图4的输出442)提供给远程计算机模块420。在各种实施例中，视频馈送和信息包括在车辆的驾驶员侧和乘员侧的前方、后方的视频片段，以及与在车辆10的路径中或其附近的任何障碍物有关的物体检测信息，以及车辆系统和操作信息(例如，包括初始路径、车道、当前车道的中心线、车道标记、车辆速度和齿轮数据、关于任何错误消息的数据等)，和/或任何其它相关的信息和数据，类似于上述616。在各种实施例中，经由图4的显示器52为远程操作者(例如，在基于图2的远程交通系统52的自主车辆处)显示视频馈送和数据，同样类似于上述的616(例如，在一个例子中，包括图7的信息700)。并且，在各种实施例中，在整个专家模式过程中优选连续地提供视频馈送和信息。

在648处从远程操作者接收确认输入。在各种实施例中，远程操作者(例如，基于图2的远程交通系统52的自主车辆)检查646的视频馈送和信息，基于此做出该特定情况是否需要专家模式的确定，然后经由图4的一个或多个输入装置432提供手动输入(例如，对应于图4的输入444)，指出是否有必要实施专家模式(例如，通过点击“需要专家模式”与“不需要专家模式”框和/或一个或多个其它指示)。

然后在650处确定专家模式是否已被确认。在各种实施例中，图4的处理器根据648处远程操作者的手动输入做出该确定。如果确定已经确认了专家模式，则该过程进行到618，以启动专家模式(例如，基于图4的对应输出446)。相反，如果确定专家模式还没有被确认，则该处理转而进行到604处(例如，基于图4的对应输出446)。

因此，如果在各种实施例中确定用户请求已经在612处完成，则专家模式可以由远程计算机模块420自动启动。相反，在于640和642处自动确定其条件和方面的其它情况下，则在各种实施例中，远程用户然后将在648处提供在650处分析的确认，以确定是否实施专家模式。

在各种实施例中，所公开的方法和系统提供用于自主车辆的专家模式的实施。专家模式使用从远离车辆的操作者获得的手动指令，以便通过设置在车辆上的计算机系统来实施。

虽然在前面的详细描述中已经呈现了至少一个示例性实施例，但是应该理解的是存在大量的变型。还应该理解的是，一个或多个示例性实施例仅仅是示例，并不意图以任何方式限制本公开的范围、适用性或配置。而是，前面的详细描述将为本领域的技术人员提供用于实施一个或多个示例性实施例的便利的途径指引。应该理解的是，在不脱离如所附权利要求及其合法等同物所阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims

1.一种用于控制自主车辆的方法，所述方法包括：

确定需要用于所述自主车辆继续移动的辅助；和

通过由所述自主车辆上的处理器实施由远离所述自主车辆的远程用户提供的手动指令来促进所述自主车辆的移动。

2.如权利要求1所述的方法，还包括：

从所述远程用户获得所述手动指令，以放宽所述自主车辆在其上行驶的会干扰所述自主车辆的移动的道路的约束；

其中所述实施所述指令的步骤包括：经由所述自主车辆上的处理器实施所述手动指令，以利用放宽的约束来促进所述自主车辆的移动。

3.如权利要求2所述的方法，还包括：

确定障碍物正阻碍所述自主车辆沿建议初始路径的移动；

其中：

所述获取所述手动指令的步骤包括：从所述远程用户获得所述手动指令，以放宽对促进所述自主车辆围绕所述障碍物移动的约束；并且

所述实施所述手动指令的步骤包括：经由所述自主车辆上的处理器实施所述手动指令，以便所述自主车辆围绕所述障碍物移动。

4.如权利要求3所述的方法，其中，实施所述手动指令的步骤包括：

经由所述自主车辆上的处理器使用针对所述放宽的约束的所述手动指令生成用于所述自主车辆在所述障碍物周围移动的备用路径。

5.如权利要求4所述的方法，其中，所述实施所述手动指令的步骤还包括：

从所述远程用户接收所述远程用户接受所述替代路径的手动确认；和

在接收到所述手动确认之后，通过由所述自主车辆上的处理器提供的指令实施所述备用路径。

6.如权利要求3所述的方法，其中：

所述获取手动指令的步骤包括：

从所述远程用户获得所述手动指令，以调整会干扰所述自主车辆围绕所述障碍物的移动的道路的车道边界；并且

所述实施手动指令的步骤包括：

通过所述自主车辆上的处理器实施所述手动指令，以利用调整后的车道边界促进所述自主车辆围绕所述障碍物移动。

7.如权利要求1所述的方法，其中，所述确定需要辅助的步骤包括：

至少部分基于来自个体的手动输入来确定需要辅助。

8.如权利要求7所述的方法，其中，基于从寻求辅助的所述自主车辆内的乘员接收到的通知做出所述需要辅助的确定。

9.根据权利要求7所述的方法，其中，所述需要辅助的确定基于：

从所述自主车辆的计算机系统接收的关于可能需要手动辅助的条件的指示；和

来自所述远程用户的确认需要手动辅助的手动确认。

10.一种用于控制自主车辆的系统，所述系统包括：

远离所述自主车辆设置的接口，所述接口配置为，当确定所述自主车辆的移动需要手动辅助时，接收来自远离所述车辆的远程用户的手动指令，以放宽所述自主车辆正在其上行驶的会干扰所述自主车辆的移动的道路的约束；和

处理器，其设置在所述车辆上，所述处理器配置成利用放宽的约束来实施所述手动指令，以利用所述放宽的约束来生成所述自主车辆的修正路径。