CN109219551B - 道路状况抬头显示器 - Google Patents

Abstract

本文提供来用于提供道路状况抬头显示系统的各种系统和方法。一种道路状况抬头显示系统，包括：视频显示器，用于呈现由相机系统捕捉的成像，该成像包括自主车辆周围的地形，该地形包括自主车辆在其上操作的驾驶表面；耦合至相机系统和视频处理器的车辆控制系统，该车辆控制系统用于：以自主模式操作自主车辆；识别自主车辆周围的地形的不可导航部分；在视频显示器上呈现增强现实用户界面，该增强现实用户界面由自主车辆的乘员用来指示航点；以及根据用户输入以非自主模式操作自主车辆。

Description

道路状况抬头显示器

优先权申请

本申请要求2016年6月30日提交的美国申请序列号15/199,430的优先权的权益，该申请通过引用整体结合于此。

技术领域

本文描述的实施例一般涉及车辆控制系统，并且更具体地涉及道路状况抬头显示器(heads up display)。

背景技术

汽车行业正在开发驾驶员安全辅助系统，旨在减少事故和道路死亡事故。部分或完全自主车辆操作是此类驾驶员安全辅助系统的组成部分。车辆自动化的范围是从无自动化的水平到完全或几乎完全自主的车辆，完全或几乎完全自主的车辆能够从车辆操作者接收目的地并导航至目的地而无需进一步的操作者交互。

发明内容

本公开描述了一种道路状况抬头显示系统，该系统包括：视频显示器，用于呈现由相机系统捕捉的成像，该成像包括自主车辆周围的地形，该地形包括自主车辆在其上操作的驾驶表面；耦合至相机系统和视频处理器的车辆控制系统，该车辆控制系统用于：以自主模式操作自主车辆；识别自主车辆周围的地形的不可导航部分；在视频显示器上呈现增强现实用户界面，该增强现实用户界面由自主车辆的乘员用来指示航点；以及根据用户输入以非自主模式操作自主车辆，其中为了呈现增强现实用户界面，车辆控制系统用于在包括自主车辆周围的地形的成像上呈现覆盖，该覆盖包括光标，并且其中为了接收指示航点的用户输入，车辆控制系统用于接收光标的位置。在另一方面，本公开还描述了一种提供道路状况抬头显示系统的方法，该方法包括：访问由相机系统捕捉的成像，该成像包括自主车辆周围的地形，该地形包括自主车辆在其上操作的驾驶表面；以自主模式操作自主车辆；识别自主车辆周围的地形的不可导航部分；呈现增强现实用户界面，该增强现实用户界面由自主车辆的乘员用来指示航点；以及根据用户输入以非自主模式操作自主车辆，其中呈现增强现实用户界面包括在包括自主车辆周围的地形的成像上呈现覆盖，该覆盖包括光标，并且其中接收指示航点的用户输入包括接收光标的位置。此外，本公开还描述了一种机器可读介质，包括用于提供道路状况抬头显示系统的指令，该指令在被机器执行时，使该机器执行如本公开所描述的提供道路状况抬头显示系统的方法。在又一方面，本公开还描述了一种提供道路状况抬头显示系统的设备，该设备包括：用于访问由相机系统捕捉的成像的装置，该成像包括自主车辆周围的地形，该地形包括自主车辆在其上操作的驾驶表面；用于以自主模式操作自主车辆的装置；用于识别自主车辆周围的地形的不可导航部分的装置；用于呈现增强现实用户界面的装置，该增强现实用户界面由自主车辆的乘员用来指示航点；以及用于根据用户输入以非自主模式操作自主车辆的装置，其中用于呈现增强现实用户界面的装置包括用于在包括自主车辆周围的地形的成像上呈现覆盖的装置，该覆盖包括光标，并且其中用于接收指示航点的用户输入的装置包括用于接收光标的位置的装置。

附图说明

在附图中(这些附图不一定是按比例绘制的)，相同的数字可描述不同视图中的类似的组件。具有不同的字母后缀的相同的数字可表示类似组件的不同实例。在所附附图的图中通过示例而非限制性地例示出一些实施例，其中：

图1是示出根据实施例的用于控制自主车辆的系统的示意图；

图2是根据实施例的用户界面的例示；

图3是根据实施例的控制和数据流图；

图4是根据实施例的例示出道路状况抬头显示系统的框图；

图5是例示出根据实施例的用于提供道路状况抬头显示系统的方法的流程图；以及

图6是根据示例实施例的例示本文中所讨论的技术(例如，方法)中的任一种或多种可对其执行的示例机器的框图。

具体实施方式

在以下描述中，为了进行解释，阐述了众多具体细节以便提供对一些示例实施例的全面理解。然而，对本领域技术人员将显而易见的是，可在没有这些特定细节的情况下实施本公开。

本文公开的是提供道路状况抬头显示器的系统和方法。虽然车辆自动化和其他驾驶员安全辅助系统可具有完全自主车辆操作的最终目标，但在许多情况下，车辆系统可用的人工智能可能无法应对人类不可预测性或异常情形。用于使连接的车辆自动化的现代计算机视觉和传感器融合系统在恶劣天气条件和越野以及驾驶时需要考虑的其他因素中苦苦挣扎。例如，当雪或其他天气条件模糊道路标志时，或者当未标识物体(例如，倒下的树)阻挡路径时，人类控制将仍然是重要的。所需要的是当自主车辆不能自信地操作时使用的改进的车辆控制系统。

图1是示出根据实施例的用于控制自主车辆的系统100的示意图。图1包括经由网络108通信地耦合的车辆控制系统102、自主车辆104和移动设备106。

自主车辆104可以是能够至少部分地以自主模式操作的任何类型的车辆，诸如商用车辆、消费者车辆或娱乐车辆。自主车辆104可以在某些时间以驾驶员常规地使用踏板、方向盘和其他控件操作车辆104的手动模式进行操作。在其他时间，自主车辆104可以以完全自主模式操作，其中车辆104在没有用户干预的情况下操作。另外，自主车辆104可以以半自主模式操作，其中车辆104控制驾驶的许多方面，但是驾驶员可以使用常规输入(例如，方向盘)和非常规输入(例如，语音控制、触摸板、姿势、眼睛跟踪等)来干预或影响操作。

自主车辆104包括传感器阵列，该传感器阵列可包括各种前向、侧向和后向相机、雷达、LIDAR、超声波或类似传感器。本文档中使用前向来指代主要行进方向、座椅被布置为面对的方向、当传动装置被设置为驾驶时的行进方向等。然后常规地，向后或后向被用于描述指向与向前或前向的那些方向大致相反的方向的传感器。应理解，一些前向相机可具有相对宽视场，甚至达180度。类似地，以用于检测相邻交通车道(例如，在驾驶员的盲点中)中的交通的角度(可能偏离车辆的中线60度)指向的后向相机也可具有相对宽的视场，该相对宽的视场可与前向相机的视场交迭。侧向传感器是从车辆104的侧面向外指向的那些传感器。传感器阵列中的相机可包括红外相机或可见光相机，能够以具有窄视场或大视场的长距或短距进行聚焦。

自主车辆104包括车载诊断系统以记录车辆操作和车辆性能、维护或状态的其他方面。自主车辆104还可以包括各种其他传感器，诸如驾驶员识别传感器(例如，座椅传感器、眼睛跟踪和识别传感器、指纹扫描仪、语音识别模块等)，乘员传感器或各种环境传感器以检测风速、室外温度、气压计压力、雨水/湿度等。

移动设备106可以是诸如智能电话、蜂窝电话、移动电话、膝上型计算机、平板电脑或其他便携式联网设备之类的设备。通常，移动设备106足够小而轻以被认为是便携式的，并且包括用于在持续或间歇连接上连接到网络108的机制。

网络108可包括局域网(LAN)、广域网(WAN)、无线网络(例如，802.11或蜂窝网络)、公共交换电话网(PSTN)网络、自组织网络、个域网或(例如，

)、或网络协议和网络类型的其他组合或排列。网络108可包括单个局域网(LAN)或广域网(WAN)、或者LAN或WAN的组合(诸如，因特网)。耦合至网络108的各种设备(例如，移动设备106或车辆104)可经由一个或多个有线或无线连接被耦合至网络108。

网络108还可包括车载网络，例如板载诊断网络(例如，OBD II)、CAN总线、蓝牙、以太网、或者其他车载、短距、小区域或个人网络。

车辆控制系统102可包括通信模块112，用于与移动设备106或自主车辆104接口。通信模块112可传送用于监视环境事件、车辆活动、车辆状态、地理位置等的数据。车辆控制系统102可使用通信模块112来与自主车辆104上的传感器通信，以收集关于以下的信息：路面、天气事件、一天中的时间、位置、路线、该区域中的其他车辆、行人交通、自行车等等。使用此数据，车辆控制系统102能够确定道路中的潜在障碍并且发起减轻操作，诸如制动、转向或警告驾驶员。

车辆控制系统102还可包括配置模块114。驾驶员可将车辆控制系统102配置成根据潜在障碍物、交通或其他环境因素的类型、严重性、位置或其他方面来以某些方式作出反应。驾驶员的配置可被存储在配置模块114中或由配置模块114访问。不同驾驶员可存储不同的驾驶员偏好(例如，丈夫可存储一个偏好集合而他的妻子可存储不同的偏好集合)，其中每个驾驶员偏好可由配置模块114访问以配置车辆控制系统102。

在操作中，自主车辆104能以自主模式操作，该自主模式可以是完全自主的或部分自主的。当自主车辆104遇到无法正确估计的情形时，自主车辆104可警告乘员，乘员可接管自主车辆104的控制一段时间。自主车辆104可能无法估计的情形包括其中由于雾、大雨、降雪或其他天气事件而使道路被掩盖的与天气有关的情形。另一情形可能是自主车辆104遇到障碍，诸如倒下的树或冲刷后的道路。另一情形可在越野环境中，其中自主车辆104遇到难以导航的路径或障碍物或者其中自主车辆104不能确定属性(例如，横渡溪流或穿过大量灌木丛)。

在此类情形中，操作者可控制自主车辆104，并且对其进行导航或提供其他输入以使自主车辆104通过该情形，其中自主车辆104可再次接管并自主操作。某些自主驾驶车辆可被设计成没有常规控制。例如，自主车辆104可不安装常规的转向机制(例如，方向盘)。在此类实例中，可使用其他用户界面设备和机制。在人类控制操作期间，可向人类操作者呈现覆盖在现实世界上的图形用户界面(GUI)。此技术通常被称为增强现实(AR)。可实现各种形式的GUI以辅助操作者。示例实施例包括但不限于：在挡风玻璃上显示GUI、在移动设备106上显示GUI、在头戴式可穿戴设备(例如，智能眼镜或护目镜)上显示GUI、或者在自主车辆104前方或后方的车行道上投射GUI。

图2是根据实施例的用户界面200的例示。用户界面200覆盖在现实世界物体上，并且因此充当增强现实界面。由于降雪，道路的边缘被模糊。在此实例中，自主车辆无法确定路径。车辆可根据情形减速或停止，并且提示车辆的乘员提供输入。以下示例可被用于装备有常规控制(例如，方向盘、制动踏板、加速踏板等)的车辆中，或者具有最小或替代用户控制的非标准车辆中。

在一个方面，使用前向相机(例如，来自安装在车辆中的传感器阵列)，在屏幕上向操作者(例如，用户)呈现前方场景。屏幕可位于以下之中：仪表板中的信息娱乐系统、由操作者保持的移动设备、或者由操作者穿戴的头戴式显示器。其他形状因子被认为在本公开的范围内。

可在场景中呈现引导和其他标记。示例引导包括道路边缘线202A、202B和行进箭头204A、204B。示例标记包括光标206和标签208。标签208可指示行进路径中的未标识物体210。可呈现其他标签，诸如用于指令操作者使用用户界面的标签，或者用于指示用户界面中的线、箭头或其他标志的含义的标签。

在另一方面，可以在增强现实呈现中呈现引导(例如，道路边缘线202A-B)和标记(例如，标签208)。引导和标记可被呈现在例如挡风玻璃上，使得操作者能够观看覆盖在现实世界物体(例如，道路)上的引导和标记。图像分析可被用于例如由传感器阵列中的相机捕捉的图像上以标识形状、边缘、图案或其他图像元素。视频处理器可被用于构造图像，而投影仪可被用于将覆盖图像投射在半透明或透明表面(例如，挡风玻璃)上。可在头戴式显示器(例如，智能眼镜)中、窗户(例如，挡风玻璃或后窗)上提供增强现实呈现，或者将增强现实呈现投射到现实世界物体上。

在一个示例中，投影仪系统被前向地安装在车辆上并且能够将光投射到道路和周围表面上。投影仪可使用激光或在日光下可见的某些其他高强度光。投影仪可被配置成呈现不同颜色的光以提供更直观且易于使用的用户界面。可以使用反馈系统对齐投射成像，其中相机系统被用于利用投射光捕捉场景，并且投影仪被控制成调整和对准场景中的成像。投影仪可包括加速度计或陀螺仪或者与加速度计或陀螺仪一起使用以感测车辆或传感器阵列的运动，并且对输出图像进行调整，使得图像在场景内正确地记录。

在任一方面，用户/操作者能够通过用户界面控制车辆。在图2中例示的示例中，操作者可控制光标206来指示航点(waypoint)，该航点指示车辆将在哪里行进。可使用附加控制来确认或发出命令，该命令用于开始向航点移动、调整车辆的速度、或控制其他车辆功能。

可使用各种模态来提供用户输入，诸如经由移动设备、使用仪表板控制、使用语音命令、使用姿势、经由触摸屏、使用注视控制等。一旦操作者发出命令，车辆可开始以规定的方式操作。在通过绝境(impasse)之后，车辆可接管自主操作。替代地，车辆可继续以用户操作模式操作，直到操作者将车辆置回于自主模式。

在图2所例示的示例中，由于缺少可见的道路边缘，车辆可能首先要求用户输入。操作者可将光标206移动到车辆前方大约30英尺的位置，并命令车辆移动到此地点。在第二实例中，车辆可能由于障碍而再次减速或停止。操作者可能注意到障碍是坐在道路上的野生动物，并按喇叭以使动物跑开。之后，操作者可命令车辆返回自主操作。

使用这种机制，人类操作者能够增强自主车辆的操作并提供人类洞察力，这可能难以在智能车辆中以编程方式模拟。

图3是根据实施例的控制和数据流图300。使用各种机制中的一个来捕捉道路的图像(操作302)，包括但不限于红外相机、激光雷达、可见光相机等。当车辆向前行驶时，道路的图像可以是车辆前方道路的图像，或者当车辆倒档和倒退时，捕捉的是车辆后方的道路的图像。

投射道路边界(操作304)。道路边界可被投射于头戴式显示器、挡风玻璃、后窗、或者道路和周围表面上。投射道路标志(操作306)。如上文在图2中描述的，道路标志包括引导和其他标记。在操作304中，道路标志能以与道路边界相同或类似的方式投射。

显示光标(操作308)。光标可以是任何图标图形，诸如十字准线、箭头、框、程式化的手等。光标能以与道路边界和道路标志相同或类似的方式来投射。

操作者能够使用各种模态来操纵光标(操作310)。非限制性示例包括使用语音命令、使用触摸屏、使用鼠标、触控笔或其他输入设备、或者使用姿势。例如，电容表面可被安装在车辆的仪表板中以接收用户输入。电容表面可被覆盖在显示器(例如，发光二极管显示器)上，使得用户界面可被呈现在显示器上，并且用户可与电容表面交互以选择选项或以其他方式操纵用户界面。此类用户界面可用于气候控制、多媒体消费或其他控制。为了移动光标，操作者可使用仪表板中的触摸屏。

在另一示例中，面向驾驶室的相机可捕捉操作者活动并标识手、手指、手臂、面部或其他身体姿势。姿势可被注册，使得它们是唯一可标识的，以控制车辆操作的各方面。姿势控制可与语音控制组合。

车辆分析道路边界内的光标位置，然后根据光标位置进行操作(操作312)。例如，操作者可将光标移动到车辆当前位置前方的道路中的位置，然后用言辞表达“汽车，以5英里/小时向前移动”。在听到语音命令之际，车辆可注册光标的位置并加速到命令速度并朝向光标的位置进行导航。一旦处于光标指示的位置，车辆可减速或停止，或者可接管操作并恢复自主操作。在任何情形中，车辆的行为可以是用户可配置的。用户偏好可被存储在车辆中、云中或辅助设备(例如，移动设备)中。

其他标记能以与道路边界类似的方式呈现。响应于光标控制的车辆操作可与这里描述的操作类似。

图4是根据实施例的例示出道路状况抬头显示系统400的框图。系统400可被安装在车辆中。替代地，系统400可与车辆分开，但是通信地耦合至车辆。系统400包括视频显示器402和车辆控制系统404。车辆控制系统404可包括各种组件，其中的某些或全部可被包括在车辆控制系统404的任何给定实例中。车辆控制系统404的组件包括但不限于无线电406、电池408、存储器410和传感器412A-C，这些组件被耦合至微处理器414。车辆控制系统404可进一步被耦合至麦克风416和扬声器418，或者具有并入的麦克风416和扬声器418。

无线电406可被配置成提供无线网络通信系统。无线联网通信系统可使用各种协议或技术(包括Wi-Fi、3G、4G LTE/LTE-A、WiMAX网络、蓝牙、近场通信(NFC)等)中的一个或多个。

电池408可以是可再充电电池类型(例如，镍-镉(NiCad)、铅酸、锂离子(Li离子)或其他合适的技术)或非可再充电电池类型(例如，原电池)。电池408可被用于向车辆控制系统404的各种组件提供功率。在一些实施例中，电池408是车辆电池，并且车辆控制系统404从附属功率汲取功率。

存储器410可以是易失性存储器(例如，动态随机存取存储器-DRAM)和非易失性存储器，诸如闪存(例如，电可擦除只读存储器-EEPROM、NAND闪存、NOR闪存等)等。存储器410可被用于存储用来执行本文描述的各种操作的指令。存储器410还可被用于存储由传感器412A-C获得的传感器数据、姿势数据、图像、以及其他数据以提供本文描述的功能。

车辆控制系统404可包括一个或多个传感器412A-C，这一个或多个传感器412A-C可包括但不限于相机系统、激光雷达、雷达、超声波检测器、加速度计、陀螺仪、磁力计、高度计、气压计、红外检测器、运动检测器、定位电路(例如，全球定位系统(GPS)电路)等。微处理器414向传感器412A-C中的每一个提供外部电源电压(Vdd)。微处理器414可从传感器412A-C中的每一个接收各种数字或模拟信号。可从线或者通过使用通信协议来读取传感器数据。

微处理器414可包括一个或多个处理核414、数字信号处理器等。根据处理器的特定架构，微处理器414可包含一个或多个处理核，处理核中的每一个具有一个或多个算术逻辑单元(ALU)、指令取出单元、指令解码单元、控制单元、寄存器、数据堆栈指针、程序计数器、以及其他必要组件。作为示例性示例，微处理器414可以是x86型处理器。微处理器414还可包括图形处理单元(GPU)。在这些实施例中，GPU可以是卸载某些计算密集型操作，尤其是与图形渲染相关联的那些操作的专用协处理器。GPU可以是分开的完整电路，在此情况下，微处理器414和GPU一般协同工作，共享对存储器资源、I/O通道的访问等。

在一个实施例中，视频显示器402被配置成呈现由相机系统捕捉的成像(该成像包括自主车辆周围的地形，该地形包括自主车辆在其上操作的驾驶表面)。相机系统可与传感器412A-C集成或者作为传感器412A-C的一部分。在实施例中，相机系统被合并到自主车辆中。在相关实施例中，相机系统安装在自主车辆的挡风玻璃上。

在实施例中，相机系统包括可见光相机、红外相机、深度相机或光测距相机(例如，激光雷达)。使用相机系统，针对物体(诸如，道路边缘、行人、其他车辆、停车位、路灯等)来监视自主车辆周围的环境。相机系统为自动车辆操作提供显著输入模态。

车辆控制系统404被耦合至相机系统和视频处理器，车辆控制系统404可被配置成以自主模式操作自主车辆。

此外，车辆控制系统404可被配置成识别自主车辆周围的地形的不可导航部分。在一个实施例中，为了识别不可导航部分，车辆控制系统404用于确定缺少清晰的道路边界。例如，在暴风雪中，道路边缘可能会被降雪、冰等部分模糊或完全掩盖。在此类情形中，自主车辆可确定继续行驶是不安全的，因为它不能安全地导航。

在另一实施例中，为了识别不可导航部分，车辆控制系统用于标识驾驶表面中基本上阻挡通过的障碍。障碍可以是任何类型的物体。非限制性示例包括：倒下的树、岩石、功率线等；行人；野生动物；另一车辆；冲刷后的车行道；或建筑区。

另外，车辆控制系统404可被配置成呈现增强现实用户界面，增强现实用户界面由自主车辆的乘员用于指示航点。可在视频显示器上呈现增强现实用户界面。在实施例中，为了呈现增强现实用户界面，车辆控制系统404用于在包括自主车辆周围的地形的成像上呈现覆盖，该覆盖包括光标。在此类实施例中，为了接收指示航点的用户输入，车辆控制系统404用于接收光标的位置。

在实施例中，覆盖包括指示地形中的对应估计道路边缘的标记。标记可以是用于指示估计道路边缘位于何处的虚线或实线、图标、或其他标记。在另一实施例中，覆盖包括驾驶表面中基本上阻挡通过的障碍的标记。障碍物可利用例如边框来勾勒轮廓，或者利用文本标签来例示。

在实施例中，光标的位置由自主车辆的乘员控制。光标可以是各种形式，诸如十字准线、程式化的手或手指、或者箭头。其他图标、图片或图形可被用作光标。在实施例中，乘员使用以下来控制光标的位置：视频显示器上的触摸屏表面、语音命令或姿势。例如，乘员可使用触摸屏通过在触摸屏上拖动或移动一个或多个手指来控制光标。作为另一示例，乘员可使用姿势来控制光标位置以在姿势的对应方向上推动或移动光标。可使用手臂、手指、手、头部、眼睛或其他合适的身体部位来执行姿势。可通过捕捉车辆的驾驶室的相机来观察姿势。可使用的另一模态是语音控制，诸如利用关键字“向前移动光标”、“向后移动光标”等。可组合光标控制模态。

在实施例中，为了呈现增强现实用户界面，车辆控制系统404用于与用户设备接口以呈现包括自主车辆周围的地形的成像以及成像上的覆盖。用户设备可以是任何类型的移动设备，诸如可穿戴设备、膝上型计算机、智能电话、平板计算机等。因此，在实施例中，用户设备是头戴式设备。在另一实施例中，用户设备是智能电话或平板计算机。

车辆控制系统404可进一步被配置成根据用户输入以非自主模式操作自主车辆。在实施例中，为了根据用户输入以非自主模式操作自主车辆，车辆控制系统404用于在航点的方向上推进自主车辆。

在实施例中，为了呈现增强现实用户界面，车辆控制系统404用于与安装在自主车辆上的光投射系统接口，以将覆盖投射在自主车辆周围的地形上。光投射系统可以是激光投射器。

在实施例中，车辆控制系统404用于接收指示航点的用户输入。在进一步的实施例中，为了接收指示航点的用户输入，车辆控制系统404可被配置成：与触摸屏处理器接口，该触摸屏处理器耦合至视频显示器并且用于获得自主车辆的乘员的触摸接触；基于触摸接触调整增强现实用户界面中的光标位置；以及估计光标位置以标识航点。

在进一步的实施例中，为了接收指示航点的用户输入，车辆控制系统404可被配置成：与面向用户的相机系统接口，该面向用户的相机系统用于捕捉并识别由自主车辆的乘员执行的姿势；基于姿势调整增强现实用户界面中的光标位置；以及估计光标位置以标识航点。

在另一实施例中，为了接收指示航点的用户输入，车辆控制系统404可以被配置成：与音频处理器接口，该音频处理器耦合至麦克风以获得音频数据并标识音频数据中的话语；基于话语调整增强现实用户界面中的光标位置；以及估计光标位置以标识航点。

车辆控制系统404被理解为涵盖有形实体，该有形实体是被物理地构造、具体地配置(例如，硬连线)、或者临时地(例如，瞬态地)配置(例如，编程)成以所指定的方式操作或者执行本文中所描述的任何操作的部分或全部的实体。可使用一个或多个电路(诸如，利用专用硬件(例如，现场可编程门阵列(FPGA)、逻辑门、图形处理单元(GPU)、数字信号处理器(DSP)等))来构造此类有形实体。如此，本文描述的有形实体可称为电路、电路系统、处理单元、子系统等。

图5是例示出根据实施例的用于提供道路状况抬头显示系统的方法500的流程图。在框502处，访问由相机系统捕捉的成像，该成像包括自主车辆周围的地形，该地形包括自主车辆在其上操作的驾驶表面。在实施例中，相机系统被合并到自主车辆中。在另一实施例中，相机系统安装在自主车辆的挡风玻璃上。在实施例中，相机系统包括可见光相机、红外相机、深度相机或光测距相机。

在框504处，以自主模式操作自主车辆。自主操作可包括导航、加速、转向、制动和其他操作，以在很少或没有用户输入的情况下提供运送。

在框506处，在自主车辆周围识别地形的不可导航部分。在实施例中，识别不可导航部分包括确定缺少清晰的道路边界。在实施例中，识别不可导航部分包括标识驾驶表面中基本上阻挡通过的障碍。

在框508处，呈现增强现实用户界面，增强现实用户界面由自主车辆的乘员用于指示航点。可在视频显示器上呈现增强现实用户界面。

在实施例中，呈现增强现实用户界面包括在包括自主车辆周围的地形的成像上呈现覆盖，该覆盖包括光标。在此类实施例中，接收指示航点的用户输入包括接收光标的位置。

在实施例中，覆盖包括指示地形中的对应估计道路边缘的标记。在另一实施例中，覆盖包括驾驶表面中基本上阻挡通过的障碍的标记。

在实施例中，光标的位置由自主车辆的乘员控制。在进一步的实施例中，乘员使用以下来控制光标的位置：视频显示器上的触摸屏表面、语音命令或姿势。

在实施例中，呈现增强现实用户界面包括与安装在自主车辆上的光投射系统接口，以将覆盖投射在自主车辆周围的地形上。

在实施例中，呈现增强现实用户界面包括与用户设备接口以呈现包括自主车辆周围的地形的成像以及成像上的覆盖。在实施例中，用户设备是头戴式设备。在实施例中，用户设备是智能电话或平板计算机。

在实施例中，方法500包括接收指示航点的用户输入。在进一步的实施例中，接收指示航点的用户输入包括：与触摸屏处理器接口，该触摸屏处理器耦合至视频显示器并且用于获得自主车辆的乘员的触摸接触；基于触摸接触调整增强现实用户界面中的光标位置；以及估计光标位置以标识航点。

在实施例中，接收指示航点的用户输入包括：与面向用户的相机系统接口，该面向用户的相机系统用于捕捉并识别由自主车辆的乘员执行的姿势；基于姿势调整增强现实用户界面中的光标位置；以及估计光标位置以标识航点。

在实施例中，接收指示航点的用户输入包括：与音频处理器接口，该音频处理器耦合至麦克风以获得音频数据并标识音频数据中的话语；基于话语调整增强现实用户界面中的光标位置；以及估计光标位置以标识航点。

在框510中，根据用户输入以非自主模式操作自主车辆。在实施例中，根据用户输入以非自主模式操作自主车辆包括在航点的方向上推进自主车辆。

各实施例可在硬件、固件和软件中的一者或组合中实现。实施例也可被实现为存储在机器可读存储设备上的指令，该指令可由至少一个处理器读取并执行，以执行本文中所描述的操作。机器可读存储设备可包括用于以可由机器(例如，计算机)读取的形式存储信息的任何非瞬态机制。例如，机器可读存储设备可包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备、以及其他存储设备和介质。

处理器子系统可被用于执行机器可读介质上的指令。处理器子系统可以包括一个或多个处理器，每个处理器具有一个或多个核。另外，处理器子系统可被设置在一个或多个物理设备上。处理器子系统可以包括一个或多个专用处理器，诸如图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或固定功能处理器。

如本文中所描述的示例可包括逻辑或者多个组件、模块或机制，或可在逻辑或者多个组件、模块或机制上操作。各模块可以是通信地耦合至一个或多个处理器以实现本文中所描述的操作的硬件、软件或固件。各模块可以是硬件模块，并且如此，各模块可被认为是能够执行指定操作的有形实体且可按特定方式来配置或布置。在示例中，能以规定的方式将电路(例如，内部地或者相对于诸如其他电路之类的外部实体)布置为模块。在示例中，一个或多个计算机系统(例如，独立的客户机或服务器计算机系统)或一个或多个硬件处理器的全部或部分可由固件或软件(例如，指令、应用部分、或者应用)配置为操作用于执行规定操作的模块。在示例中，软件可驻留在机器可读介质上。在示例中，软件在由模块的底层硬件执行时，使得该硬件执行规定的操作。因此，术语硬件模块被理解为涵盖有形实体，该有形实体是被物理地构造、具体地配置(例如，硬连线)、或者临时地(例如，瞬态地)配置(例如，编程)成以所指定的方式操作或者执行本文中所描述的任何操作的部分或全部的实体。考虑到其中临时配置模块的示例，这些模块中的每一个不需要在任何一个时刻进行实例化。例如，在模块包括使用软件而配置的通用硬件处理器的情况下，通用硬件处理器可以在不同时间被配置为相应的不同模块。软件可以相应地配置硬件处理器，例如以便在一个时间实例处构成特定的模块，并且在不同的时间实例处构成不同的模块。各模块也可以是软件或固件模块，它们操作来执行本文描述的方法。

如在本文档中所使用，电路系统或电路可单独或以任何组合方式包括例如：硬连线电路；可编程电路，诸如包括一个或更多单独指令处理核的计算机处理器；状态机电路；和/或存储由可编程电路执行的指令的固件。电路、电路系统或模块可共同或单独地被具体化为形成较大系统的一部分的电路系统，该较大系统例如，集成电路(IC)、片上系统(SoC)、台式计算机、膝上型计算机、平板计算机、服务器、智能电话、等等。

图6是以计算机系统600的示例形式示出的机器的框图，根据示例实施例，该机器中有指令集或指令序列，这些指令集或序列能被执行以使该机器执行本文中讨论的方法中的任意一个方法。在替代实施例中，该机器作为独立设备进行操作，或可以被连接(例如，联网)到其他机器。在联网的部署中，该机器可在服务器-客户机网络环境中作为服务器或客户机来进行操作，或者其可在对等(或分布式)网络环境中充当对等机。该机器可以是可穿戴设备、个人计算机(PC)、平板PC、混合平板、个人数字助理(PDA)、移动电话、或能够执行指定要由该机器采取的动作的指令(顺序地或以其他方式)的任何机器。此外，虽然仅示出单个机器，但是，术语“机器”也应当认为包括单独地或联合地执行一组(或多组)指令以执行本文所讨论的方法中的任何一种或更多种方法的机器的任何集合。类似地，术语“基于处理器的系统”应当认为包括由处理器(例如，计算机)控制或操作以单独地或联合地执行指令来执行本文讨论的方法中的任何一种或多种方法的一个或多个机器的任何集合。

示例计算机系统600包括至少一个处理器602(例如，中央处理单元(CPU)、图形处理单元(GPU)或这两者、处理器核、计算节点等)、主存储器604和静态存储器606，这些组件通过链路608(例如，总线)彼此通信。计算机系统600可进一步包括视频显示单元610、字母数字输入设备612(例如，键盘)、以及用户界面(UI)导航设备614(例如，鼠标)。在一个实施例中，视频显示单元610、输入设备612和UI导航设备614被结合到触屏显示器中。计算机系统600可以附加地包括存储设备616(例如，驱动单元)、信号生成设备618(例如，扬声器)、网络接口设备620以及一个或多个传感器(未示出)，该传感器诸如全球定位系统(GPS)传感器、罗盘、加速度计、陀螺仪、磁力计、或其他传感器。

存储设备616包括机器可读介质622，在该机器可读介质622上储存有一组或多组数据结构和指令624(例如，软件)，该一组或多组数据结构和指令624具体化本文所描述的方法或功能中的一者或多者，或者由本文中所描述的方法或功能中的一者或多者所利用。在由计算机系统600执行指令624期间，该指令624也可完全地或至少部分地驻留在主存储器604、静态存储器606内、和/或处理器600内，主存储器604、静态存储器606和处理器602也构成机器可读介质。

虽然机器可读介质622在示例实施例中被例示为单个介质，但术语“机器可读介质”可包括存储一条或多条指令624的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。术语“机器可读介质”也应当认为包括任何有形介质，该有形介质能够存储、编码或携带由机器执行并且使机器执行本公开的任何一种或多种方法的指令，或者能够储存、编码或携带由此类指令利用或与此类指令相关联的数据结构。术语“机器可读介质”应当相应地认为包括但不限于：固态存储器以及光和磁介质。机器可读介质的特定示例包括非易失性存储器，作为示例，包括但不限于：半导体存储器设备(例如，电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和闪存设备；诸如内部硬盘及可移动盘之类的磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。

可使用传输介质，经由网络接口设备620，利用数个公知的传输协议(例如，HTTP)中的任何一种协议，进一步在通信网络626上传送或接收指令624。通信网络的示例包括：局域网(LAN)、广域网(WAN)、因特网、移动电话网络、普通老式电话(POTS)网络、以及无线数据网络(例如，蓝牙、Wi-Fi、3G、以及4G LTE/LTE-A或WiMAX网络)。术语“传输介质”应当认为包括能够存储、编码或携带由机器执行的指令的任何无形的介质，并且包括用于促进此类软件的通信的数字或模拟通信信号或者其他无形的介质。

附加注释和示例：

示例1是一种道路状况抬头显示系统，所述系统包括：视频显示器，用于呈现由相机系统捕捉的成像，所述成像包括自主车辆周围的地形，所述地形包括所述自主车辆在其上操作的驾驶表面；耦合至所述相机系统和视频处理器的车辆控制系统，该车辆控制系统用于：以自主模式操作所述自主车辆；识别所述自主车辆周围的所述地形的不可导航部分；在视频显示器上呈现增强现实用户界面，该增强现实用户界面由所述自主车辆的乘员用来指示航点；以及根据用户输入以非自主模式操作所述自主车辆。

在示例2中，示例1的主题任选地包括，其中所述相机系统被合并至所述自主车辆中。

在示例3中，示例1-2中任何一个或多个的主题任选地包括，其中所述相机系统被安装在所述自主车辆的挡风玻璃上。

在示例4中，示例1-3中任何一个或多个的主题任选地包括，其中所述相机系统包括可见光相机、红外相机、深度相机或光测距相机。

在示例5中，示例1-4中任何一个或多个的主题任选地包括，其中为了识别所述不可导航部分，所述车辆控制系统用于确定缺少清晰的道路边界。

在示例6中，示例1-5中任何一个或多个的主题任选地包括，其中为了识别所述不可导航部分，所述车辆控制系统用于标识所述驾驶表面中基本上阻挡通行的障碍物。

在示例7中，示例1-6中任何一个或多个的主题任选地包括，为了呈现所述增强现实用户界面，所述车辆控制系统用于在包括所述自主车辆周围的地形的成像上呈现覆盖，所述覆盖包括光标，以及其中为了接收指示所述航点的用户输入，所述车辆控制系统用于接收所述光标的位置。

在示例8中，示例7的主题任选地包括，其中所述覆盖包括指示所述地形中的对应估计道路边缘的标记。

在示例9中，示例7-8中任何一个或多个的主题任选地包括，其中所述覆盖包括驾驶表面中基本上阻挡通行的障碍物的标记。

在示例10中，示例7-9中任何一个或多个的主题任选地包括，其中所述光标的位置由所述自主车辆的乘员控制。

在示例11中，示例10的主题任选地包括，其中所述乘员使用以下来控制所述光标的位置：所述视频显示器上的触摸屏表面、语音命令、或姿势。

在示例12中，示例1-11中任何一个或多个的主题任选地包括，其中为了呈现所述增强现实用户界面，所述车辆控制系统用于与安装在所述自主车辆上的光投射系统接口，以将所述覆盖投射在所述自主车辆周围的所述地形上。

在示例13中，示例1-12中任何一个或多个的主题任选地包括，其中为了呈现所述增强现实用户界面，所述车辆控制系统用于与用户设备接口以呈现包括所述自主车辆周围的地形的所述成像、以及所述成像上的覆盖。

在示例14中，示例13的主题任选地包括，其中用户设备是头戴式设备。

在示例15中，示例13-14中任何一项或多项的主题任选地包括，其中用户设备是智能电话或平板计算机。

在示例16中，示例1-15中任何一个或多个的主题任选地包括，其中车辆控制系统用于接收指示航点的用户输入。

在示例17中，示例16的主题任选地包括，其中为了接收指示航点的用户输入，车辆控制系统用于：与触摸屏处理器接口，该触摸屏处理器耦合至视频显示器并且用于获得自主车辆的乘员的触摸接触；基于触摸接触来调整增强现实用户界面中的光标位置；以及估计光标位置以标识航点。

在示例18中，示例16-17中任何一个或多个的主题任选地包括，其中为了接收指示航点的用户输入，车辆控制系统用于：与面向用户相机系统接口，该面向用户相机系统用于捕捉并识别由自主车辆的乘员执行的姿势；基于姿势来调整增强现实用户界面中的光标位置；以及估计光标位置以标识航点。

在示例19中，示例16-18中任何一个或多个的主题任选地包括，其中为了接收指示航点的用户输入，车辆控制系统用于：与音频处理器接口，该音频处理器耦合至麦克风以获得音频数据并标识音频数据中的话语；基于话语来调整增强现实用户界面中的光标位置；以及估计光标位置以标识航点。

在示例20中，示例1-19中任何一个或多个的主题任选地包括，其中为了根据用户输入以非自主模式操作自主车辆，车辆控制系统用于在航点的方向上推进自主车辆。

示例21是一种提供道路状况抬头显示系统的方法，该方法包括：访问由相机系统捕捉的成像，该成像包括自主车辆周围的地形，该地形包括自主车辆在其上操作的驾驶表面；以自主模式操作自主车辆；识别自主车辆周围的地形的不可导航部分；呈现增强现实用户界面，该增强现实用户界面由自主车辆的乘员用来指示航点；以及根据用户输入以非自主模式操作自主车辆。

在示例22中，示例21的主题任选地包括，其中相机系统被合并至自主车辆中。

在示例23中，示例21-22中任何一个或多个的主题任选地包括，其中相机系统被安装在自主车辆的挡风玻璃上。

在示例24中，示例21-23中任何一个或多个的主题任选地包括，其中相机系统包括可见光相机、红外相机、深度相机或光测距相机。

在示例25中，示例21-24中任何一个或多个的主题任选地包括，其中识别不可导航部分包括确定缺少清晰的道路边界。

在示例26中，示例21-25中任何一个或多个的主题任选地包括，其中识别不可导航部分包括标识驾驶表面中基本上阻挡通行的障碍物。

在示例27中，示例21-26中任何一个或多个的主题任选地包括，其中呈现增强现实用户界面包括在包括自主车辆周围的地形的成像上呈现覆盖，该覆盖包括光标，以及其中接收指示航点的用户输入包括接收光标的位置。

在示例28中，示例27的主题任选地包括，其中覆盖包括指示地形中的对应估计道路边缘的标记。

在示例29中，示例27-28中任何一个或多个的主题任选地包括，覆盖包括驾驶表面中基本上阻挡通行的障碍物的标记。

在示例30中，示例27-29中任何一个或多个的主题任选地包括，其中光标的位置由自主车辆的乘员控制。

在示例31中，示例30的主题任选地包括，其中乘员使用以下来控制光标的位置：视频显示器上的触摸屏表面、语音命令、或姿势。

在示例32中，示例21-31中任何一个或多个的主题任选地包括，其中呈现增强现实用户界面包括与安装在自主车辆上的光投射系统接口，以将覆盖投射在自主车辆周围的地形上。

在示例33中，示例21-32中任何一个或多个的主题任选地包括，其中呈现增强现实用户界面包括与用户设备接口以呈现包括自主车辆周围的地形的成像以及成像上的覆盖。

在示例34中，示例33的主题任选地包括，其中用户设备是头戴式设备。

在示例35中，示例33-34中任何一项或多项的主题任选地包括，其中用户设备是智能电话或平板计算机。

在示例36中，示例21-35中任何一个或多个的主题任选地包括，接收指示航点的用户输入。

在示例37中，示例36的主题任选地包括，其中接收指示航点的用户输入包括：与触摸屏处理器接口，该触摸屏处理器耦合至视频显示器并且用于获得自主车辆的乘员的触摸接触；基于触摸接触来调整增强现实用户界面中的光标位置；以及估计光标位置以标识航点。

在示例38中，示例36-37中任何一个或多个的主题任选地包括，其中接收指示航点的用户输入包括：与面向用户相机系统接口，该面向用户相机系统用于捕捉并识别由自主车辆的乘员执行的姿势；基于姿势来调整增强现实用户界面中的光标位置；以及估计光标位置以标识航点。

在示例39中，示例36-38中任何一个或多个的主题任选地包括，其中接收指示航点的用户输入包括：与音频处理器接口，该音频处理器耦合至麦克风以获得音频数据并标识音频数据中的话语；基于话语来调整增强现实用户界面中的光标位置；以及估计光标位置以标识航点。

在示例40中，示例21-39中任何一个或多个的主题任选地包括，其中根据用户输入以非自主模式操作自主车辆包括在航点的方向上推进自主车辆。

示例41是至少一种机器可读介质，包括用于计算系统操作的指令，该指令在被机器执行时，使机器执行示例21-40的方法中的任一项的操作。

示例42是一种包括用于执行示例21-40的方法中的任一项的装置的设备。

示例43是一种提供道路状况抬头显示系统的设备，该设备包括：用于访问由相机系统捕捉的成像的装置，该成像包括自主车辆周围的地形，该地形包括自主车辆在其上操作的驾驶表面；用于以自主模式操作自主车辆的装置；用于识别自主车辆周围的地形的不可导航部分的装置；用于呈现增强现实用户界面的装置，该增强现实用户界面由自主车辆的乘员用来指示航点；以及用于根据用户输入以非自主模式操作自主车辆的装置。

在示例44中，示例43的主题任选地包括，其中相机系统被合并至自主车辆中。

在示例45中，示例43-44中任何一个或多个的主题任选地包括，其中相机系统被安装在自主车辆的挡风玻璃上。

在示例46中，示例43-45中任何一个或多个的主题任选地包括，其中相机系统包括可见光相机、红外相机、深度相机或光测距相机。

在示例47中，示例43-46中任何一个或多个的主题任选地包括，其中用于识别不可导航部分的装置包括用于确定缺少清晰的道路边界的装置。

在示例48中，示例43-47中任何一个或多个的主题任选地包括，其中用于识别不可导航部分的装置包括用于标识驾驶表面中基本上阻挡通行的障碍物的装置。

在示例49中，示例43-48中任何一个或多个的主题任选地包括，其中用于呈现增强现实用户界面的装置包括用于在包括自主车辆周围的地形的成像上呈现覆盖的装置，该覆盖包括光标，以及其中用于接收指示航点的用户输入的装置包括用于接收光标的位置的装置。

在示例50中，示例49的主题任选地包括，其中覆盖包括指示地形中的对应估计道路边缘的标记。

在示例51中，示例49-50中任何一个或多个的主题任选地包括，覆盖包括驾驶表面中基本上阻挡通行的障碍物的标记。

在示例52中，示例49-51中任何一个或多个的主题任选地包括，其中光标的位置由自主车辆的乘员控制。

在示例53中，示例52的主题任选地包括，其中乘员使用以下来控制光标的位置：视频显示器上的触摸屏表面、语音命令、或姿势。

在示例54中，示例43-53中任何一个或多个的主题任选地包括，其中用于呈现增强现实用户界面的装置包括用于与安装在自主车辆上的光投射系统接口，以将覆盖投射在自主车辆周围的地形上的装置。

在示例55中，示例43-54中任何一个或多个的主题任选地包括，其中用于呈现增强现实用户界面的装置包括用于与用户设备接口以呈现包括自主车辆周围的地形的成像以及成像上的覆盖的装置。

在示例56中，示例55的主题任选地包括，其中用户设备是头戴式设备。

在示例57中，示例55-56中任何一项或多项的主题任选地包括，其中用户设备是智能电话或平板计算机。

在示例58中，示例43-57中任何一个或多个的主题任选地包括，用于接收指示航点的用户输入的装置。

在示例59中，示例58的主题任选地包括，其中用于接收指示航点的用户输入的装置包括：用于与触摸屏处理器接口的装置，该触摸屏处理器耦合至视频显示器并且用于获得自主车辆的乘员的触摸接触；用于基于触摸接触来调整增强现实用户界面中的光标位置的装置；以及用于估计光标位置以标识航点的装置。

在示例60中，示例58-59中任何一个或多个的主题任选地包括，其中用于接收指示航点的用户输入的装置包括：用于与面向用户的相机系统接口的装置，该面向用户的相机系统用于捕捉并识别由自主车辆的乘员执行的姿势；用于基于姿势来调整增强现实用户界面中的光标位置的装置；以及用于估计光标位置以标识航点的装置。

在示例61中，示例58-60中任何一个或多个的主题任选地包括，其中用于接收指示航点的用户输入的装置包括：用于与音频处理器接口的装置，该音频处理器耦合至麦克风以获得音频数据并标识音频数据中的话语；用于基于话语来调整增强现实用户界面中的光标位置的装置；以及用于估计光标位置以标识航点的装置。

在示例62中，示例43-61中任何一个或多个的主题任选地包括，其中用于根据用户输入以非自主模式操作自主车辆的装置包括用于在航点的方向上推进自主车辆的装置。

以上具体实施方式包括对附图的引用，附图形成具体实施方式的部分。附图通过例示方式示出可被实施的具体实施例。这些实施例在本文中也被称为“示例”。此类示例可包括除所示出或所描述的那些元件以外的元件。然而，还构想了包括所示出或所描述的元件的示例。此外，还构想了使用所示出或所描述的那些元件(或其一个或多个方面)的任何组合或排列的示例，或参照本文中所示出或所描述的特定示例(或其一个或多个方面)，或参照本文中所示出或所描述的其他示例(或其一个或多个方面)。

在此文档中引用的出版物、专利和专利文档通过引用被整体结合在本文中，就好像通过引用单独地被结合那样。在本文档与通引用结合在的那些文档之间不一致的用法的情况下，所结合的(诸)引用文档中的用法是对此文档的用法的补充；对于不可调和的不一致性，此文档中的用法占主导。

在此文档中，如在专利文档中常见的那样，使用术语“一(a或an)”以包括一个或多于一个，这独立于“至少一个”或“一个或多个”的任何其他实例或用法。在此文档中，使用术语“或”来指非排他性的或，使得除非另外指示，否则“A或B”包括“A但非B”、“B但非A”、以及“A和B”。在所附权利要求书中，术语“包括(including)”和“其中(in which)”被用作相应的术语“包括(comprising)”和“其中(wherein)”的普通英语等价词。此外，在所附权利要求书中，术语“包括”和“包含”是开放式的，也就是说，在权利要求中除此类术语之后列举的那些元件之外的元件的系统、设备、制品或过程仍被视为落在那项权利要求的范围内。此外，在所附权利要求书中，术语“第一”、“第二”和“第三”等仅被用作标记，并且不旨在表明对它们的对象的数字顺序。

以上描述旨在是说明性的，而非限制性的。例如，可结合其他实施例来使用以上所描述的示例(或者其一个或多个方面)。诸如由本领域普通技术人员在仔细阅读以上描述之后实施的其他实施例也可以被使用。摘要允许读者快速地确定本技术公开的性质。提交该摘要应当理解，该摘要将不用于限制或解释权利要求的范围或含义。而且，在以上具体实施方式中，各种特征可共同成组以使本公开流畅。然而，权利要求可以不陈述本文中所公开的每一特征，因为实施例的特征可以是所述特征的子集。进一步地，实施例可包括比特定示例中所公开的那些特征更少的特征。因此，所附权利要求书由此被结合到具体实施方式中，一项权利要求作为单独的实施例而独立存在。本文中所公开的实施例的范围应当参照所附权利要求书连同此类权利要求所赋予权利的等价方案的完整范围来确定。

Claims (23)

1.一种道路状况抬头显示系统，所述系统包括：

视频显示器，用于呈现由相机系统捕捉的成像，所述成像包括自主车辆周围的地形，所述地形包括所述自主车辆在其上操作的驾驶表面；

耦合至所述相机系统和视频处理器的车辆控制系统，所述车辆控制系统用于：

以自主模式操作所述自主车辆；

识别所述自主车辆周围的所述地形的不可导航部分；

在所述视频显示器上呈现增强现实用户界面，所述增强现实用户界面由所述自主车辆的乘员用来指示航点；以及

根据用户输入以非自主模式操作所述自主车辆，

其中为了呈现所述增强现实用户界面，所述车辆控制系统用于在包括所述自主车辆周围的地形的成像上呈现覆盖，所述覆盖包括光标，并且

其中为了接收指示所述航点的用户输入，所述车辆控制系统用于接收所述光标的位置。

2.如权利要求1所述的系统，其特征在于，所述相机系统被合并至所述自主车辆中。

3.如权利要求1所述的系统，其特征在于，所述相机系统被安装在所述自主车辆的挡风玻璃上。

4.如权利要求1所述的系统，其特征在于，所述相机系统包括可见光相机、红外相机、深度相机或光测距相机。

5.如权利要求1所述的系统，其特征在于，为了识别所述不可导航部分，所述车辆控制系统用于确定缺少清晰的道路边界。

6.如权利要求1所述的系统，其特征在于，为了识别所述不可导航部分，所述车辆控制系统用于标识所述驾驶表面中阻挡通行的障碍物。

7.如权利要求1所述的系统，其特征在于，所述覆盖包括指示所述地形中的对应估计道路边缘的标记。

8.如权利要求1所述的系统，其特征在于，所述覆盖包括驾驶表面中阻挡通行的障碍物的标记。

9.如权利要求1所述的系统，其特征在于，所述光标的位置由所述自主车辆的乘员控制。

10.如权利要求9所述的系统，其特征在于，所述乘员使用以下来控制所述光标的位置：所述视频显示器上的触摸屏表面、语音命令、或姿势。

11.如权利要求1所述的系统，其特征在于，为了呈现所述增强现实用户界面，所述车辆控制系统用于与安装在所述自主车辆上的光投射系统接口，以将所述覆盖投射在所述自主车辆周围的所述地形上。

12.如权利要求1所述的系统，其特征在于，为了呈现所述增强现实用户界面，所述车辆控制系统用于与用户设备接口以呈现包括所述自主车辆周围的地形的所述成像、以及所述成像上的覆盖。

13.如权利要求12所述的系统，其特征在于，所述用户设备是头戴式设备。

14.如权利要求12所述的系统，其特征在于，所述用户设备是智能电话或平板计算机。

15.如权利要求1所述的系统，其特征在于，所述车辆控制系统用于接收指示所述航点的用户输入。

16.如权利要求15所述的系统，其特征在于，为了接收指示所述航点的用户输入，所述车辆控制系统用于：

与触摸屏处理器接口，所述触摸屏处理器耦合至所述视频显示器并且用于获得所述自主车辆的所述乘员的触摸接触；

基于所述触摸接触来调整所述增强现实用户界面中的光标位置；以及

估计所述光标位置以标识所述航点。

17.如权利要求15所述的系统，其特征在于，为了接收指示所述航点的用户输入，所述车辆控制系统用于：

与面向用户相机系统接口，所述面向用户相机系统用于捕捉并识别由所述自主车辆的所述乘员执行的姿势；

基于所述姿势来调整所述增强现实用户界面中的光标位置；以及

估计所述光标位置以标识所述航点。

18.如权利要求15所述的系统，其特征在于，为了接收指示所述航点的用户输入，所述车辆控制系统用于：

与音频处理器接口，所述音频处理器耦合至麦克风以获得音频数据并标识所述音频数据中的话语；

基于所述话语来调整所述增强现实用户界面中的光标位置；以及

估计所述光标位置以标识所述航点。

19.如权利要求1所述的系统，其特征在于，为了根据所述用户输入以所述非自主模式操作所述自主车辆，所述车辆控制系统用于在所述航点的方向上推进所述自主车辆。

20.一种提供道路状况抬头显示系统的方法，所述方法包括：

访问由相机系统捕捉的成像，所述成像包括自主车辆周围的地形，所述地形包括所述自主车辆在其上操作的驾驶表面；

以自主模式操作所述自主车辆；

识别所述自主车辆周围的所述地形的不可导航部分；

呈现增强现实用户界面，所述增强现实用户界面由所述自主车辆的乘员用来指示航点；以及

根据用户输入以非自主模式操作所述自主车辆，

其中呈现所述增强现实用户界面包括在包括所述自主车辆周围的地形的所述成像上呈现覆盖，所述覆盖包括光标，并且

其中接收指示所述航点的用户输入包括接收所述光标的位置。

21.如权利要求20所述的方法，其特征在于，呈现所述增强现实用户界面包括与安装在所述自主车辆上的光投射系统接口，以将所述覆盖投射在所述自主车辆周围的所述地形上。

22.一种机器可读介质，包括用于提供道路状况抬头显示系统的指令，所述指令在被机器执行时，使所述机器执行如权利要求20-21所述的方法中任一项的操作。

23.一种提供道路状况抬头显示系统的设备，所述设备包括：

用于访问由相机系统捕捉的成像的装置，所述成像包括自主车辆周围的地形，所述地形包括所述自主车辆在其上操作的驾驶表面；

用于以自主模式操作所述自主车辆的装置；

用于识别所述自主车辆周围的所述地形的不可导航部分的装置；

用于呈现增强现实用户界面的装置，所述增强现实用户界面由所述自主车辆的乘员用来指示航点；以及

用于根据用户输入以非自主模式操作所述自主车辆的装置，

其中用于呈现所述增强现实用户界面的装置包括用于在包括所述自主车辆周围的地形的所述成像上呈现覆盖的装置，所述覆盖包括光标，并且

其中用于接收指示所述航点的用户输入的装置包括用于接收所述光标的位置的装置。

Images