CN102589565A

CN102589565A - 全挡风玻璃显示器上自主式车辆的车辆操作和控制系统

Info

Publication number: CN102589565A
Application number: CN2011104496750A
Authority: CN
Inventors: O.尖霍尼; J.F.什切尔巴; T.A.塞德; D.崔
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2010-12-29
Filing date: 2011-12-29
Publication date: 2012-07-18
Anticipated expiration: 2031-12-29
Also published as: US8924150B2; CN102589565B; US20120173069A1; DE102011121746A1; DE102011121746B4

Abstract

本发明涉及全挡风玻璃显示器上自主式车辆的车辆操作和控制系统。利用图形投影显示器来导航车辆的方法，包括：监测显示在所述图形投影显示器上的代表导航意图的导航状态图形；监测指示到所述图形投影显示器的一部分的使用者输入；基于监测的导航状态图形和监测的使用者输入来启动使用者定义的导航命令；以及根据所述使用者定义的导航命令来操作所述车辆。

Description

全挡风玻璃显示器上自主式车辆的车辆操作和控制系统

技术领域

本公开涉及用于自主式车辆的使用者定义的导航命令及其在挡风屏上的显示。

背景技术

这部分中的陈述仅提供与本公开有关的背景信息并且可能不构成现有技术。

如果向车辆的操作者提供自主式驾驶系统的导航意图的情况提示从而进行导航调遣（navigation maneuver）且因而使得驾驶者对自主式驾驶系统产生信心，则可以增强驾驶能力。例如，在弯曲公路上的驾驶者会希望知道自主式驾驶系统了解公路上的即将来临的急转弯，并且会希望知道自主式驾驶系统计划调遣车辆来完成即将来临的转弯。

在正进行的自主式车辆操作期间，存在如下情况，即在车辆正自主式地或半自主式地运行时驾驶者会希望以不同于导航意图的方式操作车辆。

已知基于姿态的使用者接口系统检测被输入以控制各应用的使用者运动。平视显示器将光投射在屏上并且光被转换成屏上的可视显示。已知平视显示器通过减少操作者的疲劳且同时允许操作者保持关注于驾驶从而以有效方式向车辆的操作者呈现信息。

发明内容

利用图形投影显示器来导航车辆的方法包括：监测显示在图形投影显示器上的代表导航意图的导航状态图形；监测指示到图形投影显示器的一部分的使用者输入；基于被监测的导航状态图形和被监测的使用者输入来启动使用者定义的导航命令；以及根据使用者定义的导航命令来操作车辆。

本发明还提供了以下技术方案。

方案1. 利用图形投影显示器导航车辆的方法，包括：

监测显示在所述图形投影显示器上的代表导航意图的导航状态图形；

监测指示到所述图形投影显示器的一部分的使用者输入；

基于监测的导航状态图形和监测的使用者输入来启动使用者定义的导航命令；以及

根据所述使用者定义的导航命令来操作所述车辆。

方案2. 根据方案1所述的方法，其中所述图形投影显示器包括基本透明挡风屏平视显示器，其包括在所述挡风屏的预定区域上允许发光显示且允许通过其可视的发光颗粒或微结构中的一种。

方案3. 根据方案1所述的方法，其中所述图形投影显示器包括触摸屏显示器、人机接口显示器、非透明部件和显示监视器中的一种。

方案4. 根据方案3所述的方法，还包括：

在所述图形投影显示器上投影对应于所述车辆的驾驶场景的景象的图像。

方案5. 根据方案1所述的方法，其中监测代表导航意图的导航状态图形包括：

监测自主式驾驶系统；

基于监测的自主式驾驶系统来确定所述车辆的所述导航意图；

确定代表所述导航意图的所述导航状态图形；

在对应于所述车辆的驾驶场景的所述图形投影显示器上动态标示所述导航状态图形的位置；以及

在所述图形投影显示器上显示所述导航状态图形。

方案6. 根据方案1所述的方法，其中基于监测的导航状态图形和监测的使用者输入来启动所述使用者定义的导航命令包括：

基于所述监测的使用者输入来操控所述导航状态图形；

对应于被操控的导航状态图形来启动所述使用者定义的导航命令；

确定代表所述使用者定义的导航命令的导航命令图形；

在对应于自主式驾驶车辆的驾驶场景的所述图形投影显示器上动态标示所述导航命令图形的位置；以及

在所述图形投影显示器上显示所述导航命令图形。

方案7. 根据方案5所述的方法，还包括监测占用者眼睛位置；以及

其中在对应于所述驾驶场景的所述图形投影显示器上动态标示所述导航状态图形的位置是基于所述占用者眼睛位置的。

方案8. 根据方案6所述的方法，还包括监测占用者眼睛位置；以及

其中在对应于所述驾驶场景的所述图形投影显示器上动态标示所述导航命令图形的位置是基于所述占用者眼睛位置的。

方案9. 根据方案1所述的方法，还包括：

确定反馈图形，该反馈图形示出指示到所述图形投影显示器的所述部分的所监测的使用者输入的运动；

在对应于所述车辆的驾驶场景的所述图形投影显示器上动态地标示所述反馈图形的位置；以及

在所述图形投影显示器上显示所述反馈图形。

方案10. 根据方案1所述的方法，其中所述图形投影显示器的所述部分对应于显示所述导航状态图形的位置。

方案11. 根据方案10所述的方法，其中监测指示到所述图形投影显示器的所述部分的所述使用者输入包括：

监测所述使用者的手的位置和取向；

基于监测的所述使用者的手的位置和取向来处理所述使用者的手运动的光学图像；以及

其中所述手运动的所述光学图像提供基于姿态的使用者接口以便操控被显示在所述图形投影显示器上的代表所述导航意图的所述导航状态图形。

方案12. 根据方案10所述的方法，其中监测指示到所述图形投影显示器的所述部分的所述使用者输入包括：

接收所述使用者的手在触摸屏上的触摸姿态，所述触摸姿态被指示到所述图形投影显示器的所述部分；以及

其中所接收的触摸姿态提供基于触摸的使用者接口以便操控被显示在所述图形投影显示器上的代表所述导航意图的所述导航状态图形。

方案13. 根据方案10所述的方法，其中监测指示到所述图形投影显示器的所述部分的所述使用者输入包括：

接收在控制器装置处的使用者操控，所述使用者操控被指示到所述图形投影显示器的所述部分；以及

其中所接收的使用者操控提供基于控制器的接口以便操控被显示在所述图形投影显示器上的代表所述导航意图的所述导航状态图形。

方案14. 利用基本透明挡风屏平视显示器来导航车辆的方法，包括：

监测显示在所述基本透明挡风屏平视显示器上的代表导航意图的导航状态图形；

监测指示到所述基本透明挡风屏平视显示器的一部分的使用者输入；

基于监测的使用者输入操控显示在所述基本透明挡风屏平视显示器上的所述导航状态图形；

对应于被操控的导航状态图形来启动使用者定义的导航命令；

确定代表所述使用者定义的导航命令的导航命令图形；

在对应于所述车辆的驾驶场景的所述基本透明挡风屏平视显示器上动态标示所述导航命令图形的位置；

在所述基本透明挡风屏平视显示器上显示所述导航命令图形；以及

根据所述使用者定义的导航命令来操作所述车辆；

其中所述基本透明挡风屏平视显示器包括在所述挡风屏的预定区域上允许发光显示且允许通过其可视的发光颗粒或微结构中的一种。

方案15. 根据方案14所述的方法，还包括：

确定反馈图形，该反馈图形示出指示到所述基本透明挡风屏平视显示器的所述部分的所监测的使用者输入的运动；

在对应于所述车辆的所述驾驶场景的所述基本透明挡风屏平视显示器上动态地标示所述反馈图形的位置；以及

在所述基本透明挡风屏平视显示器上显示所述反馈图形。

方案16. 根据方案15所述的方法，其中所述反馈图形包括光标图形。

方案17. 根据方案14所述的方法，其中所述导航状态图形包括代表所述车辆的未来自主式导航调遣的箭头。

方案18. 根据方案14所述的方法，其中所述导航状态图形包括代表当前车辆速度的速度表图形。

方案19. 根据方案14所述的方法，其中所述使用者输入包括基于姿态的使用者接口，所述方法还包括：

接收指示到所述基本透明挡风屏平视显示器的所述部分的抓-拉姿态手运动，该部分对应所述导航状态图形被显示的位置；以及

其中操控显示在所述基本透明挡风屏平视显示器上的所述导航状态图形包括基于所述抓-拉姿态手运动来操控所述导航状态图形。

方案20. 利用图形投影显示器来导航车辆的系统，包括：

视觉增强系统系统管理器：

监测代表显示在所述图形投影显示器上的导航意图的导航状态图形；

监测指示到所述图形投影显示器的一部分的使用者输入；

基于监测的导航状态图形和监测的使用者输入来启动使用者定义的导航命令；

根据所述使用者定义的导航命令来操作所述车辆；

图形系统，其产生代表使用者定义的导航命令的导航命令图形和代表所述导航意图的所述导航状态图形；以及

图形投影系统，其与所述图形系统通信并且在所述基本透明挡风屏平视显示器上显示所述导航命令图形和所述导航状态图形。

附图说明

现在将参考附图通过示例方式描述一种或更多种实施例，附图中：

图1示出了根据本公开装备有EVS系统的示例性车辆；

图2示出了根据本公开的图形投影显示器实施例，其中对应于车辆驾驶场景的景象的图像以及图形能够被显示在该显示器上；

图3示出了根据本公开的基本透明显示器；

图4示出了根据本公开的图1所示的示例性使用者输入模块；

图5示出了根据本公开的根据使用者定义的导航命令来操作车辆的示例性信息流，其中基于在图形投影显示器上显示的代表导航意图的导航状态图形以及指示到图形投影显示器的一部分的使用者输入来启动所述使用者定义的导航命令；

图6示出了根据本公开用于利用图形投影显示器在驾驶场景上动态地标示图形的示例性信息流；

图7示意性示出了根据本公开用于确定并显示导航状态图形的示例性信息流；

图8示意性示出了根据本公开用于确定并显示代表使用者定义的导航命令的导航命令图形的示例性信息流；以及

图9-11示出了根据本公开的驾驶场景，其包括被动态地标示在车辆的图形投影显示器上的图形。

具体实施方式

现在参考附图，其中这些图示仅为了示出某些示例性实施例的目的且不是为了限制性目的，图1示出了根据本公开装备有视觉增强系统（EVS）的示例性车辆。示例性EVS系统被公开于共同未决的美国申请号12/417,077，其并入本文以供参考。为了本公开的目的，术语“操作者”、“使用者”和“驾驶者”将在本文中被可交换地使用。车辆100能够是完全自主式驾驶的车辆或者能够是半自主式驾驶的车辆，其包括自适应巡航控制和/或自动变道。车辆100包括：EVS系统管理器110；使用者输入模块（UIM）515；图形投影显示器250（示于图2）；车辆传感器系统，包括摄像机系统120和雷达系统125；车辆操作传感器，包括车辆速度传感器130；信息系统，包括GPS装置140和无线通信系统145；平视显示器（HUD）150；EVS图形系统155；图形投影系统158；以及占用者眼睛位置感测系统（occupant eye location sensing system）160。EVS系统管理器110包括可编程处理器，其包括程序以监测在图形投影显示器（例如HUD 150）上显示的导航状态图形、监测指示到图形投影显示器的一部分的使用者输入并且基于监测的导航状态图形和监测的使用者输入来启动使用者定义的导航命令，其中所述自主式驾驶系统（ADS）112根据使用者定义的导航命令来操作车辆。EVS系统管理器能够直接与包括ADS 112的各种系统和部件通信，或者EVS系统管理器能够可替代地或附加地在LAN/CAN系统115上通信。EVS系统管理器利用源自大量输入（即ADS 112）的与车辆操作环境（即自主式导航意图）有关的信息以及指向图形投影显示器（例如HUD 150）的一部分的基于使用者的输入来启动使用者定义的导航命令。参考图4更详细讨论的UIM 515接收被指示到图形投影显示器250（例如HUD 150）的一部分的使用者输入，其中所述使用者输入被EVS系统管理器110监测。摄像机系统120包括摄像机或图像捕获装置，其获取代表车辆视野的周期性或次序性图像。摄像机系统120的摄像机或图像捕获装置优选地包括360度的覆盖度。雷达系统125包括本领域已知的利用电磁辐射来检测位于车辆附近的其他车辆或物体的装置。本领域中的大量已知车载传感器被用于车辆中以便监测车辆速度、发动机速度、车轮滑移和代表车辆操作的其他参数。车辆速度传感器130代表了一种这样的车载传感器，不过本公开的范围包括供EVS使用的任意这样的传感器。GPS装置140和无线通信系统145与车辆外部的资源通信，所述资源例如卫星系统180和蜂窝通信塔190。GPS装置140可以与3D地图数据库结合使用，该3D地图数据库包括与GPS装置140接收的全局坐标相关的关于车辆的当前位置的详细信息。来自车辆传感器系统和车辆操作传感器的信息能够被EVS系统管理器110用来监测车辆的当前取向。HUD 150包括挡风屏，该挡风屏装备有能够显示投影在其上的图像且同时保持透明或基本透明以使得车辆的占用者能够通过挡风屏清楚地观察车辆外部的特征。应该意识到虽然HUD 150包括在车辆前部的挡风屏，不过车辆内的其他表面也可以用于投影，包括侧窗和后窗。此外，在前挡风屏上的景象可以在车辆前“A-柱”上连续并且连续到侧窗上以作为连续图像。EVS图形引擎155包括显示软件或程序以便翻译请求从而以信息的图形图示的方式来显示来自EVS系统管理器110的信息。EVS图形引擎155包括程序以便补偿挡风屏的弯曲和倾斜的表面以及图形将在其上投影的任意其他表面（例如图2所示的非透明部件280）。EVS图形引擎155控制图形投影系统158，该图形投影系统158包括产生激发光以便投射图形图示的激光器或投影机装置。占用者眼睛位置感测系统160包括本领域已知的估测占用者的头部位置且进一步估测占用者的眼睛的取向或凝视位置的传感器。基于占用者眼睛位置感测系统160的输出、车辆100的当前位置和取向、使用者输入位置和未来导航调遣位置，EVS系统管理器110能够准确地将图形图示动态地标示（register）到图形投影显示器250，使得占用者通过显示器看到叠覆有可视图像的图像。将参考图6更详细地讨论图形的动态标示。

上述EVS包括眼睛感测和头部感测装置，其允许估计眼睛位置、允许在图形投影显示器250（例如HUD 150）上动态标示图像以使得图像对应于操作者的视野。不过，将意识到，能够通过大量方法来实现对于头部和眼睛位置的估计。例如，在与调节后视镜类似的过程中，操作者能够在进入车辆时使用校准例程将图形对齐于被检测目标。在另一实施例中，在车辆中的纵向就坐位置能够被用于估计驾驶者头部的位置。在另一实施例中，对一个或多个后视镜的手动调节能够被用于估计操作者的眼睛位置。应该意识到，各方法的结合（例如就坐位置和镜调节角度的结合）能够被用于以改善的准确度估计操作者头部位置。可以想到实现在图形投影显示器250（例如HUD 150）上准确动态标示图形的许多方法，并且本公开不旨在受限于这里描述的具体实施例。

示例性EVS包括：宽视场全挡风屏（HUD），即基本透明屏，其包括显示投影在其上的图形图像的功能；HUD图像引擎，包括能够在挡风屏上投影图像的一个或多个激光器，其中所述挡风屏是图2中示出的图形投影显示器250的实施例；输入源，其获得与车辆的操作环境有关的数据；以及EVS系统管理器，其包括程序以便监测来自输入装置的输入、处理所述输入并且确定与操作环境相关的关键信息，并且产生针对要被HUD图像引擎产生的图形图像的请求。不过，将意识到这种示例性EVS仅是EVS能够采取的大量构造中的一种。例如，视觉或摄像机系统可用于将要讨论的各种EVS应用。不过，应该意识到示例性EVS系统能够在没有视觉系统的情况下运转，例如提供仅来自于GPS装置、3D地图数据库和车载传感器的可用信息。在替代方案中，应该意识到示例性EVS系统能够在不访问GPS装置或无线网络而是仅利用来自视觉系统和雷达系统的输入的情况下运转。许多构造可以用于所公开的系统和方法，并且本公开不旨在受限于这里描述的示例性实施例。

图2描述了图形投影显示器250。图形投影显示器250包括对应于车辆驾驶场景的景象的图像以及图形（即导航状态图形或导航命令图形）能够被显示于其上的实施例。图形投影显示器250包括基本透平挡风屏HUD 150、触摸屏显示器260、具有显示器的人机接口（HMI）151、非透明部件280以及安装在车辆内部中的显示监视器270。应当理解，包括有图形投影显示器的所有实施例都能够投影对应于车辆驾驶场景的景象的图像。驾驶场景的景象的图像不需要被投影在基本透明挡风屏HUD上，因为实际的驾驶场景可通过HUD 150看到。驾驶场景能够由摄像机系统120绘制。指示到对应于驾驶场景的图形投影显示器250的一部分的使用者输入将在图4中参考UIM 515更详细地讨论。将理解，车辆通常要求图形投影显示器250的实施例之一在其上显示对应于驾驶场景的景象。然而，图形投影显示器250可以包括车辆100所采用的实施例的组合。例如，对应于车辆驾驶场景的图像可以被显示在HMI 151和触摸屏显示器260二者上。

为了用作相关特征可以通过其被观察的介质且同时用作可以在其上显示图形图像的显示装置，车辆的挡风屏必须既透明又能够显示激发光源所投影的图像。图3示出了根据本公开的基本透明显示器。观察者10能够通过基体14看到任意物体（例如立方体12）。基体14可以是透明的或基本透明的。虽然观察者10通过基体14看到任意物体12，不过观察者也能够看到产生于基体14的图像（例如圆15和三角16）。基体14可以是车辆挡风玻璃、玻璃基体、塑料基体、聚合物基体或者本领域技术人员能意识到的其他透明（或基本透明）介质的一部分。其他基体可以补充基体14来提供着色、基体保护、滤光（例如过滤外部紫外光）以及其他功能。

图3示出了对基体14的照射，该基体14被来自由装置20示出的光源（例如投影机或激光器）的激发光（例如紫外光或红外光）照射。接收到的激发光可以被基体14处的发光材料吸收。当发光材料接收到激发光时，发光材料可以发出可见光。因此，可以通过使用激发光选择性地照射基体14在基体14处产生图像（例如圆15和三角16）。

在一种实施例中，激发光由包括投影机的装置20输出。投影机可以是数字投影机。投影机可以是微镜阵列（MMA）投影机（例如数字光处理（DLP）投影机）。输出紫外光的MMA投影机可类似于输出可见光的MMA投影机，只是色轮具有适合于紫外光谱的滤光器。投影机可以是液晶显示（LCD）投影机。投影机可以是硅基液晶显示（LCOS）投影机。投影机可以是模拟投影机（例如幻灯胶片投影机或电影胶片投影机）。本领域的技术人员将意识到可以用于将紫外光投射在基体14上的其他类型投影机。

在另一实施例中，激发光由装置20输出，该装置20包括激光器。从装置20输出的激光束的强度和/或运动可以被调制成在基体14中产生图像。在降频转换实施例中，来自激光器的输出可以是紫外光。在升频转换实施例中，来自激光器的输出可以是红外光。

图3示出了分布在基本透明基体内的发光材料（例如发光颗粒22）。当激发光被发光颗粒22吸收时，发光颗粒发出可见光。因此，在降频转换实施例中，当紫外光被发光颗粒22吸收时，可见光从发光颗粒发出。类似地，在升频转换实施例中，当红外光被发光颗粒22吸收时，可见光从发光颗粒发出。

图3示出了包括被分布在基本透明基体内的发光颗粒22的发光材料。这些发光颗粒22能够自始至终是基本类似的颗粒，或者如图2所示，颗粒的成分能够变化。当激发光被发光颗粒22吸收时，颗粒发出可见光。因此，在降频转换实施例中，当紫外光被发光颗粒吸收时，从发光颗粒发出可见光。类似地，在升频转换实施例中，当红外光被发光材料吸收时，从发光颗粒发出可见光。每个发光颗粒均可以是不同类型的发光材料，其响应不同波长范围的激发光（例如紫外或红外光）而发出不同波长范围的可见光。

发光颗粒22可以遍布于基体14。在替代方案中，如图3所示，颗粒可以被置于基体14的表面上。发光颗粒22可以通过被涂覆在基体14上而被整合到基体14中。发光材料可以是荧光材料，其响应于对电磁辐射（例如可见光、紫外光或红外光）的吸收而发出可见光，该电磁辐射具有与发出的可见光不同的波长。颗粒的尺寸可以小于可见光的波长，这可以减少或消除由颗粒散射的可见光。比可见光的波长小的颗粒的示例是纳米颗粒或分子。根据实施例，每种发光颗粒具有小于大约400纳米的直径。每种发光颗粒可具有小于大约300纳米的直径。根据实施例，每种发光颗粒具有小于大约200纳米、小于大约100纳米或者小于大约50纳米的直径。发光颗粒可以是单个分子。

在另一种实施例中，图形投影显示器250能够包括HMI装置151，该HMI装置151具有与其关联的用于接收对应于车辆驾驶场景的景象的投影图像并且在其上显示图形的显示器。HMI 151包括计算装置，其中车辆的操作者能够输入命令以便与HMI 151信号通信地控制车辆的各种系统并且接收所需信息。在HMI显示器上的投影方法是本领域已知的并且本公开不意味着受限于任何一种投影方法。

在另一种实施例中，图形投影显示器250能够包括触摸屏显示器260，其用于接收对应于车辆驾驶场景的景象的投影图像并且在其上显示图形。触摸屏显示器能够是参考图4详细讨论的TSIM 149。触摸屏显示器260能够是与HMI装置151相关联的显示器或者可以是位于车辆内的独立显示器。在触摸屏显示器上的投影方法是本领域已知的并且本公开不意味着受限于任何一种投影方法。

在又一实施例中，图形投影显示器250能够包括显示监视器270，其用于接收对应于车辆驾驶场景的景象的投影图像并且在其上显示图形。显示监视器270能够被安装在车辆仪表板上或者位于车辆中便于操作者观察的某位置。显示监视器270能够包括与警车中所用的计算机相关联的监视器。

在另一实施例中，图形投影显示器250能够包括非透明部件280，其用于接收对应于车辆驾驶场景的景象的投影图像并且在其上显示图形。非透明部件280能够包括仪表板、座椅、头靠、结构柱、车顶、遮阳板和方向盘。非透明部件280能够包括响应于激励投影机而起反应来显示图形的透明磷光膜（phosphor film）。通过引用并入本文的共同未决的美国申请号12/563,407公开了在非透明部件上投影图像。

参考图4，示出了根据本公开的示例性使用者输入模块（UIM）515，其用于接收指示到图形投影显示器250的一部分的使用者输入。使用者输入被EVS系统管理器110监测并且最终被用于在对应于驾驶场景的图形投影显示器250上显示并操控图形。应意识到，UIM 515包括使用者输入装置和模块的实施例，并且示例性车辆可以仅包括被包括在UIM 515内的用于接收和监测指示到图形投影显示器250的一部分的使用者输入的输入装置和模块中的一种。然而，可想到各种实施例，在这些实施例中，车辆能够包括被包括在UIM 515内的使用者输入装置和模块的变型，并且选定的变型能够基于车辆使用者的偏好来启用。UIM 515包括成像装置161、触摸屏输入模块（TSIM）149、HMI装置151和控制器装置153。

TSIM 149能够被设置成接收使用者的手或手指在该模块上的被指示到对应于驾驶场景的图形投影显示器的一部分的触摸姿态（touch gesture）。TSIM 149能够另外地包括对应于车辆驾驶场景并且被设置成动态地在其上标示图形的显示器。显而易见，所接收的使用者的手的触摸姿态提供了基于触摸的使用者接口（touch-based user interface），以用于操控在图形投影显示器上显示的代表导航意图的导航状态图形。

本领域中已知能够接收使用者的手或手指的触摸姿态的各种装置。TSIM 149能够是包括显示屏的触摸屏装置，该显示屏能够识别在显示区域内部的触摸的发生、位置和定位。显示器能够对应于车辆驾驶场景的景象。TSIM 149能够被集成在HMI装置151、显示监视器270、个人数字助理（PDA）或移动电话内，所有这些装置都具有对应于车辆驾驶场景的显示器。因此，TSIM 149有助于使用者与显示在显示器（即驾驶场景和导航状态图形）上的内容相互作用，而不是间接与鼠标或触垫相互作用，并且其允许使用者在不必使用这种中间装置的情况下完成触摸姿态。

此外，本领域中已知监测和接收使用者的手或手指的触摸姿态的各种方法。在非限制性实施例中，TSIM 149能够是由标准玻璃板构成的电阻触摸屏显示器，该标准玻璃板涂覆有薄的导电且电阻性金属板，其中电流在两个层之间行进并且监测两个层在相同位置彼此接触并且由此中断电流时的触摸姿态。在另一非限制性实施例中，TSIM 149能够是利用超声波来处理来自屏的使用者输入的表面波（surface wave）触摸屏显示器。换言之，表面波触摸屏显示器利用识别信号是否已经被任何运动时的触摸所改变的变换器，其中，当使用者在特定位置触摸显示器时，超声波流过整个屏。在又一非限制性实施例中，TSIM 149能够是由铟锡氧化物板构成的电容触摸屏显示器，该铟锡氧化物板存储电荷并且被定位在显示器的玻璃层上。当使用者的手或手指输入接触显示器时，少量电荷被传递到使用者的手或手指，并且电容板上的电荷量降低。与之相关联的处理器计算相比较的变化（comparative variation）并且确定触摸姿态出现的精确位置，该位置对应于车辆驾驶场景上的位置。在又一非限制性实施例中，TSIM 149能够包括红外触摸屏显示器。红外触摸屏显示器能够对红外波或热波（即热）产生反应。红外触摸屏显示器还能够利用围绕周边的竖直和水平红外传感器来创建格栅，从而精确定位显示屏已被使用者的手或手指触摸的准确位置。

应该意识到，TSIM 149不限于上文讨论的装置和方法中的任一种，并且不限于TSIM 149仅能够接收使用者的手或手指在模块149上且被指示到对应于驾驶场景的图形投影显示器250的一部分的触摸姿态，其中所接收的使用者的手的触摸姿态提供了基于触摸的使用者接口以用于操控在图形投影显示器上显示的代表车辆导航意图的导航状态图形。

控制器装置153包括一种机构，例如操纵杆、鼠标、杠杆、触针、触垫或用于接收指示到图形投影显示器250的一部分的使用者操控（user manipulation）的其他附件。显而易见，所接收的到达控制器装置153的使用者操控能够提供基于控制器的接口（controller-based interface），以用于操控在图形投影显示器上显示的代表车辆导航意图的导航状态图形。

成像装置161包括捕获使用者的手的图像并且利用与其相关联的软件来监测使用者的手的位置和取向，从而提供光学图像。能够利用红外或紫外技术来捕获图像。光学图像能够被处理以产生使用者手运动的三维（3D）映射（mapping）。显而易见，手运动的光学图像提供了基于姿态的使用者接口，以用于操控在图形投影显示器上显示的代表车辆导航意图的导航状态图形。因此，由成像装置161检测的使用者手运动（即姿态）能够代替诸如鼠标、杠杆、操纵杆、旋钮或其他附件的触觉接口元件来使用。成像装置161需要捕获一连串图像，其中针对每个图像监测使用者的手的位置和取向，从而提供使用者手运动的光学图像。与成像装置161相关联的软件能够通过合适的专用电路被集成在成像装置161内并且与EVS系统管理器110信号通信。另外，与成像装置161相关联的软件能够被集成在EVS系统管理器110内。

本领域中已知使用成像装置处理光学图像以产生目标的3D映射的各种方法，其中所述光学图像基于所监测的目标（即手）的位置和取向。通过引用并入本文的PCT国际公布WO 2007/043036公开了基于将激光斑纹图案（laser speckle pattern）投影到目标上且然后分析该图案在目标上的图像的方法和系统。通过引用并入本文的美国专利号6,100,517公开了使用脉冲调制以便测量光从目标到检测器的行进时间的方法，其中摄像机创建指示出到达场景中的物体上的点的距离的图像。通过引用并入本文的美国公开号2010/0020078 A1公开了用辐射束照射目标并且产生目标的基于强度的3D映射的方法。本公开不限于上文讨论的方法中的任一种，只要成像装置161能够监测使用者的手的位置和取向并且处理基于所监测的使用者的手的位置和取向的使用者手运动的光学图像即可，其中手运动的光学图像能够提供基于姿态的使用者接口，以用于操控在图形投影显示器上显示的代表车辆导航意图的导航状态图形。

上面讨论的HMI 装置151能够包括语音识别软件，其中使用者输入能够是指示到图形投影显示器的所述部分的语音输入。显而易见，语音输入提供基于语音的使用者接口，以用于操控在图形投影显示器上显示的代表车辆导航意图的导航状态图形。

参考图5，示出了根据本公开根据使用者定义的导航命令来操作车辆的示例性信息流，其中基于在图像投影显示器上显示的代表导航意图的导航状态图形以及指示到图形投影显示器的一部分的使用者输入来启动所述使用者定义的导航命令。过程500包括EVS系统管理器110，该EVS系统管理器110监测在图形投影显示器上显示的导航状态图形510并且监测使用者输入512，该使用者输入被指示到图形投影显示器的一部分。使用者输入512由UIM 515产生，该UIM 515包括TSIM 149、控制器装置153、HMI装置151和成像装置161中的至少一者。导航状态图形510代表了车辆的导航意图。例如，导航状态图形510能够是代表车辆执行道路中即将来临的转弯的导航意图（即未来导航调遣）的图形箭头。应意识到，在图形投影显示器上显示的导航状态图形510被用来给驾驶者提供对于ADS 112导航意图的信心和情况了解。

基于代表导航意图的导航状态图形510以及使用者输入512，EVS系统管理器110启动被输入到ADS 112的使用者定义的导航命令514。因而，ADS 112根据使用者定义的导航命令514向各种系统（例如自适应巡航控制）输出操作命令516来操作车辆。显而易见，EVS系统管理器110使得车辆驾驶者能够操控在图形投影显示器上显示的导航状态图形510，其中导航状态图形510代表正在进行的车辆操作期间车辆的自主式导航意图。因而，通过操控导航状态图形510，车辆的驾驶者能够通过启动使用者定义的导航命令514来改变自主式导航意图从而操作车辆。为了操控导航状态图形510，被监测的指示到图形投影显示器的所述部分的使用者输入512对应于显示导航状态图形的位置。下文将参考图8详细描述，代表使用者定义的导航命令514的导航命令图形能够被显示在图形投影显示器上。使用者定义的导航命令514（包括代表导航命令514的导航命令图形）能够被反馈到EVS系统管理器110并且被指定为代表车辆导航意图的新导航状态图形。

图6示出了根据本公开利用图形投影显示器250在驾驶场景上动态地标示图形的示例性信息流，其包括EVS系统管理器110监测来自占用者眼睛位置感测系统160的输入、来自车辆位置和取向模块370的输入、来自ADS 112的输入以及来自UIM 515的输入，从而产生显示需求330。图形能够包括代表车辆导航意图的导航状态图形。图形还能够包括代表导航命令的导航命令图形。图形还能够包括反馈图形（例如光标），其图示出所监测的被指示到图形投影显示器的所述部分的使用者输入的运动。换言之，反馈图形图示出所监测的使用者输入的运动从而使得使用者输入对准于导航状态图形，以便操控导航状态图形并启动使用者定义的导航命令来操作车辆。

参考图1和图6，占用者眼睛位置感测系统160包括本领域已知的用于估测占用者头部位置且进一步估测占用者眼睛取向或凝视位置的传感器。占用者能够是车辆的操作者或者车辆内的乘客。头部和眼睛感测装置是本领域已知的并且在此不作更详细的讨论。为了本公开的目的，基于摄像机的装置与图像识别软件结合使用以便基于图像识别程序来估计能够与车辆坐标系相协调的车辆内的三维头部位置和占用者凝视方向。眼睛位置输入360被输入到EVS系统管理器110。

能够通过本领域已知的方法来确定车辆的当前位置和取向，该方法例如但不限于监测与3D地图数据库和数字罗盘结合的GPS装置140，所述3D地图数据库和数字罗盘包括与GPS装置140接收到的全局坐标相关的关于车辆当前位置的详细信息。当前位置和取向还能够由车辆运动学确定，其包括至少车辆速度和偏航速率，这可通过监测车辆运转和/或监测加速表读数的传感器来获得。利用上述方法，车辆位置和取向模块370产生输入到EVS系统管理器110的车辆位置和取向输入371。

UIM 515能够被设置成监测指示到图形投影显示器的一部分的使用者输入位置。换言之，使用者输入的位置指的是在被监测的使用者输入所指向的对应于驾驶场景的图形投影显示器上所指示部分的位置。使用者输入位置312被输入到EVS系统管理器110。

ADS能够被设置成确定未来导航调遣位置。未来导航调遣位置能够指的是车辆将在何时和何处响应导航意图或使用者定义的导航命令来执行导航调遣。例如，导航意图可以涉及未来导航调遣，例如由于车辆所行驶的当前车道的道路终止而发生并道。未来导航调遣位置380被输入到EVS系统管理器110。

EVS系统管理器110因此监测眼睛位置输入360、车辆位置和取向输入371、未来导航调遣位置输入380以及使用者输入位置312，从而产生用于在图形投影显示器上动态地标示图形的显示需求330。应意识到，如果图形包括反馈图形，则可能仅需要监测眼睛位置输入360和使用者输入位置371来产生用于在图形投影显示器250上动态地标示反馈图形的显示需求330。

因此，基于占用者眼睛位置、使用者输入位置、车辆的当前位置和取向、未来导航调遣位置（即导航意图/使用者定义的导航命令），未来导航调遣和操作者眼睛之间的估计交点能够被确定在显示器上，从而使得图形图像能够被动态地标示到对应于车辆驾驶场景的挡风屏上的位置处，使得车辆的占用者可以观察到车辆将在何处自主式地实现未来导航调遣（例如道路中的转弯）以及代表实现未来导航调遣的导航意图的导航状态图形。

参考图7，示出了根据本公开的示例性实施例用于确定和显示导航状态图形的示例性信息流。过程400包括：EVS系统管理器110监测来自各种来源的信息并且产生显示需求430；图形模块455监测来自EVS系统管理器110的显示需求430并且产生图形命令440；以及，图形投影模块458将光投射在图形投影显示器250上。如前所述，图形投影显示器能够包括基本透明挡风屏平视显示器150、非透明部件280、车辆触摸屏260、HMI装置151、显示监视器270或者显示被投影的图形和对应于车辆驾驶场景的景象的图像的任何屏或显示器。应意识到，图形投影显示器250不意味着受限于上述显示器中的任一种。

EVS系统管理器110监测来自自主式驾驶系统112的自主式输入402。自主式输入402描述车辆的自主式导航意图。例如，自主式导航意图能够包括车辆由于道路弯曲、并道、交通拥挤或车速变化而必须采取的即将来临或未来的导航调遣。图形模块455（其利用由EVS系统管理器110产生并且基于自主式输入402的显示需求430）确定代表车辆自主式导航意图的导航状态图形。通过输入到图形投影模块458的图形命令440来指示代表车辆自主式导航意图的导航状态图形。应意识到，显示需求430包括：在对应于车辆驾驶场景的平视显示器上动态地标示图形的位置。在对应于驾驶场景的平视显示器上动态地标示图形已经在上文中被讨论并且在这里不进行详细讨论。图形投影模块458利用图形投影显示器250将图形显示到车辆的驾驶场景上。还应意识到，当图形投影显示器250包括基本透明挡风屏平视显示器150或者非透明部件280之一时，图形模块455和图形投影模块458分别对应于EVS图形引擎155和图形投影系统158。导航状态图形能够包括代表车辆将自主采取的未来导航调遣的箭头。导航状态图形还能够包括代表车辆当前行驶的速度的速度表（speed gauge）图形。应理解，可以基于使用者输入来操控速度表图形从而基于被操控的速度表图形来开始加速或减速。

参考图8，示例性示出了根据本公开的示例性实施例用于确定和显示代表使用者定义的导航命令的导航命令图形的示例性信息流。过程包括：EVS系统管理器110监测来自各种来源的信息并且产生显示需求530；图形模块455监测显示需求530并且产生图形命令540；以及，图形投影模块458在图形投影显示器250上投射光。如前所述，图形投影显示器能够包括基本透明挡风屏平视显示器150、非透明部件280、车辆触摸屏260、HMI装置151、显示监视器270或者显示被投影的图形和对应于车辆道路场景的景象的图像的任何屏或显示器。应意识到，图形投影显示器250不意味着受限于上述显示器中的任一种。

EVS系统管理器110监测使用者输入512和导航状态图形510来启动使用者定义的导航命令并且因而操作车辆。如上所述，使用者输入512被指示到图形投影显示器250的一部分并且由UIM 515生成。启动使用者定义的导航命令包括当监测的使用者输入的被指示部分对应显示导航状态图形510的位置时基于监测的使用者输入来操控导航状态图形。例如，车辆的操作者能够观察在图形投影显示器250上显示的代表车辆将继续在中心行车道行驶的导航意图的导航状态图形510。利用成像装置161来提供基于姿态的使用者接口，使用者能够操控在显示器上显示的导航状态图形来执行导航调遣，例如通过做出抓-拉的手运动来操控导航状态图形510从而进行变道。使用者定义的导航命令对应于被操控的导航状态图形。代表使用者定义的导航命令的导航命令图形由图形命令540表示并且被输入到图形投影模块458。应意识到，显示需求530包括在对应于车辆驾驶场景的图形投影显示器上动态地标示图形的位置。在上文讨论了在对应于驾驶场景的平视显示器上动态地标示图形并且将不在此具体讨论。图形投影系统458利用图形投影显示器250将导航命令图形显示到车辆的驾驶场景上。

参考图9，通过车辆的基本透明挡风屏平视显示器150示出了驾驶场景700。这种示例不限于挡风屏平视显示器150并且能够利用图形投影显示器250中所包括的任意其他实施例，从而包括显示在其上的对应于驾驶场景的景象的图像。利用上述方法，导航状态图形702被动态标示在基本透明挡风屏平视显示器150上来代表车辆的导航意图。如上所述，车辆能够自主或半自主地操作，包括自适应巡航控制和/或自动变道。导航状态图形702包括被动态标示在平视显示器150上的箭头，使得导航状态图形702的位置对应于车辆的驾驶场景。在这种非限制性示例中，导航状态图形702代表未来导航调遣，例如车辆将自主采取的道路转弯。导航状态图形702使得车辆的使用者能够观察车辆将在何处自主地执行未来导航调遣。代表道路转弯（即未来导航调遣）的导航状态图形702向车辆驾驶者提供对于车辆的自主式或半自主式功能正在正确运行的信心和情况了解。

参考图10，通过车辆的基本透明挡风屏平视显示器150示出了驾驶场景900。这种示例不限于挡风屏平视显示器150并且能够利用图形投影显示器250中所包括的任意其他实施例，从而包括显示在其上的对应于车辆驾驶场景的景象的图像。能够通过挡风屏平视显示器150观察交通车辆804。利用上述方法，导航状态图形802被动态标示在基本透明挡风屏平视显示器150上从而对应于车辆的驾驶场景并代表车辆的导航意图。在这种非限制性示例中，车辆能够自主地操作。导航状态图形802包括代表该车辆正行驶在交通车辆804之一后方的右车道内的箭头。反馈图形810包括光标图形（即手图形）从而显示监测的指示到平视显示器150的一部分的使用者输入的运动。反馈图形能够被用于对准监测的使用者输入的运动以便操控被显示在平视显示器150上的导航状态图形802。例如，反馈图形812能够利用基于姿态的使用者接口来示出监测的使用者手的运动以使得反馈图形810能够被用于对准监测的使用者手的运动以便操控导航状态图形802。应意识到车辆的使用者能够通过基于使用者输入操控导航状态图形802来启动使用者定义的导航命令以操作车辆。

参考图11，驾驶场景1000示出了图10所示的驾驶场景900，如通过车辆的基本透明挡风屏平视显示器150所示。在这种非限制性示例中，车辆的使用者已经操控图10所示的导航状态图形802从而启动使用者定义的导航命令。导航命令图形820代表要求车辆变道并超过右车道中的交通车辆804的使用者定义的导航命令。在非限制性示例中，使用者输入可以包括利用成像装置来提供基于姿态的接口以便操控图10所示的导航状态图形802从而启动使用者定义的导航命令。基于姿态的接口能够包括被指示到平视显示器150对应于导航状态图形的一部分的抓-拉手运动，从而操控导航状态图形、启动使用者定义的导航命令和确定导航命令图形820。导航命令图形820包括代表变道和超过交通车辆804的使用者定义的导航命令的箭头。还应意识到，第二导航状态图形840能够包括代表车辆当前行驶的速度（即导航意图）的车辆速度表图形。车辆的使用者可以以与上述相同的方式通过操控第二导航状态图形840来启动第二使用者定义的导航命令从而增加或减慢车辆的速度。

本公开内容已经描述了特定优选实施例及其变型。当阅读并理解说明书时可以意识到其他变型和改变。因此，本公开内容不旨在限于被公开作为构想成实现本公开内容的最佳模式的具体实施例，而是本公开内容将包括落入所附权利要求范围内的所有实施例。

Claims

1.利用图形投影显示器导航车辆的方法，包括：

监测指示到所述图形投影显示器的一部分的使用者输入；

根据所述使用者定义的导航命令来操作所述车辆。

2.根据权利要求1所述的方法，其中所述图形投影显示器包括基本透明挡风屏平视显示器，其包括在所述挡风屏的预定区域上允许发光显示且允许通过其可视的发光颗粒或微结构中的一种。

3.根据权利要求1所述的方法，其中所述图形投影显示器包括触摸屏显示器、人机接口显示器、非透明部件和显示监视器中的一种。

4.根据权利要求3所述的方法，还包括：

5.根据权利要求1所述的方法，其中监测代表导航意图的导航状态图形包括：

监测自主式驾驶系统；

确定代表所述导航意图的所述导航状态图形；

在所述图形投影显示器上显示所述导航状态图形。

6.根据权利要求1所述的方法，其中基于监测的导航状态图形和监测的使用者输入来启动所述使用者定义的导航命令包括：

基于所述监测的使用者输入来操控所述导航状态图形；

确定代表所述使用者定义的导航命令的导航命令图形；

在所述图形投影显示器上显示所述导航命令图形。

7.根据权利要求5所述的方法，还包括监测占用者眼睛位置；以及

8.根据权利要求6所述的方法，还包括监测占用者眼睛位置；以及

9.利用基本透明挡风屏平视显示器来导航车辆的方法，包括：

确定代表所述使用者定义的导航命令的导航命令图形；

根据所述使用者定义的导航命令来操作所述车辆；

10.利用图形投影显示器来导航车辆的系统，包括：

视觉增强系统系统管理器：

监测指示到所述图形投影显示器的一部分的使用者输入；

根据所述使用者定义的导航命令来操作所述车辆；