CN102529973A

CN102529973A - 全挡风玻璃平视显示器上自主式车辆的图形车辆命令系统

Info

Publication number: CN102529973A
Application number: CN2011104537407A
Authority: CN
Inventors: J.F.什切尔巴; T.A.塞德; D.崔
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2010-12-30
Filing date: 2011-12-30
Publication date: 2012-07-04
Anticipated expiration: 2031-12-30
Also published as: DE102011122552A1; US9008904B2; CN102529973B; US20120173067A1

Abstract

本发明涉及全挡风玻璃平视显示器上自主式车辆的图形车辆命令系统。一种基于从车辆的使用者输入到图形投影显示器的使用者输入来控制车辆的操作的方法，该显示器呈现了所述车辆前方的景象上的被标示图形，所述方法包括：将所述被标示图形投影到所述图形投影显示器上所述车辆前方的所述景象；监测输入到所述图形投影显示器的所述使用者输入；以及基于输入到所述图形投影显示器的所述使用者输入来控制所述车辆的操作。

Description

全挡风玻璃平视显示器上自主式车辆的图形车辆命令系统

技术领域

本公开涉及与图形显示装置协调的使用者输入。

背景技术

这部分中的陈述仅提供与本公开有关的背景信息并且可能不构成现有技术。

需要以有效的方式向车辆的操作者呈现信息并且这会减少操作者的疲劳。平视显示器将光投射在屏上并且光被转换成屏上的可视图示。已知平视显示器通过减少操作者的疲劳且同时允许操作者保持关注于驾驶从而以有效方式向车辆的操作者呈现信息。

利用驾驶辅助手段的车辆系统监测并处理与车辆周围的操作环境有关的信息，其中所述驾驶辅助手段如自适应巡航控制（ACC）、自动横向控制、碰撞避免或预警系统以及保持车道的辅助手段。信息可以来自于各种来源从而相对于3D地图数据库来定位车辆、计划车辆到达目的地的行驶路线并且使得这个行驶路线关联于与路线有关的可用信息。车载车辆系统提供了能够被用于改进车辆控制的广泛信息。已知车辆-车辆通信（vehicle to vehicle communication）利用一个车辆中收集的数据且该车辆与道路上其他位置处的车辆通信。已知红外传感器基于红外光发射的不同来检测景象中的特征。

来自车辆操作者或占用者的输入能够被监测或者接收自许多来源。按钮、杠杆、方向盘、踏板和其他类似输入装置允许人们向车辆输入控制设定。已知向诸如触摸屏显示器的图形装置的输入。

发明内容

基于从车辆使用者输入到图形投影显示器的使用者输入来控制车辆的操作的方法，其中该图形投影显示器呈现了车辆前方景象上的被标示图形，该方法包括：在图形投影显示器上向车辆前方景象投影被标示图形；监测输入到图形投影显示器的使用者输入；以及基于输入到图形投影显示器的使用者输入来控制车辆的操作。

本发明还提供了以下技术方案。

方案1. 基于从车辆的使用者输入到图形投影显示器的使用者输入来控制车辆的操作的方法，该显示器呈现了所述车辆前方的景象上的被标示图形，所述方法包括：

将所述被标示图形投影到所述图形投影显示器上所述车辆前方的所述景象；

监测输入到所述图形投影显示器的所述使用者输入；以及

基于输入到所述图形投影显示器的所述使用者输入来控制所述车辆的操作。

方案2. 根据方案1所述的方法，其中所述图形投影显示器是基本全挡风屏透明挡风屏平视显示器。

方案3. 根据方案1所述的方法，其中所述图形投影显示器是透明挡风屏平视显示器。

方案4. 根据方案3所述的方法，其中将所述被标示图形投影到所述车辆前方的所述景象包括：

监测被呈现给所述车辆的所述使用者的命令选择；

监测所述车辆前方的所述景象；

监测所述车辆的所述使用者的眼睛位置；以及

基于所述命令选择、所述车辆前方的所述景象以及所述车辆的所述使用者的所述眼睛位置来确定所述被标示图形。

方案5. 根据方案4所述的方法，其中监测所述命令选择包括监测被呈现的关于所述车辆的导航路线的选择。

方案6. 根据方案5所述的方法，其中监测被呈现的关于所述车辆的所述导航路线的选择包括：

监测沿所述车辆的计划路线的交通；以及

基于所监测的交通来确定被呈现的包括替代性路线的选择。

方案7. 根据方案4所述的方法，其中监测所述命令选择包括：

监测指示到所述车辆前方的所述景象中的目标的使用者输入；

通过无线连接检索关于所述目标的信息；以及

基于被指示到所述目标的所述使用者输入和所检索的信息来确定将被呈现的所述命令选择。

方案8. 根据方案4所述的方法，还包括通过操作所述车辆的自主式方法和操作所述车辆的半自主式方法中的一者来操作所述车辆，并且其中监测所述命令选择包括：

监测与通过操作所述车辆的所述自主式方法和操作所述车辆的所述半自主式方法中的所述一者来操作所述车辆有关的信息；

基于所监测的信息来确定用于通过操作所述车辆的自主式方法和操作所述车辆的半自主式方法中的一者来操作所述车辆的可构造出的选项；以及

基于确定的可构造出的选项来确定将被呈现给所述车辆的所述使用者的所述命令选择。

方案9. 根据方案8所述的方法，其中通过操作所述车辆的自主式方法和操作所述车辆的半自主式方法中的所述一者来操作所述车辆包括：通过自适应巡航控制方法、车道保持方法、变道方法、碰撞预警方法和碰撞避免方法中的一种来操作所述车辆。

方案10. 根据方案3所述的方法，其中监测输入到所述图形投影显示器的所述使用者输入包括监测指示到所述图形投影显示器的手姿态。

方案11. 根据方案10所述的方法，其中监测所述手姿态包括利用成像装置来生成所述手姿态的三维映射；以及

基于所述手姿态的所述三维映射来确定所述手姿态从而指示到所述被标示图形。

方案12. 根据方案11所述的方法，其中利用所述成像装置来生成所述手姿态的所述三维映射包括：使用利用红外光、紫外光及红外和紫外光的结合中的一种的装置来捕获图像。

方案13. 根据方案11所述的方法，其中利用所述成像装置来生成所述手姿态的所述三维映射包括利用激光斑纹图案。

方案14. 根据方案11所述的方法，其中利用所述成像装置来生成所述手姿态的所述三维映射包括利用脉冲调制。

方案15. 根据方案11所述的方法，其中利用所述成像装置来生成所述手姿态的所述三维映射包括使用辐照束来照射所述手姿态并且根据基于强度的映射来生成所述三维映射。

方案16. 根据方案1所述的方法，其中所述图形投影显示器包括呈现所述车辆前方的所述景象以及指示到所述景象的特征的所述被标示图形的触摸屏装置。

方案17. 根据方案1所述的方法，其中所述图形投影显示器包括呈现所述车辆前方的所述景象以及指示到所述景象的特征的所述被标示图形的人机接口装置。

方案18. 根据方案17所述的方法，其中所述人机接口装置包括包含发光材料的非透明表面；

其中将所述被标示图形投影到所述图形投影显示器上所述车辆前方的所述景象包括：

在所述图形投影显示器上投影所述景象；

基于所投影的景象确定所述被标示图形；以及

在所述图形投影显示器上投影所述被标示图形。

方案19. 根据方案1所述的方法，其中投影所述被标示图形包括在像素化视场受限架构上投影所述被标示图形。

方案20. 基于从车辆的使用者输入到图形投影显示器的使用者输入来控制车辆的操作的设备，该显示器呈现了所述车辆前方的景象上的被标示图形，所述设备包括：

所述图形投影显示器；以及

视觉增强系统系统管理器：

基于所述车辆前方的所述景象来确定将被呈现的被标示图形；

监测输入到所述图形投影显示器的所述使用者输入；以及

附图说明

现在将参考附图通过示例方式描述一种或更多种实施例，附图中：

图1示出了根据本公开的装备有视觉增强系统的示例性车辆；

图2示出了根据本公开的图形投影显示器的示例性实施例；

图3示出了根据本公开的基本透明显示器；

图4示出了根据本公开的用于接收被指示到图形投影显示器的一部分的使用者输入的示例性使用者输入模块；

图5示出了根据本公开的用于利用图形投影显示器在驾驶场景上动态地标示图形的示例性信息流，包括EVS系统管理器监测输入来产生显示需求；

图6示出了根据本公开的用于基于向EVS系统管理器的输入来确定图形的示例性信息流；

图7示出了根据本公开的能够向受限视场发射光的示例性发射体；

图8示出了根据本公开的产生对齐于聚合物基体以便能够观察受限视场的发射体必要结构的示例性过程；

图9示出了根据本公开的用于实行这里公开的方法的示例性过程；以及

图10示出了根据本公开的通过透明挡风屏图形投影显示器的示例性景象以及在显示器上向被标示图形的使用者输入。

具体实施方式

现在参考附图，其中这些图示仅为了示出某些示例性实施例的目的且不是为了限制性目的，图1示出了装备有视觉增强系统的示例性车辆。示例性EVS系统被公开于共同未决的美国申请号12/417,077，其并入本文以供参考。示例性车辆100包括：EVS系统管理器110；使用者输入模块（UIM）515；车辆传感器系统（包括摄像机系统120和雷达系统125）；车辆操作传感器（包括车辆速度传感器130）；信息系统（包括GPS装置140和无线通信系统145）；平视显示器（HUD）150；EVS图形系统155；图形投影系统158；以及占用者眼睛位置感测系统（occupant eye location sensing system）160。EVS系统管理器110能够直接与各种系统和部件通信，或者EVS系统管理器能够可替代地或附加地在LAN/CAN系统115上通信。EVS系统管理器110与EVS图形系统155通信以便将图形投影在HUD 150上。不过，EVS系统管理器110能够与EVS图形系统155通信从而替代性地或额外地将图形投影在车辆内的其他表面上以便实现这里的方法。参考图4将更详细讨论，UIM 515能够接收被指示到显示装置的一部分的使用者输入，其中所述使用者输入被EVS系统管理器110监测。摄像机系统120包括获取代表车辆视野的周期性或次序性图像的摄像机或图像捕获装置。雷达系统125包括本领域已知的利用电磁辐射来检测位于车辆附近的其他车辆或物体的装置。本领域中的大量已知车载传感器被广泛用于车辆中以便监测车辆速度、发动机速度、车轮滑移和描述车辆操作的其他参数。车辆速度传感器130代表了一种这样的车载传感器，不过本公开的范围包括供EVS使用的任意这样的传感器。GPS装置140和无线通信系统145与车辆外部的资源通信，所述资源例如卫星系统180和蜂窝通信塔190。GPS装置140可以与3D地图数据库结合使用，该3D地图数据库包括与GPS装置140接收的全局坐标相关的关于车辆的当前位置的详细信息。来自车辆传感器系统和车辆操作传感器的信息能够被EVS系统管理器110用来监测车辆的当前取向。HUD 150包括挡风屏，该挡风屏装备有能够显示投影在其上的图像且同时保持透明或基本透明以使得车辆的占用者能够通过挡风屏清楚地观察车辆外部的特征。HUD 150能够包括挡风屏的一部分，例如包括驾驶者侧的一半挡风屏的一部分，或者HUD 150能够包括基本整个挡风屏。应该意识到虽然HUD 150包括在车辆前部的挡风屏，不过车辆内的其他表面也可以用于投影，包括侧窗和后窗。此外，在前挡风屏上的景象可以在车辆前“A-柱”上连续并且连续到侧窗上以作为连续图像。EVS图形引擎155包括显示软件或程序以便翻译请求从而以信息的图形图示的方式来显示来自EVS系统管理器110的信息。EVS图形引擎155包括程序以便补偿挡风屏的弯曲和倾斜的表面以及图形将在其上投影的任意其他表面（例如图2所示的非透明部件280）。EVS图形引擎155控制图形投影系统158，该图形投影系统158包括产生激发光以便投射图形图示的激光器或投影机装置。示例性占用者眼睛位置感测系统160包括本领域已知的估测占用者的头部位置且进一步估测占用者的眼睛的取向或凝视位置的传感器。基于占用者眼睛位置感测系统160的输出、车辆100的当前位置和取向以及使用者输入位置，EVS系统管理器110能够准确地将图形图示动态地标示（register）到HUD 150，使得占用者通过挡风屏看到叠覆有可视图像的图像。将参考图5更详细地讨论图形的动态标示。

根据许多示例性实施例，信息能够被呈现给车辆的使用者。许多视频装置能够被用于向使用者呈现信息。不过在车辆操作环境的景象的背景中向使用者呈现信息会减少控制车辆的视觉复杂性。图形投影显示器能够被用于在车辆前方景象的背景中显示图形。根据许多示例性实施例，能够利用图形投影显示器250和相关联的图形。图2示出了图形投影显示器的示例性实施例，包括被安装在车辆内部的基本透明挡风屏HUD 150、触摸屏显示器260、包括显示器的人机接口（HMI）151、非透明部件280和显示监视器270。将理解，包括有图形投影显示器250的任意所示实施例均能够在显示器上投影对应于且被标示到车辆驾驶场景景象的图形。

根据一种实施例，图形投影系统250能够包括HUD 150，在通过HUD的景象的背景中向使用者呈现信息。HUD是具有嵌入挡风屏内的小的发光颗粒或结构的透明挡风屏。因此，使用者仍能够透过挡风屏观看，例如观察使用者车辆前方交通环境中另一车辆。当激光器激发光被投射到挡风屏上时，发光颗粒或结构向使用者发出可见光。不过，这种被发出的光不会干扰使用者透过挡风屏观看。例如，使用者仍能够看到使用者车辆前方的车辆，并且EVS系统管理器能够引导包括框的图形，其被绘制在挡风屏的一位置上并具有正确尺寸，以便使用者看到围绕使用者车辆前方车辆绘制的被动态标示的框。因此，HUD 150能够用作图形投影显示器250，其将图形投影成叠置于或对应于车辆的驾驶场景的景象。

图3示出了基本透明显示器。观察者10能够通过基体14看到任意物体（例如立方体12）。基体14可以是透明的或基本透明的。虽然观察者10通过基体14看到任意物体12，不过观察者也能够看到产生于基体14的图像（例如圆15和三角16）。基体14可以是车辆挡风玻璃、玻璃基体、塑料基体、聚合物基体或者本领域技术人员能意识到的其他透明（或基本透明）介质的一部分。其他基体可以补充基体14来提供着色、基体保护、滤光（例如过滤外部紫外光）以及其他功能。

图3示出了对基体14的照射，该基体14被来自由装置20表示的光源（例如投影机或激光器）的激发光（例如紫外光或红外光）照射。接收到的激发光可以被基体14处的发光材料吸收。当发光材料接收到激发光时，发光材料可以发出可见光。因此，可以通过使用激发光选择性地照射基体14在基体14处产生图像（例如圆15和三角16）。

在一种实施例中，激发光由包括投影机的装置20输出。投影机可以是数字投影机。投影机可以是微镜阵列（MMA）投影机（例如数字光处理（DLP）投影机）。输出紫外光的MMA投影机可类似于输出可见光的MMA投影机，只是色轮具有适合于紫外光谱的滤光器。投影机可以是液晶显示（LCD）投影机。投影机可以是硅基液晶显示（LCOS）投影机。投影机可以是模拟投影机（例如幻灯胶片投影机或电影胶片投影机）。本领域的技术人员将意识到可以用于将紫外光投射在基体14上的其他类型投影机。

在另一实施例中，激发光由装置20输出，该装置20包括激光器。从装置20输出的激光束的强度和/或运动可以被调制成在基体14中产生图像。在降频转换实施例中，来自激光器的输出可以是紫外光。在升频转换实施例中，来自激光器的输出可以是红外光。

图3示出了分布在基本透明基体内的发光材料（例如发光颗粒22）。当激发光被发光颗粒22吸收时，发光颗粒发出可见光。因此，在降频转换实施例中，当紫外光被发光颗粒22吸收时，可见光从发光颗粒发出。类似地，在升频转换实施例中，当红外光被发光颗粒22吸收时，可见光从发光颗粒发出。

图3示出了包括被分布在基本透明基体内的发光颗粒22的发光材料。这些发光颗粒22能够自始至终是基本类似的颗粒，或者如图3所示，颗粒的成分能够变化。当激发光被发光颗粒22吸收时，颗粒发出可见光。因此，在降频转换实施例中，当紫外光被发光颗粒吸收时，从发光颗粒发出可见光。类似地，在升频转换实施例中，当红外光被发光颗粒吸收时，从发光颗粒发出可见光。每个发光颗粒均可以是不同类型的发光材料，其响应不同波长范围的激发光（例如紫外或红外光）而发出不同波长范围的可见光。

发光颗粒22可以遍布于基体14。在替代方案中，如图3所示，颗粒可以被置于基体14的表面上。发光颗粒22可以通过被涂覆在基体14上而被整合到基体14中。发光材料可以是荧光材料，其响应于对电磁辐射（例如可见光、紫外光或红外光）的吸收而发出可见光，该电磁辐射具有与发出的可见光不同的波长。颗粒的尺寸可以小于可见光的波长，这可以减少或消除由颗粒散射的可见光。比可见光的波长小的颗粒的示例是纳米颗粒或分子。每种发光颗粒可以具有小于大约400纳米的直径。根据实施例，每种发光颗粒可具有小于大约300纳米、小于大约200纳米、小于大约100纳米或者小于大约50纳米的直径。发光颗粒可以是单个分子。

根据图形投影显示器250的另一实施例，显示屏能够被用于在景象的背景中向使用者呈现信息。示例性HMI装置151包括与其关联的显示器以用于接收对应于车辆驾驶场景景象的景象的投影图像并且向使用者显示与该景象叠加或协调的信息。HMI 151包括计算装置，其中车辆的操作者能够输入命令来控制与HMI 151信号通信的各种车辆系统并且接收所需信息。例如，利用HMI 151，使用者能够基于通过显示器可视或在显示器上的场景来提供输入。在HMI显示器上的投影方法是本领域已知的并且本公开不意味着受限于任何一种投影方法。HMI 151能够用作图形投影显示器250，从而投影叠加在或对应于车辆驾驶场景景象的图形。

根据图形投影显示器250的另一实施例，能够利用触摸屏装置260。触摸屏装置是本领域已知的并且不在此具体讨论。触摸屏装置260能够用作图形投影显示器250，从而投影叠加在或对应于车辆驾驶场景景象的图形。

根据图形投影显示器250的另一实施例，图形投影显示器250能够包括非透明部件280，其用于接收对应于车辆驾驶场景的景象的投影图像并且显示叠加在或对应于该景象的图形。非透明部件250能够包括仪表板、座椅、头靠、结构柱、车顶、遮阳板和方向盘。非透明部件250能够包括响应于激励投影机而起反应来显示图形的透明磷光膜（phosphor film）。参考基本透明挡风屏HUD 150在上文讨论了投影方法并且在此参考非透明部件280将不再讨论。共同未决的美国申请号12/563,407通过引用的方式并入本文并且公开了在非透明部件上投影图像和图形。在可替代实施例中，当讨论在HUD 150上且可替代地在非透明部件280上投影被动态标示的图形时，非透明部件250能够包括参考图7和图8在下文中讨论的像素化视场受限架构（pixelated field of view limited architecture）。

通过图形投影显示器250向车辆使用者显示信息的方法能够向使用者提供与车辆的操作环境和车辆的操作相关的细节。例如，图形投影显示器250能够向使用者呈现与计划路线有关的导航细节。如果车辆在高速公路上并且计划路线包括车辆利用即将来临的驶出匝道（off-ramp），则图形能够被显示在图形投影显示器250上从而突出驶出匝道的标志、突出驶出匝道的道标、提示变道以准备使用驶出匝道、利用图形（如被标示到驶出匝道表面的箭头指示符）以指示使用者将驶向何处。在另一示例中，如果来自于互联网的无线连接的信息包括沿计划路径的拥挤或堵塞交通情况，则能够显示多个选项，例如包括在图形投影显示器250中的文本信息、突出标志以及插入地图。在另一示例中，使用者能够发起对潜在兴趣点有关的质询，该潜在兴趣点例如包括加油站、餐馆、购物地点或其它类似目的地。当车辆进入特定距离之内时，能够显示关于这些点的信息，包括价格、来自商业站点的其它消费者的评论或评分（显示成例如在总共五星情况下得到的平均星数）、代表停车场所处地点或何处的被标示图形或其它信息。在另一示例中，能够显示关于车辆的操作的细节，例如与当前速度下的操作有关的信息，包括到达计划目的地前的时间和每单位燃料的行驶英里数（fuel mileage），以及为了提高每单位燃料的行驶英里数在另一速度下的估计的优化操作。可以想到能够显示的信息的大量实施例，并且本公开不试图限于这里描述的具体示例性实施例。

除了与车辆能够采用的路线有关的信息或使用者驾驶的车辆的操作信息之外，在图形投影显示器250上还能够显示与大量自主式或半自主式操作车辆的方法有关的信息。示例性自主式或半自主式方法利用传感器输入来控制车辆的速度和/或转向。方法包括自适应巡航控制、车道保持、变道以及碰撞预警和避免。示例性自主式或半自主式方法在上文引用的美国申请号12/417,077中被具体公开。能够显示与自主式或半自主式方法的操作有关的信息，例如：当前跟随距离或车辆试图达到的理想跟随距离；被突出的当前行驶车道包括代表车辆距当前车道中心有多近的度量；向使用者指示出即将来临的变道；以及代表周围车辆、行人和其他目标的相对位置和轨迹的危胁性评估。可以想到大量自主式或半自主式方法来控制车辆以及能够被传达给车辆使用者或占用者的相关信息，并且本公开不试图限于这里公开的具体示例性实施例。

各种类型的信息能够在图形投影显示器250上被呈现给车辆使用者。能够被呈现的大量信息包括选项或者包括针对使用者输入的提示。例如，使用者在到达计划目的地的途中能够改变优先级或期望来改变行驶的计划路线。改变路线的已知方法包括使用者关注于地图显示器或者在一区域中录入文本信息。这样的方法需要使用者不再关注车辆驾驶场景的景象，例如不太注意靠近使用者车辆的其他车辆。此外，这种脱离于驾驶场景的信息能够是难以被快速解释的。通过图形投影显示器250监测使用者输入并基于使用者输入确定控制命令的方法能够允许使用者提供输入且同时保持关注于驾驶场景且改进了与驾驶场景的联系。

EVS系统管理器110包括可编程处理器，其包括程序以监测指示到图形投影显示器250（见图2）的一部分的使用者输入并基于监测的使用者输入来确定代表操作特征的图形。显而易见的是，在显示器上显示的图形能够被利用来向显示器、向车辆控制系统或向其他相关系统提供控制输入。

参考图4，示出了示例性使用者输入模块（UIM）515，其接收被指示到图形投影显示器250的一部分的使用者输入。使用者输入被EVS系统管理器110监测并且可以被用于在对应驾驶场景的图形投影显示器250上显示图形。UIM 515包括使用者输入装置和模块的实施例，并且示例性车辆可以仅包括被包括在UIM 515内的用于接收和监测指示到图形投影显示器250的一部分的使用者输入的输入装置和模块中的一种。然而，可想到各种实施例，在这些实施例中，车辆能够包括被包括在UIM 515内的使用者输入装置和模块的变型，并且选定的变型能够基于车辆使用者的偏好来启用。示例性UIM 515包括成像装置161、触摸屏输入模块（TSIM）149、控制器装置153以及键盘装置161。

TSIM 149能够被设置成接收使用者的手或手指在该模块上的且被指示到对应于驾驶场景的图形投影显示器的一部分的触摸姿态（touch gesture）。TSIM 149能够另外地包括对应于车辆驾驶场景并且被设置成动态地在其上标示图形的显示器。显而易见，所接收的使用者的手的触摸姿态提供了通过显示器确定选项选择的基于触摸的使用者接口（touch-based user interface）。

本领域中已知能够接收使用者的手或手指的触摸姿态的各种装置。TSIM 149能够是包括显示屏的触摸屏装置，该显示屏能够识别在显示区域内部的触摸的发生、位置和定位。根据一种实施例，显示器能够包括车辆驾驶场景的景象。根据另一实施例，例如当为选择提供可替代选项时，显示器能够包括针对选择的选定图像。例如通过提供导航选择，显示器可以用一半屏幕显示文本消息，例如从而提供保持当前选定路线的选项，并且另一半屏幕显示一段驾驶场景景象，其包括示出街名或出口标号的标志从而向使用者提供选项来选择显示的街道标志以改变计划导航路线。TSIM 149能够被集成在HMI装置151内（见图2）。TSIM 149能够被实现为手持装置，例如个人数字助理（PDA）或移动电话，所有这些装置都具有包括车辆驾驶场景的显示器。TSIM 149有助于使用者与显示在显示器（即驾驶场景）上的内容相互作用，而不是间接与鼠标或触垫相互作用，并且其允许使用者在不必使用这种中间装置的情况下完成触摸姿态。针对选择显示选项的这种方法能够包括图形提示（例如围绕被显示条目的图标或闪烁框指示符）、声音提示或者本领域已知的大量其他特征，从而向使用者快速传达信息以便有助于对所呈现选项的选择。

此外，本领域中已知用于监测和接收使用者的手或手指的触摸姿态的各种方法。在非限制性实施例中，TSIM 149能够是由标准玻璃板构成的电阻触摸屏显示器，该标准玻璃板涂覆有薄的导电且电阻性金属板，其中电流在两个层之间行进并且监测两个层在相同位置彼此接触并且由此中断电流时的触摸姿态。在另一非限制性实施例中，TSIM 149能够是利用超声波来处理来自屏的使用者输入的表面波（surface wave）触摸屏显示器。在这种实施例中，表面波触摸屏显示器利用识别信号是否已经被任何运动时的触摸所改变的变换器，其中，当使用者在特定位置触摸显示器时，超声波流过整个屏。在又一非限制性实施例中，TSIM 149能够是由铟锡氧化物板构成的电容触摸屏显示器，该铟锡氧化物板存储电荷并且被定位在显示器的玻璃层上。当使用者的手或手指输入接触显示器时，少量电荷被传递到使用者的手或手指，并且电容板上的电荷量降低。与之相关联的处理器计算相比较的变化（comparative variation）并且确定触摸姿态出现的精确位置，该位置对应于车辆驾驶场景上的位置。在又一非限制性实施例中，TSIM 149能够包括红外触摸屏显示器。红外触摸屏显示器能够对红外波或热波（即热）产生反应。红外触摸屏显示器还能够利用围绕周边的竖直和水平红外传感器来创建格栅，从而精确定位显示屏已被使用者的手或手指触摸的准确位置。

应该意识到，TSIM 149不限于上文讨论的装置和方法中的任一种，并且不限于TSIM 149仅能够接收使用者的手或手指在模块149上且被指示到对应于驾驶场景的图形投影显示器250的一部分的触摸姿态。控制器装置153能够包括一种机构，例如操纵杆、鼠标、杠杆、触针、触垫或用于接收指示到图形投影显示器250的一部分的使用者操控（user manipulation）的其他附件。

成像装置161能够包括捕获使用者的手的图像并且利用与其相关联的软件来监测使用者的手的位置和取向，从而提供光学图像。能够利用红外和/或紫外技术来捕获图像。光学图像能够被处理以产生使用者手运动的三维（3D）映射（mapping）。显而易见，手运动的光学图像提供了基于姿态的使用者接口。因此，由成像装置161检测的使用者手运动（即姿态）能够代替诸如鼠标、杠杆、操纵杆、旋钮或其他附件的触觉接口元件来使用。根据一种示例性实施例，成像装置161需要捕获一连串图像，其中针对每个图像监测使用者的手的位置和取向，从而提供使用者手运动的光学图像。与成像装置161相关联的软件能够通过合适的专用电路被集成在成像装置161内并且与EVS系统管理器110信号通信。另外，与成像装置161相关联的软件能够被集成在EVS系统管理器110内。

本领域中已知使用成像装置处理光学图像以产生目标的3D映射的各种方法，其中所述光学图像基于所监测的目标（即手）的位置和取向。通过引用并入本文的PCT国际公布WO 2007/043036公开了基于将激光斑纹图案（laser speckle pattern）投影到目标上且然后分析该图案在目标上的图像的方法和系统。通过引用并入本文的美国专利号6,100,517公开了使用脉冲调制以便测量光从目标到检测器的行进时间的方法，其中摄像机创建指示出到达场景中的物体上的点的距离的图像。通过引用并入本文的美国公开号2010/0020078 A1公开了用辐射束照射目标并且产生目标的基于强度的3D映射的方法。本公开不限于上文讨论的方法中的任一种，并且能够包括能够监测手运动以提供基于姿态的输入的任意装置。

作为输入的替代性或额外来源，键盘装置169能够接收使用者对键盘装置的按键输入，其指示到图形投影显示器250的一部分。键盘装置169能够与其他装置结合使用，其他装置例如具有操纵杆的控制器装置或HMI。键盘装置能够包括阿拉伯数字输入，例如包括用于计算机或移动电话装置的微型键盘。在另一实施例中，键盘能够包括选定数量的键，例如具有由字母A至E或由不同颜色键标记的五个按钮。针对选择所提供的显示可以包括匹配键盘装置169上的按键标记的图标。显而易见的，接收到的使用者对键盘装置169的按键输入提供基于按键的接口。

HMI装置151能够被利用来接收使用者输入。已知的方法是感测对HMI装置151的区域的触摸。可替代地，按钮能够与HMI装置151关联使用并且以图形方式被提示于HMI装置上存在的选择。

图5示出了利用图形投影显示器250在驾驶场景上动态地标示图形的示例性信息流，包括EVS系统管理器110监测来自占用者眼睛位置感测系统160的输入360、来自车辆位置和取向模块370的输入371以及来自UIM 515的输入312，从而产生显示需求330。通过监测和结合来自于各种来源的信息，例如输入371、360和312，EVS系统管理器110能够实行一种或多种方法来在显示装置或挡风屏HUD装置上产生与车辆的操作及其操作环境有关的被动态标示的信息，其包括向图形显示器的操作者输入。

参考图1和图5，占用者眼睛位置感测系统160包括本领域已知的用于估测占用者头部位置且进一步估测占用者眼睛取向或凝视位置的传感器。占用者能够是车辆的操作者或使用者或者是车辆内的乘客。头部和眼睛感测装置是本领域已知的并且在此不作更详细的讨论。为了本公开的目的，基于摄像机的装置与图像识别软件结合使用以便基于图像识别程序来估计能够与车辆坐标系相协调的车辆内的三维头部位置和占用者凝视方向。眼睛位置输入360被输入到EVS系统管理器110。

UIM 515能够被设置成监测指示到对应于驾驶场景的图形投影显示器的一部分的使用者输入位置。能够计算通过HUD装置的目标景象的位置。基于目标位置和操作者/使用者的眼睛位置在HUD装置上确定目标景象位置的这种方法被公开在共同未决美国申请号12/726,444中，其并入本文以供参考。使用者输入位置指的是在显示器或HUD装置上使用者姿态所指向的位置。在一些实施例中，显示器上对应于使用者输入位置的位置能够包括指示出所能做出的选择的文本或图形。在一些实施例中，通过HUD装置可见的目标限定了HUD装置对应能够被指向的使用者输入位置以便指示出对目标的选择的位置或部分。例如，如果潜在目的地通过HUD装置的中心左边部分可见，则基于使用者相对于HUD装置的眼睛位置以及潜在目的地的景象在HUD装置上的确定位置，指向HUD装置的中心左边部分的使用者手姿态能够被解释作为对应于潜在目的地的使用者输入位置。在另一示例性实施例中，能够通过凝视位置，例如利用在方向盘上的示例性选择按钮，能够确定使用者输入位置，其中当选择按钮被按下时允许使用者基于使用者的凝视位置指示出对显示器的一部分的选择。通过基于使用者位置来确定手姿态被指示到HUD装置上何处，被输入到EVS系统管理器110的使用者输入位置312能够被生成并且用作控制输入。

参考图5，根据一种示例性实施例，EVS系统管理器110监测眼睛位置输入360、车辆位置和取向输入371以及使用者输入位置312，从而产生用于在图形投影显示器上动态地标示图形的显示需求330。如果图形包括车辆操作环境中的物体或景象的一部分，则EVS系统管理器110将额外需要代表该物体或景象的传感器数据。应意识到，如果图形包括代表例如凝视位置、姿态或选择控制反馈的反馈图形，则可能仅需要监测眼睛位置输入360和使用者输入位置371来产生用于在图形投影显示器250上动态地标示反馈图形的显示需求330。

图6示出了基于向EVS系统管理器110的输入来确定图形的示例性信息流。所示过程包括：EVS系统管理器110监测来自各种来源的信息并且产生显示需求430；图形模块455监测来自EVS系统管理器的显示需求430并且产生图形命令440；以及，图形投影显示器250例如包括这里公开的示例性显示器实施例。EVS系统管理器110包括命令选择模块405，从而使得使用者输入512与EVS系统管理器可获得的其他信息相结合从而通过显示需求430提供包括选择提示和反馈的命令选择所需的任意图形并且输出代表使用者做出的选择的车辆命令以作为命令信号420。使用者输入512能够包括使用者输入位置312或能够传输命令选择或需求以便做出命令选择的任意其他输入。示例性UIM 515被示为包括成像装置161、TSIM 149、控制器装置153和键盘装置169。

命令选择模块405的示例性操作能够包括许多实施例。根据一种示例性实施例，来自导航模块的输入向模块405提供当前计划路线。来自车辆传感器、无线连接或其他输入来源的输入能够向导航模块指示出沿计划路线的道路是拥挤的。导航模块绘制出替代性路线，并且两个替代性建议路线被提供给模块405。模块405结合来自导航模块的数据与来自摄像机传感器的虚拟数据并且确定能够最佳地代表选项的图形，其中所述选项是需要被呈现给使用者来选择的选项。在示例性情况中，其中三个选项包括：1）进行接下来的右转；2）进行第二次右转；以及3）即使拥挤仍保持当前路线，则此时模块可以确定呈现：选项1）在图形投影显示器250的最右侧三分之一包括代表向右急转弯的图形；选项2）在图形投影显示器250的中间三分之一包括代表与选项1）所呈现的相比稍不急剧的右转的图形；以及选项3）在图形投影显示器250的最左侧三分之一包括代表指向前的笔直箭头的图形。代表前方拥挤情况并代表各选项的文本能够被显示。来自使用者的输入能够被监测并被输入到模块405。使用者输入的反馈能够通过模块405被确定并且被显示在图形投影显示器250上。一旦使用者做出选择，则更新的导航路线或即将发生的导航调遣能够被呈现在图形投影显示器250上。模块405的操作是非限制性示例，并且能够类似地描述出模块的许多其他示例性操作。

像素化视场受限架构使得能够向车辆的一个占用者呈现图形而不向另一个占用者显示所述图形。使得能够从有限方向观察图像的像素化视场受限架构的示例性实施例包括使用接受激发光且沿有限方向发出光的微结构或颗粒设置。并入本文以供参考的共同未决美国申请号12/564,899公开了像素化视场受限架构。图7和图8示出了像素化视场受限架构的示例性用法。图7示出了能够向受限的视场发出光的示例性发射体。示例性发射体包括填充有LIF材料704的UV透明封罩702（例如由SiO₂制成），且其具有抛物线形窄带多层反射结构706，其中该LIF材料704在被紫外线辐射照射时发出可见光波长。在这种示例性实施例中，这些发射体构成的薄膜被沉积在聚合物上。为了制备这种膜，类似于发射体中形成的形状的抛物线形印痕被刻在聚合物材料中。通过化学气相沉积将发射体沉积在聚合物基体上，且使用发射体填充抛物线印痕（parabola impression）。图8示出了产生被对齐到聚合物基体以便能够观察受限视场的发射体的必要结构的示例性过程。通过例如蚀刻的示例性过程，通过从基体释放它们而产生了填充有发射材料的自立式抛物线体（free standing prabola）。还能够通过使用适当溶剂溶解塑料基体来实现从聚合物基体的这种去除。之后，自立式抛物线体被嵌入凹洞（divot）中，其中通过光刻方法或模压方法在玻璃基体中产生所述凹洞。能够通过例如流控自装配（fluidic self assembly）的过程来实现抛物线体与凹洞的匹配，该流控自装配例如Alien Technology所使用的装配，其中抛物线体流经基体并且以统计学方式发生抛物线体-凹洞匹配。

基于包括图5所述的动态标示图形的方法的上述方法，被动态标示的图形能够被投影在被实现在基本透明挡风屏平视显示器150中的图形投影显示器250上，该显示器包括像素化视场受限架构，且图形对应于车辆的驾驶场景。像素化视场使得能够从有限方向（例如第一有限方向和/或第二有限方向）观察图形。被动态标示的图形能够包括基于第一观察者位置的第一动态标示图形以及基于第二观察者位置的第二动态标示图形。应理解，第一和第二动态标示图形二者均能够被投影在基本透明挡风屏HUD上。此外，基于第一观察者位置的第一动态标示图形进一步基于利用使得能够从指向第一观察者位置的第一有限方向观察图形景象的像素化视场。应理解，第一观察者位置能够对应于车辆的驾驶者。类似地，基于第二观察者位置的第二动态标示图形进一步基于利用使得能够从指向第二观察者位置的第二有限方向观察图形景象的像素化视场。应理解，第二观察者位置能够对应于车辆中的一个乘客座位。类似地，图5讨论的动态标示方法还能够包括监测与第二观察者眼睛位置相关的数据，其中第二观察者眼睛位置对应于处于第二观察者位置的一个乘客。应理解，监测占用者眼睛位置能够包括监测与第一观察者眼睛位置和/或与第二观察者眼睛位置相关的数据。

上述讨论的像素化视场受限架构的方法被应用到基本透明挡风屏HUD 150。不过，这种方法还能够应用到非透明部件280。例如，仪表盘或支撑支柱的一段可以包括像素化视场受限架构以便图形能够被呈现给车辆的使用者/操作者并且不呈现给车辆的其他前部座椅上的乘客。

上述方法代表了使用者输入能够被用于选择给车辆的命令的方式。例如，方法包括解释对挡风屏做出的使用者姿态来作为命令。许多方法能够被用于向使用者呈现可选命令，并且许多方法能够被用于解释使用者输入作为所需命令。文本图示或图形图示能够被投影在图形投影显示器250上以指示出能够对该文本或图形做出的选择。在这样的示例中，基于文本或图形的被标示位置以及使用者的眼睛、图形和所述使用者姿态的位置之间的确定交点，指向区域或文本或图形的使用者指示能够被用于确定使用者的所需输入。这样的被监测姿态能够被直接输入作为命令。在另一示例性实施例中，这样的被监测姿态能够产生给使用者的提示，例如代表建议命令并需要使用者的确认以便基于建议命令产生实际命令。这样的确认能够包括确认图形的姿态；例如位于车辆方向盘上的按钮；或者口头命令。姿态能够被用于选择呈现给使用者的命令。此外或可替代地，使用者姿态能够提示系统做出反应。例如，如果使用者指向在图形投影显示器250上可见的物体，则系统能够向使用者提供与该物体有关的信息或者确定是否能够向使用者呈现与该物体有关的适当的命令选项。例如，如果使用者指向停车库入口，则能够向使用者示出代表结构的停车率（parking rate）的提示和/或询问是否应该命令车辆进入停车库的提示。可以想到通过使用者姿态呈现和选择选项的许多实施例，并且本公开不试图受限于这里提供的具体示例。

上述方法能够被结合在EVS系统管理器中。这样的EVS系统管理器能够存在于单个控制模块或物理装置中或者能够可替代地跨越多个模块或物理装置。EVS系统管理器能够采用大量不同实施例，并且本公开不试图受限于这里公开的EVS系统管理器的具体示例性实施例。控制模块、模块、控制、控制器、控制单元、处理器和类似术语意味着以下条目中的任意适当一种或者一种或更多种的各种组合：一个（多个）专用集成电路（ASIC）、一个（多个）电子电路、执行一个或更多个软件或固件程序的一个（多个）中央处理单元（优选地是一个（多个）微处理器）及相关联的存储器和存储装置（只读、可编程只读、随机存取、硬盘驱动器等）、一个（多个）组合逻辑电路、一个（多个）输入/输出电路和装置、适当的信号调节和缓冲电路、以及提供所需功能的其他适当元件。控制模块具有一组控制算法，包括存储在存储器中并被执行来提供所需功能的驻留软件程序指令和校准。优选地在预设定循环期间执行算法。算法例如被中央处理单元执行，并且可操作地监测来自感测装置和其他网络化控制模块的输入，并且执行控制和诊断例程来控制致动器的操作。循环可以在正在进行的发动机和车辆操作期间以规则间隔被执行，例如每3.125、6.25、12.5、25和100毫秒被执行。可替代地，算法可以响应事件的发生被执行。

图9示出了操作这里公开的方法的示例性过程800。过程800的示例性步骤被呈现在下表中。

表1

。

过程800通过监测将被呈现给车辆使用者的命令选择从而在步骤802开始。能够根据大量示例性实施例来提示这样的命令选择。例如，当必须做出导航抉择时（计划路线包括现在正处于封闭的道路），则使用者通过缺少指令（lacking instruction）来提示命令选择。根据另一实施例，能够通过由EVS系统管理器识别的到达使用者可能对被识别选项感兴趣的临界可能性的选项来提示命令选择。例如，如果车辆具有被加满的油箱，则使用者不希望将景象中的被识别加油站选择作为新目的地。不过，如果车辆的邮箱快空了，则更可能存在这样的选择。本领域已知许多用于确定这种可能性并设定一个或更多个可能性阈值的方法。根据另一示例性实施例，能够通过使用者来提示命令选择。例如，如果使用者朝向显示器做出姿态，则EVS系统管理器能够意识到显示能够被使用者选择的许多可能的或可构造出的选项。可以想到用于提示并确定命令选项内容的许多方法，并且本公开不试图限于这里公开的具体示例性实施例。

步骤804监测车辆前方的景象。步骤806监测使用者的眼睛位置。步骤802的命令选择能够被放入所述景象的背景中且基于使用者的眼睛位置将图形标示到所述景象。基于命令选择、被监测的景象和被监测的使用者的眼睛位置，步骤808确定一个或更多个适当的被标示图形来显示在图形投影显示器上从而向使用者传达可用的命令选择。在步骤810，确定的图形被投影在图形投影显示器上。在步骤812，监测指向图形投影显示器的一部分或位置的使用者输入。在使用手姿态的一种实施例中，与使用者眼睛相比的使用者的手位置被用于基于使用者的感知来确定手姿态指向显示器的哪个部分。在步骤814，使用者输入被解释来选择性地激活命令选择。在步骤816，命令选择的激活被用于控制车辆。过程800是应用这里公开的方法的示例性非限制性实施例。

图10示出了通过透明挡风屏图形投影显示器900的示例性景象以及指向显示器上的被标示图形的使用者输入。经由显示器900可见的景象能够是通过基本透明显示器可见的实际景象或者能够被投影作为被显示图形的部分。示出了路面902。还示出了可见地平线904。示出了出口坡道906和路标908。示出了指向显示器的示例性使用者指示910。被标示图形920被示为被标示到路面902上的当前行驶车道。能够额外地显示随附于图形920的文本922。类似地，出口坡道906的被标示图形930及任选的随附文本932被示为被标示到出口坡道906。监测指向显示器的使用者指示910，并且基于输入的位置，能够确定在图形920和930呈现的选项之间的选择。

本公开内容已经描述了特定优选实施例及其变型。当阅读并理解说明书时可以意识到其他变型和改变。因此，本公开内容不旨在限于被公开作为构想成实现本公开内容的最佳模式的具体实施例，而是本公开内容将包括落入所附权利要求范围内的所有实施例。

Claims

1.基于从车辆的使用者输入到图形投影显示器的使用者输入来控制车辆的操作的方法，该显示器呈现了所述车辆前方的景象上的被标示图形，所述方法包括：

监测输入到所述图形投影显示器的所述使用者输入；以及

2.根据权利要求1所述的方法，其中所述图形投影显示器是基本全挡风屏透明挡风屏平视显示器。

3.根据权利要求1所述的方法，其中所述图形投影显示器是透明挡风屏平视显示器。

4.根据权利要求3所述的方法，其中将所述被标示图形投影到所述车辆前方的所述景象包括：

监测被呈现给所述车辆的所述使用者的命令选择；

监测所述车辆前方的所述景象；

监测所述车辆的所述使用者的眼睛位置；以及

5.根据权利要求4所述的方法，其中监测所述命令选择包括监测被呈现的关于所述车辆的导航路线的选择。

6.根据权利要求5所述的方法，其中监测被呈现的关于所述车辆的所述导航路线的选择包括：

监测沿所述车辆的计划路线的交通；以及

基于所监测的交通来确定被呈现的包括替代性路线的选择。

7.根据权利要求4所述的方法，其中监测所述命令选择包括：

通过无线连接检索关于所述目标的信息；以及

8.根据权利要求4所述的方法，还包括通过操作所述车辆的自主式方法和操作所述车辆的半自主式方法中的一者来操作所述车辆，并且其中监测所述命令选择包括：

9.根据权利要求8所述的方法，其中通过操作所述车辆的自主式方法和操作所述车辆的半自主式方法中的所述一者来操作所述车辆包括：通过自适应巡航控制方法、车道保持方法、变道方法、碰撞预警方法和碰撞避免方法中的一种来操作所述车辆。

10.基于从车辆的使用者输入到图形投影显示器的使用者输入来控制车辆的操作的设备，该显示器呈现了所述车辆前方的景象上的被标示图形，所述设备包括：

所述图形投影显示器；以及

视觉增强系统系统管理器：

监测输入到所述图形投影显示器的所述使用者输入；以及