CN107249952B - 用于自主车辆的自适应用户接口 - Google Patents

Abstract

描述了针对用于具有自动车辆系统的车辆的自适应用户接口系统的系统和方法。自适应用户接口系统包括显示器和电子控制器。控制器配置成生成指示自动车辆系统的操作的图形用户接口，在显示器上输出图形用户接口，监视驾驶员的舒适水平的指标，并且基于所监视的指标而确定何时驾驶员关于自动车辆系统的操作感到不舒适。响应于确定驾驶员关于自动车辆系统的操作感到不舒适，电子控制器修改图形用户接口以提供增加的详细水平。

Description

用于自主车辆的自适应用户接口

相关申请

本申请要求享有2014年12月30日提交的美国临时申请号62/097,868的权益，该美国临时申请的完整内容通过引用并入本文。

背景技术

本发明的实施例涉及机动车控制系统的领域。特别地，本发明的一些实施例涉及驾驶员辅助系统和驾驶员接口设备。

驾驶员辅助系统，诸如例如自适应巡航控制和自动车道改变系统，已经成功地部署到市场以增加驾驶员舒适性和安全性。随着这些驾驶员辅助系统在精密化方面中的进展，更少的驾驶员交互可以是必需的。在一些情况下，驾驶员辅助系统可以针对行程的部分是完全自动化的。相应地，对于行程的至少某个部分，驾驶员的角色已经从主动驾驶员的角色改变到乘客的角色。高度自动化的车辆允许驾驶员将控制移交给自动化车辆并且在驾驶的同时进行其它任务。

发明内容

采用自适应巡航控制或自动化驾驶特征的车辆系统可以提供在显示器上示出的用户接口，所述用户接口为用户/驾驶员提供关于正在由自动化系统执行的操作的信息。然而，一些高级自动化车辆系统在自动化车辆系统的正常操作期间可能要求来自用户/驾驶员的极少或没有交互。而是，为用户/驾驶员提供具有详细反馈信息的图形用户接口的一个功能和目的是允许用户/驾驶员感受到对车辆操作的更加舒适的“放手”控制和将车辆的操作移交给自动化系统。

新手用户/驾驶员可能要求关于系统状态和正在由自动化车辆系统执行的操作的大量信息以便发展对自动化系统的信任并且信服自动化系统正在安全且适当地运转。另一方面，更加有经验的用户/驾驶员可能已经发展了显著程度的信任并且可能偏好具有更少信息的更简单的用户接口。

本发明的一些实施例提供了一种用于配备有一个或多个自动化车辆系统的车辆的自适应用户接口。自适应用户接口基于来自用户/驾驶员的反馈而改变显示在用户接口上的信息的格式和详细水平。在一些实施例中，自适应系统配置成由用户/驾驶员手动调节。在其它实施例中，自适应系统配置成监视一个或多个传感器并且查明驾驶员的压力水平以评估驾驶员是否关于正在用户接口上显示的信息水平感到舒适。

在一个实施例中，本发明提供了一种用于具有自动车辆系统的车辆的自适应用户接口系统。自适应用户接口系统包括显示器和电子控制器。控制器配置成生成指示自动车辆系统的操作的图形用户接口，在显示器上输出图形用户接口，监视驾驶员的舒适水平的指标，并且基于所监视的指标而确定何时驾驶员关于自动车辆系统的操作感到不舒适。响应于确定驾驶员关于自动车辆系统的操作感到不舒适，电子控制器修改图形用户接口以提供增加的详细水平。

本公开的其它方面将通过详细描述和随附各图的考虑而变得明显。

附图说明

图1是依照一些实施例的自主车辆控制系统的框图。

图2是根据包括静态图标的第一详细水平的图1的自主车辆控制系统所显示的用户接口。

图3是根据包括静态图标和动态指示物的第二详细水平的图1的自主车辆控制系统所显示的用户接口。

图4是根据包括所检测的车辆的动态二维视图和交通数据的第三详细水平的图1的自主车辆控制系统所显示的用户接口。

图5是根据包括所检测的车辆的动态三维视图和交通数据的第四详细水平的图1的自主车辆控制系统所显示的用户接口。

图6是由图1的自主车辆控制系统实现的用于提示用户/驾驶员其关于用户接口的当前显示详细水平的舒适水平的方法的流程图。

图7是由图1的自主车辆控制系统实现的用于自动检测用户舒适水平并且用于相应地调节用户接口的详细水平的方法的流程图。

具体实施方式

在详细解释本发明的任何实施例之前，要理解到，本发明在其应用方面不受限于在以下描述中阐述或在随附各图中图示的组件的构造和布置的细节。本发明能够具有其它实施例并且能够以各种方式实践或实施。

而且，要理解的是，本文所使用的措辞和术语是出于描述的目的，并且不应当被视为是限制性的。本文中“包括”、“包含”或“具有”及其变型的使用意指涵盖此后列出的项目及其等同物以及附加项目。术语“安装”、“连接”和“耦合”被宽泛地使用，并且涵盖直接和间接安装、连接和耦合二者。另外，“连接”和“耦合”不限于物理或机械连接或耦合，并且可以包括电气连接或耦合，无论是直接的还是间接的。而且，电子通信和通知可以使用任何已知的手段来执行，包括有线连接、无线连接等。

还应当指出的是，多个基于硬件和软件的设备以及多个不同的结构组件可以用于实现本发明。还应当指出的是，多个基于硬件和软件的设备以及多个不同的结构组件可以用于实现本发明。此外，应当理解的是，本发明的实施例可以包括硬件、软件和电子组件或模块，所述硬件、软件和电子组件或模块出于讨论的目的可以被图示和描述为如同组件的大部分独自实现在硬件中。然而，本领域普通技术人员，并且基于该详细描述的阅读，将认识到，在至少一个实施例中，本发明的基于电子的方面可以实现在可由一个或多个处理器执行的软件（例如存储在非暂时性计算机可读介质）中。照此，应当指出的是，多个基于硬件和软件的设备以及多个不同的结构组件可以用于实现本发明。例如，本说明书中所描述的“控制单元”和“控制器”可以包括一个或多个处理器、包括非暂时性计算机可读介质的一个或多个存储器模块、一个或多个输入/输出接口和连接组件的各种连接（例如系统总线）。

图1是自主车辆控制系统10的一个示例性实施例的框图。如以下更加特别描述的，自主车辆控制系统10可以安装在车辆（未示出）上或者集成到其中，并且自主地驾驶车辆。应当指出的是，在随后的描述中，术语“自主车辆”和“自动化车辆”不应当被视为是限制性的。所述术语以通用方式使用以指代自主或自动化驾驶车辆，所述车辆拥有变化的自动程度（即，车辆配置成以来自驾驶员的有限输入，或者在一些情况下，没有来自驾驶员的输入而驾驶自身）。本文所描述的系统和方法可以供能够部分或完全自主操作、由驾驶员手动控制或二者的某种组合的任何车辆使用。

在所图示的示例中，自主车辆控制系统10包括电子控制器12、车辆控制系统14、传感器16、一个或多个外部车辆相机18、收发器20和显示器22。自主车辆控制系统10的组件连同其它各种模块和组件通过或借由一个或多个控制或数据总线电气耦合到彼此，所述一个或多个控制或数据总线使得能够实现其间的通信。鉴于本文所描述的发明，控制和数据总线用于各种模块和组件之间的互连以及用于各种模块和组件之中的通信的使用对于本领域技术人员而言将是已知的。在可替换的实施例中，自主车辆控制系统10的组件中的一些或全部可以使用合适的无线模态（例如Bluetooth^TM或近场通信）通信耦合。为了便于描述，图1中图示的自主车辆控制系统10包括前述组件中的每一个的一个。可替换的实施例可以包括每一个组件的一个或多个，或者可以排除或组合一些组件。根据本文所描述的方法，电子控制器12控制车辆控制系统14、传感器16、（多个）外部相机18、收发器20、显示器22以自主地控制车辆。在一些实施例中，电子控制器12通过向车辆控制系统14、传感器16、外部相机18、收发器20、显示器22传输控制信号或指令来控制这些设备和系统。

电子控制器12包括电子处理器24（例如微处理器、专用集成电路等）、存储器26和输入/输出接口28。存储器26可以由一个或多个非暂时性计算机可读介质构成，并且至少包括程序存储区域和数据存储区域。程序存储区域和数据存储区域可以包括不同类型的存储器的组合，诸如只读存储器（“ROM”）、随机存取存储器（“RAM”）（例如动态RAM（“DRAM”）、同步DRAM（“SDRAM”）等）、电可擦除可编程只读存储器（“EEPROM”）、闪速存储器、硬盘、SD卡或其它合适的磁性、光学、物理或电子存储器设备。电子处理器24耦合到存储器26和输入/输出接口28。电子处理器24发送和接收信息（例如从存储器26和/或输入/输出接口28），并且通过执行能够存储在存储器26或另一非暂时性计算机可读介质中的一个或多个软件指令或模块来处理信息。软件可以包括固件、一个或多个应用、程序数据、筛选器、规则、一个或多个程序模块和其它可执行指令。电子处理器24配置成从存储器26检索并且执行（除其它事物之外）软件以用于自主车辆控制和用于执行如本文所描述的方法。

输入/输出接口28从电子控制器12外部的设备传输和接收信息（例如通过一个或多个有线和/或无线连接），所述设备诸如车辆控制系统14、传感器16、外部相机18、收发器20和显示器22。输入/输出接口28接收用户输入，提供系统输出或二者的组合。如本文所描述的，来自车辆的驾驶员或乘客的用户输入可以通过一个或多个人机接口组件来提供，所述人机接口组件包括例如触摸屏显示器22、麦克风或按钮/控件。输入/输出接口38还可以包括其它输入和输出机制，为了简要起见，在本文中未描述所述其它输入和输出机制，并且其可以实现在硬件、软件或二者的组合中。

应当理解的是，尽管图1图示了仅单个电子处理器24、存储器26和输入/输出接口28，但是电子控制器12的可替换的实施例可以包括多个处理单元、存储器模块和/或输入/输出接口。还应当指出的是，自主车辆控制系统10可以包括其它电子控制器，每一个包括与电子控制器12类似并且类似配置的组件。在一些实施例中，电子控制器12部分或整个地实现在半导体（例如现场可编程门阵列[“FPGA”]半导体）芯片上。类似地，本文所描述的各种模块和控制器可以实现为个体的控制器，如所图示的，或者实现为单个控制器的组件。在一些实施例中，可以使用方案的组合。

电子处理器24使用输入/输出接口28来向车辆控制系统14发送信息或命令并且从其接收信息或命令（例如通过车辆通信总线，诸如CAN总线）。车辆控制系统14包括组件（例如致动器、马达和控制器）以控制多个车辆系统（例如刹车、转向和引擎功率输出）。为了简要起见，将不更加详细地描述车辆控制系统14。电子处理器24配置成操作车辆控制系统14以自主地驾驶车辆。在一些实施例中，对于整个行程，车辆控制系统14被控制以自动驾驶自主车辆而没有驾驶员介入或输入。在其它实施例中，车辆控制系统14被控制以针对行程的一个或多个部分而驾驶车辆，并且针对行程的一个或多个部分而允许或要求驾驶员手动操作车辆。

图2-5图示了可以被选择性地输出到显示器28的用户接口的各种示例。每一个用户接口包括不同的信息水平并且可以基于驾驶员的偏好或自动地基于由传感器16检测到的可以指示驾驶员压力或不舒适的指示物而选择性地显示。

例如，图2的用户接口图示了指示自动车辆系统活动还是不活动的静态图标201。图2的用户接口提供非常少的动态信息并且通常将不被新手驾驶员所偏好，所述新手驾驶员不熟悉自动化车辆系统或关于自动化车辆系统感到不舒适。然而，更有经验且熟悉自动化车辆系统的驾驶员可能偏好图2的用户接口的简单性。

图3图示了可以在显示器28上选择性输出的用户接口的另一示例。该用户接口包括指示自动化车辆系统活动还是不活动的静态图标301，并且还包括动态指示物303。在该示例中，动态指示物303包括指示由驾驶员设置到在前车辆的所计算的时间间隙的分段条形图。如同图2的示例，图3中的用户接口仅示出系统的激活/去激活，并且还包括由驾驶员做出的设定，但是其不基于实际检测到的驾驶条件而显示信息。

图4图示了可以在显示器28上示出的更加详细且动态的用户接口的又一示例。取代于仅仅提供静态指示物，图4的用户接口提供指示周边环境的动态细节。图4的用户接口提供车辆401和当前被车辆401占用的驾驶车道403的模拟俯视图。在各种构造和实现中，驾驶员车道的位置和形状可以基于例如由（多个）外部相机18捕获的图像数据和/或基于如由全球定位/卫星导航系统指示的预定地图信息而确定。

除了显示车辆401和驾驶车道403之外，图4的用户接口图示了所显示的车辆401周围的圆形指示物405。圆形指示物405的大小可以基于用户的预设驾驶偏好来定义，并且在一些构造中可以在另一车辆或障碍物在车辆401的某个所定义的距离内逼近时改变颜色。图4的用户接口还显示由自动车辆系统检测到的其它车辆407的图形表示。该用户接口包括显示各种信息和警告的符号指示物409，并且还包括可以由驾驶员用于手动调节用于车辆的偏好和设定（包括用户接口显示设定）的下拉菜单411。

图5图示了甚至比以上讨论的其它示例更加详细的又一用户接口。在图5的详细视图中，显示器图示了车辆501周边的环境，包括例如路面、行进路径503以及附近物体和其它车辆507。再一次，用户接口还显示车辆的图形表示周围的圆形图标505。然而，不同于图4的示例，图5的用户接口在三维透视渲染中显示图形图像，并且可以包括来自外部相机18的实际图像数据而不是图形表示。利用图4的用户接口，驾驶员被告知车辆的传感器和相机正在检测什么。驾驶员可以信服车辆已经检测到和确认车辆周边中的相关物体。

此外，图5的用户接口的详细视图图示了自动化驾驶车辆的状态，例如各种传感器、电子控制单元、致动器（例如刹车、转向和引擎）以及其它车辆硬件的功能。显示器还图示了当前由车辆规划的车辆操纵以及当前正由自动车辆系统执行的操纵。例如，图5的详细视图可以配置成当发生操纵时或之前，示出车道改变、在十字路口转弯、笔直驾驶等。

自适应用户接口系统配置成修改显示器上的信息类型和量以适配于驾驶员的偏好。在一些实现中，控制器经由用户接口询问驾驶员该驾驶员期望有多少信息。用户接口向驾驶员提供寻求分组成诸如低、中或高之类的类别的信息的多个问题。在一些实现中，控制器配置成询问关于特定显示项目的问题。问题可以在车辆启动时或者基于时间/英里数间隔而呈现。

图6图示了用于基于向车辆的驾驶员提出的问询而调节用户接口的显示设定的一个方法。系统通过以音频形式通过车辆的扬声器输出问题而开始（步骤601）。第一个问题询问驾驶员他们是否想要改变当前显示模式（步骤603）。系统针对来自驾驶员的响应而监视输入接口（例如麦克风、按钮或触摸屏显示器）。如果驾驶员响应“否”，则系统不对在显示器上示出的用户接口做改变（步骤605）。系统然后在再次提示用户关于其显示偏好之前等待所定义的时间段或英里数流逝（步骤607）。

然而，如果驾驶员指示他们想要改变显示模式（步骤603），系统进一步问询驾驶员想要使用户接口提供更多细节还是更少细节（步骤613）。如果驾驶员以“更多”响应，系统修改用户接口以适配于请求（步骤611）。如果驾驶员以“更少”响应，系统相应地修改用户接口以适配于该请求（步骤613）。

在一些实现中，自适应用户接口系统配置成响应于驾驶员反馈而循环通过一系列预配置的用户接口配置。例如，如果自适应用户接口系统当前正在示出图4的用户接口，并且驾驶员指示他们想要更不详细的用户接口，系统将把用户接口改变成图3中图示的配置。相反，如果驾驶员指示他们想要更多细节，系统将适配成显示图5的用户接口。

随着时间过去，当驾驶员变得熟悉自动化系统并且关于自动化系统感到舒适，控制器自动减少呈现在显示器上的信息的量。系统还可以使得显示器向驾驶员指示当前未被显示但是如果期望的话可用的信息。

在其它实现中，取代于或附加于提示驾驶员以得到有意识的/主动的反馈（如图6中所图示的），系统配置成监视驾驶员的自主反应并且相应地自动修改用户接口。例如，控制器从一个或多个“驾驶员压力传感器”16接收数据，所述驾驶员压力传感器16可以监视心率、皮肤电导或其它生理驾驶员条件。来自这些传感器的数据然后被处理以评估驾驶员的压力水平。系统然后基于所检测到的驾驶员的压力水平而增加或减少显示器上的信息量。

图7图示了用于监视驾驶员的压力水平并且用于相应地自动适配用户接口的方法的一个示例。系统针对指示驾驶员的压力水平（例如心率）的信号而监视传感器（步骤701）。如果来自传感器的信号指示压力/痛苦（步骤703），系统自动增加提供在显示器上的详细水平（步骤705）。系统然后在再次评估压力水平之前等待所定义的时间段或英里数（步骤707）。

相反，如果传感器不指示痛苦水平（步骤703），系统进行检查以查看是否自从显示器上一次被修改以来已经流逝了所定义的时间段（步骤709），并且如果是这样，自动降低用户接口中的详细水平（步骤711）。然而，如果用户接口最近已经被修改（步骤709），系统继续在用户接口中显示相同的详细水平。以此方式，系统不仅自动响应于驾驶员的舒适水平，而且最终力图在驾驶员变得关于车辆系统的自动操作感到更加舒适时降低提供在用户接口中的详细水平。

要理解的是，以上描述的特定示例是说明性的，并且在不脱离本发明的范围的情况下，其它实现是可能的。例如，取代于在安装于车辆的内部仪表板上的屏幕上示出用户接口，用户接口可以通过仪表组、抬头显示器、中央控制台、移动设备（例如智能电话或平板电脑）或可穿戴设备（例如手表）输出。同样地，图2-5中图示的特定用户接口仅仅是几个示例——其它实现可以取决于例如自动化车辆系统的类型和操作而包括更多、更少或不同的细节。

因此，除其它事物之外，本发明提供了用于自主车辆的驾驶状态指示物。在随附权利要求中阐述本发明的各种特征和优点。

Claims (14)

1.一种用于具有自动车辆系统的车辆的自适应用户接口系统，所述自适应用户接口系统包括：

显示器；以及

电子控制器，其电气耦合到显示器并且配置成

生成指示自动车辆系统的操作的图形用户接口，

在显示器上输出图形用户接口，

监视驾驶员的舒适水平的指标，

基于所监视的指标而确定何时驾驶员关于自动车辆系统的操作感到不舒适，以及

响应于确定驾驶员关于自动车辆系统的操作感到不舒适，修改图形用户接口以提供增加的详细水平。

2.权利要求1所述的自适应用户接口系统，还包括配置成检测驾驶员的生理条件的传感器，并且其中电子控制器配置成通过监视传感器的输出来监视驾驶员的舒适水平的指标。

3.权利要求2所述的自适应用户接口系统，其中传感器包括心率传感器，并且其中电子控制器配置成通过检测心率的增加来确定驾驶员何时关于自动车辆系统的操作感到不舒适。

4.权利要求1所述的自适应用户接口系统，其中电子控制器配置成通过选择多个预定义的用户接口中的第一用户接口来生成图形用户接口，并且其中电子控制器配置成通过选择多个预定义的用户接口中的第二用户接口并且在显示器上输出第二用户接口来修改图形用户接口，第二用户接口提供比第一用户接口更大的详细水平。

5.权利要求4所述的自适应用户接口系统，其中第二用户接口提供未被第一用户接口提供的自动车辆系统的操作细节。

6.权利要求4所述的自适应用户接口系统，其中第二用户接口提供未被第一用户接口提供的所检测到的附近车辆的细节。

7.权利要求4所述的自适应用户接口系统，其中第二用户接口提供车辆的动态图形表示，并且其中第一用户接口不提供与第二用户接口相同的车辆的动态图形表示。

8.一种用于提供用于具有自动车辆系统的车辆的自适应用户接口的方法，所述方法包括：

生成指示自动车辆系统的操作的图形用户接口，

在显示器上输出图形用户接口，

监视驾驶员的舒适水平的指标，

基于所监视的指标而确定何时驾驶员关于自动车辆系统的操作感到不舒适，以及

响应于确定驾驶员关于自动车辆系统的操作感到不舒适，修改图形用户接口以提供增加的详细水平。

9.权利要求8所述的方法，还包括从传感器接收指示驾驶员的生理条件的信号，并且其中监视驾驶员的舒适水平的指标包括监视传感器的输出。

10.权利要求9所述的方法，其中接收指示生理条件的信号包括从心率传感器接收心率的指示，并且其中确定驾驶员何时关于自动车辆系统的操作感到不舒适包括检测心率的增加。

11.权利要求8所述的方法，其中生成图形用户接口包括选择多个预定义的用户接口中的第一用户接口，并且其中修改图形用户接口包括选择多个预定义的用户接口中的第二用户接口并且在显示器上输出第二用户接口，第二用户接口提供比第一用户接口更大的详细水平。

12.权利要求11所述的方法，其中第二用户接口提供未被第一用户接口提供的自动车辆系统的操作细节。

13.权利要求11所述的方法，其中第二用户接口提供未被第一用户接口提供的所检测到的附近车辆的细节。

14.权利要求11所述的方法，其中第二用户接口提供车辆的动态图形表示，并且其中第一用户接口不提供与第二用户接口相同的车辆的动态图形表示。