CN112440969A - 使用眼动数据来预测车辆操作员意图的系统和方法 - Google Patents

Abstract

一种用于控制机动车辆的方法，包括提供被配置成控制第一车辆的加速和制动的第一致动器、被配置成控制第一车辆的转向的第二致动器、以及与第一致动器和第二致动器通信的控制器，所述控制器被配置成：根据自动驾驶系统沿着第一轨迹以自主模式选择性地控制第一致动器和第二致动器；使用V2X通信从第二车辆接收眼动数据和车辆特性数据；根据眼动数据和车辆特性数据确定第二车辆的预测车辆机动；确定第一车辆相对于第二车辆的预测车辆机动的轨迹调整；以及自动控制第一致动器和第二致动器以实施轨迹调整。

Description

使用眼动数据来预测车辆操作员意图的系统和方法

技术领域

本公开一般地涉及用于使用眼动数据来预测周围车辆的机动的系统和方法，并且涉及由自动驾驶系统控制的车辆，特别是被配置成在没有人工干预的情况下在驾驶周期期间自动控制车辆转向、加速和制动的那些车辆。

背景技术

现代车辆的操作正变得更加自动化，即能够以越来越少的驾驶员干预来提供驾驶控制。车辆自动化已经被分类成范围从零级（对应于无自动化，完全人工控制）到五级（对应于完全自动化，没有人工控制）的数字等级。各种自动驾驶员辅助系统（诸如巡航控制、自适应巡航控制和泊车辅助系统）对应于较低的自动化水平，而真正的“无人驾驶”车辆对应于较高的自动化水平。

典型地，自主或半自主车辆无法预测周围车辆的机动。车辆对一切（V2X）通信是从车辆向可能影响车辆的任何实体传递信息，并且反之亦然。V2X是一种车辆通信系统，其结合了其它更多特定类型的通信，诸如车辆对基础设施（V2I）、车辆对网络（V2N）、车辆对车辆（V2V）、车辆对行人（V2P）和车辆对电网（V2G）。眼睛追踪是测量注视点（人观察的地方）抑或眼睛相对于头部的运动的过程。用以收集眼睛注视信息、将信息映射到周围环境并且与周围车辆共享信息的方法和系统可以用于告知自主、半自主或驾驶员操作的车辆的意图。

发明内容

根据本公开的实施例提供了许多优点。例如，根据本公开的实施例使得自主或半自主车辆能够基于从附近车辆接收的眼动数据来预测预期的车辆机动，并且基于附近车辆的预测机动来对自主或半自主车辆的当前轨迹进行轨迹调整。

在本公开的一个方面，一种用于控制机动车辆的方法包括提供被配置成控制第一车辆的加速和制动的第一致动器、被配置成控制第一车辆的转向的第二致动器、以及与第一致动器和第二致动器通信的控制器。控制器被配置成根据自动驾驶系统沿着第一轨迹以自主模式选择性地控制第一致动器和第二致动器。该方法还包括由控制器使用V2X通信从第二车辆接收眼动数据和车辆特性数据，由控制器从眼动数据和车辆特性数据确定第二车辆的预测车辆机动，由控制器基于第二车辆的预测车辆机动确定针对第一车辆的轨迹调整，以及由控制器自动控制第一致动器和第二致动器以实施轨迹调整。

在一些方面，该方法进一步包括由控制器对眼动数据和车辆特性数据进行分析，以使眼动数据和车辆特性数据在时间上关联，并且生成匹配的数据集。

在一些方面，眼动数据包括注视位置和注视持续时间。

在一些方面，车辆特性数据包括第二车辆的车辆速度、车辆加速度和车辆方向盘角度。

在一些方面，匹配的数据集包括注视位置、注视位置的持续时间、车辆速度、车辆加速度、车辆方向盘角度和车辆位置。

在一些方面，该方法进一步包括由控制器确定预测模型状态，其中预测模型状态是预测模型是否本地存储在第一车辆的控制器上。

在一些方面，该方法进一步包括如果预测模型没有本地存储在第一车辆的控制器上，则由控制器经由V2X通信访问托管更新的预测模型的远程源。

在一些方面，该方法进一步包括由控制器经由V2X通信将眼动数据和车辆特性数据传输到远程源。

在一些方面，轨迹调整包括对第一车辆的第一轨迹的纵向、横向和速度调整中的一者或多者。

在本公开的另一方面，机动车辆包括被配置成传输和接收V2X通信的无线通信系统、被配置成控制机动车辆的加速和制动的第一致动器、被配置成控制机动车辆的转向的第二致动器、以及与第一致动器和第二致动器以及无线通信系统通信的控制器。控制器被配置成根据自动驾驶系统沿着第一轨迹以自主模式选择性地控制第一致动器和第二致动器。控制器还被配置成使用V2X通信经由无线通信系统从第二车辆接收眼动数据和车辆特性数据，从眼动数据和车辆特性数据确定第二车辆的预测车辆机动，基于第二车辆的预测车辆机动确定针对机动车辆的轨迹调整，并且自动控制第一致动器和第二致动器以实施轨迹调整。

在一些方面，控制器被进一步配置成对眼动数据和车辆特性数据进行分析，以使眼动数据和车辆特性数据在时间上关联，并且生成匹配的数据集。

在一些方面，控制器被进一步配置成确定预测模型状态，其中预测模型状态是预测模型是否被本地存储在机动车辆的控制器上。

在一些方面，控制器被进一步配置成：如果预测模型没有本地存储在机动车辆的控制器上，则经由V2X通信访问托管更新的预测模型的远程源。

在一些方面，控制器被进一步配置成经由V2X通信将眼动数据和车辆特性数据传输到远程源。

在一些方面，轨迹调整包括对机动车辆的第一轨迹的纵向、横向和速度调整中的一者或多者。

在本公开的又一方面，一种用于控制机动车辆的系统包括无线通信系统、被配置成控制机动车辆的加速和制动的第一致动器、被配置成控制机动车辆的转向的第二致动器、以及与第一致动器和第二致动器通信的控制器。控制器被配置成根据自动驾驶系统沿着第一轨迹以自主模式选择性地控制第一致动器和第二致动器。控制器被进一步配置成使用V2X通信从第二车辆接收眼动数据和车辆特性数据，对眼动数据和车辆特性数据进行分析以使眼动数据和车辆特性数据在时间上关联并生成匹配的数据集，从匹配的数据集确定第二车辆的预测车辆机动，基于第二车辆的预测车辆机动来确定针对机动车辆的轨迹调整，并且自动控制第一致动器和第二致动器以实施轨迹调整。

在一些方面，控制器被进一步配置成确定预测模型状态，其中预测模型状态是预测模型是否被本地存储在机动车辆的控制器上。

在一些方面，控制器被进一步配置成：如果预测模型没有本地存储在机动车辆的控制器上，则使用无线通信系统经由V2X通信来访问托管更新的预测模型的远程源。

在一些方面，控制器被进一步配置成使用无线通信系统经由V2X通信，将眼动数据和车辆特性数据传输到远程源。

在一些方面，轨迹调整包括对机动车辆的第一轨迹的纵向、横向和速度调整中的一者或多者。

本发明提供了以下技术方案：

1.一种用于控制机动车辆的方法，包括:

提供被配置成控制第一车辆的加速和制动的第一致动器、被配置成控制所述第一车辆的转向的第二致动器、以及与所述第一致动器和所述第二致动器通信的控制器，所述控制器被配置成根据自动驾驶系统沿着第一轨迹以自主模式选择性地控制所述第一致动器和所述第二致动器；

由所述控制器使用V2X通信从第二车辆接收眼动数据和车辆特性数据；

由所述控制器根据所述眼动数据和所述车辆特性数据确定所述第二车辆的预测车辆机动；

由所述控制器基于所述第二车辆的预测车辆机动来确定针对所述第一车辆的轨迹调整；以及

由所述控制器自动控制所述第一致动器和所述第二致动器以实施所述轨迹调整。

2.根据技术方案1所述的方法，进一步包括由所述控制器对所述眼动数据和所述车辆特性数据进行，以使所述眼动数据和所述车辆特性数据在时间上关联，并且生成匹配的数据集。

3.根据技术方案2所述的方法，其中，所述眼动数据包括注视位置和注视持续时间。

4. 根据技术方案3所述的方法，其中，所述车辆特性数据包括所述第二车辆的车辆速度、车辆加速度和车辆方向盘角度。

5.根据技术方案4所述的方法，其中，所述匹配的数据集包括注视位置、注视位置的持续时间、车辆速度、车辆加速度、车辆方向盘角度和车辆位置。

6.根据技术方案1所述的方法，进一步包括由所述控制器确定预测模型状态，其中，所述预测模型状态是预测模型是否本地存储在所述第一车辆的所述控制器上。

7.根据技术方案6所述的方法，进一步包括如果所述预测模型没有本地存储在所述第一车辆的所述控制器上，则由所述控制器经由V2X通信访问托管更新的预测模型的远程源。

8.根据技术方案7所述的方法，进一步包括由所述控制器经由V2X通信将所述眼动数据和所述车辆特性数据传输到所述远程源。

9.根据技术方案1所述的方法，其中，所述轨迹调整包括对第一车辆的第一轨迹的纵向、横向和速度调整中的一者或多者。

10.一种机动车辆，包括:

无线通信系统，其被配置成传输和接收V2X通信；

第一致动器，其被配置成控制所述机动车辆的加速和制动；

第二致动器，其被配置成控制所述机动车辆的转向；以及

控制器，其与所述第一致动器和所述第二致动器以及所述无线通信系统通信，所述控制器被配置成根据自动驾驶系统沿着第一轨迹以自主模式选择性地控制所述第一致动器和所述第二致动器，所述控制器被配置成

使用V2X通信经由所述无线通信系统从第二车辆接收眼动数据和车辆特性数据；

从所述眼动数据和所述车辆特性数据确定所述第二车辆的预测车辆机动；

基于所述第二车辆的预测车辆机动来确定所述机动车辆的轨迹调整；并且

自动控制所述第一致动器和所述第二致动器以实施所述轨迹调整。

11.根据技术方案10所述的机动车辆，其中，所述控制器被进一步配置成对所述眼动数据和车辆特性数据进行分析，以使所述眼动数据和所述车辆特性数据在时间上关联，并且生成匹配的数据集。

12.根据技术方案10所述的机动车辆，其中，所述控制器被进一步配置成确定预测模型状态，其中，所述预测模型状态是预测模型是否被本地存储在所述机动车辆的所述控制器上。

13.根据技术方案12所述的机动车辆，其中，所述控制器被进一步配置成：如果所述预测模型没有本地存储在所述机动车辆的控制器上，则经由V2X通信来访问托管更新的预测模型的远程源。

14.根据技术方案13所述的机动车辆，其中，所述控制器被进一步配置成经由V2X通信将所述眼动数据和所述车辆特性数据传输到所述远程源。

15.根据技术方案10所述的机动车辆，其中，所述轨迹调整包括对机动车辆的第一轨迹的纵向、横向和速度调整中的一者或多者。

16.一种用于控制机动车辆的系统，包括:

无线通信系统；

第一致动器，其被配置成控制所述机动车辆的加速和制动；

第二致动器，其被配置成控制所述机动车辆的转向；以及

控制器，其与所述第一致动器和所述第二致动器通信，所述控制器被配置成根据自动驾驶系统沿着第一轨迹以自主模式选择性地控制所述第一致动器和所述第二致动器，所述控制器被配置成

使用V2X通信从第二车辆接收眼动数据和车辆特性数据；

对所述眼动数据和所述车辆特性数据进行分析，以使所述眼动数据和所述车辆特性数据在时间上关联，并且生成匹配的数据集；

从所述匹配的数据集确定所述第二车辆的预测车辆机动；

基于所述第二车辆的预测车辆机动来确定所述机动车辆的轨迹调整；并且

自动控制所述第一致动器和所述第二致动器以实施轨迹调整。

17.根据技术方案16所述的系统，其中，所述控制器被进一步配置成确定预测模型状态，其中，所述预测模型状态是预测模型是否被本地存储在机动车辆的所述控制器上。

18.根据技术方案17所述的系统，其中，所述控制器被进一步配置成：如果所述预测模型没有本地存储在所述机动车辆的所述控制器上，则使用无线通信系统经由V2X通信来访问托管更新的预测模型的远程源。

19.根据技术方案18所述的系统，其中，所述控制器被进一步配置成使用无线通信系统经由V2X通信，将所述眼动数据和所述车辆特性数据传输到所述远程源。

20.根据技术方案16所述的系统，其中，所述轨迹调整包括对机动车辆的第一轨迹的纵向、横向和速度调整中的一者或多者。

附图说明

将结合以下各图描述本公开，其中相同的数字表示相同的元件：

图1是根据本公开的实施例的车辆的示意图；

图2是根据本公开的实施例的眼动追踪系统的示意图；

图3是根据本公开的实施例的可使用眼动追踪系统预测的五种可能的车辆机动的示意图；

图4是根据本公开的实施例的眼动数据到车辆数据的映射和相关性的示意图；

图5是根据本公开的实施例的用于使用眼动数据来预测操作意图的方法的流程图。

结合随附附图，本公开的前述和其它特征将从以下描述和所附权利要求变得更加完全地显而易见。应当理解，这些附图仅描绘了根据本公开的几个实施例，并且不应当被认为是对其范围的限制，将通过使用随附附图利用附加的特征和细节来描述本公开。在附图或本文中其它地方公开的任何尺寸仅用于说明的目的。

具体实施方式

本文中描述了本公开的实施例。然而，应当理解，所公开的实施例仅仅是示例，并且其它实施例可以采取各种替代形式。各图不一定是成比例的；一些特征可以被放大或缩小以示出特定部件的细节。因此，本文中公开的特定结构和功能细节不应当被解释为是限制性的，而是仅仅作为用于教导本领域技术人员以各种方式采用本公开的代表性基础。如那些本领域的普通技术人员将理解的，参照各图中的任一者进行图示和描述的各种特征可以与一个或多个其它图中图示的特征进行组合，以产生没有明确图示或描述的实施例。所图示的特征的组合为典型应用提供了代表性实施例。然而，与本公开的教导一致的特征的各种组合和修改对于特定应用或实施方式而言可以是期望的。

在以下描述中，某些术语可以仅出于参考目的来使用，并且因此并不意图是限制性的。例如，诸如“上方”和“下方”之类的术语指代附图中所参考的方向。诸如“前”、“后”、“左”、“右”、“后”和“侧”的术语描述部件或元件的各部分在一致但是任意的参考系内的取向和/或位置，这通过参照描述被讨论的部件或元件的文本和相关联的附图而变得清楚。此外，诸如“第一”、“第二”、“第三”等的术语可以用于描述分离的部件。这样的术语可以包括在上面特别提到的词、其派生词和类似含义的词。

图1示意性地图示了根据本公开的机动车辆10。车辆10在所图示的实施例中被描绘为客车，但是应当了解，还可以使用任何其它车辆，包括摩托车、卡车、运动型多用途车（SUV）或休闲车（RV）等。车辆10可以是接收车辆，即，从附近车辆接收眼动数据的车辆；或者发端车辆，即，操作员控制的车辆，其收集眼动数据并且将眼动数据映射到发端车辆的操作数据。车辆10包括推进系统13，推进系统13在各种实施例中可以包括内燃机、诸如牵引马达的电机、和/或燃料电池推进系统。

车辆10通常包括车身11和车轮15。车身11包围车辆10的其它部件，并且还限定乘客车厢。车轮15各自在车身11的相应拐角附近旋转地联接到车身11。

车辆10还包括变速器14，变速器14被配置成根据可选择的速度比将动力从推进系统13传输到多个车辆车轮15。根据各种实施例，变速器14可以包括有级（step-ratio）自动变速器、无级变速器或其它适当的变速器。

车辆10附加地包括转向系统16。尽管转向系统16出于说明性目的而被描绘为包括方向盘，但是在本公开的范围内设想的一些实施例中，转向系统16可以不包括方向盘。

车辆10附加地包括制动系统，制动系统包括被配置成向车辆车轮15提供制动扭矩的车轮制动器17。在各种实施例中，车轮制动器17可以包括摩擦制动器、诸如电机的再生制动系统、和/或其它适当的制动系统。

在各种实施例中，车辆10还包括无线通信系统28，无线通信系统28被配置成与配备有无线通信的任何装置（车辆对一切或“V2X”）进行无线通信，包括其它车辆（“V2V”）和/或基础设施（“V2I”）。在示例性实施例中，无线通信系统28被配置成经由专用短程通信（DSRC）信道进行通信。DSRC信道指代针对汽车使用特别设计的单向或双向短程至中程无线通信信道，以及对应的一组协议和标准。然而，被配置成经由附加的或替代的无线通信标准（诸如，IEEE 802.11和蜂窝数据通信）进行通信的无线通信系统也被认为在本公开的范围之内。附加地，被配置成与使用LTE、5G和其它通信标准的交通灯、蜂窝塔或中继设备等通信的无线通信系统也被认为在本公开的范围之内。在各种实施例中，无线通信系统28包括被配置成接收和传输无线通信信号的一个或多个天线29。在各种实施例中，所述一个或多个天线是定向天线。

推进系统13、变速器14、转向系统16和无线通信系统28与至少一个控制器22通信或在至少一个控制器22的控制下。虽然出于说明性目的将控制器22描绘为单个单元，但是控制器22可以附加地包括一个或多个其它控制器，统称为“控制器”。控制器22可以包括与各种类型的计算机可读存储装置或介质通信的微处理器或中央处理单元（CPU）。例如，计算机可读存储装置或介质可以包括只读存储器（ROM）、随机存取存储器（RAM）和保活存储器（KAM）中的易失性和非易失性存储。KAM是可以用于在CPU断电时存储各种操作变量的永久性或非易失性存储器。计算机可读存储装置或介质可以使用多种已知存储器装置中的任何一种来实施，诸如PROM（可编程只读存储器）、EPROM（电PROM）、EEPROM（电可擦除PROM）、闪存、或能够存储数据的任何其它电、磁、光或组合存储器装置，所述数据中的一些表示在控制车辆时由控制器22使用的可执行指令。

在各种实施例中，车辆10包括眼动追踪系统18。眼动追踪系统18包括本领域技术人员已知的一个或多个眼睛追踪装置，以采集对应于车辆内驾驶员的眼睛移动的眼动数据。眼动追踪系统18与控制器22通信。在各种实施例中，控制器22包括眼动数据分析系统24，眼动数据分析系统24用于接收和分析经由眼动追踪系统18接收的信号和消息。控制器22接收眼动数据并且对该数据进行分析，以将驾驶员的眼睛移动与包括（例如但不限于）车辆速度、加速度、方向盘角度、GPS位置等的车辆数据进行映射。

在各种实施例中，控制器22包括用于自动控制车辆中的各种致动器的自动驾驶系统（ADS）23。在示例性实施例中，ADS 23是所谓的四级或五级自动化系统。四级系统指示“高度自动化”，指代自动驾驶系统对动态驾驶任务的所有方面的特定于驾驶模式的性能，即使人类驾驶员没有适当地响应干预请求。五级系统指示“完全自动化”，指代自动驾驶系统在所有道路和环境条件下对动态驾驶任务的所有方面的全职（full-time）性能，其可以由人类驾驶员管理。在示例性实施例中，ADS 23被配置成响应于来自多个传感器26的输入在没有人为干预的情况下，经由多个致动器30控制推进系统13、变速器14、转向系统16和车轮制动器17，以分别控制车辆加速度、转向和制动，所述多个传感器26视情况而定可以包括GPS、RADAR（雷达）、LIDAR（激光雷达）、光学摄像机、热成像摄像机、超声波传感器和/或附加的传感器，以采集车辆特性或操作条件，包括例如但不限于车辆速度、加速度和方向盘角度。

典型地，车辆（无论是自主的还是半自主的）无法预测周围自主、半自主或驾驶员操作的车辆的机动。本文中讨论的系统和方法使得能够使用V2X通信来分析从周围的驾驶员操作的车辆接收的眼动数据。眼动数据可用于改进操作员意图预测或车辆意图预测，和/或改进车辆控制策略。

图2是根据实施例的车辆10的眼动追踪系统18的部件的示意图。在一些实施例中，眼动追踪系统18包括覆盖前挡风玻璃区域以及在一些实施例中覆盖车辆10的侧视镜的虚拟网格181。虚拟网格181被划分成多个网格区域182。网格区域182被利用标记唯一地标识，所述标记诸如数字、字母或形成网格区域182的位置的唯一标识的任何组合。

如所示出的，虚拟网格181可以被映射到覆盖车辆10的前挡风玻璃19的区域，该区域在车辆仪表板20上方，车辆仪表板20可以包括转向系统16的方向盘和车辆信息系统21。如图2中所图示的，前挡风玻璃19提供了车辆10前方和周围的环境的视图。

在各种实施例中，安装在车辆10的乘客车厢内的眼睛追踪装置检测由星形183指示的车辆操作员的注视位置，所述眼睛追踪装置包括（例如但不限于）一个或多个眼睛追踪摄像机或与眼动追踪系统18通信的其它眼睛追踪传感器。注视位置183被映射到虚拟网格181上，并且与对应的网格区域182相关联。在各种实施例中，对应的网格区域182信息被传输到控制器22，以由眼动数据分析系统24进行分析。在各种实施例中，由眼动数据分析系统24记录并分析一系列注视位置（即，眼睛注视追踪数据），以标识指示预期车辆操作的眼动模式。

在各种实施例中，眼动追踪系统18还包括计时器。计时器可以被结合到控制器22、眼动追踪系统18中，或者可以与控制器22和眼动追踪系统18中的一者或两者通信。计时器测量操作员在对应网格区域182处注视的持续时间。在各种实施例中，眼动追踪系统18以规则的间隔（例如但不限于例如100 ms）测量车辆操作员注视的注视位置和注视持续时间。

由传感器26中的一者或多者获取的车辆数据是同时获取的，所述车辆数据包括（例如但不限于）车辆速度、加速度、方向盘角度、包括使用GPS确定的定位的导航数据等。例如，具有与注视位置和持续时间数据相同的时间戳的车辆数据由传感器26获取，并且由控制器22接收，以供眼动数据分析系统24使用。

如图3中所示出的，在301、311、321、331、341处图示了车辆机动的几个示例。车辆机动301、311、321、331、341中的每一者都具有相关联的车辆特性或操作数据，包括（例如但不限于）车辆速度、加速度、方向盘角度、GPS位置等。控制器22接收车辆数据并对该数据进行分析以标识车辆驾驶行为。例如，控制器22接收与机动301、311、321、331、341中的每一者相关联的车辆操作数据302、312、322、332、342。车辆操作数据302、312、322、332、342是以规则间隔获取的车辆操作数据，在一些实施例中，是以与由眼动追踪系统18获取的注视位置和持续时间数据相同的间隔获取的车辆操作数据。

控制器22对数据进行分析并确定每个机动的起始点，诸如机动301的起始点304。机动301的起始点304被控制器22标记为操作员意图点，即操作员的意图被标识在其处的点。例如，机动301的起始点304指示操作员意图执行右转。类似地，机动311的起始点314指示操作员意图执行左转。继续机动321，起始点324指示操作员意图执行U形转弯。机动331的起始点334指示操作员意图执行从右车道到左车道的车道变换，并且机动341的起始点344指示操作员意图执行从左车道到右车道的车道变换。

一旦被眼动追踪系统18获取，就使眼睛注视位置和持续时间数据与车辆数据关联，如图4中所示出的那样。在每个时间间隔处，使眼睛注视位置数据183与车辆数据302关联。被包括在车辆数据302中的GPS或导航数据指示车辆在每个测量的时间间隔处的位置。在各种实施例中，在由GPS车辆数据302所示出的机动开始之前的预定时间间隔处，标识机动的操作员意图点，诸如右转机动301的起始点304。在各种实施例中，预定时间间隔为近似5（五）秒。

在一些实施例中，经由无线通信系统28，使用V2X将眼睛注视追踪和位置数据传输到附近的车辆或其它基础设施，所述眼睛注视追踪和位置数据在一些实施例中包括操作员意图点和与预测机动相关联的数据，诸如车辆数据302。在各种实施例中，使用V2X将预测的机动信息传输到周围的车辆和基础设施，诸如包括一个或多个控制器的远程访问中心。在其它实施例中，使用V2X将眼动追踪数据（诸如与注视位置183相关联的数据）和相关联的车辆数据（诸如数据302）传输到附近的车辆或其它基础设施，以由接收车辆或基础设施进行分析，以便预测发端车辆的操作员预期机动。在一些实施例中，接收车辆是类似于车辆10（其是自主或半自主车辆）的车辆，其被配置成接收关于发端车辆10的操作员预期机动的眼动数据和相关联的车辆数据，对数据进行分析，预测预期机动，并且生成一个或多个控制信号来控制接收车辆的转向、制动和油门调节，以适应发端车辆的预测机动。

在各种实施例中，由接收车辆10的控制器22的眼动数据分析系统24来分析相关的注视位置和持续时间数据以及车辆数据。在一些实施例中，该分析包括使用预测模型。预测模型将眼睛注视追踪的百分比和车辆数据作为训练数据集进行分析，以预测预期的机动，并使用所获取的附加的眼睛注视追踪数据和车辆数据来执行对预测模型的验证，以细化对预期机动的预测。在各种实施例中，预测模型被容纳在发端车辆10中。在各种实施例中，预测模型被容纳在接收车辆10中，即，在发端车辆附近的车辆中，该车辆从发端车辆10接收注视位置和持续时间数据以及车辆数据。在各种实施例中，预测模型被容纳在接收车辆10外部的控制器中，并且由预测模型生成的数据和/或控制信号经由无线通信系统28被传输到接收车辆10。

眼动数据分析系统24的预测模型接收眼动注视位置和持续时间数据，以及与所记录的眼睛注视位置数据同时出现的相关联的车辆操作数据，并且使用各种训练数据集学习预测操作员预期的车辆机动。训练数据集可以包括特定车辆机动（诸如图3中所示出的机动）之前的眼动模式。

图5图示了根据一个实施例的方法500，其使用从附近车辆获取的眼动数据来预测操作员的预期车辆机动。方法500可以与接收车辆10和控制器22结合使用，包括眼动数据分析系统24和眼动追踪系统18。根据示例性实施例，方法500可以与如本文中所讨论的控制器22结合使用，或者由与车辆相关联或与车辆分离的其它系统使用。方法500的操作顺序不限于如图5中所图示的有序执行，而是可以以一个或多个不同的顺序执行，或者步骤可以被同时执行，如根据本公开可应用的那样。

在502处开始，方法500进行到504。在504处，接收车辆10的控制器22经由V2X通信从操作员控制的车辆（诸如发端车辆10）接收实时眼睛注视位置数据和相关的车辆操作数据。眼睛注视位置数据包括眼睛注视追踪数据，眼睛注视追踪数据已经与操作员控制的车辆的车辆操作数据关联，使得诸如车辆速度、加速度、方向盘位置和车辆GPS位置的车辆特性与操作者的眼睛移动在时间上对准。在各种实施例中，由接收车辆10接收的数据已经被关联和对准。在各种实施例中，接收车辆10的控制器22接收未关联和未对准的眼睛注视位置数据和车辆操作数据，对未关联和未对准的数据进行分析，并且使数据关联并在时间上对准。

接下来，在506处，接收车辆10的控制器22确定是否满足第一条件，即，确定预测模型状态。在一些实施例中，确定预测模型状态包括确定车载控制器22的眼动数据分析系统24是否包括预测模型，或者是否从远程源可获得更新的预测模型。在各种实施例中，远程源是经由与接收车辆10的无线或有线通信可访问的远程访问中心。在各种实施例中，远程访问中心包括一个或多个控制器。更新的预测模型可以经由无线通信系统28从远程源经由V2X通信来访问。在各种实施例中，更新的预测模型可以经由无线通信系统28从远程源下载或获取，并且然后由控制器22的眼动数据分析系统24在接收车辆10上实施。

一旦满足第一条件，即，车载控制器22的眼动数据分析系统24包括预测模型，方法500就进行到508。在508处，由接收车辆10接收的包括注视位置数据和相关的车辆操作数据的数据被应用于预测模型，以预测发端车辆操作员的预期机动，诸如图3中所图示的机动中的一个。

如果不满足第一条件，即，眼动数据分析系统24不包括预测模型，或者预测模型过期，或者经由远程源可获得更新的预测模型，并且建立了到远程源的通信链路，则方法500进行到510。

在510处，控制器22经由无线通信系统28使用V2X通信，将眼睛注视位置数据和相关的车辆操作数据传输到托管预测模型的远程源。远程源（其在一些实施例中是控制器）将眼睛注视位置数据和相关的车辆操作数据应用于预测模型，以生成对发端车辆操作员的预期机动的预测，诸如图3中所图示的机动中的一个。预期的机动预测经由无线通信系统28被传输到接收车辆10。

从508和510这两者，方法500进行到512。在512处，控制器22使用在车辆10上生成抑或经由无线通信系统28从远程源接收的预期机动预测来确定对预期机动预测的响应。在各种实施例中，响应可以包括对接收车辆的当前轨迹的计划的纵向和/或横向轨迹调整、和/或速度调整，使得接收车辆10避开或适应发端车辆10的预测机动。

接下来，在514处，接收车辆10的控制器22使用在车辆10上生成抑或经由无线通信系统28从远程源接收的预期机动预测以及在512处生成的任何计划的轨迹或速度调整，来生成一个或多个控制信号，以控制接收车辆10。在各种实施例中，将所述一个或多个控制信号从控制器22传输到致动器30中的一个或多个，以控制车辆转向、制动和油门调节中的一者或多者，从而自动调整接收车辆的车辆操作条件，以适应由附近的发端车辆10正在执行或意图执行的预测车辆机动。控制器22经由致动器30中的一个或多个来控制接收车辆10，以避开附近发端车辆10的预测车辆机动。从514，方法500进行到516并结束。

应当强调的是，可以对本文中描述的实施例做出许多变化和修改，所述实施例的元件要被理解为在其它可接受的示例之中。所有这样的修改和变化都意图在本公开的范围内被包括在本文中，并且由以下权利要求保护。此外，本文中描述的任何步骤可以同时执行，或者以不同于本文中排序的步骤的顺序执行。此外，应当显而易见的是，本文中公开的特定实施例的特征和属性可以以不同的方式组合，以形成附加的实施例，所有附加的实施例都落在本公开的范围内。

本文中使用的条件语言，除其它之外，还有诸如“可以”、“能够”、“会”、“可能”和“比如”等，除非另外特别声明，或者在如所使用的上下文中以其他方式理解，否则通常意图传达某些实施例包括而其它实施例不包括某些特征、元件和/或状态。因此，这样的条件语言一般不意图暗指一个或多个实施例以任何方式需要的特征、元件和/或状态，或者暗指一个或多个实施例必须包括用于在具有或者没有作者输入或提示的情况下决定这些特征、元件和/或状态是否被包括在任何特定实施例中或者要在任何特定实施例中执行的逻辑。

此外，本文中可能已经使用了以下术语。除非上下文另外明确规定，否则单数形式“一”、“一个”和“该”包括复数指示物。因此，例如，对项目的引用包括对一个或多个项目的引用。术语“一”指代一个、两个或更多个，并且通常应用于选择某个量中的一些或全部。术语“多个”指代项目中的两个或更多个。术语“大约”或“近似”意味着数量、尺寸、大小、配方、参数、形状和其它特性不需要是准确的，而是可以如期望的那样是近似和/或更大或更小，其反映可接受的公差、转换因子、四舍五入和测量误差等以及本领域技术人员已知的其它因素。术语“基本上”意味着所叙述的特性、参数或值不需要被准确实现，而偏差或变化可以以不排除该特性意图提供的效果的量出现，所述偏差或变化包括例如公差、测量误差，测量准确度限制和本领域技术人员已知的其它因素。

为方便起见，可以在公共列表中呈现多个项目。然而，这些列表应当被解释为如同列表的每个成员被单独地标识为分离且唯一的成员。因此，在没有相反指示的情况下，这样的列表中的任何单独的成员都不应当仅仅基于它们存在于共同的组中而被解释为同一列表中的任何其它成员的事实上的等同物。更进一步地，当术语“和”和“或”与项目列表结合使用时，它们要被广义地解释，因为所列出的项目中的任一者或多者可以单独使用或与其它所列出的项目结合使用。术语“替代地”指代选择两个或更多个替代方案中的一个，并且不意图仅仅将选择限制于那些所列出的替代方案或一次仅选择一个所列出的替代方案，除非上下文中另外明确指示。

本文中公开的过程、方法或算法可以是可传送到处理装置、控制器或计算机，或者可以由处理装置、控制器或计算机实施，处理装置、控制器或计算机可以包括任何现有的可编程电子控制单元或专用电子控制单元。类似地，过程、方法或算法可以被以许多形式存储为可由控制器或计算机执行的数据和指令，包括但不限于永久存储在不可写存储介质（诸如ROM装置）上的信息和可变更地存储在可写存储介质（诸如，软盘、磁带、CD、RAM装置和其它磁和光介质）上的信息。过程、方法或算法也可以在软件可执行对象中实施。替代地，过程、方法或算法可以使用合适的硬件部件或硬件、软件和固件部件的组合来整体或部分地具体实施，所述合适的硬件部件诸如：专用集成电路（ASIC）、现场可编程门阵列（FPGA）、状态机、控制器或其它硬件部件或装置。这样的示例装置可以作为车辆计算系统的一部分是车载的，或者位于车外并且与一个或多个车辆上的装置进行远程通信。

虽然在上面描述了示例性实施例，但是这些实施例并不意图描述权利要求所涵盖的所有可能形式。说明书中使用的词语是描述性词语，而不是限制性词语，并且应当理解，在不脱离本公开的精神和范围的情况下，可以作出各种改变。如先前所描述的，各种实施例的特征可以被组合，以形成本公开的可能未被明确描述或说明的进一步的示例性方面。虽然各种实施例可能已经被描述为提供优点或相对于一个或多个期望的特性而言优于其它实施例或现有技术实施方式，但是本领域的普通技术人员应当认识到，一个或多个特征或特性可以被折衷以实现期望的整体系统属性，这取决于特定应用和实施方式。这些属性可以包括但不限于成本、强度、耐用性、寿命成本、可销售性、外观、包装、大小、可维护性、重量、可制造性、组装容易性等。因此，就一个或多个特征而言，被描述为与其它实施例或现有技术实施方式相比不太期望的实施例不在本公开的范围之外，并且对于特定应用而言可能是期望的。

Claims (10)

1.一种用于控制机动车辆的方法，包括:

提供被配置成控制第一车辆的加速和制动的第一致动器、被配置成控制所述第一车辆的转向的第二致动器、以及与所述第一致动器和所述第二致动器通信的控制器，所述控制器被配置成根据自动驾驶系统沿着第一轨迹以自主模式选择性地控制所述第一致动器和所述第二致动器；

由所述控制器使用V2X通信从第二车辆接收眼动数据和车辆特性数据；

由所述控制器根据所述眼动数据和所述车辆特性数据确定所述第二车辆的预测车辆机动；

由所述控制器基于所述第二车辆的预测车辆机动来确定针对所述第一车辆的轨迹调整；以及

由所述控制器自动控制所述第一致动器和所述第二致动器以实施所述轨迹调整。

2.根据权利要求1所述的方法，进一步包括由所述控制器对所述眼动数据和所述车辆特性数据进行，以使所述眼动数据和所述车辆特性数据在时间上关联，并且生成匹配的数据集。

3.根据权利要求2所述的方法，其中，所述眼动数据包括注视位置和注视持续时间。

4.根据权利要求3所述的方法，其中，所述车辆特性数据包括所述第二车辆的车辆速度、车辆加速度和车辆方向盘角度。

5.根据权利要求4所述的方法，其中，所述匹配的数据集包括注视位置、注视位置的持续时间、车辆速度、车辆加速度、车辆方向盘角度和车辆位置。

6.根据权利要求1所述的方法，进一步包括由所述控制器确定预测模型状态，其中，所述预测模型状态是预测模型是否本地存储在所述第一车辆的所述控制器上。

7.根据权利要求6所述的方法，进一步包括如果所述预测模型没有本地存储在所述第一车辆的所述控制器上，则由所述控制器经由V2X通信访问托管更新的预测模型的远程源。

8.根据权利要求7所述的方法，进一步包括由所述控制器经由V2X通信将所述眼动数据和所述车辆特性数据传输到所述远程源。

9.根据权利要求1所述的方法，其中，所述轨迹调整包括对第一车辆的第一轨迹的纵向、横向和速度调整中的一者或多者。

10.一种机动车辆，包括:

无线通信系统，其被配置成传输和接收V2X通信；

第一致动器，其被配置成控制所述机动车辆的加速和制动；

第二致动器，其被配置成控制所述机动车辆的转向；以及

控制器，其与所述第一致动器和所述第二致动器以及所述无线通信系统通信，所述控制器被配置成根据自动驾驶系统沿着第一轨迹以自主模式选择性地控制所述第一致动器和所述第二致动器，所述控制器被配置成

使用V2X通信经由所述无线通信系统从第二车辆接收眼动数据和车辆特性数据；

从所述眼动数据和所述车辆特性数据确定所述第二车辆的预测车辆机动；

基于所述第二车辆的预测车辆机动来确定所述机动车辆的轨迹调整；并且

自动控制所述第一致动器和所述第二致动器以实施所述轨迹调整。

Images