CN114103998A - 一种基于驾驶员视线的智能驾驶车辆控制方法、系统及装置 - Google Patents

Abstract

一种基于驾驶员视线的智能驾驶车辆控制方法、系统及装置，该方法包括：通过脑电波监测判断驾驶员的驾驶状态；基于视觉监控获得驾驶员的精神状态及兴趣区域坐标；结合驾驶状态、精神状态和车辆可行驶区域对所述兴趣区域坐标进行合理性判断；集中资源对合理的兴趣区域进行局部搜索；根据合理的兴趣区域及其局部搜索结果进行路径规划。本发明至少能够改进传统智能驾驶系统无法准确获取驾驶员意图、驾驶员在路径规划中的参与度较低的情况，能够提升驾驶感受和驾驶员注意力的集中程度，并且在感知系统和计算平台有限的能力下，提升复杂的动态环境中预判风险的能力，从而提升安全性。

Description

一种基于驾驶员视线的智能驾驶车辆控制方法、系统及装置

技术领域

本发明涉及一种自动驾驶方法及系统，更具体地说，涉及一种基于驾驶员视线的智能驾驶车辆控制方法、系统及装置。

背景技术

近年来，汽车产业技术快速发展，智能驾驶系统的装车量迅速上升。智能驾驶理应提供更为舒适和安全的驾乘体验，这也是公认的技术发展方向。

智能驾驶依照功能可以分为：环境感知、路径规划和控制执行。智能驾驶系统需要感知复杂的环境，并基于既定的算法通过识别的车道线、障碍物、车辆、VRU等信息进行路径的规划，然后基于规划的路径进行车辆控制。

当前的智能驾驶系统变道策略主要分为两种，一种为驾驶员主动触发选择变道方向，智能驾驶系统基于路况进行变道路径的规划，另一种为智能驾驶系统基于当前路况直接触发变道。驾驶员在这两种策略种的参与度均比较低，系统很难准确获取驾驶员的预期。受限于感知系统能力，在驾驶员注意力不集中时还有潜在的安全风险，且规划的路径可能会不符合驾驶员预期，带来较差的驾乘体验。

具体而言，由于驾驶员在现有的智能驾驶系统变道策略种的参与度均不高，系统很难准确获取驾驶员的预期。对于有驾驶员在环要求的智能驾驶功能，可以通过驾驶员监控系统去发现驾驶员走神、疲劳或者打瞌睡以进行提醒。

目前的感知和路径规划策略主要存在以下几个问题：

1.当前的智能驾驶系统只能根据既定的算法规划“最优”的路径，但是无法准确的参考驾驶员的预期路径，驾驶员参与度低，有可能会导致驾驶感受不佳；

2.受限于感知系统和计算平台的能力，无法保证全天候在复杂的动态环境中预判和感知所有的风险。

发明内容

针对现有技术的上述问题，本发明提供一种基于驾驶员视线的智能驾驶车辆控制方法、系统及装置，至少为了解决驾驶员在系统策略种参与度较低而导致的驾乘体验差等问题。

为实现上述目的，本发明采用如下技术方案：

一种基于驾驶员视线的智能驾驶车辆控制方法，包括：通过脑电波监测判断驾驶员的驾驶状态；基于视觉监控获得驾驶员的精神状态及兴趣区域坐标；结合驾驶状态、精神状态和车辆可行驶区域对所述兴趣区域坐标进行合理性判断；集中资源对合理的兴趣区域进行局部搜索集中资源包括将车载芯片的运算能力分配到特定的设备或模块上，或者调整特定设备或模块的运算优先级；根据合理的兴趣区域及其局部搜索结果进行路径规划。

作为本发明的一种实施方式，获得驾驶员的兴趣区域包括：基于视觉监控判断驾驶员的精神状态；识别驾驶员头部的运动方向和眼球关注点，计算注视点坐标，并根据注视点坐标判定驾驶员的兴趣区域坐标。

作为本发明的一种实施方式，对兴趣区域进行合理性判断包括：判断所述兴趣区域坐标是否在视场内且位于车辆的可行使区域内；基于自学习算法，通过学习手动模式下的驾驶员行为，在智能驾驶模式下判定驾驶员意图变道。

作为本发明的一种实施方式，将车载芯片的运算能力分配到特定的设备或模块上包括暂停不必要的传感器，所述调整特定设备或模块的运算优先级包括断开不必要的传感器数据。

作为本发明的一种实施方式，对兴趣区域进行合理性判断之后，集中车辆计算能力重点对合理的兴趣区域进行处理，并将处理结果合并入路径规划。

作为本发明的一种实施方式，自学习算法及其判定包括记录手动模式下的驾驶员驾驶状态、精神状态、视线位置，建立驾驶状态、精神状态、视线位置与车辆实际行驶的对应关系，并在智能驾驶模式下将驾驶员的驾驶状态、精神状态、视线位置和手动模式相比对，以此判断驾驶员的意图。

为实现上述目的，本发明还采用如下技术方案：

一种基于驾驶员视线的智能驾驶车辆控制系统，包括：脑电波监测系统，所述脑电波监测系统监测并判断驾驶员的驾驶状态；视觉驾驶员监控系统，所述视觉驾驶员监控系统基于视觉监控获得驾驶员的精神状态及兴趣区域坐标；判定系统，所述判定系统结合驾驶状态、精神状态和车辆可行驶区域对所述兴趣区域坐标进行合理性判断；感知系统，所述感知系统集中资源对合理的兴趣区域进行局部搜索，集中资源包括将车载芯片的运算能力分配到特定的设备或模块上，或者调整特定设备或模块的运算优先级；决策系统，所述决策系统根据合理的兴趣区域及其局部搜索结果进行路径规划。

作为本发明的一种实施方式，视觉驾驶员监控系统基于视觉监控判断驾驶员的精神状态，并识别驾驶员头部的运动方向和眼球关注点，计算注视点坐标，根据注视点坐标判定驾驶员的兴趣区域坐标。

作为本发明的一种实施方式，所述判定系统判断所述兴趣区域坐标是否在感知系统的视场内且位于车辆的可行使区域内，并自学习算法，通过学习基于手动模式下的驾驶员行为，在智能驾驶模式下判定驾驶员意图变道，将合理的兴趣区域发送至决策系统和感知系统。

作为本发明的一种实施方式，将车载芯片的运算能力分配到特定的设备或模块上包括暂停不必要的传感器，所述调整特定设备或模块的运算优先级包括断开不必要的传感器数据。

作为本发明的一种实施方式，判定系统向感知系统输出合理的兴趣区域，感知系统集中车辆计算能力重点对合理的兴趣区域进行处理，并将处理结果合并入决策系统的路径规划。

作为本发明的一种实施方式，脑电波监测系统记录手动模式下的驾驶员驾驶状态，建立驾驶状态与车辆实际行驶的对应关系。视觉驾驶员监控系统记录手动模式下的驾驶员精神状态、视线位置，建立精神状态、视线位置与车辆实际行驶的对应关系。判定系统接收到驾驶员的驾驶状态、精神状态、视线位置之后，将驾驶状态、精神状态、视线位置与车辆实际行驶的对应关系相比对，从而预测驾驶员的实际驾驶意图。

为实现上述目的，本发明还采用如下技术方案：

一种基于驾驶员视线的智能驾驶车辆控制装置，本发明的装置用以执行本发明的方法。

在上述技术方案中，本发明至少能够改进传统智能驾驶系统无法准确获取驾驶员意图、驾驶员在路径规划中的参与度较低的情况，能够提升驾驶感受和驾驶员注意力的集中程度，尤其是在感知系统和计算平台有限的能力下，将整车的运算能力倾斜到特定的局部搜索中，提升复杂的动态环境中预判风险的能力，从而提升安全性。

附图说明

图1是本发明方法的流程图；

图2是本发明系统的架构图；

图3是本发明智能驾驶控制变道的一个实施例示意图。

具体实施方式

以下通过下述实施方式进一步说明本发明，应理解，下述实施方式仅用于说明本发明，而非限制本发明。

本发明首先公开一种基于驾驶员视线的智能驾驶车辆控制方法。参照图1，本发明的方法主要依据针对驾驶员的脑电波监测以获得驾驶员的驾驶状态，针对驾驶员的精神状态进行监测，以及获得驾驶员的注意力集中区域（即兴趣区域坐标或者说注视点坐标）。在综合分析驾驶状态、精神状态和兴趣区域坐标之后，本发明对合理的兴趣区域进行重点搜索，根据搜索结果进行路径规划，最后依照路径规划来控制车辆的行驶。

因此，如图1的步骤101所示，在需要时，驾驶员首先激活本发明的智能控制流程。

在激活本发明方法的流程之后，本发明同时执行步骤102和103。

随着脑电波监测技术的兴起，在步骤102中，本发明通过脑电波监测判定驾驶员的驾驶状态。步骤102通过检测驾驶员的脑电波波形，能够利用脑电波检测技术获得驾驶员的驾驶状态所表征的驾驶意图。作为步骤102的一种实施方式，驾驶状态包括驾驶员对车辆的控制意图或者控制目的，例如变道、转弯、加速、减速行驶等。

与此同时，在步骤103中，基于视觉的驾驶员监控系统判断驾驶员的精神状态。作为步骤103的一种实施方式，对于有驾驶员在环要求的智能驾驶可以通过驾驶员监控系统去发现驾驶员走神、疲劳或者打瞌睡以进行提醒。如果驾驶员精神状态正常（也可以称之为驾驶员在环），则进一步执行步骤104，即通过捕获驾驶员头部方向、眼球转动等判定驾驶员的视线注视区域的坐标，计算出注视点坐标（也可以称之为兴趣区域坐标）。

步骤103和104共同构成了基于视觉监控获得驾驶员精神状态、兴趣区域坐标的步骤，这两个步骤（尤其是步骤104）的目的在于通过监测驾驶员的注意力集中点，寻找驾驶员在实际驾驶过程中试图观察的区域，并获得该区域的位置（坐标）。

结合步骤102、103和104，通过脑电波监测系统和基于视频的驾驶员监控系统，利用自学习算法，通过学习手动模式下驾驶员在变道和超车时的行为，包括脑电波变化、凝视方向和眨眼动作、头部转向等，学习并记录驾驶员在超车时的行为，可以作为自动驾驶模式下判定驾驶员意图的依据。

本发明首先实时记录驾驶员的所有手动驾驶操作，并且建立在手动操作模式下，驾驶员的特征数据（包括驾驶状态、精神状态、视线位置）-车辆实际行驶的对应关系。根据这个关系，本发明能够记录在手动操作模式下，即驾驶员主动驾驶车辆时的驾驶状态、精神状态、视线位置的特征数据，作为步骤105的一个参照判断因素。

例如，当驾驶员手动控制车辆平稳直行时，其脑电波所反映的驾驶状态具有第一波形、其视觉监控所反映的精神状态具有第一特征、并且其视线位置聚焦在车辆前方的第一区域。当驾驶员手动操作车辆变道时，其脑电波所反映的驾驶状态具有第二波形、其视觉监控所反映的精神状态具有第二特征、并且其视线位置聚焦在车辆前方的第二区域。当驾驶员手动操作车辆超车时，其脑电波所反映的驾驶状态具有第三波形、其视觉监控所反映的精神状态具有第三特征、并且其视线位置聚焦在车辆前方的第三区域……等等。通过记录驾驶员在不同手动驾驶状态下的不同特征，本发明因此建立驾驶员的特征数据（包括驾驶状态、精神状态、视线位置）-车辆实际行驶的对应关系。

基于这样的对应关系，步骤105通过自学习算法来学习上述驾驶员的特征数据-车辆实际行驶的对应关系。当驾驶员激活发明的步骤101，进入智能驾驶模式之后，步骤105在接收到驾驶员的特征数据（例如驾驶状态、精神状态、视线位置）之后，将这些数据与上述对应关系相比对，从而预测驾驶员的实际驾驶意图。

例如，步骤105接收到的驾驶员脑电波所反映的驾驶状态具有第二波形、其视觉监控所反映的精神状态具有第二特征、并且其视线位置聚焦在车辆前方的第二区域，此时可以判断驾驶员的驾驶意图是变道操作。

继续参照图1，本发明可以通过捕获驾驶员头部方向、眼球转动来判定驾驶员的驾驶状态，以及计算驾驶员视线注视区域的坐标。同时，随着脑电波监测技术的兴起，可以通过脑电波监测判定驾驶员的驾驶状态。如此，本发明可以结合脑电波监测和视觉的驾驶员监控系统，判定驾驶员预期行驶的区域，以此进行感知的局部搜索和路径规划。

因此，步骤105一方面结合了步骤102和步骤103、104的结果，另一方面合并了步骤107的反馈信息，即结合脑电波监测所得的驾驶状态、精神状态、视觉驾驶员监测结果所得的兴趣区域坐标以及车辆可行驶区域，综合四者进行合理性判断。

步骤105做判断的同时还接收步骤107的反馈信息，即车辆的可行使区域信息。即便驾驶员没有激活步骤101，步骤107仍然进行一般的路径规划，以此实时产生车辆可行使区域的信息。而在驾驶员激活步骤101之后，当本发明的方法执行到步骤105时，步骤105额外收到步骤107的反馈信息，以此将车辆可行驶区域作为步骤105的一个判断因素，并在做出判断后将合理的兴趣区域作为作为步骤107的一个判断因素。

在执行本发明的方法时，步骤105和步骤107互相传递各自的判断结果给对方，并且同时将对方的判断结果作为自身步骤相对应的参照因素。通过反复迭代，步骤105和步骤107可以不断优化判断的准确性，最后实现在步骤107中路径规划的最优化。

由此可见，与现有技术不同的是，本发明并非单纯运用脑电波检测、或者单纯运用基于视频的监控系统，而是分别利用了脑电波检测得到的驾驶状态，以及驾驶员监控得到的精神状态和兴趣区域坐标，将三者的数据结合，再结合车辆可行驶区域信息进行兴趣区域合理性的判断。

作为兴趣区域合理性判断的一种实施方式，在脑电波检测得到的驾驶状态、驾驶员监控得到的精神状态、兴趣区域坐标和车辆可行驶区域四者数据的结合上，本发明首先将脑电波检测得到的驾驶员驾驶状态和视频监控得到的驾驶员精神状态做第一步的处理。第一步处理的主要数据是基于驾驶员本身的特征数据。在第一步处理的基础上，第二步是结合驾驶员的兴趣区域坐标数据，和车辆可行使区域的数据。第二步的数据处理主要是基于道路环境的数据。综合第一步、第二步的数据，以此判断该兴趣区域的合理性。

作为兴趣区域合理性判断的另一种实施方式，在脑电波检测得到的驾驶状态、驾驶员监控得到的精神状态、兴趣区域坐标和车辆可行驶区域四者数据的结合上，本发明首先将脑电波检测得到的驾驶员驾驶状态、驾驶员监控得到的精神状态、驾驶员的兴趣区域坐标（视线位置）进行结合，先根据驾驶员本身的特征数据确定兴趣区域，再结合车辆的可行使区域作为兴趣区域是否合理的确认判断，因此判断该兴趣区域的合理性。

通过上述的数据结合与处理，本发明能够在现有技术的基础上进一步挖掘脑电波检测和视频监控各自的优点，并且将双方的优势数据进行结合，因此得到更准确的判断参数。

步骤105的合理性判断包括：判断兴趣区域坐标是否在视场内且位于车辆的可行使区域内，基于手动模式下的驾驶员行为，判定驾驶员是否意图变道。

如果通过了兴趣区域的合理性判断，表示该兴趣区域是驾驶员的合理驾驶目标，或者表示该兴趣区域是可以自动控制车辆驶入的区域。在这种情况下，进一步执行步骤106。

步骤106将兴趣区域定义为重点区域（目标区域），集中资源对该兴趣区域进行局部搜索。作为步骤106的一种实施方式，该步骤集中资源对该区域进行局部搜索，详细获取该区域内其他交通参与者的状态信息或障碍物信息。

与现有技术不同的是，步骤106在基于兴趣区域合理的前提下，集中车辆的运算能力（算力），针对兴趣区域进行细致、重点的检索，以便确保自车所做的路径规划时安全的，即在所规划的路径上没有危险点、障碍物或者其他妨碍行驶的因素。这样做的目的在于，由于汽车在高速行驶过程中的实时运算能力是有限的，因此在做路径规划时，为了避免平均分配算力导致不能做到对路面的详细搜索和扫描，本发明需要对待扫描的区域进行重要性区分。基于上述控制逻辑可以进一步看到，本发明将兴趣区域作为重要性区分的依据，尤其是根据步骤105所作的合理的兴趣区域，其扫描、搜索的优先级或者重要性显然要高于其他区域。因此一旦步骤105判断出合理的兴趣区域之后，本发明可以通过步骤106资源分配进行倾斜，因此重点对合理的兴趣区域进行扫描和搜索。

作为本发明的一种实施方式，集中车辆的运算能力意味着在短时间内，将有限的芯片运算能力完全分配、或者大多数分配到用于对兴趣区域（重点区域）检索的传感器及其运算识别上。与“集中车辆运算能力”相对应的是“平衡车辆运算能力”，即每一个车载的传感器都在正常运作，并且每一个传感器的数据都正常读取和进行处理，这是现有技术的常规操作。

例如，车辆上配置激光雷达和前置摄像头来监测障碍物信息，并且还有其他传感器用来实现其他的功能。而在执行步骤106时，会暂时将其他不必要的传感器数据断开，主要读取激光雷达和前置摄像头的数据，此时车载芯片的主要运算能力都分配到激光雷达的地图绘制，以及前置摄像头的图像识别上。

通过这种集中车辆运算能力的方式，本发明可以相比于现有技术在更短的时间内完成对兴趣区域（重点区域）能否变道进行判断。这样的意义在于：汽车在高速行驶过程中的实时运算能力是有限的，因此在做路径规划时，为了避免平均分配算力导致不能做到对路面的详细搜索和扫描，需要对待扫描的区域进行重要性区分，因此首先必须定义出局部的“兴趣区域”，而不是对整个形成环境进行扫描。此外，在实际驾驶变道过程中，留给车载软硬件系统判断、反应的时间非常短，通常都以秒为单位。尤其是考虑到现有的各种传感器设备均或多或少存在延迟、误差等情况下，缩短车载软硬件的判断、反应时间尤为重要，现实中很多自动驾驶、辅助驾驶的事故原因就在于自动控制系统的错误判断所导致的。

在车载系统整体硬件运算能力有限的前提下，本发明通过步骤106对硬件资源分配进行倾斜（集中车辆的运算能力）来实现。

此外，本发明选择在进行路径规划之前的一个步骤上（即仅仅在步骤106中，而并非前置的其他步骤中）进行集中资源的局部搜索，其意义在于减少不必要的局部搜索，毕竟局部搜索示意牺牲整车的运算能力为代价的，并且要关闭、断开一些不必要的传感器设备，因此局部搜索的时间必须尽可能缩短，否则亦会影响行车安全。

通过步骤102-105可见，本发明并未在读取驾驶员脑电波信息步骤、判断驾驶员精神状态步骤、或者这其他步骤中就开始局部搜索，而是直到通过了兴趣区域的合理性判断（步骤105）之后，方才进行局部搜索。因此在从步骤101-105之间的时间段内，本发明的各个步骤都以“平衡车辆运算能力”的方式在运行。

步骤107综合了步骤106的搜索结果和步骤105的兴趣区域作为输入，结合搜索结果和兴趣区域进行路径规划。作为步骤107的一种实施方式，基于获取的局部搜索信息以及合理的兴趣区域，该步骤判定驾驶员是否正在关注可跟随的车辆，若有则计算自车的加速度、车辆的转向角度进行变道操作。若驾驶关注区域无可跟随车辆，则判断是否可变道至该车道行驶，若可变道则计算出自车的加减速度和转向角操作车辆变道，若无法规划至该区域的路径，则放弃变道，继续在本车道行驶。

在步骤107中，路径规划还包括判断自车的可行使区域。可行使区域包括车辆本车道前方是否可以通行，以及相邻车道是否可以变道。步骤107尤其要判断自车当前是否处于可变道的条件下，即是否满足变道条件。作为步骤107的一种实施方式，变道条件至少可以包括以下几项：

1.通过传感器检测判断车道线不能为实线，包括单白实线、双白实线、双黄线等等不允许变道的线，否则不满足变道条件；

2.两车之间车道内相对速度、自车的横向加速度、侧向移动距离应当满足特定关系；

3.一般较为紧急变道横向速度在0.9m/s上下，车道宽度为3m，因此变道过程大约持续4s左右。所以，从相邻车道同等位置，至少留出往前约80m（20m/s*4s=80m），往后约30m的区域，也就是总共约110m的区域；

满足上述3个条件之时即可视为满足变道条件。

本领域的技术人员可以理解，变道条件的满足与否只是合理性判断的一个因素之一，而并非本发明中对于合理性判断的限制。在本发明的其他实施例中，合理性判断可以参照其他自动驾驶相关的因素、参数，均属于合理性判断的概念范围内。

最后，步骤108根据路径规划的结果，控制车辆按照规划的路径行驶。

除了上述方法，本发明还公开一种基于驾驶员视线的智能驾驶车辆控制系统，本发明的方法可以应用在该系统中。

参照图2，本发明的系统主要包括脑电波检测系统10、基于视觉的驾驶员监控系统（视觉驾驶员监控系统）20、判定系统30、感知系统40、决策系统50和执行系统60。

结合图1和图2可见，脑电波监测系统10执行步骤102，其监测并判断驾驶员对车辆的驾驶状态。另一方面，脑电波检测系统10实时记录驾驶员在手动驾驶模式下的驾驶状态-车辆实际行驶的对应关系。例如，当驾驶员手动控制车辆平稳直行时，其脑电波所反映的驾驶状态具有第一波形，当驾驶员手动操作车辆变道时，其脑电波所反映的驾驶状态具有第二波形，当驾驶员手动操作车辆超车时，其脑电波所反映的驾驶状态具有第三波形……等等。通过记录驾驶员在不同手动驾驶状态下的不同特征，脑电波监测系统10驾驶员的包括驾驶状态-车辆实际行驶的对应关系。

视觉驾驶员监控系统20执行步骤103和104，其监控并获得驾驶员的精神状态和兴趣区域坐标，即首先执行步骤103，监控并判断驾驶员是否在环，随后执行步骤104，识别驾驶员头部的运动方向和眼球关注点，计算注视点坐标（兴趣区域坐标）。另一方面，视觉驾驶员监控系统20实时记录驾驶员在手动驾驶模式下的精神状态、视线位置-车辆实际行驶的对应关系。例如，当驾驶员手动控制车辆平稳直行时，其视觉监控所反映的精神状态具有第一特征、并且其视线位置聚焦在车辆前方的第一区域。当驾驶员手动操作车辆变道时，其视觉监控所反映的精神状态具有第二特征、并且其视线位置聚焦在车辆前方的第二区域。当驾驶员手动操作车辆超车时，其视觉监控所反映的精神状态具有第三特征、并且其视线位置聚焦在车辆前方的第三区域……等等。通过记录驾驶员在不同手动驾驶状态下的不同特征，视觉驾驶员监控系统20建立驾驶员精神状态、视线位置-车辆实际行驶的对应关系。

判定系统30执行步骤105，其结合驾驶状态、精神状态、兴趣区域坐标和车辆的可行使区域，结合四者的信息对兴趣区域进行合理性判断。在执行步骤105的过程中，判定系统30通过自学习算法来学习上述驾驶员的特征数据-车辆实际行驶的对应关系。当驾驶员激活进入智能驾驶模式之后，判定系统30在接收到驾驶员的特征数据（例如驾驶状态、精神状态、视线位置）之后，将这些数据与上述对应关系相比对，从而预测驾驶员的实际驾驶意图。

感知系统40执行步骤106，其集中资源对合理的兴趣区域进行局部搜索。

在步骤106中，“集中资源”意味着本发明的感知系统40有选择性地读取对A区域进行局部搜索相关的传感器的数据，并集中芯片运算能力，将对A区域进行局部搜索相关的传感器的数据处理的优先级提到最高。

例如，车辆上配置激光雷达和前置摄像头来监测障碍物信息，并且还有其他传感器用来实现其他的功能。而在执行步骤106时，感知系统40可以暂停其他不必要的传感器（例如温度传感器），并且暂时将不必要的传感器的数据断开以避免占用芯片运算能力或者导致处理错误。此时，感知系统40主要读取激光雷达和前置摄像头的数据，此时车载芯片的主要运算能力都分配到激光雷达的地图绘制，以及前置摄像头的图像识别上，或者说车载芯片将激光雷达的地图绘制处理、以及前置摄像头的图像识别的优先级提到最高。

决策系统50执行步骤107，其根据合理的兴趣区域及感知系统40的局部搜索结果进行路径规划，并将车辆可行驶区域反馈至判定系统30。

在系统信息的传输上，决策系统50实时进行路径规划的判断，即便判定系统30没有在执行步骤105时，决策系统50仍然实时执行步骤107，即可以进行一般的路径规划，以此实时产生车辆可行使区域的信息。当判定系统30执行步骤105时，判定系统30额外收到决策系统50的反馈信息，以此将车辆可行驶区域作为步骤105的一个输入参数，并在做出判断后将合理的兴趣区域发送至决策系统50作为步骤107的一个输入参数。

由此可见，判定系统30和决策系统50在执行本发明的方法时互相传递各自的输出给对方，并且同时将对方的输出作为自身模块执行相应步骤的输入。通过反复迭代，判定系统30和决策系统50可以不断优化输出数据，最后实现路径规划的最优化。

最后，执行系统60执行步骤108，其基于路径规划结果进行车辆控制。

上述各个系统其他的执行方法如前所示，这里不再赘述。

下面进一步例举实施例以详细说明本发明。应理解，以下实施例只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限制，本领域的技术人员根据本发明的上述内容作出的一些非本质的改进和调整均属于本发明的保护范围。下述示例具体的工艺参数等也仅是合适范围中的一个示例，即本领域技术人员可以通过本文的说明做合适的范围内选择，而并非要限定于下文示例的具体数值。

结合图1、图2和图3所示，驾驶员通过步骤101激活自动驾驶功能之后，脑电波检测系统10执行步骤102，通过脑电波监测到驾驶员的驾驶状态为意图变道操作。

同时，视觉驾驶员监控系统20执行步骤103，判断此时驾驶员精神状态为集中注意力的状态（驾驶员在环）。随后，视觉驾驶员监控系统20进一步通过识别驾驶员头部运动方向以及眼球注视点，计算出驾驶员视线位置（兴趣区域坐标）的具体位置，如图3所示的A点。此时，视觉驾驶员监控系统20将A点附近的区域，即图3所示的圆形虚线区域判定为驾驶员的兴趣区域（A区域）。

随后，判定系统30综合从脑电波检测系统10获得的驾驶员的驾驶状态所表征的变道意图，以及从视觉驾驶员监控系统20获得的驾驶员精神状态、兴趣区域坐标，从决策系统50收到反馈的可行驶区域的信息，执行步骤105，即对兴趣区域（A区域）进行合理性判断。

如图3所示，驾驶员驾驶的车辆31目前行驶在中间车道上，其前方车道内具有2辆车32、33，右侧车道相对较近的位置具有车辆34，左侧车道较远位置具有车辆35。此时，判定系统30根据驾驶员变道的驾驶状态、驾驶员在环的精神状态，继续判断兴趣区域坐标的合理性。

第一方面，兴趣区域坐标处在感知系统40的视场内，且A区域的位置是在自车31的左侧车道上，即位于车辆31的可行使区域内，属于合理的位置。第二方面，A区域所在的左侧车道与本车31是同向车道，且与本车31所在的中间车道之间是虚线，满足变道条件。第三方面，本车31与前车32、35之间的车速满足计算条件下符合变道的速度阈值。综合上述各个参数，基于自学习算法，通过学习手动模式下的驾驶员行为，判定系统30判定驾驶员变道意图下的兴趣区域（A区域）是合理的。

此时，判定系统30进一步将该区域的具体坐标发送至感知系统40，感知系统40执行步骤106，集中车辆31的资源，例如运算能力、网络能力等，对A区域进行局部搜索。以图3的情形为例，通过搜索可见，A区域后方不存在车辆、前方车辆距离较远，且A区域满足变道条件。随后，决策系统50一方面接收到判定系统30传输的兴趣区域的坐标，另一方面结合感知系统40的搜索结果，做出“变道”的路径规划，并且将可行驶区域的位置反馈给判定系统30。

最后执行系统60根据决策系统“变道”的路径规划，自动控制车辆31变道行驶到新的位置31’，至此，执行了一次基于驾驶员视线的智能驾驶控制流程。

根据本发明的又一方面，本发明还公开一种基于驾驶员视线的智能驾驶车辆控制装置。

本发明的装置可以是一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图1的控制方法。

本发明的该装置可以是一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。

本发明的该装置可以是一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。

在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本领域的技术人员可以理解，本发明所列举的各个实施例的全部或部分步骤可以通过计算机程序来指令相关的硬件来完成，这些计算机程序可以集中或分布式地存储于一个或多个计算机装置中，例如存储于可读存储介质中。上述计算机装置包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

综上所述，本发明至少可以具备以下的有益效果：

1.改进传统智能驾驶系统无法准确获取驾驶员意图，驾驶员在路径规划中的参与度较低的情况，以提升驾驶感受和驾驶员注意力的集中程度；

2.在感知系统和计算平台有限的能力下，提升复杂的动态环境中预判风险的能力，提升安全性。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (15)

1.一种基于驾驶员视线的智能驾驶车辆控制方法，其特征在于，包括：

通过脑电波监测判断驾驶员的驾驶状态；

基于视觉监控获得驾驶员的精神状态及兴趣区域坐标；

结合驾驶状态、精神状态和车辆可行驶区域对所述兴趣区域坐标进行合理性判断；

集中资源对合理的兴趣区域进行局部搜索，所述集中资源包括将车载芯片的运算能力分配到特定的设备或模块上，或者调整特定设备或模块的运算优先级；

根据合理的兴趣区域及其局部搜索结果进行路径规划。

2.如权利要求1所述的基于驾驶员视线的智能驾驶车辆控制方法，其特征在于，所述获得驾驶员的兴趣区域包括：

基于视觉监控判断驾驶员的精神状态；

识别驾驶员头部的运动方向和眼球关注点，计算注视点坐标，并根据注视点坐标判定驾驶员的兴趣区域坐标。

3.如权利要求1所述的基于驾驶员视线的智能驾驶车辆控制方法，其特征在于，对所述兴趣区域进行合理性判断包括：

判断所述兴趣区域坐标是否在视场内且位于车辆的可行驶区域内；

基于自学习算法，通过学习手动模式下的驾驶员行为，在智能驾驶模式下判定驾驶员意图变道。

4.如权利要求3所述的基于驾驶员视线的智能驾驶车辆控制方法，其特征在于：

所述将车载芯片的运算能力分配到特定的设备或模块上包括暂停不必要的传感器，所述调整特定设备或模块的运算优先级包括断开不必要的传感器数据。

5.如权利要求3所述的基于驾驶员视线的智能驾驶车辆控制方法，其特征在于：

对所述兴趣区域进行合理性判断之后，集中车辆计算能力重点对合理的兴趣区域进行处理，并将处理结果合并入路径规划。

6.如权利要求3所述的基于驾驶员视线的智能驾驶车辆控制方法，其特征在于，所述自学习算法及其判定包括：

记录手动模式下的驾驶员驾驶状态、精神状态、视线位置，建立驾驶状态、精神状态、视线位置与车辆实际行驶的对应关系，并在智能驾驶模式下将驾驶员的驾驶状态、精神状态、视线位置和手动模式相比对，以此判断驾驶员的意图。

7.一种基于驾驶员视线的智能驾驶车辆控制系统，其特征在于，包括：

脑电波监测系统，所述脑电波监测系统监测并判断驾驶员的驾驶状态；

视觉驾驶员监控系统，所述视觉驾驶员监控系统基于视觉监控获得驾驶员的精神状态及兴趣区域坐标；

判定系统，所述判定系统结合驾驶状态、精神状态和车辆可行驶区域对所述兴趣区域坐标进行合理性判断；

感知系统，所述感知系统集中资源对合理的兴趣区域进行局部搜索，所述集中资源包括将车载芯片的运算能力分配到特定的设备或模块上，或者调整特定设备或模块的运算优先级；

决策系统，所述决策系统根据合理的兴趣区域及其局部搜索结果进行路径规划。

8.如权利要求7所述的基于驾驶员视线的智能驾驶车辆控制系统，其特征在于，

所述视觉驾驶员监控系统基于视觉监控判断驾驶员的精神状态，并识别驾驶员头部的运动方向和眼球关注点，计算注视点坐标，根据注视点坐标判定驾驶员的兴趣区域坐标。

9.如权利要求7所述的基于驾驶员视线的智能驾驶车辆控制系统，其特征在于：

所述判定系统判断所述兴趣区域坐标是否在感知系统的视场内且位于车辆的可行驶区域内，并自学习算法，通过学习基于手动模式下的驾驶员行为，在智能驾驶模式下判定驾驶员意图变道，将合理的兴趣区域发送至决策系统和感知系统。

10.如权利要求9所述的基于驾驶员视线的智能驾驶车辆控制系统，其特征在于：

判定系统向感知系统输出合理的兴趣区域，感知系统集中车辆计算能力重点对合理的兴趣区域进行处理，并将处理结果合并入决策系统的路径规划。

11.如权利要求9所述的基于驾驶员视线的智能驾驶车辆控制系统，其特征在于：

所述将车载芯片的运算能力分配到特定的设备或模块上包括暂停不必要的传感器，所述调整特定设备或模块的运算优先级包括断开不必要的传感器数据。

12.如权利要求9所述的基于驾驶员视线的智能驾驶车辆控制系统，其特征在于：

所述脑电波监测系统记录手动模式下的驾驶员驾驶状态，建立驾驶状态与车辆实际行驶的对应关系。

13.如权利要求12所述的基于驾驶员视线的智能驾驶车辆控制系统，其特征在于：

所述视觉驾驶员监控系统记录手动模式下的驾驶员精神状态、视线位置，建立精神状态、视线位置与车辆实际行驶的对应关系。

14.如权利要求13所述的基于驾驶员视线的智能驾驶车辆控制系统，其特征在于：

所述判定系统接收到驾驶员的驾驶状态、精神状态、视线位置之后，将驾驶状态、精神状态、视线位置与车辆实际行驶的对应关系相比对，从而预测驾驶员的实际驾驶意图。

15.一种基于驾驶员视线的智能驾驶车辆控制装置，其特征在于，所述装置执行如权利要求1-6中任意一项所述的方法。

Images