CN116204806A

CN116204806A - 一种脑状态确定方法及装置

Info

Publication number: CN116204806A
Application number: CN202111450332.6A
Authority: CN
Inventors: 高小榕; 蒋永斌; 颜欣怡; 李鹏坤; 马其远; 胡涛; 范思文
Original assignee: Tsinghua University; Huawei Technologies Co Ltd
Current assignee: Tsinghua University; Huawei Technologies Co Ltd
Priority date: 2021-11-30
Filing date: 2021-11-30
Publication date: 2023-06-02

Abstract

本申请公开了一种脑状态确定方法，方法包括：获取驾驶者(目标用户)的脑电信号；对脑电信号进行特征提取，以得到目标脑电特征，并从预存储的多个分类模型中确定目标分类模型，每个分类模型为基于一类用户的脑电信号的脑电特征训练得到的，根据目标脑电特征，通过目标分类模型得到目标用户的脑状态。本申请中，目标脑电特征和用于训练目标分类模型的脑电特征的相似性较高，因此目标分类模型针对于目标用户的脑电信号的脑状态识别精度较高，在驾驶场景中，可以短时间内就得到脑状态识别精度较高的模型。

Description

一种脑状态确定方法及装置

技术领域

本申请涉及人工智能领域，尤其涉及一种脑状态确定方法及装置。

背景技术

随着社会的发展，汽车的普及，安全驾驶成为保证交通安全的重要关注问题之一，其中驾驶员的状态又是影响安全驾驶的重要因素之一。注意力不集中的驾驶包括任何转移驾驶员注意力的驾驶活动，如乘车、吃喝、与乘客交谈、调整娱乐或导航系统以及打电话，还包括驾驶员的精神状态或者意识若干变化，比如因疲劳而短暂地接近睡眠状态等。研究表明，有高达30％的交通事故是因为驾驶员注意力不集中造成的。当车辆以较高速度行驶时，分散了注意力的驾驶员如果不能充分意识到包括路径、交通、障碍物甚至车辆的状态的及时变化，事故就不可避免的发生了。

脑机接口(brain-computer interface，BCI)是一种基于神经科学与工程技术的新型人机交互方式，能够通过实时获取、分析脑信号，在人脑与计算机或其它电子设备之间建立直接的交流和控制通道，将中枢神经系统活动直接转化为信息输出，使用者不再需要通过语言或肢体动作即可表达想法或操纵外界设备。

由于不同人的属性特征(例如年龄、性别等生物特性)不同，因此不同的用户所需的的脑状态识别模型不同，因此，如何基于用户的脑电信号，快速识别出准确的脑状态是待解决的问题。

发明内容

本申请提供了一种脑状态确定方法以及装置在驾驶场景中，可以短时间内就得到脑状态识别精度较高的模型。

第一方面，本申请提供了一种脑状态确定方法，所述方法包括：

获取目标用户的脑电信号；

在一种可能的实现中，脑电信号采集设备可以实时采集脑电信号。具体的，驾驶者可以通过佩戴上脑电信号采集设备之后，开启设备的脑电信号采集功能，通过脑电信号采集设备采集用户的脑电信号。开启设备的方式可以有多种，其中可以是摁下脑电信号采集设备上的实体按钮，或者通过车载终端等上的相应APP进行触发(如触摸APP中的开始驾驶的虚拟按钮)，使脑电信号采集设备进入工作状态。

脑电信号采集设备可以采集到的目标用户的生物电信号，所述生物电信号可以包括脑电信号。可以通过进行特征分解来提取不同类的生物特征信号，例如可以根据不同类信号存在的频谱不同而进行提取，较为常用的是利用盲信源分离算法独立成分分析分解得到多个生物特征信号的成分，通过这种方式提取脑电信号。

对所述脑电信号进行特征提取，以得到目标脑电特征；

在一种可能的实现中，脑电信号是大脑活动的外在体现，不同的大脑活动表现为具有不同特征的脑电信号，可以根据所获取的脑电信号来分析用户的脑状态，通常的处理方式是对所获取的脑电信号进行特征提取。

在一种可能的实现中，可以基于脑电信号中周期性节律成分与非周期性成分的脑状态参数化识别算法来对所述脑电信号进行特征提取，以得到目标脑电特征。

根据所述目标脑电特征，从预存储的多个分类模型中确定目标分类模型；其中，所述多个分类模型中的每个分类模型为基于一类用户的脑电信号的脑电特征训练得到的，不同类用户的用户属性不同，且所述目标脑电特征与用于训练所述目标分类模型的脑电特征的相似性大于第一阈值；

应理解，这里的多个分类模型可以预先存储在本地(驾驶装置)，也可以存储在其他设备上(例如云侧的服务器，这里并不限定)，如果是在其他设备，驾驶装置可以将脑电特征传递至服务器，进而由服务器进行目标分类模型的确定，并将确定出的分类模型反馈至驾驶装置。

在一种可能的实现中，不同的分类模型为基于具备不同用户属性的用户的脑电信号训练得到的，其中，用户属性可以包括但不限于年龄、性别、脑电信号的采集时间等等。

在一种可能的实现中，不同类的用户即使脑电信号相似，但其对应的脑状态的差别却很大，因此，为了解决不同个体脑信号的差异导致脑状态识别准确度降低或失效，本申请实施例可以预先针对于多个用户的脑电信号进行训练，得到多个模型，每个模型针对于对应类别的用户的脑电信号的脑状态识别准确率较高。其中，可以选择具有一定代表性的用户的脑电信号而训练得到的多个分类模型进行存储。在实际应用中，可以将这部分预先训练好的分类模型(或者训练分类模型使用的脑电特征等)作为先验信息，通过脑电特征之间的比对，选择和目标用户相同或相似类别的用户对应的分类模型来作为用于识别目标用户的脑状态的分类模型。

根据所述目标脑电特征，通过所述目标分类模型得到所述目标用户的脑状态，所述脑状态用于指示所述目标用户的精神状态和/或认知负荷。

本申请实施例提供了一种脑状态确定方法，所述方法包括：获取目标用户的脑电信号；对所述脑电信号进行特征提取，以得到目标脑电特征；根据所述目标脑电特征，从预存储的多个分类模型中确定目标分类模型；其中，所述多个分类模型中的每个分类模型为基于一类用户的脑电信号的脑电特征训练得到的，不同类用户的用户属性不同，且所述目标脑电特征与用于训练所述目标分类模型的脑电特征的相似性大于第一阈值；根据所述目标脑电特征，通过所述目标分类模型得到所述目标用户的脑状态，所述脑状态用于指示所述目标用户的精神状态和/或认知负荷。本申请实施例中，在目标脑电特征和用于训练目标分类模型的脑电特征的相似性较高，因此目标分类模型针对于目标用户的脑电信号的脑状态识别精度较高，在驾驶场景中，可以短时间内就得到脑状态识别精度较高的模型。

在一种可能的实现中，可以从预存储的多个分类模型中确定M个分类模型，所述目标脑电特征与用于训练所述M个分类模型中的每个分类模型的脑电特征的相似性大于第一阈值，所述M为大于1的正数，并根据所述用于训练所述M个分类模型的脑电特征，训练得到所述目标分类模型。

其中，用于训练M个分类模型的脑电特征的用户和目标用户为相同类的用户(或者是具备相似用户属性的用户)，为了提高脑状态的识别精度，可以基于上述用于训练M个分类模型的脑电特征重新训练一个分类模型(即本申请实施例中描述的目标分类模型)。

由于用于训练M个分类模型的脑电特征的用户和目标用户为相同类的用户(或者是具备相似用户属性的用户)，因此基于用于训练M个分类模型的脑电特征可以在数据量有限的情况下，利用少量数据训练得到脑状态识别精度较高的模型(目标分类模型)，且从多个分类模型匹配得到M个分类模型的时间很短，相当于在驾驶场景中，可以短时间内就得到脑状态识别精度较高的模型。

在一种可能的实现中，所述目标分类模型为所述多个分类模型中的一个模型，且所述用于训练所述目标分类模型的脑电特征为所述多个分类模型中与所述目标脑电特征的相似性最高的脑电特征。

本申请实施例中，在目标脑电特征和用于训练多个分类模型中的一个分类模型的脑电特征的相似性特别高时，可以直接将该分类模型作为目标脑电特征，由于目标脑电特征和用于训练多个分类模型中的一个分类模型的脑电特征的相似性特别高，因此该分类模型针对于目标用户的脑电信号的脑状态识别精度较高，相当于在驾驶场景中，可以短时间内就得到脑状态识别精度较高的模型。

在一种可能的实现中，所述根据所述目标脑电特征，通过所述目标分类模型得到所述目标用户的脑状态，包括：

通过域适应，将所述用于训练所述目标分类模型的脑电特征和所述目标脑电特征映射到目标空间，其中，映射后的所述目标脑电特征和映射后的所述用于训练所述目标分类模型的脑电特征的相似度大于第二阈值，所述第二阈值大于所述第一阈值；

根据所述映射后的所述目标脑电特征，通过所述目标分类模型得到所述目标用户的脑状态。

在一种可能的实现中，所述方法应用于目标车辆，所述脑电信号为所述目标用户在驾驶所述目标车辆的状态下采集的；所述精神状态用于指示如下信息的至少一种：

疲劳程度、嗜睡程度、注意力的集中程度、警觉性程度，路怒程度以及心情的低落程度。

在一种可能的实现中，还可以呈现提示信息，所述提示信息用于指示所述目标用户的所述脑状态。也就是将实时的脑状态判断可视化呈现在外显设备中，例如可使用表盘式、条状式或曲线或分数等方式表示脑状态的程度和变化，“脑表”的位置可放置于车的挡光板处、后视镜处即上方，头盔的侧方等等，应与实际应用和需要相结合。

本申请通过脑状态的呈现，可供驾驶员能够了解自己的驾驶状态，提高了驾驶安全性。

关于脑状态可视化，可放置在车的驾驶员遮阳板位置或后视镜的边缘以及在表盘处，设计可以是根据不同颜色、程度表示脑状态，例如疲劳程度、负荷程度等；呈现的形式可以是圆盘的样式，或者进度条的样式，圆盘的样式还可以有以下变体：不同疲劳或负荷程度中在圆盘中间显示不同的图标。作为上述圆盘样式的另外一种变体，可以根据脑状态改变脑表盘数量。如负荷过高时只显示最需注意的脑表盘。还可以根据状态需注意的程度改变表盘颜色、大小等。根据脑状态信息改变显示形态。如情绪低落、疲劳时改变为类似游戏，焦虑时改变为较平稳的表盘。关于表盘的位置，可以是车内、车前上方、头盔前方、后侧方等。根据脑状态改变显示位置。如当焦虑时改为显示在较低调的地方、疲劳时则增加多个显示区域。

在一种可能的实现中，还可以基于所述脑状态指示所述目标用户处于负向驾驶状态，对所述车辆进行功能调节，所述功能调节用于促进所述目标用户由负向驾驶状态变为正向驾驶状态，所述负向驾驶状态为不利于驾驶的状态，所述正向驾驶状态为利于驾驶的状态。

在一种可能的实现中，所述功能调节包括如下的至少一种：车座椅的功能调节、音乐调节、干扰屏蔽操作、车内灯光调节以及车窗透明度调节。

本申请实施例可以针对驾驶员本身：清楚认知自身精神状况，车系统可根据不同脑状态，给予调节，例如疲劳(车座椅唤醒)、路怒(音乐调节)、分心(干扰屏蔽)等，据认知负荷程度，提供音乐调节，车内灯光调节、车窗透明度调节等。在驾驶场景中，当驾驶员驾驶状态很差时，脑状态信息可供驾驶器的决策系统的信息输入，可根据实际情况做出相应的辅助操作，例如，在驾驶员高负荷时，温度调节、车内灯光调整、声音屏蔽等，又如驾驶员疲劳产生时可发出提示声音、调整座椅、音乐调节等。

本申请通过相应的辅助操作，让驾驶员从对驾驶不利的状态变为对驾驶有利的状态，提高了驾驶安全性。

在一种可能的实现中，还可以接收所述服务器发送的路况信息，所述路况信息用于指示正在道路上驾驶车辆的驾驶人的脑状态，并呈现所述路况信息。其中，路况信息可以以地图的方式呈现，进而驾驶员可以通过呈现出的路况信息知晓当前各个路段上驾驶员的脑状态分布，给驾驶员的驾驶道路选择提供了依据。

在一种可能的实现中，可以向所述服务器发送所述目标用户的脑状态，以便所述服务器根据所述脑状态生成所述路况信息。应理解，服务器可以接收到多个车辆发送的驾驶者的脑状态，并根据脑状态生成路况信息反馈至各个车辆。

本申请实施例可以面向公共交通，社会平台的应用，其核心为将驾驶员(私家车、公共交通车辆骑行者等等)的脑信息作为一种信息服务，供公共交通调度、建议等。在公共交通拥堵疏解中，监管部门通过经授权的脑信息大数据平台分析道路交通拥堵预警，过度疲劳或认知负荷高的司机聚集路段道路易拥堵，提供给交管部门的调度指挥，也可提供地图导航脑信息服务，实现脑信息交通智能化。

在一种可能的实现中，所述呈现所述路况信息，包括：根据所述路况信息，显示导航地图；或者，根据所述路况信息，显示指示信息，所述指示信息用于指示所述目标用户周围的车辆的驾驶人的脑状态。

本申请实施例除了在导航地图上显示，也可以车内的显示界面上进行别车提示，标记可能有突发状况的车辆(路怒、分心驾驶)。通过上述方式，可以实时了解到周围车辆的驾驶者的脑状态，提高驾驶安全性。

第二方面，本申请提供了一种脑状态确定装置，所述装置包括：

获取模块，用于获取目标用户的脑电信号；

特征提取模块，用于对所述脑电信号进行特征提取，以得到目标脑电特征；

模型确定模块，用于根据所述目标脑电特征，从预存储的多个分类模型中确定目标分类模型；其中，所述多个分类模型中的每个分类模型为基于一类用户的脑电信号的脑电特征训练得到的，不同类用户的用户属性不同，且所述目标脑电特征与用于训练所述目标分类模型的脑电特征的相似性大于第一阈值；

脑状态确定模块，用于根据所述目标脑电特征，通过所述目标分类模型得到所述目标用户的脑状态，所述脑状态用于指示所述目标用户的精神状态和/或认知负荷。

本申请实施例中，在目标脑电特征和用于训练目标分类模型的脑电特征的相似性较高，因此目标分类模型针对于目标用户的脑电信号的脑状态识别精度较高，在驾驶场景中，可以短时间内就得到脑状态识别精度较高的模型。

在一种可能的实现中，所述模型确定模块，具体用于：

从预存储的多个分类模型中确定M个分类模型，所述目标脑电特征与用于训练所述M个分类模型中的每个分类模型的脑电特征的相似性大于第一阈值，所述M为大于1的正数；

根据所述用于训练所述M个分类模型的脑电特征，训练得到所述目标分类模型。

在一种可能的实现中，所述脑状态确定模块，具体用于：

在一种可能的实现中，所述装置应用于目标车辆，所述脑电信号为所述目标用户在驾驶所述目标车辆的状态下采集的；所述精神状态用于指示如下信息的至少一种：

在一种可能的实现中，所述装置还包括：

呈现模块，用于呈现提示信息，所述提示信息用于指示所述目标用户的所述脑状态。

在一种可能的实现中，所述装置还包括：

功能调节模块，用于基于所述脑状态指示所述目标用户处于负向驾驶状态，对所述车辆进行功能调节，所述功能调节用于促进所述目标用户由负向驾驶状态变为正向驾驶状态，所述负向驾驶状态为不利于驾驶的状态，所述正向驾驶状态为利于驾驶的状态。

在一种可能的实现中，所述功能调节包括如下的至少一种：

车座椅的功能调节、音乐调节、干扰屏蔽操作、车内灯光调节以及车窗透明度调节。

在一种可能的实现中，所述呈现模块，还用于：

接收所述服务器发送的路况信息，所述路况信息用于指示正在道路上驾驶车辆的驾驶人的脑状态；

呈现所述路况信息；或者，根据所述路况信息，确定导航路线。

在一种可能的实现中，所述装置还包括：

发送模块，用于向所述服务器发送所述目标用户的脑状态，以便所述服务器根据所述脑状态生成所述路况信息。

在一种可能的实现中，所述呈现模块，具体用于：

根据所述路况信息，显示导航地图；或者，

根据所述路况信息，显示指示信息，所述指示信息用于指示所述目标用户周围的车辆的驾驶人的脑状态。

第三方面，本申请实施例提供了一种脑状态确定装置，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于执行存储器中的程序，以执行如上述第一方面任一可选的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面任一可选的方法。

第五方面，本申请实施例提供了一种计算机程序产品，包括代码，当代码被执行时，用于实现上述第一方面任一可选的方法。

第六方面，本申请提供了一种芯片系统，该芯片系统包括处理器，用于支持设备实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据；或，信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存执行设备或脑状态确定设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。

附图说明

图1为本申请实施例提供的具有自动驾驶功能的自动驾驶装置的功能框图；

图2为本申请实施例提供的一种自动驾驶系统的结构示意图；

图3a和图3b为本申请实施例提供的车辆的一种内部结构；

图4为一种应用架构示意；

图5为本申请实施例提供的一种脑状态确定方法的流程示意；

图6为本申请实施例提供的脑信号示意；

图7为本申请实施例提供的一种特征匹配示意；

图8为本申请实施例提供的一种域适应示意；

图9为本申请实施例提供的脑信号示意；

图10为本申请实施例提供的脑信号示意；

图11是本申请实施例提供的界面示意；

图12为本申请实施例提供的界面示意；

图13为本申请实施例提供的界面示意；

图14为本申请实施例提供的一种脑状态确定装置示意；

图15为本申请实施例提供的一种脑状态确定装置示意；

图16为本申请实施例提供的一种芯片结构示意。

具体实施方式

下面结合本申请实施例中的附图对本申请的具体实现方式进行举例描述。然而本申请的实现方式还可以包括在不脱离本申请的精神或范围的前提下将这些实施例组合，比如采用其它实施例和做出结构性改变。因此以下实施例的详细描述不应从限制性的意义上去理解。本申请的实施例部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。

本申请的具体实施例中所提到的功能、模块、特征、单元等的一个或多个结构组成可以理解为由任何物理的或有形的组件(例如，由在计算机设备上运行的软件、硬件(例如，处理器或芯片实现的逻辑功能)等、和/或其它任何组合)以任何方式来实现。在某些实施例中，所示出的将附图中的将各种设备分成不同的模块或单元可以反映在实际实现中使用对应的不同的物理和有形的组件。可选的，本申请实施例附图中的单个模块也可以由多个实际物理组件来实现。同样，在附图中描绘的任何两个或更多个模块也可以反映由单个实际物理组件所执行的不同的功能。

关于本申请实施例的方法流程图，将某些操作描述为以一定顺序执行的不同的步骤。这样的流程图属于说明性的而非限制性的。可以将在本文中所描述的某些步骤分组在一起并且在单个操作中执行、可以将某些步骤分割成多个子步骤、并且可以以不同于在本文中所示出的顺序来执行某些步骤。可以由任何电路结构和/或有形机制(例如，由在计算机设备上运行的软件、硬件(例如，处理器或芯片实现的逻辑功能)等、和/或其任何组合)以任何方式来实现在流程图中所示出的各个步骤。

以下的说明可以将一个或多个特征标识为“可选的”。该类型的声明不应当被解释为对可以被认为是可选的特征的详尽的指示；即，尽管没有在文本中明确地标识，但其他特征可以被认为是可选的。此外，对单个实体的任何描述不旨在排除对多个这样的实体的使用；类似地，对多个实体的描述不旨在排除对单个实体的使用。最后，术语“示例性的”是指在潜在的许多实现中的一个实现。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

本申请可以应用在驾驶场景中。

以下示例性介绍本申请的应用场景。

本说明书中所述的车辆(例如本申请实施例描述的目标车辆)可以是将引擎作为动力源的内燃机车辆、将引擎和电动马达作为动力源的混合动力车辆、将电动马达作为动力源的电动汽车等等。

本申请实施例中，车辆可以包括具有驾驶功能的驾驶装置100。

参照图1，图1是本申请实施例提供的具有自动驾驶功能的驾驶装置100的功能框图。在一个实施例中，将驾驶装置100配置为完全或部分地自动驾驶模式。例如，驾驶装置100可以在处于自动驾驶模式中的同时控制自身，并且可通过人为操作来确定自动驾驶装置及其周边环境的当前状态，确定周边环境中的至少一个其他自动驾驶装置的可能行为，并确定该其他自动驾驶装置执行可能行为的可能性相对应的置信水平，基于所确定的信息来控制驾驶装置100。在驾驶装置100处于自动驾驶模式中时，可以将驾驶装置100置为在没有和人交互的情况下操作。

驾驶装置100可包括各种子系统，例如行进系统102、传感器系统104、控制系统106、一个或多个外围设备108以及电源110、计算机系统112和用户接口116。可选地，驾驶装置100可包括更多或更少的子系统，并且每个子系统可包括多个元件。另外，驾驶装置100的每个子系统和元件可以通过有线或者无线互连。

行进系统102可包括为驾驶装置100提供动力运动的组件。在一个实施例中，行进系统102可包括引擎118、能量源119、传动装置120和车轮/轮胎121。引擎118可以是内燃引擎、电动机、空气压缩引擎或其他类型的引擎组合，例如气油发动机和电动机组成的混动引擎，内燃引擎和空气压缩引擎组成的混动引擎。引擎118将能量源119转换成机械能量。

能量源119的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源119也可以为驾驶装置100的其他系统提供能量。

传动装置120可以将来自引擎118的机械动力传送到车轮121。传动装置120可包括变速箱、差速器和驱动轴。在一个实施例中，传动装置120还可以包括其他器件，比如离合器。其中，驱动轴可包括可耦合到一个或多个车轮121的一个或多个轴。

传感器系统104可包括感测关于驾驶装置100周边的环境的信息的若干个传感器。例如，传感器系统104可包括定位系统122(定位系统可以是全球定位系统(globalpositioning system，GPS)系统，也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit，IMU)124、雷达126、激光测距仪128以及相机130。传感器系统104还可包括被监视驾驶装置100的内部系统的传感器(例如，车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是自主驾驶装置100的安全操作的关键功能。

定位系统122可用于估计驾驶装置100的地理位置。IMU 124用于基于惯性加速度来感测驾驶装置100的位置和朝向变化。在一个实施例中，IMU 124可以是加速度计和陀螺仪的组合。

雷达126可利用无线电信号来感测驾驶装置100的周边环境内的物体。在一些实施例中，除了感测物体以外，雷达126还可用于感测物体的速度和/或前进方向。

雷达126可包括电磁波发送部、接收部。雷达126在电波发射原理上可实现为脉冲雷达(pulse radar)方式或连续波雷达(continuous wave radar)方式。雷达126在连续波雷达方式中可根据信号波形而实现为调频连续波(frequency modulated continuouswave，FMCW)方式或频移监控(frequency shift keying，FSK)方式。

雷达126可以电磁波作为媒介，基于飞行时间(time of flight，TOF)方式或相移(phase-shift)方式来检测对象，并检测被检测出的对象的位置、与检测出的对象的距离以及相对速度。为了检测位于车辆的前方、后方或侧方的对象，雷达126可配置在车辆的外部的适当的位置。激光雷达126可以激光作为媒介，基于TOF方式或相移方式检测对象，并检测被检测出的对象的位置、与检测出的对象的距离以及相对速度。

可选地，为了检测位于车辆的前方、后方或侧方的对象，激光雷达126可配置在车辆的外部的适当的位置。

激光测距仪128可利用激光来感测驾驶装置100所位于的环境中的物体。在一些实施例中，激光测距仪128可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。

相机130可用于捕捉驾驶装置100的周边环境的多个图像。相机130可以是静态相机或视频相机。

可选地，为了获取车辆外部影像，相机130可位于车辆的外部的适当的位置。例如，为了获取车辆前方的影像，相机130可在车辆的室内与前风挡相靠近地配置。或者，相机130可配置在前保险杠或散热器格栅周边。例如，为了获取车辆后方的影像，相机130可在车辆的室内与后窗玻璃相靠近地配置。或者，相机130可配置在后保险杠、后备箱或尾门周边。例如，为了获取车辆侧方的影像，相机130可在车辆的室内与侧窗中的至少一方相靠近地配置。或者，相机130可配置在侧镜、挡泥板或车门周边。

控制系统106为控制驾驶装置100及其组件的操作。控制系统106可包括各种元件，其中包括转向系统132、油门134、制动单元136、传感器融合算法138、计算机视觉系统140、路线控制系统142以及障碍物避免系统144。

转向系统132可操作来调整驾驶装置100的前进方向。例如在一个实施例中可以为方向盘系统。

油门134用于控制引擎118的操作速度并进而控制驾驶装置100的速度。

制动单元136用于控制驾驶装置100减速。制动单元136可使用摩擦力来减慢车轮121。在其他实施例中，制动单元136可将车轮121的动能转换为电流。制动单元136也可采取其他形式来减慢车轮121转速从而控制驾驶装置100的速度。

计算机视觉系统140可以操作来处理和分析由相机130捕捉的图像以便识别驾驶装置100周边环境中的物体和/或特征。所述物体和/或特征可包括交通信号、道路边界和障碍物。计算机视觉系统140可使用物体识别算法、运动中恢复结构(structure frommotion，SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中，计算机视觉系统140可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。

路线控制系统142用于确定驾驶装置100的行驶路线。在一些实施例中，路线控制系统142可结合来自定位系统122和一个或多个预定地图的数据以为驾驶装置100确定行驶路线。

障碍规避系统144用于识别、评估和规避或者以其他方式越过驾驶装置100的环境中的潜在障碍物。

当然，在一个实例中，控制系统106可以增加或替换地包括除了所示出和描述的那些以外的组件。或者也可以减少一部分上述示出的组件。

驾驶装置100通过外围设备108与外部传感器、其他自动驾驶装置、其他计算机系统或用户之间进行交互。外围设备108可包括无线通信系统146、车载电脑148、麦克风150和/或扬声器152。

在一些实施例中，外围设备108提供驾驶装置100的用户与用户接口116交互的手段。例如，车载电脑148可向驾驶装置100的用户提供信息。用户接口116还可操作车载电脑148来接收用户的输入。车载电脑148可以通过触摸屏进行操作。在其他情况中，外围设备108可提供用于驾驶装置100与位于车内的其它设备通信的手段。例如，麦克风150可从驾驶装置100的用户接收音频(例如，语音命令或其他音频输入)。类似地，扬声器152可向驾驶装置100的用户输出音频。

无线通信系统146可以直接地或者经由通信网络来与一个或多个设备无线通信。例如，无线通信系统146可使用3G蜂窝通信，例如码分多址(code division multipleaccess，CDMA)、EVD0、全球移动通信系统(global system for mobile communications，GSM)/是通用分组无线服务技术(general packet radio service，GPRS)，或者4G蜂窝通信，例如长期演进(long term evolution，LTE)，或者5G蜂窝通信。无线通信系统146可利用WiFi与无线局域网(wireless local area network，WLAN)通信。在一些实施例中，无线通信系统146可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议，例如各种自动驾驶装置通信系统，例如，无线通信系统146可包括一个或多个专用短程通信(dedicatedshort range communications，DSRC)设备，这些设备可包括自动驾驶装置和/或路边台站之间的公共和/或私有数据通信。

电源110可向驾驶装置100的各种组件提供电力。在一个实施例中，电源110可以为可再充电锂离子或铅酸电池。这种电池的一个或多个电池组可被配置为电源为驾驶装置100的各种组件提供电力。在一些实施例中，电源110和能量源119可一起实现，例如一些全电动车中那样。

驾驶装置100的部分或所有功能受计算机系统112控制。计算机系统112可包括至少一个处理器113，处理器113执行存储在例如存储器114这样的非暂态计算机可读介质中的指令115。计算机系统112还可以是采用分布式方式控制驾驶装置100的个体组件或子系统的多个计算设备。

处理器113可以是任何常规的处理器，诸如商业可获得的中央处理器(centralprocessing unit，CPU)。替选地，该处理器可以是诸如专用集成电路(applicationspecific integrated circuits，ASIC)或其它基于硬件的处理器的专用设备。尽管图1功能性地图示了处理器、存储器、和在相同块中的计算机110的其它元件，但是本领域的普通技术人员应该理解该处理器、计算机、或存储器实际上可以包括可以或者可以不存储在相同的物理外壳内的多个处理器、计算机、或存储器。例如，存储器可以是硬盘驱动器或位于不同于计算机110的外壳内的其它存储介质。因此，对处理器或计算机的引用将被理解为包括对可以或者可以不并行操作的处理器或计算机或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤，诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器，所述处理器只执行与特定于组件的功能相关的计算。

在此处所描述的各个方面中，处理器可以位于远离该驾驶装置并且与该驾驶装置进行无线通信。在其它方面中，此处所描述的过程中的一些在布置于驾驶装置内的处理器上执行而其它则由远程处理器执行，包括采取执行单一操纵的必要步骤。

在一些实施例中，存储器114可包含指令115(例如，程序逻辑)，指令115可被处理器113执行来执行驾驶装置100的各种功能，包括以上描述的那些功能。存储器114也可包含额外的指令，包括向行进系统102、传感器系统104、控制系统106和外围设备108中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。

除了指令115以外，存储器114还可存储数据，例如道路地图、路线信息，自动驾驶装置的位置、方向、速度以及其它这样的自动驾驶装置数据，以及其他信息。这种信息可在驾驶装置100在自主、半自主和/或手动模式中操作期间被驾驶装置100和计算机系统112使用。

用户接口116，用于向驾驶装置100的用户提供信息或从其接收信息。可选地，用户接口116可包括在外围设备108的集合内的一个或多个输入/输出设备，例如无线通信系统146、车载电脑148、麦克风150和扬声器152。

计算机系统112可基于从各种子系统(例如，行进系统102、传感器系统104和控制系统106)以及从用户接口116接收的输入来控制驾驶装置100的功能。例如，计算机系统112可利用来自控制系统106的输入以便控制转向单元132来避免由传感器系统104和障碍物避免系统144检测到的障碍物。在一些实施例中，计算机系统112可操作来对驾驶装置100及其子系统的许多方面提供控制。

可选地，上述这些组件中的一个或多个可与驾驶装置100分开安装或关联。例如，存储器114可以部分或完全地与驾驶装置100分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。

可选地，上述组件只是一个示例，实际应用中，上述各个模块中的组件有可能根据实际需要增添或者删除，图1不应理解为对本申请实施例的限制。

在道路行进的自动驾驶汽车，如上面的驾驶装置100，可以识别其周围环境内的物体以确定对当前速度的调整。所述物体可以是其它自动驾驶装置、交通控制设备、或者其它类型的物体。在一些示例中，可以独立地考虑每个识别的物体，并且基于物体的各自的特性，诸如它的当前速度、加速度、与自动驾驶装置的间距等，可以用来确定自动驾驶汽车所要调整的速度。

可选地，自动驾驶汽车驾驶装置100或者与驾驶装置100相关联的计算设备(如图1的计算机系统112、计算机视觉系统140、存储器114)可以基于所识别的物体的特性和周围环境的状态(例如，交通、雨、道路上的冰、等等)来预测所述识别的物体的行为。可选地，每一个所识别的物体都依赖于彼此的行为，因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。驾驶装置100能够基于预测的所述识别的物体的行为来调整它的速度。换句话说，自动驾驶汽车能够基于所预测的物体的行为来确定自动驾驶装置将需要调整到(例如，加速、减速、或者停止)什么稳定状态。在这个过程中，也可以考虑其它因素来确定驾驶装置100的速度，诸如，驾驶装置100在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。

除了提供调整自动驾驶汽车的速度的指令之外，计算设备还可以提供修改驾驶装置100的转向角的指令，以使得自动驾驶汽车遵循给定的轨迹和/或维持与自动驾驶汽车附近的物体(例如，道路上的相邻车道中的轿车)的安全横向和纵向距离。

上述驾驶装置100可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场自动驾驶装置、施工设备、电车、高尔夫球车、火车、和手推车等，本申请实施例不做特别的限定。

图1介绍了驾驶装置100的功能框图，下面介绍驾驶装置100中的自动驾驶系统101。图2为本申请实施例提供的一种自动驾驶系统的结构示意图。图1和图2是从不同的角度来描述驾驶装置100，例如图2中的计算机系统101为图1中的计算机系统112。

如图2所示，计算机系统101包括处理器103，处理器103和系统总线105耦合。处理器103可以是一个或者多个处理器，其中，每个处理器都可以包括一个或多个处理器核。系统总线105通过总线桥111和输入输出(I/O)总线113耦合。I/O接口115和I/O总线耦合。I/O接口115和多种I/O设备进行通信，比如输入设备117(如：键盘，鼠标，触摸屏等)，多媒体盘(media tray)121，例如CD-ROM，多媒体接口等。收发器123(可以发送和/或接受无线电通信信号)，摄像头155(可以捕捉景田和动态数字视频图像)和外部USB端口125。可选的，和I/O接口115相连接的接口可以是USB接口。

其中，处理器103可以是任何传统处理器，包括精简指令集计算(“RISC”)处理器、复杂指令集计算(“CISC”)处理器或上述的组合。可选的，处理器可以是诸如专用集成电路(“ASIC”)的专用装置。可选的，处理器103可以是神经网络处理器(neural-networkprocessing unit，NPU)或者是神经网络处理器和上述传统处理器的组合。可选的，处理器103挂载有一个神经网络处理器。

计算机系统101可以通过网络接口129和服务器149通信。网络接口129是硬件网络接口，比如，网卡。网络127可以是外部网络，比如因特网，也可以是内部网络，比如以太网或者虚拟私人网络(VPN)。可选的，网络127还可以是无线网络，比如WiFi网络，蜂窝网络等。

服务器149可以是高精度地图服务器连接，车辆可以通过与高精度地图的通信来获取高精度地图信息。

服务器149可以是车辆管理服务器，车辆管理服务器可以用于处理车辆上传的数据，也可以将数据通过网络下发到车辆。

此外，计算机系统101可以通过网络接口129和其他车辆160(vehicle tovehicle，V2V)或行人(vehicle to pedestrian，V2P)进行无线通信。

硬盘驱动接口和系统总线105耦合。硬件驱动接口和硬盘驱动器相连接。系统内存135和系统总线105耦合。运行在系统内存135的数据可以包括计算机系统101的操作系统137和应用程序143。

操作系统包括壳(Shell)139和内核(kernel)141。壳139是介于使用者和操作系统之内核(kernel)间的一个接口。壳139是操作系统最外面的一层。壳139管理使用者与操作系统之间的交互：等待使用者的输入，向操作系统解释使用者的输入，并且处理各种各样的操作系统的输出结果。

内核141由操作系统中用于管理存储器、文件、外设和系统资源的那些部分组成。直接与硬件交互，操作系统内核通常运行进程，并提供进程间的通信，提供CPU时间片管理、中断、内存管理、IO管理等等。

应用程序143包括自动驾驶相关程序，比如，管理自动驾驶装置和路上障碍物交互的程序，控制自动驾驶装置的行车路线或者速度的程序，控制驾驶装置100和路上其他自动驾驶装置交互的程序。

传感器153和计算机系统101关联。传感器153用于探测计算机系统101周围的环境。举例来说，传感器153可以探测动物，汽车，障碍物和人行横道等，进一步传感器还可以探测上述动物，汽车，障碍物和人行横道等物体周围的环境，比如：动物周围的环境，例如，动物周围出现的其他动物，天气条件，周围环境的光亮度等。可选的，如果计算机系统101位于自动驾驶装置上，传感器可以是摄像头，红外线感应器，化学检测器，麦克风等。传感器153在激活时按照预设间隔感测信息并实时或接近实时地将所感测的信息提供给计算机系统101。

计算机系统101，用于根据传感器153采集的传感器数据，确定驾驶装置100的行驶状态，以及根据该行驶状态和当前的驾驶任务确定自动驾驶转置100所需执行的驾驶操作，并向控制系统106(图1)发送该驾驶操作对应的控制指令。驾驶装置100的行驶状态可以包括驾驶装置100自身的行驶状况，例如车头方向、速度、位置、加速度等，也包括驾驶装置100周边环境的状态，例如障碍物的位置、其他车辆的位置和速度、人行横道的位置、交通灯的信号等。计算机系统101可以包括由处理器103实现的任务抽象网络和共享策略网络。具体的，处理器103确定当前的自动驾驶任务；处理器103将该自动驾驶任务的至少一组历史路径输入到任务抽象网络做特征提取，得到表征该自动驾驶任务的特征的任务特征向量；处理器103根据传感器153采集的传感器数据，确定表征自动驾驶装置的当前行驶状态的状态向量；处理器103将该任务特征向量和该状态向量输入到共享策略网络做处理，得到该自动驾驶装置当前所需执行的驾驶操作；处理器103通过控制系统执行该驾驶操作；处理器103重复之前确定和执行驾驶操作的步骤，直到完成该自动驾驶任务。

可选的，在本文所述的各种实施例中，计算机系统101可位于远离自动驾驶装置的地方，并且可与自动驾驶装置进行无线通信。收发器123可将自动驾驶任务、传感器153采集的传感器数据和其他数据发送给计算机系统101；还可以接收计算机系统101发送的控制指令。自动驾驶装置可执行收发器接收的来自计算机系统101的控制指令，并执行相应的驾驶操作。在其它方面，本文所述的一些过程在设置在自动驾驶车辆内的处理器上执行，其它由远程处理器执行，包括采取执行单个操纵所需的动作。

如图2中示出的那样，显示适配器107可以驱动显示器109，显示器109和系统总线105耦合。显示器109可用于视觉显示、语音播放由用户输入的信息或提供给用户的信息以及车载设备的各种菜单。显示器109可包括液晶显示器(liquid crystal display，LCD)、薄膜晶体管液晶显示器(thin film transistor-liquid crystal display，TFT LCD)、有机发光二极管(organic light-emitting diode、OLED)、柔性显示器(flexible display)、3D显示器(3D display)、电子墨水显示器(e-ink display)中的一种以上。触控面板可覆盖显示器109，当触控面板检测到在其上或附近的触摸操作后，传送给处理器以确定触摸事件的类型，随后处理器根据触摸事件的类型在显示器109上提供相应的视觉输出。此外，触控面板与显示器109也可以是集成的，来实现车载设备的输入和输出功能。

此外，显示器109可由平视显示器(head up display，HUD)来实现。此外，显示器109可设置有投射模块，从而通过投射在风挡或车窗的图像来输出信息。显示器109可包括透明显示器。透明显示器可贴附在风挡或车窗。透明显示器可以具有规定的透明度的方式显示规定的画面。为使透明显示器具有透明度，透明显示器可包括透明薄膜电致发光(thinfilm electroluminescent，TFEL)、透明有机发光二极管(organic light-emittingdiode，OLED)，透明LCD(liquid crystal display)、透射型透明显示器、透明LED(LightEmitting Diode)显示器中的一种以上。透明显示器的透明度可进行调节。

另外，显示器109可配置在车辆内部的多个区域，参照图3a和图3b，图3a和图3b示出了本发明一种实施例的车辆的内部结构。如图3a和图3b示出的那样，显示器109可配置在仪表板的区域300、301、座椅308的区域302、各柱饰板的区域303、车门的区域304、中控台的区域305、顶板(head lining)的区域，遮阳板(sunvisor)的区域，或者可实现于风挡的区域306、车窗的区域307。需要说明的是，以上显示器109的配置位置仅为一种示意，并不构成对本申请的限定。

本申请实施例中，驾驶装置(例如处理器)可以获取到来自脑电信号采集设备针对于目标用户采集的脑电信号，并对脑电信号进行处理分析，以得到目标用户的脑状态。

图4为本发明实施例的一种典型的应用场景，脑电信号采集设备101(具体可以为耳机、耳塞、眼镜、头盔等便携式脑电信号采集)佩戴于用户耳部，从耳侧采集驾驶员生物电信号(例如通过101a和101b)，将驾驶员生物电信号发送给驾驶装置100，其中脑电信号采集设备101具体操作可选的还可以增强信号同时排除外界杂扰信号干扰；进行去伪迹处理，并通过滤波电路滤除非脑电频率信号(比如滤除大于32Hz的波形)，并运用小波分析，提取波形特征，进行后续数字编码。驾驶装置100可以对用户脑电信号进行分析。

脑-机接口(brain-computer interface，BCI)是一种基于神经科学与工程技术的新型人机交互方式，能够通过实时获取、分析脑信号，在人脑与计算机或其它电子设备之间建立直接的交流和控制通道，将中枢神经系统活动直接转化为信息输出，使用者不再需要通过语言或肢体动作即可表达想法或操纵外界设备。

随着BCI技术的不断发展和广受关注，诸多脑信息检测技术已应用于BCI系统中。其中，脑电(electro encephalo graphy,EEG)信号能够直接反映大脑的电生理活动信息，时间分辨率高，采集设备相对易于轻量化，是当前阶段首选的非侵入式BCI技术。

BCI技术在驾驶场景近年来备受关注，近年来研究者在如何在驾驶过程中探测大脑状态，确保驾驶者安全平稳驾驶方面进行了很多研究。在获取到脑电信号后，可以基于脑状态识别模型对脑电信号进行处理分析，来得到驾驶人的脑状态，脑状态可以指示驾驶人当前的精神状态以及认知负荷，进而可以基于脑状态对驾驶者进行提示。

由于不同人的属性特征(例如年龄、性别等生物特性)不同，因此不同的用户所需的的脑状态识别模型不同，因此，如何基于用户的脑电信号，识别出准确的脑状态是待解决的问题。

参照图5，图5为本申请实施例提供的一种脑状态确定方法的流程示意，如图5所示，本申请实施例提供脑状态确定方法包括：

501、获取目标用户的脑电信号。

脑电信号采集设备可以采集到的目标用户的生物电信号，所述生物电信号可以包括脑电EEG信号。可以通过进行特征分解来提取不同类的生物特征信号，例如可以根据不同类信号存在的频谱不同而进行提取，较为常用的是利用盲信源分离算法独立成分分析(ICA)分解得到多个生物特征信号的成分，通过这种方式提取脑电信号。

除了对脑电信号进行提取外。还可以对脑电信号选择性的进行一些常规的处理。所述处理可以包括去伪迹、小波分析、数字化编码等常规的生物电信号处理操作中的一个或者多个，用于得到更加准确真实能反映用户脑电特征的脑电信号。也可以是经过其他的去躁处理和数字换转换后的脑电信号，在此不做限定。其中各种处理操作的处理方式和作用为：

去伪迹：在人体内部，有很多地方都产生电现象，最常见的就是神经传导，一个神经元接收刺激后传递生物电给下一个神经元，这种电现象是随着人类的存活无时无刻都在发生的，人类的每一个微小的表情都与神经电流的传导息息相关。不仅神经细胞如此，人体内的器官也能产生不同程度、不同强弱的生物电信号，然而，在测量脑电时，其他生物电信号也同样的混杂其中，因为不能完全提取到初凝的脑电原始信号，基本都是混杂着来自人体不同的生物电，其影响或大或小。除此之外，人类的表情、肢体动作也能很大的影响脑电信号，如心脏跳动、肌肉动作、眨眼动作、深呼吸、皮肤排汗等等。同时，温度的差异也会噪声生物电信号不同程度的强弱变化，若环境温度较低，会引起少数人的寒颤及抖动，这些动作幅度都比较大，对脑电也可以造成干扰。这些伪迹与有用的脑电信号混杂在一起，加大了数据处理的难度，所以在采集到脑电信号之后需要对脑电信号中的伪迹进行去除。

小波分析：是一种时频分析方法，由于脑电信号是一种非稳态信号，传统的傅里叶变换无法很好的提取细节(只能提取频率信息，时间信息无法提取)，小波变换是一种信号的分析方法，能够在频域上较好的体现信号的时间特性，通过小波分析可以很好的表征信号局部特征。

数字化编码：是对脑电信号进行数字化编码，将脑电信号转化为数字信号。

502、对所述脑电信号进行特征提取，以得到目标脑电特征。

其中，脑电信号的成分可以同时包含周期性和非周期性的信号，周期性节律(periodic oscillations)成分与许多生理、认知、行为和疾病状态有关联，而非周期性(aperiodic)成分在神经信号功率谱中往往被看作“背景”噪声而被忽略，这种特征又被称作1/f成分。非周期性成分是动态的，随年龄、任务需求和认知状态而变化，它也与潜在的神经元的相对兴奋和抑制相关。一段脑电信号的神经功率谱(power spectral density，PSD)可被看作非周期性成分和周期性节律成分的组合，因此可将功率谱中信号参数化，组成不同脑状态的特征成分，进而分类识别不同脑状态，具体可以参照图6所示。

在一种可能的实现中，目标脑电特征可以包括如下参数类型的至少一种：频率对数Log(frequency)、能量对数Log(power)、截距Offset、斜率Aperiodic slope、中心频率Center frequency、相对能量Relative power、总能量Total power等。

其中，以上截距和斜率属于非周期性成分参数，其余属于周期性成分得到的参数。

另外，根据常见定义下的频带范围：Delta(1-4Hz)、Theta(4-8Hz)、Alpha(8-13Hz)、Beta(13-30Hz)是主要关注的范围，如上参数中，中心频率、相对能量和总能量以及非双对数坐标系下的半带宽、平均能量在不同频带范围有相应的参数，均属于特征参数。

503、根据所述目标脑电特征，从预存储的多个分类模型中确定目标分类模型；其中，所述多个分类模型中的每个分类模型为基于一类用户的脑电信号的脑电特征训练得到的，不同类用户的用户属性不同，且所述目标脑电特征与用于训练所述目标分类模型的脑电特征的相似性大于第一阈值。

在一种可能的实现中，可以预先存储多个分类模型，其中，分类模型可以为支持向量机、决策树以及深度学习网络等工具，其可以进行特征分类，并输出分类结果。

其中，SVM是一个由分类超平面定义的判别分类器，通过给定一组带标签的训练样本，算法将会输出一个最优超平面对新样本(测试样本)进行分类。对于一个由二维坐标点构成的线性可分集合，如果能找到一条分割线离两类样本点都尽可能的远，则认为是这个二维坐标空间的最优超平面。SVM机器学习的目的就是找一个超平面，并且它在区分两类数据的同时能够做到离他最近的训练样本的距离要最大。即最优分割超平面最大化训练样本边界。

在一种可能的实现中，不同类的用户即使脑电信号相似，但其对应的脑状态的差别却很大，因此，为了解决不同个体脑信号的差异导致脑状态识别准确度降低或失效，本申请实施例可以预先针对于多类用户的脑电信号进行训练，得到多个分类模型，每个模型针对于对应类别的用户的脑电信号的脑状态识别准确率较高。其中，可以选择具有一定代表性的用户的脑电信号而训练得到的多个分类模型进行存储。

在一种可能的实现中，在得到目标脑电特征之后，可以基于目标脑电特征和用于训练每个分类模型的脑电特征进行比对，并认为目标用户和特征相似的脑电特征对应的用户是同一类用户(或者是具备相似用户属性的用户)，进而可以认为基于该脑电特征训练得到的分类模型针对于目标用户的脑电信号的脑状态识别准确率较高。

因此，可以基于目标脑电特征和用于训练每个分类模型的脑电特征之间的比对，来从预存储的多个分类模型中确定目标分类模型。

在一种可能的实现中，为了快速完成设备的匹配，在疲劳驾驶辅助检测模式下，使用者先开始使用前期在平稳驾驶、清醒状态下，行驶一段时间，期间可以按照系统指示，完成刹车，转弯的规定动作，该行驶数据(脑电信号)作为适配数据，期间的数据按照平稳驾驶、任务切分为多个试次数据，在系统模板库寻找一个或多个相似模板，基于这些模板，再通过迁移学习中的域适应二次校准，形成最佳模板作为该用户的个性化模型，完成个体适配。

接下来介绍脑电特征之间的比对方式：

在一种可能的实现中，可以将脑电采集通道、时间序列、任务数、使用人群，共同组成4维张量，通过将使用者的数据按照以上的模式组成新的张量后进行张量分解，通过比较分解后的低维度的矩阵(向量)，找到与该使用者相似的部分已有数据。

参照图7，图7为脑电特征的比对示意，其中颜色相近的为脑状态特征相似度高的数据模板。

504、根据所述目标脑电特征，通过所述目标分类模型得到所述目标用户的脑状态，所述脑状态用于指示所述目标用户的精神状态和/或认知负荷。

在一种可能的实现中，可以通过域适应，将所述用于训练所述目标分类模型的脑电特征和所述目标脑电特征映射到目标空间，其中，映射后的所述目标脑电特征和映射后的所述用于训练所述目标分类模型的脑电特征的相似度大于第二阈值，所述第二阈值大于所述第一阈值；根据所述映射后的所述目标脑电特征，通过所述目标分类模型得到所述目标用户的脑状态。

其中，域适应，又可以称作领域自适应，目的是把分布不同的源域与目标域的数据，映射到一个特征空间中，使其在该空间中的距离尽可能近。于是在特征空间中对源域(source domain)训练的目标函数，就可以迁移到目标领域(target domain)上，并提高目标域(target domain)上的准确率。例如，可以采用测地线流式核方法(geodesic flowkernel，GFK)(具体可以如图8所示)，首先选择最优的子空间维度进行变换、构建测地线、计算测地线流式核以及构建分类器。选择最优的子空间维度首先对两个数据集，源域(S)、目标域(T)以及合并的数据集S+T，通过主成分分析(PCA)降维后得到相应的PS、PT和PS+T，之后计算PS、PT与PS+T的空间夹角，分别记为α_d和β_d，D(d)＝0.5[sinα_d+sinα_d]表示总夹角，尽可能取最大的d，即为最优的子空间维度。

之后可以通过

构建测地线流，Φ(t)＝P_SU₁Γ(t)-R_SU₂∑(t)，其中R_S为P_S的补，即P_S为主成分分析后，取的d维数据，R_S为剩下的D-d维数据，满足/>

其中U₁，U₂，Γ，∑由SVD得到，/>

计算测地线流核，

其中/>

得到G后可以将两类数据投影到公共的子空间实现数据迁移对其，减少目标域与源域的差异。

在一种可能的实现中，所述方法可以应用于目标车辆，所述脑电信号为所述目标用户在驾驶所述目标车辆的状态下采集的；所述精神状态用于指示如下信息的至少一种：疲劳程度、嗜睡程度、注意力的集中程度、警觉性程度，路怒程度以及心情的低落程度。

其中，不同脑状态对应不同特征参数，根据不同的特征参数区分不同的脑状态，实现参数化脑状态。以上所述的脑状态，可分为精神状态和认知负荷，其中精神状态分为正向和负向，如疲劳和清醒、分神和集中及愤怒和平静等，认知负荷程度分为高、中、低三档。不同脑状态对应不同特征参数，根据不同的特征参数区分不同的脑状态，实现参数化脑状态。在驾驶场景中，精神状态，负向主要表现为驾驶疲劳、嗜睡、注意力不集中在驾驶、警觉性下降，路怒、低落等不利于驾驶的大脑状态；相反，清醒、注意力集中、可完成正常驾驶任务等为精神状态佳。认知负荷，主要为驾驶任务工作负荷，主要由路况复杂、同时进行多种任务导致大脑负荷过高引起的，路况良好单一集中驾驶时，负荷较低，相反，路况较差、需关注投入驾驶任务和其他任务(打电话等)同时进行时，负荷为高。

其中，预处理后的脑电信号，在二次校准后的推荐模板(目标分类模型)下，根据持续输入的脑电信号实时做出脑状态判断、识别，在此用困倦和清醒作为举例：被动驾驶困倦(passive driver fatigue)是驾驶在单调、低负荷的道路环境下引起的疲劳状态，被动疲劳状况下的大脑相应在频段能量下的表征不同，周期性节律成分与非周期性成分有显著差异，在两种状态下(疲劳、清醒)的脑电信号功率谱参数化表示，可以区分明显，具体可以如图9所示，图9上排左图与右图分别为PSD在半log与双log坐标系下的表示，深色线为疲劳困倦的PSD，浅色为清醒状态下的PSD，图9下排左、右图为非周期成分即1/f(fractalcomponent)在半log和双log坐标系下的表示。图9可见，疲劳状态下，总功率谱有明显上升，具体表现为，周期性节律成分中alpha(8-12Hz)、theta(4-8Hz)能量明显升高，非周期性成分总体上移。可以将两种状态下的周期性节律成分与非周期性成分在功率谱中参数化表示，两类参数分别组成两种特征向量，以此区分两种脑状态。

本申请实施例中，针对于脑电信号，可以采用滑窗的方法进行信号的切分，例如，在实时检测驾驶疲劳场景下，可采用预设时间(例如1分钟)内多次判断的机制，采用多数投票机制完成最终的脑状态判断，具体可以如图10所示。

在一种可能的实现中，还可以呈现提示信息，所述提示信息用于指示所述目标用户的所述脑状态。也就是将实时的脑状态判断可视化呈现在外显设备中，例如可使用表盘式、条状式或曲线或分数等方式表示脑状态的程度和变化(参照图11所示)，“脑表”的位置可放置于车的挡光板处、后视镜处即上方，头盔的侧方等等，应与实际应用和需要相结合。

在一种可能的实现中，还可以接收所述服务器发送的路况信息，所述路况信息用于指示正在道路上驾驶车辆的驾驶人的脑状态，并呈现所述路况信息。其中，路况信息可以以地图的方式呈现(例如可以参照图12所示)，进而驾驶员可以通过呈现出的路况信息知晓当前各个路段上驾驶员的脑状态分布，给驾驶员的驾驶道路选择提供了依据。

在图12中，深色为驾驶员脑状态负荷高，易拥堵路段，通过脑状态信息大数据平台的分析共地图导航使用，驾驶员自动选择路径，也可供监管部门进行交通疏导和规划。

本申请实施例除了在导航地图上显示，也可以车内的显示界面上进行别车提示(例如图13所示的那样)，标记可能有突发状况的车辆t路怒、分心驾驶)。通过上述方式，可以实时了解到周围车辆的驾驶者的脑状态，提高驾驶安全性。

在一种可能的实现中，还可以接收所述服务器发送的路况信息，所述路况信息用于指示正在道路上驾驶车辆的驾驶人的脑状态，并根据所述路况信息，确定导航路线。

本实施例为脑状态在自动驾驶场景的应用，利用脑状态中的认知负荷作为自动驾驶路径规划影响因素。驾驶中的认知负荷由交通周围环境的影响，如天气、道路的基础设施、交通车辆的密度、交通信号灯的数量等，驾驶员在遇到环境复杂度高的路段，认知负荷会上升，驾驶员的警觉度会下降，决策能力下降，已造成交通风险，以下具体举例：一段路径的选择由驾驶员脑状态、个人需求、道路的客观选择等，多个因素以不同的权重作为最终决策函数的影响变量，记为Γ(p，r)，其中p为人的因素，r为道路因素。

Γ(p，r)＝a·Brain(p)+b·Request(p)+c·Environment(r)；

其中，a，b，c为权重参数，Brain(p)为脑状态因素，Request(p)为人的需求因素，Environmenttr)为道路环境因素。

人的需求因素可为时间需求、习惯需求及选择道路倾向等，道路环境因素包括道路车辆密度、交通信号数量、目的地总距离、道路基本设施建设、噪声、气候等客观因素，脑状态因素主要为驾驶员本身的精神状况，如疲劳程度、认知负荷程度、注意力集中程度、情绪等的脑状态。

根据Γ(p，r)决策函数，车辆在路径规划导航时自动选择适合当下时刻的最佳路径，实现人车互动智能化，提升驾驶体验及安全性。

参照图14，图14为本申请实施例提供的一种脑状态确定装置的结构示意，如图14所示，所述装置1400可以包括：

获取模块1401，用于获取目标用户的脑电信号。

关于获取模块1401的具体描述，可以参照上述实施例中步骤501的描述，这里不再赘述。

特征提取模块1402，用于对所述脑电信号进行特征提取，以得到目标脑电特征；

关于特征提取模块1402的具体描述，可以参照上述实施例中步骤502的描述，这里不再赘述。

模型确定模块1403，用于根据所述目标脑电特征，从预存储的多个分类模型中确定目标分类模型；其中，所述多个分类模型中的每个分类模型为基于一类用户的脑电信号的脑电特征训练得到的，不同类用户的用户属性不同，且所述目标脑电特征与用于训练所述目标分类模型的脑电特征的相似性大于第一阈值；

关于模型确定模块1403的具体描述，可以参照上述实施例中步骤503的描述，这里不再赘述。

脑状态确定模块1404，用于根据所述目标脑电特征，通过所述目标分类模型得到所述目标用户的脑状态，所述脑状态用于指示所述目标用户的精神状态和/或认知负荷。

关于脑状态确定模块1404的具体描述，可以参照上述实施例中步骤504的描述，这里不再赘述。

在一种可能的实现中，所述模型确定模块，具体用于：

在一种可能的实现中，所述脑状态确定模块，具体用于：

在一种可能的实现中，所述装置还包括：

在一种可能的实现中，所述功能调节包括如下的至少一种：

在一种可能的实现中，所述呈现模块，还用于：

在一种可能的实现中，所述装置还包括：

在一种可能的实现中，所述呈现模块，具体用于：

根据所述路况信息，显示导航地图；或者，

本申请实施例还提供了一种脑状态确定设备，请参阅图15，图15是本申请实施例提供的脑状态确定设备一种结构示意图，具体的，脑状态确定设备1500可以由一个或多个终端设备(例如驾驶装置)或服务器实现，脑状态确定设备1500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)1515(例如，一个或一个以上处理器)和存储器1532，一个或一个以上存储应用程序1542或数据1544的存储介质1530(例如一个或一个以上海量存储设备)。其中，存储器1532和存储介质1530可以是短暂存储或持久存储。存储在存储介质1530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对脑状态确定设备中的一系列指令操作。更进一步地，中央处理器1515可以设置为与存储介质1530通信，在脑状态确定设备1500上执行存储介质1530中的一系列指令操作。

脑状态确定设备1500还可以包括一个或一个以上电源1526，一个或一个以上有线或无线网络接口1550，一个或一个以上输入输出接口1558；或，一个或一个以上操作系统1541，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

具体的，脑状态确定设备可以执行图5对应实施例中的脑状态确定方法。

本申请实施例中还提供一种包括计算机程序产品，当其在计算机上运行时，使得计算机执行如前述脑状态确定设备所执行的步骤。

本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于进行信号处理的程序，当其在计算机上运行时，使得计算机执行如前述脑状态确定设备所执行的步骤。

本申请实施例提供的脑状态确定设备具体可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使执行设备内的芯片执行上述实施例描述的数据处理方法，或者，以使脑状态确定设备内的芯片执行上述实施例描述的数据处理方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。

具体的，请参阅图16，图16为本申请实施例提供的芯片的一种结构示意图，所述芯片可以表现为神经网络处理器NPU1600，NPU 1600作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。NPU的核心部分为运算电路1603，通过控制器1604控制运算电路1603提取存储器中的矩阵数据并进行乘法运算。

NPU 1600可以通过内部的各个器件之间的相互配合，来实现图6所描述的实施例中提供的脑状态确定方法。

其中，NPU 1600中的运算电路1603可以执行获取模型以及对模型进行模型训练的步骤。

更具体的，在一些实现中，NPU 1600中的运算电路1603内部包括多个处理单元(Process Engine,PE)。在一些实现中，运算电路1603是二维脉动阵列。运算电路1603还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路1603是通用的矩阵处理器。

举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器1602中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器1601中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)1608中。

统一存储器1606用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(Direct Memory Access Controller，DMAC)1605，DMAC被搬运到权重存储器1602中。输入数据也通过DMAC被搬运到统一存储器1606中。

BIU为Bus Interface Unit即，总线接口单元1610，用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer，IFB)1609的交互。

总线接口单元1610(Bus Interface Unit，简称BIU)，用于取指存储器1609从外部存储器获取指令，还用于存储单元访问控制器1605从外部存储器获取输入矩阵A或者权重矩阵B的原数据。

DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器1606或将权重数据搬运到权重存储器1602中或将输入数据数据搬运到输入存储器1601中。

向量计算单元1607包括多个运算处理单元，在需要的情况下，对运算电路1603的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如Batch Normalization(批归一化)，像素级求和，对特征平面进行上采样等。

在一些实现中，向量计算单元1607能将经处理的输出的向量存储到统一存储器1606。例如，向量计算单元1607可以将线性函数；或，非线性函数应用到运算电路1603的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元1607生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路1603的激活输入，例如用于在神经网络中的后续层中的使用。

控制器1604连接的取指存储器(instruction fetch buffer)1609，用于存储控制器1604使用的指令；

统一存储器1606，输入存储器1601，权重存储器1602以及取指存储器1609均为On-Chip存储器。外部存储器私有于该NPU硬件架构。

其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，ASIC，或一个或多个用于控制上述程序执行的集成电路。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，脑状态确定设备，或者网络设备等)执行本申请各个实施例所述的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、脑状态确定设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、脑状态确定设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的脑状态确定设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

Claims

1.一种脑状态确定方法，其特征在于，所述方法包括：

获取目标用户的脑电信号；

对所述脑电信号进行特征提取，以得到目标脑电特征；

2.根据权利要求1所述的方法，其特征在于，所述从预存储的多个分类模型中确定目标分类模型，包括：

3.根据权利要求1或2所述的方法，其特征在于，所述目标分类模型为所述多个分类模型中的一个模型，且所述用于训练所述目标分类模型的脑电特征为所述多个分类模型中与所述目标脑电特征的相似性最高的脑电特征。

4.根据权利要求1至3任一所述的方法，其特征在于，所述根据所述目标脑电特征，通过所述目标分类模型得到所述目标用户的脑状态，包括：

5.根据权利要求1至4任一所述的方法，其特征在于，所述方法应用于目标车辆，所述脑电信号为所述目标用户在驾驶所述目标车辆的状态下采集的；所述精神状态用于指示如下信息的至少一种：

6.根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：

呈现提示信息，所述提示信息用于指示所述目标用户的所述脑状态。

7.根据权利要求1至6任一所述的方法，其特征在于，所述方法还包括：

基于所述脑状态指示所述目标用户处于负向驾驶状态，对所述车辆进行功能调节，所述功能调节用于促进所述目标用户由负向驾驶状态变为正向驾驶状态，所述负向驾驶状态为不利于驾驶的状态，所述正向驾驶状态为利于驾驶的状态。

8.根据权利要求7所述的方法，其特征在于，所述功能调节包括如下的至少一种：

9.根据权利要求1至8任一所述的方法，其特征在于，所述方法还包括：

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

向所述服务器发送所述目标用户的脑状态，以便所述服务器根据所述脑状态生成所述路况信息。

11.根据权利要求9或10所述的方法，其特征在于，所述呈现所述路况信息，包括：

根据所述路况信息，显示导航地图；或者，

12.一种脑状态确定装置，其特征在于，所述装置包括：

获取模块，用于获取目标用户的脑电信号；

13.根据权利要求12所述的装置，其特征在于，所述模型确定模块，具体用于：

14.根据权利要求12或13所述的装置，其特征在于，所述目标分类模型为所述多个分类模型中的一个模型，且所述用于训练所述目标分类模型的脑电特征为所述多个分类模型中与所述目标脑电特征的相似性最高的脑电特征。

15.根据权利要求12至14任一所述的装置，其特征在于，所述脑状态确定模块，具体用于：

16.根据权利要求12至15任一所述的装置，其特征在于，所述装置应用于目标车辆，所述脑电信号为所述目标用户在驾驶所述目标车辆的状态下采集的；所述精神状态用于指示如下信息的至少一种：

17.根据权利要求12至16任一所述的装置，其特征在于，所述装置还包括：

18.根据权利要求12至17任一所述的装置，其特征在于，所述装置还包括：

19.根据权利要求18所述的装置，其特征在于，所述功能调节包括如下的至少一种：

20.根据权利要求12至19任一所述的装置，其特征在于，所述呈现模块，还用于：

21.根据权利要求20所述的装置，其特征在于，所述装置还包括：

22.根据权利要求20或21所述的装置，其特征在于，所述呈现模块，具体用于：

根据所述路况信息，显示导航地图；或者，

23.一种脑状态确定装置，其特征在于，所述装置包括存储器和处理器；所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行如权利要求1至11任一所述的方法。

24.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一个或多个指令，所述指令在由一个或多个计算机执行时使得所述一个或多个计算机实施权利要求1至11任一所述的方法。

25.一种计算机程序产品，包括代码，其特征在于，在所述代码被执行时用于实现如权利要求1至11任一所述的方法。