CN112274154B - 基于脑电样本权重调整的跨被试疲劳驾驶分类方法 - Google Patents

Abstract

本发明公开了一种基于脑电样本权重调整的跨被试疲劳状态分类方法。本发明以PSD作为特征提取方法，InstanceEasyTL算法作为分类器，通过对EEG信号的处理及分析，在跨被试的设定下，对驾驶员的疲劳程度进行分类，实现疲劳、清醒两种状态的区分。首先获取数据并预处理；其次使用PSD对脑电数据进行特征提取；然后设置实验的新源域和新目标域，再根据InstanceEasyTL算法进行分类。与传统的机器学习、深度学习方法和基于特征对齐的EasyTL方法相比，在跨被试上拥有更好的分类性能。此外本方法在仅需目标域中小部分比例的数据情况下，仍然能够保持较高的分类性能。

Description

基于脑电样本权重调整的跨被试疲劳驾驶分类方法

技术领域

本发明涉及生物特征识别领域中的脑电信号识别领域，具体涉及一种基于脑电样本权重调整的跨被试疲劳驾驶分类方法。

背景技术

在过去的几年里，随着社会的发展和技术的进步，拥有私家车的人越来越多，发生交通事故的数量也不断增加，对人们的生命财产安全造成了重大的损失。有许多研究已经证明造成交通事故的一个重要原因是疲劳驾驶。因此，如果能在驾驶者在行驶过程中的疲劳状态做出检测，就可以有效的降低发生交通事故的概率。

现有的疲劳驾驶检测方法有三种，一是通过问卷的方式。驾驶者通过填写问卷来评价自己的状态。这种方式的优点是实施起来简单，但是比较依赖驾驶者的主观判断。二是通过计算机视觉技术。通过计算机视觉技术检测面部表情，比如眨眼频率，闭眼的持续时间和打哈欠等等。这种方式同样有简单的优点，而且相对于问卷的方式更加客观，但是如果驾驶者喜欢带墨镜，而眨眼频率是一个检测疲劳状态很重要的因素，因此会影响疲劳驾驶状态的检测。三是基于生理信号测量的方式。脑电、眼电和心电或者这几者的混合可以很好的检测出疲劳驾驶状态。其中基于脑电的方式被认为是最有效的一种方法，因为它直接反应了大脑的活动并能够及时的发现驾驶者精神状态的变化。

目前已有很多经典的机器学习方法，例如，SVM、线性判别分析(LDA)、(K-最邻近)KNN等等。以及一些深度学习方法，例如，LSTM、CNN等等。这些方法被用于分析及发现脑电信号中的重要模式。虽然这些方法已经取得了非常好的分类效果，但是这些方法没有考虑到被试(驾驶者)之间的个体差异性，也就是说没有考虑到不同被试的脑电信号是存在巨大差异的情况。因此如果将在某些被试上训练好的模型用于其他的被试，则会导致分类性能不理想。当然也可以不将通过其他被试训练得到的模型用于其他被试，而是对每一个被试都单独训练一个模型，这样就可以取得非常好的分类效果，但是因为训练时需要大量的带标签训练样本，为每一个被试都训练一个模型既费时又费力。基于以上两点的考虑，如果能够实现一种技能跨被试取得较好分类性能并且不会花费大量时间和精力取收集训练数据的方法是比较理想的。

其实已经有一些能够实现该上述需求的迁移学习方法应用在图像领域，例如EasyTL，由王晋东教授于2019年发表于ICME的论文Easy Transfer Learning ByExploiting Intra-domain Structures，该方法的核心思想是通过将源域与目标域的特征空间的分布尽可能的对齐，之后使用分类器进行分类。该方法在图像领域已取得了非常好的分类性能，但是在将其应用到脑电领域时却难以达到同样的效果。我们认为，这是由于图片主要是由像素组成，而像素之间的差异并非十分巨大，但是在脑电领域，不仅同一被试的脑电在不同时刻存在着差异，不同被试间的脑电差异会更加显著。因此，在EasyTL对齐源域与目标域的阶段，由于脑电的特殊性，无法使得源域与目标域足够的相似，从而导致无法取得将EasyTL应用于图像领域时的高分类性能。

发明内容

本发明的目的是为了克服现有方法在跨被试疲劳驾驶检测方法分类性能不佳及为单一被试单独训练模型费时费力的缺陷和EasyTL方法在脑电领域性能不佳的不足。本发明提出了一种基于脑电跨被试疲劳驾驶检测方法。

本发明先将训练被试称为源域，测试被试称为目标域，之后通过借用一部分目标域数据(包含样本及标签)到源域，从而形成新源域，剩余的目标域部分则作为新目标域，并为新源域样本赋予权重。该方法在训练过程中通过不断调整源域中样本的权重，使得该部分样本更像借用部分目标域中的样本。也就是通过不断的调整权重，相当于拥有了大量的目标域的样本，因此能够对目标域有比较好的分类性能，同时不需要大量的目标域样本及标签。

本发明为克服现有方法的不足所采用的技术方案是：

采用一种基于脑电的跨被试疲劳状态分类方法，通过对脑电信号的分析，对驾驶员的疲劳状态进行分类，实现清醒、疲劳两种状态的区分，具体实现包含如下步骤：

步骤1：数据采集：

搭建模拟驾驶平台并设计模拟驾驶实验，具体为满足条件的多名被试驾驶员，并让他们参与不同条件的驾驶，从而产生疲劳和清醒这两种状态。在这过程中采集这些被试驾驶员的原始脑电数据，并打上疲劳、清醒的标签。

步骤2：数据处理：

对采集到的原始脑电数据进行预处理，去除伪迹干扰。对预处理后的脑电数据进行特征提取，通过PSD方法提取出适合疲劳驾驶状态检测的频段特征并整合特征，将整合后的特征作为后续模型训练的脑电数据。

步骤3：构建跨被试疲劳状态分类模型：

输入：带标签的新源域T、不带标签的新目标域S和最大迭代次数N。

步骤3-1：初始化：

初始化带标签的新源域T中每个样本对应的权重，得到初始化后的样本权重结合W¹；初始迭代次数t＝1；

步骤3-2：计算每个样本权重占所有样本权重和的比例p^t；

步骤3-3：将新源域T、新目标域S及比例p^t作为EasyTL(C)方法的输入，计算出的新源域和新目标域中样本对应的预测标签集合h_t{x}。

步骤3-4：计算出预测标签h_t(x)与y(x)的误差∈_t，其中x为T_td中的样本，T_td指代从目标域Ω_t借用到源域Ω_s的那部分数据。h_t(x)为样本的预测标签，y(x)为样本的真实标签。

所述的h_t(x)与h_t{x}的关系如下：

h_t(x)属于h_t{x}的子集，h_t(x)为T_td中样本对应的预测标签，而h_t{x}为新源域T和新目标域S中样本对应的预测标签集合。

步骤3-5：根据步骤3-4的误差∈_t得到参数β_t和β，并用β_t和β分别更新权重

并记录下β_t。

步骤3-6：t＝t+1，返回步骤3-3进行迭代，直到N次；

步骤3-7.根据以下公式得到新目标域的标签h_f(x)。

其中，h_t[x]指代第t次迭代时新目标域S中样本的预测标签，β_t可从步骤3-5获取。

本发明的有益效果是：

本发明通过借用一部分目标域数据作为新源域的一部分进行训练，经过不断的迭代使得源域数据与目标域数据越来越相似，即相当于拥有了大量的目标域数据对模型进行训练，从而在不需要大量目标域数据的情况下依然能保证比较高的分类性能。解决了常规机器学习及深度学习方法用于基于脑电进行疲劳驾驶检测时需要大量目标域数据及在跨被试分类性能不佳的缺陷。此外，原本EasyTL通过将源域和目标域空间对齐的方式在脑电跨被试的场景下无法取得较好分类性能，本发明改变思路，通过样本权重调整的方式提高了分类性能。

附图说明

图1是本发明流程图

图2是特征提取流程图

图3是EasyTL(C)分类器原理图

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1所示，一种基于脑电跨被试疲劳驾驶检测方法，具体实现步骤如下：

步骤1：对源域和目标域中数据进行处理；

首先对采集到的原始脑电数据先使用带通滤波过滤出0.1Hz到30Hz的部分，然后采用ICA独立成分分析去除脑电伪迹。接下来，对预处理后的脑电数据进行如图2的特征提取。特征提取的过程中，以样本为单位进行处理。图2中(a)部分表示一个被试的原始脑电数据，一共有1400个样本，每个样本的采通道数为61，样点为100。经过PSD单边估计后得到图2中(b)部分所示，通道数仍然是61，但转化为频域且频率为0-100Hz的样本。之后提取与疲劳驾驶状态相关的频段得到图2中(c)部分所示，即得到alpha、beta和u频段数据，通道数为61，共有27个频段的样本。再对提取出的频段以通道维度进行拼接得到1647维的样本，如图2中(d)部分所示，最后得到1400个1647维的样本，如图2中(e)部分所示。

步骤2：数据定义

以往一般将训练的带有标签的样本作为初始源域

其中n_s为初始源域样本的数量，而没有标签的测试样本作为初始目标域

其中n_t为目标域样本的数量。

本发明根据发明内容的特点重新定义了新源域与新目标域。如图1所示，将新源域定义为T：

T＝{T_sd∪T_td}# (2)

其中，Y_s和Y_t分别为初始源域Ω_s和初始目标域Ω_t对应的真实标签集合，

表示在T_sd中第i个样本和它对应的真实标签，

表示在T_td中第i个样本和它对应的真实标签；n_s和m分别指代T_sd和T_td中样本的数量。T_td指代从初始目标域Ω_t借用到初始源域Ω_s的那部分数据。T_sd指代从初始源域和对应的真实标签集合。

将新目标域定义为S：

其中，l为新目标域S中样本的数量。

步骤3：构建跨被试疲劳状态分类模型：

输入：为带标签的数据处理后的新源域T、不带标签的数据处理后的新目标域S和最大的最大迭代次数N；

步骤3-1：初始化：

初始化样本权重集合W¹和初始迭代次数t＝1；

其中，

为T_sd中样本的权重集合，

为T_td中样本的权重集合，n_s为T_sd的样本数，m为T_td的样本数。

步骤3-2：设置新源域T中的样本权重和sum^t、每个样本占此权重和sum^t的比例p^t；

其中，w表示每个样本的权重，W^t表示第t次迭代时新源域T中所有样本的权重集合，sum^t表示第t次迭代时新源域T中所有样本权重和，p^t表示第t次迭代时，每个样本在新源域T中占所有样本权重的和的比例。

步骤3-3：将新源域T、新目标域S及比例p^t作为EasyTL(C)方法的输入，计算出新源域和新目标域中样本对应的预测标签集合h_t{x}；

此处EasyTL(C)为基础分类器。

步骤3-4：计算出预测标签h_t(x)和y(x)的误差∈_t，其中，x为T_td中的样本，h_t(x)为T_td中样本的预测标签，y(x)为T_td中样本的真实标签；获取的真实标签如步骤2所示；

其中，权重

包括

指代T_td对应的权重集合，，

指代T_sd对应的权重集合。w_x表示

权重集合中的元素，即T_sd中每个样本的权重。

步骤3-5：根据步骤3-4的误差∈_t得到权重

对应的参数β_t和β。

步骤3-6：根据步骤3-5中得到β_t和β分别更新权重

其中，权重W^t包括权重

W^t+1表示第t+1次迭代时，新源域T中所有样本的权重集合。

步骤3-7：t＝t+1，回到步骤3-2进行迭代，直到N次；

输出：根据以下公式得到新目标域的标签h_f(x)。

其中，h_t[x]指代第t次迭代时新目标域S中样本的预测标签，β_t可从步骤3-5中获取。

所述的EasyTL(C)分类器的原理为：

如图3，W为概率注释矩阵，行C表示标签，列X表示样本。矩阵W中的元素表示

属于标签C_i的概率，其中j＝1，2，...，n_t i＝1，2，3，4。基于这个矩阵W，EasyTL可以预测样本，

样本对应的标签为对应列最大概率值所在的标签。例如图3中所示，样本

处于C₃标签，因为它概率值为0.4，是所有概率值中的最大值。关于如何得到矩阵W，请参考原论文。以上只是为了更加清楚地阐述原理，本专利中类别仅有两类，而不是图3中的四类。

Claims (5)

1.基于脑电样本权重调整的跨被试疲劳驾驶分类方法，其特征在于将训练被试称为源域，测试被试称为目标域，之后通过借用一部分目标域数据到源域，从而形成新源域，剩余的目标域部分则作为新目标域，并为新源域样本赋予权重，且在训练过程中通过不断调整源域中样本的权重，使得该部分样本更像借用部分目标域中的样本，从而实现对目标域有更好的分类性能，同时不需要大量的目标域样本及标签；具体实现步骤如下：

步骤1：对源域和目标域中数据进行处理；

步骤2：数据定义

以往一般将训练的带有标签的样本作为初始源域

其中n_s为初始源域样本的数量，而没有标签的测试样本作为初始目标域

其中n_t为目标域样本的数量；

步骤3：构建跨被试疲劳状态分类模型；

新源域与新目标域定义如下，将新源域定义为T：

T＝{T_sd∪T_td}#(2)

其中，Y_s和Y_t分别为初始源域Ω_s和初始目标域Ω_t对应的真实标签集合，

表示在T_sd中第i个样本和它对应的真实标签,

表示在T_td中第i个样本和它对应的真实标签；n_s和m分别指代T_sd和T_td中样本的数量；T_td指代从初始目标域Ω_t借用到初始源域Ω_s的那部分数据；T_sd指代从初始源域和对应的真实标签集合；

将新目标域定义为S:

其中，l为新目标域S中样本的数量；

步骤1所述的数据处理是指对采集到的原始脑电数据进行预处理，去除伪迹干扰；对预处理后的脑电数据进行特征提取，通过PSD方法提取出适合疲劳驾驶状态检测的频段特征并整合特征，将整合后的特征作为后续模型训练的脑电数据；

在步骤2的数据定义前，对于数据的采集实现如下：搭建模拟驾驶平台并设计模拟驾驶实验，具体为满足条件的多名被试驾驶员，并让他们参与不同条件的驾驶，从而产生疲劳和清醒这两种状态；在这过程中采集这些被试驾驶员的原始脑电数据，并打上疲劳、清醒的标签；

步骤3所述的构建的跨被试疲劳状态分类模型，模型输入为带标签的新源域T、不带标签的新目标域S和最大迭代次数N；

跨被试疲劳状态分类模型的构建实现如下：

步骤3-1：初始化：

初始化带标签的新源域T中每个样本对应的权重，得到初始化后的样本权重结合W¹；初始迭代次数t＝1；

步骤3-2：计算每个样本权重占所有样本权重和的比例p^t；

步骤3-3：将新源域T、新目标域S及比例p^t作为EasyTL(C)方法的输入，计算出的新源域和新目标域中样本对应的预测标签集合h_t{x}；

步骤3-4：计算出预测标签h_t(x)与y(x)的误差∈_t，其中x为T_td中的样本，T_td指代从目标域Ω_t借用到源域Ω_s的那部分数据；h_t(x)为样本的预测标签，y(x)为样本的真实标签；

步骤3-5：根据步骤3-4的误差∈_t得到参数β_t和β，并用β_t和β分别更新权重

并记录下β_t；

步骤3-6：t＝t+1,返回步骤3-3进行迭代，直到N次；

步骤3-7.根据以下公式得到新目标域的标签h_f(x)；

其中，h_t[x]指代第t次迭代时新目标域S中样本的预测标签,β_t可从步骤3-5获取。

2.根据权利要求1所述的基于脑电样本权重调整的跨被试疲劳驾驶分类方法，其特征在于步骤3-1初始化具体如下：

初始化样本权重集合W¹和初始迭代次数t＝1；

其中，

为T_sd中样本的权重集合，

为T_td中样本的权重集合，n_s为T_sd的样本数，m为T_td的样本数。

3.根据权利要求2所述的基于脑电样本权重调整的跨被试疲劳驾驶分类方法，其特征在于步骤3-2具体实现如下：

设置新源域T中的样本权重和sum^t、每个样本占此权重和sum^t的比例p^t；

其中，w表示每个样本的权重，W^t表示第t次迭代时新源域T中所有样本的权重集合，sum^t表示第t次迭代时新源域T中所有样本权重和，p^t表示第t次迭代时，每个样本在新源域T中占所有样本权重的和的比例。

4.根据权利要求3所述的基于脑电样本权重调整的跨被试疲劳驾驶分类方法，其特征在于步骤3-4具体实现如下：

计算出预测标签h_t(x)和y(x)的误差∈_t，其中，x为T_td中的样本，h_t(x)为T_td中样本的预测标签，y(x)为T_td中样本的真实标签：

其中，权重

包括

指代T_td对应的权重集合，,

指代T_sd对应的权重集合；w_x表示

权重集合中的元素，即T_sd中每个样本的权重。

5.根据权利要求4所述的基于脑电样本权重调整的跨被试疲劳驾驶分类方法，其特征在于步骤3-5具体实现如下：

先得到权重

对应的参数β_t和β；

根据得到β_t和β分别更新权重

其中，权重W^t包括权重

W^t+1表示第t+1次迭代时，新源域T中所有样本的权重集合。

Images