CN109480871A - 一种面向rsvp脑-机接口的疲劳检测方法 - Google Patents

Abstract

本发明涉及一种面向RSVP脑‑机接口的疲劳检测方法，解决了现有技术中RSVP‑BCI作业过程中无法有效掌握用户在疲劳状态的问题的问题。一种面向RSVP脑‑机接口的疲劳检测方法，包括以下步骤：以一定频率的RSVP方式呈现图像内容，当目标图像出现时，被试作出行为反应，并记录其行为学信息，通过评分量表标记被试疲劳状态；提取被试脑电信号，并对所述脑电信号进行预处理，以功率谱密度作为疲劳特征；对所述疲劳特征进行识别，得到疲劳状态识别结果。实现了RSVP‑BCI作业过程中用户的疲劳状态识别，解决了现有技术中RSVP‑BCI作业过程中无法有效掌握用户在疲劳状态的问题。

Description

一种面向RSVP脑-机接口的疲劳检测方法

技术领域

本发明涉及疲劳检测技术领域，尤其涉及一种面向RSVP脑-机接口的疲劳检测方法。

背景技术

速序列视觉呈现(rapid serial visual presentation，RSVP)指在相同的空间位置序列性地高速呈现图像的过程。基于RSVP的脑-机接口(Brain-computer interface，BCI)，通过检测图像序列高速呈现过程中小概率目标刺激诱发的大脑响应，从而识别使用者所关注的目标图象。RSVP-BCI技术利用人类视觉系统的图像处理和理解能力，具有比机器视觉更加高效的信息处理能力。并且，相比于人工标记，RSVP-BCI技术具有省时、高效等优势。RSVP-BCI技术已被逐渐应用于人脸识别、医学图像分析等海量图像/信息处理领域。

基于RSVP-BCI技术的作业系统需要操作人员时刻保持相对较高的专注度，从而保证稳定的工作绩效。然而，长时程、高注意力的视觉信息处理极易引发脑力疲劳，引起中枢神经系统对视觉信息处理能力的下降，导致作业人员出现注意力不集中、反应迟缓、警觉水平和工作能力下降的状况，极大影响工作绩效，造成信息的误判、漏判，甚至操作失误引发安全隐患。

因此，急需建立一种有效的用户疲劳状态监测技术，实时掌握用户在作业过程中的疲劳状态变化。当检测到用户处于疲劳状态时，及时实施外部干预，避免用户过度疲劳，从而降低信息误判风险。面向RSVP-BCI 的疲劳检测技术可实现用户疲劳状态的有效监测，保证了作业绩效的稳定性，为长时程作业过程中的疲劳预警提供了技术支持。

发明内容

鉴于上述的分析，本发明旨在提供一种面向RSVP脑-机接口的疲劳检测方法，用以解决现有技术中RSVP-BCI作业过程中无法有效掌握用户在疲劳状态的问题。

本发明提供一种面向RSVP脑-机接口的疲劳检测方法，包括以下步骤：

以一定频率的RSVP方式呈现图像内容，当目标图像出现时，被试作出行为反应，并记录其行为学信息，期间通过评分量表标记被试疲劳状态；

提取被试者脑电信号，并对所述脑电信号进行预处理，以功率谱密度作为疲劳特征；

对所述疲劳特征进行识别，得到疲劳状态识别结果。

上述技术方案的有益效果为：通过上述方法实现了RSVP-BCI作业过程中用户疲劳状态的识别。

进一步地，提取被试脑电信号具体包括：使用脑电采集系统，以前额为地，电极Cz为参考，在一定的采样频率采集脑电初始信号；通过带通滤波器和陷波器进行带通滤波和去除工频干扰，提取得到被试脑电信号。

进一步地，对所述脑电信号进行预处理，具体包括：对所述脑电信号带通滤波到一定的频率范围，得到滤波后的脑电信号，将所述滤波后的脑电信号截取为数据片段。

上述进一步技术方案的有益效果为：通过对脑电信号进行预处理，将脑电信号截取为数据片段，便于对该脑电信号对应的功率谱密度进行分析。

进一步地，将所述滤波后的脑电信号截取为数据片段，具体包括：将所述滤波后的脑电信号截取为多个时长相同并且有一定时长重叠的数据片段。

上述进一步技术方案的有益效果为：所述数据片段时长相同便于后续的疲劳状态识别，数据片段时长的重叠，增加数据段的数据量，从而增加疲劳状态识别的正确性。

进一步地，以功率谱密度作为疲劳特征，具体包括：将所述数据片段输入自回归模型，算出自回归模型系数a_k，采用基于自回归模型的功率谱密度估计方法，计算得到功率谱密度，将其作为疲劳状态的识别特征。

进一步地，基于自回归模型的功率谱密度估计方法的估算公式为：

其中，σ²为白噪声方差，a_k为自回归模型，p模型阶数，k为阶数的取值，ω为频率，P(ω)为功率谱密度。

进一步地，对疲劳特征进行识别，得到疲劳状态识别结果，具体包括：采用支持向量机，选用线性核函数，对疲劳特征进行模式识别，得到疲劳状态识别结果。

上述进一步技术方案的有益效果为：采用支持向量机算法快速、有效的识别疲劳状态。

进一步地，以一定频率的RSVP呈现图像内容，具体包括，以一定频率依次呈现m段图像内容，其中，每段图像内容包括α组图像内容，每组图像内容包括n张图片，m≥3，α≥2，n≥100。

上述进一步技术方案的有益效果为：通过上述方法诱发被试者的不同疲劳状态。

进一步地，上述方案还包括对疲劳状态识别结果的正确率进行验证，具体包括：

基于评分量表标记的疲劳状态，通过交叉验证方法，对每种疲劳状态下每组任务的疲劳特征完成一次测试，将测试所得疲劳识别结果和实际疲劳状态做对比，得到一种识别正确率，将所有识别正确率进行平均，得到疲劳状态识别结果的正确率。

进一步地，若所述疲劳状态识别结果的正确率不符合要求，则

对所述所有数据片段的功率密度特征，在时间维度上，采用一定窗宽的滑动平均滤波方法进行平滑处理，得到平滑处理后的功率谱密度特征空间；然后基于互信息方法，在特征向量维度上，从所述功率谱密度特征空间中寻找与目标疲劳状态类别有最大相关性且相互之间具有最少冗余性的特征集，将所述特征集作为疲劳特征进行识别，得到疲劳状态识别结果。

上述进一步技术方案的有益效果为：通过上述方法实现疲劳状态识别结果正确率的提高，使得RSVP-BCI诱发疲劳状态的识别更加鲁棒。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例1所述方法的流程示意图；

图2为本发明实施例2所述RSVP图像呈现过程示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

实施例1

本发明的一个具体实施例，公开了一种面向RSVP脑-机接口的疲劳检测方法,包括以步骤：

步骤S1、以一定频率的RSVP呈现图像内容，当目标图像出现时，被试作出行为反应，并记录其行为学信息，期间通过评分量表标记被试疲劳状态；

具体的，以一定频率依次呈现m段图像内容，当目标图像出现时，被试作出行为反应；其中，每段图像内容包括α组图像内容，每组图像内容包括n张图片，m≥3，α≥2，n≥100；

通过上述方法诱发被试者的不同疲劳状态，具体的，疲劳状态包括三种，即未疲劳、中度疲劳、重度疲劳。

步骤S2、提取被试者脑电信号，并对所述脑电信号进行预处理，以功率谱密度作为疲劳特征；

具体的，使用脑电采集系统，以前额为地，电极Cz为参考，在一定的采样频率采集脑电初始信号；通过带通滤波器和陷波器进行带通滤波和去除工频干扰，提取得到被试脑电信号；

对所述脑电信号带通滤波到一定的频率范围，得到滤波后的脑电信号，将所述滤波后的脑电信号截取为数据片段；

优选的，将所述滤波后的脑电信号截取为多个时长相同并且有一定时长重叠的数据片段；

将所述数据片段输入自回归模型，算出自回归模型系数，以基于自回归模型的功率谱密度作为疲劳状态的识别特征。

所述基于自回归模型的功率谱密度有如下定义：

其中，σ²为白噪声方差，a_k为自回归模型，p模型阶数，k为阶数的取值，取值范围为0～p，ω为频率，P(ω)为功率谱密度。

需要说明的是，疲劳状态发生变化时脑电信号不同频段的频谱能量亦会发生变化，所以功率谱密度可以作为一种疲劳状态的识别特征。

步骤S3、对所述疲劳特征进行识别，得到疲劳状态识别结果；

具体的，采用支持向量机，选用线性核函数，对疲劳特征进行模式识别，得到疲劳状态识别结果。

优选地，本发明还包括对疲劳状态识别结果的正确率进行验证，以便在正确率较差时，调整识别过程，获得高正确率的识别结果。

具体的验证方式可采用，对疲劳状态识别结果进行交叉验证，即，基于评分量表标记的疲劳状态，通过交叉验证方法，对每种疲劳状态下每组任务的疲劳特征完成一次测试，将测试所得疲劳识别结果和实际疲劳状态做对比，得到一种识别正确率，将所有识别正确率进行平均，得到疲劳状态识别结果的正确率。

若所述疲劳状态识别结果的正确率不符合要求，则通过下述步骤调整，以提高识别正确率。

对所述所有数据片段的功率密度特征，在时间维度上，采用一定窗宽的滑动平均滤波方法进行平滑处理，得到平滑处理后的功率谱密度特征空间；

由于互信息用于度量两个随机变量之间共有的信息量程度，可用于评价两个变量间的相关性；

因此采用基于互信息方法，从所述功率谱密度特征空间中寻找与目标疲劳状态类别有最大相关性且相互之间具有最少冗余性的特征集，将所述特征集作为疲劳特征进行识别，得到疲劳状态识别结果。

需要说明的是，特征点与疲劳状态之间的互信息越大，就是表示相关性越大；特征点之间的互信息越小，则冗余性越小。

实施例2

本发明的另一个具体实施例，公开了一种面向RSVP脑-机接口的疲劳检测方法,包括以步骤：

步骤S1、以一定频率的RSVP呈现图像内容，当目标图像出现时，被试作出行为反应，并记录其行为学信息，通过评分量表标记被试疲劳状态；

RSVP图像呈现过程中，每张图片的呈现时间为150ms，每个session (段)包含10个block(组)，每个block含有150张图像，包括5个目标图像和145个非目标图像。RSVP图像呈现过程示意图，如图2所示。

当目标图像出现时，被试尽可能快地用右手食指按空格键，同时默记目标图像出现次数。被试按键信息会被记录。每个session所需时间在 5分钟左右。

整个实验开始之前，以及每个session结束之后，被试(被试者)均要求完成斯坦福嗜睡量表(Stanford Sleepiness Scale，SSS)，用于评估自身在实验过程中的疲劳状态，即确定被试实际的疲劳状态；依据SSS评分量表来标记用户的疲劳状态，将整个RSVP-BCI作业过程中的用户状态划分为未疲劳、中度疲劳、重度疲劳；

共采集了m个session的行为学以及脑电信号数据，直到被试疲劳为止；m取决于被试的疲劳量表评分是否达到极度疲劳的分值，m可取16；从m个session中选择6个session，每种状态2个session。

步骤S2、提取被试者脑电信号，并对所述脑电信号进行预处理，以功率谱密度作为疲劳特征。

采用NeuroScanNuAmps 32导联脑电采集系统，数据采集以电极Cz 为参考，前额接地；采样频率为250Hz，带通滤波范围为0.1-100Hz，并采用50Hz陷波器去除工频干扰；

对原始脑电信号带通滤波到0.1-50Hz，每个session的脑电信号被截取为220个2s长、1s重叠数据片段，即220个trial(试次)；

采用burg算法估计自回归模型，模型阶数为5，将所述数据片段输入自回归模型，算出自回归模型系数a_k，以基于自回归模型的功率谱密度作为疲劳状态的识别特征。所述基于自回归模型的功率谱密度有如下定义：

其中，σ²为白噪声方差，a_k为自回归模型，p模型阶数，k为阶数的取值，取值范围为0～p，ω代表频率，P(ω)为功率谱密度。

将29导联(除了水平眼电HEO和垂直眼电VEO和参考电极Cz) 的脑电信号计算功率谱密度，然后对0.5-4Hz、4-7Hz、8-13Hz、、14-20Hz、 20-30Hz、30-50Hz，6个频段内的功率谱密度求和，得到长度为6*29的特征向量。

步骤S3、对疲劳特征进行识别，得到疲劳状态识别结果；

具体的，采用支持向量机，选用线性核函数，对疲劳特征进行模式识别，得到疲劳状态识别结果。

本发明实施例还包括对疲劳状态识别结果的正确率进行验证，具体的，基于评分量表标记的疲劳状态，通过交叉验证方法，对每种疲劳状态下每组任务的疲劳特征完成一次测试，将测试所得疲劳识别结果和实际疲劳状态做对比，得到一种识别正确率，将所有识别正确率进行平均，得到疲劳状态识别结果的正确率。

如前文所述，每种疲劳状态包含2个session，共20个block，以block 为单位对疲劳状态识别结果进行十折交叉验证，即，

任意一种疲劳状态下，随机选择2个block的疲劳特征用于测试，剩余18个block的疲劳特征用于训练；整体而言，即18个block的数据用于训练，2个block的数据用于测试，得到一种疲劳状态识别结果，将所述疲劳状态识别结果和实际疲劳状态(即评分量表标记的疲劳状态)做对比，得到识别正确率结果；

将上述过程重复10次，即，对每种疲劳状态下任意2个block的脑力负荷特征完成一次测试，将上述得到的所有正确率识别结果进行平均，得到该疲劳状态识别结果的正确率其中表示第k折计算得到的正确率结果。

若所述疲劳状态识别结果的正确率不符合要求，则

对所述所有数据片段的功率密度特征，在时间维度上，采用一定窗宽的滑动平均滤波方法进行平滑处理，得到平滑处理后的功率谱密度特征空间；

然后基于互信息方法，从所述功率谱密度特征空间中寻找与目标疲劳状态类别有最大相关性且相互之间具有最少冗余性的特征集，将所述特征集作为疲劳特征进行识别，得到疲劳状态识别结果；

需要说明的是，目标疲劳状态类别包括未疲劳、中度疲劳、重度疲劳三种，从功率谱密度特征空间中寻找出与这三种疲劳状态相关性最大且特征之间冗余性最小的特征集，将最后形成的特征集作为疲劳特征进行识别。

由上述方法对被试通过对被试的脑电信号分析处理，基于功率谱特征的三种疲劳状态识别正确率达到了85.5％和84.8％。该结果表明，由 RSVP-BCI任务所诱发的脑力疲劳状态可被准确识别。

RSVP-BCI技术已被逐渐应用于人脸识别、医学图像分析等海量图像信息处理领域。长时程、高注意力的RSVP-BCI作业极易引发脑力疲劳，造成工作绩效下降。

本发明提供了一种面向RSVP-BCI的疲劳检测方法。所述发明通过长时程的RSVP-BCI作业诱发用户脑力疲劳，同步采集作业人员的脑电信号，采用合适的特征提取与模式识别方法，构建基于脑电信号的疲劳预测模型，实现作业过程中脑疲劳状态变化的准确监测，为长时程 RSVP-BCI作业过程中的疲劳预警提供了技术支持，有助于维持工作绩效的高效稳定；也为建立面向RSVP-BCI作业的脑力疲劳检测系统提供理论基础和技术支持。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种面向RSVP脑-机接口的疲劳检测方法，其特征在于，包括以下步骤：

以一定频率的RSVP方式呈现图像内容，当目标图像出现时，被试作出行为反应，并记录其行为学信息，通过评分量表标记被试疲劳状态；

提取被试脑电信号，并对所述脑电信号进行预处理，以功率谱密度作为疲劳特征；

对所述疲劳特征进行识别，得到疲劳状态识别结果。

2.根据权利要求1所述的方法，其特征在于，提取被试脑电信号具体包括：使用脑电采集系统，以前额为地，电极Cz为参考，在一定的采样频率采集脑电初始信号；通过带通滤波器和陷波器进行带通滤波和去除工频干扰，提取得到被试脑电信号。

3.根据权利要求2所述的方法，其特征在于，对所述脑电信号进行预处理，具体包括：对所述脑电信号带通滤波到一定的频率范围，得到滤波后的脑电信号，将所述滤波后的脑电信号截取为数据片段。

4.根据权利要求3所述的方法，其特征在于，将所述滤波后的脑电信号截取为数据片段，具体包括：将所述滤波后的脑电信号截取为多个时长相同并且有一定时长重叠的数据片段。

5.根据权利要求3所述的方法，其特征在于，以功率谱密度作为疲劳特征，具体包括：将所述数据片段输入自回归模型，算出自回归模型系数a_k，采用基于自回归模型的功率谱密度估计方法，计算得到功率谱密度，将其作为疲劳状态的识别特征。

6.根据权利要求5所述的方法，其特征在于，基于自回归模型的功率谱密度估计方法的估算公式为：

其中，σ²为白噪声方差，a_k为自回归模型，p模型阶数，k为阶数的取值，ω为频率，P(ω)为功率谱密度。

7.根据权利要求6所述的方法，其特征在于，对疲劳特征进行识别，得到疲劳状态识别结果，具体包括：采用支持向量机，选用线性核函数，对疲劳特征进行模式识别，得到疲劳状态识别结果。

8.根据权利要求7所述的方法，其特征在于，以一定频率的RSVP呈现图像内容，具体包括，以一定频率依次呈现m段图像内容，其中，每段图像内容包括α组图像内容，每组图像内容包括n张图片，m≥3，α≥2，n≥100。

9.根据权利要求8所述的方法，其特征在于，还包括对疲劳状态识别结果的正确率进行验证，具体包括：

基于评分量表标记的疲劳状态，通过交叉验证方法，对每种疲劳状态下每组任务的疲劳特征完成一次测试，将测试所得疲劳识别结果和实际疲劳状态做对比，得到一种识别正确率，将所有识别正确率进行平均，得到疲劳状态识别结果的正确率。

10.根据权利要求9所述的方法，其特征在于，若所述疲劳状态识别结果的正确率不符合要求，则

对所述所有数据片段的功率密度特征，在时间维度上，采用一定窗宽的滑动平均滤波方法进行平滑处理，得到平滑处理后的功率谱密度特征空间；然后基于互信息方法，在特征向量维度上，从所述功率谱密度特征空间中寻找与目标疲劳状态类别有最大相关性且相互之间具有最少冗余性的特征集，将所述特征集作为疲劳特征进行识别，得到疲劳状态识别结果。