CN107788970B - 一种基于多生理参数方法融合的脑力负荷评估方法 - Google Patents

Abstract

本发明公开了一种基于多生理参数方法融合的脑力负荷评估方法，其包括以下步骤：S1、设计面对目标复杂任务五个特性的控制变量实验，获取上述实验的功能性生理数据，并对其进行预处理；S2、完成从所述生理数据中提取反映不同特性对脑力负荷变化的敏感生理特征；S3、对所述生理特征进行筛选以剔除所述生理特征中的干扰信息；S4、综合不同特性下的生理指标融合获得综合生理参数特征体系；S5、根据不同特性下的生理特征对该任务特性下的生理数据采用机器学习进行回归；S6、根据综合生理指标描述当前操作者的脑力负荷水平。本发明可以对操作结果进行直接评估，具有较强的实时性，而且准确度较高，可以实现对任务执行人员的状态实时监测。

Description

一种基于多生理参数方法融合的脑力负荷评估方法

技术领域

本发明涉及一种基于多生理参数方法融合的脑力负荷评估方法。

背景技术

脑力负荷检测是工效学的重要研究内容，对人机系统的安全性、可靠性具有重要影响。脑力负荷包括决策、控制、监控等任务，一方面载人航天器系统与作业任务环境的复杂化造成航天员要处理的信息量剧增，占用的认知资源高，航天员往往处于较高脑力负荷水平，从而诱发快速疲劳、感知能力下降、人误增加和消极情绪，导致决策失误和绩效下降。另一方面，监控等任务会出现航天员不在环路中现象、注意力下降，而忽略风险因素造成失误。因此，脑力负荷状态与航天员的作业绩效与操作安全密切相关，直接与航天器安全密切相关，凸显了航天员脑力负荷检测的必要性。

1977年，北大西洋公约组织人因特别委员会组织召开的“脑力负荷的理论与测量”(Mental workload:its theory and measurement)专题会议上普遍接受的观点认为脑力负荷是一个多维概念，它涉及任务需求(task demand)、时间压力(time pressure)、操作者能力(operator’s capacity)和努力程度(effort)、行为表现(performance)和其它众多因素。一般认为脑力负荷是人在作业过程中所付出的努力程度和任务对人的生理和心理需求等因素共同作用的结果。因此、可以认为脑力负荷是人在特定任务负荷下单位时间内的大脑认知、资源占用率，并不是一个人的固有特性，会受到工作负荷、努力程度、个人技能策略、情绪状态等影响。然而受制于人体状态的时变性、个体技能熟练度以及自身节律特性等因素，目前脑力负荷检测技术只实现了针对特定任务与个体的脑力负荷检测模型，并不能满足长时间脑力负荷检测的需求，跨时间脑力负荷检测成为了一个研究难点。

目前已有的技术方案如下：

一、基于多生理参数PCA融合的脑力负荷测量方法,包括如下步骤：测量心率变异性HRV、瞳孔直径、皮肤电阻SR三个生理参数,利用PCA技术得出三个参数的权重系数,根据参数融合计算公式计算脑力负荷的参数融合分值MWS,MWS是mental workload score的缩写,MWS等于各参数与其权重之积的和,并将MWS作为脑力负荷的测量指标。

二、基于脑电检测的矿工脑力负荷评价方法，对矿工进行持续性操作测试，将N-back任务分为两个部分：记忆部分与判断部分，记忆部分放置于CPT任务之前，判断部分放在CPT任务之后，N-back任务整体此时作为增加脑力负荷的干扰变量作用于被测试的矿工。从Neurone 64导系统采集的数据中选取58通道脑电数据，来分析脑力负荷下矿工的脑电特征。将采集到的脑电数据通过遗传算法进行滤波。利用滤波后的脑电数据对其脑力负荷进行分析。本发明通过控制煤矿工人的脑力负荷，减轻工人的工作中的压力，从而降低工人的行为失误，减少和杜绝矿工的不安全行为，预防煤矿企业事故的发生，降低人因事故率，

三、基于前额脑电信号的脑力负荷在线检测方法，所述方法包括以下步骤：采用银/氯化银电极作为传感器采集前额脑电信号；采用脑电放大器对前额脑电信号进行放大、滤波处理，随后进行数据预处理，获取到处理后前额脑电信号；编写刺激任务为n-back；从处理后前额脑电信号中提取小波多尺度熵特征；通过支持向量机对小波多尺度熵特征进行模式识别，得到的结果即为该数据的脑力负荷等级以及识别正确率。该项发明的实验过程在前额上进行，避免了使用前后洗头的必要，方便操作的同时，也避免了头发及头皮对信号采集的影响。该项发明可有效地提高脑力负荷检测系统准确性和简便性。

已有的脑力负荷检测技术如N-back诱发的脑力负荷信息检测与识别技术。该技术设计了基于语言与空间刺激的Verbal n-back与Spatial n-back两种任务。脑力负荷等级设定为4级，分别为0-back、1-back、2-back、3-back四级。实际应用中技术采集健康人完成任务的32导脑电数据，并首先完成脑电信号预处理、降采样、带通滤波和眼电干扰去除后，获取消除干扰的脑电数据。为了有效提取不同任务与负荷等级中的特征信息，该现有技术分别从频域、时频域及非线性三个方面，采用AR模型、事件相关同步/去同步时频图(ERD/ERS)、样本熵、小波多尺度熵等多种特征提取算法提取脑力负荷敏感生理特征。随后采用支持向量机、递归特征筛选对上述各任务的脑电特征进行模式识别建模。获得脑力负荷分类模型后对获得脑电数据进行分类，划分不同的脑力负荷等级。技术性能实验结果表明，不同的任务类型及脑力负荷等级间在AR功率谱值及ERD/ERS时频图中均存在明显的差异性，并且在AR功率谱、样本熵、小波多尺度熵及三特征联合参数四种特征模式识别中，AR功率谱与三特征联合参数的平均分类正确率最高，可达98％以上。

当操作者的目标任务从标准任务向复杂模拟任务变化时，生理参数的响应情况也发生了变化，已无法直接用标准任务时的方法评估模拟任务的脑力负荷。一方面由于任务不再单一，复杂任务的不同特征对生理信号的影响未知，另一方面参与复杂任务的大脑皮层脑区响应情况也未知，并且与任务类型密切相关。因此将复杂任务的任务特征进行分解，细致进行不同任务特征对各生理信号情况的影响研究，成为了研究复杂任务首要解决的问题，因此本发明应用基于任务特性分解的思路提出一种基于任务特性分解的脑力负荷评估方法。

从生理参数方法的类型角度，任务诱发的脑力负荷响应会导致多层生理信号的变化：中枢神经系统、外周神经系统以及血液动力学特征。例如外周神经系统的心电、EOG、GSR、PPG、RSP，中央神经系统的EEG，以及血液动力学fMRI和fNIRS等生理参数方法。单一的测量方法不能够较为全面的反映脑力负荷变化特性，多生理融合的方法才能从多个层次解决脑力负荷测量问题。因此本发明的另一个目的是提出一种基于多生理参数方法融合的脑力负荷评估方法，采用心电、GSR、PPG、RSP，中枢神经系统的EEG，和fNIRS等多生理参数方法融合的策略解决单一测量脑力负荷测量问题。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于多生理参数方法融合的脑力负荷评估方法。

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明提供一种基于多生理参数方法融合的脑力负荷评估方法，其包括以下步骤：

S1、设计面对目标复杂任务的复杂度、时间压力、控制决策、操作输出以及情绪影响五个特性的控制变量实验，获取上述实验的功能性近红外光谱、心电与脉搏波的生理数据，并对所述生理数据进行预处理；

S2、处理受试者的主观量表数据、绩效数据，完成从所述生理数据中提取反映不同特性对脑力负荷变化的敏感生理特征；

S3、对所述生理特征进行筛选以剔除所述生理特征中的干扰信息；

S4、综合复杂度、时间压力、控制决策、操作输出以及情绪不同特性下的生理指标融合获得综合生理参数特征体系；

S5、根据不同特性下的生理特征对该任务特性下的生理数据采用机器学习进行回归，获得该特性下的脑力负荷评估指数；

S6、根据综合生理指标，采用下机器学习的分类器对多种特性变化下特征进行回归，以根据回归结果得出一个脑力负荷指数，并与单一特性变化下的脑力负荷评估指数进行比对予以修正，描述当前操作者的脑力负荷水平。

进一步地，控制变量实验的设计方法为：对于任意复杂任务均可将其分解为任务复杂度、时间压力、控制决策、操作输出以及情绪共计五方面特征；设计不同任务特性变化的控制变量实验组需在当前复杂任务设计一个标准任务；复杂度定义方法为通过任务难度，通过子任务数量、子任务难度以及任务出现频次予以调节；复杂度变化的控制变量实验组按标准任务难度的125％、150％与200％要求设计三个难度的复杂任务；时间压力变化的控制变量实验组的定义方法为测算操作者完成标准任务的平均时间，根据测算的平均时间规定50％平均时间、75％平均时间与90％平均时间作为完成标准任务的应用时间；决策控制变化的控制变量实验组为观看操作者完成标准任务难度的125％、150％与200％要求设计三个难度复杂任务的录像，要求操作者根据当前任务状态判断任务操作与输出；控制输出变化的控制变量实验组设计要求提供标准任务难度的125％、150％与200％的三个难度复杂任务具体操作步骤清单，要求操作者按照具体操作步骤完成任务，而无需考虑任务当前状态，不涉及决策控制；情绪变化的控制变量实验组要求在标准任务时提供负性情绪刺激和积极情绪刺激；情绪刺激方式是在任务操作开始前，提供视频或图片刺激5至10分钟；情绪刺激完成后完成标准任务。

进一步地，功能性近红外光谱技术覆盖人脑的10通道前额，左右运动控制区域10通道以及10通道视觉区域的血氧变化信息。

进一步地，生理信号预处理包括功能性近红外光谱技术、心电、脉搏波的生理数据处理；其中功能性近红外光谱技术采用相关性分析法与带通滤波方法消除运动伪迹与生理干扰。心电与脉搏波数据预处理采用低通滤波器与线性拟合方法去除生理干扰。

进一步地，生理特征的原始特征集合分别提取自功能性近红外光谱技术、心电与脉搏波生理数据；其中目前研究中使用的生理特征是HBO信号的均值、斜率、二次项指数、近似熵，功率谱特征以及提取自多个小波系数的不同熵值。。

本发明所达到的有益效果是：

本发明可以对操作结果进行直接评估，具有较强的实时性，而且准确度较高，可以实现对任务执行人员的状态实时监测，并且预测未来行为趋势，可提高工业部门，如驾驶，电厂操作人员等作业效率和工作可靠性，提高工业系统的安全性，避免不必要的经济损失和政治影响。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的流程结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实际生活中的复杂任务由于涉及认知、操作、控制、决策、处理、记忆以及时间压力等多方面的脑力活动，因此需要不同任务特性来分析不同因素诱发的脑力负荷变化情况。

如图1所示，一种基于功能性近红外光谱、心电与脉搏波的多生理特征的脑力负荷评估方法，包括以下步骤：设计面对目标复杂任务的复杂度、时间压力、控制决策、操作输出以及情绪影响五个特性的控制变量实验，获取上述实验的功能性近红外光谱、心电与脉搏波的生理数据，并对所述生理数据进行预处理；处理受试者的主观量表数据(TLX量表)、绩效数据(与任务类型相关)，完成从所述生理数据中提取反映不同特性对脑力负荷变化的敏感生理特征；对所述生理特征进行筛选以剔除所述生理特征中的干扰信息；综合复杂度、时间压力、控制决策、操作输出以及情绪不同特性下的生理指标融合获得综合生理参数特征体系；根据不同特性下(如复杂度)的生理特征对该任务特性下的生理数据采用机器学习(支持向量机)进行回归，获得该特性下的脑力负荷评估指数；根据综合生理指标，采用下机器学习的分类器对多种特性变化下特征进行回归，以根据回归结果得出一个脑力负荷指数，并与单一特性变化下的脑力负荷评估指数进行比对予以修正，描述当前操作者的脑力负荷水平。

本发明首先针对复杂任务进行任务特性分析，分解任务特征，然后根据不同任务特征与全脑区功能性近红外光谱测量的血氧情况变化关联规律，分析不同任务特性对脑力负荷的诱发特性区别。复杂操作任务可以分解为任务复杂度、时间压力、控制决策、操作输出以及情绪共计五方面特征。分析某一特征与全脑功能性近红外血氧情况与外周生理信号的对应关系，选取其它任务特征变量为恒定条件组，通过这种控制变量方法进行分析。可以分别得出了复杂任务五种任务特征对生理特征的变化规律。

控制变量实验的设计方法：对于任意复杂任务均可将其分解为任务复杂度、时间压力、控制决策、操作输出以及情绪共计五方面特征。设计不同任务特性变化的控制变量实验组需在当前复杂任务设计一个标准任务。复杂度定义方法为通过任务难度，通过子任务数量、子任务难度以及任务出现频次予以调节。复杂度变化的控制变量实验组按标准任务难度的125％、150％与200％要求设计三个难度的复杂任务。时间压力变化的控制变量实验组的定义方法为测算操作者完成标准任务的平均时间，根据测算的平均时间规定50％平均时间、75％平均时间与90％平均时间作为完成标准任务的应用时间。决策控制变化的控制变量实验组为观看操作者完成标准任务难度的125％、150％与200％要求设计三个难度复杂任务的录像，要求操作者根据当前任务状态判断任务操作与输出。控制输出变化的控制变量实验组设计要求提供标准任务难度的125％、150％与200％的三个难度复杂任务具体操作步骤清单，要求操作者按照具体操作步骤完成任务，而无需考虑任务当前状态，不涉及决策控制。情绪变化的控制变量实验组要求在标准任务时提供负性情绪刺激和积极情绪刺激。情绪刺激方式是在任务操作开始前，提供视频或图片刺激5至10分钟。情绪刺激完成后完成标准任务。

本实施例中用了功能性近红外光谱技术、心电与脉搏波数据。其中功能性近红外光谱技术覆盖人脑的10通道前额，左右运动控制区域10通道以及10通道视觉区域的血氧变化信息。其中左右运动区域分别位于头脑的两侧，成对称分布。心电数据采集位置采用医学标准方法，脉搏波通过光电传感器采集耳垂处脉搏信息。

生理信号预处理包括功能性近红外光谱技术、心电、脉搏波的生理数据处理。其中功能性近红外光谱技术采用相关性分析法与带通滤波方法消除运动伪迹与生理干扰。心电与脉搏波数据预处理采用低通滤波器与线性拟合方法去除生理干扰。

生理特征的原始特征集合分别提取自功能性近红外光谱技术、心电与脉搏波生理数据。其中目前研究中使用的生理特征主要是HBO信号的均值、斜率、二次项指数、近似熵，功率谱特征以及提取自多个小波系数的不同熵值。均值是fNIRS数据HBO幅值变化的平均值。斜率主要来自于HBO信号的线性拟合斜率。二次项系数主要是二次项式拟合的二次项系数与一次项系数。fNIRS数据的功率谱主要提取自功能性近红外光谱技术采集的血氧含量变化的5个特征，分别命名为T1、T2、T3、T4和T5，其各自定义如下。T1和T2均是从未减去初值的信号功率谱特定频段幅值，T1是0.1Hz到0.7Hz的功率谱幅值，T2是0.7Hz到1.5Hz的功率谱幅值。T3和T4是减去初值的信号功率谱幅值，T3是0.1Hz到0.7Hz的功率谱，T4是0.7Hz到1.5Hz的功率谱，T5是T3和T4的比值。

熵值是信息论用来表征系统信息量的概念，用于描述随机信号复杂度特征。1948年，Shannon在《信息论》中正式提出了信息熵，并从此发展出了阈值熵、近似熵、香浓熵、能量熵、范式熵以及sure熵，是描述随机信号复杂度的典型特征。生物医学信号均属于典型的随机信号，S信号也是具有时变特点的随机信号，符合熵值的应用范围。此外，功能性近红外光谱技术信号是一个混沌信号，不仅含有线性成分也具有非线性成分，采用熵值作为指标能够反映功能性近红外光谱技术信号的非线性特性变化。因此，采用HBO成分的阈值熵、近似熵、香浓熵、能量熵、范式熵以及sure熵描述脑功能信号复杂度特征变化，计算入4-1至4-5所示。

香浓熵

能量熵

范式熵

阈值熵

Sure熵

近似熵算法：

1、对于有限长时间序列{u(i),i＝1…N}的长度为N，按式4-6重构m维序列

X_i＝{u(i),u(i+1),…u(i+m-1)}(4-6)

2、计算任意向量X_i与其向量X_j(j＝1,2…N-m+1,j≠i)之间的距离；

d_ij＝max|u(i+j)-u(j+k)|,k＝0,1,…m-1 (4-7)

两向量之间的距离是对应元素的差值绝对值的最大取值。

3、给定阈值r,通常r＝0.2～0.3之间，对每个向量X_i统计d_ij≤r×SD，(SD为序列标准值)的数目，并求出该数目与距离总数(N-m)的比值，记为

4、将

取对数，遍历i值而获得平均值I，表示为φ^m(r)：M增加1重复1-4步骤，求得

和φ^m+1(r)

5、由φ^m+1，φ^m求得近似熵。

每个通道的信号经过小波分解后，均可分解为13级小波系数，研究中取其中五级区间，第一区间为0.01-1.56Hz，第二区为0.01-0.78Hz，第三区间为0.01-0.4Hz，第四区间为0.78-1.56Hz，第五区间为1.56-3.12Hz区间。每通道信号和各区间分别求取香浓熵、对数熵、sure熵、范式熵以及阈值熵。因此，每通道提取自功能性近红外光谱技术的生理特征共计40个特征。

本发明从心电、脉搏波提取的生理特征，心电信号提取了多项生理特征，包括心率、R-R间期、QRS波峰、P波波峰时间、T波峰峰值、P_T间期、近似熵生理特征，共计8个生理特征。脉搏波反映操作者的脉搏波活动，在本研究主要采用了脉搏波周期(脉搏波-cycle)主波波谷切线交点(CT)脉搏波传导时间(脉搏波V-Ⅰ、脉搏波V-2Ⅱ、脉搏波V-Ⅲ)等共5个生理特征。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于多生理参数方法融合的脑力负荷评估方法，其特征在于，包括以下步骤：

S1、设计面对目标复杂任务的复杂度、时间压力、控制决策、操作输出以及情绪影响五个特性的控制变量实验，获取上述实验的功能性近红外光谱、心电与脉搏波的生理数据，并对所述生理数据进行预处理；

S2、处理受试者的主观量表数据、绩效数据，完成从所述生理数据中提取反映不同特性对脑力负荷变化的敏感生理特征；

S3、对所述生理特征进行筛选以剔除所述生理特征中的干扰信息；

S4、综合复杂度、时间压力、控制决策、操作输出以及情绪不同特性下的生理指标融合获得综合生理参数特征体系；

S5、根据不同特性下的生理特征对该任务特性下的生理数据采用机器学习进行回归，获得该特性下的脑力负荷评估指数；

S6、根据综合生理指标，采用下机器学习的分类器对多种特性变化下特征进行回归，以根据回归结果得出一个脑力负荷指数，并与单一特性变化下的脑力负荷评估指数进行比对予以修正，描述当前操作者的脑力负荷水平；

所述控制变量实验的设计方法为：对于任意复杂任务均可将其分解为任务复杂度、时间压力、控制决策、操作输出以及情绪共计五方面特征；设计不同任务特性变化的控制变量实验组需在当前复杂任务设计一个标准任务；复杂度定义方法为通过任务难度，通过子任务数量、子任务难度以及任务出现频次予以调节；复杂度变化的控制变量实验组按标准任务难度的125％、150％与200％要求设计三个难度的复杂任务；时间压力变化的控制变量实验组的定义方法为测算操作者完成标准任务的平均时间，根据测算的平均时间规定50％平均时间、75％平均时间与90％平均时间作为完成标准任务的应用时间；决策控制变化的控制变量实验组为观看操作者完成标准任务难度的125％、150％与200％要求设计三个难度复杂任务的录像，要求操作者根据当前任务状态判断任务操作与输出；控制输出变化的控制变量实验组设计要求提供标准任务难度的125％、150％与200％的三个难度复杂任务具体操作步骤清单，要求操作者按照具体操作步骤完成任务，而无需考虑任务当前状态，不涉及决策控制；情绪变化的控制变量实验组要求在标准任务时提供负性情绪刺激和积极情绪刺激；情绪刺激方式是在任务操作开始前，提供视频或图片刺激5至10分钟；情绪刺激完成后完成标准任务。

2.根据权利要求1所述的一种基于多生理参数方法融合的脑力负荷评估方法，其特征在于，功能性近红外光谱技术覆盖人脑的10通道前额，左右运动控制区域10通道以及10通道视觉区域的血氧变化信息。

3.根据权利要求1所述的一种基于多生理参数方法融合的脑力负荷评估方法，其特征在于，生理信号预处理包括功能性近红外光谱技术、心电、脉搏波的生理数据处理；其中功能性近红外光谱技术采用相关性分析法与带通滤波方法消除运动伪迹与生理干扰，心电与脉搏波数据预处理采用低通滤波器与线性拟合方法去除生理干扰。

4.根据权利要求1所述的一种基于多生理参数方法融合的脑力负荷评估方法，其特征在于，生理特征的原始特征集合分别提取自功能性近红外光谱技术、心电与脉搏波生理数据；其中目前研究中使用的生理特征是HBO信号的均值、斜率、二次项指数、近似熵，功率谱特征以及提取自多个小波系数的不同熵值。

Images