CN108717534A - 基于功能性近红外光谱技术的操作者功能状态评估技术 - Google Patents

Abstract

本发明涉及一种基于功能性近红外光谱技术、脑电、心电的融合的操作者功能状态（operator functional state，简称OFS）评估技术。本发明不仅可以解决任务负荷、情绪状态和疲劳等因素影响下的操作者功能状态评估技术。而且还可以提供一个预测基于多生理参数的操作者功能状态变化的评估模型，以高任务绩效和适宜脑力负荷的状态为最佳OFS标准，作为自动化人机分配系统的调节依据。

Description

基于功能性近红外光谱技术的操作者功能状态评估技术

技术领域

本发明涉及认知神经生理学、生理信号处理、模式识别领域，特别涉及一种基于功能性近红外光谱技术、脑电、心电的融合的操作者功能状态(operator functional state，简称OFS)评估技术。

背景技术

关注操作者功能状态研究，并建立相应的评估方法，并以此为基础用于复杂人机系统功能分配，是改善任务过程中操作者的功能状态的重要手段。操作者功能状态是指在当前特定任务负荷和内在状态共同影响下，操作者完成当前工作任务的能力状态。操作者的任务负荷包括对操作者任务要求、环境要求等，内在状态包括多方面的因素，主要分为任务负荷、高疲劳和情绪状态等因素。

自适应辅助系统(adaptive aiding)或者自适应人机功能系统(adaptiveautomation)均将OFS监测、预测作为调整人机系统控制策略的有效依据。例如在复杂人机系统中，通过OFS评估，再来决定是否触发自动化辅助系统或者更改人机之间的功能分配，从而维持操作者适度工作负荷，以稳定适度脑力负荷、情绪状态，避免过度高疲劳，提高系统的安全性和可靠性，从实现人、任务和现代化自动系统之间的优化组合。此外，OFS评估还能用于复杂人机系统中，作为对操作者的监测手段，通过实时检测OFS，检测到OFS恶化时，通过采取干预措施以改善操作者功能状态，提高人机系统的可靠性和安全性。然而，如何及时、准确地监测并预测操作者功能状态，这仍是当前的一个难题。目前，研究者认为可通过获知操作者在执行任务过程中的生理心理状态变化，实现操作者功能状态评估。

目前市面上已有的技术方案如下：

一种基于相关性谱分析的被试个体最优电生理特征选取方法，结合其他电生理信号，作为经典的隐马尔科夫模型的输入而建立操作者功能状态分类建模。仿真结果表明隐马尔科夫模型以其优秀的时间序列信号建模能力，在操作者功能状态分类问题中有着良好的效果。

一种基于用经验模态分解方法--基于脑电生理特征的操作员功能状态估计方法。采集了单任务多级任务负荷状态下的操作员生理电信信号，对操作员脑电和心电信号的特点，进行了去干扰处理并提取了特征信号，将脑电信号按照不同的时间特征尺度从高频到低频逐渐分离成与基本节律频域相对应的本征模态分量。随后,对本征模态分量进行功率谱分析,计算出本征模态分量的频率和能量特征。最后,定量分析了这些特征与操作员功能状态之间的关系，选取出了反映变化的显著特征。找出了与操作员功能状态显著相关的特征最后采用智能建模与优化方法,建立了操作员功能状态模型。

一种基于用经验模态分解方法--基于模糊网络神经分类器的操作者功能状态评估方法。采用协同进化模糊，建模方法建立模型，实现对的评估及预测。该方法将模糊模型的主要因素,如模糊规则的前件后件、隶属函数参数编码为不同的种群，同时优化模糊模型的结构与参数，算法中种群个体适应度函数同时考虑模型的精确性和解释性，采用分量加权求和法将多目标优化转化为单目标优化。首先将该方法用于几个标准分类数据集的建模仿真，证该建模方法的通用有效性。然后针对于建模中个和指标对不同被试的敏感度不同，通过算法计一算这些指标的重要性来进行变量选择,确定模型的初始结构，再用协同进化算法对其进行结构和参数上的优化。

已有的操作者功能状态评估技术比如基于独立分量分析和支持向量机方法的操作员功能状态分类方法。结合实时采集到的人体电生理信号与任务绩效数据，建立实验平台。该方法对电生理信号应用独立分量分析方法予以分析，消除眼电伪迹干扰。在此基础上应用支持向量机方法对操作者功能状态数据进行三分类优良差问题解决。支持向量机核函数采用RBF核函数为SVM建模的核函数。并采用网格法和K-折交叉验证来优化模型参数。之后又采用相关性谱分析，寻找适合单个个体的模型输入特征参数。通过明确模型特征输入，模型结构、优化算法和模型输出建立操作者功能状态评估模型。

但是现有操作者功能状态评估技术的评估指标不够合理。任务负荷水平实际上是判断操作者当前的任务负荷级别或脑力负荷级别，不适用于OFS的定量分析特性。预测绩效指标是从绩效层次评估OFS，但忽略了内部状态的评估；而且现有操作者功能状态评估技术不适用于复杂任务，忽略了高疲劳、情绪状态等影响因素。

发明内容

本发明针对现有技术的不足，目地在于提供一种基于功能性近红外光谱技术、脑电、心电的融合的操作者功能状态评估技术，不仅能解决任务负荷、情绪状态和疲劳等因素影响下的操作者功能状态评估技术。而且还可以提供一个预测基于多生理参数的操作者功能状态变化的评估模型，以高任务绩效和适宜脑力负荷的状态为最佳OFS标准，作为自动化人机分配系统的调节依据。

为实现上述发明目的，本发明采用的技术方案为：

一种基于功能性近红外光谱技术、脑电、心电的融合的操作者功能状态(operatorfunctional state，简称OFS)评估技术，其特征在于，具体步骤如下：

(1)实验包含任务负荷、情绪状态和高疲劳状态三种影响因素，实验分为疲劳状态前期、疲劳状态积累期和疲劳状态后期三部分，志愿者在任务开始前、疲劳状态积累前、疲劳状态积累后以及任务结束时填写疲劳状态主观量表。

(2)采用功能性近红外光谱技术(fNIRS)、心电(ECG)、脉搏波(PW)以及皮肤电(GSR)等技术对OFS评估所采用的生理特征进行提取，用于反映操作者的自身内部状态变化；

(3)借助分类器模型建立生理特征和OFS之间的精确对应关系，从而实现对OFS变化精确定量分析，建立了多生理参数融合的OFS评估模型；

(4)建立了基于任务负荷、情绪、脑力高疲劳等影响因素改变的OFS评估模型验证方法，并利用任务负荷、情绪状态和脑力高疲劳等实验验证了OFS评估模型的有效性。

上述方案中，所述的实验方案设计：分为疲劳状态前期、疲劳状态积累期和疲劳状态后期三部分，其中疲劳状态积累期中志愿者需完成工作记忆任务以实现高疲劳。疲劳状态前期和疲劳状态后期两段的实验任务流程均为志愿者先随机观看视频刺激情绪，然后操作复杂任务，最后填写主观量表，依次循环。四级难度任务和三种不同情绪类型的视频刺激组合为12组任务，因此疲劳状态前期和后期志愿者均需完成12组任务，共计24组任务。

上述方案中，所述的fNIRS提取的生理特征主要是HBO信号的均值、斜率、二次项指数、近似熵，功率谱特征以及提取自多个小波系数的不同熵值。

上述方案中，所述的ECG、GSR、PW和RES敏感提取用于OFS评估的生理特征，其中ECG信号提取8个生理特征，GSR提取3个生理特征，PW提取5个生理特征。GSR提取信号幅值面积作为生理特征。PW提取呼吸率作为生理特征。

上述方案中，所述的OFS评估模型是综合操作者工作绩效指数(PER index)和脑力负荷指数(MWLIndex)所得出的OFS评估指数。

上述方案中，所述的OFS评估模型的验证：首先，观察任务负荷、情绪状态、脑力疲劳等OFS影响因素改变情况下的行为学绩效和脑力负荷水平趋势，从而分析真实OFS的变化趋势；其次，分析多种OFS影响因素下的OFS评估模型预测OFS Index的变化趋势；最后，对比真实OFS变化趋势与OFS评估模型预测OFS Index变化趋势。

本发明的有益效果在于：

本发明提供的操作者功能状态评估技术，建立了操作者在任务负荷、情绪状态和疲劳等因素影响下的评估标准，评估指标是综合绩效和脑力负荷而获得，以高任务绩效和适宜脑力负荷的状态为最佳OFS标准。同时还提供了一个预测基于多生理参数的操作者功能状态变化的评估模型，以高任务绩效和适宜脑力负荷的状态为最佳OFS标准，作为自动化人机分配系统的调节依据。

附图说明：

图1为实验方案设计；

图2为网格搜索参数寻优算法流程；

图3为遗传参数寻优算法流程框图；

图4为粒子群参数寻优算法流程框图；

具体实施方式：

为了更好的理解本发明，下面将结合实施例对本发明的实施方案作进一步详细的说明，但本发明内容不仅仅局限于下面的实施例。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

实施例一

本实施例的技术方案由三部分组成，分别是实验方案设计、数据特征提取和操作者功能状态评估模型建立与验证组成。

(一)实验方案设计

实验范式包含任务负荷、情绪状态和高疲劳状态三种影响因素。实验分为疲劳状态前期、疲劳状态积累期和疲劳状态后期三部分，其中疲劳状态积累期中志愿者需完成2小时字符2-back工作记忆任务以实现高疲劳。疲劳状态前期和疲劳状态后期两段的实验任务流程均为志愿者先随机观看视频情绪刺激30s至90s，然后操作复杂MATB任务，最后填写NASA-TLX主观量表，依次循环，流程如图1所示。四级难度的MATB任务和三种不同情绪类型的视频刺激组合为12组任务，因此疲劳状态前期和后期志愿者均需完成12组任务，共计24组任务。志愿者在任务开始前、疲劳状态积累前、疲劳状态积累后以及任务结束时填写疲劳状态主观量表。

该部分实验任务对于发明十分重要，主要提供任务负荷、情绪和疲劳影响下的操作者功能状态评估的基础生理、绩效与主观量表数据。该部分数据是建立操作者评估模型的基础。

(二)生理特征提取研究

该发明所指OFS评估所采用的生理特征提取自功能性近红外光谱技术(fNIRS)、心电(ECG)、脉搏波(PW)以及皮肤电(GSR)，用于反映操作者的自身内部状态变化。

1.fNIRS生理特征提取研究

fNIRS是采用特定波长的近红外光获取大脑内的血液动力学信号，其信号中带有大量的生理信息，目前研究中使用的生理特征主要是HBO信号的均值、斜率、二次项指数、近似熵，功率谱特征以及提取自多个小波系数的不同熵值。

均值是fNIRS数据HBO幅值变化的平均值。斜率主要来自于HBO信号的线性拟合斜率。二次项系数主要是二次项式拟合的二次项系数与一次项系数。fNIRS数据的功率谱主要提取自HBO含量变化的5个特征，分别命名为T1、T2、T3、T4和T5，其各自定义如下。T1和T2均是从未减去初值的信号功率谱特定频段幅值，T1是0.1Hz到0.7Hz的功率谱幅值，T2是0.7Hz到1.5Hz的功率谱幅值。T3和T4是减去初值的信号功率谱幅值，T3是0.1Hz到0.7Hz的功率谱，T4是0.7Hz到1.5Hz的功率谱，T5是T3和T4的比值。

熵值是信息论用来表征系统信息量的概念，用于描述随机信号复杂度特征。1948年，Shannon在《信息论》中正式提出了信息熵，并从此发展出了阈值熵、近似熵、香浓熵、能量熵、范式熵以及sure熵，是描述随机信号复杂度的典型特征。生物医学信号均属于典型的随机信号，fNIRS信号也是具有时变特点的随机信号，符合熵值的应用范围。此外，fNIRS信号是一个混沌信号，不仅含有线性成分也具有非线性成分，采用熵值作为指标能够反映fNIRS信号的非线性特性变化。因此，采用HBO成分的阈值熵、近似熵、香浓熵、能量熵、范式熵以及sure熵描述脑功能信号复杂度特征变化，计算入4-1至4-5所示。

香浓熵

能量熵

范式熵

阈值熵

Sure熵

近似熵算法：

1)、对于有限长时间序列{u(i),i＝1…N}的长度为N，按式4-6重构m维序列

X_i＝{u(i),u(i+1),…u(i+m-1)}(4-6)

2)、计算任意向量X_i与其向量X_j(j＝1,2…N-m+1,j≠i)之间的距离；

d_ij＝max|u(i+j)-u(j+k)|,k＝0,1,…m-1(4-7)

两向量之间的距离是对应元素的差值绝对值的最大取值。

3)、给定阈值r,通常r＝0.2～0.3之间，对每个向量X_i统计d_ij≤r×SD，(SD为序列标准值)的数目，并求出该数目与距离总数(N-m)的比值，记为

4)、将取对数，遍历i值而获得平均值I，表示为φ^m(r)：M增加1重复1-4步骤，求得和φ^m+1(r)

5)、由φ^m+1，φ^m求得近似熵。

每个通道的信号经过小波分解后，均可分解为13级小波系数，研究中取其中五级区间，第一区间为0.01-1.56Hz，第二区为0.01-0.78Hz，第三区间为0.01-0.4Hz，第四区间为0.78-1.56Hz，第五区间为1.56-3.12Hz区间。每通道信号和各区间分别求取香浓熵、对数熵、sure熵、范式熵以及阈值熵。因此，每通道提取自fNIRS的生理特征共计40个特征。

2.其它生理信号生理特征提取

本发明方案从ECG、GSR、PW和RES敏感提取用于OFS评估的生理特征，用于OFS评估建模输入。ECG信号提取了多项生理特征用于OFS评估模型，包括心率、R-R间期、QRS波峰、P波波峰时间、T波峰峰值、P_T间期、近似熵生理特征，共计8个生理特征。尽管在文献研究中，多项研究心率变异性是反映OFS和脑力负荷变化的有效指标，但是本实验研究的生理特征提取间期为30s，不足以计算一次心率变异性指标。GSR主要提取幅值均值、斜率以及功率谱3个生理特征。PW反映操作者的脉搏波活动，在本发明主要采用了脉搏波周期(PW-cycle)主波波谷切线交点(CT)脉搏波传导时间(PWV-Ⅰ、PWV-2Ⅱ、PWV-Ⅲ)等共5个生理特征。GSR提取信号幅值面积作为生理特征。PW提取呼吸率作为生理特征。

(三)多生理参数融合的OFS评估建模方法

研究表明多生理信号能够有效人体内部状态变化，从而用于OFS评估。然而生理信号特征与内部状态之间关系非常复杂，是一种时变多维非线性对应关系。同时，单个生理特征变化只能定性分析OFS变化，不能实现定量分析。因此，OFS评估需要借助分类器模型建立生理特征和OFS之间的精确对应关系，从而实现对OFS变化精确定量分析。

1.分类器模型

SVM是一种成熟的寻求最优分类的分类器模型。SVM为有监督学习模式，在已训练样本的情况下，自动建立训练样本与分类类别之间的复杂关系，得到分类向量集合，从而将训练样本根据不同类别区分开，也可用于测试数据来预测数据所述类别或集合，从而解决非线性平面的分类和回归问题。实际上，由于SVM具有良好的非线性映射建立能力和将高维度空间降维能力，从而被选为实现OFS评估最佳模型之一。

最简单的线性二元分类SVM分类器是通过在多维空间里寻找一组最优变量集合，该变量集被认为区分样本的最优化决策超平面。两类样本就分布于该超平面两侧，并且超平面和最近的样本点距离是最大的，从而超平面的分类空隙实现最优，以实现良好的泛化性能。

最简单的SVM采用线性判别函数作为核函数，表示为g(x)＝w^Tx+b，分类面方程表示为w^Tx+b＝0，归一化处理判别函数，使得两类不同类别样本均满足分类条件|g(x)|≥1，决策超平面附近的样本满足|g(x)|＝1。但所用的样本分类正确，样本满足y_i(ω^Tx_i+b)-1≥0,i＝1,2,...,n，满足上述条件可用于分类的样本向量被称为支持向量，同时，SVM的分类空隙距离可表示为：Margin＝2/||ω||。根据上述分析，可以得出样本的最优分类问转化为公式4-10所示核函数的约束优化问题。

通过求解4-10的方程式，从而构建能够获得最优分类结果的SVM分类器。目前，随着模式识别研究的日渐成熟，SVM的分类器的建立和使用十分方便，能够便捷地用于操作者功能状态评估建模研究。

2.模型参数优化算法

为了确定SVM模型的参数，需选用合适的模型参数优化算法，以获得最优工作性能的SVM分类器。目前，还没有一个公认统一的最好算法，只能通过合理的c(SVM惩罚因子)和g(SVM核函数参数)值选取实现较高的分类正确率。为了提取到最佳的参数用于获得较为理想的分类准确率，技术方案实现了三种方法：1、网格搜索参数寻优算法；2、遗传参数寻优算法；3、粒子群参数寻优算法。通过对比三种算法的优化结果选择合适模型优化参数。

对于SVM的参数寻优，网格搜索参数寻优算法是把训练集作为原始数据集并利用K-CV方法以一定比例遍历一定区域而获得不同组c和g下训练集验证分类的准确率，最终取使得训练集验证分类准确率最高的那组c和g作为最佳参数。流程如图2所示。

遗传算法是指起源于对生物系统所进行的计算机模拟研究，主要操作为复制、交叉、变异等，作为一种实用、高效并且鲁棒性强的优化技术，将其选为一种优化参数算法，算法流程图如图3所示。

粒子群参数优化算法是智能计算领域的一种基于群体智能的优化算法，是通过粒子在解空间追随最优的粒子求解，其基本算法流程如图4。

本发明基于SVM分类模型，在MATLAB上实现三种模型优化算法，分别是网格搜索参数寻优算法、遗传参数寻优算法和粒子群参数寻优算法。

3.OFS评估准则方案

OFS评估模型输出是一个非常值得探讨的问题，Wlison和Ting中分别提出将脑力负荷或任务绩效作为模型输出以判定OFS，然而均存在不足。因此本发明提出综合操作者工作绩效指数(PER index)和脑力负荷指数(MWL Index)所得出的OFS评估指数。

PER index代表所采用实验范式的任务绩效水平，计算方法与实验范式类型相关。MWL Index表示任务执行过程中的操作者脑力负荷水平，其值为脑力负荷模型的输出结果按照公式4-11计算得到。

其中n_i分别是n次计算结果分类到1级任务负荷、2级任务负荷、3级任务负荷与4级任务负荷的数量。p_i是根据操作者主观量表评估结果归一化计算得来的对应层级脑力负荷分配权重指数。

OFS指数组成中，PERIndex的重要性高于MWLIndex，但当PERIndex处于一定正常范围时，MWLIndex的变化十分重要。因为PERIndex代表操作者绩效水平，而绩效水平直接决定系统的安全性和能力，若PERIndex低于一定程度，则会导致严重事故或任务失败的后果。如在车辆驾驶时，驾驶员的绩效一旦处于崩溃状态，则会出现事故从造成严重后果。因此，PERIndex的重要性高于操作者的MWL Index。然而当PERIndex处于一定正常范围内，操作者的绩效是安全的。虽然MWL Index过低并不会立刻影响到操作者的绩效水平，但是若操作者长期处于高脑力负荷阶段或低脑力负荷阶段，则有可能降低PERIndex指标，导致绩效崩溃，造成严重事故。当PERIndex处于一定正常范围时，此时MWLIndex的变化十分重要。因此，OFSIndex、PERIndex与MWLIndex之间关系属于非线性关系，如公式4-12所示。

为了简化公式4-12而能实际应用，将其扩展为PERIndex为基础的分段函数式4-13和4-14。在多项研究中绩效指数低于80％是系统崩溃的临界线，因此在此研究中选取PERIndex为80％作为分段函数的分界点之一。同时，绩效越好意味着脑力负荷可能处于任务关注度更高而导致脑力负荷过高或者任务负荷过低而导致脑力负荷过低两种不适宜的状态，因此将PERIndex为90％时作为分段函数分界点之一。

OFS Index＝f(PER Index，MWL Index)(4-12)

OFS Index＝(100-|MWL Index-MWL Index_optim|)×a+PER Index×(1-a) (4-13)

在上述研究础上，需要合理的确定a在不同区间的比值和最佳MWL index。最佳MWLIndex取为的均值。根据Zhongyi以及Parasuraman的研究成果，在绩效低于80％时，系统将会出现崩溃。为了保持MATB任务的可靠，本发明在PER Index低于80％时，绩效在OFS Index中占据主要因素，故a＝0。为了确定PER Index在80％至100％时的a值，本发明采用归一化的主观量表评估OFS的评分作为基准，根据每时间分段得出OFS Index与主观量表得分的分段线性拟合，获取对应的a值。

4.脑力负荷评估方法实现

OFS评估研究开展的目的是为维持任务过程中系统的较高水平绩效和操作者的适宜的脑力负荷水平，提高系统可靠性。因此，OFS评估准则研究提出的OFS Index是以脑力负荷水平和绩效水平为基础。因此需要建立相应的脑力负荷评估模型。该脑力负荷评估模型以多生理参数的敏感脑力负荷生理特征为输入，以多级脑力负荷分类级别为输出，采用SVM分类器模型建立。

验证方法以脑力负荷评估模型的预测正确率为主要标准，即正确输出的脑力负荷级别与真实脑力负荷级别的差距。此外，通过基于SVM分类器的脑力负荷模型的DV值而得出分类决策值的变化趋势，与任务负荷、情绪、高疲劳和噪声对脑力负荷的影响规律相对比，从而验证所构建脑力负荷评估模型。

(四)OFS评估模型的验证

训练样本的OFS Index是通过生理特征的预测MWL Index和实测PER Index通过公式4-4计算获得。因此，训练样本的OFS Index是人为提出的性能指标，是不能通过比较4-4式计算的OFS Index和OFS评估模型输出OFS Index来验证OFS评估模型。实际上，真实OFSIndex是无法获得的。

为了解决OFS评估模型的验证问题。本发明建立了基于任务负荷、情绪、脑力高疲劳等影响因素改变的OFS评估模型验证方法，利用任务负荷、情绪状态和脑力高疲劳等实验验证了OFS评估模型的有效性。基本思想是：首先，观察任务负荷、情绪状态、脑力疲劳等OFS影响因素改变情况下的行为学绩效和脑力负荷水平趋势，从而分析真实OFS的变化趋势；其次，分析多种OFS影响因素下的OFS评估模型预测OFS Index的变化趋势；最后，对比真实OFS变化趋势与OFS评估模型预测OFS Index变化趋势，以验证OFS评估模型的有效性。

Claims (6)

1.一种基于多生理参数的操作者功能状态变化的评估方法，其特征在于，具体步骤如下：

（1）方案设计包含任务负荷、情绪状态和高疲劳状态三种影响因素，在任务开始前、疲劳状态积累前、疲劳状态积累后以及任务结束时填写疲劳状态主观量表；

（2）评估所采用的生理特征进行提取，用于反映操作者的自身内部状态变化；

（3）建立生理特征和操作者功能状态之间的精确对应关系，对操作者功能状态变化精确定量分析，建立了多生理参数融合的操作者功能状态评估模型。

2.根据权利要求1所述的评估方法，其特征在于，所述的方案设计分为疲劳状态前期、疲劳状态积累期和疲劳状态后期三部分，其中疲劳状态积累期中需完成工作记忆任务以实现高疲劳。

3.根据权利要求1所述的评估技术，其特征在于，所述生理特征进行提取采用fNIRS、ECG、PW以及GSR、RES等技术。

4. 根据权利要求3所述的评估方法，其特征在于， 所述的fNIRS提取的生理特征主要是HBO信号的均值、斜率、二次项指数、近似熵，功率谱特征以及提取自多个小波系数的不同熵值。

5.根据权利要求3所述的评估方法，其特征在于， 所述的ECG、GSR、PW和RES敏感提取用于操作者功能状态评估的生理特征，其中ECG信号提取8个生理特征，GSR提取3个生理特征，PW提取5个生理特征，GSR提取信号幅值面积作为生理特征，PW提取呼吸率作为生理特征。

6.根据权利要求1所述的评估方法，其特征在于， 所述的操作者功能状态评估模型是综合操作者工作绩效指数（PER index）和脑力负荷指数（MWL Index）所得出的操作者功能状态评估指数。