CN112545460A - 基于视-听双任务的脑力负荷检测方法 - Google Patents

Abstract

本发明为基于视‑听双任务的脑力负荷检测方法，该方法包括以下内容：获取被试在单独视觉诱发事件相关电位任务下的基础脑力负荷值F_b，并获得在单独视觉诱发事件相关电位任务下所采集的被试的脑电信号，记录被试在单独视觉诱发事件相关电位任务下的所有通道的平均P300幅值U_b；针对同一个被试，同时给予视觉诱发事件相关电位任务和听力任务，实时采集被试的所有通道平均P300幅值Un；则被试的脑力负荷值L按照下式获得：L＝F_b+F_b×(|(Un‑U_b)|÷U_b)×100％，实现视‑听双任务下脑力负荷的实时检测。通过结合脑力负荷评价量表NASA‑TLX量表和枕部等区域事件相关电位生理参数多维度地来确定被试的脑力负荷，减少了主观因素的影响，提高检测的精度。

Description

基于视-听双任务的脑力负荷检测方法

技术领域

本发明属于生物医学工程中的神经工程领域，涉及到脑-机接口方向，特别涉及在视觉、听觉双重任务下的脑力负荷检测方法。

背景技术

脑力负荷表征工作状态下脑力资源占用率，是影响作业绩效的重要因素，较高的脑力负荷都会使作业绩效下降，甚至造成人因失误、引发严重事故。在载人航天、飞机驾驶以及脑-机接口等安全性要求高的方面，较高的脑力负荷会产生严重的后果。脑电可敏感体现大脑对脑力负荷的初始神经电生理响应，也是目前识别脑力负荷水平的重要手段之一。基于脑电的脑力负荷识别能够用于复杂人机系统中实时监测脑力负荷水平变化、优化人机关系并构建可自适应调控脑力负荷的实时人机交互系统，并取得较好作业绩效。

现有的检测方法中主要使用各种量表，如Hart S(NASA-task load index(NASA-TLX)；20years later[C]:Proceedings of the human factors and ergonomics societyannual meeting,2006.Sage Publications Sage CA:Los Angeles,CA:904-908)开发的NASA-TLX量表进行脑力负荷的检测，由于单纯使用量表法存在主观差异，因此使用主观测评法主观性较强、个体差异大，需要对任务后进行评价，敏感性存在一定特异性等特点，容易被受试者心理影响。因此需要设计更客观更多角度的针对脑-机接口的脑力负荷检测方法。

发明内容

本发明的目的在于对检测者的脑力负荷进行测量，提供一种基于视-听双任务的脑力负荷检测方法。通过结合脑力负荷评价量表NASA-TLX量表和枕部等区域事件相关电位生理参数多维度地来确定被试的脑力负荷，减少了主观因素的影响，提高检测的精度。

为达到上述目的，本发明采用了以下技术方案：

一种基于视-听双任务的脑力负荷检测方法，其特征在于，该方法包括以下内容：

获取被试在单独视觉诱发事件相关电位任务下的基础脑力负荷值F_b，并获得在单独视觉诱发事件相关电位任务下所采集的被试的脑电信号，记录被试在单独视觉诱发事件相关电位任务下的所有通道平均P300幅值U_b；

针对同一个被试，同时给予视觉诱发事件相关电位任务和听力任务，实时采集被试的所有通道平均P300幅值Un；

则被试的脑力负荷值L按照下式获得：

L＝F_b+F_b×(|(Un-U_b)|÷U_b)×100％，

实现视-听双任务下脑力负荷的实时检测。

与现有技术相比，本发明具有如下有益的技术效果：

本发明基于脑-机接口性能对脑力负荷较为敏感这一特点原理，通过视觉、听觉双神经通路诱发脑力负荷，并采用主观量表法和生理参数法二者结合，获得了测试者疲劳量表值和相应脑区事件相关电位值，以单任务为校准，在双任务下，将事件相关电位幅值的变化来得到测试者脑力负荷的变化，实现了脑力负荷检测的目的。

本发明基于视觉诱发事件相关电位的刺激主任务与语速听力任务的多任务设计，其中语速变化的听力任务简单易附加以及将主观量表值和事件相关电位幅值结合表达受试者的脑力负荷。视觉诱发界面是通过脑-机接口实际控制的机械臂图片构成，并带有提示功能，图片含义丰富度高能诱发出幅值较高的事件相关电位。听力任务是通过控制语速来控制难度，并将主观量表值和事件相关电位幅值结合做判断。具体是：

1)可从人机系统和任务设计上更好地理解和设计人机协同作业过程、优化机器任务和系统的人性化设计，对使用者的脑力资源进行评估，例如脑-机接口系统在实际应用前需要进行脑力负荷评估；

2)对使用者的疲劳状态的检测，实现基于脑力负荷实时反馈调节，避免出现过高或过低的脑力负荷，实现最佳的人机任务分配和人机协作过程，达到提高人机系统作业绩效和安全性、改善操作人员的主观体验目的。

3)将主观量表法和生理参数法通过脑-机接口这一检测工具很好的进行了融合，本申请中将两种参数一同做参考，将两种参数以一种函数关系合而为一作为脑力资源使用量的参考。以受试者的基准视觉任务得到的量表值作为使用脑-机接口的基本脑力负荷值。主观数据从一定角度上来说跟客观生理数据应该变化统一一致，这样更加客观。而主观量表所得到的值和脑电数据幅值进行结合比较，主观量表得到的值高对应脑电数据事件相关电位幅值低，实验中量表值与电位幅值变化比例对应，使得最终得到的脑力负荷结果更具有客观性，无需在除视觉任务外额外使用脑力资源时还进行量表的填写，降低主观评价带来的差异影响。采集到的实验数据能作为主客观指标对脑-机接口用户的脑力负荷进行测量和评估。本专利将能引起脑力负荷变化的人类谈话这种听觉任务加入其中，尤其是设计调节听力故事的语速来引起脑力负荷的变化，听力故事容易获取，并且语速的调整具有极强的可操作性，因此本专利具有较强的实用性和广泛性。同时本专利也为脑-机接口走向现实的嘈杂环境提供了实验借鉴。

4)本发明针对视觉脑-机接口方面的脑力负荷多任务检测，脑-机接口任务为主任务，设计了一种易诱发事件相关电位的视觉刺激主任务以及简单易得的语速变化听力辅任务双任务来诱发脑力负荷，这为基于视觉的脑-机接口脑力负荷检测提供一种方法，并将主观量表与客观事件相关电位幅值结合判定受试者的脑力负荷值，或者检测受试者脑力资源总量。

附图说明

图1是事件相关电位的诱发界面；

图2是视觉诱发界面的遮挡图片；

图3是NASA-TLX量表示意图；

图4是本发明中双任务施加过程示意图；

图5是实验实施示意图；

图6是被试的主观量表值结果示意图；

图7是被试事件相关电位变化示意图。

具体实施方式

下面结合附图对本发明方法进行详细描述说明。

本发明基于视-听双任务的脑力负荷检测方法的步骤是：

1)基于测试者选取合适的64导电极帽、脑电采集仪和信号放大器、计算机、去噪耳机；

2)将64导电极帽佩戴在测试者头部，连接脑电采集仪来采集测试者的脑电信号。脑电采集仪一端连接的64导电极帽，另一端连接信号放大器。信号放大器一端连接脑电采集仪，另一端连接计算机。计算机数据传输接口连接信号放大器，计算机屏幕用来播放视觉诱发界面来诱发被试的事件相关电位。并调整测试者与计算机至合理位置，搭建脑电诱发及采集系统如附图5；视觉诱发界面的刺激图片为含义丰富的脑-机接口实际控制的机械臂作为刺激图片，并带有提示功能。也可以采用其他能够起到视觉诱发事件相关电位功能的刺激图片，如机器人、机器人拓扑图片，P300-speller。佩戴耳机用于接收听力任务，选择一般去噪耳机即可。

3)采集脑电时，测试者需要完成两种任务实验，包含视觉诱发事件相关电位任务和慢语速以及正常语速听力任务两种，实验后采用NASA-TLX量表做主观报告。本发明在对脑力负荷进行检测时有主观的基准检测和客观检测两个方面，主观基准检测是在被试完成实验后使用NASA-TLX量表打分并加权计算脑力负荷值；客观检测是通过被试的事件相关电位幅值变化来确定使用者的脑力负荷大小，用以提高客观准确率，消除被试额外的测验后主观评价差异。

4)具体实验过程是：将仅有视觉主任务下的脑力负荷值(该脑力负荷值与主观量表得出的脑力负荷值对等)作为基准，记为基础脑力负荷值F_b。事件相关电位包含P300，通过此种电位来进行比较得出负荷客观变化。结合主观量表可以发现，主观量表值低，对应脑电通道的事件相关电位幅值高。结合是指主观量表值和事件相关电位幅值一同参考，将不同语速听力辅任务下相对幅值变化转化为对应主观量表变化，将基于仅有视觉主任务下的基础脑力负荷值加上幅值比例变化脑力负荷值作为当前脑力负荷值，将两种值结合为一体作为脑力负荷参考。单一幅值并不是负荷变化。通过主观量表法和生理参数法，获得测试者疲劳量表值以及事件相关电位的幅值，从而得到测试者脑力负荷的变化。

基于视觉任务采取以信息丰富的机械臂为刺激图片的欧德堡范式下的脑-机接口任务，听觉任务采取日常生活中常见的声音进行特定词语的默记任务；首先单独进行视觉任务，获得单独视觉诱发事件相关电位任务下的基础脑力负荷值F_b，并获得在单独视觉诱发事件相关电位任务下所采集的被试的脑电信号；然后，将视觉诱发事件相关电位任务和听觉任务一同进行，实时采集被试的所有通道平均P300幅值Un；最后根据主观量表所得到的基础脑力负荷值和脑电数据幅值变化率进行结合，进而得到测试者在部分脑力资源被占用情况下的剩余脑资源，从而预估当前的负荷状态，判定测试者的脑力负荷的耐受能力与脑力资源容量。

实施例

1)首先，检测需要在安静的实验室内进行，被试精神状态良好、头发干净，在检测时应尽量避免眨眼。实验室为正常日光环境，检测开始后被试者坐在显示器前方70厘米的座位上，集中注意力并佩戴Neuroscan公司的电极帽如附图5，通过Neuroscan Synamps2系统采集被试36个通道的脑电信号，设置采样率为1000Hz。电极帽电极分布符合10-20国际标准，参考电极置于双耳乳突处，接地电极GND位于FZ与FPZ之间。

2)视觉诱发任务为观看视觉诱发界面，视觉诱发界面由一个3行4列12张不同状态的机械臂图片构成如附图1。图1为事件相关电位刺激界面，该图是由12张不同状态下机械臂组成，通过闪烁刺激诱发受试者出现事件相关电位。使用中心为白色圆形、背景为黑色的遮挡图片如附图2。偏差刺激为被试注视的目标图片，标准刺激为其余11张图片。在事件相关电位诱发界面，闪烁刺激12张图片以每张150毫秒的呈现时间以及75毫秒的遮挡时间随机闪烁一遍，定义12张图片全部闪烁一遍为一个“重复”，两个重复间隔为1000毫秒；定义10个重复为一个“重复组”，两个重复组间隔为3000毫秒，定义12个重复组为一组视觉诱发事件相关电位实验。视觉诱发任务为测试者注视第一行第一列图片依次注视到第三行第四列图片结束，每张图片注视一个重复组，通过此种视觉界面刺激，受试者完成简单的注视来诱发事件相关电位。

3)听力内容为两种不同语速的有声故事“大江大河”节选，两组音频材料经过消去白噪音等干扰，被试需要头戴消噪耳机。听力任务需要被试在开始播放音频后，数出故事中“的”的个数。其中以无听力下诱发的事件相关电位为脑力负荷低负荷(LD)，以0.5倍语速为中等负荷(MD)，1倍语速为高等负荷(HD)。

4)本检测采用欧德保范式的视觉界面来诱发事件相关电位。每一位被试需要完成3组实验，第1组为无听力任务的视觉诱发事件相关电位实验；第2组需要被试在重复第1组实验的基础上同时进行0.5倍速听力任务；第3组需要被试在重复第1组实验的基础上同时进行1倍速听力任务。实验开始后，被试按顺序注视视觉诱发界面的第1张图片，每一个重复组第1张图片随机，在依次注视12张图片完成12组重复组，即一组实验。第2组实验开始后，受试者观看视觉诱发界面的同时听取音频材料，在视觉诱发事件相关电位任务结束的同时结束听觉任务。一组实验时间为8分钟，被试在每组实验结束后休息2分钟，实验流程如附图4。

5)被试在完成每组实验后都进行NASA-TLX量表的检测，通过计算量表得分来确定被试主观脑力负荷值，以与本申请检测方法测得的结果进行比对。NASA-TLX量表是一个多维脑力负荷评价量表，涉及到六个负荷因素，即脑力需求、体力需求、时间需求、努力程度、受挫程度和业绩水平，六个负荷因素也就是六个维度，每一个维度均由一条10等分的直线表示，每等分为10的分值，每一个维度总分为100分。被试使用NASA-TLX量表对六个负荷因素进行打分，接着对六个负荷因素进行两两对比，总共需要对比15次，选出被试认为对任务影响更大的负荷因素，量表法确定的脑力负荷值F(被试疲劳值)的计算公式为：

其中，Mi是第i个维度的得分，Ni为统计对比结果得到每个负荷因素比其他负荷因素在主观上影响更大的个数。

6)最后对采集到的受试者的脑电数据进行分析处理(脑电数据指所采集通道的脑电幅值数据，如图7中为6个大脑区域通道，图中的字母FCZ、PZ、FZ、O1、OZ、O2是对应的大脑区域通道，给出了不同大脑区域通道在不同难度听力任务情况下的幅值变化情况)，对被试所有大脑区域通道数据叠加平均得到的3种难度听力任务情况下事件相关电位幅值的对比进行分析。被试的事件相关电位幅值高说明视觉刺激占用的脑力资源高，从而判断出脑-机接口使用者的脑力负荷低。

表8是被试的脑力负荷值(脑力资源使用量)与事件相关电位变化结果，表8中给出了五个被试各自在三种难度听力任务下测得的事件相关电位P300幅值以及幅值下降和脑力负荷上升百分比，表9给出了对应由量表法获得的脑力负荷值、本发明检测方法获得的脑力负荷值。这里P300幅值为一个被试所采集的所有通道的平均P300幅值。

脑力负荷值L与事件相关电位幅值关系为：

L＝F_b+F_b×(|(Un-U_b)|÷U_b)×100％，

其中，L为受试者当前的脑力负荷值(脑力资源使用量)，F_b是被试在视觉诱发任务下的基础脑力负荷值，由主观量表计算而得，也就是表8中LD所对应的脑力负荷值，即在无听力任务下受试者填写的主观量表由前面F的公式计算得到；Un为当前额外听力任务下的所有通道平均P300幅值，U_b为被试视觉诱发任务下的所有通道基础P300幅值，也就是表8中LD所对应的P300幅值。

P300下降百分比＝[(无听力任务下的P300幅值-有听力任务下的P300幅值)/无听力任务下的P300幅值]*100％；

脑力负荷值提高百分比＝[(无听力任务下的量表法测得的脑力负荷值-有听力任务下的量表法测得的脑力负荷值)/无听力任务下的量表法测得的脑力负荷值]*100％；

表8被试的脑力负荷值(脑力资源使用量)与事件相关电位变化结果

表9由量表法与本发明检测方法获得的脑力负荷值对比结果

从图7中可以看出，受检测者大脑枕部相关区域处事件相关电位变化明显，因此分析该区域导联处的数据来分析3种不同难度听力任务下视觉刺激诱发出的事件相关电位特征(通过量表值对应转换的脑力负荷值的增大和相应脑区的事件相关电位幅值减少相对应，其中以单一只做视觉任务为基准。通过对不同难度听力任务下的主观评价NASA-TLX量表值和相应脑区的事件相关电位客观特征P300幅值变化来检测出大脑负荷状态。从表8中的P300下降百分比和脑力负荷值提高百分比的值中，可以看出：量表值的增大和相应脑区的平均事件相关电位幅值减少相对应，其中以单一只做视觉任务为基准，即基础脑力负荷值，当前脑力负荷的检测由幅值变化和基础脑力负荷值共同获得。

在不施加听力任务时，受试者S1的主观量表值为35.778，在施加HD听力任务后主观量表值为59.105，同时对应的事件相关电位P300幅值分别为2.734μV和1.666μV，事件相关电位P300幅值减少势头与主观量表值的增长势头保持一致。以视觉刺激任务诱发的事件相关电位为基准，取得的主观量表值作为受试者正常的脑力负荷值，随着听力任务的附加，主观疲劳量表的值增大，同时诱发的事件相关电位幅值降低，表明脑力负荷值增大。相比于单一的主观量表检测和单一或多生理参数检测，本发明促进脑力负荷的检测比单一的主观量表和生理参数检测更加精确和客观，比多生理参数检测更加方便。从表9中可以看出，本发明客观电位参数与量表估计结果接近，本申请针对同一个被试，只需进行一次主观量表法获得基础值后，再进行视听双任务时，无需再进行主观量表法计算，可以在实时检测的过程中，获得实时的事件相关电位信号，即可获得被试当前的脑力负荷值，得到测试者不同听力任务下的脑力负荷结果，结果更加客观既简单又准确。

本专利基于脑-机接口性能对脑力负荷较为敏感这一特点，利用多感知通路(视听双神经通路，其中视觉任务为主，听觉任务为辅)引起大脑脑力负荷，从而设计灵敏性较高的，兼有主观与客观评价能力的脑力负荷检测方案。

在进行基于视觉诱发的脑-机接口实验时附加听力任务，从视觉和听觉两个神经通路占用脑-机接口使用者的脑力负荷，并以使用者在不同语速听力任务下使用脑-机接口后所填写的疲劳量表值和脑-机接口性能变化(性能变化表现就是视觉诱发出来事件相关电位幅值的变化)作为使用者脑力负荷的主观和客观检测指标。通过指标的变化情况，本专利可检测使用者在部分脑力资源被占用情况下的剩余脑资源，从而预估当前的负荷状态，也可用于判定不同用户的脑力负荷的耐受能力与脑力资源容量。

本发明未述及之处适用于现有技术。

Claims (9)

1.一种基于视-听双任务的脑力负荷检测方法，其特征在于，该方法包括以下内容：

获取被试在单独视觉诱发事件相关电位任务下的基础脑力负荷值F_b，并获得在单独视觉诱发事件相关电位任务下所采集的被试的脑电信号，记录被试在单独视觉诱发事件相关电位任务下的所有通道的平均P300幅值U_b；

针对同一个被试，同时给予视觉诱发事件相关电位任务和听力任务，实时采集被试的所有通道平均P300幅值Un；

则被试的脑力负荷值L按照下式获得：

L＝F_b+F_b×(|(Un-U_b)|÷U_b)×100％，

实现视-听双任务下脑力负荷的实时检测。

2.根据权利要求1所述的检测方法，其特征在于，开始视-听双任务前，需要搭建脑电诱发及采集系统，脑电诱发及采集系统包括64导电极帽、脑电采集仪和信号放大器、计算机、去噪耳机；64导电极帽佩戴在被试头部，连接脑电采集仪来采集被试的脑电信号；脑电采集仪一端连接64导电极帽，另一端连接信号放大器，信号放大器另一端连接计算机；计算机数据传输接口连接信号放大器，计算机屏幕用来播放视觉诱发界面来诱发被试的事件相关电位；同时被试佩戴去噪耳机，用于接收听力任务。

3.根据权利要求1所述的检测方法，其特征在于，所述单独视觉诱发事件相关电位任务采用实验后进行NASA-TLX量表做主观报告，使用NASA-TLX量表打分并加权计算脑力负荷值，记为基础脑力负荷值F_b。

4.根据权利要求1所述的检测方法，其特征在于，视觉诱发事件相关电位任务中以机械臂图片组成的视觉刺激闪烁界面来诱发事件相关电位。

5.根据权利要求4所述的检测方法，其特征在于，视觉诱发界面由一个3行4列12张不同状态的机械臂刺激图片构成；使用中心为白色圆形、背景为黑色的遮挡图片；偏差刺激为被试注视的目标图片，标准刺激为其余11张图片，且偏差刺激都有颜色提示；在事件相关电位ERP诱发界面，12张图片以每张150毫秒的呈现时间、75毫秒的遮挡时间随机闪烁一遍，定义12张图片全部闪烁一遍为一个“重复”，两个重复间隔为1000毫秒；定义10个重复为一个“重复组”，两个重复组间隔为3000毫秒，定义12个重复组为一组视觉诱发ERP实验。

6.根据权利要求1所述的检测方法，其特征在于，所述听力任务为对声音进行特定词语的默记任务，不同听力任务为不同语速的音频材料，优选有声故事“大江大河”节选作为音频材料，音频材料经过去噪处理。

7.根据权利要求6所述的检测方法，其特征在于，所述听力任务的过程是：在开始播放音频后，测试者通过完成数出故事中“的”的个数的听力任务；将听力任务结束后，被试数出“的”的数量与实际的数量进行比较，以分析被试在关注ERP诱发界面时，是否有分出脑力资源去进行听力任务。

8.一种基于视-听双任务的脑力负荷检测方法，其特征在于，该方法包括以下内容：

将视觉诱发事件相关电位任务和听觉任务一同进行；对无听力任务下的主观量表回答以及视觉诱发事件相关电位进行处理，得到被试在无听力任务下的量表值和对应脑区的事件相关电位幅值；

对有听力任务下的视觉诱发事件相关电位进行处理，得到被试在有听力任务下对应脑区的事件相关电位幅值；

量表值的增大和相应脑区的事件相关电位幅值减少相对应，其中以单一只做视觉任务为基准，即基础脑力负荷值，当前脑力负荷值的检测由幅值变化和基础脑力负荷值共同获得。

9.根据权利要求8所述的检测方法，其特征在于，通过上述方法获得测试者在部分脑力资源被占用情况下的剩余脑资源，从而预估当前的负荷状态，判定测试者的脑力负荷的耐受能力与脑力资源容量。

Images