CN103431859A - 多任务视觉认知中脑负荷测定的实验方法 - Google Patents

Abstract

本发明申请是分案申请，原案申请号为201210006069.6。本发明提供了一种多任务视觉认知中测定脑负荷的实验方法，包括：1）对采集到的脑电波数据进行预处理；2）对步骤1）预处理后的脑电波数据，采用独立分量分析方法进行分解，去除眼电和肌电干扰；3）对步骤2）处理后的脑电信号进行复杂度分析；所述的复杂度为Lempel-Ziv复杂度；4）将脑电复杂度表征认知过程中的脑负荷。本发明通过试验系统能够更加的准确的测试出工作人员的脑负荷，从而给仪表信息的显示形式、显示数量及显示时机设计带来重要的参考信息，以减小操作人员的脑负荷，降低操作人员的认知疲劳，以保障人员与装备的安全。

Description

多任务视觉认知中脑负荷测定的实验方法

本发明专利申请是分案申请。原案的申请号是：201210006069.6；申请日是：2012年1月10日；发明名称是：“多任务视觉认知中脑负荷测定的实验系统和方法”。

【技术领域】

本发明属于人机工程学技术领域，涉及一种进行多任务视觉信息测试，得出评定脑负荷的实验方法。

【背景技术】

多任务视觉信息的准确认知在人机界面交互系统中，是监控装备运行状态与获取外界环境信息的重要手段,多任务视觉信息最直接的体现就是图形或文字，而能将监控不同任务和状态的图形或文字综合在一起集中体现的就是仪表，因此仪表的认知在多任务视觉信息获取中非常具有典型性。随着自动化水平的提高，很多大型设备的机械式仪表都被图形化、交互式的虚拟仪表取代，视觉信息量也较以前大幅增加，在高密度、高强度信息量条件下，若仪表信息的显示形式、显示数量及显示时机设计不合理，往往会造成仪表信息显示特征超出操作人员的生理及心理承受能力，脑负荷也相应增大,引起操作人员的认知疲劳，对人员与装备的安全造成威胁。

目前，许多研究机构都对人体视觉特性与认知特性进行了研究，如美国罗切斯特大学通过对电子游戏玩家与非电子游戏玩家对游戏中复杂程度（如形状、颜色等属性）不同的显示信息进行对比辨识，如2010年美国范德堡大学研究了不同类型动态信息刺激下的人体大脑神经网络电信号，该研究主要通过对人体大脑目标辨识反射信号与外界干扰刺激反射信号的对比实验研究，依据不同反应机制下神经网络电位活跃范围、强度的分析，获取表征不同类型动态信息刺激下人体视觉特性与认知特性的生物特征响应信号（EEG/EOG）特征。虽然上述研究以信息正确辨识率及与之对应的人体生物特征响应信号（EEG/EOG）为切入点，对不同信息刺激下视觉敏锐度特性与认知特性进行了研究，但并未考虑多任务、多信息刺激条件下由于人眼视觉特性与认知特性所引起的脑负荷变化情况，更未对二者之间的关联和响应进行系统实验和分析。

查新的资料可知，测定脑负荷的方法主要有主观评价法和生理测量法，主观评价法主要包括Cooper-Harper评价法、SWAT量表、NASA-TLX量表以及任务指标测量等。这些方法都将时间要求、体力需求及努力程度作为基本要素，主要以反应时间、反应速度和准确率作为评价指标，不足之处是主观评价法受短时记忆消退的局限，且任务性质各不相同，不可能提出一种广泛适用的绩效参数，因此各操作之间的脑力负荷状况无法进行对比。关于生理测量也有一些研究成果，主要集中在将眼电、呼吸信号、心率、肌电和脑电活动作为检测脑负荷的客观手段。Stern等人认为眨眼持续时间、眨眼率和眨眼幅度与脑疲劳有关；Mascord D J等人用心率变异性来评价脑负荷程度。尽管许多生理学指标被用于描述个人的脑疲劳状态，但脑电信号一直都被认为是监测脑负荷最可靠标准。

基于EEG/EOG的视觉信息显示模式识别主要包括信号预处理、特征提取、模式分类等技术。常用的特征提取方法包括FFT、相关性分析、AR参数估计、公共空间模式、Butterworth低通滤波、遗传算法、小波变换等，算法的选择与所利用的信号特征及电极位置有关。基于上述方法，可以实现多任务显示信息属性参数与人体视觉特性、认知特性的关系推导，即得出信息视觉显示条件下显示时机、显示信息量与人体生理、心理负荷及认知可靠度相匹配的原则，为视觉信息属性选择、人机界面设计与布局、作业人员状态评价提供重要参考。

【发明内容】

针对现有多任务视觉信息下对认知特性研究的需要，本发明提供了一种能模拟多任务视觉信息和不同操控环境的测定脑负荷变化的实验方法，该方法所使用的系统由一个多任务视觉信息认知测试与控制实验台和交互式测试系统构成，可通过对测试系统下脑电信号的采集、提取与处理，得出脑负荷变化对认知特性的影响规律。

为了实现上述目的，本发明采用如下技术方案：

多任务视觉认知中脑负荷测定的实验方法，包括以下步骤：

1）、对采集到的脑电波数据进行预处理：采用24阶FIR滤波器对数据进行30Hz以下的低通滤波，去除工频噪声和外部干扰；

2）、对步骤1）预处理后的脑电波数据，采用独立分量分析方法进行分解，去除眼电和肌电干扰；

3）、对步骤2）处理后的脑电信号进行复杂度分析；所述的复杂度为Lempel-Ziv复杂度；

4）、将脑电复杂度表征认知过程中的脑负荷。

本发明进一步的改进在于：步骤1）中预处理后得到[0.5Hz,30Hz]频段的EEG信号。

本发明进一步的改进在于：步骤1）中的脑电波数据通过40个国际10-20标准放置电极进行采集，采样率为1kHz；标准放置电极采集的脑电波数据经过40导脑电放大器放大后经过A/D转换输入计算机中进行预处理。

本发明进一步的改进在于：步骤1）中所述脑电波数据通过多任务视觉认知中脑负荷测定的实验系统进行采集；

所述多任务视觉认知中脑负荷测定的实验系统包括可调节座椅、虚拟视觉界面显示装置以及脑电信号采集处理设备；

可调节座椅包括座垫、靠背、角度调节机构和水平位移调节机构；水平位移调节机构固定于平台基板上，座垫安装于水平位移调节机构上；座垫和靠背之间安装有角度调节机构；

虚拟视觉界面显示装置包括第一计算机、外部操控设备、组合支架和显示器；组合支架包括滑筒，显示器支架通过插销式螺栓固定于滑筒上；显示器支架上固定有三个显示器，该三个显示器包括正对可调节座椅的主显示器和倾斜的设置于主显示器两侧的侧翼显示器；侧翼显示器与主显示器之间的夹角为135°～360°；第一计算机连接三个显示器，三个显示器动态的显示第一计算机输出的仪表图像；

脑电信号采集处理设备包括依次连接的电极帽、脑电放大器和第二计算机。

本发明进一步的改进在于：两侧的侧翼显示器通过钳夹式机构固定于滑筒上；所述钳夹式机构能够绕滑筒旋转以调节侧翼显示器与主显示器之间的夹角。

本发明进一步的改进在于：三个显示器中每个显示器上均布六个仪表，每个屏幕上显示的仪表为同一功能的仪表。

本发明进一步的改进在于：主显示器和右侧显示器显示速度计，左侧显示器显示地平仪。

本发明进一步的改进在于：所述多任务视觉认知中脑负荷测定的实验系统运行时每个显示器显示的六个仪表中只有一个仪表的指针指向危险区域。

本发明进一步的改进在于：外部操控设备连接第一计算机，用于对指针指向危险区域的仪表进行反馈，反馈后该仪表的指针将不再进入危险区域。

本发明进一步的改进在于：所述外部操控设备为键盘、鼠标、摇杆、驾驶杆或脚舵。

与现有技术相比，本发明的有益效果在于：本发明一种多任务视觉认知中脑负荷测定的实验方法，通过第一计算机控制三个显示器模拟不同情境下的静态、动态视觉信息（如仪表、图形、文字、虚拟场景等），使测试者能够模拟真实的工作状态，更加的准确的测试出工作人员的脑负荷，从而给仪表信息的显示形式、显示数量及显示时机设计带来重要的参考信息，使仪表信息显示特征在操作人员的生理及心理承受能力范围内，以减小操作人员的脑负荷,降低操作人员的认知疲劳，以保障人员与装备的安全。

针对现有技术，在实验台建设上，本发明建立了一套内容较完整的仪表显示测试系统，可以模拟各类仪表的运行及工作，并能方便修改仪表的运行动作；本发明在脑负荷测定方法上从更客观的角度分析了多个任务进行中大脑活动的有序性，通过对有序性的分析完成对脑负荷大小的测定，从而能更客观地对不同任务的脑负荷进行分析。

【附图说明】

图1为实验系统的结构框图；

图2为实验装置结构示意图；

图3为实验装置中显示器支架后部细节图；

图4为交互测试装置流程图

图5为脑电电极分布示意图；

图6为脑电序列复杂度求解流程图；

图7为脑负荷测定流程图。

【具体实施方式】

本发明具体实施选取仪表为视觉认知对象，下面结合附图对本发明作进一步详细说明：

1．多任务视觉认知中脑负荷测定的实验系统

本发明所提供的多任务视觉认知中脑负荷测定的实验系统如图1及图2所示。其中可调节座椅7是实验台的基础组成部分，由坐垫和靠背及调节机构组成。可调节座椅7的骨架用钢制管材焊接而成，并用螺栓直接固定在实验台平台基板上，座椅强度符合GB15083-1994的规定。在坐垫和靠背两侧加焊凸起的侧支撑板或支撑筋，将泡沫型芯进行填充加以支撑衬垫，从而保证坐垫和靠背型芯支撑的有效性；调节机构主要包括前后位移调整机构(即座椅滑道9)和靠背角度调节机构（调角器8），用以达到实验所需的最佳的座椅前后位置和最佳的座椅面角度。座椅滑道9是调整座椅在纵向水平位置前后位移的机构，通过螺栓固定在平台基板上，其调节操纵杆位于坐垫的下方，此处选用单锁止滑道，根据人机工程学原理，滑道位移尺寸即座椅前后调整距离确定为0～±100mm；调角器8是对靠背、坐垫夹角进行调整和锁止的机构。调角器8安装在坐垫和靠背机构之间，锁止强度应满足GB15083-1994的规定。调角器8选用机械板式调角器，根据实验和GB15083-1994的强度要求，确定靠背设计角为20°，前调角度为30°，后调角度为90°，操作形式为手柄式，其调节操纵杆位于整个座椅的左手侧，操纵杆的操纵角为30°～60°，操纵杆的阻力为9N左右。

请参阅图3所示，虚拟视觉界面显示装置包含组合支架3、显示器6和第一计算机1。组合支架3的连接为一滑筒结构5，并依靠插销式螺栓20进行固定。根据操控者的人体百分位参数和视域范围，可通过滑筒结构5对显示器支架进行高度调节，通过插销式螺栓20进行位置紧固，可调的高度范围为600～700mm。显示器支架可同时支撑3个显示器，显示器支架的中间部分安装主显示器，并垂直于实验装置轴线方向固定；侧翼两支架通过钳夹式机构4安装在滑筒5上，以此来调整侧翼两显示器相对于主显示器的角度，向外自由转动角度可为135°～360°。第一计算机1为程序运行计算机，用于各种视觉界面（如仪表、状态信息等）显示程序的运行，并通过三个显示器显示于操作者面前。脑电信号采集处理系统包含脑电信号采集设备（电极帽、脑电放大器和第二计算机）(图1)和脑电信号数据处理系统。是对不同任务操作下的被试者进行脑电信号的采集与记录，并通过数据处理系统对信号进行预处理和分析。

交互式仪表测试系统是基于VC++和GL Studio的可视化认知测试系统，用于分析多任务条件下的仪表界面认知过程中大脑的工作状态及脑力负荷的测试程序。系统通过为创建的仪表对象添加代码及驱动函数实现仪表的运动，通过按钮的创建及代码控制实现方案的逻辑控制，最终可生成应用程序，并在本发明搭建的多任务视觉认知实验台上运行。测试系统中包括不同功能类型的仪表及其对应的控制钮，允许点选等操作，要求被试在追踪仪表运行状态的同时做出判断并及时反应。测试系统还可以改变运行仪表的数量来改变测试任务的难度，以此也可以实现多信息交替与任务叠加的情境（图4）。

2.多任务视觉信息下脑负荷测定实验方法

本发明中以仪表为例进行视觉认知脑负荷测定的实施例。

将多任务的视觉认知设计方案应用于多任务视觉认知实验系统，通过交互式仪表测试系统运行设计方案，在实验台中进行实验并同步采集脑电数据，最后通过信号处理软件对采集到的信号进行处理。

选择仪表形状和空间位置及指针的颜色和形状为设计参数，使用GLStudio结合VC++设计三连屏显示方案，每块屏幕上均布六个仪表，每块屏幕上显示的仪表为同一功能（如地平仪、速度计等）。中间和右侧屏幕为速度计，左侧屏幕为地平仪。速度计采用圆形仪表，规格为：57mm仪表盘对应0.8mm指针，76mm仪表盘对应1.6mm指针，101.6mm表盘对应2.4指针（n英寸表盘对应0.8×（n-1）mm指针）。

在程序运行时所有仪表的指针均在运动状态，但每个屏幕上均只有一个仪表的指针指向危险区域，此时要求被试者点击该仪表对应的外部操控设备2（键盘、摇杆、驾驶杆、脚舵）进行反馈，反馈后该表的指针将不再进入危险区域；地平仪的运动为左右摇摆运动，在地平仪所表示的飞机位姿为严重倾斜时，点击相应按钮使飞机位姿为水平平飞状态，当所有仪表的指针均在安全区域内运动时任务完成。其中对于速度计等仪表，仅有一个按钮与各仪表对应；对于地平仪，每块仪表对应于两个按钮，分别用于控制其指针的旋转与平移。

实验中仪表指针转动依靠函数DynamicRotate（）控制。该函数以系统时间做种，在代表时间的变量time前乘以不同的系数即可产生不同的数值，函数将此数值送为对象指针的驱动速度，即可实现指针的不同转速。上述函数还可以定义转动角度的上下限，即指针转动的范围。以上三个变量可限定仪表指针的转动速度、起点和终点，通过数值调整可更真实的模拟仪表运转情况，从而保证不同的表盘转速不同。

在实验前，通过调角器8和座椅滑道9将可调节座椅7调节到最舒适就坐姿势，通过组合支架3上的滑筒5和钳夹式结构4（图3）将三个显示器的显示位置调整到人体最佳的视域范围内。在所有的实验环境参数调好后，被试者需在实验开始前戴好电极帽，并打好导电膏，将电极帽连接到放大器，测试所有测试电极的阻抗均小于5kΩ。实验开始，基于第一计算机1的交互式测试系统开始运行，同时第二计算机上的脑电采集系统开始记录被试者的脑电信号。

本实施例采用脑机接口设备(BCI)进行脑电信号采集。脑电电极分布示意图如图5所示，用40导的脑电放大器按图中方式进行连接，并有6个电极分别连接水平眼电信号（HEOG）和竖直眼电信号(VEOG)的四个电极位及左右耳后的乳突A1和A2，其中A2为参考电极，检查电极阻抗均小于5kΩ。采样频率为1KHz对脑电进行采集。信号经放大器放大、A/D转化后，由USB接口传至第二计算机中。

采集的脑电信号中包含上水平（HEOU）、下水平（HEOL）、左竖直(VEOL)和右竖直(VEOR)的四个眼电信号，通过linear derivation将四个信号合并为水平眼电（HEOG）和竖直眼电(VEOG)两个信号，利用Ocular artifactreduction去除眨眼伪迹。利用独立分量分析（Independent ComponentAnalysis）去除各通道中±100μv以外的肌电干扰和眼电伪迹。选择24阶FIR滤波器零相位漂移对数据进行0-30Hz低通滤波，以去除工频噪声及外部干扰。

由于Lempel-Ziv复杂度是对某个时间序列随其长度的增长出现新模式的速率的反映，表现了序列接近随机的程度。序列的复杂度越大，序列中的周期成分越少，序列越无规律，趋近于随机状态，序列包含的频率成分越丰富，说明系统的复杂性也越大；序列的复杂度越小，序列中周期成分越明显，越趋于周期状态，序列包含的频率成分较少，说明系统的复杂性越低。对于脑电序列，Lempel-Ziv复杂度的值越大表明刺激诱发的脑电序列的复杂程度高，表明人的努力程度高。而同时反应时间也是一个被试在操作过程中对信息接收反应速度的衡量标准，反应时间延长表明信息量增多，被试者在反应过程中需要滤去无用信息而只提取有用信息，人在认知过程中努力程度和反应时间的延长表明了人的脑力负荷的增加。因此脑负荷的计算可通过对反应时及脑电复杂度的归一化处理得到。

将预处理后的不同任务下的脑电序列分别进行粗粒化处理，粗粒化段数的取值范围为L=2～9，不同的粗粒化段数取值可得到相应的不同复杂度量值。将经过粗粒化处理的脑电序列放入LZC（Lempel-Ziv复杂度）求解器，可得到不同任务下的脑电复杂度，求解器流程见图6。一个任务下，脑电复杂度的值表示为一序列数值，即为每个导联电极点上有一个复杂度值，所有导联的值连接成的复杂度曲线为组合成一序列数值，为一个任务下的脑电复杂度值。将不同任务的脑电复杂度曲线表示在一个图表内，可直观观察到任务变化时的脑负荷状况。（图7）。

本实验方法以仪表界面为例，测试中利用脑电信号采集处理系统同步采集被试者的脑电信号。通过脑电复杂度分析对多任务下视觉认知的脑电信号进行比较，得出脑电波与脑负荷间的映射关系，从而对视觉认知过程中的脑负荷情况进行判定。

利用正交实验法进行视觉信息方案设计，对视觉认知有显著影响的仪表形状和空间位置、指针颜色和形状作为自变量在VAPS中进行初设计，将设计好的仪表平面模型放入交互测试系统中，并在实验台的三屏显示界面显示。每个显示屏显示6个仪表，其中设定每个显示屏中总有一个仪表的指针进入危险区域，被试者按指定键让指针回归安全范围运动，当所有仪表的指针均只在安全区域内运动时实验结束。

实验中仪表指针转速依据函数DynamicRotate（）控制，并以系统时间做种，将时间变量t乘以不同的系数作为对象指针的驱动速度，从而实现指针的不同转速；通过定义上述函数定义转动角度的上下限，即指针转动的范围，从而对仪表指针的转动速度、起点和终点进行了限定，通过数值调整可更真实的模拟仪表运转情况。实验全程采集被试者的脑电信号。

实验前，将可调节座椅调节到最舒适位置，将组合支架上的三个显示器的显示位置调整到人体最佳的视域范围内。在所有的实验环境参数调好后，被试者需在实验开始前戴好电极帽，并打好导电膏，将电极帽连接到放大器，测试所有测试电极的阻抗均小于5kΩ。实验开始，基于第一计算机1的交互式测试系统开始运行，同时第二计算机上的脑电采集系统开始记录被试者的脑电信号。脑电信号的记录采用40导脑电放大器，国际10-20标准放置电极（图4），采样率为1kHz。脑电信号通过放大，A/D转换后，将脑电信号的电压幅值经USB串口输入第二计算机。采用独立分量分析方法对采集到的数据进行伪迹去除，通过带通滤波器得到[0.5Hz,30Hz]频段的EEG信号。计算该脑电序列的Lempel-Ziv复杂度，基于spss16.0通过方差分析（ANOVA）对不同刺激下的脑电复杂度进行组间差异比较，将复杂度值与反应时对脑负荷进行表征。

本发明计算的LZC复杂度值体现了在不同的多任务下各脑区活动的有序程度，复杂度值小则表明脑部活动规律有序，说明脑部的负荷小，人脑可以有序的处理信息；值大则表明脑部活动混乱，说明此时脑部的负荷较大，人脑对于信息的处理已不能做到规律有序。这种表征方法可以从更客观的角度反映不同任务下人的脑负荷，若复杂度值较小（活动有序）则表明脑负荷较小，若复杂度值较大（活动有序）则表明脑负荷大。本发明重点用于多个任务进行下各任务难度造成的脑负荷之间的比较；若用在一个单任务上由于缺乏比较的标准，故无法对单一任务进行脑负荷测定。

Claims (10)

1.多任务视觉认知中脑负荷测定的实验方法，其特征在于，包括以下步骤：

1）、对采集到的脑电波数据进行预处理：采用24阶FIR滤波器对数据进行30Hz以下的低通滤波，去除工频噪声和外部干扰；

2）、对步骤1）预处理后的脑电波数据，采用独立分量分析方法进行分解，去除眼电和肌电干扰；

3）、对步骤2）处理后的脑电信号进行复杂度分析；所述的复杂度为Lempel-Ziv复杂度；

4）、将脑电复杂度表征认知过程中的脑负荷。

2.根据权利你要求1所述的多任务视觉认知中脑负荷测定的方法，其特征在于，步骤1）中预处理后得到[0.5Hz,30Hz]频段的EEG信号。

3.根据权利你要求1所述的多任务视觉认知中脑负荷测定的方法，其特征在于，步骤1）中的脑电波数据通过40个国际10-20标准放置电极进行采集，采样率为1kHz；标准放置电极采集的脑电波数据经过40导脑电放大器放大后经过A/D转换输入计算机中进行预处理。

4.根据权利你要求1所述的多任务视觉认知中脑负荷测定的方法，其特征在于，步骤1）中所述脑电波数据通过多任务视觉认知中脑负荷测定的实验系统进行采集；

所述多任务视觉认知中脑负荷测定的实验系统包括可调节座椅（7）、虚拟视觉界面显示装置以及脑电信号采集处理设备；

可调节座椅（7）包括座垫、靠背、角度调节机构和水平位移调节机构；水平位移调节机构固定于平台基板上，座垫安装于水平位移调节机构上；座垫和靠背之间安装有角度调节机构；

虚拟视觉界面显示装置包括第一计算机（1）、外部操控设备（2）、组合支架（3）和显示器（6）；组合支架（3）包括滑筒（5），显示器支架通过插销式螺栓（20）固定于滑筒（5）上；显示器支架上固定有三个显示器（6），该三个显示器（6）包括正对可调节座椅（7）的主显示器和倾斜的设置于主显示器两侧的侧翼显示器；侧翼显示器与主显示器之间的夹角为135°～360°；第一计算机（1）连接三个显示器（6），三个显示器（6）动态的显示第一计算机（1）输出的仪表图像；

脑电信号采集处理设备包括依次连接的电极帽、脑电放大器和第二计算机。

5.根据权利你要求4所述的多任务视觉认知中脑负荷测定的方法，其特征在于，两侧的侧翼显示器通过钳夹式机构（4）固定于滑筒（5）上；所述钳夹式机构（4）能够绕滑筒（5）旋转以调节侧翼显示器与主显示器之间的夹角。

6.根据权利你要求4所述的多任务视觉认知中脑负荷测定的方法，其特征在于，三个显示器（6）中每个显示器上均布六个仪表，每个屏幕上显示的仪表为同一功能的仪表。

7.根据权利你要求6所述的多任务视觉认知中脑负荷测定的方法，其特征在于，主显示器和右侧显示器显示速度计，左侧显示器显示地平仪。

8.根据权利你要求6或7所述的多任务视觉认知中脑负荷测定的方法，其特征在于，所述多任务视觉认知中脑负荷测定的实验系统运行时每个显示器显示的六个仪表中只有一个仪表的指针指向危险区域。

9.根据权利你要求8所述的多任务视觉认知中脑负荷测定的方法，其特征在于，外部操控设备（2）连接第一计算机（1），用于对指针指向危险区域的仪表进行反馈，反馈后该仪表的指针将不再进入危险区域。

10.根据权利你要求9所述的多任务视觉认知中脑负荷测定的方法，其特征在于，所述外部操控设备（2）为键盘、鼠标、摇杆、驾驶杆或脚舵。

Images