CN115713246A - 一种关于虚拟场景的多模态人机交互的性能评估方法 - Google Patents

Abstract

本发明提供了一种关于虚拟场景的多模态人机交互的性能评估方法，包括：步骤1，分析需求：确定效能评估的环境条件；步骤2，建立人机交互效能评价体系；步骤3，确定评估方法；步骤4，建立评估模型：依据人机交互效能评价体系和选择的评估方法，构建人机交互效能综合评价模型；步骤5，获得评估结果，对系统效能进行综合评估与决策。本发明采取主观和客观相结合的方法设计人机交互效能评估的评价体系，提出用户认知能力监控方法、人机交互负荷量化方法，给出人机交互效能综合评价模型，为沉浸式虚拟场景的人机交互系统设计提供参考，确保人机交互能发挥最大的效能。

Description

一种关于虚拟场景的多模态人机交互的性能评估方法

技术领域

本发明属于人机交互效能评估领域，特别涉及一种关于虚拟场景的多模态人机交互的性能评估方法。

背景技术

当前基于VR/AR的沉浸式虚拟场景自然人机交互成为关注点，但大多数是研究交互手段的精准性、便捷性等性能指标上，很少有研究人员研究在虚拟场景中的人机交互效能，但是由于虚拟场景需要佩戴VR/AR智能眼镜等设备，并且用户沉浸式在虚拟场景中互动，存在交互的疲劳和认知负荷等问题，如何对用户的人机交互效能进行评估是一个新问题。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种关于虚拟场景的多模态人机交互的性能评估方法。

本发明的多模态人机交互的性能评估是指对沉浸式人机交互系统中的人机交互效能进行综合评估，所述沉浸式人机交互系统包含沉浸式显示子模块、眼动交互子模块、语音交互子模块、手势交互子模块。

本发明人机交互效能综合评估的过程包含5个步骤：

步骤1，分析需求：确定效能评估的环境条件，对沉浸式人机交互系统进行分析，明确人机交互评估对象及人机交互评估任务，确定人机交互评估任务的影响因素及相互关系；

步骤2，建立人机交互效能评价体系：依据将要进行效能评估的对象的影响因素，建立合理的人机交互效能评估的指标体系；

步骤3，确定评估方法：依据评估条件、评估对象的特点和评估指标体系，选择合适的评估方法，所述评估方法包括用户认知能力监控方法和人机交互负荷量化方法；

步骤4，建立评估模型：依据人机交互效能评价体系和选择的评估方法，构建人机交互效能综合评价模型；

步骤5，获得评估结果：通过构建的人机交互效能综合评价模型与收集的实验数据进行测试实验，并对数据进行处理和分析，获取评估的结果，对系统效能进行综合评估与决策。

步骤1中，所述确定效能评估的环境条件是指要求测试者头部佩戴脑电设备(Neuroscan 128导)、AR设备(HoloLens)和语音采集设备(讯飞语音识别平台配套语音采集麦克风)，上臂佩戴肌电采集设备(MYO肌电臂环)，手部佩戴数据手套手势交互设备(VRTRIX)，AR设备中部署沉浸式电子沙盘软件，测试时启动所述软件，测试者在AR环境下，浏览众多不同风格、形式和深度的虚拟沉浸式人机交互界面，并通过语音、手势和眼动等交互方式在AR环境中操作，部署在PC上的脑电数据采集系统实时采集脑电数据，供后续进行脑电数据评估分析；

所述人机交互评估对象是指测试者在AR环境中通过语音、手势、眼动等交互方式进行操控时的认知能力以及交互负荷，所述人机交互评估任务是指计算获取认知能力和交互负荷的量化结果，人机交互评估任务的影响因素有客观条件、装置、实验环境、手势、语音、眼动识别的客观提取测量以及主观评价等。本发明不考虑客观条件、装置、实验环境影响，重点分析手势、语音、眼动识别的客观提取测量分析以及用户的主观评价结果。

步骤1中，所述沉浸式人机交互系统包含沉浸式电子沙盘展现子模块、眼动交互子模块、语音交互子模块、手势交互子模块；

所述沉浸式电子沙盘展现子模块用于对电子沙盘整体地形、地貌、道路、水系、植被、军事设施以及军事目标(空中、地面)进行沉浸式360°AR逼真展现；

所述眼动交互子模块提供眼睛凝视、扫视、尾随、眼跳等方式操控沉浸式场景中的虚拟物体；

所述语音交互子模块提供命令词和连续语音交互识别操控虚拟物体能力；

所述手势交互子模块提供捏取移动、旋转、放缩、挥动、握拳、张开等连续手势以及OK等静态手势识别操控虚拟物体能力。

步骤2中，所述建立人机交互效能评价体系，是指采用自顶向下递阶层次指标体系建立法来构建的系统的指标体系，包括手势交互评价指标体系、语音交互评价指标体系和眼动交互评价指标体系；

所述采用自顶向下递阶层次指标体系建立法来构建的系统的指标体系，是将系统自上而下逐步细化，每一层都是对上一层问题的具体划分，逐层细划直到得出整体的指标体系架构为止；例如，顶层是沉浸式人机交互评价指标体系，再往下层就是手势交互评价指标体系、语音交互评价指标体系、眼动交互评价指标体系，其中手势交互评价指标体系，再往下分就是运动手势交互评价指标体系、视觉手势交互评价指标体系、肌电手势交互评价指标体系等。

所述手势交互评价指标体系，具体是指多模态手势(运动、视觉、肌电)传感器采样延迟率、动态和静态手势类别数、手势识别率；

所述语音交互评价指标体系具体包含命令词识别和连续语音识别准确率，恶劣环境下的命令词语音识别率以及命令词识别词汇量；

所述眼动交互评价指标体系具体包含支持的眼部动作类别数、眼动识别率等。

人机交互效能评价包括人机交互客观评价和人机交互主观评价，所述人机交互客观评价采用绩效度量方法，在绩效度量中的参照数包括：任务时间、任务成功、任务效率和任务错误；

虚拟场景的人机交互操作任务的成功测量即为被试者(人机交互操作完成者)能在最大程度上有效完成一系列人机交互任务，用R表示任务完成结果，如果任务成功，则R＝1；如果任务失败，则R＝0：

其中

表示平均任务时间，n表示测试者人数，N表示错误次数，η_i表示效率， i＝1,2,...,n；t_n表示完成第n个任务所需时间，n_n表示第n个任务的错误次数，x_i表示第i个任务成功完成所需时间，t_i表示第i个任务完成所需时间(包含错误完成时间)；

任务时间是指被试者完成一项实验任务的用时并进行记录；任务成功是指测量过程中实验任务完成度，记录是否完成；

任务效率是指被测试者完成任务所完成的状态，也能够记录被测试者完成任务的成功完成时间；

任务错误是指测量过程中被试者在完成任务过程中所进行的错误操作次数；

所述人机交互主观评价采用量表形式完成。

步骤3中，所述用户认知能力监控方法，认知能力是指用户在与系统进行交互过程中的所有感知和反应，关注用户交互使用系统过程的流畅性、自主性、解决问题的效率；用户认知能力监控方法，采用脑电EEG(Electro-Encephalo Gram，脑电图)不间断地记录用户在与系统人机交互过程中的脑神经反应情况，测量动态性的认知能力，在测量过程中结合主观测量量表和行为绩效方面的数据综合反映认知能力水平。

步骤3中，所述人机交互负荷量化方法，一是，首先对脑电信号数据进行预处理，包含：脑电信号伪迹和干扰处理；脑电信号的特征提取；脑电EEG指标的选取；主观评价量表选取，二是，人机交互疲劳度量化。

所述脑电信号伪迹和干扰处理，包括：

步骤a1，测试数据检查和剔除：通过数据筛查，人工剔除在脑电数据中没有完全记录标记的用户测试数据；

步骤a2，在eeglab中导入电极位置信息，并将数据采样率转化为250Hz；

步骤a3，滤波：初步滤除伪迹和干扰，在滤波过程中使用1Hz高通滤波器，调用pop_eegfiltnew函数和FIR filter进行滤波；

步骤a4，使用Cleanline去除50Hz线噪；

步骤a5，用独立成分分析方法进一步消除眼电干扰和肌电伪迹；

步骤a6，脑电信号分为平静阶段和任务阶段，其中平静阶段选取实验开始前的X(一般取值为30)秒脑电信号进行分析，任务阶段取每个测试用户在各个任务持续时间内所产生的脑电信号进行分析。

所述脑电信号的特征提取，采用节律能量来提取脑电信号特征，每个测试用户的脑电信号经过滤波和消噪等预处理之后得到干净的脑电信号后，节律波能量对每一频段的节律波按照时间序列进行幅值的运算，得到每个测试用户各个电极点在相应频段的波形，然后计算各节律波的能量值和相对能量，最后进行统计分析和做出脑地形图。

所述脑电EEG指标的选取，采集提取测试用户脑电的δ、θ、α、β、γ五种频带的指标，作为测量交互体验的脑电指标。

所述主观评价量表选取，是指设计主观体验评价问卷，在测试用户完成设定的任务后，对交互过程进行主观测量，根据最佳体验相关研究设计，采用的主观评价量表包括脑力需求、体力需求、时间需求、努力程度、业绩水平和受挫程度。

所述人机交互疲劳度量化，采用两种方法进行量化：信号降噪处理方法；交互操作疲劳度实验信号特征提取方法；

所述信号降噪处理方法，是对交互操作疲劳度sEMG(surface Electro MyoGraph，表面肌电图)数据进行降噪处理：使用小波降噪的方法对交互操作疲劳度sEMG数据进行处理，首先确定既定小波需要分解的层次数目N，按照需要分解的层次数目N进行分层分解计算；对分层计算的结果进行分析，提取每层的高频系数并选取合理阈值 (例如：8)后采用软阈值量化处理的办法处理高频系数；最终按照小波分解第N层的低频系数以及从第一层到第N层量化处理后的高频系数对一维信号小波进行重构；

对数据进行小波变换的过程中，首先分解小波函数，然后对选取适用值后的信号参数进行阈值处理，最后选择合适的阈值(一般为[-2,2])进行数据分析；然后再进行逆小波变化，得到的降噪后的信号。

所述交互操作疲劳度实验信号特征提取方法，是指获得实验过程中的信号样本后，采用线性分析的方法，在时频和频域对所需要的人机交互疲劳度信号进行提取，获取峰值Max、峭度指标Kutosis、积分肌电值sEMG、均方根RMS、中位频率MF和平均功率频率MPF。

步骤4中，所述构建人机交互效能综合评价模型，是以人机交互负荷量化数据作为输入(数据指标项包含：视物模糊、眼睛酸痛、眼睛发涨、颈部酸痛、腰部酸痛、肩部酸痛、头脑不清、困倦、精神不集中)，运用模糊评价的原理，确定模糊集合和评价集合，综合评价模型输出各交互方式的用户体验综合评分，具体包括如下步骤：

步骤b1，构建隶属函数；

步骤b2，计算指标权重；

步骤b3，建立综合模糊矩阵。

步骤b1中，采用三角函数作为隶属函数；

步骤b2中，引入权重矢量，用于衡量评价体系中各因素对总目标的重要程度，采用基于群组AHP(Analytical Hierarchy Process，层次分析法)进行权重矢量构建，通过度量人机交互绩效和疲劳度来确定主观评价量表中各项指标的权重，聚合主观评价并对其分析进一步得到权重，最后运用层次分析法叠加主观评价子权重和专家评分得出关于各个评价指标的最终权重；

步骤b3包括构建模糊评判矩阵(Fred R.David提出)和获取模糊综合评价结果。模糊评判矩阵是决策阶段的重要分析工具，基于专家主观判断和经验假设进行定量分析各影响因素对交互效能的影响。

步骤5中，所述对数据进行处理和分析是指采用Neuroscan公司生产的128导脑电记录设备，硬件包括电极帽、脑电信号放大器、Stim系统，软件使用matlab程序对数据进行处理。电极位置采用国际10-20系统，实验中利用Ag/AgC1电极帽上FP1、FPZ、 FP2、F7、F3、FZ、F4、F8、FT7、FC3、FCZ、FC4、FT8、T7、C3、Cz、C4、T8、 TP7、CP3、CPZ、CP4、TP8、P7、P3、PZ、P4、P8、P03、POZ、P)4、01、Oz和02 共34个电极点采集脑电信号。参考电极置于左侧乳突，同时记录右侧乳突电极。接地电极为位于FPz和Fz中间的Gnd电极。每个电极与头皮之间的电阻均小于5千欧，连续记录时滤波带通为0.05-100Hz，采样率为500Hz。

有益效果：本发明采取主观和客观相结合的方法设计人机交互效能评估的评价体系，提出用户认知能力监控方法、人机交互负荷量化方法，给出人机交互效能综合评价模型，为沉浸式虚拟场景的人机交互系统设计提供参考，确保人机交互能发挥最大的效能。

本发明首次将人机交互效能评估用于虚拟现实场景，为用户人机交互的疲劳度、认知能力和交互负荷提供度量方法，实现装备人机交互效能的综合评价，为优化虚拟现实场景的内容构建和人机交互能力提供参考依据。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/ 或其他方面的优点将会变得更加清楚。

图1是本发明涉及的人机交互效能评估流程图。

图2是本发明涉及的交互操作疲劳度数据小波降噪流程图。

图3a和图3b是本发明方法的三角形函数示意图。

图4是容易引起工作过程中的疲劳感的因素示意图。

图5是人机交互负荷量化数据项示意图。

图6是沉浸式人机交互系统示意图。

具体实施方式

本发明提出一种关于虚拟场景的多模态人机交互的性能评估方法，虚拟场景的多模态人机交互的性能评估是指对沉浸式人机交互系统(如图6所示)中的人机交互效能进行综合评估，所述沉浸式人机交互系统包含沉浸式显示子模块、眼动交互子模块、语音交互子模块、手势交互子模块。一种关于虚拟场景的多模态人机交互的性能评估方法包括以下步骤(如图1所示)：

步骤1，分析需求：确定效能评估的环境条件，对沉浸式人机交互系统进行分析，明确人机交互评估对象及人机交互评估任务，理清人机交互评估任务的影响因素及相互关系；

步骤2，建立人机交互效能评价体系；

步骤3，确定评估方法：依据评估条件、评估对象的特点和评估指标体系，选择合适的评估方法，本发明采用提出用户认知能力监控方法和人机交互负荷量化方法；

步骤4，建立评估模型：依据人机交互效能评价体系和选择的评估方法，构建人机交互效能综合评价模型；

步骤5，获得评估结果：通过构建的人机交互效能综合评价模型与收集的实验数据进行测试实验，并对数据进行处理和分析，从而获取评估的结果，对系统效能进行综合评估与决策。

所述建立人机交互效能评价体系，是指采用自顶向下递阶层次指标体系建立法来构建的系统的指标体系，包括手势交互评价指标体系、语音交互评价指标体系和眼动交互评价指标体系；

所述采用自顶向下递阶层次指标体系建立法来构建的系统的指标体系，是将系统自上而下逐步细化，每一层都是对上一层问题的具体划分，逐层细划直到得出整体的指标体系架构为止；例如，顶层是沉浸式人机交互评价指标体系，再往下层就是手势交互评价指标体系、语音交互评价指标体系、眼动交互评价指标体系，其中手势交互评价指标体系，再往下分就是运动手势交互评价指标体系、视觉手势交互评价指标体系、肌电手势交互评价指标体系等。

所述手势交互评价指标体系，包含运动手势交互评价指标体系、视觉手势交互评价指标体系、肌电手势交互评价指标体系，3种指标体系都分别包含传感器采样延迟率、手势数量、手势识别率等指标；

所述语音交互评价指标体系，包含支持命令词识别和连续语音识别、命令词识别词汇量、恶劣环境下的命令词语音识别率、非特定人非标准普通话的语音变异补偿功能等指标；

所述眼动交互评价指标体系，包含支持的眼部动作数量、眼动识别率等指标；

人机交互效能评价包括人机交互客观评价和人机交互主观评价，所述人机交互客观评价采用绩效度量方法，在绩效度量中的参照数包括：任务时间、任务成功、任务效率和任务错误；

虚拟场景的人机交互操作任务的成功测量即为被试者(人机交互操作完成者)能在最大程度上有效完成一系列人机交互任务，用R表示任务完成结果，如果任务成功，则R＝1；如果任务失败，则R＝0：

其中

表示平均任务时间，n表示测试者人数，N表示错误次数，η_i表示效率， i＝1,2,...,n，；t_n表示完成第n个任务所需时间，n_n表示第n个任务的错误次数，x_i表示第i个任务成功完成所需时间，t_i表示第i个任务完成所需时间(包含错误完成时间)。任务时间是指被试者完成一项实验任务的用时并进行记录；

任务成功是指测量过程中实验任务完成度，记录是否完成；

任务效率是指被测试者完成任务所完成的状态，也能够记录被测试者完成任务的成功完成时间；

任务错误是指测量过程中被试者在完成任务过程中所进行的错误操作次数；

所述人机交互主观评价采用量表形式完成；

人机交互客观评价的测试内容包括：

1)被试者语音被系统正确识别的次数和错误识别的次数以及语音交互所占用的时长统计；

2)被试者语音输入能否被快速地执行，主要统计语音交互识别正确率和系统反馈时延；

3)被试者手势动作正确完成并被准确识别的次数和错误识别的次数以及手势交互时长统计；

4)被试者能够快速地学习手势动作行为，主要统计平均学习次数；

5)被试者能够完成的静态手势和动态手势种类；

6)被试者手势动作输入能否被快速地执行，主要统计手势交互识别正确率和系统反馈时延；

7)被试者能否使用校准模块校准视线，其中包括跟踪速度，平均校准时间；

8)被试者能否快速的学习眼跳行为，主要统计平均学习次数；

9)被试者能否使用视线快速找到交互目标项。

10)眼动类型(凝视、尾随、眼跳、眨眼)能否被有效检测并执行，主要统计眼动识别成功率。

3、所述用户认知能力监控方法，认知能力是指用户在与系统进行交互过程中的所有感知和反应，关注用户交互使用系统过程的流畅性、自主性、解决问题的效率；用户认知能力监控方法，采用脑电EEG(Electro-Encephalo Gram，脑电图)不间断地记录用户在与系统人机交互过程中的脑神经反应情况，测量动态性的认知能力，在测量过程中结合主观测量量表和行为绩效方面的数据综合反映认知能力水平。

所述人机交互负荷量化方法，一是，首先采用交互体验脑信号处理方法对脑电信号数据进行预处理(综合使用Curry7.0系列软件、Matlab和eeglab工具箱来)，包含：①脑电信号伪迹和干扰处理；②脑电信号的特征提取；③脑电EEG指标的选取；④主观评价量表选取，二是，进行人机交互疲劳度量化。

所述脑电信号伪迹和干扰处理，包括：

步骤1，测试数据检查和剔除：通过数据筛查，人工剔除在脑电数据中没有完全记录标记的用户测试数据；

步骤2，在eeglab中导入电极位置信息，并将数据采样率转化为250Hz；

步骤3，滤波：初步滤除伪迹和干扰，在滤波过程中使用1Hz高通滤波器，调用 pop_eegfiltnew函数和FIR filter进行滤波；

步骤4，使用Cleanline去除50Hz线噪；

步骤5，用独立成分分析方法进一步消除眼电干扰和肌电伪迹；

步骤6，脑电信号分为平静阶段和任务阶段，其中平静阶段选取实验开始前的30s脑电信号进行分析，任务阶段取每个测试用户在各个任务持续时间内所产生的脑电信号进行分析。

所述脑电信号的特征提取，采用节律能量来提取脑电信号特征，每个测试用户的脑电信号经过预处理之后得到干净的脑电信号后，节律波能量对每一频段的节律波按照时间序列进行幅值的运算，得到每个测试用户各个电极点在相应频段的波形，然后计算各节律波的能量值和相对能量，最后进行统计分析和做出脑地形图。

所述脑电EEG指标的选取，采集提取测试用户脑电的δ、θ、α、β、γ五种频带的指标，作为测量交互体验的脑电指标。

所述主观评价量表选取，是指设计主观体验评价问卷，在测试用户完成设定的任务后，对交互过程进行主观测量，根据最佳体验相关研究设计，采用的主观评价量表包括脑力需求、体力需求、时间需求、努力程度、业绩水平和受挫程度，如表1所示。

表1

第一步：被试者仔细阅读上述各个因素的详细说明，根据自身的实际工作情况，分别在下列6条直线上相应刻度做出标记，业绩水平从左到右表示从好到差，其余均为逐渐增加。

第二步：如图4所示，下面对6个因素进行两两比较，在更容易引起工作过程中的疲劳感的因素前打勾。

4、所述人机交互疲劳度量化，采用两种方法进行量化：①信号降噪处理方法；②交互操作疲劳度实验信号特征提取方法。

所述信号降噪处理方法，是对交互操作疲劳度sEMG(surface Electro MyoGraph，表面肌电图)数据进行降噪处理，如图2所示：使用小波降噪的方法对交互操作疲劳度sEMG数据进行处理，首先确定既定小波需要分解的层次数目N，按照需要分解的层次数目N进行分层分解计算；对分层计算的结果进行分析，提取每层的高频系数并选取合理阈值(例如：8)后采用软阈值量化处理的办法处理高频系数；最终按照小波分解第N层的低频系数以及从第一层到第N层量化处理后的高频系数对一维信号小波进行重构；

对数据进行小波变换的过程中，首先分解小波函数，然后对选取适用值后的信号参数进行阈值处理，最后选择合适的阈值进行数据分析；然后再进行逆小波变化，得到的降噪后的信号。

所述交互操作疲劳度实验信号特征提取方法，是指获得实验过程中的信号样本后，采用线性分析的方法，在时频和频域对所需要的人机交互疲劳度信号进行提取，获取峰值Max、峭度指标Kutosis、积分肌电值sEMG、均方根RMS、中位频率MF和平均功率频率MPF。

5、所述构建人机交互效能综合评价模型，是以人机交互负荷量化数据作为输入(数据指标项包含：视物模糊、眼睛酸痛、眼睛发涨、颈部酸痛、腰部酸痛、肩部酸痛、头脑不清、困倦、精神不集中)，运用模糊评价的原理，确定模糊集合和评价集合，综合评价模型输出各交互方式的用户体验综合评分，如图5所示，具体包括如下步骤：

步骤a1，构建隶属函数；

步骤a2，计算指标权重；

步骤a3，建立综合模糊矩阵。

步骤a1中，采用三角函数作为隶属函数(图3a和图3b为其函数图像)；

步骤a2中，引入权重矢量，用于衡量评价体系中各因素对总目标的重要程度，采用基于群组AHP(Analytical Hierarchy Process，层次分析法)进行权重矢量构建，通过度量人机交互绩效和疲劳度来确定上表中各项指标的权重，聚合主观评价并对其分析进一步得到权重，最后运用层次分析法叠加主观评价子权重和专家评分得出关于各个评价指标的最终权重；

步骤a3包括构建模糊评判矩阵和获取模糊综合评价结果。

具体实现中，本申请提供计算机存储介质以及对应的数据处理单元，其中，该计算机存储介质能够存储计算机程序，所述计算机程序通过数据处理单元执行时可运行本发明提供的一种关于虚拟场景的多模态人机交互的性能评估方法的发明内容以及各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体 (read-onlymemory，ROM)或随机存储记忆体(random access memory，RAM)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术方案可借助计算机程序以及其对应的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机程序即软件产品的形式体现出来，该计算机程序软件产品可以存储在存储介质中，包括若干指令用以使得一台包含数据处理单元的设备(可以是个人计算机，服务器，单片机。MUU或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本发明提供了一种关于虚拟场景的多模态人机交互的性能评估方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种关于虚拟场景的多模态人机交互的性能评估方法，其特征在于，包括以下步骤：

步骤1，分析需求：确定效能评估的环境条件，对沉浸式人机交互系统进行分析，明确人机交互评估对象及人机交互评估任务，确定人机交互评估任务的影响因素及相互关系；

步骤2，建立人机交互效能评价体系：依据将要进行效能评估的对象的影响因素，建立合理的人机交互效能评估的指标体系；

步骤3，确定评估方法：依据评估条件、评估对象的特点和评估指标体系，选择合适的评估方法，所述评估方法包括用户认知能力监控方法和人机交互负荷量化方法；

步骤4，建立评估模型：依据人机交互效能评价体系和选择的评估方法，构建人机交互效能综合评价模型；

步骤5，获得评估结果：通过构建的人机交互效能综合评价模型与收集的实验数据进行测试实验，并对数据进行处理和分析，获取评估的结果，对系统效能进行综合评估与决策。

2.根据权利要求1所述的方法，其特征在于，步骤1中，所述确定效能评估的环境条件是指要求测试者头部佩戴脑电设备、AR设备和语音采集设备，上臂佩戴肌电采集设备，手部佩戴数据手套手势交互设备，AR设备中部署沉浸式电子沙盘软件，测试时启动所述软件，测试者在AR环境下，浏览虚拟沉浸式人机交互界面，并通过语音、手势和眼动在AR环境中操作，部署在PC上的脑电数据采集系统实时采集脑电数据；

所述人机交互评估对象是指测试者在AR环境中通过语音、手势、眼动进行操控时的认知能力以及交互负荷，所述人机交互评估任务是指计算获取认知能力和交互负荷的量化结果。

3.根据权利要求2所述的方法，其特征在于，步骤1中，所述沉浸式人机交互系统包含沉浸式电子沙盘展现子模块、眼动交互子模块、语音交互子模块、手势交互子模块；

所述沉浸式电子沙盘展现子模块用于对电子沙盘整体地形、地貌、道路、水系、植被、军事设施以及军事目标进行沉浸式360°AR展现；

所述眼动交互子模块提供眼睛凝视、扫视、尾随、眼跳操控沉浸式场景中的虚拟物体；

所述语音交互子模块提供命令词和连续语音交互识别操控虚拟物体能力；

所述手势交互子模块提供捏取移动、旋转、放缩、挥动、握拳、张开手势以及静态手势识别操控虚拟物体能力；

步骤2中，所述建立人机交互效能评价体系，是指采用自顶向下递阶层次指标体系建立法来构建的系统的指标体系，包括手势交互评价指标体系、语音交互评价指标体系和眼动交互评价指标体系；

所述采用自顶向下递阶层次指标体系建立法来构建的系统的指标体系，是将系统自上而下逐步细化，每一层都是对上一层问题的具体划分，逐层细划直到得出整体的指标体系架构为止；

所述手势交互评价指标体系，具体是指多模态手势传感器采样延迟率、动态和静态手势类别数、手势识别率；

所述语音交互评价指标体系具体包含命令词识别和连续语音识别准确率，恶劣环境下的命令词语音识别率以及命令词识别词汇量；

所述眼动交互评价指标体系具体包含支持的眼部动作类别数、眼动识别率；

人机交互效能评价包括人机交互客观评价和人机交互主观评价，所述人机交互客观评价采用绩效度量方法，在绩效度量中的参照数包括：任务时间、任务成功、任务效率和任务错误；

虚拟场景的人机交互操作任务的成功测量即为被试者能在最大程度上有效完成一系列人机交互任务，用R表示任务完成结果，如果任务成功，则R＝1；如果任务失败，则R＝0：

其中

表示平均任务时间，n表示测试者人数，N表示错误次数，η_i表示效率，i＝1,2,...,n；t_n表示完成第n个任务所需时间，n_n表示第n个任务的错误次数，x_i表示第i个任务成功完成所需时间，t_i表示第i个任务完成所需时间；任务时间是指被试者完成一项实验任务的用时并进行记录；

任务成功是指测量过程中实验任务完成度，记录是否完成；

任务效率是指被测试者完成任务所完成的状态，也能够记录被测试者完成任务的成功完成时间；

任务错误是指测量过程中被试者在完成任务过程中所进行的错误操作次数；

所述人机交互主观评价采用量表形式完成。

4.根据权利要求3所述的方法，其特征在于，步骤3中，所述用户认知能力监控方法，认知能力是指用户在与系统进行交互过程中的所有感知和反应，关注用户交互使用系统过程的流畅性、自主性、解决问题的效率；用户认知能力监控方法，采用脑电EEG不间断地记录用户在与系统人机交互过程中的脑神经反应情况，测量动态性的认知能力，在测量过程中结合主观测量量表和行为绩效方面的数据综合反映认知能力水平。

5.根据权利要求4所述的方法，其特征在于，步骤3中，所述人机交互负荷量化方法，一是，首先对脑电信号数据进行预处理，包含：脑电信号伪迹和干扰处理；脑电信号的特征提取；脑电EEG指标的选取；主观评价量表选取，二是，人机交互疲劳度量化。

6.根据权利要求5中所述的方法，其特征在于，所述脑电信号伪迹和干扰处理，包括：

步骤a1，测试数据检查和剔除：通过数据筛查，剔除在脑电数据中没有完全记录标记的用户测试数据；

步骤a2，在eeglab中导入电极位置信息，并将数据采样率转化为250Hz；

步骤a3，滤波：初步滤除伪迹和干扰，在滤波过程中使用1Hz高通滤波器，调用pop_eegfiltnew函数和FIR filter进行滤波；

步骤a4，使用Cleanline去除50Hz线噪；

步骤a5，用独立成分分析方法进一步消除眼电干扰和肌电伪迹；

步骤a6，脑电信号分为平静阶段和任务阶段，其中平静阶段选取实验开始前的X秒脑电信号进行分析，任务阶段取每个测试用户在各个任务持续时间内所产生的脑电信号进行分析。

7.根据权利要求6中所述的方法，其特征在于，所述脑电信号的特征提取，采用节律能量来提取脑电信号特征，每个测试用户的脑电信号经过滤波和消噪处理之后得到干净的脑电信号后，节律波能量对每一频段的节律波按照时间序列进行幅值的运算，得到每个测试用户各个电极点在相应频段的波形，然后计算各节律波的能量值和相对能量，最后进行统计分析和做出脑地形图。

8.根据权利要求7中所述的方法，其特征在于，所述脑电EEG指标的选取，采集提取测试用户脑电的δ、θ、α、β、γ五种频带的指标，作为测量交互体验的脑电指标。

9.根据权利要求8中所述的方法，其特征在于，所述主观评价量表选取，是指设计主观体验评价问卷，在测试用户完成设定的任务后，对交互过程进行主观测量，根据最佳体验相关研究设计，采用的主观评价量表包括脑力需求、体力需求、时间需求、努力程度、业绩水平和受挫程度。

10.根据权利要求9中所述的方法，其特征在于，所述人机交互疲劳度量化，采用两种方法进行量化：信号降噪处理方法；交互操作疲劳度实验信号特征提取方法；

所述信号降噪处理方法，是对交互操作疲劳度sEMG数据进行降噪处理：使用小波降噪的方法对交互操作疲劳度sEMG数据进行处理，首先确定既定小波需要分解的层次数目N，按照需要分解的层次数目N进行分层分解计算；对分层计算的结果进行分析，提取每层的高频系数并选取合理阈值后采用软阈值量化处理的办法处理高频系数；最终按照小波分解第N层的低频系数以及从第一层到第N层量化处理后的高频系数对一维信号小波进行重构；

对数据进行小波变换的过程中，首先分解小波函数，然后对选取适用值后的信号参数进行阈值处理，最后选择合适的阈值进行数据分析；然后再进行逆小波变化，得到的降噪后的信号；

所述交互操作疲劳度实验信号特征提取方法，是指获得实验过程中的信号样本后，采用线性分析的方法，在时频和频域对所需要的人机交互疲劳度信号进行提取，获取峰值Max、峭度指标Kutosis、积分肌电值sEMG、均方根RMS、中位频率MF和平均功率频率MPF；

步骤4中，所述构建人机交互效能综合评价模型，是以人机交互负荷量化数据作为输入，运用模糊评价的原理，确定模糊集合和评价集合，综合评价模型输出各交互方式的用户体验综合评分，具体包括如下步骤：

步骤b1，构建隶属函数；

步骤b2，计算指标权重；

步骤b3，建立综合模糊矩阵；

步骤b1中，采用三角函数作为隶属函数；

步骤b2中，引入权重矢量，用于衡量评价体系中各因素对总目标的重要程度，采用基于群组AHP进行权重矢量构建，通过度量人机交互绩效和疲劳度来确定主观评价量表中各项指标的权重，聚合主观评价并对其分析进一步得到权重，最后运用层次分析法叠加主观评价子权重和专家评分得出关于各个评价指标的最终权重；

步骤b3包括构建模糊评判矩阵和获取模糊综合评价结果，模糊评判矩阵是决策阶段的重要分析工具，基于专家主观判断和经验假设进行定量分析各影响因素对交互效能的影响。

Images