CN112256122B

CN112256122B - 基于精神疲劳的操控工效分析方法、设备及系统

Info

Publication number: CN112256122B
Application number: CN202011021841.2A
Authority: CN
Inventors: 李小俚; 赵小川; 顾恒; 姚群力; 丁兆环; 张昊; 柳传财; 张予川
Original assignee: Beijing Normal University
Current assignee: Beijing Normal University
Priority date: 2020-09-25
Filing date: 2020-09-25
Publication date: 2022-08-19
Anticipated expiration: 2040-09-25
Also published as: CN112256122A

Abstract

本公开提供了一种基于精神疲劳的操控工效分析方法、设备及系统，该方法包括：获取操控选手操控目标对象执行目标任务产生的操控行为数据和生理信息数据；根据所述操控行为数据和所述生理信息数据，确定预设的与精神疲劳评价指标对应的第一生理特征向量的向量值；将所述第一生理特征向量的向量值输入预置的精神疲劳识别模型，获得所述操控选手对于所述精神疲劳评价指标的评分；根据所述操控选手对于所述精神疲劳评价指标的评分，获得所述操控选手的操控评分；根据所述操控评分，执行设定的操作。

Description

基于精神疲劳的操控工效分析方法、设备及系统

技术领域

本公开涉及操控工效自动分析技术领域，更具体地，涉及一种基于精神疲劳的操控工效分析方法、一种基于精神疲劳的操控工效分析设备、及一种基于精神疲劳的操控工效分析系统。

背景技术

不同操控人员操控同一目标对象执行目标任务，会具有不同的操控工效，例如，不同操控人员操控同一型号的无人机执行同一目标任务，会有不同的表现，有的操控人员可以以较短的时间完成目标任务，有的操控人员在执行目标任务时具有良好的心理状态等等。分析操控人员操作目标对象执行目标任务时表现出的操控工效，能够作为选拔操控该目标对象的操控人员的依据，还能够作为评价任意操控人员与任意运动控制装置之间的适配度的依据。目前，在分析操控工效时，通常是组织专家为操作人员操控目标对象执行目标任务进行人工打分，以通过打分结果反映对应的操控工效，分数越高，操控工效越高。该种人工打分的方式不仅耗费大量的人力，而且打分结果因过度依赖于人为主观因素而存在准确性低及有失公平性的问题，因此，有必要提供一种智能化的分析操控工效的方案。

发明内容

本公开实施例的一个目的是提供一种用于分析操控工效的新技术方案。

根据本公开的第一方面，提供了一种基于精神疲劳的操控工效分析方法，包括：

获取操控选手操控目标对象执行目标任务产生的操控行为数据和生理信息数据；

根据所述操控行为数据和所述生理信息数据，确定预设的与精神疲劳评价指标对应的第一生理特征向量的向量值；其中，所述第一生理特征向量包括影响所述精神疲劳评价指标的多个第一生理特征；

将所述第一生理特征向量的向量值输入预置的精神疲劳识别模型，获得所述操控选手对于所述精神疲劳评价指标的评分；其中，所述精神疲劳识别模型反映第一生理特征向量与精神疲劳评价指标的评分之间的映射关系；

根据所述操控选手对于所述精神疲劳评价指标的评分，获得所述操控选手的操控评分；根据所述操控评分，执行设定的操作。

可选的，所述生理信息信号包括脑电信号；任一生理特征向量包括脑电特征；

确定任一生理特征向量的向量值的步骤包括：

获取所述脑电信号的脑电功率谱，作为目标脑电功率谱；

从预设的多个功率谱分类中，确定所述目标脑电功率谱所对应的功率谱分类，作为目标功率谱分类；

根据所述目标功率谱分类所对应的脑节律，确定对应生理特征向量的向量值。

可选的，所述方法还包括获得功率谱分类的步骤，包括：

获取多个参考脑电信号的参考脑电功率谱；

基于多种聚类算法，分别对所述多个参考脑电功率谱进行聚类，得到对应每种聚类算法的聚类结果；

基于共识聚类算法，根据对应每种聚类算法的聚类结果，得到所述多个功率谱分类，其中，每一所述功率谱分类中包含至少一个参考脑电功率谱。

可选的，所述方法还包括获得所述精神疲劳识别模型的步骤，包括：

获取第一训练样本，其中，一个第一训练样本对应一位测试人员，一个第一训练样本反映对应测试人员的第一生理特征向量的向量值与已知的所述精神疲劳评价指标的评分之间的映射关系；

根据所述第一训练样本对高斯模型进行训练，得到所述精神疲劳识别模型。

可选的，所述根据所述第一训练样本对高斯模型进行训练，得到所述精神疲劳识别模型包括：

根据所述第一训练样本的所述第一生理特征向量的向量值，以所述高斯模型的第一网络参数为变量，确定所述第一训练样本的精神疲劳评分预测表达式；

根据所述第一训练样本的精神疲劳评分预测表达式以及所述第一训练样本的所述精神疲劳评价指标的评分，构建第一损失函数；

根据所述第一损失函数确定所述第一网络参数，得到所述精神疲劳识别模型。

可选的，所述方法还包括：

通过最大化对数边缘概率选择所述高斯模型的超参数；

基于自适应花粉传播算法优化所述超参数。

可选的，所述方法还获得所述第一生理特征向量的步骤，包括：

获取第三训练样本，其中，一个第三训练样本对应一位测试人员，一个第三训练样本包括对应测试人员的操控行为数据和生理信息数据；

对于每一所述第三训练样本，确定预设的各生理特征的特征值；

利用典型相关分析算法，根据所述第三训练样本的各生理特征的特征值，从各生理特征中选择设定数量个生理特征，作为所述第一生理特征；

根据所述第一生理特征，得到所述第一生理特征向量。

可选的，获取所述生理信息数据的步骤包括：

获取各生理信息采集设备提供的生理信息数据，其中，任意所述生理信息采集设备提供的生理信息数据包括生理信号数据和生理图像数据中的至少一项。

可选的，所述获取各生理信息采集设备提供的生理信息数据包括：

控制所述各生理信息采集设备同步进行各自的采集操作；

获取所述各生理信息采集设备通过各自的采集操作输出的生理信息数据。

可选的，所述各生理信息采集设备包括脑电采集设备、皮电采集设备、心电采集设备、眼动追踪设备、用于采集面部表情的视频采集设备、用于采集语音的语音采集设备中的至少一种；

其中，所述脑电采集设备提供的生理信息数据包括脑电信号和脑电图像中的至少一项；所述皮电采集设备提供的生理信息数据包括皮电信号和皮电图像中的至少一项；所述心电采集设备提供的生理信息数据包括心电信号和心电图像中的至少一项；所述眼动追踪设备提供的生理信息数据包括眼部特征的变化数据和眼部图像数据中的至少一项；所述视频采集设备提供的生理信息数据包括面部视频信号和面部特征的变化数据中的至少一项；所述语音采集设备提供的生理信息数据包括语音信号和声波图像中的至少一项。

可选的，所述执行设定的操作包括以下至少一项：

第一项，输出所述操控评分；

第二项，根据所述操控评分，提供所述操控选手是否入选的选拔结果；

第三项，根据所述操控评分，确定所述操控选手的操控等级；

第四项，根据所述操控评分，确定所述操控选手所执行的操控任务；

第五项，根据同一操控选手通过不同运动控制装置操控目标对象执行目标任务的操控评分，选出使得所述操控评分满足设定要求的操控组合，其中，一个操控组合包括相适配的操控选手和运动控制装置。

可选的，所述方法还包括：

响应于设置应用场景的操作，提供设置入口；

获取通过所述设置入口输入的应用场景，其中，所述输入的应用场景反映基于操控评分所要执行的操作；

根据所述输入的应用场景，确定所述设定的操作的操作内容。

可选的，所述方法还包括：

提供对应所述目标任务的虚拟场景，其中，所述目标对象为所述虚拟场景下的虚拟对象。

获取所述操控选手通过操控运动控制装置产生的控制命令，并根据所述控制命令更新所述虚拟场景；

获取所述虚拟场景产生的反馈数据，并将所述反馈数据发送至所述运动控制装置。

可选的，所述获取操控选手操控目标对象执行目标任务产生的操控行为数据和生理信息数据包括：

获取所述操控选手在所述虚拟场景下，操控所述目标对象执行所述目标任务产生的操控行为数据和生理信息数据。

可选的，所述方法包括：

响应于配置所述目标任务的操作，提供配置接口；

获取通过所述配置接口输入的对于所述目标任务的配置信息；

根据所述配置信息，提供对应所述目标任务的虚拟场景。

根据本公开的第二方面，提供了一种包括至少一个计算装置和至少一个存储装置的基于精神疲劳的操控工效分析设备，其中，

所述至少一个存储装置用于存储指令，所述指令用于控制所述至少一个计算装置执行根据本公开第一方面所述的方法。

根据本公开的第三方面，提供了一种基于精神疲劳的操控工效分析系统，所述系统包括任务执行设备、各生理信息采集设备、及本公开第二方面所述的操控工效分析设备，其中，所述任务执行设备及各生理信息采集装置均与所述操控工效分析设备通信连接。

可选的，所述任务执行设备包括被操控的目标对象和用于操控目标对象的运动控制装置，所述目标对象与所述运动控制装置通信连接。

可选的，所述运动控制装置为飞行控制装置，通过所述飞行控制装置操控的目标对象为无人机。

本公开实施例的一个有益效果在于，本公开实施例的方法通过操控选手操控目标对象执行目标任务产生的操控行为数据和生理信息数据，得到与精神疲劳评价指标对应的第一生理特征向量的向量值，基于精神疲劳识别模型，根据第一生理特征向量的向量值给出操控选手对于精神疲劳评价指标的评分，进而根据操控选手对于精神疲劳评价指标的评分确定该操控选手的操控评分，根据该操控评分，可以进行对于目标对象的操控人员的选拔、进行操控人员的评级、和/或进行操控人员和运动控制装置间的匹配等。根据本实施例的方法，能够自动完成操控工效的分析，能够节约人工成本和时间成本，另外，根据本实施例的方法进行的分析，大大降低了对于专家经验的依赖，提高了分析的准确性和有效性。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据一个实施例的基于精神疲劳的操控工效分析系统的组成结构示意图；

图2是根据另一个实施例的基于精神疲劳的操控工效分析系统的组成结构示意图；

图3是根据另一个实施例的基于精神疲劳的操控工效分析设备的硬件结构示意图；

图4是根据一个实施例的基于精神疲劳的操控工效分析方法的流程示意图；

图5是根据一个实施例的结构方程模型的示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

<系统实施例>

图1和图2是可应用本公开实施例的方法的一种可选的基于精神疲劳的操控工效分析系统100的组成结构示意图。

如图1所示，该操控工效分析系统100可以包括电子设备110、任务执行设备120和各生理信息采集设备130。

该电子设备110可以是服务器，也可以是终端设备，在此不做限定。

该服务器例如可以是刀片服务器、机架式服务器等，服务器也可以是部署在云端的服务器集群等。该终端设备可以是PC机、笔记本电脑、平板电脑等任意的具有数据处理能力的设备。

该电子设备110可以包括处理器1101、存储器1102、接口装置1103、通信装置1104、显示装置1105、输入装置1106。

存储器1102用于存储计算机指令，存储器1102例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。处理器1101用于执行计算机程序，该计算机程序可以采用比如x86、Arm、RISC、MIPS、SSE等架构的指令集编写。接口装置1103例如包括各种总线接口，例如，包括串行总线接口(包括USB接口等)、并行总线接口等。通信装置1104例如能够进行有线或无线通信，例如采用RJ45模块、WIFI模块、2G～6G移动通讯模块、蓝牙模块的网络适配器等的至少一种进行通信。显示装置1105例如是液晶显示屏、LED显示屏触摸显示屏等。输入装置1106例如可以包括触摸屏、键盘、鼠标等。

本实施例中，电子设备110的存储器1102用于存储计算机指令，该计算机指令用于控制处理器1101进行操作以实施根据本公开任意实施例的操控工效分析方法。技术人员可以根据本公开所公开方案设计该指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。

尽管在图1中示出了电子设备110的多个装置，但是，本公开可以仅涉及其中的部分装置，例如，电子设备110只涉及存储器1102、处理器1101和通信装置1104等。

在一个实施例中，如图1所示，任务执行设备120可以是基于真实环境的执行设备，该任务执行设备120包括运动控制装置1201及与运动控制装置1201通信连接的目标对象1202，即目标操控对象，操控人员可以通过运动控制装置1201操控目标对象1202执行目标任务。例如，该目标对象1202为无人机，该运动控制装置1201为用于操控无人机的飞行控制装置。又例如，该目标任务包括在设定环境下完成八字飞行、自旋飞行、集群飞行等中的至少一项。再例如，该设定环境包括风、雨、雾等等。当然，该目标对象1202还可以是其他被控对象，例如无人车辆、任意类型的机器人等，在此不做限定。

该实施例中，操控人员可以通过运动控制装置1201向目标对象1202发送控制命令，以使目标对象1202根据该控制命令动作。该目标对象1202在被控执行目标任务的过程中，会采集运动状态数据，并向运动控制装置1201反馈该运动状态数据，以供操作人员做控制判断等。

该运动控制装置1201例如可以包括遥控器和遥控手柄中的至少一项。

该运动控制装置1201可以包括处理器、存储器、接口装置、输入装置和通信装置等。该存储器可以存储计算机指令，该处理器在运动该指令时，可以执行：根据操作人员对输入装置的操作，向目标对象1202发送对应的控制命令的操作；获取目标对象返回的运动状态数据，并进行相应处理的操作；以及，向电子设备110上传采集到的操控结果数据等，在此不做进一步说明。

该目标对象1202可以包括处理器、存储器、通信装置、动力装置、各传感器等。该存储器可以存储计算机指令，该处理器在运动该指令时，可以执行：根据运动控制装置1201发送的控制命令，控制目标对象1202的动力装置等执行相应的动作；获取各传感器采集到的数据，形成运动状态数据；以及，控制通信装置将运动状态数据发送至运动控制装置1201等。

该实施例中，任务执行设备120与电子设备110通信连接，以向电子设备110上传操控结果数据。例如，这可以是任务执行设备120通过运动控制装置1201与电子设备110通信连接。又例如，这也可以是运动控制装置1201与目标对象1202均与电子设备110通信连接，在此不做限定。

在另一个实施例中，如图2所示，该任务执行设备120可以是基于虚拟环境的半实物仿真的任务执行设备，该任务执行设备120可以包括终端设备1203和真实的运动控制装置1201，该终端设备1203用于提供对应目标任务的虚拟场景，即，仿真场景，该实施例中，目标对象1202也即为虚拟场景下的虚拟对象。该实施例中，运动控制装置1201与终端设备1203通信连接，以实现运动控制装置1201与虚拟场景间的数据和/或命令的交互，进而使得操控人员能够通过运动控制装置1201在虚拟场景下操控目标对象1202执行目标任务。

该实施例中，终端设备1203可以具有与电子设备110类似的硬件结构，在此不再赘述，该终端设备1203与电子设备110可以是在物理上相互分离的设备，也可以同一设备，即，也可以由电子设备110提供上述虚拟环境，在此不做限定。

图1中，各生理信息采集设备130用于提供电子设备在实施根据任意实施例的操控工效分析方法所需的生理信息数据。各生理信息采集设备130与电子设备110通信连接，以向电子设备110上传各自提供的生理信息数据。

各生理信息采集设备130包括脑电采集设备1301、皮电采集设备1302、心电采集设备1303、用于采集面部表情的视频采集设备1304、眼动追踪设备1305和用于采集语音的语音采集设备1306中的至少一种。

脑电采集设备1301提供的生理信息数据包括脑电信号和脑电图像中的至少一项。

皮电采集设备1302提供的生理信息数据包括皮电信号和皮电图像中的至少一项。

心电采集设备1303提供的生理信息数据包括心电信号和心电图像中的至少一项。

视频采集设备1304提供的生理信息数据可以包括面部特征的变化数据和面部图像数据中的至少一项。

眼动追踪设备1305提供的生理信息数据可以包括眼部特征的变化数据和眼部图像数据中的至少一项。

语音采集设备1306提供的生理信息数据可以包括语音信号和声波图像中的至少一项。

任意生理信息采集设备130可以包括前端的采集装置和与采集装置连接的数据处理电路，前端的采集装置用于采集原始数据，其可以为与操控选手接触的电极装置，数据处理电路用于对原始数据进行相应的预处理，该预处理包括信号放大、滤波、去噪、陷波处理中的至少一项，该数据处理电路可以是通过电子元器件搭建的基础电路实现，也可以是由处理器运行指令实现，还可以通过两者的结合实现，在此不做限定。

以上电子设备110与任务执行设备120，以及电子设备110与各生理信息采集设备130之间可以通过有线或者无线的方式通信连接，在此不做限定。

在一个实施例中，如图3所示，本公开提供了一种包括至少一个计算装置1401和至少一个存储装置1402的基于精神疲劳的操控工效分析设备140，其中，该至少一个存储装置1402用于存储指令，该指令用于控制至少一个计算装置1401执行根据本公开任意实施例的操控工效分析方法。该操控工效分析设备140可以包括至少一个电子设备110，还可以包括终端设备1203等，在此不做限定。

<方法实施例>

图4是根据一个实施例的基于精神疲劳的操控工效分析方法的流程示意图，该方法例如可以由如图3所示的操控工效分析设备140实施。本实施例中，以分析一位操控选手通过一种任务执行设备执行一个目标任务为例，说明本实施例的操控工效分析方法，该方法可以包括如下步骤S410～S450：

步骤S410，获取操控选手操控目标对象执行目标任务产生的操控行为数据和生理信息数据。

本实施例中，该操控行为数据可以由任务执行设备120提供，也可以由任务执行设备120向操控工效分析设备140提供用于计算操控行为数据的基础数据，并由操控工效分析设备140根据该基础数据计算得到该操控行为数据，以供在本步骤S410进行获取。

该操控行为数据可以包括反映操控选手在执行目标任务的过程中，对任务执行设备120的操控行为的数据，还可以包括操控选手在执行完目标任务后对自身认知状态的主观评价结果。其中，反映操控选手在执行目标任务的过程中，对任务执行设备120的操控行为的数据可以包括：目标对象的移动轨迹、操控杆的加速度、操控杆的角度等。

操控选手在执行完目标任务后对自身精神疲劳状态的主观评价量表可以是如下表1所示。操控选手可以是根据主观评价量表来对自身认知状态进行主观评价。

表1

评价等级	操控选手表现
		1	完全清醒、精力充沛
2	非常有活力、反映较快
		3	一般清醒
4	有点疲倦、不太清醒
		5	中度疲倦、不太积极
6	极度疲倦、很难集中精力
		7	精疲力竭、不能有效工作

该目标对象例如可以是无人机等。

该目标任务包括任务内容及对应的任务环境等。

在一个实施例中，如图1所示，该操控选手可以通过运动控制装置1201在真实场景中操控目标对象，即，目标对象与任务环境均是真实的。

在另一个实施例中，如图2所示，该操控选手可以通过运动控制装置1201在终端设备1203提供的虚拟场景下操控目标对象，即，目标对象与任务环境均是虚拟的。在该实施例中，为了实现运动控制装置1201与虚拟场景间的数据、命令的交互，该方法还可以包括如下步骤S4011～S4013：

步骤S4011，提供对应该目标任务的虚拟场景，其中，该目标对象为该虚拟场景下的虚拟对象。

步骤S4012，获取操作人员通过操作运动控制装置1201产生的控制命令，并根据该控制命令更新该虚拟场景。

该步骤S4012中，更新虚拟场景包括更新任务环境和目标对象的状态，该状态包括目标对象的位置和姿态等。

步骤S4013，获取虚拟场景产生的反馈数据，并将该反馈数据发送至运动控制装置1201。

该虚拟场景包括由终端设备1203提供的对应目标任务的一切虚拟事物，包括虚拟环境及虚拟对象等等。

该步骤S4013中，该反馈数据可以由虚拟对象的虚拟传感器采集，并由终端设备1203发送至运动控制装置1201，以供操控选手进行操控判断。该反馈数据还可以供设备140获得上述操控结果数据中的至少部分数据。

该实施例中，步骤S410中获取操控选手操控目标对象执行目标任务产生的操控结果数据，可以包括：获取操控选手在该虚拟场景下操控虚拟对象执行目标任务产生的操控结果数据。

该实施例中，该方法还可以包括如下步骤S4021～S4023：

步骤S4021，响应于配置该目标任务的操作，提供配置接口。

该设备140上可以安装仿真应用，该仿真应用的界面上可以提供用于触发配置该目标任务的操作的入口，配置人员通过该入口即可进入配置界面，该配置接口由该配置界面提供。

该配置接口可以包括输入框、勾选项、下拉列表中至少一种形式的接口，以供配置人员配置目标任务。

步骤S4022，获取通过该配置接口输入的对于该目标任务的配置信息。

该步骤S4022中，可以响应于完成配置的操作，获取通过该配置接口输入的该配置信息。该配置信息例如包括反映任务内容和任务环境的信息等。

该步骤S4022中，配置人员例如可以通过配置界面提供的“确认”或者“提交”等按键，触发该完成配置的操作。

步骤S4023，根据该配置信息，提供对应该目标任务的虚拟场景。

该虚拟场景包括对应该目标任务的虚拟对象及虚拟环境等。

根据以上步骤S4021～S4023可知，配置人员可以根据需要，通过配置接口灵活地配置目标任务，以能够通过该设备140提供对应不同目标任务的虚拟场景。

在如图2所示的实施例中，该步骤S410中获取操控选手操控该目标对象执行目标任务产生的生理信息数据，可以包括：获取操控选手在虚拟场景下操控虚拟对象执行目标任务产生的生理信息数据。

该生理信息数据反映该操控选手对于该目标任务的认知能力，认知能力越强，操控选手完成该目标任务越容易，认知能力越弱，操控选手完成该目标任务越艰难。而完成目标任务的难易将在操控选手的生理状态上有对应的反应，例如，心率的反应、脑电的反应、皮电的反应、面部表情的反应、眼球位置的反映、语音的反映等。因此，本实施例中，根据该生理信息数据，可以获得反映该操控选手对于该目标任务的认知能力的各评价指标的评分。

该生理信息数据是包含多个指标数据的多维数据。该生理信息数据例如可以包括反映脑负荷情况的信息数据、反映神经疲劳情况的信息数据、及反映情绪的信息数据中的至少一项。

对应地，用于评价操控选手的认知能力的各评价指标例如包括：精神疲劳评价指标、脑负荷指标和情绪评价指标。根据该生理信息数据，便可以获得对应每一评价指标的评分。

该生理信息数据可以由各生理信息采集设备所提供。

该实施例中，任意生理信息采集设备提供的生理信息数据可以包括生理信号数据和生理图像数据中的至少一项。

例如，各生理信息采集设备包括如图1所示的脑电采集设备1301，该脑电采集设备1301提供的生理信息数据可以包括脑电信号(电信号)和脑电图像中的至少一项。

又例如，各生理信息采集设备包括如图1所示的皮电采集设备1302，该皮电采集设备1302提供的生理信息数据可以包括皮电信号(电信号)和皮电图像中的至少一项。

又例如，各生理信息采集设备包括如图1所示的心电采集设备1303，该心电采集设备1303提供的生理信息数据可以包括心电信号和心电图像中的至少一项。

又例如，各生理信息采集设备包括如图1所示的视频采集设备1304，该视频采集设备1304提供的生理信息数据包括面部特征的变化数据和面部图像数据中的至少一项。该面部特征的变化数据例如包括发生眯眼动作的数据、发生闭眼动作的数据和发生打哈欠动作的数据中的至少一项。

又例如，各生理信息采集设备包括如图1所示的眼动追踪设备1305，该眼动追踪设备1305提供的生理信息数据包括眼部特征的变化数据和眼部图像数据中的至少一项。该眼部特征的变化数据例如包括发生眨眼动作的数据、发生闭眼动作的数据、发生扫视动作的数据、发生注视动作的数据。

再例如，各生理信息采集设备包括如图1所示的语音采集设备1306，该语音采集设备1306提供的生理信息数据包括语音信号和声波图像中的至少一项。

任意生理信息采集设备在通过前端的采集装置采集到原始数据后，可以对原始数据进行信号放大、滤波、去噪、陷波处理中的至少一项预处理，生成该生理信息数据提供给设备140，以供设备140根据获得生理信息数据。

由于该生理信息数据来自于不同的生理信息采集设备，因此，为了使得根据生理信息数据对操控选手的认知能力的评价具有相同的时间基准，在一个实施例中，获取各生理信息采集设备提供的生理信息数据可以包括：控制各生理信息采集设备同步进行采集操作；获取各生理信息采集设备通过对应的采集操作产生的生理信息数据。

该实施例中，例如可以通过设置统一的时钟基准触发各生理信息采集设备同步开始并结束相应的采集操作等。

步骤S420，根据操控行为数据和生理信息数据，确定预设的与精神疲劳评价指标对应的第一生理特征向量的向量值。

其中，第一生理特征向量包括影响精神疲劳评价指标的多个第一生理特征。

各评价指标的评分可以反映该操控选手对于该目标任务的认知能力。各评价指标可以预先设置。

本实施例中第一生理特征向量的向量值可以是通过对应的卷积网络所获取的。

对于第一生理特征向量的向量值，可以反映第一生理特征向量所包含的各第一生理特征的特征值。

由于不同个体的脑节律存在差异，因此，可以是对操控选手的脑节律来对其脑电信号进行分析，得到脑电特征的特征值。那么，在生理信息数据包括脑电信号，任一生理特征向量包括脑电特征的情况下，确定任一生理特征向量的向量值的步骤可以包括如下所示的步骤S4041～S4043：

步骤S4041，获取脑电信号的脑电功率谱，作为目标脑电功率谱。

步骤S4042，从预设的多个功率谱分类中，确定目标脑电功率谱所对应的功率谱分类，作为目标功率谱分类。

步骤S4043，根据目标功率谱分类所对应的脑节律，确定对应生理特征向量的向量值。

在本公开的一个实施例中，该方法还可以包括获得功率谱分类的步骤，包括如下所示的步骤S4051～S4053：

步骤S4051，获取多个参考脑电信号的脑电功率谱，作为参考脑电功率谱。

在本实施例中，可以是采用时频转换算法(如快速傅里叶变换算法)分别将每个参考脑电信号转换为对应的频率信号，得到对应参考脑电信号的参考脑电功率谱。

步骤S4052，基于多种聚类算法，分别对多个参考脑电功率谱进行聚类，得到对应每种聚类算法的聚类结果。

在本实施例中，可以是用多种聚类算法对参考脑电功率谱进行聚类分析，以全面的描述和检索多个参考脑电功率谱内各节律之间的差异性。

由于聚类算法采用随机初始化的方式，因此，聚类时会出现不同聚类算法对同一参考脑电功率谱进行分析得到的聚类结果可能不同，甚至同一聚类算法对相同参考脑电功率谱进行多次分析得到的绝了结果也可能不同。

步骤S4053，基于共识聚类算法，根据对应每种聚类算法的聚类结果，得到多个功率谱分类。

其中，每一功率谱分类中包含至少一个参考脑电功率谱。

本实施例中，基于共识聚类算法，根据对应每种聚类算法的聚类结果，可以得到多个参考脑电功率谱的最终聚类结果，根据该最终聚类结果即可以得到多个功率谱分类。

共识聚类算法是一种针对多种或单一聚类算法多次运行进行稳定性和鲁棒性评估的通用方法，它具有较强的整合多种聚类结果的能力，并能提供比单一聚类方案更好的聚类结果。

本实施例中任一生理特征向量所包含的多个生理特征可以预先设置的。例如，可以是专家根据实验或具体需求从预设的初始生理特征中，选取至少部分初始生理特征形成对应的生理特征向量；也可以利用相关性分析法，从预设的初始生理特征中筛选出与对于操控选手的认知状态相关性较高的至少部分初始生理特征，形成对应的生理特征向量。

本实施例中的生理特征可以包括脑电特征、皮电特征、心点特征、眼动特征、图像特征、语音特征、行为特征中的至少一种。

脑电特征可以包括脑节律特征和/或评估脑电特征。其中，脑节律特征的特征值可以是对脑电信号进行小波变换得到。在一个例子中，评估脑电特征的特征值可以是比较脑电信号的四种信息熵的计算结果所得到的；也可以是通过时频空间下的谱相干估计技术，跨脑区提取得到的；还可以是通过多通道脑电之间的全局同步估计方法全脑提取得到的。

眼动特征可以包括反映眨眼时间的眼动特征、反映眨眼率的眼动特征、反映瞳孔直径的眼动特征、反映注视时间的眼动特征、反映长闭眼时间的眼动特征、反映扫视速度的眼动特征中的至少一项。

皮电特征可以包括时域皮电特征和/或频域皮电特征，时域皮电特征可以包括皮电数据的幅度均值和/或方差，频域皮电特征可以包括交感神经系统(EDASymp)频带的功率谱密度(PSD)。

心电特征可以包括时域心电特征、频域心电特征和频域呼吸特征中的至少一项。时域心电特征可以包括平均心率(HR)、心率变异性(HRV)和NN间隔标准差(SDNN)中的至少一项。频域心电特征可以包括低频(LF)和/或高频(HF)波段的功率谱密度(PSD)。频域呼吸特征可以包括0～2Hz的主呼吸频率(DRF)频带和0.5Hz间隔的呼吸频率(RF)频带的功率谱密度(PSD)。

语音特征可以包括反映总体清晰时间的语音特征、反映总停顿时间的语音特征、反映总对话时间的语音特征、反映停顿数目的语音特征、反映平均停顿时长的语音特征、反映发音率的语音特征、反映清晰发音率的语音特征、反映不流畅发音百分比的语音特征中的至少一项。

图像特征可以包括反映固定时间窗口上的闭眼百分比(PERCLOS)的图像特征、反映眼宽比的图像特征、反映嘴宽比的图像特征、反映哈欠数的图像特征。

行为特征可以包括反映操控目标对象的移动轨迹的行为特征、反映操控杆加速度的行为特征和反映操控杆角度的行为特征中的至少一种。

由于很难估计与操控选手的认知状态相关的每个初始生理特征的重要性，因此，在本公开的一个实施例中，可以利用相关性分析法，从预设的初始生理特征中筛选出与对于操控选手的认知状态相关性较高的至少部分初始生理特征，形成对应的生理特征向量。

具体的，该方法还可以包括获得第一生理特征向量的步骤，包括如下所示的步骤S4061～S4064：

步骤S4061，获取第三训练样本。

其中，一个第三训练样本对应一位测试人员，一个第三训练样本包括对应测试人员的操控行为数据和生理信息数据。

步骤S4062，对于每一第三训练样本，确定预设的各生理特征的特征值。

步骤S4063，利用典型相关分析算法，根据第三训练样本的各生理特征的特征值，从各生理特征中选择设定数量个生理特征，作为第一生理特征。

典型相关分析算法(CCA)可以自动学习最能反映共同内在过程的生理特征。

例如，在初始生理特征包括脑电特征和心电特征的情况下，确定第三训练样本的各脑电特征的特征值X1、及各心电特征的特征值X2。

X1＝[x1₁,x1₂,…,x1_L]，X∈R^U×L

X2＝[x2₁,x2₂,…,x2_L]，X2∈R^V×L

其中，L为第三训练样本的数量，U为脑电特征的数据维度，V为心电特征的数据维度。

利用典型相关分析算法，根据最优的权重

将最大化X1和X2的典型相关：

CCA的解是一组典型变量

和

每个

在第i个数据空间内张成了一个子空间以最大化两个变量间的典型相关性。

典型相关方程可通过下式求解：

其中，Λ为所有广义特征值构成的对角矩阵。

根据求解得到的W_x1和W_x2，可以从脑电特征和心电特征中选取待构建对应的生理特征向量的第一生理特征。

再例如，在初始生理特征还包括皮电特征的情况下，还可以是基于典型相关分析算法，根据前述的从脑电特征和心电特征中选取的第一生理特征的特征值、和第三训练样本的各皮电特征的特征值，从根据前述的从脑电特征和心电特征中选取的第一生理特征和皮电特征中，重新选取待构建对应的生理特征向量的第一生理特征。

步骤S4064，根据第一生理特征，得到第一生理特征向量。

步骤S430，将第一生理特征向量的向量值输入预置的精神疲劳识别模型，获得操控选手对于设定的精神疲劳评价指标的评分。

其中，精神疲劳识别模型可以反映第一生理特征向量与精神疲劳评价指标的评分之间的映射关系。

在本公开的一个实施例中，该方法还可以包括获得精神疲劳识别模型的步骤，包括如下所示的步骤S510～S520：

步骤S510，获取第一训练样本。

其中，一个第一训练样本对应一位测试人员，一个第一训练样本反映对应测试人员的第一生理特征向量的向量值与已知的精神疲劳评价指标的评分之间的映射关系。

第一训练样本中已知的精神疲劳评价指标的评分，可以是根据对应的测试人员对自身精神疲劳状态的主观评价结果所确定的。

步骤S520，根据第一训练样本对高斯模型进行训练，得到精神疲劳识别模型。

高斯模型具有严格的统计理论基础，在处理复杂问题时具有良好的适应性。它的性能优于目前最先进的监督学习方法，如ANN和SVM，并且在同时保持良好性能和灵活的非参数推理能力的情况下易于实现，这在一定程度上解决了ANN和SVM的缺陷。

在本公开的一个实施例中，根据第一训练样本对高斯模型进行训练，得到精神疲劳识别模型可以包括如下所示的步骤S521～S523：

步骤S521，根据第一训练样本的第一生理特征向量的向量值，以高斯模型的第一网络参数为变量，确定第一训练样本的精神疲劳评分预测表达式。

步骤S522，根据第一训练样本的精神疲劳评分预测表达式以及第一训练样本的精神疲劳评价指标的评分，构建第一损失函数。

步骤S523，根据第一损失函数确定第一网络参数，得到精神疲劳识别模型。

高斯过程可以由其均值函数m(x)和核函数k(x,x′)确定，可以表示为：

f～GP(m(x2),k(x2,x2′))

高斯(GP)模型是函数空间上的概率模型，GP可以被视为定义了函数分布的过程，直接在函数空间上进行推断。为了识别精神疲劳状态，使用常数均值进行建模。核函数刻画了GP中不同数据点的相关性，可以通过训练数据学习。本实施例中使用的核函数是平方指数协方差函数，定义如下：

其中，x2和x2′是输入的任意两个第一训练样本的第一生理特征向量的向量值，σ²是信号方差，矩阵P是自动确定相关参数(ARD)对角矩阵，其值为

其中，d为输入空间的维度。在本先验模型中，

为超参数。

数据集为D＝{(x2_i,y2_i)|i＝1,2,…,n}为了对新的数据点x_*(第一训练样本的第一生理特征向量的向量值)进行分类，即f(x2)在x_*处的值，可以认为该函数为高斯先验函数，即任何通过该函数估计的点集具有多元高斯概率密度。假设该先验GP的超参数为Θ，因此，可以通过计算新数据点的类别概率确定其类别标签，即：

p(y2_*|x2_*,D,Θ)＝∫p(y2_*|f2_*,Θ)p(f_*|x2_*,D,Θ)df_*

p(f_*|D,x2_*,Θ)＝∫p(f,f_*|D,x2_*,Θ)df＝∫p(f|D,Θ)p(f_*|f,x2_*,Θ)df

f＝[f₁,f₂,…,f_n]

p(f_*|f,x2_*,Θ)＝p(f,f_*|x2_*,X2,Θ)/p(f|X2,Θ)

隐式地写出f对x2的依赖关系，高斯先验函数可以表示为：

其中，μ是均值，通常可以表示为0。K_i,j＝k(x2_i,y2_j)是X2的协方差矩阵，概率项p(y2_i|f_i,Θ)可以表示为

由此可见，假设p(Y2|f,X2,Θ)是高斯分布是不合适的，而非高斯概率项会缠手后验概率非高斯，所以，后验传播方法通常用后验高斯分布近似后验非高斯分布。

GP可以完全由选择均值函数m(x2)和核函数k(x2,x2′)确定，通常情况下，使用可用的数据集决定高斯模型的性质，即明确超参数的值。确定超参数的值的过程通过可以通过计算数据集的概率来实现。对数边缘概率如下：

可以通过最大化对数边缘概率实现超参数的选择。在本公开的一个实施例中，可以是基于自适应花粉传播算法，优化超参数。

花授粉算法是一种基于植物授粉机理的群智能优化算法。花朵自花授粉在物理位置上距离较近，因此将其对应为优化的局部搜索过程。而异花授粉大部分情况下是传粉者远距离的传粉，故将其对应为全局搜索过程。事实上，植物的花朵授粉过程是十分复杂的，为了使FPA简单易行，假定每棵植物只开一朵花，每朵花只散出一个花粉配子，其中每个花粉配子代表求解问题的一个解。因此，根据花朵授粉的特点，假定算法满足如下理想化规则：

1)异花授粉时，传粉者通过levy飞行进行花粉的传播，该过程映射为全局搜索过程。

2)自花授粉映射为局部搜索过程。

3)花的恒常性被视作是繁衍概率，其与授粉过程中花的相似性有关系。

授粉方式的改变通过切换概率p(p∈[0,1])来控制。即当随机数r<p时，执行自花授粉，否则执行异花授粉。

在异花授粉过程中，传粉者遵从levy飞行规律，飞行相对较远的路程进行授粉，这个过程保证了最适授粉和繁殖，用g_*表示。异花授粉过程的数学表示：

其中，

是在第t次迭代时的解，g_*为在当前迭代的所有解中找出的优化问题的当前最优解。参数L为步长。L满足Levy分布，即

其中，λ＝1.5，为常数。

自花授粉过程可以表示为：

其中，

和

是同次迭代过程中的不同解。如果

和

来自同一个种群，如果ε来自[0,1]均匀分布，那么这个过程就变成了一个局部随机游走。选取p＝0.8为全局与局部搜索切换概率。

花粉传播算法(FPA)具有良好的性能，但是不可避免的存在计算量大、收敛时间长的问题。传统FPA的关键步骤就是全局搜索和局部搜索。因此，提出使用一种自适应的方法使搜索过程更鲁棒。

对于全局搜索，关键步骤就是Levy步长L的设置，L被定义为λ的函数。传统算法中，一般认为λ为一常数，最优设置为1.5。然而，这种固定参数的方式并非对于所有问题都是最优设置，因此，可以使用自适应的Levy步长来提高FPA的整体表现，提出使用自适应的Levy步长因子表示如下：

其中，

是当前要被修正的解，g_*是当前迭代中的最优解。由于2范数项是无线的，可能导致极大的Levy步长，因此，使用投影矩阵A将结果映射到一个可接受的范围。

在本方法中，自适应的Levy步长应与当前解与最优解的距离有关，远距离导致大的步长进行全局搜索，近的距离会移动的更精确以准确搜索。对于局部搜索，传统的FPA依赖于局部授粉而不是全局授粉。在这里，我们提出了另一个Levy飞行策略解决全局授粉过程中的局部搜索，表示如下：

其中，

为修正解，

为当前最优解，γ为局部搜索步长，α为常数，把γ限制在一个小范围内，L为Levy步长。

自适应花授粉流程包括：

步骤1，初始化。

1)设置参数，种群数量n，最大迭代次数T，切换概率p等参数；

2)随机产生初始种群，令t＝0。

步骤2，寻找初始种群的最优花粉g_*。

步骤3，

本实施例使用自适应花授粉算法(AFPA)优化超参数应用于高斯模型，可以提高精神疲劳识别模型的准确性。

步骤S440，根据操控选手对于精神疲劳评价指标的评分，获得操控选手的操控评分。

将操控选手对于精神疲劳评价指标的评分输入预置的结构方程模型，获得操控选手的操控评分。

在本公开的一个实施例中，可以是预先设置有至少一个精神疲劳评价指标。对于每一个评价指标的评分，可以是根据前述对应的实施例得到。

例如，可以是预先设置有精神疲劳内源评价指标、精神疲劳外源评价指标和精神疲劳主观评价指标，根据脑电采集设备、皮电采集设备和心电采集设备所采集的生理信息数据，得到精神疲劳内源评价指标的评分f1；根眼动追踪设备、视频采集设备和语音采集设备所采集的生理信息数据，得到精神疲劳外源评价指标的评分f2；根据操控行为数据中操控选手的对于精神疲劳状态的主观评价，得到精神疲劳主观评价指标的评分f3。

将操控选手对于每一精神疲劳评价指标的评分输入预置的结构方程模型，可以获得操控选手的操控评分。

步骤S450，根据通过步骤S450获得的操控评分，执行设定的操作。

在一个实施例中，该步骤S450中执行设定的操作可以包括第一项操作，即，输出该操控评分。

输出该操控评分可以包括：驱动设备140的显示装置或者与设备140连接的显示装置显示该操控评分。

输出该操控评分也可以包括：将操控评分发送至定制该操控评分的用户登记的终端设备，或者发送至定制该操控评分的用户的用户账号。

该用户例如是操控评级人员，该用户可以向设备140登记该终端设备的设备信息，这样，设备140便可以在获得操控选手的操控评分后，将操控评分发送至该终端设备。

在针对本实施例的方法开发操控分析应用的情况下，操控评级人员可以在自己的终端设备上安装该应用的客户端，并通过登录在该应用中注册的用户账号，获取操控选手的操控评分等。

该终端设备例如是PC机、笔记本电脑或者手机等，在此不做限定。

在一个实施例中，该步骤S440中执行设定的操作可以包括第二项操作，即，根据该操控评分，提供该操控选手是否入选的选拔结果。根据该实施例，可以实现对操控人员的选拔。在此，可以设置分数阈值，并在操控评分高于或者等于该分数阈值的情况下，判定该操控选手入选。该实施例中，执行设定的操作还可以包括：以任意的方式输出该选拔结果。该任意的方式包括显示、打印、发送等等。

在一个实施例中，该步骤S450中执行设定的操作可以包括第三项操作，即，根据该操控评分，确定该操控选手的操控等级。在此，可以预置反映操控评分与操控等级间的对应关系的对照表，以根据对于任意操控选手的操控评分和该对照表，确定对应操控选手的操控等级。该实施例中，执行设定的操作还可以包括：以任意的方式输出该操控等级。

在一个实施例中，该步骤S450中执行设定的操作可以包括第五项操作，即，根据该操控评分，确定该操控选手所执行的操控任务。在此，可以预置反映操控评分与操控任务间的对应关系的对照表，以根据对于任意操控选手的操控评分和该对照表，确定对应操控选手所执行的操控任务。在该实施例中，执行设定的操作还可以包括：以任意的方式输出该操控任务。

在一个实施例中，该步骤S450中执行设定的操作可以包括第五项操作，即，根据同一操控选手通过不同运动控制装置操控目标对象执行目标任务的操控评分，选出使得操控评分满足设定要求的操控组合，其中，一个操控组合包括相适配的操控选手和运动控制装置。该实施例中，执行设定的操作还可以包括：以任意的方式输出该操控组合。

该实施例中，由于同一操控选手对于不同运动控制装置具有不同的熟练程度，因此，在该例子，不仅可以选出使得操控评分满足设定要求的操控组合，还可以获得最适合该操控选手的运动控制装置。该例子中，设定要求例如是操控评分大于或者等于设定值等。

在一个实施例中，可以允许用户选择在步骤S450中所要执行的操作，因此，该方法还可以包括：响应于设置应用场景的操作，提供设置入口；获取通过该设置入口输入的应用场景，其中，该应用场景反映基于操控评分所要执行的操作；以及，根据该输入的应用场景，确定上述设定的操作的操作内容。

例如，根据输入的应用场景，确定上述设定的操作的操作内容包括以上各项操作中的至少一项操作。

根据以上步骤S410～S450可知，本实施例的方法可以根据操控选手操控目标对象执行目标任务产生的操控行为数据和生理信息数据，确定对于该操控选手的操控评分，这将能够较大程度地节约人工成本和时间成本，并大大降低了对于专家经验的依赖，提高了分析的准确性和有效性。

另外，该操控评分可供相关人员进行操控人员的选拔、进行操控人员的评级、和/或进行操控人员和运动控制装置间的匹配设置等。

在本公开的一个实施例中，操控选手在执行完目标任务后对自身脑负荷状态的主观评价量表可以是如下表2和/或表3所示。操控选手可以是根据主观评价量表来对自身认知状态进行主观评价。

表2

表3

那么，该方法还可以包括如下所示的步骤S610和步骤S620：

步骤S610，根据步骤S410获取到的操控行为数据和生理信息数据，获得操控选对于设定的脑负荷评价指标的评分、和对于设定的情绪评价指标的评分。

在本公开的一个实施例中，根据操控行为数据和生理信息数据，获得操控选手对于设定的精神疲劳评价指标的评分、对于设定的脑负荷评价指标的评分、和对于设定的情绪评价指标的评分可以包括如下所示的步骤S6031～S6033：

步骤S6031，根据操控行为数据和生理信息数据，确定与脑负荷评价指标对应的第二生理特征向量的向量值。

第二生理特征向量包括影响脑负荷评价指标的多个第二生理特征。

本实施例中第二生理特征向量的向量值可以是通过对应的卷积网络所获取的。

对于第二生理特征向量的向量值，可以反映第二生理特征向量所包含的各生理特征的特征值。

由于不同个体的脑节律存在差异，因此，可以是对操控选手的脑节律来对其脑电信号进行分析，得到脑电特征的特征值。那么，在生理信息数据包括脑电信号，第二生理特征向量包括脑电特征的情况下，确定第二生理特征向量的向量值的步骤可以包括如下所示的步骤S6041～S6043：

步骤S6041，获取脑电信号的脑电功率谱，作为目标脑电功率谱。

步骤S6042，从预设的多个功率谱分类中，确定目标脑电功率谱所对应的功率谱分类，作为目标功率谱分类。

步骤S6043，根据目标功率谱分类所对应的脑节律，确定对应生理特征向量的向量值。

具体可以参照前述实施例中的步骤S4041～S4043，在此不再赘述。

在本公开的一个实施例中，该方法还可以包括获得功率谱分类的步骤，包括如下所示的步骤S6051～S6053：

步骤S6051，获取多个参考脑电信号的脑电功率谱，作为参考脑电功率谱。

步骤S6052，基于多种聚类算法，分别对多个参考脑电功率谱进行聚类，得到对应每种聚类算法的聚类结果。

步骤S6053，基于共识聚类算法，根据对应每种聚类算法的聚类结果，得到多个功率谱分类。

具体可以参照前述实施例中的步骤S4051～S4053，在此不再赘述。

该方法还可以包括获得第二生理特征向量的步骤，包括如下所示的步骤S4061～S4064：

步骤S6061，获取第三训练样本。

步骤S6062，对于每一第三训练样本，确定预设的各生理特征的特征值。

步骤S6063，利用典型相关分析算法，根据第三训练样本的各生理特征的特征值，从各生理特征中选择设定数量个生理特征，作为第二生理特征。

步骤S6064，根据第二生理特征，得到第二生理特征向量。

在本公开的一个实施例中，第一生理特征向量中所包含的第一生理特征、与第二生理特征向量中所包含的第二生理特征可以完全相同，也可以是部分相同，还可以是完全不同，在此不做限定。

步骤S4032，将第二生理特征向量的向量值输入预置的脑负荷识别模型，获得操控选手对于脑负荷评价指标的评分。

其中，脑负荷识别模型可以反映第二生理特征向量与脑负荷评价指标的评分之间的映射关系。

在本公开的一个实施例中，该方法还可以包括如下所示的步骤S6035～S6036：

步骤S6035，基于预置的深度信念网络，根据操控行为数据和生理信息数据，确定深度特征向量的向量值。

在本实施例中，可以是将步骤S410所得到的操控行为数据和生理信息数据，直接输入到预先训练好的深度信念网络中，将深度信念网络的输出，作为深度特征向量的向量值。

步骤S6036，根据第二生理特征向量的向量值和深度特征向量的向量值，确定拼接特征向量的向量值。

其中，拼接特征向量为对第二生理特征向量和深度特征向量进行拼接得到。

步骤S6032，将第二生理特征向量的向量值输入预置的脑负荷识别模型，获得操控选手对于脑负荷评价指标的评分可以进一步包括：

将拼接特征向量的向量值输入脑负荷识别模型，获得操控选手对于脑负荷评价指标的评分。

在本公开的一个实施例中，该方法还可以包括获得脑负荷识别模型的步骤，包括如下所示的步骤S530～S540：

步骤S530，获取第二训练样本。

步骤S540，根据第二训练样本对高斯核向量机进行训练，得到脑负荷识别模型。

一个第二训练样本对应一位测试人员，一个第二训练样本反映对应测试人员的拼接特征向量的向量值与已知的脑负荷评价指标的评分之间的映射关系。

在本实施例中，第二训练样本的拼接特征向量的向量值，可以是根据对应测试人员执行对应的目标任务所产生的操控行为数据和生理信息数据所得到的。

在本实施例中，为了减少测试人员任务熟练度对脑负荷评估结果的影响，需要在正式实验前让测试人员执行对应的实验任务，直到实验任务的绩效稳定。为了减少测试人员个体能力差异对于脑负荷评估结果的影响，可以采用滴定过程，确定个体执行实验任务过程中任务难度参数设置范围。

在一个例子中，利用n-back任务作为实验任务，对“8”字型轨道飞行的目标任务的难度进行标准化。具体可以是根据n-back实验任务过程中产生的生理信息数据对目标任务进行标准化，确定不同难度实验条件下的标准化参数设置。

n-back任务是一个标准化的工作记忆和注意力任务，有n个递增的难度等级。测试人员被要求连续监控屏幕上出现的刺激(单个字母)，并在目标刺激到来时点击按钮。n的设置被用来逐步改变工作记忆负荷。在0-back的条件下，被试用他们的惯用手对单目标刺激(如：‘X’)做出反应(通过按钮来识别刺激)。在1-back条件下，目标被定义为与它前一个字母相同的任何字母(即:1trial back)。在2-back和3-back的条件下，目标被定义为与前2个或前3个字母相同的任何字母，以此类推。

每位测试人员每天完成至少一小时的训练任务(n-back任务与“8”字型轨道飞行任务)，训练时间为5天。当n-back任务准确率达到80％时，进行下一难度训练。当飞行任务在当前难度的任务评分达到总分的80％时，进行下一难度训练。

利用滴定过程对测试人员的任务难度参数进行标定。测试人员执行n-back任务，逐渐增加n，直到只能正确完成当前任务的30％为止，记录此时的任务难度n＝N。测试人员执行飞行任务，在执行飞行任务过程中，通过改变周围环境的风力大小，来改变任务难度，直到测试人员完成飞行任务的评分只能达到总分数的30％，任务参数(表示周围环境的风力大小的参数)记为lm，记录每次实验的任务参数与任务评分，并对最终的任务参数I取平均。

标准化参数设置：对n-back实验过程中的生理信息数据，获取第二生理特征向量的向量值，建立线性模型，用该模型参数拟合飞行任务中产生的生理信息数据的第二生理特征向量的向量值，对飞行任务的参数进行标准化，确定与标准n-back任务难度(0-N)等价的无人机飞行任务的难度参数。

具体的，可以针对每个测试人员，分别建立一阶多项式回归模型，利用n-back实验过程中的生理信息数据所获得的第二生理特征向量的向量值，来估计标准化模型的参数，标准化模型可以表示为：

Y3_i＝β₀+β₁X3_i

其中，X3为通过第二特征向量的向量值，Y3是标准输出(0、1、2…N)，β₀和β₁为标准化模型的参数。具体可以通过如下方式求解标准化模型的参数：

使总误差达到最小，β₀与β₁应满足如下条件：

使用该训练好的模型参数，对飞行训练任务的电生理数据进行拟合，获得每个任务参数lm对应的标准输出。选择输出为整数(0、1、2……)时的任务参数lm作为飞行任务的难度等级参数。

为了提高脑负荷识别模型的准确度，同时保证模型具有一定的可解释性，在利用CCA提取的多模态信息的同时，使用深度信念网络从传感器原始数据中提取深度特征，将两部分特征共同作为脑负荷识别模型的特征，利用高斯核支持向量机(FGSVM)作为分类器对脑负荷情况进行识别。

深度信念网络是由受限玻尔兹曼机(RBM)和Sigmoid信念网络堆叠而成。

DBN包含3个堆起来的RBM，有3个隐层{h₁,h₂,h₃}，输入向量{X4＝h₀}。用对比散度算法训练RBM1。对于第二层网络，冻结权重w₁，训练RBM2。对于第三层网络，冻结权重w₁、w₂，训练第三层网络RBM3。DBN的数学模型如下所示：

P(X4,h¹,h²,…,hⁿ)＝P(X4|h¹)P(h¹|h²)…P(h^(n-2)|h^(n-1))P(h^(n-1)|hⁿ)

其中，P(h^(n-1)|hⁿ)可以是由以下两个公式的RBM决定的：

采用贪婪训练方法对DBN的RBM进行训练。RBM可以构造特征并重构输入。因此，我们采用对比散度算法对RBM进行训练。基于吉布斯采样的对比散度方法如下：

1)将生理信息数据输入到RBM1中。

2)使用下式决定隐藏层的激活概率：

3)使用下式决定输入层的激活概率：

4)使用下式更新边缘权重：

W_ij＝W_ij+α(P(h_j＝1|X4)-P(X4_i＝1|h))

α为学习率，当第一层RBM训练好后，冻结第一层的权重，用同样的对比散度算法训练第二层与第三层的RBM。使用前一层的输出作为后一层RBM的输入。当所有层的RBM均训练完毕后，在顶层提取深度特征向量。

在本公开的一个实施例中，根据第二训练样本对高斯核向量机进行训练，得到脑负荷识别模型可以包括：

根据第二训练样本的拼接特征向量的向量值，以高斯核向量机的第二网络参数为变量，确定第二训练样本的脑负荷评分预测表达式；

根据第二训练样本的脑负荷评分预测表达式以及第二训练样本对应的脑负荷评价指标的评分，构建第二损失函数；

根据第二损失函数确定第二网络参数，得到脑负荷识别模型。

根据第二损失函数确定第二网络参数，得到脑负荷识别模型包括：

基于拉格朗日乘子法，根据第二损失函数确定第二网络参数，得到脑负荷识别模型。

支持向量机是一个分离超平面，它将数据点按正类和负类进行最优分类。下式为一分离超平面：

W^TX5+w₀＝0

W^T为数据点X5的系数向量，X5为拼接特征向量的向量值。

定义函数g为：

现在，要寻找最大程度分离这些数据点的超平面，因此这是一个优化问题

使用拉格朗日乘子法解决上述问题：

α_t是拉格朗日乘子，<x5,x5_t>为标量积，在标量积处可以使用如下的高斯核函数：

其中

P为预测因子的数量。

步骤S6033，将生理信息数据输入预置的情绪识别模型，获得操控选手对于情绪评价指标的评分。

其中，情绪识别模型可以反映操控行为数据和生理信息数据与情绪评价指标的评分之间的映射关系。

在本公开的一个实施例中，生理信息数据包括脑电信号；那么，将生理信息数据输入预置的情绪识别模型，获得操控选手对于情绪评价指标的评分可以包括如下所示的步骤S6071～S6073：

步骤S6071，对脑电信号进行小波包变换处理，得到脑电时频特征。

步骤S6072，基于预置的第一深度卷积神经网络，从脑电时频特征中获取脑电情感特征向量的向量值。

步骤S6073，基于预置的第一分类器，根据脑电情感特征向量的向量值得到操控选手对于情绪评价指标的评分。

具体的，可以是小波包变换模块对脑电信号进行小波包变换处理，得到脑电时频特征。小波包变换模块可以配置为k(k＝6)级小波包分解，小波包变换可以对信号的高频部分提供更加精细的分解，而且这种分解既无冗余也无疏漏，对信号能够进行更好的时频局部化分析。

在一个实施例中，可以是由一个卷积神经网络，从脑电时频特征中提取脑电情感特征向量的向量值。通过专门设计的轻量级卷积神经网络，以相对较低的计算开销，实现所需的特征提取能力。

在一个例子中，可以是选择ResNet18作为卷积神经网络的基础模型，它比其他模型更好地平衡了准确性和资源开销的代价。改进后的网络命名为EsNet26，网络结构如下表4所示。

表4

在一个实施例中，可以是将脑电情感特征向量的向量值作为输入，基于Softmax函数的分类器，得到操控选手对于情绪评价指标的评分。

基于Softmax函数的分类器，可以将上一层全连接层输出的特征向量全连接到个输出节点，经过Softmax回归，得到一个n维向量[p₁,p₂,…,p_n]^T，其中每一个维度的数值就是输入脑电信号的情感类别属于对应类别的概率。

在本公开的一个实施例中，生理信息数据包括面部视频信号。那么，将生理信息数据输入预置的情绪识别模型，获得操控选手对于情绪评价指标的评分包括如下所示的步骤S6081～S6085：

步骤S6081，获取当前视频采样间隔。

在本实施例中，当前视频采样间隔具体是用于本次对面部视频信号采样以获得当前帧视频图像的采样间隔，表示当前帧视频图像和前一帧视频图像之间所间隔的图像帧数。其中，前一帧视频图像为在当前帧视频图像之前、最后采样得到的视频图像。

当前视频采样间隔可以是预先设定的固定值，也可以是符合预设条件的随机值，还可以是根据对应的前两帧采样的视频图像之间的表情相似度所确定的。

在本公开的一个实施例中，在当前帧视频图像之前、最后采样得到的相邻两帧视频图像之间的表情相似度小于或等于相似度阈值的情况下，根据前两帧视频图像的表情相似度确定当前视频采样间隔。

具体的，可以是通过如下公式来确定当前视频采样间隔Num_skip：

其中，sim_ff为前两帧视频图像的表情相似度，Λ为预设的采样间隔的上限；λ为预设的采样间隔的下限；θ_ff为相似度阈值。

在当前帧视频图像之前、最后采样得到的相邻两帧视频图像之间的表情相似度大于相似度阈值的情况下，可以是随机生成当前视频采样间隔；其中，当前视频采样间隔小于等于预设的最大采样间隔、且大于等于最小采样间隔。

在本公开的一个实施例中，该方法还可以包括确定相似度阈值的步骤，包括：

获取操控选手的参考面部视频信号；

确定参考面部视频信号中每两帧相邻的视频图像的表情相似度；

根据每两帧相邻的视频图像的表情相似度确定相似度阈值。

由于不同用户的表情无论在表达方式或者程度上都可能存在差别，我们将个性化的为不同用户分别设定相似度阈值。相似度阈值θ_ff可以是按照如下公式计算：

其中，M(frames_j)表示参考面部视频信号中的第j帧视频图像的表情特征向量的向量值，M(frames_j+1)表示参考面部视频信号中的第j+1帧视频图像的表情特征向量的向量值，L是为参考面部视频信号的总图像帧数，α为预设的参数值。

步骤S6082，基于当前视频采样间隔，对面部视频信号进行采样，得到当前帧视频图像。

在本公开的一个实施例中，步骤S6081和步骤S6082可以是由帧采样器实施的。

步骤S6083，确定当前帧视频图像与对应的前一帧视频图像之间的表情相似度。

其中，前一帧视频图像为在前一次对面部视频信号进行采样所得到的一帧视频图像。

在本公开的一个实施例中，确定当前帧视频图像与对应的前一帧视频图像之间的表情相似度可以包括：

获取当前帧视频图像的表情特征向量的向量值；

基于预置的卷积网络，根据当前帧视频图像的表情特征向量的向量值和预存的前一帧视频图像的表情特征向量的向量值，确定当前帧视频图像与前一帧视频图像之间的表情相似度。

在本实施例中，在确定前一帧视频图像的情绪识别结果的情况下，会确定前一帧视频图像的表情特征向量的向量值，并进行缓存。以在确定当前帧视频图像与对应的前一帧视频图像之间的表情相似度的情况下可以直接调用。

在本公开的一个实施例中，可以是由特征提取器来获取当前帧视频图像的表情特征向量的向量值，由快速换发器确定当前帧视频图像与前一帧视频图像之间的表情相似度。

特征提取器用于从当前帧视频图像中提取表情特征向量的向量值。通过专门设计的轻量级卷积神经网络，以相对较低的计算开销，实现所需的特征提取能力。仅通过用户的人脸区域，完成对基本表情的识别，这对特征提取器要求很高。为此，设计一种基于深度学习的网络模型，从而为构建强有力的特征提取器，选择ResNet18作为设计特征提取器的基础模型，它比其他模型更好地平衡了准确性和资源开销的代价。改进后的网络命名为EsNet26，网络结构如下表5所示。

表5

对基础模型的修改原则和修改策略主要有以下几个方面：

(1)将第一层7x7大小的卷积核替换为3x3的大小，并取消下采样，以防止特征面的尺寸下降过快，特征信息在浅层卷积中丢失。

(2)修改后的模型可以显著减少计算开销，但同时，这些修改引入了一个新的问题，即特征提取的性能也会随之降低。为了弥补这一点，修改后的模型加深了卷积网络的深度，将卷积网络扩展到26层。

(3)因为摄像头固定在可穿戴设备上，对于同一个操控选手，拍摄的区域是相对固定的，因此，可以认为本场景下的输入图片不需要太大的尺寸，可以将原始ResNet18模型的输入从224x224缩小至64x64。

快速换发器可以在识别时自动判断后续的大量卷积计算是否有必要，如无必要，快速换发器将选择绕过这部分计算，以加快系统运行效率。

卷积网络是快速换发器的核心部分，可以是由10个卷积层、1个池化层、一个损失层组成。池化层将输出128维特征向量，快速换发器的卷积网络的网络结构见下表6，其中，conv1_x由3个残差块堆叠得到。

表6

损失层将计算相邻两帧图像特征的距离，并计算相应的损失。卷积网络的损失层主要由Contrastive Loss损失函数实现，计算公式如下：

其中，y是输入样本的标签，如果输入的是正样本，即两帧图像输入同类表情，则y值为1，否则为0。d是相邻两帧图像的表情相似度，d越小，则相邻两帧图像越相似。margin是一个超参数，为负样本的惩罚项，当输入是正样本时，特征距离的平方项为损失值，而当输入是负样本时，只有当特征距离大于margin时才不会产生损失，否则特征距离越小，产生的损失越大。在训练时，margin默认设置为5。

在一个例子中，可以是对于当前帧视频图像，特征提取器的前7层卷积计算结束之后，得到中间计算的结果，此时暂停提取器的后续计算，数据流进入快速换发器。快速换发器进一步从中特征提取器的计算结果中提取向量值，并判断当前帧视频图像与前一帧视频图像的表情相似度，从而确定当前帧视频图像应该恢复特征提取器中的暂停处理，还是直接分配最终的类别标签。该系统组件的输入是特征提取器的第7层卷积的中间输出，为了与上一帧比较，它还在换发器中缓存了上一个未能触发快速换发器的帧的输出特征。

步骤S6084，根据表情相似度确定当前帧视频图像的情绪识别结果。

在本公开的一个实施例中，根据表情相似度确定当前帧视频图像的情绪识别结果包括：

在表情相似度小于或等于相似度阈值的情况下，将前一帧视频图像的情绪识别结果作为当前帧视频图像的情绪识别结果；

在表情相似度大于相似度阈值的情况下，基于预置的第二深度卷积神经网络，获取当前帧视频图像的人脸情感特征向量的向量值；并基于预置的第二分类器，根据当前帧视频图像的人脸情感特征向量的向量值，得到当前帧视频图像的情绪识别结果。

在表情相似度大于相似度阈值的情况下，可以是恢复特征提取器中的暂停处理，即由特征提取器继续提取当前帧视频图像的表情特征向量的向量值，并由第二分类器来确定特征提取器最终输出的表情特征向量的向量值所对应的情绪识别结果。

在本公开的一个实施例中，该方法还包括训练卷积网络的步骤，包括如下所示的步骤S550～S560：

步骤S550，获取第三训练样本。

其中，一个第三训练样本反映对应两帧面部图像的表情特征向量的向量值与标签之间的映射关系，标签反映对应的第三样本中的两帧面部图像是否属于同类表情；

步骤S560，根据第三训练样本的两帧面部图像的表情特征向量的向量值、与第三训练样本的标签进行训练，得到卷积网络。

在本公开的一个实施例中，根据第三训练样本的两帧面部图像的表情特征向量的向量值、与第三训练样本的标签进行训练，得到卷积网络可以包括：

根据第三训练样本的两帧面部图像的表情特征向量的向量值，以卷积网络的第三网络参数为变量，确定第三训练样本的表情相似度预测表达式；

根据第三训练样本的表情相似度预测表达式以及第三训练样本的标签，构建第三损失函数；

根据第三损失函数确定第三网络参数，得到卷积网络。

在本实施例中，特征提取器和快速换发器部分可以共享多层卷积计算，可以将将两个网络模型合并，成为一个有两个子分枝的网络。可以联合训练整个模型，以达到共享卷积层的目的，并且在训练完成后同时获得特征提取器和快速换发器。

步骤S6085，根据对面部视频信号采样得到的视频图像的情绪识别结果，得到操控选手对于情绪评价指标的评分。

在本实施例中，可以是确定对面部视频信号采样得到的所有视频图像的情绪识别结果，并根据所有视频图像的情绪识别结果，确定操控选手对于情绪评价指标的评分。

在本公开的一个实施例中，根据对视频信息采样得到的视频图像的情绪识别结果，得到操控选手的情绪评分包括：

基于投票法，根据对面部视频信号采样得到的帧视频图像的情绪识别结果，确定面部视频信号的情绪识别结果；

根据面部视频信号的情绪识别结果，得到操控选手对于情绪评价指标的评分。

本实施例中通过快速换发器可以避免不必要的卷积计算，通过帧采样器可以确保在不遗漏情绪变化的同时，直接跳过冗余视频帧。这样，通过本实施例的方法就可以提高情感识别效率。

在本公开的一个实施例中，生理信息数据包括脑电信号和面部视频信号。那么，可以是根据前述实施例中的方法，分别根据脑电信号确定的情绪识别结果，根据对面部视频信号采样得到的所有视频图像的情绪识别结果；再根据这些情绪识别结果来得到情绪评价指标的评分。

具体的，可以是基于投票法，根据脑电信号确定的情绪识别结果、和根据对面部视频信号采样得到的所有视频图像的情绪识别结果，得到的情绪评价指标的评分。

本实施例中通过投票法，来评估两类信号的情绪识别结果，来获得情绪评价指标的评分，可以提高情绪识别精度。

步骤S620，根据通过步骤S610得到的操控选手对于脑负荷评价指标的评分、和对于情绪评价指标的评分、和通过步骤S430得到的对于精神疲劳评价指标的评分，获得操控选手的操控评分。

在本公开的一个实施例中，根据操控选手对于精神疲劳评价指标的评分、对于脑负荷评价指标的评分、和对于情绪评价指标的评分，获得操控选手的操控评分包括：

将操控选手对于精神疲劳评价指标的评分、对于脑负荷评价指标的评分、和对于情绪评价指标的评分输入预置的结构方程模型，获得操控选手的操控评分。

在本公开的一个实施例中，可以是预先设置有至少一个精神疲劳评价指标、至少一个脑负荷评价指标和至少一个情绪评价指标。对于每一个评价指标的评分，可以是根据前述对应的实施例得到。

例如，对于精神疲劳评价指标，可以是预先设置有精神疲劳内源评价指标、精神疲劳外源评价指标和精神疲劳主观评价指标，根据脑电采集设备、皮电采集设备和心电采集设备所采集的生理信息数据，得到精神疲劳内源评价指标的评分f1；根眼动追踪设备、视频采集设备和语音采集设备所采集的生理信息数据，得到精神疲劳外源评价指标的评分f2；根据操控行为数据中操控选手的对于精神疲劳状态的主观评价，得到精神疲劳主观评价指标的评分f3。

例如，对于脑负荷评价指标，可以是预先设置有脑负荷内源评价指标、脑负荷外源评价指标和脑负荷主观评价指标，根据脑电采集设备、皮电采集设备和心电采集设备所采集的生理信息数据，得到脑负荷内源评价指标的评分m1；根眼动追踪设备、视频采集设备和语音采集设备所采集的生理信息数据，得到脑负荷外源评价指标的评分m2；根据操控行为数据中操控选手的对于脑负荷状态的主观评价，得到脑负荷主观评价指标的评分m3。

再例如，对于情绪评价指标，可以是预先设置有情绪内源评价指标、情绪外源评价指标和情绪主观评价指标，根据脑电采集设备、皮电采集设备和心电采集设备所采集的生理信息数据，得到情绪内源评价指标的评分e1；根据眼动追踪设备、视频采集设备和语音采集设备所采集的生理信息数据，得到情绪外源评价指标的评分e2；根据操控行为数据中操控选手的对于情绪状态的主观评价，得到情绪主观评价指标的评分e3。

将操控选手对于每一精神疲劳评价指标的评分、对于每一脑负荷评价指标的评分、和对于每一情绪评价指标的评分输入预置的结构方程模型，可以获得操控选手的操控评分。

在本公开的一个实施例中，该方法还包括获得结构方程模型的步骤，包括步骤S570～S580：

步骤S570，获取第四训练样本。

其中，一个第四训练样本对应一位测试人员，一个第二训练样本反映对应测试人员对于精神疲劳评价指标的评分、对于脑负荷评价指标的评分和对于情绪评价指标的评分与实际的操控评分之间的映射关系。

在本实施例中，对于任意一条第四训练样本，可以是根据对应的测试人员执行对应的目标任务所产生的操控行为数据和生理信息数据，得到对应测试人员对于精神疲劳评价指标的评分、对于脑负荷评价指标的评分和对于情绪评价指标的评分；根据对应的测试人员执行对应的目标任务所产生的操控结果数据，得到实际的操控评分。

在一个例子中，实际的操控评分Y6，可以是根据操控结果数据中的任务时长t和任务得分s来确定的。

步骤S580，根据第四训练样本进行机器学习训练，得到结构方程模型。

结构方程模型构建可以是如图5所示。如图5所示，结构方程模型包含5个隐变量：精神疲劳评分ζ1、脑负荷评分ζ2、情绪评分ζ3、认知状态X6与操控评分Y6。根据该结构方程模型可以写出结测量方程组和结构方程组的解析式如下：

f₁＝w₁₁ζ₁+ε₁₁

f₂＝w₂₁ζ₁+ε₂₁

f₃＝w₃₁ζ₁+ε₃₁

m₁＝w₄₁ζ₂+ε₄₁

m₂＝w₅₁ζ₂+ε₅₁

m₃＝w₆₁ζ₂+ε₆₁

e₁＝w₇₁ζ₃+ε₇₁

e₂＝w₈₁ζ₃+ε₈₁

e₃＝w₉₁ζ₃+ε₉₁

t＝β₁Y6+δ₁

s＝β₂Y6+δ₂

ζ₁＝w₁₂X6+ε₁₂

ζ₂＝w₂₂X6+ε₂₂

ζ₃＝w₃₂X6+ε₃₂

Y6＝αX6+∈

通过第四训练样本对结构方程模型进行训练，利用广义最小二乘法进行结构方程模型中的参数估计，可以确定结构方程模型中每一条边上的权重，通过此方法量化每个认知状态对操控评分的影响程度。

在步骤S620中，通过将操控选手对于精神疲劳评价指标的评分、对于脑负荷评价指标的评分、和对于情绪评价指标的评分，输入到该结构方程模型中，即可获得操控选手的操控评分。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims

1.一种基于精神疲劳的操控工效分析方法，包括：

获取操控选手操控目标对象执行目标任务产生的操控行为数据和生理信息数据，其中，所述操控行为数据包括反映所述操控选手在执行目标任务的过程中，对任务执行设备的操控行为的数据，还包括所述操控选手在执行完目标任务后对自身精神疲劳状态的主观评价结果，所述操控行为数据包括：目标对象的移动轨迹、操控杆的加速度、操控杆的角度；

根据所述操控选手对于所述精神疲劳评价指标的评分，获得所述操控选手的操控评分，包括：

预先设置有精神疲劳内源评价指标、精神疲劳外源评价指标和精神疲劳主观评价指标，根据脑电采集设备、皮电采集设备和心电采集设备所采集的生理信息数据，得到所述精神疲劳内源评价指标的评分；根据眼动追踪设备、视频采集设备和语音采集设备所采集的生理信息数据，得到所述精神疲劳外源评价指标的评分；根据所述操控行为数据中所述操控选手的对于所述精神疲劳状态的主观评价，得到所述精神疲劳主观评价指标的评分；

将所述操控选手对于每一精神疲劳评价指标的评分输入预置的结构方程模型，获得所述操控选手的操控评分；

根据所述操控评分，执行设定的操作，

其中，所述方法还包括获得所述精神疲劳识别模型的步骤，包括：

获取第一训练样本，其中，一个第一训练样本对应一位测试人员，一个第一训练样本反映对应测试人员的第一生理特征向量的向量值与已知的所述精神疲劳评价指标的评分之间的映射关系，其中，所述第一训练样本中已知的所述精神疲劳评价指标的评分，是根据对应的测试人员对自身精神疲劳状态的主观评价结果所确定的；

根据所述第一训练样本对高斯模型进行训练，得到所述精神疲劳识别模型，

其中，所述根据所述第一训练样本对高斯模型进行训练，得到所述精神疲劳识别模型包括：

2.根据权利要求1所述的方法，其中，所述生理信息数据包括脑电信号；任一生理特征向量包括脑电特征；

确定任一生理特征向量的向量值的步骤包括：

获取所述脑电信号的脑电功率谱，作为目标脑电功率谱；

3.根据权利要求2所述的方法，其中，所述方法还包括获得功率谱分类的步骤，包括：

获取多个参考脑电信号的参考脑电功率谱；

4.根据权利要求1所述的方法，其中，所述方法还包括：

通过最大化对数边缘概率选择所述高斯模型的超参数；

基于自适应花粉传播算法优化所述超参数。

5.根据权利要求1所述的方法，其中，所述方法还获得所述第一生理特征向量的步骤，包括：

根据所述第一生理特征，得到所述第一生理特征向量。

6.根据权利要求1所述的方法，其中，所述执行设定的操作包括以下至少一项：

第一项，输出所述操控评分；

7.一种包括至少一个计算装置和至少一个存储装置的基于精神疲劳的操控工效分析设备，其中，

所述至少一个存储装置用于存储指令，所述指令用于控制所述至少一个计算装置执行根据权利要求1至6中任一项所述的方法。

8.一种基于精神疲劳的操控工效分析系统，其中，所述系统包括任务执行设备、各生理信息采集设备、及权利要求7所述的操控工效分析设备，其中，所述任务执行设备及各生理信息采集设备均与所述操控工效分析设备通信连接。