CN111544015B - 基于认知力的操控工效分析方法、设备及系统 - Google Patents

基于认知力的操控工效分析方法、设备及系统 Download PDF

Info

Publication number
CN111544015B
CN111544015B CN202010415166.5A CN202010415166A CN111544015B CN 111544015 B CN111544015 B CN 111544015B CN 202010415166 A CN202010415166 A CN 202010415166A CN 111544015 B CN111544015 B CN 111544015B
Authority
CN
China
Prior art keywords
control
physiological information
physiological
index
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010415166.5A
Other languages
English (en)
Other versions
CN111544015A (zh
Inventor
李小俚
赵小川
张乾坤
丁兆环
刘华鹏
李陈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toprise Aviation Technology Beijing Co ltd
Beijing Normal University
Original Assignee
Beijing Normal University
China North Computer Application Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Normal University, China North Computer Application Technology Research Institute filed Critical Beijing Normal University
Priority to CN202010415166.5A priority Critical patent/CN111544015B/zh
Publication of CN111544015A publication Critical patent/CN111544015A/zh
Application granted granted Critical
Publication of CN111544015B publication Critical patent/CN111544015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明公开了一种基于认知力的操控工效分析方法、设备及系统，该方法包括：获取操控选手操控目标对象执行目标任务产生的心理状态数据；根据所述生理状态数据，获取所述操控选手对于所述目标任务的认知神经工效评分；根据所述认知神经工效评分，获得所述操控选手的操控评分；以及，根据所述操控评分，执行设定的操作。

Description

基于认知力的操控工效分析方法、设备及系统
技术领域
本发明涉及操控工效自动分析技术领域，更具体地，涉及一种基于认知力的操控工效分析方法、设备及系统。
背景技术
不同操控人员操控同一目标对象执行目标任务，会具有不同的操控工效，例如，不同操控人员操控同一型号的无人机执行同一目标任务，会有不同的表现，有的操控人员可以以较短的时间完成目标任务，有的操控人员在执行目标任务时具有良好的心理状态等等。分析操控人员操作目标对象执行目标任务时表现出的操控工效，能够作为选拔操控该目标对象的操控人员的依据，还能够作为评价任意操控人员与任意运动控制装置之间的适配度的依据。目前，在分析操控工效时，通常是组织专家为操作人员操控目标对象执行目标任务进行人工打分，以通过打分结果反映对应的操控工效，分数越高，操控工效越高。该种人工打分的方式不仅耗费大量的人力，而且打分结果因过度依赖于人为主观因素而存在准确性低及有失公平性的问题，因此，有必要提供一种智能化的分析操控工效的方案。
发明内容
本发明实施例的一个目的是提供一种用于分析操控工效的新技术方案。
根据本发明的第一方面，提供了一种基于认知力的操控工效分析方法，包括：
获取操控选手操控目标对象执行目标任务产生的心理状态数据；
根据所述生理状态数据，获取所述操控选手对于所述目标任务的认知神经工效评分；
根据所述认知神经工效评分，获得所述操控选手的操控评分；
根据所述操控评分，执行设定的操作；
其中，所述根据所述生理状态数据，获取所述操控选手对于所述目标任务的认知神经工效评分包括：
将所述生理状态数据输入至预置的认知神经工效模型，获得所述操控选手对于所述目标任务的认知神经工效评分，其中，所述认知神经工效模型反映任意的生理状态数据与认知神经工效评分间的映射关系。
可选地，所述执行设定的操作包括以下至少一项：
第一项，输出所述操控评分；
第二项，根据所述操控评分，提供所述操控选手是否入选的选拔结果；
第三项，根据所述操控评分，确定所述操控选手的操控等级；
第四项，根据同一操控选手通过不同运动控制装置操控目标对象执行目标任务的操控评分，选出使得所述操控评分满足设定要求的操控组合，其中，一个操控组合包括相适配的操控选手和运动控制装置。
可选地，所述方法还包括：
响应于设置应用场景的操作，提供设置入口；
获取通过所述设置入口输入的应用场景，其中，所述输入的应用场景反映基于操控评分所要执行的操作；
根据所述输入的应用场景，确定所述设定的操作的操作内容。
可选地，获取所述生理状态数据的步骤包括：
获取各生理信息采集设备提供的生理信息数据，其中，任意所述生理信息采集设备提供的生理信息数据包括生理信号数据和生理图像数据中的至少一项；
根据所述生理信息数据，获得所述生理状态数据，包括：
根据所述生理信息采集设备提供的生理信息数据，获得用于评价所反映的生理特征指标的参数的参数值；
根据所述参数值，确定所述操控选手对于对应生理特征指标的指标数据；
生成所述生理状态数据包括确定的所有指标数据。
可选地，所述各生理信息采集设备包括脑电采集设备，所述脑电采集设备提供的生理信息数据包括脑电信号和脑电图像中的至少一项；所述脑电采集设备提供生理信息数据包括：
所述脑电采集设备将采集到的原始脑电信号顺序通过多个噪声识别模型过滤对应的噪声信号，获得去噪后的脑电信号；
生成所提供的生理信息数据包括所述去噪后的脑电信号；和/或，
所述各生理信息采集设备包括肌电采集设备，所述肌电采集设备提供的生理信息数据包括肌电信号和肌电图像中的至少一项；和/或，
所述各生理信息采集设备包括心电采集设备，所述心电采集设备提供的生理信息数据包括心电信号和心电图像中的至少一项；和/或，
所述各生理信息采集设备包括用于采集面部动作的视频采集设备，所述视频采集设备提供的生理信息数据包括面部特征的变化数据和面部图像数据中的至少一项，所述视频采集设备提供生理信息数据包括：
获取采集到的视频图像；
识别所述视频图像中的脸部区域；
在识别到的脸部区域中，定位眼部位置和嘴部位置；
根据每相邻两帧视频图像间眼部位置的灰度变化，确定出现眨眼动作的时间点；
根据每相邻两帧视频图像间嘴部位置的灰度变化，确定出现打哈欠动作的时间点；
根据所述时间点，生成所述视频采集设备提供的生理信息数据。
可选地，所述各生理信息采集设备包括脑电采集设备，所述脑电采集设备提供生理信息数据包括：
所述脑电采集设备将采集到的原始脑电信号顺序通过多个噪声识别模型过滤对应的噪声信号，获得去噪后的脑电信号；
生成所提供的生理信息数据包括所述去噪后的脑电信号。
可选地，所述生理信息采集设备包括脑电采集设备、肌电采集设备、心电采集设备和视频采集设备；
所述脑电采集设备提供的生理信息数据反映的生理特征指标包括注意力指标、脑负荷指标和神经疲劳指标中的至少一个指标；
其中，用于评价所述注意力指标的参数包括：所述脑电信号在多个时间序列的β_1频段的相对功率的方差；用于评价脑负荷指标的参数包括：所述脑电信号对于多个固有模态函数中的每一个函数表现出的递归特征量，和/或，所述脑电信号分别在多个设定波段的相对功率；用于评价神经疲劳指标的参数包括所述脑电信号中P3a成分的幅值；
所述肌电采集设备提供的生理信息数据反映的生理特征指标包括肌肉疲劳程度指标；
其中，用于评价所述肌肉疲劳程度指标的参数包括所述肌电信号的平均功率频率和中位频率中的至少一个；
所述心电采集设备提供的生理信息数据反映的生理特征指标包括情绪控制能力指标；
其中，用于评价所述情绪控制能力指标的参数包括所述心电信号中的窦性心搏RR间期的标准差；
所述视频采集设备提供的生理信息数据反映的生理特征指标包括疲劳程度指标；
其中，用于评价疲劳程度指标的参数包括每个设定时间长度内的眨眼次数和/或每个设定时间长度内的打哈欠次数。
可选地，所述方法还包括获得所述认知神经工效模型的步骤，包括：
获取训练样本，其中，一个训练样本对应一位测试人员，一个训练样本反映对应测试人员的所述生理状态数据与已知评分结果之间的映射关系；
根据所述训练样本训练深度卷积神经网络模型，确定所述模型的网络参数；
根据所述网络参数，获得所述认知神经工效模型。
根据本发明的第二方面，还提供了一种基于认知力的操控工效分析设备，该设备包括至少一个计算装置和至少一个存储装置，其中，所述至少一个存储装置用于存储指令，所述指令用于控制所述至少一个计算装置执行根据本发明的第一方面所述的方法。
根据本发明的第三方面，还提供了一种基于认知力的操控工效分析系统，其中，所述系统包括任务执行设备、各生理信息采集设备、及根据本发明的第二方面所述的操控工效分析设备，其中，所述任务执行设备及各生理信息采集装置均与所述操控工效分析设备通信连接；所述任务执行设备包括被操控的目标对象和用于操控目标对象的运动控制装置，所述目标对象与所述运动控制装置通信连接；所述运动控制装置为飞行控制装置，通过所述飞行控制装置操控的目标对象为无人机。
本发明实施例的一个有益效果在于，本发明实施例的方法通过操控选手操控目标对象执行目标任务产生的心理状态数据，给出表示操控选手对于目标任务的完成难度的认知神经工效评分，进而至少能够根据该认知神经工效评分确定该操控选手的操控评分，根据该操控评分，可以进行对于目标对象的操控人员的选拔、进行操控人员的评级、和/或进行操控人员和运动控制装置间的匹配等。根据本实施例的方法，能够自动完成操控工效的分析，能够节约人工成本和时间成本，另外，根据本实施例的方法进行的分析，大大降低了对于专家经验的依赖，提高了分析的准确性和有效性。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是根据一个实施例的操控工效分析系统的组成结构示意图；
图2是根据一个实施例的操控工效分析设备的硬件结构示意图；
图3是根据一个实施例的操控工效分析方法的流程示意图
图4是根据另一个实施例的操控工效分析方法的流程示意图；
图5是根据一个实施例的肌电采集设备的组成结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
<系统实施例>
图1是可应用本发明实施例的方法的一种可选的操控工效分析系统100的组成结构示意图。
如图1所示，该操控工效分析系统100可以包括电子设备110、任务执行设备120和各生理信息采集装置130。
该电子设备110可以是服务器，也可以是终端设备，在此不做限定。
该服务器例如可以是刀片服务器、机架式服务器等，服务器也可以是部署在云端的服务器集群等。该终端设备可以是PC机、笔记本电脑、平板电脑等任意的具有数据处理能力的设备。
该电子设备110可以包括处理器1101、存储器1102、接口装置1103、通信装置1104、显示装置1105、输入装置1106。
存储器1102用于存储计算机指令，存储器1102例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。处理器1101用于执行计算机程序，该计算机程序可以采用比如x86、Arm、RISC、MIPS、SSE等架构的指令集编写。接口装置1103例如包括各种总线接口，例如，包括串行总线接口(包括USB接口等)、并行总线接口等。通信装置1104例如能够进行有线或无线通信，例如采用RJ45模块、WIFI模块、2G～6G移动通讯模块、蓝牙模块的网络适配器等的至少一种进行通信。显示装置1105例如是液晶显示屏、LED显示屏触摸显示屏等。输入装置1106例如可以包括触摸屏、键盘、鼠标等。
本实施例中，电子设备110的存储器1102用于存储计算机指令，该计算机指令用于控制处理器1101进行操作以实施根据本发明任意实施例的操控工效分析方法。技术人员可以根据本发明所公开方案设计该指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
尽管在图1中示出了电子设备110的多个装置，但是，本发明可以仅涉及其中的部分装置，例如，电子设备110只涉及存储器1102、处理器1101和通信装置1104等。
本实施例中，如图1所示，任务执行设备120可以是基于真实环境的执行设备，该任务执行设备120包括运动控制装置1201及与运动控制装置1201通信连接的目标对象1202，即目标操控对象，操控人员可以通过运动控制装置1201操控目标对象1202执行目标任务。例如，该目标对象1202为无人机，该运动控制装置1201为用于操控无人机的飞行控制装置。又例如，该目标任务包括在设定环境下完成八字飞行、自旋飞行、集群飞行等中的至少一项。再例如，该设定环境包括风、雨、雾等等。当然，该目标对象1202还可以是其他被控对象，例如无人车辆、任意类型的机器人等，在此不做限定。
该实施例中，操控人员可以通过运动控制装置1201向目标对象1202发送控制命令，以使目标对象1202根据该控制命令动作。该目标对象1202在被控执行目标任务的过程中，会采集运动状态数据，并向运动控制装置1201反馈该运动状态数据，以供操作人员做控制判断等。
该运动控制装置1201例如可以包括遥控器和遥控手柄中的至少一项。
该运动控制装置1201可以包括处理器、存储器、接口装置、输入装置和通信装置等。该存储器可以存储计算机指令，该处理器在运动该指令时，可以执行：根据操作人员对输入装置的操作，向目标对象1202发送对应的控制命令的操作；获取目标对象返回的运动状态数据，并进行相应处理的操作；以及，向电子设备110上传采集到的操控结果数据等，在此不做进一步说明。
该目标对象1202可以包括处理器、存储器、通信装置、动力装置、各传感器等。该存储器可以存储计算机指令，该处理器在运动该指令时，可以执行：根据运动控制装置1201发送的控制命令，控制目标对象1202的动力装置等执行相应的动作；获取各传感器采集到的数据，形成运动状态数据；以及，控制通信装置将运动状态数据发送至运动控制装置1201等。
该实施例中，任务执行设备120与电子设备110通信连接，以向电子设备110上传操控结果数据。例如，这可以是任务执行设备120通过运动控制装置1201与电子设备110通信连接。又例如，这也可以是运动控制装置1201与目标对象1202均与电子设备110通信连接，在此不做限定。
图1中，各生理信息采集设备130用于提供电子设备在实施根据任意实施例的操控工效分析方法所需的生理信息数据。各生理信息采集设备130与电子设备110通信连接，以向电子设备110上传各自提供的生理信息数据。
各生理信息采集设备130包括脑电采集设备1301、肌电采集设备1302、心电采集设备1303和用于采集面部表情的视频采集设备1304中的至少一种。
脑电采集设备1301提供的生理信息数据包括脑电信号和脑电图像中的至少一项。
肌电采集设备1302提供的生理信息数据包括肌电信号和肌电图像中的至少一项。
心电采集设备1303提供的生理信息数据包括心电信号和心电图像中的至少一项。
视频采集设备1304提供的生理信息数据可以包括面部特征的变化数据和面部图像数据中的至少一项。
任意生理信息采集设备130可以包括前端的采集装置和与采集装置连接的数据处理电路，前端的采集装置用于采集原始数据，其可以为与操控选手接触的电极装置，数据处理电路用于对原始数据进行相应的预处理，该预处理包括信号放大、滤波、去噪、陷波处理中的至少一项，该数据处理电路可以是通过电子元器件搭建的基础电路实现，也可以是由处理器运行指令实现，还可以通过两者的结合实现，在此不做限定。
以上电子设备110与任务执行设备120，以及电子设备110与各生理信息采集设备130之间可以通过有线或者无线的方式通信连接，在此不做限定。
在一个实施例中，如图3所示，本发明提供了一种包括至少一个计算装置1401和至少一个存储装置1402的操控工效分析设备140，其中，该至少一个存储装置1401用于存储指令，该指令用于控制至少一个计算装置1402执行根据本发明任意实施例的基于认知力的操控工效分析方法。该操控工效分析设备140可以包括至少一个电子设备110，在此不做限定。
<方法实施例>
图3是根据一个实施例的操控工效分析方法的流程示意图，该方法例如可以由如图2所示的操控工效分析设备140实施。本实施例中，以分析一位操控选手通过一种任务执行设备执行一个目标任务为例，说明本实施例的操控工效分析方法，该方法可以包括如下步骤S310～S340：
步骤S310，获取操控选手操控该目标对象执行该目标任务产生的生理状态数据。
该生理状态数据反映该操控选手对于该目标任务的认知能力，认知能力越强，操控选手完成该目标任务越容易，认知能力越弱，操控选手完成该目标任务越艰难，而完成目标任务的难易将在操控选手的生理状态上有对应的反应，例如，心率的反应、脑电的反应、肌电的反应、面部表情的反应等。因此，本实施例中，根据该生理状态数据，可以获得反映该操控选手对于该目标任务的认知能力的认知神经工效评分，认知神经工效评分越高，代表该操控选手具有越强的能力胜任该目标任务。
该生理状态数据是包含多个指标数据的多维数据。该生理状态数据例如可以包括反映注意力情况的指标数据、反映脑负荷情况的指标数据、反映神经疲劳情况的指标数据、反映肌肉疲劳程度的指标数据、及反映情绪控制能力的指标数据中的至少一项。
对应地，用于评价操控选手的认知神经工效的各生理特征指标例如包括：注意力指标、脑负荷指标、执行能力指标、神经疲劳指标、肌肉疲劳指标和情绪控制指标中的至少一项。根据该生理状态数据，便可以获得对应每一生理特征指标的指标数据。
该生理状态数据可以根据各生理信息采集设备提供的生理信息数据确定。因此，在一个实施例中，该步骤S310中获取操控选手操控该目标对象执行该目标任务产生的生理状态数据，可以包括：获取各生理信息采集设备提供的生理信息数据；以及，根据这些生理信息数据，获得设定的生理状态数据。
该实施例中，任意生理信息采集设备提供的生理信息数据可以包括生理信号数据和生理图像数据中的至少一项。
例如，各生理信息采集设备包括如图1所示的脑电采集设备1301，该脑电采集设备1301提供的生理信息数据可以包括脑电信号(电信号)和脑电图像中的至少一项。
又例如，各生理信息采集设备包括如图1所示的肌电采集设备1302，该肌电采集设备1302提供的生理信息数据可以包括肌电信号(电信号)和肌电图像中的至少一项。
又例如，各生理信息采集设备包括如图1所示的心电采集设备1303，该心电采集设备1303提供的生理信息数据可以包括心电信号和心电图像中的至少一项。
再例如，各生理信息采集设备包括如图1所示的视频采集设备1304，该视频采集设备1304提供的生理信息数据包括面部特征的变化数据和面部图像数据中的至少一项。该面部特征的变化数据例如包括发生眨眼动作的数据和发生打哈欠动作的数据中的至少一项。
任意生理信息采集设备在通过前端的采集装置采集到原始数据后，可以对原始数据进行信号放大、滤波、去噪、陷波处理中的至少一项预处理，生成该生理信息数据提供给设备140，以供设备140根据该生理信息数据，获得设定的生理状态数据。
根据生理特征指标与生理信息数据之间的自然联系，根据脑电采集设备1301提供的生理信息数据，可以获得操控选手对于注意力指标、脑负荷指标和神经疲劳指标等心理指标特征的指标数据。根据肌电采集设备1302提供的生理信息数据，可以获得操控选手对于肌肉疲劳程度指标等心理特征指标的指标数据。根据心电采集设备1303提供的生理信息数据，可以获得操控选手对于情绪控制能力指标等心理特征指标的指标数据。根据视频采集设备1304提供的生理信息数据，可以获得操控选手对于疲劳程度指标等心理特征指标的指标数据，在此，由于根据视频采集设备1304提供的面部特征的变化数据和/或面部图像数据，可以确定操控选手的眨眼次数的变化和/或打哈欠的次数等，而眨眼次数是否发生异常变化和/或打哈欠的次数又能够反映操控选手的疲劳程度，因此，该指标数据可以是根据操控选手的眨眼次数的变化和/或打哈欠的次数确定的疲劳程度等级。
该实施例中，根据各生理信息采集设备提供的生理信息数据，可以获得上述各指标数据，该指标数据可以根据通过生理信息数据计算得到的各个参数值确定，该参数值为用于评价对应生理特征指标的参数的取值。例如，可以通过脑电信号的相对功率的方差来评价注意力指标等。
因此，在一个实施例中，根据这些生理信息数据，获得设定的生理状态数据可以包括：根据该生理信息数据，获得用于评价所反映的生理特征指标的参数的参数值；根据该参数值，确定该操控选手对于对应生理特征指标的指标数据；以及，生成该生理状态数据包括确定的所有指标数据。
例如，脑电信号的基于功率谱密度的相对功率的方差参数用于评价注意力指标等。
在一个实施例中，脑电图像、肌电图像、心电图像可以直接作为生理状态数据的一部分，用于确定该操控选手的认知神经工效评分。
由于该生理信息数据来自于不同的生理信息采集设备，因此，为了使得根据生理信息数据对操控选手的认知能力的评价具有相同的时间基准，在一个实施例中，获取各生理信息采集设备提供的生理信息数据可以包括：控制各生理信息采集设备同步进行采集操作；获取各生理信息采集设备通过对应的采集操作产生的生理信息数据。
该实施例中，例如可以通过设置统一的时钟基准触发各生理信息采集设备同步开始并结束相应的采集操作等。
步骤S320，根据通过步骤S310获取到的生理状态数据，获得操控选手对于目标任务的认知神经工效评分。
该认知神经工效评分反映该操控选手对于该目标任务的认知能力能力。
在一个实施例中，可以参照获得任务功能评分的方式，获得该认知神经工效评分，在此不再赘述。
在另一个实施例中，也可以根据生理状态数据和预先训练得到的认知神经工效模型，获得该操控选手的认知神经工效评分，即，可以将生理状态数据输入至预置的认知神经工效模型中，获得该认知神经工效评分。
该实施例中，认知神经工效模型反映任意的生理状态数据与认知神经工效评分间的映射关系。
该认知神经工效模型例如可以基于深度卷积神经网络模型训练得到。
该深度卷积神经网络模型包括输入层、输出层、及位于输入层与输出层之间的隐藏层。隐藏层又可以由多层神经网络组成，例如包含卷积层、池化层两种网络类型。卷积层主要负责提取上层神经网络的主要特征。池化层又称作特征映射层，主要负责将上层的多个特征映射到一个新平面。
在一个实施例中，该方法还可以包括获得该认知神经工效模型的步骤，包括：获取训练样本，其中，每一训练样本对应一位操控人员，每一训练样本包括对应操控人员的生理状态数据和对应操控人员的已知操控评分；根据该训练样本训练深度卷积神经网络模型，确定该模型的网络参数；以及，根据该网络参数，获得该认知神经工效模型。
步骤S330，根据认知神经工效评分，获得该操控选手的操控评分。
本实施例中，可以直接将认知神经工效评分，作为该操控选手的操控评分。
本实施例中，还可以结合该操控选手的其他评分，获得该操控选手的操控评分。
例如，该其他评分可以包括针对操控过程中表现的任务完成能力确定的任务工效评分。又例如，该其他评分也可以包括日常成绩得分等。
步骤S340，根据通过步骤S330获得的操控评分，执行设定的操作。
在一个实施例中，该步骤S340中执行设定的操作可以包括第一项操作，即，输出该操控评分。
输出该操控评分可以包括：驱动设备140的显示装置或者与设备140连接的显示装置显示该操控评分。
输出该操控评分也可以包括：将操控评分发送至定制该操控评分的用户登记的终端设备，或者发送至定制该操控评分的用户的用户账号。
该用户例如是操控评级人员，该用户可以向设备140登记该终端设备的设备信息，这样，设备140便可以在获得操控选手的操控评分后，将操控评分发送至该终端设备。
在针对本实施例的方法开发操控分析应用的情况下，操控评级人员可以在自己的终端设备上安装该应用的客户端，并通过登录在该应用中注册的用户账号，获取操控选手的操控评分等。
该终端设备例如是PC机、笔记本电脑或者手机等，在此不做限定。
在一个实施例中，该步骤S340中执行设定的操作可以包括第二项操作，即，根据该操控评分，提供该操控选手是否入选的选拔结果。根据该实施例，可以实现对操控人员的选拔。在此，可以设置分数阈值，并在操控评分高于或者等于该分数阈值的情况下，判定该操控选手入选。该实施例中，执行设定的操作还可以包括：以任意的方式输出该选拔结果。该任意的方式包括显示、打印、发送等等。
在一个实施例中，该步骤S340中执行设定的操作可以包括第三项操作，即，根据该操控评分，确定该操控选手的操控等级。在此，可以预置反映操控评分与操控等级间的对应关系的对照表，以根据对于任意操控选手的操控评分和该对照表，确定对应操控选手的操控等级。该实施例中，执行设定的操作还可以包括：以任意的方式输出该操控等级。
在一个实施例中，该步骤S340中执行设定的操作可以包括第四项操作，即，根据同一操控选手通过不同运动控制装置操控目标对象执行目标任务的操控评分，选出使得操控评分满足设定要求的操控组合，其中，一个操控组合包括相适配的操控选手和运动控制装置。该实施例中，执行设定的操作还可以包括：以任意的方式输出该操控组合。
该实施例中，由于同一操控选手对于不同运动控制装置具有不同的熟练程度，因此，在该例子，不仅可以选出使得操控评分满足设定要求的操控组合，还可以获得最适合该操控选手的运动控制装置。该例子中，设定要求例如是操控评分大于或者等于设定值等。
在一个实施例中，可以允许用户选择在步骤S340中所要执行的操作，因此，该方法还可以包括：响应于设置应用场景的操作，提供设置入口；获取通过该设置入口输入的应用场景，其中，该应用场景反映基于操控评分所要执行的操作；以及，根据该输入的应用场景，确定上述设定的操作的操作内容。
例如，根据输入的应用场景，确定上述设定的操作的操作内容包括以上各项操作中的至少一项操作。
根据以上步骤S310～S340可知，本实施例的方法可以根据操控选手操控目标对象执行目标任务产生的心理状态数据，确定对于该操控选手的操控评分，这将能够较大程度地节约人工成本和时间成本，并大大降低了对于专家经验的依赖，提高了分析的准确性和有效性。
另外，该操控评分可供相关人员进行操控人员的选拔、进行操控人员的评级、和/或进行操控人员和运动控制装置间的匹配设置等。
图4是根据另一个实施例的操控工效分析方法的流程示意图，该方法例如可以由如图2所示的操控工效分析设备140实施。本实施例中，该方法可以包括如下步骤S410～S460：
步骤S410，获取操控选手操控目标对象执行目标任务产生的操控结果数据。
本实施例中，该操控结果数据可以由任务执行设备120提供，也可以由任务执行设备120向操控工效分析设备140提供用于计算操控结果数据的基础数据，并由操控工效分析设备140根据该基础数据计算得到该操控结果数据，以供在本步骤S410进行获取。
该操控结果数据例如可以包括反映操纵熟练程度的指标数据、反映位置控制能力的指标数据、反映集群操纵信息处理能力的指标数据、反映集群操控效能的指标数据、及反映故障处理能力的指标数据中的至少一类数据。
上述反映操纵熟练程度的指标数据例如可以包括命令反映延迟时间、操纵延迟时间、任务停顿次数等的至少一项。该反映操纵熟练程度的指标数据可以由如图1所示的运动控制装置1201确定。
上述反映位置控制能力的指标数据例如可以包括高度偏差、水平偏差、航向偏差、稳定度等的至少一项。该反映位置控制能力的指标数据可以来源于目标对象的各传感器。
上述反映集群操纵信息处理能力的指标数据例如可以包括集群信息汇报速度、集群故障发现速度等的至少一项。该反映操纵熟练程度的指标数据可以由如图1所示的运动控制装置1201确定。
上述反映集群操控效能的指标数据例如可以包括反映编队设置能力的参数值、反映路线规划能力的参数值等的至少一项。该反应编队设置能力的参数值例如可以包括编队设置的用时、对应编队完成目标任务的时间长度等。该反应路线规划能力的参数值例如可以包括路线规划的用时、完成目标任务的时间长度等。
上述反映故障处理能力的指标数据例如可以包括反映应急反映能力的参数值、反映故障处理正确性的参数值等的至少一项。该反应应急反映能力的参数值例如可以包括应急反映的响应时间、应急处理是否成功的结果等。反映故障处理正确性的参数值例如可以包括故障处理是否成功的结果等。
该目标对象例如可以是无人机等。
该目标任务包括任务内容及对应的任务环境等。
本实施例中，如图1所示，该操控选手可以通过运动控制装置1201在真实场景中操控目标对象，即，目标对象与任务环境均是真实的。
步骤S420，根据通过步骤S420获取到的操控结果数据，获得该操控选手对于该目标任务的任务工效评分。
该任务工效评分反映该操控选手对于该目标任务的完成能力。
本实施例中，可以设置用于评价任务工效的各评价指标，以通过各评价指标来衡量操控选手对于该目标任务的完成能力。
各评价指标可以预先设置。各评价指标也可以利用相关性分析法，从预设的初始评价指标集合中筛选出与对于操控选手的评级相关性较高的至少部分指标，形成最终使用的各评价指标。
各评价指标例如包括：反映操纵熟练程度的指标、反映位置控制能力的指标、反映集群操纵信息处理能力的指标、反映集群操控效能的指标、及反映故障处理能力的指标中的至少一类指标。
反映位置控制能力的指标例如又可以包括高度偏差指标、水平偏差指标、航向偏差指标、稳定度指标等的至少一项。反映集群操纵信息处理能力的指标例如又可以包括集群信息汇报速度指标、集群故障发现速度指标等的至少一项。反映集群操控效能的指标例如又可以包括编队设置能力指标、路线规划能力指标等的至少一项。反映故障处理能力的指标例如又可以包括反映应急反映能力的指标、反映故障处理正确性的指标等的至少一项。
本实施例中，可以预置反映操控结果数据与各评价指标的单项评分间的映射关系的对照表，以根据步骤S410获取到的操控结果数据及该对照表，获得该操作选手对于各评价指标的单项评分。
由于该操控结果数据包括对应每一评价指标的指标数据，该对照表中可以包括每一项指标数据的数据范围与对应评价指标的单项评分间的映射关系，这样，根据该对照表，便可以根据任意操控选手的操控结果数据，得到该操控选手对于各评价指标的单项评分。
该单项评分可以用1至10或者1至100等的分数表示，也可以用表示优、良、中、差的等级的数值来表示，在此不做限定。
对此，在一个实施例中，该步骤S420中根据操控结果数据，获得该操控选手对于该目标任务的任务工效评分可以包括：根据操控结果数据，获得该操作选手对于设定的各评价指标的单项评分；以及，根据各单项评分及各评价指标各自的权重系数，获得操控选手对于该目标任务的任务工效评分。
该实施例中，各评价指标各自的权重系数之和等于1。各评价指标各自的权重系数可以预先设置，也可以通过层次分析法等获得，在此不做限定。
该实施例中，任务工效评分Q1可以通过如下公式(1)获得：
Figure BDA0002494716560000141
公式(1)中，i代表第i个评价指标，wi为第i项评价指标的权重系数，qi为操控选手对于第i项评价指标的单项评分，M为各评价指标的总数。
步骤S430，获取操控选手操控该目标对象执行该目标任务产生的生理状态数据。
步骤S440，根据通过步骤S430获取到的生理状态数据，获得操控选手对于目标任务的认知神经工效评分。
步骤S450，根据任务工效评分和认知神经工效评分，获得该操控选手的操控评分。
本实施例中，可以直接将任务工效评分与认知神经工效评分之和，作为该操控选手的操控评分。
本实施例中，也可以根据需要为任务工效评分和认知神经工效评分设置不同的权重系数，以根据任务工效评分、认知神经工效评分、及各自的权重系数，获得该操控选手的操控评分Q如下公式(2)所示：
Q＝α1×Q1+α2×Q2公式(2)；
公式(2)中，α1为任务工效评分的权重系数，Q1为任务工效评分，α2为认知神经工效评分，α2为认知神经工效评分的权重系数。
本实施例中，权重系数α1、α2之和等于1。权重系数α1、α2可以预先设定。权重系数α1、α2的取值与对于操控选手的选拔需求有直接关系，取决于标准协会对于操控选手的实际任务完成能力与潜在认知能力的筛选偏好，如偏好筛选实际任务完成能力强的操控选手，则可以设定α1大于α2，如偏好筛选潜在认知能力强的操控选手，则可以设定α1小于α2。
本实施例中，还可以将任务工效评分和认知神经工效评分输入至根据支持向量机模型，即分类模型，获得该操控选手的操控评分。
获得该支持向量机模型的步骤可以包括：获取多个训练样本，每一训练样本对应一位操控人员，每一训练样本包括对应操控选手的任务工效得分、认知神经工效得分与对应的操控评分；以及，利用训练样本训练支持向量机模型的模型参数，进而获得该支持向量机模型。
步骤S460，根据通过步骤S450获得的操控评分，执行设定的操作。
根据以上步骤S410～S460可知，本实施例的方法可以根据操控选手操控目标对象执行目标任务产生的操控结果数据和心理状态数据，确定对于该操控选手的操控评分，这将能够较大程度地节约人工成本和时间成本，并大大降低了对于专家经验的依赖，提高了分析的准确性和有效性。
在一个实施例中，该方法可以根据相关性分析方法，从人为设定的初始评价指标集合中筛选出与对于操作选手的评级具有较高相关性的指标，形成最终的各评价指标，即形成可供上述步骤S420确定任务工效评分使用的各评价指标，这有利于提高对于任务工效评价的准确性和有效性。该实施例的方法可以由如图3所示的操控工效分析设备140实施。
该实施例中，该方法还可以包括获得可供上述步骤S420使用的各评价指标的步骤S511～S515：
步骤S511，获取设定的初始评价指标集合。
该初始评价指标集合中的各指标可以由专家设置。该初始评价指标集合例如包括以上提及的针对任务工效的所有指标等。
该实施例中，该方法还可以包括获取专家设置的指标，以形成初始评价指标集合的步骤，该步骤例如可以包括：响应于设置初始指标的操作，提供设置接口；获取通过该设置接口输入的初始指标，形成该初始评价指标集合。
步骤S512，获取经认证的操控人员操控该目标对象执行该目标任务产生的操控结果数据，作为操控结果参照数据。
例如，该目标对象是无人机，则该经认证的操控人员是具有操纵无人机资质的操控人员，且具有已知的操控等级，例如是优秀等级的操控人员等。在此，可将优秀等级映射至相应的数值来表示，以方便进行相关性计算。
步骤S513，根据该操控结果参考数据和设定的评分规则，获得经认证的操作人员对于初始评价指标集合中每一指标的单项评分，作为单项参照评分。
该设定的评分规则反映该集合中每一项指标的指标数据的数据范围与对应的单项评分之间的映射关系。
在该步骤S513中，根据操控结果参照数据，可以提取出对应该集合中每一项指标的指标数据，进而可以根据该评分规则，获得经认证的操作人员对于初始评价指标集合中每一指标的单项评分。
根据该步骤S513，可以获得包含该经认证的操控人员的各单项评分，与该经认证的操控人员的资质等级的数据集。
该实施例中，可以组织多位经认证的操控人员参与该方法的实施，以获得多个这样的数据集，进而能够根据多位经认证的操控人员的单项评分与资质等级间的相关程度，筛选最终使用的各评价指标，提高筛选的准确性。
步骤S514，根据经认证的操控人员的操控等级及对应的单项参照评分，获得表示初始评价指标集合中每一指标与操控等级之间的相关度的相关值。
该步骤S514中，可以根据一位或者多位操控人员的数据集，获得初始评价指标集合中的每一指标分别与操控等级之间的相关值，例如，该初始评价指标集合中有40个指标，则得到40个相关值。
该步骤S514中，可以根据相关值的取值范围设置筛选阈值，以进行最终使用的各评价指标的筛选，即，从初始评价指标集合中筛选出使得该相关值大于或者等于该筛选阈值的指标，作为最终使用的各评价指标。
该实施例中，可以基于任意的相关性算法，获得初始评价指标集合中任意指标与操控等级之间的相关值，以通过该相关值表示该指标与操控等级之间的相关密切程度，例如，可以采用皮尔森相关系数法来获得该相关值，即，通过皮尔森相关系数表示该相关值。
步骤S515，根据该相关值，从初始评价指标集合中选取各评价指标。
该实施例中，以通过皮尔森相关系数表示该相关值为例，皮尔森相关系数的取值范围为-1到1之间，可以选取使得该相关值的绝对值大于0.5的指标，作为最终使用的各评价指标等。
在一个实施例中，该方法可以通过层次分析法等，获得最终使用的各评价指标各自的权重，以提高获得的任务工效评分的准确性。该实施例的方法可以由如图3所示的操控工效分析设备140实施。
该实施例中，该方法还包括包括获得各评价指标各自的权重的步骤，包括如下步骤S521～S524：
步骤S521，提供权重比较界面。
该实施例中，可以组织专家针对各评价指标，给出其中的每两个评价指标的重要性的比较结果。例如，该实施例中选取出20个评价指标，则根据专家给出的比较结果，可以获得一个20×20的判断矩阵。
该步骤S521中，可以提供权重比较界面，该权重比较界面提供针对每两个评价指标，给出对应的比较结果的输入框。另外，该权重比较界面还可以提供如下表1所示的标度表，专家可以根据该标度表，在该输入框中给出对应的比较结果，以供如下步骤S521获取。
表1 标度表
标度 含义
1 表示两个指标相比，具有同样重要性
3 表示两个指标相比，一个指标比另一个指标稍微重要
5 表示两个指标相比，一个指标比另一个指标明显重要
7 表示两个指标相比，一个指标比另一个指标强烈重要
9 表示两个指标相比，一个指标比另一个指标极端重要
2,4,6,8 上述两相邻判断的中值
倒数 指标i于j比较的标度为a<sub>ij</sub>，则指标j与i比较的标度a<sub>ji</sub>＝1/a<sub>ij</sub>
步骤S522，获取通过该权重比较界面输入的对于每两个评价指标的重要性的比较结果。
步骤S523，根据该比较结果生成判断矩阵。
该步骤S523中，根据该比较结果生成的判断矩阵为M×M的矩阵。
步骤S524，基于层次分析算法，根据判断矩阵获得各评价指标各自的权重。
在步骤S524中，基于层次分析算法，将对该判断矩阵进行一致性检验，以使得该判断矩阵的一致性在可接受的范围内，如果该判断矩阵未通过该一致性检验，将重新加载权重比较界面，以供专家进行比较结果的调整，其中，在该重新加载的权重比较界面中，将在输入框中提供在先输入的比较结果。
该实施例中，可以通过层次分析算法，获得各评价指标的重要程度排序及相应的权重值，进而可以根据该重要程度排序或者该权重值确定各评价指标各自的权重。
<脑电采集设备实施例>
为了能够根据脑电采集设备1301提供的生理信号数据，获得对于注意力指标、脑负荷指标、情绪控制指标等生理特征指标的指标数据，本实施例中的脑电采集设备1301采用宽频带脑电采集设备，用于采集0.5～100Hz的脑电信号。脑电信号中有低频脑电能量高，高频脑电能量低的特点，低频脑电较容易采集，高频脑电能量较弱采集易受干扰。如果设备对噪声的抑制能力较差，采集到的宽频带脑电会淹没在噪声当中。因此准确获取头皮脑电宽频信息成分关键是如何提高脑电信号的信噪比值。为了提高信噪比值，除了通过硬件电路进行的放大、滤波等操作之外，还需要通过软件设计去除在脑电采集中因各种干扰所产生的噪声信息，对此，该实施例给出了脑电采集设备1301提供生理信号数据的一种处理方法。
该实施例中，该处理方法可以包括：脑电采集设备1301将采集到的原始脑电信号顺序通过多个噪声识别模型过滤对应的噪声信号，获得去噪后的脑电信号；生成所要提供的生理信号数据包括该去噪后的脑电信号。
该实施例中，以上多个噪声识别模型可以包括用于去除眼动(EOG)干扰的噪声识别模型、去除心电(ECG)干扰的噪声识别模型、去除肌电(EMG)干扰的噪声识别模型、去除头动干扰的噪声识别模型中的至少一项。
该实施例的处理方法可以由脑电采集设备1301的处理器(例如MCU)实施，即，脑电采集设备1301包括处理器和存储器，该存储器用于存储程序指令，该指令用于控制处理器执行以上处理方法。
脑电采集设备提供的生理信号数据可以包括该去噪后的脑电信号，还可以包括脑电图像等。
该实施例中，原始脑电信号由脑电采集设备的前端采集装置采集，该前端采集装置可以为电极帽，该电极帽包括帽体和固定设置在帽体上的多个脑电极。这样，通过让操控选手佩戴该电极帽，便可采集该操控选手在操控目标对象执行目标任务期间的原始脑电信号。
该实施例中，由于电极帽包括多组脑电极，因此，通过电极帽将能够采集到多路原始脑电信号，进而提供多路脑电信号，其中，一路脑电信号对应一组脑电极，不同脑电极对应不同的脑部位置。
一组脑电极可以包括记录电极(或者称之为作用电极)、参考电极和接地电极，不同组的脑电极可以共用参考电极和/或接地电极等。
该实施例中，由于脑部的不同位置具有不同的敏感事项，因此，可以选取对设定的生理特征指标的反应比较敏感的脑部位置设置记录电极，并通过设定通道的脑电信号，获得对于对应生理特征指标的指标数据。
例如，设置一组脑电极包括位于左侧背外侧前额叶区(对应在10-20电极安放系统中的F3位置)的记录电极，该组脑电极所在通道的脑电信号可以用于确定对应注意力指标的指标数据。
该原始脑电信号可以先经过信号放大、滤波、模数转换等，再进行以上的顺序通过多个噪声识别模型过滤对应的噪声信号的操作。
在一个实施例中，获得以上多个噪声识别模型中任意噪声识别模型的步骤，可以包括：采集该噪声识别模型所要滤除的噪声信号；提取该噪声信号的信号特征；以及，根据所述信号特征，训练得到该任意噪声识别模型。
该实施例中，可以根据所要滤除的噪声信号，针对性地采集具有该噪声信号的目标脑电信号及不具有该噪声信号的基准脑电信号，将目标脑电信号与基准脑电信号相比较，即可获得所要滤除的噪声信号。该噪声识别模型在接收到输入的脑电信号时，可以识别出输入的脑电信号中存在的符合该信号特征的成分，进而达到从输入的脑电信号中去除该噪声信号的目的。
以获取具有眼动干扰产生的噪声信号的目标脑电信号为例，可以通过引导测试人员眨眼和/或进行眼球运动的方式，采集该目标脑电信号。例如，这可以在用于测试的计算机屏幕上播放引导动画，引导动画中使用方块指示测试人员眨眼、及使用方块引导测试人员进行眼球运动等，这样，便可以采集到该目标脑电信号。
以获取具有头动干扰的噪声信号的目标脑电信号为例，一般的头动伪迹分为点头和摇头两种，这也可以通过引导换呈现指示物，来引导测试人员转动头部来完成对应头动干扰的测试，进而获得具有头动干扰的噪声信号的该目标脑电信号。另外，还可以使用加速度传感器进行头动检测，以提取头动特征参与去除头动干扰的噪声识别模型的训练。
以获取具有肌动干扰的噪声信号的目标脑电信号为例，人的面部肌肉对脑电均有不同程度的影响，位于前部的脑电极对面部肌肉(皱眉肌和额肌)敏感，位于颞叶和中部的脑电极对咀嚼肌(主要是咬肌和颞肌)敏感，在获取该目标脑电信号时，可以使用声音刺激来进行引导，并且在紧张和放松过程中使用一个持续设定时间长度(例如100ms)的声音刺激进行N100诱发，以采集具有肌动干扰的噪声信号的目标脑电信号。
该实施例中，可以根据以上对于不同干扰的测试方式，引导测试人员连贯地完成各测试，以提高测试效率。例如，这可以是，先采集不具有任何干扰的基准脑电信号，然后再依此采集具有眼动干扰产生的噪声信号的目标脑电信号、具有头动干扰的噪声信号的目标脑电信号、及具有肌动干扰的噪声信号的目标脑电信号等。
在训练噪声识别模型中，为了在具有较少训练样本的情况下，能够使得训练得到的噪声识别模型还具有较高的准确性，可以采用迁移学习的方式对提取的噪声信号的特征进行学习，例如，可以利用inception系列模型进行训练。这可以利用非线性系统的方法将脑电信号转换为一个一个的图像片段，然后利用inception模型对其进行学习等。
相对通过数学计算去除脑电信号中的噪声信号的去噪方式，本实施例中，通过串联多个噪声识别模型以去除脑电信号中可能存在的设定噪声信号的方式，能够较好地改善去除噪声的准确性和有效性。
<肌电采集设备实施例>
图5示出了一个实施例的肌电采集设备1302的组成结构示意图。
根据图5所示，该肌电采集设备1302可以包括顺次连接的肌电采集电极13021、滤波和信号放大模块13022、模数转换模块13023、控制模块13024和通信模块13025。肌电采集设备1302还可以包括电源供电模块13026，该电源供电模块13026为模数转换模块13023和控制模块13024提供工作电压。
该肌电采集电极13021与测试选手接触，以采集原始肌电信号。
滤波和信号放大模块13022用于将肌电采集电极13021采集侧积累的生物电信号进行模拟滤波、信号放大、陷波预处理等。该滤波和信号放大模块13022可以包括模拟带通滤波电路、运表运放放大电路和陷波预处理电路。
模数转换模块13023可以采用集成的AD转换芯片。
控制模块13024可以采用MCU芯片等。
通信模块13025用于将控制模块13024输出的肌电信号(即，肌电采集设备1302提供的肌电信号)发送至设备140。该通信模块13025例如可以采用带屏蔽层的USB通讯线缆进行数据传输。
<心电采集设备实施例>
心电采集设备1303可以包括顺次连接的采集电极、模拟滤波模块、信号放大模块、陷波处理模块、模数转换模块、控制模块和通讯模块。
人体的心电搏动频率为0.25～100Hz，且心电信号能量的集中区分布在0.25～35Hz，因此，模拟滤波模块可以采用带通滤波电路，先进行高通滤波，再进行二阶低通滤波处理，最终将信号频率限制为0.1Hz～106Hz，滤除带宽外的其他噪声信号。
鉴于心电信号是微弱生物电信号，其信号幅值范围为0.05～4mv，故需要对其放大处理后才能进行后期处理分析，该信号放大模块即可以用于对模拟滤波模块的输出信号进行放大处理，该信号放大模块例如可以采用仪表运算放大芯片进行单级的放大处理。
为了更好的消除工频信号的干扰，可以通过陷波处理模块进行50Hz陷波处理。
通信模块用于将控制模块输出的心电信号(即，心电采集设备1303提供的心电信号)发送至设备140。
在心电采集设备的信号处理流程可以包括：采集电极输出的差分对信号顺次经过模拟滤波模块、信号放大模块、陷波处理模块处理，处理后的模拟生物电信号输入至模数转换模块，以将处理后的模拟生物电信号转化为数字信号，模数转换模块利用SPI等传输协议将数字信号发送至控制模块进行数字信号处理，并由通信模块将数字信号处理后的信号(即心电采集设备提供的肌电信号)发送至设备140。
<视频采集设备实施例>
对于视频采集，视频采集设备1304可以包括摄像头、及与摄像头连接的图像处理装置。
由于摄像头采集的视频文件由多帧图像构成，因此，可以将该视频文件可以拆分成一张张视频图像，因此，图像处理装置可以将采集到的视频文件拆分成视频图像进行图像处理。
该图像处理包括人脸检测，即，从摄像头采集到的图像中识别出脸部区域。
该人脸检测可以通过分类器扫描图像完成。该分类器可以是任意现有的人脸识别分类器，例如可以是采用Adaboost算法训练得到的分类器，在此不再赘述。
该图像处理还可以包括：针对识别出的脸部区域，进行关键点的定位和特征提取。
该关键点的定位包括对于眼睛的定位，这可以根据眼睛与眼睛周围的颜色的区分，确定区别阈值，以针对二值化处理后的图像，根据灰度值的变化来确定人眼的位置。当发生眨眼的动作时，眼睛所处区域的灰度发生变化，可根据该变化条件提取出表示眨眼次数的特征数据。
该关键点的定位还可以包括对于嘴部的定位，当眼睛位置确定之后，可以根据人脸模型，定位到嘴部所处的位置。当测试选手打哈欠时，嘴部张开，嘴部位置的灰度值发生变化，因此，同样可以根据嘴部位置灰度值的变化，提取到表示打哈欠次数的特征数据。
视频采集设备1304提供的生理信息数据可以包括以上表示眨眼动作的特征数据和以上表示打哈欠动作的特征数据中的至少一项。
另外，视频采集设备1304也可以仅进行图像的二值化处理的图像预处理，并将预处理后的图像发送至设备140，并由设备140执行以上图像处理操作，在此不做限定。
在一个实施例中，视频采集设备1304提供生理信息数据可以包括如下步骤：获取采集到的视频图像；识别该视频图像中的脸部区域；在识别到的脸部区域中，定位眼部位置和嘴部位置；根据每相邻两帧视频图像间眼部位置的灰度变化，确定出现眨眼动作的时间点；根据每相邻两帧视频图像间嘴部位置的灰度变化，确定出现打哈欠动作的时间点；根据以上时间点，生成视频采集设备提供的生理信息数据。
<提取指标数据的实施例>
本实施例中，设备140接收到各生理信息采集设备130提供的生理信息数据之后，将根据这些生理信息数据，获得对于设定的生理特征指标的指标数据。
对于脑电采集设备1301提供的脑电信号，可以提取到对于注意力指标、脑负荷指标、神经疲劳指标等生理特征指标的指标数据。
1)关于根据脑电信号提取对于注意力指标的指标数据：
注意力是指人的心理活动对某种事物指向和集中的能力，它包含了感知觉信息的输入、加工、整合、调节控制等一系列复杂的神经处理过程，是人类进行学习及其他活动的基本前提。
在操控选手操控目标对象执行目标任务的操控过程中，脑电采集设备1301可以提供操控选手在该过程中产生的脑电信号。
本实施例可以根据脑电采集设备130提供的对应第一组脑电极的脑电信号，记为第一脑电信号，提取对于注意力指标的指标数据，该第一组脑电极包括位于左侧背外侧前额叶区(对应在10-20电极安放系统中的F3位置)的记录电极。
本实施例中，第一脑电信号由顺次排列的多个时间序列构成，每个时间序列的时间长度可以相同，例如10s。本实施例中，可以通过第一脑电信号在多个时间序列的β_1频段(13Hz-20Hz)的相对功率Rp的方差值，来表示操控选手的注意力集中程度，即，可以将该方差值作为对于注意力指标的指标数据，其中，Rp值越大，代表操控人员在对应时间序列内的注意力集中程度越高。
任意时间序列的β_1频段的相对功率Rp为：对应时间序列的β_1频段的功率密度值与全频段的功率密度值的比值。
任意时间序列的功率密度值的计算方式可以为：可以对该时间序列X(n)进行分割，以将其拆分成K个子时间序列X1(n)～Xk(n)，每个子时间序列之间相重叠，并给每个子时间序列添加相等长度的汉明窗，以避免最终结果出现频谱泄漏；计算每个子时间序列的功率密度谱；以及，计算所有子时间序列的功率密度谱的平均值，作为该时间序列的功率密度值。
本实施例中，根据操控选手在整个操控过程中每个时间序列的Rp值，可以获得RP值的方差值，用以表征操控人员完成目标任务过程中注意力的波动情况，方差越小，则说明注意力控制能力越强。最终可以根据方差值及设定的分类阈值，确定该操控选手对于注意力指标的指标数据。
以将注意力控制力分成优、良、不合格三级为例，该分类阈值反映方差值的数值范围与级别之间的映射关系，最终确定的该操控选手对于注意力指标的指标数据即为所属的级别，例如，所属级别为优。在此，可以用不同的数据标识来表示不同的级别，例如100代表优，101代表良，110代表不合格等，在此不做限定。
2)关于根据脑电信号提取对于脑负荷指标的指标数据：
预先建立用于针对脑负荷进行分类的分类模型，例如，脑负荷分为高、中、低三个等级等，每个级别可以用对应的数据标识表示，即，提取到的指标数据可以为所对应的脑负荷级别。
由于前额叶部位的脑电对脑负荷变化比较敏感，因此，可以根据脑电采集设备130提供的对应位于前额叶部位的第二组脑电极的脑电信号，记为第二脑电信号，提取对于脑负荷指标的指标数据。
该实施例中，根据脑电信号提取对于脑负荷指标的指标数据可以包括：获取第二脑电信号对于设定的反映脑负荷状态的特征向量的向量值；以及，将该向量值输入至该分类模型中，获得对于脑负荷指标的指标数据。
该特征向量由反映脑负荷状态的多个特征构成，第二脑电信号对于多个特征中每一特征的取值，构成该向量值，其中，每一特征对应用于评价脑负荷指标的一个参数。
该特征向量中的特征分为两类，分别为第一特征集和第二特征集，第一特征集包括：根据脑电信号的多个固有模态函数(Intrinsic Mode Functions，IMFS)中的每一个函数分别获得的递归特征量。
该多个固有模态函数为对脑电信号进行集合经验模态分解(Ensemble EmpiricalMode Decomposition，EEMD)分解后的前设定数量个固有模态函数，例如前9个固有模态函数。
根据每一个函数需要获得的递归特征量可以包括递归率(recurrence ratio)、确定率(determinism)、层流率(laminarity)、熵(entropy)。
在多个固有模态函数为9个固有模态函数，每个固有模态函数对应以上个递归特征量的情况下，第一特征集包括36个特征。
第二特征集包括：脑电信号分别在1-4Hz、4-8Hz、8-13Hz、13-30Hz、30-45Hz五个波段的相对功率，即，第二特征集可以包括5个特征。
该实施例中，可以参照以上的提取操控选手的第二脑电信号对于设定的特征向量的向量值的方式，构建训练样本，以训练得到该分类模型。对于每一训练样本，可以根据测试人员完成测试任务的用时为每一训练样本设置对应的标签，例如，用时较少的训练样本的结果标签为脑负荷低、用时较多的训练样本的结果标签为脑负荷高，中间用时的训练样本的结果标签为脑负荷中等，这样，便可以根据具有标签的训练样本，获得该分类模型。
3)关于根据脑电信号提取对于神经疲劳指标的指标数据：
由于脑电信号中P3a成分能够反映脑疲劳状态，且前额叶部位易于诱发该P3a成分，因此，可以根据脑电采集设备130提供的对应位于前额叶部位的第二组脑电极的脑电信号，记为第二脑电信号，提取对于神经疲劳指标的指标数据。该指标数据的取值包括优、良和不合格三种。
该实施例中，可以设置P3a成分的幅值的基准值，在第二脑电信号中的P3a成分的幅值均大于或者等于该基准值的设定比例时，该设定比例高于50％，例如为75％，则说明操控选手在操控过程中未出现神经疲劳，其对于神经疲劳指标的指标数据为优秀，而在第二脑电信号中的P3a成分的幅值在操控开始的设定时间长度之后，才下降至该基准值的设定比例以下时，则其对于神经疲劳指标的指标数据为良，其他情况为不合格。
该设定时间长度可以根据目标任务的限时确定，以限时为60分钟为例，该设定时间长度可以为30分钟等。
在一个实施例中，可以在操控选手操控目标对象执行目标任务期间，通过设备140对操控选手进行听觉Oddball范式刺激，以使得脑电信号中出现该P3a成分。
对于肌电采集设备1302提供的肌电信号，可以提取到对于肌肉疲劳指标的指标数据。
由于肌电信号的频率信息(包括中位频率和均值频率)与测试选手的疲劳程度呈负相关，不同的疲劳程度下，肌电信号在频率分量上体现有所不同的。因此，肌肉疲劳程度可以通过平均功率频率(Mean Power Frequency,MPF)和中位频率(Median Frequency，MF)两个参数的参数值表示。
该实施例中，可以通过FFT功率谱方案分析采集到的肌电信号，以获得肌电信号的平均功率频率值和中位频率值。
该实施例中，仍然可以利用平均功率频率值和中位频率值，将对于肌肉疲劳指标的指标数据分为几个等级，在此不再赘述。
对于心电采集设备1303提供的心电信号，可以提取到对于情绪控制能力指标的指标数据。
由于心率时时刻刻都在发生变化，心率的变化曲线自然也是一条具有起伏波动的的线条。心率变异性的大小直接体现了神经体液因素对心脏搏动的调节作用。从神经活动调节作用去分析心率变异性，实质上体现的是迷走神经性活动和交感神经活动相互博弈以及平衡的关系。从时域角度分析，测试选手的心率会伴随着任务事件的不同而快速变化，进而影响全部窦性心搏RR间期(简称NN间期)的标准差(SDNN)值。因此，情绪变化波动值可用SDNN进行量化分析，且SDNN与情绪波动呈正向相关，即SDNN数值越大，情绪波动浮动越显著。
因此，可以根据心电信号确定SDNN数值，来获得操控选手对于情绪控制能力指标的指标数据。
该实施例中，仍然可以利用SDNN数值，将对于情绪控制能力指标的指标数据分为几个等级，在此不再赘述。
对于视频采集设备1304提供的心理信息数据，可以提取到对于神经疲劳指标的指标数据。
如上所述，视频采集设备1304提供的心理信息数据可以包括出现眨眼的时间点和出现打哈欠行为的时间点。
根据眨眼次数的变化、及打哈欠的情况可以判断测试选手是否处于疲劳状态中。例如，一般状态下，每个人在一分钟内眨眼的次数不会相差太大，而当一个人处于疲劳状态时，会出现眨眼次数变少或者突然变多的现象，因此，可以根据出现眨眼的时间点，比较在每个设定时间长度(例如1分钟)内的眨眼次数的变化，如果连续多个时间长度内的眨眼次数均出现异常，则说明处于疲劳状态。又例如，在正常操控过程中，基本上不会存在打哈欠的行为，而当操控选手处于疲惫状态时，就会出现打哈欠的行为，统计每个设定时间长度内的打哈欠的次数，如果连续多个时间长度内均出现打哈欠的行为，则可以说明操控选手出现处于疲劳状态。
该实施例中，可以根据视频采集设备1304提供的心理信息数据，给出操控选手是否处于疲劳状态的指标数据。
以上每个实施例侧重说明与其他实施例的不同之处，不同实施例的相同或者相似之处，可以相互参见使用。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (7)

1.一种基于认知力的操控工效分析方法，包括：
获取操控选手操控目标对象执行目标任务产生的操控结果数据和生理状态数据；
根据所述操控结果数据，获得所述操控选手对于所述目标任务的任务工效评分；
根据所述生理状态数据，获取所述操控选手对于所述目标任务的认知能力的认知神经工效评分；
根据所述任务工效评分和所述认知神经工效评分，获得所述操控选手的操控评分；
根据所述操控评分，执行设定的操作；
其中，所述根据所述生理状态数据，获取所述操控选手对于所述目标任务的认知能力的认知神经工效评分包括：
将所述生理状态数据输入至预置的认知神经工效模型，获得所述操控选手对于所述目标任务的认知能力的认知神经工效评分，其中，所述认知神经工效模型反映任意的生理状态数据与认知神经工效评分间的映射关系，
其中，获取所述生理状态数据的步骤包括：
获取各生理信息采集设备提供的生理信息数据，其中，任意所述生理信息采集设备提供的生理信息数据包括生理信号数据和生理图像数据中的至少一项；
根据所述生理信息数据，获得所述生理状态数据，包括：
根据所述生理信息采集设备提供的生理信息数据，获得用于评价所反映的生理特征指标的参数的参数值；
根据所述参数值，确定所述操控选手对于对应生理特征指标的指标数据；
生成所述生理状态数据包括确定的所有指标数据，
其中，所述生理信息采集设备包括脑电采集设备、肌电采集设备、心电采集设备和视频采集设备；
所述脑电采集设备提供的生理信息数据反映的生理特征指标包括注意力指标、脑负荷指标和神经疲劳指标中的至少一个指标；
其中，用于评价所述注意力指标的参数包括：脑电信号在多个时间序列的β_1频段的相对功率的方差；用于评价脑负荷指标的参数包括：所述脑电信号对于多个固有模态函数中的每一个函数表现出的递归特征量，和/或，所述脑电信号分别在多个设定波段的相对功率；用于评价神经疲劳指标的参数包括所述脑电信号中P3a成分的幅值；
所述肌电采集设备提供的生理信息数据反映的生理特征指标包括肌肉疲劳程度指标；
其中，用于评价所述肌肉疲劳程度指标的参数包括肌电信号的平均功率频率和中位频率中的至少一个；
所述心电采集设备提供的生理信息数据反映的生理特征指标包括情绪控制能力指标；
其中，用于评价所述情绪控制能力指标的参数包括心电信号中的窦性心搏RR间期的标准差；
所述视频采集设备提供的生理信息数据反映的生理特征指标包括疲劳程度指标；
其中，用于评价疲劳程度指标的参数包括每个设定时间长度内的眨眼次数和/或每个设定时间长度内的打哈欠次数，
其中，所述各生理信息采集设备包括脑电采集设备，所述脑电采集设备提供的生理信息数据包括脑电信号和脑电图像中的至少一项；所述脑电采集设备提供生理信息数据包括：
所述脑电采集设备将采集到的原始脑电信号顺序通过多个噪声识别模型过滤对应的噪声信号，获得去噪后的脑电信号；
生成所提供的生理信息数据包括所述去噪后的脑电信号；和/或，
所述各生理信息采集设备包括肌电采集设备，所述肌电采集设备提供的生理信息数据包括肌电信号和肌电图像中的至少一项；和/或，
所述各生理信息采集设备包括心电采集设备，所述心电采集设备提供的生理信息数据包括心电信号和心电图像中的至少一项；和/或，
所述各生理信息采集设备包括用于采集面部动作的视频采集设备，所述视频采集设备提供的生理信息数据包括面部特征的变化数据和面部图像数据中的至少一项，所述视频采集设备提供生理信息数据包括：
获取采集到的视频图像；
识别所述视频图像中的脸部区域；
在识别到的脸部区域中，定位眼部位置和嘴部位置；
根据每相邻两帧视频图像间眼部位置的灰度变化，确定出现眨眼动作的时间点；
根据每相邻两帧视频图像间嘴部位置的灰度变化，确定出现打哈欠动作的时间点；
根据所述时间点，生成所述视频采集设备提供的生理信息数据。
2.根据权利要求1所述的方法，其中，所述执行设定的操作包括以下至少一项：
第一项，输出所述操控评分；
第二项，根据所述操控评分，提供所述操控选手是否入选的选拔结果；
第三项，根据所述操控评分，确定所述操控选手的操控等级；
第四项，根据同一操控选手通过不同运动控制装置操控目标对象执行目标任务的操控评分，选出使得所述操控评分满足设定要求的操控组合，其中，一个操控组合包括相适配的操控选手和运动控制装置。
3.根据权利要求1所述的方法，其中，所述方法还包括：
响应于设置应用场景的操作，提供设置入口；
获取通过所述设置入口输入的应用场景，其中，所述输入的应用场景反映基于操控评分所要执行的操作；
根据所述输入的应用场景，确定所述执行设定的操作的操作内容。
4.根据权利要求1所述的方法，其中，所述各生理信息采集设备包括脑电采集设备，所述脑电采集设备提供生理信息数据包括：
所述脑电采集设备将采集到的原始脑电信号顺序通过多个噪声识别模型过滤对应的噪声信号，获得去噪后的脑电信号；
生成所提供的生理信息数据包括所述去噪后的脑电信号。
5.根据权利要求1所述的方法，其中，所述方法还包括获得所述认知神经工效模型的步骤，包括：
获取训练样本，其中，一个训练样本对应一位测试人员，一个训练样本反映对应测试人员的所述生理状态数据与已知评分结果之间的映射关系；
根据所述训练样本训练深度卷积神经网络模型，确定所述模型的网络参数；
根据所述网络参数，获得所述认知神经工效模型。
6.一种基于认知力的操控工效分析设备，包括至少一个计算装置和至少一个存储装置的操控工效分析设备，其中，
所述至少一个存储装置用于存储指令，所述指令用于控制所述至少一个计算装置执行根据权利要求1至5中任一项所述的方法。
7.一种基于认知力的操控工效分析系统，其中，所述系统包括任务执行设备、各生理信息采集设备、及权利要求6所述的基于认知力的操控工效分析设备，其中，所述任务执行设备及各生理信息采集设备均与所述操控工效分析设备通信连接；
所述任务执行设备包括被操控的目标对象和用于操控目标对象的运动控制装置，所述目标对象与所述运动控制装置通信连接；
所述运动控制装置为飞行控制装置，通过所述飞行控制装置操控的目标对象为无人机。
CN202010415166.5A 2020-05-15 2020-05-15 基于认知力的操控工效分析方法、设备及系统 Active CN111544015B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010415166.5A CN111544015B (zh) 2020-05-15 2020-05-15 基于认知力的操控工效分析方法、设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010415166.5A CN111544015B (zh) 2020-05-15 2020-05-15 基于认知力的操控工效分析方法、设备及系统

Publications (2)

Publication Number Publication Date
CN111544015A CN111544015A (zh) 2020-08-18
CN111544015B true CN111544015B (zh) 2021-06-25

Family

ID=71998846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010415166.5A Active CN111544015B (zh) 2020-05-15 2020-05-15 基于认知力的操控工效分析方法、设备及系统

Country Status (1)

Country Link
CN (1) CN111544015B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200025B (zh) * 2020-09-25 2022-08-19 北京师范大学 操控工效分析方法、设备及系统
CN112256122B (zh) * 2020-09-25 2022-08-19 北京师范大学 基于精神疲劳的操控工效分析方法、设备及系统
CN112256123B (zh) * 2020-09-25 2022-08-23 北京师范大学 基于脑负荷的操控工效分析方法、设备及系统
CN112256124B (zh) * 2020-09-25 2022-08-19 北京师范大学 基于情绪的操控工效分析方法、设备及系统
CN113158925A (zh) * 2021-04-27 2021-07-23 中国民用航空飞行学院 一种复合材料维修手册阅读工效预测方法和系统
CN113197573B (zh) * 2021-05-19 2022-06-17 哈尔滨工业大学 基于表情识别及脑电融合的观影印象检测方法
CN116346259B (zh) * 2023-05-24 2023-09-19 北京星河亮点技术股份有限公司 基于功率方差比较的信道占用状态预测方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108078565A (zh) * 2017-12-14 2018-05-29 上海惠诚科教器械股份有限公司 一种睡眠监测反馈及睡眠自动改善装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9984586B2 (en) * 2015-11-22 2018-05-29 Victor Popa-Simil Method and device to improve the flying abilities of the airborne devices operator
US10188345B2 (en) * 2016-02-12 2019-01-29 Fitbit, Inc. Method and apparatus for providing biofeedback during meditation exercise
CN106447184B (zh) * 2016-09-21 2019-04-05 中国人民解放军国防科学技术大学 基于多传感器测量与神经网络学习的无人机操作员状态评估方法
CN107224291B (zh) * 2017-05-27 2020-06-30 西南交通大学 调度员能力测试系统
CN107411740B (zh) * 2017-09-06 2021-01-22 西安交通大学 一种操控者精神状态的脑电解析及其操控补偿方法
CN108433719B (zh) * 2018-05-02 2020-12-01 吉林大学 一种基于心电和操控数据的弯道驾驶能力评价方法
CN109118874A (zh) * 2018-08-31 2019-01-01 苏州竹原信息科技有限公司 一种基于虚拟现实的飞行器驾驶培训系统及方法
CN110163462A (zh) * 2018-09-07 2019-08-23 中国国际海运集装箱(集团)股份有限公司 设备操作的评估方法、装置、系统、介质及电子设备
CN110801237B (zh) * 2019-11-10 2022-11-11 中科搏锐（北京）科技有限公司 一种基于眼动和脑电特征的认知能力评估系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108078565A (zh) * 2017-12-14 2018-05-29 上海惠诚科教器械股份有限公司 一种睡眠监测反馈及睡眠自动改善装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
20Hz体感振动刺激对脑电特征影响研究;马娜 等;《生物医学工程学杂志》;20161231;第33卷(第6期);第1046-1052段 *
物理疗法调节睡眠障碍脑电α波的研究进展;张静 等;《上海中医药杂志》;20200229;第54卷(第2期);第102-107页 *
负荷条件下注意力分配策略对情境意识的影响;冯传宴 等;《航空学报》;20200331;第41卷(第3期);第123307-1-123307-10 *

Also Published As

Publication number Publication date
CN111544015A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN111544015B (zh) 基于认知力的操控工效分析方法、设备及系统
CN111598451B (zh) 基于任务执行能力的操控工效分析方法、设备及系统
CN111553617B (zh) 基于虚拟场景中认知力的操控工效分析方法、设备及系统
CN111598453B (zh) 基于虚拟场景中执行力的操控工效分析方法、设备及系统
CN111553618B (zh) 操控工效分析方法、设备及系统
CN107224291B (zh) 调度员能力测试系统
CN110916631B (zh) 基于可穿戴生理信号监测的学生课堂学习状态评测系统
CN110765920B (zh) 基于卷积神经网络的运动想象分类方法
CN110070105B (zh) 基于元学习实例快速筛选的脑电情绪识别方法、系统
EP2698112B1 (en) Real-time stress determination of an individual
CN107951485A (zh) 基于人工智能自学习的动态心电图分析方法和装置
CN112163518B (zh) 情绪监测的情绪建模方法及情绪监测调节系统
CN103038772A (zh) 预测患者的存活性的方法
JP7373555B2 (ja) Ｅｅｇ信号を使用した運動機能の定量化
Sarkar et al. Classification of cognitive load and expertise for adaptive simulation using deep multitask learning
CN109411042A (zh) 心电信息处理方法和心电工作站
Kalaivani et al. Prediction of biomedical signals using deep learning techniques
CN106166065A (zh) 一种基于社交网络的可穿戴心电健康交互平台及其实现方法
CN105726013A (zh) 一种具有心电信号质量判别功能的心电监测系统
Wang et al. Classification of EEG signal using convolutional neural networks
CN104367306A (zh) 生理心理职业测评系统及实现方法
CN113974627B (zh) 一种基于脑机生成对抗的情绪识别方法
Barreto et al. On the classification of mental tasks: a performance comparison of neural and statistical approaches
CN110569968B (zh) 基于电生理信号的创业失败恢复力评估方法及评估系统
CN113143273A (zh) 一种在线视频学习中学习者注意状态智能检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221013

Address after: 100012 Area A, No. 28, Beiyuan 2, Chaoyang District, Beijing

Patentee after: Toprise Aviation Technology (Beijing) Co.,Ltd.

Address before: 100088 19 xinjiekouwai street, Haidian District, Beijing

Patentee before: BEIJING NORMAL University

Effective date of registration: 20221013

Address after: 100088 19 xinjiekouwai street, Haidian District, Beijing

Patentee after: BEIJING NORMAL University

Address before: 100088 19 xinjiekouwai street, Haidian District, Beijing

Patentee before: BEIJING NORMAL University

Patentee before: COMPUTER APPLICATION TECHNOLOGY INSTITUTE OF CHINA NORTH INDUSTRIES Group Corp.