CN115407872B - 一种智能人机协同系统测评方法、装置及存储介质 - Google Patents

Abstract

本发明提供一种智能人机协同系统测评方法、装置及存储介质，该方法包括以下步骤：在受测人员执行智能人机协同系统测试的过程中，记录实时的受测人员的客观数据；将所述客观数据输入到预训练的拟合模型从而进行预测得到预测主观评价，所述预训练的拟合模型基于采集的客观数据和主观评价拟合得到，所述主观评价基于执行用于预训练的智能人机协同系统测试后受测人员的第一主观测评结果得到；基于所述预测主观评价得到实时人机协同评分。本发明的智能人机协同系统测评方法、装置及存储介质，能够克服现有的测评方法的片面性，多方面、严谨、客观的对智能人机协同系统进行测评，并通过拟合模型依据实时的客观数据进行智能人机协同系统测评。

Description

一种智能人机协同系统测评方法、装置及存储介质

技术领域

本发明涉及智能人机协同技术领域，尤其涉及一种智能人机协同系统测评方法、装置及存储介质。

背景技术

随着人工智能技术迅猛发展，智能人机协同系统将普遍存在于智能制造、智慧交通、智慧生活等诸多方面，智能人机协同系统将人和机器作为一个团队，集成人类智能和人工智能，实现人机自主交互、协作共赢，基于脑机接口(Brain-Computer Interface，BCI)实现有机生命体的大脑或神经系统与计算机的信息交换，基于BCI范式进行智能人机协同，但如何评价人与智能人机协同系统形成的交互及协作关系的效果，将影响到用户体验和智能人机协同系统的能力发挥。

现有的人机协同系统测评方法仅通过选取系统的信息传输率和准确率来评价基于BCI的智能人机协同系统，不足以充分、全面、严谨的对智能人机协同系统进行测评。

为此，如何提供一种全面、充分、严谨的智能人机协同系统测评方法，是一个亟待解决的问题。

发明内容

鉴于此，本发明实施例提供了一种智能人机协同系统测评方法、装置及存储介质，以消除或改善现有技术中存在的一个或更多个缺陷。

本发明的一个方面提供了一种智能人机协同系统测评方法，该方法包括以下步骤：

在本发明的一些实施例中，该方法还包括：基于所述实时记录的受测人员的客观数据生成实时客观评价，结合实时客观评价和预测主观评价得到实时人机协同评分；

所述结合实时客观评价和预测主观评价得到实时人机协同评分的步骤包括，对实时客观评价和预测主观评价进行标准化并按照预设权值加和。

在本发明的一些实施例中，所述客观数据包括受测人员的行为数据、眼动数据和生理数据中一种或多种，其中：所述行为数据包括以下一种或多种：反应时、准确率、虚报率及用于依据场景自定义的行为绩效指标；所述眼动数据包括以下一种或多种：反应时、注视点和注视时间；所述生理数据包括以下一种或多种：皮电数据、脑电数据和心率数据。

在本发明的一些实施例中，所述主观评价还基于执行用于预训练的智能人机协同系统测试前受测人员的第二主观测评结果得到。所述第一主观测评结果和第二主观测评结果的形式包括问卷、量表和范式。

在本发明的一些实施例中，所述对实时客观评价和预测主观评价进行标准化的步骤包括：消除量纲差异，将客观评价和主观评价都转化为无量纲的纯数值；数据的标准化，将所述客观无量纲的纯数值形式的客观评价和主观评价按照预设比例缩放。

在本发明的一些实施例中，基于采集的客观数据和主观评价拟合得到预训练的拟合模型的步骤：使用建模分析的方法，生成用于预测自变量与因变量之间关系的拟合模型，所述自变量为实时记录的受测人员的客观数据，所述因变量为预测主观评价。

在本发明的一些实施例中，该方法还包括依据所述实时人机协同评分调节智能人机协同测试过程中的信号指令到外部硬件设备控制之间的关系；所述信号指令到外部硬件设备控制之间的关系包括信号识别阈值和信号输出的增益。

在本发明的一些实施例中，所述智能人机协同系统测试的步骤为受测人员与智能人机协同系统的人机交互，所述智能人机协同系统基于原型库、标准库和范式库中任务框架搭建，所述任务框架包括信号采集模块、数据处理模块和控制执行模块；所述信号采集模块用于采集受测人员的预设类型的脑信号；所述数据处理模块用于基于所述脑信号和BCI范式库提取出诱发信号，并基于诱发信号生成控制指令；所述控制执行模块用于控制外部硬件设备执行所述控制指令。

本发明的另一方面提供了一种智能人机协同系统测评装置，包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现上述实施例中任一项所述方法的步骤。

本发明的另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，当程序被处理器执行时实现上述实施例中任一项所述方法的步骤。

本发明的智能人机协同系统测评方法、装置及存储介质，能够克服现有的测评方法的片面性，多方面、严谨、客观的对智能人机协同系统进行测评，并通过拟合模型依据实时的客观数据进行智能人机协同系统测评。

本发明的智能人机协同系统测评方法，能够综合现有的测评方法的片面性，充分、多方面且严谨的对智能人机协同系统进行测评。

本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。

本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为本发明一实施例中智能人机协同系统测评方法流程图。

图2为本发明一实施例中获得实时人机协同评分流程图。

图3为本发明又一实施例中获得实时人机协同评分流程图。

图4为本发明一实施例中基于BCI范式的智能人机协同系统工作流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。

在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。

为了克服现有的智能人机协同系统测评方法不够全面的问题，本发明提供了一种智能人机协同系统测评方法，该方法基于受测人员执行智能人机协同系统测试的过程中记录的受测人员客观数据，以及在执行用于预训练的智能人机协同系统测试结束后受测人员的主观测评结果，训练得到拟合模型，该拟合模型输入实时的客观数据可得到预测的预测主观评价，进而得到实时人机协同评分。

图1为本发明一实施例中智能人机协同系统测评方法流程图，该方法包含以下步骤：

步骤S110：在受测人员执行智能人机协同系统测试的过程中，记录受测人员的客观数据。

上述客观数据包括受测人员的行为数据、眼动数据和生理数据中一种或多种，其中，行为数据包括以下一种或多种：反应时、准确率、虚报率及用于依据场景自定义的行为绩效指标。眼动数据包括以下一种或多种：反应时、注视点和注视时间。生理数据包括以下一种或多种：皮电数据、脑电数据和心率数据。综合了多个维度的客观信息，能够非常客观、全面的展现受测人员的状态和智能人机协同系统测试的结果。

以针对残障人士设计的机械臂场景为例，使用该智能人机协同系统来解释上述术语，反应时为从受测人员下达命令到机械臂做出反应的时间，准确率为机械臂对受测人员所下达命令的反应准确率，虚报率为检测到的大于阈值的信号中错误信号的比例。在个别场景下可能不使用到某些数据，如注视点和注视时间，生理数据则依据需求来决定是否进行采取，例如在针对作战场景的辅助智能设备，则需采集受测人员的生理数据。

其中，皮电数据包含皮肤电导水平(Skin Conductivity Level，SCL)和皮肤电导响应(Skin Conductivity Responce,SCR)，以及它们的均值(Mean)、最大值(Max)、最小值(Min)、标准差(Standard Deviation)、方差(Variance)、极距(Polar Distance)。心率数据包含心率变异性(Heart Rate Varibility，HRV)、平均心率和连续心搏间期标准差等。其中，心率变异性HRV可以是SDNN(全部窦性心搏RR间期的标准差)、RMSSD(相邻RR间期差值的均方根)、VLF(极低频)、LF(低频)、LF(NU)、HF(高频)、HF(NU)、LF/HF等，其中NU代表标化后的数值，有LF(NU)＝LF(/总功率-VLF)，HF(NU)＝HF(/总功率-VLF)。脑电数据包括不同节律的脑电信号的δ、θ、α、β波。其中，δ波的频率为1～4Hz，θ波的频率为4～8Hz，α波的频率为8～12Hz，β波的频率为13～30Hz。还可以分别计算4个不同波段脑电信号的相对功率指标，即不同波段功率分别占总功率值(δ、θ、α和β之和)的比例。在另一实施例中，生理数据还包括肌电数据EMG，其可以是均值(Mean)、最大值(Max)、最小值(Min)、标准差(s)、方差(s²)、均方根值(RMS)、平均绝对值(MAV)、积分肌电值(IEMG)。

需要说明的是，本发明不限于此，该客观数据包含的具体信息仅为示例，例如生理数据还可以包括呼吸数据和皮温数据，该脑电数据还可以包括近红外光谱和脑电图谱，其他本领域的技术人员能够想到的可采集的受测人员的客观数据都属于本发明所保护的范围。可供选择的客观数据多样化，结合具体的场景，进行个性化的选择，拓展了本发明的适用范围。

步骤S120：将客观数据输入到预训练的拟合模型从而进行预测得到预测主观评价，预训练的拟合模型基于采集的客观数据和主观评价拟合得到，主观评价基于执行用于预训练的智能人机协同系统测试后受测人员的第一主观测评结果得到。

在本发明一实施例中，该方法还包括获取在执行智能人机协同系统测试前受测人员的主观测评结果，基于执行智能人机协同系统测试后受测人员的主观测评结果和执行智能人机协同系统测试前受测人员的主观测评结果生成主观评价。其中，该执行智能人机协同系统测试前受测人员的主观测评结果作为基线以增加主观评价的准确性。

在本发明一实施例中，该主观评价还基于执行用于预训练的智能人机协同系统测试前受测人员的第二主观测评结果得到。上述第一主观测评结果和第二主观测评结果的形式包括问卷、量表和范式。通过主观评价可以获悉受测人员的实际感受，照顾到了受测人员的主观感受，在实际生产设计中，在许多应用场景(如残障人士机械臂、机械关节)下，都是非常需要照顾受测人员/使用者的主观感受的。

具体地，在本发明一实施例中，该主观测评为问卷，该问卷为NASA-TLX(Task LoadIndex)认知负荷测量问卷。该问卷仅为实例，本发明不局限于此，还可以是其他行业内可接受的问卷。

将采集到的客观数据与主观评价进行拟合得到预训练的拟合模型的步骤，使用建模分析方法，生成用于预测自变量与因变量之间关系的拟合模型，其中，自变量为实时记录的受测人员的客观数据，因变量为预测主观评价。具体地，该建模分析方法为回归分析的方法。回归分析的方法基于大批量的历史数据，综合分析之后建立拟合模型，使得该拟合模型具备代表性，能够大概率的准确关联客观数据和预测主观评价。

步骤S130：基于预测主观评价得到实时人机协同评分。

在本发明一实施例中，该方法还包括：基于实时记录的受测人员的客观数据生成实时客观评价，结合实时客观评价和预测主观评价得到实时人机协同评分；所述结合实时客观评价和预测主观评价得到实时人机协同评分的步骤包括，对实时客观评价和预测主观评价进行标准化并按照预设权值加和。

在本发明一实施例中，将预测主观评价直接作为实时人机协同评分。在本发明又一实施例中，基于实时记录的受测人员的客观数据生成实时客观评价，对实时客观评价和预测主观评价进行标准化并按照预设权值加和，生成实时人机协同评分。

在本发明一实施例中，对实时客观评价和预测主观评价进行标准化的步骤包括消除量纲差异和数据的标准化。其中，消除量纲差异指的是将客观评价和主观评价都转化为无量纲的纯数值；数据的标准化指的是将所述客观无量纲的纯数值形式的客观评价和主观评价按照预设比例缩放。该方法能够结合客观上的数据和受测人员的主观感受，结合两者能够获得全面的智能人机协同系统测评结果。消除量纲差异和数据的标准化能够统一结果数值，方便后续的运算。

在本发明一实施例中，将采集到的客观数据与主观评价进行拟合得到预训练的拟合模型的步骤，使用建模分析方法，如回归分析方法，生成用于预测自变量与因变量之间关系的拟合模型，其中，自变量为实时记录的受测人员的客观数据，因变量为预测主观评价。需要说明的是，该拟合模型为预测型模型，将离线采集到的客观数据通过回归分析的方法拟合到主观评价上，从而获得客观数据与人机协同评分的相关性，从而基于进行预测，基于实时记录的受测人员的客观数据进行预测，生成实时人机协同评分。其中，离线采集到的客观数据指的是采集的一定量的、非实时的客观数据，通过回归分析的方法得到客观数据与人机协同评分的相关性。通过回归分析的方法，基于一定数量的离线数据，获得客观、稳定且具有公信力的拟合模型，进而能够快速的关联实时的客观数据与预测主观评价之间的关系。

拟合模型的构建方法包括三种：

1、阈值方法。

对不同的客观数据设置不同的阈值，满足一定阈值即确定一个等级的主观评价。在已知客观数据和主观评价的基础上，可以根据客观数据和相应的主观评价计算出阈值，从而得到可以根据客观数据预测主观评价的阈值(或多个阈值)。

2、建模方法

参考下式进行建模：

其中y(w,x)为主观测量结果；x值(x1,......,xp)为生理数据向量(EEG、HRV、EDA、EMG等)，根据上式将参数ω0、ω1……ωp拟合出来，从而得到可以预测y值的模型。

3、机器学习方法

机器学习模型可以包括神经网络、随机森林、k最近邻、决策树、支持向量机SVM、线性判别分析LDA等。可以将客观数据作为机器学习模型的输入层，将主观评价作为机器学习模型的输出层。通过大量数据的训练，将输入层和输出层之间的参数计算出来，从而得到可以预测主观评价的机器学习模型。

在本发明一实施例中，所述建模分析方法为回归分析方法，基于线性回归方程，生成预测自变量与因变量之间关系的拟合模型。

需要说明的是，本发明不限于此，该拟合方法仅为实例，例如还可以是基于深度学习算法进行模型训练，训练得到的模型包含受测人员客观数据和人机协同评分之间的关系，基于实时采集到的受测人员的客观数据，可以预测得到实时人机协同评分。

图2为本发明一实施例中获得实时人机协同评分流程图。其流程如下：

①在智能人机协同系统测试过程中，记录受测人员的客观数据，该客观数据包括行为数据、眼动数据和生理数据；

②获取在执行用于训练的智能人机协同系统测试结束后受测人员所填写的主观量表，基于该主观量表进行分析计算得到主观评价；

③将采集到的客观数据与主观数据进行拟合得到拟合模型；

④智能人机协同系统将实时记录的受测人员的客观数据发送到拟合模型；其中，智能人机协同系统包括信号采集模块、数据处理模块和控制执行模块；

⑤该拟合模型基于实时记录的受测人员的客观数据进行预测，得到预测主观评价，将该预测主观评价直接作为实时人机协同评分；

在本发明一实施例中，可选地，该方法还包括依据所述实时人机协同评分调节智能人机协同系统测试过程中的信号指令到外部硬件设备控制之间的关系。

进一步地，在本发明一实施例中，所述信号指令到外部硬件设备控制之间的关系包括信号识别阈值和信号输出的增益。举例说明，依据该试次人机协同评分，反映出受测人员的主观感受为疲劳，从而降低信号识别阈值和增加信号输出的增益，从而使得受测人员疲劳状态下，低幅值的信号也能够被识别到，实现对外部硬件设备的操作控制。

图3为本发明又一实施例中获得实时人机协同评分流程图。其流程如下：

①在智能人机协同系统测试过程中，记录受测人员的客观数据，该客观数据包括行为数据、眼动数据和生理数据；

②获取在执行用于训练的智能人机协同系统测试结束后受测人员所填写的主观问卷，基于该主观问卷进行分析计算得到主观评价；

③将采集到的客观数据与主观数据进行拟合得到拟合模型；

④智能人机协同系统将实时记录的受测人员的客观数据发送到拟合模型；其中，智能人机协同系统包括信号采集模块、数据处理模块和控制执行模块；

⑤该拟合模型基于实时记录的受测人员的客观数据进行预测，得到预测主观评价，将该预测主观评价直接作为实时人机协同评分；

⑥智能人机协同系统接收该实时人机协同评分，并基于此调节智能人机协同过程，即人机协同测试过程中的信号指令到外部硬件设备控制之间的关系，该信号指令到外部硬件设备控制之间的关系具体包括信号识别阈值和信号输出的增益，即调节信号指令的信号识别阈值和信号输出的增益，使得外部硬件设备控制被加强或削弱。

在本发明的一些实施例中，图2的步骤⑤和图3的步骤⑤还能够将预测主观评价和基于实时记录的受测人员的客观数据生成的实时客观评价，综合得到实时人机协同评分。通过对实时客观评价和预测主观评价进行标准化并按照预设权值加和，生成实时人机协同评分。具体地，实时客观评价和预测主观评价在标准化后按照1:1的权值进行加和，生成实时人机协同评分。

在本发明一实施例中，受测人员执行人机协同测试的步骤为受测人员与智能人机协同系统的交互，该智能人机协同系统基于原型库、标准库和范式库中任务框架搭建，该任务框架包括信号采集模块、数据处理模块和控制执行模块。其中，信号采集模块用于采集受测人员的预设类型的脑信号；数据处理模块用于基于所述脑信号和BCI范式库提取出诱发信号，并基于诱发信号生成控制指令；控制执行模块用于控制外部硬件设备执行所述控制指令。

图4为本发明一实施例中基于BCI范式的智能人机协同系统工作流程图，其步骤如下：

步骤S410：信号采集模块采集受测人员的预设类型的脑信号。其中，脑信号的类型包括以下一种或多种：脑电图(Electroencephalography,EEG)、功能磁共振成像(Functional Magnetic Resonance Imaging，fMRI)、近红外光谱(Near InfraredSpectroscopy，NIRS)、MEG(Magnetoencephalogram)、ECoG(Electrocorticography)以及LFP(Lithium Iron phosphate)。

步骤S420：数据处理模块基于脑信号和BCI范式库提取出诱发信号，并基于诱发信号生成控制指令。BCI范式库包括但不限于以下BCI刺激范式：SCPs-BCI(Slow CorticalPotential based BCI)、SMRs-BCI(Sensorimotor Rhythm based BCI)、SSVEPs-BCI(Steady State Visual Evoked Potential based BCI)。诱发信号的类型包括但不限于以下一种或多种：感觉运动节律(sensory motor rhythm，SMR)、事件相关电位、稳定诱发电位(Steady-state visual evoked potential，SSVEP)、皮层慢电位(Slowcorticalpotential，SCP)和错误相关电位。

步骤S430：控制执行模块控制外部硬件设备执行控制指令。其中，该外部硬件设备包括但不限于以下一种或多种：机器人、人工骨骼、机械手/机械臂、脑控轮椅和虚拟现实或增强现实。

其中，所采集的脑信号的类型，BCI接口对脑信号的处理以及后续数据处理模块和控制执行模块的操作都可以随用户自定义和设置，即根据真实场景需求，用户自主选择采集的脑信号类型和要提取的诱发信号，并基于诱发信号定义具体的控制指令，将控制指令发送给外部硬件设备，控制外部硬件设备执行以实现相对应的功能。

本发明的智能人机协同系统测评方法、装置及存储介质，能够克服现有的测评方法的片面性，多方面、严谨、客观的对智能人机协同系统进行测评，并通过拟合模型依据实时的客观数据进行智能人机协同系统测评。本发明所提供的方法，能够实现标准化、统一化且科学严谨的智能人机协同系统测评，该方法可作为标准流程广泛使用，且该方法有充分的数据支撑且结合了受测人员的主观感受，涵盖全面。

与上述方法相应地，本发明还提供了一种智能人机协同系统测评装置，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法的步骤。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述边缘计算服务器部署方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。

本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种智能人机协同系统测评方法，其特征在于，该方法包括以下步骤：

在受测人员执行智能人机协同系统测试的过程中，记录实时的受测人员的客观数据；

将所述客观数据输入到预训练的拟合模型从而进行预测得到预测主观评价，所述预训练的拟合模型基于采集的客观数据和主观评价拟合得到，所述主观评价基于执行用于预训练的智能人机协同系统测试后受测人员的第一主观测评结果得到；

基于所述预测主观评价得到实时人机协同评分；

依据所述实时人机协同评分调节智能人机协同测试过程中的信号指令到外部硬件设备控制之间的关系；其中，所述信号指令到外部硬件设备控制之间的关系包括信号识别阈值和信号输出的增益。

2.根据权利要求1所述的方法，其特征在于，该方法还包括：

基于所述实时记录的受测人员的客观数据生成实时客观评价，结合实时客观评价和预测主观评价得到实时人机协同评分；

所述结合实时客观评价和预测主观评价得到实时人机协同评分的步骤包括，对实时客观评价和预测主观评价进行标准化并按照预设权值加和。

3.根据权利要求1所述的方法，其特征在于，所述客观数据包括受测人员的行为数据、眼动数据和生理数据中一种或多种，其中：

所述行为数据包括以下一种或多种：反应时、准确率、虚报率及用于依据场景自定义的行为绩效指标；

所述眼动数据包括以下一种或多种：反应时、注视点和注视时间；

所述生理数据包括以下一种或多种：皮电数据、脑电数据和心率数据。

4.根据权利要求1所述的方法，其特征在于，所述主观评价还基于执行用于预训练的智能人机协同系统测试前受测人员的第二主观测评结果得到；

所述第一主观测评结果和第二主观测评结果的形式包括问卷、量表和范式。

5.根据权利要求2所述的方法，其特征在于，所述对实时客观评价和预测主观评价进行标准化的步骤包括：

消除量纲差异，将客观评价和主观评价都转化为无量纲的纯数值；

数据的标准化，将无量纲的纯数值形式的客观评价和主观评价按照预设比例缩放。

6.根据权利要求1所述的方法，其特征在于，基于采集的客观数据和主观评价拟合得到预训练的拟合模型的步骤：

使用建模分析的方法，生成用于预测自变量与因变量之间关系的拟合模型，所述自变量为实时记录的受测人员的客观数据，所述因变量为预测主观评价。

7.根据权利要求1所述的方法，其特征在于，所述智能人机协同系统测试的步骤为受测人员与智能人机协同系统的人机交互，所述智能人机协同系统基于原型库、标准库和范式库中任务框架搭建，所述任务框架包括信号采集模块、数据处理模块和控制执行模块；

所述信号采集模块用于采集受测人员的预设类型的脑信号；

所述数据处理模块用于基于所述脑信号和BCI范式库提取出诱发信号，并基于诱发信号生成控制指令；

所述控制执行模块用于控制外部硬件设备执行所述控制指令。

8.一种智能人机协同系统测评装置，包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如权利要求1至7中任一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。