CN112101285B - 排爆机器人遥操作者典型精神状态的诱发范式设计及脑电辨识方法 - Google Patents

Abstract

本发明公开了一种排爆机器人遥操作者典型精神状态的诱发范式设计及脑电辨识方法：使排爆机器人遥操作者在计算机上的虚拟平台下按照一定的操作流程通过游戏手柄操作排爆机器人，并在操作过程中遇到的多种状况的刺激下，诱发排爆机器人遥操作者产生多种目标精神状态。通过采集排爆机器人遥操作者在实际远程操作过程中的脑电信号，并将短时脑电数据输入卷积神经网络进行典型精神状态在线辨识。本发明可实现操作过程精神状态的有效诱发，并提高识别正确率。

Description

排爆机器人遥操作者典型精神状态的诱发范式设计及脑电辨 识方法

技术领域

本发明属于脑-机接口技术领域，具体涉及一种排爆机器人遥操作者典型精神状态的诱发范式设计及脑电辨识方法。

背景技术

排爆机器人遥操作者在远程操作排爆机器人时，容易出现精神状态波动，如精神疲劳、情绪波动、警觉度下降等精神状态。精神状态的变化可能会带来操作的不足甚至错误，从而导致严重的后果，对人身安全、财产安全造成威胁。为了避免排爆机器人遥操作者出现操作失误，需要对排爆机器人遥操作者的精神状态进行识别以及对操作质量进行预测。为了实现对精神状态的识别，需要通过一定诱发范式的刺激，形成与典型精神状态相对应的脑电信号。

现有的精神状态诱发范式多为情绪刺激，即通过音频、视频、图像的形式刺激受试者产生不同情绪。也有研究使用文学或数学测试题来激发受试者的注意力。但这些诱发范式不是在排爆机器人遥操作者执行任务的过程中完成诱发的，与实际工况不符合，且除情绪和注意力外，对排爆机器人遥操作者在操作过程中容易出现的其他精神状态无法有效诱发。即便能够实现某种特定精神状态的诱发，往往需要设计特定的实验范式，并以此实验范式类型作为受试者所处精神状态的类型。这直接导致要实现排爆机器人遥操作者在操作过程中经常出现的精神状态的诱发，就需要设计多个实验范式，导致实验过程复杂。

发明内容

本发明的目的在于提供一种排爆机器人遥操作者典型精神状态的诱发范式设计及脑电辨识方法。

为达到上述目的，本发明采用了以下技术方案：

一种排爆机器人遥操作者典型精神状态的诱发范式设计系统，该诱发范式设计系统包括虚拟操作平台和脑电分析平台；所述脑电分析平台包括用于精神状态辨识的第一计算机单元以及与第一计算机单元相连的排爆机器人遥操作者脑电采集设备，所述虚拟操作平台包括用于模拟排爆机器人的操作场景的第二计算机单元以及与第二计算机单元相连的排爆机器人遥操作者指令发送设备；所述操作场景包括在一定的操作流程中按顺序呈现并按操作结果反馈给排爆机器人遥操作者的用于构成诱发范式的多个刺激场景。

优选的，所述第一计算机单元通过采集排爆机器人遥操作者在虚拟操作平台下操作排爆机器人的过程中的脑电信号，并利用截取自该脑电信号的短时脑电数据进行特征训练，从而生成用于识别排爆机器人遥操作者在实际远程操作过程中的精神状态的卷积神经网络模型。

优选的，所述操作场景中按顺序呈现给排爆机器人遥操作者的刺激场景包括用于诱发产生不同警觉度水平的刺激场景以及用于诱发精神疲劳的刺激场景。

优选的，所述脑电采集设备包括脑电帽，脑电帽的电极布置于大脑额叶、枕叶、顶叶和颞叶区域，脑电采集设备的采样频率为≥100Hz。

优选的，所述诱发范式设计系统还包括操作环境空间(用于模拟光线等实际操作环境条件)，虚拟操作平台和脑电分析平台位于该操作环境空间内。

一种排爆机器人遥操作者典型精神状态的脑电辨识方法，包括以下步骤：

1)排爆机器人遥操作者按照既定的操作流程在上述虚拟操作平台下对排爆机器人进行操作；

2)在排爆机器人遥操作者的操作过程中，通过虚拟操作平台向排爆机器人遥操作者按顺序呈现并按操作结果反馈用于诱发排爆机器人遥操作者产生对应的目标精神状态的刺激场景，同时，利用上述脑电采集设备记录排爆机器人遥操作者在所述操作过程中的脑电信号；

3)在完成对排爆机器人遥操作者的目标精神状态的诱发后，利用记录的脑电信号生成精神状态辨识模型；

4)利用精神状态辨识模型对排爆机器人遥操作者的精神状态进行在线(排爆机器人遥操作者在实际远程操作排爆机器人的过程)识别。

优选的，所述步骤1)中，既定的操作流程包括轨迹跟踪(排爆机器人的整体大范围移动，例如，走迷宫)、抓取物块及转移物块中的一种或多种。

优选的，所述既定的操作流程的具体实现方式为：排爆机器人遥操作者通过上述指令发送设备不断发送控制指令使排爆机器人于操作场景中连续运动(向前、向后、转弯)或动作(下放手爪、抬高手爪、张开手爪、收拢手爪)。

优选的，所述步骤2)中，目标精神状态选自排爆机器人遥操作者在实际远程操作排爆机器人的过程中容易产生的包括警觉度水平、注意力水平、精神紧张、精神疲劳和沮丧、烦躁、兴奋等情绪在内的典型精神状态中的一种或多种。

优选的，所述目标精神状态对应的刺激场景选自以下排爆机器人遥操作者在实际远程操作过程中出现的不同种类的状况中的任意一种：排爆机器人遥操作者面对的操作环境变昏暗、困难任务、较长时间困难任务、出现操作错误提示、出现操作正确提示、给予操作奖励、他人催促、操作倒计时、长时间简单任务(例如，路径跟踪)等。

优选的，所述步骤3)具体包括以下步骤：

3.1)脑电信号预处理

去除脑电信号的趋势项后利用巴特沃斯滤波器进行频带为5Hz至45Hz的带通滤波，得到脑电预处理数据；

3.2)特征训练

对脑电预处理数据进行0.5～2s滑动时窗截取并将截取后的短时脑电数据作为卷积神经网络模型输入；将多种刺激场景下的短时脑电数据和对应的目标精神状态设置为多组训练数据，利用多组训练数据对卷积神经网络模型进行训练，得到精神状态辨识模型。

优选的，所述步骤4)具体包括以下步骤：

对在排爆机器人遥操作者实际远程操作排爆机器人的过程中采集的脑电信号进行预处理以及0.5～2s滑动时窗截取，将截取后的短时脑电数据输入训练好的卷积神经网络模型进行特征识别，从而辨识出排爆机器人遥操作者的精神状态。

本发明的有益效果体现在：

本发明可以在基于虚拟平台的操作中，刺激排爆机器人遥操作者产生与目标精神状态匹配程度高、错误信号少的脑电信号，并且采集到的不同精神状态下的脑电信号与排爆机器人遥操作者在实际远程操作过程中出现不同精神状态时产生的脑电信号的相似性高，在排爆机器人遥操作者精神状态在线识别中具有很好的应用前景。

进一步的，本发明利用依照顺序反馈或呈现的多种刺激场景，可以通过一种诱发范式有效刺激排爆机器人操作过程中经常出现的典型精神状态，可以降低实验的分散度和复杂度，方便、有效地对排爆机器人遥操作者进行精神状态的诱发，对于不同的受试者均能起到良好的诱发效果。

进一步的，本发明通过短时脑电信号的卷积神经网络识别，提高了典型精神状态识别的实时性和正确率。

附图说明

图1为排爆机器人遥操作者典型精神状态诱发范式设计及脑电辨识系统框图。

图2为排爆机器人遥操作者典型精神状态诱发时序示意图。

图3为脑电采集设备的通道位置示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。所述实施例仅为了更好地理解本发明的技术方案，而非对本发明保护范围的限制。

参见图1，本发明提出了一种排爆机器人遥操作者典型精神状态诱发范式设计及脑电辨识方法，包括以下步骤：

步骤1排爆机器人遥操作者佩戴好脑电帽，坐在计算机I前方，头部距离计算机I显示器60～100厘米，脑电帽采用32通道(按照国际10-20标准放置，32个通道的具体电极位置如图3所示)的Neuracle脑电放大器对排爆机器人遥操作者头部额叶、枕叶、顶叶和颞叶区域的脑电信号进行采集，放大器的采样频率为1kHz(使用1kHz采样频率，可以在采集到0.5s的短时脑电数据的情况下有效识别精神状态)，采集的各通道的脑电信号经Wi-Fi无线传输至计算机II并进行存储、处理，经过处理后，采用频带为5Hz至45Hz的脑电信号进行精神状态识别。

步骤2排爆机器人遥操作者按照操作流程在虚拟平台(计算机I及其外部的操作环境空间)下对排爆机器人进行操作，操作流程选自轨迹跟踪、抓取物块、转移物块中的一种或多种的组合。

在虚拟平台下排爆机器人遥操作者操作排爆机器人的具体实现方式为：

排爆机器人遥操作者通过游戏手柄发送控制指令，操作虚拟平台中的排爆机器人进行向前、向后、转弯等运动；或进行下放手爪、抬高手爪、张开手爪、收拢手爪等动作。其中，每个运动或动作的控制指令均对应一定的步进位移，若要实现排爆机器人的连续运动或动作，需要不断向排爆机器人发送控制指令。

虚拟平台操作是对实际远程操作物理对象的一种实时性的仿真。在实验阶段，可以通过控制虚拟平台中的排爆机器人运动和动作来代替实际远程操作中真实排爆机器人的运动和动作，并结合诱发条件获取操作者处于不同精神状态下的脑电数据，降低实验成本。同时虚拟平台操作也是实际远程操作的一部分，可以实现控制虚拟排爆机器人与真实排爆机器人同步执行相同的运动和动作。

步骤3在排爆机器人遥操作者对排爆机器人进行操作的过程中，设置多种“状况”诱发排爆机器人遥操作者产生目标精神状态，具体包括以下步骤：

步骤3-1在实验前基于问卷调查的方式，筛选在远程操作过程中经常出现的影响排爆机器人遥操作者操作质量的目标精神状态，以及每种目标精神状态对应的有效刺激场景。目标精神状态为排爆机器人遥操作者在操作排爆机器人的过程中容易产生的包括警觉度、注意力水平、精神紧张、精神疲劳和沮丧、兴奋等情绪在内的典型精神状态。

步骤3-2根据问卷调查的结果，设计不同目标精神状态对应的诱发方式。

不同目标精神状态对应的诱发条件为操作过程中出现的不同类别的“状况”，因此，具体的诱发方式包括使排爆机器人遥操作者面对的环境变昏暗或困难任务、较长时间困难任务、出现操作错误提示、出现操作正确提示或给予操作奖励、他人催促或操作倒计时等。

排爆机器人遥操作者操作过程中目标精神状态的类别与“状况”类型的关系如表1所示。

表1.“状况”与目标精神状态的对应关系

序号	“状况”	目标精神状态
			1	较长时间困难任务	精神疲劳
2	出现操作错误提示	沮丧
			3	出现操作正确提示或给予操作奖励	兴奋等正面情绪
4	他人催促或操作倒计时	精神紧张
			5	操作的环境变昏暗或困难任务	高警觉度
6	长时间简单任务	低警觉度

步骤3-3，在排爆机器人遥操作者按照操作流程操作排爆机器人运动或动作的过程中，每隔一段时间依据不同类别精神状态诱发顺序开展一次某种特定目标精神状态的诱发。

通过合理安排不同类别精神状态的诱发顺序，使得每种目标精神状态对应的“状况”能有效诱发排爆机器人遥操作者在操作过程中产生该精神状态。排爆机器人遥操作者在操作过程中产生的精神状态由排爆机器人遥操作者的量表确定。

参见图2，在实施例中一种合理的使用表1中“状况”进行典型精神状态诱发的顺序为：5—6—5—6—……—1(“……”表示“5—6”共循环约2～5回合)，按照此顺序在排爆机器人遥操作者的整个操作过程中对其进行精神状态的诱发。操作正确提示、操作错误提示及他人催促或倒计时在以上诱发顺序下的不同类型任务(“5”、“6”、“1”)的操作流程中根据实际情况发生。即如果排爆机器人遥操作者正确完成任务可以获得操作正确提示，同理操作错误会收到操作错误提示；如果在任务允许时间前仍未完成任务，由倒计时声响或实验辅助人员给出催促。“5”可以对应于无避障要求的轨迹跟踪和抓取物块任务；“6”可以对应于无避障要求的简单且漫长的轨迹跟踪任务，且对于“6”对应任务不设置任务时间限制，无倒计时；“1”可以对应于有避障要求的轨迹跟踪、抓取物块及转移物块任务。无论采取何种诱发顺序，应注意避免将对低警觉度的诱发设置在诱发顺序之首，并建议将对精神疲劳的诱发设置在诱发顺序靠后的位置。

步骤4每隔3～5min按照诱发顺序诱发排爆机器人遥操作者的目标精神状态，在间隔时间不采集脑电信号。

步骤5对步骤4完成的整个操作流程中的脑电信号进行存储、预处理，然后进行典型目标精神状态辨识；步骤5具体包括以下步骤：

步骤5-1对脑电信号的预处理包括去除趋势项，并利用巴特沃斯滤波器进行5Hz至45Hz的带通滤波。

步骤5-2对目标进行基于卷积神经网络的特征提取和目标识别方法的脑电辨识；步骤5-2具体包括以下步骤：

步骤5-2-1特征训练：在进行在线识别之前，对不同目标精神状态下的数据(经过预处理的脑电信号)进行0.5s滑动时窗截取并将截取后的短时脑电数据作为卷积神经网络模型输入；设置多组训练数据，对多种目标精神状态下的数据基于卷积神经网络算法进行训练生成训练好的卷积神经网络模型。

步骤5-2-2在线识别：基于训练好的卷积神经网络模型，对排爆机器人遥操作者在实际远程操作过程中的0.5s短时脑电数据进行在线识别，辨识其对应的精神状态。

本发明对多名排爆机器人遥操作者按照上述步骤1至步骤5进行实验，实验记录排爆机器人遥操作者在通过游戏手柄操作虚拟平台中的排爆机器人并暴露于各种状况时的脑电信号，实验过程中排爆机器人遥操作者应尽量避免眨眼睛。结果显示针对排爆机器人遥操作者操作过程设计的精神状态诱发范式，能够有效地诱发目标精神状态。

总之，本发明使排爆机器人遥操作者在计算机上的虚拟平台下按照一定的操作流程通过游戏手柄操作排爆机器人，并在操作过程中遇到的多种状况的刺激下，诱发排爆机器人遥操作者产生多种目标精神状态。通过采集排爆机器人遥操作者在实际远程操作过程中的脑电信号，并将短时脑电数据输入卷积神经网络进行典型精神状态在线辨识。本发明可实现操作过程精神状态的有效诱发，并提高识别正确率，能够为研究排爆机器人遥操作者精神状态与操作品质的相关关系以及操作补偿策略提供研究基础。

Claims (6)

1.一种排爆机器人遥操作者典型精神状态的诱发范式设计系统，其特征在于：该诱发范式设计系统包括虚拟操作平台和脑电分析平台；所述脑电分析平台包括用于精神状态辨识的第一计算机单元以及与第一计算机单元相连的排爆机器人遥操作者脑电采集设备，所述虚拟操作平台包括用于模拟排爆机器人的操作场景的第二计算机单元以及与第二计算机单元相连的排爆机器人遥操作者指令发送设备；所述操作场景包括在一定的操作流程中按顺序呈现并按操作结果反馈给排爆机器人遥操作者的用于构成诱发范式的多个刺激场景；

所述第一计算机单元通过采集排爆机器人遥操作者在虚拟操作平台下操作排爆机器人的过程中的脑电信号，并利用截取自该脑电信号的0.5～2s短时脑电数据进行特征训练，从而生成用于识别排爆机器人遥操作者在实际远程操作过程中的精神状态的卷积神经网络模型；

所述操作场景中按顺序呈现给排爆机器人遥操作者的刺激场景包括用于诱发产生不同警觉度水平，并按操作结果反馈用于诱发排爆机器人遥操作者产生正负面情绪或精神紧张的刺激场景，以及用于诱发产生精神疲劳，并按操作结果反馈用于诱发排爆机器人遥操作者产生正负面情绪或精神紧张的刺激场景；

进行典型精神状态诱发的顺序为：5—6—5—6—……—1，其中“……”表示“5—6”共循环2～5回合，按照此顺序在排爆机器人遥操作者的整个操作过程中对其进行精神状态的诱发；操作正确提示、操作错误提示及他人催促或倒计时在以上诱发顺序下的不同类型任务“5”、“6”、“1”的操作流程中根据实际情况发生，即如果排爆机器人遥操作者正确完成任务可以获得操作正确提示，操作错误会收到操作错误提示；如果在任务允许时间前仍未完成任务，由倒计时声响或实验辅助人员给出催促；“5”可以对应于无避障要求的轨迹跟踪和抓取物块任务；“6”可以对应于无避障要求的简单且漫长的轨迹跟踪任务；“1”可以对应于有避障要求的轨迹跟踪、抓取物块及转移物块任务；

每隔3～5min按照诱发顺序诱发排爆机器人遥操作者的目标精神状态，在间隔时间不采集脑电信号。

2.根据权利要求1所述一种排爆机器人遥操作者典型精神状态的诱发范式设计系统，其特征在于：所述脑电采集设备包括脑电帽，脑电帽的电极布置于大脑额叶、枕叶、顶叶和颞叶区域，脑电采集设备的采样频率为≥100Hz。

3.根据权利要求1所述一种排爆机器人遥操作者典型精神状态的诱发范式设计系统，其特征在于：所述诱发范式设计系统还包括用于模拟实际操作环境条件的操作环境空间，虚拟操作平台和脑电分析平台位于该操作环境空间内。

4.一种排爆机器人遥操作者典型精神状态的脑电辨识方法，其特征在于：包括以下步骤：

1)排爆机器人遥操作者按照既定的操作流程对排爆机器人进行操作；

2)在排爆机器人遥操作者的操作过程中，向排爆机器人遥操作者按顺序呈现用于诱发排爆机器人遥操作者产生不同警觉度水平以及产生精神疲劳，并按操作结果反馈用于诱发排爆机器人遥操作者产生正负面情绪或精神紧张的刺激场景，同时，记录排爆机器人遥操作者在所述操作过程中的脑电信号；

3)在完成对排爆机器人遥操作者的目标精神状态的诱发后，利用记录的脑电信号生成精神状态辨识模型；

4)利用精神状态辨识模型对排爆机器人遥操作者的精神状态进行在线识别；

所述步骤2)具体包括以下步骤：进行典型精神状态诱发的顺序为：5—6—5—6—……—1，其中“……”表示“5—6”共循环2～5回合，按照此顺序在排爆机器人遥操作者的整个操作过程中对其进行精神状态的诱发；操作正确提示、操作错误提示及他人催促或倒计时在以上诱发顺序下的不同类型任务“5”、“6”、“1”的操作流程中根据实际情况发生，即如果排爆机器人遥操作者正确完成任务可以获得操作正确提示，操作错误会收到操作错误提示；如果在任务允许时间前仍未完成任务，由倒计时声响或实验辅助人员给出催促；“5”可以对应于无避障要求的轨迹跟踪和抓取物块任务；“6”可以对应于无避障要求的简单且漫长的轨迹跟踪任务；“1”可以对应于有避障要求的轨迹跟踪、抓取物块及转移物块任务；

每隔3～5min按照诱发顺序诱发排爆机器人遥操作者的目标精神状态，在间隔时间不采集脑电信号；

所述步骤3)具体包括以下步骤：

3.1)脑电信号预处理

去除脑电信号的趋势项后利用巴特沃斯滤波器进行频带为5Hz至45Hz的带通滤波，得到脑电预处理数据；

3.2)特征训练

对脑电预处理数据进行0.5～2s滑动时窗截取并将截取后的短时脑电数据作为卷积神经网络模型输入；将多种刺激场景下的短时脑电数据和对应的目标精神状态设置为多组训练数据，利用多组训练数据对卷积神经网络模型进行训练，得到精神状态辨识模型。

5.根据权利要求4所述一种排爆机器人遥操作者典型精神状态的脑电辨识方法，其特征在于：所述步骤1)中，既定的操作流程包括轨迹跟踪、抓取物块及转移物块中的多种；

6.根据权利要求4所述一种排爆机器人遥操作者典型精神状态的脑电辨识方法，其特征在于：所述目标精神状态选自排爆机器人遥操作者在实际远程操作排爆机器人的过程中容易产生的包括警觉度水平、精神紧张、精神疲劳和正负面情绪。

Images