CN110038300A - 一种采用人脑控制的对抗游戏系统 - Google Patents

Abstract

该发明公开了一种采用人脑控制的对抗游戏系统，涉及生物信息技术领域，特别涉及脑‑机接口系统。该系统能够根据被试的特点，首先对采集到的用户脑电信号进行识别训练，然后在实时识别过程中采用训练得到的特征提取器和分类器对实时采集的脑电信号进行分类，获取用户的判断意图，采用本发明方法能够准确的通过脑电信号识别用户的判断意图，实现多用户的脑电游戏对抗。

Description

一种采用人脑控制的对抗游戏系统

技术领域

本发明涉及生物信息技术领域，特别涉及脑-机接口系统。

背景技术

脑-机接口(Brain Computer Interface,BCI)系统作为一个“解码器”，能直接解码人脑的意图，把解析出的命令直接发送给外部设备，实现人脑的间接控制。具体来讲，BCI系统首先通过采集反映使用者脑区活动的脑电信号，再通过一系列的信号处理手段，特征提取与分类识别方法，发掘出不同模式或任务下的特定差异，最后把分类输出命令编码成外部设备能直接接收的命令，最终实现外部设备的控制。BCI的这种人脑控制方案，成为人机智能交互的新航向，新标准。

目前协作对抗游戏广受追捧，除了能展现个人竞技水平，还能在一定程度上训练个人的应变和灵活控制能力。不同于单纯的竞技游戏，正常的用户单纯只是为了娱乐和放松，此外，单一的训练模式，可能不能完全满足个人的实际情况，多种控制训练策略供用户选择更能增加系统的灵活性。

发明内容

本发明提出了一种采用人脑控制的游戏系统，通过采集人脑电波进行训练,然后识别人脑控制结果,对游戏角色进行控制,能提高游戏者对角色的控制精度。

因而本发明的技术方案为一种采用人脑控制的对抗游戏系统，该系统包括：1个或多个数据采集模块、1个或多个数据处理模块、数据融合服务器、显示器；所述数据采集模块与数据处理模块一一对应；通过数据采集模块采集游戏者的脑电信号传输给数据处理模块，数据处理模块分析游戏者的脑电信号后判断游戏者的意图，将判断数据发送给数据融合服务器，服务器通过各数据处理模块发来的判断数据控制对应游戏角色，最后通过显示器显示；

其中所述数据处理模块中包括：训练模块、实时识别模块，所述训练模块包括：刺激模块、计算特征提取器模块、计算分类器模块，所述实时识别模块包括：特征提取器、分类器；所述实时识别模块中的特征提取器和分类器是训练模块中的计算特征提取器模块和计算分类器模块根据训练数据计算得到的；所述刺激模块通过输出数据在显示器上显示刺激人体大脑，通过数据采集模块采集脑电波数据，通过计算特征提取模块计算出需要提取的特征，在根据提取的特征和计算分类器模块计算出分类器；

所述刺激模块中的刺激方法为：在显示器上显示一大一小两个方块，两方块距离最近的边相互平行，小方块位于大方块内部中心位置，所述小方块每一条边与距离最近的大方块边之间设置一个数字方块，每个数字方块依次编号1、2、3、4；训练时随机在某一数字方块中显示竖直红色线条，然后根据竖直红色线条所处的位置从左边数字方块移动到右边数字方块、或从右边数字方块移动到左边数字方块、或从上边数字方块移动到下边数字方块、或从下边数字方块移动到上边数字方块，红色线条一次完整的移动表示一次刺激；并且当竖直红线处于数字方块内时在屏幕中心位置显示对应数字方块的编号；

进一步的，所述计算特征提取器模块中的计算方法为：

步骤a1：数据采集模块采集通过刺激模块刺激后的带有标签的脑电数据；每一个带标签的数据为一个C×T的矩阵，C为采集模块的采集通道的数目，T为采样次数，标签共4类，包括1、2、3、4，分别代表被试控制上、下、左、右的四种控制；

步骤a2：将步骤a1获得带有标签的脑电数据分出两类，标签为1的数据为一类，其余数据为一类；采用公式C₂ ^-1C₁w₁＝λw₁计算出特征提取器w₁，此时C₂表示除开标签为1的其余数据，C₁表示标签为1的数据，λ表示特征值，根据实际情况决定；

步骤a3：将步骤a1获得带有标签的脑电数据分出两类，标签为2的数据为第一类，其余数据为第二类；采用公式C₂ ^-1C₁w₂＝λw₂计算出特征提取器w₂，此时C₂表示除开标签为2的其余数据，C₁表示标签为2的数据；

步骤a4：将步骤a1获得带有标签的脑电数据分出两类，标签为3的数据为第一类，其余数据为第二类；采用公式C₂ ^-1C₁w₃＝λw₃计算出特征提取器w₃，此时C₂表示除开标签为3的其余数据，C₁表示标签为3的数据；

步骤a5：将步骤a1获得带有标签的脑电数据分出两类，标签为4的数据为第一类，其余数据为第二类；采用公式C₂ ^-1C₁w₄＝λw₄计算出特征提取器w₄，此时C₂表示除开标签为4的其余数据，C₁表示标签为4的数据。

进一步的，所述计算分类器模块中的计算方法为：

步骤b1：确定分类模型为：y＝kx+b，其中y为计算结果取值为[-1,1]，1表示是，-1表示否，k、b待训练的模型参数；

步骤b2：采用特征提取器w₁、w₂、w₃、w₄，分别对应提取标签为1、2、3、4的数据的特征；

步骤b3：将提取得到的数据特征分别单独训练分类模型y＝kx+b，得到对应的各自的分类器：y₁＝k₁x₁+b₁，y₂＝k₂x₂+b₂，y₃＝k₃x₃+b₃，y₄＝k₄x₄+b₄。

进一步的，所述实时识别模块的特征提取器中,采用特征提取器w₁、w₂、w₃、w₄分别提取实时采集到的脑电数据特征x₁、x₂、x₃、x₄，然后将提取到的特征采用对应的分类器进行计算：得到y₁＝k₁x₁+b₁，y₂＝k₂x₂+b₂，y₃＝k₃x₃+b₃，y₄＝k₄x₄+b₄，再判断 y₁、y₂、y₃、y₄中最接近1的数值，则其对应的标签为判断意图。

进一步的，所述计算特征提取器模块前还包括一个预处理模块，该模块的处理方法将采集得到的C×T矩阵的数据，进行高阶运算，转化成尺寸为225×225的对称矩阵M_ci，再对对称矩阵M_ci案子如下公式进行拆分：

M_ci＝Y_ciY_ci ^T

拆分得到的Y_ci为预处理后的数据，再进行后续的特征提取。

本发明公开了一种采用人脑控制的对抗游戏系统，该系统能够根据被试的特点，首先对采集到的用户脑电信号进行识别训练，然后在实时识别过程中采用训练得到的特征提取器和分类器对实时采集的脑电信号进行分类，获取用户的判断意图，采用本发明方法能够准确的通过脑电信号识别用户的判断意图，实现多用户的脑电游戏对抗。

附图说明

图1为本发明刺激模块的刺激方法示意图；

图2为一个具体实施例的刺激时采集数据；

图3为本发明具体实施方式多模态BCI协同对抗游戏系统；

图4为本发明具体实施方式游戏控制界面。

具体实施方式

结合附图对本发明一种基于m-VEP和/或SSVEP的协同对抗游戏系统进行进一步的说明，该系统包括：1个或多个数据采集模块、1个或多个数据处理模块、数据融合服务器、显示器；所述数据采集模块与数据处理模块一一对应；通过数据采集模块采集游戏者的脑电信号传输给数据处理模块，数据处理模块分析游戏者的脑电信号后判断游戏者的意图，将判断数据发送给数据融合服务器，服务器通过各数据处理模块发来的判断数据控制对应游戏角色，最后通过显示器显示；

其中所述数据处理模块中包括：训练模块、实时识别模块，所述训练模块包括：刺激模块、计算特征提取器模块、计算分类器模块，所述实时识别模块包括：特征提取器、分类器；所述实时识别模块中的特征提取器和分类器是训练模块中的计算特征提取器模块和计算分类器模块根据训练数据计算得到的；所述刺激模块输出数据通过m-VEP或SSVEP方使刺激人体大脑，通过数据采集模块采集脑电波数据，通过计算特征提取模块计算出需要提取的特征，在根据提取的特征和计算分类器模块计算出分类器；

实施例1

所述刺激模块中刺激界面如图1所示。图1展示的是实验中被试看到的实验刺激界面，一共有4个虚拟方块，分别标记为1、2、3、4。实验开始时，一条红色的竖线出现在方块的右边，并且快速向方块的左边移动，一直移动到方块左端，形成一次短暂的运动起始刺激。红色竖线在每个方块中从左边移动到右边需要140ms，两条连续红线出现之间有60ms的刺激间歇。红色竖线在4个方块间随机出现，一次完整的实验刺激定义为红色竖线完整的通过全部4个虚拟方块。两次实验刺激之间有300ms的间歇，因此，一次完整的实验刺激过程需要1.1s.

注：界面中央出现的数字“2”表示需要被试注视的目标方块。红色的竖线以随机的顺序出现在4个方块中，并从右向左移动，构成刺激模块。

本发明信号采集模块的采集方法为：当刺激出现时，由采集线程采集6导与视觉相关的脑区信号，再将采集到的数据存储到公共存储区。采集线程的每一个数据块(block)是采集线程在一个放大器采集周期内采集的数据，如本系统使用的16导新拓放大器，它的一个采集周期是10ms，每个采集周期内每一导采集10个EEG数据，全部导的数据在一个采集周期的集合就是一个block。

训练时的采集线程的存储方式为，有标签方式，前端刺激程序通过串口或者消息的方式向后端程序定时的发送数据标签。这种方式仅采集到两个标签间隔内的数据并放入公共存储区 (即：采集某个标签后固定时间段的EEG数据，存储区域大小固定。首先定义一个足够大的数组作为公共存储区域。每采集一个block就放入公共存储区内Pointer指定的位置内，每放完一个block后Pointer指向后一个block区域。当Pointer指向数组结尾时，把Pointer赋为指向数组头。这样就形成了一个环式的数据存储结构。当检测到一个标签时，就在存储区的 Pointer位置打上一个对应的标签，当Pointer再次指向这个标签位置时，将Pointer位置做为新的数据头，Pointer前的数据接在数组结尾，这样就收集了所需的数据段，并且存储区域表示“完成”，此后继续执行操作。)

在线测试时采集线程的存储方式为，无标签方式，他主要利用了放大器产生的数据来定时，就是分别将采集到的block依次放入公共存储区。无标签下固定大小存储，系统是知道需要收集多少数据，提前在公共存储内存中定义好block大小，每次数据存储前，先把每个block 提前一个，最前面的block数据丢掉，当前采集的block数据放在内存中最后一个block中，这样就保证这个公共存储区的数据不停的更新。在特定的时刻，需要把最新的数据拿来计算时，存储区表示“完成”，随后继续收集。

采集线程采集完成后，存入公共存储区，供计算线程读取。

本发明计算特征提取器模块计算方法为：对采集到的数据采用了基于四阶累积量改进CSP 的特征提取算法。我们分别选取包含N200和P200的时间窗，依据刺激起始时间点，分别提取目标刺激和非目标刺激时间窗内的EEG信号。为了消除可能产生的过拟合问题，以及在线系统的实时性要求，我们需要对这些大量的原始数据进行降维处理，我们将时间窗内的EEG信号降采样到20Hz，再将剩余的数据经过四阶累积量改进的CSP方法提取特征。基于四阶累积量改进的CSP方法最大的优点就是能够克服传统特征提取方法容易受背景高斯噪声影响的不足。采用这种方法提取到的特征更加准确，指令更能被识别，从而提高被试对外部设备控制的准确率。

本发明实验结果，用于实验分析使用的数据来源于我们招募的11个被试(3个女生，8个男生，均为右利手，平均年龄为23.6±1.2)，。他们的视力均是矫正后正常。本实验内容经过电子科技大学伦理委员会的审核并批准。参与实验前，所有参与者都已经阅读并且了解实验内容，自愿签订了被试知情同意书。我们为了表达对实验参与者付出的时间和努力的谢意，在每位被试的实验结束后，他们都会收到相应的报酬。本次试验用的脑电放大器是新拓公司生产的 16导放大器，实验中，我们一共采集了9个导联的脑电信号，电极安放位置依据国际标准的 10-20系统，所有电极均以AFz电极做参考，放大器的采样率为1000Hz，带通滤波范围为8-30Hz。实验时，被试坐在安静舒适的环境下，按照显示器上的刺激模块的提示，集中注意力注视相应的刺激模块。为了提高注意力，我们要求玩家数滑动色条数目。每名被试都要进行2个阶段的试验，采集2组试验数据。具体的试验细节内容见前面刺激模块/信号采集模块处内容。经过对某个被试采集到的EEG数据进行分析，其波形具有明显的信号特征。

m-VEP的EEG信号由我们系统中的红色线条滑动诱发，在运动时诱发出的信号称为靶刺激信号，未诱发(正常状态下)对应的信号称为标准信号。通过上面的波形原理图可以看出，靶刺激信号有非常明显的特定成分，如N2(刺激诱发大约200ms后出现的一个负波),P3(刺激诱发大约300ms后出现的一个正波)，而且通过简单的幅度成分就能识别出是否有刺激发生，后台处理非常迅速，成为一种可靠的控制策略。如，我们想要使游戏模型向前移动，我们只需注视刺激界面‘上’对应的滑动色块，此时其他三个模块会检测到标准刺激信号，而‘上’模块就唯一对应了靶刺激信号。我们就相应的让游戏模型向前方移动，其他几个命令(‘射击’，‘左’，‘右’)的控制原理基本类似。在实际控制中，如果单个刺激诱发对应的准确率不高，我们可以通过叠加信号，多个相同刺激确定一个命令的策略，在我们系统中把该参数定义为叠加次数，一般我们取2-3次，被试表现非常好时，我们也可以固定为1次；

如表1所示，采用本发明方法平均识别准确率从初始的85.1提高到94.4，同时，标准差从8.1降低到7.2。

下面简要的叙述多模态下BCI协同对抗游戏系统。

从设计模式上看，BCI协同对抗游戏系统是一个多用户的客户端-服务器(C/S)模式，从图4可以看出，我们游戏系统主要可以分成两个客户端，服务器端组成。对于单个客户端来说，主要负责各自的控制方式选择，模型训练，在线测试，和消息发送。客户端这边主要是选择一种刺激模式，该视觉刺激模式下诱发相应的脑电信号，与此同时利用采集线程一边采集相应时段的EEG数据，一边利用数据处理线程读取采集的EEG数据。并根据四阶累积量改进的CSP 算法模型进行特征提取，再用LDA方法分类识别，将得到的结果用TCP/IP套接字通信协议技术的方式远程输出结果。对于服务器端来说，主要负责各个客户端的连接请求，消息接收，消息解析，实时控制等。服务器这边主要是通过运用多线程技术负责各个客户端发送的请求，并对请求内容进行解析，然后把解析出的指令再通过Windows消息机制的形式发送给其他进程，从而控制其他进程的操作。

简单来说，单BCI系统作为客户端，安装有游戏端的电脑则作为服务器端，客户端与服务器主要是通过TCP/IP套接字通信协议以及多线程技术，进行连接请求，内容请求，数据传递等服务。

协同对抗游戏系统的在线控制结果。

最后，最为直观也最为有效的检验本发明有效性的方法就是在线控制实验，我们让30名被试，每2人一组，分为15组，5组做m-VEP对战m-VEP，5组做SSVEP对战SSVEP，另外5组做交叉对战即SSVEP对战m-VEP。每组被试都要通过我们的协同对抗在线系统控制游戏中对应角色的移动，躲避，进攻等操作，直到其中一名被试对应的游戏角色取得胜利，游戏结束，试验结束。以两名玩家结束一局游戏为统一标准，同时采集两名玩家的脑电数据，从离线数据中分析出玩家发出的指令数以及参与游戏的总时间。下表是我们根据数据的分析结果统计出的一局游戏中，每位玩家发出的指令，以及参与游戏所用的总时间，最终统计结果如下表所示：

表2协同对抗游戏在线控制结果

(注明：M表示本发明，S表示传统)

从上表可以看出，根据数据分析出的每组玩家参与游戏时间基本是一致的，略有误差(允许几秒的误差，因为有时是一位主试要同时控制两位玩家游戏的起始和结束，所以存在操作上的时间差，我们允许操作上有10秒的误差)。

从前10组来看，两位玩家在相同的时间内，发出的指令数基本一致，略有误差，可以忽略。第3组在游戏时间相同的情况下，发出的指令数相差较大，这是因为在计算数据的时候，玩家A计算数据时叠加3次，玩家B数据计算时叠加4次，叠加的次数多的，发一次指令花费的时间更长，所以在时间相同的情况下，发指令时间长的，指令数较少，这组属于个体差异。组1,4,7,8,9,10耗时较短，结束游戏较快，是因为两者都控制很好，采取不躲避直接攻击的战略。组2,3,5,6耗时长，结束游戏较慢，原因有二：一则是因为，两位玩家注意力都不够集中，都控制不好，一则是因为两位玩家都控制好，采取你追我躲策略，灵活控制，所以耗时长。组11-15是交叉对战组，两位玩家在相同的时间内，发出的指令数差异较大，主要是BCI 系统中识别指令的算法效率不同，从结果可以看出，本发明方法效率高于传动方法。本发明方法发一个指令耗时相对传统方法短一些，所以在相同的时间内，本发明方法发出的指令多于传统方法。这5组中也有耗时长，耗时短的，原因和前10组类似。

表1采用本发明和传统方法表现比较

表2协同对抗游戏在线控制结果

(注明：M表示本发明，S表示传统)。

Claims (5)

1.一种采用人脑控制的对抗游戏系统，该系统包括：1个或多个数据采集模块、1个或多个数据处理模块、数据融合服务器、显示器；所述数据采集模块与数据处理模块一一对应；通过数据采集模块采集游戏者的脑电信号传输给数据处理模块，数据处理模块分析游戏者的脑电信号后判断游戏者的意图，将判断数据发送给数据融合服务器，服务器通过各数据处理模块发来的判断数据控制对应游戏角色，最后通过显示器显示；

其中所述数据处理模块中包括：训练模块、实时识别模块，所述训练模块包括：刺激模块、计算特征提取器模块、计算分类器模块，所述实时识别模块包括：特征提取器、分类器；所述实时识别模块中的特征提取器和分类器是训练模块中的计算特征提取器模块和计算分类器模块根据训练数据计算得到的；所述刺激模块通过输出数据在显示器上显示刺激人体大脑，通过数据采集模块采集脑电波数据，通过计算特征提取模块计算出需要提取的特征，在根据提取的特征和计算分类器模块计算出分类器；

所述刺激模块中的刺激方法为：在显示器上显示一大一小两个方块，两方块距离最近的边相互平行，小方块位于大方块内部中心位置，所述小方块每一条边与距离最近的大方块边之间设置一个数字方块，每个数字方块依次编号1、2、3、4；训练时随机在某一数字方块中显示竖直红色线条，然后根据竖直红色线条所处的位置从左边数字方块移动到右边数字方块、或从右边数字方块移动到左边数字方块、或从上边数字方块移动到下边数字方块、或从下边数字方块移动到上边数字方块，红色线条一次完整的移动表示一次刺激；并且当竖直红线处于数字方块内时在屏幕中心位置显示对应数字方块的编号。

2.如权利要求1所述的一种采用人脑控制的对抗游戏系统，其特征在于所述计算特征提取器模块中的计算方法为：

步骤a1：数据采集模块采集通过刺激模块刺激后的带有标签的脑电数据；每一个带标签的数据为一个C×T的矩阵，C为采集模块的采集通道的数目，T为采样次数，标签共4类，包括1、2、3、4，分别代表被试控制上、下、左、右的四种控制；

步骤a2：将步骤a1获得带有标签的脑电数据分出两类，标签为1的数据为一类，其余数据为一类；采用公式C₂ ^-1C₁w₁＝λw₁计算出特征提取器w₁，此时C₂表示除开标签为1的其余数据，C₁表示标签为1的数据，λ表示特征值，根据实际情况决定；

步骤a3：将步骤a1获得带有标签的脑电数据分出两类，标签为2的数据为第一类，其余数据为第二类；采用公式C₂ ^-1C₁w₂＝λw₂计算出特征提取器w₂，此时C₂表示除开标签为2的其余数据，C₁表示标签为2的数据；

步骤a4：将步骤a1获得带有标签的脑电数据分出两类，标签为3的数据为第一类，其余数据为第二类；采用公式C₂ ^-1C₁w₃＝λw₃计算出特征提取器w₃，此时C₂表示除开标签为3的其余数据，C₁表示标签为3的数据；

步骤a5：将步骤a1获得带有标签的脑电数据分出两类，标签为4的数据为第一类，其余数据为第二类；采用公式C₂ ^-1C₁w₄＝λw₄计算出特征提取器w₄，此时C₂表示除开标签为4的其余数据，C₁表示标签为4的数据。

3.如权利要求1所述的一种采用人脑控制的对抗游戏系统，其特征在于所述计算特征提取器模块前还包括一个预处理模块，该模块的处理方法将采集得到的C×T矩阵的数据，进行高阶运算，转化成尺寸为225×225的对称矩阵M_ci，再对对称矩阵M_ci案子如下公式进行拆分：

M_ci＝Y_ciY_ci ^T

拆分得到的Y_ci为预处理后的数据，再进行后续的特征提取。

4.如权利要求2所述的一种采用人脑控制的对抗游戏系统，其特征在于所述计算分类器模块中的计算方法为：

步骤b1：确定分类模型为：y＝kx+b，其中y为计算结果取值为[-1,1]，1表示是，-1表示否，k、b待训练的模型参数；

步骤b2：采用特征提取器w₁、w₂、w₃、w₄，分别对应提取标签为1、2、3、4的数据的特征；

步骤b3：将提取得到的数据特征分别单独训练分类模型y＝kx+b，得到对应的各自的分类器：y₁＝k₁x₁+b₁，y₂＝k₂x₂+b₂，y₃＝k₃x₃+b₃，y₄＝k₄x₄+b₄。

5.如权利要求4所述的一种采用人脑控制的对抗游戏系统，其特征在于所述实时识别模块的特征提取器中,采用特征提取器w₁、w₂、w₃、w₄分别提取实时采集到的脑电数据特征x₁、x₂、x₃、x₄，然后将提取到的特征采用对应的分类器进行计算：得到y₁＝k₁x₁+b₁，y₂＝k₂x₂+b₂，y₃＝k₃x₃+b₃，y₄＝k₄x₄+b₄，再判断y₁、y₂、y₃、y₄中最接近1的数值，则其对应的标签为判断意图。