CN106569601A - 一种基于p300脑电的虚拟驾驶系统控制方法 - Google Patents

Abstract

本发明公开了一种基于P300脑电的虚拟驾驶系统控制方法，步骤包括：S1、采集脑电信号数据，将采集的数据输送到计算机中；S2、对采集的数据进行预处理，接着提取特征；S3、对提取的特征进行贝叶斯线性判别分析的训练，将所得的贝叶斯模型保存；S4、使用贝叶斯模型在在线测试中进行自适应的脑电信号分类；S5、将分类所得字符指令用于控制城市中虚拟车辆的驾驶；S6、在驾驶过程中，人眼获取车辆的控制信息，包括位置信息、速度信息；通过大脑的判断来控制汽车，包括启动汽车、停止汽车和使汽车转向。本发明拥有较高的控制准确度，实现了无手动控制车辆驾驶，能够用于高度瘫痪病人的视觉训练，同时提供了一种有效的娱乐方式。

Description

一种基于P300脑电的虚拟驾驶系统控制方法

技术领域

本发明涉及脑机接口和虚拟现实技术领域，尤其涉及一种基于P300脑电的虚拟驾驶系统控制方法。

背景技术

在过去的十年里，虚拟现实技术被广泛应用于航空，军事，心理学，医学等领域。特别是在医学领域，虚拟现实使康复训练获得了较大进步。高度瘫痪病人能够通过虚拟现实系统获得运动康复和视觉康复训练，尽管在这些领域中获得了成功，但虚拟现实仍然是一个新颖的科技工具。一般来说，虚拟现实能够为系统的测试提供一个仿真平台，人们能够在虚拟现实环境中学习如何使用外部设备。

传统的虚拟现实应用需要键盘、鼠标或者头盔等外部设备的输入，而高度瘫痪病人并不能利用这些外部设备，需要一个由脑信号直接控制的输入方式，本发明将提供一种基于P300脑电的虚拟驾驶控制技术。

发明内容

本发明要解决的技术问题在于，提供一种基于P300脑电的虚拟驾驶系统控制方法，能够使高度瘫痪病人不依赖固有的外部输入设备，在虚拟环境中练习使用外部设备的能力，且还能够给病人带来运动或者视觉的康复训练，同时能够作为一种娱乐方式，改善人的心情。

为解决上述技术问题，本发明提供如下技术方案：一种基于P300脑电的虚拟驾驶系统控制方法，包括以下步骤：

S1、采集脑电信号数据，将采集的数据输送到计算机中；

S2、对采集的数据进行预处理，接着提取特征向量；

S3、对提取的特征向量进行贝叶斯线性判别分析的训练，将所得的贝叶斯模型进行保存；

S4、使用自适应的贝叶斯线性判别分析算法对在线测试中进行自适应的脑电信号进行分类；

S5、将分类所得字符指令用于控制城市中虚拟车辆的驾驶；

S6、在驾驶过程中，人眼获取车辆的控制信息，包括位置信息、速度信息；然后通过大脑的判断来控制汽车，包括启动汽车、停止汽车和使汽车转向。

进一步地，所述步骤S1，采集脑电信号数据具体为：三维P300范式界面提供闪烁刺激，使用32通道脑电采集设备，以右耳为参考，采集脑电信号数据；将采集的数据以250Hz的采样率输送到计算机中。

进一步地，所述步骤S2中，预处理的方法为：首先采集的数据进行带通滤波，带通滤波范围为0.1-20Hz，然后将滤波后的数据进行1/6的下采样，并将除眼电通道FP1和FP2以外的30个通道的数据连接起来成为一个特征向量。

进一步地，所述步骤S3中，对提取的的特征向量使用贝叶斯判别分析算法进行模型训练，训练过程如下：

S31、首先，训练集{x,t}是由EEG信号的所有通道共P个样本点组成的，其中x＝(x₁,...,x_P)，标签为t∈{-1,1}，x_i(1≤i≤p)表示一个采样样本在第i个采样点的幅值，w为本发明中需要在训练中获得的权值矩阵，在不考虑噪声的情况下：

t＝w^Tx＝w₀+w₁x₁+…+w_Px_P

S32、在贝叶斯回归模型的框架下，假设t＝w^Tx+n_noise，n_noise为高斯噪声，样本的标签满足以均值μ＝w^Tx、方差为σ²＝β^-1的高斯分布，也即：

式中，参数β是高斯分布的精度，且为方差的倒数；

S33、假设P300信号的所有Trial都是独立同分布的，Q个独立试验样本的联合概率能够由每一个样本的条件概率来获得，那么令X＝{x₁,x₂,...,x_Q}∈R^P×Q，其中Q＝N·M·K，这里K代表的是功能键的个数，而P＝C_channels·S_samples，C_channels代表的是电极帽的通道数，S_samples代表的是样本的采样点数，那么其似然函数为：

式中，t为由回归目标值组成的向量，X为由样本特征向量x组成的样本矩阵，Q为训练样本的数量；

S34、为了利用贝叶斯框架，同时为了方便处理，引入w的先验分布的条件概率分布为：

式中，α是高斯分布的精度，P为特征向量的维数，ε是一个极小的值，I是一个单位矩阵，维度为P，I′(α)为P+1矩阵，表示如下：

S35、根据贝叶斯原理，w的后验分布为：

若简单使用D来替换训练集，似然函数可表示为：

使得w的后验分布方程表示为：

S36、由于似然函数与先验概率都是高斯分布，所以求出的后验概率也是高斯分布；通过最大化后验概率的方法可以求得对于给定训练集的最有可能的w值；w后验概率分布的均值m和方差C分别为：

m＝β(βXX^T+I′(α))^-1Xt，

C＝(βXX^T+I′(α))^-1，

这里的α和β通过迭代来获得；

S37、最后，我们输入一个样本预测回归标签的分布函数为：

该分布函数的均值和方差分别为：式中的μ为所求的标签回归值；

S38、完成贝叶斯判别分析算法的模型训练后，得到一个贝叶斯模型，此模型记录了w的后验分布均值m^T、方差C。

进一步地，所述步骤S4中，此模型记录了使用自适应贝叶斯判别分析算法来确定测试过程中脑电数据的字符归属。

进一步地，所述步骤S5中的字符指令包括：左转、启动、右转、伪键1、伪键2、伪键3、左转90度、停止以及右转90度；所述字符指令均在虚拟现实环境中完成对虚拟车辆的驾驶控制，同时被试者通过眼睛获取车辆的控制信息，然后通过指令的输出使车辆驾驶在正确的道路上。

采用上述技术方案后，本发明至少具有如下有益效果：被试者能够通过本发明在不使用传统设备(如鼠标、键盘、头盔等)的情况下，仅仅使用脑电信号完成虚拟现实中车辆的驾驶；本发明不仅能够有益于脑部损伤患者的视觉训练，而且能够作为一种娱乐方式提供给患者。

附图说明

图1为本发明一种基于P300脑电的虚拟驾驶系统控制方法的流程图；

图2为本发明一种基于P300脑电的虚拟驾驶系统控制方法的虚拟车辆驾驶环境图；

图3为本发明一种基于P300脑电的虚拟驾驶系统控制方法的P300诱发过程时序图；

图4为本发明一种基于P300脑电的虚拟驾驶系统控制方法的被试者训练数据离线分析图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本申请作进一步详细说明。

图1为本发明的实现流程图，一种基于P300脑电的虚拟驾驶系统控制方法，包括以下步骤：

S1、三维P300范式界面提供闪烁刺激，使用32通道脑电采集设备，以右耳为参考，采集脑电信号数据，将采集的数据以250Hz的采样率输送到计算机中；

S2、对采集的数据进行预处理，预处理方式为：首先进行带通滤波，带通滤波范围为0.1-20Hz，然后将滤波后的数据进行1/6的下采样，并将除眼电通道FP1和FP2以外的30个通道的数据连接起来成为一个特征向量；接着提取特征；

S3、对提取的特征进行贝叶斯线性判别分析的训练，将所得的贝叶斯模型保存；

S4、使用贝叶斯模型在在线测试中进行脑电信号分类，使用的算法是自适应贝叶斯判别分析算法，将分类结果的对应字符指令进行输出、显示，字符指令包括：左转、启动、右转、伪键1、伪键2、伪键3、左转90度、停止以及右转90度；

S5、将分类所得字符指令用于控制城市中虚拟车辆的驾驶；

S6、在驾驶过程中，人眼获取车辆的控制信息，包括位置信息、速度信息；通过大脑的判断来控制汽车，包括启动汽车、停止汽车和使汽车转向。

进一步地，当获取到脑电信号的特征向量后，需要进行模型训练，贝叶斯判别分析算法的模型训练过程如下：

1.首先，训练集{x,t}是由EEG信号的所有通道共P个样本点组成的，其中x＝(x₁,...,x_P)，标签为t∈{-1,1}，x_i(1≤i≤p)表示一个采样样本在第i个采样点的幅值，w为本发明中需要在训练中获得的权值矩阵，在不考虑噪声的情况下：

t＝w^Tx＝w₀+w₁x₁+…+w_Px_P

2.在贝叶斯回归模型的框架下，假设t＝w^Tx+n_noise，样本的标签满足以均值μ＝w^Tx、方差为σ²＝β^-1的高斯分布，也即：

式中，参数β是高斯分布的精度，且为方差的倒数；

3.假设P300信号的所有Trial都是独立同分布的，Q个独立试验样本的联合概率能够由每一个样本的条件概率来获得，那么令X＝{x₁,x₂,...,x_Q}∈R^P×Q，其中Q＝N·M·K，这里K代表的是功能键的个数，而P＝C_channels·S_samples，C_channels代表的是电极帽的通道数，S_samples代表的是样本的采样点数，那么其似然函数为：

式中，t为由回归目标值组成的向量，X为由样本特征向量x组成的样本矩阵，Q为训练样本的数量；

4.为了利用贝叶斯框架，同时为了方便处理，引入w的先验分布的条件概率分布为：

式中，α是高斯分布的精度，P为特征向量的维数，ε是一个极小的值，I是一个单位矩阵，维度为P，I′(α)为P+1矩阵，表示如下：

5.根据贝叶斯原理，w的后验分布为：

若简单使用D来替换训练集，似然函数可表示为：

使得w的后验分布方程表示为：

6.由于似然函数与先验概率都是高斯分布，所以求出的后验概率也是高斯分布；通过最大化后验概率的方法可以求得对于给定训练集的最有可能的w值；w后验概率分布的均值m和方差C分别为：

m＝β(βXX^T+I′(α))^-1Xt，

C＝(βXX^T+I′(α))^-1。

这里的α和β通过迭代来获得；

7.最后，我们输入一个样本预测回归标签的分布函数为：

该分布函数的均值和方差分别为：式中的μ为所求的标签回归值；

8.完成贝叶斯判别分析算法的模型训练后，得到一个贝叶斯模型，此模型记录了w的后验分布均值m^T、方差C。

进一步地，所述步骤S4中，此模型记录了使用自适应贝叶斯判别分析算法来确定测试过程中脑电数据的字符归属。

进一步地，所述步骤S5中，对特征进行分类，使用自适应的贝叶斯线性判别分析算法。

进一步地，所述步骤S6中的字符指令包括：左转、启动、右转、伪键1、伪键2、伪键3、左转90度、停止以及右转90度。

完成贝叶斯判别分析算法的模型训练后，使用自适应算法来确定测试过程中脑电数据的字符归属，将预处理过后的脑电EEG信号做处理，其方式如下：

表1自适应算法处理过程

表格中M＝1代表第一个Round，M_min和M_max分别代表测试过程中最小和最大的重复次数，这里分别设置为3和8，θ₀是一个由被试者训练状况所决定的阈值。

阈值θ₀的选择是对分类精度和信息传输率之间的一个平衡，分类精度能够在训练过程中获得，而信息传输率的获得如下：

这里K是字符的数量，是系统的分类精度，代表的是系统每分钟做出的决策次数，信息传输率指的是系统单位时间内能够传输的比特数。

一个合适的系统应该拥有较高的信息传输和分类准确率，为此我们需要在训练结果中呈现θ₀与分类准确率，信息传输率之间的关系，在θ₀在0-1之间变化时，找出分类准确第一次达到最大时θ₀的取值，然后将其引入到在线测试自适应算法中。

不同于普通的P300界面，三维P300界面在字符闪烁时不仅颜色上有所变化，而且在深度上也会有变化(深度就是指虚拟现实中字符块位置与观察者的视点位置)，观察者观察到的字符状态变化较普通P300界面更为明显。

人眼在虚拟现实中观察确定的路径，根据相应的路径完成所要完成的任务同时根据路况的不同凝视虚拟车辆中相应的字符实现车辆的启动、转向和停止等动作，同时当车辆遇到路口时会自动识别并且停下来，由驾驶者完成转向，再接着沿正确的方向行驶。

本发明基于P300脑电的虚拟驾驶系统控制方法，拥有较高的控制准确度。实现了不用肢体参与控制虚拟车辆的目的，可以用于高度瘫痪病人的视觉训练，同时能够成为其有效的娱乐方式。

图2为虚拟驾驶环境，图2(a)展示了被试者在做实验的场景，场景的屏幕中显示了本发明的三维虚拟驾驶界面，界面采用的是虚拟现实的主动式四缓冲模式，需要特定的四缓冲显卡、显示器和主动式3D立体眼镜支持，本发明采用的显卡是Nvidia Quadro K4200(4GB/Nvidia)，3D VISION显示器和配套的Nvidia 3D VISION眼镜，虚拟现实开发平台基于开源的3D图形开发库OpenSceneGraph。

图2(b)为虚拟车辆的外部环境。

图2(c)为车辆驾驶室内的3D-P300字符界面，不同于普通的P300界面，3维P300界面在字符闪烁时不仅颜色上有所变化，而且在深度上也会有变化(深度就是指虚拟现实中字符块位置与观察者的视点位置)，观察者观察到的字符状态变化较普通P300界面更为明显。本发明中使用了9个字符的P300界面，分别实现的功能有“左转15度”，“启动”，“右转15度”，“伪键1”，“伪键2”，“伪键3”，“左转90度”，“停止”，“右转90度”，分别对应的界面字符为“L”，“M”，“R”，“H1”，“H2”，“H3”，“L90”，“S”，“R90”。

图2(d)为驾驶过程中的字符闪烁画面，在字符的闪动过程中不断输出字符，从而驱动车辆的行驶，同时当车辆遇到路口时会自动识别并且停下来，由驾驶者完成转向，再接着沿正确的方向行驶。

图3为P300字符拼写过程的时序图。在这个视图中一个Trial代表需要输出一个字符，同时每两个Trial之间有一个小的间隔时间Break，一个Trial包含M个Round，每一个Round代表全部9个字符每个只闪烁一次，每一个Round的时间里包含9个Epoch，每个Epoch为600ms,每两个Epoch之间的间隔为100ms。

图4为一名被试者训练离线分析后，得出的阈值θ₀与分类精度和信息传输率的关系图。阈值的选取根据训练分类精度第一次达到最高值为准。

一种基于脑电P300的虚拟驾驶系统控制方法步骤如下：

首先由32导电极帽配合放大器将人眼看到字符闪烁时的脑电数据输入到计算机中，首先进行脑电数据的预处理，预处理方式为带通滤波，带通滤波范围为0.1-20Hz，然后将滤波后的数据进行1/6的下采样，并将除眼电通道FP1和FP2以外的30个通道的数据连接起来成为一个特征向量，由于我们在系统中设置了9个字符，在一轮闪烁后就会获得9个特征向量。

在P300训练时，每个Trial开始前都会有一个字符提示，被试者需要在P300界面中找到这个字符，并一直凝视，直到10个Round完成，然后周而复始，最后完成训练过程，在训练过程中，M＝10，进行了N个字符的训练，也即N个Trial，那么完成训练后就可以通过贝叶斯判别分析算法进行离线分析。离线分析的结果能够得出一个贝叶斯模型，这个贝叶斯模型里包含了由迭代优化得到的权重矩阵，也即为公式(9)所谈到均值m，也即是：

m＝β(βXX^T+I′(α))^-1Xt，

然后使用m来计算训练过程数据的预测标签为：

式中，代表训练样本。计算出θ₀从0-1取不同值时，分类准确率，和信息传输率，信息传输率的表示如下：

式中，K是字符的数量，是系统的分类精度，代表的是系统每分钟做出的决策次数，信息传输率指的是系统单位时间内能够传输的比特数。例如图4为实验中一位被试者的实验数据，按照θ₀选取分类精度第一次达到最高值的原则，这位被试者的θ₀＝0.2，此时，其分类精度和信息传输率分别为：100％和66.92bits/min。

其次，在线测试过程中，预处理和特征提取的方法与训练过程一致，然而，在测试中，每一个Trial输出一个命令字符用来控制车辆驾驶。这里的一个Trial包含M个Round，而这里的M值不同于训练部分，是自适应变化的，由训练数据的离线分析得出，同时M满足3≤M≤8,M值的选取将会在自适应算法当中确定。根据每一个Trial的状态不同，每一个Trial的Round数也是不同的，也即是每一个Trial的时间是不同。对所有9个特征向量进行自适应线性判别分析，就可以得出相应的字符并输出。然后字符的输出作为虚拟现实指令的的输入，在虚

拟现实中完成对虚拟车辆的控制。

同时，在车辆的驾驶中，车辆会自动识别虚拟城市的转弯处，在转弯处会自动停止，当被试者通过P300脑电完成转向等控制后，再次按照被试者的输入，在虚拟现实中完成对虚拟车辆的控制。

同时，在车辆的驾驶中，车辆会自动识别虚拟城市的转弯处，在转弯处会自动停止，当被试者通过P300脑电完成转向等控制后，再次按照被试者的意愿行进。同时，被试者通过眼睛判断车辆的位置、转向等信息，而后通过脑电改变车辆的驾驶状态。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解的是，在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims (6)

1.一种基于P300脑电的虚拟驾驶系统控制方法，其特征在于，包括以下步骤：

S1、采集脑电信号数据，将采集的数据输送到计算机中；

S2、对采集的数据进行预处理，接着提取特征向量；

S3、对提取的特征向量进行贝叶斯线性判别分析的训练，将所得的贝叶斯模型进行保存；

S4、使用自适应的贝叶斯线性判别分析算法对在线测试中进行自适应的脑电信号进行分类；

S5、将分类所得字符指令用于控制城市中虚拟车辆的驾驶；

S6、在驾驶过程中，人眼获取车辆的控制信息，包括位置信息、速度信息；然后通过大脑的判断来控制汽车，包括启动汽车、停止汽车和使汽车转向。

2.如权利要求1所述的一种基于P300脑电的虚拟驾驶系统控制方法，其特征在于，所述步骤S1，采集脑电信号数据具体为：三维P300范式界面提供闪烁刺激，使用32通道脑电采集设备，以右耳为参考，采集脑电信号数据；将采集的数据以250Hz的采样率输送到计算机中。

3.如权利要求1所述的一种基于P300脑电的虚拟驾驶系统控制方法，其特征在于，所述步骤S2中，预处理的方法为：首先采集的数据进行带通滤波，带通滤波范围为0.1-20Hz，然后将滤波后的数据进行1/6的下采样，并将除眼电通道FP1和FP2以外的30个通道的数据连接起来成为一个特征向量。

4.如权利要求1所述的一种基于P300脑电的虚拟驾驶系统控制方法，其特征在于，所述步骤S3中，对提取的的特征向量使用贝叶斯判别分析算法进行模型训练，训练过程如下：

S31、首先，训练集{x,t}是由EEG信号的所有通道共P个样本点组成的，其中x＝(x₁,...,x_P)，标签为t∈{-1,1}，x_i(1≤i≤p)表示一个采样样本在第i个采样点的幅值，w为本发明中需要在训练中获得的权值矩阵，在不考虑噪声的情况下：

t＝w^Tx＝w₀+w₁x₁+…+w_Px_P

S32、在贝叶斯回归模型的框架下，假设t＝w^Tx+n_noise，n_noise为高斯噪声，样本的标签满足以均值μ＝w^Tx、方差为σ²＝β^-1的高斯分布，也即：

式中，参数β是高斯分布的精度，且为方差的倒数；

S33、假设P300信号的所有Trial都是独立同分布的，Q个独立试验样本的联合概率能够由每一个样本的条件概率来获得，那么令X＝{x₁,x₂,...,x_Q}∈R^P×Q，其中Q＝N·M·K，这里K代表的是功能键的个数，而P＝C_channels·S_samples，C_channels代表的是电极帽的通道数，S_samples代表的是样本的采样点数，那么其似然函数为：

式中，t为由回归目标值组成的向量，X为由样本特征向量x组成的样本矩阵，Q为训练样本的数量；

S34、为了利用贝叶斯框架，同时为了方便处理，引入w的先验分布的条件概率分布为：

式中，α是高斯分布的精度，P为特征向量的维数，ε是一个极小的值，I是一个单位矩阵，维度为P，I′(α)为P+1矩阵，表示如下：

S35、根据贝叶斯原理，w的后验分布为：

$p\left(w\right|X,t,\mathrm{\α},\mathrm{\β})=\frac{p\left(t\right|w,\mathrm{\β})p(w,\mathrm{\α})}{\∫p\left(t\right|w,\mathrm{\β})p(w,\mathrm{\α})dw};$

若简单使用D来替换训练集，似然函数可表示为：

$p\left(D\right|w,\mathrm{\β})={\left(\frac{\mathrm{\β}}{2\mathrm{\π}}\right)}^{Q/2}\·\exp (-\frac{\mathrm{\β}\left|\right|X^{T}w-t|{|}^2}{2});$

使得w的后验分布方程表示为：

$p\left(w\right|D,\mathrm{\α},\mathrm{\β})=\frac{p\left(D\right|w,\mathrm{\β})p\left(w\right|\mathrm{\α})}{\∫p\left(D\right|w,\mathrm{\β})p\left(w\right|\mathrm{\α})dw};$

S36、由于似然函数与先验概率都是高斯分布，所以求出的后验概率也是高斯分布；通过最大化后验概率的方法可以求得对于给定训练集的最有可能的w值；w后验概率分布的均值m和方差C分别为：

m＝β(βXX^T+I′(α))^-1Xt，

C＝(βXX^T+I′(α))^-1，

这里的α和β通过迭代来获得；

S37、最后，我们输入一个样本预测回归标签的分布函数为：

$p\left(\hat{t}\right|\mathrm{\β},\mathrm{\α},\hat{x},D)=\∫p\left(\hat{t}\right|\mathrm{\β},\hat{x},w)p\left(w\right|\mathrm{\β},\mathrm{\α},D)dw$

该分布函数的均值和方差分别为：式中的μ为所求的标签回归值；

S38、完成贝叶斯判别分析算法的模型训练后，得到一个贝叶斯模型，此模型记录了w的后验分布均值m^T、方差C。

5.如权利要求1所述的一种基于P300脑电的虚拟驾驶系统控制方法，其特征在于，所述步骤S4中，此模型记录了使用自适应贝叶斯判别分析算法来确定测试过程中脑电数据的字符归属。

6.如权利要求1所述的一种基于P300脑电的虚拟驾驶系统控制方法，其特征在于，所述步骤S5中的字符指令包括：左转、启动、右转、伪键1、伪键2、伪键3、左转90度、停止以及右转90度，所述字符指令均在虚拟现实环境中完成对虚拟车辆的驾驶控制，同时被试者通过眼睛获取车辆的控制信息，然后通过指令的输出使车辆驾驶在正确的道路上。