CN104914994A - 基于稳态视觉诱发电位的飞行器控制系统和飞行控制方法 - Google Patents

Abstract

本发明公开了一种基于稳态视觉诱发电位的飞行器控制系统和飞行控制方法。视觉刺激显示屏上显示有六个闪烁图块，六个闪烁图块的闪烁频率均不同，便携式脑电采集设备被佩戴在操作人员的头部，便携式脑电采集设备中采集模块采集操作人员头部的脑电信号依次经放大、滤波和模数转换后经无线传输模块传送给信号处理模块，信号处理模块将脑电信号分析处理后传输到飞行器控制模块，再发出飞行控制信号控制飞行器的运动。本发明可根据操作人员的控制意图实现对飞行器六种运动控制，实现了飞行器的灵活控制，增加了飞行器控制的实用性能，为脑机接口的应用提供了新方式，有效补偿现有飞行控制方式的不足，充分发挥残障人士的主动性。

Description

基于稳态视觉诱发电位的飞行器控制系统和飞行控制方法

技术领域

本发明涉及了一种飞控系统和飞控方法，尤其是涉及了一种基于稳态视觉诱发电位的飞行器控制系统和飞行控制方法，基于稳态视觉诱发电位识别进行飞行器的控制。

背景技术

脑-机接口(Brain-computer interface,BCI)，是一种不依赖于大脑外周神经与肌肉正常输出通道的通讯控制系统。它通过采集和分析人脑生物电信号，在人脑与计算机或其它电子设备之间建立起直接交流和控制的通道，这样人就可以通过大脑来表达意愿或者操纵设备，而不需要语言或者额外的肢体动作。通常BCI系统主要对P300信号、运动想象(Motor imagery，MI)和稳态视觉诱发电位(Steady-state visual evoked potentials,SSVEP)进行研究。

稳态视觉诱发电位(Steady-state visual evoked potentials,SSVEP)是指，当视觉的刺激频率大于6Hz时，各次刺激引起的瞬态视觉诱发电位在时间上发生重叠，人的大脑的视觉皮层会产生一个连续与刺激频率的基频或者二倍频有关的一个响应，这个响应被称为稳态视觉诱发电位。

相比于其他BCI系统，基于SSVEP的BCI系统具有如下优点：

(1)无需对被试者进行训练，实验简单，适应性强，可以针对不同年龄、性别以及种族的人群进行试用。

(2)具有明显的周期性与节律同化现象。此现象表现为在被试的脑电频谱分析中，相应的刺激频率的基频和倍频处有很大幅度的峰值。因此SSVEP集中在特定的频率上，它的这一特点简化了BCI的特征提取方法。

(3)具有较高信息的传输速率，达到使用目的。

(4)SSVEP具有较高的信噪比，需要的电极少，具有很强的可操作性。

目前，对于无人机的操控一般采用遥控器，该种方式只适用于一般人群，一些残障人士很难实现对无人机的操控，并且这种方式缺少对飞行器控制的有效补偿器，不能充分发挥其主动性。

发明内容

为了解决背景技术中存在的问题，本发明提供了一种基于稳态视觉诱发电位的飞行器控制系统和飞行控制方法，具体是采集操作人员注视不同闪烁频率刺激下的脑电信号，通过分析不同频率刺激下的脑电信号的特征，判断操作人员注视的为哪一个频率的闪烁，对此控制飞行器的运动控制，将认知神经科学领域和信息技术领域进行结合，实现飞行器的自动控制，本发明方法具有更高的普遍性。

本发明通过如下的技术方案实现：

一、一种基于稳态视觉诱发电位的飞行器控制系统，如图1所示：

本发明包括依次连接的视觉刺激显示屏、便携式脑电采集设备、信号处理模块、无线传输模块和飞行器控制模块，飞行器控制模块安装在飞行器上，视觉刺激显示屏、便携式脑电采集设备和信号处理模块均安装在地面，视觉刺激显示屏上显示有六个闪烁图块，六个闪烁图块的闪烁频率均不同，便携式脑电采集设备被佩戴在操作人员的头部，用于采集操作人员注视视觉刺激显示屏时产生的脑电信号；便携式脑电采集设备包含采集模块、放大模块、滤波模块和模数转换模块，采集模块采集操作人员头部的脑电信号后依次经放大模块、滤波模块和模数转换模块，再经无线传输模块传送给信号处理模块，信号处理模块将脑电信号分析处理后传输到飞行器控制模块，飞行器控制模块发出飞行控制信号控制飞行器的运动。

所述的六个的闪烁图块分别对应于飞行器的向上、向下、向左、向右、向前和向后六种运动。

所述的信号处理模块可采用计算机，具体实施中可采用计算机构建信号处理软件进行处理。

所述的便携式脑电采集设备具有14导，按照国际标准导联10-20参考系统佩戴。

二、一种基于稳态视觉诱发电位的飞行控制方法：

1)采用所述的飞行器控制系统，将便携式脑电采集设备佩戴在操作人员的头部，操作人员注视视觉刺激显示屏上的闪烁图块，闪烁图块对应于飞行器的六种动作控制信号；

便携式脑电采集设备实时采集操作人员注视视觉刺激显示屏时的脑电信号，将采集到的脑电信号依次进行放大、滤波、模数转换，然后通过无线传输模块传输给信号处理模块；

2)信号处理模块在接收到操作人员的脑电信号之后，对脑电信号依次进行预处理、AR模型(Auto Regressive Model)谱分析特征提取和分类的处理，得到脑电信号分类结果，将分类结果通过无线传输模块传输到飞行器控制模块；

3)飞行器控制模块将分类结果转换为闪烁图块对应的动作控制信号发送到飞行器控制进行相应的各个动作，当飞行器控制模块未接收到分类结果时，发出悬停控制信号到飞行器控制进行悬停。

动作包括向上、向下、向左、向右、向前和向后的六种动作。

所述步骤2)信号处理模块对脑电信号的处理具体包括：

2.1)预处理：先通过小波变换中的Mallat方法对脑电信号进行有限层分解，将分解得到最高频和最低频的小波系数置零，然后再进行相同层数的小波重构；其中分解的层数与采样频率有关，将分解到的高频段和低频段的系数置零；

2.2)AR模型谱分析：对步骤2.1)得到的脑电信号进行AR模型谱分析，分析频域上的峰值，得到脑电信号中SSVEP信号的刺激频率；处理后的信号是时域上的随机信号，因此可通过AR模型谱分析在这些随机信号的频与内提取SSVEP信号；若基频和其二倍频有明显的波峰出现，则该基频为SSVEP信号的刺激频率。

2.3)信号的分类：

将SSVEP信号的六个刺激频率与视觉刺激显示屏闪烁图块各自对应的闪烁频率进行比对，若其中一个比对差值在频率差值阈值范围内，则操作人员注视的是该比对差值下对应闪烁频率的闪烁图块，作为分类结果；若所有比对差值均不在频率差值阈值范围内，则没有分类结果。

所述步骤2.1)的预处理过程如下：

2.1.1)采用以下公式的Mallat方法对脑电信号进行有限层分解：

$x\left(n\right)=A_L+\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{D}_j$

式中，L为分解层数的总数，A_L为低通逼近分量，D_j为尺度细节分量，j为分解层数的序数；

2.1.2)信号x(n)的采样频率为f_s，上述脑电信号中A_L、D_L、D_L-1……D₁各个分量所对应的频率分别为

2.1.3)将步骤2.1.2)得到的最低频段和最高频段的分量置零，再进行小波有限层重构去除最低频段和最高频段所对应的脑电信号，小波有限层重构的层数与步骤2.1.1)中分解层数相同，得到了中间频段的脑电信号。

所述的步骤2.2)具体包括：

2.2.1)采用以下公式表示的谱密度S_y与p阶AR模型系数的关系计算得到谱密度S_y：

$S_y\left(w\right)=\frac{{\mathrm{\σ}}_v^2}{{|1+\underset{k=1}{\overset{p}{\mathrm{\Σ}}}{a}_k{e}^{-\mathrm{iwk}}|}^2}$

式中，为白噪声序列的方差，a_k是AR模型系数，p为AR模型的阶数，i是虚数单位，w是频率，v(n)表示独立于过去样本的误差项，k是阶数的序数，k＝1,2，……，p；上述AR模型系数a_k、AR模型阶数p，定义于以下公式表示的AR模型：

$y\left(n\right)=-\underset{k=1}{\overset{p}{\mathrm{\Σ}}}{a}_{k}y(n-k)+v\left(n\right)$

式中，y(n)为n时刻输出信号，v(n)表示独立于过去样本的误差项；

由此可见只要求出AR模型的系数及就可以得到AR谱估计。

步骤2.1.1)的有限层分解中对脑电信号进行离散小波变换，x(n)表示为便携式脑电采集设备所输出的离散脑电信号，则x(n)的离散小波变换采用以下公式计算得到转换后的离散脑电信号：

$C_{p,q}=2^{\frac{p}{2}}\underset{n=-\&infin;}{\overset{\&infin;}{\mathrm{\&Sigma;}}}x\left(n\right){\stackrel{\&OverBar;}{\mathrm{\&psi;}}}_{p,q}(2^{-p}n-q)=<x\left(n\right),{\mathrm{\&psi;}}_{p,q}>,p,q\&Element;Z$

式中，为小波序列，为小波基函数，p,q分别代表频率分辨率和时间平移量，Z表示整数集，n表示采样点序数。

2.2.2)由谱密度S_y得到脑电信号中SSVEP信号的频谱，将SSVEP信号二倍频处峰值所对应的频率除以2得到SSVEP信号的刺激频率。

所述的AR模型阶数p采用以下方式计算得到：通过协方差的方法对AR模型系数a_k进行估计得到AR模型系数估计值，并且结合AIC(Akaike informationcriterion)准则确定得到AR模型阶数p，最后也可在AR模型阶数p相邻范围内依次实验确定AR模型的阶数p。

所述的步骤3)飞行器控制模块未接收到分类结果的情况包括脑电信号采集停止的情况与无法采集到正确脑电信号的情况。

飞行器控制模块控制是在接收到由操作人员的控制意图转换为控制信号后，控制飞行器进行相应的向上、向下、向左、向右、向前和向后六种运动。

首先，操作人员通过注视视觉刺激显示屏来表达自己的控制意图；其次，便携式脑电采集设备实时采集操作人员的脑电信号，并对脑电信号进行放大、滤波和模数转换，并将此信号通过无线模块传输到计算机的信号处理模块中；最后通过信号处理模块进行实时脑电信号的预处理、特征提取、分类，将操作人员的控制意图转换为控制信号发送到飞行器控制模块，从而实现对飞行器的向上、向下、向左、向右、向前和向后的控制。

与现有技术相比，本发明的有益效果在于：

现有飞行器的控制系统中，尚未存在基于SSVEP控制的相关技术，因此本发明是一个全新的方向，也为脑机接口的应用提供了新的领域。

本发明可根据操作人员的控制意图实现对飞行器向上、向下、向左、向右、向前和向后六种运动控制，实现了飞行器的灵活控制，增加了飞行器控制的实用性能。

本发明不仅对飞行器的控制方式提供了一种新的方法，更重要的是也开拓了BCI应用新的领域。同时针对于一些残障人士来说，操作手柄相当困难，本发明对飞行器的控制方法可以有效补偿器不足，充分发挥其主动性。

附图说明

图1为本发明系统的总体连接框图。

图2为本发明方法的信号处理流程图。

图3为本发明视觉刺激显示屏的闪烁图块示意图。

图4为实施例便携式脑电采集设备中的电极在头皮上的放置位置图。

具体实施方式

以下将参照附图，对本发明的优选实例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

本发明的基本原理是操作人员要控制飞行器的向上、向下、向左、向右、向前和向后六种动作时，不用进行任何肢体动作和语言，只需要眼睛注视着视觉刺激显示屏上相对应的动作信号闪烁图块，人的大脑就会产生相对应的SSVEP信号，笔记本接收该信号并对此信号进行频域分析，识别出产生SSVEP信号的刺激频率，刺激频率与视觉刺激显示屏上所提供的频率在相近范围内，则输出对应的控制信号给飞行器控制器，从而实现对飞行器的控制。

本发明的实施例如下：

如图3所示，视觉刺激显示屏的背景色为黑色，界面上共有6个按不同频率闪烁的图片，操作人员注视不同的闪烁图块会产生不同的SSVEP信号。其中“Up/上”表示飞行器向上运动，“Down/下”表示飞行器向下运动，“Left/左”表示飞行器向左运动，“Right/右”表示飞行器向右运动，“Front/前”表示飞行器前进，“Back/后”表示飞行器后退。操作人员根据自己的控制意图，注视对应的闪烁图块实现对飞行器的动作控制。

本发明使用能够采集大脑皮层枕区产生的SSVEP信号的任意通道数的脑电信号采集设备。本实施例采用的便携式脑电采集设备为Emotiv Epoc，它有14个脑电采集通道和2个参考电极，按照国际标准导联10-20参考系统放置。而且Emotiv Epoc具有14位的模数转换模块、无线传输模块和滤波功能。因为SSVEP的响应主要出现于大脑皮层枕区，所以实施例中电极主要放置在P7、P8、O1、O2这4个位置，如图4所示。

视觉刺激显示屏由笔记本电脑的液晶显示屏提供，用于产生事件相关电位。刺激界面上有6个按照不同频率闪烁的棋盘格，6个不同频率分别为6.5Hz、7.5Hz、8.5Hz、10Hz、12Hz、15Hz。

具体实施过程如下：

1)选取5名身体健康的受试人员，标号为S1到S5，实验分为5组进行，每组实验受试者依次根据提示进行飞行器动作的控制，每组测试20次；

2)受试者S1根据提示，依次注视视觉刺激显示屏上“Up/上”、“Down/下”、“Left/左”、“Right/右”、“Front/前”、“Back/后”这一组闪烁图块。对于60Hz刷新频率的液晶显示屏，视觉刺激显示屏上的6个闪烁图块的闪烁频率分别选用6.5Hz、7.5Hz、8.5Hz、10Hz、12Hz、15Hz；

3)受试者S1号在依次注释视觉刺激显示屏使，便携式脑电采集设备实时采集受试者S1号的脑电信号，并对采集到的脑电信号进行放大、滤波、模数转换，然后通过自带的无线传输模块将处理后的数据传输给信号处理模块；

4)信号处理模块在接收到受试者S1的相应数据之后对脑电信号进行小波重构、AR模型谱分析特征提取和分类，并且将分类的结果通过无线传输模块传输到飞行器的控制模块；

5)飞行器控制模块接收到分类结果之后，控制飞行器依次进行向上、向左、向下、向前、向右、向后六种动作控制；

6)受试者S1重复上述步骤2)至步骤5)20次并记录下成功次数；

7)受试者S1完成实验之后，受试者S2到受试者S5重复上述实验，每位受试者进行20次，并记录下实验成功的次数。

实验统计如下：

表1实验数据统计：

受试者编号	S1	S2	S3	S4	S5
						成功次数	18	19	18	20	16

实验发现，对于刷新频率60Hz的液晶显示屏来说，系统可以有效地对SSVEP信号进行检测，且检测正确率可以达到91％。

本实施例步骤4)中采用的信号处理模块对于信号的处理流程如图2所示，其具体过程如下：

(1)预处理，实施例中便携式脑电采集设备的采样频率f_s为128Hz，选用db6小波作为小波基函数。为了去掉高频和低频段的信号，实施例通过Mallat小波分析对脑电信号进行5层分解，得到分解后的5个频段分别为：0～4Hz、4～8Hz、8～16Hz、16～32Hz、32～64Hz。将小波分解后的低频段和高频段的分量置零，然后再进行小波5层重构，得到了只保留4～32Hz频段的信号。

(2)对重构后的脑电信号进行AR模型谱分析，分析频域上的峰值，基频和其二倍频有明显的波峰出现，则该基频为SSVEP信号的刺激频率。

计算中AR模型阶数p采用以下方式计算得到：通过协方差的方法对AR模型系数a_k进行估计得到AR模型系数估计值，并且结合AIC(Akaike informationcriterion)准则确定得到AR模型阶数p。实施例中通过实验在AR模型阶数p相邻范围内依次实验，发现在SSVEP信号的二倍频处有明显的峰值，以此也可来确定SSVEP信号的刺激频率。

(3)提取出SSVEP信号的刺激频率与视觉刺激显示屏提供的6个频率进行比对，与其中一个的比对差值在阈值范围内，并且该频率的二倍频在SSVEP信号的频域内有一个明显的波峰则输出相应的控制信号，否则，则等待下一时刻的信号到来。

由此可见，当操作人员在观察到视觉刺激显示屏上的闪烁图块时，通过对操作人员大脑产生的SSVEP信号进行提取，并对该信号进行频域分析、识别、分类之后，将相应的控制信号传送至飞行器控制模块从而实现对飞行器向上、向下、向左、向右、向前和向后六种运动控制，实现了飞行器的灵活控制，增加了飞行器控制的实用性能。

通过本发明对飞行器的运动控制，不仅对飞行器的控制方式提供了一种新的方法，更重要的是也开拓了BCI应用的新的领域，具有突出显著的技术效果。

Claims (10)

1.一种基于稳态视觉诱发电位的飞行器控制系统，其特征在于：包括依次连接的视觉刺激显示屏、便携式脑电采集设备、信号处理模块、无线传输模块和飞行器控制模块，飞行器控制模块安装在飞行器上，视觉刺激显示屏、便携式脑电采集设备和信号处理模块均安装在地面，视觉刺激显示屏上显示有六个闪烁图块，六个闪烁图块的闪烁频率均不同，便携式脑电采集设备被佩戴在操作人员的头部，用于采集操作人员注视视觉刺激显示屏时产生的脑电信号；便携式脑电采集设备包含采集模块、放大模块、滤波模块和模数转换模块，采集模块采集操作人员头部的脑电信号后依次经放大模块、滤波模块和模数转换模块，再经无线传输模块传送给信号处理模块，信号处理模块将脑电信号分析处理后传输到飞行器控制模块，飞行器控制模块发出飞行控制信号控制飞行器的运动。

2.根据权利要求1所述的一种基于稳态视觉诱发电位的飞行器控制系统，其特征在于：所述的六个的闪烁图块分别对应于飞行器的向上、向下、向左、向右、向前和向后六种运动。

3.根据权利要求1所述的一种基于稳态视觉诱发电位的飞行器控制系统，其特征在于：所述的信号处理模块采用计算机。

4.根据权利要求1所述的一种基于稳态视觉诱发电位的飞行器控制系统，其特征在于：所述的便携式脑电采集设备具有14导，按照国际标准导联10-20参考系统佩戴。

5.一种基于稳态视觉诱发电位的飞行控制方法，其特征在于包括如下步骤：

1)采用权利要求1～4任一所述的飞行器控制系统，将便携式脑电采集设备佩戴在操作人员的头部，操作人员注视视觉刺激显示屏上的闪烁图块，闪烁图块对应于飞行器的六种动作控制信号；

便携式脑电采集设备实时采集操作人员注视视觉刺激显示屏时的脑电信号，将采集到的脑电信号依次进行放大、滤波、模数转换，然后通过无线传输模块传输给信号处理模块；

2)信号处理模块在接收到操作人员的脑电信号之后，对脑电信号依次进行预处理、AR模型(Auto Regressive Model)谱分析特征提取和分类的处理，得到脑电信号分类结果，将分类结果通过无线传输模块传输到飞行器控制模块；

3)飞行器控制模块将分类结果转换为闪烁图块对应的动作控制信号发送到飞行器控制进行相应的各个动作，当飞行器控制模块未接收到分类结果时，发出悬停控制信号到飞行器控制进行悬停。

动作包括向上、向下、向左、向右、向前和向后的六种动作。

6.根据权利要求5所述的一种基于稳态视觉诱发电位的飞行控制方法，其特征在于：

所述步骤2)信号处理模块对脑电信号的处理具体包括：

2.1)预处理：先通过小波变换中的Mallat方法对脑电信号进行有限层分解，将分解得到最高频和最低频的小波系数置零，然后再进行相同层数的小波重构；

2.2)AR模型谱分析：对步骤2.1)得到的脑电信号进行AR模型谱分析，分析频域上的峰值，得到脑电信号中SSVEP信号的刺激频率；

2.3)信号的分类：将SSVEP信号的六个刺激频率与视觉刺激显示屏闪烁图块各自对应的闪烁频率进行比对，若其中一个比对差值在频率差值阈值范围内，则操作人员注视的是该比对差值下对应闪烁频率的闪烁图块，作为分类结果；若所有比对差值均不在频率差值阈值范围内，则没有分类结果。

7.根据权利要求6所述的一种基于稳态视觉诱发电位的飞行控制方法，其特征在于：所述步骤2.1)的预处理过程如下：

2.1.1)采用以下公式的Mallat方法对脑电信号进行有限层分解：

$x\left(n\right)=A_L+\underset{j=1}{\overset{L}{\mathrm{\&Sigma;}}}{D}_j$

式中，L为分解层数的总数，A_L为低通逼近分量，D_j为尺度细节分量，j为分解层数的序数；

2.1.2)信号x(n)的采样频率为f_s，上述脑电信号中A_L、D_L、D_L-1……D₁各个分量所对应的频率分别为 $[0,\frac{f_s}{2^{L+1}}],[\frac{f_s}{2^{L+1}},\frac{f_s}{2^L}],[\frac{f_s}{2^L},\frac{f_s}{2^{L-1}}]......[\frac{f_s}{2^2},\frac{f_s}{2}];$

2.1.3)将步骤2.1.2)得到的最低频段和最高频段的分量置零，再进行小波有限层重构去除最低频段和最高频段所对应的脑电信号，小波有限层重构的层数与步骤2.1.1)中分解层数相同，得到了中间频段的脑电信号。

8.根据权利要求6所述的一种基于稳态视觉诱发电位的飞行控制方法，其特征在于：所述的步骤2.2)具体包括：

2.2.1)采用以下公式表示的谱密度S_y与p阶AR模型系数的关系计算得到谱密度S_y：

$S_y\left(w\right)\frac{{\mathrm{\&sigma;}}_v^2}{{|1+\underset{k=1}{\overset{p}{\mathrm{\&Sigma;}}}{a}_k{e}^{-\mathrm{iwk}}|}^2}$

式中，为白噪声序列的方差，a_k是AR模型系数，p为AR模型的阶数，i是虚数单位，w是频率，v(n)表示独立于过去样本的误差项，k是阶数的序数，k＝1,2，……，p；上述AR模型系数a_k、AR模型阶数p，定义于以下公式表示的AR模型：

$y\left(n\right)=-\underset{k=1}{\overset{p}{\mathrm{\&Sigma;}}}{a}_{k}y(n-k)+v\left(n\right)$

式中，y(n)为n时刻输出信号，v(n)表示独立于过去样本的误差项；

2.2.2)由谱密度S_y得到脑电信号中SSVEP信号的频谱，将SSVEP信号二倍频处峰值所对应的频率除以2得到SSVEP信号的刺激频率。

9.根据权利要求8所述的一种基于稳态视觉诱发电位的飞行控制方法，其特征在于：所述的AR模型阶数p采用以下方式计算得到：通过协方差的方法对AR模型系数a_k进行估计得到AR模型系数估计值，并且结合AIC准则确定得到AR模型阶数p。

10.根据权利要求5所述的一种基于稳态视觉诱发电位的飞行控制方法，其特征在于：所述的步骤3)飞行器控制模块未接收到分类结果的情况包括脑电信号采集停止的情况与无法采集到正确脑电信号的情况。