CN106371451A

CN106371451A - 基于稳态视觉诱发电位的无人机操控方法及装置

Info

Publication number: CN106371451A
Application number: CN201610972772.0A
Authority: CN
Inventors: 葛盛; 孙高鹏; 刘慧�
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2016-11-07
Filing date: 2016-11-07
Publication date: 2017-02-01

Abstract

本发明公开了一种基于稳态视觉诱发电位（Steady State Visual Evoked Potential，SSVEP）的无人机操控方法，属于认知神经科学、信息技术和自动控制相交叉的技术领域。该方法将无人机的操控指令抽象为一组稳态视觉诱发电位诱发画面同时显示在视觉刺激单元上，通过对操控者注视该视觉刺激单元所产生的脑电信号进行处理从而识别出操控者所注视的稳态视觉诱发电位诱发画面，并将该稳态视觉诱发电位诱发画面所对应的操控指令发送给无人机执行。本发明还公开了一种基于稳态视觉诱发电位的无人机操控装置。相比现有技术，本发明可有效提高无人机的操控特性，降低操控难度。

Description

基于稳态视觉诱发电位的无人机操控方法及装置

技术领域

本发明涉及一种无人机操控方法，尤其涉及一种基于稳态视觉诱发电位（SteadyState Visual Evoked Potential，SSVEP）的无人机操控方法，属于认知神经科学、信息技术和自动控制相交叉的技术领域。

背景技术

现有的无人机操控系统通常采用遥控器实施操控。遥控器一般配备两个操控杆及多个功能按钮。其中，一个操控杆控制无人机在水平面内的前进，后退，左飞，右飞，另一个操控杆控制无人机在垂直面内的上升与下降，此外还有专门的按钮控制无人机进行顺时针或逆时针旋转。但这样遥控器操控需要操控人员将无人机所在的水平面和垂直面分别对应到对两个操控杆的操控，对无人机的某个飞行姿态需分解成对两个操控杆及功能按钮的分步操控，并需要由双手分别操作完成，无人机飞行姿态与操控过程之间存在着复杂的对应关系，操控人员需要经过大量训练才能熟练掌握操控技巧。

发明内容

本发明所要解决的技术问题在于克服现有技术不足，提供一种基于稳态视觉诱发电位的无人机操控方法及装置，以有效提高无人机的操控特性，降低操控难度。

本发明具体采用以下技术方案解决上述技术问题：

基于稳态视觉诱发电位的无人机操控方法，将无人机的操控指令抽象为一组稳态视觉诱发电位诱发画面同时显示在视觉刺激单元上，通过对操控者注视该视觉刺激单元所产生的脑电信号进行处理从而识别出操控者所注视的稳态视觉诱发电位诱发画面，并将该稳态视觉诱发电位诱发画面所对应的操控指令发送给无人机执行。

进一步地，所述视觉刺激单元的显示背景为实时采集的无人机视角视频，所述稳态视觉诱发电位诱发画面叠加于显示背景之上。

本发明可以采用常用的具有不同闪烁频率的稳态视觉诱发电位诱发画面，为了将相邻稳态视觉诱发电位诱发画面所诱发的脑电信号的特征差异最大化以提高分类正确率，优选地，所述稳态视觉诱发电位诱发画面为一组具有不同闪烁频率和相位的图标。

优选地，对操控者注视该视觉刺激单元所产生的脑电信号进行处理时，使用典型相关分析方法对脑电信号进行特征提取及分类。

根据相同的发明思路还可以得到以下技术方案：

基于稳态视觉诱发电位的无人机操控装置，包括第一操控单元，所述第一操控单元包括：

视觉刺激单元，用于同时显示一组稳态视觉诱发电位诱发画面，所述一组稳态视觉诱发电位诱发画面是由无人机的操控指令抽象而来；

脑电信号处理单元，用于对操控者注视视觉刺激单元所产生的脑电信号进行处理从而识别出操控者所注视的稳态视觉诱发电位诱发画面，并将该稳态视觉诱发电位诱发画面所对应的操控指令发送给无人机执行。

进一步地，所述第一操控单元还包括视频采集单元，用于实时采集无人机视角视频，并将实时采集的无人机视角视频传输给视觉刺激单元作为视觉刺激单元显示所述稳态视觉诱发电位诱发画面时的显示背景。

优选地，所述脑电信号处理单元包括：

脑电采集模块，用于对操控者注视视觉刺激单元所产生的脑电信号进行采集；

SSVEP分类模块，用于对脑电采集模块所采集的脑电信号进行特征提取及分类，从而识别出操控者所注视的稳态视觉诱发电位诱发画面；

操控信号传输模块，用于将SSVEP分类模块所识别出的稳态视觉诱发电位诱发画面相对应的操控指令传输给无人机。

优选地，所述稳态视觉诱发电位诱发画面为一组具有不同闪烁频率和相位的图标。

优选地，所述一组具有不同闪烁频率和相位的图标包括：分别位于视觉刺激单元显示背景的上、下、左、右、左上、左下、右上、右下位置上的箭头图标，依次对应于无人机向前、后、左、右、左前、左后、右前、右后方向飞行的操控指令，以及，位于视觉刺激单元显示背景的正下方处的逆时针旋转、向上、向下、顺时针旋转的箭头图标，依次对应于无人机的逆时针旋转、向上飞行、向下飞行、顺时针旋转的操控指令。

为提升无人机操控系统的鲁棒性和适应性，进一步地，该装置还包括可与第一操控单元相互切换的第二操控单元，以及用于实现第一操控单元与第二操控单元相互切换的切换开关。

相比现有技术，本发明具有以下有益效果：

一、传统的无人机操控方法通过操控杆和按钮完成飞行操控，需要将操控指令分解到对水平面和垂直面的操作，并需要由双手分别操作完成，无人机位置及姿态坐标系与操控杆坐标系之间存在一个分解和转化的过程，对应关系复杂。本发明提出的操控方法，将操控指令由抽象为图标的稳态视觉诱发电位诱发画面表示，并进一步与无人机视角拍摄画面叠加显示，操控指令与无人机位置及姿态位于同一坐标系，操控更加直观简便，减少无操作的几率，提高了操控性。

二、传统的无人机操控方法通过操控杆和按钮完成飞行操控，需要将无人机的某个飞行姿态分解成对两个操控杆及功能按钮的分步操控，无人机飞行姿态与操控过程之间存在着复杂的对应关系，操控人员需要经过大量训练才能熟练掌握操控技巧。在操控过程中需要眼和手的协调以及双手之间的协调，操控人员的负担较重。本发明提出的操控方法，操控人员只需注视视频便可完成操控，无需手眼协调和双手协调，操控简单直接，无需训练便可掌握。操控人员的体力和脑力负担减轻，适合长时间操控。

三、传统的无人机操控方法，需要双手分别操作完成。本发明提出的操控方法，无需双手只需由目光注视即可完成操控，为伤残人士进行操控提供了可能。而对于健康操控人员，可以解放双手进行其它更加精密复杂的操控，为操控功能更加复杂的无人机提供可能。

附图说明

图1是SSVEP的时域信号及对应的频域信号；

图2是本发明无人机操控装置一个优选实施例的系统构成示意图；

图3是视觉刺激单元中无人机视角视频与SSVEP诱发画面叠加显示的一个实例；

图4是视觉刺激单元中SSVEP诱发画面的频率及相位的设定。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

针对现有无人机操控技术所存在的问题，本发明的解决思路是基于稳态视觉诱发电位进行无人机操控，具体为：将无人机的操控指令抽象为一组稳态视觉诱发电位诱发画面同时显示在视觉刺激单元上，通过对操控者注视该视觉刺激单元所产生的脑电信号进行处理从而识别出操控者所注视的稳态视觉诱发电位诱发画面，并将该稳态视觉诱发电位诱发画面所对应的操控指令发送给无人机执行。

为便于公众理解，在对本发明技术方案进行详细说明之前，先对本发明所涉及的相关技术进行介绍。

脑机接口（Brain-Computer Interface，BCI）是大脑与外部环境之间建立的一种信息交互和控制通道。利用这种通道，人们不需要通过语言或肢体动作，就可以进行大脑意识的表达或实现对外部设备的操控。现有的脑机接口范式主要包括基于慢皮层电位（SCP）,P300事件相关电位，运动想象事件相关电位（MI），视觉诱发电位（VEP）等几种诱发范式。

其中视觉诱发电位（Visual Evoked Potential，VEP）是当人的眼睛受到视觉刺激时，在大脑视觉皮层上方位置配置的脑电（EEG）信号会发生变化，这种脑电电位称之为视觉诱发电位。VEP 可分为三类：瞬时视觉诱发电位，伪随机码视觉诱发电位，以及稳态视觉诱发电位。

稳态视觉诱发电位SSVEP是目前BCI中最常用的诱发范式。当双眼观察一个固定频率闪烁的视觉刺激的时候，在大脑视觉皮层处获取的EEG信号中会产生一个与刺激频率相关的响应（其时域信号及对应的频域信号如图1所示），即在刺激频率的基频及倍频处具有较高的能量分布，这样的响应被称为稳态视觉诱发电位（以下简称为SSVEP信号）。一个典型的SSVEP诱发范式由多个不同频率闪烁的视觉刺激（SSVEP诱发画面）构成。当观察者注视不同的视觉刺激时，脑电（EEG）信号会呈现出相对应的频率分布特征。利用这种对应关系，可以根据EEG信号中呈现的频率分布特征来反推观察者所注视是何种视觉刺激。如果将不同视觉刺激与特定的意图相对应，观察者就可以通过注视特定的视觉刺激来实现特定意图的输出。相对于其它诱发范式（例如P300、运动想象）的BCI而言，SSVEP诱发范式的BCI通常具有更高的正确率和信息传输率，系统和实验设计更加简便，而且需要的训练次数也比较少，因此被广泛运用于BCI系统之中。

下面以一个优选实施例来对本发明技术方案进行详细说明。

如图2所示，本实施例中的无人机操控装置，包括第一操控单元，所述第一操控单元包括：视频采集单元、视觉刺激单元、脑电信号处理单元，其中，视频采集单元用于实时采集无人机视角视频，并将实时采集的无人机视角视频传输给视觉刺激单元作为视觉刺激单元显示SSVEP诱发画面时的显示背景；视觉刺激单元用于同时显示一组SSVEP诱发画面，所述一组SSVEP诱发画面是由无人机的操控指令抽象而来；脑电信号处理单元，用于对操控者注视视觉刺激单元所产生的脑电信号进行处理从而识别出操控者所注视的SSVEP诱发画面，并将该SSVEP诱发画面所对应的操控指令发送给无人机执行。

如图2所示，本实施例中的脑电信号处理单元包括：

SSVEP分类模块，用于对脑电采集模块所采集的脑电信号进行特征提取及分类，从而识别出操控者所注视的SSVEP诱发画面；

操控信号传输模块，用于将SSVEP分类模块所识别出的SSVEP诱发画面相对应的操控指令传输给无人机。

利用该装置对无人机进行操控的具体过程如下：

1）获取无人机视角视频：

视频采集单元配置于无人机之上，利用通用摄像机获取以无人机视角拍摄的视频信号。现有无人机通常都配备有机载视频设备，视频采集单元可直接利用这些已有的机载视频设备。采集的视频信号以WiFi无线传输或有线的方式实时传输至视觉刺激单元。

2）视觉刺激单元显示叠加刺激：

本实施例中的视觉刺激单元由通用显示器（可以是LCD显示器、LED显示器或CRT显示器等，优选采用LCD显示器）实现刺激画面显示，配置于操控人员正面，以方便操控人员观察。无人机视角拍摄的视频画面显示在显示器上作为背景画面。在此背景之上叠加显示用于诱发SSVEP诱发画面。本实施例中利用表示操控方向的箭头作为SSVEP诱发画面。如图3所示，在无人机视角拍摄的视频画面的背景画面的上、下、左、右、左上、左下、右上、右下方位上叠加显示表示向前、后、左、右、左前、左后、右前、右后飞行方向的箭头作为SSVEP诱发画面，上述箭头分别以特定的频率与相位闪烁显示。在无人机视角拍摄的视频画面的背景画面的正下方，显示表示逆时针旋转、向上、向下、顺时针旋转的箭头作为SSVEP诱发画面，上述箭头分别以特定的频率与相位闪烁显示。为了将相邻SSVEP诱发画面所诱发的EEG信号的特征差异最大化以提高分类正确率，本实施例中除了将不同的SSVEP诱发画面设置为不同的闪烁频率之外，还对不同的SSVEP诱发画面设置了不同相位，SSVEP诱发画面的频率+相位的设置如图4所示。这样的频率+相位的差异可以进一步区分相邻刺激SSVEP诱发画面所诱发的EEG信号特征，从而提高分类正确率。

3）操作人员选择操控指令：

操控人员注视视觉刺激单元的显示屏，观察无人机视角拍摄的视频了解无人机所处位置及姿态。对无人机可以进行以目前位置为中心的水平面内的向前、后、左、右、左前、左后、右前、右后、顺时针旋、转逆时针旋转飞行，以及在垂直面内的上、下飞行操控。根据操控需要，操控人员需持续注视对应的SSVEP诱发画面超过2秒钟时间。

4）SSVEP信号获取：

无人机操控人员注视视觉刺激单元的显示屏呈现的画面，通过佩戴在操控人员头部枕区的脑电采集模块采集由SSVEP诱发画面所诱发产生的SSVEP信号。本实施例中的脑电采集模块由EEG电极，头箍，无线传输装置构成。由于SSVEP信号是由大脑视觉区产生，因此在大脑视觉区的上方即头部枕区处配置EEG电极可以获取较好的信号，EEG电极配置于O1-Oz-O2周围以获取最佳信号。优选采用干式EEG电极以提高佩戴舒适性和便利性。将干式EEG电极固定于带松紧的头箍内侧，操控人员将头箍佩戴于头部实现EEG电极的佩戴。采集到的SSVEP信号经过无线传输装置传输至SSVEP分类模块。

5）SSVEP信号分类：

SSVEP分类模块安放于无人机遥控器内，利用无线方式（也可采用有线方式）接收来自脑电采集模块采集到的SSVEP信号，并对所接收的SSVEP信号进行特征提取及分类，从而识别出操控者所注视的SSVEP诱发画面。本发明可采用现有的各种SSVEP信号分类技术，例如最小绝对收缩与选择算子(least absolute shrinkage and selection operator,LASSO，Y. Zhang, J. Jin, X.Y. Qing, B. Wang, and X.Y. Wang, “LASSO basedstimulus frequency recognition model for SSVEP BCIs,” Biomed. Signal Proces.,vol. 7, no. 2, pp. 104–111, Feb. 2012)，偏最小二乘法（partial least squares,PLS, L.J. Trejo, R. Rosipal, and B. Matthews, “Brain-computer interfaces for1-D and 2-D cursor control: designs using volitional control of the EEGspectrum or steady-state visual evoked potentials,” IEEE Trans. Neural Syst.Rehabil. Eng., vol. 14, no. 2, pp. 225–229, Jun. 2006.）, 典型相关分析（canonical correlation analysis，CCA，Z.L. Lin, C.S. Zhang, W. Wu, and X.R.Gao, “Frequency recognition based on canonical correlation analysis forSSVEP-based BCIs,” IEEE Trans. Biomed. Eng., vol. 54, no. 6, pp. 1172–1176,Jun. 2007.）等。本实施例中采用典型相关分析（canonical correlation analysis，CCA）方法对SSVEP信号进行特征提取及分类，判断出操控人员所注视的SSVEP诱发画面的种类，并转换为对应的操控指令。当某个时间窗口内操控人员没有注视SSVEP诱发画面或是SSVEP信号质量不好导致CCA计算得到最大相关系数小于0.3时，则设定此时间窗口对应无操控指令。

6）操控信号传输：

操控信号传输模块安放于无人机遥控器内。在该模块中，存储着向前、后、左、右、左前、左后、右前、右后、逆时针旋转、向上、向下、顺时针旋转、悬停的操控参数。操控信号传输模块将SSVEP分类模块识别出的操控指令转化为模块中保存的相应操控参数，利用无线或有线信号传输方式实现对无人机的操控。其中，SSVEP分类模块判断为无操控指令时对应的操控为悬停。

为提升无人机操控系统的鲁棒性和适应性，本发明无人机遥控装置除了采用上述的第一操控单元，通过SSVEP信号实施操控之外，还可以保留传统的利用操控杆和按钮实施操控的操控单元或者增加其它的操控方式，多种操控方式之间由切换开关进行转换。

Claims

1.基于稳态视觉诱发电位的无人机操控方法，其特征在于，将无人机的操控指令抽象为一组稳态视觉诱发电位诱发画面同时显示在视觉刺激单元上，通过对操控者注视该视觉刺激单元所产生的脑电信号进行处理从而识别出操控者所注视的稳态视觉诱发电位诱发画面，并将该稳态视觉诱发电位诱发画面所对应的操控指令发送给无人机执行。

2.如权利要求1所述无人机操控方法，其特征在于，所述视觉刺激单元的显示背景为实时采集的无人机视角视频，所述稳态视觉诱发电位诱发画面叠加于显示背景之上。

3.如权利要求1所述无人机操控方法，其特征在于，所述稳态视觉诱发电位诱发画面为一组具有不同闪烁频率和相位的图标。

4.如权利要求1所述无人机操控方法，其特征在于，对操控者注视该视觉刺激单元所产生的脑电信号进行处理时，使用典型相关分析方法对脑电信号进行特征提取及分类。

5.基于稳态视觉诱发电位的无人机操控装置，包括第一操控单元，其特征在于，所述第一操控单元包括：

6.如权利要求5所述无人机操控装置，其特征在于，所述第一操控单元还包括视频采集单元，用于实时采集无人机视角视频，并将实时采集的无人机视角视频传输给视觉刺激单元作为视觉刺激单元显示所述稳态视觉诱发电位诱发画面时的显示背景。

7.如权利要求5所述无人机操控装置，其特征在于，所述脑电信号处理单元包括：

8.如权利要求5所述无人机操控装置，其特征在于，所述稳态视觉诱发电位诱发画面为一组具有不同闪烁频率和相位的图标。

9.如权利要求8所述无人机操控装置，其特征在于，所述一组具有不同闪烁频率和相位的图标包括：分别位于视觉刺激单元显示背景的上、下、左、右、左上、左下、右上、右下位置上的箭头图标，依次对应于无人机向前、后、左、右、左前、左后、右前、右后方向飞行的操控指令，以及，位于视觉刺激单元显示背景的正下方处的逆时针旋转、向上、向下、顺时针旋转的箭头图标，依次对应于无人机的逆时针旋转、向上飞行、向下飞行、顺时针旋转的操控指令。

10.如权利要求5～9任一项所述无人机操控装置，其特征在于，该装置还包括可与第一操控单元相互切换的第二操控单元，以及用于实现第一操控单元与第二操控单元相互切换的切换开关。