CN112364977A - 一种基于脑机接口的运动想象信号的无人机控制方法 - Google Patents

一种基于脑机接口的运动想象信号的无人机控制方法 Download PDF

Info

Publication number
CN112364977A
CN112364977A CN202011186649.9A CN202011186649A CN112364977A CN 112364977 A CN112364977 A CN 112364977A CN 202011186649 A CN202011186649 A CN 202011186649A CN 112364977 A CN112364977 A CN 112364977A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
motor imagery
output
hidden layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011186649.9A
Other languages
English (en)
Inventor
刘宇迪
尚怡帆
刘孟怡
张爔文
张道强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202011186649.9A priority Critical patent/CN112364977A/zh
Publication of CN112364977A publication Critical patent/CN112364977A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于脑机接口的运动想象信号的无人机控制方法，包括以下步骤：(1)受试者在屏幕前根据实验范式进行对应的运动想象，对受试者的脑电信号进行采集，且进行预处理；(2)训练BP神经网络模型；(3)使用训练完毕的BP网络模型对测试数据进行识别和分类；(4)使用应用训练好的BP神经网络对经过预处理后的数据进行测试及分类，之后将分类结果转化成无人机控制信号控制无人机飞行。本发明与传统的运动想象分类算法相比，将提取特征部分与分类部分合二为一，简化了整个流程，提高了算法的识别效率和对无人机的控制效率，且降低了对无人机控制过程中的错误率。

Description

一种基于脑机接口的运动想象信号的无人机控制方法
技术领域
本发明属于脑机接口技术领域，具体涉及一种基于脑机接口的运动想象信号的无人机控制方法。
背景技术
脑机接口(Brain-Computer Interface，BCI)是一种直接通过外部设备与大脑建立连接通路的新型人机接口方式，包含三个部分：脑电信号采集，信号处理与分析，外部设备控制。BCI分为非植入式与植入式，其中非植入式通过外部设备采集大脑皮层的信号，此过程不会对人体造成任何伤害，而且具有操作简便和低成本等特点。因此在医疗领域、人工智能领域和军事等领域都有巨大的应用前景，逐渐成为科学界的研究热点。
根据目前研究表明，人在进行肢体运动想象时，会使大脑皮层EEG对应区域并改变EEG频带能量，其中大脑皮层相应的区域的μ节律(8-12Hz)和β节律(18-23Hz)振幅会发生改变，因此可以通过对EEG的分析来进行分类。目前，研究多采用共空间模式(Common SpatialPattern,CSP)提取运动想象特征。
BCI-无人机控制的基本过程为：利用脑电采集装置Neuracle从大脑皮层提取信号并转化为数字信号，之后经过信号分析与分类模块进行预处理、特征提取和特征分类等操作，最后将得到的分类结果输入到无人机，从而控制它的飞行。
目前存在几类应用较广的分类识别算法：LDA分类器、SVM分类器、贝叶斯分类器、人工神经网络和聚类分类器。但是目前并没有一种分类算法可以将提取特征部分与分类部分合二为一，提取特征部分和分类部分都是分开的，所以导致分类识别算法的效率比较低，导致对无人机的控制效率低，且错误率高。
为此，我们提出一种使用脑电信号控制无人机的方法，用于实现多类别运动想象脑电信号的分类并应用于无人机飞行控制。
发明内容
发明目的：本发明提出的一种基于脑机接口的运动想象信号的无人机控制方法，与传统的运动想象分类算法相比，将提取特征部分与分类部分合二为一，简化了整个流程，提高了算法的识别效率和对无人机的控制效率，且降低了对无人机控制过程中的错误率。
技术方案：本发明所述的一种基于脑机接口的运动想象信号的无人机控制方法，包括以下步骤：
(1)受试者在屏幕前根据实验范式进行对应的运动想象，对受试者的脑电信号进行采集，且进行预处理；
(2)构建的BP神经网络模型并进行训练；
(3)使用训练完毕的BP网络模型对测试数据进行识别并得到分类结果；
(4)使用应用训练好的BP神经网络对经过预处理后的数据进行测试及分类，之后将分类结果转化成无人机控制信号控制无人机飞行。
进一步地，所述步骤(1)包括以下步骤：
(11)受试者佩戴安装有8个电极的脑电帽，利用电极膏将电极帽上的电极与头皮进行接触；进行阻抗测试，且对阻抗过高的电极进行调整，开始记录数据；
(12)受试者根据实验范式进行对应的运动想象，实验共进行100轮，每轮中屏幕依次出现左手、右手、左脚和右脚的图片，图片出现过程中受试者进行相应部位的运动想象，时长4.5s，两次图片中间提供3s休息时间，按顺序进行，得到400个样本数据；
(13)受试者实验时产生的脑电信号数据经过EEGLAB工具箱依次进行通道定位、重参考、通道选择、带通滤波、去除基线、手动去除伪迹、ICA去除伪迹、眼电去除以及剔除噪声成分除杂处理步骤。
进一步地，所述步骤(2)包括以下步骤：
(21)网络初始化，根据系统输入输出序列(X,Y)确定网络输入层节点数n、隐含层节点数l，输出层节点数m，初始化输入层、隐含层和输出层神经元之间的连接权值ωij，ωjk，初始化隐含层阈值a，输出层阈值b，给定学习速率和神经元激励函数；
(21)隐含层输出计算：根据输入变量X，输入层和隐含层连接权值ωij以及隐含层阈值a，计算隐含层输出H：
Figure BDA0002751621560000021
其中，l为隐含层节点数，f为隐含层激励函数，表达式为：
Figure BDA0002751621560000031
(23)输出层输出计算：根据隐含层输出H，连接权值ωjk和阈值b，计算BP神经网络预测输出O：
Figure BDA0002751621560000032
(24)误差计算：根据网络预测输出O和期望输出Y，计算网络预测误差e：
ek＝Yk-Ok，k＝1,2,...,m；
(25)权值更新，根据网络预测误差e更新网络连接权值ωij，ωjk：
Figure BDA0002751621560000033
ωjk＝ωjk+ηHjek，j＝1,2,...,l；k＝1,2,...,m
其中，η为学习速率；
(26)阈值更新，根据网络预测误差e更新网络节点阈值a，b：
Figure BDA0002751621560000034
bk＝bk+ek，k＝1,2,...,m；
(27)判断算法迭代是否结束，若没有结束，返回(22)，若结束，BP神经网络模型训练完毕。
进一步地，所述分类结果分别对应无人机的四个动作的信号，分别为左手-起飞，右手-降落，左脚-向前飞行，右脚-向后飞行。
进一步地，所述步骤(5)实现过程为：无人机控制程序用python进行编写，分类结果得到的相应控制信号利用IEEE802.11和TCP/IP传输协议传输至无人机，随后利用python的socket模块进行接收和发送信息，并对信息进行处理，以做到对无人机状态的记录和控制。
有益效果：与现有技术相比，本发明的有益效果：1、本发明与传统的运动想象分类算法相比，将提取特征部分与分类部分合二为一，简化了整个流程，提高了算法的识别效率和对无人机的控制效率，且降低了对无人机控制过程中的错误率；2、本发明有利于促进运动想象的脑机接口技术在虚拟现实领域的应用；3、本发明可通过进一步的研究，得到更加完善的分类算法，且可以产生很好的社会效益与经济效益。
附图说明
图1为本发明的流程图。
具体实施方式
以下将结合附图，对本发明的技术方案进行详细说明。
本发明提供一种基于脑机接口的运动想象信号的无人机控制方法，如图1所示，具体包括以下步骤：
步骤1：受试者在屏幕前根据实验范式进行对应的运动想象，对受试者的脑电信号进行采集，且进行预处理。
脑电信号的采集包括采集准备、采集过程和数据预处理。
采集准备：受试者佩戴安装有8个电极的脑电帽，利用电极膏将电极帽上的电极与头皮进行接触；进行阻抗测试，且对阻抗过高的电极进行调整，开始记录数据。其中电极膏也可以用导电胶代替。
采集过程包括受试者根据实验范式进行对应的运动想象，实验共进行100轮，每轮中屏幕依次出现左手、右手、左脚和右脚的图片，图片出现过程中受试者进行相应部位的运动想象，时长4.5s，两次图片中间提供3s休息时间，按顺序进行，得到400个样本数据。
数据预处理包括受试者实验时产生的脑电信号数据经过EEGLAB工具箱依次进行通道定位、重参考、通道选择、带通滤波、去除基线、手动去除伪迹、ICA去除伪迹、眼电去除以及剔除噪声成分除杂处理步骤。
步骤2：构建BP神经网络模型，并对其进行训练。
S21、网络初始化，根据系统输入输出序列(X,Y)确定网络输入层节点数n、隐含层节点数l，输出层节点数m，初始化输入层、隐含层和输出层神经元之间的连接权值ωij，ωjk，初始化隐含层阈值a，输出层阈值b，给定学习速率和神经元激励函数。
S22、隐含层输出计算，根据输入变量X，输入层和隐含层连接权值ωij以及隐含层阈值a，计算隐含层输出H：
Figure BDA0002751621560000051
式中，l为隐含层节点数；f为隐含层激励函数，该函数有多种表达式，此处所选函数为：
Figure BDA0002751621560000052
S23、输出层输出计算，根据隐含层输出H，连接权值ωjk和阈值b，计算BP神经网络预测输出O：
Figure BDA0002751621560000053
S24、误差计算，根据网络预测输出O和期望输出Y，计算网络预测误差e：
ek＝Yk-Ok，k＝1,2,...,m；
S25、权值更新，根据网络预测误差e更新网络连接权值ωij，ωjk：
Figure BDA0002751621560000054
ωjk＝ωjk+ηHjek，j＝1,2,...,l；k＝1,2,...,m
式中，η为学习速率。
S26、阈值更新，根据网络预测误差e更新网络节点阈值a，b：
Figure BDA0002751621560000055
bk＝bk+ek，k＝1,2,...,m。
S27、判断算法迭代是否结束，若没有结束，返回S22，若结束，BP神经网络模型训练完毕。
步骤3：使用训练完毕的BP网络模型对测试数据进行识别和分类。
更具体地，所述分类结果可分别对应无人机的四个动作的信号，左手-起飞，右手-降落，左脚-向前飞行，右脚-向后飞行，当同一信息采集者在此采集数据时，可直接对其想象进行飞行信号转化，控制无人机的飞行。
步骤4：使用应用训练好的BP神经网络对经过预处理后的数据进行测试及分类，之后将分类结果转化成无人机控制信号控制无人机飞行。
更具体地，无人机型号为大疆Tello益智编程无人机，通过对无人机自带的可控制编程模块进行修改，实现分类结果相对应的控制信号对无人机的精确控制。
无人机控制程序用python进行编写，分类结果得到的相应控制信号利用IEEE802.11和TCP/IP传输协议传输至无人机，随后利用python的socket模块进行接收和发送信息，并对信息进行处理，以做到对无人机状态的记录和控制。
本发明的工作原理及使用流程：本发明首先将对受试者的脑电信号进行采集，然后通过使用训练完毕的BP网络模型对测试数据进行识别和分类，之后将分类结果转化成无人机控制信号控制无人机飞行，将提取特征部分与分类部分合二为一，简化了整个流程，提高了算法的识别效率和对无人机的控制效率，且降低了对无人机控制过程中的错误率。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于脑机接口的运动想象信号的无人机控制方法，其特征在于，包括以下步骤：
(1)受试者在屏幕前根据实验范式进行对应的运动想象，对受试者的脑电信号进行采集，且进行预处理；
(2)构建的BP神经网络模型并进行训练；
(3)使用训练完毕的BP网络模型对测试数据进行识别并得到分类结果；
(4)使用应用训练好的BP神经网络对经过预处理后的数据进行测试及分类，之后将分类结果转化成无人机控制信号控制无人机飞行。
2.根据权利要求1所述的基于脑机接口的运动想象信号的无人机控制方法，其特征在于，所述步骤(1)包括以下步骤：
(11)受试者佩戴安装有8个电极的脑电帽，利用电极膏将电极帽上的电极与头皮进行接触；进行阻抗测试，且对阻抗过高的电极进行调整，开始记录数据；
(12)受试者根据实验范式进行对应的运动想象，实验共进行100轮，每轮中屏幕依次出现左手、右手、左脚和右脚的图片，图片出现过程中受试者进行相应部位的运动想象，时长4.5s，两次图片中间提供3s休息时间，按顺序进行，得到400个样本数据；
(13)受试者实验时产生的脑电信号数据经过EEGLAB工具箱依次进行通道定位、重参考、通道选择、带通滤波、去除基线、手动去除伪迹、ICA去除伪迹、眼电去除以及剔除噪声成分除杂处理步骤。
3.根据权利要求1所述的基于脑机接口的运动想象信号的无人机控制方法，其特征在于，所述步骤(2)包括以下步骤：
(21)网络初始化，根据系统输入输出序列(X,Y)确定网络输入层节点数n、隐含层节点数l，输出层节点数m，初始化输入层、隐含层和输出层神经元之间的连接权值ωij，ωjk，初始化隐含层阈值a，输出层阈值b，给定学习速率和神经元激励函数；
(21)隐含层输出计算：根据输入变量X，输入层和隐含层连接权值ωij以及隐含层阈值a，计算隐含层输出H：
Figure RE-FDA0002904641240000021
其中，l为隐含层节点数，f为隐含层激励函数，表达式为：
Figure RE-FDA0002904641240000022
(23)输出层输出计算：根据隐含层输出H，连接权值ωjk和阈值b，计算BP神经网络预测输出O：
Figure RE-FDA0002904641240000023
(24)误差计算：根据网络预测输出O和期望输出Y，计算网络预测误差e：
ek＝Yk-Ok，k＝1,2,...,m；
(25)权值更新，根据网络预测误差e更新网络连接权值ωij，ωjk：
Figure RE-FDA0002904641240000024
ωjk＝ωjk+ηHjek，j＝1,2,...,l；k＝1,2,...,m
其中，η为学习速率；
(26)阈值更新，根据网络预测误差e更新网络节点阈值a，b：
Figure RE-FDA0002904641240000025
bk＝bk+ek，k＝1,2,...,m；
(27)判断算法迭代是否结束，若没有结束，返回(22)，若结束，BP神经网络模型训练完毕。
4.根据权利要求1所述的基于脑机接口的运动想象信号的无人机控制方法，其特征在于，所述分类结果分别对应无人机的四个动作的信号，分别为左手-起飞，右手-降落，左脚-向前飞行，右脚-向后飞行。
5.根据权利要求1所述的一种基于脑机接口的运动想象信号的无人机控制方法，其特征在于，所述步骤(5)实现过程为：无人机控制程序用python进行编写，分类结果得到的相应控制信号利用IEEE802.11和TCP/IP传输协议传输至无人机，随后利用python的socket模块进行接收和发送信息，并对信息进行处理，以做到对无人机状态的记录和控制。
CN202011186649.9A 2020-10-30 2020-10-30 一种基于脑机接口的运动想象信号的无人机控制方法 Pending CN112364977A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011186649.9A CN112364977A (zh) 2020-10-30 2020-10-30 一种基于脑机接口的运动想象信号的无人机控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011186649.9A CN112364977A (zh) 2020-10-30 2020-10-30 一种基于脑机接口的运动想象信号的无人机控制方法

Publications (1)

Publication Number Publication Date
CN112364977A true CN112364977A (zh) 2021-02-12

Family

ID=74513081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011186649.9A Pending CN112364977A (zh) 2020-10-30 2020-10-30 一种基于脑机接口的运动想象信号的无人机控制方法

Country Status (1)

Country Link
CN (1) CN112364977A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113064493A (zh) * 2021-04-25 2021-07-02 北京理工大学 一种基于脑电信号的无人机紧急状况检测方法与系统
CN116483210A (zh) * 2023-06-25 2023-07-25 安徽大学 一种基于深度学习和滑模控制的脑控无人机方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844755A (zh) * 2017-10-23 2018-03-27 重庆邮电大学 一种结合dae和cnn的脑电信号特征提取与分类方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844755A (zh) * 2017-10-23 2018-03-27 重庆邮电大学 一种结合dae和cnn的脑电信号特征提取与分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张泰略 等: "基于脑-肌电信号的新型假肢控制模式的实验研究", 医疗卫生装备, vol. 41, no. 7, pages 36 - 40 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113064493A (zh) * 2021-04-25 2021-07-02 北京理工大学 一种基于脑电信号的无人机紧急状况检测方法与系统
CN116483210A (zh) * 2023-06-25 2023-07-25 安徽大学 一种基于深度学习和滑模控制的脑控无人机方法及系统
CN116483210B (zh) * 2023-06-25 2023-09-08 安徽大学 一种基于深度学习和滑模控制的脑控无人机方法及系统

Similar Documents

Publication Publication Date Title
US20220054071A1 (en) Motor imagery electroencephalogram signal processing method, device, and storage medium
CN108446020B (zh) 融合可视图与深度学习的运动想象意念控制方法及应用
CN101711709B (zh) 利用眼电和脑电信息的电动假手控制方法
CN106959753B (zh) 基于运动想象脑-机接口的无人机虚拟控制方法及系统
CN112932502B (zh) 结合互信息通道选择与混合神经网络的脑电情感识别方法
CN111544855B (zh) 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用
CN112364977A (zh) 一种基于脑机接口的运动想象信号的无人机控制方法
CN111584029B (zh) 基于判别式对抗网络的脑电自适应模型及在康复中的应用
CN110175510B (zh) 基于脑功能网络特征的多模式运动想象识别方法
CN111967506A (zh) 一种人工蜂群优化bp神经网络的脑电信号分类方法
CN111584031B (zh) 基于便携式脑电采集设备的脑控智能肢体康复系统及应用
Wickramaratne et al. A deep learning based ternary task classification system using gramian angular summation field in fNIRS neuroimaging data
CN113128552A (zh) 一种基于深度可分离因果图卷积网络的脑电情绪识别方法
CN113951900A (zh) 一种基于多模态信号的运动想象意图识别方法
Giudice et al. 1D Convolutional Neural Network approach to classify voluntary eye blinks in EEG signals for BCI applications
Geng et al. A fusion algorithm for EEG signal processing based on motor imagery brain-computer interface
CN113408397B (zh) 领域自适应的跨受试者运动想象脑电信号识别系统及方法
Vijayendra et al. A performance study of 14-channel and 5-channel EEG systems for real-time control of unmanned aerial vehicles (UAVs)
Liu et al. Identification of anisomerous motor imagery EEG signals based on complex algorithms
Ghonchi et al. Spatio-temporal deep learning for EEG-fNIRS brain computer interface
CN113935380A (zh) 一种基于模板匹配的自适应运动想象脑机接口方法与系统
CN109144277B (zh) 一种基于机器学习实现脑控智能小车的构建方法
Rodriguez-Bermudez et al. Testing Brain—Computer Interfaces with Airplane Pilots under New Motor Imagery Tasks
CN108388345B (zh) 基于小波多分辨率复杂网络的脑电极优化方法及其应用
CN113662561B (zh) 子带级联共空间模式的脑电特征提取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination