CN113126767A - 基于pynq和多模态脑机接口的飞行器控制系统及方法 - Google Patents
基于pynq和多模态脑机接口的飞行器控制系统及方法 Download PDFInfo
- Publication number
- CN113126767A CN113126767A CN202110447549.5A CN202110447549A CN113126767A CN 113126767 A CN113126767 A CN 113126767A CN 202110447549 A CN202110447549 A CN 202110447549A CN 113126767 A CN113126767 A CN 113126767A
- Authority
- CN
- China
- Prior art keywords
- module
- signal
- electroencephalogram
- signals
- control instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000004891 communication Methods 0.000 claims abstract description 45
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 230000004397 blinking Effects 0.000 claims description 36
- 230000000875 corresponding effect Effects 0.000 claims description 27
- 238000013527 convolutional neural network Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 14
- 230000033001 locomotion Effects 0.000 claims description 13
- 230000000193 eyeblink Effects 0.000 claims description 12
- 210000004556 brain Anatomy 0.000 claims description 11
- 230000003183 myoelectrical effect Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000003139 buffering effect Effects 0.000 claims description 3
- 210000003710 cerebral cortex Anatomy 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000007547 defect Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005611 electricity Effects 0.000 description 2
- 239000002390 adhesive tape Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Neurosurgery (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于PYNQ和多模态脑机接口的飞行器控制系统及方法，该系统包括：信号采集模块、处理模块、飞行器控制模块；信号采集模块包括脑电采集模块、眼电采集模块、通信模块；处理模块包括：信号预处理模块、信号解码模块、语音播报模块、无线通信模块；飞行器控制模块包括：指令生成模块、姿态传感器，通过采集用户的脑电和眼电信号，并对信号进行处理，进而能实时控制飞行器。本发明通过结合脑机接口技术和嵌入式平台，能改善传统脑机接口控制系统便携性差、功耗高、成本高、可移植性差的缺点，从而提高实用性。
Description
技术领域
本发明涉及脑机接口和FPGA领域，具体涉及基于PYNQ和多模态脑机接口的飞行器控制系统及方法。
背景技术
随着脑科学研究的深入，脑机接口技术具有能够直接在人脑与外部设备间建立连接的特性，脑机接口控制系统已逐渐成为学术界和产业界的关注焦点，应用于医疗、教育、娱乐领域的技术正不断完善。现有的基于脑机接口的控制系统数量较少，同时存在着以下缺陷：
1、现有的脑机接口控制系统实用性较差，系统以PC机或工作站作为计算节点，应用过程中存在设备复杂、功耗大、便携性差的缺点，导致难以面向市场；
2、现有的脑机接口控制系统控制状态较少，仅使用脑电信号，忽略了其他有意义的生物电信号，导致可使用控制状态数目少；
3、现有脑机接口控制系统实时性较差，对信号处理的速度滞后，无法做到实时处理，导致控制性较差，缺少使用体验。
发明内容
本发明为了改善现有脑机接口控制系统存在的不足，提供一种基于PYNQ和多模态脑机接口的飞行器控制系统及方法，以期通过结合脑机接口技术和FPGA嵌入式平台，使用户能通过眨眼和进行运动想象来控制无人机，从而提高脑机接口控制系统的便携性和实时性；同时具有语音播报功能，能播报信号分类结果，以提高交互体验。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于PYNQ和多模态脑机接口的飞行器控制系统的特点在于，包括：信号采集模块、处理模块、飞行器控制模块：
所述信号采集模块包括：脑电采集模块、眼电采集模块、通信模块；
所述处理模块集成在PYNQ系列FPGA上，包括：信号预处理模块、信号解码模块、语音播报模块、无线通信模块；
所述飞行器控制模块包括：指令生成模块、姿态传感器；
所述脑电采集模块用于采集大脑皮层感觉运动区域产生的原始脑电信号，并提供给通信模块；
所述眼电采集模块用于采集眨眼产生的原始肌电信号，并提供给通信模块；
所述通信模块将接收到的原始脑电信号和眨眼产生的原始肌电信号发送给处理模块；
所述信号预处理模块对所接收到的原始脑电信号和眨眼产生的原始肌电信号依次进行滤波处理、归一化处理和小波变换处理，从而得到预处理后的脑电信号和肌电信号；
所述信号解码模块包括：眨眼检测单元、脑电信号解码单元；
所述眨眼检测单元用于对预处理后的肌电信号进行眨眼情况的分类，包括：眨左眼、眨右眼、眨双眼和超时未眨眼的四种眨眼情况；
所述脑电信号解码单元包括：通用卷积神经网络加速IP、存储模块；且所述卷积层使用AXI4-Streaming接口；
所述通用卷积神经网络网络加速IP由Vivado HLS工具生成，并包括：卷积层、池化层、非线性激活层和全连接层；
所述卷积神经网络加速IP对预处理后的脑电信号进行运动想象脑电信号的分类，包括：想象左侧肢体运动的脑电信号、想象右侧肢体运动的脑电信号；
所述存储模块包括：DMA单元、DDR单元；
所述DMA单元用于提供数据缓冲；
DDR单元用于储存脑电信号和眨眼产生的肌电信号的分类结果；
所述语音播报模块通过串口与处理模块相连接，并根据信号解码模块得到的分类结果进行语音播报；
所述无线通信模块包括：USB WiFi、USB蓝牙；
所述USB WiFi用于建立信号采集模块和处理模块之间的通信，使处理模块能接收到来自信号采集模块发送的原始脑电信号和肌电信号；
所述USB蓝牙用于建立处理模块和飞行器控制模块之间的通信，使信号解码模块的分类结果能发送至飞行器控制模块中的指令生成模块；
所述指令生成模块用于将信号解码模块得到的分类结果转换为对应的飞行器控制指令，包括：眨双眼对应于起飞的控制指令、眨左眼对应于左转90度的控制指令、眨右眼对应于右转90度的控制指令、超时未眨眼对应于降落的控制指令、想象左对应于上升的控制指令、想象右对应于下降的控制指令，并将飞行器控制指令发送至姿态传感器；
所述姿态传感器根据飞行器控制指令控制飞行器的飞行姿态。
本发明一种基于PYNQ和多模态脑机接口的飞行器控制方法的特点在于是应用于由信号采集模块、处理模块、飞行器控制模块所组成的系统中；
所述信号采集模块包括：脑电采集模块、眼电采集模块、通信模块；
所述处理模块集成在PYNQ系列FPGA上，包括：信号预处理模块、信号解码模块、语音播报模块、无线通信模块；
所述脑电信号解码单元包括：通用卷积神经网络加速IP、存储模块；
所述飞行器控制模块包括：指令生成模块、姿态传感器；
所述信号解码模块包括：眨眼检测单元、脑电信号解码单元；
所述无线通信模块包括：USB WiFi、USB蓝牙；
所述飞行器控制方法包括以下步骤：
步骤1：处理模块上电，将语音播报模块和无线通信模块分别与处理模块连接；
步骤2：用户佩戴脑电采集模块、眼电采集模块，并分别用于获取原始脑电信号和眨眼产生的原始肌电信号；
步骤3：所述通信模块将原始脑电信号和原始肌电信号通过USB WiFi发送至处理模块；
步骤4、所述信号预处理模块对所接收到的原始脑电信号和原始肌电信号依次进行滤波处理、归一化处理和小波变换处理，从而得到预处理后的脑电信号和肌电信号；
步骤5：所述眨眼检测单元对预处理后的肌电信号进行眨眼情况的分类，包括：眨左眼、眨右眼、眨双眼和超时未眨眼四种眨眼情况；
所述脑电信号解码单元使用卷积神经网络加速IP对预处理后的脑电信号进行运动想象情况的分类，包括：想象左侧肢体运动和想象右侧肢体运动；
步骤6：所述处理模块通过串口通信的方式调用语音播报模块，用于对信号解码模块的分类结果进行播报，同时将分类结果通过USB蓝牙发送至指令生成模块；
步骤7：所述指令生成模块将分类结果转换为对应的飞行器控制指令，包括：眨双眼对应于起飞的控制指令、眨左眼对应于左转90度的控制指令、眨右眼对应于右转90度的控制指令、超时未眨眼对应于降落的控制指令、想象左对应于上升的控制指令、想象右对应于下降的控制指令，并将飞行器控制指令发送至姿态传感器；
步骤8：所述姿态传感器根据控制指令控制飞行器完成对应动作，并在执行完当前控制指令后等待下一条控制指令到来前，保持悬停状态。
与现有技术相比，本发明的有益效果体现在：
1、本发明结合嵌入式平台和脑机接口技术构建脑机接口控制系统，将原先的PC机替换为FPGA，使用户能随身携带，从而提高了系统的便携性，降低了功耗，具有较强的实用性；
2、本发明融合了脑电和眼电两种控制方式，拓展了基于单一生物信号控制系统的状态，通过组合眨眼情况和运动想象情况，从而能够控制无人机实现更多指令；
3、本发明使用卷积神经网络对运动想象脑电信号进行分类，并使用FPGA对卷积神经网络进行了硬件加速，从而能实时分类信号，提高用户的使用体验。
附图说明
图1为本发明系统结构示意图；
图2为10/20国际标准导联系统示意图；
图3为本发明电极放置位置示意图。
具体实施方式
本实施例中，一种基于PYNQ和多模态脑机接口的飞行器控制系统，具有便携性好，功耗低，实时性高，实用性强的特点，具体的说，如图1所示，包括：信号采集模块、处理模块、飞行器控制模块；
信号采集模块包括：脑电采集模块、眼电采集模块、通信模块；
信号采集模块主要用于采集用户的原始脑电信号和眨眼产生的肌电信号，并将电信号转换为数字信号，通过通信模块发送给处理模块，然后对信号进行进一步处理。
处理模块集成在FPGA上，包括：信号预处理模块、信号解码模块、语音播报模块、无线通信模块；
PYNQ集成了Arm处理器系统和FPGA可编程逻辑，Arm处理器系统使用PythonAPI来调用通信模块接收原始信号，并部署信号预处理模块对信号进行预处理。FPGA可编程逻辑用于实现卷积神经网络的硬件加速；
处理模块主要用于部署信号处理算法，对采集模块采集到的原始信号进行分类，识别出用户的眨眼情况和运动想象情况，并通过FPGA上的串口调用语音播报模块播报分类结果，再通过无线通信模块将结果发送至飞行器控制模块的指令生成模块。
飞行器控制模块包括：指令生成模块、姿态传感器；
飞行器控制模块主要用于接收算法的分类结果将其转换为控制指令，通过指令调用姿态传感器来控制飞行器的运动。
脑电采集模块用于采集大脑皮层感觉运动区域产生的原始脑电信号，并提供给通信模块；
眼电采集模块用于采集眨眼产生的原始肌电信号，并提供给通信模块；
通信模块将接收到的原始脑电信号和眨眼产生的原始肌电信号发送给处理模块；
信号预处理模块对所接收到的原始脑电信号和眨眼产生的原始肌电信号依次进行滤波处理、归一化处理和小波变换处理，从而得到预处理后的脑电信号和肌电信号；
滤波处理用于除去数据中包含的电源线噪声等各种噪声，滤波处理使用陷波滤波器去除50Hz的工频干扰，使用7-30Hz的带通滤波器提取出运动想象脑电信号关心的α节律(8-12Hz)和β波(12-30Hz)；归一化处理采用零-均值规范化方法，用于使数据样本值处于[0，1]之间；小波变换处理用于抑制信号噪声，小波变换处理将信号分解为不同的频率段，然后把信号的能量集中到特定频带的系数上，通过把非相关频带上分解的系数置零或赋较小权重，来抑制噪声。小波变换处理的基本函数如下：
其中，a、b均为常数，且a>0。ψa,b(t)是对基本函数ψ(t)做平移和伸缩后得到的函数。
信号解码模块包括：眨眼检测单元、脑电信号解码单元；
眨眼检测单元用于对预处理后的肌电信号进行眨眼情况的分类，包括：眨左眼、眨右眼、眨双眼和超时未眨眼的四种眨眼情况；眨眼检测单元基于阈值检测的方法，根据单次眨眼时电压信号波形峰值产生的明显变化，眨眼检测单元设定一个时间戳来记录眨眼起止时间点，设定阈值检测波形的峰值，当峰值超过阈值时即判定为一次眨眼，同时更新时间戳，重复上述步骤来达到在特定时间内检测眨眼的目的。
脑电信号解码单元包括：通用卷积神经网络加速IP、存储模块；且卷积层使用AXI4-Streaming接口；
通用卷积神经网络网络加速IP由Vivado HLS工具生成，并包括：卷积层、池化层、非线性激活层和全连接层；通用卷积神经网络加速IP由Vivado HLS的#pragma指令完成优化，优化方式包括：循环展开、数组拆分和流水线构建，所需的权重参数放置在双端口BRAM中；
通用卷积神经网络加速IP的卷积层应用公式如下：
其中，z(u,v)得到最后的卷积结果，xi,j是输入信号矩阵，ku-i,v-j是一系列卷积核。池化层选择平均池化方式，非线性激活层使用ReLu函数，全连接层在离线状态下等同于卷积层；
卷积神经网络加速IP对预处理后的脑电信号进行运动想象脑电信号的分类，包括：想象左侧肢体运动的脑电信号、想象右侧肢体运动的脑电信号；
存储模块包括：DMA单元、DDR单元；
DMA单元用于提供数据缓冲，便于平衡信号采集速率和信号处理速率；
DDR单元用于储存脑电信号和眨眼产生的肌电信号的分类结果；
语音播报模块通过串口与处理模块相连接，并根据信号解码模块得到的分类结果进行语音播报，串口选择PYNQ上的Arduino接口和Pmod接口，并通过将分类结果转换为高低电平编码组合，实现与串口的通信；
无线通信模块包括：USB WiFi、USB蓝牙；
USB WiFi用于建立信号采集模块和处理模块之间的通信，使处理模块能接收到来自信号采集模块发送的原始脑电信号和肌电信号；
USB蓝牙用于建立处理模块和飞行器控制模块之间的通信，使信号解码模块的分类结果能发送至飞行器控制模块中的指令生成模块；通过修改Arm处理器系统的Linux内核添加对USB蓝牙的驱动支持；
指令生成模块用于将信号解码模块得到的分类结果转换为对应的飞行器控制指令，包括：眨双眼对应于起飞的控制指令、眨左眼对应于左转90度的控制指令、眨右眼对应于右转90度的控制指令、超时未眨眼对应于降落的控制指令、想象左对应于上升的控制指令、想象右对应于下降的控制指令，并将飞行器控制指令发送至姿态传感器；
姿态传感器根据飞行器控制指令控制飞行器的飞行姿态。
本实施例中，一种基于PYNQ和多模态脑机接口的飞行器控制方法是按如下步骤进行：
步骤1：处理模块上电，将语音播报模块和无线通信模块分别与处理模块连接；
步骤2：用户佩戴脑电采集模块、眼电采集模块，并分别用于获取原始脑电信号和眨眼产生的原始肌电信号；脑电采集模块为包含电极的脑电帽，电极依据10/20国际标准导联系统设置，放置在C3、C4、CZ、FC3、FC4、FCZ位置，如图2和图3所示，其中C3和C4电极放置于人脑皮层的感觉运动区域，由该位置采集到的脑电信号包含着大脑进行运动想象时最有效的信息；眼电采集模块为盘状电极，分别放置于在用户左右眉尖，使用前需要涂抹导电膏以减少皮肤与电极间的接触阻抗，并使用医用胶布进行固定；
步骤3：通信模块将原始脑电信号和原始肌电信号通过USB WiFi发送至处理模块；
步骤4、信号预处理模块对所接收到的原始脑电信号和原始肌电信号依次进行滤波处理、归一化处理和小波变换处理，从而得到预处理后的脑电信号和肌电信号；
步骤5：眨眼检测单元对预处理后的肌电信号进行眨眼情况的分类，包括：眨左眼、眨右眼、眨双眼和超时未眨眼四种眨眼情况；
脑电信号解码单元使用卷积神经网络加速IP对预处理后的脑电信号进行运动想象情况的分类，包括：想象左侧肢体运动和想象右侧肢体运动；
步骤6：处理模块通过串口通信的方式调用语音播报模块，用于对信号解码模块的分类结果进行播报，同时将分类结果通过USB蓝牙发送至指令生成模块；
步骤7：指令生成模块将分类结果转换为对应的飞行器控制指令，包括：眨双眼对应于起飞的控制指令、眨左眼对应于左转90度的控制指令、眨右眼对应于右转90度的控制指令、超时未眨眼对应于降落的控制指令、想象左对应于上升的控制指令、想象右对应于下降的控制指令，并将飞行器控制指令发送至姿态传感器；
步骤8：姿态传感器根据控制指令控制飞行器完成对应动作，并在执行完当前控制指令后等待下一条控制指令到来前，保持悬停状态。
Claims (2)
1.一种基于PYNQ和多模态脑机接口的飞行器控制系统，其特征在于，包括：信号采集模块、处理模块、飞行器控制模块：
所述信号采集模块包括：脑电采集模块、眼电采集模块、通信模块；
所述处理模块集成在PYNQ系列FPGA上，包括：信号预处理模块、信号解码模块、语音播报模块、无线通信模块；
所述飞行器控制模块包括：指令生成模块、姿态传感器；
所述脑电采集模块用于采集大脑皮层感觉运动区域产生的原始脑电信号，并提供给通信模块；
所述眼电采集模块用于采集眨眼产生的原始肌电信号，并提供给通信模块；
所述通信模块将接收到的原始脑电信号和眨眼产生的原始肌电信号发送给处理模块；
所述信号预处理模块对所接收到的原始脑电信号和眨眼产生的原始肌电信号依次进行滤波处理、归一化处理和小波变换处理，从而得到预处理后的脑电信号和肌电信号；
所述信号解码模块包括：眨眼检测单元、脑电信号解码单元；
所述眨眼检测单元用于对预处理后的肌电信号进行眨眼情况的分类，包括：眨左眼、眨右眼、眨双眼和超时未眨眼的四种眨眼情况；
所述脑电信号解码单元包括：通用卷积神经网络加速IP、存储模块；且所述卷积层使用AXI4-Streaming接口；
所述通用卷积神经网络网络加速IP由Vivado HLS工具生成，并包括：卷积层、池化层、非线性激活层和全连接层；
所述卷积神经网络加速IP对预处理后的脑电信号进行运动想象脑电信号的分类，包括：想象左侧肢体运动的脑电信号、想象右侧肢体运动的脑电信号；
所述存储模块包括：DMA单元、DDR单元；
所述DMA单元用于提供数据缓冲；
DDR单元用于储存脑电信号和眨眼产生的肌电信号的分类结果；
所述语音播报模块通过串口与处理模块相连接，并根据信号解码模块得到的分类结果进行语音播报；
所述无线通信模块包括：USB WiFi、USB蓝牙；
所述USB WiFi用于建立信号采集模块和处理模块之间的通信，使处理模块能接收到来自信号采集模块发送的原始脑电信号和肌电信号；
所述USB蓝牙用于建立处理模块和飞行器控制模块之间的通信，使信号解码模块的分类结果能发送至飞行器控制模块中的指令生成模块；
所述指令生成模块用于将信号解码模块得到的分类结果转换为对应的飞行器控制指令，包括：眨双眼对应于起飞的控制指令、眨左眼对应于左转90度的控制指令、眨右眼对应于右转90度的控制指令、超时未眨眼对应于降落的控制指令、想象左对应于上升的控制指令、想象右对应于下降的控制指令，并将飞行器控制指令发送至姿态传感器；
所述姿态传感器根据飞行器控制指令控制飞行器的飞行姿态。
2.一种基于PYNQ和多模态脑机接口的飞行器控制方法，其特征在于是应用于由信号采集模块、处理模块、飞行器控制模块所组成的系统中；
所述信号采集模块包括：脑电采集模块、眼电采集模块、通信模块；
所述处理模块集成在PYNQ系列FPGA上，包括：信号预处理模块、信号解码模块、语音播报模块、无线通信模块；
所述脑电信号解码单元包括：通用卷积神经网络加速IP、存储模块；
所述飞行器控制模块包括：指令生成模块、姿态传感器；
所述信号解码模块包括：眨眼检测单元、脑电信号解码单元；
所述无线通信模块包括：USB WiFi、USB蓝牙；
所述飞行器控制方法包括以下步骤：
步骤1：处理模块上电，将语音播报模块和无线通信模块分别与处理模块连接；
步骤2：用户佩戴脑电采集模块、眼电采集模块，并分别用于获取原始脑电信号和眨眼产生的原始肌电信号；
步骤3：所述通信模块将原始脑电信号和原始肌电信号通过USB WiFi发送至处理模块；
步骤4、所述信号预处理模块对所接收到的原始脑电信号和原始肌电信号依次进行滤波处理、归一化处理和小波变换处理，从而得到预处理后的脑电信号和肌电信号；
步骤5：所述眨眼检测单元对预处理后的肌电信号进行眨眼情况的分类，包括：眨左眼、眨右眼、眨双眼和超时未眨眼四种眨眼情况；
所述脑电信号解码单元使用卷积神经网络加速IP对预处理后的脑电信号进行运动想象情况的分类，包括：想象左侧肢体运动和想象右侧肢体运动；
步骤6：所述处理模块通过串口通信的方式调用语音播报模块，用于对信号解码模块的分类结果进行播报，同时将分类结果通过USB蓝牙发送至指令生成模块；
步骤7：所述指令生成模块将分类结果转换为对应的飞行器控制指令，包括：眨双眼对应于起飞的控制指令、眨左眼对应于左转90度的控制指令、眨右眼对应于右转90度的控制指令、超时未眨眼对应于降落的控制指令、想象左对应于上升的控制指令、想象右对应于下降的控制指令，并将飞行器控制指令发送至姿态传感器；
步骤8：所述姿态传感器根据控制指令控制飞行器完成对应动作，并在执行完当前控制指令后等待下一条控制指令到来前，保持悬停状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110447549.5A CN113126767A (zh) | 2021-04-25 | 2021-04-25 | 基于pynq和多模态脑机接口的飞行器控制系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110447549.5A CN113126767A (zh) | 2021-04-25 | 2021-04-25 | 基于pynq和多模态脑机接口的飞行器控制系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113126767A true CN113126767A (zh) | 2021-07-16 |
Family
ID=76780088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110447549.5A Pending CN113126767A (zh) | 2021-04-25 | 2021-04-25 | 基于pynq和多模态脑机接口的飞行器控制系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113126767A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113867378A (zh) * | 2021-09-30 | 2021-12-31 | 江苏集萃脑机融合智能技术研究所有限公司 | 基于眼电的飞行器控制方法、控制系统及飞行装置 |
| CN114819120A (zh) * | 2022-02-25 | 2022-07-29 | 西安电子科技大学 | 一种基于pynq平台的神经网络通用加速处理方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106940593A (zh) * | 2017-02-20 | 2017-07-11 | 上海大学 | 基于VC++和Matlab混合编程的Emotiv脑控无人机系统及方法 |
| CN108415565A (zh) * | 2018-02-25 | 2018-08-17 | 西北工业大学 | 无人机脑机一体化智能控制方法与技术 |
| CN108762303A (zh) * | 2018-06-07 | 2018-11-06 | 重庆邮电大学 | 一种基于运动想象的便携式脑控无人机系统及控制方法 |
| CN110414401A (zh) * | 2019-07-22 | 2019-11-05 | 杭州电子科技大学 | 一种基于pynq的智能监控系统及监控方法 |
-
2021
- 2021-04-25 CN CN202110447549.5A patent/CN113126767A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106940593A (zh) * | 2017-02-20 | 2017-07-11 | 上海大学 | 基于VC++和Matlab混合编程的Emotiv脑控无人机系统及方法 |
| CN108415565A (zh) * | 2018-02-25 | 2018-08-17 | 西北工业大学 | 无人机脑机一体化智能控制方法与技术 |
| CN108762303A (zh) * | 2018-06-07 | 2018-11-06 | 重庆邮电大学 | 一种基于运动想象的便携式脑控无人机系统及控制方法 |
| CN110414401A (zh) * | 2019-07-22 | 2019-11-05 | 杭州电子科技大学 | 一种基于pynq的智能监控系统及监控方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113867378A (zh) * | 2021-09-30 | 2021-12-31 | 江苏集萃脑机融合智能技术研究所有限公司 | 基于眼电的飞行器控制方法、控制系统及飞行装置 |
| CN114819120A (zh) * | 2022-02-25 | 2022-07-29 | 西安电子科技大学 | 一种基于pynq平台的神经网络通用加速处理方法 |
| CN114819120B (zh) * | 2022-02-25 | 2024-07-12 | 西安电子科技大学 | 一种基于pynq平台的神经网络通用加速处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113126767A (zh) | 基于pynq和多模态脑机接口的飞行器控制系统及方法 | |
| CN106725433B (zh) | 一种心电监测方法及系统 | |
| Zgallai et al. | Deep learning AI application to an EEG driven BCI smart wheelchair | |
| CN104173124A (zh) | 一种基于生物信号的上肢康复系统 | |
| Wu et al. | Efficient implementation and design of a new single-channel electrooculography-based human–machine interface system | |
| CN109481164B (zh) | 一种基于脑电信号的电动轮椅控制系统 | |
| CN107510453B (zh) | 一种前额区脑电分析方法 | |
| CN110221684A (zh) | 装置控制方法、系统、电子装置及计算机可读存储介质 | |
| CN111513991A (zh) | 基于人工智能技术的新型主动式手部全指康复设备 | |
| Vijayendra et al. | A performance study of 14-channel and 5-channel EEG systems for real-time control of unmanned aerial vehicles (UAVs) | |
| CN114504730A (zh) | 基于深度学习的便携式脑控手部电刺激康复系统 | |
| CN113359991B (zh) | 一种面向残疾人的智能脑控机械臂辅助进食系统及方法 | |
| Zachariah et al. | Automatic EEG artifact removal by independent component analysis using critical EEG rhythms | |
| Ishizuka et al. | High accuracy and short delay 1ch-SSVEP quadcopter-BMI using deep learning | |
| Li et al. | Smart house control system controlled by brainwave | |
| Ravirahul et al. | Mind wave controlled assistive robot | |
| CN104714645B (zh) | 人机交互方法和人机交互设备 | |
| Hong et al. | Eeg-based brain wave controlled intelligent prosthetic arm | |
| Kobayashi et al. | High Accuracy Silent Speech BCI Using Compact Deep Learning Model for Edge Computing | |
| CN116756643A (zh) | 一种基于Fisher分数的脑电通道选择方法 | |
| CN113662561B (zh) | 子带级联共空间模式的脑电特征提取方法及装置 | |
| CN113208623A (zh) | 一种基于卷积神经网络的睡眠分期方法、系统 | |
| CN206792403U (zh) | 一种心电监测系统 | |
| Wolf et al. | Brain-Computer Interface Based on Operator Blinks to Control the Drone | |
| CN113070875A (zh) | 一种基于脑波识别的机械手控制方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210716 |