CN114460958A - 一种基于层级式架构的脑机融合飞行控制系统 - Google Patents

一种基于层级式架构的脑机融合飞行控制系统 Download PDF

Info

Publication number
CN114460958A
CN114460958A CN202111478262.5A CN202111478262A CN114460958A CN 114460958 A CN114460958 A CN 114460958A CN 202111478262 A CN202111478262 A CN 202111478262A CN 114460958 A CN114460958 A CN 114460958A
Authority
CN
China
Prior art keywords
electroencephalogram
control system
signal
flight
brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111478262.5A
Other languages
English (en)
Inventor
刘亚群
周俊宇
周杨
王索建
谭斌
蒋庆丰
王丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 14 Research Institute
Original Assignee
CETC 14 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 14 Research Institute filed Critical CETC 14 Research Institute
Priority to CN202111478262.5A priority Critical patent/CN114460958A/zh
Publication of CN114460958A publication Critical patent/CN114460958A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本申请公开了一种基于层级式架构的脑机融合飞行控制系统，该飞行控制系统中的脑电采集与分析系统包括主动电极、脑电帽、脑电信号采集盒，脑电帽内侧的主动电极连接于脑电信号采集盒，以采集脑电帽佩戴者不同脑区的生理电信号，脑电信号采集盒用于对采集到的生理电信号进行放大和预处理，脑电采集与分析系统通过HID接口将处理后的生理电信号发送至地面站控制系统；地面站控制系统通过数据传输设备连接于飞行平台，当判定注意力水平脑电信号的信号强度大于或等于阈值时，解析生理电信号并映射生成第一控制指令，通过数据传输设备将第一控制指令发送至飞行平台。通过本申请中的技术方案，解决现有脑电波无人机飞行器控制中存在的控制指令单一的问题。

Description

一种基于层级式架构的脑机融合飞行控制系统
技术领域
本申请涉及飞行器控制的技术领域，具体而言，涉及一种基于层级式架构的脑机融合飞行控制系统。
背景技术
脑机接口技术和飞行器控制技术的发展，如何利用脑电信号对飞行器进行控制的相关研究已经取得了较为丰硕的成果，但是对于构建实用、可靠的脑机融合智能飞行系统这一目标，仍然存在一些技术困难，缺乏有效的系统解决方案。
现有技术中的脑电波无人机飞行器控制方法通常只采用人脑专注度和眨眼强度这两种信号或它们的简单组合来产生飞行指令，对无人机飞行器实行单一的飞行控制，其中，所采集指令的有效性、实时性以及控制系统的完整性、闭环性无一不影响着无人机飞行器飞行的可靠性、安全性和实用性。
并且，由于现实中人脑的脑电波(Electroencephalogram，EEG)信号平稳度和持续性通常较差，脑波输出者(操控者)很难保证在较长一段时间内持续输出有效的EEG信号，导致脑电波无人机飞行器控制系统可能会长时间处于等待某类有效指令的状态，甚至存在因接收不到稳定有效EEG 信号而坠机的风险。
另外，目前的脑电波无人机飞行器控制系统通常为单向控制，而没有利用系统反馈为操控者提供有效的飞行数据和环境信息，导致人脑难以准确决策下一指令的执行。
发明内容
本申请的目的在于：解决现有脑电波无人机飞行器控制中存在的控制指令单一、可靠性差的问题，以多模态脑电信号为主要命令源，辅以面部表情、头部动作、控制面板控制无人机飞行器开展各种复杂动作连续飞行，借助无人机飞行器的自主智能实现避障，搭载传感器回传飞行数据和环境状态辅助用户决策的脑机控制系统，以层级式系统架构实现多模态脑机接口和飞行器自主智能的高效融合。
本申请的技术方案是：提供了一种基于层级式架构的脑机融合飞行控制系统，该飞行控制系统包括：脑电采集与分析系统、地面站控制系统、数据传输设备以及飞行平台；脑电采集与分析系统包括主动电极、脑电帽、脑电信号采集盒，主动电极安装于脑电帽的内侧，主动电极电连接于脑电信号采集盒，主动电极用于采集脑电帽佩戴者不同脑区的生理电信号，脑电信号采集盒用于对采集到的生理电信号进行放大和预处理，脑电采集与分析系统通过HID接口将处理后的生理电信号发送至地面站控制系统，其中，生理电信号至少包括注意力水平脑电信号、运动想象电位脑电信号、稳态视觉诱发电位脑电信号以及面部表情肌电信号；地面站控制系统通过数据传输设备连接于飞行平台，地面站控制系统用于当判定注意力水平脑电信号的信号强度大于或等于阈值时，解析生理电信号并映射生成第一控制指令，地面站控制系统还用于通过数据传输设备将第一控制指令发送至飞行平台，其中，第一控制指令用于控制飞行平台执行飞行动作。
上述任一项技术方案中，进一步地，飞行控制系统还包括：陀螺仪设备；陀螺仪设备设置于脑电帽上，陀螺仪设备用于采集脑电帽佩戴者的头部动作，并将头部动作发送至地面站控制系统；地面站控制系统还包括人机交互界面，地面站控制系统还用于当判定注意力水平脑电信号的信号强度小于阈值时，基于头部动作和人机交互界面接收到的操作指令，映射生成第二控制指令，地面站控制系统还用于通过数据传输设备将第二控制指令发送至飞行平台。
上述任一项技术方案中，进一步地，地面站控制系统还用于接收并显示飞行平台回传的飞行数据与视频信息。
上述任一项技术方案中，进一步地，飞行平台还包括导航传感器、距离传感器、云台相机以及环境传感器，其中，导航传感器和距离传感器用于采集并传导飞行平台的飞行数据，云台相机用于采集并传导飞行平台的视频信息，环境传感器用于采集并传导飞行平台的环境状态信息。
上述任一项技术方案中，进一步地，飞行控制系统还包括：手柄遥控器；手柄遥控器通过USB接口连接于地面站控制系统，手柄遥控器用于接收并回传飞行数据、视频信息以及环境状态信息。
上述任一项技术方案中，进一步地，数据传输设备包括两个相互匹配的数据收发装置，其中，第一数据收发装置通过USB接口与地面站控制系统相连，第二数据收发装置通过UART接口与飞行平台相连，第一数据收发装置与第二数据收发装置之间通过无线网络进行信号传输。
上述任一项技术方案中，进一步地，对采集到的生理电信号进行放大和预处理，具体包括：确定生理电信号中注意力水平脑电信号的时频特征差异解；根据时频特征差异解，计算脑电信号的β波和θ波的能量占比；根据能量占比，判断注意力水平脑电信号为注意力水平高信号或者注意力水平低信号。
上述任一项技术方案中，进一步地，对采集到的生理电信号进行放大和预处理，具体还包括：提取生理电信号中运动想象电位脑电信号的MIP 特征变化；基于多维能量差分的MIP解码算法，对MIP特征变化进行分类和提取；根据MIP特征变化的分类和提取结果，判断运动想象电位脑电信号为运动想象向左信号或者运动想象向右信号。
本申请的有益效果是：
本申请中的技术方案，通过利用脑电采集与分析系统中设置于脑电帽内不同区域的主动电极，采集佩戴者不同区域的生理电信号，至少包括注意力水平脑电信号、运动想象电位脑电信号、稳态视觉诱发电位脑电信号以及面部表情肌电信号，采集到了更丰富多维的脑电信号，增加了可利用的脑波信号源的种类，更容易满足多种复杂飞行动作的需求。
本申请中还通过放大和预处理，当判定所述注意力水平脑电信号的信号强度大于或等于阈值时，解析所述生理电信号并映射生成第一控制指令，实现基于多模态脑电信号对飞行平台开展各种复杂动作连续飞行控制，解决现有脑电波无人机飞行器控制中存在的控制指令单一、可靠性差的问题。
特别的，本申请在脑电信号采集时，采用的是多通道主动式电极，相对于传统电极，主动式电极可以将信号在采集时即进行处理，使其具有更高的信噪比，更高的输入阻抗和更高的共模抑制比，能够避免环境噪声的串扰、减小运动噪声，在采集信号过程中，操作者进行一定程度运动而不会造成运动噪声，能够满足室外飞行器控制过程中的微弱脑电信号的采集。
在本申请的优选实现方式中，加入了面部表情特征识别、头部动作检测、人机交互界面控制三种指令源，特别是引入了注意力水平脑电信号的信号强度的判断，通过利用人机交互界面控制，在实现脑电信号对飞行平台控制的同时，有效的避免了因有效指令少或因某类信号故障失效造成无人机飞行器处于等待状态。
本申请中通过对生理电信号的放大机预处理，并由地面站控制系统根据处理后的生理电信号生成控制指令，采用层级式的系统架构进行脑电信号解析、多信号源指令竞争、控制命令映射、飞行器运动规划、飞行数据和外界信息传导反馈等主要过程的处理，实现飞行器的脑机融合智能控制，层级式架构减少了系统的时间损耗，并具有良好的可扩展性，方便修改或增加新的功能，且易于维护，提升了系统的可靠性和实用性。
附图说明
本申请的上述和/或附加方面的优点在结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本申请的一个实施例的基于层级式架构的脑机融合飞行控制系统的示意框图；
图2是根据本申请的一个实施例的主动电极安装位置的示意图；
图3(a)是根据本申请的一个实施例的人脑专注状态下脑电信号的时频特征示意图；
图3(b)是根据本申请的一个实施例的人脑放松状态下脑电信号的时频特征示意图；
图4是根据本申请的一个实施例的人脑注意力放松时采集到的波形仿真图；
图5(a)是根据本申请的一个实施例的左手运动想象任务中MIP特征示意图；
图5(b)是根据本申请的一个实施例的右手运动想象任务中MIP特征示意图；
图6是根据本申请的一个实施例的4.6Hz频率刺激下稳态视觉诱发电位特征频率曲线；
图7(a)是根据本申请的一个实施例的面部表情为眨左眼时的时域信号响应曲线；
图7(b)是根据本申请的一个实施例的面部表情为眨右眼时的时域信号响应曲线；
图7(c)是根据本申请的一个实施例的面部表情为咬左肌时的时域信号响应曲线；
图7(d)是根据本申请的一个实施例的面部表情为咬右肌时的时域信号响应曲线；
图8(a)是根据本申请的一个实施例的面部表情为静默时的分类结果示意图；
图8(b)是根据本申请的一个实施例的面部表情为眨左眼时的分类结果示意图；
图8(c)是根据本申请的一个实施例的面部表情为眨右眼时的分类结果示意图；
图8(d)是根据本申请的一个实施例的面部表情为咬左肌时的分类结果示意图；
图8(e)是根据本申请的一个实施例的面部表情为咬右肌时的分类结果示意图；
图8(f)是根据本申请的一个实施例的面部表情为咬两边肌肉时的分类结果示意图；
图9是根据本申请的一个实施例的利用飞行控制系统操作飞行平台的示意流程图；
图10是根据本申请的一个实施例的指令映射配置界面的示意图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。
在下面的描述中，阐述了很多具体细节以便于充分理解本申请，但是，本申请还可以采用其他不同于在此描述的其他方式来实施，因此，本申请的保护范围并不受下面公开的具体实施例的限制。
如图1所示，本实施例提供了一种基于层级式架构的脑机融合飞行控制系统，该飞行控制系统包括：脑电采集与分析系统、地面站控制系统、数据传输设备以及飞行平台；脑电采集与分析系统包括主动电极、脑电帽、脑电信号采集盒，其中，主动电极为8通道主动电极。
具体的，主动电极固定安装于脑电帽的内侧，主动电极电连接于脑电信号采集盒，主动电极用于采集脑电帽佩戴者不同脑区的生理电信号。
如图2所示，将主动电极按照相应的区域，设置在脑电帽的对应孔位，紧贴头皮固定好，主动电极的安装位置可以采用国际10-20标准，其中，注意力水平相关的脑电信号采集通道选择Fp1、Fp2，运动想象电位相关的脑电信号采集通道选择C3、C4，稳态视觉诱发电位相关的脑电信号采集选择 P3、P4、O1、O2，Cz为参考电极，Fz为接地信号，面部表情相关的肌电信号选择Fp1、Fp2、F3、F4。
需要说明的是，若上述主动电极选用湿电极，则需涂抹脑电膏。
本实施例中，通过上述主动电极，对于微弱脑电信号的采集有助于获得信噪比更高，提升了脑电数据采集的有效性。
本实施例中，脑电信号采集盒用于对采集到的生理电信号进行放大和预处理，脑电采集与分析系统通过HID接口将处理后的生理电信号发送至地面站控制系统，其中，生理电信号至少包括注意力水平脑电信号、运动想象电位脑电信号、稳态视觉诱发电位脑电信号以及面部表情肌电信号。
本实施例中，注意力水平包括注意力水平高、注意力水平低2种状态，运动想象包括运动想象向左、运动想象向右2种状态，稳态视觉诱发采用单图形刺激形成4个频率特征信号，即4种指令状态，面部表情动作包括眨左眼、眨右眼、咬左脸肌、咬右脸肌4种状态。
具体的，当佩戴好脑电帽后，开启脑电信号采集盒，在地面站控制系统中用相关脑电测试软件观测脑电波信号，确保地面站控制系统能正常接收到各通道主动电极的脑电数据。
脑电测试软件用来粗略监测每个主动电极对应通道的实时信号峰值，此信号经脑电信号采集盒放大、滤波后传至脑电测试软件，可体现出脑电帽佩戴者的脑电波状态，具体过程不再赘述。
本实施例中，地面站控制系统通过数据传输设备连接于飞行平台，地面站控制系统用于当判定注意力水平脑电信号的信号强度大于或等于阈值时，解析生理电信号并映射生成第一控制指令，地面站控制系统还用于通过数据传输设备将第一控制指令发送至飞行平台，其中，第一控制指令用于控制飞行平台执行飞行动作。
具体的，地面站控制系统是一个综合飞行控制系统中各方面数据的平台，它一方面对脑电采集与分析系统送入的生理电信号进行处理转换，映射为第一控制命令并通过数据传输设备发送，另一方面接收并显示飞行平台回传的飞行数据与视频信息。
本实施例中，数据传输设备包括两个相互匹配的数据收发装置，其中，第一数据收发装置通过USB接口与地面站控制系统相连，第二数据收发装置通过UART接口与飞行平台相连，第一数据收发装置与第二数据收发装置之间通过无线网络进行信号传输。该数据传输设备被作为地面站控制系统与飞行平台间信息交互的中继。
本实施例首先采用多模态脑机接口，实现了多种人脑意图的同时解码，增加了可利用脑波信号的种类。因此，本实施例中还示出一种对采集到的生理电信号进行放大和预处理的方法，该方法具体包括：确定生理电信号中注意力水平脑电信号的时频特征差异解；根据时频特征差异解，计算脑电信号的β波和θ波的能量占比；根据能量占比，判断注意力水平脑电信号为注意力水平高信号或者注意力水平低信号，其中，注意力水平高信号的仿真图如图3(a)所示，注意力水平低信号的仿真图如图3(b)和图4 所示。
进一步的，对采集到的生理电信号进行放大和预处理的方法还包括：提取生理电信号中运动想象电位脑电信号的MIP特征变化；基于多维能量差分的MIP解码算法，对MIP特征变化进行分类和提取；根据MIP特征变化的分类和提取结果，判断运动想象电位脑电信号为运动想象向左信号或者运动想象向右信号，其中，运动想象向左信号如图5(a)所示，运动想象向右信号如图5(a)所示。
本实施例中，在对稳态视觉诱发电位脑电信号进行处理时，该稳态视觉诱发电位脑电信号的分类是通过利用固定频率调制的单色闪光刺激作用于人的双眼，使大脑枕部诱发出具有与视觉刺激频率相同的基频或其谐频的周期性脑电响应，表现为相应通道中响应幅度的提升，本实施例中选用 60Hz刷新频率的液晶显示器显示4个单图形刺激源，使用方波信号分别将其调制为4.6Hz、20Hz、8.6Hz和15Hz的闪烁频率对人言进行刺激，其中，在4.6Hz频率刺激下稳态视觉诱发电位特征频率曲线如图6所示。
如图7和图8所示，本实施例中，面部表情肌电信号的处理是利用人在做特定面部表情时肌电信号发生变化引起相应脑电通道中能量特征的变化，可以采用基于高斯核的多类别支持向量机进行监督学习、模式分类，得到不同面部表情的分类结果。
本实施例除利用脑电信号外，还加入了面部表情特征识别、头部动作检测、人机交互界面控制三种指令源，构建了层级式的飞行系统架构，对不同类型信号进行解析、指令竞争、命令映射，再辅以飞行平台的自主智能，实现安全飞行和避障，同时利用飞行平台上的摄像头、GPS等多传感信息的反馈，给人脑形成决策辅助，触发下一步的指令输出，从系统层面保证实现安全、可靠的脑机融合智能飞行。
本实施例中，飞行控制系统还包括：陀螺仪设备；陀螺仪设备设置于脑电帽上，陀螺仪设备用于采集脑电帽佩戴者的头部动作，并将经分析处理后的头部动作发送至地面站控制系统；其中，头部动作包括仰头、低头、左转头、右转头4种动作状态。
需要说明的是，本实施例中指令源可不限于单独使用上述涉及的生理电信号以及头部动作16种，还可以选用更多指令或它们的组合。
相应的，飞行平台飞行动作包括飞行平台的起飞、悬停、降落、左飞、右飞、前飞、后飞、上升、下降、左转、右转动作或者它们的组合。
具体的，该陀螺仪设备也可以作为一个独立设备，由脑电帽佩戴者佩戴，该陀螺仪设备与地面站控制系统之间可以是有线或者无线传输。为了方便脑电帽佩戴者自由移动，本实施例选择WiFi无线通讯。
本实施例中，为防止脑电帽佩戴者在无意识状态下产生的脑控指令对飞行平台飞行控制产生干扰，还加设了意识锁：只有当大脑处于专注状态，即注意力水平达到一定阈值时，上述飞行控制系统才能发出有效的脑控指令，即第一控制指令。
本实施例中，地面站控制系统还包括控制计算机和人机交互界面，人机交互界面由人机交互软件和相应的硬件装置实现。地面站控制系统还用于当判定注意力水平脑电信号的信号强度小于阈值时，基于头部动作和人机交互界面接收到的操作指令，映射生成第二控制指令，地面站控制系统还用于通过数据传输设备将第二控制指令发送至飞行平台。
进一步的，地面站控制系统还用于接收并显示飞行平台回传的飞行数据与视频信息。
进一步的，飞行平台还包括导航传感器、距离传感器、云台相机以及环境传感器，其中，导航传感器和距离传感器用于采集并传导飞行平台的飞行数据，云台相机用于采集并传导飞行平台的视频信息，环境传感器用于采集并传导飞行平台的环境状态信息。
进一步的，飞行控制系统还包括：手柄遥控器；手柄遥控器通过USB 接口连接于地面站控制系统，手柄遥控器承担着接收飞行平台的飞行数据、视频信息以及环境状态信息，并将这些信息回传给地面站控制系统的任务。
在上述实施例的基础上，如图9所示，待将上述系统设备配置连接好后，所有设备通电启动后，测试各系统之间的通讯，确保信号传输正常。
在利用本实施例中上述飞行控制系统对飞行平台进行控制时，操作人员作为脑电帽佩戴者，佩戴好脑电帽，登陆地面站控制系统的软件界面，开启数据接收，脑电信号采集盒开始采集不同的电极信号，即注意力水平脑电信号、运动想象电位脑电信号、稳态视觉诱发电位脑电信号以及面部表情动作引起的面部表情肌电信号，经脑电信号采集盒预处理后，将各通道数据实时传送给地面站控制系统，同时，陀螺仪设备将头部动作变化引起的陀螺仪姿态数据也发送给地面站控制系统。
地面站控制系统接收上述生理电信号、陀螺仪信号(头部动作)后进行解码分析，经特征提取、模式分类等算法形成不同的特征信息，并映射为控制飞行平台飞行的动作命令，包括生理电信号对应的第一控制指令以及第二控制指令，由数据传输设备发送给飞行平台。
该飞行平台通过数据传输设备接收到起飞命令后，控制飞行平台起飞，飞行平台飞到一定高度后将处于悬停状态，等待地面站控制系统发送下一控制信号，控制飞行平台飞行。
在飞行平台的飞行过程中，飞行平台上所搭载的各类传感器同步开始监控，一方面辅助飞行平台本身实现平稳飞行，另一方面将实时视频、环境数据、飞行参数回传到地面站控制系统进行显示，辅助脑电帽佩戴者做出下一步的指令决策，形成连续的人机协同控制。
本实施例中，地面站控制系统还具有用户管理功能，可在地面站控制系统进行新建用户、用户登录、用户注销、修改用户、删除用户、用户指令配置等操作，系统供所有授权的用户使用，并存储所有用户的登录信息及配置信息，新用户首次登陆时需新建账号，并根据自身习惯建立用户控制信号与飞控命令之间的关系，即指令映射配置，用户可结合实际情况搭配指令源，开启需要用的指令通道，分配信号模式构造联合控制，本实施例指令映射配置界面如图10所示。
以上结合附图详细说明了本申请的技术方案，本申请提出了一种基于层级式架构的脑机融合飞行控制系统，该飞行控制系统包括：脑电采集与分析系统、地面站控制系统、数据传输设备以及飞行平台；脑电采集与分析系统包括主动电极、脑电帽、脑电信号采集盒，主动电极安装于脑电帽的内侧，主动电极电连接于脑电信号采集盒，主动电极用于采集脑电帽佩戴者不同脑区的生理电信号，脑电信号采集盒用于对采集到的生理电信号进行放大和预处理，脑电采集与分析系统通过HID接口将处理后的生理电信号发送至地面站控制系统，其中，生理电信号至少包括注意力水平脑电信号、运动想象电位脑电信号、稳态视觉诱发电位脑电信号以及面部表情肌电信号；地面站控制系统通过数据传输设备连接于飞行平台，地面站控制系统用于当判定注意力水平脑电信号的信号强度大于或等于阈值时，解析生理电信号并映射生成第一控制指令，地面站控制系统还用于通过数据传输设备将第一控制指令发送至飞行平台，其中，第一控制指令用于控制飞行平台执行飞行动作。通过本申请中的技术方案，解决现有脑电波无人机飞行器控制中存在的控制指令单一的问题。
本申请中的步骤可根据实际需求进行顺序调整、合并和删减。
本申请装置中的单元可根据实际需求进行合并、划分和删减。
尽管参考附图详地公开了本申请，但应理解的是，这些描述仅仅是示例性的，并非用来限制本申请的应用。本申请的保护范围由附加权利要求限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

Claims (8)

1.一种基于层级式架构的脑机融合飞行控制系统，其特征在于，所述飞行控制系统包括：脑电采集与分析系统、地面站控制系统、数据传输设备以及飞行平台；
所述脑电采集与分析系统包括主动电极、脑电帽、脑电信号采集盒，所述主动电极安装于所述脑电帽的内侧，所述主动电极电连接于所述脑电信号采集盒，所述主动电极用于采集脑电帽佩戴者不同脑区的生理电信号，所述脑电信号采集盒用于对采集到的所述生理电信号进行放大和预处理，所述脑电采集与分析系统通过HID接口将处理后的生理电信号发送至所述地面站控制系统，
其中，所述生理电信号至少包括注意力水平脑电信号、运动想象电位脑电信号、稳态视觉诱发电位脑电信号以及面部表情肌电信号；
所述地面站控制系统通过所述数据传输设备连接于所述飞行平台，所述地面站控制系统用于当判定所述注意力水平脑电信号的信号强度大于或等于阈值时，解析所述生理电信号并映射生成第一控制指令，所述地面站控制系统还用于通过所述数据传输设备将所述第一控制指令发送至所述飞行平台，
其中，所述第一控制指令用于控制所述飞行平台执行飞行动作。
2.如权利要求1所述的基于层级式架构的脑机融合飞行控制系统，其特征在于，所述飞行控制系统还包括：陀螺仪设备；
所述陀螺仪设备设置于所述脑电帽上，所述陀螺仪设备用于采集所述脑电帽佩戴者的头部动作，并将所述头部动作发送至所述地面站控制系统；
所述地面站控制系统还包括人机交互界面，
所述地面站控制系统还用于当判定所述注意力水平脑电信号的信号强度小于所述阈值时，基于所述头部动作和所述人机交互界面接收到的操作指令，映射生成第二控制指令，所述地面站控制系统还用于通过所述数据传输设备将所述第二控制指令发送至所述飞行平台。
3.如权利要求2所述的基于层级式架构的脑机融合飞行控制系统，其特征在于，所述地面站控制系统还用于接收并显示所述飞行平台回传的飞行数据与视频信息。
4.如权利要求3所述的基于层级式架构的脑机融合飞行控制系统，其特征在于，所述飞行平台还包括导航传感器、距离传感器、云台相机以及环境传感器，其中，所述导航传感器和所述距离传感器用于采集并传导所述飞行平台的所述飞行数据，
所述云台相机用于采集并传导所述飞行平台的所述视频信息，
所述环境传感器用于采集并传导所述飞行平台的环境状态信息。
5.如权利要求4所述的基于层级式架构的脑机融合飞行控制系统，其特征在于，所述飞行控制系统还包括：手柄遥控器；
所述手柄遥控器通过USB接口连接于所述地面站控制系统，所述手柄遥控器用于接收并回传所述飞行数据、所述视频信息以及所述环境状态信息。
6.如权利要求1所述的基于层级式架构的脑机融合飞行控制系统，其特征在于，所述数据传输设备包括两个相互匹配的数据收发装置，其中，第一数据收发装置通过USB接口与所述地面站控制系统相连，第二数据收发装置通过UART接口与所述飞行平台相连，所述第一数据收发装置与所述第二数据收发装置之间通过无线网络进行信号传输。
7.如权利要求1所述的基于层级式架构的脑机融合飞行控制系统，其特征在于，对采集到的所述生理电信号进行放大和预处理，具体包括：
确定所述生理电信号中注意力水平脑电信号的时频特征差异解；
根据所述时频特征差异解，计算脑电信号的β波和θ波的能量占比；
根据所述能量占比，判断所述注意力水平脑电信号为注意力水平高信号或者注意力水平低信号。
8.如权利要求7所述的基于层级式架构的脑机融合飞行控制系统，其特征在于，对采集到的所述生理电信号进行放大和预处理，具体还包括：
提取所述生理电信号中运动想象电位脑电信号的MIP特征变化；
基于多维能量差分的MIP解码算法，对所述MIP特征变化进行分类和提取；
根据所述MIP特征变化的分类和提取结果，判断所述运动想象电位脑电信号为运动想象向左信号或者运动想象向右信号。
CN202111478262.5A 2021-12-06 2021-12-06 一种基于层级式架构的脑机融合飞行控制系统 Pending CN114460958A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111478262.5A CN114460958A (zh) 2021-12-06 2021-12-06 一种基于层级式架构的脑机融合飞行控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111478262.5A CN114460958A (zh) 2021-12-06 2021-12-06 一种基于层级式架构的脑机融合飞行控制系统

Publications (1)

Publication Number Publication Date
CN114460958A true CN114460958A (zh) 2022-05-10

Family

ID=81406350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111478262.5A Pending CN114460958A (zh) 2021-12-06 2021-12-06 一种基于层级式架构的脑机融合飞行控制系统

Country Status (1)

Country Link
CN (1) CN114460958A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117137498A (zh) * 2023-09-15 2023-12-01 北京理工大学 基于注意力定向和运动意图脑电的紧急状况检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104914994A (zh) * 2015-05-15 2015-09-16 中国计量学院 基于稳态视觉诱发电位的飞行器控制系统和飞行控制方法
CN105022486A (zh) * 2015-07-17 2015-11-04 西安交通大学 基于不同表情驱动的脑电信号辨识方法
CN106371451A (zh) * 2016-11-07 2017-02-01 东南大学 基于稳态视觉诱发电位的无人机操控方法及装置
CN107357311A (zh) * 2017-07-28 2017-11-17 南京航空航天大学 一种基于混合控制技术的无人机侦察系统
CN107458382A (zh) * 2017-08-22 2017-12-12 京东方科技集团股份有限公司 车辆控制装置、控制方法和平视显示装置
CN110515465A (zh) * 2019-08-29 2019-11-29 张洋 基于脑电波与姿态识别的控制方法和装置
CN111629653A (zh) * 2017-08-23 2020-09-04 神经股份有限公司 具有高速眼睛跟踪特征的大脑-计算机接口
CN111643077A (zh) * 2020-06-19 2020-09-11 北方工业大学 一种基于脑电数据的交通动态因素复杂度的辨识方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104914994A (zh) * 2015-05-15 2015-09-16 中国计量学院 基于稳态视觉诱发电位的飞行器控制系统和飞行控制方法
CN105022486A (zh) * 2015-07-17 2015-11-04 西安交通大学 基于不同表情驱动的脑电信号辨识方法
CN106371451A (zh) * 2016-11-07 2017-02-01 东南大学 基于稳态视觉诱发电位的无人机操控方法及装置
CN107357311A (zh) * 2017-07-28 2017-11-17 南京航空航天大学 一种基于混合控制技术的无人机侦察系统
CN107458382A (zh) * 2017-08-22 2017-12-12 京东方科技集团股份有限公司 车辆控制装置、控制方法和平视显示装置
CN111629653A (zh) * 2017-08-23 2020-09-04 神经股份有限公司 具有高速眼睛跟踪特征的大脑-计算机接口
CN110515465A (zh) * 2019-08-29 2019-11-29 张洋 基于脑电波与姿态识别的控制方法和装置
CN111643077A (zh) * 2020-06-19 2020-09-11 北方工业大学 一种基于脑电数据的交通动态因素复杂度的辨识方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117137498A (zh) * 2023-09-15 2023-12-01 北京理工大学 基于注意力定向和运动意图脑电的紧急状况检测方法

Similar Documents

Publication Publication Date Title
CN103699226B (zh) 一种基于多信息融合的三模态串行脑-机接口方法
CN101464728B (zh) 视觉运动相关神经信号为载体的人机交互方法
US11467662B1 (en) Identifying object of user focus with eye tracking and visually evoked potentials
CN112114670B (zh) 一种基于混合脑机接口的人机共驾系统及其控制方法
CN109471528A (zh) 一种用于脑-机接口系统的脑-机互适应系统
CN107595302B (zh) 一种利用脑电信号监测用户精神状态的装置及方法
EP3932303B1 (en) Method and system for detecting attention
Marin et al. Drone control based on mental commands and facial expressions
CN115407872B (zh) 一种智能人机协同系统测评方法、装置及存储介质
CN114460958A (zh) 一种基于层级式架构的脑机融合飞行控制系统
CN116360600A (zh) 一种基于稳态视觉诱发电位的空间定位系统
WO2024140417A1 (zh) 可穿戴扩展现实设备的人机交互采集方法、装置和系统
Ishizuka et al. High accuracy and short delay 1ch-SSVEP quadcopter-BMI using deep learning
Shi et al. Indoor space target searching based on EEG and EOG for UAV
Puwakpitiyage et al. A proposed web based real time brain computer interface (BCI) system for usability testing
CN109696745A (zh) 一种基于脑电波检测与控制的虚拟现实一体头盔
Wu et al. Intelligent command and control of uav based on brain computer and eye tracking combined technology
Huo et al. A BCI-based motion control system for heterogeneous robot swarm
Shashidhar et al. Smart Electric Wheelchair for disabled and paralyzed person using Attention Values on Arduino
CN113995411A (zh) 一种小型便携式多模态鉴赏评估系统及方法
CN112327915A (zh) 一种无人机的意念控制方法
Wolf et al. Brain-Computer Interface Based on Operator Blinks to Control the Drone
CN104997507A (zh) 三位一体帽式智能监测预警系统及其控制方法
Ha et al. A brain—computer interface-based meal—assist robot control system
Wang et al. EEG control method for fire extinguishing UAV based on improved subband filter bank

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination