CN110502103B - 基于脑机接口的脑控无人机系统及其控制方法 - Google Patents
基于脑机接口的脑控无人机系统及其控制方法 Download PDFInfo
- Publication number
- CN110502103B CN110502103B CN201910458225.4A CN201910458225A CN110502103B CN 110502103 B CN110502103 B CN 110502103B CN 201910458225 A CN201910458225 A CN 201910458225A CN 110502103 B CN110502103 B CN 110502103B
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- brain
- display device
- flight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 24
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 61
- 230000005540 biological transmission Effects 0.000 claims description 57
- 230000005611 electricity Effects 0.000 claims description 24
- 230000033001 locomotion Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 4
- 210000001652 frontal lobe Anatomy 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 210000003128 head Anatomy 0.000 description 5
- 239000000243 solution Substances 0.000 description 4
- 210000004761 scalp Anatomy 0.000 description 3
- 230000006378 damage Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000001152 parietal lobe Anatomy 0.000 description 2
- 230000002360 prefrontal effect Effects 0.000 description 2
- 241000283690 Bos taurus Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 239000002390 adhesive tape Substances 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 244000144992 flock Species 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Aviation & Aerospace Engineering (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Dermatology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及一种基于脑机接口的脑控无人机系统及控制方法，其包括脑电采集装置、无人机、主机、主控制装置、显示装置、电源装置，无人机的摄像头采集到视频和/或图像信息回传至主机并通过显示装置进行实时显示，操作人员根据显示装置所显示的内容进行控制，脑电采集装置采集相应的脑电信号，并将其转化为控制飞控指令，主机将所述飞控指令传输至无人机进行执行，根据无人机执行后的反馈判断是否完成预设任务，本发明解决了现有技术中无人机仅仅能够通过遥控或手机进行控制的问题，同时为无人机的控制提供了有效的补偿。
Description
技术领域
本发明涉及虚拟现实技术领域，更为具体地，涉及一种基于脑机接口的脑控无人机系统及控制方法。
背景技术
无人机是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞行器。无人机的用途十分广泛，并且成本低，效费比好。由于其无人员伤亡风险、生存能力强、机动性能好、使用方便，在现代战争中有极其重要的作用。无人机在民用领域更有广阔的前景。目前，无人机已经被用于农业，以帮助监测广阔的农田，分析土壤样本，甚至放牧牛、羊群等。随着技术的发展，无人机在军用领域和民用领域的应用会更加广泛，例如，利用无人机送货和无人机运输等。并且，无人机在搜索和救援任务中才刚刚开始使用，一架无人机在澳大利亚拯救了两名游泳者，而类似的“救生员无人机”也在新西兰被试用，这将有助于发现有危险的冲浪者，并通过漂浮设备来帮助他们。
无人机因使用性上的巨大潜力使之成为当下研究的热点之一，尤其当无人机搭载一些外部设备如摄像头、机械臂、各种操纵装置后，能够为人们带来很大帮助。但是，目前对于无人机的操控一般采用遥控器或手机等设备。但该种方式只适用于一般人群，一些残障人士很难实现对无人机的操控，并且这种方式缺少对飞行器控制的有效补偿器，不能充分发挥其主动性。而脑机接口技术的发展正好为此问题提供了有效的解决方案。
发明内容
针对现有技术中存在的问题，本发明的目的在于提出一种基于脑机接口的脑控无人机系统及其控制方法，其包括脑电采集装置、无人机、主机、主控制装置、显示装置、电源装置，无人机的摄像头采集到视频和/或图像信息通过回传至主机并通过显示装置进行实时显示，操作人员根据显示装置所显示的内容进行控制，脑电采集装置采集相应的脑电信号，并将其转化为控制飞控指令，主机将所述飞控指令传输至无人机进行执行，根据无人机执行后的反馈判断是否达到预定目标，本发明解决了现有技术中无人机仅仅能够通过遥控或手机进行控制的问题，同时为无人机的控制提供了有效的补偿；能够在军事以及民用各领域中得到广泛应用。
本发明的技术方案如下：
一种基于脑机接口的脑控无人机系统的控制方法，其具体步骤如下：
S1: 进行脑电信号采集之前对脑电采集装置进行校准：
对脑电采集装置的脑电采集层进行校准，预先选定地电极、至少一个数据采集电极和至少一个参考电极，所述参考电极的电位在使用过程中保持不变；各数据采集电极的阻抗位于第一参考阈值以下；
S2：显示装置实时显示无人机的回传视频和/或图像信息以及无人机的位置信息和飞行姿态信息：
将无人机采集到的实时数据回传至所述显示装置的内部屏上进行显示，所述实时数据包括无人机的摄像机所采集到的当前时刻Ti的视频和/或图像信息以及通过无人机地理信息系统所采集到的无人机当前时刻Ti的位置信息Di以及通过无人机飞控模块采集的无人机当前时刻Ti的飞行姿态信息；
S3:脑电信号采集：
操作者通过观察所述无人机的摄像机所采集到的当前时刻Ti的视频和/或图像，确定无人机的移动动作，同时通过脑电采集层的数据采集电极进行脑电信号采集；所述移动动作包括无人机的步进量和移动方向；
S4：脑电信号处理：
信号处理单元接收来自于脑电采集装置所采集的脑电信号，并对所采集到的脑电信号进行特征提取和分类，得到操作者的操作意图；
S5：将脑电信号转换成无人机的控制信号：
通过信号转换单元将所述操作者的操作意图转换为飞控指令；
S6：无人机根据S5中的控制信号进行动作：
无人机无线收发模块接收所述飞控指令，并通过无人机飞控模块控制无人机根据所述飞控指令进行动作；
S7:将脑控结果与理论结果进行对比，判断是否需要进行校准：
执行完S6中的飞控指令的同时采集无人机的时刻Ti+1的位置信息和飞行姿态信息，并将时刻Ti+1的位置信息和飞行姿态信息传回至主机，所述Ti+1时刻的位置信息和飞行姿态信息在所述显示装置进行显示；
主控制装置将根据S6中的飞控指令得到的Ti+1时刻无人机的理论位置D1与Ti+1时刻无人机的实际位置D2信息进行比较以及对Ti+1时刻的实际飞行姿态信息与根据飞控指令得到的理论飞行姿态信息进行比较，得到无人机对S6中飞控指令的执行结果，如果D1等于D2且实际飞行姿态信息与理论飞行姿态信息符合,则进入S8;若否则，回到S3；
S8:判断无人机是否完成预设的飞行任务：
若无人机未完成预设的飞行任务，则重复S3至S7,直至所述无人机完成预设的飞行任务，结束飞行任务；
若无人机完成预设的飞行任务，则结束飞行任务。
优选地，所述地电极置于前额叶区且位于中线上，所述参考电极设置在右耳乳突和/或左耳乳突。
优选地，所述显示装置的内部屏至少包括三部分，其分别为第一部分、第二部分和第三部分，所述主机控制所述无人机的摄像机所采集到的当前时刻Ti的视频和/或图像信息在所述显示装置的内部屏的第一部分上进行显示；所述无人机地理信息系统所采集到的无人机当前时刻Ti的地理信息，例如，位置信息在所述显示装置的内部屏的第二部分上进行显示；所述无人机飞控模块所采集到的当前时刻Ti 的飞行姿态信息在所述显示装置的内部屏的第三部分上进行显示。
优选地，无人机的摄像机所采集到的视频和/或图像信息通过第一频段下传给主机；无人机地理信息及姿态信息通过第二频段下传给主机。
优选地，无人机无线收发模块中的数传模块与主机的收发单元的数传模块通讯以传输飞控指令，所述飞控指令的数据传输方向由无主机至无人机，其传输频段为第二频段。
无人机无线收发模块中的数传模块与主机的收发单元的数传模块通讯以传输飞控指令，所述飞控指令的数据传输方向由主机至无人机，其传输频段为第二频段；
无人机无线收发模块中的数传模块与主机的收发单元的数传模块通讯以传输地理信息以及飞行姿态信息，所述地理信息以及飞行姿态信息的数据传输方向由无人机至主机，其传输频段为第二频段；
无线收发模块中的图传模块与主机的收发单元的图传模块通讯以传输视频和/或图像，所述视频和/或图像的数据传输方向由无人机至主机，其传输频段为第一频段。
优选地，各数传模块数据链故障时，转为自动飞行模式；无人机飞控模块搜索到的GPS卫星数量≤5时，进入失控保护模式，原地悬停，或以1米/秒速度原地降落。
优选地，所述数据采集电极的数量为15个，所述数据采集电极为15导主动电极，其具体位置为FC1, FC2, FC5, FC6, Cz, C1, C2, C3, C4, CP1, CP2, CP5, CP6, P3和P4，如图2所示，其中，F表示额叶区，P表示顶叶区,C表示偏中间，但不属于具体脑叶的区域，Cz表示冠状线矢状线交点。其中数字表示数据采集电极的位置，奇数表示该数据采集电极设置在左脑，偶数表示该数据采集电极设置右脑，数字越大离矢状线越远。
优选地，S1中各选定的数据采集电极的阻抗相同或不相同。
一种基于脑机接口的脑控无人机系统，其包括脑电采集装置、显示装置、电源装置、主控制装置、主机以及无人机；所述主控制装置设置在所述主机内，作为主机控制器，所述脑电采集装置将所采集到的脑电信号通过有线或者无线方式传输至主机；无人机与主机之间进行无线通讯，主机与脑电采集装置和显示装置进行有线或无线通讯。
优选地，根据本发明的基于脑机接口的脑控无人机系统，其中所述脑电采集装置与所述显示装置分别通过有线方式连接至主机，所述主控制装置分别与脑电采集装置、显示装置相连，所述脑电采集装置采集操作人员的脑电信号，并将无人机的各信息在显示装置上进行显示以供操作人员观察和判断；所述显示装置和所述脑电采集装置均与电源装置相连，通过电源装置持续对其进行供电。
并列地，根据本发明的基于脑机接口的脑控无人机系统，其中所述脑电采集装置与所述显示装置分别通过无线方式与主机进行通讯，所述脑电采集装置还包括脑电采集控制器，所述脑电采集控制器控制脑电采集、滤波、放大以及将处理后的数据发送至主机；所述主机还包括第一无线收发模块和第二无线收发模块，所述脑电采集装置上包括第三无线收发模块，所述显示装置连接第四无线收发模块，第一无线收发模块与第三无线收发模块之间进行脑电信号的传输；第二无线收发模块和第四无线收发模块负责传输无人机的图像和/或视频信息至显示装置；所述脑电采集控制器、所述显示装置和所述脑电采集装置均与电源装置相连，通过电源装置持续对其进行供电。
与现有技术相比，本发明优点如下：
本发明的基于脑机接口的脑控无人机系统及其控制方法，其包括脑电采集装置、无人机、主机、主控制装置、显示装置、电源装置，无人机的摄像头采集到视频和/或图像信息通过回传至主机并通过显示装置进行实时显示，操作人员根据显示装置所显示的内容进行控制，脑电采集装置采集相应的脑电信号，并将其转化为控制飞控指令，主机将所述飞控指令传输至无人机进行执行，根据无人机执行后的反馈判断是否达到预定目标，本发明解决了现有技术中无人机仅仅能够通过遥控或手机进行控制的问题，同时为无人机的控制提供了有效地补偿；能够在军事以及民用各领域中得到广泛应用。
附图说明
本发明上述和/或附加方面的优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明的实施例的基于脑机接口的脑控无人机系统的结构示意图框图。
图2是根据本发明的基于脑机接口的脑控无人机系统的控制方法的流程示意图。
图3是根据本发明的基于脑机接口的脑控无人机系统的脑电采集装置的数据采集电极、参考电极和地电极的布置示意图，其中GND为地电极，REF为参考电极。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
如图2所示，一种基于脑机接口的脑控无人机系统的控制方法，其具体包括如下步骤：
S1: 对脑电采集装置的脑电采集层进行校准：预先选定地电极、至少一个数据采集电极和至少一个参考电极，所述参考电极的电位在使用过程中保持不变；通过注入导管向各个选定的数据采集电极中注入导电膏，使各数据采集电极的阻抗位于第一参考阈值以下；
优选地，所述第一参考阈值的范围为小于20k欧，以便采集到第一预设信噪比的脑电信号；进一步地第一参考阈值的范围为小于5k欧，以便采集到第二预设信噪比的脑电信号。
优选地，所述地电极置于前额叶区且位于中线上，所述地电极用FPz进行表示，其中F表示前部，P表示额叶，FP代表前额叶，z表示中线，所述中线指大脑的矢状线，从鼻根起至枕骨隆突进行连线，所述中线的长度为L，所述鼻根为第一端，从第一端起0.1L处即为FPz；
优选地，所述参考电极设置在右耳乳突和/或左耳乳突。
优选地，所述数据采集电极为非侵入式电极，以便避免获取大脑活动信号的过程中对操作人员造成损害。所述数据采集电极设置有注入导管，以便根据需要将导电膏注入至所述选定的数据采集电极。
S2：将无人机采集到的实时数据回传至所述显示装置的内部屏上进行显示，所述实时数据包括无人机的摄像机所采集到的当前时刻Ti的视频和/或图像信息、通过无人机地理信息系统所采集到的无人机当前时刻Ti的地理信息，例如，位置信息Di、无人机的飞控模块，例如陀螺仪，所采集到当前时刻Ti的飞行姿态信息；
优选地，所述无人机地理信息系统包括无人机定位模块，例如，GPS、北斗等。
优选地，所述显示装置的内部屏至少包括三部分，其分别为第一部分、第二部分和第三部分，所述主机控制所述无人机的摄像机所采集到的当前时刻Ti的视频和/或图像信息在所述显示装置的内部屏的第一部分上进行显示；所述无人机地理信息系统所采集到的无人机当前时刻Ti的地理信息，例如，位置信息在所述显示装置的内部屏的第二部分上进行显示；所述无人机飞控模块所采集到的当前时刻Ti 的飞行姿态信息在所述显示装置的内部屏的第三部分上进行显示。
优选地，无人机无线收发模块包括数传模块和图传模块，所述无人机的摄像机所采集到的当前时刻Ti的视频和/或图像信息通过无人机无线收发模块中的图传模块与主机的收发单元的图传模块进行通讯，优选地，所述数据传输方向为由无人机至主机，其传输频段为第一频段，优选地，第一频段的范围为650MHz±10MHz；进一步第，所述第一频段的范围为650MHz±5MHz。
优选地，所述无人机地理信息系统所采集到的无人机当前时刻Ti的地理信息，例如，位置信息以及无人机飞控模块所采集到的当前时刻Ti 的飞行姿态信息通过无人机无线收发模块中的数传模块与主机的收发单元的数传模块进行通讯；优选地，所述数据传输方向由无人机至主机，其传输频段为第二频段；优选地，所述第二频段的范围为890MHz±10MHz；进一步地，所述第一频段的范围为890MHz±5MHz。
优选地，无人机的摄像机所采集到的视频和/或图像信息通过第一频段，例如650MHz，下传给主机；无人机地理信息及姿态信息通过第二频段，例如890MHz，下传给主机。
S3:操作者通过观察所述无人机的摄像机所采集到的当前时刻Ti的视频和/或图像信息，确定无人机的移动指令，之后进行相应的运动想象，同时通过脑电采集层的数据采集电极进行脑电信号采集；优选地，无人机移动指令与运动想象的映射关系如下：
无人机向前移动对应想象右手运动；无人机向后移动对应想象左手运动；无人机向左移动对应想象左肩运动；无人机向右移动对应想象右肩运动；无人机向上移动对应想象舌头运动；无人机向下移动对应想象双脚运动；所述移动指令包括无人机的移动方向，优选地，每个指令的步进量为1米。
优选地，所述脑电信号包括基于运动想象的自发电位。
优选地，所述非侵入式电极为贴片电极或盘状电极，测试时将其固定于头皮上采集；具体地，所述脑电采集层设置在弹性内衬上，即所述数据采集电极连接固定至脑电采集装置的弹性内衬。
优选地，所述弹性内衬的两侧设置能够进行相互扣合的固定带，所述固定带的长度能够根据操作人员头部的实际尺寸进行调节，以便在脑电采集装置，例如，电极帽，的型号与操作人员头型不匹配时，有效缩短数据采集电极与操作人员头皮之间的距离，避免影响脑电信号采集效果。
优选地，所述弹性内衬能够根据操作人员头部形状进行塑形，使脑电采集装置在信号采集过程过长时避免造成被试操作人员头部不适，例如，感到脑袋发涨、有刺痛感。
优选地，脑电采集装置的外壳为硬质外壳，所述硬质外壳通过弹性连接件与弹性内衬相连，所述硬质外壳的内表面或外表面设置有屏蔽层，以避免采集过程中周围设备对所采集的脑电信号形成干扰。
优选地，所述数据采集电极位于中央前回和中央后回上方的头皮上。
S4：所述信号处理单元接收来自于脑电采集装置所采集的脑电信号，并对所采集到的脑电信号进行特征提取和分类，得到操作者的操作意图；
S5：通过信号转换单元将所述操作者的操作意图转换为飞控指令。
S6：无人机无线收发模块接收所述飞控指令，并通过飞控模块控制无人机根据所述飞控指令进行动作，飞控指令通过无人机无线收发模块中的数传模块进行收发。
优选地，无人机无线收发模块中的数传模块与主机的收发单元的数传模块通讯以传输飞控指令，所述飞控指令的数据传输方向由无主机至无人机，其传输频段为第二频段；优选地，所述第二频段的范围为890MHz±10MHz；进一步第，所述第一频段的范围为890MHz±5MHz。
S7:无人机飞控模块执行完S6中的飞控指令后，采集无人机的当前时刻Ti+1的位置信息，并将所述当前时刻Ti+1的位置信息传回至所述主控制装置与地图进行匹配，在所述显示装置的内部屏的第二部分上进行显示；并且以及将当前时刻Ti+1 的飞行姿态信息在所述显示装置的内部屏的第三部分上进行显示。
优选地，内部屏的第二部分中所显示的Ti时刻和Ti+1时刻的无人机位置，即执行S6中的飞控指令前以及执行S6中的飞控指令后无人机的位置信息和飞行姿态信息分别在所述显示装置的内部屏上进行显示，以便直观地看到所述无人机对飞控指令的执行结果；
主控制装置将根据S6中的飞控指令得到的Ti+1时刻无人机的理论位置D1与Ti+1时刻无人机的实际位置D2信息，得到无人机对S6中飞控指令的执行结果，如果D1等于D2且实际飞行姿态信息等于按照飞控理论计算得到的飞行姿态信息,则进入S9;若D1≠D2或实际飞行姿态信息与按照飞控理论计算得到的飞行姿态信息不相等，则回到S3；
S8:重复S3至S8,直至所述无人机完成预设任务，例如，达到指定位置。
优选地，在上述控制流程中，各数传模块数据链故障时，转为自动飞行模式；无人机飞控模块搜索到的GPS卫星数量≤5时，进入失控保护模式，原地悬停，或以1米/秒速度原地降落。
优选地，所述数据采集电极的数量为15个，所述数据采集电极为15导主动电极，其具体位置为FC1, FC2, FC5, FC6, Cz, C1, C2, C3, C4, CP1, CP2, CP5, CP6, P3和P4，如图2所示，其中，F表示额叶区，P表示顶叶区,C表示偏中间，但不属于具体脑叶的区域，Cz表示冠状线矢状线交点。其中数字表示数据采集电极的位置，奇数表示该数据采集电极设置在左脑，偶数表示该数据采集电极设置右脑，数字越大离矢状线越远。
优选地，S1中各选定的数据采集电极的阻抗相同。
并列地，S1中各选定的数据采集电极的阻抗不相同。
优选地，本发明的基于脑机接口的脑控无人机控制方法通过根据本发明的基于脑机接口的脑控无人机系统实现。
根据本发明实施例的基于脑机接口的脑控无人机系统，如图1所示，其包括脑电采集装置1、显示装置2、电源装置、主控制装置3、主机4以及无人机5。所述主控制装置3设置在主机4内，作为主机控制器。所述脑电采集装置1将所采集到的脑电信号通过有线或者无线方式传输至主机4。
优选地，所述脑电采集装置与所述显示装置分别通过有线方式连接至主机，如图1所示，所述主控制装置3分别与脑电采集装置1、显示装置2相连，所述脑电采集装置1采集操作人员的脑电信号，并将无人机5的各信息在显示装置2上进行显示以供操作人员观察和判断。所述显示装置2和所述脑电采集装置1均与电源装置相连，通过电源装置持续对其进行供电。优选地，所述显示装置采用独立电源对其进行供电。
可替换地，所述脑电采集装置与所述显示装置分别通过无线方式与主机进行通讯，进一步地，所述脑电采集装置还包括脑电采集控制器，所述脑电采集控制器控制脑电采集、滤波、放大以及将处理后的数据发送至主机；所述主机还包括第一无线收发模块和第二无线收发模块，所述脑电采集设备上包括第三无线收发模块，所述显示装置连接第四无线收发模块，优选地，第一无线收发模块与第三无线收发模块之间进行脑电信号的传输，例如，2.4G和/或5G等。第二无线收发模块和第四无线收发模块负责传输无人机的图像和/或视频信息至显示装置；所述脑电采集控制器、所述显示装置和所述脑电采集装置均与电源装置相连，通过电源装置持续对其进行供电。
优选地，所述电源装置为电池，以便在电量耗尽时，及时进行更换；并列地，所述电源装置与太阳能板相连，以便在户外工作的同时，能能够进行充电。并列地，所述电源装置设置有充电接口，当电源装置电量耗尽时，能够外接电源对其进行充电。
所述脑电采集装置通过有线方式连接至主机，所述主机还包括信号处理单元和所述信号转换单元以及收发单元，所述主机通过信号处理单元43对来自于脑电采集装置的脑电信号单元进行处理，从所述脑电信号中提取操作者的操作意图，通过信号转换单元42将该操作意图转换为无人机的飞控指令，之后通过收发单元将所述飞控指令发送至无人机控制无人机进行动作。优选地，所述收发单元包括数传模块和图传模块，所述数传模块配置用于与无人机无线收发模块中的数传模块进行通讯，将无人机的位置信息和飞行姿态信息传输至主机；并且将所述飞控指令传输至无人机的飞控模块。所述图传模块配置用于与无人机无线收发模块中的图传模块进行通讯，将无人机的摄像机所采集到的视频和/或图像信息传输至主机。
可替换地，所述脑电采集装置通过无线方式与所述主机进行相互通讯时，所述脑电采集装置中还包括第三无线收发模块，所述第三无线收发模块与所述脑电采集控制器相连，并依靠所述电源装置供电；采用无线方式时，所述主机上还包括与所述第三无线收发模块进行匹配的第一无线收发模块以便进行脑电采集装置和所述主机之间的相互数据交换。
所述主控制装置分别与信号处理单元、信号转换单元和收发单元进行连接。
更进一步地，所述主机控制模块还与所述第一无线收发模块和第二无线收发模块进行连接。
所述无人机5包括无人机本体、摄像机51、无人机飞控模块、无人机地理信息系统和无人机无线收发模块。所述无人机地理信息系统包括无人机定位模块，所述无人机无线收发模块包括图传模块和数传模块；无人机无线收发模块接受来自于主机4的收发单元41，例如，无线收发模块，所发送的飞控指令，无人机控制模块依据该飞控指令控制无人机进行动作；所述摄像头51实时采集当前时刻的视频和/或图像信息且所述无人机地理信息系统采集无人机的位置信息且无人机飞控模块采集飞行姿态信息，并通过无人机无线收发模块传输至主机，主机，例如，主机4的主控制装置3，与显示装置2进行通讯，将所述实时采集到的视频和/或图像在显示装置的显示屏上进行显示，例如，主机通过主控制装置将所述位置信息和飞行姿态信息动态地显示至显示装置的内部屏。
无人机定位模块与无人机飞控模块相连，所述无人机定位模块采集当前无人机的位置信息，并将无人机的当前位置信息通过无人机无线收发模块回传至主机，主机通过主控制装置将所述位置信息和飞行姿态信息动态地显示至显示装置的内部屏，无人机操作者通过观察无人机的飞行行为，判定无人机是否完成飞行任务，实现闭环控制。
所述显示装置可转动地连接至所述脑电采集装置的外壳11。所述显示装置包括内部屏和外部屏，所述内部屏和所述外部屏形成双层结构，所述外部屏具有防紫外线层，所述内部屏作为显示屏，所述外部屏作为防护屏，所述内部屏和所述外部屏均设置有防雾层，其采用耐低温和耐高温材料制作而成。所述内部屏和所述外部屏的屏幕的边缘均设置有防护胶条，以避免屏幕损伤或这屏幕边缘过于锋利造成佩戴者受伤。
优选地，所述外部屏和内部屏的屏幕为柱面。结构，且所述内部屏和所述外部屏的屏幕的厚度从中央至两边逐渐减少，避免入眼光线在屏幕弯曲的位置产生视觉偏差，导致视内物体发生偏移，导致失真和物体变形，影响操作人员判断的准确性并且能够有效避免快速视觉疲劳。
所述内部屏包括至少三部分，其中内部屏的第一部分用于显示所述摄像机实时采集并回传的视频和/或图像，内部屏的第二部分用于显示无人机的位置信息，内部屏的第三部分用于显示飞行姿态信息。
优选地，所述位置信息和所述飞行姿态信息集合进行显示。
所述显示装置的转动范围依靠限位装置进行控制，优选地，限位装置包括第一限位装置和第二限位置装置，所述第一限位装置和第二限位装置分别连接至所述显示装置绕脑电采集装置转动的转轴，所述显示装置的连接部设置在第一限位装置和第二限位装置之间。
优选地，所述显示装置的停留位置通过显示装置固定装置进行调节。以便使显示装置能够适应不同的操作者的眼部高度。
所述脑电采集装置包括外壳和脑电采集层。
优选地，所述脑电采集装置还包括屏蔽层12，所述屏蔽层设置在所述脑电采集装置的外壳的内部或外部且所述屏蔽层设置在所述脑电采集装置的脑电采集层13的外部，以避免对正在采集的脑电信号造成干扰。
优选地，所述脑电采集控制器设置在脑电采集装置的后部且远离所述显示装置。
优选地，所述无人机还连接有存储模块，以便当无人机无线收发模块出现故障或者无法连网时，有效存储备份无人机的摄像机所采集到的信息以便无人机无线收发模块正常工作时，将这部分所采集到的信息重新进行发送。
优选地，根据本发明的基于脑机接口的脑控无人机系统还包括扬声器，扬声器配置用于播放相应的三维立体声。
优选地，根据本发明的基于脑机接口的脑控无人机系统还包括话筒7，所述话筒设置在所述壳体的下方。
优选地，根据本发明的基于脑机接口的脑控无人机系统，还包括耳罩6，所述耳罩连接至所述脑电采集装置的壳体的侧部，所述耳罩的外侧设置有音量调节旋钮和音量开关。
优选地，根据本发明的基于脑机接口的脑控无人机系统，还包括报警器。
优选地，所述报警器与主控制装置相连。
优选地，所述报警器为声、光、电、磁、振动报警器。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
在本发明的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连通”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连通，也可以通过中间媒介间接连通，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“至少三个”的含义是两个或两个以上。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于脑机接口的脑控无人机系统的控制方法，其特征在于，其具体步骤如下：
S1: 进行脑电信号采集之前对脑电采集装置进行校准：
对脑电采集装置的脑电采集层进行校准，预先选定地电极、至少一个数据采集电极和至少一个参考电极，所述参考电极的电位在使用过程中保持不变；各数据采集电极的阻抗位于第一参考阈值以下；
S2：显示装置实时显示无人机的回传视频和/或图像信息以及无人机的位置信息和飞行姿态信息：
将无人机采集到的实时数据回传至所述显示装置的内部屏上进行显示，所述实时数据包括无人机的摄像机所采集到的当前时刻Ti的视频和/或图像信息以及通过无人机地理信息系统所采集到的无人机当前时刻Ti的位置信息Di以及通过无人机飞控模块采集的无人机当前时刻Ti的飞行姿态信息；
S3:脑电信号采集：
操作者通过观察所述无人机的摄像机所采集到的当前时刻Ti的视频和/或图像，确定无人机的移动动作，同时通过脑电采集层的数据采集电极进行脑电信号采集；所述移动动作包括无人机的步进量和移动方向；
S4：脑电信号处理：
信号处理单元接收来自于脑电采集装置所采集的脑电信号，并对所采集到的脑电信号进行特征提取和分类，得到操作者的操作意图；
S5：将脑电信号转换成无人机的控制信号：
通过信号转换单元将所述操作者的操作意图转换为飞控指令；
S6：无人机根据S5中的控制信号进行动作：
无人机无线收发模块接收所述飞控指令，并通过无人机飞控模块控制无人机根据所述飞控指令进行动作；
S7:将脑控结果与理论结果进行对比：
执行完S6中的飞控指令的同时采集无人机的时刻Ti+1的位置信息和飞行姿态信息，并将时刻Ti+1的位置信息和飞行姿态信息传回至主机，所述Ti+1时刻的位置信息和飞行姿态信息在所述显示装置进行显示；
主控制装置将根据S6中的飞控指令得到的Ti+1时刻无人机的理论位置D1与Ti+1时刻无人机的实际位置D2信息进行比较以及对Ti+1时刻的实际飞行姿态信息与根据飞控指令得到的理论飞行姿态信息进行比较，得到无人机对S6中飞控指令的执行结果，如果D1等于D2且实际飞行姿态信息与理论飞行姿态信息符合,则进入S8;若否则，回到S3；
S8:判断无人机是否完成预设的飞行任务：
若无人机未完成预设的飞行任务，则重复S3至S7,直至所述无人机完成预设的飞行任务，结束飞行任务；
若无人机完成预设的飞行任务，则结束飞行任务。
2.如权利要求1所述的基于脑机接口的脑控无人机系统的控制方法，其特征在于，所述显示装置的内部屏至少包括三部分，其分别为第一部分、第二部分和第三部分，所述主机控制所述无人机的摄像机所采集到的当前时刻Ti的视频和/或图像信息在所述显示装置的内部屏的第一部分上进行显示；所述无人机地理信息系统所采集到的无人机当前时刻Ti的位置信息在所述显示装置的内部屏的第二部分上进行显示；所述无人机飞控模块所采集到的当前时刻Ti 的飞行姿态信息在所述显示装置的内部屏的第三部分上进行显示。
3.如权利要求2所述的基于脑机接口的脑控无人机系统的控制方法，其特征在于，无人机的摄像机所采集到的视频和/或图像信息通过第一频段下传给主机；无人机地理信息及姿态信息通过第二频段下传给主机。
4.如权利要求3所述的基于脑机接口的脑控无人机系统的控制方法，其特征在于，无人机无线收发模块中的数传模块与主机的收发单元的数传模块通讯以传输飞控指令，所述飞控指令的数据传输方向由主机至无人机，其传输频段为第二频段；
无人机无线收发模块中的数传模块与主机的收发单元的数传模块通讯以传输地理信息以及飞行姿态信息，所述地理信息以及飞行姿态信息的数据传输方向由无人机至主机，其传输频段为第二频段；
无线收发模块中的图传模块与主机的收发单元的图传模块通讯以传输视频和/或图像，所述视频和/或图像的数据传输方向由无人机至主机，其传输频段为第一频段。
5.如权利要求4所述的基于脑机接口的脑控无人机系统的控制方法，其特征在于，各数传模块数据链故障时，转为自动飞行模式；无人机飞控模块搜索到的GPS卫星数量≤5时，进入失控保护模式，原地悬停，或以1米/秒速度原地降落。
6.如权利要求5所述的基于脑机接口的脑控无人机系统的控制方法，其特征在于，所述数据采集电极的数量为15个，所述数据采集电极为15导主动电极，其具体位置为FC1, FC2,FC5, FC6, Cz, C1, C2, C3, C4, CP1, CP2, CP5, CP6, P3和P4，其中，F表示额叶区，P表示顶叶区,C表示偏中间，但不属于具体脑叶的区域，Cz表示冠状线矢状线交点；其中数字表示数据采集电极的位置，奇数表示该数据采集电极设置在左脑，偶数表示该数据采集电极设置右脑，数字越大离矢状线越远。
7.如权利要求1所述的基于脑机接口的脑控无人机系统的控制方法，其特征在于， S1中各选定的数据采集电极的阻抗相同或不相同。
8.一种基于权利要求7中所述方法的脑控无人机系统，其特征在于，其包括脑电采集装置、显示装置、电源装置、主控制装置、主机以及无人机；所述主控制装置设置在所述主机内，作为主机控制器，所述脑电采集装置将所采集到的脑电信号通过有线或者无线方式传输至主机；无人机与主机之间进行无线通讯，主机与脑电采集装置和显示装置进行有线或无线通讯。
9.如权利要求8所述的脑控无人机系统，其特征在于，所述脑电采集装置与所述显示装置分别通过有线方式连接至主机，所述主控制装置分别与脑电采集装置、显示装置相连，所述脑电采集装置采集操作人员的脑电信号，并将无人机的各信息在显示装置上进行显示以供操作人员观察和判断；所述显示装置和所述脑电采集装置均与电源装置相连，通过电源装置持续对其进行供电。
10.如权利要求8所述的脑控无人机系统，其特征在于，所述脑电采集装置与所述显示装置分别通过无线方式与主机进行通讯，所述脑电采集装置还包括脑电采集控制器，所述脑电采集控制器控制脑电采集、滤波、放大以及将处理后的数据发送至主机；所述主机还包括第一无线收发模块和第二无线收发模块，所述脑电采集装置上包括第三无线收发模块，所述显示装置连接第四无线收发模块，第一无线收发模块与第三无线收发模块之间进行脑电信号的传输；第二无线收发模块和第四无线收发模块负责传输无人机的图像和/或视频信息至显示装置；所述脑电采集控制器、所述显示装置和所述脑电采集装置均与电源装置相连，通过电源装置持续对其进行供电。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910458225.4A CN110502103B (zh) | 2019-05-29 | 2019-05-29 | 基于脑机接口的脑控无人机系统及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910458225.4A CN110502103B (zh) | 2019-05-29 | 2019-05-29 | 基于脑机接口的脑控无人机系统及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110502103A CN110502103A (zh) | 2019-11-26 |
| CN110502103B true CN110502103B (zh) | 2020-05-12 |
Family
ID=68585705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910458225.4A Active CN110502103B (zh) | 2019-05-29 | 2019-05-29 | 基于脑机接口的脑控无人机系统及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110502103B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11780445B2 (en) * | 2020-01-13 | 2023-10-10 | Ford Global Technologies, Llc | Vehicle computer command system with a brain machine interface |
| CN111653148B (zh) * | 2020-06-04 | 2022-02-01 | 中国人民解放军空军特色医学中心 | 一种飞行姿态模拟方法及装置 |
| CN113064493A (zh) * | 2021-04-25 | 2021-07-02 | 北京理工大学 | 一种基于脑电信号的无人机紧急状况检测方法与系统 |
| CN113778113B (zh) * | 2021-08-20 | 2024-03-26 | 北京科技大学 | 一种基于多模态生理信号的飞行员辅助驾驶方法及系统 |
| CN113741696A (zh) * | 2021-09-07 | 2021-12-03 | 中国人民解放军军事科学院军事医学研究院 | 一种基于led立体交互界面的脑控无人机系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106292705A (zh) * | 2016-09-14 | 2017-01-04 | 东南大学 | 基于蓝牙脑电耳机的多旋翼无人机意念遥操作系统及操作方法 |
| CN107357311A (zh) * | 2017-07-28 | 2017-11-17 | 南京航空航天大学 | 一种基于混合控制技术的无人机侦察系统 |
| CN109656260A (zh) * | 2018-12-03 | 2019-04-19 | 北京采立播科技有限公司 | 一种无人机地理信息数据采集系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018141409A1 (en) * | 2017-02-06 | 2018-08-09 | Telefonaktiebolaget Lm Ericsson (Publ) | Initiating a control operation in response to a head gesture |
| CN107065909A (zh) * | 2017-04-18 | 2017-08-18 | 南京邮电大学 | 一种基于bci的飞行器控制系统 |
| CN108733201A (zh) * | 2017-04-19 | 2018-11-02 | 辽宁科技大学 | 基于脑电与眼电的飞行器三维空间目标搜索系统和方法 |
| CN108113670A (zh) * | 2018-01-22 | 2018-06-05 | 江苏师范大学 | 一种多通道式诱发脑电波控制的无人机系统及控制方法 |
| CN108196566A (zh) * | 2018-03-16 | 2018-06-22 | 西安科技大学 | 一种小型无人机云脑控制系统及其方法 |
-
2019
- 2019-05-29 CN CN201910458225.4A patent/CN110502103B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106292705A (zh) * | 2016-09-14 | 2017-01-04 | 东南大学 | 基于蓝牙脑电耳机的多旋翼无人机意念遥操作系统及操作方法 |
| CN107357311A (zh) * | 2017-07-28 | 2017-11-17 | 南京航空航天大学 | 一种基于混合控制技术的无人机侦察系统 |
| CN109656260A (zh) * | 2018-12-03 | 2019-04-19 | 北京采立播科技有限公司 | 一种无人机地理信息数据采集系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110502103A (zh) | 2019-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110502103B (zh) | 基于脑机接口的脑控无人机系统及其控制方法 | |
| CN204904034U (zh) | 一种紧急医疗救助系统及其急救中心和急救无人机 | |
| CN107357311B (zh) | 一种基于混合控制技术的无人机侦察系统 | |
| US20140039277A1 (en) | Remote ultrasound assessment and intervention system | |
| CN105068486A (zh) | 一种无人机紧急医疗救助系统及方法 | |
| CN105915856A (zh) | 无人机电力巡线影像数据采集及处理系统 | |
| CN105334864A (zh) | 一种用于控制无人机的智能眼镜及控制方法 | |
| CN105292477B (zh) | 腕式便携伴飞自主监控无人机 | |
| JP2018121267A (ja) | 表示装置、及び、表示装置の制御方法 | |
| CN113232865B (zh) | 一种基于机器视觉的农用无人机喷药系统及方法 | |
| CN205121351U (zh) | 一种用于控制无人机的智能眼镜及系统 | |
| CN107963214A (zh) | 多旋翼无人机 | |
| KR20170114458A (ko) | 스테레오 카메라를 장착하여 가상현실 3d 영상으로 주변을 탐색하는 드론 및 이와 연동하는 복합 기능의 vr 장치 | |
| CN104656482A (zh) | 终端遥控装置 | |
| CN106412393A (zh) | 一种农用双目多光谱相机 | |
| CN108492569A (zh) | 一种基于无人机的交通追踪控制系统 | |
| CN207658067U (zh) | 一种植保无人机视觉辅助瞄准系统 | |
| CN106973261A (zh) | 以第三方视角观察无人机的设备、系统和方法 | |
| WO2017084158A1 (zh) | 摄像设备指向方位控制装置 | |
| CN113848992A (zh) | 一种基于无人机和武装打击机器人的目标检测定位与自动射击系统 | |
| CN207689918U (zh) | 一种基于无人机的红火蚁蚁巢监测系统 | |
| CN211506261U (zh) | 一种蜂群作战无人机集群 | |
| CN108734919A (zh) | 一种公安作战指挥系统和方法 | |
| CN112911932B (zh) | 行驶路径生成装置、行驶路径生成方法和计算机可读取记录介质以及无人机 | |
| CN107784841A (zh) | 基于飞行器的交通监测系统及监测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |