CN110658851A - 一种基于脑电信号的无人机航迹规划系统 - Google Patents
一种基于脑电信号的无人机航迹规划系统 Download PDFInfo
- Publication number
- CN110658851A CN110658851A CN201910797270.2A CN201910797270A CN110658851A CN 110658851 A CN110658851 A CN 110658851A CN 201910797270 A CN201910797270 A CN 201910797270A CN 110658851 A CN110658851 A CN 110658851A
- Authority
- CN
- China
- Prior art keywords
- brain
- unmanned aerial
- aerial vehicle
- electroencephalogram
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims abstract description 10
- 210000004556 brain Anatomy 0.000 claims description 63
- 238000000034 method Methods 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 28
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000000638 stimulation Effects 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000004424 eye movement Effects 0.000 claims description 4
- 230000003925 brain function Effects 0.000 claims description 3
- 230000001149 cognitive effect Effects 0.000 description 20
- 241000282414 Homo sapiens Species 0.000 description 16
- 238000012360 testing method Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 13
- 238000011160 research Methods 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 7
- 230000018109 developmental process Effects 0.000 description 7
- 230000019771 cognition Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 210000004761 scalp Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 210000005036 nerve Anatomy 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000003920 cognitive function Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000033764 rhythmic process Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000006931 brain damage Effects 0.000 description 1
- 231100000874 brain damage Toxicity 0.000 description 1
- 208000029028 brain injury Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000013401 experimental design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003924 mental process Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 210000002442 prefrontal cortex Anatomy 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Psychiatry (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Power Engineering (AREA)
- Psychology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于脑电信号的无人机航迹规划系统,包括接口模块、信号发生模块、数据处理模块、脑机接口模块、无人机航迹规划模块,通过本发明的技术方案能够测量基于导航能力的脑电信号,分析影响人类在导航过程中认知行为所生成的电信号,并以此完善无人机的自主导航能力。
Description
技术领域
本发明涉及认知神经科学、信息技术领域和自动控制领域的综合应用,尤其涉及一种基于脑电信号的无人机航迹规划系统。
背景技术
EEG包含大脑皮层神经活动的信号,深入了解对揭示大脑工作的认知和思维过程具有重要意义。脑神经信号综合反映了脑神经系统的局部活动,是分析脑神经系统和大脑运转活动的重要工具。脑电信号给生物医学、计算机科学和认知科学搭建了桥梁,因此,脑电信号也一直是交叉学科热门研究对象。
位置感知和导航能力是大脑最基本的功能,人在自然环境中能表现出高于定位的导航能力,人们需要知道自身的位置以及到达目的地(寻路)的优选路径。在寻路过程中,人脑会在无意识情况下收集环境的信息,更新头脑中的认知地图,因而大脑在不熟悉的环境或复杂环境中也能迅速做出正确的决策。人脑智能寻路这种能力与记忆、思维等认知功能都紧密相关,而这一功能的潜在机制却一直未被揭晓。直到约翰·奥·基夫研究发现组成“大脑定位系统”的位置细胞和网格细胞,分析出了大脑如何创建周围空间的“地图”,以及如何在复杂环境中定位的路径,大脑定位才有了理论依据。
近年来,随着脑电分析技术和脑电设备的发展,基于认知领域的脑电信号识别成为重要的研究内容。以人脑的认知导航信号为出发点,能够为无人机领域带来突破性的发展。
无人机的自主适应能力和航迹规划能力将能引导其自主飞行。在无人机领域,“类人脑”的结构框架设计是关键突破点,是开展认知导航航迹规划技术研究的基础和前提。目前无人机的结构框架不具备学习能力,无法满足自适应要求。期望得到的“类人脑”认知模型是一种新兴模型,其优势在于通过模拟人类不同脑区的功能以及各个脑区的相互联系,从大脑认知机理上实现对人类认知过程的建模,具有空间认知、经验积累、和推理决策能力。但是当前认知决策的研究尚属理论研究阶段,“类人”认知决策模型仍处于初步发展阶段。不仅如此,无人机对外部环境非常不确定的认知决策,是十分棘手的问题。在多种类型突发情况下无人机如何“自动”规划最优航迹。智能性更好、适应环境/任务变化的能力更强、能够实时或近实时自主地规划或修改规划策略的智能自适应在线航迹规划,无疑是无人飞行器在线航迹规划技术的未来发展方向。因此,在人脑自主导航能力的基础上,把智能化的信号应用在无人机的控制系统中的问题,需要迫切解决。
随着脑机接口技术的进步,以及认知科学、计算机和材料学等多学科理论与技术的涌入,生物与机器之间的连接将会越来越紧密,智能融合的程度也会越来越深。混合智能系统是脑机接口技术发展的必然趋势,也是实现智能增强的一种新途径。
脑电信号的测量主要分为两种。一种是基于自发脑电测量(Electroencephalogram,EEG),自发脑电是指没有特定外界刺激时大脑神经细胞自动发出的电位信息变化,对外界表现形式为在头皮表面记录的电位信息。另一种是基于事件相关电位,又称为诱发脑电测量(EventRelated Potential,ERP),诱发脑电测量是指认为的对感觉器官施加光、声、电刺激所引起的电位变化。脑电信号按照频带定义通常可以分为δ(0.5-4Hz)、θ(4-8Hz)、α(8-12Hz、β(14-30Hz)、γ(45-50Hz)等五种节律的波形,其中β和γ波同属快波,波幅增高与神经细胞兴奋相关,这种特征通常与人脑认知功能相关。脑神经信号是一种非平稳的神经生理信号,在很多测试数据中也能发现,时间不同的频率成分也不相同,因此单一的时域或者单一的频域分析都做不到准确地表达脑神经信号所要提取的运动想象或者导航能力的特征,许多脑电信号的突变是在瞬态产生的,时频分析才能准确地处理。
脑电信号的采集和分析过程主要包括四个部分,分别是软硬件接口模块、刺激信号发生模块,数据采集模块和数据处理模块。接口模块即脑电采集系统与计算机记录软件的适配,发生模块由实验者提供刺激信号,采集模块负责收集各段任务的数据,并在处理模块中利用时频分析方法提取特征。
Charalampos等人研究视障人士在不同复杂性环境中的视觉缺失的障碍,借助事件相关同步指数的变化来感知在不同时间、不同环境下的认知负荷,并设计出智能辅助导航设备。Q.A.Khan等人设计一种模拟飞行员飞行的游戏,采集受试者的EEG数据,利用随机森林树分类算法来识别飞行员的三种心理状态,分类结果准确度高达81.7%。随着深度学习的迅速发展,该方法在脑电领域也取得较大突破。
但是由于导航路线单一或者受试者人数有限,以上方法对脑电信号的节律特征和脑力负载分析得不够全面。同时脑电信号非平稳,传统分析方法无法解决,电极信号与周围电极之间存在导通等因素也使得脑电信号在认知领域存在瓶颈。
发明内容
为了解决上述已有技术存在的不足,本发明在复杂导航路径下采集脑电信号,研究在复杂导航环境下人的决策能力,将这种决策信号数字化,并应用在无人机的航迹规划优化中。具体的,采集人特定导航路径下的脑电信号并利用脑机交互装置将提取的特征应用于无人机航迹规划的系统。本发明的具体技术方案如下:
一种基于脑电信号的无人机航迹规划系统,其特征在于,包括接口模块、信号发生模块、数据处理模块、脑机接口模块、无人机航迹规划模块,其中,
所述接口模块包括脑电采集设备,所述接口模块的工作流程如下:
S1-1:将所述脑电采集设备中的电极按照国际的10/20系统标准电极放置法放置在被测试者脑部各个位置;
S1-2:在电极上依次涂抹导电膏;
所述信号发生模块的处理过程如下:
S2-1:设置起点A,给定一条固定路径,被测试者需按照路径到达设定的终点B;
S2-2:以步骤S2-1中给定的固定路径为基准,被测试者按照所述固定路径行走,实验者在所述固定路径中随机设定M个障碍点,被测试者需要迅速做出判断绕开障碍点;
S2-3:以A为起点,设定终点C,被测试者按照经验,自行规划导航路线,并且保证以最少的时间到达,以达到自主寻优过程;
S2-4:记录整个过程的脑电信号,同时记录到达障碍点的时间,并标记到达障碍点时刻的脑电信号;
所述数据处理模块的工作流程如下:
S3-1:利用ASA软件进行带通滤波,选取1-50Hz的频段的脑电数据作为处理和分析的数据,利用ASA进行伪迹标定进而去除眼动伪迹;
S3-2:将步骤S3-1的处理结果利用小波变换去除不明显的噪声;
S3-3:将步骤S3-2的处理结果采用DFT算法消除脑功能区中各数据之间的相位差;
S3-4:将步骤S3-3的处理结果采用短时傅里叶变换(STFT)的时频方法来提取脑电信号的特征;
S3-5:逐一分析步骤S3-4处理后的数据的能量谱密度PSD的分布,对所有被测试者各个脑区的分段任务的结果进行对比和统计;
所述脑机接口模块将所述步骤S3-5的能量谱密度PSD峰值对应的频率刺激信号传送至所述无人机航迹规划模块,所述无人机航迹规划模块接收到信号,发出直行或调向或避障的控制指令以完成航迹规划。
本发明的有益效果在于:
本发明的核心是对脑电信号的测量和处理分析,其研究结果对认知科学领域、无人机发展医疗诊断等领域都具有重大的意义。经过大量精确计算和实验分析,在存在差异的路径下,提取到有特征行为的脑电信号。通过测量基于导航能力的脑电信号,分析影响人类在导航过程中认知行为所生成的电信号,并以此完善无人机的自主导航能力。
从设定导航路径的实验中,观察到被测试者在遇到障碍的决策能力并在此信号中提取到的具有真实导航意义的特征,并利用脑机接口设备传递该特征至无人机的航迹规划算法,实现无人机像人一样自主规划出最优路径,提高无人机的自适应能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,可以根据这些附图获得其他的附图。其中:
图1是本发明的一种基于脑电信号的无人机航迹规划系统框图;
图2是根据本发明的一个实施例的实验设计路径;
图3是根据本发明的一个实施例的eego-mylab脑电采集设备;
图4是根据本发明的一个实施例的64电极分布图;
图5是根据本发明的一个实施例的脑电电极信号强度图;
图6是根据本发明的一个实施例的原始脑电数据分布;
图7是根据本发明的一个实施例的滤波处理的数据;
图8是根据本发明的一个实施例的小波消噪结果;
图9(a)是根据本发明的一个实施例的电极间相关信号;
图9(b)是根据本发明的一个实施例的DFT算法整合结果;
图10(a)是根据本发明的一个实施例的STFT时频变换结果;
图10(b)是根据本发明的一个实施例的能量谱密度。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
本发明旨在通过设计一种基于脑电信号的无人机航迹规划系统,采集对应导航任务下的脑电信号,分析影响人的认知行为所生成的电信号,应用于无人机自主导航系统。从设定导航路径的实验中,观察到被测试者在遇到障碍的决策能力并在此信号中提取到的具有真实导航意义的脑电特征,利用脑机接口装置将这种脑电特征解析成无人机可识别的信号,完善无人机的航迹规划算法,做到真正类人的自主导航。
具体的,如图1所示为本发明的一种基于脑电信号的无人机航迹规划系统框图,一种基于脑电信号的无人机航迹规划系统,其特征在于,包括接口模块、信号发生模块、数据处理模块、脑机接口模块、无人机航迹规划模块,其中,
接口模块包括脑电采集设备,接口模块的工作流程如下:
S1-1:将脑电采集设备中的电极按照国际标准的10/20系统标准电极放置法放置在被测试者脑部各个位置;
S1-2:在电极上依次涂抹导电膏;
信号发生模块的处理过程如下:
S2-1:设置起点A,给定一条固定路径,被测试者需按照路径到达设定的终点B;
S2-2:以步骤S2-1中给定的固定路径为基准,被测试者按照固定路径行走,实验者在固定路径中随机设定M个障碍点,被测试者需要迅速做出判断绕开障碍点;
S2-3:以A为起点,设定终点C,被测试者按照经验,自行规划导航路线,并且保证以最少的时间到达,以达到自主寻优过程;
S2-4:记录整个过程的脑电信号,同时记录到达障碍点的时间,并标记到达障碍点时刻的脑电信号;
数据处理模块的工作流程如下:
S3-1:利用ASA软件进行带通滤波,选取1-50Hz的频段的脑电数据作为处理和分析的数据,利用ASA进行伪迹标定进而去除眼动伪迹;
S3-2:将步骤S3-1的处理结果利用小波变换去除不明显的噪声;
S3-3:将步骤S3-2的处理结果采用DFT算法消除脑功能区中各数据之间的相位差;
S3-4:将步骤S3-3的处理结果采用短时傅里叶变换(STFT)的时频方法来提取脑电信号的特征;
S3-5:逐一分析步骤S3-4处理后的数据的能量谱密度PSD的分布,对所有被测试者各个脑区的分段任务的结果进行对比和统计;
脑机接口模块将步骤S3-5的能量谱密度PSD峰值对应的频率刺激信号传送至无人机航迹规划模块,无人机航迹规划模块接收到信号,发出直行或调向或避障的控制指令以完成航迹规划。
实施例1
首先,要控制采集脑电信号过程的环境条件。影响脑神经信号的因素有很多,如年龄,基因,脑损伤程度以及各种技术性干扰或者是环境噪声的干扰。为了控制好测试环境的条件,本发明数据采集控制条件包括有以下几个方面:保证每个被测试者外部环境大致相同,同时尽量保证无噪声的测试环境;要保持各个被测者的心理状态大致相同,在实验前需要停止实验者接触刺激性物品,防止带来不利于实验测量的的负面作用;控制和孤立研究条件,避免出现非试验范围内的刺激干扰,必要情况下对实验环境进行隔离和清除,如果实验环境较为理想,也可以采取在实验室之外进行试验的措施;合理设计样本数目和试验次数。
其次,保证实验环境的纯净,是采集数据的关键。为了避免因仪器造成的不便携或者外界强噪声的干扰,本发明设计的测试方案均在实验室安静无噪的环境中,并且保证测试过程中被测试者处于一个比较放松的状态,确保肌电信号和眼电信号的干扰最小。
本发明使用的脑电采集设备是eego-mylab脑电采集设备,如图3所示,目前eegomylab在EEG/ERPs/EMG采集系统等领域属于世界上较为前沿的设备,普遍应用于脑电信号的测量和研究以及医疗诊断方面,应用领域涉及十分广泛。
大脑发出的电位信号通过放在头皮上面的64个可导通电极传输到信号采集器里,通常采用的电极放置位置为国际标准10/20系统标准电极放置法,电极放置在脑部各个特定的位置,如图4所示,脑电电极信号强度图如图5所示。
从准备到采集,过程较为繁琐,前期准备需花费一个小时,其具体流程如下:
第一步:测试前准备,为减少头皮对导电性的不利影响,被测试者需清洗头发,避免导电膏与头皮接触不良,为后续工作奠定基础;
第二步:连接好设备,被测试者戴上脑电帽,将脑电极帽与放大器用对应的接口连接,将放大器的另一端接口与电脑连接,电脑上的采集软件必须与放大器匹配使用,并建立被测试者个人数据库;
第三步:在脑电帽64个电极上依次涂抹导电膏,直到脑电帽与头皮完全稳定连接为止,即电脑采集系统的界面全都变为绿色,这个过程是为了保证脑电信号的稳定性,导电膏的作用如同导线,若电极与头皮之间的导线连接不稳定,测试信号的效果将会受到不稳定的外界因素影响,测试效果不佳;
第四步:稳定后,在控制好采集条件前提下,被试执行任务,保证只有一个被测试者和一位实验操作人员,同时按照给定任务采集三段脑电数据;
第五步:重复以上操作;
实验共有20名被测试者参与,每位被测试者完成一次实验任务,考虑到脑电信号受性别影响,故被测试者挑选10名男生,10名女生,年龄分布在22±2岁,均为健康的在校大学生,实验过程认知正常,无药物服入。20名参与者均完成了任务的测试,每个部分的信号时长在1分钟左右,最终获得了20组64通道的数据。每个被测试者完成一组独立的导航任务,每位被测试者的数据时间序列长度都不一样。脑电数据的时间序列不相同,只能单独将每个通道数据单独处理分析。
信号发生模块的具体流程如下:
(1)设置起点A,给定一条固定的路径,被试需按照路径到达设定的终点B。
(2)以(1)中的固定路线为基准,被测试者按照路线行走,实验者在路线中随机设定几个障碍点,被测试者需要迅速做出判断绕开障碍点。
(3)同样以A为起点,设定一个不同的终点C,让试验者自己自行规划导航路线,并且保证是最少时间到达,以达到自主寻优过程。
在实验之前,实验操作人员就提醒被测试者,要完全模拟按照实际公路行驶路径进行导航识别的任务,而不仅仅以地图上的规划路径线为目标。
记录整个过程的神经电信号,同时在测试的时候记录障碍点的时间,并标记这些时刻脑电信号。图2本实施例的设计路径,图中右边路线1为任务(1)(2)设计的固定导航路线,其中的灰色加粗区域为障碍点,左边路线2为被测试者执行任务(3)的实际路线。
本任务的目的是探索在导航能力下的脑电信号特征,实际对应了两个对比过程,首先是任务(1)和(2)做对比,在指定路径下有障碍和无障碍的差异,试图提取被测试者在遇到障碍时的决策信号,探索出人脑在导航时的认知信号,当突然出现障碍或者是突发事故的时候,人脑会做出怎样的决策,即要捕捉的定位特征。其次是任务(1)和(3)做对比,差别是提前设定路径和不设定路径,探寻在这两种情况下,人脑的导航能力是否会有差别,并说明人脑中存在自主导航的信号特征,以及只需依靠脑内定位来实现路径优化。
完成信号发生模块的流程之后,原始采样数据结果如图6所示,其为实时记录的数据,列向量为各个电极的信号幅度,行向量为采集时间。
集到的原始数据中包含大量的噪声和伪迹,原始信号频段位于1-100Hz的频段之中。一般来说,高于50Hz对于脑神经信号属于高频。为了得到认知功能清晰的有效数据,对原始脑电数据进行预处理,信号预处理过程包括信号去噪和信号去相关。去噪处理分为两步,首先利用ASA软件进行带通滤波,选取1-50Hz的频段的脑电数据作为处理和分析的数据。其次利用ASA进行伪迹标定进而去除被测试者因思考、规划等造成的眼动伪迹。滤波处理后的部分数据结果如图7。
有用脑电信号表现为低频信号或较平稳的信号,噪声信号则常表现为高频信号,进一步选用小波变换消除不明显的噪声,随着小波变换尺度的增加可以将原始信号边缘和噪声产生的毛刺逐渐平滑掉,达到深度消噪效果。采用的小波消噪的方法是默认阈值消噪处理,利用ddencmp函数产生信号默认阈值,然后利用wdencmp函数进行消噪处理,通过比较Db1、Db5、Db7的效果,最终选取Db5小波,分解层数为5层,能够起到降低数据维度的作用,同时可以突出脑电信号的局部相似性,捕捉到局部的信号。深度消噪后的部分数据结果如图8。
脑区内的数据存在明显的延时相关,采用DFT(discrete fouriertransformation)算法消除脑功能区中各数据之间的相位差。对非正弦周期信号在频域内进行分解,在频率已知情况下,计算出延时相位差。算法核心分为四步:
A1:将脑区内的N个数据进行对比,选取脑区的第一个数据参考数据s1。
A2:将剩余的N-1个原始数据依次与参考数据s1做DFT变换,依照互相关理论求出两个信号的相位差。
A3:根据采样频率求出两组数据间的信号点数差,并利用时移定理将两组信号整合,完成信号的重构。
A4:认为相同脑区认知功能相同,将整合好的N-1个数据,用平均值法整合成一个数据,代表同一脑区。
分区处理的优点为考虑各脑区内的信号,与其他脑区互不干扰,采样频率为1000Hz,因此算法精度相对较高,算法误差小。
DFT算法解决了脑区中的延时相关问题,并在各个脑区整合了一个独立信号。考虑到脑电信号的非平稳特性,本发明采用短时傅里叶变换(STFT)的时频方法来提取脑电信号的特征。STFT也是一种数学变换,用来确定时变信号局部区域的频率和相位,分析信号的时频特性。短时傅里叶变换是将原来的傅里叶变换在时域截短为多段分别进行傅里叶变换,每一段记为时刻ti,对应FFT求出频域特性,可以粗略估计出时刻ti时的频域特性,即同时指导了时域和频域的对应关系。图9(a)是根据本发明的一个实施例的电极间相关信号,图9(b)是根据本发明的一个实施例的DFT算法整合结果;图10(a)是根据本发明的一个实施例的STFT时频变换结果。
逐一分析变换后的能量谱密度PSD的分布,如图10(b),对所有被测试者各个脑区的分段任务的结果(一共包含20*13*3)进行对比和统计,具体结果如表1、表2和表3所示,表中1/F代表被测试者序号为1,性别为女;2/M代表被测试者序号为2,性别为男;0.09266/9等数据,“/”前的数值代表PSD峰值,“/”后的数值代表峰值出现的频率值。
表1分段任务(1)被测试者在设定固定路径下各脑区的PSD结果
脑区 | Af | C | Cp | F | Fc | Fp | Ft | M | O | P | Po | T | Tp |
1/F | 0.092/9 | 0.025/2 | 0.041/2 | 0.11/2 | 0.10/1 | 0.055/1 | 0.098/5 | 0.009/2 | 0.040/2 | 0.038/1 | 0.025/1 | 0.073/1 | 0.10/1 |
2/M | 0.12/2 | 0.12/2 | 0.23/3 | 0.095/3 | 0.062/4 | 0.57/5 | 0.13/12 | 0.12/14 | 0.10/8 | 0.068/4 | 0.056/5 | 0.14/14 | 0.11/6 |
3/F | 0.069/14 | 0.039/9 | 0.006/9 | 0.18/9 | 0.097/9 | 0.046/15 | 0.10/19 | ** | 0.013/2 | 0.005/1 | 0.0040/2 | 0.11/9 | 0.057/14 |
4/M | 0.052/2 | 0.10/2 | 0.73/2 | 0.10/2 | 0.040/3 | 0.066/3 | 0.074/3 | 0.11/18 | 0.080/4 | 0.73/1 | 0.045/2 | 0.076/5 | 0.065/4 |
5/F | 0.019/2 | 0.023/2 | 0.055/2 | 0.011/1 | 0.017/1 | 0.090/2 | 0.10/2 | 0.12/14 | 0.065/4 | 0.029/3 | 0.040/2 | 0.037/3 | 0.15/9 |
6/M | 0.29/9 | 0.018/9 | 0.014/9 | 0.036/9 | 0.34/9 | 0.052/9 | 0.060/16 | ** | 0.021/9 | 0.057/3 | 0.013/3 | 0.076/9 | 0.029/12 |
7/F | 0.074/7 | 0.027/3 | 0.081/6 | 0.085/4 | 0.074/4 | 0.10/9 | 0.12/18 | 0.10/17 | ** | 0.11/5 | 0.094/7 | 0.11/13 | 0.059/15 |
8/M | 0.059/3 | 0.026/3 | 0.053/4 | 0.063/3 | 0.049/3 | 0.060/3 | 0.12/3 | ** | ** | 0.022/14 | 0.078/14 | 0.19/4 | 0.022/16 |
9/M | 0.088/3 | 0.037/3 | 0.046/4 | 0.09/3 | 0.065/3 | 0.089/3 | 0.093/7 | 0.074/23 | ** | 0.069/8 | 0.063/14 | 0.032/3 | 0.019/16 |
10/F | 0.12/4 | 0.014/1 | 0.014/13 | 0.021/4 | 0.015/3 | 0.068/10 | 0.22/13 | ** | ** | 0.51/9 | 0.039/9 | 0.21/9 | 0.075/9 |
11/M | 0.013/2 | 0.062/8 | 0.032/8 | 0.017/13 | 0.028/9 | 0.014/2 | 0.010/11 | 0.10/11 | 0.035/9 | 0.010/2 | 0.019/6 | 0.050/19 | 0.010/12 |
12/M | 0066/9 | 0011/9 | 010/2 | 0064/9 | 0022/9 | 032/9 | 0069/5 | 010/19 | 011/8 | 0036/4 | 0021/12 | 0061/9 | 0069/9 |
13/M | 0.34/9 | 0.029/3 | 0.025/4 | 0.087/4 | 0.038/9 | 0.57/9 | 0.10/14 | ** | ** | 0.046/8 | 0.049/13 | 0.040/10 | 0.60/9 |
14/M | 0.021/8 | 0.005/4 | 0.008/12 | 0.011/4 | 0.016/9 | 0.010/9 | 0.12/15 | 0.019/10 | ** | 0.006/15 | 0.009/5 | 0.068/12 | 0.021/10 |
15/M | 0.095/1 | ** | 0.018/2 | 0.017/2 | 0.032/2 | 0.042/4 | 0.054/2 | 0.080/3 | 0.097/3 | 0.039/2 | 0.045/2 | 0.029/2 | 0.068/2 |
16/F | 0.086/5 | 0.084/3 | 0.045/3 | 0.23/9 | 0.059/9 | 0.29/9 | 0.11/8 | 0.089/17 | 0.064/1 | 0.098/9 | 0.041/9 | 0.080/9 | 0.096/9 |
17/F | 0.071/8 | 0.049/4 | 0.092/3 | 0.12/4 | 0.075/3 | 0.11/13 | 0.37/13 | 0.86/12 | 0.76/12 | 0.072/3 | 0.050/7 | 0.061/13 | 0.10/11 |
18/F | 0.036/1 | 0.10/2 | 0.083/2 | 0.008/2 | 0.049/2 | 0.054/2 | 0.071/5 | 0.11/8 | 0.093/5 | 0.052/2 | 0.087/3 | 0.034/15 | 0.091/3 |
19/F | 0.041/5 | 0.006/9 | 0.068/12 | 0.015/16 | 0.006/19 | 0.015/13 | 0.067/19 | ** | ** | 0.037/3 | 0.36/10 | 0.10/14 | 0.090/15 |
20/F | 0.067/15 | 0.064/6 | 0.078/7 | 0.035/16 | 0.048/12 | 0.076/13 | ** | ** | ** | 0.10/15 | 0.065/15 | 0.038/17 | 0.048/18 |
表2分段任务(2)被测试者需主动完成避障决策的各脑区的PSD结果
脑区 | Af | C | Cp | F | Fc | Fp | Ft | M | O | P | Po | T | Tp |
1/F | 0.071/9 | 0.014/2 | 0.021/2 | 0.045/2 | 0.057/2 | 0.051/1 | 0.13/5 | 0.022/4 | 0.055/2 | 0.047/1 | 0.032/1 | 0.020/9 | 0.018/9 |
2/M | 0.11/2 | 0.11/2 | 0.11/2 | 0.70/3 | 0.052/4 | 0.053/5 | 0.13/16 | 0.87/17 | 0.072/8 | 0.066/3 | 0.084/4 | 0.085/14 | 0.10/5 |
3/F | 0.052/15 | 0.046/9 | 0.005/11 | 0.20/9 | 0.11/9 | 0.069/15 | 0.22/11 | ** | 0.014/9 | 0.009/1 | 0.008/1 | 0.11/9 | 0.054/14 |
4/M | 0.069/1 | 0.080/1 | 0.062/2 | 0.040/3 | 0.11/2 | 0.77/3 | 0.084/5 | 0.12/21 | 0.055/9 | 0.051/4 | 0.067/2 | 0.10/3 | 0.072/4 |
5/F | 0.027/2 | 0.32/2 | 0.074/3 | 0.0062/1 | 0.010/2 | 0.11/2 | 0.10/2 | 0.11/17 | 0.070/4 | 0.059/2 | 0.041/2 | 0.048/4 | 0.26/9 |
6/M | 0.27/9 | 0.14/9 | 0.14/9 | 0.26/9 | 0.04/2 | 0.30/9 | 0.21/9 | ** | 0.066/20 | 0.068/9 | 0.014/9 | 0.091/12 | 0.24/9 |
7/F | 0.12/9 | 0.049/6 | 0.054/14 | 0.10/5 | 0.10/2 | 0.077/13 | 0.96/8 | ** | ** | 0.95/4 | 0.11/3 | 0.058/16 | 0.072/17 |
8/M | 0.076/3 | 0.034/3 | 0.061/4 | 0.026/4 | 0.025/4 | 0.082/3 | 0.083/9 | ** | ** | 0.064/8 | 0.053/14 | 0.025/15 | 0.069/14 |
9/M | 0.069/3 | 0.098/2 | 0.045/4 | 0.076/3 | 0.061/3 | 0.075/3 | 0.098/6 | 0.10/19 | ** | 0.092/5 | 0.074/12 | 0.091/6 | 0.083/7 |
10/F | 4.425/9 | 2.04/9 | 1.73/9 | 0.28/9 | 0.40/9 | 2.4/9 | 0.10/4 | 0.094/5 | 0.11/3 | 2.0/9 | 0.026/9 | 1.72/9 | 0.061/9 |
11/M | 0.037/3 | 0.066/3 | 0.10/3 | 0.036/9 | 0.021/9 | 1.8/9 | 0.39/14 | 0.093/20 | 0.17/6 | 0.26/9 | 0.079/14 | 0.076/16 | 0.11/5 |
12/M | 4.3/9 | 2.6/9 | 3.0/9 | 1.59/9 | 1.77/9 | 0.64/9 | 0.079/5 | 0.094/20 | 0.11/10 | 0.019/4 | 0.066/8 | 0.064/10 | 0.043/10 |
13/M | 0.22/9 | 0.010/6 | 0.067/3 | 0.032/8 | 0.083/3 | 0.041/6 | 0.098/9 | 0.074/20 | ** | 0.063/4 | 0.009/15 | 0.081/6 | 0.075/7 |
14/M | 0.11/9 | 0.056/2 | 0.028/2 | 0.034/2 | 0.012/2 | 0.028/2 | 0.11/16 | 0.065/7 | 0.040/5 | 0.032/3 | 0.015/3 | 0.11/9 | 0.083/2 |
15/M | 0.026/1 | 0.026/2 | 0.032/2 | 0.021/1 | 0.026/1 | 0.027/9 | 0.047/1 | 0.060/3 | 0.029/5 | 0.039/2 | 0.068/1 | 0.016/3 | 0.033/3 |
16/F | 0.093/6 | 0.074/2 | 0.053/3 | 0.15/9 | 0.038/9 | 0.24/9 | 0.072/20 | 0.087/19 | 0.064/20 | 0.034/14 | 0.078/5 | 0.010/17 | 0.010/18 |
17/F | 0.13/6 | 0.079/2 | 0.10/2 | 0.10/2 | 0.079/2 | 0.10/13 | 0.11/19 | 无效数据 | ** | 0.060/1 | 0.092/2 | 0.091/11 | 0.094/11 |
18/F | 0.048/1 | 0.099/2 | 0.80/2 | 0.030/1 | 0.065/2 | 0.065/2 | 0.061/5 | 0.10/11 | 0.077/5 | 0.029/2 | 0.082/3 | 0.086/4 | 0.088/3 |
19/F | 0.045/9 | 0.0033/1 | 0.031/16 | 0.0048/1 | 0.004/18 | 0.072/7 | 0.12/20 | ** | ** | 0.040/9 | 0.0066/1 | 0.052/16 | 0.085/16 |
20/F | 0.087/14 | 0.010/4 | 0.11/5 | 0.048/15 | 0.083/12 | 0.057/15 | 0.14/20 | ** | ** | 0.074/16 | 0.039/5 | 0.040/16 | 0.053/17 |
表3分段任务(3)在起点终点相同,被测试者根据经验寻找最优路径下各脑区的PSD结果
脑区 | Af | C | Cp | F | Fc | Fp | Ft | M | O | P | Po | T | Tp |
1/F | 0.20/9 | 0.039/1 | 0.035/2 | 0.067/2 | 0.075/1 | 0.045/5 | 0.12/9 | 0.041/5 | 0.067/2 | 0.051/1 | 0.029/1 | 0.069/2 | 0.087/2 |
2/M | 0.058/3 | 0.079/2 | 0.11/2 | 0.081/3 | 0.089/3 | 0.097/3 | 0.012/16 | 0.10/17 | 0.079/10 | 0.084/5 | 0.087/5 | 0.10/14 | 0.090/6 |
3/F | 0.044/15 | 0.028/9 | 0.045/1 | 0.16/9 | 0.087/9 | 0.059/15 | 0.11/6 | ** | 0.018/2 | 0.010/1 | 0.009/1 | 0.076/5 | 0.081/11 |
4/M | 0.064/3 | 0.038/3 | 0.062/2 | 0.042/3 | 0.11/2 | 0.95/3 | 0.11/5 | ** | 0.12/3 | 0.076/2 | 0.053/1 | 0.073/11 | 0.10/4 |
5/F | 0.020/2 | 0.041/2 | 0.056/1 | 0.010/1 | 0.014/1 | 0.093/2 | 0.072/3 | 0.12/17 | 0.087/4 | 0.099/2 | 0.050/2 | 0.085/2 | 0.10/2 |
6/M | 3.4/9 | 0.22/9 | 0.13/9 | 0.53/9 | 7.0/9 | 0.34/9 | 0.089/4 | 0.12/18 | 0.096/4 | 0.087/2 | 0.021/2 | 0.099/3 | 0.18/9 |
7/F | 0.086/11 | 0.056/3 | 0.086/3 | 0.086/3 | 0.069/3 | 0.11/12 | ** | 0.12/20 | 0.10/19 | 0.093/2 | 0.79/3 | 0.066/15 | 0.033/15 |
8/M | 0.067/3 | 0.10/2 | 0.041/4 | 0.067/3 | 0.11/2 | 0.077/3 | 0.11/5 | 0.096/17 | ** | 0.078/6 | 0.058/11 | 0.091/7 | 0.031/14 |
9/M | 0.077/3 | 0.10/2 | 0.042/4 | 0.074/3 | 0.12/2 | 0.082/3 | 0.10/6 | 0.11/19 | ** | 0.035/9 | 0.064/12 | 0.12/6 | 0.066/10 |
10/F | 0.12/8 | 1.34/9 | 1.32/9 | 0.041/9 | 0.74/9 | 0.093/8 | 0.11/8 | 0.12/8 | 0.095/6 | 0.049/2 | 0.030/9 | 0.11/8 | 0.48/9 |
11/M | 9.03/9 | 0.48/9 | 0.20/9 | 0.25/9 | 0.84/9 | 6.47/9 | ** | ** | 0.11/17 | 0.11/8 | 0.12/13 | 0.037/16 | 0.047/13 |
12/M | ** | ** | ** | ** | ** | ** | ** | ** | ** | ** | ** | ** | ** |
13/M | 019/9 | 0066/3 | 0091/3 | 0067/4 | 0054/4 | 027/9 | 010/6 | 0089/20 | ** | 0040/8 | 0087/11 | 0088/7 | 0075/8 |
14/M | 0080/9 | 0038/1 | 0010/8 | 0025/3 | 0024/3 | 0013/3 | 010/15 | ** | 0036/3 | 0050/3 | 0029/3 | 010/9 | 0052/3 |
15/M | 0.032/2 | 0.028/1 | 0.045/1 | 0.020/2 | 0.073/1 | 0.041/3 | 0.056/2 | 0.079/3 | 0.11/3 | 0.055/2 | 0.061/2 | 0.036/2 | 0.074/2 |
16/F | 0.11/4 | 0.082/2 | 0.10/3 | 0.089/6 | 0.063/4 | 0.088/8 | 0.11/11 | 0.099/20 | 0.093/9 | 0.026/10 | 0.060/5 | 0.058/10 | 0.029/12 |
17/F | 012/4 | 0051/3 | 0060/2 | 010/2 | 0038/3 | 011/13 | 012/17 | 012/18 | ** | 061/2 | 0069/2 | 0097/8 | 013/5 |
18/F | 0.020/1 | 0.096/2 | 0.083/2 | 0.016/1 | 0.060/2 | 0.058/1 | 0.10/2 | 0.12/6 | 0.077/5 | 0.053/1 | 0.077/3 | 0.079/4 | 0.10/3 |
19/F | 0.047/6 | 0.077/11 | 0.13/12 | 0.089/10 | 0.074/12 | 0.048/12 | 0.11/20 | ** | ** | 0.070/5 | 0.040/4 | 0.11/14 | 0.12/15 |
20/F | 0.093/13 | 0.10/4 | 0.096/4 | 0.10/8 | 0.11/8 | 0.068/14 | ** | ** | 0.10/20 | 0.10/15 | 0.13/6 | 0.10/14 | 0.083/16 |
由表1、表2和表3可知,在前额叶皮层区(F、Fp、Ft)和顶区(P)等脑区,13-15Hz频率范围内会出现明显的能量谱峰值。在执行任务(1)中,在所有被测试者在大脑各区均出现α波活动现象,符合任务(1)过程安静的特点。此外,任务(1)中伴随被测试者的思考、记忆等精神活动,在结果中体现在被测试者(3/F、7/F、9/M等)的α波β波替代活动中,说明本发明的系统符合脑电采集条件。
脑部活动的信号与性别相关,β的经验和性别两者的交互作用显著,被测试者中在β波节律段呈现集中能量峰值的分布女多男少,表明在陌生导航路径中,女性思考和记忆等认知活动反应普遍更加强烈。
在执行任务(2)的过程,外在避障信号刺激下,被测试者呈现出β波活动的人增多并且能量峰值更加突出,表明被试在熟悉的环境中遇到随机障碍,重新定位以便避障的过程中,男性和女性均能处理完视觉信息,并完成快速判断、准确决策以及情绪调整等认知过程。
执行任务(3)过程中,仅给定起点和终点,按照经验寻找最优路径,“导航”信息需要调动更多复杂的多模态信息来进行感知和加工,β波活动更加活跃,更多的被试者在β节律呈现高峰值模态。
利用脑机接口装置,选择由脑到机的交互方式,在相同条件下,选择决策信号强的结果代入到无人机航迹规划模块,提高模块的精度。模拟人类记忆细胞机理实现具有学习记忆和行为规划能力的导航信息处理,构建出具有人脑认知导航机制的无人机模型,完善无人机高度自主导航能力。
在无人机领域,本发明利用脑机接口模块,通过探索出人脑在自主导航时的认知能力的相关信号,解决无人机在执行飞行任务过程遭遇环境突变或位置未知等情况,实现无人机智能化的航迹规划,即包括认知性和自适应能力,让无人机的控制部分做到真正的类人。该系统使得无人机在各种环境下均能调整算法,像人一样自主规划出最优路径,提高无人机的自适应能力。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征“之上”、上方”和“上面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、下方”和“下面”包括第一特征在第二特征正下方和斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本发明中,术语“第一”、“第二”、“第三”、“第四”仅用于描述目的,而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上,除非另有明确的限定。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于脑电信号的无人机航迹规划系统,其特征在于,包括接口模块、信号发生模块、数据处理模块、脑机接口模块、无人机航迹规划模块,其中,
所述接口模块包括脑电采集设备,所述接口模块的工作流程如下:
S1-1:将所述脑电采集设备中的电极按照国际的10/20系统标准电极放置法放置在被测试者脑部各个位置;
S1-2:在电极上依次涂抹导电膏;
所述信号发生模块的处理过程如下:
S2-1:设置起点A,给定一条固定路径,被测试者需按照路径到达设定的终点B;
S2-2:以步骤S2-1中给定的固定路径为基准,被测试者按照所述固定路径行走,实验者在所述固定路径中随机设定M个障碍点,被测试者需要迅速做出判断绕开障碍点;
S2-3:以A为起点,设定终点C,被测试者按照经验,自行规划导航路线,并且保证以最少的时间到达,以达到自主寻优过程;
S2-4:记录整个过程的脑电信号,同时记录到达障碍点的时间,并标记到达障碍点时刻的脑电信号;
所述数据处理模块的工作流程如下:
S3-1:利用ASA软件进行带通滤波,选取1-50Hz的频段的脑电数据作为处理和分析的数据,利用ASA进行伪迹标定进而去除眼动伪迹;
S3-2:将步骤S3-1的处理结果利用小波变换去除不明显的噪声;
S3-3:将步骤S3-2的处理结果采用DFT算法消除脑功能区中各数据之间的相位差;
S3-4:将步骤S3-3的处理结果采用短时傅里叶变换(STFT)的时频方法来提取脑电信号的特征;
S3-5:逐一分析步骤S3-4处理后的数据的能量谱密度PSD的分布,对所有被测试者各个脑区的分段任务的结果进行对比和统计;
所述脑机接口模块将所述步骤S3-5的能量谱密度PSD峰值对应的频率刺激信号传送至所述无人机航迹规划模块,所述无人机航迹规划模块接收到信号,发出直行或调向或避障的控制指令以完成航迹规划。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910797270.2A CN110658851B (zh) | 2019-08-27 | 2019-08-27 | 一种基于脑电信号的无人机航迹规划系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910797270.2A CN110658851B (zh) | 2019-08-27 | 2019-08-27 | 一种基于脑电信号的无人机航迹规划系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110658851A true CN110658851A (zh) | 2020-01-07 |
CN110658851B CN110658851B (zh) | 2020-10-02 |
Family
ID=69036546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910797270.2A Active CN110658851B (zh) | 2019-08-27 | 2019-08-27 | 一种基于脑电信号的无人机航迹规划系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110658851B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111729194A (zh) * | 2020-06-29 | 2020-10-02 | 上海交通大学 | 一种经颅交流电刺激的刺激信号产生系统及方法 |
CN112068587A (zh) * | 2020-08-05 | 2020-12-11 | 北京航空航天大学 | 基于欧椋鸟通信机制的有人/无人机共融集群交互方法 |
CN112947455A (zh) * | 2021-02-25 | 2021-06-11 | 复旦大学 | 一种基于视觉脑机交互的高速公路自动驾驶系统和方法 |
CN113009931A (zh) * | 2021-03-08 | 2021-06-22 | 北京邮电大学 | 一种有人机与无人机混合编队协同控制装置及方法 |
CN114740886A (zh) * | 2022-03-29 | 2022-07-12 | 中国电子科技集团公司第五十四研究所 | 一种面向无人机巡逻的类脑自主化作业方法 |
CN117710844A (zh) * | 2024-02-05 | 2024-03-15 | 四川铁投泰景置业有限公司 | 基于无人机的建筑安全监视方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106292705A (zh) * | 2016-09-14 | 2017-01-04 | 东南大学 | 基于蓝牙脑电耳机的多旋翼无人机意念遥操作系统及操作方法 |
CN108113670A (zh) * | 2018-01-22 | 2018-06-05 | 江苏师范大学 | 一种多通道式诱发脑电波控制的无人机系统及控制方法 |
CN108303996A (zh) * | 2017-01-13 | 2018-07-20 | 辽宁希思腾科信息技术有限公司 | 基于脑电与半自主导航的飞行器目标搜索系统和方法 |
CN108415565A (zh) * | 2018-02-25 | 2018-08-17 | 西北工业大学 | 无人机脑机一体化智能控制方法与技术 |
CN109009887A (zh) * | 2018-07-17 | 2018-12-18 | 东北大学 | 一种基于脑机接口的人机交互式导航系统及方法 |
-
2019
- 2019-08-27 CN CN201910797270.2A patent/CN110658851B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106292705A (zh) * | 2016-09-14 | 2017-01-04 | 东南大学 | 基于蓝牙脑电耳机的多旋翼无人机意念遥操作系统及操作方法 |
CN108303996A (zh) * | 2017-01-13 | 2018-07-20 | 辽宁希思腾科信息技术有限公司 | 基于脑电与半自主导航的飞行器目标搜索系统和方法 |
CN108113670A (zh) * | 2018-01-22 | 2018-06-05 | 江苏师范大学 | 一种多通道式诱发脑电波控制的无人机系统及控制方法 |
CN108415565A (zh) * | 2018-02-25 | 2018-08-17 | 西北工业大学 | 无人机脑机一体化智能控制方法与技术 |
CN109009887A (zh) * | 2018-07-17 | 2018-12-18 | 东北大学 | 一种基于脑机接口的人机交互式导航系统及方法 |
Non-Patent Citations (3)
Title |
---|
AMIN NOURMOHAMMADI 等: "A Survey on Unmanned Aerial Vehicle Remote Control Using Brain–Computer Interface", 《IEEE TRANSACTIONS ON HUMAN-MACHINE SYSTEMS》 * |
刘一良: "非结构环境约束下的移动机器人脑电控制方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
史添玮 等: "基于半自主导航与运动想象的多旋翼飞行器二维空间目标搜索", 《工程科学学报》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111729194A (zh) * | 2020-06-29 | 2020-10-02 | 上海交通大学 | 一种经颅交流电刺激的刺激信号产生系统及方法 |
CN111729194B (zh) * | 2020-06-29 | 2023-07-25 | 上海交通大学 | 一种经颅交流电刺激的刺激信号产生系统及方法 |
CN112068587A (zh) * | 2020-08-05 | 2020-12-11 | 北京航空航天大学 | 基于欧椋鸟通信机制的有人/无人机共融集群交互方法 |
CN112947455A (zh) * | 2021-02-25 | 2021-06-11 | 复旦大学 | 一种基于视觉脑机交互的高速公路自动驾驶系统和方法 |
CN112947455B (zh) * | 2021-02-25 | 2023-05-02 | 复旦大学 | 一种基于视觉脑机交互的高速公路自动驾驶系统和方法 |
CN113009931A (zh) * | 2021-03-08 | 2021-06-22 | 北京邮电大学 | 一种有人机与无人机混合编队协同控制装置及方法 |
CN113009931B (zh) * | 2021-03-08 | 2022-11-08 | 北京邮电大学 | 一种有人机与无人机混合编队协同控制装置及方法 |
CN114740886A (zh) * | 2022-03-29 | 2022-07-12 | 中国电子科技集团公司第五十四研究所 | 一种面向无人机巡逻的类脑自主化作业方法 |
CN117710844A (zh) * | 2024-02-05 | 2024-03-15 | 四川铁投泰景置业有限公司 | 基于无人机的建筑安全监视方法 |
CN117710844B (zh) * | 2024-02-05 | 2024-04-16 | 四川铁投泰景置业有限公司 | 基于无人机的建筑安全监视方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110658851B (zh) | 2020-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110658851B (zh) | 一种基于脑电信号的无人机航迹规划系统 | |
Chen et al. | Adaptive real-time identification of motor unit discharges from non-stationary high-density surface electromyographic signals | |
Gevins | Analysis of the electromagnetic signals of the human brain: milestones, obstacles, and goals | |
Solovey et al. | Classifying driver workload using physiological and driving performance data: two field studies | |
Vaughan Jr | The analysis of scalp-recorded brain potentials | |
CN110969108B (zh) | 一种基于自主运动想象脑电的肢体动作识别方法 | |
AU2019424265A1 (en) | Fatigue Classiffication Method Based on Brain Function Network Constructed via Generalized Consistency and Relevant Vector Machine | |
Li et al. | An EEG-based method for detecting drowsy driving state | |
Lopes et al. | Automatic electroencephalogram artifact removal using deep convolutional neural networks | |
CN105342605A (zh) | 一种去除脑电信号中肌电伪迹的方法 | |
CN103932701A (zh) | 一种基于皮层脑电高频Gamma神经振荡的个体化脑功能映射方法 | |
Goen et al. | Review of surface electromyogram signals: its analysis and applications | |
Xu et al. | An adaptive graph spectral analysis method for feature extraction of an EEG signal | |
Bahador et al. | A correlation-driven mapping for deep learning application in detecting artifacts within the EEG | |
CN117918863A (zh) | 一种脑电信号实时伪迹处理与特征提取的方法和系统 | |
Liu et al. | A state-dependent IVA model for muscle artifacts removal from EEG recordings | |
Azizi et al. | A novel geometrical method for depression diagnosis based on EEG signals | |
Wu et al. | A new EMG decomposition framework for upper limb prosthetic systems | |
Vempati et al. | Eog eye blink artifact removal using multivariate variational mode decomposition and pca | |
Ji et al. | Stationary wavelet-based two-directional two-dimensional principal component analysis for EMG signal classification | |
Xie et al. | Multi-domain feature extraction from surface EMG signals using nonnegative tensor factorization | |
Song et al. | A synchronous and multi-domain feature extraction method of EEG and sEMG in power-assist rehabilitation robot | |
Altamirano | EMG pattern prediction for upper limb movements based on wavelet and Hilbert-Huang transform | |
Aghaeeaval et al. | Prediction of patient survival following postanoxic coma using EEG data and clinical features | |
CN112735595A (zh) | 一种工作记忆能力的综合评定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |