CN109770900A - 基于卷积神经网络的脑机接口指令下发方法、系统、装置 - Google Patents
基于卷积神经网络的脑机接口指令下发方法、系统、装置 Download PDFInfo
- Publication number
- CN109770900A CN109770900A CN201910016932.8A CN201910016932A CN109770900A CN 109770900 A CN109770900 A CN 109770900A CN 201910016932 A CN201910016932 A CN 201910016932A CN 109770900 A CN109770900 A CN 109770900A
- Authority
- CN
- China
- Prior art keywords
- data
- classification
- frequency domain
- eeg signals
- neural networks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 46
- 238000002716 delivery method Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 15
- 239000012141 concentrate Substances 0.000 claims abstract description 13
- 239000000284 extract Substances 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000002203 pretreatment Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 21
- 230000000763 evoking effect Effects 0.000 abstract description 17
- 230000002093 peripheral effect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract 1
- 238000010219 correlation analysis Methods 0.000 description 10
- 210000004556 brain Anatomy 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000000638 stimulation Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000005611 electricity Effects 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000000869 occipital lobe Anatomy 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- IZEKFCXSFNUWAM-UHFFFAOYSA-N dipyridamole Chemical compound C=12N=C(N(CCO)CCO)N=C(N3CCCCC3)C2=NC(N(CCO)CCO)=NC=1N1CCCCC1 IZEKFCXSFNUWAM-UHFFFAOYSA-N 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000001769 paralizing effect Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明属于脑机接口解码算法领域，具体涉及一种基于卷积神经网络的脑机接口指令下发方法、系统、装置，旨在进一步提高稳态视觉诱发电位信号分类效果，进而提高外部设备控制指令下发的准确性。本发明方法包括：将获取的脑电信号数据转换到频域并提取特征；采用预设的分类模型计算频域特征数据的类别；获取类别对应的指令，并下发至外部设备。其中分类模型包括：类别对比模板，处理训练数据集中各类脑电信号数据并提取特征；对比网络，用于计算频域特征数据与各类别对比模板的相关性；选择模块，根据相关性选择所输入频域特征数据对应的类别。本发明方法与传统方法相比，准确率有明显的提升，并且准确率随着训练集的增加，也会有明显的提升。
Description
技术领域
本发明属于脑机接口解码算法领域，具体涉及了一种基于卷积神经网络的脑机接口指令下发方法、系统、装置。
背景技术
脑机接口是一个通过采集、分析大脑信号，并将其转换为输出指令，实现由大脑信号对外部设备直接控制的系统[1]。脑机接口作为一个新的研究方向，具有重要的科学意义和广阔的应用前景。它可以为瘫痪病人提供与外界交流的渠道，以提升生活质量。近来，基于脑电的脑机接口有了迅速的发展，尤其是基于稳态视觉诱发电位的脑机接口获得广泛应用。相比于其他范式脑机接口，基于稳态视觉诱发电位的脑机接口范式具有更高的信息传输率特点，并且是唯一无需进行提前训练的脑电信号，需要的脑电图通道更少。稳态视觉诱发电位是经固定频率刺激眼球的视网膜，诱发大脑皮层枕叶部位产生响应，而得到的脑电信号，此信号可以在枕叶视觉相关区域的头皮层进行采集，通过对采集到的脑信号进行频谱分析，得到一个目标频率，即受试者眼球受到的刺激频率。稳态视觉诱发电位在频谱上的分布与视觉刺激频率成倍数关系，例如，当一个6Hz的固定调制频率刺激眼球，则会在频谱上观察到6Hz、12Hz、18Hz等频率处存在波峰。
目前，有许多解码稳态视觉诱发电位的方法。基于稳态视觉诱发电位信号的频率特征，通过离散傅立叶变换的功率谱密度分析被广泛用于从单通道检测稳态视觉诱发电位的目标频率。典型相关分析是检测用频率编码标记的稳态视觉诱发电位的最流行的方法[2]。后来许多基于典型相关分析的改进方法被提出，如基于单个模板的典型相关分析，多路典型相关分析，多组典型相关分析，其性能优于标准典型相关分析，通过优化参考信号。另一方面，Tanaka H.et.al.提出了一种新方法，可以提取任务相关成分命名任务相关成分分析[3]，此方法可以有效地去除伪像，以提高信噪比，显示出比典型相关分析更好的性能[4]。这些方法通过矩阵分析的方法求解，无法学习信号的深层特征。
近年来，卷积神经网络是机器学习领域最大的进步之一。2017年，Kwak，N.S.等人提出了一种基于分类器的深度卷积神经网络，它使用频率特征作为稳态视觉诱发电位检测的输入，并发现了卷积神经网络架构能够得到有效的稳态视觉诱发电位解码结果。Attia，M.等人开发了一种深度学习模型，该模型使用基于卷积和递归神经网络的混合架构直接对时域中的稳态视觉诱发电位信号进行分类。这些方法能够发现稳态视觉诱发电位信号的深层特征，但是并不能有效利用稳态视觉诱发电位信号的先验知识，在分类效果方面还可以进一步提高。
总的来说，虽然该领域提出了很多方法，但不能学习信号的深层特征并有效利用稳态视觉诱发电位信号的先验知识，分类准确度有待进一步提高。
以下文献是与本发明相关的技术背景资料：
[1]M.A.Lebedev and M.A.L.Nicolelis,“Brain-machine interfaces:past,present and future,”Trends Neurosci.,vol.29,no.9,pp.
536–546,2006.
[2]Z.Lin,C.Zhang,W.Wu,and X.Gao,“Frequency recognition based oncanonical correlation analysis for SSVEP-Based BCIs,”IEEE Trans.Biomed.Eng.,vol.54,no.6,pp.1172–1176,2007.
[3]M.Attia,I.Hettiarachchi,M.Hossny,and S.Nahavandi,“A time domainclassification of steady-state visual evoked potentials using deep recurrent-convolutional neural networks,”in Proceedings-International Symposium onBiomedical Imaging,2018,vol.2018–April.
[4]H.Tanaka,T.Katura,and H.Sato,“Task-related component analysis forfunctional neuroimaging and application to near-infrared spectroscopy data,”Neuroimage,vol.64,pp.308–327,2013.
发明内容
为了解决现有技术中的上述问题，即为了解决稳态视觉诱发电位信号解码分类准确度不高引起的外部设备控制指令下发不准确的问题，本发明提供了一种基于卷积神经网络的脑机接口指令下发方法，包括：
步骤S10，将所获取的脑电信号数据转换到频域并提取特征，获得频域特征数据；
步骤S20，采用预设的分类模型计算步骤S10所获取频域特征数据的类别；
步骤S30，基于预设的类别-指令映射关系，获取所述类别对应的指令，并下发至外部设备；
其中，所述分类模型包括类别对比模板、对比网络、选择模块；
所述类别对比模板，其获取方法为：对训练数据集中各类脑电信号数据分别进行均值处理，并采用步骤S10的特征提取方法分别提取各类脑电信号数据的特征，得到M个数据类别对比模板；所述训练数据集由M类频率刺激的脑电信号数据构成，每类包括N组脑电信号数据；
所述对比网络，基于卷积神经网络构建，用于计算所输入频域特征数据与各类别对比模板的相关性；
所述选择模块，用于根据所计算的相关性选择所输入频域特征数据对应的类别。
在一些优选的实施例中，步骤S10中在进行频域转换之前还设置有脑电信号数据预处理步骤，包括：
对脑电信号数据的频率进行降采样；使用带通滤波器对降采样数据进行滤波；对滤波后的数据使用滑窗进行数据截取。
在一些优选的实施例中，所述数据数据预处理步骤的降采样、滤波处理、数据截取，其参数为：
对脑电信号数据的频率1000Hz进行降采样至250Hz；使用5Hz-70Hz的带通滤波器对降采样数据进行滤波；对滤波后的数据使用2秒滑窗进行数据截取，其中滑窗的步长是40毫秒(10个采样点)。
在一些优选的实施例中，步骤S10中“将所获取的脑电信号数据转换到频域并提取特征”，其步骤为：
步骤S11，通过快速傅立叶变换将所述脑电信号数据转换到频域，获得频域数据；
步骤S12，截取所述频域数据中预设频段(5Hz-68Hz，128个数据)的数据，应用0均值标准化法把数据归一化为均值为0、方差为1的数据，得到频域特征数据。
在一些优选的实施例中，步骤S20中“采用预设的分类模型计算步骤S10所获取频域特征数据的类别”，其方法为：
采用对比网络计算所述频域特征数据与类别对比模板的相关性，频域特征数据与类别对比模板为同一类，则输出值为1；频域特征数据与类别对比模板不是同一类，则输出值为0；在得到的N个不同的值中选择最大的值的类别作为输入数据所属的类别。
在一些优选的实施例中，所述对训练数据集中各类脑电信号数据分别进行均值处理，其方法为：
按照训练数据集中各类脑电信号数据分别相加，分别对相加后的数据求平均值，得到每个类别均值数据。
在一些优选的实施例中，所述卷积神经网络，包括：
输入层、卷积层、全连接层、输出层。
本发明的另一方面，提出了一种基于卷积神经网络的脑机接口指令下发系统，包括输入模块、特征提取模块、分类模块、输出模块；
所述输入模块，配置为获取脑电信号数据并输入；
所述特征提取模块，配置为将所述脑电信号数据转换到频域并提取特征，获得频域特征数据；
所述分类模块，配置为采用预设的分类模型计算所述特征提取模块提取的频域特征数据的类别；
所述输出模块，配置为基于预设的类别-指令映射关系，获取所述类别对应的指令，并下发至外部设备；
其中，所述分类模块，包括类别对比模块、对比网络模块、选择模块；
所述类别对比模块，配置为对训练数据集中各类脑电信号数据分别进行均值处理，并提取各类脑电信号数据的特征，得到M个数据类别对比模板；所述训练数据集由M类频率刺激的脑电信号数据构成，每类包括N组脑电信号数据；
所述对比网络模块，配置为基于卷积神经网络构建，用于计算所输入频域特征数据与各类别对比模板的相关性；
所述分类模块，配置为根据所计算的相关性选择所输入频域特征数据对应的类别。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于卷积神经网络的脑机接口指令下发方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于卷积神经网络的脑机接口指令下发方法。
本发明的有益效果：
(1)本发明的基于卷积神经网络的脑机接口指令下发方法相较于传统的典型相关分析法，从最优分类准确率、最差分类准确率以及平均分类准确率上来看，都有明显的提升。
(2)本发明的分类准确率会随着训练集的增加，有明显的提升。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于卷积神经网络的脑机接口指令下发方法的系统流程示意图；
图2是本发明基于卷积神经网络的脑机接口指令下发方法实施例的脑电信号数据组成结构示意图；
图3是本发明基于卷积神经网络的脑机接口指令下发方法实施例的分类模型示意图；
图4是本发明基于卷积神经网络的脑机接口指令下发方法实施例的卷积操作过程示意图；
图5是本发明基于卷积神经网络的脑机接口指令下发方法实施例的分类结果准确率对比示意图；
图6是本发明基于卷积神经网络的脑机接口指令下发方法分类结果准确率随训练数据量大小变化曲线图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
现有的解码稳态视觉诱发电位的方法很多，但基本上不能兼顾学习信号的深层特征和有效利用稳态视觉诱发电位信号的先验知识，分类准确度有待进一步提高。本发明的技术方案结合这两方面技术进行改进，提高了分类的准确性，进而提高了外部设备控制指令下发的准确性。
本发明的一种基于卷积神经网络的脑机接口指令下发方法，包括：
步骤S10，将所获取的脑电信号数据转换到频域并提取特征，获得频域特征数据；
步骤S20，采用预设的分类模型计算步骤S10所获取频域特征数据的类别；
步骤S30，基于预设的类别-指令映射关系，获取所述类别对应的指令，并下发至外部设备；
其中，所述分类模型包括类别对比模板、对比网络、选择模块；
所述类别对比模板，其获取方法为：对训练数据集中各类脑电信号数据分别进行均值处理，并采用步骤S10的特征提取方法分别提取各类脑电信号数据的特征，得到M个数据类别对比模板；所述训练数据集由M类频率刺激的脑电信号数据构成，每类包括N组脑电信号数据；
所述对比网络，基于卷积神经网络构建，用于计算所输入频域特征数据与各类别对比模板的相关性；
所述选择模块，用于根据所计算的相关性选择所输入频域特征数据对应的类别。
为了更清晰地对本发明基于卷积神经网络的脑机接口指令下发方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。
本发明一种实施例的基于卷积神经网络的脑机接口指令下发方法，包括步骤S10-步骤S30，各步骤详细描述如下：
步骤S10，将所获取的脑电信号数据转换到频域并提取特征，获得频域特征数据。
步骤S11，通过快速傅立叶变换将所述脑电信号数据转换到频域，获得频域数据。
步骤S12，截取所述频域数据中预设频段(5Hz-68Hz，128个数据)的数据，应用0均值标准化法把数据归一化为均值为0、方差为1的数据，得到频域特征数据。
本发明优选的实施例中，采用视觉刺激的方式获取脑电信号数据，被测对象保持静息，距离显示器70cm，采用左耳后导联M1为参考电极，采集PZ、PO5、PO3、POz、PO4、PO6、O1、OZ和O2这9导数据，数据采集期间，被测对象不做其他动作，导联阻抗保持在10千欧以下。
步骤S10中，脑电信号数据在进行频域转换之前还设置有脑电信号预处理步骤，包括：
对脑电信号数据的频率进行降采样；使用带通滤波器对降采样数据进行滤波；对滤波后的数据使用滑窗进行数据截取。
本发明优选的实施中，对脑电数据预处理选取的参数为：
对脑电信号数据的频率1000Hz进行降采样至250Hz；使用5Hz-70Hz的带通滤波器对降采样数据进行滤波；对滤波后的数据使用2秒滑窗进行数据截取，其中滑窗的步长是40毫秒(10个采样点)。
步骤S20，采用预设的分类模型计算步骤S10所获取频域特征数据的类别。
其中，分类模型包括类别对比模板、对比网络、选择模块。
类别对比模板，其获取方法为：对训练数据集中各类脑电信号数据分别进行均值处理，并采用步骤S10的特征提取方法分别提取各类脑电信号数据的特征，得到M个数据类别对比模板；所述训练数据集由M类频率刺激的脑电信号数据构成，每类包括N组脑电信号数据。
对训练数据集中各类脑电信号数据分别进行均值处理，其方法为：
按照训练数据集中各类脑电信号数据分别相加，分别对相加后的数据求平均值，得到每个类别均值数据。
本发明优选的实施例中，采用4个频率刺激，分别对应频率7Hz、8Hz、9Hz、10Hz，在LCD显示器上通过闪烁的方式显示，被测对象在提示出现后，快速调整视野焦点至相应闪烁处，接下来任务期保持注视状态。
采集脑电信号的过程中，被测对象保持静息，距离显示器70cm，采用左耳后导联M1为参考电极，采集PZ、PO5、PO3、POz、PO4、PO6、O1、OZ和O2这9导数据，每个频率的脑电信号共采集100组，数据采集期间，被测对象不做其他动作，导联阻抗保持在10千欧以下。
如图2所示，脑电信号数据时长共7s，前2s为提示期，后5s为任务期。
本发明优选的实施例中，类别对比模板获得的步骤为：
(1)按照4个频率类别将训练数据的同一个类别的数据相加，得到4个数据，记为S。
(2)对相加得到的数据S求平均值，得到均值化数据，记为SA。
(3)对均值化数据SA进行快速傅立叶变换，得到训练数据对应的频域数据，记为F。
(4)截取训练数据对应数据中频段5-68Hz数据(128个数据)，应用0均值标准化法把数据归一化为均值为0，方差为1的数据，得到对比模板如式(1)所示：
其中，NT是训练试验组数，xi是训练的脑电数据。f()表示截取5-68Hz数据，zscore{}表示0均值归一化。
本发明优选的实施例中，获得对比模板4个，7Hz模板、8Hz模板、9Hz模板和10Hz模板。
对比网络，基于卷积神经网络构建，用于计算所输入频域特征数据与各类别对比模板的相关性。
卷积神经网络，包括输入层、卷积层、全连接层、输出层。
如图3所示，本发明优选的实施例中，对比网络的输入为样本、4个模板，通过神经网络处理，对相应的特征提取做特征图拼接对比，在相关得分中选择最大的得分值的类别作为测试数据类别。
神经网络对输入的操作相同，如图4所示，本发明优选实施例的输入数据由输入层I输入，输入数据为128×9的矩阵，经过两层卷积计算、一层全连接计算。第一个卷积层C1采用的卷积核为1×9，形成9个128×1(9@128×1)的特征图；第二个卷积层C2采用的卷积核为11×1，形成9个128×1(9@128×1)的特征图。对比模板和样本数据经过两层卷积和一层全连接计算得到的全连接数据连接到一起，节点数为2304×1，再经过一个512结点的全连接层，最终连接到输出层输出。
最终输出层的激活函数是Sigmoid函数，其余各层的激活函数是ReLu函数。为防止过拟合问题，在第一个全连接层后加入了Dropout和L2正则化。
本发明优选实施例中一共有20名被测对象，每名被测对象采集的每一类数据均为100组，其中随机抽取80组数据作为训练数据，其他20组数据作为测试数据。典型相关分析(CCA，Canonical Correlation Analysis)所得分类准确率与本发明基于卷积神经网络的解码脑机接口电位的分类方法准确率对比如图5所示，横坐标代表两种分类方法，纵坐标代表分类的准确率。表1为两种方法分类准确率的具体
表1
通过表1和图5可以看出，应用本发明方法得到的准确率要高于传统的典型相关分析。为了进一步说明本发明方法的优越性，通过T检验(T检验，采用T分布理论来推论差异发生的概率，从而比较两个平均数的差异是否显著)来衡量两种方法所得结果进行分析，通过计算得到p＝0.00011，表明本发明方法相较于传统的典型相关分析法在分类准确率上具有显著的差异，存在明显的优势。
本发明基于卷积神经网络的解码脑机接口电位的分类方法涉及到训练数据量的问题，训练数据量大小对准确率也有影响，随着训练集数据减少，准确率在逐渐下降，当训练数据在30组的时候，准确率降到CCA准确率之下，具体趋势如图6所示，横坐标代表了训练组数，纵坐标代表分类准确率。图中训练数据组数为30、40、50、60、70、80时，准确率分别为73.51％、74.89％、75.8％、77.4％、78.11％、78.65％，从数据可以看出，随着训练数据组的增加，分类的准确率也在不断提高，说明本发明方法有效提高了对脑电信号数据分类的准确性。
本发明第二实施例的基于卷积神经网络的脑机接口指令下发系统，包括输入模块、特征提取模块、分类模块、输出模块；
所述输入模块，配置为获取脑电信号数据并输入；
所述特征提取模块，配置为将所述脑电信号数据转换到频域并提取特征，获得频域特征数据；
所述分类模块，配置为采用预设的分类模型计算所述特征提取模块提取的频域特征数据的类别；
所述输出模块，配置为基于预设的类别-指令映射关系，获取所述类别对应的指令，并下发至外部设备；
其中，所述分类模块，包括类别对比模块、对比网络模块、选择模块；
所述类别对比模块，配置为对训练数据集中各类脑电信号数据分别进行均值处理，并提取各类脑电信号数据的特征，得到M个数据类别对比模板；所述训练数据集由M类频率刺激的脑电信号数据构成，每类包括N组脑电信号数据；
所述对比网络模块，配置为基于卷积神经网络构建，用于计算所输入频域特征数据与各类别对比模板的相关性；
所述分类模块，配置为根据所计算的相关性选择所输入频域特征数据对应的类别。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于卷积神经网络的脑机接口指令下发系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于卷积神经网络的脑机接口指令下发方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于卷积神经网络的脑机接口指令下发方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“外部设备”包括但不仅限于智能机械手臂、智能机器人、智能键盘等。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于卷积神经网络的脑机接口指令下发方法，其特征在于，包括：
步骤S10，将所获取的脑电信号数据转换到频域并提取特征，获得频域特征数据；
步骤S20，采用预设的分类模型计算步骤S10所获取频域特征数据的类别；
步骤S30，基于预设的类别-指令映射关系，获取所述类别对应的指令，并下发至外部设备；
其中，所述分类模型包括类别对比模板、对比网络、选择模块；
所述类别对比模板，其获取方法为：对训练数据集中各类脑电信号数据分别进行均值处理，并采用步骤S10的特征提取方法分别提取各类脑电信号数据的特征，得到M个数据类别对比模板；所述训练数据集由M类频率刺激的脑电信号数据构成，每类包括N组脑电信号数据；
所述对比网络，基于卷积神经网络构建，用于计算所输入频域特征数据与各类别对比模板的相关性；
所述选择模块，用于根据所计算的相关性选择所输入频域特征数据对应的类别。
2.根据权利要求1所述的基于卷积神经网络的脑机接口指令下发方法，其特征在于，步骤S10中在进行频域转换之前还设置有脑电信号数据预处理步骤，包括：
对脑电信号数据的频率进行降采样；使用带通滤波器对降采样数据进行滤波；对滤波后的数据使用滑窗进行数据截取。
3.根据权利要求1所述的基于卷积神经网络的脑机接口指令下发方法，其特征在于，步骤S10中“将所获取的脑电信号数据转换到频域并提取特征”，其步骤为：
步骤S11，通过快速傅立叶变换将所述脑电信号数据转换到频域，获得频域数据；
步骤S12，截取所述频域数据中预设频段的数据，应用0均值标准化法把数据归一化为均值为0、方差为1的数据，得到频域特征数据。
4.根据权利要求1所述的基于卷积神经网络的脑机接口指令下发方法，其特征在于，步骤S20中“采用预设的分类模型计算步骤S10所获取频域特征数据的类别”，其方法为：
采用对比网络计算所述频域特征数据与类别对比模板的相关性，频域特征数据与类别对比模板为同一类，则输出值为1；频域特征数据与类别对比模板不是同一类，则输出值为0；在得到的N个不同的值中选择最大的值的类别作为输入数据所属的类别。
5.根据权利要求1所述的基于卷积神经网络的脑机接口指令下发方法，其特征在于，所述对训练数据集中各类脑电信号数据分别进行均值处理，其方法为：
按照训练数据集中各类脑电信号数据分别相加，分别对相加后的数据求平均值，得到每个类别均值数据。
6.根据权利要求1所述的基于卷积神经网络的脑机接口指令下发方法，其特征在于，所述卷积神经网络，包括：
输入层、卷积层、全连接层、输出层。
7.根据权利要求2所述的基于卷积神经网络的脑机接口指令下发方法，其特征在于，所述数据数据预处理步骤的降采样、滤波处理、数据截取，其参数为：
对脑电信号数据的频率1000Hz进行降采样至250Hz；使用5Hz-70Hz的带通滤波器对降采样数据进行滤波；对滤波后的数据使用2秒滑窗进行数据截取，其中滑窗的步长是40毫秒。
8.一种基于卷积神经网络的脑机接口指令下发系统，其特征在于，包括输入模块、特征提取模块、分类模块、输出模块；
所述输入模块，配置为获取脑电信号数据并输入；
所述特征提取模块，配置为将所述脑电信号数据转换到频域并提取特征，获得频域特征数据；
所述分类模块，配置为采用预设的分类模型计算所述特征提取模块提取的频域特征数据的类别；
所述输出模块，配置为基于预设的类别-指令映射关系，获取所述类别对应的指令，并下发至外部设备；
其中，所述分类模块，包括类别对比模块、对比网络模块、选择模块；
所述类别对比模块，配置为对训练数据集中各类脑电信号数据分别进行均值处理，并提取各类脑电信号数据的特征，得到M个数据类别对比模板；所述训练数据集由M类频率刺激的脑电信号数据构成，每类包括N组脑电信号数据；
所述对比网络模块，配置为基于卷积神经网络构建，用于计算所输入频域特征数据与各类别对比模板的相关性；
所述分类模块，配置为根据所计算的相关性选择所输入频域特征数据对应的类别。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-7任一项所述的基于卷积神经网络的脑机接口指令下发方法。
10.一种处理装置，包括
处理器，适于执行各条程序；以及
存储装置，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：
权利要求1-7任一项所述的基于卷积神经网络的脑机接口指令下发方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910016932.8A CN109770900B (zh) | 2019-01-08 | 2019-01-08 | 基于卷积神经网络的脑机接口指令下发方法、系统、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910016932.8A CN109770900B (zh) | 2019-01-08 | 2019-01-08 | 基于卷积神经网络的脑机接口指令下发方法、系统、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109770900A true CN109770900A (zh) | 2019-05-21 |
| CN109770900B CN109770900B (zh) | 2020-12-01 |
Family
ID=66500177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910016932.8A Active CN109770900B (zh) | 2019-01-08 | 2019-01-08 | 基于卷积神经网络的脑机接口指令下发方法、系统、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109770900B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112070177A (zh) * | 2020-09-18 | 2020-12-11 | 中国科学院自动化研究所 | 基于多任务信息提高目标检测泛化能力的脑机接口系统 |
| CN112116995A (zh) * | 2020-08-31 | 2020-12-22 | 山东师范大学 | 一种脑u护理机及方法 |
| CN113343798A (zh) * | 2021-05-25 | 2021-09-03 | 中电云脑(天津)科技有限公司 | 一种脑机接口分类模型的训练方法、装置、设备及介质 |
| CN113655884A (zh) * | 2021-08-17 | 2021-11-16 | 河北师范大学 | 设备控制方法、终端及系统 |
| WO2022142653A1 (zh) * | 2020-12-29 | 2022-07-07 | 浙江大学 | 一种基于多模型动态集成的自适应脑机接口解码方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103064508A (zh) * | 2011-10-19 | 2013-04-24 | 中央大学 | 步进延迟闪烁序列的脑机接口控制方法及其系统 |
| US20130127708A1 (en) * | 2010-05-28 | 2013-05-23 | The Regents Of The University Of California | Cell-phone based wireless and mobile brain-machine interface |
| US20170202476A1 (en) * | 2014-07-24 | 2017-07-20 | Stichting Katholieke Universiteit | Brain computer interface using broadband evoked potentials |
| CN108319693A (zh) * | 2018-02-01 | 2018-07-24 | 张文淑 | 一种基于立体遥感数据库的地貌特征聚类分析方法 |
| CN108433722A (zh) * | 2018-02-28 | 2018-08-24 | 天津大学 | 便携式脑电采集设备及其在ssvep和运动想象中的应用 |
| CN109009887A (zh) * | 2018-07-17 | 2018-12-18 | 东北大学 | 一种基于脑机接口的人机交互式导航系统及方法 |
-
2019
- 2019-01-08 CN CN201910016932.8A patent/CN109770900B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130127708A1 (en) * | 2010-05-28 | 2013-05-23 | The Regents Of The University Of California | Cell-phone based wireless and mobile brain-machine interface |
| CN103064508A (zh) * | 2011-10-19 | 2013-04-24 | 中央大学 | 步进延迟闪烁序列的脑机接口控制方法及其系统 |
| US20170202476A1 (en) * | 2014-07-24 | 2017-07-20 | Stichting Katholieke Universiteit | Brain computer interface using broadband evoked potentials |
| CN108319693A (zh) * | 2018-02-01 | 2018-07-24 | 张文淑 | 一种基于立体遥感数据库的地貌特征聚类分析方法 |
| CN108433722A (zh) * | 2018-02-28 | 2018-08-24 | 天津大学 | 便携式脑电采集设备及其在ssvep和运动想象中的应用 |
| CN109009887A (zh) * | 2018-07-17 | 2018-12-18 | 东北大学 | 一种基于脑机接口的人机交互式导航系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| HUIGUANG HE ET AL: "Improving EEG-Based Motor Imagery Classification via Spatial and Temporal Recurrent Neural Networks", 《IEEEXPLORE》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112116995A (zh) * | 2020-08-31 | 2020-12-22 | 山东师范大学 | 一种脑u护理机及方法 |
| CN112070177A (zh) * | 2020-09-18 | 2020-12-11 | 中国科学院自动化研究所 | 基于多任务信息提高目标检测泛化能力的脑机接口系统 |
| WO2022142653A1 (zh) * | 2020-12-29 | 2022-07-07 | 浙江大学 | 一种基于多模型动态集成的自适应脑机接口解码方法 |
| CN113343798A (zh) * | 2021-05-25 | 2021-09-03 | 中电云脑(天津)科技有限公司 | 一种脑机接口分类模型的训练方法、装置、设备及介质 |
| CN113655884A (zh) * | 2021-08-17 | 2021-11-16 | 河北师范大学 | 设备控制方法、终端及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109770900B (zh) | 2020-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109770900A (zh) | 基于卷积神经网络的脑机接口指令下发方法、系统、装置 | |
| Lemm et al. | Spatio-spectral filters for improving the classification of single trial EEG | |
| Barachant et al. | A plug&play P300 BCI using information geometry | |
| Oikonomou et al. | Comparative evaluation of state-of-the-art algorithms for SSVEP-based BCIs | |
| CN104586387B (zh) | 一种时、频、空域多参数脑电特征提取与融合方法 | |
| EP3011895B1 (en) | Determining cognitive load of a subject from electroencephalography (EEG) signals | |
| Parini et al. | A Robust and Self‐Paced BCI System Based on a Four Class SSVEP Paradigm: Algorithms and Protocols for a High‐Transfer‐Rate Direct Brain Communication | |
| Blankertz et al. | Optimizing spatial filters for robust EEG single-trial analysis | |
| Bentlemsan et al. | Random forest and filter bank common spatial patterns for EEG-based motor imagery classification | |
| Tomioka et al. | Spectrally weighted common spatial pattern algorithm for single trial EEG classification | |
| Xu et al. | High accuracy classification of EEG signal | |
| CN111329474A (zh) | 基于深度学习的脑电身份识别方法、系统及信息更新方法 | |
| CN108577865A (zh) | 一种心理状态确定方法及装置 | |
| Ge et al. | A double-partial least-squares model for the detection of steady-state visual evoked potentials | |
| Wu et al. | Classification of EEG motor imagery using support vector machine and convolutional neural network | |
| CN109657646B (zh) | 生理时间序列的特征表示与提取方法、装置及存储介质 | |
| Tanaka et al. | SSVEP frequency detection methods considering background EEG | |
| CN112488002A (zh) | 基于n170的情绪识别方法及识别系统 | |
| CN109009098A (zh) | 一种运动想象状态下的脑电信号特征识别方法 | |
| CN108491792B (zh) | 基于眼电信号的办公场景人机交互行为识别方法 | |
| Maleki et al. | Application of PLSR with a comparison of MATLAB classification learner app in using BCI | |
| Xie et al. | A spatio-temporal method for extracting gamma-band features to enhance classification in a rapid serial visual presentation task | |
| Delorme et al. | Comparing results of algorithms implementing blind source separation of EEG data | |
| Mora et al. | Simple and efficient methods for steady state visual evoked potential detection in BCI embedded system | |
| Hsu | Wavelet-coherence features for motor imagery EEG analysis posterior to EOG noise elimination |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |