CN113589937A - 一种基于孪生网络核回归的侵入式脑机接口解码方法 - Google Patents
一种基于孪生网络核回归的侵入式脑机接口解码方法 Download PDFInfo
- Publication number
- CN113589937A CN113589937A CN202110890264.9A CN202110890264A CN113589937A CN 113589937 A CN113589937 A CN 113589937A CN 202110890264 A CN202110890264 A CN 202110890264A CN 113589937 A CN113589937 A CN 113589937A
- Authority
- CN
- China
- Prior art keywords
- neural
- twin
- kernel regression
- computer interface
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000001537 neural effect Effects 0.000 claims abstract description 49
- 230000006870 function Effects 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000013528 artificial neural network Methods 0.000 claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 210000005036 nerve Anatomy 0.000 claims abstract description 12
- 230000001902 propagating effect Effects 0.000 claims abstract description 4
- 238000012360 testing method Methods 0.000 claims abstract description 4
- 230000009471 action Effects 0.000 claims abstract description 3
- 230000008569 process Effects 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 241000282693 Cercopithecidae Species 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000036982 action potential Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000000337 motor cortex Anatomy 0.000 description 2
- 241000282560 Macaca mulatta Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003115 biocidal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Probability & Statistics with Applications (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于孪生网络核回归的侵入式脑机接口解码方法,包括以下步骤:(1)构建孪生神经网络h,选取训练集中的典型样本组成记忆库;(2)将训练阶段待解码的原始神经信号xi输入孪生神经网络h得到神经表示h(xi),使用核回归算法将神经表示h(xi)与记忆库中样本{(h(xj),yj)}的神经表示h(xj)进行比较,得到神经表示间的相似度权重k(h(xi),h(xj)),利用这些相似度权重加权对应的速度得到预测速度(3)计算损失函数,采用端到端的方式反向传播训练模型;(4)训练完毕后,将测试阶段待解码的神经信号输入孪生网络得到神经表示,然后经过核回归算法后得到预测的动作速度。利用本发明,可以一定程度上解决神经信号多变性问题,实时预测手臂速度,提升效率和准确率。
Description
技术领域
本发明属于侵入式动作电位脑信号分析领域,尤其是涉及一种基于孪生网络核回归的侵入式脑机接口解码方法。
背景技术
脑机接口(Brain Machine Interface,BMI)可以将神经活动转化为假肢装置控制的控制命令,因此在运动功能恢复和康复方面具有巨大潜力。
如公开号为CN106726030A的中国专利文献公开了一种基于临床皮层脑电信号控制机械手运动的脑机接口系统,包括信号采集模块、脑电特征提取及解码模块、机械手控制模块以及外设模块,信号采集模块将采集到的临床脑电信号进行预处理后输入到脑电特征提取及解码模块,脑电特征提取及解码模块提取预处理的脑电信号的特征,机械手控制模块对预处理后的脑电信号的特征进行分类,并将类标发送到机械手,完成手势运动;外设模块监督和反馈机械手执行的任务。
当前BMI系统的一个关键限制是神经解码器的不稳定性能,部分原因是神经活动的多变性。神经变异可以由许多因素引起,例如神经系统的内在噪声、信号记录的不稳定性和神经可塑性。
目前,常用的解码模型基于神经信号余弦调制运动信息的理论,采用固定的模型,包括群矢量分析(population vector analysis,PVA),最优线性估计(optimal linearestimation,OLE)和卡尔曼滤波器(Kalman filter,KF)。
公开号为CN105574324A的中国专利文献公开了一种自适应的脑神经信号处理方法及系统,同时采用卡尔曼算法、支持向量机算法、支持向量机回归算法、k邻近分类算法、广义回归神经网络算法和蒙特卡洛点过程算法对神经信号数据进行处理。
然而很多研究表明神经信号是多变的,神经元的偏好方向会随着许多条件改变,包括时间,速率和控制误差等等。因此,固定的模型是不能解决神经信号多变性的问题。
非参数核回归模型是解决上述问题的一种方法,如广义回归神经网络(generalregression neural networks),但是核回归模型关键的部分是衡量神经信号的相似度,由于原始神经信号具有大量的噪声,传统的度量方法不能有效反映神经信号的相似度;此外核回归需要大量的样本才能保证估计的准确性,因此计算复杂度和空间复杂度很高,不能满足BMI系统的实时性要求。
发明内容
本发明提供了一种基于孪生网络核回归的侵入式脑机接口解码方法,可在一定程度上解决神经多变性问题,并相比经典方法实现效率和准确率上的提升。
一种基于孪生网络核回归的侵入式脑机接口解码方法,包括以下步骤:
(1)构建孪生神经网络h,选取训练集中的典型样本组成记忆库;
(2)将训练阶段待解码的原始神经信号xi输入孪生神经网络h得到神经表示h(xi),然后使用核回归算法将神经表示h(xi)与记忆库中样本{(h(xj),yj)}的神经表示h(xj)进行比较,得到神经表示间的相似度权重利用这些相似度权重加权对应的速度得到预测速度
(3)计算损失函数,采用端到端的方式反向传播训练模型;
(4)训练完毕后,将待解码的神经信号输入模型,经过核回归算法后得到预测的动作速度。
步骤(1)中,所述孪生神经网络的主体结构为多层感知机,通过成对样本的对比方式来学习神经表示。
所述记忆库的构建过程具体为:
通过k均值聚类算法对训练集所有样本的速度或神经信号聚成K类,选取距离这K个聚类中心最近的样本组成记忆库{(h(xj),yj)},j∈M;M表示记忆库样本的索引集合,h(xj)为神经信号输入孪生神经网络h得到的神经表示,yj为神经信号xj对应的目标速度。
步骤(2)中,预测速度的公式为:
步骤(3)的具体过程为:
其中,N表示训练集的样本量。
与现有技术相比,本发明具有以下有益效果:
1、本发明采用基于孪生网络核回归的解码模型,可一定程度上解决神经活动多变性问题,从而鲁棒解码。
2、本发明相比传统核回归方法,在计算效率,存储效率和解码准确率上有较大的提高,相比传统解码方法,解码准确率提升很大。
附图说明
图1为本发明实施例中运动信号解码动物实验示意图;
图2为本发明基于孪生网络核回归的侵入式脑机接口解码方法的架构图;
图3为本发明实施例与其他解码方法在多天测试数据上的解码效果。
具体实施方式
下面结合附图和实施例对本发明做进一步详细描述,需要指出的是,以下所述实施例旨在便于对本发明的理解,而对其不起任何限定作用。
本发明采用文献“Li,H.,Hao,Y.,Zhang,S.,Wang,Y.,Chen,W.,&Zheng,X.(2017).Prior Knowledge of Target Direction and Intended Movement Selection ImprovesIndirect Reaching Movement Decoding.Behavioural Neurology,2017.”中采集的一只猴子的实验数据。
实验中训练一只成年雄性恒河猴,猴子通过上肢控制摇杆完成避开障碍物到达终点的任务。猴子被固定在椅子上,显示器放在椅子前50厘米处,猴子被训练使用摇杆来移动二维平面上的光标从初始位置(小圆)绕过障碍物(长方形条)到达终点(大圆),此时会获得几滴水作为奖励,具体如图1所示。
实验采用有96个通道的微电极阵列(10×10矩阵排列,4.2×4.2mm),阵列被植入猴子大脑皮层背侧前运动皮层区(PMd),手术后,抗生素治疗持续5天,猴子恢复至少一周后开展上述实验并采集数据。
阵列获得的神经活动被传输到Cerebus数据采集系统,神经信号的模拟波形被放大,然后通过巴特沃兹滤波器带通滤波(0.3Hz到7.5kHz),接着进行数字化(16位分辨率和30kHz采样率)和巴特沃斯高通滤波(250Hz)。随后采用阈值方法(负4.5倍基线均方根)采集动作电位脉冲信号。
本发明中,使用其中四天数据测试,使用MUA(multiunit activity)数据(即不进行spike sort),将单电极通道视作一个或多个神经元活动信号处理,对脉冲信号以100ms的时间进行分箱。
本发明基于孪生网络核回归的侵入式脑机接口解码方法框架图如图2所示,本发明方法包含以下步骤:
步骤(1)构建孪生神经网络h,选取训练集中的典型样本组成记忆库。
记忆库的构建过程具体为:
通过k均值聚类算法对训练集所有样本的速度或神经信号聚成K类,选取距离这K个聚类中心最近的样本组成记忆库{(h(xj),yj)},j∈M;M表示记忆库样本的索引集合,h(xj)为神经信号xj输入孪生神经网络h得到的神经表示,yj为神经信号xj对应的目标速度。
对于待解码的神经信号xi,将其送入步骤(1)的孪生网络得到鲁棒的神经表示h(xi),核回归算法通过将它与记忆库中的样本{(h(xj),yj)}的神经表示h(xj)进行比较,得到神经表示间的相似度权重利用这些相似度权重加权对应的速度然后得到目标速度yi的估计
步骤(3)计算损失函数,采用端到端的方式反向传播训练模型。
其中N表示训练集的样本量。
为了验证本方法在运动区神经信号解码任务上的可行性,作为特例将本模型在猴子运动避障范式实验中测试性能,预测猴子控制摇杆的速度。实验中采用侵入式电极阵列捕获猴脑背侧前运动区(dorsal premotor cortex,PMd)信号,采集为多通道离散的脉冲序列。
本方法使用四天数据,预测的结果采用决定系数R2来衡量解码效果。实验结果如图3所示,实验结果表明,本方法的解码准确率优于常用的卡尔曼滤波器和广义回归神经网络(传统核回归方法),同时也优于多层感知机神经网络。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明,应理解的是以上所述仅为本发明的具体实施例,并不用于限制本发明,凡在本发明的原则范围内所做的任何修改、补充和等同替换,均应包含在本发明的保护范围之内。
Claims (8)
2.根据权利要求1所述的基于孪生网络核回归的侵入式脑机接口解码方法,其特征在于,步骤(1)中,所述孪生神经网络的主体结构为多层感知机,通过成对样本的对比方式来学习神经表示。
3.根据权利要求1所述的基于孪生网络核回归的侵入式脑机接口解码方法,其特征在于,步骤(1)中,所述记忆库的构建过程具体为:
通过k均值聚类算法对训练集所有样本的速度或神经信号聚成K类,选取距离这K个聚类中心最近的样本组成记忆库{(h(xj),yj)},j∈M;M表示记忆库样本的索引集合,h(xj)为神经信号xj输入孪生神经网络h得到的神经表示,yj为神经信号xj对应的目标速度。
5.根据权利要求4所述的基于孪生网络核回归的侵入式脑机接口解码方法,其特征在于,σ设置为1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110890264.9A CN113589937B (zh) | 2021-08-04 | 2021-08-04 | 一种基于孪生网络核回归的侵入式脑机接口解码方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110890264.9A CN113589937B (zh) | 2021-08-04 | 2021-08-04 | 一种基于孪生网络核回归的侵入式脑机接口解码方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113589937A true CN113589937A (zh) | 2021-11-02 |
CN113589937B CN113589937B (zh) | 2024-04-02 |
Family
ID=78254829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110890264.9A Active CN113589937B (zh) | 2021-08-04 | 2021-08-04 | 一种基于孪生网络核回归的侵入式脑机接口解码方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113589937B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115565540A (zh) * | 2022-12-05 | 2023-01-03 | 浙江大学 | 一种侵入式脑机接口汉语发音解码方法 |
CN115617180A (zh) * | 2022-12-02 | 2023-01-17 | 浙江大学 | 一种基于侵入式脑机接口的灵巧手部运动解码方法 |
CN116187152A (zh) * | 2022-10-24 | 2023-05-30 | 浙江大学 | 一种基于动态进化计算的侵入式脑机接口自适应解码方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109508655A (zh) * | 2018-10-28 | 2019-03-22 | 北京化工大学 | 基于孪生网络的不完备训练集的sar目标识别方法 |
CN109685206A (zh) * | 2018-09-30 | 2019-04-26 | 上海联影医疗科技有限公司 | 生成用于图像处理的神经网络模型的系统和方法 |
CN110751032A (zh) * | 2019-09-20 | 2020-02-04 | 华中科技大学 | 一种无需校准的脑机接口模型的训练方法 |
CN112585550A (zh) * | 2018-12-21 | 2021-03-30 | 大陆-特韦斯贸易合伙股份公司及两合公司 | 基于神经网络的驾驶功能监控 |
-
2021
- 2021-08-04 CN CN202110890264.9A patent/CN113589937B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685206A (zh) * | 2018-09-30 | 2019-04-26 | 上海联影医疗科技有限公司 | 生成用于图像处理的神经网络模型的系统和方法 |
CN109508655A (zh) * | 2018-10-28 | 2019-03-22 | 北京化工大学 | 基于孪生网络的不完备训练集的sar目标识别方法 |
CN112585550A (zh) * | 2018-12-21 | 2021-03-30 | 大陆-特韦斯贸易合伙股份公司及两合公司 | 基于神经网络的驾驶功能监控 |
CN110751032A (zh) * | 2019-09-20 | 2020-02-04 | 华中科技大学 | 一种无需校准的脑机接口模型的训练方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116187152A (zh) * | 2022-10-24 | 2023-05-30 | 浙江大学 | 一种基于动态进化计算的侵入式脑机接口自适应解码方法 |
CN116187152B (zh) * | 2022-10-24 | 2023-08-25 | 浙江大学 | 一种基于动态进化计算的侵入式脑机接口自适应解码方法 |
CN115617180A (zh) * | 2022-12-02 | 2023-01-17 | 浙江大学 | 一种基于侵入式脑机接口的灵巧手部运动解码方法 |
CN115565540A (zh) * | 2022-12-05 | 2023-01-03 | 浙江大学 | 一种侵入式脑机接口汉语发音解码方法 |
CN115565540B (zh) * | 2022-12-05 | 2023-04-07 | 浙江大学 | 一种侵入式脑机接口汉语发音解码方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113589937B (zh) | 2024-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhu et al. | Separated channel convolutional neural network to realize the training free motor imagery BCI systems | |
Gao et al. | A GPSO-optimized convolutional neural networks for EEG-based emotion recognition | |
CN113589937B (zh) | 一种基于孪生网络核回归的侵入式脑机接口解码方法 | |
Dose et al. | An end-to-end deep learning approach to MI-EEG signal classification for BCIs | |
Yang et al. | Motor imagery EEG decoding method based on a discriminative feature learning strategy | |
Sikder et al. | Human activity recognition using multichannel convolutional neural network | |
Hammon et al. | Predicting reaching targets from human EEG | |
Coyle et al. | A time-series prediction approach for feature extraction in a brain-computer interface | |
CN112861604B (zh) | 一种与用户无关的肌电动作识别与控制方法 | |
CN110555468A (zh) | 一种联合递归图和cnn的脑电信号识别方法及系统 | |
Kumar et al. | OPTICAL+: a frequency-based deep learning scheme for recognizing brain wave signals | |
Du et al. | IENet: a robust convolutional neural network for EEG based brain-computer interfaces | |
Mo et al. | Motor imagery electroencephalograph classification based on optimized support vector machine by magnetic bacteria optimization algorithm | |
Zhang et al. | Learning eeg representations with weighted convolutional siamese network: a large multi-session post-stroke rehabilitation study | |
Li et al. | A robust 3D-convolutional neural network-based electroencephalogram decoding model for the intra-individual difference | |
CN115358264A (zh) | 一种侵入式脑机接口任务相关神经信号提取方法 | |
Dalhoumi et al. | An adaptive accuracy-weighted ensemble for inter-subjects classification in brain-computer interfacing | |
Tripathi et al. | SurfMyoAiR: A surface electromyography-based framework for airwriting recognition | |
Mughal et al. | fNIRS based multi-class mental workload classification using recurrence plots and CNN-LSTM | |
Dimitrov et al. | Increasing the classification accuracy of EEG based brain-computer interface signals | |
Adam et al. | Evaluation of different time domain peak models using extreme learning machine-based peak detection for EEG signal | |
Xu et al. | Comparisons between linear and nonlinear methods for decoding motor cortical activities of monkey | |
Zhang et al. | Non-uniform sample assignment in training set improving recognition of hand gestures dominated with similar muscle activities | |
Sudarmaa et al. | Detecting Excessive Daytime Sleepiness With CNN And Commercial Grade EEG | |
CN112381124A (zh) | 一种基于动态逆学习网络的提高脑机接口性能的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |