CN113589937B - 一种基于孪生网络核回归的侵入式脑机接口解码方法 - Google Patents

一种基于孪生网络核回归的侵入式脑机接口解码方法 Download PDF

Info

Publication number
CN113589937B
CN113589937B CN202110890264.9A CN202110890264A CN113589937B CN 113589937 B CN113589937 B CN 113589937B CN 202110890264 A CN202110890264 A CN 202110890264A CN 113589937 B CN113589937 B CN 113589937B
Authority
CN
China
Prior art keywords
neural
twin
computer interface
kernel regression
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110890264.9A
Other languages
English (en)
Other versions
CN113589937A (zh
Inventor
祁玉
李彦钢
王跃明
潘纲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110890264.9A priority Critical patent/CN113589937B/zh
Publication of CN113589937A publication Critical patent/CN113589937A/zh
Application granted granted Critical
Publication of CN113589937B publication Critical patent/CN113589937B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于孪生网络核回归的侵入式脑机接口解码方法,包括以下步骤:(1)构建孪生神经网络h,选取训练集中的典型样本组成记忆库;(2)将训练阶段待解码的原始神经信号xi输入孪生神经网络h得到神经表示h(xi),使用核回归算法将神经表示h(xi)与记忆库中样本{(h(xj),yj)}的神经表示h(xj)进行比较,得到神经表示间的相似度权重k(h(xi),h(xj)),利用这些相似度权重加权对应的速度得到预测速度(3)计算损失函数,采用端到端的方式反向传播训练模型;(4)训练完毕后,将测试阶段待解码的神经信号输入孪生网络得到神经表示,然后经过核回归算法后得到预测的动作速度。利用本发明,可以一定程度上解决神经信号多变性问题,实时预测手臂速度,提升效率和准确率。

Description

一种基于孪生网络核回归的侵入式脑机接口解码方法
技术领域
本发明属于侵入式动作电位脑信号分析领域,尤其是涉及一种基于孪生网络核回归的侵入式脑机接口解码方法。
背景技术
脑机接口(Brain Machine Interface,BMI)可以将神经活动转化为假肢装置控制的控制命令,因此在运动功能恢复和康复方面具有巨大潜力。
如公开号为CN106726030A的中国专利文献公开了一种基于临床皮层脑电信号控制机械手运动的脑机接口系统,包括信号采集模块、脑电特征提取及解码模块、机械手控制模块以及外设模块,信号采集模块将采集到的临床脑电信号进行预处理后输入到脑电特征提取及解码模块,脑电特征提取及解码模块提取预处理的脑电信号的特征,机械手控制模块对预处理后的脑电信号的特征进行分类,并将类标发送到机械手,完成手势运动;外设模块监督和反馈机械手执行的任务。
当前BMI系统的一个关键限制是神经解码器的不稳定性能,部分原因是神经活动的多变性。神经变异可以由许多因素引起,例如神经系统的内在噪声、信号记录的不稳定性和神经可塑性。
目前,常用的解码模型基于神经信号余弦调制运动信息的理论,采用固定的模型,包括群矢量分析(population vector analysis,PVA),最优线性估计(optimal linearestimation,OLE)和卡尔曼滤波器(Kalman filter,KF)。
公开号为CN105574324A的中国专利文献公开了一种自适应的脑神经信号处理方法及系统,同时采用卡尔曼算法、支持向量机算法、支持向量机回归算法、k邻近分类算法、广义回归神经网络算法和蒙特卡洛点过程算法对神经信号数据进行处理。
然而很多研究表明神经信号是多变的,神经元的偏好方向会随着许多条件改变,包括时间,速率和控制误差等等。因此,固定的模型是不能解决神经信号多变性的问题。
非参数核回归模型是解决上述问题的一种方法,如广义回归神经网络(generalregression neural networks),但是核回归模型关键的部分是衡量神经信号的相似度,由于原始神经信号具有大量的噪声,传统的度量方法不能有效反映神经信号的相似度;此外核回归需要大量的样本才能保证估计的准确性,因此计算复杂度和空间复杂度很高,不能满足BMI系统的实时性要求。
发明内容
本发明提供了一种基于孪生网络核回归的侵入式脑机接口解码方法,可在一定程度上解决神经多变性问题,并相比经典方法实现效率和准确率上的提升。
一种基于孪生网络核回归的侵入式脑机接口解码方法,包括以下步骤:
(1)构建孪生神经网络h,选取训练集中的典型样本组成记忆库;
(2)将训练阶段待解码的原始神经信号xi输入孪生神经网络h得到神经表示h(xi),然后使用核回归算法将神经表示h(xi)与记忆库中样本{(h(xj),yj)}的神经表示h(xj)进行比较,得到神经表示间的相似度权重利用这些相似度权重加权对应的速度得到预测速度/>
(3)计算损失函数,采用端到端的方式反向传播训练模型;
(4)训练完毕后,将待解码的神经信号输入模型,经过核回归算法后得到预测的动作速度。
步骤(1)中,所述孪生神经网络的主体结构为多层感知机,通过成对样本的对比方式来学习神经表示。
所述记忆库的构建过程具体为:
通过k均值聚类算法对训练集所有样本的速度或神经信号聚成K类,选取距离这K个聚类中心最近的样本组成记忆库{(h(xj),yj)},j∈M;M表示记忆库样本的索引集合,h(xj)为神经信号输入孪生神经网络h得到的神经表示,yj为神经信号xj对应的目标速度。
步骤(2)中,预测速度的公式为:
其中,核函数k(·)采用基于欧式距离的径向基函数σ表示核函数的宽度,设置为1,M表示记忆库样本的索引集合。
步骤(3)的具体过程为:
(3-1)使用基于欧氏距离的径向基核函数计算速度间的相似度/>利用速度的相似度/>约束神经表示的相似度/>计算相似度损失函数/>
(3-2)计算预测速度与目标速度yi的损失函数/>
(3-3)两个损失函数加权组合得到最终损失并采用端到端的方式反向传播来训练模型。
步骤(3-1)中,相似度损失函数公式为:
其中,N表示训练集的样本量。
步骤(3-2)中,预测速度与目标速度yi的损失函数/>公式为:
与现有技术相比,本发明具有以下有益效果:
1、本发明采用基于孪生网络核回归的解码模型,可一定程度上解决神经活动多变性问题,从而鲁棒解码。
2、本发明相比传统核回归方法,在计算效率,存储效率和解码准确率上有较大的提高,相比传统解码方法,解码准确率提升很大。
附图说明
图1为本发明实施例中运动信号解码动物实验示意图;
图2为本发明基于孪生网络核回归的侵入式脑机接口解码方法的架构图;
图3为本发明实施例与其他解码方法在多天测试数据上的解码效果。
具体实施方式
下面结合附图和实施例对本发明做进一步详细描述,需要指出的是,以下所述实施例旨在便于对本发明的理解,而对其不起任何限定作用。
本发明采用文献“Li,H.,Hao,Y.,Zhang,S.,Wang,Y.,Chen,W.,&Zheng,X.(2017).Prior Knowledge of Target Direction and Intended Movement Selection ImprovesIndirect Reaching Movement Decoding.Behavioural Neurology,2017.”中采集的一只猴子的实验数据。
实验中训练一只成年雄性恒河猴,猴子通过上肢控制摇杆完成避开障碍物到达终点的任务。猴子被固定在椅子上,显示器放在椅子前50厘米处,猴子被训练使用摇杆来移动二维平面上的光标从初始位置(小圆)绕过障碍物(长方形条)到达终点(大圆),此时会获得几滴水作为奖励,具体如图1所示。
实验采用有96个通道的微电极阵列(10×10矩阵排列,4.2×4.2mm),阵列被植入猴子大脑皮层背侧前运动皮层区(PMd),手术后,抗生素治疗持续5天,猴子恢复至少一周后开展上述实验并采集数据。
阵列获得的神经活动被传输到Cerebus数据采集系统,神经信号的模拟波形被放大,然后通过巴特沃兹滤波器带通滤波(0.3Hz到7.5kHz),接着进行数字化(16位分辨率和30kHz采样率)和巴特沃斯高通滤波(250Hz)。随后采用阈值方法(负4.5倍基线均方根)采集动作电位脉冲信号。
本发明中,使用其中四天数据测试,使用MUA(multiunit activity)数据(即不进行spike sort),将单电极通道视作一个或多个神经元活动信号处理,对脉冲信号以100ms的时间进行分箱。
本发明基于孪生网络核回归的侵入式脑机接口解码方法框架图如图2所示,本发明方法包含以下步骤:
步骤(1)构建孪生神经网络h,选取训练集中的典型样本组成记忆库。
记忆库的构建过程具体为:
通过k均值聚类算法对训练集所有样本的速度或神经信号聚成K类,选取距离这K个聚类中心最近的样本组成记忆库{(h(xj),yj)},j∈M;M表示记忆库样本的索引集合,h(xj)为神经信号xj输入孪生神经网络h得到的神经表示,yj为神经信号xj对应的目标速度。
步骤(2)将训练阶段待解码的原始神经信号xi输入孪生神经网络h得到神经表示h(xi),然后使用核回归算法估计目标速度yi得到预测速度
对于待解码的神经信号xi,将其送入步骤(1)的孪生网络得到鲁棒的神经表示h(xi),核回归算法通过将它与记忆库中的样本{(h(xj),yj)}的神经表示h(xj)进行比较,得到神经表示间的相似度权重利用这些相似度权重加权对应的速度然后得到目标速度yi的估计/>
其中,核函数k(·)采用基于欧式距离的径向基函数本实例中,σ设置为1,M表示记忆库样本的索引集合。
步骤(3)计算损失函数,采用端到端的方式反向传播训练模型。
步骤(3-1)使用基于欧氏距离的径向基核函数计算速度间的相似度利用速度的相似度/>约束神经表示的相似度/>计算相似度的损失函数/>
其中N表示训练集的样本量。
步骤(3-2)计算预测速度与目标速度yi的损失函数/>
步骤(3-3)两个损失函数加权组合得到最终损失并采用端到端的方式反向传播来训练模型。
为了验证本方法在运动区神经信号解码任务上的可行性,作为特例将本模型在猴子运动避障范式实验中测试性能,预测猴子控制摇杆的速度。实验中采用侵入式电极阵列捕获猴脑背侧前运动区(dorsal premotor cortex,PMd)信号,采集为多通道离散的脉冲序列。
本方法使用四天数据,预测的结果采用决定系数R2来衡量解码效果。实验结果如图3所示,实验结果表明,本方法的解码准确率优于常用的卡尔曼滤波器和广义回归神经网络(传统核回归方法),同时也优于多层感知机神经网络。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明,应理解的是以上所述仅为本发明的具体实施例,并不用于限制本发明,凡在本发明的原则范围内所做的任何修改、补充和等同替换,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于孪生网络核回归的侵入式脑机接口解码方法,其特征在于,包括以下步骤:
(1)构建孪生神经网络h,选取训练集中的典型样本组成记忆库;
(2)将训练阶段待解码的原始神经信号xi输入孪生神经网络h得到神经表示h(xi),然后使用核回归算法将神经表示h(xi)与记忆库中样本{(h(xj),yj)}的神经表示h(xj)进行比较,得到神经表示间的相似度权重利用这些相似度权重加权对应的速度得到预测速度/>
(3)计算损失函数,采用端到端的方式反向传播训练网络模型;
(4)训练完毕后,将测试阶段待解码的神经信号输入孪生网络得到神经表示,然后经过核回归算法后得到预测的动作速度。
2.根据权利要求1所述的基于孪生网络核回归的侵入式脑机接口解码方法,其特征在于,步骤(1)中,所述孪生神经网络的主体结构为多层感知机,通过成对样本的对比方式来学习神经表示。
3.根据权利要求1所述的基于孪生网络核回归的侵入式脑机接口解码方法,其特征在于,步骤(1)中,所述记忆库的构建过程具体为:
通过k均值聚类算法对训练集所有样本的速度或神经信号聚成K类,选取距离这K个聚类中心最近的样本组成记忆库{(h(xj),yj)},j∈M;M表示记忆库样本的索引集合,h(xj)为神经信号xj输入孪生神经网络h得到的神经表示,yj为神经信号xj对应的目标速度。
4.根据权利要求1所述的基于孪生网络核回归的侵入式脑机接口解码方法,其特征在于,步骤(2)中,预测速度的公式为:
其中,核函数k(·)采用基于欧式距离的径向基函数σ表示核函数的宽度,M表示记忆库样本的索引集合。
5.根据权利要求4所述的基于孪生网络核回归的侵入式脑机接口解码方法,其特征在于,σ设置为1。
6.根据权利要求1所述的基于孪生网络核回归的侵入式脑机接口解码方法,其特征在于,步骤(3)的具体过程为:
(3-1)使用基于欧氏距离的径向基核函数计算速度间的相似度/>利用速度的相似度/>约束神经表示的相似度/>计算相似度损失函数/>
(3-2)计算预测速度与目标速度yi的损失函数/>
(3-3)两个损失函数加权组合得到最终损失并采用端到端的方式反向传播来训练模型。
7.根据权利要求6所述的基于孪生网络核回归的侵入式脑机接口解码方法,其特征在于,步骤(3-1)中,相似度损失函数公式为:
其中,N表示训练集的样本量。
8.根据权利要求7所述的基于孪生网络核回归的侵入式脑机接口解码方法,其特征在于,步骤(3-2)中,预测速度与目标速度yi的损失函数/>公式为:
CN202110890264.9A 2021-08-04 2021-08-04 一种基于孪生网络核回归的侵入式脑机接口解码方法 Active CN113589937B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110890264.9A CN113589937B (zh) 2021-08-04 2021-08-04 一种基于孪生网络核回归的侵入式脑机接口解码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110890264.9A CN113589937B (zh) 2021-08-04 2021-08-04 一种基于孪生网络核回归的侵入式脑机接口解码方法

Publications (2)

Publication Number Publication Date
CN113589937A CN113589937A (zh) 2021-11-02
CN113589937B true CN113589937B (zh) 2024-04-02

Family

ID=78254829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110890264.9A Active CN113589937B (zh) 2021-08-04 2021-08-04 一种基于孪生网络核回归的侵入式脑机接口解码方法

Country Status (1)

Country Link
CN (1) CN113589937B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116187152B (zh) * 2022-10-24 2023-08-25 浙江大学 一种基于动态进化计算的侵入式脑机接口自适应解码方法
CN115617180B (zh) * 2022-12-02 2023-04-07 浙江大学 一种基于侵入式脑机接口的灵巧手部运动解码方法
CN115565540B (zh) * 2022-12-05 2023-04-07 浙江大学 一种侵入式脑机接口汉语发音解码方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508655A (zh) * 2018-10-28 2019-03-22 北京化工大学 基于孪生网络的不完备训练集的sar目标识别方法
CN109685206A (zh) * 2018-09-30 2019-04-26 上海联影医疗科技有限公司 生成用于图像处理的神经网络模型的系统和方法
CN110751032A (zh) * 2019-09-20 2020-02-04 华中科技大学 一种无需校准的脑机接口模型的训练方法
CN112585550A (zh) * 2018-12-21 2021-03-30 大陆-特韦斯贸易合伙股份公司及两合公司 基于神经网络的驾驶功能监控

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685206A (zh) * 2018-09-30 2019-04-26 上海联影医疗科技有限公司 生成用于图像处理的神经网络模型的系统和方法
CN109508655A (zh) * 2018-10-28 2019-03-22 北京化工大学 基于孪生网络的不完备训练集的sar目标识别方法
CN112585550A (zh) * 2018-12-21 2021-03-30 大陆-特韦斯贸易合伙股份公司及两合公司 基于神经网络的驾驶功能监控
CN110751032A (zh) * 2019-09-20 2020-02-04 华中科技大学 一种无需校准的脑机接口模型的训练方法

Also Published As

Publication number Publication date
CN113589937A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN113589937B (zh) 一种基于孪生网络核回归的侵入式脑机接口解码方法
Zhu et al. Separated channel convolutional neural network to realize the training free motor imagery BCI systems
Dose et al. An end-to-end deep learning approach to MI-EEG signal classification for BCIs
CN112861604B (zh) 一种与用户无关的肌电动作识别与控制方法
Hammon et al. Predicting reaching targets from human EEG
Millan On the need for on-line learning in brain-computer interfaces
DEL R. MILLÁN et al. Non-invasive brain-machine interaction
Wang et al. Ajile movement prediction: Multimodal deep learning for natural human neural recordings and video
CN110018739B (zh) 一种基于降维机制的脑电信号特征优选方法
Wang et al. Quantized attention-gated kernel reinforcement learning for brain–machine interface decoding
Mo et al. Motor imagery electroencephalograph classification based on optimized support vector machine by magnetic bacteria optimization algorithm
Du et al. IENet: a robust convolutional neural network for EEG based brain-computer interfaces
Zhang et al. Learning eeg representations with weighted convolutional siamese network: a large multi-session post-stroke rehabilitation study
CN114548165B (zh) 一种可跨用户的肌电模式分类方法
Li et al. A robust 3D-convolutional neural network-based electroencephalogram decoding model for the intra-individual difference
Tripathi et al. SurfMyoAiR: A surface electromyography-based framework for airwriting recognition
CN115358264A (zh) 一种侵入式脑机接口任务相关神经信号提取方法
Mughal et al. fNIRS based multi-class mental workload classification using recurrence plots and CNN-LSTM
Dalhoumi et al. An adaptive accuracy-weighted ensemble for inter-subjects classification in brain-computer interfacing
Zhiping et al. A new EEG feature selection method for self-paced brain-computer interface
Xu et al. Comparisons between linear and nonlinear methods for decoding motor cortical activities of monkey
Lin et al. DSDAN: Dual-Step Domain Adaptation Network Based on Bidirectional Knowledge Distillation for Cross-User Myoelectric Pattern Recognition
Clarke et al. Deep metric learning with locality sensitive mining for self-correcting source separation of neural spiking signals
Subasi Electroencephalogram-controlled assistive devices
Abbaspourazad et al. Dynamical flexible inference of nonlinear latent structures in neural population activity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant