CN112764526A - 一种基于多模型动态集成的自适应脑机接口解码方法 - Google Patents

一种基于多模型动态集成的自适应脑机接口解码方法 Download PDF

Info

Publication number
CN112764526A
CN112764526A CN202011593629.3A CN202011593629A CN112764526A CN 112764526 A CN112764526 A CN 112764526A CN 202011593629 A CN202011593629 A CN 202011593629A CN 112764526 A CN112764526 A CN 112764526A
Authority
CN
China
Prior art keywords
model
computer interface
state
method based
decoding method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011593629.3A
Other languages
English (en)
Other versions
CN112764526B (zh
Inventor
祁玉
王跃明
祝歆韵
许科帝
潘纲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202011593629.3A priority Critical patent/CN112764526B/zh
Publication of CN112764526A publication Critical patent/CN112764526A/zh
Priority to US17/777,956 priority patent/US20230244909A1/en
Priority to PCT/CN2021/126580 priority patent/WO2022142653A1/zh
Application granted granted Critical
Publication of CN112764526B publication Critical patent/CN112764526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于多模型动态集成的自适应脑机接口解码方法，对传统状态空间模型进行改进，使用一组而非一个固定的函数来动态表征观测变量与状态变量之间的关系；通过采用多个线性、非线性解码器，并在脑机接口系统解码过程中，根据数据情况自动切换解码器，实现自适应脑信号解码。通过上述多模型分时集成策略，能够融合线性、非线性解码器能力，提高脑机接口系统的准确性和稳定性，一定程度解决了脑机接口系统因神经信号非平稳性造成的解码不稳定问题。

Description

一种基于多模型动态集成的自适应脑机接口解码方法
技术领域
本发明涉及运动神经信号解码领域，尤其是涉及一种基于多模型动态集成的自适应脑机接口解码方法。
背景技术
脑机接口直接从脑电信号中解码运动意图，以进行外部设备控制。皮层内脑机接口利用植入电极阵列记录的神经信号，提取运动相关信息。皮层内脑机接口的进步使得外骨骼设备与电脑光标的控制得到了长足的发展。
在皮层内脑机接口系统中，神经解码算法起着重要作用。学者们提出了许多算法从神经信号中解码运动信息，包括集群向量法、最佳线性估计法、深度神经网络和递归贝叶斯解码器。在这些方法中，卡尔曼滤波器结合了轨迹的演化过程，将其作为先验知识，使得预测更准确，因而广泛应用于在线光标解码和外骨骼控制中，达到了目前为止最优的性能。
如公开号为CN107669416A的中国专利文献公开了一种基于持续-轻快运动想象神经解码的轮椅系统及控制方法，包括依次连接的脑电信号采集系统、解码装置及电动轮椅；解码装置内包括串行设置的持续运动想象脑电信号处理模块及轻快运动想象脑电信号处理模块，两个模块分别用于对脑电信号采集系统传输来的持续运动想象脑电信号及轻快运动想象脑电信号进行解码工作。
然而，神经信号的不稳定性是神经解码过程中面临的一个巨大挑战。当前的皮层内脑机接口使用的神经解码器大部分假设神经信号和运动之间存在一个稳定的函数关系，因此使用一个固定的解码模型。然而，在线解码过程中，神经元产生的信号偶尔会引入噪声或者干脆消失；同时，由于神经元具有可塑性，大脑的活动也有可能随时间发生改变。因为上述噪声和改变的存在，神经信号到运动的映射函数可能会不稳定并且随时间持续变化。固定的解码函数会导致不稳定、不准确的解码结果，因此需要每隔一段时间重新训练以维持一定的性能。
针对神经信号不稳定性问题提出的解码器可以被分为两类。第一类，也是目前大多数解码器，仍然使用固定模型，依赖于周期性地重新训练或在线逐步更新模型参数维持性能。第二类使用动态模型追踪神经信号的变化，这可以避免重新训练的代价，更适合长期解码任务。但是，这一类方法中，很少有研究敢于直接对不稳定的神经信号进行建模。
因此，在运动神经解码中，如何利用动态模型建模神经信号的不稳定性，以到达稳定的解码性能，是当前运动神经解码领域仍待解决的重要问题。
发明内容
本发明提供了一种基于多模型动态集成的自适应脑机接口解码方法，可以大大降低神经信号不稳定性对解码性能的影响，提高了解码器的鲁棒性。
一种基于多模型动态集成的自适应脑机接口解码方法，包括以下步骤：
(1)获取从硬件记录得到的原始运动神经信号，对原始运动神经信号进行预处理后，划分为训练集、验证集和测试集；
(2)构建基于多模型动态集成的状态空间解码器，具体如下：
(2-1)采用改进的状态空间模型，使用多个候选模型来动态表征观测变量与状态变量之间的关系；其中，多个候选模型包括一个线性函数、一个二阶多项式函数和两个神经网络，所述的观测变量为神经信号，状态变量为运动信号；
(2-2)根据贝叶斯更新机制动态组合候选模型，作为状态空间模型的观测函数；
(3)使用训练集和验证集对改进的状态空间模型进行训练和评估，训练得到不同候选模型的参数；
(4)利用测试集进行测试，测试模型的性能和鲁棒性，并进行脑电信号解码的应用，输入经过预训练的待解码神经信号后得到状态估计。
本发明的方法，通过改进卡尔曼滤波器中的观测函数，将其替换成多个可在线动态集成的模型，来更好地适应神经信号的变化。在解码过程中，根据贝叶斯更新机制，自动选择和结合这些模型，从而大大降低了神经信号不稳定性对解码性能的影响，提高了解码器的鲁棒性
步骤(1)中，所述预处理的具体过程如下：
选择合适的窗口大小计算神经信号的发放率，根据状态标签截取有效数据段，分别对数据进行标准化和平滑，得到预处理后的运动神经信号。
作为优选，可去除范式准备与返回阶段的数据，选择实际操作阶段进行分析。
作为优选，进行标准化和平滑操作时，可采用z-score函数和filter函数，对运动信号的每一个维度进行标准化和平滑，对神经信号的每一个神经元的发放频率进行平滑，具体平滑系数可根据实际需求选择。
步骤(2)中，改进的状态空间模型表达式如下：
xk＝f(xk-1)+vk-1
Figure BDA0002869777630000031
其中，k表示离散时间步长；
Figure BDA0002869777630000032
表示感兴趣的状态；f(.)表示状态转移函数；
Figure BDA0002869777630000033
表示观测或测量变量；nk表示独立同分布的观测噪声；
Figure BDA0002869777630000034
表示观测函数h(.)中的模型索引，
Figure BDA0002869777630000035
表示k时刻起作用的模型是hm。
步骤(2)中，所述的贝叶斯更新机制如下：
以数据驱动的方式在多个候选模型中动态选择切换，给定观测序列y0:k，则k时刻状态的后验概率为：
Figure BDA0002869777630000041
其中，
Figure BDA0002869777630000042
是当
Figure BDA0002869777630000043
时状态的后验；
Figure BDA0002869777630000044
是选择第m个模型的后验概率；M表示候选模型的数量。
考虑由
Figure BDA0002869777630000045
迭代得到
Figure BDA0002869777630000046
作为优选，可采用贝叶斯公式计算在k时刻，选择第m个模型的后验概率，公式为：
Figure BDA0002869777630000047
其中，
Figure BDA0002869777630000048
为选择第m个模型的先验概率；pm(yk|y0:k-1)为选择第m个模型的边缘似然。
优选地，可确定一个遗忘因子α以保留部分历史信息，即当前时刻选择第m个模型的先验概率受前一时刻选择第m个模型的后验概率影响。选择第m个模型的先验概率计算方式如下：
Figure BDA0002869777630000049
其中，
Figure BDA00028697776300000410
为第k-1时刻，选择第m个模型的概率；α(0<α<1)为遗忘因子。
优选地，在k时刻，选择第m个模型的边缘似然计算方式如下：
pm(yk|y0:k-1)＝∫pm(yk|xk)p(xk|y0:k-1)dxk
其中，pm(yk|xk)是关于第m个模型的似然函数。
步骤(4)中，所述状态估计采用粒子滤波算法，基于粒子计算
Figure BDA00028697776300000411
和
Figure BDA00028697776300000412
本发明基于传统状态空间模型以及粒子滤波，提出了一种多模型动态集成方法应用于神经信号解码，在一定程度上减少了因神经信号不稳定性带来的影响。在测试中优于公认的卡尔曼滤波算法，证明了该方法的有效性。
附图说明
图1为本发明方法中多模型动态集成过程示意图；
图2为本发明实施例中在线光标控制实验连续五天卡尔曼滤波器与多模型动态集成成功率对比图；
图3为本发明实施例中2020年12月14日在线光标控制实验卡尔曼滤波器与多模型动态集成轨迹对比图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
本实施例中所有临床和实验程序均经过浙江大学第二附属医院医学伦理委员会批准(伦理审查号2019-158)。知情同意书由参与者及其直系亲属口头获得，并由其法定代表人签署。志愿者是一名72岁的男性，三年前发生车祸，在C4级颈椎外伤后四肢瘫痪。志愿者只能移动自己脖子以上的部位，并且具有正常的语言能力和对所有任务的理解能力。对于肢体运动行为，患者的骨骼肌力量得分为0/5，完全丧失了肢体运动控制能力。
志愿者的左侧初级运动皮层中植入了两个96通道的Utah皮质内微电极阵列(4毫米×4毫米，长1.4毫米的Utah阵列，Blackrock Microsystems，盐湖城，美国犹他州)，其中一个位于中央手结区，另一个位于2毫米之外。植入使用电子计算机断层扫描和功能性核磁共振图来指导植入。在植入过程中，参与者被要求进行手肘和肘部的屈曲、伸展运动，通过功能性核磁共振扫描确认运动皮层的激活区域。手术过程中使用机械臂辅助植入电极。在开始神经信号记录和BCI训练任务之前，参与者有一个星期的康复时间。
参与者在每个工作日进行BCI训练任务，周末休息。每天的训练时间大约3个小时，包括准备信号记录，阻抗测试，锋电位分类和范式任务。一旦参与者感到疲倦或出现身体异常状况(例如发烧或尿路感染)，实验停止。整个实验持续了半年，记录了12周的神经信号。
2D光标控制任务在志愿者前方1.5米的计算机显示器上进行。该任务在屏幕的顶部，底部，左侧，右侧和四个角包含八个目标。目标可以按顺时针顺序或伪随机方式顺序显示。任务的相关参数可以在任务设置中配置，包括目标到屏幕中心的距离，目标球的直径，最大试验时间，到达阈值，最小停留时间和失败后的重复次数。对于每个实验trial，要求志愿者从屏幕中心控制一个蓝色光标球到达一个红色目标球。在一次成功的trial中，蓝色和红色球的中心之间的距离应小于预设的到达阈值，并且停留时间不得短于预设的停留时间。每个trial的最大时长设置为2到5秒。在试验结束时会给出听觉提示，以指示其成功与否。每个trial失败后最多进行4次尝试。默认设置是在距屏幕中心15厘米处显示目标球，直径为5厘米。
本发明提出的一种基于多模型动态集成的自适应脑机接口解码方法，具体实施方式如下：
步骤1，运动神经信号预处理：获取从硬件记录得到的原始运动神经信号，选择合适的窗口大小计算得到神经信号的发放率，根据状态标签截取有效数据段，对数据进行标准化和平滑，得到预处理后的运动神经信号；将数据按照合理比例分成训练集、验证集、测试集；
具体来说，实验使用Neuroport系统(NSP，Blackrock Microsystems)记录神经信号。神经活动经过放大、数字化后，以30KHz的频率进行记录。使用Central软件包(Blackrock Microsystem)将每个经过高通滤波(250Hz截止频率)的电极的神经动作电位检测的阈值分别设置为-6.5RMS到-5.5RMS。在每项日常任务开始时，研究人员会手动对锋电位进行分类分类，这大约需要25到35分钟。峰值活动被转换为20ms中的发放率，并使用具有450ms窗口的指数平滑函数进行低通滤波。
步骤2，基于动态集成的状态空间模型：
2-1，改进的观测模型：对传统状态空间模型进行变体，使用一组而非一个固定的函数(即候选模型)来动态表征观测变量与状态变量之间的关系；
传统的状态空间模型由一个状态转移函数f(.)和一个观测函数h(.)组成：
xk＝f(xk-1)+vk-1
yk＝h(xk)+nk
其中，k表示离散时间步长；
Figure BDA0002869777630000071
表示我们关注的状态；
Figure BDA0002869777630000072
表示观测或测量变量；vk、nk表示独立同分布的状态转移噪声和观测噪声。
在神经解码领域，状态和观测分别表示运动轨迹和神经信号。给定一个神经信号序列y0:k，神经解码的任务是迭代估计xk的概率密度。当神经信号与运动信号都符合线性高斯的假设时，卡尔曼滤波器可以提供解析最优解。
传统状态空间模型的观测函数h(.)是事先确定的，不能适应变化的神经信号。步骤2中的观测模型对其进行了改进：允许观测函数在线调整。改进后的观测函数表达如下：
Figure BDA0002869777630000073
其中，k表示离散时间步长；
Figure BDA0002869777630000074
表示我们感兴趣的状态；
Figure BDA0002869777630000075
表示观测或测量变量；nk表示独立同分布的观测噪声；
Figure BDA0002869777630000076
表示观测方程中的模型索引，特别地，
Figure BDA0002869777630000077
表示k时刻起作用的模型是hm。
在模型集
Figure BDA0002869777630000078
中的模型，类似于神经编码器，可以将输入的动力学参数xt转换为神经信号yt。在多模型动态集成方法中，我们学习了多种形式的编码模型，如线性函数、多项式函数和神经网络，以增强在线模型的集成有效性。过去的研究已经证明线性模型优秀的解码能力，同时，非线性模型在有噪声的情况下又具备较强的鲁棒性。如图1所示，多模型动态集成方法融合了不同模型的优势来应对不平稳的神经性好。
具体来说，本实例的模型库中包含四个模型。第一个模型是一个线性函数Hl(x)＝Wx+b，这与卡尔曼滤波器中的观测模型相似。第二个模型是一个二阶多项式函数Hp(x)＝a0+a1x+a2x2。第三个模型Hnn1(.)和第四个模型Hnn2(.)是两个参数大小不同的神经网络。这两个神经网络都包含隐含层。输入层的神经元个数等于运动参数xt的维度，输出层的神经元个数等于神经信号yt的维度。隐含层的神经元个数分别为30和50。
对于Hl(.)和Hp(.)，使用最小二乘法估计参数。对于Hnn1(.)和Hnn2(.)，使用Adam算法优化参数，学习率设为0.01，权重衰减设为1e-4。同时采用早停法以减轻过拟合问题。
2-2，根据贝叶斯更新机制动态组合候选模型，作为状态空间模型的观测函数；
步骤2中，采用一组候选模型，表征观测信号和待预测状态之间的函数关系。贝叶斯更新机制以数据驱动的方式在这些模型中动态选择切换。给定观测序列y0:k，则k时刻状态的后验概率为：
Figure BDA0002869777630000081
其中，
Figure BDA0002869777630000082
是当
Figure BDA0002869777630000083
时状态的后验；
Figure BDA0002869777630000084
是选择第m个模型的后验概率。
考虑由
Figure BDA0002869777630000085
迭代得到
Figure BDA0002869777630000086
作为优选，可采用贝叶斯公式计算在k时刻，选择第m个模型的后验概率：
Figure BDA0002869777630000087
其中，
Figure BDA0002869777630000091
为选择第m个模型的先验概率；pm(yk|y0:k-1)为选择第m个模型的边缘似然。
优选地，可确定一个遗忘因子α以保留部分历史信息，即当前时刻选择第m个模型的先验概率受前一时刻选择第m个模型的后验概率影响：
Figure BDA0002869777630000092
其中，
Figure BDA0002869777630000093
为第k-1时刻，选择第m个模型的概率；α(0<α<1)为遗忘因子。
在本实例中，遗忘因子设置从0.1～0.9不等。当遗忘因子设为0.9时，极大程度上考虑了前向时刻运动状态的影响，因此使得解码出的运动状态更加平滑。
优选的，在k时刻，选择第m个模型的边缘似然计算方式如下：
pm(yk|y0:k-1)＝∫pm(yk|xk)p(xk|y0:k-1)dxk
其中，pm(yk|xk)是关于第m个模型的似然函数。
步骤3，学习候选模型并进行状态估计：使用训练集和验证集得到一组不同的候选模型；
作为优选，可基于粒子滤波算法，在每一个时间步使用加权粒子集为每个候选模型估计运动状态，计算步骤2中的
Figure BDA0002869777630000094
和
Figure BDA0002869777630000095
假设此刻为第k个时间步的开始，已知
Figure BDA0002869777630000096
和一个带有权重的粒子集
Figure BDA0002869777630000097
其中Ns代表粒子集大小，
Figure BDA0002869777630000098
是权重为
Figure BDA0002869777630000099
的粒子。假设
Figure BDA00028697776300000910
其中δ(.)代表狄拉克δ函数，下面展示如何使用粒子滤波计算
Figure BDA00028697776300000911
和
Figure BDA00028697776300000912
3-1，基于粒子滤波的
Figure BDA00028697776300000913
首先，从状态转移先验
Figure BDA0002869777630000101
中获得
Figure BDA0002869777630000102
然后根据重要性采样原则，可得：
Figure BDA0002869777630000103
其中，
Figure BDA0002869777630000104
Figure BDA0002869777630000105
代表当选择第m个模型时，第i个粒子归一化后的重要性权重。
本实例中，采用训练集作为粒子集，避免了随机撒粒子带来的不稳定性。
3-2，基于粒子滤波的
Figure BDA0002869777630000106
给定
Figure BDA0002869777630000107
首先使用步骤2中遗忘因子计算
Figure BDA0002869777630000108
的先验概率。在似然pm(yk|y0:k-1),m＝1,…,M已知的情况下，可计算
Figure BDA0002869777630000109
的后验概率
Figure BDA00028697776300001010
在所述步骤3-1中，状态转移先验被用作重要性函数，即q(xk|xk-1,y0:k)＝p(xk|xk-1)。因此，xk的分布可由粒子近似得到，即
Figure BDA00028697776300001011
Figure BDA00028697776300001012
进而可得：
Figure BDA00028697776300001013
注意，粒子滤波通常有粒子退化问题，经过几次迭代后，只有少量粒子有较高的权重。因此，我们采用重采样方法去除权重过小或过大的粒子来减轻粒子退化问题。
步骤4，多模型动态集成方法的性能评估：在测试集数据中使用本方法与其他方法对比，评估本方法性能与鲁棒性。
本实例为在线实验，具有闭环校准环节。在每次实验中包含校准和测试两个阶段。每一个阶段包含多个由16个trial组成的block，每一个目标点有两个trial。神经解码器在校准阶段训练得到。校准阶段有两个观察block，计算机自动完成光标控制任务。志愿者在观察阶段的神经信号被用来初始化解码器。随后，采用计算机辅助和正交阻抗辅助对解码器进行进一步调整，辅助比例随着block数的增多而减小。校准过程大约持续10分钟，随后使用训练好的解码器对测试阶段到来的神经信号进行解码。
为了对比说明本发明提出的神经信号解码方法的有效性，对连续五天在线实验数据进行成功率统计，得到图2。相比于卡尔曼滤波器，多模型动态集成方法的在线成功率提升了2.30％(大球)、5.68％(小球)、13.85％(追踪)，同时到达时间缩短3.52％(大球)、8.81％(小球)、13.46％(追踪)，且不同天的表现更稳定，方差比卡尔曼滤波器小47.50％(大球)、70.42％(小球)、64.51％(追踪)。图3为2020年12月14日小球测试阶段的轨迹图，可以看出卡尔曼滤波器解出的轨迹具有较强的偏向性，并且不能按时到达每一个目标点。而多模型动态集成方法解出的轨迹分布较为均匀且成功到达每一个目标点。由上述结果可以看出，多模型动态集成方法的表现更为稳定。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于多模型动态集成的自适应脑机接口解码方法，其特征在于，包括以下步骤：
(1)获取从硬件记录得到的原始运动神经信号，对原始运动神经信号进行预处理后，划分为训练集、验证集和测试集；
(2)构建基于多模型动态集成的状态空间解码器，具体如下：
(2-1)采用改进的状态空间模型，使用多个候选模型来动态表征观测变量与状态变量之间的关系；其中，多个候选模型包括一个线性函数、一个二阶多项式函数和两个神经网络，所述的观测变量为神经信号，状态变量为运动信号；
(2-2)根据贝叶斯更新机制动态组合候选模型，作为状态空间模型的观测函数；
(3)使用训练集和验证集对改进的状态空间模型进行训练和评估，训练得到不同候选模型的参数；
(4)利用测试集进行测试，测试模型的性能和鲁棒性，并进行脑电信号解码的应用，输入经过预训练的待解码神经信号后得到状态估计。
2.根据权利要求1所述的基于多模型动态集成的自适应脑机接口解码方法，其特征在于，步骤(1)中，所述预处理的具体过程如下：
选择合适的窗口大小计算神经信号的发放率，根据状态标签截取有效数据段，分别对数据进行标准化和平滑，得到预处理后的运动神经信号。
3.根据权利要求1所述的基于多模型动态集成的自适应脑机接口解码方法，其特征在于，步骤(2)中，改进的状态空间模型表达式如下：
xk＝f(xk-1)+vk-1
Figure FDA0002869777620000011
其中，k表示离散时间步长；
Figure FDA0002869777620000021
表示感兴趣的状态；f(.)表示状态转移函数；
Figure FDA0002869777620000022
表示观测或测量变量；nk表示独立同分布的观测噪声；
Figure FDA0002869777620000023
表示观测函数h(.)中的模型索引，
Figure FDA0002869777620000024
表示k时刻起作用的模型是hm。
4.根据权利要求3所述的基于多模型动态集成的自适应脑机接口解码方法，其特征在于，步骤(2)中，所述的贝叶斯更新机制如下：
以数据驱动的方式在多个候选模型中动态选择切换，给定观测序列y0:k，则k时刻状态的后验概率为：
Figure FDA0002869777620000025
其中，
Figure FDA0002869777620000026
是当
Figure FDA0002869777620000027
时状态的后验；
Figure FDA0002869777620000028
是选择第m个模型的后验概率；M表示候选模型的数量。
5.根据权利要求4所述的基于多模型动态集成的自适应脑机接口解码方法，其特征在于，选择第m个模型的后验概率计算方式如下：
Figure FDA0002869777620000029
其中，
Figure FDA00028697776200000210
为选择第m个模型的先验概率；pm(yk|y0:k-1)为选择第m个模型的边缘似然。
6.根据权利要求5所述的基于多模型动态集成的自适应脑机接口解码方法，其特征在于，选择第m个模型的先验概率计算方式如下：
Figure FDA00028697776200000211
其中，
Figure FDA00028697776200000212
为第k-1时刻，选择第m个模型的概率；α为遗忘因子，0<α<1。
7.根据权利要求5所述的基于多模型动态集成的自适应脑机接口解码方法，其特征在于，选择第m个模型的边缘似然计算方式如下：
pm(yk|y0：k-1)＝∫pm(yk|xk)p(xk|y0：k-1)dxk
其中，pm(yk|xk)是关于第m个模型的似然函数。
8.根据权利要求5所述的基于多模型动态集成的自适应脑机接口解码方法，其特征在于，步骤(4)中，所述状态估计采用粒子滤波算法，基于粒子计算
Figure FDA0002869777620000031
和
Figure FDA0002869777620000032
CN202011593629.3A 2020-12-29 2020-12-29 一种基于多模型动态集成的自适应脑机接口解码方法 Active CN112764526B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011593629.3A CN112764526B (zh) 2020-12-29 2020-12-29 一种基于多模型动态集成的自适应脑机接口解码方法
US17/777,956 US20230244909A1 (en) 2020-12-29 2021-10-27 Adaptive brain-computer interface decoding method based on multi-model dynamic integration
PCT/CN2021/126580 WO2022142653A1 (zh) 2020-12-29 2021-10-27 一种基于多模型动态集成的自适应脑机接口解码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011593629.3A CN112764526B (zh) 2020-12-29 2020-12-29 一种基于多模型动态集成的自适应脑机接口解码方法

Publications (2)

Publication Number Publication Date
CN112764526A true CN112764526A (zh) 2021-05-07
CN112764526B CN112764526B (zh) 2022-10-21

Family

ID=75696097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011593629.3A Active CN112764526B (zh) 2020-12-29 2020-12-29 一种基于多模型动态集成的自适应脑机接口解码方法

Country Status (3)

Country Link
US (1) US20230244909A1 (zh)
CN (1) CN112764526B (zh)
WO (1) WO2022142653A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022142653A1 (zh) * 2020-12-29 2022-07-07 浙江大学 一种基于多模型动态集成的自适应脑机接口解码方法
CN114925734A (zh) * 2022-07-20 2022-08-19 浙江大学 一种基于神经拟态计算的在线神经元分类方法
CN115358367A (zh) * 2022-08-09 2022-11-18 浙江大学 一种基于多模型学习集成的动态自适应脑机接口解码方法
CN115617180A (zh) * 2022-12-02 2023-01-17 浙江大学 一种基于侵入式脑机接口的灵巧手部运动解码方法
CN116187152A (zh) * 2022-10-24 2023-05-30 浙江大学 一种基于动态进化计算的侵入式脑机接口自适应解码方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515200A (zh) * 2009-04-03 2009-08-26 北京工业大学 基于瞬态视觉诱发脑电的目标选择方法
CN104182042A (zh) * 2014-08-14 2014-12-03 华中科技大学 一种多模态信号的脑机接口方法
CN110090017A (zh) * 2019-03-11 2019-08-06 北京工业大学 一种基于lstm的脑电信号源定位方法
CN110751032A (zh) * 2019-09-20 2020-02-04 华中科技大学 一种无需校准的脑机接口模型的训练方法
CN111297379A (zh) * 2020-02-10 2020-06-19 中国科学院深圳先进技术研究院 一种基于感官传递的脑机结合系统和方法
CN111783857A (zh) * 2020-06-18 2020-10-16 内蒙古工业大学 基于非线性网络信息图的运动想象脑机接口

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150245928A1 (en) * 2010-02-18 2015-09-03 The Board Of Trustees Of The Leland Stanford Junior University Brain-Machine Interface Utilizing Interventions to Emphasize Aspects of Neural Variance and Decode Speed and Angle
US10223634B2 (en) * 2014-08-14 2019-03-05 The Board Of Trustees Of The Leland Stanford Junior University Multiplicative recurrent neural network for fast and robust intracortical brain machine interface decoders
US20200175354A1 (en) * 2018-12-03 2020-06-04 Deep Learn, Inc. Time and accuracy estimate-based selection of machine-learning predictive models
CN109770900B (zh) * 2019-01-08 2020-12-01 中国科学院自动化研究所 基于卷积神经网络的脑机接口指令下发方法、系统、装置
CN112001306A (zh) * 2020-08-21 2020-11-27 西安交通大学 基于深度卷积对抗生成神经网络的脑电信号解码方法
CN112764526B (zh) * 2020-12-29 2022-10-21 浙江大学 一种基于多模型动态集成的自适应脑机接口解码方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515200A (zh) * 2009-04-03 2009-08-26 北京工业大学 基于瞬态视觉诱发脑电的目标选择方法
CN104182042A (zh) * 2014-08-14 2014-12-03 华中科技大学 一种多模态信号的脑机接口方法
CN110090017A (zh) * 2019-03-11 2019-08-06 北京工业大学 一种基于lstm的脑电信号源定位方法
CN110751032A (zh) * 2019-09-20 2020-02-04 华中科技大学 一种无需校准的脑机接口模型的训练方法
CN111297379A (zh) * 2020-02-10 2020-06-19 中国科学院深圳先进技术研究院 一种基于感官传递的脑机结合系统和方法
CN111783857A (zh) * 2020-06-18 2020-10-16 内蒙古工业大学 基于非线性网络信息图的运动想象脑机接口

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YU QI,BIN LIU,YUEMING WANG,GANG PAN: "Dynamic Ensemble Modeling Approach to Nonstationary Neural Decoding in Brain-Computer Interfaces", 《33RD CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS (NEURIPS 2019)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022142653A1 (zh) * 2020-12-29 2022-07-07 浙江大学 一种基于多模型动态集成的自适应脑机接口解码方法
CN114925734A (zh) * 2022-07-20 2022-08-19 浙江大学 一种基于神经拟态计算的在线神经元分类方法
CN114925734B (zh) * 2022-07-20 2022-11-25 浙江大学 一种基于神经拟态计算的在线神经元分类方法
CN115358367A (zh) * 2022-08-09 2022-11-18 浙江大学 一种基于多模型学习集成的动态自适应脑机接口解码方法
CN115358367B (zh) * 2022-08-09 2023-04-18 浙江大学 一种基于多模型学习集成的动态自适应脑机接口解码方法
CN116187152A (zh) * 2022-10-24 2023-05-30 浙江大学 一种基于动态进化计算的侵入式脑机接口自适应解码方法
CN116187152B (zh) * 2022-10-24 2023-08-25 浙江大学 一种基于动态进化计算的侵入式脑机接口自适应解码方法
CN115617180A (zh) * 2022-12-02 2023-01-17 浙江大学 一种基于侵入式脑机接口的灵巧手部运动解码方法

Also Published As

Publication number Publication date
WO2022142653A1 (zh) 2022-07-07
CN112764526B (zh) 2022-10-21
US20230244909A1 (en) 2023-08-03

Similar Documents

Publication Publication Date Title
CN112764526B (zh) 一种基于多模型动态集成的自适应脑机接口解码方法
Betthauser et al. Limb position tolerant pattern recognition for myoelectric prosthesis control with adaptive sparse representations from extreme learning
Fahimi et al. Generative adversarial networks-based data augmentation for brain–computer interface
Das et al. Unsupervised heart-rate estimation in wearables with liquid states and a probabilistic readout
Betthauser et al. Stable responsive EMG sequence prediction and adaptive reinforcement with temporal convolutional networks
EP4212100A1 (en) Electroencephalogram signal classification method and apparatus, and device, storage medium and program product
US6561992B1 (en) Method and apparatus utilizing computational intelligence to diagnose neurological disorders
CN108319928B (zh) 一种基于多目标微粒群算法优化的深度学习方法及系统
US20040073414A1 (en) Method and system for inferring hand motion from multi-cell recordings in the motor cortex using a kalman filter or a bayesian model
Thenmozhi et al. Feature selection using extreme gradient boosting Bayesian optimization to upgrade the classification performance of motor imagery signals for BCI
Schaeffer et al. Switching Markov decoders for asynchronous trajectory reconstruction from ECoG signals in monkeys for BCI applications
McKearney et al. Auditory brainstem response detection using machine learning: a comparison with statistical detection methods
CN111297327A (zh) 一种睡眠分析方法、系统、电子设备及存储介质
Duan et al. Uncer: A framework for uncertainty estimation and reduction in neural decoding of eeg signals
Sahay et al. Robust subject-independent P300 waveform classification via signal pre-processing and deep learning
WO2006088629A2 (en) System and method for providing a combined bioprosthetic specification of goal state and path of states to goal
Seok et al. Recognition of human motion with deep reinforcement learning
Rotermund et al. Towards on-line adaptation of neuro-prostheses with neuronal evaluation signals
Moreno et al. Brain maturation estimation using neural classifier
CN116187152B (zh) 一种基于动态进化计算的侵入式脑机接口自适应解码方法
CN111452022B (zh) 基于贝叶斯优化的上肢康复机器人主动训练参考轨迹复杂度调节方法
Luo et al. Transitions in dynamical regime and neural mode underlie perceptual decision-making
EP4161364A1 (en) Computer vision enhanced electromyography training systems and methods thereof
Tanveer Deep convolution neural network for attention decoding in multi-channel EEG with conditional variational autoencoder for data augmentation
Anguraj et al. Evaluation and severity classification of facial paralysis using salient point selection algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant