CN113297993B - 神经刺激信号确定装置和方法 - Google Patents

神经刺激信号确定装置和方法 Download PDF

Info

Publication number
CN113297993B
CN113297993B CN202110599097.2A CN202110599097A CN113297993B CN 113297993 B CN113297993 B CN 113297993B CN 202110599097 A CN202110599097 A CN 202110599097A CN 113297993 B CN113297993 B CN 113297993B
Authority
CN
China
Prior art keywords
signal
electroencephalogram
electroencephalogram signal
brain electrical
koopman
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110599097.2A
Other languages
English (en)
Other versions
CN113297993A (zh
Inventor
刘泉影
梁智超
罗子翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhongke Huayi Technology Co ltd
Original Assignee
Shenzhen Zhongke Huayi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhongke Huayi Technology Co ltd filed Critical Shenzhen Zhongke Huayi Technology Co ltd
Priority to CN202110599097.2A priority Critical patent/CN113297993B/zh
Publication of CN113297993A publication Critical patent/CN113297993A/zh
Application granted granted Critical
Publication of CN113297993B publication Critical patent/CN113297993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本申请提供一种神经刺激信号确定装置、方法、电子设备和计算机存储介质，装置包括：获取模块，用于获取参考脑电信号和刺激对象的当前时刻脑电信号；第一确定模块，用于根据参考脑电信号、当前时刻脑电信号、预先训练好的深度Koopman模型中的编码器函数确定高维状态空间中的当前时刻脑电信号和高维状态空间中的参考脑电信号；第二确定模块，用于基于优化函数，根据高维状态空间中的当前时刻脑电信号、高维状态空间中的参考脑电信号和预先训练好的深度Koopman模型中的Koopman算子确定神经刺激信号，以减少确定神经刺激信号时的运算量、进而减少确定神经刺激信号的时间。

Description

神经刺激信号确定装置和方法
技术领域
本申请涉及信号处理领域，具体而言，涉及一种神经刺激信号确定装置、方法、电子设备和计算机存储介质。
背景技术
脑部电刺激是指对人体大脑施加神经刺激信号，以达到治疗某些难治性的大脑疾病和改善大脑状态的目的。在进行脑部电刺激时，需要确定人体脑电信号与神经刺激信号之间的关系。为了达到这一目的，需要对人体脑电信号进行建模，进而根据建模情况模拟人体脑电信号在神经刺激信号下的变化情况，从而计算确定神经刺激信号。人体脑电信号的变化过程是一个复杂的网络化非线性动态过程，现有技术在对人体脑电信号进行建模时，通常采用循环神经网络(RNN)或是非线性自回归(Nonlinear Auto-Regressive)模型。然而，使用上述模型确定神经刺激信号时，由于上述模型的复杂度高，进而导致在确定神经刺激信号时需要较大的运算量且耗时长。
发明内容
本申请实施例的目的在于提供一种神经刺激信号确定装置、方法、电子设备和计算机存储介质，用以解决在确定神经刺激信号时运算量大且耗时长的问题。
第一方面，本发明提供一种神经刺激信号确定装置，包括：获取模块，用于获取参考脑电信号和刺激对象的当前时刻脑电信号；第一确定模块，用于根据所述参考脑电信号、所述当前时刻脑电信号、预先训练好的深度Koopman模型中的编码器函数确定高维状态空间中的当前时刻脑电信号和高维状态空间中的参考脑电信号；第二确定模块，用于基于优化函数，根据所述高维状态空间中的当前时刻脑电信号、所述高维状态空间中的参考脑电信号和预先训练好的深度Koopman模型中的Koopman算子确定神经刺激信号。
本申请实施例中，通过深度Koopman模型将人体脑电信号与神经刺激信号这个网络化非线性动态过程转化为了一个线性的过程，进而求解优化函数确定神经刺激信号，相比于对非线性动态过程求解优化函数确定神经刺激信号而言，本申请实施例在确定神经刺激信号的过程中需要的计算量更低，消耗的时间更短。
在可选的实施方式中，所述优化函数为：
其中，Tp为确定uk数量的控制范围、Fk为高维状态空间中刺激对象的第k时刻的电信号、Fref为高维状态空间中的参考脑电信号、QY为用于惩罚偏差的正定矩阵、QT为常数且用于惩罚神经刺激信号的增量、uk为第k时刻的神经刺激信号、Δuk＝uk-uk-1，Δuk为第k时刻的神经刺激信号增量、为Koopman算子、B为所述神经刺激信号uk的控制增益、/>Δumin为Δuk能取到的最小值、Δumax为Δuk能取到的最大值、umin为uk能取到的最小值、umax为uk能取到的最大值。
在可选的实施方式中，所述装置还包括：模型训练模块，用于获取第一样本脑电信号；根据所述第一样本脑电信号对预先建立好的深度Koopman模型进行训练，得到所述编码器函数和所述Koopman算子。
在可选的实施方式中，所述模型训练模块还用于根据所述第一样本脑电信号和所述深度Koopman模型中的编码器函数确定高维状态空间中的第一样本脑电信号；根据所述高维状态空间中的第一样本脑电信号和所述深度Koopman模型中的解码器函数确定第二样本脑电信号；根据所述第一样本脑电信号和所述第二样本脑电信号确定损失函数；调整所述编码器函数、所述解码器函数和所述Koopman算子以使所述损失函数满足预设条件。
在可选的实施方式中，所述第一样本脑电信号包括：第一脑电信号、第二脑电信号，其中，所述第二脑电信号为所述第一脑电信号下一时刻的脑电信号；所述第二样本脑电信号包括：第三脑电信号、第四脑电信号，其中，所述第四脑电信号为所述第三脑电信号下一时刻的脑电信号。
在可选的实施方式中，所述第一样本脑电信号包括：第一脑电信号、第五脑电信号，其中，所述第五脑电信号为所述第一脑电信号下n时刻的脑电信号；所述第二样本脑电信号包括：第三脑电信号、第六脑电信号，其中，所述第六脑电信号为所述第三脑电信号下n时刻的脑电信号，n≥2且为正整数。
在可选的实施方式中，所述第一样本脑电信号包括：第一脑电信号、第二脑电信号和第五脑电信号，其中，所述第二脑电信号为所述第一脑电信号下一时刻的脑电信号，所述第五脑电信号为所述第一脑电信号下n时刻的脑电信号；所述第二样本脑电信号包括：第三脑电信号、第四脑电信号和第六脑电信号，其中，所述第四脑电信号为所述第三脑电信号下一时刻的脑电信号，所述第六脑电信号为所述第三脑电信号下n时刻的脑电信号，n≥2且为正整数；
所述损失函数为：
其中，Lrecon为重构损失、为第一预测损失、/>为第二预测损失和Llin为线性损失、/>为正则化约束、X为所述第一脑电信号、Y为所述第二脑电信号、/>为所述第三脑电信号、/>为所述第四脑电信号、Z为所述第五脑电信号、/>为所述第六脑电信号、g为所述编码器函数、g-1为所述解码器函数。
本申请实施例在训练深度Koopman模型时，将第一脑电信号下第一时刻的第二脑电信号和第一脑电信号下第n时刻的第五脑电信号均输入到深度Koopman模型进行训练，在训练过程中同时构建了一步预测和多步预测的损失函数，从而使得训练后的深度Koopman模型能更准确的模拟人体脑电信号的动态过程，提高模拟的准确性。
第二方面，本发明提供一种神经刺激信号确定方法，所述方法包括：
获取参考脑电信号和刺激对象的当前时刻脑电信号；根据所述参考脑电信号、所述当前时刻脑电信号、预先训练好的深度Koopman模型中的编码器函数确定高维状态空间中的当前时刻脑电信号和高维状态空间中的参考脑电信号；基于优化函数，根据所述高维状态空间中的当前时刻脑电信号、所述高维状态空间中的参考脑电信号和预先训练好的深度Koopman模型中的Koopman算子确定神经刺激信号。
在可选的实施方式中，所述优化函数为：
其中，Tp为确定uk数量的控制范围、Fk为高维状态空间中刺激对象的第k时刻的脑电信号、Fref为高维状态空间中的参考脑电信号、QY为用于惩罚偏差的正定矩阵、QT为常数且用于惩罚神经刺激信号的增量、uk为第k时刻的神经刺激信号、Δuk＝uk-uk-1，Δuk为第k时刻的神经刺激信号增量、为Koopman算子、B为所述神经刺激信号uk的控制增益、/>Δumin为Δuk能取到的最小值、Δumax为Δuk能取到的最大值、umin为uk能取到的最小值、umax为uk能取到的最大值。
在可选的实施方式中，在所述根据所述参考脑电信号、所述当前时刻脑电信号、预先训练好的深度Koopman模型中的编码器函数确定高维状态空间中的当前时刻脑电信号和高维状态空间中的参考脑电信号之前，所述方法还包括：获取第一样本脑电信号；根据所述第一样本脑电信号对预先建立好的深度Koopman模型进行训练，得到所述编码器函数和所述Koopman算子。
在可选的实施方式中，所述根据所述第一样本脑电信号对预先建立好的深度Koopman模型进行训练，包括：根据所述第一样本脑电信号和所述深度Koopman模型中的编码器函数确定高维状态空间中的第一样本脑电信号；根据所述高维状态空间中的第一样本脑电信号和所述深度Koopman模型中的解码器函数确定第二样本脑电信号；根据所述第一样本脑电信号和所述第二样本脑电信号确定损失函数；调整所述编码器函数、所述解码器函数和所述Koopman算子以使所述损失函数满足预设条件。
在可选的实施方式中，所述第一样本脑电信号包括：第一脑电信号、第二脑电信号，其中，所述第二脑电信号为所述第一脑电信号下一时刻的脑电信号；所述第二样本脑电信号包括：第三脑电信号、第四脑电信号，其中，所述第四脑电信号为所述第三脑电信号下一时刻的脑电信号。
在可选的实施方式中，所述第一样本脑电信号包括：第一脑电信号、第五脑电信号，其中，所述第五脑电信号为所述第一脑电信号下n时刻的脑电信号；所述第二样本脑电信号包括：第三脑电信号、第六脑电信号，其中，所述第六脑电信号为所述第三脑电信号下n时刻的脑电信号，n≥2且为正整数。
在可选的实施方式中，所述第一样本脑电信号包括：第一脑电信号、第二脑电信号和第五脑电信号，其中，所述第二脑电信号为所述第一脑电信号下一时刻的脑电信号，所述第五脑电信号为所述第一脑电信号下n时刻的脑电信号；所述第二样本脑电信号包括：第三脑电信号、第四脑电信号和第六脑电信号，其中，所述第四脑电信号为所述第三脑电信号下一时刻的脑电信号，所述第六脑电信号为所述第三脑电信号下n时刻的脑电信号，n≥2且为正整数；
所述损失函数为：
其中，Lrecon为重构损失、为第一预测损失、/>为第二预测损失和Llin为线性损失、/>为正则化约束、X为所述第一脑电信号、Y为所述第二脑电信号、/>为所述第三脑电信号、/>为所述第四脑电信号、Z为所述第五脑电信号、/>为所述第六脑电信号、g为所述编码器函数、g-1为所述解码器函数。
第三方面，本发明提供一种电子设备，包括：处理器、存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够实现如前述实施方式任一项所述的装置的功能。
第四方面，本发明提供一种计算机存储介质，所述计算机存储介质设有计算机指令，所述计算机指令被计算机运行时，所述计算机能够实现如前述实施方式中任一项所述的装置的功能。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种神经刺激信号确定方法的流程图；
图2为本申请实施例提供的一种深度Koopman模型训练方法的流程图；
图3为本申请实施例提供的一种深度Koopman模型的原理图；
图4为本申请实施例提供的一种神经刺激信号确定装置的结构框图；
图5为本申请实施例提供的一种电子设备的结构框图。
图标：400-神经刺激信号确定装置；401-获取模块；402-第一确定模块；403-第二确定模块；404-模型训练模块；500-电子设备；501-处理器；502-通信接口；503-存储器；504-总线。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
脑部电刺激是指对人体大脑施加神经刺激信号，以达到治疗某些难治性的大脑疾病和改善大脑状态的目的。在进行脑部电刺激时，需要确定人体脑电信号与神经刺激信号之间的关系。为了达到这一目的，需要对人体脑电信号进行建模，进而根据建模情况模拟人体脑电信号在神经刺激信号下的变化情况，从而计算确定神经刺激信号。人体脑电信号的变化过程是一个复杂的网络化非线性动态过程，现有技术在对人体脑电信号进行建模时，通常采用循环神经网络(RNN)或是非线性自回归(NonlinearAuto-Regressive)模型。然而，使用上述模型确定神经刺激信号时，由于上述模型的复杂度高，进而导致在确定神经刺激信号时需要较大的运算量且耗时长。
基于此，本申请实施例提供一种神经刺激信号确定装置、方法、电子设备和计算机存储介质，减少在确定神经刺激信号时的运算量，从而实现对神经刺激信号的快速求解。
请参阅图1，图1为本申请实施例提供的一种神经刺激信号确定方法的流程图，该神经刺激信号确定方法包括如下步骤：
步骤S101：获取参考脑电信号和刺激对象的当前时刻脑电信号。
步骤S102：根据参考脑电信号、当前时刻脑电信号、预先训练好的深度Koopman模型中的编码器函数确定高维状态空间中的当前时刻脑电信号和高维状态空间中的参考脑电信号。
步骤S103：基于优化函数，根据高维状态空间中的当前时刻脑电信号、高维状态空间中的参考脑电信号和预先训练好的深度Koopman模型中的Koopman算子确定神经刺激信号。
下面将结合示例对上述流程进行详细说明。
根据上述步骤可知，本申请在确定神经刺激信号时，需要用到预先训练好的深度Koopman模型中的编码器函数以及Koopman算子。为了便于对本方案的理解，在对步骤S101进行介绍前，先介绍深度Koopman模型的训练过程。
在步骤S102之前，需要事先对Koopman模型进行训练。作为一种可选的实施方式，请参阅图2，图2为本申请实施例提供一种深度Koopman模型训练方法的流程图，该深度Koopman模型训练方法包括如下步骤：
步骤S201：获取第一样本脑电信号。
步骤S202：根据第一样本脑电信号对预先建立好的深度Koopman模型进行训练，得到编码器函数和Koopman算子。
具体地，上述步骤S202可以包括：
第一步，根据第一样本脑电信号和深度Koopman模型中的编码器函数确定高维状态空间中的第一样本脑电信号；
第二步，根据高维状态空间中的第一样本脑电信号和深度Koopman模型中的解码器函数确定第二样本脑电信号；
第三步，根据第一样本脑电信号和第二样本脑电信号确定损失函数；
第四步，调整编码器函数、解码器函数和Koopman算子以使损失函数满足预设条件。
以下对上述步骤进行详细介绍。
请参阅图3，图3为深度Koopman模型的原理图。由于人体脑电信号与神经刺激信号是一个复杂的网络化非线性动态过程，为了降低模型的复杂度，本申请实施例提出采用深度Koopman模型，首先根据编码器函数将原始状态空间中的第一样本脑电信号映射到高维状态空间中。需要说明的是，在高维状态空间中，前一时刻的人体脑电信号和后一时刻的人体脑电信号之间满足线性映射关系。在高维状态空间，确定出上述线性映射关系其中，g(xk)为高维状态空间中的前一时刻的人体脑电信号，g(xk+1)为高维状态空间中的后一时刻的人体脑电信号，/>为Koopman算子。
然后，将高维状态空间中的样本脑电信号根据解码器解码到原始状态空间中进行重建，确定第二样本脑电信号。根据第一样本脑电信号和第二样本脑电信号确定出损失函数；调整编码器函数、解码器函数和Koopman算子以使损失函数满足预设条件，完成对深度Koopman模型的训练。
以下结合具体示例对上述过程进行详细说明。
作为一种可选的实施方式，第一样本脑电信号可以包括第一脑电信号X和第二脑电信号Y，其中，第二脑电信号为第一脑电信号下一时刻的脑电信号。第一脑电信号X为一段时间内的人体脑电信号，即X＝(x1,x2,…,xT)，对应第一时刻到第T时刻的脑电信号；Y＝(x2,x3,…,xT+1)，对应第二时刻到第T+1时刻的脑电信号。需要说明的是，第一脑电信号X和第二脑电信号Y都是属于同一个人的脑电信号，区别仅在于时间先后的不同。
第一脑电信号X和第二脑电信号Y通过编码器Enconder从原始状态空间中的第一样本脑电信号映射到高维状态空间中，得到高维空间中的第一脑电信号和高维空间中的第二脑电信号在高维状态空间，确定出Koopman算子/>从而根据高维状态空间中的第一脑电信号/>可以得到/>
然后将和/>通过解码器Deconder解码到原始状态空间中，得到第二样本脑电信号，其中第二脑电样本信号包括第三脑电信号/>和第四脑电信号基于Koopman理论基础确定损失函数：
其中，Lrecon为重构损失、LYpred为第一预测损失和Llin为线性损失、为正则化约束、g为编码器函数、g-1为解码器函数。
通过设置正则化约束，可以避免在训练深度Koopman模型过程中出现过拟合的问题。
需要说明的是，为了能使损失函数满足预设条件，需要输入大量的第一样本脑电数据。一个第一样本脑电数据可以理解为某一个人的脑电数据，将大量不同人的脑电数据，均输入到本申请提供的深度Koopman模型中进行训练，不断调整编码器函数、解码器函数和Koopman算子以使得上述损失函数满足预设条件，最终完成对深度Koopman模型的训练。
作为另一种可选的实施方式，第一样本脑电信号可以包括第一脑电信号X和第五脑电信号Z，其中，第五脑电信号为第一脑电信号下n时刻的脑电信号，n≥2且为正整数。第一脑电信号X为一段时间内的人体脑电信号，即X＝(x1,x2,…,xT)，对应第一时刻到第T时刻的脑电信号；Z＝(x1+n,x2+n,…,xT+n)，对应第二时刻到第T+n时刻的脑电信号。需要说明的是，第一脑电信号X和第五脑电信号Z都是属于同一个人的脑电信号，区别仅在于时间先后的不同。
第一脑电信号X和第五脑电信号Z通过编码器Enconder从原始状态空间中的第一样本脑电信号映射到高维状态空间中，得到高维空间中的第一脑电信号和高维空间中的第五脑电信号在高维状态空间，确定出Koopman算子/>从而根据高维状态空间中的第一脑电信号/>得到/>
然后将和/>通过解码器Deconder解码到原始状态空间中，得到第二样本脑电信号，其中第二脑电样本信号包括第三脑电信号/>和第六脑电信号基于Koopman理论基础确定损失函数：
其中，Lrecon为重构损失、为第二预测损失和Llin为线性损失、/>为正则化约束、g为编码器函数、g-1为解码器函数。
与上述实施例相同，本申请实施例也需要输入大量第一样本脑电数据对深度Koopman模型进行训练，不断调整编码器函数、解码器函数和Koopman算子以使得上述损失函数满足预设条件，最终完成对深度Koopman模型的训练。
作为再一种可选的实施方式，为了确保训练后的模型能更好的模拟脑电信号的变化情况，本申请实施例综合上述两个是实施例，第一样本脑电信号包括第一脑电信号X、第二脑电信号Y和第五脑电信号Z。其他的训练方式与上述实施例中的训练方式相同，为使说明书简洁，在此不做赘述。
需要注意的是，由于本申请实施例中，第一样本脑电信号既包括了第一脑电信号下第一时刻的第二脑电信号，还包括了第一脑电信号下第n时刻的第五脑电信号，因此，在确定损失函数如下：
其中，Lrecon为重构损失、为第一预测损失、/>为第二预测损失和Llin为线性损失、/>为正则化约束、g为编码器函数、g-1为解码器函数。也就是说，本申请实施例在确定损失函数时，会同时第一预测损失和第二预测损失。
本申请实施例在训练深度Koopman模型时，将第一脑电信号下第一时刻的第二脑电信号和第一脑电信号下第n时刻的第五脑电信号均输入到深度Koopman模型进行训练，在训练过程中同时构建了一步预测和多步预测的损失函数，从而使得训练后的深度Koopman模型能更准确的模拟人体脑电信号的动态过程，提高模拟的准确性。
下面将结合示例对上述步骤S101至步骤S103进行详细说明。
步骤S101：获取参考脑电信号和刺激对象的当前时刻脑电信号。
本申请实施例中，参考脑电信号为正常人的脑电信号。
步骤S102：根据参考脑电信号、当前时刻脑电信号、预先训练好的深度Koopman模型中的编码器函数确定高维状态空间中的当前时刻脑电信号和高维状态空间中的参考脑电信号。
本申请实施例中，根据前述对深度Koopman模型中的介绍可知，通过预先训练好的深度Koopman模型中的编码器函数，可以将原始状态空间中的脑电信号映射到高维状态空间中。本步骤就是将获取到的参考脑电信号和当前时刻脑电信号从原始状态空间映射到高维状态空间中，从而确定高维状态空间中的当前时刻脑电信号和高维状态空间中的参考脑电信号。
步骤S103：基于优化函数，根据高维状态空间中的当前时刻脑电信号、高维状态空间中的参考脑电信号和预先训练好的深度Koopman模型中的Koopman算子确定神经刺激信号。
本申请实施例中，根据前述对深度Koopman模型中的介绍可知，在高维状态空间中，前一时刻的人体脑电信号和后一时刻的人体脑电信号之间满足线性映射关系其中，Fk为高维状态空间中的前一时刻的人体脑电信号，Fk+1为高维状态空间中的后一时刻的人体脑电信号，/>为Koopman算子。因此，可以通过当前时刻脑袋电信号预测后n时刻的脑电信号。
再者，由于前一时刻的人体脑电信号和后一时刻的人体脑电信号之间满足线性映射关系因此，若在当前时刻增加一个神经刺激信号，则后一时刻的脑电信号满足：/>其中，B是一个全是1的向量，维度是高维状态空间的维度，uk为神经刺激信号。根据上述描述，本申请实施例将人体脑电信号与神经刺激信号这个网络化非线性动态过程转化为了一个线性的过程，进而可以通过设置优化函数确定神经刺激信号。
作为一种可选的实施方式，本申请实施例采用模型预测控制(Model predictivecontrol，MPC)的方式，结合深度Koopman模型确定出优化函数，进而基于优化函数，根据高维状态空间中的当前时刻脑电信号、高维状态空间中的参考脑电信号和预先训练好的深度Koopman模型中的Koopman算子确定神经刺激信号确定神经刺激信号。
具体的，优化函数为：
其中，Tp为确定uk数量的控制范围、Fk为高维状态空间中刺激对象的第k时刻的脑电信号、Fref为高维状态空间中的参考脑电信号、QY为用于惩罚偏差的正定矩阵、QT为常数且用于惩罚神经刺激信号的增量、uk为第k时刻的神经刺激信号、Δuk＝uk-uk-1，Δuk为第k时刻的神经刺激信号增量、为Koopman算子、B为所述神经刺激信号uk的控制增益、Δumin为Δuk能取到的最小值、Δumax为Δuk能取到的最大值、umin为uk能取到的最小值、umax为uk能取到的最大值。
本申请实施例中，将当前时刻记为第0时刻，高维状态空间中的刺激对象的当前脑电信号为F0，根据Koopman算子和神经刺激信号的控制增益B可以确定出后一时刻到后Tp时刻的高维状态空间中刺激对象的脑电信号F1至/>将F1至/>代入从而求解得到第一时刻至第Tp时刻的神经刺激信号u。
作为一种可选的实施方式，umin为-25mv，umax为0mv，Δumin为-20mv，Δumax0mv，QY为单位矩阵，QT＝0.01，B是一个全是1的向量，维度是高维状态空间的维度。
本申请实施例设置预测范围和控制范围，使得在确定神经刺激信号时，同时预测了从后一时刻到后Tp时刻刺激对象在受到神经刺激信号后的脑电信号和后一时刻到后Tp时刻的神经刺激信号的增量，即在确定神经刺激信号时，不仅只考虑后一时刻的神经刺激信号，而是会考虑从后一时刻到后Tp时刻激对象在受到神经刺激信号后的脑电信号，使得确定出的神经刺激信号更准确。
作为一种可选的实施方式，本申请实施例中，刺激对象可以为癫痫患者，在第0时刻，通过优化函数确定神经刺激信号u后，将第一时刻的神经刺激信号u1作为第一时刻的神经刺激信号用以刺激癫痫患者。当到第1时刻时，再次通过优化函数确定神经刺激信号u，此时的神经刺激信号包括第二时刻到第1+Tp时刻的神经刺激信号，将第二时刻的神经刺激信号u2作为第二时刻的神经刺激信号用以刺激癫痫患者，之后一直循环。将神经刺激信号用于刺激癫痫患者的大脑，从而起到对癫痫起到抑制作用。
本申请实施例采用模型预测控制(Model predictive control，MPC)的方式，结合深度Koopman模型确定出优化函数，进而根据优化函数确定神经刺激信号。通过深度Koopman模型将人体脑电信号与神经刺激信号这个网络化非线性动态过程转化为了一个线性的过程，相比于对非线性动态过程求解优化函数而言，求解线性动态过程的优化函数需要的计算量更低，消耗的时间更短。因此，在对癫痫患者进行神经电刺激时，可以做的实时闭环控制。
需要说明的是，本申请实施例的刺激对象还可以是帕金森患者、阿尔兹海默症患者、注意力缺陷患者等。
本申请实施例提供一种神经刺激信号确定方法，将根据预先训练好的深度Koopman模型中的编码器函数将参考脑电信号和当前时刻脑电信号从原始状态空间映射到高维状态空间中，进而基于优化函数，根据高维状态空间中的当前时刻脑电信号、高维状态空间中的参考脑电信号和预先训练好的深度Koopman模型中的Koopman算子确定神经刺激信号。
本申请实施例中，通过深度Koopman模型将人体脑电信号与神经刺激信号这个网络化非线性动态过程转化为了一个线性的过程，进而求解优化函数确定神经刺激信号，相比于对非线性动态过程求解优化函数确定神经刺激信号而言，本申请实施例在确定神经刺激信号的过程中需要的计算量更低，消耗的时间更短。
基于同一发明构思，本申请实施例中还提供一种神经刺激信号确定装置。请参阅图4，图4为本申请实施例提供的一种神经刺激信号确定装置的结构框图，该神经刺激信号确定装置400包括：
获取模块401，用于获取参考脑电信号和刺激对象的当前时刻脑电信号；
第一确定模块402，用于根据所述参考脑电信号、所述当前时刻脑电信号、预先训练好的深度Koopman模型中的编码器函数确定高维状态空间中的当前时刻脑电信号和高维状态空间中的参考脑电信号；
第二确定模块403，用于基于优化函数，根据所述高维状态空间中的当前时刻脑电信号、所述高维状态空间中的参考脑电信号和预先训练好的深度Koopman模型中的Koopman算子确定神经刺激信号。
在可选的实施方式中，所述优化函数为：
其中，Tp为确定uk数量的控制范围、Fk为高维状态空间中刺激对象的第k时刻的脑电信号、Fref为高维状态空间中的参考脑电信号、QY为用于惩罚偏差的正定矩阵、QT为常数且用于惩罚神经刺激信号的增量、uk为第k时刻的神经刺激信号、Δuk＝uk-uk-1，Δuk为第k时刻的神经刺激信号增量、为Koopman算子、B为所述神经刺激信号uk的控制增益、Δumin为Δuk能取到的最小值、Δumax为Δuk能取到的最大值、umin为uk能取到的最小值、umax为uk能取到的最大值。
在可选的实施方式中，所述装置还包括：模型训练模块404，用于获取第一样本脑电信号；根据所述第一样本脑电信号对预先建立好的深度Koopman模型进行训练，得到所述编码器函数和所述Koopman算子。
在可选的实施方式中，所述模型训练模块404还用于根据所述第一样本脑电信号和所述深度Koopman模型中的编码器函数确定高维状态空间中的第一样本脑电信号；根据所述高维状态空间中的第一样本脑电信号和所述深度Koopman模型中的解码器函数确定第二样本脑电信号；根据所述第一样本脑电信号和所述第二样本脑电信号确定损失函数；调整所述编码器函数、所述解码器函数和所述Koopman算子以使所述损失函数满足预设条件。
在可选的实施方式中，所述第一样本脑电信号包括：第一脑电信号、第二脑电信号，其中，所述第二脑电信号为所述第一脑电信号下一时刻的脑电信号；所述第二样本脑电信号包括：第三脑电信号、第四脑电信号，其中，所述第四脑电信号为所述第三脑电信号下一时刻的脑电信号。
在可选的实施方式中，所述第一样本脑电信号包括：第一脑电信号、第五脑电信号，其中，所述第五脑电信号为所述第一脑电信号下n时刻的脑电信号；所述第二样本脑电信号包括：第三脑电信号、第六脑电信号，其中，所述第六脑电信号为所述第三脑电信号下n时刻的脑电信号，n≥2且为正整数。
在可选的实施方式中，所述第一样本脑电信号包括：第一脑电信号、第二脑电信号和第五脑电信号，其中，所述第二脑电信号为所述第一脑电信号下一时刻的脑电信号，所述第五脑电信号为所述第一脑电信号下n时刻的脑电信号；所述第二样本脑电信号包括：第三脑电信号、第四脑电信号和第六脑电信号，其中，所述第四脑电信号为所述第三脑电信号下一时刻的脑电信号，所述第六脑电信号为所述第三脑电信号下n时刻的脑电信号，n≥2且为正整数；
所述损失函数为：
其中，Lrecon为重构损失、为第一预测损失、/>为第二预测损失和Llin为线性损失、/>为正则化约束、X为所述第一脑电信号、Y为所述第二脑电信号、/>为所述第三脑电信号、/>为所述第四脑电信号、Z为所述第五脑电信号、/>为所述第六脑电信号、g为所述编码器函数、g-1为所述解码器函数。
请参照图5，图5为本申请实施例提供的一种电子设备的结构框图，该电子设备500包括：至少一个处理器501，至少一个通信接口502，至少一个存储器503和至少一个总线504。其中，总线504用于实现这些组件直接的连接通信，通信接口502用于与其他节点设备进行信令或数据的通信，存储器503存储有处理器501可执行的机器可读指令。当电子设备500运行时，处理器501与存储器503之间通过总线504通信，机器可读指令被处理器501调用时执行上述实施例中神经刺激信号确定装置的功能。
处理器501可以是一种集成电路芯片，具有信号处理能力。上述处理器501可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器503可以包括但不限于随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
可以理解，图5所示的结构仅为示意，电子设备500还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件、软件或其组合实现。于本申请实施例中，电子设备500可以是，但不限于台式机、笔记本电脑、智能手机、智能穿戴设备、车载设备等实体设备，还可以是虚拟机等虚拟设备。另外，电子设备500也不一定是单台设备，还可以是多台设备的组合，例如服务器集群，等等。
本申请实施例还提供一种计算机程序产品，包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述实施例中神经刺激信号确定装置的功能。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种神经刺激信号确定装置，其特征在于，包括：
获取模块，用于获取参考脑电信号和刺激对象的当前时刻脑电信号；
第一确定模块，用于根据所述参考脑电信号、所述当前时刻脑电信号、预先训练好的深度Koopman模型中的编码器函数确定高维状态空间中的当前时刻脑电信号和高维状态空间中的参考脑电信号；
第二确定模块，用于基于优化函数，根据所述高维状态空间中的当前时刻脑电信号、所述高维状态空间中的参考脑电信号和预先训练好的深度Koopman模型中的Koopman算子确定神经刺激信号；
所述优化函数为：
s.t.Δuk∈[Δumin,Δumax]
uk∈[umin,umax]
其中，Tp为确定uk数量的控制范围、Fk为高维状态空间中刺激对象的第k时刻的脑电信号、Fref为高维状态空间中的参考脑电信号、QY为用于惩罚偏差的正定矩阵、QT为常数且用于惩罚神经刺激信号的增量、uk为第k时刻的神经刺激信号、Δuk＝uk-uk-1，Δuk为第k时刻的神经刺激信号增量、为Koopman算子、B为所述神经刺激信号uk的控制增益、/>Δumin为Δuk能取到的最小值、Δumax为Δuk能取到的最大值、umin为uk能取到的最小值、umax为uk能取到的最大值。
2.根据权利要求1所述的装置，其特征在于，所述装置还包括：
模型训练模块，用于获取第一样本脑电信号；
根据所述第一样本脑电信号对预先建立好的深度Koopman模型进行训练，得到所述编码器函数和所述Koopman算子。
3.根据权利要求2所述的装置，其特征在于，所述模型训练模块还用于根据所述第一样本脑电信号和所述深度Koopman模型中的编码器函数确定高维状态空间中的第一样本脑电信号；
根据所述高维状态空间中的第一样本脑电信号和所述深度Koopman模型中的解码器函数确定第二样本脑电信号；
根据所述第一样本脑电信号和所述第二样本脑电信号确定损失函数；
调整所述编码器函数、所述解码器函数和所述Koopman算子以使所述损失函数满足预设条件。
4.根据权利要求3所述的装置，其特征在于，所述第一样本脑电信号包括：第一脑电信号、第二脑电信号，其中，所述第二脑电信号为所述第一脑电信号下一时刻的脑电信号；所述第二样本脑电信号包括：第三脑电信号、第四脑电信号，其中，所述第四脑电信号为所述第三脑电信号下一时刻的脑电信号。
5.根据权利要求3所述的装置，其特征在于，所述第一样本脑电信号包括：第一脑电信号、第五脑电信号，其中，所述第五脑电信号为所述第一脑电信号下n时刻的脑电信号；所述第二样本脑电信号包括：第三脑电信号、第六脑电信号，其中，所述第六脑电信号为所述第三脑电信号下n时刻的脑电信号，n≥2且为正整数。
6.根据权利要求5所述的装置，其特征在于，所述第一样本脑电信号包括：第一脑电信号、第二脑电信号和第五脑电信号，其中，所述第二脑电信号为所述第一脑电信号下一时刻的脑电信号，所述第五脑电信号为所述第一脑电信号下n时刻的脑电信号；所述第二样本脑电信号包括：第三脑电信号、第四脑电信号和第六脑电信号，其中，所述第四脑电信号为所述第三脑电信号下一时刻的脑电信号，所述第六脑电信号为所述第三脑电信号下n时刻的脑电信号，n≥2且为正整数；
所述损失函数为：
其中，Lrecon为重构损失、为第一预测损失、/>为第二预测损失和Llin为线性损失、/>为正则化约束、X为所述第一脑电信号、Y为所述第二脑电信号、/>为所述第三脑电信号、/>为所述第四脑电信号、Z为所述第五脑电信号、/>为所述第六脑电信号、g为所述编码器函数、g-1为所述解码器函数。
7.一种神经刺激信号确定方法，其特征在于，所述方法包括：
获取参考脑电信号和刺激对象的当前时刻脑电信号；
根据所述参考脑电信号、所述当前时刻脑电信号、预先训练好的深度Koopman模型中的编码器函数确定高维状态空间中的当前时刻脑电信号和高维状态空间中的参考脑电信号；
基于优化函数，根据所述高维状态空间中的当前时刻脑电信号、所述高维状态空间中的参考脑电信号和预先训练好的深度Koopman模型中的Koopman算子确定神经刺激信号；
所述优化函数为：
s.t.Δuk∈[Δumin,Δumax]
uk∈[umin,umax]
其中，Tp为确定uk数量的控制范围、Fk为高维状态空间中刺激对象的第k时刻的脑电信号、Fref为高维状态空间中的参考脑电信号、QY为用于惩罚偏差的正定矩阵、QT为常数且用于惩罚神经刺激信号的增量、uk为第k时刻的神经刺激信号、Δuk＝uk-uk-1，Δuk为第k时刻的神经刺激信号增量、为Koopman算子、B为所述神经刺激信号uk的控制增益、/>Δumin为Δuk能取到的最小值、Δumax为Δuk能取到的最大值、umin为uk能取到的最小值、umax为uk能取到的最大值。
8.一种电子设备，其特征在于，包括：处理器、存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够实现如权利要求1-6任一项所述的装置的功能。
9.一种计算机存储介质，其特征在于，所述计算机存储介质设有计算机指令，所述计算机指令被计算机运行时，所述计算机能够实现如权利要求1-6中任一项所述的装置的功能。
CN202110599097.2A 2021-05-28 2021-05-28 神经刺激信号确定装置和方法 Active CN113297993B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110599097.2A CN113297993B (zh) 2021-05-28 2021-05-28 神经刺激信号确定装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110599097.2A CN113297993B (zh) 2021-05-28 2021-05-28 神经刺激信号确定装置和方法

Publications (2)

Publication Number Publication Date
CN113297993A CN113297993A (zh) 2021-08-24
CN113297993B true CN113297993B (zh) 2023-11-28

Family

ID=77326278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110599097.2A Active CN113297993B (zh) 2021-05-28 2021-05-28 神经刺激信号确定装置和方法

Country Status (1)

Country Link
CN (1) CN113297993B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106264460A (zh) * 2016-07-29 2017-01-04 北京好运到信息科技有限公司 基于自学习的脑活动多维时间序列信号的解码方法及装置
CN111338473A (zh) * 2020-02-18 2020-06-26 珠海爬山虎科技有限公司 基于脑电信号的康复训练方法、计算机装置以及计算机可读存储介质
CN112686098A (zh) * 2020-12-15 2021-04-20 中国人民解放军战略支援部队信息工程大学 基于Shape-Resnet的大脑中高级视觉区信号处理方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106264460A (zh) * 2016-07-29 2017-01-04 北京好运到信息科技有限公司 基于自学习的脑活动多维时间序列信号的解码方法及装置
CN111338473A (zh) * 2020-02-18 2020-06-26 珠海爬山虎科技有限公司 基于脑电信号的康复训练方法、计算机装置以及计算机可读存储介质
CN112686098A (zh) * 2020-12-15 2021-04-20 中国人民解放军战略支援部队信息工程大学 基于Shape-Resnet的大脑中高级视觉区信号处理方法及系统

Also Published As

Publication number Publication date
CN113297993A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN108876284B (zh) 一种用户行为提示生成方法及终端设备
CN116931738B (zh) 一种基于脑电波动态调节电流强度的干预刺激方法
CN112055878A (zh) 基于第二组训练数据调整机器学习模型
CN110222597B (zh) 基于微表情调节屏幕显示的方法及装置
CN112037179B (zh) 一种脑疾病诊断模型的生成方法、系统及设备
CN117954055A (zh) 脑功能图谱的绘制系统
CN113705929B (zh) 一种基于负荷特征曲线及典型特征值融合的春节假期负荷预测方法
Hahn et al. A new computational approach to estimate whole-brain effective connectivity from functional and structural MRI, applied to language development
CN116725511A (zh) 经颅直流电刺激时的干预电流值确定方法、装置及终端
CN112966818A (zh) 一种定向引导模型剪枝方法、系统、设备及存储介质
Grohn et al. Multiple systems in macaques for tracking prediction errors and other types of surprise
CN114169508A (zh) 一种神经网络系统中数据处理的方法及系统
Sase et al. Estimating the level of dynamical noise in time series by using fractal dimensions
CN113297993B (zh) 神经刺激信号确定装置和方法
CN113743650B (zh) 电力负荷预测方法、装置、设备与存储介质
CN111931698B (zh) 基于小型训练集的图像深度学习网络构建方法及装置
EP3792748A1 (en) Information processing device and method, and program
EP3796233A1 (en) Information processing device and method, and program
CN116726344A (zh) 智能助眠方法、装置及穿戴设备
CN112185530A (zh) 一种医院排号管理方法及系统
CN116090618A (zh) 一种电力通信网的运行态势感知方法和装置
CN116468857A (zh) 一种基于大脑建模的电磁仿真及优化平台构建方法及系统
CN110349664B (zh) 基于循环神经网络的肿瘤预测装置、终端设备及存储介质
CN116630247B (zh) 脑血流图像处理方法及装置、脑血流监测系统
CN113723415B (zh) 一种生存时长预测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230324

Address after: Room 302, Building C1, Guangming Science Park, China Merchants Bureau, Fenghuang Community, Fenghuang Street, Guangming District, Shenzhen City, Guangdong Province, 518107

Applicant after: Shenzhen Zhongke Huayi Technology Co.,Ltd.

Address before: 518000 No. 1088, Xili, Xue Yuan Avenue, Nanshan District, Shenzhen, Guangdong.

Applicant before: Southern University of Science and Technology

GR01 Patent grant
GR01 Patent grant