CN117322890B - 一种基于神经元群模型的生成式多通道脑电建模方法 - Google Patents
一种基于神经元群模型的生成式多通道脑电建模方法 Download PDFInfo
- Publication number
- CN117322890B CN117322890B CN202311269930.2A CN202311269930A CN117322890B CN 117322890 B CN117322890 B CN 117322890B CN 202311269930 A CN202311269930 A CN 202311269930A CN 117322890 B CN117322890 B CN 117322890B
- Authority
- CN
- China
- Prior art keywords
- model
- electroencephalogram
- brain
- neuron
- constructing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000002569 neuron Anatomy 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 74
- 210000004556 brain Anatomy 0.000 claims abstract description 95
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims description 24
- 239000012528 membrane Substances 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- 238000004070 electrodeposition Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 230000000946 synaptic effect Effects 0.000 claims description 5
- 230000008485 antagonism Effects 0.000 claims description 4
- 230000002964 excitative effect Effects 0.000 claims description 4
- 230000009782 synaptic response Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims description 3
- 210000002763 pyramidal cell Anatomy 0.000 claims description 3
- 241000209202 Bromus secalinus Species 0.000 claims description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 abstract description 3
- 210000003128 head Anatomy 0.000 description 23
- 230000006870 function Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 11
- 238000010304 firing Methods 0.000 description 8
- 230000001537 neural effect Effects 0.000 description 7
- 230000003068 static effect Effects 0.000 description 6
- 230000007177 brain activity Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 210000003710 cerebral cortex Anatomy 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000001242 postsynaptic effect Effects 0.000 description 3
- 210000004761 scalp Anatomy 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 210000000225 synapse Anatomy 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 230000036982 action potential Effects 0.000 description 1
- 210000003050 axon Anatomy 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000009514 concussion Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007428 craniotomy Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000001787 dendrite Anatomy 0.000 description 1
- 230000008846 dynamic interplay Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 210000001926 inhibitory interneuron Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000001153 interneuron Anatomy 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000036403 neuro physiology Effects 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 239000002858 neurotransmitter agent Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000008188 pellet Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000003518 presynaptic effect Effects 0.000 description 1
- 210000001176 projection neuron Anatomy 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000005309 stochastic process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Psychology (AREA)
- Signal Processing (AREA)
- Fuzzy Systems (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Neurology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于神经元群模型的生成式多通道脑电建模方法，包括以下步骤：构建若干个神经元群模型；将所述神经元群模型互联，构成时空源模型；构建生物物理体积传导模型，与所述时空源模型相结合生成宏观脑电信号；构建脑电生成模型，获取真实脑电信号，基于所述宏观脑电信号和真实脑电信号对所述脑电生成模型进行训练；基于训练后的脑电生成模型，进行多通道脑电信号的生成。本发明的脑电信号生成方法能够生成目前脑机接口领域亟需的优质脑电信号，改善了传统方法中脑电信号的采集困难，高质量脑电信号较少的情况，在脑机接口领域能够得到较为广泛的应用。
Description
技术领域
本发明属于脑-机接口及脑电信号处理技术领域，特别是涉及一种基于神经元群模型的生成式多通道脑电建模方法。
背景技术
脑电信号(EEG)采集方式主要可分为侵入式和非侵入式。侵入式采集是指将大脑开颅并植入传感器，这种方法虽能获得高质量的EEG信号，但具有一定危险性和伦理问题，现阶段还未得到广泛应用。而非侵入式采集方式是通过在大脑皮层外部放置电极传感器,主要是电极帽,来采集EEG信号。电极帽中的电极又可主要分为干电极和湿电极。前者让受试者头皮直接接触干式电极，操作简单，且无需操作者熟练的技巧，但采集的脑电信号质量通常难以保证；后者会在受试者头皮对应位置涂抹导电凝胶，如导电膏等，并通过相应电极完成采集，但可能会引起受试者的不适。无论何种采集方式，现阶段相关研究中，高质量的EEG数据仍显不足，存在的技术问题包括：
(1)在设备搭建方面，建立一个能够有效采集EEG信号的实验环境的代价比较高，且后续的日常维护也需一定数目的经费。
(2)现有基于EEG的公共权威数据集的数量仍然是有限的，这些公开的数据集常常无法满足研究人员特定研究目标或训练的要求，如特定场景应用的脑电数据需求，对受试者一定的年龄、性别、健康状况等跨度的数据量要求等。
(3)无论何种采集方式，总涉及到相应数量受试者的招募和相关时间的实验要求，若符合实验条件的受试者数量有限，则可能导致获得的数据缺乏泛化特性与数据不足的问题，重新进行受试者实验，则会带来额外的开销。
随着技术的革新发展，上述脑电数据不足的问题在脑控智能设备的开发与研究方面逐渐凸显。在脑电信号领域，为解决数据稀缺性问题并扩充原有的数据，有两类常用的方法，第一种的基本思想是通过使用几何变换来生成更多的数据，如Wang等人通过在脑电特征中加入高斯噪声生成人工数据，提高了基于EEG的情绪识别模型的性能。然而，这类方法很难捕捉到数据内部的深层次信息。第二类是通过深度神经网络模拟大脑生成脑电信号，比如通过生成对抗网络(GAN)中生成器和判别器间的博弈学习，使得生成器生成的仿真数据逐步接近真实数据；Rongrong Fu等人用广深度网络混合模型，组合具有最高相似度的不同受试者来生成增强的真实脑电图。这类方法有较好的性能，但常常缺乏一定的可解释性且忽略了大脑生理区域间的相对空间位置关系的影响。
综上所述，现有技术中脑电信号采集困难，对经费要求较高，获得的高质量脑电信号较少，并且通过仿真模型生成的脑电信号通常缺乏神经生理的可解释性。
发明内容
本发明的目的是提供一种基于神经元群模型的生成式多通道脑电建模方法，以解决上述现有技术存在的问题。
为实现上述目的，本发明提供了一种基于神经元群模型的生成式多通道脑电建模方法，包括以下步骤：
构建若干个神经元群模型；
将所述神经元群模型互联，构成时空源模型；
构建生物物理体积传导模型，与所述时空源模型相结合生成宏观脑电信号；
构建脑电生成模型，获取真实脑电信号，基于所述宏观脑电信号和真实脑电信号对所述脑电生成模型进行训练；
基于训练后的脑电生成模型，进行多通道脑电信号的生成。
可选地，所述神经元群模型的构建过程包括：基于兴奋性神经元、锥体细胞和抑制性神经元的基本神经元群，构成神经元群模型；其中，每个神经元群均包括突触反应模块和激活函数模块。
可选地，所述神经元群模型的参数获取过程包括：基于实验数据的方法获取所述神经元群模型的内部参数，基于随机过程的方法获取所述神经元群模型的外部参数；其中，所述内部参数包括平均膜电位、平均放电率、突触增益和连接强度，所述外部参数包括外部刺激。
可选地，所述时空源模型的构建过程包括：构建大脑网络模型，基于所述大脑网络模型的脑区连接信息，将若干个神经元群模型进行解剖连接，构成时空源模型。
可选地，构建生物物理体积传导模型的过程包括：将实际解剖模型作为头模型，获取所述头模型导电率的导电性模型，基于所述头模型和导电性模型构建生物物理体积传导模型。
可选地，生成宏观脑电信号的过程包括：将所述生物物理体积传导模型进行离散化表示，然后采用有限元分析方法对离散化的生物物理体积传导模型进行求解，获得有限元中每个网格节点上面的电位值；基于所述时空源模型，获取电极位置，将所述电位值与电极位置进行匹配，采用插值或者平均的方法获取电极位置对应的电位值，从而获得宏观脑电信号。
可选地，脑电生成模型的构建过程包括：将生成对抗网络作为基本结构；将所述时空源模型和生物物理体积传导模型相结合，构成生成器；基于卷积神经网络构建判别器，基于所述基本结构、生成器和判别器，构建脑电生成模型。
可选地，脑电生成模型的训练过程包括：分别获取所述生成器和判别器的初始参数，将生成器生成的宏观脑电信号与判别器获取的真实脑电信号进行对比，优化所述生成器的初始参数，直至生成器骗过判别器；然后固定生成器，获取宏观脑电信号和真实脑电信号在判别器上的二元交叉熵损失，进行反向传播，进而使用随机梯度下降更新判别器的初始参数，直至脑电生成模型收敛，训练结束。
本发明的技术效果为：
本发明通过融合神经元群模型、时空源模型、生物物理体积传导模型与生成对抗网络的技术手段，达到了生成具备神经生理可解释性、适用于脑控智能设备的多通道脑电信号的技术效果。
本发明从构建模型的角度生成应用于脑机接口的多通道脑电信号，旨在解决脑机接口领域中存在的数据量小，获取成本高昂的问题。
本发明的脑电信号生成方法能够生成目前脑机接口领域亟需的优质脑电信号，改善了传统方法中脑电信号的采集困难，高质量脑电信号较少的情况，在脑机接口领域能够得到较为广泛的应用。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例中基于神经元群模型的生成式多通道脑电建模流程示意图；
图2为本发明实施例中的神经元群模型基本结构图；
图3为本发明实施例中的大脑时空源模型结构简略示意图；
图4为本发明实施例中的生成对抗网络的网络结构示意图；
图5为本发明实施例中的生成对抗网络的判别器网络结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
如图1所示，本实施例中提供一种基于神经元群模型的生成式多通道脑电建模方法，以神经元群模型作为电生理源模型基础，结合静态大脑网络模型，建立大脑的时空源模型。该模型可模拟大脑皮层间的震荡活动和层间的信息传递，然后将大脑时空源模型中给出的电信号输入生物物理体积传导模型，反映脑电的前向传导过程，使用有限元分析方法对不同电极上面的电信号进行计算，得到的结果便是仿真的多通道脑电信号。进一步，以生成对抗网络作为骨干架构，通过生成器与判别器训练生成适用的多通道脑电信号。具体步骤如下：
神经元群模型的构建，时空源模型的构建，生物物理体积传导模型的构建，生成对抗网络整体结构的构建。
神经元群模型的构建：
神经元群模型(NMM)是一种宏观模型，可基于数学微分方程描述大脑中不同神经元之间的相互作用和动力学，以及神经元之间的平均行为。神经元群模型可以简化神经元系统的维度和复杂性，表征神经元活动随时间的变换。
神经元群模型对于大脑活动，即神经元活动，做了这样一种假设：即在神经元细胞之间存在强相关的情况下，神经元群体的活动可以使用平均值来代替。神经元群模型将一个局域神经元群体使用微分方程来进行描述，可以减少模型所需的方程组的数量，可以构建进一步理解大脑活动和复杂性的定量框架。
神经元群模型的原始输出是每个突触所引起的膜电位变化以及每个群的后续放电率。它们由一组描述的参数来确定，如突触后电位的动态、膜电位改变和放电率之间的关系、群体连通性和外部输入。
本实施例中采用的神经元群模型，应用广泛，能够模拟脑电信号的节律和视觉诱发电位，可用作脑控智能设备开发与研究中所需动力学脑电信号的模拟生成。图2为本实施例中应用的Jansen-Rit神经元群模型基本结构图。具体地，Jansen-Rit神经元群模型由兴奋性神经元(Excitatory Interneurons，EIN)、锥体细胞(Pyramid Cells，PC，代表投射神经元)及抑制性神经元(Inhibitory Interneurons，IIN)三个神经元群组成，兴奋性和抑制性神经元形成反馈回路。每个神经元群都由一个二阶微分方程来描述平均输入脉冲率到平均膜电位的转换。
NMM模型中，构建神经元群的任何细胞群体都由两个构建块组成，第一个构建块是突触反应，描述了进入群体的动作电位的平均放电率如何决定其平均膜电位V(t)。第二个模块是激活函数，描述了V(t)是如何决定群体的平均放电率m(t)，一个神经元群可以被视为一个将突触前放电率转换为突触后放电率的一个系统。神经元群体模型的状态变量包括群体的平均膜电位V(t)和平均放电率m(t)。对于每个群体来说，放电率-电位算子(Rate-to-Potential Operator，RPO)描述了突触和树突的动力学，电位-放电率算子(Potential-to-Rate Operator，PRO)则描述了轴突小球处的输出非线性。涉及RPO的突触反应可使用以下的α函数，即一个二阶微分方程的格林公式进行描述：
(1)中τ是总结突触中无源树突电缆延迟和神经递质动力学的时间常数，它影响了放电率-电位算子(RPO)的形状和速度；H是突触增益，它影响了神经群体之间的连接强度c和放电率-电位算子(RPO)的效果；c是连接强度，它影响了神经群体之间的信息传递和反馈回路的稳定性；V(t)是平均膜电位，每个神经群体的状态变量之一，表示神经元的平均电活动，它受到其他神经群体的输入和外部刺激p(t)的影响；m(t)是平均放电率，每个神经群体的状态变量之一，表示神经元的平均输出活动，它由平均膜电位V(t)和电位-放电率算子(PRO)决定。(1)式α函数相当于将传入的尖峰速率V(t、)进行卷积处理，可以充分描述响应单个尖峰的突触后电位。
电位至放电率算子PRO是一个Sigmoid函数，具体如下：
其中V0是放电阈值，它影响了电位-放电率算子(PR0)的形状和敏感性；r是反应群体内放电阈值方差的斜率，e0是阈值处的放电率。PRO输出的电信号是一个S形曲线，在V(t)接近V0的时候变化最快，在V(t)远离V0的时候变化最慢。这个曲线的形状由e0，r和V0决定，反映了神经元的放电特性。
本实施例中决定生成脑电信号的参数有：平均膜电位V(t)、平均放电率m(t)、突触增益H、连接强度c、外部刺激p(t)。这些参数共同决定了Jansen-Rit模型的动力学行为和输出，从而能够生成类似于脑电信号的结果。
神经元群模型构建完成之后，首先进行初始参数的确定，初始参数的构建一般有以下几种：
基于实验数据的方法：使用真实的脑电信号来估计参数。
基于随机过程的方法：通过使用随机过程来生成初始参数，然后将其作为神经元群模型的初始状态。
基于优化的方法：使用优化算法寻找最优的初始参数，将其作为神经元群模型的初始参数。
神经元群模型中的参数可以分为两种：一种为外部刺激参数，另一种为内部参数。本实施例使用基于随机过程的方法来决定神经元群模型的外部初始输入参数，使用基于实验数据的方法来确定神经元群模型的内部参数。
本实施例使用基于随机过程的方法来确定对神经元群模型的外部刺激，优点在于不需要使用真实的实验数据，或者进行复杂的信号处理。实现难度较低，可以节省大量的时间资源。并且，基于随机过程的方法可以方便地调整输入的特征，可控性较高，可以激发出神经元群模型的不同动力学行为和输出信号，探索性较高。
本实施例没有使用基于随机过程的方法来决定神经元群模型的内部参数，具体原因在于神经元群体模型内部参数由微分方程所描述，这些微分方程是都是非线性且较复杂，使用随机过程的方法生成神经元群模型内部参数可能会导致参数不匹配、参数不稳定以及参数不可控等问题出现。所以本实施例使用基于实验数据的方法来确定神经元群模型的内部参数。
在参数确定好之后，构建的神经元群模型就可以用于脑电信号的合成，但由于生成的时序信号数据不能体现脑电信号的空间特性，所以还需建立大脑的时空源模型和生物物理体积传导模型。该模型用于将空间信息和解剖信息和神经元群模型结合起来，皮层的模型由多个并行部署的单模型组成。
时空源模型的构建：
上述构建的神经元群模型只能模拟出大脑皮层中的部分神经元活动。为生成与真实脑电信号类似的合成脑电信号，即进行全脑的大尺度动力学模型模拟，则需要将神经元群体进一步转换为空间中的位置，这样便可以同时生成多通道的数据。
本实施例使用神经元群模型作为电流源模型来描述神经群体模型产生的电位的特征，得到神经元群模型所产生的电流源所产生的电位之后，需要将神经元群模型互联，组成大规模大脑动力学模型。这就需要大脑网络模型来表示大脑中不同区域之间的连接关系的模型。大脑网络模型基于如下基本假设：即为了能对大脑活动进行更好的理解，考虑神经元或神经元群及其解剖连接的动态相互作用。大脑网络模型用来分析大脑网络的拓扑结构和功能组织，可以根据结构连接数据或者功能连接数据来构建，也可以根据不同的特征或者任务来划分为不同的模块。
图3表示了由耦合多个神经元群模型来构建的大脑网络模型。本实施例使用静态大脑网络模型用于描述大脑功能连接。静态大脑网络模型假设：大脑网络的结构或者功能连接是固定不变的，通常使用一段时间内的平均数据来进行构建，其中每一个节点代表一个脑区，每条边代表一个突触连接，整个模型反映了不同脑区之间的解剖连接或者是功能连接，即它们之间的物理路径或者统计依赖关系。根据这些连接信息，可以构建一个加权或者是无权的邻接矩阵，表示大脑网络模型结构的连接方式。
邻接矩阵的定义为：阶为n的图G的邻接矩阵是n×n的。将G的顶点标签为v1，v2，v3，...，vn。若(vi，vj)∈E(G)，Aij＝1，否则Aij＝0。也可以使用大于0的值表示边的权值，可以使用边权值表示一个点到另一个点的连接。
得到邻接矩阵之后，便可以使用图论的方法来分析图中的拓扑特征和统计规律，也就是通过图论的方法来确定整个大脑网络的连接状态。神经元群模型之间的连接方式可以分为：解剖连接、功能连接以及有效链接。不同的连接方法存在不同的连接方式和强度。
其中，解剖连接指的是大脑区域之间的物理连接。解剖连接可以用于表示大脑网络的结构基础，主要通过神经解剖学或者结构性神经影像来测量。功能连接指的是大脑区域之间的统计相关性。功能连接可以用来表述大脑网络之间的功能协调性。有效链接指的是大脑区域之间的因果关系，如信号的方向性或者预测能力。
本实施例的目的是为了模拟大脑的结构特征和物理约束，所以使用解剖连接来确定结构连接矩阵(邻接矩阵)，可以反映耦合起来的神经元群模型之间的解剖连接关系。静态大脑网络模型可以反应大脑网络的稳态特性，但是忽略了大脑网络的动态变化。
由神经元群模型和大脑网络模型结合起来便组成了一个时空源模型，也被称作大规模的大脑动力学模型，但是这样仍然不能得到脑电数据，还需要通过和生物物理体积传导模型进行结合，才能生成宏观的脑电数据。
生物物理体积传导模型：
生物物理体积传导模型是一种用于描述头部内部电场分布的物理模型。它假设头部是由不同导电性的层次性构成的。生物物理体积传导模型可以用于生成脑电信号的前向问题。
生物物理体积传导模型包括头模型和导电性模型，导电性模型是一种用于描述头部各层组织的导电率的模型，是建立生物物理体积传导模型的一个参数。
头模型是一种集合模型，用来描述头部的形状、大小等几何信息，也用于描述大脑内部的电流源和皮层上的电位信号之间的关系。头模型可以影响脑电信号在头部的传播和衰减以及头皮上的分布和测量。头模型可以使用一些简化的形状来表示，比如说球形模型、多层模型、实际解剖模型等。
头模型可以使用解析法或者数值法来进行求解，常见的数值方法有边界元法、有限元法和有限差分法。这些方法可以处理复杂和不规则的几何形状和各向异性的导电性。头模型的求解结果可以使用一个矩阵来表示，称为前向矩阵、导联场矩阵或者增益矩阵。此矩阵描述了每个电流源位置和方向对应的每个电极或者线圈上的磁场。
本实施例采用实际解剖模型作为头模型，这是一种最为复杂的头模型，根据个体的磁共振成像(MRI)数据来构建头部的几何形状和电导率分布。实际解剖模型的优点是可以反应头部的真实结构和特征，所以可以提高前向计算的精度。实际解剖模型存在的问题是整个模型计算量较大，对电极和方向的要求较高。
本实施例使用数值分析方法中的有限元法进行求解，有限元分析法对于头部模型的整个体积进行离散化，分成许多小单元可以处理复杂和不规则的几何形状和各向异性的导电性。有限元分析方法在复杂几何形状的表示方面灵活，且精度更高。有限元分析法同样需要大量的计算资源。
根据脑部活动的电流源来产生的电信号来模拟头部表面的电位分布，这个问题可以用一个泊松方程来描述。泊松方程的形式是：
u是解决方程(3)的电势，σ是头部生物物理体积传导模型体Ω中的电导率分布，jp是所谓的主要电流，即用于模拟脑部活动的微观电流源，在本实施例中由神经元群模型所产生。(3)中的第二个式子为泊松方程的边界条件，也就是齐次诺依曼边界条件，表示了头表面上的法向电流为零，即没有电流从头部流出或流入。为了能够产生高精度的脑电信号，体积传导模型Ω应尽可能反映头部几何形状。
为了得出方程(3)的解，需要将体积传导模型Ω进行离散化表示。
本实施例采用Lagrange有限元分析方法，这是一种进行脑电信号求解的常用方法。在这种方法中，电位u在Lagrange函数hi(x)的空间中进行逼近。这些函数是在有限元网格上定义的“帽子函数”，即函数是分段现行的，在网格的一个节点上取值为1，在网格的其余节点上取值为0。将hi插入方程(3)的弱形式中得到离散系统
Au＝b (4)
其中：
然后对(4)进行求解，得到相关的离散解：
选择jp,也就是本发明作为电流源的神经元群模型作为电流偶极子源，然后求解线性方程组。离散解中，得到的是有限元中每个网格节点上面的电位值，这些电位值与电极位置进行匹配，使用插值或者平均的方法来计算电极上的电位值，便得到了宏观的多通道脑电信号。这为之后生成对抗网络整体结构的构建提供了必要的前置条件。
如图4所示，在脑电生成模型中，以生成对抗网络作为模型的基本结构，生成器采用时空源模型(大脑动力学模型)和生物物理体积传导模型，判别器功能为判断生成器所生成的脑电信号与真实脑电信号真假与否，将生成器和判别器组合起来得到整体结构进行训练，组合模型结构即为本实施例之中生成脑电信号的主体。
本实施例中判别器所使用的真实脑电信号来源于采集的脑电信号或者互联网上公开的脑电信号数据集。生成器的初始参数可以根据不同的条件和状态来确定，判别器的参数初始化采用随机正态分布进行初始化。通过对生成的脑电信号和真实脑电信号之间的对比，对生成器的对应参数进行更新，直至生成器能够骗过判别器。然后固定生成器，计算真实数据与生成数据在判别器上的二元交叉熵损失，进行反向传播，然后使用随机梯度下降更新判别器参数，直至模型收敛，最终满足对所需脑电信号的生成需求。
具体的，脑电生成模型的构建过程如下：
生成对抗网络(Generative Adversarial Networks，GAN)基于对抗学习原理人工生成数据。该网络主要分为判别器和生成器两个部分，这两个部分进行对抗训练。生成器的目标是生成尽可能逼真的数据，判别模型的目标是区分输入的数据是真实的还是生成的，通过不断优化两个模型的参数，使得生成器能够欺骗判别模型，从而达成高质量数据的目的。
目前所流行的生成对抗网络中，基本上生成器和判别器均使用神经网络来实现。但是不一定要求使用神经网络，只要能够正常进行判别和更新参数即可。
因此，本实施例使用之前所构建的能够生成模拟脑电信号的大规模大脑动力学模型和生物物理体积传导模型的组合作为生成对抗网络中的生成器，用于生成合成的伪脑电信号数据。
针对适用于脑控智能设备控制的脑电通道进行具体的对抗训练，如若采取脑电范式为SSVEP，则可选取枕区六个通道(O1,O2,OZ,PO3，PO4,POZ)的真实脑电数据与生成的脑电数据进行对抗性训练。
图5表示了GAN模型的判别器网络结构。
判别器数据集：数据集为生成的脑电信号和真实脑电信号数据。本实施例中，设置EEG信号采样率为250HZ,每个EEG记录被分割为4S，滑动窗口为2S。每个EEG数据为6通道1000帧的脑电信号。
判别器模型：判别器是一个3层1维CNN(ReLU激活函数和最大池化层)，在输出端有1个全连接层和1个sigmoid激活函数。输入为批量为32的脑电信号，输出为该批量脑电信号为真实脑电的概率。
目标函数：
其中z是生成脑电数据，x是真实脑电数据，Pz是生成器脑电数据分布，Pdata是真实脑电数据分布，b是真实脑电信号的标签，a是生成脑电信号的标签，L(D)GAN是由交叉熵损失函数计算的判别器损失。
然后通过判别器对伪脑电信号数据和真脑电信号数据进行判断。
在本实施例中，可能对脑电信号产生影响的变量有多种，如外部刺激、神经元群模型的参数、静态大脑网络模型的参数、生物物理体积传导模型的参数。由于本实施例主要着重于利用神经元群模型的可解释性，所以在方法中采用控制变量，将除了神经元群模型参数之外的其余模型参数予以冻结，以免出现变量过多导致无法对输出的脑电信号进行控制的情况。也可对其余模型的参数进行改变，测试其对生成脑电信号的影响。
本实施例主要在计算机设备上运行，能够生成目前脑机接口领域亟需的优质脑电信号，改善了传统方法中脑电信号的采集困难，高质量脑电信号较少的情况。在可预见的未来，本实施例能够在脑机接口领域得到较为广泛的应用。
本实施例中，建立基本神经元群模型，使用随机过程生成高斯噪声作为其初始输入的外部参数初始值；通过实验数据确定神经元群模型的内部参数初始值；建立脑电时空源模型与生物物理体积传导模型，通过实验方法确定时空源模型、生物物理体积传导模型的初始参数；使用生成对抗网络构建脑电生成模型的基本结构，基于神经元群模型的时空源模型与生物物理体积传导模型用于构建脑电生成器，基于真实脑电信号构建脑电判别器；通过生成的脑电信号与真实的脑电信号对判别器进行训练，计算损失，并交替调整判别器与生成器的参数，直到整个脑电生成模型达到收敛条件，此时生成器已不能分辨生成脑电信号的真伪，完成脑电信号建模。
本实施例中从模型的角度生成应用于脑机接口的多通道脑电信号，旨在解决脑机接口领域中存在的数据量小，获取成本高昂的问题。其中，可能对脑电信号产生影响的变量有多种，如刺激、神经元群模型的参数、静态大脑网络模型的参数、生物物理体积传导模型的参数。由于本实施例主要着重于利用神经元群模型的可解释性，所以在方法中采用控制变量，将除了神经元群模型参数之外的其余模型参数予以冻结，以免出现变量过多导致无法对输出的脑电信号进行控制的情况，也可对其余模型的参数进行改变，测试其对生成脑电信号的影响。
本实施例主要在计算机设备上运行，能够生成目前脑机接口领域亟需的优质脑电信号，改善了传统方法中脑电信号的采集困难，高质量脑电信号较少的情况。在可预见的未来，本实施例能够在脑机接口领域得到较为广泛的应用。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (3)
1.一种基于神经元群模型的生成式多通道脑电建模方法，其特征在于，包括以下步骤：
构建若干个神经元群模型；
将所述神经元群模型互联，构成时空源模型；
构建生物物理体积传导模型，与所述时空源模型相结合生成宏观脑电信号；
构建脑电生成模型，获取真实脑电信号，基于所述宏观脑电信号和真实脑电信号对所述脑电生成模型进行训练；
基于训练后的脑电生成模型，进行多通道脑电信号的生成；
所述神经元群模型的构建过程包括：基于兴奋性神经元、锥体细胞和抑制性神经元的基本神经元群，构成神经元群模型；其中，每个基本神经元群均包括突触反应模块和激活函数模块；
所述时空源模型的构建过程包括：构建大脑网络模型，基于所述大脑网络模型的脑区连接信息，将若干个神经元群模型进行解剖连接，构成时空源模型；
构建生物物理体积传导模型的过程包括：将实际解剖模型作为头模型，获取所述头模型导电率的导电性模型，基于所述头模型和导电性模型构建生物物理体积传导模型；
生成宏观脑电信号的过程包括：将所述生物物理体积传导模型进行离散化表示，然后采用有限元分析方法对离散化的生物物理体积传导模型进行求解，获得有限元中每个网格节点上面的电位值；基于所述时空源模型，获取电极位置，将所述电位值与电极位置进行匹配，采用插值或者平均的方法获取电极位置对应的电位值，从而获得宏观脑电信号；
脑电生成模型的构建过程包括：将生成对抗网络作为基本结构；将所述时空源模型和生物物理体积传导模型相结合，构成生成器；基于卷积神经网络构建判别器，基于所述基本结构、生成器和判别器，构建脑电生成模型。
2.根据权利要求1所述的基于神经元群模型的生成式多通道脑电建模方法，其特征在于，
所述神经元群模型的参数获取过程包括：基于实验数据的方法获取所述神经元群模型的内部参数，基于随机过程的方法获取所述神经元群模型的外部参数；其中，所述内部参数包括平均膜电位、平均放电率、突触增益和连接强度，所述外部参数包括外部刺激。
3.根据权利要求1所述的基于神经元群模型的生成式多通道脑电建模方法，其特征在于，
脑电生成模型的训练过程包括：分别获取所述生成器和判别器的初始参数，将生成器生成的宏观脑电信号与判别器获取的真实脑电信号进行对比，优化所述生成器的初始参数，直至生成器骗过判别器；然后固定生成器，获取宏观脑电信号和真实脑电信号在判别器上的二元交叉熵损失，进行反向传播，进而使用随机梯度下降更新判别器的初始参数，直至脑电生成模型收敛，训练结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311269930.2A CN117322890B (zh) | 2023-09-28 | 2023-09-28 | 一种基于神经元群模型的生成式多通道脑电建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311269930.2A CN117322890B (zh) | 2023-09-28 | 2023-09-28 | 一种基于神经元群模型的生成式多通道脑电建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117322890A CN117322890A (zh) | 2024-01-02 |
| CN117322890B true CN117322890B (zh) | 2024-06-25 |
Family
ID=89278466
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311269930.2A Active CN117322890B (zh) | 2023-09-28 | 2023-09-28 | 一种基于神经元群模型的生成式多通道脑电建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117322890B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117540783B (zh) * | 2024-01-09 | 2024-05-28 | 之江实验室 | 仿真脑活动数据的生成方法、装置、电子装置和存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110859600A (zh) * | 2019-12-06 | 2020-03-06 | 深圳市德力凯医疗设备股份有限公司 | 一种生成脑电信号的方法、存储介质及电子设备 |
| CN111428648B (zh) * | 2020-03-26 | 2023-03-28 | 五邑大学 | 一种脑电信号生成网络、方法及存储介质 |
| CN112370066A (zh) * | 2020-09-30 | 2021-02-19 | 北京工业大学 | 一种基于生成对抗网络的脑卒中康复系统脑机接口方法 |
| CN112294339B (zh) * | 2020-10-14 | 2022-12-09 | 中国科学院苏州生物医学工程技术研究所 | 基于种群多样性控制的脑电源定位方法、系统及设备 |
| CN114492501A (zh) * | 2021-12-13 | 2022-05-13 | 重庆邮电大学 | 基于改进smote算法的脑电信号样本扩充方法、介质及系统 |
| CN115826743B (zh) * | 2022-11-16 | 2023-10-20 | 西北工业大学太仓长三角研究院 | 一种面向ssvep脑机接口的多通道脑电信号建模方法 |
| CN116035593B (zh) * | 2023-02-02 | 2024-05-07 | 中国科学技术大学 | 一种基于生成对抗式并行神经网络的脑电降噪方法 |
| CN116662736A (zh) * | 2023-06-02 | 2023-08-29 | 西安交通大学 | 一种基于深度学习混合模型的人体状态评估方法 |
-
2023
- 2023-09-28 CN CN202311269930.2A patent/CN117322890B/zh active Active
Non-Patent Citations (2)
| Title |
|---|
| COMPOSING GRAPHICAL MODELS WITH GENERATIVE ADVERSARIAL NETWORKS FOR EEG SIGNAL MODELING;Khuong Vox等;ICASSP 2022 - 2022 IEEE International Conference on Acoustics, Speech and Signal Processing（ICASSP）;20221231;第1231-1235页 * |
| Kassymzhomart Kunanbayev等.Data Augmentation for P300-based Brain-Computer Interfaces Using Generative Adversarial Networks.2021 9th International Winter Conference on Brain-Computer Interface (BCI）.2021,第1-7页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117322890A (zh) | 2024-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | EEG-based emotion recognition via transformer neural architecture search | |
| CN113693613B (zh) | 脑电信号分类方法、装置、计算机设备及存储介质 | |
| CN108319928B (zh) | 一种基于多目标微粒群算法优化的深度学习方法及系统 | |
| Nuntalid et al. | EEG classification with BSA spike encoding algorithm and evolving probabilistic spiking neural network | |
| CN117322890B (zh) | 一种基于神经元群模型的生成式多通道脑电建模方法 | |
| CN114521904B (zh) | 一种基于耦合神经元群的脑电活动模拟方法及系统 | |
| CN110522412B (zh) | 基于多尺度脑功能网络分类脑电信号的方法 | |
| Cui et al. | EEG source localization using spatio-temporal neural network | |
| CN116861967A (zh) | 一种基于脉冲神经网络的数据增强方法及装置 | |
| CN108992066A (zh) | 基于肌电信号的便携式下肢行为模式实时识别系统及方法 | |
| Wang et al. | Understanding the relationship between human brain structure and function by predicting the structural connectivity from functional connectivity | |
| CN115919330A (zh) | 基于多层次se注意力和图卷积的eeg情绪状态分类方法 | |
| CN114548165A (zh) | 一种可跨用户的肌电模式分类方法 | |
| CN117574059A (zh) | 高分辨率脑电信号深度神经网络压缩方法及脑机接口系统 | |
| Çelebi et al. | An emotion recognition method based on EWT-3D–CNN–BiLSTM-GRU-AT model | |
| Reddy et al. | Optimization Driven Spike Deep Belief Neural Network classifier: a deep-learning based Multichannel Spike Sorting Neural Signal Processor (NSP) module for high-channel-count Brain Machine Interfaces (BMIs) | |
| Spencer et al. | Multiscale evolving complex network model of functional connectivity in neuronal cultures | |
| CN114052734B (zh) | 基于渐进式图卷积神经网络的脑电情感识别方法 | |
| Zhang et al. | A pruned deep learning approach for classification of motor imagery electroencephalography signals | |
| Jiang et al. | Dynamic graph learning based on graph Laplacian | |
| He et al. | Emotion classification using eeg data in a brain-inspired spiking neural network | |
| CN114548239A (zh) | 一种基于类哺乳动物视网膜结构人工神经网络的图像识别与分类方法 | |
| Yang et al. | A Novel Neural Metric Based on Deep Boltzmann Machine | |
| Zdeblick et al. | Data-Driven Discovery of Functional Cell Types that Improve Models of Neural Activity | |
| Auslender et al. | Reservoir-Computing Model for Mapping and Forecasting Neuronal Interactions from Electrophysiological Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |