CN116861967A - 一种基于脉冲神经网络的数据增强方法及装置 - Google Patents
一种基于脉冲神经网络的数据增强方法及装置 Download PDFInfo
- Publication number
- CN116861967A CN116861967A CN202210294996.6A CN202210294996A CN116861967A CN 116861967 A CN116861967 A CN 116861967A CN 202210294996 A CN202210294996 A CN 202210294996A CN 116861967 A CN116861967 A CN 116861967A
- Authority
- CN
- China
- Prior art keywords
- neural network
- pulse
- data
- neuron
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 48
- 210000002569 neuron Anatomy 0.000 claims abstract description 129
- 230000000694 effects Effects 0.000 claims abstract description 49
- 230000001537 neural effect Effects 0.000 claims abstract description 35
- 230000002708 enhancing effect Effects 0.000 claims abstract description 9
- 238000003062 neural network model Methods 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 27
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims description 22
- 239000012528 membrane Substances 0.000 claims description 21
- 210000005036 nerve Anatomy 0.000 claims description 18
- 230000009467 reduction Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 15
- 230000033001 locomotion Effects 0.000 claims description 11
- 210000004027 cell Anatomy 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 210000000170 cell membrane Anatomy 0.000 claims description 6
- 238000010304 firing Methods 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 6
- 230000008035 nerve activity Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000000284 resting effect Effects 0.000 claims description 6
- 238000012804 iterative process Methods 0.000 claims description 5
- 230000000946 synaptic effect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 abstract description 17
- 230000004071 biological effect Effects 0.000 abstract description 9
- 238000011160 research Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000010757 Reduction Activity Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008827 biological function Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 239000000084 colloidal system Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000008151 electrolyte solution Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007996 neuronal plasticity Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Neurology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及一种基于脉冲神经网络的数据增强方法及装置，本申请方法用于植入式脑机接口数据，可在有限神经信息数据的情况下，提取信息分布特征；基于脉冲神经网络的生物属性，适合学习神经信息的分布特征，从而产生符合信息分布特征的神经信号，以此作为脑信息数据增强；本发明考虑了生物神经元的集群活动特征，以此作为数据增强的基础，脉冲神经网络具有生物性质，适合直接产生神经信息，从而增强脑机接口信息，对于脑机接口的研究与应用具有重要意义。
Description
技术领域
本发明涉及脑机接口技术领域，具体而言，涉及一种基于脉冲神经网络的数据增强方法、装置、存储介质及设备。
背景技术
植入式脑机接口是一个让大脑与外界直接进行信息交互，从而帮助患者恢复功能、调节功能以及强化功能的系统；植入式脑机接口的关键技术是需要在大脑颅骨内的大脑皮质区域植入传感器，从而可以直接提取大脑内部的神经元所传达的信息；同时脑机接口系统需要搭配用于解释神经信息的算法，从而可以解释神经信息，比如解码出受试者的运动意图，视觉信息等等。
大脑植入神经电极(传感器)之后，神经电极随着时间推移，神经信息采集能力会逐渐下降；主要原因如下：(1)电极会对大脑造成一部分损伤，引发胶质斑痕组织围绕电极生长，阻隔了电极触点与神经元；(2)电极触点在脑内的电解质溶液环境下逐渐破损，降低了电极的电学传感性能。另外，对于解码算法，随着时间推移，神经信息解码能力会逐渐下降；主要原因如下：(1)神经电极会因大脑摇晃从而发生偏移，导致记录信息发生变化，而绝大多数解码算法无法适应这种神经信息变化；(2)大脑自身的神经可塑性(神经元的学习过程)，导致神经元的重新连接以及改变连接强度；因此，大脑的神经信息会随学习过程而产生变化。
神经流形指的是相关特定神经元群体的神经活动模式，大脑内部的功能是源自于神经元群体的协同信息通讯；流形是局部具有欧几里得空间性质的空间，在数学中用于描述几何形体；而神经元集群的活动可在低维度的流形空间进行表示；因此，在流形空间的约束下，可辅助脑机接口使用少量的神经信号，从而完成神经信息解码。
脉冲神经网络经常被誉为第三代人工神经网络，因为它模拟生物神经元的信息传递方式；在生物内部，神经元与神经元之间的通信是通过传递脉冲信号，信息蕴含在传递的脉冲序列中；而传统神经网络使用连续值作为人工神经元之间的传递信息，并且模型架构属于人为设计类型，一般都没有生物功能特性；因此，受生物启发的脉冲神经网络采用脉冲神经元以及突触模型，并且可采用具用生物性质的学习方式进行突触权重更新，因此，基于生物性质的脉冲神经网络模型非常适合研究脑信息建模以及智能推理任务。
数据增强是一种通过让有限的数据产生更多的等价数据来人工扩展训练数据集的技术，脑机接口搭建脑信息解码模型需要大量的脑信息数据，但获取大量数据成本过高，而数据又是提高脑机接口解码的重要因素，数据增强是克服训练数据不足的有效手段，也在人工智能的各个领域中应用广泛。
因此，现有技术还存在缺陷，有必要对数据增强技术进一步发展。
发明内容
本发明实施例提供了一种基于脉冲神经网络的数据增强方法及装置，以解决在训练数据不足的情况下对数据进行增强的问题。
根据本发明的一实施例，提供了一种基于脉冲神经网络的数据增强方法，包括以下步骤：
获取植入式脑机接口的原始数据，原始数据包括神经元群体，将神经元群体的脉冲序列转化为脉冲发放率数据；
对于脉冲发放率数据进行降维，得出低维流形空间的神经元群体活动规律；
建立脉冲神经网络模型，以真实神经元群体的流形空间活动规律作为目标函数，进行监督式学习；
在脉冲神经网络模型的学习迭代过程中，对脉冲神经网络模型生成的脉冲序列信息进行降维，得出与真实神经元群体活动规律近似的神经元群体活动规律；
脉冲神经网络模型迭代完毕后，在脉冲神经网络模型中设置扰动神经元，基于扰动神经元产生的噪声信号，创造具有噪声且符合真实生物神经活动规律的神经脉冲信息数据并将其输出。
进一步地，原始数据还包括神经元群体运动位置信息，对运动位置信息进行高斯平滑处理，去除部分噪声数据。
进一步地，建立脉冲神经网络模型，以真实神经元群体的流形空间活动规律作为目标函数，进行监督式学习包括：
脉冲神经网络模型以泄露整合发放模型作为模型基础，泄露整合发放模型如下：
ui＝urest，ui＞uthreshold
其中，ui表示神经元细胞的膜电势大小，膜电势大小与细胞脉冲发放有关；τm表示为微分方程的时间常数，用于控制膜电势随时间变化量的大小；urest是一个常数参数，表示为细胞膜的静息电位，即细胞在静息状态下膜电势的大小；Ii(t)为输入电流，作为外部输入会对细胞的膜电势产生影响；R为细胞膜阻抗；τs为突触时间常数；uthreshold表示脉冲发放阈值，当神经元的膜电势ui超过uthreshold时发放脉冲，且将膜电势ui重置为urest。
进一步地，建立脉冲神经网络模型，以真实神经元群体的流形空间活动规律作为目标函数，进行监督学习包括：
通过代替梯度学习算法进行监督学习，以使神经网络模型权重进行更新；代替梯度学习算法描述如下：
Si[n]∝Θ(ui[n]-uthreshold)
其中，Si[n]表示为脉冲序列，Θ(x)表示为海维西特阶梯函数，由于脉冲信号具有不可微的性质，在反向传播时，Θ(x)函数由σ(x)进行替换，则有Si[n]∝σ(ui[n]-uthreshold)，其中
进一步地，获取植入式脑机接口的原始数据，原始数据包括神经元群体，将神经元群体的脉冲序列转化为脉冲发放率数据具体为：
对神经元群体中的每一神经元的脉冲序列进行滑动窗口处理，将其转化为脉冲发放率数据。
进一步地，在脉冲神经网络模型的学习迭代过程中，对脉冲神经网络模型生成的脉冲序列信息进行降维，得出与真实神经元群体活动规律近似的神经元群体活动规律具体为：
使用均方差作为损失函数，均方差是预测数据和原始数据对应点误差的平方和的均值，均方差公式为：
其中，yi为脉冲神经网络的降维数据输出，为目标函数，n为样本个数。
进一步地，脉冲神经网络模型迭代完毕后，在脉冲神经网络模型中设置扰动神经元，基于扰动神经元产生的噪声信号，创造具有噪声且符合真实生物神经活动规律的神经脉冲信息数据并将其输出具体为：
将脉冲神经网络模型中部分神经元以泊松神经元作为基础，设置为扰动神经元，泊松神经元的模型为：
使用LIF神经元模型：
Ii为输入电流，由随机脉冲信号转换而成，随机脉冲信号符合泊松分布规律；
r表示神经元的脉冲发放率，PT[n]表示神经元的第n个脉冲在时长T内发放的概率；
在程序内实现，计算可简化，脉冲在时间间隔Δt内的发放概率可为rΔt，其中xrand为随机变量，值在0到1内；
一种基于脉冲神经网络的数据增强装置，包括：
脉冲转换模块，用于获取植入式脑机接口的原始数据，原始数据包括神经元群体，将神经元群体的脉冲序列转化为脉冲发放率数据；
第一降维模块，用于对于脉冲发放率数据进行降维，得出低维流形空间的神经元群体活动规律；
监督学习模块，用于建立脉冲神经网络模型，以真实神经元群体的流形空间活动规律作为目标函数，进行监督学习；
第二降维模块，用于在脉冲神经网络模型的学习迭代过程中，对脉冲神经网络模型生成的脉冲序列信息进行降维，得出与真实神经元群体活动规律近似的神经元群体活动规律；
数据输出模块，用于脉冲神经网络模型迭代完毕后，在脉冲神经网络模型中设置扰动神经元，基于扰动神经元产生的噪声信号，创造具有噪声且符合真实生物神经活动规律的神经脉冲信息数据并将其输出。
一种计算机可读介质，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如上述任意一项的基于脉冲神经网络的数据增强方法中的步骤。
一种终端设备，包括：处理器、存储器及通信总线；存储器上存储有可被处理器执行的计算机可读程序；
通信总线实现处理器和存储器之间的连接通信；
处理器执行计算机可读程序时实现如上述任意一项的基于脉冲神经网络的数据增强方法中的步骤。
本发明实施例提出了一种基于脉冲神经网络的数据增强方法及装置，本申请方法用于植入式脑机接口数据，可在有限神经信息数据的情况下，提取信息分布特征；基于脉冲神经网络的生物属性，适合学习神经信息的分布特征，从而产生符合信息分布特征的神经信号，以此作为脑信息数据增强；本发明考虑了生物神经元的集群活动特征，以此作为数据增强的基础，脉冲神经网络具有生物性质，适合直接产生神经信息，从而增强脑机接口信息，对于脑机接口的研究与应用具有重要意义。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明基于脉冲神经网络的数据增强方法的流程图；
图2为本发明植入式脑机接口采集的神经信号以及对应的运动控制；
图3为本发明植入式脑机接口采集的对应试验的神经信号在低维流形空间表示；
图4为本发明所设计的脉冲神经网络架构示意图；
图5为本发明所设计的脉冲神经网络所生成的脑机接口数据示意图；
图6为本发明基于脉冲神经网络的数据增强装置的原理图；
图7为本发明的终端设备。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
参见图1，根据本发明一实施例，提供了一种基于脉冲神经网络的数据增强方法，包括以下步骤：
S100获取植入式脑机接口的原始数据，原始数据包括神经元群体，将神经元群体的脉冲序列转化为脉冲发放率数据。
原始数据包括从运动皮层提取的神经元群体发放信息、被测者运动控制对应的运动位置和运动速度信息，对应运动控制试验类型的标记；对脑机接口相关运动的神经元群体中的每一神经元的脉冲序列进行滑动窗口处理，将其转化为神经元脉冲发放率数据；对运动位置信息进行高斯平滑处理，去除部分噪声数据；移动平均值滤波器能够将原始信号的神经元群体信号进行降采样，提升信噪比；高斯滤波器是用于去除噪声的滤波器，同样是用于数字信号处理及去除原始信息的运动位置的噪声；如图2所示，为植入式脑机接口采集的神经信号以及对应的运动控制。
以下为差分方程定义向量x的移动平均值滤波器：
移动平均值滤波器沿数据移动长度为窗口大小(windowSize)的窗口，并计算每个窗口中包含的数据平均值。
以下是一维高斯滤波器对原始信息中的运动位置进行平滑处理：
x为信号输入，σ为标准差。
S200对于脉冲发放率数据进行降维，得出低维流形空间的神经元群体活动规律。
对于同一任务实验的脑机接口采集神经脉冲数据进行降维，得出低维流形空间的神经元活动规律。具体为：
对同一试验的数据，首先进行主成分分析(PCA，Principal ComponentAnalysis)，同时也使用累积比率(The cumulative explained variance ratio)可确定主分量解释的方差量，从而得出具有统计显著性的主成分个数，作为表示神经元群体活动的维数，从而得出低维流形空间中神经元群体活动规律；如图3所示，为植入式脑机接口采集的对应试验的神经信号在低维流形空间表示。
下面对PCA算法的具体步骤进行详细说明：
先设有m行n列数据；
步骤一：将原始数据按列组成n行m列矩阵X；
步骤二：将X的每一行进行零均值化；
步骤三：求出协方差矩阵
步骤四：求出协方差矩阵的特征值及对应的特征向量；
步骤五：将特征向量按对应特征值大小从上到下按行排列成矩阵，取前K行组成矩阵P；
步骤六：Y＝PX即为降维到K维后的数据。
S300建立脉冲神经网络模型，以真实神经元群体的流形空间活动规律作为目标函数，进行监督式学习。
本发明使用的是脉冲神经网络作为该数据生成的模型，神经元模型以泄露整合发放模型(LIF，Leaky Integrate and Fire Model)作为模型基础，学习算法基于监督式学习算法，使用一种称为代替梯度学习(Surrogate Gradient Learning)的算法，从而使神经网络模型权重进行更新；如图4所示，为本发明所设计的脉冲神经网络架构示意图。
泄露整合发放模型如下：
ui＝urest，ui＞uthreshold
其中，ui表示神经元细胞的膜电势大小，膜电势大小与细胞脉冲发放有关；τm表示为微分方程的时间常数，用于控制膜电势随时间变化量的大小；urest是一个常数参数，表示为细胞膜的静息电位，即细胞在静息状态下膜电势的大小；Ii(t)为输入电流，作为外部输入会对细胞的膜电势产生影响；R为细胞膜阻抗；τs为突触时间常数；uthreshold表示脉冲发放阈值，当神经元的膜电势ui超过uthreshold时发放脉冲，且将膜电势ui重置为urest。
代替梯度学习算法描述如下：
Si[n]∝Θ(ui[n]-uthreshold)
其中，Si[n]表示为脉冲序列，Θ(x)表示为海维西特阶梯函数，由于脉冲信号具有不可微的性质，在反向传播时，Θ(x)函数由σ(x)进行替换，则有Si[n]∝σ(ui[n]-uthreshold)，其中
S400：在脉冲神经网络模型的学习迭代过程中，对脉冲神经网络模型生成的脉冲序列信息进行降维，得出与真实神经元群体活动规律近似的神经元群体活动规律。
在神经网络模型的学习迭代过程中，脉冲神经网络输出层生成的脉冲序列需要进行降维，降维数据作为输出，以真实神经元群体的降维活动规律作为目标函数，使用均方差(MSE，Mean-Square Loss)作为损失函数；训练结果需满足，输出层的神经元群体活动规律需与真实神经元群体活动规律近似；均方误差损失又称为二次损失、L2损失，常用于回归预测任务中，均方误差函数通过计算预测值和实际值之间距离(即误差)的平方来衡量模型优劣，即预测值和真实值越接近，两者的均方差就越小。
均方差是预测数据和原始数据对应点误差的平方和的均值，公式如下：
其中，yi为脉冲神经网络的降维数据输出，为目标函数，n为样本个数。
S500：脉冲神经网络模型迭代完毕后，在脉冲神经网络模型中设置扰动神经元，基于扰动神经元产生的噪声信号，创造具有噪声且符合真实生物神经活动规律的神经脉冲信息数据并将其输出。
脉冲神经网络迭代完毕后，将启动脉冲神经网络中输出层的部分神经元以泊松神经元(Poisson Neuron)作为基础，设置为扰动神经元，生物神经元的神经脉冲信息是基于泊松分布的，本申请中LIF神经元产生泊松分布的信号；在扰动神经元中输入随机脉冲信号，从而使扰动神经元产生噪声信号；由此，输出层可生成具有噪声且符合真实生物神经活动规律的神经脉冲信息数据；如图5所示，为本发明所设计的脉冲神经网络所生成的脑机接口数据示意图。
泊松神经元的模型为：
使用LIF神经元模型：
Ii为输入电流，由随机脉冲信号转换而成，随机脉冲信号符合泊松分布规律；
r表示神经元的脉冲发放率，PT[n]表示神经元的第n个脉冲在时长T内发放的概率；
在程序内实现，计算可简化，脉冲在时间间隔Δt内的发放概率可为rΔt，其中xrand为随机变量，值在0到1内；
根据本发明所生成的数据，可进一步用于脑机接口信息解码以及类脑智能研究等领域；本申请方法专用于植入式脑机接口数据，可在有限神经信息数据的情况下，提取信息分布特征。基于脉冲神经网络的生物属性，适合学习神经信息的分布特征，从而产生符合信息分布特征的神经信号，以此作为脑信息数据增强。
本发明考虑了生物神经元的集群活动特征，以此作为数据增强的基础。同时，脉冲神经网络具有生物性质，适合直接产生神经信息，从而增强脑机接口信息，对于脑机接口的研究与应用具有重要意义。
本发明考虑了脑机接口以及类脑智能算法的相互协同性质，强化的数据更符合神经信息的内部规律，产生的数据更具备生物可解释意义。
参见图6，根据本发明的另一实施例，提供了一种基于脉冲神经网络的数据增强装置，包括：
脉冲转换模块100，用于获取植入式脑机接口的原始数据，原始数据包括神经元群体，将神经元群体的脉冲序列转化为脉冲发放率数据；
第一降维模块200，用于对于脉冲发放率数据进行降维，得出低维流形空间的神经元群体活动规律；
监督学习模块300，用于建立脉冲神经网络模型，以真实神经元群体的流形空间活动规律作为目标函数，进行监督学习；
第二降维模块400，用于在脉冲神经网络模型的学习迭代过程中，对脉冲神经网络模型生成的脉冲序列信息进行降维，得出与真实神经元群体活动规律近似的神经元群体活动规律。
数据输出模块500，用于脉冲神经网络模型迭代完毕后，在脉冲神经网络模型中设置扰动神经元，基于扰动神经元产生的噪声信号，创造具有噪声且符合真实生物神经活动规律的神经脉冲信息数据并将其输出。
本发明实施例提出了一种基于脉冲神经网络的数据增强方法及装置，本申请用于植入式脑机接口数据，可在有限神经信息数据的情况下，提取信息分布特征；基于脉冲神经网络的生物属性，适合学习神经信息的分布特征，从而产生符合信息分布特征的神经信号，以此作为脑信息数据增强；本发明考虑了生物神经元的集群活动特征，以此作为数据增强的基础，脉冲神经网络具有生物性质，适合直接产生神经信息，从而增强脑机接口信息，对于脑机接口的研究与应用具有重要意义。
基于上述微泡检测方法，本实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例的基于脉冲神经网络的数据增强方法中的步骤。
一种终端设备，包括：处理器、存储器及通信总线；存储器上存储有可被处理器执行的计算机可读程序；通信总线实现处理器和存储器之间的连接通信；处理器执行计算机可读程序时实现上述的基于脉冲神经网络的数据增强方法中的步骤。
基于上述基于脉冲神经网络的数据增强方法，本申请提供了一种终端设备，如图7所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于脉冲神经网络的数据增强方法，其特征在于，包括以下步骤：
获取植入式脑机接口的原始数据，所述原始数据包括神经元群体，将所述神经元群体的脉冲序列转化为脉冲发放率数据；
对于所述脉冲发放率数据进行降维，得出低维流形空间的神经元群体活动规律；
建立脉冲神经网络模型，以真实神经元群体的流形空间活动规律作为目标函数，进行监督式学习；
在所述脉冲神经网络模型的学习迭代过程中，对所述脉冲神经网络模型生成的脉冲序列信息进行降维，得出与所述真实神经元群体活动规律近似的神经元群体活动规律；
所述脉冲神经网络模型迭代完毕后，在所述脉冲神经网络模型中设置扰动神经元，基于所述扰动神经元产生的噪声信号，创造具有噪声且符合真实生物神经活动规律的神经脉冲信息数据并将其输出。
2.根据权利要求1所述的基于脉冲神经网络的数据增强方法，其特征在于，所述原始数据还包括所述神经元群体运动位置信息，对所述运动位置信息进行高斯平滑处理，去除部分噪声数据。
3.根据权利要求2所述的基于脉冲神经网络的数据增强方法，其特征在于，所述建立脉冲神经网络模型，以真实神经元群体的流形空间活动规律作为目标函数，进行监督式学习包括：
所述脉冲神经网络模型以泄露整合发放模型作为模型基础，所述泄露整合发放模型如下：
ui＝urest,ui＞uthreshold
其中，ui表示神经元细胞的膜电势大小，膜电势大小与细胞脉冲发放有关；τm表示为微分方程的时间常数，用于控制膜电势随时间变化量的大小；urest是一个常数参数，表示为细胞膜的静息电位，即细胞在静息状态下膜电势的大小；Ii(t)为输入电流，作为外部输入会对细胞的膜电势产生影响；R为细胞膜阻抗；τs为突触时间常数；uthreshold表示脉冲发放阈值，当神经元的膜电势ui超过uthreshold时发放脉冲,且将膜电势ui重置为urest。
4.根据权利要求2所述的基于脉冲神经网络的数据增强方法，其特征在于，所述建立脉冲神经网络模型，以真实神经元群体的流形空间活动规律作为目标函数，进行监督学习包括：
通过代替梯度学习算法进行监督学习，以使所述神经网络模型权重进行更新；所述代替梯度学习算法描述如下：
Si[n]∝Θ(ui[n]-uthreshold)
其中，Si[n]表示为脉冲序列，Θ(x)表示为海维西特阶梯函数，由于脉冲信号具有不可微的性质，在反向传播时，Θ(x)函数由σ(x)进行替换，则有Si[n]∝σ(ui[n]-uthreshold)，其中
5.根据权利要求1所述的基于脉冲神经网络的数据增强方法，其特征在于，所述获取植入式脑机接口的原始数据，所述原始数据包括神经元群体，将所述神经元群体的脉冲序列转化为脉冲发放率数据具体为：
对所述神经元群体中的每一神经元的脉冲序列进行滑动窗口处理，将其转化为脉冲发放率数据。
6.根据权利要求1所述的基于脉冲神经网络的数据增强方法，其特征在于，所述在所述脉冲神经网络模型的学习迭代过程中，对所述脉冲神经网络模型生成的脉冲序列信息进行降维，得出与所述真实神经元群体活动规律近似的神经元群体活动规律具体为：
使用均方差作为损失函数，所述均方差是预测数据和原始数据对应点误差的平方和的均值，所述均方差公式为：
其中，yi为脉冲神经网络的降维数据输出，为目标函数，n为样本个数。
7.根据权利要求1所述的基于脉冲神经网络的数据增强方法，其特征在于，所述脉冲神经网络模型迭代完毕后，在所述脉冲神经网络模型中设置扰动神经元，基于所述扰动神经元产生的噪声信号，创造具有噪声且符合真实生物神经活动规律的神经脉冲信息数据并将其输出具体为：
将所述脉冲神经网络模型中部分神经元以泊松神经元作为基础，设置为所述扰动神经元，所述泊松神经元的模型为：
使用LIF神经元模型：
Ii为输入电流，由随机脉冲信号转换而成，随机脉冲信号符合泊松分布规律；
r表示神经元的脉冲发放率，PT[n]表示神经元的第n个脉冲在时长T内发放的概率；
在程序内实现，计算可简化，脉冲在时间间隔Δt内的发放概率可为rΔt,其中xrand为随机变量，值在0到1内；
8.一种基于脉冲神经网络的数据增强装置，其特征在于，包括：
脉冲转换模块，用于获取植入式脑机接口的原始数据，所述原始数据包括神经元群体，将所述神经元群体的脉冲序列转化为脉冲发放率数据；
第一降维模块，用于对于所述脉冲发放率数据进行降维，得出低维流形空间的神经元群体活动规律；
监督学习模块，用于建立脉冲神经网络模型，以真实神经元群体的流形空间活动规律作为目标函数，进行监督学习；
第二降维模块，用于在所述脉冲神经网络模型的学习迭代过程中，对所述脉冲神经网络模型生成的脉冲序列信息进行降维，得出与所述真实神经元群体活动规律近似的神经元群体活动规律；
数据输出模块，用于所述脉冲神经网络模型迭代完毕后，在所述脉冲神经网络模型中设置扰动神经元，基于所述扰动神经元产生的噪声信号，创造具有噪声且符合真实生物神经活动规律的神经脉冲信息数据并将其输出。
9.一种计算机可读介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任意一项所述的基于脉冲神经网络的数据增强方法中的步骤。
10.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-7任意一项所述的基于脉冲神经网络的数据增强方法中的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210294996.6A CN116861967A (zh) | 2022-03-24 | 2022-03-24 | 一种基于脉冲神经网络的数据增强方法及装置 |
| PCT/CN2022/085668 WO2023178737A1 (zh) | 2022-03-24 | 2022-04-08 | 一种基于脉冲神经网络的数据增强方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210294996.6A CN116861967A (zh) | 2022-03-24 | 2022-03-24 | 一种基于脉冲神经网络的数据增强方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116861967A true CN116861967A (zh) | 2023-10-10 |
Family
ID=88099702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210294996.6A Pending CN116861967A (zh) | 2022-03-24 | 2022-03-24 | 一种基于脉冲神经网络的数据增强方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN116861967A (zh) |
| WO (1) | WO2023178737A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118013308A (zh) * | 2024-04-10 | 2024-05-10 | 中国科学院深圳先进技术研究院 | 基于自适应树的时空增强神经电脉冲信号聚类方法及系统 |
| CN118094200A (zh) * | 2024-04-28 | 2024-05-28 | 中国科学院深圳先进技术研究院 | 一种基于自监督学习的神经信号生成方法、系统及终端 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117257312B (zh) * | 2023-11-20 | 2024-01-26 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种机器学习中增广脑磁图数据的方法 |
| CN117437382B (zh) * | 2023-12-19 | 2024-03-19 | 成都电科星拓科技有限公司 | 一种数据中心部件的更新方法及系统 |
| CN117556877B (zh) * | 2024-01-11 | 2024-04-02 | 西南交通大学 | 基于数据脉冲特征评估的脉冲神经网络训练方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117884A (zh) * | 2018-08-16 | 2019-01-01 | 电子科技大学 | 一种基于改进监督学习算法的图像识别方法 |
| CN110263924B (zh) * | 2019-06-19 | 2021-08-17 | 北京计算机技术及应用研究所 | 一种神经元群模型的参数和状态估计方法 |
| CN113537449B (zh) * | 2020-04-22 | 2024-02-02 | 北京灵汐科技有限公司 | 基于脉冲神经网络的数据处理方法、计算核电路和芯片 |
| CN114049964A (zh) * | 2021-05-21 | 2022-02-15 | 浙江大学 | 一种跨脑区人工神经通路的建模方法 |
| CN113435577B (zh) * | 2021-06-25 | 2023-12-26 | 安徽知陉智能科技有限公司 | 基于训练深度脉冲神经网络的梯度函数学习框架替换方法 |
-
2022
- 2022-03-24 CN CN202210294996.6A patent/CN116861967A/zh active Pending
- 2022-04-08 WO PCT/CN2022/085668 patent/WO2023178737A1/zh unknown
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118013308A (zh) * | 2024-04-10 | 2024-05-10 | 中国科学院深圳先进技术研究院 | 基于自适应树的时空增强神经电脉冲信号聚类方法及系统 |
| CN118013308B (zh) * | 2024-04-10 | 2024-06-04 | 中国科学院深圳先进技术研究院 | 基于自适应树的时空增强神经电脉冲信号聚类方法及系统 |
| CN118094200A (zh) * | 2024-04-28 | 2024-05-28 | 中国科学院深圳先进技术研究院 | 一种基于自监督学习的神经信号生成方法、系统及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023178737A1 (zh) | 2023-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116861967A (zh) | 一种基于脉冲神经网络的数据增强方法及装置 | |
| Ilin et al. | Beyond feedforward models trained by backpropagation: A practical training tool for a more efficient universal approximator | |
| CN113449864B (zh) | 用于图像数据分类的反馈型脉冲神经网络模型训练方法 | |
| CN113693613B (zh) | 脑电信号分类方法、装置、计算机设备及存储介质 | |
| Yin | The self-organizing maps: background, theories, extensions and applications | |
| CN110188794B (zh) | 一种深度学习模型的训练方法、装置、设备及存储介质 | |
| Sanchez et al. | Brain-machine interface engineering | |
| CN110263924B (zh) | 一种神经元群模型的参数和状态估计方法 | |
| Jensen et al. | Manifold GPLVMs for discovering non-Euclidean latent structure in neural data | |
| CN105701540A (zh) | 一种自生成神经网络构建方法 | |
| Simoncelli | Optimal estimation in sensory systems | |
| CN117322890B (zh) | 一种基于神经元群模型的生成式多通道脑电建模方法 | |
| Kim et al. | Parameter estimation using unscented Kalman filter on the gray-box model for dynamic EEG system modeling | |
| CN117574059A (zh) | 高分辨率脑电信号深度神经网络压缩方法及脑机接口系统 | |
| CN117224082A (zh) | 一种基于图学习优化算法的动态脑功能网络学习方法 | |
| CN110543888B (zh) | 一种基于群集递归神经网络的图像分类方法 | |
| CN108122028A (zh) | 深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质 | |
| CN116758331A (zh) | 物体检测方法、装置及存储介质 | |
| CN116484904A (zh) | 一种基于人工智能深度学习的监管数据处理实现方法 | |
| Solgi et al. | Developmental stereo: Emergence of disparity preference in models of the visual cortex | |
| CN114253959A (zh) | 一种基于动力学原理与时间差分的数据补全方法 | |
| Zheng et al. | A Spiking Neural Network based on Neural Manifold for Augmenting Intracortical Brain-Computer Interface Data | |
| Rezaei et al. | Deep Recurrent Neural Network and Point Process Filter Approaches in Multidimensional Neural Decoding Problems | |
| CN116701900A (zh) | 基于lstm的有效连接脑网络模型的构建方法 | |
| Yun et al. | What can you see? Modeling the ability of V1 neurons to perform low-level image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |