CN112819142B - 一种短时突触可塑性工作记忆计算系统及方法 - Google Patents
一种短时突触可塑性工作记忆计算系统及方法 Download PDFInfo
- Publication number
- CN112819142B CN112819142B CN202110156973.4A CN202110156973A CN112819142B CN 112819142 B CN112819142 B CN 112819142B CN 202110156973 A CN202110156973 A CN 202110156973A CN 112819142 B CN112819142 B CN 112819142B
- Authority
- CN
- China
- Prior art keywords
- short
- network
- time
- layer
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003956 synaptic plasticity Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title abstract description 26
- 230000015654 memory Effects 0.000 title description 2
- 230000003936 working memory Effects 0.000 claims abstract description 40
- 210000002569 neuron Anatomy 0.000 claims description 67
- 230000005540 biological transmission Effects 0.000 claims description 64
- 238000004364 calculation method Methods 0.000 claims description 58
- 230000000638 stimulation Effects 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 28
- 230000005764 inhibitory process Effects 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000005284 excitation Effects 0.000 claims description 9
- 230000000946 synaptic effect Effects 0.000 claims description 9
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 8
- 230000001537 neural effect Effects 0.000 claims description 8
- 230000003313 weakening effect Effects 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 abstract description 2
- 230000004913 activation Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 13
- 238000011176 pooling Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 238000004088 simulation Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 210000002442 prefrontal cortex Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000010304 firing Methods 0.000 description 4
- 230000009191 jumping Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 3
- 230000002459 sustained effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- QUTYKIXIUDQOLK-PRJMDXOYSA-N 5-O-(1-carboxyvinyl)-3-phosphoshikimic acid Chemical compound O[C@H]1[C@H](OC(=C)C(O)=O)CC(C(O)=O)=C[C@H]1OP(O)(O)=O QUTYKIXIUDQOLK-PRJMDXOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001242 postsynaptic effect Effects 0.000 description 1
- 210000005215 presynaptic neuron Anatomy 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000013268 sustained release Methods 0.000 description 1
- 239000012730 sustained-release form Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/141—Discrete Fourier transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Discrete Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及机器学习和生物神经学领域，尤其涉及一种短时突触可塑性工作记忆计算系统及方法,基于消息传递网络的短时突触可塑性工作记忆计算系统包括傅里叶变换层、消息传递网络和输出层，首先通过傅里叶变换得到神经元刺激信号频谱图，依据该频谱图的邻接矩阵来构造两个消息传递网络，并通过这两个消息传递网络模拟短时抑制和短时增强效应，对图节点隐藏状态进行传递和更新，从而实现短时突触可塑性的模拟计算，最后通过输出层的平均池化、全连接层拟合和非线性函数激活三个计算步骤，模拟生物神经元的工作记忆发放特性。
Description
技术领域
本发明涉及机器学习和生物神经学领域，尤其涉及一种短时突触可塑性工作记忆计算系统及方法。
背景技术
近年来随着非欧空间数据在深度学习和神经网络当中的广泛使用，研究人员借鉴了卷积网络、循环网络和深度自动编码器的思想，定义和设计了专门用于处理图数据的图神经网络。最早的图神经网络是由Franco等人于2009年提出的，该方法基于不动点理论，通过压缩映射不断的更新图节点隐藏状态，最终实现图信息的学习。后来为了在图神经网络中利用卷积操作，2013年Bruna等人基于图谱理论从卷积定理出发，通过将图数据进行傅里叶变换从而实现图卷积操作，提出了基于谱方法的图卷积神经网络。由于谱方法具有时空复杂度较高的弊端，2016年出现的ChebNet和GCN对谱方法中的卷积核进行参数化，大大降低了时空复杂度。此后图神经网络得到了不断的发展。
随着图数据的不断加大和基于谱方法的图卷积操作复杂性的不断提升，研究人员开始从另一个方向思考图卷积神经网络的设计方式，因此Justin Gilmer于2017年提出了基于空域(Spatial-domain)卷积的消息传递网络(MPNN)。从设计理念上看，空域卷积与深度学习中的卷积的应用方式类似，其核心在于聚合邻居结点的信息。比如说，一种最简单的无参卷积方式可以是：将所有直连邻居结点的隐藏状态加和，来更新当前结点的隐藏状态。消息传递网络(MPNN)是一种空域卷积模型。严格意义上讲，消息传递网络不是一种具体的模型，而是一种空域卷积的形式化框架。它将空域卷积分解为两个过程：消息传递与状态更新。每一个卷积层通过聚合每一个图节点本身的信息及其邻居的传递过来的特征进行状态的更新，随后又将更新过后的状态向下一层传递，最终实现图信息的捕获和学习。
工作记忆(working memory)是一种能够将目标相关信息暂时保存并用于操作即将发生动作的能力，是生物进行学习、推理等高级认知活动的基础。前额叶皮层(PFC)是与工作记忆最密切相关的大脑区域。与工作记忆相关的神经活动是由于在前额叶皮质(prefrontal cortex)中的神经元集群的选择性同步发放活动引起的。当神经元受到特定的刺激时,神经元会产生持续性的增强发放活动。这种持续性发放活动不仅依赖于持续的神经元刺激而得以保存，而且在一段没有刺激的延迟期内依旧保存在工作记忆中,并用于后续的操作以指导后来的刺激。这种现象源于神经元的短时突触可塑性。当一系列的刺激作用在突触前神经元,会使突触连接效率发生改变,从而导致突触后膜电位(EPSP)幅度的增加或减少,这种现象称为神经元的突触可塑性,突触可塑性是工作记忆的基础。突触可塑性(synapse plasticity)分为短时突触可塑性(short-term synaptic plasticity)和长时突触可塑性(long-term synaptic plasticity)。在神经元接收到外部刺激后，短时突触可塑性会显著地改变突触的模式选择性和它们之间的信息传递，通过对信息的短时抑制和短时增强处理，因此能够隐式地保存信息并用于后续的操作，从而实现工作记忆中对信息的短暂存储和操作。
为了探究短时突触可塑性的工作机理，获取生物神经元数据，人们目前只能使用CMOS纳米电极和MEMS探针等技术获取生物神经元数据，并不能够通过软件算法仿真的形式模拟神经元的短时突触可塑性，如何模拟神经元的短时突触可塑性是当前亟需解决的难题。
发明内容
针对上述存在的问题或不足，为了解决短时突触可塑性难以通过软件算法模拟的问题，本发明提供了一种短时突触可塑性工作记忆计算系统及方法。
一种基于消息传递网络的短时突触可塑性工作记忆计算系统，包括：
傅里叶变换层，用于对神经元刺激信号序列通过傅里叶变换转换为刺激信号频谱图；神经元刺激信号序列属于时域信息，无法直接被消息传递网络处理计算，因此该傅里叶变换层接收神经元刺激信号序列，然后通过傅里叶变换将此时域信息转换为频域的频谱图数据；傅里叶变换层计算得到的数据直接输入后续消息传递网络进行短时突触可塑性的模拟计算，此外该图数据还用于消息传递网络的构造。
消息传递网络，用于模拟工作记忆的短时突触可塑性特征，包括由刺激信号频谱图构造的短时增强型消息传递网络和短时抑制型消息传递网络，网络中层与层之间神经元的连接关系由刺激信号频谱图的邻接矩阵确定，；短时增强型消息传递网络和短时抑制型消息传递网络分别模拟短时突触可塑性的短时增强与短时抑制特征，经过消息传递网络计算得到的数据可以输入到输出层进行进一步计算处理。
输出层，用于接收消息传递网络的计算结果，实现工作记忆发放特性的输出，包括池化层、全连接层和激活函数层，所述池化层对消息传递网络的计算结果进行平均池化计算，整合神经元刺激的短时增强处理结果和短时抑制处理结果；所述全连接层接收平均池化处理之后的计算结果，通过最小二乘法进行拟合计算，分析出刺激信号依据短时突触可塑性对神经元造成的最终影响；所述激活函数层，使用激活函数对全连接层的输出进行非线性激活处理，模拟计算出生物神经元的工作记忆发放特性。
进一步地，傅里叶变换层用于对神经元刺激信号序列通过傅里叶变换转换为刺激信号频谱图，刺激信号频谱图中每一个节点表示一个生物神经元，节点数等于要模拟的生物神经元数量，节点值表示某时刻输入到该神经元的刺激信号强度信息，节点之间带权边表示不同生物神经元之间的信息传递关系。
进一步地，短时增强型图神经网络的权重值为刺激信号频谱图节点值的平方，用于实现信息传递的增强兴奋处理；短时抑制型图神经网络的权重值为刺激信号频谱图节点值的倒数，用于完成信息传递的减弱抑制处理。
进一步地，消息传递网络的网络层数为32至128层。层数设为32至128层，避免层数过大造成过拟合。
进一步地，激活函数层使用ReLU函数对全连接层的输出进行非线性激活处理，模拟计算出生物神经元的工作记忆发放特性。
一种基于消息传递网络的短时突触可塑性工作记忆计算方法，其特征在于，包括以下步骤：
步骤1：将神经元刺激信号时间序列输入傅里叶变换层，通过傅里叶变换计算得到刺激信号频谱图；
步骤2：计算步骤1中得到的图数据的邻接矩阵，并依据此邻接矩阵分别构造短时增强型消息传递网络和短时抑制型消息传递网络；
步骤3：初始化消息传递网络权重和全连接层权重；
步骤4：将步骤1的计算结果输入到消息传递网络，信号分别传入至短时增强型消息传递网络和短时抑制型消息传递网络，短时增强型消息传递网络和短时抑制型消息传递网络分别对信号进行计算分析，模拟短时突触可塑性的兴奋和抑制表达，最后将表达的结果传输至后续的输出层部分；
步骤5：输出层首先对步骤4中的处理结果进行平均池化计算，然后输入全连接层进行拟合计算，最后使用激活函数对结果进行非线性激活处理，最终得到基于短时突触可塑性的神经元工作记忆发放特性的表达输出；
步骤6：判断计算是否完成，若存在新一轮的神经元输入刺激，则计算未完成，跳转至步骤4，否则跳转至步骤7；
步骤7：所有计算完成，计算结束，计算系统关闭。
进一步地，所述步骤4中，将步骤1的计算结果输入到消息传递网络，信号分别传入至短时增强型消息传递网络和短时抑制型消息传递网络，短时增强型消息传递网络和短时抑制型消息传递网络分别对信号进行计算分析，计算时，前一层的输出输入到下一层完成消息的传递，然后根据图节点自身的初始状态和上一层传递过来的更新状态进行权重矩阵乘法运算以实现消息的再次更新，模拟短时突触可塑性的兴奋和抑制表达，经过消息传递网络计算得到的数据作为表达的结果传输至后续的输出层部分。
本发明的有益效果如下：
本发明利用消息传递网络中隐藏信息的传递和更新方法与工作记忆中短时突触可塑性的工作原理的相似性，提出了一种使用消息传递网络来实现短时突触可塑性工作记忆模拟计算的系统及方法，首先通过傅里叶变换得到神经元刺激信号频谱图，依据该频谱图的邻接矩阵来构造两个消息传递网络，并通过这两个消息传递网络模拟短时抑制和短时增强效应，对图节点隐藏状态进行传递和更新，从而实现短时突触可塑性的模拟计算，最后通过输出层的平均池化、全连接层拟合和非线性函数激活三个计算步骤，模拟生物神经元的工作记忆发放特性，从而实现短时突触可塑性工作记忆的软件算法模拟计算。
附图说明
图1是本发明的一种基于消息传递网络的短时突触可塑性工作记忆计算系统结构示意图；
图2是本发明模拟的神经元突触效率特性示意图；
图3是本发明消息传递网络结构示意图；
图4是本发明消息传递网络类型示意图；
图5是本发明基于消息传递网络的短时突触可塑性工作记忆计算过程流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
一种基于消息传递网络的短时突触可塑性工作记忆计算系统，包括：
傅里叶变换层，用于对神经元刺激信号序列通过傅里叶变换转换为刺激信号频谱图；
消息传递网络，用于模拟工作记忆的短时突触可塑性特征，包括由刺激信号频谱图构造的短时增强型消息传递网络和短时抑制型消息传递网络；
输出层，用于接收消息传递网络的计算结果，实现工作记忆发放特性的输出。
其中，傅里叶变换层用于对神经元刺激信号序列通过傅里叶变换转换为刺激信号频谱图；刺激信号频谱图中每一个节点表示一个生物神经元，节点数等于要模拟的生物神经元数量，节点值表示某时刻输入到该神经元的刺激信号强度信息，节点之间带权边表示不同生物神经元之间的信息传递关系。
短时增强型图神经网络的权重值为刺激信号频谱图节点值的平方，用于实现信息传递的增强兴奋处理；短时抑制型图神经网络的权重值为刺激信号频谱图节点值的倒数，用于完成信息传递的减弱抑制处理。
图1为本发明一种基于消息传递网络的短时突触可塑性工作记忆计算系统结构示意图。该计算系统分为3个部分：傅里叶变换层、消息传递网络、输出层。傅里叶变换层用于对神经元刺激信号序列进行傅里叶变换。将时域信息转换为频域的频谱图数据，图中每一个节点表示一个生物神经元，节点数等于要模拟的生物神经元数量，节点值表示某时刻输入到该神经元的刺激信号强度信息，节点之间带权边表示不同生物神经元之间的信息传递关系。消息传递网络用于模拟工作记忆的短时突触可塑性特征，从而进行工作记忆模拟计算。本发明使用了两种类型的消息传递网络分别模拟了短时突触可塑性的短时增强与短时抑制特征。输出层用于接收消息传递网络的计算结果，首先对其进行平均池化计算，整合神经元刺激的短时增强处理结果和短时抑制处理结果，然后通过全连接层进行进一步的最小二乘法拟合计算，分析出刺激信号依据短时突触可塑性对神经元造成的最终影响，其最终影响主要体现在突触的易化、抑制或增强；最后使用Relu函数对全连接层的输出进行非线性激活处理，最终模拟计算出生物神经元的工作记忆发放特性。
图2为本发明模拟的神经元突触效率特性示意图。与工作记忆相关的神经活动是由于在前额叶皮质(prefrontal cortex)中的神经元集群的选择性同步发放活动引起的。当神经元受到特定的刺激时,神经元会产生持续性的增强发放活动或抑制发放活动，之后随着时间的推移恢复到正常水平。在神经元集群中主要有两类神经元：抑制型神经元、增强型神经元。抑制型神经元在接收到一次刺激后，会剧烈减弱突触效率，然后慢慢恢复到正常水平；增强型神经元在接收到一次刺激后，会剧烈增强突触效率，然后慢慢恢复到正常水平。
图3为本发明计算系统中消息传递网络结构示意图；消息传递网络由傅里叶变换层得到的频谱图构造而来，网络中每一层神经元的数量等于图中节点数量，也就是要模拟的生物神经元数量；网络层数不固定，可以为32至128层之间，但不宜过大，否则容易造成过拟合；网络中层与层之间神经元的连接关系由输入图的邻接矩阵确定。消息传递网络在计算时，根据图节点自身的初始状态和上一层传递过来的隐藏状态进行权重矩阵乘法运算，实现消息的的更新。该更新后的隐藏状态会传递到下一层用以进行消息的再次更新，体现了消息的传递过程。在整个计算过程中，只需一次外部的输入刺激就可以进行信息的隐藏存储和传递更新，模拟了短时突触可塑性的基本工作原理。本发明中用到的两类消息传递网络都是基于此结构构造而来。
图4为本发明计算系统中消息传递网络类型示意图。本发明中所用到的消息传递网络有两种类型：短时增强型消息传递网络、短时抑制型消息传递网络。这两种类型网络的基本结构是一致的，由傅里叶变换层得到的频谱图构造而来。短时增强型图神经网络的权重值为输入图节点值的平方，用于实现信息传递的增强兴奋处理；短时抑制型图神经网络的权重值为输入图节点值的倒数，用于完成信息传递的减弱抑制处理。消息传递网络在计算时，前一层的输出输入到下一层完成消息的传递，然后根据图节点自身的初始状态和上一层传递过来的更新状态进行权重矩阵乘法运算以实现消息的再次更新。在整个计算过程中，只需一次外部的输入刺激就可以进行信息的隐藏存储和传递更新，模拟了短时突触可塑性的基本工作原理，而且本发明中使用的两类网络也分别模拟了短时突触可塑性的短时增强与短时抑制特征。
输出层分为3个部分：池化层，全连接层和激活函数层。池化层对消息传递网络的计算结果进行平均池化计算，从而整合神经元刺激的短时增强处理结果和短时抑制处理结果，同时对整个网络在结构上做正则化防止过拟合。全连接层负责接收平均池化处理之后的计算结果，然后对其进行最小二乘法拟合计算，分析出刺激信号依据短时突触可塑性对神经元造成的最终影响。最后的激活函数层使用Relu函数对全连接层的输出进行非线性激活处理，最终模拟计算出生物神经元的工作记忆发放特性。当激活函数输出值是有限的时候，基于梯度的优化方法会更加稳定，因为特征的表示受有限权值的影响更显著；当激活函数的输出是无限的时候，模型的训练会更加高效。
一种基于消息传递网络的短时突触可塑性工作记忆计算方法，包括以下步骤：
步骤1：将神经元刺激信号时间序列输入傅里叶变换层，通过傅里叶变换计算得到刺激信号频谱图；
步骤2：计算步骤1中得到的图数据的邻接矩阵，并依据此邻接矩阵分别构造短时增强型消息传递网络和短时抑制型消息传递网络；
步骤3：初始化消息传递网络权重和全连接层权重；
步骤4：将步骤1的计算结果输入到消息传递网络，信号分别传入至短时增强型消息传递网络和短时抑制型消息传递网络，短时增强型消息传递网络和短时抑制型消息传递网络分别对信号进行计算分析，模拟短时突触可塑性的兴奋和抑制表达，最后将表达的结果传输至后续的输出层部分；
步骤5：输出层首先对步骤4中的处理结果进行平均池化计算，然后输入全连接层进行拟合计算，最后使用激活函数对结果进行非线性激活处理，最终得到基于短时突触可塑性的神经元工作记忆发放特性的表达输出；
步骤6：判断计算是否完成，若存在新一轮的神经元输入刺激，则计算未完成，跳转至步骤4，否则跳转至步骤7；
步骤7：所有计算完成，计算结束，计算系统关闭。
步骤4中，将步骤1的计算结果输入到消息传递网络，信号分别传入至短时增强型消息传递网络和短时抑制型消息传递网络，短时增强型消息传递网络和短时抑制型消息传递网络分别对信号进行计算分析，计算时，前一层的输出输入到下一层完成消息的传递，然后根据图节点自身的初始状态和上一层传递过来的更新状态进行权重矩阵乘法运算以实现消息的再次更新，模拟短时突触可塑性的兴奋和抑制表达，经过消息传递网络计算得到的数据作为表达的结果传输至后续的输出层部分。
图5是本发明计算过程流程图，阐明了基于消息传递网络神经网络的短时突触可塑性工作记忆计算流程。该计算过程分为7个部分。首先将神经元刺激信号时间序列通过傅里叶变换计算得到频谱图，然后计算得到该图数据的邻接矩阵并构造消息传递网络，之后初始化消息传递网络连接权重和全连接层权重。至此整个计算系统构造完毕，可以开始进行后续的计算过程。神经元刺激信号频谱图输入消息传递网络进行短时兴奋和短时抑制计算，然后输出层对结果进行平均池化、全连接层拟合和Relu非线性激活计算，最终实现短时突触可塑性的模拟计算，得到神经元工作记忆发放特性的表达输出。此时一轮计算完毕，判断是否存在新一轮的神经元输入刺激，若存在则重复上述过程，否则所有计算完成，计算结束。
Claims (4)
1.一种基于消息传递网络的短时突触可塑性工作记忆计算系统，其特征在于，包括：
傅里叶变换层，用于对神经元刺激信号序列通过傅里叶变换转换为刺激信号频谱图；
消息传递网络，用于模拟工作记忆的短时突触可塑性特征，包括由刺激信号频谱图构造的短时增强型消息传递网络和短时抑制型消息传递网络；
输出层，用于接收消息传递网络的计算结果，实现工作记忆发放特性的输出；
消息传递网络由傅里叶变换层得到的频谱图构造而来，网络中每一层神经元的数量等于图中节点数量，也就是要模拟的生物神经元数量；网络中层与层之间神经元的连接关系由输入图的邻接矩阵确定，短时增强型图神经网络的权重值为输入图节点值的平方，用于实现信息传递的增强兴奋处理；短时抑制型图神经网络的权重值为输入图节点值的倒数，用于完成信息传递的减弱抑制处理，消息传递网络在计算时，前一层的输出输入到下一层完成消息的传递，然后根据图节点自身的初始状态和上一层传递过来的更新状态进行权重矩阵乘法运算以实现消息的再次更新。
2.根据权利要求1所述的一种基于消息传递网络的短时突触可塑性工作记忆计算系统，其特征在于，傅里叶变换层用于对神经元刺激信号序列通过傅里叶变换转换为刺激信号频谱图；刺激信号频谱图中每一个节点表示一个生物神经元，节点数等于要模拟的生物神经元数量，节点值表示某时刻输入到该神经元的刺激信号强度信息，节点之间带权边表示不同生物神经元之间的信息传递关系。
3.根据权利要求2所述的一种基于消息传递网络的短时突触可塑性工作记忆计算系统，其特征在于，短时增强型图神经网络的权重值为刺激信号频谱图节点值的平方，用于实现信息传递的增强兴奋处理；短时抑制型图神经网络的权重值为刺激信号频谱图节点值的倒数，用于完成信息传递的减弱抑制处理。
4.根据权利要求1所述的一种基于消息传递网络的短时突触可塑性工作记忆计算系统，其特征在于，消息传递网络的网络层数为32至128层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110156973.4A CN112819142B (zh) | 2021-02-04 | 2021-02-04 | 一种短时突触可塑性工作记忆计算系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110156973.4A CN112819142B (zh) | 2021-02-04 | 2021-02-04 | 一种短时突触可塑性工作记忆计算系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112819142A CN112819142A (zh) | 2021-05-18 |
| CN112819142B true CN112819142B (zh) | 2024-01-19 |
Family
ID=75861535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110156973.4A Active CN112819142B (zh) | 2021-02-04 | 2021-02-04 | 一种短时突触可塑性工作记忆计算系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112819142B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102238705A (zh) * | 2011-07-04 | 2011-11-09 | 南京邮电大学 | 一种基于人工神经网络的无线传感器网络拓扑控制方法 |
| CN107045649A (zh) * | 2014-07-21 | 2017-08-15 | 徐志强 | 具有短期记忆和长期记忆的模拟神经网络 |
| CN107480597A (zh) * | 2017-07-18 | 2017-12-15 | 南京信息工程大学 | 一种基于神经网络模型的机器人避障方法 |
| CN108229659A (zh) * | 2017-12-29 | 2018-06-29 | 陕西科技大学 | 基于深度学习的钢琴单键音识别方法 |
| CN108804786A (zh) * | 2018-05-26 | 2018-11-13 | 江西理工大学 | 一种联想神经网络突触权值可塑的忆阻模型电路设计方法 |
| CN108985447A (zh) * | 2018-06-15 | 2018-12-11 | 华中科技大学 | 一种硬件脉冲神经网络系统 |
| CN109635942A (zh) * | 2018-11-28 | 2019-04-16 | 北京工业大学 | 一种仿脑兴奋态和抑制态工作状态神经网络电路结构及方法 |
| CN110309913A (zh) * | 2018-03-27 | 2019-10-08 | 英特尔公司 | 神经形态加速器多任务处理 |
| CN110428050A (zh) * | 2019-08-25 | 2019-11-08 | 湖北大学 | 一种基于忆阻器实现多样化stdp学习规则的突触仿生电路 |
| CN111145199A (zh) * | 2020-01-16 | 2020-05-12 | 杭州电子科技大学 | 一种基于长短时程突触互补神经元网络的边缘检测方法 |
| CN112085198A (zh) * | 2020-09-21 | 2020-12-15 | 中国科学院自动化研究所 | 基于全局反馈以及局部突触可塑的脉冲神经网络优化方法 |
| CN112308221A (zh) * | 2020-10-14 | 2021-02-02 | 成都市深思创芯科技有限公司 | 一种基于储备池计算的工作记忆硬件实现方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10650308B2 (en) * | 2015-09-23 | 2020-05-12 | Politecnico Di Milano | Electronic neuromorphic system, synaptic circuit with resistive switching memory and method of performing spike-timing dependent plasticity |
-
2021
- 2021-02-04 CN CN202110156973.4A patent/CN112819142B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102238705A (zh) * | 2011-07-04 | 2011-11-09 | 南京邮电大学 | 一种基于人工神经网络的无线传感器网络拓扑控制方法 |
| CN111291873A (zh) * | 2014-07-21 | 2020-06-16 | 徐志强 | 预制性突触的模拟方法及装置 |
| CN107045649A (zh) * | 2014-07-21 | 2017-08-15 | 徐志强 | 具有短期记忆和长期记忆的模拟神经网络 |
| CN107480597A (zh) * | 2017-07-18 | 2017-12-15 | 南京信息工程大学 | 一种基于神经网络模型的机器人避障方法 |
| CN108229659A (zh) * | 2017-12-29 | 2018-06-29 | 陕西科技大学 | 基于深度学习的钢琴单键音识别方法 |
| CN110309913A (zh) * | 2018-03-27 | 2019-10-08 | 英特尔公司 | 神经形态加速器多任务处理 |
| CN108804786A (zh) * | 2018-05-26 | 2018-11-13 | 江西理工大学 | 一种联想神经网络突触权值可塑的忆阻模型电路设计方法 |
| CN108985447A (zh) * | 2018-06-15 | 2018-12-11 | 华中科技大学 | 一种硬件脉冲神经网络系统 |
| CN109635942A (zh) * | 2018-11-28 | 2019-04-16 | 北京工业大学 | 一种仿脑兴奋态和抑制态工作状态神经网络电路结构及方法 |
| CN110428050A (zh) * | 2019-08-25 | 2019-11-08 | 湖北大学 | 一种基于忆阻器实现多样化stdp学习规则的突触仿生电路 |
| CN111145199A (zh) * | 2020-01-16 | 2020-05-12 | 杭州电子科技大学 | 一种基于长短时程突触互补神经元网络的边缘检测方法 |
| CN112085198A (zh) * | 2020-09-21 | 2020-12-15 | 中国科学院自动化研究所 | 基于全局反馈以及局部突触可塑的脉冲神经网络优化方法 |
| CN112308221A (zh) * | 2020-10-14 | 2021-02-02 | 成都市深思创芯科技有限公司 | 一种基于储备池计算的工作记忆硬件实现方法 |
Non-Patent Citations (4)
| Title |
|---|
| Braunstein, A.,et al..Learning by message-passing in networks of discrete synapses.Physical review letters.2005,1-4. * |
| Gated Graph Recurrent Neural Networks;L. Ruiz, et al.;IEEE Transactions on Signal Processing;6303-6318 * |
| Gilmer, J.,et al..Neural Message Passing for Quantum Chemistry.International Conference on Machine Learning.2017,1263–1272. * |
| 基于短时程突触可塑性形成的工作记忆神经元网络模型;徐超;周家程;何国龙;张雪娟;;浙江师范大学学报(自然科学版)(第01期);21-29 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112819142A (zh) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20170031695A (ko) | 신경망들에서의 콘볼루션 동작의 분해 | |
| JP2017509953A (ja) | 低スパイキングレートのためのニューラルネットワークを構成すること | |
| JP2017513127A (ja) | スパイキング深層信念ネットワーク（ｄｂｎ）におけるトレーニング、認識、および生成 | |
| CN111401547B (zh) | 一种面向乘客流分析的基于循环学习单元的htm设计方法 | |
| WO2015053864A1 (en) | Compiling network descriptions to multiple platforms | |
| US9721204B2 (en) | Evaluation of a system including separable sub-systems over a multidimensional range | |
| JP2017509952A (ja) | シャドウネットワークでニューラルネットワークを監視すること | |
| CN110197251A (zh) | 基于深度学习网络的预测方法、装置、设备及存储介质 | |
| CN111382840B (zh) | 一种面向自然语言处理的基于循环学习单元的htm设计方法 | |
| JP6193509B2 (ja) | 可塑性シナプス管理 | |
| JP6219509B2 (ja) | シナプス遅延を動的に割り当てることおおよび検査すること | |
| CN112819142B (zh) | 一种短时突触可塑性工作记忆计算系统及方法 | |
| Teng et al. | Dendritic neuron model and its capability of approximation | |
| CN112819143B (zh) | 一种基于图神经网络的工作记忆计算系统及方法 | |
| Kim et al. | SPSNN: Nth order sequence-predicting spiking neural network | |
| Xue et al. | Improving liquid state machine with hybrid plasticity | |
| Zhong et al. | Robot trajectory prediction and recognition based on a computational mirror neurons model | |
| Zeng et al. | Inference with hybrid bio-hardware neural networks | |
| Han et al. | A compensatory neurofuzzy system with online constructing and parameter learning | |
| Liu et al. | Coding Method Based on Fuzzy C-Means Clustering for Spiking Neural Network With Triangular Spike Response Function | |
| Tang et al. | Reinforcement learning in non-stationary environments: An intrinsically motivated stress based memory retrieval performance (sbmrp) model | |
| Hamian et al. | A Novel Training Approach in Deep Spiking Neural Network Based on Fuzzy Weighting and Meta-heuristic Algorithm | |
| Shi et al. | A Supervised Learning Rule for Recurrent Spiking Neural Networks with Weighted Spikes | |
| Hossain et al. | Hybrid neural network for efficient training | |
| Bhatnagar | Modelling synaptic rewiring in brain-like neural networks for representation learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |