CN113011572B - 一种轴突变化量确定方法和装置、权重处理方法和装置 - Google Patents
一种轴突变化量确定方法和装置、权重处理方法和装置 Download PDFInfo
- Publication number
- CN113011572B CN113011572B CN202110291150.2A CN202110291150A CN113011572B CN 113011572 B CN113011572 B CN 113011572B CN 202110291150 A CN202110291150 A CN 202110291150A CN 113011572 B CN113011572 B CN 113011572B
- Authority
- CN
- China
- Prior art keywords
- issuing
- target moment
- axon
- target
- states
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000003050 axon Anatomy 0.000 title claims abstract description 87
- 230000008859 change Effects 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 210000002569 neuron Anatomy 0.000 claims abstract description 84
- 230000035772 mutation Effects 0.000 claims abstract description 54
- 238000004364 calculation method Methods 0.000 claims abstract description 22
- 238000010304 firing Methods 0.000 claims description 24
- 230000000946 synaptic effect Effects 0.000 claims description 23
- 230000003376 axonal effect Effects 0.000 claims description 13
- 230000007423 decrease Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 11
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 210000000225 synapse Anatomy 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000001787 dendrite Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000001242 postsynaptic effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000003956 synaptic plasticity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种轴突变化量确定方法和装置、权重处理方法和装置。轴突变化量确定方法包括以下步骤：获取前继神经元在目标时刻之前的M‑1个发放时刻以及所述目标时刻对应的M个发放状态；根据所述M个发放状态对应的发放时刻与所述目标时刻之间的时间间隔，分别确定所述M个发放状态对于所述前继神经元在所述目标时刻的M个发放影响值；将所述M个发放影响值的和作为所述目标时刻的轴突变化量。本实施例通过根据目标时刻之前的M‑1个发放时刻以及目标时刻对应的M个发放影响值确定轴突变化量，简化了计算过程，有助于降低轴突变化量过程中的计算量。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种轴突变化量确定方法和装置、权重处理方法和装置。
背景技术
神经形态芯片是一种包括多个神经元节点的芯片，可以用于模拟大脑的学习效果，在使用过程中，需要获取各神经元节点的运行结果，这一过程中，需要确定前继神经元与当前神经元的运行结果的权重变化量，以实现对于突触权重进行更新。相关技术中对于轴突输入值更新过程中，需要耗费较大的运算量。
发明内容
本发明实施例提供一种轴突变化量确定方法和装置、权重处理方法和装置，以解决相关技术中对于轴突输入值更新过程中需要耗费较大的运算量的问题。
第一方面，本发明实施例提供了一种轴突变化量确定方法，包括以下步骤：
获取前继神经元在目标时刻之前的M-1个发放时刻以及所述目标时刻对应的M个发放状态，M为正整数；
根据所述M个发放状态对应的发放时刻与所述目标时刻之间的时间间隔，分别确定所述M个发放状态对于所述前继神经元在所述目标时刻的M个发放影响值；
将所述M个发放影响值的和作为所述目标时刻的轴突变化量。
可选的，所述根据所述M个发放状态对应的发放时刻与所述目标时刻之间的时间间隔，分别确定所述M个发放状态对于所述前继神经元在所述目标时刻的M个发放影响值，包括：
根据所述M个发放状态对应的发放时刻与所述目标时刻之间的时间间隔，确定所述M个发放状态对应的M个权重系数，其中，所述权重系数均大于0且小于或等于1，所述权重系数随相对应的发放时刻与所述目标时刻之间的时间间隔的增加而呈比例减小；
计算所述权重系数与相应的发放状态的乘积作为相应的发放影响值。
可选的，所述将所述M个发放影响值的和作为所述目标时刻的轴突变化量之后，还包括：
根据所述M个发放状态生成所述目标时刻的轴突变化量的存储地址；
根据所生成的存储地址建立包括所述轴突变化量的轴突索引表。
可选的，所述根据所生成的存储地址建立包括所述轴突变化量的轴突索引表之后，还包括：
将所述目标时刻的发放状态输入长度为M的移位寄存器链，其中，所述移位寄存器链存储有所述前继神经元在所述目标时刻之前的M-1个发放状态；
获取所述移位寄存器链并行输出的M位地址数据，所述M位地址数据是由所述前继神经元在所述目标时刻的发放状态和在所述目标时刻之前的M-1个发放状态构成的；
根据所述M位地址数据确定所述目标时刻的轴突变化量的存储地址；
根据所确定的存储地址在所述轴突索引表中索引所述目标时刻的轴突变化量。
可选的，所述根据所述M个发放状态生成所述目标时刻的轴突变化量的存储地址，包括：
根据所述M个发放状态生成包括M位数据的二进制地址数据；
将所述二进制地址数据转换为十六进制数据，作为所述目标时刻的轴突变化量的存储地址；
所述根据所述M位地址数据确定所述目标时刻的轴突变化量的存储地址，包括：
将所述M位地址数据转换为十六进制数据，作为索引所述目标时刻的轴突变化量的存储地址。
第二方面，本发明实施例提供了一种权重处理方法，包括以下步骤：
获取目标时刻的轴突变化量，所述轴突变化量是根据第一方面中任一项所述的轴突变化量确定方法确定的；
确定当前神经元在所述目标时刻之前的M-1个发放时刻以及所述目标时刻对应的M个发放对于所述目标时刻的第一影响值；
根据所述轴突变化量和所述第一影响值确定权重变化量。
可选的，所述根据所述轴突变化量和所述第一影响值确定权重变化量，包括：
确定所述目标时刻对应的突触增强最大值和突触减弱最大值；
计算所述轴突变化量、所述突触增强最大值和所述当前神经元在所述目标时刻的发放状态的第一乘积；
计算所述第一影响值、所述突触减弱最大值和所述前继神经元在所述目标时刻的发放状态的第二乘积；
将所述第一乘积和所述第二乘积之和作为所述权重变化量。
第三方面，本发明实施例提供了一种轴突变化量确定装置，包括：
发放状态获取模块，用于获取前继神经元在目标时刻之前的M-1个发放时刻以及所述目标时刻对应的M个发放状态，M为正整数；
发放影响值确定模块，用于根据所述M个发放状态对应的发放时刻与所述目标时刻之间的时间间隔，分别确定所述M个发放状态对于所述前继神经元在所述目标时刻的M个发放影响值；
轴突变化量计算模块，用于将所述M个发放影响值的和作为所述目标时刻的轴突变化量。
可选的，所述发放影响值确定模块包括：
权重系数确定子模块，用于根据所述M个发放状态对应的发放时刻与所述目标时刻之间的时间间隔，确定所述M个发放状态对应的M个权重系数，其中，所述权重系数均大于0且小于或等于1，所述权重系数随相对应的发放时刻与所述目标时刻之间的时间间隔的增加而呈比例减小；
发放影响值计算子模块，用于计算所述权重系数与相应的发放状态的乘积作为相应的发放影响值。
第四方面，本发明实施例提供了一种权重处理装置，包括：
轴突变化量获取模块，用于获取目标时刻的轴突变化量，所述轴突变化量是根据第一方面中任一项所述的轴突变化量确定方法确定的；
第一影响值确定模块，用于确定当前神经元在所述目标时刻之前的M-1个发放时刻以及所述目标时刻对应的M个发放对于所述目标时刻的第一影响值；
权重变化量确定模块，用于根据所述轴突变化量和所述第一影响值确定权重变化量。
本实施例通过根据目标时刻之前的M-1个发放时刻以及目标时刻对应的M个发放影响值确定轴突变化量，简化了计算过程，有助于降低轴突变化量过程中的计算量。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获取其他的附图。
图1是本发明一实施例中神经形态芯片的结构示意图；
图2是本发明一实施例中轴突变化量确定方法的流程图；
图3是本发明一实施例中索引电路的结构示意图；
图4是本发明一实施例中又一索引电路的结构示意图；
图5是本发明一实施例中权重处理方法的流程图；
图6是本发明一实施例中轴突变化量确定装置的结构图；
图7是本发明一实施例中权重处理装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
如图1所示，神经形态芯片是一种包括多个神经元的芯片。
本实施例中，si(n)代表第i个前继神经元在n时刻的发放，三角形结构代表当前神经元，tj(n)代表第j个当前神经元在n时刻的发放。
类脑计算的一种计算模型是脉冲神经网络(Spiking Neural Network，SNN)，SNN的基本组成单元为神经元，SNN是由大量神经元相互连接成网络。
神经元之间的连接可以看作带权重的有向边，神经元的输出会被神经元之间的连接所加权，然后传递给所连到的神经元，而每个神经元接收到的所有输入会被累加起来进行进一步处理，产生神经元的输出。SNN的神经元输出的是一个个电脉冲信号，电脉冲信号经过突触在突触后膜形成不同强度的电流信号，因此SNN的神经元可接收到其他神经元经由突触输入的信号，其中，两个神经元之间的交互在突触处转换为化学递质的交互。
示例性的，当前神经元接收到前继神经元的发放结果si(n)确定的轴突输入值之后，会根据其神经元模型更新其状态，当达到特定状态便会发放一个电脉冲tj(n)，并重置状态。
本发明实施例提供了一种轴突输入值更新方法，本实施例的轴突输入值更新方法应用于神经形态芯片。
在一个实施例中，该轴突变化量确定方法包括以下步骤：
步骤201：获取前继神经元在目标时刻之前的M-1个发放时刻以及所述目标时刻对应的M个发放状态。
本实施例中，目标权重变化量是根据前继神经元在目标时刻之前的M-1个发放时刻以及目标时刻对应的M个发放影响值确定的，M为正整数。
目标时刻指的是需要对其进行轴突输入值更新的时刻，例如，可以是下一发放时刻。神经形态芯片中的神经元在每一发放时刻进行一次更新，并可能进行一次发放。
步骤202：根据所述M个发放状态对应的发放时刻与所述目标时刻之间的时间间隔，分别确定所述M个发放状态对于所述前继神经元在所述目标时刻的M个发放影响值。
本实施例中认为，与目标时刻越接近的发放结果对于目标时刻所产生的影响越大，而与目标时刻时间间隔越长的发放状态对于目标时刻的影响也就越小，因此，本实施例中进一步确定所选择的M个发放状态对于目标时刻的发放影响值，显然，与目标时刻之间的时间间隔越小，则该发放状态对于目标时刻的发放影响值也就越大。
与目标时刻之间的时间间隔过大的发放对于目标时刻的权重变化具有一定影响，但是，这种影响相对较小，同时，如果考虑这些影响，还会增加额外的计算量。而本实施例中，仅考虑上述M个发放时刻对应的M个发放状态对于目标时刻轴突变化量的影响，平衡了对于轴突变化量计算的精确程度和计算量。
步骤203：将所述M个发放影响值的和作为所述目标时刻的轴突变化量。
本实施例通过根据目标时刻之前的M-1个发放时刻以及目标时刻对应的M个发放影响值确定轴突变化量，简化了计算过程，有助于降低轴突变化量过程中的计算量。
在其中一些实施例中，上述步骤202包括：
根据所述M个发放状态对应的发放时刻与所述目标时刻之间的时间间隔，确定所述M个发放状态对应的M个权重系数，其中，所述权重系数均大于0且小于或等于1，所述权重系数随相对应的发放时刻与所述目标时刻之间的时间间隔的增加而呈比例减小；
计算所述权重系数与相应的发放状态的乘积作为相应的发放影响值。
本实施例中，xi(n)代表第i个前继神经元的所有历史发放对当前的影响，
xi(n)可以通过以下式(1)计算：
xi(n)＝γx·xi(n-1)+si(n)……(1)
上述公式中，γx为相应的系数，该系数的取值大于0且小于1。根据上述式(1)能够进一步得到公式(2)：
由于γx小于1，因此当m足够大时γx m很小，γx mxi(n-m)可忽略。因此可以得到式(3)：
上述式(3)中，si(n-k)的取值为0或1，其中，k的取值为0到m-1之间的整数，将si(n-k)的值代入上述式(3)中能够计算出各xi(n)的值，这里为权重系数，/>为发放影响值，当m＝1时，权重系数等于1，当m不等于1时，权重系数小于1且大于，xi(n)即为计算获得的轴突输入值。
以M等于8为例做示例性说明，此时，上述式(3)具体为：
上述式(3)中，si(n)为n时刻(即目标时刻)的发放状态，si(n-1)…si(n-7)为n时刻之前的M-1个发放状态，共计M个发放状态，本实施例中，具体为8个。n时刻的发放状态对应的权重系数为1，这样，n时刻对应的发放影响值为si(n)。类似的，n-7时刻对应的发放状态为si(n-7)，其对应的权重系数为对应的发放影响值为/>各发放时刻的权重系数依次为1、γx、……/>其呈比例减小，这意味着，与目标时刻的时间间隔越大的发放对于目标时刻的影响也就越小。
在其中一些实施例中，所述将所述M个发放影响值的和作为所述目标时刻的轴突变化量之后，还包括：
根据所述M个发放状态生成所述目标时刻的轴突变化量的存储地址；
根据所生成的存储地址建立包括所述轴突变化量的轴突索引表。
xi(n)＝LUT(concat[si(n),si(n-1),…si(n-m+1)])……(5)
上述式(5)中，LUT代表查询函数，concat()代表将元素构建为一个向量，向量的每个元素为0或1，向量可转化为一个整数，整数的二进制表达的每个比特即为向量的各个元素，在确定了si(n)的值之后，根据构建的轴突索引表，能够索引到相应的xi(n)。
相关技术中，在计算每一时刻的轴突变化量时，需要引入前继神经元在该时刻之前的全部发放对于该时刻的影响，这种计算方式会导致计算量增加，而且由于引入的数据过多，无法预先计算和存储的，只能在需要确定某一时间的轴突变化量时，临时进行计算，导致相应延迟增加，且需要占用较多的计算资源。
而本实施例中，则将每一时刻的轴突变化量计算之后，存储在轴突索引表中，从而可以通过索引的方式获取目标时刻的轴突变化量，降低了响应时间，提高了处理速度。
在其中一些实施例中，所述根据所生成的存储地址建立包括所述轴突变化量的轴突索引表之后，还包括：
将所述目标时刻的发放状态输入长度为M的移位寄存器链，其中，所述移位寄存器链存储有所述前继神经元在所述目标时刻之前的M-1个发放状态；
获取所述移位寄存器链并行输出的M位地址数据，所述M位地址数据是由所述前继神经元在所述目标时刻的发放状态和在所述目标时刻之前的M-1个发放状态构成的；
根据所述M位地址数据确定所述目标时刻的轴突变化量的存储地址；
根据所确定的存储地址在所述轴突索引表中索引所述目标时刻的轴突变化量。
如图3所示，本实施例中通过包括移位寄存器链的索引电路记录并索引神经元的发放序列。移位寄存器链中包括多个移位寄存器单元301，移位寄存器单元301的具体数量根据所选用的发放影响值的数量确定，例如，上述实施例中，M等于8，即选择了8个发放影响值，因此，本实施例中，移位寄存器链中移位寄存器单元301的数量为8个。
移位寄存器链中原本存储由目标时刻的发放状态以及目标时刻之前的M-1个发放状态，也就是说，移位寄存器链中共计存储了M个发放状态，移位寄存器单元301中的存储结果在每一个时间步长更新，各个寄存器会更新为其前一个移位寄存器单元301的数值，且新的发放结果si(n)会更新到第一个移位寄存器单元301中，即图中左侧的移位寄存器单元301中，此时，移位寄存器链中存储有前继神经元在目标时刻的发放状态和目标时刻之前的M-1个发放状态。
进一步的，并行读取移位寄存器中存储的结果，也就是同时读取移位寄存器链中多个移位寄存器单元301的结果，这样，所读取的结果为M位地址数据。进一步的，根据该M位地址数据确定相应的存储地址，可以根据所确定的存储地址从构建的轴突索引表LUT(lookup table)中查找相应的轴突变化量。
在其他一些实施例中，还可以通过其他方式记录前继神经元的发放状态。如图4所示，本实施例中，通过包括内存的索引电路记录和索引发放状态。具体的，将发放状态记录在内存中，接下来，从内存中读取发放结果，并根据发放状态在第一权重列表中索引所述第一目标子权重，在第二权重列表中索引所述第二目标子权重。
在其中一些实施例中，所述根据所述M个发放状态生成所述目标时刻的轴突变化量的存储地址，包括：
根据所述M个发放状态生成包括M位数据的二进制地址数据；
将所述二进制地址数据转换为十六进制数据，作为所述目标时刻的轴突变化量的存储地址；
所述根据所述M位地址数据确定所述目标时刻的轴突变化量的存储地址，包括：
将所述M位地址数据转换为十六进制数据，作为索引所述目标时刻的轴突变化量的存储地址。
本实施例中，M个发放状态分别可能为1或0，这样，可以通过这M个发放状态直接作为一个二进制地址数据，本实施例中以所获得的二进制地址数据为10100000做示例性说明，接下来将该二进制地址转换为十六进制数据，本实施例中，将二进制数据10100000转换为十六进制数据具体为A0，这样建立权重索引表时，以该存储地址A0作为相应的权重变化量的存储地址。
相应的，在由权重索引表中索引目标权重变化量时，将由移位寄存器链中并行读取的M位地址信息转换为十六进制数据作为存储地址，根据所获得的存储地址在权重索引表中索引目标权重变化量。
这样，通过进制转换，能够减少存储地址的字节数量，节约所占用的存储空间，例如，二进制数据10100000需要占用八个字节，而相应的十六进制数据A0仅需要占用两个字节的存储空间。
本实施例获得的轴突变化量可以应用于不同的场景，例如，在一个实施例中，该轴突变化量应用于对突触权重的处理过程中。
本发明实施例还提供了一种权重处理方法。
如图1所示，图中横线代表轴突变化量，竖线代表树突，每一横线和竖线的交点wi,j(n)代表第i个前继神经元和第j个当前神经元在n时刻对应的突触权重，例如，图中所示w2,2(n)代表第2个前继神经元和第2个当前神经元在n时刻对应的突触权重，w3,4(n)代表第3个前继神经元和第4个当前神经元在n时刻对应的突触权重。本实施例中的权重处理方法可以用于更新该突触权重wi,j(n)。
如图5所示，在一个实施例中，该权重处理方法包括以下步骤：
步骤501：获取目标时刻的轴突变化量。
该轴突变化量是根据以上第一方面中任一项的轴突变化量确定方法确定的，具体的，可以是按照上述方法计算获得的，也可以是按照上述方法建立轴突索引表，并在该轴突索引表中索引获得的轴突变化量。
步骤502：确定当前神经元在所述目标时刻之前的M-1个发放时刻以及所述目标时刻对应的M个发放对于所述目标时刻的第一影响值。
本实施例中，接下来根据当前神经元的历史发放确定目标时刻的第一影响值。
本实施例中，yj(n)＝γy·yj(n-1)+tj(n)……(6)
其中，yj(n)为第j个当前神经元的所有历史发放对当前的影响，γy为相应的系数，该系数的取值大于0且小于1，tj(n)代表第j个当前神经元在n时刻的发放。参照上述式(1)至式(3)的计算过程，能够计算相应的yj(n)作为第一影响值。
在其中一个实施例中，可以参考上述轴突索引表的建立方式构建第一影响值索引表。
yj(n)＝LUT(concat[tj(n),tj(n-1),…tj(n-m+1)])……(7)
进一步的，参考上述式(5)的索引方式构建式(7)实现对于第一影响值的索引。
步骤503：根据所述轴突变化量和所述第一影响值确定权重变化量。
最后，根据所确定的轴突变化量和第一影响值计算出目标时刻对应的权重变化量，进一步的，还可以根据目标时刻的权重变化量更新目标时刻的权重。
在其中一些实施例中，该步骤503包括：
确定所述目标时刻对应的突触增强最大值和突触减弱最大值；
计算所述轴突变化量、所述突触增强最大值和所述当前神经元在所述目标时刻的发放状态的第一乘积；
计算所述第一影响值、所述突触减弱最大值和所述前继神经元在所述目标时刻的发放状态的第二乘积；
将所述第一乘积和所述第二乘积之和作为所述权重变化量。
本实施例中，可以通过脉冲时间突触可塑性(STDP)机制计算突触权重的权重变化量：
Δwi,j(n)＝f_(wi,j)·si(n)·yj(n)+f+(wi,j)·tj(n)·xi(n)……(8)
上述公式(7)中，Δwi,j(n)为第i个前继神经元和第j个当前神经元在n时刻对应的权重变化量，f+(wi,j)为突触增强最大值；f-(wi,j)为突触减弱最大值；si(n)代表第i个前继神经元在n时刻的发放状态，其中，当第i个前继神经元发放时，si(n)＝1，否则si(n)＝0；tj(n)代表第j个当前神经元在n时刻的发放状态，其中，当第i个当前神经元发放时，tj(n)＝1，否则tj(n)＝0；xi(n)和yj(n)则是根据上述实施例的确定的轴突变化量和第一影响值。
实施时，分别计算上述第一乘积和第二乘积，将第一乘积和第二乘积的和作为目标时刻的权重变化量。
上述f+(wi,j)和f-(wi,j)的计算方式可以参考相关技术，也可以通过本实施例提供的式(9)计算，本实施例中，f+(wi,j)和f-(wi,j)的计算规则包括四种子规则，即式(9)中提及的加性、乘性、非线性和混合四种子规则，实施时，可以根据需要选择其中一种或多种规则计算获得f+(wi,j)和f-(wi,j)的值。
以下式(9)中，w代表wi,j；λ是学习率常数；α是权重抑制与权重增强的比例，是常数；wmax表示权重最大值，cp和cd分别表示一个spike配对后平均的增强量和相对抑制量。
本发明实施例提供了一种轴突变化量确定装置。
如图6所示，在一个实施例中，该轴突变化量确定装置600包括：
发放状态获取模块601，用于获取前继神经元在目标时刻之前的M-1个发放时刻以及所述目标时刻对应的M个发放状态；
发放影响值确定模块602，用于根据所述M个发放状态对应的发放时刻与所述目标时刻之间的时间间隔，分别确定所述M个发放状态对于所述前继神经元在所述目标时刻的M个发放影响值；
轴突变化量计算模块603，用于将所述M个发放影响值的和作为所述目标时刻的轴突变化量。
在其中一些实施例中，所述发放影响值确定模块602包括：
权重系数确定子模块，用于根据所述M个发放状态对应的发放时刻与所述目标时刻之间的时间间隔，确定所述M个发放状态对应的M个权重系数，其中，所述权重系数均大于0且小于或等于1，所述权重系数随相对应的发放时刻与所述目标时刻之间的时间间隔的增加而呈比例减小；
发放影响值计算子模块，用于计算所述权重系数与相应的发放状态的乘积作为相应的发放影响值。
在其中一些实施例中，还包括：
存储地址生成模块，用于根据所述M个发放状态生成所述目标时刻的轴突变化量的存储地址；
轴突索引表建立模块，用于根据所生成的存储地址建立包括所述轴突变化量的轴突索引表。
在其中一些实施例中，还包括：
输入模块，用于将所述目标时刻的发放状态输入长度为M的移位寄存器链，其中，所述移位寄存器链存储有所述前继神经元在所述目标时刻之前的M-1个发放状态；
并行读取模块，用于获取所述移位寄存器链并行输出的M位地址数据，所述M位地址数据是由所述前继神经元在所述目标时刻的发放状态和在所述目标时刻之前的M-1个发放状态构成的；
存储地址确定模块，用于根据所述M位地址数据确定所述目标时刻的轴突变化量的存储地址；
索引模块，用于根据所确定的存储地址在所述轴突索引表中索引所述目标时刻的轴突变化量。
在其中一些实施例中，所述存储地址生成模块包括：
二进制地址数据生成子模块，用于根据所述M个发放状态生成包括M位数据的二进制地址数据；
存储地址生成子模块，用于将所述二进制地址数据转换为十六进制数据，作为所述目标时刻的轴突变化量的存储地址；
所述存储地址确定模块具体用于：将所述M位地址数据转换为十六进制数据，作为索引所述目标时刻的轴突变化量的存储地址。
本实施例的轴突变化量确定装置600能够实现上述轴突输入值更新方法实施例的各个步骤，并能实现基本相同或相似的技术效果，此处不再赘述。
本发明实施例提供了一种权重处理装置。
如图7所示，在一个实施例中，该权重处理装置700包括：
轴突变化量获取模块701，用于获取目标时刻的轴突变化量，所述轴突变化量是根据第一方面中任一项所述的轴突变化量确定方法确定的；
第一影响值确定模块702，用于确定当前神经元在所述目标时刻之前的M-1个发放时刻以及所述目标时刻对应的M个发放对于所述目标时刻的第一影响值；
权重变化量确定模块703，用于根据所述轴突变化量和所述第一影响值确定权重变化量。
在其中一些实施例中，所述权重变化量确定模块703包括：
突触最值确定子模块，用于确定所述目标时刻对应的突触增强最大值和突触减弱最大值；
第一乘积计算子模块，用于计算所述轴突变化量、所述突触增强最大值和所述当前神经元在所述目标时刻的发放状态的第一乘积；
第二乘积计算子模块，用于计算所述第一影响值、所述突触减弱最大值和所述前继神经元在所述目标时刻的发放状态的第二乘积；
权重变化量计算子模块，用于将所述第一乘积和所述第二乘积之和作为所述权重变化量。
本实施例的权重处理装置700能够实现上述权重处理方法实施例的各个步骤，并能实现基本相同或相似的技术效果，此处不再赘述。
本实施例的轴突输入值更新装置能够实现上述轴突输入值更新方法实施例的各个步骤，并能实现基本相同或相似的技术效果，此处不再赘述。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种轴突变化量确定方法，其特征在于，包括以下步骤：
获取前继神经元在目标时刻之前的M-1个发放时刻以及所述目标时刻对应的M个发放状态，M为正整数；
根据所述M个发放状态对应的发放时刻与所述目标时刻之间的时间间隔，分别确定所述M个发放状态对于所述前继神经元在所述目标时刻的M个发放影响值；
将所述M个发放影响值的和作为所述目标时刻的轴突变化量；
根据所述M个发放状态生成所述目标时刻的轴突变化量的存储地址；
根据所生成的存储地址建立包括所述轴突变化量的轴突索引表；
将所述目标时刻的发放状态输入长度为M的移位寄存器链，其中，所述移位寄存器链存储有所述前继神经元在所述目标时刻之前的M-1个发放状态；
获取所述移位寄存器链并行输出的M位地址数据，所述M位地址数据是由所述前继神经元在所述目标时刻的发放状态和在所述目标时刻之前的M-1个发放状态构成的；
根据所述M位地址数据确定所述目标时刻的轴突变化量的存储地址；
根据所确定的存储地址在所述轴突索引表中索引所述目标时刻的轴突变化量。
2.根据权利要求1所述的轴突变化量确定方法，其特征在于，所述根据所述M个发放状态对应的发放时刻与所述目标时刻之间的时间间隔，分别确定所述M个发放状态对于所述前继神经元在所述目标时刻的M个发放影响值，包括：
根据所述M个发放状态对应的发放时刻与所述目标时刻之间的时间间隔，确定所述M个发放状态对应的M个权重系数，其中，所述权重系数均大于0且小于或等于1，所述权重系数随相对应的发放时刻与所述目标时刻之间的时间间隔的增加而呈比例减小；
计算所述权重系数与相应的发放状态的乘积作为相应的发放影响值。
3.如权利要求1所述的轴突变化量确定方法，其特征在于，所述根据所述M个发放状态生成所述目标时刻的轴突变化量的存储地址，包括：
根据所述M个发放状态生成包括M位数据的二进制地址数据；
将所述二进制地址数据转换为十六进制数据，作为所述目标时刻的轴突变化量的存储地址；
所述根据所述M位地址数据确定所述目标时刻的轴突变化量的存储地址，包括：
将所述M位地址数据转换为十六进制数据，作为索引所述目标时刻的轴突变化量的存储地址。
4.一种权重处理方法，其特征在于，包括以下步骤：
获取目标时刻的轴突变化量，所述轴突变化量是根据权利要求1至3中任一项所述的轴突变化量确定方法确定的；
确定当前神经元在所述目标时刻之前的M-1个发放时刻以及所述目标时刻对应的M个发放对于所述目标时刻的第一影响值；
根据所述轴突变化量和所述第一影响值确定权重变化量。
5.如权利要求4所述的权重处理方法，其特征在于，所述根据所述轴突变化量和所述第一影响值确定权重变化量，包括：
确定所述目标时刻对应的突触增强最大值和突触减弱最大值；
计算所述轴突变化量、所述突触增强最大值和所述当前神经元在所述目标时刻的发放状态的第一乘积；
计算所述第一影响值、所述突触减弱最大值和所述前继神经元在所述目标时刻的发放状态的第二乘积；
将所述第一乘积和所述第二乘积之和作为所述权重变化量。
6.一种轴突变化量确定装置，其特征在于，包括：
发放状态获取模块，用于获取前继神经元在目标时刻之前的M-1个发放时刻以及所述目标时刻对应的M个发放状态，M为正整数；
发放影响值确定模块，用于根据所述M个发放状态对应的发放时刻与所述目标时刻之间的时间间隔，分别确定所述M个发放状态对于所述前继神经元在所述目标时刻的M个发放影响值；
轴突变化量计算模块，用于将所述M个发放影响值的和作为所述目标时刻的轴突变化量；
存储地址生成模块，用于根据所述M个发放状态生成所述目标时刻的轴突变化量的存储地址；
轴突索引表建立模块，用于根据所生成的存储地址建立包括所述轴突变化量的轴突索引表；
输入模块，用于将所述目标时刻的发放状态输入长度为M的移位寄存器链，其中，所述移位寄存器链存储有所述前继神经元在所述目标时刻之前的M-1个发放状态；
并行读取模块，用于获取所述移位寄存器链并行输出的M位地址数据，所述M位地址数据是由所述前继神经元在所述目标时刻的发放状态和在所述目标时刻之前的M-1个发放状态构成的；
存储地址确定模块，用于根据所述M位地址数据确定所述目标时刻的轴突变化量的存储地址；
索引模块，用于根据所确定的存储地址在所述轴突索引表中索引所述目标时刻的轴突变化量。
7.根据权利要求6所述的轴突变化量确定装置，其特征在于，所述发放影响值确定模块包括：
权重系数确定子模块，用于根据所述M个发放状态对应的发放时刻与所述目标时刻之间的时间间隔，确定所述M个发放状态对应的M个权重系数，其中，所述权重系数均大于0且小于或等于1，所述权重系数随相对应的发放时刻与所述目标时刻之间的时间间隔的增加而呈比例减小；
发放影响值计算子模块，用于计算所述权重系数与相应的发放状态的乘积作为相应的发放影响值。
8.一种权重处理装置，其特征在于，包括：
轴突变化量获取模块，用于获取目标时刻的轴突变化量，所述轴突变化量是根据权利要求1至3中任一项所述的轴突变化量确定方法确定的；
第一影响值确定模块，用于确定当前神经元在所述目标时刻之前的M-1个发放时刻以及所述目标时刻对应的M个发放对于所述目标时刻的第一影响值；
权重变化量确定模块，用于根据所述轴突变化量和所述第一影响值确定权重变化量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110291150.2A CN113011572B (zh) | 2021-03-18 | 2021-03-18 | 一种轴突变化量确定方法和装置、权重处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110291150.2A CN113011572B (zh) | 2021-03-18 | 2021-03-18 | 一种轴突变化量确定方法和装置、权重处理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113011572A CN113011572A (zh) | 2021-06-22 |
| CN113011572B true CN113011572B (zh) | 2024-04-16 |
Family
ID=76409714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110291150.2A Active CN113011572B (zh) | 2021-03-18 | 2021-03-18 | 一种轴突变化量确定方法和装置、权重处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113011572B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845632A (zh) * | 2017-01-25 | 2017-06-13 | 清华大学 | 脉冲神经网络信息转换为人工神经网络信息的方法和系统 |
| CN108334942A (zh) * | 2017-12-22 | 2018-07-27 | 清华大学 | 神经网络的数据处理方法、装置、芯片和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9373073B2 (en) * | 2012-12-21 | 2016-06-21 | International Business Machines Corporation | Time-division multiplexed neurosynaptic module with implicit memory addressing for implementing a universal substrate of adaptation |
-
2021
- 2021-03-18 CN CN202110291150.2A patent/CN113011572B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845632A (zh) * | 2017-01-25 | 2017-06-13 | 清华大学 | 脉冲神经网络信息转换为人工神经网络信息的方法和系统 |
| CN108334942A (zh) * | 2017-12-22 | 2018-07-27 | 清华大学 | 神经网络的数据处理方法、装置、芯片和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于突触可塑性的小世界神经网络的动态特性研究;张伟;郭磊;冉鹏飞;陈云阁;;生物医学工程学杂志(04);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113011572A (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8473439B2 (en) | Integrate and fire electronic neurons | |
| US9129220B2 (en) | Methods and systems for digital neural processing with discrete-level synapes and probabilistic STDP | |
| US20150120627A1 (en) | Causal saliency time inference | |
| JP2013546065A (ja) | シミュレーションを使用して学習されるシナプス重みを用いるニューロモーフィック／シナプトロニック・スパイキング・ニューラル・ネットワークのための方法、デバイス、および回路 | |
| US9672464B2 (en) | Method and apparatus for efficient implementation of common neuron models | |
| US10147035B2 (en) | Neural integrated circuit with biological behaviors | |
| CN113537455B (zh) | 突触权重训练方法、电子设备和计算机可读介质 | |
| CN113011572B (zh) | 一种轴突变化量确定方法和装置、权重处理方法和装置 | |
| KR20230029759A (ko) | 아날로그 크로스바 어레이들을 업데이트하기 위한 희소 수정가능 비트 길이 결정 펄스 생성 | |
| JP2023502204A (ja) | クロスバー・アレイ構造を有するニューロモルフィック・デバイス | |
| JPH0784978A (ja) | ニューラルネットワーク装置およびその学習方法 | |
| CN109697511B (zh) | 数据推理方法、装置及计算机设备 | |
| US5778153A (en) | Neural network utilizing logarithmic function and method of using same | |
| WO2014197175A2 (en) | Efficient implementation of neural population diversity in neural system | |
| CN111582461B (zh) | 神经网络训练方法、装置、终端设备和可读存储介质 | |
| US11443171B2 (en) | Pulse generation for updating crossbar arrays | |
| US20200193276A1 (en) | Neuromorphic Neuron Apparatus For Artificial Neural Networks | |
| CN114492212B (zh) | 低压配电网动态增容方法、装置、终端及存储介质 | |
| US11727252B2 (en) | Adaptive neuromorphic neuron apparatus for artificial neural networks | |
| CN113011573A (zh) | 一种权重处理方法及装置、电子设备和可读存储介质 | |
| CN116663622A (zh) | 一种生物可信的神经元计算电路及计算方法 | |
| KR20220133366A (ko) | 뉴럴 네트워크의 학습 방법 및 뉴럴 프로세서 | |
| Freund et al. | Variants of spiking neural P systems with energy control | |
| RU146839U1 (ru) | Устройство адаптации распределительной системы контроля многопараметрического объекта | |
| Pan et al. | Fault diagnosis for manipulators based on NeuCube |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |