CN113011573B - 一种权重处理方法及装置、电子设备和可读存储介质 - Google Patents
一种权重处理方法及装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN113011573B CN113011573B CN202110291618.8A CN202110291618A CN113011573B CN 113011573 B CN113011573 B CN 113011573B CN 202110291618 A CN202110291618 A CN 202110291618A CN 113011573 B CN113011573 B CN 113011573B
- Authority
- CN
- China
- Prior art keywords
- variation
- target
- weight
- neuron
- synaptic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 210000002569 neuron Anatomy 0.000 claims abstract description 107
- 230000000946 synaptic effect Effects 0.000 claims abstract description 91
- 230000008859 change Effects 0.000 claims abstract description 37
- 230000006870 function Effects 0.000 claims description 51
- 238000010304 firing Methods 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 210000003050 axon Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 210000001787 dendrite Anatomy 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005251 gamma ray Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000001242 postsynaptic effect Effects 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000003956 synaptic plasticity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种权重处理方法及装置、电子设备和可读存储介质。权重处理方法包括获取目标神经元的历史发放对于目标时刻的目标影响值；根据所述目标神经元在所述目标时刻的发放状态和所述目标影响值确定所述目标时刻的权重变化量；计算第一变化量，其中，所述第一变化量为所述权重变化量和历史突触权重之和；根据所述第一变化量确定更新后的突触权重，其中，更新后的突触权重等于所述第一变化量输入目标函数后的输出结果。本发明实施例中通过确定权重变化量和历史突触权重之和确定的第一变化量，然后根据第一变化量确定更新后的突触权重，降低了计算的复杂程度。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种权重处理方法及装置、电子设备和可读存储介质。
背景技术
神经形态芯片是一种包括多个神经元节点的芯片，可以用于模拟大脑的学习效果，在使用过程中，需要获取各神经元节点的运行结果，这一过程中，需要确定神经元节点的运行结果的权重变化量，以实现对于突触权重进行更新。
相关技术中在每次对于权重变化量的更新过程中，确定突触权重的运算量较大。
发明内容
本发明实施例提供一种权重处理方法及装置、电子设备和可读存储介质，以降低权重更新过程中计算量。
第一方面，本发明实施例提供了一种权重处理方法，包括以下步骤：
获取目标神经元的历史发放对于目标时刻的目标影响值；
根据所述目标神经元在所述目标时刻的发放状态和所述目标影响值确定所述目标时刻的权重变化量；
计算第一变化量，其中，所述第一变化量为所述权重变化量和历史突触权重之和；
根据所述第一变化量确定更新后的突触权重，其中，更新后的突触权重等于所述第一变化量输入目标函数后的输出结果，当所述第一变化量增加时，所述目标函数的输出结果不变或增加，在所述第一变化量大于0的情况下，所述突触权重大于0，当所述第一变化量等于0时，所述突触权重等于0。
可选的，所述根据所述第一变化量确定更新后的突触权重，包括：
在根据所述第一变化量在预设查找表中查找相应的突触权重，其中，突触权重的取值范围小于预设权重阈值。
可选的，所述目标函数的自变量取值范围大于或等于0，且所述目标函数为Sigmoid函数、双曲正切函数和hard tanh函数中的一项。
可选的，所述目标神经元包括前继神经元和当前神经元，所述目标影响值包括所述前继神经元对应的第一影响值和所述当前神经元对应的第二影响值。
可选的，所述目标神经元在所述目标时刻的发放状态包括所述前继神经元在所述目标时刻的第一发放状态，以及所述当前神经元在所述目标时刻对应的第二发放状态；
所述根据所述目标时刻的发放状态和所述目标影响值确定所述目标时刻的权重变化量，包括：
计算第一系数、所述第一影响值和所述第一发放状态的第一乘积；
计算第二系数、所述第二影响值和所述第二发放状态的第二乘积；
将所述第一乘积和所述第二乘积之和作为所述目标时刻的权重变化量。
可选的，所述第一系数为非零常数，所述第二系数为非零常数。
可选的，神经网络模型的影响因素包括根据神经网络模型的训练机制确定的训练权重系数；
所述计算第一变化量，包括：
计算所述权重变化量、所述历史突触权重和所述训练权重系数之和作为所述第一变化量。
第二方面，本发明实施例提供了一种权重处理装置，包括：
目标影响值获取模块，用于获取目标神经元的历史发放对于目标时刻的目标影响值；
权重变化量确定模块，用于根据所述目标神经元在所述目标时刻的发放状态和所述目标影响值确定所述目标时刻的权重变化量，其中，所述权重变化量与所述目标影响值和所述发放状态的乘积线性相关；
第一变化量计算模块，用于计算第一变化量，其中，所述第一变化量为所述权重变化量和历史突触权重之和；
更新模块，用于根据所述第一变化量确定更新后的突触权重，其中，更新后的突触权重等于所述第一变化量输入目标函数后的输出结果，当所述第一变化量增加时，所述目标函数的输出结果不变或增加，在所述第一变化量大于0的情况下，所述突触权重大于0，当所述第一变化量小于或等于0时，所述突触权重等于0。
第三方面，本发明实施例提供了一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面中任一项所述的权重处理方法的步骤。
第三方面，本发明实施例提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的权重处理方法的步骤。
本发明实施例提供了一种权重处理方法，包括以下步骤：获取目标神经元的历史发放对于目标时刻的目标影响值；根据所述目标神经元在所述目标时刻的发放状态和所述目标影响值确定所述目标时刻的权重变化量；计算第一变化量，其中，所述第一变化量为所述权重变化量和历史突触权重之和；根据所述第一变化量确定更新后的突触权重，其中，更新后的突触权重等于所述第一变化量输入目标函数后的输出结果。本发明实施例中通过确定权重变化量和历史突触权重之和确定的第一变化量，然后根据第一变化量确定更新后的突触权重，降低了计算的复杂程度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获取其他的附图。
图1是本发明一实施例中神经形态芯片的结构图；
图2是本发明一实施例中权重处理方法的流程图；
图3A是本发明一实施例中第一变化量和突触权重的对应关系；
图3B是本发明一实施例中又一第一变化量和突触权重的对应关系；
图4是本发明一实施例中实现权重处理方法的电路结构示意图；
图5是本发明一实施例中权重处理装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
如图1所示，神经形态芯片是一种包括多个神经元的芯片。
本实施例中，si(n)代表第i个前继神经元在n时刻的发放，三角形结构代表当前神经元，tj(n)代表第j个当前神经元在n时刻的发放。
类脑计算的一种计算模型是脉冲神经网络(Spiking Neural Network，SNN)，SNN的基本组成单元为神经元，SNN是由大量神经元相互连接形成的网络。
神经元之间的连接可以看作带权重的有向边，神经元的输出会被神经元之间的连接所加权，然后传递给所连到的神经元，而每个神经元接收到的所有输入会被累加起来进行进一步处理，产生神经元的输出。SNN的神经元输出的是一个个电脉冲信号，电脉冲信号经过突触在突触后膜形成不同强度的电流信号，因此SNN的神经元可接收到其他神经元经由突触输入的信号，其中，两个神经元之间的交互在突触处转换为化学递质的交互。
示例性的，当前神经元接收到前继神经元的发放结果si(n)确定的轴突输入值之后，会根据其神经元模型更新其状态，当达到特定状态便会发放一个电脉冲tj(n)，并重置状态。
如图1所示，图中横线代表轴突，竖线代表树突，每一横线和竖线的交点wi,j(n)代表第i个前继神经元和第j个当前神经元在n时刻对应的突触权重，例如，图中所示w2,2(n)代表第2个前继神经元和第2个当前神经元在n时刻对应的突触权重，w3,4(n)代表第3个前继神经元和第4个当前神经元在n时刻对应的突触权重。本实施例中的权重处理方法用于处理该突触权重wi,j(n)。
如图2所示，在一个实施例中，该权重处理方法包括以下步骤：
步骤201：获取目标神经元的历史发放对于目标时刻的目标影响值。
本实施例中的目标神经元包括前继神经元和当前神经元，目标影响值包括当前神经元对应的第一影响值.和前继神经元对应的第二影响值。
本实施例中，首先根据前继神经元的历史发放确定对于目标时刻的第二影响值，该第二影响值也可以理解为前继神经元的所有历史发放对于当前时刻的影响，也可以称作轴突。
在一个实施例中，该轴突可以通过以下公式计算：
xi(n)＝γx·xi(n-1)+si(n)……(1)
上述式(1)中，xi(n)为第i个前继神经元在n时刻的轴突，也可以理解为第i个前继神经元的历史发放对于n时刻的影响；γx为衰减系数，具体为小于1的正数，si(n)为第i个前继神经元在n时刻的发放状态，其中，当第i个前继神经元在n时刻的发放时，si(n)的取值为1，当第i个前继神经元在n时刻未发放时，其取值为0。
yj(n)＝γy·yj(n-1)+tj(n)……(2)
类似的，通过上述式(2)可以计算获得第j个当前神经元的历史发放对于目标时刻的第一影响值yj(n)，其中，上述式(2)中，γy为衰减系数，具体为小于1的正数。其中，当第j个当前神经元在n时刻的发放时，tj(n)的取值为1，当第i个当前神经元在n时刻未发放时，其取值为0。
步骤202：根据所述目标神经元在所述目标时刻的发放状态和所述目标影响值确定所述目标时刻的权重变化量。
在确定了目标影响值之后，进一步根据目标影响值和发放状态确定权重变化量。
在一些实施例中，目标神经元在目标时刻的发放状态包括前继神经元在目标时刻的第一发放状态，以及当前神经元在目标时刻对应的第二发放状态。相应的，该步骤202具体包括：
所述根据所述目标时刻的发放状态和所述目标影响值确定所述目标时刻的权重变化量，包括：
计算第一系数、所述第一影响值和所述第一发放状态的第一乘积；
计算第二系数、所述第二影响值和所述第二发放状态的第二乘积；
将所述第一乘积和所述第二乘积之和作为所述目标时刻的权重变化量。
在其中一些实施例中，利用式(3)通过脉冲时间突触可塑性(STDP)机制计算突触权重的权重变化量。
Δwi,j(n)＝f-(wi,j)·si(n)·yj(n)+f+(wi,j)·tj(n)·xi(n)……(3)
上述公式(3)中，Δwi,j(n)为需要计算获得的第i个前继神经元和第j个当前神经元在n时刻对应的权重变化量；f+(wi,j)为突触增强最大值；f-(wi,j)为突触减弱最大值；si(n)代表第i个前继神经元在n时刻的发放状态，其中，当第i个前继神经元发放时，si(n)＝1，否则si(n)＝0；tj(n)代表第j个当前神经元在n时刻的发放状态，其中，当第i个当前神经元发放时，tj(n)＝1，否则tj(n)＝0；xi(n)和yj(n)则分别是根据上述式(1)和式(2)确定的第二影响值和第一影响值。
可以理解为，si(n)·yj(n)代表第一影响值和第一发放状态的乘积，也就是前继神经元在目标时刻的发放状态和当前神经元的所有历史发放对目标时刻的影响的乘积，tj(n)·xi(n)为第二影响值和第二发放状态的乘积，也就是当前神经元在目标时刻的发放状态和前继神经元的所有历史发放对目标时刻的影响的乘积。
上述f+(wi,j)和f-(wi,j)的值依赖wi,j确定，具体可以理解为依赖wi,j的函数。本实施例中，具体可以通过式(4)计算获得。
本实施例中，f+(wi,j)和f-(wi,j)的计算规则包括四种子规则，即式(4)中提及的加性、乘性、非线性和混合四种子规则，实施时，可以根据需要选择其中一种或多种规则计算获得f+(wi,j)和f-(wi,j)的值。
式(4)中，w代表wi,j；λ是学习率常数；α是权重抑制与权重增强的比例，是常数；wmax表示权重最大值，cp’和cd分别表示一个发放配对后平均的增强量和相对抑制量。
可以理解为，本实施例中，所使用的第一系数为f_(wi,j)，为一个依赖wi,j的函数，所使用的第二系数为f+(wi,j)，也是一个依赖wi,j的函数。
在另外一些实施例中，还可以通过式(5)计算权重变化量。
Δwi,j(n)＝f-·si(n)·yj(n)+f+·tj(n)·xi(n)……(5)
上述式(5)中与式(3)中相同的参数代表的含义相同，Δwi,j(n)为求得的权重变化量，与式(3)的计算过程的主要区别在于，本实施例中的第一系数f_和第二系数f+均为非零常数。这样，所获得的权重变化量与上述乘积线性相关，有助于进一步简化计算量。
步骤203：计算第一变化量。
本实施例中，第一变化量为权重变化量和历史突触权重之和，在一个实施例中，可以通过式(6)计算该第一变化量。
ui,j(n)＝Δwi,j(n)+w′i,j(n)……(6)
上述式(6)中，ui,j(n)为计算获得的第一变化量，Δwi,j(n)为通过式(3)或式(5)求得的权重变化量，w′i,j(n)为更新前的突触权重。
进一步的，在其中一些实施例中，对于神经网络模型的突出权重的影响因素还包括根据神经网络模型的训练机制确定的训练权重系数，相应的，还需要考虑该训练权重系数对于第一变化量的影响。
在该实施例中，计算第一变化量，包括：
计算所述权重变化量、所述历史突触权重和所述训练权重系数之和作为所述第一变化量。
与式(6)对应的实施例相比，本实施例中进一步引入了训练权重系数有助于进一步提高对于突触权重的计算精度。
ui,j(n)＝Δwi,j(n)+w′i,j(n)+Ri,j(n)……(7-2)
如式(7-2)所示，进一步的，还可以引入随机变量Ri,j(n)，该随机变量为一个随机数，具体可以是一个在指定区间内满足特定分布的随机数，该区间的范围可以根据需要设定，而特定分布可以选择泊松分布、正态分布等不同的分布方式。
进一步的，如式(7-3)所述，本实施例中还可以同时引入式(7-1)中的训练权重系数和式(7-2)随机变量。
步骤204：根据所述第一变化量确定更新后的突触权重，其中，更新后的突触权重等于所述第一变化量输入目标函数后的输出结果。
wi,j(n)＝σ(ui,j(n))……(8)
本实施例中，将通过式(6)至式(7-3)中的任一项计算获得的第一变化量ui,j(n)代入式(8)中的目标函数σ()获得更新后的突触权重wi,j(n)。
如图3A或图3B所示，本实施例中，当所述第一变化量增加时，所述目标函数的输出结果不变或增加，在第一变化量大于0的情况下，突触权重大于0，当第一变化量等于0时，突触权重等于0。进一步的，在一些实施例中，目标函数为具有上界的函数，也就是说，目标函数的取值范围小于某一值，这样，能够使得计算获得的突触权重大于或等于0，且小于某一最大阈值，即所获得的突触权重是限幅的。
在一些实施例中，突触权重wi,j(n)可以通过将第一变化量ui,j(n)代入上述式(8)求得。
在一些实施例中，上述步骤204包括：
在根据所述第一变化量在预设查找表中查找相应的突触权重，其中，突触权重的取值范围小于预设权重阈值。
如图4所示，在另外一些实施例中，则可以首先利用式(8)根据不同的第一变化量计算相应的突触权重，然后建立包括第一变化量和相应的突触权重的查找表(Look UpTable，LUT)，应用时，在获得了第一变化量后，利用式(9)根据该第一变化量的值在查找表中查找相同或相近的值作为突触权重。
wi,j(n)＝LUT(ui,j(n))……(9)
其中，式(9)中的LUT()为查表函数，这样通过建立查找表，并通过查表的方式确定突触权重，能够节约计算量。
通过设置查找表，能够限定突触权重的范围不超过表中的取值范围，也就是不会超出表中取值范围的最大值，实现了对突触权重的取值范围的控制，同时，能够实现权重的量化，尤其是非均匀的量化。
本实施例中的目标函数可以是离散型函数，也就是说，突触权重的取值包括几个离散的值，每一突触权重的值对应一个第一变化量的取值范围，其中，第一变化量的取值范围的端点的值可以在对应的两个离散的突触权重中选择任一个，本实施例中，以每一取值范围的较小的端点对应较小的突触权重的值，较大的端点对应较大的突触权重的值做示例性说明。
示例性的，如图3A所示，本实施例中的突触权重的取值范围为0至8中的整数，共计有8个可能的取值，可以通过第一变化量和突触权重的对应关系建立查找表，这样，由于取值的数量为8个，因此，其结果可以通过三比特的二进制数据表示和存储，有助于简化计算过程和降低计算量。
在另外一些实施例中，目标函数还可以是连续的函数。
进一步的，在其中一些实施例中，在自变量大于0的情况下，所述目标函数的二次导数值小于0。进一步的，在其中一些实施例中，所述目标函数为Sigmoid函数、双曲正切函数和hard tanh函数中的一项。
如图3B所示，本实施例中，目标函数的图像大致呈弧形，由于自变量大于0的情况下，所述目标函数的二次导数值小于0，当第一变化量的值增加时，所获得的突触权重的值不会过大。
本实施例中的目标函数为连续函数，这样，所计算出来的突触权重的精度更高。
在其他一些实施例中，还可以根据需要提供的突触权重的精度设置相应的目标函数，从而平衡存储长度、计算量、结果精度之间的需求。
本发明实施例中通过确定权重变化量和历史突触权重之和确定的第一变化量，根据第一变化量确定更新后的突触权重，降低了计算的复杂程度。此外，由于权重更新可能是多源的，通过对最终更新结果进行处理更能有效防止权重更新过度。
如图4所示，本实施例的技术方案可以概况为，首先根据第i个前继神经元在n时刻的发放状态si(n)、第j个当前神经元在n时刻的发放状态tj(n)、第j个当前神经元的历史发放对于目标时刻的影响值yj(n)，第i个前继神经元在n时刻的轴突xi(n)通过STDP计算权重变化量Δwi,j(n)，然后根据该权重变化量和历史突触权重w′i,j(n)获得第一变化量ui,j(n)，最后，根据第一变化量通过查找表LUT获得更新后的突触权重wi,j(n)。
本发明还提供了一种权重处理装置。
如图5所示，在一个实施例中，该权重处理装置500包括：
目标影响值获取模块501，用于获取目标神经元的历史发放对于目标时刻的目标影响值；
权重变化量确定模块502，用于根据所述目标神经元在所述目标时刻的发放状态和所述目标影响值确定所述目标时刻的权重变化量，其中，所述权重变化量与所述目标影响值和所述发放状态的乘积线性相关；
第一变化量计算模块503，用于计算第一变化量，其中，所述第一变化量为所述权重变化量和历史突触权重之和；
更新模块504，用于根据所述第一变化量确定更新后的突触权重，其中，更新后的突触权重等于所述第一变化量输入目标函数后的输出结果，当所述第一变化量增加时，所述目标函数的输出结果不变或增加，在所述第一变化量大于0的情况下，所述突触权重大于0，当所述第一变化量等于0时，所述突触权重等于0。
在其中一些实施例中，所述更新模块504具体用于：
在根据所述第一变化量在预设查找表中查找相应的突触权重，其中，突触权重的取值范围小于预设权重阈值。
在其中一些实施例中，所述目标函数的自变量取值范围大于或等于0，且所述目标函数为Sigmoid函数、双曲正切函数和hard tanh函数中的一项。
在其中一些实施例中，所述目标神经元包括前继神经元和当前神经元，所述目标影响值包括所述前继神经元对应的第一影响值和所述当前神经元对应的第二影响值。
在其中一些实施例中，所述目标神经元在所述目标时刻的发放状态包括所述前继神经元在所述目标时刻的第一发放状态，以及所述当前神经元在所述目标时刻对应的第二发放状态；
所述权重变化量确定模块502包括：
第一计算子模块，用于计算第一系数、所述第一影响值和所述第一发放状态的第一乘积；
第二计算子模块，用于计算第二系数、所述第二影响值和所述第二发放状态的第二乘积；
确定子模块，用于将所述第一乘积和所述第二乘积之和作为所述目标时刻的权重变化量。
在其中一些实施例中，所述第一系数为非零常数，所述第二系数为非零常数。
在其中一些实施例中，神经网络模型的影响因素包括根据神经网络模型的训练机制确定的训练权重系数；
所述第一变化量计算模块503，具体用于计算所述权重变化量、所述历史突触权重和所述训练权重系数之和作为所述第一变化量。
本实施例的权重处理装置500能够实现上述权重处理方法实施例的各个步骤，并能实现基本相同或相似的技术效果，此处不再赘述。
本公开实施例还提供一种电子设备，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述权重处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本公开实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述权重处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本公开实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种权重处理方法，其特征在于，包括以下步骤：
获取目标神经元的历史发放对于目标时刻的目标影响值；
根据所述目标神经元在所述目标时刻的发放状态和所述目标影响值确定所述目标时刻的权重变化量；
计算第一变化量，其中，所述第一变化量为所述权重变化量和历史突触权重之和；
根据所述第一变化量确定更新后的突触权重，其中，更新后的突触权重等于所述第一变化量输入目标函数后的输出结果，当所述第一变化量增加时，所述目标函数的输出结果不变或增加，在所述第一变化量大于0的情况下，所述突触权重大于0，当所述第一变化量等于0时，所述突触权重等于0；
所述目标神经元为神经形态芯片上的神经元；
所述目标神经元包括前继神经元和当前神经元，所述目标影响值包括所述当前神经元对应的第一影响值和所述前继神经元对应的第二影响值。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一变化量确定更新后的突触权重，包括：
在根据所述第一变化量在预设查找表中查找相应的突触权重，其中，突触权重的取值范围小于预设权重阈值。
3.根据权利要求1所述的方法，其特征在于，所述目标函数为Sigmoid函数、双曲正切函数和hard tanh函数中的一项，且自变量取值范围大于或等于0。
4.根据权利要求1所述的方法，其特征在于，所述目标神经元在所述目标时刻的发放状态包括所述前继神经元在所述目标时刻的第一发放状态，以及所述当前神经元在所述目标时刻对应的第二发放状态；
所述根据所述目标时刻的发放状态和所述目标影响值确定所述目标时刻的权重变化量，包括：
计算第一系数、所述第一影响值和所述第一发放状态的第一乘积；
计算第二系数、所述第二影响值和所述第二发放状态的第二乘积；
将所述第一乘积和所述第二乘积之和作为所述目标时刻的权重变化量。
5.根据权利要求4所述的方法，其特征在于，所述第一系数为非零常数，所述第二系数为非零常数。
6.根据权利要求1所述的方法，其特征在于，神经网络模型的影响因素包括根据神经网络模型的训练机制确定的训练权重系数；
所述计算第一变化量，包括：
计算所述权重变化量、所述历史突触权重和所述训练权重系数之和作为所述第一变化量。
7.一种权重处理装置，其特征在于，包括：
目标影响值获取模块，用于获取目标神经元的历史发放对于目标时刻的目标影响值；
权重变化量确定模块，用于根据所述目标神经元在所述目标时刻的发放状态和所述目标影响值确定所述目标时刻的权重变化量，其中，所述权重变化量与所述目标影响值和所述发放状态的乘积线性相关；
第一变化量计算模块，用于计算第一变化量，其中，所述第一变化量为所述权重变化量和历史突触权重之和；
更新模块，用于根据所述第一变化量确定更新后的突触权重，其中，更新后的突触权重等于所述第一变化量输入目标函数后的输出结果，当所述第一变化量增加时，所述目标函数的输出结果不变或增加，在所述第一变化量大于0的情况下，所述突触权重大于0，当所述第一变化量等于0时，所述突触权重等于0；
所述目标神经元为神经形态芯片上的神经元；
所述目标神经元包括前继神经元和当前神经元，所述目标影响值包括所述当前神经元对应的第一影响值和所述前继神经元对应的第二影响值。
8.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的权重处理方法的步骤。
9.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的权重处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110291618.8A CN113011573B (zh) | 2021-03-18 | 2021-03-18 | 一种权重处理方法及装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110291618.8A CN113011573B (zh) | 2021-03-18 | 2021-03-18 | 一种权重处理方法及装置、电子设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113011573A CN113011573A (zh) | 2021-06-22 |
| CN113011573B true CN113011573B (zh) | 2024-04-16 |
Family
ID=76409740
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110291618.8A Active CN113011573B (zh) | 2021-03-18 | 2021-03-18 | 一种权重处理方法及装置、电子设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113011573B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014031695A1 (en) * | 2012-08-23 | 2014-02-27 | Qualcomm Incorporated | Neural system of adaptive behavior |
| WO2014060001A1 (en) * | 2012-09-13 | 2014-04-24 | FRENKEL, Christina | Multitransmitter model of the neural network with an internal feedback |
| US8990133B1 (en) * | 2012-12-20 | 2015-03-24 | Brain Corporation | Apparatus and methods for state-dependent learning in spiking neuron networks |
| CN106164940A (zh) * | 2014-04-08 | 2016-11-23 | 高通股份有限公司 | 在尖峰神经网络中通过全局标量值来调制可塑性 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8655813B2 (en) * | 2010-12-30 | 2014-02-18 | International Business Machines Corporation | Synaptic weight normalized spiking neuronal networks |
-
2021
- 2021-03-18 CN CN202110291618.8A patent/CN113011573B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014031695A1 (en) * | 2012-08-23 | 2014-02-27 | Qualcomm Incorporated | Neural system of adaptive behavior |
| WO2014060001A1 (en) * | 2012-09-13 | 2014-04-24 | FRENKEL, Christina | Multitransmitter model of the neural network with an internal feedback |
| US8990133B1 (en) * | 2012-12-20 | 2015-03-24 | Brain Corporation | Apparatus and methods for state-dependent learning in spiking neuron networks |
| CN106164940A (zh) * | 2014-04-08 | 2016-11-23 | 高通股份有限公司 | 在尖峰神经网络中通过全局标量值来调制可塑性 |
Non-Patent Citations (1)
| Title |
|---|
| 脉冲神经网络中神经元突触的硬件实现方案;李宏伟;吴庆祥;;计算机系统应用;20140215(02);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113011573A (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Tdsnn: From deep neural networks to deep spike neural networks with temporal-coding | |
| Triesch | Synergies between intrinsic and synaptic plasticity in individual model neurons | |
| Delashmit et al. | Recent developments in multilayer perceptron neural networks | |
| US5893072A (en) | Insurance classification plan loss control system | |
| US5168549A (en) | Inference rule determining method and inference device | |
| EP0327817B1 (en) | Associative pattern conversion system and adaptation method thereof | |
| JP3369213B2 (ja) | ニューロン回路網に用いるプロセッサー及び処理要素 | |
| WO2022148272A1 (zh) | 脉冲神经网络训练方法、数据处理方法、电子设备和介质 | |
| CN112101535B (zh) | 脉冲神经元的信号处理方法及相关装置 | |
| CN113015982B (zh) | 人工神经网络及其训练方法 | |
| CN112529176A (zh) | 一种加速脉冲神经网络的训练方法、终端及存储介质 | |
| KR20190018885A (ko) | 중첩 신경망을 프루닝하는 방법 및 장치 | |
| CN113011573B (zh) | 一种权重处理方法及装置、电子设备和可读存储介质 | |
| CN108958037B (zh) | 小波模糊大脑情感学习控制方法、装置、设备及存储介质 | |
| CN114118378A (zh) | 基于阈值自适应神经元的硬件友好stdp学习方法和系统 | |
| Kurikawa et al. | Repeated sequential learning increases memory capacity via effective decorrelation in a recurrent neural network | |
| Woods | Back and counter propagation aberrations | |
| CN111582461B (zh) | 神经网络训练方法、装置、终端设备和可读存储介质 | |
| Vlasov et al. | Reinforcement learning in a spiking neural network with memristive plasticity | |
| CN113011572B (zh) | 一种轴突变化量确定方法和装置、权重处理方法和装置 | |
| EP0970420B1 (en) | Associative neuron in an artificial neural network | |
| Dadios et al. | Application of neural networks to the flexible pole-cart balancing problem | |
| Chaturvedi | Factors affecting the performance of artificial neural network models | |
| CN118484643A (zh) | 一种坡度自适应预测方法、系统、终端及介质 | |
| Manmohan et al. | Neuro-fuzzy approach for development of new neuron model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |