CN115906952A - 低复杂度的大脑仿真模拟方法、装置、设备及介质 - Google Patents
低复杂度的大脑仿真模拟方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115906952A CN115906952A CN202210987159.1A CN202210987159A CN115906952A CN 115906952 A CN115906952 A CN 115906952A CN 202210987159 A CN202210987159 A CN 202210987159A CN 115906952 A CN115906952 A CN 115906952A
- Authority
- CN
- China
- Prior art keywords
- synapse
- matrix
- neuron
- low
- synaptic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 78
- 210000004556 brain Anatomy 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 61
- 210000000225 synapse Anatomy 0.000 claims abstract description 182
- 239000011159 matrix material Substances 0.000 claims abstract description 152
- 210000002569 neuron Anatomy 0.000 claims abstract description 133
- 238000013528 artificial neural network Methods 0.000 claims abstract description 31
- 230000000946 synaptic effect Effects 0.000 claims description 54
- 230000001242 postsynaptic effect Effects 0.000 claims description 42
- 210000005215 presynaptic neuron Anatomy 0.000 claims description 36
- 239000012528 membrane Substances 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 13
- 238000000354 decomposition reaction Methods 0.000 claims description 13
- 238000012421 spiking Methods 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000010304 firing Methods 0.000 claims description 5
- 102000004108 Neurotransmitter Receptors Human genes 0.000 claims description 3
- 108090000590 Neurotransmitter Receptors Proteins 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000003111 delayed effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002858 neurotransmitter agent Substances 0.000 description 1
- 230000003518 presynaptic effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及计算机领域，提供一种低复杂度的大脑仿真模拟方法、装置、设备及介质，该方法包括：将待建模的脉冲神经网络拆分为多个神经元群；构建各个神经元群中任意两个神经元群之间的各个突触，其中，各个突触设有相同的时间延迟；确定经过时间延迟后各个突触的突触变量；将各个突触的权重矩阵低秩近似为多个小矩阵的乘积；根据各个神经元群、各个突触、每个突触变量及其对应的多个小矩阵进行大脑仿真模拟。本发明实施例提供的低复杂度的大脑仿真模拟方法显著地降低了突触的计算复杂度，从而降低了大脑仿真模拟的复杂度。
Description
技术领域
本发明涉及计算机领域，尤其涉及一种低复杂度的大脑仿真模拟方法、装置、设备及介质。
背景技术
在典型的脉冲神经网络中，若使用N个神经元，则网络中会有pN2个突触，p为神经元之间的连接概率。
因此，基于当前的脉冲神经网络模拟方法，大脑动力学仿真的计算复杂度和内存需求随着神经元数目的增长呈现O(n2)平方增长。O(n2)平方增长的复杂度使得在单个通用计算设备上难以处理十万神经元量级的网络仿真模拟。若需要处理百万量级神经元模拟，则需要借助超级计算机集群才能进行。理论上，若需要模拟人脑神经元数目的动力学模型，平方增长的复杂度使得全世界的超级计算机加起来都无法进行全脑仿真模拟。
发明内容
本发明提供一种低基于复杂度的大脑仿真模拟方法、装置、设备及介质，旨在将大脑仿真模拟的O(n2)复杂度降低为O(n)。
第一方面，本发明提供一种低复杂度的大脑仿真模拟方法，包括：
将待建模的脉冲神经网络拆分为多个神经元群；
构建各个所述神经元群中任意两个神经元群之间的各个突触，其中，各个所述突触设有相同的时间延迟；
确定经过所述时间延迟后各个所述突触的突触变量；
将各个所述突触的权重矩阵低秩近似为多个小矩阵的乘积；
根据各个所述神经元群、各个所述突触、每个突触变量及其对应的多个小矩阵进行大脑仿真模拟。
在一个实施例中，所述将各个所述突触的权重矩阵低秩近似为多个小矩阵的乘积，包括：
若权重矩阵中的权重连接信息异质且已知，则通过矩阵降维方法或矩阵分解方法将每个权重矩阵低秩近似为其对应的一个第一矩阵和一个第二矩阵的乘积。
所述将各个所述突触的权重矩阵低秩近似为多个小矩阵的乘积，包括：
若权重矩阵中的权重连接信息异质且未知，则随机生成一个第三矩阵和一个第四矩阵，其中，所述第三矩阵和第四矩阵的统计性质与不采用近似下的权重矩阵的统计性质相同；
将每个权重矩阵低秩近似为其对应的一个所述第三矩阵和一个所述第四矩阵的乘积。
所述突触变量的数量与突触前神经元群中神经元的数量一致，其中，所述突触前神经元群为多个神经元群中的任意一个神经元群。
所述确定经过所述时间延迟后各个所述突触的突触变量之后，还包括：
若各个所述权重矩阵中的权重连接同质，则将连接权重设置为一个标量。
所述将待建模的脉冲神经网络拆分为多个神经元群是基于预设规则进行拆分的；所述预设规则包括：
所述第一规则为各个所述突触前神经元群内的神经元具有相同的发放模式；
或/和，所述第二规则为各个所述突触前神经元群内的神经元具有相同的神经递质受体；
或/和，所述第三规则为各个所述突触前神经元群内的神经元具有相同的投射源；
或/和，所述第四规则为各个所述突触前神经元群内的神经元之间的最大物理距离不超过预设距离阈值。
所述根据各个所述神经元群、各个所述突触、每个突触变量及其对应的多个小矩阵进行大脑仿真模拟，包括：
在每一时刻，根据延迟后的突触前神经元状态更新每一个突触的状态变量；
将每个突触的状态变量和每个突触对应的标量权重或多个小矩阵权重进行相乘，计算出每个突触的突触电导；
通过电流生成函数将每个突触的突触电导生成为作用在突触后膜的电流；
将计算出的突触后膜电流累加到突触后膜上；
遍历所有神经元群，更新每个神经元群的状态变量。
第二方面，本发明提供一种低复杂度的大脑仿真模拟装置包括：
拆分模块，用于将待建模的脉冲神经网络拆分为多个神经元群；
构建模块，用于构建各个所述神经元群中任意两个神经元群之间的各个突触，其中，各个所述突触设有相同的时间延迟；
确定模块，用于确定经过所述时间延迟后各个所述突触的突触变量；
低秩近似模块，用于将各个所述突触的权重矩阵低秩近似为多个小矩阵的乘积；
仿真模拟模块，用于根据各个所述神经元群、各个所述突触、每个突触变量及其对应的多个小矩阵进行大脑仿真模拟。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述低复杂度的大脑仿真模拟方法。
第四方面，本发明还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括计算机程序，所述计算机程序被所述处理器执行时实现第一方面所述低复杂度的大脑仿真模拟方法。
第五方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被所述处理器执行时实现第一方面所述低复杂度的大脑仿真模拟方法。
本发明提供的低复杂度的大脑仿真模拟方法、装置、设备及介质，将待建模的脉冲神经网络拆分为多个神经元群；构建各个神经元群中任意两个神经元群之间的各个突触，其中，各个突触设有相同的时间延迟；确定经过时间延迟后各个突触的突触变量；将各个突触的权重矩阵低秩近似为多个小矩阵的乘积；根据各个神经元群、各个突触、每个突触变量及其对应的多个小矩阵进行大脑仿真模拟。
本发明在大脑仿真模拟过程中，将一个具有N个神经元的脉冲神经网络拆分为多个神经元群，只需要存储和计算N个突触变量，同时，只需要对m*N个突触权重进行存储，其中m是秩的大小。相对于传统的神经动力学的建模方法，对于神经元数目为N的网络，需要对N2个突触变量进行存储和计算，并对N2个突触权重进行存储和计算。进一步可以理解为，本发明提供的低复杂度的大脑仿真模拟方法有效地将大脑动力学仿真模拟从O(n2)平方复杂度降低为O(n)线性复杂度，显著地降低了突触的计算复杂度和计算设备的内存需求，从而降低了大脑仿真模拟的模拟复杂度。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的低复杂度的大脑仿真模拟方法的流程图；
图2是本发明提供的突触计算流程图；
图3是本发明提供的低复杂度的大脑仿真模拟装置的结构图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了描述上的简洁和直观，下文通过描述若干代表性的实施方式来对本发明的方案进行阐述。实施方式中大量的细节仅用于帮助理解本发明的方案。但是很明显，本发明的技术方案实现时可以不局限于这些细节。为了避免不必要地模糊了本发明的方案，一些实施方式没有进行细致地描述，而是仅给出了框架。下文中，“包括”是指“包括但不限于”，“根据……”是指“至少根据……，但不限于仅根据……”。由于汉语的语言习惯，下文中没有特别指出一个成分的数量时，意味着该成分可以是一个也可以是多个，或可理解为至少一个。
进一步地，结合图1至图4描述本发明提供的低复杂度的大脑仿真模拟方法、装置、设备及介质。图1是本发明提供的低复杂度的大脑仿真模拟方法的流程图；图2是本发明提供的突触计算流程图；图3是本发明提供的低复杂度的大脑仿真模拟装置的结构图；图4是本发明提供的电子设备的结构示意图。
本发明实施例提供了低复杂度的大脑仿真模拟方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些数据下，可以以不同于此处的顺序完成所示出或描述的步骤。
本发明实施例以电子设备作为执行主体进行举例，本发明实施例以大脑仿真模拟系统作为电子设备的表现形式之一，并不进行限制。
参照图1，图1是本发明提供的低复杂度的大脑仿真模拟方法的流程图。本发明实施例提供的低复杂度的大脑仿真模拟方法包括：
步骤101，将待建模的脉冲神经网络拆分为多个神经元群。
需要说明的是，本发明实施例中的待建模的脉冲神经网络即为建模对象，待建模的脉冲神经网络为一个大规模的脉冲神经网络，即待建模的脉冲神经网络中存在多个神经元.因此，首先需要将待建模的脉冲神经网络进行拆分为多个小神经元群，得到多个神经元群，可以理解为，每一个神经元群中包括多个神经元。
进一步可以理解为，在对待建模的脉冲神经网络进行拆分时，需要涉及到神经网络的拆分规则，在一实施例中，拆分规则可为各个神经元群内的神经元具有相同的发放模式，因此可以理解为，在对待建模的脉冲神经网络进行拆分时，将具有相同的发放模式的神经元分类在同一个神经元群。
步骤102，构建各个所述神经元群中任意两个神经元群之间的各个突触，其中，各个所述突触设有相同的时间延迟；
步骤103，确定经过所述时间延迟后各个所述突触的突触变量。
进一步地，构建各个神经元群中任意两个神经元群之间的各个突触，需要说明的是，在构建突触后，神经元群即可被分为Ni个突触前神经元群和Nj个突触后神经元群，其中，一个突触前神经元群中包括多个突触前神经元，一个突触后神经元群中包括多个突触后神经元，突触前神经元即突触前面的神经元，突触后神经元即突触后面的神经元，突触是指一个神经元的冲动传到另一个神经元或传到另一细胞间的相互接触的结构。
同时，需要设置各个突触前神经元群向多个突触后神经元群发出神经递质信号的时间延迟都相同，即为时间延迟为td毫秒。
进一步地，确定经过时间延迟后各个所述突触的突触变量，具体为：确定第i个突触前神经元群与第j个突触后神经元群之间的突触连接状态经过时间td延迟后的第i个突触前神经元群的脉冲状态第i个突触前神经元群与第j个神经元群之间的突触动力学hij，每个突触的动力学方程：
步骤104，将各个所述突触的权重矩阵低秩近似为多个小矩阵的乘积。
步骤105，根据各个所述神经元群、各个所述突触、每个突触变量及其对应的多个小矩阵进行大脑仿真模拟。
若各个突触的突触权重为权重矩阵，则将各个突触的权重矩阵低秩近似为多个小矩阵的乘积，其中，小矩阵可以理解为一种低秩矩阵，因此可以理解为，若各个突触的突触权重为权重矩阵，则将各个突触的权重矩阵低秩近似为多个低秩矩阵的乘积。
进一步地，将各个突触变量与多个低秩矩阵进行相乘，得到各个突触的突触电导。
进一步地，通过突触作用在突触后膜的电流生成函数对各个突触的突触电导进行处理，生成各个突触作用在突触后膜的电流。
进一步地，通过各个突触作用在突触后膜的电流与各个突触后神经元群实现大脑仿真模拟。
本发明提供的低复杂度的大脑仿真模拟方法，将待建模的脉冲神经网络拆分为多个神经元群；构建各个神经元群中任意两个神经元群之间的各个突触，其中，各个突触设有相同的时间延迟；确定经过时间延迟后各个突触的突触变量；将各个突触的权重矩阵低秩近似为多个小矩阵的乘积；根据各个神经元群、各个突触、每个突触变量及其对应的多个小矩阵进行大脑仿真模拟。
本发明在大脑仿真模拟过程中，将一个具有N个神经元的脉冲神经网络拆分为多个神经元群，只需要存储和计算N个突触变量，同时，只需要对m*N个突触权重进行存储，其中m是秩的大小。相对于传统的神经动力学的建模方法，对于神经元数目为N的网络，需要对N2个突触变量进行存储和计算，并对N2个突触权重进行存储和计算。进一步可以理解为，本发明提供的低复杂度的大脑仿真模拟方法有效地将大脑动力学仿真模拟从O(n2)平方复杂度降低为O(n)线性复杂度，显著地降低了突触的计算复杂度和计算设备的内存需求，从而降低了大脑仿真模拟的模拟复杂度。
进一步地，步骤101所记载的将待建模的脉冲神经网络拆分为多个神经元群是基于预设规则进行拆分的，可理解为，通过预设规则将待建模的脉冲神经网络中具有相同性质的神经元进行分类，得到多个神经元群。
具体为，根据预设规则将待建模的脉冲神经网络拆分，得到多个神经元群，其中，待建模的脉冲神经网络拆分时，预设规则需要符合以下第一规则、第二规则、第三规则和第四规则。
第一规则为各个神经元群内的神经元具有相同的发放模式。第二规则为各个神经元群内的神经元具有相同的神经递质受体。第三规则为各个神经元群内的神经元具有相同的投射源。第四规则为各个神经元群内的神经元之间的最大物理距离不超过预设距离阈值，其中，预设距离阈值根据实际情况设定，在本发明实施例中，如设定预设距离阈值为0.56毫米，即第四规则为各个神经元群内的神经元之间的最大物理距离不超过0.56毫米，也即第四规则为各个神经元群的的最大面积为1平方毫米。
也就是说，本发明实施例通过第一规则、第二规则、第三规则和第四规则将待建模的脉冲神经网络拆分，得到多个神经元群。
进一步地，每个突触前神经元群中具有Ni个神经元，因此，根据需要设置其动力学方程为：
其中，将第i个突触前神经元群的状态建模为向量fi为第i个突触前神经元群的演化方程，为第i个突触前神经元群的脉冲发放状态，为第i个突触前神经元群接收到的输入，t为时间。
本发明实施例通过预设规则的第一规则、第二规则、第三规则和第四规则将脉冲神经网络进行拆分，准确地将具有相同性质的神经元分类到各个神经元群。
进一步地，步骤105所记载的根据每个突触变量及其对应的多个低秩矩阵进行大脑仿真模拟时，根据需要设置每个突触作用在突触后膜的电流方程：
其中，向量为第i个突触前神经元群与第j个突触后神经元群之间的突触的连接状态，为经过时间延迟td后的第i个突触前神经元群的脉冲状态，hij为第i个突触前神经元群与第j个突触后神经元群之间的突触动力学，oij为突触作用在突触后膜的电流生成函数，为突触后膜神经元的电导。
进一步地，步骤104所记载的将各个所述突触的权重矩阵低秩近似为多个小矩阵的乘积，具体可以分为两种情况讨论。
第一种情况为权重矩阵中的权重连接信息异质且已知，第二种情况是权重连接信息异质且未知，即权重矩阵只有权重连接，没有权重连接之间的连接信息。
对于第一种情况，即权重连接信息异质且已知，具体为：
若权重矩阵中的权重连接信息异质且已知，则通过矩阵降维方法或矩阵分解方法将每个权重矩阵低秩近似为其对应的一个第一矩阵和一个第二矩阵的乘积。
对于各个权重矩阵Wij中的权重连接信息异质且已知，则通过矩阵降维方法和矩阵分解方法直接将每个权重矩阵低秩近似为其对应的一个第一矩阵和一个第二矩阵的乘积，其中，第一矩阵和第二矩阵可以为一种低秩矩阵。因此，可以理解为，对于各个权重矩阵Wij中的权重连接信息异质且已知，则通过矩阵降维方法和矩阵分解方法直接将每个权重矩阵低秩近似为其对应的一个第一低秩矩阵U和一个第二低秩矩阵V的乘积，即将突触权重Wij低秩近似为UV，也即Wij≈UV。其中，m是秩的大小，根据经验和需要进行设定，一般m远小于Ni和Nj，Ni为第i个突触前神经元群中神经元的数目，Nj为第j个突触后神经元群中神经元的数目，即可以表达为：
需要说明的是，矩阵降维方法包括但不限制于奇异值分解方法(Singular ValueDecomposition)、随机投影方法(Random Projection)、主成分分析方法(PrincipalComponent Analysis)、非负矩阵分解方法(Nonnegative Matrix Factorization)、等度量映射方法(Isomap)和局部线性嵌入方法(LLE)；矩阵分解方法包括矩阵分解方法。
本发明实施例确定权重连接信息异质且已知时，通过矩阵降维方法或矩阵分解方法直接将各个权重矩阵低秩近似为一个第一低秩矩阵和一个第二低秩矩阵的乘积，为准确地计算出各个突触的突触电导提供数据基础。
对于第二种情况，即权重连接信息异质且未知，具体为：
若权重矩阵中的权重连接信息异质且未知，则随机生成一个第三矩阵和一个第四矩阵，其中，所述第三矩阵和第四矩阵的统计性质与不采用近似下的权重矩阵的统计性质相同；
将每个权重矩阵低秩近似为其对应的一个所述第三矩阵和一个所述第四矩阵的乘积。
对于各个突触权重中的权重连接信息异质且未知，则随机生成统计性质与各个突触的原始矩阵Wij的统计性质相同的一个第三矩阵和一个第四矩阵，也即第三矩阵和第四矩阵的统计性质与不采用近似下的权重矩阵的统计性质相同，其中，第三矩阵和第四矩阵可以为一种低秩矩阵。因此，可以理解为，对于各个突触权重中的权重连接信息异质且未知，则随机生成统计性质与各个突触的原始矩阵Wij的统计性质相同的一个第三低秩矩阵U和一个第四低秩矩阵V，即各个第三低秩矩阵的统计性质和各个第四低秩矩阵的统计性质，与各个突触的原始矩阵的统计性质相同。
进一步地，将每个权重矩阵低秩近似为其对应的一个第三低秩矩阵和一个第四低秩矩阵的乘积。
在一实施例中，如原矩阵Wij服从高斯分布N(μ,σ2)，则可以通过生成服从高斯分布的第三低秩矩阵U和服从[0,1]均值分布的第四低秩矩阵V，使得第三低秩矩阵U和第四低秩矩阵V低秩近似后的矩阵UV也服从高斯分布N(μ,σ2)
本发明实施例确定权重矩阵中的权重连接信息异质且未知时，随机生成统计性质与各个突触的原始矩阵的统计性质相同的一个第三低秩矩阵和一个第四低秩矩阵的乘积，为准确地计算出各个突触的突触电导提供数据基础。
进一步地，步骤103所记载的确定经过所述时间延迟后各个所述突触的突触变量之后，还需要对各个突触的突触权重不是权重矩阵的情况进行讨论，具体描述如下：
若各个所述权重矩阵中的权重连接同质，则将连接权重设置为一个标量。
当第i个突触前神经元群与第j个突触后神经元群之间的突触强度Wij是同质，即各个突触的突触权重为标量时，则通过预设公式结合各个突触的突触权重和连接状态，以及各个突触的连接状态的任一个元素，计算各个突触的突触电导，预设公式为：
得到t时刻第i个突触前神经元群作用到第j个突触后神经元群的电导gij∈R，其中，R为突触变量，k为突触状态的第k个元素。
进一步地，根据每个突触作用在突触后膜的电流方程：
对每个突触的突触电导进行处理，生成每个突触作用在突触后膜的电流，以完成大脑仿真模拟
本发明实施例在各个突触的突触权重为标量时，通过预设公式结合各个突触的突触权重和连接状态，以及连接状态的任一个元素准确地计算出各个突触的突触电导，从而保证了大脑仿真模拟的准确性。
需要说明的是，在实际计算时，各个突触前神经元群与多个突触后神经元群中任意两个神经元群之间的突触的突触变量数目设置为与第i个突触前神经元群中神经元数目Ni一致，即突触变量的数量与第i个突触前神经元群中神经元的数量一致，从而可以根据延迟后的突触前神经元群的状态一对一更新突触的状态
进一步地，步骤105记载的根据各个所述神经元群、各个所述突触、每个突触变量及其对应的多个小矩阵进行大脑仿真模拟具体为：
在每一时刻，根据延迟后的突触前神经元状态更新每一个突触的状态变量；
将每个突触的状态变量和每个突触对应的标量权重或多个小矩阵权重进行相乘，计算出每个突触的突触电导；
通过电流生成函数将每个突触的突触电导生成为作用在突触后膜的电流；
将计算出的突触后膜电流累加到突触后膜上；
遍历所有神经元群，更新每个神经元群的状态变量。
当第i个突触前神经元群与第j个突触后神经元群之间的突触强度是异质，即各个突触的突触权重为矩阵时，则将各个权重矩阵低秩近似为多个低秩矩阵的乘积，即通过多个低秩矩阵对各个突触的突触权重进行低秩近似。进一步地，根据每个突触的连接状态和每个突触对应的多个低秩矩阵，计算每个突触的突触电导。
根据各个突触的连接状态结合各个第一低秩矩阵U和各个第二低秩矩阵V，计算各个突触的突触电导，具体公式可以表示为进一步地，根据更新第i个突触前神经元群作用到第j个突触后神经元群的电导
进一步地，根据每个突触作用在突触后膜的电流方程：
对每个突触的突触电导进行处理，生成每个突触作用在突触后膜的电流，以完成大脑仿真模拟。
本发明实施例在各个突触的突触权重为权重矩阵时，通过各个突触的连接状态和多个所述低秩矩阵准确地计算出各个突触的突触电导，从而保证了大脑仿真模拟的准确性。
在一实施例中，参照图2，图2是本发明提供的突触计算流程图，可理解为：经过时间延迟td后，得到各个突触变量进一步地，将各个突触变量与各个突触的突触权重进行相乘，即得到各个突触的突触电导
进一步地，通过突触作用在突触后膜的电流生成函数对各个突触的突触电导进行处理，即生成各个突触作用在突触后膜的电流。最后，通过各个突触作用在突触后膜的电流与各个突触后神经元群实现大脑仿真模拟。
进一步地，本发明提供的低复杂度的大脑仿真模拟装置与本发明提供的低复杂度的大脑仿真模拟方法互对应参照。
图3所示，图3是本发明提供的低复杂度的大脑仿真模拟装置的结构图，低复杂度的大脑仿真模拟装置包括：
拆分模块301，用于将待建模的脉冲神经网络拆分为多个神经元群；
构建模块302，用于构建各个所述神经元群中任意两个神经元群之间的各个突触，其中，各个所述突触设有相同的时间延迟；
确定模块303，用于确定经过所述时间延迟后各个所述突触的突触变量；
低秩近似模块304，用于将各个所述突触的权重矩阵低秩近似为多个小矩阵的乘积；
仿真模拟模块305，用于根据各个所述神经元群、各个所述突触、每个突触变量及其对应的多个小矩阵进行大脑仿真模拟。
进一步地，低秩近似模块304还用于：
若权重矩阵中的权重连接信息异质且已知，则通过矩阵降维方法或矩阵分解方法将每个权重矩阵低秩近似为其对应的一个第一矩阵和一个第二矩阵的乘积。
进一步地，低秩近似模块304还用于：
若权重矩阵中的权重连接信息异质且未知，则随机生成一个第三矩阵和一个第四矩阵，其中，所述第三矩阵和第四矩阵的统计性质与不采用近似下的权重矩阵的统计性质相同；
将每个权重矩阵低秩近似为其对应的一个所述第三矩阵和一个所述第四矩阵的乘积。
进一步地，仿真模拟模块305还用于：
在每一时刻，根据延迟后的突触前神经元状态更新每一个突触的状态变量；
将每个突触的状态变量和每个突触对应的标量权重或多个小矩阵权重进行相乘，计算出每个突触的突触电导；
通过电流生成函数将每个突触的突触电导生成为作用在突触后膜的电流；
将计算出的突触后膜电流累加到突触后膜上；
遍历所有神经元群，更新每个神经元群的状态变量。
本发明提供的低复杂度的大脑仿真模拟装置的具体实施例与上述低复杂度的大脑仿真模拟方法各实施例基本相同，在此不作赘述。
图4示例了一种电子设备的实体结构示意图，如图4所示，电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行低复杂度的大脑仿真模拟方法，该方法包括：
将待建模的脉冲神经网络拆分为多个神经元群；
构建各个所述神经元群中任意两个神经元群之间的各个突触，其中，各个所述突触设有相同的时间延迟；
确定经过所述时间延迟后各个所述突触的突触变量；
将各个所述突触的权重矩阵低秩近似为多个小矩阵的乘积；
根据各个所述神经元群、各个所述突触、每个突触变量及其对应的多个小矩阵进行大脑仿真模拟。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的低复杂度的大脑仿真模拟方法，该方法包括：
将待建模的脉冲神经网络拆分为多个神经元群；
构建各个所述神经元群中任意两个神经元群之间的各个突触，其中，各个所述突触设有相同的时间延迟；
确定经过所述时间延迟后各个所述突触的突触变量；
将各个所述突触的权重矩阵低秩近似为多个小矩阵的乘积；
根据各个所述神经元群、各个所述突触、每个突触变量及其对应的多个小矩阵进行大脑仿真模拟。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的低复杂度的大脑仿真模拟方法，该方法包括：
将待建模的脉冲神经网络拆分为多个神经元群；
构建各个所述神经元群中任意两个神经元群之间的各个突触，其中，各个所述突触设有相同的时间延迟；
确定经过所述时间延迟后各个所述突触的突触变量；
将各个所述突触的权重矩阵低秩近似为多个小矩阵的乘积；
根据各个所述神经元群、各个所述突触、每个突触变量及其对应的多个小矩阵进行大脑仿真模拟；
根据每个突触变量及其对应的多个低秩矩阵进行大脑仿真模拟。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种低复杂度的大脑仿真模拟方法，其特征在于，包括：
将待建模的脉冲神经网络拆分为多个神经元群；
构建各个所述神经元群中任意两个神经元群之间的各个突触，其中，各个所述突触设有相同的时间延迟；
确定经过所述时间延迟后各个所述突触的突触变量；
将各个所述突触的权重矩阵低秩近似为多个小矩阵的乘积；
根据各个所述神经元群、各个所述突触、每个突触变量及其对应的多个小矩阵进行大脑仿真模拟。
2.根据权利要求1所述的低复杂度的大脑仿真模拟方法，其特征在于，所述将各个所述突触的权重矩阵低秩近似为多个小矩阵的乘积，包括：
若权重矩阵中的权重连接信息异质且已知，则通过矩阵降维方法或矩阵分解方法将每个权重矩阵低秩近似为其对应的一个第一矩阵和一个第二矩阵的乘积。
3.根据权利要求1所述的低复杂度的大脑仿真模拟方法，其特征在于，所述将各个所述突触的权重矩阵低秩近似为多个小矩阵的乘积，包括：
若权重矩阵中的权重连接信息异质且未知，则随机生成一个第三矩阵和一个第四矩阵，其中，所述第三矩阵和第四矩阵的统计性质与不采用近似下的权重矩阵的统计性质相同；
将每个权重矩阵低秩近似为其对应的一个所述第三矩阵和一个所述第四矩阵的乘积。
4.根据权利要求1所述的低复杂度的大脑仿真模拟方法，其特征在于，所述突触变量的数量与突触前神经元群中神经元的数量一致，其中，突触前神经元群为多个神经元群中的任意一个神经元群。
5.根据权利要求1至4任一项所述的低复杂度的大脑仿真模拟方法，其特征在于，所述确定经过所述时间延迟后各个所述突触的突触变量之后，还包括：
若各个所述权重矩阵中的权重连接同质，则将连接权重设置为一个标量。
6.根据权利要求1所述的低复杂度的大脑仿真模拟方法，其特征在于，所述将待建模的脉冲神经网络拆分为多个神经元群是基于预设规则进行拆分的；所述预设规则包括：
所述第一规则为各个所述突触前神经元群内的神经元具有相同的发放模式；
或/和，所述第二规则为各个所述突触前神经元群内的神经元具有相同的神经递质受体；
或/和，所述第三规则为各个所述突触前神经元群内的神经元具有相同的投射源；
或/和，所述第四规则为各个所述突触前神经元群内的神经元之间的最大物理距离不超过预设距离阈值。
7.根据权利要求1所述的低复杂度的大脑仿真模拟方法，其特征在于，所述根据各个所述神经元群、各个所述突触、每个突触变量及其对应的多个小矩阵进行大脑仿真模拟，包括：
在每一时刻，根据延迟后的突触前神经元状态更新每一个突触的状态变量；
将每个突触的状态变量和每个突触对应的标量权重或多个小矩阵权重进行相乘，计算出每个突触的突触电导；
通过电流生成函数将每个突触的突触电导生成为作用在突触后膜的电流；
将计算出的突触后膜电流累加到突触后膜上；
遍历所有神经元群，更新每个神经元群的状态变量。
8.一种低复杂度的大脑仿真模拟装置，其特征在于，包括：
拆分模块，用于将待建模的脉冲神经网络拆分为多个神经元群；
构建模块，用于构建各个所述神经元群中任意两个神经元群之间的各个突触，其中，各个所述突触设有相同的时间延迟；
确定模块，用于确定经过所述时间延迟后各个所述突触的突触变量；
低秩近似模块，用于将各个所述突触的权重矩阵低秩近似为多个小矩阵的乘积；
仿真模拟模块，用于根据各个所述神经元群、各个所述突触、每个突触变量及其对应的多个小矩阵进行大脑仿真模拟。
9.一种电子设备，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的低复杂度的大脑仿真模拟方法。
10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的低复杂度的大脑仿真模拟方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210987159.1A CN115906952A (zh) | 2022-08-17 | 2022-08-17 | 低复杂度的大脑仿真模拟方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210987159.1A CN115906952A (zh) | 2022-08-17 | 2022-08-17 | 低复杂度的大脑仿真模拟方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115906952A true CN115906952A (zh) | 2023-04-04 |
Family
ID=86476755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210987159.1A Pending CN115906952A (zh) | 2022-08-17 | 2022-08-17 | 低复杂度的大脑仿真模拟方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115906952A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117540783A (zh) * | 2024-01-09 | 2024-02-09 | 之江实验室 | 仿真脑活动数据的生成方法、装置、电子装置和存储介质 |
-
2022
- 2022-08-17 CN CN202210987159.1A patent/CN115906952A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117540783A (zh) * | 2024-01-09 | 2024-02-09 | 之江实验室 | 仿真脑活动数据的生成方法、装置、电子装置和存储介质 |
| CN117540783B (zh) * | 2024-01-09 | 2024-05-28 | 之江实验室 | 仿真脑活动数据的生成方法、装置、电子装置和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11238343B2 (en) | Scalable neural hardware for the noisy-OR model of Bayesian networks | |
| JP6092477B2 (ja) | ニューラルダイナミクスを修正するための自動化された方法 | |
| KR20180045635A (ko) | 뉴럴 네트워크 간소화 방법 및 장치 | |
| KR20170031695A (ko) | 신경망들에서의 콘볼루션 동작의 분해 | |
| CN113408743A (zh) | 联邦模型的生成方法、装置、电子设备和存储介质 | |
| EP3097516A1 (en) | Configuring neural network for low spiking rate | |
| Davies et al. | A forecast-based STDP rule suitable for neuromorphic implementation | |
| US10832121B2 (en) | Transform for a neurosynaptic core circuit | |
| Probst et al. | Probabilistic inference in discrete spaces can be implemented into networks of LIF neurons | |
| CN114490065A (zh) | 一种负载预测方法、装置及设备 | |
| CN115906952A (zh) | 低复杂度的大脑仿真模拟方法、装置、设备及介质 | |
| CN111382840B (zh) | 一种面向自然语言处理的基于循环学习单元的htm设计方法 | |
| CN113723603A (zh) | 一种更新参数的方法、装置及存储介质 | |
| JP6219509B2 (ja) | シナプス遅延を動的に割り当てることおおよび検査すること | |
| JP2016537711A (ja) | スパイキングニューロンのネットワークにおける輻輳回避 | |
| Rotermund et al. | Massively parallel fpga hardware for spike-by-spike networks | |
| CN116820762A (zh) | 一种基于电力边缘芯片的边云协同计算方法 | |
| Dutt et al. | Hand written character recognition using artificial neural network | |
| CN109635942A (zh) | 一种仿脑兴奋态和抑制态工作状态神经网络电路结构及方法 | |
| Léveillé et al. | Learning in a distributed software architecture for large-scale neural modeling | |
| US20150213356A1 (en) | Method for converting values into spikes | |
| CN114004353A (zh) | 减少光器件数量的光神经网络芯片构建方法及系统 | |
| Kazawa et al. | Adapting cma-es for the massively parallelized simulation of neurons and neural circuits | |
| Lacko | From perceptrons to deep neural networks | |
| Thiruvarudchelvan et al. | Towards realtime stance classification by spiking neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |