CN104854602A - 根据突触前神经元的激发生成消息 - Google Patents

Abstract

一种神经网络部分，包括N个突触前神经元，每个突触前神经元均能够激发动作电位，其中数量N可以被编码在n位的字中；一旦在预定的时间段内对F个突触前神经元激发，则该神经网络提供：如果F·n<N，则生成第一类型的消息，包括已在预定时间段内激发的每个突触前神经元的唯一地址，每个地址被编码为n位的字；并且如果F·n>N，则生成第二类型的消息，包括N位，并被编码在n位的字中，所述N个突触前神经元中的每一个由唯一的位表示，如果由位表示的突触前神经元在所述预定时间段内激发，则该位具有第一值，否则具有第二值。

Description

根据突触前神经元的激发生成消息

有关联邦资助研究或开发的声明

本发明是在美国政府的支持下，基于国防高级研究计划局(DARPA)授权的授权号为HR0011-09-C-0001(SyNAPSE)而作出的。美国政府享有本发明的一定权利。

相关申请

本申请涉及并要求2012年12月3日提交的美国临时专利申请No.61/732,621和2013年12月2日提交的美国非临时专利申请No.14/094,589的优先权，在此通过引用将其全部内容并入本文。

技术领域

本技术一般涉及神经网络，尤其涉及在神经网络中有效地传输神经元激发信息。更具体地，本技术公开了一种在大型神经网络模型中的激发率独立(firing rate independent)的尖峰消息传输。

背景技术

当前计算和软件范例已经严重地阻碍了可以在合理的时间范围内模拟生物的真实可伸缩神经元模型。

对例如神经系统之类的神经网络的模拟中有两个主要的步骤：在网络或系统的各个部分中逐渐增加对控制方程的求解；以及将结果发送给网络或系统的其他部分。

现有以下一个或多个示例性系统：M.Mahowald发表在California Inst.Technol.,Pasadena,CA,1992的博士论文"VLSIanalogs of neuronal visual processing:A synthesis of form andfunction"；K.Boahen发表在IEEE电路与系统学报I(IEEETransactions on Circuits and Systems I),vol.51,no.7,pp.1269-80,2004的"A burst-mode word-serial address-event link-I:transmitter design"；K.Boahen发表在IEEE电路与系统学报I,vol.51,no.7,pp.1281-91,2004的"A burst-mode word-serialaddress-event link-II:receiver design"；K.Boahen发表在IEEE电路与系统学报II(IEEE Transactions on Circuits and SystemsII),vol.47,no.5,pp.416-34,2000的"Point-to-pointconnectivity between neuromorphic chips using address events"；Javier Navaridas、Mikel Luján、Jose Miguel-Alonso、Luis A.Plana和Steve Furber于2009年在第23届国际超级计算会议学报(Proceedings of the 23rd international conference onSupercomputing(ICS'09))ACM,New York,NY,USA,286-295发表的Understanding the interconnection network of SpiNNaker；M.D.Humphries、R.D.Stewart和K.N.Gurney发表在神经系统学期刊(The Journal of Neuroscience),vol.26,no.50,pp.12921-12942,2006的"A physiologically plausible model ofaction selection and oscillatory activity in the basal ganglia"；C.M.Thibeault、R.Hoang和F.C.Harris Jr.于2011年3月在ISCA第3届生物信息学和计算机生物学国际会议)(ISCA's 3rdInternational Conference on Bioinformatics and ComputationalBiology(BICoB'11)),New Orleans,Louisiana发表的"A novelmulti-gpu neural simulator"(。

对大型神经网络的模拟进行分布已经为人熟知。随后通过独立的计算机或节点并行模拟模型的不同部分。在每次迭代时对神经元模型进行整合，并将尖峰信息发送给与那些激发的神经元连接的所有神经元。

理想地，在并行模拟尖峰神经网络时，数学整合和突触计算的计算成本与在节点(集群中的单个计算机)间发送信息的成本是平衡的。以前，传输时间大大地低于计算时间。在引入诸如通用图形处理单元(GPGPU)和专用神经元硬件系统之类的高性能体系结构后，这不再是问题。然而，发送尖峰信息的方式却没有改变。

已知的硬件和软件模拟环境利用了地址事件表达的变型(例如参见上文提到的Boahen于2000年发表的参考文献)。这种地址事件表达的最简单的形式是，在神经元激发动作电位时，该神经元的唯一ID号被发送给含有连接到被激发的该神经元的突触后神经元的所有节点。可以收集当前迭代过程中激发的所有神经元的地址，并作为单个分组发送给所有连接的节点。

然而，由于激发的神经元数量的增加，地址分组的大小也相应地增加。这种情况下，传输所花的时间与激发的神经元的数量直接相关。同样，随着计算节点的数量增加，需要发送的分组的数量也随之增加。在某些情况下，对于基于软件和硬件的系统而言，这会阻碍扩大到期望的模型大小。

本公开内容涉及用于防止地址分组的大小如上述现有方案那样增加的系统和方法。

此外，本文至少提出了一种包括N个突触前神经元的神经网络部分，每个突触前神经元能够激发动作电位，其中数量N可以编码在n位的字中；

该神经网络部分被设置为一旦在预定时间段中激发了F个突触前神经元就用于：

如果F·n<N，则生成第一类型的消息，该消息包括所述预定的时间段内已经激发的每个突触前神经元的唯一地址，每个地址被编码为n位的字；并且

如果F·n>N，则生成第二类型的消息，该消息包括N位，并被编码在n位的字中，其中所述N个突触前神经元中的每一个由唯一的位表示，如果由该位表示的突触前神经元在所述预定的时间段内激发则每个位具有第一值，否则具有第二值。

发明内容

对设备、系统和/或方法进行描述以在一个或多个通信协议之间动态地切换，这些通信协议具有确定的性能、神经元激发率中的变量和/或用于在整个模拟系统或神经网络中发送消息的可伸缩性。在一个实施例中，通信协议可以包括地址事件表达(AER)和位封装。位封装方法可以包括虚拟神经元和一组位编码。

本公开内容的实施例包括神经网络部分，其包括N个突触前神经元，每一个突触前神经元都能够激发动作电位，其中N可被编码在n位的字中，n小于N；该神经网络部分被设置为一旦在预定时间段内对F个突触前神经元激发就用于：如果F乘以n<N，则生成第一类型的消息，该消息包括已经在预定时间段内激发的每个突触前神经元的唯一地址，每个地址被编码为n位的字；而如果F乘以n>N，则生成第二类型的消息，该消息包括N位并被编码在n位的字中，其中所述N个突触前神经元中的每一个由唯一的位表示，如果由位表示的突触前神经元已经在所述预定时间段中激发，则该位具有第一值，否则具有第二值。如果F乘以n＝N，则可以生成第一类型的消息或者也可以生成第二类型的消息。

根据本公开内容的实施例，n和N满足2^n-1<N<＝2ⁿ。

根据本公开内容的实施例，神经网络部分还包括与N个突触前神经元中的至少一些关联的突触后神经元，该神经网络部分被设置为对所述第一类型的消息和所述第二类型的消息中的任一种进行解码，并响应于所述解码，而将这样的信息发送给突触后神经元，该信息表示N个突触前神经元中的哪一个与突触后神经元关联的突触前神经元已经在所述预定时间段内激发；突触前神经元布置在神经网络部分的第一节点内，而突触后神经元布置在神经网络部分的第二节点内。

根据本公开内容的实施例，神经网络部分被设置为将第一类型和第二类型的消息同步，就像突触后神经元和突触前神经元位于相同的计算机节点上一样。

根据本公开内容的实施例，神经网络部分还包括N个突触后神经元，每一个突触后神经元与单个突触前神经元关联，该神经网络部分被设置为将所述第一类型的消息和所述第二类型的消息中的任一种进行解码，并响应于所述解码而使得与在所述预定时间段内激发的突触前神经元关联的每个突触后神经元激发；突触前神经元布置在神经网络部分的第一节点内，而突触后神经元布置在神经网络部分的第二节点内。

本公开内容的实施例包括神经网络系统，其包括：p个上述神经网络部分，每一个神经网络部分包括一组Ni个突触前神经元，其中i＝1到p。

根据本公开内容的实施例，在神经网络系统中，与每组突触前神经元关联的各突触后神经元是不同的。

根据本公开内容的实施例，在神经网络系统中，至少两组Ni个突触前神经元共享至少一个共同的突触前神经元。

根据本公开内容的实施例，所述第一类型和第二类型的消息中的每一种包括指示消息类型的头。

根据本公开内容的实施例，所述第一类型的消息的头还指示数量F。

根据本公开内容的实施例，突触后神经元对至少一些突触前神经元的激发的敏感度是有可塑性的。

本公开内容的实施例包括一种在神经网络部分中发送激发信息的方法，所述神经网络部分具有N个突触前神经元，每一个突触前神经元均能够激发动作电位，其中N可被编码在n位的字中；该方法包括，一旦在预定时间段内激发了F个突触前神经元，就进行如下步骤：如果F乘以n(下面以“F·n”表示)<N，则生成第一类型的消息，该消息包括已经在所述预定时间段内激发的每个突触前神经元的唯一地址，每个地址被编码为n位的字；而如果F·n>N，则生成第二类型的消息，该消息包括N位并编码在n位的字中，其中所述N个突触前神经元中的每一个由唯一的位表示，如果由位表示的突触前神经元已经在所述预定时间段中激发，则该位具有第一值，否则具有第二值。

根据本公开内容的实施例，n和N满足2^n-1<N<＝2ⁿ。

根据本公开内容的实施例，神经网络部分包括与N个突触前神经元中的至少一些关联的突触后神经元；突触前神经元布置在神经网络部分的第一节点内，而突触后神经元布置在神经网络部分的第二节点内；该方法包括：将所述第一类型的消息和所述第二类型的消息中的任一种解码；并响应于所述解码向突触后神经元发送如下信息，该信息指示N个突触前神经元中的哪一些与该突触后神经元关联的突触前神经元已经在所述预定时间段内激发。

根据本公开内容的实施例，神经网络部分包括N个突触后神经元，每一个突触后神经元与单个突触前神经元关联；突触前神经元布置在神经网络部分的第一节点内，而突触后神经元布置在神经网络部分的第二节点内，该方法包括：将所述第一类型的消息和所述第二类型的消息中的任一种解码，并响应于所述解码，而使得与在所述预定时间段内激发的突触前神经元关联的每个突触后神经元激发。

本公开内容的实施例包括一种在神经网络系统中发送激发信息的方法，该神经网络系统包括p个神经网络部分，每一个神经网络部分包括一组Ni个突触前神经元，其中i＝1到p；每组突触前神经元与突触后神经元关联；该方法包括：针对该神经网络系统的每个神经网络部分，生成根据上述公开的方法的第一类型或第二类型的消息。

根据本公开内容的实施例，每组突触前神经元与不同的突触后神经元关联。

根据本公开内容的实施例，至少两组Ni个突触前神经元共享至少一个共同的突触前神经元。

根据本公开内容的实施例，该方法还包括，将第一类型和第二类型的消息同步，就像突触后神经元和突触前神经元位于相同的计算机节点上一样。

根据本公开内容的实施例，该方法还包括，在所述第一类型和第二类型的消息内提供指示消息类型的头。

根据本公开内容的实施例，该方法包括在所述第一类型的消息的头内指示数量F。

根据本公开内容的实施例，突触后神经元对至少一些突触前神经元的激发的敏感度是有可塑性的。

附图说明

通过参考下面的附图可以更好地理解本发明。附图中的各个组件无需按比例绘制，而是重点在于展示本发明的原理。附图中，所有不同的视图中的相同的附图标记指示相应的部分。

图1示出突触前神经元向关联的突触后神经元激发动作电位。

图2示出突触前神经元向关联的突触后神经元激发动作电位。

图3示出包括与多个突触后神经元关联的多个突触前神经元的神经网络的一部分。

图4示出与在如图3所示的神经网络部分中已经被激发的神经元的数量相关的AER消息大小。

图5示出根据本公开内容的实施例的神经网络的一部分。

图6示出根据本公开内容的实施例的神经网络系统100。

图7示出根据本公开内容的实施例的方法的示例性应用。

具体实施方式

对设备、系统和/或方法进行描述，以通过提高神经形态体系结构之间的通信性能而使得能够进行用于神经网络(例如脑模型)的激发率独立的计算。

神经网络(诸如动物神经系统)的高度分布特性在神经生物学的理论和计算模型中提出了独特的挑战。无论神经网络模型是旨在对生物功能提供更深的理解还是构建更智能的代理，都应该克服所有现代计算体系结构中固有的相当局限的并行化，以实现准确表示生物高并行性质的模型。根据本公开内容的方法和系统可以应用于一般的模拟环境中，也可以应用于专门的计算环境(例如，神经形态体系结构)中。

本公开内容的实施例包括模拟尖峰神经网络。根据本公开内容的实施例，对尖峰神经网络的模拟可以包括对神经元模型的微分方程进行积分。一旦在神经元中达到电压阈值，突触前神经元就生成动作电位、或电流尖峰。然后该动作电位或尖峰会沿着该激发的突触前神经元的隔膜行进，并在包括该激发的突触前神经元的突触联接处开始信号级联放大。这就开始了一个化学过程，即可以通过突触前神经元已被激发的突触节点与关联到该突触前神经元的突触后神经元通信。

图1示出了包含通过突触联接14与突触后神经元16关联的突触前神经元12的现有尖峰神经网络10的一部分的模型。图1还示出了神经元12激发动作电位18。多个变量和耦合的微分方程可以对相关神经元12的隔膜的电压和突触水平变化(例如，在突触联接14为具备可塑性时)两者的逼近。

神经网络部分可以包括与大量突触后神经元关联的大量突触前神经元。当网络中神经元的数量增大时，计算工作量会变大，从而可以采用并行或分布式模拟。例如，在模拟神经网络时，可以通过独立的各计算机并行地对模型的不同部分进行模拟。每次迭代都对神经元模型进行整合，并将突触前神经元的激发信息发送给与在对应于每次迭代的预定时间段期间激发的神经元关联的所有突触后神经元。

图2示出了现有神经网络部分20的模型，该神经网络部分20包括通过突触联接14与突触后神经元16关联的、并还通过突触联接28、30、32与突触后神经元22、24和26关联的突触前神经元12。图2中，神经网络部分20还包括通过突触联接38、40和41与突触后神经元24、26和36关联的突触前神经元34。例如，在与对神经网络部分20的模拟的迭代对应的预定时间段中，如果神经元12已经被激发而神经元34并未激发，则神经网络将通过突触联接14、28、30和32关联的神经元12已经激发的信息发送给神经元16、22、24和26。对于相同的时间段，如果神经元34没有激发，则不向神经元24、26和36发送有关神经元34的信息。

突触联接可以是“有可塑性的”连接，即突触联接可以具有响应于其活动的增加或减少而随时间增强或减弱的能力。如果突触联接是有可塑性的，则上述信息的发送/不发送会引入特殊的神经元24和26(每一个具有两个突触联接)，来增加突触联接30和32的权重，并降低突触联接38和40的权重。

图3示出了根据本公开内容的实施例的神经网络部分40的模型。神经网络部分40包括突触前神经元44、46、48、50、52和54的阵列42。阵列42通过一组突触联接64与突触后神经元58、60和62的阵列56关联。在所示的示例中，突触前神经元44与突触后神经元58和62关联；突触前神经元46与突触后神经元62关联；突触前神经元48与突触后神经元58、60和62关联；突触前神经元50与突触后神经元60和62关联；突触前神经元52与突触后神经元58、60和62关联；以及突触前神经元54与突触后神经元62关联。

本附图中所示的突触联接是单纯地用于说明，其并不用于限制本公开内容的范围。根据本公开内容的实施例，呈现阵列42和56各自位于不同的计算机或节点上，阵列42的神经元的激发信息从第一计算机/节点发送到第二计算机/节点。如下详细描述的那样，根据本公开内容的实施例，在例如图3的阵列42的神经元在一个模拟迭代过程中激发了动作电位时，可以从阵列42的计算机/节点将激发的神经元唯一的识别号发送给包含与激发的这个神经元关联的突触后神经元的所有计算机/节点(此处，为突触后神经元阵列56的计算机/节点)。

例如，如果在神经网络40的操作的预定时段内仅激发了神经元44和48，则会将神经元44的识别号发送给神经元58和62，并会将神经元48的识别号发送给神经元58、60和62。相反，神经元46、50、52和54的识别号则不会在相同的预定时间段中发送给神经元58、60和62。综上所述，如果突触联接是有可塑性的，则信息的上述发送/不发送会使得神经元58、60和62增大对神经元44、48的突触联接的权重，而降低对神经元46、50、52和54的突触联接的权重。再次指出，突触联接可以是有可塑性的，也可以不是有可塑性的。

一般地，在对尖峰神经网络模拟并行化时，数学整合和突触计算的计算成本与节点间传输信息的成本平衡。可以在形成神经网络的节点内使用高性能的体系结构，诸如通用图形处理单元(GPGPU)和专用神经元硬件系统。

某些现有硬件和软件模拟环境包括AER方案，其中在神经元激发动作电位时，该神经元的唯一的识别号(Id)发送给各节点，这些节点包含与激发的该神经元关联的突触后神经元。然后收集迭代过程中激发的所有神经元的地址，并作为单个分组发送给所有关联的节点。根据本公开内容的实施例，如果满足特定条件则可以使用这种AER方案，如下文所详述的那样。

如图3中所示出的AER方案，可以分别向神经元44、46、48、50、52和54分配唯一的识别号/地址：000、001、010、O11、100和101。根据本公开内容的实施例，可以对N个突触前神经元(其中，2^n-1<N<＝2ⁿ)分配被编码为n位的唯一识别号。可选地，如果例如在使用具有最小为m位的字的计算机上模拟神经网络时，还可以将该唯一识别号编码在m位的字中，其中m>＝n。

在上述示例中，在神经网络40的模拟/操作的指定时间段期间只有神经元44和48被激发，包含识别号000和010的分组会被发送给神经元58和62。同样，包括识别号101的分组会被发送给神经元60。上述示例中发送的最大分组包括具有数值000010的六个位。

如果增加突触前神经元的数量N，则每个单个地址的大小也增加且地址分组的大小也增加。而且，如果激发的神经元的数量F增加，则地址的数量也增加，且地址分组的大小也增加。因此，通信所花的时间会直接与神经元的数量和激发的神经元的数量有关。同样，随着计算节点的数量增加，需要发送的分组的数量也增加。综上所述，根据本公开内容的实施例，阵列42的突触前神经元可以布置在第一节点上。然而根据本公开内容的其他实施例，可以将阵列42的各突触前神经元在多个第一节点之间划分。

在一些情况中，对于基于软件和硬件两者的系统来说，AER分组大小和数量的增加会阻碍扩大到期望的模型大小。

一般地，如果节点的神经元的唯一识别号包括n位，那么必须在每次迭代中发送包括F·n个位的分组，其中F是迭代过程中激发的N个神经元中神经元的数量，神经元在每次迭代中只能激发1或0次。换言之，如果每个唯一识别号被编码在n位的字中，则必须在每个迭代中发送包含F·n位的分组。

例如，返回图3并假定所有的6个神经元44、46、48、50、52和54都已经激发，包括阵列42的节点必须将包含识别号000、001、010、011、100和101的分组(即，包含6×3位＝18位的分组)发送给包含阵列56的节点中的神经元62。

发明人注意到，当一次迭代中激发的神经元的数量F大于预定阈值时，与上述详细讨论的AER方案不同的方案可以以比AER方案更经济的方式发送有关哪个神经元被激发的信息。

根据本公开内容的实施例，对于能够向突触后神经元进行激发的N个神经元的模拟/操作的每次迭代，n为能够将每个突触后神经元的唯一地址进行编码的位数，F为迭代过程中激发的突触前神经元的数量，如果F·n>N，则由包含N位的替代性分组/消息来替代AER方案分组/消息，其中每个位表示N个突触前神经元中的一个。根据本公开内容的实施例，如果在迭代期间由该替代性分组/消息的各个位表示的突触前神经元已经激发，则该位可以具有第一值(例如，1)。相应地，如果在迭代期间由该替代性分组/消息的各个位表示的突触前神经元没有激发，则该位可以具有第二值(例如，0)。

图4示出了AER消息/分组的大小相对于在神经网络部分的迭代中已被激发的神经元的百分率的变化70，该神经网络部分例如如图3所示，但是在阵列42中大约包含10,000个突触前神经元，并与阵列56中的至少一个神经元关联。在激发的神经元的百分率从0增加到100％时，AER消息/分组的大小线性地从0增大到10,000个32位的字。图4还示出了根据本公开内容的实施例的替代性分组/消息的恒定大小72，包括10,000个位，被编码为313个32位的字，其中每个位表示所述10,000个突触前神经元的其中一个。

在图4所示的示例性网络中，只有在激发的神经网络的数量F小于313时，使用32位的字的AER方案地址分组才比包括N＝10,000个位的替代性分组更加经济。

根据本公开内容的示例，对于具有N(数量N可以被编码在n位的字中)个突触前神经元且其中的每一个突触前神经元都能激发动作电位的神经网络部分来说，该神经网络部分被设置为一旦在迭代的预定时间段内激发了F个突触前神经元则用于：

-如果F·n<N，则生成第一类型的消息(例如，AER分组)，该消息包括在所述预定时间段中已经激发的每个突触前神经元的唯一地址/ID号，每个地址被编码为n位的字；并且

-如果F·n>N，则生成第二类型的消息，该消息包括N位，并被编码在n位的字中，其中所述N个突触前神经元中的每一个由唯一的位表示，如果由位表示的突触前神经元在所述预定时间段内已经激发，则每个位具有第一值(例如，1)，反之则具有第二值(例如，0)。

根据本公开内容的实施例，对第二类型的消息进行解码所需的计算独立于激发的神经元的数量或激发率。

根据本公开内容的实施例，n满足2^n-1<N<＝2ⁿ。

根据本公开内容的实施例，神经网络部分的至少一个突触后神经元与N个突触前神经元关联，且神经网络部分被设置来对第一类型的消息或第二类型的消息进行解码，并响应于所述解码，向至少一个突触后神经元发送信息，该信息指示迭代过程中激发了N个突触前神经元中的哪一个。

根据本发明内容的实施例，突触前神经元被布置在神经网络部分的一个或多个第一节点中，而突触后神经元被布置在神经网络部分的第二节点中，从第一节点对数据消息/分组的传输可以花费比在所有神经元位于相同的节点内的情况下长的给定时间。根据本公开内容的实施例，神经网络系统被设置为同步所有消息，就像突触前神经元和突触后神经元在相同的计算机节点内一样。根据本公开内容的替代实施例，还布置节点来执行异步操作。这会发生在例如多个神经形态处理器连接在一起时。

根据本公开内容的实施例，第一和第二类型的消息中的每一个都包含指示消息类型的头。根据本公开内容的实施例，第一类型的所述消息的头还指示数量F。

根据本公开内容的实施例，突触后神经元对每个突触前神经元的激发的敏感度是有可塑性的(即，突触联接是有可塑性的)。根据本公开内容的实施例，被激励的突触联接是有可塑性的，且被禁止的突触联接是静态的，或者说无可塑性的。

如图3所示，根据本公开内容的实施例，第二节点(和阵列56)可以包括p(图3中p＝3)个不同的突触后神经元(58、60、62)，每个突触后神经元与一组Ni个突触前神经元关联，其中i＝1到p(N1＝3的突触前神经元44、48、52的组与突触后神经元58关联；N2＝3的突触前神经元48、50、52的组与突触后神经元60关联；N3＝6的突触前神经元44、46、48、50、52、54的组与突触后神经元62关联)。图3中，突触前神经元的多个组位于单个节点上。然而，根据本公开内容的实施例，突触前神经元的多个组可以位于不同的节点上。

根据本公开内容的实施例，至少两组突触前神经元共享至少一个共同的突触前神经元(例如，48和52对于第一组和第二组是共同的；44、48和52对于第一组和第三组是共同的；48、50和52对于第二组和第三组是共同的)

在根据本公开内容的实施例的神经网络系统中，位于多个第一节点上的突触前神经元与位于第二节点上的突触后神经元关联，从不同的第一节点传输各种数据消息/分组会花费不同的时间。根据本公开内容的实施例，神经网络系统被设置为同步各消息，就像所有的突触前神经元位于相同的计算机节点上一样。

图5示出了根据本公开内容的实施例的神经网络部分80的模型，使用“虚拟”神经元(dummy neuron)来限制在两个节点间交换数据的量。如图3的实施例那样，图5所示的实施例包括在一个或多个节点内的与第二节点中突触后神经元58、60和62的阵列86关联的突触前神经元44、46、48、50、52和54的阵列82。根据本公开内容的实施例，阵列86还包括与阵列82中的突触前神经元数量一样多的附加或“虚拟”神经元，其中阵列82的每个突触前神经元与阵列86的单个附加或“虚拟”神经元关联。阵列86的每个附加或“虚拟”神经元还与阵列86中的突触后神经元关联，其关联方式与图3中突触前神经元与突触后神经元关联的方式相同。

在图5所示的示例中，突触前神经元44通过突触联接84关联到阵列86的虚拟神经元88，虚拟神经元88本身与突触后神经元58和62关联；突触前神经元46关联到阵列86的虚拟神经元94，虚拟神经元94本身与突触后神经元62关联；突触前神经元48关联到阵列86的虚拟神经元90，虚拟神经元90本身与突触后神经元58、60和62关联；突触前神经元50关联到阵列86的虚拟神经元92，虚拟神经元92本身与突触后神经元60和62关联；突触前神经元52关联到阵列86的虚拟神经元96，虚拟神经元96本身与突触后神经元58、60和62关联；以及突触前神经元54关联到阵列86的虚拟神经元98，虚拟神经元98本身与突触后神经元62关联。

将附加神经元称为“虚拟”神经元，这是因为这些神经元在神经网络的操作中不起作用。“虚拟”神经元用于减少阵列82和86之间突触联接的数量，使得阵列82的每个突触前神经元有单个突触联接。

根据本公开内容的实施例，在包括位于至少第一节点中且每一个与第二节点中单个虚拟神经元关联的突触前神经元的神经网络部分中，该神经网络部分被设置为对所述第一类型的消息和所述第二类型的消息中的任一种解码，并响应于所述解码，使得与激发的突触前神经元关联的每个虚拟神经元激发。根据本公开内容的实施例，该神经网络部分被设置来同步虚拟节点的激发，就像突触后神经元和突触前神经元位于第二计算机节点上一样。

本公开内容的实施例还涉及对比如结合图3或5所示的神经网络部分进行操作的方法。

图6示出了根据本公开内容的神经元网路系统100，包括四个节点A、B、C和D。在图6所示的示例中，节点A包括与节点B、C和D中的突触后神经元关联的突触前神经元。而且，节点B包括与节点D中的突触后神经元关联的突触前神经元；节点C包括与节点A中的突触后神经元关联的突触前神经元；以及，节点D包括与节点C中的突触后神经元关联的突触前神经元

作为一个示例，节点A包括1,000个与节点B中的突触后神经元关联的突触前神经元；2,000个与节点C中的突触后神经元关联的突触前神经元，和5,000个与节点D中的突触后神经元关联的突触前神经元。表1给出了针对32位的字在第二类型的位分组消息中对这些输出组中的每一个进行编码所需的字的总数，其中一个位表示一个突触前神经元。

表1：对不同数量的输出连接进行位编码

如上所述，例如结合图4，相对于AER分组，以根据本公开内容的实施例的位分组表示法来表示神经元，在计算上成本更低。现在我们假设例如在节点A上的特定迭代中，有24个与节点B关联的神经元、50个与节点C关联的神经元和100个与节点D关联的神经元激发了动作电位。

对于F＝24且N＝1000，其中n＝32、F·n＝768<1000。根据本公开内容，可以使用AER分组。对于F＝50且N＝2000，其中n＝32、F·n＝1535<2000。根据本公开内容，可以使用AER分组。对于F＝100且N＝5000，其中n＝32、F·n＝3200<5000。根据本公开内容，可以使用AER分组。

相反，如果例如有72个与节点B关联的神经元激发且其他方面都保持相同，那么F·n＝2304>1000，并根据本公开内容的实施例在节点A和B之间使用位分组方法。如上表1所示，在这种情况下，采用AER方法仅传送了63个32位的字而不是72个。

如上所述，根据本公开内容的实施例，每个分组开始的头可以用于促使在第一类型和第二类型的消息之间进行动态转换。对于第一类型的消息(例如，AER消息)，头可以用于指示当前消息中所包含的激发总数。对于第二类型的消息(例如位分组消息)，头可以包括负值以指示接收节点如此处理分组。根据本公开内容的实施例，可选地，可以在单独的分组中发送上述包含在头中的数据，或在分组的任何位置与合适的数据标识一起发送。

图7示出了将本公开内容的实施例应用到使用576个神经元的基底神经节的网络模型的示例。使用18个32位的字对所有576个神经元编码，这相当于对以AER方案进行发送的最大地址分组的3.125％进行编码。图7示出了AER消息/分组的大小(几百个位)相对于在包含576个突触前神经元的神经网络部分的迭代中已经激发的神经元的百分率的线性变化170。图7还以竖长方形示出了在采用AER方案对活动(没有给予输入)的基底水平进行5秒的模拟中激发的所有细胞的不同百分率所花的模拟时间量。结果显示，在激发了18个以上的神经元的区域中，使用AER方案花了模拟时间的33.14％。因此，对于上述模型的基底活动，根据本公开内容的方法可以降低三分之一的模拟时间。

图7还示出了针对包含576个突触前神经元的神经网络部分根据本公开内容的第二类型的消息(576位的位分组消息)的恒定大小172。图7还示出了累积的矩形表面等于模拟时间总量的33.14％，该累积的矩形表面表示针对激发的18个以上的神经元(神经元总量的3.125％)所花费的模拟时间量。

换言之，在图7所示的实施例中，N等于576，其中数量576可以被编码在32位的字中，32小于576。根据本公开内容的实施例，如果神经网络部分在预定时间段内激发了F<18个突触前神经元，那么F·n＝F·32<576并应当生成第一类型的消息，该消息包含在所述预定时间段中已经激发的每个突触前神经元的唯一地址，每个地址被编码为一个32位的字。相反，如果神经网络部分在预定时间段内激发了F>18个突触前神经元，那么F·n＝F·32>576并应当生成第二类型的消息，该消息包含576位，并被编码在32位的字中，其中所述576个突触前神经元中的每一个由唯一的位表示，如果由该位表示的突触前神经元已经在预定的时间段内激发，则每个位具有第一值，否则具有第二值。如果F＝18、F·n＝18·32＝576＝N，则可以生成第一类型的消息也可以生成第二类型的消息。

本发明的优选实施例的上述描述的目的在于说明和描述。并不旨在无遗漏地包含或将本发明限制在该精确的形式或公开的示例性实施例。显然，对于本领域技术人员来说大量修改和变形是显而易见的。类似地，所描述的任何过程步骤都可以与其他步骤互换以获得相同的结果。对实施例进行挑选和描述以对本发明的原理及其最佳实际应用模式进行最优地解释，从而使得本领域技术人员能够通过各种实施例理解本发明，并且根据特殊使用或预定应用进行合适的各种修改。

例如，不将F·n与N比较，本公开内容的实施例可以将F·n与K·N(K乘以N)比较，其中K是大于1或小于1的权重因子，以相对于生成第二类型的消息而支持或阻止生成第一类型的消息。

此外，如上所述，本公开内容涉及可以在计算机或节点内模拟的神经网络部分或系统，但是还涉及可以由硬件模块模拟(或者执行)的神经网络部分或系统。根据本公开内容的实施例，可以提供这些硬件模块用于交换第一或第二类型的消息和/或用于对上述这些消息进行解码。

此外，结合具有在每次迭代过程中只激发1或0次的神经元的神经网络部分或系统对本公开内容进行了描述。然而，根据本公开内容的实施例，可以提供突触前神经元以在每次迭代中激发大于1次。这种情况下，第一类型的消息中的每个地址将还包括有关该地址的神经元已经激发多少次的数据；并且第二类型的消息中的每个位可以由一组固定大小的位替代，指示由该组的位表示的神经元已经激发多少次。

需要指出的是，本发明的范围由所附权利要求及其等同物限定。除非明确指出，以单数形式提及的元素并非表示“一个且只有一个”，而表示“一个或多个”。而且，本发明中的要素、组件、和方法步骤无论是否明确记载在所附权利要求中，均并非意在奉献给公众。除非明确以“装置，其用于……”描述要素，否则本文中的权利要求的要素不应由35U.S.C第二章第6段解释。

应该明白，呈现所附附图只是为了示例的目的，附图强调本发明的功能和优点。本发明的体系结构是可以是充分灵活的且可配置的，使得可以以除了附图所示的其他方式来使用(和操作)。

此外，前述摘要的目的在于使得美国专利商标局和公众以及尤其是并不熟悉专利或法律条款或术语的科学家、工程师和开发者能够基于快速浏览而熟知本申请技术范围的本质。摘要并不旨在以任何方式限制本发明的范围。还应该明白，权利要求中所记载的步骤和过程无需以所呈现的顺序执行。

还要指出的是，可以将实施例描述为以流程图、作业图、结构图或框图描述的过程。虽然流程图可以将操作描述为顺序的过程，但是很多操作可以并行或同时执行。此外，可以重置操作顺序。在完成操作时终止过程。过程可以对应于方法、函数、流程、子例程、子程序等。在过程对应于函数时，其结束对应于返回到函数以回调函数或主函数。

此外，存储介质可以表示一个或多个用于存储数据的装置，包括用于存储信息的只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储器介质、光存储介质、闪存装置和/或其他机器可读介质、处理器可读介质、和/或计算机可读介质。术语“机器可读介质”、“计算机可读介质”和/或“处理器可读介质”可以包括但不限于非暂时性介质，例如便携式或固定式存储装置、光存储装置以及能够存储、容纳或携带指令和/或数据的各种其他介质。因此，本文所述的各种方法可以完全或部分地由存储在“机器可读介质”、“计算机可读介质”和/或“处理器可读介质”中的指令和/或数据实现，并由一个或多个处理器、机器和/或装置执行。

本文所描述的发明的各种特征在不脱离本发明的前提下可以在不同的系统中实现。需要注意的是，上述实施例仅仅是示例而并不解释为限制本发明。对各个实施例的描述旨在说明，并不限制权利要求的范围。因此，本教导可以容易地应用到其他类型的设备中，而且对于本领域技术人员来说大量替代品、修改和变型等是显而易见的。

Claims (22)

1.一种神经网络部分，包括N个突触前神经元，每一个突触前神经元都能够激发动作电位，其中N可被编码在n位的字中；

所述神经网络部分被设置为一旦在预定时间段内激发了F个突触前神经元就用于：

如果F·n<N，则生成第一类型的消息，该消息包括已经在所述预定时间段内激发的每个突触前神经元的唯一地址，每个地址被编码为n位的字；并且

如果F·n>N，则生成第二类型的消息，该消息包括N位并被编码在n位的字中，其中所述N个突触前神经元中的每一个由唯一的位表示，如果由位表示的突触前神经元已经在所述预定时间段内激发，则该位具有第一值，否则具有第二值。

2.根据权利要求1所述的神经网络部分，其中2^n-1<N<＝2ⁿ。

3.根据权利要求1或2所述的神经网络部分，还包括与所述N个突触前神经元中的至少一些关联的突触后神经元，所述神经网络部分被设置为对所述第一类型的消息和所述第二类型的消息中的任一种进行解码，并响应于所述解码将这样的信息发送给所述突触后神经元，该信息表示所述N个突触前神经元中的哪一个与所述突触后神经元关联的突触前神经元已经在所述预定时间段内激发；

突触前神经元布置在所属神经网络部分的第一节点内，而突触后神经元布置在所述神经网络部分的第二节点内。

4.根据权利要求1或2所述的神经网络部分，还包括N个突触后神经元，每一个突触后神经元与单个突触前神经元关联，所述神经网络部分被设置为对所述第一类型的消息和所述第二类型的消息中的任一种进行解码，并响应于所述解码而使得与在所述预定时间段内激发的突触前神经元关联的每个突触后神经元激发；

所述突触前神经元布置在所述神经网络部分的第一节点内，而所述突触后神经元布置在所述神经网络部分的第二节点内。

5.一种神经网络系统，包括：

p个如权利要求3所述的神经网络部分，每一个神经网络部分包括一组Ni个突触前神经元，其中i＝1到p。

6.根据权利要求5所述的神经网络系统，其中与每组突触前神经元关联的各突触后神经元是不同的。

7.根据权利要求5或6所述的神经网络系统，其中至少两组Ni个突触前神经元共享至少一个共同的突触前神经元。

8.根据权利要求3、5、6或7所述的神经网络部分，其中所述神经网络部分被设置为将所述第一类型的消息和所述第二类型的消息同步，就像所述突触后神经元和所述突触前神经元位于相同的计算机节点上一样。

9.根据权利要求1-8任意一个所述的神经网络部分，其中所述第一类型的消息和所述第二类型的消息中的每一种包括指示消息类型的头。

10.根据权利要求9所述的神经网络部分，其中所述第一类型的消息的头还指示数量F。

11.根据权利要求3所述的神经网络部分，其中所述突触后神经元对至少一些突触前神经元的激发的敏感度是有可塑性的。

12.一种在神经网络部分中发送激发信息的方法，所述神经网络部分包括N个突触前神经元，每一个突触前神经元都能够激发动作电位，其中N可被编码在n位的字中；

该方法包括，一旦在预定时间段内激发了F个突触前神经元就进行如下步骤：

如果F·n<N，则生成第一类型的消息，该消息包括已经在所述预定时间段内激发的每个突触前神经元的唯一地址，每个地址被编码为n位的字；并且

如果F·n>N，则生成第二类型的消息，该消息包括N位并编码在n位的字中，其中所述N个突触前神经元中的每一个由唯一的位表示，如果由位表示的突触前神经元已经在所述预定时间段中激发，则该位具有第一值，否则具有第二值。

13.根据权利要求12所述的方法，其中2^n-1<N<＝2ⁿ。

14.根据权利要求12或13所述的方法，其中所述神经网络部分包括与所述N个突触前神经元中的至少一些关联的突触后神经元；所述突触前神经元布置在所述神经网络部分的第一节点内，而所述突触后神经元布置在所述神经网络部分的第二节点内；该方法包括：

对所述第一类型的消息和所述第二类型的消息中的任一种进行解码；以及

响应于所述解码向所述突触后神经元发送这样的信息，该信息指示所述N个突触前神经元中的哪一些与所述突触后神经元关联的突触前神经元已经在所述预定时间段内激发。

15.根据权利要求12或13所述的方法，其中所述神经网络部分包括N个突触后神经元，每一个突触后神经元与单个突触前神经元关联；所述突触前神经元布置在所述神经网络部分的第一节点内，而所述突触后神经元布置在所述神经网络部分的第二节点内，该方法包括：

对所述第一类型的消息和所述第二类型的消息中的任一种进行解码；以及

响应于所述解码，而使得与在所述预定时间段内激发的突触前神经元关联的每个突触后神经元激发。

16.一种在神经网络系统中发送激发信息的方法，所述神经网络系统包括p个神经网络部分，每一个神经网络部分包括一组Ni个突触前神经元，其中i＝1到p；每组突触前神经元与突触后神经元关联；该方法包括：

针对所述神经网络系统的每个神经网络部分，生成根据权利要求14的方法的所述第一类型的消息或所述第二类型的消息。

17.根据权利要求16所述的方法，其中每组突触前神经元与不同的突触后神经元关联。

18.根据权利要求16或17所述的方法，其中至少两组Ni个突触前神经元共享至少一个共同的突触前神经元。

19.根据权利要求14、16、17或18所述的方法，还包括将所述第一类型的消息和所述第二类型的消息同步，就像所述突触后神经元和所述突触前神经元位于相同的计算机节点上一样。

20.根据权利要求12-19的任意一个所述的方法，包括在所述第一类型和所述第二类型的消息内提供指示消息类型的头。

21.根据权利要求20所述的方法，包括在所述第一类型的消息的头内指示数量F。

22.根据权利要求14所述的方法，其中所述突触后神经元对至少一些突触前神经元的激发的敏感度是有可塑性的。