CN105095966B - 人工神经网络和脉冲神经网络的混合计算系统 - Google Patents
人工神经网络和脉冲神经网络的混合计算系统 Download PDFInfo
- Publication number
- CN105095966B CN105095966B CN201510419414.2A CN201510419414A CN105095966B CN 105095966 B CN105095966 B CN 105095966B CN 201510419414 A CN201510419414 A CN 201510419414A CN 105095966 B CN105095966 B CN 105095966B
- Authority
- CN
- China
- Prior art keywords
- ment
- basic computational
- computational ele
- unit
- neural networks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 230
- 229910052729 chemical element Inorganic materials 0.000 claims abstract description 129
- 230000001537 neural effect Effects 0.000 claims abstract description 17
- 210000002569 neuron Anatomy 0.000 claims description 82
- 210000000225 synapse Anatomy 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 22
- 210000005036 nerve Anatomy 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 239000010410 layer Substances 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 230000000946 synaptic effect Effects 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 4
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 206010016256 fatigue Diseases 0.000 claims 1
- 239000002356 single layer Substances 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 238000000034 method Methods 0.000 description 13
- 230000006854 communication Effects 0.000 description 9
- 239000002131 composite material Substances 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000010365 information processing Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 4
- 210000001367 artery Anatomy 0.000 description 3
- 210000004218 nerve net Anatomy 0.000 description 3
- 210000003462 vein Anatomy 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001242 postsynaptic effect Effects 0.000 description 1
- 230000003518 presynaptic effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Landscapes
- Feedback Control In General (AREA)
Abstract
本发明提供一种人工神经网络和脉冲神经网络的混合计算系统，包括：多个神经网络计算单元，该多个神经网络计算单元中一部分为人工神经网络计算单元，承担人工神经网络计算，另一部分为脉冲神经网络计算单元，承担脉冲神经网络计算，该多个基本计算单元按照一定的拓扑结构相互连接，共同实现神经网络计算功能。该混合计算系统结合了人工神经网络和脉冲神经网络两种神经网络的计算模式，能进行实时快速、多模态或复杂时空信号计算并能保证计算的精确度。
Description
技术领域
本发明涉及一种神经网络计算系统。
背景技术
神经网络是一种模仿生物大脑突触-神经元结构进行数据处理的计算系统，由分为多层的计算节点和层间的连接组成。每个节点模拟一个神经元，执行某个特定运算，例如激活函数，节点之间的连接模拟神经突触，连接对于来自上一层节点输入的加权值代表了突触权重。神经网络具有强大的非线性、自适应信息处理能力。
人工神经网络中的神经元将来自连接输入的累加值用激活函数处理后作为自身的输出。对应于不同的网络拓扑结构、神经元模型和学习规则，人工神经网络又包括感知器、Hopfield网络、波耳兹曼机等数十种网络模型，可以实现多种多样的功能，在模式识别、复杂控制、信号处理和最优化等方面都有应用。传统的人工神经网络数据可以认为是通过神经元脉冲的频率信息编码，各层神经元依次串行运行。人工神经网络模拟了生物的神经系统分层结构，但是未能完全匹配皮层的信息处理结构.例如时间序列对学习的影响，而作为真正的生物皮层在处理信息上来说，对信息数据的学习不是独立静态的，而是随着时间有着上下文的联系的。脉冲神经网络是近十几年来出现的新型神经网络，被称为是第三代神经网络。脉冲神经网络中的数据以神经元脉冲信号的时空信息编码，网络的输入输出以及神经元之间的信息传递表现为神经元发送的脉冲和发送脉冲的时间信息，神经元需要同时并行运行。与传统的人工神经网络相比，脉冲神经网络在信息处理方式、神经元模型、并行性等方面有较大不同，运行方式更接近于真实的生物系统。脉冲神经网络应用精确定时的脉冲序列对神经信息进行编码和处理，这种包含时间计算元素的计算模型更具生物解释性，是进行复杂时空信息处理的有效工具，可以处理多模态的信息并且信息处理更加实时。但脉冲神经网络的神经元模型的不连续性、时空编码的复杂性、网络结构的不确定性导致很难在数学上完成对网络整体的描述，因此难以构建有效且通用的有监督学习算法，限制了其的计算规模和精确度。
发明内容
有鉴于此，确有必要提供一种能进行实时快速、多模态或复杂时空信号计算并能保证计算精确度的神经网络计算系统。
一种人工神经网络和脉冲神经网络的混合计算系统，包括：至少两个基本计算单元，该至少两个基本计算单元中，至少一个为人工神经网络计算单元，承担人工神经网络计算，至少一个为脉冲神经网络计算单元，承担脉冲神经网络计算，该至少两个基本计算单元按照拓扑结构相互连接，共同实现神经网络计算功能。
与现有技术相比，本发明提供的人工神经网络和脉冲神经网络的混合计算系统结合了人工神经网络和脉冲神经网络两种神经网络的计算模式，能进行实时快速、多模态或复杂时空信号计算并能保证计算的精确度。
附图说明
图1为本发明第一实施例提供的人工神经网络和脉冲神经网络的混合计算系统中基本计算单元结构图。
图2为本发明的串联结构示意图。
图3为本发明的并联结构示意图。
图4为本发明的并行结构示意图。
图5为本发明的学习结构示意图。
图6为本发明的反馈结构示意图。
图7为本发明提供的混合计算系统中计算单元层级结构示意图。
图8为本发明提供的人工神经网络和脉冲神经网络的混合计算系统。
图9为本发明第二实施例中将人工神经网络输出的数值量转换为脉冲序列的示意图。
图10为本发明第二实施例中将脉冲神经网络输出的频率编码脉冲序列转换为数值量示意图。
图11为本发明第二实施例中将脉冲神经网络输出的群体编码脉冲序列转换为数值量示意图。
图12为本发明第二实施例中将脉冲神经网络输出的时间编码脉冲序列转换为数值量示意图。
图13为本发明第二实施例中将脉冲神经网络输出的二值编码脉冲序列转换为数值量示意图。
图14为本发明第三实施例提供的多模态神经形态网络核结构框图。
图15为本发明第三实施例提供的多模态神经形态网络核运行在人工神经网络时的结构框图。
图16为人工神经网络模式下多模态神经形态网络核一个时间步的运行流程图。
图17为本发明第三实施例提供的多模态神经形态网络核运行在脉冲神经网络时的结构框图。
图18为脉冲神经网络模式下多模态神经形态网络核一个时间步的运行流程图。
图19为本发明第四实施例提供的人工神经网络和脉冲神经网络的混合系统。
图20为本发明第四实施例中路由节点结构框图。
图21为本发明第四实施例中路由数据包结构图。
图22为本发明第四实施例中路由节点工作流程图。
主要元件符号说明
| 混合计算系统 | 100 | 模式寄存器 | 211 |
| 基本计算单元 | 110 | 轴突输入单元 | 212 |
| 第一基本计算单元 | 110a | 突触权重存储单元 | 213 |
| 第二基本计算单元 | 110b | 树突单元 | 214 |
| 学习单元 | 111 | 树突乘加单元 | 214a |
| 神经元 | 115 | 树突累加单元 | 214b |
| 突触 | 116 | 神经元计算单元 | 215 |
| 复合计算单元 | 120 | 第一计算单元 | 215a |
| 串联复合单元 | 120a | 第二计算单元 | 215b |
| 并联复合单元 | 120b | 树突拓展存储单元 | 2151 |
| 并行复合单元 | 120c | 参数存储单元 | 2152 |
| 学习复合单元 | 120d | 积分泄漏计算单元 | 2153 |
| 反馈复合单元 | 120e | 触发信号计数器 | 216 |
| 混合系统 | 200 | 控制器 | 217 |
| 神经形态网络核 | 210 | 路由节点 | 220 |
| 多模态神经形态网络核 | 210a |
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
下面将结合附图及具体实施例对本发明提供的人工神经网络和脉冲神经网络混合计算系统作进一步的详细说明。
本发明第一实施例提供一种人工神经网络和脉冲神经网络的混合计算系统100，包括至少两个基本计算单元110，该至少两个基本计算单元110中，至少一个为人工神经网络计算单元，承担人工神经网络计算，至少一个为脉冲神经网络计算单元，承担脉冲神经网络计算，该至少两个基本计算单元110按照拓扑结构相互连接，共同实现神经网络计算功能。
请参见图1，所述至少一人工神经网络计算单元与所述至少一脉冲神经网络计算单元分别可以看作一个独立的神经网络，该神经网络中包括多个神经元115，该多个神经元115之间通过突触116连接，组成单层或多层结构。突触权重代表突触后神经元接收突触前神经元输出的加权值。
所述至少一脉冲神经网络计算单元用于对接收到的数据执行脉冲神经网络计算。所述至少一脉冲神经网络计算单元的输入数据、输出数据以及神经元115间传递的数据为尖峰脉冲序列，所述至少一脉冲神经网络计算单元中所述神经元115的模型为基于尖峰脉冲计算的神经元模型，可以为但不限于泄漏-积分-点火模型、尖峰脉冲响应模型以及Hodgkin-Huxley模型中的至少一种。
所述至少一人工神经网络计算单元用于对接收到的数据执行人工神经网络计算。所述至少一人工神经网络计算单元的输入数据、输出数据以及神经元115间传递的数据为数值量。所述至少一人工神经网络计算单元进一步按照神经元模型、网络结构、学习算法的不同，可以为感知器神经网络计算单元、BP神经网络计算单元、Hopfield神经网络计算单元、自适应谐振理论神经网络计算单元、深度信念神经网络计算单元和卷积神经网络计算单元中的至少一种。
所述至少一人工神经网络计算单元以及至少一脉冲神经网络计算单元拓扑连接以形成一复合神经网络计算单元。
所述拓扑连接的拓扑结构包括串联结构、并联结构、并行结构、学习结构以及反馈结构中的至少一种。
请参见图2，所述两个基本计算单元110串联连接以形成一串联复合计算单元120a。所述两个基本计算单元110分别为第一基本计算单元110a与第二基本计算单元110b，所述第一基本计算单元110a的输出端连接第二基本计算单元110b的输入端。所述第一基本计算单元110a与第二基本计算单元110b中,一个为人工神经网络计算单元，另一个为脉冲神经网络计算单元。系统输入首先经过第一基本计算单元110a处理，处理后的结果作为第二基本计算单元110b的输入，第二基本计算单元110b处理后的结果为系统输出。
请参见图3，所述两个基本基本计算单元110并联连接以形成一并联复合单元120b。所述两个基本计算单元110分别为第一基本计算单元110a与第二基本计算单元110b，所述第一基本计算单元110a的输入端连接所述第二基本计算单元110b的输入端，所述第一基本计算单元110a的输出端连接所述第二基本计算单元110b的输出端。所述第一基本计算单元110a与第二基本计算单元110b中，一个为人工神经网络计算单元，另一个为脉冲神经网络计算单元。系统输入同时输入到所述第一基本计算单元110a和所述第二基本计算单元110b进行并行处理，将所述第一基本计算单元110a和第二基本计算单元110b各自获得的处理结果进行汇总，并作为系统输出。
请参见图4，所述两个基本基本计算单元110并行连接以形成一并行复合单元120c。所述两个基本计算单元110分别为第一基本计算单元110a与第二基本计算单元110b，所述第一基本计算单元110a的输入端与第二基本计算单元110b的输入端各自独立，第一基本计算单元110a的输出端连接第二基本计算单元110b的输出端。所述第一基本计算单元110a与第二基本计算单元110b中，一个为人工神经网络计算单元，另一个为脉冲神经网络计算单元。系统输入分为输入1与输入2两个部分，其中输入1送入第一基本计算单元110a，由第一基本计算单元110a进行处理，输入2送入第二基本计算单元110b，由第二基本计算单元110b进行处理，将第一基本计算单元110a与第二基本计算单元110b的处理结果汇总后作为系统输出。
请参见图5，所述两个基本基本计算单元110以及一个学习单元111形成一学习复合单元120d。所述两个基本计算单元110分别为第一基本计算单元110a与第二基本计算单元110b。所述第一基本计算单元110a与第二基本计算单元110b中，一个为人工神经网络计算单元，另一个为脉冲神经网络计算单元。系统输入经第一基本计算单元110a处理后获得实际输出，将该实际输出与目标输出的差值输入到学习单元111，所述学习单元111根据该差值调整所述第二基本计算单元110b的网络结构、突触权重等参数，所述学习单元内的学习算法可以为Delta规则、BP算法、模拟退火算法、遗传算法等，本实施例中采用的学习算法为BP算法。所述第二基本计算单元110b的输出可作为第一基本计算单元110a的网络结构、突触权重等参数，或者是根据第二基本计算单元110b的输出调整第一基本计算单元110a的网络结构、突触权重等参数。
请参见图6，本发明某一实施例中，所述两个基本计算单元110形成一反馈复合单元120e。所述两个基本计算单元110分别为第一基本计算单元110a与第二基本计算单元110b。第一基本计算单元110a的输出端与第二基本计算单元110b的输入端连接，第二基本计算单元110b的计算结果作为反馈输出到第一基本计算单元110a。所述第一基本计算单元110a与第二基本计算单元110b中,一个为人工神经网络计算单元另一个为脉冲神经网络计算单元。系统输入经第一基本计算单元110a处理后输出，输出结果作为第二基本计算单元110b的输入，第二基本计算单元110b的输出作为反馈值输入到第一基本计算单元110a。
以上各例均是将两个基本计算单元110在一定的拓扑结构下进行组合，构成各种复合计算单元，进一步地，还可以将更多数量的基本计算单元110在一定的拓扑结构下进行组合，构成各种复合计算单元，以及将各种复合计算单元在一定的拓扑结构下再次进行组合，构成更为复杂的混合计算结构，从而产生丰富多样的混合计算结构。请参见图7，第一层复合计算单元120是一个串行混合计算结构，该第一层复合计算单元120在第二层分解为两个复合计算单元120的串联，进一步地，该第二层复合计算单元120在第三层被分解为两个复合计算单元120的并联，上述分解过程可以一直进行下去，直至在最后一层被分解为基本计算单元110，基本计算单元110为最小的计算单元结构。请参见图8，该图为通过上述层级设计方法获得的一个具体的人工神经网络和脉冲神经网络的混合计算结构，其中包括串联结构、并联结构以及反馈结构。
所述人工神经网络和脉冲神经网络的混合计算系统100进一步包括至少一个格式转换单元，设置于所述人工神经网络计算单元以及脉冲神经网计算单元之间，该格式转换单元用于实现不同类型的神经网络计算单元之间的数据传输。所述格式转换单元可以将人工神经网络计算单元输出的数值量转换为脉冲序列，或是将脉冲神经网络计算单元输出的脉冲序列转换为数值量实现格式转换，以保证不同类型的基本计算单元110之间进行数据传输。
进一步地，所述人工神经网络和脉冲神经网络的混合计算系统100可包括多个所述人工神经网络单元以及多个脉冲神经网络单元，该多个人工神经网络单元与多个脉冲神经网络单元以以上所述的拓扑结构实现拓扑连接。
本发明第一实施例提供的人工神经网络和脉冲神经网络的混合计算系统100结合了人工神经网络和脉冲神经网络两种神经网络的计算模式，将人工神经网络用于需要精确数据处理或者是需要完整数学描述的计算单元，将脉冲神经网络用于需要快速信息处理或者是复杂时空信号处理或者同时需要处理多模态信号(例如视听觉信号)的计算单元，构成能进行实时快速、多模态或复杂时空信号并能保证计算精确度的系统。例如通过该系统做视听觉综合实时处理，可以将包含图像(视频)和声音的多模态复杂时空信号输入脉冲神经网络计算单元进行预处理，快速降低信号时空复杂度或者实时提取所需时空特征，预处理后的数据继续输入人工神经网络计算单元，在这一步可以通过构建完整数学模型或有监督学习算法的方式构建能实现较精确数据处理的人工神经网络，保证了输出的精确性。
本发明第二实施例提供一种人工神经网络与脉冲神经网络神经的混合通信方法，包括：判断进行通信的神经网络基本计算单元110中发送方与接收方的数据类型是否一致，若一致则进行数据传输，若不一致，则执行数据格式转换，将发送方发送的数据类型转换为与接收方相同的数据类型，并进行数据传输。人工神经网络的数据类型为数值，脉冲神经网络的数据类型为脉冲序列。
具体地，在执行所述数据格式转换的过程中，若发送方为所述人工神经网络计算单元，接收方为脉冲神经网络计算单元，则将人工神经网络的数值格式输出转换为脉冲序列输入脉冲神经网络；若发送方为脉冲神经网络计算单元，接收方为人工神经网络计算单元，则将脉冲神经网络的脉冲序列格式输出转换为数值输入人工神经网络。
不同类型的基本计算单元110数据输入输出的格式有所差异。人工神经网络基于数值运算，输入输出都为数值，脉冲神经网络基于脉冲序列运算，输入输出都为脉冲序列。将不同类型的基本计算单元110集成到同一混合计算结构中，需要解决相互间通信的问题。即需要提供一种人工神经网络与脉冲神经网络神经的混合通信方法，使得人工神经网络计算单元的数值格式输出可以被脉冲神经网络计算单元接受，以及脉冲神经网络计算单元的脉冲序列格式输出可以被人工神经网络计算单元接受。
请参见图9，本发明某一实施例中，所述脉冲神经网络单元为数据接收方，所述人工神经网络单元为数据发送方，所述通信过程为：将人工神经网络计算单元输出的数值量转换为对应频率的脉冲序列，并将该脉冲序列作为脉冲神经网络计算单元的输入，所述对应频率是指转换后的脉冲序列的频率与数值量的大小成正比。
本发明某一实施例中，所述人工神经网络单元为数据接收方，所述脉冲神经网络单元为数据发送方，所述通信过程为：将脉冲神经网络的脉冲序列格式输出转换为对应大小的数值量，并将该数值量作为作为人工神经网络的输入。根据脉冲神经网络脉冲序列编码方式的不同，又可以分为以下4种情况：
请参见图10，脉冲序列采用频率编码，网络输出有效信息只由脉冲频率表示。当脉冲神经网络采用这种编码方式时，将频率编码的脉冲序列转换为数值量的方法是：将脉冲序列转换为对应数值的数值量，所述对应数值是指数值量的大小与脉冲序列的频率成正比，亦即上述从人工神经网络到脉冲神经网络的通信方法的逆过程。
请参见图11，脉冲序列为群体编码，多个神经元的输出共同表征同一信息，有效信息为同一时刻发出尖峰脉冲的神经元数。当脉冲神经网络采用这种编码方式时，对应的通信方法为：将同一时刻的发送尖峰脉冲的神经元数转换为对应的数值，数值的大小与发放尖峰脉冲的神经元数成正比。
请参见图12，脉冲序列为时间编码，有效信息为神经元发出尖峰脉冲的时间。当脉冲神经网络采用这种编码方式时，对应的通信方法为：将神经元发送尖峰脉冲的时间转换为对应的数值，数值的大小与尖峰脉冲发放时间成指数函数关系。
请参见图13，脉冲序列为二值编码，有效信息为在一定时间内神经元是否发放尖峰脉冲。当脉冲神经网络采用这种编码方式时，对应的通信方法为：若在限定时间内发放尖峰脉冲，则数值为1，否则数值为0。
本发明第二实施例提供的人工神经网络与脉冲神经网络神经的混合通信方法实现了人工神经网络与脉冲神经网络的直接通信，可以在此基础上实现上述两种神经网络的混合运算。
请参见图14，本发明第三实施例提供一种多模态神经形态网络核210a，包括：模式寄存器211、轴突输入单元212、突触权重存储单元213、树突单元214和神经元计算单元215。
本实施例中，所述多模态神经形态网络核210a有a条输入轴突、b条树突和b个神经元胞体，每条轴突分别与a条树突连接，每个连接点处为一个突触，共有a×b个突触，连接权重即为突触权重。每条树突对应一个神经元胞体。因此该多模态神经形态网络核210a最大能承载的网络规模为a输入×b神经元。其中a、b都为大于0的整数，a、b的取值一般根据实际应用而定。a最小可取为1，最大值为受限于硬件资源，包括存储资源、逻辑资源等，能实现的单个神经形态网络核最大轴突输入数；b最小可取1，最大值在受限于硬件资源的同时，还受限于每个神经形态网络核在单个触发信号周期能执行的神经元运算总次数。本实施例中a与b的取值均为256。可以理解，在实际应用中，上述输入轴突、树突和神经元胞体的具体数目可以依具体情况而进行调整。
所述模式寄存器211控制所述多模态神经形态网络核210a的运行模式。所述模式寄存器211与所述轴突输入单元212、树突单元214以及神经元计算单元215连接，控制上述单元的运行在人工神经网络模式或脉冲神经网络模式。所述模式寄存器211的宽度为1位，其寄存器值可以通过用户配置。
所述轴突输入单元212与所述树突单元214连接。所述轴突输入单元212接收a条轴突输入并存储。本实施例中，每条轴突有16位的存储单元。当运行在脉冲神经网络模式时，每条轴突的输入都为1位的尖峰脉冲，所述存储单元存储了16个时间步的轴突输入。当运行在人工神经网络模式时，每条轴突的输入都为8位的有符号数，所述存储单元存储一个时间步的8位轴突输入。
所述突触权重存储单元213与所述树突单元214连接，所述突触权重存储单元213存储a×b个突触权重，本实施例中，所述突触权重为8位的有符号数。
所述树突单元214的输入端连接所述轴突输入单元212与突触权重存储单元213，输出端连接所述神经元计算单元215。所述树突单元214执行a个轴突输入向量与a×b突触权重矩阵的向量矩阵乘法运算，运算获得的a个计算结果即为对a个神经元的轴突输入。所述树突单元214包括树突乘加单元214a与树突累加单元214b。当运行在人工神经网络模式时，所述轴突输入向量与突触权重矩阵送入所述树突乘加单元214a进行乘加运算，向量矩阵乘法通过乘法器和累加器实现。当运行在脉冲神经网络模式时，所述轴突输入向量与突触权重矩阵送入所述树突累加单元进行累加运算，此时，轴突输入为1位，向量矩阵乘法通过数据选择器和累加器实现。
所述神经元计算单元215用于执行神经元计算，包括第一计算单元215a与第二计算单元215b。当运行在人工神经网络模式时，所述树突乘加单元214a发来的乘加运算结果送入所述第一计算单元215a进行人工神经网络运算。本实施例中神经元通过一个1024×8位的查找表实现任意非线性函数功能，输出为8位数值。当运行在脉冲神经网络模式时，所述树突累加单元214b发来的累加运算结果送入所述第二计算单元215b进行脉冲神经网络计算。本实施例中的神经元为积分-泄漏-点火(LIF)模型，输出为尖峰脉冲信号和当前膜电位。
所述多模态神经形态网络核210a进一步包括触发信号计数器216，所述触发信号计数器216接收触发信号并记录触发信号数，即当前时间步。所述触发信号为固定周期的时钟信号，本实施例中周期为1ms。
所述多模态神经形态网络核210a进一步包括控制器217。所述控制器217与所述轴突输入单元212、突触权重存储单元213、树突单元214、神经元计算单元215连接，所述控制器217控制上述轴突输入单元212、突触权重存储单元213、树突单元214、神经元计算单元215的运行时序。此外所述控制器217还负责控制所述多模态神经形态网络核210a的启动和终止，所述控制器217在所述触发信号上升沿启动所述多模态神经形态网络核210a运算并控制运算流程。
以下将分别介绍所述多模态神经形态网络核210a的脉冲神经网络运行模式与人工神经网络运行模式。
请参见图15，所述多模态神经形态网络核210a运行在人工神经网络模式，该模式下所述轴突输入单元212接收的轴突输入为16位的数据包，其中包括8位目标轴突序号(0～255)和8位输入(有符号数-128～127)。此时所述轴突输入单元212的存储器256×8位，该存储器记录256条轴突上的8位输入。
所述突触权重存储单元213存储256×256个突触权重值，每个突触权重值为8位的有符号数。
所述树突乘加单元214a包括乘法器和加法器，每时间步逐神经元计算其树突上256维突触权重向量与256维轴突输入向量的乘积，并将计算结果作为所述第一计算单元215a的输入。
所述第一计算单元215a执行人工神经网络中神经元的非线性/线性激活函数计算。在使用前，首先根据该神经形态网络所使用的激活函数，计算出对于值为0～1023输入对应的8位输出，并将上述计算结果存入神经元计算单元的查找表存储内。在运行时，将来自所述树突乘加单元214a的树突乘加结果作为查找表的地址输入，查找表该地址所存储的8位输出即为神经元输出。
请参见图16，人工神经网络模式下，所述多模态神经形态网络核210a一个时间步的运行流程包括以下步骤：
S11，检测到触发信号后，所述触发信号计数器216循环自加1，所述控制器217启动多模态神经形态网络核210a运行；
S12，所述轴突输入单元212根据所述触发信号计数器216的值读出当前时间步轴突输入向量，并发送到所述树突乘加单元214a，所述突触权重存储单元213依次读出1～256号神经元树突突触权重向量，并发送到所述树突乘加单元214a；
S13，所述树突乘加单元214a按照输入顺序依次计算所述轴突输入向量与所述1～256号神经元树突突触权重向量乘积，并发送到所述第一计算单元215a；
S14，所述第一计算单元215a将所述树突乘加单元214a的输出作为查找表地址，得出神经元输出；
S15，所述控制器217停止该多模态神经形态网络核210a运行，并返回步骤S11。
请参见图17，所述多模态神经形态网络核210a运行在脉冲神经网络模式，该模式下所述轴突输入单元212接收的轴突输入为12位的数据包，其中包括8位目标轴突序号(0～255)和4位延时信息(0～15)。所述延时信息表示该输入生效的时间步与当前时间步的差值。此时所述轴突输入单元212的存储器为256×16位，该存储器记录256条轴突上当前及之后共16个时间步的输入。若某位为1，则对应轴突在对应时间步上激活，即输入为1；若某位为0，则对应轴突在对应时间步上不激活，即输入为0。
所述突触权重存储单元213存储256×256个突触权重值，每个突触权重值为8位的有符号数。
所述树突累加单元214b包括数据选择器和加法器，依次计算每条树突上当前时间步所有激活突触的权重和，并将计算结果作为所述神经元计算单元215中第二计算单元215b的输入。
所述第二计算单元215b用于进行脉冲神经网络计算，本实施例中的神经元为积分-泄漏-点火(LIF)模型。所述第二计算单元215b进一步包括：树突拓展存储单元2151、参数存储单元2152和积分泄漏计算单元2153。在每个时间步，所述第二计算单元215b依次运行256次，通过时分复用的方式实现256个神经元的运算。其中所述树突拓展存储单元2151包含256个存储单元，用于接收外界发来的树突拓展输入数据包，所述树突拓展输入数据包包括发送端神经元膜电位值和目标神经元序号，并根据神经元序号将发送端神经元膜电位值存储到对应存储单元。所述参数存储单元2152包含256个存储单元，存储了256个神经元的膜电位、阈值和泄漏值。所述积分泄漏计算单元2153依次对每个神经元执行积分-泄漏-点火操作，当膜电位超过正阈值时，输出尖峰脉冲信号和当前膜电位值。其中所述积分-泄漏-点火操作如下：
膜电位＝原膜电位+树突输入+树突拓展输入—泄漏值
如果膜电位大于正阈值，则发出尖峰脉冲信号和膜电位值，并将膜电位清零。如果膜电位小于负阈值，则不发送信号并将膜电位清零。
请参见图18，所述多模态神经形态网络核210a的脉冲神经网络模式一个时间步的运行流程包括以下步骤：
S21，检测到触发信号后，所述触发信号计数器216循环自加1，所述控制器217启动多模态神经形态网络核210a运行；
S22，所述轴突输入单元212根据所述触发信号计数器216的值读出当前时间步轴突输入向量，并发送到所述树突累加单元214b，所述突触权重存储单元213依次读出1～256号神经元的树突突触权重向量，并发送到所述树突累加单元214b；
S23，所述树突累加单元214b按照输入顺序依次计算所述轴突输入向量与所述1～256号神经元树突突触权重向量乘积，并发送到所述第二计算单元215b；
S24，所述第二计算单元215b依次从所述参数存储单元2152中读出1～256号号神经元参数，并与来自所述树突累加单元214b的输入值进行计算，输出尖峰脉冲信号和当前膜电位；
S25，神经元计算结束后，所述控制器217停止该多模态神经形态网络核210a运行，并返回步骤S21。
进一步地，可以将本实施例提供的多模态神经形态网络核210a的基础上得到两种单模态神经形态网络核。一种运行在人工神经网络模式下的单模态神经形态网络核，包括：轴突输入单元212、突触权重存储单元213、树突乘加单元214a以及第一计算单元215a。一种运行在脉冲神经网络模式下的单模态神经形态网络核，包括：轴突输入单元212、突触权重存储单元213、树突累加单元214b以及第二计算单元215b。上述两种单模态神经形态网络核均是在第三实施例的基础上做了相应的简化，内部各单元的具体连接结构及功能可以参照本发明第三实施例。
可以理解，本发明第三实施例所提供的多模态神经形态网络核210a以及两种单模态神经形态网络核可以作为本发明第一实施例人工神经网络和脉冲神经网络的混合计算系统100中的基本计算单元110。
本发明第三实施例提供的多模态神经形态网络核210a既可以进行人工神经网络运算，也可以进行脉冲神经网络运算，且可以按照需要在人工神经网络运行模式和脉冲神经网络运行模式间切换，能够进行实时快速、多模态或复杂时空信号计算并能保证计算的精确度。
请参见图19，本发明第四实施例提供一种人工神经网络和脉冲神经网络的混合系统200，包括：多个神经形态网络核210以及与该多个神经形态网络核一一对应的多个路由节点220，所述多个路由节点220构成m×n网状结构的路由网络，其中，m、n均为大于0的整数。将该m×n阵列中行方向定义为X方向，列方向定义为Y方向，每对神经形态网络核210与路由节点220都有一个唯一的本地XY坐标。
所述神经形态网络核210与路由节点220一一对应，是指每个神经形态网络核210对应于一个路由节点220，每个路由节点220对应于一个神经形态网络核210。相互对应的一对神经形态网络核210与路由节点220中，神经形态网络核210称为路由节点220的本地神经形态网络核，路由节点220称为神经形态网络核210的本地路由节点。所述神经形态网络核210的输入都来自其本地路由节点，神经元计算结果也会发送到该本地路由节点，进而通过路由网络输出或者发送到目标神经形态网络核。
本实施例中，所述神经形态网络核210及路由节点220的数量为9个，所述9个路由节点220构成3×3网状结构的路由网络。
所述神经形态网络核210可以为单模态神经形态网络核，也可以为多模态神经形态网络核，例如本发明第三实施例提供的多模态神经形态网络核210a。所谓单模态神经形态网络核是指该神经形态网络核只能运行在人工神经网络模式或脉冲神经网络模式；所谓多模态神经形态网络核是指该神经形态网络核有两种运行模式：人工神经网络模式和脉冲神经网络模式，可以通过配置自身参数实现在上述两种运行模式之间切换，每个多模态神经形态网络核都可以单独的配置运行模式。
所述神经形态网络核210有多个神经元单元和多个轴突输入。本实施例中，所述神经形态网络核210有256个神经元单元和256个轴突输入，最大能承担包含256个神经元的神经网络运算。如果要实现的神经网络规模大于256个神经元，则需要通过路由网络实现将多个神经形态网络核210在拓扑结构上连接到一起，每个神经形态网络核210承担一部分神经网络运算，共同组成一个大的神经网络。本实施例所提供的混合系统200有9个神经形态网络核210，最大能承担包含2304个神经元的神经网络计算，所述神经网络计算可以为人工神经网络运算、脉冲神经网络运算或者人工神经网络与脉冲神经网络的混合网络运算。
当所述神经形态网络核210运行在人工神经网络模式下时，该神经形态网络核210中的256个神经元单元的计算结果都为8位的数值；当神经形态网络核210运行在脉冲神经网络模式下时，该神经形态网络核210中的256个神经元的单元的计算结果都为1位的尖峰脉冲。无论运行在哪种模式下，神经元的单元的计算结果都会直接发送到该神经形态网络核210的本地路由节点。
所述多个路由节点220组成网状结构的路由网络，该路由网络承担数据传输功能，所述数据传输包括：系统输入、系统输出以及神经形态网络核210间的传输，其中神经形态网络核210间传输又分为相同模式神经形态网络核间的数据传输以及的不同模式神经形态网络核间的数据传输。所述路由网络中的任一路由节点220都可以用一个唯一且确定的XY平面坐标表示。本实施例中，9个路由节点220构成3×3的阵列，将阵列中行方向定义为X方向，列方向定义为Y方向，所述每一路由节点220可以与其在X正方向、X负方向、Y正方向、Y负方向相邻的路由节点直接进行数据传输，形成网格拓扑结构。可以理解，所述网格拓扑结构除了上述的网状结构外，也可以为星型结构、总线型结构等其他常见结构。
所述路由网络传输的数据包括：系统输入数据、系统输出数据以及神经形态网络核210间传输的数据。上述数据按照预先设定的路由规则在路由网络内进行传输。本实施例中路由规则为：数据首先沿X方向进行传输，到达目标X坐标路由节点后再沿Y方向输出，直到到达目标XY坐标的路由节点。如果用(x0,y0)表示起始路由节点的坐标，(x1,y1)表示目标路由节点的坐标，上述路由规则即为：(x0,y0)→(x1,y0)→(x1,y1)。可以理解，在实际应用中，也可以根据具体的情况设定不同的路由规则。
以下分别介绍系统输入、系统输出以及神经形态网络核210间传输的实现过程。
所述系统输入数据的传输过程为：系统输入数据首先输入到路由网络最外围的任一路由节点，之后会通过路由网络按照上述路由规则发送到目标神经形态网络核。
所述系统输出数据的传输过程为：所述神经形态网络核210的计算结果首先发送到本地路由节点，之后通过路由网络按照上述路由规则发送到路由网络最外围的任一路由节点，再由该路由节点发送到系统外，完成系统输出。
所述神经形态网络核210间传输的过程为：所述神经形态网络核210的计算结果首先发送到本地路由节点，之后通过路由网络按照上述路由规则发送到目标路由节点，再由该目标路由节点发送到其本地神经形态网络核，完成神经形态网络核210间的数据传输。
请参见图20，所述路由节点220包含带有多个存储单元的路由表，该路由表的每个存储单元对应本地神经形态网络核的一个神经元单元。所述存储单元存储了对应神经元单元输出的目的神经形态网络核的XY坐标地址、目标轴突输入序号和延时信息。本实施例中神经形态网络核210包含256个神经元单元，所述路由表中存储单元的个数也为256个。
本实施例中，所述系统输入数据、系统输出数据以及神经形态网络核210间通信的数据均以32位路由数据包的形式在路由节点220间传输。图21所示为上述路由数据包的格式，该路由数据包中包含6位目标神经形态网络核X方向地址、6位目标神经形态网络核Y方向地址、4位轴突延时、8位目标轴突输入序号和8位数据，共计32位数据。其中，4位的轴突延时当目标神经形态网络核运行在脉冲神经网络模式下有效，8位数据为人工神经网络模式下神经元的输出。
所述路由节点220发到本地神经形态网络核的数据包为从上述32位路由数据包中截取的4位轴突延时、8位目标轴突输入序号和8位数据，共计20位数据。对于运行在人工神经网络模式下的神经形态网络核210，接收到来自本地路由节点的数据包后，将8位数据作为对应序号轴突的输入。对于运行在脉冲神经网络模式下的神经形态网络核210，接收到来自本地路由节点的数据包后，将对应序号轴突在对应延时之后的输入置1。
请参见图22，所述路由节点220的工作流程包括：
S1，所述路由节点220接收到来自经本地神经形态网络核的神经元计算结果；
S2，所述路由节点220从路由表中读出相应神经元的路由信息，并将该路由信息与所述神经元计算结果组合为路由数据包；
S3，所述路由节点220判断所述路由数据包的发送方向，依照判断结果发送该路由数据包。
步骤S1中，当运行在人工神经网络模式下，所述神经元计算结果为输出数据；当运行在人工神经网络模式下，所述神经元计算结果为尖峰脉冲。
步骤S3中，所述路由数据包中包括目标神经形态网络核在X方向的相对地址x以及在Y方向的相对地址y。所述路由节点220根据x与y的数值判断所述路由数据包的发送方向，具体为：当x>0时，将所述路由数据包发送给X正方向相邻的路由节点，当x<0时，将所述路由数据包发送给X负方向相邻的路由节点，当y>0时，将所述路由数据包发送给Y正方向相邻的路由节点，当y<0时，将所述路由数据包发送给Y负方向相邻的路由节点，当x＝y＝0时，将所述路由数据包直接发送回该路由节点220的本地神经形态网络核。下一路由节点接收到上一路由节点发来的路由数据包后，对该路由数据包中的相对地址进行修正，具体为：若x<0，则令修正后的相对地址x′＝x+1，若x>0，则令修正后的相对地址x′＝x-1，若y<0，则令修正后的相对地址y′＝y+1，若y>0，则令修正后的相对地址y′＝y-1。所述相对地址每经过一个路由节点220进行一次修正，直至x＝y＝0。
本实施例中，首先进行X方向的判断与发送，当X方向发送结束后，即x′＝0，再进行另一方向的判断与发送，直到将路由数据包发送至目标神经形态网络核。
本发明第四实施例提供的人工神经网络和脉冲神经网络的混合系统200结合了人工神经网络和脉冲神经网络两种神经网络的计算模式，既具有脉冲神经网络的复杂时空信号处理能力，又能充分利用人工神经网络丰富且强大的计算能力，能进行实时快速、多模态或复杂时空信号计算并能保证计算的精确度。
另外，本领域技术人员还可在本发明精神内做其他变化，当然，这些依据本发明精神所做的变化，都应包含在本发明所要求保护的范围之内。
Claims (12)
1.一种人工神经网络和脉冲神经网络的混合计算系统，其特征在于，包括：至少两个基本计算单元，该至少两个基本计算单元中，至少一个为人工神经网络计算单元，承担人工神经网络计算，至少一个为脉冲神经网络计算单元，承担脉冲神经网络计算，该至少两个基本计算单元按照拓扑结构相互连接，共同实现神经网络计算功能；其中所述基本计算单元包括两种运行模式：人工神经网络模式与脉冲神经网络模式，所述基本计算单元通过配置自身参数在上述两种运行之间切换。
2.如权利要求1所述的人工神经网络和脉冲神经网络的混合计算系统，其特征在于，每一基本计算单元中包括多个神经元，该多个神经元之间通过突触连接，组成单层或多层结构。
3.如权利要求1所述的人工神经网络和脉冲神经网络的混合计算系统，其特征在于，进一步包括至少一个格式转换单元，用于对所述基本计算单元输出数据进行格式转换。
4.如权利要求1所述的人工神经网络和脉冲神经网络的混合计算系统，其特征在于，所述拓扑结构包括串联结构、并联结构、并行连接、反馈结构、学习结构中的至少一种。
5.如权利要求4所述的人工神经网络和脉冲神经网络的混合计算系统，其特征在于，所述串联结构包括两个基本计算单元，分别为第一基本计算单元与第二基本计算单元，所述第一基本计算单元的输出端连接第二基本计算单元的输入端，系统输入首先经过第一基本计算单元处理，处理后的结果作为第二基本计算单元的输入，第二基本计算单元处理后的结果为系统输出。
6.如权利要求4所述的人工神经网络和脉冲神经网络的混合计算系统，其特征在于，所述并联结构包括两个基本计算单元，分别为第一基本计算单元与第二基本计算单元，所述第一基本计算单元的输入端连接所述第二基本计算单元的输入端，所述第一基本计算单元的输出端连接所述第二基本计算单元的输出端，所述两个基本计算单元同时对系统输入进行并行处理，并将各自的处理结果进行汇总，作为系统输出。
7.如权利要求4所述的人工神经网络和脉冲神经网络的混合计算系统，其特征在于，所述并联结构包括两个基本计算单元，分别为第一基本计算单元与第二基本计算单元，所述第一基本计算单元的输入端与第二基本计算单元的输入端各自独立，所述第一基本计算单元的输出端连接所述第二基本计算单元的的输出端，系统输入分为输入1与输入2两个部分，其中输入1送入所述第一基本计算单元，输入2送入所述第二基本计算单元，所述两个基本计算单元元同时对系统输入进行并行处理，并将各自的处理结果进行汇总，作为系统输出。
8.如权利要求4所述的人工神经网络和脉冲神经网络的混合计算系统，其特征在于，所述反馈结构包括两个神经网络计算单元，分别为第一基本计算单元与第二基本计算单元，系统输入经所述第一基本计算单元处理后输出，输出结果作为所述第二基本计算单元的输入，所述第二基本计算单元的输出作为反馈值输入到所述第一基本计算单元。
9.如权利要求4所述的人工神经网络和脉冲神经网络的混合计算系统，其特征在于，所述学习结构包括两个基本计算单元，以及一个学习单元，所述两个基本计算单元分别为第一基本计算单元与第二基本计算单元，系统输入经第一基本计算单元处理后获得实际输出，将该实际输出与目标输出的差值输入到学习单元，所述学习单元根据该差值调整所述第二基本计算单元的参数，所述第二基本计算单元的输出作为所述第一基本计算单元的参数，所述参数包括网络结构参数、突触权重参数。
10.如权利要求4所述的人工神经网络和脉冲神经网络的混合计算系统，其特征在于，所述学习结构包括两个基本计算单元以及一个学习单元，所述两个基本计算单元分别为第一基本计算单元与第二基本计算单元，系统输入经第一基本计算单元处理后获得实际输出，将该实际输出与目标输出的差值输入到学习单元，所述学习单元根据该差值调整所述第二基本计算单元的参数，并根据该第二基本计算单元的输出调整所述第一基本计算单元的参数，所述参数包括网络结构参数、突触权重参数。
11.如权利要求9或10所述的人工神经网络和脉冲神经网络的混合计算系统，其特征在于，所述学习单元内的学习算法为BP算法。
12.如权利要求1所述的人工神经网络和脉冲神经网络的混合计算系统，其特征在于，所述基本计算单元包括：模式寄存器、轴突输入单元、突触权重存储单元、树突单元和神经元计算单元；
所述模式寄存器与所述轴突输入单元、树突单元以及神经元计算单元连接，控制上述单元运行在人工神经网络模式或脉冲神经网络模式；
所述轴突输入单元与所述树突单元连接，接收并存储轴突输入；
所述突触权重存储单元与所述树突单元连接，存储突触权重矩阵；
所述树突单元与所述神经元计算单元连接，包括树突乘加单元与树突累加单元，运行在人工神经网络模式时，所述轴突输入向量与突触权重矩阵送入所述树突乘加单元进行乘加运算，运行在脉冲神经网络模式时，所述轴突输入向量与突触权重矩阵送入所述树突累加单元进行累加运算；
所述神经元计算单元包括第一计算单元与第二计算单元，运行在人工神经网络模式时，所述树突乘加单元发来的乘加运算结果送入所述第一计算单元进行人工神经网络运算，运行在脉冲神经网络模式时，所述树突累加单元发来的累加运算结果送入所述第二计算单元进行脉冲神经网络计算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510419414.2A CN105095966B (zh) | 2015-07-16 | 2015-07-16 | 人工神经网络和脉冲神经网络的混合计算系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510419414.2A CN105095966B (zh) | 2015-07-16 | 2015-07-16 | 人工神经网络和脉冲神经网络的混合计算系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105095966A CN105095966A (zh) | 2015-11-25 |
| CN105095966B true CN105095966B (zh) | 2018-08-21 |
Family
ID=54576340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510419414.2A Active CN105095966B (zh) | 2015-07-16 | 2015-07-16 | 人工神经网络和脉冲神经网络的混合计算系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105095966B (zh) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111353588B (zh) * | 2016-01-20 | 2024-03-05 | 中科寒武纪科技股份有限公司 | 用于执行人工神经网络反向训练的装置和方法 |
| CN111353589B (zh) * | 2016-01-20 | 2024-03-01 | 中科寒武纪科技股份有限公司 | 用于执行人工神经网络正向运算的装置和方法 |
| CN105719000B (zh) * | 2016-01-21 | 2018-02-16 | 广西师范大学 | 一种神经元硬件装置及用这种装置模拟脉冲神经网络的方法 |
| KR102565273B1 (ko) * | 2016-01-26 | 2023-08-09 | 삼성전자주식회사 | 뉴럴 네트워크에 기초한 인식 장치 및 뉴럴 네트워크의 학습 방법 |
| US10990872B2 (en) * | 2016-03-31 | 2021-04-27 | International Business Machines Corporation | Energy-efficient time-multiplexed neurosynaptic core for implementing neural networks spanning power- and area-efficiency |
| JP6913388B2 (ja) * | 2016-05-19 | 2021-08-04 | 国立大学法人東京工業大学 | ニューラルネットワーク回路及びニューラルネットワーク集積回路 |
| CN106201651A (zh) * | 2016-06-27 | 2016-12-07 | 鄞州浙江清华长三角研究院创新中心 | 神经形态芯片的模拟器 |
| CN107783912A (zh) | 2016-08-26 | 2018-03-09 | 北京中科寒武纪科技有限公司 | 一种支持多数据流的tlb装置和tlb模块的更新方法 |
| CN106875004B (zh) * | 2017-01-20 | 2019-09-10 | 北京灵汐科技有限公司 | 复合模式神经元信息处理方法和系统 |
| CN106815638B (zh) * | 2017-01-20 | 2020-03-27 | 北京灵汐科技有限公司 | 输入权重拓展的神经元信息处理方法和系统 |
| CN106845632B (zh) * | 2017-01-25 | 2020-10-16 | 清华大学 | 脉冲神经网络信息转换为人工神经网络信息的方法和系统 |
| CN106845633B (zh) * | 2017-01-25 | 2021-07-09 | 北京灵汐科技有限公司 | 神经网络信息转换方法和系统 |
| CN109214507A (zh) * | 2017-06-29 | 2019-01-15 | 上海寒武纪信息科技有限公司 | 计算装置及方法 |
| CN107578097A (zh) * | 2017-09-25 | 2018-01-12 | 胡明建 | 一种多阀值多函数反馈人工神经元的设计方法 |
| CN108171326B (zh) * | 2017-12-22 | 2020-08-04 | 清华大学 | 神经网络的数据处理方法、装置、芯片、设备和存储介质 |
| CN110337658A (zh) * | 2018-04-26 | 2019-10-15 | 深圳市大疆创新科技有限公司 | 神经网络加速装置与方法 |
| WO2019238483A1 (en) * | 2018-06-11 | 2019-12-19 | Inait Sa | Characterizing activity in a recurrent artificial neural network and encoding and decoding information |
| US11200484B2 (en) * | 2018-09-06 | 2021-12-14 | International Business Machines Corporation | Probability propagation over factor graphs |
| CN109491956B (zh) * | 2018-11-09 | 2021-04-23 | 北京灵汐科技有限公司 | 一种异构协同计算系统 |
| CN109858620B (zh) * | 2018-12-29 | 2021-08-20 | 北京灵汐科技有限公司 | 一种类脑计算系统 |
| CN109816026B (zh) * | 2019-01-29 | 2021-09-10 | 清华大学 | 卷积神经网络和脉冲神经网络的融合装置及方法 |
| CN109901878B (zh) | 2019-02-25 | 2021-07-23 | 北京灵汐科技有限公司 | 一种类脑计算芯片及计算设备 |
| CN110188872B (zh) * | 2019-06-05 | 2021-04-13 | 北京灵汐科技有限公司 | 一种异构协同系统及其通信方法 |
| CN110909869B (zh) * | 2019-11-21 | 2022-08-23 | 浙江大学 | 一种基于脉冲神经网络的类脑计算芯片 |
| CN112257846A (zh) * | 2020-10-13 | 2021-01-22 | 北京灵汐科技有限公司 | 神经元模型、拓扑结构、信息处理方法和视网膜神经元 |
| CN112561057B (zh) * | 2020-12-09 | 2022-12-20 | 清华大学 | 一种状态控制方法及装置 |
| CN112686381A (zh) | 2020-12-30 | 2021-04-20 | 北京灵汐科技有限公司 | 神经网络模型、方法、电子设备及可读介质 |
| CN113607628B (zh) * | 2021-09-02 | 2023-02-10 | 清华大学 | 神经形态计算驱动图像流式细胞仪对细胞图像流处理方法 |
| KR20230096657A (ko) * | 2021-12-23 | 2023-06-30 | 한국전자기술연구원 | Snn/cnn 동시 구동이 가능한 데이터 처리 시스템 및 방법 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1076536A (zh) * | 1992-03-13 | 1993-09-22 | 皮尔金顿电子有限公司 | 改进的模拟数字神经元、神经网络及网络调试算法 |
| CN101997538A (zh) * | 2009-08-19 | 2011-03-30 | 中国科学院半导体研究所 | 基于脉冲耦合的硅纳米线cmos神经元电路 |
| JP4925235B2 (ja) * | 2001-09-25 | 2012-04-25 | 独立行政法人理化学研究所 | 脳の精神的な機能をモデル化した人工ニューラルネットワーク構造の形成方法 |
| CN103201610A (zh) * | 2010-10-29 | 2013-07-10 | 国际商业机器公司 | 带有使用模拟学习的突触权重的神经形态-突触器脉冲神经网络 |
| CN104145281A (zh) * | 2012-02-03 | 2014-11-12 | 安秉益 | 神经网络计算装置和系统及其方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7496546B2 (en) * | 2003-03-24 | 2009-02-24 | Riken | Interconnecting neural network system, interconnecting neural network structure construction method, self-organizing neural network structure construction method, and construction programs therefor |
-
2015
- 2015-07-16 CN CN201510419414.2A patent/CN105095966B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1076536A (zh) * | 1992-03-13 | 1993-09-22 | 皮尔金顿电子有限公司 | 改进的模拟数字神经元、神经网络及网络调试算法 |
| JP4925235B2 (ja) * | 2001-09-25 | 2012-04-25 | 独立行政法人理化学研究所 | 脳の精神的な機能をモデル化した人工ニューラルネットワーク構造の形成方法 |
| CN101997538A (zh) * | 2009-08-19 | 2011-03-30 | 中国科学院半导体研究所 | 基于脉冲耦合的硅纳米线cmos神经元电路 |
| CN103201610A (zh) * | 2010-10-29 | 2013-07-10 | 国际商业机器公司 | 带有使用模拟学习的突触权重的神经形态-突触器脉冲神经网络 |
| CN104145281A (zh) * | 2012-02-03 | 2014-11-12 | 安秉益 | 神经网络计算装置和系统及其方法 |
Non-Patent Citations (2)
| Title |
|---|
| "A Spike-Timing-Based Integrated Model";Hu Jun etal.;《Neural Computation》;20121130;第451-472页 * |
| "Model-Based Online Learning With Kernels";Li Guoqi etal.;《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》;20130331;第356-369页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105095966A (zh) | 2015-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105095966B (zh) | 人工神经网络和脉冲神经网络的混合计算系统 | |
| CN105095967B (zh) | 一种多模态神经形态网络核 | |
| CN105095961B (zh) | 一种人工神经网络和脉冲神经网络的混合系统 | |
| CN105095965B (zh) | 人工神经网络和脉冲神经网络神经的混合通信方法 | |
| Stromatias et al. | Scalable energy-efficient, low-latency implementations of trained spiking deep belief networks on spinnaker | |
| Ferreira et al. | An approach to reservoir computing design and training | |
| Sarkar et al. | Artificial neural networks for event based rainfall-runoff modeling | |
| Sayama et al. | Modeling complex systems with adaptive networks | |
| Ishibuchi et al. | Fuzzy neural networks with fuzzy weights and fuzzy biases | |
| CN107423839A (zh) | 一种基于深度学习的智能楼宇微网负荷预测的方法 | |
| CN108446761A (zh) | 一种神经网络加速器及数据处理方法 | |
| Su et al. | A novel fuzzy modeling structure-decomposed fuzzy system | |
| Garrido et al. | Event and time driven hybrid simulation of spiking neural networks | |
| James | Towards strong AI with analog neural chips | |
| Wan et al. | Efficient neuron architecture for FPGA-based spiking neural networks | |
| CN109543879A (zh) | 基于神经网络的负荷预测方法及装置 | |
| JP6133517B2 (ja) | 座標変換のための位相コーディング | |
| Prado et al. | FPGA based implementation of a Fuzzy Neural Network modular architecture for embedded systems | |
| Wan et al. | Layered tile architecture for efficient hardware spiking neural networks | |
| Wang et al. | Convolution neural network based load model parameter selection considering short-term voltage stability | |
| Stork et al. | Surrogate-assisted learning of neural networks | |
| Yu et al. | A note on spiking neural P systems with homogenous neurons and synapses | |
| Deng et al. | The implementation of feedforward network on field programmable gate array | |
| Sambatti et al. | Self-configured neural network for data assimilation using FPGA for ocean circulation | |
| Chen et al. | Neural-network-based cooperative adaptive identification of nonlinear systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20180212 Address after: 100036 Beijing city Haidian District West Sanhuan Road No. 10 wanghailou B block two layer 200-30 Applicant after: LYNXI TECHNOLOGIES Co.,Ltd. Address before: 100084 Beijing Beijing 100084-82 mailbox Applicant before: Tsinghua University |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Hybrid computing system of artificial neural network and impulse neural network Effective date of registration: 20230221 Granted publication date: 20180821 Pledgee: Beijing first financing Company limited by guarantee Pledgor: LYNXI TECHNOLOGIES Co.,Ltd. Registration number: Y2023980033082 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Granted publication date: 20180821 Pledgee: Beijing first financing Company limited by guarantee Pledgor: LYNXI TECHNOLOGIES Co.,Ltd. Registration number: Y2023980033082 |