CN112149815A - 用于大规模类脑计算网络的种群聚类及种群路由方法 - Google Patents

用于大规模类脑计算网络的种群聚类及种群路由方法 Download PDF

Info

Publication number
CN112149815A
CN112149815A CN202011046417.3A CN202011046417A CN112149815A CN 112149815 A CN112149815 A CN 112149815A CN 202011046417 A CN202011046417 A CN 202011046417A CN 112149815 A CN112149815 A CN 112149815A
Authority
CN
China
Prior art keywords
neurons
population
brain
routing
same
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011046417.3A
Other languages
English (en)
Other versions
CN112149815B (zh
Inventor
环宇翔
邹卓
郑立荣
丁宸
贾浩
闫钰龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai New Helium Brain Intelligence Technology Co ltd
Fudan University
Original Assignee
Shanghai New Helium Brain Intelligence Technology Co ltd
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai New Helium Brain Intelligence Technology Co ltd, Fudan University filed Critical Shanghai New Helium Brain Intelligence Technology Co ltd
Priority to CN202011046417.3A priority Critical patent/CN112149815B/zh
Publication of CN112149815A publication Critical patent/CN112149815A/zh
Application granted granted Critical
Publication of CN112149815B publication Critical patent/CN112149815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了用于大规模类脑计算网络的种群聚类及种群路由方法，涉及路由技术领域，所述类脑计算网络部署在多个CPU或GPU或可进行类脑计算的FPGA和ASIC芯片上，且由神经元及其之间的拓扑连接关系组成，将所述神经元划分为不同种群；所述种群内对应的所述神经元联系紧密；所述种群间对应的所述神经元联系稀疏；同一种群内的所述神经元放置于同一芯片上，且共用相同的路由条目和路由路径；不同种群内的所述神经元放置于同一芯片或不同芯片。本方法通过将神经元合理聚类为种群，有效地减少了跨片的通信频率和路由的存储开销，并提高了系统的效率。

Description

用于大规模类脑计算网络的种群聚类及种群路由方法
技术领域
本发明涉及类路由技术领域，尤其是用于大规模类脑计算网络的种群聚类及种群路由方法。
背景技术
类脑计算旨在创造并发展接近人类大脑的智能形式。通过参照大脑的结构、学习大脑的智能、模仿人脑的行为，机器可以在进行类脑计算时拥有一定的推理、记忆和分析能力，最终实现人脑能够完成的部分或全部功能。在发展类脑计算的过程中，亦能帮助我们更好地理解究竟是什么赋予了人类智能，甚至带来强人工智能或通用人工智能上的重大突破。
神经拟态计算是计算机科学、神经科学、生物学、心理学等诸多学科的交叉领域。其通过模仿神经元的生理学行为，复刻神经系统的网络结构，来构建完整的神经计算网络。神经拟态计算在器件层次模拟神经元，在结构层次模仿大脑，最终实现在智能层次逼近大脑。通过对神经拟态计算网络和大脑行为的同化，能够逐步构建并完善为数字化信息化的人脑，这有助于研究者更好地理解并分析大脑结构和功能。
脉冲神经网络是类脑计算的另一应用领域。它是被设计用于特定应用场景的弱人工智能，目的是实现一定的推断功能，被誉为第三代人工神经网络。脉冲神经网络也通过模仿神经元的行为搭建网络结构，神经元之间通过突触连接，通过脉冲在网络中传递信息。突触可塑性使得脉冲神经网络具有学习和记忆能力，以实现一定的网络功能。相较于传统人工智能网络，脉冲神经网络的信息编码方式更加稀疏化，体系结构也将时空信息紧密耦合在一起。这样的基础结构有望解决传统人工智能功耗极高的问题，为人工智能带来新的变革。
大规模类脑计算网络需要实现百万、千万甚至数以亿计的神经元，因此依赖于海量计算设备。计算网络往往部署在多个CPU、GPU、FPGA或ASIC上，以此来满足巨大的存储空间要求和突破带宽速率的瓶颈，实现对类脑计算网络的快速甚至实时模拟仿真。在类脑计算网络的跨芯片运行时，片间的通信带宽显著地低于片上带宽，因此跨片通信的带宽是系统的带宽瓶颈之一。在不干扰系统正常运行的情况下减少跨片通信的频率，能够显著提高系统性能。同时多芯片间往往需要进行脉冲信息的传递，因此跨芯片通信依赖于路由方法。随着神经元规模的增长，路由条目呈几何倍数增加，带来了巨大的存储负担。同时庞大路由条目的读取，也进一步加重了内存通道的负载，使得读取速率受限。因此，一种适应于大规模类脑计算网络的、可以减少跨芯片通信频率和路由存储开销的路由方法，对类脑计算的实施尤为重要。
发明内容
本发明针对现有技术的不足，提出用于大规模类脑计算网络的种群聚类及种群路由方法，通过对连接矩阵的矩阵重排将神经元划分为不同的种群。种群内部连接紧密，种群间连接稀疏。通过将同一种群内的神经元放置在同一芯片上，显著地减少了跨片通信的频率，提高系统的性能。本方法通过将神经元合理聚类为种群，有效地减少了跨片的通信频率和路由的存储开销，并提高了系统的效率。
为了实现上述发明目的，本发明提供以下技术方案：
用于大规模类脑计算网络的种群聚类及种群路由方法，所述类脑计算网络部署在多个CPU或GPU或可进行类脑计算的FPGA和ASIC芯片上，且由神经元及其之间的拓扑连接关系组成，将所述神经元划分为不同种群；所述种群内对应的所述神经元联系紧密；所述种群间对应的所述神经元联系稀疏；同一种群内的所述神经元放置于同一芯片上，且共用相同的路由条目和路由路径；不同种群内的所述神经元放置于同一芯片或不同芯片。
优选的，所述神经元之间通过脉冲信号传递信息，所述神经元之间构成的神经元网络的拓扑由连接矩阵表征。
优选的，所述神经元以种群为单元进行路由，同一种群群中的所述神经元发出和接受脉冲时，使用相同的路由路径。
优选的，所述将所述神经元划分为不同种群，具体为：通过稀疏连接矩阵的矩阵重排，将连接密集的一组所述神经元聚类为同一种群。
有益效果
本发明所提供的用于大规模类脑计算网络的种群聚类及种群路由方法，通过对连接矩阵的矩阵重排将神经元划分为不同的种群。种群内部连接紧密，种群间连接稀疏。通过将同一种群内的神经元放置在同一芯片上，显著地减少了跨片通信的频率，提高系统的性能。本方法通过将神经元合理聚类为种群，有效地减少了跨片的通信频率和路由的存储开销，并提高了系统的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明所述用于大规模类脑计算网络的种群聚类及种群路由方法的用于大规模类脑计算网络拓扑表示的连接矩阵示意图；
图2为本发明所述用于大规模类脑计算网络的种群聚类及种群路由方法中进行种群聚类前的连接矩阵可视化图和网络拓扑图以及种群聚类后的连接矩阵可视化图和网络拓扑图；
图3为本发明所述用于大规模类脑计算网络的种群聚类及种群路由方法中种群路由方法示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明使用的种群聚类方法，目标是减少跨芯片的通信频率。对于类脑计算网络的神经元拓扑，会呈现出短程连接密集，而长程连接稀疏且强的特点，这也是从生物神经系统的结构中习得的。这种类脑计算网络中的神经元拓扑本质上是一张有向图，可以由连接矩阵所表征。因为网络的连接关系从全局看来必然不是稠密的，因此连接矩阵为稀疏矩阵。根据这种类脑计算网络的特点，可以对连接矩阵进行矩阵重排，从而将神经元划分成一系列种群。并以减少跨芯片通信的频率，提高系统的效率。
如图1和2所示，用于大规模类脑计算网络的种群聚类及种群路由方法，用途为神经拟态计算，或脉冲神经网络的训练和推断，所述类脑计算网络部署在多个CPU或GPU或可进行类脑计算的FPGA和ASIC芯片上，需要进行跨芯片通信，且由神经元及其之间的拓扑连接关系组成，
将所述神经元划分为不同种群；具体的，通过稀疏连接矩阵的矩阵重排，将连接密集的一组所述神经元聚类为同一种群
所述种群内对应的所述神经元联系紧密；
所述种群间对应的所述神经元联系稀疏；
同一种群内的所述神经元放置于同一芯片上，且共用相同的路由条目和路由路径，以此减少路由条目存储开销；不同种群内的所述神经元放置于同一芯片或不同芯片；跨片通信被显著减少。
具体的，所述神经元以种群为单元进行路由，同一种群群中的所述神经元发出和接受脉冲时，使用相同的路由路径；所述神经元之间通过脉冲信号传递信息，所述神经元之间构成的神经元网络的拓扑由连接矩阵表征，所述连接矩阵为稀疏矩阵。
如图1所示，类脑计算网络中的神经元拓扑本质上是一张有向图，可以由图中所示的连接矩阵表示。矩阵中的真值表示了相应的源神经元存在到目的神经元的突触连接。
如图2所示，101是大规模类脑计算网络中的连接矩阵可视化表示，图中的有色部分即对应了图1中的真值，表示了一个从源神经元到目的神经元的突触连接。对应的，202所示为网络连接不存在显著规律。
种群聚类方法是一种稀疏矩阵的重排方法。以降低稀疏矩阵的带宽为目的，神经元之间的连接可以被限制在与其尽可能邻近的位置。通过置换矩阵的行列，神经元的标识得以互换，同时连接稠密的神经元被放置邻近的位置，并进一步划分到同一个神经元种群中。
通过比较列计数、反向Cuthill-McKee排序、最小度和嵌套部分重排方法的结果，种群聚类选取其中最优的一个。
图2中，103所示为重排后的连接矩阵显示了拓扑规律，相邻的神经元有着更紧密的连接，并被划分到同一个种群。不同种群神经元的连接则远比种群内部稀疏。
图2中，104显示了种群聚类后的网络拓扑，种群内部的紧密联系和种群间的长程连接得以凸显。通过将同一种群放置在相同芯片上，可以使得大量通信发生在片上，少部分通信发生在片间。因此显著地减少了跨芯片通信的频率，提高了系统性能。
本发明中所提出的种群路由方法，如图3所示，在通信过程中相同种群中的所有神经元共用同一条路由条目进行路由，共享相同的路由路径。
种群1中的神经元1和神经元2存在连接到种群2中的神经元1和神经元2。在路由过程中，种群1中的神经元1和神经元2发出的脉冲被认为同属于种群1，其之间的差别被无视，然后经过相同的路由路径种群1→种群2一致地进行芯片间的转发；脉冲被发送到种群2后才会被进行区分，以判断来自种群1的神经元1或神经元2，并进一步由种群2的神经元1或神经元2进行接收。
这一方法的生理依据和意义是相同种群中的神经元执行着相同或相近的功能，因此与其他种群的长程连接也有着一定概率相似。共用路由路径只会产生少量甚至没有额外的路由长度开销，不会对类脑计算网络的功能执行产生较多影响，同时这种种群路由方法能够有效地减少路由存储的开销。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.用于大规模类脑计算网络的种群聚类及种群路由方法，所述类脑计算网络部署在多个CPU或GPU或可进行类脑计算的FPGA和ASIC芯片上，且由神经元及其之间的拓扑连接关系组成，其特征在于：
将所述神经元划分为不同种群；
所述种群内对应的所述神经元联系紧密；
所述种群间对应的所述神经元联系稀疏；
同一种群内的所述神经元放置于同一芯片上，且共用相同的路由条目和路由路径；
不同种群内的所述神经元放置于同一芯片或不同芯片。
2.根据权利要求1所述用于大规模类脑计算网络的种群聚类及种群路由方法，其特征在于：所述神经元之间通过脉冲信号传递信息，所述神经元之间构成的神经元网络的拓扑由连接矩阵表征。
3.根据权利要求2所述用于大规模类脑计算网络的种群聚类及种群路由方法，其特征在于：所述神经元以种群为单元进行路由，同一种群群中的所述神经元发出和接受脉冲时，使用相同的路由路径。
4.根据权利要求1所述用于大规模类脑计算网络的种群聚类及种群路由方法，其特征在于：所述将所述神经元划分为不同种群，具体为：通过稀疏连接矩阵的矩阵重排，将连接密集的一组所述神经元聚类为同一种群。
CN202011046417.3A 2020-09-28 2020-09-28 用于大规模类脑计算网络的种群聚类及种群路由方法 Active CN112149815B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011046417.3A CN112149815B (zh) 2020-09-28 2020-09-28 用于大规模类脑计算网络的种群聚类及种群路由方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011046417.3A CN112149815B (zh) 2020-09-28 2020-09-28 用于大规模类脑计算网络的种群聚类及种群路由方法

Publications (2)

Publication Number Publication Date
CN112149815A true CN112149815A (zh) 2020-12-29
CN112149815B CN112149815B (zh) 2023-04-18

Family

ID=73895270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011046417.3A Active CN112149815B (zh) 2020-09-28 2020-09-28 用于大规模类脑计算网络的种群聚类及种群路由方法

Country Status (1)

Country Link
CN (1) CN112149815B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561042A (zh) * 2021-03-01 2021-03-26 浙江大学 一种类脑计算机操作系统的神经模型映射方法
CN112561043A (zh) * 2021-03-01 2021-03-26 浙江大学 一种类脑计算机操作系统的神经模型拆分方法
CN112783261A (zh) * 2021-01-13 2021-05-11 之江实验室 一种异步通讯互连架构及具有该架构的类脑芯片
CN115099395A (zh) * 2022-08-25 2022-09-23 北京灵汐科技有限公司 神经网络构建方法及装置、设备、介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160155048A1 (en) * 2013-10-22 2016-06-02 In2H2 Hardware enhancements to radial basis function with restricted coulomb energy learning and/or k-nearest neighbor based neural network classifiers
CN107430704A (zh) * 2015-03-18 2017-12-01 国际商业机器公司 基于与神经网络算法关联的元数据在神经突触基底上实现神经网络算法
CN111082949A (zh) * 2019-10-29 2020-04-28 广东工业大学 一种类脑计算机中脉冲数据包高效传输方法
CN111565152A (zh) * 2020-03-27 2020-08-21 中国人民解放军国防科技大学 一种基于路由域划分的类脑芯片路由系统数据通信方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160155048A1 (en) * 2013-10-22 2016-06-02 In2H2 Hardware enhancements to radial basis function with restricted coulomb energy learning and/or k-nearest neighbor based neural network classifiers
CN107430704A (zh) * 2015-03-18 2017-12-01 国际商业机器公司 基于与神经网络算法关联的元数据在神经突触基底上实现神经网络算法
CN111082949A (zh) * 2019-10-29 2020-04-28 广东工业大学 一种类脑计算机中脉冲数据包高效传输方法
CN111565152A (zh) * 2020-03-27 2020-08-21 中国人民解放军国防科技大学 一种基于路由域划分的类脑芯片路由系统数据通信方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
保学辉 等: ""焦虑状态前额叶皮层动作电位因果网络连接模式的研究"", 《生物医学工程学杂志》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112783261A (zh) * 2021-01-13 2021-05-11 之江实验室 一种异步通讯互连架构及具有该架构的类脑芯片
CN112561042A (zh) * 2021-03-01 2021-03-26 浙江大学 一种类脑计算机操作系统的神经模型映射方法
CN112561043A (zh) * 2021-03-01 2021-03-26 浙江大学 一种类脑计算机操作系统的神经模型拆分方法
CN112561043B (zh) * 2021-03-01 2021-06-29 浙江大学 一种类脑计算机操作系统的神经模型拆分方法
WO2022183921A1 (zh) * 2021-03-01 2022-09-09 浙江大学 一种类脑计算机操作系统的神经模型映射方法
CN115099395A (zh) * 2022-08-25 2022-09-23 北京灵汐科技有限公司 神经网络构建方法及装置、设备、介质
CN115099395B (zh) * 2022-08-25 2022-11-15 北京灵汐科技有限公司 神经网络构建方法及装置、设备、介质

Also Published As

Publication number Publication date
CN112149815B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN112149815B (zh) 用于大规模类脑计算网络的种群聚类及种群路由方法
KR101925905B1 (ko) 연상 메모리들을 사용하는 뉴로모픽 그래프 압축을 위한 방법들, 시스템들 및 컴퓨터 프로그램 제품들
EP1949311B1 (en) A computing device, a system and a method for parallel processing of data streams
Chicca et al. Neuromorphic electronic circuits for building autonomous cognitive systems
KR20210127133A (ko) 탄력적인 뉴럴 네트워크
CN106934457B (zh) 一种可灵活时分复用的脉冲神经元实现架构
Davies et al. A forecast-based STDP rule suitable for neuromorphic implementation
US20190349318A1 (en) Methods and apparatus for serialized routing within a fractal node array
Davies et al. Population-based routing in the SpiNNaker neuromorphic architecture
CN111340194B (zh) 脉冲卷积神经网络神经形态硬件及其图像识别方法
Fang et al. An event-driven neuromorphic system with biologically plausible temporal dynamics
Pham et al. A review of SNN implementation on FPGA
Zhang et al. Synthesis of sigma-pi neural networks by the breeder genetic programming
CN112835844B (zh) 一种脉冲神经网络计算负载的通信稀疏化方法
Emery et al. Connection-centric network for spiking neural networks
CN112784972B (zh) 一种面向片上神经网络的突触实现架构
CN112163673B (zh) 一种用于大规模类脑计算网络的种群路由方法
Ou et al. An overview of brain-like computing: Architecture, applications, and future trends
Li Analysis of contrasting neural network with small-world network
Wang et al. TripleBrain: An edge neuromorphic architecture for High-accuracy single-layer spiking neural network with on-chip Self-organizing and reinforcement learning
US10956812B1 (en) Neuromorphic architecture based signal detection
Ghosh et al. An Efficient NoC-based ANN Framework for Epileptic Seizure Recognition
US20230351165A1 (en) Method for operating neural network
Zou et al. Residual Spiking Neural Network on a Programmable Neuromorphic Hardware for Speech Keyword Spotting
王喆 A Dendritic Neuron Model with Adaptive Synapses Trained by Differential Evolution Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant