CN114116596A - 面向片上神经网络的基于动态中继的无限路由方法和架构 - Google Patents

面向片上神经网络的基于动态中继的无限路由方法和架构 Download PDF

Info

Publication number
CN114116596A
CN114116596A CN202210090696.6A CN202210090696A CN114116596A CN 114116596 A CN114116596 A CN 114116596A CN 202210090696 A CN202210090696 A CN 202210090696A CN 114116596 A CN114116596 A CN 114116596A
Authority
CN
China
Prior art keywords
node
relay
nodes
target
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210090696.6A
Other languages
English (en)
Inventor
孙世春
金孝飞
陆启明
章明
何煜坤
朱国权
凡军海
杨方超
潘鑫
马德
潘纲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Zhejiang Lab
Original Assignee
Zhejiang University ZJU
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Zhejiang Lab filed Critical Zhejiang University ZJU
Priority to CN202210090696.6A priority Critical patent/CN114116596A/zh
Publication of CN114116596A publication Critical patent/CN114116596A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17306—Intercommunication techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Neurology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明属于类脑计算芯片的路由实现技术领域，涉及一种面向片上神经网络的基于动态中继的无限路由方法和架构，该方法通过运用单级中继结构方式、多级中继结构方式、多路中继结构方式以及动态中继结构方式或上述方式的组合，打通源和目标节点之间的路径，实现路由之间长距离乃至无限距离通信。本发明通过动态中继的方式大大提高了片上神经网络中资源的利用率，并能够支持巨大神经网络拓扑结构下的神经元之间的可达性，解决了巨大神经网络拓扑结构下神经元之间路径长而导致数据传输有限的问题。

Description

面向片上神经网络的基于动态中继的无限路由方法和架构
技术领域
本发明属于类脑计算芯片的路由实现技术领域，涉及一种面向片上神经网络的基于动态中继的无限路由方法和架构。
背景技术
近年来“内存墙”与“功耗墙”效应日趋严重，传统计算机所遵循的冯诺依曼体系结构正在面临巨大的挑战。在后摩尔时代，半导体行业迫切需要寻求新的架构与方法以满足电子产业对不断提高的计算性能和极低功耗的需求。随着脑科学的发展，人们逐渐了解到人脑是一部极高能效的计算机，类脑计算应运而生。内存与计算单元合二为一，从根本上去除了经典冯诺依曼体系架构的“内存墙”问题。类脑计算的基本思路是将生物神经网络的概念应用于计算机系统设计，针对智能信息处理的特定应用来提高性能与降低功耗。
脉冲神经网络作为第三代神经网络具有高度的生物真实性，由于在真实世界学习的任务中展现出独特优势，迅速成为类脑计算芯片研究热点。但因为单个神经元的功能有限，只有数以百万计的神经元协同工作才能在特定智能信息处理方面表现出独特优势，对于百万级神经元的网络拓扑，由于连接数量庞大，导致神经元之间路径往往很长，对路由有限的芯片来说是一个挑战。
发明内容
为了解决现有技术中存在的上述技术问题，本发明提出了一种面向片上神经网络的基于动态中继的无限路由方法和架构，其具体技术方案如下：
一种面向片上神经网络的基于动态中继的无限路由方法，所述方法包括：
采用多种中继方式及其组合来实现动态无限路由；
通过运用单级中继结构方式、多级中继结构方式、多路中继结构方式以及动态中继结构方式或上述方式的组合，打通源节点和目标节点之间的路径。
进一步的，所述单级中继结构方式，具体为：源节点和目标节点之间只有单个中继节点，源节点或目标节点的包通过单个中继节点转发给目标节点或源节点，包的转发是双向的。
进一步的，所述多级中继结构方式，具体为：源节点和目标节点之间有多个中继节点级联，源节点或目标节点的包通过级联的中继节点，一级一级依次转发，最终转发给目标节点或源节点，包的转发是双向的。
进一步的，所述多路中继结构方式，具体为：多个源节点和目标节点共用一个中继节点，可以支持将一个或多个源节点或目标节点的包转发给一个或多个目标节点或源节点，也可以支持多对源节点和目标节点之间的中继。
进一步的，所述动态中继结构方式，具体为：多个源节点和目标节点，一组中继节点，中继规则动态配置，源、目标节点动态规划，可切换回一般节点和动态切换中继方式，分时复用同一组中继节点，实现不同中继方式，连接不同的源的目标节点，所述一般节点即中间处理单元，为神经网络的基本计算单元。
一种面向片上神经网络的基于动态中继的无限路由架构，包括源节点和目标节点，在所述源节点和目标节点之间设置有多种中继节点结构，连接源节点和目标节点，所述多种中继节点结构包括：单级中继节点、多级中继节点、多路中继节点、动态中继节点或上述节点的组合。
进一步的，所述单级中继节点具体是：在源节点和目标节点之间，中继节点只有单个。
进一步的，所述多级中继节点具体是：在源节点和目标节点之间，中继节点有多个并通过级联的方式连接。
进一步的，所述多路中继节点具体是：在多个源节点和目标节点之间，中继节点有一个且被所述多个源节点和目标节点共用。
进一步的，所述动态中继节点具体是：在多个源节点和目标节点之间，中继节点有一组且被所述多个源节点和目标节点分时复用，并根据中继功能需要与否进行切换回一般节点或动态中继节点，所述一般节点即中间处理单元，为神经网络的基本计算单元。
本发明的优点：
本发明通过动态中继的方式大大提高了片上神经网络中资源的利用率，并能够支持巨大神经网络拓扑结构下的神经元之间的可达性，解决了巨大神经网络拓扑结构下神经元之间路径长而导致数据传输有限的问题。
附图说明
图1是本发明的单级中继的结构示意图；
图2是本发明的多级中继的结构示意图；
图3是本发明的多路中继的结构示意图；
图4是本发明的动态中继的结构示意图；
图5是本发明的动态无限路由结构示意图。
具体实施方式
为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图，对本发明作进一步详细说明。
一种面向片上神经网络的基于动态中继的无限路由方法，通过运用单级中继结构方式、多级中继结构方式、多路中继结构方式、以及动态中继结构方式或上述方式的组合，打通源节点和目标节点之间的路径，来实现其动态无限路由，即实现路由之间长距离乃至无限距离通信，扩展路由范围。
其中，所述单级中继结构方式：源节点和目标节点之间只有单个中继节点，源节点或目标节点的包通过单个中继节点转发给目标节点或源节点，包的转发是双向的。
具体的，如图1所示，源节点和目标节点之间只有单个中继节点R，源节点或目标节点A的包通过单个中继节点R转发给目标节点或源节点B，包的转发是双向的。节点A到节点B的距离范围在(N,2N)，超过了路由的范围，无法直接到达，通过单级中继可以到达。N表示距离阈值。
所述多级中继结构方式：源节点和目标节点之间有多个中继节点级联，源节点或目标节点的包通过级联的中继节点，一级一级依次转发，最终转发给目标节点或源节点，包的转发是双向的。
具体的，如图2所示，源和目标节点之间有多个中继节点R1，...，Rm级联，源节点或目标节点A的包通过级联中继节点，一级一级依次转发，最终转发给目标节点或源节点B，包的转发是双向的。节点A到节点B的距离范围在(mN，mN+N)，超过了路由的范围，无法直接到达，通过m级中继可以到达。
本发明的单级结构方式、多级中继结构方式有效解决了节点之间在超出阈值范围时无法实现数据传输的问题，大大降低了数据传输在路径距离上的限制。
所述多路中继结构方式：多个源节点和目标节点共用一个中继节点，可以支持将一个或多个源节点或目标节点的包转发给一个或多个目标节点或源节点，也可以支持多对源、目标节点之间的中继。
具体的，如图3所示，多个源节点和目标节点：A/B/C/D，共用一个中继节点R，可以支持将一个或多个源节点或目标节点的包转发给一个或多个目标节点或源节点，也可以支持多对源、目标节点之间的中继。可以支持A节点的包转发给B和D，C节点的包转发给B和D，A/B节点之间的包转发，C/D节点之间的包转发，A和C节点的包转发给B节点，A和C节点的包转发给D节点。
本发明的多路中继结构方式，使得节点之间数据传输更加灵活，增强了巨大神经网络拓扑结构下的神经元之间的可达性。
所述动态中继结构方式：多个源和目标节点，一组中继节点，中继规则动态配置，源、目标节点动态规划，可切换回一般节点和动态切换中继方式，分时复用同一组中继节点，实现不同中继方式，连接不同的源节点的目标节点，所述一般节点即中间处理单元，为神经网络的基本计算单元。
具体的，如图4所示，多个源节点和目标节点：A/B/C/D，一组中继节点R，中继规则动态配置，源、目标节点动态规划，还可切换回一般节点，可以动态切换中继方式，分时复用同一组中继节点，实现不同中继方法，连接不同的源的目标节点，提高资源利用率。例如，时刻A，中继路径A-R-B；时刻B，中继路径C-R-D，当中继功能不需要时，可以把中继节点R改回一般节点。
本发明的动态中继结构方式，以其可以灵活切换的方式，大大提高了神经网络中资源的利用率。
综上所述，本发明提供一种采用面向片上神经网络的基于动态中继的无限路由方法的架构，包括源节点和目标节点，在所述源节点和目标节点之间设置有多种中继节点结构，连接源节点和目标节点，所述多种中继节点结构包括：单级中继节点、多级中继节点、多路中继节点、动态中继节点或上述节点的组合。
其中，所述单级中继节点具体是：在源节点和目标节点之间，中继节点只有单个。
所述多级中继节点具体是：在源节点和目标节点之间，中继节点有多个并通过级联的方式连接。
所述多路中继节点具体是：在多个源节点和目标节点之间，中继节点有一个且被所述多个源节点和目标节点共用。
所述动态中继节点具体是：在多个源节点和目标节点之间，中继节点有一组且被所述多个源节点和目标节点分时复用，并根据中继功能需要与否进行切换回一般节点或动态中继节点。
如图5所示，本发明的动态无限路由架构，对于不同距离的路由需求，采用合适的中继方式或多种中继方式组合，打通源节点和目标节点之间的路径。例如，路由A到路由B，可以通过单级中继R1到达；路由A到路由Z可以通过多级中继R1-Rm到达；要同时从路由A到路由B/C/Z，可以通过多路中继；要分时从路由A到路由B/C/Z，可以通过动态中继到达。
综上，本发明采用的单级中继节点、多级中继节点有效解决了节点之间在超出阈值范围时无法实现数据传输的问题，大大降低了数据传输在路径距离上的限制；采用的多路中继节点，使得源、目标节点之间数据传输更加灵活，增强了巨大神经网络拓扑结构下的神经元之间的可达性；采用的动态中继节点，以其可以灵活切换的方式，大大提高了神经网络中资源的利用率。
以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面向片上神经网络的基于动态中继的无限路由方法，其特征在于，所述方法包括：
采用多种中继方式及其组合来实现动态无限路由；
通过运用单级中继结构方式、多级中继结构方式、多路中继结构方式以及动态中继结构方式或上述方式的组合，打通源节点和目标节点之间的路径。
2.根据权利要求1所述的一种面向片上神经网络的基于动态中继的无限路由方法，其特征在于，所述单级中继结构方式，具体为：源节点和目标节点之间只有单个中继节点，源节点或目标节点的包通过单个中继节点转发给目标节点或源节点，包的转发是双向的。
3.根据权利要求1所述的一种面向片上神经网络的基于动态中继的无限路由方法，其特征在于，所述多级中继结构方式，具体为：源节点和目标节点之间有多个中继节点级联，源节点或目标节点的包通过级联的中继节点，一级一级依次转发，最终转发给目标节点或源节点，包的转发是双向的。
4.根据权利要求1所述的一种面向片上神经网络的基于动态中继的无限路由方法，其特征在于，所述多路中继结构方式，具体为：多个源节点和目标节点共用一个中继节点，可以支持将一个或多个源节点或目标节点的包转发给一个或多个目标节点或源节点，也可以支持多对源节点和目标节点之间的中继。
5.根据权利要求1所述的一种面向片上神经网络的基于动态中继的无限路由方法，其特征在于，所述动态中继结构方式，具体为：多个源节点和目标节点，一组中继节点，中继规则动态配置，源、目标节点动态规划，可切换回一般节点和动态切换中继方式，分时复用同一组中继节点，实现不同中继方式，连接不同的源的目标节点，所述一般节点即中间处理单元，为神经网络的基本计算单元。
6.一种采用如权利要求1-5任一项所述的面向片上神经网络的基于动态中继的无限路由方法的无限路由架构，包括源节点和目标节点，其特征在于，在所述源节点和目标节点之间设置有多种中继节点结构，连接源节点和目标节点，所述多种中继节点结构包括：单级中继节点、多级中继节点、多路中继节点、动态中继节点或上述节点的组合。
7.根据权利要求6所述的无限路由架构，其特征在于，所述单级中继节点具体是：在源节点和目标节点之间，中继节点只有单个。
8.根据权利要求6所述的无限路由架构，其特征在于，所述多级中继节点具体是：在源节点和目标节点之间，中继节点有多个并通过级联的方式连接。
9.根据权利要求6所述的无限路由架构，其特征在于，所述多路中继节点具体是：在多个源节点和目标节点之间，中继节点有一个且被所述多个源节点和目标节点共用。
10.根据权利要求6所述的无限路由架构，其特征在于，所述动态中继节点具体是：在多个源节点和目标节点之间，中继节点有一组且被所述多个源节点和目标节点分时复用，并根据中继功能需要与否进行切换回一般节点或动态中继节点，所述一般节点即中间处理单元，为神经网络的基本计算单元。
CN202210090696.6A 2022-01-26 2022-01-26 面向片上神经网络的基于动态中继的无限路由方法和架构 Pending CN114116596A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210090696.6A CN114116596A (zh) 2022-01-26 2022-01-26 面向片上神经网络的基于动态中继的无限路由方法和架构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210090696.6A CN114116596A (zh) 2022-01-26 2022-01-26 面向片上神经网络的基于动态中继的无限路由方法和架构

Publications (1)

Publication Number Publication Date
CN114116596A true CN114116596A (zh) 2022-03-01

Family

ID=80361735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210090696.6A Pending CN114116596A (zh) 2022-01-26 2022-01-26 面向片上神经网络的基于动态中继的无限路由方法和架构

Country Status (1)

Country Link
CN (1) CN114116596A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115248794A (zh) * 2022-09-22 2022-10-28 沐曦集成电路(上海)有限公司 一种基于通用计算ai芯片的可复用的中继模块及芯片
CN117640496A (zh) * 2024-01-26 2024-03-01 之江实验室 面向神经拟态计算的片上网络路由中继方法、设备、介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469143A (zh) * 2015-11-13 2016-04-06 清华大学 基于神经网络动态特征的片上网络资源映射方法
CN107533666A (zh) * 2015-04-27 2018-01-02 苏黎世大学 具有用于可扩展事件驱动计算系统的异构存储器结构的网络和分层路由构造
US20190187690A1 (en) * 2016-05-09 2019-06-20 Strong Force Iot Portfolio 2016, Llc Systems and methods for data communication over a plurality of data paths
CN110427536A (zh) * 2019-08-12 2019-11-08 深圳忆海原识科技有限公司 一种类脑决策与运动控制系统
CN111082949A (zh) * 2019-10-29 2020-04-28 广东工业大学 一种类脑计算机中脉冲数据包高效传输方法
CN112270407A (zh) * 2020-11-11 2021-01-26 浙江大学 支持亿级神经元的类脑计算机
CN112650705A (zh) * 2020-12-31 2021-04-13 清华大学 路由控制方法及人工智能处理器
CN112822127A (zh) * 2020-12-29 2021-05-18 北京灵汐科技有限公司 片上网络的数据广播方法、装置、芯片及介质
CN112835844A (zh) * 2021-03-03 2021-05-25 苏州蓝甲虫机器人科技有限公司 一种脉冲神经网络计算负载的通信稀疏化方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107533666A (zh) * 2015-04-27 2018-01-02 苏黎世大学 具有用于可扩展事件驱动计算系统的异构存储器结构的网络和分层路由构造
CN105469143A (zh) * 2015-11-13 2016-04-06 清华大学 基于神经网络动态特征的片上网络资源映射方法
US20190187690A1 (en) * 2016-05-09 2019-06-20 Strong Force Iot Portfolio 2016, Llc Systems and methods for data communication over a plurality of data paths
CN110427536A (zh) * 2019-08-12 2019-11-08 深圳忆海原识科技有限公司 一种类脑决策与运动控制系统
CN111082949A (zh) * 2019-10-29 2020-04-28 广东工业大学 一种类脑计算机中脉冲数据包高效传输方法
CN112270407A (zh) * 2020-11-11 2021-01-26 浙江大学 支持亿级神经元的类脑计算机
CN112822127A (zh) * 2020-12-29 2021-05-18 北京灵汐科技有限公司 片上网络的数据广播方法、装置、芯片及介质
CN112650705A (zh) * 2020-12-31 2021-04-13 清华大学 路由控制方法及人工智能处理器
CN112835844A (zh) * 2021-03-03 2021-05-25 苏州蓝甲虫机器人科技有限公司 一种脉冲神经网络计算负载的通信稀疏化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Y.YU ET AL.: "Mind-controlled ratbot: A brain-to-brain system", 《2014 IEEE INTERNATIONAL CONFERENCE ON PERVASIVE COMPUTING AND COMMUNICATION WORKSHOPS》 *
冯文婷: "基于脉冲神经网络的类脑学习算法及其应用", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115248794A (zh) * 2022-09-22 2022-10-28 沐曦集成电路(上海)有限公司 一种基于通用计算ai芯片的可复用的中继模块及芯片
CN117640496A (zh) * 2024-01-26 2024-03-01 之江实验室 面向神经拟态计算的片上网络路由中继方法、设备、介质
CN117640496B (zh) * 2024-01-26 2024-05-17 之江实验室 面向神经拟态计算的片上网络路由中继方法、设备、介质

Similar Documents

Publication Publication Date Title
US8285789B2 (en) Flattened butterfly processor interconnect network
US20020156918A1 (en) Dynamic path selection with in-order delivery within sequence in a communication network
CN114116596A (zh) 面向片上神经网络的基于动态中继的无限路由方法和架构
KR19980066621A (ko) 대역폭확장이 가능한 상호연결망
US8811413B2 (en) Scalable multi-hop mesh packet switch fabric
CN111193971B (zh) 一种面向机器学习的分布式计算互连网络系统及通信方法
CN104022950A (zh) 一种可共享和自配置缓存的路由器结构
Xie et al. Mesh-of-Torus: a new topology for server-centric data center networks
CN103546397A (zh) 支持乱序的自路由Omega网络结构
Li et al. Mikant: A mirrored k-ary n-tree for reducing hardware cost and packet latency of fat-tree and clos networks
CN113722266B (zh) 一种桥接器、加速设备互连系统及数据加速处理方法
US20050201356A1 (en) Adaptive routing for hierarchical interconnection network
Sukumar et al. An efficient adaptive reconfigurable routing protocol for optimized data packet distribution in network on chips.
Ueno et al. VCSN: Virtual circuit-switching network for flexible and simple-to-operate communication in HPC FPGA cluster
CN110825689B (zh) 电子芯片的实现方法及电子芯片
Ramani et al. A case study on NoC router architecture for optimizing the latency
Gulzari et al. Cross by pass-mesh architecture for on-chip communication
CN117221212B (zh) 片上光网络低拥塞路由方法及相关设备
CN112988651B (zh) 计算系统、计算处理器和数据处理方法
Chi et al. Tree-Based Routing for Faulty On-Chip Networks with Mesh Topology
Li et al. Efficient communication in metacube: A new interconnection network
CN115801705A (zh) 一种应用于计算微系统的数据交换网络架构
CN116383126A (zh) 一种基于片上网络的深度神经网络加速器的传输方法
Rexford et al. Shortest-path routing in homogeneous point-to-point networks with virtual cut-through switching
Al Faisal et al. Dynamic communication performance of STTN under various traffic patterns using virtual cut-through flow control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220301