CN114006900B - 一种实现有向无环图处理的系统及中继管理装置 - Google Patents

一种实现有向无环图处理的系统及中继管理装置 Download PDF

Info

Publication number
CN114006900B
CN114006900B CN202111637891.8A CN202111637891A CN114006900B CN 114006900 B CN114006900 B CN 114006900B CN 202111637891 A CN202111637891 A CN 202111637891A CN 114006900 B CN114006900 B CN 114006900B
Authority
CN
China
Prior art keywords
calculation
dag
module
information
management device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111637891.8A
Other languages
English (en)
Other versions
CN114006900A (zh
Inventor
蔡凯
田佩佳
张雨生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenglong Singapore Pte Ltd
Original Assignee
Sunlune Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sunlune Technology Beijing Co Ltd filed Critical Sunlune Technology Beijing Co Ltd
Priority to CN202111637891.8A priority Critical patent/CN114006900B/zh
Publication of CN114006900A publication Critical patent/CN114006900A/zh
Application granted granted Critical
Publication of CN114006900B publication Critical patent/CN114006900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9024Graphs; Linked lists
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40Bus networks
    • H04L12/40006Architecture of a communication node
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/24Negotiation of communication capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)

Abstract

一种实现有向无环图处理的系统及中继管理装置,包括:上位机、与上位机连接的一个以上中继管理装置、和与一个以上中继管理装置一一对应连接的一个以上算力单元;其中,上位机设置为:接收计算有向无环图(DAG)的计算指令,向与需要计算DAG文件的算力单元连接的中继管理装置发送进行DAG文件计算和传输的第一数据包;中继管理装置设置为:根据接收到的第一数据包进行DAG文件的计算,将计算获得的DAG文件传输到与中继管理装置自身连接的算力单元。本发明实施例将DAG文件的计算分担到了新增的中继管理装置,提升了DAG文件的计算速度,通过中继管理装置传输计算出的DAG文件到算力单元,减少了系统对上位机接口资源的占用,提升了DAG文件的传输质量。

Description

一种实现有向无环图处理的系统及中继管理装置
技术领域
本文涉及但不限于数据处理技术,尤指一种实现有向无环图处理的系统及中继管理装置。
背景技术
有向无环图(DAG)被广泛的应用在区块链领域,例如被应用在区块链算法的工作量证明算法中。DAG文件中包含区块链上所有区块的加密信息,其体积随着区块链的发展逐渐增大。生成DAG文件需要进行大量的运算。
相关技术中主要由上位机进行DAG文件的计算,上位机将计算生成的DAG文件通过高速总线发送到运算芯片。上述计算和传输DAG的系统框架存在以下缺点:1、计算DAG文件占用了上位机大量的中央处理器(CPU)资源,且计算效率低,由于上位机运算速率限制,DAG文件的生成速度慢;2、上位机直接负责管理多个算力单元,每个算力单元包含预设数量的运算芯片,上位机将DAG文件传输给运算芯片时,需要在传输总线挂载多个运算芯片,然后以总线分时复用的方式传输DAG文件,传输效率较低;如果增加传输总线的数量,则会消耗上位机较多的输入输出(IO)资源,且需要更多的上位机总线控制器。
综上,如何提升DAG的运算和传输质量,成为一个有待解决的技术问题。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例提供一种实现有向无环图处理的系统及中继管理装置,能够提升DAG的计算速度和DAG的传输质量。
本发明实施例提供了一种实现有向无环图处理的系统,包括:上位机、与上位机连接的一个以上中继管理装置、和按照一一对应关系与中继管理装置连接的一个以上算力单元;其中,
上位机设置为:根据下发的进行DAG计算的计算指令向中继管理装置下发进行DAG计算和传输的第一数据包;根据接收到的进度信息确定是否完成DAG计算;
中继管理装置包括:解析模块、中央控制模块、配置空间、DAG计算模块、通道选择模块、以及位于通道选择模块和算力单元之间的预设数量的总线接口;其中,
所述解析模块设置为:对接收到的所述第一数据包进行解析,获得第一解析结果;
所述中央控制模块设置为:根据所述第一解析结果确定执行第一写操作时,读取所述配置空间中存储的用于进行DAG文件计算的配置信息和进行DAG文件计算的使能信息,将读取的所述配置信息和所述使能信息下发至DAG计算模块;将所述第一解析结果中的路由信息下发至所述配置空间;
所述配置空间设置为:存储所述配置信息和所述使能信息;根据所述路由信息向所述通道选择模块发送总线接口的开关信号;
所述DAG计算模块设置为:根据所述配置信息进行参数配置,根据所述使能信息计算所述DAG文件;
所述通道选择模块设置为:根据接收到的开关信号打开对应的总线接口,通过打开的所述总线接口,将计算获得的所述DAG文件传输至算力单元中的运算芯片;
其中,所述算力单元中包含预设数量的运算芯片;一个所述总线接口用于建立所述DAG计算模块与所述算力单元中的一个运算芯片的通信连接。
另一方面,本发明实施例还提供一种中继管理装置,与算力单元连接,包括:解析模块、中央控制模块、配置空间、DAG计算模块、通道选择模块、以及位于通道选择模块和算力单元之间的预设数量的总线接口;其中,
所述解析模块设置为:对接收到的来自上位机的第一数据包进行解析,获得第一解析结果;
所述中央控制模块设置为:根据所述第一解析结果确定执行第一写操作时,读取所述配置空间中存储的用于进行DAG文件计算的配置信息和进行DAG文件计算的使能信息,将读取的所述配置信息和所述使能信息下发至DAG计算模块;将所述第一解析结果中的路由信息下发至所述配置空间;
所述配置空间设置为:存储所述配置信息和所述使能信息;根据所述路由信息向所述通道选择模块发送总线接口的开关信号;
所述DAG计算模块设置为:根据所述配置信息进行参数配置,根据所述使能信息计算所述DAG文件;
所述通道选择模块设置为:根据接收到的开关信号打开对应的总线接口,通过打开的所述总线接口,将计算获得的所述DAG文件传输至算力单元中的运算芯片;
其中,所述第一数据包包括:包含进行DAG文件计算的计算指令的数据包;所述算力单元中包含预设数量的运算芯片;一个所述总线接口用于建立所述DAG计算模块与所述算力单元中的一个运算芯片的通信连接。
本申请技术方案包括:上位机、与上位机连接的一个以上中继管理装置、和与一个以上中继管理装置一一对应连接的一个以上算力单元;其中,上位机设置为:接收计算有向无环图(DAG)的计算指令,向与需要计算DAG文件的算力单元连接的中继管理装置发送进行DAG文件计算和传输的第一数据包;中继管理装置设置为:根据接收到的第一数据包进行DAG文件的计算,将计算获得的DAG文件传输到与中继管理装置自身连接的算力单元。本发明实施例将DAG文件的计算分担到了新增的中继管理装置,提升了DAG文件的计算速度,通过中继管理装置传输计算出的DAG文件到算力单元,减少了系统对上位机接口资源的占用,提升了DAG文件的传输质量。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1为本发明实施例实现有向无环图处理的系统的结构框图;
图2为本发明实施例中继管理装置的组成框图;
图3为本发明实施例进行DAG计算的方法流程图;
图4为本发明实施例上位机的组成框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本发明实施例实现有向无环图处理的系统的结构框图,如图1所示,包括:上位机、与上位机连接的一个以上中继管理装置、和与一个以上中继管理装置一一对应连接的一个以上算力单元;其中,
上位机设置为:接收计算有向无环图DAG的计算指令,向与需要计算DAG文件的算力单元连接的中继管理装置发送进行DAG文件计算和传输的第一数据包;
中继管理装置设置为:根据接收到的第一数据包进行DAG文件的计算,将计算获得的DAG文件传输到与中继管理装置自身连接的算力单元。
本发明实施例通过新增中继管理装置,将DAG文件的计算分担到了中继管理装置,降低了上位机的运算负荷;由具备更强运算能力的中继管理装置进行DAG文件的计算,提升了DAG文件的计算速度;通过中继管理装置传输计算出的DAG文件到算力单元,减少了系统对上位机接口资源的占用,提升了DAG文件的传输质量。
在一种示例性实例中,本发明实施例中的中继管理装置可以和算力单元集成在同一芯片上,通过集成在同一芯片,本发明实施例可以简化中继管理装置与算力单元之间的布线连接,提升系统集成度;在一种示例性实例中,本发明实施例中的中继管理装置可以和算力单元分别独立设置在不同的芯片上,在无需集成设计的情况下,通过选用符合要求的中继管理装置,即可完成DAG文件的运算和传输。
在一种示例性实例中,本发明实施例中的算力单元与相关技术相同,包含预设数量的运算芯片;在一种示例性实例中,本发明实施例一个算力单元中包含的运算芯片的个数可以由本领域技术人员根据运算芯片执行的运算任务大小进行设置,比如运算任务大时,可以包含较多的运算芯片;运算任务小时,可以包含较少的运算芯片。在一种示例性实例中,一个算力单元中包含的运算芯片的个数可以是32个。
在一种示例性实例中,本发明实施例系统中算力单元的个数可以根据运算任务进行设定,例如、设置8个算力单元;在设置8个算力单元时,本发明实施例设置8个中继管理装置。
在一种示例性实例中,图2为本发明实施例中继管理装置的组成框图,如图2所示,包括:解析模块、中央控制模块、配置空间、DAG计算模块、通道选择模块、以及位于通道选择模块和算力单元之间的预设数量的总线接口;其中,
解析模块设置为:对接收到的第一数据包进行解析,获得第一解析结果;
中央控制模块设置为:根据第一解析结果确定执行第一写操作时,读取配置空间中存储的用于进行DAG文件计算的配置信息和进行DAG文件计算的使能信息,将读取的配置信息和使能信息下发至DAG计算模块;将第一解析结果中的路由信息下发至配置空间;
配置空间设置为:存储配置信息和使能信息;根据路由信息向通道选择模块发送总线接口的开关信号;
DAG计算模块设置为:根据配置信息进行参数配置,根据使能信息计算DAG文件;
通道选择模块设置为:根据接收到的开关信号打开对应的总线接口,通过打开的总线接口,将计算获得的DAG文件传输至算力单元中的运算芯片;
其中,算力单元中包含预设数量的运算芯片;一个总线接口用于建立DAG计算模块与算力单元中的一个运算芯片的通信连接。
本发明实施例按照中继管理装置处理DAG文件的过程,将中继管理装置划分为解析模块、中央控制模块、配置空间、DAG计算模块和通道选择模块,并在通道选择模块和算力单元之间的预设数量的总线接口;通过解析模块,新增的中继管理装置对第一数据包进行解析,确定需要进行的DAG文件操作;中央控制器根据第一解析结果确定执行第一写操作时访问配置空间,从配置空间中读取用于进行DAG文件计算的配置信息和进行DAG文件计算的使能信息,将第一解析结果中的路由信息下发至配置空间;通过中央控制模块实现了DAG文件计算的配置和使能,以及实现了总线开关控制;DAG计算模块根据配置信息完成参数配置后,基于使能信息承担了上位机的DAG文件的计算,降低了上位机的运算负载。通道选择模块根据配置空间中的路由信息,建立了将计算获得的DAG文件传输到算法单元的通信,完成了DAG文件的传输。
在一种示例性实例中,本发明实施例中的通道选择模块可以由包含多路选择器的电路组成。
本发明实施例多路选择器根据路由信息进行通道开关控制,实现了通道信路的高效的管理控制。
在一种示例性实例中,DAG计算模块还设置为:反馈DAG文件的计算进度信息到配置空间;
配置空间还设置为:存储接收的计算进度信息;
中央控制模块还设置为:根据第一解析结果确定进行第一读操作时,从配置空间中读取计算进度信息,将读取的计算进度信息发往解析模块;
解析模块还设置为:将计算进度信息编码后发往上位机。
本发明实施例中央控制模块基于第一读操作从配置空间读取了实时的计算进度信息,计算进度信息通过解析模块编码后发往上位机,上位机参照相关技术对编码信息进行解码后,可以获得实时的解码信息;本发明实施例将DAG文件计算任务拆分至由中继管理装置处理后,通过上述处理由上位机可实时获取DAG文件得计算进度。
本发明实施例将DAG文件的计算分担到了中继管理装置,提升了DAG文件的计算速度,通过中继管理装置传输计算出的DAG文件到算力单元,减少了系统对上位机接口资源的占用,提升了DAG文件的传输质量。完成DAG文件计算后,本发明实施例上位机基于中继管理单元与算力单元通信连接,控制算力单元执行后续运算处理。
在一种示例性实例中,本发明实施例中继管理装置还包括:与通道选择模块连接的总线控制模块;
上位机还设置为:根据接收到的计算进度信息确定DAG文件计算完成,向中继管理装置发送用于控制算力单元进行运算的第二数据包;接收来自解析模块的运算数据;
解析模块还设置为:对第二数据包进行解析,获得第二解析结果;将接收到的运算数据编码后上送到上位机;
中央控制模块设置为:根据第二解析结果确定进行第二写操作时,通过总线控制模块向算力单元中的运算芯片下发芯片参数信息,以使运算芯片根据芯片参数信息进行参数配置,并在完成参数配置后执行运算处理,获得运算数据;根据第二解析结果确定进行第二读操作时,读取运算芯片的运算数据;将读取的运算数据传输至解析模块。
本发明实施例由中继管理装置完成DAG文件的计算之后,上位机根据计算进度信息确定完成DAG文件计算;上位机根据DAG文件完成计算的结果,经由解析模块和中央控制模块控制算力单元进行运算,并接收运算数据,基于上位机和中继管理装置实现了算力单元的运算管控。在一种示例性实例中,本发明实施例中的芯片参数信息包括:运算芯片的硬件配置参数和运算芯片加载的算法的运算参数。
本发明实施例由中继管理装置代替上位机,实现了算力单元的参数配置,降低了上位机运算负载。
在一种示例性实例中,本发明实施例硬件配置参数包括:调频参数、内存频率参数等;运算参数可以包括:使能最近最少使用(LUR)算法的参数。
在一种示例性实例中,本发明实施例中继管理装置由现场可编程门阵列(FPGA)实现。
以下以上位机下发进行DAG文件计算的计算指令开启一个算力单元的DAG文件计算为例进行说明,图3为本发明实施例进行DAG计算的方法流程图,如图3所示,包括:
步骤301、中继管理装置对上位机下发的第一数据包进行解析,根据第一解析结果确定执行第一写操作时,读取配置空间中存储的用于进行DAG文件计算的配置信息,完成DAG计算模块进行DAG文件计算的参数配置;
步骤302、根据第一解析结果中的路由信息,配置空间和通道选择模块对传输DAG文件的总线接口进行开关控制;
步骤303、DAG计算模块根据第一解析结果中的使能信息进行DAG文件的计算,并将计算出的DAG文件通过打开的总线接口传输到由路由信息指定的运算芯片;
步骤304、DAG计算模块反馈DAG文件的计算进度信息至配置空间;
步骤305、根据第一解析结果确定执行第一读操作时,解析模块获取配置空间中的计算进度信息,并将计算进度信息编码后发送到上位机;
步骤306、上位机根据接收的计算进度信息确定是否完成DAG文件计算;确定完成DAG文件计算,执行步骤307;确定未完成DAG文件计算时,执行步骤308;
步骤307、上位机下发第二数据包,根据第二数据包关闭DAG计算模块,并调整由总线控制模块对总线接口进行开关控制;
步骤308、控制DAG计算模块继续执行DAG计算计算,并继续反馈DAG文件的计算进度信息至配置空间。
图4为本发明实施例上位机的组成框图,如图4所示,上位机与一个以上中继管理装置连接,设置为:
接收计算有向无环图DAG的计算指令,向与需要计算DAG文件的算力单元连接的中继管理装置发送进行DAG文件计算和传输的第一数据包,以使中继管理装置根据第一数据包进行DAG文件处理;
其中,DAG文件处理包括:进行DAG计算和传输。
本发明实施例上位机将DAG文件的计算分担到了中继管理装置,降低了自身的运算负荷,减少了系统对上位机自身所包含的接口资源的占用。
在一种示例性实例中,本发明实施例上位机还设置为:
接收中继管理装置发送的DAG文件的计算进度信息,根据接收到的计算进度信息,确定是否完成DAG文件的计算。
本发明实施例上位机将DAG文件的计算分担给中继管理装置之后,通过接收到的计算进度信息,实现了DAG文件计算是否完成的确定。
在一种示例性实例中,本发明实施例上位机还设置为:
根据接收到的计算进度信息确定DAG文件计算完成,向中继管理装置发送用于控制算力单元进行运算的第二数据包;接收通过中继管理装置发送的算力单元执行运算处理获得的运算数据。
本发明实施例上位机将DAG文件的计算分担给中继管理装置,在通过计算进度信息确定完成DAG文件计算之后,通过中继管理装置控制算力单元实现了运算处理的控制,经由中继管理装置实现了算力单元的运算数据的获取。
本发明实施例还提供一种中继管理装置,中继管理装置与算力单元连接,设置为:
接收来自上位机的第一数据包;根据接收到的第一数据包计算DAG文件;将计算获得的DAG文件传输到与自身连接的算力单元;
其中,第一数据包包括:包含进行DAG文件计算的计算指令的数据包。
本发明实施例中继管理装置与上位机通信,分担了上位机计算DAG文件的工作,降低了上位机的运算负荷;通过自身具备更强运算能力的提升了DAG文件的计算速度;通过中继管理装置传输计算出的DAG文件到算力单元,减少了系统对上位机接口资源的占用,提升了DAG文件的传输质量。
在一种示例性实例中,本发明实施例中继管理装置包括:解析模块、中央控制模块、配置空间、DAG计算模块、通道选择模块、以及位于通道选择模块和算力单元之间的预设数量的总线接口;其中,
解析模块设置为:对接收到的第一数据包进行解析,获得第一解析结果;
中央控制模块设置为:根据第一解析结果确定执行第一写操作时,读取配置空间中存储的用于进行DAG文件计算的配置信息和进行DAG文件计算的使能信息,将读取的配置信息和使能信息下发至DAG计算模块;将第一解析结果中的路由信息下发至配置空间;
配置空间设置为:存储配置信息和使能信息;根据路由信息向通道选择模块发送总线接口的开关信号;
DAG计算模块设置为:根据配置信息进行参数配置,根据使能信息计算DAG文件;
通道选择模块设置为:根据接收到的开关信号打开对应的总线接口,通过打开的总线接口,将计算获得的DAG文件传输至算力单元中的运算芯片;
其中,算力单元中包含预设数量的运算芯片;一个总线接口用于建立DAG计算模块与算力单元中的一个运算芯片的通信连接。
本发明实施例根据中继管理装置处理DAG文件的内容,将中继管理装置划分为解析模块、中央控制模块、配置空间、DAG计算模块和通道选择模块,并在通道选择模块和算力单元之间的预设数量的总线接口;通过解析模块对第一数据包进行解析,确定需要进行的DAG文件操作;中央控制器根据第一解析结果确定执行第一写操作时访问配置空间,从配置空间中读取用于进行DAG文件计算的配置信息和进行DAG文件计算的使能信息,将第一解析结果中的路由信息下发至配置空间;通过中央控制模块实现了DAG文件计算的配置和使能,以及实现了总线开关控制;DAG计算模块根据配置信息完成参数配置后,基于使能信息承担了上位机的DAG文件的计算,降低了上位机的运算负载。通道选择模块根据配置空间中的路由信息,建立了将计算获得的DAG文件传输到算法单元的通信,完成了DAG文件的传输。
在一种示例性实例中,本发明实施例:
DAG计算模块还设置为:反馈DAG文件的计算进度信息到配置空间;
配置空间还设置为:存储接收的计算进度信息;
中央控制模块还设置为:根据第一解析结果确定进行第一读操作时,从配置空间中读取计算进度信息,将读取的计算进度信息发往解析模块;
解析模块还设置为:将计算进度信息编码后发往上位机。
本发明实施例中央控制模块基于第一读操作从配置空间读取了实时的计算进度信息,计算进度信息通过解析模块编码后发往上位机,使上位机根据计算进度信息可以实时确定DAG文件是否计算完成。
在一种示例性实例中,本发明实施例中继管理装置还包括:与通道选择模块连接的总线控制模块;
解析模块还设置为:对来自上位机的第二数据包进行解析,获得第二解析结果;将接收到的运算数据编码后上送到上位机;
中央控制模块设置为:根据第二解析结果确定进行第二写操作时,通过总线控制模块向算力单元中的运算芯片下发芯片参数信息,以使运算芯片根据芯片参数信息进行参数配置,并在完成参数配置后执行运算处理,获得运算数据;根据第二解析结果确定进行第二读操作时,读取运算芯片的运算数据;将读取的运算数据传输至解析模块;
其中,第二数据包包括:上位机根据计算进度信息确定DAG文件计算完成,向中继管理模块下发用于控制算力单元进行运算的数据包。
本发明实施例由中继管理装置完成DAG文件的计算之后;上位机根据DAG文件完成计算的结果,通过中继管理装置中的解析模块和中央控制模块控制算力单元进行运算,在算力单元完成运算时,发送运算数据到上位机,使上位机可以获取算力单元的运算数据。
在一种示例性实例中,本发明实施例中的中继管理装置由FPGA实现。本发明实施例基于FPGA实现中继管理装置,可以根据接口和运算要求进行FPGA的灵活配置,可以适用不同运算要求的多种场景,避免采用固定芯片造成的成本和资源浪费。
“本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器,如数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。”

Claims (5)

1.一种实现有向无环图DAG处理的系统,包括:上位机、与上位机连接的一个以上中继管理装置、和与一个以上中继管理装置一一对应连接的一个以上算力单元;其中,
上位机设置为:接收计算有向无环图DAG的计算指令,向与需要计算DAG文件的算力单元连接的中继管理装置发送进行DAG文件计算和传输的第一数据包;
中继管理装置包括:解析模块、中央控制模块、配置空间、DAG计算模块、通道选择模块、以及位于通道选择模块和算力单元之间的预设数量的总线接口;其中,
所述解析模块设置为:对接收到的所述第一数据包进行解析,获得第一解析结果;
所述中央控制模块设置为:根据所述第一解析结果确定执行第一写操作时,读取所述配置空间中存储的用于进行DAG文件计算的配置信息和进行DAG文件计算的使能信息,将读取的所述配置信息和所述使能信息下发至DAG计算模块;将所述第一解析结果中的路由信息下发至所述配置空间;
所述配置空间设置为:存储所述配置信息和所述使能信息;根据所述路由信息向所述通道选择模块发送总线接口的开关信号;
所述DAG计算模块设置为:根据所述配置信息进行参数配置,根据所述使能信息计算所述DAG文件;
所述通道选择模块设置为:根据接收到的开关信号打开对应的总线接口,通过打开的所述总线接口,将计算获得的所述DAG文件传输至算力单元中的运算芯片;
其中,所述算力单元中包含预设数量的运算芯片;一个所述总线接口用于建立所述DAG计算模块与所述算力单元中的一个运算芯片的通信连接。
2.根据权利要求1所述的系统,其特征在于:
所述DAG计算模块还设置为:反馈所述DAG文件的计算进度信息到配置空间;
所述配置空间还设置为:存储接收的所述计算进度信息;
所述中央控制模块还设置为:根据所述第一解析结果确定进行第一读操作时,从所述配置空间中读取所述计算进度信息,将读取的所述计算进度信息发往所述解析模块;
所述解析模块还设置为:将所述计算进度信息编码后发往上位机。
3.根据权利要求2所述的系统,其特征在于,所述中继管理装置还包括:与所述通道选择模块连接的总线控制模块;
所述上位机还设置为:根据接收到的所述计算进度信息确定所述DAG文件计算完成,向所述中继管理装置发送用于控制算力单元进行运算的第二数据包;接收来自解析模块的运算数据;
所述解析模块还设置为:对所述第二数据包进行解析,获得第二解析结果;将接收到的来自所述中央控制模块的所述运算数据编码后上送到所述上位机;
所述中央控制模块设置为:根据所述第二解析结果确定进行第二写操作时,通过所述总线控制模块向算力单元中的运算芯片下发芯片参数信息,以使运算芯片根据芯片参数信息进行参数配置,并在完成参数配置后执行运算处理,获得所述运算数据;根据所述第二解析结果确定进行第二读操作时,读取所述运算芯片的运算数据;将读取的所述运算数据传输至所述解析模块。
4.根据权利要求1或2所述的系统,其特征在于,所述中继管理装置由现场可编程门阵列FPGA实现。
5.一种中继管理装置,与算力单元连接,包括:解析模块、中央控制模块、配置空间、DAG计算模块、通道选择模块、以及位于通道选择模块和算力单元之间的预设数量的总线接口;其中,
所述解析模块设置为:对接收到的来自上位机的第一数据包进行解析,获得第一解析结果;
所述中央控制模块设置为:根据所述第一解析结果确定执行第一写操作时,读取所述配置空间中存储的用于进行DAG文件计算的配置信息和进行DAG文件计算的使能信息,将读取的所述配置信息和所述使能信息下发至DAG计算模块;将所述第一解析结果中的路由信息下发至所述配置空间;
所述配置空间设置为:存储所述配置信息和所述使能信息;根据所述路由信息向所述通道选择模块发送总线接口的开关信号;
所述DAG计算模块设置为:根据所述配置信息进行参数配置,根据所述使能信息计算所述DAG文件;
所述通道选择模块设置为:根据接收到的开关信号打开对应的总线接口,通过打开的所述总线接口,将计算获得的所述DAG文件传输至算力单元中的运算芯片;
其中,所述第一数据包包括:包含进行DAG文件计算的计算指令的数据包;所述算力单元中包含预设数量的运算芯片;一个所述总线接口用于建立所述DAG计算模块与所述算力单元中的一个运算芯片的通信连接。
CN202111637891.8A 2021-12-30 2021-12-30 一种实现有向无环图处理的系统及中继管理装置 Active CN114006900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111637891.8A CN114006900B (zh) 2021-12-30 2021-12-30 一种实现有向无环图处理的系统及中继管理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111637891.8A CN114006900B (zh) 2021-12-30 2021-12-30 一种实现有向无环图处理的系统及中继管理装置

Publications (2)

Publication Number Publication Date
CN114006900A CN114006900A (zh) 2022-02-01
CN114006900B true CN114006900B (zh) 2022-04-08

Family

ID=79932231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111637891.8A Active CN114006900B (zh) 2021-12-30 2021-12-30 一种实现有向无环图处理的系统及中继管理装置

Country Status (1)

Country Link
CN (1) CN114006900B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536642A (zh) * 2018-06-13 2018-09-14 北京比特大陆科技有限公司 大数据运算加速系统和芯片
CN108777612A (zh) * 2018-05-18 2018-11-09 中科声龙科技发展(北京)有限公司 一种工作量证明运算芯片核心计算部件的优化方法和电路

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002342301A (ja) * 2001-05-15 2002-11-29 Toshiba Corp コプロセッサを備えたマイクロコンピュータ
CN110431579A (zh) * 2019-01-08 2019-11-08 张季恒 基于结构化有向无环图的交易分配方法和装置
CN110399221A (zh) * 2019-07-23 2019-11-01 江苏鼎速网络科技有限公司 数据处理方法、系统及终端设备
CN112148494B (zh) * 2020-09-30 2023-07-25 北京百度网讯科技有限公司 用于算子服务的处理方法、装置、智能工作站和电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108777612A (zh) * 2018-05-18 2018-11-09 中科声龙科技发展(北京)有限公司 一种工作量证明运算芯片核心计算部件的优化方法和电路
CN108536642A (zh) * 2018-06-13 2018-09-14 北京比特大陆科技有限公司 大数据运算加速系统和芯片

Also Published As

Publication number Publication date
CN114006900A (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN108052615B (zh) 访问请求的处理方法、装置、介质及电子设备
EP3674990A1 (en) Output method and apparatus for multiple neural network, server and computer readable storage medium
US11489735B2 (en) Dynamic network allocation apparatus, dynamic network allocation method and non-transitory computer-readable medium
CN103279351A (zh) 一种任务调度的方法及装置
CN109788325B (zh) 视频任务分配方法及服务器
CN113645150B (zh) 传输速率控制方法、装置、电子设备和可读存储介质
CN112068957A (zh) 资源分配方法、装置、计算机设备及存储介质
KR20200034572A (ko) 요청 처리 방법 및 장치
CN113556813B (zh) 上行数据传输方法、装置及系统
US9983908B1 (en) Adjusting allocation of selected resources for capped and uncapped virtual machines
CN114006900B (zh) 一种实现有向无环图处理的系统及中继管理装置
CN116185599A (zh) 异构服务器系统及其使用方法
US20160197794A1 (en) Quality of service setting
CN116402318A (zh) 面向配电网的多级算力资源分配方法、装置及网络架构
CN115712594A (zh) 一种通道分配方法、装置、一种存储系统及设备和介质
CN112748883B (zh) 一种io请求流水线处理设备、方法、系统及存储介质
CN111510715B (zh) 视频处理方法、系统、计算机设备及存储介质
CN104484293B (zh) 一种在多控存储系统中实现前端协议的方法和设备
CN106603214B (zh) 一种数据传输方法及装置
CN113841132A (zh) 用于主机设备接口的非对称数据通信
CN114253704A (zh) 一种分配资源的方法及装置
CN110958503B (zh) 一种带宽分配装置及方法
CN117749736B (zh) 一种芯片及密文计算方法
CN116961696A (zh) 一种双模模块通信方法、装置、电子设备及存储介质
CN115426588B (zh) 一种音频处理系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230410

Address after: 10 Jialeng Road, Singapore # 09-11

Patentee after: Shenglong (Singapore) Pte. Ltd.

Address before: 1605, floor 16, No. 9, North Fourth Ring West Road, Haidian District, Beijing 100080

Patentee before: SUNLUNE TECHNOLOGY DEVELOPMENT (BEIJING) Co.,Ltd.

TR01 Transfer of patent right