CN118573676A - 分布式集群系统的数据传输方法和装置 - Google Patents
分布式集群系统的数据传输方法和装置 Download PDFInfo
- Publication number
- CN118573676A CN118573676A CN202410540584.5A CN202410540584A CN118573676A CN 118573676 A CN118573676 A CN 118573676A CN 202410540584 A CN202410540584 A CN 202410540584A CN 118573676 A CN118573676 A CN 118573676A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- node
- port
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 152
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000006854 communication Effects 0.000 claims abstract description 79
- 238000004891 communication Methods 0.000 claims abstract description 77
- 238000004590 computer program Methods 0.000 claims description 14
- 239000013307 optical fiber Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种分布式集群系统的数据传输方法和装置,包括:基于预先构建的分布式集群系统,根据数据传输目标和当前位置信息在当前节点的当前端口处将路由信息添加至待传输数据,得到目标数据;将所述目标数据发送至Mesh数据网络中,根据所述路由信息完成所述目标数据的传输。本发明在集群系统中采用3D Mesh网络作为节点连接方式,同时节点内部通信也利用Mesh网络实现,在此基础上通过路由信息实现数据在接口附近直接路由配置并传输到下一节点,从而在实施简单、成本更低的基础上显著减少数据传输时延,提高通信效率。
Description
技术领域
本发明涉及通信技术领域,尤其涉及一种分布式集群系统的数据传输方法和装置。
背景技术
分布式计算将大型计算任务分解成许多小的部分,并分配给多台计算机进行处理。这样,不仅节约了整体计算时间,还大大提高了计算效率。分布式计算系统主要由多个相互连接的计算机节点组成,这些节点协同工作以完成共同的任务。每个节点都具备独立的计算能力和存储资源,并可以通过网络进行通信和数据交换,从而实现数据的分布式处理。
随着信息技术的快速发展,集群系统已广泛应用于各个领域。然而,传统的集群系统通信方式往往存在数据传输时延大、通信效率低等问题,制约了集群系统性能的提升。为了解决这些问题,研究者们提出了多种优化方案,例如改进频率分配算法、采用更高效的编码技术、或者引入网络编码功能来提高数据在系统中的传输可靠性等。然而上述优化方案会涉及到硬件和软件的升级,需要投入大量的资金之新的设备和技术中,存在实施复杂、成本高昂等局限性。
发明内容
本发明提供一种分布式集群系统的数据传输方法和装置,用以解决现有技术中实施复杂、成本高昂的缺陷,在保证数据传输效率的同时,实现实施简单、成本更低的分布式集群系统。
本发明提供一种分布式集群系统的数据传输方法,包括:
基于预先构建的分布式集群系统,根据数据传输目标和当前位置信息在当前节点的当前端口处将路由信息添加至待传输数据,得到目标数据;其中,所述分布式集群系统中的节点基于3D Mesh网络连接,所述节点包括多个端口,所述节点的通信总线为Mesh数据网络,每个所述节点对应一个板号,每个所述端口对应一个端口号;所述路由信息是根据所述数据传输目标和所述当前位置信息计算得到的,所述当前位置信息包括当前板号和当前端口号,所述数据传输目标包括目标板号和目标端口号;
将所述目标数据发送至Mesh数据网络中,根据所述路由信息完成所述目标数据的传输。
根据本发明提供的一种分布式集群系统的数据传输方法,所述分布式集群系统包括多个节点,所述节点之间通过通信接口光纤连接,形成3D Mesh网络形态,所述通信接口与所述端口相连,所述端口与Mesh数据网络相连;和/或
所述路由信息用于实现在所述分布式集群系统的节点内将所述目标数据从所述当前端口到所述目标端口的数据传输。
根据本发明提供的一种分布式集群系统的数据传输方法,在所述目标节点和所述当前节点相同的情况下,所述将所述目标数据发送至Mesh数据网络中,根据所述路由信息完成所述目标数据的传输,具体包括:
将所述目标数据发送到所述当前节点的Mesh数据网络中;
根据所述路由信息基于所述Mesh数据网络将所述目标数据传输至所述目标端口。
根据本发明提供的一种分布式集群系统的数据传输方法,在所述目标节点和所述当前节点不同的情况下,所述将所述目标数据发送至Mesh数据网络中,根据所述路由信息完成所述目标数据的传输,具体包括:
S1:将所述目标数据发送到所述当前节点的Mesh数据网络中;
S2:根据所述路由信息得到数据传输路径;
S3:基于所述当前节点的Mesh数据网络将所述目标数据传输至当前节点的通信接口连接的端口;
S4:根据所述数据传输路径,基于所述通信接口将所述目标数据传输至其他节点,重复步骤S1-S4,直至所述目标数据传输至所述目标节点;
S5:根据目标节点的目标端口更新路由信息,根据所述路由信息基于所述目标节点的Mesh数据网络将所述目标数据传输至所述目标端口。
根据本发明提供的一种分布式集群系统的数据传输方法,所述根据数据传输目标和当前位置信息在当前节点的当前端口处将路由信息添加至待传输数据,得到目标数据,具体包括:
根据所述数据传输目标得到所述目标节点的板号和所述目标端口的端口号,根据所述当前位置信息得到当前节点的板号和当前端口的端口号;
根据所述当前节点和所述目标节点的板号,以及所述当前端口和目标端口的端口号得到路由信息;
利用所述当前节点中预先构建的路由模块,通过查表的形式将所述路由信息添加到所述待传输数据的预留数据位内,得到目标数据。
根据本发明提供的一种分布式集群系统的数据传输方法,所述基于3D Mesh网络连接包括前、后、左、右、上、下六个方向。
本发明还提供一种分布式集群系统的数据传输装置,包括:
数据单元,用于基于预先构建的分布式集群系统,根据数据传输目标和当前位置信息在当前节点的当前端口处将路由信息添加至待传输数据,得到目标数据;其中,所述分布式集群系统中的节点基于3D Mesh网络连接,所述节点包括多个端口,所述节点的通信总线为Mesh数据网络,每个所述节点对应一个板号,每个所述端口对应一个端口号;所述路由信息是根据所述数据传输目标和所述当前位置信息计算得到的,所述当前位置信息包括当前板号和当前端口号,所述数据传输目标包括目标板号和目标端口号;
传输单元,用于将所述目标数据发送至Mesh数据网络中,根据所述路由信息完成所述目标数据的传输。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述分布式集群系统的数据传输方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述分布式集群系统的数据传输方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述分布式集群系统的数据传输方法。
本发明提供的分布式集群系统的数据传输方法和装置,通过基于预先构建的分布式集群系统,根据数据传输目标和当前位置信息在当前节点的当前端口处将路由信息添加至待传输数据,得到目标数据;其中,所述分布式集群系统中的节点基于3D Mesh网络连接,所述节点包括多个端口,所述节点的通信总线为Mesh数据网络,每个所述节点对应一个板号,每个所述端口对应一个端口号;所述路由信息是根据所述数据传输目标和所述当前位置信息计算得到的,所述当前位置信息包括当前板号和当前端口号,所述数据传输目标包括目标板号和目标端口号;将所述目标数据发送至Mesh数据网络中,根据所述路由信息完成所述目标数据的传输。本发明在集群系统中采用3DMesh网络作为节点连接方式,同时节点内部通信也利用Mesh网络实现,在此基础上通过路由信息实现数据在接口附近直接路由配置并传输到下一节点,从而在实施简单、成本更低的基础上显著减少数据传输时延,提高通信效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的分布式集群系统的数据传输方法的流程示意图之一;
图2是本发明提供的分布式集群系统的数据传输方法的分布式集群系统的节点连接的示意图;
图3是本发明提供的分布式集群系统的数据传输方法一个实施例的节点内部结构示意图;
图4是本发明提供的分布式集群系统的数据传输方法的节点内部连接示意图;
图5是本发明提供的分布式集群系统的数据传输方法的流程示意图之二;
图6是本发明提供的分布式集群系统的数据传输方法的节点连接方式示意图;
图7是本发明提供的分布式集群系统的数据传输装置的结构示意图;
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合图1-图6描述本发明的分布式集群系统的数据传输方法,如图1所示,该方法包括:
步骤110:基于预先构建的分布式集群系统,根据数据传输目标和当前位置信息在当前节点的当前端口处将路由信息添加至待传输数据,得到目标数据;其中,所述分布式集群系统中的节点基于3DMesh网络连接,所述节点包括多个端口,所述节点的通信总线为Mesh数据网络,每个所述节点对应一个板号,每个所述端口对应一个端口号;所述路由信息是根据所述数据传输目标和所述当前位置信息计算得到的,所述当前位置信息包括当前板号和当前端口号,所述数据传输目标包括目标板号和目标端口号。
需要进行解释的是,本发明实施例提及的分布式通信系统由多台计算机组成,这些计算机在地理位置上是分散的。这种分散性使得系统的功能可以分散到各个计算机(或称为节点)上实现,从而实现数据的分布式处理。由于数据被分散存储在多个物理或逻辑节点上,而非集中存储于单一位置。这种分布性有助于利用多台计算机的处理能力和存储能力,提高整体的计算性能和容量。
进一步地,在本发明实施例中,分布式集群系统中的节点基于3D Mesh网络连接。在一些实施例中,所述分布式集群系统包括多个节点,所述节点之间通过通信接口光纤连接,形成3D Mesh网络形态。
具体地,节点内数据传输总线采用Mesh网络,节点之间采用四通道光纤相连,将分布式系统的多个节点连接成3D Mesh网络形态。
需要指出的是,本发明不对节点的数量进行限制,当系统需要增加处理能力时,可以通过增加新的计算机节点来实现,而不会对现有系统的性能产生太大影响。这种可扩展性使得分布式通信系统能够适应不断变化的需求和业务规模。
可以理解的是,各个节点之间的数据交换和协作高度依赖于网络连接。节点之间通过网络进行通信和数据传输,以实现协同工作。因此,网络的性能和稳定性对分布式计算中数据的处理具有重要影响。
进一步地,本发明实施例的每个节点可以独立处理数据,并且通过网络进行通信和协作,从而使分布式通信系统可以有效地实现并行处理。在实际任务执行过程中,一个大的任务可以被分解成若干个小任务,这些小任务可以分发到不同的主机上并行执行,从而显著提高系统的处理能力和效率。本发明的分布式通信系统中的节点可以独立运行,允许系统中的各个组件或节点在不需要实时同步的情况下进行通信和数据交换,从而提高了系统的并发性能和响应速度。
进一步地,为了统筹各个节点的处理进程,整个系统还包括一个统一的、全局的进程通信机制,使得任何一个进程都能与其他进程进行通信,不论是本地通信还是远程通信。在一些实施例中,系统还包括全局的保护机制,确保所有机器在分布式环境下能够协调一致地工作。
基于此,本发明采用3D Mesh网络作为节点连接方式,最大范围增加分布式集群系统的性能和稳定性。
具体来说,如图2所示,如图2为节点连接的示意图,计算节点之间通过通信接口相连,3D Mesh网络连接中每个节点都有六个通信接口分别连接前、后、左、右、上、下六个方向的其他节点,此处节点既可以是计算节点也可以是存储节点,本发明对此不做限制。为了区分不同的计算节点,通过分配板号(Board号)来区别不同的计算/存储节点。在集群计算网络中数据发往某个节点,数据中会有目标节点的板号信息。本发明节点之间采用Mesh通信网络,即节点内数据传输总线为Mesh数据网络,节点的端口与Mesh数据网络相连,每个节点可以向六个方向扩展,根据需求可以实现节点的大规模扩展。
更具体地,进一步对3D Mesh网络的节点连接方式进行说明。每一节点上设有通信接口模块,该通信接口模块采用四通道小型可插拔接口,也可以采用千兆以太网接口以及高速串行通道接口,用于对其他节点进行3D Mesh网络连接。如图6所示,由8个节点组成的一个立体方块网格,3D Mesh网络连接中每个节点都有六个通信接口分别连接前、后、左、右、上、下六个方向的其他节点。节点方向的对应关系如图6右侧所示。在图6左侧网格中,节点1的右接口连接节点2的左接口,相互之间通过四通道的光纤连接;节点1的后接口连接节点3的前接口;节点1的上接口连接节点5的下接口;其他节点的连接方式与之类似,本实施例在此不做赘述。在节点间的通信过程中,采用异步通信方式。这意味着每个节点可以独立地发送和接收数据,无需等待其他节点的响应。这种通信方式减少了通信过程中的等待时间,提高了通信的实时性和并发性。
本发明通过在集群系统中采用Mesh网络节点连接方式,实现了节点间的灵活通信和较高的容错性。此外,本发明设涉及的分布式通信系统具有良好的可扩展性。
需要进行说明的是,为了使得节点可以独立处理数据,节点的内部结构如图3所示,包括做计算的处理器、控制通信和计算的控制器、节点内部存储器、数据总线以及多个对外通信的协议接口。其中,在一些实施例中,数据总线为Mesh网络。
需要进行解释的是,Mesh网络是一种新型的通信互联网络技术,它与传统的通信网络有所不同。在传统的通信网络中,每个客户端都通过一条与接入点相连的通信链路访问网络,而在这类网络中,用户若要进行相互通信,必须首先访问一个固定的接入点,这种网络结构称为单跳网络。然而,在Mesh网络中,任何设备节点都可以同时作为路由器,网络中的每个节点都能发送和接收信号,并且每个节点都能与一个或多个对等节点进行直接通信。
本发明采用Mesh网络实现通信,保证了数据在节点内部的快速传输,实现了高效、可靠的数据交换,提升了分布式系统的并发处理能力和响应速度。
在此基础上,节点包括多个端口。具体来说,每个节点内部Mesh网络有多个端口,端口与协议接口(通信接口)、加速单元、内部存储相连。数据在一个节点内的多个端口之间根据路由从一个端口发送到另一个端口。每个端口对应一个端口号,数据在多个端口之间根据路由从一个端口发送到另一个端口。Mesh内部传输方向由数据路由决定。Mesh数据路由根据数据发往的目标板号和端口号决定。在一个具体实施例中,如图4所示,每个节点内部Mesh网络有24个端口。
本发明采用Mesh通信网络可以扩展多个端口,每个端口可以连接一种处理单元,同时Mesh通信网络可以为处理单元间提供高速通信支持。
在上述节点内部构造和节点连接方式的基础上,在数据传输过程中,将路由模块配置于临近节点通信接口位置,基于路由模块在待传输数据中进行路由信息的配置,得到目标数据用于进行数据传输。更具体地,根据传输目标和当前位置信息进行路由信息的计算,得到的路由信息用于实现在分布式集群系统的节点内将所述数据从所述当前端口到目标端口的数据传输。
在一些实施例中,所述根据数据传输目标和当前位置信息在当前节点的当前端口处将路由信息添加至待传输数据,得到目标数据,具体包括:
根据所述数据传输目标得到所述目标节点的板号和所述目标端口的端口号,根据所述当前位置信息得到当前节点的板号和当前端口的端口号;
根据所述当前节点和所述目标节点的板号,以及所述当前端口和目标端口的端口号得到路由信息;
利用所述当前节点中预先构建的路由模块,通过查表的形式将所述路由信息添加到所述待传输数据的预留数据位内,得到目标数据。
具体地,当前位置信息包括有数据当前所在的当前节点、当前端口,数据传输目标包括数据传输的目标节点、目标接口。在此基础上,基于当前节点处配置于临近节点通信接口位置的路由模块,在当前端口对待传输数据添加由当前节点和目标节点的板号,以及当前端口和目标端口的端口号对应的路由信息,通过查表的形式将对应的路由添加到待传输数据的预留数据位内,即可得到目标数据。
如图5所示,各端口所连的协议接口、存储单元和计算单元中的数据如果发往其他端口所对应的单元,首先通过路由模块向待传输数据进行配置,得到目标数据。之后,将目标数据通过端口发送到Mesh数据网络中。
本发明将路由配置置于临近节点通信接口的位置。通过这种方式,从协议接口收到数据或者计算单元发送数据,无需到节点的内部数据处理模块,在端口附近做路由配置,并直接传输到下一节点,随后通过3D Mesh数据网络传输,减少了传输时延,提高了通信效率,为分布式计算系统的稳定运行和高效处理提供了有力支持。
步骤120:将所述目标数据发送至Mesh数据网络中,根据所述路由信息完成所述目标数据的传输。
具体来说,数据传输又分为节点内部数据传输和节点之间数据传输。
在一些实施例中,在所述目标节点和所述当前节点相同的情况下,所述将所述目标数据发送至Mesh数据网络中,根据所述路由信息完成所述目标数据的传输,具体包括:
将所述目标数据发送到所述当前节点的Mesh数据网络中;
根据所述路由信息基于所述Mesh数据网络将所述目标数据传输至所述目标端口。
具体地,节点内部的数据传输即在节点内部的一个端口到另一个端口传输数据。在实际操作过程中,将添加了当前数据所在的板号和端口号以及数据中的目标板号和端口号的目标数据发送到Mesh数据网络中,根据路由找到目标端口,完成数据的传输。
更进一步地,对于节点内部的数据传输,目标数据只需要携带在此节点内一个端口到另一个端口的路由即可,不需要携带过多的路由数据。即路由信息可以不包括板号的相关内容。
进一步地,在一些实施例中,在所述目标节点和所述当前节点不同的情况下,所述将所述目标数据发送至Mesh数据网络中,根据所述路由信息完成所述目标数据的传输,具体包括:
S1:将所述目标数据发送到所述当前节点的Mesh数据网络中;
S2:根据所述路由信息得到数据传输路径;
S3:基于所述当前节点的Mesh数据网络将所述目标数据传输至当前节点的通信接口连接的端口;
S4:根据所述数据传输路径,基于所述通信接口将所述目标数据传输至其他节点,重复步骤S1-S4,直至所述目标数据传输至所述目标节点;
S5:根据目标节点的目标端口更新路由信息,根据所述路由信息基于所述目标节点的Mesh数据网络将所述目标数据传输至所述目标端口。
具体地,节点之间数据传输,数据从源节点和端口发送数据,通过源节点的Mesh将数据发送到数据接口,连接其他的节点,多次节点间通信直至到达目标节点,在根据端口号到达目标端口。更进一步地,节点内部Mesh网络示意图如图4所示,Mesh网络中连接24个端口,端口1连接协议接口上,端口2连接协议接口左,端口3连接协议接口前,端口22连接协议接口后,端口23连接协议接口右,端口24连接协议接口下,其他端口连接不同的加速单元和存储单元。24个端口分别连接Mesh的24个输入输出,从一个端口输入的数据在Mesh网络中传输,通过路由确定Mesh中的传输路径从而到达目标端口。
进一步地,为了对多次节点间通信过程进行更加详细的说明,给出一个具体实施例。如图6所示,例如当节点1的端口10连接的加速单元将数据发送给节点4的端口8连接的加速单元。第一步,数据在节点1的端口10连接的加速单元发送,数据中包含目标节点板号和端口号,到节点1的端口10,根据当前板号、端口号和目标板号端口号生成节点1内部Mesh中的数据路由,数据根据路由传输到节点1的端口23(对应节点1的协议接口右),通过节点间的连接,数据传输到节点2的端口2(对应节点2的协议接口左),在节点2的端口2根据当前板号、端口号和目标板号端口号生成节点2内部Mesh中的数据路由,数据根据路由传输到节点2的端口22(对应节点2的协议接口后),通过节点间的连接,数据传输到节点4的端口3(对应节点4的协议接口前),在节点4的端口3根据当前板号、端口号和目标板号端口号生成节点4内部Mesh中的数据路由,数据根据路由传输到节点4的端口8到达目标数据加速单元。
本发明提供的分布式集群系统的数据传输方法,通过基于预先构建的分布式集群系统,根据数据传输目标和当前位置信息在当前节点的当前端口处将路由信息添加至待传输数据,得到目标数据;其中,所述分布式集群系统中的节点基于3D Mesh网络连接,所述节点包括多个端口,所述节点的通信总线为Mesh数据网络,每个所述节点对应一个板号,每个所述端口对应一个端口号;所述路由信息是根据所述数据传输目标和所述当前位置信息计算得到的,所述当前位置信息包括当前板号和当前端口号,所述数据传输目标包括目标板号和目标端口号;将所述目标数据发送至Mesh数据网络中,根据所述路由信息完成所述目标数据的传输。本发明在集群系统中采用3D Mesh网络作为节点连接方式,同时节点内部通信也利用Mesh网络实现,在此基础上通过路由信息实现数据在接口附近直接路由配置并传输到下一节点,从而在实施简单、成本更低的基础上显著减少数据传输时延,提高通信效率。
下面对本发明提供的分布式集群系统的数据传输装置进行描述,下文描述的分布式集群系统的数据传输装置与上文描述的分布式集群系统的数据传输方法可相互对应参照。如图7所示,该装置包括:
数据单元710,用于基于预先构建的分布式集群系统,根据数据传输目标和当前位置信息在当前节点的当前端口处将路由信息添加至待传输数据,得到目标数据;其中,所述分布式集群系统中的节点基于3D Mesh网络连接,所述节点包括多个端口,所述节点的通信总线为Mesh数据网络,每个所述节点对应一个板号,每个所述端口对应一个端口号;所述路由信息是根据所述数据传输目标和所述当前位置信息计算得到的,所述当前位置信息包括当前板号和当前端口号,所述数据传输目标包括目标板号和目标端口号;
传输单元720,用于将所述目标数据发送至Mesh数据网络中,根据所述路由信息完成所述目标数据的传输。
根据本发明提供的一种分布式集群系统的数据传输装置,所述分布式集群系统包括多个节点,所述节点之间通过通信接口光纤连接,形成3D Mesh网络形态,所述通信接口与所述端口相连,所述端口与Mesh数据网络相连;和/或
所述路由信息用于实现在所述分布式集群系统的节点内将所述目标数据从所述当前端口到所述目标端口的数据传输。
根据本发明提供的一种分布式集群系统的数据传输装置,在所述目标节点和所述当前节点相同的情况下,所述将所述目标数据发送至Mesh数据网络中,根据所述路由信息完成所述目标数据的传输,具体包括:
将所述目标数据发送到所述当前节点的Mesh数据网络中;
根据所述路由信息基于所述Mesh数据网络将所述目标数据传输至所述目标端口。
根据本发明提供的一种分布式集群系统的数据传输装置,在所述目标节点和所述当前节点不同的情况下,所述将所述目标数据发送至Mesh数据网络中,根据所述路由信息完成所述目标数据的传输,具体包括:
S1:将所述目标数据发送到所述当前节点的Mesh数据网络中;
S2:根据所述路由信息得到数据传输路径;
S3:基于所述当前节点的Mesh数据网络将所述目标数据传输至当前节点的通信接口连接的端口;
S4:根据所述数据传输路径,基于所述通信接口将所述目标数据传输至其他节点,重复步骤S1-S4,直至所述目标数据传输至所述目标节点;
S5:根据目标节点的目标端口更新路由信息,根据所述路由信息基于所述目标节点的Mesh数据网络将所述目标数据传输至所述目标端口。
根据本发明提供的一种分布式集群系统的数据传输装置,所述根据数据传输目标和当前位置信息在当前节点的当前端口处将路由信息添加至待传输数据,得到目标数据,具体包括:
根据所述数据传输目标得到所述目标节点的板号和所述目标端口的端口号,根据所述当前位置信息得到当前节点的板号和当前端口的端口号;
根据所述当前节点和所述目标节点的板号,以及所述当前端口和目标端口的端口号得到路由信息;
利用所述当前节点中预先构建的路由模块,通过查表的形式将所述路由信息添加到所述待传输数据的预留数据位内,得到目标数据。
根据本发明提供的一种分布式集群系统的数据传输装置,所述基于3D Mesh网络连接包括前、后、左、右、上、下六个方向。
本发明提供的分布式集群系统的数据传输装置,通过基于预先构建的分布式集群系统,根据数据传输目标和当前位置信息在当前节点的当前端口处将路由信息添加至待传输数据,得到目标数据;其中,所述分布式集群系统中的节点基于3D Mesh网络连接,所述节点包括多个端口,所述节点的通信总线为Mesh数据网络,每个所述节点对应一个板号,每个所述端口对应一个端口号;所述路由信息是根据所述数据传输目标和所述当前位置信息计算得到的,所述当前位置信息包括当前板号和当前端口号,所述数据传输目标包括目标板号和目标端口号;将所述目标数据发送至Mesh数据网络中,根据所述路由信息完成所述目标数据的传输。本发明在集群系统中采用3D Mesh网络作为节点连接方式,同时节点内部通信也利用Mesh网络实现,在此基础上通过路由信息实现数据在接口附近直接路由配置并传输到下一节点,从而在实施简单、成本更低的基础上显著减少数据传输时延,提高通信效率。
图8示例了一种电子设备的实体结构示意图,如图8所示,该电子设备可以包括:处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840,其中,处理器810,通信接口820,存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令,以执行分布式集群系统的数据传输方法,该方法包括:基于预先构建的分布式集群系统,根据数据传输目标和当前位置信息在当前节点的当前端口处将路由信息添加至待传输数据,得到目标数据;其中,所述分布式集群系统中的节点基于3D Mesh网络连接,所述节点包括多个端口,所述节点的通信总线为Mesh数据网络,每个所述节点对应一个板号,每个所述端口对应一个端口号;所述路由信息是根据所述数据传输目标和所述当前位置信息计算得到的,所述当前位置信息包括当前板号和当前端口号,所述数据传输目标包括目标板号和目标端口号;将所述目标数据发送至Mesh数据网络中,根据所述路由信息完成所述目标数据的传输。
此外,上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的分布式集群系统的数据传输方法,该方法包括:基于预先构建的分布式集群系统,根据数据传输目标和当前位置信息在当前节点的当前端口处将路由信息添加至待传输数据,得到目标数据;其中,所述分布式集群系统中的节点基于3D Mesh网络连接,所述节点包括多个端口,所述节点的通信总线为Mesh数据网络,每个所述节点对应一个板号,每个所述端口对应一个端口号;所述路由信息是根据所述数据传输目标和所述当前位置信息计算得到的,所述当前位置信息包括当前板号和当前端口号,所述数据传输目标包括目标板号和目标端口号;将所述目标数据发送至Mesh数据网络中,根据所述路由信息完成所述目标数据的传输。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的分布式集群系统的数据传输方法,该方法包括:基于预先构建的分布式集群系统,根据数据传输目标和当前位置信息在当前节点的当前端口处将路由信息添加至待传输数据,得到目标数据;其中,所述分布式集群系统中的节点基于3D Mesh网络连接,所述节点包括多个端口,所述节点的通信总线为Mesh数据网络,每个所述节点对应一个板号,每个所述端口对应一个端口号;所述路由信息是根据所述数据传输目标和所述当前位置信息计算得到的,所述当前位置信息包括当前板号和当前端口号,所述数据传输目标包括目标板号和目标端口号;将所述目标数据发送至Mesh数据网络中,根据所述路由信息完成所述目标数据的传输。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种分布式集群系统的数据传输方法,其特征在于,包括:
基于预先构建的分布式集群系统,根据数据传输目标和当前位置信息在当前节点的当前端口处将路由信息添加至待传输数据,得到目标数据;其中,所述分布式集群系统中的节点基于3D Mesh网络连接,所述节点包括多个端口,所述节点的通信总线为Mesh数据网络,每个所述节点对应一个板号,每个所述端口对应一个端口号;所述路由信息是根据所述数据传输目标和所述当前位置信息计算得到的,所述当前位置信息包括当前板号和当前端口号,所述数据传输目标包括目标板号和目标端口号;
将所述目标数据发送至Mesh数据网络中,根据所述路由信息完成所述目标数据的传输。
2.根据权利要求1所述的分布式集群系统的数据传输方法,其特征在于,所述分布式集群系统包括多个节点,所述节点之间通过通信接口光纤连接,形成3D Mesh网络形态,所述通信接口与所述端口相连,所述端口与Mesh数据网络相连;和/或
所述路由信息用于实现在所述分布式集群系统的节点内将所述目标数据从所述当前端口到所述目标端口的数据传输。
3.根据权利要求2所述的分布式集群系统的数据传输方法,其特征在于,在所述目标节点和所述当前节点相同的情况下,所述将所述目标数据发送至Mesh数据网络中,根据所述路由信息完成所述目标数据的传输,具体包括:
将所述目标数据发送到所述当前节点的Mesh数据网络中;
根据所述路由信息基于所述Mesh数据网络将所述目标数据传输至所述目标端口。
4.根据权利要求2所述的分布式集群系统的数据传输方法,其特征在于,在所述目标节点和所述当前节点不同的情况下,所述将所述目标数据发送至Mesh数据网络中,根据所述路由信息完成所述目标数据的传输,具体包括:
S1:将所述目标数据发送到所述当前节点的Mesh数据网络中;
S2:根据所述路由信息得到数据传输路径;
S3:基于所述当前节点的Mesh数据网络将所述目标数据传输至当前节点的通信接口连接的端口;
S4:根据所述数据传输路径,基于所述通信接口将所述目标数据传输至其他节点,重复步骤S1-S4,直至所述目标数据传输至所述目标节点;
S5:根据目标节点的目标端口更新路由信息,根据所述路由信息基于所述目标节点的Mesh数据网络将所述目标数据传输至所述目标端口。
5.根据权利要求1或2所述的分布式集群系统的数据传输方法,其特征在于,所述根据数据传输目标和当前位置信息在当前节点的当前端口处将路由信息添加至待传输数据,得到目标数据,具体包括:
根据所述数据传输目标得到所述目标节点的板号和所述目标端口的端口号,根据所述当前位置信息得到当前节点的板号和当前端口的端口号;
根据所述当前节点和所述目标节点的板号,以及所述当前端口和目标端口的端口号得到路由信息;
利用所述当前节点中预先构建的路由模块,通过查表的形式将所述路由信息添加到所述待传输数据的预留数据位内,得到目标数据。
6.根据权利要求2所述的分布式集群系统的数据传输方法,其特征在于,所述基于3DMesh网络连接包括前、后、左、右、上、下六个方向。
7.一种分布式集群系统的数据传输装置,其特征在于,包括:
数据单元,用于基于预先构建的分布式集群系统,根据数据传输目标和当前位置信息在当前节点的当前端口处将路由信息添加至待传输数据,得到目标数据;其中,所述分布式集群系统中的节点基于3D Mesh网络连接,所述节点包括多个端口,所述节点的通信总线为Mesh数据网络,每个所述节点对应一个板号,每个所述端口对应一个端口号;所述路由信息是根据所述数据传输目标和所述当前位置信息计算得到的,所述当前位置信息包括当前板号和当前端口号,所述数据传输目标包括目标板号和目标端口号;
传输单元,用于将所述目标数据发送至Mesh数据网络中,根据所述路由信息完成所述目标数据的传输。
8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述分布式集群系统的数据传输方法。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述分布式集群系统的数据传输方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述分布式集群系统的数据传输方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410540584.5A CN118573676A (zh) | 2024-04-30 | 2024-04-30 | 分布式集群系统的数据传输方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410540584.5A CN118573676A (zh) | 2024-04-30 | 2024-04-30 | 分布式集群系统的数据传输方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118573676A true CN118573676A (zh) | 2024-08-30 |
Family
ID=92466254
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410540584.5A Pending CN118573676A (zh) | 2024-04-30 | 2024-04-30 | 分布式集群系统的数据传输方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118573676A (zh) |
-
2024
- 2024-04-30 CN CN202410540584.5A patent/CN118573676A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2189903B1 (en) | Barrier synchronization apparatus, barrier synchronization system, and barrier synchronization method | |
US9825844B2 (en) | Network topology of hierarchical ring with recursive shortcuts | |
JP4843087B2 (ja) | スイッチング帯域幅を向上させるスイッチングシステムおよび方法 | |
CN110495137B (zh) | 数据中心网络结构及其构建方法 | |
US8204054B2 (en) | System having a plurality of nodes connected in multi-dimensional matrix, method of controlling system and apparatus | |
US10394738B2 (en) | Technologies for scalable hierarchical interconnect topologies | |
US10547514B2 (en) | Automatic crossbar generation and router connections for network-on-chip (NOC) topology generation | |
WO2023040197A1 (zh) | 一种跨节点通信方法、装置、设备及可读存储介质 | |
CN106506625A (zh) | 四控服务器及四控服务器通信方法 | |
CN111193971B (zh) | 一种面向机器学习的分布式计算互连网络系统及通信方法 | |
CN117955897B (zh) | 数据通信方法、装置、服务器及存储介质 | |
CN112367279A (zh) | 一种基于二维mesh结构多核芯片组的路由方法及系统 | |
US20190146802A1 (en) | Information processing apparatus, arithmetic processing apparatus, and control method for information processing apparatus | |
CN102710496B (zh) | 用于多个服务器间的数据传输系统、数据接口装置及数据传输方法 | |
CN118573676A (zh) | 分布式集群系统的数据传输方法和装置 | |
CN114968895A (zh) | 一种异构互联系统及集群 | |
CN1431808A (zh) | 一种大容量可扩展分组交换网络结构 | |
CN115102864A (zh) | 一种用于Dragonfly拓扑的Allgather方法及装置 | |
US20050038949A1 (en) | Apparatus for enabling distributed processing across a plurality of circuit cards | |
CN112994998A (zh) | 一种通讯节点、通讯方法、装置及电子设备 | |
CN112463670A (zh) | 一种存储控制器访问方法及相关装置 | |
CN107370652B (zh) | 一种计算机节点动态互联平台及平台组网方法 | |
CN104601494A (zh) | 一种fc-ae交换机和交换方法 | |
CN103491079A (zh) | 一种报文生成装置、服务器以及方法 | |
CN113630346B (zh) | 分布式网络系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |