CN108833309A - 集线服务器 - Google Patents

Abstract

本发明实施例提供集线服务器，集线服务器包括：配置模块、若干个集线端口、内存和通信总线，集线端口包括第一集线子端口和第二集线子端口；第一集线子端口与内存连接，通信总线与所有第二集线子端口连接，配置模块与通信总线连接，通信总线与内存连接；第一集线子端口用于接收第一数据，并将第一数据发送至内存；配置模块根据配置信息和第一数据，获取第二数据，并分发第二数据至各个第二集线子端口；内存用于存储第一数据和第二数据，本发明实施例通过将各个集线端口直接与集线服务器内部负责计算的装置连接，在数据同步和更新过程中，减少了因与服务器直连的唯一链路而导致的数据拥塞的情况，提升了系统性能。

Description

集线服务器

技术领域

本发明涉及通信技术领域，更具体地，涉及集线服务器。

背景技术

在分布式计算集群中，很多任务的完成，需要多个计算节点聚合参数信息或共享参数信息。以分布式机器学习系统为例，多个计算节点需要与服务器进行通信，通常是通过交换机将多个主机连接在同一个局域网内，形成典型的分布式计算集群系统，每个计算节点完成一轮计算后，向服务器提交更新的参数值；参数服务器汇集和融合来自所有节点的参数更新结果，之后将参数更新结果分发给所有计算节点，以进行下一轮迭代计算。

图1为现有技术中分布式集群系统结构示意图，如图1所示，现有技术中分布式集群系统中多个计算节点103是通过交换机102，然后与服务器101进行连接，因此在分布式系统的参数更新与同步过程中，服务器101与计算节点103产生了一对多和多对一的流量模式，这两种模式使得与服务器101直接相连的那一条链路容易诱发拥塞，导致分组排队，甚至丢失，进而延缓相关业务流的传输，影响系统性能。

如何解决与服务器直接相连的链路容易诱发拥塞的问题，已经成为了一个亟待解决的问题。

发明内容

本发明实施例提供集线服务器，用以解决上述现有技术中存在的缺陷或者至少部分地解决上述现有技术中存在的缺陷。

第一方面，本发明实施例提供集线服务器，包括：

配置模块、若干个集线端口、内存和通信总线，所述集线端口包括第一集线子端口和第二集线子端口；

所述第一集线子端口与所述内存连接，所述通信总线与所有所述第二集线子端口连接，所述配置模块与所述通信总线连接，所述通信总线与所述内存连接；

所述第一集线子端口用于接收第一数据，并将所述第一数据发送至所述内存；

所述配置模块根据配置信息和所述第一数据，获取第二数据，并分发所述第二数据至各个第二集线子端口；

所述内存用于存储所述第一数据和所述第二数据。

第二方面，本发明实施例提供一种分布式集群服务器，包括多个如第一方面所述集线服务器，各个所述集线服务器通过所述配置模块进行连接。

本发明实施例提供的集线服务器，通过将各个集线端口直接与集线服务器内部负责处理的装置连接，在数据同步和更新过程中，减少了因与服务器直连链路而导致的数据拥塞的情况，提升了系统性能。

附图说明

图1为现有技术中分布式集群系统结构示意图；

图2为本发明实施例提供的集线服务器结构示意图；

图3为本发明实施例提供的集线服务器另一结构示意图；

图4为本发明实施例提供的集线服务器数据处理流程图；

图5为本发明实施例提供的集线服务器再一结构示意图；

图6为本发明实施例提供的集线服务器又一结构示意图；

图7为本发明实施例提供的集线服务器另一数据处理流程图；

图8为本发明实施例提供的一种分布式集群服务器示意图；

图9为本发明实施例提供的另一种分布式集群服务器示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图2为本发明实施例提供的集线服务器结构示意图，如图2所示，包括：配置模块205、若干个集线端口201、内存204和通信总线206，所述集线端口201包括第一集线子端口202和第二集线子端口203；

所述第一集线子端口202与所述内存204连接，所述通信总线206与所有所述第二集线子端口203连接，所述配置模块205与所述通信总线206连接，所述通信总线206与所述内存204连接；

所述第一集线子端口202用于接收第一数据，并将所述第一数据发送至所述内存204；

所述配置模块205根据配置信息和所述第一数据，获取第二数据，并分发所述第二数据至各个第二集线子端口203；

所述内存204用于存储所述第一数据和所述第二数据。

图2中还包括处理器207，该处理器207与通信总线206连接，该处理器207用于进行数据的处理。

本发明实施例中所描述的集线端口201用于获取与该集线端口201所连接的计算节点数据，该数据为第一数据，在集线端口201中将该第一数据进行物理层处理后，由集线端口中的第一集线子端口202将该第一数据直接写入内存204中。

本发明实施例中的配置模块205用于向通信总线206提供配置信息，该配置信息包括了对于第一数据进行处理的信息，还包括了如何将第二数据分发到各个第二集线子端口的信息。

本发明实施例中所描述的第一数据是指由各个集线端口201接收到与其连接的计算节点的数据，该第一数据为尚未被处理器207处理过的数据；本发明实施例中所描述的第二数据是指通信总线206将该第一数据和配置模块205中的配置信息发送到服务器207进行处理后所得到的信息。

本发明实施例中的通信总线206会将服务器207下发的第二数据存储在内存204中，当参数需要更新时，则通信总线206会从内存204中读取第二数据，然后结合配置模块205中的配置信息，将该第二数据分发到各个第二集线子端口中。

本发明实施例中所描述的各个第二集线子端口203在接收到第二数据后，将该第二数据进行物理层处理，然后发送到与其连接的计算节点。

本发明实施例通过将与各个集线端口201相连的计算节点数据直接发送到内存204，并结合配置模块205的配置信息进行处理，然后将处理后的数据结合配置模块205的配置信息直接分发到各个第二集线子端口，这样使得每个计算节点都通过其对应的集线端口，直接与集线服务器内部进行处理的装置直接互联，从而避免了多对一和一对多流量模式下，与服务器直连的链路容易诱发堵塞的问题，优化了系统性能。

图3为本发明实施例提供的集线服务器另一结构示意图，如图3所示，所述配置模块包括配置端口305，相应地，所述集线服务器包括：

配置端口305、若干个集线端口301、内存304和通信总线306，所述集线端口301包括第一集线子端口302和第二集线子端口303；

所述配置端口305和所述通信总线306连接，所有所述第一集线子端口302和所述内存304连接，所述通信总线306与所有所述第二集线子端口303连接，所述内存304与所述通信总线306连接；

所述第一集线子端口302用于接收第一数据，并将所述第一数据发送至内存304；

所述配置端口305用于接收所述配置信息，所述配置信息包含第一信息和第二信息，所述第一信息用于处理所述第一数据，以得到第二数据；所述第二信息用于指示所述通信总线306分发所述第二数据至各个所述第二集线子端口；

所述内存304用于存储所述第一数据以及所述第二数据。

本发明实施例中还包括处理器309，其与通信总线306连接，用于进行数据处理。

本发明实施例中所描述的配置端口305用于用户远程访问本集线服务器，用户可以通过配置端口305远程访问，从而通过配置端口305发送配置信息，该配置信息包括用于指示如何对于第一数据进行处理的第一信息，该配置信息还包括用于指示通信总线306如何将第二数据分发至各个所述第二集线子端口303的第二信息。

本发明实施例中，各个集线端口301中的第一集线子端口302用于接收与该集线端口301相连接的计算节点的数据，该数据为第一数据，然后第一集线子端口302将该第一数据发送至内存304，所述通信总线306读取内存304中存储的第一数据，然后结合配置端口305接收到的配置信息中的第一信息，由处理器309对该第一数据进行处理，得到第二数据，处理器309再将该第二数据下发至通信总线306然后通信总线306将第二数据发送至内存304中进行存储。

当参数需要更新时，通信总线306从内存304中读取第二数据，并结合配置端口305接收到的配置信息中的第二信息，将第二数据分发到各个第二配置子端口303中。

本发明实施例中的集线服务器还包括风扇308和电源307，本发明实施例中所描述的电源307用于为该集线服务器供电，本发明实施例中所描述的风扇308用于降低集线服务器内部的温度。

本发明实施例通过将集线端口301中的第一集线子端口302直接将数据发送至内存304，且集线端口301中的各个第二集线子端口303通过与通信总线306连接，来接收通信总线306根据配置信息下发的第二数据，从而避免了多对一和一对多流量模式下，与服务器直连的链路容易诱发堵塞的问题，优化了系统性能。

在上述实施例的基础上，所述内存包括第一内存和第二内存，所述第一内存用于存储所述第一数据，所述第二内存用于存储所述第二数据。

本发明实施例中的第一内存与所有第一集线子端口302连接，该第一内存还与通信总线306连接，第一集线子端口302将第一数据发送至第一内存，通信总线从第一内存读取第一数据，并根据配置信息中的第一信息进行处理，以得到第二数据；然后通信总线306将第二数据发送至第二内存进行存储，当参数更新时，通信总线306再从第二内存中读取第二数据，以对第二数据进行分发。

本发明实施例通过将第一数据和第二数据分别存储在第一内存和第二内存中，优化了系统性能。

在上述实施例的基础上，所述集线服务器包括第一协议栈处理模块，所述第一协议栈处理模块用于将所述内存中的第一数据和所述配置信息进行协议栈处理，以得到所述第二数据，并将所述第二数据进行封装分组处理，以供所述通信总线分发至各个所述第二集线子端口。

图4为本发明实施例提供的集线服务器数据处理流程图，如图4所示，配置端口404将配置信息中的第一信息和第二信息均发送到第一协议栈处理模块进行协议栈处理后，交由配置管理模块，配置管理模块解析其中的配置信息，然后对于本集线服务器中的数据处理模块和输出管理模块进行配置操作。

各个第一集线子端口402将第一数据直接存储在分组存储模块中，然后协议栈处理模块直接从分组存储模块中读取该第一数据以进行协议栈处理，再将进行协议栈处理后的第一数据发送至进行配置操作后的数据处理模块进行数据处理得到第二数据，然后将该第二数据存储到参数存储模块，当参数需要更新时，进行配置操作后的输出管理模块从参数存储模块中读取该第二数据，由协议栈处理模块将该第二数据封装成数据分组，并将其发送到各个第二集线子端口403。

本发明实施例通过第一协议栈处理模块对第一数据、配置信息和第二数据进行协议栈处理，提高了系统的性能。

图5为本发明实施例提供的集线服务器再一结构示意图，如图5所示，所述集线服务器还包括：硬盘510和处理器507，所述硬盘510与所述通信总线506连接，所述处理器507与所述通信总线506连接，所述硬盘504用于存储所述集线服务器开机所需的系统信息。

相应地，所述集线服务器包括：配置端口505、若干个集线端口501、内存504、通信总线506、硬盘510、处理器507、风扇509和电源508；所述集线端口501包括第一集线子端口502和第二集线子端口503。

配置端口505和通信总线506连接，所有第一集线子端口502和内存504连接，通信总线506与所有第二集线子端口503连接，内存504与通信总线506连接，硬盘510与通信总线506连接，处理器507与通信总线506连接，电源508和风扇509处于该集线服务器内部。

本发明实施例中所描述的硬盘中存储了集线服务器开机时所需要的系统信息，当集线服务器开机时，通信总线506从该硬盘504中读取开机所需的系统信息以保证集线服务器正常运转。

本发明实施例中所描述的处理器507用于处理通信总线506上传的数据，且处理器507在将该数据处理后下发到通信总线506以进行后续操作。

在上述实施例的基础上，所述配置端口还用于接收所述集线端口的配置参数信息，所述集线端口的配置参数信息用于按需求配置各个所述集线端口。

本发明实施例中所描述的配置参数信息是指用户按照需求，通过远程访问的方式发送的信息，该信息用于指示集线服务器对于其各个集线端口进行配置。

本发明实施例通过配置端口接收集线端口的配置参数信息，实现通过远程访问的方式，来对各个配置端口进行配置，提高了系统的性能。

图6为本发明实施例提供的集线服务器又一结构示意图，如图6所示，所述配置模块包括交换芯片607和若干个分流器605，相应地，所述集线服务器包括：

若干个集线端口601、若干个分流器605、交换芯片607、内存604和通信总线606，所述集线端口601包括第一集线子端口602和第二集线子端口603；

所述交换芯片607与所述通信总线606连接，每个所述第一集线子端口602对应连接一个所述分流器605，所有所述分流器605与所述内存604连接，所述通信总线606与所述交换芯片607连接，所述交换芯片607分别和每个所述第二集线子端口603连接，所述内存604与所述通信总线606连接；

所述第一集线子端口602接收所述第一数据，并将所述第一数据发送至所述分流器605；

所述分流器605按照预设分组规则，将所述第一数据进行分组后发送至所述内存604和所述交换芯片607；第二数据是将分组后的所述第一数据处理后得到的；

所述交换芯片分发所述通信总线下发的第二数据至各个所述第二集线子端口；所述交换芯片607还将所述分流器605的第一数据转发至所述第二集线子端口603；

所述内存604用于存储所述第一数据和所述第二数据。

本发明实施例中所描述的分流器605接收到第一集线子端口602发送的第一数据后按照预设分组规则对其进行一定的分组分类处理，然后将其转发给内存604，本发明实施例中的第二数据是根据被分组分类处理后的第一数据所得到的，此时被分组分类处理后的第一数据已经能够使得进行服务器对其进行处理，从而得到第二数据；且分流器605还将按照预设分组规则处理后的第一数据发送至交换芯片。

本发明实施例中所描述的交换芯片可以将分流器605发送的第一数据转发至对应的第二集线子端口603，交换芯片607转发的第一数据可以是将多个分流器605发送的第一数据分组转发到对应的第二集线子端口603中，也可以是将单个分流器605发送的第一数据转发到对应的第二集线子端口603中；本发明实施例中的交换芯片607还用于根据交换芯片607本身的功能即可实现配置信息的功能，将通信总线606下发的第二数据分发到各个第二集线子端口603中。

本发明实施例中的集线服务器还包括电源610和风扇611，电源610和风扇611均设置于集线服务器内部，本发明实施例中所描述的电源610用于为该集线服务器供电，本发明实施例中所描述的风扇611用于降低集线服务器内部的温度。

本发明实施例中的集线服务器还包括硬盘609和处理器608，所述硬盘609与所述通信总线606连接，所述处理器608与所述通信总线609连接，所述硬盘609用于存储所述集线服务器开机所需的系统信息。

本发明实施例通过分流器605和交换芯片607，可以将集线端口601收到的第一数据直接转发到其它集线端口601，提高了系统的性能。

在上述实施例的基础上，所述集线服务器还包括第二协议栈处理模块，所述第二协议栈处理模块用于将所述内存中的第一数据进行协议栈处理，以得到所述第二数据，并将所述第二数据进行封装分组处理后发送至所述交换芯片。

图7为本发明实施例提供的集线服务器另一数据处理流程图，如图7所示，由第一配置子端口702输入的第一数据先经过分流器以依照预设的分组分类规则将该第一数据分别转发到交换网络模块和协议栈处理模块。

第一数据进入第二协议栈处理模块进行协议栈处理后，将协议栈处理后的第一数据发送至数据处理与配置管理单元进行数据处理，从而得到第二数据，然后将该第二数据存储到参数存储模块，当参数需要更新时，输出管理模块从参数存储模块中读取该第二数据，由协议栈处理模块将该第二数据进行封装成数据分组，再将其发送到交换网络模块，以供交换网络模块将其分发到各个第二集线子端口703。

第一数据进入交换网络模块后，由交换网络模块将其分发到该第一数据转发所对应的第二集线子端口703，该处理流程类似于传统的交换机的转发流程。

本发明实施例通过第二协议栈处理模块对第一数据和第二数据进行协议栈处理，提高了系统的性能。

本发明实施例提供一种分布式集群服务器，其特征在于，包括多个如上述任一实施例所描述的集线服务器，各个所述集线服务器通过所述配置模块进行连接。

图8为本发明实施例提供的一种分布式集群服务器示意图，如图8所示，集线服务器803、集线服务器804、集线服务器805和集线服务器806均有配置模块和多个集线端口，各个配置模块中均包括两个上传端口；集线服务器803、集线服务器804、集线服务器805和集线服务器806的上传端口均分别与集线服务器801的集线端口和集线服务器802的集线端口连接。

在上述实施例的基础上，各个所述集线服务器通过所述配置模块按环形依次连接。

本发明实施例中所描述的各个集线服务器中的配置模块进行连接，可以是将各个集线服务器的配置模块按照环形依次进行连接，最后形成一个闭合环型。

图9为本发明实施例提供的另一种分布式集群服务器示意图，如图9所示，各个集线服务器中的配置模块中均包括两个上传接口，即集线服务器901、集线服务器902和集线服务器903将各个集线服务器的上传接口按照环形依次进行连接，形成一个闭合环形的分布式集群服务器。

本发明实施例的分布式集群服务器在初始配置时即指定闭合环型多个集线服务器中的一个集线服务器作为起始集线服务器，各个集线服务器从计算节点接收到参数信息后先做一次局部的参数聚合，然后开始发起全局参数聚合操作。

例如，指定集线服务器901为起始集线服务器，且在初始配置时设定该分布式集群服务器按照顺时针方向将数据发送至后继集线服务器，此处所描述的后继集线服务器是指按照顺时针或逆时针方向该服务器的相邻的后一个服务器，例如，集线服务器901的后继集线服务器为集线服务器902。

集线服务器收到分组中的参数信息后与本地的参数再做一次聚合，例如，起始集线服务器901将局部参数信息按照顺时针方向发送至后继集线服务器902，集线服务器902将901发送的参数信息与本地的参数信息进行聚合后，继续向其后继集线服务器903发送，当参数信息在环形拓扑上传递一圈回到起始集线服务器901时，完成全局参数的计算。

由起始集线服务器901开始再进行一轮传递，将更新后的全局参数信息发送给所有集线服务器。之后再分别由集线服务器通过其集线端口发送至计算节点，从而完成全局参数更新。

本发明实施例提供的分布式集群服务器，通过分布式集群的构建，提升了处理能力。

最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.集线服务器，其特征在于，包括：

配置模块、若干个集线端口、内存和通信总线，所述集线端口包括第一集线子端口和第二集线子端口；

所述第一集线子端口与所述内存连接，所述通信总线与所有所述第二集线子端口连接，所述配置模块与所述通信总线连接，所述通信总线与所述内存连接；

所述第一集线子端口用于接收第一数据，并将所述第一数据发送至所述内存；

所述配置模块根据配置信息和所述第一数据，获取第二数据，并分发所述第二数据至各个第二集线子端口；

所述内存用于存储所述第一数据和所述第二数据。

2.根据权利要求1所述集线服务器，其特征在于，所述配置模块包括配置端口，相应地，所述集线服务器包括：

配置端口、若干个集线端口、内存和通信总线，所述集线端口包括第一集线子端口和第二集线子端口；

所述配置端口和所述通信总线连接，所有所述第一集线子端口和所述内存连接，所述通信总线与所有所述第二集线子端口连接，所述内存与所述通信总线连接；

所述第一集线子端口用于接收第一数据，并将所述第一数据发送至内存；

所述配置端口用于接收所述配置信息，所述配置信息包含第一信息和第二信息，所述第一信息用于处理所述第一数据，以得到第二数据；所述第二信息用于指示所述通信总线分发所述第二数据至各个所述第二集线子端口；

所述内存用于存储所述第一数据以及所述第二数据。

3.根据权利要求2所述集线服务器，其特征在于，所述内存包括第一内存和第二内存，所述第一内存用于存储所述第一数据，所述第二内存用于存储所述第二数据。

4.根据权利要求2所述集线服务器，其特征在于，所述集线服务器包括第一协议栈处理模块，所述第一协议栈处理模块用于将所述内存中的第一数据和所述配置信息进行协议栈处理，以得到所述第二数据，并将所述第二数据进行封装分组处理，以供所述通信总线分发至各个所述第二集线子端口。

5.根据权利要求2所述集线服务器，其特征在于，所述集线服务器还包括：

硬盘和处理器，所述硬盘与所述通信总线连接，所述处理器与所述通信总线连接，所述硬盘用于存储所述集线服务器开机所需的系统信息。

6.根据权利要求2所述集线服务器，其特征在于，所述配置端口还用于接收所述集线端口的配置参数信息，所述集线端口的配置参数信息用于按需求配置各个所述集线端口。

7.根据权利要求1所述集线服务器，其特征在于，所述配置模块包括交换芯片和若干个分流器，相应地，所述集线服务器包括：

若干个集线端口、若干个分流器、交换芯片、内存和通信总线，所述集线端口包括第一集线子端口和第二集线子端口；

所述交换芯片与所述通信总线连接，每个所述第一集线子端口对应连接一个所述分流器，所有所述分流器与所述内存连接，所述通信总线与所述交换芯片连接，所述交换芯片分别和每个所述第二集线子端口连接，所述内存与所述通信总线连接；

所述第一集线子端口接收所述第一数据，并将所述第一数据发送至所述分流器；

所述分流器按照预设分组规则，将所述第一数据进行分组后发送至所述内存和所述交换芯片；第二数据是将分组后的所述第一数据处理后得到的；

所述交换芯片分发所述通信总线下发的第二数据至各个所述第二集线子端口；所述交换芯片还将所述分流器的第一数据转发至所述第二集线子端口；

所述内存用于存储所述第一数据和所述第二数据。

8.根据权利要求7所述集线服务器，其特征在于，所述集线服务器还包括第二协议栈处理模块，所述第二协议栈处理模块用于将所述内存中的第一数据进行协议栈处理，以得到所述第二数据，并将所述第二数据进行封装分组处理后发送至所述交换芯片。

9.一种分布式集群服务器，其特征在于，包括多个如权利要求1-8任一项所述集线服务器，各个所述集线服务器通过所述配置模块进行连接。

10.根据权利要求9所述分布式集群服务器，其特征在于，各个所述集线服务器通过所述配置模块按环形依次连接。