CN114448988A - 一种节点负载均衡方法、装置、设备、存储介质 - Google Patents

一种节点负载均衡方法、装置、设备、存储介质 Download PDF

Info

Publication number
CN114448988A
CN114448988A CN202210300683.7A CN202210300683A CN114448988A CN 114448988 A CN114448988 A CN 114448988A CN 202210300683 A CN202210300683 A CN 202210300683A CN 114448988 A CN114448988 A CN 114448988A
Authority
CN
China
Prior art keywords
node
resource
information
load balancing
bandwidth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210300683.7A
Other languages
English (en)
Inventor
贾涛
王帅阳
和思扬
陶钰昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202210300683.7A priority Critical patent/CN114448988A/zh
Publication of CN114448988A publication Critical patent/CN114448988A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1014—Server selection for load balancing based on the content of a request

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种节点负载均衡方法、装置、设备、存储介质，应用于分布式文件系统，包括：收集预设时间周期内的各个节点的资源信息；将各个节点的资源信息上报至管理节点，以便管理节点确定各个节点的资源使用情况并记录各个节点的资源剩余量；获取客户端的请求信息，并根据各个节点的资源剩余量从各个节点中确定出资源剩余最多的节点作为目标节点；将请求信息返回至目标节点，以便目标节点对请求信息进行处理。通过本申请计算并确定资源剩余最多的节点作为处理客户端请求信息的目标节点的方式，可以避免一个节点处理多个请求的压力过大，实现节点间的负载均衡，避免资源浪费，提升系统的可用性、易用性和实用性，进一步提高系统整体性能。

Description

一种节点负载均衡方法、装置、设备、存储介质
技术领域
本发明涉及分布式存储技术领域，特别涉及一种节点负载均衡方法、装置、设备、存储介质。
背景技术
目前，HDFS(Hadoop Distributed File System，分布式文件系统)是一个应用广泛的分布式文件系统，在大数据技术架构中占据着重要位置，是整个大数据平台的基石，所以其性能好坏对上层应用有很大的影响。在HDFS中有多个DN(DataNode，数据节点)，由于每个DN节点的负载不同，因此在多个客户端同时向HDFS发送读写请求时，存在将数据写入到负载较重的DN节点，从而导致该DN节点IO(Input/Output，输入输出)压力过大，同时也导致其他DN节点的带宽资源浪费，进一步导致HDFS中节点间负载不均衡的问题，导致HDFS集性能下降。
综上，如何实现节点间的负载均衡，避免资源浪费，提升系统整体性能是本领域有待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种节点负载均衡方法、装置、设备、存储介质，能够实现节点间的负载均衡，避免资源浪费，提升系统整体性能，其具体方案如下：
第一方面，本申请公开了一种节点负载均衡方法，应用于分布式文件系统，包括：
收集预设时间周期内的各个节点的资源信息；
将所述各个节点的资源信息上报至管理节点，以便所述管理节点确定所述各个节点的资源使用情况并记录各个节点的资源剩余量；
获取客户端的请求信息，并根据所述各个节点的资源剩余量从所述各个节点中确定出资源剩余最多的节点作为目标节点；
将所述请求信息返回至目标节点，以便所述目标节点对所述请求信息进行处理。
可选的，所述收集预设时间周期内的各个节点的资源信息，包括：
收集预设时间周期内的各个节点的总带宽信息、读带宽信息、写带宽信息、最大总带宽信息。
可选的，所述收集预设时间周期内的各个节点的总带宽信息、读带宽信息、写带宽信息、最大总带宽信息，包括：
启动所述各个节点的服务线程，并利用所述服务线程新建读写模块，以便读写所述客户端发送的数据请求；
通过服务线程类中增加的全局共享变量收集所述总带宽信息、所述读带宽信息、所述写带宽信息、所述最大总带宽信息。
可选的，所述将所述各个节点的资源信息上报至管理节点，包括：
通过节点心跳包将所述各个节点中统计的所述总带宽信息、所述读带宽信息、所述写带宽信息、所述最大总带宽信息上报至管理节点。
可选的，所述将所述各个节点的资源信息上报至管理节点之前，还包括：
预先配置带宽负载均衡开关；
启动所述带宽负载均衡开关，以便所述节点进行资源信息统计并将所述资源信息上报至所述管理节点。
可选的，所述将所述各个节点的资源信息上报至管理节点，以便所述管理节点确定所述各个节点的资源使用情况并记录各个节点的资源剩余量，包括：
将所述各个节点的资源信息上报至管理节点，以便所述管理节点对所述各个节点的平均带宽使用情况进行统计，并计算所述各个节点的平均带宽剩余情况。
可选的，所述根据所述各个节点的资源剩余量从所述各个节点中确定出资源剩余最多的节点作为目标节点，包括：
将所述各个节点的资源剩余量按照从大到小的顺序将所述各个节点进行排序，并生成相应的节点排序列表，从所述节点排序列表中选择所述资源剩余量最多的节点作为目标节点。
第二方面，本申请公开了一种节点负载均衡装置，应用于分布式文件系统，包括：
信息收集模块，用于收集预设时间周期内的各个节点的资源信息；
信息上报模块，用于将所述各个节点的资源信息上报至管理节点，以便所述管理节点确定所述各个节点的资源使用情况并记录各个节点的资源剩余量；
节点确定模块，用于获取客户端的请求信息，并根据所述各个节点的资源剩余量从所述各个节点中确定出资源剩余最多的节点作为目标节点；
节点均衡模块，用于将所述请求信息返回至目标节点，以便所述目标节点对所述请求信息进行处理。
第三方面，本申请公开了一种电子设备，包括：
存储器：用于保存计算机程序；
处理器：用于执行所述计算机程序，以实现前述公开的节点负载均衡方法的步骤。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的节点负载均衡方法的步骤。
可见，本申请公开了一种节点负载均衡方法，应用于分布式文件系统，包括：收集预设时间周期内的各个节点的资源信息；将所述各个节点的资源信息上报至管理节点，以便所述管理节点确定所述各个节点的资源使用情况并记录各个节点的资源剩余量；获取客户端的请求信息，并根据所述各个节点的资源剩余量从所述各个节点中确定出资源剩余最多的节点作为目标节点；将所述请求信息返回至目标节点，以便所述目标节点对所述请求信息进行处理。由此可见，本申请通过预先收集各个节点的资源信息并计算各个节点的资源剩余量，能够得到节点的资源使用情况，当收到客户端发送的请求信息时，根据预先计算出的节点的资源剩余量大小从所有节点中确定出目标节点，以便目标节点对请求信息进行处理，可以实现节点间的负载均衡，避免资源浪费，提升HDFS文件系统的可用性、易用性和实用性，进一步提高系统整体性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种节点负载均衡方法流程图；
图2为本申请公开的一种具体的节点负载均衡方法流程图；
图3为本申请公开的一种具体的节点负载均衡方法流程图；
图4为本申请公开的一种具体的节点负载均衡方法流程图；
图5为本申请公开的一种节点负载均衡装置结构图；
图6为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，HDFS(Hadoop Distributed File System，分布式文件系统)是一个应用广泛的分布式文件系统，在大数据技术架构中占据着重要位置，是整个大数据平台的基石，所以其性能好坏对上层应用有很大的影响。在HDFS中有多个DN，由于每个DN节点的负载不同，因此在多个客户端同时向HDFS发送读写请求时，存在将数据写入到负载较重的DN节点，从而导致该DN节点IO压力过大，同时也导致其他DN节点的带宽资源浪费，进一步导致HDFS中节点间负载不均衡的问题，导致HDFS集性能下降。
为此，本申请公开了一种节点负载均衡方案，能够实现节点间的负载均衡，避免资源浪费，提升系统整体性能。
参照图1所示，本申请实施例公开了一种节点负载均衡方法，应用于分布式文件系统，包括：
步骤S11：收集预设时间周期内的各个节点的资源信息。
本实施例中，收集预设时间周期内的各个节点的总带宽信息、读带宽信息、写带宽信息、最大总带宽信息。可以理解的是，当各个节点启动时，每个节点均产生了相应的节点的资源信息，在预设时间周期内通过读写接口调用对读写的字节数进行统计，一般默认配置的预设时间周期为60秒，并利用总读写字节数与预设时间周期去计算最近的预设时间周期内的最大总带宽信息，并更新最大总带宽信息，需要注意的是，总带宽为每个DN节点的实时传输的带宽的大小，如当前时刻DN节点的传输为7M，则DN节点的总带宽为7M，下一时刻DN节点的传输为8M，则DN节点的总带宽为8M；最大总带宽信息则是预设时间周期内，所述DN节点传输的带宽最大值，如在预设时间周期内不同时刻的DN节点的总带宽分别为7M、8M、10M，则在预设时间周期内的所述DN节点的最大总带宽信息为10M。
步骤S12：将所述各个节点的资源信息上报至管理节点，以便所述管理节点确定所述各个节点的资源使用情况并记录各个节点的资源剩余量。
本实施例中，将所述各个DN的资源信息通过心跳包均上报至NN(NameNode，管理节点)，以便所述NN节点对各个DN节点的资源使用情况进行统计并记录各个DN节点的资源剩余情况。
步骤S13：获取客户端的请求信息，并根据所述各个节点的资源剩余量从所述各个节点中确定出资源剩余最多的节点作为目标节点。
本实施例中，当NN节点获取到新的客户端的请求信息时，将所述请求信息返回至给客户端的DN列表前，预先将各个DN节点的带宽剩余量加入排序因素，优先选择带宽剩余量大的DN节点，并将所述DN节点确定为目标节点。
步骤S14：将所述请求信息返回至目标节点，以便所述目标节点对所述请求信息进行处理。
本实施例中，将所述请求信息返回至带宽剩余较多的DN节点，以便所述DN节点对所述请求信息进行读写处理，这样一来，在一定程度上可以保持DN节点间的负载均衡。
可见，本申请公开了一种节点负载均衡方法，应用于分布式文件系统，包括：收集预设时间周期内的各个节点的资源信息；将所述各个节点的资源信息上报至管理节点，以便所述管理节点确定所述各个节点的资源使用情况并记录各个节点的资源剩余量；获取客户端的请求信息，并根据所述各个节点的资源剩余量从所述各个节点中确定出资源剩余最多的节点作为目标节点；将所述请求信息返回至目标节点，以便所述目标节点对所述请求信息进行处理。由此可见，本申请通过预先收集各个节点的资源信息并计算各个节点的资源剩余量，能够得到节点的资源使用情况，当收到客户端发送的请求信息时，根据预先计算出的节点的资源剩余量大小从所有节点中确定出目标节点，以便目标节点对请求信息进行处理，可以实现节点间的负载均衡，避免资源浪费，提升HDFS文件系统的可用性、易用性和实用性，进一步提高系统整体性能。
参照图2所示，本发明实施例公开了一种具体的节点负载均衡方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
步骤S21：启动各个节点的服务线程，并利用所述服务线程新建读写模块，以便读写所述客户端发送的数据请求；通过服务线程类中增加的全局共享变量收集总带宽信息、读带宽信息、写带宽信息、最大总带宽信息。
本实施例中，参照图3所示，每个DN节点都启动时都会产生一个DataXceiverServer线程，所述DataXceiverServer线程类似于一个小型的服务器，被用来接收数据读写请求，该线程为每一个有具体读写请求的客户端启动一个DataXceiver线程，并为每一个Block新建一个BlockReceiver或者BlockSender来读写具体的数据。因此可以在DataXceiverServer类中新增加总带宽、读带宽、写带宽、最大总带宽的全局共享变量，以便用来收集总带宽信息、读带宽信息、写带宽信息、最大总带宽信息。
步骤S22：通过节点心跳包将所述各个节点中统计的所述总带宽信息、所述读带宽信息、所述写带宽信息、所述最大总带宽信息上报至管理节点，以便所述管理节点确定所述各个节点的资源使用情况并记录各个节点的资源剩余量。
本实施例中，通过节点心跳包将所述各个DN节点中统计的所述总带宽信息、所述读带宽信息、所述写带宽信息、所述最大总带宽信息上报至NN节点，以便所述NN节点确定所述各个DN节点的资源使用情况并记录各个DN节点的资源剩余量。可以理解的是，通过节点心跳包将每个DN节点中预先统计的相关DN节点的资源信息进行信息上报，以便所述NN节点能够获取所有DN节点的资源剩余情况，并将各个DN节点的资源剩余量按照从大到小的顺序排列。
步骤S23：获取客户端的请求信息，将所述各个节点的资源剩余量按照从大到小的顺序将所述各个节点进行排序，并生成相应的节点排序列表，从所述节点排序列表中选择所述资源剩余量最多的节点作为目标节点。
本实施例中，获取到客户端关于读写数据的请求信息之后，将各个DN节点的资源剩余量按照从大到小的顺序排列后产生相应的DN列表，并从所述DN列表中选择剩余带宽较多的DN节点作为目标节点。
步骤S24：将所述请求信息返回至目标节点，以便所述目标节点对所述请求信息进行处理。
其中，关于上述步骤S24中更加具体的处理过程可以参考前述实施例公开的相应内容，在此不再赘述。
可见，本申请通过由各个DN节点启动时的产生的服务线程配置的全局共享变量收集各个DN节点在正常情况下的相应的资源信息，并计算并更新各个DN节点的最大总带宽，然后将各个节点的所有资源信息通过心跳包传输至所述NN节点，以便所述NN节点对各个节点的资源信息进行管理，并生成对应的DN列表，以便在获取到新的客户端的请求信息时，直接从所述DN列表中选取一个当前节点资源剩余较大的节点作为目标节点对所述请求信息进行处理，可以均衡各个DN节点的读写带宽压力提高系统整体的性能。
参照图4所示，本发明实施例公开了一种具体的节点负载均衡方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
步骤S31：收集预设时间周期内的各个节点的资源信息。
步骤S32：预先配置带宽负载均衡开关；启动所述带宽负载均衡开关，以便所述各个节点进行资源信息统计并将所述资源信息上报至管理节点。
本实施例中，预先配置带宽负载均衡开关，以便根据客户端需求进行是否开启带宽负载均衡开关；可以理解的是，服务启动前可在配置文件中配置带宽负载均衡开关，所述带宽负载均衡开关在服务启动时自动开启，以便在服务启动时会读取配置文件中设置的值，如果没有此配置项，则默认为关闭状态，服务启动时无法开启带宽负载均衡开关，也即无法读取配置文件中设置的值。
本实施例中，服务启动后也可动态调整带宽负载均衡开关，需要先在配置文件中添加或修改需要调整的带宽负载均衡开关，然后执行HDFS的参数动态调整命令hdfsdfsadmin–reconfig命令进行生效，以便根据所述客户端的需求决定是否开启带宽负载均衡开关，若所在的预设时间间隔内的收到的多个客户端的请求信息远远小于当前的各个DN节点数量，则不需要开启所述带宽负载均衡开关，以便各个DN节点也可以正常的进行数据读写处理；若所在的预设时间间隔内的收到的多个客户端的请求信息远远大于当前的各个DN节点数量，则需要开启所述带宽负载均衡开关，以便所述NN节点按照所述DN列表中的各个DN节点的资源剩余量选择合适的DN节点对所述请求信息进行正常的进行数据读写处理，缓解其他DN节点的输入输出压力，提高系统整体性能。
步骤S33：将所述各个节点的资源信息上报至所述管理节点，以便所述管理节点对所述各个节点的平均带宽使用情况进行统计，并计算所述各个节点的平均带宽剩余情况。
本实施例中，将200个心跳周期作为预设时间周期，利用预设时间周期内收到的各个带宽之和收到的带宽数量计算各个DN节点的平均带宽，然后利用最大总带宽的均值与总带宽的均值计算各个DN节点的平均带宽剩余情况，并进行排序，将剩余带宽较大的DN节点排在DN列表的前面。
步骤S34：获取客户端的请求信息，将所述各个节点的资源剩余量按照从大到小的顺序将所述各个节点进行排序，并生成相应的节点排序列表，从所述节点排序列表中选择所述资源剩余量最多的节点作为目标节点。
步骤S35：将所述请求信息返回至目标节点，以便所述目标节点对所述请求信息进行处理。
其中，关于上述步骤S31、步骤S34、步骤S35中更加具体的处理过程可以参考前述实施例公开的相应内容，在此不再赘述。
由此可见，本申请通过预先配置的带宽负载均衡开关可以根据所述客户端发送的请求信息的数量的大小选择是否开启带宽负载均衡模式，并且提供的开关配置和动态调整功能可以按需配置，然后在不影响业务使用的情况下，动态调整带宽负载均衡开关，从而进一步体现了本申请的实用性，避免客户端写入性能低下，影响系统整体性能。
参照图5所示，本发明实施例公开了一种节点负载均衡装置，应用于分布式文件系统，包括：
信息收集模块11，用于收集预设时间周期内的各个节点的资源信息；
信息上报模块12，用于将所述各个节点的资源信息上报至管理节点，以便所述管理节点确定所述各个节点的资源使用情况并记录各个节点的资源剩余量；
节点确定模块13，用于获取客户端的请求信息，并根据所述各个节点的资源剩余量从所述各个节点中确定出资源剩余最多的节点作为目标节点；
节点均衡模块14，用于将所述请求信息返回至目标节点，以便所述目标节点对所述请求信息进行处理。
可见，本申请公开了一种节点负载均衡方法，应用于分布式文件系统，包括：收集预设时间周期内的各个节点的资源信息；将所述各个节点的资源信息上报至管理节点，以便所述管理节点确定所述各个节点的资源使用情况并记录各个节点的资源剩余量；获取客户端的请求信息，并根据所述各个节点的资源剩余量从所述各个节点中确定出资源剩余最多的节点作为目标节点；将所述请求信息返回至目标节点，以便所述目标节点对所述请求信息进行处理。由此可见，本申请通过预先收集各个节点的资源信息并计算各个节点的资源剩余量，能够得到节点的资源使用情况，当收到客户端发送的请求信息时，根据预先计算出的节点的资源剩余量大小从所有节点中确定出目标节点，以便目标节点对请求信息进行处理，可以实现节点间的负载均衡，避免资源浪费，提升HDFS文件系统的可用性、易用性和实用性，进一步提高系统整体性能。
进一步的，本申请实施例还公开了一种电子设备，图6是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图6为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的节点负载均衡方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的节点负载均衡方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的节点负载均衡方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种节点负载均衡方法、装置、设备、存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种节点负载均衡方法，其特征在于，应用于分布式文件系统，包括：
收集预设时间周期内的各个节点的资源信息；
将所述各个节点的资源信息上报至管理节点，以便所述管理节点确定所述各个节点的资源使用情况并记录各个节点的资源剩余量；
获取客户端的请求信息，并根据所述各个节点的资源剩余量从所述各个节点中确定出资源剩余最多的节点作为目标节点；
将所述请求信息返回至目标节点，以便所述目标节点对所述请求信息进行处理。
2.根据权利要求1所述的节点负载均衡方法，其特征在于，所述收集预设时间周期内的各个节点的资源信息，包括：
收集预设时间周期内的各个节点的总带宽信息、读带宽信息、写带宽信息、最大总带宽信息。
3.根据权利要求2所述的节点负载均衡方法，其特征在于，所述收集预设时间周期内的各个节点的总带宽信息、读带宽信息、写带宽信息、最大总带宽信息，包括：
启动所述各个节点的服务线程，并利用所述服务线程新建读写模块，以便读写所述客户端发送的数据请求；
通过服务线程类中增加的全局共享变量收集所述总带宽信息、所述读带宽信息、所述写带宽信息、所述最大总带宽信息。
4.根据权利要求2所述的节点负载均衡方法，其特征在于，所述将所述各个节点的资源信息上报至管理节点，包括：
通过节点心跳包将所述各个节点中统计的所述总带宽信息、所述读带宽信息、所述写带宽信息、所述最大总带宽信息上报至管理节点。
5.根据权利要求1至4任一项所述的节点负载均衡方法，其特征在于，所述将所述各个节点的资源信息上报至管理节点之前，还包括：
预先配置带宽负载均衡开关；
启动所述带宽负载均衡开关，以便所述节点进行资源信息统计并将所述资源信息上报至所述管理节点。
6.根据权利要求1所述的节点负载均衡方法，其特征在于，所述将所述各个节点的资源信息上报至管理节点，以便所述管理节点确定所述各个节点的资源使用情况并记录各个节点的资源剩余量，包括：
将所述各个节点的资源信息上报至管理节点，以便所述管理节点对所述各个节点的平均带宽使用情况进行统计，并计算所述各个节点的平均带宽剩余情况。
7.根据权利要求1所述的节点负载均衡方法，其特征在于，所述根据所述各个节点的资源剩余量从所述各个节点中确定出资源剩余最多的节点作为目标节点，包括：
将所述各个节点的资源剩余量按照从大到小的顺序将所述各个节点进行排序，并生成相应的节点排序列表，从所述节点排序列表中选择所述资源剩余量最多的节点作为目标节点。
8.一种节点负载均衡装置，其特征在于，应用于分布式文件系统，包括：
信息收集模块，用于收集预设时间周期内的各个节点的资源信息；
信息上报模块，用于将所述各个节点的资源信息上报至管理节点，以便所述管理节点确定所述各个节点的资源使用情况并记录各个节点的资源剩余量；
节点确定模块，用于获取客户端的请求信息，并根据所述各个节点的资源剩余量从所述各个节点中确定出资源剩余最多的节点作为目标节点；
节点均衡模块，用于将所述请求信息返回至目标节点，以便所述目标节点对所述请求信息进行处理。
9.一种电子设备，其特征在于，包括：
存储器：用于保存计算机程序；
处理器：用于执行所述计算机程序，以实现如权利要求1至7任一项所述的节点负载均衡方法的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的节点负载均衡方法的步骤。
CN202210300683.7A 2022-03-25 2022-03-25 一种节点负载均衡方法、装置、设备、存储介质 Withdrawn CN114448988A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210300683.7A CN114448988A (zh) 2022-03-25 2022-03-25 一种节点负载均衡方法、装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210300683.7A CN114448988A (zh) 2022-03-25 2022-03-25 一种节点负载均衡方法、装置、设备、存储介质

Publications (1)

Publication Number Publication Date
CN114448988A true CN114448988A (zh) 2022-05-06

Family

ID=81360109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210300683.7A Withdrawn CN114448988A (zh) 2022-03-25 2022-03-25 一种节点负载均衡方法、装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN114448988A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979154A (zh) * 2022-06-06 2022-08-30 北京月新时代科技股份有限公司 一种负载均衡方法及系统
CN116069753A (zh) * 2023-03-06 2023-05-05 浪潮电子信息产业股份有限公司 存算分离方法、系统、设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979154A (zh) * 2022-06-06 2022-08-30 北京月新时代科技股份有限公司 一种负载均衡方法及系统
CN114979154B (zh) * 2022-06-06 2023-10-03 北京月新时代科技股份有限公司 一种负载均衡方法及系统
CN116069753A (zh) * 2023-03-06 2023-05-05 浪潮电子信息产业股份有限公司 存算分离方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
US20190319881A1 (en) Traffic management based on past traffic arrival patterns
CN114448988A (zh) 一种节点负载均衡方法、装置、设备、存储介质
CN110519365A (zh) 一种变更设备业务的方法和业务变更系统
US10069757B1 (en) Reserved network device capacity
CN103607424B (zh) 一种服务器连接方法及服务器系统
US20060200469A1 (en) Global session identifiers in a multi-node system
CN110244901B (zh) 任务分配方法及装置、分布式存储系统
CN111782692B (zh) 一种频率控制方法及装置
CN114143265A (zh) 一种网络流量限流方法、装置、设备及存储介质
CN115277577B (zh) 数据处理方法、装置、计算机设备和计算机可读存储介质
CN112231108A (zh) 任务处理方法、装置、计算机可读存储介质及服务器
CN103166980A (zh) 互联网数据拉取方法和系统
CN114661419A (zh) 一种服务质量控制系统及方法
CN114900449B (zh) 一种资源信息管理方法、系统及装置
CN113965587B (zh) 一种人工智能平台的数据获取方法、装置、设备、介质
CN116800825A (zh) 一种基于微服务拆分的调用方法、装置、设备及介质
EP3672203A1 (en) Distribution method for distributed data computing, device, server and storage medium
WO2024113898A1 (zh) 一种元数据上报方法、装置、设备及存储介质
CN115801569B (zh) 一种访问规则部署方法、装置、设备、介质及云平台
CN116302477A (zh) 一种性能资源的动态分配方法、系统及相关组件
CN114745278B (zh) 一种业务系统扩缩容的方法、装置、电子设备和存储介质
CN116166181A (zh) 一种云监控方法和云管理平台
CN110955579A (zh) 一种基于Ambari的大数据平台的监测方法
CN114979276B (zh) 一种资源动态调度方法、装置、设备及存储介质
CN117527619A (zh) 一种网络服务质量调整方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220506

WW01 Invention patent application withdrawn after publication