CN114500578A - 分布式存储系统负载均衡调度方法、装置及存储介质 - Google Patents

分布式存储系统负载均衡调度方法、装置及存储介质 Download PDF

Info

Publication number
CN114500578A
CN114500578A CN202111618752.0A CN202111618752A CN114500578A CN 114500578 A CN114500578 A CN 114500578A CN 202111618752 A CN202111618752 A CN 202111618752A CN 114500578 A CN114500578 A CN 114500578A
Authority
CN
China
Prior art keywords
connection
storage
storage node
node
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111618752.0A
Other languages
English (en)
Other versions
CN114500578B (zh
Inventor
吴文峰
肖露
林洁琬
黄鹄
刘汪洋
颜文强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Cloud Technology Co Ltd
Original Assignee
Tianyi Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyi Cloud Technology Co Ltd filed Critical Tianyi Cloud Technology Co Ltd
Priority to CN202111618752.0A priority Critical patent/CN114500578B/zh
Publication of CN114500578A publication Critical patent/CN114500578A/zh
Application granted granted Critical
Publication of CN114500578B publication Critical patent/CN114500578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1029—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 
    • H04L67/1046—Joining mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Multi Processors (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种分布式存储系统负载均衡调度方法、装置、设备及存储介质，所述方法包括：对负载均衡调度算法中连接数的计算方法进行优化，区分长连接和短连接，对消耗资源大的长连接数量的计算算法根据实际占用资源进行改进，使加权连接算法中的连接数更贴合实际资源占用情况；对负载均衡算法中的综合权值进行优化，通过回归训练对加权值进行自适应学习和优化，使其能根据业务流量及节点的负载情况自适应动态调节，解决业务流量抖动及节点负载波动或故障导致的负载失衡问题。

Description

分布式存储系统负载均衡调度方法、装置及存储介质
技术领域
本发明涉及负载技术领域，尤涉及一种分布式存储系统负载均衡调度方法、装置、设备及存储介质。
背景技术
负载均衡调度在分布式存储系统中被广泛应用。分布式系统中的节点数较多，当系统中出现节点故障或节点负载过高，这会影响整个分布式系统性能，例如某节点负载严重超负荷而导致节点宕机时，会影响到分布式系统的整体性能。所以，通常需要进行均衡调度，保证分布式系统的稳定性。
发明人发现，目前较多采用的分布式负载均衡方法是加权最少连接算法。但是其存在以下问题：
各节点的业务中有长连接和短连接，短连接可以被快速释放，因而会占有较少的资源；长连接未被快速释放，会占用相对较多的资源。而现有利用加权连接算法实现均衡的方式中，仅以实际连接的数量作为进行均衡调度时的一个重要指标，并未考虑到连接占用的实际资源，导致均衡调度的准确性相对较低。
使用的加权最少连接算法的权重值往往是管理员根据经验值人为设定的，不能自动根据业务性能及集群负载自适应动态调节。当部分服务器性能恶化，或被性能差距较大的服务器置换时，会出现负载不均衡，会导致资源浪费或是在业务流量高时资源不够的情况。
发明内容
有鉴于此，本发明提供了一种分布式存储系统负载均衡调度方法、装置、设备及存储介质，以解决上述技术问题。
第一方面，本发明实施例提供一种分布式存储系统负载均衡调度方法，所述方法包括如下步骤：
获取所有存储节点的连接信息，确定所有存储节点的实际连接数；
利用获取到的所述连接信息确定每个存储节点上每个连接的时长；
对于每个存储节点，利用其每个连接的时长和所述实际连接数进行优化，得到优化后的每个存储节点的连接数，其中，优化后的连接数与对应的存储节点的当前负载情况相关；
基于各节点优化后的连接数结合各节点对应的当前权重值从所有存储节点中选取出M个存储节点，作为待调度的目标存储集群；
针对所述目标存储集群内的存储节点，获取所述目标存储集群内的每个存储节点的性能参数；
对每个存储节点的性能参数进行去噪和归一化处理，基于预先训练好的预设数学模型，根据去噪和归一化处理后的性能参数得到每个存储节点的综合性能指标和综合负载指标；
利用综合性能指标和综合负载指标计算得到各存储节点的目标综合权重；
基于各存储节点的目标综合权重值，生成所述目标存储集群中每个存储节点的均衡调度结果。
在一个实施方式中，所述利用其每个连接的时长和所述实际连接数进行优化，得到优化后的每个存储节点的连接数，包括：
利用预设时长阈值确定每个存储节点中的长连接和短连接，其中，所述长连接时长大于所述预设时长阈值，所述短连接小于等于所述预设时长阈值；
统计每个存储节点的短连接的数量；
将每个存储节点的每个长连接转换成对应数量的参考连接；
将每个存储节点的所述短连接的数量和转换得到的参考连接的数量求和，得到所述优化后的连接数。
在一个实施方式中，所述将每个长连接转换成对应数量的参考连接，包括：
将所有存储节点连接的时长求和，得到总时长；
将所有存储节点的连接数加和，得到总连接数；
利用所述总时长除以所述总连接数，得到所述参考连接的时长；
将每个存储节点的每个长连接的时长除以所述参考连接的时长得到对应数量的参考连接。
在一个实施方式中，所述利用其每个连接的时长和所述实际连接数进行优化，得到优化后的每个存储节点的连接数，包括：
对于每个存储节点，将每个存储节点的每个连接时长除以参考时长，并向上取整，得到每个存储节点对应的参考时长数量，将所述参考时长数量作为所述优化后的连接数。
在一个实施方式中，所述基于各存储节点的目标综合权重值，生成所述目标存储集群中每个存储节点的均衡调度结果，包括：
实时获取各存储节点的性能参数，并计算得到各存储节点的动态综合权重；
利用所述动态综合权重对所述目标综合权重进行更新，利用更行后的权重生成所述目标存储集群中每个存储节点的均衡调度结果。
在一个实施方式中，所述性能参数包括：存储的IO时延、请求错误率、CPU负载和内存使用率。
第二方面，本发明实施例提供一种分布式存储系统负载均衡调度装置，所述装置包括如下模块：
获取模块，用于获取所有存储节点的连接信息，确定所有存储节点的实际连接数；
确定模块，用于利用获取到的所述连接信息确定每个存储节点上每个连接的时长；
优化模块，用于对于每个存储节点，利用其每个连接的时长和所述实际连接数进行优化，得到优化后的每个存储节点的连接数，其中，优化后的连接数与对应的存储节点的当前负载情况相关；
选取模块，用于基于各节点优化后的连接数结合各节点对应的当前权重值从所有存储节点中选取出M个存储节点，作为待调度的目标存储集群；
选参模块，用于针对所述目标存储集群内的存储节点，获取所述目标存储集群内的每个存储节点的性能参数；
训练模块，用于对每个存储节点的性能参数进行去噪和归一化处理，基于预先训练好的预设数学模型，根据去噪和归一化处理后的性能参数得到每个存储节点的综合性能指标和综合负载指标；
计算模块，用于利用综合性能指标和综合负载指标计算得到各存储节点的目标综合权重；
调度模块，用于基于各存储节点的目标综合权重值，生成所述目标存储集群中每个存储节点的均衡调度结果。
在一个实施方式中，所述优化模块，包括：
判断单元，用于利用预设时长阈值确定每个存储节点中的长连接和短连接，其中，所述长连接时长大于所述预设时长阈值，所述短连接小于等于所述预设时长阈值；
统计单元，用于统计每个存储节点的短连接的数量；
转换单元，用于将每个存储节点的每个长连接转换成对应数量的参考连接；
求和单元，用于将每个存储节点的所述短连接的数量和转换得到的参考连接的数量求和，得到所述优化后的连接数。
第三方面，本发明实施例提供一种计算机设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而实现第一方面任一项所述的分布式存储系统负载均衡调度方法。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现第一方面任一项所述的分布式存储系统负载均衡调度方法。
本发明实施例提供的分布式存储系统负载均衡调度方法、装置、设备及存储介质，至少具有如下有益效果：
本发明实施例提供的分布式存储系统负载均衡调度方法、装置、设备及存储介质，通过获取所有存储节点的连接信息，确定所有存储节点的实际连接数，实时计算所有连接的数量。对每个连接进行监控，确定每个连接的时长。利用其每个连接的时长和所述实际连接数进行优化，得到优化后的每个存储节点的连接数，其中，优化后的连接数与对应的存储节点的当前负载情况相关。通过区分长连接和短连接，对消耗资源大的长连接的进行优化改进，从而使得优化后的每个存储节点的连接数更贴切当前负载情况。通过基于各节点优化后的连接数结合各节点对应的当前权重值从所有存储节点中选取出M个存储节点，作为待调度的目标存储集群，并针对所述目标存储集群内的存储节点，根据各存储节点的性能参数，计算得到各存储节点的目标综合权重。进而对优化后的连接数最小的M个存储节点，根据对应的实际负载情况，分配合适的综合权重，依此生成更加均衡的调度结果。进一步提高了均衡调度的准确性，进一步整体提高了分布式存储系统的整体性能。
对符合最小连接的目标存储集群，根据当前业务性能与节点负载能力，计算出综合性能指标以及动态权值，对加权参数能根据资源监控器提供的各种数据自适应动态调节和调优。并以此性能指标为依据完成任务调度，能较好地利用底层硬件资源，同时降低任务响应时间。根据业务流量及各性能数据，进行自适应学习，找到各节点的加权值最优解。
在利用综合性能指标和综合负载指标计算得到目标存储集群内的每个节点的目标综合权重后，对每个节点对应的当前综合权重进行更新。实现了对目标存储集群内的每个节点的当前综合权重值的修正，也反映了目标存储集群内的每个节点的剩余处理能力，使得在下一次负载分配任务到来时，可以基于更新后的节点的当前综合权重值结合下一次的优选连接数，在分布式存储集群中确定下一次的目标存储集群，进而使负载的分配更加准确、合理，同时使各节点得到更充分的利用，提高了服务器集群对负载的处理能力。
对算法中连接数的计算方法进行优化，区分长连接和短连接，对消耗资源大的长连接的数量根据实际占用资源进行改进，使加权连接算法中的连接数更贴合实际情况。对负载均衡算法中的综合权值进行优化，使其能根据业务流量及节点的负载情况自适用并动态调节，解决业务流量抖动及节点负载波动导致的负载失衡问题。
在高并发高业务流量的场景下，针对有多任务调度节点的分布式存储系统，可使任务调度节点资源利用更充分，使得业务负载更加均衡。在有大量大文件和小文件频繁存取的存储系统，可更有效解决大文件的存取连接消耗资源过大，原有算法负载调度失衡的问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种分布式存储系统负载均衡调度方法流程图；
图2为本发明实施例提供的另一种分布式存储系统负载均衡调度方法流程图；
图3为本发明实施例提供的一种分布式存储系统负载均衡调度装置的框图；
图4为本发明实施例提供的一种分布式存储系统负载均衡调度计算机设备的框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
虽然下文描述的过程包括以特定的顺序出现的多个操作，但是应该清楚地了解到，这些过程也可以包括更多或者更少的操作，这些操作可以顺序执行或者并行执行。
实施例1
参见图1所示，本发明实施例提供一种分布式存储系统负载均衡调度方法，所述方法包括如下步骤：
步骤S101、获取所有存储节点的连接信息，确定所有存储节点的实际连接数；
步骤S102、利用获取到的所述连接信息确定每个存储节点上每个连接的时长；
步骤S103、对于每个存储节点，利用其每个连接的时长和所述实际连接数进行优化，得到优化后的每个存储节点的连接数，其中，优化后的连接数与对应的存储节点的当前负载情况相关；
步骤S104、基于各节点优化后的连接数结合各节点对应的当前权重值从所有存储节点中选取出M个存储节点，作为待调度的目标存储集群；
步骤S105、针对所述目标存储集群内的存储节点，获取所述目标存储集群内的每个存储节点的性能参数；
步骤S106、对每个存储节点的性能参数进行去噪和归一化处理，基于预先训练好的预设数学模型，根据去噪和归一化处理后的性能参数得到每个存储节点的综合性能指标和综合负载指标；
步骤S107、利用综合性能指标和综合负载指标计算得到各存储节点的目标综合权重。
具体地，通过回归训练对加权值进行自适应学习和优化，使其能根据业务流量及节点的负载情况自适应动态调节。
步骤S108、基于各存储节点的目标综合权重值，生成所述目标存储集群中每个存储节点的均衡调度结果。
在上述实施方式中，具体地，获取所有存储节点的连接信息，确定所有存储节点的实际连接数，实时计算所有连接的数量。对每个连接进行监控，确定每个连接的时长。利用其每个连接的时长和所述实际连接数进行优化，得到优化后的每个存储节点的连接数，其中，优化后的连接数与对应的存储节点的当前负载情况相关。通过区分长连接和短连接，对消耗资源大的长连接的进行优化改进，从而使得优化后的每个存储节点的连接数更贴切当前负载情况。通过基于各节点优化后的连接数结合各节点对应的当前权重值从所有存储节点中选取出M个存储节点，作为待调度的目标存储集群，并针对所述目标存储集群内的存储节点，根据各存储节点的性能参数，计算得到各存储节点的目标综合权重。进而对优化后的连接数最小的M个存储节点，根据对应的实际负载情况，分配合适的综合权重，依此生成更加均衡的调度结果。进一步提高了均衡调度的准确性，进一步整体提高了分布式存储系统的整体性能。
在上述实施方式中，具体地，实时获取所述目标存储集群内的每个存储节点的性能参数，其中所述性能参数包括：存储的IO时延、请求错误率、CPU负载和内存使用率。通过预设定时获取任务，定时获取目标存储集群内的每个存储节点的性能参数，其中，CPU负载和内存使用率可通过Linux命令获取，IO时延和请求错误率通过对日志进行分析及分布式存储控制命令获取。对每个存储节点的性能参数进行数据去噪，去除不相关的数据、重复的冗余数据，例如可以通过k-近邻法进行去噪，根据距离来确定具有缺失值数据最近的5个近邻，然后将这个5个值加权，然后根据每个处理数据阈值，将距离5个近邻距离超过阈值的当做异常点进行去除。使用K近邻算法对目标存储集群内的每个存储节点的性能参数进行数据去噪，即通过一种距离度量关系寻找与待预测点相近的K个点，根据这K个点对待预测点进行分类的预测，根据分类任务的数量进行投票，即待预测点的类别与K个点中数量最多的性能参数的类别一致。其中，K值可以通过人为设定或者以交叉验证法来选取。
预先设置各个性能参数的预置值，在确定待预测点所属的性能参数的类别之后，为待预测点设置对应的预置值。
其中，上述的距离度量关系可以通过以下距离公式来表示：
Figure BDA0003436610900000111
其中p是一个可变参数，k为空间维度，取值范围为[0，n]，n为自然数，x1k为缺失值的位置，x2k为正常值的位置，d12为第一距离。
在一个实施例中，上述距离度量关系可以由距离公式确定，在距离公式中，根据p的不同，可以表示不同距离度量关系下的第一距离的计算结果。通过K近邻算法完成对性能参数的去噪处理，可以提高性能参数的准确度。
对经上述去噪处理后的性能参数进行数据归一化处理，将分散数据进行整合。可以根据min-max标准化方法对性能参数进行数据归一化以实现对性能参数的处理，其原理是：对于每种性能数据，将性能参数的一个原始值x通过min-max标准化映射成在区间[0,1]中的值x'，将数据进行归一化处理。上述min-max标准化方法可以通过归一化公式完成，归一化公式如下：
B＝(A-a)/(b-a)
其中，B为归一化处理后的性能参数，A为性能参数，a为性能参数的最小值，b为性能参数的最大值。
通过对每个存储节点的性能参数进行去噪和归一化处理，提高了性能参数的准确性。提高了对应通过训练模型得到的目标综合权重的准确性，进而提高了负载均衡调度的效率。
具体地，各加权参数先初次设定时可以根据经验值进行过设定，然后根据各节点反馈的信息，对性能参数数据，进行回归训练。在回归训练中，以各节点的IO时延、请求错误率、CPU负载、内存使用率的实时数据作为基线指标，先选取一个经验值(比如先将IO的时延定为15ms，IO错误率为95％)，对各业务指标与业务性能之间的关联进行训练，得出该指标与业务性能的相关性。比如流量高峰时，如果IO写入服务的错误率提升到一定程度(比如上升到值A)，业务会急剧恶化，则认为A为IO错误率的上限。然后通过线性回归算法进行多次训练和验证对比，从而找到每个指标最合适基准值。进而计算出节点的综合性能指标P(Si)、综合负载指标C(Si)，利用综合性能指标和综合负载指标计算得到节点的目标综合权重。根据计算得到的目标综合权重修改原先的权重。
对符合最小连接的目标存储集群，根据当前业务性能与节点负载能力，计算出综合性能指标以及动态权值，对加权参数能根据资源监控器提供的各种数据自适应动态调节和调优。并以此性能指标为依据完成任务调度，能较好地利用底层硬件资源，同时降低任务响应时间。根据业务流量及各性能数据，进行自适应学习，找到各节点的加权值最优解。
在利用综合性能指标和综合负载指标计算得到目标存储集群内的每个节点的目标综合权重后，对每个节点对应的当前综合权重进行更新。实现了对目标存储集群内的每个节点的当前综合权重值的修正，也反映了目标存储集群内的每个节点的剩余处理能力，使得在下一次负载分配任务到来时，可以基于更新后的节点的当前综合权重值结合下一次的优选连接数，在分布式存储集群中确定下一次的目标存储集群，进而使负载的分配更加准确、合理，同时使各节点得到更充分的利用，提高了服务器集群对负载的处理能力。
对算法中连接数的计算方法进行优化，区分长连接和短连接，对消耗资源大的长连接的数量根据实际占用资源进行改进，使加权连接算法中的连接数更贴合实际情况。对负载均衡算法中的综合权值进行优化，使其能根据业务流量及节点的负载情况自适用并动态调节，解决业务流量抖动及节点负载波动导致的负载失衡问题。通过k-近邻法去除噪点数据，通过min-max标准化，对分散数据进行归一处理。排除因业务流量抖动及负载波动引起的异常数据。均衡调度使用的性能参数更准确，进而进一步地提高负载均衡调度的准确性。
在高并发高业务流量的场景下，针对有多任务调度节点的分布式存储系统，可使任务调度节点资源利用更充分，使得业务负载更加均衡。在有大量大文件和小文件频繁存取的存储系统，可更有效解决大文件的存取连接消耗资源过大，原有算法负载调度失衡的问题。
参见图2所示，在一个实施方式中，所述利用其每个连接的时长和所述实际连接数进行优化，得到优化后的每个存储节点的连接数，包括：
步骤S1031、利用预设时长阈值确定每个存储节点中的长连接和短连接，其中，所述长连接时长大于所述预设时长阈值，所述短连接小于等于所述预设时长阈值；
步骤S1032、统计每个存储节点的短连接的数量；
步骤S1033、将每个存储节点的每个长连接转换成对应数量的参考连接；
步骤S1034、将每个存储节点的所述短连接的数量和转换得到的参考连接的数量求和，得到所述优化后的连接数。
在上述实施方式中，具体地，确定预设时长阈值为T0，例如T0可以为2s，或者T0可以为3s。将每个存储节点的每个长连接转换成对应数量的参考连接；具体地，例如每个参考连接为连接时长为2s的连接，可以通过将长连接对参考连接进行求除运算，得到对应数量个参考连接。将短连接的和转换得到的参考连接的数量求和，得到所述优化后的连接数。在上述实施方式中，通过将长连接转换为参考连接，从而使得长连接和长连接实际占用的资源向适应，从而使得得到的优化后的连接数与节点的实际负载相适应，从而可以进一步地，根据和节点负载相适应的优化后的连接数进行均衡调度，进而进一步地提高了负载均衡调度的准确性。
在一个实施方式中，所述将每个长连接转换成对应数量的参考连接，包括：
a)、将所有存储节点连接的时长求和，得到总时长；
b)、将所有存储节点的连接数加和，得到总连接数；
c)、利用所述总时长除以所述总连接数，得到所述参考连接的时长；
d)、将每个存储节点的每个长连接的时长除以所述参考连接的时长得到对应数量的参考连接。
在上述实施方式中，具体地，通过所有连接时长求平均值，确定参考连接的时长，将每个存储节点的每个长连接的时长除以所述参考连接的时长得到对应数量的参考连接。通过对整体系统的连接总时长根据连接总数确定得到的平均时长，确定参考连接的时长，从而参考连接的时长更准确，进而进一步地提高了负载均衡调度的准确性。
在一个实施方式中，所述利用其每个连接的时长和所述实际连接数进行优化，得到优化后的每个存储节点的连接数，包括：
对于每个存储节点，将每个存储节点的每个连接时长除以参考时长，并向上取整，得到每个存储节点对应的参考时长数量，将所述参考时长数量作为所述优化后的连接数。
在上述实施方式中，具体地，对分布式存储系统内的所有节点的所有连接进行时长监控，实时计算所有连接的数量，计算每个连接的时长，假设所有连接数为n，假设每个连接获取到的时长T＝{t0,t1,...,t(n-1)}，设置一个阈值T0。对每个连接的时长进行计算：
T(sum)＝Σt(i)(i＝0,1,..,n-1)，其中T(sum)表示所有连接总时长。
T(avg)＝T(sum)/n，T(avg)表示总是长关于总连接数的平均值。
若t(i)>T0，则t(i)对T(avg)进行求除运算，得到结果N(i)，N(i)表示该连接对应的合理参考数量，其中N(i)向上取整。
通过向上取整的方式，避免单个优化后的连接数出现小于优化前的连接数情况的发生。
在一个实施方式中，所述性能参数包括：存储的IO时延、请求错误率、CPU负载和内存使用率。
在一个实施方式中，所述基于各存储节点的目标综合权重值，生成所述目标存储集群中每个存储节点的均衡调度结果，包括：
实时获取各存储节点的性能参数，并计算得到各存储节点的动态综合权重；
利用所述动态综合权重对所述目标综合权重进行更新，利用更行后的权重生成所述目标存储集群中每个存储节点的均衡调度结果。
对算法中连接数的计算方法进行优化，区分长连接和短连接，对消耗资源大的长连接的数量根据实际占用资源进行改进，使加权连接算法中的连接数更贴合实际情况。对负载均衡算法中的综合权值进行优化，使其能根据业务流量及节点的负载情况自适用并动态调节，解决业务流量抖动及节点负载波动导致的负载失衡问题。通过k-近邻法去除噪点数据，通过min-max标准化，对分散数据进行归一处理。排除因业务流量抖动及负载波动引起的异常数据。均衡调度使用的性能参数更准确，进而进一步地提高负载均衡调度的准确性。
在高并发高业务流量的场景下，针对有多任务调度节点的分布式存储系统，可使任务调度节点资源利用更充分，使得业务负载更加均衡。在有大量大文件和小文件频繁存取的存储系统，可更有效解决大文件的存取连接消耗资源过大，原有算法负载调度失衡的问题。
实施例2
参见图3所示，本发明实施例提供一种分布式存储系统负载均衡调度装置，所述装置包括如下模块：
获取模块31，用于获取所有存储节点的连接信息，确定所有存储节点的实际连接数；
确定模块32，用于利用获取到的所述连接信息确定每个存储节点上每个连接的时长；
优化模块33，用于对于每个存储节点，利用其每个连接的时长和所述实际连接数进行优化，得到优化后的每个存储节点的连接数，其中，优化后的连接数与对应的存储节点的当前负载情况相关；
选取模块34，用于基于各节点优化后的连接数结合各节点对应的当前权重值从所有存储节点中选取出M个存储节点，作为待调度的目标存储集群；
选参模块35，用于针对所述目标存储集群内的存储节点，获取所述目标存储集群内的每个存储节点的性能参数；
训练模块36，用于对每个存储节点的性能参数进行去噪和归一化处理，基于预先训练好的预设数学模型，根据去噪和归一化处理后的性能参数得到每个存储节点的综合性能指标和综合负载指标；
计算模块37，用于利用综合性能指标和综合负载指标计算得到各存储节点的目标综合权重；
调度模块38，用于基于各存储节点的目标综合权重值，生成所述目标存储集群中每个存储节点的均衡调度结果。
在一个实施方式中，所述优化模块，包括：
判断单元，用于利用预设时长阈值确定每个存储节点中的长连接和短连接，其中，所述长连接时长大于所述预设时长阈值，所述短连接小于等于所述预设时长阈值；
统计单元，用于统计每个存储节点的短连接的数量；
转换单元，用于将每个存储节点的每个长连接转换成对应数量的参考连接；
求和单元，用于将每个存储节点的所述短连接的数量和转换得到的参考连接的数量求和，得到所述优化后的连接数。
本申请实施例提供的分布式存储系统负载均衡调度装置，可用于如上实施例1中执行的分布式存储系统负载均衡调度方法，相关细节参考上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
需要说明的是：上述实施例中提供的分布式存储系统负载均衡调度装置在进行分布式存储系统负载均衡调度时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将分布式存储系统负载均衡调度装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的分布式存储系统负载均衡调度装置与分布式存储系统负载均衡调度方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
实施例3
本发明实施例还提供了一种计算机设备，该设备可以是桌上型计算机、笔记本电脑、掌上电脑以及云端服务器等计算设备。如图4所示，该设备可以包括，但不限于，处理器和存储器，其中处理器和存储器可以通过总线或者其他方式连接。
处理器可以为中央处理器(Central Processing Unit，CPU)也可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、图形处理器(GraphicsProcessing Unit，GPU)、嵌入式神经网络处理器(Neural-network Processing Unit，NPU)或者其他专用的深度学习协处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中分布式存储系统负载均衡调度方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例1中的分布式存储系统负载均衡调度方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器中，当被所述处理器执行时，执行上述分布式存储系统负载均衡调度方法。
本发明实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的分布式存储系统负载均衡调度方法。其中，所述非暂态计算机可读存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述非暂态计算机可读存储介质还可以包括上述种类的存储器的组合。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、计算机设备或非暂态计算机可读存储介质均可涉及或包含计算机程序产品。
因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
显然，以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种分布式存储系统负载均衡调度方法，其特征在于，包括：
获取所有存储节点的连接信息，确定所有存储节点的实际连接数；
利用获取到的所述连接信息确定每个存储节点上每个连接的时长；
对于每个存储节点，利用其每个连接的时长和所述实际连接数进行优化，得到优化后的每个存储节点的连接数，其中，优化后的连接数与对应的存储节点的当前负载情况相关；
基于各节点优化后的连接数结合各节点对应的当前权重值从所有存储节点中选取出M个存储节点，作为待调度的目标存储集群；
针对所述目标存储集群内的存储节点，获取所述目标存储集群内的每个存储节点的性能参数；
对每个存储节点的性能参数进行去噪和归一化处理，基于预先训练好的预设数学模型，根据去噪和归一化处理后的性能参数得到每个存储节点的综合性能指标和综合负载指标；
利用综合性能指标和综合负载指标计算得到各存储节点的目标综合权重；
基于各存储节点的目标综合权重值，生成所述目标存储集群中每个存储节点的均衡调度结果。
2.根据权利要求1所述的分布式存储系统负载均衡调度方法，其特征在于，所述利用其每个连接的时长和所述实际连接数进行优化，得到优化后的每个存储节点的连接数，包括：
利用预设时长阈值确定每个存储节点中的长连接和短连接，其中，所述长连接时长大于所述预设时长阈值，所述短连接小于等于所述预设时长阈值；
统计每个存储节点的短连接的数量；
将每个存储节点的每个长连接转换成对应数量的参考连接；
将每个存储节点的所述短连接的数量和转换得到的参考连接的数量求和，得到所述优化后的连接数。
3.根据权利要求2所述的分布式存储系统负载均衡调度方法，其特征在于，所述将每个长连接转换成对应数量的参考连接，包括：
将所有存储节点连接的时长求和，得到总时长；
将所有存储节点的连接数加和，得到总连接数；
利用所述总时长除以所述总连接数，得到所述参考连接的时长；
将每个存储节点的每个长连接的时长除以所述参考连接的时长得到对应数量的参考连接。
4.根据权利要求3所述的分布式存储系统负载均衡调度方法，其特征在于，所述利用其每个连接的时长和所述实际连接数进行优化，得到优化后的每个存储节点的连接数，包括：
对于每个存储节点，将每个存储节点的每个连接时长除以参考时长，并向上取整，得到每个存储节点对应的参考时长数量，将所述参考时长数量作为所述优化后的连接数。
5.根据权利要求4所述的分布式存储系统负载均衡调度方法，其特征在于，所述基于各存储节点的目标综合权重值，生成所述目标存储集群中每个存储节点的均衡调度结果，包括：
实时获取各存储节点的性能参数，并计算得到各存储节点的动态综合权重；
利用所述动态综合权重对所述目标综合权重进行更新，利用更行后的权重生成所述目标存储集群中每个存储节点的均衡调度结果。
6.根据权利要求1所述的分布式存储系统负载均衡调度方法，其特征在于，所述性能参数包括：存储的IO时延、请求错误率、CPU负载和内存使用率。
7.一种分布式存储系统负载均衡调度装置，其特征在于，包括：
获取模块，用于获取所有存储节点的连接信息，确定所有存储节点的实际连接数；
确定模块，用于利用获取到的所述连接信息确定每个存储节点上每个连接的时长；
优化模块，用于对于每个存储节点，利用其每个连接的时长和所述实际连接数进行优化，得到优化后的每个存储节点的连接数，其中，优化后的连接数与对应的存储节点的当前负载情况相关；
选取模块，用于基于各节点优化后的连接数结合各节点对应的当前权重值从所有存储节点中选取出M个存储节点，作为待调度的目标存储集群；
选参模块，用于针对所述目标存储集群内的存储节点，获取所述目标存储集群内的每个存储节点的性能参数；
训练模块，用于对每个存储节点的性能参数进行去噪和归一化处理，基于预先训练好的预设数学模型，根据去噪和归一化处理后的性能参数得到每个存储节点的综合性能指标和综合负载指标；
计算模块，用于利用综合性能指标和综合负载指标计算得到各存储节点的目标综合权重；
调度模块，用于基于各存储节点的目标综合权重值，生成所述目标存储集群中每个存储节点的均衡调度结果。
8.根据权利要求7所述的分布式存储系统负载均衡调度装置，其特征在于，所述优化模块，包括：
判断单元，用于利用预设时长阈值确定每个存储节点中的长连接和短连接，其中，所述长连接时长大于所述预设时长阈值，所述短连接小于等于所述预设时长阈值；
统计单元，用于统计每个存储节点的短连接的数量；
转换单元，用于将每个存储节点的每个长连接转换成对应数量的参考连接；
求和单元，用于将每个存储节点的所述短连接的数量和转换得到的参考连接的数量求和，得到所述优化后的连接数。
9.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-7中任一项所述的分布式存储系统负载均衡调度装置。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1-7中任一项所述的分布式存储系统负载均衡调度装置。
CN202111618752.0A 2021-12-27 2021-12-27 分布式存储系统负载均衡调度方法、装置及存储介质 Active CN114500578B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111618752.0A CN114500578B (zh) 2021-12-27 2021-12-27 分布式存储系统负载均衡调度方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111618752.0A CN114500578B (zh) 2021-12-27 2021-12-27 分布式存储系统负载均衡调度方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN114500578A true CN114500578A (zh) 2022-05-13
CN114500578B CN114500578B (zh) 2024-06-11

Family

ID=81495880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111618752.0A Active CN114500578B (zh) 2021-12-27 2021-12-27 分布式存储系统负载均衡调度方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114500578B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116991332A (zh) * 2023-09-26 2023-11-03 长春易加科技有限公司 一种智慧工厂大规模数据存储和分析方法
CN117421129A (zh) * 2023-12-14 2024-01-19 之江实验室 一种基于异构存储集群的业务执行方法、装置及电子设备
WO2024088079A1 (zh) * 2022-10-24 2024-05-02 杭州阿里云飞天信息技术有限公司 请求处理方法以及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105491150A (zh) * 2015-12-28 2016-04-13 中国民航信息网络股份有限公司 基于时间序列的负载均衡处理方法及系统
US20170214738A1 (en) * 2016-01-25 2017-07-27 Vmware, Inc. Node selection for message redistribution in an integrated application-aware load balancer incorporated within a distributed-service-application-controlled distributed computer system
CN109308221A (zh) * 2018-08-02 2019-02-05 南京邮电大学 一种基于WebSocket长连接的Nginx动态负载均衡方法
CN109831524A (zh) * 2019-03-11 2019-05-31 平安科技（深圳）有限公司 一种负载均衡处理方法及装置
CN111726415A (zh) * 2020-06-30 2020-09-29 国电南瑞科技股份有限公司 一种基于负反馈机制的tcp长连接负载均衡调度方法及系统
CN112835698A (zh) * 2021-02-09 2021-05-25 北京工业大学 一种基于异构集群的请求分类处理的动态负载均衡方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105491150A (zh) * 2015-12-28 2016-04-13 中国民航信息网络股份有限公司 基于时间序列的负载均衡处理方法及系统
US20170214738A1 (en) * 2016-01-25 2017-07-27 Vmware, Inc. Node selection for message redistribution in an integrated application-aware load balancer incorporated within a distributed-service-application-controlled distributed computer system
CN109308221A (zh) * 2018-08-02 2019-02-05 南京邮电大学 一种基于WebSocket长连接的Nginx动态负载均衡方法
CN109831524A (zh) * 2019-03-11 2019-05-31 平安科技（深圳）有限公司 一种负载均衡处理方法及装置
CN111726415A (zh) * 2020-06-30 2020-09-29 国电南瑞科技股份有限公司 一种基于负反馈机制的tcp长连接负载均衡调度方法及系统
CN112835698A (zh) * 2021-02-09 2021-05-25 北京工业大学 一种基于异构集群的请求分类处理的动态负载均衡方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李晓东: "支持高并发的社交系统研究与开发", 《中国优秀硕士学位论文全文数据库（电子期刊）》, 15 June 2021 (2021-06-15) *
王晓龙;蒋朝惠;: "云环境中基于LVS集群的负载均衡算法", 《计算机工程与科学》, no. 11, 15 November 2016 (2016-11-15) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024088079A1 (zh) * 2022-10-24 2024-05-02 杭州阿里云飞天信息技术有限公司 请求处理方法以及系统
CN116991332A (zh) * 2023-09-26 2023-11-03 长春易加科技有限公司 一种智慧工厂大规模数据存储和分析方法
CN116991332B (zh) * 2023-09-26 2023-12-15 长春易加科技有限公司 一种智慧工厂大规模数据存储和分析方法
CN117421129A (zh) * 2023-12-14 2024-01-19 之江实验室 一种基于异构存储集群的业务执行方法、装置及电子设备
CN117421129B (zh) * 2023-12-14 2024-04-02 之江实验室 一种基于异构存储集群的业务执行方法、装置及电子设备

Also Published As

Publication number Publication date
CN114500578B (zh) 2024-06-11

Similar Documents

Publication Publication Date Title
CN114500578B (zh) 分布式存储系统负载均衡调度方法、装置及存储介质
CN102708011B (zh) 一种云计算平台自适应任务调度方法
CN110417591B (zh) 投票节点配置方法及系统
CN108173698B (zh) 网络服务管理方法、装置、服务器及存储介质
US9513806B2 (en) Dimension based load balancing
CN107220108B (zh) 一种实现云数据中心负载均衡的方法和系统
CN107566535B (zh) 基于Web地图服务并发访问时序规则的自适应负载均衡方法
CN112835698A (zh) 一种基于异构集群的请求分类处理的动态负载均衡方法
CN116225696B (zh) 用于流处理系统的算子并发度调优方法及装置
CN112527448A (zh) 基于openstack的动态负载调整方法及其系统
CN113553138A (zh) 一种云资源调度的方法及装置
CN111858458B (zh) 一种互联通道的调整方法、装置、系统、设备和介质
CN111752706A (zh) 资源配置方法、装置及存储介质
CN116418603A (zh) 一种工业互联网的安全综合管理方法及系统
CN111813535A (zh) 一种资源配置确定方法、装置及电子设备
CN116841753A (zh) 一种流处理和批处理的切换方法及切换装置
WO2016197621A1 (zh) 一种调整服务器的频率的方法及装置
CN106874215B (zh) 一种基于Spark算子的序列化存储优化方法
CN111124439A (zh) 一种云边协同的智能动态卸载算法
CN116541128A (zh) 一种负载调节方法、装置、计算设备、及存储介质
CN115525394A (zh) 容器数量的调整方法及装置
CN112003900B (zh) 实现分布式系统中高负载场景下服务高可用的方法、系统
CN106686082B (zh) 存储资源调整方法及管理节点
CN106888237B (zh) 一种数据调度方法及系统
CN112637904B (zh) 负载均衡方法、装置及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant