CN112087504A - 一种基于工作负载特性的动态负载均衡的方法及装置 - Google Patents

一种基于工作负载特性的动态负载均衡的方法及装置 Download PDF

Info

Publication number
CN112087504A
CN112087504A CN202010897127.3A CN202010897127A CN112087504A CN 112087504 A CN112087504 A CN 112087504A CN 202010897127 A CN202010897127 A CN 202010897127A CN 112087504 A CN112087504 A CN 112087504A
Authority
CN
China
Prior art keywords
container service
target
sequence data
service clusters
clusters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010897127.3A
Other languages
English (en)
Inventor
王雪飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur General Software Co Ltd
Original Assignee
Inspur General Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur General Software Co Ltd filed Critical Inspur General Software Co Ltd
Priority to CN202010897127.3A priority Critical patent/CN112087504A/zh
Publication of CN112087504A publication Critical patent/CN112087504A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种基于工作负载特性的动态负载均衡方法及装置，解决现有的HPA策略存在集群数量变化滞后于流量变化的问题。方法包括：服务器获取历史数据中容器服务集群的资源利用率，作为原始时间序列数据；服务器基于灰度模型负载预测算法，以及所述原始时间序列数据，对容器服务集群的资源利用率进行预测，得到预测值序列数据；服务器根据所述预测值序列数据中与目标时刻对应的预测值，基于容器服务集群数量使用公式，计算得到与目标时刻对应的目标容器服务集群数量；服务器根据所述目标容器服务集群数量与所述目标时刻的实际容器服务集群数量的数量关系，对所述目标时刻的实际容器服务集群数量进行调整。

Description

一种基于工作负载特性的动态负载均衡的方法及装置
技术领域
本申请涉及工作负载均衡领域，尤其涉及一种基于工作负载特性的动态负载均衡的方法及装置。
背景技术
随着互联网服务的不断发展和完善，访问网站系统web的用户数量也越来越多。传统的网站系统web架构已经不能满足当前需要，这对传统的网站系统web的伸缩性以及并发性等各方面性能提出了新的挑战。
由于网站系统web具有高并发流量、长时间规律变化、短时间急促变化的不确定性，因此，需要针对容器服务集群数量过小，不能满足用户的访问需求，以及容器服务集群数量过大，造成空间资源浪费的问题，对容器服务集群进行弹性伸缩。
目前，现有的容器集群管理系统提供的隐藏保护区域HPA策略，是根据阈值算法对容器服务集群进行弹性伸缩计算，并基于弹性伸缩计算结果对容器服务集群进行调整。
但是，现有的HPA策略存在web系统服务性能不高、吞吐量以及响应时间性能下降、集群数量变化滞后于流量变化的问题。
发明内容
本申请实施例提供一种基于工作负载特性的动态负载均衡的方法及装置，用以解决现有的HPA策略进行容器服务集群弹性伸缩计算时，需要先采集系统资源利用率后判断是否进行容器服务集群数量调整，造成容器集群数量变化滞后于流量变化的问题。
本申请实施例提供的一种基于工作负载特性的动态负载均衡方法，包括：
服务器获取历史数据中容器服务集群的资源利用率，作为原始时间序列数据；
服务器基于灰度模型负载预测算法，以及原始时间序列数据，对容器服务集群的资源利用率进行预测，得到预测值序列数据；
服务器根据预测值序列数据中与目标时刻对应的预测值，基于容器服务集群数量使用公式，计算得到与目标时刻对应的目标容器服务集群数量；
服务器根据目标容器服务集群数量与目标时刻的实际容器服务集群数量的数量关系，对目标时刻的实际容器服务集群数量进行调整。
在一个示例中，所述资源利用率包括中央处理器利用率、图形处理器利用率和内存利用率；基于灰度模型负载预测算法，以及所述原始时间序列数据，对容器服务集群的利用率进行预测，得到预测值序列数据，具体包括：基于灰度模型负载预测算法，以及所述原始时间序列数据，对中央处理器、图形处理器和内存的利用率分别进行预测，并分别得到中央处理器、图形处理器和内存的预测值序列数据。
在一个示例中，服务器根据所述预测值序列数据中与目标时刻对应的预测值，基于容器服务集群数量使用公式，计算得到与目标时刻对应的目标容器服务集群数量，具体包括：分别根据中央处理器、图形处理器和内存的预测值序列数据中与目标时刻对应的预测值，基于容器服务集群数量使用公式，分别计算得到与目标时刻对应的中央处理器的目标容器服务集群数量、图形处理器的目标容器服务集群数量和内存的目标容器服务集群数量。
在一个示例中，服务器分别计算得到与目标时刻对应的中央处理器、图形处理器和内存的目标容器服务集群数量之后，还包括：确定所述中央处理器的目标容器服务集群数量、所述图形处理器的目标容器服务集群数量以及所述内存的目标容器服务集群中的最大值为最终目标容器集群数量。
在一个示例中，服务器根据所述目标容器服务集群数量与所述目标时刻的实际容器服务集群数量的数量关系，对所述目标时刻的实际容器服务集群数量进行调整，具体包括：若所述最终目标容器服务集群数量等于所述目标时刻的实际容器服务集群数量，则不对所述目标时刻的实际容器服务集群数量进行调整；若所述最终目标容器服务集群数量大于所述目标时刻的实际容器服务集群数量，则对所述目标时刻的实际容器服务集群数量进行扩容；若所述最终目标容器服务集群数量小于所述目标时刻的实际容器服务集群数量，则对所述目标时刻的实际容器服务集群数量进行缩容。
在一个示例中，所述目标容器服务集群数量不大于预设的容器服务集群的最大值，并且不小于预设的容器服务集群的最小值。
在一个示例中，所述方法还包括：服务器根据不同类型的工作负载量，调整容器服务集群分配至不同类型的工作负载的权重。
在一个示例中，服务器基于灰度模型负载预测算法，以及所述原始时间序列数据，对容器服务集群的利用率进行预测，得到预测值序列数据，具体包括：将所述原始时间序列数据进行级比检验，得到所述原始时间序列数据的级比值；将所述原始时间序列数据进行累加处理，得到与所述原始时间序列数据对应的累加时间序列数据；基于所述累加时间序列数据以及所述原始时间序列，建立灰度模型，并计算出所述预测值序列数据；基于所述预测值序列数据进行相对残差检验，以及基于所述时间序列数据的级比值进行级比偏差检验。在一个示例中，所述容器服务集群数量使用公式为：
Figure BDA0002658817320000031
Figure BDA0002658817320000032
其中，DesiredReplicas表示目标时刻对应的目标容器服务集群数量，CurrentReplicas表示目标时刻对应的实际容器服务集群数量，CurrentMetricValue表示目标时刻对应的实际资源利用率，DesiredMetricValue表示目标时刻对应的预测值。
另一方面，本申请实施例提供的一种基于工作负载特性的动态负载均衡装置，所述装置包括：
获取模块，用于获取历史数据中容器服务集群的资源利用率，作为原始时间序列数据；
预测模块，用于基于灰度模型负载预测算法，以及所述原始时间序列数据，对容器服务集群的资源利用率进行预测，得到预测值序列数据；
计算模块，用于根据所述预测值序列数据中与目标时刻对应的预测值，基于容器服务集群数量使用公式，计算得到与目标时刻对应的目标容器服务集群数量；
调整模块，用于根据所述目标容器服务集群数量与所述目标时刻的实际容器服务集群数量的数量关系，对所述目标时刻的实际容器服务集群数量进行调整。
本申请实施例提供一种基于工作负载特性的动态负载均衡的方法及装置，至少包括以下有益效果：服务器基于灰度模型负载预测算法，根据历史数据中的容器服务集群的资源利用率对未来某一时间段的容器服务集群资源利用率进行预测，得到预测值序列数据。并根据预测值序列数据，提前进行容器服务集群弹性伸缩，解决现有技术中集群数量变化滞后于流量变化的问题，提高了容器服务集群调度效率和即时性。服务器实现容器服务集群的并行调度，提升系统的以及容器服务集群的资源利用率，避免系统资源处于冗余、浪费的状态，更合理的分配系统资源。同时，服务器基于灰度模型负载预测算法对容器服务集群的利用率进行预测，解决了现有负载预测算法时间复杂度、空间复杂度高，浪费系统资源，影响系统应用服务性能的问题。服务器通过根据不同类型的工作负载，来动态调整容器服务集群的权重，实现流量合理转发，提升系统的吞吐量以及响应性能。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的基于工作负载特性的动态负载均衡的方法流程图；
图2为本申请实施例提供的灰度模型负载预测算法流程图；
图3为本申请实施例提供的基于工作负载特性的动态负载均衡的装置结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的基于工作负载特性的动态负载均衡的方法流程图，具体包括以下步骤：
S101：服务器获取历史数据中容器服务集群的资源利用率，作为原始时间序列数据。
在本申请实施例中，服务器在历史数据中连续获取若干个容器服务集群的资源利用率，并将获取的若干个容器服务集群的资源利用率构成的集合作为原始时间序列数据。
其中，原始时间序列数据的长度可以根据需要设置，本申请对此不做限定。
在一个实施例中，容器服务集群的资源利用率包括中央处理器的平均资源利用率、图形处理器的平均资源利用率和内存的平均资源利用率。
服务器可分别获取历史数据中的中央处理器、图形处理器、内存的平均资源利用率，以得到中央处理器、图形处理器、内存分别对应的三组原始时间序列数据。
S102：服务器基于灰度模型负载预测算法，以及原始时间序列数据，对容器服务集群的资源利用率进行预测，得到预测值序列数据。
在本申请实施例中，服务器基于灰度模型负载预测算法，根据原始时间序列数据进行预测，得到与原始时间序列数据所对应的未来某一时间段内的容器服务集群的资源利用率所构成的预测值序列数据。
其中，预测值序列数据为基于灰度模型负载预测算法，预测得到的未来某个时间段内容器服务集群的资源利用率的集合。预测值序列数据与原始时间序列数据可以不是一一对应的。
在一个实施例中，服务器基于灰度模型负载预测算法，分别对历史数据中的中央处理器、图形处理器、内存的平均利用率构成的原始时间序列数据进行预测，分别得到中央处理器、图形处理器、以及内存的平均利用率所对应的三组预测值序列数据。
图2为本申请实施例提供的灰度模型负载预测算法流程图。
如图2所示，服务器基于灰度模型负载预测算法，得到与原始时间序列数据对应的预测值序列数据的步骤包括：
第一，服务器通过级比公式，对S101中得到的原始时间序列数据进行级比检验，并计算出级比检验值。
若级比检验通过，则可将上述原始时间序列数据用于建立灰度模型。
若级比检验不通过，则对原始时间序列数据进行平移操作，直至所有的原始时间序列数据都满足级比要求。
第二，服务器在进行级比检验之后，对满足级比检验的原始时间序列数据进行累加处理，得到与原始时间序列数据对应的累加时间序列数据。
通过对原始时间序列数据进行累加处理，可以更好的在部分杂乱无章的原始时间序列数据中发现内部规律。
第三，服务器基于原始时间序列数据和与其对应的累加时间序列数据，建立灰度GM模型，经过计算得到预测出的未来某一时间段内的资源利用率，构成预测值序列数据。
第四，服务器在得到预测值序列数据后，首先，服务器对预测值序列数据进行相对残差检验，并得到相对残差检验值。服务器可根据相对残差检验值与预设阈值的关系，判断灰度模型的预测效果。
若相对残差检验值小于第一预设阈值，则表示灰度模型预测效果好。
若相对残差检验值大于或等于第一预设阈值，并且小于第二预设阈值，则表示灰度模型预测效果存在误差。
其次，对第一步中得到的级比值进行级比偏差检验，并得到级比偏差检验值，根据级比偏差检验值与预设阈值的关系，判断灰度模型的预测效果。
若级比偏差检验值小于第三预设阈值，则表示灰度模型预测效果好。
若级比偏差检验值大于或等于第三预设阈值，并且小于第四预设阈值，则表示灰度模型预测效果存在误差。
其中，第一预设阈值、第二预设阈值、第三预设阈值、第四预设阈值可以根据需要设置，本申请不做任何限定。第一预设阈值可以等于第三预设阈值，第二预设阈值可以等于第四预设阈值。
经过相对残差检验和级比偏差检验两次检验之后，若灰度模型预测效果好，表示上述第三步建立的灰度模型可以用于进行预测，也就是说，上述第三步得到的预测值序列数据可以直接应用。
若灰度模型预测效果存在误差，则服务器需要再次对灰度模型的相关参数进行调整，之后，服务器可重复上述第三步与第四步，直至确定出灰度模型的预测效果较好，则可通过最终确定出的灰度模型得到的预测值序列数据，作为最终的预测值序列数据。
为了方便说明，本申请以服务器获取中央处理器cpu的资源利用率为例进行说明：
服务器在历史数据中获取n次cpu利用率得到原始时间序列数据：
cu0(1),cu0(2),cu0(3)……cu0(n)
其中，cu0(n)表示原始时间序列数据中第n次cpu利用率。
对原始时间序列数据进行级比检验，计算原始序列数据的级比：
Figure BDA0002658817320000071
其中，λ(k)表示级比值。
若对于所有λ(k)都有
Figure BDA0002658817320000081
则级比校验通过，否则对cu0进行平移变化yu0＝cu0+c，使得平移后的yu0能够通过级比检验。其中，yu0表示经过平移变化之后的cpu利用率。
对原始序列数据进行累加得到累加序列数据：
Figure BDA0002658817320000082
其中，cu1(k)表示经过累加之后的cpu的资源利用率。
灰度系统是对高离散序列建立的微分方程，其中GM(1,1)建立一阶微分方程模型，其微分方程如下：
Figure BDA0002658817320000083
其中，a为预设的发展系数，b为预设的控制系数。
如果Δk很小，取Δk＝1，则根据微分的意义有：
Figure BDA0002658817320000084
如果Δk很小，则在很短的时间内，累加序列数据cu1(k)以及cu1(k+Δk)不会出现突变量，可用cu1(k)以及cu1(k+Δk)平均值作为cu1(k)背景值，取a＝0.5对累加时间序列数据取均值：
Figure BDA0002658817320000085
其中zu1(k)表示累加时间序列数据的平均值。
将上式带入微分方程得离散方程为：
cu0(k)+azu1(k)＝b 2≤k≤n
其中cu0(k)与zu1(k)已知成线性关系。
由最小二乘法进行数据拟合，得到：
(a,b)T＝(BTB)-1BTY
其中，
Figure BDA0002658817320000091
得到微分方程解为：
Figure BDA0002658817320000092
得到最终解：
Figure BDA0002658817320000093
Figure BDA0002658817320000094
由上式将初始值代入，计算预测值，得到预测值序列数据：
其中，
Figure BDA0002658817320000096
表示预测值序列数据中第n次cpu利用率。
对预测值序列数据进行相对残差检验：
Figure BDA0002658817320000097
其中,ε(k)表示相对残差检验比。
若0.1≤ε(k)<0.2时，模型预测效果一般，若ε(k)<0.1，则说明模型预测效果较好。
对级比偏差值检验：
Figure BDA0002658817320000098
其中ρ(k)表示级比偏差检验比。
若0.1≤ρ(k)<0.2，模型预测效果一般，若ρ(k)<0.1，则说明模型预测效果较好。
需要说明的是，对图形处理器、内存的预测值序列数据进行计算的过程与上述过程基本一致，具体可参考上述过程的相关描述。
S103：服务器根据预测值序列数据中与目标时刻对应的预测值，基于容器服务集群数量使用公式，计算得到与目标时刻对应的目标容器服务集群数量。
在本申请实施例中，服务器根据S102得到的预测值序列数据中与目标时刻对应的预测值，通过容器服务集群数量使用公式，确定满足相应资源利用率(即上述预测值)所需的容器服务集群的数量，作为与目标时刻对应的目标容器服务集群数量。其中，目标时刻表示未来想要预测的某一时刻，目标容器服务集群数量表示未来想要预测的某一时刻对应的所需的集群数量。
在一个实施例中，容器服务集群数量使用公式为：
Figure BDA0002658817320000101
其中，DesiredReplicas表示目标时刻对应的目标容器服务集群数量，CurrentReplicas表示目标时刻对应的实际容器服务集群数量，CurrentMetricValue表示目标时刻对应的实际资源利用率，DesiredMetricValue表示目标时刻对应的预测值，即预测资源利用率。
在一个实施例中，服务器分别根据中央处理器、图形处理器和内存的预测值序列数据中与目标时刻对应的预测值，通过容器服务集群数量使用公式，分别计算得到与目标时刻对应的中央处理器的目标容器服务集群数量、图形处理器的目标容器服务集群数量和内存的目标容器服务集群数量。
在一个实施例中，服务器将中央处理器的目标容器服务集群数量、图形处理器的目标容器服务集群数量以及内存的目标容器服务集群数量中的最大值确定为最终目标容器集群数量，以保证最终目标容器集群数量都能满足中央处理器的目标容器服务集群数量、图形处理器的目标容器服务集群数量以及内存的目标容器服务集群数量。
S104：服务器根据目标容器服务集群数量与目标时刻的实际容器服务集群数量的数量关系，对目标时刻的实际容器服务集群数量进行调整。
在本申请实施例中，服务器根据S103得到的目标容器服务集群数量与目标时刻的实际容器服务集群数量的数量关系，调整目标时刻的实际容器服务集群数量，提前对容器服务集群进行弹性伸缩，便于对系统资源分配合理。
在一个实施例中，对目标时刻的容器服务集群数量进行调整的具体步骤包括：
若最终目标容器服务集群数量等于目标时刻的实际容器服务集群数量，也就是说，系统资源分配合理。则不对目标时刻的实际容器服务集群数量进行调整。
若最终目标容器服务集群数量大于目标时刻的实际容器服务集群数量，也就是说实际容器服务集群数量对应的系统资源无法满足预测的资源利用率，系统资源处于紧张状态。则服务器对目标时刻的实际容器服务集群数量进行扩容，解决系统资源处于紧张的状态，使系统资源分配更加合理。
若最终目标容器服务集群数量小于目标时刻的实际容器服务集群数量，也就是说实际容器服务集群数量对应的系统资源无法全部占用预测的资源利用率，系统资源处于冗余状态。则对目标时刻的实际容器服务集群数量进行缩容，解决系统资源处于冗余的状态，使系统资源分配更加合理。
在一个实施例中，由于系统能提供的集群总数是有限的，并且系统需要保证能够维持基本的运行状态资源也是有限的。因此，最终目标容器服务集群数量的取值应不大于预设的容器服务集群的最大值，并且不小于预设的容器服务集群的最小值。这样为保证更加合理的对系统资源进行分配。
在一个实施例中，服务器可根据不同类型业务的负载量的大小，调整容器服务集群分配至不同类型的工作负载的权重，以使负载量较大的业务类型能够分配有较多的容器服务，能够充分满足其大流量需求，同时，使负载较小的业务类型分配有较少的容器服务，以避免资源浪费。这样能够实现高并发流量的动态转发，使具有大流量的业务类型能够配备有性能高的容器服务。
例如，服务器有A、B两种不同类型的业务，当A的业务工作负载增加，B的业务工作负载减少时，可以通过调整容器服务集群，增加分配给业务A的容器服务，减少分配给业务B的容器服务，以调整业务A、B所占用的资源在容器服务集群中所占的权重，来提升系统的容器服务集群的调度效率以及主机集群的资源利用率与均衡率。
在本申请实施例中，服务器基于灰度模型负载预测算法，根据历史数据中的资源利用率对未来某一时间段内的资源利用率进行预测，得到预测值序列数据。并根据预测值序列数据，提前进行容器服务集群弹性伸缩，解决现有技术中集群数量变化滞后于流量变化的问题，提高了容器服务集群调度效率和即时性。服务器实现容器服务集群的并行调度，提升系统的以及容器服务集群的资源利用率，避免系统资源处于冗余、浪费的状态，更合理的分配系统资源。同时，服务器基于灰度模型负载预测算法对容器服务集群的利用率进行预测，解决了现有负载预测算法时间复杂度、空间复杂度高，浪费系统资源，影响系统应用服务性能的问题。服务器通过根据不同类型的工作负载，来动态调整容器服务集群的权重，实现流量合理转发，提升系统的吞吐量以及响应性能。
在一个实施例中，容器服务集群数量的调整可以通过Kubernetes接口实现，根据对容器服务集群数量的增加或删除，将对应的新增或删除的请求发送至相应数据库中，然后由Kubernetes管理平台实现容器服务集群数量的调整。
以上为本申请实施例提供的基于工作负载特性的动态负载均衡的方法，基于同样的发明思路，本申请实施例还提供了相应的基于工作负载特性的动态负载均衡的装置，如图3所示。
图3为本申请实施例提供基于工作负载特性的动态负载均衡的装置结构示意图，具体包括：
获取模块301，用于获取历史数据中容器服务集群的资源利用率，作为原始时间序列数据；
预测模块302，用于基于灰度模型负载预测算法，以及所述原始时间序列数据，对容器服务集群的资源利用率进行预测，得到预测值序列数据；
计算模块303，用于根据所述预测值序列数据中与目标时刻对应的预测值，基于容器服务集群数量使用公式，计算得到与目标时刻对应的目标容器服务集群数量；
调整模块304，用于根据所述目标容器服务集群数量与所述目标时刻的实际容器服务集群数量的数量关系，对所述目标时刻的实际容器服务集群数量进行调整。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于工作负载特性的动态负载均衡的方法，其特征在于，包括：
服务器获取历史数据中容器服务集群的资源利用率，作为原始时间序列数据；
基于灰度模型负载预测算法，以及所述原始时间序列数据，对容器服务集群的资源利用率进行预测，得到预测值序列数据；
根据所述预测值序列数据中与目标时刻对应的预测值，基于容器服务集群数量使用公式，计算得到与目标时刻对应的目标容器服务集群数量；
根据所述目标容器服务集群数量与所述目标时刻的实际容器服务集群数量的数量关系，对所述目标时刻的实际容器服务集群数量进行调整。
2.根据权利要求1所述一种基于工作负载特性的动态负载均衡的方法，其特征在于，所述资源利用率包括中央处理器利用率、图形处理器利用率和内存利用率；
基于灰度模型负载预测算法，以及所述原始时间序列数据，对容器服务集群的资源利用率进行预测，得到预测值序列数据，具体包括：
基于灰度模型负载预测算法，以及所述原始时间序列数据，对中央处理器、图形处理器和内存的资源利用率分别进行预测，并分别得到中央处理器、图形处理器和内存的预测值序列数据。
3.根据权利要求2所述一种基于工作负载特性的动态负载均衡的方法，其特征在于，根据所述预测值序列数据中与目标时刻对应的预测值，基于容器服务集群数量使用公式，计算得到与目标时刻对应的目标容器服务集群数量，具体包括：
分别根据中央处理器、图形处理器和内存的预测值序列数据中与目标时刻对应的预测值，基于容器服务集群数量使用公式，分别计算得到与目标时刻对应的中央处理器的目标容器服务集群数量、图形处理器的目标容器服务集群数量和内存的目标容器服务集群数量。
4.根据权利要3所述一种基于工作负载特性的动态负载均衡的方法，其特征在于，分别计算得到与目标时刻对应的中央处理器、图形处理器和内存的目标容器服务集群数量之后，还包括：
确定所述中央处理器的目标容器服务集群数量、所述图形处理器的目标容器服务集群数量以及所述内存的目标容器服务集群中的最大值为最终目标容器集群数量。
5.根据权利要求1所述一种基于工作负载特性的动态负载均衡的方法，其特征在于，根据所述目标容器服务集群数量与所述目标时刻的实际容器服务集群数量的数量关系，对所述目标时刻的实际容器服务集群数量进行调整，具体包括：
若所述最终目标容器服务集群数量等于所述目标时刻的实际容器服务集群数量，则不对所述目标时刻的实际容器服务集群数量进行调整；
若所述最终目标容器服务集群数量大于所述目标时刻的实际容器服务集群数量，则对所述目标时刻的实际容器服务集群数量进行扩容；
若所述最终目标容器服务集群数量小于所述目标时刻的实际容器服务集群数量，则对所述目标时刻的实际容器服务集群数量进行缩容。
6.根据权利要求1所述一种基于工作负载特性的动态负载均衡的方法，其特征在于，所述目标容器服务集群数量不大于预设的容器服务集群的最大值，并且不小于预设的容器服务集群的最小值。
7.根据权利要求1所述一种基于工作负载特性的动态负载均衡的方法，其特征在于，所述方法还包括：
根据不同类型的工作负载量，调整容器服务集群分配至不同类型的工作负载的权重。
8.根据权利要求1所述一种基于工作负载特性的动态负载均衡的方法，其特征在于，基于灰度模型负载预测算法，以及所述原始时间序列数据，对容器服务集群的利用率进行预测，得到预测值序列数据，具体包括：
将所述原始时间序列数据进行级比检验，得到所述原始时间序列数据的级比值；
将所述原始时间序列数据进行累加处理，得到与所述原始时间序列数据对应的累加时间序列数据；
基于所述累加时间序列数据以及所述原始时间序列，建立灰度模型，并计算出所述预测值序列数据；
基于所述预测值序列数据进行相对残差检验，以及基于所述时间序列数据的级比值进行级比偏差检验。
9.根据权利要求1所述一种基于工作负载特性的动态负载均衡的方法其特征在于，所述容器服务集群数量使用公式为：
Figure FDA0002658817310000031
其中，DesiredReplicas表示目标时刻对应的目标容器服务集群数量，CurrentReplicas表示目标时刻对应的实际容器服务集群数量，CurrentMetricValue表示目标时刻对应的实际资源利用率，DesiredMetricValue表示目标时刻对应的预测值。
10.一种基于工作负载特性的动态负载均衡的装置，其特征在于，包括：
获取模块，用于获取历史数据中容器服务集群的资源利用率，作为原始时间序列数据；
预测模块，用于基于灰度模型负载预测算法，以及所述原始时间序列数据，对容器服务集群的资源利用率进行预测，得到预测值序列数据；
计算模块，用于根据所述预测值序列数据中与目标时刻对应的预测值，基于容器服务集群数量使用公式，计算得到与目标时刻对应的目标容器服务集群数量；
调整模块，用于根据所述目标容器服务集群数量与所述目标时刻的实际容器服务集群数量的数量关系，对所述目标时刻的实际容器服务集群数量进行调整。
CN202010897127.3A 2020-08-31 2020-08-31 一种基于工作负载特性的动态负载均衡的方法及装置 Pending CN112087504A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010897127.3A CN112087504A (zh) 2020-08-31 2020-08-31 一种基于工作负载特性的动态负载均衡的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010897127.3A CN112087504A (zh) 2020-08-31 2020-08-31 一种基于工作负载特性的动态负载均衡的方法及装置

Publications (1)

Publication Number Publication Date
CN112087504A true CN112087504A (zh) 2020-12-15

Family

ID=73732754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010897127.3A Pending CN112087504A (zh) 2020-08-31 2020-08-31 一种基于工作负载特性的动态负载均衡的方法及装置

Country Status (1)

Country Link
CN (1) CN112087504A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860403A (zh) * 2021-02-22 2021-05-28 中国联合网络通信集团有限公司 集群负载资源调度方法、装置、设备、介质及产品
CN113507618A (zh) * 2021-06-30 2021-10-15 微梦创科网络科技（中国）有限公司 一种直播系统自动扩缩容方法及系统
CN113778683A (zh) * 2021-09-14 2021-12-10 码客工场工业科技(北京)有限公司 一种基于神经网络的Handle标识体系解析负载均衡方法
CN113992525A (zh) * 2021-10-12 2022-01-28 支付宝(杭州)信息技术有限公司 一种应用的容器数量调节方法及装置
CN116700956A (zh) * 2023-05-23 2023-09-05 海易科技(北京)有限公司 请求处理方法、装置、电子设备和计算机可读介质
CN113778683B (zh) * 2021-09-14 2024-05-28 码客工场工业科技(北京)有限公司 一种基于神经网络的Handle标识体系解析负载均衡方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622273A (zh) * 2012-02-23 2012-08-01 中国人民解放军国防科学技术大学 基于自学习负载预测的集群按需启动方法
CN106201718A (zh) * 2016-07-05 2016-12-07 北京邮电大学 一种基于负载预测的云计算资源动态伸缩方法
CN108829494A (zh) * 2018-06-25 2018-11-16 杭州谐云科技有限公司 基于负载预测的容器云平台智能资源优化方法
CN109976908A (zh) * 2019-03-15 2019-07-05 北京工业大学 一种基于rnn时间序列预测的服务器集群动态伸缩方法
CN110149396A (zh) * 2019-05-20 2019-08-20 华南理工大学 一种基于微服务架构的物联网平台构建方法
CN111026550A (zh) * 2019-11-29 2020-04-17 中国科学院深圳先进技术研究院 容器云环境下的任务调度方法、装置、服务器及存储装置
CN111045820A (zh) * 2019-12-03 2020-04-21 浩鲸云计算科技股份有限公司 一种基于时序预测的容器调度方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622273A (zh) * 2012-02-23 2012-08-01 中国人民解放军国防科学技术大学 基于自学习负载预测的集群按需启动方法
CN106201718A (zh) * 2016-07-05 2016-12-07 北京邮电大学 一种基于负载预测的云计算资源动态伸缩方法
CN108829494A (zh) * 2018-06-25 2018-11-16 杭州谐云科技有限公司 基于负载预测的容器云平台智能资源优化方法
CN109976908A (zh) * 2019-03-15 2019-07-05 北京工业大学 一种基于rnn时间序列预测的服务器集群动态伸缩方法
CN110149396A (zh) * 2019-05-20 2019-08-20 华南理工大学 一种基于微服务架构的物联网平台构建方法
CN111026550A (zh) * 2019-11-29 2020-04-17 中国科学院深圳先进技术研究院 容器云环境下的任务调度方法、装置、服务器及存储装置
CN111045820A (zh) * 2019-12-03 2020-04-21 浩鲸云计算科技股份有限公司 一种基于时序预测的容器调度方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈文楷: "基于docker容器的高并发web系统架构设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860403A (zh) * 2021-02-22 2021-05-28 中国联合网络通信集团有限公司 集群负载资源调度方法、装置、设备、介质及产品
CN112860403B (zh) * 2021-02-22 2023-11-07 中国联合网络通信集团有限公司 集群负载资源调度方法、装置、设备、介质及产品
CN113507618A (zh) * 2021-06-30 2021-10-15 微梦创科网络科技（中国）有限公司 一种直播系统自动扩缩容方法及系统
CN113778683A (zh) * 2021-09-14 2021-12-10 码客工场工业科技(北京)有限公司 一种基于神经网络的Handle标识体系解析负载均衡方法
CN113778683B (zh) * 2021-09-14 2024-05-28 码客工场工业科技(北京)有限公司 一种基于神经网络的Handle标识体系解析负载均衡方法
CN113992525A (zh) * 2021-10-12 2022-01-28 支付宝(杭州)信息技术有限公司 一种应用的容器数量调节方法及装置
CN116700956A (zh) * 2023-05-23 2023-09-05 海易科技(北京)有限公司 请求处理方法、装置、电子设备和计算机可读介质
CN116700956B (zh) * 2023-05-23 2024-02-23 海易科技(北京)有限公司 请求处理方法、装置、电子设备和计算机可读介质

Similar Documents

Publication Publication Date Title
CN112087504A (zh) 一种基于工作负载特性的动态负载均衡的方法及装置
CN107426332B (zh) 一种web服务器集群的负载均衡方法及系统
CN110704542A (zh) 一种基于节点负载的数据动态分区系统
CN105491138B (zh) 一种基于负载率分级触发的分布式负载调度方法
CN107066332A (zh) 分布式系统及其调度方法和调度装置
Liu et al. Resource allocation optimization based on mixed integer linear programming in the multi-cloudlet environment
CN109981744B (zh) 数据的分发方法、装置、存储介质及电子设备
CN103997512A (zh) 一种面向云存储系统的数据副本数量确定方法
CN103338228A (zh) 基于双加权最小连接算法的云计算负载均衡调度算法
CN110716808B (zh) 业务处理方法、装置、计算机设备和存储介质
CN113938488A (zh) 一种基于动静态加权轮询的负载均衡方法
CN111131486B (zh) 执行节点的负载调节方法、装置、服务器及存储介质
CN109218441A (zh) 一种基于预测和区域划分的p2p网络动态负载均衡方法
CN105744006A (zh) 一种面向多类型服务的粒子群优化用户请求调度方法
Tu et al. An optimized cluster storage method for real-time big data in Internet of Things
CN107566535B (zh) 基于Web地图服务并发访问时序规则的自适应负载均衡方法
JP2017027448A (ja) デマンドレスポンス要請方法、デマンドレスポンス要請サーバ、及びデマンドレスポンス要請システム
CN110990160B (zh) 一种基于负荷预测的静态安全分析容器云弹性伸缩方法
CN112799839A (zh) 请求处理方法、装置、计算机可读存储介质及电子设备
CN114423023B (zh) 一种面向移动用户的5g网络边缘服务器部署方法
Li et al. Dynamic load balancing algorithm based on FCFS
JP2012141885A (ja) キャッシュシステム及びキャッシュ配置方法及びキャッシュ制御装置及びキャッシュ制御プログラム
CN112637286B (zh) 网络架构调整方法、装置、系统和计算机可读存储介质
Jiang et al. Effective data management strategy and RDD weight cache replacement strategy in Spark
CN115643180B (zh) 一种弹性扩容方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201215

RJ01 Rejection of invention patent application after publication