CN109711526A - 基于svm和蚁群算法的服务器集群调度方法 - Google Patents
基于svm和蚁群算法的服务器集群调度方法 Download PDFInfo
- Publication number
- CN109711526A CN109711526A CN201811563339.7A CN201811563339A CN109711526A CN 109711526 A CN109711526 A CN 109711526A CN 201811563339 A CN201811563339 A CN 201811563339A CN 109711526 A CN109711526 A CN 109711526A
- Authority
- CN
- China
- Prior art keywords
- node
- svm
- ant group
- server cluster
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Complex Calculations (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于SVM和蚁群算法的服务器集群调度方法,包括以下步骤:基于SVM算法对服务器集群进行负载状态分类,得到负载正常或过载两种集群节点;通过SVM分类器筛选出负载正常的集群节点,计算服务器节点的处理能力;根据负载正常的集群节点通过蚁群算法进行迭代搜索,请求任务调度分配方案。本发明提供的一种基于SVM和蚁群算法的服务器集群调度方法,能对集群服务器节点当前负载状态进行分类,过滤过载运行的节点,以此提高蚁群算法分配任务的效率和准确性,降低调度算法给调度节点带来的性能损耗,充分考虑了集群节点的计算能力,对异构集群有很强的适用性,避免出现负载不均的情况。
Description
技术领域
本发明涉及集群调度技术领域,更具体的,涉及一种基于SVM和蚁群算法的服务器集群调度方法。
背景技术
随着互联网的发展,系统的压力日益剧增。面对这一问题,对系统采取集群的部署方式可以分散服务器的压力,提高任务的处理效率。采用何种任务调度方法实现负载均衡往往影响着整个集群系统的质量,所以负载均衡算法是系统面临诸多任务调度保持高性能、高可靠的核心模块。
常用的负载均衡算法包括加权轮询算法和最小连接数算法。加权轮询算法指的是在轮询算法基础上进行改进,通过使用权值对不同服务器的处理能力进行描述,其服务器权值越大,它的性能便越好,连接到外部服务器请求的优先度越高。轮询算法将请求利用简单的方式对不同的Web服务器进行分配,默认每台Web服务器均无差别,当有新的连接到达服务器集群后,负载均衡服务器选择对应的节点提供服务;最小连接数算法比较灵活和智能,由于服务器的配置各不相同,对于请求的速率也不相同,最小连接数算法是依照当前服务器的连接请求,动态地选择连接数最少的服务器进行请求的处理,尽可能地提高服务器的利用效率。但目前的负载均衡算法没有考虑到服务器节点的性能和当前负载情况,对于异构集群的适用性很差。
发明内容
本发明为克服现有的负载均衡算法未考虑到服务器节点的性能和当前负载情况,对于异构集群存在适用性差的技术缺陷,提供一种基于SVM和蚁群算法的服务器集群调度方法。
为解决上述技术问题,本发明的技术方案如下:
基于SVM和蚁群算法的服务器集群调度方法,包括以下步骤:
S1:基于SVM算法对服务器集群进行负载状态分类,得到负载正常或过载两种集群节点;
S2:通过SVM分类器筛选出负载正常的集群节点,计算服务器节点的处理能力;
S3:根据负载正常的集群节点通过蚁群算法进行迭代搜索,请求任务调度分配方案。
其中,所述步骤S1包括以下步骤:
S11:选取服务器集群的特征值;
S12:选取径向基函数EBF作为核函数,利用10折交叉验证算法对分类器进行参数寻优,当前服务器i的分类状态可表示为:
其中,所述步骤S3包括以下步骤:
S31:获取请求队列的长度,用集合R表示,计算任务处理时间;
S32:初始化信息素矩阵和任务分配概率矩阵;
S33:进行信息素浓度的更新,每只蚂蚁根据更新后信息素浓度按概率选择任务分配方式,每次迭代更新重复执行步骤S31、步骤S32,更新节点信息,标记出超负荷节点减少蚂蚁的搜索路径。
其中,所述步骤S11具体为:
CPU特征值X1的选取:
X1=a×C1+b×C2+c×C3;
其中,C1为运行队列任务数,C2为空间时间百分比,C3为上下文切换率,a,b,c为权重系数,a+b+c=1;
内存特征值X2的选取:
X2=k×M1+m×M2+n×M3;
其中,M1为物理内存大小,M2为虚拟内存大小,M3为空间存储器大小,k,m,n为权重系数,k+m+n=1;
硬盘特征值X3的选取:
X3=x×D1+y×D2+z×D3;
其中,D1为磁盘利用率,D2为访问速度,D3为队列长度,x,y,z为权重系数,x+y+z=1。
其中,在步骤S2中,所述服务器节点的处理能力的计算公式具体为:
Nj=k1X1+k2X2+k3X3;
其中,k1,k2,k3为权重系数。
其中,在步骤S31中,所述集合R={r1,r2,...,rn}表示,计算任务处理时间具体公式为:
其中,tij表示将任务i分配给服务器节点j处理的时间。
其中,在步骤S33中,信息素更新公式具体为:
其中,τij表示任务i分配给节点j的信息素浓度,ρ为信息素挥发系数;
任务i分配给节点j的概率公式为:
其中,表示节点j不包含过载的节点。
与现有技术相比,本发明技术方案的有益效果是:
本发明提供的一种基于SVM和蚁群算法的服务器集群调度方法,能对集群服务器节点当前负载状态进行分类,过滤过载运行的节点,以此提高蚁群算法分配任务的效率和准确性,降低调度算法给调度节点带来的性能损耗,充分考虑了集群节点的计算能力,对异构集群有很强的适用性,避免出现负载不均的情况。
附图说明
图1为本发明的流程示意图;
图2为本发明实施例1实验流程图;
图3为本发明实施例1实验结果图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1、图2所示,基于SVM和蚁群算法的服务器集群调度方法,包括以下步骤:
S1:基于SVM算法对服务器集群进行负载状态分类,得到负载正常或过载两种集群节点;
S2:通过SVM分类器筛选出负载正常的集群节点,计算服务器节点的处理能力;
S3:根据负载正常的集群节点通过蚁群算法进行迭代搜索,请求任务调度分配方案。
更具体的,所述步骤S1包括以下步骤:
S11:选取服务器集群的特征值;
S12:选取径向基函数EBF作为核函数,利用10折交叉验证算法对分类器进行参数寻优,当前服务器i的分类状态可表示为:
更具体的,所述步骤S3包括以下步骤:
S31:获取请求队列的长度,用集合R表示,计算任务处理时间;
S32:初始化信息素矩阵和任务分配概率矩阵;
S33:进行信息素浓度的更新,每只蚂蚁根据更新后信息素浓度按概率选择任务分配方式,每次迭代更新重复执行步骤S31、步骤S32,更新节点信息,标记出超负荷节点减少蚂蚁的搜索路径。
更具体的,所述步骤S11具体为:
CPU特征值X1的选取:
X1=a×C1+b×C2+c×C3;
其中,C1为运行队列任务数,C2为空间时间百分比,C3为上下文切换率,a,b,c为权重系数,a+b+c=1;
内存特征值X2的选取:
X2=k×M1+m×M2+n×M3;
其中,M1为物理内存大小,M2为虚拟内存大小,M3为空间存储器大小,k,m,n为权重系数,k+m+n=1;
硬盘特征值X3的选取:
X3=x×D1+y×D2+z×D3;
其中,D1为磁盘利用率,D2为访问速度,D3为队列长度,x,y,z为权重系数,x+y+z=1。
更具体的,在步骤S2中,所述服务器节点的处理能力的计算公式具体为:
Nj=k1X1+k2X2+k3X3;
其中,k1,k2,k3为权重系数。
更具体的,在步骤S31中,所述集合R={r1,r2,...,rn}表示,计算任务处理时间具体公式为:
其中,tij表示将任务i分配给服务器节点j处理的时间。
更具体的,在步骤S33中,信息素更新公式具体为:
其中,τij表示任务i分配给节点j的信息素浓度,ρ为信息素挥发系数;
任务i分配给节点j的概率公式为:
其中,表示节点j不包含过载的节点。
在具体实施过程中,分别用最小连接数算法和基于SVM和蚁群算法的服务器集群调度方法对相同的请求任务进行分配,对任务的平均处理时间进行比较,具体为:
搭建集群环境:选用性能级别为高配、中配、低配的服务器各20台,保证每台服务器的环境一致,部署相同的任务处理系统,组成一个集群系统;
搭建两个负载均衡调度节点,一个采用最小加权调度,一个采用SVM和蚁群算法调度;
分别对两个节点发送相同的请求任务,比较平均任务处理时间,最后得到的实验结果如图3所示,在任务数量一致的时候,本发明所提供的调度方法的平均运行时间明显少于采用最小加权调度的平均运行时间。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (7)
1.基于SVM和蚁群算法的服务器集群调度方法,其特征在于,包括以下步骤:
S1:基于SVM算法对服务器集群进行负载状态分类,得到负载正常或过载两种集群节点;
S2:通过SVM分类器筛选出负载正常的集群节点,计算服务器节点的处理能力;
S3:根据负载正常的集群节点通过蚁群算法进行迭代搜索,请求任务调度分配方案。
2.根据权利要求1所述的基于SVM和蚁群算法的服务器集群调度方法,其特征在于,所述步骤S1包括以下步骤:
S11:选取服务器集群的特征值;
S12:选取径向基函数EBF作为核函数,利用10折交叉验证算法对分类器进行参数寻优,当前服务器i的分类状态可表示为:
3.根据权利要求2所述的基于SVM和蚁群算法的服务器集群调度方法,其特征在于,所述步骤S3包括以下步骤:
S31:获取请求队列的长度,用集合R表示,计算任务处理时间;
S32:初始化信息素矩阵和任务分配概率矩阵;
S33:进行信息素浓度的更新,每只蚂蚁根据更新后信息素浓度按概率选择任务分配方式,每次迭代更新重复执行步骤S31、步骤S32,更新节点信息,标记出超负荷节点减少蚂蚁的搜索路径。
4.根据权利要求3所述的基于SVM和蚁群算法的服务器集群调度方法,其特征在于,所述步骤S11具体为:
CPU特征值X1的选取:
X1=a×C1+b×C2+c×C3;
其中,C1为运行队列任务数,C2为空间时间百分比,C3为上下文切换率,a,b,c为权重系数,a+b+c=1;
内存特征值X2的选取:
X2=k×M1+m×M2+n×M3;
其中,M1为物理内存大小,M2为虚拟内存大小,M3为空间存储器大小,k,m,n为权重系数,k+m+n=1;
硬盘特征值X3的选取:
X3=x×D1+y×D2+z×D3;
其中,D1为磁盘利用率,D2为访问速度,D3为队列长度,x,y,z为权重系数,x+y+z=1。
5.根据权利要求4所述的基于SVM和蚁群算法的服务器集群调度方法,其特征在于,在步骤S2中,所述服务器节点的处理能力的计算公式具体为:
Nj=k1X1+k2X2+k3X3;
其中,k1,k2,k3为权重系数。
6.根据权利要求5所述的基于SVM和蚁群算法的服务器集群调度方法,其特征在于,在步骤S31中,所述集合R={r1,r2,...,rn}表示,计算任务处理时间具体公式为:
其中,tij表示将任务i分配给服务器节点j处理的时间。
7.根据权利要求6所述的基于SVM和蚁群算法的服务器集群调度方法,其特征在于,在步骤S33中,信息素更新公式具体为:
其中,τij表示任务i分配给节点j的信息素浓度,ρ为信息素挥发系数;
任务i分配给节点j的概率公式为:
其中,表示节点j不包含过载的节点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811563339.7A CN109711526B (zh) | 2018-12-20 | 2018-12-20 | 基于svm和蚁群算法的服务器集群调度方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811563339.7A CN109711526B (zh) | 2018-12-20 | 2018-12-20 | 基于svm和蚁群算法的服务器集群调度方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109711526A true CN109711526A (zh) | 2019-05-03 |
CN109711526B CN109711526B (zh) | 2023-04-18 |
Family
ID=66256868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811563339.7A Active CN109711526B (zh) | 2018-12-20 | 2018-12-20 | 基于svm和蚁群算法的服务器集群调度方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109711526B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110764912A (zh) * | 2019-10-25 | 2020-02-07 | 东北大学 | 一种自适应任务调度器及方法 |
CN110888728A (zh) * | 2019-12-03 | 2020-03-17 | 中电工业互联网有限公司 | 一种Kettle集群服务器的任务调度方法 |
CN113867960A (zh) * | 2021-09-30 | 2021-12-31 | 丝路信息港云计算科技有限公司 | 基于文件类型的云负载均衡混合模型 |
CN114666251A (zh) * | 2022-02-14 | 2022-06-24 | 浙江华消科技有限公司 | 一种基于蚁群算法的数据轮询方法以及相关装置 |
CN117056089A (zh) * | 2023-10-11 | 2023-11-14 | 创瑞技术有限公司 | 一种服务动态分配系统及方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010034752A1 (en) * | 2000-01-26 | 2001-10-25 | Prompt2U Inc. | Method and system for symmetrically distributed adaptive matching of partners of mutual interest in a computer network |
CN103401939A (zh) * | 2013-08-08 | 2013-11-20 | 中国航天科工集团第三研究院第八三五七研究所 | 一种采用混合调度策略的负载均衡方法 |
CN103970609A (zh) * | 2014-04-24 | 2014-08-06 | 南京信息工程大学 | 一种基于改进蚁群算法的云数据中心任务调度方法 |
CN104168332A (zh) * | 2014-09-01 | 2014-11-26 | 广东电网公司信息中心 | 高性能计算中负载均衡与节点状态监控方法 |
CN104618406A (zh) * | 2013-11-05 | 2015-05-13 | 镇江华扬信息科技有限公司 | 一种基于朴素贝叶斯分类的负载均衡算法 |
CN104978236A (zh) * | 2015-07-07 | 2015-10-14 | 四川大学 | 一种基于多衡量指标的hdfs负载源宿节点选取方法 |
CN105049509A (zh) * | 2015-07-23 | 2015-11-11 | 浪潮电子信息产业股份有限公司 | 一种集群调度方法、负载均衡器以及集群系统 |
CN106095555A (zh) * | 2016-06-17 | 2016-11-09 | 河海大学常州校区 | 基于蚁群算法的wsan中执行器任务调度方法 |
WO2017000628A1 (zh) * | 2015-06-30 | 2017-01-05 | 华为技术有限公司 | 一种云计算系统中的资源调度方法及装置 |
CN108108233A (zh) * | 2017-11-29 | 2018-06-01 | 上海交通大学 | 任务多副本执行的集群作业调度方法及系统 |
CN108491302A (zh) * | 2018-02-12 | 2018-09-04 | 中国科学院计算技术研究所 | 一种检测spark集群节点状态的方法 |
-
2018
- 2018-12-20 CN CN201811563339.7A patent/CN109711526B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010034752A1 (en) * | 2000-01-26 | 2001-10-25 | Prompt2U Inc. | Method and system for symmetrically distributed adaptive matching of partners of mutual interest in a computer network |
CN103401939A (zh) * | 2013-08-08 | 2013-11-20 | 中国航天科工集团第三研究院第八三五七研究所 | 一种采用混合调度策略的负载均衡方法 |
CN104618406A (zh) * | 2013-11-05 | 2015-05-13 | 镇江华扬信息科技有限公司 | 一种基于朴素贝叶斯分类的负载均衡算法 |
CN103970609A (zh) * | 2014-04-24 | 2014-08-06 | 南京信息工程大学 | 一种基于改进蚁群算法的云数据中心任务调度方法 |
CN104168332A (zh) * | 2014-09-01 | 2014-11-26 | 广东电网公司信息中心 | 高性能计算中负载均衡与节点状态监控方法 |
WO2017000628A1 (zh) * | 2015-06-30 | 2017-01-05 | 华为技术有限公司 | 一种云计算系统中的资源调度方法及装置 |
CN104978236A (zh) * | 2015-07-07 | 2015-10-14 | 四川大学 | 一种基于多衡量指标的hdfs负载源宿节点选取方法 |
CN105049509A (zh) * | 2015-07-23 | 2015-11-11 | 浪潮电子信息产业股份有限公司 | 一种集群调度方法、负载均衡器以及集群系统 |
CN106095555A (zh) * | 2016-06-17 | 2016-11-09 | 河海大学常州校区 | 基于蚁群算法的wsan中执行器任务调度方法 |
CN108108233A (zh) * | 2017-11-29 | 2018-06-01 | 上海交通大学 | 任务多副本执行的集群作业调度方法及系统 |
CN108491302A (zh) * | 2018-02-12 | 2018-09-04 | 中国科学院计算技术研究所 | 一种检测spark集群节点状态的方法 |
Non-Patent Citations (6)
Title |
---|
ANA ABDULHUSSEIN ET AL.: "An efficient load balancing algorithm for virtualized cloud data centers", 《INTERNATIONAL JOURNAL OF DISTRIBUTED SENSOR NETWORKS》 * |
孙兰芳: "云计算负载均衡资源调度管理的分析与研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
董世龙 等: "面向云环境的集群资源模糊聚类划分算法的优化", 《计算机科学》 * |
蔡嵩 等: "云计算环境中基于朴素贝叶斯算法的负载均衡技术", 《计算机应用》 * |
许鑫: "《基于文本特征计算的信息分析方法》", 30 November 2015, 上海科学技术文献出版社 * |
雷显玉 等: "面向SLA的云计算负载均衡策略", 《计算机测量与控制》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110764912A (zh) * | 2019-10-25 | 2020-02-07 | 东北大学 | 一种自适应任务调度器及方法 |
CN110764912B (zh) * | 2019-10-25 | 2022-09-09 | 东北大学 | 一种自适应任务调度器及方法 |
CN110888728A (zh) * | 2019-12-03 | 2020-03-17 | 中电工业互联网有限公司 | 一种Kettle集群服务器的任务调度方法 |
CN113867960A (zh) * | 2021-09-30 | 2021-12-31 | 丝路信息港云计算科技有限公司 | 基于文件类型的云负载均衡混合模型 |
CN113867960B (zh) * | 2021-09-30 | 2023-08-11 | 丝路信息港云计算科技有限公司 | 基于文件类型的云负载均衡混合模型 |
CN114666251A (zh) * | 2022-02-14 | 2022-06-24 | 浙江华消科技有限公司 | 一种基于蚁群算法的数据轮询方法以及相关装置 |
CN117056089A (zh) * | 2023-10-11 | 2023-11-14 | 创瑞技术有限公司 | 一种服务动态分配系统及方法 |
CN117056089B (zh) * | 2023-10-11 | 2024-02-06 | 创瑞技术有限公司 | 一种服务动态分配系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109711526B (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109711526A (zh) | 基于svm和蚁群算法的服务器集群调度方法 | |
Mao et al. | Max–min task scheduling algorithm for load balance in cloud computing | |
Moharana et al. | Analysis of load balancers in cloud computing | |
CN107273185B (zh) | 一种基于虚拟机的负载均衡控制方法 | |
Joseph et al. | A novel family genetic approach for virtual machine allocation | |
Izakian et al. | A novel particle swarm optimization approach for grid job scheduling | |
Joshi et al. | Load balancing in cloud computing: Challenges & issues | |
Ullah et al. | Task classification and scheduling based on K-means clustering for edge computing | |
CN107273211A (zh) | 一种云计算环境下基于虚拟机的数据处理方法 | |
Janakiraman et al. | Improved artificial bee colony using monarchy butterfly optimization algorithm for load balancing (IABC-MBOA-LB) in cloud environments | |
Hu et al. | Multi-objective container deployment on heterogeneous clusters | |
Patel et al. | Gwo based task allocation for load balancing in containerized cloud | |
CN104881322A (zh) | 一种基于装箱模型的集群资源调度方法及装置 | |
Pattanaik et al. | Performance study of some dynamic load balancing algorithms in cloud computing environment | |
Komarasamy et al. | A novel approach for Dynamic Load Balancing with effective Bin Packing and VM Reconfiguration in cloud | |
Majumder et al. | Genetic algorithm-based two-tiered load balancing scheme for cloud data centers | |
Imdoukh et al. | Optimizing scheduling decisions of container management tool using many‐objective genetic algorithm | |
CN103176850A (zh) | 一种基于负载均衡的电力系统网络集群任务分配方法 | |
CN117076133A (zh) | 云游戏平台异构资源分配方法、计算机装置及存储介质 | |
Guo | Ant colony optimization computing resource allocation algorithm based on cloud computing environment | |
Qasim et al. | Hunger games search: A scheduler for cloud computing | |
Sharma | Response time based balancing of load in web server clusters | |
Naik et al. | Developing a cloud computing data center virtual machine consolidation based on multi-objective hybrid fruit-fly cuckoo search algorithm | |
CN111858051B (zh) | 一种适合边缘计算环境的实时动态调度方法、系统和介质 | |
JESI et al. | LOAD BALANCING IN CLOUD COMPUTING VIA MAYFLY OPTIMIZATION ALGORITHM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |