CN110990160B - 一种基于负荷预测的静态安全分析容器云弹性伸缩方法 - Google Patents

一种基于负荷预测的静态安全分析容器云弹性伸缩方法 Download PDF

Info

Publication number
CN110990160B
CN110990160B CN201911378160.9A CN201911378160A CN110990160B CN 110990160 B CN110990160 B CN 110990160B CN 201911378160 A CN201911378160 A CN 201911378160A CN 110990160 B CN110990160 B CN 110990160B
Authority
CN
China
Prior art keywords
container
resource
load
prediction
security analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911378160.9A
Other languages
English (en)
Other versions
CN110990160A (zh
Inventor
何伊妮
宾灿
曹伟
龚舒
金朝意
陈根军
徐晓亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NR Engineering Co Ltd
Guangxi Power Grid Co Ltd
Original Assignee
NR Engineering Co Ltd
Guangxi Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NR Engineering Co Ltd, Guangxi Power Grid Co Ltd filed Critical NR Engineering Co Ltd
Priority to CN201911378160.9A priority Critical patent/CN110990160B/zh
Publication of CN110990160A publication Critical patent/CN110990160A/zh
Application granted granted Critical
Publication of CN110990160B publication Critical patent/CN110990160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公布了一种基于负荷预测的静态安全分析容器云弹性伸缩方法，包括：针对采用容器技术的电力系统静态安全分析计算，通过前一轮计算的云平台负荷数据预测下一轮次静态安全分析容器云计算负荷，按照预测结果进行容器动态创建的预先粗调；然后再根据下一时刻来临后容器的实际运行情况，若存在负荷低于设定阈值的容器，则将其释放；若已存在容器仍不能满足实际运行，则根据需要扩展的资源继续创建新的容器；同时新容器选择创建在负荷轻的计算节点；通过负荷预测的粗调和实际情况的细调，保证容器运算尽可能保持足够的运算资源和响应资源请求的及时性，同时新容器有目的创建在负荷轻的计算节点有助于实现总体计算的负载均衡。

Description

一种基于负荷预测的静态安全分析容器云弹性伸缩方法
技术领域
本发明涉及电力系统分析云计算领域，尤其涉及一种基于负荷预测的静态安全分析容器云弹性伸缩方法。
背景技术
随着大数据、云计算等软件技术的飞速发展，基于虚拟机集群的分布式软件运行环境构建方式资源开销大、耗时长、可伸缩性差等缺点逐渐显露，成为了降低软件运行效率和增加运维成本的一个重要原因，而具有高可伸缩性和高效率资源使用等优势的容器云环境为上述问题提供了优化方案。
容器云是以容器为资源分割和调度的基本单位，封装整个软件运行时环境，为开发者和系统管理者提供用于构建、发布和运行分布式应用的平台。基于容器云构建软件运行环境，与基于虚拟机集群方式相比，具有简化软件部署方式、优化管理运维模式和降低运维成本等优势。然而，容器云作为一种全新的云环境解决方案，在集群动态伸缩策略方面仍存在不足。集群的动态伸缩是指集群能够根据工作负载的变化动态地调整自身规模，从而调整其对外服务的能力。目前，容器云采用的是基于阈值的响应式伸缩策略，该策略只会对系统资源的实时情况进行响应，因而系统的伸缩调整往往会晚于工作负载的变化，导致服务质量不佳，用户体验较差。
发明内容
本发明的目的在于，提供一种基于负荷预测的静态安全分析容器云弹性伸缩方法，以解决容器云及时响应服务资源请求伸缩策略的问题。
为了达成上述目的，本发明采用的技术方案是：
一种基于负荷预测的静态安全分析容器云弹性伸缩方法，包括如下步骤：
步骤1：监测容器及计算节点服务器的负荷使用情况并设置容器资源使用的阈值上下限，形成时刻与容器云资源使用的关系曲线；
步骤2：根据前一轮次静态安全分析周期中时刻与容器云资源使用的关系曲线，采用资源使用预测模型，预测下一轮次静态安全分析周期中各时刻与资源使用之间的关系曲线；
步骤3：根据预测曲线中下一时刻的资源使用情况与当前资源使用情况的差值预先进行容器弹性伸缩的粗调；
步骤4：根据下一时刻来临时容器的实际运行情况，进行容器数目的细调。
进一步地，所述步骤1中具体包括：
步骤11：设定容器资源使用评估数值R＝R1*Q1+R2*Q2+R3*Q3，其中R1、R2、R3为容器CPU、内存和带宽的使用率，Q1、Q2、Q3为容器CPU、内存和带宽的使用率计算权重；
设容器资源使用阈值上限为kuR，容器资源使用阈值下限为kdR，其中ku、kd为阈值上下限系数值；
通过云平台监控系统，获取容器的实时的CPU、内存和带宽的使用率，通过计算得到容器资源使用评估数值；
步骤12：设定云平台计算节点服务器负荷评估数值R0＝R10*Q10+R20*Q20+R30*Q30，其中R10、R20、R30为计算节点服务器CPU、内存和带宽的使用率，Q10、Q20、Q30为计算节点服务器CPU、内存和带宽的使用率计算权重；
通过云平台监控系统，获取计算节点服务器的实时的CPU、内存和带宽的使用率，通过计算得到计算节点服务器负荷评估数值，并据此排序形成计算节点服务器序列。
进一步地，所述步骤2中具体包括：
步骤21：建立预测模型，采用自回归模型AR的预测模型，模型函数表示如下：
x(n)+a1x(n-1)+a2x(n-2)+…+apx(n-p)＝u(n)
其中，a1、a2、…、ap为系数，x(n)为预测样本序列第n个的值，x(n-p)为预测样本序列第(n-p)个的值，u(n)为某个资源的使用情况预测值；
采用最小二乘估计求解式中系数a1、a2、…、ap，得到预测模型；
步骤22：根据前一轮次静态安全分析周期中时刻与容器云资源使用的关系曲线，采用步骤21中的预测模型，预测下一轮次静态安全分析周期中各时刻与资源使用之间的关系曲线。
进一步地，所述步骤3中具体包括：
计算预测曲线中下一时刻的资源使用情况与当前资源使用情况的差值；
若预测曲线中下一时刻的资源使用情况大于当前资源的实际使用值，则需要新创建的容器个数N＝(两者的差值)/e，其中e为单个容器的持有资源，选择计算节点服务器中负荷最轻的计算节点服务器部署创建的新容器；
若预测曲线中下一时刻的资源使用情况小于当前资源的实际使用值，则需要释放的容器个数N′＝(两者的差值)/e，将运行容器中当前负荷最低的容器依次释放。
进一步地，所述步骤4中具体包括：根据下一时刻来临时容器的实际运行情况，若存在高于资源使用评估阈值上限的容器，则需要进行新容器创建，同时新容器选择创建在负荷最轻的计算节点服务器；若存在低于资源使用评估阈值下限的容器，则将其释放。
有益效果：本发明一种基于负荷预测的静态安全分析容器云弹性伸缩方法，通过负荷预测的粗调和实际情况的细调，在保证容器云充足计算资源的前提下尽可能地提高容器云系统响应资源请求的速度，同时新容器有目的创建在负荷轻的计算节点有助于实现总体计算的负载均衡。
附图说明
图1是一种基于负荷预测的静态安全分析容器云弹性伸缩方法流程图。
具体实施方式
图1所示为本发明的一种基于负荷预测的静态安全分析容器云弹性伸缩方法的一实施例的流程图，包括如下步骤：
步骤1：监测容器及计算节点服务器的负荷使用情况并设置容器资源使用的阈值上下限，形成时刻与容器云资源使用的关系曲线。
步骤2：根据前一轮次静态安全分析周期中时刻与容器云资源使用的关系曲线，采用资源使用预测模型，预测下一轮次静态安全分析周期中各时刻与资源使用之间的关系曲线。
步骤3：根据预测曲线中下一时刻的资源使用情况与当前资源使用情况的差值预先进行容器弹性伸缩的粗调。
步骤4：根据下一时刻来临时容器的实际运行情况，进行容器数目的细调。
监测容器及计算节点服务器的负荷使用情况的方法具体如下：
步骤11：设定容器资源使用评估数值R＝R1*Q1+R2*Q2+R3*Q3，其中R1、R2、R3为容器CPU、内存和带宽的使用率，Q1、Q2、Q3为容器CPU、内存和带宽的使用率计算权重，其数值根据实际运行需要进行设置。设容器资源使用阈值上限为kuR，容器资源使用阈值下限为kdR，其中ku、kd为阈值上下限系数值。当容器资源使用评估数值大于阈值上限时，则需要进行新容器创建；当容器资源使用评估数值小于阈值下限时，则需要进行容器的收缩。通过云平台监控系统，获取容器的实时的CPU、内存和带宽的使用率，通过计算得到容器资源使用评估数值。
步骤12：设定云平台计算节点服务器负荷评估数值R0＝R10*Q10+R20*Q20+R30*Q30，其中R10、R20、R30为计算节点服务器CPU、内存和带宽的使用率，Q10、Q20、Q30为计算节点服务器CPU、内存和带宽的使用率计算权重，其数值根据实际运行需要进行设置。通过云平台监控系统，获取计算节点服务器的实时的CPU、内存和带宽的使用率，通过计算得到计算节点服务器负荷评估数值，并据此排序形成计算节点服务器序列。本实施例中，按照数值由小到大的计算节点服务器序列RL。
基于前一轮次静态安全分析周期中时刻与容器云资源使用的关系曲线，采用资源使用预测模型，预测下一轮次静态安全分析周期中各时刻与资源使用之间的关系曲线的具体方法包括：
步骤21：建立预测模型，采用自回归模型AR的预测模型，模型函数表示如下：
x(n)+a1x(n-1)+a2x(n-2)+…+apx(n-p)＝u(n)
其中，a1、a2、…、ap为系数，x(n)为预测样本序列第n个的值，x(n-p)为预测样本序列第(n-p)个的值，u(n)为某个资源的使用情况预测值；
采用最小二乘估计求解式中系数a1、a2、…、ap，得到预测模型。
步骤22：根据前一轮次静态安全分析周期中时刻与容器云资源使用的关系曲线，采用步骤21中的预测模型，预测下一轮次静态安全分析周期中各时刻与资源使用之间的关系曲线。
根据预测曲线进行容器弹性伸缩的粗调的具体方法为：计算预测曲线中下一时刻的资源使用情况与当前资源使用情况的差值。若预测曲线中下一时刻的资源使用情况大于当前资源的实际使用值，则需要新创建的容器个数N＝(两者的差值)/e，其中e为单个容器的持有资源，选择计算节点服务器中负荷最轻的计算节点服务器部署创建的新容器；本实施例中选择计算节点服务器序列RL中第一位即负荷最轻的计算节点服务器部署创建的新容器。若预测曲线中下一时刻的资源使用情况小于当前资源的实际使用值，则需要释放的容器个数N′＝(两者的差值)/e，将运行容器中当前负荷最低的容器依次释放。
根据时容器的实际运行情况进行容器数目的细调的方法为：根据下一时刻来临时容器的实际运行情况，若存在高于资源使用评估阈值上限的容器，则需要进行新容器创建，同时新容器选择创建在负荷最轻的计算节点服务器；若存在低于资源使用评估阈值下限的容器，则将其释放。
通过负荷预测的预先粗调和根据实际情况的细调，在保证容器云充足计算资源的前提下尽可能地提高容器云系统响应资源请求的速度。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (3)

1.一种基于负荷预测的静态安全分析容器云弹性伸缩方法，其特征在于，包括：
步骤1：监测容器及计算节点服务器的负荷使用情况并设置容器资源使用阈值上下限，形成时刻与容器云资源使用的关系曲线；
步骤2：根据前一轮次静态安全分析周期中时刻与容器云资源使用的关系曲线，采用资源使用预测模型，预测下一轮次静态安全分析周期中各时刻与资源使用之间的关系曲线；
步骤3：根据预测曲线中下一时刻的资源使用情况与当前资源使用情况的差值预先进行容器弹性伸缩的粗调；具体包括：
计算预测曲线中下一时刻的资源使用情况与当前资源使用情况的差值；
若预测曲线中下一时刻的资源使用情况大于当前资源的实际使用值，则需要新创建的容器个数N＝(预测曲线中下一时刻的资源使用情况与当前资源使用情况的差值)/e，其中e为单个容器的持有资源，选择计算节点服务器中负荷最轻的计算节点服务器部署创建的新容器；
若预测曲线中下一时刻的资源使用情况小于当前资源的实际使用值，则需要释放的容器个数N′＝(预测曲线中下一时刻的资源使用情况与当前资源使用情况的差值)/e，将运行容器中当前负荷最低的容器依次释放；
步骤4：根据下一时刻来临时容器的实际运行情况，进行容器数目的细调，具体包括：根据下一时刻来临时容器的实际运行情况，若存在高于资源使用阈值上限的容器，则需要进行新容器创建，同时新容器选择创建在负荷最轻的计算节点服务器；若存在低于资源使用阈值下限的容器，则将其释放。
2.如权利要求1所述的基于负荷预测的静态安全分析容器云弹性伸缩方法，其特征在于，所述步骤1中具体包括：
步骤11：设定容器资源使用评估数值R＝R1*Q1+R2*Q2+R3*Q3，其中R1、R2、R3为容器CPU、内存和带宽的使用率，Q1、Q2、Q3为容器CPU、内存和带宽的使用率计算权重；
设容器资源使用阈值上限为kuR，容器资源使用阈值下限为kdR，其中ku、kd为阈值上下限系数值；
通过云平台监控系统，获取容器的实时的CPU、内存和带宽的使用率，通过计算得到容器资源使用评估数值；
步骤12：设定云平台计算节点服务器负荷评估数值R0＝R10*Q10+R20*Q20+R30*Q30，其中R10、R20、R30为计算节点服务器CPU、内存和带宽的使用率，Q10、Q20、Q30为计算节点服务器CPU、内存和带宽的使用率计算权重；
通过云平台监控系统，获取计算节点服务器的实时的CPU、内存和带宽的使用率，通过计算得到计算节点服务器负荷评估数值，并据此排序形成计算节点服务器序列。
3.如权利要求1所述的基于负荷预测的静态安全分析容器云弹性伸缩方法，其特征在于，所述步骤2中具体包括：
步骤21：建立预测模型，采用自回归模型AR的预测模型，模型函数表示如下：
x(n)+a1x(n-1)+a2x(n-2)+…+apx(n-p)＝u(n)
其中，a1、a2、…、ap为系数，x(n)为预测样本序列第n个的值，x(n-p)为预测样本序列第(n-p)个的值，u(n)为某个资源的使用情况预测值；
采用最小二乘估计求解式中系数a1、a2、…、ap，得到预测模型；
步骤22：根据前一轮次静态安全分析周期中时刻与容器云资源使用的关系曲线，采用步骤21中的预测模型，预测下一轮次静态安全分析周期中各时刻与资源使用之间的关系曲线。
CN201911378160.9A 2019-12-27 2019-12-27 一种基于负荷预测的静态安全分析容器云弹性伸缩方法 Active CN110990160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911378160.9A CN110990160B (zh) 2019-12-27 2019-12-27 一种基于负荷预测的静态安全分析容器云弹性伸缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911378160.9A CN110990160B (zh) 2019-12-27 2019-12-27 一种基于负荷预测的静态安全分析容器云弹性伸缩方法

Publications (2)

Publication Number Publication Date
CN110990160A CN110990160A (zh) 2020-04-10
CN110990160B true CN110990160B (zh) 2023-06-27

Family

ID=70078203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911378160.9A Active CN110990160B (zh) 2019-12-27 2019-12-27 一种基于负荷预测的静态安全分析容器云弹性伸缩方法

Country Status (1)

Country Link
CN (1) CN110990160B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112000479B (zh) * 2020-08-24 2022-11-25 辽宁省中科知产高新产业技术研究有限公司 一种基于大数据的处理方法、系统及服务器平台
CN112596995A (zh) * 2020-12-26 2021-04-02 中国农业银行股份有限公司 一种基于集群架构的容量确定方法及装置
CN115412449B (zh) * 2022-08-31 2024-02-27 西安交通大学 一种基于负载预测的容器动态伸缩方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106201718A (zh) * 2016-07-05 2016-12-07 北京邮电大学 一种基于负载预测的云计算资源动态伸缩方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220337B (zh) * 2013-03-22 2015-10-21 合肥工业大学 基于自适应弹性控制的云计算资源优化配置方法
CN105554102A (zh) * 2015-12-14 2016-05-04 中电科华云信息技术有限公司 基于容器集群的弹性伸缩方法及其应用系统
CN106961351A (zh) * 2017-03-03 2017-07-18 南京邮电大学 基于Docker容器集群的智能弹性伸缩方法
CN107045455B (zh) * 2017-06-19 2019-06-11 华中科技大学 一种基于负载预测的Docker Swarm集群资源调度优化方法
CN107562545A (zh) * 2017-09-11 2018-01-09 南京奥之云信息技术有限公司 一种基于Docker技术的容器调度方法
CN108182105B (zh) * 2017-12-12 2023-08-15 苏州大学 基于Docker容器技术的局部动态迁移方法及控制系统
CN108632365B (zh) * 2018-04-13 2020-11-27 腾讯科技（深圳）有限公司 服务资源调整方法、相关装置和设备
CN109144777A (zh) * 2018-07-27 2019-01-04 北京友普信息技术有限公司 一种基于Docker的异构虚拟计算灾备的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106201718A (zh) * 2016-07-05 2016-12-07 北京邮电大学 一种基于负载预测的云计算资源动态伸缩方法

Also Published As

Publication number Publication date
CN110990160A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110990160B (zh) 一种基于负荷预测的静态安全分析容器云弹性伸缩方法
Amini et al. Adaptive control of extreme-scale stream processing systems
Melhem et al. Markov prediction model for host load detection and VM placement in live migration
Stankovic et al. Feedback control scheduling in distributed real-time systems
CN103220337B (zh) 基于自适应弹性控制的云计算资源优化配置方法
WO2016119412A1 (zh) 一种云平台上的资源伸缩方法和一种云平台
CN107038071B (zh) 一种基于数据流预测的Storm任务伸缩调度算法
TWI725744B (zh) 透過多層次相關性建立系統資源預測及資源管理模型的方法
CN104065663A (zh) 一种基于混合云调度模型的自动伸缩、费用优化的内容分发服务方法
CN101593133A (zh) 虚拟机资源负载均衡方法及装置
CN102111337A (zh) 任务调度方法和系统
CN103338228A (zh) 基于双加权最小连接算法的云计算负载均衡调度算法
CN109617826A (zh) 一种基于布谷鸟搜索的storm动态负载均衡方法
CN1878090A (zh) 用于通过调节网络控制进行自动的系统管理的系统和方法
CN107220108B (zh) 一种实现云数据中心负载均衡的方法和系统
KR101886072B1 (ko) 분산 인 메모리 환경에서 실시간 스트림 데이터 처리를 위한 동적 잡 스케쥴링 시스템 및 방법
Li et al. Edge cloud resource expansion and shrinkage based on workload for minimizing the cost
Ma et al. Dynamic task scheduling in cloud computing based on greedy strategy
CN110442428B (zh) Docker容器的协调方法
Rolik et al. Dynamie management of data center resources using reinforcement learning
Tseng et al. An energy efficient vm management scheme with power-law characteristic in video streaming data centers
CN111199316A (zh) 一种基于执行时间评估的云雾协同计算电网调度方法
CN110569170A (zh) 服务器利用率的评价方法、装置、设备及其存储介质
Zhang et al. PRMRAP: A proactive virtual resource management framework in cloud
CN115858155A (zh) 一种算力网络平台的应用资源动态扩缩容方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant