CN113900827A - 一种智能运维系统中基于多因素关联的内存调整预测方法 - Google Patents

一种智能运维系统中基于多因素关联的内存调整预测方法 Download PDF

Info

Publication number
CN113900827A
CN113900827A CN202111487813.4A CN202111487813A CN113900827A CN 113900827 A CN113900827 A CN 113900827A CN 202111487813 A CN202111487813 A CN 202111487813A CN 113900827 A CN113900827 A CN 113900827A
Authority
CN
China
Prior art keywords
memory
cpu
time
requirement
adjusting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111487813.4A
Other languages
English (en)
Other versions
CN113900827B (zh
Inventor
刘东海
徐育毅
庞辉富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Youyun Software Co ltd
Beijing Guangtong Youyun Technology Co ltd
Original Assignee
Hangzhou Youyun Software Co ltd
Beijing Guangtong Youyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Youyun Software Co ltd, Beijing Guangtong Youyun Technology Co ltd filed Critical Hangzhou Youyun Software Co ltd
Priority to CN202111487813.4A priority Critical patent/CN113900827B/zh
Publication of CN113900827A publication Critical patent/CN113900827A/zh
Application granted granted Critical
Publication of CN113900827B publication Critical patent/CN113900827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出了一种智能运维系统中基于多因素关联的内存调整预测方法，包括步骤如下：（1）、通过常用的预测模型初步预测t时刻的内存需求；（2）、根据存储空间需求变化，对初步预测的内存进行调整；（3）、根据CPU占用率的平稳性来对当前内存需求进行调整。本发明的有益效果为：通过对硬盘、CPU占用率等其余因素的分析来预测和估计释放内存的应用是否已停止运行，本发明是其余内存分配方案（如内存弹性伸缩机制的基础），本发明将CPU和存储空间占用因素融入了内存预测方法。

Description

一种智能运维系统中基于多因素关联的内存调整预测方法
技术领域
本发明涉及，主要是一种智能运维系统中基于多因素关联的内存调整预测方法。
背景技术
在智能运维系统中，多类型的设备、多类型的应用并发运行，应用在运行过程中，有时候需要的资源多、有时候需要的资源少，当新的应用提交申请时，又需要给他分配新的资源。在所有的资源中，内存是一种较为特殊的资源类型，它在分配过程中通常需要考虑完整性。
当前，内存调整最常见的方法就是内存弹性伸缩机制，但是内存弹性伸缩方案大多从内存需求的预测出发，没有考虑到其他因素的影响。比如，CPU占用率波动大通常表示程序结束快，内存可以动态分配灵活。而CPU变化波动小通常表示有部分应用长期运行，不要轻易减少对应用的内存分配。例如，当一个应用程序在运行过程中需要开始需要10M内存，后面只需要2M内存，但是这个时候，剩余的8M内存也是该程序占用的，除非程序停止运行，否则这8M内存也无法分配给其他应用。所以，在内存的预测过程中，不能仅仅根据当前内存的需求来进行内存分配，还需要考虑释放内存的应用是否已停止运行。而应用是否已停止运行可以通过对硬盘、CPU占用率等其余因素的分析来预测和估计。
发明内容
本发明的目的在于克服现有技术存在的不足，而提供一种智能运维系统中基于多因素关联的内存调整预测方法。
本发明的目的是通过如下技术方案来完成的。一种智能运维系统中基于多因素关联的内存调整预测方法，包括步骤如下：
（1）、通过常用的预测模型初步预测t时刻的内存需求；
（2）、根据存储空间需求变化，对初步预测的内存进行调整；
（3）、根据CPU占用率的平稳性来对当前内存需求进行调整。
更进一步的，具体步骤如下：
第一步：在确定t时刻内存需求前
（2.1）、获取：t-n时刻、t-n+1时刻、……、t-1时刻的内存需求，记为nc(t-n)、nc(t-n+1)、……、nc(t-1)；
（2.2）、获取：t-2时刻存储空间需求，t-1时刻存储空间需求，记为cc(t-2)，cc(t-1)；
（2.3）、获取：t-n时刻、t-n+1时刻、t-2时刻、t-1时刻CPU占用率需求，记为CPU(t-n)，CPU(t-n+1），CPU(t-2)，CPU(t-1)；
第二步：通过常用的预测模型初步预测t时刻的内存需求，在模型中输入nc(t-n)、nc(t-n+1)、……nc(t-1)的序列，输出t时刻内存需求预测，记为nc(t)；
第三步：根据存储空间需求变化，对初步预测的内存进行调整，调整方法为：
（3.1）、若cc(t-1)/cc(t-2)> nc(t)/ nc(t-1)，则nc(t)=（cc(t-1)/ cc(t-2)+ nc(t)/ nc(t-1)）/2× nc(t-1)；
（3.1）、若cc(t-1)/cc(t-2) < nc(t)/ nc(t-1)，则nc(t)按第二步的计算不改变；
第四步：根据CPU占用率的平稳性来对当前内存需求进行调整，在第三步的基础上，
（4.1）、若x<|CPU(t-n)-CPU(t-n+1)|/ |CPU(t-2)-CPU(t-1)|<y，即CPU的波动在一定空间内，则nc(t)按第三步的计算不改变，x,y为经验系数；
（4.2）、否则，内存需求维持t-1时刻不变；
第五步：根据预测结果，调整t时刻的内存需求。
本发明的有益效果为：通过对硬盘、CPU占用率等其余因素的分析来预测和估计释放内存的应用是否已停止运行，本发明是其余内存分配方案（如内存弹性伸缩机制的基础），本发明将CPU和存储空间占用因素融入了内存预测方法。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面将结合附图对本发明做详细的介绍：
如图1所示，一种智能运维系统中基于多因素关联的内存调整预测方法，包括步骤如下：
（1）、通过常用的预测模型初步预测t时刻的内存需求；
（2）、根据存储空间需求变化，对初步预测的内存进行调整；
（3）、根据CPU占用率的平稳性来对当前内存需求进行调整。
具体步骤如下：
第一步：在确定t时刻内存需求前
（2.1）、获取：t-n时刻、t-n+1时刻、……、t-1时刻的内存需求，记为nc(t-n)、nc(t-n+1)、……、nc(t-1)；
（2.2）、获取：t-2时刻存储空间需求，t-1时刻存储空间需求，记为cc(t-2)，cc(t-1)；
（2.3）、获取：t-n时刻、t-n+1时刻、t-2时刻、t-1时刻CPU占用率需求，记为CPU(t-n)，CPU(t-n+1），CPU(t-2)，CPU(t-1)；
第二步：通过常用的预测模型初步预测t时刻的内存需求，通用预测模型中，支持向量机模型、XTboost通常会被用于求取预测结果，只要在这些模型中输入nc(t-n)、nc(t-n+1)、……nc(t-1)的序列，就会输出t时刻内存需求预测，记为nc(t)；
第三步：由于内存使用往往与存储空间密切相关，为此，内存的调整也参照存储空间调整，调整方法为：
（3.1）、若cc(t-1)/cc(t-2)> nc(t)/ nc(t-1)，则nc(t)=（cc(t-1)/ cc(t-2)+ nc(t)/ nc(t-1)）/2× nc(t-1)；
（3.1）、若cc(t-1)/cc(t-2) < nc(t)/ nc(t-1)，则nc(t)按第二步的计算不改变；
第四步：由于CPU占用率的变化通常能够反应出当前系统运行的平稳性，为此，需要根据CPU占用率的平稳性来对当前内存需求进行调整，在第三步的基础上，
（4.1）、若x<|CPU(t-n)-CPU(t-n+1)|/ |CPU(t-2)-CPU(t-1)|<y，即CPU的波动在一定空间内，则nc(t)按第三步的计算不改变，x,y为经验系数，通常由网管人员根据经验统一设定；
（4.2）、否则，内存需求维持t-1时刻不变；
第五步：根据预测结果，调整t时刻的内存需求。
可以理解的是，对本领域技术人员来说，对本发明的技术方案及发明构思加以等同替换或改变都应属于本发明所附的权利要求的保护范围。

Claims (2)

1.一种智能运维系统中基于多因素关联的内存调整预测方法，其特征在于：包括步骤如下：
（1）、通过预测模型初步预测t时刻的内存需求；
（2）、根据存储空间需求变化，对初步预测的内存进行调整；
（3）、根据CPU占用率的平稳性来对当前内存需求进行调整。
2.根据权利要求1所述的智能运维系统中基于多因素关联的内存调整预测方法，其特征在于：具体步骤如下：
第一步：在确定t时刻内存需求前
（2.1）、获取：t-n时刻、t-n+1时刻、……、t-1时刻的内存需求，记为nc(t-n)、nc(t-n+1)、……、nc(t-1)；
（2.2）、获取：t-2时刻存储空间需求，t-1时刻存储空间需求，记为cc(t-2)，cc(t-1)；
（2.3）、获取：t-n时刻、t-n+1时刻、t-2时刻、t-1时刻CPU占用率需求，记为CPU(t-n)，CPU(t-n+1），CPU(t-2)，CPU(t-1)；
第二步：通过预测模型初步预测t时刻的内存需求，在模型中输入nc(t-n)、nc(t-n+1)、……nc(t-1)的序列，输出t时刻内存需求预测，记为nc(t)；
第三步：根据存储空间需求变化，对初步预测的内存进行调整，调整方法为：
（3.1）、若cc(t-1)/cc(t-2)> nc(t)/ nc(t-1)，则nc(t)=（cc(t-1)/ cc(t-2)+ nc(t)/nc(t-1)）/2× nc(t-1)；
（3.1）、若cc(t-1)/cc(t-2) < nc(t)/ nc(t-1)，则nc(t)按第二步的计算不改变；
第四步：根据CPU占用率的平稳性来对当前内存需求进行调整，在第三步的基础上，
（4.1）、若x<|CPU(t-n)-CPU(t-n+1)|/ |CPU(t-2)-CPU(t-1)|<y，即CPU的波动在一定空间内，则nc(t)按第三步的计算不改变，x,y为经验系数；
（4.2）、否则，内存需求维持t-1时刻不变；
第五步：根据预测结果，调整t时刻的内存需求。
CN202111487813.4A 2021-12-08 2021-12-08 一种智能运维系统中基于多因素关联的内存调整预测方法 Active CN113900827B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111487813.4A CN113900827B (zh) 2021-12-08 2021-12-08 一种智能运维系统中基于多因素关联的内存调整预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111487813.4A CN113900827B (zh) 2021-12-08 2021-12-08 一种智能运维系统中基于多因素关联的内存调整预测方法

Publications (2)

Publication Number Publication Date
CN113900827A true CN113900827A (zh) 2022-01-07
CN113900827B CN113900827B (zh) 2022-03-15

Family

ID=79025511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111487813.4A Active CN113900827B (zh) 2021-12-08 2021-12-08 一种智能运维系统中基于多因素关联的内存调整预测方法

Country Status (1)

Country Link
CN (1) CN113900827B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375115A (zh) * 2016-08-30 2017-02-01 东软集团股份有限公司 资源分配方法及装置
US20180246744A1 (en) * 2014-11-24 2018-08-30 Amazon Technologies, Inc. Management of demand for virtual computing resources
CN109032914A (zh) * 2018-09-06 2018-12-18 掌阅科技股份有限公司 资源占用数据预测方法、电子设备、存储介质
CN111191113A (zh) * 2019-09-29 2020-05-22 西北大学 一种基于边缘计算环境的数据资源需求预测和调整方法
CN111913780A (zh) * 2020-07-15 2020-11-10 中国人民解放军陆军工程大学 云计算中的资源预测与调度方法
CN113268350A (zh) * 2021-06-07 2021-08-17 上海数禾信息科技有限公司 基于云的服务构建的资源分配方法、装置、计算机设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180246744A1 (en) * 2014-11-24 2018-08-30 Amazon Technologies, Inc. Management of demand for virtual computing resources
CN106375115A (zh) * 2016-08-30 2017-02-01 东软集团股份有限公司 资源分配方法及装置
CN109032914A (zh) * 2018-09-06 2018-12-18 掌阅科技股份有限公司 资源占用数据预测方法、电子设备、存储介质
CN111191113A (zh) * 2019-09-29 2020-05-22 西北大学 一种基于边缘计算环境的数据资源需求预测和调整方法
CN111913780A (zh) * 2020-07-15 2020-11-10 中国人民解放军陆军工程大学 云计算中的资源预测与调度方法
CN113268350A (zh) * 2021-06-07 2021-08-17 上海数禾信息科技有限公司 基于云的服务构建的资源分配方法、装置、计算机设备

Also Published As

Publication number Publication date
CN113900827B (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
KR20190070659A (ko) 컨테이너 기반의 자원 할당을 지원하는 클라우드 컴퓨팅 장치 및 방법
CN103309946A (zh) 多媒体文件处理方法、装置及系统
CN103714137B (zh) 一种数据文件的删除方法和系统
EP3932025B1 (en) Computing resource scheduling method, scheduler, internet of things system, and computer readable medium
US20150113167A1 (en) Optimized Consumption of Third-Party Web Services in a Composite Service
CN111966289A (zh) 基于Kafka集群的分区优化方法和系统
CN108632106A (zh) 监控服务设备的系统
CN114911598A (zh) 任务调度方法、装置、设备以及存储介质
CN107153680B (zh) 一种分布式内存数据库在线扩展节点的方法及系统
CN113658351B (zh) 一种产品生产的方法、装置、电子设备及存储介质
CN113900827B (zh) 一种智能运维系统中基于多因素关联的内存调整预测方法
CN108415765B (zh) 任务调度方法、装置及智能终端
CN106936905B (zh) 基于openstack的Nova组件虚拟机的调度方法及其调度系统
CN113312553A (zh) 一种用户标签的确定方法和装置
CN112416568A (zh) 音视频转码任务的时长预估方法和时长预估装置
CN109144676A (zh) 一种应用程序的自启动检测方法、装置及服务器
CN112214303A (zh) Kubernetes集群自动缩放系统
CN114090201A (zh) 资源调度方法、装置、设备及存储介质
US20130275598A1 (en) Method For Providing Resources In A Cloud, And Associated Apparatus
CN111984740B (zh) 业务数据表处理方法、装置、计算机设备和存储介质
CN114866563A (zh) 扩容方法、装置、系统和存储介质
JP2014147003A (ja) Ｉｃｔ資源管理装置
CN113129049B (zh) 用于模型训练和应用的文件配置方法和系统
CN114978903B (zh) 配置下发方法、装置、服务器及可读存储介质
CN116644047A (zh) 基于Spark的文件大小自适应处理方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant