CN106502868A - 一种适用于云计算的动态调整监测频率方法 - Google Patents

一种适用于云计算的动态调整监测频率方法 Download PDF

Info

Publication number
CN106502868A
CN106502868A CN201611015649.6A CN201611015649A CN106502868A CN 106502868 A CN106502868 A CN 106502868A CN 201611015649 A CN201611015649 A CN 201611015649A CN 106502868 A CN106502868 A CN 106502868A
Authority
CN
China
Prior art keywords
frequency
monitoring
monitoring frequency
current
variation coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611015649.6A
Other languages
English (en)
Other versions
CN106502868B (zh
Inventor
刘勇彬
杨松
季统凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
G Cloud Technology Co Ltd
Original Assignee
G Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by G Cloud Technology Co Ltd filed Critical G Cloud Technology Co Ltd
Priority to CN201611015649.6A priority Critical patent/CN106502868B/zh
Publication of CN106502868A publication Critical patent/CN106502868A/zh
Application granted granted Critical
Publication of CN106502868B publication Critical patent/CN106502868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/301—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is a virtual computing platform, e.g. logically partitioned systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及云计算技术领域，特别是指一种适用于云计算的动态调整监测频率方法。本发明方法是先设置监控频率相关参数，经财经样本后通过稳定变异系数公式计算出稳定变异系数；将稳定变异系数与频率调整阈值进行对比；根据对比结果决定是否增加、减少或维持监控频率；本发明解决了云计算中虚拟机各项资源监控频率的动态调整问题；可以用于虚拟机的监控。

Description

一种适用于云计算的动态调整监测频率方法
技术领域
本发明涉及云计算管理技术领域，特别是指一种适用于云计算的动态调整监测频率方法。
背景技术
随着云计算的发展，单个云平台的规模在逐渐的扩大，为了便于管理和运维，通常都会开发针对虚拟机的各项资源进行监控，比如CPU利用率、内存利用率、IO利用率等各项资源使用监控项；云平台会将每次的监控数据记录到数据库或者文件服务器以方便运维人员查阅。这些历史监控数据通常都能够让运维人员及时发现虚拟机的异常情况；但是随着虚拟机数量的增加，历史监控数据呈现爆发时的增长；特别是监控频率设置的比较高的时候，比如当云平台规模达到1万台，监控频率5s一次，每台虚拟机监控指标5项时，一分钟将产生60万条数据，一天就采集86400万条数据，这将给数据库服务器带来很大的压力，同时数据存储和维护将会存在很多问题，目前个别云厂家也提出以下解决方案：
1、调小监控频率，比如一个小时记录一次，从而降低采集数据量；
2、个别虚拟机不监控数据，个别网站等压力比较小的应用降低监控甚至不监控性能指标；
3、自定义监控频率，根据云平台的性能及存储能力，可自行调整监控的频率。
以上几种方式存在以下弊端：
1、调小监控频率方式容易采集无用数据，一般应用异常都是在60分钟以内性能会出现特殊的波动变化。
2、个别虚拟机不采集方式无法给运维人员提供虚拟机性能准确的信息。
3、自定义监控频率很难把控，没有明确的方法去判断什么时候应该设置什么样的频率，纯靠运维人员经验去判断，通常会导致无效设置。
发明内容
本发明解决的技术问题在于提供一种适用于云计算的动态调整监测频率方法，解决现在监控方法的不足，为云计算环境下虚拟机各项监控指标提供一个准确性高，可移植性好的解决方案。
本发明解决上述问题的技术方案是：
所述的方法是先设置监控频率相关参数，经财经样本后通过稳定变异系数公式计算出稳定变异系数；将稳定变异系数与频率调整阈值进行对比；根据对比结果决定是否增加、减少或维持监控频率。
所述方法包括如下步骤：
步骤1：设置各项监控频率相关参数；
步骤2：按照当前监控频率采集每个监控资源项样本数据集合；
步骤3：将数据集合导入稳定变异系数公式，计算出当前监控资源项稳定变异系数；
步骤4：获取稳定变异系数及频率调整阈值，对比当前稳定变异系数；
步骤5：若当前稳定变异系数超出阈值范围且当前频率加步长小于在频率范围内，则当前监控频率增加；
步骤6：若当前稳定变异系数低于阈值范围且当前频率加步长小于在频率范围内，则当前监控频率降少；
步骤7：若当前稳定变异系数处于阈值范围，则当前监控频率不变；
步骤8：开始进入下一轮样本采集。
所述的设置各项监控频率相关参数包括设置监控频率范围，频率调整阈值，每次调整步长，样本采集时长；
所述的设置监控频率范围，即设置最小监控频率及最大监控频率；
所述的监控频率，是指定期采集监控项数据的时间间隔；
所述的频率调整阈值，是指稳定变异系数范围阈值；
所述的稳定变异系数，是指通过稳定变异系数公式计算得出的数值，是动态监控频率调整的判断依据；
所述的每次调整步长，是指每次触发监控频率调整的时长，用秒来计算；
所述的样本采集时长，是指获取多长时间的样本，设置的越大，对于计算出来的稳定变异系数越准确。
所述的监控资源项，是指虚拟机的各项监控指标，比如CPU利用率、内存利用率、磁盘IO大小；所述的磁盘IO大小，是指虚拟机内部磁盘读写速率；
所述的样本数据集合，是指根据监控频率采集到的一组数据集合，该数据集合展现了在一段时间范围内，监控资源项指标的变化曲线。
所述的稳定变异系数公式，如下：
其中，是稳定变异系数，r是数据平均值，N是采集个数，xi是第i次采集数值。
根据采集的数据集合测量一定时间内监控项的离散程度，也即时当前一组数据波动的稳定性，当数值在一定时间内波动范围很小时，稳定变异系数就小，说明监控项指标比较平稳，采集的数据具有代表性，可以适当降低监控频率；当稳定变异系数大于1时，说明这组数据波动很大，说明被监控项异常，监控频率需要增加，采集更加详细数值，方便运维人员跟踪问题。
所述的当前频率加步长，是指增加后的监控频率，这里对比主要是增加后的监控频率不能超出频率范围。
本发明方法能够根据一段时间的采样数据，通过稳定变异计算公式；让云平台能够根据每一台虚拟机的实际监控需求动态调整监控频率，从而既能降低数据库服务器的压力，又能实现有效数据采集。本发明的方法自适应性好，能够根据每台虚拟机实际监控需要动态调整监控频率。本发明的方法准确性高，采用稳定变异系数方法，能够及时的调整当前监控频率，即降低了数据库压力又保证了数据采集的准确性。本发明的方法可移植性高，对于监控项多，监控频率过高的应用或者平台都可以采用这种方式动态调整监控频率。
附图说明
下面结合附图对本发明进一步说明：
图1为本发明的流程图；
图2为本发明的技术原理图。
具体实施方式
如图1、2所示，本发明具体实施过程如下：
步骤1：设置监控频率范围，频率调整阈值，每次调整步长，样本采集时长。
步骤2：按照当前监控频率采集每个监控资源项样本数据集合。
步骤3：将数据集合导入稳定变异系数公式，计算出当前监控资源项稳定变异系数。
稳定变异系数公式，如下：
其中，稳定变异系数数据平均值r，采集个数N，每次采集数值x。
步骤4：获取稳定变异系数及频率调整阈值，对比当前稳定变异系数。
步骤5：若当前稳定变异系数超出阈值范围且当前频率加步长小于在频率范围内，则当前监控频率增加。
步骤6：若当前稳定变异系数低于阈值范围且当前频率加步长小于在频率范围内，则当前监控频率降少。
步骤7：若当前稳定变异系数处于阈值范围，则当前监控频率不变。
步骤8：开始进入下一轮样本采集。

Claims (8)

1.一种适用于云计算的动态调整监测频率方法，其特征在于：所述的方法是先设置监控频率相关参数，经财经样本后通过稳定变异系数公式计算出稳定变异系数；将稳定变异系数与频率调整阈值进行对比；根据对比结果决定是否增加、减少或维持监控频率。
2.根据权利要求1所述的动态调整监测频率方法，其特征在于：所述方法包括如下步骤：
步骤1：设置各项监控频率相关参数；
步骤2：按照当前监控频率采集每个监控资源项样本数据集合；
步骤3：将数据集合导入稳定变异系数公式，计算出当前监控资源项稳定变异系数；
步骤4：获取稳定变异系数及频率调整阈值，对比当前稳定变异系数；
步骤5：若当前稳定变异系数超出阈值范围且当前频率加步长小于在频率范围内，则当前监控频率增加；
步骤6：若当前稳定变异系数低于阈值范围且当前频率加步长小于在频率范围内，则当前监控频率降少；
步骤7：若当前稳定变异系数处于阈值范围，则当前监控频率不变；
步骤8：开始进入下一轮样本采集。
3.根据权利要求2所述的动态调整监测频率方法，其特征在于：所述的设置各项监控频率相关参数包括设置监控频率范围，频率调整阈值，每次调整步长，样本采集时长；
所述的设置监控频率范围，即设置最小监控频率及最大监控频率；
所述的监控频率，是指定期采集监控项数据的时间间隔；
所述的频率调整阈值，是指稳定变异系数范围阈值；
所述的稳定变异系数，是指通过稳定变异系数公式计算得出的数值，是动态监控频率调整的判断依据；
所述的每次调整步长，是指每次触发监控频率调整的时长，用秒来计算；
所述的样本采集时长，是指获取多长时间的样本，设置的越大，对于计算出来的稳定变异系数越准确。
4.根据权利要求2所述的动态调整监测频率方法，其特征在于：所述的监控资源项，是指虚拟机的各项监控指标，比如CPU利用率、内存利用率、磁盘IO大小；所述的磁盘IO大小，是指虚拟机内部磁盘读写速率；
所述的样本数据集合，是指根据监控频率采集到的一组数据集合，该数据集合展现了在一段时间范围内，监控资源项指标的变化曲线。
5.根据权利要求3所述的动态调整监测频率方法，其特征在于：所述的监控资源项，是指虚拟机的各项监控指标，比如CPU利用率、内存利用率、磁盘IO大小；所述的磁盘IO大小，是指虚拟机内部磁盘读写速率；
所述的样本数据集合，是指根据监控频率采集到的一组数据集合，该数据集合展现了在一段时间范围内，监控资源项指标的变化曲线。
6.根据权利要求2至5任一项所述的动态调整监测频率方法，其特征在于：所述的稳定变异系数公式，如下：
∂ = 1 r × 1 N Σ i = 1 N ( x i - r ) 2
其中，是稳定变异系数，r是数据平均值，N是采集个数，xi是第i次采集数值。
7.根据权利要求2至5任一项所述的动态调整监测频率方法，其特征在于：所述的当前频率加步长，是指增加后的监控频率，这里对比主要是增加后的监控频率不能超出频率范围。
8.根据权利要求6所述的动态调整监测频率方法，其特征在于：所述的当前频率加步长，是指增加后的监控频率，这里对比主要是增加后的监控频率不能超出频率范围。
CN201611015649.6A 2016-11-18 2016-11-18 一种适用于云计算的动态调整监测频率方法 Active CN106502868B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611015649.6A CN106502868B (zh) 2016-11-18 2016-11-18 一种适用于云计算的动态调整监测频率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611015649.6A CN106502868B (zh) 2016-11-18 2016-11-18 一种适用于云计算的动态调整监测频率方法

Publications (2)

Publication Number Publication Date
CN106502868A true CN106502868A (zh) 2017-03-15
CN106502868B CN106502868B (zh) 2020-02-14

Family

ID=58324960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611015649.6A Active CN106502868B (zh) 2016-11-18 2016-11-18 一种适用于云计算的动态调整监测频率方法

Country Status (1)

Country Link
CN (1) CN106502868B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107222360A (zh) * 2017-05-24 2017-09-29 郑州云海信息技术有限公司 一种基于分布式集群的数据采集系统及方法
CN108449765A (zh) * 2018-03-27 2018-08-24 江苏中科羿链通信技术有限公司 自适应调节的节能监测方法
CN109165138A (zh) * 2018-08-01 2019-01-08 网宿科技股份有限公司 一种监控设备故障的方法和装置
CN109556232A (zh) * 2018-10-23 2019-04-02 珠海格力电器股份有限公司 四通阀异常检测方法、装置及空调机组
CN109672579A (zh) * 2017-10-16 2019-04-23 蔚来汽车有限公司 终端设备监测数据采集策略优化方法及装置
CN109682439A (zh) * 2018-12-14 2019-04-26 长虹美菱股份有限公司 一种洗衣机水位、水流速度及洗衣耗水量的监测方法
CN109889602A (zh) * 2019-03-13 2019-06-14 深信服科技股份有限公司 资源采集频率调整方法、装置、系统和存储介质
CN111338908A (zh) * 2020-03-10 2020-06-26 山东超越数控电子股份有限公司 一种基于bmc自动调整部件监控周期的方法
CN111882382A (zh) * 2020-06-30 2020-11-03 上海万位科技有限公司 基于数据和风险关联模型的共享汽车数据存储管理方法
CN114138617A (zh) * 2022-02-07 2022-03-04 杭州朗澈科技有限公司 自学习的变频监控方法、系统、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014159158A1 (en) * 2013-03-12 2014-10-02 Intel Corporation Layered virtual machine integrity monitoring
CN104461821A (zh) * 2014-11-03 2015-03-25 浪潮(北京)电子信息产业有限公司 一种虚拟机监控预警方法及系统
CN105472009A (zh) * 2015-12-18 2016-04-06 国云科技股份有限公司 一种适用于云平台资源自适应监控频率的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014159158A1 (en) * 2013-03-12 2014-10-02 Intel Corporation Layered virtual machine integrity monitoring
CN104461821A (zh) * 2014-11-03 2015-03-25 浪潮(北京)电子信息产业有限公司 一种虚拟机监控预警方法及系统
CN105472009A (zh) * 2015-12-18 2016-04-06 国云科技股份有限公司 一种适用于云平台资源自适应监控频率的方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107222360A (zh) * 2017-05-24 2017-09-29 郑州云海信息技术有限公司 一种基于分布式集群的数据采集系统及方法
EP3700135A4 (en) * 2017-10-16 2021-07-14 NIO (Anhui) Holding Co., Ltd. PROCESS AND APPARATUS FOR OPTIMIZING MONITORING DATA COLLECTION POLICY FOR A TERMINAL DEVICE
CN109672579A (zh) * 2017-10-16 2019-04-23 蔚来汽车有限公司 终端设备监测数据采集策略优化方法及装置
WO2019076209A1 (zh) * 2017-10-16 2019-04-25 蔚来汽车有限公司 终端设备监测数据采集策略优化方法及装置
CN108449765A (zh) * 2018-03-27 2018-08-24 江苏中科羿链通信技术有限公司 自适应调节的节能监测方法
CN109165138A (zh) * 2018-08-01 2019-01-08 网宿科技股份有限公司 一种监控设备故障的方法和装置
CN109165138B (zh) * 2018-08-01 2022-06-17 网宿科技股份有限公司 一种监控设备故障的方法和装置
CN109556232A (zh) * 2018-10-23 2019-04-02 珠海格力电器股份有限公司 四通阀异常检测方法、装置及空调机组
CN109682439A (zh) * 2018-12-14 2019-04-26 长虹美菱股份有限公司 一种洗衣机水位、水流速度及洗衣耗水量的监测方法
CN109889602B (zh) * 2019-03-13 2021-11-19 深信服科技股份有限公司 资源采集频率调整方法、装置、系统和存储介质
CN109889602A (zh) * 2019-03-13 2019-06-14 深信服科技股份有限公司 资源采集频率调整方法、装置、系统和存储介质
CN111338908A (zh) * 2020-03-10 2020-06-26 山东超越数控电子股份有限公司 一种基于bmc自动调整部件监控周期的方法
CN111882382A (zh) * 2020-06-30 2020-11-03 上海万位科技有限公司 基于数据和风险关联模型的共享汽车数据存储管理方法
CN114138617A (zh) * 2022-02-07 2022-03-04 杭州朗澈科技有限公司 自学习的变频监控方法、系统、电子设备和存储介质
CN114138617B (zh) * 2022-02-07 2022-05-24 杭州朗澈科技有限公司 自学习的变频监控方法、系统、电子设备和存储介质

Also Published As

Publication number Publication date
CN106502868B (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
CN106502868B (zh) 一种适用于云计算的动态调整监测频率方法
WO2021179572A1 (zh) 运维系统异常指标检测模型优化方法、装置及存储介质
WO2021212756A1 (zh) 指标异常分析方法、装置、电子设备及存储介质
US10229129B2 (en) Method and apparatus for managing time series database
US10891558B2 (en) Creation of metric relationship graph based on windowed time series data for anomaly detection
CN109947812B (zh) 连续缺失值填充方法、数据分析装置、终端及存储介质
CN101713997B (zh) 风力涡轮机的状态监测方法和系统
WO2019153487A1 (zh) 系统性能的度量方法、装置、存储介质和服务器
US20140096146A1 (en) Translating time-stamped events to performance indicators
US11740122B2 (en) Autonomous discrimination of operation vibration signals
CN116345700B (zh) 一种用于储能电站的能耗监测方法及监测系统
CN103902442A (zh) 一种云软件健康度评测方法及系统
EP4343554A1 (en) System monitoring method and apparatus
CN105912454A (zh) 一种系统健康评测方法及装置
CN109308589B (zh) 电网自动化数据质量监测方法、存储介质、终端设备和系统
CN110519266A (zh) 一种基于统计学方法的cc攻击检测的方法
WO2021061090A1 (en) Time-series anomaly detection using an inverted index
CN107656851A (zh) 一种基于部件能耗模型的云服务器能耗测算方法及系统
WO2017127260A1 (en) System and method for allocating machine behavioral models
CN117574180B (zh) 燃料生产排放系统数据关联性控制管理系统
CN111966733B (zh) 热点知识生成方法及装置
CN104641370A (zh) 时序数据蓄积装置
CN111274112B (zh) 应用程序压测方法、装置、计算机设备和存储介质
JP2008108154A (ja) 稼働性能情報の管理システム
CN109344025B (zh) Cpu性能自监控方法及服务器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 523808 19th Floor, Cloud Computing Center, Chinese Academy of Sciences, No. 1 Kehui Road, Songshan Lake Hi-tech Industrial Development Zone, Dongguan City, Guangdong Province

Applicant after: G-Cloud Technology Co., Ltd.

Address before: 523808 Guangdong province Dongguan City Songshan Lake Science and Technology Industrial Park Building No. 14 Keyuan pine

Applicant before: G-Cloud Technology Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant