CN112001116A - 一种云资源容量预测方法及装置 - Google Patents

一种云资源容量预测方法及装置 Download PDF

Info

Publication number
CN112001116A
CN112001116A CN202010692857.XA CN202010692857A CN112001116A CN 112001116 A CN112001116 A CN 112001116A CN 202010692857 A CN202010692857 A CN 202010692857A CN 112001116 A CN112001116 A CN 112001116A
Authority
CN
China
Prior art keywords
sample data
cloud platform
historical sample
rate
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010692857.XA
Other languages
English (en)
Inventor
杨太翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Big Data Technologies Co Ltd
Original Assignee
New H3C Big Data Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Big Data Technologies Co Ltd filed Critical New H3C Big Data Technologies Co Ltd
Priority to CN202010692857.XA priority Critical patent/CN112001116A/zh
Publication of CN112001116A publication Critical patent/CN112001116A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及云平台管理技术领域，特别涉及一种云资源容量预测方法及装置。该方法包括：采集云平台的云资源使用信息，并基于预设的周期将各周期采集到的云资源使用信息作为历史样本数据，其中，各云资源使用信息均携带其对应的时间戳信息；在确定采集到历史样本数据的周期数满足预设条件时，基于所述预设的周期对所述历史样本数据进行预处理，得到处理后的历史样本数据；基于所述处理后的历史样本数据，采用预设的Prophet时间序列模型进行预测处理，得到后续若干周期内云平台的云资源使用信息。

Description

一种云资源容量预测方法及装置
技术领域
本申请涉及云平台管理技术领域，特别涉及一种云资源容量预测方法及装置。
背景技术
随着云计算的快速发展，OpenStack云平台的实施规模和用户群体逐渐增大。OpenStack是一个开源的云计算管理平台项目，支持几乎所有类型的云环境，能够提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。
对于企业客户使用自建的OpenStack商业化私有云平台而言，云资源(包括云存储容量、CPU资源、内存资源)的使用趋势是一大关注点，客户应用系统都会对底层软、硬件造成负荷，显著影响应用系统性能，底层任何一种资源负载过大，都可能会引起应用系统性能下降甚至瘫痪。所以及时了解当前云平台存储容量、CPU和内存等云资源的使用情况数据和未来趋势，避免应用系统因出现云资源容量耗尽的情况而导致应用系统负载率过高，最终引发应用系统故障。
发明内容
本申请提供一种云资源容量预测方法及装置，用以解决现有技术中存在的无法监控云平台资源容量使用情况而导致平台负载率过高的问题。
第一方面，本申请实施例提供了一种云资源容量预测方法，所述方法包括：
采集云平台的云资源使用信息，并基于预设的周期将各周期采集到的云资源使用信息作为历史样本数据，其中，各云资源使用信息均携带其对应的时间戳信息；
在确定采集到历史样本数据的周期数满足预设条件时，基于所述预设的周期对所述历史样本数据进行预处理，得到处理后的历史样本数据；
基于所述处理后的历史样本数据，采用预设的Prophet时间序列模型进行预测处理，得到后续若干周期内云平台的云资源使用信息。
可选地，所述云资源使用信息包括：云平台总体存储容量使用量，总体虚拟CPU使用率和总体虚拟内存使用率，以及各租户存储容量使用量，虚拟CPU使用率和虚拟内存使用率。
可选地，所述基于所述预设的周期对所述历史样本数据进行预处理，得到处理后的历史样本数据的步骤包括：
获取各周期分别对应的历史样本数据，并将该历史样本数据中各维度参数中的零值填充为该维度参数对应的参考值，以及将该历史样本数据中缺失时间的值丢弃。
可选地，所述基于所述预设的周期对所述历史样本数据进行预处理，得到处理后的历史样本数据的步骤还包括：
在所述云资源使用信息为云平台总体存储容量使用量或各租户存储容量使用量时，将各周期中指定采样点采集到的当前存储容量使用量作为该周期的样本值；
在所述云资源使用信息为云平台总体虚拟CPU使用率或总体虚拟内存使用率，各租户虚拟CPU使用率或虚拟内存使用率时，将各周期中采集到的虚拟CPU使用率或虚拟内存使用率的最大值作为该周期的对应参数的样本值。
可选地，所述方法还包括：
在本地展示当前周期预测得到的后续若干周期内云平台总体存储容量，云平台总体虚拟CPU使用率和云平台总体虚拟内存使用率，以及各租户分别对应的存储容量使用量，虚拟CPU使用率和虚拟内存使用率；或者，
在本地展示当前周期预测得到的后续若干周期内云平台总体存储容量，云平台总体虚拟CPU使用率和云平台总体虚拟内存使用率，并将当前周期预测得到的后续若干周期内各租户分别的存储容量使用量，虚拟CPU使用率和虚拟内存使用率发送至分别发送至对应租户，以使得各租户在本地展示预测得到的若干周期内自身对应的存储容量使用量，虚拟CPU使用率和虚拟内存使用率。
第二方面，本申请提供了一种云资源容量预测装置，所述装置包括：
采集单元，用于采集云平台的云资源使用信息，并基于预设的周期将各周期采集到的云资源使用信息作为历史样本数据，其中，各云资源使用信息均携带其对应的时间戳信息；
处理单元，用于在确定采集到历史样本数据的周期数满足预设条件时，基于所述预设的周期对所述历史样本数据进行预处理，得到处理后的历史样本数据；
预测单元，用于基于所述处理后的历史样本数据，采用预设的Prophet时间序列模型进行预测处理，得到后续若干周期内云平台的云资源使用信息。
可选地，所述云资源使用信息包括：云平台总体存储容量使用量，总体虚拟CPU使用率和总体虚拟内存使用率，以及各租户存储容量使用量，虚拟CPU使用率和虚拟内存使用率。
可选地，所述基于所述预设的周期对所述历史样本数据进行预处理，得到处理后的历史样本数据时，所述处理单元具体用于：
获取各周期分别对应的历史样本数据，并将该历史样本数据中各维度参数中的零值填充为该维度参数对应的参考值，以及将该历史样本数据中缺失时间的值丢弃。
可选地，所述基于所述预设的周期对所述历史样本数据进行预处理，得到处理后的历史样本数据时，所述处理单元还用于：
在所述云资源使用信息为云平台总体存储容量使用量或各租户存储容量使用量时，将各周期中指定采样点采集到的当前存储容量使用量作为该周期的样本值；
在所述云资源使用信息为云平台总体虚拟CPU使用率或总体虚拟内存使用率，各租户虚拟CPU使用率或虚拟内存使用率时，将各周期中采集到的虚拟CPU使用率或虚拟内存使用率的最大值作为该周期的对应参数的样本值。
可选地，所述装置还包括：
展示单元，用于在本地展示当前周期预测得到的后续若干周期内云平台总体存储容量，云平台总体虚拟CPU使用率和云平台总体虚拟内存使用率，以及各租户分别对应的存储容量使用量，虚拟CPU使用率和虚拟内存使用率；或者，
所述展示单元，用于在本地展示当前周期预测得到的后续若干周期内云平台总体存储容量，云平台总体虚拟CPU使用率和云平台总体虚拟内存使用率，发送单元，用于将当前周期预测得到的后续若干周期内各租户分别的存储容量使用量，虚拟CPU使用率和虚拟内存使用率发送至分别发送至对应租户，以使得各租户在本地展示预测得到的若干周期内自身对应的存储容量使用量，虚拟CPU使用率和虚拟内存使用率。
第三方面，本申请实施例提供了一种计算设备，该计算设备包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行如上述第一方面中任一项所述的方法的步骤。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行如上述第一方面中任一项所述方法的步骤。
综上可知，本申请实施例提供的云资源容量预测方法，采集云平台的云资源使用信息，并基于预设的周期将各周期采集到的云资源使用信息作为历史样本数据，其中，各云资源使用信息均携带其对应的时间戳信息；在确定采集到历史样本数据的周期数满足预设条件时，基于所述预设的周期对所述历史样本数据进行预处理，得到处理后的历史样本数据；基于所述处理后的历史样本数据，采用预设的Prophet时间序列模型进行预测处理，得到后续若干周期内云平台的云资源使用信息。
采用本申请实施例提供的云资源容量预测方法，基于采集到的云平台的云资源(包括云平台的总体云资源，各租户的云资源)的使用情况，结合Prophet时间序列模型的机器学习算法进行准确的数值分析，预测出未来若干周期内云平台云资源的预测数据，总体资源预测数据成为云管理员的资源扩容、采购预算以及硬件选型的基础，实现企业级OpenStack云平台资源全面预测评估和智能化管理，租户级资源的预测数据可触发云平台实现租户配额自动化扩容，保障用户核心应用稳定运行。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。
图1为本申请实施例提供的一种云资源容量预测方法的详细流程图；
图2为本申请实施例提供的一种存储容量数据采集的过程示意图；
图3为本申请实施例提供的一种云资源容量预测处理和控制管理的过程示意图；
图4为本申请实施例提供的一种云资源容量预测装置的结构示意图；
图5为本申请实施例提供的另一种云资源容量预测装置的结构示意图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
示例性的，参阅图1所示，为本申请实施例提供的一种云资源容量预测方法的详细流程图，该方法包括以下步骤：
步骤100：采集云平台的云资源使用信息，并基于预设的周期将各周期采集到的云资源使用信息作为历史样本数据，其中，各云资源使用信息均携带其对应的时间戳信息。
本申请实施例中，一种较佳地实现方式为，所述云资源使用信息包括：云平台总体存储容量使用量，总体虚拟CPU使用率和总体虚拟内存使用率，以及各租户存储容量使用量，虚拟CPU使用率和虚拟内存使用率。
具体地，云平台服务端可以定时采集获取云平台的总体存储容量，虚拟化CPU、虚拟化内存，以及云平台各租户的存储容量、虚拟化CPU、虚拟化内存等云资源使用情况，对采集到的各维度的云资源使用情况进行序列化处理，并插入到对应的数据库表中，其中，支持不同类型资源(存储容量类型，虚拟CPU类型和虚拟内容类型)进行分类维护，且不同用户(云平台总体数据，各租户分别对应的数据)的数据进行分类维护。
例如，假设历史样本数据对应的时间维度为1天，即每一天对应一个历史样本数据，云平台服务端每隔1小时采集一次云平台的各维度的云资源使用情况，并将当天(00:00-23:00)采集到的多组数据作为当天的历史样本数据。
下面，结合具体应用场景对本申请提供的存储容量数据采集过程进行详细说明。示例性的，参阅图2所示，为本申请实施例提供的一种存储容量数据采集的过程示意图，具体包括以下步骤：
步骤1：定时调用云平台接口序列化当前存储容量数据。
具体地，数据采集模块每隔1小时调用OpenStack云平台服务端的接口，以使得云平台服务端从存储业务模块获取当前存储容量数据。
步骤2：调用云存储业务模块接口获取当前存储使用情况序列化数据。
具体地，云平台服务端调用存储业务模块接口，获取存储业务模块当前存储的使用情况(如，已使用多少容量)。
步骤3：返回当前存储使用情况序列化数据。
具体地，存储业务模块箱云平台服务端反馈当前存储使用情况，当然，每一次反馈的该数据均携带有时间戳信息。
步骤4：返回存储使用情况序列化数据至采集模块。
步骤5：将采集到的数据插入数据库表。
步骤110：在确定采集到历史样本数据的周期数满足预设条件时，基于上述预设的周期对上述历史样本数据进行预处理，得到处理后的历史样本数据。
实际应用中，当历史样本数据足够多时(如，历史样本数据大于或等于60时，即采样天数大于或等于60天时)，才能准确的根据历史样本数据，采用预测模块进行预测。当然，在采用预测模型进行预测之前，需要对各历史样本数据进行预处理。
本申请实施例中，在基于上述预设的周期对上述历史样本数据进行预处理，得到处理后的历史样本数据时，一种较佳地实现方式为，获取各周期分别对应的历史样本数据，并将该历史样本数据中各维度参数中的零值填充为该维度参数对应的参考值，以及将该历史样本数据中缺失时间的值丢弃。
也就是说，从存储历史样本数据的数据库表中获取各历史样本数据，并针对每一历史样本数据分别执行以下操作：对历史样本数据进行数据合并和线性差值的预处理，即，1、将确定出历史样本数据中为零值的各维度参数(如，X月Y日12点采集到的租户1的虚拟CPU使用率为0等)，并将该历史样本维度参数填充为参考值，其中，该参考值是根据采集到的租户1的各历史虚拟CPU使用率确定的，将值为零的各参数填充为对应的参考值，可以使得历史样本数据更贴合实际情况，那么，后续采用历史样本数据进行预测时，预测结果也更准确；2、将缺失日期的各维度参数丢弃，即将不携带时间戳信息的参数丢弃。
本申请实施例中，依次对各未进行预处理的原始的历史样本数据进行预处理，得到各历史样本数据分别对应的处理后的历史样本数据。
进一步地，本申请实施例中，在对各历史样本数据进行预处理，得到各历史样本数据分别对应的处理后的历史样本数据之后，还可以进行如下处理：
a、在所述云资源使用信息为云平台总体存储容量使用量或各租户存储容量使用量时，将各周期中指定采样点采集到的当前存储容量使用量作为该周期的样本值；
b、在所述云资源使用信息为云平台总体虚拟CPU使用率或总体虚拟内存使用率，各租户虚拟CPU使用率或虚拟内存使用率时，将各周期中采集到的虚拟CPU使用率或虚拟内存使用率的最大值作为该周期的对应参数的样本值。
例如，仍以上述实施例提供的历史样本数据对应的时间维度为1天，即每一天对应一个历史样本数据，云平台服务端每隔1小时采集一次云平台的各维度的云资源使用情况为例进行说明，针对X月Y日对应的历史样本数据中包括的云平台总体存储容量使用量，总体虚拟CPU使用率和总体虚拟内存使用率，以及各租户存储容量使用量，虚拟CPU使用率和虚拟内存使用率而言，每一维度均采集有24个数据，那么，针对每一维度参数，需确定出一个标准值，用于后续预测模型使用。针对存储容量使用量而言，本申请实施例中，可以将每天23点采集到的数据作为标准值，当然，也可以是当天其它时间点采集到的数据作为标准值，在此不做具体限定；针对虚拟CPU使用率或虚拟内容使用率而言，本申请实施例中，将每天采集到的多个数据中的最大值作为标准值。
综上可知，本申请实施例中，后续预测模型所使用的历史样本数据，指的是仅包括各维度参数对应的标准值的数据。
步骤120：基于上述处理后的历史样本数据，采用预设的Prophet时间序列模型进行预测处理，得到后续若干周期内云平台的云资源使用信息。
实际应用中，一种较佳地实现方式为，程序调用Prophet时间序列模型对上述包括各维度参数对应的标准值的数据进行预测处理，获取预测数据，若不是第一次进行预测，则清除前一次的历史预测数据，在数据库表中插入当前的生效预测数据，进一步地，云平台还可以从数据库表获得预测数据实现页面展示。
下面，结合具体应用场景对本申请提供的云资源容量预测处理和控制管理过程进行详细说明。示例性的，参阅图3所示，为本申请实施例一种云资源容量预测处理和控制管理的过程示意图，具体包括以下步骤：
步骤1：预测模块每天定时触发执行预测程序，读取数据库表中的历史数据，基于Prophet模型算出未来90天预测数据。
步骤2：清理前一天预测数据，插入当天有效预测数据。
步骤3：云平台服务端查询数据库表。
步骤4：数据库表向云平台返回预测数据，以便云平台进行控制预警。
步骤5：云平台调用nova quota的接口针对预警的云资源实现OpenStack quotas表的修改扩容。
步骤6：云平台向前端返回云资源使用预警情况。
进一步地，前端可以进行预警情况展示。
具体地，对于云平台总体资源预测告警，由于实际应用中，虚拟CPU和物理CPU配比3:1，虚拟内存和物理内存的配比是2:1，当预测出的云平台总体云资源中任一维度资源的使用情况超过设定阈值时，即可在云平台前端可提示云管理员进行物理资源的扩容和采购预算计划等措施。
而对于各租户级的预警数据项，云平台服务端调用nova quota的接口实现quotas表的修改扩容，可以实现虚拟CPU、虚拟内存、存储容量等资源的自动扩容。
例如，云平台在本地展示当前周期预测得到的后续若干周期内云平台总体存储容量，云平台总体虚拟CPU使用率和云平台总体虚拟内存使用率，以及各租户分别对应的存储容量使用量，虚拟CPU使用率和虚拟内存使用率。
又例如，云平台在本地展示当前周期预测得到的后续若干周期内云平台总体存储容量，云平台总体虚拟CPU使用率和云平台总体虚拟内存使用率，并将当前周期预测得到的后续若干周期内各租户分别的存储容量使用量，虚拟CPU使用率和虚拟内存使用率发送至分别发送至对应租户，以使得各租户在本地展示预测得到的若干周期内自身对应的存储容量使用量，虚拟CPU使用率和虚拟内存使用率。
示例性的，参阅图4所示，为本申请提供的一种云资源容量预测装置的结构示意图，该云资源容量预测装置至少包括采集单元40，处理单元41和预测单元42：
采集单元40，用于采集云平台的云资源使用信息，并基于预设的周期将各周期采集到的云资源使用信息作为历史样本数据，其中，各云资源使用信息均携带其对应的时间戳信息；
处理单元41，用于在确定采集到历史样本数据的周期数满足预设条件时，基于所述预设的周期对所述历史样本数据进行预处理，得到处理后的历史样本数据；
预测单元42，用于基于所述处理后的历史样本数据，采用预设的Prophet时间序列模型进行预测处理，得到后续若干周期内云平台的云资源使用信息。
可选地，所述云资源使用信息包括：云平台总体存储容量使用量，总体虚拟CPU使用率和总体虚拟内存使用率，以及各租户存储容量使用量，虚拟CPU使用率和虚拟内存使用率。
可选地，所述基于所述预设的周期对所述历史样本数据进行预处理，得到处理后的历史样本数据时，处理单元41具体用于：
获取各周期分别对应的历史样本数据，并将该历史样本数据中各维度参数中的零值填充为该维度参数对应的参考值，以及将该历史样本数据中缺失时间的值丢弃。
可选地，所述基于所述预设的周期对所述历史样本数据进行预处理，得到处理后的历史样本数据时，处理单元41还用于：
在所述云资源使用信息为云平台总体存储容量使用量或各租户存储容量使用量时，将各周期中指定采样点采集到的当前存储容量使用量作为该周期的样本值；
在所述云资源使用信息为云平台总体虚拟CPU使用率或总体虚拟内存使用率，各租户虚拟CPU使用率或虚拟内存使用率时，将各周期中采集到的虚拟CPU使用率或虚拟内存使用率的最大值作为该周期的对应参数的样本值。
可选地，所述装置还包括：
展示单元，用于在本地展示当前周期预测得到的后续若干周期内云平台总体存储容量，云平台总体虚拟CPU使用率和云平台总体虚拟内存使用率，以及各租户分别对应的存储容量使用量，虚拟CPU使用率和虚拟内存使用率；或者，
所述展示单元，用于在本地展示当前周期预测得到的后续若干周期内云平台总体存储容量，云平台总体虚拟CPU使用率和云平台总体虚拟内存使用率，发送单元，用于将当前周期预测得到的后续若干周期内各租户分别的存储容量使用量，虚拟CPU使用率和虚拟内存使用率发送至分别发送至对应租户，以使得各租户在本地展示预测得到的若干周期内自身对应的存储容量使用量，虚拟CPU使用率和虚拟内存使用率。
以上这些单元可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个单元通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些单元可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
综上可知，本申请实施例提供的云资源容量预测方法，采集云平台的云资源使用信息，并基于预设的周期将各周期采集到的云资源使用信息作为历史样本数据，其中，各云资源使用信息均携带其对应的时间戳信息；在确定采集到历史样本数据的周期数满足预设条件时，基于所述预设的周期对所述历史样本数据进行预处理，得到处理后的历史样本数据；基于所述处理后的历史样本数据，采用预设的Prophet时间序列模型进行预测处理，得到后续若干周期内云平台的云资源使用信息。
采用本申请实施例提供的云资源容量预测方法，基于采集到的云平台的云资源(包括云平台的总体云资源，各租户的云资源)的使用情况，结合Prophet时间序列模型的机器学习算法进行准确的数值分析，预测出未来若干周期内云平台云资源的预测数据，总体资源预测数据成为云管理员的资源扩容、采购预算以及硬件选型的基础，实现企业级OpenStack云平台资源全面预测评估和智能化管理，租户级资源的预测数据可触发云平台实现租户配额自动化扩容，保障用户核心应用稳定运行。
进一步地，本申请实施例提供的云资源容量预测装置，从硬件层面而言，所述云资源容量预测装置的硬件架构示意图可以参见图5所示，所述云资源容量预测装置可以包括：存储器50和处理器51，
存储器50用于存储程序指令；处理器51调用存储器50中存储的程序指令，按照获得的程序指令执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
可选地，本申请还提供一种元数据备份装置，包括用于执行上述方法实施例的至少一个处理元件(或芯片)。
可选地，本申请还提供一种程序产品，例如计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令用于使该计算机执行上述方法实施例。
这里，机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(RadomAccess Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种云资源容量预测方法，其特征在于，所述方法包括：
采集云平台的云资源使用信息，并基于预设的周期将各周期采集到的云资源使用信息作为历史样本数据，其中，各云资源使用信息均携带其对应的时间戳信息；
在确定采集到历史样本数据的周期数满足预设条件时，基于所述预设的周期对所述历史样本数据进行预处理，得到处理后的历史样本数据；
基于所述处理后的历史样本数据，采用预设的Prophet时间序列模型进行预测处理，得到后续若干周期内云平台的云资源使用信息。
2.如权利要求1所述的方法，其特征在于，
所述云资源使用信息包括：云平台总体存储容量使用量，总体虚拟CPU使用率和总体虚拟内存使用率，以及各租户存储容量使用量，虚拟CPU使用率和虚拟内存使用率。
3.如权利要求2所述的方法，其特征在于，所述基于所述预设的周期对所述历史样本数据进行预处理，得到处理后的历史样本数据的步骤包括：
获取各周期分别对应的历史样本数据，并将该历史样本数据中各维度参数中的零值填充为该维度参数对应的参考值，以及将该历史样本数据中缺失时间的值丢弃。
4.如权利要求3所述的方法，其特征在于，所述基于所述预设的周期对所述历史样本数据进行预处理，得到处理后的历史样本数据的步骤还包括：
在所述云资源使用信息为云平台总体存储容量使用量或各租户存储容量使用量时，将各周期中指定采样点采集到的当前存储容量使用量作为该周期的样本值；
在所述云资源使用信息为云平台总体虚拟CPU使用率或总体虚拟内存使用率，各租户虚拟CPU使用率或虚拟内存使用率时，将各周期中采集到的虚拟CPU使用率或虚拟内存使用率的最大值作为该周期的对应参数的样本值。
5.如权利要求2所述的方法，其特征在于，所述方法还包括：
在本地展示当前周期预测得到的后续若干周期内云平台总体存储容量，云平台总体虚拟CPU使用率和云平台总体虚拟内存使用率，以及各租户分别对应的存储容量使用量，虚拟CPU使用率和虚拟内存使用率；或者，
在本地展示当前周期预测得到的后续若干周期内云平台总体存储容量，云平台总体虚拟CPU使用率和云平台总体虚拟内存使用率，并将当前周期预测得到的后续若干周期内各租户分别的存储容量使用量，虚拟CPU使用率和虚拟内存使用率发送至分别发送至对应租户，以使得各租户在本地展示预测得到的若干周期内自身对应的存储容量使用量，虚拟CPU使用率和虚拟内存使用率。
6.一种云资源容量预测装置，其特征在于，所述装置包括：
采集单元，用于采集云平台的云资源使用信息，并基于预设的周期将各周期采集到的云资源使用信息作为历史样本数据，其中，各云资源使用信息均携带其对应的时间戳信息；
处理单元，用于在确定采集到历史样本数据的周期数满足预设条件时，基于所述预设的周期对所述历史样本数据进行预处理，得到处理后的历史样本数据；
预测单元，用于基于所述处理后的历史样本数据，采用预设的Prophet时间序列模型进行预测处理，得到后续若干周期内云平台的云资源使用信息。
7.如权利要求6所述的装置，其特征在于，
所述云资源使用信息包括：云平台总体存储容量使用量，总体虚拟CPU使用率和总体虚拟内存使用率，以及各租户存储容量使用量，虚拟CPU使用率和虚拟内存使用率。
8.如权利要求7所述的装置，其特征在于，所述基于所述预设的周期对所述历史样本数据进行预处理，得到处理后的历史样本数据时，所述处理单元具体用于：
获取各周期分别对应的历史样本数据，并将该历史样本数据中各维度参数中的零值填充为该维度参数对应的参考值，以及将该历史样本数据中缺失时间的值丢弃。
9.如权利要求8所述的装置，其特征在于，所述基于所述预设的周期对所述历史样本数据进行预处理，得到处理后的历史样本数据时，所述处理单元还用于：
在所述云资源使用信息为云平台总体存储容量使用量或各租户存储容量使用量时，将各周期中指定采样点采集到的当前存储容量使用量作为该周期的样本值；
在所述云资源使用信息为云平台总体虚拟CPU使用率或总体虚拟内存使用率，各租户虚拟CPU使用率或虚拟内存使用率时，将各周期中采集到的虚拟CPU使用率或虚拟内存使用率的最大值作为该周期的对应参数的样本值。
10.如权利要求7所述的装置，其特征在于，所述装置还包括：
展示单元，用于在本地展示当前周期预测得到的后续若干周期内云平台总体存储容量，云平台总体虚拟CPU使用率和云平台总体虚拟内存使用率，以及各租户分别对应的存储容量使用量，虚拟CPU使用率和虚拟内存使用率；或者，
所述展示单元，用于在本地展示当前周期预测得到的后续若干周期内云平台总体存储容量，云平台总体虚拟CPU使用率和云平台总体虚拟内存使用率，发送单元，用于将当前周期预测得到的后续若干周期内各租户分别的存储容量使用量，虚拟CPU使用率和虚拟内存使用率发送至分别发送至对应租户，以使得各租户在本地展示预测得到的若干周期内自身对应的存储容量使用量，虚拟CPU使用率和虚拟内存使用率。
CN202010692857.XA 2020-07-17 2020-07-17 一种云资源容量预测方法及装置 Pending CN112001116A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010692857.XA CN112001116A (zh) 2020-07-17 2020-07-17 一种云资源容量预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010692857.XA CN112001116A (zh) 2020-07-17 2020-07-17 一种云资源容量预测方法及装置

Publications (1)

Publication Number Publication Date
CN112001116A true CN112001116A (zh) 2020-11-27

Family

ID=73467467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010692857.XA Pending CN112001116A (zh) 2020-07-17 2020-07-17 一种云资源容量预测方法及装置

Country Status (1)

Country Link
CN (1) CN112001116A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113238714A (zh) * 2021-05-28 2021-08-10 广东好太太智能家居有限公司 基于历史监测数据的磁盘容量预测方法及系统、存储介质
CN116432082A (zh) * 2023-03-29 2023-07-14 武汉理工大学 一种船舶故障特征分析方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109714395A (zh) * 2018-12-10 2019-05-03 平安科技（深圳）有限公司 云平台资源使用预测方法及终端设备
CN110059858A (zh) * 2019-03-15 2019-07-26 深圳壹账通智能科技有限公司 服务器资源预测方法、装置、计算机设备及存储介质
CN111026553A (zh) * 2019-12-13 2020-04-17 深圳先进技术研究院 离线混部作业的资源调度方法及服务器系统
CN111026550A (zh) * 2019-11-29 2020-04-17 中国科学院深圳先进技术研究院 容器云环境下的任务调度方法、装置、服务器及存储装置
CN111327655A (zh) * 2018-12-14 2020-06-23 中移（杭州）信息技术有限公司 多租户容器资源配额预测方法、装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109714395A (zh) * 2018-12-10 2019-05-03 平安科技（深圳）有限公司 云平台资源使用预测方法及终端设备
WO2020119051A1 (zh) * 2018-12-10 2020-06-18 平安科技（深圳）有限公司 云平台资源使用预测方法及终端设备
CN111327655A (zh) * 2018-12-14 2020-06-23 中移（杭州）信息技术有限公司 多租户容器资源配额预测方法、装置及电子设备
CN110059858A (zh) * 2019-03-15 2019-07-26 深圳壹账通智能科技有限公司 服务器资源预测方法、装置、计算机设备及存储介质
CN111026550A (zh) * 2019-11-29 2020-04-17 中国科学院深圳先进技术研究院 容器云环境下的任务调度方法、装置、服务器及存储装置
CN111026553A (zh) * 2019-12-13 2020-04-17 深圳先进技术研究院 离线混部作业的资源调度方法及服务器系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
常润梅等: "电信企业云计算数据中心容量管理", 《辽宁工程技术大学学报（自然科学版）》 *
庞松涛: "基于数据挖掘的电力云资源规划调度", 《电信科学》 *
马国炬: "云平台中服务负载自动化预测的设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑(月刊)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113238714A (zh) * 2021-05-28 2021-08-10 广东好太太智能家居有限公司 基于历史监测数据的磁盘容量预测方法及系统、存储介质
CN116432082A (zh) * 2023-03-29 2023-07-14 武汉理工大学 一种船舶故障特征分析方法、系统及存储介质
CN116432082B (zh) * 2023-03-29 2024-01-09 武汉理工大学 一种船舶故障特征分析方法、系统及存储介质

Similar Documents

Publication Publication Date Title
EP3129880B1 (en) Method and device for augmenting and releasing capacity of computing resources in real-time stream computing system
CN110837592B (zh) 数据归档的方法、装置和计算机可读存储介质
CN110928655A (zh) 一种任务处理方法及装置
CN104182278B (zh) 一种判定计算机硬件资源繁忙程度的方法和装置
CN108491122B (zh) 一种点击事件响应方法、计算机可读存储介质及终端设备
CN112001116A (zh) 一种云资源容量预测方法及装置
CN107562532B (zh) 一种预测设备集群的硬件资源利用率的方法及装置
CN109284895A (zh) 项目任务分配方法、装置、计算机设备及存储介质
CN112579692B (zh) 一种数据同步方法、装置、系统、设备及存储介质
CN109739627B (zh) 任务的调度方法、电子设备及介质
CN103399791A (zh) 一种基于云计算的虚拟机迁移方法和装置
CN111400521B (zh) 一种图数据处理方法、装置、设备、介质
CN110018932B (zh) 一种容器磁盘的监控方法及装置
CN115202847A (zh) 任务的调度方法和装置
CN108228679A (zh) 时序数据计量方法和时序数据计量装置
CN114327963A (zh) 一种异常检测方法及装置
CN108664322A (zh) 数据处理方法及系统
CN110609758A (zh) 基于队列的设备运行方法、计算机设备及可读存储介质
CN115952054A (zh) 一种仿真任务资源管理方法、装置、设备及介质
CN112000492B (zh) 公众号用户标签的管理系统及方法
CN111258724B (zh) 一种分布式系统的数据处理方法、装置、设备和存储介质
CN106354722B (zh) 一种流式计算系统的消息处理方法和装置
CN114564149A (zh) 一种数据存储方法、装置、设备及存储介质
CN110737572B (zh) 大数据平台资源抢占测试方法、系统、终端及存储介质
CN113609152A (zh) 数据处理方法、装置及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201127

RJ01 Rejection of invention patent application after publication