CN110806954B - 评估云主机资源的方法、装置、设备及存储介质 - Google Patents

评估云主机资源的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110806954B
CN110806954B CN201910885428.1A CN201910885428A CN110806954B CN 110806954 B CN110806954 B CN 110806954B CN 201910885428 A CN201910885428 A CN 201910885428A CN 110806954 B CN110806954 B CN 110806954B
Authority
CN
China
Prior art keywords
data
information
resource
evaluated
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910885428.1A
Other languages
English (en)
Other versions
CN110806954A (zh
Inventor
徐锐杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910885428.1A priority Critical patent/CN110806954B/zh
Priority to PCT/CN2019/117048 priority patent/WO2021051529A1/zh
Publication of CN110806954A publication Critical patent/CN110806954A/zh
Application granted granted Critical
Publication of CN110806954B publication Critical patent/CN110806954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2205—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested
    • G06F11/2236—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested to test CPU or processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2268—Logging of test results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2273—Test methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2289—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing by configuration test
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing

Abstract

本申请涉及云服务领域，提供一种评估云主机资源的方法、装置、设备及存储介质，方法包括：通过训练所得的资源监控模型对目标项目信息、多个云主机的使用资源类型和使用资源情况进行分析，以获取待评估云主机以及所述待评估云主机的待评估资源，获取所述待评估资源的第一采样数据和和第二采样数据，根据所述第一采样数据和所述第二采样数据获取预测信息，根据所述第一采样数据、所述第二采样数据和所述预测信息获取评估评估信息，根据所述评估信息生成与所述评估信息对应的优化配置策略。采用本方案，能够提高云主机的资源利用率。

Description

评估云主机资源的方法、装置、设备及存储介质
技术领域
本申请涉及云监控领域，尤其涉及评估云主机资源的方法、装置、设备及存储介质。
背景技术
云主机作为新一代的主机租用服务，它整合了高性能服务器与优质网络带宽，有效解决了传统主机租用价格偏高和服务品质参差不齐的缺点，能全面满足中小企业、个人站长用户对主机租用服务低成本、高可靠、易管理的需求，因而，云主机被广泛使用。但是，随着时间的发展、人员的变动或者项目的搁置等情况变化，导致云主机资源的不合理利用和浪费，诸如离职人员所归属的云主机由于可能存在项目的关联而在离职过程中并未被释放，从而导致许多服务器资源使用量极低却配备高配置云主机，进而造成云主机资源的浪费。
目前的云监控中，通过获取云主机中当前的资源使用信息，对所述资源使用信息进行分析与评估，以获得评估信息，根据评估信息确定云主机的使用状态，并根据所述使用状态确定优化配置方案。
由于云主机的资源使用量会随着用户人数和使用时间的增加而增长，用户人数和使用时间会影响到云主机的资源使用量，在该情况下，若继续采用对云主机当前的资源使用量进行分析和评估的方案，则会导致所分析和评估的资源使用信息单一，致使所确定的优化配置策略不严谨且不全面，从而，导致云主机的资源利用率低。
发明内容
本申请提供了一种评估云主机资源的方法、装置、设备及存储介质，能够解决云主机的资源利用率低的问题。
第一方面，本申请提供一种评估云主机资源的方法，所述方法包括：
获取训练数据，将所述训练数据输入至神经网络模型，并对所述神经网络模型进行训练，以获得资源监控模型，其中，所述训练数据包括多个云主机的多个时段的资源采样数据；
获取输入的目标项目信息，并对所述目标项目信息进行分析，以获取所述目标项目信息的项目数据类型和项目操作需求信息；
获取云主机的使用资源类型和使用资源情况，并根据所述使用资源类型、所述使用资源情况、所述项目数据类型和所述项目操作需求信息，确定待评估云主机以及所述待评估云主机的待评估资源；
通过所述资源监控模型获取所述待评估资源在第一时段内的第一采样数据，以及获取所述待评估资源在第二时段内的第二采样数据，其中，所述第一时段的起始时刻晚于所述第二时段的结束时刻；
根据所述第一采样数据和所述第二采样数据对所述待评估云主机进行预测，以分别获取第一预测数据、第二预测数据和第三预测数据，并将所述第三预测数据作为主信息，以及将所述第一预测数据和所述第二预测数据作为辅助信息，以获取预测信息，其中，所述预测包括对所述待评估云主机在第三时段的各资源使用状态和各资源使用量的趋势的预测，所述第三时段的起始时刻晚于所述第一时段的结束时刻；
分别对所述第一采样数据、所述第二采样数据和所述预测信息进行特征提取，以分别获取第一关键信息、第二关键信息和第三关键信息，并获取所述第一采样数据中待评估资源的第一可替代资源，和获取所述第二采样数据中待评估资源的第二可替代资源；
根据所述第一关键信息、所述第二关键信息、所述第三关键信息、所述第一可替代资源和所述第二可替代资源对所述待评估云主机进行评估，以获取评估信息；
根据所述评估信息生成与所述评估信息对应的优化配置策略，并输出所述评估信息和所述优化配置策略。
一种可能的设计中，所述获取输入的目标项目信息，并对所述目标项目信息进行分析，以获取所述目标项目信息的项目数据类型和项目操作需求信息，包括：
创建项目操作需求表，其中，所述项目操作需求表包括项目的预设完成时间、主机资源需求量和所述主机资源需求量对应的最优主机资源分配量；
获取用户输入的目标项目信息，并对所述目标项目信息进行数据预处理，其中，所述数据预处理包括缺失值填补处理、去噪处理和数据标准化处理；
将经过数据预处理的目标项目信息分成N组，通过反复迭代法对分成N组的目标项目信息进行多次重新分组，以获取最优分组方案；
获取所述最优分组方案中各组目标项目信息的项目数据类型；
对所述目标项目信息进行分析以获取第四关键信息；
根据所述第四关键信息遍历所述项目操作需求表，以获取所述第四关键信息对应的项目操作需求信息。
一种可能的设计中，所述待评估资源包括在第一时段内的第一任务和在第二时段内的第二任务，所述通过所述资源监控模型获取所述待评估资源在第一时段内的第一采样数据，以及获取所述待评估资源在第二时段内的第二采样数据，包括：
通过所述资源监控模型，获取所述第一任务中的第一占用率信息和第一优先级，以及获取所述第二任务中的第二占用率信息和第二优先级；
根据所述第一优先级，对所述第一任务进行分类，并标识第一类别标签，以及根据所述第二优先级，对所述第二任务进行分类，并标识第二类别标签；
根据所述第一占用率信息，对标识所述第一类别标签的第一任务进行分类，并标识第三类别标签，以及所述第二占用率信息，对标识所述第二类别标签的第二任务进行分类，并标识第四类别标签；
判断所述第一优先级是否符合第一预设采样条件和/或所述第一占用率信息是否符合第二预设采样条件，以及判断所述第二优先级是否符合第三预设采样条件和/或所述第二占用率信息是否符合第四预设采样条件；
若所述第一优先级符合第一预设采样条件和/或所述第一占用率信息符合第二预设采样条件，则按照预设第一采样频率，对符合第一预设采样条件和/或第二预设采样条件的同一类别标签的任务进行采样，以获得第一采样数据；
若所述第二优先级符合第三预设采样条件和/或所述第二占用率信息符合第四预设采样条件，则按照预设第二采样频率，对符合第三预设采样条件和/或第四预设采样条件的同一类别标签的任务进行采样，以获得第二采样数据。
一种可能的设计中，所述获取预测信息之后，所述方法还包括：
获取所述预测信息的第一时间序列数据；
对所述第一时间序列数据进行滑动窗口处理，以生成预设数量的具备预设长度的时序子序列；
分析所述时序子序列的统计指标以获取统计特征信息，并以所述统计特征信息作为更新后的预测信息，其中，所述统计特征信息包括最大值、最小值、中位数、第一四分位数、第三四分位数、方差和标准差。
一种可能的设计中，所述根据所述第一采样数据和所述第二采样数据对所述待评估云主机进行预测之前，所述方法还包括：
获取所述第一采样数据的第二时间序列数据，以及获取所述第二采样数据的第三时间序列数据；
通过所述数据处理子模型中的指数加权移动平均法EWMA，分别对所述第二时间序列数据和所述第三时间序列数据进行求值，以获得第一平滑处理数据和第二平滑处理数据，对所述第二时间序列数据和所述第三时间序列数据的求值计算如下：
Figure GDA0004189876410000031
其中，xt为时刻t的实际第二时间序列数据或实际第三时间序列数据，系数α为加权下降的速率，Vt为t时刻的EWMA值，Vt-1为t-1时刻的EWMA值；
通过所述资源监控模型的数据处理子模型中的马氏距离Mahalanobis算法，分别对所述第一平滑处理数据和所述第二平滑处理数据中的极度异常点进行检测与标识，并删除所标识的极度异常点，检测与标识所述极度异常点的计算如下：
Figure GDA0004189876410000032
平滑处理数据中的其他对象，S是协方差矩阵。
一种可能的设计中，所述方法包括资源数据库，所述资源数据库包括收集的多种数据类型对应的资源数据，所述获取所述第一采样数据中待评估资源的第一可替代资源，和获取所述第二采样数据中待评估资源的第二可替代资源，包括：
获取所述第一采样数据中待评估资源的第一特征信息，以及获取所述第二采样数据中待评估资源的第二特征信息，其中，所述第一特征信息和所述第二特征信息均包括数据类型、资源总容量、各数据类型对应的资源的使用占比、资源的性能和特性；
根据所述第一特征信息在所述资源数据库中获取与所述第一特征信息对应的第一资源数据，以及根据所述第二特征信息在所述资源数据库中获取与所述第二特征信息对应的第二资源数据；
通过预设替换条件对所述第一资源数据进行计算和筛选以获取第一可替代资源，以及通过所述预设替换条件对所述第二资源数据进行计算和筛选以获取第二可替代资源；
根据所述第一可替代资源，在所述待评估云主机之外的云主机中进行分析和匹配，以获取第一可替代云主机，并获取所述第一可替代云主机的第一资源使用信息，并将所述第一可替代云主机和所述第一资源使用信息标记在所述第一可替代资源上，以获取最终的第一可替代资源，以及根据所述第二可替代资源，在所述待评估云主机之外的云主机中进行分析和匹配，以获取第二可替代云主机，并获取所述第二可替代云主机的第二资源使用信息，并将所述第二可替代云主机和所述第二资源使用信息标记在所述第二可替代资源上，以获取最终的第二可替代资源。
一种可能的设计中，所述获取训练数据，将所述训练数据输入至神经网络模型，对所述神经网络模型进行训练，以获得资源监控模型，包括：
获取训练数据，对所述训练数据进行数据预处理；
将经过平滑处理和异常数据处理的训练数据存储在训练数据库中，并设置配置文件，其中，所述配置文件包括网络结构、训练时长、训练与测试的比例安排、输出内容、优化学习率的设定、优化参数和存档规则设定；
根据所述配置文件，对所述训练数据进行平滑处理，以得到预测信息；
根据预设的综合评估规则对所述预测信息进行评估，以获得评估信息，其中，所述评估信息包括评分范围以及分析信息；
根据所述评估信息生成与所述评估信息对应的优化配置策略，获得资源监控模型；
通过已创建的检测脚本对所述资源监控模型进行准确性检测与性能测试；
若准确性检测的结果达到第一预设阈值以及性能测试的结果达到第二预设阈值，则将所述资源监控模型作为最终的资源监控模型；
若准确性检测的结果未达到第一预设阈值和/或性能测试的结果未达到第二预设阈值，则通过不断更新所述训练数据和修改所述预设的综合评估规则，并对所述资源监控模型进行再训练，直至准确性检测的结果达到第一预设阈值以及性能测试的结果达到第二预设阈值。
第二方面，本申请提供一种用于评估云主机资源的装置，具有实现对应于上述第一方面提供的评估云主机资源的方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。
一种可能的设计中，所述装置包括：
输入输出模块，用于获取训练数据，用于获取输入的目标项目信息；
处理模块，用于将所述输入输出模块获取的训练数据输入至神经网络模型，并对所述神经网络模型进行训练，以获得资源监控模型，其中，所述训练数据包括多个云主机的多个时段的资源采样数据；并对所述输入输出模块获取的输入的目标项目信息进行分析，以获取所述目标项目信息的项目数据类型和项目操作需求信息；获取云主机的使用资源类型和使用资源情况，并根据所述使用资源类型、所述使用资源情况、所述项目数据类型和所述项目操作需求信息，确定待评估云主机以及所述待评估云主机的待评估资源；通过所述资源监控模型获取所述待评估资源在第一时段内的第一采样数据，以及获取所述待评估资源在第二时段内的第二采样数据，其中，所述第一时段的起始时刻晚于所述第二时段的结束时刻；根据所述第一采样数据和所述第二采样数据对所述待评估云主机进行预测，以分别获取第一预测数据、第二预测数据和第三预测数据，并将所述第三预测数据作为主信息，以及将所述第一预测数据和所述第二预测数据作为辅助信息，以获取预测信息，其中，所述预测包括对所述待评估云主机在第三时段的各资源使用状态和各资源使用量的趋势的预测，所述第三时段的起始时刻晚于所述第一时段的结束时刻；分别对所述第一采样数据、所述第二采样数据和所述预测信息进行特征提取，以分别获取第一关键信息、第二关键信息和第三关键信息，并获取所述第一采样数据中待评估资源的第一可替代资源，和获取所述第二采样数据中待评估资源的第二可替代资源；根据所述第一关键信息、所述第二关键信息、所述第三关键信息、所述第一可替代资源和所述第二可替代资源对所述待评估云主机进行评估，以获取评估信息；根据所述评估信息生成与所述评估信息对应的优化配置策略，将所述评估信息和所述优化配置策略至显示模块，并通过所述显示模块输出所述评估信息和所述优化配置策略；
所述显示模块，用于显示所述评估信息和所述优化配置策略。
一种可能的设计中，所述处理模块还用于：
创建项目操作需求表，其中，所述项目操作需求表包括项目的预设完成时间、主机资源需求量和所述主机资源需求量对应的最优主机资源分配量；
获取用户输入的目标项目信息，并对所述目标项目信息进行数据预处理，其中，所述数据预处理包括缺失值填补处理、去噪处理和数据标准化处理；
将经过数据预处理的目标项目信息分成N组，通过反复迭代法对分成N组的目标项目信息进行多次重新分组，以获取最优分组方案；
获取所述最优分组方案中各组目标项目信息的项目数据类型；
对所述目标项目信息进行分析以获取第四关键信息；
根据所述第四关键信息遍历所述项目操作需求表，以获取所述第四关键信息对应的项目操作需求信息。
一种可能的设计中，所述处理模块还用于：
通过所述资源监控模型，获取所述第一任务中的第一占用率信息和第一优先级，以及获取所述第二任务中的第二占用率信息和第二优先级；
根据所述第一优先级，对所述第一任务进行分类，并标识第一类别标签，以及根据所述第二优先级，对所述第二任务进行分类，并标识第二类别标签；
根据所述第一占用率信息，对标识所述第一类别标签的第一任务进行分类，并标识第三类别标签，以及所述第二占用率信息，对标识所述第二类别标签的第二任务进行分类，并标识第四类别标签；
判断所述第一优先级是否符合第一预设采样条件和/或所述第一占用率信息是否符合第二预设采样条件，以及判断所述第二优先级是否符合第三预设采样条件和/或所述第二占用率信息是否符合第四预设采样条件；
若所述第一优先级符合第一预设采样条件和/或所述第一占用率信息符合第二预设采样条件，则按照预设第一采样频率，对符合第一预设采样条件和/或第二预设采样条件的同一类别标签的任务进行采样，以获得第一采样数据；
若所述第二优先级符合第三预设采样条件和/或所述第二占用率信息符合第四预设采样条件，则按照预设第二采样频率，对符合第三预设采样条件和/或第四预设采样条件的同一类别标签的任务进行采样，以获得第二采样数据。
一种可能的设计中，所述处理模块在执行所述获得预测信息之后，还用于：
获取所述预测信息的第一时间序列数据；
对所述第一时间序列数据进行滑动窗口处理，以生成预设数量的具备预设长度的时序子序列；
分析所述时序子序列的统计指标以获取统计特征信息，并以所述统计特征信息作为更新后的预测信息，其中，所述统计特征信息包括最大值、最小值、中位数、第一四分位数、第三四分位数、方差和标准差。
一种可能的设计中，所述处理模块在执行所述根据所述第一采样数据和所述第二采样数据对所述待评估云主机进行预测之前，还用于：
获取所述第一采样数据的第二时间序列数据，以及获取所述第二采样数据的第三时间序列数据；
通过所述数据处理子模型中的指数加权移动平均法EWMA，分别对所述第二时间序列数据和所述第三时间序列数据进行求值，以获得第一平滑处理数据和第二平滑处理数据，对所述第二时间序列数据和所述第三时间序列数据的求值计算如下：
Figure GDA0004189876410000071
其中，xt为时刻t的实际第二时间序列数据或实际第三时间序列数据，系数α为加权下降的速率，Vt为t时刻的EWMA值，Vt-1为t-1时刻的EWMA值；
通过所述资源监控模型的数据处理子模型中的马氏距离Mahalanobis算法，分别对所述第一平滑处理数据和所述第二平滑处理数据中的极度异常点进行检测与标识，并删除所标识的极度异常点，检测与标识所述极度异常点的计算如下：
Figure GDA0004189876410000072
平滑处理数据中的其他对象，S是协方差矩阵。
一种可能的设计中，所述处理模块还用于：
获取所述第一采样数据中待评估资源的第一特征信息，以及获取所述第二采样数据中待评估资源的第二特征信息，其中，所述第一特征信息和所述第二特征信息均包括数据类型、资源总容量、各数据类型对应的资源的使用占比、资源的性能和特性；
根据所述第一特征信息在所述资源数据库中获取与所述第一特征信息对应的第一资源数据，以及根据所述第二特征信息在所述资源数据库中获取与所述第二特征信息对应的第二资源数据；
通过预设替换条件对所述第一资源数据进行计算和筛选以获取第一可替代资源，以及通过所述预设替换条件对所述第二资源数据进行计算和筛选以获取第二可替代资源；
根据所述第一可替代资源，在所述待评估云主机之外的云主机中进行分析和匹配，以获取第一可替代云主机，并获取所述第一可替代云主机的第一资源使用信息，并将所述第一可替代云主机和所述第一资源使用信息标记在所述第一可替代资源上，以获取最终的第一可替代资源，以及根据所述第二可替代资源，在所述待评估云主机之外的云主机中进行分析和匹配，以获取第二可替代云主机，并获取所述第二可替代云主机的第二资源使用信息，并将所述第二可替代云主机和所述第二资源使用信息标记在所述第二可替代资源上，以获取最终的第二可替代资源。
一种可能的设计中，所述处理模块还用于：
获取训练数据，对所述训练数据进行数据预处理；
将经过平滑处理和异常数据处理的训练数据存储在训练数据库中，并设置配置文件，其中，所述配置文件包括网络结构、训练时长、训练与测试的比例安排、输出内容、优化学习率的设定、优化参数和存档规则设定；
根据所述配置文件，对所述训练数据进行平滑处理，以得到预测信息；
根据预设的综合评估规则对所述预测信息进行评估，以获得评估信息，其中，所述评估信息包括评分范围以及分析信息；
根据所述评估信息生成与所述评估信息对应的优化配置策略，获得资源监控模型；
通过已创建的检测脚本对所述资源监控模型进行准确性检测与性能测试；
若准确性检测的结果达到第一预设阈值以及性能测试的结果达到第二预设阈值，则将所述资源监控模型作为最终的资源监控模型；
若准确性检测的结果未达到第一预设阈值和/或性能测试的结果未达到第二预设阈值，则通过不断更新所述训练数据和修改所述预设的综合评估规则，并对所述资源监控模型进行再训练，直至准确性检测的结果达到第一预设阈值以及性能测试的结果达到第二预设阈值。
本申请又一方面提供了一种计算机设备，其包括至少一个连接的处理器、存储器、显示器和输入输出单元，其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中的程序代码来执行上述第一方面所述的方法。
本申请又一方面提供了一种计算机存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。
相较于现有技术，本申请提供的方案中，通过训练所得的资源监控模型对目标项目信息、多个云主机的使用资源类型和使用资源情况进行分析，以获取待评估云主机以及所述待评估云主机的待评估资源，获取所述待评估资源的第一采样数据和和第二采样数据，根据所述第一采样数据和所述第二采样数据获取预测信息，根据所述第一采样数据、所述第二采样数据和所述预测信息获取评估评估信息，根据所述评估信息生成与所述评估信息对应的优化配置策略。由于是通过在根据目标项目信息确定待评估云主机和所述待评估云主机的待评估资源，以使在对云主机的资源使用评估的基础上，还能满足对目标项目信息的评估需求，从而提高云主机的资源利用率；通过对云主机的第一采样数据、第二采样数据和预测信息进行评估，所评估的数据信息多方位，以使评估结果更具严谨性和准确性，通过多角度获取预测数据以提高评估的准确性；综上所述，一方面，获取多角度的资源使用情况的数据，以便于用户快速而全面获悉待评估云主机的资源使用情况，另一方面，通过对多角度的数据进行评估以提高评估的严谨性和准确性，因而，本申请能够提高云主机的资源利用率。
附图说明
图1为本申请实施例中评估云主机资源的方法的一种流程示意图；
图2为本申请实施例中用于评估云主机资源的装置的一种结构示意图；
图3为本申请实施例中计算机装置的一种结构示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行。
本申请提供一种评估云主机资源的方法、装置、设备及存储介质，可用于云主机的配置使用，为无使用资源的云主机的释放以及由于资源使用量极少而需要执行降低配置操作的云主机提供参考。其中，对于云计算平台厂商，可用于提供资源回收的量化标准，为减少内部计算资源的浪费提供参照支持；对于云计算平台租户，可用于为对业务云主机的资源使用情况和是否使用合理提供参考。
为解决上述技术问题，本申请主要提供以下技术方案：
相较于现有技术，本申请提供的方案中，通过训练所得的资源监控模型对目标项目信息、多个云主机的使用资源类型和使用资源情况进行分析，以获取待评估云主机以及待评估云主机的待评估资源，获取待评估资源的第一采样数据和和第二采样数据，根据第一采样数据和第二采样数据获取预测信息，根据第一采样数据、第二采样数据和预测信息获取评估评估信息，根据评估信息生成与评估信息对应的优化配置策略。由于是通过在根据目标项目信息确定待评估云主机和待评估云主机的待评估资源，以使在对云主机的资源使用评估的基础上，还能满足对目标项目信息的评估需求，从而提高云主机的资源利用率；通过对云主机的第一采样数据、第二采样数据和预测信息进行评估，所评估的数据信息多方位，以使评估结果更具严谨性和准确性，通过多角度获取预测数据以提高评估的准确性；综上，一方面，获取多角度的资源使用情况的数据，以便于用户快速而全面获悉待评估云主机的资源使用情况，另一方面，通过对多角度的数据进行评估以提高评估的严谨性和准确性，因而，本申请能够提高云主机的资源利用率。
请参照图1，以下对本申请提供一种评估云主机资源的方法进行举例说明，该方法由计算机设备执行，计算机设备可为服务器或者终端，当图2所示的装置20为应用或者执行程序时，终端为安装图2所示的装置20的终端，本申请不对执行主体的类型作限制，所述方法包括：
101、获取训练数据，将训练数据输入至神经网络模型，对神经网络模型进行训练，以获得资源监控模型。
其中，训练数据包括多个云主机的多个时段的资源采样数据；训练数据为按照预设采样间隔采样的按照顺向时间顺序排列的多个采样点数据，包括第一时段内的第一数据和第二时段内的第二数据，第一时段的起始时刻晚于第二时段的结束时刻。
本实施例中，可通过迁移学习算法对现有的监控模型进行训练，以获取用于对云主机的使用资源进行监控、评估和优化配置的资源监控模型。本实施例的资源监控模型为后向传播神经网络模型。通过结合后向传播神经网络模型的输入输出的非线性映射、进行梯度下降计算、具备一定泛化能力和使用不同传递函数的特点，一方面，使其对云主机的使用资源进行监控、评估和优化配置等的数据挖掘进行多维的特征构造，和新的数据进入神经网络模型的网络进行训练的时候，神经网络能够在调整权值以适应更多的数据；另一方面，使其输出的值可是任意值，和减小资源监控模型的误差，以获取更优的评估信息和优化配置策略。
可选的，在本申请的一些实施例中，在获取资源监控模型的情况下，为了进一步加强对神经网络模型进行训练以获得资源监控模型，具体操作如下，上述的获取训练数据，将训练数据输入至神经网络模型，对神经网络模型进行训练，以获得资源监控模型，包括：
获取训练数据，对训练数据进行数据预处理；
将经过平滑处理和异常数据处理的训练数据存储在训练数据库中，并设置配置文件，其中，配置文件包括网络结构、训练时长、训练与测试的比例安排、输出内容、优化学习率的设定、优化参数和存档规则设定；
根据配置文件，对训练数据进行平滑处理，以得到预测信息；
根据预设的综合评估规则对预测信息进行评估，以获得评估信息，其中，评估信息包括评分范围以及分析信息；
根据评估信息生成与评估信息对应的优化配置策略，获得资源监控模型；
通过已创建的检测脚本对资源监控模型进行准确性检测与性能测试；
若准确性检测的结果达到第一预设阈值以及性能测试的结果达到第二预设阈值，则将资源监控模型作为最终的资源监控模型；
若准确性检测的结果未达到第一预设阈值和/或性能测试的结果未达到第二预设阈值，则通过不断更新训练数据和修改预设的综合评估规则，并对资源监控模型进行再训练，直至准确性检测的结果达到第一预设阈值以及性能测试的结果达到第二预设阈值。
对神经网络模型训练以使获取的资源监控模型具备对目标项目信息、多个云主机的使用资源类型和使用资源情况进行分析，以获取待评估云主机以及所述待评估云主机的待评估资源，获取所述待评估资源的第一采样数据和和第二采样数据，根据所述第一采样数据和所述第二采样数据获取预测信息，根据所述第一采样数据、所述第二采样数据和所述预测信息获取评估评估信息，根据所述评估信息生成与所述评估信息对应的优化配置策略的功能，以更好地对云主机的资源利用进行评估，从而提高云主机的资源利用率。
可选的，在本申请的一些实施例中，资源监控模型包括数据处理子模型、预测子模型、评估子模型和策略生成子模型，预测子模型与数据处理子模型串联，评估子模型与预测子模型串联，策略生成子模型与评估子模型串联。数据处理子模型用于对资源监控模型获取的采样数据进行平滑处理和异常数据处理；预测子模型用于对数据处理子模型输出的采样数据进行预测，得到预测信息；评估子模型用于对预测子模型输出的预测信息进行评估，得到评估信息；策略生成子模型用于根据评估子模型输出的评估信息，生成对应的优化配置策略。
102、获取输入的目标项目信息，并对目标项目信息进行分析，以获取目标项目信息的项目数据类型和项目操作需求信息。
获取用户输入的目标项目信息后，对目标项目信息进行分析以获取完成目标项目所需要操作的数据类型和目标项目的操作需求信息。其中，项目操作需求信息包括但不限于项目完成的计划时间、期限时间和项目完成的功能。例如：目标项目为管理系统，通过分析用户输入的目标项目信息，以获取对管理系统研发完成的计划时间、期限时间、所需的云主机资源量、管理系统具备的性能和管理系统需具备的功能等。
通过获取目标项目信息中的项目数据类型和项目操作需求信息，以便于对云主机的使用资源和资源配置的评估提供更好的依据和分析基础。
可选的，在本申请的一些实施例中，在获取目标项目信息的项目数据类型和项目操作需求信息情况下，为了进一步加强信息获取的准确性，具体操作如下，上述的获取输入的目标项目信息，并对目标项目信息进行分析，以获取目标项目信息的项目数据类型和项目操作需求信息，包括：
创建项目操作需求表，其中，项目操作需求表包括项目的预设完成时间、主机资源需求量和主机资源需求量对应的最优主机资源分配量；
获取用户输入的目标项目信息，并对目标项目信息进行数据预处理，其中，数据预处理包括缺失值填补处理、去噪处理和数据标准化处理；
将经过数据预处理的目标项目信息分成N组，通过反复迭代法对分成N组的目标项目信息进行多次重新分组，以获取最优分组方案；
获取最优分组方案中各组目标项目信息的项目数据类型；
对目标项目信息进行分析以获取第四关键信息；
根据第四关键信息遍历项目操作需求表，以获取第四关键信息对应的项目操作需求信息。
通过对目标项目信息进行聚类分析，以获得简明结论形式，从而以便于资源监控模型直观而简便地获取目标项目的项目数据类型和项目操作需求信息。
通过遍历项目操作需求表以获取关键信息对应的项目操作需求信息，以使获取项目操作需求信息多角度，从而能够更快速而准确地确定待评估云主机以及待评估云主机的待评估资源。
103、分析云主机的使用资源类型和使用资源情况，并根据项目数据类型和项目操作需求信息，以确定待评估云主机以及待评估云主机的待评估资源。
其中，云主机包括连接使用的所有的云主机；待评估资源包括资源使用情况和剩余资源情况，剩余资源情况为待评估云主机中总资源减去已使用资源后的资源量。
通过在根据目标项目信息确定待评估云主机和所述待评估云主机的待评估资源，一方面有目的性、针对性地对云主机资源进行评估，另一方面减少不必要的运行操作以减轻系统的压力和提高运行速度。
例如：分析所有的云主机的使用资源类型和使用资源情况，匹配出与项目数据类型对应的使用资源类型，以获取第一云主机，以及匹配出与项目操作需求信息对应的使用资源情况以获取第二云主机，判断第一云主机与第二云主机中既符合项目数据类型又能满足项目操作需求信息的云主机，作为待评估云主机，并获取待评估云主机中的资源使用情况和剩余资源情况。
上述举例内容仅作举例说明参考，其内容准确性和实际操作与否不作考虑。
104、通过资源监控模型获取待评估资源在第一时段内的第一采样数据，以及获取待评估资源在第二时段内的第二采样数据。
其中，第一时段的起始时刻晚于所述第二时段的结束时刻。第一采样数据和第二采样数据均是按照预设采样间隔采样的按照顺向时间顺序排列的多个采样点数据，第一采样数据和第二采样数据均包括中央处理器CPU的占用率信息、内存占用率信息以及输入/输出IO占用率信息，占用率信息包括物理资源与总资源的占比、功能性描述的信息资源与总资源的占比、非功能性描述的信息资源与总资源的占比、网络资源与总资源的占比、已使用的资源与总资源的占比和未使用的资源与总资源的占比。
通过采集两个不同时段的采样数据，增加评估资源的多样性，以提高对云主机资源评估的可参考性和准确性。
可选的，在本申请的一些实施例中，在获取目标业务类型和文本预测结果，以及调用目标业务类型词库的情况下，为了进一步加强准确调用目标业务类型相应的目标业务类型词库，具体操作如下，上述的待评估资源包括在第一时段内的第一任务和在第二时段内的第二任务，上述的通过资源监控模型获取待评估资源在第一时段内的第一采样数据，以及获取待评估资源在第二时段内的第二采样数据，包括：
通过资源监控模型，获取第一任务中的第一占用率信息和第一优先级，以及获取第二任务中的第二占用率信息和第二优先级；
根据第一优先级，对第一任务进行分类，并标识第一类别标签，以及根据第二优先级，对第二任务进行分类，并标识第二类别标签；
根据第一占用率信息，对标识第一类别标签的第一任务进行分类，并标识第三类别标签，以及第二占用率信息，对标识第二类别标签的第二任务进行分类，并标识第四类别标签；
判断第一优先级是否符合第一预设采样条件和/或第一占用率信息是否符合第二预设采样条件，以及判断第二优先级是否符合第三预设采样条件和/或第二占用率信息是否符合第四预设采样条件；
若第一优先级符合第一预设采样条件和/或第一占用率信息符合第二预设采样条件，则按照预设第一采样频率，对符合第一预设采样条件和/或第二预设采样条件的同一类别标签的任务进行采样，以获得第一采样数据；
若第二优先级符合第三预设采样条件和/或第二占用率信息符合第四预设采样条件，则按照预设第二采样频率，对符合第三预设采样条件和/或第四预设采样条件的同一类别标签的任务进行采样，以获得第二采样数据。
通过上述实施方式，能够实现便于获悉云主机中资源的使用状况和对资源占比的影响程度，从而对后续得到的评估信息的准确性和严谨性起到一定的支持作用的有益效果。
由于用户提交的每一个任务(即为应用请求)在提交时都带有特定的优先级，而任何一个相对高优先级的任务可以抢占低优先级使用的资源，且处于不同档次的高优先级的任务具有对应的特征，例如：正常生产档的高优先级的任务对延迟敏感，一般不会因为过度使用资源而被剔除、挂起或暂停，因而为了能够便于清晰了解各占用率信息的使用状况和对资源占比的影响程度，任务为用户发起的应用请求，可采用上述操作。
105、根据第一采样数据和第二采样数据对待评估云主机进行预测，以分别获取第一预测数据、第二预测数据和第三预测数据，并将第三预测数据作为主信息，以及将第一预测数据和第二预测数据作为辅助信息，以获得预测信息。
其中，预测包括对待评估云主机在第三时段的各资源使用状态和各资源使用量的趋势的预测，第三时段的起始时刻晚于第一时段的结束时刻。第一预测数据包括根据第一采样数据对待评估云主机在第三时段的各资源使用状态和各资源使用量的趋势进行预测而得的预测数据，第二预测数据包括根据第二采样数据对待评估云主机在第三时段的各资源使用状态和各资源使用量的趋势进行预测而得的预测数据，第三预测数据包括根据第一采样数据和第二采样数据对待评估云主机在第三时段的各资源使用状态和各资源使用量的趋势进行预测而得的预测数据，第三时段的起始时刻晚于第一时段的结束时刻。主信息和辅助信息指的是首先对主信息进行处理后，再结合辅助信息进行处理。
通过采用多中预测数据和将第三预测数据作为主信息，以及将第一预测数据和第二预测数据作为辅助信息，以提高评估的准确性。
可选的，在本申请的一些实施例中，在获得预测信息的情况下，为了进一步加强对预测信息的获取和预测信息的获取内容，可采取如下操作，上述的获得预测信息之后，方法还包括：
获取预测信息的第一时间序列数据；
对第一时间序列数据进行滑动窗口处理，以生成预设数量的具备预设长度的时序子序列；
分析时序子序列的统计指标以获取统计特征信息，并以统计特征信息作为更新后的预测信息，其中，统计特征信息包括最大值、最小值、中位数、第一四分位数、第三四分位数、方差和标准差。
通过对预测信息进行统计特征提取，使得预测信息的数据更集中、更系统、更清楚地反映客观实际，以使后续的未来预测值更偏向现实值，促进预测的准确性。
可选的，在本申请的一些实施例中，在获取预测信息的情况下，为了进一步加强对预测信息的获取，可采取如下操作，上述的根据第一采样数据和第二采样数据对待评估云主机进行预测之前，方法还包括：
获取第一采样数据的第二时间序列数据，以及获取第二采样数据的第三时间序列数据；
通过数据处理子模型中的指数加权移动平均法EWMA，分别对第二时间序列数据和第三时间序列数据进行求值，以获得第一平滑处理数据和第二平滑处理数据，对第二时间序列数据和第三时间序列数据的求值计算如下：
Figure GDA0004189876410000141
其中，xt为时刻t的实际第二时间序列数据或实际第三时间序列数据，系数α为加权下降的速率，Vt为t时刻的EWMA值，Vt-1为t-1时刻的EWMA值；
通过数据处理子模型中的马氏距离Mahalanobis算法，分别对第一平滑处理数据和第二平滑处理数据中的极度异常点进行检测与标识，并删除所标识的极度异常点，检测与标识极度异常点的计算如下：
Figure GDA0004189876410000142
其中，
Figure GDA0004189876410000143
是b与/>
Figure GDA0004189876410000144
的距离，/>
Figure GDA0004189876410000145
是平滑处理数据的均值向量，b是为平滑处理数据中的其他对象，S是协方差矩阵。
通过对第一采样数据和第二采样数据进行平滑处理和异常数据处理，以获得相对均衡、稳定的时间序列数据，减少误差，为后续的未来预测值的准确值提供进一步的支持。
106、分别对第一采样数据、第二采样数据和预测信息进行特征提取，以分别获取第一关键信息、第二关键信息和第三关键信息，并获取第一采样数据中待评估资源的第一可替代资源，和获取第二采样数据中待评估资源的第二可替代资源。
其中，分析包括对第一采样数据、第二采样数据和预测信息的各资源的类型、使用时间、操作速率和资源占比的识别和获取。第一关键信息包括对第一采样数据进行分析而获取的各资源的类型、使用时间、操作速率和资源占比，第二关键信息包括对第二采样数据进行分析而获取的各资源的类型、使用时间、操作速率和资源占比，第三关键信息包括对预测信息进行分析而获取的各资源的类型、使用时间、操作速率和资源占比。
一方面，通过获取多角度的资源使用情况的数据，以便于用户快速而全面获悉待评估云主机的资源使用，另一方面，通过结合多样化的数据进行评估，以提高评估的准确性。
可选的，在本申请的一些实施例中，在获取第一可替代资源和第二可替代资源以提供评估的参考数据支撑的情况下，为了进一步加强对评估的参考数据支撑，可采取如下操作，本方法包括资源数据库，资源数据库包括收集的多种数据类型对应的资源数据，上述的获取第一采样数据中待评估资源的第一可替代资源，和获取第二采样数据中待评估资源的第二可替代资源，包括：
获取第一采样数据中待评估资源的第一特征信息，以及获取第二采样数据中待评估资源的第二特征信息，其中，第一特征信息和第二特征信息均包括数据类型、资源总容量、各数据类型对应的资源的使用占比、资源的性能和特性；
根据第一特征信息在资源数据库中获取与第一特征信息对应的第一资源数据，以及根据第二特征信息在资源数据库中获取与第二特征信息对应的第二资源数据；
通过预设替换条件对第一资源数据进行计算和筛选以获取第一可替代资源，以及通过预设替换条件对第二资源数据进行计算和筛选以获取第二可替代资源；
根据第一可替代资源，在待评估云主机之外的云主机中进行分析和匹配，以获取第一可替代云主机，并获取第一可替代云主机的第一资源使用信息，并将第一可替代云主机和第一资源使用信息标记在第一可替代资源上，以获取最终的第一可替代资源，以及根据第二可替代资源，在待评估云主机之外的云主机中进行分析和匹配，以获取第二可替代云主机，并获取第二可替代云主机的第二资源使用信息，并将第二可替代云主机和第二资源使用信息标记在第二可替代资源上，以获取最终的第二可替代资源。
通过标记可替代云主机和可替代云主机的资源使用信息，一方面，以便于用户获知可替代使用的云主机，以达到节省资源的效果，另一方面，以为评估提供多角度多方面的数据，从而提高评估的准确性和可行性。
107、根据第一关键信息、第二关键信息、第三关键信息、第一可替代资源和第二可替代资源对待评估云主机进行评估，以获取评估信息。
根据第一关键信息、第二关键信息和第三关键信息对待评估云主机的当前的使用资源和未来某一段时间的预估使用资源进行评估，并根据第一可替代资源和第二可替代资源评估可替换待评估云主机的其他云主机，以合理使用云主机和提高云主机的资源利用率。
例如：甲云主机为待评估云主机，乙云主机为待评估云主机之外的云主机。根据第一关键信息、第二关键信息和第三关键信息对甲云主机进行评估，所得甲云主机的可使用资源已剩10％，且各项指标不满足继续使用要求和满足项目的要求，而乙云主机的可使用资源还有90％，和已空置较长一段时间，根据第一关键信息、第二关键信息、第三关键信息、第一可替代资源和第二可替代资源对甲云主机和乙云主机分析，所得乙云主机的资源类型与甲云主机相同和/或相似，可进行替换使用，且各项指标均满足继续使用要求和满足项目的要求，则对于输入的目标项目信息，乙云主机可作为甲云主机的可替换云主机。其中，分析过程所产生的过程信息和结果信息，作为评估信息。
上述举例内容仅作举例说明参考，其内容准确性和实际操作与否不作考虑。
108、根据评估信息，生成与评估信息对应的优化配置策略，输出评估信息和优化配置策略。
其中，优化配置策略包括云主机的资源使用状态、云主机的各物理资源占用率信息、是否需要对云主机进行配置提升或配置降低或资源释放，以及云主机的预设未来各时间段的资源使用情况、用户行为匹配和语义匹配。
与现有机制相比，本申请实施例中，通过训练所得的资源监控模型对目标项目信息、多个云主机的使用资源类型和使用资源情况进行分析，以获取待评估云主机以及待评估云主机的待评估资源，获取待评估资源的第一采样数据和和第二采样数据，根据第一采样数据和第二采样数据获取预测信息，根据第一采样数据、第二采样数据和预测信息获取评估评估信息，根据评估信息，生成与评估信息对应的优化配置策略。由于是通过在根据目标项目信息确定待评估云主机和待评估云主机的待评估资源，以使在对云主机的资源使用评估的基础上，还能满足对目标项目信息的评估需求，从而提高云主机的资源利用率；通过对云主机的第一采样数据、第二采样数据和预测信息进行评估，所评估的数据信息多方位，以使评估结果更具严谨性和准确性，通过多角度获取预测数据以提高评估的准确性；综上，一方面，获取多角度的资源使用情况的数据，以便于用户快速而全面获悉待评估云主机的资源使用情况，另一方面，通过对多角度的数据进行评估以提高评估的严谨性和准确性，因而，本申请能够提高云主机的资源利用率。
上述图1对应的实施例或图1对应的实施例中的任一可选实施例或可选实施方式中所提及的技术特征也同样适用于本申请中的图2和图3所对应的实施例，后续类似之处不再赘述。
以上对本申请中一种评估云主机资源的方法进行说明，以下对执行上述评估云主机资源的方法的装置进行描述。
如图2所示的一种用于评估云主机资源的装置20的结构示意图，其可应用于云主机的配置使用，为无使用资源的云主机的释放以及由于资源使用量极少而需要执行降低配置操作的云主机提供参考。其中，对于云计算平台厂商，可用于提供资源回收的量化标准，为减少内部计算资源的浪费提供参照支持；对于云计算平台租户，可用于为对业务云主机的资源使用情况和是否使用合理提供参考。本申请实施例中的装置20能够实现对应于上述图1对应的实施例或图1对应的实施例中的任一可选实施例或可选实施方式中所执行的评估云主机资源的方法的步骤。装置20实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。所述装置20可包括输入输出模块201、处理模块202和显示模块203，所述输入输出模块201、处理模块202和显示模块203的功能实现可参考图1对应的实施例或图1对应的实施例中的任一可选实施例或可选实施方式中所执行的操作，此处不作赘述。所述处理模块202可用于控制所述输入输出模块201的收发操作，显示模块203可用于显示处理模块202的处理操作。
一些实施方式中，输入输出模块201，用于获取训练数据，用于获取输入的目标项目信息；
处理模块202，用于将输入输出模块201获取的训练数据输入至神经网络模型，对神经网络模型进行训练，以获得资源监控模型；对输入输出模块201获取的目标项目信息进行分析，以获取目标项目信息的项目数据类型和项目操作需求信息；获取云主机的使用资源类型和使用资源情况，并根据所述使用资源类型、所述使用资源情况、所述项目数据类型和所述项目操作需求信息，确定待评估云主机以及所述待评估云主机的待评估资源；通过所述资源监控模型获取所述待评估资源在第一时段内的第一采样数据，以及获取所述待评估资源在第二时段内的第二采样数据；根据所述第一采样数据和所述第二采样数据对所述待评估云主机进行预测，以分别获取第一预测数据、第二预测数据和第三预测数据，并将所述第三预测数据作为主信息，以及将所述第一预测数据和所述第二预测数据作为辅助信息，以获取预测信息；分别对所述第一采样数据、所述第二采样数据和所述预测信息进行特征提取，以分别获取第一关键信息、第二关键信息和第三关键信息，并获取所述第一采样数据中待评估资源的第一可替代资源，和获取所述第二采样数据中待评估资源的第二可替代资源；根据所述第一关键信息、所述第二关键信息、所述第三关键信息、所述第一可替代资源和所述第二可替代资源对所述待评估云主机进行评估，以获取评估信息；根据评估信息生成与评估信息对应的优化配置策略，将评估信息和优化配置策略至显示模块203，并通过显示模块203输出评估信息和优化配置策略；
显示模块203，用于显示评估信息和优化配置策略。
其中，训练数据包括多个云主机的多个时段的资源采样数据；第一时段的起始时刻晚于第二时段的结束时刻；预测包括对待评估云主机在第三时段的各资源使用状态和各资源使用量的趋势的预测，第三时段的起始时刻晚于所述第一时段的结束时刻。
本申请实施例中，处理模块202通过训练所得的资源监控模型对目标项目信息、多个云主机的使用资源类型和使用资源情况进行分析，以获取待评估云主机以及待评估云主机的待评估资源，获取待评估资源的第一采样数据和和第二采样数据，根据第一采样数据和第二采样数据获取预测信息，根据第一采样数据、第二采样数据和预测信息获取评估评估信息，根据评估信息生成与评估信息对应的优化配置策略。由于是通过在根据目标项目信息确定待评估云主机和待评估云主机的待评估资源，以使在对云主机的资源使用评估的基础上，还能满足对目标项目信息的评估需求，从而提高云主机的资源利用率；通过对云主机的第一采样数据、第二采样数据和预测信息进行评估，所评估的数据信息多方位，以使评估结果更具严谨性和准确性，通过多角度获取预测数据以提高评估的准确性；综上，一方面，获取多角度的资源使用情况的数据，以便于用户快速而全面获悉待评估云主机的资源使用情况，另一方面，通过对多角度的数据进行评估以提高评估的严谨性和准确性，因而，本申请能够提高云主机的资源利用率。
可选的，在本申请的一些实施方式中，上述评估云主机资源的方法的任一实施例或实施方式中所提及的技术特征也同样适用于本申请中的对执行上述评估云主机资源的方法的装置20，后续类似之处不再赘述。
上面从模块化功能实体的角度分别介绍了本申请实施例中的装置20，以下从硬件角度介绍一种计算机装置，如图3所示，其包括：处理器、存储器、显示器、输入输出单元(也可以是收发器，图3中未标识出)以及存储在所述存储器中并可在所述处理器上运行的计算机程序。例如，该计算机程序可以为图1对应的实施例或图1对应的实施例中的任一可选实施例或可选实施方式中评估云主机资源的方法对应的程序。例如，当计算机装置实现如图2所示的装置20的功能时，所述处理器执行所述计算机程序时实现上述图2所对应的实施例中由装置20执行的评估云主机资源的方法中的各步骤；或者，所述处理器执行所述计算机程序时实现上述图2所对应的实施例的装置20中各模块的功能。又例如，该计算机程序可以为图1对应的实施例或图1对应的实施例中的任一可选实施例或可选实施方式的方法对应的程序。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述输入输出单元也可以用接收器和发送器代替，可以为相同或者不同的物理实体。为相同的物理实体时，可以统称为输入输出单元。该输入输出单元可以为收发器。
所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本申请的保护之内。

Claims (10)

1.一种评估云主机资源的方法，其特征在于，所述方法包括：
获取训练数据，将所述训练数据输入至神经网络模型，并对所述神经网络模型进行训练，以获得资源监控模型，其中，所述训练数据包括多个云主机的多个时段的资源采样数据；
获取输入的目标项目信息，并对所述目标项目信息进行分析，以获取所述目标项目信息的项目数据类型和项目操作需求信息；
获取云主机的使用资源类型和使用资源情况，并根据所述使用资源类型、所述使用资源情况、所述项目数据类型和所述项目操作需求信息，确定待评估云主机以及所述待评估云主机的待评估资源；
通过所述资源监控模型获取所述待评估资源在第一时段内的第一采样数据，以及获取所述待评估资源在第二时段内的第二采样数据，其中，所述第一时段的起始时刻晚于所述第二时段的结束时刻；
根据所述第一采样数据和所述第二采样数据对所述待评估云主机进行预测，以分别获取第一预测数据、第二预测数据和第三预测数据，并将所述第三预测数据作为主信息，以及将所述第一预测数据和所述第二预测数据作为辅助信息，以获取预测信息，其中，所述预测包括对所述待评估云主机在第三时段的各资源使用状态和各资源使用量的趋势的预测，所述第三时段的起始时刻晚于所述第一时段的结束时刻；
分别对所述第一采样数据、所述第二采样数据和所述预测信息进行特征提取，以分别获取第一关键信息、第二关键信息和第三关键信息，并获取所述第一采样数据中待评估资源的第一可替代资源，和获取所述第二采样数据中待评估资源的第二可替代资源；
根据所述第一关键信息、所述第二关键信息、所述第三关键信息、所述第一可替代资源和所述第二可替代资源对所述待评估云主机进行评估，以获取评估信息；
根据所述评估信息生成与所述评估信息对应的优化配置策略，并输出所述评估信息和所述优化配置策略。
2.根据权利要求1所述的方法，其特征在于，所述获取输入的目标项目信息，并对所述目标项目信息进行分析，以获取所述目标项目信息的项目数据类型和项目操作需求信息，包括：
创建项目操作需求表，其中，所述项目操作需求表包括项目的预设完成时间、主机资源需求量和所述主机资源需求量对应的最优主机资源分配量；
获取用户输入的目标项目信息，并对所述目标项目信息进行数据预处理，其中，所述数据预处理包括缺失值填补处理、去噪处理和数据标准化处理；
将经过数据预处理的目标项目信息分成N组，通过反复迭代法对分成N组的目标项目信息进行多次重新分组，以获取最优分组方案；
获取所述最优分组方案中各组目标项目信息的项目数据类型；
对所述目标项目信息进行分析以获取第四关键信息；
根据所述第四关键信息遍历所述项目操作需求表，以获取所述第四关键信息对应的项目操作需求信息。
3.根据权利要求1所述的方法，其特征在于，所述待评估资源包括在第一时段内的第一任务和在第二时段内的第二任务，所述通过所述资源监控模型获取所述待评估资源在第一时段内的第一采样数据，以及获取所述待评估资源在第二时段内的第二采样数据，包括：
通过所述资源监控模型，获取所述第一任务中的第一占用率信息和第一优先级，以及获取所述第二任务中的第二占用率信息和第二优先级；
根据所述第一优先级，对所述第一任务进行分类，并标识第一类别标签，以及根据所述第二优先级，对所述第二任务进行分类，并标识第二类别标签；
根据所述第一占用率信息，对标识所述第一类别标签的第一任务进行分类，并标识第三类别标签，以及所述第二占用率信息，对标识所述第二类别标签的第二任务进行分类，并标识第四类别标签；
判断所述第一优先级是否符合第一预设采样条件和/或所述第一占用率信息是否符合第二预设采样条件，以及判断所述第二优先级是否符合第三预设采样条件和/或所述第二占用率信息是否符合第四预设采样条件；
若所述第一优先级符合第一预设采样条件和/或所述第一占用率信息符合第二预设采样条件，则按照预设第一采样频率，对符合第一预设采样条件和/或第二预设采样条件的同一类别标签的任务进行采样，以获得第一采样数据；
若所述第二优先级符合第三预设采样条件和/或所述第二占用率信息符合第四预设采样条件，则按照预设第二采样频率，对符合第三预设采样条件和/或第四预设采样条件的同一类别标签的任务进行采样，以获得第二采样数据。
4.根据权利要求1所述的方法，其特征在于，所述获取预测信息之后，所述方法还包括：
获取所述预测信息的第一时间序列数据；
对所述第一时间序列数据进行滑动窗口处理，以生成预设数量的具备预设长度的时序子序列；
分析所述时序子序列的统计指标以获取统计特征信息，并以所述统计特征信息作为更新后的预测信息，其中，所述统计特征信息包括最大值、最小值、中位数、第一四分位数、第三四分位数、方差和标准差。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一采样数据和所述第二采样数据对所述待评估云主机进行预测之前，所述方法还包括：
获取所述第一采样数据的第二时间序列数据，以及获取所述第二采样数据的第三时间序列数据；
通过所述资源监控模型的数据处理子模型中的指数加权移动平均法EWMA，分别对所述第二时间序列数据和所述第三时间序列数据进行求值，以获得第一平滑处理数据和第二平滑处理数据，对所述第二时间序列数据和所述第三时间序列数据的求值计算如下：
Figure FDA0004189876400000031
其中，xt为时刻t的实际第二时间序列数据或实际第三时间序列数据，系数α为加权下降的速率，Vt为t时刻的EWMA值，Vt-1为t-1时刻的EWMA值；
通过所述资源监控模型的数据处理子模型中的马氏距离Mahalanobis算法，分别对所述第一平滑处理数据和所述第二平滑处理数据中的极度异常点进行检测与标识，并删除所标识的极度异常点，检测与标识所述极度异常点的计算如下：
Figure FDA0004189876400000032
其中，
Figure FDA0004189876400000033
是b与/>
Figure FDA0004189876400000034
的距离，/>
Figure FDA0004189876400000035
是所述平滑处理数据的均值向量，b是为所述平滑处理数据中的其他对象，S是协方差矩阵。
6.根据权利要求1所述的方法，其特征在于，所述方法包括资源数据库，所述资源数据库包括收集的多种数据类型对应的资源数据，所述获取所述第一采样数据中待评估资源的第一可替代资源，和获取所述第二采样数据中待评估资源的第二可替代资源，包括：
获取所述第一采样数据中待评估资源的第一特征信息，以及获取所述第二采样数据中待评估资源的第二特征信息，其中，所述第一特征信息和所述第二特征信息均包括数据类型、资源总容量、各数据类型对应的资源的使用占比、资源的性能和特性；
根据所述第一特征信息在所述资源数据库中获取与所述第一特征信息对应的第一资源数据，以及根据所述第二特征信息在所述资源数据库中获取与所述第二特征信息对应的第二资源数据；
通过预设替换条件对所述第一资源数据进行计算和筛选以获取第一可替代资源，以及通过所述预设替换条件对所述第二资源数据进行计算和筛选以获取第二可替代资源；
根据所述第一可替代资源，在所述待评估云主机之外的云主机中进行分析和匹配，以获取第一可替代云主机，并获取所述第一可替代云主机的第一资源使用信息，并将所述第一可替代云主机和所述第一资源使用信息标记在所述第一可替代资源上，以获取最终的第一可替代资源，以及根据所述第二可替代资源，在所述待评估云主机之外的云主机中进行分析和匹配，以获取第二可替代云主机，并获取所述第二可替代云主机的第二资源使用信息，并将所述第二可替代云主机和所述第二资源使用信息标记在所述第二可替代资源上，以获取最终的第二可替代资源。
7.根据权利要求1所述的方法，其特征在于，所述获取训练数据，将所述训练数据输入至神经网络模型，对所述神经网络模型进行训练，以获得资源监控模型，包括：
获取训练数据，对所述训练数据进行数据预处理；
将经过平滑处理和异常数据处理的训练数据存储在训练数据库中，并设置配置文件，其中，所述配置文件包括网络结构、训练时长、训练与测试的比例安排、输出内容、优化学习率的设定、优化参数和存档规则设定；
根据所述配置文件，对所述训练数据进行平滑处理，以得到预测信息；
根据预设的综合评估规则对所述预测信息进行评估，以获得评估信息，其中，所述评估信息包括评分范围以及分析信息；
根据所述评估信息生成与所述评估信息对应的优化配置策略，获得资源监控模型；
通过已创建的检测脚本对所述资源监控模型进行准确性检测与性能测试；
若准确性检测的结果达到第一预设阈值以及性能测试的结果达到第二预设阈值，则将所述资源监控模型作为最终的资源监控模型；
若准确性检测的结果未达到第一预设阈值和/或性能测试的结果未达到第二预设阈值，则通过不断更新所述训练数据和修改所述预设的综合评估规则，并对所述资源监控模型进行再训练，直至准确性检测的结果达到第一预设阈值以及性能测试的结果达到第二预设阈值。
8.一种用于评估云主机资源的装置，其特征在于，所述装置包括：
输入输出模块，用于获取训练数据，用于获取输入的目标项目信息；
处理模块，用于将所述输入输出模块获取的训练数据输入至神经网络模型，并对所述神经网络模型进行训练，以获得资源监控模型，其中，所述训练数据包括多个云主机的多个时段的资源采样数据；并对所述输入输出模块获取的输入的目标项目信息进行分析，以获取所述目标项目信息的项目数据类型和项目操作需求信息；获取云主机的使用资源类型和使用资源情况，并根据所述使用资源类型、所述使用资源情况、所述项目数据类型和所述项目操作需求信息，确定待评估云主机以及所述待评估云主机的待评估资源；通过所述资源监控模型获取所述待评估资源在第一时段内的第一采样数据，以及获取所述待评估资源在第二时段内的第二采样数据，其中，所述第一时段的起始时刻晚于所述第二时段的结束时刻；根据所述第一采样数据和所述第二采样数据对所述待评估云主机进行预测，以分别获取第一预测数据、第二预测数据和第三预测数据，并将所述第三预测数据作为主信息，以及将所述第一预测数据和所述第二预测数据作为辅助信息，以获取预测信息，其中，所述预测包括对所述待评估云主机在第三时段的各资源使用状态和各资源使用量的趋势的预测，所述第三时段的起始时刻晚于所述第一时段的结束时刻；分别对所述第一采样数据、所述第二采样数据和所述预测信息进行特征提取，以分别获取第一关键信息、第二关键信息和第三关键信息，并获取所述第一采样数据中待评估资源的第一可替代资源，和获取所述第二采样数据中待评估资源的第二可替代资源；根据所述第一关键信息、所述第二关键信息、所述第三关键信息、所述第一可替代资源和所述第二可替代资源对所述待评估云主机进行评估，以获取评估信息；根据所述评估信息生成与所述评估信息对应的优化配置策略，将所述评估信息和所述优化配置策略至显示模块，并通过所述显示模块输出所述评估信息和所述优化配置策略；
所述显示模块，用于显示所述评估信息和所述优化配置策略。
9.一种计算机设备，其特征在于，所述计算机设备包括：
至少一个处理器、存储器、显示器和输入输出单元；
其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中存储的程序代码来执行如权利要求1-7中任一项所述的方法。
10.一种计算机存储介质，其特征在于，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-7中任一项所述的方法。
CN201910885428.1A 2019-09-19 2019-09-19 评估云主机资源的方法、装置、设备及存储介质 Active CN110806954B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910885428.1A CN110806954B (zh) 2019-09-19 2019-09-19 评估云主机资源的方法、装置、设备及存储介质
PCT/CN2019/117048 WO2021051529A1 (zh) 2019-09-19 2019-11-11 评估云主机资源的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910885428.1A CN110806954B (zh) 2019-09-19 2019-09-19 评估云主机资源的方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110806954A CN110806954A (zh) 2020-02-18
CN110806954B true CN110806954B (zh) 2023-06-16

Family

ID=69487681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910885428.1A Active CN110806954B (zh) 2019-09-19 2019-09-19 评估云主机资源的方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN110806954B (zh)
WO (1) WO2021051529A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270436A (zh) * 2020-10-26 2021-01-26 北京明略昭辉科技有限公司 一种资源投放效果评估方法、装置及系统
CN112351105B (zh) * 2020-11-12 2022-09-16 中国信息通信研究院 一种云服务评估方法和装置
TWI767530B (zh) * 2021-01-22 2022-06-11 緯穎科技服務股份有限公司 產生運算裝置的參考配置的電子裝置和方法
CN114219377B (zh) * 2022-02-22 2022-06-07 云智慧（北京）科技有限公司 一种业务的资源分配方法、装置及设备
CN114741133B (zh) * 2022-04-21 2023-10-27 中国航空无线电电子研究所 一种基于模型的综合模块化航电系统资源配置与评估方法
CN114840348B (zh) * 2022-07-01 2022-10-18 石家庄学院 一种用于计算机的资源等级确定方法及系统
CN116383014B (zh) * 2023-06-02 2023-08-01 北京集度科技有限公司 监控计算机、软件调试方法、软件调试系统、介质及产品
CN117076141B (zh) * 2023-10-17 2024-01-26 深圳迅策科技有限公司 一种高适用性离线数据处理任务发布方法及系统
CN117155864B (zh) * 2023-11-01 2024-01-30 南京市微驰数字科技有限公司 一种基于互联网的流量管理系统及管理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447077A (zh) * 2016-08-30 2017-02-22 新奥泛能网络科技股份有限公司 一种资源评估方法及资源评估系统
CN107241421A (zh) * 2017-06-21 2017-10-10 北京云联万维技术有限公司 一种云主机资源预留方法和装置
CN109492774A (zh) * 2018-11-06 2019-03-19 北京工业大学 一种基于深度学习的云资源调度方法
CN109684074A (zh) * 2018-11-12 2019-04-26 平安科技（深圳）有限公司 物理机资源分配方法及终端设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9251115B2 (en) * 2013-03-07 2016-02-02 Citrix Systems, Inc. Dynamic configuration in cloud computing environments
US20180254998A1 (en) * 2017-03-02 2018-09-06 Alcatel Lucent Resource allocation in a cloud environment
US10931595B2 (en) * 2017-05-31 2021-02-23 Futurewei Technologies, Inc. Cloud quality of service management

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447077A (zh) * 2016-08-30 2017-02-22 新奥泛能网络科技股份有限公司 一种资源评估方法及资源评估系统
CN107241421A (zh) * 2017-06-21 2017-10-10 北京云联万维技术有限公司 一种云主机资源预留方法和装置
CN109492774A (zh) * 2018-11-06 2019-03-19 北京工业大学 一种基于深度学习的云资源调度方法
CN109684074A (zh) * 2018-11-12 2019-04-26 平安科技（深圳）有限公司 物理机资源分配方法及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
云计算资源容量评估与调度方法研究;高秋生;张志;曹明;陈明;王立玮;刘汝坤;;大众用电(第S1期);全文 *

Also Published As

Publication number Publication date
CN110806954A (zh) 2020-02-18
WO2021051529A1 (zh) 2021-03-25

Similar Documents

Publication Publication Date Title
CN110806954B (zh) 评估云主机资源的方法、装置、设备及存储介质
AU2020385264B2 (en) Fusing multimodal data using recurrent neural networks
CN111343161B (zh) 异常信息处理节点分析方法、装置、介质及电子设备
KR102522005B1 (ko) 가상 네트워크 관리를 위한 머신 러닝 기반 vnf 이상 탐지 시스템 및 방법
CN107895011B (zh) 会话信息的处理方法、系统、存储介质和电子设备
US9588832B2 (en) Data preprocessing device and method associated with a failure risk level of a target system
US20080195404A1 (en) Compliant-based service level objectives
CN111913649B (zh) 一种固态硬盘的数据处理方法及装置
CN111435463A (zh) 数据处理方法及相关设备、系统
CN109445936B (zh) 一种云计算负载聚类方法、系统及电子设备
CN113268403B (zh) 时间序列的分析预测方法、装置、设备及存储介质
US20170109638A1 (en) Ensemble-Based Identification of Executions of a Business Process
CN115269108A (zh) 一种数据处理方法、装置及设备
CN113537850A (zh) 仓储优化方法、装置、计算机设备和存储介质
WO2021012861A1 (zh) 数据查询耗时评估方法、装置、计算机设备和存储介质
CN109697155B (zh) It系统性能评估方法、装置、设备及可读存储介质
US20230385048A1 (en) Predictive recycling of computer systems in a cloud environment
US20150281037A1 (en) Monitoring omission specifying program, monitoring omission specifying method, and monitoring omission specifying device
US20170109637A1 (en) Crowd-Based Model for Identifying Nonconsecutive Executions of a Business Process
US20230376800A1 (en) Predicting runtime variation in big data analytics
CN114785616A (zh) 数据风险检测方法、装置、计算机设备及存储介质
US20130219163A1 (en) Systems and methods for scheduling changes
CN111913648B (zh) 一种固态硬盘的数据处理方法及装置
CN114610561A (zh) 系统监测方法、装置、电子设备及计算机可读存储介质
CN105897503A (zh) 基于资源信息增益的Hadoop集群瓶颈检测算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40020774

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant