CN116827950A - 云资源的处理方法、装置、设备及存储介质 - Google Patents
云资源的处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116827950A CN116827950A CN202310782249.1A CN202310782249A CN116827950A CN 116827950 A CN116827950 A CN 116827950A CN 202310782249 A CN202310782249 A CN 202310782249A CN 116827950 A CN116827950 A CN 116827950A
- Authority
- CN
- China
- Prior art keywords
- cloud
- data
- resource
- capacity
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 70
- 230000008602 contraction Effects 0.000 claims abstract description 50
- 238000004458 analytical method Methods 0.000 claims description 51
- 238000000034 method Methods 0.000 claims description 39
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 230000009467 reduction Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 16
- 238000003066 decision tree Methods 0.000 claims description 12
- 238000009499 grossing Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000004140 cleaning Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000007637 random forest analysis Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 10
- 238000007726 management method Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 239000002699 waste material Substances 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 5
- 238000003064 k means clustering Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000013468 resource allocation Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请属于云计算领域，具体涉及一种云资源的处理方法、装置、设备及存储介质。本申请的云资源的处理方法包括：获取云资源的历史性能数据，以及云资源对应的云应用的历史应用数据；对历史性能数据进行分析处理，得到预测扩缩容参考值；对历史应用数据进行分析处理，确定目标云应用所使用的第一云资源，并采用相似度函数对第一云资源进行划分，得到第二云资源的资源池；基于预测扩缩容参考值，对资源池中的第二云资源进行扩容或缩容。从而实现优化云计算资源使用的目的。
Description
技术领域
本申请涉及云计算领域，尤其涉及一种云资源的处理方法、装置、设备及存储介质。
背景技术
云计算资源弹性伸缩可以实现根据业务需求和策略调整计算资源。也即，云计算资源的容量需求随业务的变化而变化，云计算资源需求量较大时，云计算资源紧张，容量需要快速增加，简称扩容；云计算资源需求量较小时，大量云计算资源空闲，为了减少资源浪费，容量需要快速减少，简称缩容。
目前，在实现云计算资源的弹性扩缩容时，通常需要依赖运维人员和/或开发人员对云计算资源的状态与配置项的经验和预测，在没有容量限制的情况下，若在某些压力场景访问网络(Web)控制台和应用程序接口(Application Program Interface，简称:API)，可能会导致云计算资源“蔓延”并产生大量额外费用，或者导致大量未使用的云计算资源被浪费。因此，亟需一种可以优化云计算资源使用的方案。
发明内容
本申请实施例提供一种云资源的处理方法、装置、设备及存储介质，用于优化云计算资源的使用。
第一方面，本申请实施例提供一种云资源的处理方法，包括：获取云资源的历史性能数据，以及云资源对应的云应用的历史应用数据；对历史性能数据进行分析处理，得到预测扩缩容参考值；对历史应用数据进行分析处理，确定目标云应用所使用的第一云资源，并采用相似度函数对第一云资源进行划分，得到第二云资源的资源池；基于预测扩缩容参考值，对资源池中的第二云资源进行扩容或缩容。
在一种可能的实施方式中，对历史性能数据进行分析处理，得到预测扩缩容参考值，包括：对历史性能数据进行数据清洗处理，得到第一样本集；根据预设的第一扩容阈值和/或第一缩容阈值，对第一样本集中的第一性能数据添加第一扩容标签或第一缩容标签，得到第二样本集，第二样本集中包括添加了第一扩容标签或第一缩容标签的第一性能数据；确定服务器的当前负载数据，并根据当前负载数据，以及针对服务器的第二扩容阈值和/或第二缩容阈值，为第二样本集中的第二性能数据添加第二扩容标签或第二缩容标签，得到第三样本集，第三样本集中包括添加了第二扩容标签或第二缩容标签的第二性能数据；采用指数平滑模型对第三样本集中的线性性能数据进行分析处理，得到第一分析数据，并采用神经网络模型对第三样本集中的非线性性能数据进行分析处理，得到第二分析数据；根据第一分析数据和第二分析数据，确定预测扩缩容参考值。
在一种可能的实施方式中，确定服务器的当前负载数据，包括：获取服务器的历史负载数据；采用监督学习方法对历史负载数据进行训练，得到决策树模型；基于决策树模型，预测得到当前负载数据。
在一种可能的实施方式中，对历史应用数据进行分析处理，确定目标云应用所使用的第一云资源，包括：对历史应用数据进行随机采样，得到第四样本集；采用随机森林分类算法对第四样本集进行分类处理，确定第一云资源。
在一种可能的实施方式中，采用相似度函数对第一云资源进行划分，得到第二云资源的资源池，包括：采用聚类算法对第一云资源进行聚类处理，得到相似云资源簇；采用协同过滤算法，根据相似度函数，对相似云资源簇进行划分，得到第二云资源的资源池。
在一种可能的实施方式中，还包括：将相似云资源簇对应的云应用的应用数据，以及第二云资源对应的云应用的应用数据进行存储。
在一种可能的实施方式中，在基于预测扩缩容参考值，对资源池中的第二云资源进行扩容或缩容之后，还包括：将预测扩缩容参考值、第二云资源的性能数据、第二云资源对应的云应用的应用数据进行存储。
第二方面，本申请实施例提供一种云资源的处理装置，包括：获取模块，用于获取云资源的历史性能数据，以及所述云资源对应的云应用的历史应用数据；第一处理模块，用于对所述历史性能数据进行分析处理，得到预测扩缩容参考值；第二处理模块，用于对所述历史应用数据进行分析处理，确定目标云应用所使用的第一云资源，并采用相似度函数对所述第一云资源进行划分，得到第二云资源的资源池；第三处理模块，用于基于所述预测扩缩容参考值，对所述资源池中的第二云资源进行扩容或缩容。
第三方面，本申请实施例提供一种电子设备，包括：处理器，以及与处理器连接的存储器；存储器存储计算机执行指令；处理器执行存储器存储的计算机执行指令，以实现如第一方面的云资源的处理方法。
第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被执行时用于实现第一方面的云资源的处理方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，计算机程序被执行时实现如第一方面的云资源的处理方法。
本申请实施例提供的云资源的处理方法、装置、设备及存储介质，通过对云资源的历史性能数据和云应用的历史应用数据进行分析，可以精确地了解到云资源的使用情况和趋势，从而根据对云资源的实际需求，对云资源进行扩容或缩容，这样就可以避免云资源未使用导致的资源浪费以及高成本，也可以避免云资源不足分配，因此，实现了优化云资源的使用的目的。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种云资源的处理方法的应用场景示意图；
图2为本申请实施例提供的一种云资源的处理方法的流程图；
图3为本申请实施例提供的一种云资源的处理装置的结构示意图；
图4是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在根据本实施例的启示下做出的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面首先对本申请中涉及的名词进行解释。
扩容：将某个系统、设备、存储空间等的容量增加到更大的规模。
缩容：将某个系统、设备、存储空间等的容量减小到一定的规模。
背景技术中提供的相关技术中，至少存在以下技术问题：
目前，在实现云计算资源的弹性扩缩容时，通常需要依赖运维人员和/或开发人员对云计算资源的状态与配置项的经验和预测，在没有容量限制的情况下，若在某些压力场景访问网络(Web)控制台和应用程序接口(Application Program Interface，简称:API)，可能会导致云计算资源“蔓延”并产生大量额外费用，或者导致大量未使用的云计算资源被浪费。因为无法预测和评估需要多少云资源，也无法预估云资源供应商正在分配多少云资源，未使用的云资源意味着支出更多的成本。因此，云计算服务固有的可扩展性、灵活性和易于配置会导致云资源蔓延和成本超支，缺乏对云资源的优化管理将会增加大量意外成本。
针对上述的问题，本申请提出一种云资源的处理方法，通过对云资源的历史性能数据和云应用的历史应用数据进行分析，可以精确地了解到云资源的使用情况和趋势，从而根据对云资源的实际需求，对云资源进行扩容或缩容，这样就可以避免云资源未使用导致的资源浪费以及高成本，也可以避免云资源不足分配，因此，实现了优化云资源的使用的目的。
在一种实施例中，可以在一种应用场景中应用该云资源的处理方法。图1为本申请实施例提供的一种云资源的处理方法的应用场景示意图，如图1所示，云平台的日志管理系统可以用于提供历史数据，包括云资源的历史性能数据，以及云应用的历史应用数据。第一处理模块可以对历史性能数据进行分析处理，得到预测扩缩容参考值，并将得到的预测扩缩容参考值输出至资源池。第二处理模块可以对历史应用数据进行分析处理，得到第二云资源的资源池。这样，资源池中的第二云资源可以根据预测扩缩容参考值实现相应的扩容或缩容。
在上述场景中，第一处理模块在对历时性能数据进行分析处理时，还可以获取云资源的实时性能数据，通过实时性能数据与历史性能数据进行比较，在云资源的使用情况正常时，对历时性能数据进行分析处理。
在一种可选的实施方式中，通过对云资源的历史性能数据和云应用的历史应用数据进行结合分析，可以精确地了解到云资源的使用情况和趋势，从而对云资源进行扩容或缩容，以避免云资源未使用导致的资源浪费以及高成本，也可以避免云资源不足分配，从而实现优化云资源的使用的目的。
结合上述场景，下面通过几个具体实施例对本申请提供的云资源的处理方法的技术方案进行详细说明。
本申请提供了一种云资源的处理方法。图2为本申请实施例提供的一种云资源的处理方法的流程图，如图2所示，该方法包括以下步骤：
S201：获取云资源的历史性能数据，以及云资源对应的云应用的历史应用数据。
在本步骤中，可以通过云平台的日志管理系统，筛选得到历史数据，该历史数据包括云资源的历史性能数据，以及云应用的历史应用数据。
可选地，性能数据和应用数据可以统称为云资源相关的硬件数据。处理硬件数据之外，还可以获取业务数据，例如，用户的个人数据，操作数据等。
S202：对历史性能数据进行分析处理，得到预测扩缩容参考值。
在本步骤中，为了保证对云资源进行有效的处理，可以监控云资源的实时性能数据。
可选地，常见的弹性伸缩云资源可以包括云服务器，云数据库，云存储等，不同的云资源可以使用不同的性能监测指标，例如，云服务器的中央处理器(Central ProcessingUnit，简称：CPU)利用率、内存利用率、网络延迟等。然后将实时性能数据和历史性能数据进行比较，确定当前的云资源使用情况是否正常。在正常的情况下，才会对历史性能数据进行分析。
可选地，为了保证更加全面地对历史性能数据进行分析，可以对历史性能数据进行多维分析。其中，多维可以包括时间维度、空间维度、异常分析维度、性能指标分析维度等。
针对时间维度，可以按照时间维度分析历史性能数据，了解云资源的运行趋势和变化规律，包括每天、每周、每月和每季度的性能状况，以及特殊事件对性能的影响。
针对空间维度，可以按照空间维度分析历史性能数据，了解不同地区、不同数据中心和不同机房之间的性能差异，以及不同云资源配置对性能的影响。
针对异常分析维度，可以根据历史性能数据进行异常分析，找出异常事件和异常指标，了解异常事件的原因和影响，以及如何进行优化和改进。
针对性能指标分析维度，可以将历史性能数据按照多个指标进行分析，如CPU使用率、内存使用率、网络带宽等多个指标，通过对多个指标的综合分析，可以更全面地了解云资源的性能状况和变化趋势：
其中，针对CPU使用率，CPU使用率是衡量云资源性能的重要指标之一。通过分析历史性能数据中的CPU使用率，可以了解云资源的负载情况，以及是否存在CPU资源瓶颈问题。同时，也可以根据CPU使用率的变化趋势来预测云资源的未来负载情况，从而进行云资源的调整和优化。
针对内存使用率，内存使用率也是衡量云资源性能的重要指标。通过分析历史性能数据中的内存使用率，可以了解云资源的内存使用情况，以及是否存在内存资源瓶颈问题。同时，也可以根据内存使用率的变化趋势来预测云资源的未来内存负载情况，从而进行云资源的调整和优化。
针对磁盘I/O，通过分析历史性能数据中的磁盘I/O情况，可以了解云资源的磁盘读写速度，以及是否存在磁盘I/O瓶颈问题。同时，也可以根据磁盘I/O的变化趋势来预测云资源的未来磁盘负载情况，从而进行云资源的调整和优化。
针对网络带宽，通过分析历史性能数据中的网络带宽使用情况，可以了解云资源的网络使用情况，以及是否存在网络资源瓶颈问题。同时，也可以根据网络带宽的变化趋势来预测云资源的未来网络负载情况，从而进行云资源的调整和优化。
可选地，多维分析得到的分析结果可以放入ETL(Extract-Transform-Load)数据仓库中进行存储。
S203：对历史应用数据进行分析处理，确定目标云应用所使用的第一云资源，并采用相似度函数对第一云资源进行划分，得到第二云资源的资源池。
在本步骤中，历史应用数据可以包括云资源的基本信息数据和云应用的历史运行数据。目标云应用可以为潜在的云资源使用提升的云应用。
可选地，在对历史应用数据进行分析处理，确定出第一云资源之后，可以采用云资源的相似度函数，在第一云资源中确定出相似的第二云资源，然后将第二云资源组成资源池，以便于后续对多个第二云资源统一进行扩缩容。
S204：基于预测扩缩容参考值，对资源池中的第二云资源进行扩容或缩容。
在本步骤中，在确定了预测扩缩容参考值之后，可以按照预测扩容参考值，对资源池中的第二云资源进行扩容，或按照预测缩容参考值，对资源池中的第二云资源进行缩容，这样就可以实现对云资源的动态调配，也即，实现云资源的弹性伸缩，优化云资源的使用。
本实施例提供的云资源的处理方法，通过对云资源的历史性能数据和云应用的历史应用数据进行分析，可以精确地了解到云资源的使用情况和趋势，从而根据对云资源的实际需求，对云资源进行扩容或缩容，这样就可以避免云资源未使用导致的资源浪费以及高成本，也可以避免云资源不足分配，因此，实现了优化云资源的使用的目的。
在一种实施例中，对历史性能数据进行分析处理，得到预测扩缩容参考值，包括：对历史性能数据进行数据清洗处理，得到第一样本集；根据预设的第一扩容阈值和/或第一缩容阈值，对第一样本集中的第一性能数据添加第一扩容标签或第一缩容标签，得到第二样本集，第二样本集中包括添加了第一扩容标签或第一缩容标签的第一性能数据；确定服务器的当前负载数据，并根据当前负载数据，以及针对服务器的第二扩容阈值和/或第二缩容阈值，为第二样本集中的第二性能数据添加第二扩容标签或第二缩容标签，得到第三样本集，第三样本集中包括添加了第二扩容标签或第二缩容标签的第二性能数据；采用指数平滑模型对第三样本集中的线性性能数据进行分析处理，得到第一分析数据，并采用神经网络模型对第三样本集中的非线性性能数据进行分析处理，得到第二分析数据；根据第一分析数据和第二分析数据，确定预测扩缩容参考值。
在该方案中，在对历史性能数据进行分析处理时，可以先对历史性能数据进行数据清洗，以清洗掉无关的业务数据，然后可以通过预测模型对数据清洗后的历史性能数据进行分析，得到第一样本集。预测模型可以对清洗后的历史性能数据进行特征提取和时间序列建模，从而进一步提高预测模型的预测能力和泛化能力。
具体地，在得到第一样本集之后，可以采用指数平滑法对第一样本集进行训练，得到指数平滑模型(Exponential Smoothing Model)。然后通过设置一定的容量阈值，也即第一扩容阈值和/或第一缩容阈值，若第一样本集中的第一性能数据表示容量超过第一扩容阈值或低于第一缩容阈值，则对第一性能数据添加第一扩容标签或第一缩容标签，得到第二样本集。
具体地，在确定第二样本集之后，为了使最终得到的预测扩缩容参考值更加贴合实际使用的服务器，可以确定实际使用的服务器的当前负载数据，并对当前服务器预设第二扩容阈值和/或第二缩容阈值，这样再根据服务器的当前负载数据以及第二扩容阈值和/或第二缩容阈值，就可以对第二样本集中的第二性能数据添加第二扩容标签或第二缩容标签，得到第三样本集。该第三样本集更加贴合实际使用的服务器。
在一种可选的实施方式中，第三样本集中可以包括平滑的线性性能数据，以及不平滑的非线性性能数据(也即时间序列数据)，而指数平滑模型可以为平滑的线性数据进行分析处理，循环神经网络(Recurrent Neural Network，简称：RNN)模型可以对不平滑的非线性数据进行分析处理，其中RNN模型时通过第三样本集对RNN进行训练得到的。为了提高对第三样本集分析的精确性，以及提高最终得到的预测扩缩容参考值的精确性(也即提高预测精度)，可以采用指数平滑模型对第三样本集中的线性性能数据进行分析处理，得到第一分析数据，并采用RNN模型对第三样本集中的非线性性能数据进行分析处理，得到第二分析数据。然后对第一分析数据和第二分析数据进行综合测试和评估，确定预测扩缩容参考值，以便于对后续云应用的应用数据进行统一调度。
可选地，第一分析数据和第二分析数据可以进行存储，以便于后续作为历史数据以供分析。存储时，可以采用ETL数据仓库。
在一种实施例中，确定服务器的当前负载数据，包括：获取服务器的历史负载数据；采用监督学习方法对历史负载数据进行训练，得到决策树模型；基于决策树模型，预测得到当前负载数据。
在该方案中，在确定服务器的当前负载数据时，可以采用决策树模型进行预测，然后基于决策树模型的预测结果确定是否需要进行扩缩容。
具体地，可以将服务器的历史负载数据作为输入特征，采用监督学习方法训练决策树模型。然后利用训练好的决策树模型预测服务器的当前负载情况。从而便于根据服务器的当前负载数据，确定更贴合当前服务器的第三样本集，进而提高最终得到的预测扩缩容参考值的精确性。
在一种实施例中，对历史应用数据进行分析处理，确定目标云应用所使用的第一云资源，包括：对历史应用数据进行随机采样，得到第四样本集；采用随机森林分类算法对第四样本集进行分类处理，确定第一云资源。
在该方案中，在对历史应用数据进行分析处理时，可以采用预测模型对历史应用数据进行分析。该预测模型可以为根据训练数据集和预测数据集进行训练得到的，训练数据集中包括历史应用数据。
具体地，可以从历史应用数据中有放回的随机抽取采样，形成第四样本集。然后再第四样本集上实施随机森林分类算法，准确快速地挖掘出潜在的云资源使用提成的第一云资源，从而便于后续根据第一云资源确定出第二云资源，实现对第二云资源进行扩容或缩容，可以避免云资源未使用导致的资源浪费以及高成本，也可以避免云资源不足分配，因此，实现了优化云资源的使用的目的。
可选地，为了得到更加准确和鲁棒的预测结果，可以使用集成学习技术进行模型融合，也即，将多个不同的预测模型进行组合。
在一种实施例中，采用相似度函数对第一云资源进行划分，得到第二云资源的资源池，包括：采用聚类算法对第一云资源进行聚类处理，得到相似云资源簇；采用协同过滤算法，根据相似度函数，对相似云资源簇进行划分，得到第二云资源的资源池。
在该方案中，聚类算法可以为K-means聚类算法，在对第一云资源进行划分时，可以采用K-means聚类算法对第一云资源进行聚类处理，得到粗略相似云资源簇，粗略相似云资源簇可以为多簇，针对每一簇粗略相似云资源簇，可以采用协同过滤算法，根据云资源的相似度函数，对该簇粗略相似云资源簇进行划分，得到该簇对应的第二云资源，最后将每一簇对应的第二云资源组成资源池，以便于可以对资源池中的所有第二云资源进行统一调配。
具体地，在得到第二云资源的资源池之后，可以基于预测扩缩容参考值对资源池中的所有第二云资源进行扩容或缩容，以维护业务的稳定性，并提高云资源的使用率。
在一种实施例中，还包括：将相似云资源簇对应的云应用的应用数据，以及第二云资源对应的云应用的应用数据进行存储。
在该方案中，为了实现预测模型的不断优化和更新，提高预测模型对历史应用数据进行分析的精确度，可以在得到相似云资源簇和第二云资源之后，将相似云资源簇和第二云资源对应的云应用的应用数据进行存储，以便于后续进行云资源优化使用时，将存储的相似云资源簇和第二云资源对应的云应用的应用数据作为历史应用数据进行分析预测。
可选地，存储应用数据时，可以采用ETL数据仓库。通过在模型层面采用增量式学习方式进行训练，不断将新获得的数据(例如，应用数据，性能数据，分析结果等)作为样本加入到模型中进行学习，可以实现模型的不断优化和更新，提高模型的预测精度。
可选地，可以采用异构计算技术，将模型训练过程和预测过程分布式进行，从而提高模型的计算速度和效率。
在一种实施例中，在基于预测扩缩容参考值，对资源池中的第二云资源进行扩容或缩容之后，还包括：将预测扩缩容参考值、第二云资源的性能数据、第二云资源对应的云应用的应用数据进行存储。
在该方案中，预测扩缩容参考值、第二云资源的性能数据、第二云资源对应的云应用的应用数据可以作为样本数据继续反馈给预测模型，以实现模型的不断优化和更新，提高模型的预测精度。因此，可以将预测扩缩容参考值、第二云资源的性能数据、第二云资源对应的云应用的应用数据进行存储。可选地，存储时，可以采用ETL数据仓库。
可选地，在得到预测扩缩容参考值、第二云资源的性能数据、第二云资源对应的云应用的应用数据之后，可以将预测扩缩容参考值、第二云资源的性能数据、第二云资源对应的云应用的应用数据再次经过数据清洗、分析、扩缩容预测等，然后优化部分数据继续作为历史数据以供分析使用。
本申请提供的云资源的处理方法，通过定义预测区间，可以减少训练的样本数，便于提高神经网络模型的训练效率，同时可以防止神经网络模型过度拟合；并且，可以综合对指数平滑模型分析的第一分析数据和神经网络模型分析的第二分析数据进行测试和评估，以提高获取到的预测扩缩容参考值的准确性和稳定性；此外，可以同时参考云资源下的应用历史数据，利用随机森林分类算法、K-means聚类算法和协同过滤算法相结合的算法的准确性和运行速度，能够在大量运行状态下快速高效运行云资源应用分类算法，为资源池提前进行云资源预配；另外，性能数据的分析作为硬件指标，和云应用的应用数据分析相结合，形成一个数据分析闭环，使得分析和预测结果越来越精准，使得云资源配置预分配更加全面，可以减少云资源扩缩容依赖运维和开发人员对于阈值的经验性配置，以及减少对于全面监控分析数据的依赖，实现节约云资源的预算。
因此，本申请提供的云资源的处理方法，通过历史数据分析和实时监控相结合的方法，动态调整大数据和云资源的分配，从而提高云资源的利用率。与传统的静态资源分配方式相比，本申请的方案可以根据云资源的实际使用情况和趋势对云资源进行动态优化，减少云资源的浪费和过度分配，同时避免云资源的不足分配，降低成本。因此，本申请提供的方案具有较高的自动化程度和稳定性，能够有效地帮助用户降低管理成本和提高效率。
本申请还提供了一种云资源的处理装置。图3为本申请实施例提供的云资源的处理装置的结构示意图，如图3所示，该云资源的处理装置300包括：
获取模块301，用于获取云资源的历史性能数据，以及云资源对应的云应用的历史应用数据；
第一处理模块302，用于对历史性能数据进行分析处理，得到预测扩缩容参考值；
第二处理模块303，用于对历史应用数据进行分析处理，确定目标云应用所使用的第一云资源，并采用相似度函数对第一云资源进行划分，得到第二云资源的资源池；
第三处理模块304，用于基于预测扩缩容参考值，对资源池中的第二云资源进行扩容或缩容。
可选的，第一处理模块302在对历史性能数据进行分析处理，得到预测扩缩容参考值时，具体用于：对历史性能数据进行数据清洗处理，得到第一样本集；根据预设的第一扩容阈值和/或第一缩容阈值，对第一样本集中的第一性能数据添加第一扩容标签或第一缩容标签，得到第二样本集，第二样本集中包括添加了第一扩容标签或第一缩容标签的第一性能数据；确定服务器的当前负载数据，并根据当前负载数据，以及针对服务器的第二扩容阈值和/或第二缩容阈值，为第二样本集中的第二性能数据添加第二扩容标签或第二缩容标签，得到第三样本集，第三样本集中包括添加了第二扩容标签或第二缩容标签的第二性能数据；采用指数平滑模型对第三样本集中的线性性能数据进行分析处理，得到第一分析数据，并采用神经网络模型对第三样本集中的非线性性能数据进行分析处理，得到第二分析数据；根据第一分析数据和第二分析数据，确定预测扩缩容参考值。
可选的，第一处理模块302在确定服务器的当前负载数据时，具体用于：获取服务器的历史负载数据；采用监督学习方法对历史负载数据进行训练，得到决策树模型；基于决策树模型，预测得到当前负载数据。
可选的，第二处理模块303在对历史应用数据进行分析处理，确定目标云应用所使用的第一云资源时，具体用于：对历史应用数据进行随机采样，得到第四样本集；采用随机森林分类算法对第四样本集进行分类处理，确定第一云资源。
可选的，第二处理模块303在采用相似度函数对第一云资源进行划分，得到第二云资源的资源池时，具体用于：采用聚类算法对第一云资源进行聚类处理，得到相似云资源簇；采用协同过滤算法，根据相似度函数，对相似云资源簇进行划分，得到第二云资源的资源池。
可选的，该云资源的处理装置300还包括：存储模块(未示出)，用于将相似云资源簇对应的云应用的应用数据，以及第二云资源对应的云应用的应用数据进行存储。
可选的，存储模块还用于在基于预测扩缩容参考值，对资源池中的第二云资源进行扩容或缩容之后，将预测扩缩容参考值、第二云资源的性能数据、第二云资源对应的云应用的应用数据进行存储。
本实施例提供的云资源的处理装置，用于执行前述方法实施例中的云资源的处理方法的技术方案，其实现原理和技术效果类似，在此不再赘述。
本申请实施例还提供了一种电子设备。图4是根据一示例性实施例示出的一种电子设备的框图。如图4所示，该电子设备400包括：
处理器411，存储器412，以及交互接口413；
其中，处理器411与存储器412和交互接口413连接；存储器412用于存储处理器411可执行的计算机执行指令；处理器411配置为经由执行计算机可执行指令来执行前述云资源的处理方法中的技术方案；交互接口413为处理器411和外围接口模块之间提供接口。
可选的，存储器412既可以是独立的，也可以跟处理器411集成在一起。
可选的，当存储器412是独立于处理器411之外的器件时，电子设备400还可以包括：总线，用于将上述器件连接起来。
可选地，存储器可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序。进一步地，上述存储器内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
可选地，处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(Network Processor，简称：NP)等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现前述方法实施例中提供的云资源的处理方法的技术方案。
本申请实施例还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现方法实施例中提供的云资源的处理方法的技术方案。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种云资源的处理方法，其特征在于，包括：
获取云资源的历史性能数据，以及所述云资源对应的云应用的历史应用数据；
对所述历史性能数据进行分析处理，得到预测扩缩容参考值；
对所述历史应用数据进行分析处理，确定目标云应用所使用的第一云资源，并采用相似度函数对所述第一云资源进行划分，得到第二云资源的资源池；
基于所述预测扩缩容参考值，对所述资源池中的第二云资源进行扩容或缩容。
2.根据权利要求1所述的处理方法，其特征在于，所述对所述历史性能数据进行分析处理，得到预测扩缩容参考值，包括：
对所述历史性能数据进行数据清洗处理，得到第一样本集；
根据预设的第一扩容阈值和/或第一缩容阈值，对所述第一样本集中的第一性能数据添加第一扩容标签或第一缩容标签，得到第二样本集，所述第二样本集中包括添加了第一扩容标签或第一缩容标签的第一性能数据；
确定服务器的当前负载数据，并根据所述当前负载数据，以及针对所述服务器的第二扩容阈值和/或第二缩容阈值，为所述第二样本集中的第二性能数据添加第二扩容标签或第二缩容标签，得到第三样本集，所述第三样本集中包括添加了第二扩容标签或第二缩容标签的第二性能数据；
采用指数平滑模型对所述第三样本集中的线性性能数据进行分析处理，得到第一分析数据，并采用神经网络模型对所述第三样本集中的非线性性能数据进行分析处理，得到第二分析数据；
根据所述第一分析数据和所述第二分析数据，确定所述预测扩缩容参考值。
3.根据权利要求2所述的处理方法，其特征在于，所述确定服务器的当前负载数据，包括：
获取所述服务器的历史负载数据；
采用监督学习方法对所述历史负载数据进行训练，得到决策树模型；
基于所述决策树模型，预测得到所述当前负载数据。
4.根据权利要求1至3任一项所述的处理方法，其特征在于，对所述历史应用数据进行分析处理，确定目标云应用所使用的第一云资源，包括：
对所述历史应用数据进行随机采样，得到第四样本集；
采用随机森林分类算法对所述第四样本集进行分类处理，确定所述第一云资源。
5.根据权利要求4所述的处理方法，其特征在于，采用相似度函数对所述第一云资源进行划分，得到第二云资源的资源池，包括：
采用聚类算法对所述第一云资源进行聚类处理，得到相似云资源簇；
采用协同过滤算法，根据所述相似度函数，对所述相似云资源簇进行划分，得到所述第二云资源的资源池。
6.根据权利要求5所述的处理方法，其特征在于，还包括：
将所述相似云资源簇对应的云应用的应用数据，以及所述第二云资源对应的云应用的应用数据进行存储。
7.根据权利要求1至3任一项所述的处理方法，其特征在于，在基于所述预测扩缩容参考值，对所述资源池中的第二云资源进行扩容或缩容之后，还包括：
将所述预测扩缩容参考值、所述第二云资源的性能数据、所述第二云资源对应的云应用的应用数据进行存储。
8.一种云资源的处理装置，其特征在于，包括：
获取模块，用于获取云资源的历史性能数据，以及所述云资源对应的云应用的历史应用数据；
第一处理模块，用于对所述历史性能数据进行分析处理，得到预测扩缩容参考值；
第二处理模块，用于对所述历史应用数据进行分析处理，确定目标云应用所使用的第一云资源，并采用相似度函数对所述第一云资源进行划分，得到第二云资源的资源池；
第三处理模块，用于基于所述预测扩缩容参考值，对所述资源池中的第二云资源进行扩容或缩容。
9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至7任一项所述的云资源的处理方法。
10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，其特征在于，所述计算机执行指令被执行时用于实现权利要求1至7任一项所述的云资源的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310782249.1A CN116827950A (zh) | 2023-06-28 | 2023-06-28 | 云资源的处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310782249.1A CN116827950A (zh) | 2023-06-28 | 2023-06-28 | 云资源的处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116827950A true CN116827950A (zh) | 2023-09-29 |
Family
ID=88140848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310782249.1A Pending CN116827950A (zh) | 2023-06-28 | 2023-06-28 | 云资源的处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116827950A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117170881A (zh) * | 2023-11-02 | 2023-12-05 | 建信金融科技有限责任公司 | 一种资源调控的方法、装置及存储介质、处理器 |
-
2023
- 2023-06-28 CN CN202310782249.1A patent/CN116827950A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117170881A (zh) * | 2023-11-02 | 2023-12-05 | 建信金融科技有限责任公司 | 一种资源调控的方法、装置及存储介质、处理器 |
| CN117170881B (zh) * | 2023-11-02 | 2024-02-02 | 建信金融科技有限责任公司 | 一种资源调控的方法、装置及存储介质、处理器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Janardhanan et al. | CPU workload forecasting of machines in data centers using LSTM recurrent neural networks and ARIMA models | |
| US9772886B2 (en) | Optimizing execution and resource usage in large scale computing | |
| Khan et al. | Workload characterization and prediction in the cloud: A multiple time series approach | |
| US9590880B2 (en) | Dynamic collection analysis and reporting of telemetry data | |
| US8607018B2 (en) | Memory usage configuration based on observations | |
| Herodotou et al. | Profiling, what-if analysis, and cost-based optimization of mapreduce programs | |
| US8694574B2 (en) | Optimized settings in a configuration database with boundaries | |
| Garraghan et al. | An analysis of the server characteristics and resource utilization in google cloud | |
| US11228489B2 (en) | System and methods for auto-tuning big data workloads on cloud platforms | |
| US20160162599A1 (en) | Query optimization with zone map selectivity modeling | |
| US10817046B2 (en) | Power saving through automated power scheduling of virtual machines | |
| CN111258767A (zh) | 复杂系统仿真应用的云计算资源智能分配方法与装置 | |
| Beghoura et al. | Green software requirements and measurement: random decision forests-based software energy consumption profiling | |
| Chen et al. | Optimal variability sensitive condition-based maintenance with a Cox PH model | |
| CN116827950A (zh) | 云资源的处理方法、装置、设备及存储介质 | |
| CN113537850A (zh) | 仓储优化方法、装置、计算机设备和存储介质 | |
| CN111582488A (zh) | 一种事件推演方法及装置 | |
| CN108804601A (zh) | 电网运营监测大数据主动式分析方法及装置 | |
| Abdul et al. | Database workload management through CBR and fuzzy based characterization | |
| Betke et al. | Footprinting parallel I/O–machine learning to classify application’s I/O behavior | |
| US20160253591A1 (en) | Method and apparatus for managing performance of database | |
| Qi et al. | Data mining based root-cause analysis of performance bottleneck for big data workload | |
| CN113220530B (zh) | 数据质量监控方法及平台 | |
| Zhang et al. | HPC usage behavior analysis and performance estimation with machine learning techniques | |
| US11651281B2 (en) | Feature catalog enhancement through automated feature correlation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |