CN112416608B - 面向云平台性能评估的资源分配方法、装置及存储介质 - Google Patents
面向云平台性能评估的资源分配方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112416608B CN112416608B CN202110085084.3A CN202110085084A CN112416608B CN 112416608 B CN112416608 B CN 112416608B CN 202110085084 A CN202110085084 A CN 202110085084A CN 112416608 B CN112416608 B CN 112416608B
- Authority
- CN
- China
- Prior art keywords
- resource allocation
- cloud platform
- score
- performance evaluation
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种面向云平台性能评估的资源分配方法，根据云平台的历史资源分配策略以及与所述历史资源分配策略关联的历史测试评分拟合高斯过程；获取所述高斯过程中各个预设资源分配策略对应的后向概率；根据所述后向概率确定多个所述预设资源分配策略中的当前资源分配策略；按照所述当前资源分配策略对云平台进行测试。本发明还公开了一种面向云平台性能评估的资源分配装置及存储介质。本发明通过将资源分配过程拟合为高斯过程，并在高斯过程中以概率的角度迅速找到最有可能得到最高测试评分的最优资源分配策略，使得确定最优资源分配策略花费的成本更小，也更加准确，提高了云平台性能测试时资源分配的效率。
Description
技术领域
本发明涉及性能评估技术领域，尤其涉及面向云平台性能评估的资源分配方法、装置及存储介质。
背景技术
使用openstack（开放项目）等技术架构的公有云、私有云广泛应用在商业活动中。业界推出了大量的评估云平台性能的测试评估工具，并且组织了多种云平台性能评比的榜单，面向现有云平台的性能分数进行排名。在使用榜单规定的性能评估工具进行测试的过程中，往往会限定云平台的节点数量，并且在有限节点数量的条件下，针对单个业务服务进行资源的规划和分配，目的是在性能评比榜单要求的总计算资源的限制条件下，通过资源配比，得到最优的性能测试分数。
传统的资源分配往往依据经验，在给定每台虚拟机较大余量资源的基础上，根据测试结果和测试过程中的资源监控来判断是否可以继续压缩每台虚拟机的计算资源，并增加虚拟机，以提升云平台扩展性；在性能评估打榜活动中，往往重复上述过程，直到测试人员从经验上认为已经达到一个最优值，则停止进一步探索。这种分配策略在实施过程中很大程度上受测试人员经验的限制，会耗费大量的人力物力，并且往往难以得到准确的最优结果，因此，目前的资源分配方法的效率偏低。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种面向云平台性能评估的资源分配方法、装置及存储介质，旨在通过拟合高斯过程，以概率的角度迅速找到最优资源分配策略，提高云平台性能测试时资源分配的效率。
为实现上述目的，本发明提供一种面向云平台性能评估的资源分配方法，所述面向云平台性能评估的资源分配方法包括以下步骤：
根据云平台的历史资源分配策略以及与所述历史资源分配策略关联的历史测试评分拟合高斯过程；
获取所述高斯过程中各个预设资源分配策略对应的后向概率；
根据所述后向概率确定多个所述预设资源分配策略中的当前资源分配策略；
按照所述当前资源分配策略对云平台进行测试。
可选地，所述按照所述当前资源分配策略对云平台进行测试的步骤之后，还包括：
获取按照所述当前资源分配策略对云平台进行测试时对应的当前测试评分；
关联存储所述当前资源分配策略以及所述当前测试评分，其中，将所述当前资源分配策略添加至所述历史资源分配策略，以及将所述当前测试评分添加至所述历史测试评分。
可选地，所述获取按照所述当前资源分配策略对云平台进行测试时对应的当前测试评分的步骤包括：
获取按照所述当前资源分配策略对云平台进行测试得到的多个子项目评分；
获取各个所述子项目评分对应的权重参数；
根据各个所述子项目评分以及所述子项目评分对应的权重参数获取所述当前测试评分。
可选地，所述获取按照所述当前资源分配策略对云平台进行测试时对应的当前测试评分的步骤包括：
获取按照所述当前资源分配策略对云平台进行测试得到的初始测试评分；
在所述初始测试评分大于第一预设评分时，将所述初始测试评分与所述第一预设评分的差值作为所述当前测试评分；
在所述初始测试评分小于或等于所述第一预设评分时，将第二预设评分作为所述当前测试评分，其中，所述第二预设评分小于所述第一预设评分。
可选地，所述关联存储所述当前资源分配策略以及所述当前测试评分的步骤之后，还包括：
检测是否满足性能评估的结束条件；
在满足所述性能评估的结束条件时，获取添加有所述当前测试评分的历史测试评分中的评分最大值，并将所述评分最大值作为所述云平台的性能评估分数；
在不满足所述性能评估的结束条件时，返回执行所述根据云平台的历史资源分配策略以及与所述历史资源分配策略关联的历史测试评分拟合高斯过程的步骤。
可选地，所述性能评估的结束条件包括以下至少一个：
对云平台进行测试的累计测试次数大于或等于第一预设次数；
当前测试评分相较于前一次对云平台进行测试时的测试评分的评分增幅或评分增加量小于预设值；
当前测试评分相较于前一次对云平台进行测试时的测试评分的评分增幅或评分增加量小于预设值的连续累计次数大于第二预设次数。
可选地，所述根据所述后向概率确定多个所述预设资源分配策略中的当前资源分配策略的步骤包括：
获取多个所述预设资源分配策略对应的后向概率中的概率极值；
获取所述概率极值对应的所述当前资源分配策略。
可选地，所述当前资源分配策略包括云平台的虚拟机实例对应的处理器配置信息、运行内存配置信息、存储器配置信息以及网络资源配置信息中的至少一个。
此外，为实现上述目的，本发明还提供一种面向云平台性能评估的资源分配装置，所述面向云平台性能评估的资源分配装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的面向云平台性能评估的资源分配程序，所述面向云平台性能评估的资源分配程序被所述处理器执行时实现如上所述中任一项所述的面向云平台性能评估的资源分配方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有面向云平台性能评估的资源分配程序，所述面向云平台性能评估的资源分配程序被处理器执行时实现如上所述中任一项所述的面向云平台性能评估的资源分配方法的步骤。
本发明实施例提出的面向云平台性能评估的资源分配方法、装置及存储介质，根据云平台的历史资源分配策略以及与所述历史资源分配策略关联的历史测试评分拟合高斯过程；获取所述高斯过程中各个预设资源分配策略对应的后向概率；根据所述后向概率确定多个所述预设资源分配策略中的当前资源分配策略；按照所述当前资源分配策略对云平台进行测试。本发明通过将资源分配过程拟合为高斯过程，并在高斯过程中以概率的角度迅速找到最有可能得到最高测试评分的最优资源分配策略，使得确定最优资源分配策略花费的成本更小，也更加准确，提高了云平台性能测试时资源分配的效率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本发明面向云平台性能评估的资源分配方法的一实施例的流程示意图；
图3为本发明面向云平台性能评估的资源分配方法另一实施例的流程示意图；
图4为本发明面向云平台性能评估的资源分配方法再一实施例的流程示意图；
图5为本发明面向云平台性能评估的资源分配方法又一实施例的流程示意图；
图6为本发明的云平台测试架构的终端示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种解决方案，通过将资源分配过程拟合为高斯过程，并在高斯过程中以概率的角度迅速找到最有可能得到最高测试评分的最优资源分配策略，使得确定最优资源分配策略花费的成本更小，也更加准确，提高了云平台性能测试时资源分配的效率。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端为终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU（Central Processing Unit，中央处理器），网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM（random access memory，随机存取存储器）存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及面向云平台性能评估的资源分配程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端（用户端），与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的面向云平台性能评估的资源分配程序，并执行以下操作：
根据云平台的历史资源分配策略以及与所述历史资源分配策略关联的历史测试评分拟合高斯过程；
获取所述高斯过程中各个预设资源分配策略对应的后向概率；
根据所述后向概率确定多个所述预设资源分配策略中的当前资源分配策略；
按照所述当前资源分配策略对云平台进行测试。
进一步地，处理器1001可以调用存储器1005中存储的面向云平台性能评估的资源分配程序，还执行以下操作：
获取按照所述当前资源分配策略对云平台进行测试时对应的当前测试评分；
关联存储所述当前资源分配策略以及所述当前测试评分，其中，将所述当前资源分配策略添加至所述历史资源分配策略，以及将所述当前测试评分添加至所述历史测试评分。
进一步地，处理器1001可以调用存储器1005中存储的面向云平台性能评估的资源分配程序，还执行以下操作：
获取按照所述当前资源分配策略对云平台进行测试得到的多个子项目评分；
获取各个所述子项目评分对应的权重参数；
根据各个所述子项目评分以及所述子项目评分对应的权重参数获取所述当前测试评分。
进一步地，处理器1001可以调用存储器1005中存储的面向云平台性能评估的资源分配程序，还执行以下操作：
获取按照所述当前资源分配策略对云平台进行测试得到的初始测试评分；
在所述初始测试评分大于第一预设评分时，将所述初始测试评分与所述第一预设评分的差值作为所述当前测试评分；
在所述初始测试评分小于或等于所述第一预设评分时，将第二预设评分作为所述当前测试评分，其中，所述第二预设评分小于所述第一预设评分。
进一步地，处理器1001可以调用存储器1005中存储的面向云平台性能评估的资源分配程序，还执行以下操作：
检测是否满足性能评估的结束条件；
在满足所述性能评估的结束条件时，获取添加有所述当前测试评分的历史测试评分中的评分最大值，并将所述评分最大值作为所述云平台的性能评估分数；
在不满足所述性能评估的结束条件时，返回执行所述根据云平台的历史资源分配策略以及与所述历史资源分配策略关联的历史测试评分拟合高斯过程的步骤。
进一步地，处理器1001可以调用存储器1005中存储的面向云平台性能评估的资源分配程序，还执行以下操作：
检测是否满足性能评估的结束条件，其中，所述性能评估的结束条件包括以下至少一个：
对云平台进行测试的累计测试次数大于或等于第一预设次数；
当前测试评分相较于前一次对云平台进行测试时的测试评分的评分增幅或评分增加量小于预设值；
当前测试评分相较于前一次对云平台进行测试时的测试评分的评分增幅或评分增加量小于预设值的连续累计次数大于第二预设次数。
进一步地，处理器1001可以调用存储器1005中存储的面向云平台性能评估的资源分配程序，还执行以下操作：
获取多个所述预设资源分配策略对应的后向概率中的概率极值；
获取所述概率极值对应的所述当前资源分配策略。
参照图2，在一实施例中，所述面向云平台性能评估的资源分配方法包括以下步骤：
步骤S10，根据云平台的历史资源分配策略以及与所述历史资源分配策略关联的历史测试评分拟合高斯过程；
在本实施例中，实施例终端为终端设备，终端设备承载有云平台。
可选地，如图6所示，终端设备的云平台包括云平台监控管理终端以及虚拟机实例，虚拟机实例运行在给定的物理计算节点之上，其数量由云平台监控管理终端根据指定的资源分配策略进行分配。
可选地，云平台还可包括性能评估工具，性能评估工具中配置了多种面向云平台的测试工具，包括SPEC（Standard Performance Evaluation Corporation，标准性能评估公司） IaaS（Infrastructure as a Service，基础设施即服务） 2018、SPECVirt（StandardPerformance Evaluation Corporation Virtual，标准性能评估公司虚拟化）等，并且留有API（Application Programming Interface，应用程序接口）接口，以便接入更多的开源测试工具。分配好虚拟机实例后，便可以使用多种性能评估工具。在对云平台进行性能评估时，以SPEC IaaS 2018测试工具为例，对虚拟机集群进行测试，测试结束后，性能评估工具会根据虚拟机实例作为服务器集群响应测试激励客户端的各项服务反馈质量、任务完成度、扩展性等得出相应的评分。
可选地，云平台还可资源分配策略生成器，资源分配策略生成器可记录并维护历史资源分配策略以及与历史资源分配策略关联的历史测试评分，并且可根据云平台的历史资源分配策略以及与历史资源分配策略关联的历史测试评分确定当前资源分配策略，并将当前资源分配策略输出至云平台监控管理终端。
可选地，历史测试评分可由对云平台的历史测试过程得到。在云平台的历史测试中，按照历史资源分配策略分配云平台的虚拟机实例，通过调用测试工具，执行云平台与测试激励客户端设备之间的各个业务服务，测试工具输出相应的测试评分，该测试评分即为与历史资源分配策略关联的历史测试评分。
可选地，在根据历史资源分配策略以及与历史资源分配策略关联的历史测试评分拟合高斯过程时，若历史资源分配策略以及历史测试评分均存在多个，可将单个历史资源分配策略与关联的历史测试评分作为一对历史测试数据，根据多对历史测试数据拟合高斯过程，例如，以历史资源分配策略作为横坐标，以与历史资源分配策略关联的历史测试评分作为纵坐标，即可确定坐标中对应的坐标点。需要说明的是，多对历史测试数据在坐标系中的坐标点服从正态分布，因此，可通过拟合高斯过程预测出最优的资源分配策略。
步骤S20，获取所述高斯过程中各个预设资源分配策略对应的后向概率；
在本实施例中，采用TPE（Tree-structured Parzen Estimator，树状结构帕尔逊估计方法）搜索的算法确定当前预测的最优资源分配策略，具体地，由于云平台的总资源是固定的，因此，云平台的资源分配策略需要限定在可达到的参数范围内，在参数范围内存在多个预设资源分配策略，因此，可获取高斯过程中各个预设资源分配策略对应的后向概率EI（Expected Improvement，期望增量），后向概率表征该坐标点对应的资源分配策略为最优分配策略的概率，因此，可通过后向概率确定多个预设资源分配策略中的最优分配策略，即当前资源分配策略。
可选地，后向概率的具体计算方式可参照TPE（Tree-structured ParzenEstimator，树状结构帕尔逊估计方法）搜索算法。
步骤S30，根据所述后向概率确定多个所述预设资源分配策略中的当前资源分配策略；
在本实施例中，在获取到各个预设资源分配策略对应的后向概率后，获取所有向后概率中的概率极值，概率极值用于表征对应的资源分配策略为最优资源分配策略的概率。获取概率极值所在的坐标点对应的预设资源分配策略，并将该预设资源分配策略作为当前资源分配策略。
可选地，概率极值为多个后向概率中的最大概率值。
可选地，当前资源分配策略包括云平台的虚拟机实例对应的处理器配置信息、运行内存配置信息、存储器配置信息以及网络资源配置信息中的至少一个，还可包括云平台的虚拟机实例数量。可选地，处理器配置信息包括该虚拟机实例的处理器核心数量，运行内存配置信息包括该虚拟机实例的运行内存容量，存储器配置信息包括该虚拟机实例的存储器容量，网络资源配置信息包括该虚拟机实例的带宽。
步骤S40，按照所述当前资源分配策略对云平台进行测试。
在本实施例中，云平台监控管理终端按照当前资源分配策略用自身的虚拟机启动工具启动相应资源要求的虚拟机实例集群，并通过调用性能评估工具控制“测试激励客户端设备”和“虚拟机实例集群”执行测试用例，实现对云平台性能评估的单次测试过程，性能评估工具在单次测试过程结束后，输出对应的性能测试结果，性能测试结果包括当前测试评分。由于当前资源分配策略是根据历史测试数据预测得到的最优资源分配策略，因此，当前资源分配策略对应的当前测试评分更高，当前资源分配策略更加接近真实的最优资源分配策略，避免仅凭测试人员的经验进行测试，测试效率更高，且测试得到的测试评分更高，更能体现云平台的真实性能，在云平台性能评估打榜时更加方便。
在本实施例公开的技术方案中，通过将资源分配过程拟合为高斯过程，并在高斯过程中以概率的角度迅速找到最有可能得到最高测试评分的最优资源分配策略，使得确定最优资源分配策略花费的成本更小，也更加准确，提高了云平台性能测试时资源分配的效率。
在另一实施例中，如图3所示，在上述图2所示的实施例基础上，步骤S40之后，还包括：
步骤S50，获取按照所述当前资源分配策略对云平台进行测试时对应的当前测试评分；
在本实施例中，在按照当前资源分配策略对云平台进行测试后，可获取到本次测试过程对应的测试评分。
可选地，由于TPE搜索算法的输入对象的数量限制，测试评分仅为一项评分。
可选地，在使用不同的测试工具对云平台进行测试时，不同工具输出的测试评分的数量也不同，例如，在使用SPEC IaaS 2018进行测试时，会产生多项测试评分，包括性能评价、扩展性评分等，又例如，在使用SPECVirt进行测试时，测试工具的输出结果同样也是多项测试分评分，包括性能评价和服务质量等。因此，在面对测试工具输出的测试评分包括多项测试评分的情况时，由于TPE搜索策略需要根据单一的损失函数结果进行搜索，为适配这样的搜索模式，则需要引入相关系数将多个性能结果拟合为一个损失函数结果，以简化计算过程，例如，可对测试工具输出的多个子项目评分分别设置不同的权重，在获取到本次测试过程对应的测试评分时，可获取按照当前资源分配策略对云平台进行测试时测试工具输出的多个子项目评分，以及获取各个子项目对应的权重参数，计算每个子项目评分与该子项目评分对应的权重参数的乘积，将得到的所有乘积之和作为当前测试评分。
可选地，由于某些测试工具输出的测试评分或者子项目评分过低时，测试结果是不通过的，因此针对这种情况，为了最大限度体现测试评分或者子项目评分对测试结果的影响，则需要引入激活函数来修正测试工具输出的测试评分或者子项目评分，具体地，获取到按照当前资源分配策略对云平台进行测试得到的初始测试评分，初始评分为测试评分或者子项目评分，在初始测试评分大于第一预设评分时，为了最大限度体现初始评分对测试结果的影响，可将初始测试评分与所述第一预设评分的差值作为当前测试评分，而在初始测试评分小于或等于第一预设评分时，将第二预设评分作为当前测试评分，其中，第二预设评分小于第一预设评分，例如，在采用SPEC IaaS 2018进行测试时，当服务质量评分低于95%时，测试结果是不通过的，因此可引入激活函数来修正初始测试评分的表达式如下：
f（x）=max（0，x-95%）
其中，f（x）为当前测试评分，x为服务质量评分，第一预设评分为95%，第二预设评分为0。
步骤S60，关联存储所述当前资源分配策略以及所述当前测试评分，其中，将所述当前资源分配策略添加至所述历史资源分配策略，以及将所述当前测试评分添加至所述历史测试评分。
在本实施例中，在获取到当前资源分配策略以及与当前资源分配策略对应的当前测试评分后，关联存储当前资源分配策略以及当前测试评分，关联存储的当前资源分配策略以及当前测试评分为一对测试数据。
可选地，云平台的测试过程需要进行多次，即按照不同的资源分配策略测试多次，因此，可将测试结束时得到的当前资源分配策略添加至历史资源分配策略，以及将测试结束时得到的当前测试评分添加至历史测试评分，以供后续迭代测试，关联存储的当前资源分配策略以及当前测试评分为一对历史测试数据，即在拟合高斯过程时，输入的总的历史测试数据可包含多对，包括关联存储的当前资源分配策略以及当前测试评分。
在本实施例公开的技术方案中，获取按照当前资源分配策略对云平台进行测试时对应的当前测试评分，关联存储当前资源分配策略以及当前测试评分，增加了关联存储的历史测试数据，以供后续迭代时，根据增加后的总的历史测试数据，重新拟合高斯过程，重新确定的最优资源分配策略更加准确。
在再一实施例中，如图4所示，在图3实施例所示的基础上，步骤S60之后，还包括：
步骤S70，检测是否满足性能评估的结束条件；
在本实施例中，由于云平台的性能测试过程需要进行多次，因此可设置性能评估的结束条件，以确定如何终止云平台的性能测试过程，避免后续对云平台的无效测试，浪费不必要的测试成本。在对云平台的每次测试过程结束后，检测是否满足性能评估的结束条件。
可选地，激活“资源分配策略生成器”TPE（Tree-structured Parzen Estimator，树状结构帕尔逊估计方法）模块搜索的早停机制，通过设置早停机制的停止条件，以跟根据停止条件终止云平台的性能测试过程，其中，停止条件即为性能评估的结束条件。
可选地，性能评估的结束条件包括以下至少一个：对云平台进行测试的累计测试次数大于或等于第一预设次数、当前测试评分相较于前一次对云平台进行测试时的测试评分的评分增幅或评分增加量小于预设值、当前测试评分相较于前一次对云平台进行测试时的测试评分的评分增幅或评分增加量小于预设值的连续累计次数大于第二预设次数。可选地，通过设置云平台的性能测试过程的最大迭代测试，即第一预设次数，以在对云平台进行测试的累计测试次数大于或等于第一预设次数终止性能评估。可选地，在单次测试结束后，获取当前测试的测试评分以及前一次对云平台进行测试时的测试评分，计算前测试评分相较于前一次对云平台进行测试时的测试评分的评分增幅或评分增加量，在评分增幅或评分增加量小于预设值时，表征当前资源分配策略已非常接近真实的最优资源分配测试，后续再进行测试得到的资源分配策略的提升效果较小，可终止性能评估。可选地，在迭代测试时，每在评分增幅或评分增加量小于预设值时记录一次，连续累计次数加一，若评分增幅或评分增加量小于预设值，则连续累计次数清零，在迭代测试时，连续累计次数大于第二预设次数时，表征当前资源分配策略已非常接近真实的最优资源分配测试，可终止性能评估。
步骤S80，在满足所述性能评估的结束条件时，获取添加有所述当前测试评分的历史测试评分中的评分最大值，并将所述评分最大值作为所述云平台的性能评估分数；
在本实施例中，在检测到满足性能评估的结束条件时，表明对云平台的性能评估已结束，可在添加有当前测试评分的多个历史测试评分中获取评分最大值，得到最高评分，该最高评分即为云平台的最优性能评分，可作为云平台在云性能评估打榜时的性能评估分数。
可选地，获取评分最大值关联存储的历史资源分配策略，该历史资源分配策略即为该云平台的最优资源分配策略。
步骤S90，在不满足所述性能评估的结束条件时，返回执行所述根据云平台的历史资源分配策略以及与所述历史资源分配策略关联的历史测试评分拟合高斯过程的步骤。
在本实施例中，检测到不满足性能评估的结束条件时，表明还需继续进行迭代测试，由于已根据当前资源分配策略扩充了历史资源分配策略，以及已根据当前测试评分扩充了历史测试评分，因此可返回根据云平台的历史资源分配策略以及与历史资源分配策略关联的历史测试评分拟合高斯过程及其后续步骤，以继续进行迭代测试。
在本实施例公开的技术方案中，检测是否满足性能评估的结束条件，在满足性能评估的结束条件时，获取添加有当前测试评分的历史测试评分中的评分最大值，并将评分最大值作为云平台的性能评估分数，以避免对云平台的无效测试，提高了云平台性能评估时的效率。
在又一实施例中，如图5所示，在图2至图4中任一实施例所示的基础上，面向云平台性能评估的资源分配方法的流程示例如下：
S01，设置最大迭代次数，激活“资源分配策略生成器”TPE（Tree-structuredParzen Estimator，树状结构帕尔逊估计方法）模块搜索早停机制，初始化资源分配的参数集范围；
S02，将初始的分配策略输入至“云平台监控管理终端”，并将初始的分配策略存储至自身维护的历史数据集合中；
S03，“云平台监控管理终端”解析输入策略，调用自身的虚拟机启动工具启动相应资源要求的虚拟机实例集群；
S04，“性能评估工具”控制“测试激励客户端设备”和“虚拟机实例”执行测试用例；
S05，“性能评估工具”输出当前轮次测试结果；
S06，“资源分配策略生成器”接收测试结果，跟历史数据集合中的初始的分配策略组成“输入-结果对”，并输入至内部的TPE搜索模块，得到贝叶斯优化建议的资源分配策略；
S07，重复S02-S06步骤；直至满足以下两种情况则退出搜索迭代：
S0701，性能评估工具的输出分数在连续5次迭代中不增长；
S0702，完成了最大迭代次数；
S08，“资源分配策略生成器”给出历史记录最优评分以及对应的资源分配策略。
在本实施例中，提出了一种基于TPE搜索算法的资源分配方法来指导云平台进行性能评估打榜测试时的资源分配，进而在给定集群资源的条件下获得最优的性能测试分数。在云平台资源分配策略的确定过程中，使用性能评估工具对于云平台的性能进行测试，云平台的资源分配是一个黑盒，即云平台的资源分配策略作为输入参数，输入至黑盒中进行计算，再根据黑盒的输出结果进行调整，通过对资源分配策略的迭代优化调整，得到最优资源分配策略。其核心思想是利用概率模型对资源分配策略建模，将资源分配过程拟合为一个高斯过程，利用优化EI（Expected Improvement，期望增量）的方式从概率角度找到当前高斯过程中会产生最优输出结果的输入值。
在本实施例公开的技术方案中，通过将资源配置策略本身作为超参数进行TPE超参搜索，有效利用了TPE超参搜索策略，仅需使用最小的时间开销和成本，得到针对指定的云平台虚拟集群计算资源的最优性能分数，提高了云平台性能测试时资源分配的效率。
此外，本发明实施例还提出一种面向云平台性能评估的资源分配装置，所述面向云平台性能评估的资源分配装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的面向云平台性能评估的资源分配程序，所述面向云平台性能评估的资源分配程序被所述处理器执行时实现如上各个实施例所述的面向云平台性能评估的资源分配方法的步骤。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有面向云平台性能评估的资源分配程序，所述面向云平台性能评估的资源分配程序被处理器执行时实现如上各个实施例所述的面向云平台性能评估的资源分配方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM（Read-Only Memory，只读存储器）/RAM（Random Access Memory，随机存取存储器）、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种面向云平台性能评估的资源分配方法，其特征在于，所述面向云平台性能评估的资源分配方法包括以下步骤：
根据云平台的历史资源分配策略以及与所述历史资源分配策略关联的历史测试评分拟合高斯过程；
获取所述高斯过程中各个预设资源分配策略对应的后向概率；
根据所述后向概率确定多个所述预设资源分配策略中的当前资源分配策略；
按照所述当前资源分配策略对云平台进行测试；
获取按照所述当前资源分配策略对云平台进行测试时对应的当前测试评分；
关联存储所述当前资源分配策略以及所述当前测试评分，其中，将所述当前资源分配策略添加至所述历史资源分配策略，以及将所述当前测试评分添加至所述历史测试评分；
检测是否满足性能评估的结束条件；
在不满足所述性能评估的结束条件时，返回执行所述根据云平台的历史资源分配策略以及与所述历史资源分配策略关联的历史测试评分拟合高斯过程的步骤。
2.如权利要求1所述的面向云平台性能评估的资源分配方法，其特征在于，所述获取按照所述当前资源分配策略对云平台进行测试时对应的当前测试评分的步骤包括：
获取按照所述当前资源分配策略对云平台进行测试得到的多个子项目评分；
获取各个所述子项目评分对应的权重参数；
根据各个所述子项目评分以及所述子项目评分对应的权重参数获取所述当前测试评分。
3.如权利要求1所述的面向云平台性能评估的资源分配方法，其特征在于，所述获取按照所述当前资源分配策略对云平台进行测试时对应的当前测试评分的步骤包括：
获取按照所述当前资源分配策略对云平台进行测试得到的初始测试评分；
在所述初始测试评分大于第一预设评分时，将所述初始测试评分与所述第一预设评分的差值作为所述当前测试评分；
在所述初始测试评分小于或等于所述第一预设评分时，将第二预设评分作为所述当前测试评分，其中，所述第二预设评分小于所述第一预设评分。
4.如权利要求1所述的面向云平台性能评估的资源分配方法，其特征在于，所述检测是否满足性能评估的结束条件的步骤之后，还包括：
在满足所述性能评估的结束条件时，获取添加有所述当前测试评分的历史测试评分中的评分最大值，并将所述评分最大值作为所述云平台的性能评估分数。
5.如权利要求1所述的面向云平台性能评估的资源分配方法，其特征在于，所述性能评估的结束条件包括以下至少一个：
对云平台进行测试的累计测试次数大于或等于第一预设次数；
当前测试评分相较于前一次对云平台进行测试时的测试评分的评分增幅或评分增加量小于预设值；
当前测试评分相较于前一次对云平台进行测试时的测试评分的评分增幅或评分增加量小于预设值的连续累计次数大于第二预设次数。
6.如权利要求1所述的面向云平台性能评估的资源分配方法，其特征在于，所述根据所述后向概率确定多个所述预设资源分配策略中的当前资源分配策略的步骤包括：
获取多个所述预设资源分配策略对应的后向概率中的概率极值；
获取所述概率极值对应的所述当前资源分配策略。
7.如权利要求1至6中任一项所述的面向云平台性能评估的资源分配方法，其特征在于，所述当前资源分配策略包括云平台的虚拟机实例对应的处理器配置信息、运行内存配置信息、存储器配置信息以及网络资源配置信息中的至少一个。
8.一种面向云平台性能评估的资源分配装置，其特征在于，所述面向云平台性能评估的资源分配装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的面向云平台性能评估的资源分配程序，所述面向云平台性能评估的资源分配程序被所述处理器执行时实现如权利要求1至7中任一项所述的面向云平台性能评估的资源分配方法的步骤。
9.一种存储介质，其特征在于，所述存储介质上存储有面向云平台性能评估的资源分配程序，所述面向云平台性能评估的资源分配程序被处理器执行时实现如权利要求1至7中任一项所述的面向云平台性能评估的资源分配方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110085084.3A CN112416608B (zh) | 2021-01-22 | 2021-01-22 | 面向云平台性能评估的资源分配方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110085084.3A CN112416608B (zh) | 2021-01-22 | 2021-01-22 | 面向云平台性能评估的资源分配方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112416608A CN112416608A (zh) | 2021-02-26 |
| CN112416608B true CN112416608B (zh) | 2021-05-11 |
Family
ID=74783204
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110085084.3A Active CN112416608B (zh) | 2021-01-22 | 2021-01-22 | 面向云平台性能评估的资源分配方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112416608B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5193172A (en) * | 1989-01-23 | 1993-03-09 | Hitachi, Ltd. | Memory management system for dispatching only to a selected high-use-priority task a maximum allocated and given highest-use-priority real-pages when requested |
| CN104618480A (zh) * | 2015-01-29 | 2015-05-13 | 南京理工大学 | 基于网络链路利用率驱动的云系统资源分配方法 |
| KR101657414B1 (ko) * | 2015-05-20 | 2016-09-30 | 경희대학교 산학협력단 | Cpu 사용률 제어 장치 및 방법 |
| US10496927B2 (en) * | 2014-05-23 | 2019-12-03 | DataRobot, Inc. | Systems for time-series predictive data analytics, and related methods and apparatus |
| CN111491006A (zh) * | 2020-03-03 | 2020-08-04 | 天津大学 | 负载感知的云计算资源弹性分配系统及方法 |
| CN111626528A (zh) * | 2020-07-27 | 2020-09-04 | 北京淇瑀信息科技有限公司 | 一种基于贝塞尔曲线的资源配额确定方法、装置和电子设备 |
| CN111897706A (zh) * | 2020-07-15 | 2020-11-06 | 中国工商银行股份有限公司 | 服务器性能预测方法、装置、计算机系统和介质 |
| CN112052071A (zh) * | 2020-09-08 | 2020-12-08 | 福州大学 | 强化学习和机器学习相结合的云软件服务资源分配方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108667912B (zh) * | 2018-04-23 | 2021-03-23 | 中国人民解放军战略支援部队信息工程大学 | 一种云资源分配方法及装置 |
| US10761583B2 (en) * | 2018-09-11 | 2020-09-01 | International Business Machines Corporation | Variation-aware intra-node power shifting among different hardware components |
-
2021
- 2021-01-22 CN CN202110085084.3A patent/CN112416608B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5193172A (en) * | 1989-01-23 | 1993-03-09 | Hitachi, Ltd. | Memory management system for dispatching only to a selected high-use-priority task a maximum allocated and given highest-use-priority real-pages when requested |
| US10496927B2 (en) * | 2014-05-23 | 2019-12-03 | DataRobot, Inc. | Systems for time-series predictive data analytics, and related methods and apparatus |
| CN104618480A (zh) * | 2015-01-29 | 2015-05-13 | 南京理工大学 | 基于网络链路利用率驱动的云系统资源分配方法 |
| KR101657414B1 (ko) * | 2015-05-20 | 2016-09-30 | 경희대학교 산학협력단 | Cpu 사용률 제어 장치 및 방법 |
| CN111491006A (zh) * | 2020-03-03 | 2020-08-04 | 天津大学 | 负载感知的云计算资源弹性分配系统及方法 |
| CN111897706A (zh) * | 2020-07-15 | 2020-11-06 | 中国工商银行股份有限公司 | 服务器性能预测方法、装置、计算机系统和介质 |
| CN111626528A (zh) * | 2020-07-27 | 2020-09-04 | 北京淇瑀信息科技有限公司 | 一种基于贝塞尔曲线的资源配额确定方法、装置和电子设备 |
| CN112052071A (zh) * | 2020-09-08 | 2020-12-08 | 福州大学 | 强化学习和机器学习相结合的云软件服务资源分配方法 |
Non-Patent Citations (3)
| Title |
|---|
| Cloud Job Scheduling Control Scheme Based on Gaussian Process Regression and Reinforcement Learning;Zhiping Peng等;《2016 IEEE 4th International Conference on Future Internet of Things and Cloud》;20160831;第276-284页 * |
| 基于博弈论的服务资源分配机制优化研究;接赢墨;《中国博士学位论文全文数据库基础科学辑（月刊）》;20200615(第06期);第A002-86页 * |
| 基于高斯过程和强化学习的云资源调度算法;李棕 等;《电子设计工程》;20170630;第25卷(第11期);第5-8页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112416608A (zh) | 2021-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5845809B2 (ja) | 知的且つ動的なロードバランシングによる、分散コンピューティング環境におけるソフトウェアの解析の効率的な並列化の手法 | |
| CN108763398B (zh) | 数据库配置参数处理方法、装置、计算机设备和存储介质 | |
| JP2011504254A (ja) | 分散確率ベースのアクティブサンプリング法を用いた最適なシステム構成の発見 | |
| JP4617317B2 (ja) | アクション中心のアプローチを用いてネットワークシステムの自律管理を行うシステム及び方法 | |
| CN113824489B (zh) | 基于深度学习的卫星网络资源动态分配方法、系统及装置 | |
| JP5845812B2 (ja) | 分散コンピューティング環境におけるソフトウェアの解析の効率的な並列化のためのポリシーのスケジューリング | |
| US20190287010A1 (en) | Search point determining method and search point determining apparatus | |
| JP5845813B2 (ja) | 分散コンピューティング環境におけるソフトウェアの解析の効率的な並列化のためのノードの計算の初期化手法 | |
| JP5845811B2 (ja) | 分散コンピューティング環境におけるソフトウェアの解析の効率的な並列化のための動的且つ知的な部分的計算管理 | |
| CN116166405B (zh) | 异构场景下的神经网络任务调度策略确定方法及装置 | |
| CN107608781B (zh) | 一种负载预测方法、装置以及网元 | |
| CN111930476B (zh) | 一种任务调度方法、装置及电子设备 | |
| JP5845810B2 (ja) | 分散コンピューティング環境におけるソフトウェアの解析の並列化のための効率的な部分計算 | |
| CN111008148A (zh) | 代码的测试方法、装置及计算机可读存储介质 | |
| CN111984527A (zh) | 软件的性能测试方法、装置、设备和介质 | |
| CN112416608B (zh) | 面向云平台性能评估的资源分配方法、装置及存储介质 | |
| JPWO2019189249A1 (ja) | 学習装置、学習方法、及びプログラム | |
| US20140052431A1 (en) | Supporting proactive decision-making in event-driven applications | |
| CN116187738B (zh) | 一种基于执行顺序和位置分布的工作包自动生成方法 | |
| CN116739269A (zh) | 基于调度优化模型的排程方法、装置、计算机设备及存储介质 | |
| CN109784687B (zh) | 智慧云制造任务调度方法、可读存储介质和终端 | |
| CN109767094B (zh) | 智慧云制造任务调度装置 | |
| JP7396505B2 (ja) | モデル生成プログラム、モデル生成方法及びモデル生成装置 | |
| CN114281474A (zh) | 一种资源调节方法及装置 | |
| CN114880203A (zh) | 用于量子计算云平台测评的装置、系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |