CN110532154B - 应用系统扩容方法、装置和设备 - Google Patents

应用系统扩容方法、装置和设备 Download PDF

Info

Publication number
CN110532154B
CN110532154B CN201810501258.8A CN201810501258A CN110532154B CN 110532154 B CN110532154 B CN 110532154B CN 201810501258 A CN201810501258 A CN 201810501258A CN 110532154 B CN110532154 B CN 110532154B
Authority
CN
China
Prior art keywords
layer
application system
response time
weight
index value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810501258.8A
Other languages
English (en)
Other versions
CN110532154A (zh
Inventor
戴安妮
任赣
林文英
唐涛
舒锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Zhejiang Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Zhejiang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Zhejiang Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201810501258.8A priority Critical patent/CN110532154B/zh
Publication of CN110532154A publication Critical patent/CN110532154A/zh
Application granted granted Critical
Publication of CN110532154B publication Critical patent/CN110532154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供一种应用系统扩容方法、装置和设备，扩容方法包括：若判断获知预测业务指标值对应的预测响应时间大于预设时间阈值，则对应用系统中优先级最高的层进行扩容；其中，所述应用系统每一层的优先级与每一层对应的权重相关，每一层对应的权重根据Logistic回归算法获取。本发明实施例提供的应用系统扩容方法、装置和设备，根据Logistic回归算法获取权重再获取应用系统各层的优先级，能够针对各层对响应时间的影响程度获取对应的优先级。进而对优先级最高的层进行扩容，能够在不对应用系统进行任何改造且不对生产系统产生任何影响的情况下对应用系统进行精准的扩容，且保证扩容效果的最大化，更准确、效率更高，不会对系统稳定性冲击。

Description

应用系统扩容方法、装置和设备
技术领域
本发明实施例涉及业务支撑领域，更具体地，涉及一种应用系统扩容方法、装置和设备。
背景技术
计算机技术飞速发展，为保证网络系统平稳支撑业务增长，如何在已知可能的业务增长的情况下预测业务响应时间的变化，并对系统进行精准扩容是各大IT公司都致力于解决的重要问题。
针对这一问题，现有的解决方案是：首先进行监控预警，通过实时监控系统的各项指标变化，凭运维人员的经验判断系统是否需要扩容以及如何扩容。再进行性能测试，通过等比例搭建一套测试系统，并进行性能测试，推算系统在真实环境的性能，用以指导扩容。而对于生产全链路压力测试，通过搭建一套全链路压测系统，模拟未来可能的业务场景和业务量，对生产系统发起压力测试，根据测试结果评估响应时间和系统瓶颈。
但是，现有的解决方案存在以下缺陷：首先，针对通过监控预警进行资源扩容的方式，由于预警的阈值是根据运维人员的经验得出的，存在不准确的情况。且扩容与否由运维人员主观判断，或者联合各方面专家一起商讨决定，判断过程耗费大量人力。其次，针对通过测试环境性能测试评估生产环境所需资源的方式，由于测试环境和生产环境复杂度的本质不同，如应用在生产环境中会与很多其他应用产生交互，而测试环境无法完全模拟，导致测试结果对实际的指导意义有限。再次，针对生产全链路压测的方式，一般涉及到生产系统的改造，且压测是直接对生产系统发起，会对生产系统的稳定性造成冲击，对生产真实数据的污染风险也不可控。压测场景的模拟是基于运维人员对未来的预测，与实际情况存在一定的偏差。
发明内容
针对现有技术存在的问题，本发明实施例提供一种应用系统扩容方法、装置和设备。
本发明实施例提供一种应用系统扩容方法，包括：若判断获知预测业务指标值对应的预测响应时间大于预设时间阈值，则对应用系统中优先级最高的层进行扩容；其中，所述应用系统每一层的优先级与每一层对应的权重相关，每一层对应的权重根据Logistic回归算法获取。
本发明实施例提供一种应用系统扩容装置，包括：扩容模块，用于判断预测业务指标值对应的预测响应时间是否大于预设时间阈值，若判断获知所述预测业务指标值对应的预测响应时间大于预设时间阈值，则对应用系统中优先级最高的层进行扩容；在所述扩容模块中，所述应用系统每一层的优先级与每一层对应的权重相关，每一层对应的权重根据Logistic回归算法获取。
本发明实施例提供一种应用系统扩容设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述扩容方法。
本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述扩容方法。
本发明实施例提供的应用系统扩容方法、装置和设备，根据Logistic回归算法获取权重再获取应用系统各层的优先级，能够针对各层对响应时间的影响程度获取对应的优先级。进而对优先级最高的层进行扩容，能够在不对应用系统进行任何改造且不对生产系统产生任何影响的情况下对应用系统进行精准的扩容，且保证扩容效果的最大化，更准确、效率更高，不会对系统稳定性冲击。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明应用系统扩容方法实施例的流程图；
图2为本发明实施例中的训练好的预测业务指标值-预测响应时间曲线模型图；
图3为本发明应用系统扩容装置实施例的模块图；
图4为本发明实施例中的应用系统扩容设备的框架示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明应用系统扩容方法实施例的流程图，如图1所示，包括：S101、若判断获知预测业务指标值对应的预测响应时间大于预设时间阈值，则对应用系统中优先级最高的层进行扩容；其中，所述应用系统每一层的优先级与每一层对应的权重相关，每一层对应的权重根据Logistic回归算法获取。
具体地，预测响应时间是包括多个的，所述多个预测的响应时间是代表连续的时间点。
进一步地，当多个连续的预测响应时间中的任一大于预设时间阈值时，则代表在该时间点应用系统容量即将不足，应用系统处理业务水平也会随之下降。在此时，需要找到应用系统出现瓶颈的层，对此进行精准扩容。
进而，本发明实施例提出通过Logistic回归算法获取应用系统各层的权重，其代表各层对于应用系统的影响程度，再通过权重获取扩容的优先级，从而在多个连续的预测的响应时间中的任一大于预设时间阈值时，对优先级最高的层进行扩容。
需要说明的是，Logistic回归算法是机器学习中的一种算法，用以通过训练样本对数据进行分类。
本发明实施例提供的应用系统扩容方法，根据Logistic回归算法获取权重再获取应用系统各层的优先级，能够针对各层对响应时间的影响程度获取对应的优先级。进而对优先级最高的层进行扩容，能够在不对应用系统进行任何改造且不对生产系统产生任何影响的情况下对系统进行精准的扩容，且保证扩容效果的最大化，更准确、效率更高，不会对应用系统稳定性冲击。
基于上述实施例，所述预测业务指标值对应的预测响应时间通过下述步骤获取：将所述应用系统的业务指标值和响应时间作为训练样本，通过Logistic回归算法对所述应用系统的每一时间切片下的业务指标值和响应时间进行训练，获取训练好的预测业务指标值-预测响应时间曲线模型，其中，所述训练好的预测业务指标值-预测响应时间曲线模型为横坐标为预测业务指标值，纵坐标为预测响应时间的曲线；基于所述训练好的预测业务指标值-预测响应时间曲线模型，获取与预测业务指标值对应的预测响应时间。
图2为本发明实施例中的训练好的预测业务指标值-预测响应时间曲线模型图，本实施例请参考图2。在图2中，横坐标为预测业务指标值，纵坐标为预测响应时间，需要说明的是，本发明实施例中的业务指标值优选设置为业务请求量。
需要说明的是，预测响应时间也优选通过Logistic回归算法获取，这是由于Logistic回归算法具有容易收敛，且快速得出全局最优解的特点。
进一步地，本发明实施例是指，在训练好的预测业务指标值-预测响应时间曲线模型中，基于由横坐标逐渐变大的预测业务请求量，获取与之一一对应的预测响应时间，并将这多个连续的预测响应时间与预设时间阈值进行一一对比。
本发明实施例提供的应用系统扩容方法，通过训练好的预测业务指标值-预测响应时间曲线模型，能够预测当业务增长时响应时间的变化，再结合实际业务增长情况适时对应用系统进行扩容，从而既保证应用系统得到了及时扩容，又不至于有大量的空闲资源。且是对用户感知最明显的响应时间来指导扩容。由于是基于历史数据对应用系统行为进行预测，降低了人工经验判断的不准确性，节省了大量人力，且规避了扩容不及时给生产系统带来的风险。
基于上述实施例，所述通过Logistic回归算法对所述应用系统的每一时间切片下的业务指标值和响应时间进行训练，获取训练好的预测业务指标值-预测响应时间曲线模型，具体包括：获取所述应用系统的业务指标值和响应时间的高阶伯努利分布，并获取所述高阶伯努利分布的代价函数；对所述高阶伯努利分布的代价函数最小用梯度下降法进行迭代，获取出现梯度收敛时的业务指标值和响应时间的对应关系，并将所述对应关系作为所述训练好的预测业务指标值-预测响应时间曲线模型。
具体地，获取所述应用系统的业务指标值和响应时间的高阶伯努利分布，并获取所述高阶伯努利分布的代价函数，具体包括：
获取所述应用系统的业务指标值和响应时间的高阶伯努利(Bernoulli)分布，如下式所述：
lag(req)＝Bn(req)；
其中，lag代表响应时间，req代表业务请求量，Bn代表高阶伯努利分布。
获取所述高阶伯努利分布的代价函数，如下式所述：
cost(req)＝||lag(req)-Bn(req)||norm2；
对所述高阶伯努利分布的代价函数最小用梯度下降法进行迭代，获取出现梯度收敛时的业务指标值和响应时间的对应关系，并将所述对应关系作为所述训练好的预测业务指标值-预测响应时间曲线模型，这一过程代表，用未训练的预测业务指标值-预测响应时间曲线模型拟合高阶伯努利分布曲线，最后得到的拟合结果即为训练好的预测业务指标值-预测响应时间曲线模型。
具体地，在图2标注的曲线中，一条代表训练好的预测业务指标值-预测响应时间曲线模型(lag)，一条代表高阶伯努利分布曲线(Bn(req))。
本发明实施例提供的应用系统扩容方法，通过训练好的预测业务指标值-预测响应时间曲线模型，能够在无需主观因素影响的情况下对响应时间进行精准的预测。
基于上述实施例，每一层对应的权重根据Logistic回归算法，通过下述步骤获取：基于所述应用系统各层的资源负载参数，获取所述应用系统任一实体的资源负载表达式，其中，所述资源负载参数包括CPU使用率、内存使用率，磁盘I/O使用率，网络I/O使用率；基于所述应用系统任一实体的资源负载表达式，获取所述任一实体所处层的集群负载表达式，其中，所述系统任一层包括若干个集群，任一集群包括若干个实体；基于所述任一实体所处层的集群负载表达式，以及所述任一实体所处层对于所述应用系统的影响权重，获取所述应用系统的总负载表达式；基于所述应用系统的总负载表达式，通过Logistic回归算法进行训练，获取所述应用系统每一层对应的权重。
具体地，基于所述应用系统各层的资源负载参数，获取所述系统任一实体的资源负载表达式，具体包括：
所述应用系统任一实体的资源负载表达式为：
Figure BDA0001670405500000061
其中，e为自然对数；x为单个硬件资源的消耗率，包括CPU使用率；m为硬件资源指标个数，如CPU使用率、内存使用率，磁盘I/O使用率，网络I/O使用率等，ij代表系统第i层第j台。
需要说明的是，应用系统的资源总负载应当被应用系统每一层中各工作实体(如小型机、虚拟机、容器等)的实时资源指标所表示，而任一实体的资源负载表达式体现的特点有：
(1)负载表达式不能为硬件指标的线性表示，突出了指标临界值的负载表达式。
(2)实体资源负载表达式是由CPU、内存、磁盘等硬件资源指标共同决定的。
(3)所有的硬件指标地位均等。
(4)实体资源负载值被正则化，即每个实体的负载表达式对应的负载值需要映射到区间(0,1)之间。
进一步地，基于所述应用系统任一实体的资源负载表达式，获取所述任一实体所处层的集群负载表达式，具体包括：
任一实体所处层的集群负载表达式为：
Figure BDA0001670405500000071
进一步地，基于所述任一实体所处层的集群负载表达式，以及所述任一实体所处层对于所述应用系统的影响权重，获取所述系统的总负载表达式，具体包括：
系统的总负载表达式为：
Figure BDA0001670405500000072
其中，Wi表示第i层的权重，权重值越大，该层负载的变化对应用系统总负载的影响越大，应用系统总负载与各层负载满足线性关系。
基于上述实施例，所述基于所述应用系统的总负载表达式，通过Logistic回归算法进行训练，获取所述应用系统每一层对应的权重，具体包括：将所述应用系统的总负载表达式带入层权重-负载曲线模型的代价函数中，获取带入后的层权重-负载曲线模型的代价函数；对所述带入后的层权重-负载曲线模型的代价函数最小用梯度下降法进行迭代，获取出现梯度收敛时的所述任一实体所处层的影响权重，并将所述任一实体所处层影响权重作为所述任一实体所处层的权重。
需要说明的是，层权重-负载曲线模型的代价函数为：
cost(w)＝||lag-load(w)||norm2。
本发明实施例提供的应用系统扩容方法，根据Logistic回归算法获取权重再获取系统各层的优先级，能够针对各层对响应时间的影响程度获取对应的优先级，从而进行精准的扩容。
在上述实施例的基础上，本发明实施例中隐含了在应用系统扩容方法实施之前，获取各项指标，用以通过Logistic回归算法进行训练。各项指标包括但不限于应用系统在运行过程中的业务请求量、响应时间，以及每一个主机的硬件资源指标，包括CPU使用率、内存使用率、磁盘I/O读写比率、网络I/O读写比率。
基于上述实施例，所述对优先级最高的层进行扩容，具体包括：基于所述应用系统各层的权重值大小，为权重值较大的层赋予较高的优先级，为权重值较小的层赋予较低的优先级；基于各层对应的优先级，对优先级最高的层进行扩容。
上述实施例中已指出，针对各层对响应时间的影响程度获取对应的优先级，影响程度愈大，则具有愈高的优先级，而层的影响程度通过权重体现，进而本实施例将应用系统各层按照对应的权重的取值大小，赋予递减的优先级；基于各层对应的优先级，对优先级最高的层进行扩容。
基于上述实施例，所述若判断获知预测业务指标值对应的预测响应时间大于预设时间阈值，则对应用系统中优先级最高的层进行扩容，之后还包括：若判断获知下回预测业务指标值对应的下回预测响应时间大于下回预设时间阈值，则对应用系统中优先级最高的层进行扩容；其中，所述应用系统每一层的优先级与每一层对应的下回权重相关，每一层对应的下回权重根据Logistic回归算法获取。
需要说明的是，本实施例是指，应用系统是时刻运行的，而本发明实施例的应用系统扩容方法也是动态的，即在进行一次扩容之后，应用系统持续运行，而再次执行上述实施例的扩容方法，以时刻满足应用系统的容量需求。
在上述实施例的基础上，本实施例对于预设时间阈值进行进一步地描述说明。
对用户而言，感知最直接的指标就是响应时间，即用户点击页面或者提交订单等操作的等待时间。因此，响应时间是否超过规定的阈值，是决定系统是否扩容的重要依据。时间阈值，取决于多个因素：
(1)系统类型，用户对web应用和桌面应用的期望不同。这部分响应时间可根据经验或统计结果制定。
(2)业务类型，不同业务的复杂度不同，导致响应时间也不同。这部分响应时间一般是根据业界规范制定的。
(3)其他，例如，为提升市场占有率，公司内部对核心业务的响应时间有特殊规定等。这部分响应时间一般是根据公司内部标准制定的。
综上所述，预设时间阈值是用户期望的响应时间(对应于上述第一点)、业界规范的响应时间(对应于上述第二点)以及其他条件规定的响应时间(对应于上述第三点)中的最小值。
基于上述实施例，图3为本发明应用系统扩容装置实施例的模块图，如图3所示，包括：扩容模块301，用于判断预测业务指标值对应的预测响应时间是否大于预设时间阈值，若判断获知所述预测业务指标值对应的预测响应时间大于预设时间阈值，则对应用系统中优先级最高的层进行扩容；在所述扩容模块中，所述应用系统每一层的优先级与每一层对应的权重相关，每一层对应的权重根据Logistic回归算法获取。
本发明实施例的扩容装置，可用于执行图1所示的应用系统扩容方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
基于上述实施例，图4为本发明实施例中的应用系统扩容设备的框架示意图。请参考图4，本发明实施例提供一种应用系统扩容设备，包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和总线440，其中，处理器410，通信接口420，存储器430通过总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行如下方法，包括：若判断获知预测业务指标值对应的预测响应时间大于预设时间阈值，则对应用系统中优先级最高的层进行扩容；其中，所述应用系统每一层的优先级与每一层对应的权重相关，每一层对应的权重根据Logistic回归算法获取。
本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的扩容方法，例如包括：若判断获知预测业务指标值对应的预测响应时间大于预设时间阈值，则对应用系统中优先级最高的层进行扩容；其中，所述应用系统每一层的优先级与每一层对应的权重相关，每一层对应的权重根据Logistic回归算法获取。
基于上述实施例，本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的扩容方法，例如包括：若判断获知预测业务指标值对应的预测响应时间大于预设时间阈值，则对应用系统中优先级最高的层进行扩容；其中，所述应用系统每一层的优先级与每一层对应的权重相关，每一层对应的权重根据Logistic回归算法获取。
本领域普通技术人员可以理解：实现上述设备实施例或方法实施例仅仅是示意性的，其中所述处理器和所述存储器可以是物理上分离的部件也可以不是物理上分离的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如U盘、移动硬盘、ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
本发明实施例提供的应用系统扩容方法、装置和设备，根据Logistic回归算法获取权重再获取应用系统各层的优先级，能够针对各层对响应时间的影响程度获取对应的优先级。进而对优先级最高的层进行扩容，能够在不对应用系统进行任何改造且不对生产系统产生任何影响的情况下对系统进行精准的扩容。本发明也无需任何人力的投入，大大提高了生产效率。同时，由于本发明依赖的是历史数据，不会对系统稳定性产生任何冲击，也杜绝了污染生产数据的可能性。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种应用系统扩容方法，其特征在于，包括：
若判断获知预测业务指标值对应的预测响应时间大于预设时间阈值，则对应用系统中优先级最高的层进行扩容；
其中，所述应用系统每一层的优先级与每一层对应的权重相关，每一层对应的权重根据Logistic回归算法获取；
其中，每一层对应的权重根据Logistic回归算法，通过下述步骤获取：
基于所述应用系统各层的资源负载参数，获取所述应用系统任一实体的资源负载表达式，其中，所述资源负载参数包括CPU使用率、内存使用率，磁盘I/O使用率，网络I/O使用率；
基于所述应用系统任一实体的资源负载表达式，获取所述任一实体所处层的集群负载表达式，其中，所述系统任一层包括若干个集群，任一集群包括若干个实体；
基于所述任一实体所处层的集群负载表达式，以及所述任一实体所处层对于所述应用系统的影响权重，获取所述应用系统的总负载表达式；
基于所述应用系统的总负载表达式，通过Logistic回归算法进行训练，获取所述应用系统每一层对应的权重。
2.根据权利要求1所述的扩容方法，其特征在于，所述预测业务指标值对应的预测响应时间通过下述步骤获取：
将所述应用系统的业务指标值和响应时间作为训练样本，通过Logistic回归算法对所述应用系统的每一时间切片下的业务指标值和响应时间进行训练，获取训练好的预测业务指标值-预测响应时间曲线模型；
基于所述训练好的预测业务指标值-预测响应时间曲线模型，获取与预测业务指标值对应的预测响应时间。
3.根据权利要求2所述的扩容方法，其特征在于，所述通过Logistic回归算法对所述应用系统的每一时间切片下的业务指标值和响应时间进行训练，获取训练好的预测业务指标值-预测响应时间曲线模型，具体包括：
获取所述应用系统的业务指标值和响应时间的高阶伯努利分布，并获取所述高阶伯努利分布的代价函数；
对所述高阶伯努利分布的代价函数最小用梯度下降法进行迭代，获取出现梯度收敛时的业务指标值和响应时间的对应关系，并将所述对应关系作为所述训练好的预测业务指标值-预测响应时间曲线模型。
4.根据权利要求1所述的扩容方法，其特征在于，所述基于所述应用系统的总负载表达式，通过Logistic回归算法进行训练，获取所述应用系统每一层对应的权重，具体包括：
将所述应用系统的总负载表达式带入层权重-负载曲线模型的代价函数中，获取带入后的层权重-负载曲线模型的代价函数；
对所述带入后的层权重-负载曲线模型的代价函数最小用梯度下降法进行迭代，获取出现梯度收敛时的所述任一实体所处层的影响权重，并将所述任一实体所处层影响权重作为所述任一实体所处层的权重。
5.根据权利要求1所述的扩容方法，其特征在于，所述对应用系统中优先级最高的层进行扩容，具体包括：
基于所述应用系统各层的权重值大小，为权重值较大的层赋予较高的优先级，为权重值较小的层赋予较低的优先级；
基于各层对应的优先级，对优先级最高的层进行扩容。
6.根据权利要求1所述的扩容方法，其特征在于，所述若判断获知预测业务指标值对应的预测响应时间大于预设时间阈值，则对应用系统中优先级最高的层进行扩容，之后还包括：
若判断获知下回预测业务指标值对应的下回预测响应时间大于下回预设时间阈值，则对应用系统中优先级最高的层进行扩容；
其中，所述应用系统每一层的优先级与每一层对应的下回权重相关，每一层对应的下回权重根据Logistic回归算法获取。
7.一种应用系统扩容装置，其特征在于，包括：
扩容模块，用于判断预测业务指标值对应的预测响应时间是否大于预设时间阈值，若判断获知所述预测业务指标值对应的预测响应时间大于预设时间阈值，则对应用系统中优先级最高的层进行扩容；
在所述扩容模块中，所述应用系统每一层的优先级与每一层对应的权重相关，每一层对应的权重根据Logistic回归算法获取；
在所述扩容模块中，每一层对应的权重根据Logistic回归算法，通过下述步骤获取：基于所述应用系统各层的资源负载参数，获取所述应用系统任一实体的资源负载表达式，其中，所述资源负载参数包括CPU使用率、内存使用率，磁盘I/O使用率，网络I/O使用率；基于所述应用系统任一实体的资源负载表达式，获取所述任一实体所处层的集群负载表达式，其中，所述系统任一层包括若干个集群，任一集群包括若干个实体；基于所述任一实体所处层的集群负载表达式，以及所述任一实体所处层对于所述应用系统的影响权重，获取所述应用系统的总负载表达式；基于所述应用系统的总负载表达式，通过Logistic回归算法进行训练，获取所述应用系统每一层对应的权重。
8.一种应用系统扩容设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的扩容方法。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6任一所述的扩容方法。
CN201810501258.8A 2018-05-23 2018-05-23 应用系统扩容方法、装置和设备 Active CN110532154B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810501258.8A CN110532154B (zh) 2018-05-23 2018-05-23 应用系统扩容方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810501258.8A CN110532154B (zh) 2018-05-23 2018-05-23 应用系统扩容方法、装置和设备

Publications (2)

Publication Number Publication Date
CN110532154A CN110532154A (zh) 2019-12-03
CN110532154B true CN110532154B (zh) 2023-04-25

Family

ID=68656520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810501258.8A Active CN110532154B (zh) 2018-05-23 2018-05-23 应用系统扩容方法、装置和设备

Country Status (1)

Country Link
CN (1) CN110532154B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113260070B (zh) * 2020-02-13 2023-04-07 中国移动通信集团广东有限公司 一种负载调度方法、装置及电子设备
CN113407297B (zh) * 2020-03-17 2023-12-26 中国移动通信集团浙江有限公司 容器管理方法、装置及计算设备
CN112231356A (zh) * 2020-10-20 2021-01-15 中国建设银行股份有限公司 数据处理的方法及装置、电子设备及计算机可读存储介质
CN112329997A (zh) * 2020-10-26 2021-02-05 国网河北省电力有限公司雄安新区供电公司 电力需求负荷预测方法及系统、电子设备和存储介质
CN116881106B (zh) * 2023-07-31 2024-03-08 招商基金管理有限公司 业务系统容量运营分析管理方法、装置、存储介质及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844175A (zh) * 2017-01-23 2017-06-13 杭州谐云科技有限公司 一种基于机器学习的云平台容量规划方法
CN108052528A (zh) * 2017-11-09 2018-05-18 华中科技大学 一种存储设备时序分类预警方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120221373A1 (en) * 2011-02-28 2012-08-30 Manish Marwah Estimating Business Service Responsiveness

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844175A (zh) * 2017-01-23 2017-06-13 杭州谐云科技有限公司 一种基于机器学习的云平台容量规划方法
CN108052528A (zh) * 2017-11-09 2018-05-18 华中科技大学 一种存储设备时序分类预警方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种系统扩容能力迭代估算法;常润梅等;《西安邮电大学学报》;20130510(第03期);全文 *
基于云平台的弹性Web集群扩缩容机制的研究;王晓钰等;《软件》;20171115(第11期);全文 *

Also Published As

Publication number Publication date
CN110532154A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
CN110532154B (zh) 应用系统扩容方法、装置和设备
US20200090073A1 (en) Method and apparatus for generating machine learning model
CN106886485B (zh) 系统容量分析预测方法及装置
CN106959894B (zh) 资源分配方法和装置
CN105607952B (zh) 一种虚拟化资源的调度方法及装置
US11700210B2 (en) Enhanced selection of cloud architecture profiles
CN107943579B (zh) 资源瓶颈预测方法、设备、系统及可读存储介质
CN114895773B (zh) 异构多核处理器的能耗优化方法、系统、装置及存储介质
CN111612163A (zh) 一种基于机器学习模型的训练方法及装置
CN116664019B (zh) 智慧燃气数据时效性管理方法、物联网系统、装置及介质
CN115168027A (zh) 一种基于深度强化学习的算力资源度量方法
CN110083518B (zh) 一种基于AdaBoost-Elman的虚拟机软件老化预测方法
CN112433813A (zh) 一种资源调度方法、系统、设备及计算机可读存储介质
Gupta et al. Long range dependence in cloud servers: a statistical analysis based on google workload trace
CN115586961A (zh) 一种ai平台计算资源任务调度方法、装置及介质
CN117290090A (zh) 节点协同资源分配方法、装置、设备及存储介质
CN116302481A (zh) 基于稀疏知识图谱链接预测的资源分配方法及系统
EP3826233B1 (en) Enhanced selection of cloud architecture profiles
CN114741160A (zh) 一种基于平衡能耗与服务质量的动态虚拟机整合方法和系统
CN111092755B (zh) 一种基于资源占用的边缘服务迁移仿真方法
CN114996930A (zh) 一种建模方法、装置、电子设备及存储介质
CN114465915A (zh) 一种cdn带宽预测方法、装置、系统和电子设备
CN116134387A (zh) 用于确定工业任务的ai模型的压缩率的方法和系统
CN112052087A (zh) 动态资源调整与迁移的深度学习训练系统及方法
Mohazabiyeh et al. Energy-aware adaptive four thresholds technique for optimal virtual machine placement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant