CN111209105A - 扩容处理方法、装置、设备及可读存储介质 - Google Patents

扩容处理方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN111209105A
CN111209105A CN201811388770.2A CN201811388770A CN111209105A CN 111209105 A CN111209105 A CN 111209105A CN 201811388770 A CN201811388770 A CN 201811388770A CN 111209105 A CN111209105 A CN 111209105A
Authority
CN
China
Prior art keywords
resource
target application
consumption type
application
performance parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811388770.2A
Other languages
English (en)
Inventor
孙卫
范超
叶传伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201811388770.2A priority Critical patent/CN111209105A/zh
Publication of CN111209105A publication Critical patent/CN111209105A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例提供一种扩容处理方法、装置、设备及可读存储介质。本发明实施例的方法，通过获取目标应用对应的CPU使用率、内存使用率、磁盘使用率、网络流量和磁盘繁忙率等资源性能参数的值，确定目标应用的资源消耗类型，资源消耗类型包括耗CPU型、耗内存型、耗磁盘型、耗网络型和均衡型；根据目标应用的资源消耗类型，确定目标应用对应设备的扩容数量，从而针对耗CPU型、耗内存型、耗磁盘型、耗网络型和均衡型等不同资源消耗类型的应用进行扩容处理，可以避免因基于单一的CPU使用率进行设备扩容导致当应用设备的除CPU之外的内存资源或者磁盘资源等其他资源不足时无法及时地进行扩容处理的问题，提高了扩容处理的及时性和准确性。

Description

扩容处理方法、装置、设备及可读存储介质
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种扩容处理方法、装置、设备及可读存储介质。
背景技术
现在随着互联网的快速发展，各大公司为了追求更好的用户体验，在服务器、网络带宽等方面投入了很大的资源，随之IT成本也越来也高。尤其在京东等电商公司的应用，在重大促销活动期间，为了支撑促销活动期间的流量需求，需要对应用所使用的计算机设备进行大规模地扩容。
目前，对应用的计算机设备进行扩容时，往往基于应用设备的CPU使用率，在CPU使用率高于设定的最大使用率时，对应用设备进行扩容处理，增加应用设备数量，在CPU使用率低于设定的最小使用率时，对应用设备进行缩容处理，减少应用设备数量。但是，当应用设备的除CPU之外的内存资源或者磁盘资源等其他资源不足时，应用设备的CPU使用率可能仍然低于最大使用率，此时不会及时地进行扩容处理，不能及时的分配应用急需的资源，从而导致应用不能及时得到资源扩容，出现服务不可用等事故发生。
发明内容
本发明实施例提供一种扩容处理方法、装置、设备及可读存储介质，用以解决现有技术中当应用设备的除CPU之外的内存资源或者磁盘资源等其他资源不足时，应用设备的CPU使用率可能仍然低于最大使用率，此时不会及时地进行扩容处理，不能及时的分配应用急需的资源，从而导致应用不能及时得到资源扩容，出现服务不可用等事故发生的问题。
本发明实施例的一个方面是提供一种扩容处理方法，包括：
获取目标应用对应的资源性能参数值，所述资源性能参数至少包括以下五种：CPU使用率、内存使用率、磁盘使用率、网络流量和磁盘繁忙率；
根据所述目标应用对应的资源性能参数值，确定所述目标应用的资源消耗类型，所述资源消耗类型包括耗CPU型、耗内存型、耗磁盘型、耗网络型和均衡型；
根据所述目标应用的资源消耗类型，确定所述目标应用对应设备的扩容数量。
本发明实施例的另一个方面是提供一种扩容处理装置，包括：
数据分析模块，用于获取目标应用对应的资源性能参数值，所述资源性能参数至少包括以下五种：CPU使用率、内存使用率、磁盘使用率、网络流量和磁盘繁忙率；
应用分类模块，用于根据所述目标应用对应的资源性能参数值，确定所述目标应用的资源消耗类型，所述资源消耗类型包括耗CPU型、耗内存型、耗磁盘型、耗网络型和均衡型；
容量预估模块，用于根据所述目标应用的资源消耗类型，确定所述目标应用对应设备的扩容数量。
本发明实施例的另一个方面是提供一种扩容处理设备，包括：
存储器，处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，
所述处理器运行所述计算机程序时实现上述所述的方法。
本发明实施例的另一个方面是提供一种计算机可读存储介质，存储有计算机程序，
所述计算机程序被处理器执行时实现上述所述的方法。
本发明实施例提供的扩容处理方法、装置、设备及可读存储介质，通过获取目标应用对应的CPU使用率、内存使用率、磁盘使用率、网络流量和磁盘繁忙率等资源性能参数的值，根据所述目标应用对应的资源性能参数值，确定所述目标应用的资源消耗类型，所述资源消耗类型包括耗CPU型、耗内存型、耗磁盘型、耗网络型和均衡型；根据所述目标应用的资源消耗类型，确定所述目标应用对应设备的扩容数量，从而可以实现针对耗CPU型、耗内存型、耗磁盘型、耗网络型和均衡型等不同资源消耗类型的应用，有针对性地进行扩容处理，可以避免因基于单一的CPU使用率进行设备扩容导致当应用设备的除CPU之外的内存资源或者磁盘资源等其他资源不足时无法及时地进行扩容处理的问题，提高了扩容处理的及时性和准确性。
附图说明
图1为本发明实施例一提供的扩容处理方法流程图；
图2为本发明实施例二提供的扩容处理方法流程图；
图3为本发明实施例二提供的一元线性回归模型的示意图；
图4为本发明实施例三提供的扩容处理装置的结构示意图；
图5为本发明实施例五提供的扩容处理设备的结构示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明实施例构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明实施例的一些方面相一致的装置和方法的例子。
首先对本发明实施例所涉及的名词进行解释：
机器学习(Machine Learning，ML)：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
支持向量机(support vector machine，SVM)：通俗来讲，SVM是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。
人工神经网络(Artificial Neural Networks，ANN)系统是20世纪40年代后出现的。它是由众多的神经元可调的连接权值连接而成，具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点。
HBase：是一个开源的非关系型分布式数据库(NoSQL)，它参考了谷歌的BigTable建模，实现的编程语言为Java。它是Apache软件基金会的Hadoop项目的一部分，运行于HDFS文件系统之上，为Hadoop提供类似于BigTable规模的服务。因此，它可以容错地存储海量稀疏的数据。
决策树算法：是一种逼近离散函数值的方法。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。
GBDT(Gradient Boosting Decision Tree)：又叫MAR(Multiple AdditiveRegression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力(generalization)较强的算法。
一元线性回归：如果在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归。
多元线性回归：在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。
此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。
下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
实施例一
图1为本发明实施例一提供的扩容处理方法流程图。本发明实施例针对现有技术中当应用设备的除CPU之外的内存资源或者磁盘资源等其他资源不足时，应用设备的CPU使用率可能仍然低于最大使用率，此时不会及时地进行扩容处理，不能及时的分配应用急需的资源，从而导致应用不能及时得到资源扩容，出现服务不可用等事故发生的问题，提供了扩容处理方法。
如图1所示，该方法具体步骤如下：
步骤S101、获取目标应用对应的资源性能参数值，资源性能参数至少包括以下五种：CPU使用率、内存使用率、磁盘使用率、网络流量和磁盘繁忙率。
本实施例中，应用可以对应于一个服务平台(例如电子商务平台等)提供的服务系统，或者对应于服务平台提供任意一个独立的服务或者功能模块。目标应用可以是任意一个应用。
在应用时，一个应用可以对应一个或者多个设备。目标应用对应的资源性能参数包括目标应用对应的所有设备的资源性能参数。
步骤S102、根据目标应用对应的资源性能参数值，确定目标应用的资源消耗类型，资源消耗类型包括耗CPU型、耗内存型、耗磁盘型、耗网络型和均衡型。
在获取到目标应用对应的资源性能参数值之后，可以根据目标应用对应的CPU使用率、内存使用率、磁盘使用率、网络流量和磁盘繁忙率等资源性能参数的值，来确定目标应用的资源消耗类型是耗CPU型、耗内存型、耗磁盘型、耗网络型和均衡型中的哪一种。
本实施例中，不同的资源消耗类型对应于不同的关键资源，目标应用的资源消耗类型用于说明影响目标应用性能的关键资源的类型。
其中，若目标应用的资源消耗类型为耗CPU型，则目标应用对应的关键资源为CPU资源；若目标应用的资源消耗类型为耗内存型，则目标应用对应的关键资源为内存资源；若目标应用的资源消耗类型为耗磁盘型，则目标应用对应的关键资源为磁盘资源；若目标应用的资源消耗类型为耗网络型，则目标应用对应的关键资源为网络资源。
若目标应用的资源消耗类型为均衡型，则影响目标应用性能的关键资源不只是唯一的一种关键资源，而是CPU资源、内存资源、磁盘资源和网络资源对目标应用的性能的影响都比较大，都是目标应用的关键资源。
步骤S103、根据目标应用的资源消耗类型，确定目标应用对应设备的扩容数量。
本实施例中，确定目标应用的资源消耗类型之后，可以确定目标应用的关键资源，从而可以针对该关键资源，对目标应用的设备进行扩容。
在实际应用中，在重大促销活动期间，技术人员可以预先估计活动期间的目标应用的设备需要达到的目标访问量。该步骤中，根据目标应用的资源消耗类型，可以确定影响目标应用性能的关键资源对应的资源性能参数值与访问量的对应关系，可以预测出目标应用的当前设备所能达到最大访问量，结合所需的目标访问量，可以进一步计算得到目标应用对应设备的扩容数量。
可选的，在确定目标应用对应的设备的扩容数量之后，还可以将目标应用对应的设备的扩容数量按照预设方式推送给用户，以便于用户根据目标应用对应的设备的扩容数量进行扩容处理。其中，预设方式可以为短信息、电子邮件、即时通讯软件等方式，预设方式可以由技术人员根据实际需要进行设定，本实施例此处不做具体限定。
可选的，在确定目标应用对应的设备的扩容数量之后，还可以通过显示设备显示目标应用对应的设备的扩容数量，以便于用户根据目标应用对应的设备的扩容数量进行扩容处理。
本实施中，可以周期性的通过上述步骤S101-S103确定目标应用对应设备的扩容数量，从而可以实时地对目标应用的扩容数量进行实时地调整，以使对目标应用的扩容更加及时和准确。
本发明实施例通过获取目标应用对应的CPU使用率、内存使用率、磁盘使用率、网络流量和磁盘繁忙率等资源性能参数的值，根据目标应用对应的资源性能参数值，确定目标应用的资源消耗类型，资源消耗类型包括耗CPU型、耗内存型、耗磁盘型、耗网络型和均衡型；根据目标应用的资源消耗类型，确定目标应用对应设备的扩容数量，从而可以实现针对耗CPU型、耗内存型、耗磁盘型、耗网络型和均衡型等不同资源消耗类型的应用，有针对性地进行扩容处理，可以避免因基于单一的CPU使用率进行设备扩容导致当应用设备的除CPU之外的内存资源或者磁盘资源等其他资源不足时无法及时地进行扩容处理的问题，提高了扩容处理的及时性和准确性。
实施例二
图2为本发明实施例二提供的扩容处理方法流程图；图3为本发明实施例二提供的一元线性回归模型的示意图。在上述实施例一的基础上，本实施例中，根据目标应用对应设备的资源性能参数值，确定目标应用的资源消耗类型，包括：获取多个应用对应的资源性能参数值；根据多个应用对应的资源性能参数值，建立应用分类模型；根据目标应用对应的资源性能参数值和应用分类模型，确定目标应用的资源消耗类型。如图2所示，该方法具体步骤如下：
步骤S201、获取目标应用对应的资源性能参数值。
资源性能参数至少包括以下五种：CPU使用率、内存使用率、磁盘使用率、网络流量和磁盘繁忙率。
本实施例中，获取任一应用对应的资源性能参数值，具体可以采用如下方式实现：
获取该应用对应的至少一个设备的资源性能参数值；对该应用对应的至少一个设备的资源性能参数值进行降噪处理；若该应用对应多个设备，则计算降噪处理后的多个设备的资源性能参数值的加权平均值，得到该应用对应的资源性能参数值；若该应用对应一个设备，则将降噪处理后的该设备资源性能参数值作为该应用对应的资源性能参数值。
可选的，对资源性能参数值进行降噪处理，具体可以采用现有技术中小波分解方法进行降噪处理；例如，可以选择合适的正交小波基和分解层数，对含噪信号进行小波变换分解到不同的层；对分解得到的小波系数进行阈值处理，去除异常点数据和坏点数据，避免异常点数据和坏点数据影响最终结果的准确性，本实施例此处不再赘述。
可选的，获取到应用对应的资源性能参数值之后，可以对应用对应的资源性能参数值进行定量分析，针对不同类型的资源性能参数的值进行归类，分为空闲或者繁忙型。例如，可以预先设定各个资源性能参数对应的空闲阈值，若资源性能参数值低于对应的空闲阈值，则为空闲型；若资源性能参数值不低于对应的空闲阈值，则为繁忙型。
另外，获取该应用对应的至少一个设备的资源性能参数值之后，可以将获取到的各项资源性能参数的值存储到数据库中，以存储应用对应的多项资源性能参数的多维度的监控数据，以供后续做海量数据分析。例如，可以存储到Hbase中。
可选的，为了提高效率，可以建立数据路由层，通过不同的路由接收前端数据采集设备采集的不同的资源性能参数，以便于后续并发地对不同的资源性能参数进行隔离和分析处理。
步骤S202、获取应用分类模型。
可选的，本实施例中可以预先建立应用分类模型，具体可以采用如下方式实现：
获取多个应用对应的资源性能参数值；根据多个应用对应的资源性能参数值，建立应用分类模型。
具体地，获取多个应用对应的资源性能参数值的具体实现方式与上述步骤S201中获取任一应用对应的资源性能参数值的实现方式一致，本实施例此处不再赘述。
可选的，该步骤中可以获取预设时间段内的所有已知应用对应的资源性能参数值，其中预设时间段可以由技术人员根据实际需要进行设定，本实施例此处不做具体限定。另外，可以将所有已知应用记录在应用列表中。
进一步地，根据多个应用对应的资源性能参数值，建立应用分类模型，包括：
根据多个应用对应的资源性能参数值，对多个应用进行聚类处理，得到各个资源消耗类型的应用分类；确定各个资源消耗类型的应用分类的中心，得到应用分类模型。
其中，应用分类模型包括各个资源消耗类型的应用分类的中心。
可选的，可以采用SVM算法或者ANN算法等聚类算法，对多个应用进行聚类处理，得到各个资源消耗类型的应用分类。
另外，可以通过对预先选定的聚类算法进行大量的机器学习训练，提高聚类算法的分类准确性。
本实施例中，在建立应用分类模型之后，存储该应用分类模型。该步骤中，可以获取预先建立并存储的应用分类模型。
步骤S203、根据目标应用对应的资源性能参数值和应用分类模型，确定目标应用的资源消耗类型。
其中，资源消耗类型包括耗CPU型、耗内存型、耗磁盘型、耗网络型和均衡型。
本实施例中，根据目标应用对应的资源性能参数值和应用分类模型，确定目标应用的资源消耗类型，具体可以采用如下方式实现：
计算目标应用对应的资源性能参数值与各个资源消耗类型的应用分类的中心距离；根据目标应用对应的资源性能参数值与各个资源消耗类型的应用分类的中心的距离，以及预设的分类算法，确定目标应用的资源消耗类型。
其中，目标应用对应的资源性能参数值与各个资源消耗类型的应用分类的中心的距离可以为欧氏距离，可以体现目标应用与各个资源消耗类型的应用分类的匹配度。
可选的，可以确定中心与目标应用对应的资源性能参数值的距离最近的应用分类，并将该应用分类的资源消耗类型作为该目标应用的资源消耗类型。
可选的，预设的分类算法可以是决策树算法或者GBDT算法，从根节点开始，测试目标应用中相应的资源性能参数值，并按照空闲型或者繁忙型选择输出分支，直到到达叶子节点，将叶子节点存放的资源消耗类型作为决策结果。
另外，可以通过对预先选定的分类算法进行大量的机器学习训练，提高聚类算法的分类准确性。
本实施例中，在确定目标应用的资源消耗类型之后，可以将目标应用的资源消耗类型通过显示终端进行显示，以便于技术人员进行人工审核，判断确定的目标应用的资源消耗类型是否准确，并对目标应用进行正确标注，该标注数据可以作为对上述分类算法和/或聚类算法的训练数据，以提高上述分类算法和/或聚类算法的精确度。
步骤S204、根据目标应用的资源消耗类型，计算目标应用对应的设备当前能够承载的最大访问量。
本实施例中，不同的资源消耗类型对应于不同的关键资源，目标应用的资源消耗类型用于说明影响目标应用性能的关键资源的类型。
其中，若目标应用的资源消耗类型为耗CPU型，则目标应用对应的关键资源为CPU资源；若目标应用的资源消耗类型为耗内存型，则目标应用对应的关键资源为内存资源；若目标应用的资源消耗类型为耗磁盘型，则目标应用对应的关键资源为磁盘资源；若目标应用的资源消耗类型为耗网络型，则目标应用对应的关键资源为网络资源。
若目标应用的资源消耗类型为均衡型，则影响目标应用性能的关键资源不只是唯一的一种关键资源，而是CPU资源、内存资源、磁盘资源和网络资源对目标应用的性能的影响都比较大，都是目标应用的关键资源。
本实施例中，根据目标应用的资源消耗类型，计算目标应用对应的设备当前能够承载的最大访问量，具体可以采用如下方式实现：
根据目标应用的资源消耗类型，确定影响目标应用性能的关键资源对应的资源性能参数值与访问量的对应关系；根据关键资源对应的资源性能参数值与访问量的对应关系，以及预设的关键资源对应的资源性能参数的最大阈值，计算最大阈值对应的访问量，得到目标应用对应的设备当前能够承载的最大访问量。
其中，最大阈值可以由技术人员根据实际需要进行设定，本实施例此处不做具体限定。
进一步地，根据目标应用的资源消耗类型，确定影响目标应用性能的关键资源对应的资源性能参数值与访问量的对应关系，具体可以采用如下方式实现：
若目标应用的资源消耗类型为耗CPU型、耗内存型、耗磁盘型和耗网络型中的一种，则采用一元线性回归模型确定影响目标应用性能的关键资源对应的资源性能参数值与访问量的对应关系。
若目标应用的资源消耗类型为均衡型，则采用多元线性回归模型确定影响目标应用性能的关键资源对应的资源性能参数值与访问量的对应关系。
下面以耗CPU型为例，对采用一元线性回归模型确定影响目标应用性能的关键资源对应的资源性能参数值与访问量的对应关系进行详细地说明：
对于耗CPU型的目标应用，有两个非常重要的性能指标：一个是CPU使用率，一个是访问量。预先为目标应用的CPU使用率设定一个最大阈值，随着目标应用的访问量不断增加，当目标应用发访问量达增加到一定程度，必然使得目标应用的CPU使用率达到瓶颈。
如图3所示，以横坐标表示目标应用的访问量，纵坐标表示目标应用的CPU使用率，通过对目标应用的监控数据，采用一元线性回归方法，为目标应用生成回归线，这条回归线和最大阈值线的交叉点处的访问量的值即为目标应用的最大访问量。
其中，线性回归的通用公式为：
Figure BDA0001873567020000101
其中，xt代表t期自变量的值，
Figure BDA0001873567020000102
代表t期因变量的值，a和b代表一元线性回归方程的参数。
本实施例中，分别将目标应用的CPU使用率和访问量作为因变量和自变量，建立目标应用的一元线性回归模型。
对于一元线性回归模型，假设从获取了目标应用的n组观察值(x1，y1)，(x2，y2)，…，(xn，yn)。对于平面中的这n个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看，这条直线处于样本数据的中心位置最合理。选择最佳拟合曲线的标准可以确定为：使总的拟合误差(即总残差)达到最小。
可以通过以下方程组确定一元线性回归方程的参数a和b：
Figure BDA0001873567020000111
其中，用∑代表
Figure BDA0001873567020000112
为了简便计算，做如下定义：
Figure BDA0001873567020000113
其中，
Figure BDA0001873567020000114
基于上述定义的Sxx，Syy和Sxy，参数a和b可以通过求解以下方程组得到：
Figure BDA0001873567020000115
将求解得到的参数a和b代入线性回归的通用公式，可以得到目标应用的一元线性回归模型，也即是可以得到目标应用的CPU使用率和访问量的对应关系。
同理，若目标应用的资源消耗类型为耗CPU型、耗内存型、耗磁盘型和耗网络型中的一种，可以采用类似的方法确定影响目标应用性能的关键资源对应的资源性能参数值与访问量的对应关系。
若目标应用的资源消耗类型为均衡型，则具体可以采用现有技术中构建多元线性回归模型的方法，实现确定影响目标应用性能的关键资源对应的资源性能参数值与访问量的对应关系，本实施例此处不再赘述。
步骤S205、根据目标应用对应的设备当前能够承载的最大访问量，以及目标应用的目标访问量，确定目标应用对应设备的扩容数量。
在实际应用中，在重大促销活动期间，技术人员可以预先估计活动期间的目标应用的设备需要达到的目标访问量。该步骤中，根据目标应用的资源消耗类型，可以确定影响目标应用性能的关键资源对应的资源性能参数值与访问量的对应关系，可以预测出目标应用的当前设备所能达到最大访问量，结合所需的目标访问量，可以进一步计算得到目标应用对应设备的扩容数量。
可选的，在确定目标应用对应的设备的扩容数量之后，还可以将目标应用对应的设备的扩容数量按照预设方式推送给用户，以便于用户根据目标应用对应的设备的扩容数量进行扩容处理。其中，预设方式可以为短信息、电子邮件、即时通讯软件等方式，预设方式可以由技术人员根据实际需要进行设定，本实施例此处不做具体限定。
可选的，在确定目标应用对应的设备的扩容数量之后，还可以通过显示设备显示目标应用对应的设备的扩容数量，以便于用户根据目标应用对应的设备的扩容数量进行扩容处理。
可选的，还可以通过显示设备显示目标应用的资源消耗类型，以便于用户根据资源消耗类型着重对对应的资源进行扩容。
本实施中，可以周期性的通过上述步骤S101-S103确定目标应用对应设备的扩容数量，从而可以实时地对目标应用的扩容数量进行实时地调整，以使对目标应用的扩容更加及时和准确。
本发明实施例通过根据大量历史数据建立应用分类模型，根据目标应用对应的资源性能参数值和应用分类模型，可以准确地确定目标应用的资源消耗类型，从而可以确定影响目标应用性能的关键资源对应的资源性能参数值与访问量的对应关系，并计算得到目标应用对应的设备当前能够承载的最大访问量，从而可以根据最大访问量以及目标应用的目标访问量，确定目标应用对应设备的扩容数量，实现了对目标应用的扩容数量的准确预测，可以避免因基于单一的CPU使用率进行设备扩容导致当应用设备的除CPU之外的内存资源或者磁盘资源等其他资源不足时无法及时地进行扩容处理的问题，提高了扩容处理的及时性和准确性。
实施例三
图4为本发明实施例三提供的扩容处理装置的结构示意图。本发明实施例提供的扩容处理装置可以执行扩容处理方法实施例提供的处理流程。如图4所示，该装置30包括：数据分析模块301，应用分类模块302和容量预估模块303。
具体地，数据分析模块301用于获取目标应用对应的资源性能参数值，资源性能参数至少包括以下五种：CPU使用率、内存使用率、磁盘使用率、网络流量和磁盘繁忙率。
应用分类模块302用于根据目标应用对应的资源性能参数值，确定目标应用的资源消耗类型，资源消耗类型包括耗CPU型、耗内存型、耗磁盘型、耗网络型和均衡型。
容量预估模块303用于根据目标应用的资源消耗类型，确定目标应用对应设备的扩容数量。
本发明实施例提供的装置可以具体用于执行上述实施例一所提供的方法实施例，具体功能此处不再赘述。
本发明实施例通过获取目标应用对应的CPU使用率、内存使用率、磁盘使用率、网络流量和磁盘繁忙率等资源性能参数的值，根据目标应用对应的资源性能参数值，确定目标应用的资源消耗类型，资源消耗类型包括耗CPU型、耗内存型、耗磁盘型、耗网络型和均衡型；根据目标应用的资源消耗类型，确定目标应用对应设备的扩容数量，从而可以实现针对耗CPU型、耗内存型、耗磁盘型、耗网络型和均衡型等不同资源消耗类型的应用，有针对性地进行扩容处理，可以避免因基于单一的CPU使用率进行设备扩容导致当应用设备的除CPU之外的内存资源或者磁盘资源等其他资源不足时无法及时地进行扩容处理的问题，提高了扩容处理的及时性和准确性。
实施例四
在上述实施例三的基础上，本实施例中，容量预估模块还用于：
根据目标应用的资源消耗类型，计算目标应用对应的设备当前能够承载的最大访问量；根据目标应用对应的设备当前能够承载的最大访问量，以及目标应用的目标访问量，确定目标应用对应设备的扩容数量。
可选的，容量预估模块还用于：
根据目标应用的资源消耗类型，确定影响目标应用性能的关键资源对应的资源性能参数值与访问量的对应关系；根据关键资源对应的资源性能参数值与访问量的对应关系，以及预设的关键资源对应的资源性能参数的最大阈值，计算最大阈值对应的访问量，得到目标应用对应的设备当前能够承载的最大访问量。
可选的，容量预估模块还用于：
若目标应用的资源消耗类型为耗CPU型、耗内存型、耗磁盘型和耗网络型中的一种，则采用一元线性回归模型确定影响目标应用性能的关键资源对应的资源性能参数值与访问量的对应关系；若目标应用的资源消耗类型为均衡型，则采用多元线性回归模型确定影响目标应用性能的关键资源对应的资源性能参数值与访问量的对应关系。
可选的，应用分类模块还用于：
获取多个应用对应的资源性能参数值；根据多个应用对应的资源性能参数值，建立应用分类模型；根据目标应用对应的资源性能参数值和应用分类模型，确定目标应用的资源消耗类型。
可选的，应用分类模块还用于：
根据多个应用对应的资源性能参数值，对多个应用进行聚类处理，得到各个资源消耗类型的应用分类；确定各个资源消耗类型的应用分类的中心，得到应用分类模型。
可选的，应用分类模块还用于：
计算目标应用对应的资源性能参数值与各个资源消耗类型的应用分类的中心距离；根据目标应用对应的资源性能参数值与各个资源消耗类型的应用分类的中心的距离，以及预设的分类算法，确定目标应用的资源消耗类型。
可选的，数据分析模块还用于：
获取该应用对应的至少一个设备的资源性能参数值；
对该应用对应的至少一个设备的资源性能参数值进行降噪处理；
若该应用对应多个设备，则计算降噪处理后的多个设备的资源性能参数值的加权平均值，得到该应用对应的资源性能参数值。
本发明实施例提供的装置可以具体用于执行上述实施例二所提供的方法实施例，具体功能此处不再赘述。
本发明实施例通过根据大量历史数据建立应用分类模型，根据目标应用对应的资源性能参数值和应用分类模型，可以准确地确定目标应用的资源消耗类型，从而可以确定影响目标应用性能的关键资源对应的资源性能参数值与访问量的对应关系，并计算得到目标应用对应的设备当前能够承载的最大访问量，从而可以根据最大访问量以及目标应用的目标访问量，确定目标应用对应设备的扩容数量，实现了对目标应用的扩容数量的准确预测，可以避免因基于单一的CPU使用率进行设备扩容导致当应用设备的除CPU之外的内存资源或者磁盘资源等其他资源不足时无法及时地进行扩容处理的问题，提高了扩容处理的及时性和准确性。
实施例五
图5为本发明实施例五提供的扩容处理设备的结构示意图。如图5所示，该扩容处理设备50包括：处理器501，存储器502，以及存储在存储器502上并可由处理器501执行的计算机程序。
处理器501在执行存储在存储器502上的计算机程序时实现上述任一方法实施例提供的扩容处理方法。
本发明实施例通过获取目标应用对应的CPU使用率、内存使用率、磁盘使用率、网络流量和磁盘繁忙率等资源性能参数的值，根据目标应用对应的资源性能参数值，确定目标应用的资源消耗类型，资源消耗类型包括耗CPU型、耗内存型、耗磁盘型、耗网络型和均衡型；根据目标应用的资源消耗类型，确定目标应用对应设备的扩容数量，从而可以实现针对耗CPU型、耗内存型、耗磁盘型、耗网络型和均衡型等不同资源消耗类型的应用，有针对性地进行扩容处理，可以避免因基于单一的CPU使用率进行设备扩容导致当应用设备的除CPU之外的内存资源或者磁盘资源等其他资源不足时无法及时地进行扩容处理的问题，提高了扩容处理的及时性和准确性。
另外，本发明实施例还提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述任一方法实施例提供的扩容处理方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求书指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。

Claims (13)

1.一种扩容处理方法，其特征在于，包括：
获取目标应用对应的资源性能参数值，所述资源性能参数至少包括以下五种：CPU使用率、内存使用率、磁盘使用率、网络流量和磁盘繁忙率；
根据所述目标应用对应的资源性能参数值，确定所述目标应用的资源消耗类型，所述资源消耗类型包括耗CPU型、耗内存型、耗磁盘型、耗网络型和均衡型；
根据所述目标应用的资源消耗类型，确定所述目标应用对应设备的扩容数量。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标应用的资源消耗类型，确定所述目标应用对应设备的扩容数量，包括：
根据所述目标应用的资源消耗类型，计算所述目标应用对应的设备当前能够承载的最大访问量；
根据所述目标应用对应的设备当前能够承载的最大访问量，以及所述目标应用的目标访问量，确定所述目标应用对应设备的扩容数量。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标应用的资源消耗类型，计算所述目标应用对应的设备当前能够承载的最大访问量，包括：
根据所述目标应用的资源消耗类型，确定影响所述目标应用性能的关键资源对应的资源性能参数值与访问量的对应关系；
根据所述关键资源对应的资源性能参数值与访问量的对应关系，以及预设的所述关键资源对应的资源性能参数的最大阈值，计算所述最大阈值对应的访问量，得到所述目标应用对应的设备当前能够承载的最大访问量。
4.根据权利要求1所述的方法，其特征在于，所述根据所述目标应用对应设备的资源性能参数值，确定所述目标应用的资源消耗类型，包括：
获取多个应用对应的资源性能参数值；
根据所述多个应用对应的资源性能参数值，建立应用分类模型；
根据所述目标应用对应的资源性能参数值和所述应用分类模型，确定所述目标应用的资源消耗类型。
5.根据权利要求4所述的方法，其特征在于，所述根据所述多个应用对应的资源性能参数值，建立应用分类模型，包括：
根据所述多个应用对应的资源性能参数值，对所述多个应用进行聚类处理，得到各个所述资源消耗类型的应用分类；
确定各个所述资源消耗类型的应用分类的中心，得到所述应用分类模型。
6.根据权利要求5所述的方法，其特征在于，所述根据所述目标应用对应的资源性能参数值和所述应用分类模型，确定所述目标应用的资源消耗类型，包括：
计算所述目标应用对应的资源性能参数值与所述各个所述资源消耗类型的应用分类的中心距离；
根据所述目标应用对应的资源性能参数值与所述各个所述资源消耗类型的应用分类的中心的距离，以及预设的分类算法，确定所述目标应用的资源消耗类型。
7.根据权利要求3所述的方法，其特征在于，所述根据所述目标应用的资源消耗类型，确定影响所述目标应用性能的关键资源对应的资源性能参数值与访问量的对应关系，包括：
若所述目标应用的资源消耗类型为耗CPU型、耗内存型、耗磁盘型和耗网络型中的一种，则采用一元线性回归模型确定影响所述目标应用性能的关键资源对应的资源性能参数值与访问量的对应关系；
若所述目标应用的资源消耗类型为均衡型，则采用多元线性回归模型确定影响所述目标应用性能的关键资源对应的资源性能参数值与访问量的对应关系。
8.根据权利要求1或4所述的方法，其特征在于，获取任一应用对应的资源性能参数值，包括：
获取该应用对应的至少一个设备的所述资源性能参数值；
对该应用对应的至少一个设备的资源性能参数值进行降噪处理；
若该应用对应多个设备，则计算降噪处理后的多个设备的资源性能参数值的加权平均值，得到该应用对应的资源性能参数值。
9.一种扩容处理装置，其特征在于，包括：
数据分析模块，用于获取目标应用对应的资源性能参数值，所述资源性能参数至少包括以下五种：CPU使用率、内存使用率、磁盘使用率、网络流量和磁盘繁忙率；
应用分类模块，用于根据所述目标应用对应的资源性能参数值，确定所述目标应用的资源消耗类型，所述资源消耗类型包括耗CPU型、耗内存型、耗磁盘型、耗网络型和均衡型；
容量预估模块，用于根据所述目标应用的资源消耗类型，确定所述目标应用对应设备的扩容数量。
10.根据权利要求9所述的装置，其特征在于，所述容量预估模块还用于：
根据所述目标应用的资源消耗类型，计算所述目标应用对应的设备当前能够承载的最大访问量；
根据所述目标应用对应的设备当前能够承载的最大访问量，以及所述目标应用的目标访问量，确定所述目标应用对应设备的扩容数量。
11.根据权利要求9所述的装置，其特征在于，所述应用分类模块还用于：
获取多个应用对应的资源性能参数值；
根据所述多个应用对应的资源性能参数值，建立应用分类模型；
根据所述目标应用对应的资源性能参数值和所述应用分类模型，确定所述目标应用的资源消耗类型。
12.一种扩容处理设备，其特征在于，包括：
存储器，处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，
所述处理器运行所述计算机程序时实现如权利要求1-8中任一项所述的方法。
13.一种计算机可读存储介质，其特征在于，存储有计算机程序，
所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的方法。
CN201811388770.2A 2018-11-21 2018-11-21 扩容处理方法、装置、设备及可读存储介质 Pending CN111209105A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811388770.2A CN111209105A (zh) 2018-11-21 2018-11-21 扩容处理方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811388770.2A CN111209105A (zh) 2018-11-21 2018-11-21 扩容处理方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN111209105A true CN111209105A (zh) 2020-05-29

Family

ID=70786404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811388770.2A Pending CN111209105A (zh) 2018-11-21 2018-11-21 扩容处理方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111209105A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111831447A (zh) * 2020-07-16 2020-10-27 中国民航信息网络股份有限公司 一种基于性能监控的应用弹性扩容方法及装置
CN114629821A (zh) * 2020-12-10 2022-06-14 新智云数据服务有限公司 物联网用量数据生成方法、装置、设备和介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111831447A (zh) * 2020-07-16 2020-10-27 中国民航信息网络股份有限公司 一种基于性能监控的应用弹性扩容方法及装置
CN111831447B (zh) * 2020-07-16 2024-04-30 中国民航信息网络股份有限公司 一种基于性能监控的应用弹性扩容方法及装置
CN114629821A (zh) * 2020-12-10 2022-06-14 新智云数据服务有限公司 物联网用量数据生成方法、装置、设备和介质
CN114629821B (zh) * 2020-12-10 2023-11-10 新智云数据服务有限公司 物联网用量数据生成方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
AU2021232839B2 (en) Updating Attribute Data Structures to Indicate Trends in Attribute Data Provided to Automated Modelling Systems
US10354201B1 (en) Scalable clustering for mixed machine learning data
US10268749B1 (en) Clustering sparse high dimensional data using sketches
CN109766454A (zh) 一种投资者分类方法、装置、设备及介质
CN111898578B (zh) 人群密度的获取方法、装置、电子设备
US11816687B2 (en) Personalized approach to modeling users of a system and/or service
De Nicola et al. Evaluating Italian public hospital efficiency using bootstrap DEA and CART
CN111695046B (zh) 基于时空移动数据表征学习的用户画像推断方法及装置
CN107633257B (zh) 数据质量评估方法及装置、计算机可读存储介质、终端
Smyth et al. Thirsty in an ocean of data? Pitfalls and practical strategies when partnering with industry on big data supply chain research
CN115983900A (zh) 用户营销策略的构建方法、装置、设备、介质和程序产品
CN111209105A (zh) 扩容处理方法、装置、设备及可读存储介质
CN110910241B (zh) 现金流评估方法、装置、服务器设备及存储介质
CN112231299A (zh) 一种特征库动态调整的方法和装置
CN116739649A (zh) 一种用户响应潜力评估方法和装置
CN112463964B (zh) 文本分类及模型训练方法、装置、设备及存储介质
CN114357242A (zh) 基于召回模型的训练评估方法及装置、设备、存储介质
CN113762972A (zh) 数据存储控制方法及装置、电子设备、存储介质
CN105491157A (zh) 一种基于用户协同正则化的个性化Web服务组合方法
CN113515383B (zh) 系统资源数据分配方法和装置
CN113919893B (zh) 信息推送方法、装置、电子设备和可读介质
Babu et al. Resource-Based Prediction in Cloud Computing Using LSTM with Autoencoders
Fritz Methods for enhanced exploratory clustering analyses
Seshadri et al. Design and Evaluation of a Hierarchical Characterization and Adaptive Prediction Model for Cloud Workloads
CN117993952A (zh) 一种基于大数据的智慧客户关系管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination