CN108564237A - 一种容量评估模型建立方法、容量评估方法及装置 - Google Patents

一种容量评估模型建立方法、容量评估方法及装置 Download PDF

Info

Publication number
CN108564237A
CN108564237A CN201711331389.8A CN201711331389A CN108564237A CN 108564237 A CN108564237 A CN 108564237A CN 201711331389 A CN201711331389 A CN 201711331389A CN 108564237 A CN108564237 A CN 108564237A
Authority
CN
China
Prior art keywords
influence factor
capacity
estimated
value
error function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711331389.8A
Other languages
English (en)
Inventor
蔡方龙
王影
林诰
刘金杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to CN201711331389.8A priority Critical patent/CN108564237A/zh
Publication of CN108564237A publication Critical patent/CN108564237A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例公开了一种容量评估模型建立方法、容量评估方法及装置，包括：获取待估容量参数的多组训练数据；对每一影响因素的数据值分别进行归一化，将归一化后的数据值代入初始关系式，得到每组训练数据对应待估容量参数的预测值的表达式；根据各组训练数据对应的待估容量参数的预测值的表达式、实际值，计算待估容量参数的误差函数，并将求得误差函数最小值时，回归系数满足设定条件的影响因素确定为关键影响因素；根据各关键影响因素，建立容量评估模型。可见，误差函数中包括用于约束弱影响因素参数约束项，因而，仅将满足设定条件的影响因素确定为关键影响因素，可起到自动筛选关键影响因素的作用，从而使得确定出的容量评估模型更加精确。

Description

一种容量评估模型建立方法、容量评估方法及装置
技术领域
本发明涉及互联网金融技术领域，尤其涉及一种容量评估模型建立方法、容量评估方法及装置。
背景技术
在目前交易系统的运维过程中，常常需要对交易系统的容量进行评估，然而现有技术中的容量评估手段仍然停留在人工经验判断或是简单线性拟合得出容量模型的阶段，并没有可以生成容量评估模型的自动化工具可以使用。
现有技术中，人工经验判断的方式常常是粗略地使用过往的容量表现数据，来人为地估计未来的容量使用情况，这种方式不仅不能达到较高的容量瓶颈预测精度，而且还存在过往的数据不能准确反应当前系统情况的问题。而线性拟合的方式常常是搜集一些可能影响容量目标的影响因素的相关数据，采用统计学线性拟合的方法得出容量模型，但是对采集到的相关数据中的各影响因素不加分辨地全量使用，将不可避免地引入一些实际上无关、重复或相关性较小的影响因素，使得建立的容量模型不够精确。若是在模型建立前加入人工筛选影响因素的步骤，又会进一步引入较高的人力成本，并使得建立的容量模型依托于技术人员的运维经验，无法达到科学定量的要求。
因此，目前亟需要一种容量评估模型建立方法，用于解决现有技术中建立容量模型的过程中，由于引入了无关、重复或相关性较小的影响因素，而使得容量模型不够准确，容量瓶颈的预测精度较低的技术问题。
发明内容
本发明提供一种容量评估模型建立方法、容量评估方法及装置，用于解决现有技术中建立容量模型的过程中，由于引入了无关、重复或相关性较小的影响因素，而使得容量模型不够准确，容量瓶颈的预测精度较低的技术问题。
本发明实施例提供的一种容量评估模型建立方法，所述方法应用于交易系统，所述方法包括：
获取待估容量参数的多组训练数据，其中每组训练数据中包括所述待估容量参数的各影响因素的数据值，以及待估容量参数的实际值；所述待估容量参数为表征所述交易系统性能的任一参数；
对所述多组训练数据中每一影响因素的数据值分别进行归一化，将归一化后的各影响因素的数据值代入初始关系式，得到每组训练数据对应的所述待估容量参数的预测值的表达式；其中，所述表达式中每个影响因素均对应一个回归系数；
根据所述多组训练数据的实际值、所述预测值的表达式，计算所述待估容量参数的误差函数；所述误差函数中包括参数约束项，所述参数约束项用于在求解所述误差函数的过程中约束所述各影响因素中的弱影响因素；
将求得所述误差函数的最小值时，所述各影响因素中回归系数满足设定条件的影响因素确定为关键影响因素；
根据各关键影响因素，建立所述待估容量参数的容量评估模型。
可选地，所述初始关系式满足如下公式：
hθ(x)＝θ0+θ1x1+θ2x2+…+θnxn
其中，hθ(x)表示所述待估容量参数的预测值，n为影响因素的数量，θ0为所述初始关系式中的常数系数，θ1至θn分别为第1个至第n个影响因素对应的回归系数；
所述待估容量参数的误差函数满足如下公式：
其中，J(θ)为所述待估容量参数的误差函数；n为影响因素的个数；m为训练数据的组数；hθ(xj)为第j组训练数据的预测值；yj为第j组训练数据的实际值，为所述参数约束项，θi为第i个影响因素对应的回归系数，α为所述参数约束项的缩放系数。
可选地，通过如下方式求得所述误差函数的最小值，包括：
采用梯度下降法迭代求解所述误差函数，若确定在第N次迭代过程中，所述误差函数的函数值小于等于预设值，则将所述函数值确定为所述误差函数的最小值。
可选地，所述根据各个关键影响因素，建立所述待估容量参数的容量评估模型，包括：
根据所述各个关键影响因素，以及在求得所述误差函数的最小值时所述各个关键影响因素的回归系数，建立所述待估容量参数的容量评估模型。
可选地，所述根据各个关键影响因素，建立所述待估容量参数的容量评估模型，包括：
根据归一化前所述多组训练数据中各个关键影响因素对应的数据，采用设定算法进行计算，建立所述待估容量参数的容量评估模型。
本发明实施例提供的一种容量评估方法，所述方法应用于交易系统，所述方法包括：
确定待估容量参数；
根据所述待估容量参数对应的容量评估模型的各关键影响因素，采集所述各关键影响因素对应的数据；其中，所述容量目标对应的容量评估模型是通过上述权利要求1至5中所述的方法建立的；
将所述各关键影响因素对应的数据输入所述容量评估模型中，得到所述待估容量参数的预测值。
基于同样的发明构思，本发明实施例还提供的一种模型建立装置，所述装置包括：
获取模块，用于获取待估容量参数的多组训练数据，其中每组训练数据中包括所述待估容量参数的各影响因素的数据值，以及待估容量参数的实际值；所述待估容量参数为表征所述交易系统性能的任一参数；
处理模块，用于对所述多组训练数据中每一影响因素的数据值分别进行归一化，将归一化后的各影响因素的数据值代入初始关系式，得到每组训练数据对应的所述待估容量参数的预测值的表达式；其中，所述表达式中每个影响因素均对应一个回归系数；
计算模块，用于根据所述多组训练数据的实际值、所述预测值的表达式，计算所述待估容量参数的误差函数，所述误差函数中包括参数约束项，所述参数约束项用于在求解所述误差函数的过程中约束所述各影响因素中的弱影响因素；
建立模块，用于将求得所述误差函数的最小值时，所述各影响因素中回归系数满足设定条件的影响因素确定为关键影响因素；以及，根据各关键影响因素，建立所述待估容量参数的容量评估模型。
可选地，所述初始关系式满足如下公式：
hθ(x)＝θ0+θ1x1+θ2x2+…+θnxn
其中，hθ(x)表示所述待估容量参数的预测值，n为影响因素的数量，θ0为所述初始关系式中的常数系数，θ1至θn分别为第1个至第n个影响因素对应的回归系数；
所述待估容量参数的误差函数满足如下公式：
其中，J(θ)为所述待估容量参数的误差函数；n为影响因素的个数；m为训练数据的组数；hθ(xj)为第j组训练数据的预测值；yj为第j组训练数据的实际值，为所述参数约束项，θi为第i个影响因素对应的回归系数，α为所述参数约束项的缩放系数。
可选地，所述计算模块具体用于：
采用梯度下降法迭代求解所述误差函数，若确定在第N次迭代过程中，所述误差函数的函数值小于等于预设值，则将所述函数值确定为所述误差函数的最小值。
可选地，所述建立模块具体用于：
根据所述各个关键影响因素，以及在求得所述误差函数的最小值时所述各个关键影响因素的回归系数，建立所述待估容量参数的容量评估模型。
可选地，所述建立模块具体还用于：
根据归一化前所述多组训练数据中各个关键影响因素对应的数据，采用设定算法进行计算，建立所述待估容量参数的容量评估模型。
基于同样的发明构思，本发明实施例还提供的一种预测装置，所述装置包括：
确定模块，用于确定待估容量参数；
采集模块，用于根据所述待估容量参数对应的容量评估模型的各关键影响因素，采集所述各关键影响因素对应的数据；其中，所述容量目标对应的容量评估模型是通过上述权利要求1至5中所述的方法建立的；
预测模块，用于将所述各关键影响因素对应的数据输入所述容量评估模型中，得到所述待估容量参数的预测值。
本发明另一实施例提供了一种计算设备，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序执行上述任一种方法。
本发明另一实施例提供了一种计算机存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一种方法。
本发明实施例提供的容量评估模型的建立方法包括：获取待估容量参数的多组训练数据；对多组训练数据中每一影响因素的数据值分别进行归一化，将归一化后的各影响因素的数据值代入初始关系式，得到每组训练数据对应该待估容量参数的预测值的表达式；进而根据各组训练数据对应的待估容量参数的预测值的表达式、实际值，计算待估容量参数的误差函数，并将求得误差函数最小值时，各影响因素中回归系数满足设定条件的影响因素确定为关键影响因素；根据各关键影响因素，建立容量评估模型。可见，由于可根据各组训练数据对应的待估容量参数的预测值的表达式、以及各组训练数据对应的实际值计算误差函数，且该误差函数中包括参数约束项，该参数约束项在求解误差函数的过程中可约束各影响因素中的弱影响因素，因而，将求得误差函数的最小值，各影响因素中回归系数满足设定条件的影响因素确定为关键影响因素，可起到自动筛选关键影响因素的作用，从而使得根据确定出的关键影响因素建立的容量评估模型更加精确。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种容量评估模型建立方法所对应的流程示意图；
图2为本发明实施例提供的一种容量评估模型建立方法中筛选关键影响因素的执行流程图；
图3为本发明实施例提供的一种容量评估方法所对应的流程示意图；
图4为本发明实施例提供的一种模型建立装置的结构示意图；
图5为本发明实施例提供的一种预测装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例，仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例中提供的容量评估模型建立方法应用于交易系统中，所述待估容量参数为可表征该交易系统性能的任一参数，是容量预测过程中待预测的容量目标。举例来说，所述待估容量参数可以为交易系统中的CPU使用率、占用内存空间、数据库表空间、处理时间等等。
某一待估容量参数的容量评估模型则是指该待估容量参数与其相关的各个影响因素之间的关系解析式。可见，对于不同的待估容量参数来说，适用的容量评估模型是不同的，但都可以通过执行如下的步骤S101至步骤S105，建立相应的容量评估模型。
很显然，随着时间的变化，交易系统中的系统参数可能也会发生变化，从而使得建立的容量评估模型在进行容量预测时不再精确，因而，本发明实施例也可通过重新采集数据，通过执行如下的步骤S101至步骤S105对建立的容量评估模型进行更新。
下面结合说明书附图对本发明实施例做进一步详细描述。
图1为本发明实施例提供的一种容量评估模型建立方法所对应的流程示意图，如图1所示，该方法包括如下步骤：
步骤S101：获取待估容量参数的多组训练数据，其中每组训练数据中包括所述待估容量参数的各影响因素的数据值，以及待估容量参数的实际值；
步骤S102：对所述多组训练数据中每一影响因素的数据值分别进行归一化，将归一化后的各影响因素的数据值代入初始关系式，得到每组训练数据对应的所述待估容量参数的预测值的表达式；
步骤S103：根据所述多组训练数据的实际值、所述预测值的表达式，计算所述待估容量参数的误差函数；
步骤S104：将求得所述误差函数的最小值时，所述各影响因素中回归系数满足设定条件的影响因素确定为关键影响因素；
步骤S105：根据各关键影响因素，建立所述待估容量参数的容量评估模型。
可见，由于可根据各组训练数据对应的待估容量参数的预测值的表达式、以及各组训练数据对应的实际值计算误差函数，且该误差函数中包括参数约束项，该参数约束项在求解误差函数的过程中可约束各影响因素中的弱影响因素，因而，将求得误差函数的最小值，各影响因素中回归系数满足设定条件的影响因素确定为关键影响因素，可起到自动筛选关键影响因素的作用，从而使得根据确定出的关键影响因素建立的容量评估模型更加精确。
具体来说，在步骤S101中，确定待估容量参数后，首先获取该待估容量参数的多组训练数据，组成训练数据矩阵。其中，每一组训练数据中均包括与该待估容量参数相关的各个影响因素的数据值，以及该组训练数据对应的待估容量参数的实际参数值(可简称为实际值)。
本发明实施例中，与待估容量参数相关的影响因素是指与待估容量参数所在业务相关的业务信息，如业务TPS(Transaction per second，服务器每秒处理的事务数)，以及该交易系统的系统参数。由于在后续步骤中，可对步骤S101中所采集的各个影响因素进行自动筛选，得出其中的关键影响因素，因而在步骤S101中，可尽可能多获取与待估容量参数相关的多个影响因素，即只要认为某一影响因素与待估容量参数相关，就采集该影响因素的数据，并放入训练数据矩阵中，从而降低了步骤S101中数据采集的针对性。
本发明实施例中，可从多种训练数据源采集上述多个影响因素的数据，本发明对此不做具体限制。
由于不同影响因素的数据值的数值范围可能不同，甚至可能在量级上有较大差别，因此，为了避免后续的训练过程中不同影响因素的数据值之间的互相影响，因而，在步骤S102中，需对获取到的训练数据矩阵中每一影响因素的数据值分别进行归一化。即，将每个影响因素的数据值都归一化到[0,1]之间，从而仅保留数据之间的相对大小关系。
随后，将归一化后的各影响因素的数据值代入初始关系式，得到每组训练数据对应的待估容量参数的预测值的表达式。
本发明实施例中，所述待估容量参数的初始关系式与容量评估模型相同，均为待估容量参数和与其相关的各个影响因素之间的关系解析式，但区别在于，初始关系式中包括在上述步骤S101中获取的所有影响因素，而且每个影响因素对应的回归系数是未知、待求解的，仅用符号代替。而容量评估模型中仅包括在各个影响因素中筛选出的关键影响因素，而且各个关键影响因素是相互独立的，它们对应的回归系数具有具体的数值。
优选的，初始关系式满足如下公式：
hθ(x)＝θ0+θ1x1+θ2x2+…+θnxn 公式一
其中，hθ(x)表示待估容量参数的预测值，等号右边即为该待估容量参数的预测值的表达式，n为影响因素的数量，θ0为所述初始关系式中的常数系数，θ1至θn分别为第1个至第n个影响因素对应的回归系数，x1至xn分别为某组训练数据中第一个影响因素至第n个影响因素的数据值。
在上述公式一中，常数系数以及各个影响因素对应的回归系数均是未知的、待求解的，仅用符号θ0～θn表示。
具体地，在步骤S102中，当对各个影响因素的数据值进行分别归一化，得到归一化后的训练数据矩阵后，对训练数据矩阵中的每组训练数据分别进行处理，以得到各组训练数据对应的待估容量参数的预测值的表达式。即将各组训练数据分别代入待上述初始关系式中，将各个影响因素的数据值代替初始关系式中的相应的x。
需要注意的是，本发明实施例，仅针对各个影响因素的数据值进行归一化，而对每一组训练数据对应的待估容量参数的实际值不做归一化处理。
进而，在步骤S103中，根据各组训练数据对应待估容量参数的预测值的表达式、实际值，计算待估容量参数的误差函数。
具体的，该误差函数满足如下公式：
其中，J(θ)为待估容量参数的误差函数；n为影响因素的个数；m为训练数据的组数；hθ(xj)为第j组训练数据对应待估容量参数的预测值；yj为第j组训练数据对应待估容量参数的实际值，为所述参数约束项，θi为第i个影响因素对应的回归系数，α为参数约束项的缩放系数。
本发明实施例中，所述误差函数实际上为Lasso(Least absolute shrinkage andselection operator，套索)回归算法中的误差函数，该误差函数是利用上述步骤S101中采集的全部组的训练数据求得的，其中，第一项 代表了容量评估模型中待估容量参数的预测值与实际值之间的误差，第二项为参数约束项，用来对各个影响因素中的弱影响因素(即无关的或重复的影响因素)进行约束，使其的回归系数在求解该误差函数的过程逐渐收敛，最终收敛到0。
具体的，所述缩放系数α大于0，用于控制在后续迭代求解误差函数过程中，筛选关键影响因素的力度，α越大，筛选后得到的关键影响因素的个数就越少，反之，α越小，筛选后得到的关键影响因素的个数就越多。本领域技术人员可根据实际需要，对该缩放系数的大小进行具体的设置，本发明对此不做具体限制。
进一步地，在步骤S104中，采用梯度下降法迭代求解该误差函数，并将求得误差函数的最小值时，各个影响因素中回归系数满足设定条件的影响因素确定为关键影响因素。由于梯度下降法是现有技术，因而，本发明对此不再赘述。
具体的，在迭代求解误差函数的过程中，每经一次迭代，各个影响因素对应的回归系数的数值都将变化，直至收敛到最终值。当求得误差函数的最小值时，结束上述迭代过程。若在第N次迭代过程中，误差函数的函数值小于等于预设值，则确定已求得误差函数的最小值，并将此时的函数值确定为误差函数的最小值。其中，所述预设值可由本领域技术人员根据实际情况进行设置，本发明对此不做具体限制。
具体的，满足设定条件的影响因素是指求得误差函数的最小值时，即在第N次迭代过程中，回归系数不为零的各影响因素。
如此，将第N次迭代过程中各影响因素对应的回归系数代入初始关系式，并剔除回归系数为0的各影响因素，将得到待估容量参数与各关键影响因素之间的最终关系式，如下公式所示：
h’θ(x)＝θ0′+θ1′x1′+θ2′x2′+…+θl′xl′ 公式三
其中，h’θ(x)表示待估容量参数的预测值，l为关键影响因素的数量，l小于等于n，θ0为最终关系式中的常数系数，θ0′至θl′分别为各关键影响因素对应的回归系数，且θ0′至θl′均不为0，x1′至xl′分别为各个关键影响因素的数据值。
图2为本发明实施例提供的一种容量评估模型建立方法中筛选关键影响因素的执行流程图，如图2所示，该执行过程与图1中所示出的步骤S101至步骤S104相对应，且执行流程中在求解误差函数的过程构成了循环结构，循环结束的条件为判断误差函数的函数值小于等于预设值为真，当跳出循环后，提出回归系数为0的影响因素，从而筛选得到各个关键影响因素。
更进一步地，在步骤S105中，根据各关键影响因素，建立待估容量参数的容量评估模型。
具体的，本发明实施例中提供两种根据关键影响因素，建立容量评估模型的方式，其一为，直接将上述步骤S104中得出的最终关系式作为容量评估模型。
但是由于在步骤S102中对各影响因素的数据值进行了归一化，仅保留了个影响因素的数据值之间的相对大小关系，因而，为了得出更加精确的容量评估模型，本发明实施出提出第二种建立容量评估模型的方式，即使用归一化前的各组训练数据中各个关键影响因素对应的数据，采用设定算法进行计算，建立该待估容量参数的容量评估模型。
其中，所述设定算法可以是线性拟合，或者深度学习、神经网络中提供的其他模型建立算法，本发明对此不做具体限制。
可见，基于上述Lasso回归算法，可实现自动剔除无关因素和重复因素，筛选出其中的关键影响因素的功能，从而建立更为精确的容量评估模型，减少了引入无关、重复因素造成的预测误差。
下面以一个具体实施例来详细说明本发明实施例中提供的容量评估模型建立方法。
本具体实施例中，待估容量参数为交易系统中的CPU使用率，如下表1为本具体实施例中采集的训练数据矩阵。
可以看出，表1中的训练数据矩阵为29行、7列的矩阵。在该矩阵中，每一行代表一组训练数据，共有29组训练数据；前6列中的每一列代表一个影响因素，共有6个影响因素，分别为6种交易类型：设备卡加载、注销、实体卡号变更和其他业务。第7列代表某组训练数据中待估容量参数的实际值。
具体的，上述矩阵中第a行第b列的数值为第a组训练数据中第b个影响因素对应的数据值，a大于等于1，小于等于29，b大于等于1，小于等于6；在本具体实施例中数据值具体为某一种交易类型的单日交易笔数。
将上述6个影响因素分别表示为x1～x6，针对每个影响因素分别进行归一化后，可得到如表2中所示的归一化后的训练数据矩阵：
根据表2中所示出的训练数据矩阵，采取本发明例中所描述的Lasso回归算法进行训练可得到如下的关系解析式：
y＝12.234x1+6.159x2+0x3+0x4+0x5+0x6 公式四
可见，经Lasso回归算法进行反复迭代后，第3至第6个影响因素的回归系数收敛至0，而x1、x2对CPU使用率的影响最为明显，属于关键影响因素。
因而，将公式四中的回归系数为0的影响因素x3至x6所在项删除后，可得到如下的最终解析式：
y＝12.234x1+6.159x2 公式五
进而，确定出关键影响因素为x1、x2后，可将归一化前表1中的训练数据矩阵重新进行线性拟合，得到最终的容量评估模型如下：
y＝0.00032648x1′+0.00014633x2′ 公式六
根据上述结论分析可知，本具体实施例中所采集的CPU使用率的数据的主机运行时的主要任务就是处理“设备卡加载”和“激活”这两种交易类型的业务，根据业务逻辑判断，这两种业务类型的交易笔数必然会明显影响该主机CPU的使用情况，进而说明了采用本发明实施例所提供的模型建立方法是正确有效的。进一步测试可知，该模型的准确率高达98.15％。
本发明实施例还提供了一种容量评估方法，图3为本发明实施例中的容量评估方法所对应的流程示意图，如图3所示，该方法包括：
步骤S301：确定待估容量参数；
步骤S302：根据所述待估容量参数对应的容量评估模型的各关键影响因素，采集所述各关键影响因素对应的数据；其中，所述容量目标对应的容量评估模型是通过上述模型建立方法建立的；
步骤S303：将所述各关键影响因素对应的数据输入所述容量评估模型中，得到所述待估容量参数的预测值。
本发明实施例中，采用上述容量评估模型建立方法建立的容量评估模型建立的容量评估模型，可用来对该交易系统进行容量评估和未来容量使用情况进行预测。
具体来说，当需要进行容量预测的时，仅需采集关键影响因素的数据，将其整合为预测数据矩阵后，输入容量评估模型，即可得到待估容量参数的预测值。
基于同样的发明构思，本发明实施例还提供一种模型建立装置，图4为本发明实施例中提供的一种模型建立装置的结构示意图，如图4所示，该模型建立装置400包括：
获取模块401，用于获取待估容量参数的多组训练数据，其中每组训练数据中包括所述待估容量参数的各影响因素的数据值，以及待估容量参数的实际值；所述待估容量参数为表征所述交易系统性能的任一参数；
处理模块402，用于对所述多组训练数据中每一影响因素的数据值分别进行归一化，将归一化后的各影响因素的数据值代入初始关系式，得到每组训练数据对应的所述待估容量参数的预测值的表达式；其中，所述表达式中每个影响因素均对应一个回归系数；
计算模块403，用于根据所述多组训练数据的实际值、所述预测值的表达式，计算所述待估容量参数的误差函数，所述误差函数中包括参数约束项，所述参数约束项用于在求解所述误差函数的过程中约束所述各影响因素中的弱影响因素；
建立模块404，用于将求得所述误差函数的最小值时，所述各影响因素中回归系数满足设定条件的影响因素确定为关键影响因素；以及，根据各关键影响因素，建立所述待估容量参数的容量评估模型。
可选地，所述初始关系式满足如下公式：
hθ(x)＝θ0+θ1x1+θ2x2+…+θnxn
其中，hθ(x)表示所述待估容量参数的预测值，n为影响因素的数量，θ0为所述初始关系式中的常数系数，θ1至θn分别为第1个至第n个影响因素对应的回归系数；
所述待估容量参数的误差函数满足如下公式：
其中，J(θ)为所述待估容量参数的误差函数；n为影响因素的个数；m为训练数据的组数；hθ(xj)为第j组训练数据的预测值；yj为第j组训练数据的实际值，为所述参数约束项，θi为第i个影响因素对应的回归系数，α为所述参数约束项的缩放系数。
可选地，所述计算模块具体用于：
采用梯度下降法迭代求解所述误差函数，若确定在第N次迭代过程中，所述误差函数的函数值小于等于预设值，则将所述函数值确定为所述误差函数的最小值。
可选地，所述建立模块404具体用于：
根据所述各个关键影响因素，以及在求得所述误差函数的最小值时所述各个关键影响因素的回归系数，建立所述待估容量参数的容量评估模型。
可选地，所述建立模块404具体还用于：
根据归一化前所述多组训练数据中各个关键影响因素对应的数据，采用设定算法进行计算，建立所述待估容量参数的容量评估模型。
基于同样的发明构思，本发明实施例还提供一种预测装置，图5为本发明实施例中提供的一种预测装置的结构示意图，如图5所示，该预测装置500包括：
确定模块501，用于确定待估容量参数；
采集模块502，用于根据所述待估容量参数对应的容量评估模型的各关键影响因素，采集所述各关键影响因素对应的数据；其中，所述容量目标对应的容量评估模型是通过上述权利要求1至5中所述的方法建立的；
预测模块503，用于将所述各关键影响因素对应的数据输入所述容量评估模型中，得到所述待估容量参数的预测值。
基于同样的发明构思，本发明实施例还提供一种计算设备，该基站可以包括中央处理器(Center Processing Unit，CPU)、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(Liquid CrystalDisplay，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。
存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本发明实施例中，存储器可以用于存储上述容量评估模型建立方法以及容量评估方法的程序。
处理器通过调用存储器存储的程序指令，处理器用于按照获得的程序指令执行上述容量评估模型建立方法以及容量评估方法。
基于同样的发明构思，本发明实施例提供了一种计算机存储介质，用于储存为上述计算设备所用的计算机程序指令，其包含用于执行上述容量评估模型建立方法以及容量评估方法的程序。
所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
由上述内容可以看出：
本发明实施例提供的容量评估模型的建立方法包括：获取待估容量参数的多组训练数据；对多组训练数据中每一影响因素的数据值分别进行归一化，将归一化后的各影响因素的数据值代入初始关系式，得到每组训练数据对应该待估容量参数的预测值的表达式；进而根据各组训练数据对应的待估容量参数的预测值的表达式、实际值，计算待估容量参数的误差函数，并将求得误差函数最小值时，各影响因素中回归系数满足设定条件的影响因素确定为关键影响因素；根据各关键影响因素，建立容量评估模型。可见，由于可根据各组训练数据对应的待估容量参数的预测值的表达式、以及各组训练数据对应的实际值计算误差函数，且该误差函数中包括参数约束项，该参数约束项在求解误差函数的过程中可约束各影响因素中的弱影响因素，因而，将求得误差函数的最小值，各影响因素中回归系数满足设定条件的影响因素确定为关键影响因素，可起到自动筛选关键影响因素的作用，从而使得根据确定出的关键影响因素建立的容量评估模型更加精确。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或两个以上其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或两个以上流程和/或方框图一个方框或两个以上方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或两个以上流程和/或方框图一个方框或两个以上方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或两个以上流程和/或方框图一个方框或两个以上方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种容量评估模型建立方法，其特征在于，所述方法应用于交易系统，所述方法包括：
获取待估容量参数的多组训练数据，其中每组训练数据中包括所述待估容量参数的各影响因素的数据值，以及待估容量参数的实际值；所述待估容量参数为表征所述交易系统性能的任一参数；
对所述多组训练数据中每一影响因素的数据值分别进行归一化，将归一化后的各影响因素的数据值代入初始关系式，得到每组训练数据对应的所述待估容量参数的预测值的表达式；其中，所述表达式中每个影响因素均对应一个回归系数；
根据所述多组训练数据的实际值、所述预测值的表达式，计算所述待估容量参数的误差函数；所述误差函数中包括参数约束项，所述参数约束项用于在求解所述误差函数的过程中约束所述各影响因素中的弱影响因素；
将求得所述误差函数的最小值时，所述各影响因素中回归系数满足设定条件的影响因素确定为关键影响因素；
根据各关键影响因素，建立所述待估容量参数的容量评估模型。
2.根据权利要求1所述的方法，其特征在于，所述初始关系式满足如下公式：
hθ(x)＝θ0+θ1x1+θ2x2+…+θnxn
其中，hθ(x)表示所述待估容量参数的预测值，n为影响因素的数量，θ0为所述初始关系式中的常数系数，θ1至θn分别为第1个至第n个影响因素对应的回归系数；
所述待估容量参数的误差函数满足如下公式：
其中，J(θ)为所述待估容量参数的误差函数；n为影响因素的个数；m为训练数据的组数；hθ(xj)为第j组训练数据的预测值；yj为第j组训练数据的实际值，为所述参数约束项，θi为第i个影响因素对应的回归系数，α为所述参数约束项的缩放系数。
3.根据权利要求1所述的方法，其特征在于，通过如下方式求得所述误差函数的最小值，包括：
采用梯度下降法迭代求解所述误差函数，若确定在第N次迭代过程中，所述误差函数的函数值小于等于预设值，则将所述函数值确定为所述误差函数的最小值。
4.根据权利要求1所述的方法，其特征在于，所述根据各个关键影响因素，建立所述待估容量参数的容量评估模型，包括：
根据所述各个关键影响因素，以及在求得所述误差函数的最小值时所述各个关键影响因素的回归系数，建立所述待估容量参数的容量评估模型。
5.根据权利要求1所述的方法，其特征在于，所述根据各个关键影响因素，建立所述待估容量参数的容量评估模型，包括：
根据归一化前所述多组训练数据中各个关键影响因素对应的数据，采用设定算法进行计算，建立所述待估容量参数的容量评估模型。
6.一种容量评估方法，其特征在于，所述方法应用于交易系统，所述方法包括：
确定待估容量参数；
根据所述待估容量参数对应的容量评估模型的各关键影响因素，采集所述各关键影响因素对应的数据；其中，所述容量目标对应的容量评估模型是通过上述权利要求1至5中所述的方法建立的；
将所述各关键影响因素对应的数据输入所述容量评估模型中，得到所述待估容量参数的预测值。
7.一种模型建立装置，其特征在于，所述装置包括：
获取模块，用于获取待估容量参数的多组训练数据，其中每组训练数据中包括所述待估容量参数的各影响因素的数据值，以及待估容量参数的实际值；所述待估容量参数为表征所述交易系统性能的任一参数；
处理模块，用于对所述多组训练数据中每一影响因素的数据值分别进行归一化，将归一化后的各影响因素的数据值代入初始关系式，得到每组训练数据对应的所述待估容量参数的预测值的表达式；其中，所述表达式中每个影响因素均对应一个回归系数；
计算模块，用于根据所述多组训练数据的实际值、所述预测值的表达式，计算所述待估容量参数的误差函数，所述误差函数中包括参数约束项，所述参数约束项用于在求解所述误差函数的过程中约束所述各影响因素中的弱影响因素；
建立模块，用于将求得所述误差函数的最小值时，所述各影响因素中回归系数满足设定条件的影响因素确定为关键影响因素；以及，根据各关键影响因素，建立所述待估容量参数的容量评估模型。
8.根据权利要求7所述的装置，其特征在于，所述初始关系式满足如下公式：
hθ(x)＝θ0+θ1x1+θ2x2+…+θnxn
其中，hθ(x)表示所述待估容量参数的预测值，n为影响因素的数量，θ0为所述初始关系式中的常数系数，θ1至θn分别为第1个至第n个影响因素对应的回归系数；
所述待估容量参数的误差函数满足如下公式：
其中，J(θ)为所述待估容量参数的误差函数；n为影响因素的个数；m为训练数据的组数；hθ(xj)为第j组训练数据的预测值；yj为第j组训练数据的实际值，为所述参数约束项，θi为第i个影响因素对应的回归系数，α为所述参数约束项的缩放系数。
9.根据权利要求7所述的装置，其特征在于，所述计算模块具体用于：
采用梯度下降法迭代求解所述误差函数，若确定在第N次迭代过程中，所述误差函数的函数值小于等于预设值，则将所述函数值确定为所述误差函数的最小值。
10.根据权利要求7所述的装置，其特征在于，所述建立模块具体用于：
根据所述各个关键影响因素，以及在求得所述误差函数的最小值时所述各个关键影响因素的回归系数，建立所述待估容量参数的容量评估模型。
11.根据权利要求7所述的装置，其特征在于，所述建立模块具体还用于：
根据归一化前所述多组训练数据中各个关键影响因素对应的数据，采用设定算法进行计算，建立所述待估容量参数的容量评估模型。
12.一种预测装置，其特征在于，
确定模块，用于确定待估容量参数；
采集模块，用于根据所述待估容量参数对应的容量评估模型的各关键影响因素，采集所述各关键影响因素对应的数据；其中，所述容量目标对应的容量评估模型是通过上述权利要求1至5中所述的方法建立的；
预测模块，用于将所述各关键影响因素对应的数据输入所述容量评估模型中，得到所述待估容量参数的预测值。
13.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行如权利要求1至6中任一项所述的方法。
14.一种计算机存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行如权利要求1至6中任一项所述的方法。
CN201711331389.8A 2017-12-13 2017-12-13 一种容量评估模型建立方法、容量评估方法及装置 Pending CN108564237A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711331389.8A CN108564237A (zh) 2017-12-13 2017-12-13 一种容量评估模型建立方法、容量评估方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711331389.8A CN108564237A (zh) 2017-12-13 2017-12-13 一种容量评估模型建立方法、容量评估方法及装置

Publications (1)

Publication Number Publication Date
CN108564237A true CN108564237A (zh) 2018-09-21

Family

ID=63529316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711331389.8A Pending CN108564237A (zh) 2017-12-13 2017-12-13 一种容量评估模型建立方法、容量评估方法及装置

Country Status (1)

Country Link
CN (1) CN108564237A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414627A (zh) * 2019-08-07 2019-11-05 北京嘉和海森健康科技有限公司 一种模型的训练方法及相关设备
CN112380489A (zh) * 2020-11-03 2021-02-19 武汉光庭信息技术股份有限公司 数据处理时间计算方法、数据处理平台评价方法及系统
CN112990242A (zh) * 2019-12-16 2021-06-18 京东数字科技控股有限公司 图像分类模型的训练方法和训练装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102082703A (zh) * 2009-11-26 2011-06-01 中国移动通信集团贵州有限公司 业务支撑系统设备性能监控的方法及装置
US20150127415A1 (en) * 2013-11-01 2015-05-07 Digital Risk Analytics, LLC Systems, methods and computer readable media for generating a multi-dimensional risk assessment system including a manufacturing defect risk model
CN105279692A (zh) * 2015-11-17 2016-01-27 中国建设银行股份有限公司 金融信息技术系统性能预测方法和装置
CN106779137A (zh) * 2016-11-14 2017-05-31 上海海事大学 一种根据海况与操纵条件预测船舶油耗的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102082703A (zh) * 2009-11-26 2011-06-01 中国移动通信集团贵州有限公司 业务支撑系统设备性能监控的方法及装置
US20150127415A1 (en) * 2013-11-01 2015-05-07 Digital Risk Analytics, LLC Systems, methods and computer readable media for generating a multi-dimensional risk assessment system including a manufacturing defect risk model
CN105279692A (zh) * 2015-11-17 2016-01-27 中国建设银行股份有限公司 金融信息技术系统性能预测方法和装置
CN106779137A (zh) * 2016-11-14 2017-05-31 上海海事大学 一种根据海况与操纵条件预测船舶油耗的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414627A (zh) * 2019-08-07 2019-11-05 北京嘉和海森健康科技有限公司 一种模型的训练方法及相关设备
CN112990242A (zh) * 2019-12-16 2021-06-18 京东数字科技控股有限公司 图像分类模型的训练方法和训练装置
CN112380489A (zh) * 2020-11-03 2021-02-19 武汉光庭信息技术股份有限公司 数据处理时间计算方法、数据处理平台评价方法及系统
CN112380489B (zh) * 2020-11-03 2024-04-16 武汉光庭信息技术股份有限公司 数据处理时间计算方法、数据处理平台评价方法及系统

Similar Documents

Publication Publication Date Title
US8832261B1 (en) Performance tuning of IT services
US8375364B2 (en) Size and effort estimation in testing applications
US8700418B2 (en) Method and system for acquiring high quality non-expert knowledge from an on-demand workforce
US20150067648A1 (en) Preparing an optimized test suite for testing an application under test in single or multiple environments
CN105786681B (zh) 数据中心的服务器性能评估及服务器更新方法
Coccia Functionality development of product innovation: An empirical analysis of the technological trajectories of smartphone
CN108564237A (zh) 一种容量评估模型建立方法、容量评估方法及装置
WO2020098016A1 (zh) 一种网络流量预测方法、装置及电子设备
WO2017071369A1 (zh) 一种预测用户离网的方法和设备
CN111415027A (zh) 构建件量预测模型的方法和装置
CN108182448A (zh) 一种标注策略的选择方法及相关装置
CN109308660B (zh) 一种征信评分模型评估方法、装置、设备及存储介质
US20150310375A1 (en) Individual productivity measurement
CN112686470A (zh) 电网饱和负荷预测方法、装置及终端设备
KR101478935B1 (ko) 리스크-프로파일 생성 장치
CN110428012A (zh) 脑网络模型建立方法、脑图像分类方法、装置及电子设备
Coccia Which technological characteristics matter most in evolutionary pathways of new technology? Hedonic pricing method for detecting and predicting technological trajectories in smartphone
KR101566601B1 (ko) 리스크 관리 장치
CN114925895A (zh) 维修器材预测方法、终端及存储介质
Ballin et al. Optimization of sampling strata with the SamplingStrata package
CN114462760A (zh) 一种面向自主式公交信息化系统的建设时序确定方法
CN114612231A (zh) 股票量化交易方法、装置、终端设备及可读存储介质
CN113779391A (zh) 基于建模的智能锁开锁推荐方法、系统、装置及存储介质
Zhu et al. TD-OCBA: Optimal computing budget allocation and time dilation for simulation optimization of manufacturing systems
CN114757786A (zh) 数据的预测方法、装置、电子设备及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180921