CN107330620B - 基于业务与性能关联分析及动态感知进行资源调整的方法 - Google Patents

Abstract

本发明公开了一种基于业务与性能关联分析及动态感知进行资源调整的方法，涉及软件和IT智能运维技术领域。该方法，通过对业务系统和IT资源的指标进行关联性分析，确定指标之间的关联性高低，以及这些指标之间的关联比例关系，便于运维人员依据关联性和比例关系，根据业务情况动态调整IT资源配置，实现资源利用的最大化，避免出现IT资源不够用或浪费的情况。

Description

基于业务与性能关联分析及动态感知进行资源调整的方法

技术领域

本发明涉及软件和IT智能运维技术领域，尤其涉及一种基于业务与性能关联分析及动态感知进行资源调整的方法。

背景技术

在IT运维领域，随着业务系统的规模和复杂度的日益增大，所需要的IT资源也越来越多，资源越来越多，对IT的运维管理的要求也越来越高。一个业务系统正常运行所需要的IT资源，一般在部署之后的一段时间内很少调整，而部署之后这些IT资源够不够用，是否达到了资源利用的最大化，有没有浪费，如果不够用或有浪费又该怎么去增加或调整。特别是有些业务系统的业务量跟时间有关系，某个特定时间范围内，业务量能达到峰值，而在其他大部分时间业务量却没那么大。如果IT资源按照业务峰值去配置，那么大部分时间这些IT资源都在闲置。所以，对部署之后的IT资源根据业务量的变化进行适应性的调整，对于合理的利用IT资源具有重要的意义。

目前，大部分的IT运维系统可以通过监控和采集IT资源的KPI指标，并通过一定的技术能够发现IT资源是否够用或是否有浪费，但对于如何调整资源配置，比如，调整指标如何确定，调整量如何确定等，却缺乏这样的系统，从而造成很多公司的IT资源配置不科学不均衡，全凭人的经验和感觉，有些配置低了，系统满负载运行；有些配置高了，系统远远用不了这么多，造成浪费。很少有系统能给出参考值。

发明内容

本发明的目的在于提供一种基于业务与性能关联分析及动态感知进行资源调整的方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种基于业务与性能关联分析及动态感知进行资源调整的方法，包括如下步骤：

S1，采集某个时间段内业务系统的KPI数据和IT资源的KPI数据；

S2，对采集到的KPI数据，按照如下方法计算每两个KPI数据之间的关联度和关联性比例：

设两个KPI数据的数值序列分别为A＝{a1,a2,a3,…,an},B＝{b1,b2,b3,…bn}，则两个KPI数据之间的关联度为：

v＝1–[(a1–b1)+(a2-b2)+(an-bn)]/(b1+b2+…+bn)；

关联性比例为:

r＝(a1+a2+…+an)/(b1+b2+…+bn)；

S3，选择数值大的关联度，确定该关联度涉及到的KPI数据类型，根据KPI数据类型理解业务与资源、资源与资源的关联性，并运用关联的强弱型辅助进行相应的调整。

优选地，S1中，所述业务系统的KPI数据为与业务相关的各个指标，包括访问量、交易量和/或交易额；所述IT资源的KPI数据包括主机的，数据库的，网络的和/或中间件的KPI数据，其中，主机的KPI数据包括CPU、内存、磁盘和/或IO，数据库的KPI数据根据数据库的类型Mysql、SQL Server、Oracle有不同的KPI项。

优选地，S1中，使用各个IT运维管理系统来采集KPI数据并保存在IT运维管理系统的数据库中。

优选地，S1之前还包括步骤：确定需要采集的KPI的类型及其所在的时间段。

优选地，S1和S2之间还包括步骤，读取要计算的两个KPI数据的采集频率，如果两个KPI数据的采集频率不一致，则将两个KPI数据采集频率取最小公倍数作为统一频率。

优选地，S1和S2之间还包括步骤，读取KPI数据，并对其进行合并和填补处理，其中，合并处理采用如下方法：根据业务和KPI类型选择进行数据相加或求平均值处理，对于数量型的指标，在合并时进行数据相加求和；对于比值型的指标，在合并时求平均值；

填补处理采用如下方法：对某些采集点缺少的KPI进行填补，保证后续的计算中要计算的两个KPI的数据量一致，根据业务和KPI类型的不同，填补时填成0，或填成上一个采集点的值。

优选地，S2中，两个KPI数据之间的关联度为0～1的数值，数值大于0.8表示被计算的两个指标之间具有高度关联性，数值在0.6～0.8之间表示被计算的两个指标之间具有一般性关联关系，数值小于0.6表示被计算的两个指标之间低关联性或没有关联性。

本发明的有益效果是：本发明实施例提供的基于业务与性能关联分析及动态感知进行资源调整的方法，通过对业务系统和IT资源的指标进行关联性分析，确定指标之间的关联性高低，以及这些指标之间的关联比例关系，便于运维人员依据关联性和比例关系，根据业务情况动态调整IT资源配置，实现资源利用的最大化，避免出现IT资源不够用或浪费的情况。

附图说明

图1是第一台数据库主机的cpu和网络两个KPI的关联性分析示意图；

图2是第二台数据库主机的cpu和网络两个KPI的关联性分析示意图；

图3是第三台数据库主机的cpu和网络两个KPI的关联性分析示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

目前，在IT运维系统中，有些偏计算性的业务系统可能调整内存大小作用不大，而调整CPU却对业务系统性能提升效果显著；有些则需要调整内存，还有些需要同时调整内存和CPU，而且内存和CPU调整是有比例关系的，如内存增加1倍，CPU需要增加3倍才行等。

而所有的这些IT资源配置的调整工作都需要一个分析系统，能根据当前一段时间的业务情况和IT资源使用情况，计算出业务与IT资源的依赖关系，并给出一个建议值，指导运维人员进行调整。

本发明实施例提供了一种基于业务与性能关联分析及动态感知进行资源调整的方法，包括如下步骤：

S1，采集某个时间段内业务系统的KPI数据和IT资源的KPI数据；

S2，对采集到的KPI数据，按照如下方法计算每两个KPI数据之间的关联度和关联性比例：

设两个KPI数据的数值序列分别为A＝{a1,a2,a3,…,an},B＝{b1,b2,b3,…bn}，则两个KPI数据之间的关联度为：

v＝1–[(a1–b1)+(a2-b2)+(an-bn)]/(b1+b2+…+bn)；

关联性比例为:

r＝(a1+a2+…+an)/(b1+b2+…+bn)；

S3，选择数值大的关联度，确定该关联度涉及到的KPI数据类型，根据确定的KPI数据类型确定优先调整的IT软硬件资源；根据所述关联性比例确定调整IT软硬件资源的比例。

KPI是指关键指标值，包括业务系统关键指标、主机关键指标、数据库关键指标和中间件关键指标等。

上述方法，在实际使用过程中，由于不知道哪些KPI之间有关联性，所以在操作时，可以选很多的KPI项让他们之间两两进行关联性分析，叫一个作业。每个作业开始之前都需要首先选择计算哪些KPI在哪个时间段内的KPI数据。选择好KPI项之后，就可以进行两两关联性分析，其中，每个作业里面两个KPI的关联性计算过程叫做一个任务，所以，一个作业包含多个的任务，每个计算任务的过程都是一样的，所有的任务计算完，一个作业就计算完了。

本实施例在具体实施时，可以提供一个界面，用于进行关联性分析作业的创建，时间范围和要计算的KPI项的选择，以及作业和作业中每个任务的运行状态和计算结果的查看。同时，对于多个任务的计算，可采用多线程进行，可以通过对多线程进行调度来实现。

上述方法，通过对业务系统和IT资源的指标进行关联性分析，确定指标之间的关联性高低，以及这些指标之间的关联比例关系，为运维人员依据关联性和比例关系，根据业务情况动态调整IT资源配置提供了指导，解决了现有技术中无法对IT资源的调整给与指导参考的问题。

S1中，所述业务系统的KPI数据为与业务相关的各个指标，包括访问量、交易量和/或交易额；所述IT资源的KPI数据包括主机的，数据库的，网络的和/或中间件的KPI数据，其中，主机的KPI数据包括CPU、内存、磁盘和/或IO，数据库的KPI数据根据数据库的类型Mysql、SQL Server、Oracle有不同的KPI项。

S1中，使用各个IT运维管理系统来采集KPI数据并保存在IT运维管理系统的数据库中。

本实施例中，计算时依赖业务系统和IT资源的KPI数据，数据的采集现在大部分的运维监控系统都有，可以使用他们采集好的数据。

S1之前还可以包括步骤：确定需要采集的KPI的类型及其所在的时间段。

本实施例中，S1和S2之间还可以包括步骤，读取要计算的两个KPI数据的采集频率，如果两个KPI数据的采集频率不一致，则将两个KPI数据采集频率取最小公倍数作为统一频率。

KPI数据的采集频率由各个系统自己定义，各个KPI的采样频率可以不用一致，但是频率越高，采集的数据越多，计算时结果越准确。

但是，如果两个KPI数据的采集频率不一致，则将两个KPI数据采集频率取最小公倍数作为统一频率。

本实施例中，S1和S2之间还可以包括步骤，读取KPI数据，并对其进行合并和填补处理，其中，合并处理采用如下方法：根据业务和KPI类型选择进行数据相加或求平均值处理，对于数量型的指标，在合并时进行数据相加求和；对于比值型的指标，在合并时求平均值；

填补处理采用如下方法：对某些采集点缺少的KPI进行填补，保证后续的计算中要计算的两个KPI的数据量一致，根据业务和KPI类型的不同，填补时填成0，或填成上一个采集点的值。

上述方法中，数据合并时要根据业务和KPI类型选择是数据相加还是求平均值，对于数量型的指标则在合并时求和，如单位时间内的交易量；对于比值型的则求平均，如CPU利用率、错误率等；

由于每个IT运维系统的不同，可能有些KPI在有些时间点采集不到数据或采集的数据没有保存成功，在接下来的计算中要求双方KPI的数据量一致，所以必须对某些采集点缺少的KPI进行填补。根据业务和KPI的不同，填补时可以填成0，也可以填成上一个采集点的值，例如：在某一采集点没有采集数据情况下：业务访问量：置为0，CPU利用率等KPI：置为上一采集点的值。

本实施例中，S2中，两个KPI数据之间的关联度为0～1的数值，数值大于0.8表示被计算的两个指标之间具有高度关联性，数值在0.6～0.8之间表示被计算的两个指标之间具有一般性关联关系，数值小于0.6表示被计算的两个指标之间低关联性或没有关联性。

如图1-3所示。其中，图1所示是银行某业务系统中一台数据库主机的cpu和网络这两个KPI的关联性分析示意图。图中计算出的关联性结果为0.83，表明这两个指标有高度关联。通过观察这两个指标的曲线波动吻合情况，可以看出这两个指标确实有比较高的关联性。看图中两个指标的曲线走势，在横坐标相同的话纵坐标值基本一致，可以看出这两个KPI的关联比例接近1：1。

图2中所示的是另外一个业务相关的主机的CPU和网络这两个指标的计算结果，关联性值为0.55，表示这两个指标之间具有低关联性。观察两者曲线波动和走势，这两个KPI项只有部分的曲线是吻合的。

图3所示的CPU和网络的关联性值为0.28，表明两者具有低关联性。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：本发明实施例提供的基于业务与性能关联分析及动态感知进行资源调整的方法，通过对业务系统和IT资源的指标进行关联性分析，确定指标之间的关联性高低，以及这些指标之间的关联比例关系，便于运维人员依据关联性和比例关系，根据业务情况动态调整IT资源配置，实现资源利用的最大化，避免出现IT资源不够用或浪费的情况。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域人员应该理解的是，上述实施例提供的方法步骤的时序可根据实际情况进行适应性调整，也可根据实际情况并发进行。

上述实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，例如：个人计算机、服务器、网络设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，例如：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (4)

1.一种基于业务与性能关联分析及动态感知进行资源调整的方法，其特征在于，包括如下步骤：

S1，采集某个时间段内业务系统的KPI数据和IT资源的KPI数据；

S2，对采集到的KPI数据，按照如下方法计算每两个KPI数据之间的关联度和关联性比例：

设两个KPI数据的数值序列分别为A＝{a1,a2,a3,…,an},B＝{b1,b2,b3,…bn}，则两个KPI数据之间的关联度为：

v＝1–[(a1–b1)+(a2-b2)+(an-bn)]/(b1+b2+…+bn)；

关联性比例为:

r＝(a1+a2+…+an)/(b1+b2+…+bn)；

S3，选择数值大的关联度，确定该关联度涉及到的KPI数据类型，根据KPI数据类型理解业务与资源、资源与资源的关联性，并运用关联的强弱型辅助进行相应的调整；

S1中，所述业务系统的KPI数据为与业务相关的各个指标，包括访问量、交易量和/或交易额；所述IT资源的KPI数据包括主机的，数据库的，网络的和/或中间件的KPI数据，其中，主机的KPI数据包括CPU、内存、磁盘和/或IO，数据库的KPI数据根据数据库的类型Mysql、SQL Server、Oracle有不同的KPI项；

S1和S2之间还包括步骤，读取要计算的两个KPI数据的采集频率，如果两个KPI数据的采集频率不一致，则将两个KPI数据采集频率取最小公倍数作为统一频率；或，S1和S2之间还包括步骤，读取KPI数据，并对其进行合并和填补处理，其中，合并处理采用如下方法：根据业务和KPI类型选择进行数据相加或求平均值处理，对于数量型的指标，在合并时进行数据相加求和；对于比值型的指标，在合并时求平均值；

填补处理采用如下方法：对某些采集点缺少的KPI进行填补，保证后续的计算中要计算的两个KPI的数据量一致，根据业务和KPI类型的不同，填补时填成0，或填成上一个采集点的值。

2.根据权利要求1所述的基于业务与性能关联分析及动态感知进行资源调整的方法，其特征在于，S1中，使用各个IT运维管理系统来采集KPI数据并保存在IT运维管理系统的数据库中。

3.根据权利要求1所述的基于业务与性能关联分析及动态感知进行资源调整的方法，其特征在于，S1之前还包括步骤：确定需要采集的KPI的类型及其所在的时间段。

4.根据权利要求1所述的基于业务与性能关联分析及动态感知进行资源调整的方法，其特征在于，S2中，两个KPI数据之间的关联度为0～1的数值，数值大于0.8表示被计算的两个指标之间具有高度关联性，数值在0.6～0.8之间表示被计算的两个指标之间具有一般性关联关系，数值小于0.6表示被计算的两个指标之间低关联性或没有关联性。