CN117971625B - 基于计算机云平台的性能数据智能监测系统 - Google Patents

Abstract

本发明涉及数据处理技术领域，具体涉及一种基于计算机云平台的性能数据智能监测系统；对吞吐量数据序列分解获得吞吐量特征序列，根据吞吐量特征序列中数据点的频率特征和离散特征获得第一异常因子；根据吞吐量特征序列中数据点之间的距离特征和变化特征获得第二异常因子；根据数据点的第一异常因子和第二异常因子获得异常程度和目标数据点。根据目标数据点的幅值特征和分布特征获得孤立程度和孤立数据点。本发明根据孤立数据点之间的时间距离特征获得周期特征值和异常数据点；根据异常数据点进行性能数据监测，提高了异常数据点与性能监测的准确性。

Description

基于计算机云平台的性能数据智能监测系统

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于计算机云平台的性能数据智能监测系统。

背景技术

计算机云平台的性能数据例如吞吐量，带宽或硬件的使用率，能够反映服务器的运行状况；云平台的性能数据的监测对于管理和优化云平台的运行至关重要，通过持续监测能够及时发现和解决潜在的性能问题或故障。

对于计算机云平台的性能监测通常根据计算机的吞吐量，其是指系统在单位时间内完成工作的能力，例如数据传输、计算任务或事物处理，衡量和优化吞吐量是提高系统性能的重要步骤。传统方式下对于吞吐量数据的分析采用箱线图等方式设定数据区间并识别异常的离群数据，实现对计算机吞吐量异常的数据分析和监测；但该类方法设定的数据值相对固定，且实际场景中吞吐量异常特征不仅根据是否是离群数据点而决定，故导致吞吐量的异常检测的准确性低，影响计算机云平台的正常运行。

发明内容

为了解决上述通过现有设定数据区间识别吞吐量的离群数据点的方法，导致异常检测的准确性低的技术问题，本发明的目的在于提供一种基于计算机云平台的性能数据智能监测系统，所采用的技术方案具体如下：

数据获取模块，在于获取监测计算机云平台吞吐量的吞吐量数据序列；对所述吞吐量数据序列进行分解获得吞吐量特征序列；

数据分析模块，在于根据所述吞吐量特征序列中数据点的频率特征和离散特征获得数据点的第一异常因子；根据所述吞吐量特征序列中数据点之间的距离特征和变化特征获得数据点的第二异常因子；

特征处理模块，在于根据数据点的第一异常因子和第二异常因子获得数据点的异常程度和目标数据点；根据所述目标数据点的幅值特征和分布特征获得所述目标数据点的孤立程度和孤立数据点；根据孤立数据点之间的时间距离特征获得孤立数据点的周期特征值；

异常监测模块，在于根据所述周期特征值获取异常数据点；根据所述异常数据点对计算机云平台进行性能数据监测。

进一步地，所述对所述吞吐量数据序列进行分解获得吞吐量特征序列的步骤包括：

将所述吞吐量数据序列通过时序分解算法进行分解去除周期项，获得所述吞吐量特征序列。

进一步地，所述根据所述吞吐量特征序列中数据点的频率特征和离散特征获得数据点的第一异常因子的步骤包括：

计算所述吞吐量特征序列中每个数据点的幅值与出现频率的乘积的和值，获得吞吐量特征序列的整体特征值；计算所述吞吐特征序列中任意数据点的幅值与所述整体特征值的差值绝对值并归一化，获得所述任意数据点的第一异常因子。

进一步地，所述根据所述吞吐量特征序列中数据点之间的距离特征和变化特征获得数据点的第二异常因子的步骤包括：

构建关于所述吞吐量特征序列的二维直角坐标系，横轴为数据点的时间戳，纵轴为数据点的幅值；在所述二维直角坐标系中计算所述任意数据点与相邻数据点的欧氏距离并归一化，获得任意数据点的距离表征值；在所述二维直角坐标系中计算数据点与相邻前一个数据点的切线斜率的差值绝对值，获得数据点的斜率变化值；计算所述任意数据点与相邻数据点的斜率变化值的差值绝对值的最小值并归一化，获得斜率差异特征值；计算所述距离表征值与所述斜率差异特征值的平均值，获得所述任意数据点的第二异常因子。

进一步地，所述根据数据点的第一异常因子和第二异常因子获得数据点的异常程度和目标数据点的步骤包括：

计算第一异常因子和预设第一权重的乘积，获得第一异常特征值；计算第二异常因子和预设第二权重的乘积，获得第二异常特征值，计算所述第一异常特征值和所述第二异常特征值的和值，获得数据点的异常程度；当所述异常程度超过预设异常阈值时，所述数据点为目标数据点。

进一步地，所述根据所述目标数据点的幅值特征和分布特征获得所述目标数据点的孤立程度和孤立数据点的步骤包括：

将所述目标数据点的幅值归一化并计算与预设第一常数的乘积，获得第一孤立特征值，将目标数据点的所述斜率变化值归一化并计算与预设第二常数的乘积，获得第二孤立特征值，计算所述第一孤立特征值与所述第二孤立特征值的和值，获得目标数据点的所述孤立程度；当所述孤立程度超过预设孤立阈值时，所述目标数据点为孤立数据点。

进一步地，所述根据孤立数据点之间的时间距离特征获得孤立数据点的周期特征值的步骤包括：

计算孤立数据点和其他孤立数据点之间的时间距离，获得时间距离特征值；将任意孤立数据点与两个任意其他孤立数据点的时间距离特征值中的最大值作为分式的分子，将任意孤立数据点与两个任意其他孤立数据点的时间距离特征值中的最小值作为分式的分母，将所述分式的结果作为距离差异特征值；将所述距离差异特征值向下取整，获得距离差异向下取整值；将所述距离差异特征值向上取整，获得距离差异向上取整值；计算所述距离差异特征值与所述距离差异向下取整值的差值绝对值，获得第一周期表征值；计算所述距离差异特征值与所述距离差异向上取整值的差值绝对值，获得第二周期表征值；将所述第一周期表征值和所述第二周期表征值的最小值作为所述任意孤立数据点的周期特征值。

进一步地，所述根据所述周期特征值获取异常数据点的步骤包括：

当所述周期特征值超过预设判定阈值时，所述孤立数据点为异常数据点。

本发明具有如下有益效果：

在本发明中，获取吞吐量特征序列能够去除吞吐量数据序列中数据变化的周期特征，从而提高异常数据点的获取准确性；获取第一异常因子能够根据数据点的幅值差异初步筛选离群的数据点，获取第二异常因子能够根据数据点之间的变化特征初步筛选离群的数据点；根据异常程度获取的目标数据点能够更准确地表征吞吐量特征序列中明显离群的数据点，提高后续异常数据点的获取准确性。根据孤立程度获取目标数据点中的孤立数据点能够去除吞吐量较低且变化不大的离群数据点。获取孤立数据点的周期特征值能够根据异常数据点的出现随机，难以呈现周期性的特征获取异常数据点，从而提高了异常检测的准确性，使得计算机云平台的性能监测更准确。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于计算机云平台的性能数据智能监测系统框图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于计算机云平台的性能数据智能监测系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于计算机云平台的性能数据智能监测系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于计算机云平台的性能数据智能监测系统框图，该系统包括以下模块：

数据获取模块S1，在于获取监测计算机云平台吞吐量的吞吐量数据序列；对吞吐量数据序列进行分解获得吞吐量特征序列。

在本发明实施例中，实施场景为对计算机云平台表征性能的数据的监测；首先获取监测计算机云平台的吞吐量数据序列，吞吐量能够反映云平台在单位时间内完成工作运算的性能特征，实施者可根据实施场景自行确定采集频率。由于计算机云平台的计算场景中存在着季节性或周期性的模式，可能每日不同时间段中用户使用率以及使用习惯存在一定的循环变化，导致正常浮动的周期性特征会影响吞吐量的异常检测；因此需要对吞吐量数据序列的周期项进行去除，将数据聚焦在趋势和非周期的部分，减少周期项带来的干扰；故对吞吐量数据序列进行分解获得吞吐量特征序列，具体包括：将吞吐量数据序列通过时序分解算法进行分解去除周期项，获得吞吐量特征序列；需要说明的是，时序分解算法属于现有技术，具体分解步骤不再赘述；对吞吐量特征序列进行分析更能够突出异常数据点的特征，提高后续捕捉识别离群的异常数据点的准确性。

数据分析模块S2，在于根据吞吐量特征序列中数据点的频率特征和离散特征获得数据点的第一异常因子；根据吞吐量特征序列中数据点之间的距离特征和变化特征获得数据点的第二异常因子。

在大部分时间内云平台的吞吐量数值变化相对稳定平缓，但也会存在部分时间段中系统程序的大量开启与运行出现吞吐量的高峰值，但并非意味着计算机出现了异常情况；传统的监测方式未深入分析和归类，无法获取更准确的异常计算机吞吐量数据特征。根据分析数据变化特征可知，一些突发事件例如网络攻击或病毒传播等情况下的计算机吞吐量异常状态表现为数值突增且持续时间较短；而用户正常使用情况下导致的吞吐量增长量较网络攻击的吞吐量增长量较小且持续时间较长。与此同时，对于受网络攻击或堵塞事件导致的计算机吞吐量数值异常表现为较高的随机性，不具备周期性的变化特征；而用户正常使用行为下的异常吞吐量数值会由于使用习惯呈现明显的周期性波动。故可根据不同行为下的吞吐量变化特征的差异进行异常数据点的检测。

首先可根据吞吐量特征序列中数据点的频率特征和离散特征获得数据点的第一异常因子，优选地，获取第一异常因子包括：计算吞吐量特征序列中每个数据点的幅值与出现频率的乘积的和值，获得吞吐量特征序列的整体特征值；整体特征值表征了吞吐量特征序列中吞吐量数据的常规水平。计算吞吐特征序列中任意数据点的幅值与整体特征值的差值绝对值并归一化，获得该任意数据点的第一异常因子；当该任意数据点的幅值与整体特征值的差异越大，意味着该任意数据点的吞吐量数据越异常，第一异常因子越大，越可能为异常数据点。

进一步地，由于受到网络攻击等行为会导致吞吐量数据突增且持续时间较短，故可根据吞吐量特征序列中数据点之间的距离特征和变化特征获得数据点的第二异常因子；优选地，在本发明一个实施例中，获取第二异常因子的步骤包括：构建关于吞吐量特征序列的二维直角坐标系，横轴为数据点的时间戳，纵轴为数据点的幅值；在该二维直角坐标系中计算任意数据点与相邻数据点的欧氏距离并归一化，获得任意数据点的距离表征值；在本发明实施例中相邻数据点为该任意数据点的前一个数据点，距离表征值越大，意味着两个数据点之间的幅值差异越大，越可能出现异常数据点。在该二维直角坐标系中计算数据点与相邻前一个数据点的切线斜率的差值绝对值，获得数据点的斜率变化值；当斜率变化值越大，意味着两个相邻数据点的幅值变化特征的差异越大。计算该任意数据点与相邻数据点的斜率变化值的差值绝对值的最小值并归一化，获得斜率差异特征值；该任意数据点的相邻数据点有两个，当斜率差异特征值越大，意味着该任意数据点处的幅值与两端附近的数据点的幅值差异较大，越可能为异常数据点。计算距离表征值与斜率差异特征值的平均值，获得该任意数据点的第二异常因子，当第二异常因子越大，越可能为异常数据点。获取第二异常因子的公式包括：

式中，表示任意数据点的第二异常因子，/>表示该任意数据点和相邻数据点的欧氏距离，/>表示该任意数据点的斜率变化值，/>表示该任意数据点的相邻数据点的斜率变化值，/>表示归一化函数，/>表示该任意数据点的距离表征值，/>表示取函数的最小值，/>表示该任意数据点的斜率差异特征值。

至此，根据第一异因子和第二异常因子能够根据数据点之间的差异特征表征数据点的异常特征，根据第一异常因子和第二异常因子只能筛选出较为离群异常的数据点，但难以区分出网络攻击和用户大量开启后台程序时导致吞吐量异常的情况，为了提高真正的异常数据点的监测准确性则需要进一步分析。

特征处理模块S3，在于根据数据点的第一异常因子和第二异常因子获得数据点的异常程度和目标数据点；根据目标数据点的幅值特征和分布特征获得目标数据点的孤立程度和孤立数据点；根据孤立数据点之间的时间距离特征获得孤立数据点的周期特征值。

首先根据数据点的第一异常因子和第二异常因子获得数据点的异常程度和目标数据点，具体包括：计算第一异常因子和预设第一权重的乘积，获得第一异常特征值；计算第二异常因子和预设第二权重的乘积，获得第二异常特征值，计算第一异常特征值和第二异常特征值的和值，获得数据点的异常程度；当异常程度超过预设异常阈值时，数据点为目标数据点。在本发明实施例中预设第一权重和预设第二权重分别为0.5，预设异常阈值为0.7，实施者可根据实施场景自行确定，目标数据点表征了吞吐量特征序列中离群的可能存在异常特征的数据点，后续需要进一步根据异常数据点的随机出现特征进行分析。

因目标数据点表征了吞吐量特征序列中离群的数据点，而吞吐量较低时也会被作为离群的数据点而计算成为目标数据点，为了进一步提高监测准确性则需要对目标数据点进行筛选，找出吞吐量较大且变化明显的数据点；故根据目标数据点的幅值特征和分布特征获得目标数据点的孤立程度和孤立数据点。

优选地，在本发明一个实施例中，获取孤立程度和孤立数据点包括：将目标数据点的幅值归一化并计算与预设第一常数的乘积，获得第一孤立特征值，将目标数据点的斜率变化值归一化并计算与预设第二常数的乘积，获得第二孤立特征值，计算第一孤立特征值与第二孤立特征值的和值，获得目标数据点的孤立程度；当孤立程度超过预设孤立阈值时，目标数据点为孤立数据点。预设第一常数和预设第二常数的作用为赋权，在本发明实施例中预设第一常数为0.6，预设第二常数为0.4；预设孤立阈值为0.65，实施者可根据实施场景自行确定，当目标数据点的幅值越大，且所在位置的幅值变化越明显，斜率变化值越大，则孤立程度越大，该目标数据点为异常数据点的可能性越大，孤立数据点表征了目标数据点中幅值较大且变化明显的数据点。

进一步地，异常特征较为明显的孤立数据点可能由两种情况导致，其一是受网络攻击或堵塞事件等导致的吞吐量突增，出现时不具有周期特征；其二是用户大量开启后台程序时导致吞吐量增加，根据用户的使用情况，该情况出现时具有一定的周期性波动模式，符合用户的使用习惯。故可根据孤立数据点之间的周期特征分析异常数据点，因此根据孤立数据点之间的时间距离特征获得孤立数据点的周期特征值。

优选地，在本发明一个实施例中，获取周期特征值包括：计算孤立数据点和其他孤立数据点之间的时间距离，获得时间距离特征值；时间距离指两个孤立数据点之间的时间戳对应的时间距离。将任意孤立数据点与两个任意其他孤立数据点的时间距离特征值中的最大值作为分式的分子，将任意孤立数据点与两个任意其他孤立数据点的时间距离特征值中的最小值作为分式的分母，将该分式的结果作为距离差异特征值；当该任意孤立数据点为网络攻击等情况导致的异常数据点时，则难以与其他孤立数据点构成周期特征，即距离差异特征值越不接近整数；当距离差异特征值越为整数时，意味着两个时间距离特征值表征了两个不同的周期范围，不同周期范围进行比值时结果越接近整数。将距离差异特征值向下取整，获得距离差异向下取整值；将距离差异特征值向上取整，获得距离差异向上取整值；计算距离差异特征值与距离差异向下取整值的差值绝对值，获得第一周期表征值；计算距离差异特征值与距离差异向上取整值的差值绝对值，获得第二周期表征值；将第一周期表征值和第二周期表征值的最小值作为该任意孤立数据点的周期特征值。当距离差异特征值与其取整值的差异越小时，意味着该距离差异特征值越接近整数，则该任意孤立数据点的出现越可能呈现周期特征，为异常数据点的可能性较小；反之，当距离差异特征值与其取整值的差异越大时，意味着该距离差异特征值越不接近整数，则该任意孤立数据点的出现越不呈现周期特征，为异常数据点的可能性较大。需要说明的是，参与该任意孤立数据点的周期特征值计算的两个任意其他孤立数据点需要符合不为异常数据点的条件，即当孤立数据点为异常数据点时，则不参与其他孤立数据点的周期特征值的计算过程。获取周期特征值的公式包括：

式中，表示任意孤立数据点的周期特征值，/>表示该任意数据点与两个任意其他孤立数据点的时间距离特征值中的最大值，/>表示该任意数据点与两个任意其他孤立数据点的时间距离特征值中的最小值，/>表示距离差异特征值，/>表示距离差异向下取整值，表示距离差异向上取整值。其中/>表示第一周期表征值，/>表示第二周期表征值，/>表示取函数的最小值。

异常监测模块S4，在于根据周期特征值获取异常数据点；根据异常数据点对计算机云平台进行性能数据监测。

获取孤立数据点的周期特征值后，可根据周期特征值获取异常数据点，具体包括：当周期特征值超过预设判定阈值时，该孤立数据点为异常数据点；在本发明实施例中，预设判定阈值为0.3，实施者可根据实施场景自行确定，当该孤立数据点的周期特征值超过预设判定阈值时，意味着该孤立数据点出现的位置与其他孤立数据点的周期特征不明显。进一步地，获取异常数据点后，可根据异常数据点对计算机云平台进行性能数据监测，对异常数据点的时间戳进行标记，实施者根据标记结果对云平台调控。

综上所述，本发明实施例提供了一种基于计算机云平台的性能数据智能监测系统；对吞吐量数据序列分解获得吞吐量特征序列，根据吞吐量特征序列中数据点的频率特征和离散特征获得第一异常因子；根据吞吐量特征序列中数据点之间的距离特征和变化特征获得第二异常因子；根据数据点的第一异常因子和第二异常因子获得异常程度和目标数据点。根据目标数据点的幅值特征和分布特征获得孤立程度和孤立数据点。本发明根据孤立数据点之间的时间距离特征获得周期特征值和异常数据点；根据异常数据点进行性能数据监测，提高了异常数据点与性能监测的准确性。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

Claims (5)

1.一种基于计算机云平台的性能数据智能监测系统，其特征在于，所述系统包括以下模块：

数据获取模块，在于获取监测计算机云平台吞吐量的吞吐量数据序列；对所述吞吐量数据序列进行分解获得吞吐量特征序列；

数据分析模块，在于根据所述吞吐量特征序列中数据点的频率特征和离散特征获得数据点的第一异常因子；根据所述吞吐量特征序列中数据点之间的距离特征和变化特征获得数据点的第二异常因子；

特征处理模块，在于根据数据点的第一异常因子和第二异常因子获得数据点的异常程度和目标数据点；根据所述目标数据点的幅值特征和分布特征获得所述目标数据点的孤立程度和孤立数据点；根据孤立数据点之间的时间距离特征获得孤立数据点的周期特征值；

异常监测模块，在于根据所述周期特征值获取异常数据点；根据所述异常数据点对计算机云平台进行性能数据监测；

所述根据所述吞吐量特征序列中数据点的频率特征和离散特征获得数据点的第一异常因子的步骤包括：

计算所述吞吐量特征序列中每个数据点的幅值与出现频率的乘积的和值，获得吞吐量特征序列的整体特征值；计算所述吞吐特征序列中任意数据点的幅值与所述整体特征值的差值绝对值并归一化，获得所述任意数据点的第一异常因子；

所述根据所述吞吐量特征序列中数据点之间的距离特征和变化特征获得数据点的第二异常因子的步骤包括：

构建关于所述吞吐量特征序列的二维直角坐标系，横轴为数据点的时间戳，纵轴为数据点的幅值；在所述二维直角坐标系中计算所述任意数据点与相邻数据点的欧氏距离并归一化，获得任意数据点的距离表征值；在所述二维直角坐标系中计算数据点与相邻前一个数据点的切线斜率的差值绝对值，获得数据点的斜率变化值；计算所述任意数据点与相邻数据点的斜率变化值的差值绝对值的最小值并归一化，获得斜率差异特征值；计算所述距离表征值与所述斜率差异特征值的平均值，获得所述任意数据点的第二异常因子；

所述根据孤立数据点之间的时间距离特征获得孤立数据点的周期特征值的步骤包括：

计算孤立数据点和其他孤立数据点之间的时间距离，获得时间距离特征值；将任意孤立数据点与两个任意其他孤立数据点的时间距离特征值中的最大值作为分式的分子，将任意孤立数据点与两个任意其他孤立数据点的时间距离特征值中的最小值作为分式的分母，将所述分式的结果作为距离差异特征值；将所述距离差异特征值向下取整，获得距离差异向下取整值；将所述距离差异特征值向上取整，获得距离差异向上取整值；计算所述距离差异特征值与所述距离差异向下取整值的差值绝对值，获得第一周期表征值；计算所述距离差异特征值与所述距离差异向上取整值的差值绝对值，获得第二周期表征值；将所述第一周期表征值和所述第二周期表征值的最小值作为所述任意孤立数据点的周期特征值。

2.根据权利要求1所述的一种基于计算机云平台的性能数据智能监测系统，其特征在于，所述对所述吞吐量数据序列进行分解获得吞吐量特征序列的步骤包括：

将所述吞吐量数据序列通过时序分解算法进行分解去除周期项，获得所述吞吐量特征序列。

3.根据权利要求1所述的一种基于计算机云平台的性能数据智能监测系统，其特征在于，所述根据数据点的第一异常因子和第二异常因子获得数据点的异常程度和目标数据点的步骤包括：

计算第一异常因子和预设第一权重的乘积，获得第一异常特征值；计算第二异常因子和预设第二权重的乘积，获得第二异常特征值，计算所述第一异常特征值和所述第二异常特征值的和值，获得数据点的异常程度；当所述异常程度超过预设异常阈值时，所述数据点为目标数据点。

4.根据权利要求1所述的一种基于计算机云平台的性能数据智能监测系统，其特征在于，所述根据所述目标数据点的幅值特征和分布特征获得所述目标数据点的孤立程度和孤立数据点的步骤包括：

将所述目标数据点的幅值归一化并计算与预设第一常数的乘积，获得第一孤立特征值，将目标数据点的所述斜率变化值归一化并计算与预设第二常数的乘积，获得第二孤立特征值，计算所述第一孤立特征值与所述第二孤立特征值的和值，获得目标数据点的所述孤立程度；当所述孤立程度超过预设孤立阈值时，所述目标数据点为孤立数据点。

5.根据权利要求1所述的一种基于计算机云平台的性能数据智能监测系统，其特征在于，所述根据所述周期特征值获取异常数据点的步骤包括：

当所述周期特征值超过预设判定阈值时，所述孤立数据点为异常数据点。