CN113114529A - 基于条件变分自动编码器的kpi异常检测方法和装置 - Google Patents

Abstract

本申请提出了一种基于条件变分自动编码器的关键性能指标KPI异常检测方法，涉及互联网服务异常检测技术领域，其中，该方法包括：获取关键性能指标KPI数据，所述KPI数据包括待检测数据和历史数据；对所述KPI数据进行预处理，获得滑动窗口和所述滑动窗口对应的时间条件向量；对滑动窗口进行缺失点填补，获得新的滑动窗口；根据所述新的滑动窗口和所述滑动窗口对应的时间条件向量，通过预设的条件自动变分编码器CVAE模型计算所述新的滑动窗口的负重构概率，将所述负重构概率作为异常分数；根据所述异常分数确定所述KPI数据是否异常。采用上述方案的本发明在保持其性能高、不需要选择算法和精调参数、不依赖标注、时间开销小的优势上，进一步提升了稳健性。

Description

基于条件变分自动编码器的KPI异常检测方法和装置

技术领域

本申请涉及互联网服务异常检测技术领域，尤其涉及一种基于条件变分自动编码器的关键性能指标KPI异常检测方法方法和装置。

背景技术

为了保证互联网服务的可用性，关键性能指标(key performance indicator,KPI)被用来监控服务的状态，例如每分钟的页面访问数，在线用户数和订单数目等。在大型的互联网服务中，可能有多达数万甚至数十万的KPI需要监控。为了及时检测其中的异常，从而及时处理故障，自动化的KPI异常检测算法是必需的。

KPI通常是周期性采集的，例如每一分钟或者每10秒钟采集一次。因此KPI是一个时间序列，它包含一系列数据点，每个数据点对应一个时间点。由于一些技术问题或者业务问题，有的时间点可能没有采集到对应的KPI值，我们称这样的KPI数据点为缺失点。但是这类数据点是可以直接和正常点区分开的，因此本文中说的异常点不包括这样的缺失点，而非正常点则包括异常点和缺失点。我们将异常点定义为不符合KPI的正常模式的点。

现有的技术可以分为几类：

传统统计方法，通过对数据的正常模式做出某种统计假设，并基于历史数据估计对应的参数，从而建模数据的正常模式；

有监督集成方法。通过有监督的机器学习方法对传统统计方法的效果进行集成；

传统机器学习方法。通过传统机器学习方法(非深度学习的方法)直接检测KPI的异常；

序列深度学习方法。将KPI作为序列(长度不固定)进行处理的深度学习方法；

非序列深度学习方法。将KPI通过滑动窗口等方法变成向量(长度固定)再训练深度学习模型的方法。例如Donut，Donut使用VAE模型对滑动窗口建模，将数据点在滑动窗口最后一个点的位置时的重建概率作为异常分数。

现在的技术需要人工对不同类型KPI选择合适的算法和调节合适的参数，传统统计方法因为对KPI的正常模式有一定的统计假设，因此往往只能适用于一部分类型的KPI，同时有些传统机器学习法适用的KPI类型也有局限，都需要精调参数；依赖人工标注，因为KPI数量巨大，用人工标注历史KPI数据中的异常训练有监督(监督指用于建模的历史数据中有每个数据点是正常还是异常的标注)算法是困难的，所以有监督集成方法，但是一些有监督机器学习方法都不实用；异常检测性能差，传统统计方法和传统的机器学习方法因为适用性的问题，对KPI的异常检测效果可能会较差；时间开销大，部分传统统计方法耗时很长，有监督集成算法如果集成了这类方法，耗时也会很长；稳健性差，深度学习算法因为模型复杂，在部分特殊的KPI曲线下表现会较差。

本项目聚焦于业务相关的KPI(与机器资源型KPI相对)，例如页面访问数，在线用户数和订单数等。这类KPI因为直接受到用户行为的影响，因此表现出强烈的周期性。但是这些KPI在每个周期不是完全相同的，因为每天的用户行为也不会完全一致，我们称这种现象为局部差异。除了周期性和局部差异之外，KPI还包含了随机噪声。因此KPI的正常模式包括1)带局部差异的周期性2)随机噪声。

因为KPI数量巨大，用人工标注历史KPI数据中的异常训练有监督(监督指用于建模的历史数据中有每个数据点是正常还是异常的标注)算法是困难的。因此我们需要无监督的异常检测算法。

综上，我们要提出一个无监督的KPI异常检测算法。异常指的是不符合KPI的正常模式的点，不包括缺失点。若将KPI形式化地描述为序列(v₁,v₂,…,v_n,)，则KPI异常检测问题可以描述为：给定t时刻之前的一段KPI的历史数据(v_t-w,v_t-w+1,…,v_t-1,)，为t时刻的值v_t计算其异常程度γ_t。

深度学习算法Donut已经解决了除了稳健性之外的前面所有传统方法的问题，我们主要是基于Donut进一步解决稳健性的问题，主要手段是引入时间信息。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种基于条件变分自动编码器的关键性能指标KPI异常检测方法，采用上述方案的本发明在保持其性能高、不需要选择算法和精调参数、不依赖标注、时间开销小的优势上，进一步提升了稳健性。

本申请的第二个目的在于提出一种计算机设备。

本申请的第三个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本申请第一方面实施例提出了一种基于条件变分自动编码器的关键性能指标KPI异常检测方法。

本申请实施例的基于条件变分自动编码器的关键性能指标KPI异常检测方法，通过获取关键性能指标KPI数据，所述KPI数据包括待检测数据和历史数据；对所述待检测数据进行处理，获得滑动窗口和所述滑动窗口对应的时间条件向量；根据所述滑动窗口和所述滑动窗口对应的时间条件向量，通过预设的条件自动变分编码器CVAE模型计算所述新的滑动窗口的负重构概率，将所述负重构概率作为异常分数；根据所述异常分数确定所述KPI数据是否异常，所述异常分数越大，KPI数据越异常。采用上述方案的本发明在保持其性能高、不需要选择算法和精调参数、不依赖标注、时间开销小的优势上，进一步提升了稳健性。

进一步地，在本申请的一个实施例中，所述对所述KPI数据进行预处理，包括：

缺失值填补，采用马尔可夫链蒙特卡洛方法填补缺失点，具体做法为在每一步迭代的过程中，通过已知部分推测缺失部分的值，并用推测出来的值替换掉缺失部分的现有值；

数据标准化，将填补缺失值后的KPI数据进行零均值标准化，具体做法是首先计算数据的均值μ和标准差σ，然后将每一个数据点v放缩为

其中μ是KPI上所有历史数据点的均值，σ是KPI上所有历史数据点的标准差v是当前在处理的新的数据点。

取滑动窗口，将数据标准化后的长度不定的KPI数据转化成一系列固定长度为w的向量作为滑动窗口，同时记录每个滑动窗口的时间条件向量。

进一步地，在本申请的一个实施例中，对所述历史数据进行所述数据预处理后生成新的数据，将所述新的数据作为输入数据，采用蒙特卡洛积分法实现修改信息下界M-ELBO和人工注入异常，完成对所述条件自动变分编码器CVAE模型的训练。

进一步地，在本申请的一个实施例中，所述对所述历史数据进行数据预处理包括：

将所述历史数据中的缺失值填补为0，得到时间间隔总是固定值的时间序列；

对所述时间序列进行所述零均值标准化，具体做法是首先计算数据的均值μ和标准差σ，然后将每一个数据点v放缩为

其中μ是KPI上所有历史数据点的均值，σ是KPI上所有历史数据点的标准差v是当前在处理的新的数据点；

对零均值标准化后的数据取滑动窗口,将标准化后的长度不定的KPI数据转化成一系列固定长度为w的向量作为滑动窗口，同时记录每个滑动窗口的时间条件向量。

进一步地，在本申请的一个实施例中，所述条件自动变分编码器CVAE模型包括两部分：

编码器，将输入滑动窗口x和对应的时间y编码为维度更低的隐变量z，其中y是这个时间窗口x对应的最后一个点的时间的编码，表示为q_φ(z|x,y)，表示给定x和y的情况下，z服从的条件分布，其中φ表示编码器网络的参数；

解码器，通过隐变量z和时间编码y重建得到滑动窗口x，表示为p_θ(x|z,y)，表示在给定z和y的情况下x的分布，其中θ表示解码器的参数。

进一步地，在本申请的一个实施例中，所述蒙特卡洛积分法表示为：

其中

为异常分数，z为所述隐变量，q_φ(z|x,y)为所述编码器，p_θ(x|z,y)为所述解码器，X表示所述整个训练数据集,Y表示所有时间点。

进一步地，在本申请的一个实施例中，所述修改信息下界M-ELBO表示为：

其中q_φ(z|x,y)为所述编码器，p_θ(x|z,y)为所述解码器，X表示所述整个训练数据集,Y表示所有时间点，z为所述隐变量，L(X,Y)为信息下界ELBO，α_i表示滑动窗口x中第i个点是否是异常的，是异常则为0，否则为1，不知道是不是异常也是1，β表示x中正常数据点的比例，

W表示滑动窗口X的长度。

进一步地，在本申请的一个实施例中，所述人工注入异常为人工在所述KPI数据中选取数据点设置为缺失值。

为达上述目的，本发明第二方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的基于条件变分自动编码器的关键性能指标KPI异常检测方法。

为了实现上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器被执行时，使得能够执行上述基于条件变分自动编码器的关键性能指标KPI异常检测方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例一所提供的一种基于条件变分自动编码器的关键性能指标KPI异常检测方法的流程示意图；

图2为本申请实施例的长度为3的滑动窗口示意图；

图3为本申请实施例的条件变分自动编码器模型的网络结构；

图4为本申请实施例的整体框架图；

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的基于条件变分自动编码器的关键性能指标KPI异常检测方法和装置。

图1为本申请实施例一所提供的一种基于条件变分自动编码器的关键性能指标KPI异常检测方法的流程示意图。

如图1所示，该基于条件变分自动编码器的关键性能指标KPI异常检测方法包括以下步骤：

步骤101，获取关键性能指标KPI数据，所述KPI数据包括待检测数据和历史数据；

步骤102，对所述待检测数据进行处理，获得滑动窗口和所述滑动窗口对应的时间条件向量；

步骤103，根据所述滑动窗口和所述滑动窗口对应的时间条件向量，通过预设的条件自动变分编码器CVAE模型计算所述新的滑动窗口的负重构概率，将所述负重构概率作为异常分数；

步骤104，根据所述异常分数确定所述KPI数据是否异常。

本申请实施例的基于条件变分自动编码器的关键性能指标KPI异常检测方法，通过以下步骤实现：

获取关键性能指标KPI数据，所述KPI数据包括待检测数据和历史数据；

对所述KPI数据进行处理，获得滑动窗口和所述滑动窗口对应的时间条件向量；

根据所述滑动窗口和所述滑动窗口对应的时间条件向量，通过预设的条件自动变分编码器CVAE模型计算所述新的滑动窗口的负重构概率，将所述负重构概率作为异常分数；

根据所述异常分数确定所述KPI数据是否异常，所述异常分数越大，KPI数据越异常。

由此，采用上述方案的本发明在保持其性能高、不需要选择算法和精调参数、不依赖标注、时间开销小的优势上，进一步提升了稳健性，主要是通过两点来实现，引入了时间信息；通过dropout层控制了过拟合。

进一步地，在本申请实施例中，所述对所述待检测数据进行预处理，数据预处理目的是将KPI数据预处理成模型能接受的形式，包括：

缺失值填补，所述缺失点填补指采用马尔可夫链蒙特卡洛方法填补滑动窗口的缺失点，具体做法为在每一步迭代的过程中，通过已知部分推测缺失部分的值，并用推测出来的值替换掉缺失部分的现有值。异常检测指的是对新来的KPI数据点判断其异常。记当前新来的数据点为v_t。经过数据预处理之后，得到了填充缺失值和标准化之后的滑动窗口x＝(v_t-W+1,v_t-W+2,…,v_t)和其对应的时间条件向量y，窗口的长度仍然是w，最后一个数据点是v_t，但是滑动窗口x的历史数据中可能有非正常点，例如缺失点，或者历史异常点。这些点的存在为向量x引入了噪声，因而影响了异常检测的效果。所以我们需要去掉x中的历史数据中的非正常点的影响。因为缺失点总是知道的，而异常点不确定，所以我们的具体做法是通过马尔可夫链蒙特卡洛(MCMC，Markov Chain Monte Carlo)方法填补x中的缺失点。MCMC方法是一个迭代的过程，在每一步迭代过程中，我们通过已知部分推测缺失部分的值，并用推测出来的值替换掉缺失部分的现有值。并进行多次迭代。记第i次迭代的输入向量为x⁽ⁱ⁾,其中正常部分和异常部分分别为x_o和x_m ⁽ⁱ⁾。我们通过模型重构x⁽ⁱ⁾，得到x′⁽ⁱ⁾，其中的缺失部分的值

用来替换x_m ⁽ⁱ⁾，得到

数据标准化，因为不同KPI的取值范围有很大变化，通过标准化可以使得模型能够适应各种不同取值范围的KPI，并且有利于模型的数值计算。选择使用零均值标准化，将填补缺失值后的KPI数据进行零均值标准化，具体做法是首先计算数据的均值μ和标准差σ，然后将每一个数据点v放缩为

其中μ是KPI上所有历史数据点的均值，σ是KPI上所有历史数据点的标准差v是当前在处理的新的数据点。

取滑动窗口，将数据标准化后的长度不定的KPI数据转化成一系列固定长度为w的向量作为滑动窗口，同时记录每个滑动窗口的时间条件向量，我们取长度w＝3的滑动窗口，则如图2所示。

进一步地，在本申请实施例中，对所述历史数据进行所述数据预处理后生成新的数据，将所述新的数据作为输入数据，采用蒙特卡洛积分法实现修改信息下界M-ELBO和人工注入异常，完成对所述条件自动变分编码器CVAE模型的训练,条件自动变分编码器CVAE模型的结构如图3所示，CVAE模型整体度量了给定时间信息y时滑动窗口x的概率分布p(x|y)，即给定时间的时候对应的KPI滑动窗口应该是什么样子。

进一步地，在本申请实施例中，所述对所述历史数据进行数据预处理包括：

将KPI数据缺失值填补为0，得到时间间隔总是固定值的时间序列，选择将缺失值填补为0是因为业务KPI总是非负数，0既是合法的，又和正常值有明显区别；

对所述时间序列进行所述零均值标准化，具体做法是首先计算数据的均值μ和标准差σ，然后将每一个数据点v放缩为

其中μ是KPI上所有历史数据点的均值，σ是KPI上所有历史数据点的标准差v是当前在处理的新的数据点；

对零均值标准化后的数据取滑动窗口,将标准化后的长度不定的KPI数据转化成一系列固定长度为w的向量作为滑动窗口，同时记录每个滑动窗口的时间条件向量。

进一步地，在本申请实施例中，所述条件自动变分编码器CVAE模型包括两部分：

左半部分是编码器，将输入滑动窗口x和对应的时间y编码为维度更低的隐变量z，其中y是这个时间窗口x对应的最后一个点的时间的编码，具体的编码方式为(年，月，日，小时，分钟，星期)，编码的目标z是隐变量，表示这个滑动窗口对应的内在的状态，它的分布是模型学习的目标之一。

编码器可以表示为q_φ(z|x,y)，即表示给定x和y的情况下，z服从的条件分布，其中φ表示编码器网络的参数。我们假设q_φ(z|x,y)是服从高斯分布的，即

其中参数μ_z和σ_z是通过共享的神经网络(全连接层，即不同层的每一个单元之间都有连接)得到的；

右半部分是解码器，通过隐变量z和时间编码y重建得到滑动窗口x，表示为p_θ(x|z,y)，即表示在给定z和y的情况下x的分布，其中θ表示解码器的参数。

我们假设p_θ(x|z,y)是服从高斯分布的，即

其中μ_x和σ_x是通过共享的神经网络(全连接层)得到的。

我们采用的网络结构和相关工作(Donut)的最大不同在于y的引入。通过引入时间信息，我们的模型能够针对不同时间段的KPI的正常模式进行分别的分析。例如，同一个KPI可能在营业时间和非营业时间有不同的正常模式，那么Donut就不能分别分析营业时间内和营业时间外的KPI正常模式。这导致的问题就是如果一个滑动窗口服从营业时间外的模式，但是它出现在营业时间内，那么它应该是异常的，但是Donut无法分析这样的异常。

为了使得保证模型仍然能学习到和滑动窗口的形状信息而不是过拟合到时间信息上，我们在输入时间信息y之前增加了dropout层。Dropout层通过在训练时随机去掉一部分单元的信息，等效地将一个模型转化为许多个更小的模型的平均，从而增强了模型的稳健性，避免了过拟合。

CVAE模型整体度量了给定y时x的概率分布p(x)，即给定时间的时候对应的KPI滑动窗口应该是什么样子。

因此模型的训练目标是最大化在训练集上的p(X|Y)(X表示整个训练数据集,Y表示所有时间点)。

进一步地，在本申请实施例中，所述蒙特卡洛积分法表示为：

其中

为异常分数，z为所述隐变量，q_φ(z|x,y)为所述编码器，p_θ(x|z,y)为所述解码器，X表示所述整个训练数据集,Y表示所有时间点。

进一步地，在本申请实施例中，，所述修改信息下界M-ELBO表示为：

其中q_φ(z|x,y)为所述编码器，p_θ(x|z,y)为所述解码器，X表示所述整个训练数据集,Y表示所有时间点，z为所述隐变量，L(X,Y)为信息下界ELBO，α_i表示滑动窗口x中第i个点是否是异常的，是异常则为0，否则为1，不知道是不是异常也是1，β表示x中正常数据点的比例，

W表示滑动窗口X的长度。

我们通过M-ELBO(修改的信息下界，modified evidence lower bound)作为训练目标。它基于ELBO，ELBO是p(X|Y)的变分下界(p(X|Y)是无法高效地直接计算的)。因为p(X|Y)实际上就是数据集中每一个元素的概率的乘积，为表达简便我们只考虑一个元素，即p(x|y)。x这里是X中的一个滑动窗口，x_i表示这个滑动窗口中的第i个位置的取值。

L(X,Y)就是ELBO，它是logp(X|Y)的下界。期望可以通过蒙特卡洛法求解，即多次采样求平均。第一项logp_θ(x_i|z,y_i)表示输入时间窗口是否符合重构出来的模式，第二项表示编码器得到的z的分布是否符合先验分布p(z)。这里我们假设p(z)是标准高斯分布，但是理论上p(z)取什么都一样，因为这一项并没有参数。第三项是编码器得到的z的分布的熵，它表示编码器得到的z的分布应该尽量分散，而不是集中在少数点(可以避免在训练数据集上过拟合)。

考虑到x中存在的非正常点，我们对ELBO做部分修改，在训练目标中过滤掉非正常点的影响。记α_i＝1表示x_i为非正常,α_i＝0表示x_i为正常。记β为所有数据点中非正常的比例。那么M-EBLO为：

通过M-ELBO，我们的模型能学习到如何忽略输入数据中的非正常点。

因为我们是无监督算法，所以这里能输入的标注α和β一般只有缺失点，异常点在训练数据中我们是不知道的。但是这已经足以让模型学习到足够的信息了。因为自动编码器通过降维能够学习到x的最主要的信息。

进一步地，在本申请实施例中，所述人工注入异常为人工在所述KPI数据中选取数据点设置为缺失值，为了加强M-ELBO的效果，我们在训练数据中人工注入异常。即，我们在每一次迭代开始前，人工在数据集中选取一部分数据点，设置为缺失值，然后继续训练。通过缺失点注入，我们有了更多的训练数据让模型学习如何才非正常数据中提取正常模式。

为了实现上述实施例，本发明还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现上述施例所述的基于条件变分自动编码器的关键性能指标KPI异常检测方法。

为了实现上述实施例，本发明还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的基于条件变分自动编码器的关键性能指标KPI异常检测方法。

本发明和Donut的不同在于引入了时间信息y。通过时间信息y，本发明在检测时比Donut更加好地应对历史数据点中存在的缺失或者异常。例如滑动窗口x中的历史数据中存在大量的缺失或者异常，那么这些非正常点的存在就为判断x的正常模式带来了很多噪声。但是y总是准确的，所以y为确定x的正常模式提供了总是正确的辅助信息，因此提高了模型的检测的稳健性,本方案的整体框架如图4所示，包括模型训练和异常检测。

通过使用深度学习模型CVAE，让一个算法能够适应多种多样的业务KPI，并且不需要对每类不同的KPI精调参数。

本方案是无监督方法，不需要使用历史数据中的异常标注即可达到和有监督集成方法相似的优秀检测效果。本发明能够从数据中无监督地学习到正常模式的关键点在于：自动编码器的降维带来的效应、M-ELBO。

本方案是非序列的检测方法，运行速度快，并且方便并行化。

本方案通过引入时间信息使得模型更加稳健，解决了之前的深度学习方法中存在的不稳健的问题。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于条件变分自动编码器的关键性能指标KPI异常检测方法，其特征在于，包括以下步骤：

获取关键性能指标KPI数据，所述KPI数据包括待检测数据和历史数据；

对所述待检测数据进行处理，获得滑动窗口和所述滑动窗口对应的时间条件向量；

根据所述滑动窗口和所述滑动窗口对应的时间条件向量，通过预设的条件自动变分编码器CVAE模型计算所述新的滑动窗口的负重构概率，将所述负重构概率作为异常分数；

根据所述异常分数确定所述KPI数据是否异常，所述异常分数越大，KPI数据越异常。

2.如权利要求1所述的方法，其特征在于，所述对所述待检测数据进行处理，包括：

缺失值填补，采用马尔可夫链蒙特卡洛方法填补缺失点，具体做法为在每一步迭代的过程中，通过已知部分推测缺失部分的值，并用推测出来的值替换掉缺失部分的现有值；

数据标准化，将填补缺失值后的KPI数据进行零均值标准化，具体做法是首先计算数据的均值μ和标准差σ，然后将每一个数据点v放缩为

其中μ是KPI上所有历史数据点的均值，σ是KPI上所有历史数据点的标准差v是当前在处理的新的数据点；

取滑动窗口，将数据标准化后的长度不定的KPI数据转化成一系列固定长度为w的向量作为滑动窗口，同时记录每个滑动窗口的时间条件向量。

3.如权利要求1所述的方法，其特征在于，对所述历史数据进行数据预处理后生成新的数据，将所述新的数据作为输入数据，采用蒙特卡洛积分法实现修改的信息下界M-ELBO和人工注入异常，完成对所述条件自动变分编码器CVAE模型的训练。

4.如权利要求3所述的方法，其特征在于，所述对所述历史数据进行数据预处理包括：

将所述历史数据中的缺失值填补为0，得到时间间隔总是固定值的时间序列；

对所述时间序列进行所述零均值标准化，具体做法是首先计算数据的均值μ和标准差σ，然后将每一个数据点v放缩为

其中μ是KPI上所有历史数据点的均值，σ是KPI上所有历史数据点的标准差v是当前在处理的新的数据点；

对零均值标准化后的数据取滑动窗口,将标准化后的长度不定的KPI数据转化成一系列固定长度为w的向量作为滑动窗口，同时记录每个滑动窗口的时间条件向量。

5.如权利要求3所述的方法，其特征在于，所述条件自动变分编码器CVAE模型包括两部分：

编码器，将输入滑动窗口x和对应的时间y编码为维度更低的隐变量z，其中y是这个时间窗口x对应的最后一个点的时间的编码，表示为q_φ(z|x,y)，表示给定x和y的情况下，z服从的条件分布，其中φ表示编码器网络的参数；

解码器，通过隐变量z和时间编码y重建得到滑动窗口x，表示为p_θ(x|z,y)，表示在给定z和y的情况下x的分布，其中θ表示解码器的参数。

6.如权利要求3所述的方法，其特征在于，所述蒙特卡洛积分法表示为：

其中

为异常分数，z为所述隐变量，q_φ(z|x,y)为所述编码器，p_θ(x|z,y)为所述解码器，X表示所述整个训练数据集,Y表示所有时间点。

7.如权利要求3所述的方法，其特征在于，所述修改的信息下界M-ELBO表示为：

其中q_φ(z|x,y)为所述编码器，p_θ(x|z,y)为所述解码器，X表示所述整个训练数据集,Y表示所有时间点，z为所述隐变量，L(X,Y)为信息下界ELBO，α_i表示滑动窗口x中第i个点是否是异常的，是异常则为0，否则为1，不知道是不是异常也是1，β表示x中正常数据点的比例，

W表示滑动窗口X的长度。

8.如权利要求3所述的方法，其特征在于，所述人工注入异常为人工在所述KPI数据中选取数据点设置为缺失值。

9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-8中任一所述的方法。

10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一所述的方法。

Images