CN108282360B - 一种长短期预测融合的故障检测方法 - Google Patents

Abstract

本发明属于信息技术领域，特别涉及一种长短期预测融合的故障检测方法，通过建立一个数据随时间变化的统计模型；再利用自回归模型对统计模型的预测残差值进行修正；接着利用马尔可夫预测模型对被修正后的统计模型进行趋势调整，最后采用广义似然比算法进行故障点检测，根据情况变化阈值预测故障报警。本发明既利用历史数据变化方式的总体规律信息，又利用当前实时数据的变化特征信息，建立一个长短期融合的故障预测模型，通过融合处理来降低单个预测方法的不确定性，发挥其自身的优越性，从而提高整体的故障预测准确性，保证了容器云的可靠性和服务质量的情况下，尽量减少或避免因为故障带来的损失。

Description

一种长短期预测融合的故障检测方法

技术领域

本发明属于信息技术领域，具体涉及一种长短期预测融合的故障检测方法。

背景技术

容器云是当前一种主流的云计算模式，其拥有启动速度快、资源消耗少等多方面的优势。容器云环境面临很大的可靠性挑战。一方面随着用户请求程序的增加以及程序复杂性的增加，程序容易出现异常；另一方面，云系统内部服务器的数目也在不断增加，同时，云计算基础设施一般采用比较低档的服务器或者PC机，单机的可靠性存在问题。因此容器云环境可能经常因为某些原因出现故障，这些故障进而破坏云环境，从而导致一个任务甚至是多个任务需要重新执行，严重影响了程序的正常运行。研究表明，在大规模集群中，有1-5％的硬盘会发生失效，服务器的失效率也达到了2-4％。对于一个新的集群来说将会有超过1000次的节点会产生失效，并且这种失效的次数会随着集群的增大而变得越来越多。根据上面的介绍可以得出，容器云平台出现故障对于程序的运行有重要影响。

目前，国内外已经就如何提高云环境稳定性进行了大量的研究。主要方法都是基于历史数据进行长期预测，然而一般长期模型利用较长的时间的数据，虽然满足了长期趋势的要求，但是缺乏对数据的实时性的把握，还是有一定的局限性。容器云平台复杂的结构导致故障发生概率显著增加，而传统的做法往往在故障发生后才能够使用常见的故障处理方法解决故障，这种滞后性使得一些损失不可避免。基于容器的云计算系统相比于传统的基于虚拟机的云计算系统在启动速度、资源消耗等方面更具优势，因此近年来很多大公司都采用容器技术来构建新的云计算系统。然而，随着容器云规模的不断扩大以及运行程序的种类的不断增多，如何保障容器云的安全可靠成为了一个突出的挑战。

因此，及时预测资源异常的趋势、有效检测资源状态、在故障产生显著影响前实施解救措施，故障的精准预测和及时检测能为整个容器云环境的安全可靠提供坚实的保障，是提高容器云服务质量的一种重要方法，也是目前云计算研究的热点和重点内容。

发明内容

针对以上问题，本发明旨在提供一种长短期预测融合的故障检测方法。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种长短期预测融合的故障检测方法，包括如下步骤：

S1：建立一个数据随时间变化的统计模型；

S2：利用时间序列建模得到的自回归模型，利用自回归模型对上述统计模型的预测残差值进行修正；

S3：利用马尔可夫预测模型作为长期建模方案，对被修正后的统计模型进行趋势调整。

S4：采用广义似然比算法进行故障点检测，根据情况变化阈值预测故障报警。

作为一种改进，所述步骤S1中“建立一个数据随时间变化的统计模型”还包括，为了消除日期，周数和月份对统计模型的影响，分别逐步加入总均值、日期的影响、周数的影响、月份的影响因素建立扩展统计模型。

作为进一步改进，扩展统计模型为：

y_t＝μ+α_i+β_w+γ_m (3)

其中，时间指数t表示为(i,d,w,m)的函数，y_t即y_(i,d,w,m)表示数据收集中第m月第w周第d天第i个间隔的观测值；总均值是μ；α_i为总平均值一天中的第i个误差，(∑_iα_i＝0)；β_w表示第w周的影响，∑_wβ_w＝0；γ_m表示第m月的影响，∑_mγ_m＝0。

更进一步的，所述步骤S2中，利用时间序列建模得到的自回归模型如下：

ε_t＝θ₁ε_t-1+θ₂ε_t-2+μ_t (4)

扩展统计模型经修正后为:

其中，自回归模型式(4)中，θ₁和θ₂是自回归模型的参数，μ_t是独立同分布的随机变量。

进一步的，所述步骤S3中，利用马尔可夫预测模型对被修正后的统计模型进行趋势调整具体包括如下步骤：

综合各步对未来的影响，定义Z₁,Z₂,...Z_m为：

其中i,j,k＝1,2,…,m；

依据Z₁,Z₂,...Z_m的定义，用最大标准化方法计算权重序列{ρ_i}，如下

其中i＝1,2,…,m；

利用上述权重对修正后的统计模型进行趋势调整；基于状态定义，对每个状态定义一个中间值η_i：

由此，趋势调整后的融合预测调整模型可以表示为

再者，所述步骤S4中“采用广义似然比算法进行故障检测”，具体包括：采用两个时间窗口，即一组获得数据的时间索引；第一个是参考窗口，所述参考窗口中的值被用来估计测试点中零假设的参数；所述参考窗口以检测最后一个故障发生的时间开始；第二个时间窗口是测试窗口；所述测试窗口中的值用于估计发生故障的替代假设的参数，测试窗口大小为t-L，当检测到故障时，发出警报。

本发明一种长短期预测融合的故障检测方法，通过建立一个数据随时间变化的统计模型；再利用自回归模型对统计模型的预测残差值进行修正；接着利用马尔可夫预测模型对被修正后的统计模型进行趋势调整，最后采用广义似然比算法进行故障点检测，根据情况变化阈值预测故障报警。本发明既利用历史数据变化方式的总体规律信息，又利用当前实时数据的变化特征信息，建立一个长短期融合的故障预测模型，通过融合处理来降低单个预测方法的不确定性，发挥其自身的优越性，从而提高整体的故障预测准确性，保证了容器云的可靠性和服务质量的情况下，尽量减少或避免因为故障带来的损失。

附图说明

图1是本发明一种长短期预测融合的故障检测方法流程示意框图。

具体实施方式

以下结合图1具体说明本发明提供的一种长短期预测融合的故障检测方法。

本发明提供一种一种长短期预测融合的故障检测方法，包括如下步骤：

S1：建立一个数据随时间变化的统计模型；

首先建立一个数据随时间变化的统计模型，若只考虑一天中时间的影响。让y_(i,d)表示数据收集中第d天第i个间隔的观测值。将y_(i,d)划分成两个部分：总均值和一天中第i个时间值产生的平均偏差，总均值是μ；来自总平均值的一天中的第i个误差是α_i(∑_iα_i＝0)。时间指数t可以表示为(i,d)的函数，建立如下模型：

y_t＝μ+α_i (1)

进一步添加一个星期模式。让β_w表示第w周的影响。与此同时，α是总均值(μ)的偏差。因此∑_wβ_w＝0。建立扩展的统计模型：

y_t＝μ+α_i+β_w (2)

注意，由于包含了另一个参数(第几周)，所以y需要另一个下标。此时，时间指数t表示为(i,d,w)的函数。

为了消除月份对模型的影响，扩展统计模型需要考虑月份。让γ_m表示第m月的影响。同样，∑_mγ_m＝0，最终扩展统计模型如下：

y_t＝μ+α_i+β_w+γ_m (3)

同样，另一个下标被添加给y。此时，时间指数t表示为(i,d,w,m)的函数。

到目前为止，最终扩展统计模型已经能够解释总均值、日、周、月的影响。

为了提高扩展统计模型预测的精确度，利用时间序列建模得到的自回归模型对扩展统计模型的预测残差值进行修正的方案。

S2：利用时间序列建模得到的自回归模型，利用自回归模型对上述统计模型的预测残差值进行修正；

令扩展统计模型(3)预测残差序列为

ε_t＝[ε₁,ε₂,...,ε_n]^T

其中，

得到一个自回归模型,表示如下

ε_t＝θ₁ε_t-1+θ₂ε_t-2+μ_t (4)

其中，θ₁和θ₂是模型的参数(从数据中估计)，μ_t是独立同分布的随机变量。使用标准技术估计模型参数。

这样，扩展统计模型(3)被修正为:

上述被修正后的统计模型(5)对历史数据的记忆是指数递减的，即新的观测值比旧的观测值得到更高的权重。因此，该模型可以迅速适应数据方式的变化，也就是说，这种建模方法是面向数据短期变化的方法。

然而历史数据也包含有用的信息，于是我们结合了被修正后的统计模型(5)和马尔可夫预测模型的优点，提出利用马尔可夫预测模型作为长期建模方案，对被修正后的统计模型(5)进行趋势调整。

S3：利用马尔可夫预测模型作为长期建模方案，对被修正后的统计模型进行趋势调整。

首先，假设考虑追溯r步的影响。如果残差序列的第N个值位于状态i，即

那么将利用一步状态转移矩阵Γ⁽¹⁾，提取它的第i行上所有转移概率P_i1 ⁽¹⁾,P_i2 ⁽¹⁾,…,P_im ⁽¹⁾，因为这些转移概率表示在下一时刻从第i个状态将要转移到其他状态的概率，它们是历史数据对未来的一步影响。如果残差序列的第N-1个值位于状态j，也就是

那么利用两步状态转移矩阵Γ⁽²⁾，提取这个矩阵的第j行所有转移概率P_j1 ⁽²⁾,P_j2 ⁽²⁾,…,P_jm ⁽²⁾，它们是历史数据对未来的两步影响。类似的，如果第N-r+1个残差值位于状态k，即

于是，r步状态转移矩阵Γ^(r)中的第k行所有转移概率P_k1 ^(r),P_k2 ^(r),…,P_km ^(r)被提取，以这种方式可以得到历史数据对未来的r步影响。

为了综合以上各步对未来的影响，定义Z₁,Z₂,...Z_m为：

其中i,j,k＝1,2,…,m。

依据Z₁,Z₂,...Z_m的定义，用最大标准化方法计算权重序列{ρ_i}，如下

其中i＝1,2,…,m

于是，用这些权重对被修正后的统计模型(5)进行趋势调整。基于状态定义，对每个状态定义一个中间值η_i：

由此，趋势调整后的融合预测调整模型可以表示为：

S4：采用广义似然比算法进行故障点检测，根据情况变化阈值预测故障报警。

现在考虑一下阈值违规的预测。由于，目前的问题检测实践是为测量值建立阈值。如果观察到的值违背阈值，就会发出警报。

这种方法在实践中有一个很大的困难：正常的负载波动非常大，一个阈值是不够的。也就是说，一个阈值要么导致过多的错误警报，要么当出现问题时，阈值不能引起警报。一些性能管理产品试图通过允许安装在一天的不同时间、一周的不同时间内指定不同的阈值来克服这一困难，但是要求安装额外的阈值大大增加了管理这些安装的负担。

本发明提出采用广义似然比算法进行故障检测的方法。本发明采用两个时间窗口，即一组获得数据的时间索引。第一个是参考窗口，参考窗口中的值被用来估计测试点中“零假设”的参数，参考窗口以检测最后一个故障发生的时间开始。第二个时间窗口是测试窗口，测试窗口的值用于估计发生故障的“替代假设”的参数。测试窗口大小为t-L。L是一个用户设定的经验值，L应该足够大，以获得

(在测试窗口中的μ的方差)的稳定估计，但又不能太大，要较容易地检测到故障。当检测到故障时，就会发出警报。

本发明一种长短期预测融合的故障检测方法，通过建立一个数据随时间变化的统计模型；再利用自回归模型对统计模型的预测残差值进行修正；接着利用马尔可夫预测模型对被修正后的统计模型进行趋势调整，最后采用广义似然比算法进行故障点检测，根据情况变化阈值预测故障报警。本发明既利用历史数据变化方式的总体规律信息，又利用当前实时数据的变化特征信息，建立一个长短期融合的故障预测模型，通过融合处理来降低单个预测方法的不确定性，发挥其自身的优越性，从而提高整体的故障预测准确性，保证了容器云的可靠性和服务质量的情况下，尽量减少或避免因为故障带来的损失。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (2)

1.一种长短期预测融合的故障检测方法，其特征在于，包括如下步骤：

S1：建立一个数据随时间变化的统计模型；

S2：利用时间序列建模得到的自回归模型，利用自回归模型对上述统计模型的预测残差值进行修正；

S3：利用马尔可夫预测模型作为长期建模方案，对被修正后的统计模型进行趋势调整；

S4：采用广义似然比算法进行故障点检测，根据情况变化阈值预测故障报警；

所述步骤S1中“建立一个数据随时间变化的统计模型”还包括，为了消除日期，周数和月份对统计模型的影响，分别逐步加入总均值、日期的影响、周数的影响、月份的影响因素建立扩展统计模型；

其中：

所述扩展统计模型为：

y_t＝μ+α_i+β_w+γ_m (3)

其中，时间指数t表示为(i,d,w,m)的函数，y_t即y_(i,d,w,m)表示数据收集中第m月第w周第d天第i个间隔的观测值；总均值是μ；α_i为总平均值一天中的第i个误差，(∑_iα_i＝0)；β_w表示第w周的影响，∑_wβ_w＝0；γ_m表示第m月的影响，∑_mγ_m＝0；

所述步骤S2中，利用时间序列建模得到的自回归模型如下：

ε_t＝θ₁ε_t-1+θ₂ε_t-2+μ_t (4)

扩展统计模型经修正后为:

其中，自回归模型式(4)中，θ₁和θ₂是自回归模型的参数，μ_t是独立同分布的随机变量；

所述步骤S3中，利用马尔可夫预测模型对被修正后的统计模型进行趋势调整具体包括如下步骤：

综合各步对未来的影响，定义Z₁,Z₂,...Z_m为：

其中i,j,k＝1,2,…,m，P_i1 ⁽¹⁾,P_i2 ⁽¹⁾,…,P_im ⁽¹⁾为一步状态转移矩阵中第i行的所有转移概率，P_j1 ⁽²⁾,P_j2 ⁽²⁾,…,P_jm ⁽²⁾为两步状态转移矩阵中第j行的所有转移概率，P_k1 ^(r),P_k2 ^(r),…,P_km ^(r)为r步状态转移矩阵中第k行的所有转移概率；

依据Z₁,Z₂,...Z_m的定义，用最大标准化方法计算权重序列{ρ_i}，如下

其中i＝1,2,…,m；

利用上述权重对修正后的统计模型进行趋势调整；基于状态定义，对每个状态定义一个中间值η_i：

由此，趋势调整后的融合预测调整模型可以表示为：

N表示残差序列的第多少个值。

2.如权利要求1所述的一种长短期预测融合的故障检测方法，其特征在于，所述步骤S4中“采用广义似然比算法进行故障检测”，具体包括：采用两个时间窗口，即一组获得数据的时间索引；第一个是参考窗口，所述参考窗口中的值被用来估计测试点中零假设的参数；所述参考窗口以检测最后一个故障发生的时间开始；第二个时间窗口是测试窗口；所述测试窗口中的值用于估计发生故障的替代假设的参数，测试窗口大小为t-L，当检测到故障时，发出警报，其中，L为一个由用户设定的经验值。

Images