CN107784314A - 一种多变量报警系统的正常异常数据划分方法及系统 - Google Patents

Abstract

本发明涉及一种多变量报警系统的正常异常数据划分方法及系统，方法包括:选取最小时长和最小偏离,构建正常状态下各变量的变化方向组合关系矩阵；对采集数据中各变量的时间序列进行标准化，得到标准化矩阵；在标准化数据矩阵中加入将时间维度，在时间维度上进行一次聚类，可以消除强噪声造成的局部突变被识别为局部趋势的影响，实现有效降低噪声；进而对一次聚类得到的簇进行合并，实现识别邻近的相似数据段；再在变量维度中进行二次聚类，实现识别时间上相隔很远的相似数据段；本发明可实现保持较高计算速度的同时大大降低误报率。相较于传统方法，对于识别系统所处阶段和变化趋势，本发明具有很大优势。

Description

一种多变量报警系统的正常异常数据划分方法及系统

技术领域

本发明涉及工业报警技术领域，尤其涉及一种多变量报警系统的正常异常数据划分方法及系统。

背景技术

很多种类的工业报警系统的高效运行依赖于大量丰富且带标签(如“正常”、“异常”)的历史数据。从海量工业数据中人工挑选这类历史数据是效率低下的，且仅适用于较小数据集的情况。因此开发自动划分正常/异常数据段的算法显得尤为重要。现有文献中的定性趋势分析(QTA)方法是一种解决途径。它包含三类主要方法，即滑动窗方法(slidingwindows)、自上而下方法(top-down)和自下而上方法(bottom-up)。然而仍然有两大问题未能解决：

1、数据分段方法不仅要能识别邻近的相似数据段，还应该能识别在时间上相隔很远的相似数据段；现有技术中的方法不能达到上述要求

2、现有的方法大多侧重对信号局部的拟合。由强噪声造成的局部突变极易被识别为局部趋势，因此当实际信号具有强噪声时此类方法将可能失效。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种多变量报警系统的正常异常数据划分方法及系统。

本发明解决上述技术问题的技术方案如下：一种多变量报警系统的正常异常数据划分方法，包括如下步骤:

S1,选取用于判断信号是否存在变化的最小时长τ和最小偏离Δ,构建正常状态下各变量的变化方向组合关系矩阵R；

S2,对采集数据中各变量的时间序列进行标准化，得到标准化矩阵X；

S3,在标准化数据矩阵X中加入将时间维度T₀，得到带有时间维度的标准化矩阵S₁；

S4,对带有时间维度的标准化矩阵S₁进行一次聚类,得到预设数量的簇中心；

S5,根据最小时长τ限制合并相邻簇,将合并后的簇中心组成数据集合S₂；

S6,根据最小偏离Δ限制在变量维度上对数据集合S₂进行二次聚类,使簇中心两两间距大于预设值；

S7,计算簇中心变化方向，将簇中心方向变化与变化方向组合关系矩阵R进行对比,以识别异常数据段。

为实现上述发明目的，本发明还提供一种多变量报警系统的正常异常数据划分系统，包括:

限制条件确定模块，用于选取判断信号是否存在变化的最小时长τ和最小偏离Δ,构建正常状态下各变量的变化方向组合关系矩阵R；

标准化模块，用于对采集数据中各变量的时间序列进行标准化，得到标准化矩阵X；

时间维度加入模块，用于在标准化数据矩阵X中加入将时间维度T₀，得到带有时间维度的标准化矩阵S₁；

第一聚类模块，用于对带有时间维度的标准化矩阵S₁进行一次聚类,得到预设数量的簇中心；

簇合并模块，用于根据最小时长τ限制合并相邻簇,将合并后的簇中心组成数据集合S₂；

第二聚类模块，用于根据最小偏离Δ限制在变量维度上对数据集合S₂进行二次聚类,使簇中心两两间距大于预设值；

异常识别模块，用于计算簇中心变化方向，将簇中心方向变化与变化方向组合关系矩阵R进行对比,以识别异常数据段。

本发明的有益效果是：本发明所述方法首先在时间维度上进行一次聚类，可以消除强噪声造成的局部突变被识别为局部趋势的影响，实现有效降低噪声；进而对一次聚类得到的簇进行合并，实现识别邻近的相似数据段；再在变量维度中进行二次聚类，实现识别时间上相隔很远的相似数据段；本发明可实现保持较高计算速度的同时大大降低误报率。相较于传统方法，对于识别系统所处阶段和变化趋势，本发明具有很大优势。

附图说明

图1为本发明实施例中原始信号时间序列图及各个方法的滤波结果图；

图2为本发明实施例中各个方法在各个信号、各个噪声和各个参数设定情况下的耗时对比图；

图3为本发明实施例中各个方法在各个信号、各个噪声和各个参数设定情况下的误报次数对比图；

图4为本发明实施例中正常状态下发电单元的六变量系统的时间序列图；

图5为本发明实施例中正常状态下发电单元中变量X₃和X₆的散点图；

图6为本发明实施例中正常状态下发电单元中变量X₃和X₆的聚类结果图；

图7为本发明实施例中正常状态下发电单元的六变量系统的正常/异常数据段划分结果图；

图8为本发明实施例中异常状态下发电单元的六变量系统的时间序列图；

图9为本发明实施例中异常状态下发电单元中变量X₃和X₆的散点图；

图10为本发明实施例中异常状态下发电单元中变量X₃和X₆的聚类结果图

图11为本发明实施例中异常状态下发电单元的六变量系统的正常/异常数据段划分结果图；

如图12为本发明实施例提供一种多变量报警系统的正常异常数据划分方法流程图；

如图13为本发明实施例提供一种多变量报警系统的正常异常数据划分系统框。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图12所示，本发明实施例提供一种多变量报警系统的正常异常数据划分方法，包括如下步骤:

S1,选取用于判断信号是否存在变化的最小时长τ和最小偏离Δ,构建正常状态下各变量的变化方向组合关系矩阵R。

具体地，选取合适的最小时长τ和最小偏离Δ。这两个变量是用于定义和识别信号所处的阶段。即同时满足时间间隔小于τ和欧式距离||x(t+Δt)-x(t)||₂小于Δ的两个数据点应归属于同一阶段。而不同阶段之间存在变化趋势。

最小时长τ和最小偏离Δ可以通过操作员基于先验知识设定，如果操作员缺少足够的先验知识，可以采用推荐值τ＝20和其中X_i,ss为变量X_i在稳态时的样本数据序列。

多变量系统中变量间的合法关系通过下表描述的R矩阵进行限定。

其中[X_i]为变量X_i在t时刻的变化方向，定义为：

[X_i]_t→t+Δt＝sign(x_i(t+Δt)-x_i(t))；

其中X表示变量，x表示变量的时间序列，i表示第i个变量，n表示变量个数，r表示变量间满足的变化方向的组合总数量，t表示取t时刻的变量幅值，Δt表示时间增量；

符号函数：

矩阵R的每一行都表示某种情况下的变量间应满足的变化方向组合情况。

S2,对采集数据中各变量的时间序列进行标准化，得到标准化矩阵X。

具体地，将所有变量均标准化为零均值和单位方差，可以有效避免受到较大幅值变量的影响。设多变量系统的某段长度为N的数据为X(1:N)，第i个变量的标准化过程为

其中和std(X_i,Raw)分别是信号X_i,Raw的均值和标准差，即

S3,在标准化数据矩阵X中加入将时间维度T₀，得到带有时间维度的标准化矩阵S₁。保持数据点严格的时间顺序，使降噪有效。

具体第，将时间维度向量T₀:＝t₀[1,2,…,N]^T加入原数据矩阵X，即

S₁:＝[T₀,X]＝[T₀,X₁,X₂,…,X_n]，

其中t₀是时间权重因子，默认取t₀＝1。改变t₀的取值以确保步骤4中簇具有严格的时间顺序

S4,对带有时间维度的标准化矩阵S₁进行一次聚类,得到预设数量的簇中心。

由于噪声存在，S₁当中的数据点的分布呈现出数据云的形态，而不是简单的曲线。利用DPC(density peak clustering algorithm)聚类方法寻找到的簇中心表征S₁中出现的各个阶段。为了保持S₁中足够的信息细节，选取m个簇中心。具体聚类公式如下应用聚类算法：

[K,C]＝DPC(S₁,m)，

其中向量C:＝[c₁,c₂,…,c_m]为各簇中心的时间序号。向量K:＝[k₁,k₂,…,k_N]，k_t∈[1,m]，t＝1,2,…,N是一个查找表，指定了每个数据点所属的簇编号(1～m)。通过上述方法可以有效降低噪声影响，以提取系统主要趋势。

S5,根据最小时长τ限制合并相邻簇,将合并后的簇中心组成数据集合S₂。实现在时间维度上筛选系统显著的变化。

基于最小时长τ的定义，C中每个持续时间小于τ的簇都应当被合并到相邻的簇中。与向量C的定义类似，设向量D是本步骤最终得到的簇中心的时间序号，D:＝[d₁,d₂,…,d_p]，共p个簇。

S6,根据最小偏离Δ限制在变量维度上对数据集合S₂进行二次聚类,使簇中心两两间距大于预设值。实现在变量维度上筛选系统显著的变化。

在变量维度上筛选阶段。向量D包含的簇中心组成数据集合S₂:＝[X₁(t),X₂(t),…,X_n(t)]，t∈D。基于最小偏离Δ的定义和DPC方法中参数选择方法，对S₂聚类得到的簇中心两两间距应大于Δ，即

[U,E]＝DPC(S₂,δ＞Δ)。

其中向量E:＝[e₁,e₂,…,e_q]为新得到的簇中心的时间序号，向量U:＝[u₁,u₂,…,u_p]，u_j∈[1,q]，j＝1,2,…,p是一个查找表，指定了D中每个簇中心在本次聚类中隶属的簇编号(1～q)，Δ最小偏离，为簇中心间距预设下限。

S7,计算簇中心变化方向，将簇中心方向变化与变化方向组合关系矩阵R进行对比,以识别异常数据段。对比先验规则识别异常数据段。

向量D中的簇满足严格的时间先后顺序，且两两时间间隔大于τ。据步骤6的聚类结果，计算得到变化方向。对于向量D中的两个簇中心x(d_j)和x(d_j+1)，从簇中心x(d_j)到簇中心x(d_j+1)的变化方向为：

u_j是查找表U中的第j项，表示S2点集中第j个点所属的簇编号。是取向量E的第u_j项。由于E表示各个簇的簇中心的时间序号，因而是S2点集中第j个点所属的簇的簇中心的时间序号。这个值放入x()中，将会得到该时间点的幅值。同理，是S2点集中第j+1个点所属的簇的簇中心的时间序号。

将此向量与R矩阵的每一行进行对比，凡是冲突的均标记为异常数据段，符合的即为正常数据段。

以下通过对比现有技术中几种方法与本发明所述方法，来阐述本发明相对于现有技术可以取得的有益效果。

信号1：考虑正常状态是低水平的平稳状态的单变量系统。若干独立的脉冲表明系统瞬时切换到高水平状态。且这些高水平状态幅值彼此接近，隶属于同一状态。

r(t)～N(0,1)

r(t)是满足均值为0，标准差为1的正态分布的白噪声序列；当某时刻r(t)大于阈值r0时，x1(t)满足第一个正态分布，均值为μ1，标准差为σ1；否则x1(t)满足第二个正态分布，均值为μ2，标准差为σ2。

定义脉冲为异常状态，即正常/异常序列应为：

当r(t)大于阈值r0时，序列a1(t)取0，表示正常；当r(t)小于等于阈值r0时，序列a1(t)取1，表示异常。

信号2：考虑一个包含先后三个平稳状态的单变量系统。前两个平稳状态具有相同的噪声强度，而第三个平稳状态的噪声强度超过前两个平稳状态的幅值均值之差。

σ₂≥|μ₂-μ₁|

x2(t)序列分为三段：在t1之前为第一阶段，x2(t)满足均值为μ1，标准差为σ1的正态分布；t1到t2之间为第二阶段，x2(t)满足均值为μ2，标准差为σ1的正态分布；t2到t3之间为第三阶段，x2(t)满足均值为μ3，标准差为σ2的正态分布。其中σ2大于μ1和μ2的差值。

定义从第一个平稳状态切换到第二个平稳状态为异常，即正常/异常序列应为：

a₂(t)取0为正常，取1为异常，只有t1时刻a₂(t)取为1，其他时刻均为0。

附表1是信号和各个方法的关键参数设定表。A为滑动窗方法，B为自上而下方法，C为自下而上方法，D为本发明所述方法。

对于每个信号都设置了3种噪声强度。在每种噪声强度下，各个方法都选取了5种参数组合。每个参数组合测试都使用了1000次循环的蒙特卡洛测试方法。其中，三类数据分段方法的参数均采用相同的最大误差，本方法的参数为簇数量。附图1第一列是信号1的原始信号时间序列图及各个方法的滤波结果；可以看到前三种方法都在原始信号约为0的部分使用了一些斜线段近似，这无法解释原始信号在0附近保持平稳的阶段，而DPC方法即本方法没有斜线段，可以解释。附图1第二列是信号2的原始时间序列及各个方法的滤波结果，可以看到前三种方法对信号的第三阶段的噪声无法过滤，而本方法将信号的第三阶段近似为水平直线，效果优于其他方法。附图2第一行是信号1中各方法的耗时对比，各列为不同噪声水平的结果。每个子图中各个方法均使用了五种不同的参数设置。可以看到，自上而下方法的耗时是最高的，滑动窗方法的耗时最低，且本方法耗时仅次于滑动窗方法。附图2第二行是信号2中各方法的耗时对比。附图3与附图2类似，是各方法的误报次数对比。可以看到本方法的误报次数始终是最低的。可以看到，在保持较高计算速度的同时，本方法的误报率是最低。因此相较于传统方法，对于识别系统所处阶段和变化趋势，本方法具有很大优势。

下面以一个具体实施例来对本发明进一步阐述。

附图4是一个正常状态下发电单元的六变量系统X:＝[X₁,X₂,…,X₆]的时间序列图。六变量分别是电力输出X₁、给煤量X₂、主蒸汽压力X₃、主蒸汽流量X₄、给水量X₅和进风量X₆。正常状态下受物理规律控制，变量间变动关系满足变化方向组合关系矩阵R

以变量X₃和变量X₆为例，作二者标准化后的散点图见附图5，附图6是此两变量在步骤6中的聚类结果。附图7是对六变量系统应用本方法得出的正常/异常序列图。由图可知，该段序列中无异常，与预期相符。

附图8是异常状态下该系统的时间序列图。以变量X₃和变量X₆为例，作二者标准化后的散点图见附图9。由于二者在正常状态下应维持同增同减的关系，因此散点图的Z字形折回部分存在异常。此两变量在步骤6中的聚类结果划分如附图10。Z字形中部由簇6、7和8完整描述。附图11是对六变量系统应用本方法得出的正常/异常序列图，显示在后期发生了异常，与预期相符。

如图13所示，本发明实施例提供一种多变量报警系统的正常异常数据划分系统，包括:

限制条件确定模块，用于选取判断信号是否存在变化的最小时长τ和最小偏离Δ,构建正常状态下各变量的变化方向组合关系矩阵R；

标准化模块，用于对采集数据中各变量的时间序列进行标准化，得到标准化矩阵X；

时间维度加入模块，用于在标准化数据矩阵X中加入将时间维度T₀，得到带有时间维度的标准化矩阵S₁；

第一聚类模块，用于对带有时间维度的标准化矩阵S₁进行一次聚类,得到预设数量的簇中心；

簇合并模块，用于根据最小时长τ限制合并相邻簇,将合并后的簇中心组成数据集合S₂；

第二聚类模块，用于根据最小偏离Δ限制在变量维度上对数据集合S₂进行二次聚类,使簇中心两两间距大于预设值；

异常识别模块，用于计算簇中心变化方向，将簇中心方向变化与变化方向组合关系矩阵R进行对比,以识别异常数据段。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多变量报警系统的正常异常数据划分方法，其特征在于，包括如下步骤:

S1,选取用于判断信号是否存在变化的最小时长τ和最小偏离Δ,构建正常状态下各变量的变化方向组合关系矩阵R；

S2,对采集数据中各变量的时间序列进行标准化，得到标准化矩阵X；

S3,在标准化数据矩阵X中加入将时间维度T₀，得到带有时间维度的标准化矩阵S₁；

S4,对带有时间维度的标准化矩阵S₁进行一次聚类,得到预设数量的簇中心；

S5,根据最小时长τ的限制合并相邻簇,将合并后的簇中心组成数据集合S₂；

S6,根据最小偏离Δ的限制在变量维度上对数据集合S₂进行二次聚类,使簇中心两两间距大于预设值；

S7,计算簇中心变化方向，将簇中心方向变化与变化方向组合关系矩阵R进行对比,以识别异常数据段。

2.根据权利要求1所述一种多变量报警系统的正常异常数据划分方法，其特征在于，步骤S1中变化方向组合关系矩阵R为:

其中[X_i]为变量X_i在t时刻的变化方向，定义为:

[X_i]_t→t+Δt＝sign(x_i(t+Δt)-x_i(t))；

其中X表示变量，x表示变量的时间序列，i表示第i个变量，n表示变量个数，r表示变量间满足的变化方向的组合总数量，t表示取t时刻的变量幅值，Δt表示时间增量；

符号函数

矩阵R的每一行都表示某种情况下的变量间应满足的变化方向组合情况。

3.根据权利要求1所述一种多变量报警系统的正常异常数据划分方法，其特征在于，步骤S2中对采集数据中各变量的时间序列进行标准化,具体标准化为零均值和单位方差。

4.根据权利要求3所述一种多变量报警系统的正常异常数据划分方法，其特征在于，步骤S3中在标准化数据矩阵X中加入将时间维度T₀，T₀:＝t₀[1,2,…,N]^T，得到带有时间维度的标准化矩阵S₁，

S₁:＝[T₀,X]＝[T₀,X₁,X₂,…,X_n]，

其中t₀是时间权重因子。

5.根据权利要求4所述一种多变量报警系统的正常异常数据划分方法，其特征在于，S4的具体实现包括：

利用DPC聚类方法对带有时间维度的标准化矩阵S₁进行一次聚类，选取m个簇中心，具体聚类公式如下：

[K,C]＝DPC(S₁,m)，

其中向量K:＝[k₁,k₂,…,k_N]是一个查找表，指定了每个数据点所属的簇编号，所述簇编号包括1、2、3…m，其中k_t∈[1,m]，t＝1,2,…,N；向量C:＝[c₁,c₂,…,c_m]为各簇中心的时间序号。

6.根据权利要求5所述一种多变量报警系统的正常异常数据划分方法，其特征在于，S5的具体实现包括：将持续时间小于τ的簇合并到相邻的簇中，设向量D是簇中心的时间序号，D:＝[d₁,d₂,…,d_p]，共p个合并的簇。

7.根据权利要求6所述一种多变量报警系统的正常异常数据划分方法，其特征在于，S6的具体实现包括：

将向量D包含的簇中心组成数据集合S₂:＝[X₁(t),X₂(t),…,X_n(t)]，t∈D；

基于最小偏离Δ和DPC聚类算法中参数选择方法，对S₂聚类得到的簇中心两两间距应大于Δ，即

[U,E]＝DPC(S₂,δ＞Δ)；

其中向量E:＝[e₁,e₂,…,e_q]为新得到的簇中心的时间序号，向量U:＝[u₁,u₂,…,u_p]是一个查找表，指定了D中每个簇中心在本次聚类中隶属的簇编号，所述簇编号包括1、2、3…q，其中u_j∈[1,q]，j＝1,2,…,p；Δ为最小偏离，为簇中心间距预设下限。

8.根据权利要求7所述一种多变量报警系统的正常异常数据划分方法，其特征在于，S7中的具体实现包括：根据S6的聚类结果计算得到各簇中心的变化方向，将簇中心的变化方向与变化方向组合关系矩阵R的每一行进行对比，存在冲突的标记为异常数据段，符合的即为正常数据段。

9.根据权利要求8所述一种多变量报警系统的正常异常数据划分方法，其特征在于，两个簇中心x(d_j)和x(d_j+1)，从簇中心x(d_j)到簇中心x(d_j+1)的变化方向为：

<mrow> <msub> <mrow> <mo>&amp;lsqb;</mo> <mi>X</mi> <mo>&amp;rsqb;</mo> </mrow> <mrow> <msub> <mi>d</mi> <mi>j</mi> </msub> <mo>&amp;RightArrow;</mo> <msub> <mi>d</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> </mrow> </msub> <mo>=</mo> <mi>s</mi> <mi>i</mi> <mi>g</mi> <mi>n</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>(</mo> <msub> <mi>e</mi> <msub> <mi>u</mi> <mrow> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> </msub> <mo>)</mo> <mo>-</mo> <mi>x</mi> <mo>(</mo> <msub> <mi>e</mi> <msub> <mi>u</mi> <mi>j</mi> </msub> </msub> <mo>)</mo> <mo>)</mo> </mrow> <mo>.</mo> </mrow>

10.一种多变量报警系统的正常异常数据划分系统，其特征在于，包括:

限制条件确定模块，用于选取判断信号是否存在变化的最小时长τ和最小偏离Δ,构建正常状态下各变量的变化方向组合关系矩阵R；

标准化模块，用于对采集数据中各变量的时间序列进行标准化，得到标准化矩阵X；

时间维度加入模块，用于在标准化数据矩阵X中加入将时间维度T₀，得到带有时间维度的标准化矩阵S₁；

第一聚类模块，用于对带有时间维度的标准化矩阵S₁进行一次聚类,得到预设数量的簇中心；

簇合并模块，用于根据最小时长τ限制合并相邻簇,将合并后的簇中心组成数据集合S₂；

第二聚类模块，用于根据最小偏离Δ限制在变量维度上对数据集合S₂进行二次聚类,使簇中心两两间距大于预设值；

异常识别模块，用于计算簇中心变化方向，将簇中心方向变化与变化方向组合关系矩阵R进行对比,以识别异常数据段。