CN113312809B

CN113312809B - 一种基于相关团划分的航天器遥测数据多参数异常检测方法

Info

Publication number: CN113312809B
Application number: CN202110369830.1A
Authority: CN
Inventors: 唐荻音; 樊艳春; 于劲松; 张力文; 周倜; 唐卿
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2021-04-06
Filing date: 2021-04-06
Publication date: 2022-12-13
Anticipated expiration: 2041-04-06
Also published as: CN113312809A

Abstract

一种基于相关团划分的重构偏差多参数异常检测方法。针对航天器遥测数据量大、维度高、数据相关程度高的特点，使用最大互信息系数计算各参数之间的相关程度，形成相关系数矩阵，将其转化为可视化的有权无向图结构，建立相关图。但此时相关图相当复杂，因此提出了相关团划分的方法，利用相关团剪枝算法划分相关团，筛选出具备高度相关性的参数，并将其作为多参数异常检测模型的先验知识。之后，针对单参数异常检测算法难以处理高维遥测数据异常检测的问题，基于相关团划分，对高维遥测数据进行降维处理和特征提取，使用自动编码器作为基本模型，设计了自适应确定阈值的算法和基于重构偏差的异常检测算法，进行多参数异常检测，提出异常序列定位方法，实现多参数异常情况下的精准定位。

Description

一种基于相关团划分的航天器遥测数据多参数异常检测方法

技术领域

本发明涉及一种异常检测方法，尤其涉及一种基于航天数据复杂关联关系挖掘的多参数异常检测方法。

背景技术

航天器作为典型的高精度大型复杂系统，包含的各个分系统之间、各部件之间都存在着物理、数据、逻辑性的关联。与此同时，航天器的部件受到工作指令和运行环境的影响，会存在着某种相关关系。并且，航天器的各个分系统之间，以及分系统内各部件之间存在着极高的耦合性。采用数据挖掘的方法，挖掘遥测数据中隐藏的关联知识，建立数据关联关系模型。该模型可以作为后续异常检测建模的先验知识，实现对遥测参数的初步筛选和无关变量过滤。

航天器遥测参数具有超高维时间序列的特点，针对多参数进行异常检测相比于单参数异常检测问题更加困难。除了航天器上布置了大量的星上传感器外，一些关键的遥测参数还使用了冗余方案设计，这导致了遥测数据的维度呈膨胀式发展。因此，如果要实现多参数的异常检测，往往需要先对海量遥测数据进行降维处理、特征提取等操作，才能保证后续建立异常检测模型的有效性。

发明内容

本发明的目的在于提供一种针对航天器海量遥测数据异常的检测方法，反映航天器的在轨运行状态，提前预防重要故障的发生。

该方法针对航天器海量遥测数据具备的相关性特点和高维数据特点展开。航天器遥测数据的相关关系主要有两种，第一种为单参数遥测数据自身的相关关系，例如，由于周期性运行引起某些参数的周期性变化、由于定时操作引起某些参数的趋势性变化等。第二种为两个遥测参数之间的互相关关系，例如正相关、负相关等。与此同时，航天器遥测参数具有超高维时间序列的特点，针对多参数进行异常检测，需要对海量要测数据进行降维处理、特征提取等操作，才能保证后续建立异常检测模型的有效性。

本方法研究航天器遥测数据中各遥测参数之间的互相关关系和高维数据特点，首先提出了基于相关团划分的关联关系建模方法，选择相关系数进行各参数之间相关程度的计算，形成相关矩阵，建立相关图。其次，提出了相关团划分方法，利用剪枝算法划分相关团，筛选具高度相关性的参数，达到数据降维和特征提取的目的。最后，基于相关团划分，使用自动编码器作为基本模型，提出异常序列定位方法，设计了一种重构偏差的多参数异常检测方法，具体流程如图1所示。

附图说明

图1为该基于相关团划分的重构偏差多参数异常检测方法的流程图。

表1为根据最大互信息系数计算的相关系数矩阵结构示意图。

图2为表示各遥测数据相关关系的相关图。

图3为相关团剪枝算法的示意图。

图4为划分后的相关团示意图。

图5为自动编码器结构示意图。

具体实施步骤

步骤一：选取相关性指标。最大互信息系数源于信息论，主要的原理是基于网格划分：如果两个变量存在某种相关关系。那么这两个变量的散点图上一定存在某种划分方式可以将二者的相关关系逼近出来。由于最大互信息系数(Maximal InformationCoefficient简称MIC)既可以表示非线性函数关系，也可以描述一般的非线性映射，故采用MIC进行遥测参数之间的相关程度计算，进而方便对遥测参数之间的非线性复杂相关关系进行相关程度的度量。具体原理如下：

定义1：某种划分方式下的最大信息系数为I(D，u，v)。选择一对二维数据集 D(X，Y)，在X，Y方向上对D(X，Y)进行u、v划分。将该特定划分下的网格定义为W，定义D在W划分下的概率分布为D|_W、互信息量为I(D|_W)，此种特定划分下的最大信息系数为：

I(D，u，v)＝maxI(D|_W)

式中，maxI(D|_W)意为，将D(X，Y)进行u、v划分有多种划分方式，每一种方式对应着一种互信息量的值，I(D，u，v)为其中最大的值。I(D|_W)计算方法如下：

式中，p(u，v)为联合概率密度，p(u)、p(v)为边缘概率密度。由大数定律可知，当数据样本足够多时，p(u，v)可用划分后网格中的数据样本数量比例来估计， p(u)、p(v)可以分别用划分后入(d，d+1)和(e，e+1)网格中的数据样本数量比例来估计，其中d∈[0，u-1]，e∈[0，v-1]。

定义2：特征矩阵F(D)。F(D)_u，v定义为在u，v段网格划分下，最大信息系数的归一化处理：

定义3：最大互信息系数MIC(D)。设D的样本容量为n，那么：

MIC(D)＝max_uv≤G(n){F(D)_u，v}

式中，G(n)为网格划分数量的最大限度，G(n)将特征矩阵F(D)限定为有限维矩阵，推荐取值为n^0.6。

步骤二：构建相关系数矩阵。通过不断遍历不同网格划分的方法下的互信息的大小，寻找能使得互信息最大的网格划分方法，即，在已知其中一个变量的情况下使得另一个变量的信息最小化的网格划分方法。为防止穷举切割方法，本方法采用的是minepy开源包中的MINE算法实现最小互信息的网格划分，其内部算法包括了一个能够有效减少算法复杂度的动态规划算法，使得算法复杂度从 O(n^2.4)下降到O(n^1.6)。

对M维遥测参数计算MIC相关系数，将获得如表1所示的相关系数矩阵。相关系数矩阵具有如下特征：

①对角线元素为1.00；

②矩阵的列名与行名均为遥测参数各维度数据名；

③相关系数矩阵为对称矩阵，除去对角线上的固定数值，共需要计算

个参数组间的相关系数；

④矩阵中每个元素取值范围为[-1，1]，当取值在(0，1]时，序列两两正相关；当取值在[-1，0)时，序列两两负相关。

步骤三：建立相关图。相关图是以各遥测数据的序列名作为结点、以相关关系作为边、以相关系数作为边权值的用于表征多维遥测序列相关关系的无向图。为减少需要进行异常检测的相关系数数量，需要对相关系数矩阵中的元素通过门限滤除不相关的相关关系，仅对超出阈值的相关系数建立边，并将对应的相关系数的绝对值设置为相关图中的边权值。形成的相关图用G_r表示，使用仿真数据集进行算法验证，图2中结点与边的位置使用Kamada Kawai布局生成，该布局利用边权值调节结点间的位置关系，使得相关程度高的结点的位置更为接近。

步骤四：划分相关团。观察图2，易发现其相关关系非常复杂，与数据实际含义不匹配，考虑是其中包含一些弱相关关系。其拓扑结构可以通过切割的方法将其变换为两个互不联通的子图，故采用划分子图的方式形成相关团C_i。一般来说，一个复杂的相关图的联通子图都能够被切割为若干各相关团，其中相关团需满足如下条件：

①互斥性，一个序列不能同时归属于两个不同的相关团；

②一个相关团中仅包含一个连通子图，即不允许多个相关团存在于一个相关团中；

③所有相关团内包含的结点的和为相关图中所有结点；

④单点可以是一个相关团；

⑤相关团内点总数为N，则团内每个点的度都应该大于等于

即

按照上述标准编写算法，将相关图划分为相关团，具体步骤如下：

1)将相关图G_r中的所有结点放入数组NodesToAggregate中，代表尚未形成团的结点；

2)若NodesToAggregate为空，所有结点均已划分完毕，相关团划分算法结束，返回相关团划分结果C。

3)将使用数组visit标记G_r中结点是否被遍历，初始化将visit内所有结点标记为未遍历；

4)初始化集合C_unpruned为空，用于存储未经过剪枝操作的相关团；

5)分别以NodesToAggregate数组中的结点为源结点，进行广度优先遍历所有的visit标记为未遍历的结点，在遍历过程中同时将已经遍历到的结点在visit中标记为已经遍历，遍历的结果以待剪枝团的形式及所有己被遍历到的点以单点的形式存入C_unpruned中。

6)清空NodesToAggregate；

7)对C_unpruned中的所有待剪枝的相关团进行剪枝，将剪枝操作获取的相关团存入最终划分结果C中，将剪枝获取的散点存入NodesToAggregate；

8)转到步骤2)进行下一轮的相关团划分。

对于一个给定的待剪枝的相关团，按照相关团条件中的④和贪心算法进行剪枝操作，寻找当前相关团中最小的结点，判定其是否小于团内结点数的一半，若小于则将其从剪枝放入散点数组中，循环直到团内所有结点均满足相关团条件④。

剪枝操作的算法流程如下：

1)用S代表剪枝操作剪下的散点，初始化为空；

2)用C_i代表剪枝后的相关团，初始化为C_unpruned中的一个未剪枝的相关团；

3)获取C_i中最小度的结点n_mind；

4)若n_mind的度小于当前C_i中的结点数目，则从C_i中删除n_mind，并将其加入散点集S，返回步骤3)；否则结束算法，返回当前的C_i与S。

相关团剪枝算法结果如图3所示，可以发现该方法能够形成单个相关团，但无法提取出所有相关团，故需要将未得到团划分的散点重新构造未剪枝的相关团，不断使用剪枝直到所有团划分完成。

如图4是从图2相关图中划分出的某个相关团，可以看出相关团划分算法能够简化复杂结构的相关图，使其变为相关结构简单、可解释性更强的若干相关团，为后续的多参数异常检测算法提供先验知识。将相关团划分筛选出的相关序列集合作为多参数的输入，通过选择参数的方式来降低模型输入的时间序列维度，提升模型训练的时效性。

步骤五：建立重构模型。对于针对遥感参数的长时间序列，使用LSTM构成自编码器(Autoencoder)，其结构如图5所示。

模型输入数据为来自同一实体(构成多维时间序列的部件)的多维时间序列，令维度表示为k。k维的时间序列可以表示为向量T＝<S₁，S₂，...，S_C>，其中，

是k维向量，描述了一个实体在时刻t_i的状态，1≤i≤C，每个维度对应一个特征。每两个连续点之间的时间间隔通常一致。

给定时间序列T，目标是求出S_i的异常分数，异常分数越高越可能是异常点。根据向量的异常值，在时间序列中对向量进行排序，将前α％(例如5％)的向量视为异常值。

自动编码器由编码器和解码器两部分构成。通过输出

来重构输入X＝(x₁，x₂，...，x_m)。

编码器将m维输入向量X映射为中间向量n维F，解码器将F映射到期望近似于输入X的输出向量

通常m≠n，m＞n。

形式上编码器和解码器可以定义为：

编码器的目标为，确定适当的函数φ和ψ，使输入向量X和输出向量

之间的差异最小化，即求解

其中，

本方法使用LSTM来构造自编码器，结构如下：

在编码阶段，LSTM神经网络将输入向量X映射为F：

F＝σ₁(W₁X+B₁)

其中，

为权重矩阵，

为偏移量；σ₁为激活函数ReLU或sigmod 函数；

n＜m。

在解码阶段，LSTM神经网络将F映射到

目的是通过以下函数重建X：

为了测量重建的

是否与原始输入向量X相似，使用下式L₂距离，计算X和

之间的重建误差。

因此，构造自编码器的目标转化为利用梯度下降和反向传播算法学习适当的权重矩阵W₁和W₂以及偏移量B₁和B₂，使得

最小化。

步骤六：自适应确定阈值。由于遥测参数特性不同，异常阈值也不同，本方法提出一种自适应确定阈值的方法，实现异常阈值的自动选取。

设

经过一段数据的积累可以得到一组误差序列：

其中，h是历史误差值的数量，也叫做历史误差窗口。对e进行指数平滑(EWMA)， t时刻的平滑误差值以及平滑后的误差序列为：

在累计出一组窗口的平滑后的误差序列后，计算该窗口下的最佳误差阈值ε，然后以步长为i，窗口长度为w进行滑动，计算新窗口内的最佳阈值，达到自适应调整的目的，更加适合实时性的异常检测。

动态阈值ε从以下集合中选出：

ε＝μ(e_s)+zσ(e_s)

其中，μ(e_s)为平滑后误差的均值，σ(e_s)为平滑后误差的标准差，e_s为若干e_s的集合；z为若干正数组成的集合，根据工程经验，集合内值应在2～10之间，在实际运用中使用2.5到5以0.5为步长进行遍历。为求取集合z中最佳值求出对应的阈值，使用以下函数对阈值进行评估：

Δμ(e_s)＝μ(e_s)-μ({e_s∈e_s|e_s＜ε})

Δσ(e_s)＝σ(e_s)-σ({e_s∈e_s|e_s＜ε})

e_a＝{e_a∈e_s|e_s＞ε}

其中，E_seq为e_a的连续序列，遍历z取值选取ε使得f(ε)最大即为动态选定的阈值ε。式中分母部分随着异常数目增加而增大，分母随着异常数目减少而减少，相互制约，以此原理得到最佳阈值。即：

ε＝argmaxf(ε)，ε∈ε

计算出动态阈值后，每个平滑后的误差序列都会得到一个异常分数s，用来表示异常的严重程度。

步骤七：异常序列定位。计算各个次矩阵之间的欧几里得距离，得到单个遥测时间序列的重构误差，将重构误差进行排序，形成从大到小的误差序列。为定位异常提供排查思路。

输入矩阵为：

式中，每一列为单独的遥测参量，每一行为同一时刻相关的多维遥测参量，算法会自动计算每个时刻整体的重构误差，用以判断多维遥测参数的异常。

将输入矩阵分解为次矩阵：

输出次矩阵为：

计算输入输出之间次矩阵的欧几里得距离，得到：

最后将集合中的数值进行排序，输出排名及遥测变量名。

步骤八：设计算法实现。基于自编码器建立重构模型，并且利用动态阈值进行异常检测的算法流程如下所示。

其中，

θ为训练参数，

表示与

相关的映射关系，g_θ表示与θ相关的映射关系。

Claims

1.一种基于相关团划分的航天器遥测数据多参数异常检测方法，包括下列步骤：

首先，使用最大互信息系数计算各参数之间的相关程度，形成相关系数矩阵，将其转化为可视化的有权无向图结构，建立相关图；具体包括如下步骤：

步骤一：选取相关性指标；采用所述最大互信息系数进行遥测参数之间的相关程度计算；

步骤二：构建相关系数矩阵；采用minepy开源包中的MINE算法实现最小互信息的网格划分，对M维遥测参数计算最大互信息系数相关系数，获得相关系数矩阵；

步骤三：建立相关图；对所述相关系数矩阵中的元素通过门限滤除不相关的相关关系，仅对超出阈值的相关系数建立边，并将对应的相关系数的绝对值设置为相关图中边权值；

其次，采用相关团划分的方法，利用剪枝算法划分相关团，筛选具有高度相关性的参数，使复杂的相关图变为相关结构简单、可解释性更强的若干相关团，达到数据降维和特征提取的目的；

将相关图划分为相关团，具体步骤如下：

2)若NodesToAggregate为空，所有结点均已划分完毕，相关团划分算法结束，返回相关团划分结果C；

5)分别以NodesToAggregate数组中的结点为源结点，进行广度优先遍历所有的visit标记为未遍历的结点，在遍历过程中同时将已经遍历到的结点在visit中标记为已经遍历，遍历的结果以待剪枝团的形式及所有已被遍历到的点以单点的形式存入C_unpruned中；

6)清空NodesToAggregate；

8)转到步骤2)进行下一轮的相关团划分；

所述剪枝算法的算法流程如下：

(1)用S代表剪枝操作剪下的散点，初始化为空；

(2)用C_i代表剪枝后的相关团，初始化为C_unpruned中的一个未剪枝的相关团；

(3)获取C_i中最小度的结点n_mind；

(4)若n_mind的度小于当前C_i中的结点数目，则从C_i中删除n_mind，并将其加入散点集S，返回步骤(3)；否则结束算法，返回当前的C_i与S；

最后，使用自动编码器作为基本模型，利用异常序列定位方法，设计了基于重构偏差的异常检测算法，实现多参数异常情况下的精准定位。

2.根据权利要求1所述的基于相关团划分的航天器遥测数据多参数异常检测方法，其特征在于：针对航天器海量遥测数据，使用最大互信息系数分析各参数关联关系，从而建立相关图。

3.根据权利要求1所述的基于相关团划分的航天器遥测数据多参数异常检测方法，其特征在于：采用相关团划分的方法，设计相关特征的提取算法，将划分的相关参数分成单维或者多维的检测组，达到降维的目的。

4.根据权利要求1所述的基于相关团划分的航天器遥测数据多参数异常检测方法，其特征在于：设计自适应确定阈值算法，达到动态调整异常阈值的目的。

5.根据权利要求1所述的基于相关团划分的航天器遥测数据多参数异常检测方法，其特征在于：设计异常序列定位算法，将子序列按照异常程度排序，实现多参数异常情况下的定位。