CN113111096B - 一种面向发电设备高维时序工况数据的异常检测方法 - Google Patents

Abstract

本发明公开了一种面向发电设备高维时序工况数据的异常检测方法，首先利用包括四分位差法的数据清洗方法去除差异化大的利群点；再通过特征构架器和统计学来构建相应数据特征，最后通过深度学习中的自编码器方法来重建数据特征；将重建数据特征和基于onehot的设备工作状态的场景信息级联融合；经深度学习全连接层推理生成重建数据，将原始数据特征和重建数据特征进行阈值判断，从而判断出是否存在异常。本发明在实现过程中，减少了高维数据的复杂运算以及明显提高了对传感器故障等数据异常的检测效果，同时简单实用，无过多经验阈值判断，并且可实现多种传感器的故障数据异常检测具备通用性，其中无高维矩阵运算，计算量小，检测精度高。

Description

一种面向发电设备高维时序工况数据的异常检测方法

技术领域

本发明涉及智慧电厂发电设备领域，尤其是针对锅炉设备中磨煤机传感器设备的采集数据，具体是一种面向发电设备高维时序工况数据的异常检测方法。

背景技术

在当今大数据智慧化时代下，智慧电厂就是在数字化电厂的基础之上，利用互联网、物联网、人工智能、大数据分析等信息化、虚拟现实等技术，对电厂系统和数据进行深入挖掘，最终达到智能化生产运营。而其中智慧电厂最根本的就是需要从发电设备上的传感器读取大量数据。传感器设备采集并积累了大量发电设备的时间序列数据,这些数据具有模式多样、工况多变的特性,并且由于设备通讯中断等种种情况导致该数据具有相当数量的异常，如果进行直接分析会给后续的故障诊断等应用带来巨大的麻烦。因此加入异常检测，去除异常数据，保障后续数据应用的正确性是有重大意义的。

目前针对大数据的异常检测的方法主要包括：基于统计学、基于机器学习和基于相关性。其中：1)基于统计学的检测，是最直观也最容易的方法，通常来说：假设原数据服从某个分布(如高斯分布)，然后计算μ和再计算/>的区间，最后落在区间之外的数据点就被认为是异常值。高斯分布概率密度函数公式如下所示：

其思想是落在尾部分布的数据概率很小，几乎不可能出现；一旦出现了就认为该数据是异常的，实际应用中更多的是使用混合分布。2)基于机器学习或深度学习的数据异常检测，是把异常检测看成是数据不平衡下的分类问题，即通过找出与正常数据集差异较大的离群点。把离群点作为异常点的方式，一般来说，异常数据的样本量都是少量甚至不存在异常数据样本，所以采用的机器学习都是半监督或者无监督异常检测模型。3)基于相关性的异常检测，是基于序列相关性分析的异常检测方法。该方法是对数据进行相关性计算得到相关性矩阵,提取量化的相关关系；根据相关性矩阵建立了相应的数据模型,通过数学模型进行时序上的单维异常检测。

如果有充分的数据和检验类型的先验知识，基于统计学的方法对单个属性的离群点检测可能非常有效。但对于多元数据，可用的模型较少，且对于高维数据，检验的性能可能很差。基于机器学习的异常检测在模型训练以及在线推理的时候都会遇到问题，首先在模型训练时针对有监督训练需要足够的样本而实际异常样本量不足，只能采用弱监督或者无监督训练；而无监督训练在针对一次识别一个异常的技术常常遇到屏蔽的问题，即如果有一场成群结对出现，可能会被无监督算法等视为正常的一簇点。一次检测多个异常的技术可能陷入泥潭，即把一堆正常的点判为利群点。

发明内容

本发明目的在于解决在发电锅炉中高维时序数据的异常问题，提供了一种面向发电设备高维时序工况数据的异常检测方法，主要应用于发电设备中具有时序性的大数据的异常检测，减少异常数据对决策的影响。本发明相较于传统的数据异常检测方法，具有检测精度高、检测快速等特点，还具备检测传感器通讯等故障引发的数据异常的能力。

本发明的技术内容如下：

一种面向发电设备高维时序工况数据的异常检测方法，其特征在于步骤如下：

(1)获取原始数据；所述原始数据维度为m*n的二维矩阵，其中m代表周期数，n代表特征数即传感器数量，原始数据物理含义就是m个连续周期下n维特征的特征值，通常情况下m>>10000，n>10。

(2)对获取的原始数据进行清洗转换，将所有的数据转换为float类型数据，清除异常情况，所述的异常情况包括格式错误、多值错误和数据类型错误等。

(3)对清洗转换后的数据进行缺失值的检测，并进行删除操作；所述删除操作是直接删除含有缺失值的特征，即删除该周期特征行。

(4)针对每个特征列，分别利用四分位差法去除离群点，去除离群点后的数据为X＝{x₁,x₂,x₃…x_p}，数据X的维度为p和n。此处n依然代表特征数即传感器数量；p≤m，因为四分位差法会删除m维中的部分维度数据。

(5)对去除离群点后的数据进行基于深度神经网络的异常值检测，得到检测结果。

通过上述步骤(1)-(5)从而完成了数据的异常检测工作。

上述步骤(4)中，是针对每一列数据进行单独的四分位差法操作，四分位差法中k值取最大，其中k值代表异常阈值(一般k取值范围为1.5～3)，确保不会删除过多数据造成数据集的特征缺失。其中四分位差法的理论是首先计算出第一四分位数(Q1)、中位数、第三四分位数(Q3)；中位数就是将一组数字按从小到大的顺序排序后，处于中间位置(也就是50％位置)的数字。同理，第一四分位数、第三四分位数是按从小到大的顺序排序后，处于25％、75％的数字。在四分位差法中正常值的定义就是[Q1-k*(Q3-Q1),Q3+k*(Q3-Q1)]，除此之外都是异常值。需要注意的是，该操作中先对每一列数据单独进行四分位差法计算除离群点的t个集合，再将这t个集合进行合并，去除重复元素，再对离群点所在的行进行删除。

步骤(5)中所述的基于深度神经网络的异常值检测，具体步骤如下所示：

①针对去除离群点后的数据X，以s为滑动窗口尺寸，s/2为步长，基于欧式距离计算其NOR和DON特征：

DON^j(wd_i)＝norm(wd_i)-nirm(wd_i-1) (2)

其中，norm是矩阵的范数，i代表第i个滑动窗口，j代表第i个滑动窗口中的第j个特征；

滑动窗口内的变量为wd_i，如公式3所示

wd_i＝{x_i,x_i+1,x_i+2…x_i+s-1} (3)

进一步，得到特征数据Q＝{Q₁,Q₂…Q_z}，其中Q_i∈R^2*n，

②计算特征数据Q的八个统计特征，包括均值(MEA)、最小值(MIN)、最大值(MAX)、第一四分位数(25Q)、中位数(50Q)、第三四分位数(75Q)、标准差(STD)和峰峰值(P2P)，得到一个新的统计特征集合R；以L为滑动窗口尺寸，L/2为步长计算所述统计特征集合R：R＝{R₁,R₂…R_y}；

其中，R_i∈R^16*n，R_i代表第i个滑动窗口的特征集合，y代表对统计特征集合R进行滑动窗口后的统计特征集合R的维度；L取值范围一般为2～5；

③基于CNN网络的自动编码器(CNN-AE)，搭建自编码和解码网络，该网络主要用于重建特征向量。

上式中，W^v和B^v分别代表第v个卷积滤波器的权重参数和偏置参数，σ代表激活函数，一般采用sigmoid。同理代表第v个卷积滤波器的权重参数和偏置参数。/>和R_h具有同样的维度，其中R_h代表输入，即步骤③的统计特征集合数据R＝{R₁,R₂…R_y}；/>代表经过CNN网络自动编码器生成的重建统计特征集合数据。/>代表激活函数的输出。

④获得场景信息中的状态onehot，与矩阵W叉乘获取场景信息特征embed(M)：

embed(M)＝onehot(M)×W (6)

式(6)中onehot(M)∈R^1×a，a代表了工作状态种类的总数；W∈R^a×d，d一般小于a。

所述场景信息是指设备的工作状态，如设备正常运行状态、警戒状态、紧急状态、系统崩溃、状态恢复、满负荷运载状态等等。

⑤将场景信息特征embed(M)和步骤③中计算所得特征图组合在一起，通过级联重组成一个新的矩阵RM。将RM矩阵经过全连接层推理生成一个和原始数据X维度一致的

⑥针对去除离群点后的数据X＝{x₁,x₂,x₃…x_p}和重构后的数据进行对比，若对应的数据/>则认为i时刻的数据存在异常。threshold1为相应的阈值。

本发明的有益效果如下：

本发明面向发电设备中高维时序数据的异常检测，在异常检测的实现过程中，减少了高维数据的复杂运算以及明显提高了对传感器故障等数据异常的检测效果，同时与其他异常检测方法相比，简单实用，无过多经验阈值判断，并且可实现多种传感器的故障数据异常检测具备通用性，其中无高维矩阵运算，计算量小，检测精度高。

附图说明

图1为本发明的四分位差算法示意图。

图2为本发明的数据特征构建流程示意图。

图3为本发明的流程示意图。

具体实施方式

根据图3所示，本发明设计的一种面向发电设备高维时序工况数据的异常检测方法，其检测步骤如下：

(1)获取原始数据，可以直接从传感器等设备上采集记录的excel表格中读取数据。

所示原始数据的维度分别为m和n，其中m代表周期数，n代表特征数即传感器数量，原始数据的物理含义就是m个连续周期下n维特征的特征值，通常情况下m>>10000，n>10。

(2)对获取的原始数据进行清洗转换，将所有的数据转换为float类型数据，清除异常情况，所述的异常情况包括格式错误、多值错误和数据类型错误等。

(3)对清洗转换后的数据进行缺失值的检测，检测到含有缺失值的特征，删除含有缺失值特征的周期特征行。

(4)针对每个特征列，针对每一列数据进行单独的四分位差法操作，四分位差法中k值取最大，其中k值代表异常阈值(一般k取值范围为1.5～3)，确保不会删除过多数据造成数据集的特征缺失。

如图1所示，所述四分位差法操作中，先对每一列数据单独进行四分位差法计算除离群点的t个集合，再将这t个集合进行合并，去除重复元素，再对离群点所在的行进行删除。

去除离群点后的数据为X＝{x₁,x₂,x₃…x_p}，数据X的维度为p和n，p≤m。

(5)对去除离群点后的数据进行基于深度神经网络的异常值检测，得到检测结果。

根据图2所示的数据特征构建流程，所述的基于深度神经网络的异常值检测具体步骤如下：

①针对去除离群点后的数据X，以s为滑动窗口尺寸，s/2为步长，基于欧式距离计算其NOR和DON特征：

DON^j(wd_i)＝norm(wd_i)-norm(wd_i-1) (2)

其中，norm是矩阵的范数，i代表第i个滑动窗口，j代表第i个滑动窗口中的第j个特征；

滑动窗口内的变量为wd_i，如公式3所示

wd_i＝{x_i,x_i+1,x_i+2…x_i+s-1} (3)

进一步，得到特征数据Q＝{Q₁,Q₂…Q_z}，其中Q_i∈R^2*n，

②计算特征数据Q的八个统计特征，包括均值、最小值、最大值、第一四分位数、中位数、第三四分位数、标准差和峰峰值，得到一个新的统计特征集合R；以L为滑动窗口尺寸，L/2为步长计算所述统计特征集合R：R＝{R₁,R₂…R_y}；

其中，R_i∈R^16*n，R_i代表第i个滑动窗口的特征集合，y代表对统计特征集合R进行滑动窗口后的统计特征集合R的维度；L取值范围为2～5；

③基于CNN网络的自动编码器(CNN-AE)，搭建用于重建特征向量的自编码和解码网络；

式(4)、(5)中，W^v和B^v分别代表第v个卷积滤波器的权重参数和偏置参数，σ代表激活函数，激活函数采用sigmoid；同理代表第v个卷积滤波器的权重参数和偏置参数；/>和R_h具有同样的维度，其中R_h代表输入，即步骤②中生成的统计特征集合数据；/>代表经过CNN网络自动编码器生成的重建统计特征集合数据；/>代表激活函数的输出；

④获得场景信息中的状态onehot，例如：设备正常运行状态、警戒状态、紧急状态、系统崩溃、状态恢复、满负荷运载状态等等；然后，将工作状态onehot与矩阵W叉乘获取场景信息特征embed(M)：

embed(M)＝onehot(M)×W (6)

式(6)中onehot(M)∈R^1×a，a代表了工作状态种类的总数；W∈R^a×d，d小于a；

⑤将场景信息特征embed(M)和步骤③中计算所得组合在一起，通过级联重组成一个新的矩阵RM，将RM矩阵经过全连接层推理生成一个和原始数据X维度一致的

针对去除离群点后的数据X＝{x₁,x₂,x₃…x_p}和重构后的数据进行对比，若对应的数据/>则认为i时刻的数据存在异常；其中，threshold1为相应的阈值。

Claims (6)

1.一种面向发电设备高维时序工况数据的异常检测方法，其特征在于步骤如下：

(1)获取原始数据；所述原始数据的维度分别为m和n，其中m代表周期数，n代表特征数即传感器数量；

(2)对获取的原始数据进行清洗转换，清除异常情况；

(3)对清洗转换后的数据进行缺失值的检测，检测到含有缺失值的特征，删除含有缺失值特征的周期特征行；

(4)对于每个特征列，针对每一列数据进行单独的四分位差法操作，去除离群点；去除离群点后的数据为X＝{x₁,x₂,x₃…x_p}，数据X的维度为p和n，p≤m；

(5)对去除离群点后的数据进行基于深度神经网络的异常值检测，得到检测结果，从而完成了数据的异常检测工作；

所述的基于深度神经网络的异常值检测，具体步骤如下所示：

①针对去除离群点后的数据X，以s为滑动窗口尺寸，s/2为步长，

基于欧式距离计算其NOR和DON特征：

DON^j(wd_i)＝norm(wd_i)-norm(wd_i-1) (2)

其中，norm是矩阵的范数，i代表第i个滑动窗口，j代表第i个滑动窗口中的第j个特征；

滑动窗口内的变量为wd_i，如公式3所示

wd_i＝{x_i,x_i+1,x_i+2…x_i+s-1} (3)

进一步，得到特征数据Q＝{Q₁,Q₂…Q_z}，其中Q_i∈R^2*n，

②计算特征数据Q的八个统计特征，包括均值、最小值、最大值、第一四分位数、中位数、第三四分位数、标准差和峰峰值，得到一个新的统计特征集合R；以L为滑动窗口尺寸，L/2为步长计算所述统计特征集合R：R＝{R₁,R₂…R_y}；

其中，R_i∈R^16*n，R_i代表第i个滑动窗口的特征集合，y代表对统计特征集合R进行滑动窗口后的统计特征集合R的维度；L取值范围为2～5；

③基于CNN网络的自动编码器，搭建用于重建特征向量的自编码和解码网络；

式(4)、(5)中，W^v和B^v分别代表第v个卷积滤波器的权重参数和偏置参数，σ代表激活函数，激活函数采用sigmoid；同理代表第v个卷积滤波器的权重参数和偏置参数；/>和R_h具有同样的维度，其中R_h代表输入，即步骤②中生成的统计特征集合数据；/>代表经过CNN网络自动编码器生成的重建统计特征集合数据；/>代表激活函数的输出；

④获得场景信息中设备的工作状态onehot，将工作状态onehot与矩阵W叉乘获取场景信息特征embed(M)：

embed(M)＝onehot(M)×W (6)

式(6)中onehot(M)∈R^1×a，a代表了工作状态种类的总数；W∈R^A×d，d小于a；

⑤将场景信息特征embed(M)和步骤③中计算所得组合在一起，通过级联重组成一个新的矩阵RM，将RM矩阵经过全连接层推理生成一个和原始数据X维度一致的

⑥针对去除离群点后的数据X＝{x₁,x₂,x₃…x_p}和重构后的数据进行对比，若对应的数据/>则认为i时刻的数据存在异常；其中，threshold1为相应的阈值。

2.如权利要求1所述的一种面向发电设备高维时序工况数据的异常检测方法，其特征在于：步骤(1)中原始数据的物理含义就是m个连续周期下n维特征的特征值；其中，m>>10000，n>10。

3.如权利要求1所述的一种面向发电设备高维时序工况数据的异常检测方法，其特征在于：步骤(2)的清洗转换，是将所有的数据转换为float类型数据后，清除异常情况；所述异常情况至少包括格式错误、多值错误和数据类型错误。

4.如权利要求1所述的一种面向发电设备高维时序工况数据的异常检测方法，其特征在于：步骤(4)中，是针对每一列数据进行单独的四分位差法操作，四分位差法中k值取最大，所述k值代表异常阈值，k取值范围为1.5-3，确保不会删除过多数据造成数据集的特征缺失。

5.如权利要求4所述的一种面向发电设备高维时序工况数据的异常检测方法，其特征在于：所述四分位差法操作，是先对每一列数据单独进行四分位差法计算除离群点的t个集合，再将这t个集合进行合并，去除重复元素，再对离群点所在的行进行删除。

6.如权利要求1所述的一种面向发电设备高维时序工况数据的异常检测方法，其特征在于，所述场景信息是指设备的工作状态，至少包括设备正常运行状态、警戒状态、紧急状态、系统崩溃、状态恢复、满负荷运载状态。