CN115577312B - 基于改进dagmm的建筑用电负荷曲线异常检测方法 - Google Patents

Abstract

本发明公开了基于改进DAGMM的建筑用电负荷曲线异常检测方法，包括步骤：生成数据特征；统计数据分布，将数据异常点进行截短处理；数据归一化；将数据集分为训练集和测试集；采用DAGMM网络模型中的压缩网络和评估网络构建模型，压缩网络将高维度特征压缩到低维度，评估网络用于预测GMM的概率，学习到每个向量属于某个高斯分布的概率；模型训练和模型预测等。本发明基于DAGMM模型改进应用，对建筑用电负荷曲线的各个时点差异进行加权计算，并在惩罚项计算时将协方差矩阵加上一个对角矩阵，能识别出异常和单个或多个时点的功耗异常，增加了点异常的检测步骤，排除该类异常点对模型检测效果的影响。

Description

基于改进DAGMM的建筑用电负荷曲线异常检测方法

技术领域

本发明属于建筑用电负荷技术领域，尤其涉及基于改进DAGMM的建筑用电负荷曲线异常检测方法。

背景技术

都市中的高楼大厦，在给人们生活带来便利的同时，也是城市中的“碳排放大户”。到2030年建筑用电占建筑能耗比例或许将超过65％，完善用电技术体系、提高用电智能化和用电精细化管理也就成为了一项需要持续推进的目标。建筑用电日负荷曲线是描述日内负荷随时间变化的曲线，对建筑用电日负荷曲线进行异常检测，可以检测偏离数据主要分布的点异常、群组异常或上下文异常，进而识别出异常用电行为、用电突出隐患、设备故障、抄表系统异常等问题，帮助用电单位完成及时整改并跟踪督促和落实效果，从而降低用电单位的成本。

异常检测的算法按照模型类别包括监督学习类型DNN，半监督学习类型OneClass-SVM、无监督学习类型AutoEncoder和混合型等。DAGMM异常检测算法采用AutoEncoder的方法进行降维，然后使用降维后的特征进行GMM密度估计，发现异常。由于DAGMM算法采用端到端的方式进行训练，在降维过程中会考虑异常检测的结果，因此不会丢失异常检测所需的关键信息，解决了传统算法采用分步训练带来的缺点。DAGMM算法是一个通用的时间序列异常检测算法，针对特定的业务场景可以作进一步的改进，以获得更好的异常检测效果。

发明内容

建筑用电日负荷曲线以每日负荷24个时点的数据为整体考虑对象，在计算Encoder网络和Dencoder网络的拟合误差时，不仅仅要考虑DAGMM算法中采用的24个时点数据的累计拟合误差，还需要考虑某个或某些时点绝对拟合误差，这样才能发现极多数样本拟合误差很少而极少数时点存在较大误差的情形，因此本发明对DAGMM算法进行改进，并应用在建筑能耗日负荷曲线的异常检测中。有鉴于此，本发明提出了一种基于改进DAGMM的建筑用电日负荷曲线异常检测方法IDAGMM。建筑用电日负荷曲线的数据每天是24个数据，虽然异常检测时负荷曲线的形状特征和累计误差需要考虑，但是在每个时点上的绝对差值是需要更加关注的因素，因为这可能意味着该时点存在明显的异常。IDAGMM对DAGMM算法的损失函数进行了改进，突出了各个时点数据的绝对差值的权重，使得异常识别检测算法不仅能识别出形态不同的负荷曲线异常，也能识别出单个或多个时点的功耗异常。另外，本发明的IDAGMM增加了点异常的检测步骤，统计分析各个时点的能耗数据，将超出范围的异常点数据作截断处理，以排除这些异常点的数据对异常模式的检测效果的影响。IDAGMM算法的提出为建筑用电日负荷曲线异常检测提供了一种有效的分析手段，从而为智能化用电和精细化管理提供了有力的支撑。

本发明公开的基于改进DAGMM的建筑用电负荷曲线异常检测方法，包括以下步骤：

收集整理小时级别的建筑用电数据，生成数据特征；

统计分析各个时点数据的分布，将数据异常点进行截短处理；

数据归一化；

数据集准备和模型构建：按照时间顺序将数据集分为训练集和测试集，其中训练集占比为80％，测试集占比为20％，并采用DAGMM网络模型中的压缩网络和评估网络构建模型；压缩网络包括编码器和解码器两部分，将高维度特征压缩到低维度，编码器作用是降维，解码器的作用是将降维特征还原成原始输入；输入向量x经过编码器降维为特征z_c,继续经过解码器生成向量x’,然后计算x和x’的差异得到重构误差特征z_r；评估网络用于预测GMM的概率，学习到每个向量属于哪个高斯分布的概率；重构误差特征和降维特征合并成特征z作为评估网络的输入，输出是高斯分布的概率；其中在重构误差过程中对各个单点差异进行加权计算，并在惩罚项计算时将协方差矩阵加上一个对角矩阵，帮助协方差矩阵消除奇异性。

进一步的，所述截短处理包括对每个时点数据依次如下处理：

计算数据第一个四分位数Q1、第三个四分位数Q3；

计算四分位数范围IQR＝Q3-Q1；

计算上限：Q3+1.5*IQR，下限：Q1-1.5*IQR；

任何大于上限的数据以上限替代，任何小于下限的数据以下限替代。

进一步的，所述重构误差计算包括：

其中，Z_r为重构误差，x_i为第i个输入向量，x_i’为解码器的第i个输出向量，k为加权系数，n为向量长度。

进一步的，所述协方差矩阵加上一个对角矩阵后如下：

进一步的，模型训练的目标函数包括三个部分：第一项为DeepAutoEncoder的重构误差；第二项为评估网络的拟合误差；第三项为防止GMM模型中协方差对角线为0的惩罚项：

其中，E(z_i)为能量函数，计算样本的能量值，该值越大，样本异常可能性越大；λ₁和λ₂为超参数，N为样例数目。

进一步的，对训练集能量函数计算的能量值进行统计，计算得到能量值的门限值；对测试集的数据进行预测计算获得每个样本的能量值，如果能量值超过门限，判定该样本为异常样本：

E＝sorted(E(z_i))i＝1,2,...,N

threshold＝E_j,j＝N*precent

I_predict＝exception if E_predict>threshold else normal

其中，E为排序后的能量值集合，threshold为门限值，N为样例数目，percent为正常值所占比例，I_predict为预测样本，E_predict为预测样本的能量值。

本发明的有益效果如下：

本发明对DAGMM算法的损失函数进行改进，突出各个时点数据的绝对差值的权重，使得异常识别检测算法不仅能识别出形态不同的负荷曲线异常，也能识别出单个或多个时点的功耗异常。

本发明的IDAGMM增加了点异常的检测步骤，统计分析各个时点的能耗数据，将超出范围的异常点数据作截断处理，以排除这些异常点的数据对异常模式的检测效果的影响。本发明为建筑用电日负荷曲线异常检测提供了一种有效的分析手段，从而为智能化用电和精细化管理提供了有力的支撑。

附图说明

图1本发明框架总体示意图；

图2本发明的网络模型结构图；

图3某建筑电力日负荷曲线异常检测得到的异常结果。

具体实施方式

下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。

本发明的目的是对建筑用电日负荷曲线进行异常检测，找出每日用电可能存在异常的时点，用以识别和评估异常的用电行为、设备故障、设备效率、传感器精度等，进而为节能措施的效果测试、设备精细化巡检等提供数据支撑。DAGMM算法采用AutoEncoder的方法进行降维，然后使用降维后的特征进行GMM密度估计，发现异常。DAGMM采用端到端的方式进行训练，避免了分步训练在降维过程中丢失关键特征的缺点。DAGMM算法是一种通用的时间序列异常检测算法，可以检测上下文异常。由于建筑用电日负荷曲线是每日24个时点的数据集合，这些数据也是对齐的，DAGMM算法在计算AutoEncoder模型的重构误差仅考虑了这24个时点的累计误差，没有对其中的单个时点的误差进行区分对待，这时对绝大多数时点拟合很好和极少数时点拟合差的情形识别较差，针对这类业务场景，充分考虑每个时点的重构误差的差异，会有助于提高异常检测的效果。因此，本发明提供了一种基于DAGMM改进的建筑用电日负荷曲线异常检测算法。

本发明采用的技术方案为：一种基于DAGMM改进的建筑用电日负荷异常检测算法IDAGMM，其主要包括如下步骤：

S1：用电数据预处理：完成小时级别的用电数据收集整理，生成数据特征X_i,j(i＝1,2,...,n；j＝1,2,...,24)。

S2：统计分析各个时点数据的分布，将数据异常点进行截短处理。对每个时点数据依次处理：(1)计算数据第一个四分位数Q1、第三个四分位数Q3；(2)计算四分位数范围IQR＝Q3-Q1；(3)计算上限Q3+1.5*IQR，下限Q1-1.5*IQR；(4)任何大于上限的数据以上限替代，任何小于下限的数据以下限替代。

S3：数据归一化。

S4：数据集准备和模型构建。按照时间顺序将数据集分为训练集和测试集，其中训练集占比为80％，测试集占比为20％。IDAGMM采用DAGMM相同的网络模型。

DAGMM网络模型中的压缩网络Compression network包括Encoder编码器和Decoder解码器两部分，目的是将高维度特征压缩到低维度。编码器作用是降维，解码器的作用是将降维特征还原成原始输入。输入向量x经过Encoder编码器降维为特征z_c,继续经过Decoder解码器生成向量x’,然后计算x和x’的差异得到重构误差特征z_r。评估网络Estimation network用于预测GMM的概率，学习到每个向量属于高斯分布的概率。重构误差特征和降维特征合并成特征z作为评估网络的输入，输出是高斯分布的概率。

S5：DAGMM算法优化。针对建筑用电日负荷曲线异常检测的场景，IDAGMM在DAGMM算法基础上进行了两个改进。

1)重构误差计算。DAGMM计算的是累积误差。IDAGMM考虑了各个单点差异，对各个单点差异进行加权，使得差异越大的单点误差更大，差异越小的单点误差越小，从而可以更好识别出向量中绝大多数单点差异很小且非常少单点存在较大差异的误差。

DAGMM的计算：

本发明IDAGMM的计算如下：

其中，

Z_r：重构误差；

x:输入向量；

x’:解码器的输出向量；

k:加权系数，一般取值为1.2-2之间，缺省值为1.2；

n:向量长度，缺省为24。

2)为避免在GMM计算中，协方差矩阵对角线为0，DAGMM加入了惩罚项，但是惩罚项的权重如果设置过高，会导致异常检测的准确率会降低。本发明又增加了一个diag对角矩阵，对角线上的取很小的值例如1e-6。将协方差矩阵加上这个对角矩阵，帮助协方差矩阵消除奇异性。这样惩罚项的权重就可以设置的比较小，会提高异常检测到的准确率。

S6：模型训练。网络模拟了能观察到输入样本的概率，寻找压缩网络和估计网络的最佳组合，使得观测输入样本的可能性最大化。目标函数包括三个部分：第一项为DeepAutoEncoder的重构误差；第二项为评估网络的拟合误差；第三项为防止GMM模型中，协方差对角线为0的惩罚项。

其中，E(z_i):能量函数，计算样本的能量值，该值越大，样本异常可能性越大。

λ₁和λ₂：超参数，分别推荐采用0.2，0.0001。

S7：模型预测。对训练集能量函数计算的能量值进行统计，计算得到能量值的门限值。对测试集的数据进行预测计算获得每个样本的能量值，如果能量值超过门限，判定该样本为异常样本。

E＝sorted(E(z_i))i＝1,2,...,N

threshold＝E_j,j＝N*precent

I_predict＝exception if E_predict>threshold else normal

其中，

E:排序后的能量值集合。

N：样例数目。

Percent：正常值所占比例。这个值的设置需要结合业务含义进行不断尝试后确定，可以设置为一个较大的值，然后查看异常值是否有检测出来。如果有漏检，可以尝试将该值向较小值逐步调整。

某建筑电力日负荷曲线异常检测检测出来的异常结果如图3所示：其中2022/9/8日的电力日负荷曲线是正常曲线，其他5条是异常曲线。本实施例中，采用某建筑物两年的小时级别的电力数据，进行电力日负荷曲线的异常检测。通过异常检测，可以发现该建筑的用电存在一些点异常和较多的上下文异常。

本发明由于采用上述技术方案，使其具有以下有益效果：

1、本发明提供了一种建筑用电日负荷曲线的异常检测算法IDAGMM。在DAGMM通用时间序列异常检测算法上进行了两处改进由。其一，改进了重构误差的计算，不仅考虑了样本中各个时点的累计误差，还考虑了各个时点差异的大小进行加权，从而可以更好地检测出绝大多数时点差异很小而少数时点存在差异的异常，提高了异常检测的准确率；其二，在具体实现，IDAGMM增加了一个对角线取非常小值的diag对角矩阵，将协方差矩阵加上这个对角矩阵，可以帮助协方差矩阵消除奇异性。同时，使得惩罚项的权重可以设置的比较小，提高目标函数中重构误差和能量值的所占权重，也会提高异常检测到的准确率。

2、IDAGMM在算法进入实际的压缩模型之前，通过统计模型识别和处理了各个时点存在的点异常。点异常通常产生于设备读取错误、异常用电、数据流程处理异常等。经过点异常处理后的数据，也有助于后续时间序列的上下文异常的识别。

本文所使用的词语“优选的”意指用作实例、示例或例证。本文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。

而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。

综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.基于改进DAGMM的建筑用电负荷曲线异常检测方法，其特征在于，包括以下步骤：

收集整理小时级别的建筑用电数据，生成数据特征；

统计分析各个时点数据的分布，将数据异常点进行截短处理；

数据归一化；

数据集准备和模型构建：按照时间顺序将数据集分为训练集和测试集，其中训练集占比为80％，测试集占比为20％，并采用DAGMM网络模型中的压缩网络和评估网络构建模型；压缩网络包括编码器和解码器两部分，将高维度特征压缩到低维度，编码器作用是降维，解码器的作用是将降维特征还原成原始输入；输入向量x经过编码器降维为特征z_c,继续经过解码器生成向量x’,然后计算x和x’的差异得到重构误差特征z_r；评估网络用于预测GMM的概率，学习到每个向量属于某个高斯分布的概率；重构误差特征和降维特征合并成特征z作为评估网络的输入，输出是高斯分布的概率；其中在重构误差过程中对各个单点差异进行加权计算，并在惩罚项计算时将协方差矩阵加上一个对角矩阵，帮助协方差矩阵消除奇异性；

所述重构误差计算包括：

其中，Z_r为重构误差，x_i为第i个输入向量，x_i’为解码器的第i个输出向量，k为加权系数，n为向量长度。

2.根据权利要求1所述的基于改进DAGMM的建筑用电负荷曲线异常检测方法，其特征在于，所述截短处理包括对每个时点数据依次如下处理：

计算数据第一个四分位数Q1、第三个四分位数Q3；

计算四分位数范围IQR＝Q3-Q1；

计算上限：Q3+1.5*IQR，下限：Q1-1.5*IQR；

任何大于上限的数据以上限替代，任何小于下限的数据以下限替代。

3.根据权利要求1所述的基于改进DAGMM的建筑用电负荷曲线异常检测方法，其特征在于，所述协方差矩阵加上一个对角矩阵后如下：

4.根据权利要求3所述的基于改进DAGMM的建筑用电负荷曲线异常检测方法，其特征在于，模型训练的目标函数包括三个部分：第一项为DeepAutoEncoder的重构误差；第二项为评估网络的拟合误差；第三项为防止GMM模型中协方差对角线为0的惩罚项：

其中，E(z_i)为能量函数，计算样本的能量值，该值越大，样本异常可能性越大；λ₁和λ₂为超参数，N为样例数目。

5.根据权利要求4所述的基于改进DAGMM的建筑用电负荷曲线异常检测方法，其特征在于，对训练集能量函数计算的能量值进行统计，计算得到能量值的门限值；对测试集的数据进行预测计算获得每个样本的能量值，如果能量值超过门限，判定该样本为异常样本：

E＝sorted(E(z_i))i＝1，2，...，N

threshold＝E_j，j＝N*precent

I_predict＝exception if E_predict＞threshold else normal

其中，E为排序后的能量值集合，threshold为门限值，N为样例数目，percent为正常值所占比例，I_predict为预测样本，E_predict为预测样本的能量值。