CN113822771A

CN113822771A - 一种基于深度学习的低误检率窃电检测方法

Info

Publication number: CN113822771A
Application number: CN202110824544.XA
Authority: CN
Inventors: 周毅波; 江革力; 李金瑾; 陈珏羽; 卿柏元; 蒋雯倩; 黄柯颖; 林秀清; 唐志涛; 李刚; 颜丹丹; 潘俊涛; 韦杏秋; 包岱远; 周政雷
Original assignee: Guangxi Power Grid Co Ltd
Current assignee: Guangxi Power Grid Co Ltd
Priority date: 2021-07-21
Filing date: 2021-07-21
Publication date: 2021-12-21
Anticipated expiration: 2041-07-21

Abstract

本发明提供一种基于深度学习的低误检率窃电检测方法，所述方法从计量自动化系统中采集用户的电力消费数据，然后根据稽查结果为每个用户添加是否窃电的标签，以有窃电行为的用户建立窃电行为数据集，同时构建基于卷积神经网络和残差网络的窃电检测模型。以建立的窃电行为数据集为基础，采用两阶段训练方法对窃电检测模型进行训练，确定窃电检测模型的权重参数，得到低误检率的窃电检测模型，再用训练好的低误检率窃电检测模型对用户电力消费数据进行窃电检测，实现开发成本小、高准确率的检测方式。

Description

一种基于深度学习的低误检率窃电检测方法

技术领域

本发明涉及电力系统检测领域，尤其涉及一种基于深度学习的低误检率窃电检测方法。

背景技术

窃电是指使用恶意或欺诈手段避免为用电付费，每年给电力公司造成大量损失。对于电力公司而言，使用人工稽查来防止电力盗窃不仅效率低下，而且增加了人工成本。目前，许多新的电力盗窃检测系统已经实现了电力盗窃的自动检测。这些检测方案可以分为两类:面向数据的检测方案和面向网络的检测方案。面向网络的方法通过对电力网络的物理规则或传感器数据的分析来检测电力盗窃，比如一些状态估计方法和基于传感器的网络方法，然而，面向网络的窃电检测方法往往成本更高，因为它依赖于电力网络的拓扑信息且通常需要特定的传感器。相比之下，面向数据的方法往往只使用与消费者相关的数据(例如能源消耗、消费者类型等)，开发成本很小，特别是随着高级计量设施如计量自动化系统的建立，使消费数据的种类和分辨率都得到了很大提高，有力地支撑了数据驱动窃电检测技术的发展。

然而，基于数据方法的前提是隐含一个假设：正常用户的用电量具有平稳性和周期性。但实际上正常用户也存在用电异常现象，如设备大修、停产改造等原因也会造成用户持续低电量，这种用电异常与窃电行为的混淆容易导致较高的误检率。

发明内容

本发明提供一种基于深度学习的低误检率窃电检测方法，所述方法从计量自动化系统中采集用户的电力消费数据，以有窃电行为的用户建立窃电行为数据集，同时构建基于卷积神经网络和残差网络的窃电检测模型。以建立的窃电行为数据集为基础，采用两阶段训练方法对窃电检测模型进行训练，得到低误检率的窃电检测模型，再用训练好的低误检率窃电检测模型对用户电力消费数据进行窃电检测，实现开发成本小、高准确率的检测方式。

本实现上述目的，本发明采取的技术方案如下：

一种基于深度学习的低误检率窃电检测方法，包括以下步骤：

S1：采集用户的电力消费数据，建立窃电行为数据集；

S2：构建基于卷积神经网络和残差网络的窃电检测模型；

S3：采用两阶段训练方法确定窃电检测模型的权重参数，得到低误检率的窃电检测模型；

S4：对用户电力消费数据进行窃电检测。

进一步的，所述窃电检测模型包括特征提取网络和二分类神经网络；所述特征提取网络与所述二分类神经网络连接。

进一步的，所述特征提取网络与所述二分类神经网络的连接采用全局最大值池化连接。

进一步的，所述特征提取网络包括若干个堆叠的残差块；所述残差块包括双重卷积层和最大值池化层；所述双重卷积层与最大值池化层连接。

进一步的，所述二分类神经网络的隐藏层为全连接单隐藏层。

进一步的，所述窃电检测模型还包括两层Dropout层；所述Dropout层分别位于特征提取网络与二分类神经网络之间和二分类神经网络的隐藏层与输出层之间。

进一步的，所述采用两阶段训练方法确定窃电检测模型的权重参数是指以窃电行为数据集为基础，采用两阶段训练方法对窃电检测模型进行训练以确定其权重参数，包括以下步骤：

S31：采用梯度下降法算法完成第一阶段训练，得到初步窃电检测模型；

S32：采用约束法构建优化误检率的目标函数，用来优化误检率；

S33：采用粒子群优化算法对所述初步窃电检测模型进行第二阶段训练，训练过程中冻结特征提取网络，只对二分类神经网络进行权重更新，得到最终的模型。

进一步的，所述梯度下降法算法采用Adam算法；所述梯度下降法中的损失函数采用交叉熵损失函数。

进一步的，所述采集用户的电力消费数据，建立窃电行为数据集是指获取用户若干天的电力消费数据，对缺失值进行处理后根据稽查结果为每个用户添加是否窃电的标签，以有窃电行为的用户形成有标签的窃电行为数据集，并按比例分为训练集、测试集和验证集三个部分。

进一步的，所述对缺失值进行处理的方法为当某一用户的电力消费数据缺失值大于该用户总采样点的5％时删掉该用户，小于或者等于该用户总采样点的 5％时采用线性插值的方法进行补全。

附图说明

图1为一种基于深度学习的低误检率窃电检测方法流程图；

图2为窃电检测模型的组成结构示意图；

图3为采用两阶段训练方法训练窃电检测模型的流程图；

图4为采用粒子群优化算法更新二分类神经网络权重参数流程图。

具体实施方式

下面结合附图对本公开实施例进行详细描述。

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

实施例一

如图1所示为一种基于深度学习的低误检率窃电检测方法，包括以下步骤：

S1：从计量自动化系统采集用户的电力消费数据，建立窃电行为数据集；

S2：构建基于卷积神经网络和残差网络的窃电检测模型；

S4：对计量自动化系统采集的用户电力消费数据进行窃电检测。

具体实施中，所述建立窃电行为数据集是指从计量自动化系统中获取用户若干天的电力消费数据并对缺失值进行处理，然后根据稽查结果为每个用户添加是否窃电的标签，以有窃电行为的用户形成有标签的窃电行为数据集，最后将窃电行为数据集按6：2：2的比例分为训练集、测试集和验证集三个部分。

具体实施中，所述对缺失值进行处理的方法为当用户的缺失值大于该用户总采样点的5％时删掉该用户，当用户的缺失值小于或者等于该用户总采样点的 5％时采用线性插值的方法进行补全。

具体实施中，如图2所示，所述窃电检测模型包括特征提取网络和二分类神经网络；特征提取网络与二分类神经网络之间采用全局最大值池化连接，便于将一维卷积神经网络的输出降维并展开成一维特征向量。

具体实施中，如图2所示，所述特征提取网络由4个残差块堆叠而成，每个残差块包括双重卷积层、一个快捷连接和一个最大值池化层，所述双重卷积层分别与快捷连接和最大值池化层连接；其中，双重卷积层中一维卷积的映射过程如下：

X_n＝[x₁,x₂,...,x_n]

Y_(n)＝[y₁,y₂,...,y_n-s+1,0,0,...]

式中，x_n为卷积层的输入序列的第n个数据点，y_i为第i次卷积的输出值， s是卷积核的大小，k_j表示卷积核中第j个神经元的权重，b是偏置；f(*)是非线性激活函数；为了保证卷积前后输入序列长度不变，对卷积输出向量补0，使得输出的Y_(n)长度认为n。

具体实施中，本实施例中所述卷积核大小s取3。

具体实施中，本实施例中所述非线性激活函数采用Relu，其表达式如下：

f(x)＝max{0,x}

具体实施中，所述每个残差块中的一个快捷连接由1*1卷积实现，其目的是使得快捷连接的输出通道数与双重卷积相匹配。

具体实施中，所述特征提取网络中的池化层均采用最大值池化，其表达式为：

式中，x_i为待池化区域的数据点，

表示待池化区域所有数据点的集合。

具体实施中，如图2所示，所述二分类神经网络的隐藏层由单隐藏层全连接神经网络构成，隐藏层神经元数量为128，输出层神经元的激活函数为sigmoid；输出层用来输出窃电概率，激活函数sigmoid表达式如下：

具体实施中，如图2所示，所述窃电检测模型中还添加有两层Dropout层，其目的是在每次训练前随机丢掉一些网络连接，以防止模型过拟合，增加模型的泛化能力；两层Dropout层分别位于特征提取网络与二分类神经网络之间和二分类神经网络的隐藏层与输出层之间。

具体实施中，如图3所示，所述采用两阶段训练方法确定窃电检测模型的权重参数，得到低误检率的窃电检测模型，包括以下步骤：

S31：采用梯度下降法算法完成第一阶段训练，得到初步的窃电检测模型；

S33：在步骤S31得到的初步模型基础上，采用粒子群优化算法完成第二阶段训练，训练过程中冻结特征提取网络，只对二分类神经网络进行权重更新，得到最终的模型。

具体实施中，所述梯度下降算法采用Adam算法，可以自动调整学习率，且计算简单占用内存小；梯度下降法中的损失函数采用交叉熵损失函数，交叉熵损失函数的表达式如下：

式中，N为样本数量，Y_i和y_i分别表示第i个样本的真实标签和预测概率。

具体实施中，在所述步骤S31中，采用网格搜索方法对窃电检测模型的四个超参数进行了优化，采用ROC曲线下面积ROC-AUC指标作为窃电检测模型的优化目标；网格搜索的范围及最终优化的结果如下表1所示：

表1超参数优化范围及优化结果

上表中，h表示隐藏层神经元数量，l表示卷积核大小，d表示Dropout丢失概率，lr表示初始学习率。

具体实施中，所述采用约束法构建优化误检率的目标函数推导过程包括以下步骤：

S321:优化误检率(FPR)的过程中需要保证检出率(TPR)满足一定约束，可以构造如下约束优化问题，设为公式1如下：

min FPR

st.TPR＞TPR_min

S322:采用外点罚函数法将上述约束问题转化为无约束问题，设为公式2如下：

min FPR+max{0,M*(TPR_min-TPR)}

式中，M是一个足够大的正数，推荐取值大于1000。公式2即为所述步骤 S33中优化误检率的目标函数。TPR_min是检出率TPR的边界，认为只要检出率高于这个边界就可以接受，实际取值根据具体应用场景对于检出率的要求确定；在本实施例中M取10000，TPR_min为0.8。

具体实施中，所述采用粒子群优化算法完成第二阶段训练是指第二阶段训练采用粒子群优化算法更新二分类神经网络的权重参数，其算法流程如图4所示。二分类神经网络的输入层是64个神经元，隐藏层含有128个神经元，输出层含有1个神经元，则其权重的数量是64*128+128+128*1+1＝8449个。将二分类神经网络网络的权重参数展开成8449维的一维向量作为粒子的位置，那么粒子的搜索空间维度是8449。则第i个粒子的位置和速度可以表示为：

X_id＝[x_i1,x_i2,...,x_id],d＝8449

V_id＝[v_i1,v_i2,...,v_id],d＝8449

每个粒子都对应有一个由目标函数决定的适应度值，适应度计算公式如所述公式2所示。

在每一次迭代中，粒子通过跟踪粒子本身经历的最好的位置pbest_i和整个群体所经过的最好的位置gbest，并根据下式不断更新速度和位置：

v_id ^k+1＝ωv_id ^k+c₁r₁(pbest_id ^k-x_id ^k)+c₂r₂(gbest_d ^k-x_id ^k)

x_id ^k+1＝x_id ^k+v_id ^k+1

式中，c₁和c₂分别为个体和社会学习因子，在本实施例中均取0.5；r₁和r₂为0到1之间的随机数；k是迭代次数；ω表示惯性权重，用来描述粒子上一代速度对当前代速度的影响，在本实施例中取0.8。

经过粒子群优化算法对窃电检测模型进行第二阶段训练，最终得到低误检率的窃电检测模型。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或彼此可通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

以上仅为说明本发明的实施方式，并不用于限制本发明，对于本领域的技术人员来说，凡在本发明的精神和原则之内，不经过创造性劳动所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于深度学习的低误检率窃电检测方法，其特征在于，包括以下步骤：

S1：采集用户的电力消费数据，建立窃电行为数据集；

S2：构建基于卷积神经网络和残差网络的窃电检测模型；

S4：对用户电力消费数据进行窃电检测。

2.根据权利要求1所述的基于深度学习的低误检率窃电检测方法，其特征在于，所述窃电检测模型包括特征提取网络和二分类神经网络；所述特征提取网络与所述二分类神经网络连接。

3.根据权利要求2所述的基于深度学习的低误检率窃电检测方法，其特征在于，所述特征提取网络与所述二分类神经网络的连接采用全局最大值池化连接。

4.根据权利要求2所述的基于深度学习的低误检率窃电检测方法，其特征在于，所述特征提取网络包括若干个堆叠的残差块；所述残差块包括双重卷积层和最大值池化层；所述双重卷积层与最大值池化层连接。

5.根据权利要求2所述的基于深度学习的低误检率窃电检测方法，其特征在于，所述二分类神经网络的隐藏层为全连接单隐藏层。

6.根据权利要求2所述的基于深度学习的低误检率窃电检测方法，其特征在于，所述窃电检测模型还包括两层Dropout层；所述Dropout层分别位于特征提取网络与二分类神经网络之间和二分类神经网络的隐藏层与输出层之间。

7.根据权利要求1所述的基于深度学习的低误检率窃电检测方法，其特征在于，所述采用两阶段训练方法确定窃电检测模型的权重参数是指以窃电行为数据集为基础，采用两阶段训练方法对窃电检测模型进行训练以确定其权重参数，包括以下步骤：

8.根据权利要求7所述的基于深度学习的低误检率窃电检测方法，其特征在于，所述梯度下降法算法采用Adam算法；所述梯度下降法中的损失函数采用交叉熵损失函数。

9.根据权利要求1至8任一项所述的基于深度学习的低误检率窃电检测方法，其特征在于，所述采集用户的电力消费数据，建立窃电行为数据集是指获取用户若干天的电力消费数据，对缺失值进行处理后根据稽查结果为每个用户添加是否窃电的标签，以有窃电行为的用户形成有标签的窃电行为数据集，并按比例分为训练集、测试集和验证集三个部分。

10.根据权利要求9所述的基于深度学习的低误检率窃电检测方法，其特征在于，所述对缺失值进行处理的方法为当某一用户的电力消费数据缺失值大于该用户总采样点的5％时删掉该用户，小于或者等于该用户总采样点的5％时采用线性插值的方法进行补全。