CN112098714B - 一种基于ResNet-LSTM的窃电检测方法及系统 - Google Patents

一种基于ResNet-LSTM的窃电检测方法及系统 Download PDF

Info

Publication number
CN112098714B
CN112098714B CN202010806282.XA CN202010806282A CN112098714B CN 112098714 B CN112098714 B CN 112098714B CN 202010806282 A CN202010806282 A CN 202010806282A CN 112098714 B CN112098714 B CN 112098714B
Authority
CN
China
Prior art keywords
neural network
power consumption
resnet
lstm
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010806282.XA
Other languages
English (en)
Other versions
CN112098714A (zh
Inventor
徐述
冯隆基
张继东
姜小涛
王振宇
楚成博
陈雪薇
谢林红
方磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
Nanjing Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Power Supply Co of State Grid Jiangsu Electric Power Co Ltd filed Critical Nanjing Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority to CN202010806282.XA priority Critical patent/CN112098714B/zh
Publication of CN112098714A publication Critical patent/CN112098714A/zh
Application granted granted Critical
Publication of CN112098714B publication Critical patent/CN112098714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R22/00—Arrangements for measuring time integral of electric power or current, e.g. electricity meters
    • G01R22/06—Arrangements for measuring time integral of electric power or current, e.g. electricity meters by electronic methods
    • G01R22/061—Details of electronic electricity meters
    • G01R22/066—Arrangements for avoiding or indicating fraudulent use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Power Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于ResNet‑LSTM的窃电检测方法及系统，收集电力系统正常运行时采集的用户的用电量数据样本和样本的用电类型标签，对用电量数据进行数据预处理，并将数据集分为训练集、测试集、验证集；运用自动编码器处理训练集中标签为窃电的用电数据样本，并获得新的训练集；将原先的训练集的用电量数据分别输入ResNet模型和LSTM模型进行窃电检测测试，通过测试结果选择ResNet和LSTM神经网络组合结构，并以此搭建混合神经网络，通过测试选择合适的混合神经网络结构；运用选择出的ResNet‑LSTM混合神经网络结构进行测试选择出合适的神经网络优化方法，形成窃电检测模型；运用新的训练集来训练窃电检测模型，构建完整的窃电检测方法，本发明提高了窃电检测能力和检测效率。

Description

一种基于ResNet-LSTM的窃电检测方法及系统
技术领域
本发明属于电力系统的数据挖掘技术领域，涉及一种基于ResNet-LSTM的窃电检测方法及系统。
背景技术
随着高级计量架构(Advanced Metering Infrastructure，简称AMI)体系的逐步建立为相关部门带来海量数据的同时，也为电力系统的运行管理提出了更高的要求。美国官方机构在其AMI体系基本建立后发布的一份研究报告中指出，据美国的一家电力公司的相关统计，该公司由于用户篡改智能电表计量装置中的数据而损失的经济效益可达到4亿美元。在中国推行建立AMI体系的过程中也遭遇了同样的问题，在中国首例破获的智能电表窃电案中，该用户运用高科技手段制作窃电装置并安装在智能电表内部改变相关测量的电力数据，非法逃避电费的缴纳。以往用户通过篡改电表结构或者绕接电线的方式进行窃电行为，这种窃电手段原理简单，易于检测。如今对于智能电表，传统的窃电手段易于发现，产生了基于智能电表原理的窃电手段。用户可对智能电表的存储环节或者通信环节进行篡改，在实际电路的物理参数不改变的前提下直接进行数据篡改，以达到减少缴纳电费的作用。
传统的窃电检测手段依赖于在核查线损率等指标后的人工现场排查，这样会耗费企业大量的人力物力，且窃电检测核查周期长，效率低下。同时物理排查方法无法筛查出高科技窃电方法对智能电表数据存储单元和通信单元的数据篡改。因此，有必要提出相应的数据驱动模型，对AMI体系获取的大量数据进行充分的挖掘，提出有效的对应用电侧的窃电行为检测模型，通过模型来充分挖掘信息，从而制定合理的检修轮换计划，指导工作人员现场排查智能电表。其作用体现在以下四个方面：首先，有助于在电力市场改革试点推进过程中相关电力企业和相关执法部门高效打击违法犯罪行为，降低人力物力核查成本。其次，降低窃电等异常用电行为带来的非技术性损失，提高售电相关企业的盈利能力。再次，效率高准确率高的核查手段有助于对异常用电行为用户和心存侥幸的用户产生威慑和引导，从而营造和谐合法的用电环境。最后，利用数据挖掘手段协助有关部门进行窃电检测，从技术角度符合国家电网未来建设“三型两网”的大方向，有助于提高整个电力系统的经济效益，推进基于市场化的电力市场平衡机制的建立。
如今，电力相关企业进行窃电检测时，主要运用的方法是派遣相关工作人员到现场进行排查，检查相应的智能电表及配套设施是否出现异常或破坏。根据电力公司的这一检查方法，研制出了多种具有防窃电功能的装置，并探索了相应的硬件检测方法来提高工作人员的检查效率。但在AMI体系逐渐建立完成和智能电表覆盖率不断提高的背景下，电力系统数据量爆炸式增长，采集信息源不断丰富。面对针对智能电表通信和存储功能的高科技窃电手段，硬件检测方法难以有更好的挖掘潜力。
同时，国内外相关学者研究探索依赖数据模型的窃电检测方法。如今，依赖数据模型的检测方法可大致分为三种：基于电力系统物理模型的检测方法、基于博弈论的检测方法、基于数据驱动模型的检测方法。而基于数据驱动模型的检测方法中，主要分为三类，基于分类的方法、基于聚类的方法和基于回归的方法。分类方法和聚类方法的检测对象是大量用户，而回归方法的检测对象是单个用户。分类算法依赖带标签的数据集，回归算法依赖天气、日期、电价等相关的外生数据，聚类算法依赖聚类模型参数的选取。从模型的检测对象和算法依赖来看，不同的算法模型在面对不同的场景时各有优缺点。
发明内容
为了解决现有技术存在的问题，本发明的目的在于，提供了一种基于用户窃电行为检测方法及系统，采用自动编码器进行扩充数量较少类型的样本，减少了数据样本的不平衡程度。在不平衡数据样本处理的基础上，运用残差神经网络提取周期性特征，运用长短期记忆网络时序性特征，将ResNet模型和LSTM模型结合，提高了窃电检测模型的特征提取能力，从而进一步提高了窃电检测方法的性能。
本发明采用如下的技术方案：
一种基于ResNet-LSTM的窃电检测方法，该窃电检测方法包括以下步骤：
步骤1：采集用户设定时间周期内用电量数据样本，并对所采集的用户用电量数据样本进行用电类型标签标注和预处理，并且将其分成训练集、测试集和验证集，
其中，用户用电量数据样本的用电类型标签包括窃电标签和正常用电标签，
预处理是指对用电量数据进行异常值和重复采集值的剔除，以及对缺失值的处理；
步骤2：将训练集中用电量数据样本中用电类型标签为窃电标签的用电量数据样本运用自动编码器进行重构，并将重构后的用电量数据样本加入原来的训练集形成新的训练集，与通过步骤1所采集的用电标签类型为正常用电的用电量数据样本相等，或者为同一数量级；
步骤3：将原始训练集的用电量数据分别输入残差神经网络ResNet模型和长短期记忆网络LSTM模型进行窃电检测，通过指标结果选择综合测试结果最佳的ResNet模型和LSTM模型，使用三种指标结果为检出率、误警率和最高差值；
步骤4：运用步骤3所选择出的ResNet模型和LSTM模型搭建混合神经网络，通过混搭方式搭建混合神经网络；
步骤5：对于步骤4所选择出的ResNet-LSTM混合神经网络结构运用不同的神经网络优化方法进行测试，选择出合适的神经网络优化方法，获得窃电检测模型；
步骤6：运用步骤2所得的新的训练集来训练窃电检测模型，使得神经网络在训练过程中调整神经网络隐含层神经元之间的权重，从而神经网络的损失函数达到最小，形成最终的窃电检测模型。
在步骤1中，所述异常值是指极大值和极小值，其中，对于在所述设定时间周期内，当某个用电量数据达到了该用户用电量数据样本中位数的10倍以上，则该数据为异常极大值；当某个用电量数据为负数，则该数据为异常极小值。
在步骤1中，所述缺失值的处理包括以下内容：
对于在所述设定时间周期内，当某一用户用电量数据样本的缺失值采样点数占整个设定时间周期内所有采样点数比例的20％以上，或者连续5个采样点的用电量数据缺失时，则认为该用户用电量数据样本缺失值情况严重，将该用电量数据样本直接进行剔除；
对于在所述设定时间周期内，当某一用户用电量数据样本的缺失值采样点数占整个设定时间周期内所有采样点数比例的20％及以下，或者少于连续5个采样点的用电量数据缺失时，则对数据缺失值的采样点以及将异常值剔除后的采样点进行线性插值。
在步骤1中，缺失值处理完成后对用户用电量数据进行划分，将用电量数据划分为完整的周用电记录，并对每个周用电记录均给出用电类型标签，完成数据集预处理，对于预处理完成的数据集，将其分成训练集、测试集、验证集，其中训练集的样本数量大于测试集或验证集，且验证集和测试集的样本数量相同。
所述训练集、测试集、验证集的比例为6：2：2。
在步骤2中，运用自动编码器对窃电数据样本进行重构，将重构的窃电数据和训练集直接放在一起并打乱样本顺序组成新的训练集，自动编码器使用的损失函数是衡量输入数据和输出数据重构误差的均方误差函数，确保自动编码器的误差在规定范围内，规定范围主要由平均绝对百分比误差MAPE指标来确定，MAPE指标为25％以下，则误差在规定范围内，自动编码器是由多个神经网络层堆叠起来的，编码网络和解码网络增加的每一层全连接网络层，都要测量不同的神经元节点个数下自动编码器的重构误差，选择使编码器重构误差最小的神经元节点个数，通过比较输入输出样本数据之间的平均绝对百分比误差MAPE指标来衡量重构误差的大小，每确定一层网络层后，增添新的一层全连接层，通过重构误差大小确定新的一层全连接层的神经元节点个数直到自动编码器的整体误差达到事先规定的上限25％后，不再增加新的层数，如下所示依次为MSE函数和MAPE指标的公式，其中n为样本点总数目；yi、
Figure BDA0002629239900000041
分别为第i个样本点用户负荷的真实值和重构值：
Figure BDA0002629239900000042
Figure BDA0002629239900000043
在步骤3中运用原始训练集的用电量数据训练并运用测试集进行测试，选择综合测试结果最佳的ResNet和LSTM模型，残差神经网络ResNet需要经过一层卷积层和一层池化层处理，输入数据为n*m的矩阵，经过一层卷积层处理后输出仍为n*m的矩阵，经过池化层处理，矩阵中每个2*2窗口中最大的数据将会输出，将会输出int(n/2)*int(m/2)的矩阵数据，int为向下取整函数；
运用原始训练集测试具有a个残差单元的ResNet和b层LSTM，比较相应的指标结果，选择指标结果较好的神经网络结构，其中，a的范围为1至8，b的范围为1至8，所使用的指标为检出率、误警率和最高差值，检出率DR表示实际正标签样本中分类正确的样本所占的比例，误警率FPR表示实际负标签样本中分类错误的样本所占的比例，最高差值HD用来衡量检出率和误警率之间的最高差值，三个指标结果的公式如下所示，其中，真负类TN表示负标签样本被正确分类为负标签样本的数量，假负类FN表示负标签样本被错误分类为正标签样本的数量，真正类TP表示正标签样本被正确分类为正标签样本的数量，假正类FP表示正标签样本被错误分类为负标签样本的数量，正标签样本表示窃电样本，负标签样本表示正常样本，
Figure BDA0002629239900000051
Figure BDA0002629239900000052
HD＝DR-FPR
其中，DR为检出率，FPR为误警率，HD为最高差值，TN为真负类，FN为假负类，TP为真正类，FP为假正类。
一个残差结构中主要包含了2层卷积层，因此含有1个残差单元结构的残差神经网络含有4层主要的网络层，将其记作res4，含有2、4、6、8个残差单元的残差神经网络，分别记作res6、res10、res14、res18，即a取值为1,2,4,6,8，将含有1、2、3、4层LSTM层的LSTM网络分别记作LSTM1、LSTM2、LSTM3、LSTM4，即b取值为1,2,3,4。
在步骤4中，以拼接方式形成混合神经网络，拼接方式的输入数据通过残差神经网络隐含层和长短期记忆网络隐含层分别提取出特征向量A和B，拼接得到的一个特征向量C＝[A,B]输入softmax分类器进行分类检测，通过测试所得的指标结果选择合适的混合神经网络结构，使用三种指标结果为检出率、误警率和最高差值。
在步骤4中，以堆叠方式形成混合神经网络，堆叠方式的网络只有一个输入，将一个输入通过残差神经网络隐含层提取的特征向量D，输入长短期记忆网络隐含层进一步提取出特征向量E输入softmax分类器进行分类检测，通过测试所得的指标结果选择合适的混合神经网络结构，使用三种指标结果为检出率、误警率和最高差值。
在步骤5中，将选择出的ResNet-LSTM混合神经网络结构运用不同的神经网络优化方法，可选择的神经网络优化方法包括RMSProp、Adam、Adadelta、Adamax、Nadam优化方法，运用原先的训练集进行训练，筛选出在数据不平衡条件下性能最佳的窃电检测模型，综合比较检出率、误警率和最高插值三个指标，选择出最合适的神经网络优化方法，获得窃电检测模型。
在步骤6中，所述最终的窃电检测模型属于深度学习神经网络模型；深度学习神经网络模型在训练过程中，通过对训练集样本的学习，使得神经网络输出值的损失函数评价指标最小，在反复的训练迭代过程中，通过前向计算将输入样本数据特征逐层提取，同时误差也从浅层传播到高层，完成前向计算后，运用梯度下降法将误差不断反向传播更新每一层神经网络的权重参数，直至神经网络的损失函数的值最小，停止迭代，使用的损失函数为MSE函数，MSE函数的公式如下所示，其中n为样本点总数目，yi、
Figure BDA0002629239900000061
分别为第i个样本点用户负荷的真实值和重构值：
Figure BDA0002629239900000062
将此时的神经网络权重保存下来进行验证集验证，当验证集和训练集均获得所要求的数据处理结果范围，此时的神经网络便训练完成，用于处理相似的数据处理任务；梯度下降法是经典的误差反向传播时网络权重更新方法，具体公式如下所示：
Figure BDA0002629239900000063
式中，θn为第n次更新时的神经网络权重参数，L为神经网络的权重参数，η为每次更新神经网络权重时的幅度系数，记作学习率；在神经网络的训练过程中，可人为的设置调整学习率来改善神经网络的训练效果。
基于ResNet-LSTM的窃电检测方法的检测系统，所述检测系统包括采集标注和预处理模块、训练集重构模块、ResNet和LSTM模型选择模块、混合神经网络建构模块、神经网络优化模块、窃电检测模型模块，
所述采集标注和预处理模块采集用户设定时间周期内用电量数据样本，并对所采集的用户用电量数据样本进行用电类型标签标注和预处理，并且将其分成训练集、测试集和验证集，
其中，用户用电量数据样本的用电类型标签包括窃电标签和正常用电标签，
预处理是指对用电量数据进行异常值和重复采集值的剔除，以及对缺失值的处理；
所述训练集重构模块将训练集中用电量数据样本中用电类型标签为窃电标签的用电量数据样本运用自动编码器进行重构，并将重构后的用电量数据样本加入原来的训练集形成新的训练集，与通过步骤1所采集的用电标签类型为正常用电的用电量数据样本相等，或者为同一数量级；
所述ResNet和LSTM模型选择模块将原始训练集的用电量数据分别输入残差神经网络ResNet模型和长短期记忆网络LSTM模型进行窃电检测，通过指标结果选择综合测试结果最佳的ResNet模型和LSTM模型，使用三种指标结果为检出率、误警率和最高差值；
所述混合神经网络建构模块运用所选择出的ResNet模型和LSTM模型搭建混合神经网络，通过混搭方式搭建混合神经网络；
所述神经网络优化模块对于所选择出的ResNet-LSTM混合神经网络结构运用不同的神经网络优化方法进行测试，选择出合适的神经网络优化方法，获得窃电检测模型；
所述窃电检测模型模块运用所得的新的训练集来训练窃电检测模型，使得神经网络在训练过程中调整神经网络隐含层神经元之间的权重，从而神经网络的损失函数达到最小，形成最终的窃电检测模型。
本发明的有益效果在于，与现有技术相比，本发明提供的基于ResNet-LSTM的窃电检测方法及系统，具有以下特点：
(1)本发明中使用的深度学习方法能处理海量数据，并进行高效全面的特征学习，减少人工进行特征学习的低效与不完备，从而使学习的特征的泛化能力更强；
(2)LSTM模型是长短期记忆网络，是一种时间循环神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。用户窃电行为检测模型的主要任务是识别计量装置获取的时间序列数据，LSTM模型在处理这个问题上有很好的表现；
(3)ResNet模型是残差神经网络，适合于周期性时间。用户窃电行为检测模型处理的用电量数据具有很强的周期性，ResNet模型在处理这个问题上有很好的表现；将ResNet模型和LSTM模型结合起来更进一步的提高了窃电检测模型的用电量数据特征提取能力，提高了检测性能；
(4)由于较好的检测性能，电网相关部门工作人员可以依据识别结果进行检修和排查，尽早对智能电表检查排除，提高电网运行的安全可靠性，减少电网运行的经济损失。
附图说明
图1为一种基于ResNet-LSTM的窃电检测方法实施例的流程示意图；
图2为重构损失与神经元节点个数关系图，纵坐标表示重构损失，以百分数表示，横坐标表示神经元节点个数；
图3为不同结构混合神经网络示意图；
图4为自动编码器示意图；
图5为一种基于前述基于ResNet-LSTM的窃电检测方法的检测系统，具体工作流程。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述。本发明所描述的实施例仅仅是本发明一部分的实施例，而不是全部实施例。基于本发明精神，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明的保护范围。
本实施案例提供了一种基于ResNet-LSTM的窃电检测方法，如图1所示，包括：
步骤1：收集整理电力系统正常运行时采集的用户的用电量数据样本和相应样本的用电类型标签，包括窃电标签和正常用电标签，对用电量数据进行数据预处理，并将数据集分为训练集、测试集、验证集；
其中，验证集用于模型每一轮训练结束后进行测试模型的损失函数和准确率的计算，当模型在训练5轮结束后，验证集所计算测试模型的损失函数没有降低，则训练停止并完成；而测试集则是对训练完成的模型进行测试所用到的样本集，当测试结果符合预期，则该训练完成的模型无需调整参数；若测试结果偏离预期结果，则调整模型参数重新进行训练；测试集和验证集运用于下列步骤所有模型训练过程中和模型训练完成后；
在本发明的优选实施例中，所述用电量数据样本为每隔一周所采集的电量数据。
电力系统正常运行的历史数据构建的原始数据集具体指从用户采集系统中抽取的正常用户或窃电行为用户的用电量数据以及这些数据对应的采集时间，并且分别表明这些用电量数据是正常用电行为产生的还是窃电行为产生的。首先对这些值进行异常的极大极小值的剔除与重复采集值的剔除，再进行缺失值的处理。对于在所述设定时间周期内，当某个用电量数据达到了该用户用电量数据样本中位数的10倍以上，则该数据为异常极大值；当某个用电量数据为负数，则该数据为异常极小值。
缺失值严重的情况是指：(1)缺失值比例占总数据比例的20％以上。(2)数据集连续5个采样点以上，存在缺失值。对于缺失值情况较为严重的用户的数据样本，直接进行剔除。对于缺失值不严重的数据集，本发明利用线性插值法进行近似的缺失值处理。缺失值处理完成后对用户用电量数据进行划分，将用电量数据划分为完整的周用电记录，并对每个周用电记录均给出用电类型标签，至此完成数据集预处理。对于预处理完成的数据集，可按照合适的比例分成训练集、测试集、验证集。训练集的数量大于测试集或验证集，且验证集和测试集的数量相同。本文训练集、测试集、验证集的比例为6：2：2。线性插值法的公式如下所示，Pt-k为t时刻前推k个时刻的用电量，Pt+i为t时刻后推i个时刻的用电量，Pt为t时刻的用电量，其中，k取值范围为1至m1，i取值范围为1至m2：
Figure BDA0002629239900000101
步骤2：将训练集中用电量数据样本中用电类型标签为窃电标签的用电量数据样本运用自动编码器进行重构，并将重构后的用电量数据样本加入原来的训练集形成新的训练集，使得训练集中通过步骤1所采集的用电类型标签为窃电标签的用电量数据样本和通过重构后形成的用电类型标签为窃电标签的用电量数据样本之和，与通过步骤1所采集的用电标签类型为正常用电的用电量数据样本相等，或者为同一数量级；
自动编码器是一种自监督学习模型，编码网络是对样本数据进行特征提取，即通过多层全连接层进行自适应学习，学习输入样本数据向量之间的潜在规律，提取出向量维度更少的特征向量。既能保留输入数据向量的主要信息，又剔除了冗余信息。解码网络是还原数据，使得网络整体的损失函数最小。本发明运用由全连接层构成的自动编码器，损失函数为均方误差(Mean Square Error,简称MSE)函数，确保自动编码器的误差在规定范围内，规定范围为25％以下。自动编码器是由多个神经网络层堆叠起来的，可逐层分析性能使性能获取最大化，从而整个自动编码器能获取较好的性能。即编码网络和解码网络增加的每一层全连接网络层，都要测量不同的神经元节点个数下自动编码器的重构误差，选择使编码器重构误差最小的神经元节点个数。本发明通过比较输入输出样本数据之间的平均绝对百分比误差(Mean Absolute Percentage Error,简称MAPE)指标来衡量重构误差的大小。每确定一层网络层后，增添新的一层全连接层，通过重构误差大小确定新的一层全连接层的参数大小，直到自动编码器的重构误差达到事先规定的上限25％后，不再增加新的层数。该上限是测试经验总结出的，在此情况下，自动编码器重构效果好，且重构的数据与原始数据相似且有一定的区别。且要确保编码网络每一层神经元节点个数均比上一层神经元节点个数少。解码网络每一层神经元节点个数均比上一层神经元节点个数多。解码网络和编码网络的网络层神经元节点个数和层数成对称分布。运用确定好结构的自动编码器多次重构窃电用电样本并输出，与原来的训练集一起构成新的训练集，使得新重构的窃电样本和原来的窃电样本数量之和与正常用电样本数量相近，即窃电样本和正常用电样本的数量差在正常用电样本的10％以内，从而新的训练集中各类别数量平衡。如下所示依次为MSE函数和MAPE指标的公式，其中n为样本点总数目；yi、
Figure BDA0002629239900000111
分别为第i个样本点用户负荷的真实值和重构值：
Figure BDA0002629239900000112
Figure BDA0002629239900000113
步骤3：将原始训练集的用电量数据分别输入残差神经网络ResNet模型和长短期记忆网络LSTM模型进行窃电检测，通过指标结果选择综合测试结果最佳的ResNet模型和LSTM模型，使用三种指标结果为检出率、误警率和最高差值；
残差神经网络(Residual Network,简称ResNet)需要经过一层卷积层和一层池化层处理，输入数据为n*m的矩阵，经过一层卷积层处理后输出仍为n*m的矩阵，经过池化层处理，矩阵中每个2*2窗口中最大的数据将会输出，将会输出int(n/2)*int(m/2)的矩阵数据，int为向下取整函数，维度降低一半。而一个残差结构中主要包含了2层卷积层。因此含有1个残差单元结构的残差神经网络含有4层主要的网络层，将其记作res4。以此类推，含有2、4、6、8个残差单元的残差神经网络，分别记作res6、res10、res14、res18。太多的残差单元会导致神经网络的结构冗余，训练时间较长。而长短期记忆网络(Long-Short Term Memorynetworks,简称LSTM)中LSTM层数同样也有可能影响LSTM网络的窃电检测性能，将含有1、2、3、4层LSTM层的LSTM网络分别记作LSTM1、LSTM2、LSTM3、LSTM4。太多的LSTM层会导致神经网络的结构冗余，且信息会丢失。运用原先的训练集测试上述五种残差神经网络和四种长短期记忆网络，比较相应的指标结果，选择指标结果较好的神经网络结构。本方法使用三种指标结果，即检出率、误警率和最高差值。若三个指标均最好，则该模型结构综合测试结果最佳。否则，最高差值指标最好，则该模型结构综合测试结果最佳。检出率(Detection Rate,简称DR)表示实际正标签样本中分类正确的样本所占的比例。检出率越高，模型的性能越好。误警率(False Positive Rate,简称FPR)表示实际负标签样本中分类错误的样本所占的比例。误警率越低，模型的性能越好。最高差值(Highest Difference,简称HD)用来衡量检出率和误警率之间的最高差值。HD指标越高，模型的综合性能越好。三个指标结果的公式如下所示，其中真负类(True Negative,简称TN)表示负标签样本被正确分类为负标签样本的数量，假负类(False Negative,简称FN)表示负标签样本被错误分类为正标签样本的数量，真正类(True Positive,简称TP)表示正标签样本被正确分类为正标签样本的数量，假正类(False Positive,简称FP)表示正标签样本被错误分类为负标签样本的数量。正标签样本表示窃电样本，负标签样本表示正常样本。
Figure BDA0002629239900000121
Figure BDA0002629239900000122
HD＝DR-FPR
步骤4：运用选择出的合适的ResNet和LSTM模型搭建混合神经网络，通过测试选择合适的混合神经网络结构；
混合神经网络结构主要有两种，堆叠和拼接。具体搭建混合神经网络的方法有两种，拼接和堆叠。拼接处理方式通常有多个输入，输入数据通过残差神经网络隐含层和长短期记忆网络隐含层分别提取出特征向量A和B，拼接得到的一个特征向量C＝[A,B]堆叠方式的网络通常只有一个输入，将一个输入通过残差神经网络隐含层提取的特征向量D，输入长短期记忆网络隐含层进一步提取出特征向量E送入softmax分类器进行分类检测。运用原始的训练集进行测试，综合比较检出率、误警率和最高差值三个指标，若三个指标均最好，则该模型结构综合测试结果最佳。否则，最高差值指标最好，则该模型结构综合测试结果最佳，选择综合测试结果最佳的混合神经网络结构。
步骤5：对于所选择出的ResNet-LSTM混合神经网络结构运用不同的神经网络优化方法进行测试，选择出合适的神经网络优化方法，获得窃电检测模型；；
将选择出的ResNet-LSTM混合神经网络结构运用不同的神经网络优化方法，可选择的神经网络优化方法有RMSProp、Adam、Adadelta、Adamax、Nadam优化方法。运用原先的训练集进行训练，筛选出在数据不平衡条件下性能最佳的窃电检测模型。综合比较检出率、误警率和最高插值三个指标，选择出最合适的神经网络优化方法，若三个指标均最好，则该优化方法综合测试结果最佳。否则，最高差值指标最好，则该模型结构综合测试结果最佳，从而获得窃电检测模型。
步骤6：运用所得的新的训练集来训练窃电检测模型，使得神经网络在训练过程中调整神经网络隐含层神经元之间的权重，从而神经网络的损失函数达到最小，形成最终的窃电检测模型。
所述最终的窃电检测模型属于深度学习神经网络模型；深度学习神经网络模型在训练过程中，通过对训练集样本的学习，使得神经网络输出值的损失函数评价指标最小，在反复的训练迭代过程中，通过前向计算将输入样本数据特征逐层提取，同时误差也从浅层传播到高层，完成前向计算后，运用梯度下降法将误差不断反向传播更新每一层神经网络的权重参数，直至神经网络的损失函数的值最小，停止迭代，使用的损失函数为MSE函数，MSE函数的公式如下所示，其中n为样本点总数目，yi、
Figure BDA0002629239900000131
分别为第i个样本点用户负荷的真实值和重构值：
Figure BDA0002629239900000132
将此时的神经网络权重保存下来进行验证集验证，当验证集和训练集均获得所要求的数据处理结果范围，此时的神经网络便训练完成，用于处理相似的数据处理任务；梯度下降法是经典的误差反向传播时网络权重更新方法，具体公式如下所示：
Figure BDA0002629239900000133
式中，θn为第n次更新时的神经网络权重参数，L为神经网络的权重参数，η为每次更新神经网络权重时的幅度系数，记作学习率；在神经网络的训练过程中，可人为的设置调整学习率来改善神经网络的训练效果。
本发明进一步包括以下优选方案：
表1重构损失和节点个数的关系
Figure BDA0002629239900000134
在步骤2中，将数据集分为训练集、测试集和验证集后，首先确立自动编码器的总体重构损失阈值为25％。该上限是测试经验总结出的，在此情况下，自动编码器重构效果好，且重构的数据与原始数据相似且有一定的区别。且要确保编码网络每一层神经元节点个数均比上一层神经元节点个数少。解码网络每一层神经元节点数均比上一层神经元节点个数多。解码网络和编码网络的网络层神经元节点数和层数成对称分布。并先确定第一层的结构。自动编码器输入的数据维度为48，循环次数为500，优化器为adam优化器。由自动编码器原理，神经元节点数少于输入数据维度48，并且神经元节点数过少的话，会使得自动编码器自适应学习提取的特征向量丢失过多的信息，因此第一层的节点数本例设为12至46。由表1可知，测试第一层节点数为12到46的情况下自动编码器的重构损失，在第一层节点数为44节点时重构误差最小。由于输入样本数据均为窃电数据，用户习惯不一和窃电方式不一，因此在重构过程中损失较大。在44节点的情况下，重构损失为24.252％，已接近重构损失上限值。因此不再增加新的层数。最后确定使用具有一层隐含层的自动编码器提取特征并重构生成数量较少的窃电类样本数据。将重构的数据和训练集直接放在一起并打乱样本顺序一起组成新的训练集。若在选择自动编码器第一层隐含层神经元节点个数时，测试结果中所有的重构误差值均大于上限值，则进行随机地可重复性地复制数量较少的窃电类样本数据，使得窃电类样本数据和正常用电样本数据地数量相同。将复制的数据和训练集直接放在一起并打乱样本顺序一起组成新的训练集。
表2不同结构的残差神经网络窃电检测模型测试结果
Figure BDA0002629239900000141
表3不同结构的长短期记忆网络窃电检测模型测试结果
Figure BDA0002629239900000142
在步骤3中，训练过程中，由于在res14和res18的训练过程中，adam优化方法训练时间过长，超过18000秒，难以应用，因此更换adadelta优化方法。由表2可知，14层的残差神经网络在测试的残差网络结构中获得了最好的指标，检出率DR为76.575％，HD指标为71.809％，但其训练时间较长。因此选择指标性能较好且训练时间合适的res6做后续的研究，其中，epoch是指使用训练集的全部数据对模型进行一次完整训练。由表3可知，2层、3层、4层结构的LSTM均获得了较为理想的性能指标，且训练时间在合理范围，因此选择lstm2、lstm3、lstm4作为后续的研究。
表4不同结构的混合神经网络窃电检测模型测试结果
Figure BDA0002629239900000143
Figure BDA0002629239900000151
在步骤4中，通常不同类型的神经网络结构搭建混合神经网络时有两种处理方式，拼接(concatenate，简写为con)或堆叠(stack，简写为sta)。拼接处理方式通常有多个输入，将输入数据通过不同类型的神经网络隐含层提取的特征向量进行拼接，拼接得到的一个特征向量输入后续网络进行处理。堆叠方式的网络通常只有一个输入，将一个输入通过一种类型神经网络隐含层提取的特征向量输入其他类型的神经网络隐含值进一步提取特征。此处将由6层残差网络和2层长短期记忆网络拼接而成的网络记作res6lstm2_con，将6层残差网络和2层长短期记忆网络堆叠而成的网络记作res6lstm2_sta。res、lstm后的数字表示对应该网络部分的网络层数，con表示将两部分拼接构成混合神经网络，sta表示将两部分堆叠构成混合神经网络。测试的窃电检测二分类模型有res6lstm2_con、res6lstm3_con、res6lstm4_con、res6lstm2_sta、res6lstm3_sta、res6lstm4_sta共6个模型，6个模型的测试结果如表4所示。若检出率、误警率、最高差值三个指标均最好，则该模型结构综合测试结果最佳。否则，最高差值指标最好，则该模型结构综合测试结果最佳，由上述的模型中的测试结果可以看出完成测试的6种模型组合中，(1)res6lstm2_con模型的提取特征能力更强，窃电样本检出率大大提高，误警率指标表现略微下降，HD指标最好，达到了74.080％，整体指标最好；(2)res6lstm3_con、res6lstm4_con、res6lstm2_sta模型相比于卷积神经网络模型特征提取能力提升，网络结构合理，且检出率和最高差值指标相比于卷积神经网络有所提高；(3)res6lstm3_sta、res6lstm4_sta模型在误警率指标较好，但是检出率和最高差值指标均有所下降；因此，综合看来在测试的混合神经网络窃电模型中，res6lstm2_con、res6lstm3_con、res6lstm4_con、cnn2lstm2_sta、res6lstm2_sta均有效改善了窃电检测二分类模型的性能，其中res6lstm2_con最高差值指标最佳，综合评价改善明显，res6lstm2_con是测试性能最佳的ResNet-LSTM混合神经网络，因此将res6lstm2_con模型作为窃电检测方法中窃电检测二分类模型。
表5不同神经网络优化方法的res6lstm2_con窃电检测模型测试结果
Figure BDA0002629239900000161
在步骤5中，由测试结果表5可知，采用Adadelta神经网络优化方法的模型获得了最高的检出率和最好的最高差异指标，并且整体训练用时较短。虽然运用RMSProp神经网络优化方法的模型，获得了最短的训练用时，但是该模型的检出率指标和最高差异指标均不高。因此将运用Adadelta神经网络优化方法的res6lstm2_con窃电检测模型进行步骤6。
表6基于自动编码器和ResNet-LSTM的窃电检测方法测试结果
Figure BDA0002629239900000162
由表6所示，ae-res6lstm2_con表示经过自动编码器进行不平衡数据样本处理之后的res6lstm2_con窃电检测模型。经过自动编码器进行不平衡数据样本处理之后，窃电检测模型有效提高了模型对窃电样本的检出率，且作为综合评价指标的HD指标最高，该模型综合测试结果最好。
本申请还同时公开了一种基于前述基于ResNet-LSTM的窃电检测方法的检测系统，具体工作流程如图5所示。
基于ResNet-LSTM的窃电检测方法的检测系统包括采集标注和预处理模块、训练集重构模块、ResNet和LSTM模型选择模块、混合神经网络建构模块、神经网络优化模块、窃电检测模型模块，
采集标注和预处理模块采集用户设定时间周期内用电量数据样本，并对所采集的用户用电量数据样本进行用电类型标签标注和预处理，并且将其分成训练集、测试集和验证集，
其中，用户用电量数据样本的用电类型标签包括窃电标签和正常用电标签，
预处理是指对用电量数据进行异常值和重复采集值的剔除，以及对缺失值的处理；
训练集重构模块将训练集中用电量数据样本中用电类型标签为窃电标签的用电量数据样本运用自动编码器进行重构，并将重构后的用电量数据样本加入原来的训练集形成新的训练集，与通过步骤1所采集的用电标签类型为正常用电的用电量数据样本相等，或者为同一数量级；
ResNet和LSTM模型选择模块将原始训练集的用电量数据分别输入残差神经网络ResNet模型和长短期记忆网络LSTM模型进行窃电检测，通过指标结果选择综合测试结果最佳的ResNet模型和LSTM模型，使用三种指标结果为检出率、误警率和最高差值；
混合神经网络建构模块运用所选择出的ResNet模型和LSTM模型搭建混合神经网络，通过混搭方式搭建混合神经网络；
神经网络优化模块对于所选择出的ResNet-LSTM混合神经网络结构运用不同的神经网络优化方法进行测试，选择出合适的神经网络优化方法，获得窃电检测模型；
窃电检测模型模块运用所得的新的训练集来训练窃电检测模型，使得神经网络在训练过程中调整神经网络隐含层神经元之间的权重，从而神经网络的损失函数达到最小，形成最终的窃电检测模型。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (13)

1.一种基于ResNet-LSTM的窃电检测方法，其特征在于，该窃电检测方法包括以下步骤：
步骤1：采集用户设定时间周期内用电量数据样本，并对所采集的用户用电量数据样本进行用电类型标签标注和预处理，并且将其分成训练集、测试集和验证集，
其中，用户用电量数据样本的用电类型标签包括窃电标签和正常用电标签，预处理是指对用电量数据进行异常值和重复采集值的剔除，以及对缺失值的处理；
步骤2：将训练集中用电量数据样本中用电类型标签为窃电标签的用电量数据样本运用自动编码器进行重构，并将重构后的用电量数据样本加入原来的训练集形成新的训练集，与通过步骤1所采集的用电标签类型为正常用电的用电量数据样本相等，或者为同一数量级；
步骤3：将原始训练集的用电量数据分别输入残差神经网络ResNet模型和长短期记忆网络LSTM模型进行窃电检测，通过指标结果选择综合测试结果最佳的ResNet模型和LSTM模型，使用三种指标结果为检出率、误警率和最高差值；
步骤4：运用步骤3所选择出的ResNet模型和LSTM模型搭建混合神经网络，通过混搭方式搭建混合神经网络；
步骤5：对于步骤4所选择出的ResNet-LSTM混合神经网络结构运用不同的神经网络优化方法进行测试，选择出合适的神经网络优化方法，获得窃电检测模型；
步骤6：运用步骤2所得的新的训练集来训练窃电检测模型，使得神经网络在训练过程中调整神经网络隐含层神经元之间的权重，从而神经网络的损失函数达到最小，形成最终的窃电检测模型。
2.根据权利要求1所述基于ResNet-LSTM的窃电检测方法，其特征在于：
在步骤1中，所述异常值是指极大值和极小值，其中，对于在所述设定时间周期内，当某个用电量数据达到了该用户用电量数据样本中位数的10倍以上，则该数据为异常极大值；当某个用电量数据为负数，则该数据为异常极小值。
3.根据权利要求1所述基于ResNet-LSTM的窃电检测方法，其特征在于：
在步骤1中，所述缺失值的处理包括以下内容：
对于在所述设定时间周期内，当某一用户用电量数据样本的缺失值采样点数占整个设定时间周期内所有采样点数比例的20％以上，或者连续5个采样点的用电量数据缺失时，则认为该用户用电量数据样本缺失值情况严重，将该用电量数据样本直接进行剔除；
对于在所述设定时间周期内，当某一用户用电量数据样本的缺失值采样点数占整个设定时间周期内所有采样点数比例的20％及以下，或者少于连续5个采样点的用电量数据缺失时，则对数据缺失值的采样点以及将异常值剔除后的采样点进行线性插值。
4.根据权利要求1所述基于ResNet-LSTM的窃电检测方法，其特征在于：
在步骤1中，缺失值处理完成后对用户用电量数据进行划分，将用电量数据划分为完整的周用电记录，并对每个周用电记录均给出用电类型标签，完成数据集预处理，对于预处理完成的数据集，将其分成训练集、测试集、验证集，其中训练集的样本数量大于测试集或验证集，且验证集和测试集的样本数量相同。
5.根据权利要求1所述基于ResNet-LSTM的窃电检测方法，其特征在于：
所述训练集、测试集、验证集的比例为6：2：2。
6.根据权利要求1所述基于ResNet-LSTM的窃电检测方法，其特征在于：
在步骤2中，运用自动编码器对窃电数据样本进行重构，将重构的窃电数据和训练集直接放在一起并打乱样本顺序组成新的训练集，自动编码器使用的损失函数是衡量输入数据和输出数据重构误差的均方误差函数，确保自动编码器的误差在规定范围内，规定范围主要由平均绝对百分比误差MAPE指标来确定，MAPE指标为25％以下，则误差在规定范围内，自动编码器是由多个神经网络层堆叠起来的，编码网络和解码网络增加的每一层全连接网络层，都要测量不同的神经元节点个数下自动编码器的重构误差，选择使编码器重构误差最小的神经元节点个数，通过比较输入输出样本数据之间的平均绝对百分比误差MAPE指标来衡量重构误差的大小，每确定一层网络层后，增添新的一层全连接层，通过重构误差大小确定新的一层全连接层的神经元节点个数直到自动编码器的整体误差达到事先规定的上限25％后，不再增加新的层数，如下所示依次为MSE函数和MAPE指标的公式，其中n为样本点总数目；yi、
Figure FDA0004074824500000021
分别为第i个样本点用户负荷的真实值和重构值：
Figure FDA0004074824500000031
Figure FDA0004074824500000032
7.根据权利要求1所述基于ResNet-LSTM的窃电检测方法，其特征在于：
在步骤3中运用原始训练集的用电量数据训练并运用测试集进行测试，选择综合测试结果最佳的ResNet和LSTM模型，残差神经网络ResNet需要经过一层卷积层和一层池化层处理，输入数据为n*m的矩阵，经过一层卷积层处理后输出仍为n*m的矩阵，经过池化层处理，矩阵中每个2*2窗口中最大的数据将会输出，将会输出int(n/2)*int(m/2)的矩阵数据，int为向下取整函数；
运用原始训练集测试具有a个残差单元的ResNet和b层LSTM，比较相应的指标结果，选择指标结果较好的神经网络结构，其中，a的范围为1至8，b的范围为1至8，所使用的指标为检出率、误警率和最高差值，检出率DR表示实际正标签样本中分类正确的样本所占的比例，误警率FPR表示实际负标签样本中分类错误的样本所占的比例，最高差值HD用来衡量检出率和误警率之间的最高差值，三个指标结果的公式如下所示，其中，真负类TN表示负标签样本被正确分类为负标签样本的数量，假负类FN表示负标签样本被错误分类为正标签样本的数量，真正类TP表示正标签样本被正确分类为正标签样本的数量，假正类FP表示正标签样本被错误分类为负标签样本的数量，正标签样本表示窃电样本，负标签样本表示正常样本，
Figure FDA0004074824500000033
Figure FDA0004074824500000034
HD＝DR-FPR
其中，DR为检出率，FPR为误警率，HD为最高差值，TN为真负类，FN为假负类，TP为真正类，FP为假正类。
8.根据权利要求7所述基于ResNet-LSTM的窃电检测方法，其特征在于：
一个残差结构中主要包含了2层卷积层，因此含有1个残差单元结构的残差神经网络含有4层主要的网络层，将其记作res4，含有2、4、6、8个残差单元的残差神经网络，分别记作res6、res10、res14、res18，即a取值为1,2,4,6,8，将含有1、2、3、4层LSTM层的LSTM网络分别记作LSTM1、LSTM2、LSTM3、LSTM4，即b取值为1,2,3,4。
9.根据权利要求1所述基于ResNet-LSTM的窃电检测方法，其特征在于：
在步骤4中，以拼接方式形成混合神经网络，拼接方式的输入数据通过残差神经网络隐含层和长短期记忆网络隐含层分别提取出特征向量A和B，拼接得到的一个特征向量C＝[A,B]输入softmax分类器进行分类检测，通过测试所得的指标结果选择合适的混合神经网络结构，使用三种指标结果为检出率、误警率和最高差值。
10.根据权利要求1所述基于ResNet-LSTM的窃电检测方法，其特征在于：
在步骤4中，以堆叠方式形成混合神经网络，堆叠方式的网络只有一个输入，将一个输入通过残差神经网络隐含层提取的特征向量D，输入长短期记忆网络隐含层进一步提取出特征向量E输入softmax分类器进行分类检测，通过测试所得的指标结果选择合适的混合神经网络结构，使用三种指标结果为检出率、误警率和最高差值。
11.根据权利要求1所述基于ResNet-LSTM的窃电检测方法，其特征在于：
在步骤5中，将选择出的ResNet-LSTM混合神经网络结构运用不同的神经网络优化方法，可选择的神经网络优化方法包括RMSProp、Adam、Adadelta、Adamax、Nadam优化方法，运用原先的训练集进行训练，筛选出在数据不平衡条件下性能最佳的窃电检测模型，综合比较检出率、误警率和最高插值三个指标，选择出最合适的神经网络优化方法，获得窃电检测模型。
12.根据权利要求1所述基于ResNet-LSTM的窃电检测方法，其特征在于：
在步骤6中，所述最终的窃电检测模型属于深度学习神经网络模型；深度学习神经网络模型在训练过程中，通过对训练集样本的学习，使得神经网络输出值的损失函数评价指标最小，在反复的训练迭代过程中，通过前向计算将输入样本数据特征逐层提取，同时误差也从浅层传播到高层，完成前向计算后，运用梯度下降法将误差不断反向传播更新每一层神经网络的权重参数，直至神经网络的损失函数的值最小，停止迭代，使用的损失函数为MSE函数，MSE函数的公式如下所示，其中n为样本点总数目，yi、
Figure FDA0004074824500000041
分别为第i个样本点用户负荷的真实值和重构值：
Figure FDA0004074824500000042
将此时的神经网络权重保存下来进行验证集验证，当验证集和训练集均获得所要求的数据处理结果范围，此时的神经网络便训练完成，用于处理相似的数据处理任务；梯度下降法是经典的误差反向传播时网络权重更新方法，具体公式如下所示：
Figure FDA0004074824500000051
式中，θn为第n次更新时的神经网络权重参数，L为神经网络的权重参数，η为每次更新神经网络权重时的幅度系数，记作学习率；在神经网络的训练过程中，可人为的设置调整学习率来改善神经网络的训练效果。
13.一种利用权利要求1-12中任一权利要求所述基于ResNet-LSTM的窃电检测方法的检测系统，所述检测系统包括采集标注和预处理模块、训练集重构模块、ResNet和LSTM模型选择模块、混合神经网络建构模块、神经网络优化模块、窃电检测模型模块，其特征在于：
所述采集标注和预处理模块采集用户设定时间周期内用电量数据样本，并对所采集的用户用电量数据样本进行用电类型标签标注和预处理，并且将其分成训练集、测试集和验证集，
其中，用户用电量数据样本的用电类型标签包括窃电标签和正常用电标签，预处理是指对用电量数据进行异常值和重复采集值的剔除，以及对缺失值的处理；
所述训练集重构模块将训练集中用电量数据样本中用电类型标签为窃电标签的用电量数据样本运用自动编码器进行重构，并将重构后的用电量数据样本加入原来的训练集形成新的训练集，与通过步骤1所采集的用电标签类型为正常用电的用电量数据样本相等，或者为同一数量级；
所述ResNet和LSTM模型选择模块将原始训练集的用电量数据分别输入残差神经网络ResNet模型和长短期记忆网络LSTM模型进行窃电检测，通过指标结果选择综合测试结果最佳的ResNet模型和LSTM模型，使用三种指标结果为检出率、误警率和最高差值；
所述混合神经网络建构模块运用所选择出的ResNet模型和LSTM模型搭建混合神经网络，通过混搭方式搭建混合神经网络；
所述神经网络优化模块对于所选择出的ResNet-LSTM混合神经网络结构运用不同的神经网络优化方法进行测试，选择出合适的神经网络优化方法，获得窃电检测模型；
所述窃电检测模型模块运用所得的新的训练集来训练窃电检测模型，使得神经网络在训练过程中调整神经网络隐含层神经元之间的权重，从而神经网络的损失函数达到最小，形成最终的窃电检测模型。
CN202010806282.XA 2020-08-12 2020-08-12 一种基于ResNet-LSTM的窃电检测方法及系统 Active CN112098714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010806282.XA CN112098714B (zh) 2020-08-12 2020-08-12 一种基于ResNet-LSTM的窃电检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010806282.XA CN112098714B (zh) 2020-08-12 2020-08-12 一种基于ResNet-LSTM的窃电检测方法及系统

Publications (2)

Publication Number Publication Date
CN112098714A CN112098714A (zh) 2020-12-18
CN112098714B true CN112098714B (zh) 2023-04-18

Family

ID=73752818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010806282.XA Active CN112098714B (zh) 2020-08-12 2020-08-12 一种基于ResNet-LSTM的窃电检测方法及系统

Country Status (1)

Country Link
CN (1) CN112098714B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633604B (zh) * 2021-01-04 2022-04-22 重庆邮电大学 一种基于i-lstm的短期用电量预测方法
CN112633412B (zh) * 2021-01-05 2024-05-14 南方电网数字平台科技(广东)有限公司 异常用电检测方法、设备及存储介质
CN112836738B (zh) * 2021-01-29 2023-05-05 华能国际电力股份有限公司 基于bp神经网络的窃电行为检测方法
CN113017831A (zh) * 2021-02-26 2021-06-25 上海鹰瞳医疗科技有限公司 人工晶体植入术后拱高预测方法及设备
CN113222269A (zh) * 2021-05-24 2021-08-06 郑州轻工业大学 基于大数据和人工智能的信息处理方法、系统和存储介质
CN113408804B (zh) * 2021-06-24 2023-04-07 广东电网有限责任公司 窃电行为检测方法、系统、终端设备及存储介质
CN113469253B (zh) * 2021-07-02 2024-05-14 河海大学 一种基于三元组孪生网络的窃电检测方法
CN113822771B (zh) * 2021-07-21 2024-07-12 广西电网有限责任公司 一种基于深度学习的低误检率窃电检测方法
CN113589034B (zh) * 2021-07-30 2023-08-08 南方电网科学研究院有限责任公司 一种配电系统的窃电检测方法、装置、设备和介质
CN113902581B (zh) * 2021-08-04 2024-07-12 广西电网有限责任公司 一种基于深度自编码器高斯混合模型的用电异常检测方法
CN113744081B (zh) * 2021-08-23 2024-05-28 国网青海省电力公司信息通信公司 窃电行为分析方法
CN113408676A (zh) * 2021-08-23 2021-09-17 国网江西综合能源服务有限公司 一种结合云端与边端的窃电用户识别方法及装置
CN114021424B (zh) * 2021-09-29 2024-08-09 国网江苏省电力有限公司南京供电分公司 一种基于pca-cnn-lvq的电压暂降源识别方法
CN114239905A (zh) * 2021-10-29 2022-03-25 国网天津市电力公司 一种基于ResNet-LSTM的配电台区短期负荷预测方法及装置
CN114239725B (zh) * 2021-12-17 2023-04-21 四川大学 一种面向数据投毒攻击的窃电检测方法
CN114266925B (zh) * 2021-12-30 2022-09-30 华北电力大学 一种基于dlstm-rf的用户窃电检测方法及系统
CN114638269B (zh) * 2022-03-30 2024-03-08 西安热工研究院有限公司 一种基于时频特征与长短期记忆网络的窃电行为识别方法
CN114755529A (zh) * 2022-04-06 2022-07-15 重庆大学 一种基于深度学习的多特征融合单相接地故障类型辨识方法
CN115147135B (zh) * 2022-08-02 2023-10-24 国网江苏省电力有限公司苏州供电分公司 一种基于drsn的台区窃电用户识别方法、系统及装置
CN116089838B (zh) * 2023-03-01 2023-09-26 中南大学 窃电用户智能识别模型训练方法和识别方法
CN117495109B (zh) * 2023-12-29 2024-03-22 国网山东省电力公司禹城市供电公司 一种基于神经网络的窃电用户识别系统
CN118094441B (zh) * 2024-04-23 2024-07-23 山东省计算中心（国家超级计算济南中心） 一种基于相对熵优化的双重隐私保护电力盗窃检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886846A (zh) * 2017-04-26 2017-06-23 中南大学 一种基于长短期记忆循环神经网络的银行网点备付金预测方法
CN108537132A (zh) * 2018-03-16 2018-09-14 中国人民解放军陆军工程大学 一种基于监督学习的深度自动编码器的道路分割方法
CN108664990A (zh) * 2018-03-29 2018-10-16 清华大学 综合熵方法和密度聚类方法的窃电检测方法及装置
CN108846822A (zh) * 2018-06-01 2018-11-20 桂林电子科技大学 基于混合神经网络的可见光图像和红外光图像的融合方法
CN109255505A (zh) * 2018-11-20 2019-01-22 国网辽宁省电力有限公司经济技术研究院 一种多模型融合神经网络的短期负荷预测方法
CN110738264A (zh) * 2019-10-18 2020-01-31 上海眼控科技股份有限公司 异常样本筛选、清洗、训练方法、装置、设备和存储介质
CN111179972A (zh) * 2019-12-12 2020-05-19 中山大学 一种基于深度学习的人声检测算法
CN111461923A (zh) * 2020-04-03 2020-07-28 国网山东省电力公司聊城供电公司 一种基于深度卷积神经网络的窃电监测系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10375585B2 (en) * 2017-07-06 2019-08-06 Futurwei Technologies, Inc. System and method for deep learning and wireless network optimization using deep learning

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886846A (zh) * 2017-04-26 2017-06-23 中南大学 一种基于长短期记忆循环神经网络的银行网点备付金预测方法
CN108537132A (zh) * 2018-03-16 2018-09-14 中国人民解放军陆军工程大学 一种基于监督学习的深度自动编码器的道路分割方法
CN108664990A (zh) * 2018-03-29 2018-10-16 清华大学 综合熵方法和密度聚类方法的窃电检测方法及装置
CN108846822A (zh) * 2018-06-01 2018-11-20 桂林电子科技大学 基于混合神经网络的可见光图像和红外光图像的融合方法
CN109255505A (zh) * 2018-11-20 2019-01-22 国网辽宁省电力有限公司经济技术研究院 一种多模型融合神经网络的短期负荷预测方法
CN110738264A (zh) * 2019-10-18 2020-01-31 上海眼控科技股份有限公司 异常样本筛选、清洗、训练方法、装置、设备和存储介质
CN111179972A (zh) * 2019-12-12 2020-05-19 中山大学 一种基于深度学习的人声检测算法
CN111461923A (zh) * 2020-04-03 2020-07-28 国网山东省电力公司聊城供电公司 一种基于深度卷积神经网络的窃电监测系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于小样本学习的电力计量异常诊断研究;张琴斌;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20200315;全文 *

Also Published As

Publication number Publication date
CN112098714A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN112098714B (zh) 一种基于ResNet-LSTM的窃电检测方法及系统
CN108985330B (zh) 一种自编码网络及其训练方法、异常用电检测方法和系统
CN110097297B (zh) 一种多维度窃电态势智能感知方法、系统、设备及介质
CN111612651B (zh) 一种基于长短期记忆网络的异常电量数据检测方法
CN110108914B (zh) 一种反窃电智能化决策方法、系统、设备及介质
Cody et al. Decision tree learning for fraud detection in consumer energy consumption
CN111967512B (zh) 一种异常用电检测方法、系统和存储介质
CN109308571B (zh) 配电线路线变关系检测方法
CN108520357A (zh) 一种线损异常原因的判别方法、装置及服务器
CN107492043A (zh) 窃电分析方法及装置
CN110222991B (zh) 基于rf-gbdt的计量装置故障诊断方法
CN110045209A (zh) 用电数据异常的检测方法、装置、设备及可读存储介质
CN108761377A (zh) 一种基于长短时记忆模型的电能计量装置异常检测方法
CN114239725B (zh) 一种面向数据投毒攻击的窃电检测方法
CN113554361B (zh) 一种综合能源系统数据处理计算方法及处理系统
CN109934469A (zh) 基于异源交叉回归分析的停电敏感度预警方法及装置
CN113988210A (zh) 结构监测传感网失真数据修复方法、装置及存储介质
CN111143835B (zh) 基于机器学习的电力计量系统业务逻辑非侵入式防护方法
CN117452063A (zh) 一种半监督的窃电时间定位方法
CN114565038A (zh) 一种基于改进胶囊网络的智能电表故障诊断方法
CN115329839A (zh) 一种基于卷积自编码器和改进回归算法的窃电用户辨识和窃电量预测方法
AU2021106209A4 (en) Photovoltaic power generation three-layer screening power theft identification method based on feature mining
CN105005575A (zh) 一种企业智能预测快速开发接口方法
CN114021758A (zh) 一种基于梯度提升决策树与逻辑回归融合的运维人员智能推荐方法和装置
CN118194202A (zh) 基于横向联邦的窃电识别算法及其原型系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant