CN113469266B - 一种基于改进深度卷积神经网络的窃电行为检测方法 - Google Patents
一种基于改进深度卷积神经网络的窃电行为检测方法 Download PDFInfo
- Publication number
- CN113469266B CN113469266B CN202110796668.1A CN202110796668A CN113469266B CN 113469266 B CN113469266 B CN 113469266B CN 202110796668 A CN202110796668 A CN 202110796668A CN 113469266 B CN113469266 B CN 113469266B
- Authority
- CN
- China
- Prior art keywords
- data
- neural network
- convolutional neural
- dimensional data
- users
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005611 electricity Effects 0.000 title claims abstract description 66
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 title abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000011176 pooling Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000014509 gene expression Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 239000011800 void material Substances 0.000 claims description 3
- 229910052731 fluorine Inorganic materials 0.000 claims description 2
- 125000001153 fluoro group Chemical group F* 0.000 claims description 2
- 230000006399 behavior Effects 0.000 abstract description 27
- 230000006870 function Effects 0.000 abstract description 15
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 5
- 230000000737 periodic effect Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000007727 signaling mechanism Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Economics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Marketing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Human Resources & Organizations (AREA)
- Evolutionary Biology (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于改进深度卷积神经网络的窃电行为检测方法,包括:对用户用电量的原始数据进行预处理;将预处理后的数据分为以天为单位的一维数据和以周为单位的二维数据;在所述一维数据中添加注意力模块,再通过长度为α的全连接层得到宽度部分;将所述二维数据先通过R层空洞卷积,然后添加注意力模块,最后通过池化层以及长度为β的全连接层得到卷积神经网络部分;对网络进行训练;通过sigmoid函数对用电用户进行分类,从而得出用户是否窃电的结果。本发明基于现有的注意力模块分别对宽度部分和卷积神经网络部分的通道维度进行权值的分配,相比现有的深度学习方法,具有更高的收敛速度和计算效率,而且检测准确度更高。
Description
技术领域
本发明涉及电网的用电管理技术领域,特别涉及一种基于改进深度卷积神经网络的窃电行为检测方法。
背景技术
电力系统中的输配电损失是电力企业最关心的一个主题,其损失可以分为技术性损失,technical loss,TL)和非技术性损失(non-technical loss,NTL)两大类,而窃电是造成NTL最主要的原因。窃电用户通过非法途径篡改电表数据来达到减少或者避免电费支出,窃电行为不仅对电力企业有巨大的经济损失而且对电力装置产生巨大的破坏,因此需要对窃电行为进行准确检测,及时发现窃电行为,减少电力企业损失。
现有的窃电行为检测方法大多采用人工进行现场稽查,但是这种方法通常会消耗电力公司大量的人力和物力且效率低下。随着智能电网的发展,高级量测体系(advancedmetering infrastructure,AMI)在电力公司应用,使得智能化的检测方法逐步使用,但是现有的方法准确度不高且模型复杂。
发明内容
本发明的目的是提供一种基于改进深度卷积神经网络的窃电行为检测方法,可以解决现有技术的方法准确度不高且模型复杂的问题。
本发明的目的是通过以下技术方案实现的:
一种基于改进深度卷积神经网络的窃电行为检测方法,包括以下步骤:
对用户用电量的原始数据进行预处理;
将预处理后的数据分为以天为单位的一维数据和以周为单位的二维数据;
将所述一维数据先通过注意力模块,再通过长度为α的全连接层得到宽度部分;
将所述二维数据先通过R层空洞卷积,然后添加注意力模块,最后通过池化层以及长度为β的全连接层得到卷积神经网络部分;
将所述宽度部分和所述卷积神经网络部分采用Focal Loss作为损失函数对网络进行训练;
通过sigmoid函数对用电用户进行分类,从而得出用户是否窃电的结果。
进一步的,对用户用电量的原始数据进行预处理包括以下方式中的至少一种:
将赘余的数据进行过滤;
对离群值进行修复;
对原始数据进行缺失值处理。
进一步的,所述对离群值进行修复采用的公式为:
σ(Xi)表示为向量Xi的标准差;xi为某用户在一个周期内的电力消耗值;NaN表示xi为非数值符号或0时的值。
进一步的,所述对原始数据进行缺失值处理采用的公式为:
mean(Xi)表示为向量Xi的平均值;xi为某用户在一个周期内的电力消耗值;NaN表示xi为非数值符号或0时的值。
进一步的,得到所述宽度部分采用的线性模型为:
yj为全连接层的第j个神经元,n为一维数据的长度,wi,j代表第i个输入值和第j个神经元的权值,b1为偏置,xi为某用户在一个周期内的电力消耗值。
进一步的,通过sigmoid函数对用电用户进行分类,从而得出用户是否窃电的结果包括:宽度部分和卷积神经网络部分模型进行联合训练,并将两个模型的结果的加权和作为最终的预测结果:
P(Y=1|x)=δ(W[xWide,xCNN]+b);
其中,Y表示二分类标签,δ(·)为sigmoid激活函数,xWide和xCNN分别代表宽度部分和卷积神经网络部分的特征值,W表示宽度部分和卷积神经网络部分联合训练的权值,b为偏置。
进一步的,所述空洞卷积的数学表达式为:
x和y分别代表输入和输出,ω代表k×k的卷积核,d为第i卷积层对应的空洞率。
本发明的基于改进深度卷积神经网络的窃电行为检测方法,相对于现有技术,其有益效果主要体现在以下几个方面:
本发明具有如下技术效果:
本发明基于现有的注意力模块分别对wide component(宽度部分)和CNNcomponent(即卷积神经网络部分也就是深度部分)的通道维度进行权值的分配,相比现有的深度学习方法,具有更高的收敛速度和计算效率,而且检测准确度更高。
本发明通过基于所构建的Wide(宽度)和Deep(深度)部分,结合attention(注意力)模块进行检测,物理概念明确,算法思路清晰,分析计算层次分明且简便,可以有效解决对任意用电负荷进行窃电行为的检测问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为SENet模块示意图;
图2为本发明的基于改进深度卷积神经网络的窃电行为检测方法实施流程图;
图3为6种攻击模型和原始用户随时间变化的用电量图。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本公开的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
本发明的基于改进深度卷积神经网络的窃电行为检测方法,包括以下步骤:
步骤S1、对用户用电量的原始数据X进行预处理。
进一步的,对用户用电量的原始数据X进行预处理包括以下方式中的至少一种:
1.将赘余的数据进行过滤:剔除如银行、学校、政府部门等公用事业大用户;过滤因节假日用电量明显减少的居民假期用电数据。
为了减少不必要的分析工作量,使得分析更合理,首先滤除掉公用事业大用户。一般而言,这类大用户存在偷电行为的概率很低,因此默认为他们都是正常用电用户。其次,节假日的话,大部分用户由于出游、返乡等原因,会存在用电量明细比平时少的情况,为了分析更合理,这类数据也应该滤除。
2.对离群值进行修复:采用3σ定律(three-sigma rule of thumb)对离群值进行修复。
在原始数据中,发现存在一些错误值(即离群值),在此采用3σ定律(three-sigmarule of thumb)对离群值进行修复,具体的修复公式如下:
公式(1)中:σ(Xi)表示为向量Xi的标准差;xi为某用户在一个周期内(此为半小时)的电力消耗值;NaN表示xi为非数值符号或0时的值。
3.对原始数据X进行缺失值处理。
电力部门从计量自动化系统抽取的用电原始用电数据,因为某些原因,如电气部分被损坏、电阻老化、传输和连接错误等,可能会存在缺失值,因此需对数据进行补插值。在此,我们采用均值方法进行缺失值处理。其补插值公式如下:
公式(2)中,mean(Xi)表示为向量Xi的平均值。
步骤S2、将预处理后的数据分为以天为单位的一维数据和以周为单位的二维数据。
通过对预处理后的用电数据进行初步分析,发现原始数据格式为以天为单位用户的日用电量,即为一维的数据。而经过负荷曲线的观察,此数据存在无规则的波动,因此很难通过1-D(一维)数据捕捉到窃电用户和正常用户的关键周期特征。但是作为后续的算法研究,一维数据可以作为辅助特征进行分析。
然而,通过将原始数据进行处理以周为单位的2-D(二维)数据,即将数据分为每7天相加为一周的周用电量。通过以周为单位负荷曲线可以明显看到窃电用户和正常用户的负荷区别,即窃电用户存在用电峰值,之后会出现明显减少现象,而正常用户存在周期性波动规律。
为了进一步分析具有周期性规律的正常用户和非周期性规律的窃电用户。在此,通过计算Pearson相关系数(Pearson correlation coefficient,PCC)来对用电数据进行相关分析。可以很明显的发现,正常用户有更强的相关性,大部分PCC值大于0.8,甚至接近于1。但是大部分窃电用户的PCC值小于0.7,甚至部分为负数。
步骤S3、在步骤S2求得的一维数据中添加attention(注意力)模块,再通过长度为α的全连接层得到宽度部分(wide component)。
注意力机制的本质在于模仿人类视觉注意力机制,忽略掉上下文不相关的信息,其被广泛应用于自然语言处理里,如机器翻译、问答系统等。在神经网络里,注意力机制常用于通道维度里,从大量的输入信息里筛选出重要的信息然后给这些信息分配不同的权值。
针对求得的一维数据添加注意力模块,再通过长度为α的全连接层得到宽度部分。宽度部分的核心思想是结合线性模型的记忆能力发现特征之间的相关性。实际上,Wide模型就是一个广义线性模型:
式中,yj为全连接层的第j个神经元,n为一维输入数据(x)的长度,wi,j代表第i个输入值和第j个神经元的权值,b1为偏置,xi为某用户在一个周期内(此为半小时)的电力消耗值。
步骤S4、在步骤S2求得的二维数据先通过R层空洞卷积,然后添加attention(注意力)模块,最后通过池化层以及长度为β的全连接层得到卷积神经网络部分(CNNcomponent)。
卷积操作涉及到filter其用尺寸为3×3的卷积窗产生一个新的特征,该filter多用于图像处理领域,而二维用电数据需要设计一个独特的filter进行处理。在此考虑特征Cp+1,q+1,其通过下式求得:
式中,vp:p+2,q:q+2为窗的矩阵式,b2∈R为偏置,f(·)为非线性函数。而g1(·)由下式可得:
其中,g2(·)可由下式得:
g2(·)=g1(vT p:p+2,q:q+2)T (6)
在卷积操作过程中,采用R对深度CNN部分的卷积层进行控制。
针对求得的二维数据添加R层空洞卷积,然后添加attention(注意力)模块,在此,CNN部分也称为Deep部分(深度部分),其核心思想是DNN(Deep Neural Networks)模型的泛化能力(generalization),DNN模型是一个前馈神经网络。深度神经网络模型通常需要的输入是连续的稠密特征,对于稀疏,高维的类别特征,通常将其转换为低维的向量。通过使用二维的卷积层可以从二维的用电数据中有效的提取周期性特征。假设某用户在第p周的电能消耗值用向量vp表示,vp∈Rd,因一周是7天,所以d=7。某用户m周的电能消耗用下式表达:
SENet(Squeeze-and-Excitation Networks)是挤压和激励网络的简称。卷积神经网络建立在卷积运算的基础上,通过融合局部感受野内的空间信息和通道信息来提取信息特征,其旨在指导网络学习到不同通道间的相互依赖关系和重要程度,以此来对学习到的特征加权,实现隐式的attention。针对用电数据的特征,SENet专注于通道维度,通过显式地建模通道之间的相互依赖关系,自适应地重新校准通道式的特征响应。
SENet包括三个部分,即挤压和激励以及Reweight(重新赋权),如图1所示。SE模块主要包括Squeeze和Excitation两个操作,可以适用于任何映射Ftr:X→U,输入为X∈RH '×W'×C,输出U∈RH'×W'×C。以卷积为例,卷积核为V=[v1,v2,…,vC],其中vC表示第C个卷积核。那么输出U=[u1,u2,...,uC],其数学表达式如下:
由于卷积只是在一个局部空间内进行操作,U很难获得足够的信息来提取channel(通道)之间的关系,因为感受野比较小,这对于网络中靠前的卷积层更加突出。为此SENet提出Squeeze操作,将一个channel上整个空间特征编码为一个全局特征,采用globalaverage pooling(全局平均池化)来实现。其计算方法如下式:
式中,uc(i,j)代表在图片中的一个像素(这里代表某个用户的电能消耗值),X=[x1,x2,…,xC'],uc∈RH×W。表为2维空间操作。W和H分别代表图片的宽和高(在这里,代表一维数据的天和二维数据的周)。
Sequeeze操作得到了全局描述特征,我们接下来需要另外一种运算来抓取channel之间的关系。这个操作需要满足两个准则:首先要灵活,它要可以学习到各个channel之间的非线性关系;第二点是学习的关系不是互斥的,因为这里允许多channel特征,而不是one-hot形式。基于此,这里采用sigmoid形式的gating机制:
s=Fex(z,W)=σ(g(z,W))=σ(W2δ(W1z)) (10)
式中,为了降低模型复杂度以及提升泛化能力,这里采用包含两个全连接层的bottleneck结构,其中第一个FC层起到降维的作用,降维系数为r是个超参数,再采用ReLU函数进行激活。最后的采用FC层恢复原始的维度。最后将学习到的各个channel的权值乘以U上的原始特征,其输出的SENet结果如下:
式中,uc代表通过计算出的每个通道上的特征图,sc代表通道权值。从上述整个操作可看成学习到了各个channel的权重系数,从而使得模型对各个channel的特征更有辨别能力,这就构成了一种attention机制。
为获得电力消耗数据的全局信息,提升模型精度,使用空洞卷积捕获更大的感受野。
电力消耗数据存在时间维度上的相关性,有必要捕获更大的感受野,获得全局信息,提升模型精度。使用空洞卷积(Dilated Convolution)在不损失信息的情况下,加大了感受野,让每个卷积输出都包含较大范围的信息,从而捕获更大的感受野,获得输入数据的全局信息。其数学表达式如下:
公式中x和y分别代表输入和输出,ω代表k×k的卷积核,d为第i卷积层对应的空洞率。而输出特征图的大小如下式:
公式中特征图的大小为(H,W),卷积核的大小为(FH,FW),padding(填充)值为P,步长为S。
步骤S5、将步骤S3和步骤S4分别得到的宽度部分和卷积神经网络部分采用FocalLoss作为损失函数对网络进行训练。
池化层在CNN中用于对数据进行降维、降低信息冗余、控制神经网络的收敛(防止过拟合)。针对用电数据的特征,采用最大值池化(max pooling)操作,即取局部接受域中值最大的点。
探索如何对Wide CNN(宽度部分)和Deep CNN(深度部分)获得的特征表达进行有效融合,可以提升模型性能。为此,采用通道维度的自适应注意力模块,对Wide CNN和DeepCNN获得的特征表达进行自适应融合,提高模型训练精度。
虽然在实际中,窃电行为造成了严重的经济损失,但在数据集中,异常用电用户占全部用户的比例通常很低。用电数据存在严重的样本不均衡问题,容易导致分类模型存在很严重的偏向性,进而影响分类精度。Focal Loss是在交叉熵损失函数基础上进行的修改,交叉熵损失(Cross Entropy Loss)函数的表达式为:
式中,y∈{±1}表示为标注数据;p∈[0,1]表示标签为y=1时的模型预测可能性。为了简化计算,我们定义pt为:
交叉熵损失函数可以简化为CE(p,y)=CE(pt)=-log(pt)。为了处理数据样本不均衡问题,对于标签y=1引入权值系数αt∈[0,1],标签y=-1引入1-αt。因此可以通过设定αt的值来控制正负样本对总的损失共享权重。αt平衡下的交叉熵损失函数的表达式为:
CE(pt)=-αtlog(pt) (16)
Focal Loss的表达式为:
FL(pt)=-(1-pt)γlog(pt) (17)
式中,在交叉熵损失函数中添加调制因子(1-pt)γ,其中采用了可调聚集参数γ(γ≥0)。而实际中,我们采用如下公式:
FL(pt)=-αt(1-pt)γlog(pt) (18)
公式18结合了公式(16)和公式(17),这样既能调整正负样本的权重,又能控制难易分类样本的权重。
步骤S6、通过sigmoid函数σ(·)对用电用户进行分类,从而得出用户是否窃电的结果。
Wide部分和Deep部分模型进行联合训练,并将两个模型的结果的加权和作为最终的预测结果:
P(Y=1|x)=δ(W[xWide,xCNN]+b) (19)
式(19)中,Y表示二分类标签,δ(·)为sigmoid激活函数,xWide和xCNN分别代表宽度部分和深度部分的特征值,W表示宽度部分和深度部分联合训练的权值,b为偏置。
本发明的有益效果通过如下两种数据集分别进行验证,具体如下:
1、利用爱尔兰公司(Irish Smart EnergyTrail,ISET)提供的数据集对本文提出的改进深度神经网络的窃电行为检测模型进行训练和测试。
为了验证本文提出算法的有效性和准确性,模型实验平台基于64位拥有12核的Intel Core i7-8750H 2.20-GHz CPU,使用Python、Numpy、Pandas、TensorFlow和Keras。ISET数据集拥有超过5000个居民和商业用户的用电数据,记录了从2009年至2010年间超过500天的数据。在该数据集中,包含6个文件夹,每个文件夹中包含每一个用户533天的用电数据(数据以每半小时进行采集),因此用户的日用电量可以用一个包含48个分量的向量表示,即X=[x1,x2,…,x48]。在此,假设所有的用户用电数据没有被窃电者进行篡改,即都是正常用户。为了试验验证需要,本文为了模型产生窃电行为,用6种攻击行为模拟常见的窃电行为,对上述数据进行篡改。表1为这6中攻击行为的数学表达式。
表1、6种窃电攻击模型
在以上6种攻击类型中,类型1表示用电数据乘以一个相同的随机参数α;类型2表示用电数据乘以一个不同的随机参数αt;类型3表示在t1-t2期间(t1-t2用为大于6小时的时间段)用户电表的读数为其本身,而在其他时间用户电表的读数为0。类型5表示用电数据的平均数;类型4表示用电数据的平均数再乘以一个随机参数αt;类型6表示窃电用户颠倒一天内的用户用电数据。为了可视化以上6种窃电攻击模型,图3展示了6种攻击模型和原始用户随时间变化的用电消耗情况。
在用户533天的样本中随机选择50%的样本使用上述6种窃电手段产生窃电行为,然后随机选择70%的数据作为训练集,剩余30%的数据作为验证集,通过30个用户用电数据进行重复试验,以验证模型的有效性。试验结果如表2所示。其中,AUC值常被用于评价分类方法的准确性指标,当随机挑选一个正样本以及一个负样本,当前的分类算法根据计算得到的分数将这个正样本排在负样本前面的概率就是AUC值。AUC的定义如下公式:
式中,Ranki代表样本i的排序值,M为正样本的个数,N为负样本的个数。而MAP常用于判断信息检索的质量,在本文中,我们使用MAP对模型的准确度进行评估。在引入MAP之前,先介绍P@k,其为位置k的精度,公式如下:
式中,Yk代表在位置k之前,正确预测窃电用户的个数。MAP@N的公式如下:
式中,r代表前N个标签内,预测窃电用户的个数;ki表示窃电用户的位置。
模型类型 | AUC | ACC(准确率) | Recall(召回率) | F<sub>1</sub>值 | MAP@100 |
SVM | 0.6846 | 0.7463 | 0.7829 | 0.7775 | 0.9061 |
随机森林 | 0.7257 | 0.7525 | 0.7629 | 0.7525 | 0.8569 |
WideandDeepCNN | 0.7282 | 0.7775 | 0.7742 | 0.7463 | 0.9061 |
本文方法 | 0.8547 | 0.9143 | 0.9166 | 0.8843 | 0.9153 |
表2在ISET数据集下不同模型下窃电行为检测结果
由表2可知,在ISET数据模拟窃电行为下,本文所提改进方法的各项指标均优于其他方法,其召回率约为92%,明显好于其他模型。
2、利用中国国家电网公司(State Grid Corporation of China,SGCC)提供的某省电网公司数据集对本文提出的改进深度神经网络的窃电行为检测模型进行训练和测试。
该数据集包含42372个用户从2014年1月至2016年十月接近147周中每天的用电量数据,它将数据分为正常数据和窃电数据,并拥有是否窃电的标签,而窃电用户占总用户的8.55%。该数据集在本文所提方法的验证环境和前一个数据集下的相同。表3为实验验证的结果。
模型类型 | AUC | ACC(准确率) | Recall(召回率) | F<sub>1</sub>值 | MAP@100 |
SVM | 0.7276 | 0.7828 | 0.6939 | 0.3651 | 0.7244 |
随机森林 | 0.7372 | 0.7628 | 0.7525 | 0.4712 | 0.9259 |
WideandDeepCNN | 0.7860 | 0.7742 | 0.7622 | 0.4067 | 0.9686 |
本文方法 | 0.7966 | 0.9139 | 0.9159 | 0.4761 | 0.9708 |
表3在SGCC数据集下不同模型下窃电行为检测结果
由表3可知,在SGCC数据下,本文所提改进方法的各项指标也均优于其他方法,其召回率约为91.6%且ACC为91.4%,明显好于其他模型。
由上述可以看出,本文提出了基于改进深度卷积神经网络的窃电行为检测方法实现了在不同数据集下的对各种窃电行为进行准确的检测,结果表明:将一位数据到二维数据的变换可为模型的训练提供更有明显的特征,Focal Loss加入到模型的训练,增强了少类别样本对模型优化的贡献,在一定程度上提升了模型的性能;空洞卷积促进模型学习全局信息,有效提升了精度;在引入自适应注意力模块后,对wide CNN和deep CNN获得的特征表达进行自适应融合,提高了模型训精度。相比常用的机器学习方法,本文提出的算法模型结构层次清晰,分别结合了宽度部分的记忆功能以及深度部分的泛化性能,具有较高的检测准确度,满足各种窃电行为检测的要求,为电力公司现场窃电稽查和取证提供有效判别依据。
以上仅为说明本发明的实施方式,并不用于限制本发明,对于本领域的技术人员来说,凡在本发明的精神和原则之内,不经过创造性劳动所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于改进深度卷积神经网络的窃电行为检测方法,其特征在于,包括以下步骤:
对用户用电量的原始数据进行预处理;
将预处理后的数据分为以天为单位的一维数据和以周为单位的二维数据;
将所述一维数据先通过注意力模块,再通过长度为α的全连接层得到宽度部分;
将所述二维数据先通过R层空洞卷积,然后添加注意力模块,最后通过池化层以及长度为β的全连接层得到卷积神经网络部分;
将所述宽度部分和所述卷积神经网络部分采用Focal Loss作为损失函数对网络进行训练;
通过sigmoid函数对用电用户进行分类,从而得出用户是否窃电的结果;
对用户用电量的原始数据进行预处理包括以下方式中的至少一种:
将赘余的数据进行过滤;
对离群值进行修复;
对原始数据进行缺失值处理;
所述对离群值进行修复采用的公式为:
σ(Xi)表示为向量Xi的标准差;xi为某用户在一个周期内的电力消耗值;NaN表示xi为非数值符号或0时的值;
所述对原始数据进行缺失值处理采用的公式为:
mean(Xi)表示为向量Xi的平均值;
得到所述宽度部分采用的线性模型为:
yj为全连接层的第j个神经元,n为一维数据的长度,wi,j代表第i个输入值和第j个神经元的权值,b1为偏置;
通过sigmoid函数对用电用户进行分类,从而得出用户是否窃电的结果包括:宽度部分和卷积神经网络部分模型进行联合训练,并将两个模型的结果的加权和作为最终的预测结果:
P(Y=1|x)=δ(W[xWide,xCNN]+b);
其中,Y表示二分类标签,δ(·)为sigmoid激活函数,xWide和xCNN分别代表宽度部分和卷积神经网络部分的特征值,W表示宽度部分和卷积神经网络部分联合训练的权值,b为偏置;
所述空洞卷积的数学表达式为:
x和y分别代表输入和输出,ω代表k×k的卷积核,d为第i卷积层对应的空洞率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110796668.1A CN113469266B (zh) | 2021-07-14 | 2021-07-14 | 一种基于改进深度卷积神经网络的窃电行为检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110796668.1A CN113469266B (zh) | 2021-07-14 | 2021-07-14 | 一种基于改进深度卷积神经网络的窃电行为检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113469266A CN113469266A (zh) | 2021-10-01 |
CN113469266B true CN113469266B (zh) | 2022-08-23 |
Family
ID=77880314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110796668.1A Active CN113469266B (zh) | 2021-07-14 | 2021-07-14 | 一种基于改进深度卷积神经网络的窃电行为检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113469266B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114239725B (zh) * | 2021-12-17 | 2023-04-21 | 四川大学 | 一种面向数据投毒攻击的窃电检测方法 |
CN116500335B (zh) * | 2023-06-30 | 2023-10-13 | 国网山东省电力公司邹城市供电公司 | 基于一维特征和二维特征的智能电网窃电检测方法及系统 |
CN117033916A (zh) * | 2023-07-10 | 2023-11-10 | 国网四川省电力公司营销服务中心 | 一种基于神经网络的窃电检测方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110020682A (zh) * | 2019-03-29 | 2019-07-16 | 北京工商大学 | 一种基于小样本学习的注意力机制关系对比网络模型方法 |
CN110445126A (zh) * | 2019-06-25 | 2019-11-12 | 中国电力科学研究院有限公司 | 一种非侵入式负荷分解方法及系统 |
CN111461923A (zh) * | 2020-04-03 | 2020-07-28 | 国网山东省电力公司聊城供电公司 | 一种基于深度卷积神经网络的窃电监测系统和方法 |
CN111507752A (zh) * | 2020-03-26 | 2020-08-07 | 杭州电子科技大学 | 基于双向长短期记忆网络的异常用户行为识别方法 |
CN111797717A (zh) * | 2020-06-17 | 2020-10-20 | 电子科技大学 | 一种高速高精度的sar图像船只检测方法 |
CN112233129A (zh) * | 2020-10-20 | 2021-01-15 | 湘潭大学 | 基于深度学习的并行多尺度注意力机制语义分割方法及装置 |
CN112508242A (zh) * | 2020-11-25 | 2021-03-16 | 中车永济电机有限公司 | 一种风力发电机轴承故障定位及分类模型的构建方法 |
CN112632993A (zh) * | 2020-11-27 | 2021-04-09 | 浙江工业大学 | 一种基于卷积注意力网络的电力计量实体识别模型的分类方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10839543B2 (en) * | 2019-02-26 | 2020-11-17 | Baidu Usa Llc | Systems and methods for depth estimation using convolutional spatial propagation networks |
-
2021
- 2021-07-14 CN CN202110796668.1A patent/CN113469266B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110020682A (zh) * | 2019-03-29 | 2019-07-16 | 北京工商大学 | 一种基于小样本学习的注意力机制关系对比网络模型方法 |
CN110445126A (zh) * | 2019-06-25 | 2019-11-12 | 中国电力科学研究院有限公司 | 一种非侵入式负荷分解方法及系统 |
CN111507752A (zh) * | 2020-03-26 | 2020-08-07 | 杭州电子科技大学 | 基于双向长短期记忆网络的异常用户行为识别方法 |
CN111461923A (zh) * | 2020-04-03 | 2020-07-28 | 国网山东省电力公司聊城供电公司 | 一种基于深度卷积神经网络的窃电监测系统和方法 |
CN111797717A (zh) * | 2020-06-17 | 2020-10-20 | 电子科技大学 | 一种高速高精度的sar图像船只检测方法 |
CN112233129A (zh) * | 2020-10-20 | 2021-01-15 | 湘潭大学 | 基于深度学习的并行多尺度注意力机制语义分割方法及装置 |
CN112508242A (zh) * | 2020-11-25 | 2021-03-16 | 中车永济电机有限公司 | 一种风力发电机轴承故障定位及分类模型的构建方法 |
CN112632993A (zh) * | 2020-11-27 | 2021-04-09 | 浙江工业大学 | 一种基于卷积注意力网络的电力计量实体识别模型的分类方法 |
Non-Patent Citations (1)
Title |
---|
基于深度学习的手语识别及步态预测;吕钦;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20200215;I138-1177 * |
Also Published As
Publication number | Publication date |
---|---|
CN113469266A (zh) | 2021-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113469266B (zh) | 一种基于改进深度卷积神经网络的窃电行为检测方法 | |
Luo et al. | A two-stage supervised learning approach for electricity price forecasting by leveraging different data sources | |
CN110348624B (zh) | 一种基于Stacking集成策略的沙尘暴等级预测方法 | |
CN104408667B (zh) | 一种电能质量综合评估的方法和系统 | |
CN113961759A (zh) | 基于属性图表示学习的异常检测方法 | |
CN110046764A (zh) | 预测客流量的方法及装置 | |
CN109919236A (zh) | 一种基于标签相关性的bp神经网络多标签分类方法 | |
CN115564194A (zh) | 智能电网的计量异常诊断信息生成模型构建方法及系统 | |
Fan | Research on deep learning energy consumption prediction based on generating confrontation network | |
CN117439045A (zh) | 综合能源系统多元负荷预测方法 | |
CN114595952A (zh) | 基于注意力网络改进卷积神经网络的窃电行为检测方法 | |
CN109034453A (zh) | 一种基于多标记神经网络的短期电力负荷预测方法 | |
CN115293249A (zh) | 一种基于动态时序预测的电力系统典型场景概率预测方法 | |
Wang et al. | Real distorted images quality assessment based on multi-layer visual perception mechanism and high-level semantics | |
CN113515614A (zh) | 基于知识蒸馏的属性识别方法、终端设备及存储介质 | |
Zhou et al. | Statistics-based method for large-scale group decision-making with incomplete linguistic distribution fuzzy information: Incorporating reliability and entropy | |
CN113723660A (zh) | 一种基于dnn-lstm融合模型的特定行为类型预测方法及系统 | |
Meng et al. | Classification of customer service tickets in power system based on character and word level semantic understanding | |
Chen et al. | Multi-factor stock selecting model based on residual net and LSTM deep learning algorithm | |
Shi et al. | Prediction and Impact Analysis of Passenger Flow in Urban Rail Transit in the Postpandemic Era | |
CN112508734A (zh) | 基于卷积神经网络的电力企业发电量的预测方法及装置 | |
Li | Economic Development Analysis of China’s Coastal Industries Based on Deep Learning and SDA Model Weighting | |
Hu et al. | Probabilistic net load forecasting based on transformer network and Gaussian process-enabled residual modeling learning method | |
Wu et al. | CO2 emission forecasting based on nonlinear grey Bernoulli and BP neural network combined model | |
Ni et al. | A WOA-CNN-BiLSTM-based multi-feature classification prediction model for smart grid financial markets |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |