CN114239725B - 一种面向数据投毒攻击的窃电检测方法 - Google Patents

一种面向数据投毒攻击的窃电检测方法 Download PDF

Info

Publication number
CN114239725B
CN114239725B CN202111551163.5A CN202111551163A CN114239725B CN 114239725 B CN114239725 B CN 114239725B CN 202111551163 A CN202111551163 A CN 202111551163A CN 114239725 B CN114239725 B CN 114239725B
Authority
CN
China
Prior art keywords
data
electricity
time sequence
layer
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111551163.5A
Other languages
English (en)
Other versions
CN114239725A (zh
Inventor
周颖杰
李政辉
杨松
张颉
吕建成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202111551163.5A priority Critical patent/CN114239725B/zh
Publication of CN114239725A publication Critical patent/CN114239725A/zh
Application granted granted Critical
Publication of CN114239725B publication Critical patent/CN114239725B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Economics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向数据投毒攻击的窃电检测方法,通过采集用户用电数据,并对用户用电数据进行预处理,得到预处理后的用户用电数据集;构建初始窃电检测模型,并利用预处理后的用户用电数据集训练窃电检测模型,得到窃电检测模型;并利用窃电检测模型检测待测数据,得到待测数据的检测结果,完成窃电检测;本发明通过构建窃电检测模型,利用长短时记忆网络、带注意力机制的多尺度卷积神经网络以及多层感知机网络完善用户用电数据的特征表达,并利用多样性计算法构建损失函数训练窃电检测模型,使窃电检测模型中长短时记忆网络、带注意力机制的多尺度卷积神经网络提取的特征更具差异化,且相互补充,提高模型系统的鲁棒性,更具泛化能力。

Description

一种面向数据投毒攻击的窃电检测方法
技术领域
本发明涉及窃电检测领域,具体涉及一种面向数据投毒攻击的窃电检测方法。
背景技术
窃电者通过非法手段减少电表记录其用电量的行为,会造成严重的经济损失且危害电网系统的正常运行。针对窃电问题,现有的一些数据驱动型窃电检测方法往往需要较多带标签的用电数据来训练窃电检测模型,并且隐含地假设了参与模型训练的用电数据是被正确标记的。然而,实际场景中,参与窃电检测模型训练的用户用电数据可能带有错误的标签;例如,一些研究者可能从网上收集了大量用户用电数据,但有些数据的来源并不能保证完全可靠,一些有非法意图的攻击者可能将异常用电数据标签篡改为正常的。此外,电力公司未检测出有窃电行为而实际存在窃电行为的用户,其用电数据可能会被认为是正常的用电数据而用于窃电检测模型的训练。对于这种使用了带有错误标签的用电数据训练窃电检测模型的情况,在窃电检测中被称之为遭受了数据投毒攻击,在数据投毒情况下,带有错误标签的数据被窃电检测模型使用后会混淆模型的决策边界,导致模型的检测性能下降。
发明内容
针对现有技术中的上述不足,本发明提供了一种面向数据投毒攻击的窃电检测方法,在遭受训练数据标签反转的数据投毒攻击下,降低数据投毒攻击的影响程度,并提供模型鲁棒性更高的窃电检测方法。
为了达到上述发明目的,本发明采用的技术方案为:
一种面向数据投毒攻击的窃电检测方法,包括以下步骤:
S1、采集用户用电数据,并对用户用电数据进行预处理,得到预处理后的用户用电数据集;
S2、构建初始的窃电检测模型,并利用多样性计算法结合预处理后的用户用电数据集训练窃电检测模型,得到窃电检测模型;
S3、利用窃电检测模型检测待测数据,得到待测数据的检测结果。
优选地,步骤S1具体包括以下分步骤:
S11、采集用户用电数据,并划分为训练数据集与测试数据集;
S12、利用过采样算法对训练数据集进行数据均衡处理,得到均衡后的训练数据集;
S13、对均衡后的训练数据集进行数据投毒,得到预处理后的用户用电数据集。
该优选方案具有以下有益效果:
对采集的用户数据进行预处理,增加后续的窃电检测模型提取数据特征的准确性。
优选地,步骤S2具体包括以下分步骤:
S21、构建长短时记忆网络,并利用长短时记忆网络提取预处理后的用户用电数据集的全局时序特征;
S22、构建带注意力机制的多尺度卷积神经网络,并利用带注意力机制的提取预处理后的用户用电数据集的局部时序特征;
S23、对全局时序特征与局部时序特征进行特征融合,得到融合后的时序特征;
S24、构建多层感知机网络,根据融合后的时序特征得到二分类概率;
S25、构建损失函数,迭代训练窃电检测模型。
该优选方案具有以下有益效果:
利用长短时记忆网络以及带注意力机制的多尺度卷积神经网络从用户用电数据提取全局时序特征和多尺度的局部时序特征,以获取用户用电数据更为完整的特征表达,提高检测的精准性,并利用多样性计算提升窃电检测模型的鲁棒性。
优选地,步骤S21具体为:
利用不少于2个LSTM层,堆叠构建得到长短时记忆网络,并利用构建的长短时记忆网络提取预处理后的用户用电数据集,得到全局时序特征,其全局时序特征提取过程的表达式表示为:
Figure BDA0003417235430000031
其中,
Figure BDA0003417235430000032
为第l个LSTM层的提取的全局时序特征,
Figure BDA0003417235430000033
为第l-1个LSTM层的提取的全局时序特征,LSTM(.)为LSTM层运算。
该优选方案具有以下有益效果:
构建长短时记忆网络从用户用电数据提取全局时序特征,以获取用户用电数据更为完整的特征表达,帮助提升窃电检测模型的检测性能。
优选地,步骤S22具体包括以下分步骤:
S221、构建多尺度的一维卷积模块,提取预处理后的用户用电数据集中不同尺度的输出特征;
S222、拼接不同尺度的一维卷积模块,并根据拼接的不同尺度的输出特征,得到多尺度的初始局部时序特征;
S223、构建注意力机制网络,并利用注意力机制网络对初始局部时序特征进行权重分配。
该优选方案具有以下有益效果:
构建带有注意力机制的多尺度卷积神经网络,从用户用电数据中提取多尺度的局部特征,以从不同角度反映用户的用电特征,帮助提升模型的检测性能。
优选地,步骤S221具体包括以下分步骤:
A1、利用不少于2层的卷积层提取预处理后的用户用电数据集的输出特征,得到初始输出特征,其初始输出特征的表达式表示为:
Figure BDA0003417235430000041
其中,
Figure BDA0003417235430000042
为第i个一维卷积模块中第l个卷积层的初始输出特征,Conv1d为一维卷积运算,
Figure BDA0003417235430000043
为第i-1个一维卷积模块中第l-1个卷积层的初始输出特征;
A2、在各卷积层中最后一个卷积模块后添加池化层,得到一维卷积模块,并利用池化层对初始输出特征进行全局池化,得到不同尺度的输出特征,其全局池化的表达式表示为:
Figure BDA0003417235430000044
其中,fp,i为第i个一维卷积模块中池化层输出特征,Pooling为全局池化运算。
该优选方案具有以下有益效果:
构建不同尺度的卷积模块,利用不同尺度的卷积模块从用户用电数据中初步提取不同尺度的局部时序特征,帮助后续获取更完整的多尺度局部时序特征。
优选地,步骤S223具体包括以下分步骤:
B1、构建池化层,并对初始局部时序特征进行全局池化,得到池化后特征;
B2、构建不少于两层全连接层,并学习池化后特征各尺度的权重,表示为:
Zs=σ(W2δ(W1Zp))
其中,Zs为池化后特征各尺度的权重,σ为Sigmoid函数,W1为第一全连接层的权重,W2为第二全连接层的权重,δ为Relu函数,Zp为池化后特征;
B3、利用权重对多尺度的初始局部时序特征进行加权,得到加权后的局部时序特征;
B4、对加权后的局部时序特征进行展平操作,得到预处理后的用户用电数据集的局部时序特征。
该优选方案具有以下有益效果:
构建注意力模块,为初步提取的多尺度局部时序特征分配不同的权重,以突出重要的特征,抑制不重要的特征,获取更完整的特征表达。
优选地,步骤S24具体为:
通过不少于2个的全连接层构建多层感知机网络,利用全连接层对融合后的时序特征进行学习,得到用于判断输入样本为正常用电数据还是异常用电数据的二分类概率,其二分类概率计算式表示为:
y′=Softmax(δ(Wlul-1+bl))
其中,y′为输入样本的二分类概率值,δ为Relu激活函数,Wl、bl分别为第l层全连接的权重和偏置;ul为多层感知机网络中第l个全连接层的输出。
该优选方案具有以下有益效果:
构建多层感知机网络,对融合后的全局时序特征和局部时序特征进行进一步学习,充分学习到用户的用电模式,最终输出更准确的判定结果。
优选地,步骤S25具体为:
利用多样性计算法结合长短时记忆网络以及多尺度卷积神经网络构建的输出多样性,与窃电检测模型的主损失计算得到损失函数,对窃电检测模型进行迭代训练,其中,利用多样性计算法结合长短时记忆网络以及多尺度卷积神经网络得到输出多样性的计算式表示为:
Lr=Lp-(βLh+γLe)
其中,Lr为由长短时记忆网络以及多尺度卷积神经网络构建的输出多样性的参数值,Lp为长短时记忆网络和多尺度卷积神经网络输出的带权交叉熵误差,β,γ分别为超参数,Lh为对短时记忆网络和多尺度卷积神经网络输出的香农熵计算结果,Le为多样性度量。
该优选方案具有以下有益效果:
在窃电检测模型训练过程中加入对长短时记忆网络以及多尺度卷积神经网络的多样性计算,使得两个提取模块的特征更具差异化,使之互为补充,来帮助提升窃电检测模型的鲁棒性。
优选地,步骤S3具体为:
利用窃电检测模型检测待测数据,得到待测数据的二分类概率,选择最大二分类概率所对应的类别作为最终的待测数据样本类别。
该优选方案具有以下有益效果:
选择窃电检测模型输出的二分类概率中最大的类别作为模型判定的类别,以获取更准确的检测结果。
本发明具有以下有益效果:
通过采集用户用电数据,并对用户用电数据进行预处理,得到预处理后的用户用电数据集;构建初始窃电检测模型,并利用预处理后的用户用电数据集训练窃电检测模型,得到窃电检测模型,利用长短时记忆网络、带注意力机制的多尺度卷积神经网络以及多层感知机网络构建窃电检测模型,完善用户用电数据的特征表达;并利用多样性计算法构建损失函数训练窃电检测模型,使窃电检测模型中长短时记忆网络、带注意力机制的多尺度卷积神经网络提取的特征更具差异化,且相互补充,提高模型系统的鲁棒性,更具泛化能力;并利用窃电检测模型检测待测数据,得到待测数据的检测结果,完成窃电检测,使检测数据更加准确。
附图说明
图1为本发明提供的一种面向数据投毒攻击的窃电检测方法的步骤流程图;
图2为步骤S1的分步骤流程图;
图3为步骤S2的分步骤流程图;
图4为本发明实施例提供的一种面向数据投毒攻击的窃电检测模型的结构示意图;
图5为步骤S22的分步骤流程图;
图6为步骤S221的分步骤流程图;
图7为步骤S223的分步骤流程图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
如图1所示,本发明实施例提供一种面向数据投毒攻击的窃电检测方法,包括以下步骤:
S1、采集用户用电数据,并对用户用电数据进行预处理,得到预处理后的用户用电数据集;
优选地,如图2所示,步骤S1具体包括以下分步骤:
S11、采集用户用电数据,并划分为训练数据集与测试数据集;
可选的,采集用户正常用电数据,并将用户正常用电数据按天划分为正常用电样本,并根据正常用电样本生成异常用电样本,即利用多种窃电类型对用户正常用电数据进行数据篡改,合并用户正常用电样本与异常用电样本得到用户用电数据,并划分为训练数据集与测试数据集。
S12、利用过采样算法对训练数据集进行数据均衡处理,得到均衡后的训练数据集;
可选的,本发明实施中采用ADASYN算法作为过采样算法对训练数据集进行样本均衡。
S13、对均衡后的训练数据集进行数据投毒,得到预处理后的用户用电数据集。
可选的,将训练数据集中异常用电样本的标签反转为正常用电样本的标签。
S2、构建初始的窃电检测模型,并利用多样性计算法结合预处理后的用户用电数据集训练窃电检测模型,得到窃电检测模型;
优选地,如图3、图4所示,步骤S2具体包括以下分步骤:
S21、构建长短时记忆网络,并利用长短时记忆网络提取预处理后的用户用电数据集的全局时序特征;
优选地,步骤S21具体为:
利用不少于2个LSTM层,堆叠构建得到长短时记忆网络,并利用构建的长短时记忆网络提取预处理后的用户用电数据集,得到全局时序特征,其全局时序特征提取过程的表达式表示为:
Figure BDA0003417235430000091
其中,
Figure BDA0003417235430000092
为第l个LSTM层的提取的全局时序特征,
Figure BDA0003417235430000093
为第l-1个LSTM层的提取的全局时序特征,LSTM(.)为LSTM层运算。
可选的,各LSTM层中每一个时间步对应一个LSTM单元,而各个LSTM单元对应三个输入:当前时刻输入vt,上一时刻的状态ct-1,上一个单元的输出ht-1,两个输出:当前时刻的状态ct,当前单元的输出ht,其具体计算公式如下:
Figure BDA0003417235430000094
Figure BDA0003417235430000095
Figure BDA0003417235430000096
Figure BDA0003417235430000097
Figure BDA0003417235430000098
其中,σ为Sigmoid函数,⊙为对应元素相乘,
Figure BDA0003417235430000099
为第l-1个LSTM层当前时刻输入,
Figure BDA00034172354300000910
为第l-1个LSTM层上一时刻的状态,
Figure BDA00034172354300000911
为第l个LSTM层的上一个单元的输出;
Figure BDA00034172354300000912
为第l个LSTM层的当前时刻的状态,
Figure BDA00034172354300000913
为第l个LSTM层的当前时刻的输出,
Figure BDA00034172354300000914
为第l个LSTM层中当前时刻的输出,
Figure BDA00034172354300000915
为第l个LSTM层当前时刻的候选向量,
Figure BDA00034172354300000916
为第l个LSTM层中当前时刻遗忘门的输出,
Figure BDA00034172354300000917
为第l个LSTM层中当前时刻输入门的输出,
Figure BDA0003417235430000101
Figure BDA0003417235430000102
为第l个LSTM层中当前时刻输入门的权重,
Figure BDA0003417235430000103
Figure BDA0003417235430000104
为第l个LSTM层中当前时刻输出门的权重。
可选的,长短时记忆网络由多个堆叠的LSTM层构成,用于完成用户用电数据的全局时序特征的提取。
S22、构建带注意力机制的多尺度卷积神经网络,并利用带注意力机制的提取预处理后的用户用电数据集的局部时序特征;
可选的,本发明实施例中多尺度卷积神经网络MCNN-A主要由并联的多个不同尺度的一维卷积模块与注意力模块构成,其中每个一维卷积模块由堆叠的三个卷积层与池化层构成,预处理后的用户用电数据集首先通过多个不同尺度的一维卷积模块的卷积层进行卷积计算,然后将卷积层提取的特征送入池化层,按照通道方向进行全局池化;池化层提取的特征进行拼接则得到初步提取的多尺度的局部时序特征。
优选地,如图5所示,步骤S22具体包括以下分步骤:
S221、构建多尺度的一维卷积模块,提取预处理后的用户用电数据集中不同尺度的输出特征;
优选地,如图6所示,骤S221具体包括以下分步骤:
A1、利用不少于2层的卷积层提取预处理后的用户用电数据集的输出特征,得到初始输出特征,其初始输出特征的表达式表示为:
Figure BDA0003417235430000105
其中,
Figure BDA0003417235430000106
为第i个一维卷积模块中第l个卷积层的初始输出特征,Conv1d为一维卷积运算,
Figure BDA0003417235430000107
为第i-1个一维卷积模块中第l-1个卷积层的初始输出特征;
A2、在各卷积层中最后一个卷积模块后添加池化层,得到一维卷积模块,并利用池化层对初始输出特征进行全局池化,得到不同尺度的输出特征,其全局池化的表达式表示为:
Figure BDA0003417235430000111
其中,fp,i为第i个一维卷积模块中池化层输出特征,Pooling为全局池化运算。
S222、拼接不同尺度的一维卷积模块,并根据拼接的不同尺度的输出特征,得到多尺度的初始局部时序特征;
可选的,不同尺度的输出特征的拼接过程计算式,可表示为:
Zc=Concat(fp,0,...,fp,i)
其中,Zc为初始局部时序特征。
S223、构建注意力机制网络,并利用注意力机制网络对初始局部时序特征进行权重分配。
可选的,构建注意力机制网络,对初始局部时序特征Zc进行全局平均池化,得到池化后特征Zp,其维度为N*1,N为并联的不同尺度的一维卷积模块数量,池化后特征表示为:Zp=Pooling(Zc)。
优选地,如图7所示,步骤S223具体包括以下分步骤:
B1、构建池化层,并对初始局部时序特征进行全局池化,得到池化后特征;
B2、构建不少于两层全连接层,并学习池化后特征各尺度的权重,表示为:
Zs=σ(W2δ(W1Zp))
其中,Zs为池化后特征各尺度的权重,σ为Sigmoid函数,W1为第一全连接层的权重,W2为第二全连接层的权重,δ为Relu函数,Zp为池化后特征;
B3、利用权重对多尺度的初始局部时序特征进行加权,得到加权后的局部时序特征;
可选的,加权后的局部时序特征Zscale可表示为:Zscale=ZsZc
B4、对加权后的局部时序特征进行展平操作,得到预处理后的用户用电数据集的局部时序特征。
S23、对全局时序特征与局部时序特征进行特征融合,得到融合后的时序特征;
S24、构建多层感知机网络,根据融合后的时序特征得到二分类概率;
优选地,步骤S24具体为:
通过不少于2个的全连接层构建多层感知机网络,利用全连接层对融合后的时序特征进行学习,得到用于判断输入样本为正常用电数据还是异常用电数据的二分类概率,其二分类概率计算式表示为:
y′=Softmax(δ(Wlul-1+bl))
其中,y′为输入样本的二分类概率值,δ为Relu激活函数,Wl、bl分别为第l层全连接的权重和偏置;ul为多层感知机网络中第l个全连接层的输出。
S25、构建损失函数,迭代训练窃电检测模型。
优选地,步骤S25具体为:
利用多样性计算法结合长短时记忆网络以及多尺度卷积神经网络构建的输出多样性,与窃电检测模型的主损失计算得到损失函数,对窃电检测模型进行迭代训练,其中,利用多样性计算法结合长短时记忆网络以及多尺度卷积神经网络得到输出多样性的计算式表示为:
Lr=Lp-(βLh+γLe)
其中,Lr为由长短时记忆网络以及多尺度卷积神经网络构建的输出多样性的参数值,Lp为长短时记忆网络和多尺度卷积神经网络输出的交叉熵误差,β,γ分别为超参数,Lh为对短时记忆网络和多尺度卷积神经网络输出的香农熵计算结果,Le为多样性度量。
可选的,如图4所示,本发明实施例中通过窃电检测模型的主损失与由长短时记忆网络以及多尺度卷积神经网络构建的输出多样性共同构建损失函数,损失函数计算式可表示为:L=Lm+Lr
其中,Lm为窃电检测模型的主损失,表示为:Lm=CE(y,y′),y’为窃电检测模型输出概率,y为数据样本的实际标签,CE为交叉熵函数;
Lr为由长短时记忆网络以及多尺度卷积神经网络构建的输出多样性的参数值,表示为:Lr=Lp-(βLh+γLe);Lp为短时记忆网络LSTM和多尺度卷积神经网络MCNN-A输出的交叉熵误差,计算式表示为:Lp=α[CE(y,y′1)+CE(y,y′2)],y′1为长短时记忆网络LSTM输出概率,y′2为多尺度卷积神经网络MCNN-A输出概率,α为权重系数;β,γ分别为超参数,Lh为对短时记忆网络LSTM和多尺度卷积神经网络MCNN-A输出的香农熵计算结果,计算式表示为:
Figure BDA0003417235430000131
H为香农熵计算函数,Le为多样性度量,计算式表示为:
Figure BDA0003417235430000132
det为行列式计算,log为对数函数,M\y为短时记忆网络LSTM和多尺度卷积神经网络MCNN-A输出的非最大预测组合得到的向量,
Figure BDA0003417235430000133
为非最大预测组合得到的向量M\y的转置。
S3、利用窃电检测模型检测待测数据,得到待测数据的检测结果。
优选地,步骤S3具体为:
利用窃电检测模型检测待测数据,得到待测数据的二分类概率,选择最大二分类概率所对应的类别作为最终的待测数据样本类别。
可选的,对于正常用户样本,其标签使用(0,1)表示,对于异常用户样本,其标签使用(1,0)表示,选择最大二分类概率所对应的类别作为最终的待测数据样本类别,例如,窃电检测模型对某条样本输出的二分类概率为(0.2,0.8),则该样本被判别为正常类别,若输出的二分类概率为(0.6,0.4),则该样本被判别为异常类别。
本发明实施例提供对比实验,通过多种评估指标,即:检测率(Detction Rate,DR),误报率(False Postive Rate,FPR),检测率和误报率的最大差值(HighestDifference,HD),准确率(Accuracy,ACC),进行实验数据比对,其实验结果如表1所示;
表1
Figure BDA0003417235430000141
Figure BDA0003417235430000151
如表1所示,虽然各个窃电检测方法的整体性能在数据投毒攻击情况下有所下降,具体来说,从没有数据投毒攻击到30%比例的数据投毒攻击,和性能较好的序列组合方法以及XGBoost方法相比,本发明所提供的方法中检测率DR仅下降了3.27%,误报率的最大差值HD仅下降了1.06%,准确率ACC仅下降了2.48%,而对应的序列组合方法则下降了4.9%、2.23%和3.82%,XGBoost方法则下降了14.7%,10.15%和11.95%,本发明所提供的面向数据投毒攻击的窃电检测方法的整体性能下降幅度较小,具有更高的鲁棒性。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。

Claims (8)

1.一种面向数据投毒攻击的窃电检测方法,其特征在于,包括以下步骤:
S1、采集用户用电数据,并对用户用电数据进行预处理,得到预处理后的用户用电数据集;
S2、构建初始的窃电检测模型,并利用多样性计算法结合预处理后的用户用电数据集训练窃电检测模型,得到窃电检测模型;具体包括以下分步骤:
S21、构建长短时记忆网络,并利用长短时记忆网络提取预处理后的用户用电数据集的全局时序特征;
S22、构建带注意力机制的多尺度卷积神经网络,并利用带注意力机制的多尺度卷积神经网络提取预处理后的用户用电数据集的局部时序特征;
S23、对全局时序特征与局部时序特征进行特征融合,得到融合后的时序特征;
S24、构建多层感知机网络,根据融合后的时序特征得到二分类概率;
S25、利用多样性计算法构建损失函数,迭代训练窃电检测模型;具体为:
利用多样性计算法结合长短时记忆网络以及多尺度卷积神经网络构建的输出多样性,与窃电检测模型的主损失计算得到损失函数,对窃电检测模型进行迭代训练,其中,利用多样性计算法结合长短时记忆网络以及多尺度卷积神经网络得到输出多样性的计算式表示为:
Lr=Lp-(βLh+γLe)
其中,Lr为由长短时记忆网络以及多尺度卷积神经网络构建的输出多样性的参数值,Lp为长短时记忆网络和多尺度卷积神经网络输出的带权交叉熵误差,β,γ分别为超参数,Lh为对短时记忆网络和多尺度卷积神经网络输出的香农熵计算结果,Le为多样性度量;
S3、利用窃电检测模型检测待测数据,得到待测数据的检测结果。
2.根据权利要求1所述的面向数据投毒攻击的窃电检测方法,其特征在于,步骤S1具体包括以下分步骤:
S11、采集用户用电数据,并划分为训练数据集与测试数据集;
S12、利用过采样算法对训练数据集进行数据均衡处理,得到均衡后的训练数据集;
S13、对均衡后的训练数据集进行数据投毒,得到预处理后的用户用电数据集。
3.根据权利要求1所述的面向数据投毒攻击的窃电检测方法,其特征在于,步骤S21具体为:
利用不少于2个LSTM层,堆叠构建得到长短时记忆网络,并利用构建的长短时记忆网络提取预处理后的用户用电数据集,得到全局时序特征,其全局时序特征提取过程的表达式表示为:
Figure FDA0004127296000000021
其中,
Figure FDA0004127296000000022
为第l个LSTM层的提取的全局时序特征,
Figure FDA0004127296000000023
为第l-1个LSTM层的提取的全局时序特征,LSTM(.)为LSTM层运算。
4.根据权利要求1所述的面向数据投毒攻击的窃电检测方法,其特征在于,步骤S22具体包括以下分步骤:
S221、构建多尺度的一维卷积模块,提取预处理后的用户用电数据集中不同尺度的输出特征;
S222、拼接不同尺度的一维卷积模块,并根据拼接的不同尺度的输出特征,得到多尺度的初始局部时序特征;
S223、构建注意力机制网络,并利用注意力机制网络对初始局部时序特征进行权重分配。
5.根据权利要求4所述的面向数据投毒攻击的窃电检测方法,其特征在于,步骤S221具体包括以下分步骤:
A1、利用不少于2层的卷积层提取预处理后的用户用电数据集的输出特征,得到初始输出特征,其初始输出特征的表达式表示为:
Figure FDA0004127296000000031
其中,
Figure FDA0004127296000000032
为第i个一维卷积模块中第l个卷积层的初始输出特征,Conv1d为一维卷积运算,
Figure FDA0004127296000000033
为第i个一维卷积模块中第l-1个卷积层的初始输出特征;
A2、在各卷积层中最后一个卷积模块后添加池化层,得到一维卷积模块,并利用池化层对初始输出特征进行全局池化,得到不同尺度的输出特征,其全局池化的表达式表示为:
Figure FDA0004127296000000034
其中,fp,i为第i个一维卷积模块中池化层输出特征,Pooling为全局池化运算。
6.根据权利要求4所述的面向数据投毒攻击的窃电检测方法,其特征在于,步骤S223具体包括以下分步骤:
B1、构建池化层,并对初始局部时序特征进行全局池化,得到池化后特征;
B2、构建不少于两层全连接层,并学习池化后特征各尺度的权重,表示为:
Zs=σ(W2δ(W1Zp))
其中,Zs为池化后特征各尺度的权重,σ为Sigmoid函数,W1为第一全连接层的权重,W2为第二全连接层的权重,δ为Relu函数,Zp为池化后特征;
B3、利用权重对多尺度的初始局部时序特征进行加权,得到加权后的局部时序特征;
B4、对加权后的局部时序特征进行展平操作,得到预处理后的用户用电数据集的局部时序特征。
7.根据权利要求1所述的面向数据投毒攻击的窃电检测方法,其特征在于,步骤S24具体为:
通过不少于2个的全连接层构建多层感知机网络,利用全连接层对融合后的时序特征进行学习,得到用于判断输入样本为正常用电数据还是异常用电数据的二分类概率,其二分类概率计算式表示为:
y′=Softmax(δ(Wlul+bl))
其中,y′为输入样本的二分类概率值,δ为Relu激活函数,Wl、bl分别为第l层全连接的权重和偏置;ul为多层感知机网络中第l个全连接层的输出。
8.根据权利要求1所述的面向数据投毒攻击的窃电检测方法,其特征在于,步骤S3具体为:
利用窃电检测模型检测待测数据,得到待测数据的二分类概率,选择最大二分类概率所对应的类别作为最终的待测数据样本类别。
CN202111551163.5A 2021-12-17 2021-12-17 一种面向数据投毒攻击的窃电检测方法 Active CN114239725B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111551163.5A CN114239725B (zh) 2021-12-17 2021-12-17 一种面向数据投毒攻击的窃电检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111551163.5A CN114239725B (zh) 2021-12-17 2021-12-17 一种面向数据投毒攻击的窃电检测方法

Publications (2)

Publication Number Publication Date
CN114239725A CN114239725A (zh) 2022-03-25
CN114239725B true CN114239725B (zh) 2023-04-21

Family

ID=80758154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111551163.5A Active CN114239725B (zh) 2021-12-17 2021-12-17 一种面向数据投毒攻击的窃电检测方法

Country Status (1)

Country Link
CN (1) CN114239725B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114638269B (zh) * 2022-03-30 2024-03-08 西安热工研究院有限公司 一种基于时频特征与长短期记忆网络的窃电行为识别方法
CN116312861A (zh) * 2023-05-09 2023-06-23 济南作为科技有限公司 脱硝系统气体浓度预测方法、装置、设备及存储介质
CN117033916A (zh) * 2023-07-10 2023-11-10 国网四川省电力公司营销服务中心 一种基于神经网络的窃电检测方法
CN116701947B (zh) * 2023-08-02 2023-11-03 成都汉度科技有限公司 一种窃电行为检测方法及系统
CN117347803A (zh) * 2023-10-25 2024-01-05 爱科特科技(海南)有限公司 一种局部放电检测方法、系统、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902293A (zh) * 2019-01-30 2019-06-18 华南理工大学 一种基于局部与全局互注意力机制的文本分类方法
CN110135567A (zh) * 2019-05-27 2019-08-16 中国石油大学(华东) 基于多注意力生成对抗网络的图像字幕生成方法
CN112098714A (zh) * 2020-08-12 2020-12-18 国网江苏省电力有限公司南京供电分公司 一种基于ResNet-LSTM的窃电检测方法及系统
CN113361608A (zh) * 2021-06-08 2021-09-07 太原科技大学 一种基于横向对比特征和神经网络的隐蔽窃电检测方法
CN113377953A (zh) * 2021-05-31 2021-09-10 电子科技大学 一种基于palc-dca模型的实体融合及分类方法
CN113469266A (zh) * 2021-07-14 2021-10-01 广西电网有限责任公司 一种基于改进深度卷积神经网络的窃电行为检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902293A (zh) * 2019-01-30 2019-06-18 华南理工大学 一种基于局部与全局互注意力机制的文本分类方法
CN110135567A (zh) * 2019-05-27 2019-08-16 中国石油大学(华东) 基于多注意力生成对抗网络的图像字幕生成方法
CN112098714A (zh) * 2020-08-12 2020-12-18 国网江苏省电力有限公司南京供电分公司 一种基于ResNet-LSTM的窃电检测方法及系统
CN113377953A (zh) * 2021-05-31 2021-09-10 电子科技大学 一种基于palc-dca模型的实体融合及分类方法
CN113361608A (zh) * 2021-06-08 2021-09-07 太原科技大学 一种基于横向对比特征和神经网络的隐蔽窃电检测方法
CN113469266A (zh) * 2021-07-14 2021-10-01 广西电网有限责任公司 一种基于改进深度卷积神经网络的窃电行为检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Jiahui Yu等.A Discriminative Deep Model With Feature Fusion and Temporal Attention for Human Action Recognition.《IEEE Access》.2020,第8卷43243-43255. *
张宝华等.基于多输入模型及句法结构的中文评论情感分析方法.《大数据》.2021,41-52. *
邓滔.基于深度特征度量的行人重识别方法研究.《中国优秀硕士学位论文全文数据库信息科技辑》.2021,(第02期),I138-1622. *

Also Published As

Publication number Publication date
CN114239725A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN114239725B (zh) 一种面向数据投毒攻击的窃电检测方法
US11507049B2 (en) Method for detecting abnormity in unsupervised industrial system based on deep transfer learning
CN112098714B (zh) 一种基于ResNet-LSTM的窃电检测方法及系统
CN110287983B (zh) 基于最大相关熵深度神经网络单分类器异常检测方法
CN111901340B (zh) 一种面向能源互联网的入侵检测系统及其方法
CN110247910A (zh) 一种异常流量的检测方法、系统及相关组件
CN115688035A (zh) 一种基于自监督学习的时序电力数据异常检测方法
Shehzad et al. A robust hybrid deep learning model for detection of non-technical losses to secure smart grids
CN113569243A (zh) 基于自监督变分lstm的深层半监督学习网络入侵检测方法
CN113904786B (zh) 一种基于线路拓扑分析和潮流特性的虚假数据注入攻击辨识方法
CN113242259A (zh) 网络异常流量检测方法及装置
CN112382354B (zh) 一种Cr12MoV材料硬度预测方法及装置
CN116760742A (zh) 基于多阶段混合时空融合的网络流量异常检测方法及系统
CN115169430A (zh) 基于多尺度解码的云网端资源多维时间序列异常检测方法
CN111582315B (zh) 样本数据处理方法、装置及电子设备
CN116522265A (zh) 工业互联网时序数据异常检测方法及装置
CN117153268A (zh) 一种细胞类别确定方法及系统
CN108562853A (zh) 基于纠错输出编码支持向量机的电机故障诊断方法和系统
CN114266676A (zh) 一种遗传优化Bagging异质集成模型的异常用电检测方法
CN113987910A (zh) 一种耦合神经网络与动态时间规划的居民负荷辨识方法及装置
CN113327008A (zh) 一种基于时序自动编码器的窃电检测方法、系统及介质
CN116628612A (zh) 一种无监督异常检测方法、装置、介质及设备
CN112232948A (zh) 一种流量数据的异常检测方法及装置
CN117150402A (zh) 基于生成式对抗网络的电力数据异常检测方法及模型
CN116400168A (zh) 一种基于深度特征聚类的电网故障诊断方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant