CN115018512A - 基于Transformer神经网络的窃电检测方法及装置 - Google Patents

基于Transformer神经网络的窃电检测方法及装置 Download PDF

Info

Publication number
CN115018512A
CN115018512A CN202210423324.0A CN202210423324A CN115018512A CN 115018512 A CN115018512 A CN 115018512A CN 202210423324 A CN202210423324 A CN 202210423324A CN 115018512 A CN115018512 A CN 115018512A
Authority
CN
China
Prior art keywords
data
load
block
electricity stealing
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210423324.0A
Other languages
English (en)
Inventor
黄瑞
肖宇
刘谋海
叶志
刘小平
贺星
余敏琪
陈浩
曾文伟
李然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Hunan Electric Power Co Ltd
Metering Center of State Grid Hunan Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Hunan Electric Power Co Ltd
Metering Center of State Grid Hunan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Hunan Electric Power Co Ltd, Metering Center of State Grid Hunan Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202210423324.0A priority Critical patent/CN115018512A/zh
Publication of CN115018512A publication Critical patent/CN115018512A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/018—Certifying business or products
    • G06Q30/0185—Product, service or business identity fraud
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Mathematical Physics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开一种基于Transformer神经网络的窃电检测方法及装置，该方法包括：S1.获取待检测用户的用电负荷序列，对丢失数据进行插值后划分为多个分块，得到多个负荷分块数据；S2.分别将各个负荷分块数据输入至卷积块注意力模型中，提取每个负荷分块中的局部特征，并在提取出的局部特征中添加位置编码，得到局部特征编码数据，形成编码向量；S3.将编码向量输入到Transformer编码器中，提取得到用电负荷序列的全局特征；S4.将全局特征输入至预设的分类器中进行分类处理，得到是否窃电的检测结果输出。本发明具有实现方法简单、检测精度以及效率高且且泛化能力强等优点。

Description

基于Transformer神经网络的窃电检测方法及装置
技术领域
本发明涉及电力系统技术领域，尤其涉及一种基于Transformer神经网络的窃电检测方法及装置。
背景技术
用户窃电是电网运行中非技术损失的主要来源，窃电用户的违规操作还会对电力系统安全可靠运行带来重大的隐患，因此需要对窃电行为进行准确检测，通过高精度地检测出窃电用户，可以利于维护电力企业的安全、稳定、经济运行。
目前常用的窃电检测方法主要包括基于硬件与数据驱动两类方法，其中基于硬件的方法是通过使用硬件设备监测电网中的变量(如电压、电流与功率等)来判断用户是否窃电，该类方法需要额外的设备来实现，因此成本很高；基于数据驱动的窃电检测方法则是基于机器学习方式，通过提取用户用电数据的特征，构建或训练窃电检测模型，使用窃电检测模型挖掘和分析客户的负载概况以及其它信息，实现窃电客户的检测。相比于基于硬件的窃电检测方法，基于数据驱动的窃电检测方法的成本更低。但是传统基于数据驱动的窃电检测方法会存在以下问题：
1、模型的构建对于数据集的要求较高，而实际的数据集的样本不平衡，容易导致模型过拟合而使得模型的泛化能力弱，难以进行高维数据处理；
2、检测精度依赖于特征的选取，不同类型特征所能够得到的检测效果存在差异，而针对用户的窃电行为，单一的特征就难以精准进行表征，致使检测精度不高；采用多种特征融合的方式，虽然可以在一定程度上提高检测精度，但是用户用电数据量巨大，采用多种特征融合的方式检测不仅实现复杂，还会导致整体的检测效率低。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、检测精度以及效率高且泛化能力强的基于Transformer神经网络的窃电检测方法及装置。
为解决上述技术问题，本发明提出的技术方案为：
一种基于Transformer神经网络的窃电检测方法，包括：
S1.获取待检测用户的用电负荷序列，对所述用电负荷序列中的丢失数据进行插值后划分为多个分块，得到多个负荷分块数据；
S2.分别将各个所述负荷分块数据输入至卷积块注意力模型中，提取每个所述负荷分块中的局部特征,并在提取出的局部特征中添加位置编码，得到局部特征编码数据，由各所述负荷分块数据所得到的所述局部特征编码数据形成编码向量；
S3.将步骤S2得到的编码向量输入到Transformer编码器中，提取得到所述用电负荷序列的全局特征；
S4.将步骤S3提取出的全局特征输入至预设的分类器中进行分类处理，得到是否窃电的检测结果输出。
进一步的，所述步骤S1中采用三次样条插值法对丢失数据进行插值，采用所述三次样条插值法进行插值的表达式为：
Sj(x)＝aj+bjx+cjx2+djx3
Figure RE-GDA0003776277000000021
其中，xi表示待检测用户在指定时长j中第i时刻的用电负荷量值，Sj(xi)为在指定时长j对xi的插值函数，aj、bj、cj、dj分别为所述插值函数中的系数，f(xi)表示xi的取值函数， NAN表示空集。
进一步的，所述步骤S1中，还包括对所述用电负荷序列中含有错误数据的样本进行修正步骤；对所述含有错误数据的样本具体采用3σ法则按照下式进行修正：
Figure RE-GDA0003776277000000022
其中，xi表示待检测用户在指定时长中第i时刻的用电负荷量值，xi-1表示待检测用户在指定时长中第i-1时刻的用电量值，xi+1表示待检测用户在指定时长中第i+1时刻的用电负荷量值，
Figure RE-GDA0003776277000000023
表示待检测用户在指定时长的用电量平均值，σ(xi)表示xi的标准差。
进一步的，所述步骤S1中，使用编码模块将所述用电负荷序列划分为P个长度为S的词向量，以实现对所述用电负荷序列的分块，其中长度S通过网格搜索的方法确定最优取值。
进一步的，所述卷积块注意力模型具体为：
Figure RE-GDA0003776277000000024
Mc(F)＝σ(MLP(AvgP(F))+MLP(Maxp(F)))
Ms(F)＝σ(Conv([Avgp(F)；Maxp(F)]))
其中，F表示输入的特征向量，即为负荷分块数据，F'表示经过卷积块注意力模块后输出的特征向量，即为提取出的每个所述负荷分块中的局部特征，Mc与Ms分别表示通道与位置注意力权重向量，
Figure RE-GDA0003776277000000031
表示逐元素相乘；Avgp表示平均值池化，Maxp表示最大值池化，MLP表示全连接层，Conv表示卷积层，σ表示激活函数Sigmoid。
进一步的，所述Transformer编码器具体为：
Encoder(I)＝Block(...Block(I))
Block(I)＝LN(I′+MLP(I′))
I′＝LN(I+MultiHead(I))
其中，I表示输入，MultiHead表示多头注意力，LN为层归一化，I'表示头注意力的输出，MLP为组成前馈网络的全连接层，Block表示由多头注意力与前馈网络组成的模块，Encoder为Transformer编码器中Encoder模块；
所述多头注意力具体为：
Figure RE-GDA0003776277000000032
headi＝Attention(QWi Q,KWi K,VWi V)
其中，Wo表示输出时的线性映射权重矩阵，
Figure RE-GDA0003776277000000033
分别表示输入时第i个头Q、K、V向量进行线性投影的权重矩阵，Attention表示注意力机制且表达式具体为：
Figure RE-GDA0003776277000000034
式中，kT表示K的转置，
Figure RE-GDA0003776277000000035
表示K的维度。
进一步的，所述步骤S2中，在利用卷积块注意力模型对输入的用电数据进行特征提取得到特征图后，随机产生相同数量、相同维度的向量并作为所述位置编码向量，将所述位置编码向量与提取得到的特征图进行合并；在模型训练的过程中，将所述位置编码向量直接作为训练参数与待训练数据一同进行训练。
进一步的，所述分类器依次包括一层归一化层、两层全连接层，所述全连接层中间采用 GELU激活函数进行激活，最后一层全连接神经元个数为1，所述步骤S4中提取出的全局特征输入至所述分类器中，输出一个概率值，如果输出的所述概率值大于预设阈值，则判定待检测用户为窃电客户，否则判定为正常用户。
一种基于Transformer神经网络的窃电检测装置，包括：
分块模块，用于获取待检测的用电负荷序列，对所述待检测的用电负荷序列中的丢失数据进行插值后划分为多个分块，得到多个负荷分块数据；
局部特征提取模块，用于分别将各个所述负荷分块数据输入至卷积块注意力模型中，提取每个所述负荷分块中的局部特征,并在提取出的局部特征中添加位置编码，得到局部特征编码数据，由各所述负荷分块数据所得到的所述局部特征编码数据形成编码向量；
全局特征提取模块，用于将所述局部特征提取模块得到的编码向量输入到Transformer 编码器中，提取得到所述用电负荷序列的全局特征；
检测分类模块，用于将全局特征提取模块提取出的全局特征输入至预设的分类器中进行分类处理，得到是否窃电的检测结果输出。
一种计算机装置，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序以执行如上述方法。
与现有技术相比，本发明的优点在于：
1、本发明通过结合卷积块注意力模型与Transformer编码器实现窃电检测，先对待检测用户的用电负荷序列进行预处理形成多个负荷分块数据，使用卷积块注意力模型提取各个负荷分块数据的局部特征，添加位置编码后形成编码向量，再利用Transformer编码器提取全局特征，可以精准、快速的检测出待测用户是否存在窃电，无需依赖于复杂的特征选取与融合过程，同时具有强大的提取特征能力，可以很好的处理不平衡的数据集，且具有强泛化能力而没有过拟合的现象，能够解决传统基于数据挖掘的窃电方式在数据集的样本不平衡时会存在过拟合而导致的弱泛化能力。
2、本发明通过结合卷积块注意力模型与Transformer编码器实现窃电检测，尤其适用于处理高维数据，且基于卷积块注意力模型对输入的用电数据进行特征提取，还可以有效地防止随着网络加深而导致的梯度消失或者梯度爆炸的问题，从而加速网络的训练，并能够进一步对特征进行优化。
3、本发明进一步裁员多头子注意力机制构建Transformer编码器，能够使模型聚合多个关注输入数据不同位置形成的不同特征空间，同时引入残差连接，能够更好地解决随着网络加深产生权重矩阵退化的问题，还能够提高特征提取的有效性，从而进一步提高窃电检测的精度以及模型的泛化能力。
附图说明
图1为本实施例基于Transformer神经网络的窃电检测方法的实现流程示意图。
图2为本实施例所采用的注意力卷积模块结构示意图。
图3为本实施例所采用的多头注意力机制结构示意图。
图4为在具体应用实施例中正常每日用电量模式和六种FDI模型示意图。
图5为在具体应用实施例中得到的输入序列划分成段效果对比示意图。
图6为在具体应用实施例中得到的5折交叉验证实验下不同损失函数对应的模型ACC 值示意图。
图7为在具体应用实施例中得到的5折交叉验证实验下不同损失函数对应的模型AUC 值示意图。
图8为在具体应用实施例中得到的5折交叉验证实验下不同损失函数对应的模型ACC 平均值示意图。
图9为在具体应用实施例中得到的5折交叉验证实验下不同损失函数对应的模型ACC 标准值示意图。
图10为本发明具体应用实施例中所得到的不同分类器对应的ROC曲线以及查全率与误检率的综合指标结果示意图。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
如图1所示，本实施例基于Transformer神经网络的窃电检测方法的步骤包括：
S1.获取待检测用户的用电负荷序列，对用电负荷序列中的丢失数据进行插值后划分为多个分块，得到多个负荷分块数据；
S2.分别将各个负荷分块数据输入至卷积块注意力模型(Convolutional BlockAttention Module,CBAM)中，提取每个负荷分块中的局部特征,并在提取出的局部特征中添加位置编码，得到局部特征编码数据，由各负荷分块数据所得到的局部特征编码数据形成编码向量；
S3.将步骤S2得到的编码向量输入到Transformer编码器中，提取得到用电负荷序列的全局特征；
S4.将步骤S3提取出的全局特征输入至预设的分类器中进行分类处理，得到是否窃电的检测结果输出。
本实施例通过结合卷积块注意力模型与Transformer编码器，形成基于深度学习网络的改进Transformer模型，首先对待检测用户的用电负荷序列进行预处理形成多个负荷分块数据，对各个负荷分块数据使用卷积块注意力模型提取局部特征，添加位置编码形成编码向量，再利用Transformer编码器提取用电负荷序列的全局特征，该全局特征能够精准表征用户的窃电行为，则经过分类器进行分类处理后，即可精准、快速的检测出待测用户是否存在窃电，无需依赖于复杂的特征选取与融合过程，同时由于结合卷积块注意力模型与Transformer编码器来构建检测，可以提高检测的泛化能力，解决传统基于数据挖掘的窃电方式在数据集的样本不平衡时会存在过拟合而导致的弱泛化能力；本实施例基于卷积块注意力模型对输入的用电数据进行特征提取，还可以有效地防止随着网络加深而导致的梯度消失或者梯度爆炸的问题，从而加速网络的训练，并能够进一步对特征进行优化，尤其适用于处理高维数据。
本实施例步骤S1中具体采用三次样条插值法对丢失数据进行插值，采用三次样条插值法进行插值的表达式为：
Sj(x)＝aj+bjx+cjx2+djx3 (1)
Figure RE-GDA0003776277000000061
其中，xi表示待检测用户在指定时长j中第i时刻的用电负荷量值，Sj(xi)为在指定时长j对xi的插值函数，aj、bj、cj、dj分别为所述插值函数中的系数，f(xi)表示xi的取值函数， NAN表示空集。
本实施例步骤S1中，还包括对用电负荷序列中含有错误数据的样本进行修正步骤，其中如果待检测用户在指定时长中第i时刻的用电负荷量值xi满足条件
Figure RE-GDA0003776277000000062
则用电负荷量值xi取为
Figure RE-GDA0003776277000000063
否则(不满足上述条件)则直接取原始用电负荷量值xi，即具体对含有错误数据的样本具体采用3σ法则按照下式进行修正：
Figure RE-GDA0003776277000000064
其中，xi表示待检测用户在指定时长中第i时刻的用电负荷量值，xi-1表示待检测用户在指定时长中第i-1时刻的用电量值，xi+1表示待检测用户在指定时长中第i+1时刻的用电负荷量值，
Figure RE-GDA0003776277000000065
表示待检测用户在指定时长的用电量平均值，σ(xi)表示xi的标准差。
优选的，可以选用6作为极限误差而不是3，这样可以把异常值的比例限制在1％以内，避免过多的数据被视为异常数据。此外，由于消费数据均为非负数，本实施例仅考虑正偏差。
经过上述处理后，即可对待检测用户的用电负荷序列输入数据进行丢失数据插值、错误数据修正，得到处理后的用电负荷序列后再进行分块。本实施例具体使用编码模块将用电负荷序列划分为P个长度为S的词向量，以实现对用电负荷序列的分块，经过分块后即可得到多个负荷分块数据。划分后的多段负荷满足L＝P*S，即负荷序列总长度为L。在划分时，当每一小段的长度S取不同的值时，模型最终进行窃电检测的结果也不同。本实施例通过网格搜索的方法来确定最优取值。即将S分别取值为4、6、8、12、16，保持模型其它参数不变，通过比较模型的窃电检测结果来确定最优的每段负荷长度S，优选的S可取为8。
本实施例经过分块得到多个负荷分块数据后，分别输入至卷积块注意力模型中，以提取每个负荷分块数据的局部特征，卷积块注意力模型具体为：
Figure RE-GDA0003776277000000071
Mc(F)＝σ(MLP(AvgP(F))+MLP(Maxp(F))) (5)
Ms(F)＝σ(Conv([Avgp(F)；Maxp(F)])) (6)
其中，F表示输入的特征向量，即为负荷分块数据，F'表示经过卷积块注意力模块后输出的特征向量，即为提取出的每个所述负荷分块中的局部特征，Mc与Ms分别表示通道与位置注意力权重向量，
Figure RE-GDA0003776277000000072
表示逐元素相乘；Avgp表示平均值池化，Maxp表示最大值池化，MLP表示全连接层，Conv表示卷积层，σ表示激活函数Sigmoid。
本实施例基于注意力卷积模块，利用上述卷积块注意力模型对输入的用电数据进行特征提取，可以有效地防止随着网络加深而导致的梯度消失或者梯度爆炸的问题，同时加速网络的训练，还能够进一步对特征进行优化。
考虑到纯粹的自注意力模块是无法捕捉输入顺序的，即无法区分不同位置的Token，本实施例在提取出各个负载分块的局部特征后，为各局部特征添加位置编码，以使得后续可以使用Transformer模型提取整个序列的全局特征，由所有带有位置编码的局部特征数据形成编码向量。本实施例步骤S2中添加的位置编码具体采用训练式绝对位置编码，即位置编码直接作为可训练参数进行训练得到。具体在利用上述卷积块注意力模型对输入的用电数据进行特征提取得到若干个特征图之后，随机产生相同数量、相同维度的向量，作为位置编码向量，与原有的特征图进行合并。在模型训练的过程中，该位置编码向量也一同被训练，且在训练结束前，位置编码的值不是固定的，形成动态位置编码。本实施例得到由所有带有位置编码的局部特征数据形成编码向量后，再输入至采用基于多头子注意力机制的Transformer 编码器中，以获取整条用电负荷序列的全局特征，如图2所示，Transformer编码器具体为：
Encoder(I)＝Block(...Block(I)) (7)
Block(I)＝LN(I′+MLP(I′)) (8)
I′＝LN(I+MultiHead(I)) (9)
其中，I表示输入，MultiHead表示多头注意力，LN为层归一化，I'表示头注意力的输出，MLP为组成前馈网络的全连接层，Block表示由多头注意力与前馈网络组成的模块，Encoder为Transformer编码器中Encoder模块；
上述多头注意力MultiHead具体为：
Figure RE-GDA0003776277000000073
headi＝Attention(QWi Q,KWi K,VWi V) (11)
其中，Wo表示输出时的线性映射权重矩阵，
Figure RE-GDA0003776277000000081
分别表示输入时第i个头Q、 K、V向量进行线性投影的权重矩阵。
如图3所示，本实施例中Attention表示注意力机制的表达式具体为：
Figure RE-GDA0003776277000000082
式中，kT表示K的转置，
Figure RE-GDA0003776277000000083
表示K的维度。
本实施例基于多头子注意力机制Multi-Head Attention构建Transformer编码器能够使模型聚合多个关注输入数据不同位置形成的不同特征空间，同时引入残差连接，能够更好地解决随着网络加深产生权重矩阵退化的问题，还能够提高特征提取的有效性，从而提高窃电检测的精度以及模型的泛化能力。
本实施例中，分类器依次包括一层归一化层、两层全连接层，所述全连接层中间采用 GELU激活函数进行激活，最后一层全连接神经元个数为1，所述步骤S4中提取出的全局特征输入至所述分类器中，输出一个概率值，如果输出的所述概率值大于预设阈值，则判定待检测用户为窃电客户，否则判定为正常用户。
在具体应用实施例中，由分类器首先对输入的特征(全局特征)进行层归一化，然后接两层全连接层，中间采用GELU激活函数进行激活，最后一层全连接神经元个数为1，所以使用Sigmoid激活函数将输出的结果转化为0与1之间的概率值，如果大于等于阈值(如0.5)的判定为1，即为窃电客户，反之为0，即为正常用电客户，从而实现二分类。
在搭建CAT模型的过程中需要设定超参数，如Transformer编码器(Encoder)的层数 L，Multi-Head Attention中head的个数H，以及编码向量维度共同决定了整个模型的复杂度，上述超参数值越大，模型参数量越大，但同时训练也越困难，模型更容易出现过拟合的现象。本实施例通过对上述三个超参数进行网格搜索，确定模型超参数的最优值，以进一步提高检测性能。
本实施例还提供基于Transformer神经网络的窃电检测装置，包括：
分块模块，用于获取待检测的用电负荷序列，对所述待检测的用电负荷序列中的丢失数据进行插值后划分为多个分块，得到多个负荷分块数据；
局部特征提取模块，用于分别将各个所述负荷分块数据输入至卷积块注意力模型中，提取每个所述负荷分块中的局部特征,并在提取出的局部特征中添加位置编码，得到局部特征编码数据，由各所述负荷分块数据所得到的所述局部特征编码数据形成编码向量；
全局特征提取模块，用于将所述局部特征提取模块得到的编码向量输入到Transformer编码器中，提取得到所述用电负荷序列的全局特征；
检测分类模块，用于将全局特征提取模块提取出的全局特征输入至预设的分类器中进行分类处理，得到是否窃电的检测结果输出。
本实施例基于Transformer神经网络的窃电检测装置与上述基于Transformer神经网络的窃电检测方法为一一对应，在此不再一一赘述。
本实施例还提供计算机装置，包括处理器以及存储器，存储器用于存储计算机程序，处理器用于执行所述计算机程序以执行如上述方法。
为验证本发明有效性，使用Irish CER Smart Metering Project数据集作为智能电表数据集采用本发明上述检测方法进行验证，该数据集收集了5000多名爱尔兰家庭和商业客户的 2009年至2010年间超过500天的负荷数据，负荷以30分钟为周期进行采样，即每个用户每天48个采样点。
窃电从攻击方式上可分为两大类，即恶意客户以物理方式操纵智能电表以降低电表读数。虽然窃电的目的都是为了降低电表的读数，但由于具体手段不同，其用电负荷也具有不同的用电模式，可以用与之相似的数据攻击来模拟不同模式的窃电客户负荷数据。对于一个包含m天，每天n个时间点的样本，本实施例按照六类型用于模拟恶意客户的窃电行为，并使用了与之类似的六种FDI模型对负荷曲线进行时变修改。下表1即为六种类型窃电行为的定义，其中某客户正常每日用电量模式和六种FDI模型如图4所示。
表1：恶意客户的窃电行为模拟公式
Figure RE-GDA0003776277000000091
上表中，xt表示t时刻客户原始的用电量，
Figure RE-GDA0003776277000000092
表示t时刻被篡改后的用电量。类型1表示每个时刻都按不同的随机百分比减小用电量数据。类型2表示将所有时刻的用电量都削减掉一个常量值，若篡改后的数据小于零则置为零。类型3表示设置一个削减阈值，将超过此阈值的用电量数据截断，即将用电量置为该阈值。类型4表示将随机定义的一天内的某一时段的用电量置为零。类型5表示将一天的平均用电量按固定的随机比例削减生成篡改后的数据。类型6表示颠倒客户一天内的用电量时序。
利用处理窃电行为模拟公式在Irish CER Smart Metering Project数据集上生成窃电样本，经过处理之后共4232个客户，每个客户535天的负荷数据。为了能够区分窃电客户与那些由于其他原因导致某一天用电模式发生较大改变的用户，选用用户七天而非仅一天的负荷数据进行窃电检测。为了增大数据量，同时充分利用数据集，将一个用户分割成若干个用户，以得到一个较大的数据集。划分为不同块的模型结果对比如图3所示。
本实施例进一步分析模型超参数，即Transformer编码器(Encoder)的层数L，Multi- Head Attention中head的个数H，以及编码向量维度，通过对上述三个超参数进行网格搜索以确定模型超参数的最优值，网格搜索的范围以及选择的结果如表2所示。
表2：参数网格搜索范围
Figure RE-GDA0003776277000000101
模型损失函数的选择，在使用样本不平衡数据集完成分类任务时，常用的损失函数有 BCE(Balanced Cross Entropy)、FL(Focal Loss)与GHMC(gradient harmonizingmechanism classification)，BCE对不同类别的样本施加不同的权重，FL除此之外还对难以分类的样本加权，GHMC则重点关注分类难度适中的样本。为了评价使用上述三个损失函数训练模型时，分类的准确率与结果的稳定性，分别使用5折交叉验证，即对于每一个损失函数，都会有5 组ACC与AUC的值，每一个散点结果如图6与图7中所示，五次结果的平均值与标准差如图8与图9所示。
从图8、9中可以看出，使用BCE训练模型五次结果平均值最大，FL最大值最大，但FL的结果的分布较为离散，标准差较大，而BCE的标准差很小，综上所述，使用BCE训练模型的过程较为稳定，总体结果也最好，且权重因子可以被灵活地调节根据数据集不同的不平衡程度；使用FL作为损失函数，模型虽然可达到较高的AUC与ACC，但结果波动较大，且在样本不平衡程度改变的时候需要调两个相互影响的参数，寻优成本很高，GHMC在本数据集上的表现较差，基于上述分析，本实施例选取Balanced Cross Entropy作为模型训练过程的损失函数。
本实施例进一步将本发明与传统检测算法进行对比，包括两部分：1、单一学习器，即选用在窃电检测中的常用的单一学习算法进行实验，包括逻辑回归(LogisticRegression,LR)、反向传播神经网络(Back Propagation Neuron Network,BP)与决策树(Decision Tree,DT)；2、集成学习，选用的集成学习算法包括RF、AdaBoost、XGBoost与GBDT，深度学习选用深度学习算法CNN与LSTM与本发明进行对比，结构与参数设置如表3所示。
表3：CNN与LSTM参数设置划分
对上述各种方法的窃电检测能力进行对比分析，结果如表5所示，从表5中可以看出，
Figure RE-GDA0003776277000000111
本发明取得最高的ACC，为98.23％。且TPR与FPR分别为94.15％与1.05％，即表明实际为窃电客户的样本中有94.15％被检测出来，实际为正常客户的样本中有1.05％被错误地预测，该两个指标表明模型能够将窃电客户较多的检查出来的同时仍能保证正常客户不被误判。本发明方法的Pre达到了94.08％，即所有预测为窃电客户的样本中有94.08％实际确为窃电客户。Pre与TPR是一对此消彼长的量，F1为这两个指标的调和平均数，反映了模型将窃电客户更多且准确的检查出来的能力。本发明方法的F1为94.11％，也高于传统其它方法。传统LSTM方法虽然达到了最高的Pre，但TPR较低，所以其F1并不高；AUC是综合TPR与FPR并考虑所有分类阈值的指标，它不受数据集不平衡的影响，表示模型的综合性能，本发明方法的AUC达到了最高值99.71％，高于深度学习的方法0.7％-2.6％，高于集成学习的方法4.5％-6.3％，高于单一分类器6.3％-10％。即相比于传统各类检测方法，本发明具有更好的检测精度以及综合性能。
表4：窃电检测能力比较
Figure RE-GDA0003776277000000112
Figure RE-GDA0003776277000000121
对比其它各分类器，本发明误检率不是最小的，这是由于误检率与查全率为一对难以平衡的量，较低的误检率往往意味着较小的查全率，改变分类器的分类阈值，可以得到一系列的查全率与误检率对。分别以上述误检率与查全率值作为横坐标与纵坐标，可以得到分类器的ROC曲线，如图10所示。
本发明通过使用注意力卷积块嵌入输入数据并提取根据原始数据划分得到的每个段中的局部特征，并使用Transformer模型捕获整条负荷序列的全局特征，可以基于Transformer 神经网络自动提取用户消费数据特征，实现端到端深度学习窃电检测，经过上述方法所得到的检测模型具有强大的提取特征能力，同时可以很好的处理不平衡的数据集，具有强泛化能力且没有过拟合的现象。通过选择适合的损失函数还可以进一步减小样本不平衡的影响，通过添加标准化层，dropout正则化与L2正则化还可以解决模型过拟合的问题。本实施例中标准化层选用与网络结构中一致的Layer Normalization层。Dropout具体实现过程包括：对于网络的每一层，随机的丢弃一些单元，由于在每一层随机的丢弃了一些单元，所以相当于训练出来的网络要比正常的网络小的多，在一定程度上避免过拟合的问题。L2正则化是在损失函数的后面增加一个惩罚项，如果一个权重太大，将导致代价过大，因此在后向传播后，就会对该权重进行惩罚，使其保持一个较小的值。
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (10)

1.一种基于Transformer神经网络的窃电检测方法，其特征在于，包括：
S1.获取待检测用户的用电负荷序列，对所述用电负荷序列中的丢失数据进行插值后划分为多个分块，得到多个负荷分块数据；
S2.分别将各个所述负荷分块数据输入至卷积块注意力模型中，提取每个所述负荷分块中的局部特征，并在提取出的局部特征中添加位置编码，得到局部特征编码数据，由各所述负荷分块数据所得到的所述局部特征编码数据形成编码向量；
S3.将步骤S2得到的编码向量输入到Transformer编码器中，提取得到所述用电负荷序列的全局特征；
S4.将步骤S3提取出的全局特征输入至预设的分类器中进行分类处理，得到是否窃电的检测结果输出。
2.根据权利要求1所述的基于Transformer神经网络的窃电检测方法，其特征在于，所述步骤S1中采用三次样条插值法对丢失数据进行插值，采用所述三次样条插值法进行插值的表达式为：
Sj(x)＝aj+bjx+cjx2+djx3
Figure FDA0003608830520000011
其中，xi表示待检测用户在指定时长j中第i时刻的用电负荷量值，Sj(xi)为在指定时长j对xi的插值函数，aj、bj、cj、dj分别为所述插值函数中的系数，f(xi)表示xi的取值函数，NAN表示空集。
3.根据权利要求1所述的基于Transformer神经网络的窃电检测方法，其特征在于，所述步骤S1中，还包括对所述用电负荷序列中含有错误数据的样本进行修正步骤；对所述含有错误数据的样本具体采用3σ法则按照下式进行修正：
Figure FDA0003608830520000012
其中，xi表示待检测用户在指定时长中第i时刻的用电负荷量值，xi-1表示待检测用户在指定时长中第i-1时刻的用电量值，xi+1表示待检测用户在指定时长中第i+1时刻的用电负荷量值，
Figure FDA0003608830520000013
表示待检测用户在指定时长的用电量平均值，σ(xi)表示xi的标准差。
4.根据权利要求1所述的基于Transformer神经网络的窃电检测方法，其特征在于，所述步骤S1中，使用编码模块将所述用电负荷序列划分为P个长度为S的词向量，以实现对所述用电负荷序列的分块，其中长度S通过网格搜索的方法确定最优取值。
5.根据权利要求1所述的基于Transformer神经网络的窃电检测方法，其特征在于，所述卷积块注意力模型具体为：
Figure FDA0003608830520000021
Mc(F)＝σ(MLP(AvgP(F))+MLP(Maxp(F)))
Ms(F)＝σ(Conv([Avgp(F)；Maxp(F)]))
其中，F表示输入的特征向量，即为负荷分块数据，F'表示经过卷积块注意力模块后输出的特征向量，即为提取出的每个所述负荷分块中的局部特征，Mc与Ms分别表示通道与位置注意力权重向量，
Figure FDA0003608830520000022
表示逐元素相乘；Avgp表示平均值池化，Maxp表示最大值池化，MLP表示全连接层，Conv表示卷积层，σ表示激活函数Sigmoid。
6.根据权利要求1～5中任意一项所述的基于Transformer神经网络的窃电检测方法，其特征在于，所述Transformer编码器具体为：
Encoder(I)＝Block(...Block(I))
Block(I)＝LN(I′+MLP(I′))
I′＝LN(I+MultiHead(I))
其中，I表示输入，MultiHead表示多头注意力，LN为层归一化，I'表示头注意力的输出，MLP为组成前馈网络的全连接层，Block表示由多头注意力与前馈网络组成的模块，Encoder为Transformer编码器中Encoder模块；
所述多头注意力具体为：
Figure FDA0003608830520000023
headi＝Attention(QWi Q,KWi K,VWi V)
其中，Wo表示输出时的线性映射权重矩阵，
Figure FDA0003608830520000024
分别表示输入时第i个头Q、K、V向量进行线性投影的权重矩阵，Attention表示注意力机制且表达式具体为：
Figure FDA0003608830520000025
式中，kT表示K的转置，
Figure FDA0003608830520000026
表示K的维度。
7.根据权利要求1～5中任意一项所述的基于Transformer神经网络的窃电检测方法，其特征在于，所述步骤S2中，在利用卷积块注意力模型对输入的用电数据进行特征提取得到特征图后，随机产生相同数量、相同维度的向量并作为所述位置编码向量，将所述位置编码向量与提取得到的特征图进行合并；在模型训练的过程中，将所述位置编码向量直接作为训练参数与待训练数据一同进行训练。
8.根据权利要求1～5中任意一项所述的基于Transformer神经网络的窃电检测方法，其特征在于，所述分类器依次包括一层归一化层、两层全连接层，所述全连接层中间采用GELU激活函数进行激活，最后一层全连接神经元个数为1，所述步骤S4中提取出的全局特征输入至所述分类器中，输出一个概率值，如果输出的所述概率值大于预设阈值，则判定待检测用户为窃电客户，否则判定为正常用户。
9.一种基于Transformer神经网络的窃电检测装置，其特征在于，包括：
分块模块，用于获取待检测的用电负荷序列，对所述待检测的用电负荷序列中的丢失数据进行插值后划分为多个分块，得到多个负荷分块数据；
局部特征提取模块，用于分别将各个所述负荷分块数据输入至卷积块注意力模型中，提取每个所述负荷分块中的局部特，并在提取出的局部特征中添加位置编码，得到局部特征编码数据，由各所述负荷分块数据所得到的所述局部特征编码数据形成编码向量；
全局特征提取模块，用于将所述局部特征提取模块得到的编码向量输入到Transformer编码器中，提取得到所述用电负荷序列的全局特征；
检测分类模块，用于将全局特征提取模块提取出的全局特征输入至预设的分类器中进行分类处理，得到是否窃电的检测结果输出。
10.一种计算机装置，包括处理器以及存储器，所述存储器用于存储计算机程序，其特征在于，所述处理器用于执行所述计算机程序以执行如权利要求1～8中任意一项所述方法。
CN202210423324.0A 2022-04-21 2022-04-21 基于Transformer神经网络的窃电检测方法及装置 Pending CN115018512A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210423324.0A CN115018512A (zh) 2022-04-21 2022-04-21 基于Transformer神经网络的窃电检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210423324.0A CN115018512A (zh) 2022-04-21 2022-04-21 基于Transformer神经网络的窃电检测方法及装置

Publications (1)

Publication Number Publication Date
CN115018512A true CN115018512A (zh) 2022-09-06

Family

ID=83066976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210423324.0A Pending CN115018512A (zh) 2022-04-21 2022-04-21 基于Transformer神经网络的窃电检测方法及装置

Country Status (1)

Country Link
CN (1) CN115018512A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116070172A (zh) * 2022-11-16 2023-05-05 北京理工大学 增强时间序列的特征表达性的方法
CN116089838A (zh) * 2023-03-01 2023-05-09 中南大学 窃电用户智能识别模型训练方法和识别方法
CN117239743A (zh) * 2023-11-15 2023-12-15 青岛鼎信通讯股份有限公司 一种电能表用电负荷获取方法、装置、设备及介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116070172A (zh) * 2022-11-16 2023-05-05 北京理工大学 增强时间序列的特征表达性的方法
CN116089838A (zh) * 2023-03-01 2023-05-09 中南大学 窃电用户智能识别模型训练方法和识别方法
CN116089838B (zh) * 2023-03-01 2023-09-26 中南大学 窃电用户智能识别模型训练方法和识别方法
CN117239743A (zh) * 2023-11-15 2023-12-15 青岛鼎信通讯股份有限公司 一种电能表用电负荷获取方法、装置、设备及介质
CN117239743B (zh) * 2023-11-15 2024-02-27 青岛鼎信通讯股份有限公司 一种电能表用电负荷获取方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN115018512A (zh) 基于Transformer神经网络的窃电检测方法及装置
CN111967502B (zh) 一种基于条件变分自编码器的网络入侵检测方法
CN111914873A (zh) 一种两阶段云服务器无监督异常预测方法
CN112039903B (zh) 基于深度自编码神经网络模型的网络安全态势评估方法
CN111783442A (zh) 入侵检测方法、设备和服务器、存储介质
CN109800875A (zh) 基于粒子群优化和降噪稀疏编码机的化工故障检测方法
CN111901340B (zh) 一种面向能源互联网的入侵检测系统及其方法
CN112070128A (zh) 一种基于深度学习的变压器故障诊断方法
CN112147432A (zh) 基于注意力机制的BiLSTM模块、变压器状态诊断方法和系统
CN115510042A (zh) 基于生成对抗网络的电力系统负荷数据填补方法及装置
CN111556016A (zh) 一种基于自动编码器的网络流量异常行为识别方法
CN114048468A (zh) 入侵检测的方法、入侵检测模型训练的方法、装置及介质
CN114760098A (zh) 一种基于cnn-gru的电网虚假数据注入检测方法及装置
CN115587335A (zh) 异常值检测模型的训练方法、异常值检测方法及系统
CN114037001A (zh) 基于wgan-gp-c和度量学习的机械泵小样本故障诊断方法
CN117278314A (zh) 一种DDoS攻击检测方法
CN115115019A (zh) 基于神经网络的异常检测方法
CN116400168A (zh) 一种基于深度特征聚类的电网故障诊断方法及系统
CN116702132A (zh) 网络入侵检测方法及系统
CN116170187A (zh) 一种基于cnn和lstm融合网络的工业互联网入侵监测方法
CN113033419A (zh) 基于进化神经网络的设备故障辨识方法及系统
CN111488903A (zh) 基于特征权重的决策树特征选择方法
CN116776134B (zh) 一种基于PCA-SFFS-BiGRU的光伏出力预测方法
CN116245199A (zh) 一种基于堆叠自编码器与支持向量机的变压器故障诊断方法
Dong et al. Anomaly Intrusion Detection in Online Learning Space Based on XGBoost

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination