CN116089838B - 窃电用户智能识别模型训练方法和识别方法 - Google Patents
窃电用户智能识别模型训练方法和识别方法 Download PDFInfo
- Publication number
- CN116089838B CN116089838B CN202310184950.3A CN202310184950A CN116089838B CN 116089838 B CN116089838 B CN 116089838B CN 202310184950 A CN202310184950 A CN 202310184950A CN 116089838 B CN116089838 B CN 116089838B
- Authority
- CN
- China
- Prior art keywords
- electricity
- user
- feature
- vector
- time sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005611 electricity Effects 0.000 title claims abstract description 283
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000012549 training Methods 0.000 title claims abstract description 59
- 238000000605 extraction Methods 0.000 claims abstract description 42
- 238000004364 calculation method Methods 0.000 claims abstract description 38
- 238000012512 characterization method Methods 0.000 claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 151
- 238000012545 processing Methods 0.000 claims description 38
- 238000013507 mapping Methods 0.000 claims description 23
- 230000011218 segmentation Effects 0.000 claims description 22
- 230000017105 transposition Effects 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008030 elimination Effects 0.000 claims description 10
- 238000003379 elimination reaction Methods 0.000 claims description 10
- 238000001228 spectrum Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000007774 longterm Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 3
- 230000007787 long-term memory Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000005612 types of electricity Effects 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 238000002679 ablation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000001308 synthesis method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 239000013604 expression vector Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Finance (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Marketing (AREA)
- General Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Mining & Analysis (AREA)
- General Business, Economics & Management (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Game Theory and Decision Science (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Tourism & Hospitality (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种窃电用户智能识别模型训练方法和识别方法，所述训练方法包括获取无标签用电数据和有标签用电数据；对用电时间序列进行预处理；由无标签用电数据的N个预处理后的用电时间序列构成第一样本数据集，由有标签用电数据的M个预处理后的用电时间序列及对应的用户类型构成第二样本数据集；构建对比表征学习模型，利用第一样本数据集对对比表征学习模型进行训练，得到目标特征编码器；构建窃电用户智能识别模型，窃电用户智能识别模型包括目标特征编码器、时频域特征提取模块以及分类计算模块；利用第二样本数据集对窃电用户智能识别模型进行训练，得到目标窃电用户智能识别模型。本发明能够提高窃电用户识别的准确性。
Description
技术领域
本发明属于智能识别技术领域，尤其涉及一种基于对比表征学习的窃电用户智能识别模型训练方法、识别方法、设备及存储介质。
背景技术
随着电网规模的不断扩大，窃电行为已经成为电力行业的一个常见问题。窃电行为指的是非法用户在某些策略下改变智能电表数据，并持续相对较长时间。窃电策略主要包括物理攻击(例如绕过电表)、固件攻击(例如断开电表)和网络攻击(例如会话劫持)等。窃电行为频发会大大影响电力企业的经济效益，导致公用事业公司每年在全球范围内损失超过190亿英镑。而且窃电行为会打破公用事业公司和用电客户之间的电力供需关系，公用事业公司会低估客户的电力需求，生产少于真实需求的电力，从而大大降低电网运行的安全性和可靠性。随着窃电行为的专业化程度越来越高，技术性越来越强，会形成窃电产品研发、生产一体化的“灰色产业链”，最后导致窃电识别越来越艰难。
基于标签的可用性，现有关于窃电用户识别的研究可以分为基于监督学习模型的方法和基于无监督学习模型的方法。基于监督学习模型的方法能够充分运用标签信息，但模型的训练和性能高度依赖于足够数量的标签数据的可用性。在现实电力场景中，窃电用户标签信息是难以获取的，因而窃电用户识别模型的召回率会较差。基于无监督学习模型的方法则不需要依赖于标签信息，可以自动从数据中挖掘潜在用电特征，但是正因为没有窃电用户标签信息的监督，所以模型的准确度往往是不理想的。经过调研发现，现有窃电识别研究在小样本场景中性能表现较差。
发明内容
本发明的目的在于提供一种窃电用户智能识别模型训练方法和识别方法，以解决现有的窃电用户识别方法无法从少量样本中学习有效的用电特征表示而导致识别不准确的问题。
本发明是通过如下的技术方案来解决上述技术问题的：一种窃电用户智能识别模型训练方法，所述方法包括以下步骤：
获取无标签用电数据和有标签用电数据，其中所述无标签用电数据包括N个用户的用电时间序列，所述有标签用电数据包括M个用户的用户类型及其用电时间序列，所述用户类型包括窃电用户和诚实用户；
对所述无标签用电数据和有标签用电数据中每个用户的用电时间序列进行预处理，得到预处理后的用电时间序列；
由所述无标签用电数据的N个预处理后的用电时间序列构成第一样本数据集，由所述有标签用电数据的M个预处理后的用电时间序列及对应的用户类型构成第二样本数据集；对所述第二样本数据集进行样本平衡处理；
构建对比表征学习模型，利用所述第一样本数据集对所述对比表征学习模型进行训练，得到目标特征编码器；
构建窃电用户智能识别模型，所述窃电用户智能识别模型包括目标特征编码器、时频域特征提取模块以及分类计算模块；所述目标特征编码器，用于对用电时间序列进行特征编码，得到与所述用电时间序列对应的用电编码特征；所述时频域特征提取模块，用于将用电时间序列从时域转换到时频域，得到与所述用电时间序列对应的用电时频域特征；所述分类计算模块，用于根据用户时间序列的用电编码特征和用电时频域特征进行分类计算，得到用户类型；
利用样本平衡处理后的所述第二样本数据集对所述窃电用户智能识别模型进行训练，得到目标窃电用户智能识别模型。
进一步地，对每个用户的用电时间序列进行预处理的具体实现过程为：
对所述用电时间序列中的缺失用电量进行填补处理，具体公式为：
其中，xqk表示有标签用电数据或无标签用电数据中某个用户q在第k个时间的用电量，xq(k-1)表示用户q在第k-1个时间的用电量，xq(k+1)表示用户q在第k+1个时间的用电量，NaN表示用电量为空值，f1(xqk)表示填补处理后的用户q在第k个时间的用电量；
对所述用电时间序列中的异常用电量进行恢复或消除处理，具体公式为：
其中，xsk表示有标签用电数据或无标签用电数据中某个用户s在第k个时间的用电量，表示用户s的用电时间序列的平均用电量，/>表示用户s的用电时间序列的用电量标准差，f2(xsk)表示恢复或消除处理后的用户s在第k个时间的用电量，n为用电时间序列中的用电时间数；
对所述用电时间序列中的每个用电量进行归一化处理，具体公式为：
其中，xik表示有标签用电数据或无标签用电数据中第i个用户在第k个时间的用电量，x’ik为归一化处理后的第i个用户在第k个时间的用电量，ximin为第i个用户的用电时间序列xi(n)中的最小用电量，ximax为第i个用户的用电时间序列xi(n)中的最大用电量。
进一步地，所述对比表征学习模型包括第一增强模块、第二增强模块、第一特征编码器、第二特征编码器、换位预测模块、第一非线性映射层、第二非线性映射层以及对比损失计算模块；
利用所述第一样本数据集对所述对比表征学习模型进行训练的具体实现过程包括：
对于同一用电时间序列，利用所述第一增强模块对其进行强增强处理，得到增强用电时间序列Augs，利用所述第二增强模块对其进行弱增强处理，得到增强用电时间序列Augw；
利用所述第一特征编码器对所述增强用电时间序列Augs进行高维特征提取，得到特征向量hs；利用所述第二特征编码器对所述增强用电时间序列Augw进行高维特征提取，得到特征向量hw；所述第一特征编码器与所述第二特征编码器参数共享；
利用所述换位预测模块对所述特征向量hs、特征向量hw进行换位预测，得到上下文内容向量上下文内容向量/>预测损失/>和预测损失/>
利用所述第一非线性映射层对所述上下文内容向量进行冗余消除处理，得到特征向量zs；利用所述第二非线性映射层对所述上下文内容向量/>进行冗余消除处理，得到特征向量zw；所述第一非线性映射层与所述第二非线性映射层参数共享；
在所述对比损失计算模块中，根据所述特征向量zs、特征向量zw计算出对比损失
根据所述预测损失预测损失/>以及对比损失/>计算出整体损失/>
根据所述整体损失调节所述对比表征学习模型的参数，使所述整体损失/>最小，从而得到训练后的第一特征编码器和第二特征编码器，所述目标特征编码器为训练后的第一特征编码器或第二特征编码器。
进一步地，所述换位预测模块包括第一分段子模块、第二分段子模块、第一上下文编码器、第二上下文编码器以及LOG双线性模型；
利用所述换位预测模块对所述特征向量hs、特征向量hw进行换位预测的具体实现过程包括：
利用所述第一分段子模块对所述特征向量hs进行分段处理，得到Q个片段特征向量；利用所述第二分段子模块对所述特征向量hw进行分段处理，得到Q个片段特征向量；
利用所述第一上下文编码器对由特征向量hs的前d个片段特征向量构成的特征向量进行特征提取，得到所述上下文内容向量利用所述第二上下文编码器对由特征向量hw的前d个片段特征向量构成的特征向量进行特征提取，得到所述上下文内容向量/>
在所述LOG双线性模型中，根据所述上下文内容向量进行预测，得到预测向量根据所述上下文内容向量/>进行预测，得到预测向量/>其中d+e＜＝Q；
根据所述上下文内容向量预测向量/>计算出预测损失/>根据所述上下文内容向量/>预测向量/>计算出预测损失/>
进一步地，所述预测损失预测损失/>的具体计算公式为：
其中，E为预测步长，MLBL为LOG双线性模型的预测函数，T为转置运算，d为第一上下文编码器或第二上下文编码器进行特征提取时的片段特征向量的数量，为特征向量hw的第r个片段特征向量，/>为特征向量hs的第r个片段特征向量。
进一步地，所述整体损失的具体计算公式为：
其中，λ1，λ2为超参数，表示每个损失的相对权重；N为批大小；Sim()为相似度计算函数；为第i个用户的特征向量zs；/>为第i个用户的特征向量zw；/>为第j个用户的特征向量zs；/>为第j个用户的特征向量zw；τ为温度超参数。
进一步地，所述用电时频域特征包括用电时间序列的平均值、标准差、极差、均方根、频谱均值、频谱标准差、频率重心标准差和均方根频率；
所述分类计算模块包括依次连接的卷积神经网络层、长短期记忆网络层和第一全连接神经网络层，第二全连接神经网络层、融合层以及完全连接层；
利用所述第二全连接神经网络层对用电时间序列的用电时频域特征进行深层特征提取，得到第一特征量；利用卷积神经网络层对用电时间序列的用电编码特征进行深层局部特征提取得到特征量Fcnn，再利用长短期记忆网络层对特征量Fcnn进行长期特征提取，得到特征量Flstm，然后利用所述第一全连接神经网络层对特征量Flstm进行特征降维操作，得到第二特征量，利用融合层将所述第一特征量和第二特征量进行融合处理得到中间特征量，再利用具有Sigmoid激活功能的完全连接层对中间特征量进行分类计算，得到用户类型。
基于同一构思，本发明还提供一种窃电用户识别方法，所述方法包括以下步骤：
获取用户在某个时间段的用电时间序列；
对所述用电时间序列进行预处理，得到预处理后的用电时间序列；
调用目标窃电用户智能识别模型，所述目标窃电用户智能识别模型根据如上所述窃电用户智能识别模型训练方法训练得到；
基于所述目标窃电用户智能识别模型，对所述预处理后的用电时间序列进行窃电识别，得到用户类型。
基于同一构思，本发明提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上所述窃电用户智能识别模型训练方法或窃电用户识别方法。
基于同一构思，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述窃电用户智能识别模型训练方法或窃电用户识别方法。
有益效果
与现有技术相比，本发明的优点在于：
本发明利用无标签用电数据训练对比表征学习模型得到目标特征编码器，在对窃电用户智能识别模型进行训练时目标特征编码器可以从用电数据中挖掘用电时间序列的本质特征，去除了每个用电时间序列中的冗余信息，得到通用的用电特征，有利于提高窃电用户识别的准确性；
本发明窃电用户智能识别模型包含的时频域特征提取模块，不仅挖掘，丰富了用电特征维度，缓解了有标签用电数据样本过少导致无法从少量样本中学习有效的用电特征问题，提高了窃电用户识别的准确性；
本发明窃电用户智能识别模型包含的分类计算模块对目标特征编码器得到的用电编码特征和时频域特征提取模块得到的用电时频域特征进行二次特征提取和融合，得到更简洁高效的特征表示，提升了窃电用户分类的精度和泛化性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一个实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中窃电用户智能识别模型训练方法流程图；
图2是本发明实施例中对比表征学习模型架构图；
图3是本发明实施例中换位预测模块架构图；
图4是本发明实施例中非线性映射层架构图；
图5是本发明实施例中窃电用户智能识别模型架构图；
图6是本发明实施例中不同用电用户时域特征的CDF图
图7是本发明实施例中不同用电用户频域特征的CDF图
图8是本发明实施例中分类计算模块架构图；
图9是本发明实施例中本发明模型与现有先进模型对比实验结果。
具体实施方式
下面结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
如图1所示，本发明实施例所提供的一种窃电用户智能识别模型训练方法，包括以下步骤：
步骤1：获取无标签用电数据和有标签用电数据，其中无标签用电数据包括N个用户的用电时间序列，有标签用电数据包括M个用户的用户类型及其用电时间序列，用户类型包括窃电用户和诚实用户。
本实施例选用的有标签用电数据由中国国家电网公司(SGCC)(参考文献：“Electricity Theft Detection.”2018.[Online].Available:https://github.com/henryRDlab/ElectricityTheftDetection)提供，如表1所示。表1中，有标签用电数据包括42372个用户在2014-01-01至2016-10-31共1035天的每日用电量，其中含有38757位诚实用户，3615位窃电用户。
表1有标签用电数据
| 描述 | 值 |
| 用电时间范围 | 2014-01-01至2016-10-31(共1035天) |
| 用户总数 | 42372 |
| 窃电用户总数 | 3615 |
| 诚实用户总数 | 38757 |
| 总样本数 | 42372*1035＝43855020 |
定义第i个用户的用电时间序列表示为xi(n)＝{xi1,xi2,…,xik,…,xin}，xik为第i个用户在第k天的用电量，n为用电时间序列的用电天数(例如，对于有标签用电数据的用电时间序列，n＝1035)；对于无标签用电数据，i＝1,2,3…,N；对于有标签用电数据，i＝1,2,3…,M。
步骤2：对无标签用电数据和有标签用电数据中每个用户的用电时间序列进行预处理，得到预处理后的用电时间序列。
由于电表损坏或网络传输不可靠等问题，用电时间序列通常包含大量的缺失值或异常值。首先使用插补法对用电时间序列中的缺失用电量进行填补，具体公式为：
其中，xqk表示有标签用电数据或无标签用电数据中某个用户q在第k天的用电量，xq(k-1)表示用户q在第k-1天的用电量，xq(k+1)表示用户q在第k+1天的用电量，NaN表示用电量为空值，f1(xqk)表示填补处理后的用户q在第k天的用电量。
由于用电数据服从正态分布，因此使用“2-sigma法则”对错误数据或异常数据(如离群值)进行恢复或消除处理，即如果用户某天用电量与平均用电量之差超过2倍用电量标准差，则认为该天的用电量值为异常值，具体恢复或消除处理公式为：
其中，xsk表示有标签用电数据或无标签用电数据中某个用户s在第k天的用电量，表示用户s的用电时间序列的平均用电量，/>表示用户s的用电时间序列的用电量标准差，f2(xsk)表示恢复或消除处理后的用户s在第k天的用电量。
对缺失值或异常值进行处理保证了用户用电时间序列接近实际情况，为后续窃电用户智能识别模型性能的提升奠定基础。为了使后续模型更容易训练，对有标签用电数据和无标签用电数据中每个用电时间序列的每个用电量进行归一化处理，具体公式为：
其中，x’ik为归一化处理后的第i个用户在第k天的用电量，ximin为第i个用户的用电时间序列xi(n)中的最小用电量，ximax为第i个用户的用电时间序列xi(n)中的最大用电量。
步骤3：由无标签用电数据的N个预处理后的用电时间序列构成第一样本数据集，由有标签用电数据的M个预处理后的用电时间序列及对应的用户类型构成第二样本数据集。
第一样本数据集用于无监督的对比表征学习，第二样本数据集用于监督的窃电用户智能识别模型训练。可以将第二样本数据集按照7：3的比例划分为训练集和测试集，训练集用于窃电用户智能识别模型训练，测试集则用于窃电用户智能识别模型评估。
步骤4：采用欠采样法对第二样本数据集进行样本平衡处理。
机器学习模型在类别不平衡的样本中学习时，通常会在少数类别样本上表现很差的泛化性。在真实用电场景中，有大量诚实用户的良性样本，但窃电用户的异常样本很少。本发明所使用的第二样本数据集中，诚实用户样本和窃电用户样本的比例接近11:1。因此，在进行监督的窃电用户智能识别模型训练时，需要对训练集进行样本平衡处理。
目前，关于不平衡样本数据集的研究主要分为数据重采样方法和数据合成方法。数据重采样方法主要分为过采样方法和欠采样方法。过采样容易对窃电用户类别过拟合，无法学习到更鲁棒、更泛化的特征；而欠采样会造成诚实用户类别的信息缺失。最经典的数据合成方法为合成少数过采样技术(SMOTE)，但是这种方法会加大运算开销，并且会扭曲类分布。本实施例采用最简单且运算开销最小的欠采样方法，减少诚实用户样本的数量来实现诚实用户样本和窃电用户样本的数量平衡。为了弥补由诚实用户类别信息减少所带来的影响，在窃电用户智能识别模型的框架设计中引入时频域特征提取模块和分类计算模块的特征融合部分。
步骤5：构建对比表征学习模型，利用第一样本数据集对对比表征学习模型进行训练，得到目标特征编码器。
现实生活中存在大量的无标签用电数据，大多数研究直接忽略这部分数据，但其实无标签用电数据同样蕴含着大量的用电基本信息，例如通用的用电模式(例如周末用电量大于工作日用电量，用电时间序列呈现周期性)等。本发明对无标签用电数据进行学习，旨在丢弃用户用电时间序列的局部噪声和冗余信息(例如用电量随机波动性)，获得一种通用的用电特征向量。
对比表征学习模型使用对比表征学习技术可以从不含标签的用电时间序列中挖掘同类用电量的相同特性，并将其编码为高级特征。对比表征学习模型的学习目标是学习一个目标特征编码器，目标特征编码器会对同类用电量进行相似的特征编码，并使不同类用电量的特征编码结果尽可能的不同。
本实施例中，如图2所示，对比表征学习模型包括第一增强模块、第二增强模块、第一特征编码器、第二特征编码器、换位预测模块、第一非线性映射层、第二非线性映射层以及对比损失计算模块。在本发明的一种具体实施方式中，利用第一样本数据集(即无标签用电数据)对对比表征学习模型进行训练的具体实现过程包括：
步骤5.1：对于同一用电时间序列，利用第一增强模块对该用电时间序列进行强增强处理，得到增强用电时间序列Augs，利用第二增强模块对该用电时间序列进行弱增强处理，得到增强用电时间序列Augw。
本实施例中，强增强处理为对用电时间序列加入噪声，并放大其变化幅度；弱增强处理为将用电时间序列随机分成若干个用电时间序列片段，并随机置换用电时间序列片段的排列顺序，然后对置换后的用电时间序列加入噪声。
本实施例中，下标s表示强增强，下标w表示弱增强，在对应的特征向量前可以加“强增强”或“弱增强”，例如特征向量hs也可以表示强增强特征向量hs。
步骤5.2：利用第一特征编码器对增强用电时间序列Augs进行高维特征提取，得到特征向量hs；利用第二特征编码器对增强用电时间序列Augw进行高维特征提取，得到特征向量hw；第一特征编码器与第二特征编码器参数共享。
第一特征编码器fθ和第二特征编码器fθ均由卷积神经网络(CNN)所构成。在训练过程中，第一特征编码器与第二特征编码器之间的参数是相互共享的。由于特征向量hs和特征向量hw是同一个用电时间序列在不同视角下的高维潜在特征表示向量，认为特征向量hs和特征向量hw可以进行换位预测。
步骤5.3：利用换位预测模块对特征向量hs、特征向量hw进行换位预测，得到上下文内容向量上下文内容向量/>预测损失/>和预测损失/>
本实施例中，如图3所示，换位预测模块包括第一分段子模块、第二分段子模块、第一上下文编码器、第二上下文编码器以及LOG双线性模型。
在本发明的一种具体实施方式中，利用换位预测模块对特征向量hs、特征向量hw进行换位预测的具体实现过程包括：
步骤5.31：利用第一分段子模块对特征向量hs进行分段处理，得到Q个片段特征向量；利用第二分段子模块对特征向量hw进行分段处理，得到Q个片段特征向量。
对特征向量hs进行平均分段处理后， 为特征向量hs的第q个片段特征向量；对特征向量hw进行平均分段处理后，/> 为特征向量hw的第q个片段特征向量。
步骤5.32：利用第一上下文编码器对由特征向量hs的前d个片段特征向量构成的特征向量进行特征提取，得到上下文内容向量利用第二上下文编码器对由特征向量hw的前d个片段特征向量构成的特征向量进行特征提取，得到上下文内容向量/>
第一上下文编码器Cθ与第二上下文编码器Cθ均为一个堆叠C个相同层的模型，每一层由多头自注意力机制网络所组成。使用上下文编码器Cθ构建关于{h1,h2,…,hd}特征向量的上下文内容向量，得到强增强上下文内容向量和弱增强上下文内容向量/>0＜d＜Q，即使用第一上下文编码器Cθ构建关于/>特征向量的上下文内容向量，得到强增强上下文内容向量/>使用第二上下文编码器Cθ构建关于/>特征向量的上下文内容向量，得到弱增强上下文内容向量/>
步骤5.33：在LOG双线性模型中，根据上下文内容向量进行预测，得到预测向量根据上下文内容向量/>进行预测，得到预测向量/>其中1＜d+e＜＝Q。
由于特征向量hs和特征向量hw可以进行换位预测，因此根据上下文内容向量来预测对方的下一个片段特征向量，具体地，通过上下文内容向量预测/>得到预测损失通过上下文内容向量/>预测/>得到预测损失/>
步骤5.34：根据上下文内容向量预测向量/>计算出预测损失/>根据上下文内容向量/>预测向量/>计算出预测损失/>
本实施例使用LOG双线性模型MLBL进行预测操作，预测损失预测损失/>的具体计算公式为：
其中，e为预测步长，MLBL为LOG双线性模型的预测函数，为对上下文内容向量/>进行预测操作，T为转置运算，d为第一上下文编码器或第二上下文编码器进行特征提取时的片段特征向量的数量，/>为特征向量hw的第r个片段特征向量，/>为特征向量hs的第r个片段特征向量。通过最小化强增强预测损失/>和弱增强预测损失/>达到最大化同一个用电时间序列的预测向量与真实向量之间的相似度，最小化与其他用电时间序列之间的相似度的目的。
步骤5.4：利用第一非线性映射层对上下文内容向量进行冗余消除处理，得到特征向量zs；利用第二非线性映射层对上下文内容向量/>进行冗余消除处理，得到特征向量zw；第一非线性映射层与第二非线性映射层参数共享。
由于使用特征编码器编码后的特征向量会保留与数据增强操作相关的冗余信息，所以将获得的上下文内容向量和/>传递给非线性映射层gθ，使非线性映射层gθ消除这些冗余信息对用电时间序列对应的特征向量的影响，从而得到强增强特征向量zs和弱增强特征向量zw。非线性映射层g0的结构如图4所示，由线性层(Linear)和激活层(ReLU)构成。在训练过程中，第一非线性映射层gθ与第二非线性映射层gθ的参数也是相互共享的。
步骤5.5：在对比损失计算模块中，根据特征向量zs、特征向量zw计算出对比损失
用户i的用电时间序列xi(n)经过强增强、弱增强处理后通过第一特征编码器、第二特征编码器编码得到的特征表示向量为特征向量特征向量/>定义/>互为正例对(即来自同一用电时间序列且经过强增强、弱增强处理后的两个不同特征向量为正例对)，而/>与其他用户的用电时间序列(例如xj(n)，i≠j)的特征向量/>互为反例对，即互为反例对(即来自不同用电时间序列且经过强增强或弱增强处理后的特征向量为负例对)。对比表征学习模型的对比损失/>的具体定义如下式：
其中，N为批大小(即一次训练的样本数量)；Sim()为相似度计算函数；为第i个用户的特征向量zs；/>为第i个用户的特征向量zw；/>为第j个用户的特征向量zs；/>为第j个用户的特征向量zw；τ为温度超参数。其中/>分别对zi,zj进行L2正则化，然后两者进行内积运算即可计算zi、zj的相似度。通过最小化对比损失/>达到最大化正例对之间的相似度、最小化反例对之间的相似度的目的。
步骤5.6：根据预测损失预测损失/>以及对比损失/>计算出整体损失/>
整体损失的具体计算公式为：
其中，λ1，λ2为超参数，表示每个损失的相对权重。通过最小化整体损失训练特征编码器fθ，使特征编码器fθ能够提取用电时间序列最本质的特征。
步骤5.7：根据整体损失调节对比表征学习模型的参数，使整体损失/>最小，从而得到训练后的第一特征编码器和第二特征编码器，目标特征编码器为训练后的第一特征编码器或第二特征编码器。
步骤6：构建窃电用户智能识别模型。
如图5所示，窃电用户智能识别模型包括目标特征编码器、时频域特征提取模块以及分类计算模块；目标特征编码器，用于对用电时间序列进行特征编码，得到与用电时间序列对应的用电编码特征；时频域特征提取模块，用于将用电时间序列从时域转换到时频域，得到与用电时间序列对应的用电时频域特征；分类计算模块，用于根据用户时间序列的用电编码特征和用电时频域特征进行分类计算，得到用户类型。
窃电用户智能识别模型仅使用少量的训练样本(即第二样本数据集)进行训练，难以学习到有效的用户用电特征表示，会产生过拟合现象。为了解决这一问题，本发明引入时频域特征提取模块来提高窃电用户智能识别模型的泛化性能。首先分析用户用电曲线的时域特征，学习用电曲线与时间之间的关系。但是仅仅使用传统的时域特征是不足够的，因为时域参数相同并不能代表两者用电时间序列就是完全相同的。为了充分挖掘用户用电特性，时频域特征提取模块同时分析了用电曲线频率变化与幅度变化之间的关系。利用傅里叶变换技术将时域信号转化为频域信号，从时域和频域两个方面分别对用电时间序列x(n)进行分析。具体转化方式如下：
X(s(p),fp)＝FFT(x(n),Fs)(8)
其中，FFT为快速傅里叶变换函数，Fs为对用电时间序列x(n)的采样频率，X为计算所得的信号幅值谱，s(p)为第p条谱线对应的幅值，fp为第p条谱线对应的频率。
本实施例从时域上分析了平均值、标准差、极差和均方根四个特征指标；从频域上提取了频谱均值、频谱标准差、频率重心标准差和均方根频率四个特征指标，表2显示这八个指标的详细内容。为了更好观察这些特征指标在诚实用户和窃电用户中的差异性，绘制了不同用电用户特征指标的CDF图，如图6和7(图6和7中，纵坐标均表示累计分布值，横坐标表示用户用电特征指标值，图中的某点(x,y)代表用户用电对应的特征指标值小于等于x所占百分比为y)。从图6和7可以看出，诚实用户和窃电用户在上述所提出的八种特征指标下有较为明显的区别，可以作为时频域特征提取模块中人工设计的特征知识。
表2时频域特征指标
通过时频域特征提取模块，对带标签的用电时间序列Ilabel从时域和频域捕获人工设计的用电时频域特征Fartificial，即包括平均值、标准差、极差、均方根、频谱均值、频谱标准差、频率重心标准差和均方根频率。人工设计的用电时频域特征Fartificial首先帮助窃电用户智能识别模型理解基本的用户窃电特征，如用电高峰、用电频率以及用电平均量等；第二，对窃电用户智能识别模型从用电时间序列中直接获取的知识进行了补充，从而提高下游模块的任务分类性能；第三，这些人工设计的用电时频域特征Fartificial通常可以使窃电用户智能识别模型在更少的数据样本下进行学习。
分类计算模块提出了一种新的特征融合方法，对经目标特征编码器编码的用电编码特征Fencoder和经时频域特征提取模块提取的用电时频域特征Fartificial进行特征融合，并进行有监督的深层特征提取。由于窃电用户的窃电行为是一个长期的行为，并且当天的用电情况潜在受前一天用电情况的影响，所以分类计算模块需要考虑提取用户用电时间序列的局部特征以及长期特征。
如图8所示，分类计算模块包括依次连接的卷积神经网络(CNN)层fcnn、长短期记忆网络(LSTM)层flstm和第一全连接神经网络(MLP)层fmlp，第二全连接神经网络(MLP)层fmlp、融合层g以及完全连接层h。利用第二全连接神经网络(MLP)层fmlp对用电时间序列的用电时频域特征Fartificial进行深层特征提取，得到第一特征量F′ artificial；利用卷积神经网络(CNN)层fcnn对用电时间序列的用电编码特征Fencoder进行深层局部特征提取得到特征量Fcnn，再利用长短期记忆网络(LSTM)层flstm对特征量Fcnn进行长期特征提取，得到特征量Flstm，然后利用第一全连接神经网络(MLP)层fmlp对特征量Flstm进行特征降维操作，减少过拟合现象，得到第二特征量F′encoder，利用融合层g将用电时间序列的第一特征量F′artificial和第二特征量F′encoder进行融合处理得到中间特征量Fconcat，再利用具有Sigmoid激活功能的完全连接层h对中间特征量Fconcat进行分类计算，得到用户类型。窃电用户智能识别模型的窃电用户分类结果Output的计算如下式：
output＝h(g(fmlp(flstm(fcnn(Fencoder))),fmlp(Fartificial))) (9)
步骤7：利用第二样本数据集对窃电用户智能识别模型进行训练，得到目标窃电用户智能识别模型。
需要选择合适指标来评价窃电用户智能识别模型分类效果。对于分类问题，最常用的指标是分类准确率(Accuracy)。但Accuracy指标在窃电用户识别问题中并不是很合适，因为Accuracy指标无法体现少数类别的分类情况，即无法观察本发明所关心窃电用户类别的分类情况。
本发明使用的指标是精确率(Precision)、召回率(Recall)、F-score(F1)和准确率(Accuracy)。这些指标都是从混淆矩阵的参数中提取出来。表3展现了混淆矩阵的参数组成，指标计算方式如公式(10)～(13)。当一个模型具有高召回率和高精确率时，能够说明该模型是一个完美的分类模型。
表3窃电用户分类混淆矩阵
| 真实\预测 | 窃电用户 | 诚实用户 |
| 窃电用户 | TP(真窃电用户数) | FN(假诚实用户数) |
| 诚实用户 | FP(假窃电用户数) | TN(真诚实用户数) |
精确率(Precision)、召回率(Recall)、F-score(F1)和准确率(Accuracy)的具体计算公式：
表4显示了本发明窃电用户智能识别模型在不同样本量上进行训练的实验结果，其中Ratio代表训练样本比率。不同的Ratio值代表不同大小的训练样本，具体情况如表5所示。从表4可以看出随着训练样本量的减少，模型的精度也在下降。但在极少训练样本量的情况下(Ratio＝0.1)，我本发明窃电用户智能识别模型仍能较好识别出窃电用户，F1为76.0％。分别与现有先进的端到端模型CNN-LSTM(参考文献：Hasan,M.N.；Toma,R.N.；Nahid,A.-A.；Islam,M.M.M.；Kim,J.-M.Electricity Theft Detection in Smart GridSystems:A CNN-LSTM Based Approach.Energies 2019,12,3310.https://doi.org/10.3390/en12173310)、Wide&Deep CNN(参考文献：Z.Zheng,Y.Yang,X.Niu,H.-N.Dai andY.Zhou,"Wide and Deep Convolutional Neural Networks for Electricity-TheftDetection to Secure Smart Grids,"in IEEE Transactions on IndustrialInformatics,vol.14,no.4,pp.1606-1615,April 2018,doi:10.1109/TII.2017.2785963.)以及非端到端模型ND-CP(参考文献：Ke Fei,Qi Li,Congcong Zhu,Ming Dong,Yigui Li,Electricity frauds detection in Low-voltage networks withcontrastive predictive coding,International Journal of Electrical Power&Energy Systems,Volume 137,2022,107715,ISSN 0142-0615,https://doi.org/10.1016/j.ijepes.2021.107715.)进行了比较，实验结果如图9所示。图9显示，与现有先进的端到端方法相比，本发明窃电用户智能识别模型能大幅度提升模型的Precision、Recall、F-score以及Accuracy；而与现有先进的非端到端方法相比，本发明窃电用户智能识别模型在Precision提升17.0％，F-score提升了10.0％，Accuracy提升了2.3％，并且具有较高的Recall。
表4本发明模型在不同训练样本量下的实验结果
| 指标(％)\Ratio | 1.0 | 0.8 | 0.5 | 0.3 | 0.1 |
| Precision | 87.1 | 81.4 | 79.6 | 75.9 | 63.7 |
| Recall | 97.3 | 98.7 | 97.6 | 93.5 | 94.2 |
| F1 | 92.0 | 89.2 | 87.7 | 83.8 | 76.0 |
| Accuracy | 98.5 | 97.9 | 97.6 | 96.8 | 94.8 |
表5不同Ratio值所代表的训练测试集大小
表6时频域特征提取模块消融实验结果
同时对时频域特征提取模块的功能进行了消融实验验证，进行了本发明模型(即ours)和去掉时频域特征提取模块之后的模型(即w/o)进行对比，实验结果如表6所示。表6显示，时频域特征提取模块丰富了特征维度，提高了模型的窃电用户识别能力。当在极端少量训练数据的情况下，时频域特征提取模块显著提高模型的整体精度，其中F1提高了12.9％。总体而言，本发明所提出的窃电用户智能识别模型具有优越的特征学习能力，并且能较为准确的识别窃电用户。
本发明提出了由经对比表征学习模型训练的目标特征编码器、时频域特征提取模块以及分类计算模块组成的窃电用户智能识别模型，该模型能够充分挖掘用户用电的丰富特征；与传统的监督学习相比，本发明通过充分运用没有标签的用电数据，使用对比表征学习技术预训练一个用电时间序列的特征编码器，该特征编码器可以从大量用电数据中挖掘用电样本的本质特征，去除用电样本中的冗余信息；时频域特征提取模块的引入，从新的角度挖掘用电特征，丰富了用电特征维度，并且在少量标签用电样本的应用场景中，时频域特征提取模块的引入缓解了由于标签用电数据过少而导致深度学习模型无法学习有效表示的问题，本发明在少量标签用电样本问题场景中，仍能取得较好的结果。
本发明在分类计算模块中提出了一种新的特征融合框架,增强了窃电用户分类的泛化性，多特征融合算法将目标特征编码器和时频域特征提取模块学习到的特征进行融合，构造深度学习网络，进行二次特征提取，得到更简洁高效的特征表示，最后采用具有Sigmoid激活功能的分类器测试分类效果。本发明提升了窃电用户识别窃电用户分类的精度以及泛化性。
基于同一构思，本发明实施例还提供了一种窃电用户识别方法，所述方法包括以下步骤：
步骤1：获取用户在某个时间段的用电时间序列；
步骤2：对所述用电时间序列进行预处理，得到预处理后的用电时间序列；
步骤3：调用目标窃电用户智能识别模型，所述目标窃电用户智能识别模型根据如上所述窃电用户智能识别模型训练方法训练得到；
步骤4：基于所述目标窃电用户智能识别模型，对所述预处理后的用电时间序列进行窃电识别，得到用户类型。
基于同一构思，本发明实施例提供一种电子设备，包括：处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时执行如上所述窃电用户智能识别模型训练方法或窃电用户识别方法。
电子设备包括处理器，其可以根据存储在只读存储器(ROM)中的程序和/或数据或者从存储部分加载到随机访问存储器(RAM)中的程序和/或数据而执行各种适当的操作和处理。处理器可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如，中央处理器(CPU)、图形处理器(GPU)、神经网络处理器(NPU)、数字信号处理器(DSP)等等。在RAM中，还存储有电子设备操作所需的各种程序和数据。处理器、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
上述处理器与存储器共同用于执行存储在存储器中的程序，所述程序被计算机执行时能够实现上述各实施例描述的方法、步骤或功能。
以下部件连接至I/O接口：包括键盘、鼠标、触摸屏等的输入部分；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。
上述实施例阐明的系统、装置、模块或单元，可以由计算机或其关联部件实现。计算机例如可以为移动终端、智能电话、个人计算机、膝上型计算机、车载人机交互设备、个人数字助理、媒体播放器、导航设备、游戏控制台、平板电脑、可穿戴设备、智能电视、物联网系统、智能家居、工业计算机、服务器或者其组合。
尽管未示出，在本发明实施例中，提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序配置成被运行时执行如上所述窃电用户智能识别模型训练方法或窃电用户识别方法。
在本发明的实施例的存储介质包括永久性和非永久性、可移动和非可移动的可以由任何方法或技术来实现信息存储的物品。存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
在本发明的实施例的方法、程序、系统、装置等，可以在单个或多个连网的计算机中执行或实现，也可以在分布式计算环境中实践。在本说明书实施例中，在这些分布式计算环境中，可以由通过通信网络而被连接的远程处理设备来执行任务。
以上所揭露的仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或变型，都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种窃电用户智能识别模型训练方法，其特征在于，所述方法包括以下步骤：
获取无标签用电数据和有标签用电数据，其中所述无标签用电数据包括N个用户的用电时间序列，所述有标签用电数据包括M个用户的用户类型及其用电时间序列，所述用户类型包括窃电用户和诚实用户；
对所述无标签用电数据和有标签用电数据中每个用户的用电时间序列进行预处理，得到预处理后的用电时间序列；
由所述无标签用电数据的N个预处理后的用电时间序列构成第一样本数据集，由所述有标签用电数据的M个预处理后的用电时间序列及对应的用户类型构成第二样本数据集；对所述第二样本数据集进行样本平衡处理；
构建对比表征学习模型，利用所述第一样本数据集对所述对比表征学习模型进行训练，得到目标特征编码器；
构建窃电用户智能识别模型，所述窃电用户智能识别模型包括目标特征编码器、时频域特征提取模块以及分类计算模块；所述目标特征编码器，用于对用电时间序列进行特征编码，得到与所述用电时间序列对应的用电编码特征；所述时频域特征提取模块，用于将用电时间序列从时域转换到时频域，得到与所述用电时间序列对应的用电时频域特征；所述分类计算模块，用于根据用户时间序列的用电编码特征和用电时频域特征进行分类计算，得到用户类型；
利用样本平衡处理后的所述第二样本数据集对所述窃电用户智能识别模型进行训练，得到目标窃电用户智能识别模型；
其中，所述对比表征学习模型包括第一增强模块、第二增强模块、第一特征编码器、第二特征编码器、换位预测模块、第一非线性映射层、第二非线性映射层以及对比损失计算模块；
利用所述第一样本数据集对所述对比表征学习模型进行训练的具体实现过程包括：
对于同一用电时间序列，利用所述第一增强模块对其进行强增强处理，得到增强用电时间序列Augs，利用所述第二增强模块对其进行弱增强处理，得到增强用电时间序列Augw；
利用所述第一特征编码器对所述增强用电时间序列Augs进行高维特征提取，得到特征向量hs；利用所述第二特征编码器对所述增强用电时间序列Augw进行高维特征提取，得到特征向量hw；所述第一特征编码器与所述第二特征编码器参数共享；
利用所述换位预测模块对所述特征向量hs、特征向量hw进行换位预测，得到上下文内容向量上下文内容向量/>预测损失/>和预测损失/>其中，所述预测损失/>预测损失的具体计算公式为：
其中，E为预测步长，MLBL为LOG双线性模型的预测函数，T为转置运算，d为第一上下文编码器或第二上下文编码器进行特征提取时的片段特征向量的数量，为特征向量hw的第r个片段特征向量，/>为特征向量hs的第r个片段特征向量；
利用所述第一非线性映射层对所述上下文内容向量进行冗余消除处理，得到特征向量zs；利用所述第二非线性映射层对所述上下文内容向量/>进行冗余消除处理，得到特征向量zw；所述第一非线性映射层与所述第二非线性映射层参数共享；
在所述对比损失计算模块中，根据所述特征向量zs、特征向量zw计算出对比损失
根据所述预测损失预测损失/>以及对比损失/>计算出整体损失/>其中，所述整体损失/>的具体计算公式为：
其中，λ1，λ2为超参数，表示每个损失的相对权重；N为批大小；Sim()为相似度计算函数；为第i个用户的特征向量zs；/>为第i个用户的特征向量zw；/>为第j个用户的特征向量zs；为第j个用户的特征向量zw；τ为温度超参数；
根据所述整体损失调节所述对比表征学习模型的参数，使所述整体损失/>最小，从而得到训练后的第一特征编码器和第二特征编码器，所述目标特征编码器为训练后的第一特征编码器或第二特征编码器；
所述换位预测模块包括第一分段子模块、第二分段子模块、第一上下文编码器、第二上下文编码器以及LOG双线性模型；
利用所述换位预测模块对所述特征向量hs、特征向量hw进行换位预测的具体实现过程包括：
利用所述第一分段子模块对所述特征向量hs进行分段处理，得到Q个片段特征向量；利用所述第二分段子模块对所述特征向量hw进行分段处理，得到Q个片段特征向量；
利用所述第一上下文编码器对由特征向量hs的前d个片段特征向量构成的特征向量进行特征提取，得到所述上下文内容向量利用所述第二上下文编码器对由特征向量hw的前d个片段特征向量构成的特征向量进行特征提取，得到所述上下文内容向量/>
在所述LOG双线性模型中，根据所述上下文内容向量进行预测，得到预测向量/>根据所述上下文内容向量/>进行预测，得到预测向量/>其中d+e＜＝Q；
根据所述上下文内容向量预测向量/>计算出预测损失/>根据所述上下文内容向量/>预测向量/>计算出预测损失/>
2.根据权利要求1所述的窃电用户智能识别模型训练方法，其特征在于，对每个用户的用电时间序列进行预处理的具体实现过程为：
对所述用电时间序列中的缺失用电量进行填补处理，具体公式为：
其中，xqk表示有标签用电数据或无标签用电数据中某个用户q在第k个时间的用电量，xq(k-1)表示用户q在第k-1个时间的用电量，xq(k+1)表示用户q在第k+1个时间的用电量，NaN表示用电量为空值，f1(xqk)表示填补处理后的用户q在第k个时间的用电量；
对所述用电时间序列中的异常用电量进行恢复或消除处理，具体公式为：
其中，xsk表示有标签用电数据或无标签用电数据中某个用户s在第k个时间的用电量，表示用户s的用电时间序列的平均用电量，/>表示用户s的用电时间序列的用电量标准差，f2(xsk)表示恢复或消除处理后的用户s在第k个时间的用电量，n为用电时间序列中的用电时间数；
对所述用电时间序列中的每个用电量进行归一化处理，具体公式为：
其中，xik表示有标签用电数据或无标签用电数据中第i个用户在第k个时间的用电量，x’ik为归一化处理后的第i个用户在第k个时间的用电量，ximin为第i个用户的用电时间序列xi(n)中的最小用电量，ximax为第i个用户的用电时间序列xi(n)中的最大用电量。
3.根据权利要求1所述的窃电用户智能识别模型训练方法，其特征在于，所述用电时频域特征包括用电时间序列的平均值、标准差、极差、均方根、频谱均值、频谱标准差、频率重心标准差和均方根频率；
所述分类计算模块包括依次连接的卷积神经网络层、长短期记忆网络层和第一全连接神经网络层，第二全连接神经网络层、融合层以及完全连接层；
利用所述第二全连接神经网络层对用电时间序列的用电时频域特征进行深层特征提取，得到第一特征量；利用卷积神经网络层对用电时间序列的用电编码特征进行深层局部特征提取得到特征量Fcnn，再利用长短期记忆网络层对特征量Fcnn进行长期特征提取，得到特征量Flstm，然后利用所述第一全连接神经网络层对特征量Flstm进行特征降维操作，得到第二特征量，利用融合层将所述第一特征量和第二特征量进行融合处理得到中间特征量，再利用具有Sigmoid激活功能的完全连接层对中间特征量进行分类计算，得到用户类型。
4.一种窃电用户识别方法，其特征在于，所述方法包括以下步骤：
获取用户在某个时间段的用电时间序列；
对所述用电时间序列进行预处理，得到预处理后的用电时间序列；
调用目标窃电用户智能识别模型，所述目标窃电用户智能识别模型根据如权利要求1～3中任一项所述窃电用户智能识别模型训练方法训练得到；
基于所述目标窃电用户智能识别模型，对所述预处理后的用电时间序列进行窃电识别，得到用户类型。
5.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1～3中任一项所述窃电用户智能识别模型训练方法或权利要求4所述窃电用户识别方法。
6.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～3中任一项所述窃电用户智能识别模型训练方法或权利要求4所述窃电用户识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310184950.3A CN116089838B (zh) | 2023-03-01 | 2023-03-01 | 窃电用户智能识别模型训练方法和识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310184950.3A CN116089838B (zh) | 2023-03-01 | 2023-03-01 | 窃电用户智能识别模型训练方法和识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116089838A CN116089838A (zh) | 2023-05-09 |
| CN116089838B true CN116089838B (zh) | 2023-09-26 |
Family
ID=86204517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310184950.3A Active CN116089838B (zh) | 2023-03-01 | 2023-03-01 | 窃电用户智能识别模型训练方法和识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116089838B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117033916A (zh) * | 2023-07-10 | 2023-11-10 | 国网四川省电力公司营销服务中心 | 一种基于神经网络的窃电检测方法 |
| CN116595463B (zh) * | 2023-07-18 | 2023-09-19 | 国网山东省电力公司武城县供电公司 | 窃电识别模型的构建方法、窃电行为识别方法及装置 |
| CN116701947B (zh) * | 2023-08-02 | 2023-11-03 | 成都汉度科技有限公司 | 一种窃电行为检测方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778841A (zh) * | 2016-11-30 | 2017-05-31 | 国网上海市电力公司 | 异常用电检测模型的建立方法 |
| CN112098714A (zh) * | 2020-08-12 | 2020-12-18 | 国网江苏省电力有限公司南京供电分公司 | 一种基于ResNet-LSTM的窃电检测方法及系统 |
| CN113204894A (zh) * | 2021-05-28 | 2021-08-03 | 华中科技大学 | 一种电能计量异常诊断模型的构建方法及应用 |
| CN113901977A (zh) * | 2020-06-22 | 2022-01-07 | 中国电力科学研究院有限公司 | 一种基于深度学习的电力用户窃电识别方法及系统 |
| WO2022042002A1 (zh) * | 2020-08-31 | 2022-03-03 | 华为技术有限公司 | 一种半监督学习模型的训练方法、图像处理方法及设备 |
| CN114662584A (zh) * | 2022-03-17 | 2022-06-24 | 南京鼐云信息技术有限责任公司 | 一种基于时间卷积网络的大范围检测用户偷电漏电的方法 |
| CN115018512A (zh) * | 2022-04-21 | 2022-09-06 | 国网湖南省电力有限公司 | 基于Transformer神经网络的窃电检测方法及装置 |
| CN115047423A (zh) * | 2022-04-14 | 2022-09-13 | 杭州电子科技大学 | 基于对比学习无监督预训练-微调式的雷达目标识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9595006B2 (en) * | 2013-06-04 | 2017-03-14 | International Business Machines Corporation | Detecting electricity theft via meter tampering using statistical methods |
| US20220383120A1 (en) * | 2021-05-28 | 2022-12-01 | Google Llc | Self-supervised contrastive learning using random feature corruption |
-
2023
- 2023-03-01 CN CN202310184950.3A patent/CN116089838B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778841A (zh) * | 2016-11-30 | 2017-05-31 | 国网上海市电力公司 | 异常用电检测模型的建立方法 |
| CN113901977A (zh) * | 2020-06-22 | 2022-01-07 | 中国电力科学研究院有限公司 | 一种基于深度学习的电力用户窃电识别方法及系统 |
| CN112098714A (zh) * | 2020-08-12 | 2020-12-18 | 国网江苏省电力有限公司南京供电分公司 | 一种基于ResNet-LSTM的窃电检测方法及系统 |
| WO2022042002A1 (zh) * | 2020-08-31 | 2022-03-03 | 华为技术有限公司 | 一种半监督学习模型的训练方法、图像处理方法及设备 |
| CN113204894A (zh) * | 2021-05-28 | 2021-08-03 | 华中科技大学 | 一种电能计量异常诊断模型的构建方法及应用 |
| CN114662584A (zh) * | 2022-03-17 | 2022-06-24 | 南京鼐云信息技术有限责任公司 | 一种基于时间卷积网络的大范围检测用户偷电漏电的方法 |
| CN115047423A (zh) * | 2022-04-14 | 2022-09-13 | 杭州电子科技大学 | 基于对比学习无监督预训练-微调式的雷达目标识别方法 |
| CN115018512A (zh) * | 2022-04-21 | 2022-09-06 | 国网湖南省电力有限公司 | 基于Transformer神经网络的窃电检测方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| Electricity frauds detection in Low-voltage networks with contrastive predictive coding;Ke Fei et al.;《International Journal of Electrical Power & Energy Systems》;第137卷;第1-8页 * |
| 基于多层次非负稀疏编码和SVM的窃电检测方法;黄刚 等;《重庆大学学报》;第45卷(第7期);第1-12、23页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116089838A (zh) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116089838B (zh) | 窃电用户智能识别模型训练方法和识别方法 | |
| Zheng et al. | Wide and deep convolutional neural networks for electricity-theft detection to secure smart grids | |
| He et al. | Deep Transfer Learning Method Based on 1D‐CNN for Bearing Fault Diagnosis | |
| Liu et al. | Wind turbine fault detection based on deep residual networks | |
| CN111382930B (zh) | 一种面向时序数据的风险预测方法及系统 | |
| Zhang et al. | Energy theft detection in an edge data center using threshold-based abnormality detector | |
| CN110941734A (zh) | 基于稀疏图结构的深度无监督图像检索方法 | |
| Zhang et al. | A hybrid deep-learning model for fault diagnosis of rolling bearings in strong noise environments | |
| CN114239725A (zh) | 一种面向数据投毒攻击的窃电检测方法 | |
| CN115238855A (zh) | 基于图神经网络的时序知识图谱的补全方法及相关设备 | |
| CN113505601A (zh) | 一种正负样本对构造方法、装置、计算机设备及存储介质 | |
| CN112784920A (zh) | 云边端协同的旋转部件对抗域自适应故障诊断方法 | |
| CN112257263A (zh) | 基于自注意力机制的设备剩余寿命预测系统 | |
| Wang et al. | Distilling the knowledge of multiscale densely connected deep networks in mechanical intelligent diagnosis | |
| Tang et al. | Prediction of bearing performance degradation with bottleneck feature based on LSTM network | |
| Zhao et al. | Unbalanced fault diagnosis of rolling bearings using transfer adaptive boosting with squeeze-and-excitation attention convolutional neural network | |
| CN115952928B (zh) | 一种短期电力负荷预测方法、装置、设备及存储介质 | |
| CN116089605A (zh) | 基于迁移学习和改进词袋模型的文本情感分析方法 | |
| CN115684786A (zh) | 基于格拉姆角场和并行cnn的逆变器开关管健康诊断方法、装置及系统 | |
| CN115508765A (zh) | 一种电压互感器采集装置在线自诊断方法及系统 | |
| CN113821401A (zh) | 基于wt-ga-gru模型的云服务器故障诊断方法 | |
| CN115115920A (zh) | 一种数据训练方法及装置 | |
| Dong et al. | Transfer learning rolling bearing fault diagnosis model based on deep feature decomposition and class-level alignment | |
| Sun et al. | Rolling bearing fault diagnosis method based on multisynchrosqueezing s transform and faster dictionary learning | |
| Zhang et al. | A Tabnet based Card Fraud detetion Algorithm with Feature Engineering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |