CN115186012A - 一种用电量数据检测方法、装置、设备及存储介质 - Google Patents
一种用电量数据检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115186012A CN115186012A CN202210859385.1A CN202210859385A CN115186012A CN 115186012 A CN115186012 A CN 115186012A CN 202210859385 A CN202210859385 A CN 202210859385A CN 115186012 A CN115186012 A CN 115186012A
- Authority
- CN
- China
- Prior art keywords
- power consumption
- consumption data
- model
- data
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 69
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 230000002159 abnormal effect Effects 0.000 claims abstract description 92
- 238000000034 method Methods 0.000 claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 57
- 230000005611 electricity Effects 0.000 claims abstract description 56
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 42
- 230000007246 mechanism Effects 0.000 claims abstract description 42
- 230000015654 memory Effects 0.000 claims abstract description 39
- 230000006399 behavior Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 15
- 230000006403 short-term memory Effects 0.000 description 12
- 230000007787 long-term memory Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000004913 activation Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Molecular Biology (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Marketing (AREA)
- Computing Systems (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Operations Research (AREA)
- Biophysics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Primary Health Care (AREA)
- Algebra (AREA)
- Water Supply & Treatment (AREA)
- Entrepreneurship & Innovation (AREA)
Abstract
本申请涉及人工智能技术领域，公开了一种用电量数据检测方法、装置、设备及存储介质，包括：获取正常用电量数据和异常用电量数据，并基于所述异常用电量数据利用第一模型中的生成器生成虚假异常用电量数据，得到目标训练集；所述生成器为全连接网络；利用所述目标训练集对第二模型进行训练，得到训练后的所述第二模型；其中，所述第二模型由卷积神经网络、长短期记忆网络及多头注意力机制组成；将待检测用电量数据输入训练后的所述第二模型以依次通过卷积神经网络、长短期记忆网络及多头注意力机制，得到对应的检测结果。避免由于数据不平衡导致检测模型的检测结果具有偏向性，从而提高窃电行为的检测准确度。
Description
技术领域
本发明涉及人工智能技术领域，特别涉及一种用电量数据检测方法、装置、设备及存储介质。
背景技术
智能电表可以实时对用电信息进行量测和监控，随后将报告发送给电网服务商。然而在这个过程中存在恶意的用户可能通过新型的物联网技术针对智能电表的系统漏洞进行攻击，从而篡改本地与远程交互的计量数据，达到非法用电并减少计费账单的目的。为了防止用户窃电，电力窃电检测(ETD)是可行的办法。
现有技术中，基于状态估计的方法是利用改装的电流表对低压装置进行欺诈检测，操作员可以检查和比较本地和远程检测窃电措施的差异。然而，基于状态估计的窃电检测只能应用于变电站层面，而不能应用于最终用户层面。此外，额外的设备将花费额外的费用，并且一些种类的设备很难安装在现有的分销网络；基于博弈论的方法是把这些篡改行为看作是恶意用户和电力公司之间的游戏。这种方法的目标是找到博弈的纳什均衡。基于博弈论的方法相对便宜，但它们很难找到一个合适的等式来解释用户和电力公司之间的关系；基于机器学习的方法在参数选择上存在问题使得检测性能较差、节点不能正确分离样本导致误分类样本进入下节点并造成错误累积的概率会增加、由于包含重复数据而引起的过拟合问题没有被考虑进去、复杂的神经网络使得系统容易陷入局部极小值而无法跳出且深度学习中卷积层数和网络超参数的确定较为困难等。
因此，如何提供一种高效、准确的用电量数据检测方案是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种用电量数据检测方法、装置、设备及存储介质，避免由于数据不平衡导致检测模型的检测结果具有偏向性，从而提高窃电行为的检测准确度。其具体方案如下：
本申请的第一方面提供了一种用电量数据检测方法，包括：
获取正常用电量数据和异常用电量数据，并基于所述异常用电量数据利用第一模型中的生成器生成虚假异常用电量数据，得到目标训练集；其中，所述目标训练集包含由所述正常用电量数据组成的第一样本数据和由所述异常用电量数据和所述虚假异常用电量数据组成的第二样本数据；所述生成器为全连接网络；
利用所述目标训练集对第二模型进行训练，得到训练后的所述第二模型；其中，所述第二模型由卷积神经网络、长短期记忆网络及多头注意力机制组成；
将待检测用电量数据输入训练后的所述第二模型以依次通过卷积神经网络、长短期记忆网络及多头注意力机制，得到对应的检测结果。
可选的，所述获取正常用电量数据和异常用电量数据之后，还包括：
采用拉格朗日插值法分别对所述正常用电量数据和所述异常用电量数据进行缺失值补齐处理，得到补齐后的所述正常用电量数据和所述异常用电量数据；
采用最小最大缩放法分别对补齐后的所述正常用电量数据和所述异常用电量数据进行归一化处理，得到归一化后的所述正常用电量数据和所述异常用电量数据。
可选的，所述基于所述异常用电量数据利用第一模型中的生成器生成虚假异常用电量数据之前，还包括：
将满足所述异常用电量数据的分布规律的噪声变量输入至所述第一模型的所述生成器得到初始虚假异常用电量数据，并将初始虚假异常用电量数据和所述异常用电量数据输入至所述第一模型的判别器；其中，所述判别器为堆叠长短期记忆网络；
根据所述判别器的损失结果对应的权重更新情况对所述生成器的权重参数进行更新，得到最优的所述生成器和所述判别器，以利用最优的所述生成器生成所述虚假异常用电量数据。
可选的，所述生成器为固定生成器，所述判别器为固定判别器，当所述固定生成器的损失函数最小且所述固定判别器的损失函数最大时，所述固定生成器和所述固定判别器最优。
可选的，所述将待检测用电量数据输入训练后的所述第二模型以依次通过卷积神经网络、长短期记忆网络及多头注意力机制，得到对应的检测结果，包括：
将所述待检测用电量数据的维度转化为卷积神经网络的输入维度，并利用卷积神经网络对维度转化后的所述检测用电量数据进行第一特征提取，得到初步特征序列；
利用长短期记忆网络通过对所述初步特征序列进行第二特征提取，得到融合了前后信息特征的全局特征序列；
利用由自注意力模型构建的多头注意力机制为所述全局特征序列重新分配权重，并将多头注意力机制中各个头的输出特征进行加权合并，得到对应的检测结果。
可选的，所述利用长短期记忆网络通过对所述初步特征序列进行第二特征提取之前，还包括：
将所述初步特征序列输入至Dropout层进行过拟合处理；
将过拟合处理后的所述初步特征序列输入至扁平层，以通过所述扁平层将过拟合处理后的所述初步特征序列的维度转化为长短期记忆网络的输入维度。
可选的，所述将多头注意力机制中各个头的输出特征进行加权合并之后，还包括：
利用全连接层对加权合并后的特征进行分类得到映射后的分类标签值，并通过输出层输出与所述分类标签值对应的行为类型。
本申请的第二方面提供了一种用电量数据检测装置，包括：
获取及类平衡模块，用于获取正常用电量数据和异常用电量数据，并基于所述异常用电量数据利用第一模型中的生成器生成虚假异常用电量数据，得到目标训练集；其中，所述目标训练集包含由所述正常用电量数据组成的第一样本数据和由所述异常用电量数据和所述虚假异常用电量数据组成的第二样本数据；所述生成器为全连接网络；
第二模型训练模块，用于利用所述目标训练集对第二模型进行训练，得到训练后的所述第二模型；其中，所述第二模型由卷积神经网络、长短期记忆网络及多头注意力机制组成；
模型检测模块，用于将待检测用电量数据输入训练后的所述第二模型以依次通过卷积神经网络、长短期记忆网络及多头注意力机制，得到对应的检测结果。
本申请的第三方面提供了一种电子设备，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述用电量数据检测方法。
本申请的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述用电量数据检测方法。
本申请中，先获取正常用电量数据和异常用电量数据，并基于所述异常用电量数据利用第一模型中的生成器生成虚假异常用电量数据，得到目标训练集；其中，所述目标训练集包含由所述正常用电量数据组成的第一样本数据和由所述异常用电量数据和所述虚假异常用电量数据组成的第二样本数据；所述生成器为全连接网络；然后利用所述目标训练集对第二模型进行训练，得到训练后的所述第二模型；其中，所述第二模型由卷积神经网络、长短期记忆网络及多头注意力机制组成；最后将待检测用电量数据输入训练后的所述第二模型以依次通过卷积神经网络、长短期记忆网络及多头注意力机制，得到对应的检测结果。可见，本申请将类平衡处理后的用电量数据作为第二模型也即检测模型的训练集，避免由于数据不平衡使得检测模型的检测结果偏向第一样本类，对第二样本类表现出误导性。训练后的第二模型集卷积神经网络、长短期记忆网络及多头注意力机制于一体，能够提高窃电行为的检测准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种用电量数据检测方法流程图；
图2为本申请提供的一种具体的用电量数据前置处理示意图；
图3(a)为本申请提供的一种具体的生成器模型结构图；
图3(b)为本申请提供的一种具体的判别器模型结构图；
图4为本申请提供的一种CNN-BiLSTM-Attention模型的检测过程示意图；
图5为本申请提供的一种用电量数据检测装置结构示意图；
图6为本申请提供的一种用电量数据检测电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中，在进行窃电检测过程中由于缺失值、空值和非线性数据关系问题，现有的窃电检测方法难以处理这类用电数据集，并且检测窃电行为时，往往存在训练时的误差大，无法收敛，训练准确率低等问题。针对上述技术缺陷，本申请提供一种用电量数据检测方案，将类平衡处理后的用电量数据作为第二模型也即检测模型的训练集，避免由于数据不平衡使得检测模型的检测结果偏向第一样本类，对第二样本类表现出误导性。训练后的第二模型集卷积神经网络、长短期记忆网络及多头注意力机制于一体，能够提高窃电行为的检测准确度。
图1为本申请实施例提供的一种用电量数据检测方法流程图。参见图1所示，该用电量数据检测方法包括：
S11：获取正常用电量数据和异常用电量数据，并基于所述异常用电量数据利用第一模型中的生成器生成虚假异常用电量数据，得到目标训练集；其中，所述目标训练集包含由所述正常用电量数据组成的第一样本数据和由所述异常用电量数据和所述虚假异常用电量数据组成的第二样本数据；所述生成器为全连接网络。
本实施例中，主要使用由正常用户和窃电用户的日常功耗数据组成的数据集以监督方式对检测模型进行训练。正常用户和窃电用户的日常功耗数据也即所述正常用电量数据和所述异常用电量数据。但由于正常用户远远多于窃电用户，数据极度不平衡。不平衡数据是非均匀分布的，这导致检测器偏向于多数类，从而经过训练后偏向多数类，并对少数类样本表现出误导性。在ETD问题中，这个问题处理起来更关键，因为少数类样本识别比多数类(正常用户)更重要。针对这一问题，本实施例先对数据集进行类平衡处理，并在类平衡处理之前进行数据预处理，随后将数据归一化，方便后面数据做类平衡处理，具体过程如图2所示，步骤如下：
S111：采用拉格朗日插值法分别对所述正常用电量数据和所述异常用电量数据进行缺失值补齐处理，得到补齐后的所述正常用电量数据和所述异常用电量数据。
S112：采用最小最大缩放法分别对补齐后的所述正常用电量数据和所述异常用电量数据进行归一化处理，得到归一化后的所述正常用电量数据和所述异常用电量数据。
本实施例中，首先对数据进行数据预处理，在数据收集的过程中，存在智能电表故障、传感器故障或数据传输和存储服务器故障的可能性，导致电力数据集中存在缺失或错误的数据，从而影响模型的训练效果。为了解决上述问题，本实施例采用拉格朗日插值法对缺失值进行处理，具体的，取十个数据为一组，按照拉格朗日插值公式进行数据插值处理，表达式如下：
本实施例中，在处理了缺失值和异常值之后。由于对于智能电表和用电量数据集的读数，如果不同维度的特征显示差异很大或分布不太均匀的数据，模型将经过长时间的训练，其检测性能会受到影响。所以需要对用电量数据进行归一化处理。可以选择MAX-MIN缩放方法根据以下等式对数据进行归一化：
S113：将满足所述异常用电量数据的分布规律的噪声变量输入至所述第一模型的所述生成器得到初始虚假异常用电量数据，并将初始虚假异常用电量数据和所述异常用电量数据输入至所述第一模型的判别器；其中，所述判别器为堆叠长短期记忆网络。
S114：根据所述判别器的损失结果对应的权重更新情况对所述生成器的权重参数进行更新，得到最优的所述生成器和所述判别器，以利用最优的所述生成器生成所述虚假异常用电量数据。
本实施例中，采用所述第一模型进行类平衡处理，所述第一模型表示为LWGAN-GP，其采用堆叠LSTM网络作为判别器，并使用全连接网络作为生成器。LWGAN-GP算法中生成器和判别器不是同一网络结构，利用LWGAN-GP算法中生成器网络，生成虚假窃电时间序列，得到虚假窃电数据分布特征，生成器模型如图3(a)。然后，利用LWGAN-GP算法中判别器网络，学习到真实数据的特征，判别器模型如图3(b)。最后，通过交替迭代训练生成器网络和判别器网络，并将LWGAN-GP的参数更新到最优状态，以最大限度降低生成数据和真实数据的误差，达到二者不可区分的状态。
具体的，首先对判别器(D)进行训练，它的输入为真实的窃电数据和虚假的窃电数据，目的是区分生成器生成的样本。数据经过输入层后，有一个由3层
LSTM单元组成的堆栈，其中隐藏层使用的是relu激活函数。每层有128个神经单元，运算如下：
随后的输出层具有单个单元的sigmoid激活功能，当给定的输入值为xtest时，此判别模型的输出值被解释为给定的输入来自真实数据集xtrue的概率，也即：
D(xtest)＝Pr(xtest∈xtrue)
其中，它的损失函数为：
然后对生成器进行训练，生成器(G)负责学习样本分布的规律并生成新的窃电数据。生成器(G)的结构是由全连接层构建的，数据一开始是根据输入数据的维度大小随机生成同样维度的数据，然后根据判别器(D)得到的损失结果更新的权重看，对生成器的相关权重参数更新。具体来说输入为先验分布PZ，对应随机变量z，输出为LG(θG)，它的损失函数为：
最后生成数据的分布规律PZ逐渐拟合样本数据Pr(x)。并通过损失函数达到生成器生成尽可能真实的数据以混淆判别器。在这个过程中全连接层接受训练传送过来的所有特征，对传来的参数进行归一化，因为对于数值大多分布在一定区间的数据，才能进行更有效的传递。
本实施例中，所述生成器为固定生成器，所述判别器为固定判别器，当所述固定生成器的损失函数最小且所述固定判别器的损失函数最大时，所述固定生成器和所述固定判别器最优。固定判别器D使得生成器G优化最小如下所示，两者达到最优的情况下，可以确保生成的数据符合真实数据的用电规律：
S12：利用所述目标训练集对第二模型进行训练，得到训练后的所述第二模型；其中，所述第二模型由卷积神经网络、长短期记忆网络及多头注意力机制组成。
本实施例中，得到所述目标训练集后，主要利用所述目标训练集对第二模型进行训练，得到训练后的所述第二模型。所述第二模型由卷积神经网络、长短期记忆网络及多头注意力机制组成，表示为CNN-BiLSTM-Attention。与其他模型相比，因为它有利于从大数据集中学习基本规律和关键特征。此外，它描述了比浅层ML方法更强的复杂和非线性函数拟合和计算能力，因此使其更适合分类任务的选择。
前半部分是用于用电特征提取的卷积神经网络CNN，而后半部分是长短期记忆网络BiLSTM和多头注意力机制Attention对提取后的特征进行窃电检测。在确定网络结构时，当层数增加，CNN中存在退化问题，这不是由过度拟合引起的，而是由优化引起的。CNN的网络结构由两个二维卷积层和一个MaxPooling层组成。在模型中CNN对数据进行初步的特征提取，BiLSTM层获取全局序列特征，多头注意力机制Attention可以捕获时间序列中不重要时间的特征条件的重要性，并且通常在RNN之后应用。因此，经过BiLSTM层计算后的注意力可以集中在影响结果的特征上，以提高预测的准确性。
S13：将待检测用电量数据输入训练后的所述第二模型以依次通过卷积神经网络、长短期记忆网络及多头注意力机制，得到对应的检测结果。
本实施例中，所述第二模型CNN-BiLSTM-Attention对所述待检测用电量数据进行处理的具体过程如图4所示，步骤如下：
S131：将所述待检测用电量数据的维度转化为卷积神经网络的输入维度，并利用卷积神经网络对维度转化后的所述检测用电量数据进行第一特征提取，得到初步特征序列。
本实施例中，由于设计的CNN是二维的卷积层，所以在输入前需要将数据处理成二维的数据，输入的数据为xdata＝(x1，x2，x3，…，xn)，xz经过编码层后的具体如下：
xz＝Encoding(xdata)＝(x1，x2，x3，…，xn)，xn∈[0，1]
将输入的一维用电量数据维度(1，1036)按周期处理成(7，148)的维度，如下：
利用CNN层从输入的二维用电量数据中提取高级特征，同时池化层选择最大池化层维度(2，2)，可以很好的消除冗余的数据，并将会对维度进行参数的减少和特征的进一步提取，经过卷积层后Conv(f(xi，j))维度为(Noe，142，5)，池化层的计算公式如下：Pool(Conv(f(xi，j)))，维度为(None，71，2)。
激活函数是，它只会激活正值，并且该激活函数的功能可以有效防止过拟合。具体的公式如下：
其中为None是每次batch的大小，n、m为输入矩阵的行和列的总数，或者是张量的最后一维的维数。xi，j代表矩阵第i行第j列的数据。wi，j代表卷积核的第i行第j列的权重。f(i，j)即卷积核w对应的输出矩阵的对应位置元素的特征值。relu(.)表示线性激活函数，偏置向量表示为b。
S132：利用长短期记忆网络通过对所述初步特征序列进行第二特征提取，得到融合了前后信息特征的全局特征序列。
本实施例中，在输入长短期记忆网络之前，需要先将所述初步特征序列输入至Dropout层进行过拟合处理，然后将过拟合处理后的所述初步特征序列输入至扁平层Flatten layers，以通过所述扁平层将过拟合处理后的所述初步特征序列的维度转化为长短期记忆网络的输入维度。在训练的时候发现，随着迭代次数增多，网络对训练集拟合的很好(在训练集上loss很小)，但是对验证集的拟合程度很差。于是添加过拟合层解决过拟合这一问题，由于输入的数据是二维的数据，为了符合下一层BiLSTM的输入，需要将二维数据的维度处理成一维，并该需要按列添加一维，扁平层的作用是将多维度的数据处理成一维。假设输入为y，则flatten＝(y，71*2))＝(None，y，144)，在这个基础上增加一个维度数值为1，extend(flatten)＝(None，y，1，144)。将处理好的数据维度输入BiLSTM层。
本实施例中，BiLSTM层从卷积层获得的特征序列中进一步提取特征信息，由于BiLSTM网络由前向和后向LSTM融合，因此可以捕获前后信息特征。为了获得用电量数据之间的相关信息，使用BiLSTM来捕获用电量时间序列特征。BiLSTM的输入是扁平层输出向量，表示为yt＝(y1，y2，y3，…，yn)，每一个维度为(None，y1，1，144)。BiLSTM内部更新如下：
it＝Act(Wiyt+Uiht-1+biai)
ft＝Act(Wfyt+Ufht-1+biaf)，
ot＝Act(Woyt+Uoht-1+biao)，
以上三个公式是对特征的信息进行筛选保留，并提供给公式Ct保留筛选后的特征。
Ct＝ft*Ct-1+it*tanh(Wcyt+Ucht-1+biac)，
ht＝ot*tanh(Ct)，
经过公式ht、Ht中的激活函数tanh后得到最终的特征信息。
其中*表示逐元素乘法，xi表示输入，Act(x)是激活函数，it、ft和ot分别表示LSTM的输入门、忘记门和输出门，Ct分别代表LSTM的内存单元，ht、
分别表示LSTM的隐藏状态、前向LSTM的隐藏状态和向后LSTM的隐藏状态，并且W和U是权重矩阵，biaf、biao、biac和biai是偏置向量，Ht表示LSTM隐藏状态的输出。
S133：利用由自注意力模型构建的多头注意力机制为所述全局特征序列重新分配权重，并将多头注意力机制中各个头的输出特征进行加权合并，得到对应的检测结果。
本实施中，注意机制用于为BiLSTM的输出特征重新分配不同的权重。本实施例采用由一系列自我注意模型组成的多头注意机制，以相同的数据输入，Q、K、V是三个固定值，分别通过一个Linear层进行映射，Linear层有3个，使用的注意力评分函数为Scaled Dot-ProductAttention，有3个代表有3个头，评分函数为ρ(Ht)，学习并赋值重要时间步长意义的权重M＝ρ(Ht)。最后将每个头的输出Concat在一起，然后再通过一个Linear层映射成和单头一样的输出。自我注意机制的表达式如下所示：
其中，W，Wi q，
表示线性层的权重矩阵，Q＝K＝V＝Ht。每个头都是注意力，每个头筛选到的特征信息不同，有利于最终模型取得更好的效果。
最后，利用全连接层对加权合并后的特征进行分类得到映射后的分类标签值，并通过输出层输出与所述分类标签值对应的行为类型。全连接层在整个网络模型中起到分类器的作用，将学到的用电量特征并映射到样本标记空间的作用。添加一个长度为1024的全连接层将形状改为(1024)，然后在下面堆叠较小的全连接层。最后由于是二分类问题，所以使用一个以sigmoid作为输出层的全连接层对目标进行分类。由于只有两个类别，窃电用户与正常用户，数据集中把窃电用户和正常用户的标签定义为1和0，所以输出会根据学习到的特征曲线来进行判断是否发生窃电行为。如果输出层的输出结果为1，那么认为该用户发生了窃电行为。
可见，本申请实施例先获取正常用电量数据和异常用电量数据，并基于所述异常用电量数据利用第一模型中的生成器生成虚假异常用电量数据，得到目标训练集；其中，所述目标训练集包含由所述正常用电量数据组成的第一样本数据和由所述异常用电量数据和所述虚假异常用电量数据组成的第二样本数据；所述生成器为全连接网络；然后利用所述目标训练集对第二模型进行训练，得到训练后的所述第二模型；其中，所述第二模型由卷积神经网络、长短期记忆网络及多头注意力机制组成；最后将待检测用电量数据输入训练后的所述第二模型以依次通过卷积神经网络、长短期记忆网络及多头注意力机制，得到对应的检测结果。本申请实施例将类平衡处理后的用电量数据作为第二模型也即检测模型的训练集，避免由于数据不平衡使得检测模型的检测结果偏向第一样本类，对第二样本类表现出误导性。训练后的第二模型集卷积神经网络、长短期记忆网络及多头注意力机制于一体，能够提高窃电行为的检测准确度。
参见图5所示，本申请实施例还相应公开了一种用电量数据检测装置，包括：
获取及类平衡模块11，用于获取正常用电量数据和异常用电量数据，并基于所述异常用电量数据利用第一模型中的生成器生成虚假异常用电量数据，得到目标训练集；其中，所述目标训练集包含由所述正常用电量数据组成的第一样本数据和由所述异常用电量数据和所述虚假异常用电量数据组成的第二样本数据；所述生成器为全连接网络；
第二模型训练模块12，用于利用所述目标训练集对第二模型进行训练，得到训练后的所述第二模型；其中，所述第二模型由卷积神经网络、长短期记忆网络及多头注意力机制组成；
模型检测模块13，用于将待检测用电量数据输入训练后的所述第二模型以依次通过卷积神经网络、长短期记忆网络及多头注意力机制，得到对应的检测结果。
可见，本申请实施例先获取正常用电量数据和异常用电量数据，并基于所述异常用电量数据利用第一模型中的生成器生成虚假异常用电量数据，得到目标训练集；其中，所述目标训练集包含由所述正常用电量数据组成的第一样本数据和由所述异常用电量数据和所述虚假异常用电量数据组成的第二样本数据；所述生成器为全连接网络；然后利用所述目标训练集对第二模型进行训练，得到训练后的所述第二模型；其中，所述第二模型由卷积神经网络、长短期记忆网络及多头注意力机制组成；最后将待检测用电量数据输入训练后的所述第二模型以依次通过卷积神经网络、长短期记忆网络及多头注意力机制，得到对应的检测结果。本申请实施例将类平衡处理后的用电量数据作为第二模型也即检测模型的训练集，避免由于数据不平衡使得检测模型的检测结果偏向第一样本类，对第二样本类表现出误导性。训练后的第二模型集卷积神经网络、长短期记忆网络及多头注意力机制于一体，能够提高窃电行为的检测准确度。
在一些具体实施例中，所述用电量数据检测装置还包括：
预处理模块，用于采用拉格朗日插值法分别对所述正常用电量数据和所述异常用电量数据进行缺失值补齐处理，得到补齐后的所述正常用电量数据和所述异常用电量数据；
归一化模块，用于采用最小最大缩放法分别对补齐后的所述正常用电量数据和所述异常用电量数据进行归一化处理，得到归一化后的所述正常用电量数据和所述异常用电量数据。
第一模型训练模块，用于将满足所述异常用电量数据的分布规律的噪声变量输入至所述第一模型的所述生成器得到初始虚假异常用电量数据，并将初始虚假异常用电量数据和所述异常用电量数据输入至所述第一模型的判别器；其中，所述判别器为堆叠长短期记忆网络；根据所述判别器的损失结果对应的权重更新情况对所述生成器的权重参数进行更新，得到最优的所述生成器和所述判别器，以利用最优的所述生成器生成所述虚假异常用电量数据。
在一些具体实施例中，所述模型检测模块13，具体包括：
第一检测单元，用于将所述待检测用电量数据的维度转化为卷积神经网络的输入维度，并利用卷积神经网络对维度转化后的所述检测用电量数据进行第一特征提取，得到初步特征序列；
第二检测单元，用于利用长短期记忆网络通过对所述初步特征序列进行第二特征提取，得到融合了前后信息特征的全局特征序列；
第三检测单元，用于利用由自注意力模型构建的多头注意力机制为所述全局特征序列重新分配权重，并将多头注意力机制中各个头的输出特征进行加权合并，得到对应的检测结果。
进一步的，本申请实施例还提供了一种电子设备。图6是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图6为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的用电量数据检测方法中的相关步骤。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的用电量数据检测方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223可以包括电子设备20收集到的用电量数据。
进一步的，本申请实施例还公开了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的用电量数据检测方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的用电量数据检测方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种用电量数据检测方法，其特征在于，包括：
获取正常用电量数据和异常用电量数据，并基于所述异常用电量数据利用第一模型中的生成器生成虚假异常用电量数据，得到目标训练集；其中，所述目标训练集包含由所述正常用电量数据组成的第一样本数据和由所述异常用电量数据和所述虚假异常用电量数据组成的第二样本数据；所述生成器为全连接网络；
利用所述目标训练集对第二模型进行训练，得到训练后的所述第二模型；其中，所述第二模型由卷积神经网络、长短期记忆网络及多头注意力机制组成；
将待检测用电量数据输入训练后的所述第二模型以依次通过卷积神经网络、长短期记忆网络及多头注意力机制，得到对应的检测结果。
2.根据权利要求1所述的用电量数据检测方法，其特征在于，所述获取正常用电量数据和异常用电量数据之后，还包括：
采用拉格朗日插值法分别对所述正常用电量数据和所述异常用电量数据进行缺失值补齐处理，得到补齐后的所述正常用电量数据和所述异常用电量数据；
采用最小最大缩放法分别对补齐后的所述正常用电量数据和所述异常用电量数据进行归一化处理，得到归一化后的所述正常用电量数据和所述异常用电量数据。
3.根据权利要求1所述的用电量数据检测方法，其特征在于，所述基于所述异常用电量数据利用第一模型中的生成器生成虚假异常用电量数据之前，还包括：
将满足所述异常用电量数据的分布规律的噪声变量输入至所述第一模型的所述生成器得到初始虚假异常用电量数据，并将初始虚假异常用电量数据和所述异常用电量数据输入至所述第一模型的判别器；其中，所述判别器为堆叠长短期记忆网络；
根据所述判别器的损失结果对应的权重更新情况对所述生成器的权重参数进行更新，得到最优的所述生成器和所述判别器，以利用最优的所述生成器生成所述虚假异常用电量数据。
4.根据权利要求3所述的用电量数据检测方法，其特征在于，所述生成器为固定生成器，所述判别器为固定判别器，当所述固定生成器的损失函数最小且所述固定判别器的损失函数最大时，所述固定生成器和所述固定判别器最优。
5.根据权利要求1至4任一项所述的用电量数据检测方法，其特征在于，所述将待检测用电量数据输入训练后的所述第二模型以依次通过卷积神经网络、长短期记忆网络及多头注意力机制，得到对应的检测结果，包括：
将所述待检测用电量数据的维度转化为卷积神经网络的输入维度，并利用卷积神经网络对维度转化后的所述检测用电量数据进行第一特征提取，得到初步特征序列；
利用长短期记忆网络通过对所述初步特征序列进行第二特征提取，得到融合了前后信息特征的全局特征序列；
利用由自注意力模型构建的多头注意力机制为所述全局特征序列重新分配权重，并将多头注意力机制中各个头的输出特征进行加权合并，得到对应的检测结果。
6.根据权利要求5所述的用电量数据检测方法，其特征在于，所述利用长短期记忆网络通过对所述初步特征序列进行第二特征提取之前，还包括：
将所述初步特征序列输入至Dropout层进行过拟合处理；
将过拟合处理后的所述初步特征序列输入至扁平层，以通过所述扁平层将过拟合处理后的所述初步特征序列的维度转化为长短期记忆网络的输入维度。
7.根据权利要求5所述的用电量数据检测方法，其特征在于，所述将多头注意力机制中各个头的输出特征进行加权合并之后，还包括：
利用全连接层对加权合并后的特征进行分类得到映射后的分类标签值，并通过输出层输出与所述分类标签值对应的行为类型。
8.一种用电量数据检测装置，其特征在于，包括：
获取及类平衡模块，用于获取正常用电量数据和异常用电量数据，并基于所述异常用电量数据利用第一模型中的生成器生成虚假异常用电量数据，得到目标训练集；其中，所述目标训练集包含由所述正常用电量数据组成的第一样本数据和由所述异常用电量数据和所述虚假异常用电量数据组成的第二样本数据；所述生成器为全连接网络；
第二模型训练模块，用于利用所述目标训练集对第二模型进行训练，得到训练后的所述第二模型；其中，所述第二模型由卷积神经网络、长短期记忆网络及多头注意力机制组成；
模型检测模块，用于将待检测用电量数据输入训练后的所述第二模型以依次通过卷积神经网络、长短期记忆网络及多头注意力机制，得到对应的检测结果。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的用电量数据检测方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至7任一项所述的用电量数据检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210859385.1A CN115186012A (zh) | 2022-07-21 | 2022-07-21 | 一种用电量数据检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210859385.1A CN115186012A (zh) | 2022-07-21 | 2022-07-21 | 一种用电量数据检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115186012A true CN115186012A (zh) | 2022-10-14 |
Family
ID=83518991
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210859385.1A Pending CN115186012A (zh) | 2022-07-21 | 2022-07-21 | 一种用电量数据检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115186012A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116500335A (zh) * | 2023-06-30 | 2023-07-28 | 国网山东省电力公司邹城市供电公司 | 基于一维特征和二维特征的智能电网窃电检测方法及系统 |
| CN116881639A (zh) * | 2023-07-10 | 2023-10-13 | 国网四川省电力公司营销服务中心 | 一种基于生成对抗网络的窃电数据合成方法 |
-
2022
- 2022-07-21 CN CN202210859385.1A patent/CN115186012A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116500335A (zh) * | 2023-06-30 | 2023-07-28 | 国网山东省电力公司邹城市供电公司 | 基于一维特征和二维特征的智能电网窃电检测方法及系统 |
| CN116500335B (zh) * | 2023-06-30 | 2023-10-13 | 国网山东省电力公司邹城市供电公司 | 基于一维特征和二维特征的智能电网窃电检测方法及系统 |
| CN116881639A (zh) * | 2023-07-10 | 2023-10-13 | 国网四川省电力公司营销服务中心 | 一种基于生成对抗网络的窃电数据合成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Electricity theft detection in power grids with deep learning and random forests | |
| Glauner et al. | The challenge of non-technical loss detection using artificial intelligence: A survey | |
| CN108629593B (zh) | 基于深度学习的欺诈交易识别方法、系统及存储介质 | |
| CN111967343B (zh) | 基于简单神经网络和极端梯度提升模型融合的检测方法 | |
| Gama et al. | Issues in evaluation of stream learning algorithms | |
| CN105224872B (zh) | 一种基于神经网络聚类的用户异常行为检测方法 | |
| Qu et al. | A combined genetic optimization with AdaBoost ensemble model for anomaly detection in buildings electricity consumption | |
| CN115186012A (zh) | 一种用电量数据检测方法、装置、设备及存储介质 | |
| CN104484602B (zh) | 一种入侵检测方法、装置 | |
| CN109359665B (zh) | 一种基于支持向量机的家电负荷识别方法及装置 | |
| CN108333468B (zh) | 一种有源配电网下不良数据的识别方法及装置 | |
| CN112529638B (zh) | 基于用户分类和深度学习的服务需求动态预测方法及系统 | |
| CN114297036A (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
| CN112329895A (zh) | 一种具有窃电嫌疑的用户的识别方法及装置 | |
| CN109829494A (zh) | 一种基于加权相似性度量的聚类集成方法 | |
| CN113542241A (zh) | 一种基于CNN-BiGRU混合模型的入侵检测方法及装置 | |
| CN111833175A (zh) | 基于knn算法的互联网金融平台申请欺诈行为检测方法 | |
| CN113269647A (zh) | 基于图的交易异常关联用户检测方法 | |
| CN112883990A (zh) | 数据分类方法及装置、计算机存储介质、电子设备 | |
| Javaid et al. | Using GANCNN and ERNET for detection of non technical losses to secure smart grids | |
| Javaid et al. | Non-technical losses detection using autoencoder and bidirectional gated recurrent unit to secure smart grids | |
| CN111898637A (zh) | 一种基于ReliefF-DDC特征选择算法 | |
| Shang et al. | Network security situation prediction based on long short-term memory network | |
| CN103530312A (zh) | 使用多方面足迹的用户标识的方法和系统 | |
| Irfan et al. | Energy theft identification using AdaBoost Ensembler in the Smart Grids |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |