CN114841268B - 基于Transformer和LSTM融合算法的异常电力客户识别方法 - Google Patents

Abstract

本发明公开了一种基于Transformer和LSTM融合算法的异常电力客户识别方法，基于业务规则对客户用电采集信息进行数据清洗及数据规约处理；利用基于信息熵的混合数据属性加权聚类算法对电力客户进行类型划分；建立各类型客户的统计特征和频域特征；利用Transformer算法建立各类型客户深度特征；基于客户统计特征、频域特征以及深度特征，通过LSTM算法识别各类型异常电力客户；基于客户用电量、电流、电压以及功率等数据维度，利用LSTM算法分别计算各数据维度下的异常电力用户，并以各维度加权结果作为依据，输出最终疑似异常电力客户。本发明可以实现低压用户异常用电行为智能分析，提高反窃电工作的效率和精准度。

Description

基于Transformer和LSTM融合算法的异常电力客户识别方法

技术领域

本发明涉及电力领域，具体地，涉及一种基于Transformer和LSTM融合算法的异常电力客户识别方法。

背景技术

目前低压用户体量大，异常用电行为包括窃电、计量装置故障、装接差错等存在易频发现象，尤其是窃电行为实施门槛低，呈数量较大且分散现状，已有的监控分析模型数据分析维度单一、精准度不高，难以支撑营销业务管控高效运转要求。

如何准确高效地挖掘异常用电用户，是营销稽查反窃查违管理工作提升的首要关键环节。借助营销2.0和用采2.0系统不断深化应用契机，利用双中台优势，充分应用大数据分析及人工智能成果，大力研发精准度和效率高的用电异常智能化识别模型，进一步提升用电异常特征提取和线索挖掘能力，助力营销稽查反窃查违数字化转型。

因此，本发明提出一种于Transformer和LSTM融合算法的异常电力客户识别方法。

发明内容

为解决现有技术中存在的不足，本发明的目的在于，提供一种于Transformer和LSTM融合算法的异常电力客户识别方法，以实现低压用户异常用电行为智能分析，提高反窃电工作的精准度。

本发明采用如下的技术方案。

一种基于Transformer和LSTM融合算法的异常电力客户识别方法，所述方法包括步骤：

(1)基于业务规则对客户用电采集信息进行数据清洗及数据规约处理；

(2)利用基于信息熵的混合数据属性加权聚类算法对电力客户进行类型划分；

(3)建立各类型客户的统计特征和频域特征；

(4)利用Transformer算法建立各类型客户深度特征；

(5)基于客户统计特征、频域特征以及深度特征，通过LSTM算法识别各类型异常电力客户；

(6)基于客户用电量、电流、电压以及功率等数据维度，利用LSTM算法分别计算各数据维度下的异常电力用户，并以各维度加权结果作为依据，输出最终疑似异常电力客户。

进一步地，步骤1包括：

(1.1)客户用电量数据的甄别和填补；

(1.2)用户电流、电压、功率数据甄别与填补。

进一步地，步骤2包括：

(2.1)计算混合数据信息熵的属性权重；

(2.2)寻找聚类过程中的最坏类指标；

(2.3)计算聚类有效指标及混合数据相异性；

(2.4)基于以上权重、有效指标和相异性进行混合数据的加权聚类，得到划分类型后的客户群体。

进一步地，步骤2.1，计算混合数据信息熵的属性权重，分别计算数值属性权重及分类属性权重，且数值属性权重及分类属性权重之后为1，满足总体权重设置要求。

进一步地，步骤3包括：

(3.1)通过统计学分析工具计算划分客户集合中的C₁,C₂,…,C_k的统计特征；

(3.2)通过傅里叶变化得到划分客户集合中的C₁,C₂,…,C_k的频域特征。

进一步地，客户类型的统计特征包含最大值、最小值、均值、中位数、偏度、峰度、方差、标准差、均方误差、均方根误差；

客户类型的频域特征包含频谱最大频率、频谱最小频率、频域幅值平均值、重心频率、均方频率、频率方差、均方根频率、频率幅值方差、频域幅值偏度指标、频率标准差。

进一步地，步骤4包括：

(4.1)进行数据剪裁与采样；

(4.2)将处理过的数据输入Encoder进行编码；

(4.3)利用Decoder对编码内容进行解码，并核对输出结果；

(4.4)基于核对结果，进行电力客户深度特征提取。

进一步地，步骤4.1，将N×M的混合数据转化为N个一维数据时间序列Q，对一维时间序列Q采样处理，使其成为具有196个元素的一维时间序列，为保证采样数据的均衡性，对一维时间序列Q将进行系统随机抽样，作为算法的输入向量。

进一步地，步骤4.4，将结果与输入数据核对，进而从特征提取器中提取出深度特征T：

T＝{T₁,T₂，…T_n},n＝(1,2,…,256)

对特征进行人工分类为进行客户异常行为分析识别提供数据依据。

进一步地，步骤5包括：

(5.1)进行数据整合，整合统计特征、频域特征以及深度特征并定义LSTM网络；

(5.2)设置分类激活函数，并将简单序列转换为高效的矩阵变换序列，通过随机梯度下降算法和均值误差损失函数培训神经网络；

(5.3)设置输入模式矩阵X和匹配输出模型数组Y，使用反向传播算法训练网络；

(5.4)输入测试集，利用已经训练完毕的模型进行效果评估；

(5.5)将需要预测的用电客户输入拟合模型，得到各个类型客户不同数据维度下的疑似异常客户。

进一步地，步骤5.1，将提取的统计特征S＝{S₁,S₂,…,S_n},n＝(1,2,…,10)，频域特征P＝{P₁,P₂,…,P_n},n＝(1,2,…,10)以及深度特征T＝{T₁,T₂，…T_n},n＝(1,2,…,256)整合成一个(1*276)的时序向量L＝{S₁,…,S₁₀,P₁,…,P₁₀,T₁,…,T₂₅₆}，将其作为LSTM算法的输入向量。

进一步地，步骤5.5，将输入数据整合之后形成疑似用户输出结果Result＝{id，label}，label＝(0或1)，得到每个客户的窃电标签，其中，0代表正常用户，1代表异常用电客户。

本发明的有益效果在于，与现有技术相比，本发明基于业务规则对建模数据清洗及数据规约处理，得到可用数据。利用基于信息熵的混合数据属性加权聚类算法对电力客户进行客户划分，就每个类型客户进行深入分析。建立各类型客户的统计特征和频域特征，利用Transformer算法建立各类型客户深度特征。基于客户统计、频域以及深度特征，通过LSTM算法识别各类型异常电力客户，基于客户用电量、电流、电压以及功率等数据维度，利用LSTM算法分别计算各数据维度下的异常电力用户，并以各维度加权结果作为依据，输出最终疑似异常电力客户。

本发明方法可以实现低压用户异常用电行为智能分析，提高反窃电工作的精准度。

附图说明

图1为本发明实提供的基于Transformer和LSTM融合算法的异常电力客户识别方法流程图；

图2为本发明利用基于信息熵的混合数据属性加权聚类算法对电力客户进行客户划分的流程图；

图3为本发明建立各类型客户的统计特征和频域特征的流程图；

图4为本发明利用Transformer算法建立各类型客户深度特征的流程图；

图5为本发明通过LSTM算法识别各类型异常电力客户的流程图。

具体实施方式

下面结合附图对本申请作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本申请的保护范围。

如图1所示，本发明所述的基于Transformer和LSTM融合算法的异常电力客户识别方法，包括以下步骤：

(1)基于业务规则对客户用电采集信息进行数据清洗及数据规约处理；

依据客户用电信息采集数据类型的差异，针对客户用电量、电流、电压以及功率等数据分别提出相应的甄别和填补方法。

(1.1)客户用电量数据的甄别和填补方法；

用电量出现负值：若R_t-R_t-1＜K(K值设为0)，则表示用电量数据异常，其中，R_t为当天电能示值，R_t-1为前一天的电能示值。

用电量飞走：若(R_t-R_t-1)/(Imax*Un*24)＞K(K值一般设为0.6)，则表示用电量数据出现飞走现象，其中，R_t为当天正向有功总电能示值，R_t-1为前一天的正向有功总电能示值，Imax为电能表额定电流，Un电能表额定电压。

用电量数据不平衡：若|R-(R₁+R₂+R₃+R₄)|＞K(K值一般设为0.3)，则说明用电量各个分支数据不平衡，其中，R为总电势能，R₁-R₄为各费率的电能示值。

若用电量数据出现上述异常现象，则通过前后n天的数据进行修正。用电量修正规则：

其中，R为修正数据；R₁-R_n表示待修正数据的前1-n天的用电量；X₁-X_n-1表示各个时序列对应的数据权重。

(1.2)用户电流、电压、功率数据甄别与填补；

电流：电流数据出现一次电流>额定电流*K_max或一次电流<额定电流*K_min，其中，K_max一般设为1.6，K_min设为0.2；则认为电流数据异常。

电压：电压数据出现一次电压>额定电压*K_max或一次电压<额定电压*K_min，其中，K_max一般设为1.6，K_min设为0.2；则认为电压数据异常。

功率：测量点一次功率/合同容量>K，K值一般设为2或总加组功率/合同容量>K，K一般设为4；则认为功率数据异常。

若电流、电压、功率等数据其中一项出现异常，可用其他两项进行计算填补；如都出现异常，则通过该项数据其他时间序列数据进行均值调补。

(2)利用基于信息熵的混合数据属性加权聚类算法对电力客户进行客户类型划分；

如图2所示，首先利用信息熵度量数据混乱程度，明确数值型和分类型数据的平均类间熵并计算混合数据权重；最后通过优化K-prototypes聚类算法，结合清洗规约后的客户用电量、电流、电压以及功率数据，得到划分类型后的客户群体。

(2.1)计算混合数据信息熵的属性权重；

电力客户混合数据权重由数值数据和分类数据组成，要计算混合数据就要针对数值数据和分类数据分别计算。

设X＝{x₁,x₂,…,x_N}是一个混合数据集，其中包括电力客户的用电量、电流、电压等数据，在聚类过程中该数据被分为k类，即C^k＝{C₁,C₂,…,C_k}。

在属性A_t(1≤t≤q)下，对于任意一类C_k'∈C^k，数值属性

的权重

及分类属性

的权重

分别定义为：

由上式可知

满足总体权重设置要求。

(2.2)寻找最坏类广义机制；

该部分的目标函数需要将数值、分类属性的数目和类内熵对于聚类的影响，因此需要重新定义目标函数。聚类过程中该数据被分为k类，即C^k＝{C₁,C₂,…,C_k}。

在属性A_t(1≤t≤q)下，对于任意一类C_k'∈C^k，缺失类C_k'后，其余的类间熵的和

为：

其中，

缺失类的类间熵的和

越大，表明缺失该类之后的混乱程度越大，即该类对总类间熵和的影响越小，基于上述

给出最坏类的构成机制：

通过上述步骤可以计算出聚类过程中的最坏类指标。

(2.3)计算聚类有效指标及混合数据相异性，基于上述混合数据对于权重的定义，需要重新定义聚类评估指标和相异性。其中，混合数据的聚类有效指标为：

CUM(C^k)＝uCUN(C^k)+vCUC(C^k)

其中，

混合数据的相异性为：

(2.4)基于以上权重、有效指标和相异性进行混合数据的加权聚类，得到划分类型后的客户群体；其具体步骤如下：

输入：样本集合D＝{x₁,x₂,…,x_m}；聚类簇数k；

过程：

Step1：从D中随机选择k个样本作为初始质心{u₁,u₂,…,u_k}；

Step2：把k类中每一个属性的权重初始化为相同值，即任意一个类在属性A的权重都为1/m；

Step3：

其中，x_i为任意对象，z_i表示为中心类，WD(x_i,z_i)为类C₁的加权相异度度量值，根据该式计算对象与类中心之间的相异度，并将其划分到距离该对象最近的聚类中心。

Step4：通过计算同一类中对象取值的平均值得到数值属性部分，通过计算模糊中心得到分类属性部分，并以此更新聚类中心；

Step5：计算各个类在数值和分类型数据部分属性权重；

Step6：重复3～5过程，直到最终目标函数不在发生变化；

输出：电力客户混合数据的簇划分集合C＝{C₁,C₂,…,C_k}。

基于信息熵的混合数据属性聚类算法可以更加精准的度量对象与类之间的相异度，其次在信息熵框架下可以构建聚类结果中类内抱团性和类间分离度的统一度量机制，形成新的属性加强方法，最后，优化K-Prototypes算法可提高混合数据的聚类性能，实现对于海量客户的精准聚类。

(3)建立各类型客户的统计特征和频域特征；

如图3所示，以客户用电量数据为例，通过统计学分析工具和傅里叶算法对每个类型的客户群体建立统计特征和频域特征。

(3.1)分别计算划分客户C＝{C₁,C₂,…,C_k}集合中的C₁,C₂,…,C_k的统计特征；

例如，客户类型C₁中的混合数据为X＝{x₁,x₂,…,x_N}，其中包含用电量、电压、电流等数据，客户类型C₁的统计特征为S＝{S₁,S₂,…,S_n},n＝(1,2,…,10)，其中S分别表示为最大值S₁、最小值S₂、均值S₃、中位数S₄、偏度S₅、峰度S₆、方差S₇、标准差S₈、均方误差S₉、均方根误差S₁₀。

其中，

S₁＝max(x₁,x₂,…,x_n)

S₂＝min(x₁,x₂,…,x_n)

n为奇数

n为偶数

其中，u均值，σ为标准差，E为均值函数，u₃为三阶中心距，u₄为四阶标准距，

为样本均值，X_i为样本数据，x_i为真实数据；

均方误差S₉用其来度量样本之间的偏离程度，均方根误差S₁₀用其来度量样本之间的偏离程度。

(3.2)通过傅里叶变化得到划分客户C＝{C₁,C₂,…,C_k}集合中的C₁,C₂,…,C_k的频域特征；

例如，客户类型C₁中的混合数据为X＝{x₁,x₂,…,x_N}，其中包含用电量、电压、电流等数据，客户类型C₁的频域特征为P＝{P₁,P₂,…,P_n},n＝(1,2,…,10)，其中P分别表示为频谱最大频率P₁、频谱最小频率P₂、频域幅值平均值P₃、重心频率P₄、均方频率P₅、频率方差P₆、均方根频率P₇、频率幅值方差P₈、频域幅值偏度指标P₉、频率标准差P₁₀；该部分特征主要通过傅里叶算法求得。

其中，

P₁＝max(s(k))

P₂＝min(s(k))

其中，s(k)为傅里叶变化函数，f_k为密度函数。

(4)利用Transformer算法建立各类型客户深度特征；

如图4所示，以客户用电量数据为例，依据Transformer算法要求将每一个客户的用电量数据裁剪成符合算法输入要求的数据格式并添加窃电标签，将其放入网络中进行训练并输入符合精度要求的输出，核对输出结果，提取解码器中的特征作为该客户用电量数据的深度特征。

(4.1)数据剪裁与采样；

由于Transformer算法输入为指定3个维度为(1*196)的数据，因此需要对原始混合数据X＝{x₁,x₂,…,x_N}进行裁剪。X＝{x₁,x₂,…,x_N}为N×M的混合数据矩阵，N为客户数量，M为数据维度。

根于算法需求，依据时间标准，将X＝{x₁,x₂,…,x_N}转化为N个一维数据时间序列Q＝{q₁₁,q₁₂,…,q_ij，C_i},i∈[1,365],j∈[1,M]，C_i为该客户的窃电标签(0/1)。对一维时间序列Q采样处理，使其成为具有196个元素的一维时间序列，为保证采样数据的均衡性，对Q将进行10次系统随机抽样，每次抽取三个一维时间序列Q1、Q2、Q3，将其作为算法的输入向量。

(4.2)将处理过的数据输入Encoder进行编码；

输入向量Q1、Q2、Q3首先通过Self-Attention模块进行计算，得到特征向量Z，该过程通过下式计算：

之后将特征向量Z输送到下一模块Feed Forward Neural Network，该层会全连接层，其具有两层结构，第一层为激活系数，第二次为线性激活函数，可表示为：

FFN(Z)＝max(0,ZW₁+b₁)W₂+b₂

其中，W₁为激活系数，W₂为线性激活函数的斜率。通过计算得到编码后的时序向量FFN(Z)，并作为输入，进入Decoder结构中。

(4.3)利用Decoder对编码内容进行解码，并核对输出结果；

Decoder相较于Encoder多了Encoder-Decoder Attention模块，用于计算输入和输出的权值。

(4.4)基于核对结果，进行电力客户深度特征提取；

输入向量先进入编码器中的Muti-Head Attention(由多个Self-Attention构成)，将输入分别传递到不同的Self-Attention中，并计算得到多个输出矩阵Z，将多个Z合并传入下一个Linear层，得到最终输出Z，与此同时还需要经过激活函数和残差连接层，之后到解码器中，经过和编码器中相同的过程后最终得到结果，并将结果与输入数据核对，进而从特征提取器中提取出深度特征T。

T＝{T₁,T₂，…T_n},n＝(1,2,…,256)

将各个类型用户的基础数据、用户用电特征、用户异常信息、电流电压功率曲线等数据作为输入，通过Transformer深度学习框架，将每个维度数据对于用户群体分类的最大贡献度作为目标，输出一系列特征，就这些特征进行人工分类，为建立客户异常行为分析识别模型提供数据依据。

Transformer算法是以encoder/decoder架构为基础，在Encoder和Decoder中都使用了Self-attention，Point-wise和全连接层。

在Transformer深度学习算法中最重要的部分为Self-Attention结构，多个Self-Attention结构可以构成Multi-Head Attention，在Encoder中就包含一个Multi-HeadAttention，在Decoder中则包含两个Multi-Head Attention，其中一个用于Masked。在计算的时候需要用到矩阵Q(查询)，K(键值)，V(值)。在实际中，Self-Attention接收的是输入(单词的表示向量x组成的矩阵X)或者上一个Encoder block的输出。而Q、K、V正是通过Self-Attention的输入进行线性变换得到的。

(5)基于客户统计特征、频域特征以及深度特征，通过LSTM算法识别各类型异常电力客户；

如图5所示，将统计、频域以及深度特征输入LSTM网络中，经过编写网络参数、Fit网络、评估网络等步骤后做出预测，得到每个类型客户基于用电量、电流、电压、功率等数据的疑似异常用户。

(5.1)进行数据整合，整合统计特征、频域特征以及深度特征并定义LSTM网络；

将提取的统计特征S＝{S₁,S₂,…,S_n},n＝(1,2,…,10)，频域特征P＝{P₁,P₂,…,P_n},n＝(1,2,…,10)以及深度特征T＝{T₁,T₂，…T_n},n＝(1,2,…,256)整合成一个(1*276)的时序向量L＝{S₁,…,S₁₀,P₁,…,P₁₀,T₁,…,T₂₅₆}，将其作为LSTM算法的输入向量。

(5.2)编写网络参数：设置分类激活函数，并将简单序列转换为高效的矩阵变换序列，通过随机梯度下降算法和均值误差损失函数培训神经网络；

(5.3)Fit网络：设置输入模式矩阵X和匹配输出模型数组Y，使用反向传播算法训练网络；

(5.4)评估网络：输入测试集，利用已经训练完毕的模型进行效果评估；

(5.5)做出预测：将需要预测的用电客户输入拟合模型，得到各个类型客户不同数据维度下的疑似异常客户。

将输入数据整合之后形成疑似用户输出结果Result＝{id，label}，label＝(0或1)，最终得到每个客户的窃电标签，其中，0代表正常用户，1代表异常用电客户。

LSTM长短期记忆网络算法是一种特殊的RNN，其可以规避标准RNN中梯度爆炸和梯度消失的问题，实现对长期依赖性进行学习。LSTM将一个个分析单元首尾相连，同一层的会把前面单元的输出作为输入，同时前一层的输出会作为下一层的输入。需要将电力业务中的一些数据和信息作为输入，经过LSTM深度学习之后，输出一系列可以用于实际建模的特征变量。

LSTM的核心是在于细胞状态和“门”结构。细胞状态相当于信息传输的路径，让信息能在序列连中传递下去。理论上讲，细胞状态能够将序列处理过程中的相关信息一直传递下去。克服短期记忆的影响。“门”结构就负责实现信息的添加或删除，“门”结构会在训练过程中该保存或者遗忘那些信息。

细胞状态类似于输送带，细胞的状态在整个链上运行，只有一些小的线性操作作用其上，信息很容易保持不变的流过整个链。忘记门也可以称作遗忘门，遗忘门的功能是决定应丢弃或保留哪些信息，来自前一个隐藏状态的信息和当前输入的信息同时传递到sigmoid函数中，用于判断该信息状态。

忘记门负责将细胞状态中的信息选择性遗忘，该过程可以用以下公式表示：

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

左侧的h_t-1和下面输入的x_t经过了连接操作，再通过一个线性单元，经过一个σ也就是sigmoid函数生成一个0到1之间的数字作为系数输出，W_f和b_f作为待定系数是要进行训练学习的。

sigmoid部分：

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

tanh标识：

在以上单元的基础上，通过运行sigmoid层来确定细胞状态输出部分：

o_t＝σ(W_o·[h_t-1,x_t]+b_o)

接着将细胞状态通过tanh进行处理，并将其和sigmoid的输出相乘，之后就会得到期望输出部分：

h_t＝o_t*tanh(C_t)

(6)基于客户用电量、电流、电压以及功率等数据维度，利用LSTM算法分别计算各数据维度下的异常电力用户，并以各维度加权结果作为依据，输出最终疑似异常电力客户。

本发明的有益效果在于，与现有技术相比，本发明基于业务规则对建模数据清洗及数据规约处理，得到可用数据。利用基于信息熵的混合数据属性加权聚类算法对电力客户进行客户划分，就每个类型客户进行深入分析。建立各类型客户的统计特征和频域特征，利用Transformer算法建立各类型客户深度特征。基于客户统计、频域以及深度特征，通过LSTM算法识别各类型异常电力客户，基于客户用电量、电流、电压以及功率等数据维度，利用LSTM算法分别计算各数据维度下的异常电力用户，并以各维度加权结果作为依据，输出最终疑似异常电力客户。

本发明方法可以实现低压用户异常用电行为智能分析，提高反窃电工作的精准度。

本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。

Claims (10)

1.一种基于Transformer和LSTM融合算法的异常电力客户识别方法，其特征在于，所述方法包括步骤：

(1)基于业务规则对客户用电采集信息进行数据清洗及数据规约处理；

(2)利用基于信息熵的混合数据属性加权聚类算法对电力客户进行类型划分；

(2.1)计算混合数据信息熵的属性权重；

(2.2)寻找聚类过程中的最坏类指标；

(2.3)计算聚类有效指标及混合数据相异性；

(2.4)基于以上权重、有效指标和相异性进行混合数据的加权聚类，得到划分类型后的客户群体；

(3)建立各类型客户的统计特征和频域特征；

(4)利用Transformer算法建立各类型客户深度特征；

(5)基于客户统计特征、频域特征以及深度特征，通过LSTM算法识别各类型异常电力客户；

(5.1)进行数据整合，整合统计特征、频域特征以及深度特征并定义LSTM网络；

(5.2)设置分类激活函数，并将简单序列转换为高效的矩阵变换序列，通过随机梯度下降算法和均值误差损失函数培训神经网络；

(5.3)设置输入模式矩阵X和匹配输出模型数组Y，使用反向传播算法训练网络；

(5.4)输入测试集，利用已经训练完毕的模型进行效果评估；

(5.5)将需要预测的用电客户输入拟合模型，得到各个类型客户不同数据维度下的疑似异常客户；

(6)基于客户用电量、电流、电压以及功率等数据维度，利用LSTM算法分别计算各数据维度下的异常电力用户，并以各维度加权结果作为依据，输出最终疑似异常电力客户。

2.根据权利要求1所述的基于Transformer和LSTM融合算法的异常电力客户识别方法，其特征在于，

步骤1包括：

(1.1)客户用电量数据的甄别和填补；

(1.2)用户电流、电压、功率数据甄别与填补。

3.根据权利要求1所述的基于Transformer和LSTM融合算法的异常电力客户识别方法，其特征在于，

步骤2.1，计算混合数据信息熵的属性权重，分别计算数值属性权重及分类属性权重，且数值属性权重及分类属性权重之和为1，满足总体权重设置要求。

4.根据权利要求1所述的基于Transformer和LSTM融合算法的异常电力客户识别方法，其特征在于，

步骤3包括：

(3.1)通过统计学分析工具计算划分客户集合中的C₁,C₂,…,C_k的统计特征；

(3.2)通过傅里叶变换得到划分客户集合中的C₁,C₂,…,C_k的频域特征。

5.根据权利要求4所述的基于Transformer和LSTM融合算法的异常电力客户识别方法，其特征在于，

客户类型的统计特征包含最大值、最小值、均值、中位数、偏度、峰度、方差、标准差、均方误差、均方根误差；

客户类型的频域特征包含频谱最大频率、频谱最小频率、频域幅值平均值、重心频率、均方频率、频率方差、均方根频率、频率幅值方差、频域幅值偏度指标、频率标准差。

6.根据权利要求1所述的基于Transformer和LSTM融合算法的异常电力客户识别方法，其特征在于，

步骤4包括：

(4.1)进行数据剪裁与采样；

(4.2)将处理过的数据输入Encoder进行编码；

(4.3)利用Decoder对编码内容进行解码，并核对输出结果；

(4.4)基于核对结果，进行电力客户深度特征提取。

7.根据权利要求6所述的基于Transformer和LSTM融合算法的异常电力客户识别方法，其特征在于，

步骤4.1，将N×M的混合数据转化为N个一维数据时间序列Q，对一维时间序列Q采样处理，使其成为具有196个元素的一维时间序列，为保证采样数据的均衡性，对一维时间序列Q将进行系统随机抽样，作为算法的输入向量。

8.根据权利要求6所述的基于Transformer和LSTM融合算法的异常电力客户识别方法，其特征在于，

步骤4.4，将结果与输入数据核对，进而从特征提取器中提取出深度特征T：

T＝{T₁,T₂，…T_n},n＝(1,2,…,256)

对特征进行人工分类为进行客户异常行为分析识别提供数据依据。

9.根据权利要求1所述的基于Transformer和LSTM融合算法的异常电力客户识别方法，其特征在于，

步骤5.1，将提取的统计特征S＝{S₁,S₂,…,S_n},n＝(1,2,…,10)，频域特征P＝{P₁,P₂,…,P_n},n＝(1,2,…,10)以及深度特征T＝{T₁,T₂，…T_n},n＝(1,2,…,256)整合成一个(1*276)的时序向量L＝{S₁,…,S₁₀,P₁,…,P₁₀,T₁,…,T₂₅₆}，将其作为LSTM算法的输入向量。

10.根据权利要求1所述的基于Transformer和LSTM融合算法的异常电力客户识别方法，其特征在于，

步骤5.5，将输入数据整合之后形成疑似用户输出结果Result＝{id，label}，label＝(0或1)，得到每个客户的窃电标签，其中，0代表正常用户，1代表异常用电客户。

Images