CN111506618B - 一种结合lightgbm-stacking算法的异常用电行为分析方法 - Google Patents

Abstract

本发明提供一种结合lightgbm‑stacking算法的异常用电行为分析方法，包括以下步骤：步骤一：样本数据收集、校核和预处理，建立样本数据库；步骤二：构建特征库，特征预处理；步骤三：征筛选以及模型构建；步骤四：第二轮特征筛选以及模型构建；步骤五：模型结果过滤。能够解决目前的现场排查方法的工作人员缺乏以及排查效率低的技术问题，同时能够解决加装设备方法的适用范围窄和安装成本高的问题。

Description

一种结合lightgbm-stacking算法的异常用电行为分析方法

技术领域

本发明涉及电力领域，具体为一种结合lightgbm-stacking算法的异常用电行 为分析方法。

背景技术

随着国内经济的快速发展，居民用户和工商企业的用电量逐步上升，同时 窃电相关的案件数量也在逐年上升，直接影响供电企业的正常运行。为规范用 电客户的正常用电行为，提高电能利用率，降低供电企业成本，需要准确定位 并及时处理存在异常用电行为的用电客户。目前在工程领域中，异常用电行为 的识别主要通过现场排查和加装设备实现，其中现场排查指的是通过工作人员的现场检查，包括接线检查、电气量测量对比等检查，随着供电设备的不断增 加，人员数量难以支撑当前的供电区域，加装设备指的是针对部分嫌疑用电客 户，在变压器、分支点等区域加装相关设备进行电气量的测量，经过对比各节 点的电气量后实现异常用电行为的识别。在学术领域也进行了相关探讨，主要 包括基于电气理论和数据挖掘的方法，但均未考虑当前数据基础，难以在实际 工程中应用，因此，在考虑当前数据基础的情况下，如何实现异常用电行为的分析是当前面临的十分重要且迫切的问题。

发明内容

为了解决现有技术中存在的某种或某些技术问题，本发明提供一种结合lightgbm-stacking算法的异常用电行为分析方法，能够解决目前的现场排查方法 的工作人员缺乏以及排查效率低的技术问题，同时能够解决加装设备方法的适 用范围窄和安装成本高的问题。

为解决上述现有的技术问题，本发明采用如下方案：一种结合 lightgbm-stacking算法的异常用电行为分析方法，其特征在于：包括以下步骤：

步骤一：样本数据收集、校核和预处理，建立样本数据库；

步骤二：构建特征库，特征预处理：针对目前供电企业的数据基础，包括用 电信息采集数据、变压器运行数据、用户档案数据、台区线损数据，构建多 维度的异常特征库；特征预处理为对特征数据进行统计值分析，对数值型特 征进行包括标准差、最大值、最小值、1/4分位数、1/2分位数、3/4分位数、 缺失值数量统计，对类别型特征进行类别数统计、缺失值统计，过滤标准差接近0、缺失比例超过50％的特征；

步骤三：征筛选以及模型构建：(1)选择80％的1级样本作为样本，每次选 择1:5的比例选择正常用户，共选择5次，构成5批训练样本；(2)对每一 批训练样本进行各特征的相关性矩阵计算，按照与打标的相关性进行特征重 要性排序。删除多重线性相关的特征，保留原则为按照特征重要性进行保留； (3)针对每一批样本，分别运用LightGBM算法进行训练，得到对应的模型； (4)针对5个LightGBM模型，上层运用逻辑回归模型进行模型融合，共同输出模型结果；

步骤四：第二轮特征筛选以及模型构建：(1)使用第一轮训练得到的模型， 对2级样本进行预测，得到2级样本的预测结果；(2)将2级样本中能够正 确分类的样本与1级样本合并，构成新的样本集合；(3)运用合并后的样本级，重新进行步骤三的过程，得到更新后的特征与模型；

步骤五：模型结果过滤：将训练后的模型进行部署，对新的数据进行预测， 针对预测的结果，综合考虑用户电量水平、台区线损情况进行结果过滤，保 留重点嫌疑用户。

作为优选，所述步骤一中具体步骤为：(1)样本数据收集，从各供电区 域的工作人员以及业务流程管理系统获取样本数据，需要包括户号、查处日 期、现场描述、异常用电时长信息；(2)针对收集的样本数据，绘制用户电量曲线、台区供电量曲线、台区用电量曲线、台区线损电量曲线、台区线损 率曲线，结合样本中的文本信息，综合多维度进行样本校核，确保样本的准 确性；(3)在样本进行校核以后，提取样本关键信息，形成结构化数据，包 括户号、异常用电起始日期、异常用电截止日期、估计异常用电天数、备注 信息字段，形成样本数据库，起始日期和截止日期均准确的情况下，无需估 算异常用电时长信息，并定义为1级样本，截止日期准确但起始日期不准确的情况下，需要估算异常用电天数，并定义为2级样本；(4)从样本数据库 中进行样本清单构造，针对1级样本，用户在起始日期前1个月和截止日期后1个月的日期进行打标为0，起始日期至截止日期的日期区间打标1，针对 2级样本，根据估算的异常用电天数，对截止日期前打标1，截止日期后打标 0。

相比现有技术，本发明的有益效果在于：

本发明提供一种结合lightgbm-stacking算法的异常用电行为分析方法，能够 解决目前的现场排查方法的工作人员缺乏以及排查效率低的技术问题，同时能 够解决加装设备方法的适用范围窄和安装成本高的问题。

具体实施方式

下面，结合具体实施方式，对本发明做进一步描述，需要说明的是，在不 相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形 成新的实施例。

本发明提供一种结合lightgbm-stacking算法的异常用电行为分析方法，包括 以下步骤：

步骤一：样本数据收集、校核和预处理，建立样本数据库：(1)样本数据收 集，从各供电区域的工作人员以及业务流程管理系统获取样本数据，需要包 括户号、查处日期、现场描述、异常用电时长信息；(2)针对收集的样本数 据，绘制用户电量曲线、台区供电量曲线、台区用电量曲线、台区线损电量 曲线、台区线损率曲线，结合样本中的文本信息，综合多维度进行样本校核， 确保样本的准确性；(3)在样本进行校核以后，提取样本关键信息，形成结 构化数据，包括户号、异常用电起始日期、异常用电截止日期、估计异常用电天数、备注信息字段，形成样本数据库，起始日期和截止日期均准确的情 况下，无需估算异常用电时长信息，并定义为1级样本，截止日期准确但起 始日期不准确的情况下，需要估算异常用电天数，并定义为2级样本；(4) 从样本数据库中进行样本清单构造，针对1级样本，用户在起始日期前1个 月和截止日期后1个月的日期进行打标为0，起始日期至截止日期的日期区 间打标1，针对2级样本，根据估算的异常用电天数，对截止日期前打标1， 截止日期后打标0；

步骤二：构建特征库，特征预处理：针对目前供电企业的数据基础，包括用 电信息采集数据、变压器运行数据、用户档案数据、台区线损数据，构建多 维度的异常特征库；特征预处理为对特征数据进行统计值分析，对数值型特 征进行包括标准差、最大值、最小值、1/4分位数、1/2分位数、3/4分位数、 缺失值数量统计，对类别型特征进行类别数统计、缺失值统计，过滤标准差 接近0、缺失比例超过50％的特征；

步骤三：征筛选以及模型构建：(1)选择80％的1级样本作为样本，每次选 择1:5的比例选择正常用户，共选择5次，构成5批训练样本；(2)对每一 批训练样本进行各特征的相关性矩阵计算，按照与打标的相关性进行特征重 要性排序。删除多重线性相关的特征，保留原则为按照特征重要性进行保留； (3)针对每一批样本，分别运用LightGBM算法进行训练，得到对应的模型； (4)针对5个LightGBM模型，上层运用逻辑回归模型进行模型融合，共同输出模型结果；

步骤四：第二轮特征筛选以及模型构建：(1)使用第一轮训练得到的模型， 对2级样本进行预测，得到2级样本的预测结果；(2)将2级样本中能够正 确分类的样本与1级样本合并，构成新的样本集合；(3)运用合并后的样本级，重新进行步骤三的过程，得到更新后的特征与模型；

步骤五：模型结果过滤：将训练后的模型进行部署，对新的数据进行预测， 针对预测的结果，综合考虑用户电量水平、台区线损情况进行结果过滤，保 留重点嫌疑用户。

本发明采用“对样本进行广泛收集，结合数据情况对样本进行校核和预处 理，构建样本数据库，在保证数据准确性的基础上进行样本二级分类”的技术 手段，实现了样本数据的扩充和准确性确定，解决了当前样本数据准确性较差 且样本数据较少的问题；采用“随机样本选择的方式构建多重样本集合，分别 评价每个样本集合的特征缺失、常量、异常、相关性和多重共线性，筛选强关联特征”的技术方法，实现模型与当前数据基础的结合，实现特征的筛选和过 滤；采用“lightgbm-stacking构建模型，1级样本对模型进行初步训练，并集合 2级样本预测结果对1级样本进行扩充，实现多轮模型训练”的技术方法，使用类似半监督的方法，克服1级样本数量较少、2级样本数量充足的问题。能够解 决目前的现场排查方法的工作人员缺乏以及排查效率低的技术问题，同时能够 解决加装设备方法的适用范围窄和安装成本高的问题。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的 范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换 均属于本发明所要求保护的范围。

Claims (1)

1.一种结合lightgbm-stacking算法的异常用电行为分析方法，其特征在于：包括以下步骤：

步骤一：样本数据收集、校核和预处理，建立样本数据库：(1)样本数据收集，从各供电区域的工作人员以及业务流程管理系统获取样本数据，需要包括户号、查处日期、现场描述、异常用电时长信息；(2)针对收集的样本数据，绘制用户电量曲线、台区供电量曲线、台区用电量曲线、台区线损电量曲线、台区线损率曲线，结合样本中的文本信息，综合多维度进行样本校核，确保样本的准确性；(3)在样本进行校核以后，提取样本关键信息，形成结构化数据，包括户号、异常用电起始日期、异常用电截止日期、估计异常用电天数、备注信息字段，形成样本数据库，起始日期和截止日期均准确的情况下，无需估算异常用电时长信息，并定义为1级样本，截止日期准确但起始日期不准确的情况下，需要估算异常用电天数，并定义为2级样本；(4)从样本数据库中进行样本清单构造，针对1级样本，用户在起始日期前1个月和截止日期后1个月的日期进行打标为0，起始日期至截止日期的日期区间打标1，针对2级样本，根据估算的异常用电天数，对截止日期前打标1，截止日期后打标0；

步骤二：构建特征库，特征预处理：针对目前供电企业的数据基础，包括用电信息采集数据、变压器运行数据、用户档案数据、台区线损数据，构建多维度的异常特征库；特征预处理为对特征数据进行统计值分析，对数值型特征进行包括标准差、最大值、最小值、1/4分位数、1/2分位数、3/4分位数、缺失值数量统计，对类别型特征进行类别数统计、缺失值统计，过滤标准差接近0、缺失比例超过50％的特征；

步骤三：征筛选以及模型构建：(1)选择80％的1级样本作为样本，每次选择1:5的比例选择正常用户，共选择5次，构成5批训练样本；(2)对每一批训练样本进行各特征的相关性矩阵计算，按照与打标的相关性进行特征重要性排序，删除多重线性相关的特征，保留原则为按照特征重要性进行保留；(3)针对每一批样本，分别运用LightGBM算法进行训练，得到对应的模型；(4)针对5个LightGBM模型，上层运用逻辑回归模型进行模型融合，共同输出模型结果；

步骤四：第二轮特征筛选以及模型构建：(1)使用第一轮训练得到的模型，对2级样本进行预测，得到2级样本的预测结果；(2)将2级样本中能够正确分类的样本与1级样本合并，构成新的样本集合；(3)运用合并后的样本级，重新进行步骤三的过程，得到更新后的特征与模型；

步骤五：模型结果过滤：将训练后的模型进行部署，对新的数据进行预测，针对预测的结果，综合考虑用户电量水平、台区线损情况进行结果过滤，保留重点嫌疑用户。