CN111008193A - 一种数据清洗与质量评价方法及系统 - Google Patents

Abstract

本发明涉及一种数据清洗与质量评价方法，包括如下步骤：(1)基于营销业务系统的用电信息采集系统内海量的用电数据；(2)采用机器学习算法对采集的海量用电数据进行识别分析，按不同的客户群体根据其用电数据，分别构建数据稀疏矩阵；(3)利用相应的规则对筛选出的异常用户信息进行处理，通过所建立的分类模型评估各项规则对处理结果的影响度，以此来评估各项规则的有效性。本发明通过用电采集数据和营销业务数据，从运行时间、终端应用等方面开展大数据分析，以效果评估及优化实现闭环改进，为业务系统实用化评价提供辅助支撑。

Description

一种数据清洗与质量评价方法及系统

技术领域

本发明属于电能采集大数据治理领域，特别是一种数据清洗与质量评价方法及系统。

背景技术

2014年底全国网覆盖的用电信息采集系统，已实现对所有电力用户和关口的全面覆盖，实现计量装置在线监测和用户负荷、电量、电压等重要信息的实时采集，可及时、完整、准确地为有关系统进行高级分析和辅助决策研究提供基础数据，为实现电能表智能双向互动提供了坚实的信息基础。

当前低压台区数目庞大、建设情况参差不齐的现状使得台区在提升管理水平的过程中面临诸多亟待解决的问题，主要体现在以下4个方面：

(1)受供能侧与用能侧双重影响，缺乏对低压台区智能电能表实际运行状态的科学全面评估手段；

(2)配网结构、用户用电行为、线损等实际因素对低压台区运行状态的影响难以实现实验室物理复现分析；

(3)低压台区智能电能表的运行误差检定精细化程度不够，检定效率低下，检定成本偏高；

(4)低压台区智能电能表的运维派单主要依赖于人工，存在运维资源与运维需求间的矛盾。

发明内容

本发明的目的在于克服现有技术的不足，提供一种数据清洗与质量评价方法及系统。

本发明解决其技术问题是采取以下技术方案实现的：

一种数据清洗与质量评价方法，包括如下步骤：

(1)基于营销业务系统的用电信息采集系统内海量的用电数据；

(2)采用机器学习算法对采集的海量用电数据进行识别分析，按不同的客户群体根据其用电数据，分别构建数据稀疏矩阵，所述的数据稀疏矩阵内包含了异常用户信息、异常规则触发情况信息以及异常处理结果信息三部分；

(3)利用相应的现有规则对筛选出的异常用户信息进行处理，通过所建立的分类模型评估各项规则对处理结果的影响度，以此来评估各项规则的有效性。

而且，所述的营销业务系统的用电信息包括用户基础信息、计量档案信息、计费参数信息、示数信息、功率信息、电压信息、电流信息、计量异常报警信息以及线损数据信息。

而且，所述存在异常的用户信息包括用电异常、计量装置故障、违约用电窃电嫌疑的用户信息。

而且，所述的各项规则的有效性分析方法为：

用户信息与用电数据稀疏矩阵中的异常信息处理结果为因变量，各项核算规则的出发结果为特征值，应用随机森林算法构建用电异常分类模型，并根据分类模型的基尼系数、互信息指标评估各项规则对异常信息处理结果的影响度：

将影响度≤5％的规则判断为疑似无效规则，将该规则剔除后再进一步构建分类模型，并分析模型的查全率、查准率、f1-score较原模型是否下降，若未降低，确认该规则为无效规则；

将模型评价出来的无效规则逐项剔除，用剩余的规则去排查用户的疑似异常数据，若疑似异常情况中核查的真实异常用户未减少，则确认该规则为无效规则，若减少，则认为该规则为有效规则。

本发明的优点和积极效果是：

本数据清洗与质量评价方法，探索数据驱动下的信息系统运行情况诊断技术手段及实现方法，以用电采集数据管理为基础，围绕“聚、炼、用、评”的主线，通过用电采集数据和营销业务数据，从运行时间、终端应用等方面开展大数据分析，以效果评估及优化实现闭环改进，为业务系统实用化评价提供辅助支撑。

附图说明

图1是本发明的流程图；

图2为本发明的箱型图。

具体实施方式

以下结合附图对本发明的实施例做进一步详述：

一种数据清洗与质量评价方法，其创新之处在于：包括如下步骤：

(1)基于营销业务系统的用电信息采集系统内海量的用电数据；

(2)采用机器学习算法对采集的海量用电数据进行识别分析，按不同的客户群体根据其用电数据，分别构建数据稀疏矩阵，所述的数据稀疏矩阵内包含了异常用户信息、异常规则触发情况信息以及异常处理结果信息三部分；

(3)利用相应的规则对筛选出的异常用户信息进行处理，通过所建立的分类模型评估各项规则对处理结果的影响度，以此来评估各项规则的有效性。

基于营销业务系统用电信息采集系统海量用电数据

基于用户基础信息、计量档案、计费参数、示数信息、功率、电压、电流、计量异常报警、线损数据等，采用机器学习算法进行识别分析，从海量数据中筛选存在用电异常、计量装置故障、违约用电窃电嫌疑的用户信处，为用电检查人员提供数据支撑。

用户信息与用电数据稀疏矩阵中的异常信息处理结果为因变量，各项核算规则的出发结果为特征值，应用机器学习算法构建分类模型，并根据模型的基尼系数、互信息等指标评估各项规则对异常信息处理结果的影响度，以此评估各项规则的有效性。

具体步骤如下：

(1)分别基于随机森林、决策树、XGBoost，GDBT算法，构建二分类模型，以查全率、查准率、f1-score为评价指标，筛选最优算法。

示例：

模型算法	查确率	查全率	f1-score
				随机森林	95％	98％	96％
XGBoost	92％	99％	95％
				决策树	92％	92％	92％
Lightgbm	91％	93％	92％

如上表，根据各算法的查全率、查准率、f1-score，确认随机森林为最优算法。

(2)以最优算法构建分类模型，根据模型的基尼系统、互信息等指标评估各项规则对异常信息处理结果的影响度。

(3)根据各项规则的影响度值，评估规则有效性，将影响度极低的规则判断为疑似无效规则，将该规则剔除后再进一步构建分类模型，并分析模型的查全率、查准率、f1-score较原模型是否下降，若未降低，确认该规则为无效规则。

为确保模型评价结果的有效性，将模型评价出来的无效规则逐项剔除后，用剩余的规则去排查用户近2年的疑似异常数据，若疑似异常情况中核查的真实异常用户未减少，则确认该规则为无效规则，若减少，则认为该规则为有效规则。

示例：

规则名称	模型评价结果	损失评估检验	规则是否有效
				规则01	有效	不检验	有效
规则02	有效	不检验	有效
				规则03	有效	不检验	有效
规则04	无效	有效	有效
				规则05	无效	无效	无效
规则…	…	…	…
				规则N	无效	无效	无效

2.用户信息与用电特征不匹配主要分析

1)居民照明用户电价行业分类为非居民。

2)临时用电户执行大工业电价、临时用电户超期、临时用电户销户还有预收。

3)执行大工业、农业、一般工商业电价的行业分类为居民生活。

4)电采暖电价用户冬季用电量偏小。

5)充电电价用电但是用电量较高。

6)合同容量小于110kv户名中含酒店、餐饮、宾馆、饭店、冷库、商城、超市的不应执行分时电价。

7)户名含'学校”幼儿园'没有执行学校电价等特征数据发掘。

8)开表箱记录等。

8)高价执行。

按不同的客户群体根据近两年用电数据，分别构建数据稀疏矩阵。以下表为例：某一客户群体的用能数据矩阵包含了：异常用户信息、异常规则触发情况信息、异常处理结果信息三部分。

上表中每行数据表示经系统基于当前的核算规则查出的异常用户情况，“异常规则触发情况”下各规则的取值为0或1，0代表未触发此项规则，1代表触发了此项规则；“结果标签”的取值为0或1，0代表已处理无异常用户，即审核出的异常客户经人工核查发现并无异常，1代表异常用户，即审核出的异常客户经人工核查发现确有异常，异常情况包括：估抄/抄错、计量装置故障、违约窃电、档案差错等。

3.用电异常特征分析

基于营销业务系统、用电信息采集系统海量数据，通过分析负荷、用电量、线损特征指标，停送电事件等事件与用电数据相关性特征，用户信用度、历史违窃电指标，建立用电异常智能分析特征指标库。对通过构建的异常用电智能诊断模型筛选出的异常用户进行周期性用电行为异常的诊断分析，包括负荷异常诊断，电压异常诊断，电流异常诊断、事件报警、关联分析等，识别出该用户用电异常综合概况，从海量数据中筛选存在用电异常、计量装置故障、违约用电窃电嫌疑的用户。

针对无效规则的阈值优化：基于客户基础信息及用能数据，逐一开展无效规则的阈值优化工作。以用户某一项核算规则为例：考虑该规则近2年曾经被触发，缺没有排查出用户真正存在异常的事实，表明该规则对应的指标数据近2年的波动均为正常，阈值优化的结果应该在近2年指标数据波动的范围之外。基于以上原理，根据该项规则对应指标近2年各月的数据，通过箱型图统计分析该指标的上边缘，下边缘，确认箱体的上限或下限为该规则新阈值参考标准。

针对有效规则的阈值优化：基于客户基础信息及用能数据，逐一开展有效规则的阈值优化工作。以用户某一项【指标突增核】算规则为例：该指标的异常触发规则为，指标大于【阈值】，系统会产生异常共振。根据该规则近2年每月对应的指标数据及异常处理结果数据，以是否为真实异常将指标历月的数据分成合理数值及异常数值两类。通过箱型图分别统计2类数值的上边缘，下边缘。对比2类数据的分布情况，确定最终的阈值参考标准，具体过程如下：

1、若合理数值的上边缘>异常数值的下边缘，则新阈值的上限可参考异常数值的下边缘；若合理数值的上边缘<异常数值的下边缘,则新阈值的上限可参考为合理数值的上边缘

2、若合理数值的下边缘>异常数值的上边缘，则新阈值的下限可参考合理数值的下边缘，若合理数值的下边缘<异常数值的上边缘,则新阈值的下限可参考异常数值的上边缘。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/ 或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (7)

1.一种数据清洗与质量评价方法，其特征在于：包括如下步骤：

(1)基于营销业务系统的用电信息采集系统内的用电数据；

(2)采用机器学习算法对采集的用电数据进行识别分析，按不同的客户群体根据其用电数据，分别构建数据稀疏矩阵；

(3)利用相应的现有规则对构建的数据稀疏矩阵内的数据进行筛选，对筛选出的异常用户信息进行处理，通过所建立的分类模型评估各项规则对处理结果的影响度，根据所述影响度评估各项规则的有效性。

2.根据权利要求1所述的一种数据清洗与质量评价方法，其特征在于：所述的营销业务系统的用电信息包括用户基础信息、计量档案信息、计费参数信息、示数信息、功率信息、电压信息、电流信息、计量异常报警信息以及线损数据信息。

3.根据权利要求1所述的一种数据清洗与质量评价方法，其特征在于：所述存在异常用户信息包括用电异常、计量装置故障、违约用电窃电嫌疑的用户信息。

4.根据权利要求1所述的一种数据清洗与质量评价方法，其特征在于：所述的各项规则的有效性分析方法为：

用户信息与用电数据稀疏矩阵中的异常信息处理结果为因变量，各项核算规则的出发结果为特征值，应用随机森林算法进行异常结果分类，结合分类结果，计算基尼系数、互信息等指标，评估各项规则对异常信息处理结果的影响度：

将影响度≤5％的规则判断为疑似无效规则，将该规则剔除后构建分类模型，并分析模型的查全率、查准率、f1-score较原模型是否下降，若未降低，确认该规则为无效规则；

将模型评价出来的无效规则逐项剔除，用剩余的规则去排查用户的疑似异常数据，若疑似异常情况中核查的真实异常用户未减少，则确认该规则为无效规则，若减少，则认为该规则为有效规则。

5.一种数据清洗与质量评价系统，其特征在于：

包括数据采集模块，用于根据营销业务系统内的用电信息采集系统内的用电数据；

数据识别分析模块，用于采用机器学习算法对采集的用电数据进行识别分析，按不同的客户群体根据其用电数据，分别构建数据稀疏矩阵；

数据处理模块，用于利用相应的现有规则对筛选出的异常用户信息进行处理，通过所建立的分类模型评估各项规则对处理结果的影响度，根据所述影响度评估各项规则的有效性。

6.根据权利要求5所述的一种数据清洗与质量评价系统，其特征在于：所述的营销业务系统的用电信息包括用户基础信息、计量档案信息、计费参数信息、示数信息、功率信息、电压信息、电流信息、计量异常报警信息以及线损数据信息。

7.根据权利要求5所述的一种海量数据清洗与质量评价系统，其特征在于：所述存在异常用户信息包括用电异常、计量装置故障、违约用电窃电嫌疑的用户信息。

Images