CN109636124A - 基于大数据的电力行业低压台区线损分析方法及处理系统 - Google Patents

Abstract

本发明公开一种基于大数据的电力行业低压台区线损分析方法，所述方法为：1、抽取采集系统同期线损中高负损及不可算台区构建基本线损档案数据；2、结合采集系统档案数据，分析采集异常档案因数；3、结合采集系统工单数据，分析异常工单信息；4、结合采集系统曲线数据，统计计量异常因数；5、结合功率电流曲线数据及相关电表上报事件，对窃电因数异常进行分析；6、结合电流、功率曲线，分析现场接线异常；7、通过各类异常明细数据，开展线损异常台区智能诊断，针对收集反馈的异常消缺结果。本发明还公开相关分析处理系统。

Description

基于大数据的电力行业低压台区线损分析方法及处理系统

技术领域

本发明涉及基于大数据的电力行业低压台区线损分析方法及处理系统。

背景技术

台区是国家电网营销管理体系的末端，当前台区的管理过于强调专业分工，人为造成了台区管理工作中的专业壁垒、数据分割；台区点多面广，设备众多、问题复杂，现场管理粗放，台区决策、投资、运维、服务等方面缺乏精准、高效的数据支撑；高投诉、高跳闸、高线损等是困扰台区经理的首要难题，台区设备指标信息分散，各专业更多注重单项指标的异常分析，达不到彻底解决问题的效果。台区精益化管理，正是以营销大数据为基础，推进智能电表非计量功能应用，台区经理网格化、精益化管理。

为此，需要提供一种基于电力行业台区线损精益化管理，以解决打破台区线损管理工作中管理粗放的问题。

发明内容

为实现上述目的，发明人提供了一种基于大数据的电力行业低压台区线损分析方法，所述方法包括如下步骤：

步骤1、抽取采集系统同期线损中高负损及不可算台区构建基本线损档案数据；

步骤2、结合采集系统档案数据，分析采集异常档案；

步骤3、分析采集系统工单数据，记录异常工单因数明细；

步骤4、分析采集系统曲线数据，统计计量异常明细；

步骤5、结合功率电流曲线数据及相关电表上报事件，对窃电因数异常进行分析；

步骤6、结合电流、功率曲线，分析接线异常；

步骤7、通过各类异常明细数据，对影响台区线损因素做相应汇总统计构建，开展线损异常台区智能诊断，针对收集反馈的异常消缺结果，完善优化自动诊断规则;

所述的步骤1具体为：通过Sqoop技术抽取采集系统同期线损中高负损不可算台区，利用大数据HDFS底层存储优势，结合采集点，计量点，测量点用户等信息整合台区线损异常台区的所有基本数据，构建异常台区基本档案信息;

所述的步骤2具体为：结合异常档案信息，通过Sqoop抽取采集系统计量点信息，利用HDFS存储技术通过大数据平台统计无表计台区信息数据视为空台区异常；统计计量点有考核表无户表视为无用户电能表异常；通过Sqoop抽取光伏用户数据判断消纳方式和采集计量点主用途，排查采集计量点主用途档案错误数据，统计由于光伏档案维护异常导致台区线损异常;整合该类异常档案导致台区线损异常明细;

所述的步骤3具体为：结合异常档案利用Sqoop抽取采集系统应采项信息，通过大数据平台解析应采项对应的测量点，分析过滤应采项中没有配置的测量点档案，统计任务未配置台区信息；抽取采集调试工单信息，判断工单产生时间和完成时间不在同一天的异常台区，统计调试流程归档不及时台区明细；通过分析集中器中测量点参数的端口号和表地址与采集系统不一致，召测集中器表地址等相关参数比对跟采集系统参数数据不一致台区，统计集中器参数设置错误数据;分析记录该类由于工单或下发参数异常导致台区线损异常明细;

所述的步骤4具体为：利用Kafaka实时抽取采集系统用户用电量数据、抽取电压、电流曲线数据，通过用户用电量明细判断电能表本期示值<上期示值的电表数据，统计电能表倒走异常明细；通过判断总表发生本次采集电量（通过零点冻结电能示值计算电量）为零，有任意一相的电压最大值大于50％的额定电压，电流曲线任意一相平均值（24小时整点）不小于阀值（0.1A）的情况，属于总表停走异常；统计户表连续7天发生零电量，但时间段内A相电流>0情况，属于电能表停走异常。通过用户用电量明细，结合用户档案运行容量，判断用户日用电量>运行容量*24视为超容异常。结合考核表96点电压曲线数据。（后期要结合全量数据采集，判断户表的相应异常，以下曲线类异常同理），考核总表连续6个小时,任意一相电压曲线全为0或全为空则为断相异常;抽取考核表电压曲线表;连续3个小时的出口电压大于额定电压107%（236V）电压过高异常。连续3个小时的出口电压小于额定电压90%（198V），视为电压偏低异常。连续1个小时某相电流值大于0.01，且电压值<70%额定电压（157V），剔除断相，电压失压。结合考核表电流曲线表;考核总表连续2小时的三相电流不平衡度＞20％。三相电流不平衡度＝（最大单相电流－最小单相电流）／最大单相电流×100％，视为三相不平衡;通过Kafaka实时获取结合终端停上电数据，利用HDFS判断截止至数据日期+1晚上22：00，当日上下线次数超过10次判断为集中器频繁上下线;统计发电量超过额定容量*6小时（发电客户的运行容量）视为超容发电;实时抽取终端停上电数据，统计电表表计数>0且抄表成功率为0，且截止至数据日期+1晚上22：00，集中器掉线时长超过22小时，视为集中器超22小时不在线;结合台区抄表成功率数据，户表抄表成功率小于98%大于0 的台区抄表成功率未达98%;统计该类由于计量异常导致台区线损异常明细;

所述的步骤5具体为：利用Kafaka实时抽取考核表96点功率曲线数据。分析0点~4：00或21：00~24：00期间至少存在两个时点以上发电功率>0.5，视为夜间发电异常;利用kafka抽取单相表电流曲线数据通过算法“零线电流>0.1A，零线电流≥A相电流*1.5，零火线入库时间在15分钟内”过滤出异常电表，判断是否为零火线电流异常,归纳由于窃电因素导致台区线损异常明细;

所述的步骤6具体为：通过Kafaka实时抽取考核表电流、功率曲线数据判断电流及功率是否出现负值。不含光伏台区：一天内监测到6次，则判断为电流为负异常；包含光伏用户台区：一天内监测到48次;结合用户电量电流曲线，存在反向电量（7天累计反向电量>0.1kWh）；电流为负，电流<0；则判断为电流为负异常;归纳由于接线异常导致台区线损异常明细;

所述的步骤7具体为：通过各类异常明细数据，对影响台区线损因素做相应汇总统计;从档案因素、计量因素、营配贯通因素、窃电因素和技术因素等方面梳理线损异常原因，依据台区线损异常治理方法，结合采集系统的档案信息、营销档案信息、调试工单、抄表数据、异常事件、计量故障、采集数据异常，开展线损异常台区智能诊断，针对收集反馈的异常消缺结果，完善优化自动诊断规则;

本发明的基于大数据的电力行业低压台区线损分析处理系统包括： 基本档案数据构建模块、档案异常分析模块、采集异常工单分析模块、计量异常分析模块、窃电因素分析模块、接线异常分析模块、异常明细汇总应用模块;

所述基本档案数据构建模块，用于抽取采集系统同期线损中高负损及不可算台区构建基本线损档案数据；

所述档案异常分析模块，用于结合采集系统档案数据，分析采集异常档案；

所述采集异常工单分析模块，用于分析采集系统曲线数据，统计计量异常明细；

所述计量异常分析模块，用于建立算法分析模型并使用测试数据集和训练数据集对模型进行训练与评估获取最优模型；

所述窃电因素分析模块，用于结合用户档案、电表档案、电表综合倍率、计量异常数据、采集异常数据等，对由于窃电因数导致台区异常明细分析；

所述异常明细汇总应用模块，通过各类异常明细数据，对影响台区线损因素做相应汇总统计构建，开展线损异常台区智能诊断，针对收集反馈的异常消缺结果，完善优化自动诊断规则;

所述基本档案数据构建模块通过Sqoop技术抽取采集系统同期线损中高负损不可算台区，利用大数据HDFS底层存储优势，结合采集点，计量点，测量点用户等信息整合台区线损异常台区的所有基本数据，构建异常台区基本档案信息;

所述档案异常分析模块结合异常档案信息，通过Sqoop抽取采集系统计量点信息，利用HDFS存储技术通过大数据平台统计无表计台区信息数据视为空台区异常；统计计量点有考核表无户表视为无用户电能表异常；通过Sqoop抽取光伏用户数据判断消纳方式和采集计量点主用途，排查采集计量点主用途档案错误数据，统计由于光伏档案维护异常导致台区线损异常;整合该类异常档案导致台区线损异常明细;

所述采集异常工单分析模块结合异常档案利用Sqoop抽取采集系统应采项信息，通过大数据平台解析应采项对应的测量点，分析过滤应采项中没有配置的测量点档案，统计任务未配置台区信息；抽取采集调试工单信息，判断工单产生时间和完成时间不在同一天的异常台区，统计调试流程归档不及时台区明细；通过分析集中器中测量点参数的端口号和表地址与采集系统不一致，召测集中器表地址等相关参数比对跟采集系统参数数据不一致台区，统计集中器参数设置错误数据;分析记录该类由于工单或下发参数异常导致台区线损异常明细;

所述计量异常分析模块利用Kafaka实时抽取采集系统用户用电量数据、抽取电压、电流曲线数据，通过用户用电量明细判断电能表本期示值<上期示值的电表数据，统计电能表倒走异常明细；通过判断总表发生本次采集电量（通过零点冻结电能示值计算电量）为零，有任意一相的电压最大值大于50％的额定电压，电流曲线任意一相平均值（24小时整点）不小于阀值（0.1A）的情况，属于总表停走异常；统计户表连续7天发生零电量，但时间段内A相电流>0情况，属于电能表停走异常。通过用户用电量明细，结合用户档案运行容量，判断用户日用电量>运行容量*24视为超容异常;结合考核表96点电压曲线数据;（后期要结合全量数据采集，判断户表的相应异常，以下曲线类异常同理），考核总表连续6个小时,任意一相电压曲线全为0或全为空则为断相异常;抽取考核表电压曲线表;连续3个小时的出口电压大于额定电压107%（236V）电压过高异常;连续3个小时的出口电压小于额定电压90%（198V），视为电压偏低异常;连续1个小时某相电流值大于0.01，且电压值<70%额定电压（157V），剔除断相，电压失压;结合考核表电流曲线表,考核总表连续2小时的三相电流不平衡度＞20％;三相电流不平衡度＝（最大单相电流－最小单相电流）／最大单相电流×100％，视为三相不平衡;通过Kafaka实时获取结合终端停上电数据，利用HDFS判断截止至数据日期+1晚上22：00，当日上下线次数超过10次判断为集中器频繁上下线。统计发电量超过额定容量*6小时（发电客户的运行容量）视为超容发电;实时抽取终端停上电数据，统计电表表计数>0且抄表成功率为0，且截止至数据日期+1晚上22：00，集中器掉线时长超过22小时，视为集中器超22小时不在线;结合台区抄表成功率数据，户表抄表成功率小于98%大于0 的台区抄表成功率未达98%;统计该类由于计量异常导致台区线损异常明细;

所述窃电因素分析模块利用Kafaka实时抽取考核表96点功率曲线数据;分析0点~4：00或21：00~24：00期间至少存在两个时点以上发电功率>0.5，视为夜间发电异常;利用kafka抽取单相表电流曲线数据通过算法“零线电流>0.1A，零线电流≥A相电流*1.5，零火线入库时间在15分钟内”过滤出异常电表，判断是否为零火线电流异常。归纳由于窃电因素导致台区线损异常明细;

所述接线异常分析模块通过Kafaka实时抽取考核表电流、功率曲线数据判断电流及功率是否出现负值。不含光伏台区：一天内监测到6次，则判断为电流为负异常；包含光伏用户台区：一天内监测到48次,结合用户电量电流曲线，存在反向电量（7天累计反向电量>0.1kWh）；电流为负，电流<0；则判断为电流为负异常,归纳由于接线异常导致台区线损异常明细;

所述异常明细汇总应用模块通过各类异常明细数据，对影响台区线损因素做相应汇总统计;从档案因素、计量因素、营配贯通因素、窃电因素和技术因素等方面梳理线损异常原因，依据台区线损异常治理方法，结合采集系统的档案信息、营销档案信息、调试工单、抄表数据、异常事件、计量故障、采集数据异常，开展线损异常台区智能诊断，针对收集反馈的异常消缺结果，完善优化自动诊断规则。

与现有技术比较,本发明通过对海量用户历史电量数据样本进行挖掘，一方面，帮助台区经理及时发现所辖各个台区中的重要问题，进而采取相应措施提升台区管理的考核指标；另一方面，帮助台区经理随时掌握自己管理的台区的整体情况，合理安排工作，提高基层人员的业务水平和管理能力。同时，省、市、县、所的各级管理人员，可以通过该应用全面掌握辖区内台区和台区经理的运营与工作全貌，为统筹台区管理工作提供决策依据，促进台区管理精益化水平的不断提升。

附图说明

图1为本发明方法流程示意图。

图2为本发明系统的原理框图。

具体实施方式

下面参照附图结合实例对本发明作进一步的说明。

台区线损精益化管理应用基于Hadoop开源技术框架进行分析，数据存储、运算基于Hadoop大数据平台之上进行。应用数据主要来源于用电信息采集系统、营销业务应用系统、费控系统、采集运维闭环管理系统、PMS系统、国网业务支持系统等，覆盖计量采集、营业管理、客户服务、台区线损、配变运行、台区规划等6大类，设备异常、同期线损、用电异常等39个主题，电压合格率、采集成功率、三相不平衡度等40项指标。

数据接入主要使用Sqoop将用数据从业务系统的关系型数据库中抽取到大数据平台的HDFS或者Hive中，视数据接入频率，使用Flume配合Kafka抽取一些后台不断更新的准实时数据。数据存储层中对于结构化数据将使用分主题的数据仓库技术利用大数据平台的分布式文件系统HDFS底层存储，对于非结构化数据使用适用场景不同的多种NoSQL分布式数据库技术存储。

应用在源系统出口、大数据平台、分析应用前段三个环节设立了异常剔除，缺项补全及校验机制，开展数据字段取值范围是否合理、是否符合业务逻辑、数据编码是否符合标准等准确性核查，对核查发现的数据质量及时整改，有效提升了数据质量和分析结果的准确率。

应用基于台区异常类别指标体系，采用层次分析法、熵权法和TOPSIS构建了一键式台区智能分析，生成包含省、市、县、所、台区、以及台区经理六个层级的分析看板，包含台区异常原因相关的七大类39个主题，对台区运行情况进行多指标、多维度的直观展示，实现对台区状态从配电设备到用户设备的智能体检和分析诊断，创新出台区聚类多维定位台区异常原因和建议治理办法，为建立高效的台区经理制服务提供精准技术手段，为构建以客户服务为中心的精益化管理提供大数据立体化支撑。

低压台区线损精益化管理应用利用大数据平台对线损异常台区数据进行不同维度的异常分析，提供合理高效的智能体检模式。针对现有数据对线损异常台区进行异常诊断，梳理台区线损异常分析流程，从档案因素、计量因素、营配贯通因素、窃电因素和技术因素等方面梳理线损异常原因，依据台区线损异常治理方法，结合采集系统的档案信息、营销档案信息、调试工单、抄表数据、异常事件、计量故障、采集数据异常，开展线损异常台区智能诊断，收集反馈的异常消缺结果，完善优化自动诊断规则。根据线损异常消缺的反馈结果建立案例库，按照高损、负损、线损不可算三种线损异常类型进行自动分析，结合历史相似案例提供线损异常处理建议，对无相似案例的情况，提供人工录入异常处理措施，并定期整理更新案例库，完善诊断规则。现有诊断规则如下：

1、档案因素

Ø 空台区：台区下无考核总表和用户电能表

Ø 台区下无用户电能表：台区下未安装任何用户电能表

Ø 调试流程归档不及时：采集系统调试工单未按时归档

Ø 任务未配置：考核总表或用户电能表未加入任务队列进行数据采集

Ø 营采用户不一致：①营销系统有表计计量点采集系统无；②采集系统有计量点营销系统无

Ø 光伏档案维护异常：消纳方式为余量上网，未配置上网关口计量点；消纳方式为全额上网，未配置发电关口或上网关口计量点

Ø 无关口表计：台区下无关口总表

窃电因素

Ø 零火线电流异常：零线电流>0.1A，零线电流≥A相电流*1.5，零火线入库时间在15分钟内

2、计量因素

Ø 电表倒走：本日示值<上日示值

Ø 电表停走：考核总表:发生本次采集电量（通过零点冻结电能示值计算电量）为零，有任意一相的电压最大值大于50％的额定电压，电流曲线任意一相平均值（24小时整点）不小于阀值（0.1A）的情况，属于电能表停走异常；户表：电表连续7天发生零电量，但时间段内A相电流>0情况，属于电能表停走异常

Ø 电量超容：用电量>运行容量*24

Ø 电压断相：考核总表连续6个小时,任意一相电压曲线全为0或全为空则为断相

Ø 电能表时钟偏差：电能表时钟偏差超过5分钟

Ø 考核总表-接线异常：判断电流及功率是否出现负值。不含光伏台区：一天内监测到6次，则判断为电流为负异常；含光伏用户台区：一天内监测到48次，则判断为电流为负异常。r②用户表计-接线异常：①存在反向电量（7天累计反向电量>0.1 kWh）；②电流为负，电流<0；排除光伏用户

Ø 夜间发电：0点~4：00或21：00~24：00期间至少存在两个时点以上发电功率>0.5

Ø 超容发电：发电量超过额定容量*6小时（发电客户的运行容量）

3、采集因素

Ø 集中器超22小时不在线：表计数>0且抄表成功率为0，且截止至数据日期+1晚上22：00，集中器掉线时长超过22小时

Ø 抄表成功率未达98%：户表抄表成功率小于98%大于0 的台区

Ø 集中器频繁上下线：截止至数据日期+1晚上22：00，当日上下线次数超过10次

Ø 集中器参数设置错误：集中器中测量点参数的端口号和表地址与采集系统不一致

4、营配贯通因素

Ø 户变关系疑似异常：存在一个采集点对应多个台区

5、配变异常

Ø Ø 低功率因数：考核总表功率因数低于80%，功率因数=考核表的正向有功电量/

Ø 电压过高：考核表连续3个小时的出口电压大于额定电压107%（236V）

Ø 电压偏低：考核总表连续3个小时的出口电压小于额定电压90%（198V）

Ø 电压失压：连续1个小时某相电流值大于0.01，且电压值<70%额定电压（157V），剔除断相

Ø 电流三相不平衡：考核总表连续2小时的三相电流不平衡度＞20％。三相电流不平衡度＝（最大单相电流－最小单相电流）／最大单相电流×100％

6、其他

Ø 零电量占比超10%台区：台区下零电量的用户数占所有用户数的比值超10%

按照数据流从底向上的流动方向分为大数据应用典型的六个处理阶段，即数据源整理、数据接入、数据存储、数据处理、数据分析和数据应用，分别对应分析架构图中的数据源层、数据接入层、数据存储层、数据处理层、算法模型层和业务应用层。

数据源层主要是定位和整合台区相关的各类业务系统和数据来源，系统数据主要来源于用电信息采集系统、营销业务应用系统、费控系统、采集运维闭环管理系统、PMS系统、国网业务支持系统等。

数据接入层和数据存储层遵循标准的大数据处理技术，在项目执行过程中会根据已有大数据平台的实际情况做相应的优化调整。

数据接入层遵循标准的大数据处理技术，目前主要使用Sqoop将用数据从业务系统的关系型数据库中抽取到大数据平台的HDFS或者Hive中，视数据接入频率，可使用Flume配合Kafka抽取一些后台不断更新的准实时数据。

数据存储层中对于结构化数据将使用分主题的数据仓库技术利用大数据平台的分布式文件系统HDFS底层存储，对于非结构化数据使用适用场景不同的多种NoSQL分布式数据库技术存储。数据整理层和算法模型层是在技术实现上的核心。

数据处理层的核心是各类数据的清洗处理，数据处理的具体步骤及先后顺序需要根据数据评估的真实情况而定，但原则上都必须经历状态项设计、状态项量化、数据相关性分析、特征量选取、数据降维、数据标准化归一化处理和数据质量治理这几个基本流程。

算法模型层的是大数据分析过程中用到的核心算法模型。具体算法模型的选取与系统架构图中业务应用层的多个主题应用相匹配，核心模型主要包括：台区指标评价体系、台区健康体检模型、台区问题诊断模型、智能推荐算法模型、文本分析算法模型、以及数理统计算法模型。

业务应用层为客户关注的业务应用的实现层，包括了面向台区经理的台区健康体检、台区问题诊断、处理策略推荐和台区管理看板，以及面向省、市、县、站所等台区管理部门和人员的各级管理看板等应用场景。

结合数据接入层、数据存储层、数据处理层、算法模型层、业务应用层设计实现原则。低压台区线损精益化管理应用通过Kafaka,Sqoop等技术方式实时高效地抽取用电信息采集系统、营销业务应用系统、费控系统、采集运维闭环管理系统、PMS系统、国网业务支持系统等业务系统应用数据到HDFS大数据平台，利用大数据平台分布式系统参与业务数据的计算，快速高效安全稳定地对数据进行多维度分析统计。

请参阅图1所示，本发明所述方法包括如下步骤：

步骤1、抽取采集系统同期线损中高负损及不可算台区构建基本线损档案数据；

步骤2、结合采集系统档案数据，分析采集异常档案档案；

步骤3、结合采集系统工单数据，分析异常工单；

步骤4、结合采集系统曲线数据，统计计量异常；

步骤5、窃电异常分析；

步骤6、结合电流、功率曲线，分析接线异常；

步骤7、通过各类异常明细数据，对影响台区线损因素做相应汇总统计构建，开展线损异常台区智能诊断，针对收集反馈的异常消缺结果，完善优化自动诊断规则。

其中，所述步骤1具体为： 通过Sqoop技术抽取采集系统同期线损中高负损不可算台区，利用大数据HDFS底层存储优势，结合采集点，计量点，测量点用户等信息整合台区线损异常台区的所有基本数据，构建异常台区基本档案信息。

所述步骤2具体为：结合异常档案信息，通过Sqoop抽取采集系统计量点信息，利用HDFS存储技术通过大数据平台统计无表计台区信息数据视为空台区异常；统计计量点有考核表无户表视为无用户电能表异常；通过Sqoop抽取光伏用户数据判断消纳方式和采集计量点主用途，排查采集计量点主用途档案错误数据，统计由于光伏档案维护异常导致台区线损异常。整合该类异常档案导致台区线损异常明细。

所述步骤3具体为：结合异常档案利用Sqoop抽取采集系统应采项信息，通过大数据平台解析应采项对应的测量点，分析过滤应采项中没有配置的测量点档案，统计任务未配置台区信息；抽取采集调试工单信息，判断工单产生时间和完成时间不在同一天的异常台区，统计调试流程归档不及时台区明细；通过分析集中器中测量点参数的端口号和表地址与采集系统不一致，召测集中器表地址等相关参数比对跟采集系统参数数据不一致台区，统计集中器参数设置错误数据。分析记录该类由于工单或下发参数异常导致台区线损异常明细。

所述步骤4具体为：利用Kafaka实时抽取采集系统用户用电量数据、抽取电压、电流曲线数据，通过用户用电量明细判断电能表本期示值<上期示值的电表数据，统计电能表倒走异常明细；通过判断总表发生本次采集电量（通过零点冻结电能示值计算电量）为零，有任意一相的电压最大值大于50％的额定电压，电流曲线任意一相平均值（24小时整点）不小于阀值（0.1A）的情况，属于总表停走异常；统计户表连续7天发生零电量，但时间段内A相电流>0情况，属于电能表停走异常。通过用户用电量明细，结合用户档案运行容量，判断用户日用电量>运行容量*24视为超容异常。结合考核表96点电压曲线数据。（后期要结合全量数据采集，判断户表的相应异常，以下曲线类异常同理），考核总表连续6个小时,任意一相电压曲线全为0或全为空则为断相异常。抽取考核表电压曲线表。连续3个小时的出口电压大于额定电压107%（236V）电压过高异常。连续3个小时的出口电压小于额定电压90%（198V），视为电压偏低异常。连续1个小时某相电流值大于0.01，且电压值<70%额定电压（157V），剔除断相，电压失压。结合考核表电流曲线表。考核总表连续2小时的三相电流不平衡度＞20％。三相电流不平衡度＝（最大单相电流－最小单相电流）／最大单相电流×100％，视为三相不平衡。通过Kafaka实时获取结合终端停上电数据，利用HDFS判断截止至数据日期+1晚上22：00，当日上下线次数超过10次判断为集中器频繁上下线。统计发电量超过额定容量*6小时（发电客户的运行容量）视为超容发电。实时抽取终端停上电数据，统计电表表计数>0且抄表成功率为0，且截止至数据日期+1晚上22：00，集中器掉线时长超过22小时，视为集中器超22小时不在线。结合台区抄表成功率数据，户表抄表成功率小于98%大于0 的台区抄表成功率未达98%。统计该类由于计量异常导致台区线损异常明细。

所述步骤5具体为：利用Kafaka实时抽取考核表96点功率曲线数据。分析0点~4：00或21：00~24：00期间至少存在两个时点以上发电功率>0.5，视为夜间发电异常。利用kafka抽取单相表电流曲线数据通过算法“零线电流>0.1A，零线电流≥A相电流*1.5，零火线入库时间在15分钟内”过滤出异常电表，判断是否为零火线电流异常。归纳由于窃电因素导致台区线损异常明细。

所述步骤6具体为：通过Kafaka实时抽取考核表电流、功率曲线数据判断电流及功率是否出现负值。不含光伏台区：一天内监测到6次，则判断为电流为负异常；包含光伏用户台区：一天内监测到48次。结合用户电量电流曲线，存在反向电量（7天累计反向电量>0.1kWh）；②电流为负，电流<0；则判断为电流为负异常。归纳由于接线异常导致台区线损异常明细。

所述步骤7具体为：综上，通过各类异常明细数据，对影响台区线损因素做相应汇总统计。从档案因素、计量因素、营配贯通因素、窃电因素和技术因素等方面梳理线损异常原因，依据台区线损异常治理方法，结合采集系统的档案信息、营销档案信息、调试工单、抄表数据、异常事件、计量故障、采集数据异常，开展线损异常台区智能诊断，针对收集反馈的异常消缺结果，完善优化自动诊断规则。

参阅图2所示，本发明的基于大数据的电力行业低压台区线损分析处理系统包括：

包括： 基本档案数据构建模块、档案异常分析模块、采集异常工单分析模块、计量异常分析模块、窃电因素分析模块、接线异常分析模块、异常明细汇总应用模块。

所述基本档案数据构建模块，用于抽取采集系统同期线损中高负损及不可算台区构建基本线损档案数据；

所述档案异常分析模块，用于结合采集系统档案数据，分析采集异常档案；

所述采集异常工单分析模块，用于分析采集系统曲线数据，统计计量异常明细；

所述计量异常分析模块，用于建立算法分析模型并使用测试数据集和训练数据集对模型进行训练与评估获取最优模型；

所述窃电因素分析模块，用于结合用户档案、电表档案、电表综合倍率、计量异常数据、采集异常数据等，对由于窃电因数导致台区异常明细分析；

所述异常明细汇总应用模块，通过各类异常明细数据，对影响台区线损因素做相应汇总统计构建，开展线损异常台区智能诊断，针对收集反馈的异常消缺结果，完善优化自动诊断规则。

(1) 基本档案数据构建模块，所述基本档案数据构建模块,具体实现原理为：通过Sqoop技术抽取采集系统同期线损中高负损不可算台区，利用大数据HDFS底层存储优势，结合采集点，计量点，测量点用户等信息整合台区线损异常台区的所有基本数据，构建异常台区基本档案信息。

(2) 档案异常分析模块，结合异常档案信息，通过Sqoop抽取采集系统计量点信息，利用HDFS存储技术通过大数据平台统计无表计台区信息数据视为空台区异常；统计计量点有考核表无户表视为无用户电能表异常；通过Sqoop抽取光伏用户数据判断消纳方式和采集计量点主用途，排查采集计量点主用途档案错误数据，统计由于光伏档案维护异常导致台区线损异常。整合该类异常档案导致台区线损异常明细。

(3) 异常工单分析模块，：结合异常档案利用Sqoop抽取采集系统应采项信息，通过大数据平台解析应采项对应的测量点，分析过滤应采项中没有配置的测量点档案，统计任务未配置台区信息；抽取采集调试工单信息，判断工单产生时间和完成时间不在同一天的异常台区，统计调试流程归档不及时台区明细；通过分析集中器中测量点参数的端口号和表地址与采集系统不一致，召测集中器表地址等相关参数比对跟采集系统参数数据不一致台区，统计集中器参数设置错误数据。分析记录该类由于工单或下发参数异常导致台区线损异常明细。

(4) 计量异常分析模块，利用Kafaka实时抽取采集系统用户用电量数据、抽取电压、电流曲线数据，通过用户用电量明细判断电能表本期示值<上期示值的电表数据，统计电能表倒走异常明细；通过判断总表发生本次采集电量（通过零点冻结电能示值计算电量）为零，有任意一相的电压最大值大于50％的额定电压，电流曲线任意一相平均值（24小时整点）不小于阀值（0.1A）的情况，属于总表停走异常；统计户表连续7天发生零电量，但时间段内A相电流>0情况，属于电能表停走异常。通过用户用电量明细，结合用户档案运行容量，判断用户日用电量>运行容量*24视为超容异常。结合考核表96点电压曲线数据。（后期要结合全量数据采集，判断户表的相应异常，以下曲线类异常同理），考核总表连续6个小时,任意一相电压曲线全为0或全为空则为断相异常。抽取考核表电压曲线表。连续3个小时的出口电压大于额定电压107%（236V）电压过高异常。连续3个小时的出口电压小于额定电压90%（198V），视为电压偏低异常。连续1个小时某相电流值大于0.01，且电压值<70%额定电压（157V），剔除断相，电压失压。结合考核表电流曲线表。考核总表连续2小时的三相电流不平衡度＞20％。三相电流不平衡度＝（最大单相电流－最小单相电流）／最大单相电流×100％，视为三相不平衡。通过Kafaka实时获取结合终端停上电数据，利用HDFS判断截止至数据日期+1晚上22：00，当日上下线次数超过10次判断为集中器频繁上下线。统计发电量超过额定容量*6小时（发电客户的运行容量）视为超容发电。实时抽取终端停上电数据，统计电表表计数>0且抄表成功率为0，且截止至数据日期+1晚上22：00，集中器掉线时长超过22小时，视为集中器超22小时不在线。结合台区抄表成功率数据，户表抄表成功率小于98%大于0 的台区抄表成功率未达98%。统计该类由于计量异常导致台区线损异常明细。

(5) 窃电因素分析模块，利用Kafaka实时抽取考核表96点功率曲线数据。分析0点~4：00或21：00~24：00期间至少存在两个时点以上发电功率>0.5，视为夜间发电异常。利用kafka抽取单相表电流曲线数据通过算法“零线电流>0.1A，零线电流≥A相电流*1.5，零火线入库时间在15分钟内”过滤出异常电表，判断是否为零火线电流异常。归纳由于窃电因素导致台区线损异常明细。

(6) 接线异常分析模块，通过Kafaka实时抽取考核表电流、功率曲线数据判断电流及功率是否出现负值。不含光伏台区：一天内监测到6次，则判断为电流为负异常；包含光伏用户台区：一天内监测到48次。结合用户电量电流曲线，存在反向电量（7天累计反向电量>0.1 kWh）；②电流为负，电流<0；则判断为电流为负异常。归纳由于接线异常导致台区线损异常明细。

(6) 异常明细汇总应用模块，通过各类异常明细数据，对影响台区线损因素做相应汇总统计。从档案因素、计量因素、营配贯通因素、窃电因素和技术因素等方面梳理线损异常原因，依据台区线损异常治理方法，结合采集系统的档案信息、营销档案信息、调试工单、抄表数据、异常事件、计量故障、采集数据异常，开展线损异常台区智能诊断，针对收集反馈的异常消缺结果，完善优化自动诊断规则。

虽然以上描述了发明的具体实施步骤，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是对于本发明的范围的限定，熟悉本领域的数据人员在依照本发明的精神所作的等效的修饰以及变化，都应该包含在本发明的权利要求所保护的范围内。

Claims (2)

1.基于大数据的电力行业低压台区线损分析方法，其特征在于：所述方法包括如下步骤：

步骤1、抽取采集系统同期线损中高负损及不可算台区构建基本线损档案数据；

步骤2、结合采集系统档案数据，分析采集异常档案；

步骤3、分析采集系统工单数据，记录异常工单因数明细；

步骤4、分析采集系统曲线数据，统计计量异常明细；

步骤5、结合功率电流曲线数据及相关电表上报事件，对窃电因数异常进行分析；

步骤6、结合电流、功率曲线，分析接线异常；

步骤7、通过各类异常明细数据，对影响台区线损因素做相应汇总统计构建，开展线损异常台区智能诊断，针对收集反馈的异常消缺结果，完善优化自动诊断规则;

所述的步骤1具体为：通过Sqoop技术抽取采集系统同期线损中高负损不可算台区，利用大数据HDFS底层存储优势，结合采集点，计量点，测量点用户等信息整合台区线损异常台区的所有基本数据，构建异常台区基本档案信息;

所述的步骤2具体为：结合异常档案信息，通过Sqoop抽取采集系统计量点信息，利用HDFS存储技术通过大数据平台统计无表计台区信息数据视为空台区异常；统计计量点有考核表无户表视为无用户电能表异常；通过Sqoop抽取光伏用户数据判断消纳方式和采集计量点主用途，排查采集计量点主用途档案错误数据，统计由于光伏档案维护异常导致台区线损异常;整合该类异常档案导致台区线损异常明细;

所述的步骤3具体为：结合异常档案利用Sqoop抽取采集系统应采项信息，通过大数据平台解析应采项对应的测量点，分析过滤应采项中没有配置的测量点档案，统计任务未配置台区信息；抽取采集调试工单信息，判断工单产生时间和完成时间不在同一天的异常台区，统计调试流程归档不及时台区明细；通过分析集中器中测量点参数的端口号和表地址与采集系统不一致，召测集中器表地址等相关参数比对跟采集系统参数数据不一致台区，统计集中器参数设置错误数据;分析记录该类由于工单或下发参数异常导致台区线损异常明细;

所述的步骤4具体为：利用Kafaka实时抽取采集系统用户用电量数据、抽取电压、电流曲线数据，通过用户用电量明细判断电能表本期示值<上期示值的电表数据，统计电能表倒走异常明细；通过判断总表发生本次采集电量（通过零点冻结电能示值计算电量）为零，有任意一相的电压最大值大于50％的额定电压，电流曲线任意一相平均值（24小时整点）不小于阀值（0.1A）的情况，属于总表停走异常；统计户表连续7天发生零电量，但时间段内A相电流>0情况，属于电能表停走异常。通过用户用电量明细，结合用户档案运行容量，判断用户日用电量>运行容量*24视为超容异常。结合考核表96点电压曲线数据。（后期要结合全量数据采集，判断户表的相应异常，以下曲线类异常同理），考核总表连续6个小时,任意一相电压曲线全为0或全为空则为断相异常;抽取考核表电压曲线表;连续3个小时的出口电压大于额定电压107%（236V）电压过高异常。连续3个小时的出口电压小于额定电压90%（198V），视为电压偏低异常。连续1个小时某相电流值大于0.01，且电压值<70%额定电压（157V），剔除断相，电压失压。结合考核表电流曲线表;考核总表连续2小时的三相电流不平衡度＞20％。三相电流不平衡度＝（最大单相电流－最小单相电流）／最大单相电流×100％，视为三相不平衡;通过Kafaka实时获取结合终端停上电数据，利用HDFS判断截止至数据日期+1晚上22：00，当日上下线次数超过10次判断为集中器频繁上下线;统计发电量超过额定容量*6小时（发电客户的运行容量）视为超容发电;实时抽取终端停上电数据，统计电表表计数>0且抄表成功率为0，且截止至数据日期+1晚上22：00，集中器掉线时长超过22小时，视为集中器超22小时不在线;结合台区抄表成功率数据，户表抄表成功率小于98%大于0 的台区抄表成功率未达98%;统计该类由于计量异常导致台区线损异常明细;

所述的步骤5具体为：利用Kafaka实时抽取考核表96点功率曲线数据。分析0点~4：00或21：00~24：00期间至少存在两个时点以上发电功率>0.5，视为夜间发电异常;利用kafka抽取单相表电流曲线数据通过算法“零线电流>0.1A，零线电流≥A相电流*1.5，零火线入库时间在15分钟内”过滤出异常电表，判断是否为零火线电流异常,归纳由于窃电因素导致台区线损异常明细;

所述的步骤6具体为：通过Kafaka实时抽取考核表电流、功率曲线数据判断电流及功率是否出现负值。不含光伏台区：一天内监测到6次，则判断为电流为负异常；包含光伏用户台区：一天内监测到48次;结合用户电量电流曲线，存在反向电量（7天累计反向电量>0.1kWh）；电流为负，电流<0；则判断为电流为负异常;归纳由于接线异常导致台区线损异常明细;

所述的步骤7具体为：通过各类异常明细数据，对影响台区线损因素做相应汇总统计;从档案因素、计量因素、营配贯通因素、窃电因素和技术因素等方面梳理线损异常原因，依据台区线损异常治理方法，结合采集系统的档案信息、营销档案信息、调试工单、抄表数据、异常事件、计量故障、采集数据异常，开展线损异常台区智能诊断，针对收集反馈的异常消缺结果，完善优化自动诊断规则。

2.基于大数据的电力行业低压台区线损分析处理系统, 其特征在于, 所述的分析处理系统块包括： 基本档案数据构建模块、档案异常分析模块、采集异常工单分析模块、计量异常分析模块、窃电因素分析模块、接线异常分析模块、异常明细汇总应用模块;

所述基本档案数据构建模块，用于抽取采集系统同期线损中高负损及不可算台区构建基本线损档案数据；

所述档案异常分析模块，用于结合采集系统档案数据，分析采集异常档案；

所述采集异常工单分析模块，用于分析采集系统曲线数据，统计计量异常明细；

所述计量异常分析模块，用于建立算法分析模型并使用测试数据集和训练数据集对模型进行训练与评估获取最优模型；

所述窃电因素分析模块，用于结合用户档案、电表档案、电表综合倍率、计量异常数据、采集异常数据等，对由于窃电因数导致台区异常明细分析；

所述异常明细汇总应用模块，通过各类异常明细数据，对影响台区线损因素做相应汇总统计构建，开展线损异常台区智能诊断，针对收集反馈的异常消缺结果，完善优化自动诊断规则;

所述基本档案数据构建模块通过Sqoop技术抽取采集系统同期线损中高负损不可算台区，利用大数据HDFS底层存储优势，结合采集点，计量点，测量点用户等信息整合台区线损异常台区的所有基本数据，构建异常台区基本档案信息;

所述档案异常分析模块结合异常档案信息，通过Sqoop抽取采集系统计量点信息，利用HDFS存储技术通过大数据平台统计无表计台区信息数据视为空台区异常；统计计量点有考核表无户表视为无用户电能表异常；通过Sqoop抽取光伏用户数据判断消纳方式和采集计量点主用途，排查采集计量点主用途档案错误数据，统计由于光伏档案维护异常导致台区线损异常;整合该类异常档案导致台区线损异常明细;

所述采集异常工单分析模块结合异常档案利用Sqoop抽取采集系统应采项信息，通过大数据平台解析应采项对应的测量点，分析过滤应采项中没有配置的测量点档案，统计任务未配置台区信息；抽取采集调试工单信息，判断工单产生时间和完成时间不在同一天的异常台区，统计调试流程归档不及时台区明细；通过分析集中器中测量点参数的端口号和表地址与采集系统不一致，召测集中器表地址等相关参数比对跟采集系统参数数据不一致台区，统计集中器参数设置错误数据;分析记录该类由于工单或下发参数异常导致台区线损异常明细;

所述计量异常分析模块利用Kafaka实时抽取采集系统用户用电量数据、抽取电压、电流曲线数据，通过用户用电量明细判断电能表本期示值<上期示值的电表数据，统计电能表倒走异常明细；通过判断总表发生本次采集电量（通过零点冻结电能示值计算电量）为零，有任意一相的电压最大值大于50％的额定电压，电流曲线任意一相平均值（24小时整点）不小于阀值（0.1A）的情况，属于总表停走异常；统计户表连续7天发生零电量，但时间段内A相电流>0情况，属于电能表停走异常。通过用户用电量明细，结合用户档案运行容量，判断用户日用电量>运行容量*24视为超容异常;结合考核表96点电压曲线数据;（后期要结合全量数据采集，判断户表的相应异常，以下曲线类异常同理），考核总表连续6个小时,任意一相电压曲线全为0或全为空则为断相异常;抽取考核表电压曲线表;连续3个小时的出口电压大于额定电压107%（236V）电压过高异常;连续3个小时的出口电压小于额定电压90%（198V），视为电压偏低异常;连续1个小时某相电流值大于0.01，且电压值<70%额定电压（157V），剔除断相，电压失压;结合考核表电流曲线表,考核总表连续2小时的三相电流不平衡度＞20％;三相电流不平衡度＝（最大单相电流－最小单相电流）／最大单相电流×100％，视为三相不平衡;通过Kafaka实时获取结合终端停上电数据，利用HDFS判断截止至数据日期+1晚上22：00，当日上下线次数超过10次判断为集中器频繁上下线。统计发电量超过额定容量*6小时（发电客户的运行容量）视为超容发电;实时抽取终端停上电数据，统计电表表计数>0且抄表成功率为0，且截止至数据日期+1晚上22：00，集中器掉线时长超过22小时，视为集中器超22小时不在线;结合台区抄表成功率数据，户表抄表成功率小于98%大于0 的台区抄表成功率未达98%;统计该类由于计量异常导致台区线损异常明细;

所述窃电因素分析模块利用Kafaka实时抽取考核表96点功率曲线数据;分析0点~4：00或21：00~24：00期间至少存在两个时点以上发电功率>0.5，视为夜间发电异常;利用kafka抽取单相表电流曲线数据通过算法“零线电流>0.1A，零线电流≥A相电流*1.5，零火线入库时间在15分钟内”过滤出异常电表，判断是否为零火线电流异常。归纳由于窃电因素导致台区线损异常明细;

所述接线异常分析模块通过Kafaka实时抽取考核表电流、功率曲线数据判断电流及功率是否出现负值。不含光伏台区：一天内监测到6次，则判断为电流为负异常；包含光伏用户台区：一天内监测到48次,结合用户电量电流曲线，存在反向电量（7天累计反向电量>0.1kWh）；电流为负，电流<0；则判断为电流为负异常,归纳由于接线异常导致台区线损异常明细;

所述异常明细汇总应用模块通过各类异常明细数据，对影响台区线损因素做相应汇总统计;从档案因素、计量因素、营配贯通因素、窃电因素和技术因素等方面梳理线损异常原因，依据台区线损异常治理方法，结合采集系统的档案信息、营销档案信息、调试工单、抄表数据、异常事件、计量故障、采集数据异常，开展线损异常台区智能诊断，针对收集反馈的异常消缺结果，完善优化自动诊断规则。