CN109902133B - 基于电网任意分割区域的多源数据纠错处理方法及系统 - Google Patents

Abstract

本发明公开了一种基于电网任意分割区域的多源数据纠错处理方法及系统，方法包括：基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据；基于网格自动布图算法和正交自动布图算法，完成自动成图；在电网理论线损计算的基础上，对电网进行分割；根据聚类分析方法，确定影响线损率的聚类因子集；利用正负相关分析方法对电网数据进行分析，确定出异常数据；定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正；根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单。本发明利用任意分割区域的多源数据纠错方法，提升了数据质量。

Description

基于电网任意分割区域的多源数据纠错处理方法及系统

技术领域

本申请涉及数据处理技术领域，尤其涉及一种基于电网任意分割区域的多源数据纠错处理方法及系统。

背景技术

目前，传统的电力数据修复方法主要有缺失数据处理和不一致数据处理。其中，缺失数据处理包括单一填补法和多重填补法，其中单一填补法即对缺失值构造单一替代值进行填补，常用方法有平均值或中间数填补法、回归填补法、最大期望填补法等。但是单一值填补法往往不能反映出原有数据集的不确定性，可能造成较大偏差。多重填补法即采用多个数值进行填充，然后用针对完整数据集的方法对它们进行分析，从而得出综合结果，常见方法有趋势得分法等。该类计算往往复杂且算法需要根据业务需求不断完善。不一致数据处理，目前常采用的方法有排序、融合和依据规则等方式。数据的不一致可以划分为两种类型，即上下文独立的冲突和上下文依赖的冲突两种。上下文独立冲突是指一些外部的随机因素造成的不一致，这类问题的解决一般为人工干预或特定的方法。上下文依赖的冲突是指源于不同数据源的数据由于各系统或应用间固有的数据设计差异或表达因素造成的不一致，这种类型的冲突采用机器学习的方法学习转换规则来解决不一致的问题，也可对每个数值从不同的属性参数来评估，其整体评估值是各个特征评估值的线性组合，最后根据评估值确定哪个数据为唯一正确的。

由此可以看出，利用传统的数据修复方法，无论是缺失数据处理方法还是不一致数据处理方法，均无法实现对数据的准确治理，甚至还需人工干预，对于海量的电网数据来说，粗略的数据治理方法，已无法满足电网精益化管理分析的要求。另外，利用传统的数据修复方法，无法人为的选择对关心区域进行数据纠错治理，仅能够对指定区域或特定电压等级进行数据治理。

因此，如何有效的实现电网异常数据的准确定位、自动纠错、过程记录的全过程管理，是一项亟待解决的问题。

发明内容

有鉴于此，本申请提供了一种基于电网任意分割区域的多源数据纠错处理方法，基于同期线损多源融合数据，利用大数据Kettle工具对同期数据进行抽取、转换、分析，对异常数据采用基于任意分割区域的多源数据纠错处理方法，逐层、逐区域对电网异常数据进行纠错处理，实现了电网异常数据的准确定位、自动纠错、过程记录的全过程管理。

本申请提供了一种基于电网任意分割区域的多源数据纠错处理方法，包括：

基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据；

基于网格自动布图算法和正交自动布图算法，完成自动成图；

在电网理论线损计算的基础上，对电网进行分割；

根据聚类分析方法，确定影响线损率的聚类因子集；

利用正负相关分析方法对电网数据进行分析，确定出异常数据；

定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正；

根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单。

优选地，所述基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据包括：

基于大数据Kettle工具，对同期线损数据进行抽取、转换处理，得到各层级数据。

优选地，所述定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正包括：

根据分析结果，遍历出现异常数据的变电站，对电网进行自动分割；

根据异常类型对变电站进行分类；

利用已修正的数据与拓扑连接关系，通过任意分割区域潮流计算来验证已修正的节点数据；

递推校验及修正下一个异常变电站，逐步缩小采集异常变电站范围。

优选地，所述根据异常类型对变电站进行分类包括：

影响潮流计算的边界异常数据，根据节点功率平衡原则进行校验；

不影响潮流计算的中间异常数据，根据潮流计算结果修正中间异常数据。

优选地，所述出现异常数据的变电站为：一个单独的变电站，或若干个连接在一起的变电站。

一种基于电网任意分割区域的多源数据纠错处理系统，包括：

处理模块，用于基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据；

自动成图模块，用于基于网格自动布图算法和正交自动布图算法，完成自动成图；

分割模块，用于在电网理论线损计算的基础上，对电网进行分割；

第一确定模块，用于根据聚类分析方法，确定影响线损率的聚类因子集；

第二确定模块，用于利用正负相关分析方法对电网数据进行分析，确定出异常数据；

修正模块，用于定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正；

提供模块，用于根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单。

优选地，所述处理模块在执行基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据时，具体用于：

基于大数据Kettle工具，对同期线损数据进行抽取、转换处理，得到各层级数据。

优选地，所述修正模块在执行定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正时，具体用于：

根据分析结果，遍历出现异常数据的变电站，对电网进行自动分割；

根据异常类型对变电站进行分类；

利用已修正的数据与拓扑连接关系，通过任意分割区域潮流计算来验证已修正的节点数据；

递推校验及修正下一个异常变电站，逐步缩小采集异常变电站范围。

优选地，所述修正模块在执行根据异常类型对变电站进行分类时，具体用于：

影响潮流计算的边界异常数据，根据节点功率平衡原则进行校验；

不影响潮流计算的中间异常数据，根据潮流计算结果修正中间异常数据。

优选地，所述出现异常数据的变电站为：一个单独的变电站，或若干个连接在一起的变电站。

综上所述，本发明公开了一种基于电网任意分割区域的多源数据纠错处理方法，包括：基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据；基于网格自动布图算法和正交自动布图算法，完成自动成图；在电网理论线损计算的基础上，对电网进行分割；根据聚类分析方法，确定影响线损率的聚类因子集；利用正负相关分析方法对电网数据进行分析，确定出异常数据；定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正；根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单。本发明基于同期线损多源融合数据，利用大数据Kettle工具对同期数据进行抽取、转换、分析，对异常数据采用基于任意分割区域的多源数据纠错处理方法，逐层、逐区域对电网异常数据进行纠错处理，实现了电网异常数据的准确定位、自动纠错、过程记录的全过程管理。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明公开的一种基于电网任意分割区域的多源数据纠错处理方法实施例1的流程图；

图2为本发明公开的一种基于电网任意分割区域的多源数据纠错处理方法实施例2的流程图；

图3为本发明公开的一种基于电网任意分割区域的多源数据纠错处理系统实施例1的结构示意图；

图4为本发明公开的一种基于电网任意分割区域的多源数据纠错处理系统实施例2的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，为本发明公开的一种基于电网任意分割区域的多源数据纠错处理方法实施例1的流程图，所述方法可以包括以下步骤：

S101、基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据；

当需要对多源数据纠错处理时，首先采用大数据处理技术，利用Kettle工具实现大数据的处理。Kettle工具是一款开源的ETL工具，以工作流为核心，强调面向解决方案而非工具的，基于java平台的商业智能套件，可以在Window、Linux上运行，数据抽取高效稳定。适用于将多个应用系统的大批量的、异构的数据进行整合，有强大的数据转换功能。能高效适配多种类型的异构数据库、文件和应用系统。可快速构建复杂数据大集中应用，无需编码。

利用大数据Kettle工具，对同期数据进行抽取，包括变电站、变压器、开关、补偿设备、输电线路、配电线路、配变、台区、用户、运行数据、图形数据等，再设置贯通分析规则，利用kettle工具实现关联转换、分析，获得主网、配网、台区各层级数据。

S102、基于网格自动布图算法和正交自动布图算法，完成自动成图；

利用网格化自动布图算法，把网格状结构的电网首先进行网格化处理，使得线路设备的几何位置得以规范化，将设备划分出站房、T接、连接设备三大类，同时计算出自动布线通道，通过广度优先搜索算法，把网状的电网模型转化为树状结构的分支模型，同时采取数据压缩方法大大减少后续计算的元数据的容量，从而极大提高运算效率，减少数据异常。

利用正交自动布局算法，以正交计算、密度校正、拓扑分析和多重排序等方法为基础，提出了“在多重约束条件下的元素均布可视化”理论，实现单线图自动布局、标注图元不重叠和直接打印等功能。

S103、在电网理论线损计算的基础上，对电网进行分割；

在电网理论线损计算的基础上，对电网进行分割，实现线损“四分法”管理向“任意分割区域”管理的突破，在区域的分割管理中有两种模式：其一，对电网的任意区域进行人为的分割，之后进行任意分割区域的线损计算；其二，可以由计算机将被识别的健康状态的数据区域和非健康状态的数据区域进行自动分割，之后将多区域间的数据进行反复校验和纠错。在一定程度上不但进一步细化了线损管理的传统范围，同时也可以弥补线损的区块化管理中区块之间、电压等级之间、多级关联类型设备之间的边界平衡和数据校验不足的问题。

S104、根据聚类分析方法，确定影响线损率的聚类因子集；

根据聚类分析方法，确定影响线损率的聚类因子集(统计日期、负荷量、线路长度、号、负载率、售电构成、公专变占比、电网架构、三相不平衡度、低电压)，其中，统计日期包含了自然的环境因素，单条线路在一年四季中的线损率变化分布情况以及所有线路在同一季节内的线损率变化分布；同时，受此影响的还有售电量构成(工业、商业、居民用户等)在不同节日影响着售电量分布及总量，间接影响线损率；电网架构主要考虑辐射线路及环网拉手线路对线损率的影响；负荷量大小，影响负荷电流，增加线路及配变的阻抗损耗，影响线损率变化；线路长度，考虑总长和主干线长度对线损率的影响变化分布；型号，考虑主干线导线型号及配变型号对线损率的影响变化分布；负载率，考虑空载、轻载、重载对线损率的影响变化分布；公专变占比，考虑因计量点方式和公变变损占比对线路线损率的影响变化分布，主要分析三种情况(公专变占比均衡、公变占比大于专变、公变占比小于专变)。

S105、利用正负相关分析方法对电网数据进行分析，确定出异常数据；

相关性分析，利用正负相关分析电网数据进行分析，分析甄别异常数据。相关关系是变量之间的不确定的依存关系，相关性分析就是研究这种变量间不确定依存关系及其密切程度的一种常用的统计方法，通常用相关系数加以度量，相关系数是描述变量之间相关程度和方向的统计量，通常用r表示，并且满足-1≤r≤1，给定变量的数据(x_i，y_i)，i＝1,2，......，n，样本数据的相关系数计算如下：

相关性分析就是变量之间密切程度的分析，其任务是对变量之间是否存在必然的联系，联系的密切程度，变动的方向做出符合实际的判读，并测定它们联系的密切程度，检验其有效性。在多源数据融合的过程中，存在一定量的异常数据，这些数据直观上远远偏离其他数据，它们的存在使变量间的密切程度降低，利用相关性分析，准确定位、修正多源数据中的异常数据，指导数据治理工作开展。

S106、定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正；

潮流计算，是指在给定电力系统网络拓扑、元件参数和发电、负荷参量条件下，计算有功功率、无功功率及电压在电力网中的分布。潮流计算是根据给定的电网结构、参数和发电机、负荷等元件的运行条件，确定电力系统各部分稳态运行状态参数的计算。通常给定的运行条件有系统中各电源和负荷点的功率、枢纽点电压、平衡点的电压和相位角。待求的运行状态参量包括电网各母线节点的电压幅值和相角，以及各支路的功率分布、网络的功率损耗等。

S107、根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单。

最后，根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单，为电网数据源端治理提供依据。

综上所述，在上述实施例中，基于电网任意分割区域的多源数据纠错处理方法，包括：基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据；基于网格自动布图算法和正交自动布图算法，完成自动成图；在电网理论线损计算的基础上，对电网进行分割；根据聚类分析方法，确定影响线损率的聚类因子集；利用正负相关分析方法对电网数据进行分析，确定出异常数据；定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正；根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单。本发明基于同期线损多源融合数据，利用大数据Kettle工具对同期数据进行抽取、转换、分析，对异常数据采用基于任意分割区域的多源数据纠错处理方法，逐层、逐区域对电网异常数据进行纠错处理，实现了电网异常数据的准确定位、自动纠错、过程记录的全过程管理。

如图2所示，为本发明公开的一种基于电网任意分割区域的多源数据纠错处理方法实施例2的流程图，所述方法可以包括以下步骤：

S201、基于大数据Kettle工具，对同期线损数据进行抽取、转换处理，得到各层级数据；

当需要对多源数据纠错处理时，首先采用大数据处理技术，利用Kettle工具实现大数据的处理。Kettle工具是一款开源的ETL工具，以工作流为核心，强调面向解决方案而非工具的，基于java平台的商业智能套件，可以在Window、Linux上运行，数据抽取高效稳定。适用于将多个应用系统的大批量的、异构的数据进行整合，有强大的数据转换功能。能高效适配多种类型的异构数据库、文件和应用系统。可快速构建复杂数据大集中应用，无需编码。

利用大数据Kettle工具，对同期数据进行抽取，包括变电站、变压器、开关、补偿设备、输电线路、配电线路、配变、台区、用户、运行数据、图形数据等，再设置贯通分析规则，利用kettle工具实现关联转换、分析，获得主网、配网、台区各层级数据。

S202、基于网格自动布图算法和正交自动布图算法，完成自动成图；

利用网格化自动布图算法，把网格状结构的电网首先进行网格化处理，使得线路设备的几何位置得以规范化，将设备划分出站房、T接、连接设备三大类，同时计算出自动布线通道，通过广度优先搜索算法，把网状的电网模型转化为树状结构的分支模型，同时采取数据压缩方法大大减少后续计算的元数据的容量，从而极大提高运算效率，减少数据异常。

利用正交自动布局算法，以正交计算、密度校正、拓扑分析和多重排序等方法为基础，提出了“在多重约束条件下的元素均布可视化”理论，实现单线图自动布局、标注图元不重叠和直接打印等功能。

S203、在电网理论线损计算的基础上，对电网进行分割；

在电网理论线损计算的基础上，对电网进行分割，实现线损“四分法”管理向“任意分割区域”管理的突破，在区域的分割管理中有两种模式：其一，对电网的任意区域进行人为的分割，之后进行任意分割区域的线损计算；其二，可以由计算机将被识别的健康状态的数据区域和非健康状态的数据区域进行自动分割，之后将多区域间的数据进行反复校验和纠错。在一定程度上不但进一步细化了线损管理的传统范围，同时也可以弥补线损的区块化管理中区块之间、电压等级之间、多级关联类型设备之间的边界平衡和数据校验不足的问题。

S204、根据聚类分析方法，确定影响线损率的聚类因子集；

根据聚类分析方法，确定影响线损率的聚类因子集(统计日期、负荷量、线路长度、号、负载率、售电构成、公专变占比、电网架构、三相不平衡度、低电压)，其中，统计日期包含了自然的环境因素，单条线路在一年四季中的线损率变化分布情况以及所有线路在同一季节内的线损率变化分布；同时，受此影响的还有售电量构成(工业、商业、居民用户等)在不同节日影响着售电量分布及总量，间接影响线损率；电网架构主要考虑辐射线路及环网拉手线路对线损率的影响；负荷量大小，影响负荷电流，增加线路及配变的阻抗损耗，影响线损率变化；线路长度，考虑总长和主干线长度对线损率的影响变化分布；型号，考虑主干线导线型号及配变型号对线损率的影响变化分布；负载率，考虑空载、轻载、重载对线损率的影响变化分布；公专变占比，考虑因计量点方式和公变变损占比对线路线损率的影响变化分布，主要分析三种情况(公专变占比均衡、公变占比大于专变、公变占比小于专变)。

S205、利用正负相关分析方法对电网数据进行分析，确定出异常数据；

相关性分析，利用正负相关分析电网数据进行分析，分析甄别异常数据。相关关系是变量之间的不确定的依存关系，相关性分析就是研究这种变量间不确定依存关系及其密切程度的一种常用的统计方法，通常用相关系数加以度量，相关系数是描述变量之间相关程度和方向的统计量，通常用r表示，并且满足-1≤r≤1，给定变量的数据(x_i，y_i)，i＝1,2，......，n，样本数据的相关系数计算如下：

相关性分析就是变量之间密切程度的分析，其任务是对变量之间是否存在必然的联系，联系的密切程度，变动的方向做出符合实际的判读，并测定它们联系的密切程度，检验其有效性。在多源数据融合的过程中，存在一定量的异常数据，这些数据直观上远远偏离其他数据，它们的存在使变量间的密切程度降低，利用相关性分析，准确定位、修正多源数据中的异常数据，指导数据治理工作开展。

S206、根据分析结果，遍历出现异常数据的变电站，对电网进行自动分割；根据异常类型对变电站进行分类，利用已修正的数据与拓扑连接关系，通过任意分割区域潮流计算来验证已修正的节点数据，递推校验及修正下一个异常变电站，逐步缩小采集异常变电站范围；

潮流计算，是指在给定电力系统网络拓扑、元件参数和发电、负荷参量条件下，计算有功功率、无功功率及电压在电力网中的分布。潮流计算是根据给定的电网结构、参数和发电机、负荷等元件的运行条件，确定电力系统各部分稳态运行状态参数的计算。通常给定的运行条件有系统中各电源和负荷点的功率、枢纽点电压、平衡点的电压和相位角。待求的运行状态参量包括电网各母线节点的电压幅值和相角，以及各支路的功率分布、网络的功率损耗等。

具体的，根据异常分析、聚类分析、相关性分析等分析结果，遍历出现异常数据的变电站，对电网进行自动分割，可能是一个单独的变电站，也可能是若干连接在一起的变电站。根据异常类型对变电站进行分类：影响潮流计算的边界异常数据，根据节点功率平衡原则进行校验，校验时有可能会扩大分割区域来校验以及修正异常数据；不影响潮流计算的中间异常数据，根据潮流计算结果修正中间异常数据。利用已修正的数据与拓扑连接关系，通过任意分割区域潮流计算来验证已修正的节点数据。根据以上思路递推校验及修正下一个异常站，逐步缩小采集异常变电站范围。

S207、根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单。

最后，根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单，为电网数据源端治理提供依据。

综上所述，本发明通过对海量数据的多维分析，实现电网任意分割区域多源数据纠错处理，从时间尺度、数据粗细度、电压等级、电网区域等维度构建多源数据数据质量校验规则，利用任意分割区域的多源数据纠错方法，提升了数据质量。

如图3所示，为本发明公开的一种基于电网任意分割区域的多源数据纠错处理系统实施例1的结构示意图，所述系统可以包括：

处理模块301，用于基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据；

当需要对多源数据纠错处理时，首先采用大数据处理技术，利用Kettle工具实现大数据的处理。Kettle工具是一款开源的ETL工具，以工作流为核心，强调面向解决方案而非工具的，基于java平台的商业智能套件，可以在Window、Linux上运行，数据抽取高效稳定。适用于将多个应用系统的大批量的、异构的数据进行整合，有强大的数据转换功能。能高效适配多种类型的异构数据库、文件和应用系统。可快速构建复杂数据大集中应用，无需编码。

利用大数据Kettle工具，对同期数据进行抽取，包括变电站、变压器、开关、补偿设备、输电线路、配电线路、配变、台区、用户、运行数据、图形数据等，再设置贯通分析规则，利用kettle工具实现关联转换、分析，获得主网、配网、台区各层级数据。

自动成图模块302，用于基于网格自动布图算法和正交自动布图算法，完成自动成图；

利用网格化自动布图算法，把网格状结构的电网首先进行网格化处理，使得线路设备的几何位置得以规范化，将设备划分出站房、T接、连接设备三大类，同时计算出自动布线通道，通过广度优先搜索算法，把网状的电网模型转化为树状结构的分支模型，同时采取数据压缩方法大大减少后续计算的元数据的容量，从而极大提高运算效率，减少数据异常。

利用正交自动布局算法，以正交计算、密度校正、拓扑分析和多重排序等方法为基础，提出了“在多重约束条件下的元素均布可视化”理论，实现单线图自动布局、标注图元不重叠和直接打印等功能。

分割模块303，用于在电网理论线损计算的基础上，对电网进行分割；

在电网理论线损计算的基础上，对电网进行分割，实现线损“四分法”管理向“任意分割区域”管理的突破，在区域的分割管理中有两种模式：其一，对电网的任意区域进行人为的分割，之后进行任意分割区域的线损计算；其二，可以由计算机将被识别的健康状态的数据区域和非健康状态的数据区域进行自动分割，之后将多区域间的数据进行反复校验和纠错。在一定程度上不但进一步细化了线损管理的传统范围，同时也可以弥补线损的区块化管理中区块之间、电压等级之间、多级关联类型设备之间的边界平衡和数据校验不足的问题。

第一确定模块304，用于根据聚类分析方法，确定影响线损率的聚类因子集；

根据聚类分析方法，确定影响线损率的聚类因子集(统计日期、负荷量、线路长度、号、负载率、售电构成、公专变占比、电网架构、三相不平衡度、低电压)，其中，统计日期包含了自然的环境因素，单条线路在一年四季中的线损率变化分布情况以及所有线路在同一季节内的线损率变化分布；同时，受此影响的还有售电量构成(工业、商业、居民用户等)在不同节日影响着售电量分布及总量，间接影响线损率；电网架构主要考虑辐射线路及环网拉手线路对线损率的影响；负荷量大小，影响负荷电流，增加线路及配变的阻抗损耗，影响线损率变化；线路长度，考虑总长和主干线长度对线损率的影响变化分布；型号，考虑主干线导线型号及配变型号对线损率的影响变化分布；负载率，考虑空载、轻载、重载对线损率的影响变化分布；公专变占比，考虑因计量点方式和公变变损占比对线路线损率的影响变化分布，主要分析三种情况(公专变占比均衡、公变占比大于专变、公变占比小于专变)。

第二确定模块305，用于利用正负相关分析方法对电网数据进行分析，确定出异常数据；

相关性分析，利用正负相关分析电网数据进行分析，分析甄别异常数据。相关关系是变量之间的不确定的依存关系，相关性分析就是研究这种变量间不确定依存关系及其密切程度的一种常用的统计方法，通常用相关系数加以度量，相关系数是描述变量之间相关程度和方向的统计量，通常用r表示，并且满足-1≤r≤1，给定变量的数据(x_i，y_i)，i＝1,2，......，n，样本数据的相关系数计算如下：

相关性分析就是变量之间密切程度的分析，其任务是对变量之间是否存在必然的联系，联系的密切程度，变动的方向做出符合实际的判读，并测定它们联系的密切程度，检验其有效性。在多源数据融合的过程中，存在一定量的异常数据，这些数据直观上远远偏离其他数据，它们的存在使变量间的密切程度降低，利用相关性分析，准确定位、修正多源数据中的异常数据，指导数据治理工作开展。

修正模块306，用于定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正；

潮流计算，是指在给定电力系统网络拓扑、元件参数和发电、负荷参量条件下，计算有功功率、无功功率及电压在电力网中的分布。潮流计算是根据给定的电网结构、参数和发电机、负荷等元件的运行条件，确定电力系统各部分稳态运行状态参数的计算。通常给定的运行条件有系统中各电源和负荷点的功率、枢纽点电压、平衡点的电压和相位角。待求的运行状态参量包括电网各母线节点的电压幅值和相角，以及各支路的功率分布、网络的功率损耗等。

提供模块307，用于根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单。

最后，根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单，为电网数据源端治理提供依据。

综上所述，在上述实施例中，基于电网任意分割区域的多源数据纠错处理方法，包括：基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据；基于网格自动布图算法和正交自动布图算法，完成自动成图；在电网理论线损计算的基础上，对电网进行分割；根据聚类分析方法，确定影响线损率的聚类因子集；利用正负相关分析方法对电网数据进行分析，确定出异常数据；定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正；根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单。本发明基于同期线损多源融合数据，利用大数据Kettle工具对同期数据进行抽取、转换、分析，对异常数据采用基于任意分割区域的多源数据纠错处理方法，逐层、逐区域对电网异常数据进行纠错处理，实现了电网异常数据的准确定位、自动纠错、过程记录的全过程管理。

如图4所示，为本发明公开的一种基于电网任意分割区域的多源数据纠错处理系统实施例2的结构示意图，所述系统可以包括：

处理模块401，用于基于大数据Kettle工具，对同期线损数据进行抽取、转换处理，得到各层级数据；

当需要对多源数据纠错处理时，首先采用大数据处理技术，利用Kettle工具实现大数据的处理。Kettle工具是一款开源的ETL工具，以工作流为核心，强调面向解决方案而非工具的，基于java平台的商业智能套件，可以在Window、Linux上运行，数据抽取高效稳定。适用于将多个应用系统的大批量的、异构的数据进行整合，有强大的数据转换功能。能高效适配多种类型的异构数据库、文件和应用系统。可快速构建复杂数据大集中应用，无需编码。

利用大数据Kettle工具，对同期数据进行抽取，包括变电站、变压器、开关、补偿设备、输电线路、配电线路、配变、台区、用户、运行数据、图形数据等，再设置贯通分析规则，利用kettle工具实现关联转换、分析，获得主网、配网、台区各层级数据。

自动成图模块402，用于基于网格自动布图算法和正交自动布图算法，完成自动成图；

利用网格化自动布图算法，把网格状结构的电网首先进行网格化处理，使得线路设备的几何位置得以规范化，将设备划分出站房、T接、连接设备三大类，同时计算出自动布线通道，通过广度优先搜索算法，把网状的电网模型转化为树状结构的分支模型，同时采取数据压缩方法大大减少后续计算的元数据的容量，从而极大提高运算效率，减少数据异常。

利用正交自动布局算法，以正交计算、密度校正、拓扑分析和多重排序等方法为基础，提出了“在多重约束条件下的元素均布可视化”理论，实现单线图自动布局、标注图元不重叠和直接打印等功能。

分割模块403，用于在电网理论线损计算的基础上，对电网进行分割；

在电网理论线损计算的基础上，对电网进行分割，实现线损“四分法”管理向“任意分割区域”管理的突破，在区域的分割管理中有两种模式：其一，对电网的任意区域进行人为的分割，之后进行任意分割区域的线损计算；其二，可以由计算机将被识别的健康状态的数据区域和非健康状态的数据区域进行自动分割，之后将多区域间的数据进行反复校验和纠错。在一定程度上不但进一步细化了线损管理的传统范围，同时也可以弥补线损的区块化管理中区块之间、电压等级之间、多级关联类型设备之间的边界平衡和数据校验不足的问题。

第一确定模块404，用于根据聚类分析方法，确定影响线损率的聚类因子集；

根据聚类分析方法，确定影响线损率的聚类因子集(统计日期、负荷量、线路长度、号、负载率、售电构成、公专变占比、电网架构、三相不平衡度、低电压)，其中，统计日期包含了自然的环境因素，单条线路在一年四季中的线损率变化分布情况以及所有线路在同一季节内的线损率变化分布；同时，受此影响的还有售电量构成(工业、商业、居民用户等)在不同节日影响着售电量分布及总量，间接影响线损率；电网架构主要考虑辐射线路及环网拉手线路对线损率的影响；负荷量大小，影响负荷电流，增加线路及配变的阻抗损耗，影响线损率变化；线路长度，考虑总长和主干线长度对线损率的影响变化分布；型号，考虑主干线导线型号及配变型号对线损率的影响变化分布；负载率，考虑空载、轻载、重载对线损率的影响变化分布；公专变占比，考虑因计量点方式和公变变损占比对线路线损率的影响变化分布，主要分析三种情况(公专变占比均衡、公变占比大于专变、公变占比小于专变)。

第二确定模块405，用于利用正负相关分析方法对电网数据进行分析，确定出异常数据；

相关性分析，利用正负相关分析电网数据进行分析，分析甄别异常数据。相关关系是变量之间的不确定的依存关系，相关性分析就是研究这种变量间不确定依存关系及其密切程度的一种常用的统计方法，通常用相关系数加以度量，相关系数是描述变量之间相关程度和方向的统计量，通常用r表示，并且满足-1≤r≤1，给定变量的数据(x_i，y_i)，i＝1,2，......，n，样本数据的相关系数计算如下：

相关性分析就是变量之间密切程度的分析，其任务是对变量之间是否存在必然的联系，联系的密切程度，变动的方向做出符合实际的判读，并测定它们联系的密切程度，检验其有效性。在多源数据融合的过程中，存在一定量的异常数据，这些数据直观上远远偏离其他数据，它们的存在使变量间的密切程度降低，利用相关性分析，准确定位、修正多源数据中的异常数据，指导数据治理工作开展。

修正模块406，用于根据分析结果，遍历出现异常数据的变电站，对电网进行自动分割；根据异常类型对变电站进行分类，利用已修正的数据与拓扑连接关系，通过任意分割区域潮流计算来验证已修正的节点数据，递推校验及修正下一个异常变电站，逐步缩小采集异常变电站范围；

潮流计算，是指在给定电力系统网络拓扑、元件参数和发电、负荷参量条件下，计算有功功率、无功功率及电压在电力网中的分布。潮流计算是根据给定的电网结构、参数和发电机、负荷等元件的运行条件，确定电力系统各部分稳态运行状态参数的计算。通常给定的运行条件有系统中各电源和负荷点的功率、枢纽点电压、平衡点的电压和相位角。待求的运行状态参量包括电网各母线节点的电压幅值和相角，以及各支路的功率分布、网络的功率损耗等。

具体的，根据异常分析、聚类分析、相关性分析等分析结果，遍历出现异常数据的变电站，对电网进行自动分割，可能是一个单独的变电站，也可能是若干连接在一起的变电站。根据异常类型对变电站进行分类：影响潮流计算的边界异常数据，根据节点功率平衡原则进行校验，校验时有可能会扩大分割区域来校验以及修正异常数据；不影响潮流计算的中间异常数据，根据潮流计算结果修正中间异常数据。利用已修正的数据与拓扑连接关系，通过任意分割区域潮流计算来验证已修正的节点数据。根据以上思路递推校验及修正下一个异常站，逐步缩小采集异常变电站范围。

提供模块407，用于根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单。

最后，根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单，为电网数据源端治理提供依据。

综上所述，本发明通过对海量数据的多维分析，实现电网任意分割区域多源数据纠错处理，从时间尺度、数据粗细度、电压等级、电网区域等维度构建多源数据数据质量校验规则，利用任意分割区域的多源数据纠错方法，提升了数据质量。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于电网任意分割区域的多源数据纠错处理方法，其特征在于，包括：

基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据；

基于网格自动布图算法和正交自动布图算法，完成自动成图；

在电网理论线损计算的基础上，对电网进行分割；

根据聚类分析方法，确定分割区域的影响线损率的聚类因子集；

利用正负相关分析方法对电网数据进行分析，确定出异常数据；

定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正；

根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单。

2.根据权利要求1所述的方法，其特征在于，所述基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据包括：

基于大数据Kettle工具，对同期线损数据进行抽取、转换处理，得到各层级数据。

3.根据权利要求1所述的方法，其特征在于，所述定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正包括：

根据分析结果，遍历出现异常数据的变电站，对电网进行自动分割；

根据异常类型对变电站进行分类；

利用已修正的数据与拓扑连接关系，通过任意分割区域潮流计算来验证已修正的节点数据；

递推校验及修正下一个异常变电站，逐步缩小采集异常变电站范围。

4.根据权利要求3所述的方法，其特征在于，所述根据异常类型对变电站进行分类包括：

影响潮流计算的边界异常数据，根据节点功率平衡原则进行校验；

不影响潮流计算的中间异常数据，根据潮流计算结果修正中间异常数据。

5.根据权利要求4所述的方法，其特征在于，所述出现异常数据的变电站为：一个单独的变电站，或若干个连接在一起的变电站。

6.一种基于电网任意分割区域的多源数据纠错处理系统，其特征在于，包括：

处理模块，用于基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据；

自动成图模块，用于基于网格自动布图算法和正交自动布图算法，完成自动成图；

分割模块，用于在电网理论线损计算的基础上，对电网进行分割；

第一确定模块，用于根据聚类分析方法，确定分割区域的影响线损率的聚类因子集；

第二确定模块，用于利用正负相关分析方法对电网数据进行分析，确定出异常数据；

修正模块，用于定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正；

提供模块，用于根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单。

7.根据权利要求6所述的系统，其特征在于，所述处理模块在执行基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据时，具体用于：

基于大数据Kettle工具，对同期线损数据进行抽取、转换处理，得到各层级数据。

8.根据权利要求6所述的系统，其特征在于，所述修正模块在执行定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正时，具体用于：

根据分析结果，遍历出现异常数据的变电站，对电网进行自动分割；

根据异常类型对变电站进行分类；

利用已修正的数据与拓扑连接关系，通过任意分割区域潮流计算来验证已修正的节点数据；

递推校验及修正下一个异常变电站，逐步缩小采集异常变电站范围。

9.根据权利要求8所述的系统，其特征在于，所述修正模块在执行根据异常类型对变电站进行分类时，具体用于：

影响潮流计算的边界异常数据，根据节点功率平衡原则进行校验；

不影响潮流计算的中间异常数据，根据潮流计算结果修正中间异常数据。

10.根据权利要求9所述的系统，其特征在于，所述出现异常数据的变电站为：一个单独的变电站，或若干个连接在一起的变电站。

Images