CN108345985A - 一种配电网数据质量评估方法及系统 - Google Patents

Abstract

本发明公开了一种配电网数据质量评估方法及系统，方法包括：基于配电网的网络架构特性，构建配电网中数据的质量评估模型；针对配电网数据特点，设计配电网数据质量的评估流程；获取配电网中的数据，并且根据质量评估模型确定要进行评估的数据对象；根据数据质量评估的需求选择评估指标；结合电力统计指标的物理意义设计相应的评估规则，确定各评估指标的权值，并赋予对每个评估指标的期望值；由每个评估指标的合格百分比计算出数据质量评分。所述配电网数据质量评估方法及系统，能够对配电网中的海量数据进行准确有效的评估，进而能够对电网的运行提供更加准确的分析和评价。

Description

一种配电网数据质量评估方法及系统

技术领域

本发明涉及数据评估相关技术领域，特别是指一种配电网数据质量评估方法及系统。

背景技术

随着社会经济发展和电力市场化趋势，尤其是近年来随着智能电网理念的形成和实施，电力企业的管理方法逐渐围绕企业经营目标而制定，过去以安全/技术为主导的目标将转向以安全/技术/绩效/经济/环境综合优化为主导。与此同时，现代配电网的复杂性、离散性、动态性、非线性、多目标性和不确定性，对规划提出了更高要求；智能电网状态检测的应用范围已不再局限于电网装备的监测与管理、状态检修和全寿命周期管理等，而将会进一步发展为基于风险的检修，并扩大到安全运行、优化调度、经济运营和优质服务等领域，将为电网运行、综合管理等提供外延的应用支撑；未来智能电网的资产管理也将远远超出传统电网资产管理的范畴，范围将大幅扩展、全方位覆盖，管理将更科学化和智能化。而所有智能配电网技术的发展，新技术的应用都基于对现有配电网的感知，特别是对现有设备和网络健康状况的深刻了解。

在配电网资产管理中引入健康指数评估，健全必要的资产数据库，建立配电网的健康指数评价体系，不仅可为配电网规划、检修提供依据，为电网风险控制和设备管理策略提供重要信息，而且能够保证电力系统的整体可靠性，降低运维费用，提高投资回报率，为智能电网建设夯实基础。

目前，国内主要是针对资产管理的特点、手段、信息支持等方面由不同部门开展研究，尚未对配电设备及网络的健康状况，对配电网企业资产管理的统一数据库组成、决策模型、解算方法等进行系统深入的研究，主要表现为：国内配电设备数据质量参差不齐，业务系统数据关联情况运行数据和生产数据之间、生产数据和ERP数据之间、配电与营销数据之间存在着口径差异、数据多源等问题，尚未建立配电网统一的数据平台，缺乏支持健康指数状态信息获取的有效感知、数据筛选与辨识以及相关软件技术。

因此，在实现本申请的过程中，发明人发现现有技术中对于配电网的数据没有一个合理有效的评估过程，使得难以得到电网健康状态。

发明内容

有鉴于此，本发明的目的在于提出一种配电网数据质量评估方法及系统，能够对配电网中的海量数据进行准确有效的评估，进而能够对电网的运行提供更加准确的分析和评价。

基于上述目的本发明提供的一种配电网数据质量评估方法，包括：

基于配电网的网络架构特性，构建配电网中数据的质量评估模型；

针对配电网数据特点，设计配电网数据质量的评估流程；

获取配电网中的数据，并且根据质量评估模型确定要进行评估的数据对象；

根据数据质量评估的需求选择评估指标；

结合电力统计指标的物理意义设计相应的评估规则，确定各评估指标的权值，并赋予对每个评估指标的期望值；

由每个评估指标的合格百分比计算出数据质量评分。

可选的，所述确定各评估指标的权值的步骤包括：利用层次分析法对各评估指标赋予权重。

可选的，所述确定各评估指标的权值的步骤之后还包括：

综合考虑各评估指标之间的关系，组成系统的递阶层次结构；

使用比率标度方法构建判断矩阵；

通过数据归一化计算得到每个评估指标的权重；

检验判断矩阵的一致性。

可选的，所述递阶层次结构包括：目标层，用于限定问题的预定目标；准则层，用于限定影响目标实现的准则；措施层，用于限定促使目标实现的措施。

可选的，准则包括正确性、完整性、唯一性、准确性、有效性。

可选的，所述获取配电网中的数据的过程还包括：查找并且排除数据中的异常点。

本申请还提供了一种配电网数据质量评估系统，包括：

模型构建模块，用于基于配电网的网络架构特性，构建配电网中数据的质量评估模型；

流程设计模块，用于针对配电网数据特点，设计配电网数据质量的评估流程；

数据处理模块，用于获取配电网中的数据，并且根据质量评估模型确定要进行评估的数据对象；

评估指标模块，用于根据数据质量评估的需求选择评估指标；

参数设置模块，用于结合电力统计指标的物理意义设计相应的评估规则，确定各评估指标的权值，并赋予对每个评估指标的期望值；

计算评估模块，用于由每个评估指标的合格百分比计算出数据质量评分。

从上面所述可以看出，本发明提供的配电网数据质量评估方法及系统，通过构建评估模型并且设计评估流程，然后进一步通过选定数据对象以及相应的评估指标，在赋予不同权值的基础上能够实现对海量数据的准确评估，基于上述过程具有标准的处理方式并且实时针对选取的数据进行评估，因此能够提出无关数据并且适应不同类型数据的评估。因此，本申请所述配电网数据质量评估方法及系统，能够对配电网中的海量数据进行准确有效的评估，进而能够对电网的运行提供更加准确的分析和评价。

附图说明

图1为本发明提供的配电网数据质量评估方法一个实施例的流程图；

图2为本发明提供的配电网数据质量评估系统一个实施例的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

参照图1所示，为本发明提供的配电网数据质量评估方法一个实施例的流程图。所述配电网数据质量评估方法包括：

步骤101，基于配电网的网络架构特性，构建配电网中数据的质量评估模型；

步骤102，针对配电网数据特点，设计配电网数据质量的评估流程；

步骤103，获取配电网中的数据，并且根据质量评估模型确定要进行评估的数据对象；

步骤104，根据数据质量评估的需求选择评估指标；

步骤105，结合电力统计指标的物理意义设计相应的评估规则，确定各评估指标的权值，并赋予对每个评估指标的期望值；

步骤106，由每个评估指标的合格百分比计算出数据质量评分。

在本申请一些可选的实施例中，所述确定各评估指标的权值的步骤包括：利用层次分析法对各评估指标赋予权重。

在本申请一些可选的实施例中，所述确定各评估指标的权值的步骤之后还包括：

综合考虑各评估指标之间的关系，组成系统的递阶层次结构；

使用比率标度方法构建判断矩阵；

通过数据归一化计算得到每个评估指标的权重；

检验判断矩阵的一致性。

在本申请一些可选的实施例中，所述递阶层次结构包括：目标层，用于限定问题的预定目标；准则层，用于限定影响目标实现的准则；措施层，用于限定促使目标实现的措施。

在本申请一些可选的实施例中，准则包括正确性、完整性、唯一性、准确性、有效性。还包括一致性和时效性；更具体的，正确性描述数据是否符合客观事实，数据采集、传输、转储等过程中是否发生错误；完整性描述数据集中是否存在缺失记录；唯一性描述数据集中是否存在相似重复记录；一致性描述相同统计指标的数据的表达格式是否一致；准确性描述数据的精度是否符合要求；有效性描述数据的表达格式、数值大小是否有效；时效性描述历史数据于当前条件下是否仍然有效。

进一步，完整性评估：在实际生活中，常常会出现由于信息遗漏、丢失或无法获取等原因而造成数据缺失。数据缺失不仅会造成有用信息的丢失、增加数据集的不稳定性，甚至可能会影响决策分析结果。目前，缺失数据的检测有多种方法，如SPSS缺失值分析模块、Excel数值分析功能等，均具有较高的准确性。

唯一性评估：由于电网统计数据均为数值类型且变化规律通常具有一定的周期性，因此唯一性检测可从以下四个方面进行：1)数据集中是否存在相同的时间变量值；2)数据集中是否存在同名统计指标；3)不同行对应列的个案是否完全一致或相同个数是否超过预定阈值N1；4)不同列对应行的个案是否完全一致或相同个数是否超过预定阈值N2。数据集一旦满足上述任一点，则认为其有重复嫌疑。对于初步检测出的重复数据，还需利用专业知识进行分析判断，以确定其是否为“真重复”。例如，数据集中存在两个同名统计指标：供电量，根据上述原理进行检测分析后会初步判定其中一个为重复项，但实际上两者可能代表不同的口径。一致性评估：一致性评估描述的是同一个统计指标的数据的表达格式是否一致。由于电网统计数据均为数值类型，故一致性分析可缩减为针对比率类数据，如线损率(包含小数、“％”和“/”3种有效格式)。

准确性评估：准确性评估针对的是数值的精度问题，评估时需预先设置一参考精度值，然后检测个案的精度是否满足这一要求。利用visual C++，不仅可以统计出所有不满足参考精度的个案，同时还可对其进行相应的转换:若个案精度大于参考精度，则需按“四舍五入”原则进行精度缩减；若个案精度小于参考精度，则需在个案末尾添加若干个“0”，以使个案符合要求。

有效性评估：有效性包括格式有效性和数值有效性两个方面。在进行格式有效性分析之前，需预先确定统计数据所有的有效格式，然后再将个案与有效格式逐一进行对比，若个案的表达格式与某一有效格式相吻合，则认为该个案格式有效，否则认为该个案无法识别。数值有效性通常分析的是个案的大小是否介于某一值域范围内，但对于整型数据而言，如用户个数，除此之外，还必须满足整型要求。

时效性评估：所谓时效性，是指由于时间的推移和行业日新月异的发展，历史数据能否体现最新数据全部的本质特征，并能对最新数据进行描述或替代，而不被时间所淘汰。配对t检验是一种进行时效性评估的有效方法，利用配对t检验可将历史数据与最新数据进行显著性分析，借以判断两者之间是否存在显著性差别。由于同月份数据之间通常存在相同的变化规律，因此只需将历史数据与最新的同月份数据进行显著性检验即可。

在本申请一些可选的实施例中，所述获取配电网中的数据的过程还包括：查找并且排除数据中的异常点。具体方法为：

在一维统计指标异常点挖掘中，将个案按从小到大顺序排列后，若某个案与中位数的间距大于预定阈值，则认为该个案为异常点。

或者，在多维统计指标异常点挖掘中：

利用指标之间直接、明确的等式关系，如线损率＝线损电量/供电量，进行异常点挖掘，若个案与经等式所求的值不一致，则认为该个案为异常点；

进行回归分析，建立统计指标之间的回归方程，利用回归方程对统计指标数据进行预测，并根据预测值与实际值的偏离度来定位异常点。

由上述实施例可知，本申请所述配电网数据质量评估方法通过构建评估模型并且设计评估流程，然后进一步通过选定数据对象以及相应的评估指标，在赋予不同权值的基础上能够实现对海量数据的准确评估，基于上述过程具有标准的处理方式并且实时针对选取的数据进行评估，因此能够提出无关数据并且适应不同类型数据的评估。因此，本申请所述配电网数据质量评估方法能够对配电网中的海量数据进行准确有效的评估，进而能够对电网的运行提供更加准确的分析和评价。

参照图2所示，为本发明提供的配电网数据质量评估系统一个实施例的结构图。所述配电网数据质量评估系统包括：

模型构建模块，用于基于配电网的网络架构特性，构建配电网中数据的质量评估模型；

流程设计模块，用于针对配电网数据特点，设计配电网数据质量的评估流程；

数据处理模块，用于获取配电网中的数据，并且根据质量评估模型确定要进行评估的数据对象；

评估指标模块，用于根据数据质量评估的需求选择评估指标；

参数设置模块，用于结合电力统计指标的物理意义设计相应的评估规则，确定各评估指标的权值，并赋予对每个评估指标的期望值；

计算评估模块，用于由每个评估指标的合格百分比计算出数据质量评分。

该评估系统具有与评估方法同样的效果，此处不再重复描述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种配电网数据质量评估方法，其特征在于，包括：

基于配电网的网络架构特性，构建配电网中数据的质量评估模型；

针对配电网数据特点，设计配电网数据质量的评估流程；

获取配电网中的数据，并且根据质量评估模型确定要进行评估的数据对象；

根据数据质量评估的需求选择评估指标；

结合电力统计指标的物理意义设计相应的评估规则，确定各评估指标的权值，并赋予对每个评估指标的期望值；

由每个评估指标的合格百分比计算出数据质量评分。

2.根据权利要求1所述的配电网数据质量评估方法，其特征在于，所述确定各评估指标的权值的步骤包括：利用层次分析法对各评估指标赋予权重。

3.根据权利要求1所述的配电网数据质量评估方法，其特征在于，所述确定各评估指标的权值的步骤之后还包括：

综合考虑各评估指标之间的关系，组成系统的递阶层次结构；

使用比率标度方法构建判断矩阵；

通过数据归一化计算得到每个评估指标的权重；

检验判断矩阵的一致性。

4.根据权利要求4所述的配电网数据质量评估方法，其特征在于，所述递阶层次结构包括：目标层，用于限定问题的预定目标；准则层，用于限定影响目标实现的准则；措施层，用于限定促使目标实现的措施。

5.根据权利要求4所述的配电网数据质量评估方法，其特征在于，准则包括正确性、完整性、唯一性、准确性、有效性。

6.根据权利要求1所述的配电网数据质量评估方法，其特征在于，所述获取配电网中的数据的过程还包括：查找并且排除数据中的异常点。

7.一种配电网数据质量评估系统，其特征在于，包括：

模型构建模块，用于基于配电网的网络架构特性，构建配电网中数据的质量评估模型；

流程设计模块，用于针对配电网数据特点，设计配电网数据质量的评估流程；

数据处理模块，用于获取配电网中的数据，并且根据质量评估模型确定要进行评估的数据对象；

评估指标模块，用于根据数据质量评估的需求选择评估指标；

参数设置模块，用于结合电力统计指标的物理意义设计相应的评估规则，确定各评估指标的权值，并赋予对每个评估指标的期望值；

计算评估模块，用于由每个评估指标的合格百分比计算出数据质量评分。