CN103247008B - 一种电力统计指标数据的质量评估方法 - Google Patents
一种电力统计指标数据的质量评估方法 Download PDFInfo
- Publication number
- CN103247008B CN103247008B CN201310163339.9A CN201310163339A CN103247008B CN 103247008 B CN103247008 B CN 103247008B CN 201310163339 A CN201310163339 A CN 201310163339A CN 103247008 B CN103247008 B CN 103247008B
- Authority
- CN
- China
- Prior art keywords
- data
- index data
- statistical index
- electricity statistical
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005611 electricity Effects 0.000 title claims abstract description 202
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000013441 quality evaluation Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 16
- 239000000654 additive Substances 0.000 claims description 11
- 230000000996 additive effect Effects 0.000 claims description 11
- 230000032683 aging Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 8
- 230000008034 disappearance Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000011160 research Methods 0.000 claims description 5
- 230000002950 deficient Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 11
- 238000011156 evaluation Methods 0.000 abstract description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000012372 quality testing Methods 0.000 description 3
- 238000009472 formulation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种电力统计指标数据的质量评估方法,包括以下步骤:根据实际评估目的的需要,获取待评估的电力统计指标数据;选择相应的数据质量评估指标;制定与各质量评估指标对应的数据质量评估规则;计算质量评估指标Ii的权重Wi并设定期望值Ei;对统计指标数据进行各质量评估指标的检测分析,并计算出满足质量评估指标Ii的数据百分比Si;根据权重Wi、合格百分比Si和设定的期望值Ei,分别计算出统计指标数据的综合评估值SA、总体期望值SE和相对差值SR,并根据设定的评价等级对统计指标数据总体质量进行评估;对评估出的不合格的统计指标数据进行处理。本发明可以应用在电力行业的电力统计指标数据的质量评估中。
Description
技术领域
本发明涉及一种数据质量评估方法,特别是关于一种适用于电力行业的电力统计指标数据的质量评估方法。
背景技术
近年来,随着电力事业的快速发展,电力公司的各个部门都积累了越来越多、越来越复杂的数据,同时对电力统计信息的需求也越来越大,要求越来越高。统计信息在公司决策、经营管理和社会责任承担中发挥的作用也越来越重要。然而,由于电力公司数据采集系统人为和非人为的扰动,会造成各个数据源的数据质量参差不齐,加之数据库本身的某些问题,导致在数据集成时发生数据缺失和错误,从而造成数据整体质量不高,对公司决策规划及发展产生影响,因此对统计数据进行质量评估必将成为公司发展进程中一个必要的环节。
现有技术中已经有较为完善的电力统计指标数据体系,但是很少有针对统计指标数据体系中的数据进行合理性、规范性和真实性检测分析的质量评估方法,数据质量评估往往只是零散地针对数据质量统计指标中比较重要的指标,如一致性、唯一性、完整性等来进行,尚未形成系统化的数据质量评估方法。
发明内容
针对上述问题,本发明的目的是提供一种电力统计指标数据的质量评估方法,能够合理、规范、真实地对电力统计指标数据质量进行评估。
为实现上述目的,本发明采取以下技术方案:一种电力统计指标数据的质量评估方法,其包括以下步骤:1)根据实际评估目的的需要,对电力统计指标数据进行整理,获取待评估的电力统计指标数据;2)根据所述待评估的电力统计指标数据,选择相应的数据质量评估指标Ii(i=1….n,n为数据质量评估指标的个数);3)根据待评估的电力统计指标数据和所选取的数据质量评估指标Ii,制定各数据质量评估指标相对应的数据质量评估规则Rr(Ii);4)计算各数据质量评估指标Ii的权重Wi并相应设定期望值Ei;5)根据步骤3)中制定的数据质量评估规则Rr(Ii),对待评估的电力统计指标数据进行检测分析,并计算得出满足各数据质量评估指标Ii的数据百分比Si,Si介于0到100之间;6)根据步骤4)计算得到的权重Wi、合格百分比Si和设定的期望值Ei,分别计算出所述待评估的电力统计指标数据的综合评估值SA、总体期望值SE和相对差值SR,并根据设定的评价等级对所述待评估的电力统计指标数据总体质量进行评估;7)对评估出的不合格电力统计指标数据进行处理;8)将相对差值SR与总体期望值SE进行比较,得到待评估的电力统计指标数据D总体相对于总体期望值SE的质量状况,具体过程为:若SR符号为正,其数值比总体期望值SE越大,则说明所述待评估的电力统计指标数据总体的数据质量比预期的越好;若SR符号为负,其数值比总体期望值SE越大,则说明所述待评估的电力统计指标数据总体的数据质量比预期的越差。
所述步骤2)中的数据质量评估指标为正确性、完整性、唯一性、一致性、准确性、有效性和时效性中的某一个或某几个。
所述步骤3)中每个数据质量评估规则Rr(Ii)根据待评估的电力统计指标数据的特征和属性以及所选用的数据质量评估指标Ii的定义进行制定。
所述步骤4)中计算各质量评估指标Ii的权重Wi采用层次分析法,其步骤为:①根据数据质量评估指标Ii的重要性标度关系含义表,通过列表方式确定各数据质量评估指标Ii之间的标度关系,进而得到判断矩阵;②对步骤①得到的判断矩阵中的所有重要性程度值分别进行列归一化处理,得到列归一化矩阵;③对列归一化矩阵的每一行进行求和运算,得到行相加值;④对得到所有的行相加值进行求和运算,得到行相加总和值;⑤计算各数据质量评估指标Ii的权重,即权重=行相加值/行相加总和值。
所述步骤6)中评价等级为:若SA∈(95,100]则评定待评估的电力统计指标数据总体的数据质量水平为“优”,若SA∈(90,95]则评定待评估的电力统计指标数据总体的数据质量水平为“良”,若SA∈(85,90]则评定待评估的电力统计指标数据总体的数据质量水平为“中”,若SA∈(0,85]则评定待评估的电力统计指标数据总体的数据质量水平为“差”。
所述步骤7)中对评估出的不合格的电力统计指标数据进行处理,其具体处理过程包括:对异常的电力统计指标数据进行修正;对缺失的电力统计指标数据进行填补;对重复的电力统计指标数据进行删除;对表达格式不统一、数值无效的电力统计指标数据进行修正;对数值精度不合格的电力统计指标数据进行修改;对对现有研究可用性不强的电力统计指标数据进行删除。
本发明由于采取以上技术方案,其具有以下优点:1、本发明根据获取的待评估的电力统计指标数据,选择相应的数据质量评估指标,可以包括正确性、完整性、唯一性、一致性、准确性、有效性和时效性,并根据待评估的电力统计指标数据和所选取的数据质量评估指标,制定相应的数据质量评估规则,通过制定的数据质量评估规则对电力统计指标数据进行检测分析,计算出电力统计指标数据的综合评估值SA,并根据设定的评价等级对电力统计指标数据的质量进行评估,因此本发明可以对电力行业的统计指标数据进行合理、规范和真实地评估。2、本发明将相对差值SR与总体期望值SE进行比较,得到待评估的电力统计指标数据D总体相对于总体期望值SE的质量状况,具体过程为:若SR符号为正,其数值比总体期望值SE越大,则说明所述待评估的电力统计指标数据总体的数据质量比预期的越好;若SR符号为负,其数值比总体期望值SE越大,则说明所述待评估的电力统计指标数据总体的数据质量比预期的越差,因此本发明可以提供对待评估电力统计指标数据的整体质量状况进行预测分析,进一步深度挖掘电力统计指标数据的内在规律,有效提高公司对电力统计指标数据的应用深度和监督作用,帮助公司做出科学合理的决策。3、本发明由于可以从评价等级和总体质量状况两个方面对待评估的电力统计数据进行评定,因此可以帮助电力行业相关公司了解统计指标数据总体的质量水平,及时发现数据质量问题,并采取相应的措施来修复数据质量问题,提高数据质量。本发明可以应用在电力行业的电力统计指标数据的质量评估中。
附图说明
图1是本发明质量评估方法的流程示意图
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
如图1所示,本发明的电力统计指标数据的质量评估方法,包括以下步骤:
1)根据实际评估目的的需要,对电力统计指标数据进行整理,获取待评估的电力统计指标数据D;
电力统计指标数据多而复杂,涉及多个业务范围,如:电网运行、设备生产、人力资源和资产动态等方面。由于每次评估的目的不一定相同,因此所选取的电力统计指标数据也不一定相同。电力统计指标数据可以是同一张电力统计报表中的数据,也可以是不同报表中的多个统计指标数据。因此,在评估前需要根据实际评估目的对多而复杂的电力统计指标数据进行整理,获取待评估的电力统计指标数据D。
本发明以某年部分电力统计指标数据为实施例具体说明,如表1所示,待评估的电力统计指标数据D包括线损率、供电量、线损电量、平均用电负荷率、本网最高发电负荷和全社会用户个数六个电力统计指标数据。
表1某年部分电力统计指标数据表
2)根据待评估的电力统计指标数据D,选择相应的数据质量评估指标Ii;
由于电力统计指标数据的质量在不同的背景下有不同的定义,不同的用户对电力统计指标数据的关注点不同,因此所选取的数据质量评估指标也不同。目前,电力统计指标数据正呈现爆炸性增长的态势,且存在着数据异常、数据缺失、属性冗余和格式不规范等问题,因此,结合待评估的电力统计指标数据的实际意义,可以从现有的数据质量评估指标中选取某一个或某几个数据质量评估指标Ii(i=1,2...n,其中n为数据质量评估指标的个数)对待评估的电力统计指标数据进行评估,在此不作限制。本发明的实施例选取正确性、完整性、唯一性、一致性、准确性和有效性六个数据质量评估指标对待评估的电力统计指标数据D的质量进行评估。正确性用于对待评估的电力统计指标数据D的事实符合性和输入正确性进行评估;完整性用于对待评估的电力统计指标数据D是否存在缺失记录或缺失字段进行评估;唯一性用于对待评估的电力统计指标数据D是否存在重复的记录进行评估;一致性用于对待评估的电力统计指标数据D的表达格式是否一致进行评估;准确性用于对待评估的电力统计指标数据D的精度是否准确进行评估;有效性用于对待评估的电力统计指标数据D的格式与数值是否有效进行评估。
3)根据待评估的电力统计指标数据D和所选取的数据质量评估指标Ii,制定数据质量评估规则Rr(Ii);
根据待评估的电力统计指标数据D的特征和属性以及所选取的数据质量评估指标Ii的定义制定与数据质量评估指标Ii相对应的数据质量评估规则Rr(Ii)(i=1,2...n,其中n为数据质量评估指标的个数)。一般,正确性的数据质量评估规则指电力统计指标数据无异常值;完整性的数据质量评估规则指电力统计指标数据无空值;唯一性的数据质量评估规则指电力统计指标数据唯一、无重复;一致性的数据质量评估规则指电力统计指标数据的表达形式一致;准确性的数据质量评估规则指电力统计指标数据的精度统一;有效性的数据质量评估规则指电力统计指标数据的属性和格式有效。
本发明针对上述实施例制定的数据质量评估规则如表2所示:
表2数据质量评估规则表
4)计算数据质量评估指标Ii的权重Wi并根据实际评估目的的需要设定期望值Ei;
本发明采用层次分析法计算数据质量评估指标的权重Wi,其包括以下步骤:
①根据数据质量评估指标Ii的重要性标度关系含义表,通过列表方式确定各数据质量评估指标Ii之间的标度关系,进而得到判断矩阵;
标度关系的确定就是将各数据质量评估指标Ii进行两两比较,确定重要性程度,并对重要性程度按1~9赋值。
假设进行两两比较的两个数据质量评估指标为Ik和Ih,其中Ik和Ih分别为Ii(i=1,2…n,其中n为数据质量评估指标的个数)中的某一个,数据质量评估指标的重要性标度关系含义表如表3所示,假设标度关系确定后的判断矩阵为A=(akh)n×n,akh表示数据质量评估指标Ik与数据质量评估指标Ih的重要性相比较的结果,判断矩阵A具有如下性质:akh>0,akh=1/ahk,akk=1。
表3数据质量评估指标的重要性标度关系含义表
含义 | 重要性程度 |
Ik与Ih具有同等重要性 | 1 |
Ik比Ih稍微重要 | 3 |
Ik比Ih明显重要 | 5 |
Ik比Ih强烈重要 | 7 |
Ik比Ih极端重要 | 9 |
Ik比Ih的重要性程度分别介于上述判断的中间程度 | 2,4,6,8 |
Ih比Ik的重要性程度分别与上述对应 | 1,1/2,1/3…1/9 |
②对步骤①得到的判断矩阵中的所有重要性程度值分别进行列归一化处理,得到列归一化矩阵;
③对列归一化矩阵的每一行进行求和运算,得到行相加值;
④对得到的所有行相加值进行求和运算,得到行相加总和值;
⑤计算各数据质量评估指标的权重,即权重=行相加值/行相加总和值。
本发明的实施例中,假设数据质量评估指标中正确性I1比完整性I2稍微重要,那么a12=3,本发明的实施例形成的判断矩阵如表4所示:
表4判断矩阵
评估指标 | 正确性 | 完整性 | 唯一性 | 一致性 | 准确性 | 有效性 |
正确性 | 1 | 3 | 6 | 4 | 4 | 3 |
完整性 | 1/3 | 1 | 4 | 2 | 2 | 1 |
唯一性 | 1/6 | 1/4 | 1 | 1/3 | 1/3 | 1/4 |
一致性 | 1/4 | 1/2 | 3 | 1 | 1 | 1/2 |
准确性 | 1/4 | 1/2 | 3 | 1 | 1 | 1/2 |
有效性 | 1/3 | 1 | 4 | 2 | 2 | 1 |
数据质量评估指标Ii的列归一化、行相加值和权重如表5所示。同时,根据实际评估目的的需要,人为设定每个数据质量评估指标所期望的结果Ei(Ei为介于0到100%之间的实数)。
表5数据质量评估指标的列归一化、行相加值、权重表和期望值
5)对待评估的电力统计指标数据D进行各数据质量评估指标的检测分析,并计算得出满足数据质量评估指标Ii的数据百分比Si(Si介于0到100%之间,i=1,2…n,其中n为数据质量评估指标的个数);
对待评估的电力统计指标数据D进行各数据质量评估指标Ii的检测分析时,若待评估的电力统计指标数据D满足各数据质量评估指标Ii所对应的数据质量评估规则Rr(Ii),则说明该电力统计指标数D全部合格;若有电力统计指标数据D不满足某个数据质量评估指标Ii下的任意一条数据质量评估规则Rr(Ii),则说明这个待评估的电力统计指标数据D不满足这个数据质量评估指标Ii,不满足该数据质量评估指标Ii的电力统计指标数据的个数即为不合格数。
对待评估的电力统计指标数据D进行各数据质量评估指标Ii的检测分析的具体过程为:
(1)对待评估的电力统计指标数据D进行正确性检测;
因为电力统计指标数据可能包括单一统计指标数据、有直接逻辑关系的多个统计指标数据和无直接逻辑关系的多个统计指标数中的某一种或者某几种,因此本发明分别对这三种数据情况进行分析,其中:
①对单一电力统计指标数据进行正确性检测时直接采用箱线图识别出不合格的数据。
②对有直接逻辑关系的电力统计指标数据进行正确性检测时根据电力统计指标数据之间存在的逻辑关系衡量这些电力统计指标数据是否合格,识别出不合格数据。
③无直接逻辑关系的多个电力统计指标数据之间虽然没有直接的逻辑关系,但是它们大部分之间会具有一定的相关性,因此,可以通过回归分析,得出它们之间的近似函数关系,通过分析预测值与实际值之间的差距,识别出不合格数据。
(2)对待评估的电力统计指标数据D进行完整性检测时可以通过对空缺值的检测实现,如果待评估的电力统计指标数据存在空缺值,则认为其不满足完整性指标,空缺值的个数即为不满足完整性指标的个数。
(3)对待评估的电力统计指标数据D进行唯一性检测时,可以从以下三方面进行分析:
①判断电力统计报表中是否存在两个相同的时间变量。
②判断电力统计报表中是否存在两个相同的统计标名。
③判断电力统计报表中不同行或列对应的数据是否完全相同或相同个数是否超过某一阀值N(N根据待评估的电力统计指标数据的个数确定)。
若待评估的电力统计指标数据D满足上述三项中的任意一项,则认为其存在重复数据或有重复嫌疑。对于初步检测出的重复数据,进行分析判断,最终确定其是否为“真”重复,重复的数据个数即为不满足唯一性指标的数据个数。
(4)电力统计指标数据都是数值型数据,采用阿拉伯数字的形式描述,对待评估的电力统计指标数据D进行一致性检测时若对其全部数据都进行检测,则会增加不必要的工作量,因此对待评估的电力统计指标数据D进行一致性的检测时缩减为对比率类数据进行检测。对于比率类数据,有小数、“%”和“/”三种表达格式,例如,电力统计指标数据线损率可以用0.9、90%或9/10这三种格式中的任意一种表示。对电力统计指标数据一致性的检测按以下步骤进行:
①预先设定一种参考格式;
②将待评估的电力统计指标数据D与参考格式进行对比分析,考察两者是否一致,若存在差异,则认为待评估的电力统计指标数据D的格式不符合要求,不符合要求的数据个数即为不满足一致性指标的数据个数。
(5)对待评估的电力统计指标数据D进行准确性检测时,主要是考察待评估的电力统计指标数据D的精度是否满足要求,其检测原理与一致性指标类似,其检测过程为:
①预先定义待评估的电力统计指标数据D的参考精度值;
②计算每个数据小数点“.”后的字符个数,得到该数据的精度,而对于不存在小数点“.”的数据,则直接将精度置为0;
③考察待评估的电力统计指标数据D的精度是否满足预先定义的参考精度值,不满足参考精度值的待评估的电力统计指标数据D的个数即为不满足准确性指标的数据个数。
(6)对待评估的电力统计指标数据D进行有效性检测时,从待评估的电力统计指标数据D的格式有效性和数值有效性两方面分析。在对待评估的电力统计指标数据D进行格式有效性分析之前,必须先统计出每一个待评估的电力统计指标数据D的所有有效格式,然后再将该待评估的电力统计指标数据D下的所有数据与其有效格式逐一进行对比,若待评估的电力统计指标数据D的表达格式与有效格式相符合,则认为其满足格式有效性这一要求,否则认为该数据不满足格式有效性的要求。数值有效性的分析是判断每个待评估的电力统计指标数据的数值是否介于某一值域范围之内,例如供电量为正数,线损率在0到100%之间,但是对于整数类数据(例如用户个数),除了分析它的数值大小之外,还必须满足整数这一要求。
本发明的实施例中,根据各数据质量评估指标Ii所对应的数据质量评估规则Rr(Ii),对表1中的电力统计指标数据D进行检测分析得到满足各数据质量评估指标Ii的电力统计指标数据的个数,即合格数,并计算出满足各数据质量评估指标Ii的电力统计指标数据的百分比Si,即合格百分比,如表6所示。
表6待评估的电力统计指标数据的合格百分比及设定的期望值
评估指标Ii | 权重Wi | 合格数 | 合格百分比Si(%) | 期望值Ei% |
正确性 | 0.4081 | 71 | 98.6 | 98 |
完整性 | 0.1734 | 71 | 98.6 | 98 |
唯一性 | 0.0439 | 72 | 100 | 100 |
一致性 | 0.1006 | 72 | 100 | 100 |
准确性 | 0.1006 | 66 | 91.7 | 98 |
有效性 | 0.1734 | 68 | 94.4 | 98 |
6)根据权重Wi、合格百分比Si和设定的期望值Ei,分别计算出电力统计指标数据的综合评估值SA、总体期望值SE和相对差值SR,并根据设定的评价等级对待评估的电力统计指标数据D总体的质量进行评估;
综合评估值SA、总体期望值SE和相对差值SR分别由以下表达式确定。
式中,SA反映待评估的电力统计指标数据D总体的真实数据质量状况,SE反映对待评估的电力统计指标数据D总体的期望值,SR反映待评估的电力统计指标数据D相对于总体期望值SE的质量状况,n为数据质量评估指标的个数。
根据综合评估值SA,对待评估的电力统计指标数据D的总体数据质量水平设定评价等级,数据质量评价等级表如表7所示。
表7数据质量评价等级表
综合评估值SA | 数据质量评价等级 |
SA∈(95,100] | 优 |
SA∈(90,95] | 良 |
SA∈(85,90] | 中 |
SA∈(0,85] | 差 |
对于待评估的电力统计指标数据D的相对差值SR,若SR符号为正,其数值比总体期望值SE越大,则说明待评估的电力统计指标数据D的数据质量比预期的越好;若SR符号为负,其数值比总体期望值SE越大,则说明待评估的电力统计指标数据D总体的数据质量比预期的越差。
本发明的实施例中,根据表6的数据可以计算出电力统计指标数据的综合评估值为97.37988,总体期望值为98.289,相对差值为-0.90912,得出如下结论:
①待评估的电力统计指标数据的综合评估值为97.37988,大于95,因此待评估的电力统计指标数据的质量水平属于“优”。
②相对差值为-0.90912,说明待评估的电力统计指标数据D总体的质量水平比预期的要差,但差距不大。
7)对不合格的电力统计指标数据进行处理,以提高待评估的电力统计指标数据D的质量,具体处理过程为:对异常的电力统计指标数据进行修正;对缺失的电力统计指标数据进行填补;对重复的电力统计指标数据进行删除;对表达格式不统一、数值无效的电力统计指标数据进行修正;对数值精度不合格的电力统计指标数据进行修改;对对现有研究可用性不强的电力统计指标数据进行删除。
上述实施例中,本发明的数据质量评估指标还可以包括时效性,可以对待评估的电力统计指标数据进行时效性检测,因相同的电力统计指标数据不同年份、不同月份的电力统计数据通常存在着相同的规律,而且同一月份在不同年份的多个电力统计指标数据也会存在着相同的规律,因此,对待评估的电力统计指标数据D进行时效性的检测时,可以通过绘制多线线图将同月份的数据在同一张统计图上描绘出来,对比各线图的升降、间距等变化规律,能够较为直观地揭示出数据质量统计指标与时间的关系。由此可以看出,时效性是与时间参数紧密相连的,所以不符合时效性的电力统计指标数据可能没有,也可能是一年或几年的数据,这样出现不符合时效性的电力统计指标数据的可能性就较大。一般,选取待评估的电力统计指标数据时会根据评估目的的需要选取相关年份的电力统计指标数据,因此,如果不是非常关心时效性,就可以不选取该数据质量评估指标,或赋予该数据质量评估指标较小的权重。
上述各实施例仅用于说明本发明,其中方法的实施步骤都是可以有所变化的,凡是在本发明技术方案的基础上进行的等同变换和改进,均不应排除在本发明的保护范围之外。
Claims (10)
1.一种电力统计指标数据的质量评估方法,其包括以下步骤:
1)根据实际评估目的的需要,对电力统计指标数据进行整理,获取待评估的电力统计指标数据;
2)根据所述待评估的电力统计指标数据,选择相应的数据质量评估指标Ii,i=1,…,n,n为数据质量评估指标的个数;
3)根据待评估的电力统计指标数据和所选取的数据质量评估指标Ii,制定各数据质量评估指标相对应的数据质量评估规则Rr(Ii);其中每个数据质量评估规则Rr(Ii)根据待评估的电力统计指标数据的特征和属性以及所选用的数据质量评估指标Ii的定义进行制定;
4)计算各数据质量评估指标Ii的权重Wi并相应设定期望值Ei,期望值Ei为介于0到100%之间的实数;
5)根据步骤3)中制定的数据质量评估规则Rr(Ii),对待评估的电力统计指标数据进行检测分析,并计算得出满足各数据质量评估指标Ii的合格百分比Si,Si介于0到100之间;
6)根据步骤4)计算得到的权重Wi、合格百分比Si和设定的期望值Ei,分别计算出所述待评估的电力统计指标数据的综合评估值SA、总体期望值SE和相对差值SR,并根据设定的评价等级对所述待评估的电力统计指标数据总体质量进行评估;其中,综合评估值SA、总体期望值SE和相对差值SR分别由以下表达式确定:
式中,SA反映待评估的电力统计指标数据D总体的真实数据质量状况,SE反映对待评估的电力统计指标数据D总体的期望值,SR反映待评估的电力统计指标数据D相对于总体期望值SE的质量状况,n为数据质量评估指标的个数;
7)对评估出的不合格电力统计指标数据进行处理。
2.如权利要求1所述的一种电力统计指标数据的质量评估方法,其特征在于:还包括步骤8)将相对差值SR与总体期望值SE进行比较,得到待评估的电力统计指标数据D总体相对于总体期望值SE的质量状况,具体过程为:若SR符号为正,其数值比总体期望值SE越大,则说明所述待评估的电力统计指标数据总体的数据质量比预期的越好;若SR符号为负,其数值比总体期望值SE越大,则说明所述待评估的电力统计指标数据总体的数据质量比预期的越差。
3.如权利要求1所述的一种电力统计指标数据的质量评估方法,其特征在于:所述步骤2)中的数据质量评估指标为正确性、完整性、唯一性、一致性、准确性、有效性和时效性中的某一个或某几个。
4.如权利要求2所述的一种电力统计指标数据的质量评估方法,其特征在于:所述步骤2)中的数据质量评估指标为正确性、完整性、唯一性、一致性、准确性、有效性和时效性中的某一个或某几个。
5.如权利要求1~4任一项所述的一种电力统计指标数据的质量评估方法,其特征在于:所述步骤4)中计算各质量评估指标Ii的权重Wi采用层次分析法,其步骤为:
①根据数据质量评估指标Ii的重要性标度关系含义表,通过列表方式确定各数据质量评估指标Ii之间的标度关系,进而得到判断矩阵;
②对步骤①得到的判断矩阵中的所有重要性程度值分别进行列归一化处理,得到列归一化矩阵;
③对列归一化矩阵的每一行进行求和运算,得到行相加值;
④对得到所有的行相加值进行求和运算,得到行相加总和值;
⑤计算各数据质量评估指标Ii的权重,即权重=行相加值/行相加总和值。
6.如权利要求1~4任一项所述的一种电力统计指标数据的质量评估方法,其特征在于:所述步骤6)中评价等级为:若SA∈(95,100]则评定待评估的电力统计指标数据总体的数据质量水平为“优”,若SA∈(90,95]则评定待评估的电力统计指标数据总体的数据质量水平为“良”,若SA∈(85,90]则评定待评估的电力统计指标数据总体的数据质量水平为“中”,若SA∈(0,85]则评定待评估的电力统计指标数据总体的数据质量水平为“差”。
7.如权利要求5所述的一种电力统计指标数据的质量评估方法,其特征在于:所述步骤6)中评价等级为:若SA∈(95,100]则评定待评估的电力统计指标数据总体的数据质量水平为“优”,若SA∈(90,95]则评定待评估的电力统计指标数据总体的数据质量水平为“良”,若SA∈(85,90]则评定待评估的电力统计指标数据总体的数据质量水平为“中”,若SA∈(0,85]则评定待评估的电力统计指标数据总体的数据质量水平为“差”。
8.如权利要求1~4、7任一项所述的一种电力统计指标数据的质量评估方法,其特征在于:所述步骤7)中对评估出的不合格的电力统计指标数据进行处理,其具体处理过程包括:对异常的电力统计指标数据进行修正;对缺失的电力统计指标数据进行填补;对重复的电力统计指标数据进行删除;对表达格式不统一、数值无效的电力统计指标数据进行修正;对数值精度不合格的电力统计指标数据进行修改;对现有研究可用性不强的电力统计指标数据进行删除。
9.如权利要求5所述的一种电力统计指标数据的质量评估方法,其特征在于:所述步骤7)中对评估出的不合格的电力统计指标数据进行处理,其具体处理过程包括:对异常的电力统计指标数据进行修正;对缺失的电力统计指标数据进行填补;对重复的电力统计指标数据进行删除;对表达格式不统一、数值无效的电力统计指标数据进行修正;对数值精度不合格的电力统计指标数据进行修改;对现有研究可用性不强的电力统计指标数据进行删除。
10.如权利要求6所述的一种电力统计指标数据的质量评估方法,其特征在于:所述步骤7)中对评估出的不合格的电力统计指标数据进行处理,其具体处理过程包括:对异常的电力统计指标数据进行修正;对缺失的电力统计指标数据进行填补;对重复的电力统计指标数据进行删除;对表达格式不统一、数值无效的电力统计指标数据进行修正;对数值精度不合格的电力统计指标数据进行修改;对现有研究可用性不强的电力统计指标数据进行删除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310163339.9A CN103247008B (zh) | 2013-05-07 | 2013-05-07 | 一种电力统计指标数据的质量评估方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310163339.9A CN103247008B (zh) | 2013-05-07 | 2013-05-07 | 一种电力统计指标数据的质量评估方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103247008A CN103247008A (zh) | 2013-08-14 |
CN103247008B true CN103247008B (zh) | 2015-10-28 |
Family
ID=48926515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310163339.9A Active CN103247008B (zh) | 2013-05-07 | 2013-05-07 | 一种电力统计指标数据的质量评估方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103247008B (zh) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103606009B (zh) * | 2013-12-10 | 2016-09-21 | 积成电子股份有限公司 | 基于最小配电区域的配电网量测质量评估方法 |
CN103902451A (zh) * | 2014-03-26 | 2014-07-02 | 国家电网公司 | 一种智能电能表软件品质评价方法 |
CN103942602B (zh) * | 2014-04-11 | 2017-01-18 | 浙江大学 | 一种汽轮发电机定子端部绕组固定结构方案综合评价方法 |
CN104090560B (zh) * | 2014-05-06 | 2017-02-08 | 内蒙古云谷电力科技股份有限公司 | 一种监测供电综合环境评价指标的设备 |
CN104112204A (zh) * | 2014-07-01 | 2014-10-22 | 国家电网公司 | 供电品质高效运行的评价方法 |
CN104574201A (zh) * | 2014-11-14 | 2015-04-29 | 陕西省地方电力(集团)有限公司榆林电力分公司 | 适用于多用途的电能质量数据简约评估方法 |
CN105005878B (zh) * | 2015-08-12 | 2018-05-25 | 国家电网公司 | 一种坚强智能电网的综合评估方法 |
CN105307202B (zh) * | 2015-09-24 | 2019-01-29 | 珠海许继芝电网自动化有限公司 | 一种配电自动化无线通信可用性评估方法 |
CN105976120A (zh) * | 2016-05-17 | 2016-09-28 | 全球能源互联网研究院 | 一种电力运营监控数据质量评估系统及方法 |
CN106649840A (zh) * | 2016-12-30 | 2017-05-10 | 国网江西省电力公司经济技术研究院 | 一种适用于电力数据质量评估与规则校验的方法 |
CN106874483A (zh) * | 2017-02-20 | 2017-06-20 | 山东鲁能软件技术有限公司 | 一种基于大数据技术的图形化的数据质量评测的装置及方法 |
CN107463532A (zh) * | 2017-06-28 | 2017-12-12 | 国网上海市电力公司 | 一种电力统计数据的质量分析方法 |
CN107633257B (zh) * | 2017-08-15 | 2020-04-17 | 上海数据交易中心有限公司 | 数据质量评估方法及装置、计算机可读存储介质、终端 |
CN107516171B (zh) * | 2017-08-31 | 2021-02-02 | 湖北国网华中科技开发有限责任公司 | 一种电网企业关键经营指标的预测分析系统及其分析方法 |
CN107908558B (zh) * | 2017-11-14 | 2021-01-05 | 广东华仝九方科技有限公司 | 一种手机客户端软件质量自动化评测方法 |
CN108038132A (zh) * | 2017-11-17 | 2018-05-15 | 上海数据交易中心有限公司 | 数据质量分析方法及装置、存储介质、终端 |
CN108197280B (zh) * | 2018-01-10 | 2022-05-13 | 上海电气集团股份有限公司 | 一种基于工业设备数据的可挖掘性评估方法 |
CN108829750A (zh) * | 2018-05-24 | 2018-11-16 | 国信优易数据有限公司 | 一种数据质量确定系统以及方法 |
CN108898311A (zh) * | 2018-06-28 | 2018-11-27 | 国网湖南省电力有限公司 | 一种面向智能配电网抢修调度平台的数据质量检测方法 |
CN109492683A (zh) * | 2018-10-30 | 2019-03-19 | 国网湖南省电力有限公司 | 一种针对广域量测电力大数据数据质量的快速在线评估方法 |
CN110069393A (zh) * | 2019-03-11 | 2019-07-30 | 北京互金新融科技有限公司 | 软件环境的检测方法、装置、存储介质和处理器 |
CN110033201A (zh) * | 2019-04-22 | 2019-07-19 | 浙江中烟工业有限责任公司 | 一种烟草工业批次全过程数据质量评价和改进的方法和装置 |
CN111210123A (zh) * | 2019-12-26 | 2020-05-29 | 国网浙江省电力有限公司杭州供电公司 | 调控云电网运行大数据质量评估方法 |
CN113434490B (zh) * | 2020-03-23 | 2024-04-12 | 北京京东振世信息技术有限公司 | 线下导入数据的质量检测方法和装置 |
CN111861093A (zh) * | 2020-05-27 | 2020-10-30 | 京杭运河江苏省交通运输厅苏北航务管理处 | 一种船闸设备设施分级评估方法 |
CN112348695A (zh) * | 2020-09-16 | 2021-02-09 | 贵州电网有限责任公司 | 一种基于层次分析法的电力数据质量评价模型构建方法 |
CN112486961A (zh) * | 2020-11-18 | 2021-03-12 | 广西电网有限责任公司电力科学研究院 | 一种大数据实时处理的方法及处理装置 |
CN112380190B (zh) * | 2020-11-27 | 2021-08-17 | 北京三维天地科技股份有限公司 | 一种基于多维分析技术的数据质量健康度分析方法及系统 |
CN113376469A (zh) * | 2021-06-29 | 2021-09-10 | 四川大学 | 一种电能质量扰动数据的分析方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101246569A (zh) * | 2008-02-28 | 2008-08-20 | 江苏省电力试验研究院有限公司 | 基于层次分析法和模糊算法的电网电能质量综合评价方法 |
CN101465546A (zh) * | 2009-01-08 | 2009-06-24 | 上海交通大学 | 电能质量综合评估系统 |
-
2013
- 2013-05-07 CN CN201310163339.9A patent/CN103247008B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101246569A (zh) * | 2008-02-28 | 2008-08-20 | 江苏省电力试验研究院有限公司 | 基于层次分析法和模糊算法的电网电能质量综合评价方法 |
CN101465546A (zh) * | 2009-01-08 | 2009-06-24 | 上海交通大学 | 电能质量综合评估系统 |
Non-Patent Citations (3)
Title |
---|
基于层次分析法的现状电网评估方法研究;李晓辉 等;《电力系统保护与控制》;20080716;第36卷(第14期);57-61 * |
数据质量研究综述;韩京宇 等;《计算机科学》;20080225;第35卷(第2期);1-5 * |
电网企业信息化指标体系及评价方法探讨;陈永权 等;《电力信息化》;20040220;第2卷(第2期);18-20 * |
Also Published As
Publication number | Publication date |
---|---|
CN103247008A (zh) | 2013-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103247008B (zh) | 一种电力统计指标数据的质量评估方法 | |
US10120912B2 (en) | System and method for combination-based data analysis | |
CN107169628B (zh) | 一种基于大数据互信息属性约简的配电网可靠性评估方法 | |
CN108898311A (zh) | 一种面向智能配电网抢修调度平台的数据质量检测方法 | |
CN102609778B (zh) | 一种电力通信网风险评估方法及装置 | |
CN104268678A (zh) | 一种以动态可靠性为基础的设备预防性维修方法 | |
CN102280874A (zh) | 一种台区线损率检测系统 | |
CN104573989A (zh) | 一种基于历史故障信息的输电线路故障概率评估方法 | |
CN103366123A (zh) | 基于缺陷分析的软件风险评估方法 | |
CN104299116A (zh) | 一种电网运行安全风险定量评估方法 | |
CN111260198A (zh) | 一种台区同期线损合理度评判方法、系统及终端设备 | |
CN106295858A (zh) | 一种电能表非健康度预测方法 | |
CN111582568A (zh) | 基于电力数据的春节期间企业复工预测方法 | |
CN111832174B (zh) | 一种基于多元回归的配线线损率处理方法及装置 | |
CN108182511A (zh) | 一种基于秩和比法的需求侧响应资源价值评价方法 | |
CN109559019A (zh) | 一种基于风险指数的电力系统动态安全评估方法 | |
CN103914482A (zh) | 基于cmdb的集中监控事件影响性确定方法 | |
CN110764043B (zh) | 一种适用于连续型测量结果的设备质量状况评价方法 | |
Yuan et al. | LMP step pattern detection based on real-time data | |
Efthimiou et al. | Statistical projection of material intensity: evidence from the global economy and 107 countries | |
CN112365187A (zh) | 一种基于Lasso-logit模型的发电机组市场力滥用识别方法 | |
CN111127186A (zh) | 一种基于大数据技术的客户信用等级评价体系的使用方法 | |
Kasperowicz et al. | Reengineering of electricity market monitoring | |
CN113780724A (zh) | 产品质量批次稳定性量化评估判据计算方法 | |
CN102982231A (zh) | 软件可信度的定量计算方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |