CN109033174A - 一种电能质量数据清洗方法及装置 - Google Patents
一种电能质量数据清洗方法及装置 Download PDFInfo
- Publication number
- CN109033174A CN109033174A CN201810646690.6A CN201810646690A CN109033174A CN 109033174 A CN109033174 A CN 109033174A CN 201810646690 A CN201810646690 A CN 201810646690A CN 109033174 A CN109033174 A CN 109033174A
- Authority
- CN
- China
- Prior art keywords
- data
- power quality
- rule
- cleaning
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004140 cleaning Methods 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000004364 calculation method Methods 0.000 claims abstract description 44
- 238000006243 chemical reaction Methods 0.000 claims abstract description 29
- 238000003860 storage Methods 0.000 claims abstract description 27
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 claims abstract description 12
- 238000009826 distribution Methods 0.000 claims description 31
- 238000012372 quality testing Methods 0.000 claims description 21
- 238000012544 monitoring process Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 17
- 230000001052 transient effect Effects 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- 238000006467 substitution reaction Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 230000005611 electricity Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 241000209094 Oryza Species 0.000 description 4
- 235000007164 Oryza sativa Nutrition 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 235000009566 rice Nutrition 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000819 phase cycle Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Abstract
本发明实施例公开一种电能质量数据清洗方法及装置，其中，方法包括：从电能质量终端获取电能质量基础数据，将其按照统一数据格式进行转换并存储到Hadoop分布式平台；基于预先构建的数据清洗规则，利用Hadoop分布式平台对转换后的电能质量基础数据进行清洗，获得电能质量数据；对清洗后的电能质量数据按照日、月、年的维度进行计算，产生电能质量计算结果数据；基于预先构建的数据清洗规则，利用Hadoop分布式平台对电能质量计算结果数据进行清洗，获得最终的电能质量数据。本发明实施例实现了异构电能质量数据兼容存储，提高了数据索引和查询效率，提高了数据清洗效率，保障了数据的准确性。
Description
技术领域
本发明实施例涉及数据处理技术领域，具体涉及一种电能质量数据清洗方法及装置。
背景技术
随着我国电能质量研究领域的建设与发展，电力企业已经积累了大量的电能质量数据，同时随着数据库技术的广泛应用和发展，针对于海量数据，基于Hadoop(海杜普)的分布式存储和计算已得到广泛应用，为了支撑和满足海量电能质量数据的业务应用分析应用，需将海量电能质量数据从各种异构分布式的数据源导入Hadoop分布式平台进行挖掘和分析。然而，受到设备差异、采集环境、参数设置及人工误差等因素的影响，这些海量数据必然存在遗漏、错误和不完整等数据质量问题，基于这些数据基础在应用于相关电能质量决策支持系统时会造错误的分析结果的产生，这将会误导企业电能质量管理决策，因此通过数据清洗，消除数据中的不一致和错误，保证数据的正确性，以提高决策的质量，已成为电能质量数据分析的重要环节。
目前，数据清洗技术在国内的研究还处于初级起步阶段，现有的数据清洗技术分为模式层的清洗方法和实例型清洗方法，其中，模式层的清洗方法较多依靠人为清洗，自动清洗工具无较大进展；而实例型清洗方法针对缺失、错误和重复等数据质量问题都提出一些方法，如异常检测及消除、近似重复记录检测及消除等，但直接针对数据清洗的实质性的研究成果并不多，一般是在数据挖掘、数据仓库、决策支持研究中，做一些简单的描述，特别单独针对电力行业海量电能质量数据清洗的相关技术成果更少，而公布报道出的相关技术中，没有针对电能质量数据海量及多次计算分析的特点综合考虑实际应用时数据查询分析性能、数据清洗效率及多次计算结果数据准确性问题的解决办法。
鉴于此，如何对海量电能质量数据进行清洗成为目前需要解决的技术问题。
发明内容
由于现有方法存在上述问题，本发明实施例提出一种电能质量数据清洗方法及装置。
第一方面，本发明实施例提出一种电能质量数据清洗方法，包括：
从电能质量终端获取电能质量基础数据，将所述电能质量基础数据按照统一数据格式进行转换并存储到Hadoop分布式平台；
基于预先构建的数据清洗规则，利用Hadoop分布式平台对转换后的电能质量基础数据进行清洗，获得电能质量数据；
对清洗后的电能质量数据按照日、月、年的维度进行计算，产生电能质量计算结果数据；
基于所述预先构建的数据清洗规则，利用Hadoop分布式平台对所述电能质量计算结果数据进行清洗，获得最终的电能质量数据。
可选地，在基于预先构建的数据清洗规则，利用Hadoop分布式平台对转换后的电能质量基础数据进行清洗之前，所述方法还包括：
预先构建数据清洗规则。
可选地，所述统一数据格式包括：行键、列和值；
其中：
行键：指标名称+监测点ID+对应频率+相别+采样率+值类型+精度与单位+时间量测；
列：时间偏移量；
值：量测值字面量，列值。
可选地，所述数据清洗规则，包括：数据属性缺失规则和数据属性异常规则；
其中，所述数据属性缺失规则，包括：对于任意一条数据记录：若该条数据记录的行键存在属性值缺失，则不会产生该条数据记录；若该条数据记录的非行键存在属性值缺失，对于属性值缺失的任一属性，取该条数据记录中该属性前后相邻时刻数值的平均值替代该属性的属性值，若该属性前后相邻时刻数值也存在为空情况，则取不为空的相邻数据值替代该属性的属性值，若该条数据记录中非行键的属性值全部缺失，则剔除该条数据记录；
所述数据属性异常规则，包括：判断数据记录所有属性是否满足合理规则库中该属性对应的取值范围，所述合理规则库是根据常识性规则和业务特定规则预先构建的；若数据记录任一属性不满足合理规则库中该属性对应的取值范围，则确定该属性为异常，将该属性进行清除，然后按照所述数据属性缺失规则进行属性替代。
可选地，所述基于预先构建的数据清洗规则，利用Hadoop分布式平台对转换后的电能质量基础数据进行清洗，获得电能质量数据，包括：
按照预先构建的数据清洗规则，从转换后的电能质量基础数据中获取待清洗数据；
根据所述数据清洗规则，在Hadoop分布式平台中对待清洗数据进行分布式清洗；
检验本次分布式清洗完成后的数据是否满足所述数据清洗规则；
若本次分布式清洗完成后的数据满足所述数据清洗规则，则将本次分布式清洗完成后的数据作为待清洗数据，返回所述根据所述数据清洗规则，在Hadoop分布式平台中对待清洗数据进行分布式清洗的步骤，直至本次分布式清洗完成后的数据不满足所述数据清洗规则，将本次分布式清洗完成后的数据作为电能质量数据输出；
相应地，所述基于所述预先构建的数据清洗规则，利用Hadoop分布式平台对所述电能质量计算结果数据进行清洗，获得最终的电能质量数据，包括：
按照预先构建的数据清洗规则，从所述电能质量计算结果数据中获取待清洗数据；
根据所述数据清洗规则，在Hadoop分布式平台中对待清洗数据进行分布式清洗；
检验本次分布式清洗完成后的数据是否满足所述数据清洗规则；
若本次分布式清洗完成后的数据满足所述数据清洗规则，则将本次分布式清洗完成后的数据作为待清洗数据，返回所述根据所述数据清洗规则，在Hadoop分布式平台中对待清洗数据进行分布式清洗的步骤，直至本次分布式清洗完成后的数据不满足所述数据清洗规则，将本次分布式清洗完成后的数据作为最终的电能质量数据输出。
可选地，在基于所述预先构建的数据清洗规则，利用Hadoop分布式平台对所述电能质量计算结果数据进行清洗，获得最终的电能质量数据之后，所述方法还包括：
利用预先构建的数据质量评价体系，对所述最终的电能质量数据的数据质量进行评价。
可选地，在利用预先构建的数据质量评价体系，对所述最终的电能质量数据的数据质量进行评价之前，所述方法还包括：
预先构建数据质量评价体系。
第二方面，本发明实施例还提出一种电能质量数据清洗装置，包括：
格式转换模块，用于从电能质量终端获取电能质量基础数据，将所述电能质量基础数据按照统一数据格式进行转换并存储到Hadoop分布式平台；
第一清洗模块，用于基于预先构建的数据清洗规则，利用Hadoop分布式平台对转换后的电能质量基础数据进行清洗，获得电能质量数据；
计算模块，用于对清洗后的电能质量数据按照日、月、年的维度进行计算，产生电能质量计算结果数据；
第二清洗模块，用于基于所述预先构建的数据清洗规则，利用Hadoop分布式平台对所述电能质量计算结果数据进行清洗，获得最终的电能质量数据。
第三方面，本发明实施例还提出一种电子设备，包括：处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序；
其中，所述处理器，存储器通过所述总线完成相互间的通信；
所述处理器执行所述计算机程序时实现上述方法。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述方法。
由上述技术方案可知，本发明实施例提供的一种电能质量数据清洗方法及装置，通过从电能质量终端获取电能质量基础数据，将其按照统一数据格式进行转换并存储到Hadoop分布式平台；基于预先构建的数据清洗规则，利用Hadoop分布式平台对转换后的电能质量基础数据进行清洗，获得电能质量数据；对清洗后的电能质量数据按照日、月、年的维度进行计算，产生电能质量计算结果数据；基于预先构建的数据清洗规则，利用Hadoop分布式平台对电能质量计算结果数据进行清洗，获得最终的电能质量数据，由此，通过将电能质量基础数据按照统一数据格式进行转换存储，实现了异构电能质量数据兼容存储，同时提高了数据索引和查询效率；通过基于预先构建的数据清洗规则，利用Hadoop分布式平台对转换后的电能质量基础数据进行清洗，提高了数据清洗效率，保障电能质量数据的准确性，为后续电能质量数据的计算提供准确的数据基础；通过基于预先构建的数据清洗规则，利用Hadoop分布式平台对电能质量计算结果数据进行清洗，保障电能质量计算结果数据进行关联分析应用的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1为本发明一实施例提供的一种电能质量数据清洗方法的流程示意图；
图2为本发明一实施例提供的一种电能质量数据清洗装置的结构示意图；
图3为本发明一实施例提供的电子设备的实体结构示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
图1示出了本发明一实施例提供的一种电能质量数据清洗方法的流程示意图，如图1所示，本实施例的电能质量数据清洗方法，包括：
S1、从电能质量终端获取电能质量基础数据，将所述电能质量基础数据按照统一数据格式进行转换并存储到Hadoop分布式平台。
可以理解的是，电能质量基础数据由于设备的不同导致数据格式不统一，需转换成统一格式的数据实现数据的兼容，同时按照电能质量业务应用分析需求，检索查询时一般都是获取单监测点或多监测点某一量测指标在某时间段内的所有数据，而电能质量监测数据一般都是每个指标在某采集周期时刻采集一条数据，按照不同数据类型的采集频率都不一样，如稳态统计数据一般1分钟内或3分钟一条，对此类数据在Hadoop中的存储，一般的设计方法为一个指标值就存为一行，但这样会带来海量rowkey，从而影响查询性能，考虑到数据主要用于每日统计，故本实施例可以将一天的24×60个指标值存为一行(一分钟数据，若是其他频率数据，相应调整，例如，对于3分钟数据，则只会存储24×20个指标值)。
S2、基于预先构建的数据清洗规则，利用Hadoop分布式平台对转换后的电能质量基础数据进行清洗，获得电能质量数据。
S3、对清洗后的电能质量数据按照日、月、年的维度进行计算，产生电能质量计算结果数据。
S4、基于所述预先构建的数据清洗规则，利用Hadoop分布式平台对所述电能质量计算结果数据进行清洗，获得最终的电能质量数据。
本实施例的电能质量数据清洗方法，通过从电能质量终端获取电能质量基础数据，将其按照统一数据格式进行转换并存储到Hadoop分布式平台；基于预先构建的数据清洗规则，利用Hadoop分布式平台对转换后的电能质量基础数据进行清洗，获得电能质量数据；对清洗后的电能质量数据按照日、月、年的维度进行计算，产生电能质量计算结果数据；基于预先构建的数据清洗规则，利用Hadoop分布式平台对电能质量计算结果数据进行清洗，获得最终的电能质量数据，由此，通过将电能质量基础数据按照统一数据格式进行转换存储，实现了异构电能质量数据兼容存储，同时提高了数据索引和查询效率；通过基于预先构建的数据清洗规则，利用Hadoop分布式平台对转换后的电能质量基础数据进行清洗，提高了数据清洗效率，保障电能质量数据的准确性，为后续电能质量数据的计算提供准确的数据基础；通过基于预先构建的数据清洗规则，利用Hadoop分布式平台对电能质量计算结果数据进行清洗，保障电能质量计算结果数据进行关联分析应用的准确性。
进一步地，在上述实施例的基础上，本实施例所述统一数据格式可以包括：行键、列和值；其中：
行键(rowkey)：指标名称+监测点ID(标识)+对应频率+相别+采样率+值类型+精度与单位+时间量测；
列：时间偏移量；
值：量测值字面量，列值。
具体地，监测点ID、指标名称、对应频率、相别、采样率、值类型、精度与单位等信息编码可按照自行按一定标准进行定义，将电能质量基础数据进行转换时对相应信息按照编码规范(例如表2为一种编码规范表，其中示出了部分编码示例)进行转换，然后在行键中进行组合存储，例如可以参考表1，表1为统一数据格式的一种数据结构示例；时间量测可以取精度到日；时间偏移量列数可以以指标的采集频率进行相应调整。
表1
| rowkey | 0 | … | 100 | … | 2359 |
| 01001100316321510211742 | 220.71 | … | 223.12 | … | 213.58 |
表2
| 指标名称 | 编码 |
| 未知 | 00000 |
| 电压有效值 | 01001 |
| 电压偏差 | 01002 |
| 有功功率 | 02001 |
| 无功功率 | 02002 |
| 视在功率 | 02003 |
| 功率因数 | 02004 |
| 电压总谐波畸变率 | 03001 |
| 电压偶次总谐波畸变率 | 03002 |
| 电压奇次总谐波畸变率 | 03003 |
| 基波电压有效值 | 03001 |
| 基波电压相角 | 03002 |
| 谐波电压有效值 | 04001 |
| …… | ………… |
本实施例通过将电能质量基础数据按照统一数据格式进行转换存储，实现了异构电能质量数据兼容存储，同时提高了数据索引和查询效率。
进一步地，在上述实施例的基础上，在所述步骤S2之前，本实施例所述方法还可以包括：
预先构建数据清洗规则。
在具体应用中，本实施例所述数据清洗规则，可以包括：数据属性缺失规则和数据属性异常规则；
其中，所述数据属性缺失规则，包括：对于任意一条数据记录：若该条数据记录的行键(rowkey)存在属性值缺失，则不会产生该条数据记录；若该条数据记录的非行键存在属性值缺失，对于属性值缺失的任一属性，取该条数据记录中该属性前后相邻时刻数值的平均值替代该属性的属性值，若该属性前后相邻时刻数值也存在为空情况，则取不为空的相邻数据值替代该属性的属性值，若该条数据记录中非行键的属性值全部缺失，则剔除该条数据记录；
所述数据属性异常规则，包括：判断数据记录所有属性是否满足合理规则库中该属性对应的取值范围，所述合理规则库是根据常识性规则和业务特定规则预先构建的；若数据记录任一属性不满足合理规则库中该属性对应的取值范围，则确定该属性为异常，将该属性进行清除，然后按照所述数据属性缺失规则进行属性替代。例如，表3为一种合理规则库，若数据记录的某一属性不满足表3中数据项的取值范围，则确定该属性为异常。
表3
| 序号 | 数据项中文名 | 数据项的取值范围 |
| 频率 | 42.5～57.5 | |
| 1 | 频率偏差 | -7.5～7.5 |
| 2 | 相(线)电压有效值 | 0～150％U,U为监测点电压等级 |
| 3 | 电压偏差 | -20％～20％ |
| 4 | 单相功率因数 | -1～1 |
| 5 | 单相基波功率因数 | -1～1 |
| 6 | 三相功率因数 | -1～1 |
| 7 | 基波功率因数 | -1～1 |
| 8 | 电压总谐波畸变率 | 0～30％ |
| 9 | 电流总谐波畸变率 | |
| 10 | 相(线)电压基波有效值 | 0～150％U,U为监测点电压等级 |
| 11 | 相(线)电压基波相角 | -180～180 |
| 12 | 2～50次谐波电压含有率 | 0～30％ |
| 13 | 2～50次谐波电压相角 | -180～180 |
| 14 | 2～50次间谐波电压含有率 | 0～30％ |
| 15 | 正序、负序和零序电压 | 0～150％U,U为监测点电压等级 |
| 16 | 负序电压不平衡度 | 0～40％ |
| 17 | 零序电压不平衡度 | 0～40％ |
| 18 | 电压波动 | 0～40％ |
| 19 | 短时间闪变值 | 0～20 |
| 20 | 长时间闪变值 | 0～20 |
| 21 | 电压暂降特征幅值 | 0～90％ |
| 22 | 电压暂升特征幅值 | 110％～180％ |
进一步地，在上述实施例的基础上，所述步骤S2，可以包括：
按照预先构建的数据清洗规则，从转换后的电能质量基础数据中获取待清洗数据；
根据所述数据清洗规则，在Hadoop分布式平台中对待清洗数据进行分布式清洗；
检验本次分布式清洗完成后的数据是否满足所述数据清洗规则；
若本次分布式清洗完成后的数据满足所述数据清洗规则，则将本次分布式清洗完成后的数据作为待清洗数据，返回所述根据所述数据清洗规则，在Hadoop分布式平台中对待清洗数据进行分布式清洗的步骤，直至本次分布式清洗完成后的数据不满足所述数据清洗规则，将本次分布式清洗完成后的数据作为电能质量数据输出。
可以理解的是，使用Hadoop分布式环境来实现集群的存储及计算，可以通过HDFS分布式文件系统实现对电能质量数据的存储和管理，通过Map/Reduce运行机制实现并行化。本实施例可以利用一个数据清洗引擎模块基于所述数据清洗规则进行数据的清洗，HDFS分布式文件系统一方面为数据清洗引擎模块提供了分布式计算的运行机制，另一方面负责中间输出文件的保存及管理。数据清洗引擎主要通过基于Hadoop的分布式计算，对整个数据集进行清洗，找出缺失或异常的属性值，并执行相应的数据清洗动作，最终将清洗后的数据通过接口或其他方式输出，数据清洗引擎主要包括几个子功能模块：数据加载模块、数据清洗模块、结果存储模块。其中：数据加载模块对数据进行再加载工作，将指定属性的数据加载到指定的Hadoop目录文件，输入数据来自于HDFS文件，输出数据也放于HDFS文件；数据清洗模块主要是针对海量数据清洗的属性清洗的，通过Hadoop分布式环境，找出缺失和异常的属性值，并结合相应的清洗规则继续分析处理；结果存储模块主要是将处理后的中间数据或最终数据结果，都通过该模块指定存放到对应的HDFS文件系统中，同时提供接口或其他方式，将清洗后的数据用于更高层的数据处理。
相应地，所述步骤S4，可以包括：
按照预先构建的数据清洗规则，从所述电能质量计算结果数据中获取待清洗数据；
根据所述数据清洗规则，在Hadoop分布式平台中对待清洗数据进行分布式清洗；
检验本次分布式清洗完成后的数据是否满足所述数据清洗规则；
若本次分布式清洗完成后的数据满足所述数据清洗规则，则将本次分布式清洗完成后的数据作为待清洗数据，返回所述根据所述数据清洗规则，在Hadoop分布式平台中对待清洗数据进行分布式清洗的步骤，直至本次分布式清洗完成后的数据不满足所述数据清洗规则，将本次分布式清洗完成后的数据作为最终的电能质量数据输出。
本实施例通过基于预先构建的数据清洗规则，利用Hadoop分布式平台对转换后的电能质量基础数据进行清洗，提高了数据清洗效率，保障电能质量数据的准确性，为后续电能质量数据的计算提供准确的数据基础；通过基于预先构建的数据清洗规则，利用Hadoop分布式平台对电能质量计算结果数据进行清洗，保障电能质量计算结果数据进行关联分析应用的准确性。
进一步地，在上述实施例的基础上，在所述步骤S4之后，本实施例所述方法还可以包括图中未示出的步骤：
利用预先构建的数据质量评价体系，对所述最终的电能质量数据的数据质量进行评价。
具体地，在利用预先构建的数据质量评价体系，对所述最终的电能质量数据的数据质量进行评价之前，本实施例所述方法还可以包括：
预先构建数据质量评价体系。
具体地，本实施例预先构建的数据质量评价体系，包括：数据质量评价指标和指标规则。
所述数据质量评价指标，可以包括：在线率、完整率、准确率和匹配率；其中：
在线率：主要表征电能质量监测点在线运行的情况；
完整率：描述各项电能质量数据的完备性程度，包括属性信息的完整性和数据记录数量的完整性，各项指标内容可参考表4；
准确率：描述各项电能质量数据的精确程度，包括属性信息的是否在业务合理值范围，各项指标内容见表4。
匹配率：描述不同数据相同业务含义数据的匹配程度。
所述指标规则，可以包括：
在线率：将在运监测点台账与采集的监测点指标数据进行关联，若统计期间在线监测点台账存在至少一条监测点指标，则判断为在线监测点，在线率＝统计期间在线监测点数量/统计期间监测点总数量；
完整率：1)待清洗的存在属性缺失的电能质量基础数据及计算结果数据均计为不完整数据；2)根据采集频率计算监测点应获取的数据量减去实际获取数据总量为不完整数据；完整率＝1-统计期间不完整数据/统计期间应获取数据量；
准确率：待清洗的存在属性异常的电能质量基础数据及计算结果数据均为不准确数据，准确率＝1-统计期间不准确数据量/统计期间应获取数据。
匹配率：历史暂时事件告警数据和历史发生的暂态事件进行匹配，数据匹配率＝暂态事件告警条目数量/暂态事件发生次数。
在具体应用中，可以按照所述数据质量评价体系，对各项指标进行自动计算，实现从不同维度评价电能质量数据质量。
本实施例通过对数据清洗过程中的问题数据记录进行保留，并制定数据质量评价方法，可实现对数据质量的事后评价，从而督促各企业从数据源端进行数据质量问题的解决；通过电能质量数据清洗和问题数据的整理评价，整体实现了在电能质量数据流转应用环节中，对电能质量数据质量问题的事前发现，事中处理和事后评价，全方位保障了电能质量数据的准确性，有效支撑电能质量的分析应用和管理决策。
本实施例的电能质量数据清洗方法，通过将电能质量基础数据按照统一数据格式进行转换存储，实现了异构电能质量数据兼容存储，同时提高了数据索引和查询效率；通过基于预先构建的数据清洗规则，利用Hadoop分布式平台对转换后的电能质量基础数据进行清洗，提高了数据清洗效率，保障电能质量数据的准确性，为后续电能质量数据的计算提供准确的数据基础；通过基于预先构建的数据清洗规则，利用Hadoop分布式平台对电能质量计算结果数据进行清洗，保障电能质量计算结果数据进行关联分析应用的准确性；通过对数据清洗过程中的问题数据记录进行保留，并制定数据质量评价方法，可实现对数据质量的事后评价，从而督促各企业从数据源端进行数据质量问题的解决；通过电能质量数据清洗和问题数据的整理评价，整体实现了在电能质量数据流转应用环节中，对电能质量数据质量问题的事前发现，事中处理和事后评价，全方位保障了电能质量数据的准确性，有效支撑电能质量的分析应用和管理决策。
图2示出了本发明一实施例提供的一种电能质量数据清洗装置的结构示意图，如图2所示，本实施例的电能质量数据清洗装置，包括：格式转换模块21、第一清洗模块22、计算模块23和第二清洗模块24；其中：
所述格式转换模块21，用于从电能质量终端获取电能质量基础数据，将所述电能质量基础数据按照统一数据格式进行转换并存储到Hadoop分布式平台；
所述第一清洗模块22，用于基于预先构建的数据清洗规则，利用Hadoop分布式平台对转换后的电能质量基础数据进行清洗，获得电能质量数据；
所述计算模块23，用于对清洗后的电能质量数据按照日、月、年的维度进行计算，产生电能质量计算结果数据；
所述第二清洗模块24，用于基于所述预先构建的数据清洗规则，利用Hadoop分布式平台对所述电能质量计算结果数据进行清洗，获得最终的电能质量数据。
具体地，所述格式转换模块21从电能质量终端获取电能质量基础数据，将所述电能质量基础数据按照统一数据格式进行转换并存储到Hadoop分布式平台；所述第一清洗模块22基于预先构建的数据清洗规则，利用Hadoop分布式平台对转换后的电能质量基础数据进行清洗，获得电能质量数据；所述计算模块23对清洗后的电能质量数据按照日、月、年的维度进行计算，产生电能质量计算结果数据；所述第二清洗模块24基于所述预先构建的数据清洗规则，利用Hadoop分布式平台对所述电能质量计算结果数据进行清洗，获得最终的电能质量数据。
本实施例的电能质量数据清洗装置，通过将电能质量基础数据按照统一数据格式进行转换存储，实现了异构电能质量数据兼容存储，同时提高了数据索引和查询效率；通过基于预先构建的数据清洗规则，利用Hadoop分布式平台对转换后的电能质量基础数据进行清洗，提高了数据清洗效率，保障电能质量数据的准确性，为后续电能质量数据的计算提供准确的数据基础；通过基于预先构建的数据清洗规则，利用Hadoop分布式平台对电能质量计算结果数据进行清洗，保障电能质量计算结果数据进行关联分析应用的准确性。
进一步地，在上述实施例的基础上，本实施例所述装置还可以包括图中未示出的：
第一构建模块，用于预先构建数据清洗规则。
可以理解的是，本实施例所述数据清洗规则可以参见上述方法实施例的具体说明，此处不再赘述。
可以理解的是，本实施例所述统一数据格式可以参见上述方法实施例的具体说明，此处不再赘述。
进一步地，在上述实施例的基础上，本实施例所述装置还可以包括图中未示出的：
评价模块，用于利用预先构建的数据质量评价体系，对所述最终的电能质量数据的数据质量进行评价。
进一步地，本实施例所述装置还可以包括图中未示出的：
第二构建模块，用于预先构建数据质量评价体系。
可以理解的是，本实施例所述预先构建的数据质量评价体系可以参见上述方法实施例的具体说明，此处不再赘述。
在具体应用中，本实施例可以按照所述数据质量评价体系，对各项指标进行自动计算，实现从不同维度评价电能质量数据质量。
本实施例的电能质量数据清洗装置，通过对数据清洗过程中的问题数据记录进行保留，并制定数据质量评价方法，可实现对数据质量的事后评价，从而督促各企业从数据源端进行数据质量问题的解决；通过电能质量数据清洗和问题数据的整理评价，整体实现了在电能质量数据流转应用环节中，对电能质量数据质量问题的事前发现，事中处理和事后评价，全方位保障了电能质量数据的准确性，有效支撑电能质量的分析应用和管理决策。
本实施例的电能质量数据清洗装置，通过将电能质量基础数据按照统一数据格式进行转换存储，实现了异构电能质量数据兼容存储，同时提高了数据索引和查询效率；通过基于预先构建的数据清洗规则，利用Hadoop分布式平台对转换后的电能质量基础数据进行清洗，提高了数据清洗效率，保障电能质量数据的准确性，为后续电能质量数据的计算提供准确的数据基础；通过基于预先构建的数据清洗规则，利用Hadoop分布式平台对电能质量计算结果数据进行清洗，保障电能质量计算结果数据进行关联分析应用的准确性；通过对数据清洗过程中的问题数据记录进行保留，并制定数据质量评价方法，可实现对数据质量的事后评价，从而督促各企业从数据源端进行数据质量问题的解决；通过电能质量数据清洗和问题数据的整理评价，整体实现了在电能质量数据流转应用环节中，对电能质量数据质量问题的事前发现，事中处理和事后评价，全方位保障了电能质量数据的准确性，有效支撑电能质量的分析应用和管理决策。
本实施例的电能质量数据清洗装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图3示出了本发明实施例提供的一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器31、存储器32、总线33及存储在存储器32上并可在处理器31上运行的计算机程序；
其中，所述处理器31，存储器32通过所述总线33完成相互间的通信；
所述处理器31执行所述计算机程序时实现上述各方法实施例所提供的方法，例如包括：从电能质量终端获取电能质量基础数据，将所述电能质量基础数据按照统一数据格式进行转换并存储到Hadoop分布式平台；基于预先构建的数据清洗规则，利用Hadoop分布式平台对转换后的电能质量基础数据进行清洗，获得电能质量数据；对清洗后的电能质量数据按照日、月、年的维度进行计算，产生电能质量计算结果数据；基于所述预先构建的数据清洗规则，利用Hadoop分布式平台对所述电能质量计算结果数据进行清洗，获得最终的电能质量数据。
本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例所提供的方法，例如包括：从电能质量终端获取电能质量基础数据，将所述电能质量基础数据按照统一数据格式进行转换并存储到Hadoop分布式平台；基于预先构建的数据清洗规则，利用Hadoop分布式平台对转换后的电能质量基础数据进行清洗，获得电能质量数据；对清洗后的电能质量数据按照日、月、年的维度进行计算，产生电能质量计算结果数据；基于所述预先构建的数据清洗规则，利用Hadoop分布式平台对所述电能质量计算结果数据进行清洗，获得最终的电能质量数据。
本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置/系统。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种电能质量数据清洗方法，其特征在于，包括：
从电能质量终端获取电能质量基础数据，将所述电能质量基础数据按照统一数据格式进行转换并存储到Hadoop分布式平台；
基于预先构建的数据清洗规则，利用Hadoop分布式平台对转换后的电能质量基础数据进行清洗，获得电能质量数据；
对清洗后的电能质量数据按照日、月、年的维度进行计算，产生电能质量计算结果数据；
基于所述预先构建的数据清洗规则，利用Hadoop分布式平台对所述电能质量计算结果数据进行清洗，获得最终的电能质量数据。
2.根据权利要求1所述的方法，其特征在于，在基于预先构建的数据清洗规则，利用Hadoop分布式平台对转换后的电能质量基础数据进行清洗之前，所述方法还包括：
预先构建数据清洗规则。
3.根据权利要求1所述的方法，其特征在于，所述统一数据格式包括：行键、列和值；
其中：
行键：指标名称+监测点ID+对应频率+相别+采样率+值类型+精度与单位+时间量测；
列：时间偏移量；
值：量测值字面量，列值。
4.根据权利要求3所述的方法，其特征在于，所述数据清洗规则，包括：数据属性缺失规则和数据属性异常规则；
其中，所述数据属性缺失规则，包括：对于任意一条数据记录：若该条数据记录的行键存在属性值缺失，则不会产生该条数据记录；若该条数据记录的非行键存在属性值缺失，对于属性值缺失的任一属性，取该条数据记录中该属性前后相邻时刻数值的平均值替代该属性的属性值，若该属性前后相邻时刻数值也存在为空情况，则取不为空的相邻数据值替代该属性的属性值，若该条数据记录中非行键的属性值全部缺失，则剔除该条数据记录；
所述数据属性异常规则，包括：判断数据记录所有属性是否满足合理规则库中该属性对应的取值范围，所述合理规则库是根据常识性规则和业务特定规则预先构建的；若数据记录任一属性不满足合理规则库中该属性对应的取值范围，则确定该属性为异常，将该属性进行清除，然后按照所述数据属性缺失规则进行属性替代。
5.根据权利要求4所述的方法，其特征在于，所述基于预先构建的数据清洗规则，利用Hadoop分布式平台对转换后的电能质量基础数据进行清洗，获得电能质量数据，包括：
按照预先构建的数据清洗规则，从转换后的电能质量基础数据中获取待清洗数据；
根据所述数据清洗规则，在Hadoop分布式平台中对待清洗数据进行分布式清洗；
检验本次分布式清洗完成后的数据是否满足所述数据清洗规则；
若本次分布式清洗完成后的数据满足所述数据清洗规则，则将本次分布式清洗完成后的数据作为待清洗数据，返回所述根据所述数据清洗规则，在Hadoop分布式平台中对待清洗数据进行分布式清洗的步骤，直至本次分布式清洗完成后的数据不满足所述数据清洗规则，将本次分布式清洗完成后的数据作为电能质量数据输出；
相应地，所述基于所述预先构建的数据清洗规则，利用Hadoop分布式平台对所述电能质量计算结果数据进行清洗，获得最终的电能质量数据，包括：
按照预先构建的数据清洗规则，从所述电能质量计算结果数据中获取待清洗数据；
根据所述数据清洗规则，在Hadoop分布式平台中对待清洗数据进行分布式清洗；
检验本次分布式清洗完成后的数据是否满足所述数据清洗规则；
若本次分布式清洗完成后的数据满足所述数据清洗规则，则将本次分布式清洗完成后的数据作为待清洗数据，返回所述根据所述数据清洗规则，在Hadoop分布式平台中对待清洗数据进行分布式清洗的步骤，直至本次分布式清洗完成后的数据不满足所述数据清洗规则，将本次分布式清洗完成后的数据作为最终的电能质量数据输出。
6.根据权利要求1所述的方法，其特征在于，在基于所述预先构建的数据清洗规则，利用Hadoop分布式平台对所述电能质量计算结果数据进行清洗，获得最终的电能质量数据之后，所述方法还包括：
利用预先构建的数据质量评价体系，对所述最终的电能质量数据的数据质量进行评价。
7.根据权利要求6所述的方法，其特征在于，在利用预先构建的数据质量评价体系，对所述最终的电能质量数据的数据质量进行评价之前，所述方法还包括：
预先构建数据质量评价体系。
8.一种电能质量数据清洗装置，其特征在于，包括：
格式转换模块，用于从电能质量终端获取电能质量基础数据，将所述电能质量基础数据按照统一数据格式进行转换并存储到Hadoop分布式平台；
第一清洗模块，用于基于预先构建的数据清洗规则，利用Hadoop分布式平台对转换后的电能质量基础数据进行清洗，获得电能质量数据；
计算模块，用于对清洗后的电能质量数据按照日、月、年的维度进行计算，产生电能质量计算结果数据；
第二清洗模块，用于基于所述预先构建的数据清洗规则，利用Hadoop分布式平台对所述电能质量计算结果数据进行清洗，获得最终的电能质量数据。
9.一种电子设备，其特征在于，包括：处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序；
其中，所述处理器，存储器通过所述总线完成相互间的通信；
所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810646690.6A CN109033174A (zh) | 2018-06-21 | 2018-06-21 | 一种电能质量数据清洗方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810646690.6A CN109033174A (zh) | 2018-06-21 | 2018-06-21 | 一种电能质量数据清洗方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109033174A true CN109033174A (zh) | 2018-12-18 |
Family
ID=64610753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810646690.6A Pending CN109033174A (zh) | 2018-06-21 | 2018-06-21 | 一种电能质量数据清洗方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109033174A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110571925A (zh) * | 2019-08-19 | 2019-12-13 | 西安理工大学 | 一种利用配电网监测终端数据分析电能质量的方法 |
| CN111858732A (zh) * | 2020-07-14 | 2020-10-30 | 北京北大软件工程股份有限公司 | 数据融合方法及终端 |
| CN112214481A (zh) * | 2020-10-27 | 2021-01-12 | 深圳供电局有限公司 | 一种电能质量数据的数据清洗方法 |
| CN112241403A (zh) * | 2020-10-29 | 2021-01-19 | 深圳供电局有限公司 | 一种典型场景的电能质量数据清洗方法及系统 |
| CN113190543A (zh) * | 2021-05-24 | 2021-07-30 | 全球能源互联网研究院有限公司 | 一种数据清洗方法、装置、电子设备及存储介质 |
| CN113379275A (zh) * | 2021-06-22 | 2021-09-10 | 南方电网数字电网研究院有限公司 | 一种基于电能量的数据管理方法、系统、设备及存储介质 |
| CN113535734A (zh) * | 2021-07-26 | 2021-10-22 | 安徽容知日新科技股份有限公司 | 一种数据存储方法、数据查询方法和计算设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104750861A (zh) * | 2015-04-16 | 2015-07-01 | 中国电力科学研究院 | 一种储能电站海量数据清洗方法及系统 |
| CN105138650A (zh) * | 2015-08-28 | 2015-12-09 | 成都康赛信息技术有限公司 | 一种基于孤立点挖掘的Hadoop数据清洗方法及系统 |
| CN105956015A (zh) * | 2016-04-22 | 2016-09-21 | 四川中软科技有限公司 | 一种基于大数据的服务平台整合方法 |
| CN106161138A (zh) * | 2016-06-17 | 2016-11-23 | 贵州电网有限责任公司贵阳供电局 | 一种智能自动计量方法及装置 |
| CN106202569A (zh) * | 2016-08-09 | 2016-12-07 | 北京北信源软件股份有限公司 | 一种基于大数据量的清洗方法 |
| CN106709003A (zh) * | 2016-12-23 | 2017-05-24 | 长沙理工大学 | 基于Hadoop的海量日志数据处理方法 |
| CN106777141A (zh) * | 2016-12-19 | 2017-05-31 | 国网山东省电力公司电力科学研究院 | 一种融合多源异构电网数据的获取和分布式存储方法 |
| CN107368957A (zh) * | 2017-07-04 | 2017-11-21 | 广西电网有限责任公司电力科学研究院 | 一种设备状态监测数据质量评测体系的构建方法 |
-
2018
- 2018-06-21 CN CN201810646690.6A patent/CN109033174A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104750861A (zh) * | 2015-04-16 | 2015-07-01 | 中国电力科学研究院 | 一种储能电站海量数据清洗方法及系统 |
| CN105138650A (zh) * | 2015-08-28 | 2015-12-09 | 成都康赛信息技术有限公司 | 一种基于孤立点挖掘的Hadoop数据清洗方法及系统 |
| CN105956015A (zh) * | 2016-04-22 | 2016-09-21 | 四川中软科技有限公司 | 一种基于大数据的服务平台整合方法 |
| CN106161138A (zh) * | 2016-06-17 | 2016-11-23 | 贵州电网有限责任公司贵阳供电局 | 一种智能自动计量方法及装置 |
| CN106202569A (zh) * | 2016-08-09 | 2016-12-07 | 北京北信源软件股份有限公司 | 一种基于大数据量的清洗方法 |
| CN106777141A (zh) * | 2016-12-19 | 2017-05-31 | 国网山东省电力公司电力科学研究院 | 一种融合多源异构电网数据的获取和分布式存储方法 |
| CN106709003A (zh) * | 2016-12-23 | 2017-05-24 | 长沙理工大学 | 基于Hadoop的海量日志数据处理方法 |
| CN107368957A (zh) * | 2017-07-04 | 2017-11-21 | 广西电网有限责任公司电力科学研究院 | 一种设备状态监测数据质量评测体系的构建方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110571925A (zh) * | 2019-08-19 | 2019-12-13 | 西安理工大学 | 一种利用配电网监测终端数据分析电能质量的方法 |
| CN111858732A (zh) * | 2020-07-14 | 2020-10-30 | 北京北大软件工程股份有限公司 | 数据融合方法及终端 |
| CN111858732B (zh) * | 2020-07-14 | 2024-04-05 | 北京北大软件工程股份有限公司 | 数据融合方法及终端 |
| CN112214481A (zh) * | 2020-10-27 | 2021-01-12 | 深圳供电局有限公司 | 一种电能质量数据的数据清洗方法 |
| CN112241403A (zh) * | 2020-10-29 | 2021-01-19 | 深圳供电局有限公司 | 一种典型场景的电能质量数据清洗方法及系统 |
| CN113190543A (zh) * | 2021-05-24 | 2021-07-30 | 全球能源互联网研究院有限公司 | 一种数据清洗方法、装置、电子设备及存储介质 |
| CN113379275A (zh) * | 2021-06-22 | 2021-09-10 | 南方电网数字电网研究院有限公司 | 一种基于电能量的数据管理方法、系统、设备及存储介质 |
| CN113535734A (zh) * | 2021-07-26 | 2021-10-22 | 安徽容知日新科技股份有限公司 | 一种数据存储方法、数据查询方法和计算设备 |
| CN113535734B (zh) * | 2021-07-26 | 2023-07-07 | 安徽容知日新科技股份有限公司 | 一种数据存储方法、数据查询方法和计算设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109033174A (zh) | 一种电能质量数据清洗方法及装置 | |
| CN110231528B (zh) | 基于负荷特征模型库的变压器户变异常识别方法及装置 | |
| US9753066B2 (en) | Methods and apparatus of analyzing electrical power grid data | |
| US20120089384A1 (en) | Historic storage of dual layer power grid connectivity model | |
| CN102914761B (zh) | 一种智能电能表质量监控系统及监控方法 | |
| CN110827968A (zh) | 基于大数据的医疗设备评价方法、系统及电子装置和服务器 | |
| CN109542789A (zh) | 一种代码覆盖率统计方法及装置 | |
| CN107741577A (zh) | 一种关口表准确度在线监控和分析方法及系统 | |
| CN103020433B (zh) | 一种电力设备状态的评价方法 | |
| CN109711570A (zh) | 设备运行检测的方法、装置、设备和介质 | |
| CN114265001B (zh) | 一种智能电表计量误差评估方法 | |
| CN114915546A (zh) | 一种停电用户定位方法、装置、设备、介质 | |
| CN111061802B (zh) | 一种电力数据管理处理方法、装置及存储介质 | |
| CN111737249A (zh) | 基于Lasso算法的异常数据检测方法及装置 | |
| CN107944659A (zh) | 一种厂站监控系统报表自动生成方法与装置 | |
| CN110322287A (zh) | 一种业务区域筛选方法及装置 | |
| CN113985339A (zh) | 智能电表的误差诊断方法及系统、设备、存储介质 | |
| CN117390015A (zh) | 电池护照的存储方法、设备及存储介质 | |
| CN105975595B (zh) | 一种实时数据中心数据质量监测考核方法 | |
| Romero et al. | Web based management system for power quality assessment and detection of critical zones | |
| CN111178676A (zh) | 一种配电网项目投资评估方法及系统 | |
| CN113850494A (zh) | 一种数据加载方法、装置、电子设备及存储介质 | |
| JP2012173265A (ja) | 消費エネルギー按分計算装置 | |
| CN113376564B (zh) | 基于数据分析的智能电表计量校正方法、装置及终端 | |
| CN112345972B (zh) | 基于停电事件的配电网线变关系异常诊断方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20181226 Address after: Room B209, 1st floor, No. 8, 29 Wangxi Road, Northeast of Zhongguancun Software Park, Haidian District, Beijing, 100193 Applicant after: BEIJING NETSTONE ACCENTURE INFORMATION TECHNOLOGY CO., LTD. Applicant after: STATE GRID INFORMATION & TELECOMMUNICATION GROUP CO., LTD. Applicant after: Information communication branch company of State Grid Jibei Electric Power Co., Ltd. Applicant after: State Grid Corporation of China Applicant after: State Grid Shanghai Municipal Electric Power Company Address before: Room B209, 1st floor, No. 8, 29 Wangxi Road, Northeast of Zhongguancun Software Park, Haidian District, Beijing, 100193 Applicant before: BEIJING NETSTONE ACCENTURE INFORMATION TECHNOLOGY CO., LTD. Applicant before: STATE GRID INFORMATION & TELECOMMUNICATION GROUP CO., LTD. Applicant before: Information communication branch company of State Grid Jibei Electric Power Co., Ltd. Applicant before: State Grid Corporation of China |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |