CN113850494A - 一种数据加载方法、装置、电子设备及存储介质 - Google Patents

一种数据加载方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113850494A
CN113850494A CN202111106923.1A CN202111106923A CN113850494A CN 113850494 A CN113850494 A CN 113850494A CN 202111106923 A CN202111106923 A CN 202111106923A CN 113850494 A CN113850494 A CN 113850494A
Authority
CN
China
Prior art keywords
data
power quality
abnormal
samples
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111106923.1A
Other languages
English (en)
Other versions
CN113850494B (zh
Inventor
江嘉铭
阮伟聪
覃高星
钟恒辉
郭咏
董家读
光俊红
谢国财
盖凌云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Energy Investment Co ltd
Guangdong Power Grid Co Ltd
Qingyuan Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Energy Investment Co ltd
Guangdong Power Grid Co Ltd
Qingyuan Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Energy Investment Co ltd, Guangdong Power Grid Co Ltd, Qingyuan Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Energy Investment Co ltd
Priority to CN202111106923.1A priority Critical patent/CN113850494B/zh
Publication of CN113850494A publication Critical patent/CN113850494A/zh
Application granted granted Critical
Publication of CN113850494B publication Critical patent/CN113850494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E40/00—Technologies for an efficient electrical power generation, transmission or distribution
    • Y02E40/70—Smart grids as climate change mitigation technology in the energy generation sector
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Supply And Distribution Of Alternating Current (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例公开了一种数据加载方法、装置、电子设备及存储介质。所述方法包括：获取电能质量终端中的电能质量基础数据，通过数据转换单元对数据进行转换，生成电能质量数据；若检测电能质量数据中存在的异常数据，则确定异常数据的数据类型；根据异常数据的数据类型获取对应的数据清洗规则，并根据所述数据清洗规则对异常数据进行清洗；将清洗后的结果数据保存到Hadoop结果数据库中。采用本申请方案，提升了电网数据加载的灵活性和高效性，可以根据需要对数据加载服务进行横向和/或纵向的扩展，以增大数据的加载能力，减少系统资源的使用。

Description

一种数据加载方法、装置、电子设备及存储介质
技术领域
本发明属于电网管理技术领域，具体涉及一种数据加载方法、装置、电子设备及存储介质。
背景技术
随着电网管理信息化的发展，各供电企业从业务上不同的专业方面，建设了各类信息系统。随着时间的推移、信息化建设的深入，供电企业自身从各个专业方面积累了大量的专题数据。针对这些分散数据的统筹、整合，以便对后续的风险预测、能源管理的建设提供决策参考支撑。随着互联网技术的飞速发展，对电网系统中这些离散数据整理的手段也多了起来。
因此，如何增加电网数据加载的灵活性，是本技术人员亟需解决的问题。
发明内容
本发明实施例提供了一种数据加载方法、装置、电子设备及存储介质，提升了电网数据加载的灵活性和高效性，可以根据需要对数据加载服务进行横向或纵向的扩展，以增大数据的加载能力，减少系统资源的使用。
第一方面，本发明实施例中提供了一种数据加载方法，所述方法包括：
获取电能质量终端中的电能质量基础数据，通过数据转换单元对数据进行转换，生成电能质量数据；
若检测电能质量数据中存在的异常数据，则确定异常数据的数据类型；
根据异常数据的数据类型获取对应的数据清洗规则，并根据所述数据清洗规则对异常数据进行清洗；
将清洗后的结果数据保存到Hadoop结果数据库中。
第二方面，本发明实施例中提供了一种数据加载装置，所述装置包括：
电能质量数据生成模块，用于获取电能质量终端中的电能质量基础数据，通过数据转换单元对数据进行转换，生成电能质量数据；
异常数据类型确定模块，用于检测电能质量数据中存在的异常数据，并确定异常数据的数据类型；
数据清洗模块，用于根据异常数据的数据类型获取对应的数据清洗规则，并根据所述数据清洗规则对异常数据进行清洗；
数据结果保存模块，用于将清洗后的结果数据保存到Hadoop结果数据库中。
第三方面，本发明实施例中还提供了一种电子设备，包括：
一个或多个处理装置；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现如本发明任意实施例中提供的所述数据加载方法。
第四方面，本发明实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理装置执行时实现如本发明任意实施例中提供的所述数据加载方法。
本发明实施例公开了一种数据加载方法、装置、电子设备及存储介质。所述方法包括：获取电能质量终端中的电能质量基础数据，通过数据转换单元对数据进行转换，生成电能质量数据；若检测电能质量数据中存在的异常数据，则确定异常数据的数据类型；根据异常数据的数据类型获取对应的数据清洗规则，并根据所述数据清洗规则对异常数据进行清洗；将清洗后的结果数据保存到Hadoop结果数据库中。采用本申请方案，提升了电网数据加载的灵活性和高效性，可以根据需要对数据加载服务进行横向和/或纵向的扩展，以增大数据的加载能力，减少系统资源的使用。
附图说明
为了更清楚的说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术中描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一种实施方式，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中提供的一种数据加载方法的流程图；
图2是本发明实施例中提供的一种数据加载装置的结构框图；
图3是本发明实施例中提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作(或步骤)可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
下面通过以下各个实施例及其可选方案对本申请中提供的数据加载方法、装置、电子设备及存储介质进行详细阐述。
图1是本发明实施例中提供的一种数据加载方法的流程图。本发明实施例可适用于对电网数据进行加载的情况。该方法可由数据加载装置来执行，该装置可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。如图1所示，本申请实施例中提供的数据加载方法，可包括以下步骤：
S110、获取电能质量终端中的电能质量基础数据，通过数据转换单元对数据进行转换，生成电能质量数据。
其中，电能质量可以是指电力系统中电能的质量，所述电能质量终端中包括docker容器A、中间数据库、docker容器C以及结果数据库，其中：
所述docker容器A内电性连接有数据源连接器；所述数据连接器上设置有数据连接器统一接口，所述数据连接器通过所述数据连接器统一接口和数据转换单元连接；所述docker容器A内电性连接有数据储存单元；所述数据储存单元和所述数据转换单元之间电性连接；
中间数据库：所述中间数据库包含有数据库A、数据库B以及数据库C，所述中间数据库和所述docker容器A之间电性连接；
docker容器C：所述docker容器C中预设有数据清洗规则和多维度统计计算规则，所述docker容器C和所述中间数据库之间电性连接。
结果数据库：所述结果数据库包含结果数据库A、结果数据库B以及结果数据库C，所述结果数据库和所述docker容器C之间电性连接。
电能质量基础数据由于设备的不同导致数据格式不统一，将数据转换成统一格式的数据并实现数据的兼容，同时满足电能质量业务应用分析需求。
可选的，所述数据转换单元内部预设有数据转换方法，所述数据转换方法的使用过程，包括：通过数据识别规则对数据进行识别，将符合条件的数据以json格式返回给调用方；将不符合条件的和/或错误的数据，记录为错误信息，待修正后根据加载规则重新转换并返回给调用方。所述数据识别规则为：将不同设备的电能质量数据进行统一格式的处理。例如，将数据值为3kv的数据转换为3.00kv，将收集到的电能质量数据和预设数据进行比对，其中预设数据为国家电网所规定的电能质量范围，超过最大值或小于最小值的数据标记为不符合条件的数据，其他数据标记为符合条件的数据。
S120、检测电能质量数据中存在的异常数据，并确定异常数据的数据类型。
其中，异常数据可以是指衡量电能质量出现异常的指标数据，异常数据包括但不限于电网频率偏差、电压偏差、谐波和间谐波、三相电压不平衡、电压的波动和电压的闪变等。将检测到的电能质量数据和预设数据进行比对，其中预设数据为国家电网所规定的电能质量范围，超过最大值或小于最小值的数据标记为不符合条件的数据，其他数据标记为符合条件的数据，
S130、根据异常数据的数据类型获取对应的数据清洗规则以及多维度统计规则，并根据数据清洗规则对数据进行清洗。
其中，数据清洗可以是指对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误数据，并提供数据一致性；可以是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。
可选的，所述数据清洗规则包括：
针对电流数据，针对电流数据，每半时取1个数据点，一天共获取48个数据点，所述48个数据点中，空值超过7个的样本，该天样本视为无效样本，对其进行剔除，保留其余样本作为训练数据；每天48个数据点中，若零值超过7个的样本，则该天样本视为无效样本，对其进行剔除，保留其余样本作为训练数据；
针对电量数据，剔除电量为零和/或为空的样本；
针对采集成功率，剔除采集成功率不等于100％的样本；
针对数据源区域选取，新增区域不参与计算，已拆除区域不参与计算。
对数据进行清洗，改善了数据质量，提高了电能质量数据分析和评估的准确性。
其中，电能质量基础数据由于设备的不同导致数据格式不统一，需转换成统一格式的数据实现数据的兼容，多维度统计计算规则采用如下公式：
Figure BDA0003272798060000061
其中，ΔA表示三相负荷平衡时的损电量，N表示电力网结构系数，单相供电取2，三相三线制时取3，三相四线制时取3.5，k表示形状系数，l表示线路首端平均电流，R表示低压线路等值电阻，T表示运行时间，D表示全月日历天数，ΔAD表示各类型电能表月损耗，m表示各类型电能表个数，ΔAc表示无功补偿设备的损耗。
将电能质量基础数据按照统一的数据格式进行转换存储，实现了将异构电能质量数据兼容并存，同时提高了数据索引以及查询效率。
S140、将清洗后的结果数据保存到Hadoop结果数据库中。
其中，将电能质量基础数据进行清洗后，保存清洗后的结果数据至Hadoop结果数据库中，包括：
提交源代码至Git仓库；
在Jenkins中构建发布，将自动化测试的结果发送给已配置的开发人员；
若测试无问题，则Jenkins将自动创建镜像，部署相应的新版本的微服务程序至docker容器中；若测试出现问题，则将测试问题自动发送至开发人员。
其中，电能质量终端在基于容器的虚拟化的应用环境中，部署在Docker容器中。DevOps技术栈中的Jenkins能够自动化开发以及测试，对开发人员提交的源代码进行测试，能够及时发现问题，及时更正。
本发明实施例提供了一种数据加载方法，通过获取电能质量终端中的电能质量基础数据，通过数据转换单元对数据进行转换，生成电能质量数据；检测电能质量数据中存在的异常数据，并确定异常数据的数据类型；根据异常数据的数据类型获取对应的数据清洗规则，并根据数据清洗规则对数据进行清洗；将清洗后的结果数据保存到Hadoop结果数据库中。采用本申请方案，对由于设备的不同导致数据格式不统一，将数据转换成统一格式的数据并实现数据的兼容，同时满足电能质量业务应用分析需求；对数据进行清洗并删除重复信息，纠正了存在的错误数据，并提供了数据一致性，改善了数据质量，提高了电能质量数据分析和评估的准确性；提升了电网数据加载的灵活性和高效性，可以根据需要对数据加载服务进行横向和/或纵向的扩展，以增大数据的加载能力，减少系统资源的使用。
图2是本发明实施例中提供的一种数据加载装置的结构框图。本发明实施例可适用于对电网数据进行加载的情况。该装置可以采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。如图2所示，本申请实施例中提供的数据加载装置，可包括以下：电能质量数据生成模块210、异常数据类型确定模块220、数据清洗模块230和数据结果保存模块240。
电能质量数据生成模块210，用于获取电能质量终端中的电能质量基础数据，通过数据转换单元对数据进行转换，生成电能质量数据；
异常数据类型确定模块220，用于检测电能质量数据中存在的异常数据，并确定异常数据的数据类型；
数据清洗模块230，用于根据异常数据的数据类型获取对应的数据清洗规则，并根据所述数据清洗规则对异常数据进行清洗；
数据结果保存模块240，用于将清洗后的结果数据保存到Hadoop结果数据库中。
在上述实施例的基础上，可选地，所述电能质量终端中包括docker容器A、中间数据库、docker容器C以及结果数据库。
在上述实施例的基础上，可选地，所述数据转换单元内部预设有数据转换方法，所述数据转换方法的使用过程，包括：
通过数据识别规则对数据进行识别，将符合条件的数据以json格式返回给调用方；将不符合条件的和/或错误的数据，记录为错误信息，待修正后根据加载规则重新转换并返回给调用方。
在上述实施例的基础上，可选地，所述数据识别规则为：将不同设备的电能质量数据进行统一格式的处理。
在上述实施例的基础上，可选地，所述数据清洗规则为：
针对电流数据，每半时取1个数据点，一天共获取48个数据点，所述48个数据点中，空值超过7个的样本，该天样本视为无效样本，对其进行剔除，保留其余样本作为训练数据；
每天48个数据点中，零值超过7个的样本，该天样本视为无效样本，对其进行剔除，保留其余样本作为训练数据；
针对电量数据，剔除电量为零和/或为空的样本；
针对采集成功率，剔除采集成功率不等于100％的样本；
针对数据源区域选取，新增区域不参与计算，已拆除区域不参与计算。
在上述实施例的基础上，可选地，所述多维度统计计算规则采用如下公式：
Figure BDA0003272798060000091
其中，ΔA表示三相负荷平衡时的损电量，N表示电力网结构系数，单相供电取2，三相三线制时取3，三相四线制时取3.5，k表示形状系数，l表示线路首端平均电流，R表示低压线路等值电阻，T表示运行时间，D表示全月日历天数，ΔAD表示各类型电能表月损耗，m表示各类型电能表个数，ΔAc表示无功补偿设备的损耗。
在上述实施例的基础上，可选地，所述数据结果保存模块240包括：
提交源代码至Git仓库；
在Jenkins中构建发布，将自动化测试的结果发送给已配置的开发人员；
若测试无问题，则Jenkins将自动创建镜像，部署相应的新版本的微服务程序至docker容器中；若测试出现问题，则将测试问题自动发送至开发人员。
本发明实施例中所提供的数据加载装置可执行上述本发明任意实施例中所提供的数据加载方法，具备执行该数据加载方法相应的功能和有益效果，详细过程参见前述实施例中数据加载方法的相关操作。
图3是本发明实施例中提供的一种电子设备的结构示意图。如图3所示结构，本发明实施例中提供的电子设备包括：一个或多个处理器310和存储装置320；该电子设备中的处理器310可以是一个或多个，图3中以一个处理器310为例；存储装置320用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器310执行，使得所述一个或多个处理器310实现如本发明实施例中任一项所述的数据加载方法。
该电子设备还可以包括：输入装置330和输出装置340。
该电子设备中的处理器310、存储装置320、输入装置330和输出装置340可以通过总线或其他方式连接，图3中以通过总线350连接为例。
该电子设备中的存储装置320作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例中所提供的数据加载方法对应的程序指令/模块。处理器310通过运行存储在存储装置320中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中数据加载方法。
存储装置320可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储装置320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置320可进一步包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置330可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
并且，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器310执行时，程序进行如下操作：
获取电能质量终端中的电能质量基础数据，通过数据转换单元对数据进行转换，生成电能质量数据；
若检测电能质量数据中存在的异常数据，则确定异常数据的数据类型；
根据异常数据的数据类型获取对应的数据清洗规则，并根据所述数据清洗规则对异常数据进行清洗；
将清洗后的结果数据保存到Hadoop结果数据库中。
当然，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器310执行时，程序还可以进行本发明任意实施例中所提供的数据加载方法中的相关操作。
本发明实施例中提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时用于执行数据加载方法，该方法包括：
获取电能质量终端中的电能质量基础数据，通过数据转换单元对数据进行转换，生成电能质量数据；
若检测电能质量数据中存在的异常数据，则确定异常数据的数据类型；
根据异常数据的数据类型获取对应的数据清洗规则，并根据所述数据清洗规则对异常数据进行清洗；
将清洗后的结果数据保存到Hadoop结果数据库中。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(RadioFrequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据加载方法，特征在于，所述方法包括：
获取电能质量终端中的电能质量基础数据，通过数据转换单元对数据进行转换，生成电能质量数据；
若检测电能质量数据中存在的异常数据，则确定异常数据的数据类型；
根据异常数据的数据类型获取对应的数据清洗规则，并根据所述数据清洗规则对异常数据进行清洗；
将清洗后的结果数据保存到Hadoop结果数据库中。
2.根据权利要求1所述的方法，其特征在于，所述电能质量终端中包括docker容器A、中间数据库、docker容器C以及结果数据库。
3.根据权利要求1所述的方法，其特征在于，所述数据转换单元内部预设有数据转换方法，所述数据转换方法的使用过程，包括：
通过数据识别规则对数据进行识别，将符合条件的数据以json格式返回给调用方；将不符合条件的和/或错误的数据，记录为错误信息，待修正后根据加载规则重新转换并返回给调用方。
4.根据权利要求3所述的方法，其特征在于，所述数据识别规则为：将不同设备的电能质量数据进行统一格式的处理。
5.根据权利要求1所述的方法，其特征在于，所述数据清洗规则为：
针对电流数据，每半时取1个数据点，一天共获取48个数据点，所述48个数据点中，空值超过7个的样本，该天样本视为无效样本，对其进行剔除，保留其余样本作为训练数据；
每天48个数据点中，零值超过7个的样本，该天样本视为无效样本，对其进行剔除，保留其余样本作为训练数据；
针对电量数据，剔除电量为零和/或为空的样本；
针对采集成功率，剔除采集成功率不等于100％的样本；
针对数据源区域选取，新增区域不参与计算，已拆除区域不参与计算。
6.根据权利要求1所述的方法，其特征在于，所述多维度统计计算规则采用如下公式：
Figure FDA0003272798050000021
其中，ΔA表示三相负荷平衡时的损电量，N表示电力网结构系数，单相供电取2，三相三线制时取3，三相四线制时取3.5，k表示形状系数，l表示线路首端平均电流，R表示低压线路等值电阻，T表示运行时间，D表示全月日历天数，ΔAD表示各类型电能表月损耗，m表示各类型电能表个数，ΔAc表示无功补偿设备的损耗。
7.根据权利要求1所述的方法，其特征在于，所述将清洗后的结果数据保存到Hadoop结果数据库中包括：
提交源代码至Git仓库；
在Jenkins中构建发布，将自动化测试的结果发送给已配置的开发人员；
若测试无问题，则Jenkins将自动创建镜像，部署相应的新版本的微服务程序至docker容器中；若测试出现问题，则将测试问题自动发送至开发人员。
8.一种数据加载装置，其特征在于，所述装置包括：
电能质量数据生成模块，用于获取电能质量终端中的电能质量基础数据，通过数据转换单元对数据进行转换，生成电能质量数据；
异常数据类型确定模块，用于检测电能质量数据中存在的异常数据，并确定异常数据的数据类型；
数据清洗模块，用于根据异常数据的数据类型获取对应的数据清洗规则，并根据所述数据清洗规则对异常数据进行清洗；
数据结果保存模块，用于将清洗后的结果数据保存到Hadoop结果数据库中。
9.一种电子设备，其特征在于，包括：
一个或多个处理装置；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现权利要求1-7中任一所述的数据加载方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-7中任一所述的数据加载方法。
CN202111106923.1A 2021-09-22 2021-09-22 一种数据加载方法、装置、电子设备及存储介质 Active CN113850494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111106923.1A CN113850494B (zh) 2021-09-22 2021-09-22 一种数据加载方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111106923.1A CN113850494B (zh) 2021-09-22 2021-09-22 一种数据加载方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113850494A true CN113850494A (zh) 2021-12-28
CN113850494B CN113850494B (zh) 2024-06-11

Family

ID=78974787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111106923.1A Active CN113850494B (zh) 2021-09-22 2021-09-22 一种数据加载方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113850494B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115203192A (zh) * 2022-09-15 2022-10-18 北京清众神州大数据有限公司 一种基于可视化数据的清洗方法、装置及相关组件

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102570608A (zh) * 2012-01-04 2012-07-11 天津市电力公司 智能电网电能质量监测系统
CN105375477A (zh) * 2015-11-27 2016-03-02 国网重庆市电力公司电力科学研究院 一种农村配电网线损计算方法及系统
CN109033174A (zh) * 2018-06-21 2018-12-18 北京国网信通埃森哲信息技术有限公司 一种电能质量数据清洗方法及装置
CN110879805A (zh) * 2019-11-22 2020-03-13 北京锐安科技有限公司 一种数据异常发现方法、装置、服务器及存储介质
CN111680475A (zh) * 2020-04-28 2020-09-18 五八有限公司 一种数据转换方法、装置、电子设备及存储介质
CN111723085A (zh) * 2020-06-28 2020-09-29 山东建筑大学 公共建筑空调用电能耗数据清洗方法及系统
CN112214481A (zh) * 2020-10-27 2021-01-12 深圳供电局有限公司 一种电能质量数据的数据清洗方法
CN112965694A (zh) * 2021-02-26 2021-06-15 上海微盟企业发展有限公司 一种数据处理方法、装置、设备及存储介质
CN112965786A (zh) * 2021-03-10 2021-06-15 神州数码融信云技术服务有限公司 一种基于容器化的持续集成和持续交付方法及装置
CN113377752A (zh) * 2021-06-04 2021-09-10 深圳力维智联技术有限公司 数据的清洗方法、装置、系统及计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102570608A (zh) * 2012-01-04 2012-07-11 天津市电力公司 智能电网电能质量监测系统
CN105375477A (zh) * 2015-11-27 2016-03-02 国网重庆市电力公司电力科学研究院 一种农村配电网线损计算方法及系统
CN109033174A (zh) * 2018-06-21 2018-12-18 北京国网信通埃森哲信息技术有限公司 一种电能质量数据清洗方法及装置
CN110879805A (zh) * 2019-11-22 2020-03-13 北京锐安科技有限公司 一种数据异常发现方法、装置、服务器及存储介质
CN111680475A (zh) * 2020-04-28 2020-09-18 五八有限公司 一种数据转换方法、装置、电子设备及存储介质
CN111723085A (zh) * 2020-06-28 2020-09-29 山东建筑大学 公共建筑空调用电能耗数据清洗方法及系统
CN112214481A (zh) * 2020-10-27 2021-01-12 深圳供电局有限公司 一种电能质量数据的数据清洗方法
CN112965694A (zh) * 2021-02-26 2021-06-15 上海微盟企业发展有限公司 一种数据处理方法、装置、设备及存储介质
CN112965786A (zh) * 2021-03-10 2021-06-15 神州数码融信云技术服务有限公司 一种基于容器化的持续集成和持续交付方法及装置
CN113377752A (zh) * 2021-06-04 2021-09-10 深圳力维智联技术有限公司 数据的清洗方法、装置、系统及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王瑞杰: "面向电力调度控制系统的多源异构数据处理方法研究", 中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑, no. 3, 15 March 2018 (2018-03-15), pages 042 - 1944 *
雷雨: "面向电网大数据的数据清洗子系统设计与实现", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 11, 15 November 2018 (2018-11-15), pages 138 - 248 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115203192A (zh) * 2022-09-15 2022-10-18 北京清众神州大数据有限公司 一种基于可视化数据的清洗方法、装置及相关组件
CN115203192B (zh) * 2022-09-15 2023-03-03 北京清众神州大数据有限公司 一种基于可视化数据的清洗方法、装置及相关组件

Also Published As

Publication number Publication date
CN113850494B (zh) 2024-06-11

Similar Documents

Publication Publication Date Title
US9625887B2 (en) Contingency screening in multi-control area electrical power systems using coordinated DC power flow
CN108197774B (zh) 一种分布式光伏发电量异常诊断的方法及装置
CN109033174A (zh) 一种电能质量数据清洗方法及装置
CN114565779B (zh) 一种低压台区户变拓扑辨识方法及系统
CN112288303A (zh) 确定线损率的方式、装置
CN113985339A (zh) 智能电表的误差诊断方法及系统、设备、存储介质
CN112014737A (zh) 一种电芯的健康状态的检测方法、装置、设备及存储介质
CN114757478A (zh) 电能采集异常的监控方法、监控器、系统以及电子设备
CN111061802B (zh) 一种电力数据管理处理方法、装置及存储介质
CN113850494A (zh) 一种数据加载方法、装置、电子设备及存储介质
CN113379335B (zh) 电力物资抽检方法、装置、电子设备和计算机可读介质
CN115267641B (zh) 同塔双回输电线路中电流互感器误差异常识别方法、系统
CN113868821B (zh) 一种基于营配大数据融合的配网降损方法及终端机
CN115765153A (zh) 电力一次设备物联网与在线监测数据融合监测方法及系统
CN113361983B (zh) 一种高损台区技术成因诊断方法及系统
CN115269418A (zh) 一种覆盖率采集方法、装置、设备及存储介质
CN114814695A (zh) 数据处理方法、装置、电子设备及存储介质
CN113112127A (zh) 基于人工智能的计量管理方法及系统
CN110807607A (zh) 一种基于大数据平台的低电压台区核查方法及相关装置
CN116894568B (zh) 一种充电桩的碳排放综合管理预测方法及存储介质
LU500121B1 (en) A method, device and equipment for electric meter detecting
CN110827013B (zh) 一种暂停及减容变压器内小微负荷电量的结算方法及系统
CN114545067A (zh) 用电线路线损的分析方法、装置、电子设备及存储介质
CN115563267A (zh) 一种变压器的维护方法及相关设备
CN117390015A (zh) 电池护照的存储方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant