CN115526346A - 一种电网数据处理方法和系统 - Google Patents

一种电网数据处理方法和系统 Download PDF

Info

Publication number
CN115526346A
CN115526346A CN202211038309.0A CN202211038309A CN115526346A CN 115526346 A CN115526346 A CN 115526346A CN 202211038309 A CN202211038309 A CN 202211038309A CN 115526346 A CN115526346 A CN 115526346A
Authority
CN
China
Prior art keywords
data
power grid
rule
grid data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211038309.0A
Other languages
English (en)
Inventor
陈杰
张玉波
张炜
邬蓉蓉
陈梁远
李珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Guangxi Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Guangxi Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Guangxi Power Grid Co Ltd filed Critical Electric Power Research Institute of Guangxi Power Grid Co Ltd
Priority to CN202211038309.0A priority Critical patent/CN115526346A/zh
Publication of CN115526346A publication Critical patent/CN115526346A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2291—User-Defined Types; Storage management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于电力领域，尤其涉及一种电网数据处理方法和系统，方法包括：建立数据湖以储存电网数据；根据业务关系设置数据标签；根据数据标签选择数据处理规则，以处理采集到的所述电网数据，并将所述电网数据输入所述数据湖。通过建立数据湖以储存电网数据，能够适应电力网络系统复杂的数据环境；根据业务关系设置数据标签，能够提供具体的数据分类理念，提高数据处理的条理性；根据数据标签选择数据处理规则，以处理采集到的所述电网数据，并将所述电网数据输入所述数据湖，能够有效处理复杂环境下的数据。

Description

一种电网数据处理方法和系统
技术领域
本发明属于电力领域，尤其涉及一种电网数据处理方法和系统。
背景技术
电力网络是维护社会运行的重要工业系统，包括电力生产端、电力传输端和用电端。而这三个环节，在实践中会产生大量的电网数据。
现有的数据存储机制，主要停留在将不同来源，不同类型的数据分开储存。但是由于电力网络结构的复杂性，使得保证电力网络正常运行所需要的软硬件要素过多，对应产生的数据的来源、类型和内容的区别很大，不容易进行数据的集中和整合。而分散的数据，不仅对储存介质的数量和质量产生压迫，还不利于电力网络的管理者对采集到的数据进行分析。
甚至由于数据量、数据类型和内容的区别，导致一些数据必须要人工的方式进行输入，而这些人工输入的数据，会由于各种误差导致数据变异，增加数据存储和处理的难度。
为了有效保存以及利用这些数据，需要建立合适的数据处理机制。
发明内容
为了解决或者改善上述问题，本发明提供了一种电网数据处理方法和系统，具体技术方案如下：
本发明提供一种电网数据处理方法，包括：建立数据湖以储存电网数据；根据业务关系设置数据标签；根据数据标签选择数据处理规则，以处理采集到的所述电网数据，并将所述电网数据输入所述数据湖。
优选的，所述建立数据湖以储存电网数据，包括：统计所述数据湖中的数据以建立基于元数据的数据目录。
优选的，所述业务关系包括所述电网数据的所属单位；对应的，所述根据业务关系设置数据标签，包括：根据具体的所述所属单位设置数据标签，以分类并标签化所述电网数据。
优选的，所述根据数据标签选择数据处理规则，包括：选择与所述所属单位匹配的校验规则，以确定采集到的所述电网数据符合所述校验规则；选择与所述所属单位匹配的修正规则，以修正将所述电网数据中不符合的数据；选择自动化规则，以确定所述校验规则和所述修正规则的工作参数。
优选的，所述校验规则，通过所述元数据中的字段确定对应的所述所属单位，并确定所述电网数据是否符合指定的数据格式或者指定的数据内容；所述修正规则，用于检测并替换与所述所属单位不匹配的数据内容或者数据格式。
本发明提供一种电网数据处理系统，包括：第一单元，用于建立数据湖以储存电网数据；第二单元，用于根据业务关系设置数据标签；第三单元，用于根据数据标签选择数据处理规则，以处理采集到的所述电网数据，并将所述电网数据输入所述数据湖。
优选的，所述建立数据湖以储存电网数据，包括：统计所述数据湖中的数据以建立基于元数据的数据目录。
优选的，所述业务关系包括所述电网数据的所属单位；对应的，所述根据业务关系设置数据标签，包括：根据具体的所述所属单位设置数据标签，以分类并标签化所述电网数据。
优选的，所述根据数据标签选择数据处理规则，包括：选择与所述所属单位匹配的校验规则，以确定采集到的所述电网数据符合所述校验规则；选择与所述所属单位匹配的修正规则，以修正将所述电网数据中不符合的数据；
选择自动化规则，以确定所述校验规则和所述修正规则的工作参数。
优选的，所述校验规则，通过所述元数据中的字段确定对应的所述所属单位，并确定所述电网数据是否符合指定的数据格式或者指定的数据内容；所述修正规则，用于检测并替换与所述所属单位不匹配的数据内容或者数据格式。
本发明的有益效果为：通过建立数据湖以储存电网数据，能够适应电力网络系统复杂的数据环境；根据业务关系设置数据标签，能够提供具体的数据分类理念，提高数据处理的条理性；根据数据标签选择数据处理规则，以处理采集到的所述电网数据，并将所述电网数据输入所述数据湖，能够有效处理复杂环境下的数据。
附图说明
图1是根据本发明的电网数据处理方法的示意图；
图2是根据本发明的电网数据处理系统的示意图。
主要附图标记说明：
1-第一单元，2-第二单元，3-第三单元。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
为了解决或者改善对背景所提出的问题，本发明提供如图1所示一种电网数据处理方法，包括：S1、建立数据湖以储存电网数据；S2、根据业务关系设置数据标签；S3、根据数据标签选择数据处理规则，以处理采集到的所述电网数据，并将所述电网数据输入所述数据湖。
电力网络，简称为电网，是维护社会运行的重要工业系统，所以电网运行的稳定性是非常重要的系统属性，为了实现电网运行的稳定，需要对电网运行产生的各种数据进行监控，以掌握电网的运行状态。电网的运行涉及很多因素，例如电网本身的性能，电网受到外界影响产生的变异，电网故障预防和排出手段产生的影响等。这些因素也会产生对应的数据。并且由于这些因素的工作机理不一致，厂家也不一致，导致其输出的数据的格式和内容区别很大。为了提高电网对应的管理方对电网的管理能力，设置数据湖以储存电网数据，其中，数据湖是一类存储数据自然/原始格式的系统或存储，通常是对象块或者文件。数据湖通常是企业中全量数据的单一存储。全量数据包括原始系统所产生的原始数据拷贝以及为了各类任务而产生的转换数据，各类任务包括报表、可视化、高级分析和机器学习。数据湖中包括来自于关系型数据库中的结构化数据（行和列）、半结构化数据（如CSV、日志、XML、JSON）、非结构化数据（如 email、文档、PDF 等）和 二进制数据（如图像、音频、视频）。通过数据湖，能够包容不同各种数据，可以适应电力网络系统复杂的数据环境。电网数据为电力生产、传输、使用过程中产生的数据。
单纯的存储大量的数据，并不能提高数据管理的能力；为了提高数据管理和使用的能力，可以根据根据业务关系设置数据标签。其中，业务关系，是以其在电力系统的具体执行业务作为基础进行描述的相互关系。业务关系主要包括所处环节，例如电力生产（例如不同类型的发电站、发电机）、电力传输（变压设备和电线）和电力消耗（各种电器）。数据标签为用于描述存储的数据的属性的标记。根据业务关系设置数据标签的原理在于，电力系统中，业务之间的重要数据/参数的区别较大，通过区别数据，指定对应的规则，能提高数据存储和读取的效率。
所述建立数据湖以储存电网数据，包括：统计所述数据湖中的数据以建立基于元数据的数据目录。
元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data aboutdata），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录，为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数据检索的目的。通过建立基于元数据的数据目录，能够提高数据存储的条理性。
所述业务关系包括所述电网数据的所属单位；对应的，所述根据业务关系设置数据标签，包括：根据具体的所述所属单位设置数据标签，以分类并标签化所述电网数据。
实际的电力网络工作范围极大，包括的各种设施、装置和器材，对应的管理者会根据地区级别分为若干层级。同时采集到的电网数据数量惊人，并且由于各种原因，导致各个管理者层级之间，数据传输并不是实时，且并不是基层将全部的数据都传输到上级。所以，业务关系中最为常用的部分的数据来源于具体的单位，即数据所属的单位。例如，发电站A~Z，传输线路甲到卯等。更具体的数据分类，发电站A产生的数据包括发电数据、送电数据和员工数据等。通过这样的分类，可以适应基础的数据处理需求。
所述根据数据标签选择数据处理规则，包括：选择与所述所属单位匹配的校验规则，以确定采集到的所述电网数据符合所述校验规则；选择与所述所属单位匹配的修正规则，以修正将所述电网数据中不符合的数据；选择自动化规则，以确定所述校验规则和所述修正规则的工作参数。
所述校验规则，通过所述元数据中的字段确定对应的所述所属单位，并确定所述电网数据是否符合指定的数据格式或者指定的数据内容；所述修正规则，用于检测并替换与所述所属单位不匹配的数据内容或者数据格式。
对元数据中字段（所属单位）在填写的时候输入不规范，在按所属单位进行数据统计分析的时候会存在数据丢失，因此需要进行数据自动化治理。处理过程如下：
定义所属单位字段的校验规则库；
定义所属单位字段的修正规则库；
根据定义的校验规则库进行自动化校验；
根据定义的修正规则库对校验不合格的元数据根据自动化修正。
具体实例包括：
1，仅保留发现部门为"变电管理一所，变电管理二所或输电管理所"的记录；（基于校验规则，确定保留指定单位的数据）
2，仅保留缺陷类别为一次设备缺陷类别的记录；（基于校验规则，确定保留指定设备缺陷类型的数据）
3，仅保留设备类别为一次设备的记录；（基于校验规则，确定保留指定设备类型的数据）
4，如果‘电压等级’=10KV，且“设备类别”为断路器或隔离开关，则将“设备类别”改为“高压柜”；（基于修正规则，修改保留指定单位的数据）
5，对电压等级字段，单位统一为kV。比如有将220kV写为220V的错误记录，需要纠正过来；（基于修正规则，修改保留指定格式的数据）
6，如果变电站类型为”组合电器式，且设备类别为断路器或隔离开关，则改为组合电器；（基于修正规则，修改异常名称的数据为正确的数据）
7，如果电压等级>=110kV，且设备类别为并联电容器或集合式电容器，则改为电容器；（基于修正规则，修改异常名称的数据为正确的数据）
8，识别缺陷描述的关键字，修改缺陷类别：如果匹配了规则，则设置为对应的缺陷类别，如果未匹配并且缺陷类别为未填写，则设置缺陷类别为其他，如果未匹配但是缺陷类别已填写，则默认为其他；（基于自动化规则，设置修改规则）
出于数据处理或者管理的目的，上级管理者或者管理单位，有时候会收集下级数据，此时，针对同一个事件的描述，可能会有区别，即：如果发现部门为‘输电管理所’，用缺陷类别替换设备类别。
本发明提供一种电网数据处理系统，包括：第一单元1，用于建立数据湖以储存电网数据；第二单元2，用于根据业务关系设置数据标签；第三单元3，用于根据数据标签选择数据处理规则，以处理采集到的所述电网数据，并将所述电网数据输入所述数据湖。
所述建立数据湖以储存电网数据，包括：统计所述数据湖中的数据以建立基于元数据的数据目录。
所述业务关系包括所述电网数据的所属单位；对应的，所述根据业务关系设置数据标签，包括：根据具体的所述所属单位设置数据标签，以分类并标签化所述电网数据。
所述根据数据标签选择数据处理规则，包括：选择与所述所属单位匹配的校验规则，以确定采集到的所述电网数据符合所述校验规则；选择与所述所属单位匹配的修正规则，以修正将所述电网数据中不符合的数据；选择自动化规则，以确定所述校验规则和所述修正规则的工作参数。
所述校验规则，通过所述元数据中的字段确定对应的所述所属单位，并确定所述电网数据是否符合指定的数据格式或者指定的数据内容；所述修正规则，用于检测并替换与所述所属单位不匹配的数据内容或者数据格式。
本领域普通技术人员可以意识到，结合本实施例中所公开的实施例描述的各示例的单元，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的实施例中，应该理解到，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元可结合为一个单元，一个单元可拆分为多个单元，或一些特征可以忽略等。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种电网数据处理方法，其特征在于，包括：
建立数据湖以储存电网数据；
根据业务关系设置数据标签；
根据所述数据标签选择数据处理规则，以处理采集到的所述电网数据，并将所述电网数据输入所述数据湖。
2.根据权利要求1所述电网数据处理方法，其特征在于，所述建立数据湖以储存电网数据，包括：
统计所述数据湖中的数据以建立基于元数据的数据目录。
3.根据权利要求2所述电网数据处理方法，其特征在于，所述业务关系包括所述电网数据的所属单位；
对应的，所述根据业务关系设置数据标签，包括：
根据具体的所述所属单位设置数据标签，以分类并标签化所述电网数据。
4.根据权利要求3所述电网数据处理方法，其特征在于，所述根据数据标签选择数据处理规则，包括：
选择与所述所属单位匹配的校验规则，以确定采集到的所述电网数据符合所述校验规则；
选择与所述所属单位匹配的修正规则，以修正将所述电网数据中不符合的数据；
选择自动化规则，以确定所述校验规则和所述修正规则的工作参数。
5.根据权利要求4所述电网数据处理方法，其特征在于，所述校验规则，通过所述元数据中的字段确定对应的所述所属单位，并确定所述电网数据是否符合指定的数据格式或者指定的数据内容；
所述修正规则，用于检测并替换与所述所属单位不匹配的数据内容或者数据格式。
6.一种电网数据处理系统，其特征在于，包括：
第一单元，用于建立数据湖以储存电网数据；
第二单元，用于根据业务关系设置数据标签；
第三单元，用于根据所述数据标签选择数据处理规则，以处理采集到的所述电网数据，并将所述电网数据输入所述数据湖。
7.根据权利要求6所述电网数据处理系统，其特征在于，所述建立数据湖以储存电网数据，包括：
统计所述数据湖中的数据以建立基于元数据的数据目录。
8.根据权利要求7所述电网数据处理系统，其特征在于，所述业务关系包括所述电网数据的所属单位；
对应的，所述根据业务关系设置数据标签，包括：
根据具体的所述所属单位设置数据标签，以分类并标签化所述电网数据。
9.根据权利要求8所述电网数据处理系统，其特征在于，所述根据数据标签选择数据处理规则，包括：
选择与所述所属单位匹配的校验规则，以确定采集到的所述电网数据符合所述校验规则；
选择与所述所属单位匹配的修正规则，以修正将所述电网数据中不符合的数据；
选择自动化规则，以确定所述校验规则和所述修正规则的工作参数。
10.根据权利要求9所述电网数据处理系统，其特征在于，所述校验规则，通过所述元数据中的字段确定对应的所述所属单位，并确定所述电网数据是否符合指定的数据格式或者指定的数据内容；
所述修正规则，用于检测并替换与所述所属单位不匹配的数据内容或者数据格式。
CN202211038309.0A 2022-08-29 2022-08-29 一种电网数据处理方法和系统 Pending CN115526346A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211038309.0A CN115526346A (zh) 2022-08-29 2022-08-29 一种电网数据处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211038309.0A CN115526346A (zh) 2022-08-29 2022-08-29 一种电网数据处理方法和系统

Publications (1)

Publication Number Publication Date
CN115526346A true CN115526346A (zh) 2022-12-27

Family

ID=84697230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211038309.0A Pending CN115526346A (zh) 2022-08-29 2022-08-29 一种电网数据处理方法和系统

Country Status (1)

Country Link
CN (1) CN115526346A (zh)

Similar Documents

Publication Publication Date Title
CN106557991B (zh) 电压监测数据平台
AU2022204116A1 (en) Verification method for electrical grid measurement data
CN111241129B (zh) 一种工业生产企业指标数据采集与计算的系统
CN116500385B (zh) 输电网监测校验方法、装置、设备和介质
CN113612306A (zh) 一种分布式配电柜及其控制系统
CN111737325A (zh) 一种基于大数据技术的电力数据分析方法和装置
CN111917183A (zh) 一种源网荷控制秒级网络远程监控分析平台
CN107819328A (zh) 一种电网故障数据的存储方法及装置
Leao et al. Big data processing for power grid event detection
CN111401028B (zh) 一种核电站rps软件版本的自动化比较方法及装置
CN108258802B (zh) 一种配电网中配电设备的运行状况的监测方法和装置
Guo et al. Big data processing and analysis platform for condition monitoring of electric power system
CN112486959A (zh) 基于图数据库技术的电网动态拓扑结构智能识别方法
CN112700082A (zh) 变电站关口计量大数据分析与在线监测系统和方法
CN117390015A (zh) 电池护照的存储方法、设备及存储介质
CN115526346A (zh) 一种电网数据处理方法和系统
CN111078731A (zh) 基于Hbase的电网运行数据协同查询方法、设备及存储介质
CN111414355A (zh) 一种海上风电场数据监测存储系统及方法、装置
Zhou et al. Research and Implementation of Distribution Network Operating Analysis Platform Based on Multi-source Heterogeneous Data
CN116305781A (zh) 一种配电网模型校验方法
CN116431324A (zh) 一种基于Kafka高并发数据采集与分发的边缘系统
CN116094174A (zh) 基于知识图谱的电网运维监控方法、系统、设备及介质
CN114116252A (zh) 一种调控系统运行量测数据存储系统及方法
CN114049036A (zh) 数据计算平台、方法、设备及存储介质
CN111049157B (zh) 一种配网变压器无功补偿情况分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination