CN106934538B - 一种基于数据血缘和基因比对的电网数据融合方法 - Google Patents
一种基于数据血缘和基因比对的电网数据融合方法 Download PDFInfo
- Publication number
- CN106934538B CN106934538B CN201710123679.7A CN201710123679A CN106934538B CN 106934538 B CN106934538 B CN 106934538B CN 201710123679 A CN201710123679 A CN 201710123679A CN 106934538 B CN106934538 B CN 106934538B
- Authority
- CN
- China
- Prior art keywords
- equipment
- data
- gene
- genes
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 108090000623 proteins and genes Proteins 0.000 title claims abstract description 87
- 239000008280 blood Substances 0.000 title claims abstract description 15
- 210000004369 blood Anatomy 0.000 title claims abstract description 15
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 11
- 238000004220 aggregation Methods 0.000 claims description 35
- 230000002776 aggregation Effects 0.000 claims description 35
- 238000006116 polymerization reaction Methods 0.000 claims description 10
- 230000004931 aggregating effect Effects 0.000 claims description 7
- 238000013499 data model Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 3
- 230000000379 polymerizing effect Effects 0.000 claims description 2
- 230000002068 genetic effect Effects 0.000 claims 1
- 238000007726 management method Methods 0.000 abstract description 11
- 230000004927 fusion Effects 0.000 abstract description 5
- 238000013523 data management Methods 0.000 abstract description 4
- 238000013439 planning Methods 0.000 abstract description 4
- 238000000034 method Methods 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 239000002245 particle Substances 0.000 abstract 1
- 238000010276 construction Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000009751 slip forming Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Water Supply & Treatment (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- General Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于数据血缘和基因比对的电网数据融合方法，属于电网运营监测管理领域。该方法通过构建各部门业务系统数据之间的血缘关系，根据数据血缘关系把不同部门的业务单元进行基因对比和关联，有效解决多个电网多个业务系统数据之间的关联关系缺乏统一规划和管理、业务数据颗粒维度不统一、数据治理困难、数据融合困难的实际问题。
Description
技术领域
本发明涉及电网运营监测管理领域，具体是一种基于数据血缘和基因比对的电网数据融合方法。
背景技术
数据以定性和定量的方式地描述事物的特征和状况，随着对客观事物认识的不断深入，不断形成新的描述数据和活动数据，而其信息主体则是稳定的，因此貌似松散无序的描述信息主体的数据之间存在一种牢固的血缘数据关系。数据起源、进化和血缘分析等相关科学为基因比对技术提供了理论基础，但缺乏实用的数据融合方法。
目前，大规模、多区域微电网的模型管理工作中，存在如下问题：
电网业务系统建设缺乏统一规划和管理，由于电网企业业务系统的建设缺乏统一规划，实际数据模型与公共数据模型标准存在差异，专业条块化管理使各系统的数据编码、命名规则不统一，业务管理颗粒度和数据模型不一致，跨部门数据无法关联，数据融合困难，成为数据资产价值挖掘需要突破的瓶颈。
发明内容
本发明提供一种基于数据血缘和基因比对的电网数据融合方法，可以优化电网企业的数据管理和数据融合，突破业务系统建设的限制，实现跨系统、业务管理颗粒度的数据关联和数据治理，为实现基于数据融合的电网业务数据统一深度挖掘、开展大数据分析和应用奠定基础。
本发明采用的技术解决方案是：
一种基于数据血缘和基因比对的电网数据融合方法，包括以下步骤:
步骤一、生成数据血缘关系；
步骤二、进行数据比对，输出数据比对结果；
所述步骤一中生成数据血缘关系，包含以下步骤：
(1)、构建描述设备属性的设备基因层，包含多个设备基因，每个基因对应着公共数据模型标准中规定一个设备属性；
(2)、构建描述基本设备类型的设备类型层，包含至少一个电网设备类型，设备类型层中每个设备对应设备基因层中的至少一个设备基因；
(3)、构建描述设备组合关系的聚合设备层，包含至少一个由多种设备类型聚合而成的聚合设备类型；
(4)、构建描述业务数据实际存储的业务系统层，每个业务系统对应一个或者多个聚合设备层；
(5)、将每个设备基因和设备类型、聚合设备类型标记对应的业务系统；
(6)、遍历设备基因层中设备基因，找出各业务系统独有的设备基因和多个业务系统共有的设备基因，对独有设备基因进行分别编码，对共有设备基因进行统一编码；
(7)、遍历聚合设备层，找出各业务系统独有的聚合设备类型和多个业务系统共有的聚合设备类型，对独有的聚合设备类型进行分别编码，对共有的聚合设备类型进行统一编码；
所述步骤二中数据比对，输出数据比对结果包含以下步骤：
(1)、获取待比对的业务数据；
(2)、获取各自业务数据对应的设备集合，按照共有区域统一编码规则对业务数据相同设备对应的设备基因进行数据比对，找出共有设备基因中不一致的地方；
(3)、获取业务数据对应的聚合设备集合，对多个业务系统共有的聚合设备，直接进行业务数据比对；
(4)、对于各业务系统独有的聚合设备，获取对应的设备类型和设备基因，对共有部分的设备基因进行业务数据比对；
(5)、输出设备集合和聚合设备集合基因比对结果：对于设备集合和聚合设备集合中的设备，依次输出各设备在各个系统中一致的基因数据和不一致的基因数据。
本发明构建基于数据血缘的数据关联关系，根据数据血缘关系把不同部门的业务单元进行基因对比和关联，有效解决多个电网多个业务系统数据之间的关联关系缺乏统一规划和管理、业务数据颗粒度维度不统一、数据治理困难、数据融合困难的实际问题，从而实现对电网业务数据的优化管理，提高数据资产质量。
附图说明
图1是本发明基于数据血缘和基因比对的电网数据融合方法其中一个实施例的流程示意图；
图2是本发明中步骤一的流程示意图；
图3是本发明中步骤二的流程示意图。
具体实施方式
下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述。
图1所示为本发明基于数据血缘和基因比对的电网数据融合方法其中一个实施例的流程示意图，所述方法包括以下步骤：
步骤一、生成数据血缘关系；
步骤二、数据比对，输出数据比对结果。
所述步骤一中生成数据血缘关系，包含以下步骤(如图2所示)：
(1)、构建描述设备属性的设备基因层，包含多个设备基因，每个基因对应着公共数据模型标准中规定一个设备属性；
每个设备基因对应一个设备属性，以变电站为例，变电站名称、运维单位、电压等级、地市编码等均为设备基因。
(2)、构建描述基本设备类型的设备类型层，包含至少一个电网设备类型，设备类型层中每个设备类型对应设备基因层中的至少一个设备基因；
设备类型包括负荷、发电机、线路、开关、变压器、变电站等，每个设备类型对应一系列设备基因，即对应的设备属性。
(3)、构建描述设备组合关系的聚合设备层，包含至少一个由多种设备类型聚合而成的聚合设备类型；
聚合设备是根据业务需要对设备进行聚合而形成的设备集合。在营销系统中，线损考核线路由至少一条线路聚合而成；而在PMS系统中，1条10kV线路由主干线、分支线，还有互供开关等设备聚合而成。
(4)、构建描述业务数据实际存储的业务系统层，每个业务系统对应一个或者多个设备聚合层；
(5)、将每个设备基因(例如变电站名称、运维单位、电压等级、地市编码)和设备类型(例如变电站)标记对应的业务系统；
根据业务系统对设备基因进行标记，比如变电站设备基因可以分别标记为PMS系统和营销系统。
(6)、遍历设备基因层中设备基因标记结果，找出各业务系统独有的设备基因和多个业务系统共有的设备基因，对独有设备基因进行分别编码，对共有设备基因进行统一编码；
根据标记结果，变电站设备在PMS系统中独有65个属性，在营销系统中独有6个属性，在两个系统中5个共同属性。
(7)、遍历聚合设备层，找出各业务系统独有的聚合设备类型和多个业务系统共有的聚合设备类型，对独有的聚合设备类型进行分别编码，对共有的聚合设备类型进行统一编码；
对营销系统中的线损考核线路、PMS系统中的10kV馈线分别进行编码。
所述步骤二中数据比对，输出数据比对结果包含以下步骤(如图3所示)：
(1)、获取待比对的业务数据；
在实际工作中，分别获取PMS和营销系统中的档案数据。
(2)、获取各自业务数据对应的设备集合，按照共有区域统一编码规则对业务数据相同设备对应的设备基因进行数据比对，找出共有设备基因中不一致的地方；比如同一个变电站，在生产管理系统(PMS)中有70个设备基因，即70个设备属性，营销系统中的变电站共有11个设备基因。通过基因比对，有5个共同设备基因，但相同属性的编码不一样。
(3)、获取业务数据对应的聚合设备集合，对多个业务系统共有的聚合设备，直接进行业务数据比对；
若分别记录了2个相同的线损考核线路，由相同的线路聚合而成，在校验的时候，比较线路档案是否相同。
(4)、对于各业务系统独有的聚合设备，获取对应的设备类型和设备基因，对共有部分的设备基因进行比对。
若比较营销系统中的线损考核线路和PMS系统中的馈线线路，则获取线损考核线路和馈线线路对应的基本线路、互供开关等，进行设备基因比对。
(5)、输出设备集合和聚合设备集合比对结果：对于设备集合和聚合设备集合中的设备，依次输出各设备在各个系统中一致的基因数据和不一致的基因数据。设备集合中比对结果包含每个设备在各个系统中的独有设备基因，在多个系统中的共有设备基因以及共有设备基因是否相同；聚合设备集合中的设备，比对结果包含设备集合中的设备数量是否一致，每个具体设备的基因比对结果。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (2)
1.一种基于数据血缘和基因比对的电网数据融合方法，其特征在于包括：
步骤一、生成数据血缘关系，具体包含以下步骤：
(1)、构建描述设备属性的设备基因层，包含多个设备基因，每个设备基因对应着公共数据模型标准中规定的一个设备属性；
(2)、构建描述基本设备类型的设备类型层，包含至少一个电网设备类型，设备类型层中每个电网设备类型对应设备基因层中的至少一个设备基因；
(3)、构建描述设备组合关系的聚合设备层，包含至少一个由多种电网设备类型聚合而成的聚合设备类型；
(4)、构建描述业务数据实际存储的业务系统层，每个业务系统对应一个或者多个聚合设备层；
(5)、将每个设备基因和电网设备类型、聚合设备类型标记对应的业务系统；
(6)、遍历设备基因层中设备基因，找出各业务系统独有的设备基因和多个业务系统共有的设备基因，对独有设备基因进行分别编码，对共有设备基因进行统一编码；
(7)、遍历聚合设备层，找出各业务系统独有的聚合设备类型和多个业务系统共有的聚合设备类型，对独有的聚合设备类型进行分别编码，对共有的聚合设备类型进行统一编码；
步骤二、进行数据比对，输出数据比对结果，包含以下步骤：
(1)、获取待比对的业务数据；
(2)、获取各自业务数据对应的设备集合，按照共有区域统一编码规则对业务数据相同设备对应的设备基因进行数据比对，找出共有设备基因中不一致的地方；
(3)、获取业务数据对应的聚合设备集合，对多个业务系统共有的聚合设备，直接进行业务数据比对；
(4)、对于各业务系统独有的聚合设备，获取对应的电网设备类型和设备基因，对共有部分的设备基因进行业务数据比对；
(5)、输出设备集合和聚合设备集合基因比对结果：对于设备集合和聚合设备集合中的设备，依次输出各设备在各个系统中一致的基因数据和不一致的基因数据。
2.如权利要求1所述的基于数据血缘和基因比对的电网数据融合方法，其特征在于：设备集合中比对结果包含每个设备在各个系统中的独有设备基因，在多个系统中的共有设备基因以及共有设备基因是否相同；聚合设备集合中的设备，比对结果包含设备集合中的设备数量是否一致，每个具体设备的设备基因比对结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710123679.7A CN106934538B (zh) | 2017-03-03 | 2017-03-03 | 一种基于数据血缘和基因比对的电网数据融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710123679.7A CN106934538B (zh) | 2017-03-03 | 2017-03-03 | 一种基于数据血缘和基因比对的电网数据融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106934538A CN106934538A (zh) | 2017-07-07 |
| CN106934538B true CN106934538B (zh) | 2020-06-16 |
Family
ID=59424246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710123679.7A Active CN106934538B (zh) | 2017-03-03 | 2017-03-03 | 一种基于数据血缘和基因比对的电网数据融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106934538B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109976929A (zh) * | 2017-12-28 | 2019-07-05 | 中国电信股份有限公司 | 数据生产过程的故障定位方法、装置 |
| CN112328575A (zh) * | 2020-11-12 | 2021-02-05 | 杭州数梦工场科技有限公司 | 数据资产血缘生成方法、装置、电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101908176A (zh) * | 2010-08-02 | 2010-12-08 | 国电南瑞科技股份有限公司 | 一种基于电力信息数据建模及元数据管理应用方法 |
| CN104063519A (zh) * | 2014-07-16 | 2014-09-24 | 国家电网公司 | 基于excel的bpa电网数据解析及管理方法及系统 |
| CN104539047A (zh) * | 2014-12-23 | 2015-04-22 | 国家电网公司 | 基于多因子比对可视化的智能变电站故障诊断及定位方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8908471B2 (en) * | 2010-05-27 | 2014-12-09 | Pgs Geophysical As | Method for building velocity models for imaging in multi-azimuth marine seismic surveys |
| US10460403B2 (en) * | 2014-06-18 | 2019-10-29 | International Business Machines Corporation | System and method to reduce human activity damage-induced power outage |
-
2017
- 2017-03-03 CN CN201710123679.7A patent/CN106934538B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101908176A (zh) * | 2010-08-02 | 2010-12-08 | 国电南瑞科技股份有限公司 | 一种基于电力信息数据建模及元数据管理应用方法 |
| CN104063519A (zh) * | 2014-07-16 | 2014-09-24 | 国家电网公司 | 基于excel的bpa电网数据解析及管理方法及系统 |
| CN104539047A (zh) * | 2014-12-23 | 2015-04-22 | 国家电网公司 | 基于多因子比对可视化的智能变电站故障诊断及定位方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于数据质量诊断的数据整合技术;叶健辉等;《中国科技信息》;20160731;第42卷(第13期);114-116 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106934538A (zh) | 2017-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sabouhi et al. | Electrical power system resilience assessment: A comprehensive approach | |
| Qin et al. | Optimal planning and operation of energy storage systems in radial networks for wind power integration with reserve support | |
| Khuntia et al. | A literature survey on asset management in electrical power [transmission and distribution] system | |
| Fang et al. | Optimization of cascade‐resilient electrical infrastructures and its validation by power flow modeling | |
| Abbasghorbani et al. | Reliability‐centred maintenance for circuit breakers in transmission networks | |
| Lin et al. | Evaluation of optimal network reliability under components-assignments subject to a transmission budget | |
| Ghasemi et al. | MILP model for integrated expansion planning of multi‐carrier active energy systems | |
| CN105357251A (zh) | 一种资源池的管理系统及管理方法 | |
| Zieliński | Internet of Everything (IoE) in smart grid | |
| CN106934538B (zh) | 一种基于数据血缘和基因比对的电网数据融合方法 | |
| CN113723810A (zh) | 基于图数据库的电网建模方法 | |
| Hinojosa et al. | Stochastic security-constrained generation expansion planning based on linear distribution factors | |
| Fanucchi et al. | Stochastic indexes for power distribution systems resilience analysis | |
| Yuan et al. | Multi-source data processing and fusion method for power distribution internet of things based on edge intelligence | |
| CN103295164A (zh) | 电网安全监察管理信息系统及其管理方法 | |
| Zhao et al. | Research on the structural characteristics of transmission grid based on complex network theory | |
| Ildarabadi et al. | Resilience enhancement of distribution grids based on the construction of Tie-lines using a novel genetic algorithm | |
| Abdi‐Siab et al. | Two‐stage scenario‐based DEP incorporating PEV using Benders’ decomposition | |
| Marinho et al. | Redispatch index for assessing bidding zone delineation | |
| CN112614017B (zh) | 停电信息管理系统、停电信息管理方法及存储介质 | |
| CN104732449A (zh) | 一种信息系统运行方式模型建立方法 | |
| CN114301174A (zh) | 配电站网络监控方法、装置、计算机设备和存储介质 | |
| CN113537519B (zh) | 一种识别异常设备的方法和装置 | |
| CN103617141A (zh) | 电气设备现场试验及特性评价管理方法 | |
| Wang et al. | Integrated optimization for supply chain with facility disruption |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |