CN108614870B - 电力设备外采数据信息的快速批量入库系统及方法 - Google Patents

电力设备外采数据信息的快速批量入库系统及方法 Download PDF

Info

Publication number
CN108614870B
CN108614870B CN201810346365.8A CN201810346365A CN108614870B CN 108614870 B CN108614870 B CN 108614870B CN 201810346365 A CN201810346365 A CN 201810346365A CN 108614870 B CN108614870 B CN 108614870B
Authority
CN
China
Prior art keywords
data
power equipment
power
power line
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810346365.8A
Other languages
English (en)
Other versions
CN108614870A (zh
Inventor
李春亮
刘行波
李源林
严俊
范雄
杨洁
陈亚婕
丁超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Central China Technology Development Of Electric Power Co ltd
State Grid Hubei Electric Power Co Ltd
Original Assignee
Hubei Central China Technology Development Of Electric Power Co ltd
State Grid Hubei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Central China Technology Development Of Electric Power Co ltd, State Grid Hubei Electric Power Co Ltd filed Critical Hubei Central China Technology Development Of Electric Power Co ltd
Priority to CN201810346365.8A priority Critical patent/CN108614870B/zh
Publication of CN108614870A publication Critical patent/CN108614870A/zh
Application granted granted Critical
Publication of CN108614870B publication Critical patent/CN108614870B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明提供一种电力设备外采数据信息的快速批量入库系统及方法，该入库系统包括电力设备数据采集单元、数据入库单元及电力业务数据库。所述电力设备数据采集单元用于采集电力设备数据；所述数据入库单元包括内存数据库、任务调度控制器、容器控制器、Docker容器，内存数据库用以接收并存储电力设备数据采集单元采集获得的电力设备数据，电力设备数据以电力线路为单位存储于所述内存数据库；所述容器控制器针对每条电力线路数据在服务器中创建一个Docker容器，所述Docker容器中具有图数据库和数据处理模块。本发明可以实现电力设备外采数据信息的快速批量入库，达到了流程简化、提高效率的目的，大幅缩短了总体数据处理周期。

Description

电力设备外采数据信息的快速批量入库系统及方法
技术领域
本发明涉及电网拓扑构建与分析领域，具体是一种电力设备外采数据信息的快速批量入库系统及方法。
背景技术
通常，通过移动端采集的电力设备数据存储于关系数据库。一方面，在关系数据库中存储拓扑信息后，当数据量较大时，拓扑查询性能存在瓶颈，而拓扑数据的分片是一个NP(Non-deterministic Polynomial)完全问题，即多项式复杂程度的非确定性问题，从数学角度看，目前没有较好的解决办法，导致无法合理利用关系数据库分片技术；另一方面，常规的关系数据库也难以支撑高并发读写同时发生(特别是在写入数据的同时，进行空间查询)，导致在移动端上传数据成果以及电网拓扑分析构建CIM模型时存在性能瓶颈。
发明内容
针对现有技术存在的上述不足，本发明提供一种电力设备外采数据信息的快速批量入库系统及方法，可以实现电力设备外采数据信息的快速批量入库，达到了流程简化、提高效率的目的，大幅缩短了总体数据处理周期。
一种电力设备外采数据信息的快速批量入库系统，包括电力设备数据采集单元、数据入库单元及电力业务数据库；
所述电力设备数据采集单元用于采集电力设备数据，所述电力设备数据包括电网空间数据与拓扑关系信息；
所述数据入库单元，包括内存数据库、任务调度控制器、容器控制器、Docker容器，所述内存数据库与所述电力设备数据采集单元通信连接，用以接收并存储电力设备数据采集单元采集获得的电力设备数据，所述电力设备数据以电力线路为单位存储于所述内存数据库；
所述任务调度控制器，用于从内存数据库中选定多条需要入库的电力线路数据；
所述容器控制器，用于根据任务调度控制器选定的多条需要入库的电力线路数据，针对每条电力线路数据在服务器中创建一个Docker容器，所述Docker容器中具有图数据库和数据处理模块，所述图数据库用于存储创建时所对应的电力线路数据，然后分析、转换电网拓扑关系至标准的CIM模型；所述数据处理模块用于将所述图数据库存储的电力线路数据上传至电力业务数据库。
进一步的，所述容器控制器，还用于在数据处理模块将电力线路数据上传至电力业务数据库之后，将该电力线路数据对应的Docker容器销毁。
一种电力设备外采数据信息的快速批量入库方法，包括如下步骤：
接收并存储电力设备数据采集单元采集获得的电力设备数据，所述电力设备数据包括电网空间数据与拓扑关系信息，所述电力设备数据以电力线路为单位存储于所述内存数据库；
选定多条需要入库的电力线路数据；
根据任务调度控制器选定的多条需要入库的电力线路数据，针对
每条电力线路数据在服务器中创建一个Docker容器，所述Docker容器中具有图数据库和数据处理模块，所述图数据库存储创建时所对应的电力线路数据，然后分析、转换电网拓扑关系至标准的CIM模型；所述数据处理模块将所述图数据库存储的电力线路数据上传至电力业务数据库。
进一步的，还包括步骤：在数据处理模块将电力线路数据上传至电力业务数据库之后，将该电力线路数据对应的Docker容器销毁。
本发明通过引入内存数据库的方式解决了电力设备批量入库过程中的数据回收过程的高并发读写同时发生时的性能问题，提高了成果回收的效率，通过图数据库处理模式将复杂的电力设备拓扑网络合成一个有机整体，解决了电力设备数据借助关系型数据库不易存储和管理的缺点，提高了拓扑检索和入库的效率。
附图说明
图1是本发明其中一个实施例电力设备外采数据信息的快速批量入库系统的结构示意图；
图2是本发明数据入库界面示意图。
图中：10—电力设备数据采集单元，20—数据入库单元，30—电力业务数据库，11—内存数据库，12—任务调度控制器，13—容器控制器，14—Docker容器，141—图数据库，142—数据处理模块。
具体实施方式
下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述。
图1所示为本发明其中一个实施例电力设备外采数据信息的快速批量入库系统的结构示意图，所入库系统包括电力设备数据采集单元10、数据入库单元20及电力业务数据库30。
所述电力设备数据采集单元20用于采集电力设备(例如变电站、电缆、杆塔等)数据，所述电力设备数据包括电网空间数据与拓扑关系信息，所述电力设备数据采集单元20可以是移动式数据采集工具；
所述数据入库单元10，包括内存数据库11、任务调度控制器12、容器控制器13、Docker容器14，所述内存数据库11与所述电力设备数据采集单元20通信连接，用以接收并存储电力设备数据采集单元10采集获得的电力设备数据，所述电力设备数据以电力线路为单位存储于所述内存数据库11。由于采集的数据成果是存储到内存数据库11(RVDB)中，而且中在内存数据库11是以电力线路为单位进行存储和管理，该过程可实现多个成果的快速同步回传。
所述任务调度控制器12，用于从内存数据库11中选定多条需要入库的电力线路数据；
所述容器控制器13，用于根据任务调度控制器12选定的多条需要入库的电力线路数据，针对每条电力线路数据在服务器中创建一个Docker容器14，所述Docker容器14中具有一个可存储电力线路数据的图数据库141(例如Neo4j)和一个可进行入库操作的数据处理模块142，所述图数据库141用于存储创建时所对应的电力线路数据，然后分析、转换电网拓扑关系至标准的CIM模型，解决关系数据库拓扑分析效率低下的问题；所述数据处理模块142用于将所述图数据库141存储的电力线路数据上传至电力业务数据库30(PMS)。
所述容器控制器13，还用于在数据处理模块142将电力线路数据上传至电力业务数据库30之后，将该电力线路数据对应的Docker容器14销毁。
本实施例中，所述容器控制器13可使用Dockerfile脚本分别制作图数据库141和数据处理模块142的镜像，利用Spring Cloud封装Docker Deamon启动/销毁镜像的接口，图数据库141和数据处理模块142的镜像运行于Docker容器14中；所述容器控制器13可利用Spring Batch与RabbitMQ实时构建电网GIS与电网拓扑数据存储与计算环境，控制并行运行的Docker容器数量；利用Spring Batch与RabbitMQ实现存储计算的控制流，在Docker容器加载镜像后，通知应用程序开始并行执行计算，待计算结束后，控制Docker容器及时销毁，节省存储与计算资源。
本发明还提供一种电力设备外采数据信息的快速批量入库方法，包括如下步骤：
接收并存储电力设备数据采集单元10采集获得的电力设备数据，所述电力设备数据包括电网空间数据与拓扑关系信息，所述电力设备数据以电力线路为单位存储于所述内存数据库11；
选定多条需要入库的电力线路数据；
根据选定的多条需要入库的电力线路数据，针对每条电力线路数据在服务器中创建一个Docker容器14，所述Docker容器14中具有一个可存储电力线路数据的图数据库141(例如Neo4j)和一个可进行入库操作的数据处理模块142，所述图数据库141存储创建时所对应的电力线路数据，然后分析、转换电网拓扑关系至标准的CIM模型，解决关系数据库拓扑分析效率低下的问题；所述数据处理模块142将所述图数据库141存储的电力线路数据上传至电力业务数据库30(PMS)；
在数据处理模块142将电力线路数据上传至电力业务数据库30之后，将该电力线路数据对应的Docker容器14销毁。数据入库界面如图2所示。
本发明将关系数据模型替换为KV(Key-Value)模型与Gragh数据模型：(1)内存空间数据库，用于存储移动端提交的电网空间数据与拓扑关系信息，解决高并发读写同时发生时的性能问题；(2)图数据库，用于存储、分析、转换电网拓扑关系至标准的CIM模型，解决关系数据库拓扑分析效率低下的问题。而将上述两种数据库看做是一种云计算单元，利用云计算与无服务器架构实时创建、部署、存储、计算、输出、销毁，不仅能节省计算与存储资源，还实现了多个采集任务的并行处理，大幅提升执行效率。例如，每有一条采集线路的数据提交计算请求后，系统会在云环境中，动态创建业务所需的存储与计算环境(图数据库)，将数据导入数据库、进行数据结构重构、分析、计算，待完成成果输出后，系统自动销毁上述存储与计算环境，以节省资源。
本发明借助信息化手段将数据预处理、数据质检、数据编辑以及数据入库等流程进行有机整合，实现电力设备外采数据信息的快速批量入库(电力业务系统PMS2.0)，达到了流程简化、提高效率的最终目的，本发明主要在电网设备拓扑结构存储和高并发写入PMS业务系统过程中得到了很好地实现，在湖北省诸多地市的大规模营配采录工程中得到较好地应用。
传统方法下，从移动端提交一个台区的数据，执行电网GIS存储与拓扑分析计算，需要40-50分钟，而使用本发明，执行1个台区仅仅需要15秒。这种新的处理模式实际上是将原有逻辑上完整的电网拓扑根据特定的业务规则(如采集规则)切分为不同的部分，每个部分可以存储到不同的物理机上，分别执行拓扑计算，使得每台机器上执行拓扑遍历的数量大幅减小，并且不同的采集线路可以同时开展拓扑计算，从而大幅提升了处理速度。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种电力设备外采数据信息的快速批量入库系统，其特征在于：包括电力设备数据采集单元、数据入库单元及电力业务数据库；
所述电力设备数据采集单元用于采集电力设备数据，所述电力设备数据包括电网空间数据与拓扑关系信息；
所述数据入库单元，包括内存数据库、任务调度控制器、容器控制器、Docker容器，所述内存数据库与所述电力设备数据采集单元通信连接，用以接收并存储电力设备数据采集单元采集获得的电力设备数据，所述电力设备数据以电力线路为单位存储于所述内存数据库；
所述任务调度控制器，用于从内存数据库中选定多条需要入库的电力线路数据；
所述容器控制器，用于根据任务调度控制器选定的多条需要入库的电力线路数据，针对每条电力线路数据在服务器中创建一个Docker容器，所述Docker容器中具有图数据库和数据处理模块，所述图数据库用于存储创建时所对应的电力线路数据，然后分析、转换电网拓扑关系至标准的城市信息模型；所述数据处理模块用于将所述图数据库存储的电力线路数据上传至电力业务数据库。
2.如权利要求1所述的电力设备外采数据信息的快速批量入库系统，其特征在于：所述容器控制器，还用于在数据处理模块将电力线路数据上传至电力业务数据库之后，将该电力线路数据对应的Docker容器销毁。
3.一种电力设备外采数据信息的快速批量入库方法，其特征在于包括如下步骤：
接收并存储电力设备数据采集单元采集获得的电力设备数据，所述电力设备数据包括电网空间数据与拓扑关系信息，所述电力设备数据以电力线路为单位存储于内存数据库；
选定多条需要入库的电力线路数据；
根据任务调度控制器选定的多条需要入库的电力线路数据，针对每条电力线路数据在服务器中创建一个Docker容器，所述Docker容器中具有图数据库和数据处理模块，所述图数据库存储创建时所对应的电力线路数据，然后分析、转换电网拓扑关系至标准的城市信息模型；所述数据处理模块将所述图数据库存储的电力线路数据上传至电力业务数据库。
4.如权利要求3所述的电力设备外采数据信息的快速批量入库方法，其特征在于：还包括步骤：在数据处理模块将电力线路数据上传至电力业务数据库之后，将该电力线路数据对应的Docker容器销毁。
CN201810346365.8A 2018-04-18 2018-04-18 电力设备外采数据信息的快速批量入库系统及方法 Active CN108614870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810346365.8A CN108614870B (zh) 2018-04-18 2018-04-18 电力设备外采数据信息的快速批量入库系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810346365.8A CN108614870B (zh) 2018-04-18 2018-04-18 电力设备外采数据信息的快速批量入库系统及方法

Publications (2)

Publication Number Publication Date
CN108614870A CN108614870A (zh) 2018-10-02
CN108614870B true CN108614870B (zh) 2021-07-30

Family

ID=63660267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810346365.8A Active CN108614870B (zh) 2018-04-18 2018-04-18 电力设备外采数据信息的快速批量入库系统及方法

Country Status (1)

Country Link
CN (1) CN108614870B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111182017B (zh) * 2018-11-13 2022-09-09 北京国双科技有限公司 一种数据传输方法、装置、存储介质和电子设备
CN109902599B (zh) * 2019-02-01 2021-08-10 初速度（苏州）科技有限公司 一种高精车数据质检方法和系统
CN112506605A (zh) * 2020-11-14 2021-03-16 天津理工大学 一种基于容器驱动的智能计量和计算架构
CN114357000A (zh) * 2022-01-11 2022-04-15 广州广电运通金融电子股份有限公司 一种区块链交易数据检索系统、方法、设备及存储介质
CN115147083A (zh) * 2022-07-15 2022-10-04 国网四川省电力公司经济技术研究院 一种信息层级交互管理的输变电工程全过程造价评审系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463492A (zh) * 2014-12-23 2015-03-25 国家电网公司 一种电力系统云仿真平台的运营管理方法
CN106230986A (zh) * 2016-09-21 2016-12-14 南方电网科学研究院有限责任公司 一种基于电力PaaS云平台的资源适配调度系统及方法
CN107766205A (zh) * 2017-10-10 2018-03-06 武汉大学 一种面向微服务调用过程跟踪的监控系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150304450A1 (en) * 2014-04-17 2015-10-22 Alcatel Lucent Canada,Inc. Method and apparatus for network function chaining

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463492A (zh) * 2014-12-23 2015-03-25 国家电网公司 一种电力系统云仿真平台的运营管理方法
CN106230986A (zh) * 2016-09-21 2016-12-14 南方电网科学研究院有限责任公司 一种基于电力PaaS云平台的资源适配调度系统及方法
CN107766205A (zh) * 2017-10-10 2018-03-06 武汉大学 一种面向微服务调用过程跟踪的监控系统及方法

Also Published As

Publication number Publication date
CN108614870A (zh) 2018-10-02

Similar Documents

Publication Publication Date Title
CN108614870B (zh) 电力设备外采数据信息的快速批量入库系统及方法
CN106599197B (zh) 数据采集交换引擎
CN105320757A (zh) 一种快速处理数据的商业智能分析方法
CN107957940B (zh) 一种测试日志处理方法、系统及终端
CN107463706B (zh) 一种基于Hadoop的海量录波数据存储和解析方法及系统
CN104281678A (zh) 一种小卫星智能状态监视系统
CN107766541B (zh) 配用电全局全量数据传输及存储方法、装置、电子设备
CN109885584A (zh) 分布式数据分析平台的实现方法及终端设备
CN111858730A (zh) 一种图数据库的数据导入导出装置、方法、设备及介质
Wu et al. An Auxiliary Decision‐Making System for Electric Power Intelligent Customer Service Based on Hadoop
CN117194501B (zh) Dcs趋势测点跳转逻辑组态的方法、系统、设备及介质
CN111159135A (zh) 数据处理方法、装置、电子设备及存储介质
CN103944957A (zh) 一种工业监控系统所用的离线数据采集方法及其采集系统
CN113934807A (zh) 一种基于gis的国土空间规划系统及方法
CN117609278A (zh) 基于深度度量学习的多模态电力数据管理方法与系统
CN112668650A (zh) 工业数据模型的生成方法、系统、设备和介质
CN105840433B (zh) 风电机组点检信息管理系统和风电机组点检管理系统
CN115439015B (zh) 基于数据中台的局域电网数据管理方法、装置及设备
CN104331517A (zh) 一种检索方法及装置
CN109508354A (zh) 一种并行处理系统
CN114219109A (zh) 一种会议室巡检记录管理方法、装置和电子设备
Sun et al. Design of big data processing system for spacecraft testing experiment
CN105809577A (zh) 一种基于规则和组件的电厂信息化数据的分类处理方法
CN113010483A (zh) 一种海量日志管理方法和系统
Zhi Research and Design of Industrial IoT Device Management System Based on 5G Communication and Big Data Technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant