CN111104416A - 一种分布式电力数据管理系统 - Google Patents
一种分布式电力数据管理系统 Download PDFInfo
- Publication number
- CN111104416A CN111104416A CN201811264546.2A CN201811264546A CN111104416A CN 111104416 A CN111104416 A CN 111104416A CN 201811264546 A CN201811264546 A CN 201811264546A CN 111104416 A CN111104416 A CN 111104416A
- Authority
- CN
- China
- Prior art keywords
- data
- server
- power data
- acquisition
- management system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013523 data management Methods 0.000 title claims abstract description 37
- 238000004891 communication Methods 0.000 claims abstract description 23
- 238000007726 management method Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000013480 data collection Methods 0.000 claims description 4
- 230000008520 organization Effects 0.000 claims description 4
- 239000007787 solid Substances 0.000 claims description 3
- 101150012579 ADSL gene Proteins 0.000 claims description 2
- 102100020775 Adenylosuccinate lyase Human genes 0.000 claims description 2
- 108700040193 Adenylosuccinate lyases Proteins 0.000 claims description 2
- 239000000835 fiber Substances 0.000 claims description 2
- 238000010276 construction Methods 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000007418 data mining Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种分布式电力数据管理系统，包括分布式电力数据库节点、驱动单元、交换机、供电单元、通讯单元、管理服务器、计算服务器、储存服务器、采集服务器、界面服务器。该系统针对电力数据特点，优化了数据采集、存储策略，提高了数据采集效率，以应对大量电力数据的处理，大幅降低了企业建设成本。
Description
技术领域
本发明属于数据管理技术，具体涉及一种分布式电力数据管理系统。
背景技术
随着电力信息化的推进和智能变电站、智能电表、实时监测系统、现场移动检修系统、测控一体化系统以及一大批服务于各个专业的信息管理系统的建设和应用，数据的规模和种类快速增长，这些数据共同构成了智能电网海量数据。其中，由自动化系统、在线监测系统等采集的海量时序数据是电力数据的独特内容，其规模庞大，可达万亿级别(通常包含千万级别的测点，每个测点有百万级别的时序数据)，并具有持续写入和频繁查询的特点。
随着电力系统规模和复杂程度的提高，应用程序在深层次变得更加需求化，需要将大量数据添加到数据库中，由上层应用程序提取并用于数据挖掘，科学计算以及报告和图像的生成等。将这些庞大的数据量一次存储在不同的关系数据库报告表单中是非常耗时的，并且从不同的关系数据库中提取这些数据并不容易报告表格。不同部门的信息系统彼此分离，导致数据孤岛从企业的中心角度分散到整个组织。尽管收集和存储大量数据，但可从中提取的有用和有价值的信息仍然有限。
因此，传统的数据管理系统和采集处理模式已不能满足电力数据来源复杂、数据规模巨大、数据结构多样、数据应用多变的需求，但是，目前没有针对电力大数据特点的分布式电力数据管理系统。
发明内容
为了克服现有的技术问题，本发明提出了一种分布式电力数据管理系统，包括：
所述分布式电力数据管理系统分布于至少两个不同的地址，每个地址的电力数据管理系统包括所辖地址区域范围内的分布式电力数据库节点、驱动单元，每个所述驱动单元与一个电力数据管理系统相对应，用于控制所述电力数据管理系统；所述分布式电力数据管理系统还包括：交换机、供电单元、通讯单元、管理服务器、计算服务器、储存服务器、采集服务器、界面服务器，所述交换机分别与所述管理服务器、所述计算服务器、所述储存服务器、以及所述采集服务器和所述界面服务器连接，所述供电单元分别与所述交换机、所述通讯单元、管理服务器、所述计算服务器、所述储存服务器、以及所述采集服务器和所述界面服务器连接，所述交换机用于实现所述管理服务器、所述计算服务器、所述储存服务器、所述采集服务器、所述界面服务器之间的数据传输，通讯单元使用通讯网络实现处于不同地址的所述电力数据管理系统之间、所述电力数据管理系统与用户之间的通信；
所述分布式电力数据库中使用非关系数据库和关系数据库以混合方式进行数据组织，
所述采集服务器采用不同的数据采集策略针对不同的数据类型获取电力数据，
所述储存服务器通过固态硬盘和机械硬盘组合储存方式来储存电力数据，
所述计算服务器对电力数据进行相应的业务处理，
界面服务器，用于根据用户需求展示对应的业务处理步骤的处理结果，
所述管理服务器部署分布式调度单元，用于根据用户操作请求控制所述采集服务器节点、所述存储服务器节点以及所述计算服务器节点达到负载均衡。
本发明的有益效果包括：首先，提高了电力数据的管理和使用水平，将电力行业分散的数据资源进行整合优化，降低各电力部门管理成本和各类应用开发运营复杂度，加快业务应用系统落地速度和随需而变的速度，提高了业务应用系统的可靠性和性能；其次，采集任务模板化，构建了标准化体系，打通了关系数据库、非关系数据库、分布式存储、并行数据库、文本文件存储等不同存储类型的数据采集边界，实现统一的采集任务配置、调度和管控流程；采用多种数据采集安全机制，保证数据采集的完整性和正确性；并且，由于包括驱动模块，数据共享模块，数据寻址模块，数据调度模块，业务处理模块和呈现模块，且数据使用非关系数据库和关系数据库以混合方式来组织，所以本发明的系统可以实现实时存储，共享，数据挖掘，大数据量搜索等处理，提高数据查询效率；最后，本发明的系统处于分布式即时处理环境，由于在存储不同种类的数据时，非关系数据库和关系数据库都有各自的优势，将数据以混合方式来组织可以最优化数据存储，尤其是在采集数据前又实时处理从非关系数据库发送的数据流并写入到关系数据库中，极大地提高了数据采集效率，以应对大量数据的处理，从而大幅降低建设成本。
附图说明
图1本发明的系统框架图。
具体实施方式
为了更好地理解本发明，下面结合附图参考实施例的描述，对本发明的方法和系统进行进一步的说明。
为了全面理解本发明，在以下详细描述中提到了众多具体细节。但是本领域技术人员应该理解，本发明可以无需这些具体细节而实现。在实施例中，不详细描述公知的方法、过程、组件，以免不必要地使实施例繁琐。
参见图1所示，本发明提供了一种分布式电力数据管理系统，包括：
所述分布式电力数据管理系统分布于至少两个不同的地址，每个地址的电力数据管理系统包括所辖地址区域范围内的分布式电力数据库节点、驱动单元，每个所述驱动单元与一个电力数据管理系统相对应，用于控制所述电力数据管理系统；所述分布式电力数据管理系统还包括：交换机、供电单元、通讯单元、管理服务器、计算服务器、储存服务器、采集服务器、界面服务器，所述交换机分别与所述管理服务器、所述计算服务器、所述储存服务器、以及所述采集服务器和所述界面服务器连接，所述供电单元分别与所述交换机、所述通讯单元、管理服务器、所述计算服务器、所述储存服务器、以及所述采集服务器和所述界面服务器连接，所述交换机用于实现所述管理服务器、所述计算服务器、所述储存服务器、所述采集服务器、所述界面服务器之间的数据传输，通讯单元使用通讯网络实现处于不同地址的所述电力数据管理系统之间、所述电力数据管理系统与用户之间的通信；
所述分布式电力数据库中使用非关系数据库和关系数据库以混合方式进行数据组织，
所述采集服务器采用不同的数据采集策略针对不同的数据类型获取电力数据，
所述储存服务器通过固态硬盘和机械硬盘组合储存方式来储存电力数据，
所述计算服务器对电力数据进行相应的业务处理，
界面服务器，用于根据用户需求展示对应的业务处理步骤的处理结果，
所述管理服务器部署分布式调度单元，用于根据用户操作请求控制所述采集服务器节点、所述存储服务器节点以及所述计算服务器节点达到负载均衡。
优选地，其中，所述数据采集策略包括：
数据库采集策略，用于采集关系型数据，将数据备份至备份库后，生成数据文件，从备份库采集关系型数据文件；
文件采集策略，用于采集文件型数据，监听各服务器的文件目录，定时从所述文件目录采集文件型数据文件；
系统数据采集策略，用于采集系统产生的实时数据，监听数据流，从所述数据流中直接采集系统数据文件。
优选地，其中，所述储存服务器采用云存储技术。
优选地，其中，所述计算服务器采用云计算技术。
优选地，其中，所述通讯网络为Internet网络，其通信传输方式为GPRS、ADSL、RS232专线或光纤专网。
优选地，其中，所述采集服务器具体包括：
监听单元，用于监听所述电力数据管理系统中的数据流，
判断单元，用于判断所述数据流的当前数据类型，
选取单元，用于根据所述数据类型的不同选取不同的数据采集策略，
数据采集单元，用于根据选取的数据采集策略，对所述电力数据管理系统进行数据采集，
其中，数据采集单元具体包括：
数据共享单元，位于分布式数据库节点上，用于确定需要采集数据的路由地址，
数据寻址单元，用于提取路由地址对应的数据，
数据调度单元，用于指示数据寻址步骤提取相应的数据。
优选地，其中，所述系统进一步包括数据转换单元，用于采集服务器进行数据采集之前，实时处理从非关系数据库发送的多个连续生成的数据流，并将从实时处理得到的输出写入到关系数据库，
所述数据转换单元具体包括：
识别单元，用于基于所述非关系数据库连接到的端口来识别从所述非关系数据库传输的数据的类别，
模式设置单元，用于根据所述端口设置传输所述数据为同步或异步的通信模式，
检索单元，用于基于主索引顺序地检索每个增量数据记录，
模式转换单元，用于检查并确定非关系数据库的数据模式是否与关系数据库的数据模式一致，如果一致，则非关系数据库的数据模式不需要转换；否则，非关系数据库的数据模式将被转换为关系数据库的数据模式，
写入单元，用于通过与通信模式相对应的方式将数据写入数据，根据所述模式转换单元检查的结果，将模式转换或不转换到关系数据库中，
其中，如果通信模式是异步的，则当存储器中的数据满足预定状态时，无论模式是否转换，都将数据缓存到存储器中并且随后基于批处理将数据写入到关系数据库中。
本发明与现有技术相比，其显著优点为：首先，提高了电力数据的管理和使用水平，将电力行业分散的数据资源进行整合优化，降低各电力部门管理成本和各类应用开发运营复杂度，加快业务应用系统落地速度和随需而变的速度，提高了业务应用系统的可靠性和性能；其次，采集任务模板化，构建了标准化体系，打通了关系数据库、非关系数据库、分布式存储、并行数据库、文本文件存储等不同存储类型的数据采集边界，实现统一的采集任务配置、调度和管控流程；采用多种数据采集安全机制，保证数据采集的完整性和正确性；并且，由于包括驱动模块，数据共享模块，数据寻址模块，数据调度模块，业务处理模块和呈现模块，且数据使用非关系数据库和关系数据库以混合方式来组织，所以本发明的系统可以实现实时存储，共享，数据挖掘，大数据量搜索等处理，提高数据查询效率；最后，本发明的系统处于分布式即时处理环境，由于在存储不同种类的数据时，非关系数据库和关系数据库都有各自的优势，将数据以混合方式来组织可以最优化数据存储，尤其是在采集数据前又实时处理从非关系数据库发送的数据流并写入到关系数据库中，极大地提高了数据采集效率，以应对大量数据的处理，从而大幅降低建设成本。
这里只说明了本发明的优选实施例，但其意并非限制本发明的范围、适用性和配置。相反，对实施例的详细说明可使本领域技术人员得以实施。应能理解，在不偏离所附权利要求书确定的本发明精神和范围情况下，可对一些细节做适当变更和修改。
Claims (5)
1.一种分布式电力数据管理系统，其特征在于，包括：
所述分布式电力数据管理系统分布于至少两个不同的地址，每个地址的电力数据管理系统包括所辖地址区域范围内的分布式电力数据库节点、驱动单元，每个所述驱动单元与一个电力数据管理系统相对应，用于控制所述电力数据管理系统；所述分布式电力数据管理系统还包括：交换机、供电单元、通讯单元、管理服务器、计算服务器、储存服务器、采集服务器、界面服务器，所述交换机分别与所述管理服务器、所述计算服务器、所述储存服务器、以及所述采集服务器和所述界面服务器连接，所述供电单元分别与所述交换机、所述通讯单元、管理服务器、所述计算服务器、所述储存服务器、以及所述采集服务器和所述界面服务器连接，所述交换机用于实现所述管理服务器、所述计算服务器、所述储存服务器、所述采集服务器、所述界面服务器之间的数据传输，通讯单元使用通讯网络实现处于不同地址的所述电力数据管理系统之间、所述电力数据管理系统与用户之间的通信；
所述分布式电力数据库中使用非关系数据库和关系数据库以混合方式进行数据组织，
所述采集服务器采用不同的数据采集策略针对不同的数据类型获取电力数据，
所述储存服务器通过固态硬盘和机械硬盘组合储存方式来储存电力数据，
所述计算服务器对电力数据进行相应的业务处理，
界面服务器，用于根据用户需求展示对应的业务处理步骤的处理结果，
所述管理服务器部署分布式调度单元，用于根据用户操作请求控制所述采集服务器节点、所述存储服务器节点以及所述计算服务器节点达到负载均衡。
2.根据权利要求1所述的一种分布式电力数据管理系统，其中，所述数据采集策略包括：
数据库采集策略，用于采集关系型数据，将数据备份至备份库后，生成数据文件，从备份库采集关系型数据文件；
文件采集策略，用于采集文件型数据，监听各服务器的文件目录，定时从所述文件目录采集文件型数据文件；
系统数据采集策略，用于采集系统产生的实时数据，监听数据流，从所述数据流中直接采集系统数据文件。
3.根据权利要求1所述的一种分布式电力数据管理系统，其中，所述储存服务器采用云存储技术。
4.根据权利要求1所述的一种分布式电力数据管理系统，其中，所述计算服务器采用云计算技术。
5.根据权利要求1所述的一种分布式电力数据管理系统，其中，所述通讯网络为Internet网络，其通信传输方式为GPRS、ADSL、RS232专线或光纤专网。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811264546.2A CN111104416A (zh) | 2018-10-29 | 2018-10-29 | 一种分布式电力数据管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811264546.2A CN111104416A (zh) | 2018-10-29 | 2018-10-29 | 一种分布式电力数据管理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111104416A true CN111104416A (zh) | 2020-05-05 |
Family
ID=70420121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811264546.2A Pending CN111104416A (zh) | 2018-10-29 | 2018-10-29 | 一种分布式电力数据管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111104416A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112200290A (zh) * | 2020-11-04 | 2021-01-08 | 核工业理化工程研究院 | 基于sd卡的数据采集与管理装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103955509A (zh) * | 2014-04-30 | 2014-07-30 | 广西电网公司电力科学研究院 | 一种海量电力计量数据的快速检索方法 |
| WO2014172877A1 (zh) * | 2013-04-25 | 2014-10-30 | 西门子公司 | 一种工业监控系统 |
| CN105677691A (zh) * | 2014-12-05 | 2016-06-15 | 知意图股份有限公司 | 巨量串流数据实时处理方法及其装置与应用系统 |
| CN105677858A (zh) * | 2016-01-06 | 2016-06-15 | 北京国电通网络技术有限公司 | 一种基于大数据技术框架的数据采集方法及装置 |
| CN106383557A (zh) * | 2016-11-28 | 2017-02-08 | 贵州电网有限责任公司电力科学研究院 | 电力大数据一体机 |
| CN206863115U (zh) * | 2017-04-13 | 2018-01-09 | 深圳点亮新能源技术有限公司 | 一种能源互联网用电非侵入式测量系统 |
-
2018
- 2018-10-29 CN CN201811264546.2A patent/CN111104416A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014172877A1 (zh) * | 2013-04-25 | 2014-10-30 | 西门子公司 | 一种工业监控系统 |
| CN103955509A (zh) * | 2014-04-30 | 2014-07-30 | 广西电网公司电力科学研究院 | 一种海量电力计量数据的快速检索方法 |
| CN105677691A (zh) * | 2014-12-05 | 2016-06-15 | 知意图股份有限公司 | 巨量串流数据实时处理方法及其装置与应用系统 |
| CN105677858A (zh) * | 2016-01-06 | 2016-06-15 | 北京国电通网络技术有限公司 | 一种基于大数据技术框架的数据采集方法及装置 |
| CN106383557A (zh) * | 2016-11-28 | 2017-02-08 | 贵州电网有限责任公司电力科学研究院 | 电力大数据一体机 |
| CN206863115U (zh) * | 2017-04-13 | 2018-01-09 | 深圳点亮新能源技术有限公司 | 一种能源互联网用电非侵入式测量系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112200290A (zh) * | 2020-11-04 | 2021-01-08 | 核工业理化工程研究院 | 基于sd卡的数据采集与管理装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111586091B (zh) | 一种实现算力组配的边缘计算网关系统 | |
| CN104239377A (zh) | 跨平台的数据检索方法及装置 | |
| CN111159180A (zh) | 一种基于数据资源目录构建的数据处理方法及系统 | |
| CN103064933A (zh) | 数据查询方法及系统 | |
| Liang et al. | Express supervision system based on NodeJS and MongoDB | |
| CN108509437A (zh) | 一种ElasticSearch查询加速方法 | |
| CN109582717A (zh) | 一种面向电力大数据的数据库统一平台及其读取方法 | |
| CN102750326A (zh) | 一种基于精简策略的集群系统的日志管理优化方法 | |
| KR20140096936A (ko) | Ｄｌｐ 시스템의 빅데이터 처리 시스템 및 방법 | |
| CN111400393B (zh) | 基于多应用平台的数据处理方法和装置、存储介质 | |
| CN112632025A (zh) | 一种基于paas平台的电网企业管理决策支持应用系统 | |
| CN105183809A (zh) | 一种云平台数据查询方法 | |
| CN114218218A (zh) | 基于数据仓库的数据处理方法、装置、设备及存储介质 | |
| CN117591532A (zh) | 一种分布式能源系统的海量数据管理系统及其应用方法 | |
| CN116166191A (zh) | 湖仓一体系统 | |
| CN108090186A (zh) | 一种大数据平台上的电力数据去重方法 | |
| CN111104441A (zh) | 一种数据采集方法及系统 | |
| CN110377757A (zh) | 一种实时知识图谱构建系统 | |
| CN113721856A (zh) | 一种数字化社区管理数据存储系统 | |
| CN109446167A (zh) | 一种日志数据存储、提取方法及装置 | |
| CN111125045B (zh) | 一种轻量级etl处理平台 | |
| CN112540987A (zh) | 一种基于数据集市的配用电大数据管理系统 | |
| CN111104416A (zh) | 一种分布式电力数据管理系统 | |
| CN107220363A (zh) | 一种支持全局复杂检索的跨地域查询方法及系统 | |
| CN108280790A (zh) | 基于大数据分析的政策信息服务系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |