CN109992625B - 一种异地一体化电网数据存储系统及方法 - Google Patents
一种异地一体化电网数据存储系统及方法 Download PDFInfo
- Publication number
- CN109992625B CN109992625B CN201910215251.4A CN201910215251A CN109992625B CN 109992625 B CN109992625 B CN 109992625B CN 201910215251 A CN201910215251 A CN 201910215251A CN 109992625 B CN109992625 B CN 109992625B
- Authority
- CN
- China
- Prior art keywords
- data
- load balancing
- module
- storage
- storage system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims description 24
- 238000003860 storage Methods 0.000 claims abstract description 55
- 238000005070 sampling Methods 0.000 claims abstract description 24
- 238000005520 cutting process Methods 0.000 claims abstract description 16
- 230000004044 response Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000011084 recovery Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Techniques For Improving Reliability Of Storages (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种异地一体化电网数据存储系统，包括连接模块和若干负载均衡模块，连接模块与一负载均衡模块连接；连接模块：用于向外提供一IP地址，接收访问该IP地址的采集端发送的采样数据写入请求，并将该采样数据写入请求发送给连接的负载均衡模块；负载均衡模块：通过负载均衡算法，将采样数据写入请求分散到所连数据库的存储节点；未与连接模块连接的负载均衡模块进行热备份，其中所述数据库采用数据切割存储方式进行采样数据存储。本发明通过数据库中间件技术实现异地灾备双核心，通过采用数据切割存储技术实现海量容量存储和易于扩展。
Description
技术领域
本发明涉及一种异地一体化电网数据存储系统及方法，属于电力系统自动化电网采样历史数据管理技术领域。
背景技术
在配电网系统中，为了便于对电网设备状态进行追溯，往往需要将设备的电流、电压、开关动作和故障指示器等相关数据进行存储，目前采用关系型数据库集中式存储，但是随着数据采集范围和电网规模扩大、新能源系统接入，数据库中的数据规模不断增长。传统关系型数据库对海量数据的存储和处理能力明显不足，数据安全也无法得到满足。随着配电网规模和应用需求扩大，数据量会越来越大，传统的存储方式存在容量存储不足、不易扩展的问题。
发明内容
本发明提供了一种异地一体化电网数据存储系统及方法，解决了传统存储方法存在容量存储不足、不易扩展的问题。
为了解决上述技术问题，本发明所采用的技术方案是：
一种异地一体化电网数据存储系统，包括连接模块和若干负载均衡模块，连接模块与一负载均衡模块连接；
连接模块：用于向外提供一IP地址，接收访问该IP地址的采集端发送的采样数据写入请求，并将该采样数据写入请求发送给连接的负载均衡模块；
负载均衡模块：通过负载均衡算法，将采样数据写入请求分散到所连数据库的存储节点；未与连接模块连接的负载均衡模块进行热备份。
数据库采用数据切割存储方式进行采样数据存储。
响应于连接模块连接的负载均衡模块所在的采集数据存储系统出现故障，连接模块选择一热备份的负载均衡模块连接，并将故障的采集数据存储系统剔除；响应于热备份的负载均衡模块所在的采集数据存储系统出现故障，连接模块将故障的采集数据存储系统剔除。
数据库进行数据存储的过程为，
通过切割算法进行数据表拆分，将拆分后的子表分布到存储节点；
存储节点将与子表对应的采集数据写入数据块；
对数据块进行合并；
响应于合并后的数据块达到阈值，将合并后的数据块分割成若干大小相等的标准数据块。
数据库采用冗余策略，拷贝标准数据块，将拷贝的标准数据块分散到所有采集数据存储系统的存储节点上。
一种异地一体化电网数据存储方法，包括以下步骤，
连接模块用于向外提供一IP地址，接收访问该IP地址的采集端发送的采样数据写入请求，并将该采样数据写入请求发送给连接的负载均衡模块；
未与连接模块连接的负载均衡模块进行热备份；
与连接模块连接的负载均衡模块通过负载均衡算法，将采样数据写入请求分散到所连数据库的存储节点。
数据库采用数据切割存储方式进行采样数据存储。
响应于连接模块连接的负载均衡模块所在的采集数据存储系统出现故障，连接模块选择一热备份的负载均衡模块连接，并将故障的采集数据存储系统剔除；响应于热备份的负载均衡模块所在的采集数据存储系统出现故障，连接模块将故障的采集数据存储系统剔除。
数据库进行数据存储的过程为，
通过切割算法进行数据表拆分，将拆分后的子表分布到存储节点；
存储节点将与子表对应的采集数据写入数据块；
对数据块进行合并；
响应于合并后的数据块达到阈值，将合并后的数据块分割成若干大小相等的标准数据块。
数据库采用冗余策略，拷贝标准数据块，将拷贝的标准数据块分散到所有采集数据存储系统的存储节点上。
本发明所达到的有益效果：本发明通过数据库中间件技术实现异地灾备双核心，通过采用数据切割存储技术实现海量容量存储和易于扩展。
附图说明
图1为本发明系统的框图；
图2为数据存储的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，一种异地一体化电网数据存储系统，包括连接模块和若干采集数据存储系统，采集数据存储系统部署在不同的地区，采集数据存储系统包括相互连接的负载均衡模块和数据库，连接模块与一个采集数据存储系统的负载均衡模块连接。
连接模块具体有两种实现方式，一种是直接部署一个服务器中，另一种是将连接模块分成若干个子模块，分别部署在不同的采集数据存储系统所正在的服务器中。
连接模块用以提供可靠的连接，向外提供一IP地址，采集端会访问该IP地址，连接模块接收采集端发送的采样数据写入请求，并将该采样数据写入请求发送给连接的负载均衡模块。
与连接模块连接的负载均衡模块通过负载均衡算法，将采样数据写入请求分散到所连数据库的存储节点。未与连接模块连接的负载均衡模块进行热备份。负载均衡模块通过RPC（Remote Procedure Call）协议和其他模块进行连接。RPC协议在OSI网络通信模型中，跨越了传输层和应用层，是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。
响应于连接模块连接的负载均衡模块所在的采集数据存储系统出现故障，连接模块选择一热备份的负载均衡模块连接，并将故障的采集数据存储系统剔除。响应于热备份的负载均衡模块所在的采集数据存储系统出现故障，连接模块将故障的采集数据存储系统剔除。通过此种方式，当一个地区的采集数据存储系统发生故障，连接模块可以不间断的提供数据连接服务，从而实现高可靠的数据连接，实现区域灾备的目的。
数据库采用数据切割存储方式进行采样数据存储。数据存储的核心是通过水平扩展方式，提高数据存储容量，不断增加存储节点，扩展存储容量，从而达到可以存储PB级数据的目的。
具体存储过程如图2所示：
1）通过切割算法进行PB级数据表拆分，将拆分后的子表分布到存储节点；
2）存储节点将与子表对应的采集数据写入数据块；
3）对数据块进行合并；
4）响应于合并后的数据块达到阈值，将合并后的数据块分割成若干大小相等的标准数据块。
为了实现数据高可靠行，数据库采用冗余策略，拷贝标准数据块，将拷贝的标准数据块分散到所有采集数据存储系统的存储节点上。
上述系统的连接模块和负载均衡模块构成数据库中间件，通过数据库中间件技术实现异地灾备双核心，通过采用数据切割存储技术实现海量容量存储和易于扩展。
上述系统的存储方法，包括以下步骤：
步骤1，连接模块用于向外提供一IP地址，接收访问该IP地址的采集端发送的采样数据写入请求，并将该采样数据写入请求发送给连接的负载均衡模块。
步骤2，未与连接模块连接的负载均衡模块进行热备份。
响应于连接模块连接的负载均衡模块所在的采集数据存储系统出现故障，连接模块选择一热备份的负载均衡模块连接，并将故障的采集数据存储系统剔除；响应于热备份的负载均衡模块所在的采集数据存储系统出现故障，连接模块将故障的采集数据存储系统剔除。
步骤3，与连接模块连接的负载均衡模块通过负载均衡算法，将采样数据写入请求分散到所连数据库的存储节点；
步骤4，数据库采用数据切割存储方式进行采样数据存储。
数据库进行数据存储的过程为：
41）通过切割算法进行数据表拆分，将拆分后的子表分布到存储节点；
42）存储节点将与子表对应的采集数据写入数据块；
43）对数据块进行合并；
44）响应于合并后的数据块达到阈值，将合并后的数据块分割成若干大小相等的标准数据块；
45）采用冗余策略，拷贝标准数据块，将拷贝的标准数据块分散到所有采集数据存储系统的存储节点上。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。
Claims (6)
1.一种异地一体化电网数据存储系统，其特征在于：包括连接模块和若干负载均衡模块，连接模块与一负载均衡模块连接；
连接模块：用于向外提供一IP地址，接收访问该IP地址的采集端发送的采样数据写入请求，并将该采样数据写入请求发送给连接的负载均衡模块；
负载均衡模块：通过负载均衡算法，将采样数据写入请求分散到所连数据库的存储节点；未与连接模块连接的负载均衡模块进行热备份；其中，数据库采用数据切割存储方式进行采样数据存储，过程为：
通过切割算法进行数据表拆分，将拆分后的子表分布到存储节点；存储节点将与子表对应的采集数据写入数据块；对数据块进行合并；响应于合并后的数据块达到阈值，将合并后的数据块分割成若干大小相等的标准数据块。
2.根据权利要求1所述的一种异地一体化电网数据存储系统，其特征在于：响应于连接模块连接的负载均衡模块所在的采集数据存储系统出现故障，连接模块选择一热备份的负载均衡模块连接，并将故障的采集数据存储系统剔除；响应于热备份的负载均衡模块所在的采集数据存储系统出现故障，连接模块将故障的采集数据存储系统剔除。
3.根据权利要求1所述的一种异地一体化电网数据存储系统，其特征在于：数据库采用冗余策略，拷贝标准数据块，将拷贝的标准数据块分散到所有采集数据存储系统的存储节点上。
4.基于权利要求1所述的一种异地一体化电网数据存储系统的存储方法，其特征在于：包括以下步骤，
连接模块用于向外提供一IP地址，接收访问该IP地址的采集端发送的采样数据写入请求，并将该采样数据写入请求发送给连接的负载均衡模块；
未与连接模块连接的负载均衡模块进行热备份；
与连接模块连接的负载均衡模块通过负载均衡算法，将采样数据写入请求分散到所连数据库的存储节点；其中，数据库采用数据切割存储方式进行采样数据存储，过程为：
通过切割算法进行数据表拆分，将拆分后的子表分布到存储节点；存储节点将与子表对应的采集数据写入数据块；对数据块进行合并；响应于合并后的数据块达到阈值，将合并后的数据块分割成若干大小相等的标准数据块。
5.根据权利要求4所述的一种异地一体化电网数据存储系统的存储方法，其特征在于：响应于连接模块连接的负载均衡模块所在的采集数据存储系统出现故障，连接模块选择一热备份的负载均衡模块连接，并将故障的采集数据存储系统剔除；响应于热备份的负载均衡模块所在的采集数据存储系统出现故障，连接模块将故障的采集数据存储系统剔除。
6.根据权利要求4所述的一种异地一体化电网数据存储系统的存储方法，其特征在于：数据库采用冗余策略，拷贝标准数据块，将拷贝的标准数据块分散到所有采集数据存储系统的存储节点上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910215251.4A CN109992625B (zh) | 2019-03-21 | 2019-03-21 | 一种异地一体化电网数据存储系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910215251.4A CN109992625B (zh) | 2019-03-21 | 2019-03-21 | 一种异地一体化电网数据存储系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109992625A CN109992625A (zh) | 2019-07-09 |
| CN109992625B true CN109992625B (zh) | 2022-08-16 |
Family
ID=67129683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910215251.4A Active CN109992625B (zh) | 2019-03-21 | 2019-03-21 | 一种异地一体化电网数据存储系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109992625B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103095806A (zh) * | 2012-12-20 | 2013-05-08 | 中国电力科学研究院 | 一种面向大电网的实时数据库系统的负载均衡管理系统 |
-
2019
- 2019-03-21 CN CN201910215251.4A patent/CN109992625B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103095806A (zh) * | 2012-12-20 | 2013-05-08 | 中国电力科学研究院 | 一种面向大电网的实时数据库系统的负载均衡管理系统 |
Non-Patent Citations (2)
| Title |
|---|
| 基于负载均衡的多源流数据实时存储系统;郭会云等;《计算机工程与科学》;20170415(第04期);全文 * |
| 数据库集群系统负载均衡技术的应用;何立群;《煤炭技术》;20110810(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109992625A (zh) | 2019-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113037560B (zh) | 业务流量切换方法及装置、存储介质、电子设备 | |
| CN107332688B (zh) | 基于图数据库的电力信息通信系统的建模方法及装置 | |
| CN103581332B (zh) | HDFS架构及HDFS架构中NameNode节点的压力分解方法 | |
| CN104486445A (zh) | 一种基于云平台的分布式可扩展资源监控系统及方法 | |
| CN108848132B (zh) | 一种基于云的配电调度主站系统 | |
| CN107528872A (zh) | 一种数据恢复方法、装置及云存储系统 | |
| CN106301938A (zh) | 一种高可用性和强一致性的数据库集群系统及其节点管理方法 | |
| CN103955510A (zh) | 基于etl云平台上传的海量电力营销数据整合方法 | |
| CN112235142B (zh) | 一种可实现关键业务容灾的用电信息采集系统及其运行方法 | |
| CN107682411A (zh) | 一种大规模sdn控制器集群及网络系统 | |
| CN104618455A (zh) | 一种通用缓存系统及其方法 | |
| CN105260810A (zh) | 一种基于主网调度系统的配网备用调度控制系统建设方法 | |
| CN103530335B (zh) | 电力计量采集系统的入库操作方法及装置 | |
| CN102497026B (zh) | 一种用于对微网进行智能控制的方法及系统 | |
| CN110348826A (zh) | 异地多活容灾方法、系统、设备及可读存储介质 | |
| CN111127250B (zh) | 一种电力数据监控事件分析系统及方法 | |
| CN109165122B (zh) | 一种提升基于区块链技术实现的应用系统同城多园区部署灾备能力的方法 | |
| CN103793296A (zh) | 一种在集群中用于辅助备份复制计算机系统的方法 | |
| CN109992625B (zh) | 一种异地一体化电网数据存储系统及方法 | |
| CN106210624A (zh) | 一种基于电力行业多级级联流媒体智能调度的方法 | |
| CN112685486B (zh) | 数据库集群的数据管理方法、装置、电子设备及存储介质 | |
| CN110008198B (zh) | 一种数据库结构以及调度自动化系统 | |
| CN109144781B (zh) | 一种提升基于区块链技术实现的应用系统单园区部署灾备能力的方法 | |
| CN115374101A (zh) | 轨道交通站段级数据管理系统 | |
| CN111917826A (zh) | 一种基于区块链知识产权保护的pbft共识算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |