CN109992625A - 一种异地一体化电网数据存储系统及方法 - Google Patents

一种异地一体化电网数据存储系统及方法 Download PDF

Info

Publication number
CN109992625A
CN109992625A CN201910215251.4A CN201910215251A CN109992625A CN 109992625 A CN109992625 A CN 109992625A CN 201910215251 A CN201910215251 A CN 201910215251A CN 109992625 A CN109992625 A CN 109992625A
Authority
CN
China
Prior art keywords
data storage
load balancing
data
block
storage system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910215251.4A
Other languages
English (en)
Other versions
CN109992625B (zh
Inventor
崔伟业
王玉军
史浩秋
徐骏
陈鹏
余璟
汪志成
吴海伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Nari Technology Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Nari Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Jiangsu Electric Power Co Ltd, Nari Technology Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201910215251.4A priority Critical patent/CN109992625B/zh
Publication of CN109992625A publication Critical patent/CN109992625A/zh
Application granted granted Critical
Publication of CN109992625B publication Critical patent/CN109992625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种异地一体化电网数据存储系统，包括连接模块和若干负载均衡模块，连接模块与一负载均衡模块连接；连接模块：用于向外提供一IP地址，接收访问该IP地址的采集端发送的采样数据写入请求，并将该采样数据写入请求发送给连接的负载均衡模块；负载均衡模块：通过负载均衡算法，将采样数据写入请求分散到所连数据库的存储节点；未与连接模块连接的负载均衡模块进行热备份，其中所述数据库采用数据切割存储方式进行采样数据存储。本发明通过数据库中间件技术实现异地灾备双核心，通过采用数据切割存储技术实现海量容量存储和易于扩展。

Description

一种异地一体化电网数据存储系统及方法
技术领域
本发明涉及一种异地一体化电网数据存储系统及方法，属于电力系统自动化电网采样历史数据管理技术领域。
背景技术
在配电网系统中，为了便于对电网设备状态进行追溯，往往需要将设备的电流、电压、开关动作和故障指示器等相关数据进行存储，目前采用关系型数据库集中式存储，但是随着数据采集范围和电网规模扩大、新能源系统接入，数据库中的数据规模不断增长。传统关系型数据库对海量数据的存储和处理能力明显不足，数据安全也无法得到满足。随着配电网规模和应用需求扩大，数据量会越来越大，传统的存储方式存在容量存储不足、不易扩展的问题。
发明内容
本发明提供了一种异地一体化电网数据存储系统及方法，解决了传统存储方法存在容量存储不足、不易扩展的问题。
为了解决上述技术问题，本发明所采用的技术方案是：
一种异地一体化电网数据存储系统，包括连接模块和若干负载均衡模块，连接模块与一负载均衡模块连接；
连接模块：用于向外提供一IP地址，接收访问该IP地址的采集端发送的采样数据写入请求，并将该采样数据写入请求发送给连接的负载均衡模块；
负载均衡模块：通过负载均衡算法，将采样数据写入请求分散到所连数据库的存储节点；未与连接模块连接的负载均衡模块进行热备份。
数据库采用数据切割存储方式进行采样数据存储。
响应于连接模块连接的负载均衡模块所在的采集数据存储系统出现故障，连接模块选择一热备份的负载均衡模块连接，并将故障的采集数据存储系统剔除；响应于热备份的负载均衡模块所在的采集数据存储系统出现故障，连接模块将故障的采集数据存储系统剔除。
数据库进行数据存储的过程为，
通过切割算法进行数据表拆分，将拆分后的子表分布到存储节点；
存储节点将与子表对应的采集数据写入数据块；
对数据块进行合并；
响应于合并后的数据块达到阈值，将合并后的数据块分割成若干大小相等的标准数据块。
数据库采用冗余策略，拷贝标准数据块，将拷贝的标准数据块分散到所有采集数据存储系统的存储节点上。
一种异地一体化电网数据存储方法，包括以下步骤，
连接模块用于向外提供一IP地址，接收访问该IP地址的采集端发送的采样数据写入请求，并将该采样数据写入请求发送给连接的负载均衡模块；
未与连接模块连接的负载均衡模块进行热备份；
与连接模块连接的负载均衡模块通过负载均衡算法，将采样数据写入请求分散到所连数据库的存储节点。
数据库采用数据切割存储方式进行采样数据存储。
响应于连接模块连接的负载均衡模块所在的采集数据存储系统出现故障，连接模块选择一热备份的负载均衡模块连接，并将故障的采集数据存储系统剔除；响应于热备份的负载均衡模块所在的采集数据存储系统出现故障，连接模块将故障的采集数据存储系统剔除。
数据库进行数据存储的过程为，
通过切割算法进行数据表拆分，将拆分后的子表分布到存储节点；
存储节点将与子表对应的采集数据写入数据块；
对数据块进行合并；
响应于合并后的数据块达到阈值，将合并后的数据块分割成若干大小相等的标准数据块。
数据库采用冗余策略，拷贝标准数据块，将拷贝的标准数据块分散到所有采集数据存储系统的存储节点上。
本发明所达到的有益效果：本发明通过数据库中间件技术实现异地灾备双核心，通过采用数据切割存储技术实现海量容量存储和易于扩展。
附图说明
图1为本发明系统的框图；
图2为数据存储的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，一种异地一体化电网数据存储系统，包括连接模块和若干采集数据存储系统，采集数据存储系统部署在不同的地区，采集数据存储系统包括相互连接的负载均衡模块和数据库，连接模块与一个采集数据存储系统的负载均衡模块连接。
连接模块具体有两种实现方式，一种是直接部署一个服务器中，另一种是将连接模块分成若干个子模块，分别部署在不同的采集数据存储系统所正在的服务器中。
连接模块用以提供可靠的连接，向外提供一IP地址，采集端会访问该IP地址，连接模块接收采集端发送的采样数据写入请求，并将该采样数据写入请求发送给连接的负载均衡模块。
与连接模块连接的负载均衡模块通过负载均衡算法，将采样数据写入请求分散到所连数据库的存储节点。未与连接模块连接的负载均衡模块进行热备份。负载均衡模块通过RPC（Remote Procedure Call）协议和其他模块进行连接。RPC协议在OSI网络通信模型中，跨越了传输层和应用层，是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。
响应于连接模块连接的负载均衡模块所在的采集数据存储系统出现故障，连接模块选择一热备份的负载均衡模块连接，并将故障的采集数据存储系统剔除。响应于热备份的负载均衡模块所在的采集数据存储系统出现故障，连接模块将故障的采集数据存储系统剔除。通过此种方式，当一个地区的采集数据存储系统发生故障，连接模块可以不间断的提供数据连接服务，从而实现高可靠的数据连接，实现区域灾备的目的。
数据库采用数据切割存储方式进行采样数据存储。数据存储的核心是通过水平扩展方式，提高数据存储容量，不断增加存储节点，扩展存储容量，从而达到可以存储PB级数据的目的。
具体存储过程如图2所示：
1）通过切割算法进行PB级数据表拆分，将拆分后的子表分布到存储节点；
2）存储节点将与子表对应的采集数据写入数据块；
3）对数据块进行合并；
4）响应于合并后的数据块达到阈值，将合并后的数据块分割成若干大小相等的标准数据块。
为了实现数据高可靠行，数据库采用冗余策略，拷贝标准数据块，将拷贝的标准数据块分散到所有采集数据存储系统的存储节点上。
上述系统的连接模块和负载均衡模块构成数据库中间件，通过数据库中间件技术实现异地灾备双核心，通过采用数据切割存储技术实现海量容量存储和易于扩展。
上述系统的存储方法，包括以下步骤：
步骤1，连接模块用于向外提供一IP地址，接收访问该IP地址的采集端发送的采样数据写入请求，并将该采样数据写入请求发送给连接的负载均衡模块。
步骤2，未与连接模块连接的负载均衡模块进行热备份。
响应于连接模块连接的负载均衡模块所在的采集数据存储系统出现故障，连接模块选择一热备份的负载均衡模块连接，并将故障的采集数据存储系统剔除；响应于热备份的负载均衡模块所在的采集数据存储系统出现故障，连接模块将故障的采集数据存储系统剔除。
步骤3，与连接模块连接的负载均衡模块通过负载均衡算法，将采样数据写入请求分散到所连数据库的存储节点；
步骤4，数据库采用数据切割存储方式进行采样数据存储。
数据库进行数据存储的过程为：
41）通过切割算法进行数据表拆分，将拆分后的子表分布到存储节点；
42）存储节点将与子表对应的采集数据写入数据块；
43）对数据块进行合并；
44）响应于合并后的数据块达到阈值，将合并后的数据块分割成若干大小相等的标准数据块；
45）采用冗余策略，拷贝标准数据块，将拷贝的标准数据块分散到所有采集数据存储系统的存储节点上。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (10)

1.一种异地一体化电网数据存储系统，其特征在于：包括连接模块和若干负载均衡模块，连接模块与一负载均衡模块连接；
连接模块：用于向外提供一IP地址，接收访问该IP地址的采集端发送的采样数据写入请求，并将该采样数据写入请求发送给连接的负载均衡模块；
负载均衡模块：通过负载均衡算法，将采样数据写入请求分散到所连数据库的存储节点；未与连接模块连接的负载均衡模块进行热备份。
2.根据权利要求1所述的一种异地一体化电网数据存储系统，其特征在于：数据库采用数据切割存储方式进行采样数据存储。
3.根据权利要求1所述的一种异地一体化电网数据存储系统，其特征在于：响应于连接模块连接的负载均衡模块所在的采集数据存储系统出现故障，连接模块选择一热备份的负载均衡模块连接，并将故障的采集数据存储系统剔除；响应于热备份的负载均衡模块所在的采集数据存储系统出现故障，连接模块将故障的采集数据存储系统剔除。
4.根据权利要求1所述的一种异地一体化电网数据存储系统，其特征在于：数据库进行数据存储的过程为，
通过切割算法进行数据表拆分，将拆分后的子表分布到存储节点；
存储节点将与子表对应的采集数据写入数据块；
对数据块进行合并；
响应于合并后的数据块达到阈值，将合并后的数据块分割成若干大小相等的标准数据块。
5.根据权利要求4所述的一种异地一体化电网数据存储系统，其特征在于：数据库采用冗余策略，拷贝标准数据块，将拷贝的标准数据块分散到所有采集数据存储系统的存储节点上。
6.基于权利要求1所述的一种异地一体化电网数据存储方法，其特征在于：包括以下步骤，
连接模块用于向外提供一IP地址，接收访问该IP地址的采集端发送的采样数据写入请求，并将该采样数据写入请求发送给连接的负载均衡模块；
未与连接模块连接的负载均衡模块进行热备份；
与连接模块连接的负载均衡模块通过负载均衡算法，将采样数据写入请求分散到所连数据库的存储节点。
7.根据权利要求6所述的一种异地一体化电网数据存储方法，其特征在于：数据库采用数据切割存储方式进行采样数据存储。
8.根据权利要求6所述的一种异地一体化电网数据存储方法，其特征在于：响应于连接模块连接的负载均衡模块所在的采集数据存储系统出现故障，连接模块选择一热备份的负载均衡模块连接，并将故障的采集数据存储系统剔除；响应于热备份的负载均衡模块所在的采集数据存储系统出现故障，连接模块将故障的采集数据存储系统剔除。
9.根据权利要求6所述的一种异地一体化电网数据存储方法，其特征在于：数据库进行数据存储的过程为，
通过切割算法进行数据表拆分，将拆分后的子表分布到存储节点；
存储节点将与子表对应的采集数据写入数据块；
对数据块进行合并；
响应于合并后的数据块达到阈值，将合并后的数据块分割成若干大小相等的标准数据块。
10.根据权利要求9所述的一种异地一体化电网数据存储方法，其特征在于：数据库采用冗余策略，拷贝标准数据块，将拷贝的标准数据块分散到所有采集数据存储系统的存储节点上。
CN201910215251.4A 2019-03-21 2019-03-21 一种异地一体化电网数据存储系统及方法 Active CN109992625B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910215251.4A CN109992625B (zh) 2019-03-21 2019-03-21 一种异地一体化电网数据存储系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910215251.4A CN109992625B (zh) 2019-03-21 2019-03-21 一种异地一体化电网数据存储系统及方法

Publications (2)

Publication Number Publication Date
CN109992625A true CN109992625A (zh) 2019-07-09
CN109992625B CN109992625B (zh) 2022-08-16

Family

ID=67129683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910215251.4A Active CN109992625B (zh) 2019-03-21 2019-03-21 一种异地一体化电网数据存储系统及方法

Country Status (1)

Country Link
CN (1) CN109992625B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103095806A (zh) * 2012-12-20 2013-05-08 中国电力科学研究院 一种面向大电网的实时数据库系统的负载均衡管理系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103095806A (zh) * 2012-12-20 2013-05-08 中国电力科学研究院 一种面向大电网的实时数据库系统的负载均衡管理系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何立群: "数据库集群系统负载均衡技术的应用", 《煤炭技术》 *
郭会云等: "基于负载均衡的多源流数据实时存储系统", 《计算机工程与科学》 *

Also Published As

Publication number Publication date
CN109992625B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN106534318B (zh) 一种基于流量亲和性的OpenStack云平台资源动态调度系统和方法
CN109391655A (zh) 服务灰度发布方法、装置、系统及存储介质
CN112738220B (zh) 服务器集群的管理方法、负载均衡方法和负载均衡设备
CN113872204B (zh) 一种基于电网图拓扑计算的用电负荷性质确定方法及装置
CN107888666A (zh) 一种跨地域数据存储系统以及数据同步方法和装置
CN112132954B (zh) 一种面向三维激光点云实体对象的分布式管理方法及系统
CN103607424A (zh) 一种服务器连接方法及服务器系统
CN116760044A (zh) 一种考虑无人机应急移动基站的配电网负荷综合恢复方法
CN106886517A (zh) 业务选址方法、装置以及系统
CN113742030B (zh) 跨区服务配置方法、装置和存储介质
CN115238423A (zh) 基于图计算的s-scdn动态拓扑分析及环路检测算法
CN109992625A (zh) 一种异地一体化电网数据存储系统及方法
CN108304555A (zh) 分布式地图数据处理方法
CN109739439A (zh) 大容量储能系统海量数据的分布式存储方法及系统
CN109271235A (zh) 一种数据库集群建立方法与装置
CN113987724A (zh) 基于拓扑分析的电网风险辨识方法及系统
CN115633093B (zh) 资源获取方法、装置、计算机设备及计算机可读存储介质
CN109787186B (zh) 一种基于云平台的多级电网广域定值校核方法及系统
CN114422393B (zh) 用于确定无损网络性能的方法及装置、电子设备、存储介质
US6671801B1 (en) Replication of computer systems by duplicating the configuration of assets and the interconnections between the assets
CN115202580A (zh) 一种多路径设备检测方法、装置、设备、存储介质
CN116954878A (zh) 容器集群的管理方法、装置、设备、存储介质及程序产品
CN114363227B (zh) 用于确定ecn性能的方法及装置、电子设备、存储介质
CN116991674B (zh) 用于不动产登记信息的高并发服务架构及其数据处理方法
CN110389821A (zh) 多账号处理方法、处理装置、应用程序和电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant