CN108833494A - 一种分布式数据存储方法和系统 - Google Patents

一种分布式数据存储方法和系统 Download PDF

Info

Publication number
CN108833494A
CN108833494A CN201810509003.6A CN201810509003A CN108833494A CN 108833494 A CN108833494 A CN 108833494A CN 201810509003 A CN201810509003 A CN 201810509003A CN 108833494 A CN108833494 A CN 108833494A
Authority
CN
China
Prior art keywords
data
database
stored
distributed
storage method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810509003.6A
Other languages
English (en)
Inventor
崔丽君
张新坡
张妮
罗开明
冯旭
万静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Xuji Group Co Ltd
Xuchang XJ Software Technology Co Ltd
Original Assignee
State Grid Corp of China SGCC
Xuji Group Co Ltd
Xuchang XJ Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Xuji Group Co Ltd, Xuchang XJ Software Technology Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201810509003.6A priority Critical patent/CN108833494A/zh
Publication of CN108833494A publication Critical patent/CN108833494A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Multi Processors (AREA)

Abstract

本发明提供一种分布式数据存储方法和系统，存储方法为：在数据存储区域设置第一数据库和第二数据库，表示数据之间关系的数据存入第一数据库；如数据调用的频率大于设定频率值，则将该数据存入缓存器；如果数据为实时数据，则将该数据存入第二数据库数据库。本发明所提供的技术方案，按照数据的类型对数据进行分布式存储，并将调用频率比较高的数据存储在缓存器中，方便对数据的调用并加快对常用数据的调用速率，解决由于数据数量大，种类多而造成数据调用实时性差的问题。

Description

一种分布式数据存储方法和系统
技术领域
本发明属于电力系统数据存储技术领域，具体涉及一种分布式数据存储方法和系统。
背景技术
传统上将电力系统划分为发电、输电和配电三大组成系统。发电系统发出的电能经由输电系统输送，最后由配电系统分配给各个用户。一般地，将电力系统中从降压配电变电站(高压配电变电站)出口到用户端的这一段系统称为配电系统。配电系统是由多种配电设备(或元件)和配电设施所组成的变换电压和直接向终端用户分配电能的一个电力网络系统。
SCADA系统，即数据采集与监视控制系统，可以对现场的运行设备进行监视和控制，以实现数据采集、设备控制、测量、参数调节以及各类信号报警等各项功能，即“四遥”功能。RTU(远程终端单元)，FTU(馈线终端单元)是SCADA系统的重要组成部分，并且随着技术的发展，SCADA系统在电力系统中的应用越来越广泛。
SCADA系统在工作时需要存储和调用大量的数据，由于数据的种类比较多，数据之间的关系复杂，所以在调用数据时需要消耗大量的时间，使得SCADA系统的运行速率低，实时性差。
发明内容
本发明提供一种分布式数据存储方法和系统，用于解决由于数据数量大，种类多而造成数据调用实时性差的问题。
为实现上述目的，本发明提供的技术方案是：
一种分布式数据存储方法，在数据存储区域设置第一数据库和第二数据库，表述数据之间关系的数据，存入第一数据库。当收到数据时：
如果数据调用的频率大于设定频率值，则将该数据存入缓存器；
如果数据为实时数据，则将该数据存入第二数据库数据库。
本发明所提供的技术方案，按照数据的类型对数据进行分布式存储，并将调用频率比较高的数据存储在缓存器中，方便对数据的调用并加快对常用数据的调用速率，解决由于数据数量大，种类多而造成数据调用实时性差的问题。
为了能够加快数据写入的速度，作为对第二数据库的进一步改进，所述第二数据库从数据总线获取实时数据。
由于Redis数据库对数据的写入速度较快，因此作为对第二数据库的进一步改进，所述第二数据库为redis数据库。
为了能够较好的表现出数据之间的关系，作为对第一数据库的进一步改进，所述第一数据库为mysql数据库。
一种分布式数据存储系统，包括存储器和处理器，所述存储器上存储有用于在处理器上执行的计算机程序，所述处理器执行所述存储器上存储的计算机程序时，执行如下步骤：
在数据存储区域设置第一数据库和第二数据库，当接收到数据时：
如果数据为表述数据之间关系的数据，则将该数据存入第一数据库；
如果数据调用的频率大于设定频率值，则将该数据存入缓存器；
如果数据为实时数据，则将该数据存入第二数据库数据库。
为了能够加快数据写入的速度，作为对第二数据库的进一步改进，所述第二数据库从数据总线获取实时数据。
由于Redis数据库对数据的写入速度较快，因此作为对第二数据库的进一步改进，所述第二数据库为redis数据库。
为了能够较好的表现出数据之间的关系，作为对第一数据库的进一步改进，所述第一数据库为mysql数据库。
附图说明
图1为方法实施例中分布式数据存储方法的示意图。
具体实施方式
本发明提供一种分布式数据存储方法和系统，用于解决由于数据数量大，种类多而造成数据调用实时性差的问题。
为实现上述目的，本发明提供的技术方案是：
一种分布式数据存储方法，在数据存储区域设置第一数据库和第二数据库，当接收到数据时：
如果数据为表述数据之间关系的数据，则将该数据存入第一数据库；
如果数据调用的频率大于设定频率值，则将该数据存入缓存器；
如果数据为实时数据，则将该数据存入第二数据库数据库。
下面结合具体实施方式对本发明的技术方案作进一步说明。
方法实施例：
本实施例提供一种分布式数据存储方法，适用于SCADA系统，也适用于其他有大量数据采集、数据存储和数据调用的系统。
本实施例提供的分布式数据存储方法，将接收到的数据按照种类存储到不同的区域，以方便对数据的调用。对数据进行存储的区域包括mysql数据库、缓存器和redis数据库；当接收到数据时：
如果数据为表述数据之间关系的数据，则将该数据存入mysql数据库；
如果数据为调用频率大于设定频率值的数据，则将该数据存入缓存器；
如果数据为实时数据，则将该数据存入redis数据库。
上述对数据的分类及存储如表1所示，示意图如图1所示。
本实施例中，为了增加对实时数据的写入速度，将实时数据由总线直接写入redis数据库。
本实施例中，数据处理集群采用分区集群方式处理数据，数据处理集群中的数据由统一的对外访问接口从缓存中获取。统一的对外访问接口的优势在于，当数据模型发生改变时，不用修改源代码，增加了系统的可复用性和针对多变现场的灵活实用性。数据处理集群处理完数据后，数据直接发送到系统的消息总线上。
系统实施例：
本实施例提供一种分布式数据存储系统，包括存储器和处理器，存储器上存储有用于在处理器上执行的计算机程序，处理器执行存储器上存储的计算机程序时，执行上述方法实施例所提供的分布式数据存储方法。

Claims (8)

1.一种分布式数据存储方法，其特征在于，在数据存储区域设置第一数据库和第二数据库，当接收到数据时：
如果数据为表述数据之间关系的数据，则将该数据存入第一数据库；
如果数据调用的频率大于设定频率值，则将该数据存入缓存器；
如果数据为实时数据，则将该数据存入第二数据库数据库。
2.根据权利要求1所述的一种分布式数据存储方法，其特征在于，所述第二数据库从数据总线获取实时数据。
3.根据权利要求1所述的一种分布式数据存储方法，其特征在于，所述第二数据库为redis数据库。
4.根据权利要求1或2或3所述的一种分布式数据存储方法，其特征在于，所述第一数据库为mysql数据库。
5.一种分布式数据存储系统，包括存储器和处理器，所述存储器上存储有用于在处理器上执行的计算机程序，其特征在于，所述处理器执行所述存储器上存储的计算机程序时，执行如下步骤：
在数据存储区域设置第一数据库和第二数据库，当接收到数据时：
如果数据为表述数据之间关系的数据，则将该数据存入第一数据库；
如果数据调用的频率大于设定频率值，则将该数据存入缓存器；
如果数据为实时数据，则将该数据存入第二数据库数据库。
6.根据权利要求5所述的一种分布式数据存储系统，其特征在于，所述第二数据库从数据总线获取实时数据。
7.根据权利要求5所述的一种分布式数据存储系统，其特征在于，所述第二数据库为redis数据库。
8.根据权利要求5或6或7所述的一种分布式数据存储系统，其特征在于，所述第一数据库为mysql数据库。
CN201810509003.6A 2018-05-24 2018-05-24 一种分布式数据存储方法和系统 Pending CN108833494A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810509003.6A CN108833494A (zh) 2018-05-24 2018-05-24 一种分布式数据存储方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810509003.6A CN108833494A (zh) 2018-05-24 2018-05-24 一种分布式数据存储方法和系统

Publications (1)

Publication Number Publication Date
CN108833494A true CN108833494A (zh) 2018-11-16

Family

ID=64145278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810509003.6A Pending CN108833494A (zh) 2018-05-24 2018-05-24 一种分布式数据存储方法和系统

Country Status (1)

Country Link
CN (1) CN108833494A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572478A (zh) * 2019-09-30 2019-12-13 重庆紫光华山智安科技有限公司 基于分布式架构服务和ftp服务的数据传输方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116595A (zh) * 2012-10-24 2013-05-22 中国电力科学研究院 面向电网的scada历史数据分布式存储的实现方法
KR101398088B1 (ko) * 2012-11-15 2014-06-02 (주)위메이드엔터테인먼트 온라인 게임에서의 데이터 관리 방법 및 데이터 관리 시스템을 포함하는 게임 서버 및 기록매체
CN104461935A (zh) * 2014-11-27 2015-03-25 华为技术有限公司 一种进行数据存储的方法、装置及系统
CN104965850A (zh) * 2015-04-29 2015-10-07 云南电网有限责任公司 一种基于开源技术的数据库高可用实现方法
CN105512129A (zh) * 2014-09-24 2016-04-20 中国移动通信集团江苏有限公司 一种海量数据检索方法及装置、海量数据存储方法及系统
CN105719211A (zh) * 2016-03-11 2016-06-29 深圳市同立方科技有限公司 基于虚拟现实的教学培训考核方法及系统
CN106294644A (zh) * 2016-08-02 2017-01-04 山东鲁能软件技术有限公司 一种基于大数据技术的海量时序数据收集处理装置及方法
CN106649865A (zh) * 2016-12-31 2017-05-10 深圳市优必选科技有限公司 一种分布式服务器系统及数据处理方法
CN106713332A (zh) * 2016-12-30 2017-05-24 山石网科通信技术有限公司 网络数据的处理方法、装置和系统
CN106897458A (zh) * 2017-03-10 2017-06-27 广州白云电器设备股份有限公司 一种面向机电设备数据的存储及检索方法
CN107402982A (zh) * 2017-07-07 2017-11-28 阿里巴巴集团控股有限公司 数据写入、数据匹配方法、装置及计算设备
CN107609085A (zh) * 2017-09-07 2018-01-19 国网辽宁省电力有限公司 一种基于大数据技术的智能电网量测数据处理方法及系统
CN107704532A (zh) * 2017-09-21 2018-02-16 深圳易嘉恩科技有限公司 基于Redis缓存实例文档和分类标准的方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116595A (zh) * 2012-10-24 2013-05-22 中国电力科学研究院 面向电网的scada历史数据分布式存储的实现方法
KR101398088B1 (ko) * 2012-11-15 2014-06-02 (주)위메이드엔터테인먼트 온라인 게임에서의 데이터 관리 방법 및 데이터 관리 시스템을 포함하는 게임 서버 및 기록매체
CN105512129A (zh) * 2014-09-24 2016-04-20 中国移动通信集团江苏有限公司 一种海量数据检索方法及装置、海量数据存储方法及系统
CN104461935A (zh) * 2014-11-27 2015-03-25 华为技术有限公司 一种进行数据存储的方法、装置及系统
CN104965850A (zh) * 2015-04-29 2015-10-07 云南电网有限责任公司 一种基于开源技术的数据库高可用实现方法
CN105719211A (zh) * 2016-03-11 2016-06-29 深圳市同立方科技有限公司 基于虚拟现实的教学培训考核方法及系统
CN106294644A (zh) * 2016-08-02 2017-01-04 山东鲁能软件技术有限公司 一种基于大数据技术的海量时序数据收集处理装置及方法
CN106713332A (zh) * 2016-12-30 2017-05-24 山石网科通信技术有限公司 网络数据的处理方法、装置和系统
CN106649865A (zh) * 2016-12-31 2017-05-10 深圳市优必选科技有限公司 一种分布式服务器系统及数据处理方法
CN106897458A (zh) * 2017-03-10 2017-06-27 广州白云电器设备股份有限公司 一种面向机电设备数据的存储及检索方法
CN107402982A (zh) * 2017-07-07 2017-11-28 阿里巴巴集团控股有限公司 数据写入、数据匹配方法、装置及计算设备
CN107609085A (zh) * 2017-09-07 2018-01-19 国网辽宁省电力有限公司 一种基于大数据技术的智能电网量测数据处理方法及系统
CN107704532A (zh) * 2017-09-21 2018-02-16 深圳易嘉恩科技有限公司 基于Redis缓存实例文档和分类标准的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
康景龙: "基于混合存储的电动自行车管理系统研究与实现", 《中国优秀硕士学位论文全文数据库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572478A (zh) * 2019-09-30 2019-12-13 重庆紫光华山智安科技有限公司 基于分布式架构服务和ftp服务的数据传输方法及系统

Similar Documents

Publication Publication Date Title
CN104636084B (zh) 一种对电力大数据进行分布存储的装置和方法
CN107870981A (zh) 电子装置、数据表归档处理的方法及存储介质
US9634522B2 (en) Power grid data monitoring and control
CN107944697B (zh) 基于供需关系的热地图计算方法和系统、服务器、介质
CN110765594B (zh) 一种风电场实时仿真器内部交互接口控制方法及装置
CN116169794A (zh) 电力系统用提示装置与提示方法
CN116316538A (zh) 主配协同配网供电安全能力分析方法、系统、设备及介质
CN108833494A (zh) 一种分布式数据存储方法和系统
CN205622328U (zh) 配电网故障在线智能诊断系统
CN109086331B (zh) 主配网数据更新方法、装置与计算机可读存储介质
CN111125046A (zh) 基于非结构化平台的跨系统文件共享系统及方法
CN110334385B (zh) 综合能源系统中央控制器的测试方法、装置及设备
CN106557550B (zh) 一种配电终端自描述定点记录的快速存储、检索及补全的实现方法及装置
CN117277350A (zh) 阻抗计算、电网稳定性分析方法及存储介质和终端设备
CN115484187B (zh) 容器环境下容器网络接口测试方法、设备及存储介质
CN113626217B (zh) 异步消息处理方法、装置、电子设备和存储介质
CN113076093B (zh) 电力监控系统配置方法、装置及终端
CN115511453A (zh) 一种数据处理方法、装置、设备及系统
CN115276082A (zh) 一种光伏逆变器孤岛状态确定方法、终端及系统
CN109959842A (zh) 一种故障检测的方法、装置及配电终端
CN111859585B (zh) 一种输配协同的设备承载能力计算方法及系统
CN113097998A (zh) 充电站智能化控制方法、装置及存储介质
CN114647686A (zh) 数据处理方法、装置、设备、介质及产品
CN112257913A (zh) 中压线路负荷值预测方法、装置、设备及存储介质
CN108958150A (zh) 无人机地面监视控制设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181116

RJ01 Rejection of invention patent application after publication