CN114697353A - 一种分布式存储集群电网数据存储控制方法 - Google Patents

一种分布式存储集群电网数据存储控制方法 Download PDF

Info

Publication number
CN114697353A
CN114697353A CN202210583850.3A CN202210583850A CN114697353A CN 114697353 A CN114697353 A CN 114697353A CN 202210583850 A CN202210583850 A CN 202210583850A CN 114697353 A CN114697353 A CN 114697353A
Authority
CN
China
Prior art keywords
storage
power grid
data
node
grid data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210583850.3A
Other languages
English (en)
Other versions
CN114697353B (zh
Inventor
董绍立
迟国珑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zouping Power Supply Co Ltd
Original Assignee
Zouping Power Supply Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zouping Power Supply Co Ltd filed Critical Zouping Power Supply Co Ltd
Priority to CN202210583850.3A priority Critical patent/CN114697353B/zh
Publication of CN114697353A publication Critical patent/CN114697353A/zh
Application granted granted Critical
Publication of CN114697353B publication Critical patent/CN114697353B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Public Health (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Monitoring And Control Of Power-Distribution Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于电网数据存储控制技术领域，具体提供一种分布式存储集群电网数据存储控制方法，包括如下步骤：终端服务器发送的数据存储请求到局域网；第一个接收到存储请求的存储节点，判断是否为同步存储；若否，查询发送存储请求的终端服务器的状态存储器内的默认的存储路径；当默认的存储路径对应的存储节点在线时，将存储路径以及接收到的请求转发至管理节点，将电网数据写入存储节点；若是，将电网数据写入第一个收到请求的存储节点，返回写入状态到管理节点；根据接收到的写入状态判断写入完成时，管理节点读取存储节点新写入的电网数据并将读取的电网数据同步到集群内的其他存储节点。根据请求中的备份类型进行数据的备份，提高存储效率。

Description

一种分布式存储集群电网数据存储控制方法
技术领域
本发明涉及电网数据存储控制技术领域，具体涉及一种分布式存储集群电网数据存储控制方法。
背景技术
随着电网技术的发展，智能电网成为电力系统变革和发展的一个重要方向，智能电网要求实现对系统状态的实时监视和分析，以保证对故障的预测和对故障信号的及时响应，极大的提高了电力设备在利用方面的效率，从而保证电网的运行的可靠性、安全性和稳定性，往往需要存储各种各样的电网数据。
但是，随着计算机技术的发展，现有的单节点存储已经不能满足系统容灾抗毁需求，为了保证数据的持续可用性及其安全性，通常需要在异地保存数据的多个副本，异地数据保存需要跨区域的数据传输，本地服务器按既定周期向异地服务器传输数据，异地服务器接收到数据后，将覆盖原有存储数据，因此，若数据量非常大时，跨区域数据同步就无法做到实时，并且同步过程中也会出现错误导致数据丢失等情况。导致数据写入的性能很低，从而影响智能电网整体的正常运行。
发明内容
现有的单节点存储已经不能满足系统容灾抗毁需求，为了保证数据的持续可用性及其安全性，通常需要在异地保存数据的多个副本，异地数据保存需要跨区域的数据传输，本地服务器按既定周期向异地服务器传输数据，异地服务器接收到数据后，将覆盖原有存储数据，因此，若数据量非常大时，跨区域数据同步就无法做到实时，并且同步过程中也会出现错误导致数据丢失等情况。导致数据写入的性能很低，从而影响智能电网整体的正常运行的问题，本发明提供一种分布式存储集群电网数据存储控制方法。
本发明的技术方案是：
本发明技术方案提供一种分布式存储集群电网数据存储控制方法，应用于分布式存储集群，分布式存储集群包括分布在各个站点的终端服务器以及设置于同一局域网的管理节点、对象存储网关和若干存储节点，每个终端服务器与局域网内的存储节点通信连接；所述方法包括如下步骤：
终端服务器发送数据存储请求到局域网；
第一个接收到存储请求的存储节点，判断是否为同步存储；
若否，查询发送存储请求的终端服务器的状态存储器内的默认的存储路径；
当默认的存储路径对应的存储节点在线时，将存储路径以及接收到的请求转发至管理节点，将电网数据写入存储节点；
若是，将电网数据写入第一个收到请求的存储节点，返回写入状态到管理节点；
根据接收到的写入状态判断写入完成时，管理节点读取存储节点新写入的电网数据并将读取的电网数据同步到集群内的其他存储节点。
每个站点采集的数据类型可能不同，也就是每个终端服务器需要备份的数据作用不同，有些只需要单节点备份即可，有些数据访问的多为了提高访问速度，需要将数据共享，终端服务器发送数据存储请求时，请求信息中带有备份类型的字段，数据备份时根据请求类型判断备份类型是默认的存储路径备份还是数据同步也就是共享，根据请求中的备份类型进行数据的备份，提高存储效率。
进一步的，第一个接收到存储请求的存储节点，判断是否为同步存储的步骤包括：
第一个接收到存储请求的存储节点将所述存储请求标记为已接收发送到局域网内的其他存储节点；其他存储节点接收到标记为已接收的存储请求后，将接收到的相同的存储请求丢弃；
第一个接收到存储请求的存储节点，对接收到的存储请求进行解析；
根据解析结果判断是否为同步存储。
由于集群内的存储节点的地位是相同的，终端服务器发送存储数据的请求时，集群中的每个存储节点均能接收到该请求，设定集群中第一个接收到请求的存储节点的请求为有效的请求，后续其他存储节点接收到时，为无效请求，不进行请求处理。
进一步的，当默认的存储路径对应的存储节点在线时，将存储路径以及接收到的请求转发至管理节点，将电网数据写入存储节点的步骤包括：
判断默认的存储路径是否是第一个接收存储请求的存储节点；
若是，直接将电网数据写入存储节点，同时返回写入信息到管理节点；
若否，判断集群中默认的存储路径对应的存储节点是否在线，当默认的存储路径对应的存储节点在线时，将存储路径以及接收到的请求转发至管理节点，将电网数据写入存储节点；
进一步的，查询数据存储请求的终端服务器的状态存储器内的默认的存储路径的步骤之后还包括：
当不存在默认的存储路径时，获取集群中可用带宽最大的前N个存储节点；
在获取的N个存储节点中选择性能最高的存储节点作为最优存储路径的存储节点；
将最优存储路径以及接收到的请求转发至管理节点，执行电网数据的写操作，同时将最优存储路径作为默认的存储路径存储到所述终端服务器的状态存储器。
进一步的，在获取的N个存储节点中选择性能最高的存储节点作为最优存储路径的存储节点的步骤之前包括：
获取所述的N个存储节点速率；
根据设定的权值，将可用带宽与速率计算加权值；
将计算得到的加权值进行排序，其中，加权值最大的存储节点为性能最高的存储节点。
进一步的，判断集群中默认的存储路径对应的存储节点是否在线的步骤还包括：
当集群中默认的存储路径对应的存储节点不在线时，获取终端服务器默认的存储路径的挂载策略；
当终端服务器默认的存储路径被指定挂载策略时，按照指定的挂载策略将存储节点挂载到集群并设置挂载的存储节点在线；
将存储路径以及接收到的请求转发至管理节点，执行电网数据的写操作。
进一步的，获取终端服务器默认的存储路径的挂载策略的步骤之后还包括：
当终端服务器默认的存储路径未被指定挂载策略时，执行步骤：获取集群中可用带宽最大的前N个存储节点；获取集群中可用带宽最大的前N个存储节点；在获取的N个存储节点中选择性能最高的存储节点作为最优存储路径的存储节点；
将最优存储路径与未被指定挂载策略默认的存储路径建立关联；
将最优存储路径最为默认的存储路径并做标记存储到所述终端服务器的状态存储器。
进一步的，每个存储节点至少包括第一存储盘和第二存储盘，第一存储盘和第二存储盘分别包括执行区和用于存储历史数据的数据区，将电网数据写入存储节点的步骤包括：
将第一存储盘的执行区标记为写数据池，将第二存储盘的数据区标记为读数据池；
将接收到的电网数据写入第一存储盘，写入完成后，将第二存储盘的执行区标记为写数据池同时取消第二存储盘数据区的标记；
读取第一存储盘最新写入的电网数据并将读取的电网数据同步到第二存储盘。
对于每个存储节点，存储硬盘的写标签允许数据的写入或读取，读标签仅允许数据的读取，当存储节点写入数据时，将其中一个存储硬盘标记为读，以使存储节点能够在进行电网数据写入的同时对已经存储的历史数据进行读取。可以最大化存储节点的读写性能。
进一步的，每个数据区和执行区均包括存储数据库、第一类型数据库和第二类型数据库；
电网数据写入时，将电网数据写入存储数据库；
获取存储数据库中写入的电网数据中的第一类型的信息写入第一类型数据库；
获取存储数据库中写入的电网数据中的第二类型的信息写入第二类型数据库；其中，第一类型的信息为告警信息，第二类型的信息为电压和/或电流信息。实现数据分类存储备份，提高系统的可用性。
进一步的，该方法还包括：
定时监控存储节点空闲存储容量，当空闲存储容量小于设定第一阈值时，获取时间戳最早的第二阈值容量的电网数据；
将获取的第二阈值容量的电网数据中的同步存储的电网数据取出，并发送清除指令到管理节点；
管理节点接收到清除指令后，判断取出的同步存储的电网数据是否为热点数据；
管理节点将取出的同步存储的电网数据中的非热点数据清除；
若空闲存储容量小于设定第一阈值，将获取的第二阈值容量的电网数据中默认的存储路径备份的电网数据中非热点数据删除。
从以上技术方案可以看出，本发明具有以下优点：终端服务器发送数据存储请求时，请求信息中带有备份类型的字段，数据备份时根据请求类型判断备份类型是默认的存储路径备份还是数据同步也就是共享，根据请求中的备份类型进行数据的备份，提高存储效率。还能够实现对电网数据的分类备份，保持数据的一致性，将数据写入时不影响历史数据的访问。提高读写性能。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
图2是本发明实施例中当默认的存储路径对应的存储节点在线时将电网数据的写入存储节点的示意性流程图。
图3是本发明实施例中判断集群中默认的存储路径对应的存储节点是否在线的示意性流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
如图1所示，本发明实施例提供一种分布式存储集群电网数据存储控制方法，应用于分布式存储集群，分布式存储集群包括分布在各个站点的终端服务器以及设置于同一局域网的管理节点、对象存储网关和若干存储节点，每个终端服务器与局域网内的存储节点通信连接；所述方法包括如下步骤：
步骤1：终端服务器发送数据存储请求到局域网；
步骤2：第一个接收到存储请求的存储节点，判断是否为同步存储；
若否，执行步骤3，若是，执行步骤5；
步骤3：查询发送存储请求的终端服务器的状态存储器内的默认的存储路径；
步骤4：当默认的存储路径对应的存储节点在线时，将存储路径以及接收到的请求转发至管理节点，将电网数据写入存储节点；
步骤5：将电网数据写入第一个收到请求的存储节点，返回写入状态到管理节点；
步骤6：根据接收到的写入状态判断写入完成时，管理节点读取存储节点新写入的电网数据并将读取的电网数据同步到集群内的其他存储节点。
每个站点采集的数据类型可能不同，也就是每个终端服务器需要备份的数据作用不同，有些只需要单节点备份即可，有些数据访问的多为了提高访问速度，需要将数据共享，终端服务器发送数据存储请求时，请求信息中带有备份类型的字段，数据备份时根据请求类型判断备份类型是默认的存储路径备份还是数据同步也就是共享，根据请求中的备份类型进行数据的备份，提高存储效率。
另外设置在同一局域网的存储节点，每个存储节点有自己唯一的id, 默认的存储路径中有存储节点的id。
在有些实施例中，步骤2中，第一个接收到存储请求的存储节点，判断是否为同步存储的步骤包括：
步骤21：第一个接收到存储请求的存储节点将所述存储请求标记为已接收发送到局域网内的其他存储节点；其他存储节点接收到标记为已接收的存储请求后，将接收到的相同的存储请求丢弃；
步骤22：第一个接收到存储请求的存储节点，对接收到的存储请求进行解析；
步骤23：根据解析结果判断是否为同步存储。
由于集群内的存储节点的地位是相同的，终端服务器发送存储数据的请求时，集群中的每个存储节点均能接收到该请求，设定集群中第一个接收到请求的存储节点的请求为有效的请求，后续其他存储节点接收到时，为无效请求，不进行请求处理。
如图2所示，在有些实施例中，步骤4中，当默认的存储路径对应的存储节点在线时，将存储路径以及接收到的请求转发至管理节点，将电网数据写入存储节点的步骤包括：
步骤41：判断默认的存储路径是否是第一个接收存储请求的存储节点；
若是，执行步骤42，若否，执行步骤43；
步骤42：直接将电网数据写入存储节点，同时返回写入信息到管理节点；
步骤43：判断集群中默认的存储路径对应的存储节点是否在线；
步骤44：当默认的存储路径对应的存储节点在线时，将存储路径以及接收到的请求转发至管理节点，将电网数据写入存储节点；管理节点起到控制数据写入的作用，当不经过管理节点写入数据时，写入完成需要返回写入信息到管理节点进行相关写入操作的记录。
在有些实施例中，步骤3查询数据存储请求的终端服务器的状态存储器内的默认的存储路径的步骤之后还包括：
S31：当不存在默认的存储路径时，获取集群中可用带宽最大的前N个存储节点；
S32：在所述的N个存储节点中选择性能最高的存储节点作为最优存储路径的存储节点；
S33：将最优存储路径以及接收到的请求转发至管理节点，执行电网数据的写操作，同时将最优存储路径作为默认的存储路径存储到所述终端服务器的状态存储器。
需要说明的是，在步骤S32在所述的N个存储节点中选择性能最高的存储节点作为最优存储路径的存储节点的步骤之前包括：
S31-1：获取所述的N个存储节点速率；
S31-2：根据设定的权值，将可用带宽与速率计算加权值；
S31-3：将计算得到的加权值进行排序，其中，加权值最大的存储节点为性能最高的存储节点。
如图3所示，在有些实施例中，步骤43中，判断集群中默认的存储路径对应的存储节点是否在线的步骤还包括：
S431：当集群中默认的存储路径对应的存储节点不在线时，获取终端服务器默认的存储路径的挂载策略；
S432：终端服务器默认的存储路径是否被指定挂载策略；
若是，执行步骤S433；若否，执行步骤S435；
S433：按照指定的挂载策略将存储节点挂载到集群并设置挂载的存储节点在线；
S434：将存储路径以及接收到的请求转发至管理节点，执行电网数据的写操作；
S435：获取集群中可用带宽最大的前N个存储节点；
S436：获取集群中可用带宽最大的前N个存储节点；在所述的N个存储节点中选择性能最高的存储节点作为最优存储路径的存储节点；
S437：将最优存储路径与未被指定挂载策略默认的存储路径建立关联；
S438：将最优存储路径最为默认的存储路径并做标记存储到所述终端服务器的状态存储器。
由于集群中的存储节点是动态可调的，当某个存储节点故障时，该故障存储节点在集群中不在线，这样终端服务器默认的存储路径为该故障存储节点时，就会存在集群中默认的存储路径对应的存储节点不在线的情况。根据默认的存储路径的挂载策略挂载存储节点到集群，当不存在挂载策略时，需要在集群中在线的存储节点中选择最优存储路径的存储节点，进行数据的存储备份。
在有些实施例中，每个存储节点至少包括第一存储盘和第二存储盘，第一存储盘和第二存储盘分别包括执行区和用于存储历史数据的数据区，将电网数据写入存储节点的步骤包括：
步骤a：将第一存储盘的执行区标记为写数据池，将第二存储盘的数据区标记为读数据池；
步骤b：将接收到的电网数据写入第一存储盘，写入完成后，将第二存储盘的执行区标记为写数据池同时取消第二存储盘数据区的标记；
步骤c：读取第一存储盘最新写入的电网数据并将读取的电网数据同步到第二存储盘。
对于每个存储节点，存储硬盘的写标签允许数据的写入或读取，读标签仅允许数据的读取，当存储节点写入数据时，将其中一个存储硬盘标记为读，以使存储节点能够在进行电网数据写入的同时对已经存储的历史数据进行读取。可以最大化存储节点的读写性能。
在有些实施例中，每个数据区和执行区均包括存储数据库、第一类型数据库和第二类型数据库；
S1a：电网数据写入时，将电网数据写入存储数据库；
S2a：获取存储数据库中写入的电网数据中的第一类型的信息写入第一类型数据库；
S3a：获取存储数据库中写入的电网数据中的第二类型的信息写入第二类型数据库；其中，第一类型的信息为告警信息，第二类型的信息为电压和/或电流信息。实现数据分类存储备份，提高系统的可用性。
在有些实施例中，该方法还包括对集群中的存储节点进行监控的步骤，具体包括：
步骤（1）：定时监控存储节点空闲存储容量，当空闲存储容量小于设定第一阈值时，获取时间戳最早的第二阈值容量的电网数据；
步骤（2）：将获取的第二阈值容量的电网数据中的同步存储的电网数据取出，并发送清除指令到管理节点；
步骤（3）：管理节点接收到清除指令后，判断取出的同步存储的电网数据是否为热点数据；
步骤（4）：管理节点将取出的同步存储的电网数据中的非热点数据清除；
步骤（5）：若空闲存储容量小于设定第一阈值，将获取的第二阈值容量的电网数据中默认的存储路径备份的电网数据中非热点数据删除。保证集群中在线的存储节点可用，有足够的存储空间实现电网数据的默认的存储路径备份或共享。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种分布式存储集群电网数据存储控制方法，其特征在于，应用于分布式存储集群，分布式存储集群包括分布在各个站点的终端服务器以及设置于同一局域网的管理节点、对象存储网关和若干存储节点，每个终端服务器与局域网内的存储节点通信连接；所述方法包括如下步骤：
终端服务器发送数据存储请求到局域网；
第一个接收到存储请求的存储节点，判断是否为同步存储；
若否，查询发送存储请求的终端服务器的状态存储器内的默认的存储路径；
当默认的存储路径对应的存储节点在线时，将存储路径以及接收到的请求转发至管理节点，将电网数据写入存储节点；
若是，将电网数据写入第一个收到请求的存储节点，返回写入状态到管理节点；
根据接收到的写入状态判断写入完成时，管理节点读取存储节点新写入的电网数据并将读取的电网数据同步到集群内的其他存储节点。
2.根据权利要求1所述的分布式存储集群电网数据存储控制方法，其特征在于，第一个接收到存储请求的存储节点，判断是否为同步存储的步骤包括：
第一个接收到存储请求的存储节点将所述存储请求标记为已接收发送到局域网内的其他存储节点；其他存储节点接收到标记为已接收的存储请求后，将接收到的相同的存储请求丢弃；
第一个接收到存储请求的存储节点，对接收到的存储请求进行解析；
根据解析结果判断是否为同步存储。
3.根据权利要求2所述的分布式存储集群电网数据存储控制方法，其特征在于，当默认的存储路径对应的存储节点在线时，将存储路径以及接收到的请求转发至管理节点，将电网数据写入存储节点的步骤包括：
判断默认的存储路径是否是第一个接收存储请求的存储节点；
若是，直接将电网数据写入存储节点，同时返回写入信息到管理节点；
若否，判断集群中默认的存储路径对应的存储节点是否在线，当默认的存储路径对应的存储节点在线时，将存储路径以及接收到的请求转发至管理节点，将电网数据写入存储节点。
4.根据权利要求3所述的分布式存储集群电网数据存储控制方法，其特征在于，查询数据存储请求的终端服务器的状态存储器内的默认的存储路径的步骤之后还包括：
当不存在默认的存储路径时，获取集群中可用带宽最大的前N个存储节点；
在获取的N个存储节点中选择性能最高的存储节点作为最优存储路径的存储节点；
将最优存储路径以及接收到的请求转发至管理节点，执行电网数据的写操作，同时将最优存储路径作为默认的存储路径存储到所述终端服务器的状态存储器。
5.根据权利要求4所述的分布式存储集群电网数据存储控制方法，其特征在于，在获取的N个存储节点中选择性能最高的存储节点作为最优存储路径的存储节点的步骤之前包括：
获取所述的N个存储节点速率；
根据设定的权值，将可用带宽与速率计算加权值；
将计算得到的加权值进行排序，其中，加权值最大的存储节点为性能最高的存储节点。
6.根据权利要求5所述的分布式存储集群电网数据存储控制方法，其特征在于，判断集群中默认的存储路径对应的存储节点是否在线的步骤还包括：
当集群中默认的存储路径对应的存储节点不在线时，获取终端服务器默认的存储路径的挂载策略；
当终端服务器默认的存储路径被指定挂载策略时，按照指定的挂载策略将存储节点挂载到集群并设置挂载的存储节点在线；
将存储路径以及接收到的请求转发至管理节点，执行电网数据的写操作。
7.根据权利要求6所述的分布式存储集群电网数据存储控制方法，其特征在于，获取终端服务器默认的存储路径的挂载策略的步骤之后还包括：
当终端服务器默认的存储路径未被指定挂载策略时，执行步骤：获取集群中可用带宽最大的前N个存储节点；获取集群中可用带宽最大的前N个存储节点；在获取的N个存储节点中选择性能最高的存储节点作为最优存储路径的存储节点；
将最优存储路径与未被指定挂载策略默认的存储路径建立关联；
将最优存储路径最为默认的存储路径并做标记存储到所述终端服务器的状态存储器。
8.根据权利要求7所述的分布式存储集群电网数据存储控制方法，其特征在于，每个存储节点至少包括第一存储盘和第二存储盘，第一存储盘和第二存储盘分别包括执行区和用于存储历史数据的数据区，将电网数据写入存储节点的步骤包括：
将第一存储盘的执行区标记为写数据池，将第二存储盘的数据区标记为读数据池；
将接收到的电网数据写入第一存储盘，写入完成后，将第二存储盘的执行区标记为写数据池同时取消第二存储盘数据区的标记；
读取第一存储盘最新写入的电网数据并将读取的电网数据同步到第二存储盘。
9.根据权利要求8所述的分布式存储集群电网数据存储控制方法，其特征在于，每个数据区和执行区均包括存储数据库、第一类型数据库和第二类型数据库；
电网数据写入时，将电网数据写入存储数据库；
获取存储数据库中写入的电网数据中的第一类型的信息写入第一类型数据库；
获取存储数据库中写入的电网数据中的第二类型的信息写入第二类型数据库；其中，第一类型的信息为告警信息，第二类型的信息为电压和/或电流信息。
10.根据权利要求9所述的分布式存储集群电网数据存储控制方法，其特征在于，该方法还包括：
定时监控存储节点空闲存储容量，当空闲存储容量小于设定第一阈值时，获取时间戳最早的第二阈值容量的电网数据；
将获取的第二阈值容量的电网数据中的同步存储的电网数据取出，并发送清除指令到管理节点；
管理节点接收到清除指令后，判断取出的同步存储的电网数据是否为热点数据；
管理节点将取出的同步存储的电网数据中的非热点数据清除；
若空闲存储容量小于设定第一阈值，将获取的第二阈值容量的电网数据中默认的存储路径备份的电网数据中非热点数据删除。
CN202210583850.3A 2022-05-27 2022-05-27 一种分布式存储集群电网数据存储控制方法 Expired - Fee Related CN114697353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210583850.3A CN114697353B (zh) 2022-05-27 2022-05-27 一种分布式存储集群电网数据存储控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210583850.3A CN114697353B (zh) 2022-05-27 2022-05-27 一种分布式存储集群电网数据存储控制方法

Publications (2)

Publication Number Publication Date
CN114697353A true CN114697353A (zh) 2022-07-01
CN114697353B CN114697353B (zh) 2022-09-06

Family

ID=82144470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210583850.3A Expired - Fee Related CN114697353B (zh) 2022-05-27 2022-05-27 一种分布式存储集群电网数据存储控制方法

Country Status (1)

Country Link
CN (1) CN114697353B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117081860A (zh) * 2023-10-16 2023-11-17 金盾检测技术股份有限公司 一种分布式的网络安全验证方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140025638A1 (en) * 2011-03-22 2014-01-23 Zte Corporation Method, system and serving node for data backup and restoration
CN103617083A (zh) * 2013-10-31 2014-03-05 中兴通讯股份有限公司 存储调度方法和系统、作业调度方法和系统及管理节点
CN104679611A (zh) * 2015-03-05 2015-06-03 浙江宇视科技有限公司 数据资源复制方法以及装置
CN107104992A (zh) * 2016-02-19 2017-08-29 杭州海康威视数字技术股份有限公司 一种视频云存储的存储资源分配方法和装置
EP3418877A1 (en) * 2016-02-17 2018-12-26 Hangzhou Hikvision Digital Technology Co., Ltd. Data writing and reading method and apparatus, and cloud storage system
US20190042303A1 (en) * 2015-09-24 2019-02-07 Wangsu Science & Technology Co.,Ltd. Distributed storage-based file delivery system and method
CN109901951A (zh) * 2019-03-05 2019-06-18 山东浪潮云信息技术有限公司 一种ceph集群数据的存储系统及方法
CN110633168A (zh) * 2018-06-22 2019-12-31 北京东土科技股份有限公司 一种分布式存储系统的数据备份方法和系统
CN110661865A (zh) * 2019-09-24 2020-01-07 江苏华兮网络科技工程有限公司 一种网络通信方法及网络通信架构
CN111858097A (zh) * 2020-07-22 2020-10-30 安徽华典大数据科技有限公司 分布式数据库系统、数据库访问方法
CN112130758A (zh) * 2020-09-04 2020-12-25 苏州浪潮智能科技有限公司 一种数据读请求的处理方法、系统、电子设备及存储介质
CN112187875A (zh) * 2020-09-09 2021-01-05 苏州浪潮智能科技有限公司 一种分布式系统多目标集群挂载策略自动匹配方法、系统
CN112839112A (zh) * 2021-03-25 2021-05-25 中国工商银行股份有限公司 一种分层数据存储系统及方法、备份管理服务器
US20210216411A1 (en) * 2020-01-09 2021-07-15 Salesforce.Com, Inc. Cluster backup management

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140025638A1 (en) * 2011-03-22 2014-01-23 Zte Corporation Method, system and serving node for data backup and restoration
CN103617083A (zh) * 2013-10-31 2014-03-05 中兴通讯股份有限公司 存储调度方法和系统、作业调度方法和系统及管理节点
CN104679611A (zh) * 2015-03-05 2015-06-03 浙江宇视科技有限公司 数据资源复制方法以及装置
US20190042303A1 (en) * 2015-09-24 2019-02-07 Wangsu Science & Technology Co.,Ltd. Distributed storage-based file delivery system and method
EP3418877A1 (en) * 2016-02-17 2018-12-26 Hangzhou Hikvision Digital Technology Co., Ltd. Data writing and reading method and apparatus, and cloud storage system
CN107104992A (zh) * 2016-02-19 2017-08-29 杭州海康威视数字技术股份有限公司 一种视频云存储的存储资源分配方法和装置
CN110633168A (zh) * 2018-06-22 2019-12-31 北京东土科技股份有限公司 一种分布式存储系统的数据备份方法和系统
CN109901951A (zh) * 2019-03-05 2019-06-18 山东浪潮云信息技术有限公司 一种ceph集群数据的存储系统及方法
CN110661865A (zh) * 2019-09-24 2020-01-07 江苏华兮网络科技工程有限公司 一种网络通信方法及网络通信架构
US20210216411A1 (en) * 2020-01-09 2021-07-15 Salesforce.Com, Inc. Cluster backup management
CN111858097A (zh) * 2020-07-22 2020-10-30 安徽华典大数据科技有限公司 分布式数据库系统、数据库访问方法
CN112130758A (zh) * 2020-09-04 2020-12-25 苏州浪潮智能科技有限公司 一种数据读请求的处理方法、系统、电子设备及存储介质
CN112187875A (zh) * 2020-09-09 2021-01-05 苏州浪潮智能科技有限公司 一种分布式系统多目标集群挂载策略自动匹配方法、系统
CN112839112A (zh) * 2021-03-25 2021-05-25 中国工商银行股份有限公司 一种分层数据存储系统及方法、备份管理服务器

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
S. UPPOOR: "Cloud-based synchronization of distributed file system hierarchies", 《2010 IEEE INTERNATIONAL CONFERENCE ON CLUSTER COMPUTING WORKSHOPS AND POSTERS (CLUSTER WORKSHOPS)》 *
胡健等: "面向电网大数据的分布式实时数据库管理系统", 《电力信息与通信技术》 *
赵春扬等: "一致性协议在分布式数据库系统中的应用", 《华东师范大学学报(自然科学版)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117081860A (zh) * 2023-10-16 2023-11-17 金盾检测技术股份有限公司 一种分布式的网络安全验证方法及系统

Also Published As

Publication number Publication date
CN114697353B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN103199972B (zh) 基于soa、rs485总线实现的双机热备份切换方法及热备份系统
CN102088490B (zh) 数据存储方法、设备和系统
WO2012145963A1 (zh) 数据管理系统及方法
CN114697353B (zh) 一种分布式存储集群电网数据存储控制方法
CN107623703A (zh) 全局事务标识gtid的同步方法、装置及系统
CN110351313B (zh) 数据缓存方法、装置、设备及存储介质
CN104298574A (zh) 一种数据高速存储处理系统
CN114003350B (zh) 超融合系统的数据分配方法和系统
CN110377664B (zh) 数据同步方法、装置、服务器及存储介质
CN111404737B (zh) 一种容灾处理方法以及相关装置
CN113051428B (zh) 一种摄像机前端存储备份的方法及装置
CN102339305B (zh) 基于偏序关系日志的数据库集群故障恢复方法
CN117076196A (zh) 一种数据库容灾的管控方法和装置
CN109344012A (zh) 数据重构控制方法、装置和设备
CN113905054B (zh) 基于RDMA的Kudu集群数据同步方法、装置、系统
CN111817892B (zh) 一种网络管理方法、系统、电子设备及存储介质
CN104516778B (zh) 一种多任务环境下进程检查点的保存与恢复系统及方法
CN113849341A (zh) 一种nas快照的性能优化方法、系统、设备及可读存储介质
CN113873033A (zh) 一种具有容错功能的智能边缘计算网关平台
CN108897645B (zh) 一种基于备用心跳磁盘的数据库集群容灾方法和系统
CN113127435A (zh) 一种主备系统文件智能同步方法及系统
CN111831490A (zh) 一种冗余主备用节点之间内存同步方法及系统
CN115914418B (zh) 一种铁路接口网关设备
CN109039750B (zh) 一种提升区块链应用系统多城多园区部署灾备能力的方法
CN114296941A (zh) 一种分布式集群系统节点间通信方法、系统及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220906