CN104320495A - 一种用电信息采集系统的海量数据存储方法及系统 - Google Patents

一种用电信息采集系统的海量数据存储方法及系统 Download PDF

Info

Publication number
CN104320495A
CN104320495A CN201410647064.0A CN201410647064A CN104320495A CN 104320495 A CN104320495 A CN 104320495A CN 201410647064 A CN201410647064 A CN 201410647064A CN 104320495 A CN104320495 A CN 104320495A
Authority
CN
China
Prior art keywords
storage
node
child node
scheduling
end processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410647064.0A
Other languages
English (en)
Inventor
雷鸣
周逢权
徐大青
张展国
谢学征
王林
贺彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Xuji Group Co Ltd
State Grid Hubei Electric Power Co Ltd
Xuchang XJ Software Technology Co Ltd
Original Assignee
XJ Electric Co Ltd
Xuchang XJ Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XJ Electric Co Ltd, Xuchang XJ Software Technology Co Ltd filed Critical XJ Electric Co Ltd
Priority to CN201410647064.0A priority Critical patent/CN104320495A/zh
Publication of CN104320495A publication Critical patent/CN104320495A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms

Abstract

本发明涉及一种用电信息采集系统的海量数据存储方法及系统，属于用电信息采集数据存储技术领域。本发明通过在每个存储子节点上配置有监测客户端，将各节点的CPU负载、系统内存的余量、网络的流量、当前已建立的连接数等相关运行负载信息实时传递到调度和管理节点，经由调度与管理节点的分配，前置机集群中的某个节点与一个存储子节点直接建立通讯链路进行数据传输和入库，数据流并不通过调度和管理节点。通过合理调度可建立起由多个点对点通信链路构成的用于数据存储的通信网络，可有效避免数据热点的产生，最大化利用系统的网络传输资源，分布式存储子节点集群的部署成本较低、扩展性好。

Description

一种用电信息采集系统的海量数据存储方法及系统
技术领域
本发明涉及一种用电信息采集系统的海量数据存储方法及系统，属于用电信息采集数据存储技术领域。
背景技术
在现有用电信息采集系统的入库过程中，其数据流向主要是：首先，由前置机通过与终端的通信，获取原始的采集数据并进行相应的规约解析，生成可以入库的数据文件；然后，由一个数据采集服务节点与前置机集群建立socket连接，来收集这些数据文件。最后，根据不同的存储方案(集中式存储或分布式数据库)，由数据采集服务节点转发数据文件至一台数据库服务器或多台数据存储子节点。
随着智能电网建设规模的扩大，现在各网省电力公司用电信息采集系统的用户规模，基本处于百万甚至千万级用户以上，由此将产生海量的量测数据。入库时，如果无法在以15min为一个采集周期的时间内处理完本周期内大量数据，就会造成队列堆积和后续数据处理的延迟，因此用电信息采集系统在数据存储上将面临着千万级数据潮涌的巨大压力。然而，在现有体系下，由于大量的数据文件都要经过数据采集服务节点的转发，该节点容易产生数据热点，并成为入库过程中的网络瓶颈，影响整个系统的实时性和可靠性。
发明内容
本发明的目的是提供一种用电信息采集系统的海量数据存储方法及系统，以解决现有用电信息采集系统入库过程中出现的网络瓶颈问题。
本发明为解决上述技术问题而提供一种用电信息采集系统的海量数据存储方法，该存储方法包括以下步骤：
1)采集各存储子节点的CPU负载、系统内存余量、网络流量和当前已建立的连接数的运行负载信息；
2)根据上述采集到各存储子节点的运行负载信息分配能够与前置机建立通信的存储子节点；
3)将分配的存储子节点与需要传输数据的前置机建立通信连接，使前置机中的数据直接传输到存储子节点。
所述步骤1)是通过在各存储子节点上配置监测客户端实现的。
所述步骤2)存储子节点的分配是由调度和管理节点实现，该调度和管理节点与各存储子节点通过专用线通信连接，所述调度和管理节点与前置机通信连接，用于接收前置机的写入请求。
在存储子节点出现故障时，所述调度和管理节点能够对存储子节点进行更换和重新接入操作。
所述存储方法还能够进行系统扩容，具体过程如下：
A.添加新的存储服务器到分布式存储子节点集群；
B.在调度和管理节点中注册该服务器；
C.调度和管理节点将该服务器纳入管理，获取其运行信息；
D.调度和管理节点将该服务器加入到可分配的服务节点列表，该服务器正式成为分布式存储子节点。
本发明还提供一种用电信息采集系统的海量数据存储系统，该存储系统包括存储子节点、前置机以及调度和管理节点，所述存储子节点上配置有监测客户端，采集存储子节点的CPU负载、系统内存余量、网络流量和当前已建立的连接数的运行负载信息，所述调度和管理节点与存储子节点通信连接，用于接收存储子节点的运行负载信息并根据该信息分配能够与前置机建立通信的存储子节点，所述调度和管理节点还与前置机通信连接，用于接收前置机的写入请求。
所述存储子节点和前置机均为集群设置。
在存储子节点出现故障时，所述调度和管理节点能够对存储子节点进行更换和重新接入操作。
所述存储系统还能够进行系统扩容，具体过程如下：
a.添加新的存储服务器到分布式存储子节点集群；
b.在调度和管理节点中注册该服务器；
c.调度和管理节点将该服务器纳入管理，获取其运行信息；
d.调度和管理节点将该服务器加入到可分配的服务节点列表，该服务器正式成为分布式存储子节点。
所述的调度和管理节点采用主节点和备用节点相结合的方式进行部署，负责与前置机集群以及存储子节点集群进行双向通信。
本发明的有益效果是:本发明通过在每个存储子节点上配置有监测客户端，将各节点的CPU负载、系统内存的余量、网络的流量、当前已建立的连接数等相关运行负载信息实时传递到调度和管理节点，经由调度与管理节点的分配，前置机集群中的某个节点与一个存储子节点直接建立通讯链路进行数据传输和入库，数据流并不通过调度和管理节点。通过合理调度可建立起由多个点对点通信链路构成的用于数据存储的通信网络，可有效避免数据热点的产生，最大化利用系统的网络传输资源，分布式存储子节点集群的部署成本较低、扩展性好。
附图说明
图1是是用电信息采集系统的海量数据存储系统的结构示意图；
图2是用电信息采集系统的海量数据存储方法的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的说明。
本发明的一种用电信息采集系统的海量数据存储方法的实施例
本发明通过在每个存储子节点上配置有监测客户端，将该节点的CPU负载、系统内存的余量、网络的流量、当前已建立的连接数等相关运行负载信息实时传递到调度和管理节点，经由调度与管理节点的分配，前置机集群中的某个节点与一个存储子节点直接建立通讯链路进行数据传输和入库，数据流并不通过调度和管理节点。该方法的流程如图2所示，具体步骤如下：
1.前置机生成入库文件并向管理与调度节点发送写入请求。
2.管理与调度节点上的分布式存储调度服务接收写入请求，向前置机发送回复，要求等待。
3.汇集监测客户端传来的各存储子节点的运行信息和负载情况。
4.分布式存储调度服务根据调度策略，这里选择负载量最小的存储子节点进行分配，指定若干相关存储子节点同时执行相应的数据存储任务。
5.分布式存储调度服务将建立连接所需的通信信息分发给前置机和相关存储子节点。
6.由前置机发送请求向各相关存储子节点建立通信链接，如果成功则将连接成功的信息返回给分布式存储调度服务，否则请求分布式调度服务重新执行步骤3。
7.存储子节点执行存储任务，进行数据存储。
该存储方法还能够进行系统扩容，具体过程如下：
A.添加新的存储服务器到分布式存储子节点集群；
B.在调度和管理节点中注册该服务器；
C.调度和管理节点将该服务器纳入管理，获取其运行信息；
D.调度和管理节点将该服务器加入到可分配的服务节点列表，该服务器正式成为分布式存储子节点。
本发明一种用电信息采集系统的海量数据存储系统的实施例
如图1所示，本发明的用电信息采集系统海量数据存储系统包括前置机集群、调度和管理节点以及存储子节点集群，存储子节点集群中各存储节点上均配置有监测客户端，用于采集相应存储节点的CPU负载、系统内存的余量、网络的流量、当前已建立的连接数等相关运行负载信息，调度和管理节点通过“心跳”专用线通信连接，用于接收各存储子节点上的相关运行负载信息，调度和管理节点与前置机集群通信连接，用于接收前置机的写入请求，同时根据各存储子节点上的相关运行负载信息分配合适的存储子节点，建立该存储子节点与前置机的通信，使前置机中的信息直接存储到存储子节点上。
前置机集群是N台相互独立、通过高速网络互联的计算机，它们构成一个组，统一用于收集采集终端上传的量测数据，根据一定的负载均衡策略，该集群以单一系统模式加以管理。存储子节点集群是由分布式存储调度服务同时管理的多个分布式存储子节点。存储子节点按照分布式存储调度服务的要求，在本地保存数据。
该系统的工作过程如下：前置机生成入库文件后，向调度和管理节点发送写入请求并等待确认；同时，各存储子节点的实时负载经过集群与调度和管理节点之间的“心跳”专用线传输。调度和管理节点上提供分布式存储调度服务，在获得写入请求后，结合当前负载情况根据一定的规则负责建立前置机与存储子节点的通信。另外，该节点上具备通信故障处理机制，在存储子节点出现故障时能够进行存储子节点更换、重新连入等操作。
上述存储系统还能够进行系统扩容，具体过程如下：
a.添加新的存储服务器到分布式存储子节点集群；
b.在调度和管理节点中注册该服务器；
c.调度和管理节点将该服务器纳入管理，获取其运行信息；
d.调度和管理节点将该服务器加入到可分配的服务节点列表，该服务器正式成为分布式存储子节点。

Claims (10)

1.一种用电信息采集系统的海量数据存储方法，其特征在于，该存储方法包括以下步骤：
1)采集各存储子节点的CPU负载、系统内存余量、网络流量和当前已建立的连接数的运行负载信息；
2)根据上述采集到各存储子节点的运行负载信息分配能够与前置机建立通信的存储子节点；
3)将分配的存储子节点与需要传输数据的前置机建立通信连接，使前置机中的数据直接传输到存储子节点。
2.根据权利要求1所述的用电信息采集系统的海量数据存储方法，其特征在于，所述步骤1)是通过在各存储子节点上配置监测客户端实现的。
3.根据权利要求2所述的用电信息采集系统的海量数据存储方法，其特征在于，所述步骤2)存储子节点的分配是由调度和管理节点实现，该调度和管理节点与各存储子节点通过专用线通信连接，所述调度和管理节点与前置机通信连接，用于接收前置机的写入请求。
4.根据权利要求3所述的用电信息采集系统的海量数据存储方法，其特征在于，在存储子节点出现故障时，所述调度和管理节点能够对存储子节点进行更换和重新接入操作。
5.根据权利要求4所述的用电信息采集系统的海量数据存储方法，其特征在于，所述存储方法还能够进行系统扩容，具体过程如下：
A.添加新的存储服务器到分布式存储子节点集群；
B.在调度和管理节点中注册该服务器；
C.调度和管理节点将该服务器纳入管理，获取其运行信息；
D.调度和管理节点将该服务器加入到可分配的服务节点列表，该服务器正式成为分布式存储子节点。
6.一种用电信息采集系统的海量数据存储系统，其特征在于，该存储系统包括存储子节点、前置机以及调度和管理节点，所述存储子节点上配置有监测客户端，采集存储子节点的CPU负载、系统内存余量、网络流量和当前已建立的连接数的运行负载信息，所述调度和管理节点与存储子节点通信连接，用于接收存储子节点的运行负载信息并根据该信息分配能够与前置机建立通信的存储子节点，所述调度和管理节点还与前置机通信连接，用于接收前置机的写入请求。
7.根据权利要求6所述的用电信息采集系统的海量数据存储系统，其特征在于，所述存储子节点和前置机均为集群设置。
8.根据权利要求7所述的用电信息采集系统的海量数据存储系统，其特征在于，在存储子节点出现故障时，所述调度和管理节点能够对存储子节点进行更换和重新接入操作。
9.根据权利要求8所述的用电信息采集系统的海量数据存储系统，其特征在于，所述存储系统还能够进行系统扩容，具体过程如下：
a.添加新的存储服务器到分布式存储子节点集群；
b.在调度和管理节点中注册该服务器；
c.调度和管理节点将该服务器纳入管理，获取其运行信息；
d.调度和管理节点将该服务器加入到可分配的服务节点列表，该服务器正式成为分布式存储子节点。
10.根据权利要求6-9中任一项所述的用电信息采集系统的海量数据存储系统，其特征在于，所述的调度和管理节点采用主节点和备用节点相结合的方式进行部署，负责与前置机集群以及存储子节点集群进行双向通信。
CN201410647064.0A 2014-11-13 2014-11-13 一种用电信息采集系统的海量数据存储方法及系统 Pending CN104320495A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410647064.0A CN104320495A (zh) 2014-11-13 2014-11-13 一种用电信息采集系统的海量数据存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410647064.0A CN104320495A (zh) 2014-11-13 2014-11-13 一种用电信息采集系统的海量数据存储方法及系统

Publications (1)

Publication Number Publication Date
CN104320495A true CN104320495A (zh) 2015-01-28

Family

ID=52375662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410647064.0A Pending CN104320495A (zh) 2014-11-13 2014-11-13 一种用电信息采集系统的海量数据存储方法及系统

Country Status (1)

Country Link
CN (1) CN104320495A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105162878A (zh) * 2015-09-24 2015-12-16 网宿科技股份有限公司 基于分布式存储的文件分发系统及方法
CN105939387A (zh) * 2016-06-23 2016-09-14 中国南方电网有限责任公司 基于网省地统一调度的多级负载均衡及服务器角色切换方法
CN105978710A (zh) * 2016-04-27 2016-09-28 上海斐讯数据通信技术有限公司 一种数据储存方法及系统
CN106100867A (zh) * 2016-05-27 2016-11-09 乐视控股（北京）有限公司 分布式服务系统的运行维护方法及装置
CN106357798A (zh) * 2016-10-14 2017-01-25 上海斐讯数据通信技术有限公司 Portal页面中媒体文件的存储及获取方法、云控制器及终端
CN106506615A (zh) * 2016-10-24 2017-03-15 上海斐讯数据通信技术有限公司 Portal页面中媒体文件的存储及获取方法、云控制器及终端
CN107431643A (zh) * 2015-02-03 2017-12-01 Netapp股份有限公司 监测存储集群元件
CN110442444A (zh) * 2019-06-18 2019-11-12 中国科学院计算机网络信息中心 一种面向海量遥感影像的并行数据访问方法与系统
CN113396566A (zh) * 2019-04-16 2021-09-14 阿里巴巴集团控股有限公司 分布式存储系统中基于全面i/o监测的资源分配
CN113923095A (zh) * 2021-09-30 2022-01-11 济南浪潮数据技术有限公司 一种集群消息转发方法、系统及存储介质
WO2022151083A1 (zh) * 2021-01-13 2022-07-21 Oppo广东移动通信有限公司 分布式任务的节点确定方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101820384A (zh) * 2010-02-05 2010-09-01 浪潮(北京)电子信息产业有限公司 一种集群服务动态分配方法及装置
CN102664914A (zh) * 2012-03-22 2012-09-12 北京英孚斯迈特信息技术有限公司 一种IS/DFS-Image分布式文件存储查询系统
CN103984761A (zh) * 2014-03-28 2014-08-13 广东轩辕网络科技股份有限公司 海量异构数据的存储方法及系统
US20140310259A1 (en) * 2013-04-15 2014-10-16 Vmware, Inc. Dynamic Load Balancing During Distributed Query Processing Using Query Operator Motion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101820384A (zh) * 2010-02-05 2010-09-01 浪潮(北京)电子信息产业有限公司 一种集群服务动态分配方法及装置
CN102664914A (zh) * 2012-03-22 2012-09-12 北京英孚斯迈特信息技术有限公司 一种IS/DFS-Image分布式文件存储查询系统
US20140310259A1 (en) * 2013-04-15 2014-10-16 Vmware, Inc. Dynamic Load Balancing During Distributed Query Processing Using Query Operator Motion
CN103984761A (zh) * 2014-03-28 2014-08-13 广东轩辕网络科技股份有限公司 海量异构数据的存储方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
熊安萍等: ""基于对象存储的负载均衡存储策略"", 《计算机工程与设计》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107431643B (zh) * 2015-02-03 2021-02-12 Netapp股份有限公司 用于监测存储集群元件的方法和装置
CN107431643A (zh) * 2015-02-03 2017-12-01 Netapp股份有限公司 监测存储集群元件
CN105162878A (zh) * 2015-09-24 2015-12-16 网宿科技股份有限公司 基于分布式存储的文件分发系统及方法
CN105162878B (zh) * 2015-09-24 2018-08-31 网宿科技股份有限公司 基于分布式存储的文件分发系统及方法
CN105978710A (zh) * 2016-04-27 2016-09-28 上海斐讯数据通信技术有限公司 一种数据储存方法及系统
CN106100867A (zh) * 2016-05-27 2016-11-09 乐视控股（北京）有限公司 分布式服务系统的运行维护方法及装置
CN105939387A (zh) * 2016-06-23 2016-09-14 中国南方电网有限责任公司 基于网省地统一调度的多级负载均衡及服务器角色切换方法
CN106357798A (zh) * 2016-10-14 2017-01-25 上海斐讯数据通信技术有限公司 Portal页面中媒体文件的存储及获取方法、云控制器及终端
CN106506615A (zh) * 2016-10-24 2017-03-15 上海斐讯数据通信技术有限公司 Portal页面中媒体文件的存储及获取方法、云控制器及终端
CN113396566A (zh) * 2019-04-16 2021-09-14 阿里巴巴集团控股有限公司 分布式存储系统中基于全面i/o监测的资源分配
CN110442444A (zh) * 2019-06-18 2019-11-12 中国科学院计算机网络信息中心 一种面向海量遥感影像的并行数据访问方法与系统
CN110442444B (zh) * 2019-06-18 2021-12-10 中国科学院计算机网络信息中心 一种面向海量遥感影像的并行数据访问方法与系统
US11874855B2 (en) 2019-06-18 2024-01-16 Computer Network Information Center, Chinese Academy Of Sciences Parallel data access method and system for massive remote-sensing images
WO2022151083A1 (zh) * 2021-01-13 2022-07-21 Oppo广东移动通信有限公司 分布式任务的节点确定方法、装置、设备及介质
CN113923095A (zh) * 2021-09-30 2022-01-11 济南浪潮数据技术有限公司 一种集群消息转发方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN104320495A (zh) 一种用电信息采集系统的海量数据存储方法及系统
JP6264474B2 (ja) 実時間演算のための動的で協調的なマイクログリッドを有する電力分配システム
CN103181144B (zh) 微电网控制系统
CN101924650B (zh) 故障信息系统的服务和服务器智能自治的实现方法
CN109189751A (zh) 基于区块链的数据同步方法及终端设备
CN103152393A (zh) 一种云计算的计费方法和计费系统
US9830672B2 (en) Power management message bus system
CN104238466A (zh) 基于物联云的智能用电用能系统平台
CN106327847A (zh) 用电信息集抄方法及系统
CN102523104A (zh) 一种网络化仿真运行支撑系统及方法
JP2009100550A (ja) 分散電源系統の電力・熱需給制御方法
CN101789890A (zh) 可自动更新的基于配置的代理监控系统及其监控方法
CN104239555A (zh) 基于mpp的并行数据挖掘架构及其方法
CN104503894A (zh) 分布式服务器状态实时监测系统及方法
CN103957280A (zh) 一种物联网中的传感网络连接分配和调度方法
CN102420863A (zh) 一种快速分发文件系统和方法及装置
CN113937894A (zh) 一种基于云边协同的电力智能终端管理系统及方法
CN103186536A (zh) 一种调度数据共享装置的方法及系统
CN105516317B (zh) 一种用电信息多层级负载均摊高效采集方法
CN103428288A (zh) 基于分区状态表和协调节点的副本同步方法
EP3660679B1 (en) Data backup method, device and system
CN107483569A (zh) 一种具有固件自动升级的服务器、系统及升级方法
CN101394397A (zh) 用于移动网络的可远程调用的压缩转储方法及其系统
CN104993970A (zh) 一种面向分布式系统关键运行指标数据的集中监视方法
CN101989918A (zh) 对等网络管理系统及其实现管理的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160919

Address after: No. 1298 Xuchang City, Henan province 461000 XJ Avenue

Applicant after: Xuji Group Co., Ltd.

Applicant after: Xuchang Xuji Software Technology Co., Ltd.

Applicant after: State Grid Corporation of China

Applicant after: STATE GRID HUBEI ELECTRIC POWER COMPANY

Address before: No. 1298 Xuchang City, Henan province 461000 XJ Avenue

Applicant before: Xuji Electric Co., Ltd.

Applicant before: Xuchang Xuji Software Technology Co., Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150128