CN103530335A - 电力计量采集系统的入库操作方法及装置 - Google Patents
电力计量采集系统的入库操作方法及装置 Download PDFInfo
- Publication number
- CN103530335A CN103530335A CN201310461126.4A CN201310461126A CN103530335A CN 103530335 A CN103530335 A CN 103530335A CN 201310461126 A CN201310461126 A CN 201310461126A CN 103530335 A CN103530335 A CN 103530335A
- Authority
- CN
- China
- Prior art keywords
- cache
- electric
- acquisition system
- power metering
- cache node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种电力计量采集系统的入库操作方法,包括:在电力计量采集系统和数据库服务器之间建立一个分布式缓存系统;将电力计量采集系统所采集到计量数据发送至所述分布式缓存系统的各个缓存节点;判断所述各个缓存节点的缓存周期是否到期,并将缓存周期到期的缓存节点内的计量数据发送至所述数据库服务器;此外,还公开了一种电力计量采集系统的入库操作装置。本发明减少了计量数据入库过程中事务机制所导致的复杂度,提高了入库操作性能和入库效率,也提高了电力计量采集系统可支持的终端容量。本发明中分布式缓存系统还具有动态扩展能力,不仅能对更大容量的计量数据入库任务提供支持,而且可进一步提高入库性能。
Description
技术领域
本发明涉及电力计量采集系统技术领域,尤其涉及一种电力计量采集系统的入库操作方法和一种电力计量采集系统的入库操作装置。
背景技术
作为一种重要的自动化电力系统,电力计量采集系统十分复杂,它集合主站系统,采集终端,电能表,辅助设备系统等多种功能和多个环节为一体。而对于电力计量采集系统而言,采集终端采集到计量数据之后能否实现将计量数据高效率地推送进入数据库,具有重要的作用。目前,电力计量采集系统采集到计量数据之后,一般直接将实时采集到的计量数据写入关系型数据库服务器。由于入库操作不仅受到硬盘I/O性能的限制,同时关系型数据库为了保证数据的一致性,引入了事务机制,导致入库操作效率低下。当采集系统的采集终端数量增加时,入库操作成为了系统的性能瓶颈,单台关系型数据库常常无法满足要求。而如果要建立数据库集群,又大大提高了成本。
发明内容
基于此,本发明提供了一种电力计量采集系统的入库操作方法和一种电力计量采集系统的入库操作装置。
一种电力计量采集系统的入库操作方法,包括:
在电力计量采集系统和数据库服务器之间建立一个分布式缓存系统;其中,所述分布式缓存系统包括若干个缓存节点,并且具备在系统内新增缓存节点的动态扩展功能;
将电力计量采集系统所采集到计量数据发送至所述分布式缓存系统的各个缓存节点;
判断所述各个缓存节点的缓存周期是否到期,并将缓存周期到期的缓存节点内的计量数据发送至所述数据库服务器;其中,所述各个缓存节点的缓存周期为预先设置。
与一般技术相比,本发明电力计量采集系统的入库操作方法在电力计量采集系统和数据库服务器之间建立一个分布式缓存系统,计量数据入库前先在分布式缓存系统的各个缓存节点中进行缓存,缓存节点通过预先设置的缓存周期对计量数据的入库过程进行控制。当缓存周期到期后,缓存节点内的计量数据达到了一定存量,再将计量数据批量写入到数据库服务器,从而大大减少了计量数据入库过程中事务机制所导致的复杂度,大大提高了入库操作性能和入库效率,也提高了电力计量采集系统可支持的终端容量。本发明中分布式缓存系统还具有动态扩展能力,不仅能对更大容量的计量数据入库任务提供支持,而且可进一步提高入库性能。
一种电力计量采集系统的入库操作装置,包括构建模块、缓存模块和入库模块;
所述构建模块,用于在电力计量采集系统和数据库服务器之间建立一个分布式缓存系统;其中,所述分布式缓存系统包括若干个缓存节点,并且具备在系统内新增缓存节点的动态扩展功能;
所述缓存模块,用于将电力计量采集系统所采集到计量数据发送至所述分布式缓存系统的各个缓存节点;
所述入库模块,用于判断所述各个缓存节点的缓存周期是否到期,并将缓存周期到期的缓存节点内的计量数据发送至所述数据库服务器;其中,所述各个缓存节点的缓存周期为预先设置。
与一般技术相比,本发明电力计量采集系统的入库操作装置在电力计量采集系统和数据库服务器之间建立一个分布式缓存系统,计量数据入库前先在分布式缓存系统的各个缓存节点中进行缓存,缓存节点通过预先设置的缓存周期对计量数据的入库过程进行控制。当缓存周期到期后,缓存节点内的计量数据达到了一定存量,再将计量数据批量写入到数据库服务器,从而大大减少了计量数据入库过程中事务机制所导致的复杂度,大大提高了入库操作性能和入库效率,也提高了电力计量采集系统可支持的终端容量。本发明中分布式缓存系统还具有动态扩展能力,不仅能对更大容量的计量数据入库任务提供支持,而且可进一步提高入库性能。
附图说明
图1为本发明电力计量采集系统的入库操作方法的流程示意图;
图2为基于Redis的分布式缓存系统的结构示意图;
图3为本发明电力计量采集系统的入库操作装置的结构示意图。
具体实施方式
为更进一步阐述本发明所采取的技术手段及取得的效果,下面结合附图及较佳实施例,对本发明的技术方案,进行清楚和完整的描述。
请参阅图1,为本发明电力计量采集系统的入库操作方法的流程示意图。
本发明电力计量采集系统的入库操作方法,包括以下步骤:
S101在电力计量采集系统和数据库服务器之间建立一个分布式缓存系统;其中,所述分布式缓存系统包括若干个缓存节点,并且具备在系统内新增缓存节点的动态扩展功能;
S102将电力计量采集系统所采集到计量数据发送至所述分布式缓存系统的各个缓存节点;
S103判断所述各个缓存节点的缓存周期是否到期,并将缓存周期到期的缓存节点内的计量数据发送至所述数据库服务器;其中,所述各个缓存节点的缓存周期为预先设置。
在电力计量采集系统和数据库服务器之间建立一个分布式缓存系统,所述分布式缓存系统具备在系统内新增缓存节点的动态扩展功能。具备动态扩展功能是指可根据实际情况对缓存节点进行调整,例如增加新的缓存节点或者减少某些缓存节点。
将整个哈希空间划分为若干等大小的分区,每个分区分别映射到一个缓存节点。将整个哈希空间划分为若干等大小的集合,其数量C远远大于缓存节点数R,依据缓存客户端提供的Key信息(即智能终端ID和记录类型组合信息)作一次hash,映射到各个集合Ci;
依据各个缓存节点所在物理机器性能,主要指内存和网络带宽(Redis缓存节点的CPU负载率较低),分别将第一阶段中形成的集合Ci集映射缓存节点Ri,不同机器按性能分差异分别映射到不同数量的集合。
上述分区方案在缓存系统动态扩展时相当方便,加入新的缓存节点时,仅需修改分区路由节点中的集合与缓存节点映射表即可,将其中某些集合映射到新加入的缓存节点,不会影响到其他已有缓存节点。
作为其中一个实施例,所述分布式缓存系统为基于Redis的分布式缓存系统,所述数据库服务器为关系型数据库服务器。
基于Redis系统,实现本发明的成本较小,且易于推广。关系型数据库为应用广泛的一种数据库,容易使本发明最大限度地在实践中取得应用。
Redis是一个开源、支持网络、基于内存、键值对存储数据库,使用ANSI C编写。基于Redis的分布式写缓存子系统,用于缓存采集通讯子系统所采集的计量数据,当数据达到一定的量以后,再将数据批量写入到关系数据库。为满足大规模数据应用场景,对Redis作如下改进:实现分布式缓存机制,方便系统动态扩展;将Redis的Key(这里的Key也即缓存节点的缓存周期)过期处理逻辑改成采集数据写入关系数据库操作。
作为其中一个实施例,在所述将电力计量采集系统所采集到计量数据发送至所述分布式缓存系统的各个缓存节点的步骤之前,包括以下步骤:
从电力计量采集系统的各个采集终端处获取采集到的计量数据。
电力计量采集系统一般情况下具有多个采集终端,在各个采集终端处可很容易地获取到采集的计量数据。
作为其中一个实施例,所述将电力计量采集系统所采集到计量数据发送至所述分布式缓存系统的各个缓存节点的步骤,包括以下步骤:
通过分区路由节点将电力计量采集系统所采集到计量数据发送至所述分布式缓存系统的各个缓存节点。
请参阅图2,为基于Redis的分布式缓存系统的结构示意图。采用了集中询问模式,由一个分布式管理中心进行分布式信息的管理,即图中的分区路由节点,在进行数据存取操作时,缓存客户端(也即电力计量采集系统的各个采集终端)首先从分区路由节点中获取数据的存放节点,之后缓存客户端连接至缓存节点(即图中的Redis缓存节点),执行数据写操作。
作为其中一个实施例,所述将缓存周期到期的缓存节点内的计量数据发送至所述数据库服务器的步骤,包括以下步骤:
通过入库节点将缓存周期到期的缓存节点内的计量数据发送至所述数据库服务器。
入库节点内含一个循环队列,用于接收从Redis缓存节点由于Key(也即缓存节点的缓存周期)过期触发推送而来的数据,同时保持单个关系数据库连接,执行批量写入关系型数据库操作。此种系统结构实现简单,同时管理端的负荷小,可以专注于进行数据分布、缓存节点信息的维护,使系统具有很高的动态可扩展性。
Redis缓存节点将自身状态(启动/关机/运行)广播;分区路由节点接收广播并更新其维护的Redis缓存节点状态表,并负责响应Redis缓存节点对入库节点的查询请求。分区路由节点可以有多个实例同时运行。
缓存客户端(也即电力计量采集系统的各个终端)向分区路由节点请求Redis缓存节点;分区路由节点接收请求,按照缓存客户端提供的Key信息选择相应的Redis缓存节点。
作为其中一个实施例,根据电力计量采集系统对计量数据的采集频率,设置所述各个缓存节点的缓存周期。
根据电力计量采集系统对计量数据的采集频率计算采用间隔;
将计算的所述采用间隔设置为所述各个缓存节点的缓存周期。
计量采集数据按采集要求主要有日采集和月采集两大类,例如,日采集包括采集频率为15分钟的采集数据,显然当缓存数据时间超过采集间隔时间时则没有意义,因此,必须保障缓存中的数据能够及时地入库,否则将发生采集数据丢失的现象。
根据采集频率,分别设置Key(也即缓存节点的缓存周期)过期时间,同时对Redis的Key期处理进行改写,当Key过期时,将当前未入库计量数据推送至缓存子系统中“入库”节点中,同时更改当前Key的入库标志位为True,避免反复推送入库操作。
与一般技术相比,本发明电力计量采集系统的入库操作方法在电力计量采集系统和数据库服务器之间建立一个分布式缓存系统,计量数据入库前先在分布式缓存系统的各个缓存节点中进行缓存,缓存节点通过预先设置的缓存周期对计量数据的入库过程进行控制。当缓存周期到期后,缓存节点内的计量数据达到了一定存量,再将计量数据批量写入到数据库服务器,从而大大减少了计量数据入库过程中事务机制所导致的复杂度,大大提高了入库操作性能和入库效率,也提高了电力计量采集系统可支持的终端容量。本发明中分布式缓存系统还具有动态扩展能力,不仅能对更大容量的计量数据入库任务提供支持,而且可进一步提高入库性能。
请参阅图3,为本发明电力计量采集系统的入库操作装置的结构示意图。
本发明电力计量采集系统的入库操作装置,包括构建模块301、缓存模块302和入库模块303;
所述构建模块301,用于在电力计量采集系统和数据库服务器之间建立一个分布式缓存系统;其中,所述分布式缓存系统包括若干个缓存节点,并且具备在系统内新增缓存节点的动态扩展功能;
所述缓存模块302,用于将电力计量采集系统所采集到计量数据发送至所述分布式缓存系统的各个缓存节点;
所述入库模块303,用于判断所述各个缓存节点的缓存周期是否到期,并将缓存周期到期的缓存节点内的计量数据发送至所述数据库服务器;其中,所述各个缓存节点的缓存周期为预先设置。
作为其中一个实施例,所述数据库服务器为关系型数据库服务器。
关系型数据库为应用广泛的一种数据库,容易使本发明最大限度地在实践中取得应用。
与一般技术相比,本发明电力计量采集系统的入库操作装置在电力计量采集系统和数据库服务器之间建立一个分布式缓存系统,计量数据入库前先在分布式缓存系统的各个缓存节点中进行缓存,缓存节点通过预先设置的缓存周期对计量数据的入库过程进行控制。当缓存周期到期后,缓存节点内的计量数据达到了一定存量,再将计量数据批量写入到数据库服务器,从而大大减少了计量数据入库过程中事务机制所导致的复杂度,大大提高了入库操作性能和入库效率,也提高了电力计量采集系统可支持的终端容量。本发明中分布式缓存系统还具有动态扩展能力,不仅能对更大容量的计量数据入库任务提供支持,而且可进一步提高入库性能。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种电力计量采集系统的入库操作方法,其特征在于,包括以下步骤:
在电力计量采集系统和数据库服务器之间建立一个分布式缓存系统;其中,所述分布式缓存系统包括若干个缓存节点,并且具备在系统内新增缓存节点的动态扩展功能;
将电力计量采集系统所采集到计量数据发送至所述分布式缓存系统的各个缓存节点;
判断所述各个缓存节点的缓存周期是否到期,并将缓存周期到期的缓存节点内的计量数据发送至所述数据库服务器;其中,所述各个缓存节点的缓存周期为预先设置。
2.根据权利要求1所述的电力计量采集系统的入库操作方法,其特征在于,在所述将电力计量采集系统所采集到计量数据发送至所述分布式缓存系统的各个缓存节点的步骤之前,包括以下步骤:
从电力计量采集系统的各个采集终端处获取采集到的计量数据。
3.根据权利要求1所述的电力计量采集系统的入库操作方法,其特征在于,所述将电力计量采集系统所采集到计量数据发送至所述分布式缓存系统的各个缓存节点的步骤,包括以下步骤:
通过分区路由节点将电力计量采集系统所采集到计量数据发送至所述分布式缓存系统的各个缓存节点。
4.根据权利要求1所述的电力计量采集系统的入库操作方法,其特征在于,所述将缓存周期到期的缓存节点内的计量数据发送至所述数据库服务器的步骤,包括以下步骤:
通过入库节点将缓存周期到期的缓存节点内的计量数据发送至所述数据库服务器。
5.根据权利要求1所述的电力计量采集系统的入库操作方法,其特征在于,根据电力计量采集系统对计量数据的采集频率,设置所述各个缓存节点的缓存周期。
6.根据权利要求5所述的电力计量采集系统的入库操作方法,其特征在于,所述设置所述各个缓存节点的缓存周期的步骤,包括以下步骤:
根据电力计量采集系统对计量数据的采集频率计算采用间隔;
将计算的所述采用间隔设置为所述各个缓存节点的缓存周期。
7.根据权利要求1至6中任一项所述的电力计量采集系统的入库操作方法,其特征在于,所述分布式缓存系统为基于Redis的分布式缓存系统。
8.根据权利要求1至6中任一项所述的电力计量采集系统的入库操作方法,其特征在于,所述数据库服务器为关系型数据库服务器。
9.一种电力计量采集系统的入库操作装置,其特征在于,包括构建模块、缓存模块和入库模块;
所述构建模块,用于在电力计量采集系统和数据库服务器之间建立一个分布式缓存系统;其中,所述分布式缓存系统包括若干个缓存节点,并且具备在系统内新增缓存节点的动态扩展功能;
所述缓存模块,用于将电力计量采集系统所采集到计量数据发送至所述分布式缓存系统的各个缓存节点;
所述入库模块,用于判断所述各个缓存节点的缓存周期是否到期,并将缓存周期到期的缓存节点内的计量数据发送至所述数据库服务器;其中,所述各个缓存节点的缓存周期为预先设置。
10.根据权利要求9所述的电力计量采集系统的入库操作装置,其特征在于,所述数据库服务器为关系型数据库服务器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310461126.4A CN103530335B (zh) | 2013-09-30 | 2013-09-30 | 电力计量采集系统的入库操作方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310461126.4A CN103530335B (zh) | 2013-09-30 | 2013-09-30 | 电力计量采集系统的入库操作方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103530335A true CN103530335A (zh) | 2014-01-22 |
CN103530335B CN103530335B (zh) | 2017-03-22 |
Family
ID=49932344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310461126.4A Active CN103530335B (zh) | 2013-09-30 | 2013-09-30 | 电力计量采集系统的入库操作方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103530335B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103955492A (zh) * | 2014-04-17 | 2014-07-30 | 国网宁夏电力公司 | 一种电力系统中数据存储的方法 |
CN104104717A (zh) * | 2014-06-30 | 2014-10-15 | 广州唯品会网络技术有限公司 | 投放渠道数据统计方法及装置 |
CN104618455A (zh) * | 2015-01-12 | 2015-05-13 | 北京中交兴路车联网科技有限公司 | 一种通用缓存系统及其方法 |
CN105897440A (zh) * | 2016-04-07 | 2016-08-24 | 努比亚技术有限公司 | 一种关注页信息的分发装置、方法和系统 |
CN106131186A (zh) * | 2016-07-15 | 2016-11-16 | 国网河北省电力公司电力科学研究院 | 一种基于Redis分布式缓存的用电信息采集接口调试方法 |
CN109976904A (zh) * | 2019-02-25 | 2019-07-05 | 贵州电网有限责任公司 | Redis内存管理在采集系统的处理方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120047107A1 (en) * | 2010-08-19 | 2012-02-23 | Infosys Technologies Limited | System and method for implementing on demand cloud database |
CN102752374A (zh) * | 2012-06-15 | 2012-10-24 | 中国电力科学研究院 | 一种用电能效数据的储存访问系统及方法 |
-
2013
- 2013-09-30 CN CN201310461126.4A patent/CN103530335B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120047107A1 (en) * | 2010-08-19 | 2012-02-23 | Infosys Technologies Limited | System and method for implementing on demand cloud database |
CN102752374A (zh) * | 2012-06-15 | 2012-10-24 | 中国电力科学研究院 | 一种用电能效数据的储存访问系统及方法 |
Non-Patent Citations (1)
Title |
---|
杨真华: "智能电网数据处理与应用研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103955492A (zh) * | 2014-04-17 | 2014-07-30 | 国网宁夏电力公司 | 一种电力系统中数据存储的方法 |
CN104104717A (zh) * | 2014-06-30 | 2014-10-15 | 广州唯品会网络技术有限公司 | 投放渠道数据统计方法及装置 |
CN104104717B (zh) * | 2014-06-30 | 2017-11-03 | 广州唯品会网络技术有限公司 | 投放渠道数据统计方法及装置 |
CN104618455A (zh) * | 2015-01-12 | 2015-05-13 | 北京中交兴路车联网科技有限公司 | 一种通用缓存系统及其方法 |
CN104618455B (zh) * | 2015-01-12 | 2018-02-27 | 北京中交兴路车联网科技有限公司 | 一种通用缓存系统及其方法 |
CN105897440A (zh) * | 2016-04-07 | 2016-08-24 | 努比亚技术有限公司 | 一种关注页信息的分发装置、方法和系统 |
CN106131186A (zh) * | 2016-07-15 | 2016-11-16 | 国网河北省电力公司电力科学研究院 | 一种基于Redis分布式缓存的用电信息采集接口调试方法 |
CN109976904A (zh) * | 2019-02-25 | 2019-07-05 | 贵州电网有限责任公司 | Redis内存管理在采集系统的处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103530335B (zh) | 2017-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110022226B (zh) | 一种基于面向对象的数据采集系统及采集方法 | |
CN110047014B (zh) | 一种基于负荷曲线和历史电量的用户电量数据修复方法 | |
CN103530335A (zh) | 电力计量采集系统的入库操作方法及装置 | |
CN108804237A (zh) | 数据实时统计方法、装置、存储介质和电子设备 | |
CN111522636B (zh) | 应用容器的调整方法、调整系统、计算机可读介质及终端设备 | |
CN103152393B (zh) | 一种云计算的计费方法和计费系统 | |
CN107241281B (zh) | 一种数据处理方法及其装置 | |
CN101136911B (zh) | 一种采用p2p技术下载文件的方法和p2p下载系统 | |
EP2563062A1 (en) | Long connection management apparatus and link resource management method for long connection communication | |
CN103645904B (zh) | 一种接口调用的缓存实现方法 | |
CN103064731A (zh) | 一种提高消息队列系统性能的装置及其方法 | |
CN108183869B (zh) | 一种基于分布式消息队列的电量数据采集系统 | |
CN108848132B (zh) | 一种基于云的配电调度主站系统 | |
CN105405070A (zh) | 一种分布式内存电网系统构建方法 | |
CN111258978A (zh) | 一种数据存储的方法 | |
CN108573029A (zh) | 一种获取网络访问关系数据的方法、装置及存储介质 | |
CN110727738A (zh) | 基于数据分片的全局路由系统、电子设备及存储介质 | |
CN102404760A (zh) | 系统性能实时测量的方法及装置 | |
CN105162622A (zh) | 一种存储方法和系统 | |
CN110636107A (zh) | 一种基于5g通信下的电网数据交互系统及其交互方法 | |
CN103607731A (zh) | 一种测量报告的处理方法及装置 | |
CN113947498A (zh) | 一种融合终端数据中心的数据存储与检索方法 | |
CN103095812A (zh) | 一种基于用户请求响应时间的副本创建方法 | |
CN102752374A (zh) | 一种用电能效数据的储存访问系统及方法 | |
CN112445590A (zh) | 一种计算资源接入及调度系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |