CN106649711A - 基于Redis实时数据库的分布式前置采集系统 - Google Patents

基于Redis实时数据库的分布式前置采集系统 Download PDF

Info

Publication number
CN106649711A
CN106649711A CN201611187223.9A CN201611187223A CN106649711A CN 106649711 A CN106649711 A CN 106649711A CN 201611187223 A CN201611187223 A CN 201611187223A CN 106649711 A CN106649711 A CN 106649711A
Authority
CN
China
Prior art keywords
module
redis
data
distributed
redis real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611187223.9A
Other languages
English (en)
Inventor
成月良
朱守让
王伟
吴多胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NARI Nanjing Control System Co Ltd
Original Assignee
NARI Nanjing Control System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NARI Nanjing Control System Co Ltd filed Critical NARI Nanjing Control System Co Ltd
Priority to CN201611187223.9A priority Critical patent/CN106649711A/zh
Publication of CN106649711A publication Critical patent/CN106649711A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于Redis实时数据库的分布式前置采集系统，包括系统管理模块、通讯规约处理模块、分布式前置通讯模块、分布式前置断点续传模块、Redis实时数据库模块、Redis实时数据库服务端模块、Redis实时数据库客户端模块；实现了前置采集系统的独立部署，解决了EMS系统中传统前置采集模块工作需要EMS中基础支撑平台，不能单独部署问题，实现了大批量分布式子站设备的接入，可以动态扩展采集规模。基于Redis实时数据库的分布式前置采集系统还解决了EMS主站与各子站设备在通讯链路中断情况下的数据丢失问题，提高了EMS主站与各子站设备的通信安全性、可靠性。

Description

基于Redis实时数据库的分布式前置采集系统
技术领域
本发明属于电力系统调度自动化领域，尤其涉及一种基于Redis实时数据库的分布式前置采集系统。
背景技术
随着各工矿企业电网规模的不断扩大，企业EMS主站直采子站设备的数量也不断增多，为适应大批量子站设备数据的采集与监控，使前置采集系统安全、稳定、可靠运行，同时力争为用户提供更加简洁、友好的维护界面，设计开发出一套大容量的分布式前置系统。
当前EMS（能量管理系统）系统中前置采集部分都是作为一个模块处理，不能独立部署，前置容量一般为两组。由于每组接入设备数有限，已不能满足大批量子站设备的接入。面对大批量子站设备的接入，前置将承担巨大的数据处理压力。前置模块必须与主站部署在一起，当主站与子站通信链路发生故障时，故障期间的数据将无法不存，存在很大的安全隐患。
发明内容
针对现有技术存在的问题，本发明提供一种基于Redis实时数据库的分布式前置采集系统，能够独立的部署在EMS子站端，实现大批量的子站设备的接入，大幅降低了EMS主站系统的数据处理压力。
本发明的上述技术问题主要是通过下述技术方案得以解决的：
基于Redis实时数据库的分布式前置采集系统，包括系统管理模块、通讯规约处理模块、分布式前置通讯模块、分布式前置断点续传模块、Redis实时数据库模块、Redis实时数据库服务端模块、Redis实时数据库客户端模块；
本系统以Redis实时数据库模块为核心，建立各类变化数据和全数据在Redis实时数据库中的存储模型。
系统管理模块，负责检测分布式前置采集系统与EMS主站系统的通讯状态，并把通讯状态及时通知其他各模块；
通讯规约处理模块，负责与子站端RTU（远程终端单元，RemoteTerminalUnit）设备的通讯规约处理并将采集到的数据报文解析后转发给分布式前置通讯模块；
分布式前置通讯模块，负责与EMS主站、Redis实时数据库服务端模块数据交互；
分布式前置断点续传模，负责在分布式前置采集系统与EMS主站系统的通讯中断又重新恢复的情况下将Redis实时数据库模块的未发送区的全数据类型和变化数据类型重新封装成消息的数据格式重新发送给EMS主站系统；
Redis实时数据库服务端模块，负责与Redis实时数据库模块、分布式前置断点续传模块的数据交互；
在分布式前置采集系统与EMS主站系统通讯正常时，分布式前置通讯模块将采集到的全数据类型和变化数据类型封装成消息的数据格式发送给EMS主站，同时仅将收到的全数据信息发送给Redis实时数据库服务端模块。
在分布式前置采集系统与EMS主站系统通讯正常时，Redis实时数据库服务端模块将从分布式前置通讯模块接收到的全数据信息以链表的形式存储于Redis实时数据库模块的已发送区。
在分布式前置采集系统与EMS主站系统通讯中断时，分布式前置通讯模块将采集到的全数据类型和变化数据全部发送给Redis实时数据库服务端模块。
在分布式前置采集系统与EMS主站系统通讯中断时，分布式前置通讯模块将采集到的全数据类型和变化数据全部发送给Redis实时数据库服务端模块。
在分布式前置采集系统与EMS主站系统通讯中断时，Redis实时数据库服务端模块将从分布式前置通讯模块接收到的全数据类型和变化数据以链表的形式存储于Redis实时数据库模块的未发送区。
在分布式前置采集系统与EMS主站系统的通讯中断到重新恢复时，Redis实时数据库服务端模块取出Redis实时数据库模块的未发送区的全数据类型和变化数据类型发送给分布式前置断点续传模块。
在分布式前置采集系统与EMS主站系统的通讯中断到重新恢复时，分布式前置断点续传模块接收到Redis实时数据库模块的未发送区的全数据类型和变化数据类型重新封装成消息的数据格式重新发送给EMS主站系统，并将发送结果反馈给Redis实时数据库服务端模块。
Redis实时数据库服务端模块收到分布式前置断点续传模块发送成功的反馈信息，将续传的全数据类型和变化数据类型从Redis实时数据库模块的未发送区移除，并将全数据类型迁移到Redis实时数据库模块的已发送区。
所述Redis实时数据库服务端模块还负责Redis实时数据库的被动持久化（即在分布式前置采集系统持续运行一定时间后，Redis实时数据库服务端模块将Redis实时库中已发送区的链表数据持久化到磁盘上）并从Redis实时库中删除对应时段数据。持久化后的历史数据按照规定数据格式存储，可以后期用作大数据分析计算。
Redis实时数据库客户端模块，实现Redis实时数据库的主动持久化（即响应用户定制的持久化请求处理）。
本发明的有益效果是：能够独立部署于子站端，基于Redis实时数据库，实现大批量子站设备的接入，大幅减轻了EMS主站处理数据的压力，并且当在分布式前置采集系统与EMS主站通讯中断的时候也能完好的将数据保存，不会造成数据的丢失，提高了系统的可靠性，安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的系统结构图；
图2为本发明的数据流程图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
参照图1至图2所示，本发明基于Redis实时数据库的分布式前置采集系统；本系统基于Redis实时数据库，能够独立的部署于EMS子站端，实现大批量子站设备的接入；系统容量为256组分布式前置采集系统，每组包含两台前置机，互为主备，每组可实现1024个子站设备的接入，包括系统管理模块、通讯规约处理模块、分布式前置通讯模块、分布式前置断点续传模块、Redis实时数据库模块、Redis实时数据库服务端模块、Redis实时数据库客户端模块。
系统管理模块，负责检测分布式前置采集系统与EMS主站系统的通讯状态，并把通讯状态及时通知其他各模块；
通讯规约处理模块，负责与子站端RTU设备的通讯规约处理并将采集到的数据报文解析后转发给分布式前置通讯模块；
分布式前置通讯模块，负责与EMS主站、Redis实时数据库服务端模块数据交互；
分布式前置断点续传模，负责在分布式前置采集系统与EMS主站系统的通讯中断又重新恢复的情况下将Redis实时数据库模块的未发送区的全数据类型和变化数据类型重新封装成消息的数据格式重新发送给EMS主站系统；
Redis实时数据库服务端模块，负责与Redis实时数据库模块、分布式前置断点续传模块的数据交互；
Redis实时数据库客户端模块，实现Redis实时数据库的主动持久化。
本系统的数据处理流程主要包括：
1.分布式前置采集系统与站端RTU通讯采用标准规约。
2.在分布式前置采集系统与主站EMS系统通讯正常时：
2.1 站端RTU值班端口上行一帧全数据/变化数据报文DataGram_UPDATE（将全数据/变化数据报文定义为DataGram_UPDATE）；
2.2 通讯规约处理模块接收到DataGram_UPDATE，进行标准规约报文解析，将生成的全数据/变化数据信息发送给分布式前置通讯模块；
2.3 系统管理模块检测与主站EMS系统的通讯状态,并将状态“正常”反馈给通讯规约处理模块；
2.4 分布式前置通讯模块得到本子系统与主站通讯正常，将全数据/变化数据信息封装成消息发送给主站EMS系统，同时仅将全数据信息发送给Redis实时数据库服务端模块；
2.5 Redis实时数据库服务端模块接收到全数据，将全数据组装成链表格式，将该链表记录写入Redis实时数据库模块的已发送区。
3.在分布式前置采集系统与主站EMS系统通讯中断时：
3.1 站端RTU值班端口上行一帧全数据/变化数据报文DataGram_UPDATE；
3.2 通讯规约处理模块接收到DataGram_UPDATE，进行标准规约报文解析，将生成的全数据/变化数据信息发送给分布式前置通讯模块。
1.3.系统管理模块检测与主站EMS系统的通讯状态,并将状态“异常”反馈给通讯规约处理模块。
3.4 分布式前置通讯模块得到本子系统与主站通讯异常，将全数据/变化数据标记为“未发送”发送给Redis实时数据库服务端模块。
3.5 Redis实时数据库服务端模块接收到全数据/变化数据，将全数据/变化数据分别组装成链表格式，将链表记录写入Redis实时数据库模块的未发送区；
3.6 系统管理模块不断检测与主站EMS系统的通讯状态,通讯状态“异常”则数据流程继续重复本设计3.1-3.5数据流程；
3.7 系统管理模块不断检测与主站EMS系统的通讯状态,通讯状态由“异常”转变为“正常”则分布式前置采集系统数据流程继续以下3.8数据流程；
3.8 系统管理模块将EMS主站通讯状态由异常转变为正常的消息通知分布式前置通讯模块、Redis实时数据库服务端模块；
3.9 分布式前置通讯模块得到本子系统与主站通讯恢复正常，工作流程将跳转到设计点2.4数据流程；
3.10 Redis实时数据库服务端模块得到本子系统与主站通讯恢复正常，从Redis实时数据库模块的未发送区按时间先后顺取出未发送链表数据发送给分布式前置断点续传模块；
3.11 分布式前置断点续传模块得到未发送链表数据，封装成消息发送给主站EMS前置模块，并将全数据和变化数据的发送结果反馈给Redis实时数据库服务端；
3.12 Redis实时数据库服务端模块得到数据补发的结果，全数据补发成功，将已经成功发送的全数据链表迁移到已发送区。变化数据补发成功，将变化数据链表从redis实时库未发送区移除。
4 分布式前置采集系统持续运行365天后，Redis实时数据库服务端模块将Redis实时库中已发送区的链表数据持久化到磁盘上，并从Redis实时库中删除对应时段数据。持久化后的历史数据按照规定数据格式存储，可以后期用作大数据分析计算。
5 Redis实时数据库客户端模块响应用户定制的持久化请求。持久化（即将数据存储到磁盘上）后的历史数据按照规定数据格式存储，可以后期用作大数据分析计算。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。

Claims (6)

1.基于Redis实时数据库的分布式前置采集系统，其特征在于：包括系统管理模块、通讯规约处理模块、分布式前置通讯模块、分布式前置断点续传模块、Redis实时数据库模块、Redis实时数据库服务端模块、Redis实时数据库客户端模块；其中，
系统管理模块，负责检测分布式前置采集系统与EMS主站系统的通讯状态，并把通讯状态及时通知其他各模块；
通讯规约处理模块，负责与子站端RTU设备的通讯规约处理并将采集到的数据报文解析后转发给分布式前置通讯模块；
分布式前置通讯模块，负责与EMS主站、Redis实时数据库服务端模块数据交互；
分布式前置断点续传模，负责在分布式前置采集系统与EMS主站系统的通讯中断又重新恢复的情况下将Redis实时数据库模块的未发送区的全数据类型和变化数据类型重新封装成消息的数据格式重新发送给EMS主站系统；
Redis实时数据库服务端模块，负责与Redis实时数据库模块、分布式前置断点续传模块的数据交互；
Redis实时数据库客户端模块，实现Redis实时数据库的主动持久化。
2.根据权利要求1所述的基于Redis实时数据库的分布式前置采集系统，其特征在于：所述分布式前置通讯模块负责与EMS主站、Redis实时数据库服务端模块数据交互具体包括，在分布式前置采集系统与EMS主站系统的通讯正常的情况下，将采集到的全数据类型和变化数据类型封装成消息的数据格式发送给EMS主站，同时仅将收集到的全数据信息发送给Redis实时数据库服务端模块在分布式前置采集系统与EMS主站系统的通讯中断的情况下，分布式前置通讯模块将采集到的全数据类型和变化数据全部发送给Redis实时数据库服务端模块。
3.根据权利要求1所述的基于Redis实时数据库的分布式前置采集系统，其特征在于：所述Redis实时数据库服务端模块负责与Redis实时数据库模块、分布式前置断点续传模块的数据交互具体包括：在分布式前置采集系统与EMS主站系统的通讯正常的情况下，将收集到的全数据信息以链表的形式存储于Redis实时数据库模块的已发送区；在分布式前置采集系统与EMS主站系统的通讯中断的情况下，将采集到的全数据类型和变化数据以链表的形式存储于Redis实时数据库模块的未发送区；在分布式前置采集系统与EMS主站系统的通讯中断又重新恢复的情况下，Redis实时数据库服务端模块取出Redis实时数据库模块的未发送区的全数据类型和变化数据类型发送给分布式前置断点续传模块，得到分布式前置断点续传模块发送成功的反馈信息，将续传的全数据类型迁移到Redis实时数据库模块的已发送区。
4.根据权利要求1所述的基于Redis实时数据库的分布式前置采集系统，其特征在于：所述Redis实时数据库服务端模块还负责Redis实时数据库的被动持久化。
5.根据权利要求1所述的基于Redis实时数据库的分布式前置采集系统，其特征在于：在分布式前置采集系统持续运行一定时间后，Redis实时数据库服务端模块将Redis实时库中已发送区的链表数据持久化到磁盘上，并从Redis实时库中删除对应时段数据。
6.根据权利要求1所述的基于Redis实时数据库的分布式前置采集系统，其特征在于：Redis实时数据库客户端模块响应用户定制的持久化请求处理。
CN201611187223.9A 2016-12-21 2016-12-21 基于Redis实时数据库的分布式前置采集系统 Pending CN106649711A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611187223.9A CN106649711A (zh) 2016-12-21 2016-12-21 基于Redis实时数据库的分布式前置采集系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611187223.9A CN106649711A (zh) 2016-12-21 2016-12-21 基于Redis实时数据库的分布式前置采集系统

Publications (1)

Publication Number Publication Date
CN106649711A true CN106649711A (zh) 2017-05-10

Family

ID=58834315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611187223.9A Pending CN106649711A (zh) 2016-12-21 2016-12-21 基于Redis实时数据库的分布式前置采集系统

Country Status (1)

Country Link
CN (1) CN106649711A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247797A (zh) * 2017-06-26 2017-10-13 国电南瑞科技股份有限公司 基于Redis的电力调度自动化系统中时标量测数据存储系统和方法
CN107656971A (zh) * 2017-09-02 2018-02-02 国网辽宁省电力有限公司 一种基于Redis的智能电网采集监测数据存储方法
CN108022042A (zh) * 2017-11-30 2018-05-11 云南电网有限责任公司 基于内存数据库Redis实现省级电网考核补偿快速计算方法
CN110086678A (zh) * 2019-05-16 2019-08-02 南京华盾电力信息安全测评有限公司 基于Redis的双通道实时数据采集系统及采集方法
CN113706102A (zh) * 2021-08-25 2021-11-26 宁夏隆基宁光仪表股份有限公司 一种基于elk工具批量生产表计的数据处理方法
CN115396752A (zh) * 2022-07-29 2022-11-25 国电南京自动化股份有限公司 一种基于Redis的双平面采集数据方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839195A (zh) * 2014-03-12 2014-06-04 深圳市康必达控制技术有限公司 一种电能质量管理服务端及其数据处理方法
CN105278433A (zh) * 2015-11-18 2016-01-27 北京利达科信环境安全技术有限公司 一种数采仪自动补传数据的方法和装置
CN105846473A (zh) * 2016-04-06 2016-08-10 北京科东电力控制系统有限责任公司 一种基于智能电网调度控制系统的地县一体化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839195A (zh) * 2014-03-12 2014-06-04 深圳市康必达控制技术有限公司 一种电能质量管理服务端及其数据处理方法
CN105278433A (zh) * 2015-11-18 2016-01-27 北京利达科信环境安全技术有限公司 一种数采仪自动补传数据的方法和装置
CN105846473A (zh) * 2016-04-06 2016-08-10 北京科东电力控制系统有限责任公司 一种基于智能电网调度控制系统的地县一体化方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
张杰明等: ""分布式前置采集技术在SCADA/EMS系统中的应用"", 《电力自动化设备》 *
樊重俊等: "《数据库基础及应用》", 31 January 2015, 上海：立信会计出版社 *
王伟海: ""龙口矿业集团电网调度自动化系统设计与实现"", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
王平瑞: ""天津城市轨道交通供电监控系统优化设计"", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247797A (zh) * 2017-06-26 2017-10-13 国电南瑞科技股份有限公司 基于Redis的电力调度自动化系统中时标量测数据存储系统和方法
CN107656971A (zh) * 2017-09-02 2018-02-02 国网辽宁省电力有限公司 一种基于Redis的智能电网采集监测数据存储方法
CN108022042A (zh) * 2017-11-30 2018-05-11 云南电网有限责任公司 基于内存数据库Redis实现省级电网考核补偿快速计算方法
CN110086678A (zh) * 2019-05-16 2019-08-02 南京华盾电力信息安全测评有限公司 基于Redis的双通道实时数据采集系统及采集方法
CN113706102A (zh) * 2021-08-25 2021-11-26 宁夏隆基宁光仪表股份有限公司 一种基于elk工具批量生产表计的数据处理方法
CN115396752A (zh) * 2022-07-29 2022-11-25 国电南京自动化股份有限公司 一种基于Redis的双平面采集数据方法及系统

Similar Documents

Publication Publication Date Title
CN106649711A (zh) 基于Redis实时数据库的分布式前置采集系统
CN104753038B (zh) 一种智能变电站集中式继电保护系统及保护方法
CN103368263B (zh) 调度自动化系统iec104规约通讯状态的检测方法
CN105790990B (zh) 一种监管配用电通信业务的方法及其系统
CN102324793B (zh) 一种实现多个虚拟配电终端的方法和系统
CN103390882B (zh) 一种海上电网保护定值修改方法
CN101957891A (zh) 一种基于通信系统的模块化电网静态安全分析系统
CN105516292A (zh) 一种智能变电站云平台的热备方法
CN112636462A (zh) 一种基于mqtt的配电物联网系统及其方法
CN105322660B (zh) 配电通讯设备的远程控制方法和装置
CN106453541A (zh) 一种数据同步的方法、服务器以及数据同步系统
CN112787404A (zh) 基于智能运行和网络安全深度融合的区域监控系统
CN104882962A (zh) 一种基于北斗卫星的信息采集监控系统及方法
CN201985898U (zh) 通讯服务负载平衡系统
CN106570775A (zh) 电网故障预案联合编制方法及装置
CN102869032A (zh) 一种基站电源监控及告警的装置和方法
CN106027320B (zh) 一种实现Portal网关多对一热备的方法
CN106789278B (zh) 电力故障修复系统和应用该系统的电力故障修复方法
CN109713791B (zh) 智能电网遥控命令异常的诊断方法
CN104993970A (zh) 一种面向分布式系统关键运行指标数据的集中监视方法
CN106971272A (zh) 一种调度自动化主备系统间操作同步的系统及方法
CN110334900A (zh) 数据处理方法
CN104578404A (zh) 一种电力系统二次设备在线监测系统
CN203658816U (zh) 一种智能市电监控系统
CN201887561U (zh) 电网监控系统的安全通信系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510

RJ01 Rejection of invention patent application after publication