CN115396752A - 一种基于Redis的双平面采集数据方法及系统 - Google Patents

一种基于Redis的双平面采集数据方法及系统 Download PDF

Info

Publication number
CN115396752A
CN115396752A CN202210905369.1A CN202210905369A CN115396752A CN 115396752 A CN115396752 A CN 115396752A CN 202210905369 A CN202210905369 A CN 202210905369A CN 115396752 A CN115396752 A CN 115396752A
Authority
CN
China
Prior art keywords
data
server
redis
processing
communication link
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210905369.1A
Other languages
English (en)
Other versions
CN115396752B (zh
Inventor
李德军
胡铮宏
刘柱云
汪贤浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guodian Nanjing Automation Co Ltd
Original Assignee
Guodian Nanjing Automation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guodian Nanjing Automation Co Ltd filed Critical Guodian Nanjing Automation Co Ltd
Priority to CN202210905369.1A priority Critical patent/CN115396752B/zh
Publication of CN115396752A publication Critical patent/CN115396752A/zh
Application granted granted Critical
Publication of CN115396752B publication Critical patent/CN115396752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00002—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by monitoring
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00006—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by information or instructions transport means between the monitoring, controlling or managing units and monitored, controlled or operated power network element or electrical equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0663—Performing the actions predefined by failover planning, e.g. switching to standby network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/06—Notations for structuring of protocol data, e.g. abstract syntax notation one [ASN.1]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Abstract

本发明公开了数据采集领域的一种基于Redis的双平面采集数据方法及系统，包括：通过选举算法由前置服务器A和前置服务器B中选出电力监控系统中是前置主服务器；通过双平面数据网分别建立前置服务器A、前置服务器B、变电站远动A和变电站远动B之间的通信链路；将前置服务器A的数据和前置服务器B的数据进行规约解析和数据处理，存入到Redis系统；前置主服务器对Redis系统中缓存的数据进行有效性处理、时效性持久化处理和行数据完整性处理，对当前Redis系统中的数据按时标进行排序后，发送到处理服务器；本发明避免了在故障期间丢失数据；保证数据采集的安全可靠、数据传输的高效以及通道切换以及机器节点切换期间数据的完整性。

Description

一种基于Redis的双平面采集数据方法及系统
技术领域
本发明属于数据采集领域，具体涉及一种基于Redis的双平面采集数据方法及系统。
背景技术
现有电力监控系一般在数据采集功能上通过主备方式进行处理，即将前置服务器机器节点分为主节点和备节点，只有主节点上主通道是进行链路采集、报文解析及数据处理的，主节点上的备通道和备节点的所有通道皆处于等待状态，只有当该通道切为主通道时，才进行链路采集、报文解析和数据处理功能。这种方式设计逻辑比较简单易行，但无法保证通道切换时数据的完整性和可靠性，降低了电力监控系统数据采集的可靠性。
发明内容
本发明的目的在于提供一种基于Redis的双平面采集数据方法及系统，电力监控系统中在双平面架构下进行安全可靠的数据采集和数据传输，并保证通道切换以及机器节点切换期间数据完整可靠。
为达到上述目的，本发明所采用的技术方案是：
本发明第一方面提供了一种基于Redis的双平面采集数据方法，包括：
通过选举算法由前置服务器A和前置服务器B中选出电力监控系统中是前置主服务器；
通过数据网第一平面分别建立前置服务器A与变电站远动A、前置服务器A与变电站远动B的通信链路；通过数据网第二平面分别建立前置服务器A与变电站远动A、前置服务器A与变电站远动B的通信链路，分别将各通信链路传输的前置服务器A的数据进行规约解析和数据处理，形成各链路的消息队列后，定时将消息队列进行格式转换并按照key+value格式进行数据封装后，存入到Redis系统；
通过数据网第一平面分别建立前置服务器B与变电站远动A、前置服务器B与变电站远动B的通信链路；通过数据网第二平面分别建立前置服务器B与变电站远动A、前置服务器B与变电站远动B的通信链路，分别将各通信链路传输的前置服务器B的数据进行规约解析和数据处理，形成各链路的消息队列后，定时将消息队列进行格式转换并按照key+value格式进行数据封装后，存入到Redis系统；
前置主服务器对Redis系统中缓存的数据进行有效性处理、时效性持久化处理和行数据完整性处理，对当前Redis系统中的数据按时标进行排序后，发送到电力监控系统中的处理服务器。
优选的，还包括：当系统中发生通信链路切换时，通过对Redis中缓存的数据进行一致性比较和连续性分析处理，将处理后的有效数据进行排序，发送到电力监控系统中的处理服务器。
优选的，通过选举算法由前置服务器A和前置服务器B中选出电力监控系统的前置主服务器的方法包括：
在前置服务器A与前置服务器B之间周期性互发UDP心跳报文，UDP心跳报文内容包括本机前置模块的启动时间、本机机器名和网卡IP；
周期性互发心跳报文设置有超时阈值；当超时阈值内收到UDP心跳报文时，认定前置服务器A与前置服务器B之间的UDP连接心跳状态正常；当在超出该超时时间值未收到UDP心跳报文内容时，认定前置服务器A与前置服务器B之间的UDP连接心跳状态中断；
当前置服务器A与前置服务器B之间的UDP连接心跳状态正常时，根据启动时间由前置服务器A和前置服务器B中选举出电力监控系统的前置主服务器；
若前置服务器A或者前置服务器B未收到UDP心跳报文时，选举其为电力监控系统的前置主服务器。
优选的，分别将各通信链路传输的前置服务器A或前置服务器B的数据进行规约解析和数据处理的方法包括：
在前置服务器A和前置服务器B内独立设置各通信链路的发送数据缓存区和接收数据缓存区；将对应的通信链路收到的数据进行规约解析，并按照固定格式进行封装组帧后存储至接收数据缓存区，固定格式为链路ID、数据类型、数据个数、数据内容集合(数据值+时间戳)；根据命令优先级维度对数据进行排序并存储至发送数据缓存区，通过通信链路依次发送所述发送数据缓存区内存储的数据。
优选的，所述key+value格式中key值为由链路名数据类型、数据点号和时间戳组合而成。
优选的，前置主服务器对Redis系统中缓存的数据进行有效性处理的方法包括：
将Redis系统中缓存的数据分为遥信类型数据、遥测类型数据和遥脉类型数据；对存入Redis中遥信类型数据进行分析处理，过滤出所有非0且非1的遥信数据；根据实际情况对存入Redis中各遥测类型数据和遥脉类型数据设定合理性范围，过滤出在合理性范围之外的遥测类型数据和遥脉类型数据。
优选的，前置主服务器对Redis系统中缓存的数据进行时效性持久化处理的方法包括
设定Redis系统的缓存时效阈值，对超过缓存时效阈值的缓存数据自动删除；通过Redis系统中持久化RDB机制完成缓存数据的持久化处理，当符合持久化配置条件时自动将缓存数据进行快照并持久化到硬盘。
优选的，前置主服务器对Redis系统中缓存数据进行数据完整性处理的方法包括：
采用哈希循环偏移算法对缓存数据进行处理，按照通信链路、数据类型、数据点号、时间戳创建缓存数据的哈希索引链表，通过检测哈希索引链表定位Redis系统中缓存数据的key值；
根据各通信链路的实时通讯状态和机器节点信息进行加权计算获得通信链路的优先级；当Redis系统中存在相同缓存数据时，只保留链路优先级最高的通信链路传输的数据。
优选的，按照时间戳对缓存数据进行排序整理并发送到电力监控系统中的处理服务器。
本发明第二方面提供了一种基于Redis实现双平面采集数据系统，包括：
选举模块，用于通过选举算法由前置服务器A和前置服务器B中选出电力监控系统中是前置主服务器；
通信链路建立模块，用于通过数据网第一平面分别建立前置服务器A与变电站远动A、前置服务器A与变电站远动B的通信链路；通过数据网第二平面分别建立前置服务器A与变电站远动A、前置服务器A与变电站远动B的通信链路，通过数据网第一平面分别建立前置服务器B与变电站远动A、前置服务器B与变电站远动B的通信链路；通过数据网第二平面分别建立前置服务器B与变电站远动A、前置服务器B与变电站远动B的通信链路；
缓存模块，将各通信链路传输的前置服务器A的数据进行规约解析和数据处理形成各链路的消息队列；将各通信链路传输的前置服务器B的数据进行规约解析和数据处理形成各链路的消息队列，定时将消息队列进行格式转换并按照key+value格式进行数据封装后，存入到Redis系统；
分析处理模块，用于前置主服务器对Redis系统中缓存的数据进行有效性处理、时效性持久化处理和行数据完整性处理，对当前Redis系统中的数据按时标进行排序后，发送到电力监控系统中的处理服务器。
与现有技术相比，本发明的有益效果：
本发明中通过双平面数据网分别建立前置服务器A、前置服务器B、变电站远动A和变电站远动B之间的通信链路；将前置服务器A的数据和前置服务器B的数据进行规约解析和数据处理，形成各链路的消息队列后，定时将消息队列进行格式转换并按照key+value格式进行数据封装后，存入到Redis系统；当其中任一通讯链路发生故障时，仍然有另外一条通讯链路处于工作状态，可进行正常的规约报文解析及处理，避免在故障期间丢失数据；保证数据采集的安全可靠、数据传输的高效以及通道切换以及机器节点切换期间数据的完整性。
本发明中前置主服务器对Redis系统中缓存的数据进行有效性处理、时效性持久化处理和行数据完整性处理，减少了后续数据处理的压力，对当前Redis系统中的数据按时标进行排序后，发送到电力监控系统中的处理服务器；以满足数据采集的高并发、读写速度快、集群规模、部署灵活的需求。
附图说明
图1为本发明实施例提供的各前置服务器与各变电站远动的连接关系图；
图2为本发明实施例提供的电力监控系统的结构图图；
图3为本发明实施例提供的双平面数据网的结构图；
图4为本发明提供的一种基于Redis的双平面采集数据方法的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一
如图1-4所示，一种基于Redis的双平面采集数据方法，包括：
通过选举算法由前置服务器A和前置服务器B中选出电力监控系统的前置主服务器的方法包括：
在前置服务器A与前置服务器B之间周期性互发UDP心跳报文，UDP心跳报文内容包括本机前置模块的启动时间、本机机器名和网卡IP；
周期性互发心跳报文设置有超时阈值；当超时阈值内收到UDP心跳报文时，认定前置服务器A与前置服务器B之间的UDP连接心跳状态正常；当在超出该超时时间值未收到UDP心跳报文内容时，认定前置服务器A与前置服务器B之间的UDP连接心跳状态中断；
当前置服务器A与前置服务器B之间的UDP连接心跳状态正常时，根据启动时间由前置服务器A和前置服务器B中选举出电力监控系统的前置主服务器；
若前置服务器A或者前置服务器B未收到UDP心跳报文时，选举其为电力监控系统的前置主服务器。
当前置服务器A或前置服务器B发生故障时，另外一台前置采集服务器上的前置采集模块可以自动接管故障服务器上的所有的通道。从发生故障到完成切换的时间小于1秒，保证在故障切换期间不会丢失数据。前置主服务器具备了多机协调管理功能。多机协调管理功能是指在汇集全部前置节点的通讯链路实际运行状态后，并对其进行计算及管理，并负责对Redis中的数据进行处理，并将处理后的数据发送到处理服务器。
通过数据网第一平面建立前置服务器A与变电站远动A、前置服务器A与变电站远动B的通信链路，其中，将前置服务器A与变电站远动A的通信链路记作通信链路1-1，将前置服务器A与变电站远动B的通信链路记作通信链路1-2；通过数据网第二平面分别建立前置服务器A与变电站远动A、前置服务器A与变电站远动B的通信链路，其中，将前置服务器A与变电站远动A的通信链路记作通信链路2-1，将前置服务器A与变电站远动B的通信链路记作通信链路2-2；分别将各通信链路传输的前置服务器A的数据进行规约解析和数据处理，形成各链路的消息队列后，定时将消息队列进行格式转换并按照key+value格式进行数据封装后，存入到Redis系统；
通过数据网第一平面分别建立前置服务器B与变电站远动A、前置服务器B与变电站远动B的通信链路,其中，将前置服务器B与变电站远动A的通信链路记作通信链路1-3，将前置服务器B与变电站远动B的通信链路记作通信链路1-4；通过数据网第二平面分别建立前置服务器B与变电站远动A、前置服务器B与变电站远动B的通信链路，其中，将前置服务器B与变电站远动A的通信链路记作通信链路2-3，将前置服务器B与变电站远动B的通信链路记作通信链路2-4；分别将各通信链路传输的前置服务器B的数据进行规约解析和数据处理，形成各链路的消息队列后，定时将消息队列进行格式转换并按照key+value格式进行数据封装后，存入到Redis系统；所述key+value格式中key值为由链路名数据类型、数据点号和时间戳组合而成；根据key值，既能快速定位到具体的链路信息，又能识别出数据类型和数据点号的数据特征，还能获得数据的接收时间。
分别将各通信链路传输的前置服务器A或前置服务器B的数据进行规约解析和数据处理的方法包括：
在前置服务器A和前置服务器B内独立设置各通信链路的发送数据缓存区和接收数据缓存区；通讯链路设计了各自独立发送数据缓存区和接收数据缓存区，通过数据缓存处理动态分析机制，保证了数据的高速可靠；将对应的通信链路收到的数据进行规约解析，并按照固定格式进行封装组帧后存储至接收数据缓存区，固定格式为链路ID、数据类型、数据个数、数据内容集合(数据值+时间戳)。
发送数据缓存区存储的是该通讯链路需下发的各缓存数据为命令信息；命令信息的类型包括遥控命令、遥调命令、设点命令、数据召唤命令、对时命令；命令信息是由命令时间、命令类型、命令优先级、命令内容四部分组成，依次按照命令优先级、命令时间、命令类型三个维度对接收数据缓存区中的信息进行比较，根据命令优先级维度对数据进行排序并存储至发送数据缓存区，通过通信链路依次发送所述发送数据缓存区内存储的数据。
前置主服务器对Redis系统中缓存的数据进行有效性处理、时效性持久化处理和行数据完整性处理；
前置主服务器对Redis系统中缓存的数据进行有效性处理的方法包括：将Redis系统中缓存的数据分为遥信类型数据、遥测类型数据和遥脉类型数据；对存入Redis中遥信类型数据进行分析处理，过滤出所有非0且非1的遥信数据；根据实际情况对存入Redis中各遥测类型数据和遥脉类型数据设定合理性范围，设定具体合理性范围包括10kV电压值只能在0和11之间浮动；遥脉类型数据是用来采集电表表码值的，其为无符号整数，其由于电表存在最大刻度，故遥脉数据的值也存在合理性范围，设定具体合理性范围包括10kV电压值只能在0和11之间浮动；过滤出在合理性范围之外的遥测类型数据和遥脉类型数据。
前置主服务器对Redis系统中缓存的数据进行时效性持久化处理的方法包括：设定Redis系统的缓存时效阈值，对超过缓存时效阈值的缓存数据自动删除；精度设定为毫秒或秒；通过Redis系统中持久化RDB机制完成缓存数据的持久化处理，当符合持久化配置条件时自动将缓存数据进行快照并持久化到硬盘。
前置主服务器对Redis系统中缓存数据进行数据完整性处理的方法包括：采用哈希循环偏移算法对缓存数据进行处理，按照通信链路、数据类型、数据点号、时间戳创建缓存数据的哈希索引链表，通过检测哈希索引链表定位Redis系统中缓存数据的key值；
根据各通信链路的实时通讯状态和机器节点信息进行加权计算获得通信链路的优先级；当Redis系统中存在相同缓存数据时，只保留链路优先级最高的通信链路传输的数据；从而保证在同一时刻、同一数据类型、同一点号有且仅有一个实时数据值，既数据归一化处理。
按照时间戳对当前Redis系统中的缓存数据进行排序整理并发送到电力监控系统中的处理服务器；当系统中发生通信链路切换时，通过对Redis中缓存的数据进行一致性比较和连续性分析处理，将处理后的有效数据进行排序，发送到电力监控系统中的处理服务器。
基于上述数据处理方法，可保证无论是在双平面数据网冗余采集接入发生平面切换时，还是前置服务器发生主备切换时，不同平面数据网接入数据的可以无缝切换，采集数据无丢失，顺序不混乱，实现了电力监控系统中的数据采集接入数据的完整性和连续性。
实施例二
一种基于Redis的双平面采集数据系统，本实施例提供的系统可以应用于实施例一所述的双平面采集数据方法；双平面采集数据系统包括：
选举模块，用于通过选举算法由前置服务器A和前置服务器B中选出电力监控系统中是前置主服务器；
通信链路建立模块，用于通过数据网第一平面分别建立前置服务器A与变电站远动A、前置服务器A与变电站远动B的通信链路；通过数据网第二平面分别建立前置服务器A与变电站远动A、前置服务器A与变电站远动B的通信链路，通过数据网第一平面分别建立前置服务器B与变电站远动A、前置服务器B与变电站远动B的通信链路；通过数据网第二平面分别建立前置服务器B与变电站远动A、前置服务器B与变电站远动B的通信链路；
缓存模块，将各通信链路传输的前置服务器A的数据进行规约解析和数据处理形成各链路的消息队列；将各通信链路传输的前置服务器B的数据进行规约解析和数据处理形成各链路的消息队列，定时将消息队列进行格式转换并按照key+value格式进行数据封装后，存入到Redis系统；
分析处理模块，用于前置主服务器对Redis系统中缓存的数据进行有效性处理、时效性持久化处理和行数据完整性处理，对当前Redis系统中的数据按时标进行排序后，发送到电力监控系统中的处理服务器。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于Redis的双平面采集数据方法，其特征在于，包括
通过选举算法由前置服务器A和前置服务器B中选出电力监控系统中是前置主服务器；
通过数据网第一平面分别建立前置服务器A与变电站远动A、前置服务器A与变电站远动B的通信链路；通过数据网第二平面分别建立前置服务器A与变电站远动A、前置服务器A与变电站远动B的通信链路，分别将各通信链路传输的前置服务器A的数据进行规约解析和数据处理，形成各链路的消息队列后，定时将消息队列进行格式转换并按照key+value格式进行数据封装后，存入到Redis系统；
通过数据网第一平面分别建立前置服务器B与变电站远动A、前置服务器B与变电站远动B的通信链路；通过数据网第二平面分别建立前置服务器B与变电站远动A、前置服务器B与变电站远动B的通信链路，分别将各通信链路传输的前置服务器B的数据进行规约解析和数据处理，形成各链路的消息队列后，定时将消息队列进行格式转换并按照key+value格式进行数据封装后，存入到Redis系统；
前置主服务器对Redis系统中缓存的数据进行有效性处理、时效性持久化处理和行数据完整性处理，对当前Redis系统中的数据按时标进行排序后，发送到电力监控系统中的处理服务器。
2.根据权利要求1所述的一种基于Redis的双平面采集数据方法，其特征在于，还包括：当系统中发生通信链路切换时，通过对Redis中缓存的数据进行一致性比较和连续性分析处理，将处理后的有效数据进行排序，发送到电力监控系统中的处理服务器。
3.根据权利要求1所述的一种基于Redis的双平面采集数据方法，其特征在于，通过选举算法由前置服务器A和前置服务器B中选出电力监控系统的前置主服务器的方法包括：
在前置服务器A与前置服务器B之间周期性互发UDP心跳报文，UDP心跳报文内容包括本机前置模块的启动时间、本机机器名和网卡IP；
周期性互发心跳报文设置有超时阈值；当超时阈值内收到UDP心跳报文时，认定前置服务器A与前置服务器B之间的UDP连接心跳状态正常；当在超出该超时时间值未收到UDP心跳报文内容时，认定前置服务器A与前置服务器B之间的UDP连接心跳状态中断；
当前置服务器A与前置服务器B之间的UDP连接心跳状态正常时，根据启动时间由前置服务器A和前置服务器B中选举出电力监控系统的前置主服务器；
若前置服务器A或者前置服务器B未收到UDP心跳报文时，选举其为电力监控系统的前置主服务器。
4.根据权利要求1所述的一种基于Redis的双平面采集数据方法，其特征在于，分别将各通信链路传输的前置服务器A或前置服务器B的数据进行规约解析和数据处理的方法包括：
在前置服务器A和前置服务器B内独立设置各通信链路的发送数据缓存区和接收数据缓存区；将对应的通信链路收到的数据进行规约解析，并按照固定格式进行封装组帧后存储至接收数据缓存区；根据命令优先级维度对数据进行排序并存储至发送数据缓存区，通过通信链路依次发送所述发送数据缓存区内存储的数据。
5.根据权利要求1所述的一种基于Redis的双平面采集数据方法，其特征在于，所述key+value格式中key值为由链路名数据类型、数据点号和时间戳组合而成。
6.根据权利要求1所述的一种基于Redis的双平面采集数据方法，其特征在于，前置主服务器对Redis系统中缓存的数据进行有效性处理的方法包括：
将Redis系统中缓存的数据分为遥信类型数据、遥测类型数据和遥脉类型数据；对存入Redis中遥信类型数据进行分析处理，过滤出所有非0且非1的遥信数据；根据实际情况对存入Redis中各遥测类型数据和遥脉类型数据设定合理性范围，过滤出在合理性范围之外的遥测类型数据和遥脉类型数据。
7.根据权利要求6所述的一种基于Redis的双平面采集数据方法，其特征在于，前置主服务器对Redis系统中缓存的数据进行时效性持久化处理的方法包括
设定Redis系统的缓存时效阈值，对超过缓存时效阈值的缓存数据自动删除；通过Redis系统中持久化RDB机制完成缓存数据的持久化处理，当符合持久化配置条件时自动将缓存数据进行快照并持久化到硬盘。
8.根据权利要求7所述的一种基于Redis的双平面采集数据方法，其特征在于，前置主服务器对Redis系统中缓存数据进行数据完整性处理的方法包括：
采用哈希循环偏移算法对缓存数据进行处理，按照通信链路、数据类型、数据点号、时间戳创建缓存数据的哈希索引链表，通过检测哈希索引链表定位Redis系统中缓存数据的key值；
根据各通信链路的实时通讯状态和机器节点信息进行加权计算获得通信链路的优先级；当Redis系统中存在相同缓存数据时，只保留链路优先级最高的通信链路传输的数据。
9.根据权利要求1所述的一种基于Redis的双平面采集数据方法，其特征在于，按照时间戳对缓存数据进行排序整理并发送到电力监控系统中的处理服务器。
10.一种基于Redis实现双平面采集数据系统，其特征在于，包括：
选举模块，用于通过选举算法由前置服务器A和前置服务器B中选出电力监控系统中是前置主服务器；
通信链路建立模块，用于通过数据网第一平面分别建立前置服务器A与变电站远动A、前置服务器A与变电站远动B的通信链路；通过数据网第二平面分别建立前置服务器A与变电站远动A、前置服务器A与变电站远动B的通信链路，通过数据网第一平面分别建立前置服务器B与变电站远动A、前置服务器B与变电站远动B的通信链路；通过数据网第二平面分别建立前置服务器B与变电站远动A、前置服务器B与变电站远动B的通信链路；
缓存模块，将各通信链路传输的前置服务器A的数据进行规约解析和数据处理形成各链路的消息队列；将各通信链路传输的前置服务器B的数据进行规约解析和数据处理形成各链路的消息队列，定时将消息队列进行格式转换并按照key+value格式进行数据封装后，存入到Redis系统；
分析处理模块，用于前置主服务器对Redis系统中缓存的数据进行有效性处理、时效性持久化处理和行数据完整性处理，对当前Redis系统中的数据按时标进行排序后，发送到电力监控系统中的处理服务器。
CN202210905369.1A 2022-07-29 2022-07-29 一种基于Redis的双平面采集数据方法及系统 Active CN115396752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210905369.1A CN115396752B (zh) 2022-07-29 2022-07-29 一种基于Redis的双平面采集数据方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210905369.1A CN115396752B (zh) 2022-07-29 2022-07-29 一种基于Redis的双平面采集数据方法及系统

Publications (2)

Publication Number Publication Date
CN115396752A true CN115396752A (zh) 2022-11-25
CN115396752B CN115396752B (zh) 2023-05-26

Family

ID=84117149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210905369.1A Active CN115396752B (zh) 2022-07-29 2022-07-29 一种基于Redis的双平面采集数据方法及系统

Country Status (1)

Country Link
CN (1) CN115396752B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115864661A (zh) * 2023-03-02 2023-03-28 国网山东省电力公司新泰市供电公司 一种电力设备运行数据远程监控方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002050678A1 (en) * 2000-12-21 2002-06-27 Legato Systems, Inc. Method of 'split-brain' prevention in computer cluster systems
US20070013547A1 (en) * 2003-02-14 2007-01-18 Boaz Jon A Automated meter reading system, communication and control network from automated meter reading, meter data collector, and associated methods
CN101394306A (zh) * 2008-07-08 2009-03-25 国电南瑞科技股份有限公司 一种双服务器系统的无缝切换方法
US20140025986A1 (en) * 2012-07-20 2014-01-23 International Business Machines Corporation Providing Replication and Fail-Over as a Network Service in Data Centers
CN106649711A (zh) * 2016-12-21 2017-05-10 国电南瑞南京控制系统有限公司 基于Redis实时数据库的分布式前置采集系统
CN108053630A (zh) * 2017-11-28 2018-05-18 国电南瑞科技股份有限公司 一种跨安全区无线数据接入系统及方法
CN109150854A (zh) * 2018-08-01 2019-01-04 浙江艾罗网络能源技术有限公司 基于xml文件的动态可配置通信规约转换系统
CN111541698A (zh) * 2020-04-24 2020-08-14 广东纬德信息科技股份有限公司 一种基于电力配电的数据采集系统及采集方法
CN111835786A (zh) * 2020-07-23 2020-10-27 杨承 一种对多规约设备数据采集、设备控制的系统及实现方法
WO2021259013A1 (zh) * 2020-06-24 2021-12-30 深圳中集智能科技有限公司 数据处理方法、装置、电子设备及计算机可读介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002050678A1 (en) * 2000-12-21 2002-06-27 Legato Systems, Inc. Method of 'split-brain' prevention in computer cluster systems
US20070013547A1 (en) * 2003-02-14 2007-01-18 Boaz Jon A Automated meter reading system, communication and control network from automated meter reading, meter data collector, and associated methods
CN101394306A (zh) * 2008-07-08 2009-03-25 国电南瑞科技股份有限公司 一种双服务器系统的无缝切换方法
US20140025986A1 (en) * 2012-07-20 2014-01-23 International Business Machines Corporation Providing Replication and Fail-Over as a Network Service in Data Centers
CN106649711A (zh) * 2016-12-21 2017-05-10 国电南瑞南京控制系统有限公司 基于Redis实时数据库的分布式前置采集系统
CN108053630A (zh) * 2017-11-28 2018-05-18 国电南瑞科技股份有限公司 一种跨安全区无线数据接入系统及方法
CN109150854A (zh) * 2018-08-01 2019-01-04 浙江艾罗网络能源技术有限公司 基于xml文件的动态可配置通信规约转换系统
CN111541698A (zh) * 2020-04-24 2020-08-14 广东纬德信息科技股份有限公司 一种基于电力配电的数据采集系统及采集方法
WO2021259013A1 (zh) * 2020-06-24 2021-12-30 深圳中集智能科技有限公司 数据处理方法、装置、电子设备及计算机可读介质
CN111835786A (zh) * 2020-07-23 2020-10-27 杨承 一种对多规约设备数据采集、设备控制的系统及实现方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115864661A (zh) * 2023-03-02 2023-03-28 国网山东省电力公司新泰市供电公司 一种电力设备运行数据远程监控方法

Also Published As

Publication number Publication date
CN115396752B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN112118174B (zh) 软件定义数据网关
CN112613691B (zh) 芯片化继电保护通用装置
CN104950765A (zh) 一种基于can总线的逆变器并联系统及其载波同步方法
CN109688016A (zh) 灵活以太网协议中切换时隙配置的方法及相关设备
CN104320311A (zh) 一种scada分布式平台下的心跳检测方法
CN104485738A (zh) 一种智能变电站监控系统双机切换告警无扰动处理方法
CN102158364A (zh) 一种基于时间片调度的设备轮询方法和装置
CN109347688A (zh) 一种在无线局域网中定位故障的方法和装置
CN112650048B (zh) 一种工业网关冗余系统和控制方法
CN111966289A (zh) 基于Kafka集群的分区优化方法和系统
CN115396752B (zh) 一种基于Redis的双平面采集数据方法及系统
US10205630B2 (en) Fault tolerance method for distributed stream processing system
CN113225207B (zh) 一种电力系统双活主备调消息同步方法和装置
CN110224872B (zh) 一种通信方法、装置及存储介质
CN109660020B (zh) 一种母线电压智能选择及切换装置及方法
CN114205263B (zh) 用于Ether CAT网络的通信方法、系统和存储介质
WO2017036508A1 (de) Kommunikationsgerät für ein redundant betreibbares industrielles kommunikationsnetz und verfahren zum betrieb eines kommunikationsgeräts
CN112419701B (zh) 远动设备数据异常判断方法、装置、设备及存储介质
CN112820092B (zh) 采集用电数据的方法、终端设备、存储介质
CN112751722B (zh) 数据传输质量监控方法和系统
CN113254253A (zh) 一种数据处理方法、系统及设备
CN103546331A (zh) 监控信息的获取方法、装置及系统
CN113268395B (zh) 业务数据的处理方法、处理装置及终端
Logothetis et al. The effect of detection and restoration times for error recovery in communication networks
RU2679739C1 (ru) Система автоматизации с динамической функциональной архитектурой

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant