CN113422827A - 一种基于流式技术的电网综合数据实时同步集成系统 - Google Patents

一种基于流式技术的电网综合数据实时同步集成系统 Download PDF

Info

Publication number
CN113422827A
CN113422827A CN202110695043.6A CN202110695043A CN113422827A CN 113422827 A CN113422827 A CN 113422827A CN 202110695043 A CN202110695043 A CN 202110695043A CN 113422827 A CN113422827 A CN 113422827A
Authority
CN
China
Prior art keywords
data
module
unit
node
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110695043.6A
Other languages
English (en)
Inventor
李鹏
詹卫许
代庆
王武
胡学强
刘平华
童凌
喻芸
张育辉
庄文德
陈本权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Power Grid Digital Grid Research Institute Co Ltd
Original Assignee
Southern Power Grid Digital Grid Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Power Grid Digital Grid Research Institute Co Ltd filed Critical Southern Power Grid Digital Grid Research Institute Co Ltd
Priority to CN202110695043.6A priority Critical patent/CN113422827A/zh
Publication of CN113422827A publication Critical patent/CN113422827A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H04L67/5651—Reducing the amount or size of exchanged application data

Abstract

本发明公开了电网管理系统技术领域的一种基于流式技术的电网综合数据实时同步集成系统，包括数据获取模块、数据处理模块、数据融合模块、数据校正模块、数据同步模块，数据获取模块用于对各节点电网站中的日常数据进行收集，并生成节点数据库；数据处理模块用于对节点数据库中的数据进行处理，对节点数据库中的数据进行筛选；数据融合模块用于对筛选后的数据进行融合处理，使相同类型的数据进行融合，并生成数据模型。本发明的有益效果是：通过对各节点电网站中的数据进行处理，使数据传输过程中对传输系统的负荷较小，提升传输效率，通过设置数据处理模块，以对数据进行筛选，提升数据的有效性，避免繁冗数据对系统产生较大负荷。

Description

一种基于流式技术的电网综合数据实时同步集成系统
技术领域
本发明涉及电网管理系统技术领域，具体为一种基于流式技术的电网综合数据实时同步集成系统。
背景技术
配电网是指从输电网或地区发电厂接受电能，通过配电设施就地分配或按电压逐级分配给各类用户的电力网。是由架空线路、电缆、杆塔、配电变压器、隔离开关、无功补偿器及一些附属设施等组成的，在电力网中起重要分配电能作用的网络。
配电网线路上的不同节点的电网站需要将该电网站中的日常数据传输至配电网系统进行统一管理，并需要保证在数据传输过程中的实时性和准确性，目前的配电网数据传输系统在对数据进行传输时，无法有效及时地对各节点电网站中的数据进行处理，进而导致了数据同步传输的误差。
基于此，本发明设计了一种基于流式技术的电网综合数据实时同步集成系统，以解决上述问题。
发明内容
本发明的目的在于提供一种基于流式技术的电网综合数据实时同步集成系统，以解决上述背景技术中提出的目前配电网线路上的不同节点的电网站需要将该电网站中的日常数据传输至配电网系统进行统一管理，并需要保证在数据传输过程中的实时性和准确性，目前的配电网数据传输系统在对数据进行传输时，无法有效及时地对各节点电网站中的数据进行处理，进而导致了数据同步传输误差的问题。
为实现上述目的，本发明提供如下技术方案：一种基于流式技术的电网综合数据实时同步集成系统，包括数据获取模块、数据处理模块、数据融合模块、数据校正模块、数据同步模块，
所述数据获取模块用于对各节点电网站中的日常数据进行收集，并生成节点数据库；
所述数据处理模块用于对所述节点数据库中的数据进行处理，对所述节点数据库中的数据进行筛选；
所述数据融合模块用于对筛选后的数据进行融合处理，使相同类型的数据进行融合，并生成数据模型；
所述数据校正模块用于对数据模型中的数据进行校正，将其中排列较乱的数据进行重新排列；
所述数据同步模块用于对重新排列后的数据进行整合，并实时同步传输。
优选地，所述数据获取模块包括节点数据接收单元、数据储存单元，所述节点数据接收单元用于对各节点电网站中的数据进行接收，并对数据进行预缓存，所述数据储存单元用于对预缓存处理后的数据进行储存，生成数据包。
优选地，所述数据处理模块包括数据初选单元、数据精选单元，所述数据初选单元用于对数据获取模块获取的节点电网站的数据进行初步筛选，初步筛选的条件是通过设置多个关键词来进行筛选，所述数据精选单元用于对初步筛选后的数据进行再次筛选，筛选条件包括储存时间、储存大小。
优选地，所述数据融合模块包括数据压缩单元、融合单元，所述数据压缩单元用于对数据处理模块处理后的数据进行压缩，降低数据包的体积，所述融合单元用于对压缩后的数据包进行融合，使相同类型的、首字符相同的数据包能够进行融合。
优选地，所述数据校正模块包括数据排列单元、数据校正单元，所述数据排列单元用于对融合后的数据进行排列，使数据按一定规则进行排列，所述数据校正单元用于对排列后的数据进行校正，剔除其中相似数据。
优选地，所述数据同步模块包括数据包获取单元、数据包同步传输单元，所述数据包获取单元用于获取数据校正模块排列后的数据包，所述数据包同步传输单元用于对排列后的数据包进行同步传输，将数据包传输至配电系统的管理端。
与现有技术相比，本发明的有益效果是：通过对各节点电网站中的数据进行处理，使数据传输过程中对传输系统的负荷较小，提升传输效率，通过设置数据处理模块，以对数据进行筛选，提升数据的有效性，避免繁冗数据对系统产生较大负荷。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于流式技术的电网综合数据实时同步集成系统的框架结构示意图；
图2为本发明中数据获取模块的框架结构示意图；
图3为本发明中数据处理模块的框架结构示意图；
图4为本发明中数据融合模块的框架结构示意图；
图5为本发明中数据校正模块的框架结构示意图；
图6为本发明中数据同步模块的框架结构示意图。
附图中，各标号所代表的部件列表如下：
1-数据获取模块，11-节点数据接收单元，12-数据储存单元，2-数据处理模块，21-数据初选单元，22-数据储存单元，3-数据融合模块，31-数据压缩单元，32-融合单元，4-数据校正模块，41-数据排列单元，42-数据校正单元,5-数据同步模块，51-数据包获取单元，52-数据包同步传输单元。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-6，本发明提供一种技术方案：一种基于流式技术的电网综合数据实时同步集成系统，包括数据获取模块1、数据处理模块2、数据融合模块3、数据校正模块4、数据同步模块5，数据获取模块1用于对各节点电网站中的日常数据进行收集，并生成节点数据库，数据获取模块1包括节点数据接收单元11、数据储存单元12，节点数据接收单元11用于对各节点电网站中的数据进行接收，并对数据进行预缓存，数据储存单元12用于对预缓存处理后的数据进行储存，生成数据包；数据处理模块2用于对节点数据库中的数据进行处理，对节点数据库中的数据进行筛选，数据处理模块2包括数据初选单元21、数据精选单元22，数据初选单元21用于对数据获取模块1获取的节点电网站的数据进行初步筛选，初步筛选的条件是通过设置多个关键词来进行筛选，数据精选单元22用于对初步筛选后的数据进行再次筛选，筛选条件包括储存时间、储存大小；数据融合模块3用于对筛选后的数据进行融合处理，使相同类型的数据进行融合，并生成数据模型，数据融合模块3包括数据压缩单元31、融合单元32，数据压缩单元31用于对数据处理模块2处理后的数据进行压缩，降低数据包的体积，融合单元32用于对压缩后的数据包进行融合，使相同类型的、首字符相同的数据包能够进行融合；数据校正模块4用于对数据模型中的数据进行校正，将其中排列较乱的数据进行重新排列，数据校正模块4包括数据排列单元41、数据校正单元42，数据排列单元41用于对融合后的数据进行排列，使数据按一定规则进行排列，数据校正单元42用于对排列后的数据进行校正，剔除其中相似数据；数据同步模块5用于对重新排列后的数据进行整合，并实时同步传输，数据同步模块5包括数据包获取单元51、数据包同步传输单元52，数据包获取单元51用于获取数据校正模块4排列后的数据包，数据包同步传输单元52用于对排列后的数据包进行同步传输，将数据包传输至配电系统的管理端。
本实施例还公开了一种基于流式技术的电网综合数据实时同步集成系统的工作方法：节点数据接收单元11对各节点电网站中的数据进行接收，并对数据进行预缓存，数据储存单元12对预缓存处理后的数据进行储存，生成数据包，数据初选单元21对数据获取模块1获取的节点电网站的数据进行初步筛选，初步筛选的条件是通过设置多个关键词来进行筛选，数据精选单元22对初步筛选后的数据进行再次筛选，筛选条件包括储存时间、储存大小，数据压缩单元31对数据处理模块2处理后的数据进行压缩，降低数据包的体积，融合单元32对压缩后的数据包进行融合，使相同类型的、首字符相同的数据包能够进行融合，数据排列单元41对融合后的数据进行排列，使数据按一定规则进行排列，数据校正单元42对排列后的数据进行校正，剔除其中相似数据，数据包获取单元51获取数据校正模块4排列后的数据包，数据包同步传输单元52对排列后的数据包进行同步传输，将数据包传输至配电系统的管理端。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (6)

1.一种基于流式技术的电网综合数据实时同步集成系统，其特征在于，包括数据获取模块(1)、数据处理模块(2)、数据融合模块(3)、数据校正模块(4)、数据同步模块(5)，
所述数据获取模块(1)用于对各节点电网站中的日常数据进行收集，并生成节点数据库；
所述数据处理模块(2)用于对所述节点数据库中的数据进行处理，对所述节点数据库中的数据进行筛选；
所述数据融合模块(3)用于对筛选后的数据进行融合处理，使相同类型的数据进行融合，并生成数据模型；
所述数据校正模块(4)用于对数据模型中的数据进行校正，将其中排列较乱的数据进行重新排列；
所述数据同步模块(5)用于对重新排列后的数据进行整合，并实时同步传输。
2.根据权利要求1所述的一种基于流式技术的电网综合数据实时同步集成系统，其特征在于，所述数据获取模块(1)包括节点数据接收单元(11)、数据储存单元(12)，所述节点数据接收单元(11)用于对各节点电网站中的数据进行接收，并对数据进行预缓存，所述数据储存单元(12)用于对预缓存处理后的数据进行储存，生成数据包。
3.根据权利要求1所述的一种基于流式技术的电网综合数据实时同步集成系统，其特征在于，所述数据处理模块(2)包括数据初选单元(21)、数据精选单元(22)，所述数据初选单元(21)用于对数据获取模块(1)获取的节点电网站的数据进行初步筛选，初步筛选的条件是通过设置多个关键词来进行筛选，所述数据精选单元(22)用于对初步筛选后的数据进行再次筛选，筛选条件包括储存时间、储存大小。
4.根据权利要求1所述的一种基于流式技术的电网综合数据实时同步集成系统，其特征在于，所述数据融合模块(3)包括数据压缩单元(31)、融合单元(32)，所述数据压缩单元(31)用于对数据处理模块(2)处理后的数据进行压缩，降低数据包的体积，所述融合单元(32)用于对压缩后的数据包进行融合，使相同类型的、首字符相同的数据包能够进行融合。
5.根据权利要求1所述的一种基于流式技术的电网综合数据实时同步集成系统，其特征在于，所述数据校正模块(4)包括数据排列单元(41)、数据校正单元(42)，所述数据排列单元(41)用于对融合后的数据进行排列，使数据按一定规则进行排列，所述数据校正单元(42)用于对排列后的数据进行校正，剔除其中相似数据。
6.根据权利要求1所述的一种基于流式技术的电网综合数据实时同步集成系统，其特征在于，所述数据同步模块(5)包括数据包获取单元(51)、数据包同步传输单元(52)，所述数据包获取单元(51)用于获取数据校正模块(4)排列后的数据包，所述数据包同步传输单元(52)用于对排列后的数据包进行同步传输，将数据包传输至配电系统的管理端。
CN202110695043.6A 2021-06-23 2021-06-23 一种基于流式技术的电网综合数据实时同步集成系统 Pending CN113422827A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110695043.6A CN113422827A (zh) 2021-06-23 2021-06-23 一种基于流式技术的电网综合数据实时同步集成系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110695043.6A CN113422827A (zh) 2021-06-23 2021-06-23 一种基于流式技术的电网综合数据实时同步集成系统

Publications (1)

Publication Number Publication Date
CN113422827A true CN113422827A (zh) 2021-09-21

Family

ID=77716312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110695043.6A Pending CN113422827A (zh) 2021-06-23 2021-06-23 一种基于流式技术的电网综合数据实时同步集成系统

Country Status (1)

Country Link
CN (1) CN113422827A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180101609A1 (en) * 2015-05-08 2018-04-12 Telefonaktiebolaget Lm Ericsson (Publ) Pattern-based Data Collection for a Distributed Stream Data Processing System
WO2018136963A1 (en) * 2017-01-23 2018-07-26 Kinetica Db, Inc. Distributed and parallelized visualization framework
CN108599233A (zh) * 2018-04-09 2018-09-28 中国电力科学研究院有限公司 一种含分布式电源的配电网接纳容量确定方法和装置
CN109002901A (zh) * 2018-06-08 2018-12-14 国家电网有限公司 一种省地县一体化电网信息综合管理系统及装置
CN111209288A (zh) * 2019-12-25 2020-05-29 云南电网有限责任公司信息中心 一种电网时空信息统一服务的数据处理系统和方法
CN112347071A (zh) * 2020-12-06 2021-02-09 国网山东省电力公司电力科学研究院 一种配电网云平台数据融合方法及配电网云平台

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180101609A1 (en) * 2015-05-08 2018-04-12 Telefonaktiebolaget Lm Ericsson (Publ) Pattern-based Data Collection for a Distributed Stream Data Processing System
WO2018136963A1 (en) * 2017-01-23 2018-07-26 Kinetica Db, Inc. Distributed and parallelized visualization framework
CN108599233A (zh) * 2018-04-09 2018-09-28 中国电力科学研究院有限公司 一种含分布式电源的配电网接纳容量确定方法和装置
CN109002901A (zh) * 2018-06-08 2018-12-14 国家电网有限公司 一种省地县一体化电网信息综合管理系统及装置
CN111209288A (zh) * 2019-12-25 2020-05-29 云南电网有限责任公司信息中心 一种电网时空信息统一服务的数据处理系统和方法
CN112347071A (zh) * 2020-12-06 2021-02-09 国网山东省电力公司电力科学研究院 一种配电网云平台数据融合方法及配电网云平台

Similar Documents

Publication Publication Date Title
DE60120466T2 (de) Effiziente Übertragung von RTP Paketen in einem Netzwerk
CN101399757B (zh) 跟踪时钟源的方法和装置
Chen et al. Cascading failure analysis of cyber physical power system with multiple interdependency and control threshold
CN104639393A (zh) 一种无源光网络流量全网采集装置及其方法
WO2014023654A1 (de) Verfahren und vorrichtung zur raumzeitlichen steuerung der elektroenergieaufnahme eines telekommunikationsnetzes in abhängigkeit von zuständen des energieversorgungssystems
CN113194432A (zh) 一种智能分布式馈线自动化终端间的网络通信方法
CN113422827A (zh) 一种基于流式技术的电网综合数据实时同步集成系统
CN106850319B (zh) 电网ems系统的数据采集方法和系统
CN114594911B (zh) 基于链下纠删码分布式存储的区块链数据存储系统及方法
CN109038824A (zh) 一种分布式馈线自动化方法
CN113222783A (zh) 一种基于多元能源大数据的电力用户用电信息采集方法
DE112016002961T5 (de) Kommunikationsvorrichtung, kommunikationssystem, kommunikationsverfahren und programm
CN106130748B (zh) 基于网络的多机多网分布式服务模块状态检测方法及系统
CN203104104U (zh) 电力信息通信优化骨干传输网系统
DE4434918C2 (de) Schaltungsanordnung zur Steuerung der Übertragung von Informationen für interaktive Dienste
CN104898460A (zh) 适用于地调系统的在线静态安全分析系统
CN109818931B (zh) 接口装置及组播式以太网通信流级联方法
CN110879913A (zh) 一种用于电网离线和在线数据的异构网架拓扑映射方法
EP3107219A1 (de) System und verfahren zur redundanten anbindung an ein backbone-netzwerk sowie ein in diesem system einsetzbarer uplink-knoten
CN114401147A (zh) 一种基于摘要算法的新能源电站通讯报文比对方法及系统
CN209282935U (zh) 光伏储能智能监控与管理系统
CN108632290B (zh) 一种电力调度自动化系统实时数据转发系统及方法
CN115002103B (zh) 一种分布式网络中数据极速传输的方法及系统
CN112531900B (zh) 一种基于消息代理的分布式馈线自动化方法
CN102131116B (zh) 一种数字电视epg数据接收和解析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210921

RJ01 Rejection of invention patent application after publication