CN112541036A - 电网数据同步方法、系统、装置、计算机设备和存储介质 - Google Patents
电网数据同步方法、系统、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112541036A CN112541036A CN202011328480.6A CN202011328480A CN112541036A CN 112541036 A CN112541036 A CN 112541036A CN 202011328480 A CN202011328480 A CN 202011328480A CN 112541036 A CN112541036 A CN 112541036A
- Authority
- CN
- China
- Prior art keywords
- data
- power grid
- provincial
- data packet
- side power
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000008859 change Effects 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 22
- 238000012937 correction Methods 0.000 claims description 12
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 20
- 230000000694 effects Effects 0.000 abstract description 6
- 230000002159 abnormal effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Computer Security & Cryptography (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Computing Systems (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Debugging And Monitoring (AREA)
- Power Sources (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本申请涉及一种电网数据同步方法、系统、装置、计算机设备和存储介质,该电网数据同步方法通过将获取得到的多个省侧电网数据通过正交解耦的方式拆分为多个数据包,根据各数据包中的数据标识将不同数据包通过预设的与该数据标识相对应的数据通道分别发送至分布式消息队列中,从而缓解网侧对于不同省侧电网数据的集中处理的压力,从而解决了现有技术中存在的网侧数据处理异常缓慢的技术问题,达到了提高网侧数据处理效率的技术效果。
Description
技术领域
本申请涉及数据处理技术领域,特别是涉及一种电网数据同步方法、系统、装置、计算机设备和存储介质。
背景技术
电网系统中包括不同的电网层级,一般包括不同的省侧电网系统和对不同省侧电网系统进行统一管理的网侧电网系统,不同的省侧电网需要将该侧电网中的日常数据传输至网侧电网系统进行统一管理,并需要保证在数据传输过程中的实时性和准确性。
目前,将省侧电网数据传输至网侧电网一般包括如下步骤:省侧业务系统通过抽取进程抓取省侧数据库中电网数据,并通过投递进程将省侧电网数据投递到网侧电网系统;在网侧电网系统对该省侧电网数据进行处理时,首先执行复制进程将该省侧电网数据转译成Json格式数据并发布到Kafka平台,最后通过消费程序将Json格式数据装载到Hbase数据库,以进行后续分析管理。
在实际数据同步的过程中,由于省侧电网数据量大,在网侧电网系统中,将省侧电网数据装载到Kafka的速率严重低于省侧业务系统的投递速率,从而导致网侧数据处理异常缓慢。
发明内容
基于此,有必要针对上述技术问题,提供一种电网数据同步方法、系统、装置、计算机设备和存储介质。
第一方面,提供了一种电网数据同步方法,方法包括:
获取多个省侧电网数据;
通过正交解耦方式将多个省侧电网数据拆分为多个数据包,其中,数据包包括数据标识;
根据数据标识和预设的各数据通道的通道标识之间的对应关系,确定每个数据包对应的目标数据通道;
通过各目标数据通道将对应的数据包存储至分布式消息队列中。
在本申请的一个可选实施例中,方法还包括:对分布式消息队列中的各数据包进行时序矫正,得到数据包序列表;按照数据包序列表,将各数据包存储至网侧数据库。
在本申请的一个可选实施例中,对分布式消息队列中的各数据包进行时序矫正,得到数据包序列表,包括:获取分布式消息队列中每个数据包的数据变更日志,得到多个数据变更日志;根据多个数据变更日志确定每个数据包的时序特征值,时序特征值用于表征每个数据包的日志变更时间顺序;按照从小及大的顺序对时序特征值进行排序,得到数据包序列表。
在本申请的一个可选实施例中,还包括:根据多个省侧历史电网数据的总流量确定数据通道的数量。
在本申请的一个可选实施例中,数据标识的获取方法包括:根据多个省侧历史电网数据拟合特征离散函数,省侧历史电网数据包括地域标识和数据类型标识;将当前的省侧电网数据代入到特征离散函数中,进行最优解求解,得到数据标识。
在本申请的一个可选实施例中,数据标识为特征离散函数的Hash码。
第二方面,提供了一种电网数据同步系统,包括:
多个省侧电网系统;
网侧电网系统,网侧电网系统用于执行如上的电网数据同步方法。
第三方面,提供了一种电网数据同步装置,装置包括:数据获取模块、数据拆分模块、通道确定模块和第一存储模块。
该数据获取模块用于获取多个省侧电网数据;
该数据拆分模块用于通过正交解耦方式将多个省侧电网数据拆分为多个数据包,其中,数据包包括数据标识;
该通道确定模块用于根据数据标识和预设的各数据通道的通道标识之间的对应关系,确定每个数据包对应的目标数据通道;
该第一存储模块用于通过各目标数据通道将对应的数据包存储至分布式消息队列中。
在本申请的一个可选实施例中,电网数据同步装置还包括:矫正模块和第二存储模块。
该矫正模块用于对分布式消息队列中的各数据包进行时序矫正,得到数据包序列表。
该第二存储模块用于按照数据包序列表,将各数据包存储至网侧数据库。
在本申请的一个可选实施例中,矫正模块包括:第一子矫正模块、第二子矫正模块和第三子矫正模块。
该第一子矫正模块用于获取分布式消息队列中每个数据包的数据变更日志,得到多个数据变更日志。
该第二子矫正模块用于根据多个数据变更日志确定每个数据包的时序特征值,时序特征值用于表征每个数据包的日志变更时间顺序。
该第三子矫正模块用于按照从小及大的顺序对时序特征值进行排序,得到数据包序列表。
在本申请的一个可选实施例中,通道确定模块具体用于根据多个省侧历史电网数据的总流量确定数据通道的数量。
在本申请的一个可选实施例中,数据获取模块具体用于根据多个省侧历史电网数据拟合特征离散函数,省侧历史电网数据包括地域标识和数据类型标识;以及将当前的省侧电网数据代入到特征离散函数中,进行最优解求解,得到数据标识。
在本申请的一个可选实施例中,数据标识为特征离散函数的Hash码。
第四方面,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现如上的方法的步骤。
第五方面,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上的方法的步骤。
上述电网数据同步方法通过将获取得到的多个省侧电网数据通过正交解耦的方式拆分为多个数据包,根据各数据包中的数据标识将不同数据包通过预设的与该数据标识相对应的数据通道分别发送至分布式消息队列中,从而缓解网侧对于不同省侧电网数据的集中处理的压力,从而解决了现有技术中存在的网侧数据处理异常缓慢的技术问题,达到了提高网侧数据处理效率的技术效果。
附图说明
图1为一个实施例中电网数据同步方法的应用环境图;
图2为一个实施例中电网数据同步方法的流程示意图;
图3为一个实施例中电网数据同步方法的流程示意图;
图4为一个实施例中电网数据同步方法的流程示意图;
图5为一个实施例中电网数据同步方法的流程示意图;
图6为一个实施例中电网数据同步系统的结构框图;
图7为一个实施例中电网数据同步装置的结构框图;
图8为一个实施例中电网数据同步装置的结构框图;
图9为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
电网系统中包括不同的电网层级,一般包括不同的省侧电网系统和对不同省侧电网系统进行统一管理的网侧电网系统,不同的省侧电网需要将该侧电网中的日常数据传输至网侧电网系统进行统一管理,并需要保证在数据传输过程中的实时性和准确性。将省侧电网数据传输至网侧电网一般包括如下步骤:省侧业务系统通过抽取进程抓取省侧数据库中电网数据,并通过投递进程将省侧电网数据投递到网侧电网系统;在网侧电网系统对该省侧电网数据进行处理时,首先执行复制进程将该省侧电网数据转译成Json格式数据并发布到Kafka平台,最后通过消费程序将Json格式数据装载到Hbase数据库,以进行后续分析管理。在实际数据同步的过程中,由于省侧电网数据量大,在网侧电网系统中,将省侧电网数据装载到Kafka的速率严重低于省侧业务系统的投递速率,从而导致网侧数据处理异常缓慢。
有鉴于此,本申请实施例提供了一种电网数据同步方法,通过将获取得到的多个省侧电网数据通过正交解耦的方式拆分为多个数据包,根据各数据包中的数据标识将不同数据包通过预设的与该数据标识相对应的数据通道分别发送至分布式消息队列中,从而缓解网侧对于不同省侧电网数据的集中处理的压力,从而解决了现有技术中存在的网侧数据处理异常缓慢的技术问题,达到了提高网侧数据处理效率的技术效果。
下面,将对本申请实施例提供的电网数据同步方法所涉及的实施环境进行简要地说明。
请参见图1,本申请实施例提供的电网数据同步方法应用于电网系统,该电网系统包括:多个省侧电网系统(又称省侧OGG)和一个网侧电网系统(又称网侧OGG),该省侧电网系统与该网侧电网系统通过通信设备等进行数据交互,该多个省侧电网系统分别采集各省侧的电网数据,并通过通信设备等将该省侧电网数据传输至该网侧电网系统进行集中分析管理,以下实施例以网侧电网系统为执行主体对该电网数据同步方法进行详细说明。
请参见图2,本申请一个实施例提供了一种电网数据同步方法,包括以下步骤201-步骤204:
步骤201、网侧电网系统获取多个省侧电网数据。
网侧电网系统与各省侧电网系统之间通过通信设备等信号连接,该网侧电网系统通过网侧投递接收端实时获取不同省侧投递来的省侧电网数据,并将该多个省侧电网数据存储于内部的存储模块,以备后续进一步处理。在本实施例中,该网侧电网系统还可以通过复制的方式对各省侧电网数据进行备份,如此以来,可以大大提高省侧电网数据的安全性,以防止在后续处理过程中发生意外而导致省侧电网数据被破坏或者数据丢失。需要指出的是,在后续处理中可以对直接获取的省侧电网数据进行处理,也可以保留该直接获取的省侧电网数据,对该备份的省侧电网数据进行处理。
步骤202、网侧电网系统通过正交解耦方式将多个省侧电网数据拆分为多个数据包,其中,数据包包括数据标识。
网侧电网系统通过正交多路解耦的方式对存储于存储模块的多个省侧电网数据按照其数据标识进行拆分,拆分为多个数据包。在本实施例中,可以针对每个省侧电网数据分别单独按照其数据标识进行拆分,可以将多个省侧数据数据一起可以按照其数据标识进行拆分,本实施例不作具体限定。该正交多路解耦是指将多个省侧电网数据按照其数据标识的特征拆分为多路可以各自独立执行的解耦进程,以形成多路正交解耦进程。通过将该多个省侧电网数据拆分为多个数据包分别开展解耦进程,以缓解网侧电网系统同时对多个省侧电网数据的解耦压力,从而提高本实施例电网数据同步的数据传输效率。
步骤203、网侧电网系统根据数据标识和预设的各数据通道的通道标识之间的对应关系,确定每个数据包对应的目标数据通道。
每个数据包具有一个数据标识,该数据标识用于表征该数据包的特性,例如该数据包为计量数据包还是费用数据包。每个数据通道具有一个通道标识,该通道标识用于表征该数据通道的特性,也就是用于表征该数据通道用于传输哪种数据包。该数据标识与该通道标识之间具有对应关系,也就是说,一个数据标识必然有与之对应的通道标识,一个通道标识可能对应一个数据标识,也可能对应多个数据标识,而与该数据标识对应的数据通道即为目标数据通道。各数据标识与各通道标识之间的对应关系可以是通过该网侧电网系统预先设定的,也可以为通过各数据包中的各省侧电网数据的特性计算得到,本实施例不作具体限定。
步骤204、网侧电网系统通过各目标数据通道将对应的数据包存储至分布式消息队列中。
上述数据标识与通道标识之间具有一定的对应关系,也就意味着各数据包与各数据通道之间具有一定的对应关系,网侧电网系统将各数据包通过推送软件等推送至与该数据包对应的数据通道,各数据包通过不同的数据通道传输至分布式消息队列进行存储。该分布式消息队列可以为Kafka平台的消息队列,消息队列包括多个不同的Topic,将各数据包存储于不同的Topic进行临时存储或者持久化存储。需要指出的是,可以将各数据包直接发送至该分布式消息队列,也可以再执行一次复制进程,将各消息队列进行复制备份后再存储于分布式消息队列中,以防止数据丢失,进一步提高电网数据同步的安全性,
上述电网数据同步方法通过将获取得到的多个省侧电网数据通过正交解耦的方式拆分为多个数据包,根据各数据包中的数据标识将不同数据包通过预设的与该数据标识相对应的数据通道分别发送至分布式消息队列中,从而缓解网侧对于不同省侧电网数据的集中处理的压力,从而解决了现有技术中存在的网侧数据处理异常缓慢的技术问题,达到了提高网侧数据处理效率的技术效果。
请参见图3,在本申请的一个可选实施例中,方法还包括步骤301-步骤302:
步骤301、网侧电网系统对分布式消息队列中的各数据包进行时序矫正,得到数据包序列表。
各省侧电网系统对网侧电网系统投递省侧电网数据的时间不同,网侧电网系统接收各省侧电网数据以及将各省侧电网数据拆分为不同数据包发送至分布式消息队列的前后顺序也会因为个别消息的发送延迟或失败而不尽相同。此时,存储于该分布式消息队列中的各数据包的顺序、以及将各数据包发送至后端处理模块的顺序也不尽相同。因此,在本实施例中,将该分布式消息队列中的各数据包可以按照数据包中数据变更特征值或者其他特征值进行时序矫正,以维持各数据包在该分布式消息队列中接收时序与消费或变更时序的一致性。该分布式消息队列中的数据包按照其加载于该分布式消息队列中的时序不同进行排序,以形成该数据包序列表。
步骤302、网侧电网系统按照数据包序列表,将各数据包存储至网侧数据库。
该数据包时序表中的数据包按照各数据包加载于分布式序列表中的前后顺序不同而进行排序,网侧电网系统按照该数据包序列表中的顺序将各数据包通过流式加载等方式投递至网侧数据库进行存储,以方便后续进一步分析处理。该网侧数据库可以为Hbase数据库或者其他大容量的数据库,本实施例不作具体限定。
请参见图4,在本申请的一个可选实施例中,步骤301包括步骤401-步骤403:
步骤401、网侧电网系统获取分布式消息队列中每个数据包的数据变更日志,得到多个数据变更日志。
该多个数据包为不同省侧电网系统发送来的不同省侧电网数据,在省侧电网系统中由于不同的业务类型和消费等会进行不同的数据变更,形成的不同数据变更日志随该省侧电网数据同步至网侧电网系统中的各数据包。
步骤402、网侧电网系统根据多个数据变更日志确定每个数据包的时序特征值。
该时序特征值用于表征每个数据包的日志变更时间顺序,每个数据包对应有一个或多个日志变更时间,网侧电网系统对该多个数据包的多个日志变更时间按照时间顺序,也就是每个数据包对应的pos值进行排序,该pos值即为该数据包的变更时间顺序。例如,当该分布式消息队列为Kafka平台的消息队列,消息队列包括多个不同的Topic,该时序特征值即为同一个或者不同个trail文件的pos值,该pos值按照加载于该消息队列中的数据包的顺序递增,例如可以为1、4、2、3、6、5、7等。
步骤403、网侧电网系统按照从小及大的顺序对时序特征值进行排序,得到数据包序列表。
网侧电网系统通过算法或者策略等将上述的时序特征值按照大小顺序进行排列,以形成数据包序列表。例如,当该分布式消息队列为Kafka平台的消息队列,将上述的pos值分别为1、4、2、3、6、5、7的数据包进行排序,形成按照pos值为1、2、3、4、5、6、7的顺序对各数据包进行排序。
在本申请的一个可选实施例中,该电网数据同步方法还包括:网侧电网系统根据多个省侧历史电网数据的总流量确定数据通道的数量。
数据通道根据多个省侧历史电网数据的总流量决定,当省侧历史电网数据的总流量越大,则设定的数据通道的数量越多,省侧历史电网数据的总流量越小,则设定的数据通道的数量越小。本实施例对于该数据通道的具体数量不作任何限定,可根据实际情况具体设定,只需要能实现缓解数据解耦进程压力的目的即可。
请参见图5,在本申请的一个可选实施例中,数据标识的获取方法包括步骤501-502:
步骤501、网侧电网系统根据多个省侧历史电网数据拟合特征离散函数,省侧历史电网数据包括地域标识和数据类型标识。
不同省侧历史电网数据具有不同的地域标识,不同种类的电网数据具有不同的类型,在本实施例中,将地域标识和数据类型标识作为数据标识的特征因素,可以更全面的对不同的省侧电网数据进行拆分,当然,还可以包括其他的特征因素,本实施例不作具体限定。在本实施例中,该特征离散函数可以为:
FxData(i,j,……) (1)
其中,(1)式中,i指每个省侧历史电网数据中的地域标识,j分别指每个省侧历史电网数据中的数据类型标识。
步骤502、网侧电网系统将当前的省侧电网数据代入到特征离散函数中,进行最优解求解,得到数据标识。
网侧电网系统对上述特征离散函数求取最优解以确定该数据标识。例如当该数据标识为特征离散函数的Hash码时,可以计算上述公式(1)的Hash码来确定该数据标识:
Datachannel=Hash(FxData(i,j,……),N) (2)
其中,(2)式中,Datachannel为该特征离散函数的Hash码,也就是该数据标识。
上述电网数据同步方法通过正交多路解耦方式以及数据包时序矫正的方式对电网数据进行省侧电网系统到网侧电网系统的同步,实现各省侧电网数据到网侧电网系统装载的优化,单线程数据传输可以达到1.1万条每秒,相对于传统数据传输效率提升10多倍,到了与网侧电网系统投递进程等量性能,即每秒1.8万条,整个数据同步链路的传输性能提高了20倍,保证了数据传输的实时性与准确性。
请参见图6,本申请一个实施例提供了一种电网数据同步系统,包括:省侧电网系统和网侧电网系统。
该省侧电网系统用于采集各省侧的电网数据,例如抄表数据、应收电费、实收电费、欠费记录、欠费明细、票据打印、预收记录、电费通知等不同的电网数据,本实施例对于该省侧电网系统中的具体电网数据不作任何限定,可根据实际情况具体选择或者设定。
该网侧电网系统执行如上的电网数据同步方法,该电网数据同步方法的有益效果已经在上述实施例中详细阐述,在此不再赘述。
应该理解的是,虽然流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
请参见图7,本申请一个实施例提供了一种电网数据同步装置10,装置包括:数据获取模块100、数据拆分模块200、通道确定模块300和第一存储模块400。
数据获取模块100用于获取多个省侧电网数据;
数据拆分模块200用于通过正交解耦方式将多个省侧电网数据拆分为多个数据包,其中,数据包包括数据标识;
通道确定模块300用于根据数据标识和预设的各数据通道的通道标识之间的对应关系,确定每个数据包对应的目标数据通道;
第一存储模块400用于通过各目标数据通道将对应的数据包存储至分布式消息队列中。
请参见图8,在本申请的一个可选实施例中,电网数据同步装置10还包括:矫正模块500和第二存储模块600。
矫正模块500用于对分布式消息队列中的各数据包进行时序矫正,得到数据包序列表。
第二存储模块600用于按照数据包序列表,将各数据包存储至网侧数据库。
在本申请的一个可选实施例中,矫正模块500包括:第一子矫正模块、第二子矫正模块和第三子矫正模块。
该第一子矫正模块用于获取所述分布式消息队列中每个数据包的数据变更日志,得到多个数据变更日志。
该第二子矫正模块用于根据所述多个数据变更日志确定每个所述数据包的时序特征值,所述时序特征值用于表征每个数据包的日志变更时间顺序。
该第三子矫正模块用于按照从小及大的顺序对时序特征值进行排序,得到数据包序列表。
在本申请的一个可选实施例中,通道确定模块300具体用于根据多个省侧历史电网数据的总流量确定数据通道的数量。
在本申请的一个可选实施例中,数据获取模块100具体用于根据多个省侧历史电网数据拟合特征离散函数,省侧历史电网数据包括地域标识和数据类型标识;以及将当前的省侧电网数据代入到特征离散函数中,进行最优解求解,得到数据标识。
在本申请的一个可选实施例中,数据标识为特征离散函数的Hash码。
关于电网数据同步装置10的具体限定可以参见上文中对于电网数据同步方法的限定,在此不再赘述。上述电网数据同步装置10中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图9为本申请一个实施例中计算机设备的内部结构示意图,该计算机设备可以为服务器。如图9所示,该计算机设备包括通过系统总线连接的处理器、存储器以及通信组件。其中,该处理器用于提供计算和控制能力,支撑整个计算机设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以上各个实施例所提供的一种电网数据同步方法。内存储器为非易失性存储介质中的操作系统以及计算机程序提供高速缓存的运行环境。计算机设备可以通过通信组件与其他的计算机设备(例如STA)进行通信。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括:包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现如下步骤:
获取多个省侧电网数据;
通过正交解耦方式将多个省侧电网数据拆分为多个数据包,其中,数据包包括数据标识;
根据数据标识和预设的各数据通道的通道标识之间的对应关系,确定每个数据包对应的目标数据通道;
通过各目标数据通道将对应的数据包存储至分布式消息队列中。
在本申请的一个实施例中,处理器执行计算机程序时还实现以下步骤:对分布式消息队列中的各数据包进行时序矫正,得到数据包序列表;按照数据包序列表,将各数据包存储至网侧数据库。
在本申请的一个实施例中,处理器执行计算机程序时还实现以下步骤:获取分布式消息队列中每个数据包的数据变更日志,得到多个数据变更日志;根据多个数据变更日志确定每个数据包的时序特征值,时序特征值用于表征每个数据包的日志变更时间顺序;按照从小及大的顺序对时序特征值进行排序,得到数据包序列表。
在本申请的一个实施例中,处理器执行计算机程序时还实现以下步骤:根据多个省侧历史电网数据的总流量确定数据通道的数量。
在本申请的一个实施例中,处理器执行计算机程序时还实现以下步骤:根据多个省侧历史电网数据拟合特征离散函数,省侧历史电网数据包括地域标识和数据类型标识;将当前的省侧电网数据代入到特征离散函数中,进行最优解求解,得到数据标识。
在本申请的一个实施例中,数据标识为特征离散函数的Hash码。
本申请实施例提供的计算机设备,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如下步骤:
获取多个省侧电网数据;
通过正交解耦方式将多个省侧电网数据拆分为多个数据包,其中,数据包包括数据标识;
根据数据标识和预设的各数据通道的通道标识之间的对应关系,确定每个数据包对应的目标数据通道;
通过各目标数据通道将对应的数据包存储至分布式消息队列中。
在本申请的一个实施例中,计算机程序被处理器执行时还实现以下步骤:对分布式消息队列中的各数据包进行时序矫正,得到数据包序列表;按照数据包序列表,将各数据包存储至网侧数据库。
在本申请的一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取分布式消息队列中每个数据包的数据变更日志,得到多个数据变更日志;根据多个数据变更日志确定每个数据包的时序特征值,时序特征值用于表征每个数据包的日志变更时间顺序;按照从小及大的顺序对时序特征值进行排序,得到数据包序列表。
在本申请的一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据多个省侧历史电网数据的总流量确定数据通道的数量。
在本申请的一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据多个省侧历史电网数据拟合特征离散函数,省侧历史电网数据包括地域标识和数据类型标识;将当前的省侧电网数据代入到特征离散函数中,进行最优解求解,得到数据标识。
在本申请的一个实施例中,数据标识为特征离散函数的Hash码。
本实施例提供的计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以M种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(SyMchliMk)DRAM(SLDRAM)、存储器总线(RaMbus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种电网数据同步方法,其特征在于,所述方法包括:
获取多个省侧电网数据;
通过正交解耦方式将所述多个省侧电网数据拆分为多个数据包,其中,所述数据包包括数据标识;
根据所述数据标识和预设的各数据通道的通道标识之间的对应关系,确定每个所述数据包对应的目标数据通道;
通过各所述目标数据通道将对应的所述数据包存储至分布式消息队列中。
2.根据权利要求1所述的电网数据同步方法,其特征在于,所述方法还包括:
对所述分布式消息队列中的各所述数据包进行时序矫正,得到数据包序列表;
按照所述数据包序列表,将各所述数据包存储至网侧数据库。
3.根据权利要求2所述的电网数据同步方法,其特征在于,所述对所述分布式消息队列中的各所述数据包进行时序矫正,得到数据包序列表,包括:
获取所述分布式消息队列中每个数据包的数据变更日志,得到多个数据变更日志;
根据所述多个数据变更日志确定每个所述数据包的时序特征值,所述时序特征值用于表征每个数据包的日志变更时间顺序;
按照从小及大的顺序对所述时序特征值进行排序,得到所述数据包序列表。
4.根据权利要求1所述的电网数据同步方法,其特征在于,还包括:
根据多个省侧历史电网数据的总流量确定所述数据通道的数量。
5.根据权利要求1所述的电网数据同步方法,其特征在于,所述数据标识的获取方法包括:
根据多个省侧历史电网数据拟合特征离散函数,所述省侧历史电网数据包括地域标识和数据类型标识;
将当前的所述省侧电网数据代入到所述特征离散函数中,进行最优解求解,得到所述数据标识。
6.根据权利要求5所述的电网数据同步方法,其特征在于,所述数据标识为所述特征离散函数的Hash码。
7.一种电网数据同步系统,其特征在于,包括:
多个省侧电网系统;
网侧电网系统,所述网侧电网系统用于执行如权利要求1-6任一项所述的电网数据同步方法。
8.一种电网数据同步装置,其特征在于,所述装置包括:
数据获取模块,用于获取多个省侧电网数据;
数据拆分模块,用于通过正交解耦方式将所述多个省侧电网数据拆分为多个数据包,其中,所述数据包包括数据标识;
通道确定模块,用于根据所述数据标识和预设的各数据通道的通道标识之间的对应关系,确定每个所述数据包对应的目标数据通道;
第一存储模块,用于通过各所述目标数据通道将对应的所述数据包存储至分布式消息队列中。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011328480.6A CN112541036B (zh) | 2020-11-24 | 2020-11-24 | 电网数据同步方法、系统、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011328480.6A CN112541036B (zh) | 2020-11-24 | 2020-11-24 | 电网数据同步方法、系统、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112541036A true CN112541036A (zh) | 2021-03-23 |
CN112541036B CN112541036B (zh) | 2023-12-12 |
Family
ID=75014754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011328480.6A Active CN112541036B (zh) | 2020-11-24 | 2020-11-24 | 电网数据同步方法、系统、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112541036B (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060104299A1 (en) * | 2004-10-22 | 2006-05-18 | Vazquez Castro Maria A | Method and a device for scheduling and sending data packets from a common sender to a plurality of users sharing a common transmission channel |
CN105405070A (zh) * | 2015-12-03 | 2016-03-16 | 国家电网公司 | 一种分布式内存电网系统构建方法 |
CN107529186A (zh) * | 2017-07-13 | 2017-12-29 | 深圳天珑无线科技有限公司 | 多通道传输上行数据的方法及系统、客户端、服务器 |
CN107612957A (zh) * | 2017-07-13 | 2018-01-19 | 深圳天珑无线科技有限公司 | 多通道传输下行数据的方法及系统、客户端、服务器 |
CN107623646A (zh) * | 2017-09-06 | 2018-01-23 | 华为技术有限公司 | 数据流传输方法、发送设备及接收设备 |
CN108183869A (zh) * | 2017-12-29 | 2018-06-19 | 国电南瑞科技股份有限公司 | 一种基于分布式消息队列的电量数据采集系统 |
CN109688070A (zh) * | 2018-12-13 | 2019-04-26 | 迈普通信技术股份有限公司 | 一种数据调度方法、网络设备及转发单元 |
CN110167084A (zh) * | 2018-08-15 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 多通道数据传输方法及装置 |
CN110245051A (zh) * | 2019-06-14 | 2019-09-17 | 上海中通吉网络技术有限公司 | 数据埋点方法、装置、设备和存储介质 |
CN110381030A (zh) * | 2019-06-20 | 2019-10-25 | 视联动力信息技术股份有限公司 | 一种同步请求的处理方法及装置 |
CN110995784A (zh) * | 2019-11-05 | 2020-04-10 | 北京奇艺世纪科技有限公司 | 数据传输方法、系统及存储介质 |
CN111181873A (zh) * | 2019-12-31 | 2020-05-19 | 新奥数能科技有限公司 | 数据发送方法、装置、存储介质和电子设备 |
CN111586098A (zh) * | 2020-04-01 | 2020-08-25 | 腾讯科技(深圳)有限公司 | 数据传输方法、装置、设备及计算机可读存储介质 |
CN111669418A (zh) * | 2019-03-07 | 2020-09-15 | 阿里巴巴集团控股有限公司 | 数据通信方法、数据同步方法、系统、装置、网关设备、服务器及基站设备 |
CN111723160A (zh) * | 2020-08-24 | 2020-09-29 | 国网浙江省电力有限公司 | 一种多源异构增量数据同步方法及系统 |
-
2020
- 2020-11-24 CN CN202011328480.6A patent/CN112541036B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060104299A1 (en) * | 2004-10-22 | 2006-05-18 | Vazquez Castro Maria A | Method and a device for scheduling and sending data packets from a common sender to a plurality of users sharing a common transmission channel |
CN105405070A (zh) * | 2015-12-03 | 2016-03-16 | 国家电网公司 | 一种分布式内存电网系统构建方法 |
CN107529186A (zh) * | 2017-07-13 | 2017-12-29 | 深圳天珑无线科技有限公司 | 多通道传输上行数据的方法及系统、客户端、服务器 |
CN107612957A (zh) * | 2017-07-13 | 2018-01-19 | 深圳天珑无线科技有限公司 | 多通道传输下行数据的方法及系统、客户端、服务器 |
CN107623646A (zh) * | 2017-09-06 | 2018-01-23 | 华为技术有限公司 | 数据流传输方法、发送设备及接收设备 |
CN108183869A (zh) * | 2017-12-29 | 2018-06-19 | 国电南瑞科技股份有限公司 | 一种基于分布式消息队列的电量数据采集系统 |
CN110167084A (zh) * | 2018-08-15 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 多通道数据传输方法及装置 |
CN109688070A (zh) * | 2018-12-13 | 2019-04-26 | 迈普通信技术股份有限公司 | 一种数据调度方法、网络设备及转发单元 |
CN111669418A (zh) * | 2019-03-07 | 2020-09-15 | 阿里巴巴集团控股有限公司 | 数据通信方法、数据同步方法、系统、装置、网关设备、服务器及基站设备 |
CN110245051A (zh) * | 2019-06-14 | 2019-09-17 | 上海中通吉网络技术有限公司 | 数据埋点方法、装置、设备和存储介质 |
CN110381030A (zh) * | 2019-06-20 | 2019-10-25 | 视联动力信息技术股份有限公司 | 一种同步请求的处理方法及装置 |
CN110995784A (zh) * | 2019-11-05 | 2020-04-10 | 北京奇艺世纪科技有限公司 | 数据传输方法、系统及存储介质 |
CN111181873A (zh) * | 2019-12-31 | 2020-05-19 | 新奥数能科技有限公司 | 数据发送方法、装置、存储介质和电子设备 |
CN111586098A (zh) * | 2020-04-01 | 2020-08-25 | 腾讯科技(深圳)有限公司 | 数据传输方法、装置、设备及计算机可读存储介质 |
CN111723160A (zh) * | 2020-08-24 | 2020-09-29 | 国网浙江省电力有限公司 | 一种多源异构增量数据同步方法及系统 |
Non-Patent Citations (3)
Title |
---|
CHUN-XUN LIN 等: "A Distributed Power Grid Analysis Framework from Sequential Stream Graph", 《GLSVLSI \'18: PROCEEDINGS OF THE 2018 ON GREAT LAKES SYMPOSIUM ON VLSI》, pages 183 - 188 * |
张春平 等: "分布式内存电网关键技术研究及应用", 《计算机与现代化》, no. 12, pages 51 - 56 * |
程杰 等: "智能电网信息系统安全隐患及应对策略", 《电器应用》, vol. 39, no. 4, pages 99 - 102 * |
Also Published As
Publication number | Publication date |
---|---|
CN112541036B (zh) | 2023-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110995468B (zh) | 待分析系统的系统故障处理方法、装置、设备和存储介质 | |
CN107332876B (zh) | 区块链状态的同步方法及装置 | |
CN105119769A (zh) | 一种对周期性数据上报进行时间散列的系统 | |
CN111670564B (zh) | 一种信息处理方法及区块链节点 | |
CN111182061B (zh) | 任务分发处理方法、系统、计算机设备和存储介质 | |
CN112783976B (zh) | 一种联盟区块链柔性打包出块的共识系统 | |
CN108599992A (zh) | 一种数据处理系统及方法 | |
CN112615905A (zh) | 区块链分片的调度方法、装置、设备及存储介质 | |
CN109412838A (zh) | 基于散列计算以及性能评估的服务器集群主节点选择方法 | |
CN113655969A (zh) | 一种基于流式分布式存储系统的数据均衡存储方法 | |
CN108243146A (zh) | 一种高效的信息提交方法 | |
CN112532687A (zh) | kubernetes负载均衡器扩容方法和系统 | |
CN110351164B (zh) | 时延度量方法、装置、计算机设备和存储介质 | |
CN112541036A (zh) | 电网数据同步方法、系统、装置、计算机设备和存储介质 | |
CN112751926B (zh) | 一种集群中工作节点的管理方法、系统及相关装置 | |
CN112636915B (zh) | 基于国密sm2算法的批量签名验证方法、装置、设备及介质 | |
US20210096962A1 (en) | Data backup method, device and system | |
CN111917748B (zh) | 基于ipfs+联盟链的智能激光器远程控制系统和方法 | |
CN112835702A (zh) | 服务切换方法、装置、计算机设备及存储介质 | |
CN113328920B (zh) | 一种对设备数据的采集与存储方法 | |
CN113095940B (zh) | 基于同构多链的交易处理方法、区块链系统、设备及介质 | |
CN108833518A (zh) | 一种基于nginx服务器生成会话ID的方法 | |
CN111064997B (zh) | 一种资源预分发方法及装置 | |
CN115208872A (zh) | 边缘云镜像数据处理方法、装置、计算机设备和存储介质 | |
SG193013A1 (en) | System and method for processing similar emails |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |