CN105245579A - 一种配电网系统海量数据通讯处理方法及系统 - Google Patents
一种配电网系统海量数据通讯处理方法及系统 Download PDFInfo
- Publication number
- CN105245579A CN105245579A CN201510589862.7A CN201510589862A CN105245579A CN 105245579 A CN105245579 A CN 105245579A CN 201510589862 A CN201510589862 A CN 201510589862A CN 105245579 A CN105245579 A CN 105245579A
- Authority
- CN
- China
- Prior art keywords
- data
- stipulations
- service
- services
- distribution network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 84
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 77
- 238000012545 processing Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims description 74
- 230000003993 interaction Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 abstract 2
- 238000005516 engineering process Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007858 starting material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/02—Standardisation; Integration
- H04L41/0246—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
- H04L67/5651—Reducing the amount or size of exchanged application data
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明涉及一种配电网系统海量数据通讯处理方法及系统,该方法包括:节点管理服务从配置库中读取全部配置信息;根据配置信息,分别启动规约链路服务、规约处理服务、数据处理服务及数据分发服务,并根据预设匹配规则,对所述规约链路服务和规约处理服务进行匹配;数据上行时,数据源依次经过规约链路服务、规约处理服务及数据处理服务处理后存入内存数据池,最后根据数据订阅信息,由数据分发服务转发至应用;数据下行时,应用发送的指令信息由数据分发服务器发送至内存数据池,再经规约处理服务处理通过规约链路服务发送至对应数据源。本发明的方法提升了单独通讯节点的通讯能力,通讯节点内部扩展性强,提高了通讯节点通讯的可靠性。
Description
技术领域
本发明涉及网络通讯技术,具体涉及一种配电网系统海量数据通讯处理方法及系统。
背景技术
随着配电网系统的迅猛发展,海量配电终端数据接入成为了配电网系统的一个难题。配电网系统是一个对数据实时性要求很高的系统,其要根据配电系统数据来实时对配电系统进行优化和电力调度,以达到电力系统的可靠经济运行。由于配电系统的配电终端数量众多,导致前置通讯系统需要配置很多前置通讯服务器进行数据接入,这就大幅度提高了通讯数接入的复杂度和工程实施成本,不能满足配电网系统的实际工程需求。
此外,现在通用的前置通讯处理方式都是启动单个的规约处理服务和规约链路服务来处理全部连接到该通讯节点的数据源。当数据源规模增大时,通讯链路服务或规约处理服务无法承受,容易导致程序异常,给工程实施和开发调试增加困难。
发明内容
本发明提供了一种配电网系统海量数据通讯处理方法及系统,旨在解决当全部连接到通讯节点的数据源规模较大时,现有的前置通讯处理方法中单个的规约处理服务和规约链路服务无法满足数据处理的需要而导致程序异常的问题。
为解决上述技术问题,本发明的配电网系统海量数据通讯处理方法包括如下步骤:
1)前置通讯服务器中的节点管理服务从配置库中读取前置通讯服务器的配置信息;
2)根据配置信息,分别启动所述前置通讯服务器中的规约链路服务、规约处理服务、数据处理服务及数据分发服务,并根据预设匹配规则,对所述规约链路服务和规约处理服务进行匹配;
3)数据上行时,数据源依次经过规约链路服务、规约处理服务及数据处理服务处理后存入内存数据池,最后根据数据订阅信息,由前置通讯服务器中的数据分发服务转发至应用;
数据下行时,应用发送的指令信息由数据分发服务器发送至内存数据池,内存数据池将指令信息发送至各规约处理服务,各规约处理服务根据指令信息中的数据源编码判断是否是自己所要处理的指令信息,是的话,对指令信息进行封装后,通过规约链路服务发送至对应数据源。
所述规约链路服务、规约处理服务、数据处理服务及数据分发服务均是通过所述前置通讯服务器中的内存数据池进行数据交互。
所述步骤4)中的预设匹配规则是:一个规约链路服务对应一个及以上的规约处理服务,一个规约处理服务仅对应于一个规约链路服务。
所述配置信息包括数据源信息、数据点信息、通信链路信息、数据订阅信息及应用信息。
所述节点管理服务、规约链路服务、规约处理服务、数据处理服务及数据分发服务均为可执行程序,都加在内存数据池访问接口模块。
本发明的配电网系统海量数据通讯处理系统包括至少一台前置通讯服务器,所述前置通讯服务器中包括节点管理服务、配置库、至少一个规约链路服务、至少一个规约处理服务、至少一个数据处理服务及至少一个数据分发服务。
所述前置通讯服务器还包括内存数据池,所述规约链路服务、规约处理服务、数据处理服务及数据分发服务均是通过内存数据池进行数据交互。
所述节点管理服务、规约链路服务、规约处理服务、数据处理服务及数据分发服务均加载内存数据池访问接口模块。
本发明的配电网系统海量数据通讯处理方法及系统中的节点管理服务、规约链路服务、规约处理服务、数据处理服务及数据分发服务根据实际数据源规模,能够启动多个服务实例,以达到通讯节点内部各种服务负载均衡的目的,提升了单独通讯节点的通讯能力,通讯节点内部扩展性强,提高了通讯节点通讯的可靠性。由于通讯节点内部的规约链路服务、规约处理服务和数据处理服务等服务都在通讯节点内部形成了集群,降低了各个服务模块的研发难度,也有利于计算机资源的完整利用,降低工程应用成本。
本发明的节点管理服务、规约链路服务、规约处理服务、数据处理服务及数据分发服务以以内存数据池为纽带进行数据交互,各服务的运行状态不会影响到通讯节点内部其它服务的运行,提高了整个通讯节点的稳定性和并发处理能力。
附图说明
图1是基于内存数据池通讯方法的示意图;
具体实施方式
下面结合附图,对本发明的技术方案作进一步详细介绍。
配电网系统海量数据通讯处理方法实施例
本实施例的通讯方法包括如下步骤:
1)前置通讯服务器中的节点管理服务从配置库中读取前置通讯服务器的配置信息;
2)根据配置信息,分别启动所述前置通讯服务器中的规约链路服务、规约处理服务、数据处理服务及数据分发服务,并根据预设匹配规则,对所述规约链路服务和规约处理服务进行匹配;
3)数据上行时,数据源依次经过规约链路服务、规约处理服务及数据处理服务处理后存入内存数据池,最后根据数据订阅信息,由前置通讯服务器中的数据分发服务转发至应用;
数据下行时,应用发送的指令信息由数据分发服务器发送至内存数据池,内存数据池将指令信息发送至各规约处理服务,各规约处理服务根据指令信息中的数据源编码判断是否是自己所要处理的指令信息,是的话,对指令信息进行封装后,通过规约链路服务发送至对应数据源。
下面对上述步骤进行详细阐述:
对于步骤1),在前置通讯服务器中启动节点管理服务,节点管理服务从配置库中读取全部配置信息,并根据配置信息来动态启动其它服务程序。
前置通讯服务器中的配置库存储了前置通讯服务器的全部配置信息,包括数据源信息、通讯链路信息、数据点信息、订阅信息及应用信息等。
对于步骤2),节点管理服务根据所要接入的数据源的个数及链路服务的处理能力配置信息,动态启动多个规约链路服务。节点管理服务将链路配置信息传递给启动的各个规约链路服务,各个规约链路服务根据配置信息,对各个连接进行管理和维护,对数据进行上传及下达。
节点管理服务根据数据点的规模及规约处理服务的处理能力配置信息,启动多个规约处理服务。节点管理服务将规约配置信息传递给启动的各个规约处理服务。启动链路服务和规约处理服务后,节点管理程序对规约链路服务和规约处理服务进行数据池匹配工作,一个规约链路服务可以对应多个规约处理服务,一个规约服务只能对应一个规约链路服务。
如图1所示,前置通讯服务器需要接入4个均为104规约装置的数据源,分别为104规约数据源1、104规约数据源2、104规约数据源3和104规约数据源4,每个装置均有1000个数据采集点。假设104规约链路服务的链路处理能力为3个,104规约处理服务的数据处理能力为2000点。节点管理服务启动时,首先读取了配置信息,根据数据源的数量和104规约链路服务的能力,分别启动了104规约链路服务1和104规约链路服务2。如图1所示,因为104规约链路服务的处理能力配置为3个,所以104规约链路服务1处理3个数据源,104规约链路服务2处理剩下的1个数据源。节点管理服务又根据104规约处理服务的能力及每个104规约链路服务所连接数据源的数据点的总和信息,来启动规约处理服务。因为104规约链路服务1所连接的数据源的数据点总和为3000点,单个104规约处理服务的处理能力为2000点,所以要启动两个104规约处理服务,104规约处理服务1和104规约处理服务2来处理来自104链路服务1的数据。因为104规约链路服务2所连接的数据源的数据点总和为1000点,所以启动一个104规约处理服务就可以应对,所以,启动104规约处理服务3来处理来自104规约链路服务2的数据。
节点管理服务根据数据处理服务的处理能力,动态启动多个处理服务来进行数据的处理,将规约处理服务所生成的数据进行处理,即生数据处理为熟数据。假设数据处理服务的处理能力为1500点,那么就启动了三个数据处理服务来处理总体4000点的数据。数据处理服务的功能主要有判断数据的合理性检查、数据的大小转换等。当数据转换为熟数据后,通过内存数据池接口将熟数据写入内存数据池中。
节点管理服务根据应用对前置通讯服务器的数据订阅信息,动态启动多个数据分发服务,将熟数据分发给应用。如图1所示,数据分发服务1将数据发送给服务2,数据分发服务2将数据分发给服务1。
对于步骤3),数据上行过程:以104规约数据源1上送数据为例,104规约链路服务1和104规约数据源1建立通讯连接后,104规约数据源1的数据以报文的形式发送至104规约链路服务1。104规约链路服务1利用内存数据池访问接口,将报文数据放入内存数据池中。104规约处理服务1也利用内存数据池数据访问接口从数据池中获取104规约链路服务存入内存数据池中的数据。104规约处理服务1获取104规约数据源1的报文数据后,对报文数据进行规约解析和数据初步处理,将报文数据转换为内部通讯模型数据,再将数据利用内存数据池访问接口,将通讯模型数据存入内存数据池,并更新数据时标及处理标识。数据处理服务1发现有未处理的通讯模型数据后,将通讯模型数据取出后对通讯模型数据进行处理,即将生数据处理为熟数据,再利用内存数据池访问接口,将熟数据写入内存数据池中。数据分发服务1根据数据订阅的配置信息,利用内存数据池访问接口获取要分发的熟数据,将数据转发至应用2。
数据下行过程:以应用2下发指令信息发送到104规约数据源1为例来说明数据下行的过程。应用2发送指令信息到数据分发服务1,数据分发服务利用内存数据池访问接口将下行数据发送至内存数据池。内存数据池负责将下行指令信息发送至所有的104规约处理服务。104规约处理服务获取该指令信息后,首先通过该指令信息的数据源编号信息来辨别是否该处理该指令信息。如图1所示,104规约处理服务1通过数据源编号信息,判断该下行指令信息为本服务所要处理的指令信息,就将该指令信息进行104规约报文封装,并将封装好的报文信息通过内存数据池访问接口发送至内存数据池。104规约链路服务1获得该下行报文信息后,通过通讯链路发送至104规约数据源1。104规约数据源1接收到下行指令报文后,进行相应的命令响应和操作。
综上所述,由图1可见,单个通讯节点内部的规约链路服务、规约处理服务、数据处理服务和数据分发服务都是通过内存数据池进行数据交互的,他们各自的运行状态不会影响到通讯节点内部其它服务的运行,提高了整个通讯节点的稳定性。同时,通讯节点内部的规约链路服务、规约处理服务和数据处理服务等服务都在通讯节点内部形成了集群,实现了通讯节点内部各种服务的负载均衡,降低了各个服务模块的研发难度,也有利于计算机节点计算机资源的完整利用,降低工程应用成本。
Claims (8)
1.一种配电网系统海量数据通讯处理方法,其特征在于,包括如下步骤:
1)前置通讯服务器中的节点管理服务从配置库中读取前置通讯服务器的配置信息;
2)根据配置信息,分别启动所述前置通讯服务器中的规约链路服务、规约处理服务、数据处理服务及数据分发服务,并根据预设匹配规则,对所述规约链路服务和规约处理服务进行匹配;
3)数据上行时,数据源依次经过规约链路服务、规约处理服务及数据处理服务处理后存入内存数据池,最后根据数据订阅信息,由前置通讯服务器中的数据分发服务转发至应用;
数据下行时,应用发送的指令信息由数据分发服务器发送至内存数据池,内存数据池将指令信息发送至各规约处理服务,各规约处理服务根据指令信息中的数据源编码判断是否是自己所要处理的指令信息,是的话,对指令信息进行封装后,通过规约链路服务发送至对应数据源。
2.根据权利要求1所述配电网系统海量数据通讯处理方法,其特征在于,所述规约链路服务、规约处理服务、数据处理服务及数据分发服务均是通过所述前置通讯服务器中的内存数据池进行数据交互。
3.根据权利要求1所述配电网系统海量数据通讯处理方法,其特征在于,所述步骤4)中的预设匹配规则是:一个规约链路服务对应一个及以上的规约处理服务,一个规约处理服务仅对应于一个规约链路服务。
4.根据权利要求1所述配电网系统海量数据通讯处理方法,其特征在于,所述配置信息包括数据源信息、数据点信息、通信链路信息、数据订阅信息及应用信息。
5.根据权利要求2所述配电网系统海量数据通讯处理方法,其特征在于,所述节点管理服务、规约链路服务、规约处理服务、数据处理服务及数据分发服务均为可执行程序,都加在内存数据池访问接口模块。
6.一种用于权利要求书1所述方法的配电网系统海量数据通讯处理系统,其特征在于,该系统包括至少一台前置通讯服务器,所述前置通讯服务器中包括节点管理服务、配置库、至少一个规约链路服务、至少一个规约处理服务、至少一个数据处理服务及至少一个数据分发服务。
7.根据权利要求6所述配电网系统海量数据通讯处理系统,其特征在于,所述前置通讯服务器还包括内存数据池,所述规约链路服务、规约处理服务、数据处理服务及数据分发服务均是通过内存数据池进行数据交互。
8.根据权利要求7所述配电网系统海量数据通讯处理系统,其特征在于,所述节点管理服务、规约链路服务、规约处理服务、数据处理服务及数据分发服务均加载内存数据池访问接口模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510589862.7A CN105245579B (zh) | 2015-09-16 | 2015-09-16 | 一种配电网系统海量数据通讯处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510589862.7A CN105245579B (zh) | 2015-09-16 | 2015-09-16 | 一种配电网系统海量数据通讯处理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105245579A true CN105245579A (zh) | 2016-01-13 |
CN105245579B CN105245579B (zh) | 2018-08-03 |
Family
ID=55043077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510589862.7A Active CN105245579B (zh) | 2015-09-16 | 2015-09-16 | 一种配电网系统海量数据通讯处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105245579B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106302212A (zh) * | 2016-07-27 | 2017-01-04 | 四川九洲电器集团有限责任公司 | 一种数据通信方法及数据通信装置 |
CN112260398A (zh) * | 2020-09-18 | 2021-01-22 | 许继集团有限公司 | 一种支持动态扩展的电网监控系统 |
CN114996363A (zh) * | 2022-08-08 | 2022-09-02 | 国网北京市电力公司 | 数据远程处理方法、系统、装置以及电子设备 |
CN115277783A (zh) * | 2022-08-03 | 2022-11-01 | 许昌智能继电器股份有限公司 | 一种充换电站跨平台通讯服务系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101588295B (zh) * | 2009-04-22 | 2011-09-07 | 北京四方继保自动化股份有限公司 | 电力自动化前置系统通道级的分层动态路由方法 |
CN103347037A (zh) * | 2013-05-29 | 2013-10-09 | 成都瑞科电气有限公司 | 一种基于wcf实现的通信前置机系统及通讯方法 |
CN103618620A (zh) * | 2013-11-20 | 2014-03-05 | 国家电网公司 | 多层结构的前置机系统 |
CN104639654A (zh) * | 2015-03-05 | 2015-05-20 | 国家电网公司 | 海量用电信息采集终端一体化接入系统及方法 |
-
2015
- 2015-09-16 CN CN201510589862.7A patent/CN105245579B/zh active Active
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106302212A (zh) * | 2016-07-27 | 2017-01-04 | 四川九洲电器集团有限责任公司 | 一种数据通信方法及数据通信装置 |
CN106302212B (zh) * | 2016-07-27 | 2019-06-25 | 四川九洲电器集团有限责任公司 | 一种数据通信方法及数据通信装置 |
CN112260398A (zh) * | 2020-09-18 | 2021-01-22 | 许继集团有限公司 | 一种支持动态扩展的电网监控系统 |
CN112260398B (zh) * | 2020-09-18 | 2024-05-28 | 许继集团有限公司 | 一种支持动态扩展的电网监控系统 |
CN115277783A (zh) * | 2022-08-03 | 2022-11-01 | 许昌智能继电器股份有限公司 | 一种充换电站跨平台通讯服务系统 |
CN114996363A (zh) * | 2022-08-08 | 2022-09-02 | 国网北京市电力公司 | 数据远程处理方法、系统、装置以及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN105245579B (zh) | 2018-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102227122B (zh) | 平台无关规约模块系统 | |
CN110012002A (zh) | 报文解析方法、装置及服务器、计算机可读存储介质 | |
CN105245579A (zh) | 一种配电网系统海量数据通讯处理方法及系统 | |
CN109413141A (zh) | 一种电网主子站间的访问方法与系统 | |
CN104270779A (zh) | 一种无线网络故障原因预处理方法及无线网络故障工单派发系统 | |
CN105429858A (zh) | 一种多机器人间实时消息传递方法 | |
CN104378221A (zh) | 应用于集成电路生产线监控系统的异步调用方法 | |
CN101930361B (zh) | 在线数据存储服务提供方法及系统 | |
CN105760272A (zh) | 基于插件的监控后台业务定制方法及其系统 | |
CN104320495A (zh) | 一种用电信息采集系统的海量数据存储方法及系统 | |
CN104102790A (zh) | 基于gis的供电图自动成图系统及方法 | |
CN111294235A (zh) | 数据处理方法、装置、网关及可读存储介质 | |
CN113900810A (zh) | 分布式图处理方法、系统及存储介质 | |
CN104243610A (zh) | 一种分布式文件传输服务方法 | |
CN103677983A (zh) | 应用的调度方法及装置 | |
CN113703363A (zh) | 智能边缘计算网关在电力调度云的即插即用方法 | |
CN104993970A (zh) | 一种面向分布式系统关键运行指标数据的集中监视方法 | |
US20210096962A1 (en) | Data backup method, device and system | |
CN110932393B (zh) | 一种变电站保信主站系统及其数据初始化方法 | |
CN107769934A (zh) | 资费处理方法及装置 | |
CN109525550B (zh) | 一种数据报文的处理方法、装置以及系统 | |
CN115982133A (zh) | 数据处理方法及装置 | |
CN105704173B (zh) | 一种集群系统数据分布方法及服务器 | |
CN115002011B (zh) | 流量双向测试方法、装置、电子设备及存储介质 | |
CN103916428A (zh) | 私有云内部的数据传输方法、私有云平台及私有云系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |