CN105245579B - 一种配电网系统海量数据通讯处理方法及系统 - Google Patents

Abstract

本发明涉及一种配电网系统海量数据通讯处理方法及系统，该方法包括：节点管理服务从配置库中读取全部配置信息；根据配置信息，分别启动规约链路服务、规约处理服务、数据处理服务及数据分发服务，并根据预设匹配规则，对所述规约链路服务和规约处理服务进行匹配；数据上行时，数据源依次经过规约链路服务、规约处理服务及数据处理服务处理后存入内存数据池，最后根据数据订阅信息，由数据分发服务转发至应用；数据下行时，应用发送的指令信息由数据分发服务器发送至内存数据池，再经规约处理服务处理通过规约链路服务发送至对应数据源。本发明的方法提升了单独通讯节点的通讯能力，通讯节点内部扩展性强，提高了通讯节点通讯的可靠性。

Description

一种配电网系统海量数据通讯处理方法及系统

技术领域

本发明涉及网络通讯技术，具体涉及一种配电网系统海量数据通讯处理方法及系统。

背景技术

随着配电网系统的迅猛发展，海量配电终端数据接入成为了配电网系统的一个难题。配电网系统是一个对数据实时性要求很高的系统，其要根据配电系统数据来实时对配电系统进行优化和电力调度，以达到电力系统的可靠经济运行。由于配电系统的配电终端数量众多，导致前置通讯系统需要配置很多前置通讯服务器进行数据接入,这就大幅度提高了通讯数接入的复杂度和工程实施成本，不能满足配电网系统的实际工程需求。

此外，现在通用的前置通讯处理方式都是启动单个的规约处理服务和规约链路服务来处理全部连接到该通讯节点的数据源。当数据源规模增大时，通讯链路服务或规约处理服务无法承受，容易导致程序异常，给工程实施和开发调试增加困难。

发明内容

本发明提供了一种配电网系统海量数据通讯处理方法及系统，旨在解决当全部连接到通讯节点的数据源规模较大时，现有的前置通讯处理方法中单个的规约处理服务和规约链路服务无法满足数据处理的需要而导致程序异常的问题。

为解决上述技术问题，本发明的配电网系统海量数据通讯处理方法包括如下步骤：

1)前置通讯服务器中的节点管理服务从配置库中读取前置通讯服务器的配置信息；

2)根据配置信息，分别启动所述前置通讯服务器中的规约链路服务、规约处理服务、数据处理服务及数据分发服务，并根据预设匹配规则，对所述规约链路服务和规约处理服务进行匹配；

3)数据上行时，数据源依次经过规约链路服务、规约处理服务及数据处理服务处理后存入内存数据池，最后根据数据订阅信息，由前置通讯服务器中的数据分发服务转发至应用；

数据下行时，应用发送的指令信息由数据分发服务发送至内存数据池，内存数据池将指令信息发送至各规约处理服务，各规约处理服务根据指令信息中的数据源编码判断是否是自己所要处理的指令信息，是的话，对指令信息进行封装后，通过规约链路服务发送至对应数据源。

所述规约链路服务、规约处理服务、数据处理服务及数据分发服务均是通过所述前置通讯服务器中的内存数据池进行数据交互。

所述步骤2)中的预设匹配规则是：一个规约链路服务对应一个及以上的规约处理服务，一个规约处理服务仅对应于一个规约链路服务。

所述配置信息包括数据源信息、数据点信息、通信链路信息、数据订阅信息及应用信息。

所述节点管理服务、规约链路服务、规约处理服务、数据处理服务及数据分发服务均为可执行程序，都加载内存数据池访问接口模块。

本发明的配电网系统海量数据通讯处理系统包括至少一台前置通讯服务器，所述前置通讯服务器中包括节点管理服务、配置库、至少一个规约链路服务、至少一个规约处理服务、至少一个数据处理服务及至少一个数据分发服务。

所述前置通讯服务器还包括内存数据池，所述规约链路服务、规约处理服务、数据处理服务及数据分发服务均是通过内存数据池进行数据交互。

所述节点管理服务、规约链路服务、规约处理服务、数据处理服务及数据分发服务均加载内存数据池访问接口模块。

本发明的配电网系统海量数据通讯处理方法及系统中的节点管理服务、规约链路服务、规约处理服务、数据处理服务及数据分发服务根据实际数据源规模，能够启动多个服务实例，以达到通讯节点内部各种服务负载均衡的目的，提升了单独通讯节点的通讯能力，通讯节点内部扩展性强，提高了通讯节点通讯的可靠性。由于通讯节点内部的规约链路服务、规约处理服务和数据处理服务等服务都在通讯节点内部形成了集群，降低了各个服务模块的研发难度，也有利于计算机资源的完整利用，降低工程应用成本。

本发明的节点管理服务、规约链路服务、规约处理服务、数据处理服务及数据分发服务以内存数据池为纽带进行数据交互，各服务的运行状态不会影响到通讯节点内部其它服务的运行，提高了整个通讯节点的稳定性和并发处理能力。

附图说明

图1是基于内存数据池通讯方法的示意图；

具体实施方式

下面结合附图，对本发明的技术方案作进一步详细介绍。

配电网系统海量数据通讯处理方法实施例

本实施例的通讯方法包括如下步骤：

1)前置通讯服务器中的节点管理服务从配置库中读取前置通讯服务器的配置信息；

2)根据配置信息，分别启动所述前置通讯服务器中的规约链路服务、规约处理服务、数据处理服务及数据分发服务，并根据预设匹配规则，对所述规约链路服务和规约处理服务进行匹配；

3)数据上行时，数据源依次经过规约链路服务、规约处理服务及数据处理服务处理后存入内存数据池，最后根据数据订阅信息，由前置通讯服务器中的数据分发服务转发至应用；

数据下行时，应用发送的指令信息由数据分发服务器发送至内存数据池，内存数据池将指令信息发送至各规约处理服务，各规约处理服务根据指令信息中的数据源编码判断是否是自己所要处理的指令信息，是的话，对指令信息进行封装后，通过规约链路服务发送至对应数据源。

下面对上述步骤进行详细阐述：

对于步骤1)，在前置通讯服务器中启动节点管理服务，节点管理服务从配置库中读取全部配置信息，并根据配置信息来动态启动其它服务程序。

前置通讯服务器中的配置库存储了前置通讯服务器的全部配置信息，包括数据源信息、通讯链路信息、数据点信息、订阅信息及应用信息等。

对于步骤2)，节点管理服务根据所要接入的数据源的个数及链路服务的处理能力配置信息，动态启动多个规约链路服务。节点管理服务将链路配置信息传递给启动的各个规约链路服务，各个规约链路服务根据配置信息，对各个连接进行管理和维护，对数据进行上传及下达。

节点管理服务根据数据点的规模及规约处理服务的处理能力配置信息，启动多个规约处理服务。节点管理服务将规约配置信息传递给启动的各个规约处理服务。启动链路服务和规约处理服务后，节点管理程序对规约链路服务和规约处理服务进行数据池匹配工作，一个规约链路服务可以对应多个规约处理服务，一个规约服务只能对应一个规约链路服务。

如图1所示，前置通讯服务器需要接入4个均为104规约装置的数据源，分别为104规约数据源1、104规约数据源2、104规约数据源3和104规约数据源4，每个装置均有1000个数据采集点。假设104规约链路服务的链路处理能力为3个，104规约处理服务的数据处理能力为2000点。节点管理服务启动时，首先读取了配置信息，根据数据源的数量和104规约链路服务的能力，分别启动了104规约链路服务1和104规约链路服务2。如图1所示，因为104规约链路服务的处理能力配置为3个，所以104规约链路服务1处理3个数据源，104规约链路服务2处理剩下的1个数据源。节点管理服务又根据104规约处理服务的能力及每个104规约链路服务所连接数据源的数据点的总和信息，来启动规约处理服务。因为104规约链路服务1所连接的数据源的数据点总和为3000点，单个104规约处理服务的处理能力为2000点，所以要启动两个104规约处理服务，104规约处理服务1和104规约处理服务2来处理来自104链路服务1的数据。因为104规约链路服务2所连接的数据源的数据点总和为1000点，所以启动一个104规约处理服务就可以应对，所以，启动104规约处理服务3来处理来自104规约链路服务2的数据。

节点管理服务根据数据处理服务的处理能力，动态启动多个处理服务来进行数据的处理，将规约处理服务所生成的数据进行处理，即生数据处理为熟数据。假设数据处理服务的处理能力为1500点，那么就启动了三个数据处理服务来处理总体4000点的数据。数据处理服务的功能主要有判断数据的合理性检查、数据的大小转换等。当数据转换为熟数据后，通过内存数据池接口将熟数据写入内存数据池中。

节点管理服务根据应用对前置通讯服务器的数据订阅信息，动态启动多个数据分发服务，将熟数据分发给应用。如图1所示，数据分发服务1将数据发送给服务2，数据分发服务2将数据分发给服务1。

对于步骤3)，数据上行过程：以104规约数据源1上送数据为例，104规约链路服务1和104规约数据源1建立通讯连接后，104规约数据源1的数据以报文的形式发送至104规约链路服务1。104规约链路服务1利用内存数据池访问接口，将报文数据放入内存数据池中。104规约处理服务1也利用内存数据池数据访问接口从数据池中获取104规约链路服务存入内存数据池中的数据。104规约处理服务1获取104规约数据源1的报文数据后，对报文数据进行规约解析和数据初步处理，将报文数据转换为内部通讯模型数据，再将数据利用内存数据池访问接口，将通讯模型数据存入内存数据池，并更新数据时标及处理标识。数据处理服务1发现有未处理的通讯模型数据后，将通讯模型数据取出后对通讯模型数据进行处理，即将生数据处理为熟数据，再利用内存数据池访问接口，将熟数据写入内存数据池中。数据分发服务1根据数据订阅的配置信息，利用内存数据池访问接口获取要分发的熟数据，将数据转发至应用2。

数据下行过程：以应用2下发指令信息发送到104规约数据源1为例来说明数据下行的过程。应用2发送指令信息到数据分发服务1，数据分发服务利用内存数据池访问接口将下行数据发送至内存数据池。内存数据池负责将下行指令信息发送至所有的104规约处理服务。104规约处理服务获取该指令信息后，首先通过该指令信息的数据源编号信息来辨别是否该处理该指令信息。如图1所示，104规约处理服务1通过数据源编号信息，判断该下行指令信息为本服务所要处理的指令信息，就将该指令信息进行104规约报文封装，并将封装好的报文信息通过内存数据池访问接口发送至内存数据池。104规约链路服务1获得该下行报文信息后，通过通讯链路发送至104规约数据源1。104规约数据源1接收到下行指令报文后，进行相应的命令响应和操作。

综上所述，由图1可见，单个通讯节点内部的规约链路服务、规约处理服务、数据处理服务和数据分发服务都是通过内存数据池进行数据交互的，他们各自的运行状态不会影响到通讯节点内部其它服务的运行，提高了整个通讯节点的稳定性。同时，通讯节点内部的规约链路服务、规约处理服务和数据处理服务等服务都在通讯节点内部形成了集群，实现了通讯节点内部各种服务的负载均衡，降低了各个服务模块的研发难度，也有利于计算机节点计算机资源的完整利用，降低工程应用成本。

Claims (8)

1.一种配电网系统海量数据通讯处理方法，其特征在于，包括如下步骤：

1)前置通讯服务器中的节点管理服务从配置库中读取前置通讯服务器的配置信息；

2)根据配置信息，分别启动所述前置通讯服务器中的规约链路服务、规约处理服务、数据处理服务及数据分发服务，并根据预设匹配规则，对所述规约链路服务和规约处理服务进行匹配；

3)数据上行时，数据源依次经过规约链路服务、规约处理服务及数据处理服务处理后存入内存数据池，最后根据数据订阅信息，由前置通讯服务器中的数据分发服务转发至应用；

数据下行时，应用发送的指令信息由数据分发服务发送至内存数据池，内存数据池将指令信息发送至各规约处理服务，各规约处理服务根据指令信息中的数据源编码判断是否是自己所要处理的指令信息，是的话，对指令信息进行封装后，通过规约链路服务发送至对应数据源。

2.根据权利要求1所述配电网系统海量数据通讯处理方法，其特征在于，所述规约链路服务、规约处理服务、数据处理服务及数据分发服务均是通过所述前置通讯服务器中的内存数据池进行数据交互。

3.根据权利要求1所述配电网系统海量数据通讯处理方法，其特征在于，所述步骤2)中的预设匹配规则是：一个规约链路服务对应一个及以上的规约处理服务，一个规约处理服务仅对应于一个规约链路服务。

4.根据权利要求1所述配电网系统海量数据通讯处理方法，其特征在于，所述配置信息包括数据源信息、数据点信息、通信链路信息、数据订阅信息及应用信息。

5.根据权利要求2所述配电网系统海量数据通讯处理方法，其特征在于，所述节点管理服务、规约链路服务、规约处理服务、数据处理服务及数据分发服务均为可执行程序，都加载内存数据池访问接口模块。

6.一种专用于实施权利要求1所述方法的配电网系统海量数据通讯处理系统，其特征在于，该系统包括至少一台前置通讯服务器，所述前置通讯服务器中包括节点管理服务、配置库、至少一个规约链路服务、至少一个规约处理服务、至少一个数据处理服务及至少一个数据分发服务。

7.根据权利要求6所述配电网系统海量数据通讯处理系统，其特征在于，所述前置通讯服务器还包括内存数据池，所述规约链路服务、规约处理服务、数据处理服务及数据分发服务均是通过内存数据池进行数据交互。

8.根据权利要求7所述配电网系统海量数据通讯处理系统，其特征在于，所述节点管理服务、规约链路服务、规约处理服务、数据处理服务及数据分发服务均加载内存数据池访问接口模块。