CN109302319B - 报文池分布式集群及其管理方法 - Google Patents

Abstract

本发明涉及报文池分布式集群及其管理方法，属于报文池的数据传输技术领域，包括报文池服务节点管理工具、报文池访问接口和至少两个报文池服务节点，报文池服务节点管理工具用于对报文池服务节点上的应用服务和接入服务进行注册登记，进行对接应用服务和接入服务的报文池服务节点的分配，报文池服务节点用于存储经报文池服务节点管理工具分配的报文，报文池访问接口用于实现对报文的上送和下发。本发明解决了报文存储管理无法满足数据量大、容易造成数据丢失的问题，保证了数据传输的准确性及高效性。

Description

报文池分布式集群及其管理方法

技术领域

本发明属于报文池的数据传输技术领域，具体涉及报文池分布式集群及其管理方法。

背景技术

前置信息采集系统中的数据传递是一种基于报文的消息通讯，现有技术中对于报文的存储与管理是采用主备报文池技术，至少设置主备两台通讯服务器，数据源分别向主备通讯服务器发送报文信息；在通讯服务器内部，接收报文并存入相应的报文池中，应用层通过报文池访问接口进行报文的交互工作，例如公告号为CN101621535B的中国专利提出的“一种实时监控系统网络通讯方法和装置”，包括主备通讯服务器、工作池，备份池和镜像池，数据源发送报文，存储到工作池，备份池和镜像池中，供上层接口调用。

上述方法结构简单，易于部署，但存在数据的安全性及时效性的问题，但随着数字化电网的不断深入，需要采集的数据点属性越来越多，数据量庞大，采集频率越来越频繁，当数据量巨大时，报文的出入队列频繁，易造成数据丢失；当数据量巨大时，对于当前的主备报文服务器系统，当某一应用服务端宕机后，报文池不能及时获取应用服务的在线状态，导致上行的报文信息的堵塞，也会造成报文的丢失。

发明内容

本发明的目的是提供报文池分布式集群及其管理方法，以解决目前的报文存储管理无法满足数据量大、容易造成数据丢失的问题。

为解决上述技术问题，本发明提出一种报文池分布式集群，包括报文池服务节点管理工具、报文池访问接口和至少两个报文池服务节点，报文池服务节点管理工具用于对报文池服务节点上的应用服务和接入服务进行注册登记，分配对接应用服务和接入服务的报文池服务节点，报文池服务节点用于存储经报文池服务节点管理工具分配的报文，报文池访问接口用于实现对报文的上送和下发。

本发明通过设置两个以上的报文池服务节点，并分配与应用服务和接入服务对接的报文池服务节点，对报文进行分布式集群管理，实现了分布式并行访问的效果，有助于提高数据传输的可靠性、数据读写效率及可扩展性，保证了数据传输的准确性及高效性。

为确保报文的上送和下发，报文池服务节点包括一台主服务器、至少一台从服务器，主服务器和从服务器中均设置有对应的上行池和下行池，上行池用于存储接入服务发送的报文，下行池用于存储应用服务发送的报文。

为保证主服务器故障后报文的上送和下发，报文池服务节点管理工具还用于在确认主服务器发生故障后进行主备切换，从服务器切换为主服务器进行接收报文工作；当原主服务器恢复工作状态后切换为从服务器，进行同步备份主服务器中的报文工作。

作为对报文池服务节点对传输报文的进一步限定，各报文池服务节点通过报文池访问接口将报文上送至订阅报文的应用服务，应用服务确认报文处理完毕后将报文删除。

为避免不必要的报文流，接入服务在进行数据源上送时，报文池服务节点管理工具还用于获取相应应用服务的在线状态，当相应应用服务处于在线时，将数据源通过报文池访问接口发送至相应报文池服务节点中的上行池。

同样，为避免不必要的报文流，应用服务在下发报文时，报文池服务节点管理工具还用于获取相应数据源的在线状态，当相应数据源处于在线时，将报文发送至相应报文池服务节点中的下行池。

为实现报文池服务节点的分配，报文池服务节点管理工具根据接入数据源的数据类型、数据源通道的数量、数据源采集的数据点的个数和报文池服务节点参数中的至少一个，分配对接应用服务和接入服务的报文池服务节点。

为解决上述技术问题，本发明还提出一种基于上述报文池分布式集群的管理方法，包括以下步骤：

1)设置至少两个报文池服务节点；

2)分配对接应用服务和接入服务的报文池服务节点；

3)将接收应用服务和接入服务的报文存储到相应的报文池服务节点中。

本发明的通过设置两个以上的报文池服务节点，按照上述方法分配进行报文池服务节点的分配，并将相应报文存储到相应的报文池服务节点中，保证了数据传输的准确性及高效性，实现了报文的分布式并行访问，以及报文的分布式集群管理。

为确保报文的上送和下发，每个报文池服务节点包括一台主服务器、至少一台从服务器，主服务器和从服务器中均设置有对应的上行池和下行池，上行池用于存储接入服务发送的报文，下行池用于存储应用服务发送的报文。

为保证主服务器故障后报文的上送和下发，还包括：在确认主服务器发生故障后进行主备切换，从服务器切换为主服务器进行接收报文工作；当原主服务器恢复工作状态后切换为从服务器，进行同步备份主服务器中的报文工作。

附图说明

图1是本发明的一种报文池分布式集群示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的说明。

报文池分布式集群实施例：

如图1所示的报文池分布式集群，包括报文池服务节点管理工具、报文池访问接口和至少两个报文池服务节点(图1中显示的是三个报文池服务节点)，报文池服务节点管理工具用于对各报文池服务节点上的应用服务和接入服务进行注册登记，并根据接入数据源的数据类型、数据源通道的数量、数据源采集的数据点的个数和报文池服务节点参数进行报文池服务节点的分配，分配报文池服务节点存储和传输的报文，报文池服务节点用于存储经报文池服务节点管理工具分配的报文，报文池访问接口用于实现对报文的上送和下发。

具体的，以报文池分布式集群作为电信息采集系统中存储系统为例，如图1所示，报文池服务节点管理工具上存储的各报文池服务节点(报文池服务节点1、报文池服务节点2和报文池服务节点3)与应用服务群(包含应用服务1、应用服务2和应用服务3，每个应用服务至少由一台计算机运行)和报文接入服务群(包含报文接入服务1、报文接入服务2和报文接入服务3，每个报文接入服务至少由一台计算机运行)的连接信息，通过报文池服务节点管理工具对接入数据源的数据类型、数据源通道的数量、数据源采集的数据点的个数和报文池服务节点参数进行计算比较后，进行调度和管理报文池服务节点与应用服务群及报文接入服务群的通信连接，并反馈给已经有报文写入请求的报文接入服务所发送的目的应用服务的在线状态，当在线状态为在线时，由报文接入服务将报文通过报文池访问接口，存入报文池分布式集群对应的报文池服务节点。

在报文池分布式集群内部，对于每一个报文池服务节点，均有一台主服务器及至少一台从服务器，每台主/从服务器中的报文池，均包括上行池与下行池，将报文接入服务所发送的报文存入上行池中，将应用服务所发送的报文存入下行池。应用服务从主服务的上行池中取走相应报文数据，并将其删除；报文接入服务从主服务器的下行池中取走相应报文数据，并将其从下行池中删除；主服务器负责将数据同步到从服务器上，当主服务器出现异常情况(如主服务器发生故障)后，由报文池服务节点管理工具进行异常情况确认后，进行主备切换。

本实施例的报文接入服务群是一台或多台运行报文接入服务的计算机，负责采集前置信息采集系统所采集的原始报文信息、报文接入服务的类型及数量，由配置工具所生成的配置文件进行动态启动，报文接入服务与数据源的连接也是由配置文件动态创建的。报文接入服务接收并分析数据源所上送的报文信息，解析此报文的发送目的地服务器，即应用服务，并获取相应应用服务的在线状态，在获取应用服务的在线状态并确认为在线后通过报文池访问接口进行发送。

报文池分布式集群的工作过程如下：

通过配置工具所生成的配置文件进行动态启动报文接入服务群，并进行数据源的连接，将数据源所发送的报文进行简单的解析后，通过报文池服务节点管理工具获取应用服务的在线状态并确认在线后，发送上行报文到报文池分布式集群内部的上行池。对应的，通过配置工具所生成的配置文件进行动态启动应用服务群，对所订阅的报文进行读取(报文池服务节点通过报文池访问接口将报文上送至订阅报文的应用服务)，读取后进行相应的清理工作；同时，应用服务群中的应用服务下发报文之前，通过报文池服务节点管理工具获取相应数据源的在线状态后发送下行报文到报文池分布式集群的内部的下行池，报文接入服务群通过报文池访问接口接收下行数据并发送给数据源，在报文读取后进行清理工作。当报文池分布式集群内部某一主服务器存在故障以后，均能通过报文池服务节点管理工具进行主备切换或进行报文池服务节点的变更，从而保证数据的完整性。

上述上行报文与下行报文发送之前由报文池服务节点管理工具进行应用服务与相应数据源的在线状态查询工作，以避免不必要的报文流。

上述报文池服务节点管理工具采用以步骤分配报文池服务节点：

对数据类型时效性要求高的数据，分配到专门处理时效高的报文池服务节点，报文池服务节点管理工具根据已经分配到报文池服务节点的数据源通道的数量、数据源采集的数据点个数，将准备接入的数据源分配到处理较少节点的报文池服务节点，或者根据报文池服务节点参数，将准备接入的数据源分配到运行参数较低的报文池服务节点上，可由报文池服务节点管理工具设置接入时依据何种计算方法，如同时使用多种计算方法可为其设置优先级，以此来均衡各个报文池服务节点。

上述报文池服务节点参数优选为报文池服务节点的连接状态、流量统计、主备运行状态、内存使用率和CPU使用率，作为其他实施方式，可以仅选择其中一个或几个报文池服务节点参数用于分配报文池服务节点。

本发明满足了大量报文缓存的需求，通过分布式集群管理，保证了海量报文的安全性，提高了报文池分布式集群的可用性及动态扩容的需求，根据数据源的类型分配接入服务器群和应用服务群，保证了数据的准确性及高效性。

管理方法实施例：

基于上述报文池分布式集群，提出了报文池分布式集群的管理方法，包括以下步骤：

按照数据源的类型及数量动态启动不同的报文接入服务，进行动态的数据源接入；使用配置工具进行报文接入服务对数据源的采集；报文接入服务将从数据源群采集到的报文通过报文池访问接口分布式存储在分配的报文池服务节点中。

每个报文池服务节点包括一台主服务器、至少一台从服务器，主服务器和从服务器中均设置有对应的上行池和下行池，上行池用于存储接入服务(报文接入服务的简称)发送的上行报文，下行池用于存储应用服务发送的下行报文。

对所有登陆到报文池服务节点上的应用服务及接入服务进行注册登记，用于报文写入请求，对于各个报文池服务节点的优选数据源类型进行登记，获取各个报文池服务节点的连接状态、主备机状态、内存使用率和CPU使用率，待接入数据源的数据类型，数据源通道的数量，数据源采集的数据点的个数，用于进行报文池服务节点的动态分配。

将主服务器收到的报文在从服务器上进行数据实时同步，定时检查主备服务器状态，如果主服务器异常，将会进行主备切换，即在确认主服务器发生故障后进行主备切换，从服务器切换为主服务器进行接收报文工作；当原主服务器恢复工作状态后切换为从服务器，进行同步备份主服务器中的报文工作。

根据上述信息完成数据源的报文接入服务与报文池服务节点的通信分配，及报文池服务节点与应用服务的通信分配。

上述应用服务根据配置工具所进行的配置信息进行对报文的分布式访问，包括数据的读取与写入。

上述上行报文与下行报文发送之前需要对接入服务和应用服务的在线状态查询工作，避免不必要的报文流。其中，上行报文为：报文经数据源依次经过接入服务后存入报文池服务节点中，然后根据数据订阅信息，转发至应用服务的报文；下行报文为：应用服务发送的指令报文经由报文池服务节点发送至接入服务，再通过接入服务发送至对应数据源的报文。

本发明的报文池分布式集群管理的方法，对前置信息采集系统报文池存储进行了集群化改造，充分发挥分布式集群管理的优势，有效提高数据处理的可靠性、处理效率和扩展性，进一步保障分布式集群的稳定可靠运行，为“大运行”体系高标准建设和大电网安全运行提供有力保障，具有很好的推广价值。

对于以上两个实施例而言，在分配报文池服务节点时，也可以根据接入数据源的数据类型、数据源通道的数量、数据源采集的数据点的个数和报文池服务节点参数中的一个或几个进行选择；或者，直接按照设定的顺序分配报文池服务节点。

Claims (5)

1.一种报文池分布式集群，其特征在于，该报文池分布式集群包括报文池服务节点管理工具、报文池访问接口和至少两个报文池服务节点；

所述报文池服务节点管理工具用于对报文池服务节点上的应用服务和接入服务进行注册登记，分配对接应用服务和接入服务的报文池服务节点，存储各报文池服务节点、应用服务群和报文接入服务群的连接信息，通过报文池服务节点管理工具对接入数据源的数据类型、数据源通道的数量、数据源采集的数据点个数和报文池接电参数进行比较后进行调度和管理报文池服务节点和应用服务群及报文接入服务群的通信连接，接入服务在进行数据源上送时用于获取相应应用服务的在线状态，相应应用服务处于在线时将数据源通过报文池访问接口发送至相应报文池服务节点中的上行池，应用服务在下发报文时用于获取相应数据源的在线状态，相应数据源处于在线时，将报文发送至相应报文池服务节点中的下行池；

所述报文池服务节点用于存储经报文池服务节点管理工具分配的报文，包括一台主服务器、至少一台从服务器，主服务器和从服务器中均设置有对应的上行池和下行池，上行池用于存储接入服务发送的报文，下行池用于存储应用服务发送的报文，报文池服务节点通过报文池访问接口将报文上送至订阅报文的应用服务，应用服务确认报文处理完毕后将报文删除；

所述报文池访问接口用于实现对报文的上送和下发。

2.根据权利要求1所述的报文池分布式集群，其特征在于，所述报文池服务节点管理工具还用于在确认主服务器发生故障后进行主备切换，从服务器切换为主服务器进行接收报文工作；当原主服务器恢复工作状态后切换为从服务器，进行同步备份主服务器中的报文工作。

3.根据权利要求1所述的报文池分布式集群，其特征在于，报文池服务节点管理工具根据接入数据源的数据类型、数据源通道的数量、数据源采集的数据点的个数和报文池服务节点参数中的至少一个进行计算，分配对接应用服务和接入服务的报文池服务节点。

4.一种如权利要求1所述的报文池分布式集群的管理方法，其特征在于，包括以下步骤：

1)设置至少两个报文池服务节点；

2)分配对接应用服务和接入服务的报文池服务节点；

3)将接收应用服务和接入服务的报文存储到相应的报文池服务节点中。

5.根据权利要求4所述的报文池分布式集群的管理方法，其特征在于，还包括：在确认主服务器发生故障后进行主备切换，从服务器切换为主服务器进行接收报文工作；当原主服务器恢复工作状态后切换为从服务器，进行同步备份主服务器中的报文工作。

Images