CN116860453A - 分布式消息平台数据处理方法及装置 - Google Patents

Abstract

本申请实施例提供一种分布式消息平台数据处理方法及装置，涉及分布式领域，也可用于金融领域，方法包括：获取生产环境上消息服务集群节点的运行状态数据；根据所述运行状态数据执行对应的综合评估决策；根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群；本申请能够有效提高分布式消息平台的维护效率。

Description

分布式消息平台数据处理方法及装置

技术领域

本申请涉及分布式领域，也可用于金融领域，具体涉及一种分布式消息平台数据处理方法及装置。

背景技术

目前分布式消息系统已经被应用在很多大型公司的实际业务中。在Kafka集群维护过程中，存在需要停止某些节点进行一些维护操作的情况，如删除log文件等操作。这些操作需要停止Topic所有副本所在的Kafka节点，导致涉及到的所有Topic将无法正常对外提供服务，对相关业务造成影响。现有的解决方法是对操作进行规划，通过人工评估实施，但由于很多操作都是对应用有感知的，难以做到对应用使用无影响，所以操作计划通常难以落实。

发明人发现，现有技术方案由于需要人工评估实施，对停止节点的时间点进行沟通规划，通知生产者消费者配合停机，导致处理过程影响涉及Topic无法正常对外提供服务，可能对相关业务造成影响，且处理过程中评估沟通成本大。

发明内容

针对现有技术中的问题，本申请提供一种分布式消息平台数据处理方法及装置，能够有效提高分布式消息平台的维护效率。

为了解决上述问题中的至少一个，本申请提供以下技术方案：

第一方面，本申请提供一种分布式消息平台数据处理方法，包括：

获取生产环境上消息服务集群节点的运行状态数据；

根据所述运行状态数据执行对应的综合评估决策；

根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群。

进一步地，所述获取生产环境上消息服务集群节点的运行状态数据，包括：

接收用户发送的操作指令并启动预设监控组件；

通过所述监控组件对消息服务集群节点的CPU负载、流入流出量、存储消息堆积情况、生产消费情况进行采集监控，得到所述消息服务集群节点的运行状态数据。

进一步地，所述根据所述运行状态数据执行对应的综合评估决策，包括：

根据所述运行状态数据确定消息服务集群节点的流入流出情况和生产消费情况；

根据所述流入流出情况和所述生产消费情况确定并执行对应的综合评估决策。

进一步地，所述根据所述综合评估决策的结果进行节点迁移，包括：

当无生产消费连接时，进行异步操作以不断检测生产消费连接是否已经恢复；

当监测到连接恢复时，将生产消费连接投入到设定缓冲集群，执行完成后再将缓冲集群中的连接切回原消息服务集群节点。

进一步地，所述根据所述综合评估决策的结果进行节点迁移，还包括：

当有生产消费连接时，则根据用户发送的操作命令执行情况和执行时间要求，评估命令执行时机；

根据生产消费连接情况在无生产消费连接时进行操作，或将生产消费连接投入到缓冲集群，执行完成后再将缓冲集群中的连接切回原消息服务集群节点。

进一步地，在所述根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群之前，包括：

向设定缓冲集群发送迁移切换指令，以使所述缓冲集群与对应的生产者节点和消费者节点建立连接；

向与所述消息服务集群节点对应的应用客户端发送迁移切换指令，以使所述应用客户端与所述缓冲集群建立连接。

第二方面，本申请提供一种分布式消息平台数据处理装置，包括：

集群数据获取模块，用于获取生产环境上消息服务集群节点的运行状态数据；

评估决策模块，用于根据所述运行状态数据执行对应的综合评估决策；

节点迁移模块，用于根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群。

进一步地，所述集群数据获取模块包括：

监控组件调用单元，用于接收用户发送的操作指令并启动预设监控组件；

状态数据采集单元，用于通过所述监控组件对消息服务集群节点的CPU负载、流入流出量、存储消息堆积情况、生产消费情况进行采集监控，得到所述消息服务集群节点的运行状态数据。

进一步地，所述评估决策模块包括：

节点数据确定单元，用于根据所述运行状态数据确定消息服务集群节点的流入流出情况和生产消费情况；

决策确定执行单元，用于根据所述流入流出情况和所述生产消费情况确定并执行对应的综合评估决策。

进一步地，所述节点迁移模块包括：

连接恢复监测单元，用于当无生产消费连接时，进行异步操作以不断检测生产消费连接是否已经恢复；

连接恢复执行单元，用于当监测到连接恢复时，将生产消费连接投入到设定缓冲集群，执行完成后再将缓冲集群中的连接切回原消息服务集群节点。

进一步地，所述节点迁移模块还包括：

执行时机评估单元，用于当有生产消费连接时，则根据用户发送的操作命令执行情况和执行时间要求，评估命令执行时机；

连接投入执行单元，用于根据生产消费连接情况在无生产消费连接时进行操作，或将生产消费连接投入到缓冲集群，执行完成后再将缓冲集群中的连接切回原消息服务集群节点。

进一步地，所述节点迁移模块还包括：

第一缓冲连接建立单元，用于向设定缓冲集群发送迁移切换指令，以使所述缓冲集群与对应的生产者节点和消费者节点建立连接；

第二缓冲连接建立单元，用于向与所述消息服务集群节点对应的应用客户端发送迁移切换指令，以使所述应用客户端与所述缓冲集群建立连接。

第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的分布式消息平台数据处理方法的步骤。

第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的分布式消息平台数据处理方法的步骤。

第五方面，本申请提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现所述的分布式消息平台数据处理方法的步骤。

由上述技术方案可知，本申请提供一种分布式消息平台数据处理方法及装置，通过获取生产环境上消息服务集群节点的运行状态数据；根据所述运行状态数据执行对应的综合评估决策；根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群，由此能够有效提高分布式消息平台的维护效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中的分布式消息平台数据处理方法的流程示意图之一；

图2为本申请实施例中的分布式消息平台数据处理方法的流程示意图之二；

图3为本申请实施例中的分布式消息平台数据处理方法的流程示意图之三；

图4为本申请实施例中的分布式消息平台数据处理方法的流程示意图之四；

图5为本申请实施例中的分布式消息平台数据处理方法的流程示意图之五；

图6为本申请实施例中的分布式消息平台数据处理方法的流程示意图之六；

图7为本申请实施例中的分布式消息平台数据处理装置的结构图之一；

图8为本申请实施例中的分布式消息平台数据处理装置的结构图之二；

图9为本申请实施例中的分布式消息平台数据处理装置的结构图之三；

图10为本申请实施例中的分布式消息平台数据处理装置的结构图之四；

图11为本申请实施例中的分布式消息平台数据处理装置的结构图之五；

图12为本申请实施例中的分布式消息平台数据处理装置的结构图之六；

图13为本申请一具体实施例中的架构示意图；

图14为本申请实施例中的方法流程示意图；

图15为本申请实施例中的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。

考虑到现有技术方案由于需要人工评估实施，对停止节点的时间点进行沟通规划，通知生产者消费者配合停机，导致处理过程影响涉及Topic无法正常对外提供服务，可能对相关业务造成影响，且处理过程中评估沟通成本大的问题，本申请提供一种分布式消息平台数据处理方法及装置，通过获取生产环境上消息服务集群节点的运行状态数据；根据所述运行状态数据执行对应的综合评估决策；根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群，由此能够有效提高分布式消息平台的维护效率。

为了能够有效提高分布式消息平台的维护效率，本申请提供一种分布式消息平台数据处理方法的实施例，参见图1，所述分布式消息平台数据处理方法具体包含有如下内容：

步骤S101：获取生产环境上消息服务集群节点的运行状态数据；

可选的，本申请中，Kafka集群提供消息服务，应用生产者客户端、消费者客户端与Kafka集群建立连接，进行消息生产消费。

可选的，在本申请中，可以通过监控采集单元进行生产上现存集群节点的CPU负载、流入流出量、存储消息堆积情况、生产消费情况等数据进行采集监控，传输到服务协调单元。

步骤S102：根据所述运行状态数据执行对应的综合评估决策；

可选的，本申请中，可以根据监控采集单元传入的集群情况及操作指令执行情况进行相应决策，协调连接切换和操作指令执行流程，对于命令执行和连接切换决策结果传输到运维迁移模块。

可选的，本申请可以根据所述运行状态数据确定消息服务集群节点的流入流出情况和生产消费情况，根据所述流入流出情况和所述生产消费情况确定并执行对应的综合评估决策。

步骤S103：根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群。

可选的，本申请可以根据决策协调模块传入的决策结果，对生产消费连接进行切换，将需要集群的生产消费连接切换到缓冲单元的缓冲集群中。

其中，所述缓冲单元接收服务协调单元中运维迁移模块切换的生产消费连接，与对应接入的应用客户端建立连接并提供消息服务，支持应用客户端通过缓冲集群接入进行生产消息、消费消息。

从上述描述可知，本申请实施例提供的分布式消息平台数据处理方法，能够通过获取生产环境上消息服务集群节点的运行状态数据；根据所述运行状态数据执行对应的综合评估决策；根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群，由此能够有效提高分布式消息平台的维护效率。

在本申请的分布式消息平台数据处理方法的一实施例中，参见图2，还可以具体包含如下内容：

步骤S201：接收用户发送的操作指令并启动预设监控组件；

步骤S202：通过所述监控组件对消息服务集群节点的CPU负载、流入流出量、存储消息堆积情况、生产消费情况进行采集监控，得到所述消息服务集群节点的运行状态数据。

可选的，本申请中，Kafka集群提供消息服务，应用生产者客户端、消费者客户端与Kafka集群建立连接，进行消息生产消费。

可选的，在本申请中，可以通过监控采集单元进行生产上现存集群节点的CPU负载、流入流出量、存储消息堆积情况、生产消费情况等数据进行采集监控，传输到服务协调单元。

在本申请的分布式消息平台数据处理方法的一实施例中，参见图3，还可以具体包含如下内容：

步骤S301：根据所述运行状态数据确定消息服务集群节点的流入流出情况和生产消费情况；

步骤S302：根据所述流入流出情况和所述生产消费情况确定并执行对应的综合评估决策。

可选的，本申请可以根据监控采集单元传入的集群情况及操作指令执行情况进行相应决策，协调连接切换和操作指令执行流程，对于命令执行和连接切换决策结果传输到运维迁移模块。

可选的，本申请可以根据决策协调模块传入的决策结果，对生产消费连接进行切换，将需要集群的生产消费连接切换到缓冲单元的缓冲集群中。

其中，所述缓冲单元接收服务协调单元中运维迁移模块切换的生产消费连接，与对应接入的应用客户端建立连接并提供消息服务，支持应用客户端通过缓冲集群接入进行生产消息、消费消息。

在本申请的分布式消息平台数据处理方法的一实施例中，参见图4，还可以具体包含如下内容：

步骤S401：当无生产消费连接时，进行异步操作以不断检测生产消费连接是否已经恢复；

步骤S402：当监测到连接恢复时，将生产消费连接投入到设定缓冲集群，执行完成后再将缓冲集群中的连接切回原消息服务集群节点。

可选的，本申请可以当需要进行维护操作时，服务协调模块根据监控模块采集的数据判断集群的流入流出情况及生产消费情况，将决策结果报送运维迁移模块。当无生产消费连接时，进行异步操作，在维护过程中，监控模块不断检测生产消费连接是否已经恢复，一旦连接恢复，运维迁移模块即刻将生产消费连接投入到缓冲模块，执行完成后再将缓冲模块中的连接切回原集群。

在本申请的分布式消息平台数据处理方法的一实施例中，参见图5，还可以具体包含如下内容：

步骤S501：当有生产消费连接时，则根据用户发送的操作命令执行情况和执行时间要求，评估命令执行时机；

步骤S502：根据生产消费连接情况在无生产消费连接时进行操作，或将生产消费连接投入到缓冲集群，执行完成后再将缓冲集群中的连接切回原消息服务集群节点。

可选的，本申请中，当有生产消费连接时，则根据操作命令执行情况和执行时间要求，评估命令执行时机，根据生产消费连接情况在无生产消费连接时进行操作，或将生产消费连接投入到缓冲模块，执行完成后再将缓冲模块中的连接切回原集群。

在本申请的分布式消息平台数据处理方法的一实施例中，参见图6，还可以具体包含如下内容：

步骤S601：向设定缓冲集群发送迁移切换指令，以使所述缓冲集群与对应的生产者节点和消费者节点建立连接；

步骤S602：向与所述消息服务集群节点对应的应用客户端发送迁移切换指令，以使所述应用客户端与所述缓冲集群建立连接。

可选的，本申请中的缓冲单元为接收服务协调单元切换生产消费连接而搭建的缓冲集群，接收服务协调单元中运维迁移模块切换的生产消费连接，与对应接入的应用客户端建立连接并提供消息服务，支持应用客户端通过缓冲集群接入进行生产消息、消费消息，并根据服务协调单元中运维迁移模块的决策命令断开生产消费连接。

为了能够有效提高分布式消息平台的维护效率，本申请提供一种用于实现所述分布式消息平台数据处理方法的全部或部分内容的分布式消息平台数据处理装置的实施例，参见图7，所述分布式消息平台数据处理装置具体包含有如下内容：

集群数据获取模块10，用于获取生产环境上消息服务集群节点的运行状态数据；

评估决策模块20，用于根据所述运行状态数据执行对应的综合评估决策；

节点迁移模块30，用于根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群。

从上述描述可知，本申请实施例提供的分布式消息平台数据处理装置，能够通过获取生产环境上消息服务集群节点的运行状态数据；根据所述运行状态数据执行对应的综合评估决策；根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群，由此能够有效提高分布式消息平台的维护效率。

在本申请的分布式消息平台数据处理装置的一实施例中，参见图8，所述集群数据获取模块10包括：

监控组件调用单元11，用于接收用户发送的操作指令并启动预设监控组件；

状态数据采集单元12，用于通过所述监控组件对消息服务集群节点的CPU负载、流入流出量、存储消息堆积情况、生产消费情况进行采集监控，得到所述消息服务集群节点的运行状态数据。

在本申请的分布式消息平台数据处理装置的一实施例中，参见图9，所述评估决策模块20包括：

节点数据确定单元21，用于根据所述运行状态数据确定消息服务集群节点的流入流出情况和生产消费情况；

决策确定执行单元22，用于根据所述流入流出情况和所述生产消费情况确定并执行对应的综合评估决策。

在本申请的分布式消息平台数据处理装置的一实施例中，参见图10，所述节点迁移模块30包括：

连接恢复监测单元31，用于当无生产消费连接时，进行异步操作以不断检测生产消费连接是否已经恢复；

连接恢复执行单元32，用于当监测到连接恢复时，将生产消费连接投入到设定缓冲集群，执行完成后再将缓冲集群中的连接切回原消息服务集群节点。

在本申请的分布式消息平台数据处理装置的一实施例中，参见图11，所述节点迁移模块30还包括：

执行时机评估单元33，用于当有生产消费连接时，则根据用户发送的操作命令执行情况和执行时间要求，评估命令执行时机；

连接投入执行单元34，用于根据生产消费连接情况在无生产消费连接时进行操作，或将生产消费连接投入到缓冲集群，执行完成后再将缓冲集群中的连接切回原消息服务集群节点。

在本申请的分布式消息平台数据处理装置的一实施例中，参见图12，所述节点迁移模块30还包括：

第一缓冲连接建立单元35，用于向设定缓冲集群发送迁移切换指令，以使所述缓冲集群与对应的生产者节点和消费者节点建立连接；

第二缓冲连接建立单元36，用于向与所述消息服务集群节点对应的应用客户端发送迁移切换指令，以使所述应用客户端与所述缓冲集群建立连接。

为了更进一步说明本方案，本申请还提供一种应用上述分布式消息平台数据处理装置实现分布式消息平台数据处理方法的具体应用实例，具体包含有如下内容：

参见图13，本申请可以概括为图13的系统，客户端单元101包含生产者客户端和消费者客户端，与Kafka集群102建立连接生产消费消息。监控采集单元103监控Kafka集群的生产消费情况，并将监控数据传入104单元。服务协调单元104包括决策协调模块和运维迁移模块，决策协调模块根据操作命令执行情况和监控采集单元的监控数据进行综合评估决策，并将决策结果报送运维迁移模块，运维迁移模块根据决策协调模块的结果进行迁移，将生产消费连接迁移到缓冲单元105，当维护操作结束后将生产消费连接从缓冲单元105迁移到Kafka集群102。

详细说明如下：

101客户端单元：接入Kafka应用客户端，包括生产者客户端、消费者客户端，作为Kafka主题的上下游接入Kafka集群，发送获取元数据请求并接收元数据信息，与Kafka集群节点建立连接进行数据生产、消费。

102Kafka集群：支持应用客户端通过Topic主题接入，进行消息生产、消息消费，接收元数据请求并返回元数据信息，与对应接入的应用客户端建立连接并提供消息服务。根据服务协调单元的决策协调模块控制集群Topic启停服务。

103监控采集单元：通过监控组件对集群节点的CPU负载、流入流出量、存储消息堆积情况、生产消费情况等数据进行采集监控。对集群性能数据传输到服务协调单元的决策协调模块。

104服务协调单元：包括决策协调模块和运维迁移模块，根据集群情况及操作指令执行情况进行相应操作，保证业务的连续性和稳定性。决策协调模块根据操作命令执行情况和监控采集单元的监控数据进行综合评估决策，运维迁移模块根据决策协调模块的结果进行迁移，将生产者消费者连接迁移到缓冲单元105，或者从缓冲单元105迁移到Kafka集群102。

当需要进行维护操作时，服务协调模块根据监控模块采集的数据判断集群的流入流出情况及生产消费情况，将决策结果报送运维迁移模块。当无生产消费连接时，进行异步操作，在维护过程中，监控模块不断检测生产消费连接是否已经恢复，一旦连接恢复，运维迁移模块即刻将生产消费连接投入到缓冲模块，执行完成后再将缓冲模块中的连接切回原集群；当有生产消费连接时，则根据操作命令执行情况和执行时间要求，评估命令执行时机，根据生产消费连接情况在无生产消费连接时进行操作，或将生产消费连接投入到缓冲模块，执行完成后再将缓冲模块中的连接切回原集群。

105缓冲单元：为接收104服务协调单元切换生产消费连接而搭建的缓冲集群，接收104服务协调单元中运维迁移模块切换的生产消费连接，与对应接入的应用客户端建立连接并提供消息服务，支持应用客户端通过缓冲集群接入进行生产消息、消费消息，并根据104服务协调单元中运维迁移模块的决策命令断开生产消费连接。

参见图14，为本申请实现用户无感的Kafka集群高可用维护方案的方法流程图，包括：

步骤A201，Kafka集群提供消息服务，101应用生产者客户端、消费者客户端与102Kafka集群建立连接，进行消息生产消费。

步骤A202，通过103监控采集单元，进行生产上现存集群节点的CPU负载、流入流出量、存储消息堆积情况、生产消费情况等数据进行采集监控，传输到104服务协调单元。

步骤A203，104单元的决策协调模块根据监控采集单元传入的集群情况及操作指令执行情况进行相应决策，协调连接切换和操作指令执行流程，对于命令执行和连接切换决策结果传输到运维迁移模块。

步骤A204，104单元的运维迁移模块根据决策协调模块传入的决策结果，对生产消费连接进行切换，将需要集群的生产消费连接切换到105缓冲单元的缓冲集群中。

步骤A205，105缓冲单元接收104服务协调单元中运维迁移模块切换的生产消费连接，与102单元中对应接入的应用客户端建立连接并提供消息服务，支持应用客户端通过缓冲集群接入进行生产消息、消费消息。

步骤A206，通过103监控采集单元，对缓冲模块节点的CPU负载、流入流出量、存储消息堆积情况、生产消费情况等数据进行采集监控，传输到104服务协调单元。

步骤A207，104单元的运维迁移模块在生产消费连接切换后，确认原Kafka集群无生产消费连接后，执行操作命令。

步骤A208，104单元的运维迁移模块在执行操作命令后，将生产消费连接切换回原Kafka集群。

步骤A209，102原Kafka集群接收104服务协调单元中运维迁移模块切换的生产消费连接，与102单元中对应接入的应用客户端建立连接并提供消息服务，恢复提供正常的生产消费服务。

有上述内容可知，本申请具备在维护操作时提供持续服务的能力，减少维护操作时的人工评估实施影响，保障维护期间Topic正常对外提供服务，支撑相关业务持续稳定运行。

从硬件层面来说，为了能够有效提高分布式消息平台的维护效率，本申请提供一种用于实现所述分布式消息平台数据处理方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：

处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现分布式消息平台数据处理装置与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输；该逻辑控制器可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该逻辑控制器可以参照实施例中的分布式消息平台数据处理方法的实施例，以及分布式消息平台数据处理装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。

可以理解的是，所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。

在实际应用中，分布式消息平台数据处理方法的部分可以在如上述内容所述的电子设备侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。

上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。

图15为本申请实施例的电子设备9600的系统构成的示意框图。如图15所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图15是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。

一实施例中，分布式消息平台数据处理方法功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：

步骤S101：获取生产环境上消息服务集群节点的运行状态数据；

步骤S102：根据所述运行状态数据执行对应的综合评估决策；

步骤S103：根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群。

从上述描述可知，本申请实施例提供的电子设备，通过获取生产环境上消息服务集群节点的运行状态数据；根据所述运行状态数据执行对应的综合评估决策；根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群，由此能够有效提高分布式消息平台的维护效率。

在另一个实施方式中，分布式消息平台数据处理装置可以与中央处理器9100分开配置，例如可以将分布式消息平台数据处理装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现分布式消息平台数据处理方法功能。

如图15所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图15中所示的所有部件；此外，电子设备9600还可以包括图15中没有示出的部件，可以参考现有技术。

如图15所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。

其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。

输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。

该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。

存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。

通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。

基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。

本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的分布式消息平台数据处理方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的分布式消息平台数据处理方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：

步骤S101：获取生产环境上消息服务集群节点的运行状态数据；

步骤S102：根据所述运行状态数据执行对应的综合评估决策；

步骤S103：根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群。

从上述描述可知，本申请实施例提供的计算机可读存储介质，通过获取生产环境上消息服务集群节点的运行状态数据；根据所述运行状态数据执行对应的综合评估决策；根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群，由此能够有效提高分布式消息平台的维护效率。

本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的分布式消息平台数据处理方法中全部步骤的一种计算机程序产品，该计算机程序/指令被处理器执行时实现所述的分布式消息平台数据处理方法的步骤，例如，所述计算机程序/指令实现下述步骤：

步骤S101：获取生产环境上消息服务集群节点的运行状态数据；

步骤S102：根据所述运行状态数据执行对应的综合评估决策；

步骤S103：根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群。

从上述描述可知，本申请实施例提供的计算机程序产品，通过获取生产环境上消息服务集群节点的运行状态数据；根据所述运行状态数据执行对应的综合评估决策；根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群，由此能够有效提高分布式消息平台的维护效率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种分布式消息平台数据处理方法，其特征在于，所述方法包括：

获取生产环境上消息服务集群节点的运行状态数据；

根据所述运行状态数据执行对应的综合评估决策；

根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群。

2.根据权利要求1所述的分布式消息平台数据处理方法，其特征在于，所述获取生产环境上消息服务集群节点的运行状态数据，包括：

接收用户发送的操作指令并启动预设监控组件；

通过所述监控组件对消息服务集群节点的CPU负载、流入流出量、存储消息堆积情况、生产消费情况进行采集监控，得到所述消息服务集群节点的运行状态数据。

3.根据权利要求1所述的分布式消息平台数据处理方法，其特征在于，所述根据所述运行状态数据执行对应的综合评估决策，包括：

根据所述运行状态数据确定消息服务集群节点的流入流出情况和生产消费情况；

根据所述流入流出情况和所述生产消费情况确定并执行对应的综合评估决策。

4.根据权利要求1所述的分布式消息平台数据处理方法，其特征在于，所述根据所述综合评估决策的结果进行节点迁移，包括：

当无生产消费连接时，进行异步操作以不断检测生产消费连接是否已经恢复；

当监测到连接恢复时，将生产消费连接投入到设定缓冲集群，执行完成后再将缓冲集群中的连接切回原消息服务集群节点。

5.根据权利要求1所述的分布式消息平台数据处理方法，其特征在于，所述根据所述综合评估决策的结果进行节点迁移，还包括：

当有生产消费连接时，则根据用户发送的操作命令执行情况和执行时间要求，评估命令执行时机；

根据生产消费连接情况在无生产消费连接时进行操作，或将生产消费连接投入到缓冲集群，执行完成后再将缓冲集群中的连接切回原消息服务集群节点。

6.根据权利要求1所述的分布式消息平台数据处理方法，其特征在于，在所述根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群之前，包括：

向设定缓冲集群发送迁移切换指令，以使所述缓冲集群与对应的生产者节点和消费者节点建立连接；

向与所述消息服务集群节点对应的应用客户端发送迁移切换指令，以使所述应用客户端与所述缓冲集群建立连接。

7.一种分布式消息平台数据处理装置，其特征在于，包括：

集群数据获取模块，用于获取生产环境上消息服务集群节点的运行状态数据；

评估决策模块，用于根据所述运行状态数据执行对应的综合评估决策；

节点迁移模块，用于根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述的分布式消息平台数据处理方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6任一项所述的分布式消息平台数据处理方法的步骤。

10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至6任一项所述的分布式消息平台数据处理方法的步骤。