CN110011872A - 一种基于诊断消息的流式计算平台状态监控方法和装置 - Google Patents

Abstract

本发明公开了一种基于诊断消息的流式计算平台状态监控方法和装置，通过构造与业务消息内容格式一致的诊断消息对流式计算平台监控状态进行探测，诊断消息的发送接收都由消息中间件即状态监控装置来传递，根据诊断消息处理结果及诊断消息处理结果的id和内容对流式计算平台状态进行监控，及时发现系统异常并给出初步诊断，从而有效避免了监控业务对流式计算平台业务逻辑的侵入，降低了状态监控业务的实现成本和复杂度，有效降低了系统模块间的耦合度，是一种轻量级的实现方法，更加便于市场的推广和应用。

Description

一种基于诊断消息的流式计算平台状态监控方法和装置

技术领域

本发明属于系统运维技术领域，具体涉及一种基于诊断消息的流式计算平台状态监控方法和装置。

背景技术

在当今的移动互连时代，每天世界各地的传感器、移动设备、在线交易和社交网络都会实时产生海量数据。许多服务需要对这些源源不断产生的各种类型的数据做出迅速响应。由于数据的流速、流向随时的变化，以及需要及时、实时的响应数据的处理结果，擅长大吞吐量批量式处理的离线数据计算系统不能很好的应对实时的数据处理场景。所以流式计算平台应运而生，它更强调实时性，能对输入数据进行迅速的复杂处理，并实时返回处理结果。

在流式计算场景中，低延迟、高吞吐的消息队列是流式计算平台天然的伙伴。外部源源不断的输入的数据，被消息队列包装成消息后提交给流式计算平台处理。现有的实现流式计算平台状态监控的方法主要采用以下两种：

现有技术方案一：在处理流程中埋入数据采集逻辑，实时收集相应的系统状态，并将当前状态写入日志。监控装置源源不断收集日志并计算整合。其缺点在于，监控代码会侵入业务逻辑，造成系统耦合。

现有技术方案二：利用所使用的组件提供的监控接口，定时读取系统状态和运行时监控数据来分析当前系统状况。其缺点在于只能读到比较笼统的运行级监控数据，同时还需要将所有组件的监控数据整合，有较高的实现和维护成本。

对流式计算平台健康状态的监控是日常系统运维的核心工作。现在对系统监控面临如下挑战：1、流式计算平台需要监控的目标较多，实时、多维度的监控难度和成本较高；2、流式计算过程可能依赖多个外部组件或者系统的配合才能完成数据处理，所以如何将外部组件的状态监控整合起来，并在风险和异常出现的时候及时定位到哪个组件或者环节出错是一个头痛的问题；3、一般我们需要在业务代码中嵌入监控逻辑以完成监控功能，但这样对业务代码造成侵入，降低了代码的可维护性。

发明内容

本发明的目的在于：解决目前流式计算平台状态监控方法存在监控代码会侵入业务逻辑，造成系统耦合和读取数据需要将所有组件的监控数据整合，实现和维护成本高的问题。

本发明采用的技术方案如下：

一种基于诊断消息的流式计算平台状态监控方法，方法如下：

配置监控策略，包括有诊断消息的Topic、诊断周期、诊断消息发送间隔、流速阈值、需要检测的外部组件，监控策略与诊断消息的Topic对应；

状态监控装置按照配置好的监控策略生成诊断消息，并将其记录到数据库中，诊断消息的内容格式与业务消息一致，通过诊断消息的Tbpic区分业务消息和诊断消息，数据库记录的诊断消息的key即为诊断消息的id，每生成一次诊断消息，诊断消息的id+1；

状态监控装置将生成的诊断消息发送至消息队列与业务消息混合，混合后的诊断消息与业务消息被流式计算平台接收，流式计算平台对对业务消息和诊断消息进行处理并发送诊断消息处理结果；

状态监控装置接收诊断消息处理结果，根据诊断消息处理结果及诊断消息处理结果的id和内容对流式计算平台状态进行监控。

进一步，所述步骤3中混合的诊断消息和业务消息被流式计算平台接收，流式计算平台对诊断消息进行处理并发送诊断消息处理结果的具体步骤包括：

流式计算平台接收到混合的诊断消息和业务消息后，按流式计算平台已定义好的无回路有向图对业务消息和诊断消息进行处理，得到业务消息和诊断消息处理结果；

上述处理过程完成后，将业务消息和诊断消息处理结果发送至消息队列。

进一步，所述状态监控装置根据诊断消息处理结果对流式计算平台状态进行监控的具体方法为：状态监控装置根据诊断消息的id和内容进行定时检查是否收到诊断消息处理结果，该方法的监控情况具体包括：

(4.1)、在1个诊断周期内，检查到诊断消息处理结果的中间结果未被写入流式计算平台的外部数据库时，则监控到流式计算平台的外部数据库异常；

(4.2)、在2个诊断周期内，检查到未收到诊断消息处理结果时，则监控到诊断消息在处理过程中丢失，流式计算平台的消息处理过程发生故障或消息队列瘫痪；

(4.3)、在2个诊断周期内，检查到接收到诊断消息处理结果，但接收到的诊断消息处理结果的id与发送的诊断消息的id不一致时，则监控到诊断消息在处理过程中丢失，流式计算平台的消息处理过程发生故障；

(4.4)、在2个诊断周期内，检查到接收到诊断消息处理结果，诊断消息处理结果的id与发送的诊断消息的id一致且诊断消息处理结果的id连续，则判断诊断消息处理时间是否大于阈值，如大于，则监控到流式计算平台的消息处理流速异常；

(4.5)、在3个诊断周期内，检查到诊断消息处理结果的中间结果未被写入流式计算平台的外部文件系统时，则监控到流式计算平台的外部文件系统异常。

进一步，所述方法中每一种监控情况当监控到问题时都发送告警信息，在设定时间内当告警信息累积量超过阈值时，则提升告警信息发送频率，如流式计算平台状态的异常逐步恢复正常，则发送状态恢复的提示信息。

一种基于诊断消息的流式计算平台状态监控装置，装置包括：

诊断消息配置模块：用于配置监控策略；

诊断消息构造模块：用于定时生成诊断消息，并将诊断消息记录到数据库中；

诊断消息发送模块：将构造好的诊断消息发送到消息队列与业务消息混合，然后被流式计算平台接收，流式计算平台对对业务消息和诊断消息进行处理并发送诊断消息处理结果；

诊断消息接收模块：用于接收流式计算平台的诊断消息处理结果；

流式计算平台状态监控模块：按照诊断周期，检查诊断消息处理结果的中间结果是否正确写入流式计算平台的外部文件系统和数据库以及根据接收到的诊断消息处理结果信息监控流式计算平台状态是否异常。

进一步，装置还包括告警发送模块，如果流式计算平台状态监控模块监控到状态异常，则将异常状态通知告警发送模块，告警发送模块根据状态异常情况，推送告警信息给监控者。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明中，通过构造与业务消息内容格式一致的诊断消息对流式计算平台监控状态进行探测，及时发现系统异常并给出初步诊断，从而有效避免了监控业务对流式计算平台业务逻辑的侵入，降低了状态监控业务的实现成本和复杂度，有效降低了系统模块间的耦合度，是一种轻量级的实现方法，更加便于市场的推广和应用。

2、本发明中，本方案中通过以下3点来消除监控代码会侵入业务逻辑，造成系统耦合的问题，实现消除诊断消息的处理痕迹，既能正常监控系统的各方面情况，又对系统及用户都无任何侵入和影响：(1)诊断消息的发送接收都由消息中间件(即状态监控装置)来传递，只配置生成和发送消息内容，不需要对流式计算平台进行任何额外的代码修改；(2)在状态监控装置构造生成诊断消息时灵活配置监控策略，可根据具体情况构造和业务无关的消息，并用独立的topic接收，确保不会被用户订阅，这样可对用户透明；(3)在状态监控装置诊断消息接收模块接收诊断消息处理结果并对中间结果进行比对和校验之后，可以根据具体情况按需删除诊断消息带来的无回路有向图(即DAG)中间结果，避免因诊断消息的存在对一些需要统计中间结果的系统造成干扰，这样也就不会对需要使用中间结果的应用造成影响。

3、本发明中，本方案通过以下效果消除了现有技术读取数据需要将所有组件的监控数据整合，实现和维护成本高的问题：常规的监控会有一个时序数据库接收所有监控埋点反馈的数据情况，如果这个接收方有任何调整，那么所有的埋点都需要做对应修改，若埋点量巨大的时候，那么要修改的成本会非常高。本方案不采用任何埋点，只订阅对应的topic，若有任何修改或调整，只需要对消息发送和接收端(即状态监控装置)做修改即可满足需要。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例1状态监控装置进行监控的流程示意图；

图2为本发明实施例1方法与装置的整体流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以下结合实施例对本发明的特征和性能作进一步的详细描述。

实施例1

一种基于诊断消息的流式计算平台状态监控方法，方法步骤包括：

步骤1、配置监控策略，包括有诊断消息的Topic、诊断周期、诊断消息发送间隔、流速阈值、需要检测的外部组件(比如：外部数据库和文件系统)，监控策略与诊断消息的Topic对应，保证策略之间的隔离。流式消息监控需要能订阅对应的topic进行数据验证，一般来说，这个诊断消息的Topic和用户的topic分离开，以避免对用户产生干扰。

步骤2、状态监控装置按照步骤1配置好的监控策略，按其诊断消息发送间隔生成诊断消息，诊断消息的内容格式与业务消息一致，通过诊断消息的Topic区分业务消息和诊断消息。消息产生后，会被状态监控装置记录到数据库中，数据库记录的诊断消息的key即为诊断消息的id，每生成一次诊断消息，诊断消息的id+1。通过这样的设计方式，保证流式计算平台不会新增对诊断消息的特殊处理。这里诊断消息的key，可以理解为一个自增序列，主要用于判断消息是否漏接，业务数据没有key也不需要存入诊断数据库。

步骤3、状态监控装置将生成的诊断消息发送至消息队列与业务消息混合，混合后的诊断消息与业务消息被流式计算平台接收，流式计算平台对业务消息和诊断消息进行处理并发送诊断消息处理结果。流式计算平台对业务消息和诊断消息进行无差别处理。

进一步，所述步骤3中混合的诊断消息和业务消息被流式计算平台接收，流式计算平台对诊断消息进行处理并发送诊断消息处理结果的具体步骤包括：

步骤3.1、流式计算平台接收到混合的诊断消息和业务消息后，按流式计算平台已定义好的无回路有向图(DAG)对业务消息和诊断消息进行处理，得到业务消息和诊断消息处理结果。DAG在处理过程中，消息处理的中间结果被异步的写入了外部文件系统，同步的写入了外部数据库，如果DAG无输出的，那么也就不存在写文件系统或数据库了。

步骤3.2、步骤3.1的处理过程完成后，将业务消息和诊断消息处理结果发送至消息队列。上述处理过程，有可能因为某个环节故障，导致诊断消息没有处理成功，导致诊断消息的处理结果未正常发送。总之，流式计算平台对诊断消息的处理与正常业务消息一致。

步骤4、状态监控装置接收诊断消息处理结果，根据诊断消息处理结果及诊断消息处理结果的id和内容对流式计算平台状态进行监控。

进一步，所述步骤4状态监控装置根据诊断消息处理结果对流式计算平台状态进行监控的具体方法为：状态监控装置根据诊断消息的id和内容进行定时检查是否收到诊断消息处理结果，可以监控的目标包括有：

a.消息是否在处理过程中丢失；

b.消息的处理流速是否正常；

c.外部数据库是否正常运转；

d.外部文件系统是否正常运转。

该方法的监控情况具体包括：

(4.1)、在1个诊断周期内，检查到诊断消息处理结果的中间结果未被写入流式计算平台的外部数据库时，则监控到流式计算平台的外部数据库异常，上述c目标被检测到；

(4.2)、在2个诊断周期内，检查到未收到诊断消息处理结果时，则监控到诊断消息在处理过程中丢失，流式计算平台的消息处理过程发生故障或消息队列瘫痪，上述a目标被检测到；

(4.3)、在2个诊断周期内，检查到接收到诊断消息处理结果，但接收到的诊断消息处理结果的id与发送的诊断消息的id不一致时，则监控到诊断消息在处理过程中丢失，流式计算平台的消息处理过程发生故障，上述a目标被检测到；

(4.4)、在2个诊断周期内，检查到接收到诊断消息处理结果，诊断消息处理结果的id与发送的诊断消息的id一致且诊断消息处理结果的id连续，则判断诊断消息处理时间是否大于阈值(消息处理时间＝接收时间-发送时间)，如大于，则监控到流式计算平台的消息处理流速异常，上述b目标被检测到；

(4.5)、在3个诊断周期内，检查到诊断消息处理结果的中间结果未被写入流式计算平台的外部文件系统时，则监控到流式计算平台的外部文件系统异常，上述d目标被检测到。

如果上述监控情况检查结果正常，则说明系统运转良好。

进一步，上述进行监控的方法中每一种监控情况当监控到问题时都发送告警信息。告警信息包括严重告警、警告告警等。4.1的情况系统业务会受到严重影响，发送级别为严重告警，4.2的情况系统业务会受到严重影响，发送级别为严重告警，4.3的情况发送级别为警告告警，4.4的情况发送级别为警告告警，4.5的情况发送级别为警告告警。

在设定时间内当告警信息累积量超过阈值时，则提升告警信息发送频率，如流式计算平台状态的异常逐步恢复正常，则发送状态恢复的提示信息。无论之前告警程度如何，只要达到了预期目标，则认为恢复正常，恢复正常要分几种情况：1)中间结果输出异常的恢复到正常预期输出；2)消息乱序的恢复到正常顺序；3)诊断消息丢失的恢复到能正常接收；4)接收超时的恢复到超时阀值以内。

状态监控装置进行监控的流程示意图如图2所示。

一种基于诊断消息的流式计算平台状态监控装置，装置包括：

诊断消息配置模块：用于配置监控策略；

诊断消息构造模块：用于定时生成诊断消息，并将诊断消息记录到数据库中；

诊断消息发送模块：将构造好的诊断消息发送到消息队列与业务消息混合，然后被流式计算平台接收，流式计算平台对对业务消息和诊断消息进行处理并发送诊断消息处理结果；

诊断消息接收模块：用于接收流式计算平台的诊断消息处理结果；

流式计算平台状态监控模块：按照诊断周期，检查诊断消息处理结果的中间结果是否正确写入流式计算平台的外部文件系统和数据库以及根据接收到的诊断消息处理结果信息监控流式计算平台状态是否异常。

进一步，装置还包括告警发送模块，如果流式计算平台状态监控模块监控到状态异常，则将异常状态通知告警发送模块，告警发送模块根据状态异常情况，推送告警信息给监控者，可通过短信、邮件等方式推送告警信息给监控者。

本发明中一种基于诊断消息的流式计算平台状态监控方法基于一种基于诊断消息的流式计算平台状态监控装置上进行，其方法中应用的步骤同样也在装置上进行了实现，即装置可以包括方法的步骤内容，其整体流程图如图1所示。

本发明中状态监控装置灵活配置监控策略，通过模拟业务消息的方式生成诊断消息，并将诊断消息混入正常的消息流中被流式计算平台接收处理后发送诊断消息处理结果至状态监控装置，在1个或多个诊断周期内，根据诊断消息处理结果的接收情况，分析判断出计算平台流速、平台各组件的健康状态。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于诊断消息的流式计算平台状态监控方法，其特征在于：方法如下：

配置监控策略，包括有诊断消息的Topic、诊断周期、诊断消息发送间隔、流速阈值、需要检测的外部组件，监控策略与诊断消息的Topic对应；

状态监控装置按照配置好的监控策略生成诊断消息，并将其记录到数据库中，诊断消息的内容格式与业务消息的内容格式一致，通过诊断消息的Topic区分业务消息和诊断消息，数据库记录的诊断消息的key即为诊断消息的id，每生成一次诊断消息，诊断消息的id+1；

状态监控装置将生成的诊断消息发送至消息队列与业务消息混合，混合后的诊断消息与业务消息被流式计算平台接收，流式计算平台对业务消息和诊断消息进行处理并发送诊断消息处理结果；

状态监控装置接收诊断消息处理结果，根据诊断消息处理结果及诊断消息处理结果的id和内容对流式计算平台状态进行监控。

2.根据权利要求1所述的一种基于诊断消息的流式计算平台状态监控方法，其特征在于：所述混合的诊断消息和业务消息被流式计算平台接收，流式计算平台对诊断消息进行处理并发送诊断消息处理结果的具体步骤包括：

流式计算平台接收到混合的诊断消息和业务消息后，按流式计算平台已定义好的无回路有向图对业务消息和诊断消息进行处理，得到业务消息和诊断消息处理结果；

上述处理过程完成后，将业务消息和诊断消息处理结果发送至消息队列。

3.根据权利要求1所述的一种基于诊断消息的流式计算平台状态监控方法，其特征在于：所述状态监控装置根据诊断消息处理结果对流式计算平台状态进行监控的具体方法为：状态监控装置根据诊断消息的id和内容进行定时检查是否收到诊断消息处理结果，该方法的监控情况具体包括：

(4.1)、在1个诊断周期内，检查到诊断消息处理结果的中间结果未被写入流式计算平台的外部数据库时，则监控到流式计算平台的外部数据库异常；

(4.2)、在2个诊断周期内，检查到未收到诊断消息处理结果时，则监控到诊断消息在处理过程中丢失，流式计算平台的消息处理过程发生故障或消息队列瘫痪；

(4.3)、在2个诊断周期内，检查到接收到诊断消息处理结果，但接收到的诊断消息处理结果的id与发送的诊断消息的id不一致时，则监控到诊断消息在处理过程中丢失，流式计算平台的消息处理过程发生故障；

(4.4)、在2个诊断周期内，检查到接收到诊断消息处理结果，诊断消息处理结果的id与发送的诊断消息的id一致且诊断消息处理结果的id连续，则判断诊断消息处理时间是否大于阈值，如大于，则监控到流式计算平台的消息处理流速异常；

(4.5)、在3个诊断周期内，检查到诊断消息处理结果的中间结果未被写入流式计算平台的外部文件系统时，则监控到流式计算平台的外部文件系统异常。

4.根据权利要求3所述的一种基于诊断消息的流式计算平台状态监控方法，其特征在于：所述方法中每一种监控情况当监控到问题时都发送告警信息，在设定时间内当告警信息累积量超过阈值时，则提升告警信息发送频率，如流式计算平台状态的异常逐步恢复正常，则发送状态恢复的提示信息。

5.一种基于诊断消息的流式计算平台状态监控装置，其特征在于：装置包括：

诊断消息配置模块：用于配置监控策略；

诊断消息构造模块：用于定时生成诊断消息，并将诊断消息记录到数据库中；

诊断消息发送模块：将构造好的诊断消息发送到消息队列与业务消息混合，然后被流式计算平台接收，流式计算平台对对业务消息和诊断消息进行处理并发送诊断消息处理结果；

诊断消息接收模块：用于接收流式计算平台的诊断消息处理结果；

流式计算平台状态监控模块：按照诊断周期，检查诊断消息处理结果的中间结果是否正确写入流式计算平台的外部文件系统和数据库以及根据接收到的诊断消息处理结果信息监控流式计算平台状态是否异常。

6.根据权利要求5所述的一种基于诊断消息的流式计算平台状态监控装置，其特征在于：装置还包括告警发送模块，如果流式计算平台状态监控模块监控到状态异常，则将异常状态通知告警发送模块，告警发送模块根据状态异常情况，推送告警信息给监控者。