CN111126933A - Kafka生产和消费进度监控方法及装置 - Google Patents

Abstract

本发明提供了一种Kafka生产和消费进度监控方法及装置，该方法包括：按照第一预设时长获取Kafka的生产量数据，并记录生产量数据的第一标识；第一标识至少包括生产量数据的消费主题信息、消费分区信息和第一预设时长的起止时刻信息；获取第二预设时长内Kafka的消费量数据，并记录消费量数据的第二标识；第二标识至少包括消费量数据的消费组信息、消费主题信息、消费分区信息和第二预设时长的起止时刻信息；第一预设时长是第二预设时长的整数倍；根据第一标识和第二标识将生产量数据和消费量数据进行关联，并根据关联结果生成生产和消费进度的监控信息。本发明可以实时对Kafka的生产进度和消费进度进行监控。

Description

Kafka生产和消费进度监控方法及装置

技术领域

本发明涉及通信技术领域，尤其是涉及一种Kafka生产和消费进度监控方法及装置。

背景技术

大数据平台架构中，Kafka是非常重要的消息中转组件。在一些场景下，如实时处理的进程异常，消费速度跟不上，Kafka中数据大量积压，或者消费者使用最多一次语义，出现部分数据遗漏，未成功消费。

这些场景都可能导致数据处理流程异常，但目前缺乏可以及时监控的方案，往往只能在异常发生一段时间之后，才能从后续的数据处理步骤中查觉出来，并花费额外精力进行排查。

发明内容

本发明提供了一种Kafka生产和消费进度监控方法及装置，可以实时对Kafka的生产进度和消费进度进行监控。

第一方面，本发明实施例提供了一种Kafka生产和消费进度监控方法，该方法包括：按照第一预设时长获取Kafka的生产量数据，并记录生产量数据的第一标识；所述第一标识至少包括生产量数据的消费主题信息、消费分区信息和所述第一预设时长的起止时刻信息；获取第二预设时长内Kafka的消费量数据，并记录消费量数据的第二标识；所述第二标识至少包括消费量数据的消费组信息、消费主题信息、消费分区信息和所述第二预设时长的起止时刻信息；所述第一预设时长是所述第二预设时长的整数倍；根据所述第一标识和所述第二标识将所述生产量数据和所述消费量数据进行关联，并根据关联结果生成生产和消费进度的监控信息。

第二方面，本发明实施例还提供一种Kafka生产和消费进度监控装置，该装置包括：生产量计算模块，用于按照第一预设时长获取Kafka的生产量数据，并记录生产量数据的第一标识；所述第一标识至少包括生产量数据的消费主题信息、消费分区信息和所述第一预设时长的起止时刻信息；消费量计算模块，用于获取第二预设时长内Kafka的消费量数据，并记录消费量数据的第二标识；所述第二标识至少包括消费量数据的消费组信息、消费主题信息、消费分区信息和所述第二预设时长的起止时刻信息；所述第一预设时长是所述第二预设时长的整数倍；监控数据生成模块，用于根据所述第一标识和所述第二标识将所述生产量数据和所述消费量数据进行关联，并根据关联结果生成生产和消费进度的监控信息。

第三方面，本发明实施例还提供一种计算机设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述Kafka生产和消费进度监控方法。

第四方面，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述Kafka生产和消费进度监控方法。

本发明实施例带来了以下有益效果：本发明实施例提供了一种Kafka生产和消费进度监控方案，该方案首先按照第一预设时长获取Kafka的生产量数据，并根据第一标识记录生产量数据，以确定生产量数据的消费主题信息、消费分区信息和第一预设时长的起止时刻信息，之后，获取第二预设时长内Kafka的消费量数据，并根据第二标识记录消费量数据，以确定消费量数据的消费组信息、消费主题信息、消费分区信息和第二预设时长的起止时刻信息，第一预设时长是第二预设时长的整数倍，最后，根据第一标识和第二标识将生产量数据和消费量数据进行关联，并根据关联结果生成生产和消费进度的监控信息。本发明实施例可以实时对Kafka的生产进度和消费进度进行监控，以方便工作人员及时了解是否存在消费积压或消费遗漏，避免花费额外精力进行排查。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的Kafka生产和消费进度监控方法流程图；

图2为本发明实施例提供的Kafka结构示意图；

图3为本发明实施例提供的可视化显示页面示意图；

图4为本发明实施例提供的一种Kafka生产和消费进度监控装置结构框图；

图5为本发明实施例提供的另一种Kafka生产和消费进度监控装置结构框图；

图6为本发明实施例提供的计算机设备结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Kafka是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等。参见图2所示的Kafka结构示意图，每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic(消费主题)，topic中的数据分割为一个或多个partition(消费分区)。每个topic至少有一个partition。生产者即数据的发布者，该角色将消息发布到Kafka的topic中。消费者可以消费多个topic中的数据。每个Consumer(消费者)属于一个特定的group(消费组)。

生产者可以持续向topic中发布数据，而消费者在一些场景下，存在消费速度跟不上或者消费不成功的情况，会导致Kafka中数据大量积压或出现部分数据遗漏。

基于此，本发明实施例提供的一种Kafka生产和消费进度监控方法及装置，可对kafka的生产者、不同组消费者的处理速度进行监控，并监控是否存在消费遗漏的情况。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种Kafka生产和消费进度监控方法进行详细介绍。

本发明实施例提供了一种Kafka生产和消费进度监控方法，参见图1所示的一种Kafka生产和消费进度监控方法流程图，该方法包括以下步骤：

步骤S102，按照第一预设时长获取Kafka的生产量数据，并记录生产量数据的第一标识。

在本发明实施例中，第一预设时长是根据需求或经验进行设置的周期时长，根据第一预设时长定时扫描Kafka中各消费主题(topic)、消费分区(partition)下的偏移量(offset)情况。第一标识用于唯一地标记某一周期内生产量数据对应的topic、partition以及该周期的起止时刻信息。例如，可以以topic+partition+统计时段的信息作为第一标识。

步骤S104，获取第二预设时长内Kafka的消费量数据，并记录消费量数据的第二标识。

在本发明实施例中，第二预设时长是根据需求或经验设置的消费窗口时长。获取每个第二预设时长内的Kafka的消费量数据，第二标识用于唯一地标记某一窗口内生产量数据对应的group、topic、partition以及该窗口的起止时刻信息。例如，可以以group+topic+partition+统计时段的信息作为第二标识。

步骤S106，根据第一标识和第二标识将生产量数据和消费量数据进行关联，并根据关联结果生成生产和消费进度的监控信息。

在本发明实施例中，根据第一标识可以确定第一预设时长内的生产量数据，根据第二标识可以确定第二预设时长内的消费量数据，根据topic及partition、group以及第一预设时长和第二预设时长间的倍数关系等信息，可以将生产量数据和消费量数据进行关联，根据需要，对关联的结果进行分类等处理，可以得生产和消费进度的监控信息。

本发明实施例提供了一种Kafka生产和消费进度监控方案，该方案首先按照第一预设时长获取Kafka的生产量数据，并根据第一标识记录生产量数据，以确定生产量数据的消费主题信息、消费分区信息和第一预设时长的起止时刻信息，之后，获取第二预设时长内Kafka的消费量数据，并根据第二标识记录消费量数据，以确定消费量数据的消费组信息、消费主题信息、消费分区信息和第二预设时长的起止时刻信息，第一预设时长是第二预设时长的整数倍，最后，根据第一标识和第二标识将生产量数据和消费量数据进行关联，并根据关联结果生成生产和消费进度的监控信息。本发明实施例可以实时对Kafka的生产进度和消费进度进行监控，以方便工作人员及时了解是否存在消费积压或消费遗漏，避免花费额外精力进行排查。

为了得到更加精准的生产量数据，按照第一预设时长获取Kafka的生产量数据，可以按照如下步骤执行。

按照第一预设时长获取Kafka中的每个消费分区的偏移量数据；根据第一预设时长起始时刻的偏移量数据和第一预设时长终止时刻的偏移量数据计算每个消费分区的生产量数据；将各消费主题中每个消费分区在不同时段的生产量数据作为Kafka的生产量数据。

在本发明实施例中，偏移量数据即offset信息。定时扫描zookeeper中的offset信息，以topic+partition+统计时段的信息作为唯一标识，对于各topic中的每个partition，将第一预设时长终止时刻产生的最新offset记录下来，并查询第一预设时长起始时刻的offset数值，计算出本周期内的offset生产量，以同样的步骤计算每个第一预设时长内的offset生产量，最终，得到Kafka中每个partition在每个周期内的生产量数据。

为了得到更加精准的消费量数据，获取第二预设时长内Kafka的消费量数据，可以按照如下步骤执行：

获取第二预设时长内Kafka的每个消费组的偏移量数据；根据第二预设时长起始时刻的偏移量数据和第二预设时长终止时刻的偏移量数据计算每个消费组的消费量数据；将各消费组对各消费主题中每个消费分区在不同时段的消费量数据作为Kafka的消费量数据。

在本发明实施例中，第二预设时长即为消费窗口时长。以group+topic+partition+统计时段的信息作为唯一标识，获取第二预设时长内Kafka的每个消费组的偏移量数据。消费组的偏移量数据包括消费组对多个topic的消费偏移量数据，可以根据第二预设时长起始时刻的偏移量数据和第二预设时长终止时刻的偏移量数据计算每个group的消费量数据，再计算每个group对每个partition的消费量数据，最终，得到各个group对各topic中的每个partition在每个消费窗口周期内的消费量数据。

为了对生产进度和消费进度进行监控，更高效地得到积压情况，根据关联结果生成生产和消费进度的监控信息，可以按照如下步骤执行：

将同一时段内同一消费主题的同一消费分区的生产量数据和消费量数据作为一组显示数据；根据多组显示数据生成监控信息；监控信息包括图、表和文字其中之一或任意组合。

在本发明实施例中，根据第一预设时长的起止时刻信息和第二预设时长的起止时刻信息以及第一预设时长与第二预设时长的倍数关系，可以确定与第一预设时长所在时间段对应的多个第二预设时长时间段，将这一时间段内同一个topic的同一个partition对应的生产量数据和消费量数据进行关联，得到一组监控数据，基于不同时间段和不同partition的生产量数据和消费量数据分别进行关联，得到多组监控数据。将监控数据转化为图、表和文字其中之一或任意组合的形式，可以得到监控信息。

需要说明的是，关联时，不同的消费者组需要分别关联；处理时，一个生产offset段对应多个消费offset段，需要将后者数据合并分析。

为了更直观地呈现监控结果，该方法还包括如下步骤：根据监控信息显示生产和消费进度。

在本发明实施例中，可以使用显示屏等设备以页面的方式显示生产和消费进度，以便更直观的呈现监控结果。

为了基于显示的内容进行更详细的可视化展示，据监控信息显示生产和消费进度，具体可以执行如下步骤：

根据第一预设时长的起止时刻信息确定统计时段；根据监控信息确定偏移量段，并以预设形状显示所述偏移量段；以预设形状中第一指定区域颜色填充进度显示偏移量段在统计时段内的生产进度；以预设形状中第二指定区域颜色填充进度显示偏移量段在统计时段内的消费进度。

在本发明实施例中，根据第一预设时长的起止时刻信息确定统计时段是指，可以在第一预设时长的起止时刻对应的时间范围内选择统计时段。根据监控信息确定偏移量段，并以预设形状显示偏移量段，是指，例如，参见图3所示的可视化显示页面示意图，对于partition1，包括的偏移量段为100-700，以一个预设图形显示一段长度为20的偏移量段，那么对于偏移量段100-119可以使用一个图形，对于偏移量120-139可以使用一个图形，对于偏移量段100-219，可以使用6个图形。

预设形状可以为矩形、正方形或其他形状。预设形状中第一指定区域可以为预设形状的边框，例如，预设形状为矩形，可对预设形状边框颜色进行填充，以显示统计时段内的生产进度；预设形状中第二指定区域可以为预设形状边框内部的颜色进行填充，以显示统计时段内偏移量段的消费进度。

参见图3所示的可视化显示页面示意图，对于对于第一预设时长19/04/0514:20-19-04/05 14:30中的一个统计时段内，生产了第600-699个偏移量，消费了第440-519个偏移量，可见，该统计时段内，消费进度落后于生产进度。另外需要说明的是，若表示第440-519个偏移量消费进度的图形中出现了未被填充的情况，则说明该图形表示的偏移量段出现消费遗漏的情况。

在本发明实施例中，可以按照如下具体步骤组织数据接口，提供页面展示。

(1)展示时，可选择关注的group、topic和partition，并根据指定的周期长度(根据第一预设时长确定)动态计算后端数据对应的统计时段。

(2)offset生产与消费情况，可利用类似方块点阵图的方式进行展示，一个方块代表一个offset段，段落长度可预指定或动态计算。

(3)根据生产与消费的进度，分别给方块上色。

①一种可选的方案是，针对生产进度给offset对应方块的外框上色，针对消费进度给offset对应方块的内底上色，且最新周期和历史周期可以选择不同的颜色。

②如果一个方块对应的offset段涉及多个统计周期，可以按比例给方块同时上多种颜色。

③如果某段offset生产后，并未消费，则该方块内底不上色或标记为灰色。

④观察图表，可以直观看到offset生产进度和消费进度，如果两者相差较远，则表明消费出现较严重积压；如果一段已上色方块中间有某个方块没有上色，说明这块offset出现遗漏。

(4)可以提供独立的表单或说明文字，标注offset生产、消费、积压、遗漏的具体状况。

本发明实施例提供了一种Kafka生产和消费进度监控方法及装置，该方法包括，定时扫描Kafka中各topic-partition下的offset情况，并进行登记；改造kafka消费程序，在消费的同时，将本期消费涉及的offset进行登记；开发kafka消费监控程序，计算kafka的消费进度，核对offset的生产与消费是否一致。该方法能够采集kafka的offset的生产与消费进度，并按可预配置的周期计算生产效率与消费效率；该方法可以实时记录消费遗漏的offset；能够通过可视化页面，将生产速度、消费速度、消费遗漏都直观、实时的展示出来；可监控和分析历史周期内的offset生产与消费情况。

本发明实施例还提供一种Kafka生产和消费进度监控装置，参见图4所示的一种Kafka生产和消费进度监控装置结构框图，该装置包括：

生产量计算模块51，用于按照第一预设时长获取Kafka的生产量数据，并记录生产量数据的第一标识；第一标识至少包括生产量数据的消费主题信息、消费分区信息和第一预设时长的起止时刻信息；消费量计算模块52，用于获取第二预设时长内Kafka的消费量数据，并记录消费量数据的第二标识；第二标识至少包括消费量数据的消费组信息、消费主题信息、消费分区信息和第二预设时长的起止时刻信息；第一预设时长是第二预设时长的整数倍；监控数据生成模块53，用于根据第一标识和第二标识将生产量数据和消费量数据进行关联，并根据关联结果生成生产和消费进度的监控信息。

在一个实施例中，生产量计算模块，可以用于：按照第一预设时长获取Kafka中的每个消费分区的偏移量数据；根据第一预设时长起始时刻的偏移量数据和第一预设时长终止时刻的偏移量数据计算每个消费分区的生产量数据；将各消费主题中每个消费分区在不同时段的生产量数据共为Kafka的生产量数据。

在一个实施例中，消费量计算模块，可以用于：获取第二预设时长内Kafka的每个消费组的偏移量数据；根据第二预设时长起始时刻的偏移量数据和第二预设时长终止时刻的偏移量数据计算每个消费组的消费量数据；将各消费组对各消费主题中每个消费分区在不同时段的消费量数据作为Kafka的消费量数据。

在一个实施例中，监控数据生成模块，可以用于：将同一时段内同一消费主题的同一消费分区的生产量数据和消费量数据作为一组显示数据；根据多组显示数据生成监控信息；监控信息包括图、表和文字其中之一或任意组合。

参见图5所示的另一种Kafka生产和消费进度监控装置结构框图，在一个实施例中，该装置包括显示模块54，用于：根据监控信息显示生产和消费进度。

在一个实施例中，显示模块具体用于：根据第一预设时长的起止时刻信息确定统计时段；根据监控信息确定偏移量段，并以预设形状显示偏移量段；以预设形状中第一指定区域颜色填充进度显示偏移量段在统计时段内的生产进度；以预设形状中第二指定区域颜色填充进度显示偏移量段在统计时段内的消费进度。

本发明实施例还提供一种计算机设备，参见图6所示的计算机设备结构示意框图，该计算机设备包括存储器61、处理器62，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一种方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的计算机设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述

本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行上述任一种方法的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种Kafka生产和消费进度监控方法，其特征在于，包括：

按照第一预设时长获取Kafka的生产量数据，并记录生产量数据的第一标识；所述第一标识至少包括生产量数据的消费主题信息、消费分区信息和所述第一预设时长的起止时刻信息；

获取第二预设时长内Kafka的消费量数据，并记录消费量数据的第二标识；所述第二标识至少包括消费量数据的消费组信息、消费主题信息、消费分区信息和所述第二预设时长的起止时刻信息；所述第一预设时长是所述第二预设时长的整数倍；

根据所述第一标识和所述第二标识将所述生产量数据和所述消费量数据进行关联，并根据关联结果生成生产和消费进度的监控信息。

2.根据权利要求1所述的Kafka生产和消费进度监控方法，其特征在于，按照第一预设时长获取Kafka的生产量数据，包括：

按照第一预设时长获取Kafka中的每个消费分区的偏移量数据；

根据所述第一预设时长起始时刻的偏移量数据和所述第一预设时长终止时刻的偏移量数据计算每个消费分区的生产量数据；

将各消费主题中每个消费分区在不同时段的生产量数据作为Kafka的生产量数据。

3.根据权利要求1所述的Kafka生产和消费进度监控方法，其特征在于，获取第二预设时长内Kafka的消费量数据，包括：

获取第二预设时长内Kafka的每个消费组的偏移量数据；

根据所述第二预设时长起始时刻的偏移量数据和所述第二预设时长终止时刻的偏移量数据计算每个消费组的消费量数据；

将各消费组对各消费主题中每个消费分区在不同时段的消费量数据作为Kafka的消费量数据。

4.根据权利要求1所述的Kafka生产和消费进度监控方法，其特征在于，根据关联结果生成生产和消费进度的监控信息，包括：

将同一时段内同一消费主题的同一消费分区的生产量数据和消费量数据作为一组显示数据；

根据多组所述显示数据生成监控信息；所述监控信息包括图、表和文字其中之一或任意组合。

5.根据权利要求1-4任一项所述的Kafka生产和消费进度监控方法，其特征在于，还包括：

根据所述监控信息显示生产和消费进度。

6.根据权利要求5所述的Kafka生产和消费进度监控方法，其特征在于，根据所述监控信息显示生产和消费进度，包括：

根据所述第一预设时长的起止时刻信息确定统计时段；

根据所述监控信息确定偏移量段，并以预设形状显示所述偏移量段；

以所述预设形状中第一指定区域颜色填充进度显示所述偏移量段在所述统计时段内的生产进度；

以所述预设形状中第二指定区域颜色填充进度显示所述偏移量段在所述统计时段内的消费进度。

7.一种Kafka生产和消费进度监控装置，其特征在于，包括：

生产量计算模块，用于按照第一预设时长获取Kafka的生产量数据，并记录生产量数据的第一标识；所述第一标识至少包括生产量数据的消费主题信息、消费分区信息和所述第一预设时长的起止时刻信息；

消费量计算模块，用于获取第二预设时长内Kafka的消费量数据，并记录消费量数据的第二标识；所述第二标识至少包括消费量数据的消费组信息、消费主题信息、消费分区信息和所述第二预设时长的起止时刻信息；所述第一预设时长是所述第二预设时长的整数倍；

监控数据生成模块，用于根据所述第一标识和所述第二标识将所述生产量数据和所述消费量数据进行关联，并根据关联结果生成生产和消费进度的监控信息。

8.根据权利要求7所述的Kafka生产和消费进度监控装置，其特征在于，还包括显示模块，用于：

根据所述监控信息显示生产和消费进度。

9.一种计算机设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至6任一项所述的方法的步骤。

10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行上述权利要求1至6任一项所述的方法。

Images