CN115964392A - 基于flink的实时监控方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明提供了一种基于flink的实时监控方法、装置、设备及可读存储介质，涉及数据可视化技术领域，包括预设流程数据源文件，其中流程数据源文件包括流程数据时间节点和流程数据关联信息；根据实时流计算引擎算法，对所述流程数据源文件进行实时计算，得到流程监控计算结果；基于所述预设的检测规则，对存储的所述流程监控计算结果进行监控；对异常的所述流程监控计算结果进行告警，并将异常的所述流程监控计算结果输出。本发明的有益效果为解决了企业流程执行往往处于黑盒状态，过程节点不透明、信息更新不及时的痛点，同时拓展了flink流式计算在流程实时监控问题中的实际应用价值和落地场景，提供了流程执行事前可预警、事中实时可查可见。

Description

基于flink的实时监控方法、装置、设备及可读存储介质

技术领域

本发明涉及数据可视化技术领域，具体而言，涉及基于flink的实时监控方法、装置、设备及可读存储介质。

背景技术

flink是一个高效的基于内存计算的分布式数据处理平台,是Apache的顶级项目之一。它的核心是一个流式数据流引擎，提供了数据流的分部署数据分布、通信和容错功能，具有高效、可靠、可扩展等特性，并且与Hadoop生态系统有着很好的兼容性。flink使用dateset来描述并行计算的数据集，并对相应的数据集提供过了丰富的诸如map、reduce、join、group之类数据处理接口，然而目前，还未出现基于flink流式计算技术的流程数据实时处理方法。

发明内容

本发明的目的在于提供一种基于flink的实时监控方法、装置、设备及可读存储介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：

第一方面，本申请提供了一种基于flink的实时监控方法，包括：

预设流程数据源文件，其中流程数据源文件包括流程数据时间节点和流程数据关联信息；

根据实时流计算引擎算法，对所述流程数据源文件进行实时计算，得到流程监控计算结果，并将所述流程监控计算结果进行存储；

基于所述预设的检测规则，对存储的所述流程监控计算结果进行监控；

对异常的所述流程监控计算结果进行告警，并将异常的所述流程监控计算结果输出。

第二方面，本申请还提供了一种基于flink的实时监控装置，包括预设模块、计算模块、监控模块和输出模块，其中：

预设模块：用于预设流程数据源文件，其中流程数据源文件包括流程数据时间节点和流程数据关联信息；

计算模块：用于根据实时流计算引擎算法，对所述流程数据源文件进行实时计算，得到流程监控计算结果，并将所述流程监控计算结果进行存储；

监控模块：用于基于所述预设的检测规则，对存储的所述流程监控计算结果进行监控；

输出模块：用于对异常的所述流程监控计算结果进行告警，并将异常的所述流程监控计算结果输出。

第三方面，本申请还提供了一种基于flink的实时监控设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现所述基于flink的实时监控方法的步骤。

第四方面，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于基于flink的实时监控方法的步骤。

本发明的有益效果为：解决了企业流程执行往往处于黑盒状态，过程节点不透明、信息更新不及时的痛点，同时拓展了flink流式计算在流程实时监控问题中的实际应用价值和落地场景；本发明采用的kafka接收flink消费的数据处理方法以及前后端分离的数据应用方法实现了流程端到端全过程可视化，提供了流程执行事前可预警、事中实时可查可见，事后历史可追溯的途径。

本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例中所述的基于f l i nk的实时监控方法流程示意图；

图2为本发明实施例中所述的基于f l i nk的实时监控装置结构示意图；

图3为本发明实施例中所述的基于f l i nk的实时监控设备结构示意图。

图中:701、预设模块；7011、第一获取单元；7012、第一处理单元；7013、第一计算单元；7014、存储单元；7015、采集单元；7016、剔除单元；7017、第二处理单元；7018、整理单元；7019、构建单元；7020、抽取单元；702、计算模块；703、监控模块；704、输出模块；7041、第二获取单元；7042、解析单元；7043、写入单元；705、获取模块；706、定义模块；707、转化模块；7071、设置单元；7072、第二计算单元；7073、标记单元；7074、记入单元；708、读取模块；709、分割模块；710、处理模块；800、基于f l i nk的实时监控设备；801、处理器；802、存储器；803、多媒体组件；804、输入/输出(I/O)接口；805、通信组件。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例1：

本实施例提供了一种基于flink的实时监控方法。

参见图1，图中示出了本方法包括步骤S100、步骤S200、步骤S300和步骤S400。需要说明的是，在以下实施例中，其中flink是一个高效的基于内存计算的分布式数据处理平台,是Apache的顶级项目之一；Kafka是一个支持分区存储、多副本、多订阅者，基于Zookeeper协调的分布式消息系统，常见可以用于web/nginx日志、访问日志，消息服务；Kafka采用发布/订阅的消息处理模式，以集群的方式，有多个broker共同构成。生产者将消息发送到特定的主题(Topic)，再由订阅该主题的消费者以poll的方式进行消费。其中，每个主题又被分成一个或多个的分区，每个分区由一系列有序、不可变的消息组成，是一个有序队列。

S100、预设流程数据源文件，其中流程数据源文件包括流程数据时间节点和流程数据关联信息。

可以理解的是，在本步骤中，流程数据源文件包括定义流程运行路径经历的节点、节点的数据格式和字段、流程监控数据指标的计算口径以及流程运行的基线，如流程运行时间的期望值、每个节点运行时间的期望值、流程耗时的预测算法等。

优选地，S100之前包括S001、S002、S003、S004、S005和S006，其中：

S001、采集至少一种用户行为数据，发送至Kafka；

S002、解析并剔除Kafka中的用户行为数据，得到至少一条数据流，每一条数据流包括一种类别的数据；

S003、对不同类别的数据流进行分布流处理；

S004、将处理后的数据流进行聚合整理，得到指标数据；

S005、根据指标数据，构建数据仓库，并将指标数据存储至实时数据库；

S006、抽取实时数据库中的用户行为的指标数据作为数据服务。

优选地，在用户行为数据上报环节，根据不同系统特征和数据要求，对采集手段进行划分；应用系统单页面模式下的页面片段切换或者某些点击操作等无需对后端服务发起请求，此类场景需要SDK埋点获取数据；应用系统多页面模式下的页面切换或者点击事件需要对后端服务发起请求，该类场景可以从后端服务器日志或中转机服务器日志获取Log数据；上述不同场景下的用户行为数据上送至Kafka。

优选地，F l i nk消费Kafka数据，解析请求服务日志数据，过滤空数据、异常数据、错误数据等。Kafka中数据格式不同，SDK上报数据具有标准报文格式，而日志文本数据需要经过解析、组装、转换成标准报文格式。上述的标准报文可做进一步的数据处理。根据不同Event(用户行为事件)类型对数据流进行划分，一部分进入实时计算模块进行实时计算；另一部分接入分布式文件存储系统，为用户行为数据的离线计算模块的离线计算提供数据支撑。

优选地，实时模块计算用户浏览量、访客数、在线用户数等指标，通过数据流进行转换、过滤、去重，整合成多维数据元组，构建HDFS DataSink(数据注入模块)输出数据处理结果。离线模块加载分布式文件系统数据到Hive，按业务类型划分数据库，并设置日期分区。根据业务分析需求的复杂程度，构建源数据层ODS、数据主题层DW、数据集市层DM，并做定时(小时/天)批量调度。将上述指标计算结果迁移到实时数据库，提供用户行为分析结果的实时查询功能。

优选地，采用kafka-fink结合的流式数据处理方式，从各个维度的数据源，实时采集流程运行过程中产生的原始数据信息。流式处理能够实时分析连续的数据流，数据以流的方式进入系统，使用支持高吞吐量、高度稳定的分布式发布订阅消息系统Kafka作为数据的接入手段。流程数据产生的源系统作为上报方，是Kafka系统的消息发布者，在终端设备中将预设流程实现线上运行。在流程运行时，每一个节点触发时即将按照数据格式的节点数据推送至Kafka系统对应的topic中，每条数据包含流程id、流程名称、节点id、节点名称、前序节点id、最后节点标识实例id、实例名称、节点开始时间、处理人、组织机构等字段。实时数据分析组件和数据消费者可以通过Kafka得到实时数据。

S200、根据实时流计算引擎算法，对流程数据源文件进行实时计算，得到流程监控计算结果，并将流程监控计算结果进行存储。

可以理解的是，在本步骤中，程运行源系统按照流程运行路径设置线上节点和节点关联信息，每个实例按照预设流程路径实现线上执行，并且程启动运行后开始产生实例，同时触发节点的发生。每个节点触发时按照预设好的节点数据格式向kafka推送消息，当kafka接收到一个流程实时节点数据时，F l i nk作为kafka的下游消费方，将Kafka提供的数据按照计算口径输出流程监控指标，并将计算结果缓存在Red i s系统中。

优选地，S200中包括S201、S202、S203和S204，其中：

S201、通过SDK方式或MQ方式获取至少一个节点数据；

S202、将至少一个节点数据经过处理后，以连续流的方式发送至Kafka；

S203、根据预设的配置数据的清洗、切分规则以及配置数据集的指标，并基于F li nk流计算算法，将发送至Kafka中的节点数据进行实时计算；

S204、根据预设的数据集定义，将实时计算后的节点数据存入时序数据库。

通过日志方式或SDK(Software Deve l opment Ki t，软件工具包)方式或MQ(Message Queue,消息队列,也叫消息中间件)方式同时获取分散在多个系统组件中的异构数据，经过初步处理后以连续流的方式发送给Kafka。在本发明具体实施例中，采集到的异构数据例如除了有时间戳、调用链跟踪Trace I d、错误堆栈、应用服务等系统信息外，还有和业务相关的订单号、手机号、商品标识等信息，本发明不以此为限。其中，日志方式指的是利用日志数据采集器实时读取指定日志文件的新增内容，发送给日志搜集模块，将获得的数据经日志搜集模块过滤后送入Kafka，在本发明具体实施例中，于在数据采集侧的服务器中安装F i l eBeat轻量型日志采集器，它能够读取并转发日志行，还可以从中断的位置重新开始，读取数据上传LogStach，并于LogStach中配置数据的过滤规则，多个F i l ebeat上传的数据通过LogStach过滤处理后进入Kafka，也就是说，数据采集侧支持日志文件作为数据源，利用F i l eBeat实时读取指定日志文件新增内容，发送给LogStach，数据经过LogStach过滤后进入Kafka；

SDK方式指的是支持应用或容器中嵌入Agent上传数据作为数据源，Agent上传数据给后台服务，数据经过后台服务处理后进入Kafka，当然Agent也可以直接把数据发送给Kafka作为数据源；MQ方式指的是支持Kafka消息队列作为数据源，数据直接发送给Kafka。

优选地，S200之前包括S205、S206、S207、S208、S209和S210，其中：

S205、获取原始流程数据参数；

S206、对获取到的原始流程数据参数按照统一的格式进行重新定义，获得新的流程数据参数；

S207、将流程流转参数序列化为JSON格式，并发送至Kafka，Kafka包括与Kafka相对应的一个top i c；

S208、读取Kafka中的top i c的流程数据；

S209、将不同类型的流程数据根据预设指标进行分割合并汇总；

S210、根据汇总信息筛选出各个top i c的状态情况，并对各个top i c进行处理并存放到Red i s中。

需要说明的是，F l i nk统一每个业务系统的日志格式，每个业务系统对应消息中间件Kafka中的一个top i c，不同的业务系统日志流入到相对应的top i c中。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据；F l i nk读取Kafka中top i c的数据，根据指标对数据进行处理并存放到Red i s中。

根据本发明的一个实施例，F l i nk读取Kafka中top i c的数据，并根据指标对数据进行处理，可以包括：F l i nk读取Kafka中top i c的数据，将不同类型的数据根据指标进行分割合并汇总，通过不同的业务系统，筛选出各个业务系统的状态情况；Red i s是一个开源的使用ANS I C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Va lue数据库，并提供多种语言的API。

优选地，流程数据计算方作为Kafka系统的消息消费者，通过订阅Kafka系统中相应的top i c实时获取流程数据，并将数据同时发送流式处理框架系统F l i nk，F l i nk的管理节点提供实时数据计算服务：当接收到一个流程实时节点数据时，管理节点从F l ink集群选取一个任务节点执行当前实时流程数据的计算任务，根据需求计算包括节点耗时、实例耗时、流程耗时、堵塞节点、堵塞实例在内的流程监控指标，并将计算结果缓存在Red i s系统中。

优选地，S207之后包括S211、S212、S213和S214，其中：

S211、根据流程运行路径，设置流处理的并行度、水印时间和f l i nk的复杂事件处理逻辑；

S212、根据并行度、水印时间以及f l i nk的复杂事件处理逻辑，计算得出正常流和异常流；

S213、将正常流和异常流的数据分别进行标记；

S214、将标记后的数据存入Red i s中，并将异常流记入Kafka。

优选地，服务层采用Spr i ng Boot框架和Spr i ng C l oud框架开发分布式服务查询接口以及前端查询接口，Spr i ng Boot作为开发单一服务的框架基础，使用Spr ing C l oud框架实现完整的微服务架构解决方案，包括服务注册与发现、监控等。服务查询接口负责获取实时计算分析后的流程数据；前端查询接口负责调用服务查询接口提供的各种服务，以获取数据并将其封装成RESTfu l网络接口服务，供前端可视化层使用。前端可视化模块或业务应用通过相应的RESTfu l接口获取数据并将其可视化展示。

S300、基于预设的检测规则，对存储的流程监控计算结果进行监控。

可以理解的是，在本步骤中，事中监控实现流程事中数据实时可查可见，流程实例的运行过程中，可视化端实时显示流程及其实例的运行状态，对于监控中暴露出的问题点进行干预措施，及时对流程运转进行纠偏。监控分为两部分：一是对流程运行的监控，观察流程中的堵塞点和异常点，具体可从可视化数据中发现流程异常发生的节点，节点耗时，冗余执行次数、处理人、处理结构等信息，定位问题原因并发出警告；二是对流程实例的监控,对实例执行的情况实时可查，流程发起人和节点执行人均实时看见实例执行过程，当实例发生动态变化时，也都获取相应的提示信息。

S400、对异常的流程监控计算结果进行告警，并将异常的流程监控计算结果输出。

可以理解的是，在本步骤中，每个节点的计算结果按照预测算法进行运行情况预测，和预先设置好的期望值进行实时比对，如果预测值与期望值发生偏差，流程可视化端发出预警信号，并采取事前应对措施进行调整。

优选地，S400包括S401、S402和S403，其中：

S401、获取Kafka的异常消息；

S402、解析异常消息的标签；

S403、将解析后的标签按照预设的消息分类规则分类写入至时序库，并分析和展示异常原因。

优选地，流程事中监控：事中监控实现流程事中数据实时可查可见，监控分为两部分：一是对流程的监控，二是对流程实例的监控。流程实例的运行过程中，可视化端实时显示流程及其实例的运行状态，对于监控中的问题点进行干预措施，及时对流程运转进行纠偏。

流程事后分析：流程数据运行过中，经过flink处理好的明细数据均作为历史数据储存，其中包括流程中每个实列、每个节点经过的详细信息，统计分析人员可将这些历史数据进行多维度整合，从而挖掘流程的运行是否稳定，流程是否被特殊处理干扰，不同组织不同岗位不用人员对流程处理的差异性，流程执行消耗的资源，流程是否产生了期望的价值和效果，流程是否推动工作进展提速等信息，完成对流程的历史追溯和事后分析。

实施例2：

如图2所示，本实施例提供了一种基于f l i nk的实时监控装置，参见图2装置包括预设模块701、计算模块702、监控模块703和输出模块704，其中：

预设模块701：用于预设流程数据源文件，其中流程数据源文件包括流程数据时间节点和流程数据关联信息；

计算模块702：用于根据实时流计算引擎算法，对流程数据源文件进行实时计算，得到流程监控计算结果，并将流程监控计算结果进行存储；

监控模块703：用于基于预设的检测规则，对存储的流程监控计算结果进行监控；

输出模块704：用于对异常的流程监控计算结果进行告警，并将异常的流程监控计算结果输出。

可选地，计算模块702包括第一获取单元7011、第一处理单元7012、第一计算单元7013和存储单元7014，其中：

第一获取单元7011：用于通过SDK方式或MQ方式获取至少一个节点数据；

第一处理单元7012：用于将至少一个节点数据经过处理后，以连续流的方式发送至Kafka；

第一计算单元7013：用于根据预设的配置数据的清洗、切分规则以及配置数据集的指标，并基于F l i nk流计算算法，将发送至Kafka中的节点数据进行实时计算；

存储单元7014:用于根据预设的数据集定义，将实时计算后的节点数据存入时序数据库。

可选地，计算模块702之前包括获取模块705、定义模块706、转化模块707、读取模块708、分割模块709和处理模块710，其中：

获取模块705：用于获取原始流程数据参数；

定义模块706：用于对获取到的原始流程数据参数按照统一的格式进行重新定义，获得新的流程数据参数；

转化模块707：用于将流程流转参数序列化为JSON格式，并发送至Kafka，Kafka包括与Kafka相对应的一个top i c；

读取模块708：用于读取Kafka中的top i c的流程数据；

分割模块709：用于将不同类型的流程数据根据预设指标进行分割合并汇总；

处理模块710：用于根据汇总信息筛选出各个top i c的状态情况，并对各个top ic进行处理并存放到Red i s中。

可选地，转化模块707之后包括设置单元7071、第二计算单元7072、标记单元7073和记入单元7074，其中：

设置单元7071：用于根据流程运行路径，设置流处理的并行度、水印时间和f l ink的复杂事件处理逻辑；

第二计算单元7072：用于根据并行度、水印时间以及f l i nk的复杂事件处理逻辑，计算得出正常流和异常流；

标记单元7073：用于将正常流和异常流的数据分别进行标记；

记入单元7074：用于将标记后的数据存入Red i s中，并将异常流记入Kafka。

可选地，输出模块704，包括第二获取单元7041、解析单元7042和写入单元7043，其中：

第二获取单元7041：用于获取Kafka的异常消息；

解析单元7042：用于解析异常消息的标签；

写入单元7043：用于将解析后的标签按照预设的消息分类规则分类写入至时序库，并分析和展示异常原因。

可选地，预设模块701，之前包括采集单元7015、剔除单元7016、第二处理单元7017、整理单元7018、构建单元7019和抽取单元7020，其中：

采集单元7015：用于采集至少一种用户行为数据，发送至Kafka；

剔除单元7016：用于解析并剔除Kafka中的用户行为数据，得到至少一条数据流，每一条数据流包括一种类别的数据；

第二处理单元7017：用于对不同类别的数据流进行分布流处理；

整理单元7018：用于将处理后的数据流进行聚合整理，得到指标数据；

构建单元7019：用于根据指标数据，构建数据仓库，并将指标数据存储至实时数据库；

抽取单元7020：用于抽取实时数据库中的用户行为的指标数据作为数据服务。

需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

实施例3：

相应于上面的方法实施例，本实施例中还提供了一种基于f l i nk的实时监控设备，下文描述的一种基于f l i nk的实时监控设备与上文描述的一种基于f l i nk的实时监控方法可相互对应参照。

图3是根据示例性实施例示出的一种基于f l i nk的实时监控设备800的框图。如图3所示，该基于f l i nk的实时监控设备800可以包括：处理器801，存储器802。该基于f li nk的实时监控设备800还可以包括多媒体组件803，I/O接口804，以及通信组件805中的一者或多者。

其中，处理器801用于控制该基于f l i nk的实时监控设备800的整体操作，以完成上述的基于f l i nk的实时监控方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该基于f l i nk的实时监控设备800的操作，这些数据例如可以包括用于在该基于f l i nk的实时监控设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Stat i c Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(E l ectr ica l l y Erasab l e Programmab l e Read-On l y Memory，简称EEPROM)，可擦除可编程只读存储器(Erasab l e Programmab l e Read-On l y Memory，简称EPROM)，可编程只读存储器(Programmab l e Read-On l y Memory，简称PROM)，只读存储器(Read-On l yMemory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该基于f li nk的实时监控设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-F i，蓝牙，近场通信(Near F i e l dCommun i cat i on，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：W i-F i模块，蓝牙模块，NFC模块。

在一示例性实施例中，基于f l i nk的实时监控设备800可以被一个或多个应用专用集成电路(App l i cat i on Spec i f i c I ntegrated C i rcu i t，简称AS IC)、数字信号处理器(D i g i ta l S i gna l Processor，简称DSP)、数字信号处理设备(D i g i ta l S i gna l Process i ng Dev i ce，简称DSPD)、可编程逻辑器件(Programmab l e Log i c Dev i ce，简称PLD)、现场可编程门阵列(F i e l dProgrammab l e Gate Ar ray，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的基于f l i nk的实时监控方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的基于f l i nk的实时监控方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由基于f l i nk的实时监控设备800的处理器801执行以完成上述的基于f l i nk的实时监控方法。

实施例4：

相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种基于f l i nk的实时监控方法可相互对应参照。

一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的基于f l i nk的实时监控方法的步骤。

该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-On l y Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种基于flink的实时监控方法，其特征在于，包括：

预设流程数据源文件，其中流程数据源文件包括流程数据时间节点和流程数据关联信息；

根据实时流计算引擎算法，对所述流程数据源文件进行实时计算，得到流程监控计算结果，并将所述流程监控计算结果进行存储；

基于所述预设的检测规则，对存储的所述流程监控计算结果进行监控；

对异常的所述流程监控计算结果进行告警，并将异常的所述流程监控计算结果输出。

2.根据权利要求1所述的基于flink的实时监控方法，其特征在于,所述对所述流程数据源文件进行实时计算，包括：

通过SDK方式或MQ方式获取至少一个节点数据；

将至少一个所述节点数据经过处理后，以连续流的方式发送至Kafka；

根据预设的配置数据的清洗、切分规则以及配置数据集的指标，并基于Flink流计算算法，将发送至所述Kafka中的所述节点数据进行实时计算；

根据预设的数据集定义，将实时计算后的所述节点数据存入时序数据库。

3.根据权利要求1所述的基于flink的实时监控方法，其特征在于,所述根据实时流计算引擎算法，之前包括：

获取原始流程数据参数；

对获取到的所述原始流程数据参数按照统一的格式进行重新定义，获得新的流程数据参数；

将所述流程流转参数序列化为JSON格式，并发送至Kafka，所述Kafka包括与所述Kafka相对应的一个topic；

读取所述Kafka中的所述topic的流程数据；

将不同类型的所述流程数据根据预设指标进行分割合并汇总；

根据汇总信息筛选出各个所述topic的状态情况，并对各个所述topic进行处理并存放到Redis中。

4.根据权利要求3所述的基于flink的实时监控方法，其特征在于,所述发送至Kafka，之后包括：

根据流程运行路径，设置流处理的并行度、水印时间和flink的复杂事件处理逻辑；

根据所述并行度、所述水印时间以及flink的复杂事件处理逻辑，计算得出正常流和异常流；

将所述正常流和所述异常流的数据分别进行标记；

将标记后的数据存入Redis中，并将所述异常流记入所述Kafka。

5.根据权利要求2所述的基于flink的实时监控方法，其特征在于,所述对异常的监控结果进行告警，并将异常的所述监控结果输出，包括：

获取所述Kafka的异常消息；

解析所述异常消息的标签；

将解析后的所述标签按照预设的消息分类规则分类写入至时序库，并分析和展示异常原因。

6.根据权利要求1所述的基于flink的实时监控方法，其特征在于,所述预设流程数据源文件，之前包括：

采集至少一种用户行为数据，发送至Kafka；

解析并剔除所述Kafka中的用户行为数据，得到至少一条数据流，每一条所述数据流包括一种类别的数据；

对不同类别的所述数据流进行分布流处理；

将处理后的所述数据流进行聚合整理，得到指标数据；

根据所述指标数据，构建数据仓库，并将所述指标数据存储至实时数据库；

抽取所述实时数据库中的用户行为的所述指标数据作为数据服务。

7.一种基于flink的实时监控装置，其特征在于，包括：

预设模块：用于预设流程数据源文件，其中流程数据源文件包括流程数据时间节点和流程数据关联信息；

计算模块：用于根据实时流计算引擎算法，对所述流程数据源文件进行实时计算，得到流程监控计算结果，并将所述流程监控计算结果进行存储；

监控模块：用于基于所述预设的检测规则，对存储的所述流程监控计算结果进行监控；

输出模块：用于对异常的所述流程监控计算结果进行告警，并将异常的所述流程监控计算结果输出。

8.根据权利要求7所述的基于flink的实时监控装置，其特征在于，所述计算模块，包括：

第一获取单元：用于通过SDK方式或MQ方式获取至少一个节点数据；

第一处理单元：用于将至少一个所述节点数据经过处理后，以连续流的方式发送至Kafka；

第一计算单元：用于根据预设的配置数据的清洗、切分规则以及配置数据集的指标，并基于Flink流计算算法，将发送至所述Kafka中的所述节点数据进行实时计算；

存储单元:用于根据预设的数据集定义，将实时计算后的所述节点数据存入时序数据库。

9.根据权利要求7所述的基于flink的实时监控装置，其特征在于，所述计算模块，之前包括：

获取模块：用于获取原始流程数据参数；

定义模块：用于对获取到的所述原始流程数据参数按照统一的格式进行重新定义，获得新的流程数据参数；

转化模块：用于将所述流程流转参数序列化为JSON格式，并发送至Kafka，所述Kafka包括与所述Kafka相对应的一个topic；

读取模块：用于读取所述Kafka中的所述topic的流程数据；

分割模块：用于将不同类型的所述流程数据根据预设指标进行分割合并汇总；

处理模块：用于根据汇总信息筛选出各个所述topic的状态情况，并对各个所述topic进行处理并存放到Redis中。

10.根据权利要求9所述的基于flink的实时监控装置，其特征在于，所述转化模块，之后包括：

设置单元：用于根据流程运行路径，设置流处理的并行度、水印时间和flink的复杂事件处理逻辑；

第二计算单元：用于根据所述并行度、所述水印时间以及flink的复杂事件处理逻辑，计算得出正常流和异常流；

标记单元：用于将所述正常流和所述异常流的数据分别进行标记；

记入单元：用于将标记后的数据存入Redis中，并将所述异常流记入所述Kafka。

11.根据权利要求8所述的基于flink的实时监控装置，其特征在于，所述输出模块，包括：

第二获取单元：用于获取所述Kafka的异常消息；

解析单元：用于解析所述异常消息的标签；

写入单元：用于将解析后的所述标签按照预设的消息分类规则分类写入至时序库，并分析和展示异常原因。

12.根据权利要求7所述的基于flink的实时监控装置，其特征在于，所述预设模块，之前包括：

采集单元：用于采集至少一种用户行为数据，发送至Kafka；

剔除单元：用于解析并剔除所述Kafka中的用户行为数据，得到至少一条数据流，每一条所述数据流包括一种类别的数据；

第二处理单元：用于对不同类别的所述数据流进行分布流处理；

整理单元：用于将处理后的所述数据流进行聚合整理，得到指标数据；

构建单元：用于根据所述指标数据，构建数据仓库，并将所述指标数据存储至实时数据库；

抽取单元：用于抽取所述实时数据库中的用户行为的所述指标数据作为数据服务。

13.一种基于flink的实时监控设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述基于flink的实时监控方法的步骤。

14.一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于flink的实时监控方法的步骤。

Images