CN109829765A - 基于Flink和Kafka实时监控销售数据的方法、系统及装置 - Google Patents

Abstract

本发明是有关于一种基于Flink和Kafka实时监控销售数据的方法、系统及装置。所述方法包括：由Kafka消息队列获取由用户消费而产生的实时销售数据；采用Flink分布式运算系统，对所述实时销售数据进行统计，得到用户消费的实时交易额。本发明基于Flink和Kafka实时监控销售数据的方法、系统及装置提高了对销售数据进行分析处理的实时性。

Description

基于Flink和Kafka实时监控销售数据的方法、系统及装置

技术领域

本发明涉及大数据处理分析技术领域，特别是涉及一种基于Flink和Kafka实时监控销售数据的方法、系统及装置。

背景技术

在电子商务蓬勃发展的时代背景下，“双十一”购物节已经连续成功上演了十年。有专家指出，今年“双十一”的亮点总体上来讲可以概括为“四好+两通”，具体包括“好货”、“好玩”、“好服务”、“好品质”、“通全球”、“线上线下通”。“双十一”早已不仅是天猫的节日，更是全中国、全世界的商家与消费者的盛大节日，也是全球商业力量的大巡礼，成为了商业领域的奥林匹克。

“双十一”形成的海量交易意味海量的交易数据。海量数据中必然蕴含着海量信息。因而，对这些海量的交易数据的进一步分析处理成为了业界人士的关注焦点。然而，现有的大数据处理系统大部分都只能处理静态的数据，分析过程的实时性不强，难以满足对交易数据进行实时分析、实时监控的要求。

发明内容

本发明要解决的技术问题是提供一种基于Flink和Kafka实时监控销售数据的方法、系统及装置，通过采用数据流为大数据分析处理的基本数据结构，大大提高了对销售数据进行分析处理的实时性。

为解决上述技术问题，本发明提供了一种基于Flink和Kafka实时监控销售数据的方法，所述方法包括：由Kafka消息队列获取因用户消费而产生的实时销售数据，且所述实时销售数据为数据流；采用Flink分布式运算系统，对所述实时销售数据进行统计，得到用户消费的实时交易额，且所述实时交易额为数据流。

作为本发明技术方案的一种改进，由Kafka消息队列获取因用户消费而产生的实时销售数据，包括：由Kafka消息队列获取以数据流为数据结构的实时销售数据，实时销售数据包括：客户编号、价格、客户所属城市、交易商品编号。

作为本发明技术方案的一种改进，实时销售数据由用户标识动作、用户点击动作及交易业务动作产生。

作为本发明技术方案的一种改进，采用Flink分布式运算系统，对所述实时销售数据进行统计，得到用户消费的实时交易额，包括：采用Flink分布式运算系统，解析实时销售数据；采用Flink分布式运算系统，根据对实时销售数据的解析结果，对实时交易额进行统计，得到用户消费的实时交易额，其中，对实时销售数据的解析结果及实时交易额均为数据流。

作为本发明技术方案的一种改进，采用Flink分布式运算系统，解析实时销售数据，包括：采用Flink分布式运算系统，将实时销售数据解析为包括价格字符串及价格整数的元组；则，采用Flink分布式运算系统，根据对实时销售数据的解析结果，对实时交易额进行统计而得到的统计结果为总交易额的实时统计。

作为本发明技术方案的一种改进，采用Flink分布式运算系统，解析实时销售数据，包括：采用Flink分布式运算系统，将实时销售数据解析为包括城市字符串及价格整数的元组；则，采用Flink分布式运算系统，根据对实时销售数据的解析结果，对实时交易额进行统计而得到的统计结果为区分城市交易额的实时统计。

作为本发明技术方案的一种改进，还包括：在由Kafka消息队列获取因用户消费而产生的实时销售数据之前，利用Filebeat日志分析器监控系统日志，并将包含实时销售数据的日志条目输出至Kafka消息队列。

此外，本发明还提供了一种基于Flink和Kafka实时监控销售数据的系统，所述系统包括：Kafka消息队列，用于存储因用户消费而产生的实时销售数据；Flink分布式运算系统，用于由Kafka消息队列获取实时销售数据，并对所述实时销售数据进行统计，得到用户消费的实时交易额，其中，实时销售数据及实时交易额均为数据流。

作为本发明技术方案的一种改进，还包括：Filebeat日志分析器，用于监控系统日志，并将包含实时销售数据的日志条目输出至Kafka消息队列。

此外，本发明还提供了一种基于Flink和Kafka实时监控销售数据的装置，所述装置包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如前文所述的基于Flink和Kafka实时监控销售数据的方法。

采用这样的设计后，本发明至少具有以下优点：

采用针对流数据的Flink处理引擎，明显提高了对销售数据进行分析处理的实时性。

附图说明

上述仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，以下结合附图与具体实施方式对本发明作进一步的详细说明。

图1是Flink处理引擎的系统架构图；

图2是本发明基于Flink和Kafka实时监控销售数据的方法的流程图；

图3是本发明实时销售数据的示意图；

图4是本发明实时交易额的示意图；

图5是本发明基于Flink和Kafka实时监控销售数据的方法的应用系统的数据流向图；

图6是本发明基于Flink和Kafka实时监控销售数据的方法的应用系统的系统架构图；

图7是本发明基于Flink和Kafka实时监控销售数据的装置的结构图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

Apache Flink是针对流数据处理的分布式计算平台，支持流处理和批处理两种模式，提供Exactly-Once的可靠性流式计算和丰富的时间窗口机制。凭借低延迟、高吞吐的性能优势，Flink在得到学术界广泛关注的同时，也在产业界的应用中取得显著成果。图1示出了Flink平台的系统架构。参见图1，在Flink计算平台上包括用于支持流处理及批处理的两种计算组件。其中支持流处理的计算组件的计算对象是数据流(Data stream)，而支持批处理的计算组件的计算对象是数据集(Data Set)。

图2示出了本发明提供的基于Flink和Kafka实时监控销售数据的方法的流程图。参见图2，基于Flink和Kafka实时监控销售数据的方法包括以下步骤：

S21，由Kafka消息队列获取因用户消费而产生的实时销售数据。

S22，采用Flink分布式运算系统，对所述实时销售数据进行统计，得到用户消费的实时交易额。

需要特别说明的是，无论是原始获取到的实时销售数据，还是统计分析得到的实时交易额，均是动态、实时的数据，也就是数据流。正因为本发明提供基于Flink和Kafka实时监控销售数据的方法中需要处理的源数据、处理过程中各种中间结果数据，还是最终的分析结果，均以数据流的形式存在，本发明提供的方法相对于现有的数据分析系统及方法具有更好的实时性。

而且，由于Flink平台及Kafka平台均是分布式的计算平台，应用本发明所提供的方法，通常都是在由多个实体计算系统组成的分布式计算平台上进行应用。由于应用于分布式计算平台，实际的计算任务通常由不同的计算系统同时进行处理，运算处理能力也大大加强。因此，计算效率也大大提高。

应用本发明所提供的方法，通常采用Filebeat日志采集器监控系统中用于记录用户的实时销售数据的日志。在监控到存储有上述实时销售数据的日志条目时，Filebeat日志采集器实时的将这些日志条目添加至Kafka消息队列中。

Flink分布式计算平台用来对Kafka中存储的实时销售数据进行统计分析，以得到实时交易额。在本发明技术方案中，Flink系统两种计算组件中，仅支持流处理的组件被应用，而支持批处理的组件不会被应用。这也就意味着，Flink平台的处理对象仅包含数据流，不包含数据集。也就是说，无论是本发明技术方案中的原始数据，也就是实时销售数据，还是本发明技术方案中的结果数据，也就是实时交易额，在Flink平台中被处理时，均是数据流。

如果在Flink平台处理实时销售数据的过程，产生了任何的中间结果数据，作为下一步分析处理的输入数据，这些中间结果数据也应该是数据流。正是因为原始数据、中间结果数据及最终结果数据均是数据流，本发明所提供的基于Flink和Kafka实时监控销售数据的方法才有更好的数据实时性。

与Flink平台上运行的其他分析处理过程相同，在上述对数据流的分析处理过程中，各种计算任务均需要经过JobManager的划分，以及TaskManager的调度，在此不再赘述。

具体的，由Kafka消息队列中获取到的实时销售数据包括：由客户编号、价格、客户所属城市及交易商品编号组成的元组。在采用Flink平台对上述数据流进行分析处理的过程，首先需要对上述元组进行解析。在解析之后，再根据解析结果进行实时交易额的统计。

对上述数据流元组的解析可以是解析为包含价格字符串及价格整数的元组。在此种情况下，统计得到的实时交易额就是系统总体的实时交易额。

示例性的，统计总体的实时交易额的代码可以是如下代码：

out.collect(new Tuple<String,Integer>("price",price))。

对上述数据流元组的解析还可以是解析为包含城市字符串及价格整数的元组。在此种情况下，统计得到的实时交易额是根据不同城市统计得到的实时交易额。

示例性的，统计不同城市的实时交易额的代码可以是如下代码：

out.collect(new Tuple<String,Integer>(city,price))。

图3示出了由Kafka消息队列中获取到的数据元组。参见图3，上述数据元组包含不同的客户编号、价格、客户所属城市及交易商品编号。上述的数据元组可能由用户标识、用户点击或者交易业务而产生。

图4示出了应用本发明所提供的方法的统计分析后，得到的总体实时交易额的示例。参见图4，在图中示出的每个数据条目时在不同时间点上数据的总体实时交易额的数值。可以看到，在连续的时间点上系统输出的总体实时交易额不同。这也体现的系统实时性较好的特点。

图5及图6均示出了本发明所提供的基于Flink和Kafka实时监控销售数据的方法的一种应用系统。图5示出了该应用系统的数据流向。参见图5，Filebeat监控实际交易数据。实际交易数据通常以交易日志的形式存储于电子商务平台上。Filebeat监控到目标交易数据后，将目标交易数据输入至Kafka，生成Kafka实时持久化数据，也就是Kafka消息队列中的消息。Flink平台根据Kafka消息队列中的消息进行实时计算。这种实时计算包括：统计实时总交易额，以及统计不同城市的实时交易额，也就是根据城市实时总交易额客户端消费Kafka数据。实时总交易额是指不区分城市的总交易额数据，而不同城市的实时交易额是区分城市的总交易额数据。

图6示出了应用系统的整体架构。参见图6，应用系统整体上包括：线上Log、流式平台及数据库。线上Log是指其中包含有实际交易数据的，电子商务平台的各种日志。流式平台是指通过分析处理，得到实时交易额的计算平台。该计算平台是流式计算平台，其处理的数据均是数据流，而不是静态的数据集。具体的，流式平台可以是Flink流式计算平台。数据库是用于存储流式平台的分析结果的数据。具体的，数据库可以是Druid，或者可以是HBase。

图7是本发明基于Flink和Kafka实时监控销售数据的装置的结构图。参见图7，基于Flink和Kafka实时监控销售数据的装置包括：中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别的，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的方法中限定的上述功能。需要说明的是，本发明的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意结合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何恰当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连的表示的方框实际上可以基本并行的执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，本领域技术人员利用上述揭示的技术内容做出些许简单修改、等同变化或修饰，均落在本发明的保护范围内。

Claims (10)

1.一种基于Flink和Kafka实时监控销售数据的方法，其特征在于，包括：

由Kafka消息队列获取因用户消费而产生的实时销售数据，且所述实时销售数据为数据流；

采用Flink分布式运算系统，对所述实时销售数据进行统计，得到用户消费的实时交易额，且所述实时交易额为数据流。

2.根据权利要求1所述的基于Flink和Kafka实时监控销售数据的方法，其特征在于，由Kafka消息队列获取因用户消费而产生的实时销售数据，包括：

由Kafka消息队列获取以数据流为数据结构的实时销售数据，实时销售数据包括：客户编号、价格、客户所属城市、交易商品编号。

3.根据权利要求1所述的基于Flink和Kafka实时监控销售数据的方法，其特征在于，实时销售数据由用户标识动作、用户点击动作及交易业务动作产生。

4.根据权利要求1所述的基于Flink和Kafka实时监控销售数据的方法，其特征在于，采用Flink分布式运算系统，对所述实时销售数据进行统计，得到用户消费的实时交易额，包括：

采用Flink分布式运算系统，解析实时销售数据；

采用Flink分布式运算系统，根据对实时销售数据的解析结果，对实时交易额进行统计，得到用户消费的实时交易额，其中，对实时销售数据的解析结果及实时交易额均为数据流。

5.根据权利要求4所述的基于Flink和Kafka实时监控销售数据的方法，其特征在于，采用Flink分布式运算系统，解析实时销售数据，包括：

采用Flink分布式运算系统，将实时销售数据解析为包括价格字符串及价格整数的元组；

则，采用Flink分布式运算系统，根据对实时销售数据的解析结果，对实时交易额进行统计而得到的统计结果为总交易额的实时统计。

6.根据权利要求4所述的基于Flink和Kafka实时监控销售数据的方法，其特征在于，采用Flink分布式运算系统，解析实时销售数据，包括：

采用Flink分布式运算系统，将实时销售数据解析为包括城市字符串及价格整数的元组；

则，采用Flink分布式运算系统，根据对实时销售数据的解析结果，对实时交易额进行统计而得到的统计结果为区分城市交易额的实时统计。

7.根据权利要求1所述的基于Flink和Kafka实时监控销售数据的方法，其特征在于，还包括：

在由Kafka消息队列获取因用户消费而产生的实时销售数据之前，利用Filebeat日志分析器监控系统日志，并将包含实时销售数据的日志条目输出至Kafka消息队列。

8.一种基于Flink和Kafka实时监控销售数据的系统，其特征在于，包括：

Kafka消息队列，用于存储因用户消费而产生的实时销售数据；

Flink分布式运算系统，用于由Kafka消息队列获取实时销售数据，并对所述实时销售数据进行统计，得到用户消费的实时交易额，其中，实时销售数据及实时交易额均为数据流。

9.根据权利要求8所述的基于Flink和Kafka实时监控销售数据的系统，其特征在于，还包括：

Filebeat日志分析器，用于监控系统日志，并将包含实时销售数据的日志条目输出至Kafka消息队列。

10.一种基于Flink和Kafka实时监控销售数据的装置，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1至7任意一项所述的基于Flink和Kafka实时监控销售数据的方法。