CN109271412A - 智慧城市的实时流数据处理方法及系统 - Google Patents

Abstract

本发明公开了一种智慧城市的实时流数据处理方法及系统，本发明包含数据采集、数据类型分类、数据清洗、数据计算与分析、数据展示、数据持久化存储等步骤，它以Flume为主、API采集为辅的方式搭建数据采集模块，利用channel进行数据持久化，确保数据传输过程中的可靠性；采用Kafka作为流式处理平台，引入Flink的容错机制，进行high level地消费Kafka数据，实现真正的实时流数据处理，可支持毫秒级计算；另外Flink完善的窗口支持，提供了比Storm更为完善的窗口聚合计算API；最后，利用WebSocket建立服务器端与Web端之间的连接通道，提供即时数据服务，降低数据传输压力，提高系统高并发访问性和可用性。

Description

智慧城市的实时流数据处理方法及系统

技术领域

本发明涉及数据处理技术领域，特别是一种智慧城市的实时流数据处理方法及系统。

背景技术

现有的智慧城市大数据解决方案中，以基于政务业务系统数据的批处理系统为主流，多采用Logstash作为采集工具，并使用Spark Streaming或Storm作为流式计算框架，最后通过 HTTP协议将计算结果发送至web前端，由web前端进行页面展示。其中，Logstash是可实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理。

随着技术的发展和应用的普及，智慧城市数据量日益庞大，采用上述解决方案会存在以下问题：

1.仅基于政务业务系统的数据进行数据分析，数据来源单一，数据所反应的社会现实缺乏立体感，无法实现利用大数据技术推动智慧城市发展的目的；

2.大量数据的吞吐会造成Logstash采集模块的解析能力降低，资源消耗较大、传输速度较慢，且存在数据丢失的可能；

3.Spark Streaming作为流式计算框架，实际上是“微批”处理形式，无法形成真正的流式计算，数据的实时性会被缓慢拉低，从而引发数据延时、数据传输无法同步等问题；

4.HTTP作为非持久化协议，采用Ajax轮询方式需要不断建立连接获取数据，需要不断地调用服务器资源，服务器面临高并发量的危险且耗费资源较大、实时性相对较差。

发明内容

本发明的发明目的是，针对上述问题，提供一种智慧城市的实时流数据处理方法，本发明以Flume为主、Restful API采集为辅的方式搭建数据采集模块，利用Channel进行数据持久化，确保数据传输过程中的可靠性；采用Kafka作为流式处理平台并引入Flink的容错机制，进行high level地消费Kafka数据实现真正的实时流数据处理，可支持毫秒级计算。

为达到上述目的，本发明所采用的技术方案是：

智慧城市的实时流数据处理方法，包括以下步骤：

S1、数据终端实时反馈源数据信息，所述源数据信息包括用户行为信息、无线Wi-Fi设备状态数据、公众号运营数据及互联网行业相关数据，根据类型判断数据是实时流数据还是非实时流数据，若为实时流数据则启动数据采集模块中的Flume模块进行数据采集；

S2、采集得到的数据根据类型的不同，对Flume中的Source、Channel、Sink进行配置定义，并将生成的配置文件分配到Flume模块不同Agent中；

S3、Flume模块的各个Agent根据配置文件启动并进行数据采集，并在采集过程中，Agent 根据规则引擎中的预设的清洗规则，利用Interceptor对数据内容进行清洗；

S4、将步骤S3中，Flume模块清洗好的实时流数据按照Topic导入数据处理模块中的 Kafka中进行分析消费，并利用Kafka Manager和Kafka Monitor对Kafka集群进行管理和监控，以实时获取Topic的消费记录及分区情况，利用Kafka Monitor的图形化展示掌握Topic 消费信息；并将数据持久化到数据存储模块中的HDFS中；

S5、上述步骤S4中，对Kafka集群进行管理和监控过程，采用数据处理模块中的Flink 实时拉取Kafka集群流式数据进行计算，并产生两条新的分支，其中一条分支将计算产生的结果回流至Kafka集群，另一分支将计算结果导入数据存储模块的Mysql数据库中，供Restful API封装使用；

S6、通过消费Kafka Topic中的数据，并采用Websocket协议将数据实时推送至数据展示端；基于WebSocket链接断裂无法重连的情形，通过Web展示端进行Websocket链接情况判断，然后采用消费降级策略使Web展示端转从S5中的Restful API获取数据，从而调用相应Restful API，实现服务稳定提供。

作为优选实施方式，步骤S1中，还包括S11、所述Flume模块用于对日志数据的接收与传输，其在传输数据过程先将待传输的数据保存至内部的Channel中，待数据传输至目的端Sink后再删除已缓存的数据；S12、对于非日志数据，通过Resful API读取或者爬虫的方式获取。

作为优选实施方式，步骤S1采集得到数据和步骤S5计算得到的数据均同时发送至数据存储模块中，进行数据持久化处理后输出至HDFS中，供后续的批处理使用。

本发明还提供了基于上述处理方法的智慧城市的实时流数据处理系统，包括数据采集模块、数据处理模块、数据存储模块和数据展示模块，所述数据采集模块的输入端与数据采集终端连接、数据采集模块的输出端分别与数据处理模块和数据存储模块连接，用于将数据采集终端中获取的数据分为日志数据和非日志数据，并启动Flume模块对日志数据进行采集与传输，非日志数据采集Restful API模块来获取与采集；

所述数据处理模块的输出端分别与数据展示模块和数据存储模块连接，用于对数据采集模块发来的数据进行存储、清洗后判断数据类型是实时流数据还是非实时流数据，若为实时流数据，分发至Kafka指定的Topic中进行实时计算处理，然后通过Flink将计算结果回流至Kafka集群；若为非实时流数据则分发至HDFS中供离线计算处理；

所述数据存储模块分别将数据采集模块和数据计算模块发来的数据进行持久化，并将持久化数据输出至HDFS中，供后续的批处理使用；

所述数据展示模块通过WebSocket构建数据服务器端和数据Web展示端的持久化链路，将数据处理模块的处理结果发送至数据结果集上并在Web页面上展示。

上述方案中，进一步地，所述数据存储模块可包括HDFS和Mysql数据库。

上述方案中，所述数据展示模块中，采用WebSocket搭建得到的数据服务器端与数据Web 展示端进行一次握手连接，向数据展示模块主动推送数据服务，以提供即时数据服务；当 WebSocket链接断裂无法重连时，通过数据展示模块上的Web页面进行链接判断，触发事件后通过调用Restful API从数据存储模块中的Mysql数据库来获取数据并进行展示。

上述方案中，进一步地，所述数据处理模块中，通过Kafka Manager和KafkaMonitor 对Kafka集群进行管理和监控，其中，所述Kafka Manager为Kafka的可视化管理工具，所述Kafka Monitor为Kafka的监控框架。

由于采用上述技术方案，本发明具有以下有益效果：

1.本发明通过数据采集模块构建大数据资源池，除了政务业务系统数据外，采集无线 WiFi设备数据、用户上网行为数据、微信公众号数据和互联网相关行业数据等均涉及到，为大数据智慧城市的数据建设的基石；

2.在数据采集模块，由Flume负责接收Rsyslog、UDP报文等的日志输出，确保数据传输完成后，才删除已缓存的数据，实现实时传输的可靠性；

3.在数据处理模块，实时流数据部分，采用Kafka作为流式处理平台，并引入Flink的容错机制，消费Kafka Topic中的数据，实现“微批”处理到实时流式处理的转换；

4.在数据展示模块，采用WebSocket搭建服务器端和Web展示端之间的一次握手连接，主动推送数据服务，提供即时数据服务，降低数据传输压力，提高系统高并发访问性和可用性；

5.在数据展示模块中，考虑到WebSocket链接断裂无法重连的情况，由Web展示端进行事件判断，触发事件后，转从Restful API获取数据，因此在Flink消费Kafka数据时，一方面提供计算结果回流至Kafka集群，并将数据推送至WebSocket中；另一方面，微批化地将数据持久化到Mysql数据库中，供Restful API调用，实现服务的稳定提供，也给WebSocket重建链接提供时间窗口。

附图说明

图1是本发明的系统组成框图。

图2是本发明的系统流程框图。

附图中，1-数据采集模块、2-数据处理模块、3-数据存储模块、4-数据展示模块、5-数据采集终端。

具体实施方式

以下结合附图对发明的具体实施进一步说明。

如图1、图2所示，智慧城市的实时流数据处理方法，包括以下步骤：

S1、数据终端实时反馈源数据信息，所述源数据信息包括用户行为信息、无线Wi-Fi设备状态数据、公众号运营数据及互联网行业相关数据，根据类型判断数据是实时流数据还是非实时流数据，若为实时流数据则启动数据采集模块1中的Flume模块进行数据采集，构建大数据资源池。通过规则引擎读取数据信息并找到对应位置文件，启动数据采集模块1中的 Flume模块进行数据采集。

所述规则引擎的设置作业调度和数据格式规则来采集源数据信息。

在步骤S1中，还包括S11，所述Flume模块用于对日志数据的接收与传输，其在传输数据过程先将待传输的数据保存至内部的Channel中，待数据传输至目的端Sink后再删除已缓存的数据；S12、对于非日志数据，通过Resful API读取或者爬虫的方式获取。即由Flume 负责接收Rsyslog、UDP报文等的日志输出，其它数据采用调用Resful API方式采集。

S2、采集得到的数据根据类型的不同，对Flume中的Source、Channel、Sink进行配置定义，并将生成的配置文件分配到Flume模块不同Agent中。

本方法采用的flume模块是分布式的日志收集系统，可以处理各种类型和各种格式的日志数据，侧重于将数据传输到目的端，即它可以将各个服务器中的数据收集起来并送到指定的地方去。Flume模块中采用了Agent(代理)，Agent里面包含3个核心的组件：source-->Channel—->Sink,类似生产者、仓库、消费者的架构。其中采用Source或Channel或Sink配置文件是根据：一、数据载体的来源：如文件、缓存、数据库等，二、根据数据内容格式：如文本、序列化数据对象、数据库文件等。

其中：source：source组件是专门用来收集数据，可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequencegenerator、 syslog、http、legacy、自定义。

Channel：source组件把数据收集来以后，临时存放在Channel中，即Channel组件在 Agent中是专门用来存放临时数据的——对采集到的数据进行简单的缓存，可以存放在memory、jdbc、file等等。

Sink：Sink组件是用于把数据发送到目的地的组件，目的地包括hdfs、logger、avro、 thrift、ipc、file、null、Hbase、solr、自定义。

S3、Flume模块的各个Agent根据配置文件启动并进行数据采集，并在采集过程中，Agent 根据规则引擎中的预设的清洗规则，利用Interceptor对数据内容进行清洗。

S4、将步骤S3中，Flume模块清洗好的实时流数据按照Topic导入数据处理模块2中的 Kafka中进行分析消费，并利用Kafka Manager和Kafka Monitor对Kafka集群进行管理和监控，以实时获取Topic的消费记录及分区情况，利用Kafka Monitor的图形化展示掌握Topic 消费信息；并将数据持久化到数据存储模块3中的HDFS中。

在本步骤中利用的是Flume系统的Agent流程中的Sink根据数据是否是实时的将数据发送到目的地，即Kafka或者HDFS文件。其中Kafka作为一个分布式发布订阅消息系统，其分区机制、副本机制和容错机制为本方案提供了数据零丢失保障，同时提供高吞吐量下的数据处理低时延性能。

此外，在本步骤中，利用Flume模块的HDFSSink将日志批量写入数据存储模块3的HDFS 目录中存储并按照日期分子文件夹存储。本步骤中采用的是批量的方式对数据进行写入，有助于加快数据的处理速度。

S5、上述步骤S4中，对Kafka集群进行管理和监控过程，采用数据处理模块2中的Flink 实时拉取Kafka集群流式数据进行计算，并产生两条新的分支，其中一条分支将计算产生的结果回流至Kafka集群，另一分支将计算结果导入数据存储模块3的Mysql数据库中，供 Restful API封装使用。

在本步骤中，所采用的Flink是一种大规模数据的处理工具，利用Flink内置的RocksDB 数据存储格式使其数据处理速度快且资源消耗小，Flink强大的窗口机制可满足复杂的业务逻辑，使得用户编写复杂的业务规则，最重要的是通过对事件时间的支持而导致无序数据到达的准确结果，并最终达到每秒数千万事件的吞吐量，提供低延迟、高容错和高效率的流数据处理方案。且Flink中的Kafka Consumer可将计算结果回流至Kafka集群，也可完成持久化操作。

S6、通过消费Kafka Topic中的数据，并采用Websocket协议将数据实时推送至数据展示端；基于WebSocket链接断裂无法重连的情形，通过Web展示端进行Websocket链接情况判断，然后采用消费降级策略使Web展示端转从S5中的Restful API获取数据，从而调用相应Restful API，实现服务稳定提供。

在本步骤S6中，WebSocket是一个兼容握手协议的HTTP持久化协议，采用longpoll 模式取代Ajax轮询，并通过阻塞模型只需一次HTTP握手，即可将服务器端最新的数据信息推送至Web展示端，使Web展示端实时捕捉数据的最新变化，并降低服务器的高并发风险。所述Web展示端即图1中的数据展示模块4。由于WebSocket的主动推送原则，当服务器端因网络等原因使得链接断裂时，由Web展示端监测事件后，基于服务降级原则，转从微批处理的Rertful API获取数据，给服务器端WebSocket提供重建链接的时间缓冲，起到提高服务稳定性的作用。

步骤S1采集得到数据和步骤S5计算得到的数据均同时发送至数据存储模块3中，进行数据持久化处理后输出至HDFS中，供后续的批处理使用。

如图1所示，智慧城市的实时流数据处理系统，包括数据采集模块1、数据处理模块2、数据存储模块3和数据展示模块4。所述数据采集模块1的输入端与数据采集终端5连接、数据采集模块1的输出端分别与数据处理模块2和数据存储模块3连接，用于将数据采集终端5中获取的数据分为日志数据和非日志数据，并启动Flume模块对日志数据进行采集与传输，非日志数据采集Restful API模块来获取与采集。即所述数据采集模块1以Flume模块为主、并以Restful API模块为辅来对数据源信息进行获取。

所述数据处理模块2的输出端分别与数据展示模块4和数据存储模块3连接，用于对数据采集模块1发来的数据进行存储、清洗后判断数据类型是实时流数据还是非实时流数据，若为实时流数据，分发至Kafka指定的Topic中进行实时计算处理，然后通过Flink将计算结果回流至Kafka集群；若为非实时流数据则分发至HDFS中供离线计算处理。进一步地，在所述数据处理模块2中，通过Kafka Manager和Kafka Monitor对Kafka集群进行管理和监控，其中，所述Kafka Manager为Kafka的可视化管理工具，所述Kafka Monitor为Kafka的监控框架。

即所述数据处理模块2Kafka作为流式处理平台，引入Flink的容错机制，进行highlevel 地消费Kafka数据实现真正的实时流数据处理，可支持毫秒级计算；另外Flink完善的窗口支持，提高了比Storm更为完善的窗口聚合计算API。

所述数据存储模块3分别将数据采集模块1和数据计算模块发来的数据进行持久化，并将持久化数据输出至HDFS中，供后续的批处理使用。所述数据存储模块3包括HDFS和Mysql 数据库。

所述数据展示模块4通过WebSocket构建数据服务器端和数据Web展示端的持久化链路，将数据处理模块2的处理结果发送至数据结果集上并在Web页面上展示。进一步地，在所述数据展示模块4中，采用WebSocket搭建得到的数据服务器端与数据Web展示端进行一次握手连接，向数据展示模块4主动推送数据服务，以提供即时数据服务。当WebSocket链接断裂无法重连时，通过数据展示模块4上的Web页面进行链接判断，触发事件后通过调用Restful API从数据存储模块3中的Mysql数据库来获取数据并进行展示。

上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发明的专利申请范围，凡本发明所提示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利范围。

Claims (7)

1.智慧城市的实时流数据处理方法，包括以下步骤：

S1、数据终端实时反馈源数据信息，所述源数据信息包括用户行为信息、无线Wi-Fi设备状态数据、公众号运营数据及互联网行业相关数据，根据类型判断数据是实时流数据还是非实时流数据，若为实时流数据则启动数据采集模块中的Flume模块进行数据采集；

S2、采集得到的数据根据类型的不同，对Flume中的Source、Channel、Sink进行配置定义，并将生成的配置文件分配到Flume模块不同Agent中；

S3、Flume模块的各个Agent根据配置文件启动并进行数据采集，并在采集过程中，Agent根据规则引擎中的预设的清洗规则，利用Interceptor对数据内容进行清洗；

S4、将步骤S3中，Flume模块清洗好的实时流数据按照Topic导入数据处理模块中的Kafka中进行分析消费，并利用Kafka Manager和Kafka Monitor对Kafka集群进行管理和监控，以实时获取Topic的消费记录及分区情况，利用Kafka Monitor的图形化展示掌握Topic消费信息；并将数据持久化到数据存储模块中的HDFS中；

S5、上述步骤S4中，对Kafka集群进行管理和监控过程，采用数据处理模块中的Flink实时拉取Kafka集群流式数据进行计算，并产生两条新的分支，其中一条分支将计算产生的结果回流至Kafka集群，另一分支将计算结果导入数据存储模块的Mysql数据库中，供RestfulAPI封装使用；

S6、通过消费Kafka Topic中的数据，并采用Websocket协议将数据实时推送至数据展示端；基于WebSocket链接断裂无法重连的情形，通过Web展示端进行Websocket链接情况判断，然后采用消费降级策略使Web展示端转从S5中的Restful API获取数据，从而调用相应Restful API，实现服务稳定提供。

2.根据权利要求1所述的智慧城市的实时流数据处理方法，其特征在于：步骤S1中，还包括S11、所述Flume模块用于对日志数据的接收与传输，其在传输数据过程先将待传输的数据保存至内部的Channel中，待数据传输至目的端Sink后再删除已缓存的数据；S12、对于非日志数据，通过Resful API读取或者爬虫的方式获取。

3.根据权利要求1所述的智慧城市的实时流数据处理方法，其特征在于：步骤S1采集得到数据和步骤S5计算得到的数据均同时发送至数据存储模块中，进行数据持久化处理后输出至HDFS中，供后续的批处理使用。

4.智慧城市的实时流数据处理系统，包括数据采集模块、数据处理模块、数据存储模块和数据展示模块，其特征在于：所述数据采集模块的输入端与数据采集终端连接、数据采集模块的输出端分别与数据处理模块和数据存储模块连接，用于将数据采集终端中获取的数据分为日志数据和非日志数据，并启动Flume模块对日志数据进行采集与传输，非日志数据采集Restful API模块来获取与采集；

所述数据处理模块的输出端分别与数据展示模块和数据存储模块连接，用于对数据采集模块发来的数据进行存储、清洗后判断数据类型是实时流数据还是非实时流数据，若为实时流数据，分发至Kafka指定的Topic中进行实时计算处理，然后通过Flink将计算结果回流至Kafka集群；若为非实时流数据则分发至HDFS中供离线计算处理；

所述数据存储模块分别将数据采集模块和数据计算模块发来的数据进行持久化，并将持久化数据输出至HDFS中，供后续的批处理使用；

所述数据展示模块通过WebSocket构建数据服务器端和数据Web展示端的持久化链路，将数据处理模块的处理结果发送至数据结果集上并在Web页面上展示。

5.根据权利要求4所述的智慧城市的实时流数据处理系统，其特征在于：所述数据存储模块包括HDFS和Mysql数据库。

6.根据权利要求5所述的智慧城市的实时流数据处理系统，其特征在于：所述数据展示模块中，采用WebSocket搭建得到的数据服务器端与数据Web展示端进行一次握手连接，向数据展示模块主动推送数据服务，以提供即时数据服务；当WebSocket链接断裂无法重连时，通过数据展示模块上的Web页面进行链接判断，触发事件后通过调用Restful API从数据存储模块中的Mysql数据库来获取数据并进行展示。

7.根据权利要求4所述的智慧城市的实时流数据处理系统，其特征在于：所述数据处理模块中，通过Kafka Manager和Kafka Monitor对Kafka集群进行管理和监控，其中，所述Kafka Manager为Kafka的可视化管理工具，所述Kafka Monitor为Kafka的监控框架。