CN106778033B - 一种基于Spark平台的Spark Streaming异常温度数据报警方法 - Google Patents

Abstract

本发明一种基于Spark平台的Spark Streaming异常温度数据报警方法，结合kafka中间件作为服务器存储队列构建了一个异常温度检测系统及方法。本方法利用传感器收集物联网传来的温度数据，并上传到服务器，在这里数据全部进入kafka队列。Spark Streaming会实时消费kafka队列的数据，将数据读出来并进行实时的分析，并对异常数据发出报警信号。经过Spark Streaming实时计算程序分析，将结果写入Orancle数据库，可以实时获取温度数据，并可以导出来进行离线综合统计分析。

Description

一种基于Spark平台的Spark Streaming异常温度数据报警 方法

技术领域

本发明提出了一种基于Spark Streaming的温度异常报警方法，主要针对物联网传来的海量温度数据进行处理，提高处理效率。本方法领域属于基于云计算平台下的大数据处理领域。

背景技术

随着数据源产生的数据越来越多，处理数据的实时性需求越来越大，如实时分析和实时处理传感器生产的数据或者网络系统产生的日志数据。再比如，早期的在网上产生的股市震荡数据或者地震预测消息是有价值，时间长消息的价值就降低了。通常，数据分析是存在依赖关系的，这些依赖关系指明原始数据是来自同一组数据流。常用的数据流并行处理系统有Comet,Spark Streaming，SEEP，Storm和Naiad，这些处理系统都可以用于接收和处理实时传来的数据流。

Hadoop两大核心组件分别为HDFS（Hadoop Distributed Filesystem）和MapReduce。

Hadoop把数据存放在集群节点上，是根据数据节点空间利用率而不是节点的CPU处理能力来进行存取数据。

一个大的hadoop集群可以跨越多个机架甚至数据中心。与传统的并行处理数据流一样，Hadoop的MapReduce组件是非内存和离线分析的数据处理引擎，无法满足大规模数据实时分析和统计的要求。

Apache Storm是一个免费开源的实时分布式计算系统，但是Storm只适用于处理小规模、低速的数据流。

发明内容

本发明的目的是提供一种能够实时处理来自物联网的温度信息的方法，该方法主要利用Spark Streaming的高并发特性，从kafka服务器队列中并行读取数据，并对数据进行整合，筛选出异常温度信息，从而完成对异常温度数据报警的功能。

为了实现上述技术目的：本发明采用如下的具体技术方案：

一种基于Spark平台的Spark Streaming异常温度数据报警方法，利用kafka作为消息队列服务器，不断地接受物联网传感器传递来的数据流，SparkStreaming把接收的数据流分成数据块存放在Spark Streaming的数据块队列中，并且在一定的批处理时间间隔对数据块队列中的数据进行批处理，Spark通过任务调度器对批处理的数据块进行计算，筛选出异常温度数据，并把计算结果存入数据库中；

其处理数据具体流程如下：

步骤1：初始化——创建一个StreamingContext对象，该对象中的参数包括：SparkContext和批处理时间两个，对批处理时间这个参数进行设置，具体包括：

1）StreamingContext中的批处理时间设置为8s；

2）如果提交的数据流未被快速处理，数据滞留，减少批处理时间；

3）如果提交的数据流很快被处理，当前又没有数据流进入，处理时间过快，增加批处理时间；

4）重复步骤2）和步骤3）操作，直到数据流进入Spark中，Spark刚好处理结束上一个作业，从而找出合理的批处理时间；

步骤2：加载温度数据；

创建createStream，Receiver被调起执行；

连接ZooKeeper，读取相应的Consumer、Topic配置信息，通过consumerConnector连接到kafka集群，收取kafka队列中相应topic的数据；

创建KafkaMessageHandler线程池来对温度数据进行处理，通过ReceiverInputDStream中的方法，将数据转换成BlockRDD，供后续计算；

步骤3：异常温度数据检测：

Spark Streaming把从kafka队列中的topic数据的每行字符串解析出的温度数据，转换为Double型，分而治之，将同一个topic中的温度放入一个组中，设定一个温度阈值，统计每组出现的大于和小于温度阈值的异常温度数据的次数，如果出现异常数据，就向外发出异常警报；

步骤4：数据存储：

使用创建的SparkContext对象中的saveAstextFile()函数将获取的异常温度数据和次数存入到Orancle数据库中，以方便web端的查询和访问。

所述温度阈值设置为25～40摄氏度。

本发明的有益效果是：

本发明提出了一种基于Spark平台的Spark Streaming异常温度数据报警方法，能够实时地处理来自物联网的大批数据，具有高强度的容错性和可扩展性，能够准确的实时地进行温度异常报警。下面进行具体说明。

高容错性：在Strom中，每个单独的记录当它通过系统时必须被跟踪，所以Storm能够至少保证每个记录将被处理一次，但是在从错误中恢复过来时候允许出现重复记录。这意味着可变状态可能不正确地被更新两次。然而在Spark Streaming只需要在批级别进行跟踪处理，因此可以有效地保证每个mini-batch将完全被处理一次，即便一个节点发生故障。

因为Spark Streaming中RDD的容错机制是每个RDD都是一个不可变的分布式可重复的数据集，它记录着确定性的操作继承关系，只要源数据丢失或者失真，或者任意一个RDD分区出错或不可用，都是可以利用原始输入数据通过转换操作而重新算出的。

实时性：Spark Streaming将流式计算分解成多个Spark Job，对于每一段数据的处理都会经过Spark DAG图分解，以及Spark的任务集的调度过程。对于目前版本的SparkStreaming而言，其最小的Batch Size的选取在0.5～2秒钟之间，所以能够高实时的对温度数据进行处理。

高扩展性和高吞吐量：Spark目前在EC2上已能够线性扩展到100个节点（每个节点4Core），可以以数秒的延迟处理6GB/s的数据量（60M records/s）,其吞吐量比一般的流速度高2～5倍。

附图说明

图1是集群系统架构图；

图2是Spark Streaming中RDD的lineage关系图；

图3是系统的工作流程图；

图4是kafka生产者/消费者模型；

图5是数据处理流程图。

具体实施方式

本发明采用Spark Streaming是因为该数据处理引擎具有高可靠、数据分析延迟低、处理数据能力强等优点，避免了数据堆积。

Apache Spark Streaming，Apache Storm和Yahoo S4是三大典型的支持在线实时流式计算的平台模型。

数据处理引擎Spark Streaming，它把数据流分成数据块存放在数据块队列中，然后在一定的批处理间隔对数据队列中的数据块进行统一处理，并可以通过调整批处理间隔从而达到对高速数据流和低速数据流的实时处理，因此在这里选取Spark平台作为分布式计算框架。

kafka是一个分布式的、高吞吐量、易于扩展的基于主题发布/订阅的消息系统，最早是由Linkedin开发，并于2011年开源并贡献给Apache软件基金会。作为消息队列， kafka由于拥有高吞吐量，并且内置消息主题分区、备份、容错等特性，更适合使用在大规模，高强度的消息数据处理的系统中。

数据处理引擎Spark Streaming提供了一个叫做DStream（Discretized Stream）的高级抽象，DStream表示一个持续不断输入的数据流，可以基于Kafka、TCP Socket、Flume等输入数据流创建。在内部，一个DStream实际上是由一个RDD序列组成的。数据处理引擎Sparking Streaming是基于Spark平台的，也就继承了Spark平台的各种特性，如容错（Fault-tolerant）、可扩展（Scalable）、高吞吐（High-throughput）等。

本发明提出了一种基于Spark Streaming的温度报警方法，其特色主要体现在对海量数据处理和实时分析两个方面。本方法基于如下三点：

（1）传感器收集物联网传来的温度数据，并上传到服务器，在这里数据全部进入kafka队列。

（2）Spark Streaming会实时消费kafka队列的数据，将数据读出来并进行实时的分析，并对异常数据发出报警信号。

（3）经过Spark Streaming实时计算程序分析，将结果写入Oracle数据库，可以实时获取温度数据，并可以导出来进行离线综合统计分析。

本发明处理图如图1所示，利用kafka作为消息队列服务器，不断地接受物联网传感器传递来的数据流，SparkStreaming把接收的数据流分成数据块存放在SparkStreaming的数据块队列中，并且在一定的批处理间隔对数据块队列中的数据进行批处理，Spark通过任务调度器对批处理数据块进行计算，筛选出异常温度数据，并把计算结果存入数据库中，

一．体系结构

分布流式（数据处理框架）分为Storm和Spark Streaming，Apache Storm是一个免费开源的实时分布式计算系统。但是Storm只适用于处理小规模低速的数据流。与Strom不一样的Spark Streaming，它把数据流分成数据块存放在数据块队列中，然后在一定的批处理间隔对数据队列中的数据块进行统一处理。可以通过调整批处理间隔从而达到对高速数据流和低速数据流的实时处理。

本发明提出的方法选择Spark Streaming进行温度异常检测，Spark Streaming将物联网传来的温度数据流按批处理间隔切分为一段段批处理作业来处理。

Spark针对持续性数据流的抽象称为DStream，一个DStream是一个微批处理的RDD（弹性分布式数据集Resilient Distributed Datasets），其弹性分布式数据集的传承关系如图2所示，图中的长方形表示一个弹性分布式数据集，长方形中的圆形表示一个弹性分布式数据集中的一个块（Partition），图中的每一列的多个弹性分布式数据集表示一个DStream（图中有三个DStream），而每行最后一个弹性分布式数据集则表示每一个BatchSize所产生的中间结果弹性分布式数据集。

图中的每一个弹性分布式数据集都是通过lineage相连接的，由于SparkStreaming输入数据来自kafka队列能够保证容错性，所以弹性分布式数据集中任意的块出错，都可以并行地在其他机器上将缺失的块计算出来。

该方法具体实现步骤如下：

1）启动Hadoop集群，Zookeeper集群，Spark集群和kafka集群（接受来自物联网传来的数据）,初始化调度器。

2）将输入流的接收器转化为RDD（Resilient Distributed Datasets）在集群打散，然后启动接收器集合中的每个接收器，初始化SocketInputDStream，触发StreamingContext中的Start()方法,启动调度器，启动集群分布式接收器。

3）Receiver的receive()函数从kafka接受的流数据源源不断地放入BlockGenerator的currentBuffer（缓冲区），将缓冲区中的温度数据流以一定的时间间隔转化为数据块放入BlockGenerator的blockForPush队列中。

4）将blockForPush中的数据块转化为Spark中的数据块，通过BlockGenerator中的BlockPushingThread线程，不断地将blocksForPush队列中的块传给BlockManger（负责Spark中的块管理），让BlockManger将数据存储为块。

5）pushArrayBuffer()方法将已经由BlockManger存储的元数据信息（如BlockId）传递给ReceiverTracker，并将存储的BlockId放到对应的StreamId的队列中。

6）Spark Streaming根据时间段，将数据切分为RDD，然后触发RDD的Action提交Job到JobManager中的Job Queue中，调度器JobScheduler将Job提交到Spark的Job调度器，然后将Job转换为大量的任务分发给Spark集群执行（每个数据段都在执行温度异常检测Job），从而找出所有数据段的异常温度数据，并进行汇总报警。

本发明提出了一种基于Spark平台的Spark Streaming异常温度数据报警方法，能够实时地处理来自物联网的大批数据，具有高强度的容错性和可扩展性，能够准确的实时地进行温度异常报警。下面进行具体说明。

高容错性：在Strom中，每个单独的记录当它通过系统时必须被跟踪，所以Storm能够至少保证每个记录将被处理一次，但是在从错误中恢复过来时候允许出现重复记录。这意味着可变状态可能不正确地被更新两次。然而在Spark Streaming只需要在批级别进行跟踪处理，因此可以有效地保证每个mini-batch将完全被处理一次，即便一个节点发生故障。

因为Spark Streaming中RDD的容错机制是每个RDD都是一个不可变的分布式可重复的数据集，它记录着确定性的操作继承关系，操作继承关系如图2所示，所以只要源数据丢失或者失真，或者任意一个RDD分区出错或不可用，都是可以利用原始输入数据通过转换操作而重新算出的。

实时性：Spark Streaming将流式计算分解成多个Spark Job，对于每一段数据的处理都会经过Spark DAG图分解，以及Spark的任务集的调度过程。对于目前版本的SparkStreaming而言，其最小的Batch Size的选取在0.5～2秒钟之间，所以能够高实时的对温度数据进行处理。

高扩展性和高吞吐量：Spark目前在EC2上已能够线性扩展到100个节点（每个节点4Core），可以以数秒的延迟处理6GB/s的数据量（60M records/s）,其吞吐量比一般的流速度高2～5倍。

Claims (2)

1.一种基于Spark平台的Spark Streaming异常温度数据报警方法，其特征在于：利用kafka作为消息队列服务器，不断地接受物联网传感器传递来的数据流，SparkStreaming把接收的数据流分成数据块存放在Spark Streaming的数据块队列中，并且在一定的批处理时间间隔对数据块队列中的数据进行批处理，Spark通过任务调度器对批处理的数据块进行计算，筛选出异常温度数据，并把计算结果存入数据库中；

其处理数据具体流程如下：

步骤1：初始化——创建一个StreamingContext对象，该对象中的参数包括：SparkContext和批处理时间两个，对批处理时间这个参数进行设置，具体包括：

1）StreamingContext中的批处理时间设置为8s；

2）如果提交的数据流未被快速处理，数据滞留，减少批处理时间；

3）如果提交的数据流很快被处理，当前又没有数据流进入，处理时间过快，增加批处理时间；

4）重复步骤2）和步骤3）操作，直到数据流进入Spark中，Spark刚好处理结束上一个作业，从而找出合理的批处理时间；

步骤2：加载温度数据；

创建createStream，Receiver被调起执行；

连接ZooKeeper，读取相应的Consumer、Topic配置信息，通过consumerConnector连接到kafka集群，收取kafka队列中相应topic的数据；

创建KafkaMessageHandler线程池来对温度数据进行处理，通过ReceiverInputDStream中的方法，将数据转换成BlockRDD，供后续计算；

步骤3：异常温度数据检测：

Spark Streaming把从kafka队列中的topic数据的每行字符串解析出的温度数据，转换为Double型，分别处理，将同一个topic中的温度放入一个组中，设定一个温度阈值，统计每组出现的大于和小于温度阈值的异常温度数据的次数，如果出现异常数据，就向外发出异常警报；

步骤4：数据存储：

使用创建的SparkContext对象中的saveAstextFile()函数将获取的异常温度数据和次数存入到Orancle数据库中，以方便web端的查询和访问。

2.根据权利要求1所述的基于Spark平台的Spark Streaming异常温度数据报警方法，其特征在于，所述温度阈值设置为25～40摄氏度。