CN109951463A - 一种基于流计算和新型列式存储的物联网大数据分析方法 - Google Patents

Abstract

本发明公开了一种基于流计算和新型列式存储的物联网大数据分析方法，属于物联网大数据分析技术领域，首先对采集数据进行通信协议转换，得到统一的数据格式，传入到消息队列中，再送入分布式流计算框架Flink中；然后，流计算框架Flink对数据进行数据统计、数据聚合和分析后，实时写入到Kudu中；再调用Kudu的原生接口(Scan)对Kudu中存储的数据进行批量离线分析，数据分析人员便可在Impala计算引擎中进行实时查询，本发明解决了物联网领域现有海量设备信息的大数据存储与分析方法无法在对批量数据进行分析的同时进行单条数据更新，以及吞吐量较小，局限性较大的问题。

Description

一种基于流计算和新型列式存储的物联网大数据分析方法

技术领域

本发明属于物联网大数据分析技术领域，涉及一种基于流计算和新型列式存储的物联网大数据分析方法。

背景技术

在新时代，以物联网、大数据和云计算、人工智能为代表的新一代信息通信技术发展迅猛，物联网技术通过与其它新技术的不断融合，物联网的应用也呈现爆发趋势，进一步实现了人、机、物的信息共享，信息世界与物理世界之间形成了更加紧密的信息流动生态系统。物联网中万物互联，数据具有异构性、海量性、实时性等典型特征，为了能对收集到的物联网设备数据进行有效的批量分析、实时分析、实时展示，需要设计新的分布式存储架构和实时流处理框架。

传统的物联网数据存储方案是：采用B/S(Browser/Server，即浏览器/服务器)的方式存储数据，每接收一条数据请求，便在关系型数据库中(例如Oracle、Mysql)存储一条数据记录。数据分析时，编写SQL语句对数据进行实时分析和离线分析。B/S方式的数据分析虽然可以做到实时性，但是无法应对海量数据。在网络请求量逐渐增大的过程中虽然可以采用分布式系统的方式，但分布式系统基于CAP原则，在大多数业务中只能满足一致性和分区容错性，可用性比较差，可用性指的是系统提供的性能和服务，因此B/S数据存储方式在海量数据请求时系统容易出现“雪崩”现象。

在大数据存储与计算方面，目前最常用的分布式存储有：分布式文件存储HDFS和分布式列存储HBase，基于“消息队列+流式计算引擎”的实时流数据对实时数据进行处理后，存储在HDFS或HBase中。

HDFS可以对批量数据进行离线分析，以HDFS引擎作为存储引擎，适用于高吞吐量的离线大数据分析场景，数据离线分析方法是基于Hadoop上的分布式计算工具hive或spark，可以对采集到的物联网设备数据进行离线分析，在HDFS中，文件是以块(block)的形式存储，只能用于批量数据分析，无法对某条数据进行更新，Hive作为Hadoop上的数据仓库查询工具，也只能对离线历史数据进行分析，无法分析处理实时数据，因此HDFS这类存储的局限性是数据无法进行随机的读写。

HBase可以对数据进行实时存储和读取，HBase是Hadoop的数据库，是一个分布式、可扩展的列式数据库，以HBase、Cassandra作为存储引擎，适用于大数据随机读写场景，数据实时写入和数据更新都在HBase完成，为了应对OLAP需求，定时(通常是T+1)将HBase数据写成静态的文件(如：Parquet)导入到OLAP引擎(如：HDFS)，用于离线批量分析。但其内部存储结构是几级哈希索引表，只能实时处理少量数据，无法批量分析数据，吞吐量较小，而且Hbase本身不支持SQL分析操作。HBase中存储的实时数据使用ETL方式周期性(一般是天)的导入到HDFS中用于离线数据分析。这类存储的局限性是批量读取吞吐量远不如HDFS，不适用于批量数据分析的场景。

因此，针对上述问题，本发明提出了一种基于流计算和新型列式存储的物联网大数据分析方法。

发明内容

本发明的目的在于：提供了一种基于流计算和新型列式存储的物联网大数据分析方法，解决了物联网领域现有海量设备信息的大数据存储与分析方法无法在对批量数据进行分析的同时进行单条数据更新，以及吞吐量较小，局限性较大的问题。

本发明采用的技术方案如下：

一种基于流计算和新型列式存储的物联网大数据分析方法，包括以下步骤：

步骤1：对采集数据进行通信协议转换，得到统一的数据格式，传入到消息队列中；

步骤2：消息队列接收到统一格式的数据后，送入分布式流计算框架中；

步骤3：流计算框架对数据进行数据统计、数据聚合和分析后，实时写入到Kudu中；

步骤4：调用Kudu的原生接口Scan对Kudu中存储的数据进行批量离线分析，数据分析人员便可在Impala计算引擎中进行实时查询。

进一步地，所述步骤1中的采集数据为从物联网设备采集到的数据，所述物联网设备包括视频流、传感器，所述步骤1包括以下步骤：

步骤1.1：对物联网设备建立基于TCP的socket长连接，建立通信链路；

步骤1.2：从物联网设备获取数据，得到待解析的原始数据；

步骤1.3：对接收到的原始数据进行协议识别、协议解析、统一格式转换，输出为统一的数据格式，并传入到消息队列中。

进一步地，所述步骤1.2中，从物联网设备获取数据的方式为主动方式或被动方式，所述主动方式获取数据是通信协议转换模块周期性或临时性的从物联网设备获取数据；所述被动方式获取数据是物联网设备主动上传数据到通信协议转换模块。

更进一步地，所述通信协议转换模块中的通信协议包括MODBUS协议、MBUS协议、GDW376.1协议、DLT645协议、onvif协议和厂家私有协议。

进一步地，所述步骤1.3中的消息队列为Kafka、zeroMQ或rabbitMQ的处理平台。

进一步地，所述步骤2中的流计算框架可采用Flink、storm或spark streaming的分布式流式计算模块。

进一步地，所述步骤3包括以下步骤：

步骤3.1：流计算框架Flink对数据的某个字段进行分组统计；

步骤3.2：对分组后的数据按照窗口进行统计；

步骤3.3：对按窗口统计后的分组数据进行汇总(sum)操作后，实时写入到Kudu中。

进一步地，所述步骤4中，数据分析人员在Impala计算引擎中进行实时查询的具体步骤如下：

步骤4.1：根据业务现状进行分类，分为临时查询性和定期查询性任务；

步骤4.2：对临时性查询任务，数据分析人员编写SQL进行实时查询，可以随时更改；对周期性查询任务，数据开发人员编写代码进行定制化查询，不能随时更改；

步骤4.3：对查询到的数据整理出临时报表或周期性固定格式的报表，再进行业务现状评估。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.一种基于流计算和新型列式存储的物联网大数据分析方法，将实时流计算、实时分析、离线批量分析的功能结合在一起，基于Apache Kudu、Flink等现有分布式框架，提出一套完整的物联网大数据解决方法，对物联网中采集到的数据进行分析，方便了开发人员、数据分析人员对数据进行实时查询、分析和深度价值挖掘。

2.本发明中采用的Impala计算引擎，与Kudu列式存储框架联合使用，既可以支持随机读写，也可以支持批量分析，还可以进行实时交互式的数据分析，实时查询线上业务数据，实时掌握数据信息状况。

3.本发明中提出的统一物联网协议转换模块，可以兼容适配绝大多数物联网协议，做到即插即用，可以方便方案的快速落地实现。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图，其中：

图1是一种基于流计算和新型列式存储的物联网大数据分析方法的流程框图；

图2是本发明在步骤1的流程图；

图3是本发明消息队列的结构示意图；

图4是实施例一中Kudu与HDFS和HBase的性能比较图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例只是本发明的一部分实施例，而不是全部的实施例。通常在此处描述和附图中示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

一种基于流计算和新型列式存储的物联网大数据分析方法，解决了物联网领域现有海量设备信息的大数据存储与分析方法无法在对批量数据进行分析的同时进行单条数据更新，以及吞吐量较小，局限性较大的问题。

一种基于流计算和新型列式存储的物联网大数据分析方法，包括以下步骤：

步骤1：对采集数据进行通信协议转换，得到统一的数据格式，传入到消息队列中；

步骤2：消息队列接收到统一格式的数据后，送入分布式流计算框架中；

步骤3：流计算框架对数据进行数据统计、数据聚合和分析后，实时写入到Kudu中；

步骤4：调用Kudu的原生接口Scan对Kudu中存储的数据进行批量离线分析，数据分析人员便可在Impala计算引擎中进行实时查询。

一种基于流计算和新型列式存储的物联网大数据分析方法，将实时流计算、实时分析、离线批量分析的功能结合在一起，基于Apache Kudu、Flink等现有分布式框架，提出一套完整的物联网大数据解决方法，对物联网中采集到的数据进行分析，方便了开发人员、数据分析人员对数据进行实时查询、分析和深度价值挖掘。

下面结合实施例对本发明的特征和性能作进一步的详细描述。

实施例一

专业术语解释：

Hadoop是一个由Apache基金会所开发的分布式系统基础架构；

HDFS，Hadoop的分布式文件系统(Hadoop Distributed File System)，有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上；而且它提供高吞吐量(highthroughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。

Hive，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为Map Reduce任务进行运行。

HBase，全称为Hadoop Database，基于Big Table的思想开发实现，其提供了一个大数据场景下的分布式数据存储引擎，具有线性扩展能力、严格的一致性模型、自动的分片策略、强大的故障恢复能力、与Map Reduce良好集成以及高效的实时查询性能等；

MQTT，全称为Message Queuing Telemetry Transport，消息队列遥测传输协议，是一种基于发布/订阅(publish/subscribe)模式的“轻量级”通讯协议，该协议构建于TCP/IP协议上，MQTT最大的优点在于，可以以极少的代码和有限的带宽，为连接远程设备提供实时可靠的消息服务，是一种低开销、低带宽占用的即时通讯协议，在物联网、小型设备、移动应用等方面均有应用；

Kafka，由Apache软件基金会开发的一个开源流处理平台，是一种高吞吐量的分布式发布订阅消息系统；

Flink，全程为Apache Flink，新型流式计算框架，Flink是一个低延迟、高吞吐、统一的大数据计算引擎，核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能，是目前性能最佳、使用最广泛的分布式流式计算框架；

Kudu，新型列式存储引擎，是cloudera开源的运行在hadoop平台上的新型列式存储系统，拥有Hadoop生态系统应用的常见技术特性，运行在一般的商用硬件上，支持水平扩展，具有高可用性；不仅支持低延迟随机访问，而且具备高效的批量读写能力，能和MapReduce、Spark、Impala等紧密集成；

Impala，是Cloudera公司主导开发的新型查询系统，是一种交互式SQL解析引擎，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据，Hive适合处理Hadoop大数据架构下的长时间的批处理查询分析；而Impala更适合于实时交互式SQL查询。

一种基于流计算和新型列式存储的物联网大数据分析方法，如图1所示，包括以下步骤：

步骤1：对采集数据进行通信协议转换，得到统一的数据格式，传入到消息队列中，如图2所示，所述采集数据为从物联网设备采集到的数据，所述物联网设备包括视频流、传感器；

步骤1.1：对物联网设备建立基于TCP的socket长连接，建立通信链路；

步骤1.2：通信协议转换模块从物联网设备获取数据，得到待解析的原始数据；

其中，从物联网设备获取数据的方式为主动方式或被动方式，所述主动方式获取数据是通信协议转换模块周期性或临时性的从物联网设备获取数据，所述被动方式获取数据是物联网设备主动上传数据到通信协议转换模块；

其中，所述通信协议转换模块中的通信协议包括MODBUS协议(空调、电表、UPS等)、MBUS协议(远程抄表)、GDW376.1协议、DLT645协议(电表)、onvif协议、厂家私有协议和物联网设备的其他公有通信协议；

本实施例中，所述通信协议转换模块采用MQTT(Message Queuing TelemetryTransport，消息队列遥测传输协议)，可以以极少的代码和有限的带宽，为连接远程设备提供实时可靠的消息服务，是一种低开销、低带宽占用的即时通讯协议，还可以兼容适配绝大多数物联网协议，做到即插即用，可以方便方案的快速落地实现；

步骤1.3：对接收到的原始数据进行协议识别、协议解析、统一格式转换，输出为统一的数据格式，并传入到消息队列中；

所述统一的数据格式为流计算框架能够识别和处理的数据格式，本实施例中，转换为Flink能够识别和处理的数据格式，是由于物联网需要接入的设备比较多，有视频数据、各类传感器、窄带物联网(NB-IOT)等，为了接入方便，需要将HTTP、MQTT等物联网通用协议统一转换成流计算框架能够识别和处理的数据格式，使用HTTP/HTTPS协议可以向各类传感器和智能终端传输各种配置命令，规定其按照指定数据格式传输数据；

其中，所述消息队列如图3所示，可采用Kafka、zeroMQ或rabbitMQ的处理平台，本实施例中采用Kafka，所述消息队列相当于一个大的缓存队列，主要用作对从物联网设备上采集到的海量数据进行异步处理，主要目的是减少请求响应时间和应用解耦合，后续步骤的实时流处理模块只需要从消息队列中订阅消息进行处理即可。

步骤2：消息队列接收到统一格式的数据后，送入分布式流计算框架中，主要作用是用于缓存海量数据，类似于一个数据储水池，避免接收到的数据过大过多导致后续的分布式流计算框架无法处理。

步骤3：流计算框架对数据进行数据统计、数据聚合和分析后，实时写入到Kudu中，所述流计算框架的特性如表1所示，

表1

	离线批量计算	流式计算
			处理数据情况	数据已经准备好，固定的	数据持续不间断到达
计算周期	一次性计算好	作为后台服务持续计算
			使用场景	时效要求低，一旦出错重新计算	低延迟，高容错

流式计算与离线批量计算相比，处理的是持续不间断的数据，数据处理低延迟，是作为后台服务不间断的运算，而且对容错性要求非常高，因为某条数据一旦计算丢失是没有重新计算的可能性的。系统性能、低延迟、数据不丢失以及容错等问题，由计算框架本身来负责；

所述流计算框架可采用Flink、storm或spark streaming的分布式流式计算模块，本实施例中采用Apache Flink，Flink是一个低延迟、高吞吐、统一的大数据计算引擎，核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能，是目前性能最佳、使用最广泛的分布式流式计算框架，相比于storm和sparkstreaming有更大的优势。

具体步骤为：

步骤3.1：流计算框架Flink对数据的某个字段进行分组统计，例如，flink算子keyBy(“字段名”)；

步骤3.2：对分组后的数据按照窗口进行统计，Flink窗口分为翻滚窗口、滑动窗口、会话窗口和全局窗口；

步骤3.3：对按窗口统计后的分组数据进行汇总(sum)操作后，实时写入到Kudu中，Kudu具有高可用性，不仅支持低延迟随机访问，而且具备高效的批量读写能力，能和MapReduce、Spark、Impala等紧密集成，相对于HDFS和HBase，如图4所示，Kudu平衡了随机读写和批量分析的性能。

步骤4：调用Kudu的原生接口(Scan)对Kudu中存储的数据进行批量离线分析，数据分析人员便可在Impala计算引擎中进行实时查询；

其中，采用的Impala计算引擎，与Kudu列式存储框架联合使用，既可以支持随机读写，也可以支持批量分析，还可以进行实时交互式的数据分析，实时查询线上业务数据，实时掌握数据信息状况；由于Impala对分布式系统的内存要求较高，Kudu还能可以在不使用Impala的情况下对海量数据进行离线批量分析，进行历史数据统计和深度价值挖掘；

所述在Impala计算引擎中进行实时查询的具体步骤如下：

步骤4.1：根据业务现状进行分类，分为临时查询性和定期查询性任务；

步骤4.2：对临时性查询任务，数据分析人员编写SQL进行实时查询，可以随时更改；对周期性查询任务，数据开发人员编写代码进行定制化查询，不能随时更改；

步骤4.3：对查询到的数据整理出临时报表或周期性固定格式的报表，再发给分析人员、运维人员或高层决策人员进行业务现状评估。

本发明将实时流计算、实时分析、离线批量分析的功能结合在一起，基于ApacheKudu、Flink等现有分布式框架，提出一套完整的物联网大数据解决方法，对物联网中采集到的数据进行分析，方便了开发人员、数据分析人员对数据进行实时查询、分析和深度价值挖掘。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明的保护范围，任何熟悉本领域的技术人员在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于流计算和新型列式存储的物联网大数据分析方法，其特征在于，包括以下步骤：

步骤1：对采集数据进行通信协议转换，得到统一的数据格式，传入到消息队列中；

步骤2：消息队列接收到统一格式的数据后，送入分布式流计算框架中；

步骤3：流计算框架对数据进行数据统计、数据聚合和分析后，实时写入到Kudu中；

步骤4：调用Kudu的原生接口Scan对Kudu中存储的数据进行批量离线分析，数据分析人员便可在Impala计算引擎中进行实时查询。

2.根据权利要求1所述的一种基于流计算和新型列式存储的物联网大数据分析方法，其特征在于，所述步骤1中的采集数据为从物联网设备采集到的数据，所述步骤1包括以下步骤：

步骤1.1：对物联网设备建立基于TCP的socket长连接，建立通信链路；

步骤1.2：从物联网设备获取数据，得到待解析的原始数据；

步骤1.3：对接收到的原始数据进行协议识别、协议解析、统一格式转换，输出为统一的数据格式，并传入到消息队列中。

3.根据权利要求2所述的一种基于流计算和新型列式存储的物联网大数据分析方法，其特征在于，所述步骤1.2中，从物联网设备获取数据的方式为主动方式或被动方式，所述主动方式获取数据是通信协议转换模块周期性或临时性的从物联网设备获取数据；所述被动方式获取数据是物联网设备主动上传数据到通信协议转换模块。

4.根据权利要求3所述的一种基于流计算和新型列式存储的物联网大数据分析方法，其特征在于，所述通信协议转换模块中的通信协议包括MODBUS协议、MBUS协议、GDW376.1协议、DLT645协议、onvif协议和厂家私有协议。

5.根据权利要求1所述的一种基于流计算和新型列式存储的物联网大数据分析方法，其特征在于，所述步骤1.3中的消息队列为Kafka、zeroMQ或rabbitMQ的处理平台。

6.根据权利要求1所述的一种基于流计算和新型列式存储的物联网大数据分析方法，其特征在于，所述步骤2中的流计算框架可采用Flink、storm或spark streaming的分布式流式计算模块。

7.根据权利要求1所述的一种基于流计算和新型列式存储的物联网大数据分析方法，其特征在于，所述步骤3包括以下步骤：

步骤3.1：流计算框架对数据的某个字段进行分组统计；

步骤3.2：对分组后的数据按照窗口进行统计；

步骤3.3：对按窗口统计后的分组数据进行汇总操作后，实时写入到Kudu中。

8.根据权利要求1所述的一种基于流计算和新型列式存储的物联网大数据分析方法，其特征在于，所述步骤4中，数据分析人员在Impala计算引擎中进行实时查询的具体步骤如下：

步骤4.1：根据业务现状进行分类，分为临时查询性和定期查询性任务；

步骤4.2：对临时性查询任务，数据分析人员编写SQL进行实时查询，可以随时更改；对周期性查询任务，数据开发人员编写代码进行定制化查询，不能随时更改；

步骤4.3：对查询到的数据整理出临时报表或周期性固定格式的报表，再进行业务现状评估。