CN108984279A - 一种面向物联网传统sql开发人员的流式计算方法 - Google Patents

Abstract

本发明公开一种面向物联网传统SQL开发人员的流式计算方法，涉及大数据与物联网技术领域，通过类SQL的形式表述流式计算需求，通过SQL的形式设定规则，对消息数据筛选、变型、转发；用大数据相关技术具象化该需求，使用的大数据技术为Spark Structured Streaming；并启动任务对相应需求进行实现，通过读取MQTT协议消息，使用组件自带SQL解析引擎启动流式任务。本发明面向传统SQL开发人员简化了流式计算，提供一个符合SparkSQL标准的SQL命令，即可提交流式分析任务，步骤尤为简单，实用性很强，应用场景很广泛，满足物联网环境下大部分的需求。

Description

一种面向物联网传统SQL开发人员的流式计算方法

技术领域

本发明涉及大数据与物联网技术领域，具体的说是一种面向物联网传统SQL开发人员的流式计算方法。

背景技术

物联网生态系统中的设备产生了急剧增长的海量数据，且具有迫切的分析需求。在这个领域的解决方案将有非常大的潜力可以挖掘，比那些要花很长时间才能实现的项目能更快地获得投资回报。大数据分析应用在广泛发展，许多行业都可以通过它进行行业资源的优化。目前，大数据分析中现有技术包括：Spark流式处理组件、Storm实时流处理、Flink、NiFi等。大数据生态圈内Spark的发展势头迅猛，基于内存计算而生的Spark志在取代Hadoop成为新一代大数据基石服务，因此应用最为广泛，体系最为健全。

但是,目前物联网对数据的分析和潜在价值挖掘的能力还没有凸显。传统数据分析：大量的结构化或非结构化数据写入关系型数据库，在此之前要进行数据清洗、转化，以及数据库的初始化设置，过程繁琐；同时随着物联网时代的到来，海量数据已经是单点数据库无法承受的痛点，因此传统的数据分析已不能满足物联网时代的数据量要求。

使用最新大数据生态服务：使用大数据组件的分布式架构解决了海量数据的问题，在数据量激增的情况下提升了处理速度。但是大数据生态发展迅猛，开发人员面对的生态组件多种多样，每一类学习成本都相对很高。同时，传统的写SQL的形式已经完全弃用，需要开发人员自己开发Jar包进行测试启动流式任务，学习成本很高，难于上手和推广。

综上可见，在大数据与物联网相结合的阶段，传统的SQL数据分析开发人员存在无法适应新的大数据开发技术，或者在应用迁移等过程中出现学习成本过高的问题，因此，为了简化大数据流式计算的开发过程，同时对传统SQL开发人员有一个良好的过度时期，急切的需要一种新的技术来解决上述技术问题，此发明应运而生。

发明内容

本发明针对目前技术发展的需求和不足之处，提供一种面向物联网传统SQL开发人员的流式计算方法。

本发明所述一种面向物联网传统SQL开发人员的流式计算方法，解决上述技术问题采用的技术方案如下：所述面向物联网传统SQL开发人员的流式计算方法，通过类SQL的形式表述流式计算需求，用户通过SQL的形式设定规则，对消息数据筛选、变型、转发；

同时用大数据相关技术具象化该需求，使用的大数据技术为Spark StructuredStreaming；

并启动任务对相应需求进行实现，通过读取MQTT协议消息，使用组件自带SQL解析引擎启动流式任务；

实现流程包括：从source端接收消息，在Spark流引擎中处理逻辑，结果输出到sink端。

具体的，所述从source端接收消息：

用户输入数据来源，对复杂字符串进行编码处理，然后传入Spark处理逻辑。

具体的，所述数据来源包括mqtt协议输入端访问地址、mqtt消息主题、消息处理结果输出地址、以及用于消息变形转换的SQL命令，

具体的，所述在Spark流引擎中处理逻辑：

基于Spark流引擎灵活地转发和处理设备消息；在Spark处理逻辑中，使用createMqttStream组件接收mqtt协议消息，将消息转换为字符串进行处理，取出要处理的字段；在表视图上执行用户输入的SQL命令；定义输出类，重写addBatch方法，对不同的输出定义不同的数据流入方式，并实现失败重试、返回值判断。

具体的，所述结果输出到sink端：

将SQL命令执行结果通过自定义输出端进行输出；

将处理结果写入第三方关系型或非关系型数据库；根据不同场景将数据无缝转发至不同的数据目的地。

具体的，所述数据目的地包括时序数据库、物接入主题、机器学习、流式处理、对象存储和关系型存储。

具体的，还包括用户提交一个流式计算任务这一步骤；该流式计算任务从数据来源接收源源不断的消息数据，然后使用类SQL进行变型转换，最终将转换的结果写入数据目的地。

具体的，所述用户提交一个流式计算任务，实现流程包括：

1)确定数据来源；

2)书写查询字段，书写格式就是类似SQL中select其后的字段部分，当然还可以自定义某些函数；书写约束条件，即为SQL语句中where后面的部分；

通过数据来源、查询字段和约束条件自动组合成SQL命令；

3)输入消息示例；

4)确定数据流入。

具体的，所述书写查询字段，书写格式类似SQL中select其后的字段部分，或者自定义某些函数；所述书写约束条件，即为SQL语句中where后面的部分。

具体的，采用本方法Kubernetes集群部署要点：

(1)客户端提交构建的应用Jar包，所述Jar包直接提交至Kubernetes集群，

并运行Spark流引擎分析任务；

(2)应用中Spark处理逻辑自动实现从数据来源输入消息、处理完成后输出；

(3)用户自定义数据输出端，直接流入数据目的地，或者流入下游消息组件。

本发明所述一种面向物联网传统SQL开发人员的流式计算方法，与现有技术相比具有的有益效果是：本发明面向传统SQL开发人员简化了流式计算，传统的SQL开发人员或无大数据开发经验的开发人员，只需要了解配置，在界面的帮助下可以做到零代码开发；除此之外再提供一个符合SparkSQL标准的SQL命令，即可提交流式分析任务，步骤尤为简单，实用性很强；

本发明使用最新的大数据组件解决传统应用技术架构的痛点；使用传统SQL应对新技术带来的学习成本高的特点；能够承上启下，承接数据流入和流出；极大的简化的开发过程，并且应用场景很广泛，满足物联网环境下大部分的需求。

具体实施方式

为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清查、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下获得的所有实施例,都在本发明的保护范围之内。

实施例:

本实施例提出一种面向物联网传统SQL开发人员的流式计算方法，通过类SQL的形式表述流式计算需求，同时用大数据相关技术具象化该需求，并启动任务对相应需求进行实现；实现流程包括：从source端接收消息，在Spark流引擎中处理逻辑，结果输出到sink端。

通过类SQL的形式表述流式计算需求，用户主要通过SQL的形式设定规则，对消息数据筛选、变型、转发。用大数据相关技术具象化该需求，主要使用的大数据技术为SparkStructured Streaming。启动任务对相应需求进行实现，主要通过读取MQTT协议消息，使用组件自带SQL解析引擎启动流式任务。

本实施例面向物联网传统SQL开发人员的流式计算方法，其具体实现流程中，对于每一操作过程，可以采用如下技术方式来实现。

从source端接收消息：

用户输入数据来源，数据来源包括mqtt协议输入端访问地址、mqtt消息主题、消息处理结果输出地址、以及用于消息变形转换的SQL命令，对复杂字符串进行编码处理，然后传入Spark处理逻辑。

在Spark流引擎中处理逻辑：

基于Spark流引擎灵活地转发和处理设备消息；

进一步详细的处理操作：在Spark处理逻辑中，使用createMqttStream组件接收mqtt协议消息，将消息转换为字符串进行处理，取出要处理的字段；在表视图上执行用户输入的SQL命令；定义输出类，重写addBatch方法，对不同的输出定义不同的数据流入方式，并实现失败重试、返回值判断等。

结果输出到sink端：

将SQL命令执行结果通过自定义输出端进行输出；

进一步详细的处理操作：将处理结果写入第三方关系型或非关系型数据库；根据不同场景将数据无缝转发至不同的数据目的地，如时序数据库、物接入主题、机器学习、流式处理、对象存储和关系型存储等。

本实施例面向物联网传统SQL开发人员的流式计算方法，在主要流程实施之前，还包括用户提交一个流式计算任务这一步骤。该流式计算任务从数据来源接收源源不断的消息数据，然后使用类SQL进行变型转换，最终将转换的结果写入数据目的地。

用户提交一个流式计算任务，实现流程包括：

1)确定数据来源，主要是确定从哪个地址接收源源不断的消息；

2)书写查询字段，书写格式就是类似SQL中select其后的字段部分，当然还可以自定义某些函数；书写约束条件，即为SQL语句中where后面的部分；

通过数据来源、查询字段和约束条件可以自动组合成SLECT…FROM…WHERE…的SQL命令；

3)输入消息示例，即输入从数据来源获取的消息的示例一条；

4)确定数据流入，例如如果流入时序数据库，只需要提供时序数据库的地址。

下面以Kubernetes集群部署为例，介绍一下使用该面向物联网传统SQL开发人员的流式计算方法的部署要点：

(1)客户端提交构建的应用Jar包，该Jar包直接提交至Kubernetes集群，并运行Spark流引擎分析任务，用户可自定义任务大小规格，包括spark各个容器的数量、内存和核数等；

(2)应用中Spark处理逻辑将自动实现从数据源输入消息、处理完成后输出；

(3)用户自定义数据输出端，可以直接流入数据目的地例如关系型数据库，或者流入下游消息组件例如Kafka，下游业务可以直接从Kafka队列取消息等等。

本实施例面向物联网传统SQL开发人员的流式计算方法，面向传统SQL开发人员简化了流式计算；使用最新的大数据组件解决传统应用技术架构的痛点，应用大数据生态圈中相对成熟并应用广泛的Spark解决问题，以新版本中的Spark Structured Streaming为基础进行实现；使用传统SQL应对新技术带来的学习成本高的特点，结合传统SQL给开发人员实现流式任务提供快捷方法，传统的开发者上手容易，学习成本低；能够承上启下，承接数据流入和流出，主要分为数据来源和数据目的地两部分；其中数据来源可以有多种，例如可以接受MQTT协议的消息、Kafka中的消息等；数据目的地也有多种，例如时序数据库、Mysql、Kafka消息组件等。

以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容，并不用于限制本发明的保护范围，本发明的技术方案不限制于上述具体实施方式内。基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。

Claims (10)

1.一种面向物联网传统SQL开发人员的流式计算方法，其特征在于，通过类SQL的形式表述流式计算需求，用户通过SQL的形式设定规则，对消息数据筛选、变型、转发；

同时用大数据相关技术具象化该需求，使用的大数据技术为Spark StructuredStreaming；

并启动任务对相应需求进行实现，通过读取MQTT协议消息，使用组件自带SQL解析引擎启动流式任务；

实现流程包括：从source端接收消息，在Spark流引擎中处理逻辑，结果输出到sink端。

2.根据权利要求1所述一种面向物联网传统SQL开发人员的流式计算方法，其特征在于，所述从source端接收消息：

用户输入数据来源，对复杂字符串进行编码处理，然后传入Spark处理逻辑。

3.根据权利要求2所述一种面向物联网传统SQL开发人员的流式计算方法，其特征在于，所述数据来源包括mqtt协议输入端访问地址、mqtt消息主题、消息处理结果输出地址、以及用于消息变形转换的SQL命令。

4.根据权利要求3所述一种面向物联网传统SQL开发人员的流式计算方法，其特征在于，所述在Spark流引擎中处理逻辑：

基于Spark流引擎灵活地转发和处理设备消息；在Spark处理逻辑中，使用createMqttStream组件接收mqtt协议消息，将消息转换为字符串进行处理，取出要处理的字段；在表视图上执行用户输入的SQL命令；定义输出类，重写addBatch方法，对不同的输出定义不同的数据流入方式，并实现失败重试、返回值判断。

5.根据权利要求4所述一种面向物联网传统SQL开发人员的流式计算方法，其特征在于，所述结果输出到sink端：

将SQL命令执行结果通过自定义输出端进行输出；

将处理结果写入第三方关系型或非关系型数据库；根据不同场景将数据无缝转发至不同的数据目的地。

6.根据权利要求5所述一种面向物联网传统SQL开发人员的流式计算方法，其特征在于，所述数据目的地包括时序数据库、物接入主题、机器学习、流式处理、对象存储和关系型存储。

7.根据权利要求6所述一种面向物联网传统SQL开发人员的流式计算方法，其特征在于，还包括用户提交一个流式计算任务这一步骤；该流式计算任务从数据来源接收源源不断的消息数据，然后使用类SQL进行变型转换，最终将转换的结果写入数据目的地。

8.根据权利要求7所述一种面向物联网传统SQL开发人员的流式计算方法，其特征在于，所述用户提交一个流式计算任务，实现流程包括：

1)确定数据来源；

2)书写查询字段，书写格式就是类似SQL中select其后的字段部分，当然还可以自定义某些函数；书写约束条件，即为SQL语句中where后面的部分；

通过数据来源、查询字段和约束条件自动组合成SQL命令；

3)输入消息示例；

4)确定数据流入。

9.根据权利要求8所述一种面向物联网传统SQL开发人员的流式计算方法，其特征在于，所述书写查询字段，书写格式类似SQL中select其后的字段部分，或者自定义某些函数；所述书写约束条件，即为SQL语句中where后面的部分。

10.根据权利要求9所述一种面向物联网传统SQL开发人员的流式计算方法，其特征在于，采用本方法Kubernetes集群部署要点：

(1)客户端提交构建的应用Jar包，所述Jar包直接提交至Kubernetes集群，并运行Spark流引擎分析任务；

(2)应用中Spark处理逻辑自动实现从数据来源输入消息、处理完成后输出；

(3)用户自定义数据输出端，直接流入数据目的地，或者流入下游消息组件。