CN110781647A - 一种基于Flink实现数据格式校验的方法 - Google Patents

Abstract

本发明提供一种基于Flink实现数据格式校验的方法，属于物联网技术领域，本发明以缓存作为flink的数据源(source)和数据目的地(sink)，增加flink对缓存的连接器，实现从缓存中获取被校验的json数据，并将数据根据SQL进行转换、处理、筛选以及转发至缓存，最后在缓存中获取处理结果，以验证被校验数据是否满足SQL。

Description

一种基于Flink实现数据格式校验的方法

技术领域

本发明涉及物联网技术，涉及Flink大数据组件，应用java、SQL等相关技术，尤其是一种基于Flink实现数据格式校验的方法。

背景技术

目前现有技术中，使用Flink处理流式数据已成为主流，在物联网服务中，Flink的一个重要应用就是设定SQL语句，对数据来源中的数据进行数据分析、筛选和转换，并将处理后的结果流向其他目的地。该方案只是针对同一个数据来源中的数据格式相同并且是json格式的数据。

数据源中的数据经过SQL语句的处理分析，可以改变数据格式，比如：数据源中的原始数据格式为：{"state":{"reported":{"temperature":87}},"clientToken":"clientId_lamp_","timestamp":1531381822}，处理分析的SQL语句为：selectstate.reported.temperature as temperature,`timestamp`,clientToken as tagsfrom tableName,经过SQL处理后，原始数据将转化为：{"temperature":87,"timestamp":1531381822,"tags":"clientId_lamp_"}，数据源中的所有数据将转化为相同格式的数据流向数据目的地。但是如果SQL规则不正确或是与数据源中数据格式不匹配，数据将无法被处理,因此判断该规则与数据源中数据格式是否相符就显得格外重要。

物联网服务中需要将大批量数据以流或批的形式经过SQL处理分析、筛选和转换之后，将数据流向另外一个目的地，比如流向mysql、时序数据库、kafka等，而Flink因其处理流和批数据的高性能、可扩展等优势被广泛应用。

Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。一个Flink程序由一个或多个Flink job组成，一个Flink Job一般由Source,Transformation,Sink组成，其中source为数据来源；transformation为数据转换过程，每个flink job可以有一个或多个transformation；sink为数据目的地，即转换后将数据写入的外部数据源。

Flink支持批处理、交互式处理、实时流数据处理、用SQL分析处理、机器学习以及仅一次交付(exactly-once)保证等功能。利用SQL对大批量相同格式的数据进行处理、筛选或转换之前，都需要对数据来源中的数据样例进行SQL的校验，以确保Flink job的正常运行以及数据无误的流向数据目的地，目前Flink并没有提供一种方式对单条数据进行校验，因此，如何利用Flink实现单条数据的SQL校验就成为我们亟待解决的问题。

发明内容

为了解决以上技术问题，本发明提出了一种基于Flink实现数据格式校验的方法，可以校验给定的json数据是否满足SQL语句。

本发明的技术方案是：

一种基于Flink实现数据格式校验的方法，

设定缓存为Flink job的数据源和目的地，自定义Flink对缓存的连接器，其目的是对缓存中的单条json数据进行处理和校验，并将结果发送至缓存。

进一步的，

以缓存作为flink的数据源和数据目的地，增加flink对缓存的连接器，实现从缓存中获取被校验的json数据，并将数据根据SQL进行转换、处理、筛选以及转发至缓存，最后在缓存中获取处理结果，以验证被校验数据是否满足SQL。

再进一步的，

根据被校验的json数据获取可暂存该数据格式的数据表结构schema。

再进一步的，

设定缓存做为Flink的外部数据源，将被校验的json数据暂存至缓存，并设置key为sourceData。

再进一步的，

自定义Flink对缓存的连接器,通过该连接器可直接获取缓存中sourceData对应的数据，并在获取数据后，可直接断开连接。

再进一步的，

创建流的执行环境，根据流的执行环境创建表环境，用于注册创建数据源和数据目的地。

再进一步的，

在表环境中根据自定义的缓存连接器以及获取的schema注册一个临时数据表，将缓存中的json数据反序列化处理后暂存至该临时表中。

再进一步的，

对该数据表中的数据执行SQL语句，判定数据表中的数据是否满足SQL,如果执行错误，则判定数据不满足SQL，即被校验数据跟SQL不匹配；反之，则判定被校验数据与SQL匹配，并将最后的筛选结果存至缓存，以便后期获取查看。

本发明的有益效果是

(1)提高了消息模板的校验效率

(2)提高了SQL规则筛选大批量数据的正确性

(3)提高了物联网中大数据统计分析的稳定性

(4)提高了物联网中处理大数据的效率。

附图说明

图1是本发明的工作流程示意图；

图2是本发明的Flink job图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在Flink中，Source代表从外部获取数据的数据源，Transformation代表了对数据进行转换操作，Sink代表将内部数据写到外部数据源，一个Flink Job一般由Source,Transformation,Sink组成。该方法设计的核心思想是：以缓存作为flink的数据源(source)和数据目的地(sink)，增加flink对缓存的连接器，实现从缓存中获取被校验的json数据，并将数据根据SQL进行转换、处理、筛选以及转发至缓存，最后在缓存中获取处理结果，以验证被校验数据是否满足SQL。

根据被校验的json数据获取可暂存该数据格式的数据表结构(schema)。设定缓存做为Flink的外部数据源，将被校验的json数据暂存至缓存，并设置key为sourceData。自定义Flink对缓存的连接器(connector),通过该连接器可直接获取缓存中sourceData对应的数据，并在获取数据后，可直接断开连接。创建流的执行环境，根据流的执行环境创建表环境，用于注册创建数据源和数据目的地。在表环境中根据自定义的缓存连接器以及获取的schema注册一个临时数据表，将缓存中的json数据反序列化处理后暂存至该临时表中。对该数据表中的数据执行SQL语句，判定数据表中的数据是否满足SQL,如果执行错误，则判定数据不满足SQL，即被校验数据跟SQL不匹配；反之，则判定被校验数据与SQL匹配，并将最后的筛选结果存至缓存，以便后期获取查看。

本发明主要考虑的是利用Flink实现对单条json数据格式的校验。避免因SQL或数据格式不正确造成的大批量数据处理问题，同时，利用缓存作为数据来源和目的地，简单高效。

以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种基于Flink实现数据格式校验的方法，其特征在于，

设定缓存为Flink job的数据源和目的地，自定义Flink对缓存的连接器，其目的是对缓存中的单条json数据进行处理和校验，并将结果发送至缓存。

2.根据权利要求1所述的方法，其特征在于，

以缓存作为flink的数据源和数据目的地，增加flink对缓存的连接器，实现从缓存中获取被校验的json数据，并将数据根据SQL进行转换、处理、筛选以及转发至缓存，最后在缓存中获取处理结果，以验证被校验数据是否满足SQL。

3.根据权利要求2所述的方法，其特征在于，

根据被校验的json数据获取可暂存该数据格式的数据表结构schema。

4.根据权利要求3所述的方法，其特征在于，

设定缓存做为Flink的外部数据源，将被校验的json数据暂存至缓存，并设置key为sourceData。

5.根据权利要求4所述的方法，其特征在于，

自定义Flink对缓存的连接器,通过该连接器可直接获取缓存中sourceData对应的数据，并在获取数据后，可直接断开连接。

6.根据权利要求5所述的方法，其特征在于，

创建流的执行环境，根据流的执行环境创建表环境，用于注册创建数据源和数据目的地。

7.根据权利要求6所述的方法，其特征在于，

在表环境中根据自定义的缓存连接器以及获取的schema注册一个临时数据表，将缓存中的json数据反序列化处理后暂存至该临时表中。

8.根据权利要求7所述的方法，其特征在于，

对该数据表中的数据执行SQL语句，判定数据表中的数据是否满足SQL,如果执行错误，则判定数据不满足SQL，即被校验数据跟SQL不匹配；反之，则判定被校验数据与SQL匹配，并将最后的筛选结果存至缓存，以便后期获取查看。

Images