CN110737631A - 一种基于Flink引擎的数据解析方法及装置 - Google Patents

Abstract

本发明公开了一种基于Flink引擎的数据解析方法及装置，该方法包括：通过Flink平台对外接口接收用户配置的解析逻辑以及数据源信息；根据解析逻辑以及数据源信息生成解析器，并将解析器上传至分布式文件系统中；使用从分布式系统中获取的解析器对预先发送至Flink数据源的与数据源信息对应的待解析数据进行解析，生成解析数据。本发明通过根据用户配置的解析逻辑以及数据源信息生成解析器替代Flink原生解析器，从而能够对不同格式的待解析数据进行解析，满足多种业务场景，通过开发Flink平台对外接口来接收用户配置的解析逻辑以及数据源信息以生成解析器，实现对各种业务的拓展性。

Description

一种基于Flink引擎的数据解析方法及装置

技术领域

本发明涉及互联网技术领域，特别涉及一种基于Flink引擎的数据解析方法及装置。

背景技术

在如今的大数据时代，业务对实时的数据处理需求日趋增大，对于业务开发人员来说，了解和掌握一套实时计算引擎并用之开发完整的流程，无疑成本是巨大的。目前常用的数据源格式主要包含json和avro格式。但是对于一些特殊的业务场景，数据格式可能是用户自己定义的，并不是常规的格式，或者对于一些敏感信息，会对数据进行加密，对于此类特殊数据通过普通的解析是不能满足需求的，但是对于后续的数据处理计算逻辑又是相对统一，亟需提出一种新的方法以解决各种数据格式的问题。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种基于Flink引擎的数据解析方法及装置，以克服现有技术中现有的计算引擎不能满足多种数据格式等问题。

为解决上述一个或多个技术问题，本发明采用的技术方案是：

一方面，提供了一种基于Flink引擎的数据解析方法，该方法包括如下步骤：

通过Flink平台对外接口接收用户配置的解析逻辑以及数据源信息；

根据所述解析逻辑以及所述数据源信息生成解析器，并将所述解析器上传至分布式文件系统中；

使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。

进一步的，所述使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据包括：

将从所述分布式文件系统加载到的所述解析器与Flink任务进行绑定，生成Flink执行图；

将所述Flink执行图提交到运行环境，生成任务图；

根据所述任务图对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。

进一步的，所述将所述解析器上传至分布式文件系统中前，所述方法还包括：

校验所述解析器的信息与所述分布式文件系统中其他解析器的信息是否重复，若重复，则对所述解析器的信息进行修改，所述解析器的信息至少包括解析器名称。

进一步的，所述将所述解析器上传至分布式文件系统中前，所述方法还包括：

将数据样例输入所述解析器进行解析，获取解析结果，根据所述解析结果判断所述解析器的配置是否正确。

进一步的，所述使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析前，所述方法还包括：

校验所述解析器的数据源信息与预先发送至Flink数据源的待解析数据的数据源信息是否匹配。

另一方面，提供了一种基于Flink引擎的数据解析装置，所述装置包括：

信息接收模块，用于通过Flink平台对外接口接收用户配置的解析逻辑以及数据源信息；

解析器生成模块，用于根据所述解析逻辑以及所述数据源信息生成解析器；

解析器上传模块，用于将所述解析器上传至分布式文件系统中；

解析器加载模块，用于从所述分布式系统中获取所述解析器；

数据解析模块，用于使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。

进一步的，所述数据解析模块包括：

第一生成单元，用于将从所述分布式文件系统加载到的所述解析器与Flink任务进行绑定，生成Flink执行图；

第二生成单元，用于将所述Flink执行图提交到运行环境，生成任务图；

数据解析单元，用于根据所述任务图对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。

进一步的，所述装置还包括：

第一校验模块，用于校验所述解析器的信息与所述分布式文件系统中其他解析器的信息是否重复，若重复，则对所述解析器的信息进行修改，所述解析器的信息至少包括解析器名称。

进一步的，所述装置还包括：

解析器测试模块，将数据样例输入所述解析器进行解析，获取解析结果，根据所述解析结果判断所述解析器的配置是否正确。

进一步的，所述装置还包括：

第二校验模块，用于校验所述解析器的数据源信息与预先发送至Flink数据源的待解析数据的数据源信息是否匹配。

本发明实施例提供的技术方案带来的有益效果是：

1、本发明实施例提供的基于Flink引擎的数据解析方法及装置，通过根据用户配置的解析逻辑以及数据源信息生成解析器替代Flink原生解析器，从而能够对不同格式的待解析数据进行解析，满足多种业务场景；

2、本发明实施例提供的基于Flink引擎的数据解析方法及装置，通过开发Flink平台对外接口来接收用户配置的解析逻辑以及数据源信息以生成解析器，实现对各种业务的拓展性；

3、本发明实施例提供的基于Flink引擎的数据解析方法及装置，通过将从分布式文件系统加载到的解析器与Flink任务进行绑定，扩展了Flink原有的数据源的格式；

4、本发明实施例提供的基于Flink引擎的数据解析方法及装置，通过将Flink执行图提交到运行环境生成任务图，完成将拓展数据源后的执行图与Flink原生执行图进行平滑切换。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的基于Flink引擎的数据解析方法的流程图；

图2是根据一示例性实施例示出的使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据的流程图；

图3是根据一示例性实施例示出的基于Flink引擎的数据解析装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的基于Flink引擎的数据解析方法及装置主要是对于真实的业务场景中数据格式的多样性进行拓展，对于Fink来说，现有的支持的数据源格式主要有json、avro等常规的格式。但是由于对于互联网企业来说，数据的安全性是十分重要的，因此会出现数据格式的多样性，比如用特殊符号链接、数据加密等，这些都是引起数据多样性的重要原因。所以为了增加平台的兼容性，本发明实施例中，将Flink计算平台的复杂数据逻辑解析对用户开发，可以让用户自己控制进入Flink数据源的数据类型，达到平台支持数据多样性的目的。

图1是根据一示例性实施例示出的基于Flink引擎的数据解析方法的流程图，参照图1所示，该方法包括如下步骤：

S1：通过Flink平台对外接口接收用户配置的解析逻辑以及数据源信息。

具体的，在Flink平台上开发一个Flink平台对外接口，开发时可以使用类SQL语言，类SQL语言是一种类似于MySql的语言。通过该Flink平台对外接口接收用户配置的解析逻辑以及数据源信息。其中，在配置解析逻辑以及数据源信息时，用户可以先获取待解析数据的数据源格式及其解析规则，然后对获取到待解析数据的数据源格式及其解析规则进行一个校验，校验两者是否对应，若是对应，则根据待解析数据的数据源格式及其解析规则进行解析逻辑以及数据源信息的配置。配置的数据源信息包括字段信息、数据类型、字段描述等。这里需要说明的是，本发明实施例中，不对解析逻辑做具体的限定，用户可以根据实际需求或实际需要解析的数据对解析逻辑进行修改或自定义。

S2：根据所述解析逻辑以及所述数据源信息生成解析器，并将所述解析器上传至分布式文件系统中。

具体的，将上述步骤获取到的解析逻辑以及数据源信息生成对应的解析器，将解析器上传至解析器仓库中。这里需要说明的是，本发明实施例中，选定分布式文件系统(即HDFS)作为解析器仓库。因此，在生成解析器后，将解析器上传至分布式文件系统中。随着上传的解析器的数量的增加，解析器仓库会不断的得到扩展，并且解析的功能也将会不断的丰富，保证Flink引擎(即计算引擎)的健壮性。也就是说，随着用户定制的解析器不断增多，解析器的功能也会随之增加，可以解析更多的数据格式和数据规则，用户越多，任务执行的越多，解析器仓库就会越完善。作为一种较优的实施方式，本发明实施例中，可以将解析器以Jar包的格式上传至分布式文件系统。

S3：使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。

具体的，在生成解析器前，用户可以先将待解析数据发送至Flink数据源。然后从分布式系统中获取与该待解析数据对应的解析器，使用该解析器对待解析数据进行解析，生成解析数据。其中，从分布式系统中获取与该待解析数据对应的解析器时，可以根据数据源信息来获取，即从分布式系统中获取数据源信息与待解析数据的数据源信息一致的解析器。

这里需要说明的是，本发明实施例中，设置Flink平台对外接口来接收用户配置的解析逻辑以及数据源信息以生成解析器，而解析逻辑以及数据源信息是根据待解析数据的数据源格式以及其解析规则配置的，因此生成的解析器是与待解析数据对应的，然后将解析器上传至分布式系统(这里的分布式系统是作为解析器仓库使用的)中，对分布式系统中的解析器以及解析功能进行扩展。因此，本发明实施例提供的方法可以实现解析逻辑完全不依赖于Flink提供的原生解析器，用户可以根据实际需求对解析逻辑进行修改或自定义，动态配置提供与待解析数据对应的解析器，引擎任务运行时加载该解析器，对待解析数据进行处理。

图2是根据一示例性实施例示出的使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据的流程图，参照图2所示，作为一种较优的实施方式，本发明实施例中，所述使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据包括：

S301：将从所述分布式文件系统加载到的所述解析器与Flink任务进行绑定，生成Flink执行图。

具体的，在对待解析数据进行解析前，需要将解析器与对应的Flink任务进行绑定，即将从分布式文件系统加载到的解析器与对应的Flink任务进行绑定，实现了解析器与Flink任务的管道互通，然后生成Flink执行图(这里的Flink执行图的数据源已经被扩展了，增加了待解析数据的数据源)，从而完成对Flink原有的数据源格式的扩展。具体实施时，只需Flink任务从分布式文件系统中加载解析器(即Jar包)即可完成该步骤。

S302：将所述Flink执行图提交到运行环境，生成任务图。

具体的，将上述步骤获取到Flink执行图提交到运行环境中，从而生成任务图(即Job图)，这样可以完美的将拓展数据源后的Flink执行图与Flink原生执行图(即数据源未扩展时的Flink执行图)进行平滑切换，使用拓展数据源后的Flink执行图替换了Flink原生执行图。

S303：根据所述任务图对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。

具体的，用户会预先将待解析数据发送至Flink数据源。在任务图生成后，从Flink数据源中获取与解析器的数据源信息对应的待解析数据，根据任务图对该解析数据进行解析，获取解析数据。

作为一种较优的实施方式，本发明实施例中，所述将所述解析器上传至分布式文件系统中前，所述方法还包括：

校验所述解析器的信息与所述分布式文件系统中其他解析器的信息是否重复，若重复，则对所述解析器的信息进行修改，所述解析器的信息至少包括解析器名称。

具体的，在生成与待解析数据对应的解析器后，将解析器上传到分布式文件系统前，可以先校验该解析器的信息与分布式文件系统中其他解析器的信息是否重复，防止同一信息对应不同的解析器，避免后续调用时出现错误等问题。若是校验出该解析器的信息与分布式文件系统中其他解析器的信息重复，则需要对该解析器的信息进行修改。解析器的信息除了包括解析器名称之外，还可以包括对解析器的功能进行描述、解析器的路径名等。因此对解析器的信息的修改操作包括：对解析器进行重命名、对解析器的功能进行描述、输入解析器的文件名(即路径名)等。若是校验出该解析器的信息与分布式文件系统中其他解析器的信息不重复，则不需要对解析器的信息进行相关修改，可直接将该解析器上传至分布式文件系统。

作为一种较优的实施方式，本发明实施例中，所述将所述解析器上传至分布式文件系统中前，所述方法还包括：

将数据样例输入所述解析器进行解析，获取解析结果，根据所述解析结果判断所述解析器的配置是否正确。

具体的，在用户将生成的解析器上传至分布式文件系统前，还可以先对该解析器进行测试。具体实施时，可以将预先准备好的数据样例输入到该解析器中进行解析，获取解析结果，根据该解析结果判断解析器的配置是否正确。若是正确，则将该解析器上传至分布式文件系统，否则，还需要对该解析器的配置进行调整，直至获取的解析结果满足要求。

作为一种较优的实施方式，本发明实施例中，所述使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析前，所述方法还包括：

校验所述解析器的数据源信息与预先发送至Flink数据源的待解析数据的数据源信息是否匹配。

具体的，本发明实施例中，使用从分布式系统中获取的解析器对预先发送至Flink数据源的与数据源信息对应的待解析数据进行解析前(即在动态加载解析器之前)，需要对解析器和对应的待解析数据进行校验，校验解析器的解析逻辑与实际的待解析数据能否对应。具体实施时，可以通过校验解析器的数据源信息与待解析数据的数据源信息是否匹配，若匹配，则说明解析器的解析逻辑与实际的待解析数据对应，否则不对应。作为一种示例，若是校验出解析器的解析逻辑与实际的待解析数据不对应，则可以从分布式文件系统中重新选择解析器来进行校验。

作为一种较优的实施方式，本发明实施例中，所述方法还包括：

用户根据实际任务从分布式文件系统中选择解析器和Flink平台的数据源节点进行绑定，实现拓展的源数据处理。

图3是根据一示例性实施例示出的基于Flink引擎的数据解析装置的结构示意图，参照图3所示，该装置包括：

信息接收模块，用于通过Flink平台对外接口接收用户配置的解析逻辑以及数据源信息；

解析器生成模块，用于根据所述解析逻辑以及所述数据源信息生成解析器；

解析器上传模块，用于将所述解析器上传至分布式文件系统中；

解析器加载模块，用于从所述分布式系统中获取所述解析器；

数据解析模块，用于使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。

作为一种较优的实施方式，本发明实施例中，所述数据解析模块包括：

第一生成单元，用于将从所述分布式文件系统加载到的所述解析器与Flink任务进行绑定，生成Flink执行图；

第二生成单元，用于将所述Flink执行图提交到运行环境，生成任务图；

数据解析单元，用于根据所述任务图对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。

作为一种较优的实施方式，本发明实施例中，所述装置还包括：

第一校验模块，用于校验所述解析器的信息与所述分布式文件系统中其他解析器的信息是否重复，若重复，则对所述解析器的信息进行修改，所述解析器的信息至少包括解析器名称。

作为一种较优的实施方式，本发明实施例中，所述装置还包括：

解析器测试模块，将数据样例输入所述解析器进行解析，获取解析结果，根据所述解析结果判断所述解析器的配置是否正确。

作为一种较优的实施方式，本发明实施例中，所述装置还包括：

第二校验模块，用于校验所述解析器的数据源信息与预先发送至Flink数据源的待解析数据的数据源信息是否匹配。

综上所述，本发明实施例提供的技术方案带来的有益效果是：

1、本发明实施例提供的基于Flink引擎的数据解析方法及装置，通过根据用户配置的解析逻辑以及数据源信息生成解析器替代Flink原生解析器，从而能够对不同格式的待解析数据进行解析，满足多种业务场景；

2、本发明实施例提供的基于Flink引擎的数据解析方法及装置，通过开发Flink平台对外接口来接收用户配置的解析逻辑以及数据源信息以生成解析器，实现对各种业务的拓展性；

3、本发明实施例提供的基于Flink引擎的数据解析方法及装置，通过将从分布式文件系统加载到的解析器与Flink任务进行绑定，扩展了Flink原有的数据源的格式；

4、本发明实施例提供的基于Flink引擎的数据解析方法及装置，通过将Flink执行图提交到运行环境生成任务图，完成将拓展数据源后的执行图与Flink原生执行图进行平滑切换。

需要说明的是：上述实施例提供的基于Flink引擎的数据解析装置在触发数据解析业务时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于Flink引擎的数据解析装置与基于Flink引擎的数据解析方法实施例属于同一构思，即该装置是基于该基于Flink引擎的数据解析方法的，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于Flink引擎的数据解析方法，其特征在于，所述方法包括如下步骤：

通过Flink平台对外接口接收用户配置的解析逻辑以及数据源信息；

根据所述解析逻辑以及所述数据源信息生成解析器，并将所述解析器上传至分布式文件系统中；

使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。

2.根据权利要求1所述的基于Flink引擎的数据解析方法，其特征在于，所述使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据包括：

将从所述分布式文件系统加载到的所述解析器与Flink任务进行绑定，生成Flink执行图；

将所述Flink执行图提交到运行环境，生成任务图；

根据所述任务图对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。

3.根据权利要求1或2所述的基于Flink引擎的数据解析方法，其特征在于，所述将所述解析器上传至分布式文件系统中前，所述方法还包括：

校验所述解析器的信息与所述分布式文件系统中其他解析器的信息是否重复，若重复，则对所述解析器的信息进行修改，所述解析器的信息至少包括解析器名称。

4.根据权利要求1或2所述的基于Flink引擎的数据解析方法，其特征在于，所述将所述解析器上传至分布式文件系统中前，所述方法还包括：

将数据样例输入所述解析器进行解析，获取解析结果，根据所述解析结果判断所述解析器的配置是否正确。

5.根据权利要求1或2任一所述的基于Flink引擎的数据解析方法，其特征在于，所述使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析前，所述方法还包括：

校验所述解析器的数据源信息与预先发送至Flink数据源的待解析数据的数据源信息是否匹配。

6.一种基于Flink引擎的数据解析装置，其特征在于，所述装置包括：

信息接收模块，用于通过Flink平台对外接口接收用户配置的解析逻辑以及数据源信息；

解析器生成模块，用于根据所述解析逻辑以及所述数据源信息生成解析器；

解析器上传模块，用于将所述解析器上传至分布式文件系统中；

解析器加载模块，用于从所述分布式系统中获取所述解析器；

数据解析模块，用于使用从所述分布式系统中获取的所述解析器对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。

7.根据权利要求6所述的基于Flink引擎的数据解析装置，其特征在于，所述数据解析模块包括：

第一生成单元，用于将从所述分布式文件系统加载到的所述解析器与Flink任务进行绑定，生成Flink执行图；

第二生成单元，用于将所述Flink执行图提交到运行环境，生成任务图；

数据解析单元，用于根据所述任务图对预先发送至Flink数据源的与所述数据源信息对应的待解析数据进行解析，生成解析数据。

8.根据权利要求6或7所述的基于Flink引擎的数据解析装置，其特征在于，所述装置还包括：

第一校验模块，用于校验所述解析器的信息与所述分布式文件系统中其他解析器的信息是否重复，若重复，则对所述解析器的信息进行修改，所述解析器的信息至少包括解析器名称。

9.根据权利要求6或7所述的基于Flink引擎的数据解析装置，其特征在于，所述装置还包括：

解析器测试模块，将数据样例输入所述解析器进行解析，获取解析结果，根据所述解析结果判断所述解析器的配置是否正确。

10.根据权利要求6或7所述的基于Flink引擎的数据解析装置，其特征在于，所述装置还包括：

第二校验模块，用于校验所述解析器的数据源信息与预先发送至Flink数据源的待解析数据的数据源信息是否匹配。

Images