CN112685004B - 一种基于实时流计算的在线组件编排计算方法及系统 - Google Patents

Abstract

本发明提供了大数据应用技术领域的一种基于实时流计算的在线组件编排计算方法及系统，方法包括如下步骤：步骤S10、通过可视化编辑器对组件库的组件进行编排，生成编排模板；步骤S20、调度器将所述编排模板发送给编排引擎，对所述编排模板进行计算流程的设定，生成计算模板；步骤S30、调度器对所述计算模板进行验证后，发布到编排引擎；步骤S40、计算引擎基于接收的计算指令，获取发布的所述计算模板执行计算指令，输出计算结果。本发明的优点在于：极大的提升了组件编排的效率。

Description

一种基于实时流计算的在线组件编排计算方法及系统

技术领域

本发明涉及大数据应用技术领域，特别指一种基于实时流计算的在线组件编排计算方法及系统。

背景技术

在大数据应用领域，现有的实时流计算框架都是基于线上+线下的模式进行运行的，即当用户有需求时，开发人员根据用户需求编写计算框架的业务逻辑代码，将编写的业务逻辑代码上传到实时流计算框架进行计算，得到结果。

然而，现有线上+线下的模式，每次从用户需求转化成产品需求后，都需要开发人员进行开发实现，效率高低取决与开发人员的能力，一旦由于对用户需求理解有误，则会造成返工，严重影响了工作效率，实现起来非常耗时，少则几个小时，多则几天甚至几个月。因此，如何提供一种基于实时流计算的在线组件编排计算方法及系统，实现提升组件编排的效率，成为一个亟待解决的问题。

发明内容

本发明要解决的技术问题，在于提供一种基于实时流计算的在线组件编排计算方法及系统，实现提升组件编排的效率。

第一方面，本发明提供了一种基于实时流计算的在线组件编排计算方法，包括如下步骤：

步骤S10、通过可视化编辑器对组件库的组件进行编排，生成编排模板；

步骤S20、调度器将所述编排模板发送给编排引擎，对所述编排模板进行计算流程的设定，生成计算模板；

步骤S30、调度器对所述计算模板进行验证后，发布到编排引擎；

步骤S40、计算引擎基于接收的计算指令，获取发布的所述计算模板执行计算指令，输出计算结果。

进一步地，所述步骤S10中，所述组件库至少包括数据接入组件、数据预处理组件以及数据输出组件；

所述数据接入组件至少包括Kafka接入子组件、数据库接入子组件、URL接入子组件以及文件接入子组件；所述数据预处理组件至少包括数据过滤子组件、数据转换子组件、数据筛选子组件、数据关联子组件以及算法选择子组件；所述数据输出组件至少包括文件输出子组件、数据库输出子组件以及Kafka输出子组件。

进一步地，所述步骤S20具体为：

调度器将所述编排模板发送给编排引擎，编排引擎对所述编排模板中的各组件进行计算流程的设定，生成计算模板。

进一步地，所述步骤S30具体包括：

步骤S31、调度器通过解析器调用并解析编排引擎生成的所述计算模板；

步骤S32、调度器基于解析的所述计算模板生成第一计算任务，并将所述第一计算任务发送给计算引擎进行计算，生成第一计算结果；

步骤S33、调度器接收计算引擎发送的所述第一计算结果，人工核查所述第一计算结果是否正确，若是，则所述计算模板验证通过，将所述计算模板发布到编排引擎；若否，则所述计算模板验证不通过，并进入步骤S10。

进一步地，所述步骤S40具体包括：

步骤S41、计算引擎将接收的计算指令转发给调度器；

步骤S42、调度器接收到所述计算指令后，通过解析器调用并解析编排引擎发布的所述计算模板；

步骤S43、调度器基于解析的所述计算模板以及计算指令生成第二计算任务，并将所述第二计算任务发送给计算引擎进行计算，生成并输出第二计算结果。

第二方面，本发明提供了一种基于实时流计算的在线组件编排计算系统，包括如下模块：

组件编排模块，用于通过可视化编辑器对组件库的组件进行编排，生成编排模板；

计算模板生成模块，用于调度器将所述编排模板发送给编排引擎，对所述编排模板进行计算流程的设定，生成计算模板；

计算模板验证发布模块，用于调度器对所述计算模板进行验证后，发布到编排引擎；

计算模块，用于计算引擎基于接收的计算指令，获取发布的所述计算模板执行计算指令，输出计算结果。

进一步地，所述组件编排模块中，所述组件库至少包括数据接入组件、数据预处理组件以及数据输出组件；

所述数据接入组件至少包括Kafka接入子组件、数据库接入子组件、URL接入子组件以及文件接入子组件；所述数据预处理组件至少包括数据过滤子组件、数据转换子组件、数据筛选子组件、数据关联子组件以及算法选择子组件；所述数据输出组件至少包括文件输出子组件、数据库输出子组件以及Kafka输出子组件。

进一步地，所述计算模板生成模块具体为：

调度器将所述编排模板发送给编排引擎，编排引擎对所述编排模板中的各组件进行计算流程的设定，生成计算模板。

进一步地，所述计算模板验证发布模块具体包括：

计算模板生成单元，用于调度器通过解析器调用并解析编排引擎生成的所述计算模板；

计算模板解析单元，用于调度器基于解析的所述计算模板生成第一计算任务，并将所述第一计算任务发送给计算引擎进行计算，生成第一计算结果；

计算模板验证单元，用于调度器接收计算引擎发送的所述第一计算结果，人工核查所述第一计算结果是否正确，若是，则所述计算模板验证通过，将所述计算模板发布到编排引擎；若否，则所述计算模板验证不通过，并进入组件编排模块。

进一步地，所述计算模块具体包括：

计算指令发送单元，用于计算引擎将接收的计算指令转发给调度器；

计算模板解析单元，用于调度器接收到所述计算指令后，通过解析器调用并解析编排引擎发布的所述计算模板；

计算指令执行单元，用于调度器基于解析的所述计算模板以及计算指令生成第二计算任务，并将所述第二计算任务发送给计算引擎进行计算，生成并输出第二计算结果。

本发明的优点在于：

通过可视化编辑器对组件库的组件进行编排，再利用编排引擎设定各编排的组件的计算流程，生成计算模板；计算模板验证通过后，通过编排引擎进行发布和存储，最终利用发布的计算模板执行计算指令，输出计算结果；即通过可视化的编排定制数据从获取、处理到输出的全生命周期，只需简单的操作即可完成组件的编排和发布，发布的计算模板可重复利用，对计算模板的调整也及其方便，直接在现有的计算模板上直接重新编排即可，不需要开发人员的参与，极大的提升了组件编排的效率，极大的提升了用户需求的响应效率。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1是本发明一种基于实时流计算的在线组件编排计算方法的流程图。

图2是本发明一种基于实时流计算的在线组件编排计算系统的结构示意图。

图3是本发明的系统架构图。

具体实施方式

本申请实施例中的技术方案，总体思路如下：通过可视化编辑器对组件库的组件进行可视化的编排，再利用编排引擎设定各编排的组件的计算流程生成计算模板；对计算模板进行验证后通过编排引擎进行发布和存储，最终利用发布的计算模板执行计算指令；对计算模板的更新调整只需重新编排组件，无需开发人员的参与，进而提升组件编排的效率。

请参照图1至图3所示，本发明的系统架构包括一可视化编辑器、一组件库、一计算引擎、一调度器、一解析器以及一编排引擎；所述组件库的一端与可视化编辑器连接，另一端与调度器连接；所述解析器的一端与调度器连接，另一端与编排引擎连接；所述调度器与计算引擎连接。

所述可视化编辑器用于拖拽组件库里的组件至编排区，合成新的编排数据，进而生成编排模板，并支持在线调试；所述计算引擎用于计算调度器发送的计算任务并进行输出；所述调度器用于提供统一的计算任务资源池；所述解析器用于解析计算模板，进而生成计算任务；所述编排引擎用于设定各编排的组件的计算流程生成计算模板。

本发明一种基于实时流计算的在线组件编排计算方法的较佳实施例，包括如下步骤：

步骤S10、通过可视化编辑器对组件库的组件进行编排，生成编排模板；

步骤S20、调度器将所述编排模板发送给编排引擎，对所述编排模板进行计算流程的设定，生成计算模板；

步骤S30、调度器对所述计算模板进行验证后，发布到编排引擎；即对所述计算模板进行验证、调试，没问题后才进行发布；

步骤S40、计算引擎基于接收的计算指令，获取发布的所述计算模板执行计算指令，输出计算结果。

当业务规则发生改变时，能通过可视化编辑器编排出任意的编排模板，能避免因业务调整而引起代码修改的工作量，大大提高了研发和运维的效率。

所述步骤S10中，所述组件库至少包括数据接入组件、数据预处理组件以及数据输出组件；

所述数据接入组件至少包括Kafka接入子组件、数据库接入子组件、URL接入子组件以及文件接入子组件；所述数据预处理组件至少包括数据过滤子组件、数据转换子组件、数据筛选子组件、数据关联子组件以及算法选择子组件；所述数据输出组件至少包括文件输出子组件、数据库输出子组件以及Kafka输出子组件。

利用所述组件库实现支持关系型数据库、文本文件、分布式数据库、消息队列等多类数据源接入，实现实际生产过程中多源异构的数据统一接入与管理，为实时流计算奠定坚实的数据基础，且提供控制节点、数据抽取、数据转换、数据清洗、数据加载、数据特征值提取等一系列多样化的数据处理组件，为在线编排、快速完成客户需求提供丰富的组件储备。

通过接口的定义，支持标准化自定义的组件扩展，可以根据个性化需求定制开发满足特殊业务需求的组件。

所述步骤S20具体为：

调度器将所述编排模板发送给编排引擎，编排引擎对所述编排模板中的各组件进行计算流程的设定，生成计算模板。

所述步骤S30具体包括：

步骤S31、调度器通过解析器调用并解析编排引擎生成的所述计算模板；

步骤S32、调度器基于解析的所述计算模板生成第一计算任务，并将所述第一计算任务发送给计算引擎进行计算，生成第一计算结果；

步骤S33、调度器接收计算引擎发送的所述第一计算结果，人工核查所述第一计算结果是否正确，若是，则所述计算模板验证通过，将所述计算模板发布到编排引擎；若否，则所述计算模板验证不通过，并进入步骤S10。编排引擎对发布的所述计算模板需要实现进行校验，校验成功才进行保存。

所述步骤S40具体包括：

步骤S41、计算引擎将接收的计算指令转发给调度器；

步骤S42、调度器接收到所述计算指令后，通过解析器调用并解析编排引擎发布的所述计算模板；

步骤S43、调度器基于解析的所述计算模板以及计算指令生成第二计算任务，并将所述第二计算任务发送给计算引擎进行计算，生成并输出第二计算结果。所述计算模板的各组件在运行时，系统自动记录相关日志，进而对计算任务进行监控，了解资源消耗情况。

本发明一种基于实时流计算的在线组件编排计算系统的较佳实施例，包括如下模块：

组件编排模块，用于通过可视化编辑器对组件库的组件进行编排，生成编排模板；

计算模板生成模块，用于调度器将所述编排模板发送给编排引擎，对所述编排模板进行计算流程的设定，生成计算模板；

计算模板验证发布模块，用于调度器对所述计算模板进行验证后，发布到编排引擎；即对所述计算模板进行验证、调试，没问题后才进行发布；

计算模块，用于计算引擎基于接收的计算指令，获取发布的所述计算模板执行计算指令，输出计算结果。

当业务规则发生改变时，能通过可视化编辑器编排出任意的编排模板，能避免因业务调整而引起代码修改的工作量，大大提高了研发和运维的效率。

所述组件编排模块中，所述组件库至少包括数据接入组件、数据预处理组件以及数据输出组件；

所述数据接入组件至少包括Kafka接入子组件、数据库接入子组件、URL接入子组件以及文件接入子组件；所述数据预处理组件至少包括数据过滤子组件、数据转换子组件、数据筛选子组件、数据关联子组件以及算法选择子组件；所述数据输出组件至少包括文件输出子组件、数据库输出子组件以及Kafka输出子组件。

利用所述组件库实现支持关系型数据库、文本文件、分布式数据库、消息队列等多类数据源接入，实现实际生产过程中多源异构的数据统一接入与管理，为实时流计算奠定坚实的数据基础，且提供控制节点、数据抽取、数据转换、数据清洗、数据加载、数据特征值提取等一系列多样化的数据处理组件，为在线编排、快速完成客户需求提供丰富的组件储备。

通过接口的定义，支持标准化自定义的组件扩展，可以根据个性化需求定制开发满足特殊业务需求的组件。

所述计算模板生成模块具体为：

调度器将所述编排模板发送给编排引擎，编排引擎对所述编排模板中的各组件进行计算流程的设定，生成计算模板。

所述计算模板验证发布模块具体包括：

计算模板生成单元，用于调度器通过解析器调用并解析编排引擎生成的所述计算模板；

计算模板解析单元，用于调度器基于解析的所述计算模板生成第一计算任务，并将所述第一计算任务发送给计算引擎进行计算，生成第一计算结果；

计算模板验证单元，用于调度器接收计算引擎发送的所述第一计算结果，人工核查所述第一计算结果是否正确，若是，则所述计算模板验证通过，将所述计算模板发布到编排引擎；若否，则所述计算模板验证不通过，并进入组件编排模块。编排引擎对发布的所述计算模板需要实现进行校验，校验成功才进行保存。

所述计算模块具体包括：

计算指令发送单元，用于计算引擎将接收的计算指令转发给调度器；

计算模板解析单元，用于调度器接收到所述计算指令后，通过解析器调用并解析编排引擎发布的所述计算模板；

计算指令执行单元，用于调度器基于解析的所述计算模板以及计算指令生成第二计算任务，并将所述第二计算任务发送给计算引擎进行计算，生成并输出第二计算结果。所述计算模板的各组件在运行时，系统自动记录相关日志，进而对计算任务进行监控，了解资源消耗情况。

综上所述，本发明的优点在于：

通过可视化编辑器对组件库的组件进行编排，再利用编排引擎设定各编排的组件的计算流程，生成计算模板；计算模板验证通过后，通过编排引擎进行发布和存储，最终利用发布的计算模板执行计算指令，输出计算结果；即通过可视化的编排定制数据从获取、处理到输出的全生命周期，只需简单的操作即可完成组件的编排和发布，发布的计算模板可重复利用，对计算模板的调整也及其方便，直接在现有的计算模板上直接重新编排即可，不需要开发人员的参与，极大的提升了组件编排的效率，极大的提升了用户需求的响应效率。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (6)

1.一种基于实时流计算的在线组件编排计算方法，其特征在于：包括如下步骤：

步骤S10、通过可视化编辑器对组件库的组件进行编排，生成编排模板；

步骤S20、调度器将所述编排模板发送给编排引擎，编排引擎对所述编排模板中的各组件进行计算流程的设定，生成计算模板；

步骤S30、调度器对所述计算模板进行验证后，发布到编排引擎；

步骤S40、计算引擎基于接收的计算指令，获取发布的所述计算模板执行计算指令，输出计算结果；

所述步骤S30具体包括：

步骤S31、调度器通过解析器调用并解析编排引擎生成的所述计算模板；

步骤S32、调度器基于解析的所述计算模板生成第一计算任务，并将所述第一计算任务发送给计算引擎进行计算，生成第一计算结果；

步骤S33、调度器接收计算引擎发送的所述第一计算结果，人工核查所述第一计算结果是否正确，若是，则所述计算模板验证通过，将所述计算模板发布到编排引擎；若否，则所述计算模板验证不通过，并进入步骤S10。

2.如权利要求1所述的一种基于实时流计算的在线组件编排计算方法，其特征在于：所述步骤S10中，所述组件库至少包括数据接入组件、数据预处理组件以及数据输出组件；

所述数据接入组件至少包括Kafka接入子组件、数据库接入子组件、URL接入子组件以及文件接入子组件；所述数据预处理组件至少包括数据过滤子组件、数据转换子组件、数据筛选子组件、数据关联子组件以及算法选择子组件；所述数据输出组件至少包括文件输出子组件、数据库输出子组件以及Kafka输出子组件。

3.如权利要求1所述的一种基于实时流计算的在线组件编排计算方法，其特征在于：所述步骤S40具体包括：

步骤S41、计算引擎将接收的计算指令转发给调度器；

步骤S42、调度器接收到所述计算指令后，通过解析器调用并解析编排引擎发布的所述计算模板；

步骤S43、调度器基于解析的所述计算模板以及计算指令生成第二计算任务，并将所述第二计算任务发送给计算引擎进行计算，生成并输出第二计算结果。

4.一种基于实时流计算的在线组件编排计算系统，其特征在于：包括如下模块：

组件编排模块，用于通过可视化编辑器对组件库的组件进行编排，生成编排模板；

计算模板生成模块，用于调度器将所述编排模板发送给编排引擎，编排引擎对所述编排模板中的各组件进行计算流程的设定，生成计算模板；

计算模板验证发布模块，用于调度器对所述计算模板进行验证后，发布到编排引擎；

计算模块，用于计算引擎基于接收的计算指令，获取发布的所述计算模板执行计算指令，输出计算结果；

所述计算模板验证发布模块具体包括：

计算模板生成单元，用于调度器通过解析器调用并解析编排引擎生成的所述计算模板；

计算模板解析单元，用于调度器基于解析的所述计算模板生成第一计算任务，并将所述第一计算任务发送给计算引擎进行计算，生成第一计算结果；

计算模板验证单元，用于调度器接收计算引擎发送的所述第一计算结果，人工核查所述第一计算结果是否正确，若是，则所述计算模板验证通过，将所述计算模板发布到编排引擎；若否，则所述计算模板验证不通过，并进入组件编排模块。

5.如权利要求4所述的一种基于实时流计算的在线组件编排计算系统，其特征在于：所述组件编排模块中，所述组件库至少包括数据接入组件、数据预处理组件以及数据输出组件；

所述数据接入组件至少包括Kafka接入子组件、数据库接入子组件、URL接入子组件以及文件接入子组件；所述数据预处理组件至少包括数据过滤子组件、数据转换子组件、数据筛选子组件、数据关联子组件以及算法选择子组件；所述数据输出组件至少包括文件输出子组件、数据库输出子组件以及Kafka输出子组件。

6.如权利要求4所述的一种基于实时流计算的在线组件编排计算系统，其特征在于：所述计算模块具体包括：

计算指令发送单元，用于计算引擎将接收的计算指令转发给调度器；

计算模板解析单元，用于调度器接收到所述计算指令后，通过解析器调用并解析编排引擎发布的所述计算模板；

计算指令执行单元，用于调度器基于解析的所述计算模板以及计算指令生成第二计算任务，并将所述第二计算任务发送给计算引擎进行计算，生成并输出第二计算结果。

Images