CN106933549A - 基于流计算引擎的可定制化模块开发系统及方法 - Google Patents

Abstract

本发明实施例提供一种基于流计算引擎的可定制化模块开发系统，该系统包括：组件设计模板、组件模板解析引擎、组件池、拓扑工厂以及拓扑提交解析引擎；其中，所述组件设计模板用于使用户根据所述组件设计模板创建组件集；所述组件模板解析引擎用于对所述组件集进行解析；所述组件池用于存放和记录所述组件集；所述拓扑工厂用于向用户提供构建拓扑结构的界面；所述拓扑提交解析引擎用于将用户构建的所述拓扑结构提交至流计算引擎。本发明实施例同时还提供一种基于流计算引擎的可定制化模板开发方法。

Description

基于流计算引擎的可定制化模块开发系统及方法

技术领域

本发明涉及流计算技术，尤其涉及一种基于流计算引擎的可定制化模块开发系统及方法。

背景技术

现如今，有很多数据的价值会随着时间的流逝而降低，所以在事件出现后，必须尽快对它们进行处理，最好能够在事件出现时便立即对与事件对应的数据进行处理，发生一个事件进行一次数据处理，而不是缓存起来成一批处理。

现有技术中，流计算已经在大数据处理过程中得到充分应用，现有的流计算框架主要有storm、speak-streaming、S4、Samza等。在使用现有的流计算框架开发流计算系统的过程中，需要研发工程师了解业务需求，并结合自身对某个流计算框架的熟悉情况进行流计算系统的开发。

现有的流计算系统的开发过程具有如下缺点：开发过程需要有流计算开发经验的研发工程师，而工程师的经验是决定项目交付时间的重要因素，其不确定性较强；由于流计算系统是针对某种业务需求开发的，其各个组件的耦合性较高，因此复用性不高。

发明内容

有鉴于此，本发明实施例期望提供一种基于流计算引擎的可定制化模块开发系统及方法，以提高流计算系统的开发速度。且适用于各种流计算框架，通用性高。

本发明实施例的技术方案是这样实现的：

一种基于流计算引擎的可定制化模块开发系统，所述系统包括：组件设计模板、组件模板解析引擎、组件池、拓扑工厂以及拓扑提交解析引擎；

其中，所述组件设计模板用于使用户根据所述组件设计模板创建组件集；

所述组件模板解析引擎用于对所述组件集进行解析；

所述组件池用于存放和记录所述组件集；

所述拓扑工厂用于向用户提供构建拓扑结构的界面；

所述拓扑提交解析引擎用于将用户构建的所述拓扑结构提交至流计算引擎。

如上所述的系统，其中，所述组件设计模板包括：功能组件集合和配置文件；

其中，所述功能组件集合包括多个功能组件；所述配置文件中包含所述功能组件集合的名称以及每个所述功能组件的配置信息；

所述功能组件的配置信息包括：功能组件名称、功能组件介绍、功能组件类型、功能组件类路径、功能组件参数、功能组件输入以及功能组件输出。

如上所述的系统，其中，所述组件模板解析引擎具体用于：解析所述配置文件，根据所述配置文件，记录所述功能组件的内容并将所述功能组件存放至所述组件池中。

如上所述的系统，其中，所述组件池包括数据存储器和功能组件存储池；

所述数据存储器用于存放所述功能组件的配置信息；所述功能组件存储池用于存储并管理用户创建的所述组件集。

如上所述的系统，其中，所述拓扑工厂包括拓扑工厂界面和拓扑关系生成器；

其中，所述拓扑工厂界面用于向用户提供构建拓扑结构的界面，并根据所述功能组件集合搭建拓扑结构；所述拓扑关系生成器用于根据所述拓扑结构生成拓扑结构序列。

如上所述的系统，其中，所述拓扑提交解析引擎包括拓扑解析器和拓扑提交器；

所述拓扑解析器用于对所述拓扑关系生成器生成的拓扑结构序列进行解析，并根据解析结果和与当前使用的流计算引擎对应的拓扑构建方式，建立适用于当前使用的流计算引擎的拓扑结构；所述拓扑提交器用于将所述拓扑解析器建立的所述拓扑结构及使用的功能组件发送至所述流计算引擎。

一种基于流计算引擎的可定制化模块开发方法，所述方法包括：

在拓扑工厂中，选取组件集中的功能组件类型，填写功能组件参数，搭建拓扑结构；

根据所述拓扑结构，生成拓扑配置文件，所述拓扑配置文件中包含功能组件类型、功能组件参数、功能组件的内容、功能组件之间的关系、功能组件数据的分组方式，并将所述拓扑配置文件发送给拓扑提交解析引擎；

所述拓扑提交解析引擎解析所述拓扑配置文件，并从组件池中获取相应的实例功能组件，并将所述拓扑配置文件中相应的所述功能组件参数注入所述实例功能组件；

所述拓扑提交解析引擎根据所述实例功能组件和当前使用的流计算引擎对应的拓扑构建方式，建立适用于当前使用的流计算引擎的拓扑结构并发送至所述流计算引擎。

如上所述的方法，其中，所述在拓扑工厂中，选取组件集中的功能组件类型，填写功能组件参数，搭建拓扑结构之前，还包括：

利用组件设计模板创建所述组件集；所述组件设计模板包括：功能组件集合和配置文件；并将所述组件集传输到组件模板解析引擎；

所述组件模板解析引擎解析所述配置文件，根据所述配置文件，记录所述功能组件的内容，将所述功能组件集合存放至所述组件池中。

如上所述的方法，其中，所述将所述组件集传输到组件模板解析引擎，包括：

将所述组件集以压缩文件格式或jar文件格式传输到所述组件模板解析引擎。

如上所述的方法，其中，所述组件模板解析引擎解析所述配置文件，根据所述配置文件，记录所述功能组件的内容，将所述功能组件集合存放至所述组件池中，包括：

所述组件模板解析引擎利用MD5校验接收到的压缩文件格式或jar文件格式的所述组件集，确保接收所述组件集在传输过程中无丢失后，读取所述配置文件和功能组件集合；

所述组件模板解析引擎根据功能组件名称，执行功能组件类路径，校验所述功能组件是否存在；在校验成功后，将与所述功能组件对应的配置信息存放至所述组件模板解析引擎的数据存储器对应的功能组件表中，并设定所述功能组件对应的功能组件集合的打包文件存放位置；

所述组件模板解析引擎遍历所有功能组件后，将所述功能组件集合存放至所述组件池中。

本发明实施例提供的基于流计算引擎的可定制化模块开发系统及方法，通过设置用于使用户根据所述组件设计模板创建组件集的组件设计模板、用于对所述组件集进行解析的组件模板解析引擎、用于存放和记录所述组件集的组件池、用于向用户提供构建拓扑结构的界面的拓扑工厂以及用于将用户构建的所述拓扑结构提交至流计算引擎的拓扑提交解析引擎，为开发人员提供了开发功能组件的模板，便于组件开发，将功能组件存放入组件池中，可以在开发过程中有效条用已有组件，提高开发速度，并且开发人员通过使用拓扑工厂，可以完成设计并按成复杂业务的建立，其功能组件可脱离业务，基于模块自由定制，自由度高，且可适用于各种流计算框架，具有通用性。

附图说明

图1为本发明实施例提供的基于流计算引擎的可定制化模块开发系统的结构示意图；

图2为本发明实施例提供的基于流计算引擎的可定制化模块开发系统中数据流向示意图；

图3为本发明实施例一提供的基于流计算引擎的可定制化模块开发方法的流程图；

图4为本发明实施例二提供的基于流计算引擎的可定制化模块开发方法的流程图。

具体实施方式

在本发明的各实施例中，提供用于使用户根据组件设计模板创建组件集的组件设计模板、用于对组件集进行解析的组件模板解析引擎、用于存放和记录组件集的组件池、用于向用户提供构建拓扑结构的界面的拓扑工厂以及用于将用户构建的拓扑结构提交至流计算引擎的拓扑提交解析引擎，为开发人员提供一个组件管理平台，并可以根据业务场景选取组件，填写组件中的参数，实现模块化定制的目的。

图1为本发明实施例提供的基于流计算引擎的可定制化模块开发系统的结构示意图，图2为本发明实施例提供的基于流计算引擎的可定制化模块开发系统中数据流向示意图；如图1和图2所示，本实施例提供的系统具体可以包括：组件设计模板11、组件模板解析引擎12、组件池13、拓扑工厂14以及拓扑提交解析引擎15。

其中，所述组件设计模板11用于使用户根据所述组件设计模板11创建组件集；所述组件模板解析引擎12用于对所述组件集进行解析；所述组件池13用于存放和记录所述组件集；所述拓扑工厂14用于向用户提供构建拓扑结构的界面；所述拓扑提交解析引擎15用于将用户构建的所述拓扑结构提交至流计算引擎。

具体的，所述组件设计模板11包括功能组件集合和配置文件；其中，所述功能组件集合包括多个功能组件；所述配置文件中包含所述功能组件集合的名称以及每个所述功能组件的配置信息；所述功能组件的配置信息包括：功能组件名称、功能组件介绍、功能组件类型、功能组件类路径、功能组件参数、功能组件输入以及功能组件输出。

实际应用中，配置文件为yaml文件，每个功能组件都需要在配置文件中声明其内容，配置文件需要声明该功能组件集合的名称，且该名称在系统中为唯一标识，每个功能组件还需要配置自己的对应信息，即，功能组件名称，用于在该功能组件集合唯一标识该功能组件；功能组件介绍，用于描述该功能组件的功能；功能组件类型，该功能组件类型根据所使用的流计算引擎而定，例如，使用storm作为流计算引擎时，其功能组件类型可以包括“bolt”、“spout”等；功能组件类路径，用于标识该功能组件对应于功能组件集合中的位置；功能组件参数，在使用时根据实际需要填写的；功能组件输入以及功能组件输出，表示功能组件数据流入和流出时的数据字段和内容。

功能组件主要继承流计算框架中的基础类，以此为基础设计功能。如kafka的连接，时间窗口的设计等。在设计过程中，使用依赖注入的思想，为后期的传入变量提供便利。编写完成后，生成含有功能在组件的组件集。

具体的，所述组件模板解析引擎12具体用于：解析所述配置文件，根据所述配置文件，记录所述功能组件的内容并将所述功能组件存放至所述组件池13中；即，对用户根据定制化组件模板开发的组件集的文件进行解析，其主要解析功能组件的配置文件，根据配置文件内容，记录功能组件内容并将功能组件存放入组件池13中，在解析过程中，组件模板解析引擎12会根据配置文件中的功能组件类路径对功能组件进行核实。

具体的，所述组件池13包括数据存储器和功能组件存储池；所述数据存储器用于存放所述功能组件的配置信息；所述功能组件存储池用于存储并管理用户创建的所述组件集。

数据存储器主要存放组件信息，包括其对应功能组件集合的名称、功能组件名称、功能组件的类型、对应功能组件的位置等，其主要依据配置文件内的信息；其存放方式可以多种多样，包括MongoDB、Oracle等，其中MongoDB可通过Morphia实现Java对象到MongoDB双向映射；功能组件存储池主要是将用户生成的压缩文件存放到磁盘上并对其管理。

具体的，所述拓扑工厂14包括拓扑工厂界面和拓扑关系生成器；其中，所述拓扑工厂界面用于向用户提供构建拓扑结构的界面，并根据所述功能组件集合搭建拓扑结构；所述拓扑关系生成器用于根据所述拓扑结构生成拓扑结构序列。

在拓扑工厂界面上，用户可以查看现有功能组件的信息，并根据现有功能组件搭建拓扑结构。

具体的，所述拓扑提交解析引擎15包括拓扑解析器和拓扑提交器；所述拓扑解析器用于对所述拓扑关系生成器生成的拓扑结构序列进行解析，并根据解析结果和与当前使用的流计算引擎对应的拓扑构建方式，建立适用于当前使用的流计算引擎的拓扑结构；所述拓扑提交器用于将所述拓扑解析器建立的所述拓扑结构及使用的功能组件发送至所述流计算引擎。

本实施例提供的基于流计算引擎的可定制化模板开发系统，可以提高流计算系统的开发速度。且适用于各种流计算框架，通用性高。

图3为本发明实施例一提供的基于流计算引擎的可定制化模块开发方法的流程图。如图3所示，本实施例提供的方法可以包括：

步骤201、在拓扑工厂中，选取组件集中的功能组件类型，填写功能组件参数，搭建拓扑结构。

本步骤中，用户使用时，进入拓扑工厂界面，在界面中，用户可以搜索和查看已有的功能组件的信息，查看功能组件是否满足现在业务要求，若满足点击建立拓扑，若不满足联系开发人员开发相应的功能组件集。

在搭建拓扑时，拓扑关系如同一张表，数据流流行从表的第一行流到最后一行。用户可自行添加行数，在每行中，用户可以选取功能组件类型，填写功能组件参数，设置功能组件数据分组方式等。

当用户构建拓扑完成后，点击提交按钮，激活拓扑关系生成器。

步骤202、根据所述拓扑结构，生成拓扑配置文件，所述拓扑配置文件中包含功能组件类型、功能组件参数、功能组件的内容、功能组件之间的关系、功能组件数据的分组方式，并将所述拓扑配置文件发送给拓扑提交解析引擎。

具体的，拓扑关系生成器首先对其填写的参数与组件池中数据存储器存放的该功能组件的信息进行校验，是否满足填写条件；若不满足，提示出错原因；若满足，会根据其填写内容和拓扑的结构生成一个拓扑配置文件，该拓扑配置文件可以为xml等格式的文件，其中包括每个功能组件的内容，如功能组件内参数、功能组件输入等，功能组件之间相互的关系，功能组件数据的分组方式等有关拓扑的信息。并将其发送给拓扑提交解析引擎。

步骤203、所述拓扑提交解析引擎解析所述拓扑配置文件，并从组件池中获取相应的实例功能组件，并将所述拓扑配置文件中相应的所述功能组件参数注入所述实例功能组件。

拓扑提交引擎接受到拓扑配置文件后，对文件进行解析。在解析过程中，其首先获取该拓扑中各个功能组件的名称，并且在组件池内的数据存储中查找并核对相应的功能组件信息，若核对无误，在功能组件池中获取相应的功能组件，对其进行实例化，即，获得实例功能组件，并将拓扑配置文件中的该功能组件的参数注入其中。

步骤204、所述拓扑提交解析引擎根据所述实例功能组件和当前使用的流计算引擎对应的拓扑构建方式，建立适用于当前使用的流计算引擎的拓扑结构并发送至所述流计算引擎。

在功能组件解析完成后，解析拓扑结构；在解析拓扑结构过程中，其需要根据当前所使用的流计算引擎生成对应的拓扑结构；利用刚才的实例功能组件以及其拓扑配置文件中数据流向和数据分组的信息构建成一个适合当前流计算引擎的拓扑关系。拓扑提交解析引擎将组成的拓扑进行打包操作，提交到流计算集群中运行。需要说明的是，不同流计算引擎所构筑的拓扑结构不同，列如storm构筑完拓扑之后还需要将拓扑打包后上传。

本实施例提供的基于流计算引擎的可定制化模板开发方法，可以提高流计算系统的开发速度。且适用于各种流计算框架，通用性高。

图4为本发明实施例二提供的基于流计算引擎的可定制化模块开发方法的流程图。如图4所示，在上述步骤201之前，本实施例提供的方法进一步还可以包括：

步骤301、利用组件设计模板创建所述组件集；所述组件设计模板包括：功能组件集合和配置文件；并将所述组件集传输到组件模板解析引擎。

用户根据定制化功能组件设计模板设计并实现相应的功能组件集，按要求填写配置文件，当用户根据组件模板开发完成后，生成相应的功能组件集合的打包文件，将含有功能组件集合的打包文件发送到组件模板解析引擎；具体的，可以将将所述组件集以压缩文件格式或jar文件格式传输到所述组件模板解析引擎。

步骤302、所述组件模板解析引擎解析所述配置文件，根据所述配置文件，记录所述功能组件的内容，将所述功能组件集合存放至所述组件池中。

具体的，所述组件模板解析引擎获取到功能组件集的打包文件后，利用MD5校验接收到的压缩文件格式或jar文件格式的所述组件集，确保接收所述组件集在传输过程中无丢失后，读取所述配置文件和功能组件集合；所述组件模板解析引擎根据功能组件名称，执行功能组件类路径，校验所述功能组件是否存在；在校验成功后，将与所述功能组件对应的配置信息存放至所述组件模板解析引擎的数据存储器对应的功能组件表中，并设定所述功能组件对应的功能组件集合的打包文件存放位置；所述组件模板解析引擎遍历所有功能组件后，将所述功能组件集合存放至所述组件池中。

即，组件模板解析引擎在独权配置文件和功能组件集合后，根据配置文件信息核实其功能组件的内容，其过程分为两个部分：一是读取功能组件集的配置文件，其主要位于配置文件的开头，主要是描述该功能组件集的总体情况；二是读取每个功能组件的配置信息。将该功能组件的配置信息按照对应的格式需要说明的是，其格式内必须含有以下参数：功能组件名称、功能组件介绍、功能组件类型、功能组件类路径、功能组件参数、功能组件输入、功能组件输出、该功能组件对应的存放位置。

实际应用中，在读取功能组件集内容，即整个集合的总体信息无误后，将其读取信息存放在组件池中数据存储器的组件集信息表中；在读取功能组件配置信息时，会根据其组件定义的其执行类的位置，在打包文件中查找，校验是否存在；当一切信息无误后，将功能组件信息存放在数据存储器对应的功能组件表中，组件指向位置填写为空；当功能组件全部遍历完后，将其功能组件集存放到对应的组件池中。获取该组件集在组件池中的对应位置，更新数据存储器中该功能组件集对应的所有功能组件的组件指向位置。从而完成功能组件的存储流程。

本实施例提供的基于流计算引擎的可定制化模板开发方法，可以提高流计算系统的开发速度。且适用于各种流计算框架，通用性高。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种基于流计算引擎的可定制化模块开发系统，其特征在于，所述系统包括：组件设计模板、组件模板解析引擎、组件池、拓扑工厂以及拓扑提交解析引擎；

其中，所述组件设计模板用于使用户根据所述组件设计模板创建组件集；

所述组件模板解析引擎用于对所述组件集进行解析；

所述组件池用于存放和记录所述组件集；

所述拓扑工厂用于向用户提供构建拓扑结构的界面；

所述拓扑提交解析引擎用于将用户构建的所述拓扑结构提交至流计算引擎。

2.根据权利要求1所述的系统，其特征在于，所述组件设计模板包括：功能组件集合和配置文件；

其中，所述功能组件集合包括多个功能组件；所述配置文件中包含所述功能组件集合的名称以及每个所述功能组件的配置信息；

所述功能组件的配置信息包括：功能组件名称、功能组件介绍、功能组件类型、功能组件类路径、功能组件参数、功能组件输入以及功能组件输出。

3.根据权利要求2所述的系统，其特征在于，所述组件模板解析引擎具体用于：解析所述配置文件，根据所述配置文件，记录所述功能组件的内容并将所述功能组件存放至所述组件池中。

4.根据权利要求3所述的系统。其特征在于，所述组件池包括数据存储器和功能组件存储池；

所述数据存储器用于存放所述功能组件的配置信息；所述功能组件存储池用于存储并管理用户创建的所述组件集。

5.根据权利要求4所述的系统，其特征在于，所述拓扑工厂包括拓扑工厂界面和拓扑关系生成器；

其中，所述拓扑工厂界面用于向用户提供构建拓扑结构的界面，并根据所述功能组件集合搭建拓扑结构；所述拓扑关系生成器用于根据所述拓扑结构生成拓扑结构序列。

6.根据权利要求5所述的系统，其特征在于，所述拓扑提交解析引擎包括拓扑解析器和拓扑提交器；

所述拓扑解析器用于对所述拓扑关系生成器生成的拓扑结构序列进行解析，并根据解析结果和与当前使用的流计算引擎对应的拓扑构建方式，建立适用于当前使用的流计算引擎的拓扑结构；所述拓扑提交器用于将所述拓扑解析器建立的所述拓扑结构及使用的功能组件发送至所述流计算引擎。

7.一种基于流计算引擎的可定制化模块开发方法，其特征在于，所述方法包括：

在拓扑工厂中，选取组件集中的功能组件类型，填写功能组件参数，搭建拓扑结构；

根据所述拓扑结构，生成拓扑配置文件，所述拓扑配置文件中包含功能组件类型、功能组件参数、功能组件的内容、功能组件之间的关系、功能组件数据的分组方式，并将所述拓扑配置文件发送给拓扑提交解析引擎；

所述拓扑提交解析引擎解析所述拓扑配置文件，并从组件池中获取相应的实例功能组件，并将所述拓扑配置文件中相应的所述功能组件参数注入所述实例功能组件；

所述拓扑提交解析引擎根据所述实例功能组件和当前使用的流计算引擎对应的拓扑构建方式，建立适用于当前使用的流计算引擎的拓扑结构并发送至所述流计算引擎。

8.根据权利要求7所述的方法，其特征在于，所述在拓扑工厂中，选取组件集中的功能组件类型，填写功能组件参数，搭建拓扑结构之前，还包括：

利用组件设计模板创建所述组件集；所述组件设计模板包括：功能组件集合和配置文件；并将所述组件集传输到组件模板解析引擎；

所述组件模板解析引擎解析所述配置文件，根据所述配置文件，记录所述功能组件的内容，将所述功能组件集合存放至所述组件池中。

9.根据权利要求8所述的方法，其特征在于，所述将所述组件集传输到组件模板解析引擎，包括：

将所述组件集以压缩文件格式或jar文件格式传输到所述组件模板解析引擎。

10.根据权利要求9所述的方法，其特征在于，所述组件模板解析引擎解析所述配置文件，根据所述配置文件，记录所述功能组件的内容，将所述功能组件集合存放至所述组件池中，包括：

所述组件模板解析引擎利用MD5校验接收到的压缩文件格式或jar文件格式的所述组件集，确保接收所述组件集在传输过程中无丢失后，读取所述配置文件和功能组件集合；

所述组件模板解析引擎根据功能组件名称，执行功能组件类路径，校验所述功能组件是否存在；在校验成功后，将与所述功能组件对应的配置信息存放至所述组件模板解析引擎的数据存储器对应的功能组件表中，并设定所述功能组件对应的功能组件集合的打包文件存放位置；

所述组件模板解析引擎遍历所有功能组件后，将所述功能组件集合存放至所述组件池中。