CN112363774B - Storm实时任务的配置方法及装置 - Google Patents

Abstract

本发明公开一种Storm实时任务的配置方法及装置，涉及大数据技术领域，能够简化Storm任务的配置过程，提升其配置效率低。该方法包括：新建数据源节点和业务处理节点，并定义数据源节点的数据源信息和业务处理节点的业务常量信息；新建Storm实时任务并定义任务参数，结合新建数据源节点和业务处理节点生成配置文件；将配置文件发送至Storm客户端系统解析，并基于获取的任务参数构建拓扑节点列表；根据拓扑节点列表构建并启动Topology，启动任务流。该装置应用有上述方案所提的方法。

Description

Storm实时任务的配置方法及装置

技术领域

本发明涉及大数据技术领域，尤其涉及一种Storm实时任务的配置方法及装置。

背景技术

Storm是apache自由开源的分布式实时计算系统，擅长处理海量数据，适用于对数据的实时处理。在常见的开发设计中，项目中开发人员往往在程序中采用硬编码的方式进行Topology实时拓扑任务代码过程设计。在开发过程中经常会遇到以下问题：

1、开发人员拿到业务需求后首先会开发实时流功能，第一步通常都会设计实时拓扑图，并以代码形式完成相应功能的开发，等需求量大时会导致代码的可维护性差；

2、数据流组合或者流策略的调整都需要进行硬编码才能完成。

综上，现有的Storm任务不仅配置方式复杂，而且配置效率低。

发明内容

本发明的目的在于提供一种Storm实时任务的配置方法及装置，能够简化Storm任务的配置过程，提升其配置效率。

为了实现上述目的，本发明的第一方面提供一种Storm任务的配置方法，包括：

新建数据源节点和业务处理节点，并定义数据源节点的数据源信息和业务处理节点的业务常量信息；

新建Storm实时任务并定义任务参数，结合所述新建数据源节点和业务处理节点生成配置文件；

将所述配置文件发送至Storm客户端系统解析，并基于获取的所述任务参数构建拓扑节点列表；

根据所述拓扑节点列表构建并启动Topology，启动任务流。

优选地，新建数据源节点和业务处理节点，并定义数据源节点的数据源信息和业务处理节点的业务常量信息的方法包括：

在任务管理系统上可视化的新建数据源节点和业务处理节点，定义的数据源信息包括数据源队列名称、消费队列名称、数据来源和数据类型，定义的业务常量信息包括任务并发数量和业务常量数据。

较佳地，新建Storm实时任务并定义任务参数，结合所述新建数据源节点和业务处理节点生成配置文件的方法包括：

在任务管理系统上新建Storm实时任务，所述任务参数包括任务拓扑图内容及名称、启动进程数、pending数、消息超时时间中值、数据来源和数据类型；

基于所述Storm实时任务、所述任务参数、新建的所述数据源节点和所述业务处理节点，以及对应的所述数据源信息和所述业务常量信息组装任务流实例生成所述配置文件。

进一步地，将所述配置文件发送至Storm客户端系统解析，并基于获取的所述任务参数构建拓扑节点列表的方法包括：

Storm客户端接收并加载所述配置文件，解析所述任务拓扑图的内容构建任务拓扑图，并获取任务拓扑图的名称、启动进程数、pending数和消息超时时间中值并设置，同时从配置文件获取业务处理节点流向信息并对其中值按照分隔符切分存入缓存队列中，最后以key为任务流id、value为缓存队列存入流映射变量中；

加载每个业务处理节点并解析流映射变量，设置业务处理节点的上下游关系形成数据流，缓存入拓扑节点列表中。

较佳地，根据所述拓扑节点列表构建并启动Topology，启动任务流的方法包括：

Storm服务端系统接收所述拓扑节点列表，采用标准实时流api构建并启动Topology，通过调用topologyManager的start方法启动任务流。

示例性地，所述数据源节点为spout节点，所述业务处理节点为bolt节点。

优选地，还包括：

通过任务监控系统监控Storm服务端系统的各业务处理节点的数据处理状态信息。

与现有技术相比，本发明提供的Storm实时任务的配置方法具有以下有益效果：

本发明提供的Storm实时任务的配置方法中，首先用户在任务管理系统上操作新建至少一个数据源节点和至少一个业务处理节点，并对应定义每个数据源节点的数据源信息以及每个业务处理节点的业务常量信息，接着在任务管理系统上操作新建Storm实时任务并定义任务参数，通过拖拽上述新建的数据源节点和业务处理节点，后台程序会自动生成配置文件，然后任务管理系统将该配置文件上传至任务配置中心系统缓存，以供Storm客户端系统调用解析构建拓扑节点列表，最终将扑节点映射列表提交任务至Storm服务端系统构建并启动Topology，启动任务流。

可见，本发明方案能够实时对Topology进行可视化的配置和管理，开发人员在任务管理系统上定义Topology，按照各组件要求进行填写编辑，任务管理系统会自动生成配置文件，发布上线后程序会被自动加载后启动,从代码层面上做到解耦，提高了程序的开发效率，增强了程序的可复用性。

本发明的第二方面提供一种Storm实时任务的配置装置，应用于上述技术方案所述的Storm任务的配置方法中，所述装置包括：

第一新建单元，用于新建数据源节点和业务处理节点，并定义数据源节点的数据源信息和业务处理节点的业务常量信息；

第二新建单元，用于新建Storm实时任务并定义任务参数，结合所述新建数据源节点和业务处理节点生成配置文件；

解析单元，用于将所述配置文件发送至Storm客户端系统解析，并基于获取的所述任务参数构建拓扑节点列表；

处理单元，用于根据所述拓扑节点列表构建并启动Topology，启动任务流。

优选地，所述第二新建单元包括：

任务新建模块，用于在任务管理系统上新建Storm实时任务，所述任务参数包括任务拓扑图内容及名称、启动进程数、pending数、消息超时时间中值、数据来源和数据类型；

组装处理模块，用于基于所述Storm实时任务、所述任务参数、新建的所述数据源节点和所述业务处理节点，以及对应的所述数据源信息和所述业务常量信息组装任务流实例生成所述配置文件。

与现有技术相比，本发明提供的Storm实时任务的配置装置的有益效果与上述技术方案提供的Storm实时任务的配置方法的有益效果相同，在此不做赘述。

本发明的第三方面提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述Storm实时任务的配置方法的步骤。

与现有技术相比，本发明提供的计算机可读存储介质的有益效果与上述技术方案提供的Storm实时任务的配置方法的有益效果相同，在此不做赘述。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例中Storm实时任务的配置方法的流程示意图；

图2为本发明实施例中Storm实时任务的配置方法中采用的系统拓扑示意图；

图3为本发明实施例中任务拓扑示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。

实施例一

请参阅图1-图3，本实施例提供一种Storm实时任务的配置方法，包括：

新建数据源节点和业务处理节点，并定义数据源节点的数据源信息和业务处理节点的业务常量信息；新建Storm实时任务并定义任务参数，结合新建数据源节点和业务处理节点生成配置文件；将配置文件发送至Storm客户端系统解析，并基于获取的任务参数构建拓扑节点列表；根据拓扑节点列表构建并启动Topology，启动任务流。

本实施例提供的Storm任务的配置方法中，首先用户在任务管理系统上操作新建至少一个数据源节点和至少一个业务处理节点，并对应定义每个数据源节点的数据源信息以及每个业务处理节点的业务常量信息，接着在任务管理系统上操作新建Storm实时任务并定义任务参数，通过拖拽上述新建的数据源节点和业务处理节点，后台程序会自动生成配置文件，然后任务管理系统将该配置文件上传至任务配置中心系统缓存，以供Storm客户端系统调用解析构建拓扑节点列表，最终将拓扑节点列表提交任务至Storm服务端系统构建并启动Topology，启动任务流。

可见，本实施例方案能够实时对Topology进行可视化的配置和管理，开发人员在任务管理系统上定义Topology，按照各组件要求进行填写编辑，任务管理系统会自动生成配置文件，发布上线后程序会被自动加载后启动,从代码层面上做到解耦，提高了程序的开发效率，增强了程序的可复用性。

上述实施例中，构建必选数据库和可选数据库的方法包括：分析多个风险事件的多个检测步骤，将每个检测步骤分类统计后计算每个检测步骤在风险事件中的使用占比；当检测步骤的使用占比超过阈值时将其定义为必选步骤，放入必选数据库；当检测步骤的使用占比未超过阈值时将其定义为可选步骤，放入可选数据库。

上述实施例中，新建数据源节点和业务处理节点，并定义数据源节点的数据源信息和业务处理节点的业务常量信息的方法包括：

在任务管理系统上可视化的新建数据源节点和业务处理节点，定义的数据源信息包括数据源队列名称、消费队列名称、数据来源和数据类型，定义的业务常量信息包括任务并发数量和业务常量数据。

具体实施时，新建数据源节点为spout节点，业务处理节点为bolt节点，spout节点的数据源信息包括数据源队列名称、消费队列名称、数据来源和数据类型，数据源可以为kafka，数据源队列名称可以为topic名称，消费队列名称可以为groupId名称，数据来源可以为点击数据、搜索数据等，数据类型可以为客户端数据、网页端数据等。业务常量信息包括任务并发数量和业务常量数据等数据，业务常量数据可以为conf配置数据。

可以理解的是，在任务流处理的过程中，从上述数据队列名称对应的数据源获取数据，并根据groupId名称获取对应消费端的消费数据，再从中筛选设定的数据来源(如日志来源)和数据类型(如日志类型)的数据进行计算处理。

上述实施例中，新建Storm实时任务并定义任务参数，结合新建数据源节点和业务处理节点生成配置文件的方法包括：

在任务管理系统上新建Storm实时任务，任务参数包括任务拓扑图内容及名称、启动进程数、pending数、消息超时时间中值、数据来源和数据类型；基于Storm实时任务、任务参数、新建的数据源节点和业务处理节点，以及对应的数据源信息和业务常量信息组装任务流实例生成配置文件。

具体实施时，在任务管理系统上可视化的新建Storm实时任务，定义任务拓扑内容及名称，以及启动进程数、pending数、消息超时时间中值、数据来源和数据类型等，然后通过可视化组件拖拽之前定义的数据源节点和业务处理节点组装生成任务流实例，后台程序会自动生成相应的配置文件。

上述实施例中，将所述配置文件发送至Storm客户端系统解析，并基于获取的所述任务参数构建拓扑节点列表的方法包括：

Storm客户端接收并加载所述配置文件，解析所述任务拓扑图的内容构建任务拓扑图，并获取任务拓扑图的名称、启动进程数、pending数和消息超时时间中值并设置，同时从配置文件获取业务处理节点流向信息并对其中值按照分隔符切分存入缓存队列中，最后以key为任务流id、value为缓存队列存入流映射变量中；加载每个业务处理节点并解析流映射变量，设置业务处理节点的上下游关系形成数据流，缓存入拓扑节点列表中。

具体实施时，参阅图3，Storm客户端系统中的程序从任务配置中心系统中加载对应的任务配置文件，然后开始解析任务配置文件中的内容构建一个任务拓扑图，获取任务拓扑的名称，启动进程数，pending数，消息超时时间中值并设置，下一步获取commonStream中内容，首先获取业务处理节点的任务流向，对其中值按照分隔符切分存入缓存队列中，最后以key为任务流id，任务流为图中箭头指向的数据量，value为缓存队列存入流映射变量(streamMap)变量中，缓存队列为任务流中使用到的业务处理节点。通过解析之前的流映射变量中元素，识别相关的业务处理节点的上下游节点以及对应的任务流，最终将业务处理节点的关系信息都放入到拓扑节点列表中，以供程序能够根据拓扑节点列表还原任务流和相应的业务处理节点。

上述实施例中，根据拓扑节点列表构建并启动Topology，启动任务流的方法包括：

Storm服务端系统接收拓扑节点列表，采用标准实时流api构建并启动Topology，通过调用topologyManager的start方法启动任务流。

具体实施时，根据前面解析获取的拓扑节点列表，然后程序按照标准的实时流api进行构建并启动Topology，主要就是通过TopologyBuilder类的build方法以及一些数据源节点和业务处理节点的相关设置的方法，还有就是存储数据源节点对象和数据源节点对象的方法，以及分组方式结合构建出实时流拓扑，最终调用topologyManager的start方法启动任务流。

进一步地，上述实施例根据拓扑节点列表构建并启动Topology，启动任务流的方法包括：

Storm服务端系统接收拓扑节点列表，采用标准实时流api构建并启动Topology，通过调用topologyManager的start方法启动任务流。

综上，本实施例具有如下优点：

1、使用任务管理系统统一配置化组件构建或管理Storm实时任务拓扑，提高了开发效率，程序的可复用性强。

2、任务管理系统通过可视化展示实时任务中各业务处理节点的业务逻辑视图，可以更好的进行后期开发监控运维管理工作。

名词解释：

spout：是一个topology的数据源，负责连接数据源，并将数据转化为tupleemit到topology中；

bolt：bolt是topology中的数据处理单元，每个bolt都会对stream中的tuple进行数据处理；

topology：topology是storm中最核心的概念，其是运行在storm集群上的一个实时计算应用。

tuple：tuple是Storm的主要数据结构，并且是storm中使用的最基本单元、数据模型和元组。

Stream：Stream是storm中对数据流的抽象，是由无限制的tuple组成的序列。

实施例二

本实施例提供一种Storm实时任务的配置装置，包括：

第一新建单元，用于新建数据源节点和业务处理节点，并定义数据源节点的数据源信息和业务处理节点的业务常量信息；

第二新建单元，用于新建Storm实时任务并定义任务参数，结合所述新建数据源节点和业务处理节点生成配置文件；

解析单元，用于将所述配置文件发送至Storm客户端系统解析，并基于获取的所述任务参数构建拓扑节点列表；

处理单元，用于根据所述拓扑节点列表构建并启动Topology，启动任务流。

优选地，所述第二新建单元包括：

任务新建模块，用于在任务管理系统上新建Storm实时任务，所述任务参数包括任务拓扑图内容及名称、启动进程数、pending数、消息超时时间中值、数据来源和数据类型；

组装处理模块，用于基于所述Storm实时任务、所述任务参数、新建的所述数据源节点和所述业务处理节点，以及对应的所述数据源信息和所述业务常量信息组装任务流实例生成所述配置文件。

与现有技术相比，本发明实施例提供的Storm实时任务的配置装置的有益效果与上述实施例一提供的Storm实时任务的配置方法的有益效果相同，在此不做赘述。

实施例三

本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述Storm实时任务的配置方法的步骤。

与现有技术相比，本实施例提供的计算机可读存储介质的有益效果与上述技术方案提供的Storm实时任务的配置方法的有益效果相同，在此不做赘述。

本领域普通技术人员可以理解，实现上述发明方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，上述程序可以存储于计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (5)

1.一种Storm实时任务的配置方法，其特征在于，包括：

新建数据源节点和业务处理节点，并定义数据源节点的数据源信息和业务处理节点的业务常量信息；

新建Storm实时任务并定义任务参数，结合新建的所述数据源节点和业务处理节点生成配置文件；

将所述配置文件发送至Storm客户端系统解析，并基于获取的所述任务参数构建拓扑节点列表；

根据所述拓扑节点列表构建并启动Topology，启动任务流；

其中，所述新建数据源节点和业务处理节点，并定义数据源节点的数据源信息和业务处理节点的业务常量信息还包括：

在任务管理系统上可视化地新建数据源节点和业务处理节点，定义的数据源信息包括数据源队列名称、消费队列名称、数据来源和数据类型，定义的业务常量信息包括任务并发数量和业务常量数据；

其中，所述新建Storm实时任务并定义任务参数，结合新建的所述数据源节点和业务处理节点生成配置文件还包括：

在任务管理系统上新建Storm实时任务，所述任务参数包括任务拓扑图内容及名称、启动进程数、pending数、消息超时时间中值、数据来源和数据类型；

基于所述Storm实时任务、所述任务参数、新建的所述数据源节点和所述业务处理节点，以及对应的所述数据源信息和所述业务常量信息组装任务流实例生成所述配置文件；

其中，所述将所述配置文件发送至Storm客户端系统解析，并基于获取的所述任务参数构建拓扑节点列表还包括：

Storm客户端系统接收并加载所述配置文件，解析所述任务拓扑图的内容构建任务拓扑图，并获取任务拓扑图的名称、启动进程数、pending数和消息超时时间中值并设置，同时从配置文件获取业务处理节点流向信息并对其中值按照分隔符切分存入缓存队列中，最后以key为任务流id、value为缓存队列存入流映射变量中；

加载每个业务处理节点并解析流映射变量，设置业务处理节点的上下游关系形成数据流，缓存入拓扑节点列表中；

其中，所述根据所述拓扑节点列表构建并启动Topology，启动任务流的方法还包括：Storm服务端系统接收所述拓扑节点列表，采用标准实时流api构建并启动Topology，通过调用topologyManager的start方法启动任务流。

2.根据权利要求1所述的方法，其特征在于，所述数据源节点为spout节点，所述业务处理节点为bolt节点。

3.根据权利要求1所述的方法，其特征在于，还包括：

通过任务监控系统监控Storm服务端系统的各业务处理节点的数据处理状态信息。

4.一种Storm实时任务的配置装置，其特征在于，包括：

第一新建单元，用于新建数据源节点和业务处理节点，并定义数据源节点的数据源信息和业务处理节点的业务常量信息；

第二新建单元，用于新建Storm实时任务并定义任务参数，结合新建的所述数据源节点和业务处理节点生成配置文件；

解析单元，用于将所述配置文件发送至Storm客户端系统解析，并基于获取的所述任务参数构建拓扑节点列表；

处理单元，用于根据所述拓扑节点列表构建并启动Topology，启动任务流；

其中，所述第一新建单元还用于在任务管理系统上可视化地新建数据源节点和业务处理节点，定义的数据源信息包括数据源队列名称、消费队列名称、数据来源和数据类型，定义的业务常量信息包括任务并发数量和业务常量数据；

其中，所述第二新建单元还包括任务新建模块，用于在任务管理系统上新建Storm实时任务，所述任务参数包括任务拓扑图内容及名称、启动进程数、pending数、消息超时时间中值、数据来源和数据类型；

组装处理模块，用于基于所述Storm实时任务、所述任务参数、新建的所述数据源节点和所述业务处理节点，以及对应的所述数据源信息和所述业务常量信息组装任务流实例生成所述配置文件；

其中，所述解析单元还用于利用Storm客户端系统接收并加载所述配置文件，解析所述任务拓扑图的内容构建任务拓扑图，并获取任务拓扑图的名称、启动进程数、pending数和消息超时时间中值并设置，同时从配置文件获取业务处理节点流向信息并对其中值按照分隔符切分存入缓存队列中，最后以key为任务流id、value为缓存队列存入流映射变量中；

所述解析单元还用于加载每个业务处理节点并解析流映射变量，设置业务处理节点的上下游关系形成数据流，缓存入拓扑节点列表中；

其中，所述处理单元还用于利用Storm服务端系统接收所述拓扑节点列表，采用标准实时流api构建并启动Topology，通过调用topologyManager的start方法启动任务流。

5.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器运行时执行上述权利要求1至3任一项所述方法的步骤。

Images