CN106534251A - 一种基于Storm的任务可视化上传及启动方法 - Google Patents

Abstract

本发明公开了一种基于Storm的任务可视化上传及启动方法，所述方法基于B/S结构，以网站的形式展现其功能，通过服务端和客户端使用Swift、Shell、JavaScript技术完成Storm中的topology的可视化上传及启动。本发明能很好的解决C/S结构的缺点，客户端只需要安装有WEB浏览器即可，维护成本几乎为零，基于浏览器，友好的UI体验，无需安装软件，可随时随地使用，更新功能只需要更新服务端程序即可，客户总能使用应用的当前最新版本，无须手动升级，由于数据持久储存在云端，无须担心丢失，极具推广价值。

Description

一种基于Storm的任务可视化上传及启动方法

技术领域

本发明涉及计算机软件应用技术领域，具体涉及一种基于Storm的任务可视化上传及启动方法，具体说是一种能够让Storm中的任务上传及启动实现可视化操作，在完成传统的命令行执行相关操作的同时，能给用户带来更友好的用户体验。

背景技术

当今世界，公司的日常运营经常会生成TB级别的数据。数据来源囊括了互联网装置可以捕获的任何类型数据，网站、社交媒体、交易型商业数据以及其它商业环境中创建的数据。考虑到数据的生成量，实时处理成为了许多机构需要面对的首要挑战。我们经常用的一个非常有效的开源实时计算工具就是Storm，通常被比作“实时的Hadoop”。然而Storm远比Hadoop来的简单，因为用它处理大数据不会带来新老技术的交替，而它对数据的实时处理特性更是Hadoop办不到的。

Storm 是由专业数据分析公司 BackType 开发的一个 分布式 实时数据处理软件，可以简单、高效、可靠地处理大量的数据流。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Topology是Storm 中运行的一个实时应用程序，因为各个组件间的消息流动形成逻辑上的一个拓扑结构，一个 Topology 是 Spouts 和Bolts 组成的图状结构。

原生Storm 管理页面只能提供Topology的查看功能，用户无法完成上传及启动任务操作。用户仅能通过命令行或API的形式完成任务的相关操作，增大了用户使用Storm的难度。

发明内容

本发明要解决的技术问题是：本发明针对以上问题，提供一种基于Storm的任务可视化上传及启动方法。

本发明所采用的技术方案为：

一种基于Storm的任务可视化上传及启动方法，所述方法基于B/S结构，以网站的形式展现其功能，通过服务端和客户端使用Swift、Shell、JavaScript技术完成Storm中的topology的可视化上传及启动，其中：

服务端：通过Swift技术完成Storm任务的上传，采用Shell脚本语言作为后台逻辑处理语言，完成任务启动；

客户端：采用JavaScript技术完成Storm任务的可视化上传及启动操作；

整个界面清晰美观，操作简单，方便用户使用。

所述方法基于一种弹性伸缩的Storm集群模式，该模式通过Zookeeper管理Storm，完成集群搭建，集群由三类节点组组成，其中：

一类节点组安装Zookeeper、Nimbus、HealthMonitor三种组件，完成Storm集群的master节点建立，此节点组仅需一台虚机，完成集群监控管理功能即可；

另一类节点组安装Zookeeper、Supervisor两种组件，实现流式计算服务功能；

最后一类节点组为弹性升级而设计，仅安装Supervisor组件，实时加入集群。

所述方法实施步骤如下：

服务端：采用Shell语言完成任务的下载及启动，并对任务包进行检测，将检测结果返回给前台；

客户端：通过Javascript技术实现页面展现，调用Swift实现任务包的上传；接收后台对任务包的检测结果，并进行可视化展现，具体步骤如下：

步骤1，通过Javascript技术实现上传页面展现，支持zip,war,jar三种任务包格式，用户填写主类路径后，调用Swift实现任务包的上传；

步骤2，后台使用Shell脚本语言进行逻辑处理，先下载前台上传的任务包并命名，调用Storm命令完成任务启动并检测，对检测结果分析，将失败信息详情返回前台；

步骤3，前台通过Javascript接收后台传回的启动信息数据，并可视化展现。

本发明的有益效果为：

本发明能很好的解决C/S结构的缺点，客户端只需要安装有WEB浏览器即可，维护成本几乎为零，基于浏览器，友好的UI体验，无需安装软件，可随时随地使用，更新功能只需要更新服务端程序即可，客户总能使用应用的当前最新版本，无须手动升级，由于数据持久储存在云端，无须担心丢失，极具推广价值。

附图说明

图1为本发明Storm集群结构示意图。

具体实施方式

下面根据说明书附图，结合具体实施方式对本发明进一步说明：

实施例1：

一种基于Storm的任务可视化上传及启动方法，所述方法基于B/S结构，以网站的形式展现其功能，通过服务端和客户端使用Swift、Shell、JavaScript技术完成Storm中的topology的可视化上传及启动，其中：

服务端：通过Swift技术完成Storm任务的上传，采用Shell脚本语言作为后台逻辑处理语言，完成任务启动；

客户端：采用JavaScript技术完成Storm任务的可视化上传及启动操作；

整个界面清晰美观，操作简单，方便用户使用。

实施例2

如图1所示，在实施例1的基础上，本实施例所述方法基于一种弹性伸缩的Storm集群模式，该模式通过Zookeeper管理Storm，完成集群搭建，集群由三类节点组组成，其中：

一类节点组安装Zookeeper、Nimbus、HealthMonitor三种组件，完成Storm集群的master节点建立，此节点组仅需一台虚机，完成集群监控管理功能即可；

另一类节点组安装Zookeeper、Supervisor两种组件，实现流式计算服务功能；

最后一类节点组为弹性升级而设计，仅安装Supervisor组件，实时加入集群。

实施例3

在实施例2的基础上，本实施例所述方法实施步骤如下：

服务端：采用Shell语言完成任务的下载及启动，并对任务包进行检测，将检测结果返回给前台；

客户端：通过Javascript技术实现页面展现，调用Swift实现任务包的上传；接收后台对任务包的检测结果，并进行可视化展现，具体步骤如下：

步骤1，通过Javascript技术实现上传页面展现，支持zip,war,jar三种任务包格式，用户填写主类路径后，调用Swift实现任务包的上传；

步骤2，后台使用Shell脚本语言进行逻辑处理，先下载前台上传的任务包并命名，调用Storm命令完成任务启动并检测，对检测结果分析，将失败信息详情返回前台；

步骤3，前台通过Javascript接收后台传回的启动信息数据，并可视化展现。

所述Shell脚本关键代码如下：

wget -o $jarname $2

newjarname=`echo "$jarname".1`

/opt/apache-storm-0.10.0/bin/storm jar /root/service/package/coms/Nimbus/action/$newjarname $3 $4 >startlog 2>&1

grep -q "Error: Could not find or load main class" startlog &&abnormal1=false || abnormal1=true

grep -q "already exists" startlog && abnormal2=false || abnormal2=true

grep -v "b.s.u.Utils" startlog|sed 's/"//g'|sed 's/\n\r//g' >errlog

grep -q "Exception" errlog && abnormal3=false || abnormal3=true

msg=`cat errlog`

if [ $abnormal1 = false ]

then

result="false"

message="Error"

fi

if [ $abnormal2 = false ]

then

result="false"

message="already exists"

fi

if [ $abnormal3 = false ]

then

result="false"

message="$msg"

fi

实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (3)

1.一种基于Storm的任务可视化上传及启动方法，其特征在于，所述方法基于B/S结构，以网站的形式展现其功能，通过服务端和客户端使用Swift、Shell、JavaScript技术完成Storm中的topology的可视化上传及启动，其中：

服务端：通过Swift技术完成Storm任务的上传，采用Shell脚本语言作为后台逻辑处理语言，完成任务启动；

客户端：采用JavaScript技术完成Storm任务的可视化上传及启动操作；

整个界面清晰美观，操作简单，方便用户使用。

2.根据权利要求1所述的一种基于Storm的任务可视化上传及启动方法，其特征在于，所述方法基于一种弹性伸缩的Storm集群模式，该模式通过Zookeeper管理Storm，完成集群搭建，集群由三类节点组组成，其中：

一类节点组安装Zookeeper、Nimbus、HealthMonitor三种组件，完成Storm集群的master节点建立，此节点组仅需一台虚机，完成集群监控管理功能即可；

另一类节点组安装Zookeeper、Supervisor两种组件，实现流式计算服务功能；

最后一类节点组为弹性升级而设计，仅安装Supervisor组件，实时加入集群。

3.根据权利要求2所述的一种基于Storm的任务可视化上传及启动方法，其特征在于，所述方法实施步骤如下：

服务端：采用Shell语言完成任务的下载及启动，并对任务包进行检测，将检测结果返回给前台；

客户端：通过Javascript技术实现页面展现，调用Swift实现任务包的上传；接收后台对任务包的检测结果，并进行可视化展现，具体步骤如下：

步骤1，通过Javascript技术实现上传页面展现，支持zip,war,jar三种任务包格式，用户填写主类路径后，调用Swift实现任务包的上传；

步骤2，后台使用Shell脚本语言进行逻辑处理，先下载前台上传的任务包并命名，调用Storm命令完成任务启动并检测，对检测结果分析，将失败信息详情返回前台；

步骤3，前台通过Javascript接收后台传回的启动信息数据，并可视化展现。