CN106534251B - 一种基于Storm的任务可视化上传及启动方法 - Google Patents
一种基于Storm的任务可视化上传及启动方法 Download PDFInfo
- Publication number
- CN106534251B CN106534251B CN201610843795.1A CN201610843795A CN106534251B CN 106534251 B CN106534251 B CN 106534251B CN 201610843795 A CN201610843795 A CN 201610843795A CN 106534251 B CN106534251 B CN 106534251B
- Authority
- CN
- China
- Prior art keywords
- storm
- task
- uploading
- starting
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种基于Storm的任务可视化上传及启动方法,所述方法基于B/S结构,以网站的形式展现其功能,通过服务端和客户端使用Swift、Shell、JavaScript技术完成Storm中的topology的可视化上传及启动。本发明能很好的解决C/S结构的缺点,客户端只需要安装有WEB浏览器即可,维护成本几乎为零,基于浏览器,友好的UI体验,无需安装软件,可随时随地使用,更新功能只需要更新服务端程序即可,客户总能使用应用的当前最新版本,无须手动升级,由于数据持久储存在云端,无须担心丢失,极具推广价值。
Description
技术领域
本发明涉及计算机软件应用技术领域,具体涉及一种基于Storm的任务可视化上传及启动方法,具体说是一种能够让Storm中的任务上传及启动实现可视化操作,在完成传统的命令行执行相关操作的同时,能给用户带来更友好的用户体验。
背景技术
当今世界,公司的日常运营经常会生成TB级别的数据。数据来源囊括了互联网装置可以捕获的任何类型数据,网站、社交媒体、交易型商业数据以及其它商业环境中创建的数据。考虑到数据的生成量,实时处理成为了许多机构需要面对的首要挑战。我们经常用的一个非常有效的开源实时计算工具就是Storm,通常被比作“实时的Hadoop”。然而Storm远比Hadoop来的简单,因为用它处理大数据不会带来新老技术的交替,而它对数据的实时处理特性更是Hadoop办不到的。
Storm 是由专业数据分析公司 BackType 开发的一个 分布式 实时数据处理软件,可以简单、高效、可靠地处理大量的数据流。它会把工作任务委托给不同类型的组件,每个组件负责处理一项简单特定的任务。Topology是Storm 中运行的一个实时应用程序,因为各个组件间的消息流动形成逻辑上的一个拓扑结构,一个 Topology 是 Spouts 和Bolts 组成的图状结构。
原生Storm 管理页面只能提供Topology的查看功能,用户无法完成上传及启动任务操作。用户仅能通过命令行或API的形式完成任务的相关操作,增大了用户使用Storm的难度。
发明内容
本发明要解决的技术问题是:本发明针对以上问题,提供一种基于Storm的任务可视化上传及启动方法。
本发明所采用的技术方案为:
一种基于Storm的任务可视化上传及启动方法,所述方法基于B/S结构,以网站的形式展现其功能,通过服务端和客户端使用Swift、Shell、JavaScript技术完成Storm中的topology的可视化上传及启动,其中:
服务端:通过Swift技术完成Storm任务的上传,采用Shell脚本语言作为后台逻辑处理语言,完成任务启动;
客户端:采用JavaScript技术完成Storm任务的可视化上传及启动操作;
整个界面清晰美观,操作简单,方便用户使用。
所述方法基于一种弹性伸缩的Storm集群模式,该模式通过Zookeeper管理Storm,完成集群搭建,集群由三类节点组组成,其中:
一类节点组安装Zookeeper、Nimbus、HealthMonitor三种组件,完成Storm集群的master节点建立,此节点组仅需一台虚机,完成集群监控管理功能即可;
另一类节点组安装Zookeeper、Supervisor两种组件,实现流式计算服务功能;
最后一类节点组为弹性升级而设计,仅安装Supervisor组件,实时加入集群。
所述方法实施步骤如下:
服务端:采用Shell语言完成任务的下载及启动,并对任务包进行检测,将检测结果返回给前台;
客户端:通过Javascript技术实现页面展现,调用Swift实现任务包的上传;接收后台对任务包的检测结果,并进行可视化展现,具体步骤如下:
步骤1,通过Javascript技术实现上传页面展现,支持zip,war,jar三种任务包格式,用户填写主类路径后,调用Swift实现任务包的上传;
步骤2,后台使用Shell脚本语言进行逻辑处理,先下载前台上传的任务包并命名,调用Storm命令完成任务启动并检测,对检测结果分析,将失败信息详情返回前台;
步骤3,前台通过Javascript接收后台传回的启动信息数据,并可视化展现。
本发明的有益效果为:
本发明能很好的解决C/S结构的缺点,客户端只需要安装有WEB浏览器即可,维护成本几乎为零,基于浏览器,友好的UI体验,无需安装软件,可随时随地使用,更新功能只需要更新服务端程序即可,客户总能使用应用的当前最新版本,无须手动升级,由于数据持久储存在云端,无须担心丢失,极具推广价值。
附图说明
图1为本发明Storm集群结构示意图。
具体实施方式
下面根据说明书附图,结合具体实施方式对本发明进一步说明:
实施例1:
一种基于Storm的任务可视化上传及启动方法,所述方法基于B/S结构,以网站的形式展现其功能,通过服务端和客户端使用Swift、Shell、JavaScript技术完成Storm中的topology的可视化上传及启动,其中:
服务端:通过Swift技术完成Storm任务的上传,采用Shell脚本语言作为后台逻辑处理语言,完成任务启动;
客户端:采用JavaScript技术完成Storm任务的可视化上传及启动操作;
整个界面清晰美观,操作简单,方便用户使用。
实施例2
如图1所示,在实施例1的基础上,本实施例所述方法基于一种弹性伸缩的Storm集群模式,该模式通过Zookeeper管理Storm,完成集群搭建,集群由三类节点组组成,其中:
一类节点组安装Zookeeper、Nimbus、HealthMonitor三种组件,完成Storm集群的master节点建立,此节点组仅需一台虚机,完成集群监控管理功能即可;
另一类节点组安装Zookeeper、Supervisor两种组件,实现流式计算服务功能;
最后一类节点组为弹性升级而设计,仅安装Supervisor组件,实时加入集群。
实施例3
在实施例2的基础上,本实施例所述方法实施步骤如下:
服务端:采用Shell语言完成任务的下载及启动,并对任务包进行检测,将检测结果返回给前台;
客户端:通过Javascript技术实现页面展现,调用Swift实现任务包的上传;接收后台对任务包的检测结果,并进行可视化展现,具体步骤如下:
步骤1,通过Javascript技术实现上传页面展现,支持zip,war,jar三种任务包格式,用户填写主类路径后,调用Swift实现任务包的上传;
步骤2,后台使用Shell脚本语言进行逻辑处理,先下载前台上传的任务包并命名,调用Storm命令完成任务启动并检测,对检测结果分析,将失败信息详情返回前台;
步骤3,前台通过Javascript接收后台传回的启动信息数据,并可视化展现。
所述Shell脚本关键代码如下:
......
wget -o $jarname $2
newjarname=`echo "$jarname".1`
/opt/apache-storm-0.10.0/bin/storm jar /root/service/package/coms/Nimbus/action/$newjarname $3 $4 >startlog 2>&1
grep -q "Error: Could not find or load main class" startlog &&abnormal1=false || abnormal1=true
grep -q "already exists" startlog && abnormal2=false || abnormal2=true
grep -v "b.s.u.Utils" startlog|sed 's/"//g'|sed 's/\n\r//g' >errlog
grep -q "Exception" errlog && abnormal3=false || abnormal3=true
msg=`cat errlog`
if [ $abnormal1 = false ]
then
result="false"
message="Error"
fi
if [ $abnormal2 = false ]
then
result="false"
message="already exists"
fi
if [ $abnormal3 = false ]
then
result="false"
message="$msg"
fi
......
实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。
Claims (2)
1.一种基于Storm的任务可视化上传及启动方法,其特征在于,所述方法基于B/S结构,以网站的形式展现其功能,通过服务端和客户端使用Swift、Shell、JavaScript技术完成Storm中的topology的可视化上传及启动,其中:
服务端:通过Swift技术完成Storm任务的上传,采用Shell脚本语言作为后台逻辑处理语言,完成任务启动;
客户端:采用JavaScript技术完成Storm任务的可视化上传及启动操作;
所述方法实施步骤如下:
服务端:采用Shell语言完成任务的下载及启动,并对任务包进行检测,将检测结果返回给前台;
客户端:通过Javascript技术实现页面展现,调用Swift实现任务包的上传;接收后台对任务包的检测结果,并进行可视化展现,具体步骤如下:
步骤1,通过Javascript技术实现上传页面展现,支持zip,war,jar三种任务包格式,用户填写主类路径后,调用Swift实现任务包的上传;
步骤2,后台使用Shell脚本语言进行逻辑处理,先下载前台上传的任务包并命名,调用Storm命令完成任务启动并检测,对检测结果分析,将失败信息详情返回前台;
步骤3,前台通过Javascript接收后台传回的启动信息数据,并可视化展现。
2.根据权利要求1所述的一种基于Storm的任务可视化上传及启动方法,其特征在于,所述方法基于一种弹性伸缩的Storm集群模式,该模式通过Zookeeper管理Storm,完成集群搭建,集群由三类节点组组成,其中:
一类节点组安装Zookeeper、Nimbus、HealthMonitor三种组件,完成Storm集群的master节点建立,此节点组仅需一台虚机,完成集群监控管理功能即可;
另一类节点组安装Zookeeper、Supervisor两种组件,实现流式计算服务功能;
最后一类节点组为弹性升级而设计,仅安装Supervisor组件,实时加入集群。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610843795.1A CN106534251B (zh) | 2016-09-23 | 2016-09-23 | 一种基于Storm的任务可视化上传及启动方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610843795.1A CN106534251B (zh) | 2016-09-23 | 2016-09-23 | 一种基于Storm的任务可视化上传及启动方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106534251A CN106534251A (zh) | 2017-03-22 |
CN106534251B true CN106534251B (zh) | 2019-12-13 |
Family
ID=58344477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610843795.1A Active CN106534251B (zh) | 2016-09-23 | 2016-09-23 | 一种基于Storm的任务可视化上传及启动方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106534251B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6061733A (en) * | 1997-10-16 | 2000-05-09 | International Business Machines Corp. | Method and apparatus for improving internet download integrity via client/server dynamic file sizes |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105069703B (zh) * | 2015-08-10 | 2018-08-28 | 国家电网公司 | 一种电网海量数据管理方法 |
CN105630652A (zh) * | 2016-02-02 | 2016-06-01 | 中国石油大学(华东) | 一种面向实时大数据平台Storm的运行时三维可视化系统 |
-
2016
- 2016-09-23 CN CN201610843795.1A patent/CN106534251B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6061733A (en) * | 1997-10-16 | 2000-05-09 | International Business Machines Corp. | Method and apparatus for improving internet download integrity via client/server dynamic file sizes |
Also Published As
Publication number | Publication date |
---|---|
CN106534251A (zh) | 2017-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102185901B (zh) | 一种客户端报文转换方法 | |
CN109145023B (zh) | 用于处理数据的方法和装置 | |
US11194572B2 (en) | Managing external feeds in an event-based computing system | |
CN113987074A (zh) | 分布式服务全链路监控方法、装置、电子设备及存储介质 | |
US10007532B1 (en) | Data infrastructure for cross-platform cross-device API inter-connectivity | |
CN111694857B (zh) | 存储资源数据的方法、装置、电子设备及计算机可读介质 | |
US11533390B2 (en) | Harmonized data for engineering simulation | |
US20180123922A1 (en) | Correlating performance outliers and network performance impacting event metric | |
CN109426603B (zh) | 一种分析应用程序卡顿的方法和装置 | |
US10999333B2 (en) | Contemporaneous feedback during web-conferences | |
US10102239B2 (en) | Application event bridge | |
CN104954501A (zh) | 跨域信息交互方法、装置及系统 | |
US11294651B2 (en) | Code execution method, device, and rendering apparatus | |
CN112015468A (zh) | 一种接口文档处理方法、装置、电子设备以及存储介质 | |
CN115357761A (zh) | 链路追踪方法、装置、电子设备及存储介质 | |
US11531612B2 (en) | Methods for providing an enterprise synthetic monitoring framework | |
US10536512B2 (en) | Dynamic graph adaptation for stream processing over hybrid, physically disparate analytics platforms | |
US10681165B2 (en) | System architecture for enabling efficient inter-application communications | |
CN112486482A (zh) | 一种页面展示方法和装置 | |
CN106534251B (zh) | 一种基于Storm的任务可视化上传及启动方法 | |
US20180198837A1 (en) | Streaming api subscription without loss of events | |
US9594664B2 (en) | Correlating multiple disjoint events via an operation identifier | |
CN113656041A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN107872497A (zh) | 透明计算终端应用程序同步共享方法及装置 | |
US10516767B2 (en) | Unifying realtime and static data for presenting over a web service |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20191120 Address after: 215100 No. 1 Guanpu Road, Guoxiang Street, Wuzhong Economic Development Zone, Suzhou City, Jiangsu Province Applicant after: Suzhou Wave Intelligent Technology Co., Ltd. Address before: 450000 Henan province Zheng Dong New District of Zhengzhou City Xinyi Road No. 278 16 floor room 1601 Applicant before: Zhengzhou Yunhai Information Technology Co. Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |