CN106130801B - 大数据分布式数据采集器部署、升级、监控解决方法 - Google Patents

大数据分布式数据采集器部署、升级、监控解决方法 Download PDF

Info

Publication number
CN106130801B
CN106130801B CN201610768569.1A CN201610768569A CN106130801B CN 106130801 B CN106130801 B CN 106130801B CN 201610768569 A CN201610768569 A CN 201610768569A CN 106130801 B CN106130801 B CN 106130801B
Authority
CN
China
Prior art keywords
monitor
end module
upgrading
data collector
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610768569.1A
Other languages
English (en)
Other versions
CN106130801A (zh
Inventor
罗鹰
陈波
林康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kelai Network Technology Co.,Ltd.
Original Assignee
CHENGDU COLASOFT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHENGDU COLASOFT Co Ltd filed Critical CHENGDU COLASOFT Co Ltd
Priority to CN201610768569.1A priority Critical patent/CN106130801B/zh
Publication of CN106130801A publication Critical patent/CN106130801A/zh
Application granted granted Critical
Publication of CN106130801B publication Critical patent/CN106130801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/082—Configuration setting characterised by the conditions triggering a change of settings the condition being updates or upgrades of network functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0876—Aspects of the degree of configuration automation
    • H04L41/0879—Manual configuration through operator
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]

Abstract

本发明提供一种大数据分布式数据采集器部署、升级、监控解决方法，该方法包括：在数据采集器布设monitor前端模块；monitor中心后端模块分析该数据采集器是否已经部署；运维人员在monitor中心web端模块的界面上做相应的配置；配置完成之后，monitor中心web端模块将部署或升级指令发送到monitor中心后端模块，然后由monitor中心后端模块转发到monitor前端模块；monitor前端模块下载部署或升级包，并进行部署或升级。本发明对于分布在多个不同机器上的数据采集器进行集中统一的部署、升级，并且提供监控数据采集器及其他组件的异常、资源耗费，效率得到了大大提高。

Description

大数据分布式数据采集器部署、升级、监控解决方法
技术领域
本发明涉及数据监控领域，尤其是涉及一种大数据分布式数据采集器部署、升级、监控解决方法。
背景技术
大数据项目中，对于海量数据的采集往往是从分布在多个不同采集点进行采集。因此，很多商业项目在数据采集这块需要在多个不同的采集点部署采集器，因此就面临如下困难：
1、采集点众多，并且含有windows、linux不同平台，每个都靠手动去部署、升级，工作量是非常巨大；
2、每个采集点使用的组件众多，如：Zookeeper、Kafka、Flume、采集器本身等，对于每个组件是否正常工作，监控复杂；
3、采集点众多，采集到的数据是否准确无误传输到大数据hadoop平台，监控困难；
4、每个采集器的资源耗费情况怎样，监控同样复杂。
发明内容
本发明的目的在于：针对现有技术存在的问题，提供一种大数据分布式数据采集器部署、升级、监控解决方法，解决传统分布式数据采集时，组件升级、监控困难的问题。
本发明的发明目的通过以下技术方案来实现：
一种大数据分布式数据采集器部署、升级、监控解决方法，其特征在于，该方法包括步骤：
(1)在数据采集器布设monitor前端模块；
(2)monitor中心后端模块接收新接入进来的monitor前端模块上报的数据采集器的所有进程信息，并分析该数据采集器是否已经部署，分析结果包括：“部署采集器”或“升级采集器”，然后将分析结果保存入数据库；
(3)monitor中心web端模块读取数据库中的分析结果信息，并通过界面显示；
(4)运维人员在monitor中心web端模块的界面上选择新接入进来的monitor前端，然后点击部署采集器或升级采集器，然后在monitor中心web端模块的界面上做相应的配置；
(5)配置完成之后，运维人员点击下发按钮，monitor中心web端模块将部署或升级指令发送到monitor中心后端模块，然后由monitor中心后端模块转发到monitor前端模块；
(6)monitor前端模块下载部署或升级包，并进行部署或升级。
作为进一步的技术方案，其特征在于，该方法还包括：monitor中心web端模块接收到监控指令后，将其发送给monitor中心后端模块；monitor中心后端模块下发监控开关及监控内容指令到monitor前端模块；monitor前端模块定时监控数据采集器所有组件的状态，并将所有组件的状态发送给monitor中心后端模块，monitor中心后端模块将所有组件的状态录入数据库；monitor中心web端模块在界面上动态显示监控信息。
作为进一步的技术方案，monitor前端模块下载升级包并进行升级时，包括步骤：停止当前正在进行的数据采集器及相关组件；升级新版本并备份老版本；升级完成后启动数据采集器及相关组件；检查数据采集器及相关组件是否正常工作。
与现有技术相比，本发明对于分布在多个不同机器上的数据采集器进行集中统一的部署、升级，并且提供监控数据采集器及其他组件的异常、资源耗费，相对于行业上的jenkins而言，它能提供监控，且支持windows、linux不同平台的java应用(非javaweb应用)部署。
附图说明
图1为数据采集器部署方法；
图2为数据采集器升级方法；
图3为数据采集器监控方法。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
本发明提供一种大数据分布式数据采集器部署、升级、监控解决方法，该方法总共有三个模块，分别是：monitor前端模块、monitor后端模块、monitor中心web端模块，如图1、图2和图3所示，该方法包括步骤：
(1)在数据采集器布设monitor前端模块；
(2)monitor中心后端模块接收新接入进来的monitor前端模块上报的数据采集器的所有进程信息，并分析该数据采集器是否已经部署，分析结果包括：“部署采集器”或“升级采集器”，然后将分析结果保存入数据库；
(3)monitor中心web端模块读取数据库中的分析结果信息，并通过界面显示；
(4)运维人员在monitor中心web端模块的界面上选择新接入进来的monitor前端，然后点击部署采集器或升级采集器，然后在monitor中心web端模块的界面上做相应的配置；
(5)配置完成之后，运维人员点击下发按钮，monitor中心web端模块将部署或升级指令发送到monitor中心后端模块，然后由monitor中心后端模块转发到monitor前端模块；
(6)monitor前端模块下载部署或升级包，并进行部署或升级。monitor前端模块下载升级包并进行升级时，包括步骤：停止当前正在进行的数据采集器及相关组件；升级新版本并备份老版本；升级完成后启动数据采集器及相关组件；检查数据采集器及相关组件是否正常工作。
该方法还包括：monitor中心web端模块接收到监控指令后，将其发送给monitor中心后端模块；monitor中心后端模块下发监控开关及监控内容指令到monitor前端模块；monitor前端模块定时监控数据采集器所有组件的状态，并将所有组件的状态发送给monitor中心后端模块，monitor中心后端模块将所有组件的状态录入数据库；monitor中心web端模块在界面上动态显示监控信息。
基于前述本方案，运维人员针对某个采集点只需以下几步操作：在采集端机器上面下载一个monitor前端，然后启动起来；在大数据平台中心的web界面上查看第一步新接入进来的monitor前端，然后对该monitor前端点击部署；在新弹出来的页面中做好采集器相应的配置，然后点下发按钮，即可完成部署安装。
对于升级采集器，同样只需要以下几步：在大数据平台中心web界面上选择要升级的采集器，然后点击升级；在新弹出的页面中做相应的配置；单机下发按钮之后，即可完成升级。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，应当指出的是，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种大数据分布式数据采集器部署、升级、监控解决方法，其特征在于，该方法包括步骤：
(1)在数据采集器布设monitor前端模块；
(2)monitor中心后端模块接收新接入进来的monitor前端模块上报的数据采集器的所有进程信息，并分析该数据采集器是否已经部署，分析结果包括：“部署采集器”或“升级采集器”，然后将分析结果保存入数据库；
(3)monitor中心web端模块读取数据库中的分析结果信息，并通过界面显示；
(4)运维人员在monitor中心web端模块的界面上选择新接入进来的monitor前端，然后点击部署采集器或升级采集器，然后在monitor中心web端模块的界面上做相应的配置；
(5)配置完成之后，运维人员点击下发按钮，monitor中心web端模块将部署或升级指令发送到monitor中心后端模块，然后由monitor中心后端模块转发到monitor前端模块；
(6)monitor前端模块下载部署或升级包，并进行部署或升级。
2.根据权利要求1所述的一种大数据分布式数据采集器部署、升级、监控解决方法，其特征在于，该方法还包括：
monitor中心web端模块接收到监控指令后，将其发送给monitor中心后端模块；monitor中心后端模块下发监控开关及监控内容指令到monitor前端模块；monitor前端模块定时监控数据采集器所有组件的状态，并将所有组件的状态发送给monitor中心后端模块，monitor中心后端模块将所有组件的状态录入数据库；monitor中心web端模块在界面上动态显示监控信息。
3.根据权利要求1所述的一种大数据分布式数据采集器部署、升级、监控解决方法，其特征在于，monitor前端模块下载升级包并进行升级时，包括步骤：
停止当前正在进行的数据采集器及相关组件；升级新版本并备份老版本；升级完成后启动数据采集器及相关组件；检查数据采集器及相关组件是否正常工作。
CN201610768569.1A 2016-08-30 2016-08-30 大数据分布式数据采集器部署、升级、监控解决方法 Active CN106130801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610768569.1A CN106130801B (zh) 2016-08-30 2016-08-30 大数据分布式数据采集器部署、升级、监控解决方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610768569.1A CN106130801B (zh) 2016-08-30 2016-08-30 大数据分布式数据采集器部署、升级、监控解决方法

Publications (2)

Publication Number Publication Date
CN106130801A CN106130801A (zh) 2016-11-16
CN106130801B true CN106130801B (zh) 2019-03-19

Family

ID=57273073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610768569.1A Active CN106130801B (zh) 2016-08-30 2016-08-30 大数据分布式数据采集器部署、升级、监控解决方法

Country Status (1)

Country Link
CN (1) CN106130801B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109617911A (zh) * 2019-01-12 2019-04-12 宋妍 网络大数据解密系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222213A (zh) * 2010-07-29 2011-10-19 郑文明 一种基于开放式Web Service架构的分布式视觉计算方法
CN103532795A (zh) * 2013-10-30 2014-01-22 蓝盾信息安全技术股份有限公司 一种检测web业务系统可用性的监控系统及方法
CN103795803A (zh) * 2014-02-14 2014-05-14 浪潮通信信息系统有限公司 一种跨网络环境远程部署分布式数据采集节点的方法
CN104104674A (zh) * 2014-07-01 2014-10-15 广东艾科技术股份有限公司 设备传感器的多协议分布式数据采集控制系统及方法
CN105069582A (zh) * 2015-08-25 2015-11-18 许继集团有限公司 一种能效公共管理系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI368190B (en) * 2008-04-03 2012-07-11 Univ Nat Taiwan Wireless-communication distant ecosystem monitoring system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222213A (zh) * 2010-07-29 2011-10-19 郑文明 一种基于开放式Web Service架构的分布式视觉计算方法
CN103532795A (zh) * 2013-10-30 2014-01-22 蓝盾信息安全技术股份有限公司 一种检测web业务系统可用性的监控系统及方法
CN103795803A (zh) * 2014-02-14 2014-05-14 浪潮通信信息系统有限公司 一种跨网络环境远程部署分布式数据采集节点的方法
CN104104674A (zh) * 2014-07-01 2014-10-15 广东艾科技术股份有限公司 设备传感器的多协议分布式数据采集控制系统及方法
CN105069582A (zh) * 2015-08-25 2015-11-18 许继集团有限公司 一种能效公共管理系统

Also Published As

Publication number Publication date
CN106130801A (zh) 2016-11-16

Similar Documents

Publication Publication Date Title
CN104615466B (zh) 一种云平台部署方法和系统
EP3336694A1 (en) Method and system for realizing data tracking by means of software development kit
CN105487977A (zh) 一种面向敏捷的自动化测试管理系统和方法
CN112269640B (zh) 一种实现容器云组件的生命周期管理的方法
CN103812726A (zh) 一种数据通信设备的自动化测试方法及装置
CN110096424B (zh) 测试的处理方法、装置、电子设备及存储介质
CN105159718B (zh) 固件升级方法及装置
WO2007146367A3 (en) Management of composite software services
CN102571396A (zh) 一种通讯网络系统及通讯设备的巡检子系统和巡检方法
CN104246702A (zh) 工作流编译
CN104778178A (zh) 一种应用分类方法、装置、及业务服务器
CN104391705A (zh) 一种应用于高可用集群软件的分布式自动化测试框架
CN106130801B (zh) 大数据分布式数据采集器部署、升级、监控解决方法
CN105389172A (zh) 应用程序升级方法和装置
CN112269746A (zh) 自动化测试方法及相关设备
CN111800299A (zh) 一种边缘云的运营维护系统及其方法
CN105117329A (zh) 一种应用程序自动上线方法及系统
CN104123397A (zh) Web页面的自动化测试装置及方法
CN105446873A (zh) 基于android平台的APK软件自动测试方法及系统
CN101826985A (zh) 一种基于插件的集中信令跟踪方法及系统
CN102707943A (zh) 一种远程控制自动化工具的实现方法
CN103336740A (zh) 电力二次系统的操作系统综合测试方法及装置
CN106254534B (zh) 基于混合架构的分布式集群监控代理及方法
CN112541746A (zh) 一种全栈自动化编排方法及系统
CN105677689A (zh) 日志记录方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200811

Address after: 41401-41406, unit 1, building 4, No. 966, north section of Tianfu Avenue, Chengdu hi tech Zone, Sichuan 610041

Patentee after: Chengdu Kelai Network Technology Co., Ltd

Address before: China high tech Zone of Chengdu City, Sichuan province 610041 Road No. 99 Tianfu Software Park B6-7

Patentee before: COLASOFT Co.,Ltd.

TR01 Transfer of patent right
CP03 Change of name, title or address

Address after: 610041 12th, 13th and 14th floors, unit 1, building 4, No. 966, north section of Tianfu Avenue, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan

Patentee after: Kelai Network Technology Co.,Ltd.

Address before: 41401-41406, 14th floor, unit 1, building 4, No. 966, north section of Tianfu Avenue, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu hi tech Zone, Sichuan 610041

Patentee before: Chengdu Kelai Network Technology Co.,Ltd.

CP03 Change of name, title or address