CN106648799A - 一种基于Ambari快速为第三方组件添加微件的方法 - Google Patents
一种基于Ambari快速为第三方组件添加微件的方法 Download PDFInfo
- Publication number
- CN106648799A CN106648799A CN201611258578.2A CN201611258578A CN106648799A CN 106648799 A CN106648799 A CN 106648799A CN 201611258578 A CN201611258578 A CN 201611258578A CN 106648799 A CN106648799 A CN 106648799A
- Authority
- CN
- China
- Prior art keywords
- widget
- metrics
- party
- ambari
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000002905 Rumex vesicarius Nutrition 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 26
- 240000000797 Hibiscus cannabinus Species 0.000 title claims abstract description 25
- 238000012544 monitoring process Methods 0.000 claims abstract description 11
- 229920002755 poly(epichlorohydrin) Polymers 0.000 claims description 8
- 244000207667 Rumex vesicarius Species 0.000 claims description 6
- 238000006116 polymerization reaction Methods 0.000 claims description 6
- 238000009434 installation Methods 0.000 claims description 5
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 241001147665 Foraminifera Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000002674 ointment Substances 0.000 description 1
- 238000004383 yellowing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
- G06F9/44526—Plug-ins; Add-ons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于Ambari快速为第三方组件添加微件的方法，所述方法实现步骤如下：1)定义第三方服务的metainfo.xml；2)定义监控项相关文件metrics.json，为第三方服务的Master模块配置了metrics属性；3)定义widget.json，预定义一个Graph类型的线性图，定义Widget绑定Metrics中的metrics属性，并直接使用该metrics属性的值作为其value属性；4)第三方服务通过ambari web安装完成之后，就可以看到预定义的widget微件。本发明方法可成功为第三方服务定制专属的metrics属性，并由微件动态的显示监控属性的变化情况，从而可以很大程度的方便系统管理员完成相关的监测工作。
Description
技术领域
本发明涉及计算机软件应用技术领域，具体涉及一种基于Ambari快速为第三方组件添加微件的方法。
背景技术
虽然大数据越来越流行，但其学习的门槛却一直阻碍着很多的分布式应用初学者或者大数据的业务应用开发者。多个产品之间的不兼容问题，快速集成和维护也显得比较困难。不管是Hadoop V1或者V2的安装，又或者Spark/YARN等的集成，都不是几行简单的命令可以完成的，而是需要手工修改很多的集群配置，这进一步增加了业务开发者的学习和使用难度。
Ambari作为一个系统庞大的平台组件，需要完善的监控体系来保障性能提升易用性，因此AMS体系尤为重要。Ambari Metrics System简称为AMS，它主要为系统管理员提供了集群性能的监察功能。
Metrics一般分为Cluster、Host以及Service三个层级。Cluster和Host级主要负责监察集群机器相关的性能，而Service级别则负责Host Component的性能。
Ambari现在已经支持高度的可配置化，但是对于第三方服务来说如何定义自己的监控组件，则需要开发者深入研究源码，学习与开发成本尤为巨大。
对于AMS本身来说，涉及的主要模块有Metrics Monitor、Hadoop Sinks以及Metrics Collector。AMS也是一个Master-Slave结构的框架。Master模块便是MetricsCollector，Slave模块则是Metrics Monitor和Hadoop Sinks。Salve模块负责收集信息，并发送给Collector。当然Metrics Monitor和Hadoop Sinks也有不同的职责，前者主要负责收集机器本身相关的指标，例如CPU、Mem、Disk等；后者则负责收集Hadoop相关Service模块的性能数据，例如该模块占用了多少Mem，以及该模块的CPU占用率等。
在Ambari 2.1之后的版本中(包含2.1)支持了配置化Widget的功能。Widget也就是Ambari Web中呈现Metrics的图控件，它会根据Metrics的数值，做出一个简单的聚合运算，最终呈现在图控件中。
发明内容
本发明要解决的技术问题是：本发明针对以上问题，提供一种基于Ambari快速为第三方组件添加微件的方法，具体的说是一种实现对进入大数据集群二次开发方便调试的处理。
本发明所采用的技术方案为：
一种基于Ambari快速为第三方组件添加微件的方法，所述方法实现步骤如下：
1)定义第三方服务的metainfo.xml；
2)定义监控项相关文件metrics.json，为第三方服务的Master模块配置了metrics属性；
3)定义widget.json，预定义一个Graph类型的线性图，定义Widget绑定Metrics中的metrics属性，并直接使用该metrics属性的值作为其value属性；
4)第三方服务通过ambari web安装完成之后，就可以看到预定义的widget微件。
设置一个模块为第三方服务收集与发送Metrics数据。
通过聚合运算，Widget能够支持包含多个Host Component的Service。
相关的Metrics信息能在ambari的Component页面中查看。
所述聚合运算包括：max、min、avg、sum。
用户能够在widget的配置文件中选择聚合运算方式。
所述方法通过定义metrics属性的阈值，由微件动态的显示监控属性的变化情况。
本发明的有益效果为：
本发明方法可成功为第三方服务定制专属的的metrics属性，并由微件动态的显示监控属性的变化情况，从而可以很大程度的方便系统管理员完成相关的监测工作。
具体实施方式
根据具体实施方式对本发明进一步说明：
实施例1：
一种基于Ambari快速为第三方组件添加微件的方法，所述方法实现步骤如下：
1)定义第三方服务的metainfo.xml；
Metaindo.xml示例
2)定义监控项相关文件metrics.json；
定义如下：
如上代码为第三方服务的Master模块配置了4项metrics属性：test1、test2、test3以及test4；
3)定义widget.json，预定义一个Graph类型的线性图；
具体定义参考如下：
定义监控Widget绑定Metrics中的metrics属性(test1)，并直接使用test1的值作为其value属性；
4)第三方服务通过ambari web安装完成之后，就可以看到预定义的widget微件，可以从Ambari Web中部署这个第三方服务到Ambari集群，安装完成之后便有监控微件显示，此时微件会显示没有可用的数据。
微件(Web widget，简称Widget)，也就是Ambari Web中呈现Metrics的图控件，它会根据Metrics的数值，做出一个简单的聚合运算，最终呈现在图控件中。
实施例2
在实施例1的基础，本实施例设置一个模块为第三方服务收集与发送Metrics数据。可以通过一个简单的Shell脚本完成该功能。
发送metrics数据脚本
实施例3
在实施例2的基础，本实施例通过聚合运算，Widget能够支持包含多个HostComponent的Service。
由于Widget只支持对Service Summary的定制，也就是说Widget只支持对ServiceComponent Metrics属性的定制。然而同一个Service的Component可以由多个HostComponent组成，那么Widget就必须经过某一种聚合运算才可以得到一个数值。
实施例4
在实施例3的基础，本实施例相关的Metrics信息能在ambari的Component页面中查看。
用户还可以在一部分Service的Summary页面中可以看到该Service相关的Metrics信息。目前，Ambari为YARN、HDFS以及Ambari Metrics等部分Service预定义了Metrics和Widget信息。
实施例5
在实施例3或4的基础，本实施例所述聚合运算包括：max、min、avg、sum。
Ambari为Widget组件提供了4中聚合方式，分别是max、min、avg、sum。简单来说：max就是Host Component收集的多个metrics属性的最大值；min是最小值；avg是平均值；sum则是求和。
实施例6
在实施例5的基础，本实施例用户能够在widget的配置文件中选择聚合运算方式。
Widget组件会以avg为默认的聚合方式。用户可以在widget的配置文件中重写该方式。
实施例7
在实施例6的基础，本实施例所述方法通过定义metrics属性的阈值，由微件动态的显示监控属性的变化情况。Warning的阀值为0.7，Error的阀值为0.9，也就是说当百分比大于70％小于90％，图的颜色会变成黄色，大与90％则会为红色，绿色为正常色。
实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
Claims (7)
1.一种基于Ambari快速为第三方组件添加微件的方法，其特征在于，所述方法实现步骤如下：
1)定义第三方服务的metainfo.xml；
2)定义监控项相关文件metrics.json，为第三方服务的Master模块配置了metrics属性；
3)定义widget.json，预定义一个Graph类型的线性图，定义Widget绑定Metrics中的metrics属性，并直接使用该metrics属性的值作为其value属性；
4)第三方服务通过ambari web安装完成之后，就可以看到预定义的widget微件。
2.根据权利要求1所述的一种基于Ambari快速为第三方组件添加微件的方法，其特征在于，设置一个模块为第三方服务收集与发送Metrics数据。
3.根据权利要求2所述的一种基于Ambari快速为第三方组件添加微件的方法，其特征在于，通过聚合运算，Widget能够支持包含多个Host Component的Service。
4.根据权利要求3所述的一种基于Ambari快速为第三方组件添加微件的方法，其特征在于，相关的Metrics信息能在ambari的Component页面中查看。
5.根据权利要求3或4所述的一种基于Ambari快速为第三方组件添加微件的方法，其特征在于，所述聚合运算包括：max、min、avg、sum。
6.根据权利要求5所述的一种基于Ambari快速为第三方组件添加微件的方法，其特征在于，用户能够在widget的配置文件中选择聚合运算方式。
7.根据权利要求6所述的一种基于Ambari快速为第三方组件添加微件的方法，其特征在于，所述方法通过定义metrics属性的阈值，由微件动态的显示监控属性的变化情况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611258578.2A CN106648799A (zh) | 2016-12-30 | 2016-12-30 | 一种基于Ambari快速为第三方组件添加微件的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611258578.2A CN106648799A (zh) | 2016-12-30 | 2016-12-30 | 一种基于Ambari快速为第三方组件添加微件的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106648799A true CN106648799A (zh) | 2017-05-10 |
Family
ID=58838467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611258578.2A Pending CN106648799A (zh) | 2016-12-30 | 2016-12-30 | 一种基于Ambari快速为第三方组件添加微件的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106648799A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107704362A (zh) * | 2017-09-25 | 2018-02-16 | 浪潮软件股份有限公司 | 一种基于Ambari监控大数据组件的方法及装置 |
| CN111077827A (zh) * | 2019-12-30 | 2020-04-28 | 江苏徐工信息技术股份有限公司 | 基于Ambari实现自定义服务的监控管理系统 |
| CN112738112A (zh) * | 2020-12-30 | 2021-04-30 | 北京浪潮数据技术有限公司 | 基于Ambari的第三方组件的访问方法、装置及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101739512A (zh) * | 2009-12-18 | 2010-06-16 | 南京大学 | 一种基于可信验证和可信评估的服务选取方法 |
| CN103412768A (zh) * | 2013-07-19 | 2013-11-27 | 蓝盾信息安全技术股份有限公司 | 一种基于脚本程序自动化部署Zookeeper集群的方法 |
| CN104133681A (zh) * | 2014-07-28 | 2014-11-05 | 浪潮(北京)电子信息产业有限公司 | 一种ambari-web端架构分析方法 |
-
2016
- 2016-12-30 CN CN201611258578.2A patent/CN106648799A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101739512A (zh) * | 2009-12-18 | 2010-06-16 | 南京大学 | 一种基于可信验证和可信评估的服务选取方法 |
| CN103412768A (zh) * | 2013-07-19 | 2013-11-27 | 蓝盾信息安全技术股份有限公司 | 一种基于脚本程序自动化部署Zookeeper集群的方法 |
| CN104133681A (zh) * | 2014-07-28 | 2014-11-05 | 浪潮(北京)电子信息产业有限公司 | 一种ambari-web端架构分析方法 |
Non-Patent Citations (1)
| Title |
|---|
| 沈钊伟: "Ambari Metrics 详解", 《HTTPS://WWW.IBM.COM/DEVELOPERWORKS/CN/OPENSOURCE/OS-CN-AMBARI-METRICS/》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107704362A (zh) * | 2017-09-25 | 2018-02-16 | 浪潮软件股份有限公司 | 一种基于Ambari监控大数据组件的方法及装置 |
| CN111077827A (zh) * | 2019-12-30 | 2020-04-28 | 江苏徐工信息技术股份有限公司 | 基于Ambari实现自定义服务的监控管理系统 |
| CN111077827B (zh) * | 2019-12-30 | 2023-09-26 | 徐工汉云技术股份有限公司 | 基于Ambari实现自定义服务的监控管理系统 |
| CN112738112A (zh) * | 2020-12-30 | 2021-04-30 | 北京浪潮数据技术有限公司 | 基于Ambari的第三方组件的访问方法、装置及介质 |
| CN112738112B (zh) * | 2020-12-30 | 2023-02-24 | 北京浪潮数据技术有限公司 | 基于Ambari的第三方组件的访问方法、装置及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9858315B2 (en) | Data analytics platform over parallel databases and distributed file systems | |
| US11216302B2 (en) | Modifying task dependencies at worker nodes using precompiled libraries | |
| US9065746B2 (en) | Compliance testing engine for integrated computing system | |
| CN106649630A (zh) | 数据查询方法及装置 | |
| CN102591777B (zh) | 一种单元测试代码生成方法及装置 | |
| CN108874642A (zh) | Sql性能监控方法、装置、计算机设备及存储介质 | |
| CN110532152A (zh) | 一种基于Kapacitor计算引擎的监控告警处理方法及系统 | |
| CN106648799A (zh) | 一种基于Ambari快速为第三方组件添加微件的方法 | |
| CN104008012B (zh) | 一种基于虚拟机动态迁移的高性能MapReduce实现方法 | |
| CN104572895A (zh) | MPP数据库与Hadoop集群数据互通方法、工具及实现方法 | |
| CN110532322A (zh) | 运维交互方法、系统、计算机可读存储介质及设备 | |
| CN103176892A (zh) | 一种页面监控方法及系统 | |
| CN103345386A (zh) | 一种软件生产方法、装置及运行系统 | |
| CN104657123B (zh) | 一种动态导出文件的方法 | |
| CN108268266A (zh) | 一种升级方法和装置 | |
| US20190340290A1 (en) | Advanced insights explorer | |
| CN107682228A (zh) | 一种OpenStack集群的状态监控方法及其装置 | |
| Bhandare et al. | Generic log analyzer using Hadoop MapReduce framework | |
| CN110868330A (zh) | 云平台可划分cpu资源的评估方法、装置及评估系统 | |
| US11579930B2 (en) | Resource determination based on resource definition data | |
| CN111581213B (zh) | 信息记录方法、装置、以及设备 | |
| CN113448985A (zh) | 一种api接口生成方法、调用方法、装置及电子设备 | |
| CN111309297A (zh) | 脚本开发系统及方法 | |
| US9015655B2 (en) | Generating a diverse program | |
| CN113301068A (zh) | 管理集群资源的方法和系统、设备、集群以及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170510 |
|
| RJ01 | Rejection of invention patent application after publication |