CN106095519B - 一种使用Ambari在大数据组件管理中扩展自定义服务的方法 - Google Patents
一种使用Ambari在大数据组件管理中扩展自定义服务的方法 Download PDFInfo
- Publication number
- CN106095519B CN106095519B CN201610574427.1A CN201610574427A CN106095519B CN 106095519 B CN106095519 B CN 106095519B CN 201610574427 A CN201610574427 A CN 201610574427A CN 106095519 B CN106095519 B CN 106095519B
- Authority
- CN
- China
- Prior art keywords
- file
- ambari
- service
- stack
- big data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/61—Installation
Abstract
本发明公开了一种使用Ambari在大数据组件管理中扩展自定义服务的方法，包括：在Ambari已有的stack结构的stack下选择一个stack版本；在stack版本下新建服务组件文件夹；在服务组件文件夹下新建并编辑服务元信息文件；新建文件夹configuration并在文件夹中新建并编辑服务组件的配置文件；新建文件夹package，并在package文件夹中新建文件夹scripts和templates；在scripts文件夹中新建并编辑服务组件使用的phython脚本；在templates文件夹中新建并编辑phython脚本使用的服务配置文件模板；重新启动ambari‑server并在ambari的web UI中添加服务组件。通过本发明的上述方法，可以实现本发明的统一部署及监控新的服务组件的目的。
Description
技术领域
本发明涉及大数据平台的服务集成应用领域，并尤其涉及一种使用Ambari在大数据组件管理中扩展自定义服务的方法。
背景技术
随着大数据平台Hadoop的不停发展，Hadoop平台下面的组件也越来越多。所有的组件都单独进行部署使得对组件的管理变得非常困难。正是基于管理Hadoop集群的需要，Apache开发了开源项目Ambari。Ambari可以安装、管理、监控Hadoop集群，使得Hadoop集群的管理和使用更加简便。
但是Ambari默认只支持Hadoop集群的管理，很多时候我们除了Hadoop常用的组件服务器之外，还需要使用其他服务，例如elasticsearch、apache drill等。因此，现有技术中存在的技术问题在于如何有效简单地将自定义服务集成到Ambari之中。
发明内容
为了解决上述技术问题，本发明提供了一种使用Ambari在大数据组件管理中扩展自定义服务的方法，方法包含以下步骤：
步骤一，在Ambari已有的stack结构的stack下选择一个stack版本；
步骤二，在stack版本下新建服务组件文件夹；
步骤三，在服务组件文件夹下新建并编辑服务元信息文件；
步骤四，新建文件夹configuration并在文件夹中新建并编辑服务组件的配置文件；
步骤五，新建文件夹package，并在package文件夹中新建文件夹scripts和templates；
步骤六，在scripts文件夹中新建并编辑服务组件使用的phython脚本；
步骤七，在templates文件夹中新建并编辑phython脚本使用的服务配置文件模板；
步骤八，重新启动ambari-server并在ambari的web UI中添加服务组件。
进一步地，服务组件为elasticsearch或apache drill。
进一步地，服务元信息文件为metainfo.xml。
进一步地，stack结构分为stack、stack版本及对应的服务。
通过上述方法，可以实现本发明的统一部署及监控新的服务组件的目的。与传统的独立部署相比，用Ambari统一部署监控一个新的服务，不仅部署安装简单，还可以对新服务进行统一管理。Ambari的监控功能使得用户可以监控新服务的运行情况。Ambari的告警功能更能对服务的异常状态进行告警，使得用户可以及时了解服务的异常状况，及时修复避免数据等方面的损失。
附图说明
图1为使用本发明的Ambari在大数据组件管理中扩展自定义服务的方法的流程图；
图2为使用本发明的Ambari在大数据组件管理中扩展自定义服务的界面示意图。
具体实施方式
以下通过具体的实施例对本发明的Ambari在大数据组件管理中扩展自定义服务的方法进行进一步说明，应当理解的是，以下具体的实施例中所记载的内容仅用于进一步阐明本发明的上述方法，而不应理解为对本发明的方法的限制。
参考附图1和2，其示出了使用本发明的Ambari在大数据组件管理中扩展自定义服务的方法的流程以及界面示意图。在此实施例中以服务组件elasticsearch为例进行说明。
首先，参考Ambari预设服务的配置，在已有的stack结构下的stack下选择stack版本，stack结构可以分为三个层次，分别为stack、stack版本以及对应的服务。在框101处所示的步骤中，在stack版本下新建elasticsearch文件夹。接着在框102所示的步骤中，在elasticsearch文件夹下新建并编辑服务元信息文件，其中在此示例中服务元信息文件为metainfo.xml。在框103所示的步骤中，在service目录下新建configuration文件夹，并在configuration文件夹中新建并编辑服务组件的配置文件。接下来在service目录下新建package文件夹，并在package文件夹中新建scripts和templates文件夹。在框104所示的步骤中，在scripts文件夹中新建并编辑服务组件所使用的Python脚本。接着在框105所示的步骤中在templates文件夹中新建并编辑Python脚本会使用的配置文件模板，在以上文件模板的配置完成后，在框106所示的步骤中，重新启动ambari-server并随后在其web UI(网络用户界面)中根据安装向导安装elasticsearch服务组件从而完成对该服务组件的统一部署及监控。
上述流程的逻辑结构如下所示：
以上所述实施例仅表达了本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (5)
1.一种使用Ambari在大数据组件管理中扩展自定义服务的方法，其特征在于，所述方法包含以下步骤：
步骤一，在Ambari已有的stack结构的stack下选择一个stack版本；
步骤二，在所述stack版本下新建服务组件文件夹；
步骤三，在所述服务组件文件夹下新建并编辑服务元信息文件；
步骤四，新建configuration文件夹并在所述configuration文件夹中新建并编辑服务组件的配置文件；
步骤五，新建package文件夹，并在所述package文件夹中新建文件夹scripts和templates；
步骤六，在所述scripts文件夹中新建并编辑所述服务组件使用的phython脚本；
步骤七，在所述templates文件夹中新建并编辑所述phython脚本使用的服务配置文件模板；
步骤八，重新启动Ambari-server并在Ambari的网络用户界面中添加所述服务组件。
2.如权利要求1所述的一种使用Ambari在大数据组件管理中扩展自定义服务的方法，其特征在于，所述服务组件为elasticsearch或apache drill。
3.如权利要求1所述的一种使用Ambari在大数据组件管理中扩展自定义服务的方法，其特征在于，所述服务元信息文件为metainfo.xml。
4.如权利要求1所述的一种使用Ambari在大数据组件管理中扩展自定义服务的方法，其特征在于，所述stack结构分为stack、stack版本及对应的服务。
5.如权利要求1所述的一种使用Ambari在大数据组件管理中扩展自定义服务的方法，其特征在于，所述package文件夹以及所述configuration文件夹建立在service目录下。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610574427.1A CN106095519B (zh) | 2016-07-19 | 2016-07-19 | 一种使用Ambari在大数据组件管理中扩展自定义服务的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610574427.1A CN106095519B (zh) | 2016-07-19 | 2016-07-19 | 一种使用Ambari在大数据组件管理中扩展自定义服务的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106095519A CN106095519A (zh) | 2016-11-09 |
| CN106095519B true CN106095519B (zh) | 2019-07-30 |
Family
ID=57221121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610574427.1A Active CN106095519B (zh) | 2016-07-19 | 2016-07-19 | 一种使用Ambari在大数据组件管理中扩展自定义服务的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106095519B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107463852A (zh) * | 2017-06-28 | 2017-12-12 | 北京北信源软件股份有限公司 | 基于ApacheRanger对Hadoop集群数据的保护装置及保护方法 |
| CN107483247B (zh) * | 2017-08-17 | 2019-06-28 | 郑州云海信息技术有限公司 | 一种基于云平台的多级别服务配置管理方法 |
| CN109697070B (zh) * | 2017-10-23 | 2022-02-18 | 中移(苏州)软件技术有限公司 | 一种基于Ambari的集群管理方法、装置和介质 |
| CN110399157B (zh) * | 2019-07-05 | 2022-09-20 | 苏州浪潮智能科技有限公司 | 一种用于Ambari工具页面开发的方法和开发机 |
| CN111077827B (zh) * | 2019-12-30 | 2023-09-26 | 徐工汉云技术股份有限公司 | 基于Ambari实现自定义服务的监控管理系统 |
| CN112738112B (zh) * | 2020-12-30 | 2023-02-24 | 北京浪潮数据技术有限公司 | 基于Ambari的第三方组件的访问方法、装置及介质 |
| CN113434158B (zh) * | 2021-07-08 | 2023-12-15 | 恒安嘉新（北京）科技股份公司 | 一种大数据组件的自定义管理方法、装置、设备及介质 |
| CN113504917A (zh) * | 2021-07-29 | 2021-10-15 | 青岛以萨数据技术有限公司 | Ambari大数据平台集成大数据组件的方法及介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104317610A (zh) * | 2014-10-11 | 2015-01-28 | 福建新大陆软件工程有限公司 | 一种hadoop平台自动安装部署的方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10776359B2 (en) * | 2015-01-05 | 2020-09-15 | Saama Technologies, Inc. | Abstractly implemented data analysis systems and methods therefor |
-
2016
- 2016-07-19 CN CN201610574427.1A patent/CN106095519B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104317610A (zh) * | 2014-10-11 | 2015-01-28 | 福建新大陆软件工程有限公司 | 一种hadoop平台自动安装部署的方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| Overview;Jeff Sposetti;《https://cwiki.apache.org/confluence/display/AMBARI/Overview#Overview-DefiningaServiceandComponents》;20160520;第1页 |
| 了解Ambari;沈钊伟;《https://www.cnblogs.com/xiaobaishuowoshigou/articles/5043291.html》;20151213;第9-11页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106095519A (zh) | 2016-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106095519B (zh) | 一种使用Ambari在大数据组件管理中扩展自定义服务的方法 | |
| CN111181727B (zh) | 一种基于微服务的开放api全生命周期管理方法 | |
| WO2018107442A1 (zh) | 一种业务编排方法、装置及服务器 | |
| CN103685568B (zh) | 云计算环境下paas平台的平台服务应用部署方法和系统 | |
| CN103455377B (zh) | 用于管理业务线程池的系统和方法 | |
| DE202015009286U1 (de) | Kurzlebige Anwendungen | |
| CN114327678B (zh) | 一种支持多引擎的实时数据处理系统及方法 | |
| CN105760180B (zh) | 一种工作流引擎的扩展开发方法 | |
| CN103516529A (zh) | 一种配置文件的管理方法、装置及系统 | |
| CN106776320A (zh) | 安卓智能终端自动化测试系统及方法 | |
| US9519537B2 (en) | Apparatus, system and method for application log data processing | |
| US20140282046A1 (en) | Dashboard notifications on management console during a remote control session | |
| US20110258620A1 (en) | Method and Apparatus for Making a BPM Application Available to Multiple Tenants | |
| CN109697070B (zh) | 一种基于Ambari的集群管理方法、装置和介质 | |
| CN105278991B (zh) | 一种云应用部署配置模型的构造方法 | |
| CN105205121A (zh) | 一种处理数据监控的方法 | |
| CN106648801A (zh) | 一种Hadoop集群自动添加删除节点的方法 | |
| CN103107909A (zh) | 一种应用于多服务器系统的统一配置管理系统及配置管理方法 | |
| Vanhove et al. | Tengu: An experimentation platform for big data applications | |
| CN108399095B (zh) | 支持动态管理定时任务的方法、系统、设备和存储介质 | |
| Santos et al. | DiAl: distributed streaming analytics anywhere, anytime | |
| CN105959363A (zh) | 一种自适应硬件配置的大数据集群部署方法 | |
| KR101663504B1 (ko) | 스마트 워터 그리드 기반 통합 운영 서비스 제공 방법 및 시스템 | |
| US20190205182A1 (en) | Unified monitoring interface | |
| CN103106713A (zh) | 一种基于云管理的门禁考勤实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |