CN109697070B - 一种基于Ambari的集群管理方法、装置和介质 - Google Patents

一种基于Ambari的集群管理方法、装置和介质 Download PDF

Info

Publication number
CN109697070B
CN109697070B CN201710993437.3A CN201710993437A CN109697070B CN 109697070 B CN109697070 B CN 109697070B CN 201710993437 A CN201710993437 A CN 201710993437A CN 109697070 B CN109697070 B CN 109697070B
Authority
CN
China
Prior art keywords
service component
service
ambari
component
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710993437.3A
Other languages
English (en)
Other versions
CN109697070A (zh
Inventor
王杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Suzhou Software Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201710993437.3A priority Critical patent/CN109697070B/zh
Publication of CN109697070A publication Critical patent/CN109697070A/zh
Application granted granted Critical
Publication of CN109697070B publication Critical patent/CN109697070B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/61—Installation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
    • G06F9/44526—Plug-ins; Add-ons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request

Abstract

本发明公开了一种基于Ambari的集群管理方法、装置和介质，用以对已部署的Hapood集群服务进行配置与管理，降低集群部服务组件部署的资源开销。基于Ambari的集群管理方法，包括：在使用Ambari在服务节点上安装服务组件时，判断所述服务节点上是否已安装有所述服务组件；如果判断出所述服务节点上已安装所述服务组件，则进一步判断是否需要托管所述已安装的服务组件；如果确定托管所述服务组件，则将已安装的服务组件注册至Ambari数据库中，并修改已安装的服务组件的服务配置；如果确定不托管所述服务组件，则清除已安装的服务组件并将待安装的服务组件注册至Ambari数据库中。

Description

一种基于Ambari的集群管理方法、装置和介质
技术领域
本发明涉及大数据技术领域，尤其涉及一种基于Ambari的集群管理方法、装置和介质。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
Apache Ambari是一个免费开源分布式、Hadoop管理工具，其可以方便地创建、管理、监视Hadoop的集群。这里的Hadoop集群是广义，指的是Hadoop整个生态圈(例如Hive，Hbase，Sqoop，Zookeeper等)，而并不仅是特指Hadoop。
Ambari通过其Restful APIs提供了直观易用的网页管理页面。Ambari可以为Hadoop使用者带来以下便利：
1、简化的安装、配置与管理：可简单高效的创建、配置与管理Hadoop集群；可根据集群的硬件信息与Hadoop组件分布，推荐出Hadoop相关服务配置；可使用AmbariBlueprint快速自动化的复制一个集群。
2、集中化的安全设置：Ambari降低了管理与配置整个平台安全服务(如Kerberos与Ranger等)的复杂性。
3、集群健康状态可视化：使用Ambari Metrics可以使整个集群的健康状态可视化，而SmartSense则可以主动分析日志提供解决方案。
4、高可扩张性与定制化：可以在Ambari Stacks下面添加自定义服务，实现对当前Ambari服务未管理服务的安装，配置与管理。同时也可以使用Ambari Views去自定义Ambari Web界面。
但是，Ambari平台只能管理和监控使用Ambari部署的Hadoop组件，对于已经部署的Apache Hadoop集群无法管理，对于已经上线的Hadoop集群只能够删除其集群上原有Hadoop相关服务，使用Ambari重新创建Hadoop集群，增加了服务组件部署的资源开销。
发明内容
本发明实施例提供一种基于Ambari的集群管理方法、装置和介质，用以对已部署的Hapood集群服务进行配置与管理，降低集群部服务组件部署的资源开销。
本发明实施例提供了一种基于Ambari的集群管理方法，包括：
在使用Ambari在服务节点上安装服务组件时，判断所述服务节点上是否已安装有所述服务组件；
如果判断出所述服务节点上已安装所述服务组件，则进一步判断是否需要托管所述已安装的服务组件；
如果确定托管所述服务组件，则将已安装的服务组件注册至Ambari数据库中，并修改已安装的服务组件的服务配置；
如果确定不托管所述服务组件，则清除已安装的服务组件并将待安装的服务组件注册至Ambari数据库中。
可选地，在判断出所述服务节点上已安装所述服务组件，进一步判断是否需要托管所述已安装的服务组件之前，还包括：
确定已安装服务组件可正常启停；以及
如果判断出所述所述服务节点上已安装所述服务组件且已安装服务组件不可正常启停，则将待安装的服务组件注册至Ambari数据库中。
可选地，判断所述服务节点上是否已安装有所述服务组件，具体包括：
通过用户自定义的安装目录查找是否安装有所述服务组件；或者
通过设置的环境变量查找是否安装有所述服务组件；或者
通过查找已安装的软件包管理器RPM判断是否已安装所述服务组件。
可选地，按照以下流程确定已安装服务组件是否可正常启停：
利用预设的启停命令判断已安装服务组件是否可正常启停。
可选地，在清除已安装的服务组件并将待安装的服务组件注册至Ambari数据库中或者将已安装的服务组件注册至Ambari数据库中，并修改已安装的服务组件的服务配置之后，还包括：
为注册的服务组件分配对应集群。
本发明实施例提供一种基于Ambari的集群管理装置，包括：
第一判断单元，用于在使用Ambari在服务节点上安装服务组件时，判断所述服务节点上是否已安装有所述服务组件；
第二判断单元，用于如果判断出所述服务节点上已安装所述服务组件，则进一步判断是否需要托管所述已安装的服务组件；
执行单元，用于如果确定托管所述服务组件，则将已安装的服务组件注册至Ambari数据库中，并修改已安装的服务组件的服务配置；如果确定不托管所述服务组件，则清除已安装的服务组件并将待安装的服务组件注册至Ambari数据库中。
可选地，本发明实施例提供的基于Ambari的集群管理装置，还包括确定单元，其中：
所述确定单元，用于在所述第一判断单元判断出所述服务节点上已安装所述服务组件，在所述第二判断单元进一步判断是否需要托管所述已安装的服务组件之前，确定已安装服务组件可正常启停；
所述执行单元，还用于如果所述第一判断单元判断出所述所述服务节点上已安装所述服务组件且已安装服务组件不可正常启停，则将待安装的服务组件注册至Ambari数据库中。
可选地，所述第一判断单元，具体用于通过用户自定义的安装目录查找是否安装有所述服务组件；或者通过设置的环境变量查找是否安装有所述服务组件；或者通过查找已安装的软件包管理器RPM判断是否已安装所述服务组件。
可选地，所述确定单元，具体用于利用预设的启停命令判断已安装服务组件是否可正常启停。
可选地，本发明实施例提供的基于Ambari的集群管理装置，还包括：
分配单元，用于在所述执行单元在清除已安装的服务组件并将待安装的服务组件注册至Ambari数据库中或者将已安装的服务组件注册至Ambari数据库中，并修改已安装的服务组件的服务配置之后，为注册的服务组件分配对应集群。
本发明实施例提供一种计算装置，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行上述任一基于Ambari的集群管理方法所述的步骤。
本发明实施例提供一种计算机可读介质，其存储有可由计算装置执行的计算机程序，当所述程序在计算装置上运行时，使得所述计算装置执行上述任一基于Ambari的集群管理方法所述的步骤。
本发明实施例提供的基于Ambari的集群管理方法、装置和介质，在使用Ambari在服务节点上安装服务组件时，首先判断该服务节点上是否已安装有该服务组件，如果判断出服务节点上已安装有该服务组件，则进一步判断是否需要托管该服务组件，根据判断结果，如果确定托管，则将该服务组件注册至Ambari数据库中，并修改已安装的服务组件的服务配置，如果确定不托管，则清除已安装的服务组件并重新安装，由此，实现了对已部署服务组件的管理和配置，降低了集群部服务组件部署的资源开销。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例中，基于Ambari的集群管理方法的实施流程示意图；
图2为根据本发明实施方式的基于Ambari的集群管理方法的实施流程示意图；
图3为本发明实施例中，基于Ambari的集群管理装置的结构示意图；
图4为根据本发明实施方式的计算装置的结构示意图。
具体实施方式
为了对已部署的Hapood集群服务进行配置与管理，降低集群部服务组件部署的资源开销，本发明实施例提供一种基于Ambari的集群管理方法、装置和介质。
以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
Ambari自身也是一个分布式架构的软件，主要由两部分组成：Ambari-Server和Ambari-Agent。简单来说，用户通过Ambari-Server通知Ambari-Agent安装服务组件；Ambari-Agent会定时地发送各个节点各个服务组件的状态给Ambari-Server，最终这些状态信息会呈现在Ambari的GUI(Graphical User Interface，图形用户界面)，方便用户了解到集群的各种状态，并进行相应的维护。
本发明实施例中，基于集群中各节点上的Ambari-agent，在安装服务组件时，用service-sensor去感知各节点上已安装的服务组件，并检查已安装服务组件是否能正常启停，如果能正常启动，则根据用户选择可使用ambari规范化其配置。
如图1所示，其为本发明实施例提供的基于Ambari的集群管理方法的实施流程示意图，可以包括以下步骤：
S11、在使用Ambari在服务节点上安装服务组件时，判断所述服务节点上是否已安装有所述服务组件，如果是，则执行步骤S12，否则，执行步骤S15。
具体实施时，Ambari-agent中配置感知服务组件目录，在Ambari-agent安装服务组件之前，执行预设的服务检测算法查找服务节点当前已安装的服务组件。本发明实施例中，可以通过以下任一方法判断所述服务节点上是否已安装有所述服务组件：1、通过用户自定义的安装目录查找是否安装有所述服务组件；2、通过设置的环境变量查找是否安装有所述服务组件；3、通过查找已安装的RPM(软件包管理器)判断是否已安装所述服务组件。
S12、进一步判断是否需要托管所述已安装的服务组件，如果是，则执行步骤S13，否则，执行步骤S14。
本步骤中，如果Ambari-agent判断出服务节点已安装待安装的服务组件，则询问用户是否由Ambari接管该服务组件，根据用户的选择确定是否需要托管所述已安装的服务组件。
S13、将已安装的服务组件注册至Ambari数据库中，并修改已安装的服务组件的服务配置，流程结束。
本步骤中，如果确定用户选择由Ambari接管该服务组件，则将该服务组件注册至Ambari-server数据库中，并标记为托管服务，由于已安装的服务组件原有配置可能与基于Ambari的服务组件配置冲突，因此，本发明实施例中，在将已安装的服务组件注册至Ambari-server数据库中之后，可以根据Ambari配置要求规范化服务组件配置。
S14、清除已安装的服务组件并将待安装的服务组件注册至Ambari数据库中，流程结束。
S15、将待安装的服务组件注册至Ambari数据库中，并按照Ambari要求进行服务配置。
具体实施时，为了提高服务组件安装的可靠性，如果在步骤S11中判断出该服务节点已安装有所述服务组件，则在执行步骤S12之前，还可以判断已安装的服务组件是否可正常启停，如果是，则执行步骤S12；如果已安装的服务组件不可正常启停，则视为未安装服务组件，并执行步骤S15。
具体实施时，可以利用预设的启停命令判断已安装服务组件是否可正常启停。例如，可以通过Hadoop生态环境官方提供的启停命令测试已安装的服务组件能否正常启动。
发明人还发现，现有Ambari管理平台只能够创建与管理一套Hadoop集群，若需要部署多套集群则相应的部署多套Ambari平台，一方面，这导致Ambari管理页面冗余且不易于大集群的监控与管理，另一方面，这也造成了系统资源的浪费。
为了便于为Hadoop集群进行管理与监控，本发明实施例中，在服务组件注册成功且配置完成之后，还可以进一步为注册的服务组件分配对应集群，这样，用户可以根据实际生产需求实现对现有Hadoop集群的拆分、合并与伸缩。
为了更好地理解本发明实施例，以下结合服务组件的注册流程对本法实施例的实施过程进行说明，如图2所示，可以包括以下步骤：
S21、在使用Ambari在服务节点上安装服务组件时，判断所述服务节点上是否已安装有所述服务组件，如果是，执行步骤S22，否则，执行步骤S211。
S22、判断已安装的服务组件是否可正常启停，如果是，执行步骤S23，否则，执行步骤S211。
S23、判断是否需要托管已安装的服务组件，如果是，执行步骤S24，否则执行步骤S27。
S24、将已安装的服务组件注册至Ambari数据库中，标记为托管组件。
S25、注册数据库服务组件目录。
S26、按照Ambari要求修改已安装的服务组件的服务配置，并执行步骤S210。
S27、清除已安装的服务组件。
S28、将待安装的服务组件注册至Ambari数据库中。
S29、注册数据库服务组件目录。
S210、为注册的服务组件分配对应集群，并执行步骤S212。
S211、将待安装的服务组件注册至Ambari数据库中，并按照Ambari要求进行服务配置。
S212、判断是否完成所有服务组件的安装，如果是，流程结束，如果否，执行步骤S21。
本发明实施例提供的基于Ambari的集群管理方法中，通过Ambari感知集群已安装的服务组件，实现了对现有生产环境的Hadoop服务的托管并集中化管理其配置，同时还可以根据实际生产需求实现对现有Hadoop集群的拆分、合并与伸缩，从而降低了系统资源的开销。
基于同一发明构思，本发明实施例中还提供了一种基于Ambari的集群管理装置，由于上述装置解决问题的原理与方法相似，因此上述基于Ambari的集群管理装置及设备的实施可以参见方法的实施，重复之处不再赘述。
如图3所示，其为本发明实施例提供的基于Ambari的集群管理装置的结构示意图，可以包括：
第一判断单元31，用于在使用Ambari在服务节点上安装服务组件时，判断所述服务节点上是否已安装有所述服务组件；
第二判断单元32，用于如果判断出所述服务节点上已安装所述服务组件，则进一步判断是否需要托管所述已安装的服务组件；
执行单元33，用于如果确定托管所述服务组件，则将已安装的服务组件注册至Ambari数据库中，并修改已安装的服务组件的服务配置；如果确定不托管所述服务组件，则清除已安装的服务组件并将待安装的服务组件注册至Ambari数据库中。
可选地，本发明实施例提供的基于Ambari的集群管理装置，还包括确定单元，其中：
所述确定单元，用于在所述第一判断单元31判断出所述服务节点上已安装所述服务组件，在所述第二判断单元32进一步判断是否需要托管所述已安装的服务组件之前，确定已安装服务组件可正常启停；
所述执行单元33，还用于如果所述第一判断单元31判断出所述所述服务节点上已安装所述服务组件且已安装服务组件不可正常启停，则将待安装的服务组件注册至Ambari数据库中。
可选地，所述第一判断单元31，具体用于通过用户自定义的安装目录查找是否安装有所述服务组件；或者通过设置的环境变量查找是否安装有所述服务组件；或者通过查找已安装的软件包管理器RPM判断是否已安装所述服务组件。
可选地，所述确定单元，具体用于利用预设的启停命令判断已安装服务组件是否可正常启停。
可选地，本发明实施例提供的基于Ambari的集群管理装置，还包括：
分配单元，用于在所述执行单元33在清除已安装的服务组件并将待安装的服务组件注册至Ambari数据库中或者将已安装的服务组件注册至Ambari数据库中，并修改已安装的服务组件的服务配置之后，为注册的服务组件分配对应集群。
为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
在介绍了本发明示例性实施方式的方法和装置之后，接下来，介绍根据本发明的另一示例性实施方式的计算装置。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中，根据本发明的计算装置可以至少包括至少一个处理单元、以及至少一个存储单元。其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行本说明书上述描述的根据本发明各种示例性实施方式基于Ambari的集群管理方法中的步骤。例如，所述处理单元可以执行如图1中所示的步骤S11、在使用Ambari在服务节点上安装服务组件时，判断所述服务节点上是否已安装有所述服务组件，如果是，则执行步骤S12，否则，执行步骤S15，和步骤S12、进一步判断是否需要托管所述已安装的服务组件，如果是，则执行步骤S13，否则，执行步骤S14，步骤S13、将已安装的服务组件注册至Ambari数据库中，并修改已安装的服务组件的服务配置，流程结束；步骤S14、清除已安装的服务组件并将待安装的服务组件注册至Ambari数据库中，流程结束；步骤S15、将待安装的服务组件注册至Ambari数据库中，并按照Ambari要求进行服务配置。
下面参照图4来描述根据本发明的这种实施方式的计算装置40。图4显示的计算装置40仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算装置40以通用计算设备的形式表现。计算装置40的组件可以包括但不限于：上述至少一个处理单元41、上述至少一个存储单元42、连接不同系统组件(包括存储单元42和处理单元41)的总线43。
总线43表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储单元42可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)421和/或高速缓存存储器422，还可以进一步包括只读存储器(ROM)423。
存储单元42还可以包括具有一组(至少一个)程序模块424的程序/实用工具425，这样的程序模块424包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算装置40也可以与一个或多个外部设备44(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算装置40交互的设备通信，和/或与使得该计算装置40能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口45进行。并且，计算装置40还可以通过网络适配器46与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器46通过总线43与用于计算装置40的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置40使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中，本发明提供的基于Ambari的集群管理方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本发明各种示例性实施方式的基于Ambari的集群管理方法中的步骤，例如，所述计算机设备可以执行如图1中所示的步骤S11、在使用Ambari在服务节点上安装服务组件时，判断所述服务节点上是否已安装有所述服务组件，如果是，则执行步骤S12，否则，执行步骤S15，和步骤S12、进一步判断是否需要托管所述已安装的服务组件，如果是，则执行步骤S13，否则，执行步骤S14，步骤S13、将已安装的服务组件注册至Ambari数据库中，并修改已安装的服务组件的服务配置，流程结束；步骤S14、清除已安装的服务组件并将待安装的服务组件注册至Ambari数据库中，流程结束；步骤S15、将待安装的服务组件注册至Ambari数据库中，并按照Ambari要求进行服务配置。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本发明的实施方式的基于Ambari的集群管理的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种基于Ambari的集群管理方法，其特征在于，包括：
在使用Ambari在服务节点上安装服务组件时，判断所述服务节点上是否已安装有所述服务组件；
如果判断出所述服务节点上已安装所述服务组件，则进一步判断是否需要托管所述已安装的服务组件；
如果确定托管所述服务组件，则将已安装的服务组件注册至Ambari数据库中，并修改已安装的服务组件的服务配置；
如果确定不托管所述服务组件，则清除已安装的服务组件并将待安装的服务组件注册至Ambari数据库中。
2.如权利要求1所述的方法，其特征在于，在判断出所述服务节点上已安装所述服务组件，进一步判断是否需要托管所述已安装的服务组件之前，还包括：
确定已安装服务组件可正常启停；以及
如果判断出所述服务节点上已安装所述服务组件且已安装服务组件不可正常启停，则将待安装的服务组件注册至Ambari数据库中。
3.如权利要求1或2所述的方法，其特征在于，判断所述服务节点上是否已安装有所述服务组件，具体包括：
通过用户自定义的安装目录查找是否安装有所述服务组件；或者
通过设置的环境变量查找是否安装有所述服务组件；或者
通过查找已安装的软件包管理器RPM判断是否已安装所述服务组件。
4.如权利要求2所述的方法，其特征在于，按照以下流程确定已安装服务组件是否可正常启停：
利用预设的启停命令判断已安装服务组件是否可正常启停。
5.如权利要求1所述的方法，其特征在于，在清除已安装的服务组件并将待安装的服务组件注册至Ambari数据库中或者将已安装的服务组件注册至Ambari数据库中，并修改已安装的服务组件的服务配置之后，还包括：
为注册的服务组件分配对应集群。
6.一种基于Ambari的集群管理装置，其特征在于，包括：
第一判断单元，用于在使用Ambari在服务节点上安装服务组件时，判断所述服务节点上是否已安装有所述服务组件；
第二判断单元，用于如果判断出所述服务节点上已安装所述服务组件，则进一步判断是否需要托管所述已安装的服务组件；
执行单元，用于如果确定托管所述服务组件，则将已安装的服务组件注册至Ambari数据库中，并修改已安装的服务组件的服务配置；如果确定不托管所述服务组件，则清除已安装的服务组件并将待安装的服务组件注册至Ambari数据库中。
7.如权利要求6所述的装置，其特征在于，还包括确定单元，其中：
所述确定单元，用于在所述第一判断单元判断出所述服务节点上已安装所述服务组件，在所述第二判断单元进一步判断是否需要托管所述已安装的服务组件之前，确定已安装服务组件可正常启停；
所述执行单元，还用于如果所述第一判断单元判断出所述服务节点上已安装所述服务组件且已安装服务组件不可正常启停，则将待安装的服务组件注册至Ambari数据库中。
8.如权利要求6或7所述的装置，其特征在于，
所述第一判断单元，具体用于通过用户自定义的安装目录查找是否安装有所述服务组件；或者通过设置的环境变量查找是否安装有所述服务组件；或者通过查找已安装的软件包管理器RPM判断是否已安装所述服务组件。
9.如权利要求7所述的装置，其特征在于，
所述确定单元，具体用于利用预设的启停命令判断已安装服务组件是否可正常启停。
10.如权利要求6所述的装置，其特征在于，还包括：
分配单元，用于在所述执行单元在清除已安装的服务组件并将待安装的服务组件注册至Ambari数据库中或者将已安装的服务组件注册至Ambari数据库中，并修改已安装的服务组件的服务配置之后，为注册的服务组件分配对应集群。
11.一种计算装置，其特征在于，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行权利要求1～5任一权利要求所述方法的步骤。
12.一种计算机可读介质，其特征在于，其存储有可由计算装置执行的计算机程序，当所述程序在计算装置上运行时，使得所述计算装置执行权利要求1～5任一所述方法的步骤。
CN201710993437.3A 2017-10-23 2017-10-23 一种基于Ambari的集群管理方法、装置和介质 Active CN109697070B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710993437.3A CN109697070B (zh) 2017-10-23 2017-10-23 一种基于Ambari的集群管理方法、装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710993437.3A CN109697070B (zh) 2017-10-23 2017-10-23 一种基于Ambari的集群管理方法、装置和介质

Publications (2)

Publication Number Publication Date
CN109697070A CN109697070A (zh) 2019-04-30
CN109697070B true CN109697070B (zh) 2022-02-18

Family

ID=66225816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710993437.3A Active CN109697070B (zh) 2017-10-23 2017-10-23 一种基于Ambari的集群管理方法、装置和介质

Country Status (1)

Country Link
CN (1) CN109697070B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112527323A (zh) * 2019-09-17 2021-03-19 北京国双科技有限公司 一种安装Ambari的方法、装置和Ambari架构
CN111339055B (zh) * 2020-02-07 2023-08-01 浪潮软件股份有限公司 大数据集群扩容方法及装置
CN114070858A (zh) * 2020-07-31 2022-02-18 中移(苏州)软件技术有限公司 一种数据处理方法及装置、设备、存储介质
CN113590420B (zh) * 2021-07-28 2024-04-12 杭州玳数科技有限公司 集群状态监管方法及装置
CN114338123A (zh) * 2021-12-23 2022-04-12 杭州安恒信息安全技术有限公司 流量探针设备的托管方法、装置、设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104579975A (zh) * 2015-02-10 2015-04-29 广州市品高软件开发有限公司 一种软件定义网络控制器集群的调度方法
CN104915260A (zh) * 2015-06-19 2015-09-16 北京搜狐新媒体信息技术有限公司 一种Hadoop集群管理任务的分发方法和系统
CN105718351A (zh) * 2016-01-08 2016-06-29 北京汇商融通信息技术有限公司 一种面向Hadoop集群的分布式监控管理系统
CN106095519A (zh) * 2016-07-19 2016-11-09 北京北信源软件股份有限公司 一种使用Ambari在大数据组件管理中扩展自定义服务的方法
US9619291B2 (en) * 2009-12-20 2017-04-11 Yahoo! Inc. System and method for a task management library to execute map-reduce applications in a map-reduce framework

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9619291B2 (en) * 2009-12-20 2017-04-11 Yahoo! Inc. System and method for a task management library to execute map-reduce applications in a map-reduce framework
CN104579975A (zh) * 2015-02-10 2015-04-29 广州市品高软件开发有限公司 一种软件定义网络控制器集群的调度方法
CN104915260A (zh) * 2015-06-19 2015-09-16 北京搜狐新媒体信息技术有限公司 一种Hadoop集群管理任务的分发方法和系统
CN105718351A (zh) * 2016-01-08 2016-06-29 北京汇商融通信息技术有限公司 一种面向Hadoop集群的分布式监控管理系统
CN106095519A (zh) * 2016-07-19 2016-11-09 北京北信源软件股份有限公司 一种使用Ambari在大数据组件管理中扩展自定义服务的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ambari Design;Yusaku Sako;《https://ambari.apache.org》;20130116;全文 *
基于Hadoop生态集群管理系统Ambari的研究与分析;李可等;《软件》;20161231;第93-97页 *

Also Published As

Publication number Publication date
CN109697070A (zh) 2019-04-30

Similar Documents

Publication Publication Date Title
CN109697070B (zh) 一种基于Ambari的集群管理方法、装置和介质
US11307890B2 (en) Methods and apparatus to manage virtual machines
US11507410B2 (en) Methods and apparatus to manage monitoring agents
US10171377B2 (en) Orchestrating computing resources between different computing environments
US9798635B2 (en) Service level agreement-based resource allocation for failure recovery
WO2017161984A1 (zh) 数据集群的部署方法、装置、系统及计算机存储介质
US8370802B2 (en) Specifying an order for changing an operational state of software application components
US20160162317A1 (en) Configuring monitoring for virtualized servers
US10310900B2 (en) Operating programs on a computer cluster
US11556369B2 (en) Virtual machine deployment method and OMM virtual machine
CN110875838B (zh) 一种资源部署方法、装置和存储介质
WO2023093354A1 (en) Avoidance of workload duplication among split-clusters
US10002181B2 (en) Real-time tagger
US9948746B2 (en) Request processing according to degradation monitoring
CN114489954A (zh) 基于虚拟化平台的租户创建方法、租户访问方法及设备
CN116569141A (zh) 工作流修补
US10248406B2 (en) Locale object management
US9798571B1 (en) System and method for optimizing provisioning time by dynamically customizing a shared virtual machine
CN116339761B (zh) 一种自动化构建镜像模板的方法、系统、存储介质、设备
US20230325267A1 (en) Selective privileged container augmentation
CN115344398A (zh) 主机作业管理方法、装置、电子设备、介质和程序产品
CN117289904A (zh) 人工智能模型构建方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant