CN106961359A - 一种Solr服务的自动部署和监控方法及装置 - Google Patents

Abstract

本发明实施例公开了一种Solr服务的自动部署和监控方法，该方法包括：对Apache Ambari管理工具进行二次开发，将Solr服务部署在Apache Ambari管理工具中；通过Apache Ambari管理工具对Solr服务进行自动监控。本发明实施例还公开了一种Solr服务的自动部署和监控装置。通过本发明实施例方案，能够通过对Apache Ambari管理工具进行二次开发，自动将Solr服务部署在Apache Ambari管理工具中，解决了Solr服务在Apache Ambari管理工具中进行人工部署时的操作繁琐且易出错的问题。

Description

一种Solr服务的自动部署和监控方法及装置

技术领域

本发明涉及计算机软件应用技术领域，尤指一种Solr服务的自动部署和监控方法及装置。

背景技术

在社会快速发展的今天，各行各业每天都会产生大量的数据，数据来源囊括了我们周围可以捕获的任何类型数据，网站、社交媒体、交易型商业数据以及其它商业环境中创建的数据。面对海量数据的处理操作，应运而生很多大数据服务组件，如Hadoop、Spark、Hbase等。面对这些大数据组件的使用，很多用户使用和管理要付出大量的时间成本。Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。面对海量数据，当用户需要查询某个信息时，希望得到高质量的搜索结果，帮助他们快速、轻易地找到所需的信息，运营方要求它能够提供一个可伸缩、高度可用且易于维护的搜索解决方案。

Solr服务可以解决这些问题。Solr是一个基于lucence的java搜索引擎服务器，对外提供类似于web-service的API接口，用户可以通过http请求，提交数据文件或者进行查询。而实际手动部署Solr服务的过程中，在集群多个节点对Solr的部署和配置是一项很繁琐且容易出错的过程。且当某个Solr节点出现宕机等异常，检测比较困难。

发明内容

为了解决上述技术问题，本发明实施例提供了一种Solr服务的自动部署和监控方法及装置，能够解决Solr服务在Apache Ambari管理工具中进行人工部署时的操作繁琐且易出错的问题。

为了达到本发明实施例目的，本发明实施例提供了一种Solr服务的自动部署和监控方法，该方法包括：

对Apache Ambari管理工具进行二次开发，将Solr服务部署在ApacheAmbari管理工具中；

通过Apache Ambari管理工具对Solr服务进行自动监控。

可选地，对Apache Ambari管理工具进行二次开发，将Solr服务部署在所述ApacheAmbari管理工具中包括：

通过Ambari管理工具中的Server向Agent发送关于Solr服务的部署请求；

根据该部署请求将Solr服务部署在Ambari管理工具中的一个或多个Agent上。

可选地，根据该部署请求将Solr服务部署在Ambari管理工具中的一个或多个Agent上包括：

Agent接收部署请求，以获取部署Solr服务的通知，并接收Server发送的关于Solr服务的一个或多个安装和配置文件；

Agent根据安装和配置文件按照预设流程逐步执行针对Solr服务的安装部署、服务配置、服务启停以及用户同步，以完成Solr服务在Agent上的部署。

可选地，通过Apache Ambari管理工具对Solr服务进行自动监控包括：

当Solr服务正常启动后，控制Agent将Solr服务的运行状态定时返回给Server，Server将收集的Solr服务的状态信息实时反馈到Server的网页Web控制台，实现对Solr服务的自动监控。

可选地，在Server的Web控制台上的Solr服务支持与各个大数据服务组件操作的插件启停配置。

可选地，该方法还包括：预先调用Ambari提供的接口函数，自动获取Ambari集群已安装部署的其它大数据服务的安装和配置信息，并根据该安装和配置信息生成安装和配置文件。

为了达到本发明实施例目的，本发明实施例还提供了一种Solr服务的自动部署和监控装置，包括：部署模块和监控模块。

部署模块，用于对Apache Ambari管理工具进行二次开发，将所述Solr服务部署在所述Apache Ambari管理工具中；

所述监控模块，用于通过所述Apache Ambari管理工具对所述Solr服务进行自动监控。

可选地，部署模块对Apache Ambari管理工具进行二次开发，将Solr服务部署在Apache Ambari管理工具中包括：

通过Ambari管理工具中的Server向Agent发送关于Solr服务的部署请求；

根据部署请求将Solr服务部署在Ambari管理工具中的一个或多个Agent上。

可选地，部署模块根据部署请求将Solr服务部署在Ambari管理工具中的一个或多个Agent上包括：

控制Agent接收部署请求，以获取部署Solr服务的通知，并接收Server发送的关于Solr服务的一个或多个安装和配置文件；

控制Agent根据安装和配置文件按照预设流程逐步执行针对Solr服务的安装部署、服务配置、服务启停以及用户同步，以完成Solr服务在Agent上的部署。

可选地，监控模块通过Apache Ambari管理工具对Solr服务进行自动监控包括：

当Solr服务正常启动后，控制Agent将Solr服务的运行状态定时返回给Server，Server将收集的Solr服务的状态信息实时反馈到Server的网页Web控制台，实现对Solr服务的自动监控。

可选地，在Server的Web控制台上的Solr服务支持与各个大数据服务组件操作的插件启停配置。

可选地，该装置还包括：调用模块。

调用模块，用于预先调用Ambari提供的接口函数，自动获取Ambari集群已安装部署的其它大数据服务的安装和配置信息，并根据安装和配置信息生成安装和配置文件。

本发明实施例包括对Apache Ambari管理工具进行二次开发，将Solr服务部署在Apache Ambari管理工具中；通过Apache Ambari管理工具对Solr服务进行自动监控。通过本发明实施例方案，能够通过对Apache Ambari管理工具进行二次开发，自动将Solr服务部署在Apache Ambari管理工具中，解决了Solr服务在Apache Ambari管理工具中进行人工部署时的操作繁琐且易出错的问题。

本发明实施例的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明实施例技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明实施例的技术方案，并不构成对本发明实施例技术方案的限制。

图1为本发明实施例的Solr服务的自动部署和监控方法；

图2为当前的Ambari系统架构示意图；

图3为本发明实施例的Solr服务在Ambari系统中进行服务配置的示意图；

图4为本发明实施例的Solr服务的自动部署和监控装置组成框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

为了达到本发明实施例目的，本发明实施例提供了一种Solr服务的自动部署和监控方法，如图1所示，该方法包括S101-S102：

S101、对Apache Ambari管理工具进行二次开发，将Solr服务部署在ApacheAmbari管理工具中。

在本发明实施例中，Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的安装部署、管理和监控。Solr是基于Lucene的搜索平台，具备全文搜索、命中关键字高亮显示、分面搜索、动态聚类、数据库集成等特性。本发明实施例通过基于Ambari进行二次开发，在Ambari管理工具中集成Solr服务，实现Solr服务的自动化部署和监控。

在本发明实施例中，如图2所示为Ambari系统架构示意图，Ambari分为两大部分：Ambari Server和Ambari Agent。Ambari Server的Rest API中又分为主要的两大类API，其中一类为ambari-web提供监控管理服务，另一类用于与ambari-agent交互，接受ambari-agent向ambari-server发送心跳请求。Master模块接受API和Agent Interface的请求，完成ambari-server的集中式管理监控逻辑，而每个agent节点只负责所在节点的状态采集及维护工作。

在本发明实施例中，对Apache Ambari管理工具进行二次开发，将Solr服务部署在Apache Ambari管理工具中，即在Ambari的某一个或者多个Agent上安装部署Solr服务。

可选地，对Apache Ambari管理工具进行二次开发，将Solr服务部署在所述ApacheAmbari管理工具中包括S201-S202：

S201、通过Ambari管理工具中的Server向Agent发送关于Solr服务的部署请求。

在本发明实施例中，在部署初始时刻，用户可以调用Ambari提供的相关安装模块函数，并对所述安装模块函数进行关于Solr服务的安装编译，根据该安装编译内容，AmbariServer可以向一个或多个Agent发送部署请求，以通知Agent进行Solr服务的部署。

S202、根据该部署请求将Solr服务部署在Ambari管理工具中的一个或多个Agent上。

在本发明实施例中，Agent接收到部署请求后，便开始实施对Solr服务的部署。在此之前，需要先获取Solr服务的安装和配置文件。

可选地，该方法还包括：预先调用Ambari提供的接口函数，自动获取Ambari集群已安装部署的其它大数据服务的安装和配置信息，并根据该安装和配置信息生成安装和配置文件。

在本发明实施例中，调用Ambari的接口函数，自动获取集群已安装部署的其它大数据服务的安装配置信息，并提供用于Solr服务的部署。具体地，可以通过Ambari提供的API，修改这些安装配置信息中与Solr相关的服务配置属性，以生成部署Solr服务的安装和配置文件。

可选地，根据该部署请求将Solr服务部署在Ambari管理工具中的一个或多个Agent上包括S301-S302：

S301、Agent接收部署请求，以获取部署Solr服务的通知，并接收Server发送的关于Solr服务的一个或多个安装和配置文件；

在本发明实施例中，Agent响应该部署请求以后，Server会向此Agent发送部署Solr服务必要的安装和配置文件，以便Agent根据该配置文件完成Solr服务的部署。

S302、Agent根据安装和配置文件按照预设流程逐步执行针对Solr服务的安装部署、服务配置、服务启停以及服务同步，以完成Solr服务在Agent上的部署。

在本发明实施例中，Agent可以根据安装和配置文件在Ambari中完成对Solr服务的安装部署、服务配置，并设计Solr服务的启动或者停止模块，设计获取Solr服务的运行状态的监控模块，并添加其它服务信息，如服务同步，包括元数据库同步，用户同步等，如图3所示。

S102、通过Apache Ambari管理工具对Solr服务进行自动监控。

可选地，通过Apache Ambari管理工具对Solr服务进行自动监控包括：

当Solr服务正常启动后，控制Agent将Solr服务的运行状态定时返回给Server，Server将收集的Solr服务的状态信息实时反馈到Server的网页Web控制台，实现对Solr服务的自动监控。

可选地，在Server的Web控制台上的Solr服务支持与各个大数据服务组件操作的插件启停配置。

在本发明实施例中，该方案在Ambari Web端可以支持操作人员选择在Solr服务中使用其它大数据组件服务，对于大数据集群的运维提供了极大的便利。

本发明实施例方案可以快速的实现Solr服务的部署，并同时可以监控Solr服务的健康状况，极大的提高安装部署效率，降低配置Solr服务过程中由于相关配置信息过多导致的多重问题，并实现了Hadoop集群和Solr服务相结合，大大提高了运维人员的操作和使用上的便利。

为了达到本发明实施例目的，本发明实施例还提供了一种Solr服务的自动部署和监控装置1，如图4所示，该装置包括：部署模块11和监控模块12。

部署模块11，用于对Apache Ambari管理工具进行二次开发，将Solr服务部署在Apache Ambari管理工具中。

在本发明实施例中，Apache Ambari是一种基于Web的工具，支持ApacheHadoop集群的安装部署、管理和监控。Solr是基于Lucene的搜索平台，具备全文搜索、命中关键字高亮显示、分面搜索、动态聚类、数据库集成等特性。本发明实施例通过基于Ambari进行二次开发，在Ambari管理工具中集成Solr服务，实现Solr服务的自动化部署和监控。

在本发明实施例中，如图2所示为Ambari系统架构示意图，Ambari分为两大部分：Ambari Server和Ambari Agent。Ambari Server的Rest API中又分为主要的两大类API，其中一类为ambari-web提供监控管理服务，另一类用于与ambari-agent交互，接受ambari-agent向ambari-server发送心跳请求。Master模块接受API和Agent Interface的请求，完成ambari-server的集中式管理监控逻辑，而每个agent节点只负责所在节点的状态采集及维护工作。

在本发明实施例中，对Apache Ambari管理工具进行二次开发，将Solr服务部署在Apache Ambari管理工具中，即在Ambari的某一个或者多个Agent上安装部署Solr服务。

可选地，部署模块11对Apache Ambari管理工具进行二次开发，将Solr服务部署在Apache Ambari管理工具中包括S401-S402：

S401、通过Ambari管理工具中的Server向Agent发送关于Solr服务的部署请求。

在本发明实施例中，在部署初始时刻，用户可以调用Ambari提供的相关安装模块函数，并对所述安装模块函数进行关于Solr服务的安装编译，根据该安装编译内容，部署模块11可以控制Ambari Server向一个或多个Agent发送部署请求，以通知Agent进行Solr服务的部署。

S402、根据该部署请求将Solr服务部署在Ambari管理工具中的一个或多个Agent上。

在本发明实施例中，Agent接收到部署请求后，便开始实施对Solr服务的部署。在此之前，需要先获取Solr服务的安装和配置文件。

可选地，该装置还包括：调用模块13。

调用模块13，用于预先调用Ambari提供的接口函数，自动获取Ambari集群已安装部署的其它大数据服务的安装和配置信息，并根据安装和配置信息生成安装和配置文件。

在本发明实施例中，调用Ambari的接口函数，自动获取集群已安装部署的其它大数据服务的安装配置信息，并提供用于Solr服务的部署。具体地，可以通过Ambari提供的API，修改这些安装配置信息中与Solr相关的服务配置属性，以生成部署Solr服务的安装和配置文件。

可选地，部署模块11根据部署请求将Solr服务部署在Ambari管理工具中的一个或多个Agent上包括S501-S502：

S501、控制Agent接收部署请求，以获取部署Solr服务的通知，并接收Server发送的关于Solr服务的一个或多个安装和配置文件。

在本发明实施例中，Agent响应该部署请求以后，部署模块11可以控制Server向此Agent发送部署Solr服务必要的安装和配置文件，以便Agent根据该配置文件完成Solr服务的部署。

S502、控制Agent根据安装和配置文件按照预设流程逐步执行针对Solr服务的安装部署、服务配置、服务启停以及用户同步，以完成Solr服务在Agent上的部署。

在本发明实施例中，Agent可以根据安装和配置文件在Ambari中完成对Solr服务的安装部署、服务配置，并设计Solr服务的启动或者停止模块，设计获取Solr服务的运行状态的监控模块，并添加其它服务信息，如服务同步，包括元数据库同步，用户同步等。

所述监控模块12，用于通过Apache Ambari管理工具对Solr服务进行自动监控。

可选地，监控模块通过Apache Ambari管理工具对Solr服务进行自动监控包括：

当Solr服务正常启动后，控制Agent将Solr服务的运行状态定时返回给Server，Server将收集的Solr服务的状态信息实时反馈到Server的网页Web控制台，实现对Solr服务的自动监控。

可选地，在Server的Web控制台上的Solr服务支持与各个大数据服务组件操作的插件启停配置。

在本发明实施例中，该方案在Ambari Web端可以支持操作人员选择在Solr服务中使用其它大数据组件服务，对于大数据集群的运维提供了极大的便利。

本发明实施例方案可以快速的实现Solr服务的部署，并同时可以监控Solr服务的健康状况，极大的提高安装部署效率，降低配置Solr服务过程中由于相关配置信息过多导致的多重问题，并实现了Hadoop集群和Solr服务相结合，大大提高了运维人员的操作和使用上的便利。

本发明实施例包括对Apache Ambari管理工具进行二次开发，将Solr服务部署在Apache Ambari管理工具中；通过Apache Ambari管理工具对Solr服务进行自动监控。通过本发明实施例方案，能够通过对Apache Ambari管理工具进行二次开发，自动将Solr服务部署在Apache Ambari管理工具中，解决了Solr服务在Apache Ambari管理工具中进行人工部署时的操作繁琐且易出错的问题。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种Solr服务的自动部署和监控方法，其特征在于，包括：

对Apache Ambari管理工具进行二次开发，将所述Solr服务部署在所述Apache Ambari管理工具中；

通过所述Apache Ambari管理工具对所述Solr服务进行自动监控。

2.根据权利要求1所述的Solr服务的安装和配置方法，其特征在于，所述对ApacheAmbari管理工具进行二次开发，将所述Solr服务部署在所述Apache Ambari管理工具中包括：

通过所述Ambari管理工具中的Server向所述Agent发送关于所述Solr服务的部署请求；

根据所述部署请求将所述Solr服务部署在所述Ambari管理工具中的一个或多个Agent上。

3.根据权利要求2所述的Solr服务的安装和配置方法，其特征在于，所述根据所述部署请求将所述Solr服务部署在所述Ambari管理工具中的一个或多个Agent上包括：

所述Agent接收所述部署请求，以获取部署所述Solr服务的通知，并接收所述Server发送的关于所述Solr服务的一个或多个安装和配置文件；

所述Agent根据所述安装和配置文件按照预设流程逐步执行针对所述Solr服务的安装部署、服务配置、服务启停以及服务同步，以完成所述Solr服务在所述Agent上的部署。

4.根据权利要求1所述的Solr服务的安装和配置方法，其特征在于，所述通过所述Apache Ambari管理工具对所述Solr服务进行自动监控包括：

当所述Solr服务正常启动后，控制所述Agent将所述Solr服务的运行状态定时返回给所述Server，所述Server将收集的所述Solr服务的状态信息实时反馈到所述Server的网页Web控制台，实现对所述Solr服务的自动监控。

5.根据权利要求4所述的Solr服务的安装和配置方法，其特征在于，在所述Server的Web控制台上的所述Solr服务支持与各个大数据服务组件操作的插件启停配置。

6.根据权利要求3所述的Solr服务的安装和配置方法，其特征在于，所述方法还包括：预先调用Ambari提供的接口函数，自动获取Ambari集群已安装部署的其它大数据服务的安装和配置信息，并根据所述安装和配置信息生成所述安装和配置文件。

7.一种Solr服务的自动部署和监控装置，其特征在于，包括：部署模块和监控模块；

所述部署模块，用于对Apache Ambari管理工具进行二次开发，将所述Solr服务部署在所述Apache Ambari管理工具中；

所述监控模块，用于通过所述Apache Ambari管理工具对所述Solr服务进行自动监控。

8.根据权利要求7所述的Solr服务的安装和配置装置，其特征在于，所述部署模块对Apache Ambari管理工具进行二次开发，将所述Solr服务部署在所述Apache Ambari管理工具中包括：

通过所述Ambari管理工具中的Server向所述Agent发送关于所述Solr服务的部署请求；

根据所述部署请求将所述Solr服务部署在所述Ambari管理工具中的一个或多个Agent上。

9.根据权利要求8所述的Solr服务的安装和配置装置，其特征在于，所述部署模块根据所述部署请求将所述Solr服务部署在所述Ambari管理工具中的一个或多个Agent上包括：

控制所述Agent接收所述部署请求，以获取部署所述Solr服务的通知，并接收所述Server发送的关于所述Solr服务的一个或多个安装和配置文件；

控制所述Agent根据所述安装和配置文件按照预设流程逐步执行针对所述Solr服务的安装部署、服务配置、服务启停以及用户同步，以完成所述Solr服务在所述Agent上的部署。

10.根据权利要求7所述的Solr服务的安装和配置装置，其特征在于，所述监控模块通过所述Apache Ambari管理工具对所述Solr服务进行自动监控包括：

当所述Solr服务正常启动后，控制所述Agent将所述Solr服务的运行状态定时返回给所述Server，所述Server将收集的所述Solr服务的状态信息实时反馈到所述Server的网页Web控制台，实现对所述Solr服务的自动监控。