CN110727441A - 一种flume代理安装方法、系统及存储介质 - Google Patents

Abstract

一种flume代理安装方法、系统及存储介质，能够实现flume代理的自动安装。所述方法包括：通过预设的管理界面接收安装命令，并获取待安装flume代理的服务器信息；根据所述服务器信息与待安装flume代理的服务器进行通信，自动配置，实现所述flume代理的安装；在所述管理界面展示已安装的flume代理。采用本发明技术方案能够实现flume自动化安装和配置，可以简化繁杂的软件安装运维工作。

Description

一种flume代理安装方法、系统及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种flume代理安装方法、系统及存储介质。

背景技术

flume(一种日志收集系统，无中文技术术语)是一个可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务。flume具有高可用、分布式等特点，其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS或HBase等集中存储器中。

现有的日志采集系统大部分都是基于flume软件的，但是目前对flume系统的运维工作，仍是通过运维人员手工进行，这种运维方式耗费大量的人力物力，且出错的概率高。

发明内容

为解决上述技术问题，本发明实施例提供一种flume代理安装方法及、系统及存储介质，可实现自动安装。

一方面，本发明实施例提供一种flume代理安装方法，包括以下步骤：

通过预设的管理界面接收安装命令，并获取待安装flume代理的服务器信息；

根据所述服务器信息与待安装flume代理的服务器进行通信，自动配置，实现所述flume代理的安装；

在所述管理界面展示已安装的flume代理。

另一方面，本发明实施例还提供一种flume代理安装系统，包括处理器，适于执行计算机程序；存储器，用于存储计算机程序，所述计算机程序用于由所述处理器加载并执行时实现上述方法的步骤。

另一方面，本申请提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的RGB到RGBW的渲染方法的步骤。

本发明实施例技术方案通过自动根据获取的服务器信息与待安装flume代理的服务器进行通信，进行自动配置，实现flume代理的自动安装，并在预设管理界面可视化展示已安装的flume代理，减少了手动安装的耗费人力、时间且容易出错的弊端。此外，通过上述方法还可以控制flume代理进程的开始或停止，方便用户操作。提高了flume集群的运维灵活性，简易性和安全性。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书、权利要求书以及附图中所描述的方案来实现和获得。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例flume代理安装方法流程图；

图2为本发明实施例一种flume代理安装系统结构示意图；

图3为本发明应用实施例的flume代理的安装配置、启动、停止流程图；

图4为本发明实施例另一种flume代理安装系统的组成结构示意图。

具体实施方式

本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。

本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。

此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。

如图1所示，本发明实施例的flume代理安装方法包括以下步骤：

步骤11，通过预设的管理界面接收安装命令，并获取待安装flume代理的服务器信息；

所述安装命令例如可以是用户通过点击管理界面上按钮的方式进行发送。用户可以通过管理界面的对话框输入待安装flume代理的服务器信息。根据安装流程的不同，服务器信息的内容也可能不同。

步骤12，根据所述服务器信息与待安装flume代理的服务器进行通信，自动配置，实现所述flume代理的安装；

步骤13，在所述管理界面展示已安装的flume代理。

通过上述方法可以实现可视化的flume运维管理，极大节省了人力资源并且减少了程序出错的概率。

在一示例性实施例中，可以通过上述方法进行flume代理的安装。此时，所述安装命令包括flume代理安装命令，所述待安装flume代理的服务器信息包括：目标服务器地址、收集日志所在目录；此时，所述自动配置的步骤包括：为所述待安装的flume代理分配唯一标识，自动配置flume配置文件以使所述flume标识与收集日志所在目录相对应。

在一示例性实施例中，除了进行flume代理的安装外，还可以通过上述方法进行flume代理程序(以下简称flume程序)的安装。此时，在接收安装命令后，所述方法还包括：判断待安装flume代理的服务器是否安装有flume程序，如果有，则继续安装flume代理的流程，如果没有，则通过所述管理界面获取待安装flume代理的服务器的程序安装目录，例如通过对话框提示用户输入待安装flume代理的服务器的程序安装目录。在一示例性实施方式中，如果用户已知待安装flume代理的服务器没有flume程序，则可以在输入目标服务器地址和收集日志所在目录的同时输入程序安装目录。此时，所述自动配置的步骤包括：向所述待安装flume代理的服务器的程序安装目录传输flume程序安装包以及进行环境变量配置。在进行环境变量配置后，再为待安装的flume代理分配唯一标识，自动配置flume配置文件。

每个由唯一标识flumeID标识的flume代理包括三个组件：source、channel和sink，其中source用于收集数据并传输给channel，channel用于进行数据缓存，sink用于将数据从channel传输到目标目录即收集日志所在目录。flume配置文件的自动配置包括：

为source配置待采集文件夹的位置；

配置消息拦截器interceptors，拦截器会将该采集日志系统的系统标识(sysId)加入到日志中；

为channel配置数据存储方式，例如可以采用默认的文件存储方式；

为sink配置日志存储的位置(对应存储介质)，例如配置为用户设置的收集日志所在目录，例如可以为一个分布式消息系统kafka的地址。

在一示例性实施例中，服务器信息中还可以包括用户名和密码信息，其中密码信息可以是密码本身，或者也可以是可访问服务器的密钥所在目录。

在一示例性实施例中，在自动配置完成后，所述方法还包括：检查安装是否成功。例如可以通过flume-ng version命令检查安装是否成功，如果安装成功，则在所述管理界面展示已安装的flume代理，如果安装不成功，则进行告警。

在一示例性实施例中，由于管理界面中展示有已安装的flume代理，用户可以对任一flume代理执行启动或停止。

启动进程的方法包括：通过所述管理界面接收对已安装的flume代理的启动命令，启动所述flume代理进程。

例如，可以通过以下命令启动flume代理进程：flume-ng agent-c conf-fflume.conf-n agent{agentId}-Dflume.root.logger＝INFO,console，其中：

flume-ng agent是flume启动agent进程的命令；

-c conf表示使用配置文件；

-f flume.conf表示使用名字叫flume.conf的配置文件；

-n agent{agentId}表示指明启动时按照配置文件中对于用agentId指定的agent的配置，agentId为所述flume代理的唯一标识，配合agentId使用可以保证全局唯一性；

-Dflume.root.logger＝INFO,console表示指定打印日志的级别(INFO)和位置(控制台)。

停止进程的方法包括：通过所述管理界面接收对已安装的flume代理的停止命令，停止所述flume代理进程。

例如，可以通过命令ps-ef|grep flume|grep agent{agentId}$提取操作系统进程标识(pid)，通过杀死操作系统进程命令(kill pid)停止flume代理进程，其中：

ps-ef表示查询系统运行的进程；

grep flume表示过滤出所有的flume进程；

grep agent{agentId}$表示通过全局唯一个agentId来过滤出要停止的agent进程；

“|”是管道操作符，用来连接两个命令，将前一个命令的输出作为后一个命令的输入。

通常查看flume是否启动成功是通过jps命令查看所有的java进程中是否有flume进程，但是此时可能同时有多个flume进程启动，因此为了精准确定一个agent进程，本发明实施例采用agentId来唯一筛选出要启动或停止的agent，保证系统的安全性。

本发明实施例提供一个完整的能够实现flume自动化安装、配置、启动和停止的运维方法，简化繁杂的软件安装运维工作。

如图2所示，实现上述flume代理安装方法的系统包括：命令及信息获取模块21、安装及配置模块22和展示模块23，其中：

所述命令及信息获取模块21，用于通过预设的管理界面接收安装命令，并获取待安装flume代理的服务器信息；

所述安装及配置模块22，用于根据所述服务器信息与待安装flume代理的服务器进行通信，自动配置，实现所述flume代理的安装；

所述展示模块23，用于在所述管理界面展示已安装的flume代理。

在一示例性实施例中，当所述命令及信息获取模块21接收到的安装命令包括flume代理安装命令，获取的待安装flume代理的服务器信息包括：服务器地址、收集日志所在目录时，所述安装及配置模块22执行的自动配置过程包括：为所述待安装的flume代理分配唯一标识，自动配置flume配置文件以使所述flume标识与收集日志所在目录相对应。

在一示例性实施例中，如果安装及配置模块22判断待安装flume代理的服务器如果没有安装flume程序，则通过命令及信息获取模块21获取待安装flume代理的服务器的程序安装目录；或者如果所述命令及信息获取模块21获取的待安装flume代理的服务器信息除了包括服务器地址、收集日志所在目录外，还包括程序安装目录。则此时安装及配置模块22执行的自动配置过程包括以下内容：向所述待安装flume代理的服务器的程序安装目录传输flume程序安装包、进行环境变量配置、为所述待安装的flume代理分配唯一标识、自动配置flume配置文件以使所述flume标识与收集日志所在目录相对应。

在一示例性实施例中，安装及配置模块22自动配置完成后，还用于检查安装是否成功。

在一示例性实施例中，当所述命令及信息获取模块21接收到的安装命令包括对已安装的flume代理的启动命令，则由安装及配置模块22启动所述flume代理进程。

在一示例性实施例中，当所述命令及信息获取模块21接收到的安装命令包括对已安装的flume代理的停止命令，则由安装及配置模块22停止所述flume代理进程。

本发明实施例提供一个能够实现flume自动化安装、配置、启动和停止的运维管理系统，可以简化繁杂的软件安装运维工作。

下面以同时安装flume程序并增加flume代理为例，对上述实施例方法和系统进行说明，如图3所示，包括以下步骤：

步骤101：系统通过ganymed-ssh2软件包与待安装的服务器进行基于ssh(一种安全网络协议，无中文技术术语)通讯协议的通信，自动上传flume安装包到配置的安装目录，为待安装的flume代理设置一个全局唯一的agentId，解压缩安装文件，通过flume-ngversion命令检查安装是否成功，若安装成功，则进行步骤102；若安装失败，则进行告警，可等待运维人员排查故障后重新进行安装；

例如，用户通过点击flume管理系统页面的增加flume agent的功能按钮向系统发送安装命令，在flume agent配置信息对话框中填写待安装agent的服务器的ip地址、用户名、密码或者可访问服务器的密钥的所在目录、程序安装目录，以及收集日志的所在目录；系统接收到安装命令后会通过ganymed-ssh2软件包与要安装的服务器进行基于ssh通讯协议的通信，系统自动上传flume安装包到配置的安装目录，进行安装及环境变量配置，flume软件配置文件进行自动化配置；随后为待安装的flume代理设置一个全局唯一的agentId，解压缩安装文件，安装完成之后通过flume-ng version命令检查安装是否成功；

步骤102:安装成功后，通过管理界面的flume代理列表向用户展示当前已安装的flume代理，此时flume自动化安装、配置过程结束；如果接收到启动命令，例如用户点击了某个flume代理的启动按钮，则转到步骤103；如果接收到停止命令，例如用户点击了某个flume代理的停止按钮，则转到步骤104；

步骤103：系统通过ganymed-ssh2软件包与对应的服务器进行基于ssh通讯协议的通信，控制相应的flume代理开始进行日志采集；

可选地，系统通过命令flume-ng agent-c conf-f flume.conf-n agent{agentId}-Dflume.root.logger＝INFO,console启动flume代理进程，开始进行日志的采集。

步骤104：系统通过ganymed-ssh2软件包与对应的服务器进行基于ssh通讯协议的通信，控制相应的flume代理停止日志采集；

可选地，系统通过命令ps-ef|grep flume|grep agent{agentId}$找到相应的flume agent进程，提取pid(操作系统进程标识)，通过kill(杀死)pid命令停止flumeagent进程。

图4所示为本发明实施例的另一种flume代理安装系统的组成结构示意图，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。处理器用于执行预先设置的计算机程序，实现flume代理的自动安装配置、启动和停止的功能；

本发明实施例方法和系统根据服务器信息与待安装flume代理的服务器进行通信，进行自动配置，实现flume代理的安装，并在预设管理界面展示已安装的flume代理，还可以控制flume代理开始或停止进程。通过页面可视化flume管理系统进行相关运维管理工作，极大节省了人力资源并且减少了程序出错的概率，提高了flume集群的运维灵活性，简易性和安全性。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种flume代理安装方法，其特征在于，包括：

通过预设的管理界面接收安装命令，并获取待安装flume代理的服务器信息；

根据所述服务器信息与待安装flume代理的服务器进行通信，自动配置，实现所述flume代理的安装；

在所述管理界面展示已安装的flume代理。

2.根据权利要求1所述的方法，其特征在于，其中，

所述安装命令包括flume代理安装命令，所述待安装flume代理的服务器信息包括：服务器地址、收集日志所在目录；

所述自动配置包括：为所述待安装的flume代理分配唯一标识，自动配置flume配置文件以使所述flume标识与收集日志所在目录相对应。

3.根据权利要求2所述的方法，其特征在于，

所述方法还包括：判断待安装flume代理的服务器如果没有安装flume程序，则通过所述管理界面获取待安装flume代理的服务器的程序安装目录；

所述自动配置还包括：向所述待安装flume代理的服务器的程序安装目录传输flume程序安装包以及进行环境变量配置。

4.根据权利要求1所述的方法，其特征在于，所述自动配置完成后，所述方法还包括：

检查安装是否成功。

5.根据权利要求4所述的方法，其特征在于，所述检查安装是否成功，包括：通过flume-ng version命令检查安装是否成功，如果安装成功，则在所述管理界面展示已安装的flume代理，如果安装不成功，则进行告警。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过所述管理界面接收对已安装的flume代理的启动命令，启动所述flume代理进程；或者，

通过所述管理界面接收对已安装的flume代理的停止命令，停止所述flume代理进程。

7.根据权利要求6所述的方法，其特征在于，所述启动flume代理进程包括：

通过以下命令启动flume代理进程：flume-ng agent-c conf-f flume.conf-n agent{agentId}-Dflume.root.logger＝INFO,console，其中flume.conf为配置文件名称，agentId为所述flume代理的唯一标识。

8.根据权利要求6所述的方法，其特征在于，所述停止flume代理进程包括：

通过以下命令ps-ef、grep flume和grep agent{agentId}$提取操作系统进程标识，通过杀死操作系统进程命令停止flume代理进程，其中agentId为所述flume代理的唯一标识。

9.一种flume代理安装系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-8中任一项所述方法的步骤。

10.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1-8中任一项所述的方法。

Images