CN103870560A - 一种用于集群的日志管理方法 - Google Patents

Abstract

本发明涉及一种用于集群的日志管理方法，该方法给集群中的每个节点配置底层的日志管理系统LOG、日志管理中心LMC以及RabbitMq服务，所述方法包括步骤：1)启动集群中的一个节点，并同时启动该节点的LOG、LMC和RabbitMq服务；2)启动集群中的其他节点，并同时只需启动该节点的LOG和RabbitMq服务；3)日志管理系统LOG负责记录集群中的日志，日志管理中心LMC负责收集每个节点的日志并提供在WEB访问的服务。与现有技术相比，本发明具有自动记录文件、方便快捷并可以通过WEB方式查看等优点。

Description

一种用于集群的日志管理方法

技术领域

本发明涉及一种日志管理方法，尤其是涉及一种用于集群的日志管理方法。

背景技术

当前计算机已经成为人类工作学习和生活中的一部分，随着计算机的运行会产生许多日志，这些日志记录着计算机在运行过程中系统调用以及程序运行的异常和正常情况。当计算机出现异常时，通过查看日志可快速定位异常原因，修复问题，使计算机能够稳定工作。

特别是在企业中日志的作用不容小觑，可以帮助管理员和运维人员排查问题，提升系统性能，提高企业的生产效率，减少损失。所以如何管理分类和保存这些日志，对我们的生活和工作是非常重要的。大多数的企业都是会使用多台服务器，来存放企业中的应用、软件和数据。当一台机器发生故障时，排查问题繁琐，消耗大量的人力财力，还受限于地点时间等各种外在因素。

集群是一种计算机系统，它由一组松散集成的计算机软件或硬件连接起来，高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群中的单个计算机通常称为节点，集群通过局域网连接，也支持其它的连接方式。集群通常用来改进单个计算机的计算速度和数据流的负载均衡。集群以其极快的计算速度和低廉的价格，受到企业的青睐并在企业中普及开来。集群是由节点组成的一个庞大的系统，其节点数量从几台到几百台甚至上千台不等。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种自动记录文件、方便快捷并可以通过WEB方式查看的用于集群的日志管理方法，用于分类管理集群中的日志，包括系统日志，软件日志，存放在指定目录下，有详细的时间和描述，也可以通过WEB访问查看日志，做到无论何时何地都可以监控系统的运行情况，提高企业和个人的工作效率，节约了企业和个人的时间和资源。

本发明的目的可以通过以下技术方案来实现：

一种用于集群的日志管理方法，其特征在于，该方法给集群中的每个节点配置底层的日志管理系统LOG、日志管理中心LMC以及RabbitMq服务，所述方法包括步骤：

1)启动集群中的一个节点，并同时启动该节点的LOG、LMC和RabbitMq服务；

2)启动集群中的其他节点，并同时只需启动该节点的LOG和RabbitMq服务；

3)日志管理系统LOG负责记录集群中的日志，日志管理中心LMC负责收集每个节点的日志并提供在WEB访问的服务。

所述日志管理中心LMC启动服务时会创建一个数据库，该数据库含有表格I和表格D，所述表格I记录激活节点信息，用于保证只有在激活节点上运行LMC服务，表格D记录日志的详细信息。

所述的日志的详细信息包括日志记录时间、记录者名称、记录者所在节点IP和日志内容，该日志内容包括调用CPU使用率、运行是否正常。

所述日志管理系统LOG提供服务包括步骤：

411)某服务调用日志管理系统；

412)日志管理系统判断是否首次调用，若为是，执行步骤413)，若为否，则执行步骤414)；

413)LOG为该服务在制定路径下创建文件夹并在文件夹内创建一个以该服务命名的文件夹，在该文件夹下创建一个目志文件，并将日志写入该日志文件中，并执行步骤415)；

414)LOG扫描制定路径下所有文件夹名，找到该服务对应的文件夹后，将日志内容写入该文件夹下的日志文件中，并执行步骤415)；

415)LOG通过RabbitMq服务向LMC发送日志，LMC负责将收到的日志记录到数据中。

所述日志管理中心提供服务包括步骤：

421)LOG通过RabbitMq服务发送消息给LMC模块；

422)LMC判断是否为多条消息，若为是，执行步骤423)，若为否，则执行步骤424)；

423)LMC将多条消息排成队列，并执行步骤424)；

424)LMC检测是否已经创建数据库，若为是，执行步骤426)，若为否，则执行步骤425)；

425)创建一个数据库，再将消息记录到数据库中；

426)直接将消息记录到已创建的数据库中。

与现有技术相比，本发明具有以下优点：

1)由于采用了本发明日志管理的方法，方便快捷，减轻了集群管理人员的工作任务，做到了成本低、效率高。

2.)将集群中的日志统一由LOG和LMC服务进行管理，极大的方便了日志的查看、删除、列举等操作，大大提高了集群的工作效率，集群中的节点越多，这种优势越明显。

3)在集群的发现节点的过程中，多数情况下由程序自动执行，无需人工干预，不影响集群正常运转，不需要复杂的配置和额外的工具，因此本方案具有易操作、易维护的特点。

4)本发明不仅适用于不同品牌的服务器平台，对于各种虚拟机也同样适用，因此具有很好的硬件平台适应性，得益于RabbitMQ服务，该服务的稳定性极高，可以保证集群在长时间高负荷稳定工作，减少了维护集群系统时对用户业务的影响。

5)在集群运行过程中，当集群中的某一个节点发生异常或者需要查看某一个节点的运行状况时候，可以直接打开指定目录查看某服务的运行状态，当由于地理位置无法直接进入机房查看时，可以通过WEB轻松访问日志，极大的便利了维护人员的工作。

附图说明

图1为本发明的工作流程图；

图2为本发明日志管理系统提供服务的工作流程图；

图3为本发明日志管理中心提供服务的工作流程图；

图4为本发明日志文件组织结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示为本发明主要步骤，本发明中，主要涉及三个较关键的部分，LOG服务，RabbitMq服务和LMC服务。下面是对本发明的实施例进一步说明。

1)安装Linux系统并启动。

2)选取集群中的一台计算机，正确安装好所需要的Linux系统，并对Linux系统配置后启动。正确安装LOG服务并启动，RabbitMq服务和LMC服务。此时启动的计算机成为ACTIVE节点，注意LMC服务只需要在ACTIVE节点启动，其他节点无需启动。

启动方法：只需要找到上述服务的安装目录，在目录下执行命令seviceLmc server start sevice LOG server start sevice RabbitMq_server start即可。

3)启动其他节点。

启动集群中的其他节点，正确安装LOG、RabbitMq服务并启动，无需启动LMC服务。然后启动集群其他服务：在集群中所有节点上正确启动集群中的其他服务。并根据业务需要相应的增加服务和软件。

4)集群日志的记录过程。

LOG服务在指定目录下(默认路径为/var/log/service_log)创建以调用者命名的文件夹和一个记录文件(默认名称为Logger.pki)，该文件记录了所有调用者的名称，和每个调用者最多能记录的文件数(默认为100个)。每个文件夹下会有所有日志文件(默认最多为100个，命名为log0，logl…依次类推)和一个标识文件(默认名称为Log.pki)，该文件记录了当前记录的文件位置和需要记录的行数(默认一条日志记录一行)。文件组织结构如图4所示，log为文件名，10000表示log0文件已经记录了10000条日志(默认一个文件做多可以记录10000条日志，超过10000条则需要新创建新的文件来记录日志

41)LOG服务的运行过程如图2所示：

4儿)服务甲调用LOG服务；

412)日志管理系统判断是否首次调用，即LOG服务会首先查询logger.pki文件，查看服务甲在文件里面是否有记录，若为是，执行步骤413)，若为否，则执行步骤414)，此处注意如果该文件已写满，同样执行步骤413)；

413)创建文件夹并在文件夹内创建一个文件A，写入日志；

414)打开所述文件A并写入日志。

如图3所示，所述日志管理中心提供服务包括步骤：

421)LOG通过RabbitMq服务发送消息给LMC模块；

422)LMC判断是否为多条消息，若为是，执行步骤423)，若为否，则执行步骤424)；

423)LMC将多条消息排成队列，并执行步骤424)；

424)LMC检测是否已经创建数据库，若为是，执行步骤426)，若为否，则执行步骤425)；

425)创建一个数据库，再将消息记录到数据库中；

426)直接将消息记录到已创建的数据库中。

LMC服务启动之后，会创建一个数据库(默认名称为LMC＿db)该数据库有两张数据库表格，数据库表格I记录激活节点的IP，数据库表格D记录了日志的内容。当收到消息之后，LMC服务会首先判断数据库是否存在，若不存在，则去创建，否则将解析消息内容，并且记录到数据库中。

43)各个服务共同完成集群中的日志记录。

当服务A调用LOG服务记录一条日志时，在记录完成之后，LOG服务会向LMC服务通过RabbitMq向LMC服务发送一条消息，LMC收到消息之后，会解析消息内容，并将消息内容记录到数据库中。此时打开WEB可以通过网页查看服务A记录的日志。

上述过程即为集群中一种日志的记录方法，在服务运行过程中可记录任意日志，方便查看，不影响服务的正常使用，即使集群日志服务异常甚至停止亦不影响服务A的正常使用。

Claims (5)

1.一种用于集群的日志管理方法，其特征在于，该方法给集群中的每个节点配置底层的日志管理系统LOG、日志管理中心LMC以及RabbitMq服务，所述方法包括步骤：

1)启动集群中的一个节点，并同时启动该节点的LOG、LMC和RabbitMq服务；

2)启动集群中的其他节点，并同时只需启动该节点的LOG和RabbitMq服务；

3)日志管理系统LOG负责记录集群中的日志，日志管理中心LMC负责收集每个节点的日志并提供在WEB访问的服务。

2.根据权利要求1所述的一种用于集群的日志管理方法，其特征在于，所述日志管理中心LMC启动服务时会创建一个数据库，该数据库含有表格I和表格D，所述表格I记录激活节点信息，用于保证只有在激活节点上运行LMC服务，表格D记录日志的详细信息。

3.根据权利要求2所述的一种用于集群的日志管理方法，其特征在于，所述的日志的详细信息包括日志记录时间、记录者名称、记录者所在节点IP和日志内容，该日志内容包括调用CPU使用率、运行是否正常。

4.根据权利要求1所述的一种用于集群的日志管理方法，其特征在于，所述日志管理系统LOG提供服务包括步骤：

411)某服务调用日志管理系统；

412)日志管理系统判断是否首次调用，若为是，执行步骤413)，若为否，则执行步骤414)；

413)LOG为该服务在制定路径下创建文件夹并在文件夹内创建一个以该服务命名的文件夹，在该文件夹下创建一个日志文件，并将日志写入该日志文件中，并执行步骤415)；

414)LOG扫描制定路径下所有文件夹名，找到该服务对应的文件夹后，将日志内容写入该文件夹下的日志文件中，并执行步骤415)；

415)LOG通过RabbitMq服务向LMC发送日志，LMC负责将收到的日志记录到数据中。

5.根据权利要求1所述的一种用于集群的日志管理方法，其特征在于，所述日志管理中心提供服务包括步骤：

421)LOG通过RabbitMq服务发送消息给LMC模块；

422)LMC判断是否为多条消息，若为是，执行步骤423)，若为否，则执行步骤424)；

423)LMC将多条消息排成队列，并执行步骤424)；

424)LMC检测是否已经创建数据库，若为是，执行步骤426)，若为否，则执行步骤425)；

425)创建一个数据库，再将消息记录到数据库中；

426)直接将消息记录到已创建的数据库中。

Images