CN100461710C - 分布式系统日志收集方法及系统 - Google Patents

Abstract

本发明涉及一种分布式系统日志收集方法，包括：接收分布式系统中各个业务模块以预定周期或预定条件上报的日志数据或日志文件；将日志数据或日志文件汇总为新的日志文件并存储；当接收包括收集条件的日志收集指令后，根据日志收集指令将符合收集条件的日志文件进行功能性或关联性组合，传输到指定设备。本发明还涉及了一种分布式系统日志收集系统，包括：上传模块和操作维护中心。本发明由操作维护中心维护业务模块上报的日志文件，只在用户提出请求时，才对符合类别、时间要求的日志文件进行收集，从而既可以不影响系统性能，也能在有针对性地进行有效日志文件的提取。

Description

分布式系统日志收集方法及系统

技术领域

本发明涉及分布式系统领域，尤其是一种分布式系统中日志的收集方法，以及日志收集系统。

背景技术

传统的通信运营通常采用集中式的管理方式，近年来由于分布式系统具有易扩充性、负载均衡、可靠性好等优点，逐渐的渗透到现代通信运营管理当中。在分布式系统中各个业务模块分别作为一个子系统而实现相互独立的业务功能，并通过一个操作维护中心来负责其管理和维护，各个子系统通常在地域上是相互分散的。在分布式系统的各个业务模块独立运行过程中，为了便于对系统进行维护和管理，通常需要记录各种日志。

分布式系统的日志管理主要有两种类型，一种是通过独立的日志收集程序对整个系统的日志进行全面的收集，一种是通过独立的日志收集程序对某一方面的日志信息进行针对性的收集。这两种类型的日志管理都有一定的缺陷，前者收集的冗余日志信息过多，问题分析人员在海量的日志信息中查找有用信息非常困难；后者忽略了各种日志之间的相关性，只对某一方面或模块进行日志收集，可能无法得到分析问题所需要的信息，而且还需要对每个方面都单独开发日志收集程序，成本较高。

发明内容

本发明的目的是提出一种分布式系统日志收集方法及系统，能够对分布式系统中的各个业务模块的日志进行集中管理，并有针对性地收集以方便问题分析人员对日志进行有效的提取。

为实现上述目的，本发明的一个实施例提供了一种分布式系统日志收集方法，包括操作维护中心执行以下步骤：

接收分布式系统中各个业务模块以预定周期或预定条件上报的日志数据或日志文件，或者以预定周期或预定条件采集所述各个业务模块的日志数据或日志文件；

将所述日志数据或日志文件汇总为新的日志文件，并对新的日志文件进行存储；

当接收包括收集条件的日志收集指令后，根据所述日志收集指令将符合所述收集条件的日志文件进行功能性或关联性组合，传输到指定设备。

为了实现上述目的，本发明的一个实施例提供了一种分布式系统日志收集系统，包括：

上传模块，与分布式系统中的各个业务模块相连，用于以预定周期或预定条件接收各个业务模块上报的日志数据或日志文件，或者以预定周期或预定条件采集所述各个业务模块的日志数据或日志文件；

操作维护中心，与所述上传模块相连，用于将日志数据汇总为日志文件，并对日志文件进行存储，当接收包括收集条件的日志收集指令后，操作维护中心根据所述日志收集指令将符合所述收集条件的日志文件进行功能性或关联性组合，传输到指定设备，或提供日志文件的下载服务。

基于上述技术方案，本发明的实施例具有以下优点：本发明实施例中由操作维护中心维护业务模块上报的日志文件，只在用户提出请求时，才对符合类别、时间要求的日志文件进行收集，从而既可以不在系统运行过程中提取大量的数据影响系统性能，也能在很大程度上有针对性地进行有效日志文件的提取。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明分布式系统日志收集方法的一实施例的流程示意图。

图2为本发明分布式系统日志收集方法的另一实施例的流程示意图。

图3为本发明分布式系统日志收集方法的又一实施例的流程示意图。

图4为本发明分布式系统日志收集系统的一实施例的结构示意图。

图5为本发明分布式系统日志收集系统的另一实施例的结构示意图。

图6为本发明分布式系统日志收集系统的又一实施例的结构示意图。

具体实施方式

本发明的实施例是利用操作维护中心维护业务模块上报的日志文件，当用户需要对某方面情况进行分析时，从操作维护中心收集满足时间或类别条件的日志文件。相比于现有技术中通过独立的日志收集程序，这种方式可以克服了现有技术中大量的与问题无关的冗余日志信息，提供用户一些具有关联性的便于分析的日志数据。

如图1所示，为本发明分布式系统日志收集方法的一实施例的流程示意图，本实施例包括以下步骤：

步骤101、操作维护中心接收分布式系统中各个业务模块以预定周期或预定条件上报的日志数据或日志文件，或者以预定周期或预定条件采集所述各个业务模块的日志数据或日志文件，操作维护中心在采集到日志信息后一直进行维护，当收集发生时，从操作维护中心所维护的日志信息进行收集，而不是现有技术中直接从业务模块中收集数据，这样可以极大的提高收集日志的效率和安全性；

步骤102、操作维护中心将日志数据或日志文件汇总为新的日志文件，并对新的日志文件存储，在操作维护中心的日志信息是以具有时间和/或类别标识的日志文件存在，日志的分类有助于针对性的收集，也便于用户查询，举例来说日志可以包括运行日志、操作日志、安全日志、调试日志、告警、网络环境、系统资源等；

步骤103、当操作维护中心接收包括日志类别和/或时间范围的日志收集指令时，操作维护中心根据所述日志收集指令将符合日志类别和/或时间范围的日志文件传输到指定设备。

本发明实施例将日志信息维护在操作维护中心，在需要时直接从操作维护中心进行收集，这样既方便针对性收集，也极大的提高了收集日志的效率和安全性。

实际的业务模块根据是否具有本地硬盘而分为无盘系统的业务模块和有盘系统的业务模块，针对于这两类业务模块下面给出了两个实施例进行说明。

如图2所示，为本发明分布式系统日志收集方法的另一实施例的流程示意图，在本实施例中，无盘系统由于不能在本地存储日志数据，因此在上报时直接将日志数据传送到操作维护中心。本实施例具体步骤如下：

步骤201、当业务模块为无盘系统的业务模块时，以预定周期或预定条件向操作维护中心直接上报日志数据，或者以预定周期或预定条件采集所述各个业务模块的日志数据；

步骤202、操作维护中心将接收到的所述日志数据汇总为日志文件，并对日志文件存储；

步骤203、操作维护中心在接收业务模块上报的日志数据的过程中，监控日志上报过程，如果检测出日志数据上报缺失或未接收到日志数据，则记录该检测内容，并发出通知，同时向该业务模块发起补采请求；

步骤204、当操作维护中心接收包括日志类别和/或时间范围的日志收集指令时，操作维护中心根据所述日志收集指令将符合日志类别和/或时间范围的日志文件传输到指定设备。

在步骤203中，操作维护中心为了日志数据的完整性，需要对日志上报进行监控，当检测到上报过程出错时，将检测到的问题记录下来，并且向用户发出通知信息，然后向该业务模块发起补采请求。无盘系统维护有一个缓冲队列，在缓冲队列中有日志数据，包括已经发送到操作维护中心的日志数据，当所述业务模块接收补采请求后，从在无盘系统维护的缓冲队列中获取相应的日志数据返回给操作维护中心。可以为无盘系统维护的缓冲队列设置缓冲数，当达到预定缓冲数时，就删除缓冲队列中较早时间的日志数据，直到符合预定的缓冲数。

操作维护中心接收到用户发出的收集指令后，便可以进行收集，用户可以通过人机语言(Man Machine Language，简称MML)命令将具有日志类别和/或时间范围的日志收集指令输入到远程计算机或本地计算机，再由远程计算机或本地计算机向操作维护中心请求日志信息的收集。除此之外，操作维护中心还可以提供给用户图形界面，通过对图形界面的操作向操作维护中心发出日志收集指令。

收集的日志可以按分类进行功能性或关联性细化和组合，从而划分出多种收集的类型，并可以进行选择性的收集，最大程度上进行有效数据的提取，也可以进行日志文件的全组合收集。收集的日志还可以按照收集时间进行限定，例如根据日期和时刻进行时间限定，还可以对一个时间段进行时间范围限定。在默认情况下，还可以设置为全时间的日志收集。

所谓功能性组合是指按照整个系统所具有的功能进行日志分类，在实现某种功能时，会产生一些日志，在这些日志中又会有一些日志对分析该功能的运行状态有意义，这些日志就可以通过功能性组合在一起，这样可以在系统的某项功能出现问题时，这些收集的与该功能相关的日志，可以方便用户进行分析。举例来说，功能性组合的实例包括：后台维护、前台业务、用户接入、中心管理等，在设计分类时要注意粒度不能过细，否则会导致日志类别爆炸性的增长。所谓相关性组合是指对于某些日志的产生会受到其他日志的影响，因此对一种日志的分析必然要考虑其他的关联日志，通过分析这些有关联的日志，可以全面的分析与问题相关的日志信息。举例来说，可以在收集运行日志时将网络环境、系统日志、安全日志一并收集；在收集操作日志时可以将运行日志、告警日志等一并收集。

无盘系统只有在运行时才能够维持一定容量的日志数据，因此在本实施例中操作维护中心通过接收无盘系统上报的日志数据，可以维持较长时间的日志信息，供日后进行事件或事务分析。

如图3所示，为本发明分布式系统日志收集方法的又一实施例的流程示意图，在本实施例中，业务模块为有盘系统的业务模块，由于在业务模块本地有存储空间，因此可以将日志数据存储成文件，或者以其他格式存储，在上报时将日志文件或者经过格式转换后的日志文件上报给操作维护中心，具体流程如下：

步骤301、当业务模块为有盘系统的业务模块时，以预定周期或预定条件向操作维护中心上报所述业务模块直接记录的日志文件或经过格式转换后的日志文件，或者以预定周期或预定条件采集所述各个业务模块的直接记录的日志文件或经过格式转换后的日志文件；

步骤302、操作维护中心将接收到的日志文件进行存储；

步骤303、操作维护中心在接收业务模块上报的日志文件的过程中，监控日志上报过程，如果检测出日志文件上报缺失或未接收到日志文件，则记录该检测内容，并发出通知，同时向该业务模块发起补采请求；

步骤304、当操作维护中心接收包括日志类别和/或时间范围的日志收集指令时，操作维护中心根据所述日志收集指令将符合日志类别和/或时间范围的日志文件传输到指定设备。

在业务模块的本地硬盘可以维护预定时间范围和/或容量的日志文件，当日志文件超出预定时间范围和/或预定容量，则删除所述业务模块中较早时间的日志文件，直到符合预定时间范围和/或预定容量。这里的时间范围和容量的参数可以在系统启动时由厂家设置或者由用户手动进行设置。

有盘系统可以维持一定容量的日志文件，并以特定的格式进行存储，在上报时先进行格式转换，然后将日志文件发送给操作维护中心，操作维护中心也可以根据不同日志文件的类别、生成时间等信息进行分类组合。

为了节约数据传输量，还可以对收集的日志文件进行打包压缩处理，在打包压缩后可以直接将压缩后的打包文件通过FTP方式上传到指定设备，或者将压缩后的打包文件生成到FTP服务器来提供一种下载服务，当接收到用户发出的指示下载的指令时，通过FTP方式将被请求的日志的相关打包文件传送到指定设备。

如果在上述三个实施例中考虑到数据冗灾的情况，则需要建立起一个冗灾恢复的机制，可以利用操作维护中心运行的数据备份程序或者专用的数据备份硬件，按照预定周期将日志文件从操作维护中心全备份和/或增量备份到专用备份服务器，对于全备份，可以在较长的周期里进行，而对于增量备份，则可以在较短周期进行，这两种备份方式可以分别单独使用，也可以组合使用。

本发明除了提供分布式系统日志收集方法，还提供了几个分布式系统日志收集系统的实施例，如图4所示，为本发明分布式系统日志收集系统的一实施例的结构示意图，本实施例包括上传模块1和操作维护中心2，其中上传模块1与分布式系统中的各个业务模块相连，能够以预定周期或预定条件接收各个业务模上报的日志数据或日志文件，或者以预定周期或预定条件采集所述各个业务模块的日志数据或日志文件。操作维护中心2与上传模块1相连，可以将日志数据汇总为日志文件，并对日志文件存储，当接收包括收集条件(例如日志类别和/或时间范围)的日志收集指令时，操作维护中心根据所述日志收集指令将符合收集条件(日志类别和/或时间范围)的日志文件传输到指定设备，或提供日志文件的下载服务。

操作维护中心2具体包括以下几个模块：汇总模块4、存储模块5和收集模块6。其中汇总模块4可以将上传模块1所传送的日志数据汇总为日志文件，然后发送到存储模块5中进行存储，对于上传模块1直接传送的日志文件，可以直接发送到存储模块5进行集中存储。收集模块6与存储模块5相连，可以根据日志收集指令将符合日志类别和/或时间范围的日志文件传输到指定设备，以供用户进行分析，或者为用户提供日志文件的下载服务。

操作维护中心2在存储模块5中存储大量的日志文件，便于用户采集分析，这种集中式管理可以充分利用操作维护中心的能力，也可以实现非常复杂的采集逻辑。

根据业务模块是否有本地硬盘将业务模块分为无盘系统的业务模块和有盘系统的业务模块，如图5所示，为本发明分布式系统日志收集系统的另一实施例的结构示意图，其中上传模块可以分为无盘系统上传子模块11和有盘系统上传子模块12，其中无盘系统上传子模块11与分布式系统中的无盘系统的业务模块和汇总模块4相连，以预定周期或预定条件接收所述各个业务模块的上报的日志数据，或者以预定周期或预定条件采集所述各个业务模块的日志数据，而有盘系统上传子模块12与分布式系统中的有盘系统的业务模块和存储模块5相连，能够以预定周期或预定条件接收所述各个业务模块的上报直接记录的日志文件或经过格式转换后的日志文件，或者以预定周期或预定条件采集所述各个业务模块的直接记录的日志文件或经过格式转换后的日志文件。这两种上传子模块可以根据分布式系统中的业务模块类型进行取舍，对于有盘系统和无盘系统都存在时，可以同时使用两种上传子模块，而如果只有一种有盘系统或无盘系统的业务模块，则可只设置单一的上传子模块与之配合。

如图6所示，为本发明分布式系统日志收集系统的又一实施例的结构示意图，与前两个实施例相比，本实施例在操作维护中心2中增加了补采模块7，可以在在接收业务模块上报的日志文件的过程中，监控日志上报过程，如果检测出日志文件上报缺失或未接收到日志文件，则记录该检测内容，并发出通知，同时向该业务模块发起补采请求。另外，为了降低收集日志时的数据量，可以在收集模块中增加第一压缩子模块或者第二压缩子模块，第一压缩子模块可以对日志文件进行打包并压缩，然后直接通过FTP方式将压缩后的打包文件上传到指定设备，而第二压缩子模块与第一压缩子模块的区别在打包并压缩日志文件后，保存到FTP服务器上作为一种下载服务，当用户需要日志文件时，可以通过人机语言指令向第二压缩子模块发出下载指令，第二压缩子模块会通过FTP方式将压缩后的打包文件传送到指定设备。

操作维护中心2在接收日志文件或日志数据过程中可能会出现日志文件或日志数据的上报中断或错误，因此需要采用补采模块7来保证数据的完整性。

在以上几个系统实施例中，为了实现数据冗灾的恢复，还可以进一步的在操作维护中心中增加日志备份模块，按照预定周期将日志文件从操作维护中心全备份和/或增量备份到专用备份服务器，备份的方式可以采用较长周期的全备份，或者较短周期的增量式备份，这两种方式可以单独使用，也可以组合使用。相应的在操作维护中心设置日志恢复模块，在接收到恢复指令时，将符合恢复时间点的日志文件从专用备份服务器恢复到操作维护中心。

综上所述，本发明实施例中由操作维护中心维护业务模块上报的日志文件，只在用户提出请求时，才对符合类别、时间要求的日志文件进行收集，因此既可以不在系统运行过程中提取大量的数据影响系统性能，也能在很大程度上有针对性地进行有效日志文件的提取，从而便于用户更好的分析问题。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (20)

1.一种分布式系统日志收集方法，其特征在于，包括操作维护中心执行以下步骤：

接收分布式系统中各个业务模块以预定周期或预定条件上报的日志数据或日志文件，或者以预定周期或预定条件采集所述各个业务模块的日志数据或日志文件；

将所述日志数据或日志文件汇总为新的日志文件，并对新的日志文件进行存储；

当接收包括收集条件的日志收集指令后，根据所述日志收集指令将符合所述收集条件的日志文件进行功能性或关联性组合，传输到指定设备。

2.根据权利要求1所述的分布式系统日志收集方法，其特征在于，当业务模块为无盘系统的业务模块时，所述操作维护中心接收所述无盘系统的业务模块以预定周期或预定条件直接上报的日志数据，或者以预定周期或预定条件采集所述各个业务模块的日志数据。

3.根据权利要求2所述的分布式系统日志收集方法，其特征在于，操作维护中心在接收业务模块上报的日志数据的过程中，监控日志上报过程，如果检测出日志数据上报缺失或未接收到日志数据，则记录该检测内容，并发出通知，同时向该业务模块发起补采请求。

4.根据权利要求3所述的分布式系统日志收集方法，其特征在于，所述业务模块接收所述补采请求后，从在所述无盘系统维护的缓冲队列中获取相应的日志数据返回给所述操作维护中心。

5.根据权利要求4所述的分布式系统日志收集方法，其特征在于，当所述无盘系统维护的缓冲队列达到预定的缓冲数时，删除所述缓冲队列中较早时间的日志数据，直到符合预定的缓冲数。

6.根据权利要求1所述的分布式系统日志收集方法，其特征在于，当业务模块为有盘系统的业务模块时，所述操作维护中心接收所述有盘系统的业务模块以预定周期或预定条件上报所述业务模块直接记录的日志文件或经过格式转换后的日志文件，或者以预定周期或预定条件采集所述各个业务模块的直接记录的日志文件或经过格式转换后的日志文件。

7.根据权利要求6所述的分布式系统日志收集方法，其特征在于，操作维护中心在接收业务模块上报的日志文件的过程中，监控日志上报过程，如果检测出日志文件上报缺失或未接收到日志文件，则记录该检测内容，并发出通知，同时向该业务模块发起补采请求。

8.根据权利要求6所述的分布式系统日志收集方法，其特征在于，当所述业务模块中日志文件超出预定时间范围和/或预定容量，则删除所述业务模块中较早时间的日志文件，直到符合预定时间范围和/或预定容量。

9.根据权利要求1所述的分布式系统日志收集方法，其特征在于，当所述收集条件为日志类别和/或时间范围时，操作维护中心根据所述日志收集指令将符合所述日志类别和/或时间范围的日志文件传输到指定设备。

10.根据权利要求1所述的分布式系统日志收集方法，其特征在于，在操作维护中心接收日志收集指令之前，远程计算机或本地计算机根据接收的人机语言命令或者图形界面触发的命令，向所述操作维护中心发出日志收集指令。

11.根据权利要求1所述的分布式系统日志收集方法，其特征在于，所述将日志文件传输到指定设备的操作具体为：对所述日志文件进行打包并压缩，然后通过FTP方式将压缩后的打包文件上传到指定设备。

12.根据权利要求1所述的分布式系统日志收集方法，其特征在于，所述将日志文件传输到指定设备的操作具体为：对所述日志文件进行打包并压缩到FTP服务器，当接收到指示下载的用户指令时，通过FTP方式将压缩后的打包文件传送到指定设备。

13.根据权利要求1-12任一所述的分布式系统日志收集方法，其特征在于，还包括备份日志的操作，具体包括：按照预定周期将日志文件从操作维护中心全备份和/或增量备份到专用备份服务器；

当接收到恢复指令时，将符合恢复时间点的日志文件从专用备份服务器恢复到操作维护中心。

14.一种分布式系统日志收集系统，其特征在于，包括：

上传模块，与分布式系统中的各个业务模块相连，用于以预定周期或预定条件接收各个业务模块上报的日志数据或日志文件，或者以预定周期或预定条件采集所述各个业务模块的日志数据或日志文件；

操作维护中心，与所述上传模块相连，用于将日志数据汇总为日志文件，并对日志文件进行存储，当接收包括收集条件的日志收集指令后，操作维护中心根据所述日志收集指令将符合所述收集条件的日志文件进行功能性或关联性组合，传输到指定设备，或提供日志文件的下载服务。

15.根据权利要求14所述的分布式系统日志收集系统，其特征在于，所述操作维护中心包括：

汇总模块，与所述上传模块相连，用于将所述日志数据汇总为日志文件；

存储模块，与所述上传模块和汇总模块相连，用于对日志文件进行集中存储；

收集模块，与所述存储模块相连，用于根据日志收集指令将符合所述收集条件的日志文件传输到指定设备，或提供日志文件的下载服务。

16.根据权利要求15所述的分布式系统日志收集系统，其特征在于，所述上传模块包括：

无盘系统上传子模块，与分布式系统中的无盘系统的业务模块和汇总模块相连，用于以预定周期或预定条件接收所述各个业务模块的上报的日志数据，或者以预定周期或预定条件采集所述各个业务模块的日志数据；

和/或有盘系统上传子模块，与分布式系统中的有盘系统的业务模块和存储模块相连，用于以预定周期或预定条件接收所述各个业务模块的上报直接记录的日志文件或经过格式转换后的日志文件，或者以预定周期或预定条件采集所述各个业务模块的直接记录的日志文件或经过格式转换后的日志文件。

17.根据权利要求15所述的分布式系统日志收集系统，其特征在于，操作维护中心还包括：

补采模块，与所述上传模块相连，用于在接收业务模块上报的日志文件的过程中，监控日志上报过程，如果检测出日志文件上报缺失或未接收到日志文件，则记录该检测内容，并发出通知，同时向该业务模块发起补采请求。

18.根据权利要求15所述的分布式系统日志收集系统，其特征在于，收集模块中还包括第一压缩子模块，用于对所述日志文件进行打包并压缩，然后通过FTP方式将压缩后的打包文件上传到指定设备。

19.根据权利要求15所述的分布式系统日志收集系统，其特征在于，收集模块中还包括第二压缩子模块，用于对所述日志文件进行打包并压缩到FTP服务器，当接收到指示下载的用户指令时，通过FTP方式将压缩后的打包文件传送到指定设备。

20.根据权利要求14-19任一所述的分布式系统日志收集系统，其特征在于，操作维护中心还包括日志备份模块，用于按照预定周期将日志文件从操作维护中心全备份和/或增量备份到专用备份服务器；

日志恢复模块，用于在接收到恢复指令时，将符合恢复时间点的日志文件从专用备份服务器恢复到操作维护中心。

Images