CN106250406A - 一种日志处理方法 - Google Patents

Abstract

本发明公开了一种日志处理方法，客户端对采集到的新增的日志信息进行过滤，能够减少传输日志信息时无效日志信息所占用的传输带宽，将实时性高的日志信息实时发送给服务器，将实时性低的日志信息延后发送给服务器，能够有效地缩短日志信息采集的周期，日志服务器将告警日志信息及时发送给告警处理装置，能够满足对日志信息中的告警信息及时输出的要求，并将非告警日志信息分别存储到不同的存储位置中，日志信息的类别与针对日志信息进行操作的操作类别相对应，使得日志操作平台在对日志信息进行操作的过程中，能够根据操作类别来判断出日志信息的存储位置，能够快速有效地缩短对对日志数据操作的处理时间、提高处理效率。

Description

一种日志处理方法

技术领域

本发明涉及数据处理领域，尤其是涉及一种日志处理方法。

背景技术

对于业务支撑网运营管理系统来说，随着支撑网络和业务的复杂性和多元性逐渐加强，业务监控的粒度也越来越细，由此产生的服务日志信息量越来越多，特别是业务服务日志的数据量更大。一个通信运营商一天的业务服务日志可能会超过200G，而且这些业务服务日志分布在几十台服务器上。同时，业务监控中心对告警信息的实时性要求越来越高。如何快速完成日志的采集、提炼处理、存储、高效查询成为业务支撑网运营管理系统关注的重点。

目前，针对日志信息的采集方法主要有两种方式来实现：

采集方法一：集中处理服务器（或称为服务器）上的处理程序通过Telnet采集（即远程控制命令采集）分布在各个日志服务器上的日志信息，或者通过日志服务器上的代理程序将日志信息收集到集中处理服务器上；集中处理服务器上的处理程序根据日志提炼规则或者提炼逻辑进行日志的提炼处理。

采集方法二：各个日志服务器（或称为客户端）对自身的日志数据进行净化处理，净化处理包括对日志信息的抽取、合并和保存等操作过程，并将净化处理后的日志数据上传到集中处理服务器，集中处理服务器将收到的日志数据文件根据时间周期合并为一个文件，进行提炼处理。

现有技术针对日志信息的存储和操作通过以下两种方式来解决：

存储和操作方法一：当日志信息提炼完成后，根据需要的要素保持到磁盘关系型数据库，通过SQL语句进行统计分析、告警信息过滤采集，通过标准SQL提供对外的查询；

存储和操作方法二：当日志信息提炼后，保存到文件中，提供相关的通用接口，通过对文件全量的扫描，提供对外的统计处理服务。

从上述采集方法中可以看出，现有的日志信息采集方法存在以下缺陷：

采集方法一存在显著日志处理性能瓶颈，集中处理服务器采集到的各个日志服务器上的日志信息中包括大量无效的日志信息，传输这些无效的日志信息占用了大量的网络传输带宽，极大地影响了日志信息的采集速度和采集周期；更重要的是，随着业务日志达到一定规模，无效的日志信息对集中服务器处理压力就变得更为显著，这样就造成集中处理服务器上的处理逻辑越来越复杂，处理日志信息、输出日志信息中的告警信息的及时性得不到保证；

采集方法二虽然在日志服务器上先对日志进行净化，净化处理包括抽取、合并和保存等操作过程，这就使得净化处理延长了日志信息采集的周期，同样极大地影响了日志信息的采集速度；以及在后续集中服务器对日志信息的存储查询处理中，输出日志信息中的告警信息的及时性得不到保证。

从上述存储查询方法中可以看出，现有的存储操作方法存在以下缺陷：

存储和操作方法一：将提炼处理后的日志信息保存在磁盘关系型数据库（比如Oracle）中，通过SQL语句对其中的海量数据进行检索和查询，对于复杂的数据分析场景，往往需要对多张大表做笛卡尔集合后再关联查询，造成等待响应的时间过长，无法满足对日志信息中的告警信息及时输出的要求；

存储和操作方法二：处理后的数据保存在文件中，通常文件根据时间段来组织的。故后续的分析处理，一般会对一个文件全量进行扫描处理，显然查询和分析处理的效率比较低，也无法满足对日志信息中的告警信息及时输出的要求。

可见，现有的针对海量日志信息的采集处理和存储查询处理方法，存在采集周期过长、无效日志信息占用过多传输带宽的问题，对海量日志信息的查询和统计处理的处理时间长、效率低，无法满足对日志信息中的告警信息及时输出的要求的问题。

发明内容

本发明实施例提供一种日志处理方法，用以解决现有技术中针对海量日志信息的采集处理和存储查询处理方法，存在采集周期过长、无效日志信息占用过多传输带宽的问题，对海量日志信息的操作处理时间长、效率低，无法满足对日志信息中的告警信息及时输出的要求的问题。

本发明实施例技术方案如下：

一种海量日志信息的处理方法，包括：日志客户端采集日志客户端上新增的日志信息；按照预定的过滤规则对采集到的日志信息中的数据进行过滤；根据预定的日志信息和实时性等级的对应关系，在过滤后的日志信息中携带与日志信息相对应的实时性等级的实时性标识；根据日志信息中的实时性标识，将实时性标识所代表的高实时性的日志信息实时发送给日志服务器，将实时性标识所代表的低实时性的日志信息延后发送给日志服务器。

根据本发明实施例的技术方案，在本发明实施例提供的用于日志信息采集的海量日志信息的处理方法中，日志客户端对采集到的新增的日志信息进行过滤，能够过滤掉采集到的日志信息中的无效日志信息，减少传输日志信息时无效日志信息所占用的传输带宽，并根据预定的日志信息和实时性等级的对应关系，在过滤后的日志信息中携带实时性标识，在将过滤后的日志信息发送给服务器的过程中，将实时性高的日志信息实时发送给服务器，将实时性低的日志信息延后发送给服务器，能够有效地缩短日志信息采集的周期；在本发明实施例提供的用于日志信息的存储的海量日志信息的处理方法中，日志服务器将告警日志信息及时发送给告警处理装置，能够快速地将告警信息发送给告警处理装置，能够满足对日志信息中的告警信息及时输出的要求，根据非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、所述服务器的内存数据库或者文件系统，并且，日志信息的类别与针对日志信息进行操作的操作类别相对应，使得日志操作平台在对日志信息进行操作的过程中，能够根据操作类别来判断出日志信息的存储位置，并且关系型数据库和内存数据库中对数据的读取速度较快，能够快速有效地缩短对对日志数据操作的处理时间、提高处理效率，从而能够解决现有技术中针对海量日志信息的采集处理和存储查询处理方法，存在采集周期过长、无效日志信息占用过多传输带宽的问题，对海量日志信息的操作处理时间长、效率低，无法满足对日志信息中的告警信息及时输出的要求的问题。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

图1是本发明实施例提供的海量日志信息的处理方法的工作流程图。

具体实施方式

以下结合附图对本发明的实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。

图1示出了本发明实施例提供的海量日志信息的处理方法的工作流程图，该方法用于在日志客户端采集日志信息，该方法包括：

步骤101、日志客户端采集所述日志客户端上新增的日志信息；

优选地，日志客户端可以通过爬虫程序采集所述日志客户端上新增的日志信息；通过在日志客户端部署爬虫程序，可以高效地采集到日志客户端上新增的日志信息，并且，还可以通过日志服务器向日志客户端推送需要采集的日志信息中的关键字，来更新爬虫程序的采集策略；本发明实施例中的爬虫程序可以通过现有技术中的爬虫程序的原理来实现；

步骤102、按照预定的过滤规则对采集到的日志信息中的数据进行过滤；

具体地，按照过滤规则中包括的关键字或者关键字值，保留采集到的日志信息中包含有所述关键字（例如表示业务类别的关键字）或者所述关键字值（例如某一指定的IP地址）的日志信息作为过滤得到的日志信息；其中，日志信息至少包括：日志标识、日志信息生成的开始时刻、结束时刻和日志信息的类别；

优选地，预定的过滤规则可以是日志服务器推送给日志客户端的也可以是预先存储在日志客户端中的；

步骤103、根据预定的日志信息和实时性等级的对应关系，在过滤后的日志信息中携带与日志信息相对应的实时性等级的实时性标识；

其中，实时性标识所代表的高实时性的日志信息包括：采集日志信息时调用接口的时间长的日志信息构成的日志信息；实时性标识所代表的低实时性的日志信息包括：用于针对统计操作的日志信息或用于非实时查询操作的数据；

优选地，预定的日志信息和实时性等级的对应关系可以是日志服务器推送给日志客户端的也可以是预先存储在日志客户端中的；

步骤104、根据日志信息中的实时性标识，将实时性标识所代表的高实时性的日志信息实时发送给日志服务器，将实时性标识所代表的低实时性的日志信息延后发送给所述日志服务器。

其中，将实时性标识所代表的低实时性的日志信息延后发送给所述日志服务器的处理，具体包括：向日志服务器发送请求，在接收到来自日志服务器的等待响应后，等待预定的等待时间，在等待所述等待时间到时后，将实时性标识所代表的低实时性的日志信息发送给所述日志服务器；在接收到来自日志服务器的发送响应后，将实时性标识所代表的低实时性的日志信息发送给日志服务器。

根据图1所示的方法，客户端对采集到的新增的日志信息进行过滤，能够过滤掉采集到的日志信息中的无效日志信息，减少传输日志信息时无效日志信息所占用的传输带宽，并根据预定的日志信息和实时性等级的对应关系，在过滤后的日志信息中携带实时性标识，在将过滤后的日志信息发送给服务器的过程中，将实时性高的日志信息实时发送给服务器，将实时性低的日志信息延后发送给服务器，能够有效地缩短日志信息采集的周期，从而能够解决现有技术中针对海量日志信息的采集处理方法，存在采集周期过长、无效日志信息占用过多传输带宽的问题。

本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (5)

1.一种日志处理方法，其特征在于，包括：

日志客户端采集所述日志客户端上新增的日志信息；

按照预定的过滤规则对采集到的日志信息中的数据进行过滤；

根据预定的日志信息和实时性等级的对应关系，在过滤后的日志信息中携带与日志信息相对应的实时性等级的实时性标识；

根据日志信息中的实时性标识，将实时性标识所代表的高实时性的日志信息实时发送给日志服务器，将实时性标识所代表的低实时性的日志信息延后发送给所述日志服务器。

2.根据权利要求1所述的方法，其特征在于，日志客户端采集新增的日志信息，具体包括：

通过爬虫程序采集所述日志客户端上新增的日志信息。

3.根据权利要求1所述的方法，其特征在于，按照预定的过滤规则对采集到的日志信息进行过滤，具体包括：

按照所述过滤规则中包括的关键字或者关键字值，保留采集到的日志信息中包含有所述关键字或者所述关键字值的日志信息作为过滤得到的日志信息；其中，所述日志信息至少包括：日志标识、日志信息生成的开始时刻、结束时刻和日志信息的类别。

4.根据权利要求1所述的方法，其特征在于，将实时性标识所代表的低实时性的日志信息延后发送给所述日志服务器，具体包括：

向所述日志服务器发送请求，在接收到来自所述日志服务器的等待响应后，等待预定的等待时间，在等待所述等待时间到时后，将实时性标识所代表的低实时性的日志信息发送给所述日志服务器；在接收到来自所述日志服务器的发送响应后，将实时性标识所代表的低实时性的日志信息发送给所述日志服务器。

5.根据权利要求1所述的方法，其特征在于，实时性标识所代表的高实时性的日志信息包括：采集日志信息时调用接口的时间长的日志信息构成的日志信息；

实时性标识所代表的低实时性的日志信息包括：用于统计操作的日志信息或用于非实时查询操作的数据。