CN1949725A - 一种日志消息的过滤系统及方法 - Google Patents

Abstract

本发明公开了一种日志消息过滤方法，所述方法包括：根据用户选择的日志过滤标识，将满足该标识对应的过滤条件的待过滤日志消息过滤，所述日志过滤标识为日志消息过滤条件的标识。通过本发明，增强了日志过滤功能，使得用户在外部进行配置就能够很好地实现过滤。本发明还同时公开了一种日志消息过滤系统。

Description

一种日志消息的过滤系统及方法

技术领域

本发明涉及数据处理技术，尤其涉及一种日志消息的过滤系统及方法。

背景技术

在大而复杂的系统中，日志消息扮演着至关重要的角色。日志消息不仅有利于调试系统，而且能够给出系统运行状况的重要信息，这些信息有助于正确检测系统运行情况。

在当前许多系统中，日志消息主要用于调试或检测系统是否出于正常运行状态。在许多大系统中，一个日志文件里记录了成百上千条的大量的日志消息，如果某个用户想要查看和自己相关的日志将是非常不方便的。特别是当用户调试系统时仅仅想要查看调试的相关日志，而不是记录的所有日志消息。因此，日志系统有必要提供日志消息过滤功能，这样可以过滤用户不想要的日志消息，仅仅记录用户想要的日志消息。

当前较为通用的日志系统是Log4j系统，Log4j通过对日志对象(Logger)优先级的配置来实现日志消息的过滤。这些配置信息保存在外部配置文件中，包括该Log4j系统定义的优先级和用户希望能写入日志文件的日志消息的最低优先级。例如，该Log4j系统定义的优先级为1至6级，用户希望的最低优先级为3级，则该Log4j系统配置的Logger对象的优先级为3级。当系统运行生成含有优先级的日志消息后，该消息的优先级与Logger对象的优先级进行比较，如果该日志消息的优先级低于Logger对象的优先级，则该日志消息将被过滤掉，这样就实现了日志消息的过滤。同时，在外部配置文件中还保存了Log4j系统定义的日志类型，并且每种日志类型都有其对应的类型的日志文件。Logger将前述已满足优先级要求的含有的日志类型的日志消息写入相应的日志文件中。

通过此过滤后将日志消息写入日志文件的方法单一，很难满足要求较高的过滤条件要求；由于只能将每条信息与Logger对象比较后过滤而不能一次性过滤日志消息集合，当系统生成大量日志消息时容易导致系统工作效率低；同时当某段时间内出现重复日志消息时会造成大量冗余信息，并且此过滤方法不支持高级过滤机制，比如按业务系统模块划分的日志。

发明内容

本发明实施例的目的在于提供一种日志消息过滤系统及方法，以解决现有技术中存在过滤方式单一，难以满足用户需要的问题。

本发明实施例提供一种日志消息过滤系统，与业务系统相连，该过滤系统包括存储单元和日志过滤单元，

所述存储单元，用于保存用户选择的日志过滤标识，所述日志过滤标识为日志消息过滤条件的标识；

所述日志过滤单元，用于根据所述用户选择的日志过滤标识，将满足该标识对应的过滤条件的待过滤日志消息过滤后输出给业务系统。

本发明实施例还提供一种日志消息过滤方法，该方法包括：

根据用户选择的日志过滤标识，将满足该标识对应的过滤条件的待过滤日志消息过滤，所述日志过滤标识为日志消息过滤条件的标识。

本发明实施例通过根据用户选择的日志过滤标识，将满足该标识对应的过滤条件的待过滤日志消息过滤掉的方法，使得用户只需要通过简单的配置，增强了日志过滤功能。并且所述日志过滤标识可以包括日志ID名、日志ID组名、日志ID限制时间、模块名、模块组名、日志优先级和日志类型等，使得能够在不接触代码的情况下过滤到日志消息级别而不必基于日志代理，实现了日志消息集合的过滤，避免了重复冗余日志消息写入日志文件。

附图说明

图1为本发明中系统结构示意图；

图2为本发明实施例1中方法流程示意图；

图3为本发明实施例1中系统结构示意图；

图4为本发明实施例2中方法流程示意图；

图5为本发明实施例2中系统结构示意图。

具体实施方式

下面结合说明书附图对本发明的技术方案作进一步的详细描述。

如图1所示，为本发明中日志消息过滤系统结构示意图。该过滤系统与业务系统相连，包括存储单元11和日志过滤单元12。其中，存储单元11用于保存用户选择的日志过滤标识，所述日志过滤标识为日志消息过滤条件的标识；日志过滤单元12用于根据所述用户选择的日志过滤标识，将满足该标识对应的过滤条件的待过滤日志消息过滤后输出给业务系统。

所述日志过滤单元12为第一日志过滤单元21，用于当所述用户选择的日志过滤标识为至少一个时，依次将满足该标识对应的过滤条件的待过滤日志消息过滤后输出给业务系统。

所述预先保存的日志过滤标识可以包括日志ID名、日志ID组名、日志ID限制时间、模块名、模块组名、日志优先级和日志类型中的一个或多个。所述用户选择的日志过滤标识包括用户从预先保存的日志过滤标识中根据需要选择的过滤标识，用户选择的日志过滤标识为预先保存的日志过滤标识中的一个或多个。

在本发明中，用户选择的日志过滤标识可以是用户希望查看的标识，也可以是用户希望过滤掉的标识。当该用户选择的日志过滤标识为用户希望查看的标识时，所述的满足过滤条件的日志消息为不包含用户选择的日志过滤标识的日志消息；当该用户选择的日志过滤标识为用户希望过滤掉的标识时，所述的满足过滤条件的日志消息为包含用户选择的日志过滤标识的日志消息。

在本发明中，当所述用户选择的日志过滤标识为至少一个时，所述将满足该标识对应的过滤条件的待过滤日志消息过滤的方式可以包括依次过滤，其具体步骤为：将满足该标识对应的过滤条件的待过滤日志消息依次过滤。

下面结合具体实施例详细说明本发明方法。本发明实施例1中的过滤方法为：根据所述用户选择的一个日志过滤标识，将待过滤的日志消息中含有该标识的日志消息过滤掉，或将所述待过滤的日志消息中不含有该标识的日志消息过滤掉，并且根据所述用户选择的日志过滤标识判断当前过滤是否完成，若未完成，则根据所述用户选择的下一个日志过滤标识过滤，若完成，则过滤结束。

在本实施例中，设定预先保存的日志过滤标识包括日志ID名、日志ID组名、日志ID限制时间、模块名、模块组名、日志优先级和日志类型。用户选择的日志过滤标识为日志模块名、模块组名、日志优先级和日志类型。并设定在本实施例中的业务系统为一个数据传输系统，该数据传输系统包含数据发送模块和数据接收模块。用户选择的日志过滤标识为用户希望过滤掉的日志过滤标识。如图2所示，为本实施例的方法步骤流程图。

步骤201：用户选择日志过滤标识，设定过滤要求。

在本实施例中，用户需要查看的日志消息为数据接收模块生成的日志消息，并且该日志消息类型为用户数据报(UDP)，最低日志优先级为警告(WARN)级别，因此用户选择的日志过滤标识为除上述用户希望查看的标识以外的预先保存的日志过滤标识。

步骤202：将含有用户选择的日志过滤标识的日志消息过滤掉。该过滤过程可以包括以下步骤：

步骤A1、将待过滤的日志消息中含有发送模块名过滤标识的日志消息过滤掉。

在本发明中，业务系统可以被看成是多模块的组合，每个模块所生成的日志消息可以包含该模块的名称。在本实施例中用户希望查看的是数据接收模块的日志消息，因此将该所述待过滤的日志消息中包含发送模块名的日志消息过滤掉。

当需要根据多个模块名过滤日志消息时，用户就要选择多个模块过滤标识，这是非常不方便的，因此本发明提供了一个模块组标识，该模块组标识包含了需要过滤的所有模块名，用户选择模块组名，就能够过滤掉该模块组中包含的所有模块的日志消息，这样方便了用户，提高了效率。

当将满足模块名标识对应的过滤条件的日志消息过滤后，判断出还未根据用户选择的日志过滤标识对应的过滤条件完成过滤，则根据剩余的用户选择的日志过滤标识对应的过滤条件继续过滤。

步骤A2、将通过步骤A1后的日志消息中含有INFO和DEBUG日志优先级过滤标识的日志消息过滤掉。

在本实施例中日志优先级可以包括：致命(FATAL)、错误(ERROR)、警告(WARN)、信息(INFO)和调试(DEBUG)，其中，FATAL是最高级，DEBUG是最低级。但是日志类型为developer和customer的日志消息不能为DEBUG级别，那是因为developer和customer的日志消息没有调试信息出现，他们只能为INFO或更高的级别。

用户希望查看的是WARN级或以上的级别的日志消息，因此用户选择的日志过滤标识为INFO和DEBUG，则将所述日志消息中包含INFO和DEBUG的日志消息过滤掉。

显然，在通过步骤A1和A2后还未完成本实施例中用户希望的过滤过程，则根据剩余的用户选择的日志过滤标识对应的过滤条件继续过滤。

步骤A3、将通过步骤A1和A2后的日志消息中含有除UDP日志类型过滤标识以外的日志消息过滤掉。

在本实施例中日志消息主要支持六种标准的日志类型，并且每一种日志类型都有其对应的日志文件，这六种日志类型是开发者日志(developer)、客户日志(customer)、调试者(debug)、人机语言(MML)、短消息业务(SMS)、用户数据报协议(UDP)和实时传输协议(RTP)。

由于用户希望查看的是UDP日志类型，因此将所述日志消息中含有除UDP日志类型以外的日志消息过滤。

通过步骤A1、A2和A3后，根据用户选择的日志过滤标识对应的过滤条件完成了过滤过程，则将过滤完成后的日志消息发送到业务系统中的对应UDP的日志文件中。

基于上述实施例1的方法，本发明实施例1还提供一种系统。如图3所示，为本发明实施例1的系统结构示意图。所述第一日志过滤单元21包括控制单元31和至少一个判断过滤单元32，每个判断过滤单元32与一个日志过滤标识对应；

每个判断过滤单元32用于根据自身对应的日志过滤标识，将所述控制单元31发送的所述待过滤的日志消息中含有该标识的日志消息过滤掉，或将所述控制单元31发送的所述待过滤的日志消息中不合有该标识的日志消息过滤掉，并将过滤后的日志消息发送给所述控制单元31；

所述控制单元31用于将所述待过滤的日志消息发送给所述用户选择的一个日志过滤标识所对应的判断过滤单元32；在接收到所述判断过滤单元32过滤后的日志消息后，判断所述用户选择的日志过滤标识所对应的判断过滤单元32是否已经全部参与过滤，若不是，则将所述接收到的日志消息依次发送给用户选择的下一日志过滤标识所对应的判断过滤单元32，若是，则将所述接收到的日志消息发送到业务系统。

在本实施例中该系统工作过程为：若预先保存的日志过滤标识为模块名、日志类型、日志ID名、日志ID组名、日志ID限制时间和日志优先级，而用户选择的日志过滤标识为模块名、日志ID名、日志ID限制时间。控制单元31将待过滤的日志消息发送给模块标识对应的判断过滤单元32，并接收该单元过滤后的日志消息，判断出用户选择的过滤标识对应的判断过滤单元32还未全部参与过滤，则将所述接收的日志消息发送给日志ID标识对应的判断过滤单元32，并接收该单元过滤后的日志消息，再将该接收到的日志消息发送给日志ID限制时间标识对应的判断过滤单元32，并接收该单元过滤后的日志消息。此时控制单元31判断出用户选择的日志过滤标识所对应的判断过滤单元32已经全部参与过滤，则将最后接收到的日志消息发送到业务系统。

本发明实施例2中的过滤方法为：依次判断所述每一日志过滤标识是否为所述用户选择的日志过滤标识，若是，则将所述待过滤的日志消息中含有该日志过滤标识的日志消息过滤掉，或将所述待过滤的日志消息中不含有该日志过滤标识的日志消息过滤掉，若不是，则继续判断，直到所有过滤结束。

在本实施例中同样依次设定预先定义的日志过滤标识为模块名、模块组名、日志ID名、日志ID组名、日志ID限制时间、日志类型和日志优先级，而用户选择的日志过滤标识为日志ID名、日志ID组名、日志ID限制时间、模块名、模块组名和日志类型。设定在本实施例中的业务系统也为一个数据传输系统，该数据传输系统包含数据发送模块和数据接收模块。用户选择的日志过滤标识为用户希望查看的日志过滤标识。如图4所示，为本实施例的方法流程示意图。

步骤401：用户选择日志过滤标识，设定过滤要求。

在本实施例中，用户希望查看的日志消息为数据接收模块在数据接收不正常的情况下生成的日志消息，并且日志类型为UDP，同时为了防止同样的日志消息多次重复出现，设定日志ID限制时间间隔是30秒。

步骤402：依次判断每一预先保存的日志过滤标识是否为所述用户选择的日志过滤标识，若是，则将所述待过滤的日志消息中满足该日志过滤标识对应过滤条件的日志消息过滤，若不是，则继续判断，直到判断结束。该过滤过程可以包括以下步骤：

步骤B1、判断模块名和模块组名标识是否为所述用户选择的日志过滤标识，若是，则将待过滤的日志消息中不含有接收模块名过滤标识的日志消息过滤掉若不是则继续判断。

在本实施例中，用户选择的日志过滤标识中包含了接收模块名，则将所述待过滤日志消息中不包含接收模块标识，即包含发送模块标识的日志消息过滤掉。

同样地，本实施例也提供了一个模块组标识，该模块组标识中包含了需要过滤的所有模块名，这样就能够过滤掉包含该模块组标识的日志消息。

步骤B2、判断日志ID名和日志ID组名标识是否为所述用户选择的日志过滤标识，若是，则将通过步骤B1后的日志消息中不含有不正常的日志ID过滤标识的日志消息过滤掉，若不是则继续判断。

在本发明中，日志ID与日志消息是一一对应关系，这样能够在不接触代码的情况下将过滤进行到日志消息级别而不必基于日志代理。

在本实施例中，用户选择的日志过滤标识包括了日志ID和日志ID组标识，因此要根据该标识对应的过滤条件将所述日志消息满足过滤条件的过滤。

由于本实施例中用户想要查看数据运行不正常的情况，因此除不正常的日志ID对应的日志消息外，其余的日志ID对应的日志消息将被过滤掉。例如，一个日志ID为LOGID_DATABASE_INFO_NORMAL，该ID表示一个正常数据运行日志ID，则该日志ID对应的日志消息将会被过滤掉。

同模块组类似，当需要过滤的日志ID很多时，也提供ID组，包含需要过滤的所有ID，这样就能够过滤掉包含该ID组标识的日志消息。

步骤B3、判断日志ID限制时间标识是否为所述用户选择的日志过滤标识，若是，则将通过步骤B1和B2后的日志消息中不为限制的时间间隔中第一次出现的日志消息过滤掉，若不是则继续判断。

当一个日志消息重复多次出现时，若该日志是用户不想要查看的则将会被根据日志ID标识或模块标识等情况过滤；若是用户想要查看的，则全部写入日志文件会使得日志文件非常大，造成大量冗余信息。因此本发明中采用了日志ID限制方法，根据设定的限制的日志ID名以及限制的时间间隔，这样用户想要查看的日志消息将会在每一时间间隔中仅仅记录一次，限制日志消息多次重复记录。

在本实施例中，用户想要查看的是异常日志ID对应的日志消息，设定限制的时间间隔为30秒。由于通过步骤B1和B2以后剩余的都是含有异常日志ID标识的日志消息，那么仅仅将每隔30秒钟第一次出现的日志消息保留，其余在30秒内出现的日志消息过滤。

步骤B4、判断日志类型标识是否为所述用户选择的日志过滤标识，若是，则将通过步骤B1、B2和B3后的日志消息中不含有UDP类型的日志消息过滤掉，若不是则继续判断。

在本实施例中，用户希望查看的是UDP类型的日志消息，因此将包含其余日志类型标识的日志消息过滤。

步骤B5、判断日志优先级标识是否为所述用户选择的日志过滤标识，若是，则将通过步骤B1、B2、B3和B4后的日志消息中不含有用户选择的日志优先级标识的日志消息过滤掉，若不是则过滤过程结束。

在本实施例中，用户没有选择日志优先级标识，则对所述日志消息不作任何处理，并且出此时已经完成了全部的判断和过滤过程，得到了用户希望查看的日志消息，将该日志消息发送到业务系统中UDP对应的日志文件中。

基于上述实施例2的方法，本发明实施例2还提供一种系统。如图5所示，为本发明实施例2的系统结构示意图。所述第一日志过滤单元21包括至少一个依次过滤单元33，每个依次过滤单元33依次相连，且每个依次过滤单元33对应一个日志过滤标识；

每个依次过滤单元33用于判断所述自身对应的日志过滤标识是否为用户选择的日志过滤标识，若是，则将所述接收到的待过滤日志消息中含有该标识的日志消息过滤掉后发送到下一节点设备，或将所述接收到的待过滤日志消息中不含有该标识的日志消息过滤掉后发送到下一节点设备，若不是，则将所述接收到的待过滤日志消息直接发送到下一节点设备；

当所述依次过滤单元33为起始单元时，所述下一节点设备为与所述依次过滤单元相连的后一依次过滤单元；

当所述依次过滤单元33为结束单元时，所述下一节点设备为业务系统。

所述起始单元为依次相连的至少一个依次过滤单元33中的第一个，所述结束单元为依次相连的至少一个依次过滤单元33中的最后一个。

若用户选择的日志过滤标识为模块名、日志ID名、日志ID限制时间，而预先保存的日志过滤标识为模块名、日志类型、日志ID名、日志ID组名、日志ID限制时间和日志优先级时，且预先保存的日志过滤标识对应的依次过滤单元33按照上述顺序依次连接。则起始单元为模块名标识对应的依次过滤单元33，结束单元为日志优先级标识对应的依次过滤单元33。待过滤的日志消息发送到起始单元后，该单元判断用户选择的日志过滤标识包含模块名，则根据该模块名标识对应的过滤条件将所述日志消息过滤，并发送到日志类型标识对应的依次过滤单元33，重复上述过程，直到日志优先级标识对应的过滤单元判断完成，将过滤完成后的日志消息发送到业务系统。

通过本发明的日志消息过滤方法及系统，增强了日志过滤功能，使得用户在外部进行配置就能够很好地实现过滤，并且由于引入了日志ID、日志ID组和模块组标识，能够实现过滤单独的日志消息和过滤日志消息集合，并且通过日志ID限制时间标识对重复出现的需要的日志消息进行了有效限制。

实现本发明方法的软件可以存储于一计算机可读取存储介质中，该软件在执行时，包括步骤如下：

根据用户选择的日志过滤标识，将满足该标识对应的过滤条件的待过滤日志消息过滤，所述日志过滤标识为日志消息过滤条件的标识；

所述的存储介质包括ROM/RAM、磁碟、光盘等。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1、一种日志消息过滤系统，与业务系统相连，其特征在于，该过滤系统包括存储单元和日志过滤单元，

所述存储单元，用于保存用户选择的日志过滤标识，所述日志过滤标识为日志消息过滤条件的标识；

所述日志过滤单元，用于根据所述用户选择的日志过滤标识，将满足该标识对应的过滤条件的待过滤日志消息过滤后输出给业务系统。

2、如权利要求1所述的系统，其特征在于，所述日志过滤单元为第一日志过滤单元，所述第一日志过滤单元用于当所述用户选择的日志过滤标识为至少一个时，依次将满足该标识对应的过滤条件的待过滤日志消息过滤后输出给业务系统。

3、如权利要求2所述的系统，其特征在于，所述第一日志过滤单元包括控制单元和至少一个判断过滤单元，每个判断过滤单元与一个日志过滤标识对应；

所述判断过滤单元用于根据自身对应的日志过滤标识，将所述控制单元发送的所述待过滤的日志消息中含有该标识的日志消息过滤掉，或将所述控制单元发送的所述待过滤的日志消息中不含有该标识的日志消息过滤掉，并将过滤后的日志消息发送给所述控制单元；

所述控制单元，用于将所述待过滤的日志消息发送给所述用户选择的一个日志过滤标识所对应的判断过滤单元；在接收到所述判断过滤单元过滤后的日志消息后，判断所述用户选择的日志过滤标识所对应的判断过滤单元是否已经全部参与过滤，若不是，则将所述接收到的日志消息依次发送给用户选择的下一个日志过滤标识所对应的判断过滤单元，若是，则将所述接收到的日志消息发送到业务系统。

4、如权利要求2所述的系统，其特征在于，所述第一日志过滤单元包括至少一个依次过滤单元，每个依次过滤单元依次相连，且每个依次过滤单元对应一个日志过滤标识；其中，

依次过滤单元，用于判断所述自身对应的日志过滤标识是否为用户选择的日志过滤标识，若是，则将所述接收到的待过滤日志消息中含有该标识的日志消息过滤掉后发送到下一节点设备，或将所述接收到的待过滤日志消息中不含有该标识的日志消息过滤掉后发送到下一节点设备，若不是，则将所述接收到的待过滤日志消息直接发送到下一节点设备。

5、一种日志消息过滤方法，其特征在于，该方法包括：

根据用户选择的日志过滤标识，将满足该标识对应的过滤条件的待过滤日志消息过滤，所述日志过滤标识为日志消息过滤条件的标识。

6、如权利要求5所述方法，其特征在于，所述日志过滤标识包括日志ID名、日志ID组名、日志ID限制时间、模块名、模块组名、日志优先级和日志类型中的一个或多个。

7、如权利要求5所述方法，其特征在于，所述用户选择的日志过滤标识中包括预先保存的日志过滤标识中的一个或多个。

8、如权利要求5所述方法，其特征在于，当所述用户选择的日志过滤标识为至少一个时，所述将满足该标识对应的过滤条件的待过滤日志消息过滤包括依次过滤的步骤具体为：

将满足该标识对应的过滤条件的待过滤日志消息依次过滤。

9、如权利要求8所述方法，其特征在于，所述将满足该标识对应的过滤条件的待过滤日志消息依次过滤，包括以下步骤：

A11、根据所述用户选择的一个日志过滤标识，将所述待过滤的日志消息中含有该标识的日志消息过滤掉，或将所述待过滤的日志消息中不含有该标识的日志消息过滤掉；

A12、根据所述用户选择的日志过滤标识判断当前过滤是否完成，若未完成，则根据所述用户选择的下一个日志过滤标识过滤，若完成，则过滤结束。

10、如权利要求8所述方法，其特征在于，所述将满足该标识对应的过滤条件的待过滤日志消息依次过滤，包括以下步骤：

A21、依次判断所述每一日志过滤标识是否为所述用户选择的日志过滤标识，若是，则将所述待过滤的日志消息中含有该日志过滤标识的日志消息过滤掉，或将所述待过滤的日志消息中不含有该日志过滤标识的日志消息过滤掉，若不是，则继续判断，直到所有过滤结束。

Images