CN107832196A - 一种用于实时日志异常内容的监测装置及监测方法 - Google Patents

Abstract

本发明公开了一种用于实时日志异常内容的监测装置及监测方法，装置包括：参数配置管理模块，告警通知管理模块、日志异常监测管理模块、异常信息内库管理模块和数据存储管理模块；其中，所述参数配置管理模块，用于将其他几个模块相关的所有参数及参数配置进行集中化管理；异常信息内库管理模块，用于根据配置的参数/参数配置管理异常信息的匹配规则和预处理策略；日志异常监测管理模块主要完成日志异常内容的过滤抓取、传输、保存，告警通知管理模块主要进行告警处理；所述数据存储管理模块主要对其他几个模块的操作行为进行记录存储。上述方法具有通用性，适用于各场景类型的日志监测。

Description

一种用于实时日志异常内容的监测装置及监测方法

技术领域

本发明涉及日志信息处理技术，具体涉及一种用于实时日志异常内容的监测装置及监测方法。

背景技术

当前社会已经处于信息化大数据时代，各种各样的应用服务程序在日夜不停地运行着，其中，为了保证程序的稳定运行，保持其服务的正确性，稳定性，开发人员会将应用服务的运行信息以日志的形式实时持续的记录下来，同时，应用服务程序所依赖的服务器、第三方应用程序，如中间件、数据库、操作系统等，也会产生相关的日志文件，以供维护人员快速定位问题。

目前，绝大部分日志记录的内容涵盖多方面的信息，如：接口调用数据，程序运行情况，异常报错等。现有的基于日志采集的检测方法及系统，大多将日志的全部数据转化为结构化数据在数据库表中进行存储，收集日志数据后基本需要人工进行干涉，从数据库中进行异常内容抓取进行分析，如专利申请号201010536426.0，《一种日志采集装置和日志采集方法》，这种处理方式会造成两方面问题：第一，日志数据的读写较为复杂，造成系统性能较低；第二，这种事后检测方式缺乏时效性，无法满足实时捕抓日志数据中的异常报错内容，处理效率低随着相关系统长时间运行，存储的日志内容越来越庞大，对于日志异常内容的抓取与分析将耗时越长，运维成本提高的同时效率反而降低了，这严重违背当前信息时代的大潮流。

另外，基于实时日志威胁监控的检测方法及系统，目前大多是针对单一类型的日志内容进行检测，无法适配多种日志类型，通用性较差。

发明内容

针对现有技术中的问题，本发明提供一种用于实时日志异常内容的监测装置及监测方法。

第一方面，本发明提供一种用于实时日志异常内容的监测装置，包括：参数配置管理模块，告警通知管理模块、日志异常监测管理模块、异常信息内库管理模块和数据存储管理模块；

其中，所述参数配置管理模块，用于将所述告警通知管理模块、所述日志异常监测管理模块、所述异常信息内库管理模块和所述数据存储管理模块相关的所有参数及参数配置进行集中化管理；

所述异常信息内库管理模块，用于根据所述参数配置管理模块中配置的所述异常信息内库管理模块的参数，管理异常信息的匹配规则和预处理策略；

所述日志异常监测管理模块，用于根据所述参数配置管理模块中配置的所述日志异常监测管理模块的参数，基于所述匹配规则对日志异常内容进行监测；以及对于符合所述预处理策略的异常信息按照预处理策略进行处理；

所述告警通知管理模块，用于采用所述参数配置管理模块中配置的所述告警通知管理模块的参数，对所述日志异常监测管理模块监测的需告警处理的信息进行告警处理；

所述数据存储管理模块，用于根据所述参数配置管理模块中配置的所述数据存储管理模块的参数，将所述参数配置管理模块、所述告警通知管理模块、所述日志异常监测管理模块、所述异常信息内库管理模块在处理中产生的数据转换为结构化数据进行存储。

可选地，所述日志异常监测管理模块和所述告警通知管理模块属于行为模块，这两个行为模块之间的动作都是异步实时运行的；

所述异常信息内库管理模块，所述数据存储管理模块，所述参数配置管理模块属于管理模块。

可选地，所述参数配置管理模块管理的参数包括：

所述日志异常监测管理模块相关的待监测的日志类型、日志路径、日志异常内容的匹配规则；

所述异常信息内库管理模块相关的异常信息类型、异常信息匹配规则、异常预处理策略信息；

所述告警通知管理模块相关的消息传送方式、内容明细、内容格式、推送时间；

所述数据存储管理模块中的数据存储位置、数据备份策略信息。

进一步地，所述日志类型和日志路径的参数配置为所述参数配置管理模块智能识别实现的。

可选地，所述日志异常监测管理模块包括：

依据所述参数配置管理模块中指定监测的日志类型和日志路径，基于所述异常信息内库管理模块的异常信息匹配规则，实时抓取监测的日志异常内容；

对于符合预处理策略的日志异常内容进行处理。

可选地，所述日志异常监测管理模块中对日志异常内容的操作记录，以及监测行为的动作信息、监测过程资源占用的情况同步记录到所述数据存储管理模块中。

可选地，所述异常信息内库管理模块包括：

根据实时更新的新的日志异常信息，分析新的日志异常信息的输出格式，构建匹配规则和预处理策略，并将所述新的日志异常信息保存在异常信息库中；

所述新的日志异常信息为所述异常信息库中不存在的信息。

第二方面，本发明还提供一种基于抵押方面所述的监测装置的监测方法，包括：

所述日志异常监测管理模块从所述参数配置管理模块中获取待监测的日志类型和日志路径；以及对应日志类型的匹配规则；

所述日志异常监测管理模块采用所述匹配规则，对所述日志路径的对应日志类型的日志信息进行监测，筛选日志异常内容；

所述日志异常监测管理模块查看是否有对应所述日志异常内容的预处理策略；

如果有，则采用对应所述日志异常内容的预处理策略对所述日志异常内容进行处理。

可选地，所述方法还包括：

在所述日志异常监测管理模块监测到日志异常内容的条件符合告警触发条件时，所述告警通知管理模块根据所述参数配置管理中的告警参数触发告警通知；

所述告警参数包括：告警通知的发送方式，告警信息的内容模板、告警通知的格式。

可选地，所述方法还包括：

所述异常信息内库管理模块实时收集各种新的日志异常信息，并分析新的日志异常信息的匹配规则和预处理策略，将新的日志异常信息存入异常信息库。

可选地，所述方法还包括：

所述数据存储管理模块将所述日志异常监测管理模块的操作记录和所述告警通知管理模块的操作记录，所述异常信息内库管理模块的操作记录转换成结构化数据/结构数据以存储；

所述结构化数据/结构数据的格式由所述参数配置管理模块配置或预设定义。

本发明具有的有益效果如下：

1)通过设置参数配置管理模块，可实现高度灵活配置化，包括日志内容的数据收集分析、告警与处置都可以进行配置化，如日志的路径、类型、告警消息通知的触发条件、预处理策略等。

2)适用于多种不同场景类型的日志，如系统日志，业务日志，中间件日志等，具备广泛通用性。

3)通过配置可实现操作系统、第三方软件、业务系统等不同日志类型的异常数据收集与分析，如windows系统、liunx系统、数据库日志、业务系统日志等多种日志类型，自动搜索当前文件系统的日志格式文件，后续可通过选择指定日志进行监测。

4)可维护更新的异常信息库，通过异常信息库匹配不同类型的日志异常内容，快速提取日志数据中的异常信息；异常信息库已包含当前大部分常见异常内容，如对异常信息库有更新，可通过数据录入完成，录入方式有人工录入和自动录入。

5)实现自动智能化，可根据目标内容，自动生成日志异常内容的抓取规则，智能维护异常信息库，在发现新的异常内容时，可根据当前异常内容，分析异常内容的输出格式，如时间+错误序号+错误代码+错误描述等组成的日志输出格式后，自动保存在异常信息库。

6)通过配置可实现消息通知的明细程度(内容与格式)、消息传送方式(邮件与短信)、触发条件、发送频度等，例如:消息标题的模板制定，消息内容包含异常内容的全部信息并将内容通过附件形式发送，或只包含异常内容的发生次数和时间，通过消息正文以文字形式发送，或对于某种异常内容在某段时间匹配次数内多于某个数值时，触发消息通知。

7)通过配置可实现根据预先设定的处理策略自动处理异常问题，实现对各个具有日志异常内容的设备的自动化处理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明一实施例提供的用于实时日志异常内容的监测装置的结构示意图；

图2为本发明一实施例提供的用于实时日志异常内容的监测方法的流程示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

在以下的描述中，将描述本发明的多个不同的方面，然而，对于本领域内的普通技术人员而言，可以仅仅利用本发明的一些或者全部结构或者流程来实施本发明。为了解释的明确性而言，阐述了特定的数目、配置和顺序，但是很明显，在没有这些特定细节的情况下也可以实施本发明。在其它情况下，为了不混淆本发明，对于一些众所周知的特征将不再进行详细阐述。

如图1所示，图1示出了本发明一实施例提供的用于实时日志异常内容的监测装置的结构示意图，参数配置管理模块101，告警通知管理模块102、日志异常监测管理模块103、异常信息内库管理模块104和数据存储管理模块105；

(1)参数配置管理模块101用于将所述告警通知管理模块、所述日志异常监测管理模块、所述异常信息内库管理模块和所述数据存储管理模块相关的所有参数及参数配置进行集中化管理。

也就是说，参数配置管理模块101主要完成把其他四个模块的所有参数配置进行集中化管理，如所有参数的输入和输出都在同一个模块中，，参数配置可包括人为配置的参数和智能识别的参数。

举例来说，所述日志异常监测管理模块相关的待监测的日志类型、日志路径、日志异常内容的匹配规则等；内置常见的异常信息类型，如网络超时类型、内存溢出类型、系统权限类型等；内置常见异常内容的匹配规则,如网络超时类型的匹配规则、内存溢出类型的匹配规则等)、异常预处理策略等信息,以上内容在内置基础数据上可再进行人为的个性化配置。

所述异常信息内库管理模块相关的异常信息类型、异常信息匹配规则、异常预处理策略信息等；

所述告警通知管理模块相关的消息传送方式、内容明细、内容格式、推送时间设定(定时或实时)等等；

所述数据存储管理模块中的数据存储位置、数据备份策略信息等。

另外，日志类型(如操作系统日志、事件日志、业务日志、软件日志等)、日志路径、日志异常内容的匹配规则(应用异常信息内库管理中的哪些匹配规则)等信息可人为或智能识别。本实施例中的日志类型和路径可由参数配置管理模块101智能识别，通过预设目录关键字(可多层级关系)、文件后缀、日志类型，在文件系统中先根据关键字匹配目录，后续根据文件后缀识别日志文件并进行分类，例如：数据库日志中，目录关键字为Oracle、bdump，文件后缀为.log,参数配置管理模块101的智能识别可先定位到Oracle目录，在该目录下查找bdump目录，最后锁定日志alert_orcl.log，并根据预设类型，将其归类成数据库日志。

(2)异常信息内库管理模块102，用于根据所述参数配置管理模块中配置的所述异常信息内库管理模块的参数，管理异常信息的匹配规则和预处理策略。

例如，可根据实时更新的新的日志异常信息，分析新的日志异常信息的输出格式，构建匹配规则和预处理策略，并将所述新的日志异常信息保存在异常信息库中；所述新的日志异常信息为所述异常信息库中不存在的信息。

本实施例中的异常信息库中的异常信息可为自动搜集而来的，或者是人为增加的，通过在异常信息库中增加异常信息后，异常信息内库管理模块可根据增加的异常信息，分析构建匹配规则和预处理策略，可将分析构建的匹配规则、预处理策略等配置在所述参数配置管理模块101，以便需要对新增加的异常信息进行监测时，选择上述的匹配规则和预处理策略。

异常信息内库管理模块102主要完成异常信息知识库的操作，包括异常信息的匹配规则，异常信息的日志类型、异常信息的预处理策略等的增加、修改、删除等；

本实施例中的异常信息库内置常见异常内容与类型，在发现新的异常内容时，可根据当前异常内容，分析异常内容的输出格式，如时间+错误序号+错误代码+错误描述等组成的日志输出格式后，自动录保存在异常信息库，如需对异常信息库有个性化定义，可通过数据录入完成)

异常信息的匹配规则，主要指在对日志内容进行监测时，对符合匹配规则的异常信息进一步处置。

同时，亦可针对指定的日志异常内容，根据上下文关系、关键词等信息自动生成相关匹配规则，无需人工定义指定异常内容的匹配规则,保证匹配规则的正确性；

异常信息的日志类型主要指该异常信息的匹配规则适用于何种日志类型，如内存溢出的异常匹配规则可适用于匹配业务日志、中间件日志的异常内容，磁盘空间不足的异常匹配规则适用于匹配操作系统日志、文件服务日志的异常内容等；

异常信息的预处理策略主要指针对符合匹配规则的异常报错，设定相关的行为操作，如重启服务，关闭进程,数据备份,删除文件等。该过程终所有数据与操作记录同步到数据存储管理模块105中。

(3)日志异常监测管理模块103，用于根据所述参数配置管理模块中配置的所述日志异常监测管理模块的参数，基于所述匹配规则对日志异常内容进行监测；以及对于符合所述预处理策略的异常信息按照预处理策略进行处理。

即，日志异常监测管理模块103主要完成日志异常内容的过滤抓取、传输保存、内容备份的管理等。

例如，可依据所述参数配置管理模块中指定监测的日志类型和日志路径，基于所述异常信息内库管理模块的异常信息匹配规则，实时抓取监测的日志异常内容；对于符合预处理策略的日志异常内容进行处理。

具体地，依据参数配置管理模块101中指定需要监测的日志，并智能识别的当前文件系统的日志类型、路径等相关信息，从异常信息内库管理模块102中获取匹配规则，实时抓取监测日志异常内容，对于匹配预处理策略的异常内容，进行相应的处置(如重启服务，备份数据，删除文件等操作)。该过程中所有日志异常内容与操作记录(如预处理策略的操作)，监测行为的动作(启动时间，停止时间等)，监测过程资源占用的情况(内存、CPU等)同步到数据存储管理模块105中。

(4)告警通知管理模块104，用于采用所述参数配置管理模块中配置的所述告警通知管理模块的参数，对所述日志异常监测管理模块监测的需告警处理的信息进行告警处理。

告警通知管理模块104主要获取参数配置管理模块101的触发条件，收件人，消息模板，发送频率等参数，例如:对于某种异常内容在某段时间匹配次数内多于某个数值时，触发消息通知，间隔时长多久发送一次；对于符合匹配规则的异常报错进行的行为操作，将触发消息通知等。

告警通知管理主要完成数据存储管理中符合触发条件的消息通知操作，并记录在数据存储管理中；根据参数配置管理中的参数，自定义消息的格式，内容模板，时间，发送方式，触发条件等。例如:对于某种异常内容匹配次数多于某个数值时，触发消息通知；对于符合匹配规则的异常报错进行的行为操作，将触发消息通知等；该过程终所有数据与操作记录同步到数据存储管理模块105中。

(5)数据存储管理模块105，用于根据所述参数配置管理模块中配置的所述数据存储管理模块的参数，将所述参数配置管理模块、所述告警通知管理模块、所述日志异常监测管理模块、所述异常信息内库管理模块在处理中产生的数据转换为结构化数据进行存储。

数据存储管理模块105可将其余四个模块所产出的数据转换成结构化数据存储在数据容器(如将参数配置管理,以参数名字,参数描述,参数值等、告警通知中的消息发送时间,消息标题,内容,发件人等信息以数据表的形式保存在数据库中)，包括数据格式化、传输与同步。根据参数配置管理模块101的参数可定义数据存储明细与维度，数据保留时长、数据备份策略，数据存储方式等。同时将整个过程记录在存储中。

例如，上述的日志异常监测管理模块103中对日志异常内容的操作记录，以及监测行为的动作信息、监测过程资源占用的情况同步记录到所述数据存储管理模块105中。

可理解的是，本实施例中的日志异常监测管理模块103和告警通知管理模块102属于行为模块，这两个行为模块之间的动作都是异步实时运行的；

所述异常信息内库管理模块104，所述数据存储管理模块105，所述参数配置管理模块101均属于管理模块。

本实施例的监测装置可独立设置，用于实时监测各个设备中的各种类型的日志异常信息，解决了现有技术中只能监测一个设备少量类型的日志信息的缺陷。

另外，本实施例的监测装置还可设置在某一服务类设备中，或大型设备中，如某一企业的后台管理设备中，以便依据配置参数实时监测各个客户端日志异常信息，保证设备的正常运行。

图2示出了本发明一实施例提供的用于实时日志异常内容的监测方法的流程示意图，本实施例的方法包括：

S1、日志异常监测管理模块从所述参数配置管理模块中获取待监测的日志类型和日志路径；以及对应日志类型的匹配规则；

S2、日志异常监测管理模块采用所述匹配规则，对所述日志路径的对应日志类型的日志信息进行监测，筛选日志异常内容；

S3、日志异常监测管理模块查看是否有对应所述日志异常内容的预处理策略；

如果有，则采用对应所述日志异常内容的预处理策略对所述日志异常内容进行处理。

进一步地，上述方法还可包括：

S4:、在所述日志异常监测管理模块监测到日志异常内容的条件符合告警触发条件时，所述告警通知管理模块根据所述参数配置管理中的告警参数触发告警通知；

所述告警参数包括：告警通知的发送方式，告警信息的内容模板、告警通知的格式。

在一种可选的实现方式中，上述方法还包括：

S5、所述异常信息内库管理模块实时收集各种新的日志异常信息，并分析新的日志异常信息的匹配规则和预处理策略，将新的日志异常信息存入异常信息库。

在具体实现中，所述数据存储管理模块将所述日志异常监测管理模块的操作记录和所述告警通知管理模块的操作记录，所述异常信息内库管理模块的操作记录转换成结构化数据以存储；

所述结构化数据的格式由所述参数配置管理模块配置或预设定义。

上述方法可实现将多种日志数据中的各种异常数据内容，实时并快速地进行抓取，即实现对收集的日志异常报错内容进行抓取并保存；对于抓取的异常报错内容，可匹配相关预处理策略进行操作；对于日志抓取到的异常内容，可进行实时告警；

针对不同类型的日志数据，建立异常信息库，设定内容过滤规则；智能生成异常匹配规则，输入异常内容，可根据当前异常内容，分析异常内容的输出格式，如时间+错误序号+错误代码+错误描述等组成的日志输出格式后，生成匹配规则，自动保存在异常信息库。

本实施例能够使日志的异常内容更加突出并快速地呈现在维护人员面前，加快程序问题的定位速度，提高相关系统威胁检测与处置的及时性，有效保障系统的稳定正确运行。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种用于实时日志异常内容的监测装置，其特征在于，所述装置包括：参数配置管理模块，告警通知管理模块、日志异常监测管理模块、异常信息内库管理模块和数据存储管理模块；

其中，所述参数配置管理模块，用于将所述告警通知管理模块、所述日志异常监测管理模块、所述异常信息内库管理模块和所述数据存储管理模块相关的所有参数及参数配置进行集中化管理；

所述异常信息内库管理模块，用于根据所述参数配置管理模块中配置的所述异常信息内库管理模块的参数，管理异常信息的匹配规则和预处理策略；

所述日志异常监测管理模块，用于根据所述参数配置管理模块中配置的所述日志异常监测管理模块的参数，基于所述匹配规则对日志异常内容进行监测；以及对于符合所述预处理策略的异常信息按照预处理策略进行处理；

所述告警通知管理模块，用于采用所述参数配置管理模块中配置的所述告警通知管理模块的参数，对所述日志异常监测管理模块监测的需告警处理的信息进行告警处理；

所述数据存储管理模块，用于根据所述参数配置管理模块中配置的所述数据存储管理模块的参数，将所述参数配置管理模块、所述告警通知管理模块、所述日志异常监测管理模块、所述异常信息内库管理模块在处理中产生的数据转换为结构化数据进行存储。

2.根据权利要求1所述的装置，其特征在于，

所述日志异常监测管理模块和所述告警通知管理模块属于行为模块，这两个行为模块之间的动作都是异步实时运行的；

所述异常信息内库管理模块，所述数据存储管理模块，所述参数配置管理模块属于管理模块。

3.根据权利要求1所述的装置，其特征在于，所述参数配置管理模块管理的参数包括：

所述日志异常监测管理模块相关的待监测的日志类型、日志路径、日志异常内容的匹配规则；

所述异常信息内库管理模块相关的异常信息类型、异常信息匹配规则、异常预处理策略信息；

所述告警通知管理模块相关的消息传送方式、内容明细、内容格式、推送时间；

所述数据存储管理模块中的数据存储位置、数据备份策略信息。

4.根据权利要求3所述的装置，其特征在于，所述日志异常监测管理模块包括：

依据所述参数配置管理模块中指定监测的日志类型和日志路径，基于所述异常信息内库管理模块的异常信息匹配规则，实时抓取监测的日志异常内容；

对于符合预处理策略的日志异常内容进行处理。

5.根据权利要求4所述的装置，其特征在于，所述日志异常监测管理模块中对日志异常内容的操作记录，以及监测行为的动作信息、监测过程资源占用的情况同步记录到所述数据存储管理模块中。

6.根据权利要求5所述的装置，其特征在于，所述异常信息内库管理模块包括：

根据实时更新的新的日志异常信息，分析新的日志异常信息的输出格式，构建匹配规则和预处理策略，并将所述新的日志异常信息保存在异常信息库中；

所述新的日志异常信息为所述异常信息库中不存在的信息。

7.一种基于1至6任一所述的监测装置的监测方法，其特征在于，包括：

所述日志异常监测管理模块从所述参数配置管理模块中获取待监测的日志类型和日志路径；以及对应日志类型的匹配规则；

所述日志异常监测管理模块采用所述匹配规则，对所述日志路径的对应日志类型的日志信息进行监测，筛选日志异常内容；

所述日志异常监测管理模块查看是否有对应所述日志异常内容的预处理策略；

如果有，则采用对应所述日志异常内容的预处理策略对所述日志异常内容进行处理。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

在所述日志异常监测管理模块监测到日志异常内容的条件符合告警触发条件时，所述告警通知管理模块根据所述参数配置管理中的告警参数触发告警通知；

所述告警参数包括：告警通知的发送方式，告警信息的内容模板、告警通知的格式。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

所述异常信息内库管理模块实时收集各种新的日志异常信息，并分析新的日志异常信息的匹配规则和预处理策略，将新的日志异常信息存入异常信息库。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

所述数据存储管理模块将所述日志异常监测管理模块的操作记录和所述告警通知管理模块的操作记录，所述异常信息内库管理模块的操作记录转换成结构化数据以存储；

所述结构化数据的格式由所述参数配置管理模块配置或预设定义。