CN105740121B - 一种日志文本监控与预警方法、装置 - Google Patents

Abstract

本发明涉及一种日志文本监控与预警方法，包括：获取配置信息；所述配置信息至少包括日志文本路径参数、关键字集合；根据日志文本路径参数获取监控日志文本；利用关键字集合中的关键字对所述监控日志文本进行匹配处理，获得关键字与关键字匹配结果的对应关系；对关键字与关键字匹配结果的对应关系进行分析，确定与关键字匹配结果对应的错误类型和错误级别；根据所述错误类型、错误级别与预警消息模板的对应关系确定预警消息内容，根据所述错误类型、错误级别与发送参数的对应关系确定发送参数；所述发送参数包括发送方式和发送对象；根据所述发送方式向所述发送对象发送确定的所述预警消息内容。本发明可以自动发现错误并及时预警，提高数据安全。

Description

一种日志文本监控与预警方法、装置

技术领域

本发明涉及数据处理技术领域，特别是涉及一种日志文本监控与预警方法、装置。

背景技术

在银行系统中，由于涉及大量的资金流动与数据处理，一旦系统或者重要业务出现问题就会带来难以预估的损失。特别是对例如支付系统这种高风险的系统来说，如何及时发现系统出现的问题并进行预警和处理以降低资金风险、提高数据安全，成为一个亟待解决的问题。

现有技术中，对银行系统的监控往往是通过人工进行，由人工发现错误信息，再电话通知相关的人员。人工监控不仅成本高、效率低，还存在不能及时有效地发现各种错误的缺点。因此，现有技术存在的监控方式存在成本高、效率低、准确率的缺陷。

发明内容

为解决上述技术问题，本发明公开了一种日志文本监控与预警方法、装置，可以灵活地配置监控对象，对监控文本进行分析，自动发现错误并及时预警，提高了监控的效率和准确率，提高了系统的数据安全。

技术方案如下：

根据本发明实施例的第一方面，公开了一种日志文本监控与预警方法，所述方法包括：

获取配置信息；所述配置信息至少包括日志文本路径参数、关键字集合、错误类型、错误级别与预警消息模板的对应关系以及错误类型、错误级别与发送参数的对应关系；

根据所述日志文本路径参数获取监控日志文本；

利用所述关键字集合中的关键字对所述监控日志文本进行匹配处理，获得关键字与关键字匹配结果的对应关系；

对所述关键字与关键字匹配结果的对应关系进行分析，确定与所述关键字匹配结果对应的错误类型和错误级别；根据所述错误类型、错误级别与预警消息模板的对应关系确定预警消息内容，根据所述错误类型、错误级别与发送参数的对应关系确定与所述错误类型和错误级别对应的发送参数；所述发送参数包括发送方式和发送对象；

根据所述发送方式向所述发送对象发送确定的所述预警消息内容。

进一步地，所述方法还包括：

显示第一界面；

响应于用户作用于所述第一界面的输入，保存更新配置操作；所述更新配置操作包括新增、修改和/或删除。

进一步地，在根据所述日志文本路径参数获取监控日志文本之后，所述方法还包括：

对所述监控日志文本进行预处理，获取与当前日期匹配的监控日志文本。

进一步地，在利用所述关键字集合中的关键字对所述监控日志文本进行匹配处理之前，所述方法还包括：

获取所述监控日志文本对应的监控对象，根据预先保存的监控对象与处理逻辑的对应关系，调用与所述监控日志文本对应的处理逻辑；

所述利用所述关键字集合中的关键字对所述监控日志文本进行匹配处理包括：

根据所述处理逻辑、利用所述关键字集合中的关键字对所述监控日志文本进行匹配处理。

进一步地，所述利用所述关键字集合中的关键字对所述监控日志文本进行匹配处理，获得关键字与关键字匹配结果的对应关系包括：

利用所述关键字集合中的关键字对所述监控日志文本进行正则表达式匹配处理，获得关键字与关键字匹配结果的对应关系。

根据本发明实施例的第二方面，公开了一种日志文本监控与预警装置，所述装置包括：

配置信息获取单元，用于获取配置信息；所述配置信息至少包括日志文本路径参数、关键字集合、错误类型、错误级别与预警消息模板的对应关系以及错误类型、错误级别与发送参数的对应关系；

文本收集单元，用于根据所述日志文本路径参数获取监控日志文本；

文本处理单元，用于利用所述关键字集合中的关键字对所述监控日志文本进行匹配处理，获得关键字与关键字匹配结果的对应关系；

文本分析单元，用于对所述关键字与关键字匹配结果的对应关系进行分析，确定与所述关键字匹配结果对应的错误类型和错误级别；根据所述错误类型、错误级别与预警消息模板的对应关系确定预警消息内容，根据所述错误类型、错误级别与发送参数的对应关系确定与所述错误类型和错误级别对应的发送参数；所述发送参数包括发送方式和发送对象；

消息发送单元，用于根据所述发送方式向所述发送对象发送确定的所述预警消息内容。

进一步地，所述装置还包括：

显示单元，用于显示第一界面；

更新单元，用于响应于用户作用于所述第一界面的输入，保存更新配置操作；所述更新配置操作包括新增、修改和/或删除。

进一步地，所述装置还包括：

预处理单元，用于在根据所述日志文本路径参数获取监控日志文本之后，对所述监控日志文本进行预处理，获取与当前日期匹配的监控日志文本。

进一步地，所述装置还包括：

处理逻辑调用单元，用于在利用所述关键字集合中的关键字对所述监控日志文本进行匹配处理之前，获取所述监控日志文本对应的监控对象，根据预先保存的监控对象与处理逻辑的对应关系，调用与所述监控日志文本对应的处理逻辑；

所述文本处理单元具体用于：

根据所述处理逻辑、利用所述关键字集合中的关键字对所述监控日志文本进行匹配处理。

进一步地，所述文本处理单元具体用于：

利用所述关键字集合中的关键字对所述监控日志文本进行正则表达式匹配处理，获得关键字与关键字匹配结果的对应关系。

本发明实施例的一个方面能够达到的有益效果为：在本发明实施例中，由于预先配置了日志文本路径参数、关键字集合、错误类型、错误级别与预警消息模板的对应关系以及错误类型、错误级别与发送参数的对应关系，可以自动根据所述配置获取监控日志文本，并利用所述关键字集合中的关键字对所述监控日志文本进行匹配处理，进而分析出错误类型和错误级别，再根据所述错误类型、错误级别确定预警消息内容、发送方式和发送对象，并可以根据所述发送方式向所述发送对象发送确定的所述预警消息内容。本发明实施例根据预先配置的信息，自动对日志文本进行监控，自动发现错误，并根据错误类型和错误级别将预警信息发送给指定的联系人，有效提高了错误发现的效率和准确率，并及时预警，提高了系统的数据安全。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的日志文本监控与预警方法示例性应用场景示意图

图2为本发明实施例提供的日志文本监控与预警方法流程示意图；

图3为本发明实施例提供的日志文本监控与预警装置示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明公开了一种日志文本监控与预警方法、装置，可以灵活地配置监控对象，对监控文本进行分析，自动发现错误并及时预警，提高了监控的效率和准确率，提高了系统的数据安全。

参见图1，为本发明实施例提供的日志文本监控与预警方法示例性应用场景示意图。本发明实施方式可以应用的场景例如可以为如图1所示的场景，本发明实施例提供的日志文本监控与预警装置可以与多个业务系统或者数据库实现数据连接，对所述多个业务系统或者数据库的日志文本进行监控、分析，及时预警。如图1所示，图1中的日志文本监控与预警装置300与业务系统101、业务系统102、业务系统103、业务系统104数据连接。

参见图2，为本发明实施例提供的日志文本监控与预警方法流程示意图。

S201，获取配置信息。

具体地，本发明实施例提供的方法可以包括：显示第一界面；响应于用户作用于所述第一界面的输入，保存更新配置操作；所述更新配置操作包括新增、修改和/或删除。具体实现时，本发明实施例提供的日志文本监控与预警装置300(以下简称装置300)可以提供图形用户界面(英文全称为Graphical User Interface，英文简称为GUI)供与用户进行交互。用户通过GUI即第一界面进行配置更新操作。例如新增、修改和/或删除配置信息。所述配置信息包括但不限于日志文本路径参数、关键字集合、错误类型、错误级别与预警消息模板的对应关系以及错误类型、错误级别与发送参数的对应关系等。其中，日志文本路径参数可以包括业务系统所在的IP地址、端口号、数据库名称、日志文件名称中的一种或多种。其中，业务系统的IP地址、端口号用于装置300与所述业务系统实现数据连接。装置300可以通过用户或者系统预先设置的或者输入的文件路径参数，根据所述文件路径参数匹配出待监控的日志文本。进一步地，设置文件路径参数的方式可以是通过设置正则表达式的方式，装置300通过设置的正则表达式从远程或者本地获取符合所述正则表达式的监控日志文件。装置300可以实时地或者定时地获取配置信息，以获取监控日志文本。

S202，根据所述日志文本路径参数获取监控日志文本。

具体实现时，装置300可以根据预先设置的多个日志文本路径，一次性获取多个待监控的日志文本。每个日志文本对应一个或者多个监控项，又可以称之为监控对象，每个监控对象对应一种错误类型。将获取的待监控日志文本存储在指定位置，以待后续处理。

在一些实施方式中，在根据所述日志文本路径参数获取监控日志文本之后，所述方法还包括：对所述监控日志文本进行预处理，获取与当前日期匹配的监控日志文本。需要说明的是，在获取的日志文本中，不同业务系统的日志文本的大小、类型、格式多种多样，需要对日志文本进行预处理。所述预处理可以包括对日志文本数据进行筛选截取处理，例如按照当前日期筛选出与当前日期匹配的监控日志文本。这是因为，在一些业务系统中，是按照月份或者年份保存监控日志文本的，因此需要对大容量的监控日志文本进行处理，只截取出当日的监控日志文本。这样，可以及时对当日系统出现的错误进行发现、预警和处理，提高数据安全。当日，以上仅为预处理的一种实现方式，本发明实施例还可以包括其他预处理的实现方式，在此不进行限定。

在一些实施方式中，在利用所述关键字集合中的关键字对所述监控日志文本进行匹配处理之前，所述方法还包括：获取所述监控日志文本对应的监控对象，根据预先保存的监控对象与处理逻辑的对应关系，调用与所述监控日志文本对应的处理逻辑。需要说明的是，监控对象不同，调用的处理逻辑可能不同，例如对于某一种或某几种监控对象可以对应同一种处理逻辑，但对另一种或另几种监控对象则可以对应另外一种处理逻辑。因此，可以预先配置监控对象与处理逻辑的对应关系，调用相应的处理逻辑。后续对监控日志文本进行处理、分析时，都可以应用调用的相应处理逻辑进行处理。

S203，利用所述关键字集合中的关键字对所述监控日志文本进行匹配处理，获得关键字与关键字匹配结果的对应关系。

一般而言，错误信息会对应一些关键字，在本发明实施例中，根据分析历史监控日志确定了错误关键字集合。针对每一监控对象、错误类型可以对应一个错误关键字集合。例如，对支付系统而言，支付结果为一个监控对象，支付异常为一种错误类型，可以预先配置相应的关键字。

具体实现时，可以采用正则表达式进行关键字的匹配处理。例如，利用所述关键字集合中的关键字对所述监控日志文本进行正则表达式匹配处理，获得关键字与关键字匹配结果的对应关系。其中，关键字匹配结果为与关键字匹配的日志文本内容。举例说明，关键字为支付失败，关键字匹配结果为支付失败20笔。

S204，对所述关键字与关键字匹配结果的对应关系进行分析，确定与所述关键字匹配结果对应的错误类型和错误级别；根据所述错误类型、错误级别与预警消息模板的对应关系确定预警消息内容，根据所述错误类型、错误级别与发送参数的对应关系确定与所述错误类型和错误级别对应的发送参数；所述发送参数包括发送方式和发送对象。

具体实现时，获取关键字匹配结果后，对所述关键字匹配结果进行分析、确定与所述关键字匹配结果对应的错误类型和错误级别。具体分析时，可以对关键字匹配结果分析确定是否存在错误，若存在错误，所述错误的类型以及错误的级别。错误类型可以根据用户或者系统设置，例如可以包括：(1)业务异常，例如支付异常、转账异常、核验错误等；(2)系统错误，例如某些重要进程停止、数据库无法连接等；(3)业务状态发生错误等。具体的实现可以是灵活多样的，在此不进行限定。错误级别可以为轻度、中度、严重等。举例说明，关键字匹配结果为支付失败1笔，这时对应的错误类型是支付异常，错误级别为轻度。又如关键字匹配结果为支付失败1000笔，错误级别为严重。

在本发明具体实现时，预先配置了预警消息模板，不同的错误类型、错误级别对应不同的预警消息模板。所述预警消息模板用于描述发生的错误。举例说明，通常的日志监控文本为机器语言，预警消息模板可以根据确定的错误类型、错误级别定制预警消息，例如使用文本描述语言来描述错误的类型和界别。举例说明，预警消息模板可以为：x年x月x日发生汇款失败笔数50笔，错误级别中度，建议核查xx设置。当然，以上仅为示例性说明，不视为对本发明的限制。这样，在发现错误时，可以方便、高效地确定预警消息。此外，根据错误类型、错误级别的不同，可以配置发送参数，例如发送方式和发送对象。发送方式可以是邮件或者短信通知。发送对象可以包括联系人、联系人的联系方式，例如电话号码、邮箱地址等。

S205，根据所述发送方式向所述发送对象发送确定的所述预警消息内容。

举例说明，在确定预警消息的内容后，将所述预警消息通过邮件或短信发送给指定的联系人。例如，轻度错误可以发送给运维人员，中度错误发送给主管人员，严重错误可以发送给级别更高的人员，以便相关人员及时处理。

在这一实施例中，根据预先配置的信息，自动对日志文本进行监控，自动发现错误，并根据错误类型和错误级别将预警信息发送给指定的联系人，有效提高了错误发现的效率和准确率，并及时预警，提高了系统的数据安全。

参见图3，为本发明实施例提供的日志文本监控与预警装置示意图。

一种日志文本监控与预警装置300，所述装置包括：

配置信息获取单元301，用于获取配置信息；所述配置信息至少包括日志文本路径参数、关键字集合、错误类型、错误级别与预警消息模板的对应关系以及错误类型、错误级别与发送参数的对应关系。

文本收集单元302，用于根据所述日志文本路径参数获取监控日志文本。

文本处理单元303，用于利用所述关键字集合中的关键字对所述监控日志文本进行匹配处理，获得关键字与关键字匹配结果的对应关系。

文本分析单元304，用于对所述关键字与关键字匹配结果的对应关系进行分析，确定与所述关键字匹配结果对应的错误类型和错误级别；根据所述错误类型、错误级别与预警消息模板的对应关系确定预警消息内容，根据所述错误类型、错误级别与发送参数的对应关系确定与所述错误类型和错误级别对应的发送参数；所述发送参数包括发送方式和发送对象。

消息发送单元305，用于根据所述发送方式向所述发送对象发送确定的所述预警消息内容。

进一步地，所述装置还包括：

显示单元，用于显示第一界面；

更新单元，用于响应于用户作用于所述第一界面的输入，保存更新配置操作；所述更新配置操作包括新增、修改和/或删除。

进一步地，所述装置还包括：

预处理单元，用于在根据所述日志文本路径参数获取监控日志文本之后，对所述监控日志文本进行预处理，获取与当前日期匹配的监控日志文本。

进一步地，所述装置还包括：

处理逻辑调用单元，用于在利用所述关键字集合中的关键字对所述监控日志文本进行匹配处理之前，获取所述监控日志文本对应的监控对象，根据预先保存的监控对象与处理逻辑的对应关系，调用与所述监控日志文本对应的处理逻辑；

所述文本处理单元具体用于：

根据所述处理逻辑、利用所述关键字集合中的关键字对所述监控日志文本进行匹配处理。

进一步地，所述文本处理单元具体用于：

利用所述关键字集合中的关键字对所述监控日志文本进行正则表达式匹配处理，获得关键字与关键字匹配结果的对应关系

上述各单元的功能可对应于图2详细描述的上述方法的处理步骤，于此不再赘述。需要说明的是，由于对方法实施例进行详细的阐述，对装置实施例的描述较为简单，本领域技术人员可以理解的是，可以参照方法实施例构造本发明的装置实施例。本领域技术人员在不付出创造性劳动下获取的其他实现方式均属于本发明的保护范围。

本领域技术人员可以理解的是，以上对方法和装置实施例进行了示例性说明，以上不视为对本发明的限制，本领域技术人员在不付出创造性劳动下获得的其他实现方式均属于本发明的保护范围。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种日志文本监控与预警方法，其特征在于，所述方法包括：

获取配置信息；所述配置信息至少包括日志文本路径参数、关键字集合、错误类型、错误级别与预警消息模板的对应关系以及错误类型、错误级别与发送参数的对应关系；

根据所述日志文本路径参数获取监控日志文本；

利用所述关键字集合中的关键字对所述监控日志文本进行匹配处理，获得关键字与关键字匹配结果的对应关系；

对所述关键字与关键字匹配结果的对应关系进行分析，确定与所述关键字匹配结果对应的错误类型和错误级别；根据所述错误类型、错误级别与预警消息模板的对应关系确定预警消息内容，根据所述错误类型、错误级别与发送参数的对应关系确定与所述错误类型和错误级别对应的发送参数；所述发送参数包括发送方式和发送对象；

根据所述发送方式向所述发送对象发送确定的所述预警消息内容。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

显示第一界面；

响应于用户作用于所述第一界面的输入，保存更新配置操作；所述更新配置操作包括新增、修改和/或删除。

3.根据权利要求1所述的方法，其特征在于，在根据所述日志文本路径参数获取监控日志文本之后，所述方法还包括：

对所述监控日志文本进行预处理，获取与当前日期匹配的监控日志文本。

4.根据权利要求1或3所述的方法，其特征在于，在利用所述关键字集合中的关键字对所述监控日志文本进行匹配处理之前，所述方法还包括：

获取所述监控日志文本对应的监控对象，根据预先保存的监控对象与处理逻辑的对应关系，调用与所述监控日志文本对应的处理逻辑；

所述利用所述关键字集合中的关键字对所述监控日志文本进行匹配处理包括：

根据所述处理逻辑、利用所述关键字集合中的关键字对所述监控日志文本进行匹配处理。

5.根据权利要求1所述的方法，其特征在于，所述利用所述关键字集合中的关键字对所述监控日志文本进行匹配处理，获得关键字与关键字匹配结果的对应关系包括：

利用所述关键字集合中的关键字对所述监控日志文本进行正则表达式匹配处理，获得关键字与关键字匹配结果的对应关系。

6.一种日志文本监控与预警装置，其特征在于，所述装置包括：

配置信息获取单元，用于获取配置信息；所述配置信息至少包括日志文本路径参数、关键字集合、错误类型、错误级别与预警消息模板的对应关系以及错误类型、错误级别与发送参数的对应关系；

文本收集单元，用于根据所述日志文本路径参数获取监控日志文本；

文本处理单元，用于利用所述关键字集合中的关键字对所述监控日志文本进行匹配处理，获得关键字与关键字匹配结果的对应关系；

文本分析单元，用于对所述关键字与关键字匹配结果的对应关系进行分析，确定与所述关键字匹配结果对应的错误类型和错误级别；根据所述错误类型、错误级别与预警消息模板的对应关系确定预警消息内容，根据所述错误类型、错误级别与发送参数的对应关系确定与所述错误类型和错误级别对应的发送参数；所述发送参数包括发送方式和发送对象；

消息发送单元，用于根据所述发送方式向所述发送对象发送确定的所述预警消息内容。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

显示单元，用于显示第一界面；

更新单元，用于响应于用户作用于所述第一界面的输入，保存更新配置操作；所述更新配置操作包括新增、修改和/或删除。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

预处理单元，用于在根据所述日志文本路径参数获取监控日志文本之后，对所述监控日志文本进行预处理，获取与当前日期匹配的监控日志文本。

9.根据权利要求6或8所述的装置，其特征在于，所述装置还包括：

处理逻辑调用单元，用于在利用所述关键字集合中的关键字对所述监控日志文本进行匹配处理之前，获取所述监控日志文本对应的监控对象，根据预先保存的监控对象与处理逻辑的对应关系，调用与所述监控日志文本对应的处理逻辑；

所述文本处理单元具体用于：

根据所述处理逻辑、利用所述关键字集合中的关键字对所述监控日志文本进行匹配处理。

10.根据权利要求6所述的装置，其特征在于，所述文本处理单元具体用于：

利用所述关键字集合中的关键字对所述监控日志文本进行正则表达式匹配处理，获得关键字与关键字匹配结果的对应关系。