CN106897189A - 一种基于数据实时推送的日志监控系统 - Google Patents

Abstract

本发明公开了一种基于数据实时推送的日志监控系统，该系统包括监控管理模块、数据库和多个日志推送模块，每个日志推送模块设置于不同的监控对象中，日志推送模块和监控对象为一一对应关系，其中，第一日志推送模块，用于对其对应的第一监控对象中的日志数据进行监测，抓取第一监控对象中新增的第一日志数据，并将第一日志数据推送给监控管理模块，第一日志推送模块为多个日志推送模块中的任意一个；监控管理模块，用于接收第一日志推送模块推送的第一日志数据，将第一日志数据存放于数据库中，以使数据库中存储有所有监控对象的日志数据。应用本发明实施例所提供的技术方案，可以提高日志数据的时效性，减轻监控服务器的性能压力。

Description

一种基于数据实时推送的日志监控系统

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种基于数据实时推送的日志监控系统。

背景技术

随着计算机技术和互联网技术的快速发展，数据中心对服务器设备数量的需求逐渐增大，大量的网络业务涉及的应用也越来越多。服务器设备在运行过程中，可以生成日志数据，如系统日志数据和应用日志数据。通过对日志数据进行监控和分析，可以获得整个数据中心的服务器设备的运行状态，以便发现问题及时解决。对服务器设备日志的有效监控是对数据中心服务器设备正常运行的重要保障。

在现有技术中，多是通过监控服务器以轮询方式获取各监控对象，即服务器设备的日志数据。

在针对数量较少的监控对象时，使用这种轮询方式可以较快获得各监控对象的日志数据，但是，如果监控对象数量较多，一次轮询时间较长，获得的日志数据的时效性较差，无法满足实际要求，而且，监控服务器在轮询过程中，耗费较多内存资源，一旦出现错误，将会导致线程拥塞，监控服务器的性能压力较大。

发明内容

本发明的目的是提供一种基于数据实时推送的日志监控系统，以提高日志数据的时效性，减轻监控服务器的性能压力。

为解决上述技术问题，本发明提供如下技术方案：

一种基于数据实时推送的日志监控系统，包括监控管理模块、数据库和多个日志推送模块，每个日志推送模块设置于不同的监控对象中，日志推送模块和监控对象为一一对应关系，其中，

第一日志推送模块，用于对其对应的第一监控对象中的日志数据进行监测，抓取所述第一监控对象中新增的第一日志数据，并将所述第一日志数据推送给所述监控管理模块，所述第一日志推送模块为多个日志推送模块中的任意一个；

所述监控管理模块，用于接收所述第一日志推送模块推送的所述第一日志数据，将所述第一日志数据存放于所述数据库中，以使所述数据库中存储有所有监控对象的日志数据。

在本发明的一种具体实施方式中，

所述监控管理模块，还用于在监测到有新的第二监控对象加入时，获得所述第二监控对象的操作系统登录信息，根据所述第二监控对象的操作系统登录信息和自身的连接信息，配置日志推送客户端安装程序，将配置后的所述日志推送客户端安装程序发送给所述第二监控对象，以基于所述日志推送客户端安装程序，在所述第二监控对象上完成相应的第二日志推送模块的设置。

在本发明的一种具体实施方式中，

所述监控管理模块，还用于在设定时长内未接收到所述第二日志推送模块的完成反馈信息时，重复执行所述将配置后的所述日志推送客户端安装程序发送给所述第二监控对象的步骤。

在本发明的一种具体实施方式中，还包括日志处理模块，用于对所述数据库中新增的日志数据进行分析，根据分析结果和预设的处理策略，进行相应的处理操作。

在本发明的一种具体实施方式中，还包括告警通知模块，

所述日志处理模块，还用于根据所述分析结果，确定当前是否存在故障，如果是，则在所述数据库中获取故障数据，将所述故障数据发送给所述告警通知模块，所述告警数据中携带故障相关属性信息；

所述告警通知模块，用于接收所述日志处理模块发送的所述告警数据，根据所述告警数据，输出告警通知。

在本发明的一种具体实施方式中，所述告警通知模块，具体用于根据所述告警数据，确定告警级别，根据所述告警级别对应的通知策略，输出所述告警通知。

在本发明的一种具体实施方式中，还包括多个自监管模块，每个自监管模块设置于不同的监控对象中，自监管模块与日志推送模块为一一对应关系，

第一自监管模块，用于监测其对应的所述第一日志推送模块的运行状态，在监测到所述第一日志推送模块运行出现异常时，生成异常事件，将所述异常事件发送给所述监控管理模块；

所述监控管理模块，还用于接收所述异常事件，并通过所述告警通知模块输出针对所述第一日志推送模块的异常告警通知。

在本发明的一种具体实施方式中，

所述第一自监管模块，还用于在监测到所述第一日志推送模块运行出现异常时，对所述第一日志推送模块进行修复。

在本发明的一种具体实施方式中，

所述第一自监管模块，还用于在对所述第一日志推送模块进行成功修复后，向所述监控管理模块发送所述第一日志推送模块的运行状态恢复信息；

所述监控管理模块，还用于根据所述运行状态恢复信息，消除针对所述第一日志推送模块的异常事件，并通过所述告警通知模块输出针对所述第一日志推送模块的故障恢复通知。

应用本发明实施例所提供的技术方案，在每个监控对象中均设置一个日志推送模块，每个日志推送模块对其对应的监控对象中的日志数据进行监测，在抓取到新增的日志数据时，将抓取到的新增的日志数据推送给监控管理模块，监控管理模块将新增的日志数据存放于数据库中，使得数据库中存储有所有监控对象的完整的日志数据，进而可以利用数据库中的日志数据进行进一步分析。日志推送模块监测到日志数据变化时，可以及时将新增的日志数据推送给监控管理模块，监控管理模块可以及时获知各个监控对象的日志数据，提高了日志数据的时效性，减轻了监控服务器的性能压力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中基于数据实时推送的日志监控系统的一种结构示意图；

图2为本发明实施例中基于数据实时推送的日志监控系统的另一种结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1所示，为本发明实施例所提供的一种基于数据实时推送的日志监控系统，该系统包括监控管理模块210、数据库220和多个日志推送模块110，每个日志推送模块110设置于不同的监控对象中，日志推送模块110和监控对象为一一对应关系，其中，

第一日志推送模块，用于对其对应的第一监控对象中的日志数据进行监测，抓取第一监控对象中新增的第一日志数据，并将第一日志数据推送给监控管理模块210，第一日志推送模块为多个日志推送模块110中的任意一个；

监控管理模块210，用于接收第一日志推送模块推送的第一日志数据，将第一日志数据存放于数据库220中，以使数据库220中存储有所有监控对象的日志数据。

在本发明实施例中，基于数据实时推送的日志监控系统包括监控管理模块210、数据库220和多个日志推送模块110。监控管理模块210可以设置于监控服务器中，每个日志推送模块110设置于不同的监控对象中，日志推送模块110和监控对象为一一对应关系，即每个监控对象中均包含一个日志推送模块110。日志推送模块110可以对其对应的监控对象中的日志数据的变化情况进行监测。

第一日志推送模块为与监控管理模块210连接的多个日志推送模块110中的任意一个日志推送模块。第一监控对象为与第一日志推送模块对应的监控对象。第一日志推送模块可以在对第一监控对象中的日志数据进行监测的过程中，如果监测到日志数据有变化，则可以抓取第一监控对象中新增的第一日志数据，将第一日志数据推送给监控管理模块210。具体的，第一日志推送模块可以根据预设的格式转换要求，对第一日志数据进行格式转换等数据处理，以使进行数据处理后的第一日志数据符合监控管理模块210的数据要求。

监控管理模块210接收第一日志推送模块推送的第一日志数据，可以将第一日志数据存放于数据中，这样，数据库220中存储有所有监控对象的日志数据。

第一日志推送模块为任意一个日志推送模块，任意一个日志推送模块110在监测到其对应的监控对象有新增的日志数据时，都可以将新增的日志数据实时推送给监控管理模块210，这样，监控管理模块210可以接收任意一个日志推送模块110推送的日志数据，及时将新增的日志数据存放于数据库220中，使数据库220中存储所有监控对象的完整的日志数据。

应用本发明实施例所提供的技术方案，在每个监控对象中均设置一个日志推送模块，每个日志推送模块对其对应的监控对象中的日志数据进行监测，在抓取到新增的日志数据时，将抓取到的新增的日志数据推送给监控管理模块，监控管理模块将新增的日志数据存放于数据库中，使得数据库中存储有所有监控对象的完整的日志数据，进而可以利用数据库中的日志数据进行进一步分析。日志推送模块监测到日志数据变化时，可以及时将新增的日志数据推送给监控管理模块，监控管理模块可以及时获知各个监控对象的日志数据，提高了日志数据的时效性，减轻了监控服务器的性能压力。

在本发明的一个实施例中，监控管理模块210，还可以用于在监测到有新的第二监控对象加入时，获得第二监控对象的操作系统登录信息，根据第二监控对象的操作系统登录信息和自身的连接信息，配置日志推送客户端安装程序，将配置后的日志推送客户端安装程序发送给第二监控对象，以基于日志推送客户端安装程序，在第二监控对象上完成相应的第二日志推送模块的设置。

在本发明实施例中，监控对象可以发生增减变化。在监测到有新的第二监控对象加入时，监控管理模块210可以控制在第二监控对象中设置相应的第二日志推送模块，以使该第二日志推送模块能够对第二监控对象中的日志数据的变化情况进行监测。

具体的，监控管理模块210可以获得第二监控对象的操作系统登录信息，如用户名、密码等信息。监控管理模块210根据第二监控对象的操作系统登录信息和自身的连接信息，可以对日志推送客户端安装程序进行配置，如在该日志推送客户端安装程序中配置第二监控对象的操作系统的用户名、密码等信息，及监控管理模块210的IP地址、端口等信息。

监控管理模块210将配置后的日志推送客户端安装程序发送给第二监控对象，基于该日志推送客户端安装程序，可以在第二监控对象上完成相应的第二日志推送模块的设置。设置完成后，第二监控对象对应的第二日志推送模块可以通过监控管理模块210的IP地址和端口信息与监控管理模块210建立连接，向监控管理模块210发送完成反馈信息，表明已在第二监控对象中成功设置第二日志推送模块。

如果监控管理模块210在设定时长内未接收到第二日志推送模块的完成反馈信息，则可以重复执行将配置后的日志推送客户端安装程序发送给第二监控对象的步骤。如果重复次数达到设定阈值，则可以输出告警信息，以使运维人员对第二监控对象进行问题排查，或者由运维人员手动在第二监控对象上设置第二日志推送模块。

参见图2所示，在本发明的一个实施例中，该系统还可以包括日志处理模块230，用于对数据库220中新增的日志数据进行分析，根据分析结果和预设的处理策略，进行相应的处理操作。

在本发明实施例中，可以根据实际需求预先设定处理策略。监控管理模块210将接收到的各监控对象的新增的日志数据存放于数据库220中，可以通过数据库220向日志处理模块230提供完整的日志数据支持。

日志处理模块230对数据库220中新增的日志数据进行分析，可以根据分析结果和预设的处理策略，进行相应的处理操作。比如，对新增的日志数据进行分析，确定某监控对象当前传输速率较低，存在网络拥堵情况，据此分析结果，可以生成流量均衡控制指令，使得网络数据流向其他监控对象，减轻该监控对象的压力。

如图2所示，在本发明的一个实施例中，该系统还可以包括告警通知模块240。

日志处理模块230，还用于根据分析结果，确定当前是否存在故障，如果是，则在数据库220中获取故障数据，将故障数据发送给告警通知模块240，故障数据中携带故障相关属性信息；

告警通知模块240，用于接收日志处理模块230发送的告警数据，根据告警数据，输出告警通知。

本发明实施例所提供的基于数据实时推送的日志监控系统还可以包括告警通知模块240。日志处理模块230对数据库220中新增的日志数据进行分析，可以确定新增的日志数据中是否描述了故障信息，如果是，则可以根据该分析结果，确定当前存在故障，进一步可以在数据库220中获取故障数据，故障数据中携带故障相关属性信息，如故障级别、故障时间、故障位置、故障详情、故障可能带来的影响、故障处理建议等。日志处理模块230将故障数据发送给告警通知模块240。

告警通知模块240接收日志处理模块230发送的告警数据，可以根据该告警数据，输出告警通知。具体的，告警通知模块240可以根据告警数据，确定告警级别，根据告警级别对应的通知策略，输出告警通知。

可以预先设定告警级别与通知策略的对应关系，告警通知模块240接收到告警数据后，可以根据告警数据中携带的故障相关属性信息，确定告警级别。确定出告警级别后，可以根据预设的对应关系，确定该告警级别对应的通知策略，根据确定的通知策略，输出告警通知。

比如，告警级别可以分为低、中、高等级别，对于高告警级别，对应的通知策略可以是同时通过短信、邮件、电话三种方式输出告警通知，以便相关人员能够及时获得该告警通知，对故障进行排查，对于低告警级别，对应的通知策略可以是在监控显示器上输出告警通知。

在本发明的一个实施例中，该系统还可以包括多个自监管模块120，每个自监管模块120设置于不同的监控对象中，自监管模块120与日志推送模块110为一一对应关系。

第一自监管模块，用于监测其对应的第一日志推送模块的运行状态，在监测到第一日志推送模块运行出现异常时，生成异常事件，将异常事件发送给监控管理模块210；

监控管理模块210，还用于接收异常事件，并通过告警通知模块240输出针对第一日志推送模块的异常告警通知。

在本发明实施例中，每个监控对象中可以同时设置有一个日志推送模块110和一个自监管模块120，日志推送模块110和自监管模块120为一一对应关系。自监管模块120可以对日志推送模块110的运行状态进行监测。对自监管模块120的配置可以参考对日志推送模块110的配置。

第一日志推送模块为本发明实施例所提供的系统中包含的多个日志推送模块110中的任意一个，第一自监管模块与第一日志推送模块相对应。

第一自监管模块监测其对应的第一日志推送模块的运行状态，在监测到第一日志推送模块运行出现异常时，可以生成异常事件，将该异常事件发送给监控管理模块210。日志推送模块110的异常可以是网络异常或者程序异常等。

监控管理模块210接收到异常事件后，可以记录该异常事件，并通过告警通知模块240输出针对第一日志推送模块的异常告警通知，以使运维人员及时对异常事件进行排查，避免影响日志数据获取时效性。

第一自监管模块在监测到第一日志推送模块运行出现异常时，可以对第一日志推送模块进行修复，如重启第一日志推送模块等。

第一自监管模块在对第一日志推送模块进行成功修复后，可以向监控管理模块210发送第一日志推送模块的运行状态恢复信息，表明第一日志推送模块当前已被成功修复。监控管理模块210根据运行状态恢复信息，可以消除针对第一日志推送模块的异常事件，并通过告警通知模块240输出针对第一次日志推送模块110的故障恢复通知。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种基于数据实时推送的日志监控系统，其特征在于，包括监控管理模块、数据库和多个日志推送模块，每个日志推送模块设置于不同的监控对象中，日志推送模块和监控对象为一一对应关系，其中，

第一日志推送模块，用于对其对应的第一监控对象中的日志数据进行监测，抓取所述第一监控对象中新增的第一日志数据，并将所述第一日志数据推送给所述监控管理模块，所述第一日志推送模块为多个日志推送模块中的任意一个；

所述监控管理模块，用于接收所述第一日志推送模块推送的所述第一日志数据，将所述第一日志数据存放于所述数据库中，以使所述数据库中存储有所有监控对象的日志数据。

2.根据权利要求1所述的基于数据实时推送的日志监控系统，其特征在于，

所述监控管理模块，还用于在监测到有新的第二监控对象加入时，获得所述第二监控对象的操作系统登录信息，根据所述第二监控对象的操作系统登录信息和自身的连接信息，配置日志推送客户端安装程序，将配置后的所述日志推送客户端安装程序发送给所述第二监控对象，以基于所述日志推送客户端安装程序，在所述第二监控对象上完成相应的第二日志推送模块的设置。

3.根据权利要求2所述的基于数据实时推送的日志监控系统，其特征在于，

所述监控管理模块，还用于在设定时长内未接收到所述第二日志推送模块的完成反馈信息时，重复执行所述将配置后的所述日志推送客户端安装程序发送给所述第二监控对象的步骤。

4.根据权利要求1至3任一项所述的基于数据实时推送的日志监控系统，其特征在于，还包括日志处理模块，用于对所述数据库中新增的日志数据进行分析，根据分析结果和预设的处理策略，进行相应的处理操作。

5.根据权利要求4所述的基于数据实时推送的日志监控系统，其特征在于，还包括告警通知模块，

所述日志处理模块，还用于根据所述分析结果，确定当前是否存在故障，如果是，则在所述数据库中获取故障数据，将所述故障数据发送给所述告警通知模块，所述告警数据中携带故障相关属性信息；

所述告警通知模块，用于接收所述日志处理模块发送的所述告警数据，根据所述告警数据，输出告警通知。

6.根据权利要求5所述的基于数据实时推送的日志监控方法，其特征在于，所述告警通知模块，具体用于根据所述告警数据，确定告警级别，根据所述告警级别对应的通知策略，输出所述告警通知。

7.根据权利要求5所述的基于数据实时推送的日志监控方法，其特征在于，还包括多个自监管模块，每个自监管模块设置于不同的监控对象中，自监管模块与日志推送模块为一一对应关系，

第一自监管模块，用于监测其对应的所述第一日志推送模块的运行状态，在监测到所述第一日志推送模块运行出现异常时，生成异常事件，将所述异常事件发送给所述监控管理模块；

所述监控管理模块，还用于接收所述异常事件，并通过所述告警通知模块输出针对所述第一日志推送模块的异常告警通知。

8.根据权利要求7所述的基于数据实时推送的日志监控方法，其特征在于，

所述第一自监管模块，还用于在监测到所述第一日志推送模块运行出现异常时，对所述第一日志推送模块进行修复。

9.根据权利要求8所述的基于数据实时推送的日志监控方法，其特征在于，

所述第一自监管模块，还用于在对所述第一日志推送模块进行成功修复后，向所述监控管理模块发送所述第一日志推送模块的运行状态恢复信息；

所述监控管理模块，还用于根据所述运行状态恢复信息，消除针对所述第一日志推送模块的异常事件，并通过所述告警通知模块输出针对所述第一日志推送模块的故障恢复通知。