CN101635651A - 一种网络日志数据管理方法、系统及装置 - Google Patents

Abstract

本发明公开了一种网络日志数据管理方法，应用于包括日志处理器、数据库、日志管理装置和WEB服务器的系统中，其中，所述方法包括以下步骤：所述日志处理器从网络报文和日志文件获取日志数据，并存储于所述数据库；所述日志管理装置统一日志数据的存储、读取和清理，使所述WEB服务器从所述日志管理装置读取日志数据，对所述日志数据进行操作。本发明中，可以预置多种日志数据处理方法，并根据空间使用情况动态执行空间管理策略，达到自动智能的日志数据管理功能。并且可以提供开放的处理策略定制机制，用户可以定义自己的处理策略。

Description

一种网络日志数据管理方法、系统及装置

技术领域

本发明涉及通信技术领域，尤其涉及一种网络日志数据管理方法、系统及装置。

背景技术

随着网络的发展，用户对于网络的需求也从网络基础服务向精细化、应用分析和网络服务管理转变，网络的运行状态，流量数据被逐渐重视，而这些信息被淹没在大量的网络日志中，对网络行为的分析带来巨大的挑战。网络日志指包括网络行为信息并符合一定格式规范的日志记录，这些日志具有多种形式，可以是网络报文或特定格式的日志文件。由于网络日志内容繁杂，且形式各异，属于典型的异构数据，给日志数据的管理带来较大难度。

目前，对于网络日志多采用原始日志存入数据库或提取部分信息后丢弃原始日志的处理方式。现有技术中，网络日志保存在数据库中，如图1所示，以数据库为核心，将日志文件及网络报文接收处理后保存到数据库中，Web服务器从数据库中查询用户需要的信息，进行数据展示。这种日志处理方案严重依赖于数据库，所有数据都存放在数据库中，由于数据以原始形态存放，占用较多的磁盘空间，提高了系统的部署成本，同时数据库过大还会导致查询性能下降，数据文件无法收缩从而导致磁盘空间耗尽，引起数据库系统异常，进而影响整个应用系统的稳定性。

因此，现有技术中的网络日志数据管理方式存在如下缺陷：

1、由于日志数据以原始形态存在数据库中，虽然查询速度较快，但占用大量的磁盘空间，限制了日志数据的保存时间。

2、日志数据全部存放在数据库中，随着系统运行，数据库会不断膨胀，如果用户不进行控制或控制不当，会造成历史数据丢失或磁盘空间耗尽进而导致业务中断。

3、现有系统的日志数据保存和清理需要用户手工干预，虽然具有一些日志定期清理的功能，但是当突发大数据量产生时，不能根据磁盘当前状况，确定日志处理方式，进行智能化的日志管理。

发明内容

本发明提供了一种网络日志数据管理方法、系统及装置，综合日志空间监控、日志空间分析和趋势预测、空间管理措施执行的智能日志数据管理方案，提供自动智能的日志数据管理功能。

本发明提供了一种网络日志数据管理方法，应用于包括日志处理器、数据库、日志管理装置和WEB服务器的系统中，所述方法包括以下步骤：

所述日志处理器从网络报文和日志文件获取日志数据，并存储于所述数据库；

所述日志管理装置统一对所述日志数据进行存储、读取或清理，使所述WEB服务器从所述日志管理装置读取日志数据，对所述日志数据进行操作。

所述日志管理装置统一对所述日志数据进行存储、读取或清理，具体包括：

对数据库中的日志数据所使用的空间进行检测；

根据空间使用情况对空间使用增长趋势进行分析和预测；

根据分析和预测结果及预定义策略或用户自定义的管理策略执行存储、读取或清理操作。

所述对数据库中的日志数据所使用的空间进行检测，具体包括：

按照预设周期定时启动空间检测操作，在每个空间检测执行周期开始时检测数据库使用情况和磁盘使用情况，将检测结果存入数据库中；

所述对空间使用增长趋势进行分析和预测，具体包括：

根据空间检测结果，分析当前日志数据空间状态，并结合历史信息通过增量分析和基线分析预测空间变化趋势；

所述分析和预测结果及预定义策略或用户自定义的管理策略执行存储、读取或清理操作，具体包括：

在接收到日志空间分析/预测结果后，根据结果在策略列表中查找符合条件的策略并执行。

所述检测数据库使用情况，具体包括：

查询数据库的大小、数据库已使用空间和数据库位置；

所述检测磁盘使用情况，具体包括：

根据数据库位置和转储路径，确定需要检测的磁盘分卷；检测所述分卷的容量大小、分卷已使用空间的大小。

所述结合历史信息通过增量分析和基线分析预测空间变化趋势，具体包括：

根据空间检测结果判断数据库当前空间使用量是否达到阈值，如果达到，将空间信息提交策略执行模块；

如果没有达到，获取周期内数据库的变化量，读取增量基线数据，根据基线判断增量值是否在正常范围内，如果不在，发出数据空间使用量增量告警，如果在，读取数据空间使用量历史值，使用本次空间信息和历史信息进行空间趋势预测，将预测结果提交策略执行模块。

本发明提供了一种网络日志数据管理系统，包括日志处理器、数据库、WEB服务器和日志管理装置；

所述日志处理器，用于从网络报文和日志文件获取日志数据，并存储于所述数据库；

所述日志管理装置，与所述日志处理器、所述数据库和所述WEB服务器连接，用于对所述日志数据进行存储、读取或清理；

所述WEB服务器，与所述日志管理装置连接，用于从所述日志管理模块读取日志数据，对所述日志数据进行操作。

还包括：

压缩文件存储器，与所述数据库和所述日志管理装置连接，用于存储数据库中的日志数据转换成的压缩文件。

本发明提供了一种日志管理装置，应用于包括日志处理器、数据库和WEB服务器的系统中，所述装置包括：

数据查询模块，用于通过日志数据操作接口查询数据库中的日志数据；

空间管理模块，用于通过日志数据操作接口操作原始日志数据，对数据库中的日志数据所使用的空间进行检测，对其增长趋势进行分析和预测，根据空间使用情况，预定义策略和用户自定义的管理策略执行存储、读取或清理操作。

所述空间管理模块包括：

空间检测子模块，用于按照预设周期定时启动空间检测操作，在每个空间检测执行周期开始时检测数据库使用情况和磁盘使用情况，将检测结果存入数据库中；

空间分析和预测子模块，与所述空间检测子模块连接，用于根据空间检测结果，分析当前日志数据空间状态，并结合历史信息通过增量分析和基线分析预测空间变化趋势；

管理策略执行模块，与所述空间分析和预测模块连接，用于在接收到日志空间分析/预测结果后，根据结果在策略列表中查找符合条件的策略并执行；

管理策略注册模块，与所述管理策略执行模块连接，用于维护策略列表，提供用户增加策略或删除策略的功能。

所述空间检测子模块，具体用于查询数据库的大小、数据库已使用空间和数据库位置，然后根据数据库位置和转储路径，确定需要检测的磁盘分卷，检测所述分卷的容量大小、分卷已使用空间的大小。

所述空间分析和预测子模块，具体用于根据空间检测结果判断数据库当前空间使用量是否达到阈值，如果达到，将空间信息提交策略执行模块；

如果没有达到，获取周期内数据库的变化量，读取增量基线数据，根据基线判断增量值是否在正常范围内，如果不在，发出数据空间使用量增量告警，如果在，读取数据空间使用量历史值，使用本次空间信息和历史信息进行空间趋势预测，将预测结果提交策略执行模块。

与现有技术相比，本发明具有以下优点：

本发明中，基于增量基线分析和空间使用情况预测的方法达到对日志数据空间的提前预警，尽早处理，避免日志空间满而导致的数据丢失。

另外，可以预置多种日志数据处理方法，并根据空间使用情况动态执行空间管理策略，达到自动智能的日志数据管理功能。并且可以提供开放的处理策略定制机制，用户可以定义自己的处理策略。

附图说明

图1是现有技术中以数据库为中心的日志管理系统结构示意图；

图2是本发明中日志管理系统图；

图3是本发明中日志管理模块关系图；

图4是本发明中日志数据空间管理功能示意图；

图5是本发明中数据空间检测模块示意图；

图6是本发明中空间分析和预测模块示意图；

图7是本发明中日志分析/预测处理流程图；

图8是本发明中日志空间管理策略执行示意图；

图9是本发明中一种网络日志数据管理方法流程图。

具体实施方式

本发明中的核心思想是：在现有的系统中增加日志管理装置，统一日志数据的存储、读取和清理，WEB服务器通过日志管理装置读取日志数据，并且基于增量基线分析和空间使用情况预测的方法达到对日志数据空间的提前预警，尽早处理，避免日志空间满而导致的数据丢失。

本发明提供了一种网络日志数据管理系统，如图2所示，包括：日志处理器210、数据库220、日志管理装置230、WEB服务器240和压缩文件存储器250。其中，日志处理器210，用于从网络报文和日志文件获取日志数据，并存储于数据库220；日志管理装置230，用于统一日志数据的存储、读取和清理，并将日志文件自动转换为压缩文件，存储到压缩文件存储器250；WEB服务器240，从日志管理装置230读取日志数据。日志管理装置230可以与WEB服务器240设置在一起，也可以与数据库220设置在一起，也可以独立设置。压缩文件存储器250可以是内部存储设备，例如，随机存储器，也可以是外挂存储设备，例如移动硬盘等。

日志管理装置如图3所示，包括数据查询模块310和日志空间管理模块320。其中，数据查询模块310，用于通过日志数据操作接口查询数据库中的日志数据；日志空间管理模块320，通过日志数据操作接口操作原始日志数据，包括数据库操作和文件操作。其中，数据库操作为：对数据库中的日志数据所使用的空间进行定期不间断的检测，对其增长趋势进行分析和预测，根据空间使用情况，预定义策略和用户自定义的管理策略执行相关的控制操作，例如将数据库中的日志数据自动转存为压缩文件，存储到压缩文件存储器中，以释放数据空间，同时增加了系统的数据保存时间，以确保数据空间的可持续性，保证应用系统持续正常运行。文件操作为：通过显示界面选择对日志数据进行操作或通过输入命令行对日志数据进行相应操作。

日志空间管理模块320具体如图4所示，包括：空间检测子模块420、空间分析和预测子模块410、管理策略执行子模块430和管理策略注册子模块440。

其中，空间检测模块410，按照预设周期(例如10分钟)定时启动空间检测操作，如图5所示，在每个空间检测执行周期开始时检测数据库使用情况和磁盘使用情况，将检测结果存入数据库中，并提交给空间分析和预测模块420。

其中，数据库使用情况检测包括：查询数据库的大小、已使用数据库空间和数据库位置等信息；

磁盘使用情况检测包括：

1，根据数据库位置和转储路径，确定需要检测的磁盘分卷。由于整个磁盘可能很大，可能分成多个分区(也可以称为分卷，在windows系统中相当于盘符，一旦创建则其大小是相对固定的值)。而空间管理只关心与日志数据相关的分区的使用情况，比如磁盘有C、D、E、F 4个分区，其中数据库存放在D盘，转储文件存放在F盘，因此只需要检测这两个分区的使用情况。

2，检测这些分卷的容量大小、分卷已使用空间的大小等信息。磁盘空间是物理磁盘所提供的存储二进制数据的介质，通常用可以存放的字节数来衡量，例如一个磁盘500GB。空间检测就是检测一下磁盘上存储了多少内容(已使用空间)，还能存储多少内容(剩余空间)。

空间分析和预测子模块420，与空间检测子模块410连接，根据空间检测结果，分析当前日志数据空间状态，并结合历史信息通过增量分析和基线分析预测空间变化趋势(基线算法和预测算法均使用已有标准实现，不再详述)。其中，根据检测结果，分析当前数据空间使用状况是否达到预定告警值，如果达到，则转到管理策略执行模块430，如果没有达到，则继续进行变化趋势分析。空间使用趋势具体说就是一系列的数据记录，比如XX日10点数据空间使用了400G，剩余空间100G；XX日10点10分数据空间使用了410G剩余空间90G.....这些数据也需要存放起来，供用户查看，了解空间变化的历史和趋势。这些数据可以存放在数据库中，也可以以文件的形式存放。

空间分析和预测模块420工作原理如图6所示，计算本周期内日志数据空间增量，并对日志数据空间进行基线异常判断，如果增量在正常范围则将当前空间使用情况信息用于数据空间趋势预测，并将预测结果发送给管理策略执行模块430进行管理策略执行，如果增量超过基线则发送增量告警，提醒用户数据空间使用情况异常。

本发明中，日志分析/预测处理流程如图7所示，包括以下步骤：

步骤701，根据空间检测结果判断数据库当前空间使用量是否达到阈值，例如，数据库总空间为500G，使用量到达450G时为阈值，如果达到，则转步骤708，如果没有达到，则转步骤702；另外，上述阈值可以包括多个，分别对应策略执行子模块的多个执行策略，例如表1所示：

表1：

序号	使用量阈值	对应的执行策略
			1	450G	空间告警
2	460G	数据转储

3	470G	调整聚合策略
			4	480G	删除历史日志

步骤702，计算本周期内增量，获取周期内数据库的变化量，例如本周期开始前数据库使用量为400G，而本周期结束时数据库使用量为410G，则本周期内增量为10G；

步骤703，读取增量基线数据；基线就是根据历史信息确定当前值是否在可信范围内。例如，第一周期数据库使用量增加2G，第二周期数据库使用量增加3G，第三周期数据库使用量增加4G，则第四周期数据库使用量增加在5G以内，可以认为是可信范围。上述基线是一个变化值，随着新增量的不断获得，基线也随之变化。

步骤704，根据基线判断增量值是否在正常范围内，如果不在，转步骤705，如果在，转步骤706；

步骤705，发出数据库使用量增量告警，并结束；

步骤706，读取数据库空间使用量历史值；

步骤707，使用本次空间信息和历史信息进行空间趋势预测；例如，本次数据库空间使用量为2G，而历史信息为使用量420G，则可预测下次空间使用量为424G。通过趋势预测可以为数据库预留空间，便于统一管理。

步骤708，将空间信息提交策略执行模块，并结束日志分析/预测处理流程。

管理策略执行模块430，与空间分析和预测模块420连接，在接收到日志空间分析/预测结果后，根据结果在策略列表中查找符合条件的策略并执行。

管理策略注册模块440，与管理策略执行模块430连接，提供用户定义空间使用量达到特定值之后执行某一动作的能力，用户可以根据实际需要定制空间处理策略。策略注册模块负责维护策略列表，提供用户增加策略或删除策略的功能，如图8所示。其中，策略列表中包括：发出告警、删除日志、数据转存、文件清理、接收器启动或停止、聚合策略调整及其他处理策略。例如，确保空间管理的高效和稳定具体的空间管理策略如下：当数据空间使用率达到80％时发送空间告警，提醒用户剩余数据空间已经不多；当数据空间使用率达到90％时启动数据转储，将数据库中的日志数据转储为压缩文件。以释放数据空间；当数据空间使用率达到95％时调整聚合策略，使用更长的聚合时间，减少日志数据生成量；当数据空间使用率达到98％时从数据库中删除历史日志(当天的日志不删除)，释放数据空间等。

本发明提供了一种网络日志数据管理方法，应用于包括日志处理器、数据库、日志管理装置和WEB服务器的系统中，所述方法如图9所示，包括以下步骤：

步骤901，所述日志处理器从网络报文和日志文件获取日志数据，并存储于所述数据库；

步骤902，所述日志管理装置统一日志数据的存储、读取和清理，使所述WEB服务器从所述日志管理装置读取日志数据，对所述日志数据进行操作。

其中，所述日志管理装置统一日志数据的存储、读取和清理，具体包括：

(1)，对数据库中的日志数据所使用的空间进行检测，具体包括：按照预设周期定时启动空间检测操作，在每个空间检测执行周期开始时检测数据库使用情况和磁盘使用情况。其中检测数据库使用情况为：查询数据库的大小、数据库已使用空间、数据库位置；检测磁盘使用为：根据数据库位置和转储路径，确定需要检测的磁盘分卷，检测所述分卷的容量大小、已使用分卷的大小。

(2)，根据空间使用情况对空间使用增长趋势进行分析和预测；具体包括：根据空间检测结果，分析当前日志数据空间状态，并结合历史信息通过增量分析和基线分析预测空间变化趋势。根据空间检测结果判断数据库当前空间使用量是否达到阈值，如果达到，将空间信息提交策略执行模块；如果没有达到，获取周期内数据库的变化量，读取增量基线数据，根据基线判断增量值是否在正常范围内，如果不在，发出数据空间使用量增量告警，如果在，读取数据库空间使用量历史值，使用本次空间信息和历史信息进行空间趋势预测，将空间信息提交策略执行模块。

(3)，根据分析和预测结果及预定义策略或用户自定义的管理策略执行相关的控制操作。具体包括：在接收到日志空间分析/预测结果后，根据结果在策略列表中查找符合条件的策略并执行。

本发明中，基于增量基线分析和空间使用情况预测的方法达到对日志数据空间的提前预警，尽早处理，避免日志空间满而导致的数据丢失。

另外，可以预置多种日志数据处理方法，并根据空间使用情况动态执行空间管理策略，达到自动智能的日志数据管理功能。并且可以提供开放的处理策略定制机制，用户可以定义自己的处理策略。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明序号仅仅为了描述，不代表实施例的优劣。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (11)

1、一种网络日志数据管理方法，应用于包括日志处理器、数据库、日志管理装置和WEB服务器的系统中，其特征在于，所述方法包括以下步骤：

所述日志处理器从网络报文和日志文件获取日志数据，并存储于所述数据库；

所述日志管理装置统一对所述日志数据进行存储、读取或清理，使所述WEB服务器从所述日志管理装置读取日志数据，对所述日志数据进行操作。

2、如权利要求1所述的方法，其特征在于，所述日志管理装置统一对所述日志数据进行存储、读取或清理，具体包括：

对数据库中的日志数据所使用的空间进行检测；

根据空间使用情况对空间使用增长趋势进行分析和预测；

根据分析和预测结果及预定义策略或用户自定义的管理策略执行存储、读取或清理操作。

3、如权利要求2所述的方法，其特征在于，所述对数据库中的日志数据所使用的空间进行检测，具体包括：

按照预设周期定时启动空间检测操作，在每个空间检测执行周期开始时检测数据库使用情况和磁盘使用情况，将检测结果存入数据库中；

所述对空间使用增长趋势进行分析和预测，具体包括：

根据空间检测结果，分析当前日志数据空间状态，并结合历史信息通过增量分析和基线分析预测空间变化趋势；

所述分析和预测结果及预定义策略或用户自定义的管理策略执行存储、读取或清理操作，具体包括：

在接收到日志空间分析/预测结果后，根据结果在策略列表中查找符合条件的策略并执行。

4、如权利要求3所述的方法，其特征在于，所述检测数据库使用情况，具体包括：

查询数据库的大小、数据库已使用空间和数据库位置；

所述检测磁盘使用情况，具体包括：

根据数据库位置和转储路径，确定需要检测的磁盘分卷；检测所述分卷的容量大小、分卷已使用空间的大小。

5、如权利要求3所述的方法，其特征在于，所述结合历史信息通过增量分析和基线分析预测空间变化趋势，具体包括：

根据空间检测结果判断数据库当前空间使用量是否达到阈值，如果达到，将空间信息提交策略执行模块；

如果没有达到，获取周期内数据库的变化量，读取增量基线数据，根据基线判断增量值是否在正常范围内，如果不在，发出数据空间使用量增量告警，如果在，读取数据空间使用量历史值，使用本次空间信息和历史信息进行空间趋势预测，将预测结果提交策略执行模块。

6、一种网络日志数据管理系统，其特征在于，包括日志处理器、数据库、WEB服务器和日志管理装置；

所述日志处理器，用于从网络报文和日志文件获取日志数据，并存储于所述数据库；

所述日志管理装置，与所述日志处理器、所述数据库和所述WEB服务器连接，用于对所述日志数据进行存储、读取或清理；

所述WEB服务器，与所述日志管理装置连接，用于从所述日志管理模块读取日志数据，对所述日志数据进行操作。

7、如权利要求6所述的系统，其特征在于，还包括：

压缩文件存储器，与所述数据库和所述日志管理装置连接，用于存储数据库中的日志数据转换成的压缩文件。

8、一种日志管理装置，应用于包括日志处理器、数据库和WEB服务器的系统中，其特征在于，所述装置包括：

数据查询模块，用于通过日志数据操作接口查询数据库中的日志数据；

空间管理模块，用于通过日志数据操作接口操作原始日志数据，对数据库中的日志数据所使用的空间进行检测，对其增长趋势进行分析和预测，根据空间使用情况，预定义策略和用户自定义的管理策略执行存储、读取或清理操作。

9、如权利要求8所述的装置，其特征在于，所述空间管理模块包括：

空间检测子模块，用于按照预设周期定时启动空间检测操作，在每个空间检测执行周期开始时检测数据库使用情况和磁盘使用情况，将检测结果存入数据库中；

空间分析和预测子模块，与所述空间检测子模块连接，用于根据空间检测结果，分析当前日志数据空间状态，并结合历史信息通过增量分析和基线分析预测空间变化趋势；

管理策略执行模块，与所述空间分析和预测模块连接，用于在接收到日志空间分析/预测结果后，根据结果在策略列表中查找符合条件的策略并执行；

管理策略注册模块，与所述管理策略执行模块连接，用于维护策略列表，提供用户增加策略或删除策略的功能。

10、如权利要求9所述的装置，其特征在于，所述空间检测子模块，具体用于查询数据库的大小、数据库已使用空间和数据库位置，然后根据数据库位置和转储路径，确定需要检测的磁盘分卷，检测所述分卷的容量大小、分卷已使用空间的大小。

11、如权利要求9所述的装置，其特征在于，所述空间分析和预测子模块，具体用于根据空间检测结果判断数据库当前空间使用量是否达到阈值，如果达到，将空间信息提交策略执行模块；

如果没有达到，获取周期内数据库的变化量，读取增量基线数据，根据基线判断增量值是否在正常范围内，如果不在，发出数据空间使用量增量告警，如果在，读取数据空间使用量历史值，使用本次空间信息和历史信息进行空间趋势预测，将预测结果提交策略执行模块。

Images