CN106570163A - 一种面向不可靠环境的审计日志读写管理方法以及系统 - Google Patents

Abstract

一种面向不可靠环境的审计日志读写管理方法以及系统，方法包括：写入步骤，将审计设备中审计程序产生的审计日志周期性地备份至硬盘中的与时间相关的日志文件；读取步骤，根据用户选定的时间调取相应的日志文件，并将调取的日志文件导入数据库以进行查询。本发明审计日志写入日志文件，即使写入时发生断电，也只有最后一条写入日志受影响，降低了突然断电时系统的损坏概率；当用户进行日志查询时，根据用户选定的时间调取日志文件并导入数据库，在日志文件的显式导入过程中，因为用户知道导入过程的存在，不会关闭设备电源，因此系统在日志导入数据库过程中出错的可能性大大降低，进一步地，查询时采用列存储类型的数据库，可提高日志写入速度。

Description

一种面向不可靠环境的审计日志读写管理方法以及系统

技术领域

本发明涉及信息安全技术领域，尤其涉及一种面向不可靠环境的审计日志读写管理方法。

背景技术

网络安全一般要求安全审计设备记录保存用户的一段时间内的上网行为日志，并可按时间、IP、URL等多种维度查询。与其它数据库业务系统相比，审计日志的存储和查询有其自身的特点：一方面日志的写入是高频次的，每一次用户的上网行为都要相应的写入一条日志；另一方面，日志的查询是低频次的，只有当对发生的网络安全问题进行溯源时才会对设备上的审计日志进行查询。

桌面型低端设备面临着用户下班后或休息时经常断电的不稳定环境，由于采用Mysql等关系型数据库记录和查询审计日志，写入时突然断电会造成数据库表损害，从而导致设备功能不可用。当前通常采用的方法是审计设备上不记录审计日志，而将审计日志回传到一个专门的设备进行日志的存储和查询，这种方法增加了用户额外的硬件成本和维护成本。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种面向不可靠环境的审计日志读写管理方法，使其在不增加额外日志存储和查询硬件的情况下，降低不可靠环境下日志系统损坏的概率，提高系统的可用性，同时仍然给用户提供多维度的、高效的查询功能。

本发明解决其技术问题所采用的技术方案是：构造一种面向不可靠环境的审计日志读写管理方法，方法包括：

写入步骤，将审计设备中审计程序产生的审计日志周期性地备份至硬盘中的与时间相关的日志文件；

读取步骤，根据用户选定的时间调取相应的日志文件，并将调取的日志文件导入数据库以进行查询。

在发明所述的面向不可靠环境的审计日志读写管理方法中，所述日志文件为csv文件，读取步骤时日志文件导入的数据库为列存储类型的数据库。

在发明所述的面向不可靠环境的审计日志读写管理方法中，所述写入步骤具体包括：在硬盘中利用Mysql数据库的csv存储引擎建立一个csv文件的网络行为日志表，将产生的审计日志实时插入到所述网络行为日志表中，Mysql数据库依据所述网络行为日志表实时对csv文件进行更新；且以预设时间为间隔，将过去一个预设时间内的csv文件备份到硬盘中指定目录下的与当天日期对应的文件夹内，并根据当前时间对备份的csv文件进行命名得到当前时间对应的日志文件，备份完毕时将网络行为日志表里的数据删除。

在发明所述的面向不可靠环境的审计日志读写管理方法中，所述与当天日期对应的文件夹为每天在指定目录下新建的一个根据当天日期命名的文件夹。

在发明所述的面向不可靠环境的审计日志读写管理方法中，所述读取步骤具体包括：获取用户输入的搜索条件，根据搜索条件中的时间参数从硬盘中的备份的csv文件中调取相应的csv文件，将csv文件导入列存储类型的数据库，再根据用户输入的搜索条件进行查询。

在发明所述的面向不可靠环境的审计日志读写管理方法中，所述写入步骤还包括：将审计设备中审计程序产生的审计日志实时地写入内存中的行为日志中，并通过日志中心与审计设备之间的通信进程写入日志中心的数据库中。

本发明还提供一种面向不可靠环境的审计日志读写管理系统，包括：

写日志模块，用于将审计设备中审计程序产生的审计日志周期性地备份至硬盘中的与时间相关的日志文件；

读日志模块，用于根据用户选定的时间调取相应的日志文件，并将调取的日志文件写入列存储类型的数据库以进行查询。

在发明所述的面向不可靠环境的审计日志读写管理系统中，所述写日志模块具体包括：

写入子模块，在硬盘中利用Mysql数据库的csv存储引擎建立一个csv文件的网络行为日志表，将产生的审计日志实时插入到所述网络行为日志表中，Mysql数据库依据所述网络行为日志表实时对csv文件进行更新；

备份子模块，以预设时间为间隔，将过去一个预设时间内的csv文件备份到硬盘中指定目录下的与当天日期对应的文件夹内，并根据当前时间对备份的csv文件进行命名得到当前时间对应的日志文件，备份完毕时将网络行为日志表里的数据删除。

在发明所述的面向不可靠环境的审计日志读写管理系统中，所述与当天日期对应的文件夹为每天在指定目录下新建的一个根据当天日期命名的文件夹。

在发明所述的面向不可靠环境的审计日志读写管理系统中，所述读日志模块包括：

用户交互子模块，用于获取用户输入的搜索条件；

读取子模块，用于根据搜索条件中的时间参数从硬盘中的备份的csv文件中调取相应的csv文件，将csv文件导入列存储类型的数据库，根据用户输入的搜索条件进行查询。

实施本发明的面向不可靠环境的审计日志读写管理方法以及系统，具有以下有益效果：本发明审计程序产生审计日志后周期性地备份至硬盘中的与时间相关的日志文件，读取时是调取的硬盘中备份的日志文件，实现读写分离、按需查询的效果，日志文件结构简单，即使写入时发生断电，也只有最后一条写入日志受影响，可迅速恢复，这样大大降低了突然断电时系统的损坏概率；当用户进行日志查询时，根据用户选定的时间调取相应的日志文件，并将调取的日志文件导入数据库以进行查询，在日志文件的显式导入过程中，因为用户知道导入过程的存在，不会关闭设备电源，因此系统在日志导入数据库过程中出错的可能性大大降低；

进一步地，根据审计日志很少修改的特点，查询时的数据库采用列存储类型的数据库，列存储类型没有索引，可大大提高日志写入速度、可靠性和减小磁盘占用空间；因此，在相同的硬件条件下，本发明极大的提高了审计设备在不稳定环境下系统功能的可用性，同时保持了日志查询的灵活性和高效率。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是审计设备的结构示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

参考图1，是审计设备的结构示意图。下面结合图1，对本发明的方法和系统进行说明。

审计设备包括三个存储实体：内存、CF卡、硬盘。

内存中存储有用户状态和流量状态，用户界面通过接口可直接读取；

CF卡的只读分区存放操作系统、系统应用程序和配置文件。只有当系统升级、特征库升级和定时同步硬盘上的数据库配置文件备份信息时，只读分区才变为可写，完成后恢复为只读分区。

硬盘存储用户信息表、审计策略表等配置信息，相关表之间通过外键关联，用户通过SQL操作接口可对其进行增、删、改、查操作，并且定时将配置信息备份到硬盘相关分区，备份信息定时同步到CF卡相关存储目录。

为在不增加硬件成本的基础上解决写入日志的不可靠性，本发明将上网行为日志等随时间不断增长的数据以文件格式存储在硬盘中。而且日志文件每隔预设时间(例如一小时)备份一份，日志保存总量通过配置文件控制，例如保存60天数据。上网行为日志的查询与存储过程分离，用户可以直接在设备上，以BS架构将备份的日志文件导入到列存储类型的数据库进行查询，也可以在其它的主机上安装日志查询程序，将备份的日志文件导入后查询。下面详细介绍本发明的审计日志读写管理方法和系统。

具体的，本发明的方法包括：

写入步骤，将审计设备中审计程序产生的审计日志周期性地备份至硬盘中的与时间相关的日志文件，优选的，所述日志文件为csv文件。

读取步骤，根据用户选定的时间调取相应的日志文件，并将调取的日志文件导入数据库以进行查询，优选的，日志文件导入的数据库为列存储类型的数据库，列存储类型的数据库无索引，导入速度会很快，针对本设备的审计日志来说，列存储类型的数据库可以去除行式存储产生的重复信息，加速查询，可大大提高日志写入速度、可靠性和减小磁盘占用空间。

其中，所述写入步骤具体包括：每天在指定目录下新建的一个根据当天日期命名的文件夹，在硬盘中利用Mysql数据库的csv存储引擎建立一个csv文件的网络行为日志表，将产生的审计日志实时插入到所述网络行为日志表中，Mysql数据库依据所述网络行为日志表实时对csv文件进行更新，且以预设时间为间隔，将过去一个预设时间内的csv文件备份到硬盘中指定目录下的与当天日期对应的文件夹内，并根据当前时间对备份的csv文件进行命名得到当前时间对应的日志文件，备份完毕时将网络行为日志表里的数据删除。

预设时间可以根据具体情况具体设定，优选为一小时。即，应用程序首先将审计日志写入MySQL数据库的csv引擎文件，每个小时的整点，应用程序再将csv引擎文件备份到硬盘上的指定目录，指定目录以天为单位组织，目录中的csv文件以小时为单位组织。

考虑到审计设备的硬盘空间有限，所以可以通过界面修改配置文件中本地硬盘的日志文件的保存期限，也就说本地只提供短期的日志查询。由于本发明是根据当天日期命名每天新建的文件夹来存储当天的日志文件，所以可以通过将文件夹名称中时间早于一定期限的文件夹删除实现保留短期日志文件。例如若期限为4个星期，当前日期为2016-10-24，则可以将名称为2016-09-26之前的文件夹删除，仅保留2016-09-26、2016-09-27、……、2016-10-24这些28天内的文件夹。

为了保证长期的日志存储和查询，可以将日志备份到远程的日志中心中。因此，优选的，所述写入步骤还包括：将审计设备中审计程序产生的审计日志实时地写入内存中的行为日志中，并通过日志中心与审计设备之间的通信进程写入日志中心的数据库中，日志中心拥有海量的存储设备，面向更广泛的数据分析需求。

其中，所述读取步骤具体包括：获取用户输入的搜索条件，根据搜索条件中的时间参数从硬盘中的备份的csv文件中调取相应的csv文件，将csv文件导入列存储类型的数据库，再根据用户输入的搜索条件进行查询。

搜索条件必须包含时间范围，界面发出查询命令后调用后台程序，传入时间范围的数值，精确到小时。后台程序搜集所有指定时间范围内的csv文件，通过数据库sql语句“load_file”依次将每个csv文件整体导入到列存储类型的数据库以供后续查询。

下面以一个具体的例子说明上述读写过程。

用户在2016-10-20 11:30:00通过访问网页产生一条审计日志，日志中包含ip、mac、网页title，网页url等信息；

此条审计日志会被应用程序存入硬盘上的Mysql的数据库的网络行为日志表中，因此也就保存到了Mysql的cvs引擎文件中；

在2016-10-20 12:00:00的整点时刻，应用程序将之前一个小时保存下来的审计日志的cvs文件备份到硬盘指定目录：backup/csvs/2016-10-20，且备份的cvs文件重命名为11.cvs，代表当天11点至12点之间的所有审计数据，即绝对路径：/backup/csvs/2016-10-20/11；

查询时，假设界面传递给后台程序的时间范围是：2016-10-20 09:00:00——2016-10-20 12:00:00，那么，后台程序会搜集/backup/csvs/2016-10-20目录下的09、10、11三个cvs文件导入至列存储类型的数据库中，以供后续查询，可供查询的字段如ip、mac、title、url等。

相应的，本发明还公开了一种面向不可靠环境的审计日志读写管理系统，包括：

写日志模块，用于将审计设备中审计程序产生的审计日志周期性地备份至硬盘中的与时间相关的日志文件；

读日志模块，用于根据用户选定的时间调取相应的日志文件，并将调取的日志文件写入列存储类型的数据库以进行查询。

其中，所述写日志模块具体包括：

写入子模块，在硬盘中利用Mysql数据库的csv存储引擎建立一个csv文件的网络行为日志表，将产生的审计日志实时插入到所述网络行为日志表中，Mysql数据库依据所述网络行为日志表实时对csv文件进行更新；

备份子模块，以预设时间为间隔，将过去一个预设时间内的csv文件备份到硬盘中指定目录下的与当天日期对应的文件夹内，并根据当前时间对备份的csv文件进行命名得到当前时间对应的日志文件，备份完毕时将网络行为日志表里的数据删除。其中，所述与当天日期对应的文件夹为每天在指定目录下新建的一个根据当天日期命名的文件夹。

其中，所述读日志模块包括：

用户交互子模块，用于获取用户输入的搜索条件；

读取子模块，用于根据搜索条件中的时间参数从硬盘中的备份的csv文件中调取相应的csv文件，将csv文件导入列存储类型的数据库，根据用户输入的搜索条件进行查询。

综上所述，本发明审计程序产生审计日志后周期性地备份至硬盘中的与时间相关的日志文件，读取时是调取的硬盘中备份的日志文件，实现读写分离、按需查询的效果，日志文件结构简单，即使写入时发生断电，也只有最后一条写入日志受影响，可迅速恢复，这样大大降低了突然断电时系统的损坏概率；当用户进行日志查询时，根据用户选定的时间调取相应的日志文件，并将调取的日志文件导入数据库以进行查询，在日志文件的显式导入过程中，因为用户知道导入过程的存在，不会关闭设备电源，因此系统在日志导入数据库过程中出错的可能性大大降低；进一步地，根据审计日志很少修改的特点，查询时的数据库采用列存储类型的数据库，列存储类型没有索引，可大大提高日志写入速度、可靠性和减小磁盘占用空间；因此，在相同的硬件条件下，本发明极大的提高了审计设备在不稳定环境下系统功能的可用性，同时保持了日志查询的灵活性和高效率。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种面向不可靠环境的审计日志读写管理方法，其特征在于，方法包括：

写入步骤，将审计设备中审计程序产生的审计日志周期性地备份至硬盘中的与时间相关的日志文件；

读取步骤，根据用户选定的时间调取相应的日志文件，并将调取的日志文件导入数据库以进行查询。

2.根据权利要求1所述的面向不可靠环境的审计日志读写管理方法，其特征在于，所述日志文件为csv文件，读取步骤时日志文件导入的数据库为列存储类型的数据库。

3.根据权利要求2所述的面向不可靠环境的审计日志读写管理方法，其特征在于，所述写入步骤具体包括：在硬盘中利用Mysql数据库的csv存储引擎建立一个csv文件的网络行为日志表，将产生的审计日志实时插入到所述网络行为日志表中，Mysql数据库依据所述网络行为日志表实时对csv文件进行更新；且以预设时间为间隔，将过去一个预设时间内的csv文件备份到硬盘中指定目录下的与当天日期对应的文件夹内，并根据当前时间对备份的csv文件进行命名得到当前时间对应的日志文件，备份完毕时将网络行为日志表里的数据删除。

4.根据权利要求3所述的面向不可靠环境的审计日志读写管理方法，其特征在于，所述与当天日期对应的文件夹为每天在指定目录下新建的一个根据当天日期命名的文件夹。

5.根据权利要求3所述的面向不可靠环境的审计日志读写管理方法，其特征在于，所述读取步骤具体包括：获取用户输入的搜索条件，根据搜索条件中的时间参数从硬盘中的备份的csv文件中调取相应的csv文件，将csv文件导入列存储类型的数据库，再根据用户输入的搜索条件进行查询。

6.根据权利要求3所述的面向不可靠环境的审计日志读写管理方法，其特征在于，所述写入步骤还包括：将审计设备中审计程序产生的审计日志实时地写入内存中的行为日志中，并通过日志中心与审计设备之间的通信进程写入日志中心的数据库中。

7.一种面向不可靠环境的审计日志读写管理系统，其特征在于，包括：

写日志模块，用于将审计设备中审计程序产生的审计日志周期性地备份至硬盘中的与时间相关的日志文件；

读日志模块，用于根据用户选定的时间调取相应的日志文件，并将调取的日志文件写入列存储类型的数据库以进行查询。

8.根据权利要求7所述的面向不可靠环境的审计日志读写管理系统，其特征在于，所述写日志模块具体包括：

写入子模块，在硬盘中利用Mysql数据库的csv存储引擎建立一个csv文件的网络行为日志表，将产生的审计日志实时插入到所述网络行为日志表中，Mysql数据库依据所述网络行为日志表实时对csv文件进行更新；

备份子模块，以预设时间为间隔，将过去一个预设时间内的csv文件备份到硬盘中指定目录下的与当天日期对应的文件夹内，并根据当前时间对备份的csv文件进行命名得到当前时间对应的日志文件，备份完毕时将网络行为日志表里的数据删除。

9.根据权利要求8所述的面向不可靠环境的审计日志读写管理系统，其特征在于，所述与当天日期对应的文件夹为每天在指定目录下新建的一个根据当天日期命名的文件夹。

10.根据权利要求8所述的面向不可靠环境的审计日志读写管理系统，其特征在于，所述读日志模块包括：

用户交互子模块，用于获取用户输入的搜索条件；

读取子模块，用于根据搜索条件中的时间参数从硬盘中的备份的csv文件中调取相应的csv文件，将csv文件导入列存储类型的数据库，根据用户输入的搜索条件进行查询。