CN102930036B - 用于bsm安全审计日志的冗余及无用数据删减方法 - Google Patents

Abstract

本发明提供一种用于BSM安全审计日志的冗余及无用数据删减方法，包括下列步骤：1）数据格式化；2）挑选关键属性；3）计算关键属性支持度；4）计算日志记录Score值；5）基于score值排序日志记录；6）删除score值较大的记录。本发明解决目前入侵取证、入侵检测的重要数据来源（BSM安全审计日志）冗余及无用数据过多问题，进而从根本上提高基于审计日志的入侵取证及入侵检测分析的效率及准确度，使基于审计日志的实时取证、实时检测成为可能。

Description

用于BSM安全审计日志的冗余及无用数据删减方法

技术领域

本发明涉及信息安全领域，且特别是有关于一种用于BSM安全审计日志的冗余及无用数据删减方法。

背景技术

在信息安全领域中，安全审计是检查、验证目标系统的可用性、保密性和完整性的有效手段。安全审计机制所产生的审计日志不仅是安全管理、系统等级保护和安全风险控制的记录载体，更被经常用于入侵检测及入侵取证等方面的研究分析。但是现有的安全审计日志在用于分析时仍存在着不少问题。其中，最关键的问题就是审计日志的数据规模过大，尤其是经常用于记录服务器安全相关行为的BSM审计日志，每周的数据量可达数十万甚至几百万条记录。这就导致有用信息（例如攻击相关的事件）湮没在大量正常系统行为触发的无用或冗余事件之中，给入侵取证及入侵检测分析带来了严峻的考验。这些冗余、无关的日志数据不仅会导致分析效率降低，而且会导致分析算法的误报率增加、分析结果可信度降低。另外，巨大的分析数据集也使实时入侵检测和实时取证分析难以实现。

发明内容

本发明目的在于提供一种用于BSM安全审计日志的冗余及无用数据删减方法，解决目前入侵取证、入侵检测的重要数据来源(BSM安全审计日志)冗余及无用数据过多问题，进而从根本上提高基于审计日志的入侵取证及入侵检测分析的效率及准确度，使基于审计日志的实时取证、实时检测成为可能。

为达成上述目的，本发明提出一种用于BSM安全审计日志的冗余及无用数据删减方法。方法包括下列步骤：

1）原初始数据集格式化，对原初始数据集进行格式化操作，使数据集中由每次行为所触发产生的每条记录都满足特定的数据库结构，数据库结构是由关键字段和非关键字段组成，每个字段都有属于自己的含义，其中关键字段包括命令符、记录产生的时间、行为维持的时间、行为的路径、行为的属性值、输入参数、各种标识符、登录目标地址等，剩余的字段值则被认为是不关键的或者不是特别关键的；

2）挑选关键属性，由于对入侵取证和检测来说，命令符、行为的路径、各种标识符中的进程标识这三个属性字段是非常重要的，故将这三个字段从候选关键字段中选择出来，作为重点考查对象；

3）计算关键属性支持度，针对命令符和行为的路径这两个属性字段，计算它们各自属性值出现的次数，进而计算出每一个属性值的实际支持度，支持度计算公式如下所示：

4）计算日志记录Score值，每一条记录对应一个值，该值叫做频繁项孤立点因素（FPOF），这个值是一行记录中两个属性值实际支持度的平均值，对于每一条记录，计算出一个能唯一标识出该条记录的一个分数（Score）值，该分数值由三部分相加而成，分别是两个属性值实际支持度之和加上频繁项孤立点因素的值。频繁项孤立点因素（FPOF）和Score值的计算公式如下所示：

$\mathrm{FPOF}\left(t\right)=\frac{{\mathrm{\Σ}}_{x\⊆t,x\∈\mathrm{FPS}(D,\mathrm{selected})}\mathrm{support}\left(X\right)}{\left|\right|\mathrm{FPS}(D,\mathrm{selected})\left|\right|},$ 其中t代表每个事务，D代表n个事务集合，FPS(D，selected)代表每个事务中候选属性字段集合，x∈FPS(D,selected)support(X)代表每个属性字段的实际支持之和；

$\mathrm{Score}={\mathrm{\Σ}}_{x\⊆t,x\∈\mathrm{FPS}(D,\mathrm{selected})}\mathrm{support}\left(X\right)+\mathrm{FPOF}\left(t\right);$

5）基于score值排序日志记录，最终，每条记录都有一个分数，但都是无序的，对所有行的记录进行降序排序操作，使无效的数据能规律的排列在序列的一端；

6）删除score值较大的记录，设定一个特定的阈值，将大于该阈值的数据进行删除操作。

进一步，其中上述步骤1）的具体步骤如下：

步骤1）-1：起始状态；

步骤1）-2：将源数据以某种文本格式进行存储，如以txt为后缀的格式存储；

步骤1）-3：读取数据集中的每一行数据；

步骤1）-4：将每行数据以逗号等一类的分隔符分开，分别存到数组当中；

步骤1）-5：规定数据库的数据结构；

步骤1）-6：提取数组中符合数据库中各个字段特征的数据；

步骤1）-7：对提取的数据执行插入操作，至数据库中，如果所有行数据全部读取完，继续步骤1）-8，否则跳到步骤1）-3；

步骤1）-8：数据集格式化完毕。

进一步，其中上述步骤2）的具体步骤如下：

步骤2）-1：起始状态；

步骤2）-2：以设定格式导出数据库表；

步骤2）-3：选择出命令符、行为的路径以及进程标识符为关键属性字段；

步骤2）-4：提取属性字段名以及属性字段值；

步骤2）-5：插入到另一张表单中，如果提取操作完毕，则继续步骤2）-6，否则步骤2）-4；

步骤2）-6：完毕。

进一步，其中上述步骤3）的具体步骤如下：

步骤3）-1：起始状态；

步骤3）-2：筛选属性字段值；

步骤3）-3：顺序选择属性字段值；

步骤3）-4：计算出每一个属性字段值出现的次数并标识出来，如果属性字段值选择完毕，则继续步骤3）-5，否则步骤3）-3；

步骤3）-5：判断当前属性是否是进程标识，如果是，则继续步骤3）-2；

步骤3）-6：判断候选属性是否被筛选完，如果是，继续步骤3）-7，否则步骤3）-2；

步骤3）-7：计算每一个被筛选过的属性值的实际支持度；

步骤3）-8：在每一个属性值的右边一列中标识出实际支持度；

步骤3）-9：完毕。

进一步，其中上述步骤4）的具体步骤如下：

步骤4)-1：起始状态；

步骤4)-2：建立一个空列，对该列标识成FPOF（频繁项孤立点因素）；

步骤4)-3：建立一个空列，对该列标识成Score（分数）；

步骤4)-4：选择每一行数据；

步骤4)-5：计算所选数据的频繁项孤立点因素，计算公式如下所示：

$\mathrm{FPOF}\left(t\right)=\frac{{\mathrm{\Σ}}_{x\⊆t,x\∈\mathrm{FPS}(D,\mathrm{selected})}\mathrm{support}\left(X\right)}{\left|\right|\mathrm{FPS}(D,\mathrm{selected})\left|\right|};$

步骤4)-6：计算所选数据的score值，计算公式如下所示：

$\mathrm{Score}={\mathrm{\Σ}}_{x\⊆t,x\∈\mathrm{FPS}(D,\mathrm{selected})}\mathrm{support}\left(X\right)+$ $\mathrm{FPOF}\left(t\right);$

步骤4)-7：如果数据选择完毕，则继续步骤4)-8，否则步骤4)-4；

步骤4)-8：计算完毕。

进一步，其中上述步骤5）的具体步骤如下：

步骤5）-1：起始状态；

步骤5）-2：选择score列；

步骤5）-3：根据score值的大小对所选列进行降序排列；

步骤5）-4：完毕。

进一步，其中上述步骤6）的具体步骤如下：

步骤6）-1：起始状态；

步骤6）-2：划定score值的一个阈值；

步骤6）-3：删除大于阀值的所有记录行；

步骤6）-4：删除数据完毕。

本发明有益效果：本发明解决目前入侵取证、入侵检测的重要数据来源（BSM安全审计日志）冗余及无用数据过多问题，进而从根本上提高基于审计日志的入侵取证及入侵检测分析的效率及准确度，使基于审计日志的实时取证、实时检测成为可能。

附图说明

图1为本发明实施例的用于BSM安全审计日志的冗余及无用数据删减方法的流程图。

图2为图1中数据格式化的流程图

图3为图1中挑选关键属性流程图

图4为图1中计算关键属性支持度流程图

图5为图1中计算日志记录Score值流程图

图6为图1中基于score值排序日志记录流程图

图7为图1中删除score值较大的记录流程图

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

图1为本发明实施例的用于BSM安全审计日志的冗余及无用数据删减方法的流程图。

一种用于BSM安全审计日志的冗余及无用数据删减方法，其特征在于，包括下列步骤：

S101数据格式化，对原初始数据集进行格式化操作，使数据集中由每次行为所触发产生的每条记录都满足特定的数据库结构。数据库结构是由关键字段和非关键字段组成，每个字段都有属于自己的含义，其中关键字段包括命令符、记录产生的时间、行为维持的时间、行为的路径、行为的属性值、输入参数、各种标识符、登录目标地址等，剩余的字段值则被认为是不关键的或者不是特别关键的；

S103挑选关键属性，由于对入侵取证和检测来说，命令符、行为的路径、各种标识符中的进程标识这三个属性字段是非常重要的，故将这三个字段从候选关键字段中选择出来，作为重点考查对象。

S105计算关键属性支持度，针对命令符和行为的路径这两个属性字段，计算它们各自属性值出现的次数，进而计算出每一个属性值的实际支持度；

S107计算日志记录Score值。每一条记录对应一个值，该值叫做频繁项孤立点因素（FPOF），这个值恰恰是一行记录中两个属性值实际支持度的平均值。对于每一条记录，计算出一个能唯一标识出该条记录的一个分数（Score）值，该分数值由三部分相加而成，分别是两个属性值实际支持度之和加上频繁项孤立点因素的值。

S109基于score值排序日志记录，最终，每条记录都有一个分数，但都是无序的，对所有行的记录进行降序排序操作，使无效的数据能规律的排列在序列的一端；

S111删除score值较大的记录，设定一个特定的阈值，将大于该阈值的数据进行删除操作。

图2为数据格式化的流程图。对原初始数据集进行格式化操作，使数据集中由每次行为所触发产生的每条记录都满足特定的数据库结构。数据库结构是由关键字段和非关键字段组成，每个字段都有属于自己的含义，其中关键字段包括命令符、记录产生的时间、行为维持的时间、行为的路径、行为的属性值、输入参数、各种标识符、登录目标地址等，剩余的字段值则被认为是不关键的或者不是特别关键的。具体步骤如下：

步骤1：起始状态；步骤2：将源数据以某种文本格式进行存储，如以txt为后缀的格式存储；步骤3：读取数据集中的每一行数据；步骤4：将每行数据以逗号等一类的分隔符分开，分别存到数组当中；步骤5：规定数据库的数据结构；步骤6：提取数组中符合数据库中各个字段特征的数据；步骤7：对提取的数据执行插入操作，至数据库中，如果所有行数据全部读取完，继续步骤8，否则跳到步骤3；步骤8：数据集格式化完毕。

图3为挑选关键属性的流程图。由于对入侵取证和检测来说，命令符、行为的路径、各种标识符中的进程标识这三个属性字段是非常重要的，故将这三个字段从候选关键字段中选择出来，作为重点考查对象。具体步骤如下：

步骤1：起始状态；步骤2：以某种格式导出数据库表，如excel格式；步骤3：选择出命令符、行为的路径以及进程标识符为关键属性字段；步骤4：提取属性字段名以及属性字段值；步骤5：插入到另一张表单中，如果提取操作完毕，则继续步骤6，否则步骤4；步骤6：完毕。

图4为计算关键属性支持度的流程图。针对命令符和行为的路径这两个属性字段，计算它们各自属性值出现的次数，进而计算出每一个属性值的实际支持度。具体步骤如下：

步骤1：起始状态；步骤2：筛选属性字段值；步骤3：顺序选择属性字段值；步骤4：计算出每一个属性字段值出现的次数并标识出来，如果属性字段值选择完毕，则继续步骤5，否则步骤3；步骤5：判断当前属性是否是进程标识，如果是，则继续步骤2；步骤6：判断候选属性是否被筛选完，如果是，继续步骤7，否则步骤2；步骤7：计算每一个被筛选过的属性值的实际支持度；步骤8：在每一个属性值的右边一列中标识出实际支持度；步骤9：完毕。

图5为计算日志记录Score值的流程图。每一条记录对应一个值，该值叫做频繁项孤立点因素（FPOF），这个值恰恰是一行记录中两个属性值实际支持度的平均值。对于每一条记录，计算出一个能唯一标识出该条记录的一个分数（Score）值，该分数值由三部分相加而成，分别是两个属性值实际支持度之和加上频繁项孤立点因素的值。具体步骤如下：

步骤1：起始状态；步骤2：建立一个空列，对该列标识成FPOF；步骤3：建立一个空列，对该列标识成Score；步骤4：选择每一行数据；步骤5：计算所选数据的频繁项孤立点因素；步骤6：计算所选数据的score值；步骤7：如果数据选择完毕，则继续步骤8，否则步骤4；步骤8：计算完毕。

图6为基于score值排序日志记录的流程图。最终，每条记录都有一个分数，但都是无序的，我们对所有行的记录进行降序排序操作，使无效的数据能规律的排列在序列的一端。具体步骤如下：

步骤1：起始状态；步骤2：选择score列；步骤3：根据score值的大小对所选列进行降序排列；步骤4：完毕。

图7为删除score值较大的记录的流程图。制定一个特定的阈值，将大于该阈值的数据进行删除操作。具体步骤如下：

步骤1：起始状态；步骤2：划定score值的一个阈值；步骤3：删除大于阀值的所有记录行；步骤4：删除数据完毕。

综上所述，本发明解决了目前入侵取证、入侵检测的重要数据来源(BSM安全审计日志)冗余及无用数据过多问题，进而从根本上提高基于审计日志的入侵取证及入侵检测分析的效率及准确度，使基于审计日志的实时取证、实时检测成为可能。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (7)

1.一种用于BSM安全审计日志的冗余及无用数据删减方法，其特征在于，包括下列步骤：

1)数据格式化，对原初始数据集进行格式化操作，使数据集中由每次行为所触发产生的每条记录都满足特定的数据库结构，数据库结构是由关键字段和非关键字段组成，每个字段都有属于自己的含义，其中关键字段包括命令符、记录产生的时间、行为维持的时间、行为的路径、行为的属性值、输入参数、各种标识符、登录目标地址，剩余的字段值则被认为是不关键的或者不是特别关键的；

2)挑选关键属性，将命令符、行为的路径、各种标识符中的进程标识这三个属性字段从所述关键字段中选择出来，作为考查对象；

3)计算关键属性支持度，针对命令符和行为的路径这两个属性字段，计算它们各自属性值出现的次数，进而计算出每一个属性字段的实际支持度，支持度计算公式如下所示：

4)计算日志记录分数即Score值，每一条记录对应一个值，该值叫做频繁项孤立点因素(FPOF)，这个值是一行记录中两个属性值实际支持度的平均值，对于每一条记录，计算出一个能唯一标识出该条记录的一个Score值，该Score值由三部分相加而成，分别是两个属性值实际支持度之和加上频繁项孤立点因素的值；频繁项孤立点因素(FPOF)和Score值的计算公式如下所示：

$\mathrm{FPOF}\left(t\right)=\frac{{\mathrm{\Σ}}_{x\⊆t,x\∈\mathrm{FPS}(D,\mathrm{selected})}\mathrm{support}\left(X\right)}{\left|\right|\mathrm{FPS}(D,\mathrm{selected})\left|\right|},$ 其中t代表每个事务，D代表n个事务集合，FPS(D，selected)代表每个事务中候选属性字段集合， ${\mathrm{\Σ}}_{x\⊆t,x\∈\mathrm{FPS}(D,\mathrm{selected})}\mathrm{support}\left(X\right)$ 代表每个属性字段的实际支持之和；

$\mathrm{Score}=\underset{x\⊆t,x\∈\mathrm{FPS}(D,\mathrm{selected})}{\mathrm{\Σ}}\mathrm{support}\left(X\right)+\mathrm{FPOF}\left(t\right);$

5)基于Score值排序日志记录，最终，每条记录都有一个分数，但都是无序的，对所有行的记录进行降序排序操作，使无效的数据能规律的排列在序列的一端；

6)删除Score值较大的记录，设定一个特定的阈值，将大于该阈值的数据进行删除操作。

2.根据权利要求1所述的用于BSM安全审计日志的冗余及无用数据删减方法，其特征在于，其中上述步骤1)的具体步骤如下：

步骤1)-1：起始状态；

步骤1)-2：将源数据以一预设文本格式进行存储；

步骤1)-3：读取数据集中的每一行数据；

步骤1)-4：将每行数据以逗号一类的分隔符分开，分别存到数组当中；

步骤1)-5：规定数据库的数据结构；

步骤1)-6：提取数组中符合数据库中各个字段特征的数据；

步骤1)-7：对提取的数据执行插入操作，至数据库中，如果所有行数据全部读取完，继续步骤1)-8，否则跳到步骤1)-3；

步骤1)-8：数据集格式化完毕。

3.根据权利要求1所述的用于BSM安全审计日志的冗余及无用数据删减方法，其特征在于，其中上述步骤2)的具体步骤如下：

步骤2)-1：起始状态；

步骤2)-2：以另一设定格式导出数据库表；

步骤2)-3：选择出命令符、行为的路径以及进程标识符为关键属性字段；

步骤2)-4：提取属性字段名以及属性字段值；

步骤2)-5：插入到另一张表单中，如果提取操作完毕，则继续步骤2)-6，否则步骤2)-4；

步骤2)-6：完毕。

4.根据权利要求1所述的用于BSM安全审计日志的冗余及无用数据删减方法，其特征在于，其中上述步骤3)的具体步骤如下：

步骤3)-1：起始状态；

步骤3)-2：筛选属性字段值；

步骤3)-3：顺序选择属性字段值；

步骤3)-4：计算出每一个属性字段值出现的次数并标识出来，如果属性字段值选择完毕，则继续步骤3)-5，否则步骤3)-3；

步骤3)-5：判断当前属性是否是进程标识，如果是，则继续步骤3)-2；

步骤3)-6：判断候选属性是否被筛选完，如果是，继续步骤3)-7，否则步骤3)-2；

步骤3)-7：计算每一个被筛选过的属性值的实际支持度；

步骤3)-8：在每一个属性值的右边一列中标识出实际支持度；

步骤3)-9：完毕。

5.根据权利要求1所述的用于BSM安全审计日志的冗余及无用数据删减方法，其特征在于，其中上述步骤4)的具体步骤如下：

步骤4)-1：起始状态；

步骤4)-2：建立一个空列，对该列标识成FPOF(频繁项孤立点因素)；

步骤4)-3：建立一个空列，对该列标识成Score；

步骤4)-4：选择每一行数据；

步骤4)-5：计算所选数据的频繁项孤立点因素(FPOF)，计算公式如下所示：

$\mathrm{FPOF}\left(t\right)=\frac{{\mathrm{\Σ}}_{x\⊆t,x\∈\mathrm{FPS}(D,\mathrm{selected})}\mathrm{support}\left(X\right)}{\left|\right|\mathrm{FPS}(D,\mathrm{selected})\left|\right|};$

步骤4)-6：计算所选数据的Score值，计算公式如下所示：

$\mathrm{Score}=\underset{x\⊆t,x\∈\mathrm{FPS}(D,\mathrm{selected})}{\mathrm{\Σ}}\mathrm{support}\left(X\right)+\mathrm{FPOF}\left(t\right);$

步骤4)-7：如果数据选择完毕，则继续步骤4)-8，否则步骤4)-4；

步骤4)-8：计算完毕。

6.根据权利要求1所述的用于BSM安全审计日志的冗余及无用数据删减方法，其特征在于，其中上述步骤5)的具体步骤如下：

步骤5)-1：起始状态；

步骤5)-2：选择Score列；

步骤5)-3：根据Score值的大小对所选列进行降序排列；

步骤5)-4：完毕。

7.根据权利要求1所述的用于BSM安全审计日志的冗余及无用数据删减方法，其特征在于，其中上述步骤6)的具体步骤如下：

步骤6)-1：起始状态；

步骤6)-2：划定Score值的一个阈值；

步骤6)-3：删除大于阀值的所有记录行；

步骤6)-4：删除数据完毕。