CN115643035A - 基于多源日志的网络安全态势评估方法 - Google Patents

Abstract

本发明提供一种基于多源日志的网络安全态势评估方法，包括：步骤1，针对采用多种网络安全设备生成的不完整、不一致的脏数据进行预处理；步骤2,对于预处理后的日志，运用信息增益比算法从日志属性字段中选择出代表日志记录的最优属性子集；步骤3，进行多源日志融合，生成更加准确的网络攻击特征；步骤4，用时间窗口机制将日志数据转换成攻击模式候选序列集合，挖掘出隐藏在日志数据中的多步攻击模式，得到最大频繁多步攻击模式；步骤5，生成信任度更高的主机风险值，以实现对网络主机态势的评估。该基于多源日志的网络安全态势评估方法能准确地评估出网络态势情况，提高了网络安全人员识别和防御网络威胁的能力。

Description

基于多源日志的网络安全态势评估方法

技术领域

本发明涉及网络通信技术领域，特别是涉及到一种基于多源日志的网络安全态势评估方法。

背景技术

随着计算机技术的迅速发展，网络规模不断扩大，网络安全形势也越来越严峻。网络面临着故障、攻击等各类安全事件的威胁，但各安全设备还没有形成统一规范的接口，多种安全设备联动实现起来存在一定的困难。另一方面，网络攻击工具的专业化和网络攻击行为的复杂化使得网络系统的防护需要从防火墙、入侵检测系统的被动防护转变为主动防护。网络入侵防御系统(Intrusion Prevention System，lPS)通过对数据包内容的检测为网络提供主动防护。但网络入侵防御系统是以在线模式嵌入网络中工作，其自身会增加网络延迟时间、降低网络传输速率等来影响网络性能。

针对以上问题，日志分析在网络安全方面的应用逐渐被提出。随着计算机网络系统的发展，计算机系统架构更加的复杂化，大型分布式系统在真实生产环境下所产生的大量日志数据成为检查系统运行状态的唯一途径。日志客观记录了计算机网络系统中各系统和软件的运行状态，是反映网络中各设备运行状况的重要数据。在网络空间中，攻击者在入侵时会在各种设备日志中留下痕迹，当系统遭受攻击时，通过对日志的分析，能够发现用户的行为轨迹，进而发现系统当前存在的脆弱环节，采取有针对性的措施，达到网络防护的目的。

日志数据量和日志格式类型爆发式增长，通过对日志数据的分析，挖掘日志中有价值的信息，进而确定网络中的脆弱环节变得越来越困难，尤其是对系统中多源日志进行分析的方法出现之后。即便在最理想的状态下，对日志的分析也需要经验相对丰富的相关人员，通过对日志中事件进行跟踪、综合分析，最终诊断出导致系统出现问题的根本原因。因此从大量多源异构的文本日志中挖掘出有价值的信息，以及如何运用数据挖掘方法发现多源日志中的安全事件是关键。

与此同时，可将态势感知技术引进网络安全防护领域中。网络安全态势感知是一种现代化智能网络安全监测技术，态势感知技术能够全面的侦查当前网络安全状况，而态势评估作为态势感知中的核心部分，具有十分重要的意义。通过态势评估可以对网络当前的危险程度进行估计，网络管理人员可以据此做出相应的判断和决策。

在申请号：CN201810458202.9的中国专利申请中，涉及到一种网络安全态势的评估方法及装置，所述方法包括：获取多源数据的特征信息；对所述特征信息进行筛选，以获取具有数据驱动特性的第一目标特征信息；对所述第一目标特征信息进行数据离散化和约简处理；预分类处理后的第一目标特征信息，以获取每种分类对应的第二目标特征信息；将所述第二目标特征信息分别输入对应不同分源数据的预设模型，并根据所述预设模型的输出结果，获取综合多源数据决策的数据指标值；根据所述数据指标值，评估网络安全态势的级别。

在申请号：CN201110443114.X的中国专利申请中，涉及到一种网络安全态势评估方法，包括：对原始数据进行预处理，计算各资产在子网中的权重和各子网在整个网络中的权重；对各资产进行外部威胁态势评估；对各资产进行内部威胁态势评估；采用权重分析法，进行各子网外部威胁态势评估和内部威胁态势评估；进行网络外部威胁态势评估和内部威胁态势评估；对防火墙日志信息、入侵信息和漏洞信息进行交叉关联，消除无效告警；综合评估各资产的安全态势；进行各子网安全态势评估；采用权重分析法，进行网络安全态势评估。

在申请号：CN201910971150.X的中国专利申请中，涉及到一种基于网络安全设备日志数据的用户风险度评估方法和系统，从用户行为及企业规范中中提取用户危险行为清单，根据危险行为清单从网络安全设备用户日志等数据中提取用户危险行为特征，根据用户危险行为特征训练用户各危险行为上的高斯混合模型，并得到用户风险分级概率集，基于证据融合理论设计用户风险分级概率融合方法，并根据用户的风险概率融合结果决定用户是否存在行为异常风险。

以上现有技术均与本发明有较大区别，未能解决我们想要解决的技术问题，为此我们发明了一种新的基于多源日志的网络安全态势评估方法。

发明内容

本发明的目的是提供一种准确地评估出网络态势情况，提高了网络安全人员识别和防御网络威胁的能力的基于多源日志的网络安全态势评估方法。

本发明的目的可通过如下技术措施来实现：基于多源日志的网络安全态势评估方法，该基于多源日志的网络安全态势评估方法包括：

步骤1，针对采用多种网络安全设备生成的不完整、不一致的脏数据进行预处理；

步骤2,，对于预处理后的日志，运用信息增益比算法从日志属性字段中选择出代表日志记录的最优属性子集；

步骤3，进行多源日志融合，生成更加准确的网络攻击特征；

步骤4，用时间窗口机制将日志数据转换成攻击模式候选序列集合，挖掘出隐藏在日志数据中的多步攻击模式，得到最大频繁多步攻击模式；

步骤5，生成信任度更高的主机风险值，以实现对网络主机态势的评估。

本发明的目的还可通过如下技术措施来实现：

在步骤1中，通过对日志数据的清洗，去除原始日志数据中有缺失值的、错误的日志记录，并通过正则捕获组提取得到文本日志记录中的日志信息字段，减少无效日志数据量。

在步骤1中，数据清洗是指把原始日志中不完整的或者有错误的日志记录清除掉，包括检查数据的一致性、处理无效的数据和有空缺值的数据；数据清洗的步骤分为：

(1)制定清洗规则，按照日志记录的格式，制定相应的正则表达式，解析字符串形式的日志记录；

(2)规则匹配，将日志记录与清洗规则进行匹配，符合规则的数据予以通过，不符合规则的日志记录作丢弃处理。

在步骤1中，日志信息字段的提取是指从文本日志记录中，提取日志的属性字段，包括日志记录中的时间戳、源IP地址和目的IP地址、源端口号和目的端口号这些字段信息；日志信息字段的提取是对过滤后的日志记录，通过正则表达式的捕获组对符合日志提取规则的日志记录进行信息字段的提取，最终得到日志记录中各日志信息字段。

在步骤1中，日志信息字段提取步骤分为：

(1)制定日志信息字段提取规则库；针对每种日志，在理解其记录结构、各字段意义的基础上，按照日志记录的格式，制定由正则捕获组组成的正则表达式，多条正则表达式构成日志信息字段提取规则库；

(2)日志记录与提取规则匹配；从日志数据文件中读取日志记录，与提取规则库中的正则表达式进行匹配，符合正则表达式的日志记录，通过正则表达式的正则捕获组得到日志记录的各信息字段，不符合正则表达式的日志记录匹配日志提取规则库中下一条规则，直到规则库中所有规则匹配完毕，仍不通过的日志记录作丢弃处理；

(3)重复上面两步，直到所有日志记录处理完毕，输出日志信息提取字段的结果，即日志的属性字段。

在步骤2中，特征选择就是从一组数据量为D的属性集合中选择出数量为d的能代表问题的一组最优特征子集，其中D＞d；信息增益算法根据属性能为分类带来信息的程度来度量属性的重要性，属性为分类过程带来的信息越多，评分就越高，特征就越重要，就越应该加入特征子集中。

在步骤2中，对于给定的数据集D，数据集中样本的数量用D表示；C_k表示训练数据集中第k个类，|C_k|表示第k个类C_k的样本个数；属性A在{a₁，a₂，...，a_n}中取值，属性A的取值将数据集D划分成对应的n个子集D₁，D₂，...，D_n，记子集D_i中属于类C_k的样本集合记为D_ik；利用信息增益比算法计算属性的重要性过程如下，输入数据集D和属性A，具体步骤如下：

首先计算数据集D的经验熵H(D)，如公式(1)，

计算属性A对数据集D的经验条件熵H(D|A)，如公式(2)，

计算数据集D关于属性A的经验熵H_A(D)，如公式(3)，

计算数据集D关于属性A的信息增益g(D|A)，如公式(4)，

g(D|A)＝H(D)-H(D|A) (4)

计算数据集D关于属性A的信息增益比g_R(D，A)，如公式(5)，

利用信息增益比进行特征选择，从属性集合中按照信息增益比算法选择出某个属性加入特征子集中，并将该特征作为树当前结点，所选特征的取值对应当前结点的子结点数量，对特征空间进行划分；进入特征子空间再进行特征选择时，从属性集合中去掉已经选择的属性，在此特征划分的特征子空间再依次计算其他属性的信息增益比的值，选择信息增益比的值大的属性加入特征子集，并作为树当前结点的子结点进下一步特征空间的划分；逐个处理树结点的各个特征子空间，直到构建的多叉树对训练数据集具有很好的划分能力，特征选择的过程结束，最终输出求得的特征子集。

在步骤3中，将多源日志按照时间戳DateTime和源IP地址组合的关键字段融合；取各日志记录中的源IP地址代表访问的用户，取各日志记录中的时间，将时间归约到小时表示在某网络行为发生的时间段，源IP地址和时间构成新的key值，表示某时间段时用户的记录；键值对的value值表示每种日志的特征信息，多源日志融合后减少了冗余日志的数量，生成更准确的网络攻击特征。

在步骤4中，采用改进的Apriori算法挖掘出隐藏在日志数据之间的关系，进而得到各种安全事件之间的关系；时间窗口每滑动一次就会产生一个候选攻击序列S_i，直至窗口滑动到攻击序列集合的最后，产生的候选攻击序列集合为ackSet＝{S₁，S₂，...，S_n}；再使用改进的Apriori算法对得到的候选攻击序列集合ackSet进行频繁项挖掘，挖掘出最大频繁攻击序列，这些攻击序列就代表了攻击者针对该主机发动的攻击模式。

在步骤4中，改进的Ariori算法的步骤如下：

(1)扫描数据库并统计出数据库中所有项的支持度大小；

(2)将各项的支持度与最小支持度阈值进行比较，筛选出支持度不小于最小支持度阈值的1项集作为频繁1项集集合L₁；

(3)对L₁进行自连接，产生候选项集C₂，对C₂进行剪枝，具体过程是：扫描遍历频繁1项集集合，对L₁中的某个频繁1项集A来说，如果A是C₂中某个项集C的子集，该项集C的计数加1；通过这个方法，统计C₂中所有候选项集的计数，保留计数值不小于2的项集；这些项集可能为频繁2项集，称为候选频繁2项集集合；

(4)扫描并统计候选频繁项集集合中的每个候选频繁项集的支持度计数或非频繁项计数，具体过程是：每扫描一条事务，判断该候选频繁项集是否包含在事务中，如果是，对该候选项集的支持度计数加1，否则对该项集的非频繁项计数加1，若是该候选频繁项集的非频繁项计数达到预先设定好的非频繁项支持度阈值，停止扫描数据库并删除该项集；若是该频繁项集的支持度计数达到最小支持度阈值，就继续扫描数据库；最后留下的所有项集就是频繁2项集；

(5)重复迭代2、3、4步骤，求得频繁3项集，频繁4项集，……，直至频繁k项集。

在步骤5中，根据D-S证据理论，将上一步产生的最大频繁多步攻击模式作为评估网络中每个主机风险程度的证据，通过合成公式将这些证据生成信任度更高的主机风险值，以实现对网络主机态势的评估，并根据每个主机的风险值生成整个网络的风险值，以实现对全网络的态势评估。

在步骤5中，根据D-S证据理论，用置信度α来描述证据的可靠性和可信度，在证据融合前可对融合所需的证据进行修改；首先需度量不同证据之间的距离，采用Bhattacharyya距离，计算不同证据间的距离，m_i，m_j是两条证据，如(6)所示：

d(m_i，m_j)＝d_ij＝-ln(BC(m_i，n_j)) (6)

式(7)中，d(m_i，m_j)是m_i，m_j之间的Bhattacharyya距离，BC(m_i，m_j)是Bhattacharyya系数；

由此可导出一个n*n的矩阵D，而D是一个对称矩阵，且对角元素为0，如(8)所示：

式(8)中，矩阵D中的元素d_ij是证据m_i，m_j之间的距离；

证据m_i和其他证据之间的距离之和为u_i，如(9)所示：

式(9)中，u_i的大小代表证据和其他证据之间的距离之和，它的大小反映了证据m_i和其他证据之间的差异程度；证据m_i和其他证据之间的差异越大，m_i是噪声点的可能性越大，且置信水平α越低；相反，证据m_i的u_i值越小，m_i与其他证据表达的信息的一致性越强，置信度α应该越高；

所以m_i的置信度α_i定义如(10)所示：

式(10)中，α_i是证据m_i与其他证据表达的信息的一致性的强弱程度，与1/u_i成正比；

根据D-S证据理论中定义的基本信任分配函数，在证据理论中用来分配证据的初始信任度，定义如(11)所示：

式(11)中θ为识别框架，包含互相独立的事件，A_j是θ中的事件，φ为不可能发生的事件；

改进后，BPA定义如(12)所示：

式(12)中，在计算事件A_j的基本信任分配函数m(A_j)时，为每一个证据的基本信任函数值m_i(A_j)乘上了置信度α_i；

最终调整后的BPA避免了证据冲突，为下一步的证据融合奠定了良好的基础。

在步骤5中，网络的状况分为两大类：危险和安全，可确定识别框架Θ＝{S，D}，其中S代表当前网络状态是安全，D代表当前网络状态是危险，根据D-S证据理论相关定义，m(S)+m(D)＝1；

首先对证据分配初始信任度值，初始基本可信度分配主要衡量两个方面。一个是该多步攻击成功发生的概率，另一个是该多步攻击的威胁程度；

一个目标主机在一段时间内挖掘出来的每一条最大频繁多步攻击序列作为评估该主机态势的一个证据，利用合成公式，如公式(13)对这些证据的信任度值进行合成，这个值就代表着目标主机的态势状况；

式(13)中，M(A)为主机中A事件的风险值，A_i为事件A的证据，m_i(A_i)为A_i的基本信任函数值；k代表证据之间的冲突程度，随着k值的增大，证据之间的冲突程度就越大；

最后由每个主机的风险值生成整个网络的风险值，以实现对全网络的态势评估；假设网络中主机有n台，整个网络风险值定义如公式(15)：

式(15)中，DW为整个网络的风险值，M(A)_i表示网络中每个主机的风险值，W_i为每个主机的权重，代表网络主机资产的重要性，主机资产的重要性越高，对该主机发动攻击造成的危害就越高；

DW值越高表示网络中的风险程度越大；网络安全状态评估可分为：安全、低风险、高风险，并设定相应阈值s_l，s_t来作为这三个状态的分界值，阈值根据被评估网络的实际状况以及安全管理的要求来决定。

本发明中的基于多源日志的网络安全态势评估方法，本发明的基于多源日志的网络安全态势评估方法，准确地评估出网络态势情况，提高了网络安全人员识别和防御网络威胁的能力，具有以下优点：

(1)本发明针对多源异构日志的格式不统一，有效的对数据进行清洗、提取，能够有效解析其中日志信息字段，并针对分析目标，使用信息增益比算法及特征提取算法得到特征子集。

(2)本发明采用的改进的Apriori算法得到安全事件间的关联关系及安全事件中的多步攻击模式挖掘，在有效减少内存及时间消耗的基础上，发现了隐藏在海量日志间的威胁信息。

(3)本发明的方法可以对网络当前的危险程度进行估计，提升网络安全设备的检测效率，这对于网络管理人员分析网络安全状态并做出正确的网络决策，具有极其重要的实践意义。

附图说明

图1为本发明的一具体实施例中原始数据预处理流程图；

图2为本发明的一具体实施例中特征选择算法流程图；

图3为本发明的一具体实施例中基于改进的Apriori算法进行关联分析的流程图；

图4为本发明的基于多源日志的网络安全态势评估方法的一具体实施例的流程图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作和/或它们的组合。

现有的态势评估方法大致包括基于数学模型、基于知识推理和基于模式识别三大类，其中包括使用模糊理论、贝叶斯网络、马尔科夫链、博弈论、攻击树等方式实现对网络风险的评估。这些方法在网络安全态势感知上具有不错的效果，但是也存在着以下问题：态势感知时使用的数据来源于不同网络安全设备或者传感器，但一般的传感器、入侵检测系统在监测时会发生误报、漏报和冗余，这将会导致后续的态势理解和态势评估的结果产生偏差，从而无法及时的对网络威胁进行检测和防御。

如图4所示，图4为本发明的基于多源日志的网络安全态势评估方法的流程图。该基于多源日志的网络安全态势评估方法包括了以下步骤：

步骤101，针对采用多种网络安全设备生成的不完整、不一致的脏数据进行预处理。通过对日志数据的清洗，去除原始日志数据中有缺失值的、错误的日志记录，并通过正则捕获组提取得到文本日志记录中的日志信息字段，减少无效日志数据量。

本发明首先对原始日志进行数据清洗及日志信息字段提取。数据清洗是指把原始日志中不完整的或者有错误的日志记录清除掉，包括检查数据的一致性、处理无效的数据和有空缺值的数据等。数据清洗的步骤可分为：(1)制定清洗规则。按照日志记录的格式，制定相应的正则表达式，解析字符串形式的日志记录。(2)规则匹配。将日志记录与清洗规则进行匹配，符合规则的数据予以通过，不符合规则的日志记录作丢弃处理。而日志的清洗规则库的建立是数据清洗的关键。

日志信息字段的提取是指从文本日志记录中，提取日志的属性字段，如日志记录中的时间戳、源IP地址和目的IP地址、源端口号和目的端口号等字段信息。日志信息字段的提取是对过滤后的日志记录，通过正则表达式的捕获组对符合日志提取规则的日志记录进行信息字段的提取，最终得到日志记录中各日志信息字段。日志信息字段提取步骤可分为：(1)制定日志信息字段提取规则库。针对每种日志，在理解其记录结构、各字段意义的基础上，按照日志记录的格式，制定由正则捕获组组成的正则表达式，多条正则表达式构成日志信息字段提取规则库。(2)日志记录与提取规则匹配。从日志数据文件中读取日志记录，与提取规则库中的正则表达式进行匹配，符合正则表达式的日志记录，通过正则表达式的正则捕获组得到日志记录的各信息字段，不符合正则表达式的日志记录匹配日志提取规则库中下一条规则，直到规则库中所有规则匹配完毕，仍不通过的日志记录作丢弃处理。(3)重复上面两步，直到所有日志记录处理完毕，输出日志信息提取字段的结果，即日志的属性字段。

经过数据清洗和日志信息字段提取后的原始日志格式规范，方便进行下一步处理。

步骤102，对于预处理后的日志，运用信息增益比算法从日志属性字段中选择出代表日志记录的最优属性子集，降低日志数据的维数，提高日志数据的质量。

本发明采用信息增益比算法进行日志特征选择。特征选择就是从一组数据量为D的属性集合中选择出数量为d(D>d)的能代表问题的一组最优特征子集。信息增益算法根据属性能为分类带来信息的程度来度量属性的重要性，属性为分类过程带来的信息越多，评分就越高，特征就越重要，就越应该加入特征子集中。

对于给定的数据集D，数据集中样本的数量用D表示；C_k表示训练数据集中第k个类，|C_k|表示第k个类C_k的样本个数；属性A在{a₁，a₂，...，a_n}中取值，属性A的取值将数据集D划分成对应的n个子集D₁，D₂，...，D_n，记子集D_i中属于类C_k的样本集合记为D_ik。利用信息增益比算法计算属性的重要性过程如下，输入数据集D和属性A，具体步骤如下：

首先计算数据集D的经验熵H(D)，如公式(1)，

计算属性A对数据集D的经验条件熵H(D|A)，如公式(2)，

计算数据集D关于属性A的经验熵H_A(D)，如公式(3)，

计算数据集D关于属性A的信息增益g(D|A)，如公式(4)，

g(D|A)＝H(D)-H(D|A) (4)

计算数据集D关于属性A的信息增益比g_R(D，A)，如公式(5)，

利用信息增益比进行特征选择，从属性集合中按照信息增益比算法选择出某个属性加入特征子集中，并将该特征作为树当前结点，所选特征的取值对应当前结点的子结点数量，对特征空间进行划分。进入特征子空间再进行特征选择时，从属性集合中去掉已经选择的属性，在此特征划分的特征子空间再依次计算其他属性的信息增益比的值，选择信息增益比的值大的属性加入特征子集，并作为树当前结点的子结点进下一步特征空间的划分。逐个处理树结点的各个特征子空间，直到构建的多叉树对训练数据集具有很好的划分能力，特征选择的过程结束，最终输出求得的特征子集。

步骤103，得到多源日志的关键信息字段的特征集合后，需进行多源日志融合，生成更加准确的网络攻击特征，为后续的分析做准备。

本发明将多源日志按照DateTime(时间戳)和源IP地址组合的关键字段融合。每种类型的日志都具有时间戳及源IP地址，以这两个特征作为关键字段进行融合。取各日志记录中的源IP地址代表访问的用户，取各日志记录中的时间，将时间归约到小时表示在某网络行为发生的时间段，源IP地址和时间构成新的key值，表示某时间段时用户的记录；键值对的value值表示每种日志的特征信息，多源日志融合后减少了冗余日志的数量，生成更准确的网络攻击特征。

步骤104，用时间窗口机制将日志数据转换成攻击模式候选序列集合，再通过改进的Apriori算法挖掘出隐藏在日志数据中的多步攻击模式，得到最大频繁多步攻击模式，为后面的网络安全态势评估提供依据。

本发明采用改进的Apriori算法挖掘出隐藏在日志数据之间的关系，进而得到各种安全事件之间的关系。各个安全事件中的攻击之间是按照一定的时间顺序发生的，前一个攻击步骤成功并获得相应资源后，下一个步骤才能够发生，并且一个多步攻击的发生应该是在一个时间段内，使用时间窗口机制将生成的每一个安全事件包含的日志转换成一个个候选攻击序列集合。每一个主机产生的日志组成安全日志数据库，数据库中的日志按照发生的时间顺序进行排序，排序后的所有日志的攻击类型属性作为攻击序列集合。设定时间窗口T，从攻击序列集合第一条日志数据开始，逐步向后滑动时间窗口，处于同一个时间窗口的攻击类型组成了一个候选攻击序列S_i。一个多步攻击的整个过程包含在候选攻击序列中，因此时间窗口的取值要与一个多步攻击时间相当。

时间窗口每滑动一次就会产生一个候选攻击序列S_i，直至窗口滑动到攻击序列集合的最后，产生的候选攻击序列集合为ackSet＝{S₁，S₂，...，S_n}。再使用改进的Apriori算法对得到的候选攻击序列集合ackSet进行频繁项挖掘，挖掘出最大频繁攻击序列，这些攻击序列就代表了攻击者针对该主机发动的攻击模式。

关联分析算法是发现数据集中频繁出现的项集组合或模式。设项的集合为I＝{I₁，I₂，...，I_n}，I称为项集，数据集D中的每个事件T都是由项组成的集合。每个事件的项都包含在项集中，即

事件关联性可通过支持度和置信度两个参数来进行描述。支持度定义为Support(A＝＞B)＝P(A∪B)，表示在数据集的所有事件中，项A和项B同时出现的概率；置信度定义为Confidence(A＝＞B)＝P(B|A)，表示在数据集的所有事件中，项A出现的条件下项B也出现的概率。满足最小支持度的项集称为频繁项集，在满足最小支持度条件的同时满足最小置信度的称为强规则，表示事件的关联性很强。

优选地，改进的Apriori算法的步骤如下：(1)扫描数据库并统计出数据库中所有项的支持度大小。(2)将各项的支持度与最小支持度阈值进行比较，筛选出支持度不小于最小支持度阈值的1项集作为频繁1项集集合L₁。(3)对L₁进行自连接，产生候选项集C₂，对C₂进行剪枝，具体过程是：扫描遍历频繁1项集集合，对L₁中的某个频繁1项集A来说，如果A是C₂中某个项集C的子集，该项集C的计数加1。通过这个方法，统计C₂中所有候选项集的计数，保留计数值不小于2的项集。这些项集可能为频繁2项集，称为候选频繁2项集集合。(4)扫描并统计候选频繁项集集合中的每个候选频繁项集的支持度计数或非频繁项计数，具体过程是：每扫描一条事务，判断该候选频繁项集是否包含在事务中，如果是，对该候选项集的支持度计数加1，否则对该项集的非频繁项计数加1，若是该候选频繁项集的非频繁项计数达到预先设定好的非频繁项支持度阈值，停止扫描数据库并删除该项集；若是该频繁项集的支持度计数达到最小支持度阈值，就继续扫描数据库。最后留下的所有项集就是频繁2项集。(5)重复迭代2、3、4步骤，求得频繁3项集，频繁4项集，……，直至频繁k项集。

使用改进的Apriori算法对得到的候选攻击序列集合ackSet进行频繁项挖掘，挖掘出最大频繁攻击序列，攻击序列越长就说明攻击的程度越深，对主机的威胁程度就越高。可根据最大频繁攻击序列更好的对网络的态势情况进行评估。

步骤105，根据D-S证据理论，将上一步产生的最大频繁多步攻击模式作为评估网络中每个主机风险程度的证据，通过合成公式将这些证据生成信任度更高的主机风险值，以实现对网络主机态势的评估，并根据每个主机的风险值生成整个网络的风险值，以实现对全网络的态势评估。

本发明引入D-S证据链理论，将数据进一步进行融合，即将得到的的最大频繁多步攻击序列作为评估网络中每个主机风险程度的证据，通过合成公式将这些证据融合生成主机风险值。

本发明中提到的D-S理论引入置信度的概念，用置信度α来描述证据的可靠性和可信度，在证据融合前可对融合所需的证据进行修改。首先需度量不同证据之间的距离，采用Bhattacharyya距离，计算不同证据间的距离，m_i，m_j是两条证据，如(6)所示：

d(m_i，m_j)＝d_ij＝-ln(BC(m_i，m_j)) (6)

式(7)中，d(m_i，m_j)是m_i，m_j之间的Bhattacharyya距离，BC(m_i，m_j)是Bhattacharyya系数。

由此可导出一个n*n的矩阵D，而D是一个对称矩阵，且对角元素为0，如(8)所示：

式(8)中，矩阵D中的元素d_ij是证据m_i，m_j之间的距离。

证据m_i和其他证据之间的距离之和为u_i，如(9)所示：

式(9)中，u_i的大小代表证据和其他证据之间的距离之和，它的大小反映了证据m_i和其他证据之间的差异程度。证据m_i和其他证据之间的差异越大，m_i是噪声点的可能性越大，且置信水平α越低。相反，证据m_i的u_i值越小，m_i与其他证据表达的信息的一致性越强，置信度α应该越高。

所以m_i的置信度α_i定义如(10)所示：

式(10)中，α_i是证据m_i与其他证据表达的信息的一致性的强弱程度，与1/u_i成正比。

根据D-S证据理论中定义的基本信任分配函数(BPA)，在证据理论中用来分配证据的初始信任度，定义如(11)所示：

式(11)中θ为识别框架，包含互相独立的事件，A_j是θ中的事件，φ为不可能发生的事件。

改进后，BPA定义如(12)所示：

式(12)中，在计算事件A_j的基本信任分配函数m(A_j)时，为每一个证据的基本信任函数值m_i(A_j)乘上了置信度α_i。

最终调整后的BPA避免了证据冲突，为下一步的证据融合奠定了良好的基础。

网络的状况分为两大类：危险和安全，可确定识别框架Θ＝{S，D}，其中S代表当前网络状态是安全，D代表当前网络状态是危险。根据D-S证据理论相关定义，m{S)+m(D)＝1。

首先对证据分配初始信任度值，初始基本可信度分配主要衡量两个方面。一个是该多步攻击成功发生的概率，另一个是该多步攻击的威胁程度。

一个目标主机在一段时间内挖掘出来的每一条最大频繁多步攻击序列作为评估该主机态势的一个证据，利用合成公式，如公式(13)对这些证据的信任度值进行合成，这个值就代表着目标主机的态势状况。

式(13)中，M(A)为主机中A事件的风险值，A_i为事件A的证据，m_i(A_i)为A_i的基本信任函数值。k代表证据之间的冲突程度，随着k值的增大，证据之间的冲突程度就越大。

最后由每个主机的风险值生成整个网络的风险值，以实现对全网络的态势评估。假设网络中主机有n台，整个网络风险值定义如公式(15)：

式(15)中，DW为整个网络的风险值，M(A)_i表示网络中每个主机的风险值，W_i为每个主机的权重，代表网络主机资产的重要性，主机资产的重要性越高，对该主机发动攻击造成的危害就越高。

DW值越高表示网络中的风险程度越大。网络安全状态评估可分为：安全、低风险、高风险，并设定相应阈值s_l，s_t来作为这三个状态的分界值，如下表1所示：

表1网络状态评估表

阈值根据被评估网络的实际状况以及安全管理的要求来决定。

以下为本发明的几个具体实施例。

实施例1：

在一具体实施例1中，如图1所示，图1为原始数据预处理流程图，其中包含：

对多源日志进行预处理，通过清洗日志数据，使用正则捕获组提取得到文本日志记录中的日志信息字段即日志特征提取，从而减少冗余日志数据量。首先获取原始日志记录，使用正则表达式判断日志是否符合提取规则，符合提取规则的日志进行特征选择，不符合则继续获取原始日志；特征选择完毕后，判断日志是否处理完毕，如果已处理完毕，则输出日志特征集合，未处理完毕则继续获取原始日志。

实施例2：

在一具体实施例2中，如图2所示，图2为本发明中特征选择算法流程图，其中包含：

经过日志清洗及特征选择后的日志，可运用信息增益比算法，从保留的日志特征即属性字段中选择出能够代表该日志记录的最优属性子集，以此来降低日志数据的维数，提高日志数据的质量。首先计算日志中各属性的信息增益比；比较后选择信息增益比最大的属性作为当前特征，并构建树结点；根据当前特征的取值对特征空间即属性集进行划分；判断当前特征子空间是否处理完毕，如果未处理完毕则从当前属性集合中去除当前属性，并重新计算各属性的信息增益比；处理完毕后进一步判断数据集是否处理完毕，如果未处理完毕则从当前属性集合中去除当前属性，并重新计算各属性的信息增益比。

实施例3：

在一具体实施例2中，如图2所示，图3为本发明中基于改进的Apriori算法进行关联分析的流程图,其中包含：

根据生成的攻击模式候选序列集合，使用改进的Apriori算法挖掘出隐藏在日志数据中的多步攻击模式，得到最大频繁多步攻击模式。首先扫描存储攻击模式候选序列集合的数据库，得到候选1项集C1并统计整个数据库中C1的数量；判断数值是否大于最小支持度，如果大于则保留该项集，小于则删除该项集；得到频繁1项集L1，并对L1进行自连接；得到候选2项集C2，并对C2进行剪枝，剪枝后得到候选频繁2项集S2；扫描候选攻击序列集合，使用改进的Apriori算法统计各个项集计数；得到候选频繁2项集S2每个项集的计数；重复上述步骤得到频繁K项集Lk，最后输出各项集的交集。

综上所述，本发明的基于多源日志的网络安全态势评估方法适用于网络中使用多种安全检测设备的企业或高校。不同的安全设备会产生大量格式相异、冗余的报警信息，不便对多源报警数据进行协同分析和处理，而本发明可对分散的异构日志进行整合，节省了时间及空间上的消耗，并对数据进行关联分析与检索，实时洞悉安全情报和安全态势，从而快速做出判断和响应。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域技术人员来说，其依然可以对前述实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (13)

1.基于多源日志的网络安全态势评估方法，其特征在于，该基于多源日志的网络安全态势评估方法包括：

步骤1，针对采用多种网络安全设备生成的不完整、不一致的脏数据进行预处理；

步骤2,，对于预处理后的日志，运用信息增益比算法从日志属性字段中选择出代表日志记录的最优属性子集；

步骤3，进行多源日志融合，生成更加准确的网络攻击特征；

步骤4，用时间窗口机制将日志数据转换成攻击模式候选序列集合，挖掘出隐藏在日志数据中的多步攻击模式，得到最大频繁多步攻击模式；

步骤5，生成信任度更高的主机风险值，以实现对网络主机态势的评估。

2.根据权利要求1所述的基于多源日志的网络安全态势评估方法，其特征在于，在步骤1中，通过对日志数据的清洗，去除原始日志数据中有缺失值的、错误的日志记录，并通过正则捕获组提取得到文本日志记录中的日志信息字段，减少无效日志数据量。

3.根据权利要求2所述的基于多源日志的网络安全态势评估方法，其特征在于，在步骤1中，数据清洗是指把原始日志中不完整的或者有错误的日志记录清除掉，包括检查数据的一致性、处理无效的数据和有空缺值的数据；数据清洗的步骤分为：

(1)制定清洗规则，按照日志记录的格式，制定相应的正则表达式，解析字符串形式的日志记录；

(2)规则匹配，将日志记录与清洗规则进行匹配，符合规则的数据予以通过，不符合规则的日志记录作丢弃处理。

4.根据权利要求2所述的基于多源日志的网络安全态势评估方法，其特征在于，在步骤1中，日志信息字段的提取是指从文本日志记录中，提取日志的属性字段，包括日志记录中的时间戳、源IP地址和目的IP地址、源端口号和目的端口号这些字段信息；日志信息字段的提取是对过滤后的日志记录，通过正则表达式的捕获组对符合日志提取规则的日志记录进行信息字段的提取，最终得到日志记录中各日志信息字段。

5.根据权利要求4所述的基于多源日志的网络安全态势评估方法，其特征在于，在步骤1中，日志信息字段提取步骤分为：

(1)制定日志信息字段提取规则库；针对每种日志，在理解其记录结构、各字段意义的基础上，按照日志记录的格式，制定由正则捕获组组成的正则表达式，多条正则表达式构成日志信息字段提取规则库；

(2)日志记录与提取规则匹配；从日志数据文件中读取日志记录，与提取规则库中的正则表达式进行匹配，符合正则表达式的日志记录，通过正则表达式的正则捕获组得到日志记录的各信息字段，不符合正则表达式的日志记录匹配日志提取规则库中下一条规则，直到规则库中所有规则匹配完毕，仍不通过的日志记录作丢弃处理；

(3)重复上面两步，直到所有日志记录处理完毕，输出日志信息提取字段的结果，即日志的属性字段。

6.根据权利要求1所述的基于多源日志的网络安全态势评估方法，其特征在于，在步骤2中，特征选择就是从一组数据量为D的属性集合中选择出数量为d的能代表问题的一组最优特征子集，其中D>d；信息增益算法根据属性能为分类带来信息的程度来度量属性的重要性，属性为分类过程带来的信息越多，评分就越高，特征就越重要，就越应该加入特征子集中。

7.根据权利要求6所述的基于多源日志的网络安全态势评估方法，其特征在于，在步骤2中，对于给定的数据集D，数据集中样本的数量用|D|表示；C_k表示训练数据集中第k个类，|C_k|表示第k个类C_k的样本个数；属性A在{a₁，a₂，...，a_n}中取值，属性A的取值将数据集D划分成对应的n个子集D₁，D₂，...，D_n，记子集D_i中属于类C_k的样本集合记为D_ik；利用信息增益比算法计算属性的重要性过程如下，输入数据集D和属性A，具体步骤如下：

首先计算数据集D的经验熵H(D)，如公式(1)，

计算属性A对数据集D的经验条件熵H(D|A)，如公式(2)，

计算数据集D关于属性A的经验熵H_A(D),如公式(3)，

计算数据集D关于属性A的信息增益g(D|A),如公式(4)，

g(D|A)＝H(D)-H(D|A) (4)

计算数据集D关于属性A的信息增益比g_R(D，A),如公式(5)，

利用信息增益比进行特征选择，从属性集合中按照信息增益比算法选择出某个属性加入特征子集中，并将该特征作为树当前结点，所选特征的取值对应当前结点的子结点数量，对特征空间进行划分；进入特征子空间再进行特征选择时，从属性集合中去掉已经选择的属性，在此特征划分的特征子空间再依次计算其他属性的信息增益比的值，选择信息增益比的值大的属性加入特征子集，并作为树当前结点的子结点进下一步特征空间的划分；逐个处理树结点的各个特征子空间，直到构建的多叉树对训练数据集具有很好的划分能力，特征选择的过程结束，最终输出求得的特征子集。

8.根据权利要求1所述的基于多源日志的网络安全态势评估方法，其特征在于，在步骤3中，将多源日志按照时间戳DateTime和源IP地址组合的关键字段融合；取各日志记录中的源IP地址代表访问的用户，取各日志记录中的时间，将时间归约到小时表示在某网络行为发生的时间段，源IP地址和时间构成新的key值，表示某时间段时用户的记录；键值对的value值表示每种日志的特征信息，多源日志融合后减少了冗余日志的数量，生成更准确的网络攻击特征。

9.根据权利要求1所述的基于多源日志的网络安全态势评估方法，其特征在于，在步骤4中，采用改进的Apriori算法挖掘出隐藏在日志数据之间的关系，进而得到各种安全事件之间的关系；时间窗口每滑动一次就会产生一个候选攻击序列S_i，直至窗口滑动到攻击序列集合的最后，产生的候选攻击序列集合为ackSet＝{S₁，S₂，...，S_n}；再使用改进的Apriori算法对得到的候选攻击序列集合ackSet进行频繁项挖掘，挖掘出最大频繁攻击序列，这些攻击序列就代表了攻击者针对该主机发动的攻击模式。

10.根据权利要求9所述的基于多源日志的网络安全态势评估方法，其特征在于，在步骤4中，改进的Ariori算法的步骤如下：

(1)扫描数据库并统计出数据库中所有项的支持度大小；

(2)将各项的支持度与最小支持度阈值进行比较，筛选出支持度不小于最小支持度阈值的1项集作为频繁1项集集合L₁；

(3)对L₁进行自连接，产生候选项集C₂，对C₂进行剪枝，具体过程是：扫描遍历频繁1项集集合，对L₁中的某个频繁1项集A来说，如果A是C₂中某个项集C的子集，该项集C的计数加1；通过这个方法，统计C₂中所有候选项集的计数，保留计数值不小于2的项集；这些项集可能为频繁2项集，称为候选频繁2项集集合；

(4)扫描并统计候选频繁项集集合中的每个候选频繁项集的支持度计数或非频繁项计数，具体过程是：每扫描一条事务，判断该候选频繁项集是否包含在事务中，如果是，对该候选项集的支持度计数加1，否则对该项集的非频繁项计数加1，若是该候选频繁项集的非频繁项计数达到预先设定好的非频繁项支持度阈值，停止扫描数据库并删除该项集；若是该频繁项集的支持度计数达到最小支持度阈值，就继续扫描数据库；最后留下的所有项集就是频繁2项集；

(5)重复迭代2、3、4步骤，求得频繁3项集，频繁4项集，……，直至频繁k项集。

11.根据权利要求1所述的基于多源日志的网络安全态势评估方法，其特征在于，在步骤5中，根据D-S证据理论，将上一步产生的最大频繁多步攻击模式作为评估网络中每个主机风险程度的证据，通过合成公式将这些证据生成信任度更高的主机风险值，以实现对网络主机态势的评估，并根据每个主机的风险值生成整个网络的风险值，以实现对全网络的态势评估。

12.根据权利要求11所述的基于多源日志的网络安全态势评估方法，其特征在于，在步骤5中，根据D-S证据理论，用置信度α来描述证据的可靠性和可信度，在证据融合前可对融合所需的证据进行修改；首先需度量不同证据之间的距离，采用Bhattacharyya距离，计算不同证据间的距离，m_i，m_j是两条证据，如(6)所示：

d(m_i，m_j)＝d_ij＝-ln(BC(m_i，m_j)) (6)

式(7)中，d(m_i，m_j)是m_i，m_j之间的Bhattacharyya距离，BC(m_i，m_j)是Bhattacharyya系数；

由此可导出一个n*n的矩阵D，而D是一个对称矩阵，且对角元素为0，如(8)所示：

式(8)中，矩阵D中的元素d_ij是证据m_i，m_j之间的距离；

证据m_i和其他证据之间的距离之和为u_i，如(9)所示：

式(9)中，u_i的大小代表证据和其他证据之间的距离之和，它的大小反映了证据m_i和其他证据之间的差异程度；证据m_i和其他证据之间的差异越大，m_i是噪声点的可能性越大，且置信水平α越低；相反，证据m_i的u_i值越小，m_i与其他证据表达的信息的一致性越强，置信度α应该越高；

所以m_i的置信度α_i定义如(10)所示：

式(10)中，α_i是证据m_i与其他证据表达的信息的一致性的强弱程度，与1/u_i成正比；

根据D-S证据理论中定义的基本信任分配函数，在证据理论中用来分配证据的初始信任度，定义如(11)所示：

式(11)中θ为识别框架，包含互相独立的事件，A_j是θ中的事件，φ为不可能发生的事件；

改进后，BPA定义如(12)所示：

式(12)中，在计算事件A_j的基本信任分配函数m(A_j)时，为每一个证据的基本信任函数值m_i(A_j)乘上了置信度α_i；

最终调整后的BPA避免了证据冲突，为下一步的证据融合奠定了良好的基础。

13.根据权利要求12所述的基于多源日志的网络安全态势评估方法，其特征在于，在步骤5中，网络的状况分为两大类：危险和安全，可确定识别框架Θ＝{S，D}，其中S代表当前网络状态是安全，D代表当前网络状态是危险，根据D-S证据理论相关定义，m(S)+m(D)＝1；

首先对证据分配初始信任度值，初始基本可信度分配主要衡量两个方面；一个是该多步攻击成功发生的概率，另一个是该多步攻击的威胁程度；

一个目标主机在一段时间内挖掘出来的每一条最大频繁多步攻击序列作为评估该主机态势的一个证据，利用合成公式，如公式(13)对这些证据的信任度值进行合成，这个值就代表着目标主机的态势状况；

式(13)中，M(A)为主机中A事件的风险值，A_i为事件A的证据，m_i(A_i)为A_i的基本信任函数值；k代表证据之间的冲突程度，随着k值的增大，证据之间的冲突程度就越大；

最后由每个主机的风险值生成整个网络的风险值，以实现对全网络的态势评估；假设网络中主机有n台，整个网络风险值定义如公式(15)：

式(15)中，DW为整个网络的风险值，M(A)_i表示网络中每个主机的风险值，W_i为每个主机的权重，代表网络主机资产的重要性，主机资产的重要性越高，对该主机发动攻击造成的危害就越高；

DW值越高表示网络中的风险程度越大；网络安全状态评估可分为：安全、低风险、高风险，并设定相应阈值s_l，s_t来作为这三个状态的分界值，阈值根据被评估网络的实际状况以及安全管理的要求来决定。

Images