CN105227548A - 基于办公局域网稳态模型的异常流量筛选方法 - Google Patents

Abstract

本发明公开了一种基于办公局域网稳态模型的异常流量筛选方法，目的是基于用户可控的未知攻击流量筛选方法，有效应对日益泛滥的APT攻击。技术方案是基于办公局域网构建多维度稳态模型，利用信息熵来描述网络环境的稳定态，从链接次数与链接流量两个维度搭建流量模型，并通过维度融合将两者进行融合得到网络环境的信息熵，根据信息熵值变化幅度判断目的主机是否处于稳定态。基于已有稳态模型，合理综合用户需求，利用用户设定的筛选概率值调整异常流量的检测尺度，筛选异常流量。本发明相比于现有方法能够充分体现自身网络环境特征，更好的应对办公局域网未知APT攻击，且筛选规模人为可控，对异常流量进行高效筛选。

Description

基于办公局域网稳态模型的异常流量筛选方法

技术领域

本发明涉及计算机领域中网络攻击的检测方法，尤其是基于办公局域网流量进行网络攻击检测的方法。

背景技术

近年来，以“震网”(Stuxnet)、“毒区”(Duqu)及“火焰”(Flame)病毒为代表的“高级持续威胁”(AdvancedPersistentThreat，APT)层出不穷，给网络安全提出了更高的要求。APT是有组织、有目的的具有全面计算机入侵能力的人员开发的，用来完成特定目标的，持续性存在于受害主机上，并以一定互动水平与操控者交互的恶意软件。

APT不是一种单一的攻击手段，而是多种攻击手段的组合，因此无法通过单一的防护手段进行阻止和防御。APT本质上是更为高级的木马或更为高级的僵尸网络(BOTNET)。根据Stuxnet、Duqu等具有APT行为特征的蠕虫病毒分析报告来看，我国信息化建设和重要信息系统也可能受到来自某些国家和组织实施的前所未有的APT安全威胁，然而我国当前面向重要网络信息系统的专业防护服务能力和产业化程度相对较低，尚难以有效应对APT攻击，形势相当严峻。相比于传统的网络威胁，APT攻击的特点主要包括针对性、高级性、持续性、潜伏性、专业性。针对APT的以上特点，可以看出对APT的防护会比以往的网络安全威胁更难防护。未知的APT一旦潜入信息系统，将长期潜伏、难以发现。

当前的安全机制及网络安全检测产品普遍以已知威胁为防护目标，对于部分安全事件有一定的防御效果。但是，这样的安全机制忽略了部署环境本身的差异性，对于APT攻击中攻击者经常利用的“零日”(zero-day)漏洞等未知威胁，缺乏检测能力，难以有效应对。因此，为了应对此类攻击，一方面，构建安全机制必须充分了解自身网络环境特征，不仅要了解已知威胁，也要利用自身环境特点防御未知威胁；另一方面，需要在了解自身环境的基础上进行异常流量的有效筛选，因为APT攻击往往潜伏在目标系统中持续进行，攻击者会间歇性的下达指令或者上传用户的重要信息，通过筛选这些异常流量能够便于网络管理员进一步分析，发现攻击者异常行为。

总之，对于特征不一的诸多网络环境，充分利用自身网络环境特点，对具有诸多安全特性的APT攻击的检测与防御已经成为网络与信息安全领域的一大难题，至今还没有十分完美的解决方案。如何从自身网络环境出发，利用攻击行为造成的流量异常变化，筛选异常流量，是应对APT攻击的重要手段。

发明内容

本发明要解决的技术问题是：针对日益泛滥的APT攻击，当前的安全机制及网络安全检测产品普遍以已知威胁为防护目标，对于未知威胁缺乏检测能力、难以有效应对。

为解决以上技术问题，本发明利用攻击者行为造成的流量异常变化，从业务较为单一的办公局域网出发，提供一种用户可控的对未知攻击流量进行筛选的技术方案，充分体现自身网络环境特征，达到较好的检测办公局域网攻击的效果。本发明提供的解决方案为：基于办公局域网构建多维度稳态模型，利用信息熵来描述网络环境的稳定态，从链接次数与链接流量两个维度搭建流量模型。在此基础上，合理综合用户需求，利用用户可以调整检测尺度的异常流量检测方案，从两个维度入手设计异常流量检测方法，从而达到有效对异常流量进行高效筛选和筛选规模人为可控的目的。

本发明的技术方案为：

第一步，如图1所示，利用snort或者路由器netflow功能收集办公局域网的会话信息，建立链接流量和链接次数的数据表。通过选定目的IP(记为DIP)，设定评估时间粒度T(T>0)以后，得到网内其他k(k为自然数)个IP(记为IP₁,IP₂,…,IP_k)与DIP在时间T内的成功建链次数N(N≥0)和链接流量L(L≥0)。之后利用求办公局域网信息熵的方法分别得到DIP建链次数的熵H₁和链接流量的熵H₂。通过维度融合方案将两者进行融合得到H。最后由设定的稳定态阈值判定整个系统是否处于稳定态。具体步骤为：

步骤1.1，将snort或者路由器netflow功能收集的会话信息存储到数据库，建立链接流量和链接次数的数据表。读取用户设置的时间粒度T、时间间隔t、阈值α和检测概率p，临时变量m置为1。在用户选定需要考察稳定态的DIP和评估的时间粒度T之后，snort或者路由器自动统计出时间T内，以t(t>0，T一般为t的整数倍)为时间间隔，网内其他IP(即IP₁,IP₂,…,IP_k)和DIP的成功建链次数N₁,N₂,N₃,...,N_k和链接流量L₁,L₂,L₃,...,L_k。

步骤1.2，利用计算办公局域网信息熵的方法，分别对每个时间T内的建链次数和链接流量进行信息熵的计算，得到DIP建链次数和链接流量的熵H₁和H₂。每个时间T内的信息熵是由时间间隔t内的建链次数和链接流量计算获得。具体方法为：

1.2.1在时间粒度T内，每一小段时间间隔t内的网内其他IP(即IP₁,IP₂,…,IP_k)与DIP的成功建链次数为N₁,N₂,...,N_k。时间间隔t内，每个IP的链接次数占总的链接次数的比率为N为总的链接次数，即根据信息熵的定义，在给定的时间间隔t内，DIP链接次数的信息熵为H₁＝P₁*lnP₁+P₂*lnP₂+...+P_k*lnP_k，其中ln为数学中的ln函数。

1.2.2在时间粒度T内，每一小段时间间隔t内的网内其他IP(即IP₁,IP₂,…,IP_k)与DIP的链接流量为L₁,L₂,...,L_k。时间间隔t内，每个IP的链接流量占总的链接流量的比率为L为总的链接流量，即根据信息熵的定义，在给定的时间间隔t内，DIP链接流量的信息熵为H₂＝P′₁*lnP′₁+P′₂*lnP′₂+…+P′_k*lnP′_k。

步骤1.3，融合两个维度得到的信息熵值。融合方法如下：

1.3.1在时间粒度T内，每个时间间隔t内得到两种维度下的信息熵值为H₁(t₁),H₁(t₂)，...,H₁(t_n)和H₂(t₁),H₂(t₂),...,H₂(t_n)，其中n＝T/t，t_i＝i*t(i＝1,2,...,n)。评估两种维度下信息熵的相关性，相关性计算方法如下：相关系数 $r=\frac{\underset{i=1}{\overset{n}{\Σ}}\left(H_1\right(t_i)-\stackrel{\‾}{H_1})\left(H_2\right(t_i)-\stackrel{\‾}{H_2})}{\sqrt{\underset{i=1}{\overset{n}{\Σ}}{\left(H_1\right(t_i)-\stackrel{\‾}{H_1})}^2\underset{i=1}{\overset{n}{\Σ}}{\left(H_2\right(t_i)-\stackrel{\‾}{H_2})}^2}}.$ 其中和分别为链接次数和链接流量信息熵值的平均值，即 $\stackrel{\‾}{H_2}=\underset{i=1}{\overset{n}{\Σ}}{H}_2\left(t_i\right)/n.$

1.3.2若|r|＜0.9代表两者没有很好的相关性，不适合融合，转步骤1.1，重新选取目的IP和时间粒度。否则0.9≤|r|≤1，代表两者有较好的相关性，执行1.3.3。

1.3.3利用公式 $H\left(t_j\right)=\sqrt{\frac{{H_1}^2\left(t_j\right)+{H_2}^2\left(t_j\right)}{2}}(j=1,2,...,n)$ 分别对各个时间间隔进行计算，得到新的信息熵值H(t₁),H(t₂),...,H(t_n)。

步骤1.4，对时间粒度T内的信息熵值H(t₁),H(t₂),...,H(t_n)进行稳定态评估，绘制信息熵值变化曲线，根据曲线变化幅度判定目的主机是否处于稳定态。这里可以利用方差判断变化幅度。方差计算方法如下： $D\left(H\right)=\frac{{\left(H\right(t_1)-\stackrel{\‾}{H})}^2+{\left(H\right(t_2)-\stackrel{\‾}{H})}^2+...+{\left(H\right(t_n)-\stackrel{\‾}{H})}^2}{n},$ 若方差值大于阈值α(α＞0)，则在时间粒度T下，DIP不属于稳态，转步骤1.1，调整DIP和时间粒度。若方差值小于阈值，则在该时间粒度下，DIP属于稳态，执行第二步。

第二步，如图1所示，在系统处于稳定态的基础上，进行异常流量的筛选。筛选立足于检测出的异常流量可控，利用用户设定的筛选概率值p(0＜p＜1)筛选异常流量，筛选出的流量代表着相应概率值的异常度，检测概率值的大小直接决定了检测出的可疑流量的多少，用于进一步分析。异常检测方案中需要综合IP和时间因素，实现多维度的异常检测方案。筛选出的流量可供网络管理员进行进一步分析。具体步骤为：

步骤2.1，从数据库中获得在各个时间段t₁,t₂,...,t_n下，IP₁,IP₂,...,IP_k与DIP的链接次数矩阵M(n,k)，如图2所示，分别记为：M(1,1),...,M(1,k),M(2,1),...,M(2,k),...,M(n,1),...,M(n,k)，其中M(a,b)(a＝1,2,…,n；b＝1,2,…,k)的值表示时间段t_a时IP_b与DIP的链接次数。

步骤2.2，利用公知的冒泡排序法将矩阵M(n,k)中的值从小到大进行排序，排序后得到的链接次数为M₁,...,M_n*k。

步骤2.3，从最小的链接次数M₁开始寻找m(m为正整数)，使得 $\frac{M_1+M_2+...+M_m}{M_{sum}}\≤p\≤\frac{M_1+M_2+...+M_{m+1}}{M_{sum}},$ 其中M_sum是所有IP的链接次数的总和，即m为安全门限，第1～m台主机的对应时间段的流量值都可以被筛选出来进行进一步分析。筛选出的流量即为异常度为p的流量值。

采用本发明可以达到以下的技术效果：针对APT攻击日益泛滥的现状，针对业务较为单一的办公局域网，提供一种用户可控的对未知攻击流量进行筛选的技术方案，充分体现自身网络环境特征，达到较好的应对办公局域网攻击的效果。

本发明的优点主要是：

1.本发明基于信息熵值从建链次数和链接流量两个维度搭建流量模型，并通过维度融合方案将两者进行融合得到网络环境的信息熵值H，充分体现自身网络环境特征，有效判断网络环境是否处于稳定态，提高了网络环境稳定态评估的准确性，进而有效提高本发明基于办公局域网稳态模型异常流量筛选方法监测APT攻击的准确性。

2.基于已有稳态模型，合理综合用户需求，利用用户设定的筛选概率值p筛选异常流量，检测概率值的大小直接决定了检测出的可疑流量的多少，可供网络管理员进行进一步分析，达到人为可控的目的。通过调整p值的大小可以调整异常检测尺度，从而达到用户可控的对未知攻击流量进行筛选，对异常流量进行高效筛选，简单而高效。

附图说明

图1是办公局域网稳态模型

图2是IP与时间综合维度下链接次数分布示意图

图3是本发明的流量建模与异常检测的总体流程图

具体实施方式

下文以一个DIP为IP_dest，网内另外还有50台主机(即k＝50，IP分别为IP₁,IP₂,...,IP₅₀)的办公局域网为例，对本实施例的基于办公局域网稳态模型的异常流量筛选方法进行说明。用户选定的时间粒度T为1周共7天，时间间隔t为1天，n＝T/t＝7。用户设定阈值α＝2，用户设定筛选概率值p＝20％，网内其他IP和DIP的成功建链次数为N₁,N₂,N₃,...,N₅₀,链接流量为L₁,L₂,L₃,...,L₅₀。

第一步，如图1所示，利用snort或者路由器netflow功能收集办公局域网的会话信息，建立链接流量和链接次数的数据表。选定DIP，设定评估时间粒度T为7天，得到网内其他50个IP与DIP在7天内的成功建链次数N₁,N₂,N₃,...,N₅₀和链接流量L₁,L₂,L₃,...,L₅₀。之后利用求办公局域网信息熵的方法分别得到DIP建链次数的熵H₁和链接流量的熵H₂。通过维度融合方案将两者进行融合得到H。最后由设定的稳定态阈值判定整个系统是否处于稳定态。具体步骤为：

步骤1.1，利用snort或者路由器netflow功能收集办公局域网的会话信息，建立链接流量和链接次数的数据表。选定DIP，设定评估时间粒度T为7天，得到网内其他50个IP与DIP在7天内的成功建链次数N₁,N₂,N₃,...,N₅₀和链接流量L₁,L₂,L₃,...,L₅₀。

步骤1.2，利用计算办公局域网信息熵的方法，分别对7天内的建链次数和链接流量进行信息熵的计算，得到DIP建链次数和链接流量的熵H₁和H₂。具体方法为：

1.2.1时间间隔1天之内，每个IP的链接次数占总的链接次数的比率为 $p_1=\frac{N_1}{N},P_2=\frac{N_2}{N},...,P_{50}=\frac{N_{50}}{N},$ N为总的链接次数，即根据信息熵的定义，时间间隔1天之内，根据DIP链接次数信息熵计算公式H₁＝P₁*lnP₁+P₂*lnP₂+...+P₅₀*lnP₅₀得出链接次数的信息熵H₁。

1.2.2时间间隔1天之内，每个IP的链接流量占总的链接流量的比率为 $P_1^{\′}=\frac{L_1}{L},P_2^{\′}=\frac{L_2}{L},...,P_{50}^{\′}=\frac{L_{50}}{L},$ L为总的链接流量，即根据信息熵的定义，在给定的时间间隔1天之内，根据DIP链接流量信息熵计算方法H₂＝P′₁*lnP′₁+P′₂*lnP₂'+…+P′₅₀*lnP′₅₀得出链接流量的信息熵H₂。

步骤1.3，融合两个维度得到的信息熵值。融合方法如下：

1.3.17天之内，每天得到两种维度下的信息熵值为H₁(t₁),H₁(t₂)，...,H₁(t₇)和。评估两种维度下信息熵的相关性，方法如下：计算相关系数 $r=\frac{\underset{i=1}{\overset{7}{\Σ}}\left(H_1\right(t_i)-\stackrel{\‾}{H_1})\left(H_2\right(t_i)-\stackrel{\‾}{H_2})}{\sqrt{\underset{i=1}{\overset{7}{\Σ}}{\left(H_1\right(t_i)-\stackrel{\‾}{H_1})}^2\underset{i=1}{\overset{7}{\Σ}}{\left(H_2\right(t_i)-\stackrel{\‾}{H_2})}^2}}.$ 其中和分别为链接次数和链接流量信息熵值的平均值，即 $\stackrel{\‾}{H_1}=\underset{i=1}{\overset{7}{\Σ}}{H}_1\left(t_i\right)/7,\stackrel{\‾}{H_2}=\underset{i=1}{\overset{7}{\Σ}}{H}_2\left(t_i\right)/7.$

1.3.2若|r|＜0.9代表两者没有很好的相关性，不适合融合，转步骤1.1，重新选取目的IP和时间粒度。否则0.9≤|r|≤1，代表两者有较好的相关性，执行1.3.3。

1.3.3利用公式 $H\left(t_j\right)=\sqrt{\frac{{H_1}^2\left(t_j\right)+{H_2}^2\left(t_j\right)}{2}}(j=1,2,...,7)$ 分别对7天分别进行计算，得到新的信息熵值H(t₁),H(t₂),...,H(t₇)。

步骤1.4，对一周以内的信息熵值H(t₁),H(t₂),...,H(t₇)进行稳定态评估，绘制信息熵值变化曲线，利用方差判断变化幅度。方差计算方法如下: $D\left(H\right)=\frac{{\left(H\right(t_1)-\stackrel{\‾}{H})}^2+{\left(H\right(t_2)-\stackrel{\‾}{H})}^2+...+{\left(H\right(t_7)-\stackrel{\‾}{H})}^2}{7},$ 若方差值大于阈值2，则说明检测的一周以内DIP不属于稳态，转步骤1.1，调整DIP和时间粒度。若方差值小于2，则在该时间粒度下，DIP属于稳态，执行第二步，执行稳定态系统的异常检测方案。

第二步，如图1所示，在系统处于稳定态的基础上，进行异常流量的筛选。筛选立足于检测出的异常流量可控，利用用户设定的筛选概率值p(0＜p＜1)，筛选出的流量代表着相应概率值大小的异常度。异常检测方案中需要综合IP和时间因素，实现多维度的异常检测方案。筛选出的流量可供网络管理员进行进一步分析。具体步骤为：

步骤2.1，从数据库中获得在7个时间段t₁,t₂,...,t₇下，IP₁,IP₂,...,IP₅₀与DIP的链接次数矩阵M(7,50)。

步骤2.2，对矩阵中的值通过冒泡排序法进行排序得到M₁,M₂,...,M_7*50

步骤2.3，利用用户设定的筛选概率p＝20％，从最小的链接次数开始寻找m使得 $\frac{M_1+M_2+...+M_m}{M_{sum}}\≤20\%\≤\frac{M_1+M_2+...+M_{m+1}}{M_{sum}}.$ m为安全门限，第1～m台主机的对应时间段的流量值都可以被筛选出来进行进一步分析。筛选出的流量即为异常度为20％的流量值。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (5)

1.一种基于办公局域网稳态模型的异常流量筛选方法，其特征在于包括以下步骤：

第一步，网络环境稳定态评估，具体过程如下：

1.1利用网络工具收集办公局域网的会话信息，并存储到数据库，建立链接流量和链接次数的数据表；读取用户设置的时间粒度T、时间间隔t、阈值α和检测概率p，临时变量m置为1，m为正整数，T>0，t>0，T一般为t的整数倍，α>0，0＜p＜1；用户选定需要考察稳定态的目的IP，记为DIP，网络工具自动统计出时间T内，以t为时间间隔，网内其他IP，即IP₁,IP₂,…,IP_k，和DIP的成功建链次数N₁,N₂,N₃,...,N_k和链接流量L₁,L₂,L₃,...,L_k；

1.2利用计算办公局域网信息熵的方法，分别对每个时间T内的建链次数和链接流量进行信息熵的计算，得到DIP建链次数的熵H₁和链接流量的熵H₂；具体方法为：

1.2.1在时间粒度T内，每一小段时间间隔t内，IP₁,IP₂,…,IP_k的链接次数占总的链接次数的比率分别为N为总的链接次数，即根据信息熵的定义，在给定的时间间隔t内，DIP链接次数的信息熵为H₁＝P₁*lnP₁+P₂*lnP₂+...+P_k*lnP_k，其中ln为数学中的ln函数；

1.2.2在时间粒度T内，每一小段时间间隔t内，IP₁,IP₂,…,IP_k的链接流量占总的链接流量的比率为L为总的链接流量，即根据信息熵的定义，在给定的时间间隔t内，DIP链接流量的信息熵为H₂＝P′₁*lnP′₁+P′₂*lnP′₂+…+P′_k*lnP′_k；

步骤1.3，融合两个维度得到的信息熵值；融合方法如下：

1.3.1在时间粒度T内，每个时间间隔t内得到两种维度下的信息熵值为H₁(t₁),H₁(t₂)，...,H₁(t_n)和H₂(t₁),H₂(t₂),...,H₂(t_n)，其中n＝T/t，t_i＝i*t；i＝1,2,...,n；评估两种维度下信息熵的相关性，相关性计算方法如下：相关系数 $r=\frac{\underset{i=1}{\overset{n}{\Σ}}\left(H_1\right(t_i)-\stackrel{\‾}{H_1})\left(H_2\right(t_i)-\stackrel{\‾}{H_2})}{\sqrt{\underset{i=1}{\overset{n}{\Σ}}{\left(H_1\right(t_i)-\stackrel{\‾}{H_1})}^2\underset{i=1}{\overset{n}{\Σ}}{\left(H_2\right(t_i)-\stackrel{\‾}{H_2})}^2}};$ 其中和分别为链接次数和链接流量信息熵值的平均值，即 $\stackrel{\‾}{H_1}=\underset{i=1}{\overset{n}{\Σ}}{H}_1\left(t_i\right)/n,\stackrel{\‾}{H_2}=\underset{i=1}{\overset{n}{\Σ}}{H}_2\left(t_i\right)/n;$

1.3.2若|r|＜R代表两者没有很好的相关性，不适合融合，转1.1，重新选取目的IP和时间粒度，R为相关性判定基准，0.6＜R＜1；否则R≤|r|≤1，代表两者有较好的相关性，执行1.3.3；

1.3.3利用公式分别对各个时间间隔进行计算，得到新的信息熵值H(t₁),H(t₂),...,H(t_n)；

1.4，对时间粒度T内的信息熵值H(t₁),H(t₂),...,H(t_n)进行稳定态评估，绘制信息熵值变化曲线，根据曲线变化幅度判定目的主机是否处于稳定态；若在时间粒度T下，DIP不属于稳态，转1.1，调整DIP和时间粒度；若在该时间粒度下，DIP属于稳态，执行第二步；

第二步，在系统处于稳定态的基础上，进行异常流量的筛选；具体步骤为：

2.1，从数据库中获得在各个时间段t₁,t₂,...,t_n下，IP₁,IP₂,...,IP_k与DIP的链接次数矩阵M(n,k)，分别记为：M(1,1),...,M(1,k),M(2,1),...,M(2,k),...,M(n,1),...,M(n,k)，其中M(a,b)的值表示时间段t_a时IP_b与DIP的链接次数，a＝1,2,…,n，b＝1,2,…,k；

2.2，将矩阵M(n,k)中的值进行排序，记排序后矩阵M(n,k)中的值从小到大分别为M₁,...,M_n*k；

2.3，从最小的链接次数M₁开始寻找m，使得 $\frac{M_1+M_2+...+M_m}{M_{sum}}\≤p\≤\frac{M_1+M_2+...+M_{m+1}}{M_{sum}},$ 其中M_sum是所有IP的链接次数的总和，即m为安全门限，第1～m台主机的对应时间段的流量值都可以被筛选出来进行进一步分析；筛选出的流量即为异常度为p的流量值。

2.如权利要求1所述的基于办公局域网稳态模型的异常流量筛选方法，其特征在于所述网络工具为snort或者路由器。

3.如权利要求1所述的基于办公局域网稳态模型的异常流量筛选方法，其特征在于所述相关性判定基准R取值为0.9。

4.如权利要求1所述的基于办公局域网稳态模型的异常流量筛选方法，其特征在于利用方差判断所述曲线变化幅度。方差计算方法如下： $D\left(H\right)=\frac{{\left(H\right(t_1)-\stackrel{\‾}{H})}^2+{\left(H\right(t_2)-\stackrel{\‾}{H})}^2+...+{\left(H\right(t_n)-\stackrel{\‾}{H})}^2}{n},$ 若方差值大于阈值α(α＞0)，则在时间粒度T下，DIP不属于稳态；若方差值小于阈值，则在该时间粒度下，DIP属于稳态。

5.如权利要求1所述的基于办公局域网稳态模型的异常流量筛选方法，其特征在于利用公知的冒泡排序法将矩阵M(n,k)中的值从小到大进行排序。