CN111092891B

CN111092891B - 一种网络中异常点的检测方法、检测系统及相关装置

Info

Publication number: CN111092891B
Application number: CN201911328416.5A
Authority: CN
Inventors: 姜鹏; 范渊; 刘博�; 莫凡; 秦坤
Original assignee: DBAPPSecurity Co Ltd
Current assignee: DBAPPSecurity Co Ltd
Priority date: 2019-12-20
Filing date: 2019-12-20
Publication date: 2022-04-01
Anticipated expiration: 2039-12-20
Also published as: CN111092891A

Abstract

本申请提供一种网络中异常点的检测方法，包括：获取网络安全历史数据的时序统计量；利用预设周期性度量从时序统计量中筛选得到具有周期性的时间序列；判断时间序列是否存在缺省值；若是，则对时间序列进行插值填充，并在插值填充后提取周期性基准值；根据周期性基准值得到待检测点的预测值；根据预测值确定异常点。本申请实现了对于时序统计量的周期性筛选，并利用插值填充进行数据预处理，考虑了时序随机扰动对于异常点判定过程中的干扰，对于异常点的定位准确，提高了检测效率，时间复杂度低，适合大规模增量学习。本申请还提供一种网络中异常点的检测系统、计算机可读存储介质和一种终端，具有上述有益效果。

Description

一种网络中异常点的检测方法、检测系统及相关装置

技术领域

本申请涉及网络领域，特别涉及一种网络中异常点的检测方法、检测系统及相关装置。

背景技术

在网络安全领域，随着数据量快速增长，传统网络安全设备的处理数据能力捉襟见肘，处理方式简单，大多基于内容检测无法应对当前的攻击态势，未来的攻击者也将会更加灵活和更具有变化性。根据攻击者痛苦金字塔模型(The Pyramid of Pain)，TTPs(战术、技术以及过程)位于痛苦金字塔顶端，反应了攻击者的行为，攻击者调整TTPs所付出的时间和金钱成本也是最为昂贵。如能够快速、准确的捕获到攻击者的行为，则具有较大意义。

据统计发现网络通信行为很多都具有较强的周期性，例如，企业Web资产每天分时段的访问量。本发明从正常网络流量时序特征发出，通过对历史网络通信行为建模，发现正常通信过程中的周期性行为，从而检测异常通信导致的网络流量时序上的波动。

现有的对于周期性时序筛选及异常点检测方法主要采用以下两种方式：

1、基于同比和环比的周期性异常点检测，它是将当前时刻数据和前一时刻数据(环比)或者前一天同一时刻数据(同比)比较，超过一定阈值即认为该点异常。缺点在于历史上的单点数据来预测当前数据，没有考虑时序间的相关性，误差比较大。

2、基于Holt-Winters或者ARIMA模型的异常检测算法，不仅考虑到了时序样本之间的相关性，也结合了时序的周期性。缺点在于容易受到噪声或者毛刺的影响，收敛较慢从而导致误报。算法参数较多，需调参，时间复杂度较高，不适合增量学习的场景。

因此如何提高当前异常点检测的检测效率是本领域技术人员亟需解决的技术问题。

发明内容

本申请的目的是提供一种网络中异常点的检测方法、检测系统、计算机可读存储介质和一种终端，能够提高网络流量时序中的异常点检测效率。

为解决上述技术问题，本申请提供一种网络中异常点的检测方法，具体技术方案如下：

获取网络安全历史数据的时序统计量；

利用预设周期性度量从所述时序统计量中筛选得到具有周期性的时间序列；

判断所述时间序列是否存在缺省值；

若是，则对所述时间序列进行插值填充，并在插值填充后提取周期性基准值；

根据所述周期性基准值得到待检测点的预测值；

根据所述预测值确定异常点。

其中，获取网络安全历史数据的时序统计量包括：

获取网络安全历史数据的时间序列样本；

对所述时间序列样本以预设周期为单位，划分成若干周期单元；

删除特征值和为0的周期单元；

以预设窗口大小的滑动窗口对各所述周期单元对应的特征值做中位数平滑处理，得到所述时序统计量。

其中，利用预设周期性度量从所述时序统计量中筛选得到具有周期性的时间序列包括：

将所述时序统计量中各周期单元的特征值转换为标准正态分布；

利用时间序列分解法提取所述时序统计量的周期成分；

以所述预设周期为单位，计算各所述周期单元与所述周期成分的相似度；

根据各所述周期单元与所述周期成分的相似度确定各所述周期单元的相似度均值；

将各所述周期单元的相似度均值与预设周期性度量逐一比较，将相似度均值小于或等于预设周期性度量的周期单元作为具有周期性的周期单元；

整合所有具有周期性的周期单元，得到具有周期性的时间序列。

其中，对所述时间序列进行插值填充之后、提取周期性基准值之前，还包括：

利用箱线图去除所述时间序列的异常数据，并对所述异常数据进行线性插值。

其中，根据所述预测值确定异常点包括：

根据所述预测值计算残差；

利用3-sigma对所述残差判断，若判断结果为true，确定异常点。

本申请还提供一种网络中异常点的检测系统，包括：

获取模块，用于获取网络安全历史数据的时序统计量；

筛选模块，用于利用预设周期性度量从所述时序统计量中筛选得到具有周期性的时间序列；

判断模块，用于判断所述时间序列是否存在缺省值；

插值填充模块，用于若所述判断模块判读结果为是时，则对所述时间序列进行插值填充，并在插值填充后提取周期性基准值；

预测模块，用于根据所述周期性基准值得到待检测点的预测值；

异常点确定模块，用于根据所述预测值确定异常点。

其中，还包括：

异常去除模块，用于对所述时间序列进行插值填充之后、提取周期性基准值之前，利用箱线图去除所述时间序列的异常数据，并对所述异常数据进行线性插值。

其中，所述异常点确定模块包括：

残差计算单元，用于根据所述预测值计算残差；

残差判断单元，用于利用3-sigma对所述残差判断，若判断结果为true，确定异常点。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。

本申请还提供一种终端，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上所述的方法的步骤。

本申请提供一种网络中异常点的检测方法，包括：获取网络安全历史数据的时序统计量；利用预设周期性度量从所述时序统计量中筛选得到具有周期性的时间序列；判断所述时间序列是否存在缺省值；若是，则对所述时间序列进行插值填充，并在插值填充后提取周期性基准值；根据所述周期性基准值得到待检测点的预测值；根据所述预测值确定异常点。

本申请实现了对于时序统计量的周期性筛选，并利用插值填充进行数据预处理，考虑了时序随机扰动对于异常点判定过程中的干扰，对于异常点的定位准确，提高了检测效率，同时本申请采用的异常点检测方法时间复杂度低，适合大规模增量学习。本申请还提供一种网络中异常点的检测系统、计算机可读存储介质和一种终端，具有上述有益效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种网络中异常点的检测方法的流程图；

图2为本申请实施例所提供的时序统计量预处理方法的流程图；

图3为本申请实施例所提供的一种网络中异常点的检测系统结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种网络中异常点的检测方法的流程图，该检测方法包括：

S101：获取网络安全历史数据的时序统计量；

本步骤旨在得到网络安全历史数据的时序统计量，可以每隔一定时间统计某资产各端口的被访问量，例如每隔10分钟统计一次。而实际上，能够直接得到是数据为网络安全历史数据的时间序列样本，可以直接将该时间序列样本作为时序统计量。但由于直接利用时间序列样本进行异常点检测将会导致数据偏差较大，准确率较低，且数据处理较为复杂。因此，在此基础上，本申请实施例还可以对直接获得的时间序列样本先进行数据预处理。参见图2，图2为本申请实施例所提供的时序统计量预处理方法的流程图，具体的数据预处理步骤可以如下：

S1011：获取网络安全历史数据的时间序列样本；

S1012：对时间序列样本以预设周期为单位，划分成若干周期单元；

S1013：删除特征值和为0的周期单元；

S1014：以预设窗口大小的滑动窗口对各周期单元对应的特征值做中位数平滑处理，得到时序统计量。

由上述过程可以看出旨在对得到时间序列样本进行周期划分、周期段删除和中位数平滑处理。在此对于预设周期和预设窗口大小均不作限定，本领域技术人员可以根据业务及时间序列样本的时序特点确定预设周期，例如可以设预设周期为1天，而预设窗口大小和预设周期相关。此外，在划分得到周期单元后、在S1013前，还可以利用0值填充各周期单元的缺省值。S1013中，需要以预设周期为单位，删除特征值和为0的周期单元。

S102：利用预设周期性度量从时序统计量中筛选得到具有周期性的时间序列；

本步骤需要从时序统计量中筛选具有周期性的时间序列，由于现有技术中没有考虑到数据在传输过程产生的随机扰动对最终结果的影响，因此本申请实施例在得到时序统计量后先进行筛选，以得到具有周期性的时间序列。

在此对于如何筛选具有周期性的时间序列不作限定，优选的，本申请实施例在此提供一种具体的筛选方法，具体筛选过程如下：

S1021：将时序统计量中各周期单元的特征值转换为标准正态分布；

S1022：利用时间序列分解法提取时序统计量的周期成分；

S1023：以预设周期为单位，计算各周期单元与周期成分的相似度；

S1024：根据各周期单元与周期成分的相似度确定各周期单元的相似度均值；

S1025：将各周期单元的相似度均值与预设周期性度量逐一比较，将相似度均值小于或等于预设周期性度量的周期单元作为具有周期性的周期单元；

S1026：整合所有具有周期性的周期单元，得到具有周期性的时间序列。

将各周期单元的特征值转换为标准正态分布，是为了标准化各周期单元特征值，便于进行数据处理。可以用z-score作为标准化之后的特征值：

其中单个特征值为x，对应周期单元内特征均值为μ，标准差为σ。

此后利用时间序列分解法(Seasonal and Trend decomposition using Loess，STL)提取该时序周期性成分，周期性成分s可以表示为由s₁,s₂,s₃,...,s_T组成的向量。计算各周期单元与周期成分的相似度实质是计算上述周期性成分与各周期单元的DTW(DynamicTime Warping，动态时间归整)距离，同样的，每个周期单元d可以表示为d₁,d₂,d₃,...,d_T的向量，此后计算周期单元与周期成分的相似度只需进行向量间的计算即可。然后根据得到的相似度得到每个周期单元的相似度均值。在此对于预设周期性度量不作限定，可以由本领域技术人员根基实际需求进行相应的设定，例如可以设为68。预设周期性度量作为周期性评判依据，当周期单元的相似度均值大于预设周期性度量时，认为不具有周期性，当周期单元的相似度均值小于或等于周期性度量时该周期单元具有周期性。

S103：判断时间序列是否存在缺省值；若是，则进入S104；

S104：对时间序列进行插值填充，并在插值填充后提取周期性基准值；

S103和S104实质上是对具有周期性的时间序列进行预处理，进行插值填充。当然，可以理解的是，若时间序列不存在缺省值，可以直接执行S104中提取周期性基准值的步骤。

优选的，对所述时间序列进行插值填充之后、提取周期性基准值之前，还可以利用箱线图去除时间序列的异常数据，并对异常数据进行线性插值。具体的，可以利用箱线图异常检测机制，删除时间序列中大于上边界(Q3+1.5*(Q3-Q1))的异常点。其中，Q1为该时序特征的下四分位点，Q3为该时序特征的上四分位点，即把特征值按照从小到大排序之后，分别为25％和75％位置的特征值。去除异常数据可以有效剔除时序噪声。

周期性基准值计算公式可以如下：

其中，ns为时间序列按预设周期T分割之后周期单元的个数，slen为周期单元特征值的个数，series_ij为第i个周期单元第j个特征值。

在增量计算过程中，可以按固定时间初始化一次周期性基准值，开立如可以每天初始化一次。

S105：根据周期性基准值得到待检测点的预测值；

本步骤旨在根据周期性基准值计算预测值，具体的，计算t+1时刻，预测值

其中：

s_t＝α·(series_t-seasonals_tmodslen)+(1-α)·s_t-1

α∈(0,1)

在增量计算过程中，可以取最近固定时间范围历史数据作为训练集，例如可以固定获取该时间序列最近7天的特征值作为训练样本。

S106：根据预测值确定异常点。

在得到预测值后，即可根据预测值确定异常点。

具体的，可以先根据预测值计算残差，再利用3-sigma对残差判断，若判断结果为true，确定所述具有周期性的网络安全统计量的异常点。

计算该点残差z-score：

其中残差计算方式如下

此后可以利用3-sigma异常检测，对残差进行判断，当判断结果为true时，确定异常点：

在确认异常点后，可以进行告警，以提醒本领域技术人员及时对该异常点进行处理。

本申请实施例实现了对于时序统计量的周期性筛选，并利用插值填充进行数据预处理，考虑了时序随机扰动对于异常点判定过程中的干扰，对于异常点的定位准确，提高了检测效率，同时本申请采用的异常点检测方法时间复杂度低，适合大规模增量学习。进一步，在本申请实施例的基础上，还可以利用箱线图去除异常数据，以剔除时序噪声，解决现有技术容易受到噪声或者毛刺的影响，收敛较慢从而导致误报的问题。

下面对本申请实施例提供的一种网络中异常点的检测系统进行介绍，下文描述的检测系统与上文描述的的检测方法可相互对应参照。

参见图3，图3为本申请实施例所提供的一种网络中异常点的检测系统结构示意图，本申请还提供一种网络中异常点的检测系统，包括：

获取模块100，用于获取网络安全历史数据的时序统计量；

筛选模块200，用于利用预设周期性度量从所述时序统计量中筛选得到具有周期性的时间序列；

判断模块300，用于判断所述时间序列是否存在缺省值；

插值填充模块400，用于若所述判断模块判读结果为是时，则对所述时间序列进行插值填充，并在插值填充后提取周期性基准值；

预测模块500，用于根据所述周期性基准值得到待检测点的预测值；

异常点确定模块600，用于根据所述预测值确定异常点。

基于上述实施例，作为优选的实施例，还可以包括：

基于上述实施例，作为优选的实施例，所述异常点确定模块600可以包括：

残差计算单元，用于根据所述预测值计算残差；

本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请还提供了一种终端，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述终端还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种网络中异常点的检测方法，其特征在于，包括：

获取网络安全历史数据的时序统计量；

判断所述时间序列是否存在缺省值；

若是，则对所述时间序列进行插值填充，并提取周期性基准值；

根据所述周期性基准值得到待检测点的预测值；

根据所述预测值确定异常点；

利用时间序列分解法提取所述时序统计量的周期成分；

2.根据权利要求1所述的检测方法，其特征在于，获取网络安全历史数据的时序统计量包括：

获取网络安全历史数据的时间序列样本；

删除特征值和为0的周期单元；

3.根据权利要求1所述的检测方法，其特征在于，对所述时间序列进行插值填充之后、提取周期性基准值之前，还包括：

4.根据权利要求1所述的检测方法，其特征在于，根据所述预测值确定异常点包括：

根据所述预测值计算残差；

5.一种网络中异常点的检测系统，其特征在于，包括：

获取模块，用于获取网络安全历史数据的时序统计量；

判断模块，用于判断所述时间序列是否存在缺省值；

异常点确定模块，用于根据所述预测值确定异常点；

其中，所述筛选模块为用于执行如下步骤的模块：

利用时间序列分解法提取所述时序统计量的周期成分；

6.根据权利要求5所述的检测系统，其特征在于，还包括：

7.根据权利要求5所述的检测系统，其特征在于，所述异常点确定模块包括：

残差计算单元，用于根据所述预测值计算残差；

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任一项所述的方法的步骤。

9.一种终端，其特征在于，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1-4任一项所述的方法的步骤。