CN108809948B

CN108809948B - 一种基于深度学习的异常网络连接检测方法

Info

Publication number: CN108809948B
Application number: CN201810487746.8A
Authority: CN
Inventors: 马卫; 王利明; 杨婧
Original assignee: Institute of Information Engineering of CAS
Current assignee: Institute of Information Engineering of CAS
Priority date: 2018-05-21
Filing date: 2018-05-21
Publication date: 2020-07-10
Anticipated expiration: 2038-05-21
Also published as: CN108809948A

Abstract

本发明涉及一种基于深度学习的异常网络连接检测方法，对每个网络流记录提取网络连接标识字段，并根据网络连接标识字段，对所有网络流记录进行聚合；构建一个基于深度神经网络的网络连接模型；构建一个异常网络连接检测器，使用网络连接模型的输出作为输入，与网络连接模型同步进行训练，得到对网络连接的检测结果；使用数据集对网络连接模型和异常网络连接检测器进行调参优化与误报控制，如果达到预期效果则训练结束并保存网络参数及结构；将待检测网络连接记录输入训练完成的网络连接模型和异常网络连接检测器的组合模型，输出异常网络连接记录。本发明能发现异常网络连接，且不依赖于人工建立的网络连接模型。

Description

一种基于深度学习的异常网络连接检测方法

技术领域

本发明涉及一种基于深度学习的异常网络连接检测方法，属于网络安全技术领域。

背景技术

随着计算机技术和互联网的迅速发展，互联网越来越成为一种人们日常生活工作中不可或缺的工具，其正在深刻影响着人类社会的方方面面。与此同时，互联网面临的网络安全问题也是前所未有的，各种攻击事件也愈发频繁和严重，人们在使用互联网过程中的异常网络连接也变得越来越常见。这些异常网络连接会导致诸如网页打开速度缓慢、网页异常跳转甚至个人信息泄露等严重信息安全问题。因此对异常网络连接进行快速有效地检测显得尤为重要。

对异常网络连接进行检测方法的主要流程一般包括收集相关网络连接数据并构建训练数据集，人工建立相关行为模型或提取特征组，训练检测模型，最后利用训练好的检测模型进行异常网络连接的检测。经过对现有技术的检索发现，中国专利文献号CN106452955A公开(公告)日2017.02.22，公开了一种异常网络连接检测方法：具体包括基于信息系统网络连接样本建立信息系统业务访问模型；所述信息系统业务访问模型包括客户端正常行为模型、服务器正常行为模型和客户端业务访问模式模型；基于所述信息系统业务访问模型检测异常网络连接。但该方法需要人工建立三个访问模型，这对安全研究人员具有很高的要求，这些行为模型是完全基于安全人员工程经验的，过程十分麻烦，并且模型只适用于该场景，一旦场景发生变化模型效果就会大打折扣。

中国专利文献号CN103944757A公开(公告)日2014.07.23，公开了一种网络异常检测的方法和装置，该方法包括：获取多个检测项，其中，多个检测项包括浏览器的动态链接库文件，且多个检测项还包括网络连接状态信息、网络配置信息、浏览器配置信息中的一种或多种；分别提取多个检测项的特征信息；以及根据多个检测项分别对应的特征信息对多个检测项进行检测以获取至少一个异常项。该方法虽然能够检测和分析网络异常，但是需要获取多个检测项，并且同时需要人工提取多个检测项的特征信息，这是非常耗时且麻烦的，而且提取的特征直接影响最终的检测效果，方法的鲁棒性也不够好。

总之，现有方法普遍需要人工特征抽取或建立复杂模型，该过程麻烦且耗时，而且所构建的模型鲁棒性不够好，应用场景的局限性较强，可移植性较低。

由于深度学习模型强大的特征抽取和建模能力，和人工建模或特征抽取相比具有极大的优势，因此针对异常网络连接检测，提出一种基于深度学习的异常网络连接检测方法。

发明内容

本发明技术解决问题：解决现有技术中异常网络连接检测中的不足，提供一种基于深度学习的异常网络连接检测方法，采用深度学习方法作为异常网络连接检测方法，直接基于网络流历史数据对网络连接模式进行建模，能够在保证模型训练和检测效果的前提下，具有不用人工对行为模式进行建模、鲁棒性好、易于更新等优点。

为实现上述目的，本发明采取以下技术方案：

(1)数据清洗与分割。对具有标签的输入网络流记录(Flow)数据进行数据清洗，得到可用的网络流记录数据集，并将数据集拆分为训练数据集和验证数据集；

(2)特征向量生成。对所有网络流记录进行特征抽取，并对特征进行标准化处理，对每个网络流记录生成一个特征向量；

(3)网络连接聚合。对每个网络流记录提取网络连接标识字段，并根据网络连接标识字段，对所有网络流记录进行聚合，生成数据集中的所有网络连接(Connection)，每个网络连接由(2)中的特征向量构成的一个特征向量序列进行描述；

(4)网络连接模型构建与训练。构建一个基于深度神经网络的网络连接模型，使用训练数据集中的每个网络连接的特征向量序列，对该网络连接模型进行训练，完成对正常网络连接模式和对异常网络连接模式的建模，得到对网络连接的向量表达形式；

(5)异常网络连接检测器构建与训练。构建一个异常网络连接检测器，使用网络连接模型的输出作为输入，与网络连接模型同步进行训练，完成对正常网络连接和异常网络连接的检测，得到对网络连接的检测结果；

(6)模型验证与调参优化。使用验证数据集中的每个网络连接的特征向量序列，对异常网络连接检测器进行测试，根据异常网络连接检测器的检测效果，对网络连接模型和异常网络连接检测器进行调参优化与误报控制，如果达到预期效果则训练结束并保存网络参数及结构；

(7)异常网络连接检测。异常网络连接检测时，待检测网络流数据经过数据清洗、特征向量生成、网络连接聚合后得到每个网络连接的特征向量序列，将每个网络连接的特征向量组输入训练完成的异常网络连接检测器进行异常网络连接检测，最终输出异常网络连接记录。

进一步地，所述数据清洗中数据清洗操作包括去除重复网络数据流记录和删除格式非法网络数据流记录。

进一步地，所述特征向量生成中特征抽取的特征包括开始时间、持续时间、传输数据包总量、传输数据总大小、源IP发送数据总大小。

进一步地，所述网络连接聚合中网络连接标识字段包括源IP、目的IP、目的端口和所用协议。

进一步地，所述网络连接聚合中的特征向量序列指由一组特征向量构成的一个序列。

进一步地，所述网络连接模型构建与训练中基于深度神经网络的网络连接模型使用深度循环神经网络。

进一步地，所述网络连接聚合中聚合得到的不同的网络连接，其特征向量序列中包含的特征向量个数不一定相同。因此本发明提供了一种对不定长输入序列的方法，解决因此导致的模型不收敛情况。所述对不定长序列处理的方法包括：

1)将所有网络连接的特征向量序列统一为一个指定的最大长度的特征向量序列；

2)在网络连接模型中对统一序列长度后的特征向量序列进行还原；

3)对深度神经网络进行权值初始化，并使用还原后的特征向量序列进行模型训练。

本发明由于采取以上技术方案，其具有以下优点：

(1)省去了人工对网络连接模式进行建模的过程，直接使用深度学习技术进行端到端的行为模型建模；

(2)可对未知或高级复杂网络异常行为模式进行建模并检测；

(3)模型对网络连接模式的鲁棒性较好，可以应对一定程度的变化，同时具有较低的误报率；

(4)模型易于更新，对于具有全新行为模式的网络，本发明只需对深度学习模型重新训练即可，相比于现有方法更加便捷。

附图说明

图1示出本发明提供的一种基于深度学习的异常网络连接检测方法的总体流程图；

图2示出本发明实施例提供的一种基于深度学习的异常网络连接检测方法的总体框架图；

图3示出本发明实施例提供的数据结构操作变换示意图；

图4示出本发明实施例所用基于深度神经网络的网络连接模型和异常网络连接检测器组合模型结构示意图。

具体实施方式

为了使本发明的目标、技术方案及优点更加清楚明白，以下将结合本发明实施例中的附图对本发明进行进一步详细说明。应当理解为，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，本发明基于深度学习的异常网络连接检测方法包括：

步骤1，数据清洗与分割。本发明首先对网络数据流记录进行数据清洗操作，包括：

(1)去除重复的网络数据流记录；

(2)删除格式非法网络数据流记录，得到可用的网络数据流样本；

(3)将数据集拆分为训练数据集和测试数据集，其中训练数据集和测试数据集样本数量比为8:2。

其中，在本发明一实施例中，最终得到的网络数据流记录样例数据见表1。如表1示，给出了两个数据流记录Flow 1和Flow 2，分别为正常网络连接数据流记录和异常网络连接数据流记录。

表1网络数据流记录样例数据

步骤2，特征向量生成：

(1)对经过数据清洗与分割后的所有数据流记录抽取其特征向量Feature，特征向量包括开始时间(StartTime)、持续时间(Dur)、传输数据包总量(TotPkts)、传输数据总大小(TotBytes)、源IP发送数据总大小(SrcBytes)共五维特征；其中第i个数据流记录对应一个特征向量Feature i，且Feature i＝[StartTime i,Dur i,TotPkts i,TotBytes i,SrcBytes i]；

(2)并对得到的所有特征值使用Min-Max Normalization(最小-最大归一化)方法

进行归一化操作。

步骤3，网络连接聚合。对每一个数据流记录抽取网络连接标识字段ConnKey，其中ConnKey包括源IP(SrcAddr)、目的IP(DstAddr)、目的端口(Dport)和所用协议(Proto)共四个字段；并根据ConnKey对所有网络流记录进行聚合操作，将所有ConnKey相同的网络流数据记录特征归为一组，最终得到所有网络连接Connection。

在本发明一实施例中，步骤2和步骤3操作过程中的数据操作如图3所示，数据流记录Flows经过步骤2得到每个数据流记录的特征向量Feature，再经过步骤3得到每个网络连接Connection的特征向量序列。

步骤4，网络连接模型构建与训练。构建基于GRU单元的深度循环神经网络模型对网络连接模式进行建模，将训练集的网络连接样本输入到深度神经网络进行模型训练，模型使用对数损失函数、使用Adam(Adaptive Moment Estimation)最优化算法进行参数最优化，最终得到深度神经网络网络连接模型，完成对正常网络连接模式和对异常网络连接模式的建模，得到对网络连接的向量表达形式。其中模型如果训练轮数过长将会导致过拟合，即模型检测效果下降，所用深度神经网络通过加入BatchNormal ization层和使用EarlyStopping(早停法)防止这种情况的发生。

步骤5，基于步骤4中深度神经网络网络连接模型的输出，构建异常网络连接检测器，与深度神经网络模型同步使用Adam算法进行训练，完成对正常网络连接模式和异常网络连接模式的检测。其中，在本发明一实施例中异常网络连接检测器的激活函数Activation使用sigmoid函数，且效果优于tanh函数和relu函数。并且每次梯度下降过程所用训练样本个数为32。

图4示出本发明的一个实施例所用的由基于深度神经网络的网络连接模型和异常网络连接检测器构成的组合模型的结构示意图。组合模型共7层，每层在整个建模检测过程中都完成不同的功能。第一层Masking对特征向量的补全部分进行过滤，完成对不定长输入序列的支持，第二层GRU层对网络连接模式进行时序建模，接下来的BatchNormal ization层可以防止模型过拟合、降低模型最终误报结果并加快模型训练速度，之后的GRU层和BatchNormal ization为了加强上述效果，接着是异常网络连接检测器，该检测器由只有一个节点的全连接层Dense层，最终结果经过一个激活函数Activation层得到属于异常网络连接记录概率。

在本发明的一个实施例中，所用基于循环神经网络的网络连接模型所用参数如下表2所示。

表2

步骤6，模型验证与调参优化。在每一轮迭代完成后，使用测试数据集中的网络连接数据，对异常网络连接检测器进行检测效果评估，得到其检测结果的真正类率TPR和假正类率FPR等指标，如果达到预期效果则训练结束并保存网络参数及结构，否则继续进行迭代训练或对深度神经网络连接模型进行结构改进后再进行训练。

在本发明的一个实施例中，使用的所有调参优化包括但不限于：使用多层堆栈GRU结构、模型损失函数使用对数损失函数、模型优化算法使用Adam最优化算法、加入批规范化层BatchNormalization。

步骤7，异常网络连接检测时，对新的网络流数据经过数据预处理、特征抽取与标准化、网络连接聚合得到每个网络连接的特征向量组，将每个网络连接的特征向量组输入训练完成的异常网络连接检测系统进行异常网络连接检测，最终系统输出异常网络连接记录。

图2示出本发明实施例提供的一种异常网络连接分析方法的系统总体框架图。如图2所示，整个系统从数据流的角度看，分为原始数据处理阶段和模型训练与检测阶段；从模型的角度看则分为模型训练阶段和使用模型进行检测阶段，其中两个阶段均需要进行特征向量生成、网络连接聚合等操作。

图3示出本发明实施例提供的数据结构操作变换示意图。如图3所示，整个检测过程中的数据结构变化为数据流记录Flows被转换为数据流记录特征向量Feature，而数据流记录特征向量又被转换为网络连接Connection的特征向量序列。其中数据流记录和数据流记录条特征向量是一一对应的，但不同的网络连接Connection的特征向量序列中可能包含不同的数据流记录特征向量。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims

1.一种深度学习的异常网络连接检测方法，其特征在于，包括以下步骤：

第一步，对输入的原始网络流记录数据进行数据清洗，得到干净网络流记录数据集，并将所述干净网络流记录数据集拆分为训练数据集和验证数据集；

第二步，对所述干净网络流记录数据集进行特征抽取，并对抽取后的特征进行标准化处理，从而对网络流记录数据集中的每个网络流记录生成特征向量；

第三步，对所述干净网络流记录数据集中的网络流记录提取网络连接标识字段，并根据所述网络连接标识字段对网络流记录进行聚合，生成所述网络流记录数据集中的所有网络连接，所述网络连接由第二步中特征向量构成的特征向量序列进行描述；

第四步，构建网络连接模型，使用第三步中的特征向量序列对网络连接模型进行训练，完成对正常网络连接模式和异常网络连接模式的建模，网络连接模型输出最终输出为网络连接的向量表达形式；

第五步，构建一个异常网络连接检测器，使用网络连接模型的输出作为输入，与网络连接模型同步进行训练，完成对正常网络连接和异常网络连接的检测，得到网络连接的检测结果；

第六步，使用验证数据集中的网络连接特征向量序列对异常网络连接检测器进行测试，根据异常网络连接检测器的检测效果，对网络连接模型和异常网络连接检测器进行调参优化与误报控制，如果达到期望检测效果，则训练结束并保存网络参数及结构，从而完成异常网络连接检测；

所述第三步中，所述特征向量序列指由一组特征向量构成的一个序列；

所述特征向量序列中包含的特征向量个数不一定相同，对于不定长的特征向量序列输入，导致的模型不收敛情况，对不定长的特征向量序列处理的方法包括：

1）将所有网络连接的特征向量序列统一为一个指定的最大长度的特征向量序列；

2）在网络连接模型中对统一序列长度后的特征向量序列进行还原；

3）对深度神经网络进行权值初始化，并使用还原后的特征向量序列进行模型训练；

所述第四步中，所述网络连接模型构建与训练是基于深度神经网络的网络连接模型，所述深度神经网络的网络连接模型采用深度循环神经网络模型；

所述深度循环神经网络模型由Masking层、两层GRU层加BatchNormalization层的组合层构成，用于完成对网络连接模式的建模。

2.根据权利要求1所述的一种深度学习的异常网络连接检测方法，其特征在于：所述第一步中，数据清洗包括去除重复网络数据流记录和删除格式非法网络数据流记录。

3.根据权利要求1所述的一种深度学习的异常网络连接检测方法，其特征在于：所述第二步中，生成特征向量中的特征包括：开始时间、持续时间、传输数据包总量、传输数据总大小、源IP发送数据总大小。

4.根据权利要求1所述的一种深度学习的异常网络连接检测方法，其特征在于：所述第三步中，所述对网络流记录进行聚合中，网络连接标识字段包括源IP、目的IP、目的端口和所用协议。

5.根据权利要求1所述的一种深度学习的异常网络连接检测方法，其特征在于：所述第三步中，所述特征向量序列中包含的特征向量个数不相同。

6.根据权利要求1所述的一种深度学习的异常网络连接检测方法，其特征在于：所述第五步中，所述异常网络连接检测器模型由全连接层加Sigmoid层构成，用于完成对异常网络连接的识别。