CN112261063A - 结合深度分层网络的网络恶意流量检测方法 - Google Patents

结合深度分层网络的网络恶意流量检测方法 Download PDF

Info

Publication number
CN112261063A
CN112261063A CN202011251386.5A CN202011251386A CN112261063A CN 112261063 A CN112261063 A CN 112261063A CN 202011251386 A CN202011251386 A CN 202011251386A CN 112261063 A CN112261063 A CN 112261063A
Authority
CN
China
Prior art keywords
network
flow
layer
features
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011251386.5A
Other languages
English (en)
Inventor
潘丽敏
王琛
罗森林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202011251386.5A priority Critical patent/CN112261063A/zh
Publication of CN112261063A publication Critical patent/CN112261063A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Security & Cryptography (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及结合深度分层网络的网络恶意流量检测方法，属于计算机与信息科学技术领域。本发明首先对原始流量包进行特征提取，生成字节表示的向量特征，然后将新生成的特征输入深度分层网络的Text‑CNN网络进行空间特征提取，将输出的空间特征重塑为特征图，输入Bi‑LSTM网络中提取时间特征，最后对深度分层网络进行迭代训练，根据时空特征输出流量的分类结果。本发明使用了深度学习方法，大大提高了流量信息的特征提取效率，而且可以对网络用户产生的原始流量数据进行分析检测，解决了流量数据特征工程丢失信息造成的分类精度和效率降低的问题，简化了通信系统对流量信息的分析过程，满足了大数据环境下的恶意流量检测需求，提高了网络恶意流量的检测效率。

Description

结合深度分层网络的网络恶意流量检测方法
技术领域
本发明涉及结合深度分层网络的网络恶意流量检测方法，属于计算机与信息科学技术领域。
背景技术
互联网的快速发展为我们的生活带来了便利，但与此同时各种网络攻击也频繁出现。网络入侵检测是保护计算机网络安全的重要手段，基于流量统计特征提取的恶意流量检测和分析是网络入侵检测领域的主要分析方法。
到目前为止，现有的恶意流量检测方法大都试图通过复杂的特征工程从流量数据中提取信息。这些特征工程可以提取流量数据的时间特征和空间特征，但特征工程会丢失一些信息或改变流量数据包原有的时间和空间特征，算法通过提取的流量特征，只能利用缺失的流量数据信息进行分类，导致分类精度等指标已经达到瓶颈，难以继续提高。因此，本发明将提供结合深度分层网络的网络恶意流量检测方法，来提高恶意流量的精度和检测效率。
结合深度分层网络的网络恶意流量检测方法需要解决的基本问题是：提高流量数据的特征提取质量和效率，增强算法对流量特征的分析能力和分类精度。综合现有的网络恶意流量检测方法，通常使用方法可归为三类：
1.基于端口的恶意流量检测方法
基于端口的恶意流量检测方法是根据端口号来检测恶意流量。在互联网的早期阶段，用于网络流量的网络协议相对简单，具体的应用程序基本上使用固定的端口号。因此，当一个应用程序受到其他应用程序攻击时，可以根据端口号有效地检测到异常流量包。
然而，随着动态端口分配技术的出现，端口可以很容易地重定向。因此，基于端口的流量检测方法不能充分表达网络的流量属性，流量检测效果往往较差。
2.基于负载的恶意流量检测方法
基于负载的恶意流量检测方法利用应用层协议的信息来表达流量的特征，其中最具代表性的是深度数据包检测(DPI)技术。深度数据包检测技术需要对传输的流量数据进行解密和加密，通过对传输的数据信息进行建模和分析，可以非常有效地检测出恶意流量包。
3.基于统计特征的恶意流量检测方法
基于统计特征的恶意流量检测方法一般采用数据包到达时间、数据包大小以及流量分组字段的统计特征(如平均、最大、最小)来表示流量的属性。利用这些人为设计的特征和机器学习算法来分析和检测恶意流量已经成为相对可靠的方法。
综上所述，现有的恶意流量检测方法大都试图通过复杂的特征工程从流量数据中提取信息，然后对这些时间和空间特征进行分析判别是否为恶意流量。但特征提取会丢失或改变流量数据包原有的时间和空间特征。算法通过提取的流量特征，只能利用缺失的流量数据信息进行分类，因此分类精度等指标已经达到瓶颈，难以继续提高。所以本发明提出结合深度分层网络的网络恶意流量检测方法。
发明内容
本发明的目的是为了解决流量数据特征工程丢失信息造成的分类精度和效率降低的问题，所以提出了结合深度分层网络的网络恶意流量检测方法。
本发明的设计原理为：本发明首先对网络用户产生的原始流量数据包信息进行提取，将数据包信息生成字节表示的向量特征，然后将新生成的特征输入深度分层网络的Text-CNN网络进行空间特征提取，再将输出的特征重塑为特征图，输入Bi-LSTM网络中提取时间特征，最后对深度分层网络进行迭代训练，根据特征输出流量的分类结果。
本发明的技术方案是通过如下步骤实现的：
步骤1，根据原始流量包信息进行特征抽取。
步骤1.1，将具有相同五元组信息的流量包拆分为一个流。
步骤1.2，从每个流中的流量包中提取字节特征。
步骤2，构建深度分层网络的Text-CNN网络提取空间特征。
步骤2.1，将字节特征转化为灰度图像。
步骤2.2，为Text-CNN模型的隐藏层添加卷积层，执行最大池化操作。
步骤2.3，添加全连接层，然后进行dropout操作，得到流量包信息的空间特征。
步骤3，构建深度分层网络的Bi-LSTM网络提取时间特征。
步骤3.1，将Text-CNN模型提取的时间特征重塑为特征图。
步骤3.2，为Bi-LSTM模型的cell添加神经元。
步骤3.3，添加全连接层进行dropout操作输出流量包信息的时间特征。
步骤3.4，添加softmax层输出流量属于每个类的概率。
步骤4，训练深度分层网络。
步骤4.1，添加均方误差损失函数。
步骤4.2，对混合模型进行训练迭代，使用梯度下降优化算法更新权重和偏差。
有益效果
相比于基于端口、负载以及统计特征的任意一种恶意流量检测方法，本发明使用了深度学习方法，大大提高了流量信息的特征提取效率，而且可以对网络用户产生的原始流量数据进行分析检测，解决了流量数据特征工程丢失信息造成的分类精度和效率降低的问题，简化了通信系统对流量信息的分析过程，满足了大数据环境下的恶意流量检测需求，提高了网络恶意流量的检测效率。
附图说明
图1为本发明结合深度分层网络的网络恶意流量检测方法的原理图。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合实例对本发明方法的实施方式做进一步详细说明。
具体流程为：
步骤1，根据原始流量包信息进行特征提取。
步骤1.1，从原始流量包中将具有相同协议类型、源IP、源端口、目的IP、目的端口属性的流量包拆分为一个流。
步骤1.2，从每个流中提取10个流量包，对于每个流量包，从网络层取前20字节,传输层取前20字节，应用层取前120个字节作为流量包特征，如果每层字节数少于要提取的数目，缺少的字节使用0填充；若某个流中流量包数目不足10个，用第一个流的特征填充；共从每个流中提取1600维特征的原始数据。
步骤2，构建深度分层网络的Text-CNN网络提取空间特征。
步骤2.1，将1600维特征转换为40*40的灰度图像作为Text-CNN网络输入层的输入。
步骤2.2，为Text-CNN网络的隐藏层添加卷积层，执行最大池化操作，具体参数如下：隐藏层使用两个卷积层和两个最大池化层，其中，第一个卷积层使用16个4*4的卷积核，然后执行最大池化，第二层卷积层使用32个3*3的卷积核，然后执行最大池化，隐藏层使用relu激活函数进行变换，然后进行最大池化，将原来40*40的灰度图像变成了4*4大小并具有16通道的图像，然后对每张4*4*16的图像进行平化操作，得到一个256维的向量，发送到CNN网络的输出层。
步骤2.3，为Text-CNN网络添加全连接层，全连接层使用1600个神经元，然后进行dropout操作，随机失活部分神经元，得到流量包信息的空间特征。
步骤3，构建深度分层网络的Bi-LSTM网络提取时间特征。
步骤3.1，将Text-CNN模型提取的1600维空间特征重塑为40*40的特征图。
步骤3.2，为Bi-LSTM网络的cell添加神经元，Bi-LSTM网络使用两层单元进行时间特征提取，每个cell使用256个隐藏层单元，每层的cell激活功能使用Sigmoid函数进行非线性运算。
步骤3.3，为Bi-LSTM网络添加全连接层，全连接层中的神经元数量为11个，与流量分类的类别数量相同，在全连接层进行dropout操作输出流量包信息的时间特征。
步骤3.4，为Bi-LSTM网络添加softmax层输出流量属于每个类的概率。
步骤4，训练分层网络混合模型。
步骤4.1，添加均方误差损失函数
Figure BDA0002767902780000041
yk是网络的输出，tk是监督数据。
步骤4.2，对混合模型进行训练迭代，使用梯度下降优化算法更新权重和偏差。
测试结果：实验结合深度分层网络的网络恶意流量检测方法，本发明在对网络用户产生的原始流量数据进行了分析与检测，数据集采用CICID2017和CTU数据集，采用Text-CNN网络和Bi-LSTM网络组成的深度分层网络对流量包进行了时空特征提取并分类，提高了流量数据的特征提取效率，有效的实现了网络恶意流量的自适应检测。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.结合深度分层网络的网络恶意流量检测方法，其特征在于所述方法包括如下步骤：
步骤1，对用户产生的原始流量包进行数据提取，从原始流量包中将具有相同协议类型、源IP、源端口、目的IP、目的端口属性的流量包拆分为一个流，在每个流中提取10个流量包，每个流量包中提取160个字节作为流量包特征，共从每个流中提取1600维特征的原始数据；
步骤2，构建深度分层网络，深度分层网络由Text-CNN网络和Bi-LSTM网络两层网络组成，第一层Text-CNN网络首先将步骤1中提取的流的1600维字节特征转换为40*40灰度图像作为Text-CNN网络输入层的输入，提取流的空间特征，第二层Bi-LSTM网络将Text-CNN模型提取的空间特征重塑为40*40的特征图，提取流的时间特征；
步骤3，将步骤2中的两个网络同时训练成混合网络，添加均方误差损失函数，对混合网络进行训练迭代，使用梯度下降优化算法更新权重和偏差，完成迭代后网络能够自动提取流的时空特征并对流进行分类。
2.根据权利要求1所述的结合深度分层网络的网络恶意流量检测方法，其特征在于：步骤1中对原始流量包进行特征提取，对于每个流量包，从网络层取前20字节,传输层取前20字节，应用层取前120个字节作为流量包特征，如果每层字节数少于要提取的数目，缺少的字节用0填充；若某个流中流量包数目不足10个，用第一个流的特征填充；从每个流中一共提取1600维特征的原始数据。
3.根据权利要求1所述的结合深度分层网络的网络恶意流量检测方法，其特征在于：步骤2中构建的深度分层网络由两层网络构成，第一层Text-CNN网络输出的是1*1600维的空间特征，第二层Bi-LSTM网络将Text-CNN网络输出的1600维空间特征重塑为40*40的特征图，将特征图作为第二层Bi-LSTM网络的输入，提取流的时间特征，Bi-LSTM网络的最后一层全连接层中的神经元数量为11个，与流量分类的类别数量相同，最终深度分层网络输出流量属于每个类的概率。
CN202011251386.5A 2020-11-09 2020-11-09 结合深度分层网络的网络恶意流量检测方法 Pending CN112261063A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011251386.5A CN112261063A (zh) 2020-11-09 2020-11-09 结合深度分层网络的网络恶意流量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011251386.5A CN112261063A (zh) 2020-11-09 2020-11-09 结合深度分层网络的网络恶意流量检测方法

Publications (1)

Publication Number Publication Date
CN112261063A true CN112261063A (zh) 2021-01-22

Family

ID=74265199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011251386.5A Pending CN112261063A (zh) 2020-11-09 2020-11-09 结合深度分层网络的网络恶意流量检测方法

Country Status (1)

Country Link
CN (1) CN112261063A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112804253A (zh) * 2021-02-04 2021-05-14 湖南大学 一种网络流量分类检测方法、系统及存储介质
CN113923026A (zh) * 2021-10-11 2022-01-11 广州大学 一种基于TextCNN的加密恶意流量检测模型及其构建方法
CN117294486A (zh) * 2023-09-18 2023-12-26 广州大学 一种基于图嵌入的恶意流量检测方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108200006A (zh) * 2017-11-21 2018-06-22 中国科学院声学研究所 一种基于层次化时空特征学习的网络流量分类方法及装置
US20180288086A1 (en) * 2017-04-03 2018-10-04 Royal Bank Of Canada Systems and methods for cyberbot network detection
WO2019228613A1 (en) * 2018-05-29 2019-12-05 Huawei Technologies Co., Ltd. Device and method for detecting malicious domain names
CN110730140A (zh) * 2019-10-12 2020-01-24 西安电子科技大学 基于时空特性相结合的深度学习流量分类方法
CN110896381A (zh) * 2019-11-25 2020-03-20 中国科学院深圳先进技术研究院 一种基于深度神经网络的流量分类方法、系统及电子设备
CN111428789A (zh) * 2020-03-25 2020-07-17 广东技术师范大学 一种基于深度学习的网络流量异常检测方法
WO2020150453A1 (en) * 2019-01-20 2020-07-23 Helios Data Inc. Classification of network packet data
CN111447190A (zh) * 2020-03-20 2020-07-24 北京观成科技有限公司 一种加密恶意流量的识别方法、设备及装置
CN111818052A (zh) * 2020-07-09 2020-10-23 国网山西省电力公司信息通信分公司 基于cnn-lstm的工控协议同源攻击检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180288086A1 (en) * 2017-04-03 2018-10-04 Royal Bank Of Canada Systems and methods for cyberbot network detection
CN108200006A (zh) * 2017-11-21 2018-06-22 中国科学院声学研究所 一种基于层次化时空特征学习的网络流量分类方法及装置
WO2019228613A1 (en) * 2018-05-29 2019-12-05 Huawei Technologies Co., Ltd. Device and method for detecting malicious domain names
WO2020150453A1 (en) * 2019-01-20 2020-07-23 Helios Data Inc. Classification of network packet data
CN110730140A (zh) * 2019-10-12 2020-01-24 西安电子科技大学 基于时空特性相结合的深度学习流量分类方法
CN110896381A (zh) * 2019-11-25 2020-03-20 中国科学院深圳先进技术研究院 一种基于深度神经网络的流量分类方法、系统及电子设备
CN111447190A (zh) * 2020-03-20 2020-07-24 北京观成科技有限公司 一种加密恶意流量的识别方法、设备及装置
CN111428789A (zh) * 2020-03-25 2020-07-17 广东技术师范大学 一种基于深度学习的网络流量异常检测方法
CN111818052A (zh) * 2020-07-09 2020-10-23 国网山西省电力公司信息通信分公司 基于cnn-lstm的工控协议同源攻击检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUQI YU; GUANNAN LIU; HANBING YAN; HONG LI; HONGCHAO GUAN: "Attention-Based Bi-LSTM Model for Anomalous HTTP Traffic Detection", 《2018 15TH INTERNATIONAL CONFERENCE ON SERVICE SYSTEMS AND SERVICE MANAGEMENT (ICSSSM)》 *
王伟: "基于深度学习的网络流量分类及异常检测方法研究", 《中国博士学位论文全文数据库》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112804253A (zh) * 2021-02-04 2021-05-14 湖南大学 一种网络流量分类检测方法、系统及存储介质
CN113923026A (zh) * 2021-10-11 2022-01-11 广州大学 一种基于TextCNN的加密恶意流量检测模型及其构建方法
CN117294486A (zh) * 2023-09-18 2023-12-26 广州大学 一种基于图嵌入的恶意流量检测方法及系统

Similar Documents

Publication Publication Date Title
CN111885035B (zh) 一种网络异常检测方法、系统、终端以及存储介质
CN112738015B (zh) 一种基于可解释卷积神经网络cnn与图检测的多步攻击检测方法
CN112261063A (zh) 结合深度分层网络的网络恶意流量检测方法
Peng et al. Network intrusion detection based on deep learning
CN112804253B (zh) 一种网络流量分类检测方法、系统及存储介质
CN113079143A (zh) 一种基于流数据的异常检测方法及系统
CN113542259B (zh) 基于多模态深度学习的加密恶意流量检测方法及系统
CN113364787B (zh) 一种基于并联神经网络的僵尸网络流量检测方法
CN109639734B (zh) 一种具有计算资源自适应性的异常流量检测方法
CN110647745A (zh) 基于深度学习的恶意软件汇编格式的检测方法
CN110222795B (zh) 基于卷积神经网络的p2p流量的识别方法及相关装置
CN115277888B (zh) 一种移动应用加密协议报文类型解析方法及系统
CN112491894A (zh) 一种基于时空特征学习的物联网网络攻击流量监测系统
CN112995150A (zh) 一种基于cnn-lstm融合的僵尸网络检测方法
CN113901448A (zh) 基于卷积神经网络和轻量级梯度提升机的入侵检测方法
CN114915575B (zh) 一种基于人工智能的网络流量检测装置
CN112884121A (zh) 基于生成对抗深度卷积网络的流量识别方法
Zhang et al. Detection of android malware based on deep forest and feature enhancement
Wang et al. An evolutionary computation-based machine learning for network attack detection in big data traffic
Said et al. CNN-BiLSTM: A Hybrid Deep Learning Approach for Network Intrusion Detection System in Software Defined Networking with Hybrid Feature Selection.
Zhang et al. A Step-Based Deep Learning Approach for Network Intrusion Detection.
CN117155595A (zh) 一种基于视觉注意力网络的恶意加密流量检测方法及模型
CN114358177B (zh) 一种基于多维度特征紧凑决策边界的未知网络流量分类方法及系统
Zhao et al. Intrusion detection model of Internet of Things based on LightGBM
CN113595987B (zh) 一种基于基线行为刻画的通联异常发现方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210122