CN110730140B - 基于时空特性相结合的深度学习流量分类方法 - Google Patents

基于时空特性相结合的深度学习流量分类方法 Download PDF

Info

Publication number
CN110730140B
CN110730140B CN201910967739.2A CN201910967739A CN110730140B CN 110730140 B CN110730140 B CN 110730140B CN 201910967739 A CN201910967739 A CN 201910967739A CN 110730140 B CN110730140 B CN 110730140B
Authority
CN
China
Prior art keywords
flow
data
traffic
deep learning
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910967739.2A
Other languages
English (en)
Other versions
CN110730140A (zh
Inventor
顾华玺
魏雯婷
薛智浩
曾祎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910967739.2A priority Critical patent/CN110730140B/zh
Publication of CN110730140A publication Critical patent/CN110730140A/zh
Application granted granted Critical
Publication of CN110730140B publication Critical patent/CN110730140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/028—Capturing of monitoring data by filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0245—Filtering by information in the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于时空特性相结合的深度学习流量分类方法，主要解决现有技术检测准确率低的问题。其实现方案是：1)采集并标注原始流量负载数据；2)基于原始流量负载数据，生成预处理后的流量图集；3)利用流量图集训练基于时空特性相结合的深度学习模型；4)用新采集并生成的流量数据验证训练好的深度学习模型，合格后将模型作为流量分类器部署于真实网络结点；5)对真实网络环境中的流量进行解析分类并标注。本发明构建的模型利用了流量数据的时空特性，提高了流量分类的准确率，且减少分类器占用的资源，能满足当前网络环境下流量分类的需求，可应用于网络边缘节点中实现加密流量识别和恶意流量检测。

Description

基于时空特性相结合的深度学习流量分类方法
技术领域
本发明属于计算机网络技术领域，尤其涉及一种流量分类方法，可应用于网络边缘节点中，实现加密流量识别和恶意流量检测。
背景技术
当今网络流量环境日益复杂，如何继续保持高效快捷的恶意流量检测成为当今网络环境下一大挑战。流量识别或恶意流量检测的本质皆为分类问题，且传统的流量分类方法，如基于端口号或深度包检测技术，皆无法很好的在当今网络环境下满足任务需求；基于传统机器学习的方法也被用于应对加密流量识别及恶意流量监测，但繁杂的人为选取特征以及标记特征库这一步骤涉及人工成本和隐私信息等问题，使得此类方法的泛化能力受到了制约；近些年刚刚兴起的基于深度学习的方法很好的解决了前人方法中的不足，但大多只利用了原始流量信息中时间或空间单一维度的信息，使得分类器的性能受到了制约，尤其是在应对同时解析加密流量和恶意流量检测任务时，很容易在训练时遇到瓶颈。参上，如何设计一个可以同时利用时空特性的深度学习分类器成为一个核心问题。
上海交通大学邹福泰等人在其申请的专利文献“一种基于深度学习的加密恶意流量的检测系统和方法”(申请号201811244932.5申请日2018.10.24申请公布号：CN109104441A)中公开了一种基于深度学习的加密恶意流量检测系统。该方法的具体步骤是，第一步：通过流量分析软件对加密流量数据进行分析，获得三个日志文件，连接并获得一系列的聚合数据；第二步：从上述的聚合数据中提取一系列的特征数据；第三步：利用xgboost算法，对第二步中的特征数据进行训练，获得第一模型；第四步：对于每条流量聚合的所有server name，利用word2vec训练出一个词向量转换模型，然后转换成词向量矩阵；第五步：将server name转换成词向量矩阵后，用LSTM进行训练，获得第二模型；第六步：利用数据包的payload中的特征，构建流量图，获得第三模型；第七步：将获得的三种模型，以不同比例进行加权，获得最终的恶意流量概率。该方法存在的不足之处是，在第七步获得最终恶意流量概率时需要将三种模型以不同比例进行加权，但对于如何分配三种模型的加权比例，该方法并没有明确指出，而在实际应用过程中，传统的人为干涉加权决策会破坏深度学习的端对端结构，从而削减了深度学习本身的自学习能力；此外，该方法虽然用到了xgbootst，CNN,LSTM三个模型,但是也只是简单的合并其分类概率，并没有完全利用到流量的时空特征来实现分类。综上，因此该方法在实现加密恶意流量检测时具有很大的局限性。
中国科学院声学研究所在其申请的专利文献“一种基于表征学习的网络流量分类的方法及装置”(申请号：201711189690申请日：2018-06-15申请公布号：CN201711189690.XA)中公开了一种基于表征学习的网络流量分类的方法及装置。该方法的具体步骤是，第一步：将获取到的网络流量数据进行预处理，其中包括将获取到的网络流量数据进行流量切分以及将切分后的流量数据的长度进行统一，并将经过切分和长度统一处理后的网络流量数据进行编码,生成特定格式的数据；第二步：对预处理后的网络流量数据使用表征学习中的卷积神经网络算法进行特征提取，将所述网络流量数据生成网络流向量；第三步：根据所述网络流向量对所述网络流量数据进行分类,可实现对网络流量的分类。该方法存在的不足之处是，只结合了流量所有的空间特性，而对于流量本身时序特性的利用有一定的缺失，使其在分类中准确率较低，容易出现误判；该方法需要人为对流量的特征进行提取，其所需要耗费的人工和时间成本都比较大，无法做到端到端的网络流量分类。综上，该方法在实现加密恶意流量检测时具有很大的局限性。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于时空特性相结合的深度学习流量分类方法，以提高流量分类的准确率，减少分类器占用的资源，满足当前网络环境下流量分类的需求。
为实现上述目的，本发明的技术方案包括如下步骤：
(1)采集并标注原始网络流量负载数据，得到经过标注的网络流量负载数据：
(1a)从纯净网络节点处采集网络流量负载数据，并将其按照加密流量，未加密流量和恶意访问流量这三类进行分类，其中加密流量按照互联网中六大类应用进行细分标注，即Email、Chat、File、P2P、Streaming、和VoIP；
(1b)将本次采集的网络流量负载数据、以往时间点数据与预先构建的数据库进行随机混合，得到经过标注的网络流量负载数据库；
(2)基于经过标注的网络流量负载数据库，生成预处理后的流量图集：
(2a)将连续的网络流量利用抓包工具切分，以产生pcap格式的数据包，并存储；
(2b)对数据包进行协议除杂，即删除数据包内能直接反映流量服务类型的TCP协议和DCP协议相关数据，此部分数据在恶意访问流量或加密流量中为干扰项，在深度学习模型中会干扰模型的信息提取；
(2c)对数据包进行物理信息除杂，即删除物理地址相关信息，以避免深度学习模型误认为物理地址为某种服务相关的识别特征从而产生误分类；
(2d)删除空白数据包和重复的数据包，以避免对深度学习训练产生干扰；
(2e)统一数据包流量长度为900字节，即对超过900字节的流量包进行截取，不足900字节的流量包用0x00进行补齐；
(2f)将统一长度后的数据包做可视化处理，即将每个流量包转换为30*30大小的流量图，并最终将所有处理过的数据包合并为一个流量图集；
(3)构建依次由第一卷积层、第一局部归一化层、第二卷积层、第二局部归一化层、全连接层、LSTM层和softmax层连接组成的深度学习模型；
(4)对深度学习模型进行训练：
(4a)设置训练循环次数R；
(4b)将混合后的流量图集依次输入到第一卷积层、第一局部归一化层、第二卷积层和第二局部归一化层，以学习流量的空间特性，并对异常值进行归一化处理；
(4c)将(4b)处理过的数据输入到全连接层中，转换为LSTM模型可以接收的数据形式；
(4d)将(4c)所得的数据输入到LSTM层中，以学习流量的时间特性；
(4e)将(4d)所得的数据输入到softmax层，直接输出分类结果，即给出原始网络流量负载数据的标签；
(4f)根据(4e)得到的标签与训练集中的真实标签差异修改各网络层的权重及偏差；
(4g)重复(4b)-(4f)，直到达到训练循环次数R，得到一种训练好的深度学习模型；
(5)对训练好的深度学习模型进行验证与真实网络结点部署：
(5a)按照真实网络分类的精度需求设置合格率P；
(5b)按照(1)-(2)的步骤，重新采集原始网络流量负载数据并生成流量图集；
(5c)将(5b)中生成的流量图集输入训练好的深度学习模型，得到分类结果；
(5d)将(5c)的分类结果与真实标签进行比较，得到正确样本数，得到深度学习模型分类结果的正确率A：
若A＞P，即为合格，此时将模型作为流量分类器部署于真实网络结点；
否则，重新进行步骤(1)-(4)；
(6)对真实网络中的加密流量进行分类，将经步骤(2)预处理过的真实网络流量图传入流量分类器，将流量分为恶意流量、普通流量和六大类加密流量，并按照分类结果进行标注，针对其中的普通流量，调用DPI工具和端口号，直接标注流量服务类型；
(7)保存部分采集的数据作为已有数据，用于下时间点对深度学习模型的更新。
本发明与现有技术相比具有以下优点：
第一，由于本发明基于深度学习，其端到端的结构规避了人为选取标记特征的繁杂工序，避开了涉及隐私的信息，相对于传统的方法以及基于机器学习的方法，不仅节省了人工和时间成本，而且具有更好的泛化能力和适用性；
第二，本发明利用CNN和LSTM两种不同的深度学习网络分别从空间和时间两个信息维度对原始流量进行特征学习，克服了以往只能单独利用时间或空间特性的缺点，从而获得相对于以往其他基于深度学习的方法更好的性能和更高的准确性；
第三，本发明在深度学习的基础上，结合传统方法中识别准确率最好的DPI技术与基于端口号的方法对普通流量进行标注，使得整个分类过程更加高效准确；
第四，相对于以往方法，本发明对于存储资源的需求更小，因此更适用于部署在边缘节点。
第五，本方法由于以深度学习结构作为基础，因此不论是标注加密流量还是识别恶意访问流量都可以做到实时性，从而达到更好的服务体验和服务质量。
附图说明
图1为本发明的实现流程图；
图2为本发明中对流量预处理的子流程图；
图3为本发明中构建的深度学习网络结构图。
具体实施方式
下面结合附图对本发明的实施例做进一步的详细描述。
参照图1，对实施例的实施步骤如下。
步骤1，采集并标注原始网络流量负载数据。
1.1)从纯净网络节点处采集网络流量负载数据，并将其按照加密流量，未加密流量和恶意访问流量这三类进行分类，其中加密流量按照互联网中六大类应用进行细分标注，即Email、Chat、File、P2P、Streaming、和VoIP；
1.2)将本次采集的网络流量负载数据、以往时间点数据与预先构建的数据库进行随机混合，以扩充数据库的内容，减少深度学习模型训练后的盲点，得到经过标注的网络流量负载数据库。
步骤2，基于经过标注的网络流量负载数据库，生成预处理后的流量图集。
参照图2，本步骤的具体实现如下：
2.1)利用抓包工具切分网络流量负载数据库中的连续流量，并存储为pcap格式的文件；
2.2)对步骤2.1)中所得流量数据进行协议除杂，即删除数据包内直接与传输控制协议TCP、发现和基本配置协议DCP相关的数据，得到协议除杂后的流量包，这些相关数据为恶意访问流量或加密流量中的干扰项，这些干扰项会影响深度学习模型的信息提取能力；
2.3)对协议除杂后的流量包进行物理信息除杂，即删除物理信息相关数据，得到除杂后的流量包，其中物理信息主要指的是MAC地址，由于互联网中有些主机只负责某一类应用的流量传递，此情形下MAC地址会被深度学习模型捕捉并认为与判断某种网络服务类型有关，故此处的MAC地址在预处理中应当被删除；
2.4)删除网络流量负载数据库中的空白流量包和重复流量包，这些流量包会干扰深度学习模型的训练；
2.5)将经过2.4)处理后网络流量负载数据库中的流量包长度统一为900字节，即对超过900字节的流量包进行截取，不足900字节的流量包用0x00进行补齐；
2.6)对经过2.5)处理后网络流量负载数据库中的流量包做可视化处理，即将每个流量包内的900个字节映射到0到1的灰度值上，并生成30*30大小的流量图；
2.7)将经过2.6)处理后的所有流量图加入实时流量图数据库，最终完成实时流量图数据库的建立。
步骤3，构建深度学习模型。
该深度学习模型包括两个卷积层、局部归一化层、一个全连接层、一个LSTM层和一个softmax层，其结构关系如图3所示；
参照图3，本步骤构建的深度学习模型依次为：第一卷积层、第一局部归一化层、第二卷积层、第二局部归一化层、全连接层、LSTM层和softmax层，其参数设置如下：
第一卷积层的卷积核大小为5*5，个数为32；
第二卷积层的卷积核大小为5*5，个数为64；
第一局部归一化层和第二局部归一化层的局部大小均为7，缩放因子均为0.00011，指数项均为0.75；
LSTM层的隐藏层神经元个数为256。
步骤4，对深度学习模型进行训练。
4.1)设置训练循环次数R；
4.2)将实时流量图数据库中的流量图依次输入到第一卷积层、第一局部归一化层、第二卷积层和第二局部归一化层，通过两个卷积层学习流量的空间特性，两个局部归一化层对异常值进行归一化处理；
4.3)将4.2)处理过的数据输入到全连接层中转换为LSTM模型的输入数据；
4.4)将4.3)所得的数据输入到LSTM层中，以学习流量的时间特性，并将所得的数据输入到softmax层，直接输出分类结果，即给出原始流量负载数据的标签；
4.5)根据4.4)原始流量负载数据标签值与真实标签之间的差异，修改各网络层的权重wn及偏差bn：
4.5.1)求出4.4)所得原始流量负载数据标签值与真实标签之间的损失L:
Figure BDA0002231063470000061
其中，N为训练样本个数，yi为真实标签，
Figure BDA0002231063470000062
为模型输出标签；
4.5.2)基于4.5.1)求得的损失L,通过BP反向传播算法依次求得各网络层的损失Ln(wn,bn)；
4.5.3)根据4.5.2)中求得各层损失函数Ln(wn,bn)，使用梯度下降法更新各网络层的权重wn及偏差bn，得到一次更新后的权重
Figure BDA0002231063470000063
及偏差
Figure BDA0002231063470000064
Figure BDA0002231063470000071
Figure BDA0002231063470000072
其中，
Figure BDA0002231063470000073
表示第n层网络更新后的权值，wn表示更新前的权值，
Figure BDA0002231063470000074
表示第n层网络更新后的偏差，bn表示更新前的偏差，
Ln(wn,bn)为4.5.2)中得到的第n层网络的损失，α为学习率；
4.6)计算本轮训练过后模型分类的准确率T：
Figure BDA0002231063470000075
4.7)重复4.2)-4.6)，直到达到训练循环次数R，得到训练好的深度学习模型。
本实例中，设置训练循环次数R＝2000000，经过多次仿真，得到的最优准确率T＝99.96％。
步骤5，对深度学习模型进行验证与真实网络结点部署。
5.1)按照真实网络分类的精度需求设置合格率P；
5.2)按照步骤1和步骤2，重新采集原始网络流量负载数据并生成流量图集；
5.3)将5.2)中生成的流量图集输入到训练好的深度学习模型，得到分类结果；
5.4)将分类结果与真实标签进行对比，得到分类正确样本数，并计算深度学习模型分类结果的正确率A：
Figure BDA0002231063470000076
5.5)将分类结果正确率A与合格率P进行比较：
若A＞P，即深度学习模型合格，并将此模型作为流量分类器部署于真实网络结点；
否则，重新进行步骤1到步骤5，直到A＞P。
步骤6，对真实网络中的流量进行分类与标注。
6.1)对真实网络流量进行步骤2的预处理，得到真实网络流量图；
6.2)将真实网络流量图输入到流量分类器，得到恶意流量、普通流量和六大类加密流量的分类结果；
6.3)根据分类结果对流量进行标注：
若分类结果为恶意访问流量，则标记为恶意流量，并上报给入侵检测系统IDS预警；
若分类结果为未加密流量，则调取此流量的原始信息，并根据深度包检测技术DPI和端口号技术进行标注；
否则，根据分类结果，将其余加密流量标注为Email、Chat、File、P2P、Streaming和VoIP六大流量服务类型。
步骤7，对步骤6中部分真实网络流量数据进行保存，以备下一时间点模型参数的更新，使得流量分类器与真实网络环境更加匹配，并更合理地应对新出现的恶意流量和加密流量。
以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人士来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (2)

1.一种基于时空特性相结合的深度学习流量分类方法，其特征在于，包括如下：
(1)采集并标注原始网络流量负载数据，得到经过标注的网络流量负载数据：
(1a)从纯净网络节点处采集网络流量负载数据，并将其按照加密流量，未加密流量和恶意访问流量这三类进行分类，其中加密流量按照互联网中六大类应用进行细分标注，即Email、Chat、File、P2P、Streaming、和VoIP；
(1b)将本次采集的网络流量负载数据、以往时间点数据与预先构建的数据库进行随机混合，得到经过标注的网络流量负载数据库；
(2)基于经过标注的网络流量负载数据库，生成预处理后的流量图集：
(2a)将连续的网络流量利用抓包工具切分，以产生pcap格式的数据包，并存储；
(2b)对数据包进行协议除杂，即删除数据包内能直接反映流量服务类型的TCP协议和DCP协议相关数据，此部分数据在恶意访问流量或加密流量中为干扰项，在深度学习模型中会干扰模型的信息提取；
(2c)对数据包进行物理信息除杂，即删除物理地址相关信息，以避免深度学习模型误认为物理地址为某种服务相关的识别特征从而产生误分类；
(2d)删除空白数据包和重复的数据包，以避免对深度学习训练产生干扰；
(2e)统一数据包流量长度为900字节，即对超过900字节的流量包进行截取，不足900字节的流量包用0x00进行补齐；
(2f)将统一长度后的数据包做可视化处理，即将每个流量包转换为30*30大小的流量图，并最终将所有处理过的数据包合并为一个流量图集；
(3)构建依次由第一卷积层、第一局部归一化层、第二卷积层、第二局部归一化层、全连接层、LSTM层和softmax层连接组成的深度学习模型；
(4)对深度学习模型进行训练：
(4a)设置训练循环次数R；
(4b)将混合后的流量图集依次输入到第一卷积层、第一局部归一化层、第二卷积层和第二局部归一化层，以学习流量的空间特性，并对异常值进行归一化处理；
(4c)将(4b)处理过的数据输入到全连接层中，转换为LSTM模型可以接收的数据形式；
(4d)将(4c)所得的数据输入到LSTM层中，以学习流量的时间特性；
(4e)将(4d)所得的数据输入到softmax层，直接输出分类结果，即给出原始网络流量负载数据的标签；
(4f)根据(4e)得到的标签与训练集中的真实标签差异修改各网络层的权重及偏差，实现如下：
(4f1)求出深度学习模型的输出值与真实值之间的损失L:
Figure FDA0003380911700000021
其中，N为训练样本个数，yi为真实值，
Figure FDA0003380911700000022
为网络输出值；
(4f2)将损失反向传回网络中，通过BP反向传播算法依次求得各网络层的损失函数Ln(wn,bn)；
(4f3)根据(4f2)求得损失函数Ln(wn,bn)，使用梯度下降法更新各网络层的权重wn及偏差bn，得到更新后的权重
Figure FDA0003380911700000023
及偏差
Figure FDA0003380911700000024
Figure FDA0003380911700000025
Figure FDA0003380911700000026
其中，α为学习率，0＜α≤0.1；
(4g)重复(4b)-(4f)，直到达到训练循环次数R，得到一种训练好的深度学习模型；
(5)对训练好的深度学习模型进行验证与真实网络结点部署：
(5a)按照真实网络分类的精度需求设置合格率P；
(5b)按照(1)-(2)的步骤，重新采集原始网络流量负载数据并生成流量图集；
(5c)将(5b)中生成的流量图集输入训练好的深度学习模型，得到分类结果；
(5d)将(5c)的分类结果与真实标签进行比较，得到正确样本数，得到深度学习模型分类结果的正确率A：
若A＞P，即为合格，此时将模型作为流量分类器部署于真实网络结点；
否则，重新进行步骤(1)-(4)；
(6)对真实网络中的加密流量进行分类，将经步骤(2)预处理过的真实网络流量图传入流量分类器，将流量分为恶意流量、普通流量和六大类加密流量，并按照分类结果进行标注，针对其中的普通流量，调用DPI工具和端口号，直接标注流量服务类型；
(7)保存部分采集的数据作为已有数据，用于下时间点对深度学习模型的更新。
2.根据权利要求1所述的方法，其特征在于:所述步骤(3)中构建的深度学习模型，其参数设置如下：
第一卷积层的卷积核大小为5*5，个数为32；
第二卷积层的卷积核大小为5*5，个数为64；
第一局部归一化层和第二局部归一化层的局部大小均为7，缩放因子均为0.00011，指数项均为0.75；
LSTM层的隐藏层神经元个数为256。
CN201910967739.2A 2019-10-12 2019-10-12 基于时空特性相结合的深度学习流量分类方法 Active CN110730140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910967739.2A CN110730140B (zh) 2019-10-12 2019-10-12 基于时空特性相结合的深度学习流量分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910967739.2A CN110730140B (zh) 2019-10-12 2019-10-12 基于时空特性相结合的深度学习流量分类方法

Publications (2)

Publication Number Publication Date
CN110730140A CN110730140A (zh) 2020-01-24
CN110730140B true CN110730140B (zh) 2022-04-08

Family

ID=69220046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910967739.2A Active CN110730140B (zh) 2019-10-12 2019-10-12 基于时空特性相结合的深度学习流量分类方法

Country Status (1)

Country Link
CN (1) CN110730140B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368529B (zh) * 2020-03-17 2022-07-01 重庆邮电大学 基于边缘计算的移动终端敏感词识别方法、装置及系统
CN111526099B (zh) * 2020-03-25 2022-08-16 华东师范大学 基于深度学习的物联网应用流量检测方法
CN111428789A (zh) * 2020-03-25 2020-07-17 广东技术师范大学 一种基于深度学习的网络流量异常检测方法
CN111541685B (zh) * 2020-04-20 2021-03-16 南京大学 一种基于网络结构学习的边缘云异常检测方法
CN111860628A (zh) * 2020-07-08 2020-10-30 上海乘安科技集团有限公司 一种基于深度学习的流量识别与特征提取方法
CN112235257A (zh) * 2020-09-24 2021-01-15 中国人民解放军战略支援部队信息工程大学 融合式加密恶意流量检测方法及系统
CN112367303B (zh) * 2020-10-21 2023-05-02 中国电子科技集团公司第二十八研究所 分布式自学习异常流量协同检测方法及系统
CN112367273B (zh) * 2020-10-30 2023-10-31 上海瀚讯信息技术股份有限公司 基于知识蒸馏的深度神经网络模型的流量分类方法及装置
WO2022094926A1 (zh) * 2020-11-06 2022-05-12 中国科学院深圳先进技术研究院 一种加密流量识别方法、系统、终端以及存储介质
CN112261063A (zh) * 2020-11-09 2021-01-22 北京理工大学 结合深度分层网络的网络恶意流量检测方法
CN112367334A (zh) * 2020-11-23 2021-02-12 中国科学院信息工程研究所 网络流量识别方法、装置、电子设备和存储介质
CN112491894A (zh) * 2020-11-30 2021-03-12 北京航空航天大学 一种基于时空特征学习的物联网网络攻击流量监测系统
CN114726741A (zh) * 2020-12-18 2022-07-08 中国科学院沈阳自动化研究所 基于表征学习的边缘网络状态感知建模方法
CN112311814B (zh) * 2020-12-23 2021-11-26 中国航空油料集团有限公司 基于深度学习的恶意加密流量识别方法、系统及电子设备
CN112949702B (zh) * 2021-02-23 2023-09-22 广东工业大学 一种网络恶意加密流量识别方法和系统
CN113037646A (zh) * 2021-03-04 2021-06-25 西南交通大学 一种基于深度学习的列车通信网络流量识别方法
CN113162908B (zh) * 2021-03-04 2022-11-15 中国科学院信息工程研究所 一种基于深度学习的加密流量检测方法及系统
CN113452810B (zh) * 2021-07-08 2023-05-12 恒安嘉新（北京）科技股份公司 一种流量分类方法、装置、设备和介质
CN114257428B (zh) * 2021-12-10 2024-02-27 广东工业大学 一种基于深度学习的加密网络流量识别及分类方法
CN114615010B (zh) * 2022-01-19 2023-12-15 上海电力大学 一种基于深度学习的边缘服务器端入侵防御系统设计方法
CN115086006B (zh) * 2022-06-13 2024-02-02 安徽工业大学 一种基于双向门控逻辑单元的分布式应用程序加密流量分类方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991445A (zh) * 2017-04-05 2017-07-28 重庆大学 一种基于深度学习的超声造影肿瘤自动识别与检测方法
CN108900542A (zh) * 2018-08-10 2018-11-27 海南大学 基于LSTM预测模型的DDoS攻击检测方法及装置
CN108985361A (zh) * 2018-07-02 2018-12-11 北京金睛云华科技有限公司 一种基于深度学习的恶意流量检测实现方法和装置
CN109670548A (zh) * 2018-12-20 2019-04-23 电子科技大学 基于改进lstm-cnn的多尺寸输入har算法
CN110213244A (zh) * 2019-05-15 2019-09-06 杭州电子科技大学 一种基于时空特征融合的网络入侵检测方法
CN110311829A (zh) * 2019-05-24 2019-10-08 西安电子科技大学 一种基于机器学习加速的网络流量分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9700219B2 (en) * 2013-10-17 2017-07-11 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991445A (zh) * 2017-04-05 2017-07-28 重庆大学 一种基于深度学习的超声造影肿瘤自动识别与检测方法
CN108985361A (zh) * 2018-07-02 2018-12-11 北京金睛云华科技有限公司 一种基于深度学习的恶意流量检测实现方法和装置
CN108900542A (zh) * 2018-08-10 2018-11-27 海南大学 基于LSTM预测模型的DDoS攻击检测方法及装置
CN109670548A (zh) * 2018-12-20 2019-04-23 电子科技大学 基于改进lstm-cnn的多尺寸输入har算法
CN110213244A (zh) * 2019-05-15 2019-09-06 杭州电子科技大学 一种基于时空特征融合的网络入侵检测方法
CN110311829A (zh) * 2019-05-24 2019-10-08 西安电子科技大学 一种基于机器学习加速的网络流量分类方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Deep−Full−Range : A Deep Learning Based Network Encrypted Traffic Classification and Intrusion Detection Framework;YI ZENG,etc;《IEEE》;20190416;正文第1-3节 *
DeepVCM: A Deep Learning Based Intrusion Detection Method in VANET;Yi Zeng，etc;《IEEE》;20190829;全文 *
TEST an End-to-End Network Traffic Classification System With Spatio-Temporal Features Extraction;Yi Zeng，etc;《IEEE》;20190514;全文 *
基于UDP流量的P2P流媒体流量识别算法研究;董仕等;《通信学报》;20121225;全文 *
深度学习应用于网络空间安全的现状、趋势与展望;张玉清等;《计算机研究与发展》;20180112(第06期);全文 *

Also Published As

Publication number Publication date
CN110730140A (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
CN110730140B (zh) 基于时空特性相结合的深度学习流量分类方法
CN110311829B (zh) 一种基于机器学习加速的网络流量分类方法
CN109361617B (zh) 一种基于网络包载荷的卷积神经网络流量分类方法及系统
CN111860628A (zh) 一种基于深度学习的流量识别与特征提取方法
CN113162908B (zh) 一种基于深度学习的加密流量检测方法及系统
CN112163594A (zh) 一种网络加密流量识别方法及装置
CN110225030B (zh) 基于rcnn-spp网络的恶意域名检测方法及系统
CN111340191A (zh) 基于集成学习的僵尸网络恶意流量分类方法及系统
CN112511555A (zh) 基于稀疏表示和卷积神经网络的私有加密协议报文分类法
CN111064678A (zh) 基于轻量级卷积神经网络的网络流量分类方法
CN112333706B (zh) 物联网设备异常检测方法、装置、计算设备及存储介质
CN111191767A (zh) 一种基于向量化的恶意流量攻击类型的判断方法
CN112054967A (zh) 网络流量分类方法、装置、电子设备及存储介质
CN107483451B (zh) 基于串并行结构网络安全数据处理方法及系统、社交网络
CN114039901A (zh) 基于残差网络和循环神经网络混合模型的协议识别方法
CN110868404B (zh) 一种基于tcp/ip指纹的工控设备自动识别方法
CN114553475A (zh) 一种基于网络流量属性有向拓扑的网络攻击检测方法
CN111835763A (zh) 一种dns隧道流量检测方法、装置及电子设备
CN116260642A (zh) 一种基于知识蒸馏时空神经网络的轻量化物联网恶意流量识别方法
CN114650229B (zh) 基于三层模型sftf-l的网络加密流量分类方法与系统
Zhou et al. Encrypted network traffic identification based on 2d-cnn model
CN114124447B (zh) 一种基于Modbus数据包重组的入侵检测方法及装置
CN114726802A (zh) 一种基于不同数据维度的网络流量识别方法及装置
CN111291078B (zh) 一种域名匹配检测方法及装置
CN108141377B (zh) 网络流早期分类

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant