CN116051883A - 一种基于CNN-Transformer混合架构的网络流量分类方法 - Google Patents
一种基于CNN-Transformer混合架构的网络流量分类方法 Download PDFInfo
- Publication number
- CN116051883A CN116051883A CN202211584055.2A CN202211584055A CN116051883A CN 116051883 A CN116051883 A CN 116051883A CN 202211584055 A CN202211584055 A CN 202211584055A CN 116051883 A CN116051883 A CN 116051883A
- Authority
- CN
- China
- Prior art keywords
- module
- convolution
- cnn
- network traffic
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000013145 classification model Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于CNN‑Transformer混合架构的网络流量分类方法，属于网络流量分类技术领域。包括以下步骤：S1.获取加密流量数据，并进行预处理，得到处理后的流量数据；S2.将处理后的流量数据按照二进制形式转化为灰度图片；S3.将生成的流量图进行数据增强；S4.构建基于CNN‑Transformer的混合模型Next‑ViT；S5.训练混合模型Next‑ViT，得到训练好的分类模型；S6.将灰度图片作为分类模型的输入，输出加密网络流量类别。解决不能捕获复杂模式下互联网流量，导致准确性下降；手动提取特征、耗时大且存在大量无标注的数据集的问题。本发明提高了网络流量分类的效率和分类的准确度。
Description
技术领域
本申请涉及一种网络流量分类方法，尤其涉及一种基于CNN-Transformer混合架构的网络流量分类方法，属于网络流量分类技术领域。
背景技术
互联网从产生到现在，无时不刻都在产生流量，尤其在超大规模集成电路计算机兴起和各种新型TCP/IP协议出现后，计算机的计算能力不断提高，协议更加完善，网络的应用更加丰富，使用互联网的人越来越多，网络的传输速率和吞吐量不断增加，流量迅猛增长。根据2016年思科可视网络指数的预测，全球互联网流量总产量将超过每年1ZB大关，并在2020达到2.3ZB。所以巨大的流量需要一项有重要意义的工程，也即流量分类。流量分类，顾名思义，也就是将流量分类成多个类。如把数据包分类成具体的应用层协议，或分成某一个大种类(如视频类，游戏类，文件传输类等)、有的也根据具体应用来分类(如QQ，Thunder等)，还有一些其他的分类方式。流量分类可以应用于多个方面，如协议识别，QoS管理，恶意软件检测、优化网络布局等。
随着互联网及各种在线应用的快速增长，加密流量在网络传输中的比重越来越大，这给流量识别和分类带来了巨大的挑战。加密流量采用的端口混淆和端口跳变技术导致传统的基于端口的流量识别方法的准确率大幅下降，加密流量对传输载荷进行加密的特性也导致了基于载荷关键字的流量识别方法的准确率下降。传统机器学习方法也已不太适用加密流量的分类。基于机器学习的方法不能捕获复杂模式下互联网流量，导致准确性下降。而且基于机器学习的算法使用统计特征进行分类，需要专家手动提取特征、耗时且存在大量无标注的数据集。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
鉴于此，为解决现有技术中存在的不能捕获复杂模式下互联网流量，导致准确性下降；手动提取特征、耗时大且存在大量无标注的数据集的技术问题，本发明提供一种基于CNN-Transformer混合架构的网络流量分类方法。
方案一：一种基于CNN-Transformer混合架构的网络流量分类方法，包括以下步骤：
S1.获取加密流量数据，并进行预处理，得到处理后的流量数据；
S2.将处理后的流量数据按照二进制形式转化为灰度图片；
S3.将生成的灰度图片进行数据增强，获得更多的样本数据；
S4.构建基于CNN-Transformer的混合模型Next-ViT；
S5.训练混合模型Next-ViT，得到训练好的分类模型；
S6.将灰度图片作为分类模型的输入，输出加密网络流量类别。
优选的，S1具体是，包括以下步骤：
S11.将原始流量根据会话进行切分，切分为多个流量数据，将流切分成所有层；
S12.清理0B文件；
S13.处理重复文件；
S14.流量匿名化，用随机生成的新地址替换数据链路层的MAC地址和IP层的IP地址，若待分类的流量来自同一个网络环境则不需要处理。
优选的，S2具体是，包括以下步骤：
S21.取流量数据中每条流的前784个字节转换为流量图；
S22.将每个字节对应图片的一个灰度像素值，0x00对应黑色，0xff对应白色。
优选的，S3具体是，将灰度图片进行随机旋转、随机扭曲、上下翻转、左右翻转以及错切变换操作对图片进行增强，得到更多的输入数据。
优选的，混合模型Next-ViT包括：卷积模块、混合连接模块和Transformer模块，构建基于CNN-Transformer的混合模型Next-ViT，具体包括以下步骤：
S41.卷积模块包括多头卷积注意力模块和多层感知机模块；
多头卷积注意力模块将Transformer中的多头自注意力模块换成多头卷积注意力模块；
卷积注意力模块通过群卷积和逐点卷积学习局部特征，卷积注意力模块的公式如下：
CA(z)＝O(W,(Tm,Tn)),T{m,n}∈z
其中，Tm和Tn是输入特征z相邻的tokens，W代表训练参数，O代表W和输入tokensT{m,n}的内积；
多头卷积注意力模块从多个并行子空间h获取信息，多头卷积注意力的公式如下：
MHCA(z)＝Concat(CA1(z1),CA22),…,CAh(zh))WP
其中，z＝[z1,z2,…,zh]表示将输入特征z在多个不同的投影空间中建立的不同的投影信息；WP代表一个投影层，把高维特征影射到低维中；
整合多头卷积注意力模块和多层感知机模块，卷积模块的公式如下：
其中，zl-1代表第l-1个模块的输入，zl代表卷积模块的输出；
S42.Transformer模块包括多头自注意力模块、多头卷积注意力模块和多层感知机模块；
多头自注意力模块，公式如下：
E-MHSA(z)＝Concat(SA1(z1),SA2(z2),…,SAh(zh))WP
其中，z＝[z1,z2,…,zh]表示将输入特征z在多个不同的投影空间中建立的不同的投影信息；WP代表一个投影层，把高维特征影射到低维中；
SA是一种空间简约自注意算子，公式为：
SA(X)＝Attention(X·WQ,PS(X·WK0,PS(X·WV))
其中，Attention表示标准的注意力计算公式dk代表比例因子，WQ、WK、WV内容的线性层编码表示；PS代表步长为s的平均池化操作；
所以NTB模块的过程可以用以下公式顺序表示：
其中分别代表一种高效的多头自注意力模块、多头卷积注意模块和Transformer模块的输出；Proj代表卷积网络结构；
S43.每层采取N个卷积模块和1个Transformer模块进行堆积，实现卷积模块和Transformer模块的连接。
方案二、一种电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现方案一所述的一种基于CNN-Transformer混合架构的网络流量分类方法的步骤。
方案三、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现方案一所述的一种基于CNN-Transformer混合架构的网络流量分类方法。
本发明的有益效果如下：
1.本发明是一种基于CNN-Transformer混合框架的加密流量分类方法，该方法混合了卷积神经网络和Transformer，能减少卷积层数，加快训练速度；
2.本发明在使用卷积神经网络的基础上增加了Transformer，能够获取流量的全局特征，比只使用卷积神经网络的分类方法准确率更高；
3.本发明基于深度学习的方式，不需要人工手动提取流量特征，提高了效率；
4.本发明有效缓解网络流量数据带标样本少的问题，采用对流量图做不同的变换来生成更多的数据样本，不仅提高了准确率还增强了模型的鲁棒性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为一种基于CNN-Transformer混合架构的网络流量分类方法流程示意图；
图2为灰度图片进行数据增强示意图。
具体实施方式
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1、参照图1说明本实施方式，一种基于CNN-Transformer混合架构的网络流量分类方法，包括以下步骤：
S1.获取加密流量数据，并进行预处理，得到处理后的流量数据；
S11.将原始流量根据会话进行切分，切分为多个流量数据，将流切分成所有层；
S12.清理0B文件；将原始流切分成应用层数据时，有的数据包没有应用层数据，生成文件大小为0，没有意义，因此需要删除这种文件；
S13.处理重复文件；按会话进行分割时，可能会产生相同的数据。但相同的文件只应该留下一个，否则会在CNN训练时造成偏差；
S14.流量匿名化，用随机生成的新地址替换数据链路层的MAC地址和IP层的IP地址，若待分类的流量来自同一个网络环境则不需要处理。
S2.将处理后的流量数据按照二进制形式转化为灰度图片；
本发明网络流量类别基于加密流量数据进行输出，本实施例将加密流量数据转换为灰度图片，不同类别的加密流量数据对应的灰度图片不同，因此，将图片中的灰度作为加密流量数据的特征；
S21.取流量数据中每条流的前784个字节转换为流量图；
S22.将处理后的流量文件按照二进制形式转化为灰度图片，每个字节对应图片的一个灰度像素值，0x00对应黑色，0xff对应白色。
S3.将生成的流量图进行数据增强，获得更多的样本数据；将灰度图片进行随机旋转、随机扭曲、上下翻转、左右翻转以及错切变换操作对图片进行增强，得到更多的输入数据。
S4.构建基于CNN-Transformer的混合模型Next-ViT；包括：卷积模块、混合连接模块和Transformer模块，通过卷积模块学习局部表示，但是全局信息的捕获并未解决，因此通过Transformer模块捕获全局特征，最后，确定卷积模块和Transformer模块的堆叠策略，将卷积模块和Transformer模块进行连接；具体包括以下步骤：
S41.卷积模块包括多头卷积注意力模块和多层感知机模块；
多头卷积注意力模块将Transformer中的多头自注意力模块换成多头卷积注意力模块；
卷积注意力模块通过群卷积和逐点卷积学习局部特征，卷积注意力模块的公式如下：
CA(z)＝O(W,(Tm,Tn)),T{m,n}∈z
其中，Tm和Tn是输入特征z相邻的tokens，W代表训练参数，O代表W和输入tokensT{m,n}的内积；
多头卷积注意力模块从多个并行子空间h获取信息，多头卷积注意力的公式如下：
MHCA(z)＝Concat(CA1(z1),CA2(z2),…,CAh(zh))WP
其中，z＝[z1,z2,…,zh]表示将输入特征z在多个不同的投影空间中建立的不同的投影信息；WP代表一个投影层，把高维特征影射到低维中；
整合多头卷积注意力模块和多层感知机模块，卷积模块的公式如下：
其中，zl-1代表第l-1个模块的输入，zl代表卷积模块的输出；
S42.Transformer模块包括多头自注意力模块、多头卷积注意力模块和多层感知机模块；
多头自注意力模块，公式如下：
E-MHSA(z)＝Concat(SA1(z1),SA2(z2),…,SA(z))WP
SA是一种空间简约自注意算子，公式为：
SA(X)＝Attention(X·WQ,PS(X·WK),PS9X·WV))
其中，Attention表示标准的注意力计算公式dk代表比例因子，WQ、WK、WV内容的线性层编码表示；PS代表步长为s的平均池化操作；
所以NTB模块的过程可以用以下公式顺序表示：
其中分别代表一种高效的多头自注意力模块、多头卷积注意模块和Transformer模块的输出；Proj代表卷积网络结构；
S43.每层采取N个卷积模块和1个Transformer模块进行堆积，实现卷积模块和Transformer模块的连接；
S5.训练混合模型Next-ViT，得到训练好的分类模型；
S6.将灰度图片作为分类模型的输入，输出加密网络流量类别。
本发明不需要对加密网络流量进行解密，利用不同加密网络流量中灰度图片的差异，识别流量的类别。如视频类，游戏类，文件传输类等。
本发明提出的一种基于CNN-Transformer混合架构的网络流量分类方法，能够提取流量的局部特征以及全局特征，以及在加密流量分类上具有较高的准确率和普适性。
对本发明提出的方法进行实验分析：
分别在流量数据集2016Vpn-nonVpn和USTC-TFC上进行实验分析。将2016Vpn-nonVpn数据集划分为12个类别，共计38816个样本。USTC-TFC数据集包含恶意流量10个类别及正常流量10个类别共20个类别，样本量达422013个。用工具集USTC-TK2016将流量处理成28*28大小的灰度图，作为模型的输入。
本发明将数据集中90％作为训练集，10％作为测试集，epoch设置为100，batchsize设置为64，在两块2080Ti的GPU上进行实验。所得实验结果如表1(表1本发明在ISCXVPN2016数据集上进行十二分类每种类别的实验结果表)、表2(表2本发明在USTC-TFC数据集上进行二十分类每种类别的实验结果表)所示。
表1
| 类别 | 精确率 | 召回率 | F1值 | 类别 | 精确率 | 召回率 | F1值 |
| Chat | 100 | 100 | 100 | VPN-Chat | 100 | 100 | 100 |
| 99 | 100 | 100 | VPN-Email | 95 | 100 | 97 | |
| ft | 94 | 92 | 93 | VPN-ft | 100 | 98 | 99 |
| P2P | 100 | 100 | 100 | VPN-P2P | 100 | 96 | 98 |
| Streaming | 98 | 100 | 99 | VPN-Stream | 100 | 100 | 100 |
| VoIP | 92 | 94 | 93 | VPN-VoIP | 100 | 100 | 100 |
表2
| 类别 | 精确率 | 召回率 | F1值 | 类别 | 精确率 | 召回率 | F1值 |
| BitTorrent | 100 | 100 | 100 | Cridex | 100 | 98 | 99 |
| Facetime | 100 | 100 | 100 | Geodo | 100 | 98 | 99 |
| FTP | 100 | 100 | 100 | Htbot | 100 | 100 | 100 |
| Gmail | 100 | 100 | 100 | Miuref | 97 | 100 | 98 |
| MySQL | 100 | 100 | 100 | Neris | 100 | 100 | 100 |
| Outlook | 100 | 98 | 99 | Nsis-ay | 100 | 100 | 100 |
| Skype | 100 | 100 | 100 | Shifu | 99 | 100 | 100 |
| SMB | 100 | 100 | 100 | Tinba | 100 | 100 | 99 |
| 100 | 100 | 100 | Virut | 100 | 100 | 100 | |
| Wow | 100 | 99 | 100 | Zeus | 100 | 100 | 100 |
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。
Claims (7)
1.一种基于CNN-Transformer混合架构的网络流量分类方法，其特征在于，包括以下步骤：
S1.获取加密流量数据，并进行预处理，得到处理后的流量数据；
S2.将处理后的流量数据按照二进制形式转化为灰度图片；
S3.将生成的流量图进行数据增强，获得更多的样本数据；
S4.构建基于CNN-Transformer的混合模型Next-ViT；
S5.训练混合模型Next-ViT，得到训练好的分类模型；
S6.将灰度图片作为分类模型的输入，输出加密网络流量类别。
2.根据权利要求1所述的一种基于CNN-Transformer混合架构的网络流量分类方法，其特征在于，S1具体是，包括以下步骤：
S11.将原始流量根据会话进行切分，切分为多个流量数据，将流切分成所有层；
S12.清理0B文件；
S13.处理重复文件；
S14.流量匿名化，用随机生成的新地址替换数据链路层的MAC地址和IP层的IP地址，若待分类的流量来自同一个网络环境则不需要处理。
3.根据权利要求2所述的一种基于CNN-Transformer混合架构的网络流量分类方法，其特征在于，S2具体是，包括以下步骤：
S21.取流量数据中每条流的前784个字节转换为流量图；
S22.将每个字节对应图片的一个灰度像素值，0x00对应黑色，0xff对应白色。
4.根据权利要求3所述的一种基于CNN-Transformer混合架构的网络流量分类方法，其特征在于，S3具体是，将灰度图片进行随机旋转、随机扭曲、上下翻转、左右翻转以及错切变换操作对图片进行增强，得到更多的输入数据。
5.根据权利要求4所述的一种基于CNN-Transformer混合架构的网络流量分类方法，其特征在于，混合模型Next-ViT包括：卷积模块、混合连接模块和Transformer模块，构建基于CNN-Transformer的混合模型Next-ViT，具体包括以下步骤：
S41.卷积模块包括多头卷积注意力模块和多层感知机模块；
多头卷积注意力模块将Transformer中的多头自注意力模块换成多头卷积注意力模块；
卷积注意力模块通过群卷积和逐点卷积学习局部特征，卷积注意力模块的公式如下：
其中，Tm和Tn是输入特征
相邻的tokens，W代表训练参数，O代表W和输入tokens T{m,n}的内积；
多头卷积注意力模块从多个并行子空间h获取信息，多头卷积注意力的公式如下：
其中，
表示将输入特征
在多个不同的投影空间中建立的不同的投影信息；WP代表一个投影层，把高维特征影射到低维中；
整合多头卷积注意力模块和多层感知机模块，卷积模块的公式如下：
其中，
代表第l-1个模块的输入，
代表卷积模块的输出；
S42.Transformer模块包括多头自注意力模块、多头卷积注意力模块和多层感知机模块；
多头自注意力模块，公式如下：
SA是一种空间简约自注意算子，公式为：
SA(X)＝Attention(X·WQ,PS(X·WK),PS(X·WV))
其中，Attention表示标准的注意力计算公式
dk代表比例因子，WQ、WK、WV内容的线性层编码表示；PS代表步长为s的平均池化操作；
所以NTB模块的过程可以用以下公式顺序表示：
其中
分别代表一种高效的多头自注意力模块、多头卷积注意模块和Transformer模块的输出；Proj代表卷积网络结构；
S43.每层采取N个卷积模块和1个Transformer模块进行堆积，实现卷积模块和Transformer模块的连接。
6.一种电子设备，其特征在于，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1-5任一项所述的一种基于CNN-Transformer混合架构的网络流量分类方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任一项所述的一种基于CNN-Transformer混合架构的网络流量分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211584055.2A CN116051883A (zh) | 2022-12-09 | 2022-12-09 | 一种基于CNN-Transformer混合架构的网络流量分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211584055.2A CN116051883A (zh) | 2022-12-09 | 2022-12-09 | 一种基于CNN-Transformer混合架构的网络流量分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116051883A true CN116051883A (zh) | 2023-05-02 |
Family
ID=86130363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211584055.2A Pending CN116051883A (zh) | 2022-12-09 | 2022-12-09 | 一种基于CNN-Transformer混合架构的网络流量分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116051883A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116915720A (zh) * | 2023-09-12 | 2023-10-20 | 武汉烽火凯卓科技有限公司 | 物联网设备流量识别方法、系统、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109639481A (zh) * | 2018-12-11 | 2019-04-16 | 深圳先进技术研究院 | 一种基于深度学习的网络流量分类方法、系统及电子设备 |
| CN111526099A (zh) * | 2020-03-25 | 2020-08-11 | 华东师范大学 | 基于深度学习的物联网应用流量检测方法 |
| US20220019870A1 (en) * | 2018-11-19 | 2022-01-20 | Siemens Aktiengesellschaft | Verification of classification decisions in convolutional neural networks |
-
2022
- 2022-12-09 CN CN202211584055.2A patent/CN116051883A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220019870A1 (en) * | 2018-11-19 | 2022-01-20 | Siemens Aktiengesellschaft | Verification of classification decisions in convolutional neural networks |
| CN109639481A (zh) * | 2018-12-11 | 2019-04-16 | 深圳先进技术研究院 | 一种基于深度学习的网络流量分类方法、系统及电子设备 |
| CN111526099A (zh) * | 2020-03-25 | 2020-08-11 | 华东师范大学 | 基于深度学习的物联网应用流量检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIASHI LI等: ""Next-ViT: Next Generation Vision Transformer for Efficient Deployment in Realistic Industrial Scenarios"", ARXIV:2207.05501V4 [CS.CV], pages 2 - 3 * |
| YOUPENG ZHAO 等: ""Lightweight Vision Transformer with Cross Feature Attention"", COMPUTER VISION AND PATTERN RECOGNITION, pages 1 - 10 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116915720A (zh) * | 2023-09-12 | 2023-10-20 | 武汉烽火凯卓科技有限公司 | 物联网设备流量识别方法、系统、电子设备及存储介质 |
| CN116915720B (zh) * | 2023-09-12 | 2023-12-01 | 武汉烽火凯卓科技有限公司 | 物联网设备流量识别方法、系统、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110730140B (zh) | 基于时空特性相结合的深度学习流量分类方法 | |
| CN113162908B (zh) | 一种基于深度学习的加密流量检测方法及系统 | |
| CN112163594A (zh) | 一种网络加密流量识别方法及装置 | |
| Xu et al. | Seeing traffic paths: Encrypted traffic classification with path signature features | |
| CN116051883A (zh) | 一种基于CNN-Transformer混合架构的网络流量分类方法 | |
| Wang et al. | Using CNN-based representation learning method for malicious traffic identification | |
| CN112804253A (zh) | 一种网络流量分类检测方法、系统及存储介质 | |
| CN112884046A (zh) | 基于不完全监督学习的图像分类方法、装置及相关设备 | |
| Xue et al. | Classification and identification of unknown network protocols based on CNN and T-SNE | |
| CN114006870A (zh) | 一种基于自监督卷积子空间聚类网络的网络流量识别方法 | |
| CN113408707A (zh) | 一种基于深度学习的网络加密流量识别方法 | |
| CN118400195B (zh) | 基于掩码自动编码器预训练的恶意流量检测方法 | |
| CN114650229A (zh) | 基于三层模型sftf-l的网络加密流量分类方法与系统 | |
| CN114362988B (zh) | 网络流量的识别方法及装置 | |
| CN114726802A (zh) | 一种基于不同数据维度的网络流量识别方法及装置 | |
| Tong et al. | BFSN: a novel method of encrypted traffic classification based on bidirectional flow sequence network | |
| Zhou et al. | Encrypted network traffic identification based on 2d-cnn model | |
| CN116074087B (zh) | 一种基于网络流量上下文表征的加密流量分类方法、电子设备及存储介质 | |
| CN116521918B (zh) | 一种快速搜索相似图的方法 | |
| CN117473415A (zh) | 基于融合特征和自适应权重的物联网流量分类方法 | |
| CN111291078A (zh) | 一种域名匹配检测方法及装置 | |
| CN116383744A (zh) | 基于流量图像与低频信息的多模态加密网络流量分类方法 | |
| CN114338437B (zh) | 网络流量分类方法、装置、电子设备及存储介质 | |
| Zheng et al. | Multi-view multi-label anomaly network traffic classification based on mlp-mixer neural network | |
| CN116684357A (zh) | 一种传输层安全协议加密流量的识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20230502 |
|
| WD01 | Invention patent application deemed withdrawn after publication |