CN114745335A - 网络流量的分类、装置、存储介质及电子设备 - Google Patents

网络流量的分类、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN114745335A
CN114745335A CN202210469044.3A CN202210469044A CN114745335A CN 114745335 A CN114745335 A CN 114745335A CN 202210469044 A CN202210469044 A CN 202210469044A CN 114745335 A CN114745335 A CN 114745335A
Authority
CN
China
Prior art keywords
traffic
target
classification
network traffic
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210469044.3A
Other languages
English (en)
Other versions
CN114745335B (zh
Inventor
聂帅宝
曾凯
邹晓鸥
韩露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202210469044.3A priority Critical patent/CN114745335B/zh
Publication of CN114745335A publication Critical patent/CN114745335A/zh
Application granted granted Critical
Publication of CN114745335B publication Critical patent/CN114745335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种网络流量的分类、装置、存储介质及电子设备。涉及计算机领域，该方法包括：从目标网络中捕获网络流量作为目标网络流量；从目标网络流量中提取第一流量特征，其中，第一流量特征携带了目标网络流量所包括的流量数据之间的时序关系；从第一流量特征中提取第二流量特征，其中，第二流量特征携带了第一流量特征之间的依赖关系；对第二流量特征进行分类，得到目标网络流量对应的目标流量类型，其中，目标流量类型用于指示产生目标网络流量的应用。通过本申请，解决了相关技术中网络流量分类方法对网络流量的局部固有成分依赖度过高的问题。

Description

网络流量的分类、装置、存储介质及电子设备
技术领域
本申请涉及计算机领域，具体而言，涉及一种网络流量的分类、装置、存储介质及电子设备。
背景技术
随着互联网技术的高速发展，网络中的流量类型也不断增多。为了合理利用网络资源，识别出不同类型的程序在现代通信网络中成为一项重要任务，但是目前，主流的做法是通过深度包检测(Deep Packet Inspection)技术，对数据包的有效载荷部分包含的特殊的信息进行检测，再与当前己知应用程序或协议在某些特征字进行匹配，从而判断数据包的流量类型，但是上述分类方法依赖于解析数据包的局部固有成分，然后根据人为规定的匹配规则来做流量分类，当网络流量的局部固有成分的特征发生变化时，将直接影响网络流量分类的准确率。
针对相关技术中网络流量分类方法对网络流量的局部固有成分依赖度过高的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种网络流量的分类、装置、存储介质及电子设备，以解决相关技术中网络流量分类方法对网络流量的局部固有成分依赖度过高的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种网络流量的分类方法。该方法包括：从目标网络中捕获网络流量作为目标网络流量；从目标网络流量中提取第一流量特征，其中，第一流量特征携带了目标网络流量所包括的流量数据之间的时序关系；从第一流量特征中提取第二流量特征，其中，第二流量特征携带了第一流量特征之间的依赖关系；对第二流量特征进行分类，得到目标网络流量对应的目标流量类型，其中，目标流量类型用于指示产生目标网络流量的应用。
为了实现上述目的，根据本申请的另一方面，提供了一种网络流量的分类装置。
该装置包括：
捕获模块，用于从目标网络中捕获网络流量作为目标网络流量；
第一提取模块，用于从所述目标网络流量中提取第一流量特征，其中，所述第一流量特征携带了所述目标网络流量所包括的流量数据之间的时序关系；
第二提取模块，用于从所述第一流量特征中提取第二流量特征，其中，所述第二流量特征携带了所述第一流量特征之间的依赖关系；
分类模块，用于对所述第二流量特征进行分类，得到所述目标网络流量对应的目标流量类型，其中，所述目标流量类型用于指示产生所述目标网络流量的应用。
为了实现上述目的，根据本申请的另一方面，提供了一种非易失性存储介质，上述非易失性存储介质存储有多条指令，上述指令适于由处理器加载并执行任意一项上述的网络流量的分类方法。
为了实现上述目的，根据本申请的另一方面，提供了一种电子设备。该电子设备包括：一个或多个处理器和存储器，上述存储器用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现任意一项上述的网络流量的分类方法。
通过本申请，采用以下步骤：从目标网络中捕获网络流量作为目标网络流量；从目标网络流量中提取第一流量特征，其中，第一流量特征携带了目标网络流量所包括的流量数据之间的时序关系；从第一流量特征中提取第二流量特征，其中，第二流量特征携带了第一流量特征之间的依赖关系；对第二流量特征进行分类，得到目标网络流量对应的目标流量类型，其中，目标流量类型用于指示产生目标网络流量的应用，即，将目标网络流量从目标网络中捕获之后，提取目标网络流量用于表征流量数据之间的时序关系的第一流量特征，然后从第一流量特征中提取第一流量特征之间的依赖关系作为第二流量特征，因为时序关系与依赖关系的提取过程不依赖于目标网络流量的局部固有成分，因此可以有效降低对网络流量分类方法对网络流量的局部固有成分依赖度，最后根据第二流量特征进行分类，得到目标网络流量对应的目标流量类型，解决了相关技术中网络流量分类方法对网络流量的局部固有成分依赖度过高的问题。进而达到了降低了网络流量分类方法对网络流量的局部固有成分依赖度的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例提供的网络流量的分类的流程图；
图2是根据本申请实施例提供的目标网络流量的类型的示意图；
图3是根据本申请实施例提供的多任务学习的示意图；
图4是根据本申请实施例提供的网络流量的模型分类的流程图；
图5是根据本申请实施例的网络流量的分类装置的示意图；
图6是根据本申请实施例的电子设备的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其其步骤或单元。
需要说明的是，本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。例如，本系统和相关用户或机构间设置有接口，在获取相关信息之前，需要通过接口向前述的用户或机构发送获取请求，并在接收到前述的用户或机构反馈的同意信息后，获取相关信息。
下面结合优选的实施步骤对本发明进行说明，图1是根据本申请实施例提供的网络流量的分类的流程图，如图1所示，该方法包括如下步骤：
步骤S102，从目标网络中捕获网络流量作为目标网络流量；
步骤S104，从所述目标网络流量中提取第一流量特征，其中，所述第一流量特征携带了所述目标网络流量所包括的流量数据之间的时序关系；
步骤S106，从所述第一流量特征中提取第二流量特征，其中，所述第二流量特征携带了所述第一流量特征之间的依赖关系；
步骤S108，对所述第二流量特征进行分类，得到所述目标网络流量对应的目标流量类型，其中，所述目标流量类型用于指示产生所述目标网络流量的应用。
可选地，在本申请实施例提供的网络流量的分类方法中，目标网络可以但不限于是同时存在多个应用运行的网络，比如，目标网络可以但不限于同时运行：应用A，应用B、应用C，应用D，应用E，等等。
可选的，在本申请实施例提供的网络流量的分类中，目标网络流量可以但不限于是由目标网络中流通的不同类型的流量的混合，本申请的方案目的和功能在于可以将目标网络流量中的数据包进行分类，确定目标网络流量中不同流量类型的占比，并根据不同流量类型的占比和软件应用的重要程度，合理利用网络资源，比如，图2是根据本申请实施例提供的目标网络流量的类型的示意图，如图2所示，目标网络流量运行的网络包括：应用A，应用B、应用C，应用D，应用E，通过捕获目标网络流量中的数据包(1至n)，分别对每个数据包进行流量分类，得到每个数据包的流量类别，其中，流量类别可以但不限于指示数据包属于的应用类型，比如，应用A对应的数据包的流量类型与应用A对应的数据包的流量类型不同。之后，经过统计，可以得到目标网络流量中不同流量类型的占比，比如，在目标网络流量包括的数据包中，有622个来自应用A、有1251个来自应用B，等等。
可选的，在本申请实施例提供的网络流量的分类中，时序关系用于指示目标网络流量所包括的流量数据之间的时间，序列关系，属于流量的宏观特征以及各种统计行为特征。
可选的，在本申请实施例提供的网络流量的分类中，依赖关系用于指示第一流量特征的长距离依赖关系，减少特征丢失，属于对第一流量特征的高层特征。
需要说明的是，时序关系与依赖关系属于流量的宏观特征以及各种统计行为特征，不同的应用程序或协议产生的流量数据对应的宏观特征以及各种统计行为特征存在差异性，因此，依据流量的宏观特征以及各种统计行为特征对流量进行分类，不依赖于解析数据包的局部固有成分，不同于现有技术(端口识别技术和基于深度包检测技术)中通过解析数据包的固有成分，根据人为规定的匹配规则来达到分类的目的，与有效载荷完全无关，在流量分类识别的过程中更具智能化，并且，在特征提取的计算时间复杂度方面更有优势。
本申请实施例提供的网络流量的分类，通过从目标网络中捕获网络流量作为目标网络流量；从目标网络流量中提取第一流量特征，其中，第一流量特征携带了目标网络流量所包括的流量数据之间的时序关系；从第一流量特征中提取第二流量特征，其中，第二流量特征携带了第一流量特征之间的依赖关系；对第二流量特征进行分类，得到目标网络流量对应的目标流量类型，其中，目标流量类型用于指示产生目标网络流量的应用，即，将目标网络流量从目标网络中捕获之后，提取目标网络流量用于表征流量数据之间的时序关系的第一流量特征，然后从第一流量特征中提取第一流量特征之间的依赖关系作为第二流量特征，因为时序关系与依赖关系的提取过程不依赖于目标网络流量的局部固有成分，因此可以有效降低对网络流量分类方法对网络流量的局部固有成分依赖度，最后根据第二流量特征进行分类，得到目标网络流量对应的目标流量类型，解决了相关技术中网络流量分类方法对网络流量的局部固有成分依赖度过高的问题。进而达到了降低了网络流量分类方法对网络流量的局部固有成分依赖度的效果。
在一种可选的实施例中，可以但不限于通过以下方式从所述目标网络流量中提取第一流量特征：从所述目标网络流量中获取初级特征，其中，所述初级特征包括数据包长度、到达间隔时间和传输方向；从所述初级特征中提取所述第一流量特征。
可选的，在本实施例中，从所述目标网络流量中获取初级特征可以但不限于通过一些软件工具，比如：wireshark、netflow等自研软件，在网络流数据包经过的地方完成基础流量收集，这些数据集可以认为是初始流量数据集，然后，对初始的流量数据进行预处理，从收集的初始流量数据集中提取多个候选统计特征，例如数据包的个数、包长字节数、包总比特数和数据包之间的间隔时间、整条网络流的持续时间等特征得到候选特征数据集。在本方案中使用数据包长度、到达间隔时间和传输方向作为初级特征，具体选取可以根据实际需求而定，这些统计特征都属于网络流的宏观行为特征，与用于深度包检测的数据包有效载荷完全无关，在特征提取的计算时间复杂度方面更有优势。
可选的，从所述目标网络流量中获取初级特征可以但不限于是从流量数据中提取得到三个时间序列特征，即前k个数据包的长度，到达间隔时间和方向。BLSTM模型的输入是一个含有2个通道的长度为k的向量。第一个通道包含前k个数据包的到达间隔时间，第二个通道包含数据包的长度和方向的组合。对于第二个通道，正值表示从客户端到服务器的数据包的长度，负值表示从服务器到客户端的数据包的长度。此外，需要将数据进行归一化，以保证数据分布稳定，避免输入的数据偏移造成影响。
可选的，在本实施例中，从所述初级特征中提取所述第一流量特征可以但不限于将三个时间序列特征(数据包长度、到达间隔时间和传输方向)输入到BLSTM模型中，BLSTM运用正反两个方向的LSTM对输入数据进行粗粒度特征提取。
在一种可选的实施例中，可以但不限于通过以下方式从所述初级特征中提取所述第一流量特征：将所述初级特征输入目标分类模型所包括的双向长短期记忆网络层，其中，所述双向长短期记忆网络层用于分别从正向和反向对所述双向长短期记忆网络层的输入数据进行特征提取得到所述双向长短期记忆网络层的输出数据，所述双向长短期记忆网络层的输出数据中携带了所述双向长短期记忆网络层的输入数据中具有的时序关系；获取所述双向长短期记忆网络层输出的所述第一流量特征。
可选的，双向长短期记忆网络层：由前向LSTM与后向LSTM组合而成，其中，LSTM(Long Short-Term Memory，长短期记忆网络)，在本方案中可以对网络流量数据进行特征提取获得时序数据特征。
可选的，从所述初级特征中提取所述第一流量特征可以但不限于通过BLSTM模型中使用LSTM记忆单元从三个时间序列特征(数据包长度、到达间隔时间和传输方向)进行上下文信息的特征提取，其中，LSTM使用门控机制来跟踪序列的状态。Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的激活函数，将变量映射到0,1之间。下方公式中的参数W、参数b都属于模型参数。在t时刻，LSTM数据更新过程可以如下：
遗忘门可以决定细胞状态中信息的去留，能够实现对时序数据的长期记忆，其可以把上一时刻隐藏层的输出结果ht-1和当前时刻的输入xt作为输入，可以表述为：
ft＝sigmoid(Wxfxt+Whfht-1+bf)
输入门和一个tanh函数(激活函数)共同决定新信息的加入。tanh函数负责生成一个新的候选向量
Figure BDA0003625783760000061
输入门为
Figure BDA0003625783760000062
中的每一项产生一个在[0,1]内的值，控制加入新信息的多少，可以表示为：
Figure BDA0003625783760000063
it＝sigmoid(Wxixt+Whiht-1+bi)
Figure BDA0003625783760000064
输出门基于细胞状态得到神经元的输出，其能够控制过滤掉多少当前的单元状态，可以表示为：
ot＝σ(Wxoxt+Wxoht-1+bo)
最后LSTM单元的输出为ht，可以表示为：ht＝ottanh(ct)
BLSTM通过连接正反两个方向的LSTM对输入数据进行粗粒度特征提取。另外，为了防止模型在训练过程中出现过拟合问题，本文对BLSTM的输出使用了dropout，dropout可以屏蔽一部分神经元，使其不参与模型的前向传播，模型参数的更新因此不依赖于固定的神经元，从而避免了过拟合。
在一种可选的实施例中，可以但不限于通过以下方式从所述第一流量特征中提取第二流量特征：将所述第一流量特征输入所述目标分类模型所包括的时域卷积网络层，其中，所述时域卷积网络层的输出数据捕获了所述时域卷积网络层的输入数据中的长距离依赖关系；获取所述时域卷积网络层输出的所述第二流量特征。
可选的，时域卷积网络层：又称时间卷积网络TCN，一种新型的可以用来解决时间序列预测的算法在本方案中可以对第一流量特征进行高层特征的提取，得到第一流量特征的长距离依赖关系，减少特征丢失。
可选的，时域卷积网络层可以捕获ht间的长距离依赖关系，减少特征丢失，本方案可以利用TCN模型对第一流量特征进行高层特征的提取。TCN的输入是BLSTM模型的输出即为ht，其经过TCN网络后得到的结果可以如下所示：
S＝TCN(ht)
在一种可选的实施例中，在所述从所述初级特征中提取所述第一流量特征之前，所述方法还包括获取流量特征样本集，其中，所述流量特征样本集中包括标注了标签的流量特征样本，所述流量特征样本包括数据包长度样本、到达间隔时间样本和传输方向样本，所述标签包括所述流量特征样本所属于的流量类型；将所述流量特征样本输入初始分类模型，得到所述初始分类模型输出的分类结果，其中，所述初始分类模型包括依次连接的初始双向长短期记忆网络层和初始时域卷积网络层；将所述分类结果和所述标签输入所述初始分类模型的目标损失函数，得到目标损失值；根据所述目标损失值对所述初始双向长短期记忆网络层的模型参数和所述初始时域卷积网络层的模型参数进行调整直至所述目标损失值收敛，得到所述目标分类模型。
可选的，获取流量特征样本集可以但不限于通过以下方式：首先获取QUIC数据集，然后，可以从QUIC数据集中提取数据包的长度，到达间隔时间和方向三种时间序列特性，并组成新的数据集，之后可以将所组成的新数据集的80％用于训练，20％用于测试，其中，为了有效对QUIC流量分类任务进行评估，可以使用准确率(Accuracy)作为模型的评价指标，以便能够在同一标准下对模型进行评估。
可选的，目标损失函数可以但不限于为任何可以评价模型的预测值和真实值不一样的程度的函数，本方案中可以使用交叉熵损失函数(Cross-entropy loss function)计算模型分类的准确率，除此之外，还可以根据需求选择使用“绝对值损失函数、log对数损失函数、平方损失函数、指数损失函数(exponential loss)、Hinge损失函数、感知损失(perceptron loss)函数等等”损失函数对模型的准确率进行评估。
在一种可选的实施例中，可以但不限于通过以下方式将所述分类结果和所述标签输入所述初始分类模型的目标损失函数，得到目标损失值：获取多个分类任务对应的多个损失函数作为所述目标损失函数，其中，所述多个分类任务包括流量类型分类任务，流量带宽分类任务和流量持续时间分类任务，所述分类结果包括与所述多个分类任务一一对应的多个子分类结果，所述标签还包括流量带宽类型和流量持续时间类型；将所述多个子分类结果和每个子分类结果对应的标签分别输入每个子分类结果对应的损失函数，得到多个损失值作为所述目标损失值。
可选的，所述多个分类任务包括流量类型分类任务，流量带宽分类任务和流量持续时间分类任务可以但不限于是将流量类型分类任务作为主任务，将流量带宽分类任务和流量持续时间分类任务作为辅助任务，利用不同任务之间的相似性，同时解决多个不同任务，提高效率，多个目标联合起来学习数据特征，可以学习出一个共同特征，适用于这多个目标分类结果，属于迁移学习一种，基于多任务训练模型可以增强模型的泛化能力，避免模型处理任务单一，其中，本方案中可以但不限于使用softmax函数进行对流量进行分类。
可选的，多任务学习可以将“流量带宽分类任务和流量持续时间分类任务”作为辅助任务，图3是根据本申请实施例提供的多任务学习的示意图，如图3所示，可以但不限于将带宽(Bandwidth)分为五类、将流的持续时间(Duration)分为四类。
可选的，多个分类任务包括的主任务(Task1)和两个辅助任务(Task2、Task3)之间需要有相关性，主任务和辅助任务之间可以存在相互促进的关系，其中，多个任务之间共享模型空间(隐藏层)和参数，同时保留几个特定任务的输出层来实现。降低过拟合风险，可以在学习过程中共享其们所学习的信息，有助于改善模型的学习能力。
在一种可选的实施例中，可以但不限于通过以下方式对所述第二流量特征进行分类，得到所述目标网络流量对应的目标流量类型：为所述第二流量特征所包括的每个元素分配特征权重，其中，所述特征权重用于指示所述每个元素对于所述目标流量类型的参考度；计算所述第二流量特征所包括元素的加权和，得到流量特征向量；对所述流量特征向量进行分类，得到所述目标流量类型。
可选的，在本申请实施例提供的网络流量的分类中，目标流量类型可以但不限于基于流量的来源进行分类，比如，如果数据包来源于应用A，那么，数据包的目标流量类型可以但不限于属于类型A；如果数据包来源于应用B，那么，数据包的目标流量类型可以但不限于属于类型B。
可选的，为所述第二流量特征所包括的每个元素分配特征权重可以但不限于使用Attention机制计算每个时序数据特征的权重，然后将所有的时序的向量进行加权和作为特征向量，通过Attention机制可以使得分类聚焦于细粒度特征的识别上，使模型更关注于重点信息，提升模型的性能。
可选的，对所述流量特征向量进行分类可以但不限于将TCN提取出的第二流量特征输入至全连接层，进行特征融合。最后计算出每一个流量类别的概率，并以概率最大的类别作为预测标签。
作为一种可选的实施例，图4是根据本申请实施例提供的网络流量的模型分类的流程图，如图4所示，首先提取流量数据中数据包的长度，到达间隔时间和方向三个特征，并将这三个时间序列特征输入到BLSTM模型中，BLSTM运用正反两个方向的LSTM对输入数据进行粗粒度特征提取。使用TCN模型对数据的细粒度特征进行高层次的特征提取，然后使用Attention机制聚焦于细粒度特征的识别上，并与全连接层进行特征融合。最后计算出每一个流量类别的概率，并以概率最大的类别作为预测标签，在该模型中同样使用预测带宽和流的持续时间作为流量分类任务的辅助任务。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种网络流量的分类装置，需要说明的是，本申请实施例的网络流量的分类装置可以用于执行本申请实施例所提供的用于网络流量的分类方法。以下对本申请实施例提供的网络流量的分类装置进行介绍。
图5是根据本申请实施例的网络流量的分类装置的示意图。如图5所示，该装置包括：捕获模块502、第一提取模块504、第二提取模块506，分类模块508其中：
捕获模块502，用于从目标网络中捕获网络流量作为目标网络流量；
第一提取模块504，用于从所述目标网络流量中提取第一流量特征，其中，所述第一流量特征携带了所述目标网络流量所包括的流量数据之间的时序关系；
第二提取模块506，用于从所述第一流量特征中提取第二流量特征，其中，所述第二流量特征携带了所述第一流量特征之间的依赖关系；
分类模块508，用于对所述第二流量特征进行分类，得到所述目标网络流量对应的目标流量类型，其中，所述目标流量类型用于指示产生所述目标网络流量的应用。
可选地，在本申请实施例提供的网络流量的分类装置中，捕获模块502，从目标网络中捕获网络流量作为目标网络流量；第一提取模块504，从所述目标网络流量中提取第一流量特征，其中，所述第一流量特征携带了所述目标网络流量所包括的流量数据之间的时序关系；第二提取模块506，从所述第一流量特征中提取第二流量特征，其中，所述第二流量特征携带了所述第一流量特征之间的依赖关系；分类模块508，对所述第二流量特征进行分类，得到所述目标网络流量对应的目标流量类型，其中，所述目标流量类型用于指示产生所述目标网络流量的应用，即，将目标网络流量从目标网络中捕获之后，提取目标网络流量用于表征流量数据之间的时序关系的第一流量特征，然后从第一流量特征中提取第一流量特征之间的依赖关系作为第二流量特征，因为时序关系与依赖关系的提取过程不依赖于目标网络流量的局部固有成分，因此可以有效降低对网络流量分类方法对网络流量的局部固有成分依赖度，最后根据第二流量特征进行分类，得到目标网络流量对应的目标流量类型，解决了相关技术中网络流量分类方法对网络流量的局部固有成分依赖度过高的问题。进而达到了降低了网络流量分类方法对网络流量的局部固有成分依赖度的效果。
所述网络流量的分类装置包括处理器和存储器，上述单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现降低了网络流量分类方法对网络流量的局部固有成分依赖度的效果。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现所述网络流量的分类方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述网络流量的分类方法。
图6是根据本申请实施例的电子设备的示意图，如图6所示，本发明实施例提供了一种电子设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：从目标网络中捕获网络流量作为目标网络流量；从所述目标网络流量中提取第一流量特征，其中，所述第一流量特征携带了所述目标网络流量所包括的流量数据之间的时序关系；从所述第一流量特征中提取第二流量特征，其中，所述第二流量特征携带了所述第一流量特征之间的依赖关系；对所述第二流量特征进行分类，得到所述目标网络流量对应的目标流量类型，其中，所述目标流量类型用于指示产生所述目标网络流量的应用。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
从目标网络中捕获网络流量作为目标网络流量；
从所述目标网络流量中提取第一流量特征，其中，所述第一流量特征携带了所述目标网络流量所包括的流量数据之间的时序关系；
从所述第一流量特征中提取第二流量特征，其中，所述第二流量特征携带了所述第一流量特征之间的依赖关系；
对所述第二流量特征进行分类，得到所述目标网络流量对应的目标流量类型，其中，所述目标流量类型用于指示产生所述目标网络流量的应用。
可选的，上述计算机程序产品还适于执行初始化有如下方法步骤的程序：
从所述目标网络流量中获取初级特征，其中，所述初级特征包括数据包长度、到达间隔时间和传输方向；
从所述初级特征中提取所述第一流量特征。
可选的，上述计算机程序产品还适于执行初始化有如下方法步骤的程序：
将所述初级特征输入目标分类模型所包括的双向长短期记忆网络层，其中，所述双向长短期记忆网络层用于分别从正向和反向对所述双向长短期记忆网络层的输入数据进行特征提取得到所述双向长短期记忆网络层的输出数据，所述双向长短期记忆网络层的输出数据中携带了所述双向长短期记忆网络层的输入数据中具有的时序关系；
获取所述双向长短期记忆网络层输出的所述第一流量特征。
可选的，上述计算机程序产品还适于执行初始化有如下方法步骤的程序：
将所述第一流量特征输入所述目标分类模型所包括的时域卷积网络层，其中，所述时域卷积网络层的输出数据捕获了所述时域卷积网络层的输入数据中的长距离依赖关系；
获取所述时域卷积网络层输出的所述第二流量特征。
可选的，上述计算机程序产品还适于执行初始化有如下方法步骤的程序：
获取流量特征样本集，其中，所述流量特征样本集中包括标注了标签的流量特征样本，所述流量特征样本包括数据包长度样本、到达间隔时间样本和传输方向样本，所述标签包括所述流量特征样本所属于的流量类型；
将所述流量特征样本输入初始分类模型，得到所述初始分类模型输出的分类结果，其中，所述初始分类模型包括依次连接的初始双向长短期记忆网络层和初始时域卷积网络层；
将所述分类结果和所述标签输入所述初始分类模型的目标损失函数，得到目标损失值；
根据所述目标损失值对所述初始双向长短期记忆网络层的模型参数和所述初始时域卷积网络层的模型参数进行调整直至所述目标损失值收敛，得到所述目标分类模型。
可选的，上述计算机程序产品还适于执行初始化有如下方法步骤的程序：
获取多个分类任务对应的多个损失函数作为所述目标损失函数，其中，所述多个分类任务包括流量类型分类任务，流量带宽分类任务和流量持续时间分类任务，所述分类结果包括与所述多个分类任务一一对应的多个子分类结果，所述标签还包括流量带宽类型和流量持续时间类型；
将所述多个子分类结果和每个子分类结果对应的标签分别输入每个子分类结果对应的损失函数，得到多个损失值作为所述目标损失值。
可选的，上述计算机程序产品还适于执行初始化有如下方法步骤的程序：
为所述第二流量特征所包括的每个元素分配特征权重，其中，所述特征权重用于指示所述每个元素对于所述目标流量类型的参考度；
计算所述第二流量特征所包括元素的加权和，得到流量特征向量；
对所述流量特征向量进行分类，得到所述目标流量类型。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种网络流量的分类，其特征在于，包括：
从目标网络中捕获网络流量作为目标网络流量；
从所述目标网络流量中提取第一流量特征，其中，所述第一流量特征携带了所述目标网络流量所包括的流量数据之间的时序关系；
从所述第一流量特征中提取第二流量特征，其中，所述第二流量特征携带了所述第一流量特征之间的依赖关系；
对所述第二流量特征进行分类，得到所述目标网络流量对应的目标流量类型，其中，所述目标流量类型用于指示产生所述目标网络流量的应用。
2.根据权利要求1所述的方法，其特征在于，所述从所述目标网络流量中提取第一流量特征，包括：
从所述目标网络流量中获取初级特征，其中，所述初级特征包括数据包长度、到达间隔时间和传输方向；
从所述初级特征中提取所述第一流量特征。
3.根据权利要求2所述的方法，其特征在于，所述从所述初级特征中提取所述第一流量特征，包括：
将所述初级特征输入目标分类模型所包括的双向长短期记忆网络层，其中，所述双向长短期记忆网络层用于分别从正向和反向对所述双向长短期记忆网络层的输入数据进行特征提取得到所述双向长短期记忆网络层的输出数据，所述双向长短期记忆网络层的输出数据中携带了所述双向长短期记忆网络层的输入数据中具有的时序关系；
获取所述双向长短期记忆网络层输出的所述第一流量特征。
4.根据权利要求3所述的方法，其特征在于，所述从所述第一流量特征中提取第二流量特征，包括：
将所述第一流量特征输入所述目标分类模型所包括的时域卷积网络层，其中，所述时域卷积网络层的输出数据捕获了所述时域卷积网络层的输入数据中的长距离依赖关系；
获取所述时域卷积网络层输出的所述第二流量特征。
5.根据权利要求4所述的方法，其特征在于，在所述从所述初级特征中提取所述第一流量特征之前，所述方法还包括：
获取流量特征样本集，其中，所述流量特征样本集中包括标注了标签的流量特征样本，所述流量特征样本包括数据包长度样本、到达间隔时间样本和传输方向样本，所述标签包括所述流量特征样本所属于的流量类型；
将所述流量特征样本输入初始分类模型，得到所述初始分类模型输出的分类结果，其中，所述初始分类模型包括依次连接的初始双向长短期记忆网络层和初始时域卷积网络层；
将所述分类结果和所述标签输入所述初始分类模型的目标损失函数，得到目标损失值；
根据所述目标损失值对所述初始双向长短期记忆网络层的模型参数和所述初始时域卷积网络层的模型参数进行调整直至所述目标损失值收敛，得到所述目标分类模型。
6.根据权利要求5所述的方法，其特征在于，所述将所述分类结果和所述标签输入所述初始分类模型的目标损失函数，得到目标损失值，包括：
获取多个分类任务对应的多个损失函数作为所述目标损失函数，其中，所述多个分类任务包括流量类型分类任务，流量带宽分类任务和流量持续时间分类任务，所述分类结果包括与所述多个分类任务一一对应的多个子分类结果，所述标签还包括流量带宽类型和流量持续时间类型；
将所述多个子分类结果和每个子分类结果对应的标签分别输入每个子分类结果对应的损失函数，得到多个损失值作为所述目标损失值。
7.根据权利要求1所述的方法，其特征在于，所述对所述第二流量特征进行分类，得到所述目标网络流量对应的目标流量类型，包括：
为所述第二流量特征所包括的每个元素分配特征权重，其中，所述特征权重用于指示所述每个元素对于所述目标流量类型的参考度；
计算所述第二流量特征所包括元素的加权和，得到流量特征向量；
对所述流量特征向量进行分类，得到所述目标流量类型。
8.一种网络流量的分类装置，其特征在于，包括：
捕获模块，用于从目标网络中捕获网络流量作为目标网络流量；
第一提取模块，用于从所述目标网络流量中提取第一流量特征，其中，所述第一流量特征携带了所述目标网络流量所包括的流量数据之间的时序关系；
第二提取模块，用于从所述第一流量特征中提取第二流量特征，其中，所述第二流量特征携带了所述第一流量特征之间的依赖关系；
分类模块，用于对所述第二流量特征进行分类，得到所述目标网络流量对应的目标流量类型，其中，所述目标流量类型用于指示产生所述目标网络流量的应用。
9.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的网络流量的分类方法。
10.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任意一项所述的网络流量的分类方法。
CN202210469044.3A 2022-04-29 2022-04-29 网络流量的分类、装置、存储介质及电子设备 Active CN114745335B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210469044.3A CN114745335B (zh) 2022-04-29 2022-04-29 网络流量的分类、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210469044.3A CN114745335B (zh) 2022-04-29 2022-04-29 网络流量的分类、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN114745335A true CN114745335A (zh) 2022-07-12
CN114745335B CN114745335B (zh) 2023-10-03

Family

ID=82285672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210469044.3A Active CN114745335B (zh) 2022-04-29 2022-04-29 网络流量的分类、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN114745335B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115118653A (zh) * 2022-08-26 2022-09-27 南京可信区块链与算法经济研究院有限公司 一种基于多任务学习的实时业务流量分类方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112367334A (zh) * 2020-11-23 2021-02-12 中国科学院信息工程研究所 网络流量识别方法、装置、电子设备和存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112367334A (zh) * 2020-11-23 2021-02-12 中国科学院信息工程研究所 网络流量识别方法、装置、电子设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115118653A (zh) * 2022-08-26 2022-09-27 南京可信区块链与算法经济研究院有限公司 一种基于多任务学习的实时业务流量分类方法及系统

Also Published As

Publication number Publication date
CN114745335B (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
Jiang et al. Mainstream: Dynamic {Stem-Sharing} for {Multi-Tenant} Video Processing
Li et al. Traffic identification of mobile apps based on variational autoencoder network
CN108335693A (zh) 一种语种识别方法以及语种识别设备
Liu et al. Fine-grained flow classification using deep learning for software defined data center networks
JP2022520000A (ja) データ処理方法、データ処理装置、コンピュータプログラム及び電子装置
CN107392311A (zh) 序列切分的方法和装置
Kim et al. Deep RNN-based network traffic classification scheme in edge computing system
CN115118653A (zh) 一种基于多任务学习的实时业务流量分类方法及系统
CN114745335B (zh) 网络流量的分类、装置、存储介质及电子设备
Mendieta et al. A novel application/infrastructure co-design approach for real-time edge video analytics
Chen et al. Real-time Network Intrusion Detection via Decision Transformers
Zhang et al. Multi-granularity mobile encrypted traffic classification based on fusion features
Zhao et al. TrCMP: A dependable app usage inference design for user behavior analysis through cyber-physical parameters
CN112801156B (zh) 用于人工智能机器学习的业务大数据采集方法及服务器
CN112749851B (zh) 基于人工智能的大数据需求预测方法及大数据云服务中心
Bahuguna et al. User profiling using smartphone network traffic analysis
Niu et al. Open Set Domain Adaptation via Instance Affinity Metric and Fine-grained Alignment for Remote Sensing Scene Classification
CN115858911A (zh) 信息推荐方法、装置、电子设备及计算机可读存储介质
CN115587297A (zh) 构建图像识别模型和图像识别的方法、装置、设备及介质
Ma et al. Bi-ETC: A Bidirectional Encrypted Traffic Classification Model Based on BERT and BiLSTM
Qian et al. CABIN: a novel cooperative attention based location prediction network using internal-external trajectory dependencies
Sayed-Mouchaweh Learning from Data Streams in Evolving Environments: Methods and Applications
CN111667028A (zh) 一种可靠负样本确定方法和相关装置
CN115051955B (zh) 一种基于三重特征选择和增量学习的在线流分类方法
Yan et al. HESAVE: an approach for online heuristic GPS trajectory sampling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant