CN109831392B

CN109831392B - 半监督网络流量分类方法

Info

Publication number: CN109831392B
Application number: CN201910161343.9A
Authority: CN
Inventors: 陈双武; 李檀; 杨坚; 姚振; 陈翔
Original assignee: University of Science and Technology of China USTC
Current assignee: Hefei Wangyi Technology Co ltd
Priority date: 2019-03-04
Filing date: 2019-03-04
Publication date: 2020-10-27
Anticipated expiration: 2039-03-04
Also published as: CN109831392A

Abstract

本发明公开了一种半监督网络流量分类方法，包括：预先使用一定数量的网络流量数据无监督的训练特征提取模块，以及使用若干有标签网络流量数据和一定数量的无标签网络流量数据无监督的训练半监督流量分类模块；利用训练好的特征提取模块从原始网络流量数据中提取隐含表达特征，再利用训练好的半监督流量分类模块，基于提取到的隐含表达特征对相应原始网络流量数据进行分类。该方法通过自动提取网络流量的隐含表达特征，克服了过于依赖人为制定特征的问题；同时，半监督方法仅需要少量有标签网络流量数据和大量无标签网络流量数据即可构建流量分类器，克服了无法获取大量可靠数据集的困难。

Description

半监督网络流量分类方法

技术领域

本发明涉及计算机网络技术领域，尤其涉及一种半监督网络流量分类方法。

背景技术

随着大数据时代的到来，新型互联网应用层出不行，网络的组成成分也日益复杂。为了能够更好地实施网络管理及网络安全措施，网络管理者需要对海量的网络流量类型及其安全等级进行感知。在过去的十几年中，网络流量分类方法对优化网络配置，减少网络安全风险以及提高用户服务质量起到了重要作用。

传统的网络流量分类方法可以分为以下三类：

基于端口号的方法：该方法的原理是根据IANA(Internet Assigned NumbersAuthority)发布的Service Name and Transport Protocol Port Number Registry中端口号与特定应用的映射表，通过读取网络数据包包头中16位的端口号信息来确定未知流量的类别。这种分类方法原理简单，只需要在网络流中确定某个数据包头的源、目的端口的数值与端口映射表相比较即可，具有较低的时间复杂度，易于实现。但该方法面临以下问题：有些应用使用动态端口，在数据传输中端口不断变化；端口伪造技术的发展使得一些应用程序使用其他知名端口进行数据传输，进而造成误判；一些P2P应用在端口号中随机进行选择无固定端口号。上述种种问题使得基于端口的分类方法的准确率较低。

基于深度包检测(DPI，Deep Packet Inspection)的方法通过匹配各种网络业务的应用层报文特征来进行对未知流量的识别。该方法可以有效克服动态端口、端口伪造等问题带来的干扰，具有较高的识别准确率，但仍存在以下几种问题：特征匹配算法复杂度高，面对庞大的数据量往往无法收敛；该方法只能分析明文传输的数据流量，对于现在很多应用实施的加密流量则无法进行解析；该方法将分析用户所传输的具体内容，可能会对用户的隐私造成侵犯。

基于机器学习(Machine Learning)的方法基于网络流量的统计特征进行对未知流量的识别。常见的流统计特征有：包大小、包到达时间间隔、网络空闲和活跃时间等等。以上述统计特征表示的网络流量作为机器学习模型的输入，通过一定的训练方法可以实现基于机器学习模型的网络流量识别。常见的机器学习算法，如支持向量机(SVM，SupportVector Machines)、朴素贝叶斯(

Bayes)和决策树(DT,Decision Tree)等已经被用于网络流量识别工作中。但是，基于流统计特征的机器学习识别方法需要大量带有标签的经验数据来训练构造分类器，获取大量带标签的数据需要耗费大量人力物力，且标签的准确性尚有待考证。

发明内容

本发明的目的是提供一种半监督网络流量分类方法，具有较高的分类识别准确度。

本发明的目的是通过以下技术方案实现的：

一种半监督网络流量分类方法，包括：

预先使用一定数量的网络流量数据无监督的训练特征提取模块，以及使用若干有标签网络流量数据和一定数量的无标签网络流量数据无监督的训练半监督流量分类模块；

利用训练好的特征提取模块从原始网络流量数据中提取隐含表达特征，再利用训练好的半监督流量分类模块，基于提取到的隐含表达特征对相应原始网络流量数据进行分类。

由上述本发明提供的技术方案可以看出，通过自动提取网络流量的隐含表达特征，克服了过于依赖人为制定特征的问题；同时，半监督方法仅需要少量有标签网络流量数据和大量无标签网络流量数据即可构建流量分类器，克服了无法获取大量可靠数据集的困难。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种半监督网络流量分类方法的框架示意图；

图2为本发明实施例提供的特征识别模块示意图；

图3为本发明实施例提供的针对有标签网络流量数据的识别模型示意图；

图4为本发明实施例提供的针对未标签网络流量数据的识别模型示意图；

图5为本发明实施例提供的流量分类示例的示意图；

图6为本发明实施例提供的特征提取结果示意图；

图7为本发明实施例提供的流量识别准确率示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

由于现有的基于规则的网络流量分类方法，面临动态端口、端口伪造技术及流量加密等方面的问题，可识别的流量种类有限且准确率不高；同时，基于流统计特征的机器学习识别方法需要大量带有标签的经验数据来训练构造分类器，获取大量带标签的数据需要耗费大量人力物力，且标签的准确性尚有待考证。因此，本发明提出一种基于深度生成模型的半监督网络流量分类方法，通过生成模型自动提取网络流量的隐含表达特征，克服了过于依赖人为制定特征的问题；同时，半监督方法仅需要少量有标签网络流量数据和大量无标签网络流量数据即可构建流量分类器，克服了无法获取大量可靠数据集的困难。

本发明实施例提供的一种基于深度生成模型的半监督网络流量分类方法主要包括：

1、预先使用一定数量的网络流量数据无监督的训练特征提取模块，以及使用若干有标签网络流量数据和一定数量的无标签网络流量数据无监督地训练半监督流量分类模块；

2、利用训练好的特征提取模块从原始网络流量数据中提取隐含表达特征(即网络流量表达特征)，再利用训练好的半监督流量分类模块，基于提取到的隐含表达特征对相应原始网络流量数据进行分类。

该方法的整体框架如图1所示。为了便于理解，下面针对特征提取模块与半监督流量分类模块分别进行详细的介绍。

一、特征提取模块。

本发明实施例中，采用变分自动编码器(Variational Auto Encoder)作为特征提取模块，用于从网络流量数据(n字节网络数据包构成的向量)中提取表达特征。

原理如下：变分自动编码器的目标是实现样本重构，对特征提取模块进行训练的目的是最小化重构误差；所述特征提取模块包括：第一编码器与第一解码器；所述第一编码器将原始网络流量数据从高维空间映射至低维的特征空间；所述第一解码器将数据从低维的特征空间重构至高维空间。

此处主要体现的是第一编码器对数据进行降维操作，即由高维将至低维；高维空间与低维的特征空间的具体维度数可以由用户按照经验或者需求来设定，本发明并不对具体的维度数做限制。示例性的，高维空间可以是784维，低维的特征空间可以低于20维。

下面针对第一编码器与第一解码器的原理、第一编码器与第一解码器的优化方式、以及特征提取过程进行介绍。

1、第一编码器。

本发明实施例中，将网络流量数据建模为如下集合形式：(X,Y)＝{(x₁,y₁),(x₂,y₂),...,(x_N,y_N)}，其中

表示第i条网络流量数据，N网络流量数据总数，y_i∈{1,...,L}表示第i条网络流量数据的类型，第i条网络流量数据隐含表达特征记为z_i；后文介绍时所涉及的各项数据形式均采用上述定义。本领域技术人员可以理解，根据网络流量数据的类型的不同可以分别约定不同的数值，因而通过y_i∈{1,...,L}的具体数值可以获知相应的类型。

所述第一编码器(也称为第一识别模型)为概率编码器，如图2所示，其输入为原始网络流量，其中

为x_i的6个分量，h1～h4为组成神经网络隐含层的神经元，输出为关于隐含表达特征的后验概率分布，其中

为z_i的两个分量。将其定义为表达特征分布。

选择高斯分布N(.)作为隐含表达特征的后验概率分布的约束形式：

q_φ(z_i|x_i)＝N(z_i|μ_φ(x_i),diag(σ_φ ²(x_i)))

概率编码器使用深度神经网络建立，输入为网络流量数据x_i，输出为高斯分布的参数(与隐含表达特征记z_i相关)，高斯分布的均值μ_φ(x_i)与方差diag(σ_φ ²(x_i)均为关于网络流量数据x_i和概率编码器参数φ(即构成概率编码器的神经网络的所有参数)的函数，可选取多层感知机(MLP，Multi-Layer Perceptron)作为概率编码器的具体构成形式。

2、第一解码器。

所述第一解码器(也称为第一生成模型)为概率解码器，其输入为网络流量数据隐含表达特征z_i，如图2所示，输出为重构后的网络流量数据

其中

为

的6个分量，概率解码器的表达形式为：

其中，

是一个似然函数，使用深度神经网络建立，所述似然函数为网络流量数据隐含表达特征z_i与概率解码器参数θ(即构成概率解码器的神经网络的所有参数)的函数。

3、优化第一编码器与第一解码器。

本发明实施例中，训练特征提取模块也即优化概率编码器参数φ以及概率解码器参数θ。采用随机梯度变分贝叶斯方法(SGVB，Stochastic Gradient Variational Bayes)来优化参数φ以及参数θ，利用对数最大似然法，最大化如下对数似然函数：

其中，p_θ(x_i)是似然函数，表示在概率解码器参数θ下网络流量数据x_i的出现概率；

最优的参数θ为使得模型产生出观测数据概率最大的一组参数，此处直接优化logp_θ(x_i)是不可行的，因此转而优化它的下界。由于：

logp_θ(x_i)＝KL(q_φ(z_i|x_i)||p_θ(z_i|x_i))+L(θ,φ；x_i)

其中，

p_θ(z_i|x_i)为给定输入x_i时，在概率解码器参数θ下得到的关于z_i的概率分布，但直接计算复杂分布p_θ(z_i|x_i)不可行，因此采用变分推断的方法，构造上文中的第一编码器q_φ(z_i|x_i)来近似p_θ(z_i|x_i)。上式中KL散度KL(q_φ(z_i|x_i)||p_θ(z_i|x_i))的作用是衡量q_φ(z_i|x_i)与p_θ(z_i|x_i)的相似程度；由于KL散度非负，当q_φ(z_i|x_i)与p_θ(z_i|x_i)一致时(允许在一个零测集上不一致)，KL散度为0，则始终有logp_θ(x_i)≥L(θ,φ；x_i)，于是L(θ,φ；x_i)称为对数似然函数的变分下界。

将L(θ,φ；x_i)看作由KL散度约束项KL(q_φ(z_i|x_i)||p_θ(z_i))和重构误差项

组成，分别进行计算。

对于第一项KL散度约束项，用于约束第一编码器的隐含表达特征z_i尽量地逼近已知先验分布形式，即标准高斯分布p_θ(z_i)＝N(0,I)，由于q_φ(z_i|x_i)和p_θ(z_i)均为高斯分布，则KL散度约束项通过下式计算：

其中，KL为KL散度符号；N(0,I)表示标准高斯分布；

第二项可以看成是重构误差项，其中q_φ(z_i|x_i)相当于第一编码器给定网络数据数据x_i输出隐含表达特征z_i，

相当于第一解码器输出重构样本

为计算该式，需要从表达特征分布中对z_i进行采样计算，这项操作会导致整个优化过程不可导，因此，计算重构误差项时，对网络流量数据隐含表达特征z_i重参数化处理。

方法为构造函数z_i＝g_φ(ε,x_i)＝μ_φ(x_i)+σ_φ(x_i)⊙ε，其中ε～N(0,1)，为从标准高斯分布中采样得到的一个值，g_φ(.)为构造的与概率编码器参数φ相关的函数；这样一来，在求解梯度的时候，在ε～N(0,1)的过程中不会涉及参数φ，使得求导过程变得可微。通过重参数化能够对参数进行求导优化，同时保留从表达特征分布中随机采样的能力；确保目标函数可导后，求取梯度：

其中，M表示估算梯度所需的采样次数，

表示梯度，求取的梯度

包含了梯度

与

根据求得的梯度更新概率编码器参数φ以及概率解码器参数θ：

其中，β为参数更新步长；φ_old、φ_new分别为更新前、后的概率编码器参数φ；θ_old、θ_new分别为更新前、后的概率解码器参数θ。

4、特征提取。

当第一编码器与第一解码器通过上述方式优化完毕后，可以利用第一编码器对原始网络流量数据进行隐含表达特征的提取，该过程是完全无监督的。

二、半监督流量分类模块。

在半监督分类问题的场景下，用于训练的数据集中只有少量有标签网络流量数据和大量无标签网络流量数据，而仅仅依据少量有标签网络流量数据训练的模型泛化能力较差。为了解决这个问题，本发明提出基于深度生成模型的半监督流量分类模块。该模块是变分自动编码器的一种变形形式，如图3和图4所示。

原理如下：所述半监督流量分类模块认为所有网络流量都是由两部分变量共同生成：流量数据类型变量和其他隐含变量；所述半监督流量分类模块包括：第二编码器与第二解码器；所述第二编码器的输入为隐含表达特征，输出为流量数据类型变量和其他隐含变量；所述第二解码器输入为流量数据类型变量和其他隐含变量，输出为重构的隐含表达特征。

1、第二编码器

第二编码器也称为第二识别模型，其输入的隐含表达特征记为z_i，也即第i条网络流量数据隐含表达特征，输出的流量数据类型变量和其他隐含变量分别记为y_i与z_i'；

同样的，可以选取高斯分布N(.)作为其他隐含变量z_i'的约束形式：

q_ω(z_i'|z_i)＝N(z_i|μ_ω(z_i),diag(σ_ω ²(z_i)))

选取多项式分布作为流量数据类型变量y_i的约束形式：

q_ω(y_i|z_i)＝Cat(y_i|π_ω(z_i))

Cat(y_i|π_ω(z_i))是一个多项式分布，对于有标签网络流量数据，该项为固定值不需要进行更新学习；对于无标签网络流量数据，该项被视为隐含变量，需要由深度神经网络推断得出；高斯分布的均值μ_ω(z_i)与方差diag(σ_ω ²(z_i)和多项式分布参数π_ω(z_i)均为关于z_i和第二编码器参数ω的函数，可选取多层感知机作为第二编码器的具体构成形式。

2、第二解码器。

第二解码器，也称为第二生成模型，输入为其他隐含表达特征z_i'与流量数据类型变量y_i，输出为重构的隐含表达变量

表达形式为：

其中，

是一个似然函数，使用深度神经网络建立，所述似然函数为流量数据类型变量y_i、其他隐含变量z_i'与第二解码器参数γ的函数。

3、优化第二编码器与第二解码器。

优化第二编码器与第二解码器同样需要构造模型的变分下界，进而采用SGVB方法进行梯度下降优化求取参数的最优值。训练半监督流量分类模块时，分别针对有标签网络流量数据和无标签网络流量数据构造其优化目标函数：

1)对于有标签网络流量数据，流量数据类型变量y_i为已知值，其变分下界为L(θ,φ；x_i)的一种扩展形式，表示为：

其中，

为关于后验概率分布q_ω(z_i'|z_i)的期望，KL(q_ω(z_i'|z_i)||p_γ(z_i'))表示q_ω(z_i'|z_i)与p_γ(z_i')的KL散度；p_γ(z_i')和p_γ(y_i)用于约束第二编码器的其他隐含变量z_i'与网络流量类型变量y_i尽量地逼近已知先验分布形式，具体地，p_γ(z_i')＝N(z_i'|0,I)，p_γ(y_i)为一随机初始化的多项式分布。

2)对于未标签网络流量数据，流量数据类型变量y_i也被视作关于隐含表达特征z_i的后验概率分布，则此时输入隐含特征z_i，得到关于y_i,z_i'的联合后验概率分布q_ω(y_i,z_i'|z_i)(即q_ω(z_i'|z_i)与q_ω(y_i|z_i)的乘积)，具有不确定性，其变分下界为：

其中p_γ(z_i',y_i)用于约束第二编码器其他隐含变量z_i'与网络流量类型变量y_i尽量地逼近已知先验分布形式，其为p_γ(z_i')与p_γ(y_i)的联合分布形式。H(q_ω(y_i|z_i))表示整个数据集的熵。

定义整个数据集中有标签网络流量数据和无标签网络流量数据的分布分别为

和

则整个数据集的变分下界为：

为了提高模型的分类准确性，添加有标签网络流量数据的监督分类误差后，则半监督流量分类模块的整体优化目标函数为：

其中，

为有标签网络流量数据进行有监督分类时的损失函数，α为惩罚因子，用于调整有监督损失函数与半监督损失函数的比例。后验概率分布q_ω(y_i,z_i'|z_i)，q_ω(z_i'|z_i)为高斯分布形式，需要使其分别趋近于分布形式p_γ(z_i',y_i)和p_γ(z_i')，可以通过KL散度公式计算得出；重构误差项

为已知的y_i与z_i'，重构输出

时的损失；通过重参数化方法进行求取梯度

与

这一过程的原理与前文类似，故不再赘述。

根据求得的梯度更新第二编码器参数ω与第二解码器参数γ：

其中，β为参数更新步长；ω_old、ω_new分别为更新前、后的第二编码器参数ω；γ_old、γ_new分别为更新前、后的第二解码器参数γ。

4、流量分类预测。

当第二编码器与第二解码器通过上述方式优化完毕后，可以通过第二编码器对输入的隐含表达特征进行分类预测，从而得到相应网络流量数据对应的类别。

本发明实施例上述方案，解决了传统基于规则的方法面临的动态端口、加密流量等问题；不依赖于人为制定的流统计特征，而是采用基于深度学习的方法从原始网络流量中自动提取表达特征，新的特征空间不仅具有较低的维度且在该空间上不同种类的网络流量更易区分开来；克服了实际场景下，有标签网络流量数据难以获取而导致模型泛化能力差的问题，仅采用少量有标签网络流量数据和大量无标签网络流量数据即可对整个模型完成训练。综上所述，本发明提供了一种更为智能且符合实际场景的流量识别方法。

为了说明本发明上述方案的效果，下面结合具体示例进行说明。

如图5所示，为流量分类示例的示意图。首先采用交换机镜像技术旁路出部分网络流量，形成pacp文件存在本地。采用Tcpdump技术将pacp文件按五元组(源ip，目的ip，源端口，目的端口，协议号)分为网络数据流的形式。预先采用DPI技术对少量网络流量进行类型标注，如每类100条流量带有标签，将有标签流量和大量无标签流量混合形成数据集，有标签网络流量数据的数量大致占数据集总数的1％。首先用特征提取模块对数据集进行处理，我们选取每条流量中的前784个字节经归一化处理后作为原始高维输入，设置表达特征维数为20维，在进行智能提取特征的同时实现特征降维。采用SGVB算法不断更新模型参数，直至模型收敛，训练完成后，该模块中的第一编码器即可完成特征提取工作。

随后将提取的20维特征作为半监督流量分类模块的输入，对于已知标签，采用one-hot编码(独热编码)进行处理，对于未知标签，随机设置为相同维度的隐含变量，随学习过程不断更新。采用SGVB算法不断更新模型参数，直至模型收敛，训练完成后，该模块中的第二编码器即可完成流量分类工作，对输入的未知类型网络流量，判断其类型。

本发明在网络流量数据集ISCX-VPN、USTC-TFC2016上进行了验证，其验证效果主要分为以下几部分：

①网络流量特征提取.

如图6所示，原始网络流量经特征提取模块映射到二维空间后，在二维空间上有较好的聚类效果，即具有相同内在特征的流量聚合在一起，不同类型的流量具有较大区分度。因此，经该模块处理过的流量比原始数据更具有区分度，为后续的分类工作打下了基础。

②流量识别准确度验。

如图7所示，本发明共在4个数据集上进行了验证。其中，ISCX-vpn为协议级别数据集，包含6种不同协议类型的网络流量；USTC-Normal Traffic和USTC-Malware Traffic为应用级别数据集，分别包含10种不同的正常应用和10种异常攻击；USTC AnomalyDetection为异常检测级别数据集，包含正常和异常两种流量。

验证结果显示，当所选标注流量为每种类型20条(不足整个数据集的1％)时，四个数据集的准确率都可达85以上，当标签流量增加到每种类型50条(约占整个数据集1％)时，四个数据集的准确率都升至90％以上，当标签流量增加到每种类型200条(约占整个数据集的3％)时，四个数据集的准确率都升至95％以上，接近监督学习方法的识别结果。其中，分类器在USTC Anomaly Detection数据集上表现最好，可100％区分正常和异常流量，说明该发明在网络异常检测方面有较好的表现和应用前景。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种半监督网络流量分类方法，其特征在于，包括：

利用训练好的特征提取模块从原始网络流量数据中提取隐含表达特征，再利用训练好的半监督流量分类模块，基于提取到的隐含表达特征对相应原始网络流量数据进行分类；

其中，采用变分自动编码器作为特征提取模块，变分自动编码器的目标是实现样本重构；对特征提取模块进行训练的目的是最小化重构误差；所述特征提取模块包括：第一编码器与第一解码器；所述第一编码器将原始网络流量数据从高维空间映射至低维的特征空间；所述第一解码器将数据从低维的特征空间重构至高维空间；

所述半监督流量分类模块认为所有网络流量都是由两部分变量共同生成：流量数据类型变量和其他隐含变量；所述半监督流量分类模块包括：第二编码器与第二解码器；所述第二编码器的输入为隐含表达特征，输出为流量数据类型变量和其他隐含变量；所述第二解码器输入为流量数据类型变量和其他隐含变量，输出为重构的隐含表达特征；优化第二编码器与第二解码器需要构造模型的变分下界，进而采用SGVB方法进行梯度下降优化求取参数的最优值；训练半监督流量分类模块时，分别针对有标签网络流量数据和无标签网络流量数据构造其优化目标函数。

2.根据权利要求1所述的一种半监督网络流量分类方法，其特征在于，所述第一编码器为概率编码器，其输入为原始网络流量，输出为关于隐含表达特征的后验概率分布，定义为表达特征分布；

将网络流量数据建模为如下集合形式：(X,Y)＝{(x₁,y₁),(x₂,y₂),...,(x_N,y_N)}，其中

表示第i条网络流量数据，N网络流量数据总数，y_i∈{1,...,L}表示第i条网络流量数据的类型，第i条网络流量数据隐含表达特征记为z_i；

q_φ(z_i|x_i)＝N(z_i|μ_φ(x_i),diag(σ²(x_i)))

概率编码器使用深度神经网络建立，输入为网络流量数据x_i，输出为高斯分布的参数，高斯分布的均值μ_φ(x_i)与方差diag(σ_φ ²(x_i)均为关于网络流量数据x_i和概率编码器参数φ的函数。

3.根据权利要求2所述的一种半监督网络流量分类方法，其特征在于，所述第一解码器为概率解码器，其输入为网络流量数据隐含表达特征z_i，输出为重构后的网络流量数据

概率解码器的表达形式为：

其中，

是一个似然函数，使用深度神经网络建立，所述似然函数为网络流量数据隐含表达特征z_i与概率解码器参数θ的函数。

4.根据权利要求3所述的一种半监督网络流量分类方法，其特征在于，训练特征提取模块也即优化概率编码器参数φ以及概率解码器参数θ；

采用随机梯度变分贝叶斯方法来优化概率编码器参数φ以及概率解码器参数θ，利用对数最大似然法，最大化如下对数似然函数：

其中，p_θ(x_i)是似然函数，表示在参数θ下网络流量数据x_i的出现概率；

定义给定输入x_i时，在概率解码器参数θ下得到的关于z_i的概率分布为p_θ(z_i|x_i)，概率编码器的q_φ(z_i|x_i)用来近似p_θ(z_i|x_i)；采用KL散度衡量q_φ(z_i|x_i)与p_θ(z_i|x_i)的相似程度，即KL(q_φ(z_i|x_i)||p_θ(z_i|x_i))，则有：

logp_θ(x_i)＝KL(q_φ(z_i|x_i)||p_θ(z_i|x_i))+L(θ,φ；x_i)

其中，

当q_φ(z_i|x_i)与p_θ(z_i|x_i)一致时，KL散度为0，则logp_θ(x_i)≥L(θ,φ；x_i)，L(θ,φ；x_i)称为对数似然函数的变分下界；

组成；

KL散度约束项通过下式计算：

其中，KL为KL散度符号，N(0,I)表示标准正态分布；

计算重构误差项时，对网络流量数据隐含表达特征z_i重参数化处理，构造z_i＝g_φ(ε,x_i)＝μ_φ(x_i)+σ_φ(x_i)⊙ε，其中ε～N(0,1)，为从标准高斯分布中采样得到的一个值，g_φ(.)为构造的与概率编码器参数φ相关的函数；通过重参数化能够对参数进行求导优化，同时保留从表达特征分布中随机采样的能力；确保目标函数可导后，求取梯度：

其中，M表示估算梯度所需的采样次数，▽_{θ,φ}表示梯度，求取的梯度▽_{θ,φ}L(θ,φ；x_i)包含了梯度▽_θL(θ,φ；x_i)与▽_φL(θ,φ；x_i)；

θ_new＝θ_old+β·▽_θL(θ,φ；x_i)

φ_new＝φ_old+β·▽_φL(θ,φ；x_i)

5.根据权利要求1所述的一种半监督网络流量分类方法，其特征在于，所述第二编码器输入的隐含表达特征记为z_i，也即第i条网络流量数据隐含表达特征，输出的流量数据类型变量和其他隐含变量分别记为y_i与z_i'；

选取高斯分布N(.)作为其他隐含变量z_i'的约束形式：

q_ω(z_i'|z_i)＝N(z_i|μ_ω(z_i),diag(σ_ω ²(z_i)))

选取多项式分布作为流量数据类型变量y_i的约束形式：

q_ω(y_i|z_i)＝Cat(y_i|π_ω(z_i))

其中，Cat(y_i|π_φ(z_i))是一个多项式分布，对于有标签网络流量数据，该项为固定值不需要进行更新学习；对于无标签网络流量数据，该项被视为隐含变量，需要由深度神经网络推断得出；高斯分布的均值μ_ω(z_i)与diag(σ_ω ²(z_i)以及多项式分布参数π_φ(z_i)均为关于z_i和第二编码器参数φ的函数。

6.根据权利要求5所述的一种半监督网络流量分类方法，其特征在于，所述第二解码器的表达形式为：

p_θ(z_i'|y_i,z_i)＝f(z_i；y,z_i',θ)

其中，p_θ(z_i'|y_i,z_i)是一个似然函数，使用深度神经网络建立，所述似然函数为流量数据类型变量y_i、其他隐含变量z_i'与第二解码器参数θ的函数。

7.根据权利要求6所述的一种半监督网络流量分类方法，其特征在于，训练半监督流量分类模块时，分别针对有标签网络流量数据和无标签网络流量数据构造其优化目标函数：

对于有标签网络流量数据，流量数据类型变量y_i为已知值，其变分下界为：