CN116244645A - 基于对比增量学习的模型训练方法及恶意流量分类方法和系统 - Google Patents

基于对比增量学习的模型训练方法及恶意流量分类方法和系统 Download PDF

Info

Publication number
CN116244645A
CN116244645A CN202211618623.6A CN202211618623A CN116244645A CN 116244645 A CN116244645 A CN 116244645A CN 202211618623 A CN202211618623 A CN 202211618623A CN 116244645 A CN116244645 A CN 116244645A
Authority
CN
China
Prior art keywords
model
learning
loss
malicious
contrast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211618623.6A
Other languages
English (en)
Inventor
郭渊博
王一丰
方晨
马佳利
李勇飞
刘盈泽
马博文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Engineering University of PLA Strategic Support Force
Original Assignee
Information Engineering University of PLA Strategic Support Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Engineering University of PLA Strategic Support Force filed Critical Information Engineering University of PLA Strategic Support Force
Priority to CN202211618623.6A priority Critical patent/CN116244645A/zh
Publication of CN116244645A publication Critical patent/CN116244645A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明属于网络信息安全技术领域，特别涉及一种基于对比增量学习的模型训练方法及细粒度恶意流量分类方法和系统，将对比学习、增量学习与恶意流量识别相结合，通过变分自编码器的编码网络来获取潜空间特征，并结合对比学习和增量学习对已知、小样本、未知和新增恶意类进行高性能细粒度的分类识别，利用变分自编码器存储和重构原任务上的知识，并结合知识蒸馏机制实现在不采用原任务上的大量训练数据的情形下，实现快速学习识别新增类的恶意流量，满足网络系统中对不断涌现的各类已知和未知威胁的防御需求。本发明能够在保证检测效率的同时，可迅速实现对新威胁的识别，并可大幅降低训练成本和数据投毒攻击的风险，满足网络信息安全中高速、高精度的恶意流量分类识别应用。

Description

基于对比增量学习的模型训练方法及恶意流量分类方法和 系统
技术领域
本发明属于网络信息安全技术领域，特别涉及一种基于对比增量学习的恶意流量模型训练方法及细粒度恶意流量分类方法和系统。
背景技术
基于流量的网络入侵检测系统(NIDS,Network Intrusion Detection Systems)是网络空间安全领域中最重要的安全设备之一，已被广泛应用于各类信息系统的防护中。并且随着移动互联网和物联网(IoT,Internet of Things)等技术的飞速发展，终端设备的种类和数量不断增多。而资源受限的终端设备由于无法部署安全软件或代理且存在较多漏洞，导致基于流量的威胁检测更为重要。这种趋势使得NIDS的重要性日益凸显。
NIDS最重要的功能是对网络流量分类以及恶意流量的识别。当前流量分类方法主要有基于端口(port-based)、基于载荷(payload inspection-based)和基于流(flow-based)的三类方法。然而，前两种方法往往难以检测如今愈发具有对抗性的网络攻击。例如，动态端口、端口混淆和端口跳变等技术使得基于端口的方法准确率大幅下降；而加密技术的广泛应用使得依赖于深度包检测(DPI,Deep Packet Inspection)技术的基于载荷的方法几乎完全失效。此外隐私和计算开销等问题也是基于载荷的方法的缺点。而基于流的方法不存在上述问题，并且随着机器学习(Machine Learning)的蓬勃发展，这类方法由于其具有使用场景广、分类性能高、可识别加密流量等优点，已经成为现今最为流行的方法。
然而，现有基于机器学习的方法虽然性能较高，但其训练过程受制于固定数据。而实际中各种新类型应用或威胁持续不断涌现，产生各种新类型的良性或恶意流量，传统方法难以应对。并且细粒度的流量识别也很有必要，在流式恶意流量识别中，更细粒度的分类能够提供更多威胁相关信息，有助于安全专家快速响应。但是，细粒度流量识别中往往存在小样本类的情况，如何在使得检测模型能够同时高性能、细粒度地识别已知、小样本、未知和新增类恶意流量，是恶意流量识别领域中需要解决的问题。
发明内容
为此，本发明提供一种基于对比增量学习的模型训练方法及细粒度恶意流量分类方法和系统，解决现有细粒度识别已知、小样本、未知和新增类恶意流量困难等问题，以流量视角为大型网络系统和关键基础设施的安全防护有效的技术手段。
按照本发明所提供的设计方案，提供一种基于对比增量学习的模型训练方法，包含如下内容：
利用变分自编码器中的编码网络获取样本数据的潜空间特征，基于变分自编码器中的解码网络重构样本数据，基于样本数据和重构样本数据来构建变分自编码器重构损失；
利用角投影层将潜空间特征投影到超球面上，得到样本数据对应的超球面角距离特征，利用分类器对角距离特征进行分类，并基于分类输出和样本数据已有标签来构建分类器损失；
基于重构损失和分类器损失，并引入基于编码网络正负特征空间的对比学习损失来构建获取模型训练的总损失函数，基于总损失函数对模型进行训练。
作为本发明中基于对比增量学习的模型训练方法，进一步地，基于样本数据和重构样本数据之间的均方误差构建变分自编码器重构损失，包含：设置潜空间特征的后验概率分布服从高斯分布，利用样本数据与重构样本数据之间的均方误差来构建重构损失。
作为本发明中基于对比增量学习的模型训练方法，进一步，还包含：构建样本数据和重构样本数据之间的差值向量，以基于极值理论模型来识别未知恶意类别。
作为本发明中基于对比增量学习的模型训练方法，进一步，分类器损失中，基于分类输出和样本数据已有标签，并采用A-Softmax函数来构建分类器损失；对比学习损失采用InfoNCE损失来表示。
作为本发明基于对比增量学习的模型训练方法，进一步地，总损失函数LAll表示为：LAll＝Lvae+αL Ang+βL Cont，其中，α、β为权重超参数，Lvae、L Ang、L Cont分别表示重构损失、分类器损失、对比学习损失。
作为本发明基于对比增量学习的模型训练方法，进一步地，还包含：利用知识蒸馏来迁移已训练模型中的网络参数、良性类别、恶意类训练样本及变分自编码器的正态分布，并联合新增类别样本数据来联合构建新的模型损失函数，并利用新的模型损失函数来联合训练新的分类模型，其中，新的模型损失函数LAll表示为：LAll＝Lvae+αL Ang+βL Cont+γLsoft，α、β、γ为权重超参数，Lvae、L Ang、L Cont、Lsoft分别表示重构损失、分类器损失、对比学习损失、知识蒸馏软决策向量学习损失。
进一步地，本发明还提供一种基于对比增量学习的细粒度恶意流量分类方法，包含如下内容：
基于对比增量学习和变分自编码器构建恶意流量分类模型，并利用上述的模型训练方法对恶意流量分类模型进行训练；
监测并收集目标网络流量，并将目标网络流量数据输入训练后的恶意流量分类模型中，利用训练后的恶意流量分类模型来分类识别目标网络流量的类别。
进一步地，本发明还提供一种基于对比增量学习的细粒度恶意流量分类系统，包含：模型构建模块和流量识别模块，其中，
模型构建模块，用于基于对比增量学习和变分自编码器构建恶意流量分类模型，并利用上述的模型训练方法对恶意流量分类模型进行训练；
流量识别模块，用于监测并收集目标网络流量，并将目标网络流量数据输入训练后的恶意流量分类模型中，利用训练后的恶意流量分类模型来分类识别目标网络流量的类别。
本发明的有益效果：
本发明将对比学习(Contrastive Learning)、增量学习(Incremental Learning)与恶意流量识别相结合，能够端到端实现对已知、小样本、未知和新增恶意类的高性能细粒度的分类识别，利用知识蒸馏机制能够在不采用原任务上的大量训练数据的情形下，也能快速学习识别新增类的恶意流量，满足网络系统中对不断涌现的各类已知和未知威胁的防御需求，通过结合对比学习与VAE模型的生成特性，实现旧类知识的存储和提取，在保证检测效率的前提下迅速实现对新威胁的识别，同时降低训练成本和数据投毒攻击的风险，满足网络信息安全中高速、高精度的恶意流量分类识别应用。
附图说明：
图1为实施例中基于对比增量学习的模型训练流程示意；
图2为实施例中恶意流量分类模型原理架构示意；
图3为实施例中细粒度恶意流量分类识别算法流程示意。
具体实施方式：
为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。
流量分类是一个开集识别(open set recognition)问题。快速增长的未知攻击(如新恶意软件变种、零日攻击以及针对IoT等新兴技术的在训练阶段未见过的各类攻击)产生了各类未知恶意流量，新一代NIDS需要能随时应对未知流量的挑战。而以往的大多流量识别方法的实验结果是在闭集上得出的，未充分考虑对未知类的检测。流量分类也是一个增量学习问题。不断新增的各类新型流量需要NIDS能持续不间断地识别。在这种场景下，检测模型需要满足当新类别在任意时间都是可训练的。而传统机器学习如果不做处理让模型连续处理分布变化的数据，会出现灾难性遗忘(Catastrophic Forgetting)问题，即学习新类别时会遗忘对旧类别知识。在实际中，以往(联合学习)方法需要维持包含所有旧类别的庞大数据集或保留所有旧任务的模型参数，可能存在数据投毒或篡改的风险。并且每次学习新类流量时，都需要重新训练模型，导致时间、维护和存储开销越来越大，难以满足对实时性的需求。当前研究缺乏对增量学习场景的考虑。流量分类还是一个细粒度小样本(C2FS,Coarse-to-Fine Few-Shot)问题。深度学习的分类性能严重依赖于训练数据的数量和质量。但在实际应用中，由于标注数据成本昂贵或未知攻击，往往没有足够标注数据可用。以往方法大多没有考虑这种需求。为此，本案实施例，参见图1所示，提供一种基于对比增量学习的模型训练方法，包含：
S101、利用变分自编码器中的编码网络获取样本数据的潜空间特征，基于潜空间特征，变分自编码器中的解码网络重构样本数据，基于样本数据和重构样本数据来构建变分自编码器重构损失；
S102、利用角投影层将潜空间特征投影到超球面上，得到样本数据对应的超球面角距离特征，利用分类器对角距离特征进行分类，并基于分类输出和样本数据已有标签来构建分类器损失；
S103、基于重构损失和分类器损失，并引入基于编码网络正负特征空间的对比学习损失来构建获取模型训练的总损失函数，基于总损失函数对模型进行训练。
通过变分自编码器的编码网络来获取潜空间特征，并引入对比学习，降低对模型训练复杂度，提升模型分类预测性能，使其同样能够适用于小样本情形下的细粒度良性、恶意、未知等细粒度流量分类识别。
进一步地，基于样本数据和重构样本数据之间的均方误差构建变分自编码器重构损失，包含：设置潜空间特征的后验概率分布服从高斯分布，利用样本数据与重构样本数据之间的均方误差来构建重构损失。基于分类输出和样本数据已有标签，并采用A-Softmax函数来构建分类器损失。基于编码网络正负特征空间的对比学习损失采用InfoNCE损失来表示。并通过构建样本数据和重构样本数据之间的差值向量，以基于极值理论模型来识别未知恶意类别。针对新任务情形下的恶意流量识别，可利用知识蒸馏来迁移已训练模型中的网络参数、良性类别、恶意类训练样本及变分自编码器的正态分布，并联合新增类别样本数据来联合构建新的模型损失函数，并利用新的模型损失函数来联合训练新的分类模型。
参见图2所示，模型整体架构分为旧任务上的恶意流量识别和新任务上的恶意流量识别两个部分。其中采用分类模型结构相同，均包含已知和未知恶意流量识别两个阶段。首先，在旧任务上，分类模型采用样本xo及其对应标签训练分类模型。在已知类识别阶段，模型采用VAE模型，并设计对比损失训练VAE编码器QE，使得不同类样本在潜特征空间中进一步区分。接着采用角投影层函数So和A-Softmax函数A将潜特征z映射到标签空间中，用分类损失训练So的参数。其次，在未知类识别阶段，模型采用重构损失训练VAE解码器QD后，用EVT实现对未知类的识别。最后，在新任务上，模型先从旧任务模型中继承初始参数，接着采用知识蒸馏(Knowledge Distillation)损失，以及旧VAE模型生成的已知恶意类样本、新增恶意类样本的联合分类损失共同训练分类模型，进而能够实现对新增类的快速识别，同时保持对旧任务类别和未知类的识别能力。图中各符号表示含义可如表1所示。
表1：主要符号
Figure BDA0004001187260000051
图2所示的旧任务上的模型结构中VAE和A-Softmax部分，目标是采用旧样本及其对应标签训练分类模型，使得其对所有Cold类样本的预测结果都尽量接近其真实标签。
首先对于给定的样本特征向量x，其潜特征z的后验分布记为p(z|x)，并假设其服从高斯分布，采用q(z|x)近似模拟。对于采用的VAE模型，其重构损失可为：
Figure BDA0004001187260000052
其中，μ,σ分别为q(z|x)的均值和标准差，计算时VAE采用编码网络QE(x)近似q(z|x)，解码网络QD(z)近似模拟P(z|x)。实际中损失函数的第一项采用原样本x与重构样本QD(QE(x))的均方误差(MSE,Mean Square Error)来衡量。
其次，可采用A-Softmax实现流量分类。对于潜特征z，采用角投影层函数So先将潜特征投影到超球面上，并采用A-Softmax函数A基于角距离分类。则该部分的分类损失可表示为：
Figure BDA0004001187260000061
其中，对于任意的
Figure BDA0004001187260000062
ψ(θ)＝(-1)kcos(mθ)-2k，m为整数超参数。
最后，为了进一步提升模型分类性能，在损失函数中引入对比学习，使得在此特征空间中同类样本尽可能接近，异类样本尽可能远离。对比学习的损失函数可以采用InfoNCE损失的形式，具体可表示如下：
Figure BDA0004001187260000063
则，对于所有旧任务上的样本对，已知阶段模型的总损失函数LAll如式(4)所示，对应于图2中的①部分：
LAll＝Lvae+αL Ang+βL Cont (4)
其中，α和β都是权重超参数。
图2中旧任务上的模型结构中EVT部分，目标是对未知恶意类U样本进行识别，本案实施例中宏，采用VAE解码器结合EVT来实现。
在VAE模型完成训练后，不同已知类样本在特征空间中应当有明显区分。若样本xi的经过分类模型预测的标签正确且被分类为良性或已知恶意类，即yi′＝yi且yi′∈{B,M1,...,Mk}，则在对比学习策略下其编码得到的潜特征QE(xi)应接近yi′类潜特征中心zyi′接近，并且其重构样本x′也应与yi′类中心的重构样本
Figure BDA0004001187260000064
接近。本案实施例中，为当前良性类和已知恶意类(B,M1,...,Mk)构建了k+1个独立的d维EVT模型来实现对未知类的识别。
EVT认为对于任意的随机变量X，其极值相对于阈值t超出的部分应服从GPD(Generalized Pareto Distribution)分布：
Figure BDA0004001187260000071
其中，γ,σ＞0。实际计算时可以采用极大似然估计方法计算参数γ,σ，对数似然函数表示如下：
Figure BDA0004001187260000072
其中，Nt表示观测数据中超过阈值t的样本数量，Xi表示观察数据。本案实施例中，采用同一类(良性或已知恶意类)样本与其类中心的误差
Figure BDA0004001187260000073
作为观察数据，计算当前yi类EVT模型参数，对应于图2中的②部分。
图2中的新任务上的模型结构部分所示，目标在上一步的旧模型基础上，不采用大量Cold类数据xi∈{xi|yi∈Cold}训练新分类模型，使得该新模型能对所有Call类样本的预测结果都尽量接近其真实标签。
为了识别当前新任务上的新增类Cnew的样本，新模型的结构以及训练流程与就旧模型基本相同。新旧模型主要不同之处在于标签向量y的维度不同(旧任务上标签维度为||Cold||，新任务上标签维度为||ColdUCnew||)。从图2中可以看出，该参数只影响角投影层函数。因此，新模型其他部分的初始参数可以直接继承旧模型的，角投影层函数Sn则需要重新初始化。
为了不采用大量原样本识别之前Cold类样本，本案实施例中，分别是基于VAE重构的模块和基于知识蒸馏的模块。首先，对于Cold类中的小样本类(F1,...,Ff)，由于其本身样本数量较少因此不会占用很多存储和计算资源；而对于良性类B，其本身能随时轻易获取也无需存储。在此场景下，小样本和良性类样本可以直接应用于新任务上，通过知识蒸馏技术来转移旧类中的已知恶意类(M1,...,Mk)知识。
首先，基于VAE重构的模块采用旧VAE的解码器生成旧类的示例样本，结构如图2所示。由于VAE能够生成与原样本接近但不同的样本，因此可以利用训练后的VAE实现旧类样本重构。具体而言，对于旧的已知恶意类(M1,...,Mk)，在模型训练完成后对其所有yi∈{M1,...,Mk}的样本xo计算编码后的潜特征z。在旧VAE模型的潜特征空间中，对于潜特征z，其在对比学习作用下类内应互相接近，类间应互相远离。对同类yi样本的潜特征计算其均值
Figure BDA0004001187260000074
和标准差/>
Figure BDA0004001187260000075
并采用高斯分布/>
Figure BDA0004001187260000076
存储每个大样本恶意类(M1,...,Mk)的知识。其中0＜λ＜1为超参数，用于缩小标准差以防重构样本过度偏离类中心。而当新任务上需要生成旧类样本时，只需从对应类的/>
Figure BDA0004001187260000081
中采样并采用旧模型解码器QD重构样本，以用于与新增类样本联合训练新模型。
基于知识蒸馏的模块采用软决策向量来学习旧模型的知识。其基本思想为对于Softmax层的输出中即使是负标签也带有大量信息。为此，本案实施例中，可采用知识蒸馏思想来构建如式(7)所示的角边界分类损失函数，用于将旧模型的知识传递到新模型中。
Figure BDA0004001187260000082
其中，
Figure BDA0004001187260000083
So为旧任务上模型的VAE编码器和角投影层函数；/>
Figure BDA0004001187260000084
Sn为新任务上模型的VAE编码器和角投影层函数；T为温度系数；A为对应的A-Softmax。并且对于新模型输出的决策向量，在此只截取Cold类的部分，保持新旧模型输出的维度相同。/>
综上所述，当有新任务时，模型所需的数据只有旧模型网络参数、良性类和小样本恶意类训练样本以及旧VAE模型中存储的k个正态分布即可，存储成本和训练时间大大缩短，满足增量学习的需求。则新任务上分类模型采用、已知恶意类(M1,...,Mk)的重构样本、新增类Cnew样本以及存储的良性类(B)和旧任务上的小样本恶意类(F1,...,Ff)样本联合训练新模型，其损失函数如式(8)所示，对应于图2中的③部分：
LAll＝Lvae+αLAng+βLCont+γLsoft (8)
其中，α、β和γ都是权重超参数。
最后，对于未知恶意类的识别，可通过构建并训练||Call||-1个EVT模型实现对未知类的识别，对应于图2中的④部分。同样地，当有更新的识别任务时，该阶段的新模型就可成为旧任务模型，再次迭代开始学习更新的识别任务。可不采用原任务上的大量训练数据，也能快速学习识别新增类的恶意流量，以满足网络系统中对不断涌现的各类已知和未知威胁的防御需求。
参见图3所示，模型训练之后，在进行测试时，可先将输入样本xj由分类模型预测得到其分类标签y′j，若y′j∈{F1,...,Ff}为小样本恶意类，分类结果就为y′j；若y′j∈{B,M1,...,Mk}，则继续由y′j类的EVT模型分析其重构样本与潜特征类中心重构样本的差值向量
Figure BDA0004001187260000091
判断其分类正确的概率。若其概率小于阈值，则最终识别结果为未知恶意类U；否则，分类结果仍为y′j。
结合对比学习与VAE模型的生成特性，实现旧类知识的存储和提取，在保证检测效率的前提下迅速实现对新威胁的识别，同时降低了训练成本和数据投毒攻击的风险。
进一步地，基于上述的模型训练方法，本发明实施例还提供一种基于对比增量学习的细粒度恶意流量分类方法，包含如下内容：
基于对比增量学习和变分自编码器构建恶意流量分类模型，并利用上述的模型训练方法对恶意流量分类模型进行训练；
监测并收集目标网络流量，并将目标网络流量数据输入训练后的恶意流量分类模型中，利用训练后的恶意流量分类模型来分类识别目标网络流量的类别。
基于变分自编码器，在对良性类、已知恶意类、小样本恶意类和未知恶意类流量均可实现高性能检测的同时，还可以在不采用大量旧任务样本的条件下实现对新增类的识别，以适应增量学习场景下对存储成本和训练时间的需求。将对比学习和变分自编码器(VAE,Variational Auto-Encoder)分类结合，采用A-Softmax以实现对已知类和小样本类的识别；将VAE重构与极值理论(EVT)结合，采用重构误差以实现对未知类的识别；利用VAE独特的结构存储旧类知识，采用VAE重构和知识蒸馏机制来实现在学习新增类时无需大量旧类样本也可保留旧类的知识。
进一步地，基于上述的模型训练方法，本发明实施例还提供一种基于对比增量学习的细粒度恶意流量分类系统，包含：模型构建模块和流量识别模块，其中，
模型构建模块，用于基于对比增量学习和变分自编码器构建恶意流量分类模型，并利用上述的模型训练方法对恶意流量分类模型进行训练；
流量识别模块，用于监测并收集目标网络流量，并将目标网络流量数据输入训练后的恶意流量分类模型中，利用训练后的恶意流量分类模型来分类识别目标网络流量的类别。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的各实例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已按照功能一般性地描述了各示例的组成及步骤。这些功能是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不认为超出本发明的范围。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如：只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于对比增量学习的模型训练方法，其特征在于，包含如下内容：
利用变分自编码器中的编码网络获取样本数据的潜空间特征，基于变分自编码器中的解码网络重构样本数据，基于样本数据和重构样本数据来构建变分自编码器重构损失；
利用角投影层将潜空间特征投影到超球面上，得到样本数据对应的超球面角距离特征，利用分类器对角距离特征进行分类，并基于分类输出和样本数据已有标签来构建分类器损失；
基于重构损失和分类器损失，并引入基于编码网络正负特征空间的对比学习损失来构建获取模型训练的总损失函数，基于总损失函数对模型进行训练。
2.根据权利要求1所述的基于对比增量学习的模型训练方法，其特征在于，基于样本数据和重构样本数据之间的均方误差构建变分自编码器重构损失，包含：设置潜空间特征的后验概率分布服从高斯分布，利用样本数据与重构样本数据之间的均方误差来构建重构损失。
3.根据权利要求1或2所述的基于对比增量学习的模型训练方法，其特征在于，还包含：构建样本数据和重构样本数据之间的差值向量，以基于极值理论模型来识别未知恶意类别。
4.根据权利要求1所述的基于对比增量学习的模型训练方法，其特征在于，分类器损失中，基于分类输出和样本数据已有标签，并采用A-Softmax函数来构建分类器损失；对比学习损失采用InfoNCE损失来表示。
5.根据权利要求1所述的基于对比增量学习的模型训练方法，其特征在于，总损失函数LAll表示为：LAll＝Lvae+αL Ang+βL Cont，其中，α、β为权重超参数，Lvae、L Ang、L Cont分别表示重构损失、分类器损失、对比学习损失。
6.根据权利要求1所述的基于对比增量学习的模型训练方法，其特征在于，还包含：利用知识蒸馏来迁移已训练模型中的网络参数、良性类别、恶意类训练样本及变分自编码器的正态分布，并联合新增类别样本数据来联合构建新的模型损失函数，并利用新的模型损失函数来联合训练新的分类模型，其中，新的模型损失函数LAll表示为：LAll＝Lvae+αL Ang+βLCont+γLsoft，α、β、γ为权重超参数，Lvae、L Ang、L Cont、Lsoft分别表示重构损失、分类器损失、对比学习损失、知识蒸馏软决策向量学习损失。
7.一种基于对比增量学习的细粒度恶意流量分类方法，其特征在于，包含如下内容：
基于对比增量学习和变分自编码器构建恶意流量分类模型，并利用权利要求1所述的模型训练方法对恶意流量分类模型进行训练；
监测并收集目标网络流量，并将目标网络流量数据输入训练后的恶意流量分类模型中，利用训练后的恶意流量分类模型来分类识别目标网络流量的类别。
8.一种基于对比增量学习的细粒度恶意流量分类系统，其特征在于，包含：模型构建模块和流量识别模块，其中，
模型构建模块，用于基于对比增量学习和变分自编码器构建恶意流量分类模型，并利用权利要求1所述的模型训练方法对恶意流量分类模型进行训练；
流量识别模块，用于监测并收集目标网络流量，并将目标网络流量数据输入训练后的恶意流量分类模型中，利用训练后的恶意流量分类模型来分类识别目标网络流量的类别。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序，并在程序执行时实现权利要求7所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求7所述的方法步骤。
CN202211618623.6A 2022-12-15 2022-12-15 基于对比增量学习的模型训练方法及恶意流量分类方法和系统 Pending CN116244645A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211618623.6A CN116244645A (zh) 2022-12-15 2022-12-15 基于对比增量学习的模型训练方法及恶意流量分类方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211618623.6A CN116244645A (zh) 2022-12-15 2022-12-15 基于对比增量学习的模型训练方法及恶意流量分类方法和系统

Publications (1)

Publication Number Publication Date
CN116244645A true CN116244645A (zh) 2023-06-09

Family

ID=86633932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211618623.6A Pending CN116244645A (zh) 2022-12-15 2022-12-15 基于对比增量学习的模型训练方法及恶意流量分类方法和系统

Country Status (1)

Country Link
CN (1) CN116244645A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117909854A (zh) * 2024-03-20 2024-04-19 东北大学 基于多模态对比嵌入的零样本复合故障诊断方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117909854A (zh) * 2024-03-20 2024-04-19 东北大学 基于多模态对比嵌入的零样本复合故障诊断方法

Similar Documents

Publication Publication Date Title
Chai et al. Dynamic prototype network based on sample adaptation for few-shot malware detection
CN109831392B (zh) 半监督网络流量分类方法
Guo et al. A Black‐Box Attack Method against Machine‐Learning‐Based Anomaly Network Flow Detection Models
Vani Towards efficient intrusion detection using deep learning techniques: a review
KR102592935B1 (ko) 신경망 모델 학습 방법 및 장치, 컴퓨터 프로그램
CN116244645A (zh) 基于对比增量学习的模型训练方法及恶意流量分类方法和系统
Rong et al. Umvd-fsl: Unseen malware variants detection using few-shot learning
CN116611063A (zh) 一种基于多特征融合的图卷积神经网络恶意软件检测方法
Wan et al. Shielding federated learning: A new attack approach and its defense
Li et al. An improved content-based outlier detection method for ICS intrusion detection
Al Makdah et al. A fundamental performance limitation for adversarial classification
Zhang et al. Privacy protection in deep multi-modal retrieval
Liu et al. CPS attack detection under limited local information in cyber security: an ensemble multi-node multi-class classification approach
Guo et al. ELAA: An efficient local adversarial attack using model interpreters
Izmailov et al. Enablers of adversarial attacks in machine learning
Jia et al. Subnetwork-lossless robust watermarking for hostile theft attacks in deep transfer learning models
Wang et al. Detection and recovery against deep neural network fault injection attacks based on contrastive learning
Li et al. An extreme semi-supervised framework based on transformer for network intrusion detection
Xie et al. Research and application of intrusion detection method based on hierarchical features
Ma Face recognition technology and privacy protection methods based on deep learning
Alrawashdeh et al. Optimizing Deep Learning Based Intrusion Detection Systems Defense Against White-Box and Backdoor Adversarial Attacks Through a Genetic Algorithm
Kulikov et al. Adversarial attacks on intrusion detection systems using the LSTM classifier
Chen et al. Heterogeneous IoT Intrusion Detection Based on Fusion Word Embedding Deep Transfer Learning
Jaiyen et al. A new incremental decision tree learning for cyber security based on ilda and mahalanobis distance
Gong et al. An Improved Hybrid Sampling Model for Network Intrusion Detection Based on Data Imbalance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination