CN115037641B - 基于小样本的网络流量检测方法、装置、电子设备及介质 - Google Patents

基于小样本的网络流量检测方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN115037641B
CN115037641B CN202210623415.9A CN202210623415A CN115037641B CN 115037641 B CN115037641 B CN 115037641B CN 202210623415 A CN202210623415 A CN 202210623415A CN 115037641 B CN115037641 B CN 115037641B
Authority
CN
China
Prior art keywords
model
network traffic
data set
weight
sample data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210623415.9A
Other languages
English (en)
Other versions
CN115037641A (zh
Inventor
杨璇
赵博
李彧
李召召
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Network Communication and Security Zijinshan Laboratory
Original Assignee
Network Communication and Security Zijinshan Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Network Communication and Security Zijinshan Laboratory filed Critical Network Communication and Security Zijinshan Laboratory
Priority to CN202210623415.9A priority Critical patent/CN115037641B/zh
Publication of CN115037641A publication Critical patent/CN115037641A/zh
Application granted granted Critical
Publication of CN115037641B publication Critical patent/CN115037641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/147Network analysis or design for predicting network behaviour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/02Capturing of monitoring data
    • H04L43/028Capturing of monitoring data by filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种基于小样本的网络流量检测方法、装置、电子设备及介质,所述方法包括:获取原始样本数据集和目标样本数据集,所述原始样本数据集中的网络流量数据量大于所述目标样本数据集中的网络流量数据量;基于所述原始样本数据集和网络流量检测模型,对权重学习器模型的模型参数进行预训练;将所述网络流量检测模型和所述权重学习器模型的模型结构和模型参数进行迁移;基于所述目标样本数据集和所述权重学习器模型的模型参数,对迁移后的所述网络流量检测模型的模型参数进行微调;基于微调后的所述网络流量检测模型,进行网络流量检测。本发明可以基于小样本对网络流量进行准确检测。

Description

基于小样本的网络流量检测方法、装置、电子设备及介质
技术领域
本发明涉及流量检测技术领域,尤其涉及一种基于小样本的网络流量检测方法、装置、电子设备及介质。
背景技术
随着信息通信技术的飞速发展,网络安全问题也日益突显。个人用户、企业用户到国家重点行业均面临着各种网络攻击,网络空间安全存在巨大隐患。网络流量作为承载网络攻击的重要载体,网络流量检测成为防范网络攻击的重要一环。
目前,随着深度学习技术的发展,基于各类深度学习算法的网络流量检测模型获得了越来越广泛的应用。但是,基于深度学习算法的网络流量检测模型需要大量样本进行数据支撑,在数据量不够时易导致模型出现过拟合问题,从而导致模型过度贴合训练数据,在测试数据上无法表现出良好的检测精度。当现实网络中出现新型的攻击类型时,短时间内无法搜集大量样本,基于深度学习的网络流量检测模型在此时只能提供较低的检测精度。
发明内容
本发明提供一种基于小样本的网络流量检测方法、装置、电子设备及介质,用以解决现有技术中当样本数据不足时网络流量检测精度较低的缺陷,实现基于小样本对网络流量进行准确检测。
本发明提供一种基于小样本的网络流量检测方法,包括:
获取原始样本数据集和目标样本数据集,所述原始样本数据集中的网络流量数据量大于所述目标样本数据集中的网络流量数据量;
基于所述原始样本数据集和网络流量检测模型,对权重学习器模型的模型参数进行预训练;
将所述网络流量检测模型和所述权重学习器模型的模型结构和模型参数进行迁移;
基于所述目标样本数据集和所述权重学习器模型的模型参数,对迁移后的所述网络流量检测模型的模型参数进行微调;
基于微调后的所述网络流量检测模型,进行网络流量检测。
根据本发明提供的一种基于小样本的网络流量检测方法,所述网络流量检测模型包括至少一层全连接层。
根据本发明提供的一种基于小样本的网络流量检测方法,所述基于所述原始样本数据集和网络流量检测模型,对权重学习器模型的模型参数进行预训练,包括:
将所述原始样本数据集输入网络流量检测模型中,得到所述网络流量检测模型的最后一层全连接层的第一输入特征向量;
将所述第一输入特征向量输入权重学习器模型中,对所述第一输入特征向量和所述网络流量检测模型中所述原始样本数据集所属类别的分类权重之间的映射关系进行预训练。
根据本发明提供的一种基于小样本的网络流量检测方法,所述将所述第一输入特征向量输入权重学习器模型中,对所述第一输入特征向量和所述网络流量检测模型中所述原始样本数据集所属类别的分类权重之间的映射关系进行预训练,包括:
将所述第一输入特征向量输入权重学习器模型中,预测得到所述网络流量检测模型中所述原始样本数据集所属类别的第一分类权重;
将所述网络流量检测模型的最后一层全连接层的分类权重调整为所述第一分类权重;
基于调整后的所述网络流量检测模型,预测得到所述原始样本数据集的网络流量预测类别;
基于所述原始样本数据集的网络流量预测类别和网络流量真实类别,计算第一损失值;
将所述第一损失值反向传播至所述权重学习器模型中,对所述权重学习器模型的模型参数进行调整。
根据本发明提供的一种基于小样本的网络流量检测方法,所述将所述网络流量检测模型和所述权重学习器模型的模型结构和模型参数进行迁移,包括:
将所述网络流量检测模型的模型结构和模型参数,以及所述权重学习器模型的模型结构和预训练得到的所述映射关系,进行迁移。
根据本发明提供的一种基于小样本的网络流量检测方法,所述基于所述目标样本数据集和所述权重学习器模型的模型参数,对迁移后的所述网络流量检测模型的模型参数进行微调,包括:
根据所述目标样本数据集中网络流量类别数,确定迁移后的所述网络流量检测模型的最后一层全连接层的分类节点数;
将所述目标样本数据集输入迁移后的所述网络流量检测模型中,得到所述网络流量检测模型的最后一层全连接层的第二输入特征向量;
将所述第二输入特征向量输入迁移后的所述权重学习器模型中,预测得到第二分类权重;
将所述网络流量检测模型的最后一层全连接层的分类权重调整为所述第二分类权重;
重复执行以下步骤,直至第二损失值小于预设阈值且稳定:
基于调整后的所述网络流量检测模型,预测得到所述目标样本数据集的网络流量预测类别;
基于所述目标样本数据集的网络流量预测类别和网络流量真实类别,计算所述第二损失值;
基于所述第二损失值,对所述网络流量检测模型的最后一层全连接层的分类权重进行调整。
根据本发明提供的一种基于小样本的网络流量检测方法,所述获取原始样本数据集和目标样本数据集,包括:
分别对多个PCAP原始数据分组和多个PCAP目标数据分组进行数据清洗;
分别对清洗后的所述多个PCAP原始数据分组和所述多个PCAP目标数据分组进行维度处理,得到一维的所述多个PCAP原始数据分组和一维的所述多个PCAP目标数据分组;
分别对一维的所述多个PCAP原始数据分组和一维的所述多个PCAP目标数据分组进行标准化处理;
分别将标准化后的一维所述多个PCAP原始数据分组和一维所述多个PCAP目标数据分组进行归一化,得到一维的原始样本数据集和一维的目标样本数据集。
本发明还提供一种基于小样本的网络流量检测装置,包括:
获取模块,用于获取原始样本数据集和目标样本数据集,所述原始样本数据集中的网络流量数据量大于所述目标样本数据集中的网络流量数据量;
预训练模块,用于基于所述原始样本数据集和网络流量检测模型,对权重学习器模型的模型参数进行预训练;
迁移模块,用于将所述网络流量检测模型和所述权重学习器模型的模型结构和模型参数进行迁移;
微调模块,用于基于所述目标样本数据集和所述权重学习器模型的模型参数,对迁移后的所述网络流量检测模型的模型参数进行微调;
检测模块,用于基于微调后的所述网络流量检测模型,进行网络流量检测。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述的基于小样本的网络流量检测方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述的基于小样本的网络流量检测方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述的基于小样本的网络流量检测方法。
本发明提供的一种基于小样本的网络流量检测方法、装置、电子设备及介质,首先,获取原始样本数据集和目标样本数据集,原始样本数据集的网络流量数据量大于目标样本数据集的网络流量数据量。而后,基于原始样本数据集和网络流量检测模型,对权重学习器模型的模型参数进行预训练,并将网络流量检测模型和权重学习器模型的模型结构和模型参数进行迁移,由于迁移时不仅迁移了模型结构,还迁移了预训练得到的模型参数,使得模型的初始性能较高。在后续的微调阶段,基于目标样本数据集和权重学习器模型的模型参数,对迁移后的网络流量检测模型的模型参数进行微调,仅需要少量的样本数据和少量的训练,就可以使模型具有更优的性能。最后,基于微调后的网络流量检测模型,进行网络流量检测。因此,本发明可以基于小样本对网络流量进行准确检测。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的基于小样本的网络流量检测方法的流程示意图;
图2是本发明提供的基于小样本的网络流量检测方法的模型训练过程示意图;
图3是本发明提供的网络流量检测模型示意图;
图4是本发明提供的模型预训练过程示意图;
图5是本发明提供的模型迁移过程示意图;
图6是本发明提供的模型微调过程示意图;
图7是本发明提供的基于小样本的网络流量检测装置的结构示意图;
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合图1-图6描述本发明的基于小样本的网络流量检测方法。
图1是本发明提供的基于小样本的网络流量检测方法的流程示意图,如图1所示,本发明提供的基于小样本的网络流量检测方法可以包括:
步骤101、获取原始样本数据集和目标样本数据集,原始样本数据集中的网络流量数据量大于目标样本数据集中的网络流量数据量;
步骤102、基于原始样本数据集和网络流量检测模型,对权重学习器模型的模型参数进行预训练;
步骤103、将网络流量检测模型和权重学习器模型的模型结构和模型参数进行迁移;
步骤104、基于目标样本数据集和权重学习器模型的模型参数,对迁移后的网络流量检测模型的模型参数进行微调;
步骤105、基于微调后的网络流量检测模型,进行网络流量检测。
在步骤101中,原始样本数据集指的是预训练阶段所使用的大样本数据集,目标样本数据集指的是微调阶段所使用的小样本数据集。其中,原始样本数据集和目标样本数据集可以是经过预处理后获得的,原始样本数据集中的网络流量数据量大于目标样本数据集中的网络流量数据量,例如:目标样本数据集中的样本量可以为5~20。本实施例中的网络流量可以为各种网络流量,例如:恶意流量、视频流量、音频流量等。
在步骤102中,网络流量检测模型可以为卷积神经网络,可选地,网络流量检测模型包括至少一层全连接层。
举例来说,如图3所示,网络流量检测模型可以采用1D-CNN模型,1D-CNN模型具体包括多层卷积层、池化层、全连接层和softmax层,首先将原始样本数据集进行输入,经过多层卷积层提取数据特征,最后进入到全连接层和softmax层中进行网络流量分类。
权重学习器模型可以采用前馈神经网络,权重学习器模型用于学习样本的特征向量和网络流量检测模型中样本所属类别的分类权重之间的映射关系,权重学习器模型的输入为网络流量检测模型的输入特征向量,输出为分类权重。
在本步骤中,网络流量检测模型的模型结构和参数已经确定,只需要对权重学习器模型的模型参数进行预训练。
在步骤103中,将网络流量检测模型和权重学习器模型的模型结构和模型参数进行迁移,由于迁移时不仅迁移了模型结构,还迁移了预训练得到的模型参数,使得模型的初始性能较高。
在步骤104中,在后续的微调阶段,基于目标样本数据集和权重学习器模型的模型参数,对迁移后的网络流量检测模型的模型参数进行微调,仅需要少量的样本数据和少量的训练,就可以使模型具有更优的性能。
例如,在恶意流量检测场景中,当现实网络中出现新型的攻击类型时,短时间内无法搜集大量样本,由于本实施例的模型的初始性能较高,本步骤可以基于小样本对迁移后的网络流量检测模型和权重学习器模型的模型参数进行微调,就可以使模型具有更优的性能。
在步骤105中,由于基于小样本可以得到更优的网络流量检测模型,利用网络流量检测模型进行网络流量检测,可以基于小样本对网络流量进行准确检测。
在本实施例中,首先,获取原始样本数据集和目标样本数据集,原始样本数据集的网络流量数据量大于目标样本数据集的网络流量数据量。而后,基于原始样本数据集和网络流量检测模型,对权重学习器模型的模型参数进行预训练,并将网络流量检测模型和权重学习器模型的模型结构和模型参数进行迁移,由于迁移时不仅迁移了模型结构,还迁移了预训练得到的模型参数,使得模型的初始性能较高。在后续的微调阶段,基于目标样本数据集和权重学习器模型的模型参数,对迁移后的网络流量检测模型的模型参数进行微调,仅需要少量的样本数据和少量的训练,就可以使模型具有更优的性能。最后,基于微调后的网络流量检测模型,进行网络流量检测。因此,本发明可以基于小样本对网络流量进行准确检测。
可选地,步骤101具体可以包括以下子步骤:
步骤1011、分别对多个PCAP原始数据分组和多个PCAP目标数据分组进行数据清洗;
步骤1012、分别对清洗后的多个PCAP原始数据分组和多个PCAP目标数据分组进行维度处理,得到一维的多个PCAP原始数据分组和一维的多个PCAP目标数据分组;
步骤1013、分别对一维的多个PCAP原始数据分组和一维的多个PCAP目标数据分组进行标准化处理;
步骤1014、分别将标准化后的一维多个PCAP原始数据分组和一维多个PCAP目标数据分组进行归一化,得到一维的原始样本数据集和一维的目标样本数据集。
在步骤1011中,可以通过以下方式实现数据清洗:
1)获取PCAP文件
具体地,在某数据集中,每一天收集到的所有数据分组为一个PCAP文件,其中,PCAP文件格式包括PCAP文件头、数据包头和数据包,数据包为链路层的数据帧。
2)去除PCAP文件的头部信息
具体地,根据PCAP文件格式,首先需要去除PCAP文件的头部信息。
3)读取数据分组
根据数据包头提供的信息,循环读取该文件中的数据包,直至读取到最后一个数据包,最终完成所有数据分组的读取。
4)数据分组过滤
在PCAP文件中,不仅包含了本实施例需要用到的网络流量数据分组,还包括了一些其他数据分组,比如DHCP、APR等数据包的数据分组,需要将此类数据分组进行过滤。
5)数据分组信息处理
经过过滤的数据分组均为网络流量数据分组,还需要删除每个数据分组中的以太网协议的头部信息以及IP协议中的源IP地址和目的IP地址。具体地,由于以太网协议的头部信息对于数据分组的分类不能提供有效作用,删除以太网协议的头部信息。在数据分组标记中需要使用到IP协议中的源IP地址和目的IP地址,但是为了避免网络流量检测模型直接使用源IP地址和目的IP地址进行分类,因此删除源IP地址和目的IP地址。
在步骤1012中,将网络流量数据处理为一维格式,采用一维的变长数据,可以省略特征工程以及对数据进行切片、补零的步骤,可以节省数据预处理的时间,从而提升网络流量的检测效率。
在步骤1013中,在恶意流量检测场景中,由于深度神经网络是以类别数据均衡为前提进行训练的,但是在实际的网络环境当中,网络中的各类攻击流量分布并不均衡,因此本步骤将最小数据量的类别数量作为标准,从各类攻击流量中随机选取相同数量的数据分组作为数据集,从而完成标准化处理。
在步骤1014中,网络流量数据分组中的每一个字节由8比特组成,大小分布于0-255,非常类似于灰度图像中的一个像素点,因此,可以将网络流量数据分组中的每个字节看作一个像素点,组成一个一维灰度图像,并对每个像素点中的数据进行归一化,使得网络流量数据分布在[0,1]之间,便于深度学习中损失函数的控制。
在本实施例中,通过对PCAP文件进行去除头部信息、过滤和删除无效数据、维度处理、标准化和归一化等预处理,得到原始样本数据集和目标样本数据集,经过预处理后的数据便于后续模型的训练及计算。
可选地,步骤102可以包括以下子步骤:
步骤1021、将原始样本数据集输入网络流量检测模型中,得到网络流量检测模型的最后一层全连接层的第一输入特征向量;
步骤1022、将第一输入特征向量输入权重学习器模型中,对第一输入特征向量和网络流量检测模型中原始样本数据集所属类别的分类权重之间的映射关系进行预训练。
在步骤1021中,网络流量检测模型可以包括至少一层全连接层,最后一层全连接层指的是网络流量检测模型中至少一层全连接层中的最后一层全连接层。
假设网络流量检测模型包括一层全连接层,例如图3所示的1D-CNN模型,将原始样本数据集输入网络流量检测模型中,获取输入到网络流量检测模型的该层全连接层的输入特征向量,即为第一输入特征向量。
假设网络流量检测模型包括两层全连接层,将原始样本数据集输入网络流量检测模型中,获取输入到网络流量检测模型的最后一层全连接层的输入特征向量,即为第一输入特征向量。
在步骤1022中,需要预训练的是第一输入特征向量和网络流量检测模型中原始样本数据集所属类别的分类权重之间的映射关系。
在本实施例中,可以基于原始样本数据集,对网络流量检测模型的第一输入特征向量与网络流量检测模型中原始样本数据集所属类别的分类权重之间的映射关系进行预训练。
如图4所示,可选地,预训练过程包括两个阶段:前向传播阶段和反向传播阶段。其中:
前向传播阶段:
1)将原始样本数据集输入网络流量检测模型中,得到网络流量检测模型的最后一层全连接层的第一输入特征向量;
2)将第一输入特征向量输入权重学习器模型中,预测得到第一分类权重;其中,第一分类权重是将第一输入特征向量输入权重学习器模型中预测得到的网络流量检测模型中原始样本数据集所属类别的分类权重;
3)将网络流量检测模型的最后一层全连接层的分类权重调整为第一分类权重;
4)基于调整后的网络流量检测模型,预测得到原始样本数据集的网络流量预测类别;
5)基于原始样本数据集的网络流量预测类别和网络流量真实类别,计算第一损失值;其中,第一损失值是通过损失函数基于原始样本数据集的网络流量预测类别和网络流量真实类别计算得到的损失值;
反向传播阶段:
6)将第一损失值反向传播至权重学习器模型中,对权重学习器模型的模型参数进行调整。
在本实施例中,首先是前向传播阶段,将原始样本数据集输入到网络流量检测模型,经过网络流量检测模型的多层卷积层之后,会在倒数第二层得到数据的特征表示,即网络流量检测模型的最后一层全连接层的第一输入特征向量;将第一输入特征向量复制到权重学习器模型的输入中;经过权重学习器模型得到该类数据的分类权重;将分类权重复制到网络流量检测模型最后一层的权重中去,并预测出该类数据的类别;根据网络流量检测模型的预测值计算与真实值进行损失函数的计算。
接下来是反向传播阶段,通常反向传播是计算模型的预测值与真实值之间的损失值,沿着模型从最后一层逐层往前传递,但是在本实施例中,需要训练的是权重学习器模型,因此需要进行权重更新的是权重学习器模型中的参数。然而,权重学习器模型最终的目标是为了将数据进行更好的分类,因此在实施例中会将网络流量检测模型计算出来的损失值沿着分类权重复制的反方向传递至权重学习器模型中,沿着权重学习器模型的网络层进行反向传播,达到对权重学习器模型的权重更新。
结合以上前向传播、损失函数的计算和反向传播,即可以对权重学习器模型的模型参数完成预训练,得到第一输入特征向量和分类权重之间的映射关系。
可选地,步骤103包括:将网络流量检测模型的模型结构和模型参数,以及权重学习器模型的模型结构和预训练得到的映射关系,进行迁移。
具体地,如图5所示,迁移可以包括两部分的迁移,第一部分是网络流量检测模型的迁移,虽然目标样本数据集中样本量少,但其本质是网络流量,因此可以直接采用原有的网络流量检测模型,即原有的网络流量检测模型的模型结构和模型参数;第二部分是第一输入特征向量和分类权重之间的映射关系的迁移,在预训练部分通过大量带标签的网络流量数据对该映射关系进行学习,在数据属于同一个领域的情况下,此类映射关系可以同样使用到小样本的网络流量分类当中,因此需要对此映射关系进行迁移。
在本实施例中,由于迁移时不仅迁移了模型结构,还同步迁移了预训练得到的第一输入特征向量和分类权重之间的映射关系,使得模型的初始性能较高。
可选地,步骤104包括以下子步骤:
步骤1041、根据目标样本数据集中网络流量类别数,确定迁移后的网络流量检测模型的最后一层全连接层的分类节点数;
步骤1042、将目标样本数据集输入迁移后的网络流量检测模型中,得到网络流量检测模型的最后一层全连接层的第二输入特征向量;
步骤1043、将第二输入特征向量输入迁移后的权重学习器模型中,预测得到第二分类权重;
步骤1044、将网络流量检测模型的最后一层全连接层的分类权重调整为第二分类权重;
步骤1045、判断第二损失值是否达到小于预设阈值且稳定,若是,则转入步骤1049,若否,则转入步骤1046;
步骤1046、基于调整后的网络流量检测模型,预测得到目标样本数据集的网络流量预测类别;
步骤1047、基于目标样本数据集的网络流量预测类别和网络流量真实类别,计算第二损失值;
步骤1048、基于第二损失值,对网络流量检测模型的最后一层全连接层的分类权重进行调整,并转入步骤1045;
步骤1049、微调流程结束。
下面结合图6对上述步骤1041-1049进行详细说明。
在步骤1041中,对于迁移后的网络流量检测模型,根据目标样本数据集中网络流量类别数,对该模型的最后一层全连接层的分类节点数进行调整。
在步骤1042中,将目标样本数据集输入网络流量检测模型中,该模型的最后一层全连接层的分类节点数已调整,在该模型中逐层计算,获取该模型的最后一层全连接层的输入特征向量,即为第二输入特征向量。
在步骤1043中,将第二输入特征向量输入迁移后的权重学习器模型中,基于同步迁移的输入特征向量与分类权重的映射关系,进行分类权重的预测,即得到第二分类权重。
在步骤1044中,将第二分类权重复制到网络流量检测模型的最后一层全连接层的网络参数中,完成分类权重的初始化。
在步骤1045中,第二损失值是通过损失函数基于目标样本数据集的网络流量预测类别和网络流量真实类别计算得到的损失值。
在步骤1045-1049中,基于调整后的网络流量检测模型,预测得到目标样本数据集的网络流量预测类别;基于目标样本数据集的网络流量预测类别和网络流量真实类别,计算第二损失值;随后网络流量检测模型对其进行反向传播,基于第二损失值,对网络流量检测模型的最后一层全连接层的分类权重进行调整;经过多轮训练之后,即可完成对网络流量检测模型的微调。
在本实施例中,在后续的微调阶段,基于目标样本数据集和迁移的权重学习器模型的输入特征向量与分类权重之间的映射关系,对迁移后的网络流量检测模型的最后一层全连接层的分类节点数和分类权重进行微调,仅需要少量的样本数据和少量的训练,就可以使模型具有更优的性能。
下面对本发明提供的一种基于小样本的网络流量检测装置进行描述,下文描述的一种基于小样本的网络流量检测装置与上文描述的一种基于小样本的网络流量检测方法可相互对应参照。
图7是本发明提供的基于小样本的网络流量检测装置的结构示意图,如图7所示,本发明提供的基于小样本的网络流量检测装置可以包括:
获取模块10,用于获取原始样本数据集和目标样本数据集,所述原始样本数据集中的网络流量数据量大于所述目标样本数据集中的网络流量数据量;
预训练模块20,用于基于所述原始样本数据集和网络流量检测模型,对权重学习器模型的模型参数进行预训练;
迁移模块30,用于将所述网络流量检测模型和所述权重学习器模型的模型结构和模型参数进行迁移;
微调模块40,用于基于所述目标样本数据集和所述权重学习器模型的模型参数,对迁移后的所述网络流量检测模型的模型参数进行微调;
检测模块50,用于基于微调后的所述网络流量检测模型,进行网络流量检测。
可选地,所述网络流量检测模型包括至少一层全连接层。
可选地,预训练模块20包括:
第一输入单元,用于将所述原始样本数据集输入网络流量检测模型中,得到所述网络流量检测模型的最后一层全连接层的第一输入特征向量;
预训练单元,用于将所述第一输入特征向量输入权重学习器模型中,对所述第一输入特征向量和所述网络流量检测模型中所述原始样本数据集所属类别的分类权重之间的映射关系进行预训练。
可选地,预训练单元具体用于:
将所述第一输入特征向量输入权重学习器模型中,预测得到所述网络流量检测模型中所述原始样本数据集所属类别的第一分类权重;
将所述网络流量检测模型的最后一层全连接层的分类权重调整为所述第一分类权重;
基于调整后的所述网络流量检测模型,预测得到所述原始样本数据集的网络流量预测类别;
基于所述原始样本数据集的网络流量预测类别和网络流量真实类别,计算第一损失值;
将所述第一损失值反向传播至所述权重学习器模型中,对所述权重学习器模型的模型参数进行调整。
可选地,迁移模块30具体用于:
将所述网络流量检测模型的模型结构和模型参数,以及所述权重学习器模型的模型结构和预训练得到的所述映射关系,进行迁移。
可选地,微调模块40包括:
确定单元,用于根据所述目标样本数据集中网络流量类别数,确定迁移后的所述网络流量检测模型的最后一层全连接层的分类节点数;
第二输入单元,用于将所述目标样本数据集输入迁移后的所述网络流量检测模型中,得到所述网络流量检测模型的最后一层全连接层的第二输入特征向量;
预测单元,用于将所述第二输入特征向量输入迁移后的所述权重学习器模型中,预测得到第二分类权重;
调整单元,用于将所述网络流量检测模型的最后一层全连接层的分类权重调整为所述第二分类权重;
训练单元,用于重复执行以下操作,直至第二损失值小于预设阈值且稳定:
基于调整后的所述网络流量检测模型,预测得到所述目标样本数据集的网络流量预测类别;
基于所述目标样本数据集的网络流量预测类别和网络流量真实类别,计算所述第二损失值;
基于所述第二损失值,对所述网络流量检测模型的最后一层全连接层的分类权重进行调整。
可选地,获取模块10包括:
数据清洗单元,用于分别对多个PCAP原始数据分组和多个PCAP目标数据分组进行数据清洗;
维度处理单元,用于分别对清洗后的所述多个PCAP原始数据分组和所述多个PCAP目标数据分组进行维度处理,得到一维的所述多个PCAP原始数据分组和一维的所述多个PCAP目标数据分组;
标准化单元,用于分别对一维的所述多个PCAP原始数据分组和一维的所述多个PCAP目标数据分组进行标准化处理;
归一化单元,用于分别将标准化后的一维所述多个PCAP原始数据分组和一维所述多个PCAP目标数据分组进行归一化,得到一维的原始样本数据集和一维的目标样本数据集。
图8示例了一种电子设备的实体结构示意图,如图8所示,该电子设备可以包括:处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840,其中,处理器810,通信接口820,存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令,以执行基于小样本的网络流量检测方法,该方法包括:
获取原始样本数据集和目标样本数据集,所述原始样本数据集中的网络流量数据量大于所述目标样本数据集中的网络流量数据量;
基于所述原始样本数据集和网络流量检测模型,对权重学习器模型的模型参数进行预训练;
将所述网络流量检测模型和所述权重学习器模型的模型结构和模型参数进行迁移;
基于所述目标样本数据集和所述权重学习器模型的模型参数,对迁移后的所述网络流量检测模型的模型参数进行微调;
基于微调后的所述网络流量检测模型,进行网络流量检测。
此外,上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的基于小样本的网络流量检测方法,该方法包括:
获取原始样本数据集和目标样本数据集,所述原始样本数据集中的网络流量数据量大于所述目标样本数据集中的网络流量数据量;
基于所述原始样本数据集和网络流量检测模型,对权重学习器模型的模型参数进行预训练;
将所述网络流量检测模型和所述权重学习器模型的模型结构和模型参数进行迁移;
基于所述目标样本数据集和所述权重学习器模型的模型参数,对迁移后的所述网络流量检测模型的模型参数进行微调;
基于微调后的所述网络流量检测模型,进行网络流量检测。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的基于小样本的网络流量检测方法,该方法包括:
获取原始样本数据集和目标样本数据集,所述原始样本数据集中的网络流量数据量大于所述目标样本数据集中的网络流量数据量;
基于所述原始样本数据集和网络流量检测模型,对权重学习器模型的模型参数进行预训练;
将所述网络流量检测模型和所述权重学习器模型的模型结构和模型参数进行迁移;
基于所述目标样本数据集和所述权重学习器模型的模型参数,对迁移后的所述网络流量检测模型的模型参数进行微调;
基于微调后的所述网络流量检测模型,进行网络流量检测。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于小样本的网络流量检测方法,其特征在于,包括:
获取原始样本数据集和目标样本数据集,所述原始样本数据集中的网络流量数据量大于所述目标样本数据集中的网络流量数据量;
基于所述原始样本数据集和网络流量检测模型,对权重学习器模型的模型参数进行预训练;
将所述网络流量检测模型和所述权重学习器模型的模型结构和模型参数从预训练的区域迁移到微调的区域;
基于所述目标样本数据集和所述权重学习器模型的模型参数,对迁移后的所述网络流量检测模型的模型参数进行微调;
基于微调后的所述网络流量检测模型,进行网络流量检测。
2.根据权利要求1所述的基于小样本的网络流量检测方法,其特征在于,所述网络流量检测模型包括至少一层全连接层。
3.根据权利要求2所述的基于小样本的网络流量检测方法,其特征在于,所述基于所述原始样本数据集和网络流量检测模型,对权重学习器模型的模型参数进行预训练,包括:
将所述原始样本数据集输入网络流量检测模型中,得到所述网络流量检测模型的最后一层全连接层的第一输入特征向量;
将所述第一输入特征向量输入权重学习器模型中,对所述第一输入特征向量和所述网络流量检测模型中所述原始样本数据集所属类别的分类权重之间的映射关系进行预训练。
4.根据权利要求3所述的基于小样本的网络流量检测方法,其特征在于,所述将所述第一输入特征向量输入权重学习器模型中,对所述第一输入特征向量和所述网络流量检测模型中所述原始样本数据集所属类别的分类权重之间的映射关系进行预训练,包括:
将所述第一输入特征向量输入权重学习器模型中,预测得到所述网络流量检测模型中所述原始样本数据集所属类别的第一分类权重;
将所述网络流量检测模型的最后一层全连接层的分类权重调整为所述第一分类权重;
基于调整后的所述网络流量检测模型,预测得到所述原始样本数据集的网络流量预测类别;
基于所述原始样本数据集的网络流量预测类别和网络流量真实类别,计算第一损失值;
将所述第一损失值反向传播至所述权重学习器模型中,对所述权重学习器模型的模型参数进行调整。
5.根据权利要求3所述的基于小样本的网络流量检测方法,其特征在于,所述将所述网络流量检测模型和所述权重学习器模型的模型结构和模型参数从预训练的区域迁移到微调的区域,包括:
将所述网络流量检测模型的模型结构和模型参数,以及所述权重学习器模型的模型结构和预训练得到的所述映射关系,从所述预训练的区域迁移到所述微调的区域。
6.根据权利要求3所述的基于小样本的网络流量检测方法,其特征在于,所述基于所述目标样本数据集和所述权重学习器模型的模型参数,对迁移后的所述网络流量检测模型的模型参数进行微调,包括:
根据所述目标样本数据集中网络流量类别数,确定迁移后的所述网络流量检测模型的最后一层全连接层的分类节点数;
将所述目标样本数据集输入迁移后的所述网络流量检测模型中,得到所述网络流量检测模型的最后一层全连接层的第二输入特征向量;
将所述第二输入特征向量输入迁移后的所述权重学习器模型中,预测得到第二分类权重;
将所述网络流量检测模型的最后一层全连接层的分类权重调整为所述第二分类权重;
重复执行以下步骤,直至第二损失值小于预设阈值且稳定:
基于调整后的所述网络流量检测模型,预测得到所述目标样本数据集的网络流量预测类别;
基于所述目标样本数据集的网络流量预测类别和网络流量真实类别,计算所述第二损失值;
基于所述第二损失值,对所述网络流量检测模型的最后一层全连接层的分类权重进行调整。
7.根据权利要求1所述的基于小样本的网络流量检测方法,其特征在于,所述获取原始样本数据集和目标样本数据集,包括:
分别对多个PCAP原始数据分组和多个PCAP目标数据分组进行数据清洗;
分别对清洗后的所述多个PCAP原始数据分组和所述多个PCAP目标数据分组进行维度处理,得到一维的所述多个PCAP原始数据分组和一维的所述多个PCAP目标数据分组;
分别对一维的所述多个PCAP原始数据分组和一维的所述多个PCAP目标数据分组进行标准化处理;
分别将标准化后的一维所述多个PCAP原始数据分组和一维所述多个PCAP目标数据分组进行归一化,得到一维的原始样本数据集和一维的目标样本数据集。
8.一种基于小样本的网络流量检测装置,其特征在于,包括:
获取模块,用于获取原始样本数据集和目标样本数据集,所述原始样本数据集中的网络流量数据量大于所述目标样本数据集中的网络流量数据量;
预训练模块,用于基于所述原始样本数据集和网络流量检测模型,对权重学习器模型的模型参数进行预训练;
迁移模块,用于将所述网络流量检测模型和所述权重学习器模型的模型结构和模型参数从预训练的区域迁移到微调的区域;
微调模块,用于基于所述目标样本数据集和所述权重学习器模型的模型参数,对迁移后的所述网络流量检测模型的模型参数进行微调;
检测模块,用于基于微调后的所述网络流量检测模型,进行网络流量检测。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述的基于小样本的网络流量检测方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于小样本的网络流量检测方法。
CN202210623415.9A 2022-06-01 2022-06-01 基于小样本的网络流量检测方法、装置、电子设备及介质 Active CN115037641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210623415.9A CN115037641B (zh) 2022-06-01 2022-06-01 基于小样本的网络流量检测方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210623415.9A CN115037641B (zh) 2022-06-01 2022-06-01 基于小样本的网络流量检测方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN115037641A CN115037641A (zh) 2022-09-09
CN115037641B true CN115037641B (zh) 2024-05-03

Family

ID=83123427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210623415.9A Active CN115037641B (zh) 2022-06-01 2022-06-01 基于小样本的网络流量检测方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN115037641B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427875A (zh) * 2019-07-31 2019-11-08 天津大学 基于深度迁移学习和极限学习机的红外图像目标检测方法
CN111860236A (zh) * 2020-07-06 2020-10-30 中国科学院空天信息创新研究院 一种基于迁移学习的小样本遥感目标检测方法及系统
CN112163640A (zh) * 2020-10-30 2021-01-01 北京信息科技大学 基于深度卷积迁移学习行星齿轮箱故障诊断方法及系统
CN112235264A (zh) * 2020-09-28 2021-01-15 国家计算机网络与信息安全管理中心 一种基于深度迁移学习的网络流量识别方法及装置
CN113239980A (zh) * 2021-04-23 2021-08-10 华中科技大学 基于小样本机器学习与超参数优化的水下目标检测方法
CN114048843A (zh) * 2021-11-19 2022-02-15 天津大学 一种基于选择性特征迁移的小样本学习网络
CN114152442A (zh) * 2021-12-24 2022-03-08 杭州电子科技大学 基于迁移卷积神经网络的滚动轴承跨工况故障检测方法
CN114519803A (zh) * 2022-01-24 2022-05-20 东莞理工学院 一种基于迁移学习的小样本目标识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427875A (zh) * 2019-07-31 2019-11-08 天津大学 基于深度迁移学习和极限学习机的红外图像目标检测方法
CN111860236A (zh) * 2020-07-06 2020-10-30 中国科学院空天信息创新研究院 一种基于迁移学习的小样本遥感目标检测方法及系统
CN112235264A (zh) * 2020-09-28 2021-01-15 国家计算机网络与信息安全管理中心 一种基于深度迁移学习的网络流量识别方法及装置
CN112163640A (zh) * 2020-10-30 2021-01-01 北京信息科技大学 基于深度卷积迁移学习行星齿轮箱故障诊断方法及系统
CN113239980A (zh) * 2021-04-23 2021-08-10 华中科技大学 基于小样本机器学习与超参数优化的水下目标检测方法
CN114048843A (zh) * 2021-11-19 2022-02-15 天津大学 一种基于选择性特征迁移的小样本学习网络
CN114152442A (zh) * 2021-12-24 2022-03-08 杭州电子科技大学 基于迁移卷积神经网络的滚动轴承跨工况故障检测方法
CN114519803A (zh) * 2022-01-24 2022-05-20 东莞理工学院 一种基于迁移学习的小样本目标识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小样本目标检测的研究现状;潘兴甲;张旭龙;董未名;姚寒星;徐常胜;;南京信息工程大学学报(自然科学版);20191128(06);全文 *

Also Published As

Publication number Publication date
CN115037641A (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN111177792B (zh) 基于隐私保护确定目标业务模型的方法及装置
CN111444878B (zh) 一种视频分类方法、装置及计算机可读存储介质
CN109889538B (zh) 用户异常行为检测方法及系统
CN111741002B (zh) 一种网络入侵检测模型的训练方法和装置
CN110874590B (zh) 基于适配器互学习模型的训练及可见光红外视觉跟踪方法
CN115277102B (zh) 网络攻击检测方法、装置、电子设备及存储介质
CN116089883B (zh) 用于提高已有类别增量学习新旧类别区分度的训练方法
CN114639102B (zh) 基于关键点与尺寸回归的细胞分割方法和装置
CN113987236B (zh) 基于图卷积网络的视觉检索模型的无监督训练方法和装置
Wang et al. High quality impulse noise removal via non‐uniform sampling and autoregressive modelling based super‐resolution
CN113706472B (zh) 公路路面病害检测方法、装置、设备及存储介质
CN117156442B (zh) 基于5g网络的云数据安全保护方法及系统
CN110958244A (zh) 一种基于深度学习的仿冒域名检测方法及装置
CN115037641B (zh) 基于小样本的网络流量检测方法、装置、电子设备及介质
CN116184988B (zh) 基于多模态数据的故障预测方法、装置、设备及存储介质
CN115473748B (zh) 基于BiLSTM-ELM的DDoS攻击分类检测方法、装置及设备
CN116668112A (zh) 一种生成流量对抗样本访问黑盒模型的方法及装置
CN116089652A (zh) 视觉检索模型的无监督训练方法、装置和电子设备
CN110929506A (zh) 一种垃圾信息检测方法、装置、设备及可读存储介质
CN115622793A (zh) 一种攻击类型识别方法、装置、电子设备及存储介质
CN116304804A (zh) 一种网络异常流量检测方法及装置
CN114677584A (zh) 一种双注意力机制配电站水浸识别方法及系统
CN117034124B (zh) 基于小样本学习的恶意流量分类方法、系统、设备及介质
US20230126695A1 (en) Ml model drift detection using modified gan
CN117546443A (zh) 针对传统网络安全的机器学习替代

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant