CN117692181A - 一种基于元学习框架面向物联网安全的网络流量检测方法和系统 - Google Patents

一种基于元学习框架面向物联网安全的网络流量检测方法和系统 Download PDF

Info

Publication number
CN117692181A
CN117692181A CN202311602943.7A CN202311602943A CN117692181A CN 117692181 A CN117692181 A CN 117692181A CN 202311602943 A CN202311602943 A CN 202311602943A CN 117692181 A CN117692181 A CN 117692181A
Authority
CN
China
Prior art keywords
meta
sample
samples
data
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311602943.7A
Other languages
English (en)
Inventor
伍一鸣
林高云
刘利松
洪榛
温震宇
蒋琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology
Zhejiang University of Technology ZJUT
Original Assignee
Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology, Zhejiang University of Technology ZJUT filed Critical Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology
Priority to CN202311602943.7A priority Critical patent/CN117692181A/zh
Publication of CN117692181A publication Critical patent/CN117692181A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种基于元学习框架的面向物联网安全的网络入侵检测和系统，该方法包括：1)对网络流量的属性标准化处理，再将数据根据元学习的框架进行划分；2)使用两个权重共享的卷积神经网络作为特征提取模块对网络流量数据进行特征提取；3)使用欧式距离来对样本对进行比对，提取两个样本的特征距离信息；4)在模型训练的阶段，使用编码损失函数和对比损失函数结合来优化模型训练；5)利用距离度量，进行对样本的分类；6)利用基准数据集模拟网络流量的小样本情况来评估模型的性能。本发明提出一种基于元学习框架的面向物联网安全的流量检测方法，适用于可用样本稀少的情况，适应小样本场景，满足物联网的资源限制和实时性需求。

Description

一种基于元学习框架面向物联网安全的网络流量检测方法和 系统
技术领域
本发明涉及面向物联网安全领域，具体是指基于元学习框架面向物联网安全的网络流量检测方法和系统。
背景技术
物联网将各类传感器、设备与互联网连接起来，使得设备间的互动和数据交换成为可能。然而，随着物联网技术的广泛应用，其带来的安全隐患也日益凸显。其中，物联网网络流量攻击是近年来备受关注的一个领域。由于大量的物联网设备存在设计缺陷、软件漏洞或不当配置，这些设备成为网络攻击的目标或被利用作为攻击平台。一旦物联网设备被黑客攻占，它们可能被用来发动大规模的分布式拒绝服务(DDoS)攻击，造成网络服务中断或者大量合法流量消耗。更为严重的是，如果攻击目标是关键基础设施，如能源、交通或医疗系统，其后果可能是灾难性的。因此，对物联网安全问题的研究不仅是技术层面的挑战，也是关乎社会稳定和人们生活的重要议题。对于学术界和工业界而言，如何确保物联网的安全性和可靠性，避免网络流量攻击的威胁，成为亟待解决的问题。
物联网安全基础设施中的关键组件之一是入侵检测系统(Intrusion DetectionSystem,IDS)。该系统主要功能是对网络传输进行实时监控，当检测到网络行为异常时，即时发出警告或主动采取防护措施。近十年来，机器学习及深度学习技术在网络安全领域逐渐崭露头角。例如，李金铃等学者提出了一种基于隐马尔可夫模型针对无线局域网数据包中三种特定域的检测方法，但此方法仍然存在较高的误报和漏报率。另外，有文献描述了一种综合利用人工蜂群(ABC)和人工鱼群(AFS)的分类策略，该策略通过模糊C-Means聚类(FCM)和基于相关性的特征选择(CFS)进行优化。相比之下，深度学习为入侵检测技术提供了新的突破口。以Zhao等人的研究为例，他们提出了一种结合深度信念网络(DBN)与概率神经网络(PNN)的检测方法。然而，虽然上述技术在一定程度上提高了IDS的性能，但它们大多依赖大量的数据支持。在实际网络流量中，大部分流量是正常的，而异常流量虽然占比较小，但其潜在的危害却较大。传统方法机器学习和深度学习技术在入侵检测系统的潜力得到了证明，但大多数这些方法都需要大量的训练数据，这对于真实的网络流量场景来说是一个挑战。传统的基于大数据驱动的方法往往难以有效识别这些少量且危害性大的异常流量，且面对少量的样本进行训练容易陷入过拟合的缺陷，因此探索一种小样本学习的入侵检测方法，意在让训练好的模型可以在少量标签的攻击样本的支撑下，达到该种攻击样本的和正常样本的区分。
鉴于上述问题，本专利提出了一种针对小样本数据的网络流量检测方法，尤其适用于数据匮乏、需要满足物联网资源限制和实时性要求的场景。
发明内容
为了克服现有检测方法的上述不足，本发明提出一种基于元学习框架的面向物联网安全的流量检测方法和系统。本发明适用于可用样本稀少的情况，适应小样本场景，满足物联网的资源限制和实时性需求。
为了实现上述技术目标，本发明提供如下的技术方案：
一种基于元学习框架的面向物联网安全的网络流量检测方法，包括以下步骤：
1)数据预处理：从NSL_KDD数据集选取数据。先对网络流量的属性标准化处理，再将数据根据元学习的框架进行划分；
2)孪生卷积神经网络特征提取：使用两个权重共享的卷积神经网络(SIAM-CNN)对网络流量数据进行特征提取，随后将原始特征和提取的特征一同输入到多个全连接层；
3)基于欧式距离的特征度量：对孪生卷积神经网络提取出来的样本特征向量对，使用欧式距离来对样本对进行比对，提取两个样本的特征距离信息；
4)元训练阶段模型迭代：在模型训练的阶段，使用编码损失函数和对比损失函数结合来优化模型训练；
5)元测试阶段样本分类：在模型检测阶段，利用距离度量，通过比对带测样本与正常样本集的距离和与待测样本与攻击样本集的距离和，进行对样本的分类；
6)基准数据模型评估：利用基准数据集来构造模拟小样本的环境，评估分为三个部分，第一部分评估在训练阶段损失函数的变化情况，第二部分利用主成分分析法评估孪生卷积神经网络在网络流量样本的特征提取能力，第三部分评估模型整体的性能，用使用准确率(Accuracy)、精准率(Precision)、召回率(Recall)和F1_score，和误报率FalseAlarm Rate(FAR)进行评估。
进一步，对所述步骤1)数据预处理中，首先对非数字类属性用one-hot编码处理，转换成数字类数据，对网络流量的各个属性进行排查，除去一些和分类任务无关的常量和属性，然后对数据进行对数处理和max-min处理来进行属性差异的标准化，随后将数据重塑成二维的向量，然后按照元学习的框架进行数据划分。具体包括：
11)转换非数值属性:转换非数值属性：网络流量包含非数值属性，如“protocol_type”、“Service”和“Flag”。利用独热编码将这些属性转换为多维向量。举例来说，“协议类型”属性，包括如tcp、udp和icmp等属性，被转换为三维向量：(1,0,0)、(0,1,0)和(0,0,1)；
12)处理常量和无关属性：恒定属性的统一性质使它们失效，因为它们不能帮助区分不同类别的实例，这在分类中并不有帮助。例如，在NSL_KDD数据集中，“num_outbound_cmds”属性对所有条目都有0的恒定值。此外，与任务无关、差异很小或冗余传达相似信息的属性被认为是无关的。NSL_KDD数据集中的一个例子是“times”属性。虽然它测量了数据预测的难度，但它并不助于实际的分类过程。为了充分利用这些数据，消除了这些恒定和无关的属性，以确保一个更加集中和健壮的数据集；
13)属性值差异的标准化：属性尺度的差异可能会扭曲机器学习模型。一个范围为0-10的属性和另一个范围为0-1000的属性可能会导致不平衡。为了应对这一情况，应用了对数变换：
xj＝log(xi+1)，(1)
这种对数转换使属性的分布协调。此外，最小最大标准化确保所有属性收敛到一个统一的尺度：
14)数据重塑：为了促进统一的数据结构，使特征提取和分析更为有效，特别是对于需要固定宽度输入的模型，如卷积神经网络，将一维数据重塑为h*w的二维格式，通过用“0”填充，其中h和w代表相等的维度；
15)对网络流量样本按照元学习的框架进行划分，其中包括了将样本划分为元训练集和元测试集，元训练集用来进行模型元训练，元测试集用来进行模型元测试评估。每个元训练和元测试集内部划分为支持集和测试集。对于支持集和测试集遵循K-way-N-shot的构造规则：在支持集里，表示有K种不同类的样本，每种样本下有N个数量的样本，测试集与支持集的区别是每类会有大于N个的样本，对于网络流量的二分类问题，区分网络流量是正常类或者是攻击类，因此设置K为2；
首先，从标签集L中随机选择一个标签，称之为"Label"。然后，从数据集D中的类别0(正常)和所选的"Label"分别随机抽取N个样本，这些样本组成了的支持集S。接下来，为了形成查询集Q，采用相同的方法，但这次是对于每个类别抽取M(N>M)个样本。在实验中设置N＝5,M＝15。在此基础上，遍历整个S和Q，并将其中所有非0的标签更改为1。最终，得到了一个小样本检测任务T，其中包含了支持集S和查询集Q。
进一步，所述步骤2)中包括以下过程：
21)将数据输入孪生卷积神经网络，该网络由四个标准的卷积块和三个全连接层组成，前三个卷积块的组成为{Conv2d,ReLU,Max_Pooling,Dropout}，最后一个卷积快的组成为{Conv2d,ReLU,Max_Pooling}。
xi＝{xi|i∈N，xi∈Rh×w}，(3)
f(xi)＝Conv(xi，θ)，(4)
其中xi是重构后的样本，h和w分别代表xi二维数据的长和宽，θ是CNN的编码参数。这里，除了获取f(xi)，应考虑输入样本的原始特征xi以进一步提高特征学习性能；
22)将xi作为辅助特征并入提取出的特征嵌入f(xi)，一起馈送到全连接层输出F(xi)：
进一步，所述步骤3)中，基于欧氏距离的特征度量包括以下过程:
基于样本对的欧式距离定义是指直接计算两个输入样本xi和xj的两个特征向量之间的欧式距离，可以表示如下：
D(F(xi)，F(xj))＝||F(xi)-F(xj)||2，(6)
进一步，所述步骤4)中，考虑两种损失函数的设计实现模型的迭代和更新的过程：
41)在模型的迭代过程中，选择了两种不同的损失函数的结合来优化模型迭代的过程，从而更好的提高模型的区分正常和攻击样本的能力，在特征提取的过程中，选择了编码损失函数，该指标可用于判断模型在提取特征过程中是否保留了原始数据的重要信息。特征编码损失可以帮助网络提高准确性和鲁棒性，确保网络在进行流量特征提取时不会丢失关键信息，用以下公式表示：
其中p(xi|f(xi))表示样本的真实分布，这里代表输入样本的原始数据分布，q(xi|f(xi))是预测的分布，该损失函数可以帮助卷积神经网络做到更好的特征提取，从而提高模型的精确度；
42)其次在距离度量的阶段，提出了对比损失函数，它可以帮助特征提取网络在提取特征嵌入后，将相似的样本映射到特征空间中相邻的位置，而将不相似的样本映射到特征空间中远离的位置。首先，对一对样本对输出预测标签：
其中，y预测标签值为[0,1],α表示相似度函数判定标签的阈值，通常在训练过程中根据经验设定为α＝0.5，然后可以利用预测标签和距离度量输出对比损失函数：
其中y表示样本对的标签，m是指定距离裕度，确保不相似的样本之间的距离至少为m，从而帮助区分相似和不相似的样本。通过对输出特征的学习和比较，充分训练的模型能够捕获样本对的特征差异，并优化特征向量之间的距离，即最小化匹配对的欧氏距离，最大化非匹配对的欧氏距离，最后得到总的损失函数表示：
LSIAM-CNN＝λLecd+Lpre，(10)
其中，λ表示一个平衡系数，用于在训练过程期间限制编码损失Lecd带来的影响；
43)以下描述元训练阶段模型的更新过程：使用了Adam优化器算法被用来优化参数，其中学习率为0.001，β1＝0.9,β2＝0.999，最大的训练迭代周期E为400，每一个周期里，有100个元训练任务被执行：
为了进行小样本模型训练，首先考虑以下输入：任务集T＝{S,Q}、最大训练迭代数(E)、支持集(S)以及查询集(Q)。的目标是得到最优的模型MSIAM-CNN。
初始化LSIAM-CNN为0。然后，开始对E中的每一个迭代周期Kth进行操作。对于支持集中的每个样本xi，首先通过卷积神经网络特征提取得到F(xi)，然后再通过编码损失函数计算得到Lecd。
接下来，针对查询集中的每个xj，同样地，首先通过编码损失函数得到F(xj)。随后，利用距离度量计算欧式距离D(F(xi，F(xj)))，以及根据阈值确定预测标签，最后输出对比损失函数Lpre。两个损失函数结合得到LSOAM-CNN，通过最小化LSOAM-CNN，来更新LSOAM-CNN。
在完成所有的迭代后，返回最优的LSOAM-CNN作为输出。
进一步，步骤5)的元测试阶段样本分类中，具体分类过程如下：N表示支持集中每种类型的样本数量。Dnormal是两个输入样本的两个特征向量之间的欧几里得距离，一个来自查询集中正在评估的样本，另一个来自支持集中的正常样本，而Dattack的定义方式相似。0指的是正常类型，而1指的是攻击类型：
进一步，步骤6)中基准数据模型评估，具体包括：
61)利用NSL_KDD数据集里的KDDTrain+数据集，来模拟小样本学习的实验环境，KDDTrain+数据集里有四种攻击类型的网络流量和一种正常类型的网络流量，四种攻击类型的网络流量分别是：Denial of Service(DoS)，Probe，Remote-to-Login(R2L)，User-to-Root(U2R)。具体来说，选取一种攻击作为新型攻击，作为元测试阶段要检测的流量，剩下的三种攻击和正常流量来进行元训练，用以上分类的数据来进行构建元训练和元测试的对应的数据集：组合1：元训练任务包括：与正常样本结合的Prob、R2L和U2R。元测试任务为：与正常样本结合的DoS；组合2：元训练任务包括：与正常样本结合的DoS、R2L和U2R。元测试任务为：与正常样本结合的Prob。组合3：元训练任务包括：与正常样本结合的DoS、Prob和U2R。元测试任务为：与正常样本结合的R2L。组合4：元训练任务包括：与正常样本结合的DoS、Prob和R2L。元测试任务为：与正常样本结合的U2R。这些组合方式明确了在不同情况下，哪些类别的数据被用于训练，而哪些被用于测试。
62)评估损失函数的趋缓情况，根据损失函数趋缓的速度选择以及损失函数稳定时的状态选择合适的平衡系数λ和合适的模型迭代次数E；
63)利用主成分分析法评估孪生卷积神经网络在网络流量样本的特征提取能力；
64)评估模型整体的性能，用使用准确率(Accuracy)、精准率(Precision)、召回率(Recall)和F1_score，和误报率False Alarm Rate(FAR)进行评估其中，TP，TN，FP，FN分别表示标签的真阳性、真阴性、假阳性和假阴性：
实施本发明的基于元学习框架的面向物联网安全的网络流量检测方法的系统，包括：数据预处理、孪生卷积神经网络特征提取、基于欧式距离的特征度量、元训练阶段模型迭代、元测试阶段样本分类、基准数据模型评估，其中，
数据预处理模块，用于从NSL_KDD数据集选取数据，；对网络流量的属性标准化处理，再将数据根据元学习的框架进行划分；
孪生卷积神经网络特征提取模块，使用两个权重共享的卷积神经网络SIAM-CNN对网络流量数据进行特征提取，随后将原始特征和提取的特征一同输入到多个全连接层；
基于欧式距离的特征度量模块，用于对孪生卷积神经网络提取出来的样本特征向量对，使用欧式距离来对样本对进行比对，提取两个样本的特征距离信息；
元训练阶段模型迭代模块，用于在模型训练的阶段，使用编码损失函数和对比损失函数结合来优化模型训练；
元测试阶段样本分类模块，在模型检测阶段利用距离度量，通过比对带测样本与正常样本集的距离和与带测样本与攻击样本集的距离和，进行对样本的分类；
基准数据模型评估模块，利用基准数据集来构造模拟小样本的环境，评估分为三个部分，第一部分评估在训练阶段损失函数的变化情况，第二部分利用主成分分析法评估孪生卷积神经网络在网络流量样本的特征提取能力，第三部分评估模型整体的性能，用使用准确率、精准率、召回率，误报率、FAR进行评估。
本发明的工作原理为：构建基于元学习框架面向物联网安全的网络流量检测模型。使用了卷积孪生神经网络对网络流量数据进行特征提取，在度量模块使用了欧式距离，达到了优秀的分类效果。在模型的训练阶段，在特征提取模块使用了编码损失函数来帮助模型更好提取特征，在度量模块提出了对比损失函数，来帮助模型提高分类的效果，这些提出有效提升了模型的精度，尤其是更好的适应了小样本环境下模型稀少的情况下。
本发明的优点是：本发明运用了元学习的框架，利用孪生卷积神经网络构建了对比学习框架，使得经过元训练的模型可以在仅有少量标签的新样本数据的支撑下达到对新样本的分类，对比现有的基于深度学习的入侵检测系统本发明可以对新样本直接检测，而不需要对模型进行重新训练，也不容易陷入过拟合的缺陷，同时对比现有的为解决小样本学习问题的网络流量检测技术，本发明在对网络流量的特征提取能力，以及在准确率、精准率、召回率，误报率、FAR都超过了现有的模型，从而很好的适用于需要满足资源限制和实时性要求的真实的物联网环境。
附图说明
图1是本发明的整体模型的流程图；
图2是本发明的孪生卷积神经网络的特征提取模块图；
图3是本发明的基于主成分分析的特征提取图；
图4是本发明的模型的准确率Accuracy、精准率Precision、召回率Recall和F1_score，和误报率False Alarm Rate(FAR)数据图。
图5是本发明方法的流程图。
具体实施方式
为了使本发明的技术方案、设计思路能更加清晰，下面结合附图对本发明做进一步详尽的描述。
实施例1
一种基于元学习框架的面向物联网安全的网络流量检测方法，利用了元学习的框架，先将数据标准化并且按照元学习框架进行划分，然后构建了孪生卷积神经网络，进行特征提取，然后利用欧氏距离进行特征度量，在元训练阶段使用了编码损失和对比损失的结合来优化训练过程，在测试评估里选用了准确率(Accuracy)、精准率(Precision)、召回率(Recall)和F1_score，和误报率False Alarm Rate(FAR)来对模型进行评估。
参考图1，图2，一种基于元学习框架的面向物联网安全的网络流量检测方法：包括以下步骤：
1)数据预处理：数据来自公开可用的NSL_KDD，是一个用于网络流量检测的标准数据集,它包含了大量的正常和攻击型的网络流量。先对网络流量的属性标准化处理，再将数据根据元学习的框架进行划分；
2)孪生卷积神经网络特征提取：使用两个权重共享的卷积神经网络(SIAM-CNN)对网络流量数据进行特征提取，随后将原始特征和提取的特征一同输入到多个全连接层；
3)基于欧式距离的特征度量：对孪生卷积神经网络提取出来的样本特征向量对，使用欧式距离来对样本对进行比对，提取两个样本的特征距离信息；
4)元训练阶段模型迭代：在模型训练的阶段，使用编码损失函数和对比损失函数结合来优化模型训练；
5)元测试阶段样本分类：利用距离度量，通过比对带测样本与正常样本集的距离和与带测样本与攻击样本集的距离和，进行对样本的分类；
6)基准数据模型评估：利用基准数据集来构造模拟小样本的环境，评估分为三个部分，第一部分评估在训练阶段损失函数的变化情况，第二部分评估孪生卷积神经网络在网络流量样本的特征提取能力，第三部分评估模型整体的性能，用使用准确率(Accuracy)、精准率(Precision)、召回率(Recall)和F1_score，和误报率False Alarm Rate(FAR)进行评估。
进一步，对所述步骤1)数据预处理中，首先对非数字类属性用one-hot编码处理，转换成数字类数据，对网络流量的各个属性进行排查，除去一些和分类任务无关的常量和属性，然后对数据进行对数处理和max-min处理来进行属性差异的标准化，随后将数据重塑成二维的向量，然后按照元学习的框架进行数据划分。具体包括：
11)转换非数值属性:转换非数值属性：网络流量包含非数值属性，如“protocol_type”、“Service”和“Flag”。利用独热编码将这些属性转换为多维向量。举例来说，“协议类型”属性，包括如tcp、udp和icmp等属性，被转换为三维向量：(1,0,0)、(0,1,0)和(0,0,1)；
12)处理常量和无关属性：恒定属性的统一性质使它们失效，因为它们不能帮助区分不同类别的实例，这在分类中并不有帮助。例如，在NSL_KDD数据集中，“num_outbound_cmds”属性对所有条目都有0的恒定值。此外，与任务无关、差异很小或冗余传达相似信息的属性被认为是无关的。NSL_KDD数据集中的一个例子是“times”属性。虽然它测量了数据预测的难度，但它并不助于实际的分类过程。为了充分利用这些数据，消除了这些恒定和无关的属性，以确保一个更加集中和健壮的数据集；
13)属性值差异的标准化：属性尺度的差异可能会扭曲机器学习模型。一个范围为0-10的属性和另一个范围为0-1000的属性可能会导致不平衡。为了应对这一情况，应用了对数变换：
xj＝log(xi+1)，(1)
这种对数转换使属性的分布协调。此外，最小最大标准化确保所有属性收敛到一个统一的尺度：
14)数据重塑：为了促进统一的数据结构，使特征提取和分析更为有效，特别是对于需要固定宽度输入的模型，如卷积神经网络，将一维数据重塑为h*w的二维格式，通过用“0”填充，其中h和w代表相等的维度；
15)对网络流量样本按照元学习的框架进行划分，其中包括了将样本划分为元训练集和元测试集，元训练集用来进行模型元训练，元测试集用来进行模型元测试评估。每个元训练和元测试集内部划分为支持集和测试集。对于支持集和测试集遵循K-way-N-shot的构造规则：在支持集里，表示有K种不同类的样本，每种样本下有N个数量的样本，测试集与支持集的区别是每类会有大于N个的样本，对于网络流量的二分类问题，区分网络流量是正常类或者是攻击类，因此设置K为2；
首先，从标签集L中随机选择一个标签，称之为"Label"。然后，从数据集D中的类别0(正常)和所选的"Label"分别随机抽取N个样本，这些样本组成了的支持集S。接下来，为了形成查询集Q，采用相同的方法，但这次是对于每个类别抽取M(N>M)个样本。在实验中设置N＝5,M＝15。在此基础上，遍历整个S和Q，并将其中所有非0的标签更改为1。最终，得到了一个小样本检测任务T，其中包含了支持集S和查询集Q。
所述步骤2)中包括以下过程：
21)将数据输入孪生卷积神经网络，该网络由四个标准的卷积块和三个全连接层组成，前三个卷积块的组成为{Conv2d,ReLU,Max_Pooling,Dropout}，最后一个卷积快的组成为{Conv2d,ReLU,Max_Pooling}。
xi＝{xi|i∈N，xi∈Rh×w}，(3)
f(xi)＝Conv(xi，θ)，(4)
其中xi是重构后的样本，h和w分别代表xi二维数据的长和宽，θ是CNN的编码参数。这里，除了获取f(xi)，应考虑输入样本的原始特征xi以进一步提高特征学习性能；
22)将xi作为辅助特征并入提取出的特征嵌入f(xi)，一起馈送到全连接层输出F(xi)：
所述步骤3)中，基于欧氏距离的特征度量包括以下过程:
基于样本对的欧式距离定义是指直接计算两个输入样本xi和xj的两个特征向量之间的欧式距离，可以表示如下：
D(F(xi)，F(xj))＝||F(xi)-F(xj)||2，(6)
所述步骤4)中，考虑两种损失函数的设计实现模型的迭代和更新的过程：
41)在模型的迭代过程中，选择了两种不同的损失函数的结合来优化模型迭代的过程，从而更好的提高模型的区分正常和攻击样本的能力，在特征提取的过程中，选择了编码损失函数，该指标可用于判断模型在提取特征过程中是否保留了原始数据的重要信息。特征编码损失可以帮助网络提高准确性和鲁棒性，确保网络在进行流量特征提取时不会丢失关键信息，用以下公式表示：
p(xi|f(xi))表示样本的真实分布，这里代表输入样本的原始数据分布，q(xi|f(xi))是预测的分布，该损失函数可以帮助卷积神经网络做到更好的特征提取，从而提高模型的精确度；
42)其次在距离度量的阶段，提出了对比损失函数，它可以帮助特征提取网络在提取特征嵌入后，将相似的样本映射到特征空间中相邻的位置，而将不相似的样本映射到特征空间中远离的位置。首先，对一对样本对输出预测标签：
其中，Y标签值为[0,1],α表示相似度函数判定标签的阈值，通常在训练过程中根据经验设定为α＝0.5，然后可以输出对比损失函数：
其中y表示样本对的标签，m是指定距离裕度，确保不相似的样本之间的距离至少为m，从而帮助区分相似和不相似的样本。通过对输出特征的学习和比较，充分训练的模型能够捕获样本对的特征差异，并优化特征嵌入之间的距离，即最小化匹配对的欧氏距离，最大化非匹配对的欧氏距离，最后得到总的损失函数表示：
LSIAM-CNN＝λLecd+Lpre，(10)
其中，λ表示一个平衡系数，用于在训练过程期间限制编码损失Lecd带来的影响；
43)以下描述元训练阶段模型的更新过程：使用了Adam优化器算法被用来优化参数，其中学习率为0.001，β1＝0.9,β2＝0.999，最大的训练迭代周期E为400，每一个周期里，有100个元训练任务被执行：
为了进行小样本模型训练，首先考虑以下输入：任务集T＝{S,Q}、最大训练迭代数(E)、支持集(S)以及查询集(Q)。的目标是得到最优的模型MSIAM-CNN。
初始化LSIAM-CNN为0。然后，开始对E中的每一个迭代周期Kth进行操作。对于支持集中的每个样本xi，首先通过卷积神经网络特征提取得到F(xi)，然后再通过编码损失函数计算得到Lecd。
接下来，针对查询集中的每个xj，同样地，首先通过编码损失函数得到F(xj)。随后，利用距离度量计算欧式距离D(F(xi，F(xj)))，以及根据阈值确定预测标签，最后输出对比损失函数Lpre。两个损失函数结合得到LSIAM-CNN，通过最小化LSIAM-CNN，来更新MSIAM-CNN。
在完成所有的迭代后，返回最优的MSIAM-CNN作为输出。
所述步骤5)元测试阶段样本分类中，
具体分类过程如下：N表示支持集中每种类型的样本数量。Dnormal是两个输入样本的两个特征向量之间的欧几里得距离，一个来自查询集中正在评估的样本，另一个来自支持集中的正常样本，而Dattack的定义方式相似。0指的是正常类型，而1指的是攻击类型：
所述步骤6)基准数据模型评估中，
61)利用NSL_KDD数据集里的KDDTrain+数据集，来模拟小样本学习的实验环境，KDDTrain+数据集里有四种攻击类型的网络流量和一种正常类型的网络流量，四种攻击类型的网络流量分别是：Denial of Service(DoS)，Probe，Remote-to-Login(R2L)，User-to-Root(U2R)。具体来说，选取一种攻击作为新型攻击，作为元测试阶段要检测的流量，剩下的三种攻击和正常流量来进行元训练，用以上分类的数据来进行构建元训练和元测试的对应的数据集：组合1：元训练任务包括：与正常样本结合的Prob、R2L和U2R。元测试任务为：与正常样本结合的DoS；组合2：元训练任务包括：与正常样本结合的DoS、R2L和U2R。元测试任务为：与正常样本结合的Prob。组合3：元训练任务包括：与正常样本结合的DoS、Prob和U2R。元测试任务为：与正常样本结合的R2L。组合4：元训练任务包括：与正常样本结合的DoS、Prob和R2L。元测试任务为：与正常样本结合的U2R。这些组合方式明确了在不同情况下，哪些类别的数据被用于训练，而哪些被用于测试。
62)评估损失函数的趋缓情况，根据损失函数趋缓的速度选择以及损失函数稳定时的状态选择合适的平衡系数λ和合适的模型迭代次数E；
63)利用主成分分析法评估孪生卷积神经网络在网络流量样本的特征提取能力；
64)评估模型整体的性能，用使用准确率(Accuracy)、精准率(Precision)、召回率(Recall)、F1_score，和误报率False Alarm Rate(FAR)进行评估，其中，TP，TN，FP，FN分别表示标签的真阳性、真阴性、假阳性和假阴性：
实施例2
本实施例涉及实现实施例1的基于元学习框架的面向物联网安全的网络流量检测方法的系统，包括：数据预处理、孪生卷积神经网络特征提取、基于欧式距离的特征度量、元训练阶段模型迭代、元测试阶段样本分类、基准数据模型评估，其中，
数据预处理模块，用于从NSL_KDD数据集选取数据，；对网络流量的属性标准化处理，再将数据根据元学习的框架进行划分；
孪生卷积神经网络特征提取模块，使用两个权重共享的卷积神经网络SIAM-CNN对网络流量数据进行特征提取，随后将原始特征和提取的特征一同输入到多个全连接层；
基于欧式距离的特征度量模块，用于对孪生卷积神经网络提取出来的样本特征向量对，使用欧式距离来对样本对进行比对，提取两个样本的特征距离信息；
元训练阶段模型迭代模块，用于在模型训练的阶段，使用编码损失函数和对比损失函数结合来优化模型训练；
元测试阶段样本分类模块，在模型检测阶段利用距离度量，通过比对带测样本与正常样本集的距离和与带测样本与攻击样本集的距离和，进行对样本的分类；
基准数据模型评估模块，利用基准数据集来构造模拟小样本的环境，评估分为三个部分，第一部分评估在训练阶段损失函数的变化情况，第二部分利用主成分分析法评估孪生卷积神经网络在网络流量样本的特征提取能力，第三部分评估模型整体的性能，用使用准确率、精准率、召回率，和误报率进行评估。

Claims (8)

1.基于元学习框架的面向物联网安全的网络流量检测方法，其特征在于，包括以下步骤：
1)数据预处理：从NSL_KDD数据集选取数据，对网络流量的属性做标准化处理，再将数据根据元学习的框架进行划分；
2)孪生卷积神经网络特征提取：使用两个权重共享的卷积神经网络SIAM-CNN对网络流量数据进行特征提取，随后将原始特征和提取的特征一同输入到多个全连接层；
3)基于欧式距离的特征度量：对孪生卷积神经网络提取出来的样本特征向量对，使用欧式距离来对样本对进行比对，提取两个样本的特征距离信息；
4)元训练阶段模型迭代：在模型训练的阶段，使用编码损失函数和对比损失函数结合来优化模型训练；
5)元测试阶段样本分类：在模型检测阶段，利用距离度量，通过比对带测样本与正常样本集的距离和与待测样本与攻击样本集的距离和，进行对样本的分类；
6)基准数据模型评估：利用基准数据集来构造模拟小样本的环境，评估分为三个部分，第一部分评估在训练阶段损失函数的变化情况，第二部分评估孪生卷积神经网络在网络流量样本的特征提取能力，第三部分评估模型整体的性能，使用准确率Accuracy、精准率Precision、召回率Recall和F1_score，和误报率FAR进行评估。
2.如权利要求1所述的基于元学习框架的面向物联网安全的网络流量检测方法，其特征在于，步骤1)包括：
首先对非数字类属性用one-hot编码处理，转换成数字类数据，对网络流量的各个属性进行排查，除去一些和分类任务无关的常量和属性，然后对数据进行对数处理和max-min处理来进行属性差异的标准化，随后将数据重塑成二维的向量，然后按照元学习的框架进行数据划分；
11)转换非数值属性:转换非数值属性：网络流量包含非数值属性，如“protocol_type”、“Service”和“Flag”；利用独热编码将这些属性转换为多维向量；
12)处理常量和无关属性：消除部分恒定和与样本二分类无关的属性，以确保一个更加集中和健壮的数据集；
13)属性值差异的标准化：首先应用了对数变换使数字属性的大小的分布协调：
xj＝log(xi+1)， (1)
此外，最小最大标准化确保所有属性收敛到一个统一的尺度：
14)数据重塑：通过“0”填充，将一维数据重塑为h*w的二维格式，其中h和w代表相等的维度；
15)对网络流量样本按照元学习的框架进行划分，其中包括了将样本划分为元训练集和元测试集，元训练集用来进行模型元训练，元测试集用来进行模型元测试评估。每个元训练和元测试集内部划分为支持集和测试集。对于支持集和测试集遵循K-way-N-shot的构造规则：在支持集里，表示有K种不同类的样本，每种样本下有N个数量的样本，测试集与支持集的区别是每类会有大于N个的样本，对于网络流量的二分类问题，区分网络流量是正常类或者是攻击类，因此设置K为2；具体包括：
首先，从标签集L中随机选择一个标签，称之为"Label"；然后，从数据集D中的类别0(正常)和所选的"Label"类里分别随机抽取N个样本，这些样本组成了的支持集S；接下来，为了形成查询集Q，采用相同的方法，但这次是对于每个类别抽取M(M>N)个样本；在此基础上，遍历整个S和Q，将其中所有非0的标签更改为1；最终，得到了一个小样本检测任务T，其中包含了支持集S和查询集Q。
3.如权利要求1所述的基于元学习框架的面向物联网安全的网络流量检测方法，其特征在于，步骤2)具体包括：
21)将数据输入孪生卷积神经网络，该网络由四个标准的卷积块和三个全连接层组成，前三个卷积块的组成为{Conv2d,ReLU,Max_Pooling,Dropout}，最后一个卷积块的组成为{Conv2d,ReLU,Max_Pooling}；
xi＝{xi|i∈N，xi∈Rh×w}， (3)
f(xi)＝Conv(xi，θ)， (4)
其中xi是重构后的样本，h和w分别代表xi二维数据的长和宽，θ是CNN的编码参数；这里，除了获取f(xi)，应考虑输入样本的原始特征xi以进一步提高特征学习性能；
22)将xi作为辅助特征并入提取出的特征嵌入f(xi)，一起馈送到全连接层输出F(xi)：
。
4.如权利要求1所述的基于元学习框架的面向物联网安全的网络流量检测方法，其特征在于，步骤3)所述的基于欧氏距离的特征度量包括以下过程:
基于样本对的欧式距离定义是指直接计算两个输入样本xi和xj的两个特征向量之间的欧式距离，可以表示如下：
D(F(xi)，F(xj))＝||F(xi)-F(xj)||2 (6)。
5.如权利要求1所述的基于元学习框架的面向物联网安全的网络流量检测方法，其特征在于，步骤4)所述的模型迭代中，考虑两种损失函数的设计实现模型的迭代和更新，具体包括：
41)在模型的迭代过程中，选择了两种不同的损失函数，两种损失函数结合来优化模型迭代的过程，从而更好的提高模型的区分正常和攻击样本的能力，在特征提取的过程中，选择了编码损失函数，该指标用于判断模型在提取特征过程中是否保留了原始数据的重要信息；特征编码损失能帮助模型提高准确性和鲁棒性，确保网络在进行流量特征提取时不会丢失关键信息，用以下公式表示：
其中p(xi|f(xi))表示样本的真实分布，这里代表输入样本的原始数据分布，q(xi|f(xi))是预测的分布，该损失函数可以帮助卷积神经网络做到更好的特征提取，从而提高模型的精确度；
42)在距离度量的阶段，提出了对比损失函数，它能帮助特征提取网络在提取特征嵌入后，将相似的样本映射到特征空间中相邻的位置，而将不相似的样本映射到特征空间中远离的位置；首先，对一对样本对输出预测标签：
其中，y预测标签值为[0,1],α表示相似度函数判定标签的阈值，通常在训练过程中根据经验设定为α＝0.5，然后可以利用预测标签和距离度量输出对比损失函数：
其中y表示样本对的标签，m是指定距离裕度，确保不相似的样本之间的距离至少为m，从而帮助区分相似和不相似的样本。通过对输出特征的学习和比较，充分训练的模型能够捕获样本对的特征差异，并优化特征向量之间的距离，即最小化匹配对的欧氏距离，最大化非匹配对的欧氏距离，最后得到总的损失函数表示：
LSIAM-CNN＝λLecd+Lpre， (10)
其中，λ表示一个平衡系数，用于在训练过程限制编码损失Lecd带来的影响；
43)以下描述元训练阶段模型的更新过程：使用了Adam优化器算法被用来优化参数，其中学习率为0.001，β1＝0.9,β2＝0.999，最大的训练迭代周期E为400，每一个周期里，有100个元训练任务被执行：
为了进行小样本模型训练，首先考虑以下输入：任务集T＝{S,Q}、最大训练迭代数(E)、支持集(S)以及查询集(Q)；目标是得到最优的模型MSIAM-CNN；
初始化LSIAM-CNN为0；然后，开始对E中的每一个迭代周期Kth进行操作；对于支持集中的每个样本xi，首先通过卷积神经网络特征提取得到F(xi)，然后再通过编码损失函数计算得到Lecd；
接下来，针对查询集中的每个xj，同样地，首先通过编码损失函数得到F(xj)；随后，利用距离度量计算欧式距离D(F(xi，F(xj)))，以及根据阈值确定预测标签，最后输出对比损失函数Lpre；两个损失函数结合得到LSIAM-CNN，通过最小化LSIAM-CNN，来更新MSIAM-CNN；
在完成所有的迭代后，返回最优的MSIAM-CNN作为输出。
6.如权利要求1所述的一种基于元学习框架的面向物联网安全的网络流量检测方法其特征在于，步骤5)中，元测试阶段样本分类包括：
其中N表示支持集中每种类型的样本数量；Dnormal是两个输入样本的特征向量之间的欧几里得距离，一个来自查询集中正在评估的样本，另一个来自支持集中的正常样本，而Dattack的定义方式相似；0指的是正常类型，而1指的是攻击类型。
7.如权利要求1所述的基于元学习框架的面向物联网安全的网络流量检测方法，其特征在于，步骤6)所述的基准数据模型评估，具体包括：
61)利用NSL_KDD数据集里的KDDTrain+数据集，来模拟小样本学习的实验环境，KDDTrain+数据集里有四种攻击类型的网络流量和一种正常类型的网络流量，四种攻击类型的网络流量分别是：Denial of Service(DoS)，Probe，Remote-to-Login(R2L)，User-to-Root(U2R)；具体来说，选取一种攻击作为新型攻击，作为元测试阶段要检测的流量，剩下的三种攻击和正常流量来进行元训练，用以上分类的数据来进行构建元训练和元测试的对应的数据集：组合1：元训练任务包括：与正常样本结合的Prob、R2L和U2R；元测试任务为：与正常样本结合的DoS；组合2：元训练任务包括：与正常样本结合的DoS、R2L和U2R；元测试任务为：与正常样本结合的Prob；组合3：元训练任务包括：与正常样本结合的DoS、Prob和U2R；元测试任务为：与正常样本结合的R2L；组合4：元训练任务包括：与正常样本结合的DoS、Prob和R2L；元测试任务为：与正常样本结合的U2R；这些组合方式明确了在不同情况下，哪些类别的数据被用于训练，而哪些被用于测试；
62)评估损失函数的趋缓情况，根据损失函数趋缓的速度选择以及损失函数稳定时的状态选择合适的平衡系数λ和合适的模型迭代次数E；
63)利用主成分分析法评估孪生卷积神经网络在网络流量样本的特征提取能力；
64)评估模型整体的性能，用使用准确率Accuracy、精准率Precision、召回率Recall、F1_score，和误报率FAR进行评估，其中，TP，TN，FP，FN分别表示标签的真阳性、真阴性、假阳性和假阴性：
。
8.实施如权利要求1所述的基于元学习框架的面向物联网安全的网络流量检测方法的系统，其特征在于，包括：数据预处理、孪生卷积神经网络特征提取、基于欧式距离的特征度量、元训练阶段模型迭代、元测试阶段样本分类、基准数据模型评估，其中，
数据预处理模块，用于从NSL_KDD数据集选取数据，；对网络流量的属性标准化处理，再将数据根据元学习的框架进行划分；
孪生卷积神经网络特征提取模块，使用两个权重共享的卷积神经网络SIAM-CNN对网络流量数据进行特征提取，随后将原始特征和提取的特征一同输入到多个全连接层；
基于欧式距离的特征度量模块，用于对孪生卷积神经网络提取出来的样本特征向量对，使用欧式距离来对样本对进行比对，提取两个样本的特征距离信息；
元训练阶段模型迭代模块，用于在模型训练的阶段，使用编码损失函数和对比损失函数结合来优化模型训练；
元测试阶段样本分类模块，利用距离度量，通过比对带测样本与正常样本集的距离和与带测样本与攻击样本集的距离和，进行对样本的分类；
基准数据模型评估模块，利用基准数据集来构造模拟小样本的环境，评估分为三个部分，第一部分评估在训练阶段损失函数的变化情况，第二部分利用主成分分析法评估孪生卷积神经网络在网络流量样本的特征提取能力，第三部分评估模型整体的性能，用使用准确率Accuracy、精准率Precision、召回率Recall、F1_score，和误报率FAR进行评估。
CN202311602943.7A 2023-11-28 2023-11-28 一种基于元学习框架面向物联网安全的网络流量检测方法和系统 Pending CN117692181A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311602943.7A CN117692181A (zh) 2023-11-28 2023-11-28 一种基于元学习框架面向物联网安全的网络流量检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311602943.7A CN117692181A (zh) 2023-11-28 2023-11-28 一种基于元学习框架面向物联网安全的网络流量检测方法和系统

Publications (1)

Publication Number Publication Date
CN117692181A true CN117692181A (zh) 2024-03-12

Family

ID=90136305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311602943.7A Pending CN117692181A (zh) 2023-11-28 2023-11-28 一种基于元学习框架面向物联网安全的网络流量检测方法和系统

Country Status (1)

Country Link
CN (1) CN117692181A (zh)

Similar Documents

Publication Publication Date Title
CN112491796B (zh) 一种基于卷积神经网络的入侵检测及语义决策树量化解释方法
WO2019200739A1 (zh) 数据欺诈识别方法、装置、计算机设备和存储介质
CN111598179A (zh) 电力监控系统用户异常行为分析方法、存储介质和设备
CN114399029A (zh) 一种基于gan样本增强的恶意流量检测方法
CN110879881A (zh) 基于特征组分层和半监督随机森林的鼠标轨迹识别方法
CN111507385A (zh) 一种可扩展的网络攻击行为分类方法
CN113705604A (zh) 僵尸网络流量分类检测方法、装置、电子设备及存储介质
CN117221087A (zh) 告警根因定位方法、装置及介质
CN113472754A (zh) 基于网络安全大数据的安全防护配置方法及网络安全系统
CN114531283B (zh) 入侵检测模型的鲁棒性测定方法、系统、存储介质及终端
CN116384736A (zh) 一种智慧城市的风险感知方法及系统
CN116633601A (zh) 一种基于网络流量态势感知的检测方法
CN115277189A (zh) 基于生成式对抗网络的无监督式入侵流量检测识别方法
Hegazy Tag Eldien, AS; Tantawy, MM; Fouda, MM; TagElDien, HA Real-time locational detection of stealthy false data injection attack in smart grid: Using multivariate-based multi-label classification approach
CN117807245A (zh) 网络资产图谱中节点特征提取方法及相似节点搜索方法
CN112073396A (zh) 一种内网横向移动攻击行为的检测方法及装置
CN116545679A (zh) 一种工业情境安全基础框架及网络攻击行为特征分析方法
CN114005004B (zh) 一种基于图片实例级特征的诈骗网站识别方法及系统
CN117692181A (zh) 一种基于元学习框架面向物联网安全的网络流量检测方法和系统
CN1612135A (zh) 入侵检测(保护)产品与防火墙产品中的协议识别技术
CN115767546A (zh) 量化节点风险的5g网络安全态势评估方法
CN114398887A (zh) 一种文本分类方法、装置及电子设备
CN112804247B (zh) 基于三元概念分析的工业控制系统网络入侵检测方法及系统
CN114528909A (zh) 一种基于流量日志特征提取的无监督异常检测方法
CN112597699A (zh) 一种融入客观赋权法的社交网络谣言源识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination