CN115412324A - 基于多模态条件对抗领域适应的空天地网络入侵检测方法 - Google Patents

基于多模态条件对抗领域适应的空天地网络入侵检测方法 Download PDF

Info

Publication number
CN115412324A
CN115412324A CN202211009783.0A CN202211009783A CN115412324A CN 115412324 A CN115412324 A CN 115412324A CN 202211009783 A CN202211009783 A CN 202211009783A CN 115412324 A CN115412324 A CN 115412324A
Authority
CN
China
Prior art keywords
domain
training
data
feature
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211009783.0A
Other languages
English (en)
Inventor
李源
许海涛
徐佳康
杨仁金
时月红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Penghu Wuyu Technology Development Co ltd
Original Assignee
Beijing Penghu Wuyu Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Penghu Wuyu Technology Development Co ltd filed Critical Beijing Penghu Wuyu Technology Development Co ltd
Priority to CN202211009783.0A priority Critical patent/CN115412324A/zh
Publication of CN115412324A publication Critical patent/CN115412324A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于多模态条件对抗领域适应的空天地网络入侵检测方法。涉及空天地网络分布式领域，为解决当前对抗式领域自适应方法由于对抗学习的平衡问题带来的弊端问题而发明。本发明提供的技术方法包括：基于特征融合的多模态条件对抗领域自适应方法是空天地网络分布式入侵检测架构的核心，通过模型的域自适应训练为每个网络域提供适合域环境的最佳检测模型。对抗式领域自适应方法继承了生成对抗网络的优点，不需要假定数据服从某种分布，然后利用极大似然估计数据的分布，也不依赖于任何事先的假设，同时模型训练更简单、更多样化。该方法可以应用在空天地网络入侵检测研究中。

Description

基于多模态条件对抗领域适应的空天地网络入侵检测方法
技术领域
本发明涉及空天地网络分布式领域，具体地涉及一种基于多模态条件对抗领域适应的空天地网络入侵检测方法。
背景技术
当前对抗式领域自适应方法对分类、分割等任务的总体效果都很好，但这些对抗领域自适应方法仍可能受到两个瓶颈的制约。首先，使用对抗训练提取域不变特征，需要将源域与目标域映射到一个高维空间，该空间内存在两域的域不变特性。然而大多数基于对抗的域适应方法只能将源域与目标域数据在整体分布上进行对齐，而忽略了域内数据的多模态分布特点。这是由于在每个域中不同类别的数据也都对应着不同的特征，这些不同特征在映射后的高维空间内表现为不同的分布，因此来自不同域的即使是相同类别的数据在映射到高维空间后也不一定会在存在位置与形态上保持一致，即整体数据就会呈现不止一种的多模态结构。当数据分布包含复杂的多模态结构时，对抗式适应方法可能无法捕获这种多模态结构，只优化边缘分布而忽略了数据本身的结构分布特点，可能会导致错误的对齐，如图1所示，从而使得迁移效果变差。
这种弊端来自对抗学习的平衡问题，因为即使判别器已经无法识别假样本也不代表两个域的数据分布充分相似。这种弊端不能简单的通过将特征和类的分布利用单独的域判别器对齐来解决，因为多模态结构只能通过特征和类之间的互协方差依赖性来充分捕获。其次，当分类器的预测信息不确定时，用预测信息作为域判别器的条件是存在潜在风险的。
发明内容
本发明要解决的技术问题是提供一种基于特征融合的多模态条件对抗领域适应方法，通过模型的域自适应训练为每个网络域提供适合域环境的最佳检测模型。本发明目的是，针对现有问题，提出一种基于特征融合的多模态条件对抗域适应算法。
基于多模态条件对抗领域适应的空天地网络入侵检测方法，包括以下步骤：
步骤1，构建基于特征融合的多模态条件对抗域适应网络模型。
模型使用Fs、Fm、Ft三个特征提取网络，三个特征提取网络均采用ShuffleNet_Lite_ECA网络。Fs、Ft分别用于提取源于和目标域的特有特征，Fm用于提取领域间的域不变特征。Fs、Fm提取的特征融合后传入分类器C进行监督训练；源域数据训练的分类器学习到目标域的信息，然后Fm提取的特征与源域数据的分类标签按照多线性映射方法处理后输入对抗网络的判别器D中进行域判别。
特征和标签合并，即
Figure BDA0003809153460000021
f、g分别表示特征和分类标签，根据一种多线性映射方法
Figure BDA0003809153460000022
通过多线性映射进行互协方差信息的提取，多线性映射定义为多个随机向量的外积。假设线性映射φ(x)＝x和具有C类别数的one-hot标签变量y，均值映射
Figure BDA0003809153460000023
会分别独立计算x和y的均值，而多线性映射
Figure BDA0003809153460000024
计算每一个类别的条件分布P(x|y)的均值。
引入熵条件衡量样本预测类别的不确定性大小，对于熵较大的样本赋予较小的权重，反之对于熵较小的样本赋予较大的权重，以此降低预测效果差的样本对对抗训练产生的负面影响。熵H(·)的计算公式为：
Figure BDA0003809153460000025
Nc表示类别数目，
Figure BDA0003809153460000026
表示该样本属于第nc类的概率。从而根据熵值求得熵权重ω(H(·))为：
Figure BDA0003809153460000027
判别器D判断接收到的数据样本是来自源域还是目标域，该部分采用的条件领域对抗思想，由于判别器D接受的特征数据中融入了标签信息；目标域数据同时经过Fm、Ft特征提取网络进行共享特征和特有特征的提取；使用分类器C对目标域数据进行分类预测，先令分类器C进行一个epoch的有监督训练后，再开始对抗训练。目标域数据具有分类标签，与
Figure BDA0003809153460000028
进行外积计算后输入条件判别器进行对抗训练。
在目标函数中引入特征对齐损失惩罚项进行特征对齐，采用CORAL算法计算特征间差异。CORAL算法是对源域和目标域特征分布的二阶统计量进行对齐，从而缩小两个领域的特征分布差异。CORAL差异计算公式为：
Figure BDA0003809153460000029
d为特征维度，CS和CT分别为源域和目标域的特征协方差矩阵：
Figure BDA00038091534600000210
Figure BDA00038091534600000211
1为所有元素为1的列变量，MS为每批次数据中包含的NS个源域数据样本的特征，MT为每批次数据中包含的NT个目标域数据样本的特征。
本模型实行三阶段式训练方法，分别是预训练阶段、训练阶段和测试阶段。预训练阶段模型网络只包含Fs和Fm两个特征映射网络以及分类器C和判别器D，当预训练收敛后，冻结特征提取网络Fm的参数，进行正式训练。正式训练开始时先冻结判别器参数，使分类器C单独进行一个epoch的有监督训练，然后再开始进行对抗训练。正式训练模型收敛后，冻结Fm、Ft、C、D的参数在测试集进行验证评价。
步骤2，构建目标函数。
学习目标域的两个特征提取网络、一个领域判别器和一个分类器，用于在目标域上执行入侵检测任务。
定义源域数据
Figure BDA0003809153460000031
Figure BDA0003809153460000032
代表源域数据中第i个样本，
Figure BDA0003809153460000033
代表源域中第i个样本的标签，Ns代表源域中样本的数量，源域数据服从的分布记为Ps。同样，定义目标域数据
Figure BDA0003809153460000034
Figure BDA0003809153460000035
代表目标域数据中第i个样本，与源域不同的是目标域没有标签，Nt代表目标域样本的数量，目标域数据服从的分布记为Pt，并且定义
Figure BDA0003809153460000036
为两个域的样本集合，同时定义di为第i个样本的域标签，di＝0代表源域，di＝1代表目标域。
在F-MCADA架构中，目标函数分为三部分。
1)分类器C产生的有监督训练的分类损失
将源域提取的特有特征与Fm提取的混淆特征融合后传入C中进行监督学习。类器C对有标签的源域数据进行监督训练，使用交叉熵损失进行优化：
Figure BDA0003809153460000037
Figure BDA0003809153460000038
代表特征生成网络Fs的参数，
Figure BDA0003809153460000039
代表特征混淆网络Fm的参数，θC代表分类器C的参数，Lc代表交叉熵损失。
2)条件域分类损失
条件域对抗训练损失整体优化目标为：
Figure BDA00038091534600000310
Ladv-s、Ladv-t分别为源域数据和目标域数据在特征提取网络Fm与判别器D上的对抗误差项：
Figure BDA0003809153460000041
Figure BDA0003809153460000042
Figure BDA0003809153460000043
表示源域数据经过Fs和Fm后的融合特征在分类器C上的预测标签，
Figure BDA0003809153460000044
表示目标域数据经过Ft和Fm后的融合特征在分类器C上的伪预测标签；T(·)为特征与预测标签的多线性映射条件融合策略，fm表示Fm提取的特征，c为分类标签，
Figure BDA0003809153460000045
和dc分别表示向量fm和c的维数，
Figure BDA0003809153460000046
是多线性映射，使得条件域判别器捕获fm和c的多模态信息和联合分布；H(·)为用于衡量样本预测类别不确定性大小的熵；ω(H(·))表示根据熵值大小计算出的熵权重。
3)域间CORAL对齐损失
根据式(3)，域间CORAL特征对齐损失为：
Figure BDA0003809153460000047
d为特征维度，CS和CT分别为源域和目标域的特征协方差矩阵。
F-MCADA的最终训练目标函数为：
Figure BDA0003809153460000048
α、β为损失权重系数。
本发明的具有的技术效果：
1、首先利用领域对抗的方法，将源域数据与目标域数据分别映射到域不变空间，实现源域和目标域的边缘分布对齐。
2、利用源域有标签数据训练源域分类器。
3、针对传统对抗网络只使用一个共用特征提取网络导致源域和目标域独有特征丧失，从而导致域内类边界模糊的问题，采用三个独立的特征提取网络，分别提取源域、目标域以及域不变特征，达到提取域不变特征的同时保留域内独有信息的目的。
4、针对域间适应会忽略领域内多模态信息的问题，引入条件域适应，利用分类器的预测结果指导判别器的鉴别工作，使得域内各类别特征更具区分性，增强域内类别分辨能力。
5、针对源域个性特征和目标域个性特征可能会因对抗训练导致差异过大从而导致域间无法很好对齐的问题，引入对齐惩罚项，通过最小化源域个性特征和目标域个性特征之间的差异，实现特征对齐。最终实现域间边缘分布对齐的同时域内类别多模态结构也能得到正确对齐。
6、通过实验证明F-MCADA模型在入侵检测任务中的优良性能，并设计t-SNE可视化实验，直观的展现经过F-MCADA域适应训练前后的特征分布状态。
附图说明
图1为现有技术领域自适应类别间错误对齐示意图；
图2为本发明一种基于特征融合的多模态条件对抗领域自适应方法流程图；
图3为本发明预训练网络结构；
图4为本发明正式训练网络结构；
图5为本发明模型测试网络结构；
图6为本发明领域判别器的损失变化图；
图7为本发明领域判别器的准确率变化图；
图8为本发明分类器C损失变化图；
图9为本发明特征对齐惩罚项损失变化图；
图10为本发明在测试集上的准确率变化；
图11为本发明不同模型的各评价指标得分对比；
图12(a)为本发明领域自适应训练前后样本特征分布对比；
图12(b)为本发明领域自适应训练前后样本特征分布对比。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。根据本发明实施例，提供了一种基于特征融合的多模态条件对抗领域自适应方法，图2为该方法的所提出的基于多模态条件对抗领域适应的空天地网络入侵检测方法流程图，包括：
步骤1，构建基于特征融合的多模态条件对抗域适应网络模型。
为了提高模型在目标领域上的泛用性能，并能够充分利用每个域特有的领域特征，提出一种基于特征融合的多模态条件对抗域适应网络模型(Multi-modal ConditionalAdversarial Domain Adaptation Network Based on Feature Fusion，F-MCADA)。该模型可以同时提取具有域不变特性的特征和领域的个性特征，充分挖掘领域数据携带的隐含信息；该模型标签分类器中融入了目标域的信息，增强了其在目标域数据集的泛化性；将提取的特征与分类标签计算外积后作为对抗网络中判别器的输入，充分学习具有类间区分性的特征，从而达到多模态域适应的目的。
为了实现能够同时提取领域间共享特征和各领域特有的特征，本模型使用了Fs、Fm、Ft三个特征提取网络，三个特征提取网络均采用ShuffleNet_Lite_ECA网络。Fs、Ft分别用于提取源于和目标域的特有特征，Fm用于提取领域间的域不变特征。Fs、Fm提取的特征融合后传入分类器C进行监督训练，利用监督信息，在提高源域分类精度的同时，最小化目标域分类风险。由于Fm中包含了目标域信息和域不变特征，因此源域数据训练的分类器也学习到了目标域的信息，然后Fm提取的特征与源域数据的分类标签按照多线性映射方法处理后输入对抗网络的判别器D中进行域判别。
当前的对抗领域自适应方法存在问题：(1)只考虑单独的对齐特征而不考虑对齐标签，往往不能充分利用有效信息；(2)当数据分布体现出复杂的多模态结构时，简单只考虑特征对齐的方法无法捕捉这种多模态结构，即使模型训练收敛，判别器完全被混淆，无法分辨样本来源，但也不能保证此时源域和目标域相同类别之间足够相似；(3)一般的对抗域适应方法将样本看作平等重要，这时那些标签预测不确定的难以迁移的样本可能会对对抗网络产生负面作用。
针对问题(1)(2)，可以通过对齐特征和类别的联合分布来解决。条件生成对抗网络(CGAN)揭示了不同的分布可以在相关信息上得到辅助信息使得生成器和判别器能够能好的匹配，例如，将特征与标签相关联。分类器预测结果中携带了可以揭露数据分布多模态特征的潜在信息，如果能够将这些信息用来指导生成器和判别器的训练，那么就可以更好的提取多模态信息。但是，简单的将特征和标签合并，即
Figure BDA0003809153460000061
f、g分别表示特征和分类标签，使得f和g仍然处于相互独立状态，导致不能很好的捕捉特征和预测分类结果之间的乘法交互作用，因此分类器预测结果中蕴含的多模态信息也就不能被充分提取从而匹配复杂域的多峰分布。根据一种多线性映射方法
Figure BDA0003809153460000062
通过多线性映射进行互协方差信息的提取，多线性映射定义为多个随机向量的外积可以解决这个问题。假设线性映射φ(x)＝x和具有C类别数的one-hot标签变量y，简单的均值映射
Figure BDA0003809153460000063
会分别独立计算x和y的均值，而多线性映射
Figure BDA0003809153460000064
计算了每一个类别的条件分布P(x|y)的均值。
Figure BDA0003809153460000065
比
Figure BDA0003809153460000066
优越的是，多线性映射模拟了不同变量之间的乘法相互作用，并且多线性映射最大的优势就是能够完全捕捉到复杂数据分布后的多模态结构。
针对问题(3)，引入熵条件衡量样本预测类别的不确定性大小，对于熵较大的样本赋予较小的权重，反之对于熵较小的样本赋予较大的权重，以此
降低预测效果差的样本对对抗训练产生的负面影响。熵H(·)的计算公式为：
Figure BDA0003809153460000067
Nc表示类别数目，
Figure BDA0003809153460000071
表示该样本属于第nc类的概率。从而根据熵值求得熵权重ω(H(·))为：
Figure BDA0003809153460000072
判别器D判断接收到的数据样本是来自源域还是目标域，该部分采用的条件领域对抗思想，由于判别器D接受的特征数据中融入了标签信息，因此增大了域间不同类别之间的可区分度，解决了域间类别分布糅杂不可区分的问题。与源域数据的处理流程类似，目标域数据同时经过Fm、Ft特征提取网络进行共享特征和特有特征的提取，与源域数据不同的是，源域数据是自带真实分类标签的，而目标域是无标签数据，因此本方法中采用半监督伪标签生成方法，使用分类器C对目标域数据进行分类预测，为了防止初始时分类器C对目标域数据分类能力较差，导致分类器C为目标域数据生成的伪标签误差较大，先令分类器C进行一个epoch的有监督训练后，再开始对抗训练。自此，目标域数据也具有了分类标签，与
Figure BDA0003809153460000073
进行外积计算后输入条件判别器进行对抗训练。
此外，为了防止源域和目标域的独有特征提取网络提取的特征fs和fm随着训练的进行趋向远离，因此本文在目标函数中引入特征对齐损失惩罚项进行特征对齐，采用CORAL算法计算特征间差异。CORAL算法是对源域和目标域特征分布的二阶统计量进行对齐，从而缩小两个领域的特征分布差异。CORAL差异计算公式为：
Figure BDA0003809153460000074
d为特征维度，CS和CT分别为源域和目标域的特征协方差矩阵：
Figure BDA0003809153460000075
Figure BDA0003809153460000076
1为所有元素为1的列变量，MS为每批次数据中包含的NS个源域数据样本的特征，MT为每批次数据中包含的NT个目标域数据样本的特征。
为了更好更快的使模型收敛，本模型实行三阶段式训练方法，分别是预训练阶段、训练阶段和测试阶段。预训练阶段模型网络只包含Fs和Fm两个特征映射网络以及分类器C和判别器D，如图3所示。当预训练收敛后，冻结特征提取网络Fm的参数，进行正式训练。正式训练的模型网络如图4所示，开始时先冻结判别器参数，使分类器C单独进行一个epoch的有监督训练，然后再开始进行对抗训练。正式训练模型收敛后，冻结Fm、Ft、C、D的参数在测试集进行验证评价，验证流程如图5所示。
步骤2，构建目标函数。
F-MCADA属于无监督条件域适应网络，存在源域和目标域两个领域，源域中的数据有标签，目标域中的数据无标签。两个域中的数据分布存在差异。本章提出的算法目标是学习目标域的两个特征提取网络、一个领域判别器和一个分类器，用于在目标域上执行入侵检测任务。
定义源域数据
Figure BDA0003809153460000081
Figure BDA0003809153460000082
代表源域数据中第i个样本，
Figure BDA0003809153460000083
代表源域中第i个样本的标签，Ns代表源域中样本的数量，源域数据服从的分布记为Ps。同样，定义目标域数据
Figure BDA0003809153460000084
Figure BDA0003809153460000085
代表目标域数据中第i个样本，与源域不同的是目标域没有标签，Nt代表目标域样本的数量，目标域数据服从的分布记为Pt，并且定义
Figure BDA0003809153460000086
为两个域的样本集合，同时定义di为第i个样本的域标签，di＝0代表源域，di＝1代表目标域。
在F-MCADA架构中，目标函数主要可分为三部分。
1)分类器C产生的有监督训练的分类损失
因为源域数据带有标注标签，因此需要最大限度地挖掘出源域的监督信息。将源域提取的特有特征与Fm提取的混淆特征融合后传入C中进行监督学习。因为混淆特征中存在目标域的特征信息，因此可以进一步促使源域和目标域进行特征对齐。除此之外，源域的标签信息还可以让模型学习到具有类间区分性的特征，利于分类器对域内各类样本进行区分。分类器C对有标签的源域数据进行监督训练，使用交叉熵损失进行优化：
Figure BDA0003809153460000087
Figure BDA0003809153460000088
代表特征生成网络Fs的参数，
Figure BDA0003809153460000089
代表特征混淆网络Fm的参数，θC代表分类器C的参数，Lc代表交叉熵损失。
2)条件域分类损失
在有条件对抗训练中使用到源域和目标域两个领域融合分类信息的数据，条件域对抗训练损失整体优化目标为：
Figure BDA00038091534600000810
Ladv-s、Ladv-t分别为源域数据和目标域数据在特征提取网络Fm与判别器D上的对抗误差项：
Figure BDA0003809153460000091
Figure BDA0003809153460000092
Figure BDA0003809153460000093
表示源域数据经过Fs和Fm后的融合特征在分类器C上的预测标签，
Figure BDA0003809153460000094
表示目标域数据经过Ft和Fm后的融合特征在分类器C上的伪预测标签；T(·)为特征与预测标签的多线性映射条件融合策略，fm表示Fm提取的特征，c为分类标签，
Figure BDA0003809153460000095
和dc分别表示向量fm和c的维数，
Figure BDA0003809153460000096
是多线性映射，使得条件域判别器捕获fm和c的多模态信息和联合分布；H(·)为用于衡量样本预测类别不确定性大小的熵；ω(H(·))表示根据熵值大小计算出的熵权重。
3)域间CORAL对齐损失
根据式(3)，域间CORAL特征对齐损失为：
Figure BDA0003809153460000097
d为特征维度，CS和CT分别为源域和目标域的特征协方差矩阵。
综上，F-MCADA的最终训练目标函数为：
Figure BDA0003809153460000098
α、β为损失权重系数。
F-MCADA算法步骤，F-MCADA算法预训练步骤：
Figure BDA0003809153460000099
Figure BDA0003809153460000101
F-MCADA算法正式训练步骤：
Figure BDA0003809153460000102
Figure BDA0003809153460000111
步骤3，实验验证该模型的优良性能。
1)数据集设置
F-MCADA网络模型训练时采用的数据集是在CIC-IDS-2017和CSE-CIC-IDS-2018两个公开数据集的基础上添加经纬度、海拔高度等位置信息，并从中筛选出76种CIC-IDS-2017和CSE-CIC-IDS-2018共有的统计特征从而模拟生成的卫星入侵流量数据集，分别命名为SAT-IDS-1、SAT-IDS-2。将SAT-IDS-1作为源域数据集，SAT-IDS-2作为目标域数据集，这两个数据集在进行数据收集时的网络拓扑环境及网络攻击方式相差很大，因此非常契合空天地网络环境复杂的特点。为了能够方便的进行实验，将76维特征数据以0补齐至81维，并转化为9*9的特征矩阵，以更加适应卷积网络模型的二维输入格式。
2)F-MCADA各模块的具体网络设置
(1)特征映射网络F：在F-MCADA网络中使用了三个独立的特征映射网络，均采用了所提出的SuffleNet_Lite_ECA，具体结构已进行了详细介绍，在此不再赘述。
(2)分类器网络C：分类器部分采用了两层全连接层结构，分别为1024→100→2，在前一层后加入Batch Normalization，使用ReLU激活，并使用Pytorch的CrossEntropyLoss计算分类损失。
(3)域判别网络D：域判别网络D采用三层全连接层结构，分别为1024→512→100→1，在前两层后使用ReLU激活，并使用dropout(0.5)防止过拟合。由于使用Pytorch的BCELoss计算域分类损失，因此计算损失前需要使用Sigmoid函数激活。
3)硬件配置
模型训练硬件环境配置为GPU：TITAN Xp*1，显存：12GB，内存：16GB。
4)超参数设置
模型训练次数epoch设置为20，批次大小batch_size为512，学习率为μ＝1e-3，学习率衰减系数为0.5，每4个epoch衰减一次，使用SGD优化器更新模型参数，损失权重系数α＝1、β＝5。
实验结果与分析：
在SAT-IDS-1—>SAT-IDS-1的迁移实验中，首先对数据集进行预处理，然后依照上述两个算法的描述过程进行模型训练，最后在测试集上依照图5的网络结构对模型进行实验评估，得到实验结果并根据实验结果进行分析。本实验的评价指标选用精确率、准确率、召回率、AUC以及F1-score。
多模态条件对抗域适应神经网络的在整体优化目标由领域判别损失、分类损失和域间个性特征对齐惩罚项损失组成。在对抗式训练的过程中，图6为领域判别器的损失变化，图7及准确率变化曲线。
从图中可以看出，在多模态条件对抗域适应网络模型训练过程中，领域判别损失初始时迅速下降而后震荡上升，与之相对的，领域判别器的准确率初始迅速上升而后震荡下降，判别器loss下降说明此时共性特征提取网络Fm还未提取出两个领域共性的特征，特征提取网络Fm提取的特征中包含了更多的领域间差异化特征，因此判别器的判别准确率很高。而后条件判别器loss较快速度的震荡上升并逐渐趋于平稳，最终呈现小幅度震荡状态，保持在0.7左右，说明随着模型训练的进行，域不变特征提取网络已经成功提取出两个领域的域不变特征，干扰了条件领域判别器的判断，因此ACC随之呈现大幅度的震荡下降后也趋于平稳，最终保持在0.5左右的范围内震荡，0.5的正确率说明判别器对域标签的鉴别已经无能为力，达到了随机选取的概率水平。训练过程中的曲线震荡体现了网络的对抗属性，最终条件领域判别器loss和ACC都稳定在一定水平，说明对抗达到相对平衡。
图8为分类器C的损失变化曲线，从图中可以看出源域分类器C的损失随着训练的进行迅速下降，由于对抗学习的对抗属性，因此最终呈现震荡稳定的形态，这代表在Fm成功提取两个领域间域不变特征的同时，特征提取网络Fs也提取到了源域有助于域内分类的特征信息，利于分类器的分类工作。图9为Fs、Ft提取的两个领域个性特征之间的对齐损失变化曲线，对齐损失体现了特征之间的差异大小，随着对齐损失逐渐下降并趋于稳定震荡状态，这代表源域特征提取网络提取的特征和目标域特征提取网络提取的特征在训练初期差异很大，而随着域间特征对齐损失惩罚项的约束，两特征之间的距离逐渐减少。至此，融合特征
Figure BDA0003809153460000121
Figure BDA0003809153460000122
分别保留了域不变特征以及源域和目标域自身的独有特征，这些特征在分类器上得到了很好的分类效果。
图10为模型预测阶段，目标域测试集的检测准确率曲线变化，从图中可以看出，模型在2个epoch时已经达到较高准确率，随着训练次数的增加，准确率逐渐提升直至平稳于0.76左右。
为了体现本章所提出的多模态条件对抗域适应入侵检测模型的优越性，表1为与其他几种经典迁移算法的二分类对比实验结果。
表1几种模型在各评价指标上的对比
Figure BDA0003809153460000131
为了直观对比，将表格转换为直方图的形式，如图11所示。
从对比图表中可以看出，本章提出的F-MCADA在各评价指标下的表现都十分优秀。由于实验数据集间差异较大，基于特征的迁移学习算法TCA无法挖掘两个域间的深层共性特征，因此各项评分都很低，迁移效果较差；DANN模型的AUC仅为51.33％，接近于50％，说明DANN几乎对流量数据没有分辨能力，近乎于随机选择。NSP-GAN模型的Recall和AUC的得分高于F-MCADA模型，但ACC和F1得分远低于F-MCADA模型，说明NSP-GAN模型虽然具有较强的分辨能力，但是判断错误率极高，导致最终准确率较低。
F1作为Presion和Recall的权衡指标可以更准确反应模型的综合性能。在综合评价指标F1上，F-MCADA的表现远超其他方法，与排名第二位的CDAN相比，提升了34.2％，证明了F-MCADA模型在入侵检测任务中的优良性能。
t-SNE可视化分析：
为了更加直观展现经过F-MCADA域适应训练前后的特征分布状态，本节设计了t-SNE可视化实验。进行可视化的数据来源于测试集经过Fm特征提取网络和Ft特征提取网络提取出的融合特征，在进行降维等一系列操作后，对这部分特征利用t-SNE进行了可视化展示。图12(a)和图12(b)为可视化结果展示，困惑值设置为20，在该图中，1号、2号分别表示源域的正常流量样本和异常流量样本，3号和4号分别表示目标域的正常流量样本和异常流量样本。根据的结果来看，未经过域适应训练的可视化结果，源域和目标域的数据分布杂乱无章，如图12(a)，正常流量样本和异常流量样本分布没有明显的分布规律，彼此之间交错纵横；而经过本章F-MCADA算法后，如图12(b)，可以发现域适应后的结果得到了改善，源域与目标域的正常流量样本和异常流量样本分别聚集在一起，并且正常流量样本和异常流量样本之间存在较为明显的边界，这说明F-MCADA算法取得了比较好的效果，在对齐两域数据分布的同时，使得各个类别有了更加明显的类间区分性，这也说明了在获得了域不变特性的同时，也保留了域内类别间的区分度，有助于分类器的分类任务。然而由于SAT-IDS-1和SAT-IDS-2数据集之间的数据分布差异较大，因此从可视化结果来看，自适应训练后仍有一部分样本处于混淆状态，没有得到有效区分。但从总体看，所提出的F-MCADA模型已经具备有效的域适应能力。

Claims (7)

1.基于多模态条件对抗领域适应的空天地网络入侵检测方法，其特征在于，包括以下步骤：
步骤1，构建基于特征融合的多模态条件对抗域适应网络模型；
模型使用Fs、Fm、Ft三个特征提取网络，三个特征提取网络均采用ShuffleNet_Lite_ECA网络；Fs、Ft分别用于提取源于和目标域的特有特征，Fm用于提取领域间的域不变特征；Fs、Fm提取的特征融合后传入分类器C进行监督训练；源域数据训练的分类器学习到目标域的信息，然后Fm提取的特征与源域数据的分类标签按照多线性映射方法处理后输入对抗网络的判别器D中进行域判别；
步骤2，构建目标函数；
学习目标域的两个特征提取网络、一个领域判别器和一个分类器，用于在目标域上执行入侵检测任务。
2.根据权利要求1所述的基于多模态条件对抗领域适应的空天地网络入侵检测方法，其特征在于，步骤1中，还包括特征和标签合并，即
Figure FDA0003809153450000011
f、g分别表示特征和分类标签，根据一种多线性映射方法
Figure FDA0003809153450000012
通过多线性映射进行互协方差信息的提取，多线性映射定义为多个随机向量的外积；假设线性映射φ(x)＝x和具有C类别数的one-hot标签变量y，均值映射
Figure FDA0003809153450000013
会分别独立计算x和y的均值，而多线性映射
Figure FDA0003809153450000014
计算每一个类别的条件分布P(x|y)的均值。
3.根据权利要求1所述的基于多模态条件对抗领域适应的空天地网络入侵检测方法，其特征在于，步骤1中，还包括引入熵条件衡量样本预测类别的不确定性大小，对于熵较大的样本赋予较小的权重，反之对于熵较小的样本赋予较大的权重，以此降低预测效果差的样本对对抗训练产生的负面影响；熵H(·)的计算公式为：
Figure FDA0003809153450000015
Nc表示类别数目，
Figure FDA0003809153450000016
表示该样本属于第nc类的概率；从而根据熵值求得熵权重ω(H(·))为：
Figure FDA0003809153450000017
判别器D判断接收到的数据样本是来自源域还是目标域，该部分采用的条件领域对抗思想，由于判别器D接受的特征数据中融入了标签信息；目标域数据同时经过Fm、Ft特征提取网络进行共享特征和特有特征的提取；使用分类器C对目标域数据进行分类预测，先令分类器C进行一个epoch的有监督训练后，再开始对抗训练；目标域数据具有分类标签，与
Figure FDA00038091534500000210
进行外积计算后输入条件判别器进行对抗训练。
4.根据权利要求1所述的基于多模态条件对抗领域适应的空天地网络入侵检测方法，其特征在于，步骤1中，还包括在目标函数中引入特征对齐损失惩罚项进行特征对齐，采用CORAL算法计算特征间差异，对源域和目标域特征分布的二阶统计量进行对齐，从而缩小两个领域的特征分布差异；CORAL差异计算公式为：
Figure FDA0003809153450000021
d为特征维度，CS和CT分别为源域和目标域的特征协方差矩阵：
Figure FDA0003809153450000022
Figure FDA0003809153450000023
1为所有元素为1的列变量，MS为每批次数据中包含的NS个源域数据样本的特征，MT为每批次数据中包含的NT个目标域数据样本的特征。
5.根据权利要求1所述的基于多模态条件对抗领域适应的空天地网络入侵检测方法，其特征在于，步骤1中，还包括模型实行三阶段式训练方法，分别是预训练阶段、训练阶段和测试阶段；预训练阶段模型网络只包含Fs和Fm两个特征映射网络以及分类器C和判别器D，当预训练收敛后，冻结特征提取网络Fm的参数，进行正式训练；正式训练开始时先冻结判别器参数，使分类器C单独进行一个epoch的有监督训练，然后再开始进行对抗训练；正式训练模型收敛后，冻结Fm、Ft、C、D的参数在测试集进行验证评价。
6.根据权利要求1所述的基于多模态条件对抗领域适应的空天地网络入侵检测方法，其特征在于，步骤2具体的：
定义源域数据
Figure FDA0003809153450000024
Figure FDA0003809153450000025
代表源域数据中第i个样本，
Figure FDA0003809153450000026
代表源域中第i个样本的标签，Ns代表源域中样本的数量，源域数据服从的分布记为Ps；同样，定义目标域数据
Figure FDA0003809153450000027
Figure FDA0003809153450000028
代表目标域数据中第i个样本，与源域不同的是目标域没有标签，Nt代表目标域样本的数量，目标域数据服从的分布记为Pt，并且定义
Figure FDA0003809153450000029
为两个域的样本集合，同时定义di为第i个样本的域标签，di＝0代表源域，di＝1代表目标域。
7.根据权利要求6所述的基于多模态条件对抗领域适应的空天地网络入侵检测方法，其特征在于，步骤2中目标函数分为三部分；
1)分类器C产生的有监督训练的分类损失
将源域提取的特有特征与Fm提取的混淆特征融合后传入C中进行监督学习；类器C对有标签的源域数据进行监督训练，使用交叉熵损失进行优化：
Figure FDA0003809153450000031
Figure FDA0003809153450000032
代表特征生成网络Fs的参数，
Figure FDA00038091534500000311
代表特征混淆网络Fm的参数，θC代表分类器C的参数，Lc代表交叉熵损失；
2)条件域分类损失
条件域对抗训练损失整体优化目标为：
Figure FDA0003809153450000033
Ladv-s、Ladv-t分别为源域数据和目标域数据在特征提取网络Fm与判别器D上的对抗误差项：
Figure FDA0003809153450000034
Figure FDA0003809153450000035
Figure FDA0003809153450000036
表示源域数据经过Fs和Fm后的融合特征在分类器C上的预测标签，
Figure FDA0003809153450000037
表示目标域数据经过Ft和Fm后的融合特征在分类器C上的伪预测标签；T(·)为特征与预测标签的多线性映射条件融合策略，fm表示Fm提取的特征，c为分类标签，
Figure FDA0003809153450000038
和dc分别表示向量fm和c的维数，
Figure FDA0003809153450000039
是多线性映射，使得条件域判别器捕获fm和c的多模态信息和联合分布；H(·)为用于衡量样本预测类别不确定性大小的熵；ω(H(·))表示根据熵值大小计算出的熵权重；
3)域间CORAL对齐损失
根据式(3)，域间CORAL特征对齐损失为：
Figure FDA00038091534500000310
d为特征维度，CS和CT分别为源域和目标域的特征协方差矩阵；
F-MCADA的最终训练目标函数为：
Figure FDA0003809153450000041
α、β为损失权重系数。
CN202211009783.0A 2022-08-22 2022-08-22 基于多模态条件对抗领域适应的空天地网络入侵检测方法 Pending CN115412324A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211009783.0A CN115412324A (zh) 2022-08-22 2022-08-22 基于多模态条件对抗领域适应的空天地网络入侵检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211009783.0A CN115412324A (zh) 2022-08-22 2022-08-22 基于多模态条件对抗领域适应的空天地网络入侵检测方法

Publications (1)

Publication Number Publication Date
CN115412324A true CN115412324A (zh) 2022-11-29

Family

ID=84161804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211009783.0A Pending CN115412324A (zh) 2022-08-22 2022-08-22 基于多模态条件对抗领域适应的空天地网络入侵检测方法

Country Status (1)

Country Link
CN (1) CN115412324A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229080A (zh) * 2023-05-08 2023-06-06 中国科学技术大学 半监督域适应图像语义分割方法、系统、设备及存储介质
CN116319427A (zh) * 2023-05-22 2023-06-23 北京国信蓝盾科技有限公司 基于装备网络的安全性评估方法、装置、电子设备和介质
CN117994637A (zh) * 2024-04-07 2024-05-07 中国科学院西安光学精密机械研究所 一种高精度空间航天器域自适应检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229080A (zh) * 2023-05-08 2023-06-06 中国科学技术大学 半监督域适应图像语义分割方法、系统、设备及存储介质
CN116229080B (zh) * 2023-05-08 2023-08-29 中国科学技术大学 半监督域适应图像语义分割方法、系统、设备及存储介质
CN116319427A (zh) * 2023-05-22 2023-06-23 北京国信蓝盾科技有限公司 基于装备网络的安全性评估方法、装置、电子设备和介质
CN117994637A (zh) * 2024-04-07 2024-05-07 中国科学院西安光学精密机械研究所 一种高精度空间航天器域自适应检测方法

Similar Documents

Publication Publication Date Title
Chen et al. Hierarchical online instance matching for person search
Chen et al. A boundary based out-of-distribution classifier for generalized zero-shot learning
CN115412324A (zh) 基于多模态条件对抗领域适应的空天地网络入侵检测方法
CN111222471A (zh) 基于自监督域感知网络的零样本训练及相关分类方法
KR20200075114A (ko) 이미지와 텍스트간 유사도 매칭 시스템 및 방법
CN113128613A (zh) 一种基于迁移学习的半监督异常检测方法
CN108182445A (zh) 基于大数据智能核独立元分析的过程故障识别方法
CN113553906A (zh) 基于类中心域对齐的判别无监督跨域行人重识别方法
Luo et al. SFA: small faces attention face detector
CN105930792A (zh) 一种基于视频局部特征字典的人体动作分类方法
Shakya Application of machine learning techniques in credit card fraud detection
Wang et al. Active learning with co-auxiliary learning and multi-level diversity for image classification
CN114037871A (zh) 一种基于神经支持决策树的图像分类可解释方法
CN113343123B (zh) 一种生成对抗多关系图网络的训练方法和检测方法
CN113076490B (zh) 一种基于混合节点图的涉案微博对象级情感分类方法
He et al. Multi-level progressive learning for unsupervised vehicle re-identification
CN111753684B (zh) 一种利用目标姿势进行生成的行人重识别方法
CN116363712B (zh) 一种基于模态信息度评估策略的掌纹掌静脉识别方法
Liu et al. Simple primitives with feasibility-and contextuality-dependence for open-world compositional zero-shot learning
Zhou et al. Improving visual relationship detection with two-stage correlation exploitation
Jia et al. A general boosting-based framework for active object recognition.
CN116452688A (zh) 一种基于共同注意力机制的图像描述生成方法
Singh et al. Multi-label deepfake classification
CN112598662B (zh) 一种基于隐藏信息学习的图像美学描述生成方法
Jin et al. Beyond attributes: High-order attribute features for zero-shot learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination