CN113468703A - 一种ads-b报文异常检测器及检测方法 - Google Patents

一种ads-b报文异常检测器及检测方法 Download PDF

Info

Publication number
CN113468703A
CN113468703A CN202110837730.7A CN202110837730A CN113468703A CN 113468703 A CN113468703 A CN 113468703A CN 202110837730 A CN202110837730 A CN 202110837730A CN 113468703 A CN113468703 A CN 113468703A
Authority
CN
China
Prior art keywords
data
ads
network
representing
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110837730.7A
Other languages
English (en)
Inventor
郭歆莹
朱春华
杨静
肖岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN202110837730.7A priority Critical patent/CN113468703A/zh
Publication of CN113468703A publication Critical patent/CN113468703A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/18—Network design, e.g. design based on topological or interconnect aspects of utility systems, piping, heating ventilation air conditioning [HVAC] or cabling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/02—CAD in a network environment, e.g. collaborative CAD or distributed simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/04—Constraint-based CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/08—Probabilistic or stochastic CAD

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Computational Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于深度学习网络的ADS‑B报文异常检测方法及检测器，应用于航空监控技术领域，构建ADS‑B报文异常检测模型，初始化模型参数；对待检数据进行预处理，并输入所述ADS‑B报文异常检测模型；计算待检数据的异常分数值，计算窗序列中每条数据向量的潜在空间的编码损失，并计算平均值，得到异常分数值；对异常分数值进行最大最小归一化，计算概率形式表示的异常分数值；判断是否为异常数据。本发明提供了一种基于深度学习网络的ADS‑B报文异常检测器及检测方法，针对ADS‑B数据报文更新数据快、时间依赖性型强的特点，同时解决测试阶段异常数据监测的实时有效性。

Description

一种ADS-B报文异常检测器及检测方法
技术领域
本发明涉及航空监视技术领域，更具体的说是涉及一种基于深度学习网络的ADS-B报文异常检测器及检测方法。
背景技术
广播式自动相关监视(ADS-B)是一种空中交通管理/控制(ATM/ATC)监视系统，旨在取代传统的雷达系统，并有望成为下一代航空运输系统的重要组成部分。ADS-B通过全球导航卫星系统(GNSS)和其他机载设备获取相关飞行器参数，通过无线电传输链路，大约每秒广播一次纯文本、未加密、有错误码保护的信息。这些信息包括飞机的位置、速度、识别码以及其他ATM/ATC有关的信息。但是，ADS-B报文数据开放共享，缺少相关信息认证和数据加密，使得飞行器广播的报文信息易受到相关设备的干扰攻击。因此，在ADS-B数据报文送入民航空管自动化等设备之前，对数据进行异常检测，可预防或减少实际使用中的潜在危险。
数据异常是众多领域中重要的问题之一，对实际生产过程的顺利可靠运行有很大影响，因此数据的异常检测具有重要的研究意义。目前，数据异常检测在网络安全、生产制造、金融和医学影像等领域得到了广泛使用。从根本上说，异常检测方法需要对正常数据样本的分布或特征进行建模，以识别非正常样本。生成对抗网络(GAN，GenerativeAdversarial Networks)作为近几年比较流行的对抗神经网格，是一个强大的高维数据分布建模网络，可有效学习数据的实际空间分布。标准的GAN网络由两个相互竞争的产生器网络G(Generater network)和鉴别器网络D(Discriminator network)组成。G网络将潜在空间变量z映射到实际数据空间；D网络学习区分真实数据和G网络生成的假数据。GAN网络在图像异常检测、语音处理和医学影像异常检测方面取得了应用。但是，在测试阶段，该方法需要对每个测试样本求解一个优化问题，以找到一个潜在空间变量z，使G(z)能产生在视觉上与测试图像相似的图像，使得该方法在大型数据集或实时应用中不实用。
因此，如何提出一种针对ADS-B数据报文更新数据快、时间依赖性型强的特点，同时解决测试阶段异常数据监测的实时有效性的ADS-B报文异常检测器及检测方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于深度学习网络的ADS-B报文异常检测器及检测方法，针对ADS-B数据报文更新数据快、时间依赖性型强的特点，同时解决测试阶段异常数据监测的实时有效性问题。
为了实现上述目的，本发明提供如下技术方案：
一种基于深度学习网络的ADS-B报文异常检测方法，具体步骤包括：
构建ADS-B报文异常检测模型，初始化模型参数；
对待检数据进行预处理，并输入所述ADS-B报文异常检测模型；
计算待检数据的异常分数值，计算窗序列中每条数据向量的潜在空间的编码损失，并计算平均值，得到异常分数值；
对异常分数值进行最大最小归一化，计算概率形式表示的异常分数值；判断是否为异常数据。
优选的，在上述的一种基于深度学习网络的ADS-B报文异常检测方法中，
构建ADS-B报文异常检测模型具体步骤如下：
构建改进的G子网络，采用第一编码器-解码器-第二编码器结构，初始化模型参数；
预处理训练数据；
对模型开始训练，交替更新优化D子网络和G子网络；
训练达到训练次数后，得到最终的ADS-B报文异常检测模型。
优选的，在上述的一种基于深度学习网络的ADS-B报文异常检测方法中，更新优化D子网络的损失函数为：
Figure BDA0003177822390000031
pX表示数据的概率分布；E表示原数据满足概率分布的期望值；xi表示原数据；
Figure BDA0003177822390000032
表示重构数据。
优选的，在上述的一种基于深度学习网络的ADS-B报文异常检测方法中，更新优化G子网络的损失函数为：
重构损失函数，对数据重构做约束，采用L1范数损失；
Figure BDA0003177822390000033
pX表示数据的概率分布；E表示原数据满足概率分布的期望值；xi表示原数据；
Figure BDA0003177822390000034
表示重构数据，||·||1表示数据的L1范数；
编码损失函数，对数据的潜在空间编码特征做约束，采用L2范数损失；
Figure BDA0003177822390000035
pX表示数据的概率分布；E表示原数据满足概率分布的期望值；zi表示原数据编码特征，
Figure BDA0003177822390000036
表示重构数据编码特征，||·||2表示数据的L2范数；
判别器损失函数，采用二分类的交叉熵损失；
Figure BDA0003177822390000037
pX表示数据的概率分布；E表示原数据满足概率分布的期望值；xi表示原数据；
Figure BDA0003177822390000038
表示重构数据。
优化G子网络时，采用的损失函数为三种损失函数的权重和；
LG＝wrecLrec+wencLenc+wadvLadv；
wrec、wenc和wadv表示三种损失函数的权重值。
优选的，在上述的一种基于深度学习网络的ADS-B报文异常检测方法中，计算待检数据的异常分数值公式如下：
Figure BDA0003177822390000041
ztest表示原数据编码特征，
Figure BDA0003177822390000042
表示重构数据编码特征；xtest待测数据；GE1(·)表示改进的G子网络中的第一编码器输出数据；GE2(·)表示改进的G子网络中的第二编码器输出数据；GD(·)表示改进的G子网络中的解码器的输出；||·||1表示原数据编码特征与重构数据编码特征之差的L1范数。
优选的，在上述的一种基于深度学习网络的ADS-B报文异常检测方法中，计算概率形式表示的异常分数值具体步骤：
利用最大最小归一化方法将异常分数A(xtest)缩放到[0,1]的概率范围内，计算公式如下：
Figure BDA0003177822390000043
将归一化后概率形式表示的异常分数f(·)作为数据是否异常的评估分数；xtest表示待测数据；Xtest表示待测数据集。
一种基于深度学习网络的ADS-B报文异常检测器，包括GAN网络模型和检测器；所述GAN网络模型的生成器G子网络采用第一编码器-解码器-第二编码器的结构；所述GAN网络模型的判别器D子网络判别真实数据和重构数据的真假；所述检测器根据所述第一编码器输出的编码数据特征与所述第二编码器输出的重构数据编码特征计算异常分数值；并与预设阈值比较，判断待测数据是否异常。
优选的，在上述的一种基于深度学习网络的ADS-B报文异常检测器中，所述生成器G子网络包括第一编码器、解码器和第二编码器；生成器G子网络读取输入数据xi，并送入第一编码器，所述第一编码器有若干LSTM细胞层和leakyReLU激活层组成，第一编码器将输入数据xi映射到潜在空间zi，zi对应数据的编码特征；将zi继续送入解码器，解码器有若干LSTM细胞层和tanh激活层组成，解码器对xi的潜在空间编码特征zi进行解码，得到输入数据xi的重构数据
Figure BDA0003177822390000051
最后，将重构数据
Figure BDA0003177822390000052
送入第二编码器，第二编码器对重构数据
Figure BDA0003177822390000053
进行编码，得到重构数据
Figure BDA0003177822390000054
的潜在空间编码特征
Figure BDA0003177822390000055
优选的，在上述的一种基于深度学习网络的ADS-B报文异常检测器中，所述第一编码器和第二编码器的网络结构相同，参数不同，包括n条数据通道；其中上级LSTM细胞层和leakyReLU激活层分别输入下级LSTM细胞层和leakyReLU激活层，采用首尾相接的数据流形式构成网络结构。
优选的，在上述的一种基于深度学习网络的ADS-B报文异常检测器中，所述解码器包括n条数据通道；其中上级LSTM细胞层和tanh激活层输出分别输入下级LSTM细胞层和tanh激活层，采用首尾相接的数据流形式构成网络结构。
优选的，在上述的一种基于深度学习网络的ADS-B报文异常检测器中，所述判别器包括n条数据通道；其中上级LSTM细胞层和leakyReLU激活层输出分别输入下级LSTM细胞层和leakyReLU激活层，采用首尾相接的数据流形式构成基本网络结构；最后输出数据分别输入压平层(Flatten)和全连接层(Dense)，得到判别器的输出数据。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于深度学习网络的ADS-B报文异常检测器及检测方法，针对ADS-B数据报文更新数据快、时间依赖性型强的特点，同时解决测试阶段异常数据监测的实时有效性问题，提出融合LSTM网络和改进型GAN网络的ADS-B报文异常检测模型(GAN-LSTM)。模型对GAN网络的生成器G子网络进行改进，将原来的解码器结构改进为第一编码器-解码器-第二编码器结构，可学习数据在实际空间和潜在空间的数据分布，同时可解决测试阶段实时监测的有效性问题；为提取ADS-B数据的时间依赖性特征，模型中引入了LSTM网络。同时，在异常检测器中，使用数据的潜在空间特征编码损失取代数据实际空间特征重构损失计算异常分数，改善了模型的抗噪性能，提高了模型的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明的方法流程图；
图2附图为现有技术中对抗网络结构图；
图3附图为本发明的GAN-LSTM模型结构图；
图4(a)-(d)附图为本发明的ADS-B报文异常检测结果示意图；
图5(a)-(b)附图为三种模型的ROC和PRC曲线；
图6(a)-(b)附图为本发明的模型与六种模型的ROC和PRC曲线。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的实施例公开了一种基于深度学习网络的ADS-B报文异常检测方法，如图1所示，具体步骤包括：
S101构建ADS-B报文异常检测模型，初始化模型参数；
S102对待检数据进行预处理，并输入所述ADS-B报文异常检测模型；
S103计算待检数据的异常分数值，计算窗序列中每条数据向量的潜在空间的编码损失，并计算平均值，得到异常分数值；
S104对异常分数值进行最大最小归一化，计算概率形式表示的异常分数值；
S105判断是否为异常数据。
需要了解的是：如图2所示，生成对抗网络(GAN)是一种无监督的机器学习算法，GAN网络的最初的主要目标是生成真实的图像。标准的GAN网络有生成器G子网络和判别器D子网络组成。在训练过程中，两个网络(G和D)相互竞争，前者试图生成一个样本，后者判定生成的样本是真还是假。G是一个类似解码器的网络，接收一个随机噪声z∈pz，通过这个噪声生成一个样本
Figure BDA0003177822390000071
在训练过程中，G子网络从一个潜在空间学习输入数据的分布。D子网络通常包含一个经典的分类网络，目标是读取输入样本，并确定其有效性(即正或假)。
飞机广播的ADS-B报文可以看作是一系列具有前后联系的时间序列，因其长度较长，普通的RNN网络很难有效提取这些长序列的时间依赖性特征。为对ADS-B时间序列报文的时间依赖性特征进行建模，模型引入了LSTM网络(Long Short Term Memory Network,LSTM)。LSTM网络是一种改进的RNN网络，可以解决RNN无法处理长时间依赖的问题，同时避免训练过程中梯度消失的现象。
进一步，本发明实施例公开的模型对GAN网络的生产器G子网络进行改进，将原来的解码器结构改进为第一编码器-解码器-第二编码器结构，可学习数据在实际空间和潜在空间的数据分布，同时可解决测试阶段实时监测的有效性问题；为提取ADS-B数据的时间依赖性特征，模型中引入了LSTM网络。同时，在异常检测器中，使用数据的潜在空间特征编码损失取代数据实际空间特征重构损失计算异常分数，改善了模型的抗噪性能，提高了模型的鲁棒性。
进一步，步骤S101中，构建ADS-B报文异常检测模型具体步骤如下：
S1011构建改进后的G子网络，采用第一编码器-解码器-第二编码器结构，初始化模型参数；
具体地，定义一个ADS-B窗口序列，即
Figure BDA0003177822390000081
式中：T(Timestep)表示窗口的长度；其中，xi＝[x1,x2,…,xn](1≤i≤n)是长度为n的向量，每一个向量对应一条ADS-B报文信息，即经纬度、高度和速度等。对应的潜在空间特征表示为
Figure BDA0003177822390000082
式中，m表示潜在空间特征维度。
本实施例，对G子网络进行改进，改进后的G子网络采用第一编码器(GE1)-解码器(GD)-第二编码器(GE2)结构。生成器G读取输入数据xi，并送入第一编码器GE1，GE1有若干LSTM细胞层和leakyReLU激活层组成，GE1将xi映射到潜在空间zi，zi对应数据的编码特征；将zi继续送入解码器GD，GD有若干LSTM细胞层和tanh激活层组成，GD网络对xi的潜在空间编码特征zi进行解码，得到xi的重构数据
Figure BDA0003177822390000083
最后，将重构数据
Figure BDA0003177822390000084
送入第二编码器GE2，GE2网络对重构数据
Figure BDA0003177822390000085
进行编码，得到重构数据
Figure BDA0003177822390000086
的潜在空间编码特征
Figure BDA0003177822390000087
GE2网络结构和GE1网络结构相同，参数不同。改进后的生成器G，同时学习“数据xi→重建数据
Figure BDA0003177822390000088
”和“数据的编码特征zi→重建数据的编码特征
Figure BDA0003177822390000089
”两个映射关系，不仅对数据实际空间重构(数据→重构数据)做了的约束，而且对数据的潜在空间编码特征(数据编码特征→重构数据编码特征)做了约束，提高了模型抗噪能力，使模型学习到更加鲁棒的参数。以下公式具体描述了G子网络数据流程变化。
zi＝GE1(xi) (1)
Figure BDA00031778223900000810
Figure BDA00031778223900000811
改进的GAN网络判别器D采用基本的编码器网络结构图，其目的是判别输入数据xi和重构数据
Figure BDA00031778223900000812
的真或假，即要将原数据xi判别为真，将重构数据
Figure BDA00031778223900000813
判别为假。图3给出了模型展开的网络结构图。
S1012预处理训练数据；
S1013对模型开始训练，交替更新优化D子网络和G子网络；
具体地，步骤S1013中，更新优化D子网络的损失函数为：
Figure BDA0003177822390000091
pX表示数据的概率分布；E表示原数据满足概率分布的期望值；xi表示原数据；
Figure BDA0003177822390000092
表示重构数据。
更具体地，步骤S1013中，更新优化G子网络的损失函数为：
重构损失函数，对数据重构做约束，采用L1范数损失；
Figure BDA0003177822390000093
pX表示数据的概率分布；E表示原数据满足概率分布的期望值；xi表示原数据；
Figure BDA0003177822390000094
表示重构数据，||·||1表示数据L1范数；
编码损失函数，对数据的潜在空间编码特征做约束，采用L2范数损失；
Figure BDA0003177822390000095
pX表示数据的概率分布；E表示原数据满足概率分布的期望值；zi表示原数据编码特征，
Figure BDA0003177822390000096
表示重构数据编码特征，||·||2表示数据L2范数；
判别器损失函数，采用二分类的交叉熵损失；
Figure BDA0003177822390000097
pX表示数据的概率分布；E表示原数据满足概率分布的期望值；xi表示原数据；
Figure BDA0003177822390000098
表示重构数据。
优化G子网络时，采用的损失函数为三种损失函数的权重和；
LG＝wrecLrec+wencLenc+wadvLadv；
wrec、wenc和wadv表示三种损失函数的权重值。
S1014训练达到训练次数后，得到最终的ADS-B报文异常检测模型。
步骤S103中，计算待检数据的异常分数值公式如下：
Figure BDA0003177822390000101
ztest表示原数据编码特征，
Figure BDA0003177822390000102
表示重构数据编码特征；xtest待测数据；GE1(·)表示改进的G子网络中的编码器1输出数据；GE2(·)表示改进G的子网络中的编码器2输出数据；GD(·)表示改进的G子网络中的解码器输出；||·||1表示原数据编码特征与重构数据编码特征之差的L1范数。
步骤S104，计算概率形式表示的异常分数值具体步骤：
利用最大最小归一化方法将异常分数A(xtest)缩放到[0,1]的概率范围内，计算公式如下：
Figure BDA0003177822390000103
将归一化后概率形式表示的异常分数f(·)作为数据是否异常的评估分数；xtest表示待测数据；Xtest表示待测数据集。
步骤S105，概率形式的异常分数值与预设阈值进行比较，确定是否异常，其中预设阈值大小常设定为训练数据的97％的异常分数值小于该值(阈值大小可根据实际应用中系统精度高低调整)。
一种基于深度学习网络的ADS-B报文异常检测器，包括GAN网络模型和检测器；所述GAN网络模型的生成器G子网络采用第一编码器-解码器-第二编码器的结构；所述GAN网络模型的判别器D子网络判别真实数据和重构数据；所述检测器根据所述第一编码器输出的编码数据特征与所述第二编码器输出的重构数据编码特征计算异常分数值；并与预设阈值比较，判断待测数据是否异常。
进一步，所述生成器G子网络包括第一编码器、解码器和第二编码器；
生成器G子网络读取输入数据xi，并送入第一编码器，所述第一编码器有若干LSTM细胞层和leakyReLU激活层组成，第一编码器将输入数据xi映射到潜在空间zi，zi对应数据的编码特征；将zi继续送入解码器，解码器有若干LSTM细胞层和tanh激活层组成，解码器对xi的潜在空间编码特征zi进行解码，得到输入数据xi的重构数据
Figure BDA0003177822390000111
最后，将重构数据
Figure BDA0003177822390000112
送入第二编码器，第二编码器对重构数据
Figure BDA0003177822390000113
进行编码，得到重构数据
Figure BDA0003177822390000114
的潜在空间编码特征
Figure BDA0003177822390000115
为了进一步优化上述技术方案，所述第一编码器GE1和第二编码器GE2的网络结构相同,参数不同，包括n条数据通道；其中上级LSTM细胞层和leakyReLU激活层的输出分别输入下级LSTM细胞层和leakyReLU激活层，采用首尾相接的数据流形式构成网络结构。
为了进一步优化上述技术方案，所述解码器GD包括n条数据通道；其中上级LSTM细胞层和tanh激活层的输出分别输入下级LSTM细胞层和tanh激活层，采用首尾相接的数据流形式构成网络结构。
为了进一步优化上述技术方案，所述判别器D包括n条数据通道；其中上级LSTM细胞层和leakyReLU激活层输出分别输入下级LSTM细胞层和leakyReLU激活层，采用首尾相接的数据流形式构成基本网络结构；最后将输出数据分别输入压平层(Flatten)和全连接层(Dense)，得到D子网络的输出数据。
以下提供了一个具体的实例，具体实验步骤和结果分析如下：
(1)数据收集
实验数据来自于Flightradar24软件，该软件能够向用户提供来自全球数千个ADS-B地面站接收的实时ADS-B数据。本发明下载的ADS-B报文为CSV文件。报文信息包括时间戳(Timestamp)、UTC时间、呼号(Callsign)、经纬度(Position)、高度(ALtitude，单位Feet)，速度(Speed，单位Knots)、飞行方向(Direction)，主要使用经纬度、高度、速度和飞行方向作为ADS-B数据特征进行模型的训练和测试。
(2)数据预处理
数据的预处理主要包括对训练数据的归一化及对测试数据的加工和归一化。实验用到的训练数据为正常数据。测试数据是对正常数据进行简单加工，添加异常数据来模拟ADS-B报文的异常现象，而后进行归一化，再输入训练好的模型进行正常和异常检测。模拟报文异常的处理方法为：
随机噪声干扰：将原始正常数据中部分时间段数据乘上[0,2]之间的随机浮点数；
报文替换：将原始正常数据中部分时间段的数据替换为其他正确航班信息；
高度跳变：以500ft为步长，改变原始正常数据中部分时间段的高度信息，即将第1个向量中的高度信息增加500ft,第2个向量中的高度信息增加1000ft，以此类推；
速度跳变：以6kt为步长，改变原始正常数据中部分时间段的速度信息，即将第1个向量中的速度信息增加6kt,第2个向量中的速度信息增加12kt，以此类推。
本发明的模型训练采用梯度下降法求解最优，因此数据的归一化非常有必要。模型采用sklearn库的StandardScale和MinMaxScaler模块实现数据的归一化。StandardScale归一化作用：去均值和方差归一化，针对每一个特征维度进行归一化，而非针对样本。MinMaxScaler归一化作用：将数据归一化为[0,1]之间，防止数据量纲的不同影响模型训练结果。
(3)实验方法
实验过程中，随机选取50个航班的500趟飞行航线的整个飞行阶段的完整正常数据为训练数据。另选取5个航班的50趟飞行航线的整个飞行阶段的完整数据为测试数据。模型的最大训练次数设定为I＝5000，批数B(Batch_size)设为128，序列窗的大小T＝16，学习速率(learning_rate)设定为2e-3，潜在空间维度m＝192；式(7)中权重值wrec、wenc和wadv分别设定为0.5、50和1。本发明采用ROC(Receiver Operating Characteristic Curve)、PRC(Precision-Recall Curve)和对应的曲线下面积(AUC)表征模型对ADS-B异常报文检测性能的优劣。ROC和PRC可以直观的表征异常检测的性能优略。对于异常检测性能优秀的模型，ROC和PRC具有较大的曲线下面积，对应具有较高的AUC值。实验中，触发数据异常的条件采用最苛刻要素，即每个ADS-B窗口序列内包含异常数据点的数量大于等于1，即判定此窗口序列为异常数据。
(4)实验结果及分析
实验一，图4(a)-(d)给出了某航班某一完整航线的异常测试结果图(此完整航线数据经过异常处理)。其中纵坐标表示异常分数，横坐标表示ADS-B报文序列号，异常序列号段为200～300，虚横线为异常阈值，即α的值。图(a)到图(d)分别表示速度跳变、噪声干扰、高度跳变和航路替换四种异常数据序列检测结果。由图4可知，模型具有较好的异常数据检测结果。其中，图4(a)和图4(c)中，在异常序列段前期表现出延迟检测的结果，原因是此时数据跳变幅度较小，特征变化不明显，模型异常检测结果不理想。
实验二给出了模型GAN-LSTM-Lat(GAN-LSTM模型的异常分数基于数据潜在空间特征计算)、模型GAN-LSTM-Img(异常分数基于数据实际空间特征进行计算)和模型GAN(模型中将所提模型结构中的LSTM网络替换为常用的全连接层(Dense)，异常分数基于数据潜在空间特征进行计算)的ROC和PRC及对应的曲线下面积(AUC)。图5给出了相应模型的ROC和PRC及对应的AUC值。为保证实验的有效性，三个模型的网络层数量、学习率、批数量和最大训练次数等参数信息相等。图5(a)中，纵坐标表示真阳率(True position rate,TPR)，横坐标表示假阳率(False position rate,FPR)。图5(b)中，纵坐标表示精度(precision)，横坐标表示召回率(Recall)。图5验证了两个方面：一、模型采用数据潜在空间特征比采用实际空间特征计算异常分数能够改善模型的抗噪性，提高模型的异常检测性能；二、模型使用的LSTM网络相比于常用的Dense网络可有效提取ADS-B时间序列数据的时间依赖性特征，进而进一步提高模型的异常检测性能。
实验三给出与6种经典的异常数据检测方法的性能比较。这6中方法分别为基于自编码器方法(AE)、基于差分自编码器器方法(VAE)、基于线性模型的主成分分析法(PCA)、基于单类支持向量机方法(One-Class-SVM，OCSVM)、基于集群方法的孤立森林算法(Isolation Forest,IF)和基于密度的局部因子算法(Local OutlierFactor,LOF)。其中AE网络采用数据重构误差作为异常检测分数，VAE网络采用数据的概率重构误差作为异常检测分数，两种网络实验的迭代次数、批数量、激活函数和模型网络层数量等参数均等于GAN-LSTM网络；实验采sklearn模块的PCA、OneClassSVM、IsolationForest和LocalOutlierFactor函数进行性能对比。其中PCA压缩空间设定为特征向量维度的一半，OneClassSVM核函数选取径向核函数(rdf)，IsolationForest函数中树的颗数(n_estimators)设定为100，LocalOutlierFactor函数中参数n_neighbors设定为6，4种算法的其他参数为函数默认设定值。图6(a)-(b)给出了模型与6中经典算法的ROC和PRC及对应的曲线下面积(AUC)。由图6可知。本文的GAN-LSTM模型取得了较高的AUC值，反应模型具有较好的数据异常检测性能。
(5)结论
本实例在传统GAN基础上加入了编码器，解决了模型测试阶段实时检测的有效性；同时为有效利用ADS-B报文数据的时间依赖性特点，将LSTM网络和改进的GAN网络进行有效融合；在模型的异常检测器中，将常用的基于数据实际空间特征计算异常分数的方法变为基于数据潜在空间特征计算异常分数的方法，改善了模型的抗噪性能，提高了模型的鲁棒性。后续工作将充分研究ADS-B报文数据的特点，将报文中未考虑的特征添加到训练数据中，以提高模型的鲁棒性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种基于深度学习网络的ADS-B报文异常检测方法，其特征在于，具体步骤包括：
构建ADS-B报文异常检测模型，初始化模型参数；
对待检数据进行预处理，并输入所述ADS-B报文异常检测模型；
计算待检数据的异常分数值，计算窗序列中每条数据向量的潜在空间的编码损失，并计算平均值，得到异常分数值；
对异常分数值进行最大最小归一化，计算概率形式表示的异常分数值；
判断是否为异常数据。
2.根据权利要求1所述的一种基于深度学习网络的ADS-B报文异常检测方法，其特征在于，构建ADS-B报文异常检测模型具体步骤如下：
构建改进的G子网络，采用第一编码器-解码器-第二编码器结构，初始化模型参数；
预处理训练数据；
对模型开始训练，交替更新优化D子网络和G子网络；
训练达到训练次数后，得到最终的ADS-B报文异常检测模型。
3.根据权利要求2所述的一种基于深度学习网络的ADS-B报文异常检测方法，其特征在于，更新优化D子网络的损失函数为：
Figure FDA0003177822380000011
pX表示数据的概率分布；E表示数据满足概率分布的期望值；xi表示原数据；
Figure FDA0003177822380000012
表示重构数据。
4.根据权利要求2所述的一种基于深度学习网络的ADS-B报文异常检测方法，其特征在于，更新优化G子网络的损失函数为：
重构损失函数，对数据重构做约束，采用L1范数损失；
Figure FDA0003177822380000013
pX表示数据的概率分布；E表示原数据满足概率分布的期望值；xi表示原数据；
Figure FDA0003177822380000021
表示重构数据，||·||1表示数据的L1范数；
编码损失函数，对数据的潜在空间编码特征做约束，采用L2范数损失；
Figure FDA0003177822380000022
pX表示数据的概率分布；E表示原数据满足概率分布的期望值；zi表示原数据编码特征，
Figure FDA0003177822380000023
表示重构数据编码特征，||·||2表示数据的L2范数；
判别器损失函数，采用二分类的交叉熵损失；
Figure FDA0003177822380000024
pX表示数据的概率分布；E表示原数据满足概率分布的期望值；xi表示原数据；
Figure FDA0003177822380000025
表示重构数据。
优化G子网络时，采用的损失函数为三种损失函数的权重和；
LG＝wrecLrec+wencLenc+wadvLadv；
wrec、wenc和wadv表示三种损失函数的权重值。
5.根据权利要求1所述的一种基于深度学习网络的ADS-B报文异常检测方法，其特征在于，计算待检数据的异常分数值公式如下：
Figure FDA0003177822380000026
ztest表示原数据编码特征，
Figure FDA0003177822380000027
表示重构数据编码特征；xtest待测数据；GE1(·)表示改进的G子网络中的第一编码器输出数据；GE2(·)表示改进的G子网络中的第二编码器输出数据；GD(·)表示改进的G子网络中的解码器的输出数据；||·||1表示原数据编码特征与重构数据编码特征之差的L1范数。
6.根据权利要求1所述的一种基于深度学习网络的ADS-B报文异常检测方法，其特征在于，计算概率形式表示的异常分数值具体步骤：
利用最大最小归一化方法将异常分数A(xtest)缩放到[0,1]的概率范围内，计算公式如下：
Figure FDA0003177822380000031
将归一化后概率形式表示的异常分数f(·)作为数据是否异常的评估分数；xtest表示待测数据；Xtest表示待测数据集。
7.一种基于深度学习网络的ADS-B报文异常检测器，其特征在于，包括GAN网络模型和检测器；所述GAN网络模型的生成器G子网络采用第一编码器-解码器-第二编码器的结构；所述GAN网络模型的判别器D子网络判别真实数据和重构数据；所述检测器根据所述第一编码器输出的编码数据特征与所述第二编码器输出的重构数据编码特征计算异常分数值；并与预设阈值比较，判断待测数据是否异常。
8.根据权利要求7所述的一种基于深度学习网络的ADS-B报文异常检测器，其特征在于，所述生成器G子网络包括第一编码器、解码器和第二编码器；生成器G子网络读取输入数据xi，并送入第一编码器，所述第一编码器有若干LSTM细胞层和leakyReLU激活层组成，第一编码器将输入数据xi映射到潜在空间zi，zi对应数据的编码特征；将zi继续送入解码器，解码器有若干LSTM细胞层和tanh激活层组成，解码器对xi的潜在空间编码特征zi进行解码，得到输入数据xi的重构数据
Figure FDA0003177822380000032
最后，将重构数据
Figure FDA0003177822380000033
送入第二编码器，第二编码器对重构数据
Figure FDA0003177822380000034
进行编码，得到重构数据
Figure FDA0003177822380000035
的潜在空间编码特征
Figure FDA0003177822380000036
9.根据权利要求8所述的一种基于深度学习网络的ADS-B报文异常检测器，其特征在于，所述第一编码器和第二编码器的网络结构相同，参数不同，包括n条数据通道；其中上级LSTM细胞层和leakyReLU激活层的输出分别输入下级LSTM细胞层和leakyReLU激活层，采用首尾相接的数据流形式构成网络结构。
10.根据权利要求8所述的一种基于深度学习网络的ADS-B报文异常检测器，其特征在于，所述解码器包括n条数据通道；其中上级LSTM细胞层和tanh激活层的输出分别输入下级LSTM细胞层和tanh激活层，采用首尾相接的数据流形式构成网络结构。
11.根据权利要求7所述的一种基于深度学习网络的ADS-B报文异常检测器，其特征在于，所述判别器D子网络包括n条数据通道；其中上级LSTM细胞层和leakyReLU激活层的输出分别输入下级LSTM细胞层和leakyReLU激活层，采用首尾相接的数据流形式构成基本网络结构；最后将输出数据分别输入压平层和全连接层，得到判别网络的输出数据。
CN202110837730.7A 2021-07-23 2021-07-23 一种ads-b报文异常检测器及检测方法 Pending CN113468703A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110837730.7A CN113468703A (zh) 2021-07-23 2021-07-23 一种ads-b报文异常检测器及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110837730.7A CN113468703A (zh) 2021-07-23 2021-07-23 一种ads-b报文异常检测器及检测方法

Publications (1)

Publication Number Publication Date
CN113468703A true CN113468703A (zh) 2021-10-01

Family

ID=77882124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110837730.7A Pending CN113468703A (zh) 2021-07-23 2021-07-23 一种ads-b报文异常检测器及检测方法

Country Status (1)

Country Link
CN (1) CN113468703A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115238805A (zh) * 2022-07-29 2022-10-25 中国电信股份有限公司 异常数据识别模型的训练方法及相关设备
CN116707862A (zh) * 2023-04-28 2023-09-05 哈尔滨工程大学 一种基于多网络融合模型的ads-b信号认证方法
CN116846060A (zh) * 2023-03-08 2023-10-03 国网江苏省电力有限公司淮安供电分公司 Iec61850智能变电站工况安全学习系统
CN117034020A (zh) * 2023-10-09 2023-11-10 贵州大学 一种基于cvae-gan模型的无人机传感器零样本故障检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184654A (zh) * 2020-09-24 2021-01-05 上海电力大学 一种基于生成对抗网络的高压线路绝缘子缺陷检测方法
CN112435221A (zh) * 2020-11-10 2021-03-02 东南大学 一种基于生成式对抗网络模型的图像异常检测方法
CN112633377A (zh) * 2020-12-24 2021-04-09 电子科技大学 一种基于生成对抗网络的人体行为预测方法及系统
US20210150698A1 (en) * 2019-11-14 2021-05-20 Pegatron Corporation Training method for anomaly detection model and electronic device using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210150698A1 (en) * 2019-11-14 2021-05-20 Pegatron Corporation Training method for anomaly detection model and electronic device using the same
CN112184654A (zh) * 2020-09-24 2021-01-05 上海电力大学 一种基于生成对抗网络的高压线路绝缘子缺陷检测方法
CN112435221A (zh) * 2020-11-10 2021-03-02 东南大学 一种基于生成式对抗网络模型的图像异常检测方法
CN112633377A (zh) * 2020-12-24 2021-04-09 电子科技大学 一种基于生成对抗网络的人体行为预测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SAMET AKCAY等: "GANomaly: Semi-Supervised Anomaly Detection via Adversarial Training", 《ARXIV》 *
朱松豪等: "基于半监督生成式对抗网络的异常行为检测", 《南京邮电大学学报(自然科学版)》 *
洪涛等: "《网络行为分析与网络智慧管理》", 31 October 2020 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115238805A (zh) * 2022-07-29 2022-10-25 中国电信股份有限公司 异常数据识别模型的训练方法及相关设备
CN115238805B (zh) * 2022-07-29 2023-12-15 中国电信股份有限公司 异常数据识别模型的训练方法及相关设备
CN116846060A (zh) * 2023-03-08 2023-10-03 国网江苏省电力有限公司淮安供电分公司 Iec61850智能变电站工况安全学习系统
CN116707862A (zh) * 2023-04-28 2023-09-05 哈尔滨工程大学 一种基于多网络融合模型的ads-b信号认证方法
CN117034020A (zh) * 2023-10-09 2023-11-10 贵州大学 一种基于cvae-gan模型的无人机传感器零样本故障检测方法
CN117034020B (zh) * 2023-10-09 2024-01-09 贵州大学 一种基于cvae-gan模型的无人机传感器零样本故障检测方法

Similar Documents

Publication Publication Date Title
CN113468703A (zh) 一种ads-b报文异常检测器及检测方法
CN109492830B (zh) 一种基于时空深度学习的移动污染源排放浓度预测方法
CN110532859B (zh) 基于深度进化剪枝卷积网的遥感图像目标检测方法
Soh et al. Adaptive deep learning-based air quality prediction model using the most relevant spatial-temporal relations
CN112184654A (zh) 一种基于生成对抗网络的高压线路绝缘子缺陷检测方法
US20220094710A1 (en) Detection of cyber attacks targeting avionics systems
CN110533631A (zh) 基于金字塔池化孪生网络的sar图像变化检测方法
Alsabhan et al. Automatic building extraction on satellite images using Unet and ResNet50
CN111008337B (zh) 一种基于三元特征的深度注意力谣言鉴别方法及装置
CN110738355A (zh) 一种基于神经网络的城市内涝预测方法
CN113962381B (zh) 微弱信号数据增强方法
Chin et al. Learn to detect: Improving the accuracy of earthquake detection
CN112465798B (zh) 一种基于生成对抗网络和记忆模块的异常检测方法
CN115359366A (zh) 基于参数优化的遥感图像目标检测方法
CN113344470B (zh) 一种基于区块链的供电系统智能管理方法
CN112380945B (zh) 一种基于卫星遥感影像的输电通道环境隐患的识别方法和系统
CN113423118A (zh) 一种ads-b报文异常监测方法及系统
CN113688857A (zh) 一种基于生成对抗网络的电力巡检图像中异物检测方法
CN113887330A (zh) 一种基于遥感图像的目标检测系统
CN113065395A (zh) 一种基于生成对抗网络的雷达目标新类检测方法
CN115426710A (zh) 一种面向室内指纹定位的稀疏特征补全方法
CN115081519A (zh) 基于强化学习的自动对星方法
CN115174178A (zh) 基于生成对抗网络的半监督网络流量异常检测方法
CN115019476A (zh) 一种基于多源信息融合的滑坡时空信息监测预警方法
JP6950647B2 (ja) データ判定装置、方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination