CN111047182B - 一种基于深度无监督学习的空域复杂度评估方法 - Google Patents

Abstract

本发明提出一种基于深度无监督学习的空域复杂度评估方法，用于空中交通管制。本发明包括：采用堆叠式自编码器模型的深度学习网络来建立空域复杂度评估模型，将输入的空域复杂度指标因子进行低维嵌入表示，利用得到的低维嵌入点获取空域复杂度的聚类质心；本发明利用低维嵌入点的软指派分布和真实指派分布来构建代价函数，对所建立的模型采用梯度下降法进行训练，获得训练好的空域复杂度评估模型以及三个空域复杂度的聚类质心，用于评估当前空域复杂。本发明不依赖空中交通管制员标定标签，使用无监督的方法对空域扇区数据进行复杂度分类，大大降低了人力物力成本，同时实现空域复杂度数据的准确挖掘，使得评估结果更加准确。

Description

一种基于深度无监督学习的空域复杂度评估方法

技术领域

本发明属于空中交通管制的空域态势评估技术领域，具体涉及一种基于深度无监督学习的空域复杂度评估方法，以基于此进行交通管制。

背景技术

随着航空运输业的发展，空中交通流量急剧增大，空域环境越发复杂，给空中交通管制员带来的工作负荷不断加大。空域复杂度计算是指管制员所指挥的空域的复杂度，包括可见得飞机运行、不可见的程序运行等等。空域复杂度计算在空中交通管制领域是被广泛研究的问题之一。该问题的主要研究内容是：如何利用空域态势运行特征，通过一定的计算方式，给出空域运行态势的复杂度等级，包含高复杂度、中复杂度和低复杂度，进而指导空中交通管制员是否需要对空域进行交通管制。

空域复杂度计算本质上是个分类问题。传统方法依据管制员经验知识来进行空域复杂度评估，一般包含以下三个步骤：(1)依据原始数据提取空域态势运行特征，对空域态势信息进行向量化；(2)通过空域态势运行特征进行向量化计算，得到复杂度指标因子；(3)依据管制员的经验知识，参考计算后的复杂度指标因子进行复杂度标定。由此可见，在工程上实现空域复杂度的评估严重依赖于空中交通管制员经验知识，因此，传统计算方法依据管制员经验知识来进行空域态势复杂度评估，需要耗费大量的人力物力资源，并且无法做到实时性，即：给出一条空域运行态势数据，仍然需要通过一定时间的人工计算才能给出复杂度等级。

随着机器学习的兴起，有监督学习方法广泛用于模式识别、分类任务，并取得了令人瞩目的效果。利用传统有监督学习方法进行空域态势复杂度评估问题时，需要提供大量的人工标定样本数据，否则模型极易出现欠拟合。与之相反，使用先进的基于深度学习的有监督学习方法，人工标定的样本数据量如果不够大，模型有出现过拟合的风险。因此，利用有监督学习方法进行空域复杂度计算需要提供高质量和海量的人工标定样本，用于模型的学习。但是海量的人工标定数据样本的获取是一个耗时耗力的过程，并且过程中难以保证数据的质量性，因此利用有监督学习进行空域复杂度计算遇到了巨大瓶颈。

无监督学习一直广泛应用于数据挖掘、数据处理等科学领域，这类学习算法在挖掘原始数据信息、分析原始数据结构以及发掘数据潜在特征方面存在巨大优势。在空域复杂度方面，参考文件1(D.Gianazza,Airspace configuration using air trafficcomplexity metrics.In Proc.ATM,Barcelona,Spain,2007)中采用了无监督学习中主成分分析方法(PCA)对复杂度指标进行挖掘，遴选出6个能够充分代表扇区运行复杂性的关键指标，进而利用BP((back propagation))神经网络进行复杂度的等级分类，在一定程度上解决了复杂度样本维度较高、指标间存在冗余等问题。然而这种策略并不是最优的，PCA是一种线性降维方法，并不考虑指标间的非线性关联，无法对空域复杂度数据准确分类。因此，利用传统无监督学习在解决空域复杂度的分类任务时仍然面临着以下挑战：(1)高维数据在高维空间存在维度灾难，用于分类任务时，样本极易存在偏倚；(2)原始数据空间一般存在复杂的非线性，且难以预知，虽然诸如：谱方法、核化方法等非线性方法能够解决部分数据空间的非线性问题，但是这几类研究方法仍然存在着盲目性和尝试性。

发明内容

针对目前在交通管制的空域复杂度评估中，存在数据无法准确分类导致评估结果不准确，或者需要海量高质量的人工标定样本导致评估困难等问题，给管制员带来错误结论而出现误判等情况，本发明提供了一种基于深度无监督学习的空域复杂度评估方法。本发明方法不依赖管制员标定标签的数据集，同时利用深度学习的非线性映射挖掘数据样本的低维嵌入信息，从而改进数据分类准确性，使得评估结果更加准确。

本发明的基于深度无监督学习的空域复杂度评估方法，对从空域运行态势数据中提取的空域复杂度指标因子进行处理，实现步骤包括：

步骤1，建立基于深度学习网络的空域复杂度评估模型，并获取初始聚类质心；将空域运行态势的复杂度等级对应为三个聚类，对低维嵌入表示的训练样本集利用k-means均值聚类获得初始聚类质心；

步骤2，构建训练空域复杂度评估模型时的代价函数；设低维嵌入点存在一个实际的用于聚类任务的真实指派分布；利用t分布来描述低维嵌入点与聚类质心之间的相似度，称为软指派分布；空域复杂度评估模型训练时的目标是使软指派分布越来越接近真实指派分布，利用信息论中的相对熵—KL散度来衡量软指派分布与真实指派分布之间的差异，构造代价函数L；

步骤3，利用训练样本集x采用梯度下降法，以最小化步骤2的代价函数为目标，训练空域复杂度评估模型；空域运行态势的三个复杂度等级的聚类质心也随训练过程进行更新；

经过步骤3得到训练好的空域复杂度评估模型以及三个空域复杂度的聚类质心；

步骤4，利用训练好的空域复杂度评估模型实时进行空域复杂度评估；

管制员从当前空域运行态势数据中提取空域复杂度指标因子，输入训练好的空域复杂度评估模型，得到低维嵌入点，计算该低维嵌入点与三个空域复杂度的聚类质心的软指派分布，选取其中软指派分布值最大的空域复杂度，作为当前输入的空域复杂度指标因子所对应的空域复杂度。

所述的步骤1中，深度学习网络采用堆叠式自编码器模型，包括镜像对称结构的解码端与编码端；堆叠式自编码器的编码端将输入的空域复杂度指标样本进行低维嵌入表示，实现非线性降维，其中非线性映射函数利用训练样本集来对堆叠式自编码器模型训练得到，训练时的目标函数为‖y-x‖²，x为输入的训练样本集，是采集的历史空域复杂度指标集合；y是堆叠式自编码器的解码端输出的恢复数据集。

本发明与现有技术相比，具有以下优势和积极效果：

(1)本发明设计的基于深度无监督学习的空域复杂度计算方法，与现有的有监督学习方法相比，能够不依赖空中交通管制员标定标签，使用无监督的方法对空域扇区数据进行复杂度分类，大大降低了人力物力成本，减少了有监督方法中由于管制员误判所造成的模型学习不准确等问题。

(2)本发明设计的一种基于深度无监督学习的空域复杂度计算方法，与传统的无监督学习方法相比，考虑到了空域复杂度数据本身的特征：样本极易存在偏斜，原始数据空间存在复杂的非线性，使用一种深度无监督神经网络挖掘样本数据中蕴含的空域复杂度信息，进而实现空域复杂度数据的准确分类。

附图说明

图1是本发明的基于深度无监督学习的空域复杂度评估方法的整体流程图；

图2是本发明采用的堆叠式自编码器的结构示意图；

图3是本发明步骤1中模型初始化的流程图；

图4是本发明步骤2中构建模型训练时的代价函数的流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步的详细和深入描述。

随着深度学习的兴起，基于深度神经网络的无监督学习再次广受青睐，利用深度神经网络，理论上可以实现任意复杂的非线性映射，因此，能够基于数据样本学习数据空间的非线性特征，解决了传统无监督学习方法的盲目性。深度无监督学习中的自编码器模型，能够以黑箱模型给出原始数据的低维嵌入，虽然这种低维嵌入缺乏可解释性，但是通过大量的科学研究和实验验证，这种低维嵌入的表示往往准确描述了原始数据样本的特征，用于分类问题能取得更加优异的效果。本发明对获取的空域原始数据基于无监督学习进行空域复杂度计算，在无监督学习时，结合深度神经网络，来改进数据分类的准确性，并且在无监督学习模型训练过程中不需要引入管制员标定好的数据，省去了大量人工标定样本的人力物力开销。除此，深度无监督学习中的生成式模型，能够产生和原始数据同分布的新样本，可用于扩充样本集，进一步提高模型的训练效果，从而更准确地确定空域复杂度。

本发明的基于深度无监督学习的空域复杂度评估方法，如图1所示，分为下面四个步骤来说明。在空域复杂度计算中涉及的数据包含28种空域复杂度指标因子，这些指标因子由管制员通过空域运行态势数据进行计算并提取。具体来说，这些指标因子描述了影响空域运行复杂程度的动静态属性因素，其中有上升/下降航空器的数量、地速方差、平均密度、扇区容量、航空器水平/垂直接近度、航路交叉点平均距离、航路交叉点距离方差、最大航路最低安全高度等等，具体可参考文件2(Xi Zhu[1,2],Xianbin Cao[1,2],Kaiquan Cai[1,2].Measuring air traffic complexity based on small samples[J].中国航空学报：英文版,2017(30):1505.)。本发明以下步骤直接针对提取到的空域复杂度指标集进行操作。

步骤1，建立基于深度学习网络的空域复杂度评估模型，并进行参数初始化。

深度学习网络的输入是空域复杂度指标，本发明实施例中，每个训练样本包含28维的空域复杂度指标因子，训练样本集表示为

N代表训练样本数量。

为了能够直接挖掘空域复杂度数据的低维嵌入信息，且消除维度灾难，以便于更有效进行空域复杂度聚类任务，需要对原始的复杂度因子指标集进行低维嵌入表示，本发明的深度学习网络采用堆叠式自编码器模型，对训练样本进行低维嵌入表示。样本x_i的低维嵌入表示为：z_i＝f_θ(x_i),

z_i为x_i的低维嵌入点，z是基于深度学习网络的低维嵌入，f_θ是一个非线性映射，θ表示深度学习网络中变换的参数，本发明方法中，利用深度自编码器的编码端实现f_θ，将在步骤1.2中说明。将本步骤分下面步骤1.1～1.3来说明。

步骤1.1，建立深度学习网络结构。

首先，建立堆叠式自编码器模型，用于挖掘原始空域复杂度因子指标集的低维嵌入信息。堆叠式自编码器模型分为编码端和解码端，是一种镜像对称的结构，如图2所示。编码端用于实现原始数据的低维嵌入，是一种非线性的降维方式。编码端的计算方法如下：

上面公式表示，对输入样本集x经过Dropout(·)处理后输出集合

Dropout(·)是一种增强深度学习网络鲁棒性的方法，随机将

中的一部分样本的某些特征因子设置为0。W₁是基于深度学习网络的编码端权重，b₁是基于深度学习网络的编码端偏置；g₁是基于深度学习网络的编码端激活函数，本发明实施例中采用ReLu函数。

堆叠式自编码器的解码端用于从低维嵌入中恢复出原始数据，从而保证整个降维过程是合理而非任意指派的。解码段计算方法如下：

上面公式表示，对数据集z进行Dropout(·)处理后得到

Dropout(·)是随机将

中的一部分数据的某些特征因子随机设置为0。y表示堆叠式自编码器解码端恢复的数据集，W₂是基于深度学习网络的解码端权重，b₂是基于深度学习网络的解码端偏置；g₂是基于深度学习网络的解码端激活函数，本发明实施例中采用ReLu函数。

本发明利用堆叠自编码器能够以黑箱模型给出原始数据的低维嵌入，虽然这种低维嵌入缺乏可解释性，但是通过大量的科学研究和实验验证，这种低维嵌入的表示往往准确描述了原始数据样本的特征，用于分类问题能取得更加优异的效果。

步骤1.2，对深度学习网络参数进行初始化。深度学习网络对数据方差、数据初始值极为敏感，为了提高深度学习网路的训练效果，需要对参数进行合理的初始化。

将θ＝(W₁,b₁,W₂,b₂)作为深度学习网络参数，以‖y-x‖²作为目标函数，利用原始训练数据x进行深度学习网络梯度下降训练，即：

θ＝argmin‖y-x‖² (5)

当训练完毕后，丢弃堆叠式自编码器的解码端，只保留编码端，即获得了一种利用深度学习网络表示原始数据低维嵌入的一种方法f_θ(·)：z_i＝f_θ(x_i)，

为低维嵌入。

步骤1.3，聚类质心点初始化。每个聚类代表一个空域运行态势的复杂度等级，本发明实施例中将包含3个聚类，分别代表空域的复杂度分别为高复杂度、中复杂度和低复杂度。

利用步骤1.2中训练所获得的堆叠式自编码器的编码端，作为低维嵌入映射方法，对原始的28维的空域复杂度指标数据进行低维嵌入表示。本发明的训练样本集

通过训练获得的堆叠式自编码器的编码端，获取训练样本的低维嵌入表示

本步骤对数据集z进行传统k-means均值聚类，指定聚类的簇数为k个，本发明中k＝3，进行聚类的过程包括：

a、初始随机设置k个簇的质心点

b、计算数据集

中每个样本分别与k个簇的质心点

的欧式距离，样本z_i与质心μ_j的距离d_ij＝‖z_i-μ_j‖；

c、设定距离阈值d₀，迭代步数N₀；

d、若d_ij≤d₀，则将第i个样本z_i分入第j个簇中，直到

中所有N个样本点全部指派完毕；

e、第j个簇中的所有样本集合记为

m表示第j个簇中共含有m个样本；

f、计算第j个簇中的所有样本

的算数平均值

直到每一个簇都计算完毕；

g、对每个簇，将质心μ_j的值更新为δ_j，j＝1,2,…k；

h、重复上述步骤b～g，直到迭代N₀个次数后结束，获得k个簇的质心点

执行k-means均值聚类后，获得利用低维嵌入点进行聚类的k个簇的质心点

作为聚类质心点的初始化结果。本发明此处采用传统k-means均值聚类，调参简洁，能够保证质心初始化时尽快收敛。

步骤2，对所建立的深度学习网络模型进行训练，构造训练时的代价函数，分为如下步骤2.1～2.3来说明。

步骤2.1，计算每个低维嵌入点z_i与各聚类簇质心的软指派分布。

本发明利用t分布来描述低维嵌入点z_i与质心点μ_j之间的相似度，称为软指派分布q_ij：

其中，q_ij∈[0,1]，表示将第i个低维嵌入点z_i指派给第j簇的概率，j＝1,2,…k，概率值越大则代表该低维嵌入点更有可能被分到对应的簇中；α是一个可调节的常数，此处设置α＝1。

步骤2.2，计算每个低维嵌入点的真实指派分布。

假设数据z_i存在一个实际的用于聚类任务的真实指派分布p_ij，则利用分区归一法计算真实指派分布p_ij：

其中，p_ij表示低维嵌入点z_i对于第j簇的真实指派分布，f_j＝∑_iq_ij，f_j代表了分类到第j个簇中的低维嵌入点的总的软指派分布概率之和。

步骤2.3，构建代价函数，使得；

深度学习网络的学习目标就是学得该实际存在的用于聚类任务的真实指派分布p_ij。虽然该实际存在的用于聚类任务的真实指派分布p_ij是客观存在的，但是本发明无法预先得知。但基于t分布来描述低维嵌入点z_i与质心点μ_j之间的相似度的软指派分布q_ij是可以通过原始28维特征因子

步骤1.2所提及的方式所获得的f_θ(·)，以及步骤1.3所提及的方式所获得的

来进行实时计算的。

因此，深度学习网络的目标就是尽可能使得软指派分布q_ij越来越接近真实指派分布p_ij，利用信息论中KL散度的概念来衡量二者之间的差异性，即可构造代价函数：

其中，L≥0，当且仅当P、Q分布形式完全一样时，L＝0；P代表真实指派分布，Q代表软指派分布。

因此，采用梯度下降法进行训练的目标即为：

即神经网络训练的目标是最小化代价函数L，通过步骤3中的随机梯度策略来完成对L的优化，不断更新深度学习网络的参数θ＝(W₁,b₁,W₂,b₂)。

步骤3，在训练时，采用基于动量的随机梯度策略更新深度学习网络参数，如下：

分别计算代价函数L与低维嵌入点z_i、聚类簇的质心点μ_j的梯度

将两梯度

值传递给堆叠式自编码器编码端网络，用于更新神经网络的参数θ＝(W₁,b₁,W₂,b₂)，直至达到预先设定的循环迭代总次数时，训练完毕。所设置的循环迭代总次数需要在实验时进行调整，并非唯一确定的值。

在训练过程中，随着堆叠式自编码器的编码端参数的改变，也同时对空域运行态势的三个复杂度等级的聚类质心进行更新，更新质心的方法采用步骤1.3中的方法，即对数据集z进行传统k-means均值聚类。

步骤4，通过步骤2～3得到训练好的深度网络模型以及三个空域复杂度的聚类质心，利用训练好的模型来实时对采集的数据进行空域复杂度判定。这个判定空域复杂度的过程就是进行聚类指派。

训练好的深度网络模型是一个具有挖掘原始数据非线性特性，且可依据低维嵌入表示进行优质聚类的空域复杂度评估模型。设当前采集的空域数据，经处理后，表示为一个空域扇区特征的28维特征因子x_i＝(x_i1,x_i2,x_i3,…,x_i28)，将其输入所获得的空域复杂度评估模型，输出具备良好聚类特性的低维嵌入点z_i＝(z_i1,z_i2,z_i3,…,z_ir)，r为低维嵌入空间的维数，r<28；将低维嵌入点z_i＝(z_i1,z_i2,z_i3,…,z_ir)以及聚类质心μ_j带入公式(6)，计算软指派分布q_ij，j＝1,2,3。对于数据z_i，选择q_ij最大的聚类j，assignment(i,j)＝argmaxq_ij，即将该数据划入第j个簇中，表示数据x_i属于第j个簇所对应的空域复杂度。重复这个过程，直至所有数据点都划分完毕，即完成了空域复杂度评估计算任务。

Claims (2)

1.一种基于深度无监督学习的空域复杂度评估方法，其特征在于，该方法用于处理从空域运行态势数据中提取的空域复杂度指标因子，包括如下步骤：

步骤1，建立基于深度学习网络的空域复杂度评估模型，并获取初始聚类质心；

步骤1.1：所述的深度学习网络采用堆叠式自编码器模型，包括镜像对称结构的解码端与编码端；堆叠式自编码器的编码端将输入的空域复杂度指标样本进行低维嵌入表示，实现非线性降维，其中非线性映射函数利用训练样本集来对堆叠式自编码器模型训练得到；设输入的训练样本集为x，是采集的历史空域复杂度指标集合，

N代表训练样本数量，每个样本x_i包含28种空域复杂度指标因子，样本x_i的低维嵌入表示为z_i＝f_θ(x_i),训练样本集对应的低维嵌入点集合为z，

f_θ是非线性映射函数，θ为堆叠式自编码器模型的网络参数；将集合z输入堆叠式自编码器模型的解码端，堆叠式自编码器的解码端输出的恢复数据集为y；

所述堆叠式自编码器，在编码端的计算方法如下：

将训练样本集x先经过Dropout(·)处理后输出集合

Dropout(x)是随机将x中的一部分样本的一些特征因子设置为0；W₁是基于深度学习网络的编码端权重，b₁是基于深度学习网络的编码端偏置；g₁是基于深度学习网络的编码端激活函数，采用ReLu函数；

解码端计算方法如下：

将训练样本集z先经过Dropout(·)处理后输出集合

Dropout(z)是随机将z中的一部分样本的一些特征因子设置为0；y表示堆叠式自编码器解码端恢复的数据集，W₂是基于深度学习网络的解码端权重，b₂是基于深度学习网络的解码端偏置；g₂是基于深度学习网络的解码端激活函数，采用ReLu函数；

步骤1.2：对网络参数θ进行初始化，包括：以‖y-x‖²为目标函数，利用x对堆叠式自编码器模型进行梯度下降训练，得到参数θ；当训练完毕后，丢弃堆叠式自编码器的解码端，只保留编码端；

步骤1.3：将空域运行态势的复杂度等级对应为三个聚类，利用步骤1.2中训练所获得的堆叠式自编码器的编码端，对训练样本进行低维嵌入表示，对低维嵌入表示的训练样本集利用k-means均值聚类获得初始聚类质心；

步骤2，构建训练空域复杂度评估模型时的代价函数；

设低维嵌入点存在一个实际的用于聚类任务的真实指派分布；利用t分布来描述低维嵌入点与聚类质心之间的相似度，称为软指派分布；空域复杂度评估模型训练时的目标是使软指派分布越来越接近真实指派分布，利用信息论中的相对熵—KL散度来衡量软指派分布与真实指派分布之间的差异，构造代价函数L；步骤3，利用训练样本集x采用梯度下降法，以最小化步骤2的代价函数为目标，训练空域复杂度评估模型；空域运行态势的三个复杂度等级的聚类质心也随训练过程进行更新；

经过步骤3得到训练好的空域复杂度评估模型以及三个空域复杂度的聚类质心；

采用梯度下降法进行训练的目标表示如下：

其中，L为利用KL散度的概念构建的代价函数；P代表真实指派分布，Q代表软指派分布；p_ij表示低维嵌入点z_i对于第j簇的真实指派分布；q_ij是软指派分布，表示将z_i指派给第j簇的概率；

在训练过程中，采用基于动量的随机梯度策略更新参数θ，具体是：分别计算代价函数L与低维嵌入点z_i、聚类质心μ_j的梯度

其中，α是常数；q_ij是z_i与质心μ_j的软指派分布，p_ij是z_i与质心μ_j的真实指派分布；

将两梯度值

传递给堆叠式自编码器编码端网络，更新神经网络的参数θ；

步骤4，利用训练好的空域复杂度评估模型实时进行空域复杂度评估；

管制员从当前空域运行态势数据中提取空域复杂度指标因子，输入训练好的空域复杂度评估模型，得到低维嵌入点，计算该低维嵌入点与三个空域复杂度的聚类质心的软指派分布，选取其中软指派分布值最大的空域复杂度，作为当前输入的空域复杂度指标因子所对应的空域复杂度。

2.根据权利要求1所述的方法，其特征在于，所述的步骤2包括：

步骤2.1，计算每个低维嵌入点z_i与各聚类簇质心的软指派分布；

利用t分布来描述集合z中低维嵌入点z_i与质心点μ_j之间的相似度，表示为软指派分布q_ij，如下：

其中，q_ij∈[0,1]，也表示将z_i指派给第j簇的概率，j＝1,2,3；α是常数；

步骤2.2，计算每个低维嵌入点z_i的真实指派分布；

设z_i存在一个实际的用于聚类任务的真实指派分布，p_ij表示低维嵌入点z_i对于第j簇的真实指派分布，利用分区归一法计算如下：

其中，f_j＝∑_iq_ij，f_j代表了分类到第j个簇中的低维嵌入点的总的软指派分布概率之和；

步骤2.3，利用KL散度的概念来构建代价函数；

代价函数表示为

其中，P代表真实指派分布，Q代表软指派分布；当且仅当P、Q分布形式完全一样时，L＝0。

Images