CN109993225A - 一种基于无监督学习的空域复杂度分类方法及装置 - Google Patents

Abstract

本发明涉及一种基于无监督学习的空域复杂度分类方法和装置，属于空域态势评估分类技术领域，包括如下步骤：步骤一，收集待处理的空域态势样本集；步骤二，去偏差并标准化空域态势样本集；步骤三，对空域态势样本集进行PCA降维处理；步骤四，对低维度样本集进行k‑Means聚类处理；步骤五，定义聚类后数据簇的复杂度类别。装置包括：样本输入模块；特征提取模块；特征降维模块；原型比对模块；复杂度输出模块。通过本发明进行空域复杂度的评估，不依赖于标定的先验知识，能够直接学习空域态势数据的内在特征及结构，使空域复杂度的分类具有可解释性，大大降低标定数据的人力和时间成本。

Description

一种基于无监督学习的空域复杂度分类方法及装置

技术领域

本发明属于空域态势评估分类技术领域，涉及一种空域复杂度的分类方法及装置，具体的说，是指一种基于无监督学习的空域复杂度分类方法和装置。

背景技术

随着我国航空运输业的快速发展，航空业务量与日俱增，航班逐年增加，空中交通流量不断增长，空域运行态势越发复杂。这些情况使得空中交通管制员工作负荷与航班运行风险不断增加，并由此成为航班延误、管制事故发生的重要原因。

在当前空中交通管理系统中，扇区是管制员对航空器进行指挥的空域基本单元。为保证整个空管系统高效运行，现有手段是采取扇区动态划分、交通流量管理等运行调控措施来保证各个扇区的交通复杂程度在管制员所能把控的范围内。准确评价扇区的空中交通复杂度，是高效实施运行调控的前提。过于复杂的空域态势将提高空中交通管制员错误操作的可能性，造成事故；而较低的复杂度则使得管理系统效率低下，资源浪费。然而，由于扇区包含的空域元素众多(如航路航线，扇区进入移出点等)，且影响扇区空中交通复杂度的主/客观，动/静态因素复杂，因此准确计算扇区空中交通复杂度的难度很大。近年来，一些学者使用机器学习方法，基于大量样本来构建数十种空中交通复杂性因子与人工标定复杂度之间的关联，可达到较高的空中交通复杂度计算准确度。但由于各条样本对应的空中交通复杂度值/等级需要管制员参与标定，造成空域复杂度标定的人力及时间成本较高，十分影响空域安全高效率。因此亟需提出一套不依赖于人工标定的、基于无监督学习算法的空域复杂度分类方法。

针对上述问题，缺乏足够的空域态势先验知识，因此难以人工标注类别或进行人工类别标注的成本太高，故希望计算机能够代替管制员完成这些工作，或至少提供一些帮助。在无监督学习中，训练样本的标记信息是未知的，目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律，为进一步的数据分析提供基础。此类学习任务中研究最多、应用最广的是高维数据的降维和数据的聚类。

总之，现有技术依赖于人工标定的先验知识，虽然能够对空域复杂度进行学习和分类，但是这种分类具有不可解释性，无法了解空域态势数据的内在特征及结构。另外，由于28维数据维度较高，现有方法对28维数据直接进行学习与训练很容易产生维度灾难、样本稀疏、训练过拟合等问题。依赖于管制员进行样本标定也会大大耗费人力以及时间资源。

发明内容

本发明技术问题：克服现有技术的不足，提供一种基于无监督学习的空域复杂度分类方法，不依赖于标定的先验知识，能够直接学习空域态势数据的内在特征及结构，使空域复杂度的分类具有可解释性，大大降低标定数据的人力和时间成本。

本发明技术解决方案：一种基于无监督学习的空域复杂度的分类方法，首先获取待处理的空域态势样本(简称为样本)，形成空域态势样本集(简称为样本集)，其中每一条样本包含待处理空域在某一单位时间内的n个空域态势特征值(简称为特征)，即为描述空域复杂程度的复杂度因子。每条样本被标定有对应空域的高、中、低复杂度标签，表示不同空域的复杂度等级。进一步地，为了避免过拟合，将空域态势样本去偏差化，使高、中、低样本数量尽可能的一致。同时，为了保证高维度数据的分类效果，需要保证数据尽量分布密集，使用标准化处理避免高维度数据过于稀疏。随后，将预处理后的样本集进行无监督学习中的PCA降维处理，使用k近邻学习确定最佳降维的维度，得到降维后的低维度样本集，去掉冗余的特征，保留学习价值最高的空域态势特征。在低维度空域态势样本集上进行无监督学习中的k-Means聚类，得到聚类后的三个数据簇，与人工标签进行比对，为三个数据簇定义高、中、低复杂度类别，即完成空域的复杂度分类。

本发明一种基于无监督学习的空域复杂度的分类方法，包括以下步骤：

步骤一：收集待处理的空域态势样本集；

步骤二：去偏差并标准化空域态势样本集；

步骤三：对步骤二的空域态势样本集进行PCA降维处理，通过K邻近学习选择出降维维度，得到降维后的空域态势样本集；

步骤四：对降维后的空域态势样本集进行k-Means聚类处理，得到聚类后的数据簇；

步骤五：确定聚类后数据簇的复杂度类别，完成空域复杂度的分类。

所述步骤一具体实现为：

获取待处理的空域态势样本，形成空域态势样本集，所述空域态势样本集中共k条样本，k为从1开始的正整数，其中每条空域态势样本包含待处理空域在某一单位时间内的28个空域态势特征x_i，1≤i≤28,i∈Z，Z是正数集，所述特征是指能够反映空域运行态势的航班航迹分布、空域航路结构、空管运行规则方面的属性因素，采用连续或离散数值表示，也称为描述空域运行复杂程度的复杂度因子；每条空域态势样本被标定有一个对应空域的复杂度分类标签，表示不同空域的复杂度等级，共有高、中、低3个不同类别的复杂度分类标签，分别代表了对应空域为高复杂度、中复杂度、低复杂度。

所述步骤二中去偏差处理时，对空域态势样本集中每一类，共3类，即高、中、低3个不同类别的复杂度进行随机抽样，抽取N₁、N₂、N₃个样本，分别对应高复杂度样本数量、中复杂度样本数量、低复杂度样本数量，其中N₁＝N₂＝N₃，共同组成数据集。

所述步骤三具体实现为：将所述空域态势数据集X输入PCA算法模块，进行PCA降维处理，通过乘上训练好的旋转矩阵W^T，得到降维后的空域态势样本集X′＝W^TX。

所述步骤五具体实现为：将步骤四聚类得到的三大类数据簇进行人工比对，查找每个簇中标签为高、中、低复杂度样本的个数，并选取样本数量较多的复杂度对聚类簇命名，对聚类的每一个簇都赋予了一个实际的物理含义，即：空域复杂度的分类结果，其中，标签为高的样本较多的簇为高复杂度空域，标签为中的样本较多的簇为中复杂度空域，标签为低的样本较多的簇为低复杂度空域。

本发明的一种基于无监督学习方法的空域复杂度分类装置，包括：样本输入模块、特征提取模块、特征降维模块、原型比对模块和复杂度输出模块，其中：

样本输入模块：收集原始航迹样本，得到航迹样本集；

特征提取模块：对所述航迹样本集进行计算，得到每条航迹样本所对应的28个复杂度因子，即28维度的特征值，组成原始数据集，并进行航迹样本集的去偏差、标准化得到空域态势数据集X；

特征降维模块：将所述空域态势数据集X输入PCA算法模块，进行PCA降维处理，通过乘上训练好的旋转矩阵W^T，得到降维后的数据集X′＝W^TX；

原型比对模块：计算降维后的数据X′与聚类所得到的三个原型向量之间的欧式距离，距离越小则越接近，将该数据归为那个原型所代表的簇；

复杂度输出模块：查找原型所代表的簇的物理含义，得到对空域复杂度的评估结果。

本发明与现有技术相比的优点在于：

(1)本发明针对空域态势样本集进行无监督学习，不依赖于管制员标定的先验知识，能够直接学习空域态势数据的内在特征及结构，使空域复杂度的分类具有一定的可解释性；

(2)本发明中使用无监督学习的PCA降维算法，能够使数据分布更加密集、均匀，避免高维数据在高维空间中产生维度灾难、样本稀疏的问题，因此，去除与学习无关的特征干扰后，样本对无监督学习模型的训练更加有利；

(3)本发明利用聚类所得的原型代表原始数据空间，实际上是一种特征学习，能够减小对大量样本的依赖，少量的样本就能得到一组表示原始数据的原型，因此大大降低了标定数据的成本。

附图说明

图1为一种基于无监督学习的空域复杂度的分类方法说明图；

图2为一种基于无监督学习的空域复杂度的分类装置说明图；

图3为一种基于无监督学习的空域复杂度的分类方法总体流程图。

具体实施方式

下面结合附图及实施例对本发明进行详细说明。

(一)基于无监督学习的空域复杂度分类方法，如图1、3所示：

步骤一：收集待处理的空域态势样本集；

获取待处理的空域态势样本，形成空域态势样本集(简称为样本集)，所述样本集中共k条样本(k为从1开始的正整数)，其中每条样本包含待处理空域在某一单位时间内的28个空域态势特征值x_i(简称为特征)(1≤i≤28,i∈Z)，此处所述特征是指能够反映空域运行态势的航班航迹分布、空域航路结构、空管运行规则等方面的属性因素，一般用连续或离散数值表示，也称为描述空域复杂程度的复杂度因子。每条样本被标定有一个对应空域的复杂度分类标签(简称标签)，表示不同空域的复杂度等级，共有高、中、低3个不同类别的标签，分别代表了对应空域为高复杂度、中复杂度、低复杂度。

步骤二：去偏差并标准化空域态势样本集；

步骤2.1、去偏差：由于每个空域态势样本集中复杂度为高、中、低的样本数量不一致，有些样本集中高、中、低样本的数量可能偏差较大，在学习偏差较大的样本集时很容易产生过拟合现象，最终导致仅仅学习到其中某一种特征的空域复杂度的特性，造成学习结果不可信、不正确的问题，故首先需要进行数据的去偏差化，使高中低复杂度样本的分布尽可能一致，以免数据偏差对特征学习产生较大的影响。

进行数据去偏差处理时，对样本集中每一类(共3类)进行随机抽样，分别抽取N₁、N₂、N₃个样本，分别对应高复杂度样本数量、中复杂度样本数量、低复杂度样本数量，其中N₁＝N₂＝N₃，共同组成数据集data-set。

步骤2.2、标准化：由于数据采集过程中人为操作和仪器的误差所导致数据产生噪声，且数据分布不均匀等问题。数据分布的不均匀在一定程度上导致了原始数据样本空间的稀疏性和样本的相关性，但统计机器学习所依赖的数学理论要求原始数据样本具有独立同分布性，故原始数据样本在训练前需要进行预处理，以提高机器学习算法的表现能力。因此在此步骤中此对数据进行相同程度地放缩，将稀疏数据线性映射为高密度数据。

对步骤2.1中得到的数据集data-set每一条样本的特征值x_i进行标准化处理，即对x₁,x₂,…,x₂₈进行如下变换：

在这里，

则标准化后的新序列y₁,y₂,…,y₂₈的均值为0，而方差为1，且无量纲。

经过步骤二，得到去偏差、标准化后的训练集training-set。

步骤三：对空域态势样本集进行PCA降维处理；

步骤3.1、PCA降维：人工标定的原始样本集具有28个特征的高维数据。高维空间中存在的最大问题是“维度灾难”。虽然样本集比较丰富，但是投射在高维空间中有可能仅仅只是这个高维空间的一小部分，小部分样本不具有代表性，无法代表整个高维空间的样本特征。除此之外，28个特征中实际上有许多特征与样本的分类任务没有任何关系，这些特征的存在一方面会将样本稀疏化，影响统计机器学习算法的效率和表现力；另一方面，高维度数据进行距离计算时存在时间消耗过长的缺点，故对28个特征进行筛选降维后，能够提高算法的实时性。

PCA是一种线性降维，利用一个旋转矩阵W^T乘上步骤二中预处理原始数据后得到的训练集training-set组成的矩阵X，得到W^TX，其中W^T的维度由目标降维维度的大小决定。在线性空间中，矩阵乘法是一种线性变换，具有信息保持性、封闭性、可逆性；在高等代数理论中，矩阵乘法是一种投影变换，相当于将原始数据样本同等程度投影到旋转矩阵所代表的张量上，投影后的结果即表示为：W^TX。该结果对于原始高维数据是一种张量，它具有多个方向，其中方差最大的方向数据特征最丰富，是我们最关心和关注的。因此PCA算法的目标函数就定义为：

W^T＝argmax{σ²(W^TX)}

利用线性代数理论，使用凸优化、牛顿迭代法等对该目标函数进行求解优化。解得目标函数最优时所对应的旋转矩阵W^T，以及降维后数据集PCA-dataset。

步骤3.2、k-NN选择目标维度：K邻近学习(简称k-NN)是一种简单的有监督学习方法，它利用当前样本周围一定范围内样本点的标签来预测当前样本的标签，同时在学习过程中不需要对原始训练集进行存储，当测试样本加入后，直接进行边学习边预测的模式，是一种“懒惰学习”。根据相关研究理论，这种分类器能够非常全面和直接地体现原始样本空间的均匀性和密集性，若原始样本空间足够均匀和密集，其泛化误差不高于最优贝叶斯分类器误差的两倍。因此，利用k-NN来检测原始数据的均匀性和密集性是非常方便和准确的。

将步骤3.1中设置不同目标维度降维后得到的多个PCA-dataset，通过K邻近学习分类器，检测其对应的泛化误差，则泛化误差最低的PCA-dataset所对应的目标维度，便是该发明方法中认为对后期聚类最有利的目标降维维度d。

经过步骤三，得到最佳降维后的数据集best_PCA-dataset。

步骤四：对低维度样本集进行k-Means聚类处理；

无监督学习是机器学习中不依赖于标签的一类算法。它并不是直接地学习得到数据样本中“打标签”的经验，而是直接关注原始的数据样本的特征，从数据结构得到一种表达。k-Means均值聚类是这其中最具代表性的一类算法。它需要事先指定目标簇(简称为簇)的个数，即随机指定k个目标原型(即中心点)，每个原型代表了这类目标簇的特征；每次迭代，遍历样本集中所有的数据，根据距离范围将每个数据划分到最近的中心点所代表的簇中；随后，计算每一个簇中所有样本的均值，并将该均值作为新的中心点位置进行更新；按照上述两步，不断更新迭代一定步数后，算法逐渐收敛，中心点位置不再发生变化。每个原型就较好地学习到了每一类簇的数据特征。

将PCA降维后的数据集best_PCA-dataset作为k-Means均值聚类的输入，制定聚类目标簇，即指定3个原型，按照上述算法流程进行迭代学习，直到3个中心点不再发生变化，算法收敛，数据便自动分为了三大类，其中每一类都是反映了原始数据特征的一类簇，分别代表了不同空域的复杂度。

步骤五：确定聚类后数据簇的复杂度类别

将步骤四聚类得到的三大类数据簇进行人工比对，查找每个簇中标签为高、中、低复杂度样本的个数，并选取样本数量较多的复杂度对聚类簇命名，对聚类的每一个簇都赋予了一个实际的物理含义，即：空域复杂度的分类结果。其中，标签为高的样本较多的簇为高复杂度空域，标签为中的样本较多的簇为中复杂度空域，标签为低的样本较多的簇为低复杂度空域。

(二)基于无监督学习方法的空域复杂度自动分类装置，如图2所示：

1.样本输入模块

收集、整理新的原始航迹样本。

2.特征提取模块

对原始航迹样本进行计算，得到每条航迹样本所对应的28个复杂度因子，即28维度的特征值，组成原始数据集，并进行样本的去偏差、标准化得到空域态势数据集X。

3.特征降维模块

将空域态势数据集X输入PCA算法模块，通过乘上训练好的旋转矩阵W^T，得到降维后的数据集X′＝W^TX。

4.原型比对模块

计算降维后的数据X′与聚类所得到的三个原型向量之间的欧式距离，距离越小则越接近，将该数据归为那个原型所代表的簇。

5.复杂度输出模块

查找原型所代表的簇的物理含义，得到对空域复杂度的评估结果。

Claims (6)

1.一种基于无监督学习的空域复杂度分类方法，其特征在于，包括以下步骤：

步骤一：收集待处理的空域态势样本集；

步骤二：去偏差并标准化空域态势样本集；

步骤三：对步骤二的空域态势样本集进行PCA降维处理，通过K邻近学习选择出降维维度，得到降维后的空域态势样本集；

步骤四：对降维后的空域态势样本集进行k-Means聚类处理，得到聚类后的数据簇；

步骤五：确定聚类后数据簇的复杂度类别，完成空域复杂度的分类。

2.根据权利要求1所述的基于无监督学习的空域复杂度分类方法，其特征在于：所述步骤一具体实现为：

获取待处理的空域态势样本，形成空域态势样本集，所述空域态势样本集中共k条样本，k为从1开始的正整数，其中每条空域态势样本包含待处理空域在某一单位时间内的28个空域态势特征x_i，1≤i≤28,i∈Z，Z是正数集，所述特征是指能够反映空域运行态势的航班航迹分布、空域航路结构、空管运行规则方面的属性因素，采用连续或离散数值表示，也称为描述空域运行复杂程度的复杂度因子；每条空域态势样本被标定有一个对应空域的复杂度分类标签，表示不同空域的复杂度等级，共有高、中、低3个不同类别的复杂度分类标签，分别代表了对应空域为高复杂度、中复杂度、低复杂度。

3.根据权利要求1所述的基于无监督学习的空域复杂度分类方法，其特征在于：所述步骤二中去偏差处理时，对空域态势样本集中每一类，共3类，即高、中、低3个不同类别的复杂度进行随机抽样，抽取N₁、N₂、N₃个样本，分别对应高复杂度样本数量、中复杂度样本数量、低复杂度样本数量，其中N₁＝N₂＝N₃，共同组成数据集。

4.根据权利要求1所述的基于无监督学习的空域复杂度分类方法，其特征在于：所述步骤三具体实现为：将所述空域态势数据集X输入PCA算法模块，进行PCA降维处理，通过乘上训练好的旋转矩阵W^T，得到降维后的空域态势样本集X′＝W^TX。

5.根据权利要求1所述的基于无监督学习的空域复杂度分类方法，其特征在于：所述步骤五具体实现为：将步骤四聚类得到的三大类数据簇进行人工比对，查找每个簇中标签为高、中、低复杂度样本的个数，并选取样本数量较多的复杂度对聚类簇命名，对聚类的每一个簇都赋予了一个实际的物理含义，即：空域复杂度的分类结果，其中，标签为高的样本较多的簇为高复杂度空域，标签为中的样本较多的簇为中复杂度空域，标签为低的样本较多的簇为低复杂度空域。

6.一种基于无监督学习方法的空域复杂度分类装置，其特征在于，包括：样本输入模块、特征提取模块、特征降维模块、原型比对模块和复杂度输出模块，其中：

样本输入模块：收集原始航迹样本，得到航迹样本集；

特征提取模块：对所述航迹样本集进行计算，得到每条航迹样本所对应的28个复杂度因子，即28维度的特征值，组成原始数据集，并进行航迹样本集的去偏差、标准化得到空域态势数据集X；

特征降维模块：将所述空域态势数据集X输入PCA算法模块，进行PCA降维处理，通过乘上训练好的旋转矩阵W^T，得到降维后的数据集X′＝W^TX；

原型比对模块：计算降维后的数据X′与聚类所得到的三个原型向量之间的欧式距离，距离越小则越接近，将该数据归为那个原型所代表的簇；

复杂度输出模块：查找原型所代表的簇的物理含义，得到对空域复杂度的评估结果。