CN111552845A - 一种基于自编码神经网络的航空网络重要节点发现方法 - Google Patents

一种基于自编码神经网络的航空网络重要节点发现方法 Download PDF

Info

Publication number
CN111552845A
CN111552845A CN202010348635.6A CN202010348635A CN111552845A CN 111552845 A CN111552845 A CN 111552845A CN 202010348635 A CN202010348635 A CN 202010348635A CN 111552845 A CN111552845 A CN 111552845A
Authority
CN
China
Prior art keywords
network
matrix
nodes
city
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010348635.6A
Other languages
English (en)
Other versions
CN111552845B (zh
Inventor
刘震
游慧明
左文波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010348635.6A priority Critical patent/CN111552845B/zh
Publication of CN111552845A publication Critical patent/CN111552845A/zh
Application granted granted Critical
Publication of CN111552845B publication Critical patent/CN111552845B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于自编码神经网络的航空网络重要节点发现方法，通过航班飞行记录数据，构建网络模型，并利用改进的自编码器(自编码神经网络)对城市节点和航司节点进行特征向量表示，在特征向量表示过程中，自编码器的整体优化函数考虑了编码损失，该编码损失利用了拉普拉斯映射原理，可以让网络中相邻的两个节点对应的嵌入向量在隐藏空间相对接近，而不相邻的节点对应的嵌入向量在隐藏空间存在相对大的距离。同时，采用欧氏距离进行重要度打分和重要节点发现。这样充分反映了航空网络节点重要性，从而实现了准确高效地对航空网络重要节点的发现。

Description

一种基于自编码神经网络的航空网络重要节点发现方法
技术领域
本发明属于复杂网络节点挖掘技术领域，更为具体地讲，涉及一种基于自编码神经网络的航空网络重要节点发现方法。
背景技术
近年来，伴随着复杂网络理论以及物流网络理论的蓬勃发展，航空网络研究已经成为供应链管理领域一个新的研究热点。
航空网络本质上具有这样一些特点：(1)、航空网络由若干有限的节点组成，并通过节点之间边的互动推动网络整体涌现出复杂特征并凸显出网络的分布特征；(2)、构成航空网络的节点既具有自身的自律、自适应和自我调节功能，又具备与外界环境进行信息、能量和物质交换的功能；(3)、整个航空网络是动态的、柔性的、有序的，通过内部节点之间的相互作用和外界环境进行交换而不断调整网络结构和功能；(4)、航空网络中存在一些关键活性节点或由活性节点组成的局部网络在网络中占据重要位置，对网络结构或功能的实现发挥重要作用。如果这些节点退出或被破坏，整体网络有可能毁于一旦。如图1所示，其中较大节点代表网络中的核心节点即重要节点。如何能够准确高效发现(挖掘出)这些重要节点，从而可以对这些重要节点进行保护，维持航空网络的鲁棒性是当前需要解决的问题。
发明内容
本发明的目的在于克服现有技术的不足，提出一种基于自编码神经网络的航空网络重要节点发现方法，以准确高效地对航空网络重要节点进行发现。
为实现上述发明目的，本发明基于自编码神经网络的航空网络重要节点发现方法，其特征在于，包括以下步骤：
(1)、将航班飞行记录数据集中每条记录选取起点城市、终点城市、航空公司三个字段，并作为构建网络模型的航空数据；
(2)、构建网络模型，并基于自编码器对城市节点和航司节点进行特征向量表示；
2.1)、构建城市网络
将航空数据中的城市(起点城市、终点城市)抽象为城市节点，城市间的航线抽象为边，航线的飞行次数(城市间的航班飞行记录数)作为边的权重，从而构建成城市网络；
2.2)、构建航司网络
将航空数据中的航空公司(航司)抽象为航司节点，合并航司间的公共航线作为边，公共航线的数量作为边的权重，从而构建成航司网络；
2.3)、使用自编码神经网络算法学习城市网络中城市节点的特征向量
首先将城市网络表示为网络Gc，A(Gc)表示网络Gc的邻接矩阵，A(Gc)的元素表示对应城市间是否有航班，有则用1表示，没有则用0表示；W(Gc)表示网络Gc的权重矩阵，W(Gc)的元素对应每条边的权重(航线的飞行次数)，则权重矩阵W(Gc)表示为：
Figure BDA0002471118250000021
其中，n表示城市节点的数量，wc的下标表示对应城市的序号；
则网络Gc的拉普拉斯矩阵L(Gc)为：L(Gc)＝D(Gc)-W(Gc)，其中，矩阵D(Gc)为：
Figure BDA0002471118250000022
然后将权重矩阵W(Gc)输入自编码器(自编码器包含编码器(encoder)和解码器(decoder)两部分)，编码器对权重矩阵W(Gc)进行编码，输出n行的嵌入矩阵Y(Gc)(也称为编码矩阵)，解码器对嵌入矩阵Y(Gc)进行解码，得到重构后的权重矩阵W′(Gc)；
其中，嵌入矩阵Y(Gc)表示为：
Figure BDA0002471118250000031
将嵌入矩阵Y(Gc)的第i行构成的向量yci作为对应相应序号城市节点的特征向量，其维度为k(通常k＝128)；
其中，自编码器神经网络参数迭代优化过程中的整体优化函数Lcmix为：
Lcmix＝Lc重构+αLc编码+vLcreg
Lc重构为重构损失，根据以下公式计算：
Figure BDA0002471118250000032
wc′i表示重构后的权重矩阵W′(Gc)的第i行构成的向量，wci表示权重矩阵W(Gc)的第i行构成的向量，||·||2表示二范数运算；
Lc编码为编码损失，根据以下公式计算：
Figure BDA0002471118250000033
acij表示邻接矩阵A(Gc)的第i行第j列元素，向量yci、ycj分别为嵌入矩阵Y(Gc)的第i、j行构成的向量，||·||1表示范数运算，tr(·)是计算矩阵的迹；
α为控制编码损失的参数(取值为10-5)，Lcreg为正则化项(用来调控自编码器的参数矩阵，避免模型过拟合)，ν为控制正则化项的参数(取值为10-4)；
2.4)、使用自编码神经网络算法学习航司网络中航司节点的特征向量
首先将航司网络表示为网络Ga，A(Ga)表示网络Ga的邻接矩阵，A(Ga)的元素表示对应航司是否有共同的航线，有则用1表示，没有则用0表示；W(G)表示网络Ga的权重矩阵，W(Ga)的元素对应每条边的权重(公共航线的数量)，则权重矩阵W(Ga)表示为：
Figure BDA0002471118250000041
其中，m表示航司节点的数量，wa的下标表示对应航司的序号；
则网络Ga的拉普拉斯矩阵L(Ga)为：L(Ga)＝D(Ga)-W(Ga)，其中，矩阵D(Ga)为：
Figure BDA0002471118250000042
然后将权重矩阵W(Ga)输入自编码器(自编码器包含编码器(encoder)和解码器(decoder)两部分)，编码器对权重矩阵W(Ga)进行编码，输出m行的嵌入矩阵Y(Ga)(也称为编码矩阵)，解码器对嵌入矩阵Y(Ga)进行解码，得到重构后的权重矩阵W′(Ga)；
其中，嵌入矩阵Y(Ga)表示为：
Figure BDA0002471118250000043
将嵌入矩阵Y(Ga)的第i行构成的向量yai作为对应相应序号城市节点的特征向量，其维度为k(通常k＝128)；
其中，自编码器神经网络参数迭代优化过程中的整体优化函数Lamix为：
Lamix＝La重构+αLa编码+νLareg
La重构为重构损失，根据以下公式计算：
Figure BDA0002471118250000044
wa′i表示重构后的权重矩阵W′(Ga)的第i行构成的向量，wai表示权重矩阵W(Ga)的第i行构成的向量，||·||2表示二范数运算；
La编码为编码损失，根据以下公式计算：
Figure BDA0002471118250000051
aaij表示邻接矩阵A(Ga)的第i行第j列元素，向量yai、yaj分别为嵌入矩阵Y(Ga)的第i、j行构成的向量；
α为控制编码损失的参数(取值为10-5)，Lareg为正则化项(用来调控自编码器的参数矩阵，避免模型过拟合)，ν为控制正则化项的参数(取值为10-4)；
(3)、根据特征向量对城市节点和航司节点进行重要度打分
3.1)、根据城市节点特征向量计算城市网络中城市节点重要度评分，
城市节点i的重要度评分Pi为：
Figure BDA0002471118250000052
dist(yci,ych)表示特征向量yci和ych的欧氏距离；
3.2)、根据航司节点特征向量计算城市网络中航司节点重要度评分
航司节点i的重要度评分Qi为：
Figure BDA0002471118250000053
dist(yai,yah)表示特征向量yai和yah的欧氏距离；
(4)、航空网络重要节点发现
重要度评分也越高的城市节点，其重要性越高，重要度评分排名靠前的为重要节点；
重要度评分也越高的航司节点，其重要性越高，重要度评分排名靠前的为重要节点。
本发明的目的是这样实现的。
本发明基于自编码神经网络的航空网络重要节点发现方法，通过航班飞行记录数据，构建网络模型，并利用改进的自编码器(自编码神经网络)对城市节点和航司节点进行特征向量表示，在特征向量表示过程中，自编码器的整体优化函数考虑了编码损失，该编码损失利用了拉普拉斯映射原理，可以让网络中相邻的两个节点对应的嵌入向量在隐藏空间相对接近，而不相邻的节点对应的嵌入向量在隐藏空间存在相对大的距离。同时，采用欧氏距离进行重要度打分和重要节点发现。这样充分反映了航空网络节点重要性，从而实现了准确高效地对航空网络重要节点的发现。
附图说明
图1是航空网络中核心节点的示意图；
图2是本发明基于自编码神经网络的航空网络重要节点发现方法一种具体实施方式流程图；
图3是本发明中自编码器示意图；
图4是城市网络一具体实例示意图；
图5是航司网络一具体实例示意图；
图6是城市网络的实验结果；
图7是航司网络的实验结果；
图8是城市网络中PageRank的实验结果；
图9是航司网络中PageRank的实验结果；
图10是城市网络中度排序的实验结果；
图11是城市网络介数中心性实验结果；
图12是城市网络中度排序的实验结果；
图13是航司网络介数中心性实验结果；
图14是四种方法的城市节点的PNN计算结果；
图15是四种方法的航司节点的PNN计算结果。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
图2是本发明基于自编码神经网络的航空网络重要节点发现方法一种具体实施方式流程图。
在本实施例中，如图2所示，本发明基于自编码神经网络的航空网络重要节点发现方法包括以下步骤：
步骤S1：选取航空数据
将航班飞行记录数据集中每条记录选取起点城市、终点城市、航空公司三个字段，并作为构建网络模型的航空数据。
在本实施例中，所使用的数据集是美国航空公开的航班飞行记录数据集，约12万条记录，采用了其中2019年1月份的2万多条数据。其链接地址为：
https://transtats.bts.gov/Tables.asp？DB_ID＝111&DB_Name＝Air％ 20Carrier％20Statistics％20％28Form％2041％20Traffic％29-％20All％20Carriers& DB_Short_Name＝Air％20Carriers。
本发明中使用的字段为数据集中的起点城市、终点城市、航空公司。在本实施例中，航空数据的结果统计如表1所示。
飞行记录 城市 航线 航空公司
20703 779 6103 110
表1
步骤S2：构建网络模型，并基于自编码器对城市节点和航司节点进行特征向量表示
步骤S2.1：构建城市网络
将航空数据中的城市(起点城市、终点城市)抽象为城市节点，城市间的航线抽象为边，航线的飞行次数(城市间的航班飞行记录数)作为边的权重，从而构建成城市网络。
步骤S2.2：构建航司网络
将航空数据中的航空公司(航司)抽象为航司节点，合并航司间的公共航线作为边，公共航线的数量作为边的权重，从而构建成航司网络。
步骤S2.3：使用自编码神经网络算法学习城市网络中城市节点的特征向量
首先将城市网络表示为网络Gc，A(Gc)表示网络Gc的邻接矩阵，A(Gc)的元素表示对应城市间是否有航班，有则用1表示，没有则用0表示；W(Gc)表示网络Gc的权重矩阵，W(Gc)的元素对应每条边的权重(航线的飞行次数)，则权重矩阵W(Gc)表示为：
Figure BDA0002471118250000081
其中，n表示城市节点的数量，wc的下标表示对应城市的序号；
则网络Gc的拉普拉斯矩阵L(Gc)为：L(Gc)＝D(Gc)-W(Gc)，其中，矩阵D(Gc)为：
Figure BDA0002471118250000082
然后将权重矩阵W(Gc)输入自编码器(自编码器包含编码器(encoder)和解码器(decoder)两部分)，编码器对权重矩阵W(Gc)进行编码，输出n行的嵌入矩阵Y(Gc)(也称为编码矩阵)，解码器对嵌入矩阵Y(Gc)进行解码，得到重构后的权重矩阵W′(Gc)。
其中，嵌入矩阵Y(Gc)表示为：
Figure BDA0002471118250000083
将嵌入矩阵Y(Gc)的第i行构成的向量yci作为对应相应序号城市节点的特征向量，其维度为k(通常k＝128)；
其中，自编码器的整体优化函数Lcmix为：
Lcmix＝Lc重构+αLc编码+νLcreg
Lc重构为重构损失，根据以下公式计算：
Figure BDA0002471118250000091
wc′i表示重构后的权重矩阵W′(Gc)的第i行构成的向量，wci表示权重矩阵W(Gc)的第i行构成的向量，||·||2表示二范数运算；
Lc编码为编码损失，根据以下公式计算：
Figure BDA0002471118250000092
acij表示邻接矩阵A(Gc)的第i行第j列元素，向量yci、ycj分别为嵌入矩阵Y(Gc)的第i、j行构成的向量，||·||1表示范数运算，tr(·)是计算矩阵的迹；
α为控制编码损失的参数(取值为10-5)，Lcreg为正则化项(用来调控自编码器的参数矩阵，避免模型过拟合)，ν为控制正则化项的参数(取值为10-4)；
步骤S2.4：使用自编码神经网络算法学习航司网络中航司节点的特征向量
首先将航司网络表示为网络Ga，A(Ga)表示网络Ga的邻接矩阵，A(Ga)的元素表示对应航司是否有共同的航线，有则用1表示，没有则用0表示；W(G)表示网络Ga的权重矩阵，W(Ga)的元素对应每条边的权重(公共航线的数量)，则权重矩阵W(Ga)表示为：
Figure BDA0002471118250000093
其中，m表示航司节点的数量，wa的下标表示对应航司的序号；
则网络Ga的拉普拉斯矩阵L(Ga)为：L(Ga)＝D(Ga)-W(Ga)，其中，矩阵D(Ga)为：
Figure BDA0002471118250000101
然后将权重矩阵W(Ga)输入自编码器(自编码器包含编码器(encoder)和解码器(decoder)两部分)，编码器对权重矩阵W(Ga)进行编码，输出m行的嵌入矩阵Y(Ga)(也称为编码矩阵)，解码器对嵌入矩阵Y(Ga)进行解码，得到重构后的权重矩阵W′(Ga)；
其中，嵌入矩阵Y(Ga)表示为：
Figure BDA0002471118250000102
将嵌入矩阵Y(Ga)的第i行构成的向量yai作为对应相应序号城市节点的特征向量，其维度为k(通常k＝128)；
其中，自编码器的整体优化函数Lamix为：
Lamix＝La重构+αLa编码+νLareg
La重构为重构损失，根据以下公式计算：
Figure BDA0002471118250000103
wa′i表示重构后的权重矩阵W′(Ga)的第i行构成的向量，wai表示权重矩阵W(Ga)的第i行构成的向量，||·||2表示二范数运算；
La编码为编码损失，根据以下公式计算：
Figure BDA0002471118250000104
aaij表示邻接矩阵A(Ga)的第i行第j列元素，向量yai、yaj分别为嵌入矩阵Y(Ga)的第i、j行构成的向量；
α为控制编码损失的参数(取值为10-5)，Lareg为正则化项(用来调控自编码器的参数矩阵，避免模型过拟合)，ν为控制正则化项的参数(取值为10-4)。
自编码器的功能是通过将输入信息作为学习目标，对输入信息进行表征学习。在本发明中，将城市网络以及航司网络的权重矩阵分别作为输入，分别得到重构后的权重矩阵，其中，通过神经网络的反向传播过程，可以对图3的自编码器神经网络的参数进行迭代优化(fc表示全连接层)，直到损失函数Lcmix、Lamix的值低于某个阈值时，停止模型的训练，同时输出编码矩阵Y(Gc)、Y(Ga)。自编码器神经网络参数的迭代优化属于现有技术，在此不再赘述。
步骤S3：根据特征向量对城市节点和航司节点进行重要度打分
步骤S3.1：根据城市节点特征向量计算城市网络中城市节点重要度评分，
城市节点i的重要度评分Pi为：
Figure BDA0002471118250000111
dist(yci,ych)表示特征向量yci和ych的欧氏距离；
步骤S3.2：根据航司节点特征向量计算城市网络中航司节点重要度评分
航司节点i的重要度评分Qi为：
Figure BDA0002471118250000112
dist(yai,yah)表示特征向量yai和yah的欧氏距离。
步骤S4：航空网络重要节点发现
重要度评分也越高的城市节点，其重要性越高，重要度评分排名靠前的为重要节点；
重要度评分也越高的航司节点，其重要性越高，重要度评分排名靠前的为重要节点。
实例
1、计算城市网络中城市节点重要度评分实例
(1)、构建一个城市网络，如图4所示，图中包含了8个节点，10条边。
(2)、使用自编码算法学习网络中8个城市节点的特征向量，例如对图2中的Portland,OR使用自编码算法学习该城市节点的特征向量,如表2所示。
节点 特征向量(128维)
Portland,OR (0.121，...,0.231)
表2
(3)、对于构建的城市网络，8个城市节点的重要度评分如表3所示
Figure BDA0002471118250000121
表3
(4)、航空网络重要节点发现：从表3可以看出，重要度评分排名靠前的两个城市节点为：St.Louis,MO以及Kansas City,MO，重要度评分分别为：27.85245113、27.21295071。
2、计算航司网络中航司节点重要度评分实例
(1)、构建一个航司网络，如图5所示，图中包含了6个节点，15条边。
(2)、使用自编码算法学习网络中6个航司节点的特征向量，例如对图3中的Piedmont Airlines使用自编码算法学习该航司节点的特征向量，如表4所示。
节点 特征向量(128维)
Piedmont Airlines (0.151，...,0.311)
表4
对于构建的航司网络，6个航司节点的重要度评分如表5所示。
Figure BDA0002471118250000131
表5
(4)、航司网络重要节点发现：从表5可以看出，重要度评分排名靠前的两个航司节点为：United Air Lines Inc以及Republic Airline，重要度评分分别为：0.184561349、0.183181912。
3、比较
同时，在本实施例中，采用基于自编码算法(本发明)、PageRank，度排序，介数中心性的方法对所构建的城市网络和航司网络模型进行节点重要度的评估。四种方法对节点重要度评估后得到的实验数据，使用绘图工具Gephi进行绘图，得到以下实验结果，图中点的大小反映了节点的重要度评分，点越大，说明节点越重要。
3.1)基于自编码算法(本发明)的实验结果
3.1.1)城市网络中基于自编码算法的实验结果，如图6所示。图6表示基于构建的城市网络模型，基于自编码算法的方法对城市节点的重要度评分的实验结果，并显示了排名前20的城市。
3.1.2)航司网络中基于自编码算法的实验结果，如图7所示。图7表示基于构建的航司网络模型，基于自编码算法的方法对航司节点的重要度评分的实验结果，并显示了排名前20的航司。
3.2)基于PageRank的实验结果
3.2.1)城市网络中PageRank的实验结果，如图8所示。图8表示基于构建的城市网络模型，基于PageRank的方法对城市节点的重要度评分的实验结果，并显示了排名前20的城市。
3.2.2)航司网络中PageRank的实验结果，如图9所示。图9表示基于构建的航司网络模型，基于PageRank的方法对航司节点的重要度评分的实验结果，并显示了排名前20的航司。
3.3)基于度排序的实验结果
3.3.1)城市网络中度排序的实验结果，如图10所示。图10表示基于构建的城市网络模型，基于度排序的方法对城市节点的重要度评分的实验结果，并显示了排名前20的城市。
3.3.2)航司网络中度排序的实验结果，如图11所示。图11表示基于构建的航司网络模型，基于度排序的方法对航司节点的重要度评分的实验结果，并显示了排名前20的航司。
3.4)基于介数中心性的实验结果
3.4.1)城市网络介数中心性实验结果，如图12所示。图12表示基于构建的城市网络模型，利用介数中心性的方法对城市节点的重要度评分的实验结果，并显示了排名前20的城市。
3.4.2)航司网络介数中心性实验结果，如图13所示。图13表示基于构建的航司网络模型，利用介数中心性的方法对航司节点的重要度评分的实验结果，并显示了排名前20的航司。
4、通过PNN指标，对比自编码神经网络算法(AGNN)与PageRank、度排序和介数中心性排序算法在发现航空网络中重要节点的效果。
4.1)、PNN的定义
本发明中，采用非关键节点比例(PNN)来评估重要度计算方法的可靠性。非关键节点比例(PNN percentage of noncritical nodes)表示删除节点后不会导致严重后果节点比，用来测量网络的鲁棒性。PNN值变化越快，表示删除的节点越重要。
Figure BDA0002471118250000151
其中θ为容忍阈值，N表示节点总数，Nfailed(i)表示删除节点i导致的失效节点数。
对于我们所建立的航空网络模型，城市，航司和航线的Nfailed(i)和N的定义是不同的。下面分别对两种不同的Nfailed(i)和N进行定义。
4.1.1)、城市的Nfailed(i)和N的定义：
Figure BDA0002471118250000152
4.1.2)航司的Nfailed(i)和N的定义：
Figure BDA0002471118250000153
Figure BDA0002471118250000154
表示航空公司i运营的第k条航线的权值
α是预先设定的一个阈值，表示航空公司i失效时，航线运能失效的程度
N表示所有航线的数量
4.2)、城市和航司的PNN的实验结果
4.2.1)、基于自编码算法(AGNN)、PageRank、度排序和介数中心性四种方法，对城市节点进行重要度评分，由高到低进行排序，得到城市节点序列。将城市节点按重要度评分降序移除，得到四种方法的城市节点的PNN计算结果，如图14所示。图14中曲线1、2、3、4分别表示基于自编码算法(AGNN)、PageRank、度排序和介数中心性的实验结果。对比四条曲线，可以看出在移除重要度评分前200个城市节点以内时，曲线1的PNN增量与曲线2、3、4非常接近，不过曲线1在移除重要度评分前200到400城市节点时，PNN增量明显超过了曲线2、3、4，说明基于自编码算法(AGNN)对航空网络中重要城市节点的挖掘在一定程度上是优于传统方法的。所以，基于自编码算法(AGNN)对航空网络中重要城市节点进行挖掘的方法是值得运用的。
4.2.2)、基于自编码算法(AGNN)、PageRank、度排序和介数中心性四种方法，对航司节点进行重要度评分，由高到低进行排序，得到航司节点序列。将航司节点按重要度评分降序移除，得到四种方法的航司节点的PNN计算结果，如图15所示。图15中曲线1、2、3、4分别表示基于自编码算法(AGNN)、PageRank、度排序和介数中心性的实验结果。观察四条曲线，发现四条曲线并不光滑，分析得知由于航司节点过少造成的。但是，观察实验结果可以得出，在移除重要度评分前20个航司节点以内时，曲线1和曲线2、3的具有很高的重合度，而曲线4的PNN增量最小，说明基于介数中心性的方法在本实验中的效果最差，而基于自编码算法(AGNN)、PageRank、度排序的实验结果非常接近。这证明了基于自编码算法(AGNN)对航空网络中重要航司节点进行挖掘的方法是可行的。
5、结语
实验结果显示，本发明提出了一种有效的基于图神经网络的航运网络重要节点的发现方法。利用本发明能够准确高效的对航运网络中的重要节点进行挖掘，从而可以对这些重要节点进行保护，维持网络的鲁棒性。
本发明是在真实的航运网络数据上进行实验的，具有较高的可实施性和可靠性，应用前景良好。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于自编码神经网络的航空网络重要节点发现方法，其特征在于，包括以下步骤：
(1)、将航班飞行记录数据集中每条记录选取起点城市、终点城市、航空公司三个字段，并作为构建网络模型的航空数据；
(2)、构建网络模型，并基于自编码器对城市节点和航司节点进行特征向量表示；
2.1)、构建城市网络
将航空数据中的城市(起点城市、终点城市)抽象为城市节点，城市间的航线抽象为边，航线的飞行次数(城市间的航班飞行记录数)作为边的权重，从而构建成城市网络；
2.2)、构建航司网络
将航空数据中的航空公司(航司)抽象为航司节点，合并航司间的公共航线作为边，公共航线的数量作为边的权重，从而构建成航司网络；
2.3)、使用自编码神经网络算法学习城市网络中城市节点的特征向量
首先将城市网络表示为网络Gc，A(Gc)表示网络Gc的邻接矩阵，A(Gc)的元素表示对应城市间是否有航班，有则用1表示，没有则用0表示；W(Gc)表示网络Gc的权重矩阵，W(Gc)的元素对应每条边的权重(航线的飞行次数)，则权重矩阵W(Gc)表示为：
Figure FDA0002471118240000011
其中，n表示城市节点的数量，wc的下标表示对应城市的序号；
则网络Gc的拉普拉斯矩阵L(Gc)为：L(Gc)＝D(Gc)-W(Gc)，其中，矩阵D(Gc)为：
Figure FDA0002471118240000021
然后将权重矩阵W(Gc)输入自编码器(自编码器包含编码器(encoder)和解码器(decoder)两部分)，编码器对权重矩阵W(Gc)进行编码，输出n行的嵌入矩阵Y(Gc)(也称为编码矩阵)，解码器对嵌入矩阵Y(Gc)进行解码，得到重构后的权重矩阵W′(Gc)；
其中，嵌入矩阵Y(Gc)表示为：
Figure FDA0002471118240000022
将嵌入矩阵Y(Gc)的第i行构成的向量yci作为对应相应序号城市节点的特征向量，其维度为k(通常k＝128)；
其中，自编码器神经网络参数迭代优化过程中的整体优化函数Lcmix为：
Lcmix＝Lc重构+αLc编码+vLcreg
Lc重构为重构损失，根据以下公式计算：
Figure FDA0002471118240000023
wc′i表示重构后的权重矩阵W′(Gc)的第i行构成的向量，wci表示权重矩阵W(Gc)的第i行构成的向量，||·||2表示二范数运算；
Lc编码为编码损失，根据以下公式计算：
Figure FDA0002471118240000024
acij表示邻接矩阵A(Gc)的第i行第j列元素，向量yci、ycj分别为嵌入矩阵Y(Gc)的第i、j行构成的向量，||·||1表示范数运算，tr(·)是计算矩阵的迹；
α为控制编码损失的参数(取值为10-5)，Lcreg为正则化项(用来调控自编码器的参数矩阵，避免模型过拟合)，ν为控制正则化项的参数(取值为10-4)；
2.4)、使用自编码神经网络算法学习航司网络中航司节点的特征向量
首先将航司网络表示为网络Ga，A(Ga)表示网络Ga的邻接矩阵，A(Ga)的元素表示对应航司是否有共同的航线，有则用1表示，没有则用0表示；W(G)表示网络Ga的权重矩阵，W(Ga)的元素对应每条边的权重(公共航线的数量)，则权重矩阵W(Ga)表示为：
Figure FDA0002471118240000031
其中，m表示航司节点的数量，wa的下标表示对应航司的序号；
则网络Ga的拉普拉斯矩阵L(Ga)为：L(Ga)＝D(Ga)-W(Ga)，其中，矩阵D(Ga)为：
Figure FDA0002471118240000032
然后将权重矩阵W(Ga)输入自编码器(自编码器包含编码器(encoder)和解码器(decoder)两部分)，编码器对权重矩阵W(Ga)进行编码，输出m行的嵌入矩阵Y(Ga)(也称为编码矩阵)，解码器对嵌入矩阵Y(Ga)进行解码，得到重构后的权重矩阵W′(Ga)；
其中，嵌入矩阵Y(Ga)表示为：
Figure FDA0002471118240000033
将嵌入矩阵Y(Ga)的第i行构成的向量yai作为对应相应序号城市节点的特征向量，其维度为k(通常k＝128)；
其中，自编码器神经网络参数迭代优化过程中的整体优化函数Lamix为：
Lamix＝La重构+αLa编码+νLareg
La重构为重构损失，根据以下公式计算：
Figure FDA0002471118240000041
wa′i表示重构后的权重矩阵W′(Ga)的第i行构成的向量，wai表示权重矩阵W(Ga)的第i行构成的向量，||·||2表示二范数运算；
La编码为编码损失，根据以下公式计算：
Figure FDA0002471118240000042
aaij表示邻接矩阵A(Ga)的第i行第j列元素，向量yai、yaj分别为嵌入矩阵Y(Ga)的第i、j行构成的向量；
α为控制编码损失的参数(取值为10-5)，Lareg为正则化项(用来调控自编码器的参数矩阵，避免模型过拟合)，ν为控制正则化项的参数(取值为10-4)；
(3)、根据特征向量对城市节点和航司节点进行重要度打分
3.1)、根据城市节点特征向量计算城市网络中城市节点重要度评分，
城市节点i的重要度评分Pi为：
Figure FDA0002471118240000043
dist(yci,ych)表示特征向量yci和ych的欧氏距离；
3.2)、根据航司节点特征向量计算城市网络中航司节点重要度评分
航司节点i的重要度评分Qi为：
Figure FDA0002471118240000044
dist(yai,yah)表示特征向量yai和yah的欧氏距离；
(4)、航空网络重要节点发现
重要度评分也越高的城市节点，其重要性越高，重要度评分排名靠前的为重要节点；
重要度评分也越高的航司节点，其重要性越高，重要度评分排名靠前的为重要节点。
CN202010348635.6A 2020-04-28 2020-04-28 一种基于自编码神经网络的航空网络重要节点发现方法 Expired - Fee Related CN111552845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010348635.6A CN111552845B (zh) 2020-04-28 2020-04-28 一种基于自编码神经网络的航空网络重要节点发现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010348635.6A CN111552845B (zh) 2020-04-28 2020-04-28 一种基于自编码神经网络的航空网络重要节点发现方法

Publications (2)

Publication Number Publication Date
CN111552845A true CN111552845A (zh) 2020-08-18
CN111552845B CN111552845B (zh) 2022-03-25

Family

ID=72003192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010348635.6A Expired - Fee Related CN111552845B (zh) 2020-04-28 2020-04-28 一种基于自编码神经网络的航空网络重要节点发现方法

Country Status (1)

Country Link
CN (1) CN111552845B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060095430A1 (en) * 2004-10-29 2006-05-04 Microsoft Corporation Web page ranking with hierarchical considerations
CN108829908A (zh) * 2018-04-11 2018-11-16 浙江工业大学 一种基于深度自编码器网络的电路结构可靠性预测方法
CN110286279A (zh) * 2019-06-05 2019-09-27 武汉大学 基于极端随机森林与堆栈式稀疏自编码算法的电力电子电路故障诊断方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060095430A1 (en) * 2004-10-29 2006-05-04 Microsoft Corporation Web page ranking with hierarchical considerations
CN108829908A (zh) * 2018-04-11 2018-11-16 浙江工业大学 一种基于深度自编码器网络的电路结构可靠性预测方法
CN110286279A (zh) * 2019-06-05 2019-09-27 武汉大学 基于极端随机森林与堆栈式稀疏自编码算法的电力电子电路故障诊断方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
闫玲玲等: "基于度和聚类系数的中国航空网络重要性节点分析", 《智能系统学报》 *

Also Published As

Publication number Publication date
CN111552845B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN111460818A (zh) 一种基于增强胶囊网络的网页文本分类方法及存储介质
CN113568954B (zh) 网络流量预测数据预处理阶段的参数最优化方法及系统
CN110378543A (zh) 离职风险预测方法、装置、计算机设备和存储介质
CN112989272B (zh) 一种基于局部路径的社团发现算法
CN111552845B (zh) 一种基于自编码神经网络的航空网络重要节点发现方法
CN112597399B (zh) 图数据处理方法、装置、计算机设备和存储介质
CN117272195A (zh) 基于图卷积注意力网络的区块链异常节点检测方法及系统
Rui et al. Smart network maintenance in an edge cloud computing environment: An adaptive model compression algorithm based on model pruning and model clustering
CN110111054A (zh) 拼单网络模型的生成方法及装置、计算机可读介质以及物流系统
CN113590912B (zh) 融合节点相对位置和绝对度分布的跨社交网络对齐方法
Zhu A hybrid indicator many‐objective optimization algorithm for the selection and delivery of disaster relief materials problem
CN107122472A (zh) 大规模非结构化数据提取方法、其系统、分布式数据管理平台
Du et al. Evolutionary NAS in light of model stability for accurate continual learning
CN105701118A (zh) 用于归一化文件的非数值特征的方法和装置
CN117171628B (zh) 异构联邦环境中的图结构数据节点分类方法和装置
CN114936296B (zh) 超大规模知识图谱存储的索引方法、系统及计算机设备
CN117034721B (zh) 面向芯粒集成设计的图神经网络温度场预测方法和装置
CN115391414B (zh) 一种基于大数据的银行市场拓展系统及方法
CN115392615B (zh) 基于信息增强生成对抗网络的数据缺失值补全方法及系统
Xu et al. Semi-supervised Learning via Multiple Layer Graph Regularized Perception
CN110210988B (zh) 一种基于深度哈希的符号社交网络嵌入方法
CN116227535A (zh) 图表征学习模型的优化方法、装置和计算机设备
CN105808723A (zh) 基于图片语义和视觉散列的图片检索方法
CN111523188A (zh) 一种航空网络鲁棒性优化方法
Jun-Di et al. An improved K-Shell-Based Ranking of Node Importance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220325

CF01 Termination of patent right due to non-payment of annual fee