CN114707720A - 一种基于纵向联邦学习的航班延误预测方法及系统 - Google Patents

一种基于纵向联邦学习的航班延误预测方法及系统 Download PDF

Info

Publication number
CN114707720A
CN114707720A CN202210330657.9A CN202210330657A CN114707720A CN 114707720 A CN114707720 A CN 114707720A CN 202210330657 A CN202210330657 A CN 202210330657A CN 114707720 A CN114707720 A CN 114707720A
Authority
CN
China
Prior art keywords
data
airport
flight delay
model
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210330657.9A
Other languages
English (en)
Other versions
CN114707720B (zh
Inventor
李国�
张秋杰
曹卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation University of China
Original Assignee
Civil Aviation University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation University of China filed Critical Civil Aviation University of China
Priority to CN202210330657.9A priority Critical patent/CN114707720B/zh
Publication of CN114707720A publication Critical patent/CN114707720A/zh
Application granted granted Critical
Publication of CN114707720B publication Critical patent/CN114707720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Signal Processing (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Mathematical Physics (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于纵向联邦学习的航班延误预测方法及系统，属于航空信息处理技术领域，包括：联邦数据预处理，在联邦学习应用场景下，使用统一的数据预处理标准，各机场按照所述数据预处理标准对数据进行清洗；加密实体对齐阶段，使用一种基于非对称加密RSA算法和哈希函数，在此过程由航空公司方产生公钥发送给机场方，去除第三方来求双方共有的数据交集航班号ID；加密模型训练，确定共有的实体ID后，机场和航空公司利用这些共有的实体数据协同训练一个机器学习模型；选择纵向联邦学习框架融合逻辑回归算法来进行航班延误预测；输出，采用部分指标作为航班延误预测模型性能的评估。解决纵向联邦学习中参与方之间通信不安全的问题。

Description

一种基于纵向联邦学习的航班延误预测方法及系统
技术领域
本发明属于航空信息处理技术领域，具体涉及一种基于纵向联邦学习的航班延误预测方法及系统。
背景技术
近年来，民航航班延误问题日益严重，逐渐成为机场、航空公司、旅客之间关系紧张的主要原因之一。根据运输统计局(Bureau of Transportation Statistics,BTS)的数据显示，大约四分之一的航班到达目的地的时间延误15分钟以上。由于航班的连通性，一旦发生航班延误，特别是重要的枢纽机场发生航班延误，会严重影响民航业的正常安全生产和服务质量，不仅给航空公司带来经济损失，也成为制约航空公司发展的重要因素,航班延误不会被完全避免，如果能对航班即将发生的延误或者影响航班的因素进行有效的预测并进行预警工作，以有效的措施应对，便能减少延误带来的民航经济受损等影响。
国内外学者尝试将机器学习模型应用到航班延误预测场景中，将不同机场的数据收集到中央服务器进行处理。文献[1，2，3]将梯度提升决策树应用到航班延误预测中,其中文献[3]将自动相关监视广播消息和机场信息直接进行融合，探讨了更广泛的延误因素。文献[4]提出一种随机连接团簇网络航班延误预测模型，将天气数据和航班数据进行融合。文献[5]以动态贝叶斯网络推理建模，采用航班数据和天气数据融合进行预测。文献[6]基于直接融合飞行数据和机场延误信息改进Se-DenseNet算法。文献[7]提出的航班延误预测模型允许将参与方的敏感标签以明文的形式直接与其他参与方共享。文献[8]建立一种改进的支持向量机模型来预测航班起飞延误，将机场、航空公司和飞机三个主要方面直接融合，对影响航班延误因素更全面考虑。
上述文献大多基于传统的机器学习方法，虽然在信息提取上有提升，但是采用单一来源的航班数据，缺少优质数据。对于高度非结构化、异构、稀疏的复杂数据处理效果不佳，泛化能力较弱，没有打破机场的地域壁垒。同时，机场和航空公司包含极其敏感且有商业价值的数据，由于数据隐私法规[9]和机构之间的利益关系，这些数据不能直接融合。访问受到严格的限制，很难为单个参与方收集大量数据。
检索文献：
[1]MANNA S,BISWAS S,KUNDU R,et al.A statistical approach to predictflight delay using gradient boosted decision tree[C]//2017 InternationalConference on Computational Intelligence in Data Science(ICCIDS).IEEE,2018:1-5.
[2]TANG Hong,WANG Dong,SONG Bo,et al.Classification of flight delayprediction based on nonlinear weighted XGBoost[J].Journal of SystemSimulation,2021,33(09):2261-2269.[唐红,王栋,宋博,等.基于非线性赋权XGBoost算法的航班延误分类预测[J].系统仿真学报,2021,33(09):2261-2269.]
[3]LIU F,SUN J,LIU M,et al.Generalized flight delay prediction methodusing gradient boosting decision tree[C]//2020 IEEE 91st Vehicular TechnologyConference(VTC2020-Spring).IEEE,2020:1-5.
[4]QU Jingyi,CAO Lei,CHEN Min,et al.CliqueNet flight delay predictionmodel based on cluster random connection[J].Journal of Computer Applications,2020,40(08):2420-2427.[屈景怡,曹磊,陈敏,等.基于团簇随机连接的CliqueNet航班延误预测模型[J].计算机应用,2020,40(08):2420-2427.]
[5]ZHANG Chengwei,LUO Feng’e,DAI Yi.Prediction method of flight delayin designated flight plan based on data mining[J].Computer Science,2020,47(S2):464-470+485.[张成伟,罗凤娥,代毅.基于数据挖掘的指定航班计划延误预测方法[J].计算机科学,2020,47(S2):464-470+485.]
[6]WU RB,ZHAO T,QU J.Flight Delay Prediction Model Based on Deep SE-DenseNet[J].Journal of Electronics and Information Technology,2019,41(6):1510-1517.
[7]GUI G,LIU F,SUN J,et al.Flight Delay Prediction Based on AviationBig Data and Machine Learning[J].IEEE Transactions on Vehicular Technology,2020,69(1):140-150.
[8]WU W,CAI K,YAN Y,et al.An improved SVM model for flight delayprediction[C]//2019IEEE/AIAA 38th Digital Avionics Systems Conference(DASC).IEEE,2019:1-6.
[9]EU.The official GDPR wedsite[EB/OL].[2022-1-14.]https://ec.europa.en/commission/priorities/justice-and-fundamental-rights/data-protection/2018-reform-eu-data-protection-reles_en,2020.
发明内容
本发明为解决公知技术中存在的技术问题，本发明旨在保护高标准的隐私，不仅保护个人实体，而且在可行的程度上保护模式不被披露。提出纵向联邦学习框架融合改进逻辑回归模型，在不泄露航空公司和机场底层数据的前提下，允许将数据的使用和模型训练分离；通过改进逻辑回归算法使其能够结合Paillier加密技术保证模型参数传递安全，解决纵向联邦学习中参与方之间通信不安全的问题；提供一种基于纵向联邦学习的航班延误预测方法及系统。
本发明的第一目的是提供一种基于纵向联邦学习的航班延误预测方法，至少包括：
在联邦数据预处理阶段，集中式建模采用不同的机场对各自的航班信息数据进行单独处理，不同的机场有不同的处理方法和标准。在联邦学习应用场景下，为保证各自构建的特征数据能够正常训练，使用统一的数据预处理标准，使各机场按照该标准对数据进行清洗。①缺失值的处理。航班延误预测数据集包括航班的基本信息和延误因素等重要信息，但是，部分数据的缺失可能影响特征提取和模型训练。针对缺失程度和特征影响程度，可以分为不同的处理方式。对于缺失数量大于总数量的一半的属性，采用拉格朗日中值填充法。对于延误时间等重要的数据特征，可以采用精准填充方法。对于无法填充的异常数据和缺失数据可以采用零填充。②数据融合。为了使预测结果更加准确，将天气数据和机场数据进行融合，筛选出天气数据中对应出发机场和到达机场的天气情况与对应机场拼接。③One-Hot编码。一些属性表示不同类别的离散值，需要转换这些属性提取适合联邦学习算法的特征。比如出发机场ID10397可以用00001表示。④散列程度。为了减小离散值，将机场风速根据大小划分空间分为8个等级，将机场的降水量划分为6个等级。这样就把航班延误预测问题退化为一个二分类问题。
在加密实体对齐阶段。由于机场和航空公司所拥有的实体和特征不同，需使用一种基于非对称加密RSA算法和哈希函数，在此过程由航空公司方产生公钥发送给机场方，这样可以去除第三方来求双方共有的数据交集航班号ID。
在加密模型训练阶段，在确定共有的实体ID后，机场和航空公司可以利用这些共有的实体数据协同训练一个机器学习模型。训练过程如下：
步骤1协调者生成密钥对，并将公钥分别发送给机场和航空公司。
步骤2机场和航空公司以加密的方式交换中间参数。中间参数用于计算梯度和损失函数值。
步骤3机场和航空公司计算梯度值并加密，机场方作为主动方计算加密损失函数值，双方将加密结果分别发送给协调者。
步骤4协调者利用私钥对双方传来的加密数据解密，并将结果返回给机场和航空公司。双方根据返回的梯度信息来更新模型参数。对本地的数据进行更新和分类，为航班延误预测做出依据。
在输出阶段，采用部分指标作为航班延误预测模型性能的评估，准确率(Accuracy，ACC)作为最直观的衡量指标，用来衡量预测延误与否结果正确的航班数占总航班数的百分比，代表整体分类的准确性，选取准确率作为评估指标之一，所述准确率指的是所有预测结果为正确的占总的航班数的比例。由于数据集是关于航班延误预测，具有很大的有偏性，即延误与不延误比例不平衡，仅选取准确率有时候会产生机器欺骗，使预测指标变得没有意义。因此引入召回率(Recall)、F1-score很有必要。召回率Recall代表对于发生延误航班情况的预测结果正确的航班数量占总延误航班数的百分比；F1-score是对召回率和精确率的调和平均数，F1-score越高，模型越好。
本发明第二目的是提供一种基于纵向联邦学习的航班延误预测系统，所述系统包括：
联邦数据预处理层，集中式建模采用不同的机场对各自的航班信息数据进行单独处理，不同的机场有不同的处理方法和标准。在联邦学习应用场景下，为保证各自构建的特征数据能够正常训练，使用统一的数据预处理标准，使各机场按照该标准对数据进行清洗。通过对数据进行数据清洗、数据融合、One-Hot编码和散列程度处理提高系统的预测准确率。
加密实体对齐层，参与系统的所有参与方中寻找数据样本的公共集合，可以通过基于加密的数据库交集算法进行样本对齐。
加密模型训练齐层，各自的敏感数据存储在本地。同时，为了防止第三方从机场方和航空公司方学习到相关模型信息而泄露隐私，将加密的梯度信息加上加密的随机掩码,掩藏矩阵能保证随机性和安全性。
输出层，任何一方接收到的关于其他方的唯一私有信息都是基于同态加密方法得到的，每一方对其他方的数据结构是未知的，并且只能获得自己持有的特征相关的模型参数。
本发明的第三个目的是提供一种信息数据处理终端，用于实现上述基于纵向联邦学习的航班延误预测方法。
本发明的第四目的是提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述基于纵向联邦学习的航班延误预测方法。
本发明具有的优点和积极效果是：
通过采用上述技术方案，本发明通过航空公司提供的数据和五个关联机场数据并融合天气因素，部署单服务器-多客户端的架构，同时引入Paillier同态加密技术保证全局模型参数安全，使多源异构的参与方在不泄露底层敏感数据的前提下协同训练一个联合模型。本发明提供的技术方案，在数据传输过程中，传输的都是加密数据，并且在模型训练过程中采用的模型和参数也是经过同态加密的，进一步保障数据安全，系统生产的模型可以被安全的部署到生产中。本发明为航班延误预测中的数据隐私保护提供一种新的方案。
附图说明
图1为本发明实施例提供的航班延误预测层次架构图；
图2为本发明实施例提供的特征相关程度热图；
图3为本发明实施例提供的到达延迟时长和出发延迟时长之间的关系；
图4为本发明实施例提供的飞行距离和到达延误时间之间的关系；
图5为本发明实施例提供的迭代次数的优化；
图6为本发明实施例提供的Recall1曲线变化图；
图7为本发明实施例ROC曲线对比图。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下：
联邦学习：联邦学习旨在建立一个基于分布数据集的联邦学习模型。联邦学习包括两个过程，分别是模型训练和模型推理。在模型训练过程中，模型的相关信息能够在各方之间以加密的形式交换，但数据不能。已训练好的联邦学习模型可以置于联邦学习系统的各参与方，也可以在多方之间共享。
纵向联邦学习：联合多个参与者的具有相同样本的不同特征进行联邦学习。
Paillier同态加密算法：Paillier在1999年提出一种可证的安全加密系统，该技术允许在无需解密的前提下对密文进行加法运算,能够计算其没有明文访问权限的数据，为多方间信息或知识共享提供高级别的安全性，从而保护每一方的数据隐私和模型的安全。通过这种方式实现计算数据的任意复杂函数。
密钥生成(pk,sk)←keyGen(·)。随机选择两个大素数p，q满足gcd(pq,(p-1),(q-1))＝1,计算n＝pq和λ＝lcm(p-1,q-1)其中，lcm表示最小公倍数，|n|为n的比特长度。随机选择
Figure BDA0003572880560000051
定义
Figure BDA0003572880560000052
计算μ＝(L(gλmod n2))-1mod n,公钥pk:(n,g),私钥sk:(λ,μ)。
加密算法c←Enc(pk,m)。输入明文消息m，0≤m<n。选取随机数r满足0≤r<n且r∈zn +。计算密文c＝gmrn mod n2。
解密算法Dec(sk,c)。输入密文c，满足
Figure BDA0003572880560000061
计算明文消息m＝L(cλmod n2)·μmodn。
加法同态加密运算。对于明文空间中任意两个元素u,v，其加密结果分别为[[u]],[[v]]。满足Dec([[u]]+[[v]])＝Dec([[u+v]])＝u+v。
如图1至图7所示，本发明的技术方案为：
一种基于纵向联邦学习的航班延误预测方法，包括：
联邦数据预处理，集中式建模采用不同的机场对各自的航班信息数据进行单独处理，不同的机场有不同的处理方法和标准。在联邦学习应用场景下，为保证各自构建的特征数据能够正常训练，使用统一的数据预处理标准，使各机场按照该标准对数据进行清洗。①缺失值的处理。航班延误预测数据集包括航班的基本信息和延误因素等重要信息，但是，部分数据的缺失可能影响特征提取和模型训练。针对缺失程度和特征影响程度，可以分为不同的处理方式。对于缺失数量大于总数量的一半的属性，采用拉格朗日中值填充法。对于延误时间等重要的数据特征，可以采用精准填充方法。对于无法填充的异常数据和缺失数据可以采用零填充。②数据融合。为了使预测结果更加准确，将天气数据和机场数据进行融合，筛选出天气数据中对应出发机场和到达机场的天气情况与对应机场拼接。③One-Hot编码。一些属性表示不同类别的离散值，需要转换这些属性提取适合联邦学习算法的特征。比如出发机场ID10397可以用00001表示。④散列程度。为了减小离散值，将机场风速根据大小划分空间分为8个等级，将机场的降水量划分为6个等级。这样就把航班延误预测问题退化为一个二分类问题。
加密实体对齐，由于机场和航空公司所拥有的实体和特征不同，需使用一种基于非对称加密RSA算法和哈希函数，在此过程由航空公司方产生公钥发送给机场方，这样可以去除第三方来求双方共有的数据交集航班号ID。
加密模型训练，在确定共有的实体ID后，机场和航空公司可以利用这些共有的实体数据协同训练一个机器学习模型。训练过程如下：
步骤1协调者生成密钥对，并将公钥分别发送给机场和航空公司。
步骤2机场和航空公司以加密的方式交换中间参数。中间参数用于计算梯度和损失函数值。
步骤3机场和航空公司计算梯度值并加密，机场方作为主动方计算加密损失函数值，双方将加密结果分别发送给协调者。
步骤4协调者利用私钥对双方传来的加密数据解密，并将结果返回给机场和航空公司。双方根据返回的梯度信息来更新模型参数。对本地的数据进行更新和分类，为航班延误预测做出依据。
输出，采用部分指标作为航班延误预测模型性能的评估，准确率(Accuracy，ACC)所述准确率指的是所有预测结果为正确的占总的航班数的比例；作为最直观的衡量指标，用来衡量预测延误与否结果正确的航班数占总航班数的百分比，代表整体分类的准确性，选取准确率作为评估指标之一。由于数据集是关于航班延误预测，具有很大的有偏性，即延误与不延误比例不平衡，仅选取准确率有时候会产生机器欺骗，使预测指标变得没有意义。因此引入召回率(Recall)、F1-score很有必要。召回率Recall代表对于发生延误航班情况的预测结果正确的航班数量占总延误航班数的百分比；F1-score是对召回率和精确率的调和平均数，F1-score越高，模型越好。
结合航班延误层次架构模型，算法的详细设计主要是隐私保护的逻辑回归算法，其包括采用Paillier同态加密算法及其对梯度进行加密计算和隐私保护的训练过程。在纵向联邦学习框架中，两个参与方分别是机场和航空公司，设机场的训练数据集{XAPi,y}＝{XAP1,XAP2,XAP3,…,XAPn,y},航空公司数据集{XDLi}＝{XDL1,XDL2,XDL3,...,XDLn}，其中n表示双方包含的特征个数，机场数据{XAPi,y}包括延误与否作为y标签，y∈(0,1)0代表没有延误，1代表发生延误。通过学习到的模型训练出一组参数,使得样本映射到(0,1)。
定义1主动方：数据的提供方，拥有训练特征和标签数据。
定义2被动方：数据的提供方，只提供训练特征，没有样本标签。
定义3协调方：在联邦学习参与方训练过程起辅助协调的作用，辅助多方完成联合建模，用来聚合梯度或者模型，可以为机构或组织。
本发明将航班延误与否视为二分类问题，所以输出结果为两个值，并利用Logistic函数将产生的预测值映射到0～1之间
Figure BDA0003572880560000071
表示要学习的权重参数，b表示偏差，gω,b(x)≥0.5时标签为1，gω,b(x)≤0.5时标签为0。
纵向联邦学习将不同参与方的特征加密聚合，由此推断基于纵向联邦学习框架的逻辑回归算法损失函数
Figure BDA0003572880560000072
在每一个训练轮次中，参与方从第三方服务器上下载全局模型，在本地进行计算更新梯度，上传至服务器。第三方服务器进行更新判断模型是否收敛。在这期间，敌手利用模型梯度信息，观察到权重的更新推理出参与方的数据信息。
表1总结了基于纵向联邦学习的安全逻辑回归模型的训练步骤。在加密样本对齐阶段和安全的模型训练过程中，各自的敏感数据存储在本地。同时，为了防止第三方从机场方和航空公司方学习到相关模型信息而泄露隐私，将加密的梯度信息加上加密的随机掩码,掩藏矩阵能保证随机性和安全性。
训练结束时，任何一方接收到的关于其他方的唯一私有信息都是基于同态加密方法得到的，每一方对其他方的数据结构是未知的，并且只能获得自己持有的特征相关的模型参数。在不受隐私保护的前提下，表1中的训练过程对损失函数和梯度的计算结果与集中式建模方式所得到结果相同。因此，联合建模方式是无损的，最佳性能也得到保证。
表1.隐私保护模型训练过程
Figure BDA0003572880560000081
Figure BDA0003572880560000091
实验环境及数据
开发语言：python操作系统：Ubuntu运行内存：8G硬盘空间：40G处理器：Inter(R)Core(TM)i5-3407 CPU@3.2HZ。
要对所提出的模型进行无偏评估，将模型的训练数据分成两部分，即训练集和测试集。训练集用来对模型参数进行拟合，测试集用来把训练好的模型进行评估模型性能。训练集和测试集以8：2的比例进行划分。前9547条作为训练集数据，后1685条作为测试集数据。根据上面提出的航空公司数据和机场数据的特征作为预测建模的输入，机场每天的航班延误情况作为基于原始数据计算的标签。
在航班延误预测模型中有很多指标可以被选取作为模型性能的评估，准确率(Accuracy，ACC)作为最直观的衡量指标，用来衡量预测延误与否结果正确的航班数占总航班数的百分比，代表整体分类的准确性，选取准确率作为评估指标之一。由于数据集是关于航班延误预测，具有很大的有偏性，即延误与不延误比例不平衡，仅选取准确率有时候会产生机器欺骗，使预测指标变得没有意义。因此引入召回率(Recall)、F1-score很有必要。召回率Recall代表对于发生延误航班情况的预测结果正确的航班数量占总延误航班数的百分比；F1-score是对召回率和精确率的调和平均数，F1-score越高，模型越好。
在航班延误预测问题中需要增强对数据结构的理解和确定最能决定分类的特征值，以提高预测模型的准确率。利用Python实现数据可视化，使数据关系更加直观清晰。图2表示机场数据特征之间的相关系数，其中可以看出出发延误与到达延误相关程度系数为0.91，数值越大，表明二者之间具有很强的联系。图3显示了具体的出发延迟时长和到达延迟时长之间的强相关性。图4表示飞行距离和到达延误时间之间的关系散点图，可以直观的看出到1500英里的飞行距离以内延误时间大多不超过300分钟(正数大于15表示延误时长超过15分钟，负数表示提前到达，0表示准点到达)。
为了尽可能以低的计算成本实现理想的预测精度，需要在学习率、特征提取、迭代次数之间取得平衡。尤其是确定理想的迭代次数。如图5所示，随着迭代次数的增加，预测准确率逐渐上升，但是超过1100次预测精度降低，因此选择1100次迭代来训练理想模型。
对于每个本地客户端进行训练时，最大网速配置为10MB/s，用于模型上传和下载，权重衰减系数设置0.0001。学习率设为0.01，批处理大小设置为256，迭代次数为1100次。
实验结果对比分析
本发明将纵向联邦学习框架融合逻辑回归模型和将五个机场的数据和航空公司数据融合在一起的集中式建模逻辑回归模型和集中式建模XGBoost模型进行比较。对于模型的性能对比，即二元分类器在不同阈值上的诊断能力，选取ROC曲线下的面积。ROC曲线有助于理解跨不同阈值的True Positive Rate(TPR)和False Positive Rate(FPR)之间的权衡准确率ACC值随着阈值的变化，基本趋于一致达到96％，但是召回率Recall值随着阈值的变化，有明显改变。分别选取阈值为0.75，0.5，0.25时，召回率Recall变化曲线如图6所示,随着阈值的增大，到达延误预测召回率降低；当阈值减小时，不延误样本和延误样本的不均衡比例减小，模型性能得以进一步提高，也可以看出分类器的可扩展性。
ROC曲线能够尽量降低不平衡数据带来的干扰，更加客观地衡量模型本身的性能，ROC曲线图是真正例率(TPR,True Positive Rate)与反正例率(FPR,False PositiveRate)的关系图。但是对于两个ROC曲线相近的模型的比较单纯看曲线并不能明显的区分哪个模型好，AUC(Area Under Curve)代表ROC曲线下涵盖的面积值，位于0.1到1之间。可以更准确的评价分类器的好坏，值越大越好。三种方法的ROC曲线以及其AUC值的比较如图7所示，x轴为TPR表示真正例率，y轴为FPR表示反正例率，纵向联邦学习框架融合逻辑回归模型的AUC值为0.98，而集中式建模逻辑回归模型的AUC值为0.98，两者达到相同的性能,而集中式建模XGBoost模型的AUC值为0.70，说明对于本文做二值分类预测问题逻辑回归模型性能更好。
表2随机提取不同参与方对应数据集中2000、4000、5000、8000、9000、11232个样本分别实验，可得最后的航班延误预测平均准确率达到92.41％。随着样本数量的增加，航班延误预测准确率高达96.8％。
表2.预测准确率分析
Figure BDA0003572880560000101
Figure BDA0003572880560000111
准确率相比于集中式建模逻辑回归算法和集中式建模XGBoost算法[18]分别提升1.8％和11.8％。同时，纵向联邦学习框架也体现出了相比于集中式建模在隐私保护和学习能力上的优势。
不同模型的不同性能指标对比见表3。
表3.不同模型的不同性能指标对比
Figure BDA0003572880560000112
算法性能分析
加解密计算开销和通信开销。集中式建模中通信成本相对较小，计算成本占主导地位,而纵向联邦学习在通信成本占主导地位，通常会受到有限带宽的影响,模型的效率依赖于双方通信开销和数据加解密计算开销。在每一轮迭代中，双方传输的信息量随相同实体数量的增长而增加。在Paillier同态加密算法中一般设置默认参数q为127bit大素数，安全密钥大小为2048位。为了保证隐私数据不易被破解的前提下，可以将安全密钥大小设为1024位来达到安全和运算效率的平衡。在Inter(R)Core(TM)i5-3407 CPU@3.2HZ计算机上进行加解密计算时间分别为：
加密时间T_Enc,执行1000次耗时大约为19s。
解密时间T_Dec,执行1000次耗时大约为6s。
加法时间T_Add，执行1000次2个密文相加运算耗时大约为0.05s。
乘法时间T_Mul,执行1000次得到大约平均耗时0.85s。
在全局模型训练轮次中，每一个参与方都需要给协调方发送完整的模型参数更新，并且通信开销会随着参与方和迭代轮次的增加而增加。一个迭代过程中各开销的时间复杂度见表4。
表4.时间复杂度
开销类型 时间复杂度
加密计算 O(n×T_Enc)
解密计算 O(n×T_Dec)
机场方梯度计算 O(n×d<sub>AP</sub>×T_Mul)
航空公司方梯度计算 O(n×d<sub>DL</sub>×T_Mul)
损失函数计算 O(n×T_Mul)
通信开销为2(3×n×cs+cs)，其中n表示batch_size大小，dAP,dDL分别表示机场和航空公司的特征维数，cs表示一条密文大小。在批处理大小为256，密文大小为256b，一个迭代过程中通信开销大约为48k。
安全性。对敏感数据采用Paillier加法同态加密技术，表1中所采用的协议不会向协调方泄露任何信息，航空公司在每一步都会学习它的梯度，但是根梯度公式可知，航空公司方并不能学习到机场方的任何信息，根据标量积协议(Scalar product protocol)的安全性建立在只要样本数量远远大于特征数量就无法解出任何信息。同理，机场方也不能学习到航空公司方的任何信息。由此可以证明该协议的安全性。
一种基于联邦学习的航班延误预测系统，包括：
联邦数据预处理层，集中式建模采用不同的机场对各自的航班信息数据进行单独处理，不同的机场有不同的处理方法和标准。在联邦学习应用场景下，为保证各自构建的特征数据能够正常训练，使用统一的数据预处理标准，使各机场按照该标准对数据进行清洗。通过对数据进行数据清洗、数据融合、One-Hot编码和散列程度处理提高系统的预测准确率。
加密实体对齐层，参与系统的所有参与方中寻找数据样本的公共集合，可以通过基于加密的数据库交集算法进行样本对齐。
加密模型训练齐层，各自的敏感数据存储在本地。同时，为了防止第三方从机场方和航空公司方学习到相关模型信息而泄露隐私，将加密的梯度信息加上加密的随机掩码,掩藏矩阵能保证随机性和安全性。
输出层，任何一方接收到的关于其他方的唯一私有信息都是基于同态加密方法得到的，每一方对其他方的数据结构是未知的，并且只能获得自己持有的特征相关的模型参数。
以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (10)

1.一种基于纵向联邦学习的航班延误预测方法，其特征在于，包括：
联邦数据预处理，在联邦学习应用场景下，使用统一的数据预处理标准，各机场按照所述数据预处理标准对数据进行清洗；
加密实体对齐阶段，使用一种基于非对称加密RSA算法和哈希函数，在此过程由航空公司方产生公钥发送给机场方，去除第三方来求双方共有的数据交集航班号ID；
加密模型训练，确定共有的实体ID后，机场和航空公司利用这些共有的实体数据协同训练一个机器学习模型；选择纵向联邦学习框架融合逻辑回归算法来进行航班延误预测；
输出，采用部分指标作为航班延误预测模型性能的评估；具体包括：
选取准确率作为评估指标之一；所述准确率指的是所有预测结果为正确的占总的航班数的比例；
引入召回率和F1-score；所述召回率代表对于发生延误航班情况的预测结果正确的航班数量占总延误航班数的百分比；F1-score是对召回率和精确率的调和平均数，F1-score越高，模型越好。
2.根据权利要求1所述的基于纵向联邦学习的航班延误预测方法，其特征在于，在所述联邦数据预处理中，选取机场和航空公司的数据进行如下联邦预处理：
①缺失值的处理，航班延误预测数据集包括航班的基本信息和延误因素信息，部分数据的缺失可能影响特征提取和模型训练，针对缺失程度和特征影响程度，分为不同的处理方式；对于缺失数量大于总数量的一半的属性，采用拉格朗日中值填充法；对于缺失数据特征为延误与否标签及延误时间重要数据，采用精准填充方法；对于无法填充的异常数据和缺失数据采用零填充；
②数据融合，将天气数据和机场数据进行融合，筛选出天气数据中对应出发机场和到达机场的天气情况与对应机场拼接；
③One-Hot编码，部分属性表示不同类别的离散值，需要转换这些属性提取适合联邦学习算法的特征；
④散列程度，为了减小离散值，将机场风速根据大小划分空间分为8个等级，将机场的降水量划分为6个等级，把航班延误预测问题退化为一个二分类问题。
3.根据权利要求1所述的基于纵向联邦学习的航班延误预测方法，其特征在于，模型的加密训练方法为：
步骤1、协调者生成密钥对，并将公钥分别发送给机场和航空公司；
步骤2、机场和航空公司以加密的方式交换中间参数，中间参数用于计算梯度和损失函数值；
步骤3、机场和航空公司计算梯度值并加密，机场方作为主动方计算加密损失函数值，双方将加密结果分别发送给协调者；
步骤4、协调者利用私钥对双方传来的加密数据解密，并将结果返回给机场和航空公司；双方根据返回的梯度信息来更新模型参数；对本地的数据进行更新和分类，为航班延误预测做出依据。
4.根据权利要求1所述的基于纵向联邦学习的航班延误预测方法，其特征在于，联邦学习参与方的训练数据有重叠的数据样本，即参与方之间的数据样本是对齐的，但在数据特征上不同。
5.一种基于纵向联邦学习的航班延误预测系统，其特征在于，包括：
联邦数据预处理层，在联邦学习应用场景下，使用统一的数据预处理标准，各机场按照所述数据预处理标准对数据进行清洗；
加密实体对齐阶段单元，使用一种基于非对称加密RSA算法和哈希函数，在此过程由航空公司方产生公钥发送给机场方，去除第三方来求双方共有的数据交集航班号ID；
加密模型训练齐层，确定共有的实体ID后，机场和航空公司利用这些共有的实体数据协同训练一个机器学习模型；选择纵向联邦学习框架融合逻辑回归算法来进行航班延误预测；
输出层，采用部分指标作为航班延误预测模型性能的评估；具体包括：
选取准确率作为评估指标之一；所述准确率指的是所有预测结果为正确的占总的航班数的比例；
引入召回率和F1-score；所述召回率代表对于发生延误航班情况的预测结果正确的航班数量占总延误航班数的百分比；F1-score是对召回率和精确率的调和平均数，F1-score越高，模型越好。
6.根据权利要求5所述的基于纵向联邦学习的航班延误预测系统，其特征在于，在所述联邦数据预处理层中，选取机场和航空公司的数据进行如下联邦预处理：
①缺失值的处理，航班延误预测数据集包括航班的基本信息和延误因素信息，部分数据的缺失可能影响特征提取和模型训练，针对缺失程度和特征影响程度，分为不同的处理方式；对于缺失数量大于总数量的一半的属性，采用拉格朗日中值填充法；对于缺失数据特征为延误与否标签及延误时间重要数据，采用精准填充方法；对于无法填充的异常数据和缺失数据采用零填充；
②数据融合，将天气数据和机场数据进行融合，筛选出天气数据中对应出发机场和到达机场的天气情况与对应机场拼接；
③One-Hot编码，部分属性表示不同类别的离散值，需要转换这些属性提取适合联邦学习算法的特征；
④散列程度，为了减小离散值，将机场风速根据大小划分空间分为8个等级，将机场的降水量划分为6个等级，把航班延误预测问题退化为一个二分类问题。
7.根据权利要求5所述的基于纵向联邦学习的航班延误预测系统，其特征在于，模型的加密训练方法为：
步骤1、协调者生成密钥对，并将公钥分别发送给机场和航空公司；
步骤2、机场和航空公司以加密的方式交换中间参数，中间参数用于计算梯度和损失函数值；
步骤3、机场和航空公司计算梯度值并加密，机场方作为主动方计算加密损失函数值，双方将加密结果分别发送给协调者；
步骤4、协调者利用私钥对双方传来的加密数据解密，并将结果返回给机场和航空公司；双方根据返回的梯度信息来更新模型参数；对本地的数据进行更新和分类，为航班延误预测做出依据。
8.根据权利要求5所述的基于纵向联邦学习的航班延误预测系统，其特征在于，联邦学习参与方的训练数据有重叠的数据样本，即参与方之间的数据样本是对齐的，但在数据特征上不同。
9.一种信息数据处理终端，其特征在于，用于实现权利要求1至4任一项所述基于纵向联邦学习的航班延误预测方法。
10.一种计算机可读存储介质，其特征在于，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至4任一项所述基于纵向联邦学习的航班延误预测方法。
CN202210330657.9A 2022-03-30 2022-03-30 一种基于纵向联邦学习的航班延误预测方法及系统 Active CN114707720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210330657.9A CN114707720B (zh) 2022-03-30 2022-03-30 一种基于纵向联邦学习的航班延误预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210330657.9A CN114707720B (zh) 2022-03-30 2022-03-30 一种基于纵向联邦学习的航班延误预测方法及系统

Publications (2)

Publication Number Publication Date
CN114707720A true CN114707720A (zh) 2022-07-05
CN114707720B CN114707720B (zh) 2024-07-02

Family

ID=82171310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210330657.9A Active CN114707720B (zh) 2022-03-30 2022-03-30 一种基于纵向联邦学习的航班延误预测方法及系统

Country Status (1)

Country Link
CN (1) CN114707720B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116092683A (zh) * 2023-04-12 2023-05-09 深圳达实旗云健康科技有限公司 一种原始数据不出域的跨医疗机构疾病预测方法
CN116468186A (zh) * 2023-06-14 2023-07-21 中国民航大学 一种航班链延误时间预测方法、电子设备及存储介质
CN116882571A (zh) * 2023-07-12 2023-10-13 南京邮电大学 一种基于安全纵向联邦回归模型的烟草销售违规信息预测方法
CN117540821A (zh) * 2023-10-20 2024-02-09 上海零数众合信息科技有限公司 一种发起方仅有id的联邦建模方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150356458A1 (en) * 2014-06-10 2015-12-10 Jose Oriol Lopez Berengueres Method And System For Forecasting Future Events
US20200034665A1 (en) * 2018-07-30 2020-01-30 DataRobot, Inc. Determining validity of machine learning algorithms for datasets
CN111161566A (zh) * 2019-12-30 2020-05-15 携程旅游网络技术（上海）有限公司 航班延误预警方法、系统、电子设备和介质
US20200202723A1 (en) * 2018-12-20 2020-06-25 Thales Machine learning in avionics
CN112836865A (zh) * 2021-01-19 2021-05-25 南京邮电大学 一种基于联邦学习的机场飞机流量异步预测方法
CN113112032A (zh) * 2021-04-16 2021-07-13 中国民航大学 基于联邦学习的航班延误预测系统及方法
CN113962286A (zh) * 2021-09-17 2022-01-21 华东师范大学 一种基于分段函数的去中心化逻辑回归分类预测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150356458A1 (en) * 2014-06-10 2015-12-10 Jose Oriol Lopez Berengueres Method And System For Forecasting Future Events
US20200034665A1 (en) * 2018-07-30 2020-01-30 DataRobot, Inc. Determining validity of machine learning algorithms for datasets
US20200202723A1 (en) * 2018-12-20 2020-06-25 Thales Machine learning in avionics
CN111161566A (zh) * 2019-12-30 2020-05-15 携程旅游网络技术（上海）有限公司 航班延误预警方法、系统、电子设备和介质
CN112836865A (zh) * 2021-01-19 2021-05-25 南京邮电大学 一种基于联邦学习的机场飞机流量异步预测方法
CN113112032A (zh) * 2021-04-16 2021-07-13 中国民航大学 基于联邦学习的航班延误预测系统及方法
CN113962286A (zh) * 2021-09-17 2022-01-21 华东师范大学 一种基于分段函数的去中心化逻辑回归分类预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
何洋;朱金福;周秦炎;: "基于支持向量机回归的机场航班延误预测", 中国民航大学学报, no. 01, 15 February 2018 (2018-02-15) *
李国: "基于纵向联邦学习的航班延误预测", 计算机工程与设计, vol. 44, no. 5, 31 May 2023 (2023-05-31) *
陈涛;郭睿;刘志强;: "面向大数据隐私保护的联邦学习算法航空应用模型研究", 信息安全与通信保密, no. 09, 10 September 2020 (2020-09-10) *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116092683A (zh) * 2023-04-12 2023-05-09 深圳达实旗云健康科技有限公司 一种原始数据不出域的跨医疗机构疾病预测方法
CN116468186A (zh) * 2023-06-14 2023-07-21 中国民航大学 一种航班链延误时间预测方法、电子设备及存储介质
CN116468186B (zh) * 2023-06-14 2023-08-25 中国民航大学 一种航班链延误时间预测方法、电子设备及存储介质
CN116882571A (zh) * 2023-07-12 2023-10-13 南京邮电大学 一种基于安全纵向联邦回归模型的烟草销售违规信息预测方法
CN116882571B (zh) * 2023-07-12 2023-12-12 南京邮电大学 一种基于安全纵向联邦回归模型的烟草销售违规信息预测方法
CN117540821A (zh) * 2023-10-20 2024-02-09 上海零数众合信息科技有限公司 一种发起方仅有id的联邦建模方法及系统
CN117540821B (zh) * 2023-10-20 2024-08-06 上海零数众合信息科技有限公司 一种发起方仅有id的风机轴承故障检测方法及系统

Also Published As

Publication number Publication date
CN114707720B (zh) 2024-07-02

Similar Documents

Publication Publication Date Title
CN114707720B (zh) 一种基于纵向联邦学习的航班延误预测方法及系统
CN112348204B (zh) 一种基于联邦学习和区块链技术的边缘计算框架下海洋物联网数据安全共享方法
Fuse et al. Statistical anomaly detection in human dynamics monitoring using a hierarchical dirichlet process hidden markov model
WO2023109059A1 (zh) 确定融合参数的方法、信息推荐方法和模型训练方法
CN113112032A (zh) 基于联邦学习的航班延误预测系统及方法
Xu et al. A time-efficient data offloading method with privacy preservation for intelligent sensors in edge computing
CN111563267B (zh) 用于联邦特征工程数据处理的方法和装置
Moudoud et al. Towards a secure and reliable federated learning using blockchain
CN112039702B (zh) 基于联邦学习和相互学习的模型参数训练方法及装置
CN105553869A (zh) 一种电力通信网的风险均衡方法及系统
CN115208604B (zh) 一种ami网络入侵检测的方法、装置及介质
CN115563859A (zh) 一种基于分层联邦学习的电力负荷预测方法、装置及介质
Sasirekha et al. Heterogeneous wireless network vertical handoff decision using hybrid multi-criteria decision-making technique
CN114611008A (zh) 基于联邦学习的用户服务策略确定方法、装置及电子设备
Nunes et al. The elimination-selection based algorithm for efficient resource discovery in Internet of Things environments
CN113298121A (zh) 基于多数据源建模的消息发送方法、装置和电子设备
Zhou et al. Securing federated learning enabled NWDAF architecture with partial homomorphic encryption
CN114301935A (zh) 一种基于声誉的物联网边云协同联邦学习节点选择方法
Akbar et al. A multicriteria decision making taxonomy of IoT security challenging factors
Saad et al. A trust and explainable federated deep learning framework in zero touch b5g networks
Wu et al. Vehicle-based secure location clustering for IoT-equipped building and facility management in smart city
Alzubi et al. EdgeFNF: Toward Real-time Fake News Detection on Mobile Edge Computing
CN103124262B (zh) 一种新的基于多路径传播的信任值推荐方法
CN104392373A (zh) 云计算环境中基于关键历史行为的交互决策方法
Selvarajan et al. Secured 6G Communication for Consumer Electronics With Advanced Artificial Intelligence Algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant