CN118098024A - 基于大数据航空互联网航班流量及带宽监控方法和装置 - Google Patents
基于大数据航空互联网航班流量及带宽监控方法和装置 Download PDFInfo
- Publication number
- CN118098024A CN118098024A CN202410372800.XA CN202410372800A CN118098024A CN 118098024 A CN118098024 A CN 118098024A CN 202410372800 A CN202410372800 A CN 202410372800A CN 118098024 A CN118098024 A CN 118098024A
- Authority
- CN
- China
- Prior art keywords
- data
- flight
- bandwidth
- analysis
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012544 monitoring process Methods 0.000 title claims abstract description 31
- 238000004458 analytical method Methods 0.000 claims abstract description 52
- 230000002159 abnormal effect Effects 0.000 claims abstract description 38
- 238000012300 Sequence Analysis Methods 0.000 claims abstract description 19
- 238000004140 cleaning Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 230000010006 flight Effects 0.000 claims description 23
- 230000005856 abnormality Effects 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 11
- 238000012098 association analyses Methods 0.000 claims description 5
- 238000007621 cluster analysis Methods 0.000 claims description 5
- 238000012806 monitoring device Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 abstract description 6
- 230000001932 seasonal effect Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000013480 data collection Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000000737 periodic effect Effects 0.000 description 6
- 238000013468 resource allocation Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 238000005065 mining Methods 0.000 description 5
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 4
- 238000010219 correlation analysis Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000001364 causal effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000011985 exploratory data analysis Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000012502 risk assessment Methods 0.000 description 2
- 238000012731 temporal analysis Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000000700 time series analysis Methods 0.000 description 2
- 241000728173 Sarima Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012097 association analysis method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000546 chi-square test Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请涉及一种基于大数据航空互联网航班流量及带宽监控方法、装置和电子设备,包括获取航班的实时网络数据,将所述实时网络数据进行数据清洗,得到可用于分析的数据集,利用时间序列分析与预测计算模型对所述数据集进行预测分析,识别航班流量模式以及预测带宽需求和异常情况。通过该方法,对实时网络数据采集和处理,能够及时获取并分析空中交通流量和网络使用情况,可以提前预估航班流量、带宽需求趋势以及潜在的瓶颈问题,为资源调度和优化提供依据。
Description
技术领域
本申请涉及航空互联网技术领域,尤其涉及一种基于大数据航空互联网航班流量及带宽监控方法、装置和电子设备。
背景技术
随着民航业的发展,越来越多的人选择搭乘飞机出行,人们对机上网络的需求也越来越大,例如在长途的航线上,机上旅客希望通过使用网络流量进行娱乐,或在工作需要的情况下,能够在机上进行办公。然而在航班上的流量和带宽具有不稳定性,大部分旅客难以享受到稳定、流畅的互联网服务,并且无法立即检测航班流量及带宽异常的原因,进而无法及时调度航班流量和带宽资源,即使解决了航班流量及带宽异常的情况,通常已耗费大量时间,容易造成机上旅客的不适体验,由此需要监控航空互联网的变化情况,以迅速做出应对决策,确保机上旅客在飞行过程中享受到稳定、流畅的互联网服务。
发明内容
有鉴于此,本申请提出了一种基于大数据航空互联网航班流量及带宽监控方法,以解决上述背景技术所体现的问题。
根据本申请的一方面,提供了一种基于大数据航空互联网航班流量及带宽监控方法,包括:
获取航班的实时网络数据;
将所述实时网络数据进行数据清洗,得到可用于分析的数据集;
利用时间序列分析与预测计算模型对所述数据集进行预测分析,识别航班流量模式以及预测带宽需求和异常情况。
作为本申请的一种可选实施方案,将所述实时网络数据进行数据清洗,得到可用于分析的数据集,包括:
获取所述实时网络数据中各变量的逻辑关系;
根据所述逻辑关系将包含预设关键变量或字段的所述实时数据进行统一格式处理,得到可用于分析的数据集。
作为本申请的一种可选实施方案,识别航班流量模式,以及预测预设航线或时段的带宽需求,包括:
利用时间序列分析与预测计算模型对所述数据集进行时序特征分析,得到时序特征流量数据;
将所述时序特征流量数据进行聚类分析,得到分析结果;
根据所述分析结果识别航班流量模式以及预测带宽需求和异常情况。
作为本申请的一种可选实施方案,所述预测带宽需求包括预测预设航线带宽需求或预设时段带宽需求。
作为本申请的一种可选实施方案,所述航班流量模式包括时间流量模式和航线流量模式。
作为本申请的一种可选实施方案,还包括:
获取航班参数;
根据所述航班参数对所述数据集进行关联分析,得到航班参数与带宽消耗关系;
根据所述航班参数与带宽消耗关系预测带宽需求。
作为本申请的一种可选实施方案,还包括:
利用异常检测算法监测所述实时网络数据是否存在异常;
当存在异常时,发出预警信号。
作为本申请的一种可选实施方案,发出预警信号时,采用动态分配方式调整带宽资源和流量资源。
本申请还提供了一种基于大数据航空互联网航班流量及带宽监控装置,包括:
获取数据模块,用于获取航班的实时网络数据;
数据清洗模块,用于将所述实时网络数据进行数据清洗,得到可用于分析的数据集;
分析数据模块,用于利用时间序列分析与预测计算模型对所述数据集进行预测分析,识别航班流量模式以及预测带宽需求和异常情况。
本申请还提供了一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述可执行指令时实现上述所述的基于大数据航空互联网航班流量及带宽监控方法。
本申请的有益效果:
本发明通过获取航班的实时网络数据,将所述实时网络数据进行数据清洗,得到可用于分析的数据集,利用时间序列分析与预测计算模型对所述数据集进行预测分析。识别航班流量模式以及预测带宽需求和异常情况,能够及时获取并分析航班流量和带宽的使用情况,能迅速发现异常流量或带宽问题,根据数据分析结果合理规划航线、配置网络资源,有效防止系统过载,且避免过度投资的同时满足旅客日益增长的机上互联网需求,降低运营成本。
根据下面参考附图对示例性实施例的详细说明,本申请的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面,并且用于解释本申请的原理。
图1示出本申请实施例的基于大数据航空互联网航班流量及带宽监控方法的流程图;
图2示出本申请实施例的基于大数据航空互联网航班流量及带宽监控装置框图。
具体实施方式
以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
其中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请或简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本申请,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本申请同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本申请的主旨。
带宽最初指的是电磁波频带的宽度,也就是信号的最高频率与最低频率的差值,现一般用于描述网络或线路理论上传输数据的最高速率。
流量是指在计算机网络中数据的传输量,通常是在一段时间内通过网络的数据包的数量或大小。它可以作为一种指标,用于衡量网络的使用情况和负载。
实施例1
图1示出根据本申请一实施例的基于大数据航空互联网航班流量及带宽监控方法的流程图。通过该方法,监控航班流量和带宽的使用情况,根据使用情况及时作出调整,保证机上旅客正常使用网络服务。如图1所示,该流程图包括:
S100,获取航班的实时网络数据;
在本实施例中,从多种来源收集航班的实时网络数据,例如飞机通信寻址与报告系统(ACARS,Aircraft Communications Addressing and ReportingSystem)、卫星通信系统、机载网络设备日志、地面网络交换点等。
可以利用流处理框架Kafka实现实时网络数据摄取和初步处理,数据类型涵盖航班动态信息(如航路、高度、速度、位置等)、乘客使用机上Wi-Fi产生的带宽使用记录、设备性能指标等。
其中Kafka是一种分布式数据存储,经过优化以实时提取和处理流数据。流数据是指由数千个数据源持续生成的数据,通常可同时发送数据记录。流平台需要处理这些持续流入的数据,按照顺序逐步处理。
S200,将所述实时网络数据进行数据清洗,得到可用于分析的数据集;
收集到的实时网络数据并不能直接用于分析,需要进行数据清洗,进行转换和整合处理,筛选出具有完整性、准确无误、一致性、可解释性、格式规范、时效性、关联性的数据,通过筛选确保得到具有一定数据质量和代表性的数据集。
以上操作可以通过利用Hadoop、Spark建立处理海量实时网络数据流的大数据存储与计算平台完成。
其中Hadoop是一个开源的分布式计算和存储框架,庞大的计算机集群提供可靠的、可伸缩的应用层计算和存储支持,它允许使用简单的编程模型跨计算机群集分布式处理大型数据集,并且支持在单台计算机到几千台计算机之间进行扩展;Spark是专为大规模数据处理而设计的快速通用的计算引擎。
S300,利用时间序列分析与预测计算模型对所述数据集进行预测分析,识别航班流量模式以及预测带宽需求和异常情况。
应用机器学习算法建立模型,以识别航班流量模式、预测特定航线或时间段内的带宽需求,并分析异常情况。
作为本申请的一种可选实施方案,将所述实时网络数据进行数据清洗,得到可用于分析的数据集,包括:
获取所述实时网络数据中各变量的逻辑关系;
逻辑关系即各变量之间存在逻辑关联或者因果关系,能够反映出问题的本质特征。
根据所述逻辑关系将包含预设关键变量或字段的所述实时数据进行统一格式处理,得到可用于分析的数据集。
统一格式处理包括数据的完整性、准确无误、一致性、可解释性、格式规范、时效性。
完整性即应当包含完成分析所需的所有关键变量或字段,确保根据逻辑关系分析网络数据的结果的全面性和准确性。
准确无误即去除重复数据、错误数据(如无效、缺失或异常值)以及明显的数据录入错误,去除完毕后,检测数据类型是否正确,比如日期字段应是日期格式,数值字段没有被错误地记录卫文本等。
一致性即对于跨多个来源的实时网络数据,需要进行整合并保证数据的一致性,例如统一时间格式、单位、编码标准等。
可解释性即确保每个数据点都有清晰的定义和来源,能够明确知道每个变量代表什么含义,用于解读分析结果。
格式规范即利用数据结构化程度高便于数据分析的特点,在转化为表格形式时,规定列代表变量,行代表观测值。
时效性即对于依赖于时间序列分析或实时决策的问题,数据需要具有足够的时效性,即数据是最近或指定时间段内的有效数据。
作为本申请的一种可选实施方案,识别航班流量模式,以及预测预设航线或时段的带宽需求,包括:
利用时间序列分析与预测计算模型对所述数据集进行时序特征分析,得到时序特征流量数据;
在本实施例中,通过采用自回归移动平均模型(Autoregressive IntegratedMoving Average Model,ARIMA)或季节性自回归整合移动平均模型(SeasonAutoregressive Integrated Moving Average Model,SARIMA)分析数据集预测未来某个时间段内的航班流量和带宽使用趋势。
还可以采用长短期记忆网络(LSTM,Long Short-Term Memory)的深度学习方法,根据其适用于处理具有时序特征的数据的特点,用来预测航班流量高峰、低谷以及带宽需求的变化。
将所述时序特征流量数据进行聚类分析,得到分析结果;
通过使用K-means或DBSCAN(Density-Based Spatial Clustering ofApplications with Noise,基于密度的聚类算法)等聚类算法,区分出繁忙时段、节假日。
其中,K-means是常用的基于欧式距离的聚类算法,其认为两个目标的距离越近,相似度越大;DBSCAN算法可以找到样本点的全部密集区域,并把这些密集区域当做一个一个的聚类簇。
根据所述分析结果识别航班流量模式以及预测带宽需求和异常情况。
根据聚类分析的分析结果,识别航班流量模式以及预测带宽需求和异常情况,并据此优化资源分配。
通过利用时间序列分析和机器学习预测模型,可以提前预估航班流量、带宽需求趋势以及潜在的瓶颈问题,为资源调度和优化提供依据。
具体的,识别航班流量模式的过程包括以下步骤:数据收集与整理;时间序列分析;探索性数据分析;模式识别;特征提取;构建预测模型;验证与优化。
其中数据收集与整理步骤中,收集相关航班流量数据,相关航班流量数据包括但不限于航班起降时间、航班号、机型、目的地、载客量、实际起飞与降落时间等,对收集到的相关航班流量数据进行数据预处理,清洗无效或不准确的数据,填充缺失值,转换成适合分析的时间序列格式。
时间序列分析步骤中用于对数据进行初步可视化,查看整体趋势、周期性、季节性和随机波动。例如使用季节性分解方法(如STL),将时间序列拆分为趋势、季节性和残差三部分,以便了解每个组成部分对航班流量的影响。
探索性数据分析步骤中,包括分析航班流量随时间变化的规律,如是否存在明显的周几效应、节假日效应、季度效应等,还包括利用统计方法识别周期性模式,确定是否有稳定的周期性波动,如每天、每周、每年的规律性变化。
在模式识别步骤中,应用时间序列模型(如ARIMA、季节性ARIMA、状态空间模型等)拟合前述数据,找出潜在的自回归、移动平均以及季节性成分;利用聚类分析或其他机器学习方法识别不同的航班流量群体或模式,如早高峰、晚高峰、商务出行高峰、旅游出行高峰等。
特征提取步骤用于提取关键的航班流量特征,例如峰值时段、低谷时段、繁忙程度指标等。例如结合外部因素,如天气、政策、大型活动等分析其对航班流量模式的影响。
构建预测模型步骤中,基于上述多维度的分析,建立能够捕捉航班流量动态变化的预测模型,用于模拟未来流量分布。
验证与优化步骤中,使用交叉验证或其他验证方法评估模型的有效性和稳定性,进而调整模型参数,优化模型表现,提高对未来航班流量模式预测的准确性。
作为本申请的一种可选实施方案,所述预测带宽需求包括预测预设航线带宽需求或预设时段带宽需求。
预设航线带宽需求为繁忙国际航线上的宽体客机由于乘客众多,且可能有更多商务旅客需要在线工作,因此预测此类航线的带宽需求较高,比如可能需要支持上百名乘客同时浏览网页、视频会议、观看流媒体等,此时每架飞机的带宽需求可能高达几Gbps。
预设时段带宽需求为:在航班高峰时段(如上午和晚上),乘客活跃度较高,因此带宽需求可能相对较大;而在深夜航班,尽管乘客数量可能较少,但考虑到每位乘客可能更倾向于进行大流量操作(如下载电影),仍需合理规划带宽资源。
具体的,预测特定航线或时间段内的带宽需求的过程包括以下步骤:数据收集与预处理;航班流量与带宽关联分析;时间序列分析与预测;带宽需求预测模型构建;情景分析与风险评估;制定决策与优化资源配置。
其中数据收集与预处理中,包括以下子步骤:收集历史航班数据,包括航线、航班日期、航班时刻、航班载客量等基本信息;同时获取该航线在不同时段的网络使用数据,如Wi-Fi流量、应用使用情况等;清洗和整合数据,消除异常值,填补缺失值,转化为可用于分析的时间序列数据。
航班流量与带宽关联分析步骤用于根据历史数据,分析航班流量与带宽需求之间的关系,找出二者间的定量或定性联系。例如,航班载客量与每位乘客平均带宽消耗的关系、高峰期航班与非高峰期航班的带宽差异等。
时间序列分析与预测步骤用于将航班流量数据通过时间序列分析方法(如ARIMA、季节性ARIMA、LSTM等)进行建模,预测出特定航线在未来指定时间段内的航班流量,同样地,对历史带宽使用数据进行时间序列分析,寻找其中的趋势、季节性和周期性模式。
带宽需求预测模型构建步骤中包括以下子步骤:根据时间序列分析与预测步骤中的结果和航班流量与带宽关联分析的结果,构建带宽需求预测模型。模型可能包含航班流量、时间段、节假日、特殊事件等因素,以及反映乘客网络使用习惯的相关变量;训练并优化模型,确保其能够准确预测在给定航线和时间段内的带宽需求。
情景分析与风险评估步骤用于针对特殊情况,如重大活动、政策调整、技术升级等,进行情景分析,评估这些事件对带宽需求的影响,并将这些影响因素纳入带宽需求预测模型。
制定决策与优化资源配置步骤用于根据带宽需求预测模型的预测结果,制定合理的网络扩容计划和带宽资源配置方案,确保在特定航线和时间段内,网络服务质量和用户体验得到保障。
作为本申请的一种可选实施方案,所述航班流量模式包括时间流量模式和航线流量模式。
时间流量模式为包括季节性变化、周期性波动、特殊事件影响。其中季节性变化指的是不同季节(如旅游旺季与淡季),航班流量差异明显。周期性波动指的是每天的高峰时段(如早晚高峰期)、每周的工作日与周末差异、节假日前后的影响。特殊事件影响指的是大型活动、会议、节日等引起的临时性航班需求增加。
航线流量模式为包括主要航线流量和新兴航线趋势,其中主要航线流量指的是繁忙的商业航线或热门旅游目的地之间会有稳定的高流量。新兴航线趋势指的是随着市场需求的变化,新兴航线的流量增长。
除了以上的航班流量模式,还可以通过航空公司的市场占有率与航班频次确定航班流量模式,根据不同航空公司之间的市场份额分布,及其调整航班频次的策略确定对整体航班流量的影响。
作为本申请的一种可选实施方案,还包括:
获取航班参数;
航班参数包括航班载客量、舱位、航班时长、航线类型、航班时段、航班频率、乘客群体特征、技术配置、天气状况等。
根据所述航班参数对所述数据集进行关联分析,得到航班参数与带宽消耗关系;
根据以上航班参数分析数据集,例如根据航班载客量:机上旅客的数量会直接影响可能连接Wi-Fi的用户基数,进而影响带宽的整体消耗。
舱位:商务舱和头等舱乘客相较于经济舱乘客,可能更倾向于使用高带宽服务,如高清视频流、视频会议等。
航班时长:飞行时间越长,机上旅客使用娱乐系统和互联网服务的可能性越大,因此带宽需求持续时间也较长。
航班时段:白天航班与夜晚航班相比,机上旅客活动状态和上网需求可能有所不同,从而影响带宽消耗。
航班频率:频繁起降的航班意味着乘客上下机频率高,可能带来周期性的带宽使用高峰。
乘客群体特征:机上旅客年龄、职业等因素也可能影响带宽使用习惯,例如年轻人群体可能更热衷于社交媒体和在线游戏。
技术配置:飞机上Wi-Fi系统的性能和技术标准,包括所能提供的最高速率和并发用户数,决定了实际能够承载的带宽需求。
天气状况:极端天气可能导致更多机上旅客选择在飞机上度过时间,从而可能提高带宽消耗。通过使用Apriori或FP-Growth等关联规则挖掘算法,用于发现航班属性(如航线、机型、飞行时间等)与机上Wi-Fi使用量之间的关联规则,以便航空公司根据历史数据调整服务策略。
根据所述航班参数与带宽消耗关系预测带宽需求。
利用线性回归、决策树回归或梯度提升回归树(GBRT,Gradient BoostingRegression Trees)等,建立航班参数与带宽消耗之间的关系模型,从而精准预测特定条件下的带宽需求。
具体的,通过关联分析得到航班参数与带宽消耗关系的过程包括以下步骤:数据收集与预处理;特征选取;关联规则挖掘;相关性分析;模型构建与验证;结论与决策。
数据收集与预处理中包括:收集航班相关的详细数据,可将上述的航班参数作为航班相关的详细数据,可根据实际情况,调整需要收集的航班相关的详细数据;同时收集同一时期的带宽消耗数据,包括总体带宽用量、各航班Wi-Fi服务的使用情况等;对收集到的数据进行清晰、整合和格式化,删除无效值、填充缺失值、转化数据类型,得到适用于分析的数据。
特征选取步骤用于根据设定的业务理解和数据特点,提取出能与带宽消耗相关的航班参数作为分析特征,例如航班满载率、飞行时长、乘客平均在线时长、航班时段(早晚高峰还是平峰)等。
关联规则挖掘步骤用于使用关联分析方法,例如Apriori、FP-Growth等来挖掘不同航班参数与带宽消耗之间的关系规则,比如“如果航班满载率高于某一阈值,则带宽消耗较大”、“夜间航班的带宽消耗普遍较高”等;在这一步骤中,还可以包括寻找频繁项集、强关联规则,进一步的量化这些规则的支撑度、置信度等指标。
相关性分析步骤用于通过统计方法(如皮尔逊相关系数、斯皮尔曼等级相关、卡方检验等)或机器学习方法(如线性回归、决策树、神经网络等)分析各项参数与带宽消耗之间的相关性和强度;进一步)揭示哪些航班参数对带宽消耗的影响最大,以及它们之间可能存在的因果链或交互效应。
模型构建与验证步骤用于根据提取的分析特征、关联规则挖掘结果和相关性分析的结果,构建预测模型,模拟航班参数下不同因素组合下带宽消耗的变化情况,并使用交叉验证、A/B测试等方式验证模型的准确性和泛化能力。
结论与决策步骤用于基于模型输出的结果,制定针对航班带宽管理的优化策略,例如按航班特点动态分配带宽资源、预测并规避网络拥堵时段等;还可以通过将发现的关联规则和模式进行可视化,以便于决策者和管理人员理解和应用。
作为本申请的一种可选实施方案,还包括:
利用异常检测算法监测所述实时网络数据是否存在异常;
在预测可能发生的异常情况时,还可通过异常检测算法监测实时网络数据是否存在异常,可基于统计的方法如Z-score或基于机器学习的方法如One-Class SVM(单类SVM),用于实时监测空中航班网络带宽使用是否存在异常情况。其中z-score是比较测试结果与正常结果的一种方法;One Class SVM是一种无监督学习方法,用于识别正常和异常数据,通过最大化正样本与0点或超球体的距离来划分数据。
当存在异常时,发出预警信号。
在本实施例中,异常情况包括带宽拥堵,而带宽拥堵与以下因素有关网络利用率、延迟、丢包率、吞吐量下降、队列长度、缓冲区溢出、特定时段或特定应用的带宽激增。
其中网络利用率指的是网络带宽的使用率超过一定阈值,比如长期维持在80%或更高水平,意味着网络资源接近饱和,容易引发拥塞。
延迟指的是网络中的数据包传输延迟突然增加,这可能是由于网络节点队列过长,无法及时处理数据包所导致的。
丢包率指的是当网络开始丢弃数据包的比例上升,说明网络传输通道可能已超负荷,无法承载所有传输的数据。
吞吐量下降指的是在网络负载增加的情况下,如果整体网络的吞吐量反而降低,这通常表明出现了网络拥塞。
队列长度指的是核心路由器或交换机中数据包等待转发的队列长度超出正常范围,预示着网络处理能力不足以应对当前流量。
缓冲区溢出指的是网络设备的缓冲区空间耗尽,无法继续存储待转发的数据包,这是严重的网络拥塞表现之一。
特定时段或特定应用的带宽激增指的是如果某一特定时间段内或者某一特定应用(如视频会议、文件传输等)的带宽需求陡增,并导致其他服务受到影响,可能需要发出预警。
异常情况还包括突发事件、技术故障、新闻热点事件、网络安全攻击等。
突发事件例如飞机飞越海洋或偏远地区,地面基站覆盖不足,卫星通信成为唯一链路的情况,此时带宽需求虽然总量可能不变,但卫星带宽成本高昂,需要精确预测以优化资源分配。
技术故障例如通信设备故障可能导致剩余可用带宽减少,这时需启动备份方案,同时根据实际需求重新分配剩余带宽资源。
新闻热点事件例如出现重大新闻事件,全体乘客可能短时间内大量访问同一网站或服务,造成突发性的带宽峰值需求。
网络安全攻击例如恶意流量攻击会导致带宽消耗剧增,需要有安全策略和带宽冗余设计应对这种异常情况。
当出现以上异常情况时,采用智能预警机制,发出预警信号,自动通知相关运营部门进行决策调整。
具体的,当存在异常时,发出预警信号之前还包括以下步骤:定义异常;数据收集与预处理;基线建模;异常检测;深入分析异常原因;响应与对策制定。
定义异常:在本实施例中,在航班流量或带宽需求的背景下,异常情况可能是指流量突然大幅增加或减少、流量模式显著偏离历史常态、突发的大规模网络拥堵等不符合预期的行为。前述举例了部分异常情况。
数据收集与预处理步骤用于收集详细的历史数据,包括航班流量、带宽使用、网络性能指标等;之后对收集的数据进行清洗,去除无关项、错误数据和异常值,确保数据的质量和完整性。
基线建模步骤用于利用历史数据建立正常的航班流量模型或带宽需求模型,明确常态下的趋势、周期性和季节性变化;通过设定阈值,例如使用均值加减几倍标准差的方式,或是基于统计学的方法,如Z-score、箱型图等,来界定正常范围。
异常检测步骤中包括:实施实时或批处理监控,对比实际观测数据与基线模型,识别超出正常范围的点或段落;使用专门的异常检测算法,如基于统计的方法(如CUSUM、EWMA)、机器学习方法(如One-Class SVM、Isolation Forest)、时间序列异常检测(如Prophet with changepoint detection、Gaussian Mixture Models for anomalydetection in time series)等。
深入分析异常原因步骤中包括:对识别的异常情况进行细致分析,探究其背后的原因,可能包括临时性的事件(如突发天气、节假日、政策变动等)、系统故障、恶意攻击等;并结合其他相关数据源(如新闻报道、社交媒体反馈等)进行交叉验证,确认异常的真实性和严重程度。
响应与对策制定步骤用于根据异常分析结果,制定相应的应急响应策略,如临时增加带宽、优化网络资源分配、改进服务流程等,将异常分析结果和应急相应策略通过发出预警信号表示,决策者和管理者在接收到预警信号时,能够得知异常分析结果以及给出的应急相应策略,可根据实际情况对给出的应急相应策略进行调整。进一步的,将以上识别的异常情况以及对异常情况的分析反馈至正常的航班流量模型或带宽需求模型,不断迭代更新异常检测算法和该模型,提高未来对类似异常情况的识别能力和反应速度。
作为本申请的一种可选实施方案,还包括:发出预警信号时,采用动态分配方式调整带宽资源和流量资源。
在本实施例中,可利用动态分配算法,可根据实时流量负载动态调整每个飞机的通信带宽资源和流量资源,确保整体网络性能稳定。
通过以上对实时网络数据采集和处理,能够及时获取并分析空中交通流量和网络使用情况,提供精确、动态的数据支持,便于快速响应和决策;利用时间序列分析和机器学习预测模型,可以提前预估航班流量、带宽需求趋势以及潜在的瓶颈问题,为资源调度和优化提供依据;能够深入挖掘各类数据之间的关联关系,实现对航班流量、带宽分配等业务场景的精细化管理,提高服务质量和运营效率;异常检测算法能迅速发现异常流量或带宽问题,有效防止系统过载,确保服务质量,并在必要时启动应急预案;根据数据分析结果合理规划航线、配置网络资源,避免过度投资的同时满足旅客日益增长的机上互联网需求,降低运营成本;通过优化带宽分配策略,确保乘客在飞行过程中享受到稳定、流畅的互联网服务,从而提高客户满意度和品牌忠诚度;进一步的,大数据驱动的监测方法能够为航空公司、空管部门及政府机构提供全面详尽的信息,有助于科学决策和行业规范的建立完善。
实施例2
基于前述方法相同的原理,还提出一种基于大数据航空互联网航班流量及带宽监控装置,参见图2,本公开实施例的一种基于大数据航空互联网航班流量及带宽监控装置100包括:
110,获取数据模块,用于获取航班的实时网络数据;
120,数据清洗模块,用于将所述实时网络数据进行数据清洗,得到可用于分析的数据集;
130,分析数据模块,用于利用时间序列分析与预测计算模型对所述数据集进行预测分析,识别航班流量模式以及预测带宽需求和异常情况。
显然,本领域的技术人员应该明白,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成的,程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各控制方法的实施例的流程。上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成的,程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各控制方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)、随机存储记忆体(RandomAccessMemory,RAM)、快闪存储器(FlashMemory)、硬盘(HardDiskDrive,缩写:HDD)或固态硬盘(Solid-StateDrive,SSD)等;存储介质还可以包括上述种类的存储器的组合。
实施例3
更进一步的,提出一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述可执行指令时实现实施例1所述的基于大数据航空互联网航班流量及带宽监控方法。
本公开实施例的电子设备包括处理器以及用于存储处理器可执行指令的存储器。其中,处理器被配置为执行可执行指令时实现前面任一所述的基于大数据航空互联网航班流量及带宽监控方法。
需要说明的是,处理器的个数可以为一个或多个。同时,在本公开实施例的电子设备中,还可以包括输入装置和输出装置。其中,处理器、存储器、输入装置和输出装置之间可以通过总线连接,也可以通过其他方式连接,此处不进行具体限定。
存储器作为基于大数据航空互联网航班流量及带宽监控方法计算机可读存储介质,可用于存储软件程序、计算机可执行程序和各种模块,如:本公开实施例的基于大数据航空互联网航班流量及带宽监控方法所对应的程序或模块。处理器通过运行存储在存储器中的软件程序或模块,从而执行电子设备的各种功能应用及数据处理。
输入装置可用于接收输入的数字或信号。其中,信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置可以包括显示屏等显示设备。
以上已经描述了本申请的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种基于大数据航空互联网航班流量及带宽监控方法,其特征在于,包括:
获取航班的实时网络数据;
将所述实时网络数据进行数据清洗,得到可用于分析的数据集;
利用时间序列分析与预测计算模型对所述数据集进行预测分析,识别航班流量模式以及预测带宽需求和异常情况。
2.根据权利要求1所述的基于大数据航空互联网航班流量及带宽监控方法,其特征在于,将所述实时网络数据进行数据清洗,得到可用于分析的数据集,包括:
获取所述实时网络数据中各变量的逻辑关系;
根据所述逻辑关系将包含预设关键变量或字段的所述实时数据进行统一格式处理,得到可用于分析的数据集。
3.根据权利要求1所述的基于大数据航空互联网航班流量及带宽监控方法,其特征在于,识别航班流量模式,以及预测预设航线或时段的带宽需求,包括:
利用时间序列分析与预测计算模型对所述数据集进行时序特征分析,得到时序特征流量数据;
将所述时序特征流量数据进行聚类分析,得到分析结果;
根据所述分析结果识别航班流量模式以及预测带宽需求和异常情况。
4.根据权利要求3所述的基于大数据航空互联网航班流量及带宽监控方法,其特征在于,所述预测带宽需求包括预测预设航线带宽需求或预设时段带宽需求。
5.根据权利要求3所述的基于大数据航空互联网航班流量及带宽监控方法,其特征在于,所述航班流量模式包括时间流量模式和航线流量模式。
6.根据权利要求1所述的基于大数据航空互联网航班流量及带宽监控方法,其特征在于,还包括:
获取航班参数;
根据所述航班参数对所述数据集进行关联分析,得到航班参数与带宽消耗关系;
根据所述航班参数与带宽消耗关系预测带宽需求。
7.根据权利要求1-6任一项所述的基于大数据航空互联网航班流量及带宽监控方法,其特征在于,还包括:
利用异常检测算法监测所述实时网络数据是否存在异常;
当存在异常时,发出预警信号。
8.根据权利要求7所述的基于大数据航空互联网航班流量及带宽监控方法,其特征在于,还包括:
发出预警信号时,采用动态分配方式调整带宽资源和流量资源。
9.一种基于大数据航空互联网航班流量及带宽监控装置,其特征在于,包括:
获取数据模块,用于获取航班的实时网络数据;
数据清洗模块,用于将所述实时网络数据进行数据清洗,得到可用于分析的数据集;
分析数据模块,用于利用时间序列分析与预测计算模型对所述数据集进行预测分析,识别航班流量模式以及预测带宽需求和异常情况。
10.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述可执行指令时实现权利要求1-8任一项所述的基于大数据航空互联网航班流量及带宽监控方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410372800.XA CN118098024A (zh) | 2024-03-28 | 2024-03-28 | 基于大数据航空互联网航班流量及带宽监控方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410372800.XA CN118098024A (zh) | 2024-03-28 | 2024-03-28 | 基于大数据航空互联网航班流量及带宽监控方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118098024A true CN118098024A (zh) | 2024-05-28 |
Family
ID=91145596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410372800.XA Pending CN118098024A (zh) | 2024-03-28 | 2024-03-28 | 基于大数据航空互联网航班流量及带宽监控方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118098024A (zh) |
-
2024
- 2024-03-28 CN CN202410372800.XA patent/CN118098024A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109167835B (zh) | 一种基于kubernetes的物理资源调度方法及系统 | |
Belcastro et al. | Using scalable data mining for predicting flight delays | |
Cao et al. | Analytics everywhere: generating insights from the internet of things | |
CN105469645A (zh) | 飞行目标通信系统 | |
CN103530704A (zh) | 一种终端空域空中交通动态容量预测系统及其方法 | |
US20210358313A1 (en) | Airport capacity prediction system | |
US20200233650A1 (en) | Systems and methods for collecting, monitoring, and analyzing vehicle data from a plurality of vehicles using edge computing | |
CN105260426A (zh) | 基于大数据的飞机综合健康管理系统和方法 | |
CN107947847B (zh) | 一种通用化的卫星网络资源统一表征方法和系统 | |
CN111985685A (zh) | 基于大数据分析的航班计划优化方法、装置及电子设备 | |
CN116881744A (zh) | 一种基于物联网的运维数据分发方法、装置、设备及介质 | |
CN115858168A (zh) | 一种基于重要性排序的地球应用模型编排系统及其方法 | |
CN114936808A (zh) | 一种面向变电站故障检测的云边协同任务管理系统及方法 | |
Rebollo et al. | A network-based model for predicting air traffic delays | |
Wang et al. | An algorithm for mining of association rules for the information communication network alarms based on swarm intelligence | |
CN118098024A (zh) | 基于大数据航空互联网航班流量及带宽监控方法和装置 | |
CN114757448B (zh) | 一种基于数据空间模型的制造环节间最优价值链构建方法 | |
CN116629802A (zh) | 一种用于铁路港口站的大数据平台系统 | |
CN111476401A (zh) | 航班时刻表优化方法及系统 | |
CN117094424A (zh) | 实时飞机航班延误预测 | |
CN117667327A (zh) | 作业调度方法、调度器及相关设备 | |
CN111611332B (zh) | 航线中转的优化方法及系统 | |
CN116522213A (zh) | 业务状态级别分类及分类模型训练方法、电子设备 | |
Mijumbi et al. | MAYOR: machine learning and analytics for automated operations and recovery | |
CN117745085B (zh) | 航班保障服务的调整方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |