CN117650834B - 基于知识蒸馏的天地一体化网络时空流量预测方法 - Google Patents
基于知识蒸馏的天地一体化网络时空流量预测方法 Download PDFInfo
- Publication number
- CN117650834B CN117650834B CN202410117747.9A CN202410117747A CN117650834B CN 117650834 B CN117650834 B CN 117650834B CN 202410117747 A CN202410117747 A CN 202410117747A CN 117650834 B CN117650834 B CN 117650834B
- Authority
- CN
- China
- Prior art keywords
- model
- time
- space
- steps
- satellite
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013140 knowledge distillation Methods 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 31
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000015654 memory Effects 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 239000013598 vector Substances 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims 1
- 239000002699 waste material Substances 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000012868 Overgrowth Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 150000002503 iridium Chemical class 0.000 description 1
- 229910052741 iridium Inorganic materials 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B7/00—Radio transmission systems, i.e. using radiation field
- H04B7/14—Relay systems
- H04B7/15—Active relay systems
- H04B7/185—Space-based or airborne stations; Stations for satellite systems
- H04B7/1851—Systems using a satellite or space-based relay
- H04B7/18519—Operations control, administration or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于知识蒸馏的天地一体化网络时空流量预测方法，包括以下步骤：控制平面GEO卫星收集并处理来自流量计数器的数据平面LEO卫星统计数据；GEO从地面管理中心历史模型库中寻找上一周期的基于注意力机制的时空流量预测模型；地面管理中心查询历史模型库，并将选定的历史模型传输至GEO卫星；GEO将历史模型与收集的最新数据相结合，使用自适应知识蒸馏训练策略获取最新模型；最新模型传输到地面管理中心，并保存在历史模型库中，作为历史模型供将来使用。该方法能够减少资源浪费，提高预测准确度。
Description
技术领域
本发明涉及卫星流量预测领域，具体涉及一种基于知识蒸馏的天地一体化网络时空流量预测方法。
背景技术
天地一体化网络将卫星和地面网络结合起来，实现全球网络覆盖、无缝通信和网络服务。卫星网络具有全球覆盖、随机接入的特点，作为地面通信系统的重要延伸和补充，逐渐成为天地一体化网络的骨干网络。网络流量反映网络节点设备和数据链路业务量的瞬时变化，是对网络运行负荷的重要反馈，是网络性能优劣的评估依据。通过对历史网络流量数据进行系统地分析，建立精准的流量预测模型，捕捉未来流量的趋势。使得网络管理者能够设计高效的拥塞控制机制、资源分配与调度策略，减少或避免网络拥塞，提高网络资源的利用率。
然而，在卫星网络中，流量的稳定性和连续性受到频繁切换链路和恶劣的运行环境的显著影响。此外，在卫星网络中传输过程中，地面流量的统计特征可能在经过地面网关和卫星处理后发生显著变化。因此，研究卫星网络的流量特性不能仅仅依赖于应用于地面网络的模型和理论。相反，必须考虑卫星网络的独特特性和挑战，然而由于以下难点，天地一体化网络流量预测研究具有很大挑战。第一，卫星资源有限。卫星网络主要依赖于航天级别的设备，其规模和能源容量受到限制。第二，流量的时空特性耦合强。节点的移动性、拓扑的变化、时区差异以及轨道的更改等因素加剧了卫星流量的时间变化和非线性。第三，流量高动态变化。例如，大型活动或者某些突发事件可能导致卫星通信需求突然激增。
发明内容
本发明的目的在于提供一种基于知识蒸馏的天地一体化网络的时空流量预测方法，减少资源浪费，提高预测准确度。
实现本发明目的的技术解决方案为：一种基于知识蒸馏的天地一体化网络时空流量预测方法，包括以下步骤：
步骤1：收集LEO流量数据：控制平面GEO卫星收集并处理来自流量计数器的数据平面LEO卫星统计数据；
步骤2：历史模型请求：GEO从地面管理中心历史模型库中寻找上一周期的基于注意力机制的时空流量预测模型；
步骤3：历史模型回复：地面管理中心查询历史模型库，并将选定的历史模型传输至GEO卫星；
步骤4：卫星本地计算：GEO将历史模型与收集的最新数据相结合，使用自适应知识蒸馏训练策略获取最新模型；
步骤5：最新模型存储：最新模型传输到地面管理中心，并保存在历史模型库中，作为历史模型供将来使用。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
与现有技术相比，本发明的有益效果为：
（1）为缓解卫星资源有限带来的不利影响，本发明提出基于软件定义网络的流量预测架构，用模型替代数据，减少交互频率，避免大量训练数据传输，以减少带宽浪费；
（2）本发明提出一种基于注意力机制的时空流量预测模型，主要包括输入层、空间注意力层、时间特征提取层和输出层，利用耦合的时空卫星网络流量关系，提高预测准确度；
（3）为应对流量高动态变化，本发明提出一种自适应知识蒸馏训练策略，由连续知识蒸馏和“教学相长”两部分组成。连续知识蒸馏提取通用的流量历史知识进行迁移，而“教学相长”使得教师模型学生模型不断更新。
附图说明
图1为基于SDN的天地一体化网络时空流量预测方法流程图。
图2为基于注意力机制的时空流量预测模型示意图。
图3为基于注意力机制的时空流量预测模型RMSE示意图。
图4为基于注意力机制的时空流量预测模型MAE示意图。
图5为基于注意力机制的时空流量预测模预测模型曲线图。
具体实施方式
下面结合附图对本发明作进一步地说明。本发明的实例如下：
用于流量预测任务的流量历史数据从卫星传输到地面消耗了大量的带宽资源。为此，本发明提出了一种在卫星进行预测任务的部署架构。该架构本质上使预测任务更接近数据源，最大限度地减少向地面发送大量数据。
基于SDN的天地一体化网络流量预测架构包含了四个关键部分：具有一定计算能力的GEO、具有数据转发能力的LEO，由部署有地面边缘服务器的地面管理中心组成的地面网络以及核心具有双连接网关的网络，该网关具有地面回程链路和空中回程链路的功能。基于SDN的思想把卫星网络分为三层，即控制平面、数据平面和管理平面。
控制平面由GEO通信卫星组成。这些 SDN 控制节点主要负责监测所属的数据平面节点网络状态（链路状态、网络流量、业务流状态等），建立全局网络视图。
数据平面由LEO通信卫星组成，基于 SDN 的LEO通信卫星作为交换机，主要负责根据控制平面下发的流表来实现数据的转发，不携带并处理任何的控制信息。此外还负责将卫星及链路的状态情况发送给 SDN 控制器，以作为 SDN 控制器实施各种网络管理功能的基础数据。
管理平面位于地面管理中心，主要完成网络性能监控和配置任务。它收集和分析网络状态信息，为网络管理决策提供关键数据。
为完成流量预测任务，首先进行数据采集。在天地一体化网络流量预测任务中，GEO控制器向LEO交换机发送FlowStatisticsRequest以查询流信息。作为响应，LEO交换机向GEO控制器发送FlowStatisticsReply消息。FlowStatisticsReply消息包含流计数器的统计信息。GEO继而近一步处理流量计数器的统计信息，然后进行预测分析。如图1所示，基于SDN的天地一体化网络流量预测步骤如下，并随着时间的推移重复以下过程。
收集LEO流量数据：控制平面GEO卫星收集并处理来自流量计数器的数据平面LEO卫星统计数据。
历史模型请求：GEO从地面管理中心历史模型库中寻找上一周期的基于注意力的时空流量预测模型（Attention-based Spatial-temporal Traffic prediction network,ASTPN）。
历史模型回复：地面管理中心查询历史模型库，并将选定的历史模型传输至GEO卫星。
卫星本地计算：GEO将历史模型与收集的最新数据相结合，使用自适应知识蒸馏训练策略获取最新模型。
最新模型存储：最新模型传输到地面管理中心，并保存在历史模型库中，作为历史模型供将来使用。
通过将卫星上训练的模型而不是整个训练数据集传输到地面，本发明提出的架构显着减少了带宽使用。
为了充分利用耦合的时空卫星网络流量关系，提出了一种基于注意力机制的天地一体化网络流量预测模型。如图2所示，主要包括输入层、空间注意力层、时间特征提取层和输出层。
由于时间跨度大、数据量大，使用所有数据进行训练可能会消耗大量的计算资源。因此，输入层将时间跨度大的流量序列基于时间被分割成个周期，表示为，其中/>，/>表示一个周期的持续时间。
每个周期的流量序列都可以用来训练模型。第个周期训练样本可用于训练模型/>，其中/>是第/>时刻的流量值。因此，可以生成一系列的流量预测模型/>。
对于时间，卫星/>的时空特征序列为
其中是卫星/>在/>时刻的历史序列，也表示同一时刻卫星/>的时间特征，/>为时间的流量序列，也可以同时作为卫星/>的空间特征，/>为序列的时间长度，/>为卫星数量，/>是卫星/>在时间/>的流量值。/>和/>之间的时间长度是采样间隔。
为了提取时空特征，在训练流量预测模型之前构建时空流量矩阵。目标卫星结合其他卫星的历史流量形成时空流量矩阵/>，定义为
流量预测的目的是利用模型来预测目标卫星/>在后续时间点/>的流量值为：
其中是目标卫星/>在/>时刻的流量预测值。
空间注意力层可以获得不同时间点不同卫星节点之间的时空相关性。使用多头注意力对流量序列进行编码并计算节点之间的相关性得分。这些分数被整合成多个重要性分数矩阵，然后指导后续的流量预测任务。
多头注意力模块基于缩放点积层同时关注来自多个位置的不同表示子空间的信息，计算公式为：
其中,/>是头的数量，也是子空间的数量，/>表示输入序列。/>和/>是三种不同的线性变换，/>,/>,/>分别表示键、值和查询空间，/>表示学习时间序列上下文中输入序列的长度，/>表示输入序列特征大小，/>和/>分别表示键和值的维度，/>表示第/>个头的注意力表示，/>表示注意力得分矩阵，利用线性变换/>来获得/>维注意力输出。
本发明的目标不是专注于学习时间序列序列上下文之间的关系，而是使用多头注意力来提取个卫星历史序列之间的空间相关性/>。对于/>，本发明设置/>，/>和/>。可以得到空间相关矩阵/>，其中元素表示第/>个头计算出的/>对/>的注意力得分。
加权流量矩阵的结果可以通过获得。
时间特征提取层主要使用时间卷积网络(Temporal Convolutional Network，TCN)和双向长短期记忆网络(Bi-directional Long Short-Term Memory, BiLSTM)进行提取流量的时间相关性，公式为
输出层是将注意力层和时间特征提取层的特征向量展平，然后利用两层全连接层输出流量预测结果。
其中是预测值，/>、/>、/>、/>是全连接层的参数。
使用均方误差损失函数来评估模型的预测精度，表示为
其中是/>的真实值，/>是样本/>的数量。
流量模式表现出高度的动态性，使得根据过去的数据进行模型泛化具有挑战性，并导致新情况下的预测错误。探索使模型能够持续适应流量变化而不需要完全重新训练的方法。因此提出了一种知识蒸馏训练策略，能够在相同结构的模型之间不断传递历史知识，并用模型替换训练数据，以提高模型预测精度并增强模型泛化性能。自适应知识蒸馏训练策略包括了连续知识蒸馏（Continuous Knowledge Distillation，CKD）和“教学相长（Learning During Teaching, LDT）”两部分。
持续知识蒸馏也是持续学习的过程，具体为：设定一个周期的长度定义为1个月，并生成一系列这样的周期，记作Month1、Month2等，对于，/>用于训练Month1的学生模型(/>)，且目标模型/>就等同于/>。对于每一个周期/>，都有一个教师模型(/>)和一个学生模型(/>)。当/>时，设置/>。/>是/>和/>的输入。使用/>和/>的组合输出以及真实值进行训练。目标模型/>等同于/>，还被保留作为/>。重复上述过程，持续迁移历史知识，从而适应流量变化，无需完全重新训练。
综上，对任意第个周期设置/>。/>是由/>训练得到的学生模型。/>通过最小化时空流量矩阵/>的知识蒸馏损失来更新参数。
知识蒸馏损失包含硬损失和软损失两部分，硬损失定义为
其中和/>分别是/>预测值和的真实值。
软损失定义为
其中是/>的/>的预测值。
的总训练损失为
其中是用于调整/>和/>权重的超参数。
“教学相长”的过程：在学生模型训练过程中，使用平滑参数来更新教师模型参数，促进教师和学生模型之间的相互学习。这是由于教师模型在与学生模型不同的数据集上进行训练，因此有必要增强教师模型在新数据集上的性能。教师模型的更新公式为
其中和/>分别表示教师模型/>和学生模型/>的参数，/>是平滑参数，决定更新过程中教师模型保留历史信息的程度，使教师模型逐渐适应新数据集的特征，从而更有效地指导学生模型的学习过程。
因此，知识蒸馏的训练步骤如下：
步骤1：在个周期内收集的数据集/>，参数/>，/>，训练/>，优化器/>。
步骤2：对于周期，从获/>得时空流量矩阵/>，真实流量值/>；
步骤3：如果随机初始化/>。对于/>：通过/>获取预测值；计算/>；/>更新/>。最终获取目标模型/>。
步骤4：否则，，随机初始化/>。对于/>：通过/>和获取/>和/>；计算/>和/>；计算/>；/>更新/>；通过“教学相长”公式更新/>。最终获取目标模型/>。
步骤5：输出目标流量预测模型参数。
由于目前无法收集实际的卫星网络流量数据，本发明根据流量特性对数据进行仿真。首先搭建一个铱星星座的网络结构，低轨卫星轨道高度为780km，轨道面个数为6个，每个轨道面有11颗卫星。地球表面划分为288块不同的区域，每个区域包含指定数量的节点，节点的计数单位为，并假设每/>个节点的业务流量需求为1/>。因此将地球表面划分成60块相等大小的地理区域，每个区域中心都有一个覆盖4个子区域的地面站。假设给定区域内所有用户的流量需求可以在位于中心的地面站汇总，并且假设任何时候每个区域的数据接入服务都由最近的卫星提供。每个卫星节点的流量包括来自邻居节点和地面站的流量。地面站聚合并转发划分区域内的所有用户流量需求。
第个地面站的服务转发流量需求/>可以表示为/>。其中，/>，共设置了60个地面站；/>表示通过卫星网络转发的流量比例，设置为5%；/>表示每个地面站覆盖区域内的节点数，单位是/>。/>为随时间变化的节点业务流量需求函数，业务流量呈现明显的昼夜效应。
卫星节点的业务流量分为以下两个部分。
(1)卫星从地面站接受到的流量。根据卫星节点的位置，地面站汇聚划分区域内所有用户的流量需求转发至最近的卫星节点上。卫星接收来自地面站的总流量需求定义为，计算方式为：
。
(2)卫星从邻近节点接收流量。根据重力模型，节点发送到节点/>的流量为
其中是节点/>和/>之间的距离，/>与/>和/>正相关，并且与/>负相关，/>是可以与节点/>建立链接的邻居卫星节点的集合，/>表示节点/>的邻居节点/>收到的来自地面站的流量。节点/>从相邻卫星节点接收到的流量总和为
综上，节点的总流量可以表示为
根据以上设置，利用STK和matlab仿真流量数据，仿真时间采用格林威治时间，并考虑了不同地面站处于不同时区所产生的时差影响。实验的流量数据以每5分钟进行一次叠加，并将8：00到8：05时间内的累加流量将视为8：00的流量负载。
使用最大-最小对流量进行归一化。
其中表示卫星/>的归一化流量，/>和/>分别表示卫星/>的最小和最大流量。
采用平均绝对值误差(Mean Absolute Error，MAE)和均方根误差(Root MeanSquare Error, RMSE)评估模型的预测性能。
其中，为样本数量，/>和/>分别为样本的预测值和真实值。
为了验证CKD和LDT的有效性，本发明分别对不使用自适应知识蒸馏训练、仅使用连续知识蒸馏训练和使用自适应知识蒸馏训练三个组合进行实验。从图3和图4可以看出，相比于不使用自适应知识蒸馏训练、仅使用连续知识蒸馏训练，使用自适应知识蒸馏训练在第二个月到第七个月的均方根误差和平均绝对值误差始终较低，表明预测准确性得到了提高。CKD侧重于将之前训练的模型的知识传递给当前模型。LDT允许模型在教学过程中动态地教授和调整其预测，从而更好地适应底层数据。这个结果证实了LDT和CKD在提高我们提出的流量预测模型性能的实用性，它们在训练过程中分别发挥了各自的优势。
另外，为了清晰地展示本发明的对流量预测表现，图5展示了对流量的预测值以及真实值之间的比较。从图中可以看出，预测值的整体趋势与真实值的趋势一致，显示出相似的上升和下降模式。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所述技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (6)
1.一种基于知识蒸馏的天地一体化网络时空流量预测方法，其特征在于，包括以下步骤：
步骤1：收集LEO流量数据：控制平面GEO卫星收集并处理来自流量计数器的数据平面LEO卫星统计数据；
步骤2：历史模型请求：GEO从地面管理中心历史模型库中寻找上一周期的基于注意力机制的时空流量预测模型；
步骤3：历史模型回复：地面管理中心查询历史模型库，并将选定的历史模型传输至GEO卫星；
步骤4：卫星本地计算：GEO将历史模型与收集的最新数据相结合，使用自适应知识蒸馏训练策略获取最新模型；
步骤5：最新模型存储：最新模型传输到地面管理中心，并保存在历史模型库中，作为历史模型供将来使用。
2.根据权利要求1所述的基于知识蒸馏的天地一体化网络时空流量预测方法，其特征在于，基于注意力机制的时空流量预测模型包括输入层、空间注意力层、时间特征提取层和输出层；
输入层用于形成时空流量矩阵；将流量序列基于时间分割成个周期，表示为，其中/>，/>表示一个周期的持续时间；目标卫星/>结合其他卫星的历史流量形成时空流量矩阵；
空间注意力层使用多头注意力机制，目标是提取个卫星历史序列之间的空间相关性，加权流量矩阵的结果/>通过/>获得，其中/>为输入流量矩阵；
时间特征提取层使用时间卷积网络TCN和双向长短期记忆网络BiLSTM进行提取流量的时间相关性，公式为，/>为经过TCN和BiLSTM提取的流量时间特征；
输出层是将注意力层和时间特征提取层的特征向量展平，然后利用两层全连接层输出流量预测结果：
；
其中是预测值，/>、/>、/>、/>是全连接层的参数。
3.根据权利要求1所述的基于知识蒸馏的天地一体化网络时空流量预测方法，其特征在于，基于自适应知识蒸馏训练策略，由连续知识蒸馏和“教学相长”两部分组成，随着时间的推移重复以下步骤：
（1）在个周期内收集的数据集/>，设置参数/>，/>，训练轮次为，选取优化器/>；
（2）对于周期，从/>获得时空流量矩阵/>，真实流量值/>；
（3）如果随机初始化该周期的学生模型/>；对于每一个训练/>：通过/>提取输入流量矩阵/>的时空特征，得到预测值/>；计算预测值/>和真实值/>之间的硬损失/>；使用优化器/>更新/>；最终获取目标模型/>；
（4）否则，第个周期的教师模型等于第/>个周期的学生模型，即/>，随机初始化/>；对于/>：通过/>和/>分别获取预测值/>和/>；计算硬损失和预测值/>和/>之间的软损失/>；计算总知识蒸馏损失，/>是用于调整/>和/>权重的超参数；使用优化器/>更新/>；通过“教学相长”公式/>更新/>，其中/>和分别表示教师模型/>和学生模型/>的参数，/>是平滑参数；最终获取目标模型；
（5）输出目标流量预测模型参数。
4.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-3中任一所述的方法的步骤。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的方法的步骤。
6.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-3中任一所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410117747.9A CN117650834B (zh) | 2024-01-29 | 2024-01-29 | 基于知识蒸馏的天地一体化网络时空流量预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410117747.9A CN117650834B (zh) | 2024-01-29 | 2024-01-29 | 基于知识蒸馏的天地一体化网络时空流量预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117650834A CN117650834A (zh) | 2024-03-05 |
| CN117650834B true CN117650834B (zh) | 2024-04-12 |
Family
ID=90045403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410117747.9A Active CN117650834B (zh) | 2024-01-29 | 2024-01-29 | 基于知识蒸馏的天地一体化网络时空流量预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117650834B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110879921A (zh) * | 2019-11-25 | 2020-03-13 | 大连大学 | 一种基于时空相关性的卫星网络流量预测方法 |
| CN111970163A (zh) * | 2020-06-30 | 2020-11-20 | 网络通信与安全紫金山实验室 | 一种基于注意力机制的lstm模型的网络流量预测方法 |
| CN114548595A (zh) * | 2022-03-03 | 2022-05-27 | 成都信息工程大学 | 基于注意力机制的强对流天气物理特征量预测方法及系统 |
| WO2023124296A1 (zh) * | 2021-12-29 | 2023-07-06 | 新智我来网络科技有限公司 | 基于知识蒸馏的联合学习训练方法、装置、设备及介质 |
| CN116451848A (zh) * | 2023-03-29 | 2023-07-18 | 北京信息科技大学 | 一种基于时空注意力机制的卫星遥测数据预测方法及装置 |
| CN116545495A (zh) * | 2023-02-27 | 2023-08-04 | 中国科学院计算技术研究所 | 一种应用于卫星网络的拓扑预测模型训练方法及预测方法 |
| CN116630818A (zh) * | 2023-04-13 | 2023-08-22 | 中国自然资源航空物探遥感中心 | 基于gee和深度学习的高原湖泊边界在线提取方法及系统 |
| CN116709409A (zh) * | 2023-07-04 | 2023-09-05 | 中国人民解放军国防科技大学 | 基于知识蒸馏的轻量化频谱预测方法 |
| CN117135090A (zh) * | 2023-08-28 | 2023-11-28 | 西安电子科技大学 | 基于联邦学习框架的卫星互联网流量预测方法、系统、设备及介质 |
| CN117220734A (zh) * | 2022-05-31 | 2023-12-12 | 华为技术有限公司 | 一种模型传输的方法及装置 |
-
2024
- 2024-01-29 CN CN202410117747.9A patent/CN117650834B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110879921A (zh) * | 2019-11-25 | 2020-03-13 | 大连大学 | 一种基于时空相关性的卫星网络流量预测方法 |
| CN111970163A (zh) * | 2020-06-30 | 2020-11-20 | 网络通信与安全紫金山实验室 | 一种基于注意力机制的lstm模型的网络流量预测方法 |
| WO2023124296A1 (zh) * | 2021-12-29 | 2023-07-06 | 新智我来网络科技有限公司 | 基于知识蒸馏的联合学习训练方法、装置、设备及介质 |
| CN114548595A (zh) * | 2022-03-03 | 2022-05-27 | 成都信息工程大学 | 基于注意力机制的强对流天气物理特征量预测方法及系统 |
| CN117220734A (zh) * | 2022-05-31 | 2023-12-12 | 华为技术有限公司 | 一种模型传输的方法及装置 |
| CN116545495A (zh) * | 2023-02-27 | 2023-08-04 | 中国科学院计算技术研究所 | 一种应用于卫星网络的拓扑预测模型训练方法及预测方法 |
| CN116451848A (zh) * | 2023-03-29 | 2023-07-18 | 北京信息科技大学 | 一种基于时空注意力机制的卫星遥测数据预测方法及装置 |
| CN116630818A (zh) * | 2023-04-13 | 2023-08-22 | 中国自然资源航空物探遥感中心 | 基于gee和深度学习的高原湖泊边界在线提取方法及系统 |
| CN116709409A (zh) * | 2023-07-04 | 2023-09-05 | 中国人民解放军国防科技大学 | 基于知识蒸馏的轻量化频谱预测方法 |
| CN117135090A (zh) * | 2023-08-28 | 2023-11-28 | 西安电子科技大学 | 基于联邦学习框架的卫星互联网流量预测方法、系统、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于AI的LEO卫星网络资源管理架构设计;王朱伟等;信息技术与网络安全;20180210(02);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117650834A (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | A deep learning method based on an attention mechanism for wireless network traffic prediction | |
| WO2021169577A1 (zh) | 一种基于加权联邦学习的无线业务流量预测方法 | |
| Jarwan et al. | Data transmission reduction schemes in WSNs for efficient IoT systems | |
| Wang et al. | DEFSI: Deep learning based epidemic forecasting with synthetic information | |
| CN113705610B (zh) | 一种基于联邦学习的异构模型聚合方法和系统 | |
| CN107665230A (zh) | 用于智能家居控制的用户行为预测模型的训练方法及装置 | |
| CN110267292A (zh) | 基于三维卷积神经网络的蜂窝网络流量预测方法 | |
| Tian | Network traffic prediction method based on wavelet transform and multiple models fusion | |
| CN104463351A (zh) | 基于电力业务需求的通信带宽预测方法及装置 | |
| Gao et al. | Incorporating intra-flow dependencies and inter-flow correlations for traffic matrix prediction | |
| CN115204478A (zh) | 一种结合城市兴趣点和时空因果关系的公共交通流量预测方法 | |
| Chen et al. | Deep-broad learning system for traffic flow prediction toward 5G cellular wireless network | |
| Valkanis et al. | Reinforcement learning in traffic prediction of core optical networks using learning automata | |
| CN104376382B (zh) | 面向大规模多Agent系统的非对称分布式约束优化算法及系统 | |
| Dai et al. | ST-InNet: Deep spatio-temporal inception networks for traffic flow prediction in smart cities | |
| Sivakumar et al. | Prediction of traffic load in wireless network using time series model | |
| Kirmaz et al. | Mobile network traffic forecasting using artificial neural networks | |
| CN114861917A (zh) | 贝叶斯小样本学习的知识图谱推理模型、系统及推理方法 | |
| Peng et al. | Hmm-lstm for proactive traffic prediction in 6g wireless networks | |
| CN117650834B (zh) | 基于知识蒸馏的天地一体化网络时空流量预测方法 | |
| Shterev et al. | Time series prediction with neural networks: a review | |
| CN114339967B (zh) | 基站业务量的预测方法及装置 | |
| Geng et al. | A LSTM based campus network traffic prediction system | |
| Yeom et al. | Graph convolutional network based link state prediction | |
| Qin et al. | Spatio-Temporal Communication Network Traffic Prediction Method Based on Graph Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |