CN113824489B - 基于深度学习的卫星网络资源动态分配方法、系统及装置 - Google Patents

基于深度学习的卫星网络资源动态分配方法、系统及装置 Download PDF

Info

Publication number
CN113824489B
CN113824489B CN202111382501.7A CN202111382501A CN113824489B CN 113824489 B CN113824489 B CN 113824489B CN 202111382501 A CN202111382501 A CN 202111382501A CN 113824489 B CN113824489 B CN 113824489B
Authority
CN
China
Prior art keywords
task
satellite
resource allocation
allocation
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111382501.7A
Other languages
English (en)
Other versions
CN113824489A (zh
Inventor
齐东元
史焱
李江华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kairui Xingtong Information Technology Nanjing Co ltd
Original Assignee
Kairui Xingtong Information Technology Nanjing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kairui Xingtong Information Technology Nanjing Co ltd filed Critical Kairui Xingtong Information Technology Nanjing Co ltd
Priority to CN202111382501.7A priority Critical patent/CN113824489B/zh
Publication of CN113824489A publication Critical patent/CN113824489A/zh
Application granted granted Critical
Publication of CN113824489B publication Critical patent/CN113824489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/1851—Systems using a satellite or space-based relay
    • H04B7/18513—Transmission in a satellite or space-based system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/53—Allocation or scheduling criteria for wireless resources based on regulatory allocation policies

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radio Relay Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及卫星通信网络领域，公开了基于深度学习的卫星网络资源动态分配方法、系统及装置，其技术方案要点是：获取当前卫星资源分配任务的参数；根据卫星资源分配任务的参数的实时数据和对应的历史记录数据，生成卫星资源分配数据库；根据卫星资源分配数据库设立分配决策模型，分配决策模型包括设立的建链任务状态空间、即时评价函数以及最优参数函数；将历史记录数据设为训练样本，对分配决策模型进行深度学习训练，得到卫星资源分配的最优值；根据卫星资源分配的最优值进行卫星网络资源分配；能够在多用户同时申请卫星资源的情景下利用分配决策模型动态的调整卫星链路分配策略，能够简化资源申请流程，提升资源分配的稳定性。

Description

基于深度学习的卫星网络资源动态分配方法、系统及装置
技术领域
本发明涉及卫星通信网络领域，更具体地说，它涉及基于深度学习的卫星网络资源动态分配方法、系统及装置。
背景技术
由于卫星通信系统使用领域广泛，而卫星资源的使用则是系统中重要的一环，随着资源使用次数的增加，资源的申请流程的繁琐和资源分配的不稳定性也成为了问题，为了简化资源申请的流程和提升资源分配的稳定性，能够简化资源申请的流程和提升资源分配的稳定性的多波束卫星通信系统也得到业界广泛的关注。
在多波束卫星通信系统中，每个波束都覆盖着特定的范围，但是资源申请的时候又需要手动选择使用的波束，增加了资源申请流程的繁琐性，而资源分配又采用了直接分配资源频段，这种方式无疑增加了资源的不稳定性，因此需要一种可以动态分配资源的策略方法。
发明内容
本发明的目的是提供基于深度学习的卫星网络资源动态分配方法、系统及装置，在多用户同时申请卫星资源的情景下利用分配决策模型动态的调整卫星链路分配策略，能够简化资源申请流程，提升资源分配的稳定性。
本发明的上述技术目的是通过以下技术方案得以实现的：基于深度学习的卫星网络资源动态分配方法，其特征是：包括如下步骤：
获取当前卫星资源分配任务的参数；
根据卫星资源分配任务的参数的实时数据和对应的历史记录数据，生成卫星资源分配数据库；
根据卫星资源分配数据库设立分配决策模型，分配决策模型包括设立的建链任务状态空间、即时评价函数以及最优参数函数；
将历史记录数据设为训练样本，对分配决策模型进行深度学习训练，得到卫星资源分配的最优值；
根据卫星资源分配的最优值进行卫星网络资源分配。
作为本发明的一种优选技术方案，卫星资源分配任务的参数包括任务名称
Figure DEST_PATH_IMAGE001
、任务类型
Figure 100002_DEST_PATH_IMAGE002
、任务等级
Figure DEST_PATH_IMAGE003
、开始时间
Figure 100002_DEST_PATH_IMAGE004
、结束时间
Figure DEST_PATH_IMAGE005
、申请带宽
Figure 100002_DEST_PATH_IMAGE006
、所属网系
Figure DEST_PATH_IMAGE007
、参与任务的单位信息
Figure 100002_DEST_PATH_IMAGE008
、人员信息
Figure DEST_PATH_IMAGE009
、设备信息
Figure 100002_DEST_PATH_IMAGE010
。
作为本发明的一种优选技术方案，卫星资源分配数据库中存储了包括记录每次卫星通信建链后的网络延迟时间的权值参数
Figure DEST_PATH_IMAGE011
和以卫星资源分配任务的参数为标识，且包括当前申请在内的相同标识的
Figure 100002_DEST_PATH_IMAGE012
Figure DEST_PATH_IMAGE013
次参数申请记录数据。
作为本发明的一种优选技术方案，建立分配决策模型的过程为：
将正在处理的建链任务的状态空间的集合设为
Figure 100002_DEST_PATH_IMAGE014
，集合中的每个状态
Figure DEST_PATH_IMAGE015
；执行建链过程所有可设置的参数值用参数向量A表示，在某一时刻设置的参数值
Figure 100002_DEST_PATH_IMAGE016
，其中
Figure DEST_PATH_IMAGE017
，根据
Figure 100002_DEST_PATH_IMAGE018
变化到
Figure DEST_PATH_IMAGE019
，建链任务的状态也从
Figure 100002_DEST_PATH_IMAGE020
变化到
Figure DEST_PATH_IMAGE021
；每一个状态变化设定一个即时评价函数
Figure 100002_DEST_PATH_IMAGE022
，即
Figure 675839DEST_PATH_IMAGE018
对应
Figure 592979DEST_PATH_IMAGE020
同时对应
Figure DEST_PATH_IMAGE023
，
Figure 100002_DEST_PATH_IMAGE024
对应
Figure 559667DEST_PATH_IMAGE021
同时对应
Figure DEST_PATH_IMAGE025
，状态一直转移下去；
其中，即时评价函数
Figure 892559DEST_PATH_IMAGE022
为：
Figure 100002_DEST_PATH_IMAGE026
；
其中，建链训练过程成功获得最大带宽，获得最大评价值100，表明建链成功，则训练一轮结束；如果未能获得最大带宽，则训练评价值为1；如果未能分配带宽，则训练评价值为0；
建链任务根据卫星资源分配数据库中的历史记录数据进行深度学习计算，得到参数设置策略
Figure DEST_PATH_IMAGE027
，在这个策略每一次执行下，参数设置都会趋近于最优参数；设函数
Figure 100002_DEST_PATH_IMAGE028
为最优参数函数，
Figure DEST_PATH_IMAGE029
为强化学习执行的步骤数，t为当前正在进行的强化学习步骤数，则有 ：
Figure 100002_DEST_PATH_IMAGE030
。
作为本发明的一种优选技术方案，计算得出卫星资源分配的最优值的过程为：
将卫星资源分配数据库中的所有历史记录数据设定为训练样本，每个样本都由
Figure DEST_PATH_IMAGE031
表示，并设定一个阈值
Figure 100002_DEST_PATH_IMAGE032
评价样本数量符合训练要求；
对于每个样本，计算
Figure DEST_PATH_IMAGE033
值，并选取参数集合a对应的最优评价值
Figure 100002_DEST_PATH_IMAGE034
，其中
Figure DEST_PATH_IMAGE035
表示第i次计算的阈值
Figure 956199DEST_PATH_IMAGE032
，
Figure 100002_DEST_PATH_IMAGE036
表示下一状态的建链任务的状态空间的集合,
Figure DEST_PATH_IMAGE037
表示下一状态的执行建链过程所有可设置的建链参数值；
对每次强化学习的
Figure 965612DEST_PATH_IMAGE028
函数进行迭代计算，设
Figure 100002_DEST_PATH_IMAGE038
为迭代损耗系数，设
Figure DEST_PATH_IMAGE039
为学习率，则有：
Figure 100002_DEST_PATH_IMAGE040
；
每次迭代完成计算两次迭代之间的差异函数，
Figure 100002_DEST_PATH_IMAGE041
并通过梯度下降算法更新最优值，此时为一次学习过程结束，并记录学习次数+1；
判断状态
Figure DEST_PATH_IMAGE042
是否存在建链网络通信不畅的情况，如果是，则停止本次训练，并跳转下一状态重新开始训练，并更新状态
Figure 100002_DEST_PATH_IMAGE043
，继续重复上述过程，并最终得到最优解。
作为本发明的一种优选技术方案，所述根据卫星资源分配的最优值进行卫星网络资源分配的过程为：
根据最优解，匹配出适合用户使用的资源，通过任务执行区域的经纬度和面积，匹配出在任务执行区间没有被使用的预案，预案中绑定的有波束和波束转发器资源，如果没有合适的预案，根据适合用户使用的资源手动新增预案；
根据任务填写的信息以及预案的历史评分对可用预案进行排序，匹配度最高的预案排在最前面，同等匹配度评分高的预案排在前面；
用户手动选择预案或者自动使用综合评分和匹配度最高的预案，任务执行结束后，系统自动回收预案，并提示用户对使用的预案进行评分。
基于深度学习的卫星网络资源动态分配系统，包括：
参数获取模块，用于获取当前卫星资源分配任务的参数；
数据库生成模块，用于根据卫星资源分配任务的参数的实时数据和对应的历史记录数据，生成卫星资源分配数据库；
模型建立模块，用于根据卫星资源分配数据库设立分配决策模型，分配决策模型包括设立的建链任务状态空间、即时评价函数以及最优参数函数；
模型计算模块，用于将历史记录数据设为训练样本，对分配决策模型进行深度学习训练，得到卫星资源分配的最优值；
资源分配模块，用于根据卫星资源分配的最优值进行卫星网络资源分配。
基于深度学习的卫星网络资源动态分配装置，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
综上所述，本发明具有以下有益效果：能够对现有的卫星资源分配任务的相关参数的数据进行整合，得到卫星资源分配数据库；在卫星资源分配数据库的基础上使用深度学习方法得到分配决策模型并能够计算出卫星资源分配的最优值；从而方便根据卫星资源分配的最优值进行合理的卫星网络资源分配，实现了每个用户卫星链路参数的分配的精准预测，同时在多用户同时申请的情景下利用分配决策模型动态的调整卫星链路分配策略，能够简化资源申请流程，提升资源分配的稳定性，以最优化的分配方案，帮助每个参与用户节约了带宽资源，提高了系统总的资源利用率。
附图说明
图1是本发明的方法的流程图；
图2是深度学习算法流程图；
图3是深度学习算法迭代次数与仿真曲线图；
图4是通过任务信息匹配出可用预案的示意图；
图5是暂停任务和撤销任务示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
本发明提供一种基于深度学习的卫星网络资源动态分配方法，如图1所示，包括如下步骤：
S1、获取当前卫星资源分配任务的参数，即与分配卫星链路资源相关的影响参数，具体的，卫星资源分配任务的参数包括任务名称
Figure 294962DEST_PATH_IMAGE001
、任务类型
Figure 493863DEST_PATH_IMAGE002
、任务等级
Figure 162741DEST_PATH_IMAGE003
、开始时间
Figure 343056DEST_PATH_IMAGE004
、结束时间
Figure 97385DEST_PATH_IMAGE005
、申请带宽
Figure 772080DEST_PATH_IMAGE006
、所属网系
Figure 295465DEST_PATH_IMAGE007
、参与任务的单位信息
Figure 725310DEST_PATH_IMAGE008
、人员信息
Figure 153886DEST_PATH_IMAGE009
、设备信息
Figure 429009DEST_PATH_IMAGE010
，在申请新的建链任务时，用户填写的开始时间
Figure DEST_PATH_IMAGE044
不能早于当前系统时间，用户所填基本信息会作为初次计算此次申请所能分配的链路资源的输入参数。
S2、根据卫星资源分配任务的参数的实时数据和对应的历史记录数据，生成卫星资源分配数据库，当在申请新的建链任务时，此步骤中会利用现有的卫星资源分配任务的参数的实时数据和对应的历史记录数据，对卫星资源分配数据库进行初始化，确保当前进行卫星资源分配时是使用的最新数据库，从而准确度更高；卫星资源分配数据库中存储了包括记录每次卫星通信建链后的网络延迟时间的权值参数
Figure 10163DEST_PATH_IMAGE011
和以任务名称
Figure 345330DEST_PATH_IMAGE001
、任务类型
Figure 74251DEST_PATH_IMAGE002
、任务等级
Figure 340017DEST_PATH_IMAGE003
、开始时间
Figure 837994DEST_PATH_IMAGE004
、结束时间
Figure 547324DEST_PATH_IMAGE005
、申请带宽
Figure 497963DEST_PATH_IMAGE006
、所属网系
Figure 380468DEST_PATH_IMAGE007
、参与任务的单位信息
Figure 919903DEST_PATH_IMAGE008
、人员信息
Figure 862451DEST_PATH_IMAGE009
、设备信息
Figure 300385DEST_PATH_IMAGE010
为标识，且包括当前申请在内的相同标识的
Figure 658685DEST_PATH_IMAGE012
Figure 131255DEST_PATH_IMAGE013
次参数申请记录数据；其中记录每次卫星通信建链后的网络延迟时间的权值参数
Figure 244705DEST_PATH_IMAGE011
可以衡量每次建链任务实际的通信效果。
S3、如图2所示，根据卫星资源分配数据库设立分配决策模型，分配决策模型包括设立的建链任务状态空间、即时评价函数以及最优参数函数；
具体过程为：
卫星通信网络的建链任务包括处于已建链的通信任务、正在拆链的通信任务、其它正要申请建链的通信任务，当前正在处理的建链任务可以认为是智能体的状态变化，所以可以将正在处理的建链任务的状态空间的集合设为
Figure 100002_DEST_PATH_IMAGE045
，集合中的每个状态
Figure 356886DEST_PATH_IMAGE015
；执行建链过程所有可设置的参数值用参数向量A表示，在某一时刻设置的参数值
Figure 518877DEST_PATH_IMAGE016
，其中
Figure DEST_PATH_IMAGE046
，根据
Figure 580374DEST_PATH_IMAGE018
变化到
Figure 100002_DEST_PATH_IMAGE047
，建链任务的状态也从
Figure DEST_PATH_IMAGE048
变化到
Figure 100002_DEST_PATH_IMAGE049
；每一个状态变化设定一个即时评价函数
Figure 989359DEST_PATH_IMAGE022
，即
Figure 401885DEST_PATH_IMAGE018
对应
Figure 429884DEST_PATH_IMAGE048
同时对应
Figure 798418DEST_PATH_IMAGE023
，
Figure 988090DEST_PATH_IMAGE047
对应
Figure 825596DEST_PATH_IMAGE049
同时对应
Figure 391707DEST_PATH_IMAGE025
，状态一直转移下去；
建链任务的目标是在卫星网络资源中找到最优的参数设置，以最短建链时间或最大的数据传输带宽完成此次建链任务的数据发送，建链任务的参数变化考虑以下三种情况：
第一种情况：任务名称
Figure 693375DEST_PATH_IMAGE001
、任务类型
Figure 240900DEST_PATH_IMAGE002
、任务等级
Figure 628019DEST_PATH_IMAGE003
三个参数决定建链时间的长短和任务分配，例如建链名称为预约式建链，任务类型为长链接，任务等级为一般，则需要等网管中心优先分配其它任务等级为高的建链任务，则建链时间可能增长，分配带宽也可能降低，则需要通过模型的训练过程找到当前卫星网络内最优的任务名称，任务类型以及任务等级分配。
第二种情况：开始时间
Figure 997821DEST_PATH_IMAGE004
、结束时间
Figure 826099DEST_PATH_IMAGE005
、申请带宽
Figure 623154DEST_PATH_IMAGE006
，这三个参数配置影响实际建链任务执行效率，比如开始时间，结束时间距离当前分配时间较长，则网管中心有足够时间避免冲突，分配给当前建链任务较高带宽。反之，如果开始时间，结束时间距离当前时间很短，则网管中心很难分配高带宽，则需要通过模型的训练过程找到当前卫星网络内最短建链时间和最大带宽。
第三种情况：所属网系
Figure 231990DEST_PATH_IMAGE007
、参与任务的单位信息
Figure 592433DEST_PATH_IMAGE008
、人员信息
Figure 603114DEST_PATH_IMAGE009
、设备信息
Figure 508753DEST_PATH_IMAGE010
,这四个参数决定链路的实际传输距离，如果分配网系，参与单位，人员信息和设备信息不是最短路径的建链距离，则会增大链路延迟，增加实际传输时间，降低实际传输带宽。但最短距离链路覆盖的网系，参与单位，人员信息和设备信息有可能产生冲突，则需要通过模型的训练过程找到相对最短建链路径。
综合以上三种情况考虑，分配决策模型在每次参数状态变化的学习过程中，需要把建链的时间，带宽和链路延迟向最优目标逼近，所以设计即时评价函数
Figure 604885DEST_PATH_IMAGE022
如下：
Figure 316489DEST_PATH_IMAGE026
；
即时评价函数
Figure 392065DEST_PATH_IMAGE022
解释如下，建链训练过程成功获得最大带宽，获得最大评价值100，表明建链成功，则训练一轮结束。如果未能获得最大带宽，或者训练评价值为1，如果未能分配成功，则训练评价值为0。此评价函数能够保证建链过程迭代成功，达到最大带宽分配。
建链任务根据卫星资源分配数据库中的历史记录数据进行深度学习计算，得到参数设置策略
Figure 530923DEST_PATH_IMAGE027
，在这个策略每一次执行下，参数设置都会趋近于最优参数；设函数
Figure 114351DEST_PATH_IMAGE028
为最优参数函数，
Figure 301750DEST_PATH_IMAGE029
为强化学习执行的步骤数，t为当前正在进行的强化学习步骤数，则有 ：
Figure 287023DEST_PATH_IMAGE030
。
S4、将历史记录数据设为训练样本，对分配决策模型进行深度学习训练，得到卫星资源分配的最优值，具体过程为：
将卫星资源分配数据库中的所有历史记录数据设定为训练样本，每个样本都由
Figure DEST_PATH_IMAGE050
表示，并设定一个阈值
Figure 783733DEST_PATH_IMAGE032
评价样本数量是否符合训练要求；
对于每个样本，计算
Figure 854457DEST_PATH_IMAGE033
值，并选取参数集合a对应的最优评价值
Figure 100002_DEST_PATH_IMAGE051
，其中
Figure 845546DEST_PATH_IMAGE035
表示第i次计算的阈值
Figure DEST_PATH_IMAGE052
，
Figure 872277DEST_PATH_IMAGE036
表示下一状态的建链任务的状态空间的集合,
Figure 352937DEST_PATH_IMAGE037
表示下一状态的执行建链过程所有可设置的建链参数值；
对每次强化学习的
Figure 645378DEST_PATH_IMAGE028
函数进行迭代计算，设
Figure 440159DEST_PATH_IMAGE038
为迭代损耗系数，设
Figure 134445DEST_PATH_IMAGE039
为学习率，则有：
Figure 786007DEST_PATH_IMAGE040
；需要注意的是：
Figure 18274DEST_PATH_IMAGE039
越小学习速度越慢，
Figure 413483DEST_PATH_IMAGE039
越大学习速度越快，但过大的
Figure 899959DEST_PATH_IMAGE039
可能会发生震荡，算法不收敛；
每次迭代完成计算两次迭代之间的差异函数，
Figure 988001DEST_PATH_IMAGE041
并通过梯度下降算法更新最优值，此时为一次学习过程结束，并记录学习次数+1；
判断状态
Figure 441985DEST_PATH_IMAGE042
是否存在建链网络通信不畅的情况，如果是，则停止本次训练，并跳转下一状态重新开始训练，并更新状态
Figure 640885DEST_PATH_IMAGE043
，继续重复上述过程，并最终得到最优解；
采用仿真模拟方法对本发明的深度学习进行仿真验证，仿真结果如图3所示，随着迭代计算次数的增加，卫星通信网络剩余带宽的利用率增大。
S5、如图4所示，根据卫星资源分配的最优值进行卫星网络资源分配。
S51、根据最优解，匹配出适合用户使用的资源，通过任务执行区域的经纬度和面积，匹配出在任务执行区间没有被使用的预案，预案中绑定的有波束和波束转发器资源，如果没有合适的预案，根据适合用户使用的资源手动新增预案。
S52、根据任务填写的信息以及预案的历史评分对可用预案进行排序，匹配度最高的预案排在最前面，同等匹配度评分高的预案排在前面，可以方便用户更直观的看到匹配度最高的预案，节省了用户选择合适预案的时间。
S53、用户可以手动选择预案或者自动使用综合评分和匹配度最高的预案，任务执行结束后，系统会自动回收此预案，用户可以对此段资源进行评分，以便下次匹配的准确性。
S54、任务执行的过程中如果有等级比较高的任务需要用到此预案，用户可以暂停任务为的高等级的任务让出预案，高等级任务结束后用户可以再次重新开始任务，重新开始任务需要判断原始预案是否可用，可用即可继续执行任务，不可用则需用户手动撤销任务或者等待预案被回收。
S55、任务如果提前完成，用户可以选择撤销任务，如图5所示，撤销任务后的逻辑和正常结束一致。
S56、任务如果在规定时间内没有完成，用户可以申请延长任务，如果申请延长任务使用的预案，在延长的结束时间区间内没有被其他任务占用，在申请通过后即可正常延长，如果被占用，则需用户重新申请任务。
对应于上述的方法，本发明还提供了一种基于深度学习的卫星网络资源动态分配系统，包括：
参数获取模块，用于获取当前卫星资源分配任务的参数；
数据库生成模块，用于根据卫星资源分配任务的参数的实时数据和对应的历史记录数据，生成卫星资源分配数据库；
模型建立模块，用于根据卫星资源分配数据库设立分配决策模型，分配决策模型包括设立的建链任务状态空间、即时评价函数以及最优参数函数；
模型计算模块，用于将历史记录数据设为训练样本，对分配决策模型进行深度学习训练，得到卫星资源分配的最优值；
资源分配模块，用于根据卫星资源分配的最优值进行卫星网络资源分配。
对应于上述的方法和系统，本发明还提供了一种基于深度学习的卫星网络资源动态分配装置，其特征是：包括处理器和存储器，存储器存储有处理器可执行的计算机程序，处理器执行计算机程序时实现上述的方法。
本发明提供的方法、系统及装置，能够对现有的卫星资源分配任务的相关参数的数据进行整合，得到卫星资源分配数据库；在卫星资源分配数据库的基础上使用深度学习方法得到分配决策模型并能够计算出卫星资源分配的最优值；从而方便根据卫星资源分配的最优值进行合理的卫星网络资源分配，实现了每个用户卫星链路参数的分配的精准预测，同时在多用户同时申请的情景下利用分配决策模型动态的调整卫星链路分配策略，能够简化资源申请流程，提升资源分配的稳定性，以最优化的分配方案，帮助每个参与用户节约了带宽资源，提高了系统总的资源利用率。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.基于深度学习的卫星网络资源动态分配方法，其特征是：包括如下步骤：
获取当前卫星资源分配任务的参数，卫星资源分配任务的参数包括任务名称
Figure DEST_PATH_IMAGE002
、任务类型
Figure DEST_PATH_IMAGE004
、任务等级
Figure DEST_PATH_IMAGE006
、开始时间
Figure DEST_PATH_IMAGE008
、结束时间
Figure DEST_PATH_IMAGE010
、申请带宽
Figure DEST_PATH_IMAGE012
、所属网系
Figure DEST_PATH_IMAGE014
、参与任务的单位信息
Figure DEST_PATH_IMAGE016
、人员信息
Figure DEST_PATH_IMAGE018
、设备信息
Figure DEST_PATH_IMAGE020
；
根据卫星资源分配任务的参数的实时数据和对应的历史记录数据，生成卫星资源分配数据库；
根据卫星资源分配数据库设立分配决策模型，分配决策模型包括设立的建链任务状态空间、即时评价函数以及最优参数函数；
将历史记录数据设为训练样本，对分配决策模型进行深度学习训练，得到卫星资源分配的最优值；
根据卫星资源分配的最优值进行卫星网络资源分配；
其中，建立分配决策模型的过程为：
将正在处理的建链任务的状态空间的集合设为
Figure DEST_PATH_IMAGE022
，集合中的每个状态
Figure DEST_PATH_IMAGE024
；执行建链过程所有可设置的参数值用参数向量A表示，在某一时刻设置的参数值
Figure DEST_PATH_IMAGE026
，其中
Figure DEST_PATH_IMAGE028
，根据
Figure DEST_PATH_IMAGE030
变化到
Figure DEST_PATH_IMAGE032
，建链任务的状态也从
Figure DEST_PATH_IMAGE034
变化到
Figure DEST_PATH_IMAGE036
；每一个状态变化设定一个即时评价函数
Figure DEST_PATH_IMAGE038
，即
Figure 594830DEST_PATH_IMAGE030
对应
Figure 105446DEST_PATH_IMAGE034
同时对应
Figure DEST_PATH_IMAGE040
，
Figure DEST_PATH_IMAGE041
对应
Figure 773931DEST_PATH_IMAGE036
同时对应
Figure DEST_PATH_IMAGE043
，状态一直转移下去；
其中，即时评价函数
Figure 231457DEST_PATH_IMAGE038
为：
Figure DEST_PATH_IMAGE045
；
其中，建链训练过程成功获得最大带宽，获得最大评价值100，表明建链成功，则训练一轮结束；如果未能获得最大带宽，则训练评价值为1；如果未能分配带宽，则训练评价值为0；
建链任务根据卫星资源分配数据库中的历史记录数据进行深度学习计算，得到参数设置策略
Figure DEST_PATH_IMAGE047
，在这个策略每一次执行下，参数设置都会趋近于最优参数；设函数
Figure DEST_PATH_IMAGE049
为最优参数函数，
Figure DEST_PATH_IMAGE051
为强化学习执行的步骤数，t为当前正在进行的强化学习步骤数，则有 ：
Figure DEST_PATH_IMAGE053
。
2.根据权利要求1所述的基于深度学习的卫星网络资源动态分配方法，其特征是：卫星资源分配数据库中存储了包括记录每次卫星通信建链后的网络延迟时间的权值参数
Figure DEST_PATH_IMAGE055
和以卫星资源分配任务的参数为标识，且包括当前申请在内的相同标识的
Figure DEST_PATH_IMAGE057
Figure DEST_PATH_IMAGE059
次参数申请记录数据。
3.根据权利要求2所述的基于深度学习的卫星网络资源动态分配方法，其特征是：计算得出卫星资源分配的最优值的过程为：
将卫星资源分配数据库中的所有历史记录数据设定为训练样本，每个样本都由
Figure DEST_PATH_IMAGE061
表示，并设定一个阈值
Figure DEST_PATH_IMAGE063
评价样本数量符合训练要求；
对于每个样本，计算
Figure DEST_PATH_IMAGE065
值，并选取参数集合a对应的最优评价值
Figure DEST_PATH_IMAGE067
，其中
Figure DEST_PATH_IMAGE069
表示第i次计算的阈值
Figure 567802DEST_PATH_IMAGE063
，
Figure DEST_PATH_IMAGE071
表示下一状态的建链任务的状态空间的集合,
Figure DEST_PATH_IMAGE073
表示下一状态的执行建链过程所有可设置的建链参数值；
对每次强化学习的
Figure DEST_PATH_IMAGE049A
函数进行迭代计算，设
Figure DEST_PATH_IMAGE075
为迭代损耗系数，设
Figure DEST_PATH_IMAGE077
为学习率，则有：
Figure DEST_PATH_IMAGE079
；
每次迭代完成计算两次迭代之间的差异函数，
Figure DEST_PATH_IMAGE081
并通过梯度下降算法更新最优值，此时为一次学习过程结束，并记录学习次数+1；
判断状态
Figure DEST_PATH_IMAGE083
是否存在建链网络通信不畅的情况，如果是，则停止本次训练，并跳转下一状态重新开始训练，并更新状态
Figure DEST_PATH_IMAGE085
，继续重复上述过程，并最终得到最优解。
4.根据权利要求3所述的基于深度学习的卫星网络资源动态分配方法，其特征是：所述根据卫星资源分配的最优值进行卫星网络资源分配的过程为：
根据最优解，匹配出适合用户使用的资源，通过任务执行区域的经纬度和面积，匹配出在任务执行区间没有被使用的预案，预案中绑定的有波束和波束转发器资源，如果没有合适的预案，根据适合用户使用的资源手动新增预案；
根据任务填写的信息以及预案的历史评分对可用预案进行排序，匹配度最高的预案排在最前面，同等匹配度评分高的预案排在前面；
用户手动选择预案或者自动使用综合评分和匹配度最高的预案，任务执行结束后，系统自动回收预案，并提示用户对使用的预案进行评分。
5.基于深度学习的卫星网络资源动态分配系统，其特征是：包括：
参数获取模块，用于获取当前卫星资源分配任务的参数，卫星资源分配任务的参数包括任务名称
Figure 406576DEST_PATH_IMAGE002
、任务类型
Figure 765620DEST_PATH_IMAGE004
、任务等级
Figure 433362DEST_PATH_IMAGE006
、开始时间
Figure 695716DEST_PATH_IMAGE008
、结束时间
Figure 423500DEST_PATH_IMAGE010
、申请带宽
Figure 974567DEST_PATH_IMAGE012
、所属网系
Figure 305054DEST_PATH_IMAGE014
、参与任务的单位信息
Figure 297281DEST_PATH_IMAGE016
、人员信息
Figure 822066DEST_PATH_IMAGE018
、设备信息
Figure 798112DEST_PATH_IMAGE020
；
数据库生成模块，用于根据卫星资源分配任务的参数的实时数据和对应的历史记录数据，生成卫星资源分配数据库；
模型建立模块，用于根据卫星资源分配数据库设立分配决策模型，分配决策模型包括设立的建链任务状态空间、即时评价函数以及最优参数函数，其中，建立分配决策模型的过程为：将正在处理的建链任务的状态空间的集合设为
Figure 666711DEST_PATH_IMAGE022
，集合中的每个状态
Figure 779023DEST_PATH_IMAGE024
；执行建链过程所有可设置的参数值用参数向量A表示，在某一时刻设置的参数值
Figure DEST_PATH_IMAGE026A
，其中
Figure DEST_PATH_IMAGE086
，根据
Figure 65255DEST_PATH_IMAGE030
变化到
Figure DEST_PATH_IMAGE041A
，建链任务的状态也从
Figure 590914DEST_PATH_IMAGE034
变化到
Figure 263204DEST_PATH_IMAGE036
；每一个状态变化设定一个即时评价函数
Figure 230023DEST_PATH_IMAGE038
，即
Figure 595145DEST_PATH_IMAGE030
对应
Figure 14625DEST_PATH_IMAGE034
同时对应
Figure 992071DEST_PATH_IMAGE040
，
Figure DEST_PATH_IMAGE041AA
对应
Figure 141292DEST_PATH_IMAGE036
同时对应
Figure 552682DEST_PATH_IMAGE043
，状态一直转移下去；
其中，即时评价函数
Figure 584092DEST_PATH_IMAGE038
为：
Figure 739130DEST_PATH_IMAGE045
；
其中，建链训练过程成功获得最大带宽，获得最大评价值100，表明建链成功，则训练一轮结束；如果未能获得最大带宽，则训练评价值为1；如果未能分配带宽，则训练评价值为0；
建链任务根据卫星资源分配数据库中的历史记录数据进行深度学习计算，得到参数设置策略
Figure 805175DEST_PATH_IMAGE047
，在这个策略每一次执行下，参数设置都会趋近于最优参数；设函数
Figure DEST_PATH_IMAGE049AA
为最优参数函数，
Figure 213897DEST_PATH_IMAGE051
为强化学习执行的步骤数，t为当前正在进行的强化学习步骤数，则有 ：
Figure 529341DEST_PATH_IMAGE053
；
模型计算模块，用于将历史记录数据设为训练样本，对分配决策模型进行深度学习训练，得到卫星资源分配的最优值；
资源分配模块，用于根据卫星资源分配的最优值进行卫星网络资源分配。
6.基于深度学习的卫星网络资源动态分配装置，其特征是：包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-4中任一项所述的方法。
CN202111382501.7A 2021-11-22 2021-11-22 基于深度学习的卫星网络资源动态分配方法、系统及装置 Active CN113824489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111382501.7A CN113824489B (zh) 2021-11-22 2021-11-22 基于深度学习的卫星网络资源动态分配方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111382501.7A CN113824489B (zh) 2021-11-22 2021-11-22 基于深度学习的卫星网络资源动态分配方法、系统及装置

Publications (2)

Publication Number Publication Date
CN113824489A CN113824489A (zh) 2021-12-21
CN113824489B true CN113824489B (zh) 2022-03-18

Family

ID=78917963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111382501.7A Active CN113824489B (zh) 2021-11-22 2021-11-22 基于深度学习的卫星网络资源动态分配方法、系统及装置

Country Status (1)

Country Link
CN (1) CN113824489B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114337778B (zh) * 2021-12-28 2022-06-24 军事科学院系统工程研究院网络信息研究所 一种基于联合概率的卫星通信频轨资源数据修正方法
CN114710835B (zh) * 2022-04-13 2024-10-15 中国科学院上海微系统与信息技术研究所 一种卫星通信系统中的上行链路资源分配方法
CN114867031B (zh) * 2022-04-26 2024-07-23 南京熊猫汉达科技有限公司 一种卫星通信智能组网装置及方法
CN114944988B (zh) * 2022-05-12 2024-07-12 重庆金美通信有限责任公司 一种基于设备云平台的通信网络训练方法
CN116073889B (zh) * 2023-02-06 2023-09-01 中国科学院微小卫星创新研究院 一种基于语义内容的卫星通信网络架构
CN116865843B (zh) * 2023-09-05 2023-12-26 武汉能钠智能装备技术股份有限公司 一种卫星系统卫星间链路分配系统及方法
CN116938323B (zh) * 2023-09-18 2023-11-21 中国电子科技集团公司第五十四研究所 一种基于强化学习的卫星转发器资源分配方法
CN118409869B (zh) * 2024-07-01 2024-10-18 之江实验室 星云运算资源分配方法、装置、计算机设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2582165B (en) * 2019-03-13 2023-04-05 Airbus Defence & Space Ltd Managing satellite bearer resources
CN111600643A (zh) * 2020-04-09 2020-08-28 中国电子科技集团公司电子科学研究院 一种卫星通信资源调度方法、装置存储介质

Also Published As

Publication number Publication date
CN113824489A (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
CN113824489B (zh) 基于深度学习的卫星网络资源动态分配方法、系统及装置
US11003507B2 (en) Mapreduce job resource sizing using assessment models
CN111444009B (zh) 一种基于深度强化学习的资源分配方法及装置
CN111064633B (zh) 一种云边协同电力信息通信设备自动化测试资源分配方法
CN113037877B (zh) 云边端架构下时空数据及资源调度的优化方法
US20230104220A1 (en) Radio resource allocation
CN112084035B (zh) 一种基于蚁群算法的任务调度方法及系统
CN111258735A (zh) 一种支持用户QoS感知的深度学习任务调度方法
CN113687875B (zh) 一种车联网中车辆任务卸载方法及装置
CN105407162A (zh) 一种基于SLA服务等级的云计算Web应用资源负载均衡算法
Ibn-Khedher et al. Edge computing assisted autonomous driving using artificial intelligence
CN110866602A (zh) 一种集成多任务模型的方法和装置
CN110795217A (zh) 一种基于资源管理平台的任务分配方法及系统
Badri et al. A sample average approximation-based parallel algorithm for application placement in edge computing systems
US11513866B1 (en) Method and system for managing resource utilization based on reinforcement learning
CN109379747B (zh) 无线网络多控制器部署和资源分配方法和装置
Bensalem et al. Scaling Serverless Functions in Edge Networks: A Reinforcement Learning Approach
CN116187738B (zh) 一种基于执行顺序和位置分布的工作包自动生成方法
KR102336297B1 (ko) 공유 ｇｐｕ 클러스터를 위한 분산 딥러닝 작업 스케줄링 방법 및 이를 기록한 컴퓨터 판독 가능 기록매체
CN117149410A (zh) 一种基于ai智能模型训练调度指挥监控系统
CN117014389A (zh) 算网资源配置方法及系统、电子设备、存储介质
CN116149855A (zh) 一种微服务架构下中性能资源成本优化方法及系统
CN115866687A (zh) 一种车载边缘计算中服务协同缓存方法
Vilà et al. Impact analysis of training in deep reinforcement learning-based radio access network slicing
CN113301583B (zh) 网络切片的重映射方法、装置以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Dynamic Resource Allocation Method, System, and Device for Satellite Networks Based on Deep Learning

Granted publication date: 20220318

Pledgee: Bank of Nanjing Co.,Ltd. Jiangning sub branch

Pledgor: Kairui Xingtong information technology (Nanjing) Co.,Ltd.

Registration number: Y2024980001617

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Granted publication date: 20220318

Pledgee: Bank of Nanjing Co.,Ltd. Jiangning sub branch

Pledgor: Kairui Xingtong information technology (Nanjing) Co.,Ltd.

Registration number: Y2024980001617