CN108989099A - 基于软件定义天地一体化网络的联合资源分配方法和系统 - Google Patents
基于软件定义天地一体化网络的联合资源分配方法和系统 Download PDFInfo
- Publication number
- CN108989099A CN108989099A CN201810707558.1A CN201810707558A CN108989099A CN 108989099 A CN108989099 A CN 108989099A CN 201810707558 A CN201810707558 A CN 201810707558A CN 108989099 A CN108989099 A CN 108989099A
- Authority
- CN
- China
- Prior art keywords
- state
- model
- resource allocation
- software
- output value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004891 communication Methods 0.000 claims abstract description 39
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 238000003062 neural network model Methods 0.000 claims abstract description 10
- 238000013468 resource allocation Methods 0.000 claims description 91
- 230000009471 action Effects 0.000 claims description 74
- 230000007704 transition Effects 0.000 claims description 45
- 239000011159 matrix material Substances 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 239000004576 sand Substances 0.000 claims description 3
- 239000000872 buffer Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 2
- 101100508416 Caenorhabditis elegans ifd-1 gene Proteins 0.000 description 1
- 241000218645 Cedrus Species 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000011541 reaction mixture Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例提供一种基于软件定义天地一体化网络的联合资源分配方法和系统，分配方法包括：将软件定义天地一体化网络的状态空间中的任一状态输入至训练好的联合资源分配模型中，获取任一状态的每一动作对应的输出值，其中，任一状态包括若干个动作，联合资源分配模型为深度学习神经网络模型，状态空间与软件定义天地一体化网络的通信资源维度、缓存资源维度和计算资源维度相关；执行分配动作，完成联合资源分配，其中，分配动作为每一动作对应的输出值中最大输出值对应的动作。本发明通过设置联合资源分配模型考虑了三个维度进行联合资源分配，与其余只考虑单个维度的方案对比，得到的资源利用率最大，具有实用性。
Description
技术领域
本发明实施例涉及深度学习技术领域，更具体地，涉及一种基于软件定义天地一体化网络的联合资源分配方法和系统。
背景技术
随着空间任务复杂度的逐渐增加，单一的空间网络已经不能满足用户的QoS需求，因此越来越多的研究开始关注软件定义天地一体化网络(STINs)的研究。STINs需要多种多样的信息技术和信息资源的支持，这些技术和资源包括通信资源、缓存资源、计算资源这三个维度。其中，通信技术包括SDN、NFV等；缓存技术包括网络内缓存；计算技术包括雾计算、MEC等。这三个维度的资源在STINs中协作共存，共同完成用户的请求。
然而，在传统的STINs研究中的资源分配方法只考虑了其中某一个维度的资源，使得只能达到某一维度资源分配的局部最优，不能达到多维度资源分配的全局最优解。而当考虑多个资源维度时，资源分配算法的复杂度将急剧增加，传统的算法将很难实现分配任务。
发明内容
针对现有技术存在的问题，本发明实施例提供一种基于软件定义天地一体化网络的联合资源分配方法和系统。
本发明实施例提供一种基于软件定义天地一体化网络的联合资源分配方法，包括：将所述软件定义天地一体化网络的状态空间中的任一状态输入至训练好的联合资源分配模型中，获取所述任一状态的每一动作对应的输出值，其中，所述任一状态包括若干个动作，所述联合资源分配模型为深度学习神经网络模型，所述状态空间与所述软件定义天地一体化网络的通信资源维度、缓存资源维度和计算资源维度相关；执行分配动作，完成联合资源分配，其中，所述分配动作为每一动作对应的输出值中最大输出值对应的动作。
本发明实施例提供一种基于软件定义天地一体化网络的联合资源分配系统，包括：获取输出值模块，用于将所述软件定义天地一体化网络的状态空间中的任一状态输入至训练好的联合资源分配模型中，获取所述任一状态的每一动作对应的输出值，其中，所述任一状态包括若干个动作，所述联合资源分配模型为深度学习神经网络模型，所述状态空间与所述软件定义天地一体化网络的通信资源维度、缓存资源维度和计算资源维度相关；分配模块，用于执行分配动作，完成联合资源分配，其中，所述分配动作为每一动作对应的输出值中最大输出值对应的动作。
本发明实施例提供一种基于软件定义天地一体化网络的联合资源分配设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述分配方法。
本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述分配方法。
本发明实施例提供的基于软件定义天地一体化网络的联合资源分配方法和系统，通过设置联合资源分配模型，考虑了三个维度进行联合资源分配，与其余只考虑单个维度的方案对比，得到的资源利用率最大，具有实用性；通过设置执行输出值中最大输出值对应的动作，能够使得资源分配更加合理可用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于软件定义天地一体化网络的联合资源分配方法实施例的流程图；
图2为本发明基于软件定义天地一体化网络的联合资源分配系统实施例的模块图；
图3为本发明实施例中的基于软件定义天地一体化网络的联合资源分配设备的框架示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中提出的基于软件定义天地一体化网络的联合资源分配方法是基于如下架构实现的：
首先包括物理资源层，该层中有网络中的全部物理资源，包括通信资源(来自LEO、基站和IAN的通信能力)、缓存资源(来自内容缓存器的缓存能力)和计算资源(来自MEC服务器的计算能力)。由于相比MEO、GEO卫星，LEO卫星距离地面较近，因此具有较强的通信能力，因此在该层中，我们只考虑LEO卫星的通信资源。在控制层的管理下，可以将该层的物理资源虚拟化为通信资源池、缓存资源池、计算资源池，并在控制器的管理下动态统一调度。
接下来为控制层，由于具有较大的覆盖范围和较强的性能，该架构的控制能力主要部署在MEO、GEO和地面控制系统上，形成物理上分布的、但逻辑上集中的控制层。该层主要具有两种逻辑功能：a)对底层资源的抽象功能，分别包括对通信资源的抽象功能、对缓存资源的抽象功能、对计算资源的抽象功能；b)对资源的控制和管理功能，分别包括资源切片功能、资源分配功能、资源管理功能。根据应用层的用户请求，控制层对底层的通信资源、缓存资源、计算资源进行联合分配，从而高效的完成用户请求。
最后是应用层，作为网络架构的最顶层，应用层可以实现遥感、导航、通信和监控等功能。并且由于软件定义天地一体化网络在网络操作和升级上都存在一定的难度，因此该层还提供的网络操作和升级接口，便于网络管理者的相关操作。
基于上述架构，图1为本发明基于软件定义天地一体化网络的联合资源分配方法实施例的流程图，如图1所示，包括：S101、将所述软件定义天地一体化网络的状态空间中的任一状态输入至训练好的联合资源分配模型中，获取所述任一状态的每一动作对应的输出值，其中，所述任一状态包括若干个动作，所述联合资源分配模型为深度学习神经网络模型，所述状态空间与所述软件定义天地一体化网络的通信资源维度、缓存资源维度和计算资源维度相关；S102、执行分配动作，完成联合资源分配，其中，所述分配动作为每一动作对应的输出值中最大输出值对应的动作。
具体地，在步骤S101中，软件定义天地一体化网络的状态空间中包括若干个状态，每一状态包括若干个动作，每一动作对应于一个训练好的联合资源分配模型的输出值。
在步骤S102中，在任一状态的多个输出值中，找出最大的输出值，执行该最大的输出值对应的输入的动作，此动作即为分配动作，完成联合资源分配。
本发明实施例提供的基于软件定义天地一体化网络的联合资源分配方法和系统，通过设置联合资源分配模型考虑了三个维度进行联合资源分配，与其余只考虑单个维度的方案对比，得到的资源利用率最大，具有实用性；通过设置执行输出值中最大输出值对应的动作，能够使得资源分配更加合理可用。
基于上述实施例，所述训练好的联合资源分配模型通过如下步骤获取：将所述软件定义天地一体化网络的状态空间中的所有状态逐一输入至未训练的联合资源分配模型中，获取所述所有状态的每一动作对应的训练输出值；获取所述所有状态的每一动作对应的训练输出值与预设输出值的差距，通过减小所述差距获取收敛的联合资源分配模型，并将所述收敛的联合资源分配模型作为所述训练好的联合资源分配模型，其中，所述预设输出值通过回报函数获取。
具体地，在差距减小到最小时，联合资源分配模型是收敛的，此时的收敛的联合资源分配模型为训练好的联合资源分配模型。
而关于回报函数：
拟采用系统管理者的联合最大收益作为深度强化学习的回报函数，一方面系统管理者需要租用频谱和回传带宽、内容缓存器和计算服务器等；另一方面，系统管理者向用户收取向其提供服务的相关费用，包括用户接入网络的费用、为用户提供内容的费用和为用户提供计算服务的费用。这两方面费用的叠加，将是软件定义天地一体化网络最终的联合收益。
具体来说，系统管理者需要租用频谱和回传带宽等，并将其分配给各个接入点，针对接入点k租用带宽的花费定义为δk/Hz；系统管理者需要支付在计算服务器上进行计算任务的费用，针对计算服务器m需要支付的费用为ηm/焦耳；同样，租用内容缓存器的费用为ζc/缓存空间。
另一方面，系统管理者需要向用户收取向其提供服务的费用：用户接入网络收取的费用为τu/bps，为用户提供计算服务收取的费用为φu/bps，由于内容缓存功能的存在会节省用户的回传带宽，为用户提供内容缓存收取的费用为κu/bps。
综上可知，回报函数为：
基于上述实施例，所述将所述软件定义天地一体化网络的状态空间中的所有状态逐一输入至未训练的联合资源分配模型中，获取所述所有状态的每一动作对应的训练输出值，之前还包括：基于所述软件定义天地一体化网络的通信资源维度模型的第一状态转移矩阵、缓存资源维度模型的第二状态转移矩阵以及计算资源维度模型的第三状态转移矩阵，获取所述软件定义天地一体化网络的状态空间。
具体地，在将所述软件定义天地一体化网络的状态空间中的所有状态逐一输入至未训练的联合资源分配模型中，获取所述所有状态的每一动作对应的训练输出值之前，需获取通信资源维度模型、缓存资源维度模型以及计算资源维度模型。并基于通信资源维度模型获取第一状态转移矩阵，基于缓存资源维度模型获取第二状态转移矩阵以及基于计算资源维度模型获取第三状态转移矩阵。
基于上述实施例，所述基于所述软件定义天地一体化网络的通信资源维度模型的第一状态转移矩阵、缓存资源维度模型的第二状态转移矩阵以及计算资源维度模型的第三状态转移矩阵，获取所述软件定义天地一体化网络的状态空间，之前还包括：建立所述软件定义天地一体化网络的通信资源维度模型、缓存资源维度模型以及计算资源维度模型；根据所述通信资源维度模型获取第一状态转移矩阵，并且，根据所述缓存资源维度模型获取第二状态转移矩阵，并且，根据所述计算资源维度模型获取第三状态转移矩阵。
基于上述实施例，所述软件定义天地一体化网络的状态空间通过下式表示：
其中，χu(t)为t时刻的状态空间，为t时刻第u个用户和第K个卫星的通信信噪比，为t时刻第M个节点分配给第u个用户的计算能力，为t时刻第u个用户请求的内容在第C个缓存中是否存在。
需要说明的是，
基于上述实施例，所述第一状态转移矩阵通过下式表示：
其中，为第一状态转移矩阵，为第一状态转移概率，gs为第t个时刻之前的一个状态，hs为第t个时刻之后的一个状态，t代表第t个时刻，L为通信资源维度模型的马尔科夫状态空间的元素值，k代表第k个卫星，u代表第u个用户。
具体地，将用户和接入节点之间的信道建模为有限状态的马尔科夫信道模型(finite-state Markov channels，FSMC)。在FSMC模型中，我们利用用户收到的SNR来代表当前信道的状态，因此用户u收到来自节点k信号的信噪比可以建模为随机变量我们将随机变量的值离散化到L个状态值中，即：如果则为D0，如果则为D1，...，如果则为DL-1。因此形成了L个元素的马尔科夫状态空间：D＝{D0，D1，...，DL-1}。并且在时隙t时，用户u和节点k之间的信道比为因此的转移状态矩阵可以表示成上述第一状态转移矩阵所示。
需要说明的是，
假设表示节点k分给用户u的带宽，节点k与用户之间的频谱效率表示为表示当前用户u和节点k的连接情况，当表示用户u和节点k相连，可以进行通信；当表示用户u和节点k，不相连不能进行通信，且同一时隙t用户u有且只有与一个节点相连并进行通信。
所述第二状态转移矩阵通过下式表示：
其中，Γi(t)为第二状态转移矩阵，为第二状态转移概率，vs为第t个时刻之前的一个状态，ws为第t个时刻之后的一个状态，i为第i个内容，t代表第t个时刻。
具体地，假设系统中有I个内容，对于内容i，i∈1，2，...，I，在t时刻的平均请求速率为：
λi(t)＝β/ρiα；
式中，i表示第i个流行的内容，假设这I个内容按照参数为β的柏松过程到达，内容的请求概率服从Zipf-like分布，因此内容i被请求的概率为1/ρiα，并且α是Zipf分布的参数，0＜α＜1。
内容缓存器定期地从服务器中缓存内容，用户u请求的内容是否存储在内容缓存器中，可以建模为随机变量ξi。因此缓存状态可以建模为两状态的马尔科夫链，状态0表示内容i没有被缓存；状态1表示内容i被缓存，状态空间可以表示为关于内容i缓存状态的状态转移矩阵可以表示成上述第二状态转移矩阵所示。
需要说明的是，式中，并且
当缓存空间有限时，状态转移矩阵会随着缓存策略的不同而发生变化，例如最近最少使用(LRU，Least Recently Used)缓存策略，LRU算法根据数据的历史访问记录来进行淘汰数据，其核心思想是“如果数据最近被访问过，那么将来被访问的几率也更高”，它的缓存状态的状态转移矩阵可以表述为：
需要说明的是，式中ζi＝β-λi。
所述第三状态转移矩阵通过下式表示：
其中，为第三状态转移矩阵，为第三状态转移概率，Xs为第t个时刻之前的一个状态，ys为第t个时刻之后的一个状态，N为区间数，t为代表第t个时刻，k代表第k个节点，u代表第u个用户。
具体地，将计算任务建模为Qu＝{ou，qu}，其中，ou表示用户所需内容的大小，qu表示完成该计算任务所需要的计算资源。我们定义节点k分配给用户u的计算能力为随机变量并将其划分到N个区间中ε＝{ε0，ε1，...，εN-1}。并且在t时隙，用户u被分配的计算能力为我们将用户被分配得到的计算能力建模为马尔科夫链，并定义上述第三状态转移矩阵。
需要说明的是，并且xs，ys∈ε。
针对计算任务Qu在k处的计算时间可以表示为因此计算效率为：
还需说明的是，本发明实施例中的动作的空间定义为：
进行资源分配的目的在于选择哪个节点为用户提供通信服务、选择哪个计算服务器为用户提供计算任务、选择哪个缓存器来缓存用户所请求的内容，因此动作空间将包括上述3个方面的内容。
本发明实施例考虑了三个维度，再进行联合资源分配，与其余只考虑单个维度的方案对比，得到的资源利用率最大，具有实用性。另外随着训练次数不断增加，平均资源利用率逐渐平稳，体现了深度网络的收敛性。
下面通过一个具体的实例来进一步地说明本发明实施例中的根据分配动作执行联合资源分配的过程：例如在某地区发生了航海事故，多个地区国家的用户希望观看事故发生的过程和事故现场图，因此关于这一内容，用户上传内容请求，与之关联的介入节点检查是否缓存有该内容，如果有，在检查该内容的版本格式是否与用户的设备相匹配，如果匹配直接回复用户；如果不匹配，建立相应的计算任务，选择卸载到哪个边缘计算器上进行解码，解码结束后回复用户。如果该内容未被缓存，则该介入节点查找网络中的其他缓存节点，如果找到了该内容，则还需要完成上述过程；如果未找到，则通知相应的卫星节点对事发现场的图像进行捕捉，并传回该节点，进而对用户进行回复。
图2为本发明基于软件定义天地一体化网络的联合资源分配系统实施例的模块图，如图2所示，包括：获取输出值模块201，用于将所述软件定义天地一体化网络的状态空间中的任一状态输入至训练好的联合资源分配模型中，获取所述任一状态的每一动作对应的输出值，其中，所述任一状态包括若干个动作，所述联合资源分配模型为深度学习神经网络模型，所述状态空间与所述软件定义天地一体化网络的通信资源维度、缓存资源维度和计算资源维度相关；分配模块202，用于执行分配动作，完成联合资源分配，其中，所述分配动作为每一动作对应的输出值中最大输出值对应的动作。
本发明实施例的分配系统，可用于执行图1所示的基于软件定义天地一体化网络的联合资源分配方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
基于上述实施例，所述获取输出值模块中的训练好的联合资源分配模型通过下述子模块获取：训练输出值获取子模块，用于将所述软件定义天地一体化网络的状态空间中的所有状态逐一输入至未训练的联合资源分配模型中，获取所述所有状态的每一动作对应的训练输出值；训练好模型获取子模块，用于获取所述所有状态的每一动作对应的训练输出值与预设输出值的差距，通过减小所述差距获取收敛的联合资源分配模型，并将所述收敛的联合资源分配模型作为所述训练好的联合资源分配模型，其中，所述预设输出值通过回报函数获取。
基于上述实施例，图3为本发明实施例中的基于软件定义天地一体化网络的联合资源分配设备的框架示意图。请参考图3，本发明实施例提供一种基于软件定义天地一体化网络的联合资源分配设备，包括：处理器(processor)310、通信接口(CommunicationsInterface)320、存储器(memory)330和总线340，其中，处理器310，通信接口320，存储器330通过总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行如下方法，包括：将所述软件定义天地一体化网络的状态空间中的任一状态输入至训练好的联合资源分配模型中，获取所述任一状态的每一动作对应的输出值，其中，所述任一状态包括若干个动作，所述联合资源分配模型为深度学习神经网络模型，所述状态空间与所述软件定义天地一体化网络的通信资源维度、缓存资源维度和计算资源维度相关；执行分配动作，完成联合资源分配，其中，所述分配动作为每一动作对应的输出值中最大输出值对应的动作。
本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的分配方法，例如包括：将所述软件定义天地一体化网络的状态空间中的任一状态输入至训练好的联合资源分配模型中，获取所述任一状态的每一动作对应的输出值，其中，所述任一状态包括若干个动作，所述联合资源分配模型为深度学习神经网络模型，所述状态空间与所述软件定义天地一体化网络的通信资源维度、缓存资源维度和计算资源维度相关；执行分配动作，完成联合资源分配，其中，所述分配动作为每一动作对应的输出值中最大输出值对应的动作。
基于上述实施例，本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的分配方法，例如包括：将所述软件定义天地一体化网络的状态空间中的任一状态输入至训练好的联合资源分配模型中，获取所述任一状态的每一动作对应的输出值，其中，所述任一状态包括若干个动作，所述联合资源分配模型为深度学习神经网络模型，所述状态空间与所述软件定义天地一体化网络的通信资源维度、缓存资源维度和计算资源维度相关；执行分配动作，完成联合资源分配，其中，所述分配动作为每一动作对应的输出值中最大输出值对应的动作。
本领域普通技术人员可以理解：实现上述设备实施例或方法实施例仅仅是示意性的，其中所述处理器和所述存储器可以是物理上分离的部件也可以不是物理上分离的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如U盘、移动硬盘、ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于软件定义天地一体化网络的联合资源分配方法，其特征在于，包括：
将所述软件定义天地一体化网络的状态空间中的任一状态输入至训练好的联合资源分配模型中，获取所述任一状态的每一动作对应的输出值，其中，所述任一状态包括若干个动作，所述联合资源分配模型为深度学习神经网络模型，所述状态空间与所述软件定义天地一体化网络的通信资源维度、缓存资源维度和计算资源维度相关；
执行分配动作，完成联合资源分配，其中，所述分配动作为每一动作对应的输出值中最大输出值对应的动作。
2.根据权利要求1所述的分配方法，其特征在于，所述训练好的联合资源分配模型通过如下步骤获取：
将所述软件定义天地一体化网络的状态空间中的所有状态逐一输入至未训练的联合资源分配模型中，获取所述所有状态的每一动作对应的训练输出值；
获取所述所有状态的每一动作对应的训练输出值与预设输出值的差距，通过减小所述差距获取收敛的联合资源分配模型，并将所述收敛的联合资源分配模型作为所述训练好的联合资源分配模型，其中，所述预设输出值通过回报函数获取。
3.根据权利要求2所述的分配方法，其特征在于，所述将所述软件定义天地一体化网络的状态空间中的所有状态逐一输入至未训练的联合资源分配模型中，获取所述所有状态的每一动作对应的训练输出值，之前还包括：
基于所述软件定义天地一体化网络的通信资源维度模型的第一状态转移矩阵、缓存资源维度模型的第二状态转移矩阵以及计算资源维度模型的第三状态转移矩阵，获取所述软件定义天地一体化网络的状态空间。
4.根据权利要求3所述的分配方法，其特征在于，所述基于所述软件定义天地一体化网络的通信资源维度模型的第一状态转移矩阵、缓存资源维度模型的第二状态转移矩阵以及计算资源维度模型的第三状态转移矩阵，获取所述软件定义天地一体化网络的状态空间，之前还包括：
建立所述软件定义天地一体化网络的通信资源维度模型、缓存资源维度模型以及计算资源维度模型；
根据所述通信资源维度模型获取第一状态转移矩阵，并且，根据所述缓存资源维度模型获取第二状态转移矩阵，并且，根据所述计算资源维度模型获取第三状态转移矩阵。
5.根据权利要求3所述的分配方法，其特征在于，所述软件定义天地一体化网络的状态空间通过下式表示：
其中，χu(t)为t时刻的状态空间，为t时刻第u个用户和第K个卫星的通信信噪比，为t时刻第M个节点分配给第u个用户的计算能力，为t时刻第u个用户请求的内容在第C个缓存中是否存在。
6.根据权利要求3所述的分配方法，其特征在于，所述第一状态转移矩阵通过下式表示：
其中，为第一状态转移矩阵，为第一状态转移概率，gs为第t个时刻之前的一个状态，hs为第t个时刻之后的一个状态，t代表第t个时刻，L为通信资源维度模型的马尔科夫状态空间的元素值，k代表第k个卫星，u代表第u个用户；
所述第二状态转移矩阵通过下式表示：
其中，Γi(t)为第二状态转移矩阵，为第二状态转移概率，vs为第t个时刻之前的一个状态，ws为第t个时刻之后的一个状态，i为第i个内容，t代表第t个时刻；
所述第三状态转移矩阵通过下式表示：
其中，为第三状态转移矩阵，为第三状态转移概率，xs为第t个时刻之前的一个状态，ys为第t个时刻之后的一个状态，N为区间数，t为代表第t个时刻，k代表第k个节点，u代表第u个用户。
7.一种基于软件定义天地一体化网络的联合资源分配系统，其特征在于，包括：
获取输出值模块，用于将所述软件定义天地一体化网络的状态空间中的任一状态输入至训练好的联合资源分配模型中，获取所述任一状态的每一动作对应的输出值，其中，所述任一状态包括若干个动作，所述联合资源分配模型为深度学习神经网络模型，所述状态空间与所述软件定义天地一体化网络的通信资源维度、缓存资源维度和计算资源维度相关；
分配模块，用于执行分配动作，完成联合资源分配，其中，所述分配动作为每一动作对应的输出值中最大输出值对应的动作。
8.根据权利要求7所述的分配系统，其特征在于，所述获取输出值模块中的训练好的联合资源分配模型通过下述子模块获取：
训练输出值获取子模块，用于将所述软件定义天地一体化网络的状态空间中的所有状态逐一输入至未训练的联合资源分配模型中，获取所述所有状态的每一动作对应的训练输出值；
训练好模型获取子模块，用于获取所述所有状态的每一动作对应的训练输出值与预设输出值的差距，通过减小所述差距获取收敛的联合资源分配模型，并将所述收敛的联合资源分配模型作为所述训练好的联合资源分配模型，其中，所述预设输出值通过回报函数获取。
9.一种基于软件定义天地一体化网络的联合资源分配设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的分配方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6任一所述的分配方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810707558.1A CN108989099A (zh) | 2018-07-02 | 2018-07-02 | 基于软件定义天地一体化网络的联合资源分配方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810707558.1A CN108989099A (zh) | 2018-07-02 | 2018-07-02 | 基于软件定义天地一体化网络的联合资源分配方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108989099A true CN108989099A (zh) | 2018-12-11 |
Family
ID=64539373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810707558.1A Pending CN108989099A (zh) | 2018-07-02 | 2018-07-02 | 基于软件定义天地一体化网络的联合资源分配方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108989099A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109474980A (zh) * | 2018-12-14 | 2019-03-15 | 北京科技大学 | 一种基于深度增强学习的无线网络资源分配方法 |
| CN109818669A (zh) * | 2019-01-18 | 2019-05-28 | 中国科学院空间应用工程与技术中心 | 一种基于虚拟化的卫星业务处理方法、系统和存储介质 |
| CN109831806A (zh) * | 2019-03-06 | 2019-05-31 | 西安电子科技大学 | 密集场景下面向用户优先级的基站协同缓存方法 |
| CN109936619A (zh) * | 2019-01-18 | 2019-06-25 | 中国科学院空间应用工程与技术中心 | 一种基于雾计算的空间信息网络架构、方法和可读存储介质 |
| CN109981790A (zh) * | 2019-04-03 | 2019-07-05 | 大连海事大学 | 基于边缘计算的海陆一体化无线宽带通信系统 |
| CN110247699A (zh) * | 2019-06-24 | 2019-09-17 | 中国空间技术研究院 | 一种在天地一体化网络中实现天地间资源协同调度的方法 |
| CN110730138A (zh) * | 2019-10-21 | 2020-01-24 | 中国科学院空间应用工程与技术中心 | 天基云雾计算架构的动态资源配置方法、系统和存储介质 |
| CN111510319A (zh) * | 2020-03-06 | 2020-08-07 | 重庆邮电大学 | 一种基于状态感知的网络切片资源管理方法 |
| CN111683381A (zh) * | 2020-04-28 | 2020-09-18 | 南京邮电大学 | 基于深度强化学习的端到端网络切片资源分配算法 |
| CN111970047A (zh) * | 2020-08-25 | 2020-11-20 | 桂林电子科技大学 | 一种基于强化学习的leo卫星信道分配方法 |
| CN112291793A (zh) * | 2020-12-29 | 2021-01-29 | 北京邮电大学 | 网络接入设备的资源分配方法和装置 |
| CN113992753A (zh) * | 2021-10-17 | 2022-01-28 | 南京理工大学 | 一种天地一体化卫星网络节点的智能缓存策略 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106598733A (zh) * | 2016-12-08 | 2017-04-26 | 南京航空航天大学 | 一种云计算能耗关键的三维度虚拟资源调度方法 |
| CN106685511A (zh) * | 2016-11-02 | 2017-05-17 | 北京邮电大学 | 一种空间信息网络架构 |
| US20170215160A1 (en) * | 2014-08-01 | 2017-07-27 | Sun Patent Trust | Transmission timing control for d2d communication |
-
2018
- 2018-07-02 CN CN201810707558.1A patent/CN108989099A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170215160A1 (en) * | 2014-08-01 | 2017-07-27 | Sun Patent Trust | Transmission timing control for d2d communication |
| CN106685511A (zh) * | 2016-11-02 | 2017-05-17 | 北京邮电大学 | 一种空间信息网络架构 |
| CN106598733A (zh) * | 2016-12-08 | 2017-04-26 | 南京航空航天大学 | 一种云计算能耗关键的三维度虚拟资源调度方法 |
Non-Patent Citations (1)
| Title |
|---|
| YING HE等: "Integrated Networking, Caching, and Computing for Connected Vehicles: A Deep Reinforcement Learning Approach", 《IEEE TRANSACTIONS ON VEHICULAR TECHNOLOGY》 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109474980A (zh) * | 2018-12-14 | 2019-03-15 | 北京科技大学 | 一种基于深度增强学习的无线网络资源分配方法 |
| CN109474980B (zh) * | 2018-12-14 | 2020-04-28 | 北京科技大学 | 一种基于深度增强学习的无线网络资源分配方法 |
| CN109818669B (zh) * | 2019-01-18 | 2021-04-27 | 中国科学院空间应用工程与技术中心 | 一种基于虚拟化的卫星业务处理方法、系统和存储介质 |
| CN109818669A (zh) * | 2019-01-18 | 2019-05-28 | 中国科学院空间应用工程与技术中心 | 一种基于虚拟化的卫星业务处理方法、系统和存储介质 |
| CN109936619A (zh) * | 2019-01-18 | 2019-06-25 | 中国科学院空间应用工程与技术中心 | 一种基于雾计算的空间信息网络架构、方法和可读存储介质 |
| CN109936619B (zh) * | 2019-01-18 | 2021-07-20 | 中国科学院空间应用工程与技术中心 | 一种基于雾计算的空间信息网络架构、方法和可读存储介质 |
| CN109831806A (zh) * | 2019-03-06 | 2019-05-31 | 西安电子科技大学 | 密集场景下面向用户优先级的基站协同缓存方法 |
| CN109831806B (zh) * | 2019-03-06 | 2021-07-06 | 西安电子科技大学 | 密集场景下面向用户优先级的基站协同缓存方法 |
| CN109981790A (zh) * | 2019-04-03 | 2019-07-05 | 大连海事大学 | 基于边缘计算的海陆一体化无线宽带通信系统 |
| CN110247699B (zh) * | 2019-06-24 | 2021-07-09 | 中国空间技术研究院 | 一种在天地一体化网络中实现天地间资源协同调度的方法 |
| CN110247699A (zh) * | 2019-06-24 | 2019-09-17 | 中国空间技术研究院 | 一种在天地一体化网络中实现天地间资源协同调度的方法 |
| CN110730138A (zh) * | 2019-10-21 | 2020-01-24 | 中国科学院空间应用工程与技术中心 | 天基云雾计算架构的动态资源配置方法、系统和存储介质 |
| CN111510319A (zh) * | 2020-03-06 | 2020-08-07 | 重庆邮电大学 | 一种基于状态感知的网络切片资源管理方法 |
| CN111510319B (zh) * | 2020-03-06 | 2022-07-08 | 重庆邮电大学 | 一种基于状态感知的网络切片资源管理方法 |
| CN111683381A (zh) * | 2020-04-28 | 2020-09-18 | 南京邮电大学 | 基于深度强化学习的端到端网络切片资源分配算法 |
| CN111970047A (zh) * | 2020-08-25 | 2020-11-20 | 桂林电子科技大学 | 一种基于强化学习的leo卫星信道分配方法 |
| CN111970047B (zh) * | 2020-08-25 | 2022-03-25 | 桂林电子科技大学 | 一种基于强化学习的leo卫星信道分配方法 |
| CN112291793A (zh) * | 2020-12-29 | 2021-01-29 | 北京邮电大学 | 网络接入设备的资源分配方法和装置 |
| CN112291793B (zh) * | 2020-12-29 | 2021-04-06 | 北京邮电大学 | 网络接入设备的资源分配方法和装置 |
| CN113992753A (zh) * | 2021-10-17 | 2022-01-28 | 南京理工大学 | 一种天地一体化卫星网络节点的智能缓存策略 |
| CN113992753B (zh) * | 2021-10-17 | 2022-06-10 | 南京理工大学 | 一种天地一体化卫星网络节点的智能缓存策略 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108989099A (zh) | 基于软件定义天地一体化网络的联合资源分配方法和系统 | |
| JP7355404B2 (ja) | クラウド・マイクロサービス埋め込み用自動チューナ | |
| US11153229B2 (en) | Autonomic resource partitions for adaptive networks | |
| Cao et al. | Edge federation: Towards an integrated service provisioning model | |
| Souza et al. | Towards a proper service placement in combined Fog-to-Cloud (F2C) architectures | |
| Santoro et al. | Foggy: A platform for workload orchestration in a fog computing environment | |
| US10225207B2 (en) | Managing hybrid cloud placement policies | |
| CN108833352B (zh) | 一种缓存方法及系统 | |
| CN110069341B (zh) | 边缘计算中结合功能按需配置的有依赖关系任务的调度方法 | |
| CN113055489A (zh) | 基于q学习的星地融合网络资源分配策略的实现方法 | |
| Santos et al. | Zeus: A resource allocation algorithm for the cloud of sensors | |
| CN117041330B (zh) | 一种基于强化学习的边缘微服务细粒度部署方法及系统 | |
| WO2022001941A1 (zh) | 网元管理方法、网管系统、独立计算节点、计算机设备、存储介质 | |
| CN112559135B (zh) | 一种基于QoS的容器云资源的调度方法 | |
| Lee et al. | Online optimization for low-latency computational caching in fog networks | |
| CN115914392A (zh) | 算力网络资源调度方法及系统 | |
| Zhang et al. | DeepReserve: Dynamic edge server reservation for connected vehicles with deep reinforcement learning | |
| CN115514769A (zh) | 卫星弹性互联网资源调度方法、系统、计算机设备及介质 | |
| Kafle et al. | Intelligent and agile control of edge resources for latency-sensitive IoT services | |
| Gholami et al. | Roma: Resource orchestration for microservices-based 5g applications | |
| WO2022083549A1 (zh) | 流量信号转换方法、装置、电子设备及存储介质 | |
| Zou et al. | ST-EUA: Spatio-temporal edge user allocation with task decomposition | |
| Shinkuma et al. | Data assessment and prioritization in mobile networks for real-time prediction of spatial information using machine learning | |
| Al Muktadir et al. | Multi-target classification based automatic virtual resource allocation scheme | |
| JP7367257B1 (ja) | 通信管理装置および通信管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181211 |
|
| RJ01 | Rejection of invention patent application after publication |