CN111107642A - 适于无线网络的资源分配方法、装置和系统 - Google Patents

适于无线网络的资源分配方法、装置和系统 Download PDF

Info

Publication number
CN111107642A
CN111107642A CN201911279716.9A CN201911279716A CN111107642A CN 111107642 A CN111107642 A CN 111107642A CN 201911279716 A CN201911279716 A CN 201911279716A CN 111107642 A CN111107642 A CN 111107642A
Authority
CN
China
Prior art keywords
carrier
network
resources
nodes
resource allocation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911279716.9A
Other languages
English (en)
Other versions
CN111107642B (zh
Inventor
黄洋
江志炜
吴启晖
胡田钰
王凌宇
陆逸炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Yingji Communication Technology Co.,Ltd.
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201911279716.9A priority Critical patent/CN111107642B/zh
Publication of CN111107642A publication Critical patent/CN111107642A/zh
Application granted granted Critical
Publication of CN111107642B publication Critical patent/CN111107642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/04—Wireless resource allocation
    • H04W72/044—Wireless resource allocation based on the type of the allocated resource
    • H04W72/0453—Resources in frequency domain, e.g. a carrier in FDMA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/04—Wireless resource allocation
    • H04W72/044—Wireless resource allocation based on the type of the allocated resource
    • H04W72/0473—Wireless resource allocation based on the type of the allocated resource the resource being transmission power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/56—Allocation or scheduling criteria for wireless resources based on priority criteria
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

本发明公开了一种适于无线网络的资源分配方法，包括：获取网络节点缓存中数据包的优先级信息和系统中可用载波资源信息，以业务与资源相匹配的原则，对网络中节点进行集中式的载波资源分配；根据网络中节点的载波资源分配结果，对网络中节点进行有预见性的分布式的传输功率资源分配，并迭代至收敛；根据网络中节点的载波资源和传输功率资源的分配结果，对机制进行更新。本发明能够在面对多网络节点、多种数据包类型、系统动态特性未知的情况下，有效减少节点中数据缓存中发送需求急迫的数据包累积，同时最小化传输功率资源的使用。

Description

适于无线网络的资源分配方法、装置和系统
技术领域
本发明涉及通信技术领域，具体而言涉及一种适于无线网络的资源分配方法、装置和系统。
背景技术
随着无线网络的飞速发展，用户的主要业务已从语音通信转变为视频信息等多媒体业务。无线网络飞速发展的同时也带来了诸多问题，例如网络中的节点数量迅速增加，节点的数据缓存中需要传输的数据包数量迅速增加之类的问题，数据包的类型逐渐多样化。如何正确分配载波资源，并使用较少的传输功率资源来传输节点缓存中的待发送数据包是亟待解决的问题。
然而，现有的大多数研究存在许多问题。对于多种类型的数据包(不同的生存时间和不同的数据包大小)，他们无法解决多点无线资源分配的问题。他们旨在优化无线资源分配来最大化即时效用，但是，在系统动态特性未知的情况下，当前的决策将对未来产生影响，这些研究忽略了这种影响，因此以最大化即时效用为目标作出的决策是短视的。其中一些专注于单用户无线资源分配方案，而忽略了网络中所有用户的无线资源分配，当网络中的节点数目逐渐增加时，会面临机制复杂度过高等问题。
发明内容
本发明目的在于提供一种适于无线网络的资源分配方法、装置和系统，能够在面对多网络节点、多种数据包类型、系统动态特性未知的情况下，有效减少节点中数据缓存中发送需求急迫的数据包累积，同时最小化传输功率资源的使用。
为达成上述目的，结合图1，本发明提出一种适于无线网络的资源分配方法，所述资源分配方法包括：
S101：获取网络节点缓存中数据包的优先级信息和系统中可用载波资源信息，以业务与资源相匹配的原则，对网络中节点进行集中式的载波资源分配；
S102：根据网络中节点的载波资源分配结果，对网络中节点进行有预见性的分布式的传输功率资源分配，并迭代至收敛；
S103：根据网络中节点的载波资源和传输功率资源的分配结果，对机制进行更新。
进一步的实施例中，步骤S101中，所述获取网络节点缓存中数据包的优先级信息包括以下步骤：
设网络中共存在K个节点，其中包括一个中心节点，所有节点的数据缓存中共有M个数据包；
采用符号μk,m表示第k个节点的数据缓存中第m个数据包的优先级，根据下述公式计算每个数据包的优先级：
μk,m＝xk,m/lk,m
其中，xk,m为该数据包的大小，lk,m为该数据包的剩余生存时间。
进一步的实施例中，步骤S101中，获取系统中可用载波资源信息包括以下步骤：
获取所述网络中可用载波资源的集合H；
按照集合H中可用载波资源的载波功率增益的大小顺序，对集合H重新进行排序，对排序后的可用载波资源集合H，按照载波功率增益的大小为每个载波分配一个序号，载波功率增益越大的，其序号越小，载波功率增益越小的，其序号越大，排序后的可用载波资源集合可以用符号表示为H＝{g1,g2,…,gh}，其中共有h个可用载波。
进一步的实施例中，步骤101中，所述以业务与资源相匹配的原则，对网络中节点进行集中式的载波资源分配是指，
数据包的优先级和与其匹配的载波资源的功率增益成正比，数据包的优先级越高，与其匹配的载波资源的功率增益越大。
对于所述网络中所有节点缓存中的所有数据包，其载波资源按照优先级大小在中心节点来进行集中分配，优先级较大的数据包代表在所有数据包中，该数据包需要尽快传输，因此该数据包会被分配较好的载波资源，而优先级较小的数据包代表在所有数据包中，该数据包需要不需要尽快传输，因此该数据包会被分配较差的载波资源。
进一步的实施例中，步骤S102中，所述根据网络中节点的载波资源分配结果，对网络中节点进行有预见性的分布式的传输功率资源分配，并迭代至收敛包括：
引入决策后状态来近似求解贝尔曼方程，得到决策后状态值函数，通过决策后状态值函数的不断迭代，实现策略的不断优化，直至拉格朗日乘子跳出迭代条件为止，针对所有节点的拉格朗日乘子在中心节点进行更新。
进一步的实施例中，所述贝尔曼方程满足如下等式：
Figure BDA0002316373140000021
其中，V(·)为值函数，L为拉格朗日函数，P(s′|s,a)为在状态s下，选取动作a后，到达状态s′的转移概率；π为所有可选动作的集合；
由于系统状态未知，引入决策后状态近似求解贝尔曼方程满足如下等式：
Figure BDA0002316373140000022
其中，
Figure BDA0002316373140000023
为决策后状态，
Figure BDA0002316373140000024
为决策后状态值函数，s0为初始状态。
进一步的实施例中，步骤S103中，所述根据网络中节点的载波资源和传输功率资源的分配结果，对机制进行更新是指，根据网络中节点的载波资源和传输功率资源的分配结果，对Q表进行低复杂度的更新。包括：利用虚拟体验(virtual experience)的方法在同一时隙下更新Q表中多对状态动作对的Q值，以对Q表进行更新。具体的，在一个时隙对同一动作、不同状态的Q值进行更新，加速Q表的收敛。
基于前述适于无线网络的资源分配方法，本发明还提及一种适于无线网络的资源分配装置，包括：
(1)载波分配模块：用于获取网络节点缓存中数据包的优先级信息和系统中可用载波资源信息，同时根据获取的上述信息进行载波资源的分配；
(2)功率分配模块：用于根据网络中节点的载波资源分配结果，对网络中节点进行有预见性的分布式的传输功率资源分配，同时进行拉格朗日乘子更新，并迭代至拉格朗日乘子收敛；
(3)机制更新模块：用于根据载波资源和传输功率资源的分配结果，对机制进行更新。
进一步的实施例中，所述功率分配模块还包括：
①初始化单元：用于将强化学习的各项参数以及拉格朗日乘子初始化，同时开始迭代求解；
②计算单元：用于近似求解贝尔曼方程，得到各个节点数据缓存中数据包被分配到的功率资源；
③更新单元：用于在得到节点数据缓存中数据包被分配到的功率资源之后，在中心节点对所有拉格朗日乘子进行更新；
④迭代单元：用于计算单元和更新单元完成之后，更新当前迭代后的解，并进行下次迭代，即重新返回至计算单元重复上述操作，直至满足迭代停止要求；
⑤输出单元：用于获得分配的传输功率资源，并输出到机制更新模块。
基于前述适于无线网络的资源分配方法，本发明还提及一种适于无线网络的资源分配系统，所述资源分配系统包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序；所述处理器执行所述计算机程序时实现如前述适于无线网络的资源分配方法的步骤。
以上本发明的技术方案，与现有相比，其显著的有益效果在于：
通过该方法中基于强化学习的部分分布式资源分配机制，在系统动态特性未知、具有的多种数据包类型情况下，解决无线网络中多节点的资源分配问题，同时将无线资源与业务相匹配，减少了节点缓存中数据包的累积和数据包的丢包率。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：
图1是本发明提供的实施例一中的适于无线网络的资源分配方法流程示意图。
图2是本发明提供的资源分配方法基于的网络节点的场景示意图。
图3为本发明提供的实施例二中的资源分配方法流程示意图。
图4为本发明提供的实施例三中的适于无线网络的资源分配装置结构示意图。
图5为本发明提供的实施例四中的适于无线网络的资源分配装置结构示意图。
图6为本发明提供的实施例五中的适于无线网络的资源分配系统的结构示意图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
实施例一
结合图1，本发明提及一种适于无线网络的资源分配方法，所述资源分配方法包括：
S101、获取网络节点缓存中数据包的优先级信息和系统中可用载波资源信息，以业务与资源相匹配的原则，对网络中节点进行集中式的载波资源分配。
在本实施例中，对于所述网络节点缓存中数据包的优先级，该优先级由其对应数据包的剩余生存时间和数据包大小共同决定，而获取系统中可用的载波资源信息需要先获取相应的载波功率增益，之后再对所有的载波功率增益进行排序；进一步地，根据所有数据包的优先级和排序后的载波资源信息，以业务与资源相匹配的原则，进行载波资源分配，具体为，优先级更高的数据包被分配功率增益更大的载波资源。
S102、根据网络中节点的载波资源分配结果，对网络中节点进行有预见性的分布式的传输功率资源分配，并迭代至收敛。
具体的，为引入决策后状态，近似求解bellman方程得到决策后状态值函数，通过决策后状态值函数的不断迭代，实现策略的不断优化，当拉格朗日乘子满足跳出迭代的条件时，退出迭代过程，所有节点的拉格朗日乘子在中心节点进行更新。
S103、根据网络中节点的载波资源和传输功率资源的分配结果，对机制进行更新。
根据载波资源和传输功率资源的分配结果，对Q表进行更新，具体的，我们使用虚拟体验(virtual experience)的方法在同一时隙下对同一动作，不同状态的Q值进行更新，加速Q表的收敛。
图2是本发明提供的资源分配方法基于的网络节点的场景示意图。即考虑无线网络中的节点，进行载波资源和传输功率资源分配的场景。
实施例二
结合图3，本发明提及的适于无线网络的资源分配方法的整个流程为：
S301、确定系统中的可用载波集合H，节点数目K和总待发数据包数目M。
S302、获取每个节点数据缓存中数据包的优先级信息，数据包的优先级可以用未发送数据的大小和剩余生存时间倒数的乘积来表示；同时将载波集合中的可用载波，按照载波功率增益从大到小重新排序。
S303、优先级较大的数据包代表在所有数据包中，该数据包需要尽快传输，因此该数据包会被分配较好的载波资源，而优先级较小的数据包代表在所有数据包中，该数据包需要不需要尽快传输，因此该数据包会被分配较差的载波资源。
S304、为上述数据包进行前瞻性的传输功率资源分配，同时在中心节点进行拉格朗日乘子的更新。
S305、不断迭代进行步骤S304至拉格朗日乘子收敛，退出迭代求解前瞻性的传输功率资源分配的过程。
S306、根据网络中节点的载波资源和传输功率资源的分配结果，对机制进行低复杂度的更新。
实施例三
结合图4，本发明提及一种适于无线网络的资源分配装置，包括载波分配模块S401、功率分配模块S402和功率分配模块S403。其中：
载波分配模块S401，用于获取网络节点数据缓存中数据包的优先级信息和系统中可用载波资源信息，同时根据获取的上述信息进行载波资源的分配。
功率分配模块S402，用于根据网络中节点的载波资源分配结果，对网络中节点进行有预见性的分布式的传输功率资源分配，同时进行拉格朗日乘子更新，并迭代至拉格朗日乘子收敛。
功率分配模块S403，用于根据载波资源和传输功率资源的分配结果，对机制进行更新。
本实施例的资源分配装置可以执行图1所示方法实施例的技术方案，其实现原理类似，此处不再赘述。
实施例四
结合图5，本发明提及一种适于无线网络的资源分配装置，包括载波分配模块S501、功率分配模块S502和功率分配模块S503。其中：
载波分配模块S501，用于获取网络节点数据缓存中数据包的优先级信息和系统中可用载波资源信息，同时根据获取的上述信息进行载波资源的分配。
功率分配模块S502，用于根据网络中节点的载波资源分配结果，对网络中节点进行有预见性的分布式的传输功率资源分配，同时进行拉格朗日乘子更新，并迭代至拉格朗日乘子收敛。
功率分配模块S503，用于根据载波资源和传输功率资源的分配结果，对机制进行更新。
在此基础上，该资源分配装置还包括：获取模块S504与迭代模块S505，其中：
获取模块S504，用于获得数据包的优先级信息和载波功率增益，同时对数据包进行载波资源分配。
具体地，获取模块S504包括：优先级获取单元S601，载波功率增益获取单元S602，载波分配单元S603，其中：
优先级获取单元S601，用于获取网络中所有数据包的优先级信息，对于所述的网络中共有K个节点，其中包括一个中心节点，所有节点的数据缓存中共有M个数据包，用符号μk,m表示第k个节点的数据缓存中第m个数据包的优先级，若该数据包的大小为xk,m，剩余生存时间为lk,m，则所述数据包的优先级满足公式μk,m＝xk,m/lk,m。
载波功率增益获取单元S602：用于获取载波功率增益的大小并排序，根据所述网络中可用载波资源的集合H，按照集合中可用载波资源的载波功率增益的大小顺序，对集合H重新进行排序，对排序后的可用载波资源集合H，按照载波功率增益的大小为每个载波分配一个序号，载波功率增益越大的，其序号越小，载波功率增益越小的，其序号越大，排序后的可用载波资源集合可以用符号表示为H＝{g1,g2,…,gh}，其中共有h个可用载波。
载波分配单元S603：用于将载波资源合理的分配给相应数据包，对于所述网络中所有节点的数据缓存中所有的数据包，其载波资源按照各个数据包的优先级大小在中心节点来进行集中分配，优先级较大的数据包代表在所有数据包中，该数据包需要尽快传输，因此该数据包会被分配较好的载波资源，而优先级较小的数据包代表在所有数据包中，该数据包需要不需要尽快传输，因此该数据包会被分配较差的载波资源。
具体地，迭代模块S505包括：初始化单元S604，计算单元S605，更新单元S606，迭代单元S607，输出单元S608，其中；
初始化单元S604：用于将强化学习的各项参数以及拉格朗日乘子初始化，同时开始迭代求解。
计算单元S605：用于近似求解贝尔曼方程，得到各个节点数据缓存中数据包被分配到的功率资源。
更新单元S606：用于在得到节点数据缓存中数据包被分配到的功率资源之后，在中心节点对所有拉格朗日乘子进行更新。
迭代单元S607：用于计算单元和更新单元完成之后，更新当前迭代后的解，并进行下次迭代，即重新返回至计算单元重复上述操作，直至满足迭代停止要求。
输出单元S608：用于获得分配的传输功率资源，并输出到机制更新模块。
本实施例地资源分配装置可以执行图1所示方法实施例的技术方案，其实现原理相类似，此处不再赘述。
实施例五
基于前述适于无线网络的资源分配方法，本发明还提及一种适于无线网络的资源分配系统，所述资源分配系统包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序；所述处理器执行所述计算机程序时实现如前述适于无线网络的资源分配方法的步骤。
如图6所示，该适于无线网络的资源分配系统包括：存储器701和处理器7 02，其中：
存储器701，用于存储可实现如前述适于无线网络的资源分配方法的步骤的计算机程序。
处理器702，与存储器701耦合，该处理器702被配置为调用并执行存储在所存储器701中的计算机程序，具体为：
处理器702，具体用于获取网络节点缓存中数据包的优先级信息和系统中可用载波资源信息，包括：用于对于所述的网络中共有个K节点，其中包括一个中心节点，每个节点的数据缓存中共有M个数据包，H代表所述网络中可用载波资源的集合，用符号μk,m表示第k个节点的数据缓存中第m个数据包的优先级，若该数据包的大小为xk,m，剩余生存时间为lk,m，则所述数据包的优先级满足公式μk,m＝xk,m/lk,m。
进一步地，处理器702，具体用于以业务与资源相匹配的原则，对网络中节点进行集中式的载波资源分配，包括：
所述处理器用于获取载波功率增益的大小并排序，根据所述网络中可用载波资源的集合H，按照集合中可用载波资源的载波功率增益的大小顺序，对集合H重新进行排序，对排序后的可用载波资源集合H，按照载波功率增益的大小为每个载波分配一个序号，载波功率增益越大的，其序号越小，载波功率增益越小的，其序号越大，排序后的可用载波资源集合可以用符号表示为H＝{g1,g2,…,gh}，其中共有h个可用载波。
所述处理器用于将载波资源合理的分配给相应数据包，对于所述网络中所有节点的数据缓存中所有的数据包，其载波资源按照各个数据包的优先级大小在中心节点来进行集中分配，优先级较大的数据包代表在所有数据包中，该数据包需要尽快传输，因此该数据包会被分配较好的载波资源，而优先级较小的数据包代表在所有数据包中，该数据包需要不需要尽快传输，因此该数据包会被分配较差的载波资源。
处理器702，具体用于进行有预见性的分布式的传输功率资源分配，包括：所述处理器用于通过引入决策后动态来近似求解贝尔曼方程，贝尔曼方程满足如下等式：
Figure BDA0002316373140000071
其中V(·)为值函数，L为拉格朗日函数，P(s′|s,a)为在状态s下，选取动作a后，到达状态s′的转移概率，π为所有可选动作的集合。
由于系统状态未知，引入决策后状态近似求解贝尔曼方程满足如下等式：
Figure BDA0002316373140000072
其中，
Figure BDA0002316373140000073
为决策后状态，
Figure BDA0002316373140000074
为决策后状态值函数，s0为初始状态。
处理器702，具体用于根据网络中节点的载波资源和传输功率资源的分配结果，对机制进行更新，包括：利用虚拟体验(virtual experience)的方法在同一时隙下更新Q表中多对状态动作对的Q值，具体做法为，在一个时隙对同一动作下，对不同状态的Q值进行更新。
本领域普通技术人员可以理解：实施上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件完成，前述的程序可以存储与一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定义在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种适于无线网络的资源分配方法，其特征在于，所述资源分配方法包括：
S101：获取网络节点缓存中数据包的优先级信息和系统中可用载波资源信息，以业务与资源相匹配的原则，对网络中节点进行集中式的载波资源分配；
S102：根据网络中节点的载波资源分配结果，对网络中节点进行有预见性的分布式的传输功率资源分配，并迭代至收敛；
S103：根据网络中节点的载波资源和传输功率资源的分配结果，对机制进行更新。
2.根据权利要求1所述的适于无线网络的资源分配方法，其特征在于，步骤S101中，所述获取网络节点缓存中数据包的优先级信息包括以下步骤：
设网络中共存在K个节点，其中包括一个中心节点，所有节点的数据缓存中共有M个数据包；
采用符号μk,m表示第k个节点的数据缓存中第m个数据包的优先级，根据下述公式计算每个数据包的优先级：
μk,m＝xk,m/lk,m
其中，xk,m为该数据包的大小，lk,m为该数据包的剩余生存时间。
3.根据权利要求1所述的适于无线网络的资源分配方法，其特征在于，步骤S101中，获取系统中可用载波资源信息包括以下步骤：
获取所述网络中可用载波资源的集合H；
按照集合H中可用载波资源的载波功率增益的大小顺序，对集合H重新进行排序，对排序后的可用载波资源集合H，按照载波功率增益的大小为每个载波分配一个序号，载波功率增益越大的，其序号越小，载波功率增益越小的，其序号越大，排序后的可用载波资源集合可以用符号表示为H＝{g1,g2,…,gh}，其中共有h个可用载波。
4.根据权利要求1所述的适于无线网络的资源分配方法，其特征在于，步骤101中，所述以业务与资源相匹配的原则，对网络中节点进行集中式的载波资源分配是指，
数据包的优先级和与其匹配的载波资源的功率增益成正比，数据包的优先级越高，与其匹配的载波资源的功率增益越大。
5.根据权利要求1所述的适于无线网络的资源分配方法，其特征在于，步骤S102中，所述根据网络中节点的载波资源分配结果，对网络中节点进行有预见性的分布式的传输功率资源分配，并迭代至收敛包括：
引入决策后状态来近似求解贝尔曼方程，得到决策后状态值函数，通过决策后状态值函数的不断迭代，实现策略的不断优化，直至拉格朗日乘子跳出迭代条件为止，针对所有节点的拉格朗日乘子在中心节点进行更新。
6.根据权利要求5所述的适于无线网络的资源分配方法，其特征在于，所述贝尔曼方程满足如下等式：
Figure FDA0002316373130000021
其中，V(·)为值函数，L为拉格朗日函数，P(s′|s,a)为在状态s下，选取动作a后，到达状态s′的转移概率；π为所有可选动作的集合；
由于系统状态未知，引入决策后状态近似求解贝尔曼方程满足如下等式：
Figure FDA0002316373130000022
其中，
Figure FDA0002316373130000024
为决策后状态，
Figure FDA0002316373130000023
为决策后状态值函数，s0为初始状态。
7.根据权利要求1所述的适于无线网络的资源分配方法，其特征在于，步骤S103中，所述根据网络中节点的载波资源和传输功率资源的分配结果，对机制进行更新是指，利用虚拟体验的方法在同一时隙下更新Q表中多对状态动作对的Q值，以对Q表进行更新，包括以下步骤：
在一个时隙对同一动作、不同状态的Q值进行更新。
8.一种适于无线网络的资源分配装置，其特征在于，包括：
载波分配模块：用于获取网络节点缓存中数据包的优先级信息和系统中可用载波资源信息，同时根据获取的上述信息进行载波资源的分配；
功率分配模块：用于根据网络中节点的载波资源分配结果，对网络中节点进行有预见性的分布式的传输功率资源分配，同时进行拉格朗日乘子更新，并迭代至拉格朗日乘子收敛；
机制更新模块：用于根据载波资源和传输功率资源的分配结果，对机制进行更新。
9.根据权利要求8所述的适于无线网络的资源分配装置，其特征在于，所述功率分配模块还包括：
初始化单元：用于将强化学习的各项参数以及拉格朗日乘子初始化，同时开始迭代求解；
计算单元：用于近似求解贝尔曼方程，得到各个节点数据缓存中数据包被分配到的功率资源；
更新单元：用于在得到节点数据缓存中数据包被分配到的功率资源之后，在中心节点对所有拉格朗日乘子进行更新；
迭代单元：用于计算单元和更新单元完成之后，更新当前迭代后的解，并进行下次迭代，即重新返回至计算单元重复上述操作，直至满足迭代停止要求；
输出单元：用于获得分配的传输功率资源，并输出到机制更新模块。
10.一种适于无线网络的资源分配系统，其特征在于，所述资源分配系统包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序；所述处理器执行所述计算机程序时实现如权利要求1-7任意一项中所述资源分配方法的步骤。
CN201911279716.9A 2019-12-13 2019-12-13 适于无线网络的资源分配方法、装置和系统 Active CN111107642B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911279716.9A CN111107642B (zh) 2019-12-13 2019-12-13 适于无线网络的资源分配方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911279716.9A CN111107642B (zh) 2019-12-13 2019-12-13 适于无线网络的资源分配方法、装置和系统

Publications (2)

Publication Number Publication Date
CN111107642A true CN111107642A (zh) 2020-05-05
CN111107642B CN111107642B (zh) 2022-04-15

Family

ID=70421923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911279716.9A Active CN111107642B (zh) 2019-12-13 2019-12-13 适于无线网络的资源分配方法、装置和系统

Country Status (1)

Country Link
CN (1) CN111107642B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101730109A (zh) * 2009-11-09 2010-06-09 中国人民解放军理工大学 基于博弈论的正交频分多址接入中继系统资源分配方法
EP2242189A1 (en) * 2009-04-13 2010-10-20 Samsung Electronics Co., Ltd. Apparatus and method for controlling power in distributed multiple input multiple output wireless communication system
CN103117844A (zh) * 2013-02-02 2013-05-22 南京邮电大学 基于中继的多小区正交频分复用系统资源分配方法
CN103220114A (zh) * 2013-04-24 2013-07-24 南京邮电大学 一种多小区中继ofdma系统中分布式资源分配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2242189A1 (en) * 2009-04-13 2010-10-20 Samsung Electronics Co., Ltd. Apparatus and method for controlling power in distributed multiple input multiple output wireless communication system
CN101730109A (zh) * 2009-11-09 2010-06-09 中国人民解放军理工大学 基于博弈论的正交频分多址接入中继系统资源分配方法
CN103117844A (zh) * 2013-02-02 2013-05-22 南京邮电大学 基于中继的多小区正交频分复用系统资源分配方法
CN103220114A (zh) * 2013-04-24 2013-07-24 南京邮电大学 一种多小区中继ofdma系统中分布式资源分配方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
IMTIAZ AHMED等: "Stochastic User Scheduling and Power Control for", 《2015 IEEE 26TH ANNUAL INTERNATIONAL SYMPOSIUM ON PERSONAL, INDOOR, AND MOBILE RADIO COMMUNICATIONS (PIMRC)》 *
NICHOLAS MASTRONARDE等: "Reinforcement Learning for Energy-Efficient", 《 2016 IEEE GLOBAL COMMUNICATIONS CONFERENCE (GLOBECOM)》 *
徐雷: "OFDM无线网络资源分配技术研究", 《中国博士学位论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
CN111107642B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN113950066B (zh) 移动边缘环境下单服务器部分计算卸载方法、系统、设备
CN111628855B (zh) 基于深度强化学习的工业5g动态多优先级多接入方法
CN108874525B (zh) 一种面向边缘计算环境的服务请求分配方法
CN110167176B (zh) 一种基于分布式机器学习的无线网络资源分配方法
CN110856268B (zh) 一种无线网络动态多信道接入方法
CN111475301A (zh) 卫星资源分配方法、装置和电子设备
Ko et al. Joint client selection and bandwidth allocation algorithm for federated learning
CN109831808B (zh) 一种基于机器学习的混合供电c-ran的资源分配方法
CN110300417B (zh) 无人机通信网络的能量效率优化方法和装置
WO2023005448A1 (zh) 无线资源利用率确定方法、装置、电子设备及存储介质
CN109548161A (zh) 一种无线资源调度的方法、装置和终端设备
CN113596785A (zh) 基于深度q网络的d2d-noma通信系统资源分配方法
CN108055701A (zh) 一种资源调度方法及基站
CN114885420A (zh) 一种noma-mec系统中的用户分组和资源分配方法及装置
CN114501667A (zh) 一种考虑业务优先级的多信道接入建模及分布式实现方法
Ouyang et al. Low-complexity optimal scheduling over time-correlated fading channels with ARQ feedback
Huang et al. A DRL-based automated algorithm selection framework for cross-layer QoS-aware scheduling and antenna allocation in massive MIMO systems
CN111372312A (zh) 时频空资源分配方法、计算机装置及计算机可读存储介质
CN103249050B (zh) 基于业务需求的多尺度频谱接入方法
CN111107642B (zh) 适于无线网络的资源分配方法、装置和系统
Yuan et al. Fairness-oriented user scheduling for bursty downlink transmission using multi-agent reinforcement learning
CN114980216B (zh) 基于移动边缘计算的依赖型任务卸载系统及方法
CN115499306B (zh) 流量调度模型的构建方法、装置、电子设备及存储介质
CN116208567A (zh) 跨域数据中心sdn网络资源的流量调度的方法和系统
CN115103372A (zh) 一种基于深度强化学习的多用户mimo系统用户调度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221219

Address after: No. 101, North Yangzijiang Road, Hanjiang District, Yangzhou City, Jiangsu Province, 225000 (Shuangqiao Business Plaza) 1-344

Patentee after: Jiangsu Yingji Communication Technology Co.,Ltd.

Address before: No.29, Jiangjun Avenue, Jiangning District, Nanjing, Jiangsu Province, 210016

Patentee before: Nanjing University of Aeronautics and Astronautics