CN115442910B - 一种基于最大权重调度策略的时延和时新联合优化方法 - Google Patents
一种基于最大权重调度策略的时延和时新联合优化方法 Download PDFInfo
- Publication number
- CN115442910B CN115442910B CN202211249575.8A CN202211249575A CN115442910B CN 115442910 B CN115442910 B CN 115442910B CN 202211249575 A CN202211249575 A CN 202211249575A CN 115442910 B CN115442910 B CN 115442910B
- Authority
- CN
- China
- Prior art keywords
- base station
- state information
- time
- information
- mobile terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种基于最大权重调度策略的时延和时新联合优化方法,S1.构建时延和时新联合的优化模型,并确定联合优化的目标问题;S2.设计联合调度框架,所述联合调度框架包含权重评估模块、排序模块和信道分配模块;S3.确定联合优化的目标优化问题所对应的调度策略,作为时延和时新联合优化结果。本发明适用于存在高维状态空间和行动空间的马尔科夫决策过程,高效实现了延迟和时新的联合优化。
Description
技术领域
本发明涉及通信领域,特别是涉及一种基于最大权重调度策略的时延和时新联合优化方法。
背景技术
在新一代移动通信系统中,移动终端对时延和时新提出了新要求。比如在路况监测、应急预警、精密医疗操作等通信系统中,移动终端不仅希望基站能快速开启下行传输回应自己的数据请求,也希望下行传输的数据具有时新性。考虑到下行传输和时新性更新都需要占用基站的频谱资源,希望设计一种动态频谱分配方案来联合优化时延和时新。
采用移动终端的平均时延作为系统时延的衡量指标,采用移动终端的平均信息年龄(Age of information,AoI)作为系统时新的衡量指标,两者的联合优化是一个马尔科夫决策过程(Markov decision process,MDP),并且存在高维状态空间,行动空间以及复杂的状态转移规则。这类问题当前不存在高效的解决方案,是一个科研空区。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于最大权重调度策略的时延和时新联合优化方法,适用于存在高维状态空间和行动空间的马尔科夫决策过程,高效实现了延迟和时新的联合优化。
本发明的目的是通过以下技术方案来实现的:一种基于最大权重调度策略的时延和时新联合优化方法,包括以下步骤:
S1.构建时延和时新联合的优化模型,并确定联合优化的目标问题;
S2.设计联合调度框架,所述联合调度框架包含权重评估模块、排序模块和信道分配模块;
S3.确定联合优化的目标优化问题所对应的调度策略,作为时延和时新联合优化结果。
本发明的有益效果是:本发明适用于存在高维行动和行动空间的马尔科夫决策过程,并且通过设计权重评估模块、排序模块和信道分配模块,并在确定联合优化的目标优化问题所对应的调度策略时,通过模块的调用,实现时延和时新的联合优化,得到联合的调度策略,具有效率高、复杂度低的优势。
附图说明
图1为本发明的原理示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。
如图1所示,一种基于最大权重调度策略的延迟和时新联合优化方法,包括以下步骤:
S1.构建时延和时新联合的优化模型,并确定联合优化的目标问题;
设一个移动通信系统中,有一个基站、I个信息节点和J个移动终端。其中,I个信息节点会在每个时隙生成I种最新的状态信息;J个移动终端均匀分布在基站小区里,并随机向基站发送请求以获取信息节点的最新状态信息;基站有L个可用信道,其在接收到移动终端的请求后,一方面会调用信道实现信息节点最新状态信息的上行传输并会将其存储到基站的缓存空间中,另一方面会调用信道将缓存的状态信息下行传输至移动终端。
为了量化移动终端的平均时延,首先基于与基站的信道增益大小,将J个移动终端分为K个终端集合其中,内的移动终端在第t个时隙内会向基站发送ak,i(t)个请求以获取第i个信息节点的最新状态信息。接收到移动终端的请求信息后,基站一方面会调度下行信道服务这些请求,记bk,i(t)为内请求第i个状态信息的移动终端中在第t个时隙内被服务到的数量;另一方面,基站使用KI个队列来存储未被及时服务的请求,记第kI+i个队列在第t个时隙开始时存储的请求数量为qk,i(t),则有
则移动终端的平均时延可表征为
其包含的三项代表了构成移动终端时新的三个部分:第一部分为移动终端发出请求后,其请求在基站端排队的时延,第二部分为基站端缓存的状态信息当前的信息年龄,第三部分为将所请求状态信息下行传输的时间。
S103.构建时延和时新联合优化的目标函数为
其中,d1(t),d2(t),…,dKI(t)表示下行服务的策略;dKI+1(t),dKI+2(t),…,dKI+I(t)为上行服务策略;
dKI+i(t),i∈{1,2,…,I}表征第t时隙时用于上行更新第i种状态信息分配的信道数量;
因信道数量共有L个,d(t)需满足以下限制条件
Pr(bk,i(t)=l)表示bk,i(t)=l的概率;
即采用d(k-1)I+i(t)个信道服务内请求第i个状态信息的移动终端时,成功服务l个移动终端的概率等于d(k-1)I+i(t)中取l的组合总数乘上成功概率p(gk)的l次方,再乘上失败概率(1-p(gk))的dI+kI+i(t)-l次方;考虑第i个信息节点与基站之间的上行信道增益满足分布gI+i,当基站调用信道上行传输第i个信息节点的状态信息时,传输成功的概率为p(gI+i),则有
综上所述,延迟和时新的联合优化可总结为
s.t.(1.1),(1.2),(1.3),(1.4),(1.5)
其中,该问题为马尔科夫决策过程,定义K行I列矩阵Q(t)来存储所有的队列信息,使得则马尔科夫决策过程的状态为行动为d(t),状态转移规则为(1.1),(1.4)和(1.5),奖励为r(t)。该问题状态空间和行动空间维度较高,状态转移规则复杂,当前不存在高效的解决方案。而本申请适用于存在高维行动和行动空间的马尔科夫决策过程,并且通过设计权重评估模块、排序模块和信道分配模块,并在确定联合优化的目标优化问题所对应的调度策略时,通过模块的调用,实现时延和时新的联合优化,得到联合的调度策略,具有效率高、复杂度低的优势,具体地:
S2.设计联合调度框架,所述联合调度框架包含权重评估模块、排序模块、信道分配模块和;
S3.确定联合优化的目标优化问题所对应的调度策略,作为时延和时新联合优化结果。
S301:初始化t=1;基站端所缓存的I个状态信息的信息年龄为c(1)=1I×1;令临时变量y=L;并基于公式(1.1)得到状态信息的被存储的请求数量矩阵Q(1);
S302:初始化调度策略的值为d(t)=0(KI+I)×1;联合Q(t)和c(t)的值得到t时隙时的状态信息s(t)={Q(t),c(t)};
S303:将状态信息s(t)的值送入S201中设计的权重评估模块,该模块会调用步骤S2012分别评估KI路下行传输对时延时新联合优化的影响,调用步骤S2013分别评估I路上行传输对时延时新联合优化的影响;
S304:联合S202中的排序模块和S203中的信道分配模块得到调度策略d(t):
A1、将权重向量作为输入送给S202中设计的排序模块,得到中最大权重所在位置并将此位置赋给x=kxI+ix,并基于S202更新将s(t),x=kxI+ix和y的值送入S203中设计的信道分配模块,可以得到调度策略d(t)中元素的值,同时基于S203更新临时变量y的值;
A2、如果y=0,代表调度策略d(t)中所有的元素都已被赋值,则跳转至步骤S305;否则跳转回步骤A1;
S305:执行d(t)对应的调度决策;
S306:令t=t+1;如果t=T,则结束调度;
S307:基于公式(1.1)得到状态信息的被存储的请求数量矩阵Q(t);基于公式(1.4)和公式(1.5)得到基站端所缓存的I个状态信息的信息年龄c(t);
S308:跳转回步骤S302。
上述说明示出并描述了本发明的一个优选实施例,但如前所述,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述发明构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。
Claims (1)
1.一种基于最大权重调度策略的时延和时新联合优化方法,其特征在于:包括以下步骤:
S1.构建时延和时新联合的优化模型,并确定联合优化的目标问题;
所述步骤S1包括:
S101.对于一个基站、I个信息节点和J个移动终端构成的移动通信系统;
I个信息节点会在每个时隙生成I种最新的状态信息;
J个移动终端均匀分布在基站小区里,并随机向基站发送请求以获取信息节点的最新状态信息;
基站有L个可用信道,其在接收到移动终端的请求后,一方面会调用信道实现信息节点最新状态信息的上行传输并会将其存储到基站的缓存空间中,另一方面会调用信道将缓存的状态信息下行传输至移动终端;
接收到移动终端的请求信息后,基站一方面会调度下行信道服务这些请求,记bk,i(t)为内请求第i个状态信息的移动终端中在第t个时隙内被服务到的数量;另一方面,基站使用KI个队列来存储未被及时服务的请求,记第kI+i个队列在第t个时隙开始时存储的请求数量为qk,i(t),则有
qk,i(t+1)=qk,i(t)-bk,i(t)+ak,i(t) 公式(1.1)
将移动终端的平均时延表征为
移动终端的平均时新包括三个部分,第一部分为移动终端发出请求后,其请求在基站端排队的时延,第二部分为基站端缓存的状态信息当前的信息年龄,第三部分为将所请求状态信息下行传输的时间;
S103.构建时延和时新联合优化的目标函数为
其中,d1(t),d2(t),…,dKI(t)表示下行服务的策略;dKI+1(t),dKI+2(t),…,dKI+I(t)为上行服务策略;
dKI+i(t),i∈{1,2,…,I}表征第t时隙时用于上行更新第i种状态信息分配的信道数量;
因信道数量共有L个,d(t)需满足以下限制条件
最后基于d(t)确定bk,i(t)和c(t)的更新规则:
Pr(bk,i(t)=l)表示bk,i(t)=l的概率;
即采用d(k-1)I+i(t)个信道服务内请求第i个状态信息的移动终端时,成功服务l个移动终端的概率等于d(k-1)I+i(t)中取l的组合总数乘上成功概率p(gk)的l次方,再乘上失败概率(1-p(gk))的dI+kI+i(t)-l次方;考虑第i个信息节点与基站之间的上行信道增益满足分布gI+i,当基站调用信道上行传输第i个信息节点的状态信息时,传输成功的概率为p(gI+i),则有
将时延和时新联合优化的目标问题总结为
s.t.公式(1.1)~(1.5)
其中,该问题为马尔科夫决策过程,定义K行I列矩阵Q(t)来存储所有的队列信息,使得则马尔科夫决策过程的状态为行动为d(t),状态转移规则为公式(1.1),公式(1.4)和公式(1.5),奖励为r(t);
S2.设计联合调度框架,所述联合调度框架包含权重评估模块、排序模块和信道分配模块;
所述步骤S2包括:
x=kxI+ix,kx∈{0,1,…,K},ix∈{1,2,…,I},即有
S3.确定联合优化的目标优化问题所对应的调度策略,作为时延和时新联合优化结果;
S301:初始化t=1;基站端所缓存的I个状态信息的信息年龄为c(1)=1I×1;令临时变量y=L;并基于公式(1.1)得到状态信息的被存储的请求数量矩阵Q(1);
S302:初始化调度策略的值为d(t)=0(KI+I)×1;联合Q(t)和c(t)的值得到t时隙时的状态信息s(t)={Q(t),c(t)};
S303:将状态信息s(t)的值送入S201中设计的权重评估模块,该模块会调用步骤S2012分别评估KI路下行传输对时延时新联合优化的影响,调用步骤S2013分别评估I路上行传输对时延时新联合优化的影响;
S304:联合S202中的排序模块和S203中的信道分配模块得到调度策略d(t):
A1、将权重向量作为输入送给S202中设计的排序模块,得到中最大权重所在位置并将此位置赋给x=kxI+ix,并基于S202更新将s(t),x=kxI+ix和y的值送入S203中设计的信道分配模块,得到调度策略d(t)中元素的值,同时基于S203更新临时变量y的值;
A2、如果y=0,代表调度策略d(t)中所有的元素都已被赋值,则跳转至步骤S305;否则跳转回步骤A1;
S305:执行d(t)对应的调度决策;
S306:令t=t+1;如果t=T,则结束调度;
S307:基于公式(1.1)得到状态信息的被存储的请求数量矩阵Q(t);基于公式(1.4)和公式(1.5)得到基站端所缓存的I个状态信息的信息年龄c(t);
S308:跳转回步骤S302。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211249575.8A CN115442910B (zh) | 2022-10-12 | 2022-10-12 | 一种基于最大权重调度策略的时延和时新联合优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211249575.8A CN115442910B (zh) | 2022-10-12 | 2022-10-12 | 一种基于最大权重调度策略的时延和时新联合优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115442910A CN115442910A (zh) | 2022-12-06 |
CN115442910B true CN115442910B (zh) | 2023-04-07 |
Family
ID=84251672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211249575.8A Active CN115442910B (zh) | 2022-10-12 | 2022-10-12 | 一种基于最大权重调度策略的时延和时新联合优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115442910B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115174419A (zh) * | 2022-06-30 | 2022-10-11 | 重庆邮电大学 | 截止时延约束下基于信息年龄的工业物联网调度方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114039918B (zh) * | 2021-10-09 | 2023-07-18 | 广东技术师范大学 | 一种信息年龄优化方法、装置、计算机设备及存储介质 |
CN113891276B (zh) * | 2021-10-26 | 2023-05-26 | 重庆邮电大学 | 基于信息年龄的混合更新工业无线传感器网络调度方法 |
-
2022
- 2022-10-12 CN CN202211249575.8A patent/CN115442910B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115174419A (zh) * | 2022-06-30 | 2022-10-11 | 重庆邮电大学 | 截止时延约束下基于信息年龄的工业物联网调度方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115442910A (zh) | 2022-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Deep reinforcement learning based dynamic channel allocation algorithm in multibeam satellite systems | |
Qian et al. | Reinforcement learning-based optimal computing and caching in mobile edge network | |
CN111277437A (zh) | 一种智能电网的网络切片资源分配方法 | |
CN112291793B (zh) | 网络接入设备的资源分配方法和装置 | |
CN109831808B (zh) | 一种基于机器学习的混合供电c-ran的资源分配方法 | |
CN107948085B (zh) | 一种基于业务和卫星信道特征的消息发送控制方法 | |
CN110769512B (zh) | 星载资源分配方法、装置、计算机设备及存储介质 | |
CN106027308B (zh) | 一种星载1553b总线通信优化方法 | |
Dai et al. | Bandwidth efficiency and service adaptiveness oriented data dissemination in heterogeneous vehicular networks | |
Padakandla et al. | Energy sharing for multiple sensor nodes with finite buffers | |
CN108055701A (zh) | 一种资源调度方法及基站 | |
CN110049507B (zh) | 无线内容分发网络中基于鞅理论的最优缓冲资源分配方法 | |
Huang et al. | 5G resource scheduling for low-latency communication: A reinforcement learning approach | |
Duan et al. | Resource allocation optimisation for delay‐sensitive traffic in energy harvesting cloud radio access network | |
Tian et al. | Asynchronous federated learning empowered computation offloading in collaborative vehicular networks | |
CN115442910B (zh) | 一种基于最大权重调度策略的时延和时新联合优化方法 | |
CN113342504A (zh) | 基于缓存的智能制造边缘计算任务调度方法及系统 | |
Mobasheri et al. | Toward developing fog decision making on the transmission rate of various IoT devices based on reinforcement learning | |
CN116233923A (zh) | 一种网络切片场景下虚拟网络功能调度和资源分配方法 | |
CN115066036A (zh) | 一种基于多智能体协作的多基站排队式前导码分配方法 | |
CN113115362B (zh) | 协同边缘缓存方法及装置 | |
CN109688421A (zh) | 请求消息处理方法、装置及系统、服务器、存储介质 | |
Guntuka et al. | IoT mobile device data offloading by small-base station using intelligent software defined network | |
RU2296362C1 (ru) | Способ обслуживания разноприоритетных запросов пользователей вычислительной системы | |
Wei et al. | Deep Reinforcement Learning Based Task Offloading and Resource Allocation for MEC-Enabled IoT Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |