CN113691350B - 一种eMBB和URLLC的联合调度方法及系统 - Google Patents

Abstract

本发明公开一种eMBB和URLLC的联合调度方法及系统，涉及通信技术领域。方法包括：确定各个eMBB用户的初始功率、在下行PDSCH信道的资源数量以及受影响资源数量；选择资源打孔策略或资源复用策略；根据各个eMBB用户在下行PDSCH信道的资源数量和受影响资源数量计算打孔率；根据初始功率和打孔率计算资源打孔策略下的下行传输功率；根据初始功率计算各个eMBB用户的SINR减小值；根据初始功率和各个eMBB用户的SINR减小值计算资源复用策略下的下行传输功率；利用强化学习算法分别最小化资源打孔策略和资源复用策略下的下行传输功率，并以其中的最小值作为最小的总发射功率。本发明可在同时满足eMBB和URLLC的误块率和业务准则要求的前提下，使得eMBB和URLLC联合调度时的总发射功率相对最小。

Description

一种eMBB和URLLC的联合调度方法及系统

技术领域

本发明涉及通信技术领域，特别是涉及一种eMMB和URLLC的联合调度方法及系统。

背景技术

5G无线系统的一个重要的要求就是它能够有效地支持大宽带和超低延迟的可靠通信。一方面，增强移动宽带(eMBB)应该支持千兆/秒的数据速率(带宽为几百兆赫)和适度的延迟(几毫秒)。另一方面，超可靠与低延迟通信(URLLC)要求非常低的延迟(0.25-0.3msec/packet)和非常高的可靠性(99.999％)。

为了满足这些异构要求，现有技术中通常考虑分别对eMBB和URLLC进行设计，并对设计好的eMBB和URLLC进行简单组合，以完成对eMBB和URLLC的联合调度。但现有技术中并未考虑eMBB和URLLC具有不同的误块率以及传输块大小，导致现有在联合调度eMBB和URLLC时存在总的发射功率较高以及资源叠加、打孔等问题。

发明内容

本发明的目的在于提供一种eMBB和URLLC的联合调度方法及系统，根据设计的eMBB和URLLC分别对应的MCS表和传输块大小表，利用强化学习算法，在同时满足eMBB和URLLC的误块率和业务准则的前提下，有效降低联合调度时的总发射功率，并因此解决eMBB和URLLC联合调度时的资源叠加、打孔等问题。

为了实现上述目的，本发明提供如下技术方案：

第一方面，本发明提供一种eMBB和URLLC的联合调度方法，方法包括：

确定各个eMBB用户的初始功率、各个eMBB用户在下行PDSCH信道的资源数量，以及在URLLC被调度的超小时隙中，各个eMBB用户的受影响资源数量；

根据各个eMBB用户在下行PDSCH信道的资源数量和各个eMBB用户的受影响资源数量计算打孔率；根据初始功率和打孔率计算资源打孔策略下的下行传输功率；

根据初始功率计算各个eMBB用户的SINR减小值；根据初始功率和各个eMBB用户的SINR减小值计算资源复用策略下的下行传输功率；

利用强化学习算法分别最小化资源打孔策略下的下行传输功率和资源复用策略下的下行传输功率，将资源打孔策略下最小化后的下行传输功率和资源复用策略下最小化后的下行传输功率中的最小值作为最小的总发射功率。

具体的，确定各个eMBB用户的初始功率的步骤包括：

eMBB用户根据向gNB发送的上行CQI报告确定初始功率；若eMBB用户未向gNB发送上行CQI报告，则选择功率的默认值作为初始功率。

具体的，确定各个eMBB用户在下行PDSCH信道的资源数量的步骤包括：

若在URLLC被gNB调度之前，gNB已经调度了一组eMBB用户，则受到URLLC影响的eMBB用户被标记为{UE₁，...，UE_M}，eMBB用户的下行PDSCH信道的资源数量表示为{B₁，...，B_M}；其中，M表示eMBB用户的数量，UE₁-UE_M表示第1个至第M个eMMB用户，B₁-B_M表示第1个至第M个eMBB用户分别对应的下行PDSCH信道的资源数量。

具体的，根据各个eMBB用户在下行PDSCH信道的资源数量和各个eMBB用户的受影响资源数量计算打孔率的步骤包括：

在资源打孔策略下，打孔率的计算公式为：

σ_i＝b_i/B_i；

其中，σ_i表示在资源打孔策略下，第i个eMBB用户的打孔率，i表示eMBB用户的数量；b_i表示第i个eMBB用户的受影响资源数量；B_i表示第i个eMBB用户在下行PDSCH信道的资源数量。

具体的，根据初始功率和打孔率计算资源打孔策略下的下行传输功率的步骤包括：

在资源打孔策略下，下行传输功率的计算公式为：

其中，

表示在资源打孔策略下的第i个eMBB用户的下行传输功率，i表示第i个eMBB用户；P_i表示第i个eMBB用户的初始功率；σ_i表示第i个eMBB用户的打孔率；ρ表示根据场景进行调整变换的常数。

具体的，根据初始功率计算各个eMBB用户的SINR减小值的步骤包括：

各个eMBB用户的SINR减小值的计算公式为：

其中，

表示第i个eMBB用户的SINR减小值，i表示第i个eMBB用户；I_i表示第i个eMBB用户的上行干扰；P_i表示第i个eMBB用户的初始功率；β表示调整参数。

具体的，根据初始功率和各个eMBB用户的SINR减小值计算资源复用策略下的下行传输功率的步骤包括：

在资源复用策略下，下行传输功率的计算公式为：

其中，

表示在资源复用策略下的第i个eMBB用户的下行传输功率，i表示第i个eMBB用户；P_i表示第i个eMBB用户的初始功率；/>

表示第i个eMBB用户的SINR减小值；S_i表示第i个eMBB用户的SINR值；τ表示根据具体场景而调整的参数。

具体的，在利用强化学习算法分别最小化资源打孔策略下的下行传输功率和资源复用策略下的下行传输功率，将资源打孔策略下最小化后的下行传输功率和资源复用策略下最小化后的下行传输功率中的最小值作为最小的总发射功率的步骤之前还包括：

设置下行传输功率阈值；

若资源打孔策略下的下行传输功率的值或资源复用策略下的下行传输功率的值大于下行传输功率阈值，则对资源打孔策略下的下行传输功率或资源复用策略下的下行传输功率进行调整，直至调整后的资源打孔策略下的下行传输功率的值或调整后的资源复用策略下的下行传输功率的值均小于或者等于下行传输功率阈值后，利用强化学习算法最小化调整后的资源打孔策略下的下行传输功率和调整后的资源复用策略下的下行传输功率。

具体的，强化学习算法包括马尔可夫决策算法。

与现有技术相比，本发明提供的一种eMBB和URLLC的联合调度方法中，通过设计eMBB和URLLC分别对应的MCS表和传输块大小表，并在eMBB和URLLC联合调度时在对应的MCS表和传输块大小表中分别选取合适的值，结合强化学习算法，求取eMBB和URLLC联合调度时总发射功率的相对最小值，并以该相对最小的总发射功率作为联合调度的实际操作时的发射功率，从而有效解决eMBB和URLLC联合调度时存在的总发射功率较高以及资源叠加、打孔等问题。

第二方面，本发明提供一种eMBB和URLLC的联合调度系统，系统包括：

数据确定模块，用于确定各个eMBB用户的初始功率、各个eMBB用户在下行PDSCH信道的资源数量，以及在URLLC被调度的超小时隙中，各个eMBB用户的受影响资源数量；

功率计算模块，用于根据各个eMBB用户在下行PDSCH信道的资源数量和各个eMBB用户的受影响资源数量计算打孔率；根据初始功率和打孔率计算资源打孔策略下的下行传输功率；

根据初始功率计算各个eMBB用户的SINR减小值；根据初始功率和各个eMBB用户的SINR减小值计算资源复用策略下的下行传输功率；

强化学习模块，用于利用强化学习算法分别最小化资源打孔策略下的下行传输功率和资源复用策略下的下行传输功率，将资源打孔策略下最小化后的下行传输功率和资源复用策略下最小化后的下行传输功率中的最小值作为最小的总发射功率。

与现有技术相比，本发明提供的一种eMBB和URLLC的联合调度系统的有益效果与上述技术方案所述的一种eMBB和URLLC的联合调度方法的有益效果相同，此处不做赘述。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为现有技术中eMBB和URLLC共存系统的结构示意图；

图2为现有技术的5G NR系统中的eMBB和URLLC复用传输的示意图；

图3为本发明实施例1中eMBB和URLLC的联合调度方法的流程图；

图4为本发明实施例2中eMBB调制及eMBB的TBS索引表；

图5为本发明实施例2中eMBB的传输块大小表；

图6为本发明实施例2中URLLC调制及URLLC的TBS索引表；

图7为本发明实施例2中URLLC的传输块大小表；

图8为本发明实施例2中强化学习的流程图；

图9为本发明实施例3中eMBB和URLLC的联合调度系统的结构示意图。

附图标记：

1-数据确定模块，2-功率计算模块，3-强化学习模块。

具体实施方式

在介绍本发明实施例之前首先对本发明实施例中涉及到的相关名词作如下释义：

第五代移动通信技术(5th Generation Mobile Communication Technology,5G)：是具有高速率、低时延和大连接的特点的新一代宽带移动通信技术，是实现人机物互联的网络基础设施。

增强移动宽带(Enhanced Mobile Broadband,eMBB)：指的是在现有的移动宽带业务场景的基础上，对于用户体验等性能的进一步提升。

超可靠与低延迟通信(Ultra Reliable&Low Latency Communication,URLLC)：是一种新型的通信方式，用于为具有高可靠和低时延需求的应用系统提供高可靠性和低延迟的服务。例如将URLLC服务用于工业自动化、自动驾驶汽车、智能电网、智能交通/货运，增强/虚拟现实或远程医疗或工业流程等应用场景中。

带宽：在模拟信号系统中，带宽又叫频宽，指的是在固定时间内可传输的资源数量，反映的是在传输管道内可以传输的数据的能力，通常以每秒传送周期或赫兹(Hz)来表示；另外，在数字设备中，带宽指的是单位时间内能通过链路的数据量，通常以bps表示，即每秒可传输的位数。

数据速率：指的是单位时间内在信道上传输的信息量(比特数)。

延迟：定义为在传输介质中传输所用的时间，即从报文开始进入网络到报文离开网络之间的时间。

3GPP：指的是第三代合作伙伴计划，主要是制订以GSM核心网为基础，UTRA(FDD为W-CDMA技术，TDD为TD-SCDMA技术)为无线接口的第三代技术的规范。

功率控制：是CDMA系统的一项关键技术，通过对移动台的功率进行控制，可使小区内所有移动台到达基站时的信号电平基本维持在相等的水平，且所有移动台的通信质量维持在一个可接收水平。

gNB：指的是一个开源的去中心化的具有极致内网穿透能力的通过P2P进行三层网络交换的虚拟组网系统。

资源打孔：指的是gNB分配零功率给eMBB业务。

资源叠加：指的是gNB分配非零功率给eMBB业务。

零功率：指的是极低的功率水平(一般在100W以下)。

上行：是一种计算机网络术语，指的是从用户电脑向网络传输信息，泛指从较低级向较高级传输信息。

下行：也是一种计算机网络属于，指的是从网络向用户电脑传输信息，泛指从较高级向较低级传输信息。

信道：在狭义上指的是信号在通道系统中传输的通道，是信号从发射端传输到接收端所经过的传输媒质；在广义上信道不仅包括传输媒质，还包括信号传输的相关设备。

时隙(slot)：指的是电路交换汇总信息传送的最小单位。

调度算法：指的是当有多个进程(或多个进程发出的请求)要使用有限的资源时，必须按照一定的原则选择进程(请求)来占用资源。调度算法的目的是控制资源使用者的数量、选取资源使用者许可的占用资源。

CQI：指的是信道质量指示，对应的是信道的信号传输标准。

MCS：是调制与编码策略(Modulation and Coding Scheme)的简称。一般将影响通讯速率的因素作为表的列，将MCS索引作为行，形成一张速率表。

传输块(Transmission Block)：是在计算机系统中作为单个单元或块传输的特定字符串，有时也用于标识作为单个单元或信息块的一部分处理的记录集。

3G LTE：是3G的演进，属于3G与4G技术之间的一个过渡，是3GPP组织制定的全球通用标准，包括FDD和TDD两种模式，能够利用更宽的频段和非对称频谱，可与3G技术相互补充。

SINR：是信号与干扰加噪声比(Signal Interference plus Noise Ratio)的缩写，指的是接收到的有用信号的强度与接收到的干扰信号(噪声和干扰)的强度的比值，可以将其简单理解为“信噪比”。

BLER：是误块率(Block Error Rate)的缩写，指的是出错的块在所有发送的块中所占的百分比(只计算初次传送的块)。

TBS：传输块大小(Transmission Block Size)的缩写，指的是传输块的尺寸。

PRB：是物理资源块(Physical Resource Block)的缩写，指的是频域上12个连续的载波的资源。

Modulation Order：是调制阶数，其与MCS的选择是紧密相关的。

QPSK：是正交相移键控(Quadrature Phase Shift Keying)的缩写，指的是一种四进制相位调制方式，具有良好的抗噪特性和频带利用率。

QAM：是正交振幅调制(Quadrature Amplitude Modulation)的缩写，是正交载波调制技术与多电平振幅键控的结合。

Code rate：指的是编码率，是在对模拟信号采样、量化、编码完成后，数据流中有用的信息所占的比例。

SINR threshold：指的是SINR(信噪比)的阈值。

接下来结合背景技术的内容对本发明的技术目的以及具体的技术方案进行描述。

由背景技术中记载的内容可知，5G无线系统的一个重要的要求就是它能够有效地支持大宽带和超低延迟的可靠通信。一方面，增强移动宽带(eMBB)应该支持千兆每秒的数据速率(带宽为几百兆赫)和适度的延迟(几毫秒)。另一方面，超可靠与低延迟通信(URLLC)具有流量非常低的延迟(0.25-0.3msec/packet)和非常高的可靠性(99.999％)。

为了满足这些异构需求，第三代合作伙伴计划(3rd Generation PartnershipProject,3GPP)提出了一种创新的叠加和穿孔框架，用于5G蜂窝系统中eMBB业务和URLLC业务的联合调度。

然而，现有技术中的该方法并未有效解决eMBB和URLLC联合调度时的功率控制以及资源叠加、资源打孔等问题，导致eMBB和URLLC联合调度时的资源利用率较低，服务效率较差。

如图1所示，为现有技术中eMBB和URLLC共存系统的结构示意图。其中的UE表示系统中的用户，Industrial automation表示应用场景中的工业自动化，VR表示应用场景中的虚拟现实技术，4K video表示应用场景中的4K视频，Smart phone表示应用场景中的智能手机，Smart terminal表示应用场景中的智能终端，Automatic drive表示应用场景中的自动驾驶。另外，图1中所描绘的Macro BS表示微基站，其对应的是eMBB服务(eMBB service)；图1中所描绘的Pico BS表示宏基站，其对应的是URLLC服务(URLLC service)。

由图1可看出，将eMBB和URLLC相结合，可用于工业自动化等对延迟、可靠性要求很高的应用场景中，为这些应用提供高质量的服务。

如图2所示，为现有技术的5G NR系统中的eMBB和URLLC的复用传输的示意图。其中的5G NR(5G New Radio)指的是基于OFDM的全新空口设计的全球性5G标准，也是下一代非常重要的蜂窝移动技术的基础。参考图2可看出，随机下行URLLC业务流在每个信道中按时频复用共享带宽，这些共享在每个信道开始求解，并在每个信道开始时固定，随机下行URLLC业务流可以在已分配给不同信道用户的时间位置到达。为了满足URLLC对传输可靠性和延迟的严格要求，通常会给URLLC分配更高的优先级。由于URLLC流量的延迟约束，不能将URLLC流量延迟到下一个时隙。因此，每个时隙分为多个持续时间为0.125ms的超小时隙(mini-slots)，达到的URLLC立即在下一个mini-slot被调度，确保延迟约束URLLC业务。如果eMBB和URLLC资源重叠，则gNB分配零功率给eMBB，即资源打孔，或gNB分配非零功率给eMBB，即资源复用。

另外，图2中的Arrived URLLC Traffic表示到达的URLLC流量，即分配到不同eMBB用户的流量；Frequency表示频率；RB是Resource Block的缩写，表示频率上连续12个子载波，时域上一个slot，被称为一个RB；One eMBB Time Slot表示一个eMBB时隙；Mini Slot表示超小时隙；eMBB User表示eMBB用户，图2中不同颜色的图块分别对应不同的eMBB用户。

然而，如背景技术中所述，现有尽管提供了将eMBB与URLLC相结合的技术，但现有技术中仅考虑了将这两者进行简单结合，并未考虑两者因误块率(BLER)以及传输块大小的不同导致的eMBB和URLLC联合调度时的功率控制以及资源叠加、打孔等问题，且现有技术中未考虑因此导致的联合调度效率不高、服务效果较差的问题。

实施例1：

如图3所示，为本发明在实施例1中提供的一种eMBB和URLLC的联合调度方法的流程图，S1-S4对应方法中的各步骤。其中，该方法包括以下步骤：

确定各个eMBB用户的初始功率、各个eMBB用户在下行PDSCH信道的资源数量，以及在URLLC被调度的超小时隙中，各个eMBB用户的受影响资源数量；

根据各个eMBB用户在下行PDSCH信道的资源数量和各个eMBB用户的受影响资源数量计算打孔率；根据初始功率和打孔率计算资源打孔策略下的下行传输功率；

根据初始功率计算各个eMBB用户的SINR减小值；根据初始功率和各个eMBB用户的SINR减小值计算资源复用策略下的下行传输功率；

利用强化学习算法分别最小化资源打孔策略下的下行传输功率和资源复用策略下的下行传输功率，将资源打孔策略下最小化后的下行传输功率和资源复用策略下最小化后的下行传输功率中的最小值作为最小的总发射功率。

利用该方法可有效解决因BLER以及传输块大小的不同导致的eMBB和URLLC的联合调度时的功率控制以及资源叠加、打孔等问题。

实施例2：

接下来在实施例2中对本发明如实施例1所述的一种eMBB和URLLC的联合调度方法的具体过程进行详细说明。

eMBB用户根据上行到gNB的CQI报告选择初始功率P_i，如果没有向gNB上行CQI报告，则使用初始功率的默认值作为初始功率。

该步骤的目的是：在实现eMBB和URLLC的联合调度前，通过eMBB用户是否向gNB上行CQI报告选择合适的初始功率，为后续计算资源打孔策略下的下行传输功率或资源复用策略下的下行传输功率以及利用强化学习算法计算最小的总发射功率提供准确的数据基础。

之后根据如图4-图7所示的eMBB调制及其TBS表、URLLC调制及其TBS表、eMBB传输块大小表以及URLLC传输块大小表选择适合eMBB和URLLC联合调度的数值。包括选择相应的PRB长度；令L表示资源长度单位，则有L个URLLC资源。

在根据本发明中上述各表选择好合适的eMBB传输块大小、URLLC传输块大小以及适合各自的值后，如果gNB已经调度了一组eMBB用户，则此时受到URLLC业务影响的用户标记为{UE₁，...，UE_M}，对应的eMBB下行PDSCH信道的资源数量表示为{B₁，...，B_M}。其中的M表示eMBB用户的数量，UE₁-UE_M分别表示受URLLC影响的第1个至第M个eMBB用户；B₁-B_M分别表示第1个至第M个eMBB用户在下行PDSCH信道的资源数量。

进一步的，在URLLC被调度的超小时隙中，各个eMBB用户受到影响的资源记为{b₁，...，b_M}，且有L＝∑b_i(i＝1～M)。其中，b₁-b_M分别表示在URLLC被调度的超小时隙中，第1个至第M个eMBB用户受到影响的资源；i表示第1个至第M个eMBB用户中的第i个eMBB用户；b_i表示在URLLC被调度的超小时隙中，第i个eMBB用户受到影响的资源。

该步骤的目的是：结合本发明中提供的eMBB调制及eMBB的TBS索引表、eMBB的传输块大小表、URLLC调制及URLLC的TBS索引表、URLLC的传输块大小表，为eMBB和URLLC选择合适的传输块大小及合适的值，并基于确定的eMBB用户未受到及受到URLLC影响的下行PDSCH传输的资源数量的值，在满足URLLC的业务准则的同时，为后续最小化URLLC对eMBB下行传输PDSCH资源数量的影响的计算和最小的总发射功率的计算提供准确的数据基础。

在获得了上述数据基础后，本发明中分别计算了资源打孔策略下的下行传输功率和资源复用策略下的下行传输功率。具体步骤如下：

在资源打孔策略下，eMBB资源将被替换，导致用户接收数据的BLER(误码率)增加，因此eMBB下行链路的吞吐量将下降。如上所示，BLER大于10％，如果提升功率级别可以获得更高的SINR，那么由于编码冗余，可以获得相同的BLER效果。

如果b_i表示第i个eMBB用户受到影响的资源数量，打孔率按如下公式计算：σ_i＝b_i/B_i。其中，B_i表示第i个eMBB用户的下行PDSCH信道的资源数量，σ_i表示第i个eMBB用户的打孔率。

另一方面，如果eMMB用户使用较高的SINR值，恶化的BLER可以得到补偿，假设干扰将保持不变，则资源打孔策略下的下行传输功率的增加值的计算公式为：

其中，

表示资源打孔策略下的第i个eMBB用户的下行传输功率，i表示第i个eMBB用户；P_i表示第i个eMBB用户的初始功率；σ_i表示第i个eMBB用户的打孔率；ρ表示根据场景进行调整变换的常数。

在计算出资源打孔策略下的下行传输功率后，资源打孔策略下第i个eMBB用户的下行传输功率必须满足条件

(P_max表示下行传输功率阈值)。否则整个小区的干扰会增大，系统性能会下降。如果计算能力超过了下行传输功率阈值的上限，意味着用户被占用的资源太多，必须选择较小的eMBB用户受到影响的资源的数值，表示为/>

(Δ是递减阶跃系数，根据具体场景而定；/>

表示第i个eMBB用户调整后受到影响的资源数量)。

该步骤的目的是：根据前述步骤确定的各个eMBB用户在下行PDSCH信道的资源数量和各个eMBB用户受URLLC影响的资源数量，计算资源打孔策略下各个eMBB用户的打孔率，并基于计算出的打孔率和前述步骤中确定的各个eMBB用户的初始功率分别计算各个eMBB用户在资源打孔策略下的下行传输功率。后续会以计算出的在资源打孔策略下的各个eMBB用户的下行传输功率计算适合eMBB与URLLC联合调度所需的最小的总发射功率。

在资源复用策略下，在超小时隙内URLLC所占的元素视为对eMBB用户的干扰，从而使相应的SINR减小，可表示为

其中，

表示第i个eMBB用户的SINR减小值，i表示第i个eMBB用户；I_i表示第i个eMBB用户的上行干扰；P_i表示第i个eMBB用户的初始功率；β表示调整参数。

为了保持当前的BLER(误块率)，与使用资源打孔策略相同的机制，eMBB用户将相应地增加功率来补偿信噪比损失，并通过编码冗余保持相同的编码器。此时在资源复用策略下的下行传输功率的计算公式为：

在该步骤中，

表示资源复用策略下第i个eMBB用户的下行传输功率，i表示第i个eMBB用户；P_i表示第i个eMBB用户的初始功率；/>

表示第i个eMBB用户的SINR减小值；S_i表示第i个eMBB用户的SINR值；τ表示根据具体场景而调整的参数。

在传输功率提升后，还需检查功率限制，如果不满足条件，为eMBB用户执行功率调整策略，表示为

(Δ是递减阶跃系数，根据具体场景而定，/>

表示第i个eMBB用户调整后受到影响的资源数量)。

在功率提升后，需要对受URLLC影响的超小时隙中的所有eMBB用户进行检查，URLLC会根据检查结果计算调整资源打孔或资源复用的大小，eMBB用户的资源大小将调整为

其中的P表示由于功率限制需要调整的eMBB用户数量。

该步骤的目的是：根据前述步骤确定的各个eMBB用户的初始功率计算各个eMBB用户的SINR减小值，并根据计算出的SINR减小值和对应的各个eMBB用户的初始功率，分别计算在资源复用策略下各个eMBB用户的下行传输功率。后续会以计算出的在资源复用策略下的各个eMBB用户的下行传输功率计算适合eMBB与URLLC联合调度所需的最小的总发射功率。

之后使用

和上行报告根据图4-图7计算总发射功率，然后重复如上过程，直到所有的eMBB用户满足功率限制。因此，优化的最终目的是满足eMBB用户接收BLER的要求，并最小化总发送功率。

由于eMBB和URLLC联合调度时，在分散设置下无法有效地控制每个行为，因此适合采用分布式算法进行联合优化。因此本发明使用强化学习算法来解决eMBB和URLLC的联合调度问题。

强化学习(Reinforcement Learning,RL)是机器学习方法的一种，可以看作是解决优化问题的有效工具。RL算法关注的是如何与外界环境进行交互，通过尝试替代动作和强化产生更有益结果的倾向动作，它遵循了典型的马尔可夫决策过程(Markov DecisionProcess，MDP)概念，而MDP是建模决策问题的通用框架，且结果是部分随机的，受应用的决策影响。

一个MDP可以用五元组表示为M＝<Q,A,P(q′|q,a),R,γ>。其中，Q和A分别表示有限状态空间和有限动作集；P(q′|q,a)表示动作发生的概率，动作是指在时隙t中a∈A，以及q∈Q条件下导致在时隙t+1中q′∈Q；R(q,a)是在状态q下执行动作后的即时反馈；γ∈[0,1]是折扣因子，反映了当前反馈对未来反馈的逐渐减小的重要性。通常来说，MDP的目标是发现一个策略，记为a＝π(q)，来确定所选状态q下的动作a，使效用函数最大化。一般地，该效用函数定义为期望折扣累计反馈，表示为Bellman方程定。

在本发明中，反馈函数表示为：

另外，若本发明中公式(1)或公式(3)的计算结果满足功率限制(在下行传输功率阈值的范围内(本发明中设置下行传输功率阈值的目的是：将资源打孔策略下的下行传输功率和资源复用策略下的下行传输功率分别控制在适用于eMBB和URLLC联合调度的适当范围内，便于在满足URLLC的业务准则的同时，实现eMBB和URLLC联合调度时的总发射功率的最小化))，则Q为1，反之为0。MDP五元组中的A对应的是本发明中eMBB用户UE_i选择b_i来进行资源打孔或资源复用。

结合图8可看出，在每一个时间t，观察状态空间Q中的一个状态q_t，之后根据决策策略π产生执行动作a_t，随着环境的改变，会对决策策略π产生影响，然后会利用调整后的决策策略继续产生执行动作，直到执行动作对应的效果满足预设的要求(本发明中是在同时满足eMBB和URLLC的误块率和业务准则的要求的前提下，最小化eMBB和URLLC联合调度时的总发射功率)。

综上所述，本发明中通过设计eMBB和URLLC分别对应的TBS表和传输块大小表，在eMBB和URLLC联合调度时，通过在表中选取合适的值，结合强化学习算法，可有效解决eMBB和URLLC联合调度时的功率控制以及资源叠加、打孔等问题，能够在同时满足eMBB和URLLC的误块率和业务准则要求的情况下，尽可能地实现向用户发射的总发射功率的最小化。

实施例3：

如图9所示，本发明在实施例3中提供了一种eMBB和URLLC的复用系统，其利用了如本发明在实施例1和实施例2中所述的一种eMBB和URLLC的复用方法。该系统具体包括：

数据确定模块，用于确定各个eMBB用户的初始功率、各个eMBB用户在下行PDSCH信道的资源数量，以及在URLLC被调度的超小时隙中，各个所述eMBB用户的受影响资源数量；

功率计算模块，用于根据各个eMBB用户在下行PDSCH信道的资源数量和各个eMBB用户的受影响资源数量计算打孔率；根据初始功率和打孔率计算资源打孔策略下的下行传输功率；

根据初始功率计算各个eMBB用户的SINR减小值；根据初始功率和各个eMBB用户的SINR减小值计算资源复用策略下的下行传输功率；

强化学习模块，用于利用强化学习算法分别最小化资源打孔策略下的下行传输功率和资源复用策略下的下行传输功率，将资源打孔策略下最小化后的下行传输功率和资源复用策略下最小化后的下行传输功率中的最小值作为最小的总发射功率。

因此，本发明实施例3中提供的一种eMBB和URLLC的联合调度系统，也能够根据设计的TBS表和传输块大小表为eMBB和URLLC分别选择合适的值，进而在将eMBB和URLLC联合调度时，也能够有效解决如本发明背景技术中所述的eMBB和URLLC联合调度时存在的功率控制以及资源叠加、打孔等问题，进而能够有效提升eMBB和URLLC联合调度时的效率和效果。

需要说明的是，以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本发明中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a和b的结合，a和c的结合，b和c的结合，或a、b和c的结合，其中a，b，c可以是单个，也可以是多个。

应当理解，尽管在本发明实施例中可能采用术语第一、第二等来描述时间点，但这些时间点不应限于这些术语。这些术语仅用来将时间点彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一时间点也可以被称为第二时间点，类似地，第二时间点也可以被称为第一时间点。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

需要说明的是，本发明实施例中所涉及的终端可以包括但不限于个人计算机(Personal Computer，PC)、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(Tablet Computer)、手机、MP3播放器、MP4播放器等。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，对以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种eMBB和URLLC的联合调度方法，其特征在于，包括：

确定各个eMBB用户的初始功率、各个所述eMBB用户在下行PDSCH信道的资源数量，以及在URLLC被调度的超小时隙中，各个所述eMBB用户的受影响资源数量；

根据各个所述eMBB用户在下行PDSCH信道的资源数量和各个所述eMBB用户的受影响资源数量计算打孔率；根据所述初始功率和所述打孔率计算资源打孔策略下的下行传输功率；

根据所述初始功率计算各个所述eMBB用户的SINR减小值；根据所述初始功率和各个所述eMBB用户的SINR减小值计算资源复用策略下的下行传输功率；

利用强化学习算法分别最小化所述资源打孔策略下的下行传输功率和所述资源复用策略下的下行传输功率，将资源打孔策略下最小化后的下行传输功率和资源复用策略下最小化后的下行传输功率中的最小值作为最小的总发射功率。

2.根据权利要求1所述的eMBB和URLLC的联合调度方法，其特征在于，所述确定各个eMBB用户的初始功率的步骤包括：

所述eMBB用户根据向gNB发送的上行CQI报告确定所述初始功率；若所述eMBB用户未向所述gNB发送上行CQI报告，则选择功率的默认值作为所述初始功率。

3.根据权利要求2所述的eMBB和URLLC的联合调度方法，其特征在于，所述确定各个所述eMBB用户在下行PDSCH信道的资源数量的步骤包括：

若在所述URLLC被gNB调度之前，所述gNB已经调度了一组eMBB用户，则受到所述URLLC影响的所述eMBB用户被标记为{UE₁，...，UE_M}，所述eMBB用户的下行PDSCH信道的资源数量表示为{B₁，...，B_M}；其中，M表示所述eMBB用户的数量，UE₁-UE_M表示第1个至第M个eMMB用户，B₁-B_M表示第1个至第M个eMBB用户分别对应的下行PDSCH信道的资源数量。

4.根据权利要求1所述的eMBB和URLLC的联合调度方法，其特征在于，所述根据各个所述eMBB用户在下行PDSCH信道的资源数量和各个所述eMBB用户的受影响资源数量计算打孔率的步骤包括：

在所述资源打孔策略下，所述打孔率的计算公式为：

σ_i＝b_i/B_i；

其中，σ_i表示所述资源打孔策略下的第i个eMBB用户的打孔率，i表示第i个eMBB用户；b_i表示第i个eMBB用户的受影响资源数量；B_i表示第i个eMBB用户在下行PDSCH信道的资源数量。

5.根据权利要求4所述的eMBB和URLLC的联合调度方法，其特征在于，所述根据所述初始功率和所述打孔率计算资源打孔策略下的下行传输功率的步骤包括：

在所述资源打孔策略下，所述下行传输功率的计算公式为：

其中，

表示所述资源打孔策略下的第i个eMBB用户的下行传输功率，i表示第i个eMBB用户；P_i表示第i个eMBB用户的初始功率；σ_i表示第i个eMBB用户的打孔率；ρ表示根据场景进行调整变换的常数。

6.根据权利要求1所述的eMBB和URLLC的联合调度方法，其特征在于，所述根据所述初始功率计算各个所述eMBB用户的SINR减小值的步骤包括：

各个所述eMBB用户的SINR减小值的计算公式为：

其中，

表示第i个eMBB用户的SINR减小值，i表示第i个eMBB用户；I_i表示第i个eMBB用户的上行干扰；P_i表示第i个eMBB用户的初始功率；β表示调整参数。

7.根据权利要求6所述的eMBB和URLLC的联合调度方法，其特征在于，所述根据所述初始功率和各个所述eMBB用户的SINR减小值计算资源复用策略下的下行传输功率的步骤包括：

在所述资源复用策略下，所述下行传输功率的计算公式为：

其中，

表示所述资源复用策略下的第i个eMBB用户的下行传输功率，i表示第i个eMBB用户；P_i表示第i个eMBB用户的初始功率；/>

表示第i个eMBB用户的SINR减小值；S_i表示第i个eMBB用户的SINR值；τ表示根据具体场景而调整的参数。

8.根据权利要求1所述的eMBB和URLLC的联合调度方法，其特征在于，在所述利用强化学习算法分别最小化所述资源打孔策略下的下行传输功率和所述资源复用策略下的下行传输功率，将资源打孔策略下最小化后的下行传输功率和资源复用策略下最小化后的下行传输功率中的最小值作为最小的总发射功率的步骤之前还包括：

设置下行传输功率阈值；

若所述资源打孔策略下的下行传输功率的值或所述资源复用策略下的下行传输功率的值大于所述下行传输功率阈值，则对所述资源打孔策略下的下行传输功率或所述资源复用策略下的下行传输功率进行调整，直至调整后的资源打孔策略下的下行传输功率的值或调整后的资源复用策略下的下行传输功率的值均小于或者等于所述下行传输功率阈值后，利用所述强化学习算法最小化所述调整后的资源打孔策略下的下行传输功率和所述调整后的资源复用策略下的下行传输功率。

9.根据权利要求1所述的eMBB和URLLC的联合调度方法，其特征在于，所述强化学习算法包括马尔可夫决策算法。

10.一种eMBB和URLLC的联合调度系统，其特征在于，包括：

数据确定模块，用于确定各个eMBB用户的初始功率、各个所述eMBB用户在下行PDSCH信道的资源数量，以及在URLLC被调度的超小时隙中，各个所述eMBB用户的受影响资源数量；

功率计算模块，用于根据各个所述eMBB用户在下行PDSCH信道的资源数量和各个所述eMBB用户的受影响资源数量计算打孔率；根据所述初始功率和所述打孔率计算资源打孔策略下的下行传输功率；

根据所述初始功率计算各个所述eMBB用户的SINR减小值；根据所述初始功率和各个所述eMBB用户的SINR减小值计算资源复用策略下的下行传输功率；

强化学习模块，用于利用强化学习算法分别最小化所述资源打孔策略下的下行传输功率和所述资源复用策略下的下行传输功率，将资源打孔策略下最小化后的下行传输功率和资源复用策略下最小化后的下行传输功率中的最小值作为最小的总发射功率。

Images