CN111313995B - 多优先级用户频谱预测切换方法 - Google Patents

Abstract

本发明提供了一种多优先级用户频谱预测切换方法，本发明提出了一种M/G/m排队论模型表征SUs的切换过程，考虑不同信道之间的流量差异，避免因流量分布不均造成频谱资源浪费；推导出目标信道切换的优先序列，进而提出一种基于DQN预测判决的频谱切换方法。具有切换成功率更高、迭代次数更少等优点；该方法通过构建出SU频谱切换累计时延模型，采用深度Q网络及迁移学习策略对SUs的传输时延进行分析，实现系统整体传输时长最小。

Description

多优先级用户频谱预测切换方法

技术领域

本发明涉及一种多优先级用户频谱预测切换方法。

背景技术

认知无线电(Cognitive Radio，CR)技术通过允许次级用户(Secondary User，SU)机会接入授权频谱成为了频谱效率低下问题的一个有效的解决方法。由于认知无线网络具有独特的频谱占用形式，导致系统存在更大的不确定性，频谱切换的触发场景和执行过程与传统切换频谱切换相比较显得更为复杂。由于CR中频谱资源具有实时的变化性，频谱切换技术在满足用户网络性能需求方面具有极其重要的作用，是决定CR技术最终实现大规模商业使用的关键技术之一。由于其高效性与准确性，频谱预测切换方法对于提升频谱利用率具有重要作用，最近也获得了研究者的广泛关注，前景可期。

频谱预测切换主要是SU应对主用户(Primary User，PU)出现在其当前使用频段而采取的技术手段。PU的出现迫使SU放弃现有通信频段，重新进行频谱检测，造成了切换时延，增加了SU通信时延，直接影响着SU的通信性能。预测切换中，SU将感知到的实时信息与历史信息进行融合分析，基于对授权用户活动的先验知识，建立频谱切换模型，在PU到来之前进行合理预判，以此方式实现在PU到达授权频段前，执行频谱切换。预测判决式频谱切换有效克服了被动判决式频谱切换方法时延较长的缺点，大大节省了SU频谱切换的服务时间，极大地提高了频谱切换的敏捷性和系统性能。

因此，近年来，预测判决式频谱切换技术已成为CRNs技术的一个研究热点。有学者提出了一种优先级抢占式(Preemptive Resume Priority，PRP)M/G/1排队模型，用于描述多个SUs的频谱切换行为。其主要缺点在于：第一，PRP策略增加了切换频率，使传输时延增加；第二，M/G/1排队模型侧重于单一信道内的建模，缺乏信道之间的信息交流。同时，部分研究没有区分SU之间的时延需求差异。据此，有学者根据延迟敏感性将SUs划分为不同的优先级，高优先级SUs可以抢占低优先级SUs的传输频段，而低优先级SUs无法中断高优先级SUs的传输过程，以此满足延迟敏感型SUs的性能要求。同样，PRP策略的引入会导致频繁的切换，对于系统总体性能产生负面影响。因此，非抢占式(Non-Preemptive ResumePriority，N-PRP)排队也是一个研究的方向。有学者对比了PRP与N-PRP排队论模型的差异，N-PRP策略在保障系统整体性能的同时增大了高优先级SUs的传输时延。有学者根据PU频谱空洞的残余时间分布函数，建立频谱切换概率的分析模型，进而推导出SU平均切换次数的解析表达式，并分析了切换次数对SU切换概率的影响。但未考虑SU传输速率、认知无线电网络(Cognitive Radio Networks，CRNs)吞吐量等系统整体性能最优的问题。

上述频谱切换方法只对单一信道进行分析建模，没有考虑信道之间的联系，导致信道间负载的不平衡。同时，在复杂时变的电磁环境中不能获取最优决策，难以同时满足不同延迟需求的SUs的切换性能要求。

发明内容

本发明的目的在于提供一种多优先级用户频谱预测切换方法。

为解决上述问题，本发明提供一种多优先级用户频谱预测切换方法，包括：

步骤1，将SU在进行频谱切换的范围内划分为M个互不重叠的PU信道，按照其中心频率从小到大顺序，依次排列为

φ_i为第i个PU信道，i为正整数；

步骤2，将CR系统的每一个时隙划分为三部分：频谱感知T_S、切换确认T_ACK和传输阶段T_D；

步骤3，根据步骤2的时隙划分，SU在切换确认T_ACK的时间间隔内，检测频谱切换完成的确认信号是否到来，以判断频谱切换过程是否结束，如果检测到，则整个频谱切换过程结束；反之，转至下一步骤；

步骤4，根据次用户的时延敏感程度对次用户进行优先级划分，依次排列为

SU_j为优先级为j的次用户，j为正整数，其中，SU₁是具有最高优先级的SU，SU_L具有最低优先级，计算信道繁忙概率ρ_k；

步骤5，设定抢占门限值τ，根据SU经历过的传输时间长短判断该SU能否被高优先级SUs中断传输过程，其中，中断权限判决依据为：

其中，T_elap为SU经历过的传输时间，τ为SU的抢占门限值；

步骤6，根据步骤4的优先级划分的结果和步骤5的抢占门限值τ，构建一个混合PRP/N-PRP M/G/m排队论模型表征SUs的切换过程，将切换过程分为停留等待和切换至其他信道两种情况，分别计算等待时长，根据等待时长进行选择：

其中，E(W′)为停留等待条件下用户等待时长，E(W)为切换至其他信道条件下用户等待时长，t_s为切换动作执行所需时间；

步骤7，在PU信号出现过程为泊松过程条件下，用SUs的扩展数据传输时间来表征切换策略的性能，根据步骤4的优先级划分的结果，步骤5的抢占门限值τ和步骤6的混合PRP/N-PRP M/G/m排队论模型计算切换时延E(T_j)：

其中，n为中断次数，n_max为SUs的最大中断次数，当SU的中断次数达到n_max后，再次被中断后，SU放弃该次传输，E[·]表示数学期望，p^k _i，j为中断次数为i的SU_j在信道k上再次被中断的概率，E(X_j)为优先级为j的SU期望服务时长；

步骤8，根据步骤7的切换时延E(T_j)的表达式将SU₁的最优抢占门限值

的选取归结为以下最优化问题：

步骤9，根据步骤8提出的最优化问题，利用DQN算法求取最优门限值，对新加入CRNs系统的SU，利用周边距离其最近的SU的Q函数及其参数对其进行初始化，然后，要求SU_j通过DQN方法寻找一个最优学习策略π，使得自己在下一时刻获得的回报最大，从而实现CRNs系统各优先级SU整体传输时延最小，即：

其中，γ_t是每一时间步长的折扣因子。

为最优Q值函数，表示SU₁在最优学习策略π下，在(0，∞)时间范围内获得的最大折扣回报r_i(s，a)之和；

步骤10，根据步骤9，按照SUs的扩展数据传输时间由低到高的原则，对

进行预测判决并排序，得到频谱切换接入时的目标信道序列

进一步的，在上述方法中，所述步骤4中信道繁忙概率ρ_k为：

其中，ρ^k _p表示PU占用导致信道K繁忙的概率，ρ^k _j表示信道K被SU_j占据的概率。

进一步的，在上述方法中，所述步骤6中混合PRP/N-PRP M/G/m排队论模型的SU期望服务时长为：

E(φ^k _i，j)为PRP M/G/1模型下中断次数为i的SU_j在信道k上的平均服务时长。

进一步的，在上述方法中，所述步骤7中PU信号出现的频率为1/λ，其概率密度函数PDF为：

由泊松分布性质得到λ＝E(X)，其中，E(·)表示数学期望。

进一步的，在上述方法中，所述步骤7中E(D^k _i，j)为中断次数为i的SU_j切换等待时长：

进一步的，在上述方法中，所述步骤8中SU₁的动作空间A_l门限值的集合，表示为

t时刻，构建出系统的状态空间为S^(t)＝(I^(t)，D^(t))，其中，

t时刻，SU_j(j＝1，2，...，L)获得的回报r_j(s_t，a_t)为：

其中，ω^k _i，j和φ^k _i，j分别是优先级为j，中断次数为i的次用户在信道k上的到达率和有效服务时间，λ^k _p为信道k上主用户到达率，E(X_j)为SU_j的期望服务时长，Λ为一个常数，其值小于采取任意学习策略时所得到的回报值。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

(1)本发明提出了一种M/G/m排队论模型表征SUs的切换过程，考虑不同信道之间的流量差异，避免因流量分布不均造成频谱资源浪费。

(2)推导出目标信道切换的优先序列，进而提出一种基于DQN预测判决的频谱切换方法。具有切换成功率更高、迭代次数更少等优点。

该方法通过构建出SU频谱切换累计时延模型，采用深度Q网络(Deep Q-Network，DQN)及迁移学习(Transfer Learning，TL)策略对SUs的传输时延进行分析，实现系统整体传输时长最小。

附图说明

图1是本发明一实施例的多优先级用户频谱预测切换方法的流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供一种多优先级用户频谱预测切换方法，包括：

步骤1，将SU在进行频谱切换的范围内划分为M个互不重叠的PU信道，按照其中心频率从小到大顺序，依次排列为

φ_i为第i个PU信道，i为正整数；

步骤2，将CR系统的每一个时隙划分为三部分：频谱感知T_S、切换确认T_ACK和传输阶段T_D；

步骤3，根据步骤2的时隙划分，SU在切换确认T_ACK的时间间隔内，检测频谱切换完成的确认信号是否到来，以判断频谱切换过程是否结束，如果检测到，则整个频谱切换过程结束；反之，转至下一步骤；

步骤4，根据次用户的时延敏感程度对次用户进行优先级划分，依次排列为

SU_j为优先级为j的次用户，j为正整数，其中，SU₁是具有最高优先级的SU，SU_L具有最低优先级，计算信道繁忙概率ρ_k；

步骤5，设定抢占门限值τ，根据SU经历过的传输时间长短判断该SU能否被高优先级SUs中断传输过程，其中，中断权限判决依据为：

其中，T_elap为SU经历过的传输时间，τ为SU的抢占门限值；

步骤6，根据步骤4的优先级划分的结果和步骤5的抢占门限值τ，构建一个混合PRP/N-PRP M/G/m排队论模型表征SUs的切换过程，将切换过程分为停留等待和切换至其他信道两种情况，分别计算等待时长，根据等待时长进行选择：

其中，E(W′)为停留等待条件下用户等待时长，E(W)为切换至其他信道条件下用户等待时长，t_s为切换动作执行所需时间；

在此，n_max为SUs的最大中断次数。当SU的中断次数达到n_max后，再次被中断后，SU放弃该次传输。

停留等待：在这种情况下，SU停留在当前信道等待，直到通道k上所有高优先级用户离开信道。因此，等待时间由三部分组成：中断当前传输的用户的服务时间、新到达的PUs的服务时间和新到达的高优先级SUs的服务时间。

其中，ω^k _i，v和φ^k _i，v分别是优先级为v，中断次数为i的次用户在信道k上的到达率和有效服务时间。E(X_int)是抢占信道的用户的服务时间，λ^k _pE(W′^k _i，j)E(X^k _p)为新到达的主用户的服务时间，

为新到达的高优先级SUs的服务时间。

ρ_v表示信道K被SU_v占据的概率。将(16)代入(15)得到：

切换至其他信道：此情况下，被中断的SU选择从当前信道切换到另一个信道。我们假设目标信道为信道k。当SU_j离开当前信道，信道k可能处于四种状态：PU占用，高优先级或同优先级SU占用，低优先级SU占用和空闲。当目标信道被同优先级或高优先级用户占用时，SU_j需要在相应优先级的队列中等待。当目标通道处于第三种状态时，SU_j需要进行判断。如果信道用户进入中断保护状态，SU_j就不能中断它的传输，需要返回到它的队列等待。否则，SU_j中断其传输过程并抢占该信道。当信道处于空闲状态时，SU_j直接进入信道进行传输，没有初始时延。

E(R^k _s，j)为当前服务用户在通道k上的平均剩余服务时间，E(Q^k _p)E(X^k _p)和

分别为信道k上当前PU和高优先级SU的服务时长，第4项为等待时间内新到达的PU的期望服务时间，最后一项为在等待时间内新到达的高优先级SU的期望服务时间。根据剩余时间的定义：

我们可以求出：

根据利特尔法则我们可以求出：

E(Q^k _p)＝λ^k _pE(W^k _p) (21)

E(Q^k _p)为信道k上主用户数量，λ^k _p为主用户在信道k上的到达率，E(W^k _p)为PU在信道k上的期望等待时长，且有：

E(W^k _p)＝E(R^k _p)+E(Q^k _p)E(X^k _p) (22)

E(R^k _p)为当前信道服务用户平均剩余服务时间，E(Q^k _p)E(X^k _p)为当前队列中PU的总服务时间。因此我们求出：

类似地，我们求出

步骤7，在PU信号出现过程为泊松过程条件下，用SUs的扩展数据传输时间(ExtendData Delivery Time)来表征切换策略的性能，根据步骤4的优先级划分的结果，步骤5的抢占门限值τ和步骤6的混合PRP/N-PRP M/G/m排队论模型计算切换时延E(T_j)：

其中，n为中断次数，n_max为SUs的最大中断次数。当SU的中断次数达到n_max后，再次被中断后，SU放弃该次传输，E[·]表示数学期望，p^k _i，j为中断次数为i的SU_j在信道k上再次被中断的概率，E(X_j)为优先级为j的SU期望服务时长；

在此，

步骤8，根据步骤7的切换时延E(T_j)的表达式将SU₁的最优抢占门限值

的选取归结为以下最优化问题：

在此，根据步骤7的切换时延表达式将SU₁的最优抢占门限值

的选取归结为以下最优化问题：

步骤9，根据步骤8提出的最优化问题，利用DQN算法求取最优门限值，对新加入CRNs系统的SU，利用周边距离其最近的SU的Q函数及其参数对其进行初始化，然后，要求SU_j通过DQN方法寻找一个最优学习策略π，使得自己在下一时刻获得的回报最大，从而实现CRNs系统各优先级SU整体传输时延最小，即：

其中，γ_t是每一时间步长的折扣因子。

为最优Q值函数，表示SU₁在最优学习策略π下，在(0，∞)时间范围内获得的最大折扣回报r_i(s，a)之和；

在此，根据步骤8提出的优化问题，利用DQN算法求取最优门限值，进行建模，构建出动作空间、状态空间和回报函数，然后采用DQN算法求得Q值近似估计器，从而得到最优学习策略。门限值的集合就构成了SU_j的动作空间A_i，表示为

式(26)中的两个限制条件定义为状态，则在t时刻，构建出系统的状态空间为S^(t)＝(I^(t)，D^(t))，其中

将回报函数定义为状态空间和当前动作空间上的函数，在t时刻，SU_j(j＝1，2，…，L)获得的回报r_i(s_t，a_t)为

对新加入CRNs系统的SU，利用周边距离其最近的SU的Q函数及其参数对其进行初始化。然后，要求SU通过DQN方法寻找一个最优学习策略π，使得自己在下一时刻获得的回报最大，即

其中，γ_t是每一时间步长的折扣因子，E[·]表示数学期望。

为最优Q值函数，表示SUi在最优学习策略π下，在(0，∞)时间范围内获得的最大折扣回报r_i(s，a)之和。由Bellman最优恒等式可知，在下一时刻，如果在状态序列s′下的最优Q值

对所有动作a′来说都是已知的，则式(5)可表示为

在DQN经验回放的任一时间步骤t时刻，SU_j在与周边无线环境交互的过程中，将获取的经验值

存入回放存储器

中。SU_j在上一步骤和当前步骤下Q值的估计参数分别为

θ_i，通过使得当前迭代步骤下的损失函数L(θ_i)最小，实现对DQN网络中θ_i参数的不断更新，即L(θ_i)＝E[(y_i-Q(s，a；θ_i))²] (28)

其中，

用∈-greedy策略来选择每个SU的动作(抢占门限τ_j)，对参数θ_i进行更新，使得SU_j的回报最大，实现SU扩展数据传输时间最小；

步骤10，根据步骤9，按照SUs的扩展数据传输时间由低到高的原则，对

进行预测判决并排序，得到频谱切换接入时的目标信道序列

本发明所述的一种多优先级用户频谱预测切换方法一实施例中，所述步骤4中信道繁忙概率ρ_k为：

其中，ρ^k _p表示PU占用导致信道K繁忙的概率，ρ^k _j表示信道K被SU_j占据的概率。

本发明所述的一种多优先级用户频谱预测切换方法一实施例中，所述步骤6中混合PRP/N-PRP M/G/m排队论模型的SU期望服务时长为：

E(φ^k _i，j)为PRP M/G/1模型下中断次数为i的SU_j在信道k上的平均服务时长。

本发明所述的一种多优先级用户频谱预测切换方法一实施例中，所述步骤7中PU信号出现的频率为1/λ，其概率密度函数PDF(Probability Density Function)为

由泊松分布性质可知λ＝E(X)，其中，E(·)表示数学期望。

本发明所述的一种多优先级用户频谱预测切换方法一实施例中，所述步骤7中E(D^k _i，j)为中断次数为i的SU_j切换等待时长。

本发明所述的一种多优先级用户频谱预测切换方法一实施例中，所述步骤8中SU₁的动作空间_Al门限值的集合，表示为

t时刻，构建出系统的状态空间为S^(t)＝(I^(t)，D^(t))，其中，

t时刻，SU_j(j＝1，2，...，L)获得的回报r_j(s_t，a_t)为：

其中，ω^k _i，j和φ^k _i，j分别是优先级为j，中断次数为i的次用户在信道k上的到达率和有效服务时间，λ^k _p为信道k上主用户到达率，E(X_j)为SU_j的期望服务时长。Λ为一个常数，其值小于采取任意学习策略时所得到的回报值。

在此，本发明所要解决的技术问题是克服现有技术的不足而提供一种基于M/G/m排队论模型的多优先级用户频谱预测切换方法，与传统频谱切换方法相比，本发明方法具有更低的传输时延和更优的切换性能。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

(3)本发明提出了一种M/G/m排队论模型表征SUs的切换过程，考虑不同信道之间的流量差异，避免因流量分布不均造成频谱资源浪费。

(4)推导出目标信道切换的优先序列，进而提出一种基于DQN预测判决的频谱切换方法。具有切换成功率更高、迭代次数更少等优点。

(5)该方法通过构建出SU频谱切换累计时延模型，采用深度Q网络(Deep Q-Network，DQN)及迁移学习(Transfer Learning，TL)策略对SUs的传输时延进行分析，实现系统整体传输时长最小。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (6)

1.一种多优先级用户频谱预测切换方法，其特征在于，包括：

步骤1，将SU在进行频谱切换的范围内划分为M个互不重叠的PU信道，按照其中心频率从小到大顺序，依次排列为

φ_i为第i个PU信道，i为正整数；

步骤2，将CR系统的每一个时隙划分为三部分：频谱感知T_S、切换确认T_ACK和传输阶段T_D；

步骤3，根据步骤2的时隙划分，SU在切换确认T_ACK的时间间隔内，检测频谱切换完成的确认信号是否到来，以判断频谱切换过程是否结束，如果检测到，则整个频谱切换过程结束；反之，转至下一步骤；

步骤4，根据次用户的时延敏感程度对次用户进行优先级划分，依次排列为

SU_j为优先级为j的次用户，j为正整数，其中，SU₁是具有最高优先级的SU，SU_L具有最低优先级，计算信道繁忙概率ρ_k，其中，L为优先级的级数；

步骤5，设定抢占门限值τ，根据SU经历过的传输时间长短判断该SU能否被高优先级SU中断传输过程，其中，中断权限判决依据为：

其中，T_elap为SU经历过的传输时间，τ为SU的抢占门限值；

步骤6，根据步骤4的优先级划分的结果和步骤5的抢占门限值τ，构建一个混合PRP/N-PRP M/G/m排队论模型表征SU的切换过程，将切换过程分为停留等待和切换至其他信道两种情况，分别计算等待时长，根据等待时长进行选择：

其中，E(·)表示数学期望，t_s为切换动作执行所需时间，W'表示停留等待条件下用户等待时长，W表示切换至其他信道条件下用户等待时长；

步骤7，在PU信号出现过程为泊松过程条件下，用SU的扩展数据传输时间来表征切换策略的性能，根据步骤4的优先级划分的结果，步骤5的抢占门限值τ和步骤6的混合PRP/N-PRPM/G/m排队论模型计算切换时延E(T_j)：

其中，n为中断次数，n_max为SU的最大中断次数，当SU的中断次数达到n_max后，再次被中断后，SU放弃该次传输，E(·)表示数学期望，p^k _i,j为中断次数为i的SU_j在信道k上再次被中断的概率，E(D^k _i,j)表示中断次数为i的SU_j切换等待时长，E(X_j)表示优先级为j的SU期望服务时长；

步骤8，根据步骤7的切换时延E(T_j)的表达式将SU_l的最优抢占门限值

的选取归结为以下最优化问题：

E(T_j)表示切换时延；

步骤9，根据步骤8提出的最优化问题，利用DQN算法求取最优门限值，对新加入CRNs系统的SU，利用周边距离其最近的SU的Q函数及其参数对其进行初始化，然后，要求SU_j通过DQN方法寻找一个最优学习策略π，使得自己在下一时刻获得的回报最大，从而实现CRNs系统各优先级SU整体传输时延最小，即：

其中，γ_t是每一时间步长的折扣因子，

为最优Q值函数，表示SU_l在最优学习策略π下，在(0,∞)时间范围内获得的最大折扣回报r_i(s,a)之和，s表示当前时刻状态，a表示当前时刻动作，s'代表下一时刻的状态，a'代表下一时刻的动作，s_t表示t时刻的状态，a_t表示t时刻的动作；

步骤10，根据步骤9，按照SUs的扩展数据传输时间由低到高的原则，对

进行预测判决并排序，得到频谱切换接入时的目标信道序列

2.如权利要求1所述的多优先级用户频谱预测切换方法，其特征在于，所述步骤4中信道繁忙概率ρ_k为:

其中,ρ^k _p表示PU占用导致信道K繁忙的概率，ρ^k _j表示信道K被SU_j占据的概率。

3.如权利要求1所述的多优先级用户频谱预测切换方法，其特征在于，所述步骤6中混合PRP/N-PRP M/G/m排队论模型的SU期望服务时长为:

E(φ^k _i,j)为PRP M/G/1模型下中断次数为i的SU_j在信道k上的平均服务时长，E(θ^k _i,j)表示M/G/m模型下中断次数为i的SU_j在信道k上的平均服务时长。

4.如权利要求1所述的多优先级用户频谱预测切换方法，其特征在于，所述步骤7中PU信号出现的频率为1/λ，其概率密度函数PDF为：

由泊松分布性质得到λ＝E(X)，其中，E(·)表示数学期望。

5.如权利要求1所述的多优先级用户频谱预测切换方法，其特征在于，所述步骤7中E(D^k _i,j)为中断次数为i的SU_j切换等待时长：

其中，E(W'^k _i,j)表示中断次数为i的SU_j在信道k上停留等待需要的时长的期望值，E(W^k _i,j)表示中断次数为i的SU_j在当前信道k上采取切换至其他信道所需的切换时长的期望值。

6.如权利要求1所述的多优先级用户频谱预测切换方法，其特征在于，所述步骤8中SU_l的动作空间A_l门限值的集合，表示为

t时刻，构建出系统的状态空间为S^(t)＝(I^(t),D^(t))，其中，

t时刻，j＝1,2,…,L，SU_j获得的回报r_j(s_t,a_t)为：

其中，ω^k _i,j和φ^k _i,j分别是优先级为j，中断次数为i的次用户在信道k上的到达率和有效服务时间，λ^k _p为信道k上主用户到达率，E(X_j)为SU_j的期望服务时长，Λ为一个常数，其值小于采取任意学习策略时所得到的回报值。

Images