CN110856181B - 一种分布式业务匹配序贯频谱接入决策方法 - Google Patents

Abstract

本发明公开了一种分布式业务匹配序贯频谱接入决策方法，包括如下步骤：获取目标系统并对目标系统进行初始化定义；计算用户的序贯检测次序的期望吞吐量；基于所述用户的序贯检测次序的期望吞吐量更新用户自身的序贯检测次序；用户基于自身更新后的决策选择相应的序贯检测次序进行信道感知，接入空闲信道，并传输数据。本发明采用基于分布式用户业务数据异构特征而进行分布式学习的系统优化方法，在信道接入方法中引入适当的本地合作机制，提出了一个业务驱动的本地合作分布式学习算法，以本地信息交互的较小代价渐进收敛到全局最优状态，实现了网络系统吞吐量最优化。

Description

一种分布式业务匹配序贯频谱接入决策方法

技术领域

本发明涉及自组织无线通信网络接入技术领域，具体涉及一种分布式业务匹配序贯频谱接入决策方法。

背景技术

当前，5G网络面临的严重的频谱资源紧张问题，采用基于认知无线电的机会频谱接入技术能有效利用空闲频谱资源。在微蜂窝网络研究中采用认知无线电技术，被称为认知微蜂窝网络(Cognitive Small Cell，CSC)。认知微蜂窝具备认知无线电的检测无线电环境，发现可用空闲频谱信道资源，并动态调整接入参数的能力。认知微蜂窝通过使用机会频谱接入技术，按环境条件动态接入更好的频谱，为其终端提供业务传输服务。

当前，认知微蜂窝采用机会频谱接入主要分为并行接入机制和序贯接入机制两种。并行接入机制，即本时隙内，用频用户(认知微蜂窝)决策感知接入某个信道。而如果该信道检测结果为忙，则需要在下一个时隙再进行信道感知决策。该并行接入机制较为简单，相应的研究也较多，但存在频谱机会探测不够充分的问题。序贯检测机制，即用频用户决策感知多个信道，直到找到可用信道为止。虽然单用户的序贯检测问题相关研究较为充分，但是，如果在多用户系统中采用序贯检测机制，将带来一系列的挑战。

由于系统的复杂性，基于序贯检测机制的自组织多用户序贯检测次序优化决策相关方法较少，且都只是给出了一些多用户序贯检测次序优化的可行方法，并未得出能获取系统最优解的方法。最新研究假定了用户在一个预先定义的、由一个中心协调机制来协调的序贯检测次序拉丁矩阵范围内作出决策。在一个N信道系统中，拉丁矩阵即为一个N*N的循环移位矩阵，保证各个序贯检测次序无重叠。该假定条件较强，大大简化了实际系统中各用频用户的序贯检测决策空间和冲突分析，且限制了系统用户数要不大于系统信道数。更重要的是，基于该假设条件得出的方法虽然中达到了冲突避免的最优系统解，但是，该系统解远不等同于实际吞吐量的系统最优解。在考虑多用户实际异构业务数据时更是需要进一步优化其方法。

同时，当前方法普遍忽视了用户的实际业务接入需求，大多数是面向系统容量的优化，而这与系统用户吞吐量之间还存在差异。

综上所述，如何实现多用户异构业务数据与其序贯检测次序的最优匹配，进而实现机会频谱资源利用率的进一步提升成为了本领域技术人员急需解决的问题。

发明内容

针对现有技术存在的上述不足，本发明实际需要解决的问题是：如何实现多用户异构业务数据与其序贯检测次序的最优匹配，进而实现机会频谱资源利用率的进一步提升。

本发明采用了如下的技术方案：

一种分布式业务匹配序贯频谱接入决策方法，包括如下步骤：

S1、获取目标系统并对目标系统进行初始化定义；

S2、计算用户的序贯检测次序的期望吞吐量；

S3、基于所述用户的序贯检测次序的期望吞吐量更新用户自身的序贯检测次序；

S4、用户基于自身更新后的决策选择相应的序贯检测次序进行信道感知，接入空闲信道，并传输数据。

优选地，步骤S1中：

所述目标系统包括N个信道及M个用户；

S_CH＝{1,2,...,N}为机会频谱信道集合，S＝{1,2,...,m,...,M}为用户集合，C＝[C₁,C₂,...,C_N]为信道集合，θ＝[θ¹,θ,...,θ^N]为信道空闲概率向量，

为检测概率，

为各信道状态检测在对应的检测概率下的虚警概率向量，L＝[L₁,L₂,...,L_M]为各个用户的业务数据向量，D_i,j为用户i和用户j之间的相邻关系，D_i,j＝1时，用户i和用户j非相邻，D_i,j＝0时用户i和用户j相邻，Ψ_m＝{i∈S:D_i,m＝0}为包含CSC_m自身的邻居集合；

每个周期时隙T包括本地信息交互阶段和学习阶段τ_l、业务数据传输阶段，以及多个信道选择和检测阶段τ_s，S_CH＝{1,2,...,N}的全排列O，用户CSC_m的序贯检测次序为S_m＝(s_m1,s_m2,...,s_mN)，然后按所述序贯检测次序序贯检测信道，直到发现空闲信道，并接入所述空闲信道传输数据。

优选地，步骤S2包括：

S201、定义用户吞吐量：

用户CSC_m的业务队列为L_m，序贯检测次序为S_m＝(s_m1,s_m2,...,s_mN)，该次序中第k个信道s_mk被正确检测为信道空闲，且业务数据传输无冲突时，则用户CSC_m的业务吞吐量为：

式中，

为信道s_mk的信道容量；

S202、计算用户之间的信道重叠关系：

用户CSC_m的序贯检测次序为S_m＝(s_m1,s_m2,...,s_mN)，CSC_m的邻居CSC_h的序贯检测次序为S_h＝(s_h1,s_h2,...,s_hk,...,s_hN)，CSC_m与CSC_h的信道重叠关系函数为

δ(s_mk,s_hk)＝1时，表示CSC_m和CSC_h在第k个信道上发生重叠，

表示CSC_m的邻居中与CSC_m的序贯检测次序在第k个信道上发生重叠的用户的集合，

表示CSC_m的邻居中前i个检测信道中包含CSC_m的第i个检测信道s_mi的用户的集合；

S203、计算传输成功率：

CSC_m在s_mk上成功传输数据的概率为

式中，

为CSC_m的邻居集合Ψ_m中的用户没有占用s_mk的概率，

为CSC_m的s_mi信道的虚警概率；

S204、计算用户期望吞吐量：

式中，

为CSC_m在s_mk的期望吞吐量，

CSC_m对应的序贯检测次序S_m＝(s_m1,s_m2,...,s_mN)的期望吞吐量为

优选地，步骤S3包括：

S301、随机生成初始决策：

设置学习步数t＝0；

对于任一用户CSC_m，从S_CH＝{1,2,...,N}的全排列O中等概率地随机选择一个序贯检测次序作为初始决策a_m，a_m＝S_m＝(s_m1,s_m2,...,s_mN)∈O；

S302、基于选择的序贯检测次序S_m＝(s_m1,s_m2,...,s_mN)逐次检测信道，并在检测结果为空闲时接入信道传输自己的业务数据L_m，计算吞吐量作为回报值；

S303、在时隙模型的τ_l阶段，相邻用户之间完成信息交互和决策学习，信息交互的内容包括用户自身的决策和回报值；

S304、从邻居用户中选择一个决策更新节点，更新节点按如下步骤进行决策更新：

计算当前状态下用户自身的决策a_m的期望效用u_m(a_m,a_-m)；

从用户自身所有可能的决策空间A_m中，随机挑选一个决策a'_m＝S'_m，计算决策a'_m下所能获得的期望效用u_m(a'_m,a_-m)；

根据以下混合策略概率分布来随机决策

式中，β为学习参数，β＞0；

其他与CSC_m相邻的用户保持上一时隙的决策不变：a_i(t+1)＝a_i(t)；

S305、如果用户的决策没有达到连续预设个数的步数内保持不变，则回到步骤S302。

优选地，还包括：

S5、实时采集目标系统数据，当决策所需的环境信息、本身业务需求或目标系统内其他用户的情况发生变化时，返回执行步骤S2。

综上所述，与现有技术相比，本发明的有益效果如下：

5G网络面临的严重的频谱资源紧张问题，采用基于认知无线电的机会频谱接入技术能有效利用空闲频谱资源。当前研究中忽视用户业务数据传输需求、非系统最优业务吞吐量、检测次序拉丁矩阵决策空间限制等问题，本发明提出一种分布式业务匹配序贯频谱接入决策方法，其该方法面向业务数据接入优化，实现序贯检测次序与业务需求的最优匹配，采用基于分布式优化方法，提出了业务驱动的序贯检测次序决策学习算法，该学习算法能渐进收敛到系统最优解，实现多用户异构业务数据与其序贯检测次序的最优匹配，能实现机会频谱资源利用率的进一步提升。

附图说明

图1为本发明公开的一种分布式业务匹配序贯频谱接入决策方法的一种具体实施方式的流程图；

图2为本发明中的异构业务自组织微蜂窝机会频谱接入场景图；

图3为本发明中的多用户序贯检测信道使用时隙结构图；

图4为3用户场景对比实例中本发明的方法与现有方法的性能对比图；

图5为6用户场景对比实例中本发明的方法与现有方法的性能对比图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述说明。

如图1所示，本发明公开了一种分布式业务匹配序贯频谱接入决策方法，包括如下步骤：

S1、获取目标系统并对目标系统进行初始化定义；

S2、计算用户的序贯检测次序的期望吞吐量；

S3、基于所述用户的序贯检测次序的期望吞吐量更新用户自身的序贯检测次序；

S4、用户基于自身更新后的决策选择相应的序贯检测次序进行信道感知，接入空闲信道，并传输数据。

与先有技术相比，本发明采用基于分布式用户业务数据异构特征而进行分布式学习的系统优化方法，在信道接入方法中引入适当的本地合作机制，提出了一个业务驱动的本地合作分布式学习算法，以本地信息交互的较小代价渐进收敛到全局最优状态，实现网络系统吞吐量最优化。

具体实施时，步骤S1中：

所述目标系统包括N个信道及M个用户；

S_CH＝{1,2,...,N}为机会频谱信道集合，S＝{1,2,...,m,...,M}为用户集合，C＝[C₁,C₂,...,C_N]为信道集合，θ＝[θ¹,θ,...,θ^N]为信道空闲概率向量，

为检测概率，

为各信道状态检测在对应的检测概率下的虚警概率向量，虚警概率为PU信道本来空闲但是由于检测错误而信道忙的概率，检测概率为PU信道忙且检测结果也为信道忙的概率。L＝[L₁,L₂,...,L_M]为各个用户的业务数据向量，D_i,j为用户i和用户j之间的相邻关系，D_i,j＝1时，用户i和用户j非相邻，D_i,j＝0时用户i和用户j相邻，Ψ_m＝{i∈S:D_i,m＝0}为包含CSC_m自身的邻居集合；

每个周期时隙T包括本地信息交互阶段和学习阶段τ_l、业务数据传输阶段，以及多个信道选择和检测阶段τ_s，S_CH＝{1,2,...,N}的全排列O，用户CSC_m的序贯检测次序为S_m＝(s_m1,s_m2,...,s_mN)，然后按所述序贯检测次序序贯检测信道，直到发现空闲信道，并接入所述空闲信道传输数据。

在本发明中，目标系统包括N个信道及M个用户(认知微蜂窝，CSC，机会频谱用户)的分布式系统，如图2所示。CSC按一定次序检测信道直到发现空闲信道进行数据传输为止。CSC通过检测本时隙内PU信道的占用状态，在信道空闲时，则可以使用该空闲信道进行业务数据传输。比如，在图2中，如果CSC₁在本时隙决定检测信道1或信道3且信道检测没有错误，由于此时信道1和信道3被PU占用，则CSC₁不能在本时隙接入信道进行业务传输，则本时隙CSC₁的业务吞吐量即为0。图2中，CSC之间的相互影响是本地的，而非全局，即任意一个CSC的影响范围限于与它存在信号干扰关系的邻居之间。比如，CSC₁和CSC₄可以在同一个信道上传输数据而互补干扰，因为他们不是邻居节点。而如果CSC₂和CSC₃在同一个信道上传输，则会发生冲突碰撞，因为他们是邻居节点。图2中，各个CSC服务的终端运行的应用是异构的，各个PU信道的容量和空闲概率也是异构的。

以图3为例，对图3所示的多用户序贯接入信道可能会出现的几种典型情况进行说明。CSC序贯信道检测和业务传输时隙结构如图3所示。每个周期时隙T划分为信道选择和检测阶段(若干个τ_s)，本地信息交互阶段和学习阶段τ_l，以及业务数据传输阶段。记信道集合S_CH＝{1,2,...,N}的全排列O，每个CSC，比如CSC_m，可以从中选择一个检测次序S_m＝(s_m1,s_m2,...,s_mN)，然后按该次序序贯检测信道，直到发现空闲可用信道，然后接入信道传输数据。图3中示例，CSC₁虽然检测信道5，本身信道是空闲的，但是在检测过程中发生了虚警错误，失去了机会，然后继续按次序检测直到正确检测到空闲信道4，在时间3τ_s开始数据传输。根据业务数据量和信道容量，实际数据传输时间为L₁/C₄。对于CSC₄，因为和CSC₁不相邻，也可以同时接入信道4，它的传输实际为T-3τ_s-τ_l，即本时隙剩余时间，因为它的业务数据量大。CSC₂和CSC₃由于是邻居，企图同时接入相同信道，所以发生传输冲突。这里造成冲突的重要原因就是各自的信道序贯检测次序发生了重叠。CSC₆在检测信道1时发生了漏检，即PU信道本身忙，但是检测结果却为空闲，所以在信道1上传输必然发生冲突。

具体实施时，步骤S2包括：

S201、定义用户吞吐量：

用户CSC_m的业务队列为L_m，序贯检测次序为S_m＝(s_m1,s_m2,...,s_mN)，该次序中第k个信道s_mk被正确检测为信道空闲，且业务数据传输无冲突时，则用户CSC_m的业务吞吐量为：

式中，

为信道s_mk的信道容量；

S202、计算用户之间的信道重叠关系：

用户CSC_m的序贯检测次序为S_m＝(s_m1,s_m2,...,s_mN)，CSC_m的邻居CSC_h的序贯检测次序为S_h＝(s_h1,s_h2,...,s_hk,...,s_hN)，CSC_m与CSC_h的信道重叠关系函数为

δ(s_mk,s_hk)＝1时，表示CSC_m和CSC_h在第k个信道上发生重叠，

表示CSC_m的邻居中与CSC_m的序贯检测次序在第k个信道上发生重叠的用户的集合，

表示CSC_m的邻居中前i个检测信道中包含CSC_m的第i个检测信道s_mi的用户的集合；

S203、计算传输成功率：

CSC_m在s_mk上成功传输数据的概率为

式中，

为CSC_m的邻居集合Ψ_m中的用户没有占用s_mk的概率，

为CSC_m的s_mi信道的虚警概率；

S204、计算用户期望吞吐量：

式中，

为CSC_m在s_mk的期望吞吐量，

CSC_m对应的序贯检测次序S_m＝(s_m1,s_m2,...,s_mN)的期望吞吐量为

具体实施时，步骤S3包括：

S301、随机生成初始决策：

设置学习步数t＝0；

对于任一用户CSC_m，从S_CH＝{1,2,...,N}的全排列O中等概率地随机选择一个序贯检测次序作为初始决策a_m，a_m＝S_m＝(s_m1,s_m2,...,s_mN)∈O；

S302、基于选择的序贯检测次序S_m＝(s_m1,s_m2,...,s_mN)逐次检测信道，并在检测结果为空闲时接入信道传输自己的业务数据L_m，计算吞吐量作为回报值；

S303、在时隙模型的τ_l阶段，相邻用户之间完成信息交互和决策学习，信息交互的内容包括用户自身的决策和回报值；

S304、从邻居用户中选择一个决策更新节点，更新节点按如下步骤进行决策更新：

计算当前状态下用户自身的决策a_m的期望效用u_m(a_m,a_-m)；

从用户自身所有可能的决策空间A_m中，随机挑选一个决策a'_m＝S'_m，计算决策a'_m下所能获得的期望效用u_m(a'_m,a_-m)；

根据以下混合策略概率分布来随机决策

式中，β为学习参数，β＞0；

其他与CSC_m相邻的用户保持上一时隙的决策不变：a_i(t+1)＝a_i(t)；

S305、如果用户的决策没有达到连续预设个数(具体可为50次)的步数内保持不变，则回到步骤S302。

具体实施时，还包括：

S5、实时采集目标系统数据，当决策所需的环境信息、本身业务需求或目标系统内其他用户的情况发生变化时，返回执行步骤S2。

这样可以根据目标系统的变化实时更新决策，从而持续保证全局最优状态。

在本发明中，面向业务数据的序贯接入模型为G＝{S,S_CH,O,A_m,u_m,Ψ_m,L_m}。其中，S是决策用户集合，S_CH是机会频谱信道集合，O是S_CH的全排列，A_m是任意用户CSC_m的决策空间，即可供CSC_m选择的信道集合。Ψ_m是用户CSC_m的邻居用户集合。L_m是用户CSC_m的的业务数据。定义a_m＝S_m＝(s_m1,s_m2,...,s_mN)∈A_m为用户CSC_m的一个决策动作，a＝{a₁,a₂,...,a_M}为系统各用户决策向量。u_m是用户CSC_m的效用函数，u_m＝u_m(a_m,a_-m)。其中，a_m是CSC_m的决策，a_-m表示系统中除CSC_m以外的其他用户的决策。

通过以下仿真实例来验证本发明的有效性。

实例场景为包括3个CSC用户自组织网络，PU信道数目为N＝3，时隙长度设为T＝100ms。信道检测时间设为5ms。本地信息交互阶段和学习阶段τ_l设为5ms。信道容量设置为C＝[1000,2000,4000]kbit/s。信道空闲概率设为θ＝[0.6,0.7,0.8]。各个CSC业务数据量从以下向量中随机选取：L＝[8533 10133 16533 20800 25067 33600 42133 50667 5920067733]bits，分别表示G.711PCM,WMV,AVI/RM,Flash,H264等各种业务对应的时隙业务量。仿真结果为1000次运行的平均值。仿真停止条件：一是学习更新步数达到上限；二是吞吐量不再发生明显变化。

三个CSC用户的场景业务数据队列设置为：L＝[8533 25067 67733]bits。各个CSC用户对各个信道的检测概率设置为

虚警概率设置为：

该参数设置符合一般机会频谱接入通常设置，且参数的合理变化并不会从根本上影响本方法的运行。

图4反映了如下几个方面的结论：第一，仿真结果显示了本发明所提算法的收敛性和最优性。仿真结果显示，本发明所提算法在经过大约290步学习之后收敛，且性能几乎和穷举得出的系统最优值一样，验证了算法的渐进收敛性和最优性。从序贯检测次序的角度来说，通过学习，各个用户的检测次序达到了通过穷举获得的最优分配方案，实现了检测次序与各自业务数据的匹配。

第二，本文提出的方法优于现有工作中基于拉丁矩阵假设的方法。作为对比，本文给出了按基于两种拉丁矩阵的方法中达到无冲突检测次序分配方案后的系统性能，即相关方法中收敛后的性能。从结果可以看出，不同的预先设定的拉丁矩阵会对应不同的收敛性能，有的拉丁矩阵永远不能获得系统最优解。比如，如果设定拉丁矩阵为图5中的1号矩阵，则无论如何调整各个CSC的检测次序，都不能达到最优次序，因为该最优次序根本不是1号拉丁矩阵的任意变形。更进一步，即便选择了能够达到最优解的拉丁矩阵，即图中的2号矩阵，按相关研究中的方法，仅仅是收敛到次序无冲突，并不一定会调整到最优次序的业务与次序最优匹配的状态。即次序[312]应该分配给CSC₃而不是CSC₂。这是因为相关研究的方法的优化目标就是在假定无限业务数据条件下的无冲突优化，而不是本发明研究的面向异构业务数据的业务吞吐量优化。这说明，忽视业务数据的方法不能实现最优的业务与检测次序的匹配，也就不能达到真正的吞吐量最优化。

图5的结果更清晰的反映了随着CSC数目逐渐增加是，各种方法的性能对比。基于拉丁矩阵的方法在CSC数目达到六个时，冲突已经非常严重，性能很差。因为无冲突选择的策略个数只有三个，每增加一个CSC，就必然增加一个检测次序完全重合的竞争者。所提方法由于决策空间不受拉丁矩阵限制，因此在6个CSC时仍能找到适合的检测次序分配方案。本发明所提算法获得了最好的性能，因为它能以概率1收敛到全局最优解。

上述仿真证明了本发明所提的算法的有效性、合理性。

本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。

Claims (2)

1.一种分布式业务匹配序贯频谱接入决策方法，其特征在于，包括如下步骤：

S1、获取目标系统并对目标系统进行初始化定义；

S2、计算用户的序贯检测次序的期望吞吐量；

S3、基于所述用户的序贯检测次序的期望吞吐量更新用户自身的序贯检测次序；

S4、用户基于自身更新后的决策选择相应的序贯检测次序进行信道感知，接入空闲信道，并传输数据；

步骤S1中：

所述目标系统包括N个信道及M个用户；

S_CH＝{1,2,...,N}为机会频谱信道集合，S＝{1,2,...,m,...,M}为用户集合，C＝[C₁,C₂,...,C_N]为信道集合，θ＝[θ¹,θ,...,θ^N]为信道空闲概率向量，

为检测概率，

为各信道状态检测在对应的检测概率下的虚警概率向量，L＝[L₁,L₂,...,L_M]为各个用户的业务数据向量，D_i,j为用户i和用户j之间的相邻关系，D_i,j＝1时，用户i和用户j非相邻，D_i,j＝0时用户i和用户j相邻，Ψ_m＝{i∈S:D_i,m＝0}为包含CSC_m自身的邻居集合；

每个周期时隙T包括本地信息交互阶段和学习阶段τ_l、业务数据传输阶段，以及多个信道选择和检测阶段τ_s，S_CH＝{1,2,...,N}的全排列

用户CSC_m的序贯检测次序为S_m＝(s_m1,s_m2,...,s_mN)，然后按所述序贯检测次序序贯检测信道，直到发现空闲信道，并接入所述空闲信道传输数据；

步骤S2包括：

S201、定义用户吞吐量：

用户CSC_m的业务队列为L_m，序贯检测次序为S_m＝(s_m1,s_m2,...,s_mN)，该次序中第k个信道s_mk被正确检测为信道空闲，且业务数据传输无冲突时，则用户CSC_m的业务吞吐量为：

式中，

为信道s_mk的信道容量；

S202、计算用户之间的信道重叠关系：

用户CSC_m的序贯检测次序为S_m＝(s_m1,s_m2,...,s_mN)，CSC_m的邻居CSC_h的序贯检测次序为S_h＝(s_h1,s_h2,...,s_hk,...,s_hN)，CSC_m与CSC_h的信道重叠关系函数为：

δ(s_mk,s_hk)＝1时，表示CSC_m和CSC_h在第k个信道上发生重叠，

表示CSC_m的邻居中与CSC_m的序贯检测次序在第k个信道上发生重叠的用户的集合，

表示CSC_m的邻居中前i个检测信道中包含CSC_m的第i个检测信道s_mi的用户的集合；

S203、计算传输成功率：

CSC_m在s_mk上成功传输数据的概率为：

式中，

为CSC_m的邻居集合Ψ_m中的用户没有占用s_mk的概率，

为CSC_m的s_mi信道的虚警概率；

S204、计算用户期望吞吐量：

式中，

为CSC_m在s_mk的期望吞吐量，

CSC_m对应的序贯检测次序S_m＝(s_m1,s_m2,...,s_mN)的期望吞吐量为：

步骤S3包括：

S301、随机生成初始决策：

设置学习步数t＝0；

对于任一用户CSC_m，从S_CH＝{1,2,...,N}的全排列

中等概率地随机选择一个序贯检测次序作为初始决策a_m，

S302、基于选择的序贯检测次序S_m＝(s_m1,s_m2,...,s_mN)逐次检测信道，并在检测结果为空闲时接入信道传输自己的业务数据L_m，计算吞吐量作为回报值；

S303、在时隙模型的τ_l阶段，相邻用户之间完成信息交互和决策学习，信息交互的内容包括用户自身的决策和回报值；

S304、从邻居用户中选择一个决策更新节点，更新节点按如下步骤进行决策更新：

计算当前状态下用户自身的决策a_m的期望效用u_m(a_m,a_-m)；

从用户自身所有可能的决策空间A_m中，随机挑选一个决策a'_m＝S'_m，计算决策a'_m下所能获得的期望效用u_m(a'_m,a_-m)；

根据以下混合策略概率分布来随机决策

式中，β为学习参数，β＞0；

其他与CSC_m相邻的用户保持上一时隙的决策不变：a_i(t+1)＝a_i(t)；

S305、如果用户的决策没有达到连续预设个数的步数内保持不变，则回到步骤S302。

2.如权利要求1所述的分布式业务匹配序贯频谱接入决策方法，其特征在于，还包括：

S5、实时采集目标系统数据，当决策所需的环境信息、本身业务需求或目标系统内其他用户的情况发生变化时，返回执行步骤S2。

Images