CN105228158A - 基于强化学习的认知无线网络协作节点选择方法 - Google Patents

Abstract

本发明提供的基于强化学习的认知无线网络协作节点选择方法，包括a.对潜在协作节点独立执行本地频谱检测和判决，获取判决结果；b.构建所述潜在协作节点的适用度列表，并根据所述适用度列表选择最佳协作节点集合；c.根据所述最佳协作节点的漏检概率和虚警概率调整参与协作的节点数；本发明通过对动态通信环境的强化学习，所有潜在协作节点的适用度能随节点检测特性的变化而变化，依据节点适用度选择协作节点集合参与感知信息融合，使协作漏检概率和虚警概率保持在较低水平；依据融合判决的漏检概率和虚警概率自适应调整参与协作的节点数，能进一步提高协作感知的性能。

Description

基于强化学习的认知无线网络协作节点选择方法

技术领域

本发明涉及无线通信领域，尤其涉及一种基于强化学习的认知无线网络协作节点选择方法。

背景技术

近年来，随着无线通信的迅速发展，面对频谱资源高度紧缺这一严峻现状，认知无线电(CR，CognitiveRadio)技术能够跟踪频谱变化，并根据无线环境自适应调整其工作参数，有效地提高频谱利用率。而基于CR构建认知无线网络(CRN，CRNetwork)是CR迈向实际应用的重要一步。认知无线网络采用“机会”方式动态接入主用户暂时空闲的频谱资源并完成通信，可靠感知空闲频谱资源是实现认知无线电的前提。频谱感知的主要功能是辨识当前可用于传输数据的信道，不仅要求认知节点具有高带宽的前端处理单元进行实时宽带频谱空时分析，而且还要求认知节点之间协调，即多个认知节点交换和融合各自的本地感知信息，通过多认知节点协作和信息融合处理来提高频谱辨识的可靠性，避免“隐藏终端”。

协作频谱感知涉及节点本地检测、协作节点选择和信息融合处理等。在认知无线网络与主网络共存环境中，由于网络场景的复杂性，认知节点的移动性、空间差异性以及认知节点操作行为的时变性、不确定性等因素的共同影响，必然造成当前可靠、可用的协作节点，在下一时刻就可能变为不可靠、不可用，因此，合理、高效的协作节点选择是提高协作频谱感知性能的关键。

目前，现有协作频谱感知技术各有利弊：基于强化学习的协作频谱感知算法通过对潜在协作节点的检测性能排序，及时排除不可用、不可靠节点，能以最小开销选择最佳协作节点参与信息融合。但运用专家系统分析和评估潜在协作节点的适用性，选择的最佳协作节点无法保证协作感知虚警概率较小时，最大化检测概率；基于neyman-pearson聚合的协作节点选择能保证协作感知虚警概率较小时，检测概率最大，但实现复杂度高，仅适用于小规模协作融合处理。非相干能量分解算法通过并行检测和识别主用户和认知用户，能避免相互干扰，但实现复杂度也高；基于距离分簇的协作频谱感知算法依据认知节点的地理位置信息，选择最靠近主用户的认知节点参与信息融合，但感知性能取决于对认知节点地理位置的准确估计，难以适用环境动态变化，且需要额外配置位置感知单元，因此，亟需一种新的方法，以克服上述方法中存在的缺陷。

发明内容

有鉴于此，本发明提供一种基于强化学习的认知无线网络协作节点选择方法，以解决上述问题。

本发明提供的基于强化学习的认知无线网络协作节点选择方法，包括

a.对潜在协作节点独立执行本地频谱检测和判决，获取判决结果；

b.构建所述潜在协作节点的适用度列表，并根据所述适用度列表选择最佳协作节点集合；

c.根据所述最佳协作节点的漏检概率和虚警概率调整参与协作的节点数。

进一步，所述步骤a包括

a1.对所有潜在协作节点独立执行本地频谱检测和判决，获取对所述潜在协作节点的判决结果以及频谱检测的漏检概率和虚警概率，所述判决结果为x(i),i＝1,…,N，其中N为潜在协作节点数；所述漏检概率为 $p_m^i\left(x\right(i\left)\right)=1-\mathrm{Pr}(e_i>{\mathrm{\λ}}_i|H_1)=1-Q(({\mathrm{\λ}}_i-({\mathrm{\γ}}_i+1\left)L\right)/\sqrt{4{\mathrm{\γ}}_{i}L+2L}),$ 所述虚警概率为 $p_f^i\left(x\right(i\left)\right)=\mathrm{Pr}(e_i>{\mathrm{\λ}}_i|H_0)=Q\left(\right({\mathrm{\λ}}_i-L)/\sqrt{2L});$ 其中，i为潜在协作点，N为潜在协作节点数，e_i为检测统计量，λ_i为预设判决门限；γ_i为接收信噪比，L为计算累积能量的样本数，

a2.将所述判决结果x(i)、漏检概率和虚警概率上传至融合中心。

进一步，所述步骤b包括

b1.融合中心执行强化学习，将每个感知周期划分为T_A个时段，进行T_A次信息融合和检测判决，并计算一个感知周期内的综合效益；

b2.在每个感知周期结束时更新所有潜在协作节点的学习参数并计算各潜在协作节点的适用度；

b3.将更新后所有潜在协作节点的适用度值进行排序，形成适用度列表；

进一步，所述步骤c包括

c1.对漏检概率选择T_X个感知周期计算平均漏检概率，对虚警概率选择T_Y个感知周期计算平均虚警概率，

c2.当漏检概率高于预设的阈值时，减少最佳协作节点的数量；当虚警概率高于预设的阈值时，增加最佳协作节点的数量。

进一步，所述步骤a1中，还包括对所有潜在协作节点根据能量检测法执行本地频谱检测和判决。

进一步，通过如下公式计算一个感知周期内的综合效益， $r=\frac{1}{T_A}\underset{t=1}{\overset{T_A}{\Σ}}\[X_t\·({\mathrm{\α}}_t\·C_G+(1-{\mathrm{\α}}_t)\·C_B)+(1-X_t)\·({\mathrm{\β}}_t\·C_G+(1-{\mathrm{\β}}_t)\·C_B)\],$

其中，r为综合效益，X_t为时段t的融合感知结果，α_t表示X_t＝1时是否正确判决，β_t表示X_t＝0时是否正确判决，C_G为感知正确加权因子，C_B为感知错误加权因子。

进一步，通过计算用于表示潜在协作节点i的本地判决与融合判决不同的次数的效益惩罚因子ρ_i，修正强化学习过程，

其中， ${\mathrm{\ρ}}_i=\frac{1}{T_A}\underset{t=1}{\overset{T_A}{\Σ}}\frac{1}{2}\[1-{(-1)}^{x\left(i\right)+X_t}\].$

进一步，所述步骤b2包括

b21.获取更新后协作节点的学习参数：

$p_i^{n+1}\←p_i^n+\mathrm{\β}\·(r^n-{\hat{r}}^n-{\mathrm{\ξ\ρ}}_i^n)\·{\mathrm{\π}}_i^n,$

其中，为更新后协作节点i的学习参数，p_i ⁿ为当前感知周期协作节点i的学习参数，0＜β≤1表示当前强化学习决策对未来决策的影响，rⁿ为当前感知周期的综合效益，为当前感知周期用作强化基线的平均效益，0＜ω≤1为遗忘因子，ξ为对协作节点判决偏差的惩罚强度，为当前感知周期协作节点i的效益惩罚因子，为当前感知周期协作节点i的适用度；

b22.根据更新后的学习参数计算下一感知周期所有潜在协作节点的适用度。

进一步，通过如下计算平均漏检概率和平均虚警概率，

$MIS\left(T_X\right)=\frac{1}{T_X}\·\frac{1}{T_A}\underset{s=-T_X}{\overset{0}{\Σ}}\underset{t=1}{\overset{T_A}{\Σ}}\[(1-X_{s,t})\·(1-{\mathrm{\β}}_{s,t})\]$

$FA\left(T_Y\right)=\frac{1}{T_Y}\·\frac{1}{T_A}\underset{s=-T_Y}{\overset{0}{\Σ}}\underset{t=1}{\overset{T_A}{\Σ}}\[X_{s,t}\·(1-{\mathrm{\α}}_{s,t})\]$

其中，X_s,t为第s个感知周期内第t时段的融合判决结果，α_s,t表示X_s,t＝1时是否正确判决，β_s,t表示X_s,t＝0时是否正确判决。

本发明的有益效果：本发明通过对动态通信环境的强化学习，所有潜在协作节点的适用度能随节点检测特性的变化而变化，依据节点适用度选择协作节点集合参与感知信息融合，使协作漏检概率和虚警概率保持在较低水平；依据融合判决的漏检概率和虚警概率自适应调整参与协作的节点数，能进一步提高协作感知的性能。

附图说明

下面结合附图和实施例对本发明作进一步描述：

图1是本发明的原理示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步描述：图1是本发明的原理示意图。

本实施例中的基于强化学习的认知无线网络协作节点选择方法，包括

a.对潜在协作节点独立执行本地频谱检测和判决，获取判决结果；

b.构建所述潜在协作节点的适用度列表，并根据所述适用度列表选择最佳协作节点集合；

c.根据所述最佳协作节点的漏检概率和虚警概率调整参与协作的节点数。

本实施例通过对动态通信环境的强化学习，所有潜在协作节点的适用度随节点检测特性的变化而变化，并根据节点适用度选择协作节点集合参与感知信息融合，使协作漏检概率和虚警概率保持在较低水平；依据融合判决的漏检概率和虚警概率自适应调整参与协作的节点数，进一步提高协作感知的性能。

在本实施例中，所述步骤a包括

a1.对所有潜在协作节点独立执行本地频谱检测和判决，获取对所述潜在协作节点的判决结果以及频谱检测的漏检概率和虚警概率，所述判决结果为x(i),i＝1,…,N，其中N为潜在协作节点数；

漏检概率为

$\begin{array}{c}{p}_m^i\left(x\right(i\left)\right)=1-\mathrm{Pr}(e_i>{\mathrm{\λ}}_i|H_1)\\ =1-Q\left(\right({\mathrm{\λ}}_i-\left({\mathrm{\γ}}_i+1\right)L)/\sqrt{4{\mathrm{\γ}}_{i}L+2L})\end{array}$ 式(1)

虚警概率为

$\begin{array}{c}{p}_f^i\left(x\right(i\left)\right)=\mathrm{Pr}(e_i>{\mathrm{\λ}}_i|H_0)\\ =Q\left(\right({\mathrm{\λ}}_i-L)/\sqrt{2L})\end{array}$ 式(2)

其中，i为潜在协作点，N为潜在协作节点数，e_i为检测统计量，λ_i为预设判决门限；γ_i为接收信噪比，L为计算累积能量的样本数，

$Q\left(x\right)={\∫}_x^{\mathrm{\∞}}{e}^{-y^2/2}/\sqrt{2\mathrm{\π}}dy$ 式(3)

a2.利用公共控制信道将所述判决结果x(i)、漏检概率和虚警概率上传至融合中心。

在本实施例中，设置潜在协作节点数N＝10，所有潜在协作节点采用能量检测法执行本地频谱检测和判决，获得判决结果x(i)，

$x\left(i\right)=\{\begin{array}{cc}1& e_i>{\mathrm{\λ}}_i\\ 0& e_i\≤\mathrm{\λ}\end{array},i=1,\mathrm{...},10$ 式(4)

其中，为检测统计量，即累积能量，L为计算累积能量的样本数，s_i(l)为潜在协作节点i的第l个接收信号样本值，将L个接收信号组成列向量S_i＝[s_i(1),…,s_i(L)]^T，构造接收信号协方差矩阵P_i＝SS^T，对P_i做特征值分解，如果所有特征值近似相等，判决主用户不存在，如果特征值差异大，提取其最大特征值v_i,max和最小特征值v_i,min，接收信噪比γ_i＝v_i,max/v_i,min，计算频谱检测的漏检概率和虚警概率

在本实施例中，所述步骤b包括

b1.融合中心执行强化学习，将每个感知周期划分为T_A个时段，进行T_A次信息融合和检测判决，并计算一个感知周期内的综合效益；

b2.在每个感知周期结束时更新所有潜在协作节点的学习参数并计算各潜在协作节点的适用度；

b3.将更新后所有潜在协作节点的适用度值进行排序，形成适用度列表；

本实施例中，由融合中心依据执行器-评价器(Actor-Critic)强化学习结构执行强化学习，将每个感知周期划分为T_A个时段，T_A＝20，执行T_A次信息融合和检测判决，评价器(Critic)计算一个感知周期内的综合效益 $r=\frac{1}{T_A}\underset{t=1}{\overset{T_A}{\Σ}}\[X_t\·({\mathrm{\α}}_t\·C_G+(1-{\mathrm{\α}}_t)\·C_B)+(1-X_t)\·({\mathrm{\β}}_t\·C_G+(1-{\mathrm{\β}}_t)\·C_B)\]$ 式(5)

其中，M＝5为初始设置的协作节点数，r为综合效益，X_t为时段t的融合感知结果，α_t表示X_t＝1时是否正确判决，β_t表示X_t＝0时是否正确判决，C_G为感知正确加权因子，体现强化学习的奖励力度，C_B为感知错误加权因子，体现强化学习的惩罚力度， ${\mathrm{\α}}_t=\left\{\begin{array}{cc}1& X_t=1|H_1\\ 0& X_t=1|H_0\end{array}\right.,{\mathrm{\β}}_t=\{\begin{array}{cc}1& X_t=0|H_0\\ 0& X_t=0|H_1\end{array}.$

在本实施例中，所述步骤b2包括

b21.获取更新后协作节点的学习参数：

$p_i^{n+1}\←p_i^n+\mathrm{\β}\·(r^n-{\hat{r}}^n-{\mathrm{\ξ\ρ}}_i^n)\·{\mathrm{\π}}_i^n,$ 式(6)

其中，p_i ⁿ⁺¹为更新后协作节点i的学习参数，p_i ⁿ为当前感知周期协作节点i的学习参数，0＜β≤1表示当前强化学习决策对未来决策的影响，rⁿ为当前感知周期的综合效益，为当前感知周期用作强化基线的平均效益，0＜ω≤1为遗忘因子，ξ为对协作节点判决偏差的惩罚强度，为当前感知周期协作节点i的效益惩罚因子，为当前感知周期协作节点i的适用度；在本实施例中，β＝0.4表示当前强化学习决策对未来决策的影响，ξ＝0.05为对协作节点本地判决相对于融合判决存在偏差的惩罚强度，为当前感知周期协作节点i的适用度，利用更新后的学习参数p_i ⁿ⁺¹计算下一感知周期所有潜在协作节点的适用度

b22.根据更新后的学习参数p_i ⁿ⁺¹计算下一感知周期所有潜在协作节点的适用度。在本实施例中，依据更新后所有潜在协作节点的适用度值选择下一感知周期参与协作融合处理的节点集合，即从所有潜在协作节点中选择M＝5个节点参与协作，执行基于K秩的融合判决。

在本实施例中，通过计算用于表示潜在协作节点i的本地判决与融合判决不同的次数的效益惩罚因子ρ_i，修正强化学习过程，

其中， ${\mathrm{\ρ}}_i=\frac{1}{T_A}\underset{t=1}{\overset{T_A}{\Σ}}\frac{1}{2}\[1-{(-1)}^{x\left(i\right)+X_t}\]$ 式(7)

表示协作节点i的本地判决与融合判决不同的次数，即协作节点本地判决相对于融合判决的偏差，通过惩罚与多数协作节点检测结果不同的协作节点，修正学习过程。

在本实施例中，所述步骤c包括

c1.对漏检概率选择T_X个感知周期计算平均漏检概率，对虚警概率选择T_Y个感知周期计算平均虚警概率，

$MIS\left(T_X\right)=\frac{1}{T_X}\·\frac{1}{T_A}\underset{s=-T_X}{\overset{0}{\Σ}}\underset{t=1}{\overset{T_A}{\Σ}}\[(1-X_{s,t})\·(1-{\mathrm{\β}}_{s,t})\],$ 式(8)

$FA\left(T_Y\right)=\frac{1}{T_Y}\·\frac{1}{T_A}\underset{s=-T_Y}{\overset{0}{\Σ}}\underset{t=1}{\overset{T_A}{\Σ}}\[X_{s,t}\·(1-{\mathrm{\α}}_{s,t})\],$ 式(9)

其中，X_s,t为第s个感知周期内第t时段的融合判决结果，α_s,t表示X_s,t＝1时是否正确判决，β_s,t表示X_s,t＝0时是否正确判决，

${\mathrm{\α}}_{s,t}=\left\{\begin{array}{cc}1& X_{s,t}=1|H_1\\ 0& X_{s,t}=1|H_0\end{array}\right.,{\mathrm{\β}}_{s,t}=\left\{\begin{array}{cc}1& X_{s,t}=0|H_0\\ 0& X_{s,t}=0|H_1\end{array}\right.$

本实施例中，取K＝M-1＝4，

$X_{s,t}=\{\begin{array}{cc}1& {\mathrm{\&Sigma;}}_{i=1}^{5}x\left(i\right)\&GreaterEqual;4|H_1{\mathrm{or\&Sigma;}}_{i=1}^5\&lsqb;1-x\left(i\right)\&rsqb;\&GreaterEqual;4|H_0\\ 0& {\mathrm{\&Sigma;}}_{i=1}^{5}x\left(i\right)<4|H_1{\mathrm{or\&Sigma;}}_{i=1}^5\&lsqb;1-x\left(i\right)\&rsqb;<4|H_0\end{array},$ 式(10)

c2.当漏检概率高于预设的阈值时，减少最佳协作节点的数量；当虚警概率高于预设的阈值时，增加最佳协作节点的数量。

设置上限当漏检概率MIS(T_X)高于时，减小M以降低漏检概率；当虚警概率FA(T_Y)高于时，增大M以降低虚警概率，即 $MIS\left(T_X\right)>D_M^U\&RightArrow;M=M-1,FA\left(T_Y\right)>D_F^U\&RightArrow;M=M+1,$ 本实施例中，设置上限 $D_M^U=0.1,D_F^U=\mathrm{0.001.}$

在本实施例中，通过自适应调整M值以满足融合判决漏检概率和虚警概率要求，分别针对漏检概率和虚警概率选择前T_X＝50,T_Y＝100个感知周期计算平均漏检概率和虚警概率。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于强化学习的认知无线网络协作节点选择方法，其特征在于：包括

a.对潜在协作节点独立执行本地频谱检测和判决，获取判决结果；

b.构建所述潜在协作节点的适用度列表，并根据所述适用度列表选择最佳协作节点集合；

c.根据所述最佳协作节点的漏检概率和虚警概率调整参与协作的节点数。

2.根据权利要求1所述的基于强化学习的认知无线网络协作节点选择方法，其特征在于：所述步骤a包括

a1.对所有潜在协作节点独立执行本地频谱检测和判决，获取对所述潜在协作节点的判决结果以及频谱检测的漏检概率和虚警概率，所述判决结果为x(i),i＝1,…,N，其中N为潜在协作节点数；

所述漏检概率为

所述虚警概率为

其中，i为潜在协作点，N为潜在协作节点数，e_i为检测统计量，λ_i为预设判决门限；γ_i为接收信噪比，L为计算累积能量的样本数，

a2.将所述判决结果x(i)、漏检概率和虚警概率上传至融合中心。

3.根据权利要求1所述的基于强化学习的认知无线网络协作节点选择方法，其特征在于：所述步骤b包括

b1.融合中心执行强化学习，将每个感知周期划分为T_A个时段，进行T_A次信息融合和检测判决，并计算一个感知周期内的综合效益；

b2.在每个感知周期结束时更新所有潜在协作节点的学习参数并计算各潜在协作节点的适用度；

b3.将更新后所有潜在协作节点的适用度值进行排序，形成适用度列表。

4.根据权利要求1所述的基于强化学习的认知无线网络协作节点选择方法，其特征在于：所述步骤c包括

c1.对漏检概率选择T_X个感知周期计算平均漏检概率，对虚警概率选择T_Y个感知周期计算平均虚警概率，

c2.当漏检概率高于预设的阈值时，减少最佳协作节点的数量；当虚警概率高于预设的阈值时，增加最佳协作节点的数量。

5.根据权利要求2所述的基于强化学习的认知无线网络协作节点选择方法，其特征在于：所述步骤a1中，还包括对所有潜在协作节点根据能量检测法执行本地频谱检测和判决。

6.根据权利要求3所述的基于强化学习的认知无线网络协作节点选择方法，其特征在于：通过如下公式计算一个感知周期内的综合效益，

其中，r为综合效益，X_t为时段t的融合感知结果，α_t表示X_t＝1时是否正确判决，β_t表示X_t＝0时是否正确判决，C_G为感知正确加权因子，C_B为感知错误加权因子。

7.根据权利要求6所述的基于强化学习的认知无线网络协作节点选择方法，其特征在于：通过计算用于表示潜在协作节点i的本地判决与融合判决不同的次数的效益惩罚因子ρ_i，修正强化学习过程。

8.根据权利要求7所述的基于强化学习的认知无线网络协作节点选择方法，其特征在于：所述步骤b2包括

b21.获取更新后协作节点的学习参数：

其中，p_i ⁿ⁺¹为更新后协作节点i的学习参数，p_i ⁿ为当前感知周期协作节点i的学习参数，0<β≤1表示当前强化学习决策对未来决策的影响，rⁿ为当前感知周期的综合效益，为当前感知周期用作强化基线的平均效益，0<ω≤1为遗忘因子，ξ为对协作节点判决偏差的惩罚强度，为当前感知周期协作节点i的效益惩罚因子，为当前感知周期协作节点i的适用度；

b22.根据更新后的学习参数p_i ⁿ⁺¹计算下一感知周期所有潜在协作节点的适用度。

9.根据权利要求4所述的基于强化学习的认知无线网络协作节点选择方法，其特征在于：通过如下计算平均漏检概率和平均虚警概率，

其中，X_s,t为第s个感知周期内第t时段的融合判决结果，α_s,t表示X_s,t＝1时是否正确判决，β_s,t表示X_s,t＝0时是否正确判决。