CN102595570B - 认知无线电系统中基于隐马尔可夫模型的频谱接入方法 - Google Patents

Abstract

本发明公开了一种认知无线电系统中基于隐马尔可夫模型的频谱接入方法，涉及无线电通信领域。所述方法包括步骤：建立隐马尔可夫模型；根据频谱感知获得的信道观测值，对所述隐马尔可夫模型的参数进行训练更新；根据马尔可夫决策原理建立频谱接入的长期累积报偿方程；根据所述隐马尔可夫模型的参数求解所述长期累积报偿方程，得到索引值最小的接入动作，按照所述索引值最小的接入动作接入相应的频谱。所述方法，通过频谱感知得到信道状态的观测值，基于隐马尔可夫模型得到耗能最小的频谱接入策略，从而有效降低了频谱接入过程的能量消耗，具有广泛的应用前景。

Description

认知无线电系统中基于隐马尔可夫模型的频谱接入方法

技术领域

本发明涉及无线电通信技术领域，特别涉及一种认知无线电系统中基于隐马尔可夫模型的频谱接入方法。

背景技术

近年来，随着无线频谱需求的迅速增长，认知无线电，作为能够解决有限频谱资源和宽带服务需求不断增长矛盾的有效途径，得以快速发展。认知无线电由软件无线电的概念演变而来，它允许未授权的用户（又称为次级用户）利用具有认知功能的设备感知周围的无线环境并自适应的调整物理层和数据链路层的传输参数，使得次级用户能够在不对授权用户（又称为主用户）造成干扰的条件下接入到主用户的空闲频段进行通信，有效提高了频谱的利用率，解决了当前的频谱危机，因而在工业界和学术界都得到了广泛关注。然而，由于无线信道具有随机时变的特性，信道状态很难被完全观测到，并且在做出频谱接入决策时会涉及到能量消耗的问题。因此，如何根据无线信道的状态动态地选择一种频谱接入方式，既能提高频谱利用率又可以使得能量消耗最小，是一个很大的技术挑战。

尽管在认知无线电领域已经进行了一些关于频谱感知和动态频谱接入的研究工作，然而这些方法都假设信道状态是可以完全观测的，并根据当前时刻的信道状态为下一数据帧的传输做出频谱接入决策，这些方法可归结为机会频谱接入方法。由于移动无线信道的随机时变特性，根据当前时刻的信道状态选择的频谱接入方式对下一数据帧而言并非是最优策略，因此有文章提出用有限状态马尔可夫链描述无线衰落信道，该模型假设信道状态和转移概率完全已知。然而，实际无线网络中，信道状态不能完全观测，只能通过接收信号的信噪比来估计。此外，大部分已有的频谱接入方法都将感知效率和频谱利用率作为系统设计的目标，没有考虑能耗问题。

发明内容

（一）要解决的技术问题

本发明要解决的技术问题是：如何提供一种认知无线电系统中基于隐马尔可夫模型的频谱接入方法，以降低频谱接入过程的能量消耗。

（二）技术方案

为解决上述技术问题，本发明提供一种认知无线电系统中基于隐马尔可夫模型的频谱接入方法，其包括步骤：

A：建立隐马尔可夫模型；

B：根据频谱感知获得的信道观测值，对所述隐马尔可夫模型的参数进行训练更新；

C：根据马尔可夫决策原理建立频谱接入的长期累积报偿方程；

D：根据所述隐马尔可夫模型的参数求解所述长期累积报偿方程，得到索引值最小的接入动作，按照所述索引值最小的接入动作接入相应的频谱。

优选地，所述步骤A具体包括步骤：

A1：定义N个可用无线信道{C₁,C₂,...,C_N}，将全部传输时间分为T个时隙，t∈{1,2,…T}表示需要做出频谱接入决策的时刻；N和T均为非0自然数；

A2：定义所述无线信道具有的K个状态构成状态空间S，s(t)表示所述无线信道在t时刻的状态，p_ij表示所述无线信道从t时刻的状态i转移到（t+1）时刻的状态j的概率，构造K×K阶信道状态转移概率矩阵如下：

P=[p_ij]_K×K

其中， $0\≤p_{\mathrm{ij}}\≤1,{\mathrm{\Σ}}_{j=1}^K{p}_{\mathrm{ij}}=1,$ 并且i,j∈S，K为非0自然数；

A3：定义Θ={θ₁,θ₂,...,θ_L}表示所有时刻的L个观测值，b_j(l)表示所述无线信道的状态为j而观测值为θ_l的概率，构造K×L阶观测概率矩阵如下：

B=[b_j(l)]_K×L

其中， $0\≤b_j\left(l\right)\≤1,{\mathrm{\Σ}}_{l=1}^L{b}_j\left(l\right)=1,$ 1≤l≤L，L为非0自然数；

A4：所述K×K阶信道状态转移概率矩阵P，所述K×L阶观测概率矩阵B，以及K维初始状态空间概率分布π，共同构成用于描述隐马尔可夫模型的参数ζ={P,B,π}。

优选地，所述步骤B具体包括步骤：

B1：定义在t_N∈{1,2,...,T}时刻得到所述无线信道的状态序列为S_N={s(t₁),s(t₂),...,s(t_N)}，观测值序列为Θ_N={θ(t₁),θ(t₂),...,θ(t_N)}；

B2：定义前向变量表示得到终止状态为j的观测值序列的概率，并且t_n∈{1,2,...,T}，1≤t_n≤t_N≤T则

${\mathrm{\α}}_{t_n}\left(j\right)=\mathrm{Pr}\{\mathrm{\θ}\left(t_1\right),\mathrm{\θ}\left(t_2\right),...,\mathrm{\θ}\left(t_n\right),s\left(t_n\right)=j|\mathrm{\ζ}\};$

B3：定义后向变量表示得到当前状态为j的观测值序列的概率，则

${\mathrm{\β}}_{t_n}\left(j\right)=\mathrm{Pr}\{\mathrm{\θ}\left(t_{n+1}\right),\mathrm{\θ}\left(t_{n+2}\right),...,\mathrm{\θ}\left(t_N\right),s\left(t_n\right)=j|\mathrm{\ζ}\};$

B4：利用前后向算法计算出在给定参数ζ的条件下，产生所述观测值序列Θ_N={θ(t₁),θ(t₂),...,θ(t_N)}的后验概率Pr{Θ_N|ζ}的公式如下：

$\mathrm{Pr}\left\{{\mathrm{\Θ}}_N\right|\mathrm{\ζ}\}=\underset{j=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{Pr}\{{\mathrm{\Θ}}_N,s\left(t_n\right)=j\left|\mathrm{\ζ}\right\}=\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\α}}_{t_n}\left(j\right){\mathrm{\β}}_{t_n}\left(j\right);$

B5：通过计算确定所述隐马尔可夫模型参数ζ={P,B,π}，所述隐马尔可夫模型参数ζ={P,B,π}使得所述后验概率Pr{Θ_N|ζ}的数值最大；

B6：根据所述隐马尔可夫模型参数ζ={P,B,π}，定义时刻t=t_n时处于状态i且时刻t=t_n+1时处于状态j的概率公式如下：

$\begin{array}{c}{\mathrm{\ρ}}_{t_n}(t,j)=\mathrm{Pr}\{s\left(t_n\right)=i,s\left(t_{n+1}\right)=j|{\mathrm{\Θ}}_N,\mathrm{\ζ}\}=\frac{\mathrm{Pr}\{s\left(t_n\right)=i,s\left(t_{n+1}\right)=j,{\mathrm{\Θ}}_N|\mathrm{\ζ}\}}{\mathrm{Pr}\left\{{\mathrm{\Θ}}_N\right|\mathrm{\ζ}\}}\\ =\frac{{\mathrm{\α}}_{t_n}\left(j\right)p_{\mathrm{ij}}{\mathrm{\β}}_{t_{n+1}}\left(j\right)b_j\left(\mathrm{\θ}\left(t_{n+1}\right)\right)}{{\mathrm{\Σ}}_{i=1}^K{\mathrm{\Σ}}_{j=1}^K{\mathrm{\α}}_{t_n}\left(j\right)p_{\mathrm{ij}}{\mathrm{\β}}_{t_{n+1}}\left(j\right)b_j\left(\mathrm{\θ}\left(t_{n+1}\right)\right)}\end{array};$

B7：根据所述观测值序列Θ_N={θ(t₁),θ(t₂),...,θ(t_N)}和所述隐马尔可夫模型参数ζ={P,B,π}，定义在时刻t=t_n时处于状态i的后验概率公式如下：

${\mathrm{\σ}}_{t_n}\left(i\right)=\mathrm{Pr}\{s\left(t_n\right)=i|{\mathrm{\Θ}}_N,\mathrm{\ζ}\}=\underset{j=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ρ}}_{t_n}(i,j);$

B8：利用下面的公式计算得到所述无线信道的信道状态转移概率矩阵中各元素的数值：

$p_{\mathrm{ij}}=\frac{{\mathrm{\Σ}}_{n=1}^{N-1}{\mathrm{\ρ}}_{t_n}(i,j)}{{\mathrm{\Σ}}_{n=1}^{N-1}{\mathrm{\σ}}_{t_n}\left(i\right)}.$

优选地，所述步骤C具体包括步骤：

C1：根据接收信号的平均信噪比，得到无线通信的误比特率Pb的计算公式如下：

$P_b=k_1\exp (-\frac{k_2\stackrel{\‾}{\mathrm{\γ}}{p}_{\mathrm{tr}}}{2^{\mathrm{\η}}-1});$

其中，表示接收信号的平均信噪比，p_tr表示发射功率，η表示自适应调制编码比率，k₁和k₂为与调制星座有关的常数；

C2：根据所述误比特率P_b，得到数据帧发生错误的概率F_err的计算公式如下：

$F_{\mathrm{err}}=1-{(1-P_b)}^{L_{\mathrm{fr}}};$

其中，L_fr表示链路层数据帧的长度；

C3：根据所述数据帧发生错误的概率F_err，得到链路层数据帧的平均发送次数N_tr的计算公式如下：

$N_{\mathrm{tr}}=\underset{i=1}{\overset{N_{\max }}{\mathrm{\Σ}}}i\·F_{\mathrm{err}}^{i-1}\·(1-F_{\mathrm{err}})=\frac{1-F_{\mathrm{err}}^{N_{\max }+1}}{1-F_{\mathrm{err}}}-(N_{\max }+1)\·F_{\mathrm{err}}^{N_{\max }+1};$

其中，N_max表示链路层最大重传次数；

C4：根据所述平均发送次数N_tr，得到传送一个数据帧需要的能量E_tr的计算公式如下：

$E_{\mathrm{tr}}=N_{\mathrm{tr}}\·\frac{L_{\mathrm{fr}}}{\mathrm{\η}}\·p_{\mathrm{tr}}\·T_s;$

其中，p_tr表示信号发射功率，T_s表示信号的持续时间；

C5：根据马尔可夫决策原理，得到无线信道C_n在状态s_n(t)时在t时刻执行动作a_n(t)后得到的瞬时报偿的表达式如下：

$R_{s_n\left(t\right)}^{a_n\left(t\right)}=-E_{\mathrm{tr}}(s_n\left(t\right),P_{\mathrm{tr}}\left(t\right),\mathrm{\η}\left(t\right),L_{\mathrm{fr}}\left(t\right));$

其中，动作a_n(t)={a_s(n),a_m(n),a_p(n),a_f(n)}，a_s(n)表示信道选择决策，a_m(n)表示调制编码决策，a_p(n)表示发射功率决策，a_f(n)表示链路层帧长度决策，p_tr(t)表示无线信道C_n在t时刻的发射功率，η(t)表示无线信道C_n在t时刻的自适应调制编码比率，L_fr(t)表示无线信道C_n在t时刻的链路层数据帧的长度；

C6：根据所述瞬时报偿建立频谱接入的长期累积报偿方程如下：

$Z^{*}=\underset{u\∈U}{\max }{E}_u\left[\underset{t=1}{\overset{T}{\mathrm{\Σ}}}(R_{s_1\left(t\right)}^{a_1\left(t\right)}+R_{s_2\left(t\right)}^{a_2\left(t\right)}+...+R_{s_N\left(t\right)}^{a_N\left(t\right)}){\mathrm{\χ}}^t\right];$

其中，u∈U表示马尔可夫策略，χ是折扣因子并且0<χ<1。

优选地，所述步骤D具体包括步骤：

D1：将所述长期累积报偿方程转化为线性规划表达式如下：

$\left(\mathrm{LP}\right)Z^{*}=\underset{x\&Element;X}{\max }\underset{n\&Element;N}{\mathrm{\&Sigma;}}\underset{s_n\left(t\right)\&Element;S}{\mathrm{\&Sigma;}}\underset{a_n\left(t\right)\&Element;A}{\mathrm{\&Sigma;}}{R}_{s_n\left(t\right)}^{a_n\left(t\right)}{x}_{s_n\left(t\right)}^{a_n\left(t\right)};$

其中， $X=\{x={\left(x_{s_n\left(t\right)}^{a_n\left(t\right)}\left(u\right)\right)}_{s_n\left(t\right)\&Element;S,a_n\left(t\right)\&Element;A,n\&Element;N}|u\&Element;U\}$ 表示被性能向量x在所有马尔可夫策略u∈U下扩展后对应的性能区域，性能测量变量表示无线信道C_n按照马尔可夫策略，当状态为s_n(t)时执行动作为a_n(t)的总折扣时间的期望值；

D2：转化所述线性规划表达式得到一阶放宽表达式如下：

$\left({\mathrm{LP}}^1\right)Z^1=\max \underset{n\&Element;N}{\mathrm{\&Sigma;}}\underset{s_n\left(t\right)\&Element;S}{\mathrm{\&Sigma;}}\underset{a_n\left(t\right)\&Element;A}{\mathrm{\&Sigma;}}{R}_{s_n\left(t\right)}^{a_n\left(t\right)}{x}_{s_n\left(t\right)}^{a_n\left(t\right)}$

subject to

$\underset{n\&Element;N}{\mathrm{\&Sigma;}}\underset{i_n\&Element;S}{\mathrm{\&Sigma;}}{x}_{i_n}^1=\frac{1}{1-\mathrm{\&chi;}}.$

其中，表示马尔可夫决策过程多面体在空间的投影；

D3：转化所述线性规划表达式得到双重表达式如下：

$\left(D^1\right)Z^1=\min \underset{n\&Element;N}{\mathrm{\&Sigma;}}\underset{j_n\&Element;S}{\mathrm{\&Sigma;}}{\mathrm{\&pi;}}_{j_n}{\mathrm{\&lambda;}}_{j_n}+\frac{1}{1-\mathrm{\&chi;}}\mathrm{\&lambda;}$

subject to

${\mathrm{\&lambda;}}_{i_n}-\mathrm{\&chi;}\underset{j_n\&Element;S}{\mathrm{\&Sigma;}}{p}_{i_n{j}_n}^0{\mathrm{\&lambda;}}_{j_n}\&GreaterEqual;R_{i_n}^0,i_n\&Element;S,n\&Element;N,;$

${\mathrm{\&lambda;}}_{i_n}-\mathrm{\&chi;}\underset{j_n\&Element;S}{\mathrm{\&Sigma;}}{p}_{i_n{j}_n}^1{\mathrm{\&lambda;}}_{j_n}+\mathrm{\&lambda;}\&GreaterEqual;R_{i_n}^1,i_n\&Element;S,n=N,$

λ≥0.

D4：用表示所述一阶放宽表达式的最优原始解，用表示所述双重表达式的双重成对解，得到相应的最优缩减成本系数如下：

${\stackrel{\&OverBar;}{\mathrm{\&epsiv;}}}_{i_n}^0={\stackrel{\&OverBar;}{\mathrm{\&lambda;}}}_{i_n}-\mathrm{\&chi;}\underset{j_n\&Element;S}{\mathrm{\&Sigma;}}{p}_{i_n{j}_n}^0{\stackrel{\&OverBar;}{\mathrm{\&lambda;}}}_{j_n}-R_{i_n}^0,$

${\stackrel{\&OverBar;}{\mathrm{\&epsiv;}}}_{i_n}^1={\stackrel{\&OverBar;}{\mathrm{\&lambda;}}}_{i_n}-\mathrm{\&chi;}\underset{j_n\&Element;S}{\mathrm{\&Sigma;}}{p}_{i_n{j}_n}^1{\stackrel{\&OverBar;}{\mathrm{\&lambda;}}}_{j_n}+\stackrel{\&OverBar;}{\mathrm{\&lambda;}}-R_{i_n}^1.;$

D5：得到当前状态为i_n的无线信道C_n对应的索引值表达式如下：

${\mathrm{\&delta;}}_{i_n}={\stackrel{\&OverBar;}{\mathrm{\&epsiv;}}}_{i_n}^1-{\stackrel{\&OverBar;}{\mathrm{\&epsiv;}}}_{i_n}^0;$

D6：根据所述信道状态转移概率矩阵和所述索引值表达式，得到索引值最小的接入动作，按照所述索引值最小的接入动作接入相应的频谱。

（三）有益效果

本发明所述认知无线电系统中基于隐马尔可夫模型的频谱接入方法，通过频谱感知得到信道状态的观测值，基于隐马尔可夫模型得到耗能最小的频谱接入策略，从而有效降低了频谱接入过程的能量消耗，具有广泛的应用前景。

附图说明

图1是本发明实施例所述的认知无线电系统中基于隐马尔可夫模型的频谱接入方法流程图；

图2是认知无线电系统结构示意图；

图3是三种频谱接入方法所得到的平均误帧率示意图；

图4是三种频谱接入方法在不同信道状态转移概率下得到的平均误帧率示意图；

图5是三种频谱接入方法在不同可用频谱数量下的节能性能示意图；

图6是三种频谱接入方法在不同信道状态转移概率下的节能性能示意图；

图7是三种频谱接入方法在不同观测概率下的节能性能示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1是本发明实施例所述的认知无线电系统中基于隐马尔可夫模型的频谱接入方法流程图。如图1所示，所述方法包括：

步骤A：建立隐马尔可夫模型（即HMM）。所述步骤A具体包括：

步骤A1：定义N个可用无线信道{C₁,C₂,...,C_N}，将全部传输时间分为T个时隙，t∈{1,2,…T}表示需要做出频谱接入决策的时刻；N和T均为非0自然数。图2是认知无线电系统结构示意图，如图2所示，该系统中的主用户和次级用户交叉共享N个无线信道，次级用户根据每个无线信道的状态自动判断选择哪个信道，并设置最优的物理层和链路层传输参数，在相应的频谱接入决策的时刻，做出频谱接入决策，执行频谱接入动作。

步骤A2：定义所述无线信道具有的K个状态构成状态空间S，s(t)表示所述无线信道在t时刻的状态，p_ij表示所述无线信道从t时刻的状态i转移到（t+1）时刻的状态j的概率，构造K×K阶信道状态转移概率矩阵如下：

P=[p_ij]_K×K

其中， $0\&le;p_{\mathrm{ij}}\&le;1,{\mathrm{\&Sigma;}}_{j=1}^K{p}_{\mathrm{ij}}=1,$ 并且i,j∈S，K为非0自然数。

步骤A3：定义Θ={θ₁,θ₂,...,θ_L}表示所有时刻的L个观测值，b_j(l)表示所述无线信道的状态为j而观测值为θ_l的概率，构造K×L阶观测概率矩阵如下：

B=[b_j(l)]_K×L

其中， $0\&le;b_j\left(l\right)\&le;1,{\mathrm{\&Sigma;}}_{l=1}^L{b}_j\left(l\right)=1,$ 1≤l≤L，L为非0自然数。

步骤A4：所述K×K阶信道状态转移概率矩阵P，所述K×L阶观测概率矩阵B，以及K维初始状态空间概率分布π，共同构成用于描述隐马尔可夫模型的参数ζ={P,B,π}。

步骤B：根据频谱感知获得的信道观测值，对所述隐马尔可夫模型的参数进行训练更新。所述步骤B具体包括：

步骤B1：定义在t_N∈{1,2,...,T}时刻得到所述无线信道的状态序列为S_N={s(t₁),s(t₂),...,s(t_N)}，观测值序列为Θ_N={θ(t₁),θ(t₂),...,θ(t_N)}；

步骤B2：定义前向变量表示得到终止状态为j的观测值序列的概率，并且t_n∈{1,2,...,T}，1≤t_n≤t_N≤T则

${\mathrm{\&alpha;}}_{t_n}\left(j\right)=\mathrm{Pr}\{\mathrm{\&theta;}\left(t_1\right),\mathrm{\&theta;}\left(t_2\right),...,\mathrm{\&theta;}\left(t_n\right),s\left(t_n\right)=j|\mathrm{\&zeta;}\};$

步骤B3：定义后向变量表示得到当前状态为j的观测值序列的概率，则

${\mathrm{\&beta;}}_{t_n}\left(j\right)=\mathrm{Pr}\{\mathrm{\&theta;}\left(t_{n+1}\right),\mathrm{\&theta;}\left(t_{n+2}\right),...,\mathrm{\&theta;}\left(t_N\right),s\left(t_n\right)=j|\mathrm{\&zeta;}\};$

步骤B4：利用前后向算法计算出在给定隐马尔可夫模型参数ζ的条件下，产生所述观测值序列Θ_N={θ(t₁),θ(t₂),...,θ(t_N)}的后验概率Pr{Θ_N|ζ}的公式如下：

$\mathrm{Pr}\left\{{\mathrm{\&Theta;}}_N\right|\mathrm{\&zeta;}\}=\underset{j=1}{\overset{K}{\mathrm{\&Sigma;}}}\mathrm{Pr}\{{\mathrm{\&Theta;}}_N,s\left(t_n\right)=j\left|\mathrm{\&zeta;}\right\}=\underset{j=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_{t_n}\left(j\right){\mathrm{\&beta;}}_{t_n}\left(j\right);$

步骤B5：通过计算确定所述隐马尔可夫模型参数ζ={P,B,π}，所述隐马尔可夫模型参数ζ={P,B,π}使得所述后验概率Pr{Θ_N|ζ}的数值最大；

步骤B6：根据所述隐马尔可夫模型参数ζ={P,B,π}，定义时刻t=t_n时处于状态i且时刻t=t_n+1时处于状态j的概率公式如下：

$\begin{array}{c}{\mathrm{\&rho;}}_{t_n}(t,j)=\mathrm{Pr}\{s\left(t_n\right)=i,s\left(t_{n+1}\right)=j|{\mathrm{\&Theta;}}_N,\mathrm{\&zeta;}\}=\frac{\mathrm{Pr}\{s\left(t_n\right)=i,s\left(t_{n+1}\right)=j,{\mathrm{\&Theta;}}_N|\mathrm{\&zeta;}\}}{\mathrm{Pr}\left\{{\mathrm{\&Theta;}}_N\right|\mathrm{\&zeta;}\}}\\ =\frac{{\mathrm{\&alpha;}}_{t_n}\left(j\right)p_{\mathrm{ij}}{\mathrm{\&beta;}}_{t_{n+1}}\left(j\right)b_j\left(\mathrm{\&theta;}\left(t_{n+1}\right)\right)}{{\mathrm{\&Sigma;}}_{i=1}^K{\mathrm{\&Sigma;}}_{j=1}^K{\mathrm{\&alpha;}}_{t_n}\left(j\right)p_{\mathrm{ij}}{\mathrm{\&beta;}}_{t_{n+1}}\left(j\right)b_j\left(\mathrm{\&theta;}\left(t_{n+1}\right)\right)}\end{array};$

步骤B7：根据所述观测值序列Θ_N={θ(t₁),θ(t₂),...,θ(t_N)}和所述隐马尔可夫模型参数ζ={P,B,π}，定义在时刻t=t_n时处于状态i的后验概率公式如下：

${\mathrm{\&sigma;}}_{t_n}\left(i\right)=\mathrm{Pr}\{s\left(t_n\right)=i|{\mathrm{\&Theta;}}_N,\mathrm{\&zeta;}\}=\underset{j=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&rho;}}_{t_n}(i,j);$

步骤B8：利用下面的公式计算得到所述无线信道的信道状态转移概率矩阵中各元素的数值：

$p_{\mathrm{ij}}=\frac{{\mathrm{\&Sigma;}}_{n=1}^{N-1}{\mathrm{\&rho;}}_{t_n}(i,j)}{{\mathrm{\&Sigma;}}_{n=1}^{N-1}{\mathrm{\&sigma;}}_{t_n}\left(i\right)}.$

步骤C：根据马尔可夫决策原理建立频谱接入的长期累积报偿方程。所述步骤C具体包括：

步骤C1：根据接收信号的平均信噪比，得到无线通信的误比特率P_b的计算公式如下：

$P_b=k_1\exp (-\frac{k_2\stackrel{\&OverBar;}{\mathrm{\&gamma;}}{p}_{\mathrm{tr}}}{2^{\mathrm{\&eta;}}-1});$

其中，表示接收信号的平均信噪比，p_tr表示发射功率，η表示自适应调制编码比率，k₁和k₂为与调制星座有关的常数。

步骤C2：根据所述误比特率P_b，得到数据帧发生错误的概率F_err的计算公式如下：

$F_{\mathrm{err}}=1-{(1-P_b)}^{L_{\mathrm{fr}}};$

其中，L_fr表示链路层数据帧的长度。

步骤C3：根据所述数据帧发生错误的概率F_err，得到链路层数据帧的平均发送次数N_tr的计算公式如下：

$N_{\mathrm{tr}}=\underset{i=1}{\overset{N_{\max }}{\mathrm{\&Sigma;}}}i\&CenterDot;F_{\mathrm{err}}^{i-1}\&CenterDot;(1-F_{\mathrm{err}})=\frac{1-F_{\mathrm{err}}^{N_{\max }+1}}{1-F_{\mathrm{err}}}-(N_{\max }+1)\&CenterDot;F_{\mathrm{err}}^{N_{\max }+1};$

其中，N_max表示链路层最大重传次数。

步骤C4：根据所述平均发送次数N_tr，得到传送一个数据帧需要的能量E_tr的计算公式如下：

$E_{\mathrm{tr}}=N_{\mathrm{tr}}\&CenterDot;\frac{L_{\mathrm{fr}}}{\mathrm{\&eta;}}\&CenterDot;p_{\mathrm{tr}}\&CenterDot;T_s.$

其中，p_tr表示信号发射功率，T_s表示信号的持续时间。

步骤C5：根据马尔可夫决策原理，得到无线信道C_n在状态s_n(t)时在t时刻执行动作a_n(t)后得到的瞬时报偿的表达式如下：

$R_{s_n\left(t\right)}^{a_n\left(t\right)}=-E_{\mathrm{tr}}(s_n\left(t\right),P_{\mathrm{tr}}\left(t\right),\mathrm{\&eta;}\left(t\right),L_{\mathrm{fr}}\left(t\right));$

其中，动作a_n(t)={a_s(n),a_m(n),a_p(n),a_f(n)}，a_s(n)表示信道选择决策，a_m(n)表示调制编码决策，a_p(n)表示发射功率决策，a_f(n)表示链路层帧长度决策,p_tr(t)表示无线信道C_n在t时刻的发射功率，η(t)表示无线信道C_n在t时刻的自适应调制编码比率，L_fr(t)表示无线信道C_n在t时刻的链路层数据帧的长度。

步骤C6：根据所述瞬时报偿建立频谱接入的长期累积报偿方程如下：

$Z^{*}=\underset{u\&Element;U}{\max }{E}_u\left[\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}(R_{s_1\left(t\right)}^{a_1\left(t\right)}+R_{s_2\left(t\right)}^{a_2\left(t\right)}+...+R_{s_N\left(t\right)}^{a_N\left(t\right)}){\mathrm{\&chi;}}^t\right];$

其中，u∈U表示马尔可夫策略，χ是折扣因子并且0<χ<1。

步骤D：根据所述隐马尔可夫模型的参数求解所述长期累积报偿方程，得到索引值最小的接入动作，按照所述索引值最小的接入动作接入相应的频谱。所述步骤D具体包括：

步骤D1：将所述长期累积报偿方程转化为线性规划表达式如下：

$\left(\mathrm{LP}\right)Z^{*}=\underset{x\&Element;X}{\max }\underset{n\&Element;N}{\mathrm{\&Sigma;}}\underset{s_n\left(t\right)\&Element;S}{\mathrm{\&Sigma;}}\underset{a_n\left(t\right)\&Element;A}{\mathrm{\&Sigma;}}{R}_{s_n\left(t\right)}^{a_n\left(t\right)}{x}_{s_n\left(t\right)}^{a_n\left(t\right)};$

其中， $X=\{x={\left(x_{s_n\left(t\right)}^{a_n\left(t\right)}\left(u\right)\right)}_{s_n\left(t\right)\&Element;S,a_n\left(t\right)\&Element;A,n\&Element;N}|u\&Element;U\}$ 表示被性能向量x在所有马尔可夫策略u∈U下扩展后对应的性能区域，性能测量变量表示无线信道C_n按照马尔可夫策略，当状态为s_n(t)时执行动作为an(t)的总折扣时间的期望值。

步骤D2：转化所述线性规划表达式得到一阶放宽表达式如下：

$\left({\mathrm{LP}}^1\right)Z^1=\max \underset{n\&Element;N}{\mathrm{\&Sigma;}}\underset{s_n\left(t\right)\&Element;S}{\mathrm{\&Sigma;}}\underset{a_n\left(t\right)\&Element;A}{\mathrm{\&Sigma;}}{R}_{s_n\left(t\right)}^{a_n\left(t\right)}{x}_{s_n\left(t\right)}^{a_n\left(t\right)}$

subject to

$\underset{n\&Element;N}{\mathrm{\&Sigma;}}\underset{i_n\&Element;S}{\mathrm{\&Sigma;}}{x}_{i_n}^1=\frac{1}{1-\mathrm{\&chi;}}.$

其中，表示马尔可夫决策过程多面体在空间的投影。

步骤D3：转化所述线性规划表达式得到双重表达式如下：

$\left(D^1\right)Z^1=\min \underset{n\&Element;N}{\mathrm{\&Sigma;}}\underset{j_n\&Element;S}{\mathrm{\&Sigma;}}{\mathrm{\&pi;}}_{j_n}{\mathrm{\&lambda;}}_{j_n}+\frac{1}{1-\mathrm{\&chi;}}\mathrm{\&lambda;}$

subject to

${\mathrm{\&lambda;}}_{i_n}-\mathrm{\&chi;}\underset{j_n\&Element;S}{\mathrm{\&Sigma;}}{p}_{i_n{j}_n}^0{\mathrm{\&lambda;}}_{j_n}\&GreaterEqual;R_{i_n}^0,i_n\&Element;S,n\&Element;N,;$

${\mathrm{\&lambda;}}_{i_n}-\mathrm{\&chi;}\underset{j_n\&Element;S}{\mathrm{\&Sigma;}}{p}_{i_n{j}_n}^1{\mathrm{\&lambda;}}_{j_n}\&GreaterEqual;R_{i_n}^1,i_n\&Element;S,n\&Element;N,;$

λ≥0.

步骤D4：用表示所述一阶放宽表达式的最优原始解，用表示所述双重表达式的双重成对解，得到相应的最优缩减成本系数如下：

${\stackrel{\&OverBar;}{\mathrm{\&epsiv;}}}_{i_n}^0={\stackrel{\&OverBar;}{\mathrm{\&lambda;}}}_{i_n}-\mathrm{\&chi;}\underset{j_n\&Element;S}{\mathrm{\&Sigma;}}{p}_{i_n{j}_n}^0{\stackrel{\&OverBar;}{\mathrm{\&lambda;}}}_{j_n}-R_{i_n}^0,$

${\stackrel{\&OverBar;}{\mathrm{\&epsiv;}}}_{i_n}^1={\stackrel{\&OverBar;}{\mathrm{\&lambda;}}}_{i_n}-\mathrm{\&chi;}\underset{j_n\&Element;S}{\mathrm{\&Sigma;}}{p}_{i_n{j}_n}^1{\stackrel{\&OverBar;}{\mathrm{\&lambda;}}}_{j_n}+\stackrel{\&OverBar;}{\mathrm{\&lambda;}}-R_{i_n}^1.;$

步骤D5：得到当前状态为i_n的无线信道C_n对应的索引值表达式如下：

${\mathrm{\&delta;}}_{i_n}={\stackrel{\&OverBar;}{\mathrm{\&epsiv;}}}_{i_n}^1-{\stackrel{\&OverBar;}{\mathrm{\&epsiv;}}}_{i_n}^0;$

步骤D6：根据所述信道状态转移概率矩阵和所述索引值表达式，得到索引值最小的接入动作，按照所述索引值最小的接入动作接入相应的频谱。

为了证明本发明实施例所述认知无线电系统中基于隐马尔可夫模型的频谱接入方法（以下简称本发明方法）的节能效果，采用本发明方法与随机频谱接入方法和机会频谱接入方法进行了如下仿真对比试验：

使用BPSK（二相相移键控）、QPSK（四相相移键控）、16QAM（一种正交幅度调制）和64QAM（一种正交幅度调制）作为可选的调制编码方案，设定每个信号的持续时间为T_s=10^-4s。频谱选择动作决策为：a_s(n)∈{C₁,C₂,...,C_N}，调制编码方式选择动作决策为：a_m(n)∈{BPSK,QPSK,16QAM,64QAM}，发射功率选择动作决策为：a_p(n)∈{10mW,20mW,50mW,100mW}，数据帧长度选择动作决策为：a_f(n)∈{50bytes,100bytes,150bytes,200bytes}，在时隙t次级用户的接入动作决策表示为：a_n(t)∈Α={a_s(n),a_m(n),a_p(n),a_f(n)}。假设信道状态可以划分为good-for-BPSK（s0），good-for-QPSK（s1），good-for-16QAM（s2）和good-for-64QAM（s3）四个状态，即：i_n(t)∈{s0,s1,s2,s3}，接收到的信噪比量化为四个值{5dB,10dB,15dB,20dB}，作为信道状态的观测值输入到隐马尔可夫模型。设信道状态转移概率矩阵P和观测概率矩阵B分别为：

$P=\left(\begin{array}{cccc}0.60& 0.20& 0.15& 0.05\\ 0.15& 0.60& 0.15& 0.10\\ 0.10& 0.15& 0.60& 0.15\\ 0.05& 0.15& 0.20& 0.60\end{array}\right),$ $B=\left(\begin{array}{cccc}0.70& 0.20& 0.10& 0.00\\ 0.20& 0.50& 0.20& 0.10\\ 0.10& 0.20& 0.50& 0.20\\ 0.00& 0.10& 0.20& 0.70\end{array}\right)$

每个信道的初始状态概率向量π都是随机的，每个仿真运行10次，每次使用不同的π值，输出结果取10次运行结果的平均值。仿真持续2000秒，有8个可用的无线信道。

图3是三种频谱接入方法所得到的平均误帧率示意图。如图3所示，本发明方法的平均误帧率大约为0.01，因为这种方法利用观测值和信道转移概率来预测下一时隙的信道状态，为下一数据帧选择最优的接入动作。机会频谱接入方法性能不是很好，平均误帧率围绕着0.06上下波动，因为这种方法把当前时刻的观测值作为下一时隙的信道状态，由给定参数P可知，信道状态在下一时隙发生改变的概率为0.4，当前时刻最佳的信道在下一时隙不一定是最佳的。随机频谱接入方式的平均误帧率最大，围绕着0.1上下波动。

图4是三种频谱接入方法在不同信道状态转移概率下得到的平均误帧率示意图。如图4所示，由于转移概率矩阵P对系统性能有很大影响，可以设置不同的状态转移概率进行仿真，用表示下一时隙信道状态保持在当前时刻信道状态的概率。图4示出了p_ii从0.60变化到1时采用不同频谱接入方案所得到的平均误帧率，其中最下方的曲线是本发明方法获得的平均误帧率，中间的曲线是机会频谱接入方法获得的平均误帧率，最上方的曲线是随机频谱接入方式获得的平均误帧率。由图4易知，随着信道状态转移概率p_ii的增加，机会频谱接入方法越来越接近本发明方法的性能，当p_ii=1时，即下一时隙的信道状态就是当前时刻的信道状态，两种方法的性能一样，这意味着当前时刻的观测值就是下一时隙的信道状态。

图5是三种频谱接入方法在不同可用频谱数量下的节能性能示意图。如图5所示，其示出了与随机频谱接入方法相比另外两种方法的节能百分比。随着可用频谱数量的增加，至少存在一个信道处于最佳状态的概率很高，所以，总是存在一个很好的候选信道供频谱接入，从而使得本发明方法和机会频谱接入方法能够获得节能增益。从图5中可以看出，本发明方法优于机会频谱接入方法，因为马尔可夫决策通过联合优化物理层及链路层参数使得能量消耗最小，而机会频谱接入方法只是基于当前的观测值为后续帧的传输选择最佳信道。

图6是三种频谱接入方法在不同信道状态转移概率下的节能性能示意图。如图6所示，其示出了与随机频谱接入方法相比另外两种方法的节能百分比。由图6可知，当信道状态转移概率很低时，机会频谱接入方法不能获得很多的节能增益，这就意味着无线信道在下一时隙改变状态的概率很高。随着pii的增加，机会频谱接入方法越来越接近本发明方法的性能，当p_ii=1时，两者的性能一样，这意味着信道完全静态。本发明方法在任何信道状态转移概率下均能获得大约28%的节能增益。

图7是三种频谱接入方法在不同观测概率下的节能性能示意图。如图7所示，用表示当前时刻的观测值等于信道状态的概率。图7示出了b_jj从0.7变化到1时，另外两种频谱接入方法与随机频谱接入方法相比的节能百分比，其中最上方的曲线是本发明方法获得的节能百分比，中间的曲线是机会频谱接入方法获得的节能百分比。由图7易知，随着观测概率b_jj的增加，本发明方法和机会频谱接入方法带来节能增益越来越大。因此，提高频谱检测的准确性能够显著提高认知无线电系统的性能。

本发明实施例所述认知无线电系统中基于隐马尔可夫模型的频谱接入方法，通过频谱感知得到信道状态的观测值，基于隐马尔可夫模型得到耗能最小的频谱接入策略，从而有效降低了频谱接入过程的能量消耗，具有广泛的应用前景。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (1)

1.一种认知无线电系统中基于隐马尔可夫模型的频谱接入方法，其特征在于，包括步骤： 

A：建立隐马尔可夫模型； 

B：根据频谱感知获得的信道观测值，对所述隐马尔可夫模型的参数进行训练更新； 

C：根据马尔可夫决策原理建立频谱接入的长期累积报偿方程； 

D：根据所述隐马尔可夫模型的参数求解所述长期累积报偿方程，得到索引值最小的接入动作，按照所述索引值最小的接入动作接入相应的频谱； 

所述步骤A具体包括步骤： 

A1：定义N个可用无线信道{C₁,C₂,...,C_N}，将全部传输时间分为T个时隙，t∈{1,2,…T}表示需要做出频谱接入决策的时刻；N和T均为非0自然数； 

A2：定义所述无线信道具有的K个状态构成状态空间S，s(t)表示所述无线信道在t时刻的状态，p_ij表示所述无线信道从t时刻的状态i转移到（t+1）时刻的状态j的概率，构造K×K阶信道状态转移概率矩阵如下： 

P=[p_ij]_K×K

其中，并且i,j∈S，K为非0自然数； 

A3：定义Θ={θ₁,θ₂,...,θ_L}表示所有时刻的L个观测值，b_j(l)表示所述无线信道的状态为j而观测值为θ_l的概率，构造K×L阶观测概率矩阵如下： 

B=[b_j(l)]_K×L

其中，1≤l≤L，L为非0自然数； 

A4：所述K×K阶信道状态转移概率矩阵P，所述K×L阶观测概率矩阵B，以及K维初始状态空间概率分布π，共同构成用于描述隐 马尔可夫模型的参数ζ={P,B,π}； 

所述步骤B具体包括步骤： 

B1：定义在t_N∈{1,2,...,T}时刻得到所述无线信道的状态序列为S_N={s(t₁),s(t₂),...,s(t_N)}，观测值序列为Θ_N={θ(t₁),θ(t₂),...,θ(t_N)}； 

B2：定义前向变量表示得到终止状态为j的观测值序列的概率，并且t_n∈{1,2,...,T}，1≤t_n≤t_N≤T，则 

B3：定义后向变量表示得到当前状态为j的观测值序列的概率，则 

B4：利用前后向算法计算出在给定参数ζ的条件下，产生所述观测值序列Θ_N={θ(t₁),θ(t₂),...,θ(t_N)}的后验概率Pr{Θ_N|ζ}的公式如下： 

B5：通过计算确定所述隐马尔可夫模型参数ζ={P,B,π}，所述隐马尔可夫模型参数ζ={P,B,π}使得所述后验概率Pr{Θ_N|ζ}的数值最大； 

B6：根据所述隐马尔可夫模型参数ζ={P,B,π}，定义时刻t=t_n时处于状态i且时刻t=t_n+1时处于状态j的概率公式如下： 

B7：根据所述观测值序列Θ_N={θ(t₁),θ(t₂),...,θ(t_N)}和所述隐马尔可夫模型参数ζ={P,B,π}，定义在时刻t=t_n时处于状态i的后验概率公式如下： 

B8：利用下面的公式计算得到所述无线信道的信道状态转移概率 矩阵中各元素的数值： 

所述步骤C具体包括步骤： 

C1：根据接收信号的平均信噪比，得到无线通信的误比特率P_b 的计算公式如下： 

其中，表示接收信号的平均信噪比，p_tr表示发射功率，η表示自适应调制编码比率，k₁和k₂为与调制星座有关的常数； 

C2：根据所述误比特率P_b，得到数据帧发生错误的概率F_err的计算公式如下： 

其中，L_fr表示链路层数据帧的长度； 

C3：根据所述数据帧发生错误的概率F_err，得到链路层数据帧的平均发送次数N_tr的计算公式如下： 

其中，N_max表示链路层最大重传次数； 

C4：根据所述平均发送次数N_tr，得到传送一个数据帧需要的能量E_tr的计算公式如下： 

其中，p_tr表示信号发射功率，T_s表示信号的持续时间； 

C5：根据马尔可夫决策原理，得到无线信道C_n在状态s_n(t)时在t时刻执行动作a_n(t)后得到的瞬时报偿的表达式如下： 

其中，动作a_n(t)={a_s(n),a_m(n),a_p(n),a_f(n)}，a_s(n)表示信道选择决策，a_m(n)表示调制编码决策，a_p(n)表示发射功率决策，a_f(n)表示链路层帧长度决策，p_tr(t)表示无线信道C_n在t时刻的发射功率，η(t)表示无 线信道C_n在t时刻的自适应调制编码比率，L_fr(t)表示无线信道C_n在t时刻的链路层数据帧的长度； 

C6：根据所述瞬时报偿建立频谱接入的长期累积报偿方程如下： 

其中，u∈U表示马尔可夫策略，χ是折扣因子并且0<χ<1；

所述步骤D具体包括步骤： 

D1：将所述长期累积报偿方程转化为线性规划表达式如下： 

其中，表示被性能向量x在所有马尔可夫策略u∈U下扩展后对应的性能区域，性能测量变量 表示无线信道C_n按照马尔可夫策略，当状态为s_n(t)时执行动作为a_n(t)的总折扣时间的期望值； 

D2：转化所述线性规划表达式得到一阶放宽表达式如下： 

subject to 

其中，表示马尔可夫决策过程多面体在空间的投影； 

D3：转化所述线性规划表达式得到双重表达式如下： 

subject to 

λ≥0. 

D4：用表示所述一阶放宽表达式的最优原始解，用表示所述双重表达式的双重成对解，得到相应的最优缩减成本系数如下： 

D5：得到当前状态为i_n的无线信道C_n对应的索引值表达式如下： 

D6：根据所述信道状态转移概率矩阵和所述索引值表达式，得到索引值最小的接入动作，按照所述索引值最小的接入动作接入相应的频谱。