CN101711032A - 对未知环境模型特性的认知无线电动态智能频谱接入方法 - Google Patents

Abstract

对未知环境模型特性的认知无线电动态智能频谱接入方法，它涉及用于分布式无中心认知无线网络通信领域，解决了现有的分布式非合作方式的认知无线电动态频谱接入方法不能对于环境模型未知的情况进行处理的问题，具体步骤如下：A、建立授权用户占用信道的环境模型：假定信道彼此独立，且授权用户占用信道的情况服从马尔科夫转移过程；B、二级用户通过统计学习的方法，建立完整的信道转移模型：通过中心极限定理求解出采样个数，通过信道的采样状态建立最大似然函数，对最大似然函数进行求解，解出马尔科夫转换过程的转换概率；C、二级用户利用部分观测马尔科夫决策过程做出最优策略。适用于环境模型特性未知的认知无线电动态智能频谱接入。

Description

对未知环境模型特性的认知无线电动态智能频谱接入方法

技术领域

本发明涉及无线通信领域，尤其涉及用于分布式无中心认知无线网络通信领域。

背景技术

无线电频谱资源是一种宝贵的自然资源，一般由政府授权使用。但随着通信技术的迅猛发展，频谱资源紧缺已经成为一个不可回避的问题。认知无线电是缓解频谱资源缺乏与日益增长的无线接入需求之间矛盾的有效手段。认知无线电是一个智能无线通信系统。它能够感知外界环境，并使用人工智能技术从环境中学习，通过实时改变某些操作参数(比如传输功率、载波频率和调制技术等)，使其内部状态适应接收到的无线信号的统计性变化，以达到能在任何时间任何地点且对频谱资源的有效利用的基础上，完成高度可靠通信。并且在此基础上给出了包括频谱感知、频谱分析、频谱决策三个步骤的认知环模型。

认知无线电的动态频谱接入思想就是二级用户不断感知空闲频谱，进行频谱分析和决策来进行频谱接入。当感知发现原来的频段被授权用户(主用户)占用后，二级用户就按照认知步骤，再次开始感知空闲频谱、分析、接入的循环过程；这种动态利用频谱的方式称为“动态频谱接入”。

动态频谱接入按照着重点的不同有以下三种分类方式：

(1)按照网络架构划分：中心式、分布式。

中心式网络结构：通过中心实体如基站或者网络接入点来控制二级用户的接入过程。

分布式网络结构：不需要中心基础架构，每个二级用户根据局部频谱策略分配频谱和接入。

(2)按照接入行为来划分：合作式、非合作式。

合作接入行为：考虑二级用户对其他二级用户的影响，共享对其他二级用户的干扰信息。所有中心式基本上都是合作，但也有分布式合作方案。合作相对于非合作方式的性能优越更接近于最优解，但是要在公共控制信道中传输更多的交互信息。

非合作式接入行为：与合作式相比，只考虑二级用户本身的利益，假定二级用户是自私的，这将导致频谱利用率降低，但二级用户之间在公共控制信道上仅需要较小的开销，甚至可以不需要公共控制信道。

(3)覆盖式(overlay)、平铺式(underlay)

覆盖式(overlay)：采用的频谱接入技术，二级用户接入的频段是没有被授权用户所使用的，此时对授权用户的干扰最小化。

平铺式(underlay)：利用扩频技术，二级用户与授权用户同用一个频带通信，但其传输功率被授权用户当作噪声。

在动态频谱接入的概念基础上，现有研究方法主要有以下三种

(1)利用最优化方法：它把频谱接入问题归结为在一定限制条件下的求最优解的问题。通过最优解的获得找到一种最优策略，从而完成动态频谱接入的任务。虽然这种方法直观且易懂，但是面对多个目标求最优解时常常会导致计算复杂度高的问题。

(2)马尔科夫建模：将授权用户和二级用户的动态频谱接入过程建模成马尔科夫模型。用二维或者多维的马尔科夫链精确的描述接入过程。

(3)利用博弈理论：将授权用户和二级用户的动态频谱接入过程类比成双人或者多人博弈，采用合作和非合作博弈方式，来整体规划认知无线电网络性能。

无线电认知技术中存在很多特殊限制，首先在认知无线电网络中，授权用户和二级用户往往是独立占用信道，二级用户在初始时刻无法准确了解环境模型；其次在认知无线电网络中的公共控制信道不易获取；最后为了满足二级用户的便携性和移动性，需要限制频谱感知的能量和硬件复杂度。这三方面的原因导致二级用户只能够感知部分频段，二级用户如何智能的决定感知频段和接入行动成为研究的重点和难点，现有的分布式非合作方式的认知无线电动态频谱接入方法均建立在环境模型已知的基础上，对于环境模型未知的的情况，此方法不能适用。

发明内容：

本发明为了克服现有的分布式非合作方式的认知无线电动态频谱接入方法不能对于环境模型未知的情况进行处理，不能进行可靠的通信，还对授权用户造成严重的干扰的问题，提供了一种对未知环境模型特性的认知无线电动态智能频谱接入方法。

对未知环境模型特性的认知无线电动态智能频谱接入方法的具体步骤如下：

步骤A、建立授权用户占用信道的环境模型：每条信道之间是彼此独立的，且每条信道被授权用户占用的情况服从马尔科夫(MARKOV)转移过程；

步骤B、每个二级用户通过统计学习的方法，建立该二级用户关于授权用户信道转移模型：通过中心极限定理求解出采样个数ri，通过信道i在ri次采样的采样状态建立最大似然函数，然后对最大似然函数进行求解，解出步骤A所述的每条信道被授权用户占用的马尔科夫转移过程的转换概率；

步骤C、二级用户利用部分观测马尔科夫决策过程(POMDP)做出最优策略，所述部分观测马尔科夫决策过程(POMDP)为：利用观测历史产生的相信矩阵来描述授权用户对信道的占用情况，然后二级用户在增大单位时间吞吐量的目标下，利用报酬效用函数来决策在T个时刻内采用的最优行动集合，实现环境模型未知的认知无线电态智能频谱接入。

本发明应用在认知无线电技术中，解决了动态智能频谱接入的问题。本发明采用分布非合作的方式，通过机器学习中的统计学习方法构建环境模型，然后结合感知历史应用部分观测马尔科夫决策过程智能决定感知和接入行动，实现动态智能频谱接入。

附图说明

图1为本发明的流程图。图2为授权用户占用信道的马尔科夫转换过程的示意图。图3为信道数目N＝2时，具体实施方式四与具体实施方式五的吞吐量仿真对比图，其中实线1表示具体实施方式四的吞吐量随时间变化曲线，虚线2表示具体实施方式五的吞吐量随时间变化曲线。图4为信道数目N＝3时，具体实施方式四与具体实施方式五的吞吐量仿真对比图，其中平滑实线3表示具体实施方式四的吞吐量随时间变化曲线，带有星号标记的曲线4表示具体实施方式五的吞吐量随时间变化曲线。

具体实施方式

具体实施方式一：结合图1说明本实施方式，本实施方式所述的对未知环境模型特性的认知无线电动态智能频谱接入方法的具体步骤如下：

步骤A、建立授权用户占用信道的环境模型：每条信道之间是彼此独立的，且每条信道被授权用户占用的情况服从马尔科夫(MARKOV)转移过程；

步骤B、每个二级用户通过统计学习的方法，建立该二级用户关于授权用户信道转移模型：通过中心极限定理求解出采样个数r_i，通过信道i在r_i次采样的采样状态建立最大似然函数，然后对最大似然函数进行求解，解出步骤A所述的每条信道被授权用户占用的马尔科夫转移过程的转换概率；

步骤C、二级用户利用部分观测马尔科夫决策过程(POMDP)做出最优策略，所述部分观测马尔科夫决策过程(POMDP)为：利用观测历史产生的相信矩阵来描述授权用户对信道的占用情况，然后二级用户在增大单位时间吞吐量的目标下，利用报酬效用函数来决策在T个时刻内采用的最优行动集合，实现环境模型未知的认知无线电态智能频谱接入。

结合图2对本实施方式中的步骤A做进一步说明。信道i任何时刻处在以下两种状态的一种：忙或闲，忙为被授权用户占用，用“0”表示，闲为不被授权用户占用，用“1”表示，信道i状态从“0”变为“1”的概率为α_i，则信道i保持“0”状态不变的概率为1-α_i，信道i保持“1”状态不变的概率为β_i，则信道i状态从“1”变为“0”的概率为1-β_i。

对于信道数目N＝2时，信道有(0，0)、(0，1)、(1，0)和(1，1)四种状态，对应的转换概率可以求得，对应信道数目N≥3的情况，信道状态的转换概率按照此种方法可以求得。

本实施方式中的步骤B做进一步说明：

步骤B1、由中心极限定理：

$\frac{\underset{k=1}{\overset{r_i^0}{\mathrm{\Σ}}}{Y}_k-r_i^0{\mathrm{\α}}_i}{{\left(r_i^0\right)}^{1/2}\·{({\mathrm{\α}}_i-{{\mathrm{\α}}_i}^2)}^{1/2}}\→N\left(\mathrm{0,1}\right)$

获得信道i的采样次数r_i：

$r_i=\frac{{\left[{\mathrm{\Φ}}^{-1}\left(\frac{P_C+1}{2}\right)\right]}^2}{{\mathrm{\δ}}^2}(1-{\mathrm{\α}}_i)(\frac{1}{{\mathrm{\α}}_i}+\frac{1}{{\mathrm{\β}}_i}),$

其中，相对估计偏差δ和置信概率P_C由用户根据需要设定，Ф(·)是标准正态累计分布函数，r_i ⁰是采样次数r_i中检测信道状态值为“0”的次数，Y_k是k时刻的信道观测值，取值为0或1，当Y_k＝0表示信道i在k时刻状态观测值是“0”，在k+1时刻状态观测值也是“0”的情况；当Y_k＝1表示信道i在k时刻状态观测值是“0”，在k+1时刻状态观测值是“1”的情况；

步骤B2、通过信道i在r_i次采样的采样状态，建立最大似然函数：

$H\left(\stackrel{\‾}{\mathrm{\φ}}\right)=P(\stackrel{\‾}{X};\stackrel{\‾}{\mathrm{\φ}})$

$=P(X_1=x_1;\stackrel{\‾}{\mathrm{\φ}})\underset{k=2}{\overset{r_i}{\mathrm{\Π}}}P(X_k=x_k|X_{k-1}=x_{k-1};\stackrel{\‾}{\mathrm{\φ}})$

$=P(X_1=x_1;\stackrel{\‾}{\mathrm{\φ}})\·[{(1-{\mathrm{\α}}_i)}^{m_0}\·{{\mathrm{\α}}_i}^{m_1}\·{{\mathrm{\β}}_i}^{m_2}\·{(1-{\mathrm{\β}}_i)}^{m_3}]$

其中，

为信道状态的采样值，并且X_k∈{1，0}，r_i是信道i的采样个数，φ＝(α_i，β_i)为似然函数，m₀，m₁，m₂，m₃代表4种不同转移形式(X_k，X_k-1)＝(0，0)、(0，1)、(1，0)和(1，1)的发生次数；

步骤B3、将步骤B2建立的最大似然函数分别对α_i和β_i求导，令其导数为0

$\left\{\begin{array}{c}\∂H\left(\stackrel{\‾}{\mathrm{\φ}}\right)/\∂{\mathrm{\α}}_i=0\\ \∂H\left(\stackrel{\‾}{\mathrm{\φ}}\right)/\∂{\mathrm{\β}}_i=0\end{array}\right.$

求解获得α_i和β_i的最大似然估计量

和

$\left\{\begin{array}{c}{\widehat{\mathrm{\α}}}_i=m_1/(m_1/m_0)\\ {\widehat{\mathrm{\β}}}_i=m_2/(m_2/m_3)\end{array}\right.$

公式中的相对估计偏差δ和置信概率P_C由用户根据需要进行设定，相对估计偏差δ越小，置信概率P_C越高，则信道状态的准确度越高，但时间消耗越长，相反相对估计偏差δ越大，置信概率P_C越低，则信道状态的准确度越低，但时间消耗越短。通过统计学习的方法，二级用户建立了完整的信道转移模型。

本实施方式中步骤B1检测信道状态值为“1”情况与检测信道状态值为“0”情况对应，每个二级用户同样可以通过统计学习的方法，建立该二级用户关于授权用户信道转移模型。

具体实施方式二：本实施方式是对具体实施方式一中的步骤C的进一步说明：

步骤C1、在时刻t，二级用户通过贝叶斯准则，利用相信矩阵Λ(t)＝[λ₁(t)，…，λ_M(t)]

$\mathrm{\Λ}(t+1)\stackrel{\mathrm{\Δ}}{=}\mathrm{\Γ}\left(\mathrm{\Λ}\left(t\right)\right|a,\mathrm{\θ}\left)\right)\stackrel{\mathrm{\Δ}}{=}[{\mathrm{\λ}}_1(t+1),...,{\mathrm{\λ}}_M(t+1)]$

${\mathrm{\λ}}_j(t+1)=\frac{\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\λ}}_k\left(t\right)p_{k,j}\mathrm{Pr}[{\mathrm{\Θ}}_{j,a}=\mathrm{\θ}]}{\underset{k=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\λ}}_k\left(t\right)p_{k,j}\mathrm{Pr}[{\mathrm{\Θ}}_{j,a}=\mathrm{\θ}]}$

对环境模型进行估计，其中，M＝2^N，表示信道数目为N时，N条信道状态组合的数目，λ_j(t)表示在时刻t外部环境处于状态j的概率值，Γ(A(t)|a，θ)表示相信矩阵Λ(t)是行动a和状态观测值θ的函数，P_k，j表示外部环境从状态k转移到状态j的概率，Pr[Θ_j，a＝θ]表示外部环境处于状态j时，二级用户采取行动a能得到状态观测值为θ的概率值；

步骤C2、将t时刻，外部环境处于状态j，采取行动a的情况下得到状态观测值为θ的吞吐量

$r_{j,a,\mathrm{\θ}}\left(t\right)=\underset{i\∈\mathrm{\θ}}{\mathrm{\Σ}}{S}_i\left(t\right)B_i$

作为优化目标，其中B_i代表信道i的带宽，S_i(t)代表信道i在t时刻是否可用，可用时S_i(t)＝1，否则S_i(t)＝0；

步骤C3、利用报酬效用函数

$V_t\left(\mathrm{\Λ}\left(t\right)\right)=\underset{i=1,...,N}{\max }\left\{\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\λ}}_k\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{p}_{k,j}\underset{\mathrm{\θ}=0}{\overset{1}{\mathrm{\Σ}}}\mathrm{Pr}\right[{\mathrm{\Θ}}_{j,a}=\mathrm{\θ}\left](\mathrm{\θ}{B}_i+V_{t+1}\left(\mathrm{\Γ}\left(\mathrm{\Λ}\left(t\right)\right|a,\mathrm{\θ})\right))\right\}$

确定在总共T个时刻内，在每一个时刻使总的期望收益r_j，a，θ(t)最大时，对应的感知信道；即：获得在每一个时刻的最优行动所感知的信道；

步骤C4、在T个时刻内的所有最优行动组成的行动集合表示为最优策略π_*：

${\mathrm{\π}}_{*}=\arg \underset{\mathrm{\π}}{\max }{E}_{\mathrm{\π}}\left[\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{r}_{j,a,\mathrm{\θ}}\left(t\right)\right|\mathrm{\Λ}\left(1\right)]$

即：所应该感知的最优信道集合，然后根据获得的最优信道集合实现环境模型未知的认知无线电态智能频谱接入。

由于部分观测马尔科夫决策过程的下一个内部状态是未知的，所以在时刻t的开始时，二级用户对通过相信矩阵Λ(t)＝[λ₁(t)，Λ，λ_M(t)]对环境模型进行估计。吞吐量表示单位时间内传输的比特数，吞吐量越大对二级用户越有利。

V_t(Λ(t))由两个部分组成：第一部分：在t时刻的瞬时收益，它由Θ_j，a和β_i定义，当网络状态位于j，用户感知信道i并且状态观测值Θ_j，a∈{0，1}，从而获得到瞬时收益为Θ_j，aB_i。第二部分：长久收益，即最大的期望剩余收益V_t+1(Λ(t+1))，A(t+1)＝Γ(Λ(t)|a，Θ_j，a))表示t+1时刻获得的一个新的相信矩阵，这个相信矩阵是在联合了t时刻的观测与行动、及反馈收益的基础上获得的。

本实施方式的计算量比较大，因为足够的统计数据Λ的维数随着信道数目N的增加而呈现指数级别的增长，使得本实施方式的办法的实时性不好，很难使二级用户本身实时适应频谱占用情况的改变。

具体实施方式三：本实施方式是对具体实施方式一中的步骤C的进一步说明，步骤C的具体有以下步骤完成：

步骤C一、在时刻t，在给定感知和决策历史的基础上，信道i的可用概率为相信矩阵：

$\mathrm{\Ω}(t+1)\stackrel{\mathrm{\Δ}}{=}[w_1(t+1),...,w_N(t+1)]\stackrel{\mathrm{\Δ}}{=}\mathrm{\Γ}\left(\mathrm{\Ω}\left(t\right)\right|a_{*}\left(t\right),{\mathrm{\Θ}}_{a_{*}}\left(t\right))$

$w_i(t+1)=\left\{\begin{array}{cc}1& \mathrm{if}{a}_{*}\left(t\right)=i,{\mathrm{\Θ}}_{a_{*}}\left(t\right)=1\\ 0& \mathrm{if}{a}_{*}\left(t\right)=i,{\mathrm{\Θ}}_{a_{*}}\left(t\right)=0\\ w_i\left(t\right){\mathrm{\β}}_i+(1-w_i\left(t\right)){\mathrm{\α}}_i& \mathrm{if}{a}_{*}\left(t\right)\≠i\end{array}\right.$

公式表示如果信道i通过报酬效用函数后被证明不是最优行动所感知的信道，即a_*(t)≠i，那么信道i的可用性概率根据马尔科夫转移模型进行升级；如果信道i通过报酬效用函数后确定信道i为感知的信道，即a_*(t)＝i，那么结果分两种，当感知结果为1时，t+1时刻的信道i的相信矩阵w_i(t+1)为1，即信道可用，反之，结果为0时，即信道繁忙，t+1时刻的信道i的相信矩阵w_i(t+1)为0，即信道不可用；

步骤C二、将单位时间的信道i的吞吐量作为优化目标，利用步骤C11求得信道i的相信矩阵Ω，求得T个时刻内的信道i的吞吐量之和为：

r_i(t)＝(w_i(t)β_i+(1-w_i(t))α_i)B_i

利用报酬效用函数

$W_t\left(\mathrm{\Ω}\right)=(w_{a_{*}}{\mathrm{\β}}_{a_{*}}+(1-w_{a_{*}}){\mathrm{\α}}_{a_{*}})B_{a_{*}}$

$+\underset{\mathrm{\θ}=0}{\overset{1}{\mathrm{\Σ}}}\mathrm{Pr}[{\mathrm{\Θ}}_{a_{*}}=\mathrm{\θ}|\mathrm{\Ω},a_{*}]W_{t+1}\left(\mathrm{\Γ}\left(\mathrm{\Ω}\right|a_{*},\mathrm{\θ})\right)$

$=(w_{a_{*}}{\mathrm{\β}}_{a_{*}}+(1-w_{a_{*}}){\mathrm{\α}}_{a_{*}})B_{a_{*}}+[w_{a_{*}}(1-{\mathrm{\β}}_{a_{*}})$

$+(1-w_{a_{*}})(1-{\mathrm{\α}}_{a_{*}})]W_{t+1}\left(\mathrm{\Γ}\left(\mathrm{\Ω}\right|a_{*},0)\right)$

$+\left[(w_{a_{*}}{\mathrm{\β}}_{a_{*}}+(1-w_{a_{*}}){\mathrm{\α}}_{a_{*}})B_{a_{*}}\right]W_{t+1}\left(\mathrm{\Γ}\left(\mathrm{\Ω}\right|a_{*},1)\right)$

确定在总共T个时刻内，在每一个时刻使总的期望收益最大时，对应的感知信道；即：获得在每一个时刻的最优行动所感知的信道；

步骤C三、时刻t的最优行动是使时刻t的瞬时收益最大而采取的行动，由T个时刻内的最优行动集合组成了最优策略a_*为：

$a_{*}\left(t\right)=\arg \underset{i=1,...,N}{\max }(w_i\left(t\right){\mathrm{\β}}_i+(1-w_i\left(t\right)){\mathrm{\α}}_i)B_i$

最优策略即所应该感知的最优信道集合，然后根据获得的最优信道集合实现环境模型未知的认知无线电态智能频谱接入。

本实施方式在保证吞吐量的同时又降低了计算量，通过简化相信矩阵使得计算复杂度从2^N降低到N。

对比本实施方式和具体实施方式二的方法，参见图3和图4。

当环境模型未知时，信道数目N＝2，二级用户在T个时刻内，在固定的马尔科夫转移概率(α_i， β_i)，第一信道和第二信道的转移概率α_i分别为0.44和0.28，第一信道和第二信道的转移概率β_i分别为0.23和0.12，第一信道和第二信道的带宽B_i分别为1和2，即α＝[0.44，0.28]，β＝[0.23，0.12]，B＝[1，2]的情况下，信道i的T个时刻的采样状态，通过仿真可以看出二级用户在完全陌生的模型中利用具体实施方式五所述的方法得到的平均吞吐量仅仅比利用具体实施方式四的平均吞吐量低6％左右。

当信道数目N＝3，二级用户在T个时刻内，在固定的马尔科夫转移概率(α_i，β_i)，第一信道、第二信道和第三信道的转移概率α_i分别为0.1、0.1和0.8，第一信道、第二信道和第三信道的转移概率β_i分别为0.5、0.4和0.3，第一信道、第二信道和第三信道的带宽B_i分别为0.9、0.1和0.8，即α＝[0.1，0.5，0.8]，β＝[0.5，0.4，0.3]，B＝[0.9，0.1，0.8]的情况下，信道i的T个时刻的采样状态，通过仿真可以看出二级用户利用具体实施方式五所述的方法得到的平均吞吐量仅仅比利用具体实施方式四的平均吞吐量仅低2％左右。

Claims (5)

1.对未知环境模型特性的认知无线电动态智能频谱接入方法，其特征在于具体步骤如下：

步骤A、建立授权用户占用信道的环境模型：每条信道之间是彼此独立的，且每条信道被授权用户占用的情况服从马尔科夫转移过程；

步骤B、每个二级用户通过统计学习的方法，建立该二级用户关于授权用户信道转移模型：通过中心极限定理求解出采样个数r_i，通过信道i在r_i次采样的采样状态建立最大似然函数，然后对最大似然函数进行求解，解出步骤A所述的每条信道被授权用户占用的马尔科夫转移过程的转换概率；

步骤C、二级用户利用部分观测马尔科夫决策过程做出最优策略，所述部分观测马尔科夫决策过程为：利用观测历史产生的相信矩阵来描述授权用户对信道的占用情况，然后二级用户在增大单位时间吞吐量的目标下，利用报酬效用函数来决策在T个时刻内采用的最优行动集合，实现环境模型未知的认知无线电态智能频谱接入。

2.根据权利要求1所述的对未知环境模型特性的认知无线电动态智能频谱接入方法，其特征在于步骤A中每条信道i任何时刻处在以下两种状态的一种：忙或闲，忙为被授权用户占用，用“0”表示，闲为不被授权用户占用，用“1”表示，信道i状态从“0”变为“1”的概率为α_i，则信道i保持“0”状态不变的概率为1-α_i，信道i保持“1”状态不变的概率为β_i，则信道i状态从“1”变为“0”的概率为1-β_i。

3.根据权利要求1所述的对未知环境模型特性的认知无线电动态智能频谱接入方法，其特征在于步骤B的具体步骤如下：

步骤B1、由中心极限定理：

$\frac{\underset{k=1}{\overset{r_i^0}{\mathrm{\Σ}}}{Y}_k-r_i^0{\mathrm{\α}}_i}{{\left(r_i^0\right)}^{1/2}\·{({\mathrm{\α}}_i-{{\mathrm{\α}}_i}^2)}^{1/2}}\→N\left(\mathrm{0,1}\right)$

获得信道i的采样次数r_i：

$r_i=\frac{{\left[{\mathrm{\Φ}}^{-1}\left(\frac{P_C+1}{2}\right)\right]}^2}{{\mathrm{\δ}}^2}(1-{\mathrm{\α}}_i)(\frac{1}{{\mathrm{\α}}_i}+\frac{1}{{\mathrm{\β}}_i}),$

其中，相对估计偏差δ和置信概率P_C由用户根据需要设定，Φ(·)是标准正态累计分布函数，r_i ⁰是采样次数r_i中检测信道状态值为“0”的次数，Y_k是k时刻的信道观测值，取值为0或1，当Y_k＝0表示信道i在k时刻状态观测值是“0”，在k+1时刻状态观测值也是“0”的情况；当Y_k＝1表示信道i在k时刻状态观测值是“0”，在k+1时刻状态观测值是“1”的情况。

步骤B2、通过信道i在r_i次采样的采样状态，建立最大似然函数：

$H\left(\stackrel{\‾}{\mathrm{\φ}}\right)=P(\stackrel{\‾}{X};\stackrel{\‾}{\mathrm{\φ}})$

$=P(X_1=x_1;\stackrel{\‾}{\mathrm{\φ}})\underset{k=2}{\overset{r_i}{\mathrm{\Π}}}P(X_k=x_k|X_{k-1}=x_{k-1};\stackrel{\‾}{\mathrm{\φ}})$

$=P(X_1=x_1;\stackrel{\‾}{\mathrm{\φ}})\·[{(1-{\mathrm{\α}}_i)}^{m_0}\·{{\mathrm{\α}}_i}^{m_1}\·{{\mathrm{\β}}_i}^{m_2}\·{(1-{\mathrm{\β}}_i)}^{m_3}]$

其中，

为信道状态的采样值，并且X_k∈{1，0}，r_i是信道i的采样个数，φ＝(α_i，β_i)为似然函数，m₀，m₁，m₂，m₃代表4种不同转移形式(X_k，X_k-1)＝(0，0)、(0，1)、(1，0)和(1，1)的发生次数。

步骤B3、将步骤B2建立的最大似然函数分别对α_i和β_i求导，令其导数为0

$\left\{\begin{array}{c}\∂H\left(\stackrel{\‾}{\mathrm{\φ}}\right)/{\∂\mathrm{\α}}_i=0\\ \∂H\left(\stackrel{\‾}{\mathrm{\φ}}\right)/{\∂\mathrm{\β}}_i=0\end{array}\right.$

求解获得α_i和β_i的最大似然估计量

和

$\left\{\begin{array}{c}{\widehat{\mathrm{\α}}}_i=m_1/(m_1+m_0)\\ {\widehat{\mathrm{\β}}}_i=m_2/(m_2+m_3)\end{array}\right.$

4.根据权利要求1所述的对未知环境模型特性的认知无线电动态智能频谱接入方法，其特征在于步骤C的具体步骤如下：

步骤C1、在时刻t，二级用户通过贝叶斯准则，利用相信矩阵Λ(t)＝[λ₁(t)，…，λ_M(t)]

$\mathrm{\Λ}(t+1)\stackrel{\mathrm{\Δ}}{=}\mathrm{\Γ}\left(\mathrm{\Λ}\left(t\right)\right|a,\mathrm{\θ})\left)\stackrel{\mathrm{\Δ}}{=}\right[{\mathrm{\λ}}_1(t+1),\·\·\·,{\mathrm{\λ}}_M(t+1)]$

${\mathrm{\λ}}_j(t+1)=\frac{\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\λ}}_k\left(t\right)p_{k,j}\mathrm{Pr}[{\mathrm{\Θ}}_{j,a}=\mathrm{\θ}]}{\underset{k=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\λ}}_k\left(t\right)p_{k,j}\mathrm{Pr}[{\mathrm{\Θ}}_{j,a}=\mathrm{\θ}]}$

对环境模型进行估计，其中，M＝2^N，表示信道数目为N时，N条信道状态组合的数目，λ_j(t)表示在时刻t外部环境处于状态j的概率值，Γ(Λ(t)|a，θ)表示相信矩阵Λ(t)是行动a和状态观测值θ的函数，P_k，j表示外部环境从状态k转移到状态j的概率，Pr[Θ_j，a＝θ]表示外部环境处于状态j时，二级用户采取行动a能得到状态观测值为θ的概率值。

步骤C2、将t时刻，外部环境处于状态j，采取行动a的情况下得到状态观测值为θ的吞吐量

$r_{j,a,\mathrm{\θ}}\left(t\right)=\underset{i\∈\mathrm{\θ}}{\mathrm{\Σ}}{S}_i\left(t\right)B_i$

作为优化目标，其中B_i代表信道i的带宽，S_i(t)代表信道i在t时刻是否可用，可用时S_i(t)＝1，否则S_i(t)＝0。

步骤C3、利用报酬效用函数

$V_t\left(\mathrm{\Λ}\left(t\right)\right)=\underset{i=1,\·\·\·,N}{\max }\left\{\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\λ}}_k\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{p}_{k,j}\underset{\mathrm{\θ}=0}{\overset{1}{\mathrm{\Σ}}}\mathrm{Pr}\right[{\mathrm{\Θ}}_{j,a}=\mathrm{\θ}\left]({\mathrm{\θB}}_i+V_{t+1}\left(\mathrm{\Γ}\left(\mathrm{\Λ}\left(t\right)\right|a,\mathrm{\θ})\right))\right\}$

确定在总共T个时刻内，在每一个时刻使总的期望收益r_j，a，θ(t)最大时，对应的感知信道；即：获得在每一个时刻的最优行动所感知的信道；

步骤C4、在T个时刻内的所有最优行动组成的行动集合表示为最优策略π_*：

${\mathrm{\π}}_{*}=\arg \underset{\mathrm{\π}}{\max }{E}_{\mathrm{\π}}\left[\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{r}_{j,a,\mathrm{\θ}}\left(t\right)\right|\mathrm{\Λ}\left(1\right)]$

即：所应该感知的最优信道集合，然后根据获得的最优信道集合实现环境模型未知的认知无线电态智能频谱接入。

5.根据权利要求1所述的对未知环境模型特性的认知无线电动态智能频谱接入方法，其特征在于步骤C的具体步骤如下：

步骤C一、在时刻t，在给定感知和决策历史的基础上，信道i的可用概率为相信矩阵：

$\mathrm{\Ω}(t+1)\stackrel{\mathrm{\Δ}}{=}[w_1(t+1),\·\·\·,w_N(t+1)]\stackrel{\mathrm{\Δ}}{=}\mathrm{\Γ}\left(\mathrm{\Ω}\left(t\right)\right|a_{*}\left(t\right),{\mathrm{\Θ}}_{a_{*}}\left(t\right))$

$w_i(t+1)=\left\{\begin{array}{cc}1& {\mathrm{ifa}}_{*}\left(t\right)=i,{\mathrm{\Θ}}_{a_{*}}\left(t\right)=1\\ 0& {\mathrm{ifa}}_{*}\left(t\right)=i,{\mathrm{\Θ}}_{a_{*}}\left(t\right)=0\\ w_i\left(t\right){\mathrm{\β}}_i+(1-w_i\left(t\right)){\mathrm{\α}}_i& \mathrm{if}{a}_{*}\left(t\right)\≠i\end{array}\right.$

公式表示如果信道i通过报酬效用函数后被证明不是最优行动所感知的信道，即a_*(t)≠i，那么信道i的可用性概率根据马尔科夫转移模型进行升级；如果信道i通过报酬效用函数后确定信道i为感知的信道，即a_*(t)＝i，那么结果分两种，当感知结果为1时，t+1时刻的信道i的相信矩阵w_i(t+1)为1，即信道可用，反之，结果为0时，即信道繁忙，t+1时刻的信道i的相信矩阵w_i(t+1)为0，即信道不可用；

步骤C二、将单位时间的信道i的吞吐量作为优化目标，利用步骤C11求得信道i的相信矩阵Ω，求得T个时刻内的信道i的吞吐量之和为：

r_i(t)＝(w_i(t)β_i+(1-w_i(t))α_i)B_i

利用报酬效用函数

$W_t\left(\mathrm{\Ω}\right)=(w_{a_{*}}{\mathrm{\β}}_{a_{*}}+(1-w_{a_{*}}){\mathrm{\α}}_{a_{*}})B_{a_{*}}$

$+\underset{\mathrm{\θ}=0}{\overset{1}{\mathrm{\Σ}}}\mathrm{Pr}[{\mathrm{\Θ}}_{a_{*}}=\mathrm{\θ}|\mathrm{\Ω},a_{*}]W_{t+1}\left(\mathrm{\Γ}\left(\mathrm{\Ω}\right|a_{*},\mathrm{\θ})\right)$

$=(w_{a_{*}}{\mathrm{\β}}_{a_{*}}+(1-w_{a_{*}}){\mathrm{\α}}_{a_{*}})B_{a_{*}}+[w_{a_{*}}(1-{\mathrm{\β}}_{a_{*}})$

$+(1-w_{a_{*}})(1-{\mathrm{\α}}_{a_{*}}){]W}_{t+1}\left(\mathrm{\Γ}\left(\mathrm{\Ω}\right|a_{*},0)\right)$

$+\left[(w_{a_{*}}{\mathrm{\β}}_{a_{*}}+(1-w_{a_{*}}){\mathrm{\α}}_{a_{*}})B_{a_{*}}\right]W_{t+1}\left(\mathrm{\Γ}\left(\mathrm{\Ω}\right|a_{*},1)\right)$

确定在总共T个时刻内，在每一个时刻使总的期望收益最大时，对应的感知信道；即：获得在每一个时刻的最优行动所感知的信道；

步骤C三、时刻t的最优行动是使时刻t的瞬时收益最大而采取的行动，由T个时刻内的最优行动集合组成了最优策略a_*为：

$a_{*}\left(t\right)=\arg \underset{i=1,\·\·\·N}{\max }(w_i\left(t\right){\mathrm{\β}}_i+(1-w_i\left(t\right)){\mathrm{\α}}_i)B_i$

最优策略即所应该感知的最优信道集合，然后根据获得的最优信道集合实现环境模型未知的认知无线电态智能频谱接入。

Images