CN109039505A - 一种认知无线电网络中信道状态转移概率预测方法 - Google Patents

Abstract

本发明设计出一种基于两阶段Q学习方法的认知无线电网络中信道状态转移概率预测方法包括两个学习过程，分别为信道状态转移概率学习过程和信道状态学习过程；所述信道状态转移概率学习过程和信道状态学习过程均是基于Q学习方法，信道状态学习过程能够根据信道状态转移概率学习过程学习到的信道状态转移概率对信道的状态进行学习并且输出学习到的信道状态。该方法能够实时的对不断变化的授权信道状态进行预测。此外，该方法不需要提前假设授权用户或是干扰者满足任何概率分布。而且，该方法充分考虑了所使用的信道状态转移概率预测样本状态的正确与否问题。

Description

一种认知无线电网络中信道状态转移概率预测方法

技术领域

本发明涉及一种认知无线电网络中信道状态转移概率预测方法，属于无线电网络技术领域。

背景技术

在过去数十年的时间里，为了满足消费者对快速，安全而且智能的无线网络的需求，无线网络对不断增长地更高速率的数据速率的要求进行支持。然而，当前无线网络系统面临着频谱资源所带来的瓶颈。这一瓶颈使得在有限的可利用频段中对性能进行增强变得困难。因此，为了进一步加强无线网络的性能，需要新的通信案例。工业已经预测无线网络需要更多的频谱资源来来服务更多高速通信的用户。并且，当前的频谱资源需要更加有效地被利用。为了更加有效的利用有限的频谱资源，认知无线电技术应运而生。在认知无线电网络中，认知无线电用户可以在不干扰授权用户正常通信的情况下动态地利用授权频谱。然而，认知无线电用户的设计面临着很多安全方面的挑战。在认知无线电网络中，认知无线电用户可能受到干扰着的攻击。装有认知功能的干扰者能够感知到未被授权用户占用的信道并且攻击这些信道。干扰者对认知无线电用户的攻击将会破坏认知无线电用户之间的正常通信。因此，为了保证认知无线电用户在认知无线电网络中的正常通信并且避免对授权用户的干扰，对信道状态信息的预测是非常重要的。

在认知无线电网络中，认知无线电用户通常可以通过频谱感知技术来感知授权信道的状态。然而，由于认知无线电硬件及能量的限制，认知无线电用户可能没有能力在同一时间感知所有的授权频谱。此外，即使认知无线电用户有能力感知全部授权频谱，感知全部授权频谱将会消耗大量的时间，这将给认知无线电用户的通信带来很大程度的时延。因此，为了在有限的时间内获取更加正确的频谱状态，我们需要获得更有关于信道的信息。其中，最重要的一个信息便是信道状态转移概率。很多已有文章假设信道状态是由授权用户的状态决定的，并且认知无线电用户知道授权用户的状态转移信息。然而，在真实的认知无线电网络中，认知无线电用户是很难知道授权用户的状态转移信息的。因此，认知无线电用户需要对授权信道的状态信息进行预测。到目前为止，只有少部分的相关研究对认知无线电网络中授权信道的状态转移信息进行了预测。

目前针对认认知无线电网络中信道状态转移概率预测方法的相关研究文献如下：

1.C.Liu等人在2012年的《IEEE Globecom》上发表的文章“Prediction ofExponentially Distributed Primary User Traffic for Dynamic Spectrum Access”中提出了一种基于最大似然方法的授权用户活动预测方法。此方法假设授权用户的活动服从指数分布，并且感知是完美感知。在此预测方法中，首先根据采样样本计算授权用户占用信道的概率。然后，根据此评估概率对授权用户占用授权信道的时间进行评估。之后，根据评估的占用信道概率及占用信道时间对非授权用户对信道占用情况的转移概率进行评估。最后，根据完美感知感知到的信道状态及评估好的转移概率进行下一时刻信道状态的评估。然而，此最大似然预测方法假设信道感知结果是完美的。在真实的认知无线电网络中，由于感知时间及感知方法的限制，信道状态感知结果可能是不完美的。此外，授权用户对信道的占用间隔需要服从指数分布。而且，在预测下一状态时，需要长时间的采样过程。因此，此方法将会给认知无线电用户的通信带来长时间的时延。

2.C.Song等人在2010年的《IEEE ICC》上发表的文章“Understand thePredictability of Wireless Spectrum:A Large-scale Empirical Study”中提出了一种基于马尔可夫的信道预测方法。此方法使用所要预测的时隙的前K个信道状态来预测此时隙的信道状态。通过统计所使用的K个信道状态中占用信道的时隙数及未占用信道的时隙数来预测此时隙的信道状态。然而，通过此方法预测，在不同的情况下，会面临不同程度上的错误率。有些情况下，此方法面临着较大的预测错误率。此外，用于预测的信道状态序列中的信道状态同时面对着感知信道状态错误问题。

3.F.H.Panahi等人在2014年的《IEICE Transaction on Communication》上发表的文章“Optimal Channel-Sensing Scheme for Cognitive Radio Systems Based onFuzzy Q-Learning”中提出一种基于Baum-Welch算法的信道转移概率预测算法，此方法能够充分地预测信道转移概率。然而，此方法需要在使用信道转移概率对信道进行预测之前，通过一定数量的样本空间对信道转移概率进行预测。此外，若信道转移概率变化，此预测方法需要花费大量时间来重新进行采样来重新预测信道转移概率。这一信道转移预测算法不能够实时的预测信道的状态。因此，将会增加认知无线电用户的通信延迟。而且无法预知重新采样的时间。

4.S.Filippi等人在2008年的《IEEE CrownCom》上发表的文章“An EstimationAlgorithm of Channel State Transition Probabilities for Cognitive RadioSystems”中提出一种基于最大似然估计方法的信道转移概率预测方法，此方法能够相对准确的对信道转移概率进行评估。此方法的状态转移概率是基于认知无线电用户可以获得正确的信道状态基础的。然而，在实际的认知无线电网络中，由于认知无线电用户感知时间，感知方法及周围通信环境的限制，认知无线电用户可能无法获得真实的信道状态信息。此外，在此方法中，认知无线电用户需要同时收集长时间的信道状态信息来对信道转移概率进行评估。因此，这一信道转移概率预测方法将会增加认知无线电用户的通信延迟。

5.A.Akbulut等人在2012年的《Radioengineering》上发表的文章“Estimation ofTime-Varying Channel State Transition Probabilities for Cognitive RadioSystems by Means of Particle Swarm Optimization”中提出了一种基于粒子群方法的信道转移概率预测方法。此方法能够对变化的信道转移概率进行预测。然而，此方法同样面临着所使用的信道状态信息可能与实际的信道状态不同的情况。

在总结这些研究的基础上，可以看出当前认知无线电网络体系结构的设计中存在以下主要问题：

1.很多文章都默认用于预测的观察信道状态序列的状态与实际信道状态相同。然而，由于非授权用户频谱感知时间，频谱感知方法以及通信环境的限制，所观察到的信道状态可能与实际的信道状态存在一定程度上的偏差。

2.大部分文章都需要提前对信道状态转移概率进行预测，这将给认知无线电用户的通信带来一定程度的延迟。此外，由于大部分文章无法对信道状态转移概率进行实时地预测。因此，大部分文章中的信道状态转移概率只适用于信道状态转移概率一直不变的认知无线电网络中。然而，在真实的认知无线电网络中，信道状态转移概率可能是随时间变化的。

3.部分文章中的信道状态转移概率预测方法需要满足一定的概率分布，不能通用于认知无线电网络中。

发明内容

技术问题：本发明设计出一种基于两阶段Q学习方法的认知无线电网络中信道状态转移概率预测方法。此预测方法包含的两阶段基于Q学习方法的预测过程，分别为信道状态转移概率学习过程及信道状态学习过程。信道状态转移概率学习过程的输入和输出分别为:信道状态学习过程学习到的信道状态，以及所预测的信道状态转移概率。信道状态学习过程的输入和输出分别为：信道状态转移概率学习过程的输出，以及学习到的信道的状态。认知无线电用户通过对信道的不断学习，最终可以推断出信道的状态转移概率，从而正确的推断出信道下一时刻的状态信息，避免其收到干扰者的攻击以及对授权用户造成干扰。该方法能够实时的对不断变化的授权信道状态进行预测。此外，该方法不需要提前假设授权用户或是干扰者满足任何概率分布。而且，该方法充分考虑了所使用的信道状态转移概率预测样本状态的正确与否问题。

本发明的技术方案如下：

本发明涉及一种认知无线电网络中信道状态转移概率预测方法，包括两个学习过程，分别为信道状态转移概率学习过程和信道状态学习过程；

所述信道状态转移概率学习过程和信道状态学习过程均是基于Q学习方法，信道状态学习过程能够根据信道状态转移概率学习过程学习到的信道状态转移概率对信道的状态进行学习并且输出学习到的信道状态。

信道状态转移概率学习过程是基于Q学习方法的基本要素分别为：

状态：授权信道的状态即0和1，授权信道状态为0时，表示授权信道处于空闲状态，授权信道状态为1时，表示授权信道被授权用户占用或被干扰者攻击或同时被授权用户占用并被干扰者攻击；

动作：预测的下一时刻的授权信道状态即0或1；

奖赏：根据所预测的下一时刻的授权信道状态及信道学习过程所学习到的信道状态的差异决定；

信道状态转移概率学习过程的Q学习过程如下：

(2a)初始化Q学习方法中的参数

初始化Q学习方法中的参数为Q学习中当前信道状态对应的所要预测的下一时刻的信道状态所对应的Q值；初始化时，将Q学习方法中当前信道状态对应的所要预测的下一时刻的信道状态所对应的Q值设置为0；

(2b)动作决策过程

根据当前状态所对应的下一状态的Q值来选择动作，即预测下一时刻信道的状态；

动作决策过程采用ξ贪婪方法来选择动作，即认知无线电用户以ξ的概率选择最大的Q值所对应的下一时刻的状态，以1-ξ的概率选择非最大的Q值所对应的下一时刻的状态；

其选择方法为：

其中S^t为t时刻信道所对应的状态；S^t+1为t+1时刻信道所对应的状态；Q(·)为信道状态S^t与不同的下一时刻信道状态对应的Q值；

(2c)更新Q值

根据信道状态学习过程所学习的信道状态进行更新，Q值的更新方法为：

其中，为在当前状态下所选择的下一状态所对应的Q值；值为当前信道状态所对应的最大Q值；α为学习速率；γ为折扣因子；R为执行所选动作所获得的奖励；

当信道状态转移概率学习过程所选的动作与信道状态学习方法所学习到的信道状态相同时，信道状态转移概率学习过程可以获得奖励记为1；若信道状态转移概率学习过程所选的动作与信道状态学习方法所学习到的信道状态不同时，则可获得的奖励记为-1；

(2d)计算信道状态转移概率

根据当前状态所对应的下一状态的Q值计算信道状态转移概率；

其计算方法为：

其中，P_0,j为信道从状态0转移到状态j的概率；P_1,j为信道从状态1转移到j的概率；q_0,j为当前状态0对应的下一状态为j的Q值；q_0,0为当前状态0对应的下一状态为0的Q值；q_0,1为当前状态0对应的下一状态为1的Q值；q_1,j为当前状态1对应的下一状态为j的Q值；q_1,0为当前状态1对应的下一状态为0的Q值；q_1,1为当前状态1对应的下一状态为1的Q值。

信道状态学习过程，包括如下步骤：

信道状态学习过程基于Q学习方法的基本要素分别为：

状态：授权信道的状态概率，即授权信道的状态为0的概率及状态为1的概率；

动作：传输数据或者不传输数据；

奖赏：根据传输数据或不传输数据，以及是否产生冲突决定；

信道状态学习过程的Q学习过程如下：

(3a)预测授权信道状态概率

认知无线电通过频谱感知结果及信道状态转移概率学习过程输出的信道状态转移概率计算授权信道各个状态的概率，

其计算方法为：

其中，为授权信道在t时刻状态为i的概率，i＝0or1；为授权信道在t+1时刻状态为i的概率，i＝0or1；Y_i为通过感知结果观察到的授权信道状态为i的概率，i＝0or1；P_i,j为授权信道由状态i转移到状态j的概率，j＝0or1；

(3b)选择相应动作

根据预测的授权信道状态概率选择相应的动作，

具体的选择过程为：若授权信道为空闲的概率大于授权信道被占用的概率，即时，则认为授权信道处于空闲状态，以η的概率选择进行数据传输，1-η的概率选择不进行数据传输；否则，认为授权信道处于被占用状态，以η的概率选择不进行数据传输，1-η的概率选择进行数据传输；

(3c)计算奖励

若所选动作为数据传输且不与授权用户及干扰者冲突，奖励为1；若所选动作为数据传输且与授权用户或干扰者冲突，奖励为-1；若所选动作为不进行数据传输，奖励为0；

(3d)更新Q值

Q值更新方法为：

其中，为在当前状态下所选择的动作所对应的Q值；值为当前状态所对应的动作最大Q值；β为学习速率；χ为折扣因子；R_α为执行所选动作所获得的奖励；

(3e)输出授权信道状态

若所选动作为进行数据传输且不于授权用户及干扰者冲突，则输出授权信道状态为空闲；否则，输出信道状态为被占用。

本发明所达到的有益效果：

(1)本发明考虑了感知到的信道状态正确与否的问题。认知无线电用户通过信道状态学习过程对所感知的信道状态不断学习，从而获得正确的信道状态，避免其对授权用户的干扰以及干扰者对其的恶意攻击。

(2)本发明能够实时地评估信道状态转移概率，并且能够对变化的信道状态转移概率进行评估。从而，避免了一定程度的评估时延以及信道状态转移概率预测错误率。

(3)本发明所设计的认知无线电网络中信道状态转移概率预测方法不需要提前假设授权用户或者干扰用户的活动满足任何概率分布，此预测方法更加通用于认知无线电网络。

附图说明

图1为本发明的信道状态转移概率预测方法的整体框图；

图2为本发明的信道状态转移概率预测方法的流程图；

图3为本发明的信道状态预测方法的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，本发明涉及一种认知无线电网络中信道状态转移概率预测方法，包括两个学习过程，分别为信道状态转移概率学习过程和信道状态学习过程；

所述信道状态转移概率学习过程和信道状态学习过程均是基于Q学习方法，信道状态学习过程能够根据信道状态转移概率学习过程学习到的信道状态转移概率对信道的状态进行学习并且输出学习到的信道状态。

信道状态转移概率学习过程是基于Q学习方法的基本要素分别为：

状态：授权信道的状态即0和1，授权信道状态为0时，表示授权信道处于空闲状态，授权信道状态为1时，表示授权信道被授权用户占用或被干扰者攻击或同时被授权用户占用并被干扰者攻击；

动作：预测的下一时刻的授权信道状态即0或1；

奖赏：根据所预测的下一时刻的授权信道状态及信道学习过程所学习到的信道状态的差异决定；

如图2所示，信道状态转移概率学习过程的Q学习过程如下：

(2a)初始化Q学习方法中的参数

初始化Q学习方法中的参数为Q学习中当前信道状态对应的所要预测的下一时刻的信道状态所对应的Q值；初始化时，将Q学习方法中当前信道状态对应的所要预测的下一时刻的信道状态所对应的Q值设置为0；

(2b)动作决策过程

根据当前状态所对应的下一状态的Q值来选择动作，即预测下一时刻信道的状态；

动作决策过程采用ξ贪婪方法来选择动作，即认知无线电用户以ξ的概率选择最大的Q值所对应的下一时刻的状态，以1-ξ的概率选择非最大的Q值所对应的下一时刻的状态；

其选择方法为：

其中S^t为t时刻信道所对应的状态；S^t+1为t+1时刻信道所对应的状态；Q(·)为信道状态S^t与不同的下一时刻信道状态对应的Q值；

(2c)更新Q值

根据信道状态学习过程所学习的信道状态进行更新，Q值的更新方法为：

其中，为在当前状态下所选择的下一状态所对应的Q值；值为当前信道状态所对应的最大Q值；α为学习速率；γ为折扣因子；R为执行所选动作所获得的奖励；

当信道状态转移概率学习过程所选的动作与信道状态学习方法所学习到的信道状态相同时，信道状态转移概率学习过程可以获得奖励记为1；若信道状态转移概率学习过程所选的动作与信道状态学习方法所学习到的信道状态不同时，则可获得的奖励记为-1；

(2d)计算信道状态转移概率

根据当前状态所对应的下一状态的Q值计算信道状态转移概率；

其计算方法为：

其中，P_0,j为信道从状态0转移到状态j的概率；P_1,j为信道从状态1转移到j的概率；q_0,j为当前状态0对应的下一状态为j的Q值；q_0,0为当前状态0对应的下一状态为0的Q值；q_0,1为当前状态0对应的下一状态为1的Q值；q_1,j为当前状态1对应的下一状态为j的Q值；q_1,0为当前状态1对应的下一状态为0的Q值；q_1,1为当前状态1对应的下一状态为1的Q值。

信道状态学习过程，包括如下步骤：

信道状态学习过程基于Q学习方法的基本要素分别为：

状态：授权信道的状态概率，即授权信道的状态为0的概率及状态为1的概率；

动作：传输数据或者不传输数据；

奖赏：根据传输数据或不传输数据，以及是否产生冲突决定；

如图3所示，信道状态学习过程的Q学习过程如下：

(3a)预测授权信道状态概率

认知无线电通过频谱感知结果及信道状态转移概率学习过程输出的信道状态转移概率计算授权信道各个状态的概率，

其计算方法为：

其中，为授权信道在t时刻状态为i的概率，i＝0or1；为授权信道

在t+1时刻状态为i的概率，i＝0or1；Y_i为通过感知结果观察到的授权信道状态为i的概率，i＝0or1；P_i,j为授权信道由状态i转移到状态j的概率，j＝0or1；

(3b)选择相应动作

根据预测的授权信道状态概率选择相应的动作，

具体的选择过程为：若授权信道为空闲的概率大于授权信道被占用的概率，即时，则认为授权信道处于空闲状态，以η的概率选择进行数据传输，1-η的概率选择不进行数据传输；否则，认为授权信道处于被占用状态，以η的概率选择不进行数据传输，1-η的概率选择进行数据传输；

(3c)计算奖励

若所选动作为数据传输且不与授权用户及干扰者冲突，奖励为1；若所选动作为数据传输且与授权用户或干扰者冲突，奖励为-1；若所选动作为不进行数据传输，奖励为0；

(3d)更新Q值

Q值更新方法为：

其中，为在当前状态下所选择的动作所对应的Q值；值为当前状态所对应的动作最大Q值；β为学习速率；χ为折扣因子；R_α为执行所选动作所获得的奖励；

(3e)输出授权信道状态

若所选动作为进行数据传输且不于授权用户及干扰者冲突，则输出授权信道状态为空闲；否则，输出信道状态为被占用。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (3)

1.一种认知无线电网络中信道状态转移概率预测方法，其特征在于包括两个学习过程，分别为信道状态转移概率学习过程和信道状态学习过程；

所述信道状态转移概率学习过程和信道状态学习过程均是基于Q学习方法，信道状态学习过程能够根据信道状态转移概率学习过程学习到的信道状态转移概率对信道的状态进行学习并且输出学习到的信道状态。

2.根据权利要求1所述的一种认知无线电网络中信道状态转移概率预测方法，其特征在于：

信道状态转移概率学习过程是基于Q学习方法的基本要素分别为：

状态：授权信道的状态即0和1，授权信道状态为0时，表示授权信道处于空闲状态，授权信道状态为1时，表示授权信道被授权用户占用或被干扰者攻击或同时被授权用户占用并被干扰者攻击；

动作：预测的下一时刻的授权信道状态即0或1；

奖赏：根据所预测的下一时刻的授权信道状态及信道学习过程所学习到的信道状态的差异决定；

信道状态转移概率学习过程的Q学习过程如下：

(2a)初始化Q学习方法中的参数

初始化Q学习方法中的参数为Q学习中当前信道状态对应的所要预测的下一时刻的信道状态所对应的Q值；初始化时，将Q学习方法中当前信道状态对应的所要预测的下一时刻的信道状态所对应的Q值设置为0；

(2b)动作决策过程

根据当前状态所对应的下一状态的Q值来选择动作，即预测下一时刻信道的状态；

动作决策过程采用ξ贪婪方法来选择动作，即认知无线电用户以ξ的概率选择最大的Q值所对应的下一时刻的状态，以1-ξ的概率选择非最大的Q值所对应的下一时刻的状态；

其选择方法为：

其中S^t为t时刻信道所对应的状态；S^t+1为t+1时刻信道所对应的状态；Q(·)为信道状态S^t与不同的下一时刻信道状态对应的Q值；

(2c)更新Q值

根据信道状态学习过程所学习的信道状态进行更新，Q值的更新方法为：

其中，为在当前状态下所选择的下一状态所对应的Q值；值为当前信道状态所对应的最大Q值；α为学习速率；γ为折扣因子；R为执行所选动作所获得的奖励；

当信道状态转移概率学习过程所选的动作与信道状态学习方法所学习到的信道状态相同时，信道状态转移概率学习过程可以获得奖励记为1；若信道状态转移概率学习过程所选的动作与信道状态学习方法所学习到的信道状态不同时，则可获得的奖励记为-1；

(2d)计算信道状态转移概率

根据当前状态所对应的下一状态的Q值计算信道状态转移概率；

其计算方法为：

其中，P_0,j为信道从状态0转移到状态j的概率；P_1,j为信道从状态1转移到j的概率；q_0,j为当前状态0对应的下一状态为j的Q值；q_0,0为当前状态0对应的下一状态为0的Q值；q_0,1为当前状态0对应的下一状态为1的Q值；q_1,j为当前状态1对应的下一状态为j的Q值；q_1,0为当前状态1对应的下一状态为0的Q值；q_1,1为当前状态1对应的下一状态为1的Q值。

3.根据权利要求1所述的一种认知无线电网络中信道状态转移概率预测方法，其特征在于：信道状态学习过程，包括如下步骤：

信道状态学习过程基于Q学习方法的基本要素分别为：

状态：授权信道的状态概率，即授权信道的状态为0的概率及状态为1的概率；

动作：传输数据或者不传输数据；

奖赏：根据传输数据或不传输数据，以及是否产生冲突决定；

信道状态学习过程的Q学习过程如下：

(3a)预测授权信道状态概率

认知无线电通过频谱感知结果及信道状态转移概率学习过程输出的信道状态转移概率计算授权信道各个状态的概率，

其计算方法为：

其中，为授权信道在t时刻状态为i的概率，i＝0or1；为授权信道在t+1时刻状态为i的概率，i＝0or1；Y_i为通过感知结果观察到的授权信道状态为i的概率，i＝0or1；P_i,j为授权信道由状态i转移到状态j的概率，j＝0or1；

(3b)选择相应动作

根据预测的授权信道状态概率选择相应的动作，

具体的选择过程为：若授权信道为空闲的概率大于授权信道被占用的概率，即时，则认为授权信道处于空闲状态，以η的概率选择进行数据传输，1-η的概率选择不进行数据传输；否则，认为授权信道处于被占用状态，以η的概率选择不进行数据传输，1-η的概率选择进行数据传输；

(3c)计算奖励

若所选动作为数据传输且不与授权用户及干扰者冲突，奖励为1；若所选动作为数据传输且与授权用户或干扰者冲突，奖励为-1；若所选动作为不进行数据传输，奖励为0；

(3d)更新Q值

Q值更新方法为：

其中，为在当前状态下所选择的动作所对应的Q值；值为当前状态所对应的动作最大Q值；β为学习速率；χ为折扣因子；R_α为执行所选动作所获得的奖励；

(3e)输出授权信道状态

若所选动作为进行数据传输且不于授权用户及干扰者冲突，则输出授权信道状态为空闲；否则，输出信道状态为被占用。