CN108449151B - 一种基于机器学习的认知无线电网络中频谱接入方法 - Google Patents

一种基于机器学习的认知无线电网络中频谱接入方法 Download PDF

Info

Publication number
CN108449151B
CN108449151B CN201810409592.0A CN201810409592A CN108449151B CN 108449151 B CN108449151 B CN 108449151B CN 201810409592 A CN201810409592 A CN 201810409592A CN 108449151 B CN108449151 B CN 108449151B
Authority
CN
China
Prior art keywords
channel
rule
cognitive radio
access
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810409592.0A
Other languages
English (en)
Other versions
CN108449151A (zh
Inventor
韩光洁
李傲寒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201810409592.0A priority Critical patent/CN108449151B/zh
Publication of CN108449151A publication Critical patent/CN108449151A/zh
Application granted granted Critical
Publication of CN108449151B publication Critical patent/CN108449151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/382—Monitoring; Testing of propagation channels for resource allocation, admission control or handover
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明设计出一种基于机器学习的认知无线电网络中频谱接入方法。该方法在充分的考虑了授权用户及恶意干扰者对认知无线电用户的干扰。不依赖于任何基础设施。认知无线电用户可以通过学习学习到不同状态下的最佳频谱接入方法。在此方法中，认知无线电用户在同一时间可以接入多个授权频段。由于无线通信网络的异构性，本发明假设不同认知无线电用户可接入的授权频段是不同的。适用于真实的认知无线电网络。此方法可以在认知无线电用户对授权用户及恶意干扰者状态未知的状态下，可通过不断的学习过程对信道的状态进行准确判断，从而选择最佳的频谱接入方法以获得最佳的通信性能。

Description

一种基于机器学习的认知无线电网络中频谱接入方法
技术领域
本发明涉及一种基于机器学习的认知无线电网络中频谱接入方法，属于无线电网络技术领域。
背景技术
随着无线电设备及应用的迅速增多，无线电网络对频谱资源的需求量极具增长。然而，在固定的频谱分配政策下，频谱资源的利用效率非常低。其中，分配给广播，卫星放送等的授权频谱没有被充分的利用。与此同时，无线WIFI及蓝牙设备等使用的非授权频谱非常拥挤。因此，为了解决频谱资源需求量增大及其利用效率低的问题，认知无线电技术应运而生。在认知无线电网络中，认知无线电用户可以在不干扰授权用户正常通信的情况下，动态地使用授权频谱。到目前为止，已有部分分配给电视广播的授权频段开放给认知无线电用户使用。认知无线电网络结构可以分为基于基础设施的认知无线电网络以及无基础设施的认知无线电网络。由于基于基础设施的认知无线电网络中基础设施的部署及维修花费较大，而且面临着单点通信失败及扩展性差等问题。因此，本发明主要涉及无基础设施的认知无线电网络。在无基础设施认知无线电网络中，认知无线电用户无法依靠基础设施进行频谱感知及频谱管理。认知无线电用户需要自己进行频谱感知，频谱分析及频谱接入。认知无线电用户通过频谱感知过程来获得授权频段的状态。然后根据感知到的频谱状态进行频谱分析，选择合适的频道接入。因此，频谱感知在认知无线电网络中起着至关重要的作用。
为了选择最佳的通信信道，研究者们已经提出了一些针对认知无线电网络的频谱感知方法来感知信道的状态。这些频谱感知方法主要可以分为三大类：能量检测方法，基于波形的感知方法，基于循环平稳检测方法以及合作感知方法。能量检测感知方法是最常见的感知方法。因为其具有低计算复杂度及实施复杂度。此外，因为使用能量感知方法，接收器不需要任何授权用户的信号的信息。因此，能量检测方法更加通用。在能量检测方法中，信号通过能量检测器的输出和一个阈值的对比来检测。通常的能量检测方法面临的挑战包括：授权用户检测阈值的选择，没有能力区分来自授权用户的干扰以及在低信噪比的情况下性能较差。因此，为了有效的避免对授权用户的干扰，研究者在频谱感知方面扔需要进一步的研究。此外，认知无线电用户可能面临恶意的干扰。恶意干扰可以分为三大类：静态干扰，随机干扰以及适应干扰。静态干扰即干扰者总是干扰相同的信道。随机干扰即干扰者随机地选择信道来发送干扰信号。适应干扰即干扰者可以根据感知到的外界环境来选择干扰信道。装有认知无线电设备的干扰者可以智能地感知授权用户及认知无线电用户的通信并且根据其观察推断将要干扰的信道。因此，为了避免恶意干扰者干扰认知无线电用户的正常通信，在频谱感知过程中也要对恶意干扰进行准确的感知。在认知无线电网络中，认知无线电用户需要选择最佳的频谱接入方法以获取最佳的通信性能。此外，由于硬件限制，认知无线电用户在同一时间可接入的频段的数量通常小于其在同一时间可感知的频段的数量。同时，由于无线通信网络的异构型，不同的认知无线电用户可接入的频道可能也是不同的。因此，如何选择部分频段进行接入也是需要探究的问题。
目前针对认认知无线电网络中频谱接入方法的相关研究文献如下：
1.Vishnu Raj等人在2018年的《IEEE Journal of Selected Topics in SignalProcessing》上发表的文章“Spectrum Access in Cognitive Radio Using a Two-StageReinforcement Learning Approach”中提出了一种结合数据传输信道选择方法。此方法利用强化学习中的多臂赌博机方法来进行信道选择。这一方法减少了认知无线电用户花费在频谱感知上的能量，并且提升了通信的吞吐量。
2.Ismail K.Ahmed等人在2017年的《IEEE Transactions on CognitiveCommunications and Networking》上发表的文章“Stackelberg Equilibria of an Anti-Jamming Game in Cooperative Cognitive Radio Networks”中提出了基于欺骗的防御机制来帮助认知无线电用户抵抗恶意的干扰。此文考虑三种恶意干扰：模拟授权用户干扰，掩蔽干扰以及连续的高斯白噪声干扰。模拟授权用户干扰是指授权用户用户不存在的情况下，恶意干扰模拟授权用户信号。若认知无线电用户将恶意干扰者模拟的授权用户当作真正的授权用户信号，将会产生不必要的频谱切换。掩蔽干扰是指在授权用户存在的情况下，恶意干扰者将掩蔽授权用户信号的存在。因此，掩蔽干扰会导致认知无线电用户的通信对授权用户产生干扰。连续的高斯白噪声干扰是指在认知无线电用户接收频谱感知报告及频谱接入决定时，恶意干扰者在此信道中传输噪声信号。针对模拟授权用户干扰，认知基站首先在感知信道中发送模拟授权用户信号来欺骗恶意干扰者。此外，认知无线电用户将传输多个频谱感知报告及频谱接入决策来抵御恶意干扰者的干扰。此文使用斯塔克尔伯格博弈来解决抵御恶意攻击问题。
3.Pan Zhou等人在2017年的《IEEE Transactions on Information Forensicsand Security》上发表的文章“Near-Optimal and Practical Jamming-ResistantEnergy-Efficient Cognitive Radio Communications”中提出了一种抵御恶意干扰的频谱聚合和接入方法。此方法利用基于多臂赌博机在线学习方法来选择接入信道以及各个接入信道所使用的功率。此方法能够自主的检测认知无线电用户的周围环境并且针对各种恶意干扰者找出对应的近优化解决方法。
4.Ismail K.Ahmed等人在2017年的《IEEE Transactions on WirelessCommunications》上发表的文章“Surveillance Strategies against Primary UserEmulation Attack in Cognitive Radio Networks”中提出了一种信道监督机制来监测自私攻击者的存在。自私攻击者即自私的最大化利用信道资源的攻击者。此外，为了避免恶意攻击者，即旨在毁坏认知用户网络的攻击者，此文提出了一个额外的感知过程。在接入信道前，进行频谱感知以观察是否可以接入此信道。
5.Fereidoun.H.Panahi等人在2014年的《IEICE Transaction onCommunications》上发表的文章“Optimal Channel-Sensing Scheme for CognitiveRadio Systems Based on Fuzzy Q-Learning”中提出了一种基于模糊Q学习方法的频谱感知方式。此方法加强了频谱感知的准确性，能够在不知道授权用户的状态下，仅利用带有噪声的感知结果准确的推断出信道的真实状态。
在总结这些研究的基础上，可以看出当前认知无线电网络体系结构的设计中存在以下主要问题：
1.很多文章在考虑频谱接入方法时只是单独考虑了授权用户或者单独考虑了恶意攻击者。然而，在真实的认知无线电网络中，认知无线电用户应该同时考虑授权用户和恶意攻击者。在授权频谱接入时，要避免其通信对授权用户的干扰并且避免恶意攻击对其自身的干扰。
2.大部分文章都假设认知用户在同一时间只可以接入一个频道或者认为所有认知无线电用户可接入相同的频道。然而由于无线电技术的发展，认知无线电用户通常可以在同一时间接入多个频段。此外，由于无线通信网络中，用户的异构性及硬件限制，不同的认知无线电用户可接入的频道通常是不同的。
3.大部分文章没有考虑如何正确的感知授权频段状态问题。由于频谱感知结果通常是带有噪声的。因此，为了获得正确的频谱感知结果，认知无线电用户通常需要联合多个感知结果。传统的频谱感知方法需要花费一定的时间来处理感知到的数据。
4.大部分文章都由认知无线电网络中的基础设施来决定频谱接入方法.然而基础设施的部署及维护需要巨大的花费。在无基础设施认知无线电网络中，认知无线电用户需要自己决定其频谱接入方法。
发明内容
技术问题：本发明设计出一种基于机器学习方法的频谱接入方法。该方法在充分的考虑了授权用户及恶意干扰者对认知无线电用户的干扰。此外，该方法不依赖于任何基础设施。认知无线电用户可以通过学习学习到不同状态下的最佳频谱接入方法。在此方法中，认知无线电用户在同一时间可以接入多个授权频段。而且由于无线通信网络的异构性，本发明假设不同认知无线电用户可接入的授权频段是不同的。因此，此方法适用于真实的认知无线电网络。此方法可以在认知无线电用户对授权用户及恶意干扰者状态未知的状态下，可通过不断的学习过程对信道的状态进行准确判断，从而选择最佳的频谱接入方法以获得最佳的通信性能。
本发明的技术方案如下：
本发明涉及一种基于机器学习的认知无线电网络中频谱接入方法。此频谱接入方法是基于模糊Q学习方法的。认知无线电用户通过对认知无线电网络中各个信道的不断学习，最终可以推断出信道的真实状态并根据信道的状态选择最佳的频谱接入方法。其中，信道的状态由信道可用概率来决定。只有当信道不被授权用户占领并且不受恶意攻击者攻击时，此信道为可用信道。模糊Q学习方法中的基本要素分别为：状态：信道的可用概率及不可用概率；动作：选择的接入信道集；奖赏：根据是否与授权用户冲突及是否被恶意攻击者决定。在本发明中的认知无线电网络中存在授权用户以及恶意攻击者。只有在信道没有被授权用户使用并且没有恶意攻击者攻击时，信道才为可用信道。
上述一种认知无线电网络频谱接入方法，包括如下步骤：
(1)、初始化模糊Q学习方法中的参数
初始化模糊Q学习方法中的参数，参数为模糊Q学习中各个规则与各个信道相对应的q值，初始化时，将模糊Q学习中各个规制与各个信道相对应的q值设置为0；
(2)、动作决策过程
认知无线电用户根据各个信道可用概率决定其是否接入信道，认知无线电用户使用能量检测方法感知信道状态，然后根据感知到的信号能量及其感知结果的概率密度函数获得各个感知信道的可用概率，将信道可用概率作为模糊推理系统的输入，经过处理获得最终的动作，即认知无线电用户的接入信道集；
(3)、更新q值
根据信道所选动作及其获得的收益计算并更新q值，认知无线电用户根据其所选的动作及获得的收益更新各个规则中的各个信道所对应的q值；规则i中信道k对应的q值按照如下的方法进行计算更新：
Figure BDA0001647640570000061
其中k为学习速率；Ai为对应于第i个规则选择的动作；ΔQ为新状态与旧状态对应的Q函数值的差，其计算方法为：ΔQ＝R+γV-Q'；其中，R为执行最终动作所获得的奖赏，根据所选择动作信道集中真实可用的信道集的数量的和；γ为折扣因子；V为最佳的频谱接入方法对应的整体q值；Q'为认知无线电用户在决策过程中所选择的频谱接入方法对应的整体q值；
其中，Q'的获得方法包括如下步骤：
(a)q值平均值计算
计算各个规则对应的所选接入信道集中信道的q值平均值，其计算方法为：
Figure BDA0001647640570000062
其中，
Figure BDA0001647640570000063
为为规则i对应的所选接入信道集Ai中第k个信道的q值；
(b)计算Q'
通过计算各个规则对应的q值的加权平均值获得Q'，其计算方法为：
Figure BDA0001647640570000064
(4)、重复上述(1)～(3)直到频谱接入决策过程结束。
认认知无线电用户在给定时间能够同时感知NS个信道，在给定时间能够同时接入NA个信道，NA＜NS。
上述步骤(2)中的模糊推理系统使用常用的高斯成员函数，存在三种规则，认知无线电用户每次动作决策的最终推理过程包括如下步骤：
(3a)各个规则下的动作决策
认知无线电用户的在各个规则下的动作决策由各个规则及各个动作对应的q值决定，其决策方法为：以ε概率依次选择各个规则中q值最高的NA个信道作为接入信道集，在每个接入信道选择过程中，以1-ε概率随机选择接入信道集，Ai为规则i对应的接入信道集，
Figure BDA0001647640570000071
其中，
Figure BDA0001647640570000072
为规则i对应的接入信道集中的第k个信道；
(3b)真实度计算
根据各个规则的成员函数及其动作中各个信道的平均可用概率计算各个规则的真实度，其计算方法为：
Figure BDA0001647640570000073
其中，μi(·)为规则i的成员函数；
Figure BDA0001647640570000074
为规则i对应的接入信道集中NA个信道的平均可用概率，其计算方法为：
Figure BDA0001647640570000075
其中
Figure BDA0001647640570000076
为规则i对应的接入信道集Ai中第k个信道的可用概率；
(3c)最终动作决策
认知无线电用户根据其各个规则的真实度及各个规则下的动作进行加权平均，最终获得此频谱接入方法决策中的最终动作，其决策方法为：
Figure BDA0001647640570000077
上述步骤(3)中的V的获得方法包括如下步骤：
(4a)获得最佳接入信道集
在各个规则下选择q值最大的NA个信道构成最佳接入信道集
Figure BDA0001647640570000078
Figure BDA0001647640570000079
其中，
Figure BDA00016476405700000710
为最佳接入信道集
Figure BDA00016476405700000711
中第k个信道；
(4b)可用概率及q值平均值计算
计算最佳接入信道集中信道的可用概率平均值及q值平均值，其可用概率平均值计算方法为：
Figure BDA00016476405700000712
其中
Figure BDA00016476405700000713
为规则i对应的最佳接入信道集
Figure BDA00016476405700000714
中第k个信道的可用概率；其q值平均值计算方法为：
Figure BDA0001647640570000081
其中，
Figure BDA0001647640570000082
为为规则i对应的最佳接入信道集
Figure BDA0001647640570000083
中第k个信道的q值；
(4c)获得各个规则对应的真实值
根据各个规则最佳接入信道集中信道的可用概率及成员函数计算各个规则的真实值，其计算方法为：
Figure BDA0001647640570000084
(4d)计算V
通过计算各个规则对应的q值的加权平均值获得V，其计算方法为：
Figure BDA0001647640570000085
本发明所达到的有益效果：
(1)本发明考虑了认知无线电网络中同时存在授权用户及恶意干扰用户的情况下频谱的接入方法，更加适用于真实的认知无线电网络；
(2)本发明考虑了认知无线电网络中认知用户的硬件限制问题。本发明所设计的认知无线电网络中频谱接入方法适用于真实的异构认知无线电网络；
(3)本发明通过模糊Q学习方法不断的对认知无线电网络的真实环境进行学习，最终可以获得最佳的频谱接入信道集，从而获得最佳的通信性能；
(4)本发明所涉及的认知无线电网络中频谱接入方法是完全分布式的频谱接入方法，不需要任何基础设施的控制，因此，此方法可以大大的减少部署及维护基础设施所带来的大量花费。
附图说明
图1为本发明的模糊Q学习过程框图；
图2为频谱接入方法的算法流程图；
图3为在硬件限制条件下认知用户可接入频谱示意图；
图4为模糊推理系统算法流程图
图5为最佳的频谱接入方法对应的整体q值计算流程图；
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，本发明涉及一种基于机器学习的认知无线电网络中频谱接入方法。此频谱接入方法是基于模糊Q学习方法的。认知无线电用户通过对认知无线电网络中各个信道的不断学习，最终可以推断出信道的真实状态并根据信道的状态选择最佳的频谱接入方法。其中，信道的状态由信道可用概率来决定。只有当信道不被授权用户占领并且不受恶意攻击者攻击时，此信道为可用信道。模糊Q学习方法中的基本要素分别为：状态：信道的可用概率及不可用概率；动作：选择的接入信道集；奖赏：根据是否与授权用户冲突及是否被恶意攻击者决定。
如图2所示，本发明涉及一种基于机器学习的认知无线电网络中频谱接入方法，包括如下步骤：
(1)、初始化模糊Q学习方法中的参数
初始化模糊Q学习方法中的参数，参数为模糊Q学习中各个规则与各个信道相对应的q值，初始化时，将模糊Q学习中各个规制与各个信道相对应的q值设置为0；
(2)、动作决策过程
认知无线电用户根据各个信道可用概率决定其是否接入信道，认知无线电用户使用能量检测方法感知信道状态，然后根据感知到的信号能量及其感知结果的概率密度函数获得各个感知信道的可用概率，将信道可用概率作为模糊推理系统的输入，经过处理获得最终的动作，即认知无线电用户的接入信道集；
(3)、更新q值
根据信道所选动作及其获得的收益计算并更新q值，认知无线电用户根据其所选的动作及获得的收益更新各个规则中的各个信道所对应的q值；规则i中信道k对应的q值按照如下的方法进行计算更新：
Figure BDA0001647640570000101
其中k为学习速率；Ai为对应于第i个规则选择的动作；ΔQ为新状态与旧状态对应的Q函数值的差，其计算方法为：ΔQ＝R+γV-Q'；其中，R为执行最终动作所获得的奖赏，根据所选择动作信道集中真实可用的信道集的数量的和；γ为折扣因子；V为最佳的频谱接入方法对应的整体q值；Q'为认知无线电用户在决策过程中所选择的频谱接入方法对应的整体q值；
其中，Q'的获得方法包括如下步骤：
(a)q值平均值计算
计算各个规则对应的所选接入信道集中信道的q值平均值，其计算方法为：
Figure BDA0001647640570000102
其中，
Figure BDA0001647640570000103
为为规则i对应的所选接入信道集Ai中第k个信道的q值；
(b)计算Q'
通过计算各个规则对应的q值的加权平均值获得Q'，其计算方法为：
Figure BDA0001647640570000104
(4)、重复上述(1)～(3)直到频谱接入决策过程结束。
如图3所示，认知无线电用户需要从其感知的信道中选择部分信道接入用以传输数据。为了使所设计的频谱接入方法适用于真实的认知无线电网络，本发明中的认知无线电用户在给定时间可以同时感知NS个信道，在给定时间可以同时接入NA个信道，NA＜NS。
如图4所示，上述步骤(2)中的模糊推理系统使用常用的高斯成员函数，存在三种规则，认知无线电用户每次动作决策的最终推理过程包括如下步骤：
(3a)各个规则下的动作决策
认知无线电用户的在各个规则下的动作决策由各个规则及各个动作对应的q值决定，其决策方法为：以ε概率依次选择各个规则中q值最高的NA个信道作为接入信道集，在每个接入信道选择过程中，以1-ε概率随机选择接入信道集，Ai为规则i对应的接入信道集，
Figure BDA0001647640570000111
其中，
Figure BDA0001647640570000112
为规则i对应的接入信道集中的第k个信道；
(3b)真实度计算
根据各个规则的成员函数及其动作中各个信道的平均可用概率计算各个规则的真实度，其计算方法为：
Figure BDA0001647640570000113
其中，μi(·)为规则i的成员函数；
Figure BDA0001647640570000114
为规则i对应的接入信道集中NA个信道的平均可用概率，其计算方法为：
Figure BDA0001647640570000115
其中
Figure BDA0001647640570000116
为规则i对应的接入信道集Ai中第k个信道的可用概率；
(3c)最终动作决策
认知无线电用户根据其各个规则的真实度及各个规则下的动作进行加权平均，最终获得此频谱接入方法决策中的最终动作，其决策方法为：
Figure BDA0001647640570000117
如图5所示，上述步骤(3)中的V的获得方法包括如下步骤：
(4a)获得最佳接入信道集
在各个规则下选择q值最大的NA个信道构成最佳接入信道集
Figure BDA0001647640570000118
Figure BDA0001647640570000119
其中，
Figure BDA00016476405700001110
为最佳接入信道集
Figure BDA00016476405700001111
中第k个信道；
(4b)可用概率及q值平均值计算
计算最佳接入信道集中信道的可用概率平均值及q值平均值，其可用概率平均值计算方法为：
Figure BDA00016476405700001112
其中
Figure BDA00016476405700001113
为规则i对应的最佳接入信道集
Figure BDA00016476405700001114
中第k个信道的可用概率；其q值平均值计算方法为：
Figure BDA00016476405700001115
其中，
Figure BDA00016476405700001116
为为规则i对应的最佳接入信道集
Figure BDA00016476405700001117
中第k个信道的q值；
(4c)获得各个规则对应的真实值
根据各个规则最佳接入信道集中信道的可用概率及成员函数计算各个规则的真实值，其计算方法为：
Figure BDA0001647640570000121
(4d)计算V
通过计算各个规则对应的q值的加权平均值获得V，其计算方法为：
Figure BDA0001647640570000122
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (3)

1.一种基于机器学习的认知无线电网络中频谱接入方法，其特征在于包括如下步骤：
(1)、初始化模糊Q学习方法中的参数
初始化模糊Q学习方法中的参数，参数为模糊Q学习中各个规则与各个信道相对应的q值，初始化时，将模糊Q学习中各个规则与各个信道相对应的q值设置为0；
(2)、动作决策过程
认知无线电用户根据各个信道可用概率决定其是否接入信道，认知无线电用户使用能量检测方法感知信道状态，然后根据感知到的信号能量及其感知结果的概率密度函数获得各个感知信道的可用概率，将信道可用概率作为模糊推理系统的输入，经过处理获得最终的动作，即认知无线电用户的接入信道集；
(3)、更新q值
根据信道所选动作及其获得的收益计算并更新q值，认知无线电用户根据其所选的动作及获得的收益更新各个规则中的各个信道所对应的q值；规则i中信道k对应的q值按照如下的方法进行计算更新：
Figure FDA0002620764280000011
其中r为学习速率；Ai为对应于第i个规则选择的动作，即所接入的信道集；
Figure FDA0002620764280000012
为第t个决策时刻第i个规则对应的第k个信道的q值；αi为第i个规则的真实度；ΔQ为新状态与旧状态对应的Q函数值的差，其计算方法为：ΔQ＝R+γV-Q′；其中，R为执行最终动作所获得的奖赏，根据所选择动作信道集中真实可用的信道集的数量的和进行定义；γ为折扣因子；V为最佳的频谱接入方法对应的整体q值；Q′为认知无线电用户在决策过程中所选择的频谱接入方法对应的整体q值；
其中，Q′的获得方法包括如下步骤：
(a)q值平均值计算
计算各个规则对应的所选接入信道集中信道的q值平均值，其计算方法为：
Figure FDA0002620764280000013
其中，
Figure FDA0002620764280000014
为规则i对应的所选接入信道集Ai中第k个信道的q值；NA为所选接入的信道集Ai中信道的个数；
(b)计算Q′
通过计算各个规则对应的q值的加权平均值获得Q′，其计算方法为：
Figure FDA0002620764280000021
Figure FDA0002620764280000022
(4)、重复上述(1)～(3)直到频谱接入决策过程结束；
所述步骤(2)中的模糊推理系统使用常用的高斯成员函数，存在三种规则，认知无线电用户每次动作决策的最终推理过程包括如下步骤：
(3a)各个规则下的动作决策
认知无线电用户的在各个规则下的动作决策由各个规则及各个动作对应的q值决定，其决策方法为：以ε概率依次选择各个规则中q值最高的NA个信道作为接入信道集，在每个接入信道选择过程中，以1-ε概率随机选择接入信道集，Ai为规则i对应的接入信道集，
Figure FDA0002620764280000023
其中，
Figure FDA0002620764280000024
为规则i对应的接入信道集中的第k个信道；
(3b)真实度计算
根据各个规则的成员函数及其动作中各个信道的平均可用概率计算各个规则的真实度，其计算方法为：
Figure FDA0002620764280000025
其中，μi(·)为规则i的成员函数；
Figure FDA0002620764280000026
为规则i对应的接入信道集中NA个信道的平均可用概率，其计算方法为：
Figure FDA0002620764280000027
其中
Figure FDA0002620764280000028
为规则i对应的接入信道集Ai中第k个信道的可用概率；
(3c)最终动作决策
认知无线电用户根据其各个规则的真实度及各个规则下的动作进行加权平均，最终获得此频谱接入方法决策中的最终动作，其决策方法为：
Figure FDA0002620764280000029
2.根据权利要求1所述的一种基于机器学习的认知无线电网络中频谱接入方法，其特征在于：认知无线电用户在任意给定时间能够同时感知NS个信道，在给定时间能够同时接入NA个信道，NA<NS。
3.根据权利要求1所述的一种基于机器学习的认知无线电网络中频谱接入方法，其特征在于：所述步骤(3)中的V的获得方法包括如下步骤：
(4a)获得最佳接入信道集
在各个规则下选择q值最大的NA个信道构成最佳接入信道集
Figure FDA0002620764280000031
Figure FDA0002620764280000032
其中，
Figure FDA0002620764280000033
为最佳的接入信道集
Figure FDA0002620764280000034
中第k个信道；
(4b)可用概率及q值平均值计算
计算最佳接入信道集中信道的可用概率平均值及q值平均值，其可用概率平均值计算方法为：
Figure FDA0002620764280000035
其中
Figure FDA0002620764280000036
为规则i对应的最佳接入信道集
Figure FDA0002620764280000037
中第k个信道的可用概率；其q值平均值计算方法为：
Figure FDA0002620764280000038
其中，
Figure FDA0002620764280000039
为规则i对应的最佳的接入信道集
Figure FDA00026207642800000310
中第k个信道的q值；
(4c)获得各个规则对应的真实值
根据各个规则最佳接入信道集中信道的可用概率及成员函数计算各个规则的真实值，其计算方法为：
Figure FDA00026207642800000311
(4d)计算V
通过计算各个规则对应的q值的加权平均值获得V，其计算方法为：
Figure FDA00026207642800000312
Figure FDA00026207642800000313
CN201810409592.0A 2018-05-02 2018-05-02 一种基于机器学习的认知无线电网络中频谱接入方法 Active CN108449151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810409592.0A CN108449151B (zh) 2018-05-02 2018-05-02 一种基于机器学习的认知无线电网络中频谱接入方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810409592.0A CN108449151B (zh) 2018-05-02 2018-05-02 一种基于机器学习的认知无线电网络中频谱接入方法

Publications (2)

Publication Number Publication Date
CN108449151A CN108449151A (zh) 2018-08-24
CN108449151B true CN108449151B (zh) 2020-11-17

Family

ID=63202105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810409592.0A Active CN108449151B (zh) 2018-05-02 2018-05-02 一种基于机器学习的认知无线电网络中频谱接入方法

Country Status (1)

Country Link
CN (1) CN108449151B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109361448A (zh) * 2018-09-30 2019-02-19 上海无线通信研究中心 一种面向空中通信平台的空地无线通信方法及其系统
CN111182549B (zh) * 2020-01-03 2022-12-30 广州大学 一种基于深度强化学习的抗干扰无线通信方法
CN111211831A (zh) * 2020-01-13 2020-05-29 东方红卫星移动通信有限公司 一种多波束低轨卫星智能动态信道资源分配方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101466111A (zh) * 2009-01-13 2009-06-24 中国人民解放军理工大学通信工程学院 基于政策规划约束q学习的动态频谱接入方法
CN101835239A (zh) * 2010-03-09 2010-09-15 西安电子科技大学 认知网络多路径时延感知最佳路由选择方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8860602B2 (en) * 2012-10-09 2014-10-14 Accipiter Radar Technologies Inc. Device and method for cognitive radar information network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101466111A (zh) * 2009-01-13 2009-06-24 中国人民解放军理工大学通信工程学院 基于政策规划约束q学习的动态频谱接入方法
CN101835239A (zh) * 2010-03-09 2010-09-15 西安电子科技大学 认知网络多路径时延感知最佳路由选择方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Optimal Channel-Sensing Scheme for Cognitive Radio Systems Based on Fuzzy Q-Learning;Fereidoun H. PANAHI等;《IEICE TRANS. COMMUN.》;20140131;第E97–B卷(第2期);284页-288页 *
基于Q-Learning 的认知无线电系统感知管理算法;李默等;《电子与信息学报》;20100331;第32卷(第3期);全文 *

Also Published As

Publication number Publication date
CN108449151A (zh) 2018-08-24

Similar Documents

Publication Publication Date Title
Jia et al. Stackelberg game approaches for anti-jamming defence in wireless networks
Yu et al. Biologically inspired consensus-based spectrum sensing in mobile ad hoc networks with cognitive radios
Jo et al. Selfish attacks and detection in cognitive radio ad-hoc networks
Li et al. Dogfight in spectrum: Combating primary user emulation attacks in cognitive radio systems, part i: Known channel statistics
Yu et al. Defense against spectrum sensing data falsification attacks in mobile ad hoc networks with cognitive radios
Bhattacharjee et al. Vulnerabilities in cognitive radio networks: A survey
US8929936B2 (en) Cognitive radio methodology, physical layer policies and machine learning
Davaslioglu et al. DeepWiFi: Cognitive WiFi with deep learning
Ahmadfard et al. Probabilistic spectrum sensing data falsification attack in cognitive radio networks
CN108449151B (zh) 一种基于机器学习的认知无线电网络中频谱接入方法
CN108809452B (zh) 动态频谱接入系统中最佳感知信道选择方法
CN110649982B (zh) 基于次用户节点选择的双阈值能量检测方法
CN111193564B (zh) 抗御智能ssdf攻击的宽带加权协作频谱感知算法
CN112188504A (zh) 多用户协同抗干扰系统及动态频谱协同抗干扰方法
Joykutty et al. Cognitive Radio Networks: Recent advances in spectrum sensing techniques and security
Mahmoudi et al. Defense against primary user emulation attackers based on adaptive Bayesian learning automata in cognitive radio networks
Arokiamary et al. Analysis of dynamic interference constraints in cognitive radio cloud networks
Arun et al. An adaptive learning-based attack detection technique for mitigating primary user emulation in cognitive radio networks
Zeng et al. A trust-based cooperative spectrum sensing scheme against SSDF attack in CRNs
Thien et al. A transfer games actor–critic learning framework for anti-jamming in multi-channel cognitive radio networks
Ling et al. Trust and reputation management in cognitive radio networks: a survey
Xu et al. Play it by ear: Context-aware distributed coordinated anti-jamming channel access
Fangwei et al. Reputation-based secure spectrum situation fusion in distributed cognitive radio networks
Farrukh et al. Learning a switching Bayesian model for jammer detection in the cognitive-radio-based Internet of Things
Gao et al. Sensor selection based on dempster-shafer evidence theory under collaborative spectrum sensing in cognitive radio sensor networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant