CN113938897B - 一种主用户友好的抗干扰动态频谱接入方法 - Google Patents
一种主用户友好的抗干扰动态频谱接入方法 Download PDFInfo
- Publication number
- CN113938897B CN113938897B CN202111157778.XA CN202111157778A CN113938897B CN 113938897 B CN113938897 B CN 113938897B CN 202111157778 A CN202111157778 A CN 202111157778A CN 113938897 B CN113938897 B CN 113938897B
- Authority
- CN
- China
- Prior art keywords
- network
- user
- interference
- waterfall
- secondary user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000006854 communication Effects 0.000 claims abstract description 39
- 238000004891 communication Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 24
- 230000001149 cognitive effect Effects 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 13
- 230000002787 reinforcement Effects 0.000 claims abstract description 8
- 230000008901 benefit Effects 0.000 claims abstract description 5
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 5
- 238000010586 diagram Methods 0.000 claims description 58
- 230000006870 function Effects 0.000 claims description 45
- 239000003795 chemical substances by application Substances 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 12
- 230000003595 spectral effect Effects 0.000 claims description 9
- 230000007613 environmental effect Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 230000003042 antagnostic effect Effects 0.000 claims description 5
- 238000004088 simulation Methods 0.000 claims description 5
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
- H04W16/22—Traffic simulation tools or models
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/309—Measuring or estimating channel quality parameters
- H04B17/336—Signal-to-interference ratio [SIR] or carrier-to-interference ratio [CIR]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/309—Measuring or estimating channel quality parameters
- H04B17/345—Interference values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/382—Monitoring; Testing of propagation channels for resource allocation, admission control or handover
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W74/00—Wireless channel access
- H04W74/08—Non-scheduled access, e.g. ALOHA
- H04W74/0833—Random access procedures, e.g. with 4-step access
- H04W74/0841—Random access procedures, e.g. with 4-step access with collision treatment
- H04W74/085—Random access procedures, e.g. with 4-step access with collision treatment collision avoidance
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Quality & Reliability (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种认知无线网络中主用户友好的抗干扰动态频谱接入方法。考虑一个认知无线网络，该网络内部有一个主用户、一个次级用户通信对和一个干扰机。在动态未知的干扰环境中，次用户利用基于深度强化学习的信道选择网络挖掘干扰规律，学习最优信道选择策略；为避免学习过程中对主用户产生干扰，引入了离线训练、在线接入的框架，设计了基于生成对抗网络的虚拟环境离线训练信道选择网络，待信道选择网络训练完毕次用户再真实接入频谱，保证次用户能够完美避开主用户信号和干扰，获得最大的通信吞吐量。本发明模型完备，物理意义清晰，算法设计合理有效，能够很好地刻画认知无线网络中次用户抗干扰动态频谱接入场景。
Description
技术领域
本发明属于无线通信技术领域，特别是一种认知无线网络中主用户友好的抗干扰动态频谱接入模型及方法。
背景技术
认知无线电被认为是解决频谱资源短缺、提高频谱利用率的有力工具。然而，由于无线通信信道开放、易受恶意攻击，导致认知无线网络的频谱利用率严重下降。因此，认知无线网络的抗干扰通信能力越来越受到广泛关注。
现有研究中，有相关研究(参考文献，D.-T.Ta,N.Nguyen-Thanh,P.Maill′e,andV.-T.Nguyen,“Strategic surveillance against primary user emulation attacksin cognitive radio networks,”IEEE Transactions on Cognitive Communicationsand Networking,vol.4,no.3,pp.582–596,2018.)考虑了主用户模仿攻击，提出了基于Stackelberg博弈的监督机制。有相关研究(参考文献，I.K.Ahmed andA.O.Fapojuwo,"Stackelberg Equilibria of an Anti-Jamming Game in Cooperative Cognitive RadioNetworks,"IEEE Transactions on Cognitive Communications and Networking,vol.4,no.1,pp.121-134,March 2018.)提出了基于Stackelberg博弈的干扰攻击防御策略。然而现有研究大多集中于主用户模拟攻击，对无差别干扰攻击考虑较少。
近来，深度强化学习逐渐被应用于抗干扰领域并取得极佳效果(参考文献，L.Xiao,X.Lu,T.Xu,X.Wan,W.Ji,andY.Zhang,“Reinforcement learning-based mobileoffloading for edge computing against jamming and interference,”IEEETransactions on Communications,vol.68,no.10,pp.6114–6126,2020.)。然而，深度强化学习试错学习的机制导致次用户不可避免会对主用户产生干扰，这在认知无线网络中是不可忍受的。
发明内容
本发明的目的在于提供一种认知无线网络中主用户友好的抗干扰动态频谱接入模型及方法，保证次用户在不与主用户产生互扰的同时躲避恶意干扰攻击，获得最大的通信吞吐量。
一种认知无线网络中主用户友好的抗干扰动态频谱接入方法，包括以下步骤：
初始化：生成网络和判别网络的参数θG和θD，行动者、评论家和目标网络的参数φA、φC和φT，温度系数α。
步骤1，收集瀑布图，并按时间先后顺序存储；
步骤2，随机选择一批瀑布图，训练判别网络区分真实瀑布图Xn+1与生成瀑布图G(Xn-Ω:n)，更新d次判别网络参数θD；
步骤3，随机选择一批瀑布图，训练生成网络根据历史时刻的瀑布图Xn-Ω:n生成下一时刻的瀑布图G(Xn-Ω:n)，更新1次生成网络参数θG；
循环执行步骤2～3，直至生成网络达到收敛状态，判别网络无法区分真实瀑布图Xn+1与生成的瀑布图G(Xn-Ω:n)，将训练好的生成网络作为虚拟频谱环境生成虚拟频谱状态；
步骤4，行动者根据当前虚拟状态St选择虚拟通信信道
步骤5，虚拟环境根据St生成下一时刻瀑布图G(St)，通过拼接St和G(St)获得下一虚拟状态St+1；
步骤6，通过检测与St+1中的主用户和干扰占用的信道是否冲突确定虚拟回报/>
步骤7，将经验存储至经验池，待经验池内经验数量超过最低数量要求，定期训练。随机选择一批经验，训练行动者学习最优的信道选择策略，更新行动者参数φA；训练评论家输出准确的状态价值函数，更新评论家参数φC；更新目标网络参数φT和温度系数α；
循环执行步骤4～7，直至行动者学习到最优的信道选择策略，训练好的行动者作为信道选择网络指导次用户真实地接入无线频谱，可以保证次用户在不与主用户产生互扰的同时躲避恶意干扰攻击。
实现本发明目的的技术解决方案为：在动态未知的干扰环境中，次用户利用基于深度强化学习的信道选择网络挖掘干扰规律，学习最优信道选择策略；为避免学习过程中对主用户产生干扰，引入了离线训练、在线接入的框架，设计了基于生成对抗网络的虚拟环境离线训练信道选择网络，待信道选择网络训练完毕次用户再真实接入频谱。首先，收集一定量的频谱瀑布图并按照时间先后顺序存储；其次，利用收集的瀑布图训练生成对抗网络基于历史瀑布图序列生成下一时刻的瀑布图，训练完毕的生成网络即为虚拟环境；然后，利用虚拟环境离线训练信道决策网络学习最优的信道选择策略；最后，在训练好的信道决策网络的指导下，次用户真实地接入频谱进行通信，能够完美避开主用户信号和干扰，获得最大的通信吞吐量。
本发明与现有技术相比，其显著优点在于：(1)设计了一种主用户友好的抗干扰频谱接入方案，能够在不影响主用户的前提下，完美躲避外界恶意干扰，进行机会频谱接入；(2)设计了基于生成对抗网络的虚拟频谱环境，通过离线训练、在线部署的方式能够加速信道选择网络的收敛过程。
附图说明
图1是本发明中主用户友好的抗干扰动态频谱接入模型的系统模型图。
图2是本发明中主用户友好的抗干扰动态频谱接入方法的架构图。
图3是本发明中所设计的生成对抗网络的网络结构图。
图4是本发明实例中对抗扫频干扰的频谱瀑布图。
图5是本发明实例中在扫频干扰下不同接入方案的归一化平均吞吐量对比图。
图6是本发明实例中在扫频干扰下不同接入方案对主用户的累积干扰次数对比图。
具体实施方式
图1所示为次用户抗干扰动态频谱接入系统模型图。在图1中，有一个主用户、一个次级用户通信对和一个干扰机。用户信道集中存在k个可用信道，并且用户的通信过程被划分为时隙。干扰机释放模式化的干扰信号阻塞用户通信。主用户基于频谱感知结果选择离当前干扰信道最远的信道进行通信。次用户接收端带有智能模块，运行智能算法选择次用户的通信信道，并将该信道信息通过控制信道反馈给次用户发射端。发射端随即在选定的信道上与接收端进行通信。
图2是本发明设计的主用户友好的抗干扰动态频谱接入方法的架构图。共包括四个阶段：收集数据、训练虚拟环境、训练信道决策网络和在线接入，其中前三个阶段均为离线阶段。首先，收集一定量的频谱瀑布图并按照时间先后顺序存储；其次，利用收集的瀑布图训练生成对抗网络基于历史瀑布图序列生成下一时刻的瀑布图，训练完毕的生成网络即为虚拟环境；然后，利用虚拟环境离线训练信道决策网络学习最优的信道选择策略，完美避开主用户信号和干扰；最后，在训练好的信道决策网络的指导下，次用户真实地接入频谱进行通信。
图3是本发明设计的生成对抗网络的网络结构图。本发明将残差网络引入生成对抗网络中，设计了一种具有预测序列数据能力的生成对抗网络。如图3(a)所示，生成网络的结构包括三部分：第一部分由一个Conv模块和一个Id模块组成，卷积核数量为16，卷积核尺寸为7×7；第二部分也包括一个Conv模块和一个Id模块，卷积核数量为32，卷积核尺寸为5×5；第三部分是一层卷积层，卷积核数量为1，卷积核尺寸为3×3。Conv模块和Id模块的结构如图3(b)所示，Conv模块由两层卷积层组成，Id模块由三层卷积层组成。判别网络包括两部分：第一部分包含三个Conv模块，卷积核数量分别为16、32、64，卷积核尺寸均为3×3；第二部分是一层卷积层，卷积核数量为1，卷积核尺寸为3×3。
建立一个认知无线网络，该认知无线网络，该网络内部有一个主用户、一个次级用户通信对和一个干扰机，用户信道集中存在k个可用信道，并且用户的通信过程被划分为时隙。干扰机释放模式化的干扰信号阻塞用户通信。主用户基于频谱感知结果选择离当前干扰信道最远的信道进行通信。次用户接收端带有智能体，运行智能算法选择次用户的通信信道，并将该信道信息通过控制信道反馈给次用户发射端。发射端随即在选定的信道上与接收端进行通信。
引入功率谱密度函数来刻画频谱状态；
在t时刻，次用户接收端接收到的无线信号的功率谱密度函数定义为，
dt(f)＝guU(f-fu,t)+gsS(f-fs,t)+gjJ(f-fj,t)+Nt(f)
上式中U(f)、S(f)、J(f)和Nt(f)分别表示主用户基带信号、次用户基带信号、干扰基带信号和噪声信号的功率谱密度，gu、gs和gj分别表示主用户、次用户和干扰的信道增益，fu,t、fs,t和fj,t分别表示主用户射频信号、次用户射频信号和干扰射频信号的中心频率。
在t时刻，次用户接收端感知到的频谱向量定义为：
vt＝[pt,1,pt,2,…pt,L]
上式中L＝B/Δf表示频谱感知的采样数，B为带宽，Δf为频率分辨率。pt,i表示在t时刻第i个采样值，i∈{1,…,L}。pt,1,pt,2,…pt,L表示该向量中每个频率的采样值，具体定义为：
上式中fL表示频谱感知的起始频率，i∈{1,…,L}。
在t时刻，次用户接收端接收到的信干噪比定义为：
令ηt表示接收端正确解调信号所需的信干噪比门限，次用户获得的归一化吞吐量为ct＝δ(ηt＞ηth)，其中δ(·)为指示函数，定义为：当x为真时δ(x)＝1，否则δ(x)＝0。
将次用户抗干扰动态频谱接入问题建模成马尔科夫决策过程，并用一个四元组<环境状态，用户动作，奖励函数，状态转移函数>来描述马尔科夫决策过程，具体定义如下：
环境状态：时刻t的环境状态St定义为当前及过去一段时间内次用户接收端感知到的频谱向量组成的序列，即频谱瀑布图，具体数学表达式为：
St＝[vt,vt-1,…,vt-Θ+1]
其中，Θ表示时间回溯的长度，vt,vt-1,…,vt-Θ+1为权力要求2中所述的次用户接收端感知到的频谱向量；
用户动作：时刻t的用户动作at定义为次用户选择的通信信道
奖励函数：在环境状态为St时，执行动作at获得的奖励r(St,at)包含了归一化通信吞吐量带来的收益以及信道切换对应的代价，具体数学表达式为：
r(St,at)＝m(ct)-γδ(at≠at-1)
其中，δ(at≠at-1)表示信道切换带来的开销，γ为开销对应的折扣因子；m(ct)为归一化吞吐量带来的收益，ct为权力要求2中所述的归一化吞吐量，m(·)为收益映射函数，定义为：
状态转移函数：本发明假设状态转移函数对用户来说是未知的，故在此不做具体定义。
基于以上分析，次用户的优化目标为在不影响主用户通信的前提下最大化通信吞吐量，具体数学表达式为：
其中，E表示求数学期望的运算，St+l,at+l分别表示t+l时刻的环境状态和用户动作，l为时刻的序号，π为次用户的信道选择策略，λ为奖励函数对应的折扣因子。
为避免次用户学习最优信道选择策略的过程中对主用户产生干扰，提出了一种离线训练、在线接入的方案。具体地，设计了基于生成对抗网络的虚拟环境，利用虚拟环境离线训练基于深度强化学习的信道选择网络，待信道选择网络训练完毕后次用户再真实接入频谱，从而在不影响主用户通信的前提下获得最大的通信吞吐量。包括以下步骤：
初始化：智能体构建生成网络G和判别网络D，并随机初始化该两个网络生成网络的参数θG和判别网络的参数θD；构建行动者网络、评论家网络和目标网络，并随机初始化该三个网络的参数φA、φC和φT；构建数据库用于存储数据；温度系数α＝1，d＝5；
步骤1：智能体通过频谱感知获得批量的频谱瀑布图Xn，并将其按照时间先后顺序进行存储；
步骤2：智能体在存储的频谱瀑布图中随机选择一批瀑布图，将历史时刻的瀑布图序列Xn-Ωn作为先验条件输入生成网络，输出生成网络对下一时刻瀑布图Xn+1的模拟结果G(Xn-Ωn)；为使得G(Xn-Ωn)尽可能逼近Xn+1，将G(Xn-Ωn)输入判别网络，得到G(Xn-Ωn)逼真程度的得分D[G(Xn-Ω:n)]；生成网络优化1次其网络参数θG从而提高其逼近真实瀑布图的能力，以期获得更高的得分；
步骤3：智能体随机选择一批瀑布图Xn+1以及一批生成网络的输出结果G(Xn-Ωn)，将这两类数据分别输入判别网络。判别网络给出这两类数据逼真程度的得分，并根据判断结果的偏差优化d次其参数θD，以提高其区分真实瀑布图和生成瀑布图的能力；
循环执行步骤2～3，生成网络与判别网络的竞争优化，直至生成网络达到收敛状态，生成网络最终能够根据历史的瀑布图序列，精准生成下一时刻的瀑布图，判别网络无法区分真实瀑布图Xn+1与生成的瀑布图G(Xn-Ωn)；训练完毕的生成网络作为虚拟频谱环境离线训练信道决策网络；
步骤4：虚拟频谱环境输出当前虚拟状态行动者网络输出对应的信道选择策略并按照策略的分布进行抽样选择虚拟动作/>按照策略进行抽样选择动作；
步骤5：将输入虚拟环境，生成下一时刻瀑布图/>将/>和/>融合获得下一虚拟状态/>
步骤6：智能体通过能量检测的方式确定中主用户和干扰占用的信道，通过比较该信道与/>是否冲突来确定虚拟回报/>
步骤7：智能体将经验数据存储至经验池，待经验池内经验数量超过最低数量要求后，即开始按照目标函数定期更新行动者网络的参数φA、评论家网络的参数φC、目标网络参数φT和温度系数α；
循环执行步骤4～7，直至行动者达到收敛状态，即可学习到最优的信道选择策略。训练好的行动者作为信道选择网络指导次用户真实地接入无线频谱，可以保证次用户在不与主用户产生互扰的同时躲避恶意干扰攻击。
步骤1中所述的感知频谱瀑布图，具体如下：
智能体通过频谱感知获得频谱瀑布图，感知到的第n个瀑布图定义为其中，/>为权力要求2中所述的次用户接收端感知到的频谱向量，Ts为次用户的时隙长度。将数据归一化至[-1,1]，并将其按时间先后顺序进行存储。
步骤2所述的生成网络根据历史的瀑布图序列，生成下一时刻的瀑布图，具体过程包括：
生成网络根据历史时刻的瀑布图Xn-Ω:n＝[Xn,Xn-1,…,Xn-Ω+1]生成下一时刻的瀑布图G(Xn-Ω:n)；其目标函数包括对抗性损失函数和重构损失函数/> μG和μr为权重因子；对抗性损失函数/>定义为：
其中，G和D分别表示生成网络和判别网络，p(Xn-Ω:n)表示Xn-Ω:n的概率分布；为提高生成瀑布图的精度，引入重构损失函数：
其中，‖·‖2表示二范数。
在目标函数的指导下，生成网络随机选择一批数据，按照如下方式计算梯度，并优化网络参数：
其中，▽表示梯度，m为批的大小。
7、根据权利要求4所述的主用户友好的抗干扰动态频谱接入方法，步骤3所述的判别网络对输入数据的逼真程度进行打分，具体过程包括：
判别网络分别输入真实瀑布图Xn+1与生成瀑布图G(Xn-Ω:n)，输出逼真程度的得分D(Xn+1)与D[G(Xn-Ω:n)]；其目标函数包括对抗性损失函数和梯度惩罚函数μD和μgp为权重因子；对抗性损失函数/>定义为：
梯度惩罚函数定义为：
其中，X′n+1＝(1-ε)Xn+1+εG(Xn-Ω:n)，εU(0,1)。
在目标函数的指导下，判别网络随机选择一批数据，按照如下方式计算梯度，并优化网络参数：
其中，▽表示梯度，m为批的大小。
步骤5所述的获得下一虚拟状态，细节如下：
将输入虚拟环境，生成下一时刻瀑布图/>将/>中的部分历史数据替换为/>获得下一虚拟状态/>
步骤7所述的网络参数更新，细节如下：
行动者：给定当前虚拟频谱状态行动者输出信道选择策略/>并按照策略的分布进行抽样选择虚拟动作/>其目标函数为：
其中，T表示转置操作。在目标函数的指导下，行动者按照更新其网络参数，▽表示梯度，η为更新的步长，←为赋值操作。
评论家：给定当前频谱状态St，输出每个可能的动作对应的Q值Q(St)。其目标函数为：
其中，表示状态的软Q值，定义为/>在目标函数的指导下，评论家按照/>更新其网络参数。
目标网络：给定当前频谱状态St，输出每个可能的动作对应的目标Q值其网络参数φT更新方式为：φT＝τφC+(1-τ)φT，τ∈[0,1]为权重因子。
温度系数：温度系数α表示信道选择策略的熵相较于回报r(St,at)的重要程度。其目标函数为：
其中，是一个常向量，表示信道选择策略的目标熵。在目标函数的指导下，温度系数按照/>进行更新。
实施例1
本发明的一个具体实施例如下描述：系统仿真采用Python语言，基于Tensorflow深度学习框架，参数设定不影响一般性。通信频带的带宽为20MHz，被划分为5个非重叠信道。主用户的感知时隙和传输时隙分别设置为1ms和10ms，次用户的传输时隙设置为5ms。智能体每1ms能够进行一次全频段感知，频率分辨率为100kHz。智能体存储当前以及过去40ms的感知结果作为频谱状态。主、次用户的功率分别设置为15dBm和0dBm。本发明考虑扫频干扰，扫频速率为1GHz/s，干扰功率设置为30dBm。次用户接收端正确解调的信干噪比门限为10dB。
图4是本发明实施例1中对抗扫频干扰的频谱瀑布图，持续时间为40ms，扫频干扰呈现出高功率、中心频率变化呈折现状的特点，主用户的功率次之，次用户的功率最低。干扰、主用户和次用户信号之间没有重叠，说明在本发明设计的频谱接入方法的指导下，次用户能够完全躲避主用户信号和干扰。
图5是在扫频干扰场景中本发明设计的频谱接入方法达到的归一化平均吞吐量随实验时间变化情况。归一化平均吞吐量代表每100次传输中成功的传输次数。对比方法为在真实频谱环境中从零开始训练信道决策网络。前95.54s为所提方法收集数据、训练虚拟环境和训练信道决策网络的过程，均为离线阶段，图中展示的这个时间段内的吞吐量为虚拟吞吐量。后138.25s为所提方法真实接入频谱阶段，产生的吞吐量为真实的吞吐量，可见离线训练完毕后次用户能够学习到最优的信道选择策略，获得最大的吞吐量，且收敛时间仅为对比算法的一半左右，收敛速度较快。
图6是在扫频干扰场景中本发明设计的频谱接入方法干扰主用户的累积次数随实验时间变化情况。对主用户的累积干扰次数为100次传输中的干扰比例。前95.54s为所提方法的离线阶段，此时并未接入频谱，因此不会干扰主用户。后138.25s为所提方法真实接入频谱阶段，此时依然未对主用户产生干扰，可见所提方法能够保证次用户完美避开主用户信号。
综上，本发明提出的主用户友好的抗干扰动态频谱接入模型及方法，充分考虑认知无线网络交互关系复杂、主用户不能容忍干扰等问题，设计了基于深度强化学习的信道决策网络，并引入了基于生成对抗网络的虚拟环境，通过离线训练、在线接入的方式，学习最优的接入策略，保证次用户在不干扰主用户的同时躲避恶意干扰，达到了最优的通信效果，提高了频谱利用率。通过在线训练信道决策网络的方法相比较，仿真结果表明所提方法能够完全避开主用户信号和干扰，且方法收敛速度较快，适用于认知无线网络次用户抗干扰动态频谱接入场景。
Claims (8)
1.一种主用户友好的抗干扰动态频谱接入方法，其特征在于建立一个认知无线网络，该认知无线网络，该网络内部有一个主用户、一个次级用户通信对和一个干扰机，用户信道集中存在k个可用信道，并且用户的通信过程被划分为时隙；干扰机释放模式化的干扰信号阻塞用户通信；主用户基于频谱感知结果选择离当前干扰信道最远的信道进行通信；次用户接收端带有智能体，运行智能算法选择次用户的通信信道，并将该信道信息通过控制信道反馈给次用户发射端，发射端随即在选定的信道上与接收端进行通信；
为避免次用户学习最优信道选择策略的过程中对主用户产生干扰，提出了一种离线训练、在线接入的方案，设计了基于生成对抗网络的虚拟环境，利用虚拟环境离线训练基于深度强化学习的信道选择网络，待信道选择网络训练完毕后次用户再真实接入频谱，从而在不影响主用户通信的前提下获得最大的通信吞吐量；包括以下步骤：
初始化：智能体构建生成网络G和判别网络D，并随机初始化该两个网络生成网络的参数θG和判别网络的参数θD；构建行动者网络、评论家网络和目标网络，并随机初始化该三个网络的参数φA、φC和φT；构建数据库用于存储数据；温度系数α＝1，d＝5；
步骤1：智能体通过频谱感知获得批量的频谱瀑布图Xn，并将其按照时间先后顺序进行存储；
步骤2：智能体在存储的频谱瀑布图中随机选择一批瀑布图，将历史时刻的瀑布图序列Xn-Ωn作为先验条件输入生成网络，输出生成网络对下一时刻瀑布图Xn+1的模拟结果G(Xn-Ωn)；为使得G(Xn-Ωn)尽可能逼近Xn+1，将G(Xn-Ωn)输入判别网络，得到G(Xn-Ωn)逼真程度的得分D[G(Xn-Ω：n)]；生成网络优化1次其网络参数θG从而提高其逼近真实瀑布图的能力，以期获得更高的得分；
步骤3：智能体随机选择一批瀑布图Xn+1以及一批生成网络的输出结果G(Xn-Ωn)，将这两类数据分别输入判别网络；判别网络给出这两类数据逼真程度的得分，并根据判断结果的偏差优化d次其参数θD，以提高其区分真实瀑布图和生成瀑布图的能力；
循环执行步骤2～3，生成网络与判别网络的竞争优化，直至生成网络达到收敛状态，生成网络最终能够根据历史的瀑布图序列，精准生成下一时刻的瀑布图，判别网络无法区分真实瀑布图Xn+1与生成的瀑布图G(Xn-Ωn)；训练完毕的生成网络作为虚拟频谱环境离线训练信道决策网络；
步骤4：虚拟频谱环境输出当前虚拟状态行动者网络输出对应的信道选择策略并按照策略的分布进行抽样选择虚拟动作/>
步骤5：将输入虚拟环境，生成下一时刻瀑布图/>将/>和/>融合获得下一虚拟状态/>
步骤6：智能体通过能量检测的方式确定中主用户和干扰占用的信道，通过比较该信道与/>是否冲突来确定虚拟回报/>
步骤7：智能体将经验数据存储至经验池，待经验池内经验数量超过最低数量要求后，即开始按照目标函数定期更新行动者网络的参数φA、评论家网络的参数φC、目标网络参数φT和温度系数α；
循环执行步骤4～7，直至行动者达到收敛状态，即可学习到最优的信道选择策略；训练好的行动者作为信道选择网络指导次用户真实地接入无线频谱，可以保证次用户在不与主用户产生互扰的同时躲避恶意干扰攻击。
2.根据权利要求1所述的主用户友好的抗干扰动态频谱接入方法，其特征在于，引入功率谱密度函数来刻画频谱状态；
在t时刻，次用户接收端接收到的无线信号的功率谱密度函数定义为，
dt(f)＝guU(f-fu，t)+gsS(f-fs，t)+gjJ(f-fj，t)+Nt(f)
上式中U(f)、S(f)、J(f)和Nt(f)分别表示主用户基带信号、次用户基带信号、干扰基带信号和噪声信号的功率谱密度，gu、gs和gj分别表示主用户、次用户和干扰的信道增益，fu，t、fs，t和fj，t分别表示主用户射频信号、次用户射频信号和干扰射频信号的中心频率；
在t时刻，次用户接收端感知到的频谱向量定义为：
vt＝[pt，1，pt，2，…pt，L]
上式中L＝B/Δf表示频谱感知的采样数，B为带宽，Δf为频率分辨率；pt，1，pt，2，…pt，L表示该向量中每个频率的采样值，具体定义为：
上式中fL表示频谱感知的起始频率，i∈{1，…，L}；
在t时刻，次用户接收端接收到的信干噪比定义为：
令ηt表示接收端正确解调信号所需的信干噪比门限，次用户获得的归一化吞吐量为ct＝δ(ηt＞ηth)，其中δ(.)为指示函数，定义为：当x为真时δ(x)＝1，否则δ(x)＝0。
3.根据权利要求2所述的主用户友好的抗干扰动态频谱接入方法，其特征在于：将次用户抗干扰动态频谱接入问题建模成马尔科夫决策过程，并用一个四元组<环境状态，用户动作，奖励函数，状态转移函数>来描述马尔科夫决策过程，具体定义如下：
环境状态：时刻t的环境状态St定义为当前及过去一段时间内次用户接收端感知到的频谱向量组成的序列，即频谱瀑布图，具体数学表达式为：
St＝[vt，vt-1，…，vt-Θ+1]
其中，Θ表示时间回溯的长度，vt，vt-1，…，vt-Θ+1为次用户接收端感知到的频谱向量；
用户动作：时刻t的用户动作at定义为次用户选择的通信信道
奖励函数：在环境状态为St时，执行动作at获得的奖励r(St，at)包含了归一化通信吞吐量带来的收益以及信道切换对应的代价，具体数学表达式为：
r(St，at)＝m(ct)-γδ(at≠at-1)
其中，δ(at≠at-1)表示信道切换带来的开销，γ为开销对应的折扣因子；m(ct)为归一化吞吐量带来的收益，ct为归一化吞吐量，m(·)为收益映射函数，定义为：
状态转移函数：假设状态转移函数对用户来说是未知的；
次用户的优化目标为在不影响主用户通信的前提下最大化通信吞吐量，具体数学表达式为：
其中，E表示求数学期望的运算，St+l，at+l分别表示t+l时刻的环境状态和用户动作，l为时刻的序号，π为次用户的信道选择策略，λ为奖励函数对应的折扣因子。
4.根据权利要求3所述的主用户友好的抗干扰动态频谱接入方法，步骤1中所述的频谱瀑布图，具体如下：
智能体通过频谱感知获得频谱瀑布图，感知到的第n个瀑布图定义为其中，/>为次用户接收端感知到的频谱向量，Ts为次用户的时隙长度；将数据归一化至[-1，1]，并将其按时间先后顺序进行存储。
5.根据权利要求3所述的主用户友好的抗干扰动态频谱接入方法，步骤2所述的生成网络根据历史的瀑布图序列，生成下一时刻的瀑布图，具体过程包括：
生成网络根据历史时刻的瀑布图Xn-Ω：n＝[Xn，Xn-1，…，Xn-Ω+1]生成下一时刻的瀑布图G(Xn-Ω：n)；其目标函数包括对抗性损失函数和重构损失函数/> μG和μr为权重因子；对抗性损失函数/>定义为：
其中，G和D分别表示生成网络和判别网络，p(Xn-Ω：n)表示Xn-Ω：n的概率分布；为提高生成瀑布图的精度，引入重构损失函数：
其中，||·||2表示二范数；
在目标函数的指导下，生成网络随机选择一批数据，按照如下方式计算梯度，并优化网络参数：
其中，表示梯度，m为批的大小。
6.根据权利要求3所述的主用户友好的抗干扰动态频谱接入方法，步骤3所述的判别网络对输入数据的逼真程度进行打分，具体过程包括：
判别网络分别输入真实瀑布图Xn+1与生成瀑布图G(Xn-Ω：n)，输出逼真程度的得分D(Xn+1)与D[G(Xn-Ω：n)]；其目标函数包括对抗性损失函数和梯度惩罚函数/> μD和μgp为权重因子；对抗性损失函数/>定义为：
梯度惩罚函数定义为：
其中，X′n+1＝(1-ε)Xn+1+εG(Xn-Ω：n)，ε～U(0，1)；
在目标函数的指导下，判别网络随机选择一批数据，按照如下方式计算梯度，并优化网络参数：
其中，表示梯度，m为批的大小。
7.根据权利要求3所述的主用户友好的抗干扰动态频谱接入方法，步骤5所述的获得下一虚拟状态，细节如下：
将输入虚拟环境，生成下一时刻瀑布图/>将/>中的部分历史数据替换为/>获得下一虚拟状态/>
8.根据权利要求3所述的主用户友好的抗干扰动态频谱接入方法，步骤7所述的网络参数更新，细节如下：
行动者：给定当前虚拟频谱状态行动者输出信道选择策略/>并按照策略的分布进行抽样选择虚拟动作/>其目标函数为：
其中，T表示转置操作；在目标函数的指导下，行动者按照更新其网络参数，/>表示梯度，η为更新的步长，←为赋值操作；
评论家：给定当前频谱状态St，输出每个可能的动作对应的Q值Q(St)；其目标函数为：
其中，表示状态的软Q值，定义为/>在目标函数的指导下，评论家按照/>更新其网络参数；
目标网络：给定当前频谱状态St，输出每个可能的动作对应的目标Q值其网络参数φT更新方式为：φT＝τφC+(1-τ)φT，τ∈[0，1]为权重因子；
温度系数：温度系数α表示信道选择策略的熵相较于回报r(St，at)的重要程度；
其目标函数为：
其中，是一个常向量，表示信道选择策略的目标熵；在目标函数的指导下，温度系数按照/>进行更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111157778.XA CN113938897B (zh) | 2021-09-30 | 2021-09-30 | 一种主用户友好的抗干扰动态频谱接入方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111157778.XA CN113938897B (zh) | 2021-09-30 | 2021-09-30 | 一种主用户友好的抗干扰动态频谱接入方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113938897A CN113938897A (zh) | 2022-01-14 |
| CN113938897B true CN113938897B (zh) | 2023-09-19 |
Family
ID=79277511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111157778.XA Active CN113938897B (zh) | 2021-09-30 | 2021-09-30 | 一种主用户友好的抗干扰动态频谱接入方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113938897B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115276858B (zh) * | 2022-07-11 | 2024-01-23 | 中国人民解放军国防科技大学 | 基于认知抗干扰模型的动态频谱多域抗干扰方法及系统 |
| CN114900234B (zh) * | 2022-07-14 | 2022-10-21 | 四川太赫兹通信有限公司 | 一种太赫兹频谱环境地图构建方法及设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108777872A (zh) * | 2018-05-22 | 2018-11-09 | 中国人民解放军陆军工程大学 | 一种深度q神经网络抗干扰模型及智能抗干扰算法 |
| CN111970072A (zh) * | 2020-07-01 | 2020-11-20 | 中国人民解放军陆军工程大学 | 基于深度强化学习的宽带抗干扰系统及抗干扰方法 |
-
2021
- 2021-09-30 CN CN202111157778.XA patent/CN113938897B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108777872A (zh) * | 2018-05-22 | 2018-11-09 | 中国人民解放军陆军工程大学 | 一种深度q神经网络抗干扰模型及智能抗干扰算法 |
| CN111970072A (zh) * | 2020-07-01 | 2020-11-20 | 中国人民解放军陆军工程大学 | 基于深度强化学习的宽带抗干扰系统及抗干扰方法 |
Non-Patent Citations (2)
| Title |
|---|
| Machine Learning Empowered Spectrum Sharing in Intelligent Unmanned Swarm Communication Systems: Challenges, Requirements and Solutions;Ximing Wang, etc.;《IEEE》;第8卷;全文 * |
| 军事智能抗干扰通信效能评估综述;禹明刚等;《军事运筹与系统工程》;第35卷(第1期);第73-80页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113938897A (zh) | 2022-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113938897B (zh) | 一种主用户友好的抗干扰动态频谱接入方法 | |
| CN110798314B (zh) | 一种基于随机森林算法的量子密钥分发参数优化方法 | |
| Ak et al. | Avoiding jammers: A reinforcement learning approach | |
| CN113435247B (zh) | 一种通信干扰智能识别方法、系统及终端 | |
| Nguyen et al. | Deep Q-learning with multiband sensing for dynamic spectrum access | |
| Han et al. | Primary-user-friendly dynamic spectrum anti-jamming access: A GAN-enhanced deep reinforcement learning approach | |
| Ansari et al. | Automatic digital modulation recognition based on genetic-algorithm-optimized machine learning models | |
| CN108924847B (zh) | 一种基于ann的认知无线电频谱预测方法及设备 | |
| CN113452408A (zh) | 一种网台跳频信号分选方法 | |
| CN109309539A (zh) | 一种基于深度强化学习的信息聚合短波选频方法 | |
| Shamsi et al. | A channel state prediction for multi-secondary users in a cognitive radio based on neural network | |
| Jiang et al. | Joint design of radar waveform and detector via end-to-end learning with waveform constraints | |
| Solanki et al. | Spectrum sensing in cognitive radio using CNN-RNN and transfer learning | |
| Zhang et al. | Limited data spectrum sensing based on semi-supervised deep neural network | |
| Jiang et al. | End-to-end learning of waveform generation and detection for radar systems | |
| CN106257849B (zh) | 基于多目标量子萤火虫搜索机制的频谱感知方法 | |
| Thien et al. | A transfer games actor–critic learning framework for anti-jamming in multi-channel cognitive radio networks | |
| CN114757224A (zh) | 一种基于持续学习和联合特征提取的特定辐射源识别方法 | |
| CN111417124A (zh) | 在认知无线网络环境下频谱感知的方法 | |
| Zhang et al. | Machine learning based protocol classification in unlicensed 5 GHz bands | |
| Liu et al. | Hierarchical agglomerative clustering and LSTM-based load prediction for dynamic spectrum allocation | |
| Naderializadeh | Wireless link scheduling via graph representation learning: A comparative study of different supervision levels | |
| CN115276857B (zh) | 基于Cholesky分解和卷积神经网络相结合的全盲频谱检测方法 | |
| Huang et al. | Calibration-aware bayesian learning | |
| Pourranjbar et al. | Jamming pattern recognition over multi-channel networks: A deep learning approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |