CN116366093B - 分块捷变跳频方法 - Google Patents
分块捷变跳频方法 Download PDFInfo
- Publication number
- CN116366093B CN116366093B CN202310637604.6A CN202310637604A CN116366093B CN 116366093 B CN116366093 B CN 116366093B CN 202310637604 A CN202310637604 A CN 202310637604A CN 116366093 B CN116366093 B CN 116366093B
- Authority
- CN
- China
- Prior art keywords
- frequency hopping
- block
- agile
- frequency
- offset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004891 communication Methods 0.000 claims abstract description 70
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 230000009471 action Effects 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 12
- 230000002787 reinforcement Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 230000000903 blocking effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 239000003795 chemical substances by application Substances 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000009827 uniform distribution Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 abstract description 4
- 230000006872 improvement Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000036039 immunity Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/69—Spread spectrum techniques
- H04B1/713—Spread spectrum techniques using frequency hopping
- H04B1/715—Interference-related aspects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明提供了一种分块捷变跳频方法及系统，所述方法包括跳频通信双方确定跳频序列和一个跳频频率表；跳频通信双方事先确定跳频分块捷变窗口长度L；根据通信任务需求跳频通信接收方动态实时预先计算下一个分块窗口内的捷变偏移参数；跳频通信接收方在下一个分块窗口捷变前向跳频通信发送方传输下一个分块窗口的捷变偏移参数；跳频通信发送方根据接收到的分块捷变偏移值对下一个跳频分块捷变窗口内的跳频序列进行整体偏移，输出偏移后的跳频序列，通过频率映射表选择跳频频点进行跳频。相较于现有技术，本发明可以达到抗干扰性能和同步开销之间的平衡。
Description
技术领域
本发明涉及一种分块捷变跳频方法，属于通信技术领域。
背景技术
无线通信已广泛应用于民用和军用通信，如5G、蓝牙、超宽带、卫星通信、雷达等。然而，无线通信的传播特性使其容易受到各种安全威胁，尤其是恶意干扰攻击。跳频扩频(Frequency Hopping Spread Spectrum, FHSS)作为一种传统的抗干扰方案，因其高能效而被广泛应用于军事和民用通信领域。在跳频系统中，发射端和接收端都使用共享跳频模式来确定发射信号的载波频率，如果跳频系统的跳速率足够快，干扰机将很难跟踪合法信号。
然而，由于传统跳频方法实现较简单，其抗干扰能力越来越受到质疑。例如，在日益拥挤的频谱资源面前，若干扰机覆盖了大部分频段，被干扰的概率将大大增加，因此传统跳频方法无法保证无线通信的可靠性。
另一方面，近年来，深度强化学习(DRL)算法(如Q-learning、DQN、SARSA等)已被广泛应用于抗干扰通信中，以应对一些强大的干扰模式：多音干扰、跟踪干扰和智能干扰等。虽然这些基于RL的算法在各种复杂的干扰模式下都能取得优异的抗干扰性能，但FHSS系统固有的发射端和接收端共享跳频模式的同步需求却被忽略了。由于这些基于RL的方法中所选择的载波频率是由智能体决定的，而不是由共享跳频模式决定的，所以在发射端和接收端之间实现跳频模式的同步是非常具有挑战性的，并且所需的同步开销可能会阻碍其在实际应用中得到应用。
有鉴于此，确有必要提出一种分块捷变跳频方法，以解决上述问题。
发明内容
本发明的目的在于提供一种分块捷变跳频方法，本发明将合法的发射机和接收机之间的跳频捷变方式从传统的时隙捷变方式转变为分块窗口捷变方式通过调整分块窗口大小能有效控制抗干扰性能与同步开销之间的平衡。
为实现上述目的，本发明提供了一种分块捷变跳频方法，主要包括以下步骤：
步骤S1、跳频通信双方确定跳频序列和一个跳频频率表；具体方法如下：
步骤S11、构建具有分块方式的动态偏移跳频系统模型，该模型包含一对合法发射机和接收机，合法发射机和接收机共享一个固定的跳频序列和一个跳频频率表；
步骤S12、发射机和接收机可用的频率资源可以分为M个频隙，频率集合表示为；
步骤S13、令表示一个阿贝尔群，其中/>是一组可用频率，其中，阿贝尔群中的/>的规则定义为：a/>b=(a+b) mod M；
步骤S14、发射机和接收机之间共享的是一个阿贝尔群上上长度为T=N/>L的跳频序列:/>，其中,/>表示第t个时刻的跳频频率，/>为共享跳频序列；
步骤S2、跳频通信双方事先确定跳频分块捷变窗口长度L；具体方法如下：
步骤S21、跳频通信双方事先确定跳频分块捷变窗口长度L；
步骤S22、共享跳频序列可以分为由跳频分块捷变窗口组成的序列，跳频分块捷变窗口可将共享跳频序列/>分为没有重叠的块，当跳频分块捷变窗口长度为L时，长度为T的共享跳频序列/>可拆分为N=T/L块：/>，其中，/>表示/>中第n个跳频分块捷变窗口，其长度为L，可以表示为：/>，其中，/>表示第n个跳频分块捷变窗口中第/>个时隙的频率；
步骤S3、根据通信任务需求跳频通信接收方动态实时预先计算下一个分块窗口内的捷变偏移参数；
步骤S4、跳频通信接收方在下一个分块窗口捷变前向跳频通信发送方传输下一个分块窗口的捷变偏移参数；
步骤S5、跳频通信发送方根据接收到的分块捷变偏移值对下一个跳频分块捷变窗口内的跳频序列进行整体偏移，输出偏移后的跳频序列，通过频率映射表选择跳频频点进行跳频。
作为本发明的进一步改进，步骤S3的具体步骤为：使用深度强化学习实现抗干扰策略，根据共享跳频序列确定状态、动作选择、立即奖励值，计算下一个分块窗口的捷变偏移参数。
作为本发明的进一步改进，步骤S3还包括
步骤S31、定义表示第n个跳频分块捷变窗口的分块捷变偏移参数，以合法用户之间的通信吞吐率为目标，跳频通信接收方通过但不限于深度强化学习来实时计算下一个分块捷变偏移参数/>；
步骤S32、使用one-hot编码将共享跳频图案中的元素映射到大小为1×M的向量；其中，向量/>由0和1组成，且当/>时，/>，否则，；
步骤S33、共享跳频图案中的跳频块/>可以表示为大小为L×M的矩阵；
，
步骤S34、基于步骤S33，偏移后的跳频序列可以表示为大小为L×M的矩阵；
，
步骤S35、使用multi-hot编码将第n个块中第l个时隙中的一组干扰音映射到大小为1×M的向量/>；其中，向量/>由0和1组成，且当/>时，/>，否则，/>；
步骤S36、基于步骤S35，第n个块中的干扰音可以表示为大小为L×M的矩阵，
，
步骤S37、使用深度强化学习算法实时抗干扰策略，块偏移跳频图案状态包含三个矩阵，表示为一个L×M×3的三维张量/>，其中/>，/>和/>分别表示第n块跳频图案对信道的占用情况，第n块干扰信号对信道的占用情况和第n+1块原始跳频图案信道的占用情况，动作/>为第n+1个块中共享跳频图案的偏移量，即/>，状态转移概率表示为P:/>，指的是在执行操作/>时从当前状态/>到下一状态/>的转移概率，立即奖励值定义为/>，其中/>为指示函数，如果第n+1个块中第l个时隙中的通信没有收到干扰，则/>，否则为0，表示第n+1个块中数据传输成功的时隙数；
步骤S38、建立两个神经网络，一个是权值参数为的策略神经网络，另一个是权值参数为/>的策略神经网络，并初始化权值参数，将块偏移跳频图案状态/>作为神经网络的输入，经过两个卷积层和两个全连接层得到最终的输出值，即动作/>，Q函数表示为：
，
其中，为立即奖励值，/>是折扣因子，/>是在状态/>下采取动作/>的下一个状态，/>为目标网络所选动作，每个时间步长n的经验/>被存储在经验回放池/>中，即将数组/>存放入集合/>中，且通过随机选择均匀分布/>中的元素，得到目标值：
，
其中，为立即奖励值，/>是第i次迭代时目标Q网络的参数，当输入为/>时，目标Q网络的输出为/>，第i次迭代时策略Q网络的参数/>，目标值与策略Q网络的实际输出的均方误差作为损失函数：
，
其中，为目标网络的参数，/>为策略网络的参数，损失函数的梯度为：
，
其中，为目标值，使用梯度下降法对策略网络的参数进行更新。
作为本发明的进一步改进，步骤3还包括
步骤S39、在训练阶段，根据状态，智能体采用动态/> -greedy算法选择动作/>，即在每次迭代时随机选择动作/>的概率为/>，而选择令策略网络最大的动作的概率为/>，其中，/>，其中/>=0.9为初始概率，i为迭代次数，decay为衰减参数，概率/>随着迭代次数的增加以指数级别降低，并将样本存入经验回放池/>，经验回放池/>满了之后，用新的样本根据先进先出的原则更新经验回放池；
步骤S310、经验回放池中元素数量大于预设值10000后，从/>中随机选择64个样本/>，其中/>表示随机变量/>服从/>上的均匀分布，通过梯度下降算法进行策略网络的参数/>迭代更新，每迭代设定值C次后，将策略网络的参数复制用来更新目标网络参数/>重复以上过程直到达到500次训练回合；
步骤S311、训练结束后，将状态输入策略网络计算得到输出/>，选取最大Q值对应的动作，执行该动作即可，不需要再继续迭代更新网络参数。
作为本发明的进一步改进，步骤S4的具体方法如下：
步骤S41、跳频通信接收方在下一次捷变前向跳频通信发送方传输下一个分块窗口的捷变偏移参数；
步骤S42、跳频通信发送方接收下一个分块窗口的捷变偏移参数。
作为本发明的进一步改进，步骤S5的具体方法如下：
步骤S51、跳频通信发送方根据接收到的分块捷变偏移参数对下一个跳频分块捷变窗口内的跳频序列进行整体偏移；
步骤S52、跳频通信发送方输出偏移后的跳频序列；
步骤S53、跳频通信发送方通过跳频频率表选择频点进行跳频。
作为本发明的进一步改进，第n个跳频分块捷变窗口中的分块捷变偏移跳频图案可以表示为：
其中，是第n个分块捷变偏移跳频图案中第/>个时隙的偏移频率，跳频通信发送方输出偏移后的跳频序列可以表示为
。
本发明的有益效果是：本发明提出了一种面向通信抗干扰的智能分块捷变跳频方法，该智能分块捷变跳频方法具有块位移模式。仿真结果表明，该算法能达到吞吐量的理论值，大大高于传统跳频方案。本发明与现有的基于深度强化学习的跳频算法相比，同步开销得到了很好的缓解。
附图说明
图1为基于强化学习的块偏移跳频方案图。
图2为静态单音干扰下的抗干扰性能图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
在此，需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
另外，还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
如图1和图2所示，本发明揭示了一种分块捷变跳频方法，将抗干扰问题建模为马尔可夫决策过程，智能体能够智能选择最优的跳频序列的分块捷变偏移参数，可以有效地应对多样性的干扰，所述分块捷变跳频方法主要包括以下步骤：
步骤S1、跳频通信双方（包括发送方和接收方）确定跳频序列和一个跳频频率表；
步骤S11、构建具有分块方式的动态偏移跳频系统模型，该模型包含一对合法发射机和接收机。合法发射机和接收机共享一个固定的跳频序列和一个跳频频率表。
步骤S12、发射机和接收机可用的频率资源可以分为M个频隙，频率集合表示为。
步骤S13、令表示一个阿贝尔群，其中/>是一组可用频率。其中，阿贝尔群中的/>的规则定义为：a/>b=(a+b) mod M。
步骤S14、发射机和接收机之间共享的是一个阿贝尔群上上长度为T=N/>L的跳频序列:/>。
其中,表示第t个时刻的跳频频率。/>为共享跳频序列。
步骤S2、跳频通信双方事先确定跳频分块捷变窗口长度L(窗口内的跳变时隙数)；
步骤S21、跳频通信双方事先确定跳频分块捷变窗口长度L。
步骤S22、共享跳频序列可以分为由跳频分块捷变窗口组成的序列，跳频分块捷变窗口可将共享跳频序列/>分为没有重叠的块。当跳频分块捷变窗口长度为L时，长度为T的共享跳频序列/>可拆分为N=T/L块：/>。
其中，表示/>中第n个跳频分块捷变窗口，其长度为L，可以表示为：，其中，/>表示第n个跳频分块捷变窗口中第/>个时隙的频率。
步骤S3、使用深度强化学习实现抗干扰策略，根据共享跳频序列确定状态、动作选择、立即奖励值，计算下一个分块窗口的捷变偏移参数；步骤S3的方法可以通过优化抗干扰通信场景下的通信成功吞吐率得到；
步骤S31、定义表示第n个跳频分块捷变窗口的分块捷变偏移参数，以合法用户之间的通信吞吐率为目标，跳频通信接收方通过但不限于深度强化学习来实时计算下一个分块捷变偏移参数/>；
步骤S32、使用one-hot编码将共享跳频图案中的元素映射到大小为1×M的向量；其中，向量/>由0和1组成，且当/>时，/>，否则，；
步骤S33、共享跳频图案G中的跳频块可以表示为大小为L×M的矩阵；
，
步骤S34、基于步骤S33，偏移后的跳频序列可以表示为大小为L×M的矩阵；
，
步骤S35、使用multi-hot编码将第n个块中第l个时隙中的一组干扰音映射到大小为1×M的向量/>；其中，向量/>由0和1组成，且当/>时，/>，否则，/>；
步骤S36、基于步骤S35，第n个块中的干扰音可以表示为大小为L×M的矩阵，
，
步骤S37、使用深度强化学习算法实时抗干扰策略，块偏移跳频图案状态包含三个矩阵，表示为一个L×M×3的三维张量/>，其中/>，/>和/>分别表示第n块跳频图案对信道的占用情况，第n块干扰信号对信道的占用情况和第n+1块原始跳频图案信道的占用情况，动作/>为第n+1个块中共享跳频图案的偏移量，即/>，状态转移概率表示为P:/>，指的是在执行操作/>时从当前状态/>到下一状态/>的转移概率，立即奖励值定义为/>，其中/>为指示函数，如果第n+1个块中第l个时隙中的通信没有收到干扰，则/>，否则为0，表示第n+1个块中数据传输成功的时隙数；
步骤S38、建立两个神经网络，一个是权值参数为的策略神经网络，另一个是权值参数为/>的策略神经网络，并初始化权值参数，将块偏移跳频图案状态/>作为神经网络的输入，经过两个卷积层和两个全连接层得到最终的输出值，即动作/>，Q函数表示为：
，
其中，为立即奖励值，/>是折扣因子，/>是在状态/>下采取动作/>的下一个状态，/>为目标网络所选动作，每个时间步长n的经验/>被存储在经验回放池/>中，即将数组/>存放入集合/>中，且通过随机选择均匀分布/>中的元素，得到目标值：
，
其中，为立即奖励值，/>是第i次迭代时目标Q网络的参数，当输入为/>时，目标Q网络的输出为/>，第i次迭代时策略Q网络的参数/>，目标值与策略Q网络的实际输出的均方误差作为损失函数：
，
其中，为目标网络的参数，/>为策略网络的参数，损失函数的梯度为：
，
其中，为目标值，使用梯度下降法对策略网络的参数进行更新。
步骤S39、在训练阶段，根据状态，智能体采用动态/> -greedy算法选择动作/>，即在每次迭代时随机选择动作/>的概率为/>，而选择令策略网络最大的动作的概率为/>，其中，/>，其中/>=0.9为初始概率，i为迭代次数，decay为衰减参数，概率/>随着迭代次数的增加以指数级别降低，并将样本存入经验回放池/>，经验回放池/>满了之后，用新的样本根据先进先出的原则更新经验回放池；
步骤S310、经验回放池中元素数量大于预设值10000后，从/>中随机选择64个样本/>，其中/>表示随机变量/>服从/>上的均匀分布，通过梯度下降算法进行策略网络的参数/>迭代更新，每迭代设定值C次后，将策略网络的参数复制用来更新目标网络参数/>重复以上过程直到达到500次训练回合；
步骤S311、训练结束后，将状态输入策略网络计算得到输出/>，选取最大Q值对应的动作，执行该动作即可，不需要再继续迭代更新网络参数。
步骤S4、跳频通信接收方在下一个分块窗口捷变前向跳频通信发送方传输下一个分块窗口的捷变偏移参数；
步骤S41、跳频通信接收方在下一次捷变前向跳频通信发送方传输下一个分块窗口的捷变偏移参数。
步骤S42、跳频通信发送方接收下一个分块窗口的捷变偏移参数。
步骤S5、跳频通信发送方根据接收到的分块捷变偏移值对下一个跳频分块捷变窗口内的跳频序列进行整体偏移，输出偏移后的跳频序列，通过频率映射表选择跳频频点进行跳频；
步骤S51、跳频通信发送方根据接收到的分块捷变偏移参数对下一个跳频分块捷变窗口内的跳频序列进行整体偏移。则第n个跳频分块捷变窗口中的分块捷变偏移跳频图案可以表示为：
其中，是第n个分块捷变偏移跳频图案中第/>个时隙的偏移频率。
步骤S52、跳频通信发送方输出偏移后的跳频序列。
步骤S53、跳频通信发送方通过跳频频率表选择频点进行跳频。
以下将结合具体实施例进行说明。
本发明的实施例具体描述如下，系统仿真采用Python的Pytorch框架，系统模型包含一对合法发射机和接收机。
该实施例中我们考虑静态单音干扰，其干扰音固定在一个频率。
图2为本发明实施例中在静态单音干扰下的抗干扰性能图，从图中可以看出，在该种干扰下，归一化吞吐量可以逐渐收敛到理论上界。根据图2中曲线的收敛速度，可以看出，在该种干扰下算法可以在大约200个回合内收敛，另外还可以看出，即使分块捷变窗口长度为L = 12，本发明提出的算法抗干扰效果也明显更优，归一化吞吐量可以达到约96%，比传统的跳频方案高15%。
综上所述，本发明提出了一种面向通信抗干扰的智能分块捷变跳频方法，该智能分块捷变跳频方法具有块位移模式。仿真结果表明，该算法能达到吞吐量的理论值，大大高于传统跳频方案。本发明与现有的基于深度强化学习的跳频算法相比，同步开销得到了很好的缓解。
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。
Claims (7)
1.一种分块捷变跳频方法，其特征在于，主要包括以下步骤：
步骤S1、跳频通信双方确定跳频序列和一个跳频频率表；具体方法如下：
步骤S11、构建具有分块方式的动态偏移跳频系统模型，该模型包含一对合法发射机和接收机，合法发射机和接收机共享一个固定的跳频序列和一个跳频频率表；
步骤S12、发射机和接收机可用的频率资源能够分为M个频隙，频率集合表示为；
步骤S13、令表示一个阿贝尔群，其中/>是一组可用频率，其中，阿贝尔群中的/>的规则定义为：a/>b=(a+b) mod M；
步骤S14、发射机和接收机之间共享的是一个阿贝尔群上上长度为T=N/>L的跳频序列:/>，其中,/>表示第t个时刻的跳频频率，/>为共享跳频序列；
步骤S2、跳频通信双方事先确定跳频分块捷变窗口长度L；具体方法如下：
步骤S21、跳频通信双方事先确定跳频分块捷变窗口长度L；
步骤S22、共享跳频序列能够分为由跳频分块捷变窗口组成的序列，跳频分块捷变窗口能够将共享跳频序列/>分为没有重叠的块，当跳频分块捷变窗口长度为L时，长度为T的共享跳频序列/>拆分为N=T/L块：/>，其中，/>表示/>中第n个跳频分块捷变窗口，其长度为L，能够表示为：/>，其中，/>表示第n个跳频分块捷变窗口中第/>个时隙的频率；
步骤S3、根据通信任务需求跳频通信接收方动态实时预先计算下一个分块窗口内的捷变偏移参数；
步骤S4、跳频通信接收方在下一个分块窗口捷变前向跳频通信发送方传输下一个分块窗口的捷变偏移参数；
步骤S5、跳频通信发送方根据接收到的分块捷变偏移值对下一个跳频分块捷变窗口内的跳频序列进行整体偏移，输出偏移后的跳频序列，通过频率映射表选择跳频频点进行跳频。
2.根据权利要求1所述的分块捷变跳频方法，其特征在于：步骤S3的具体步骤为：使用深度强化学习实现抗干扰策略，根据共享跳频序列确定状态、动作选择、立即奖励值，计算下一个分块窗口的捷变偏移参数。
3.根据权利要求1所述的分块捷变跳频方法，其特征在于：步骤S3还包括
步骤S31、定义表示第n个跳频分块捷变窗口的分块捷变偏移参数，以合法用户之间的通信吞吐率为目标，跳频通信接收方通过但不限于深度强化学习来实时计算下一个分块捷变偏移参数/>；
步骤S32、使用one-hot编码将共享跳频图案中的元素映射到大小为1×M的向量；其中，向量/>由0和1组成，且当/>时，/>，否则，；
步骤S33、共享跳频图案中的跳频块/>能够表示为大小为L×M的矩阵；
，
步骤S34、基于步骤S33，偏移后的跳频序列能够表示为大小为L×M的矩阵；
，
步骤S35、使用multi-hot编码将第n个块中第l个时隙中的一组干扰音映射到大小为1×M的向量/>；其中，向量/>由0和1组成，且当/>时，/>，否则，；
步骤S36、基于步骤S35，第n个块中的干扰音能够表示为大小为L×M的矩阵，
，
步骤S37、使用深度强化学习算法实时抗干扰策略，块偏移跳频图案状态包含三个矩阵，表示为一个L×M×3的三维张量/>，其中/>，/>和/>分别表示第n块跳频图案对信道的占用情况，第n块干扰信号对信道的占用情况和第n+1块原始跳频图案信道的占用情况，动作/>为第n+1个块中共享跳频图案的偏移量，即/>，状态转移概率表示为P:/>，指的是在执行操作/>时从当前状态/>到下一状态/>的转移概率，立即奖励值定义为/>，其中/>为指示函数，如果第n+1个块中第l个时隙中的通信没有收到干扰，则/>，否则为0，/>表示第n+1个块中数据传输成功的时隙数；
步骤S38、建立两个神经网络，一个是权值参数为的策略神经网络，另一个是权值参数为/>的策略神经网络，并初始化权值参数，将块偏移跳频图案状态/>作为神经网络的输入，经过两个卷积层和两个全连接层得到最终的输出值，即动作/>，Q函数表示为：
，
其中，为立即奖励值，/>是折扣因子，/>是在状态/>下采取动作/>的下一个状态，/>为目标网络所选动作，每个时间步长n的经验/>被存储在经验回放池中，即将数组/>存放入集合/>中，且通过随机选择均匀分布/>中的元素，得到目标值：
，
其中，为立即奖励值，/>是第i次迭代时目标Q网络的参数，当输入为/>时，目标Q网络的输出为/>，第i次迭代时策略Q网络的参数/>，目标值与策略Q网络的实际输出的均方误差作为损失函数：
，
其中，为目标网络的参数，/>为策略网络的参数，损失函数的梯度为：
，
其中，为目标值，使用梯度下降法对策略网络的参数进行更新。
4.根据权利要求3所述的分块捷变跳频方法，其特征在于：步骤3还包括
步骤S39、在训练阶段，根据状态，智能体采用动态/> -greedy算法选择动作/>，即在每次迭代时随机选择动作/>的概率为/>，而选择令策略网络最大的动作的概率为/>，其中，/>，其中/>=0.9为初始概率，i为迭代次数，decay为衰减参数，概率/>随着迭代次数的增加以指数级别降低，并将样本存入经验回放池/>，经验回放池/>满了之后，用新的样本根据先进先出的原则更新经验回放池；
步骤S310、经验回放池中元素数量大于预设值10000后，从/>中随机选择64个样本，其中/>表示随机变量/>服从/>上的均匀分布，通过梯度下降算法进行策略网络的参数/>迭代更新，每迭代设定值C次后，将策略网络的参数复制用来更新目标网络参数/>重复以上过程直到达到500次训练回合；
步骤S311、训练结束后，将状态输入策略网络计算得到输出/>，选取最大Q值对应的动作，执行该动作即可，不需要再继续迭代更新网络参数。
5.根据权利要求1所述的分块捷变跳频方法，其特征在于：步骤S4的具体方法如下：
步骤S41、跳频通信接收方在下一次捷变前向跳频通信发送方传输下一个分块窗口的捷变偏移参数；
步骤S42、跳频通信发送方接收下一个分块窗口的捷变偏移参数。
6.根据权利要求1所述的分块捷变跳频方法，其特征在于：步骤S5的具体方法如下：
步骤S51、跳频通信发送方根据接收到的分块捷变偏移参数对下一个跳频分块捷变窗口内的跳频序列进行整体偏移；
步骤S52、跳频通信发送方输出偏移后的跳频序列；
步骤S53、跳频通信发送方通过跳频频率表选择频点进行跳频。
7.根据权利要求6所述的分块捷变跳频方法，其特征在于：第n个跳频分块捷变窗口中的分块捷变偏移跳频图案能够表示为：
其中，是第n个分块捷变偏移跳频图案中第/>个时隙的偏移频率，跳频通信发送方输出偏移后的跳频序列能够表示为
。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310637604.6A CN116366093B (zh) | 2023-06-01 | 2023-06-01 | 分块捷变跳频方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310637604.6A CN116366093B (zh) | 2023-06-01 | 2023-06-01 | 分块捷变跳频方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116366093A CN116366093A (zh) | 2023-06-30 |
| CN116366093B true CN116366093B (zh) | 2023-08-25 |
Family
ID=86905522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310637604.6A Active CN116366093B (zh) | 2023-06-01 | 2023-06-01 | 分块捷变跳频方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116366093B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1518799A (zh) * | 2001-05-22 | 2004-08-04 | Ī�ٽ��ڹɷ�����˾ | 用于传输数字消息的方法和实现所述方法的系统 |
| GB201109289D0 (en) * | 2011-06-02 | 2011-07-20 | Renesas Mobile Corp | Frequency hopping in license-exempt/shared bands |
| CA2798471A1 (en) * | 2011-12-07 | 2013-06-07 | Harris Corporation | Specification of a frequency agile dynamic spectrum access tdma method |
| CN103532590A (zh) * | 2013-10-31 | 2014-01-22 | 四川九洲电器集团有限责任公司 | 一种跳频通信的双通道同步方法 |
| WO2019126412A1 (en) * | 2017-12-21 | 2019-06-27 | Nxgen Partners Ip, Llc | Full duplex using oam |
| CN110266346A (zh) * | 2019-07-05 | 2019-09-20 | 北京电子工程总体研究所 | 频率捷变信号跳频时间测试方法及系统 |
| CN112422124A (zh) * | 2021-01-21 | 2021-02-26 | 成都市克莱微波科技有限公司 | 一种宽带捷变频率源及其工作方法 |
| CN113376601A (zh) * | 2021-05-10 | 2021-09-10 | 西安电子科技大学 | 基于clean算法的捷变频雷达旁瓣抑制方法 |
| CN113595589A (zh) * | 2021-08-03 | 2021-11-02 | 西安电子科技大学 | 跳频通信方法及装置、存储介质、电子设备 |
| CN113884992A (zh) * | 2021-10-20 | 2022-01-04 | 西安电子科技大学 | 一种频率捷变雷达的自适应抗干扰方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6640108B2 (en) * | 1997-09-11 | 2003-10-28 | Interwave Communications International, Ltd. | Cellular communication system |
| WO2007104008A2 (en) * | 2006-03-09 | 2007-09-13 | Spinwave Systems, Inc. | Reducing interference in a hierarchical wireless sensor network |
| US7675369B2 (en) * | 2006-06-12 | 2010-03-09 | Honeywell International Inc. | Frequency hopping oscillator circuit |
| US20090257420A1 (en) * | 2008-04-10 | 2009-10-15 | Honeywell International Inc. | Process Control System With Enhanced Communication Throughput Using Frequency Agility |
| US11152991B2 (en) * | 2020-01-23 | 2021-10-19 | Nxgen Partners Ip, Llc | Hybrid digital-analog mmwave repeater/relay with full duplex |
| US11762058B2 (en) * | 2020-09-03 | 2023-09-19 | Signalchip Innovations Private Limited | Pulsed radar system and method with digital mixer for frequency hopping |
-
2023
- 2023-06-01 CN CN202310637604.6A patent/CN116366093B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1518799A (zh) * | 2001-05-22 | 2004-08-04 | Ī�ٽ��ڹɷ�����˾ | 用于传输数字消息的方法和实现所述方法的系统 |
| GB201109289D0 (en) * | 2011-06-02 | 2011-07-20 | Renesas Mobile Corp | Frequency hopping in license-exempt/shared bands |
| CA2798471A1 (en) * | 2011-12-07 | 2013-06-07 | Harris Corporation | Specification of a frequency agile dynamic spectrum access tdma method |
| CN103532590A (zh) * | 2013-10-31 | 2014-01-22 | 四川九洲电器集团有限责任公司 | 一种跳频通信的双通道同步方法 |
| WO2019126412A1 (en) * | 2017-12-21 | 2019-06-27 | Nxgen Partners Ip, Llc | Full duplex using oam |
| CN110266346A (zh) * | 2019-07-05 | 2019-09-20 | 北京电子工程总体研究所 | 频率捷变信号跳频时间测试方法及系统 |
| CN112422124A (zh) * | 2021-01-21 | 2021-02-26 | 成都市克莱微波科技有限公司 | 一种宽带捷变频率源及其工作方法 |
| CN113376601A (zh) * | 2021-05-10 | 2021-09-10 | 西安电子科技大学 | 基于clean算法的捷变频雷达旁瓣抑制方法 |
| CN113595589A (zh) * | 2021-08-03 | 2021-11-02 | 西安电子科技大学 | 跳频通信方法及装置、存储介质、电子设备 |
| CN113884992A (zh) * | 2021-10-20 | 2022-01-04 | 西安电子科技大学 | 一种频率捷变雷达的自适应抗干扰方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于认知的高性能隐蔽跳频序列理论研究;宁奔;中国优秀博士学位论文全文数据库;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116366093A (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111901862B (zh) | 一种基于深度q网络的用户分簇与功率分配方法、设备和介质 | |
| Kang et al. | Reinforcement learning based anti-jamming frequency hopping strategies design for cognitive radar | |
| Li et al. | Dynamic spectrum anti-jamming in broadband communications: A hierarchical deep reinforcement learning approach | |
| CN113406579B (zh) | 一种基于深度强化学习的伪装干扰波形生成方法 | |
| CN113225102B (zh) | 一种基于随机连续相位调制信号的低信噪比码捕获方法 | |
| CN110167176B (zh) | 一种基于分布式机器学习的无线网络资源分配方法 | |
| CN111182549B (zh) | 一种基于深度强化学习的抗干扰无线通信方法 | |
| CN105873214A (zh) | 一种基于遗传算法的d2d通信系统的资源分配方法 | |
| JP2021166362A (ja) | 信号推定装置、信号推定方法、及び、コンピュータプログラム | |
| CN113630130A (zh) | 端到端数字通信解调方法 | |
| CN115343680A (zh) | 基于深度强化学习的联合跳频和脉宽分配的雷达抗干扰决策方法 | |
| Jiang et al. | Joint compressed sensing and enhanced whale optimization algorithm for pilot allocation in underwater acoustic OFDM systems | |
| CN116366093B (zh) | 分块捷变跳频方法 | |
| CN108574653B (zh) | 基于双Sigmoid迟滞噪声混沌神经网络的信号盲检测方法 | |
| CN106685550B (zh) | 认知无线电网络中非授权用户完全分布式相遇方法 | |
| CN115276858A (zh) | 基于认知抗干扰模型的动态频谱多域抗干扰方法及系统 | |
| Zhang et al. | RL-Based Frequency Hopping with Block-Shifted Patterns: Balancing between Anti-Jamming Performance and Synchronization Overhead | |
| CN109831264B (zh) | 基于最近邻居回归的时序水声信道质量预测方法和系统 | |
| KR100513598B1 (ko) | 스마트 안테나 수신 시스템에서의 적응 빔형성을 위한정규화 장치 | |
| CN115866559B (zh) | 一种非正交多址接入辅助的车联网低能耗安全卸载方法 | |
| Liu et al. | Deep reinforcement learning for spectrum sharing in future mobile communication system | |
| Moskalenko et al. | Method of Synthesizing Signals of the Improved Modulation by the Cyclic Shift of Code with Adaptation by Speed of Information Transmission on the Advanced Binary Matrixe Basis | |
| CN113766599B (zh) | 管廊无线传感网的中继节点选择的方法、装置及终端 | |
| CN116774165B (zh) | 一种多雷达协同抗干扰信号波形设计方法及装置 | |
| Govindhan et al. | Improving High data rates in Milli meter Wave Communication networks via Long short term memory Technique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |