CN116366093A - 分块捷变跳频方法及系统 - Google Patents

分块捷变跳频方法及系统 Download PDF

Info

Publication number
CN116366093A
CN116366093A CN202310637604.6A CN202310637604A CN116366093A CN 116366093 A CN116366093 A CN 116366093A CN 202310637604 A CN202310637604 A CN 202310637604A CN 116366093 A CN116366093 A CN 116366093A
Authority
CN
China
Prior art keywords
frequency hopping
block
agile
frequency
offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310637604.6A
Other languages
English (en)
Other versions
CN116366093B (zh
Inventor
吴晓富
靳越
张剑书
夏重阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202310637604.6A priority Critical patent/CN116366093B/zh
Publication of CN116366093A publication Critical patent/CN116366093A/zh
Application granted granted Critical
Publication of CN116366093B publication Critical patent/CN116366093B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/69—Spread spectrum techniques
    • H04B1/713—Spread spectrum techniques using frequency hopping
    • H04B1/715—Interference-related aspects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提供了一种分块捷变跳频方法及系统，所述方法包括跳频通信双方确定跳频序列和一个跳频频率表；跳频通信双方事先确定跳频分块捷变窗口长度L；根据通信任务需求跳频通信接收方动态实时预先计算下一个分块窗口内的捷变偏移参数；跳频通信接收方在下一个分块窗口捷变前向跳频通信发送方传输下一个分块窗口的捷变偏移参数；跳频通信发送方根据接收到的分块捷变偏移值对下一个跳频分块捷变窗口内的跳频序列进行整体偏移，输出偏移后的跳频序列，通过频率映射表选择跳频频点进行跳频。相较于现有技术，本发明可以达到抗干扰性能和同步开销之间的平衡。

Description

分块捷变跳频方法及系统
技术领域
本发明涉及一种分块捷变跳频方法及系统，属于通信技术领域。
背景技术
无线通信已广泛应用于民用和军用通信，如5G、蓝牙、超宽带、卫星通信、雷达等。然而，无线通信的传播特性使其容易受到各种安全威胁，尤其是恶意干扰攻击。跳频扩频(Frequency Hopping Spread Spectrum, FHSS)作为一种传统的抗干扰方案，因其高能效而被广泛应用于军事和民用通信领域。在跳频系统中，发射端和接收端都使用共享跳频模式来确定发射信号的载波频率，如果跳频系统的跳速率足够快，干扰机将很难跟踪合法信号。
然而，由于传统跳频方法实现较简单，其抗干扰能力越来越受到质疑。例如，在日益拥挤的频谱资源面前，若干扰机覆盖了大部分频段，被干扰的概率将大大增加，因此传统跳频方法无法保证无线通信的可靠性。
另一方面，近年来，深度强化学习(DRL)算法(如Q-learning、DQN、SARSA等)已被广泛应用于抗干扰通信中，以应对一些强大的干扰模式：多音干扰、跟踪干扰和智能干扰等。虽然这些基于RL的算法在各种复杂的干扰模式下都能取得优异的抗干扰性能，但FHSS系统固有的发射端和接收端共享跳频模式的同步需求却被忽略了。由于这些基于RL的方法中所选择的载波频率是由智能体决定的，而不是由共享跳频模式决定的，所以在发射端和接收端之间实现跳频模式的同步是非常具有挑战性的，并且所需的同步开销可能会阻碍其在实际应用中得到应用。
有鉴于此，确有必要提出一种分块捷变跳频方法及系统，以解决上述问题。
发明内容
本发明的目的在于提供一种分块捷变跳频方法及系统，本发明将合法的发射机和接收机之间的跳频捷变方式从传统的时隙捷变方式转变为分块窗口捷变方式通过调整分块窗口大小能有效控制抗干扰性能与同步开销之间的平衡。
为实现上述目的，本发明提供了一种分块捷变跳频方法，主要包括以下步骤：
步骤S1、跳频通信双方确定跳频序列和一个跳频频率表；
步骤S2、跳频通信双方事先确定跳频分块捷变窗口长度L；
步骤S3、根据通信任务需求跳频通信接收方动态实时预先计算下一个分块窗口内的捷变偏移参数；
步骤S4、跳频通信接收方在下一个分块窗口捷变前向跳频通信发送方传输下一个分块窗口的捷变偏移参数；
步骤S5、跳频通信发送方根据接收到的分块捷变偏移值对下一个跳频分块捷变窗口内的跳频序列进行整体偏移，输出偏移后的跳频序列，通过频率映射表选择跳频频点进行跳频。
作为本发明的进一步改进，步骤S1的具体方法如下：
步骤S11、构建具有分块方式的动态偏移跳频系统模型，该模型包含一对合法发射机和接收机，合法发射机和接收机共享一个固定的跳频序列和一个跳频频率表；
步骤S12、发射机和接收机可用的频率资源可以分为M个频隙，频率集合表示为
Figure SMS_1
；
步骤S13、令
Figure SMS_2
表示一个阿贝尔群，其中/>
Figure SMS_3
是一组可用频率，其中，阿贝尔群中的/>
Figure SMS_4
的规则定义为：/>
Figure SMS_5
；
步骤S14、发射机和接收机之间共享的是一个阿贝尔群上
Figure SMS_6
上长度为T=N
Figure SMS_7
L的跳频序列:/>
Figure SMS_8
，其中,/>
Figure SMS_9
表示第t个时刻的跳频频率，
Figure SMS_10
为共享跳频序列。
作为本发明的进一步改进，步骤S2的具体方法如下：
步骤S21、跳频通信双方事先确定跳频分块捷变窗口长度L；
步骤S22、共享跳频序列
Figure SMS_12
可以分为由跳频分块捷变窗口组成的序列，跳频分块捷变窗口可将共享跳频序列/>
Figure SMS_14
分为没有重叠的块，当跳频分块捷变窗口长度为L时，长度为T的共享跳频序列/>
Figure SMS_18
可拆分为N=T/L块：/>
Figure SMS_13
，其中，/>
Figure SMS_16
表示/>
Figure SMS_17
中第n个跳频分块捷变窗口，其长度为L，可以表示为：/>
Figure SMS_19
，其中，/>
Figure SMS_11
表示第n个跳频分块捷变窗口中第/>
Figure SMS_15
个时隙的频率。
作为本发明的进一步改进，步骤S3的具体步骤为：使用深度强化学习实现抗干扰策略，根据共享跳频序列
Figure SMS_20
确定状态、动作选择、立即奖励值，计算下一个分块窗口的捷变偏移参数。
作为本发明的进一步改进，步骤S3还包括
步骤S31、定义
Figure SMS_21
表示第n个跳频分块捷变窗口的分块捷变偏移参数，以合法用户之间的通信吞吐率为目标，跳频通信接收方通过但不限于深度强化学习来实时计算下一个分块捷变偏移参数/>
Figure SMS_22
；
步骤S32、使用one-hot编码将共享跳频图案中的元素映射到大小为1×M的向量
Figure SMS_23
；其中，向量/>
Figure SMS_24
由0和1组成，且当/>
Figure SMS_25
时，/>
Figure SMS_26
，否则，
Figure SMS_27
；
步骤S33、共享跳频图案
Figure SMS_28
中的跳频块/>
Figure SMS_29
可以表示为大小为L×M的矩阵；
Figure SMS_30
，
步骤S34、基于步骤S33，偏移后的跳频序列可以表示为大小为L×M的矩阵；
Figure SMS_31
，
步骤S35、使用multi-hot编码将第n个块中第l个时隙中的一组干扰音
Figure SMS_32
映射到大小为1×M的向量/>
Figure SMS_33
；其中，向量/>
Figure SMS_34
由0和1组成，且当/>
Figure SMS_35
时，
Figure SMS_36
，否则，/>
Figure SMS_37
；
步骤S36、基于步骤S35，第n个块中的干扰音可以表示为大小为L×M的矩阵，
Figure SMS_38
，
步骤S37、使用深度强化学习算法实时抗干扰策略，块偏移跳频图案状态
Figure SMS_40
包含三个矩阵，表示为一个L×M×3的三维张量/>
Figure SMS_45
，其中/>
Figure SMS_48
，/>
Figure SMS_41
和/>
Figure SMS_43
分别表示第n块跳频图案对信道的占用情况，第n块干扰信号对信道的占用情况和第n+1块原始跳频图案信道的占用情况，动作/>
Figure SMS_47
为第n+1个块中共享跳频图案的偏移量，即/>
Figure SMS_52
，状态转移概率表示为P:/>
Figure SMS_39
，指的是在执行操作/>
Figure SMS_44
时从当前状态/>
Figure SMS_50
到下一状态/>
Figure SMS_53
的转移概率，立即奖励值定义为/>
Figure SMS_42
，其中
Figure SMS_46
为指示函数，如果第n+1个块中第l个时隙中的通信没有收到干扰，则
Figure SMS_49
，否则为0，/>
Figure SMS_51
表示第n+1个块中数据传输成功的时隙数；
步骤S38、建立两个神经网络，一个是权值参数为
Figure SMS_54
的策略神经网络，另一个是权值参数为/>
Figure SMS_55
的策略神经网络，并初始化权值参数，将块偏移跳频图案状态/>
Figure SMS_56
作为神经网络的输入，经过两个卷积层和两个全连接层得到最终的输出值，即动作/>
Figure SMS_57
，Q函数表示为：
Figure SMS_58
，
其中，
Figure SMS_61
为立即奖励值，/>
Figure SMS_63
是折扣因子，/>
Figure SMS_67
是在状态/>
Figure SMS_60
下采取动作/>
Figure SMS_64
的下一个状态，/>
Figure SMS_66
为目标网络所选动作，每个时间步长n的经验/>
Figure SMS_69
被存储在经验回放池/>
Figure SMS_59
中，即将数组/>
Figure SMS_62
存放入集合/>
Figure SMS_65
中，且通过随机选择均匀分布
Figure SMS_68
中的元素，得到目标值：
Figure SMS_70
，
其中，
Figure SMS_71
为立即奖励值，/>
Figure SMS_72
是第i次迭代时目标Q网络的参数，当输入为/>
Figure SMS_73
时，目标Q网络的输出为/>
Figure SMS_74
，第i次迭代时策略Q网络的参数/>
Figure SMS_75
，目标值与策略Q网络的实际输出的均方误差作为损失函数：
Figure SMS_76
，
其中，
Figure SMS_77
为目标网络的参数，/>
Figure SMS_78
为策略网络的参数，损失函数的梯度为：
Figure SMS_79
，
其中，
Figure SMS_80
为目标值，使用梯度下降法对策略网络的参数进行更新。
作为本发明的进一步改进，步骤3还包括
步骤S39、在训练阶段，根据状态
Figure SMS_82
，智能体采用动态/>
Figure SMS_88
-greedy算法选择动作/>
Figure SMS_91
，即在每次迭代时随机选择动作/>
Figure SMS_83
的概率为/>
Figure SMS_87
，而选择令策略网络最大的动作
Figure SMS_90
的概率为/>
Figure SMS_93
，其中，/>
Figure SMS_81
，其中/>
Figure SMS_85
=0.9为初始概率，i为迭代次数，decay为衰减参数，概率/>
Figure SMS_89
随着迭代次数的增加以指数级别降低，并将样本/>
Figure SMS_92
存入经验回放池/>
Figure SMS_84
，经验回放池/>
Figure SMS_86
满了之后，用新的样本根据先进先出的原则更新经验回放池；
步骤S310、经验回放池
Figure SMS_95
中元素数量大于预设值10000后，从/>
Figure SMS_97
中随机选择64个样本/>
Figure SMS_100
，其中/>
Figure SMS_96
表示随机变量/>
Figure SMS_98
服从/>
Figure SMS_99
上的均匀分布，通过梯度下降算法进行策略网络的参数/>
Figure SMS_101
迭代更新，每迭代设定值C次后，将策略网络的参数复制用来更新目标网络参数/>
Figure SMS_94
重复以上过程直到达到500次训练回合；
步骤S311、训练结束后，将状态
Figure SMS_102
输入策略网络计算得到输出/>
Figure SMS_103
，选取最大Q值对应的动作，执行该动作即可，不需要再继续迭代更新网络参数。
作为本发明的进一步改进，步骤S4的具体方法如下：
步骤S41、跳频通信接收方在下一次捷变前向跳频通信发送方传输下一个分块窗口的捷变偏移参数
Figure SMS_104
；
步骤S42、跳频通信发送方接收下一个分块窗口的捷变偏移参数
Figure SMS_105
。
作为本发明的进一步改进，步骤S5的具体方法如下：
步骤S51、跳频通信发送方根据接收到的分块捷变偏移参数
Figure SMS_106
对下一个跳频分块捷变窗口内的跳频序列进行整体偏移；
步骤S52、跳频通信发送方输出偏移后的跳频序列；
Figure SMS_107
Figure SMS_108
步骤S53、跳频通信发送方通过跳频频率表选择频点进行跳频。
作为本发明的进一步改进，第n个跳频分块捷变窗口中的分块捷变偏移跳频图案可以表示为：
Figure SMS_109
Figure SMS_110
Figure SMS_111
其中，
Figure SMS_112
是第n个分块捷变偏移跳频图案中第/>
Figure SMS_113
个时隙的偏移频率，跳频通信发送方输出偏移后的跳频序列可以表示为
Figure SMS_114
Figure SMS_115
。
为实现上述目的，本发明还提供了一种分块捷变跳频系统，应用如上所述的分块捷变跳频方法。
本发明的有益效果是：本发明提出了一种面向通信抗干扰的智能分块捷变跳频方法及系统，该智能分块捷变跳频方法具有块位移模式。仿真结果表明，该算法能达到吞吐量的理论值，大大高于传统跳频方案。本发明与现有的基于深度强化学习的跳频算法相比，同步开销得到了很好的缓解。
附图说明
图1为基于强化学习的块偏移跳频方案图。
图2为静态单音干扰下的抗干扰性能图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
在此，需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
另外，还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
如图1和图2所示，本发明揭示了一种分块捷变跳频方法及系统，将抗干扰问题建模为马尔可夫决策过程，智能体能够智能选择最优的跳频序列的分块捷变偏移参数，可以有效地应对多样性的干扰，所述分块捷变跳频方法主要包括以下步骤：
步骤S1、跳频通信双方（包括发送方和接收方）确定跳频序列和一个跳频频率表；
步骤S11、构建具有分块方式的动态偏移跳频系统模型，该模型包含一对合法发射机和接收机。合法发射机和接收机共享一个固定的跳频序列和一个跳频频率表。
步骤S12、发射机和接收机可用的频率资源可以分为M个频隙，频率集合表示为
Figure SMS_116
。
步骤S13、令
Figure SMS_117
表示一个阿贝尔群，其中/>
Figure SMS_118
是一组可用频率。其中，阿贝尔群中的/>
Figure SMS_119
的规则定义为：/>
Figure SMS_120
。
步骤S14、发射机和接收机之间共享的是一个阿贝尔群上
Figure SMS_121
上长度为T=N/>
Figure SMS_122
L的跳频序列:/>
Figure SMS_123
。
其中,
Figure SMS_124
表示第t个时刻的跳频频率。/>
Figure SMS_125
为共享跳频序列。
步骤S2、跳频通信双方事先确定跳频分块捷变窗口长度L(窗口内的跳变时隙数)；
步骤S21、跳频通信双方事先确定跳频分块捷变窗口长度L。
步骤S22、共享跳频序列
Figure SMS_126
可以分为由跳频分块捷变窗口组成的序列，跳频分块捷变窗口可将共享跳频序列/>
Figure SMS_127
分为没有重叠的块。当跳频分块捷变窗口长度为L时，长度为T的共享跳频序列/>
Figure SMS_128
可拆分为N=T/L块：/>
Figure SMS_129
。
其中，
Figure SMS_130
表示/>
Figure SMS_131
中第n个跳频分块捷变窗口，其长度为L，可以表示为：
Figure SMS_132
，其中，/>
Figure SMS_133
表示第n个跳频分块捷变窗口中第/>
Figure SMS_134
个时隙的频率。
步骤S3、使用深度强化学习实现抗干扰策略，根据共享跳频序列
Figure SMS_135
确定状态、动作选择、立即奖励值，计算下一个分块窗口的捷变偏移参数；步骤S3的方法可以通过优化抗干扰通信场景下的通信成功吞吐率得到；
步骤S31、定义
Figure SMS_136
表示第n个跳频分块捷变窗口的分块捷变偏移参数，以合法用户之间的通信吞吐率为目标，跳频通信接收方通过但不限于深度强化学习来实时计算下一个分块捷变偏移参数/>
Figure SMS_137
；
步骤S32、使用one-hot编码将共享跳频图案中的元素映射到大小为1×M的向量
Figure SMS_138
；其中，向量/>
Figure SMS_139
由0和1组成，且当/>
Figure SMS_140
时，/>
Figure SMS_141
，否则，
Figure SMS_142
；
步骤S33、共享跳频图案G中的跳频块
Figure SMS_143
可以表示为大小为L×M的矩阵；
Figure SMS_144
，
步骤S34、基于步骤S33，偏移后的跳频序列可以表示为大小为L×M的矩阵；
Figure SMS_145
，
步骤S35、使用multi-hot编码将第n个块中第l个时隙中的一组干扰音
Figure SMS_146
映射到大小为1×M的向量/>
Figure SMS_147
；其中，向量/>
Figure SMS_148
由0和1组成，且当/>
Figure SMS_149
时，
Figure SMS_150
，否则，/>
Figure SMS_151
；
步骤S36、基于步骤S35，第n个块中的干扰音可以表示为大小为L×M的矩阵，
Figure SMS_152
，
步骤S37、使用深度强化学习算法实时抗干扰策略，块偏移跳频图案状态
Figure SMS_155
包含三个矩阵，表示为一个L×M×3的三维张量/>
Figure SMS_159
，其中/>
Figure SMS_164
，/>
Figure SMS_154
和/>
Figure SMS_158
分别表示第n块跳频图案对信道的占用情况，第n块干扰信号对信道的占用情况和第n+1块原始跳频图案信道的占用情况，动作/>
Figure SMS_162
为第n+1个块中共享跳频图案的偏移量，即/>
Figure SMS_166
，状态转移概率表示为P:/>
Figure SMS_153
，指的是在执行操作/>
Figure SMS_157
时从当前状态/>
Figure SMS_161
到下一状态/>
Figure SMS_165
的转移概率，立即奖励值定义为/>
Figure SMS_156
，其中
Figure SMS_160
为指示函数，如果第n+1个块中第l个时隙中的通信没有收到干扰，则
Figure SMS_163
，否则为0，/>
Figure SMS_167
表示第n+1个块中数据传输成功的时隙数；
步骤S38、建立两个神经网络，一个是权值参数为
Figure SMS_168
的策略神经网络，另一个是权值参数为/>
Figure SMS_169
的策略神经网络，并初始化权值参数，将块偏移跳频图案状态/>
Figure SMS_170
作为神经网络的输入，经过两个卷积层和两个全连接层得到最终的输出值，即动作/>
Figure SMS_171
，Q函数表示为：
Figure SMS_172
，
其中，
Figure SMS_173
为立即奖励值，/>
Figure SMS_176
是折扣因子，/>
Figure SMS_180
是在状态/>
Figure SMS_174
下采取动作/>
Figure SMS_177
的下一个状态，/>
Figure SMS_181
为目标网络所选动作，每个时间步长n的经验/>
Figure SMS_183
被存储在经验回放池/>
Figure SMS_175
中，即将数组/>
Figure SMS_178
存放入集合/>
Figure SMS_179
中，且通过随机选择均匀分布
Figure SMS_182
中的元素，得到目标值：
Figure SMS_184
，
其中，
Figure SMS_185
为立即奖励值，/>
Figure SMS_186
是第i次迭代时目标Q网络的参数，当输入为/>
Figure SMS_187
时，目标Q网络的输出为/>
Figure SMS_188
，第i次迭代时策略Q网络的参数/>
Figure SMS_189
，目标值与策略Q网络的实际输出的均方误差作为损失函数：
Figure SMS_190
，
其中，
Figure SMS_191
为目标网络的参数，/>
Figure SMS_192
为策略网络的参数，损失函数的梯度为：
Figure SMS_193
，
其中，
Figure SMS_194
为目标值，使用梯度下降法对策略网络的参数进行更新。
步骤S39、在训练阶段，根据状态
Figure SMS_197
，智能体采用动态/>
Figure SMS_202
-greedy算法选择动作/>
Figure SMS_203
，即在每次迭代时随机选择动作/>
Figure SMS_198
的概率为/>
Figure SMS_201
，而选择令策略网络最大的动作
Figure SMS_205
的概率为/>
Figure SMS_207
，其中，/>
Figure SMS_195
，其中/>
Figure SMS_199
=0.9为初始概率，i为迭代次数，decay为衰减参数，概率/>
Figure SMS_204
随着迭代次数的增加以指数级别降低，并将样本/>
Figure SMS_206
存入经验回放池/>
Figure SMS_196
，经验回放池/>
Figure SMS_200
满了之后，用新的样本根据先进先出的原则更新经验回放池；
步骤S310、经验回放池
Figure SMS_210
中元素数量大于预设值10000后，从/>
Figure SMS_212
中随机选择64个样本/>
Figure SMS_213
，其中/>
Figure SMS_209
表示随机变量/>
Figure SMS_211
服从/>
Figure SMS_214
上的均匀分布，通过梯度下降算法进行策略网络的参数/>
Figure SMS_215
迭代更新，每迭代设定值C次后，将策略网络的参数复制用来更新目标网络参数/>
Figure SMS_208
重复以上过程直到达到500次训练回合；
步骤S311、训练结束后，将状态
Figure SMS_216
输入策略网络计算得到输出/>
Figure SMS_217
，选取最大Q值对应的动作，执行该动作即可，不需要再继续迭代更新网络参数。
步骤S4、跳频通信接收方在下一个分块窗口捷变前向跳频通信发送方传输下一个分块窗口的捷变偏移参数；
步骤S41、跳频通信接收方在下一次捷变前向跳频通信发送方传输下一个分块窗口的捷变偏移参数
Figure SMS_218
。
步骤S42、跳频通信发送方接收下一个分块窗口的捷变偏移参数
Figure SMS_219
。
步骤S5、跳频通信发送方根据接收到的分块捷变偏移值对下一个跳频分块捷变窗口内的跳频序列进行整体偏移，输出偏移后的跳频序列，通过频率映射表选择跳频频点进行跳频；
步骤S51、跳频通信发送方根据接收到的分块捷变偏移参数
Figure SMS_220
对下一个跳频分块捷变窗口内的跳频序列进行整体偏移。则第n个跳频分块捷变窗口中的分块捷变偏移跳频图案可以表示为：
Figure SMS_221
Figure SMS_222
Figure SMS_223
其中，
Figure SMS_224
是第n个分块捷变偏移跳频图案中第/>
Figure SMS_225
个时隙的偏移频率。
步骤S52、跳频通信发送方输出偏移后的跳频序列。
Figure SMS_226
Figure SMS_227
步骤S53、跳频通信发送方通过跳频频率表选择频点进行跳频。
以下将结合具体实施例进行说明。
本发明的实施例具体描述如下，系统仿真采用Python的Pytorch框架，系统模型包含一对合法发射机和接收机。
该实施例中我们考虑静态单音干扰，其干扰音固定在一个频率。
图2为本发明实施例中在静态单音干扰下的抗干扰性能图，从图中可以看出，在该种干扰下，归一化吞吐量可以逐渐收敛到理论上界。根据图2中曲线的收敛速度，可以看出，在该种干扰下算法可以在大约200个回合内收敛，另外还可以看出，即使分块捷变窗口长度为L = 12，本发明提出的算法抗干扰效果也明显更优，归一化吞吐量可以达到约96%，比传统的跳频方案高15%。
综上所述，本发明提出了一种面向通信抗干扰的智能分块捷变跳频方法及系统，该智能分块捷变跳频方法具有块位移模式。仿真结果表明，该算法能达到吞吐量的理论值，大大高于传统跳频方案。本发明与现有的基于深度强化学习的跳频算法相比，同步开销得到了很好的缓解。
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种分块捷变跳频方法，其特征在于，主要包括以下步骤：
步骤S1、跳频通信双方确定跳频序列和一个跳频频率表；
步骤S2、跳频通信双方事先确定跳频分块捷变窗口长度L；
步骤S3、根据通信任务需求跳频通信接收方动态实时预先计算下一个分块窗口内的捷变偏移参数；
步骤S4、跳频通信接收方在下一个分块窗口捷变前向跳频通信发送方传输下一个分块窗口的捷变偏移参数；
步骤S5、跳频通信发送方根据接收到的分块捷变偏移值对下一个跳频分块捷变窗口内的跳频序列进行整体偏移，输出偏移后的跳频序列，通过频率映射表选择跳频频点进行跳频。
2.根据权利要求1所述的分块捷变跳频方法，其特征在于：步骤S1的具体方法如下：
步骤S11、构建具有分块方式的动态偏移跳频系统模型，该模型包含一对合法发射机和接收机，合法发射机和接收机共享一个固定的跳频序列和一个跳频频率表；
步骤S12、发射机和接收机可用的频率资源可以分为M个频隙，频率集合表示为
Figure QLYQS_1
；
步骤S13、令
Figure QLYQS_2
表示一个阿贝尔群，其中/>
Figure QLYQS_3
是一组可用频率，其中，阿贝尔群中的/>
Figure QLYQS_4
的规则定义为：/>
Figure QLYQS_5
；
步骤S14、发射机和接收机之间共享的是一个阿贝尔群上
Figure QLYQS_6
上长度为T=N/>
Figure QLYQS_7
L的跳频序列:/>
Figure QLYQS_8
，其中,/>
Figure QLYQS_9
表示第t个时刻的跳频频率，/>
Figure QLYQS_10
为共享跳频序列。
3.根据权利要求1所述的分块捷变跳频方法，其特征在于：步骤S2的具体方法如下：
步骤S21、跳频通信双方事先确定跳频分块捷变窗口长度L；
步骤S22、共享跳频序列
Figure QLYQS_12
可以分为由跳频分块捷变窗口组成的序列，跳频分块捷变窗口可将共享跳频序列/>
Figure QLYQS_15
分为没有重叠的块，当跳频分块捷变窗口长度为L时，长度为T的共享跳频序列/>
Figure QLYQS_18
可拆分为N=T/L块：/>
Figure QLYQS_13
，其中，/>
Figure QLYQS_16
表示/>
Figure QLYQS_17
中第n个跳频分块捷变窗口，其长度为L，可以表示为：/>
Figure QLYQS_19
，其中，/>
Figure QLYQS_11
表示第n个跳频分块捷变窗口中第/>
Figure QLYQS_14
个时隙的频率。
4.根据权利要求1所述的分块捷变跳频方法，其特征在于：步骤S3的具体步骤为：使用深度强化学习实现抗干扰策略，根据共享跳频序列
Figure QLYQS_20
确定状态、动作选择、立即奖励值，计算下一个分块窗口的捷变偏移参数。
5.根据权利要求1所述的分块捷变跳频方法，其特征在于：步骤S3还包括
步骤S31、定义
Figure QLYQS_21
表示第n个跳频分块捷变窗口的分块捷变偏移参数，以合法用户之间的通信吞吐率为目标，跳频通信接收方通过但不限于深度强化学习来实时计算下一个分块捷变偏移参数/>
Figure QLYQS_22
；
步骤S32、使用one-hot编码将共享跳频图案中的元素映射到大小为1×M的向量
Figure QLYQS_23
；其中，向量/>
Figure QLYQS_24
由0和1组成，且当/>
Figure QLYQS_25
时，/>
Figure QLYQS_26
，否则，
Figure QLYQS_27
；
步骤S33、共享跳频图案
Figure QLYQS_28
中的跳频块/>
Figure QLYQS_29
可以表示为大小为L×M的矩阵；
Figure QLYQS_30
，
步骤S34、基于步骤S33，偏移后的跳频序列可以表示为大小为L×M的矩阵；
Figure QLYQS_31
，
步骤S35、使用multi-hot编码将第n个块中第l个时隙中的一组干扰音
Figure QLYQS_32
映射到大小为1×M的向量/>
Figure QLYQS_33
；其中，向量/>
Figure QLYQS_34
由0和1组成，且当/>
Figure QLYQS_35
时，
Figure QLYQS_36
，否则，/>
Figure QLYQS_37
；
步骤S36、基于步骤S35，第n个块中的干扰音可以表示为大小为L×M的矩阵，
Figure QLYQS_38
，
步骤S37、使用深度强化学习算法实时抗干扰策略，块偏移跳频图案状态
Figure QLYQS_40
包含三个矩阵，表示为一个L×M×3的三维张量/>
Figure QLYQS_45
，其中/>
Figure QLYQS_50
，/>
Figure QLYQS_42
和/>
Figure QLYQS_44
分别表示第n块跳频图案对信道的占用情况，第n块干扰信号对信道的占用情况和第n+1块原始跳频图案信道的占用情况，动作/>
Figure QLYQS_48
为第n+1个块中共享跳频图案的偏移量，即/>
Figure QLYQS_52
，状态转移概率表示为P:/>
Figure QLYQS_39
，指的是在执行操作/>
Figure QLYQS_43
时从当前状态/>
Figure QLYQS_47
到下一状态
Figure QLYQS_51
的转移概率，立即奖励值定义为/>
Figure QLYQS_41
，其中/>
Figure QLYQS_46
为指示函数，如果第n+1个块中第l个时隙中的通信没有收到干扰，则/>
Figure QLYQS_49
，否则为0，/>
Figure QLYQS_53
表示第n+1个块中数据传输成功的时隙数；
步骤S38、建立两个神经网络，一个是权值参数为
Figure QLYQS_54
的策略神经网络，另一个是权值参数为/>
Figure QLYQS_55
的策略神经网络，并初始化权值参数，将块偏移跳频图案状态/>
Figure QLYQS_56
作为神经网络的输入，经过两个卷积层和两个全连接层得到最终的输出值，即动作/>
Figure QLYQS_57
，Q函数表示为：
Figure QLYQS_58
，
其中，
Figure QLYQS_61
为立即奖励值，/>
Figure QLYQS_64
是折扣因子，/>
Figure QLYQS_67
是在状态/>
Figure QLYQS_60
下采取动作/>
Figure QLYQS_63
的下一个状态，
Figure QLYQS_65
为目标网络所选动作，每个时间步长n的经验/>
Figure QLYQS_68
被存储在经验回放池/>
Figure QLYQS_59
中，即将数组/>
Figure QLYQS_62
存放入集合/>
Figure QLYQS_66
中，且通过随机选择均匀分布
Figure QLYQS_69
中的元素，得到目标值：
Figure QLYQS_70
，
其中，
Figure QLYQS_71
为立即奖励值，/>
Figure QLYQS_72
是第i次迭代时目标Q网络的参数，当输入为/>
Figure QLYQS_73
时，目标Q网络的输出为/>
Figure QLYQS_74
，第i次迭代时策略Q网络的参数/>
Figure QLYQS_75
，目标值与策略Q网络的实际输出的均方误差作为损失函数：
Figure QLYQS_76
，
其中，
Figure QLYQS_77
为目标网络的参数，/>
Figure QLYQS_78
为策略网络的参数，损失函数的梯度为：
Figure QLYQS_79
，
其中，
Figure QLYQS_80
为目标值，使用梯度下降法对策略网络的参数进行更新。
6.根据权利要求5所述的分块捷变跳频方法，其特征在于：步骤3还包括
步骤S39、在训练阶段，根据状态
Figure QLYQS_82
，智能体采用动态/>
Figure QLYQS_86
-greedy算法选择动作/>
Figure QLYQS_91
，即在每次迭代时随机选择动作/>
Figure QLYQS_83
的概率为/>
Figure QLYQS_85
，而选择令策略网络最大的动作
Figure QLYQS_89
的概率为/>
Figure QLYQS_92
，其中，/>
Figure QLYQS_81
，其中/>
Figure QLYQS_87
=0.9为初始概率，i为迭代次数，decay为衰减参数，概率/>
Figure QLYQS_90
随着迭代次数的增加以指数级别降低，并将样本/>
Figure QLYQS_93
存入经验回放池/>
Figure QLYQS_84
，经验回放池/>
Figure QLYQS_88
满了之后，用新的样本根据先进先出的原则更新经验回放池；
步骤S310、经验回放池
Figure QLYQS_96
中元素数量大于预设值10000后，从/>
Figure QLYQS_98
中随机选择64个样本
Figure QLYQS_100
，其中/>
Figure QLYQS_95
表示随机变量/>
Figure QLYQS_97
服从
Figure QLYQS_99
上的均匀分布，通过梯度下降算法进行策略网络的参数/>
Figure QLYQS_101
迭代更新，每迭代设定值C次后，将策略网络的参数复制用来更新目标网络参数/>
Figure QLYQS_94
，重复该步骤直到达到500次训练回合；
步骤S311、训练结束后，将状态
Figure QLYQS_102
输入策略网络计算得到输出/>
Figure QLYQS_103
，选取最大Q值对应的动作，执行该动作即可，不需要再继续迭代更新网络参数。
7.根据权利要求1所述的分块捷变跳频方法，其特征在于：步骤S4的具体方法如下：
步骤S41、跳频通信接收方在下一次捷变前向跳频通信发送方传输下一个分块窗口的捷变偏移参数
Figure QLYQS_104
；
步骤S42、跳频通信发送方接收下一个分块窗口的捷变偏移参数
Figure QLYQS_105
。
8.根据权利要求1所述的分块捷变跳频方法，其特征在于：步骤S5的具体方法如下：
步骤S51、跳频通信发送方根据接收到的分块捷变偏移参数
Figure QLYQS_106
对下一个跳频分块捷变窗口内的跳频序列进行整体偏移；
步骤S52、跳频通信发送方输出偏移后的跳频序列；
Figure QLYQS_107
Figure QLYQS_108
步骤S53、跳频通信发送方通过跳频频率表选择频点进行跳频。
9.根据权利要求8所述的分块捷变跳频方法，其特征在于：第n个跳频分块捷变窗口中的分块捷变偏移跳频图案可以表示为：
Figure QLYQS_109
Figure QLYQS_110
Figure QLYQS_111
其中，
Figure QLYQS_112
是第n个分块捷变偏移跳频图案中第/>
Figure QLYQS_113
个时隙的偏移频率，跳频通信发送方输出偏移后的跳频序列可以表示为
Figure QLYQS_114
Figure QLYQS_115
。
10.一种分块捷变跳频系统，其特征在于：应用如权利要求1-9中任一项所述的分块捷变跳频方法。
CN202310637604.6A 2023-06-01 2023-06-01 分块捷变跳频方法 Active CN116366093B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310637604.6A CN116366093B (zh) 2023-06-01 2023-06-01 分块捷变跳频方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310637604.6A CN116366093B (zh) 2023-06-01 2023-06-01 分块捷变跳频方法

Publications (2)

Publication Number Publication Date
CN116366093A true CN116366093A (zh) 2023-06-30
CN116366093B CN116366093B (zh) 2023-08-25

Family

ID=86905522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310637604.6A Active CN116366093B (zh) 2023-06-01 2023-06-01 分块捷变跳频方法

Country Status (1)

Country Link
CN (1) CN116366093B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020009991A1 (en) * 1997-09-11 2002-01-24 Interwave Communications International Ltd. Cellular private branch exchanges
CN1518799A (zh) * 2001-05-22 2004-08-04 Ī�ٽ��ڹɷ����޹�˾ 用于传输数字消息的方法和实现所述方法的系统
US20070211681A1 (en) * 2006-03-09 2007-09-13 Spinwave Systems, Inc. Method and System for Frequency Agility in a Wireless Sensor Network
US20070296510A1 (en) * 2006-06-12 2007-12-27 Backes Glen B Frequency hopping oscillator circuit
US20090257420A1 (en) * 2008-04-10 2009-10-15 Honeywell International Inc. Process Control System With Enhanced Communication Throughput Using Frequency Agility
GB201109289D0 (en) * 2011-06-02 2011-07-20 Renesas Mobile Corp Frequency hopping in license-exempt/shared bands
CA2798471A1 (en) * 2011-12-07 2013-06-07 Harris Corporation Specification of a frequency agile dynamic spectrum access tdma method
CN103532590A (zh) * 2013-10-31 2014-01-22 四川九洲电器集团有限责任公司 一种跳频通信的双通道同步方法
WO2019126412A1 (en) * 2017-12-21 2019-06-27 Nxgen Partners Ip, Llc Full duplex using oam
CN110266346A (zh) * 2019-07-05 2019-09-20 北京电子工程总体研究所 频率捷变信号跳频时间测试方法及系统
CN112422124A (zh) * 2021-01-21 2021-02-26 成都市克莱微波科技有限公司 一种宽带捷变频率源及其工作方法
US20210234592A1 (en) * 2020-01-23 2021-07-29 Nxgen Partners Ip, Llc Hybrid digital-analog mmwave repeater/relay with full duplex
CN113376601A (zh) * 2021-05-10 2021-09-10 西安电子科技大学 基于clean算法的捷变频雷达旁瓣抑制方法
CN113595589A (zh) * 2021-08-03 2021-11-02 西安电子科技大学 跳频通信方法及装置、存储介质、电子设备
CN113884992A (zh) * 2021-10-20 2022-01-04 西安电子科技大学 一种频率捷变雷达的自适应抗干扰方法
US20220065985A1 (en) * 2020-09-03 2022-03-03 Signalchip Innovations Private Limited Pulsed radar system and method with digital mixer for frequency hopping

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020009991A1 (en) * 1997-09-11 2002-01-24 Interwave Communications International Ltd. Cellular private branch exchanges
CN1518799A (zh) * 2001-05-22 2004-08-04 Ī�ٽ��ڹɷ����޹�˾ 用于传输数字消息的方法和实现所述方法的系统
US20070211681A1 (en) * 2006-03-09 2007-09-13 Spinwave Systems, Inc. Method and System for Frequency Agility in a Wireless Sensor Network
US20070296510A1 (en) * 2006-06-12 2007-12-27 Backes Glen B Frequency hopping oscillator circuit
US20090257420A1 (en) * 2008-04-10 2009-10-15 Honeywell International Inc. Process Control System With Enhanced Communication Throughput Using Frequency Agility
GB201109289D0 (en) * 2011-06-02 2011-07-20 Renesas Mobile Corp Frequency hopping in license-exempt/shared bands
CA2798471A1 (en) * 2011-12-07 2013-06-07 Harris Corporation Specification of a frequency agile dynamic spectrum access tdma method
CN103532590A (zh) * 2013-10-31 2014-01-22 四川九洲电器集团有限责任公司 一种跳频通信的双通道同步方法
WO2019126412A1 (en) * 2017-12-21 2019-06-27 Nxgen Partners Ip, Llc Full duplex using oam
CN110266346A (zh) * 2019-07-05 2019-09-20 北京电子工程总体研究所 频率捷变信号跳频时间测试方法及系统
US20210234592A1 (en) * 2020-01-23 2021-07-29 Nxgen Partners Ip, Llc Hybrid digital-analog mmwave repeater/relay with full duplex
US20220065985A1 (en) * 2020-09-03 2022-03-03 Signalchip Innovations Private Limited Pulsed radar system and method with digital mixer for frequency hopping
CN112422124A (zh) * 2021-01-21 2021-02-26 成都市克莱微波科技有限公司 一种宽带捷变频率源及其工作方法
CN113376601A (zh) * 2021-05-10 2021-09-10 西安电子科技大学 基于clean算法的捷变频雷达旁瓣抑制方法
CN113595589A (zh) * 2021-08-03 2021-11-02 西安电子科技大学 跳频通信方法及装置、存储介质、电子设备
CN113884992A (zh) * 2021-10-20 2022-01-04 西安电子科技大学 一种频率捷变雷达的自适应抗干扰方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FALK-MORITZ SCHAEFER: "Frequency Hopping for Indoor Fading Channels With Varying Level of Environmental Mobility", IEEE WIRELESS COMMUNICATIONS LETTERS, vol. 4, no. 1 *
吴晓富: "LDPC编码跳频通信系统中的迭代抗干扰抑制算法研究", 军事通信技术, vol. 29, no. 1 *
周研: "基于双DDS跳变的捷变频率发生器的设计", 电子测量与仪器学报, vol. 24, no. 6 *
宁奔: "基于认知的高性能隐蔽跳频序列理论研究", 中国优秀博士学位论文全文数据库 *

Also Published As

Publication number Publication date
CN116366093B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN111901862B (zh) 一种基于深度q网络的用户分簇与功率分配方法、设备和介质
Li et al. Dynamic spectrum anti-jamming in broadband communications: A hierarchical deep reinforcement learning approach
CN113406579B (zh) 一种基于深度强化学习的伪装干扰波形生成方法
CN105873214A (zh) 一种基于遗传算法的d2d通信系统的资源分配方法
JP2021166362A (ja) 信号推定装置、信号推定方法、及び、コンピュータプログラム
Jiang et al. Joint compressed sensing and enhanced whale optimization algorithm for pilot allocation in underwater acoustic OFDM systems
CN111464469A (zh) 基于神经网络的混合数字调制方式识别方法
Thien et al. A transfer games actor–critic learning framework for anti-jamming in multi-channel cognitive radio networks
CN116366093B (zh) 分块捷变跳频方法
Wang et al. Residual learning based RF signal denoising
CN108574653B (zh) 基于双Sigmoid迟滞噪声混沌神经网络的信号盲检测方法
Perera et al. Flex-Net: a graph neural network approach to resource management in flexible duplex networks
Kalade et al. Using sequence to sequence learning for digital bpsk and qpsk demodulation
CN115276858A (zh) 基于认知抗干扰模型的动态频谱多域抗干扰方法及系统
CN115103446A (zh) 一种基于深度强化学习的多用户通信抗干扰智能决策方法
Qi et al. Deep Reinforcement Learning Based Hopping Strategy for Wideband Anti-Jamming Wireless Communications
Yin et al. Echo state network based symbol detection in chaotic baseband wireless communication
Zhang et al. RL-Based Frequency Hopping with Block-Shifted Patterns: Balancing between Anti-Jamming Performance and Synchronization Overhead
Alzaq et al. Wavelet preprocessed neural network based receiver for low SNR communication system
Anzaldo et al. Deep reinforcement learning for power control in multi-tasks wireless cellular networks
Govindhan et al. Improving High data rates in Milli meter Wave Communication networks via Long short term memory Technique
Dvornikov et al. STATISTICAL ARITHMETIC CODING ALGORITHM ADAPTIVE TO CORRELATION PROPERTIES OF WAVELET TRANSFORM COEFFICIENTS
Setzler et al. Deep Learning for Spectral Filling in Radio Frequency Applications
CN115866559B (zh) 一种非正交多址接入辅助的车联网低能耗安全卸载方法
CN116774165B (zh) 一种多雷达协同抗干扰信号波形设计方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant