CN115208494B - 一种基于条件生成对抗网络的信道切换策略学习方法 - Google Patents

一种基于条件生成对抗网络的信道切换策略学习方法 Download PDF

Info

Publication number
CN115208494B
CN115208494B CN202210876590.9A CN202210876590A CN115208494B CN 115208494 B CN115208494 B CN 115208494B CN 202210876590 A CN202210876590 A CN 202210876590A CN 115208494 B CN115208494 B CN 115208494B
Authority
CN
China
Prior art keywords
channel
network
communication
input
cgan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210876590.9A
Other languages
English (en)
Other versions
CN115208494A (zh
Inventor
金虎
赵凡
陈红
徐云
钱锋
俞红兵
李扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202210876590.9A priority Critical patent/CN115208494B/zh
Publication of CN115208494A publication Critical patent/CN115208494A/zh
Application granted granted Critical
Publication of CN115208494B publication Critical patent/CN115208494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/382—Monitoring; Testing of propagation channels for resource allocation, admission control or handover
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/373—Predicting channel quality or other radio frequency [RF] parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Electromagnetism (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于条件生成对抗网络的信道切换策略学习方法，包括：将通信方当前时刻通信信道作为生成网络的输入，受到干扰后所转移到下一时刻通信信道作为真实样本，对CGAN进行训练，使得生成网络能够根据输入的当前时刻通信信道，预测出下一时刻的通信信道。本发明的方法通过对通信方信道选择历史进行学习，能够较快地学习到通信方的信道转换策略，准确预测通信方下一时刻的通信信道。

Description

一种基于条件生成对抗网络的信道切换策略学习方法
技术领域
本发明涉及通信技术，具体涉及一种基于条件生成对抗网络的信道切换策略学习方法。
背景技术
在通信干扰过程中，当通信方采用切换通信信道的方式躲避干扰时，干扰方往往要经过一段时间的观察，才能确定通信方下一时刻的通信信道，并切换干扰信道实施干扰，但此时可能已经错过了最佳的干扰时机。因此，为使干扰方能够自适应地对通信方的信道切换策略进行学习，预测出下一时刻的通信信道，在一定程度上前瞻性对下一时刻的通信信道进行干扰。
发明内容
本发明的主要目的在于提供一种基于条件生成对抗网络的信道切换策略学习方法，能够较快地学习到通信方的信道转换策略，准确预测通信方下一时刻的通信信道。
本发明采用的技术方案是：一种基于条件生成对抗网络的信道切换策略学习方法，包括：
将通信方当前时刻通信信道作为生成网络的输入，受到干扰后所转移到下一时刻通信信道作为真实样本，对CGAN进行训练，使得生成网络能够根据输入的当前时刻通信信道，预测出下一时刻的通信信道。
进一步地，所述方法具体包括：
条件生成对抗网络：
CGAN的损失函数为式(1)：
(1)
式(1)中为真实样本的分布，/>为输入随机噪声的分布，/>表示输入是真实样本/>和标签/>时，D的输出，/>表示输入为随机噪声/>和标签/>时，G的输出；经过训练，G根据指定的标签/>生成相应的数据；
损失函数设计：
用均方误差衡量同一当前信道下，预测的下一时刻信道和真实的下一时刻信道之间的相似度，并添加到生成的损失函数中去，生成网络的损失函数就如式(2)所示：
(2)
式中，表示真实的下一时刻信道和生成网络预测的下一时刻信道/>间的MSE，/>表示两向量/>和间的距离；
CGAN的整体损失函数如式(3)所示：
(3)
网络结构设计：
生成网络与判别网络都只含有一个隐藏层，并且隐藏层和输出层都用全连接层加激活函数实现。
本发明的优点：
本发明的方法将通信方当前时刻通信信道作为生成网络的输入，受到干扰后所转移到下一时刻通信信道作为真实样本，对CGAN进行训练，使得生成网络能够根据输入的当前时刻通信信道，预测出下一时刻的通信信道。通过对通信方信道选择历史进行学习，能够较快地学习到通信方的信道转换策略，准确预测通信方下一时刻的通信信道。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是CGAN的基本结构图；
图2是本发明的基于条件生成对抗网络的信道切换策略学习技术模型图；
图3是本发明的CGAN结构设计图；
图4是本发明的通信方采用不同信道切换策略时的预测准确度图；
图5是本发明的通信方采用策略4切换信道时的预测准确度图；
图6是本发明的通信方改变信道切换策略时的预测准确度图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
条件生成对抗网络
最初的GAN中，生成网络的输入是随机的噪声序列，无法生成具有指定的某种特征的样本。为使GAN能够进行有条件的生成，有提出条件生成对抗网络(Conditional GAN,CGAN)，在生成网络、判别网络以及真实样本中增加约束性条件c进行标记，c可以是类别标签、数据属性或者任意其他的额外信息。可以通过控制c，让GAN生成满足指定条件的样本。以添加标签c为例，CGAN的结构如图1所示。
CGAN中，生成网络的输入是随机噪声和标签，判别网络的输入是真实样本和其对应的标签，或者生成样本和其生成时所用的标签，判别网络在判别输入是否为真样本的基础上，还要判断输入样本和输入的标签是否对应。因此，CGAN的损失函数在原始GAN的基础上改写为式(1)：
(1)
式(1)中为真实样本的分布，/>为输入随机噪声的分布，/>表示输入是真实样本/>和标签/>时，D的输出，/>表示输入为随机噪声/>和标签/>时，G的输出。经过训练，G可以根据指定的标签/>生成相应的数据。
损失函数设计
本发明基于条件生成对抗网络的信道切换策略学习技术模型如图2所示。为使生成网络能够学习到目标通信系统的信道切换策略，前瞻性地对下一时刻通信信道进行预测，本发明运用目标通信系统的信道切换历史作为数据集对CGAN进行训练。生成网络G的输入为当前时刻通信信道，输出是生成信道(也就是生成网络所预测的下一时刻通信信道)，判别网络的输入为当前信道和生成信道或者当前信道和真实的下一时刻信道，判别网络会以当前信道为条件，判断输入的下一时刻信道是真实的还是由生成网络生成的。经过训练，当网络收敛，并且生成的信道能够骗过判别网络时，则认为此时生成网络已经学会了目标通信系统的信道切换策略，能够预测出下一刻的通信信道。
为提高预测信道的准确性，本发明用均方误差(mean squared error, MSE)衡量同一当前信道下，预测的下一时刻信道和真实的下一时刻信道之间的相似度，并添加到生成的损失函数中去。使得训练时，生成网络不仅要以生成的样本能骗过判别网络为目标，也要以生成样本与真实样本一致为目标，这样生成网络的损失函数就如式(2)所示：
(2)
式中，表示真实的下一时刻信道/>和生成网络预测的下一时刻信道/>间的MSE，/>表示两向量/>和间的距离。
那么，CGAN的整体损失函数如式(3)所示：
(3)
网络结构设计
假设通信方有12个可供选择的信道，受到干扰后会以某种未知的信道切换策略在其余11个信道中选择一个继续进行通信。本发明基于条件生成对抗网络的信道切换策略学习技术所用CGAN的网络结构如图3所示。生成网络与判别网络都只含有一个隐藏层，并且隐藏层和输出层都用全连接层加激活函数实现。
如图3中(a)为生成网络的结构示意图，输入是长度为12的表示当前信道的一维矢量，经过两层全连接层转换成长度为12的表示预测的下一刻信道的一维矢量输出，其中隐藏层的激活函数为ReLU，输出层的激活函数为Tanh。如图3中(b)为判别网络的结构示意图，判别网络的输入是当前信道和生成信道或者当前信道和真实的下一刻信道，因此是长度为24的一维矢量。经过两次全连接层的变换，输出一个标量，表示在当前信道下，判断输入是真实的下一刻信道的概率，其中隐藏层的激活函数为ReLU，输出层的激活函数为Sigmoid。
实验结果与分析
在本发明实验中，假设通信方有12个可供选择的信道，受到干扰后会以某种未知的信道切换策略在其余11个信道中选择一个继续进行通信。本发明仿真了三种信道切换策略：(1)受到干扰后通信方会依顺序切换到下一个信道；(2)受到干扰后通信方会以0到6、1到9、2到4、3到0、4到1、5到11、6到5、7到8、8到10、9到7、10到3、11到2的顺序切换信道；(3)受到干扰后通信方会切换到与当前信道间隔9个信道的信道，例如，从0到10、从1到11、从2到0、从3到1，以此类推。
在通信方分别采用三种策略切换信道时，随训练次数的增加，每100次中准确预测下一个信道的概率如图4所示。
从图4中可以看到，采用三种策略时，CGAN都能够较快的学习到目标通信系统的信道切换策略，在经过约200次的训练后，生成网络能以100%的概率准确预测到通信方下一刻的通信信道。
当通信方受到干扰后，以20%的概率选择策略1切换信道，以80%的概率选择策略2切换信道时，称这种信道切换策略为策略4。通信方采用策略4切换信道时，随训练次数的增加，每100次中能准确预测下一个信道的概率如图5所示。
从图5中可以看到，采用策略4时，CGAN依旧能够较快地学习到目标通信系统的信道切换策略，在经过约400次的训练后，生成网络能以约80%的概率准确预测到通信方下一刻的通信信道。
假设通信方在持续受到干扰之后，信道切换策略从1变成2，CGAN根据新的信道切换历史继续进行学习，随训练次数的增加，每100次中能准确预测下一个信道的概率如图6所示。
图6中，在通信方改变信道切换策略后，CGAN的预测准确率明显下降，但经过一段时间的训练后，CGAN还是能较快地学习到目标通信系统的信道切换策略，以100%的概率准确预测到通信方下一刻的通信信道。
总的来说，使用目标通信系统的信道切换历史作为数据对CGAN进行训练，经过一段时间的学习，CGAN能够自主学习到目标通信系统的信道切换策略，较为准确的预测到通信方下一刻的通信信道。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于条件生成对抗网络的信道切换策略学习方法，其特征在于，包括：
将通信方当前时刻通信信道作为生成网络的输入，受到干扰后所转移到下一时刻通信信道作为真实样本，对CGAN进行训练，使得生成网络能够根据输入的当前时刻通信信道，预测出下一时刻的通信信道；
所述方法具体包括：
条件生成对抗网络：
CGAN的损失函数为式(1)：
式(1)中Pdata(x)为真实样本的分布，Pz(z)为输入随机噪声的分布，D(c,x)表示输入是真实样本x和标签c时，D的输出，G(c,z)表示输入为随机噪声z和标签c时，G的输出；经过训练，G根据指定的标签c生成相应的数据；
损失函数设计：
用均方误差衡量同一当前信道下，预测的下一时刻信道和真实的下一时刻信道之间的相似度，并添加到生成的损失函数中去，生成网络的损失函数就如式(2)所示：
式中，表示真实的下一时刻信道x和生成网络预测的下一时刻信道G(c,z)间的MSE，d(x,G(c,z))表示两向量x和G(c,z)间的距离；
CGAN的整体损失函数如式(3)所示：
网络结构设计：
生成网络与判别网络都只含有一个隐藏层，并且隐藏层和输出层都用全连接层加激活函数实现。
CN202210876590.9A 2022-07-25 2022-07-25 一种基于条件生成对抗网络的信道切换策略学习方法 Active CN115208494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210876590.9A CN115208494B (zh) 2022-07-25 2022-07-25 一种基于条件生成对抗网络的信道切换策略学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210876590.9A CN115208494B (zh) 2022-07-25 2022-07-25 一种基于条件生成对抗网络的信道切换策略学习方法

Publications (2)

Publication Number Publication Date
CN115208494A CN115208494A (zh) 2022-10-18
CN115208494B true CN115208494B (zh) 2023-09-22

Family

ID=83584749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210876590.9A Active CN115208494B (zh) 2022-07-25 2022-07-25 一种基于条件生成对抗网络的信道切换策略学习方法

Country Status (1)

Country Link
CN (1) CN115208494B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109998500A (zh) * 2019-04-30 2019-07-12 陕西师范大学 一种基于生成式对抗网络的脉搏信号生成方法及系统
CN110875790A (zh) * 2019-11-19 2020-03-10 上海大学 基于生成对抗网络的无线信道建模实现方法
CN113541835A (zh) * 2021-06-17 2021-10-22 江苏科技大学 一种基于条件生成对抗网络的时变水声信道模拟方法
CN114268388A (zh) * 2021-12-22 2022-04-01 南京邮电大学 一种在大规模mimo中基于改进gan网络的信道估计方法
CN114745233A (zh) * 2022-03-31 2022-07-12 西安科技大学 一种基于导频设计的联合信道估计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598765B (zh) * 2019-08-28 2023-05-26 腾讯科技（深圳）有限公司 样本生成方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109998500A (zh) * 2019-04-30 2019-07-12 陕西师范大学 一种基于生成式对抗网络的脉搏信号生成方法及系统
CN110875790A (zh) * 2019-11-19 2020-03-10 上海大学 基于生成对抗网络的无线信道建模实现方法
CN113541835A (zh) * 2021-06-17 2021-10-22 江苏科技大学 一种基于条件生成对抗网络的时变水声信道模拟方法
CN114268388A (zh) * 2021-12-22 2022-04-01 南京邮电大学 一种在大规模mimo中基于改进gan网络的信道估计方法
CN114745233A (zh) * 2022-03-31 2022-07-12 西安科技大学 一种基于导频设计的联合信道估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于GAN的通信干扰波形生成技术";赵凡;《系统工程与电子技术》;第43卷(第4期);1080-1088 *

Also Published As

Publication number Publication date
CN115208494A (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
Liu et al. Neural network-based information transfer for dynamic optimization
CN110515303B (zh) 一种基于ddqn的自适应动态路径规划方法
CN102792234B (zh) 用于计算机辅助地控制和/或调节技术系统的方法
CN111898728A (zh) 一种基于多Agent强化学习的团队机器人决策方法
CN113176776A (zh) 基于深度强化学习的无人艇天气自适应避障方法
CN110601777B (zh) 一种低轨移动卫星星座下星地下行链路同频干扰估计方法
Xiang et al. V2xp-asg: Generating adversarial scenes for vehicle-to-everything perception
Supraja et al. Spectrum prediction in cognitive radio with hybrid optimized neural network
CN112347923A (zh) 一种基于对抗生成网络的路侧端行人轨迹预测算法
CN111274438A (zh) 一种语言描述引导的视频时序定位方法
CN112720453A (zh) 用于训练机器人系统的操纵技能的方法和设备
CN111476771A (zh) 一种基于距离对抗生成网络的领域自适应方法及系统
CN115470934A (zh) 一种基于序列模型的海洋环境下的强化学习路径规划算法
JP4699598B2 (ja) 問題解決器として動作するデータ処理装置、及び記憶媒体
CN117029838B (zh) 一种水下机器人导航控制方法和系统
CN115208494B (zh) 一种基于条件生成对抗网络的信道切换策略学习方法
Lin et al. Switch trajectory transformer with distributional value approximation for multi-task reinforcement learning
CN114385910A (zh) 基于知识追踪的在线学习内容推荐方法及系统
Liu et al. Plan your target and learn your skills: Transferable state-only imitation learning via decoupled policy optimization
CN113821724A (zh) 一种基于时间间隔增强的图神经网络推荐方法
CN111884854A (zh) 基于多模式混合预测的虚拟网络流量迁移方法
Xu et al. An effective variable transformation strategy in multitasking evolutionary algorithms
CN115062759A (zh) 一种基于改进型长短记忆神经网络的故障诊断方法
Nakata et al. Simple compact genetic algorithm for XCS
TW202224472A (zh) 基於類神經網路的波束選擇方法及管理伺服器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant