CN111178260A - 一种基于生成对抗网络的调制信号时频图分类系统及其运行方法 - Google Patents

Abstract

本发明涉及一种基于生成对抗网络的调制信号时频图分类系统及其运行方法，包括：IQ信号时频图变换模块、生成器模块、判别器模块、辅助分类器模块。IQ信号时频图变换模块将原始信号转换成信号短时傅里叶时频图的形式；生成器模块将原始噪声向量及其输入的类别信息映射为相应的短时傅里叶时频图；判别器模块接收真实图片数据和由判别器产生的图片数据，并输出不同输入的相对应的判别为真的置信概率；辅助分类器模块接收经过卷积层提取的高维的特征图并输出其对应的类别信息。本方法用于解决训练信号分类的深度神经网络模型但数据集样本数不足的问题。

Description

一种基于生成对抗网络的调制信号时频图分类系统及其运行 方法

技术领域

本发明涉及一种基于生成对抗网络的调制信号时频图分类系统及其运行方法，属于大数据与人工智能技术领域。

背景技术

近些年，伴随着硬件级计算单元性能的飞速提升，深度学习也在各个不同的领域展现出了不可思议的能力，尤其是在图像和自然语言处理的领域都取得了极好的效果。伴随着各种新型网络结构的提出，越来越多的学者尝试将神经网络模型应用到信号分析领域，对不同类型的调制信号进行分类。

众所周知，神经网络的训练需要大量的数据集样本作为支撑，即用大量的信号样本对模型进行训练和验证。可是在许多场景下，信号采集需要耗费大量的人力物力，而且伴随着空间电磁波的复杂化，信号采集的难度也越来越大，甚至在电子对抗等特殊场景下，根本无法进行有效的信号采集，而一旦没有足够的数据集，就无法训练出有效的神经网络分类模型，甚至会造成过拟合等问题，信号分类的效果也会大打折扣。

基于上述原因，采用基于生成对抗网络的调制信号时频图数据集扩充分类方法，就显得十分重要。

发明内容

针对当下普遍存在的训练信号分类神经网络数据集不足以及无法深层次挖掘信号特征的问题，本发明提供了一种基于生成对抗网络的调制信号时频图分类系统及其运行方法，从而实现训练具有一定鲁棒性的神经网络分类模型，为从事相关研究的研究人员提供了方便快捷的挖掘深层次信号特征和数据集扩充方法。

本发明基于Pytorch深度学习框架以及通信原理的相关技术，结合如今流行的深度学习技术和傅立叶变换相关技术，实现了通信信号分类数据集的扩充，一定程度上提高了神经网络在信号分类方面的准确率和鲁棒性。

术语解释：

1、短时傅里叶变换，短时傅里叶变换是和傅里叶变换相关的一种数学变换，用以确定时变信号其局部区域正弦波的频率和相位，其主要用于分析非平稳信号，非平稳信号由于波形特性变化没有规律，不能直接使用傅里叶变换，因此，对信号加窗使信号平稳化，便可对加窗分段信号一段段使用傅里叶变换得到分段频谱图，此为短时傅里叶变换的基本解释。

2、时频图，时频图指的是对信号进行短时傅里叶变换所产生的信号谱图，因为其可同时包含时频两域的信息而得名，时频图包含了关于调制信号的丰富的信息，可以作为信号分类的依据。

3、信号短时傅里叶图，信号短时傅里叶图即为时频图，时频图为信号短时傅里叶图简称。

4、批归一化，批归一化就是在网络的每一层输入之前做了一个归一化处理，是深度网络中经常用到的加速神经网络训练，加速网络收敛速度以及稳定性的算法，是目前训练深度网络不可少的一部分。

5、IQ原始调制信号，即同相正交信号，是将信源数据分为两路，分别进行载波调制而产生的调制信号，两路载波具有相互正交的特性。

6、特征图，特征图指的是在神经网络的网络层之间流动的输入输出张量数据，经过不同的网络层所得到的高维数据矩阵统称为特征图。

7、卷积层，卷积层指的是卷积神经网络中的一层，由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。

8、全连接层，全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。

9、梯度消失，在神经网络中，当前面隐藏层的学习速率低于后面隐藏层的学习速率，即随着隐藏层数目的增加，梯度值会呈现指数级别的减小，这种现象叫做梯度消失问题。

10、梯度爆炸，训练很深的神经网络时，随着层数的增加，导数会出现指数级别的增加，导致的现象就是梯度爆炸。

11、张量，张量是矢量和矩阵概念的推广，由若干坐标系改变时满足一定坐标转化关系的有序数组成的集合。

本发明的技术方案为：

一种基于生成对抗网络的调制信号时频图分类系统，包括IQ信号时频图变换模块、生成器模块、判别器模块；

所述IQ信号时频图变换模块、生成器模块均连接所述判别器模块；所述判别器模块包括辅助分类器模块；

所述IQ信号时频图变换模块用于将IQ两路原始调制信号经过短时傅里叶变换转换成时频图的形式；IQ信号时频图变换模块运行于生成对抗网络架构之前，生成对抗网络架构包括生成器模块和判别器模块；将IQ两路原始信号变换成时频图的形式，可以更适合卷积神经网络的设计初衷，可以获得更好的分类效果，而且时频图的形式往往比IQ两路原始信号数据表达的信息更加丰富，是本方法提高准确率的必要步骤。

所述生成器模块用于产生调制信号的扩充图片样本，一维的噪声向量和类别相关的label信息拼接后得到拼接向量，一维噪声向量是指随机产生的一组维度是1*100，值介于(-1，1)之间的随机数；类别相关的label信息是指一个维度和调制信号类别相等的向量；本发明中共含有11种类别的调制信号，那么类别相关的label信息即为一个11维的向量，除对应类别表示为1外其余皆表示为0。比如(1 0 0 0 0 0 0 0 0 0)和(0 1 0 0 0 0 0 0 00 0)分别表示两种不同的信号类别。拼接向量即为将100维噪声向量和11维的信号类别进行组合，合成维度为1行111列的向量。所述生成器模块将输入的拼接向量映射成二维图片进行输出；训练好的生成器模块可以直接进行图片数据集的扩充操作；

所述生成器模块映射成的二维图片即假图及所述IQ信号时频图变换模块转换成的时频图即真图不断输入所述判别器模块，所述判别器模块根据所学到的知识对二维图片进行真伪性判别，有效的区分二维图片的真假，并且在训练过程中不断的更新自身参数，对于判别器而言，其参数包括权重weight参数，偏置bias参数等，它们会随着网络的迭代而逐渐更新，从而提高其对二维图片真伪性的判别能力；判别器的参数更新是整个框架最关键的部分，所有的关于调制信号的知识都来源于判别器的自我更新和学习；

所述辅助分类器模块接收来自判别器模块的输出特征，并对其进行维度变换，即：将三维特征数据拉伸到一个维度，比如原始特征图维度为(128*128*4*4)，经过维度变换之后变为(128*2048)，然后经过全连接层进行映射输出其对调制信号类别的判断，本方法试验中通信信号类别为11，因此最后全连接层的输出数据维度即(128*11)，随着所述判别器模块中自身参数的更新(包括权重参数和偏置参数等)，不断提高所述辅助分类器模块对调制信号类别的判断能力。

生成器模块和判别器模块存在一个相互竞争的过程，生成器模块不断更新自身参数，目的是生成更逼真的信号时频图数据来欺骗判别器模块；判别器模块也会不断更新自身参数，以便更好的区分时频图的真伪，当整个对抗过程完成，二者会进入到一种纳什均衡的状态，此时生成器模块再也无法进行参数更新来产生更加真实的图片，同时判别器模块也无法对图片的真实性进行区分，此时生成的图片便可以放入到原始图片数据集中进行数据集的扩充。

根据本发明优选的，所述IQ信号时频图变换模块包括四个进行调节的参数，包括：短时傅里叶变换窗类型win_cls、短时傅里叶变换窗长win_sz、短时傅里叶变换点数nfft以及重叠点数noverlap。

进一步优选的，短时傅里叶变换窗类型win_cls决定了一次短时傅里叶变换的效果，可以根据不同的需要选择对应的窗类型，所述短时傅里叶变换窗类型win_cls为汉宁窗，窗长度和短时傅里叶变换点数决定了时频两域的精度，所述短时傅里叶变换窗长win_sz为40个信号点，短时傅里叶变换点数nfft设为100，最后就是重叠点数，为了更好的挖掘信号所包含的信息，短时傅里叶变换的重叠点数noverlap是38。IQ两路原始信号经过IQ信号时频图变换模块短时傅里叶变换之后，输出尺寸为64*64大小的时频图，得到了时频图，方可以进行生成对抗网络的后续操作。

根据本发明优选的，所述生成器模块包括5层转置卷积层、第一批归一化层、第一激活层，所述激活层包括ReLU激活函数和Tanh激活函数；

所述转置卷积层不断将输入的拼接向量进行映射，每经过一层转置卷积层，网络中流动的特征图数据就放大一倍(4*4->8*8)，经过5层转置卷积层之后，特征图数据维度从1*1放大到64*64，最终映射成的二维图片与所述IQ信号时频图变换模块产生的时频图尺寸保持一致；

所述第一批归一化层对输入的特征图数据进行批归一化的计算，加速收敛速度；

所述第一激活层通过ReLU激活函数对输入其中的特征图数据进行非线性的映射，即：ReLU激活函数将输入其中的特征图数据的负数部分全部变成0；从而进一步提高了神经网络的表达能力，而且同时不至于梯度消失或梯度爆炸，通过Tanh激活函数将特征图数据映射到(-1，1)之间，使其符合图片的输出形式。

根据本发明优选的，所述判别器模块包括5层第一卷积层、第二批归一化层、第二激活层，所述激活层由LeakyReLU激活函数和Sigmoid激活函数组成；

所述第一卷积层用于提取所述生成器模块映射成的二维图片即假图及所述IQ信号时频图变换模块转换成的时频图即真图的图片特征，即用固定大小的卷积核在真图及假图上进行窗口滑动，对滑动过的数据进行卷积求和；便完成了一次提取图片特征的过程。

所述第二批归一化层对输入特征图数据进行批归一化的计算，加速所述判别器模块的收敛速度；输入特征图数据是指真图及假图经过5层第一卷积层计算所产生的张量数据；

所述第二激活层通过LeakyReLU激活函数对输入其中的特征图数据进行非线性的映射，LeakyReLU激活函数可以将输入特征图数据的负数部分进行不同权重的加权，以此完成非线性的映射，从而进一步提高神经网络的表达能力，而且同时不至于梯度消失或梯度爆炸，通过Sigmoid激活函数将特征图数据映射到(0，1)之间，便于进行真伪性判断。

进一步优选的，所述第一卷积层的内卷积核的大小设为4*4。可更好的进行图片特征的提取；

根据本发明优选的，所述辅助分类器模块包括第二卷积层、第三批归一化层、第三激活层及线性层；

所述第二卷积层用于对判别器模块的特征图数据进行进一步的特征提取，即用第二卷积层的卷积核在判别器模块中间层特征图数据上进行窗口滑动和加权求和；以此完成特征提取过程。

所述第三批归一化层用于对输入其中的特征图数据进行批归一化处理；将数据幅值控制在一个合理的区间上，可以加快神经网络的收敛速度，更快的训练出更好的网络模型。

所述第三激活层用于将输入其中的特征图数据进行幅度和维度变化，使其幅度值位于(0，1)之间，将其转化成概率，其输出代表了辅助分类器模块对11种调制信号类别作出的判断情况；

所述线性层将第二卷积层的结果进行线性映射，做到一维特征单维度上尺寸的变化，最终输出与调制信号类别等同的数据维度，即判断出调制信号的类型。所述线性层将卷积层输出的特征图数据进行线性映射，将数据映射成信号类别相同的维度，例如本方法所做实验中一共有11种信号类别，所以所述线性层的输出数据维度便为11。

基于生成对抗网络的调制信号时频图分类系统的运行方法，包括步骤如下：

(1)数据预处理

数据集预处理是整个调制信号时频图分类系统的第一步，IQ两路原始调制信号经过所述IQ信号时频图变换模块，将IQ两路原始调制信号转化为时频图的形式；

(2)训练生成器模块和判别器模块

A、训练生成器模块

训练生成器模块是本次扩充分类系统的关键，

a、将一维的噪声向量和类别相关的label信息(11类别的信号类别信息)在长度维度上进行拼接，组成拼接向量；

b、将拼接向量输入至所述生成器模块，所述生成器模块利用5层转置卷积层将拼接向量扩充成64*64的特征图，此特征图即为所述生成器模块产生的假图，此时，固定所述判别器模块的自身参数，将生成的假图不断的交给判别器模块进行判断，生成器模块不断更新自身参数，直到此时的判别器模块无法区分真假之后，固定住生成器模块的自身参数，开始训练判别器模块；

B、训练判别器模块

将生成器模块生成的假图和IQ信号时频图变换模块产生的真图都输入给判别器模块，并告知判别器模块所有输入图片的真假性，真图标签为1，假图标签为0，判别器模块不断的根据输入的真图及假图进行图片真伪性的判别学习；进而学习到更具细节的判别特征；循环往复的迭代，最后生成器模块和判别器模块进入到一个平衡状态，此时判别器模块再也无法对图片的真伪性进行区分，生成器便模块训练完成；

(3)测试生成器模块

测试生成器模块是数据生成的最后一步，根据需要产生的图片张数产生相同数量的一维的噪声向量，同时遍历11种不同的调制信号类别标签(从10000000000～00000000001)，并和一维的噪声向量在第三维向量长度上进行拼接，将得到的拼接向量输入给训练好的生成器模块，产生11种不同类别的假图，分别存放到11个不同的文件夹中进行编号；

(4)用测试好的生成器模块实现调制信号时频图分类

将步骤(3)中产生的11种不同类别的假图分别放入到IQ信号时频图变换模块产生的真图即图片数据集中进行数据扩充。

根据本发明优选的，所述步骤(1)中，为了更好的挖掘信号的深层次的特征，在所述IQ信号时频图变换模块中，将短时傅里叶变换窗长win_sz设置为40个信号点，步进设置为38个信号点，每次步进2个信号点。这样的设置方法可以更好的挖掘信号深层次的特征，为后续的识别和分类提供了更好的分类基础。

根据本发明优选的，所述生成器模块和判别器模块对抗过程的目标函数如式(I)所示：

式(I)中，C(G)是指生成器模块优化目标函数，KL是指相对熵，Pdata(x)是指真图数据分布，而Pg(x)是指假图数据分布，x是指一维噪声向量；

当判别器模块达到全局最优时，生成器模块逼近其最小下界，而此时，生成器模块生成时频图数据分布无限接近于真图数据分布。

本发明的有益效果为：

1.本发明中，将原始输入信号经过IQ信号时频图变换模块转换为对应信号的短时傅里叶变换时频图的形式，基于图片的形式更适应卷积神经网络的结构，而且大重叠和小步进深层次的挖掘了信号更为复杂的特征，有益于信号识别分类准确率的提高。

2.本发明中，利用辅助分类器生成对抗网络结构(Auxiliary Conditional-GAN)对原始信号数据集进行扩充，一定程度上解决了数据集样本不足的情况下无法有效训练分类网络的问题，同时也可以一定程度上提高分类网络的鲁棒性。

附图说明

图1为生成器模块整体结构示意图；

图2为判别器模块整体结构示意图；

图3为本发明基于生成对抗网络的调制信号时频图分类系统的运行方法整体步骤流程图；

图4为时频图扩充数据集与原始调制信号数据集分类准确率对比示意图。

具体实施方式

下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。

实施例1

一种基于生成对抗网络的调制信号时频图分类系统，它是生成对抗网络模型在调制信号分类方面的一个具体应用，由生成对抗网络模型和辅助分类器模型组成，具体包括IQ信号时频图变换模块、生成器模块、判别器模块；

IQ信号时频图变换模块、生成器模块均连接所述判别器模块；所述判别器模块包括辅助分类器模块；

IQ信号时频图变换模块用于将IQ两路原始调制信号经过短时傅里叶变换转换成时频图的形式；IQ信号时频图变换模块运行于生成对抗网络架构之前，生成对抗网络架构包括生成器模块和判别器模块；将IQ两路原始信号变换成时频图的形式，可以更适合卷积神经网络的设计初衷，可以获得更好的分类效果，而且时频图的形式往往比IQ两路原始信号数据表达的信息更加丰富，是本方法提高准确率的必要步骤。

生成器模块用于产生调制信号的扩充图片样本，一维的噪声向量和类别相关的label信息拼接后得到拼接向量，一维噪声向量是指随机产生的一组维度是1*100，值介于(-1，1)之间的随机数；类别相关的label信息是指一个维度和调制信号类别相等的向量；本发明中共含有11种类别的调制信号，那么类别相关的label信息即为一个11维的向量，除对应类别表示为1外其余皆表示为0。比如(1 0 0 0 0 0 0 0 0 0)和(0 1 0 0 0 0 0 0 0 00)分别表示两种不同的信号类别。拼接向量即为将100维噪声向量和11维的信号类别进行组合，合成维度为1行111列的向量。生成器模块将输入的拼接向量映射成二维图片进行输出；训练好的生成器模块可以直接进行图片数据集的扩充操作；

生成器模块映射成的二维图片即假图及IQ信号时频图变换模块转换成的时频图即真图不断输入判别器模块，判别器模块根据所学到的知识对二维图片进行真伪性判别，有效的区分二维图片的真假，并且在训练过程中不断的更新自身参数，对于判别器而言，其参数包括权重weight参数，偏置bias参数等，它们会随着网络的迭代而逐渐更新，从而提高其对二维图片真伪性判别的能力；判别器的参数更新是整个框架最关键的部分，所有的关于调制信号的知识都来源于判别器的自我更新和学习；

辅助分类器模块接收来自判别器模块的输出特征，并对其进行维度变换，即：将三维特征数据拉伸到一个维度，比如原始特征图维度为(128*128*4*4)，经过维度变换之后变为(128*2048)，然后经过全连接层进行映射输出其对调制信号类别的判断，本方法实验中通信信号类别为11，因此最后全连接层的输出数据维度即(128*11)，随着判别器模块中自身参数的更新(包括权重参数和偏置参数等)，不断提高辅助分类器模块对调制信号类别的判断能力。

生成器模块和判别器模块存在一个相互竞争的过程，生成器模块不断更新自身参数，目的是生成更逼真的信号时频图数据来欺骗判别器模块；判别器模块也会不断更新自身参数，以便更好的区分时频图的真伪，当整个对抗过程完成，二者会进入到一种纳什均衡的状态，此时生成器模块再也无法进行参数更新来产生更加真实的图片，同时判别器模块也无法对图片的真实性进行区分，此时生成的图片便可以放入到原始图片数据集中进行数据集的扩充。

实施例2

根据实施例1所述的一种基于生成对抗网络的调制信号时频图分类系统，其区别在于：

IQ信号时频图变换模块包括四个进行调节的参数，包括：短时傅里叶变换窗类型win_cls、短时傅里叶变换窗长win_sz、短时傅里叶变换点数nfft以及重叠点数noverlap。短时傅里叶变换窗类型win_cls决定了一次短时傅里叶变换的效果，可以根据不同的需要选择对应的窗类型，所述短时傅里叶变换窗类型win_cls为汉宁窗，窗长度和短时傅里叶变换点数决定了时频两域的精度，所述短时傅里叶变换窗长win_sz为40个信号点，短时傅里叶变换点数nfft设为100，最后就是重叠点数，为了更好的挖掘信号所包含的信息，短时傅里叶变换的重叠点数noverlap是38。IQ两路原始信号经过IQ信号时频图变换模块短时傅里叶变换之后，输出尺寸为64*64大小的时频图，得到了时频图，方可以进行生成对抗网络的后续操作。

如图1所示，生成器模块包括5层转置卷积层、第一批归一化层、第一激活层，所述激活层包括ReLU激活函数和Tanh激活函数；

转置卷积层不断将输入的拼接向量进行映射，每经过一层转置卷积层，网络中流动的特征图数据就放大一倍(4*4->8*8)，经过5层转置卷积层之后，特征图数据维度从1*1放大到64*64，最终映射成的二维图片与IQ信号时频图变换模块产生的时频图尺寸保持一致；第一批归一化层对输入的特征图数据进行批归一化的计算，加速收敛速度；第一激活层通过ReLU激活函数对输入其中的特征图数据进行非线性的映射，即：ReLU激活函数将输入其中的特征图数据的负数部分全部变成0；从而进一步提高了神经网络的表达能力，而且同时不至于梯度消失或梯度爆炸，通过Tanh激活函数将特征图数据映射到(-1，1)之间，使其符合图片的输出形式。

如图2所示，判别器模块包括5层第一卷积层、第二批归一化层、第二激活层，所述激活层由LeakyReLU激活函数和Sigmoid激活函数组成；

第一卷积层用于提取所述生成器模块映射成的二维图片即假图及IQ信号时频图变换模块转换成的时频图即真图的图片特征，即用固定大小的卷积核在真图及假图上进行窗口滑动，对滑动过的数据进行卷积求和；便完成了一次提取图片特征的过程。第二批归一化层对输入特征图数据进行批归一化的计算，加速判别器模块的收敛速度；输入特征图数据是指真图及假图经过5层第一卷积层计算所产生的张量数据；第二激活层通过LeakyReLU激活函数对输入其中的特征图数据进行非线性的映射，LeakyReLU激活函数可以将输入特征图数据的负数部分进行加权，以此完成非线性的映射，从而进一步提高神经网络的表达能力，而且同时不至于梯度消失或梯度爆炸，通过Sigmoid激活函数将特征图数据映射到(0，1)之间，便于进行真伪性判断。第一卷积层的内卷积核的大小设为4*4。可更好的进行图片特征的提取；

辅助分类器模块包括第二卷积层、第三批归一化层、第三激活层及线性层；

第二卷积层用于对判别器模块的特征图数据进行进一步的特征提取，即用第二卷积层的卷积核在判别器模块中间层特征图数据上进行窗口滑动和加权求和；以此完成特征提取过程。第三批归一化层用于对输入其中的特征图数据进行批归一化处理；将数据幅值控制在一个合理的区间上，可以加快神经网络的收敛速度，更快的训练出更好的网络模型。第三激活层用于将输入其中的特征图数据进行幅度和维度变化，使其幅度值位于(0，1)之间，将其转化成概率，其输出代表了辅助分类器模块对11种调制信号类别作出的判断情况；线性层将第二卷积层的结果进行线性映射，做到一维特征单维度上尺寸的变化，最终输出与调制信号类别等同的数据维度，即判断出调制信号的类型。所述线性层将卷积层输出的特征图数据进行线性映射，将数据映射成信号类别相同的维度，例如本方法所做实验中一共有11种信号类别，所以所述线性层的输出数据维度便为11。

实施例3

实施例2所述的一种基于生成对抗网络的调制信号时频图分类系统的运行方法，如图3所示，包括步骤如下：

(1)数据预处理

数据集预处理是整个调制信号时频图分类系统的第一步，IQ两路原始调制信号经过所述IQ信号时频图变换模块，将IQ两路原始调制信号转化为时频图的形式；为了更好的挖掘信号的深层次的特征，在IQ信号时频图变换模块中，将短时傅里叶变换窗长win_sz设置为40个信号点，步进设置为38个信号点，每次步进2个信号点。这样的设置方法可以更好的挖掘信号深层次的特征，为后续的识别和分类提供了更好的分类基础。

(2)训练生成器模块和判别器模块

A、训练生成器模块

训练生成器模块是本次扩充分类系统的关键，

a、将长度为100的一维的噪声向量和类别相关的label信息(11类别的信号类别信息)在长度维度上进行拼接，组成111维的拼接向量；

b、将拼接向量输入至生成器模块，生成器模块利用5层转置卷积层将111维的拼接向量扩充成64*64的特征图，此特征图即为生成器模块产生的假图，此时，固定判别器模块的自身参数，将生成的假图不断的交给判别器模块进行判断，生成器模块不断更新自身参数，直到此时的判别器模块无法区分真假之后，固定住生成器模块的自身参数，开始训练判别器模块；

B、训练判别器模块

将生成器模块生成的假图和IQ信号时频图变换模块产生的真图都输入给判别器模块，并告知判别器模块所有输入图片的真假性，真图标签为1，假图标签为0，判别器模块不断的根据输入的真图及假图进行图片真伪性的判别学习；进而学习到更具细节的判别特征；循环往复的迭代，最后生成器模块和判别器模块进入到一个平衡状态，此时判别器模块再也无法对图片的真伪性进行区分，生成器便模块训练完成；

生成器模块和判别器模块对抗过程的目标函数如式(I)所示：

式(I)中，C(G)是指生成器模块优化目标函数，KL是指相对熵，Pdata(x)是指真图数据分布，而Pg(x)是指假图数据分布，x是指一维噪声向量；

当判别器模块达到全局最优时，生成器模块逼近其最小下界，而此时，生成器模块生成时频图数据分布无限接近于真图数据分布。

式(I)的推导过程如下：

生成器模块和判别器模块对抗过程最原始的目标函数为：

min max V(G，D)＝E_x～pdata(x)[logD(x)]+E_z～p(z)[log(1-D(G(z))]

V(G，D)是指训练过程的目标函数，D(x)是指判别器模块对真图真伪性的判别结果；Pdata(x)是指真图的数据分布，P(z)是指一维噪声向量的数据分布，G(z)是指生成的假图，D(G(z))是指判别器模块对假图的真伪性判别结果。

根据目标函数的连续性，进一步表达为以下形式：

令X＝G(z)，z＝G^-1(x)，dz＝G^-1′(x)，将此式带入上式得：

令P_g(z)＝P_z(G^-1(x))(G^-1)′(x)，则可将上式进一步化简为：

要求上式关于D(x)最大值，将其余部分当作常量，对D(x)求导得其极值点为：

从上述最大值可以推导得出结论：当且仅当Pg(x)＝Pdata(x)时，上式存在最大值1/2，然后再将此关于D(x)的极值带入V(D，G)中求其关于G的最小值，带入得：

进一步推导得：

根据KL散度的定义公式，进一步将上式转化为：

那么，由KL散度的定义可知，当且仅当两个散度都为0时，存在最小值-log4；

至此，推导出上述对抗过程的结论：当判别器模块达到全局最优时，生成器模块逼近其最小下界，而此时，生成器模块生成信号图片数据的分布无限接近于真实信号图片数据的分布。

(3)测试生成器模块

测试生成器模块是数据生成的最后一步，

根据需要产生的图片张数产生相同数量的一维的噪声向量，例如，每种信号产生300张假时频图用于数据扩充，因此共需要产生300*1*100维度的随机数噪声向量，同时遍历11种不同的调制信号类别标签(从10000000000～00000000001)，并和一维的噪声向量在第三维向量长度上进行拼接，将得到的300*1*111的拼接向量输入给训练好的生成器模块，产生11种不同类别的假图，分别存放到11个不同的文件夹中进行编号；

(4)用测试好的生成器模块实现调制信号时频图分类

将步骤(3)中产生的11种不同类别的假图分别放入到IQ信号时频图变换模块产生的真图即图片数据集中进行数据扩充。根据实验结果，扩充数量大概是原图数量的40％左右效果最好，图片数据集扩充完成之后，直接利用扩充好的图片数据集训练一个基于卷积层的分类网络，和直接利用原始调制信号训练的分类网络的分类效果进行对比。

本实例以神经网络结构计算量大致相同为基础，基于RML2016.10a数据集进行实验对比，实施如下对比实验：

利用原始IQ调制信号作为神经网络输入数据集，每条IQ调制信号的输入数据格式为2*128，以此训练分类网络，识别准确率如下图4中实线所示，同时，基于本分类系统产生扩充数据，对原始数据集进行扩充，也训练一个分类网络，识别准确率如图4中虚线所示，从图4中的识别结果可见，采用本调制信号时频图分类系统，可以获得更好的调制信号分类准确率，其原因在于时频图比原始信号具有更好的表达能力，同时生成对抗网络扩充的数据集一定程度上产生了更多的特征组合的可能性，增强了网络的识别能力。

Claims (10)

1.一种基于生成对抗网络的调制信号时频图分类系统，其特征在于，包括IQ信号时频图变换模块、生成器模块、判别器模块；

所述IQ信号时频图变换模块、生成器模块均连接所述判别器模块；所述判别器模块包括辅助分类器模块；

所述IQ信号时频图变换模块用于将IQ两路原始调制信号经过短时傅里叶变换转换成时频图的形式；

所述生成器模块用于产生调制信号的扩充图片样本，一维的噪声向量和类别相关的label信息拼接后得到拼接向量，一维噪声向量是指随机产生的一组维度是1*100，值介于(-1，1)之间的随机数；类别相关的label信息是指一个维度和调制信号类别相等的向量；所述生成器模块将输入的拼接向量映射成二维图片进行输出；

所述生成器模块映射成的二维图片即假图及所述IQ信号时频图变换模块转换成的时频图即真图不断输入所述判别器模块，所述判别器模块根据所学到的知识对二维图片进行真伪性判别，有效的区分二维图片的真假，并且在训练过程中不断的更新自身参数，从而提高其对二维图片真伪性判别的能力；

所述辅助分类器模块接收来自判别器模块的输出特征，并对其进行维度变换，即：将三维特征数据拉伸到一个维度，进行映射输出其对调制信号类别的判断，随着所述判别器模块中自身参数的更新，不断提高所述辅助分类器模块对调制信号类别的判断能力。

2.根据权利要求1所述的一种基于生成对抗网络的调制信号时频图分类系统，其特征在于，所述IQ信号时频图变换模块包括四个进行调节的参数，包括：短时傅里叶变换窗类型win_cls、短时傅里叶变换窗长win_sz、短时傅里叶变换点数nfft以及重叠点数noverlap。

3.根据权利要求2所述的一种基于生成对抗网络的调制信号时频图分类系统，其特征在于，所述短时傅里叶变换窗类型win_cls为汉宁窗，所述短时傅里叶变换窗长win_sz为40个信号点，短时傅里叶变换点数nfft设为100，短时傅里叶变换的重叠点数noverlap是38。

4.根据权利要求1所述的一种基于生成对抗网络的调制信号时频图分类系统，其特征在于，所述生成器模块包括5层转置卷积层、第一批归一化层、第一激活层；

所述转置卷积层不断将输入的拼接向量进行映射，每经过一层转置卷积层，就放大一倍，经过5层转置卷积层之后，最终映射成的二维图片与所述IQ信号时频图变换模块产生的时频图尺寸保持一致；

所述第一批归一化层对输入的特征图数据进行批归一化的计算，加速收敛速度；

所述第一激活层通过ReLU激活函数对输入其中的特征图数据进行非线性的映射，即：ReLU激活函数将输入其中的特征图数据的负数部分全部变成0；通过Tanh激活函数将特征图数据映射到(-1，1)之间，使其符合图片的输出形式。

5.根据权利要求1所述的一种基于生成对抗网络的调制信号时频图分类系统，其特征在于，所述判别器模块包括5层第一卷积层、第二批归一化层、第二激活层；

所述第一卷积层用于提取所述生成器模块映射成的二维图片即假图及所述IQ信号时频图变换模块转换成的时频图即真图的图片特征，即用固定大小的卷积核在真图及假图上进行窗口滑动，对滑动过的数据进行卷积求和；

所述第二批归一化层对输入特征图数据进行批归一化的计算，加速所述判别器模块的收敛速度；输入特征图数据是指真图及假图经过卷积层计算所产生的张量数据；

所述第二激活层通过LeakyReLU激活函数对输入其中的特征图数据进行非线性的映射，通过Sigmoid激活函数将特征图数据映射到(0，1)之间。

6.根据权利要求5所述的一种基于生成对抗网络的调制信号时频图分类系统，其特征在于，所述第一卷积层的内卷积核的大小设为4*4。

7.根据权利要求1所述的一种基于生成对抗网络的调制信号时频图分类系统，其特征在于，所述辅助分类器模块包括第二卷积层、第三批归一化层、第三激活层及线性层；

所述第二卷积层用于对判别器模块的特征图数据进行进一步的特征提取，即用第二卷积层的卷积核在判别器模块中间层特征图数据上进行窗口滑动和加权求和；

所述第三批归一化层用于对输入其中的特征图数据进行批归一化处理；

所述第三激活层用于将输入其中的特征图数据进行幅度和维度变化，使其幅度值位于(0，1)之间，将其转化成概率，其输出代表了辅助分类器模块对11种调制信号类别作出的判断情况；

所述线性层将第二卷积层的结果进行线性映射，做到一维特征单维度上尺寸的变化，最终输出与调制信号类别等同的数据维度，即判断出调制信号的类型。

8.权利要求1-7任一所述的基于生成对抗网络的调制信号时频图分类系统的运行方法，其特征在于，包括步骤如下：

(1)数据预处理

IQ两路原始调制信号经过所述IQ信号时频图变换模块，将IQ两路原始调制信号转化为时频图的形式；

(2)训练生成器模块和判别器模块

A、训练生成器模块

a、将一维的噪声向量和类别相关的label信息在长度维度上进行拼接，组成拼接向量；

b、将拼接向量输入至所述生成器模块，所述生成器模块利用5层转置卷积层将拼接向量扩充成64*64的特征图，此特征图即为所述生成器模块产生的假图，此时，固定所述判别器模块的自身参数，将生成的假图不断的交给判别器模块进行判断，生成器模块不断更新自身参数，直到此时的判别器模块无法区分真假之后，固定住生成器模块的自身参数，开始训练判别器模块；

B、训练判别器模块

将生成器模块生成的假图和IQ信号时频图变换模块产生的真图都输入给判别器模块，并告知判别器模块所有输入图片的真假性，真图标签为1，假图标签为0，判别器模块不断的根据输入的真图及假图进行图片真伪性的判别学习；循环往复的迭代，最后生成器模块和判别器模块进入到一个平衡状态，此时判别器模块再也无法对图片的真伪性进行区分，生成器便模块训练完成；

(3)测试生成器模块

根据需要产生的图片张数产生相同数量的一维的噪声向量，同时遍历11种不同的调制信号类别标签，并和一维的噪声向量在第三维向量长度上进行拼接，将得到的拼接向量输入给训练好的生成器模块，产生11种不同类别的假图，分别存放到11个不同的文件夹中进行编号；

(4)用测试好的生成器模块实现调制信号时频图分类

将步骤(3)中产生的11种不同类别的假图分别放入到IQ信号时频图变换模块产生的真图即图片数据集中进行数据扩充。

9.根据权利要求8所述的基于生成对抗网络的调制信号时频图分类系统的运行方法，其特征在于，所述步骤(1)中，在所述IQ信号时频图变换模块中，将短时傅里叶变换窗长win_sz设置为40个信号点，步进设置为38个信号点，每次步进2个信号点。

10.根据权利要求8所述的基于生成对抗网络的调制信号时频图分类系统的运行方法，其特征在于，所述生成器模块和判别器模块对抗过程的目标函数如式(I)所示：

式(I)中，C(G)是指生成器模块优化目标函数，KL是指相对熵，Pdata(x)是指真图数据分布，而Pg(x)是指假图数据分布，x是指一维噪声向量；

当判别器模块达到全局最优时，生成器模块逼近其最小下界，此时，生成器模块生成时频图数据分布无限接近于真图数据分布。

Images