CN110490095A - 一种基于神经网络的多模态特征融合调制识别方法和系统 - Google Patents

Abstract

本发明提供了一种基于神经网络的多模态特征融合调制识别方法和系统。本发明首先将待识别信号转换到预定的模态域；利用预训练好的异构神经网络从对应的模态域信号中提取特征向量；将神经网络从待识别信号的不同模态域中提取到的特征向量进行融合，利用预训练好的分类器完成识别分类。本发明利用神经网络强大的表示学习能力从待识别信号中学习特征，省去大量人力操作；本发明综合利用信号多种模态域信息，利用异构神经网络提取抽象特征向量，融合后的特征向量对待识别信号有更全面的表征，对噪声等影响有更好的鲁棒性和稳健性，得到的识别分类结果具有更高的可靠性，在信噪比较低、通信环境较差时，仍保持较高的识别率。

Description

一种基于神经网络的多模态特征融合调制识别方法和系统

技术领域

本发明涉及信号调制识别技术领域，尤其涉及一种基于神经网络的多模态特征融合调制识别方法和系统。

背景技术

通信信号调制方式的自动识别技术是信号检测与解调之间的关键技术，在民用领域，主要用于空间频谱资源的管理，对频谱资源使用者确认身份，防止无线频谱被非法利用，保证通信活动的安全进行。随着通信环境越来越复杂，为了提高频谱的利用率，对不同的通信信号通常会采用多种不同的调制方式，因此，通信信号调制方式的自动识别具有重要应用价值。

目前，基于模式识别的通信信号调制识别方法较为完善。例如，夏远满等人(夏远满,郭亚莎,周传伟等.通信信号调制类型的自动识别[J].计算机产品与流通,2018(09):46.)公开了一种通信信号调制类型的自动识别方法。这种方法主要分为特征参数的提取和分类识别两个阶段，提取的特征参数主要包括瞬时信息特征参数、高阶累积量、循环累积量、以及谱特征参数等，基于模式识别的调制识别方法实现简单，相比人工识别方法不再依赖操作员的经验，识别结果有更好的稳定性。但是，这种方法对信号的特征提取依赖于人工算法设计，而且，当待识别信号种类不同时，提取的特征参数不同，需要设计不同的特征提取算法。

人工智能技术被认为是研发颠覆性装备和技术的支撑。近些年，随着神经网络在语音识别、计算机视觉上的成功应用，将其应用在调制识别领域成为国内外研究的热门课题。基于深度神经网络的调制识别方法首先对原始信号进行模态域转换，然后设计神经网络结构，从模态域信号中提取深层抽象特征向量，最后利用分类器对特征向量识别分类。该方法的核心是利用深度神经网络从信号中自动提取特征向量，而不再依赖人工设计算法提取特征参数，因此，识别过程减少了人的工作量，提取的特征向量虽然抽象，但对分类器而言往往有更好的分类效果。但是，目前基于深度神经网络的调制识别方法通常只对信号进行单一模态的预处理，利用单一结构的神经网络提取特征向量，在通信环境较差或识别信号种类较多的情况下很难取得理想识别性能。

发明内容

针对现有基于深度神经网络的调制识别方法只能对信号进行单一模态的预处理，在通信环境较差或识别信号种类较多的情况下识别效果不好的问题，本发明提供一种基于神经网络的多模态特征融合调制识别方法和系统。

一方面，本发明提供一种基于神经网络的多模态特征融合调制识别方法，该方法包括：

步骤1：将待识别信号转换到预设模态域；

步骤2：利用预训练好的异构神经网络从待识别信号的不同模态域中提取特征向量；

步骤3：将异构神经网络从待识别信号的不同模态域中提取到的特征向量进行特征融合；

步骤4：利用预训练好的分类器对融合后的特征向量进行识别分类，分类器的输出作为最终的识别结果。

进一步地，所述预设模态域包括时域、频域、时频域和循环频率域。

进一步地，所述异构神经网络包括：深度置信网络、自动编码网络和卷积神经网络。

进一步地，所述融合后的特征向量包含信号不同方面的调制特征。

进一步地，所述步骤3中，特征融合的方式分为前期融合和后期融合；所述前期融合指将异构神经网络提取的特征向量直接串联拼接，再利用分类器识别分类，对于长度相同的特征向量通过加权融合，形成新的维度不变的特征向量；后期融合是利用多个使用不同核函数的支持向量机对不同模态的特征向量融合分类。

进一步地，所述分类器包括BP神经网络分类器、支持向量机分类器和Softmax分类器。

进一步地，所述异构神经网络均在识别分类前训练完毕，所述异构神经网络的训练过程包括：

将训练集信号转换到预设模态域，所述训练集信号的信号调制类型是已知的；

根据所述训练集信号在不同模态域的表征形式，选择神经网络模型，利用每种模态域的训练集对相应的神经网络进行单独训练，得到所有神经网络模型的参数。

进一步地，所述分类器均在识别分类前训练完毕，所述分类器的训练过程包括：

将训练集信号转换到预设模态域，所述训练集信号的信号调制类型是已知的；

利用异构神经网络从训练集信号的不同模态域中提取特征矩阵，采用与待识别信号相同的特征融合方式对从训练集信号的不同模态域中提取到的特征矩阵进行特征融合，利用融合后的特征矩阵对分类器进行训练。

另一方面，本发明提供一种基于神经网络的多模态特征融合调制识别系统，该系统包括：多模态域转换单元、特征提取单元、特征融合单元和识别分类单元；其中：多模态域转换单元，用于将待识别信号转换到预设模态域；特征提取单元，用于利用预训练好的异构神经网络从待识别信号的不同模态域提取特征向量；特征融合单元，用于将异构神经网络从待识别信号的不同模态域中提取到的特征向量进行特征融合；识别分类单元，用于对融合后的特征向量进行识别分类，确定待识别信号的调制类型。

进一步地，所述识别分类单元为分类器，所述分类器包括BP神经网络分类器、支持向量机分类器和Softmax分类器。

本发明的有益效果：

本发明提供的一种基于神经网络的多模态特征融合调制识别方法和系统，利用神经网络从待识别信号中提取特征向量，相比于利用人工算法从信号中提取特征参数，本发明不需要人为设计复杂算法，而是利用神经网络强大的表示学习能力从待识别信号中学习特征，省去大量人力操作。另外，本发明综合利用信号多种模态域信息，利用异构神经网络提取抽象特征向量，融合后的特征向量对待识别信号有更全面的表征，对噪声等影响有更好的鲁棒性和稳健性，得到的识别分类结果具有更高的可靠性，在信噪比较低、通信环境较差时，仍保持较高的识别率。

附图说明

图1为本发明实施例提供的一种基于神经网络的多模态特征融合调制识别方法的流程示意图之一；

图2为本发明实施例提供的一种基于神经网络的多模态特征融合调制识别方法的流程示意图之二；

图3为本发明实施例提供的一种基于神经网络的多模态特征融合调制识别方法的仿真实验的流程示意图；

图4为本发明实施例提供的一种基于神经网络的多模态特征融合调制识别系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的核心思想是：针对基于通信信号单一模态的深度神经网络调制识别方法在低信噪比下识别性能差、对环境变化不稳健的问题，提出一种基于多模态特征融合的通信信号调制识别方案。本发明的技术方案通过将待识别信号转换到预定的模态域，利用异构神经网络从信号的不同模态域中提取特征向量，对特征向量进一步融合后用于识别分类。由此，通过融合同源信号来自不同模态域的特征向量，提高信号识别的鲁棒性，从而使得在低信噪比和通信环境较差时仍能获得较好的识别率。

本发明实施例提供了一种基于神经网络的多模态特征融合调制识别方法，其流程如图1所示，包括以下步骤：

S101：将待识别信号转换到预设模态域；

数字调制信号经过不同的信号处理方式可以得到异构数据信息，这些异构数据信息从多种角度刻画了同源信号的调制特征，不同模态的数据信息来自于不同的观测角度，它们对于信号调制特征的描述方式不同。对待识别信号转换到预设模态域，从不同角度对信号进行表征。所述预设模态域包括时域、频域、时频域和循环频率域。

1、时域

由于脉冲成型、载波调制等影响，不同调制方式的时域波形不尽相同，在一定程度上反映了信号的调制信息，在传统调制识别方法中，通常提取瞬时特征参数表征信号时域特征，但深度神经网络可以从时域序列中学习到抽象时域特征的表征方式。

时域：以采样率f_s对接收信号采样，得到的时域采样序列x(n)包含了信号最原始的信息，以时间为自变量描述信号的变化是信号最基本、最直观的呈现形式。

2、频域

信号不仅随时间变化，还与频率、相位等信息有关，将信号在时域上的表征通过傅里叶变换转换到频域信号X(f)是信号分析最常见的方法。频域信号显示信号的频率分布情况，频谱的结构、谱线的位置、谱峰的个数和相对关系往往包含有信号的调制信息。如调频信号MFSK的频谱在载频处有与调制阶数相同个数的谱峰，BPSK信号的平方谱在二倍载频处出现离散谱线，QPSK信号的四次方谱在四倍载频处出现离散谱线，8PSK信号的八次方谱在八倍载频处出现离散谱线。频谱幅度是数字信号重要的调制特征。

3、时频域

从映射的角度看，傅里叶变换实现了从时域到频域的映射，而时频分析则实现了时域信号到时频域X(t,f)的映射。常用的时频分析方法包括短时傅里叶变换、小波时频分析、Wigner-Ville分布、希尔伯特黄变换、S变换等。信号的时频域提供了时间域与频率域的联合分部信息，清楚地描述了信号频率随时间的变化关系，描述信号在不同时间和频率的能量密度或强度，给出各个时刻的瞬时频率及其幅值。

4、循环频率域

通信信号在通信环境中需要经历采样、调制等周期性变换，其中的参数会出现随时间的周期性变化，所以将调制信号建模为周期平稳信号有利于对信号调制方式进行分析，其统计特征具有周期性。N阶循环平稳是指x(t)从一阶到N阶的各阶时变统计量都存在，并且他们都是时间的周期函数。通信信号具有循环平稳性，循环谱结构包含信号的调制特征，而平稳噪声或近似平稳噪声的循环谱主要集中在零循环频率处，在非零循环频率处没有非零值，故循环域信号能很好的抑制平稳噪声的干扰，利用非零循环频率处的循环谱特征能很好的识别信号的调制方式。

S102：利用预训练好的异构神经网络从待识别信号的不同模态域中提取特征向量；

深度神经网络可以对不同模态域信号实现抽象表征。根据信号在不同模态域的表征形式，选择合适的神经网络类型，设计神经网络结构，以待识别信号在对应模态域的样本作为网络的输入，提取深层抽象特征向量。

异构神经网络包括但不限于：深度置信网络、自动编码网络和卷积神经网络。

1、深度置信网络

深度置信网络是由受限玻尔兹曼机为基本单元搭建的，上一个受限玻尔兹曼机的输出即为下一个受限玻尔兹曼机的输入，训练过程采用逐层无监督对各层进行训练，每层的每个单元连接到每个相邻层中的每个单元，层内无连接。顶部两层之间的连接是无向的，其它层之间的连接是有向的。

2、自动编码网络

自动编码网络是由多个自动编码器级联形成的具有一定深度的神经网络，完整的自动编码器是由编码器和解码器两部分组成，编码器的输出往往为数据的压缩表示，解码器的输出要求与输入数据相同，所以自动编码器的训练采用无监督学习方式，将多个自动编码器的编码部分依次级联就形成了有一定深度的自动编码网络。常见的自动编码网络包括稀疏自动编码网络、降噪自动编码网络、收缩自动编码网络。

3、卷积神经网络

卷积神经网络是目前深度学习应用最广泛的神经网络，其主要由卷积层、池化层、全连接层组成，具有局部感受野和权值共享的特点。局部感受野是指卷积核每次只对矩阵的某一区域进行卷积运算，使得卷积神经网络每一层输出的特征图上的像素点在原始图像上映射在指定大小的区域。权值共享是指同一层的特征图共用同一个卷积核的权重，另外，为了防止网络过拟合和网络参数过多无法训练，池化层将输出特征图下采样(特征聚合)。

上述网络中，深度置信网络和自动编码网络是典型的无监督学习网络，其网络结构要求待处理数据是一维向量，因此适用于信号的一维表征形式，对频谱幅值等数据形式有很好的特征提取能力，而卷积神经网络的匹配对象是二维矩阵，数据通常以“图”的形式输入，所以需要对信号转换为二维表征形式才能利用卷积神经网络提取特征。

S103：将异构神经网络从待识别信号的不同模态域中提取到的特征向量进行特征融合；

S104：利用预训练好的分类器对融合后的特征向量进行识别分类，分类器的输出作为最终的识别结果。

异构神经网络从同源信号的不同模态域中提取的特征向量包含有信号不同方面的调制特征，通过特征融合的方式对调制信息融合分类，使分类结果具有更高的可靠性。在对分类器进行训练时，训练过程中的特征融合的方式与待识别信号的融合方式相同，包括但不限于：拼接融合、加权融合和多核融合。融合方式可分为前期融合和后期融合。前期融合将神经网络提取的特征向量直接串联拼接，再利用分类器识别分类；对于长度相同的特征向量可以通过加权融合，形成新的维度不变的特征向量；后期融合包括多核融合，多核融合通常指利用多个使用不同核函数的支持向量机对不同模态的特征向量融合分类。

由上述内容可知，本发明实施例提供的信号调制类型识别方法，不仅通过多个神经网络从信号不同模态域提取到深层特征向量，还将不同模态域的特征向量进行融合后识别分类，模型提取到的信号信息更加全面，所以即使在调制类型比较多的情况，也能取得较好的识别率。

在本发明中，在对待识别信号进行识别分类前，还要训练异构神经网络和训练分类器。训练异构神经网络方法包括：对信号调制类型已知的训练集信号进行与待识别信号相同的模态域转换，即将训练集信号转换到待识别信号相同的模态域，这些模态域包括但不限于：时域、频域、时频域和环频率域。此时的训练集信号是已知标签的由多种调制方式组成、相同调制方式有足够数量的训练样本。利用每种模态域的训练集对相应的神经网络进行单独训练，得到所有神经网络模型的参数。其中，每一个神经网络顶层均设计相应的分类器，对指定的模态域信号样本构成单独的分类系统。训练分类器的方法包括：将多个神经网络从训练集信号的不同模态域提取到的特征矩阵，采用与待识别信号相同的特征融合方式，进行特征融合操作，将融合后的特征矩阵对分类器进行训练。可能用到的分类器包括但不限于：BP神经网络分类器、支持向量机分类器和Softmax分类器。

图2是本发明实施例提供的又一种基于神经网络的多模态特征融合调制识别方法的流程图，本发明实施例的信号调制类型识别方法原理是：

S201：准备训练信号样本；

S202：将训练信号转换到指定的模态域；

S203：根据每一种模态对信号的表征形式，设计神经网络结构，并利用每种信号的模态域，对每个对应的神经网络单独训练；

S204：将每个神经网络输出的特征向量进行融合；

S205：将每个神经网络输出的特征向量融合后，训练分类器。整个训练过程所用的训练信号，是由多种调制方式已知、每种调制方式有足够数量的信号集合。

S206：接收待识别信号；

S207：将待识别信号进行与训练信号相同的模态域转换操作，即将待识别信号转换到预定的模态域；

S208：利用训练后的神经网络从待识别信号对应的模态域进行特征提取操作；

S209：融合从待识别信号不同模态域提取到的特征向量；

S210：利用训练完毕的分类器完成识别分类，分类器的输出即为最终的识别结果。

为了验证和进一步说明本发明的实施例对信号调制类型识别的有效性，以下描述利用仿真软件MATLAB对本发明的识别方法进行仿真实验，识别流程图如图3所示，参照图3，仿真过程如下所述：

(1)产生数据集：仿真产生{2FSK、4FSK、8FSK、BPSK、QPSK、OFDM、LFM}七种调制信号，训练集分别在符号信噪比为10dB、13dB、16dB、19dB下每类信号100组，共有7×4×100＝2800组；测试集为七种信号分别在符号信噪比4dB到19dB每隔3dB取值下每类信号100组，每个符号信噪比下共有7×100＝700组；

(2)将信号转换到指定的模态域：将步骤(1)中产生的训练集分别做功率谱估计、小波时频图；做BPSK和QPSK信号的循环谱，取循环频率轴的投影轮廓图；

(3)训练神经网络：利用功率谱密度归一化幅值训练双隐层稀疏自动编码网络，网络的节点数为800、200，幅值归一化方法为最大值-最小值法：

式中，P_normalized(f)为归一化后的功率谱密度，P_i(f)为功率谱密度的第i个值，P_min(f)为功率谱密度幅值最小值，P_max(f)为功率谱密度幅值最大值。

利用小波时频图训练AlexNet1，利用BPSK和QPSK信号循环谱在循环频率轴的投影轮廓图训练AlexNet2网络；

(4)融合多模态特征矩阵：步骤(2)中SAE网络最后一层输出为2800×200维特征矩阵，AlexNet1网络最后一层全连接层输出2800×4296维特征矩阵，将两者拼接融合组成2800×4296维特征矩阵；

(5)训练分类器：利用步骤(4)中得到的融合后的多模态特征矩阵训练SVM分类器；

(6)识别分类：对测试集信号做功率谱估计，利用步骤(3)中训练后的稀疏自动编码网络提取特征向量；对测试集信号做小波时频图，利用步骤(3)中训练后的AlexNet1网络提取特征向量，将两个网络提取的特征向量融合为4296维特征向量，利用步骤(5)中训练后的SVM分类器识别分类；

(7)再识别分类：由于上述过程对{BPSK、QPSK}不具有分类能力，所以需要对步骤(6)中识别结果为BPSK和QPSK的信号再分类。将步骤(6)中识别结果为BPSK和QPSK的信号做循环谱估计，取循环谱在循环频率轴的投影轮廓图，利用步骤(3)中训练后的AlexNet2网络完成对BPSK和QPSK信号的分类。

综上所述，实施例中的信号调制方式识别方法融合了信号的功率谱、时频图、循环谱三种不同模态域的信息，利用稀疏自动编码网络、卷积神经网络实现了对不同模态域信息的特征提取，并将融合后的特征向量，通过分类器识别分类。仿真表明，在符号信噪比为10dB时，模型可以完全识别信号集。

与上述信号调制类型识别方法相对应的，本发明提供了一种信号调制类型识别系统，如图4所示，其中包括：多模态域转换单元401、特征提取单元402、特征融合单元403和识别分类单元404；其中：

多模态域转换单元401用于将待识别信号转换到多种指定的模态域；特征提取单元402利用异构神经网络从对应的模态域信号中提取特征向量。其中，每种模态域对应的神经网络在识别分类前训练完毕；特征融合单元403将不同的神经网络从待识别信号的不同模态域中提取到的特征向量进一步融合；识别分类单元404用于对融合后的特征向量进行识别分类，确定待识别信号的调制类型。所述识别分类单元404为分类器，所述分类器包括BP神经网络分类器、支持向量机分类器和Softmax分类器；其中，分类器是在识别分类前训练完毕。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于神经网络的多模态特征融合调制识别方法，其特征在于，包括：

步骤1：将待识别信号转换到预设模态域；

步骤2：利用预训练好的异构神经网络从待识别信号的不同模态域中提取特征向量；

步骤3：将异构神经网络从待识别信号的不同模态域中提取到的特征向量进行特征融合；

步骤4：利用预训练好的分类器对融合后的特征向量进行识别分类，分类器的输出作为最终的识别结果。

2.根据权利要求1所述的方法，其特征在于，所述预设模态域包括时域、频域、时频域和循环频率域。

3.根据权利要求1所述的方法，其特征在于，所述异构神经网络包括：深度置信网络、自动编码网络和卷积神经网络。

4.根据权利要求1所述的方法，其特征在于，所述融合后的特征向量包含信号不同方面的调制特征。

5.根据权利要求1所述的方法，其特征在于，所述步骤3中，特征融合的方式分为前期融合和后期融合；所述前期融合指将异构神经网络提取的特征向量直接串联拼接，再利用分类器识别分类，对于长度相同的特征向量通过加权融合，形成新的维度不变的特征向量；后期融合是利用多个使用不同核函数的支持向量机对不同模态的特征向量融合分类。

6.根据权利要求1至5任一所述的方法，其特征在于，所述分类器包括BP神经网络分类器、支持向量机分类器和Softmax分类器。

7.根据权利要求1至5任一所述的方法，其特征在于，所述异构神经网络均在识别分类前训练完毕，所述异构神经网络的训练过程包括：

将训练集信号转换到预设模态域，所述训练集信号的信号调制类型是已知的；

根据所述训练集信号在不同模态域的表征形式，选择神经网络模型，利用每种模态域的训练集对相应的神经网络进行单独训练，得到所有神经网络模型的参数。

8.根据权利要求1至5任一所述的方法，其特征在于，所述分类器均在识别分类前训练完毕，所述分类器的训练过程包括：

将训练集信号转换到预设模态域，所述训练集信号的信号调制类型是已知的；

利用异构神经网络从训练集信号的不同模态域中提取特征矩阵，采用与待识别信号相同的特征融合方式对从训练集信号的不同模态域中提取到的特征矩阵进行特征融合，利用融合后的特征矩阵对分类器进行训练。

9.一种基于神经网络的多模态特征融合调制识别系统，其特征在于，包括：

多模态域转换单元，用于将待识别信号转换到预设模态域；

特征提取单元，用于利用预训练好的异构神经网络从待识别信号的不同模态域提取特征向量；

特征融合单元，用于将异构神经网络从待识别信号的不同模态域中提取到的特征向量进行特征融合；

识别分类单元，用于对融合后的特征向量进行识别分类，确定待识别信号的调制类型。

10.根据权利要求9所述的系统，其特征在于，所述识别分类单元为分类器，所述分类器包括BP神经网络分类器、支持向量机分类器和Softmax分类器。