CN112887239B - 基于深度混合神经网络的快速准确水声信号调制方式识别方法 - Google Patents

Abstract

本发明公开了一种基于深度混合神经网络的快速准确水声信号调制方式识别方法，该方法包括：对接收到的水声信号进行预处理；搭建深度混合神经网络；训练该混合神经网络；将预处理后的水声信号输入至训练好的神经网络，进行水声信号调制方式识别。本发明不依赖传统方法选择提取特征，采用深度学习的方法自动提取与调制方式有关的特征，保证提取特征的有效性；根据水声信号的时序特点设计深度混合神经网络模型，在海试数据测试集上有较高的识别准确率；对深度混合神经网络的卷积层进行去池化与一维卷积改进、以增加网络宽度的方式提高网络精度，在保证识别精度的同时兼顾识别速度。本发明最终实现了低延迟、高准确率的水声信号调制方式识别方法。

Description

基于深度混合神经网络的快速准确水声信号调制方式识别 方法

技术领域

本发明属于深度学习与通信技术领域，具体地说，涉及一种基于深度混合神经网络的快速准确水声信号调制方式识别方法。

背景技术

水下无线数据传输技术无论是在民用领域还是在军事领域都起着至关重要的作用。水声通信因其传播损耗小、传输距离远等优势，已经成为了目前应用最广泛的水下通信方式。目前，可以根据信道状况选择调制方式的自适应调制编码(Adaptive modulationcoding，AMC)技术已广泛用于水声通信系统，该技术需要接收端与发送端通过多次的握手信号来确认通信信号的调制方式，然而水下环境复杂多变，致使握手信号出错，导致接收端采用不正确的解调方式。

调制方式自动识别技术可以帮助接收端自动识别接收信号的调制方式，保证接收端正确解调信号。目前调制方式智能识别的方法包括基于似然决策理论方法、基于特征提取的识别方法以及基于深度学习的识别方法。基于似然决策理论方法对比接收信号的似然比与判别阈值识别信号调制方式；基于特征提取的方法通过提取信号某些特征、通过分类器算法识别信号调制方式，与基于似然决策理论方法相比有更好的性能与较低的复杂度，尽管易于工程应用，但却极其依赖提取特征的质量。在繁杂多变的水下信道中，信号特征受噪声干扰严重，难以用于调制方式识别；在基于深度学习的调制方式识别方法中，具有较好识别性能的模型均为已有的网络模型，对模型进行针对性改进的研究相对较少，此外，深度神经网络时间复杂度严重制约了其在实际通信中的应用。

发明内容

本发明针对现有水声信号调制方式识别方法泛化性能差、计算成本高、识别准确率低等技术问题，提出了一种基于深度混合神经网络的快速准确水声信号调制方式识别方法，可以解决上述问题。

本发明通过设计一种迎合水声信号特点的深度混合神经网络自动提取识别水声信号调制方式的关键特征，避免了基于特征提取识别算法对特征质量的依赖性。同时，优化深度混合神经网络的卷积层部分，使用一维卷积核代替二维卷积核、不使用池化层、以增加网络宽度的方法保证网络识别精度。一维卷积核代替二维卷积核与不使用池化层减少网络参数数量、降低计算成本，同时，避免因池化层的降维作用而可能引起的关键信号特征丢失；深度混合神经网络浅层为循环层，利用循环层处理时序数据的优势直接联系水声信号，保证了神经网络的识别准确率，最终实现低延迟、高准确率的水声信号调制方式识别。

为实现上述发明目的，本发明采用下述技术方案予以实现：

一种基于深度混合神经网络的快速准确水声信号调制方式识别方法，包括以下步骤：

S1：首先对接收到的水声信号进行预处理；

S2：搭建深度混合神经网络；

S3：训练所述S3中的神经网络；

S4：将S1中预处理后的水声信号输入至S3中训练好的神经网络，进行水声信号调制方式识别，输出。

进一步的，所述S1中对水声信号进行归一化操作与变维处理；

所述归一化操作公式为：

其中，S为原始信号，S′为归一化后的信号，max为原始信号的最大值，min为原始信号的最小值；

所述变维处理：将一维S′归一化后的信号重塑为二维。

进一步的，所述S2中神经网络搭建步骤，包括：

S2-1循环层结构设计；

循环层公式为：

O_t＝g(V·S_t)

S_t＝f(U·X_t+W·S_t-1)

其中，t代表时刻，X_t为t时刻输入，S_t为t时刻隐含层的值，输出值为O_t，U为输入的权重矩阵，V为输出的权重矩阵，W为隐含层输出给下一时刻的权重矩阵。

S2-2卷积层结构的设计：

卷积核的计算公式为：

其中，

代表卷积运算，

代表矩阵加法，FA_i代表第i层的输出特征图，W_ki代表第i层第k个卷积核，B_ki代表第i层第k个卷积核对应的阈值矩阵。

S2-3全连接层结构的设计：

全连接层的计算公式为：

其中，

为矩阵乘法，

矩阵加法，FCAi是第i层全连接层的输出，WFC_i是第i层全连接层的权值矩阵，FCB_i是第i层全连接层的阈值矩阵。

S2-4输出层softmax函数为：

其中，p_i代表softmax的第i个输出值，zi为第i个输出层神经元输出。

更进一步的，所述S2-1中使用门控循环单元(Gated Recurrent Unit，GRU)来构造循环层，公式为：

Z_t＝σ(W_z⊙[h_t-1，In_t])

r_t＝σ(W_r⊙[h_t-1，In_t])

其中，⊙表示元素的智能乘积，tanh与σ分别代表Tangent函数与Sigmoid函数。In_t为t时刻输入，h_t-1为t-1时刻隐含层输出，h_t为t时刻隐含层输出。W_z、W_r与W_h是经过学习的权重矩阵。Z_t为更新门，它决定前一时刻记忆信息更新到当前时刻的量。rt为重置门，它控制记忆信息与当前时刻输入的结合。

为候选态。GRU的更新门与重置门能够记忆长信号序列中的信息，确保有效信息不会因时间推移或预测不相关而消除。

更进一步的，所述S2-2中，第一层卷积层设置为：包含三种一维卷积核，其尺寸分别为8、16、32；本层输入经三种一维卷积核卷积，并拼接此三种一维卷积核的卷积结果作为当前层的输出；第二层卷积层设置为：包含三种一维卷积核，其尺寸分别为27、45、63。本层输入经三种一维卷积核卷积，并拼接此三种一维卷积核的卷积结果作为当前层的输出。

进一步的，所述S3中神经网络训练步骤包括：

S3-1采用小批量梯度下降法划分数据集，将数据集分成统一大小的数据块分批输入，神经网络每次迭代学习一批次数据；

S3-2使用Adma优化器作为调整神经网络参数的优化器：训练过程中，神经网络由损失函数的损失值计算神经网络梯度，并根据网络梯度更新权值参数。

更进一步的，所述S3-1中使用交叉熵函数作为神经网络的损失函数，神经网络向着最小化损失函数的方向学习，损失函数为：

其中，N为输出层神经元个数，

为输出层第i个神经元输出的预测值，Y_i为输出层第i个神经元对应的真实值，损失函数的值越小，表明神将网络对数据学习的越好。

更进一步的，所述S3-2中：利用调整后的神经网络梯度更新神经网络权值；所述Adam优化器结合一阶动量与二阶动量算法修正偏差，调整神经网络梯度：

所述一阶动量公式为：

m_t＝β₁*m_t-1+(1-β₁)*g_t

为t时刻计算出的梯度，m_t是t时刻的一阶动量。一阶动量是各个时刻梯度方向的指数移动平均值，约等于最近(1-β₁)个时刻的梯度向量和的平均值。

所述二阶动量公式为：

为t时刻计算出的梯度，V_t为t时刻的二阶动量，二阶动量反应了一段时间内的梯度变化。

m₀与V₀的初始值均为0，因此，在神经网络训练初期m_t、V_t的值会接近于0。基于此，Adam优化器对m_t、V_t修正偏差来解决这个问题。修正偏差公式如下：

与

是修正后的一阶动量与二阶动量，由此得出Adam优化器更新神经网络权值的梯度公式，

神经网络的权值更新公式为，

w_t为t时刻的神经网络权值，α为神经网络学习率，合适的学习率能使神经网络更快的收敛。随着每次训练，神经网络按照上述公式更新权值，实现学习数据并准确识别的效果。

所述调制识别方法能够应用于声音信号调制方式识别，尤其适用于水声信号调制方式的识别。

与现有技术相比，本发明的优点和有益效果：

本发明提供的信号调制方式识别方法，首先，不依赖传统方法选择提取特征，采用深度学习的方法自动提取与调制方式有关的特征，保证提取特征的有效性；其次，根据水声信号的时序特点设计一种新的深度混合神经网络模型，在海试数据测试集上有较高的识别准确率；最后，对深度混合神经网络的卷积层进行去池化与一维卷积改进、以增加网络宽度的方式提高网络精度，在保证识别精度的同时兼顾识别速度。

本发明最终实现了低延迟、高准确率的水声信号调制方式识别方法，右其是水声信号的识别。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一种实施例的方框图。

图2是本发明的一种实施例中深度混合神经网络的模型图。

图3是本发明的一种实施例中训练深度混合神经网络的流程图。

图4是本发明的一种实施例中损失值随学习训练集次数的变化趋势图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下将结合附图和实施例，对本发明作进一步详细说明。

实施例1

在水声通信系统中，收发两端通常会通过握手信号约定调制方式，然而水下环境复杂多变，严重干扰握手信号造成错误。因此，接收端可通过调制方式智能识别方法自动识别接收信号的调制方式，保证水声信号解调准确无误。

一种基于深度混合神经网络的快速准确水声信号调制方式识别方法，包括以下步骤：

水声信号预处理步骤，如图1所示，包括：

S1、对信号进行归一化操作与变维处理；

归一化操作公式为：

其中，S为原始信号，S′为归一化后的信号，max为原始信号的最大值，min为原始信号的最小值。

变维处理：将一维S′归一化后的信号重塑为二维。

深度混合神经网络搭建步骤，如图2所示，包括：

S21、循环层结构设计；

循环层公式为：

O_t＝g(V·S_t)

S_t＝f(U·X_t+W·S_t-1)

其中，t代表时刻，X_t为t时刻输入，S_t为t时刻隐含层的值，输出值为O_t，U为输入的权重矩阵，V为输出的权重矩阵，W为隐含层输出给下一时刻的权重矩阵。

具体的，本实施例使用门控循环单元(Gated Recurrent Unit，GRU)来构造循环层，公式为：

Z_t＝σ(W_z⊙[h_t-1，In_t])

r_t＝σ(W_r⊙[h_t-1，In_t])

其中，⊙表示元素的智能乘积，tanh与口分别代表Tangent函数与Sigmoid函数。In_t为t时刻输入，h_t-1为t-1时刻隐含层输出，h_t为t时刻隐含层输出。W_z、W_r与W_h是经过学习的权重矩阵。Z_t为更新门，它决定前一时刻记忆信息更新到当前时刻的量。r_t为重置门，它控制记忆信息与当前时刻输入的结合。

为候选态。GRU的更新门与重置门能够记忆长信号序列中的信息，确保有效信息不会因时间推移或预测不相关而消除。

本实施例具体设置循环层第一层GRU输出维度数为640，设置循环层第二层GRU输出维度数为320，每个循环层都输出完整序列；对比使用长短时记忆网络(LSTM)构造循环层，基于南海海试数据，具有更优效果，结果如表1所示，

表1基于南海数据集两种循环层构造方法的实验结果

由表1可以看出，采用LSTM构造循环层测试集准确率为96.88％，训练集准确率为93.83％要劣于本实施例使用GRU构造循环层。

S22、卷积层结构的设计：

卷积核的计算公式为：

其中，

代表卷积运算，

代表矩阵加法，FA_i代表第i层的输出特征图，W_ki代表第i层第k个卷积核，B_ki代表第i层第k个卷积核对应的阈值矩阵，α经验值为0.1。

第一层卷积层设置为：

包含三种一维卷积核，其尺寸分别为8、16、32。本层输入经三种一维卷积核卷积，并拼接此三种一维卷积核的卷积结果作为当前层的输出。

第二层卷积层设置为：

包含三种一维卷积核，其尺寸分别为27、45、63。本层输入经三种一维卷积核卷积，并拼接此三种一维卷积核的卷积结果作为当前层的输出。

对比使用其他经典卷积神经网络AlexNet8与LeNet5，基于南海海试数据，具有更优效果，结果如表2所示，

表2基于南海数据集对比两种传统卷积神经网络的实验结果

由表2可以看出，卷积神经网络的一种LeNet5测试集与训练集的准确率最低、损失值最高；卷积网络的一种AlexNet8训练集准确率为98.75％、测试集准确率为92.14％，准确率相差6.61个百分点；基于南海数据集，AlexNet8训练集准确率为88.98％、测试集准确率为98.12％，准确率相差9.22个百分点。上述结果表明了AlexNet8确实可以较好的学习信号数据，但与本实施例得到的测试结果对比仍有不足。

S23、全连接层结构的设计：

全连接层的计算公式为：

其中，

为矩阵乘法，

矩阵加法，FCA_i是第i层全连接层的输出，WFC_i是第i层全连接层的权值矩阵，FCB_i是第i层全连接层的阈值矩阵。

具体的，输出层softmax函数为：

其中，p_i代表softmax的第i个输出值，z_i为第i个输出层神经元输出。

神经网络训练步骤，如图3所示，包括：

S31、基于海试数据，采用小批量梯度下降法划分数据集，将数据集分成统一大小的数据块分批输入，神经网络每次迭代学习一批次数据。

具体的，使用交叉熵函数作为神经网络的损失函数，神经网络向着最小化损失函数的方向学习，损失函数为：

其中，N为输出层神经元个数，

为输出层第i个神经元输出的预测值，Y_i为输出层第i个神经元对应的真实值，损失函数的值越小，表明神经网络对数据学习的越好。

S32、使用Adma优化器作为调整神经网络参数的优化器：

训练过程中，神经网络由损失函数的损失值计算神经网络梯度，并根据网络梯度更新权值参数。Adam优化器结合一阶动量与二阶动量算法修正偏差，调整神经网络梯度。

一阶动量公式为：

m_t＝β₁*m_t-1+(1-β₁)*g_t

为t时刻计算出的梯度，m_t是t时刻的一阶动量。一阶动量是各个时刻梯度方向的指数移动平均值，约等于最近(1-β₁)个时刻的梯度向量和的平均值。

二阶动量公式为：

为t时刻计算出的梯度，V_t为t时刻的二阶动量，二阶动量反应了一段时间内的梯度变化。

其中，β₁的经验值为0.9，β₂的经验值为0.999。m₀与V₀的初始值均为0，因此，在神经网络训练初期m_t、V_t的值会接近于0。基于此，Adam优化器对m_t、V_t修正偏差来解决这个问题。修正偏差公式如下：

与

是修正后的一阶动量与二阶动量，由此得出Adam优化器更新神经网络权值的梯度公式，

神经网络的权值更新公式为，

w_t为t时刻的神经网络权值，α为神经网络学习率，合适的学习率能使神经网络更快的收敛，本发明设置学习率为0.0001。随着每次训练，神经网络按照上述公式更新权值，实现学习数据并准确识别的效果。

S4调制方式识别步骤，包括：

S41、将海试信号数据集进行归一化操作与变维处理，使其符合神经网络的输入。

S42、将处理好的数据集输入到训练好的神经网络中，完成水声信号调制方式识别。

实施例2

为具体验证本发明的调制方式识别效果，该实施例基于实际南海海试数据进行具体实验。本实施例具体实施方法同实施例1。在海下通信时，发送端发送调制水声信号，接收端自动识别水声信号调制方式，正确解调信号。

基于实际南海海试数据(包含BFSK、QFSK、BPSK、QPSK、16QAM、64QAM、0FDM与DSSS 8类调制信号，每类调制信号均有200个)，本实施例的识别结果如表3、图4所示：

表3基于南海海试数据本发明的神经网络的表现

由图4、表3可以得出，训练集与测试集的损失值逐渐下降，最后二者趋于一致。本发明提供的混合神经网络的训练集损失值小、准确率高，表明其对水声信号有极佳的学习能力；此外，该神经网络的测试集与训练集识别准确率一致，表明该网络有最好的泛化性，该模型能够更好的学习信号特征并给出准确识别。在时间复杂度上，神经网络识别单个信号的平均时间约为21ms，该模型在保证识别精度的同时还有较低的时间复杂度，满足通信系统的实时性需求。

以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。

Claims (6)

1.一种基于深度混合神经网络的快速准确水声信号调制方式识别方法，其特征在于，该方法包括以下步骤：

S1：首先对接收到的水声信号进行预处理，对信号进行归一化操作与变维处理；

S2：搭建深度混合神经网络；

S3：训练所述S2中的深度混合神经网络；

S4：将S1中预处理后的水声信号输入至S3中训练好的深度混合神经网络，进行水声信号调制方式识别，最后输出信号调制方式；

所述S2中深度混合神经网络搭建步骤，包括：

S2-1循环层结构设计；

循环层公式为：

O_t＝g(V·S_t)

S_t＝f(U·X_t+W·S_t-1)

其中，t代表时刻，X_t为t时刻输入，S_t为t时刻隐含层的值，输出值为O_t，U为输入的权重矩阵，V为输出的权重矩阵，W为隐含层输出给下一时刻的权重矩阵；

S2-2卷积层结构的设计：

卷积核的计算公式为：

其中，

代表卷积运算，

代表矩阵加法，FA_i代表第i层的输出特征图，W_ki代表第i层第k个卷积核，B_ki代表第i层第k个卷积核对应的阈值矩阵；

S2-3全连接层结构的设计：

全连接层的计算公式为：

其中，

为矩阵乘法，

矩阵加法，FCA_i是第i层全连接层的输出，WFC_i是第i层全连接层的权值矩阵，FCB_i是第i层全连接层的阈值矩阵；

S2-4输出层softmax函数为：

其中，p_i代表softmax的第i个输出值，z_i为第i个输出层神经元输出；

所述S2-1中使用门控循环单元来构造循环层，公式为：

Z_t＝σ(W_z⊙[h_t-1，In_t])

r_t＝σ(W_r⊙[h_t-1，In_t])

其中，⊙表示元素的智能乘积，tanh与σ分别代表Tangent函数与Sigmoid函数，In_t为t时刻输入，h_t-1为t-1时刻隐含层输出，h_t为t时刻隐含层输出；W_z、W_r是经过学习的权重矩阵；Z_t为更新门；r_t为重置门；

为候选态；

所述S2-2中，第一层卷积层设置为：包含三种一维卷积核，其尺寸分别为8、16、32；本层输入经三种一维卷积核卷积，并拼接此三种一维卷积核的卷积结果作为当前层的输出；第二层卷积层设置为：包含三种一维卷积核，其尺寸分别为27、45、63；本层输入经三种一维卷积核卷积，并拼接此三种一维卷积核的卷积结果作为当前层的输出。

2.如权利要求1所述的水声信号调制方式识别方法，其特征在于，所述S1中对水声信号进行归一化操作与变维处理；

所述归一化操作公式为：

其中，S为原始信号，S′为归一化后的信号，max为原始信号的最大值，min为原始信号的最小值；

所述变维处理：将一维S′归一化后的信号重塑为二维。

3.如权利要求1所述的水声信号调制方式识别方法，其特征在于，所述S3中所述深度混合神经网络训练步骤包括：

S3-1采用小批量梯度下降法划分数据集，将数据集分成统一大小的数据块分批输入，神经网络每次迭代学习一批次数据；

S3-2使用Adma优化器作为调整神经网络参数的优化器：训练过程中，神经网络由损失函数的损失值计算神经网络梯度，并根据网络梯度更新权值参数。

4.如权利要求3所述的水声信号调制方式识别方法，其特征在于，所述S3-1中使用交叉熵函数作为神经网络的损失函数，神经网络向着最小化损失函数的方向学习，损失函数为：

其中，N为输出层神经元个数，

为输出层第i个神经元输出的预测值，Y_i为输出层第i个神经元对应的真实值，损失函数的值越小，表明神将网络对数据学习的越好。

5.如权利要求3所述的水声信号调制方式识别方法，其特征在于，所述S3-2中，所述Adam优化器结合一阶动量与二阶动量算法修正偏差，调整神经网络梯度，利用调整后的神经网络梯度更新神经网络权值：

所述一阶动量公式为：

m_t＝β₁*m_t-1+(1-β₁)*g_t

为t时刻计算出的梯度，m_t是t时刻的一阶动量；一阶动量是各个时刻梯度方向的指数移动平均值，约等于最近(1-β₁)个时刻的梯度向量和的平均值；

所述二阶动量公式为：

为t时刻计算出的梯度，V_t为t时刻的二阶动量，二阶动量反应了一段时间内的梯度变化。

6.如权利要求5所述的水声信号调制方式识别方法，其特征在于，m₀与V₀的初始值均为0，因此，在神经网络训练初期m_t、V_t的值会接近于0，基于此，Adam优化器对m_t、V_t修正偏差来解决这个问题，修正偏差公式如下：

与

是修正后的一阶动量与二阶动量，由此得出Adam优化器更新神经网络权值的梯度公式，

神经网络的权值更新公式为，

w_t为t时刻的神经网络权值，α为神经网络学习率，合适的学习率能使神经网络更快的收敛。

Images