CN113269077B - 基于改进门控网络和残差网络的水声通信信号调制方式识别方法 - Google Patents

Abstract

本发明公开了一种基于改进门控网络和残差网络的水声通信信号调制方式识别方法，该识别方法包括：接收水声信号；对门控循环神经网络进行改进，以提取水声信号的时间特征；对残差神经网络进行改进，同时引入自注意力机制进行加权再处理，得到水声信号空间特征；基于水声信号时间特征和空间特征之间的相关性，使用自适应融合策略用于得到的水声信号时间特征和得到的空间特征进行融合；将融合后的特征送入全连接神经网络进行网络训练；待识别水声信号进行特征提取和融合后，输入至训练好的全连接神经网络进行识别，最后输出识别结果。本发明最终实现了抗干扰强、准确率高的水声通信调制方式智能识别。

Description

基于改进门控网络和残差网络的水声通信信号调制方式识别方法

技术领域

本发明属于水声通信技术领域，具体地说，涉及一种改进门控网络结构和改进残差网络结构的自适应特征融合神经网络的水声通信调制识别方式智能识别方法。

背景技术

调制信号的自动识别是现代通信技术中的一个重要的研究领域，目前海洋作为重要的军事和经济战略重点，水下无线数据传输是获取海洋信息、实施海洋观测的关键技术，水声通信信号调制方式的自动识别具有重要的意义。因声波在海水中有着良好的传播性能，传播过程中衰减较小，水声通信成为水下中远距离传播信息的主要方式。但相比于陆地无线信道，水声信道复杂多变，单一固定的调制模式难以适应频繁变化的水声信道，致使通信效率低下。目前，多采用自适应调制编码，根据信道状况自适应调整调制编码方式，该技术需要通信双方需要通过握手信号确定当前采用的调制方式，而水下复杂的噪声干扰极易导致握手信号出错，致使接收端采用不匹配的解调方式，进而导致解调数据的严重错误。

采用调制方式智能识别技术可使接收端自动识别接收信号的调制方式，确保正确解调数据，可以提高水声通信系统数据传输的高效性和可靠性。目前调制方式智能识别的方法主要分为基于最大似然比假设检验的调制方式识别方法、基于特征提取的调制方式识别方法以及自动提取特征调制识别。基于最大似然比假设检验的调制识别方法需要信号的先验信息，其有效性与可靠性不足，且计算复杂，难以实际应用；传统基于特征的调制识别方式方法技术思路简单清晰，在低信噪比条件下拥有可观的识别准确率，然而，水声信道与无线信道差异巨大，且表现出更加复杂的多径效应及噪声干扰，导致许多在无线通信信号的自动调制识别中表现良好的特征难以适用于水声信号；自动提取特征调制识别方法可以通过输入的水声信号自动提取特征进行调制识别，不需要人工干预，但通常考虑的信号特征维度单一，且目前还处于起步阶段，大多基于理想的仿真数据，实际应用效果未知。同时，上述方法目前可识别的信号种类较少，无法识别水声通信中常用的扩频信号以及OFDM信号等，适用范围有限。

发明内容

针对现有水声信号调制方式识别没有充分考虑到水声调制信号的多维度特征、门控循环单元神经网络中输入和状态只在门控单元内部交互可能导致信号前后信息丢失以及单一的多层残差块提取特征有冗余造成的识别准确率低等问题，本发明的目的是提供一种基于改进门控网络结构和改进残差网络结构的自适应特征融合神经网络的水声通信调制识别方式智能识别方法，以解决上述问题。

为实现上述发明目的，本发明采用下述技术方案予以实现：

一种基于改进门控网络和残差网络的水声通信信号调制方式识别方法，包括以下步骤：

S1：接收水声信号；

S2：对门控循环神经网络进行改进，以提取水声信号的时间特征；

S3：对残差神经网络进行改进，同时引入自注意力机制进行加权再处理，得到水声信号空间特征；

S4：基于水声信号时间特征和空间特征之间的相关性，使用自适应融合策略用于S2得到的水声信号时间特征和S3得到的空间特征进行融合；

S5：将S4融合后的特征送入全连接神经网络进行网络训练；

S6：待识别水声信号进行上述S2、S3和S4特征提取和融合后，输入至S5训练好的全连接神经网络进行识别，最后输出识别结果。

进一步的，所述S2中，所述改进门控循环神经网络具体为：

S2-1：为便于神经网络训练，需要对门控循环输入神经网络的水声信号归一化：

其中，x为原始水声信号，x_new为归一化后的水声信号，x_max与x_min为原始水声信号最大值与最小值；

S2-2：门控循环神经网络输入要求为二维数据，此时，将原始一维数据(长度为L)重塑为二维数据(维度为N*M，其中N为门控循环神经网络时间步的数量，M为每个时间步输入数据的长度，L＝N*M)；

S2-3：在数据进入门控单元的重置门、更新门之前引入新的交叉门，具体为输入x和隐藏层h^t在进入门控循环单元前首先进行交互，通过这种方式增强模型信号上下文的建模能力：

具体的说，x-1就是归一化后的输入x_new，而h⁰是h_prev的初始隐藏状态，它们进行r轮交互，当r＝0是相当于直接输入到门控循环单元中，

当r为奇数时：

奇数i∈[1...r]；

当r为偶数时：

偶数i∈[1...r]

其中σ为sigmod函数；

⊙为元素层面的乘积，两个向量按元素一个一个相乘，组成一个新的向量，结果向量与原向量尺寸相同，Qⁱ，Rⁱ是大小为N*M的矩阵，与常数2相乘可以确保随机初始化Qⁱ，Rⁱ矩阵得到接近恒等式的变换。为了减少引入参数的数量，将Qⁱ，Rⁱ分解为低秩矩阵的乘积；通过x^-1和h⁰计算得出x¹，然后通过x¹和h⁰计算得到h²,再通过x¹和h²得到x³，最后得到融合了x和h信息的h²和x³,然后将其作为初始输入x₀和h₀，输入到门控循环单元中的重置门和更新门，重置门r_t公式为，

r_t＝σ(W_rx_r+U_rh_t-1+b_r)

更新门公式为，

z_t＝σ(W_zx_r+U_zh_t-1+b_z)，

基于重置门计算的隐藏状态公式为，

基于更新门对隐藏的状态更新公式为，

其中W和U是权值矩阵，在训练中学习，在训练结束时确定；最后每个时间步得到的隐藏层输出认为是包含了整个水声调制信号的编码，即得到提取的时域特征X；

X＝[h₁,h₂,...,h_t]。

进一步的，所述S3中改进残差神经网络，具体为：

S3-1：通过空洞卷积，用不同的步长和填充0的操作对神经网络的每一层输出的特征图进行卷积核拓展，扩大感受野和捕获多尺度信号上下文信息，空洞卷积实际卷积核大小K：K＝k+(k-1)(r-1)；

其中k为原始卷积核大小，r为空洞卷积参数空洞率；再依次经过三个残差块得到三个不同层次的特征，考虑到计算复杂度和网络性能，每个残差块的输出通过池化层和串联以简化模型参数；

S3-2：考虑到不同层次输出的特征图中的矢量对调制类型识别的影响是不同的；因此，引入自注意机制来重新校准特征以提取有效信息；由于全局感受野和连续可微性，选择了软注意，计算输入的加权平均再输入到神经网络中，这有利于梯度计算；每一个注意力模块可以分成两个分支，上面的分支叫主分支，是基本的残差网络块的结构；而下面的分支是软掩码分支，而软掩码分支中包含的主要部分就是残差注意力学习机制；通过下采样和上采样操作以及残差模块，组成了注意力的机制：

H_i(x)＝(1+M_i(x))*F_i(x)

其中H_i是注意力模块，F是残差块输出的特征，M_i是下软掩膜的注意力参数；这就构成了残差注意力模块，能将残差块特征和加强注意力之后的特征一同输入到下一个残差模块；注意力选择函数f(x)，实现混合域的注意力，公式为：

然后通过Softmax函数对每个残差块注意力H_i处理得到范围在[0,1]且和为1注意映射权重W₁，W₂，W₃；所述Softmax函数为

其中x_i为第i个残差块注意力的输出值，C为残差块个数；最后将计算出的注意映射权重乘以不同层次特征来实现不同层次特征的自注意，得到重构的空间特征Y：

Y＝W₁*F₁+W₂*F₂+W₃*F₃。

进一步的，所述S4中自适应融合策略用于信号时空特征融合，具体为：

S4-1:水声信号的时间特征和空间特征具有不同的分辨率和通道数，为了进一步采用相加的方式自适应融合，所以需要将相加两个网络输出的特征图调整为大小相同，且通道数也相同，对两个网络输出的特征做下采样并调整通道数使改进残差神经网络重构后的空间特征输出与改进门控循环神经网络输出特征映射结构一致；

S4-2：通过自适应融合策略得到融合后的特征图，具体为：

X和Y分别为来自残差神经网络和循环神经网络的特征，分别乘上对应的权重参数α，β并相加，就能得到新的融合特征F，如下面公式所示：

F_ij＝α_ij·X_ij+β_ij·Y_ij

参数α的定义为：

参数β的定义类似，权重参数α，β是分别与两个网络输出的特征图大小相同的权重图，这两个参数各位置的取值自适应地被网络学习；并且参数α，β经过串联之后通过softmax使得它们的范围都在[0,1]内并且和为单位矩阵。

进一步的，所述S5具体为：

将融合后的特征输入到最终全连接神经网络分类器进行训练，全连接层包括线性部分和非线性部分；线性部分是线性加权求和的操作，对输入的融合特征F做不同角度的分析，得出该角度下对整体融合特征的判断输出值为水声信号调制方式种类数的特征向量z＝[z₁,z₂,...,z_n]；在线性部分后创建一个softmax层，该层是最终的分类层，使用softmax函数针对每个输入返回正概率，将输入分配到其中一个互斥类并计算损失，非线性部分使用softmax函数得到第i种类别的概率S_i

softmax层的输出由总和为1的多个正数组成，这些数字随后可被分类层用作分类概率，输出时选择值最大的(概率最大)作为预测值，获得水声信号调试方式识别结果。

与现有技术相比，本发明的优点和积极效果是：

本发明首先改进门控循环神经网络，在重置门和更新门之前引入新的交叉门，为输入和上下文之间的交互提供了更丰富的建模空间，可以提高对不同调制信号的识别泛化能力；其次，改进残差神经网络，在残差块之前引入空洞卷积，扩大全局感受野，充分利用信号全局信息；然后经过三个残差块获得三个不同层次的特征，对每个特征都进行池化操作简化参数；然后考虑到不同层次输出的特征对调制类型识别的影响是不同的，因此引入自注意机制来重新校准特征以提取有效信息，因为全局感受野和连续可微性，选择了软注意，这有利于梯度计算。通过对处理后的特征序列进行线性变换，并利用softmax函数进行非线性变换和归一化处理后得到注意映射权重。将计算出的注意映射权重乘以不同层次特征来实现不同层次特征的自注意；这种自注意机制对特征进行加权再处理，捕捉全局信息的同时来增强局部特征，提高特征的判别能力，使得网络模型可充分利用输入的信号数据信息，提高模型的分类识别性能；最后为了利用时间和空间特征之间的相关性，提出了使用自适应融合策略用于信号时空特征的融合。时间特征和空间特征具有不同的分辨率和通道数，为了进一步的融合，对两个网络输出的特征做下采样并调整通道数使改进残差神经网络重构后的空间特征输出与改进门控循环神经网络输出特征映射结构一致。然后，通过自适应融合策略得到融合后的特征图，充分捕捉了时间和空间特征之间的内在关联，为自动调制识别提供足够的特征信息，最后输入到全连接神经网络分类器输出调制方式识别结果。

本发明最终实现了抗干扰强、准确率高的水声通信调制方式智能识别。

附图说明

图1是本发明实施例的流程图。

图2是本发明实施例中改进门控循环神经网络的前置交叉层操作的流程图。

图3是本发明实例中改进残差神经网络的流程图。

图4是本发明实例中自适应特征融合流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下将结合附图和实施例，对本发明作进一步详细说明。

实施例1:

在水声自适应调制编码通信系统中，信号发射端与接收端通常会通过握手信号约定调制方式，但水声信道复杂多变，握手信号容易产生错误，接收端可通过调制方式智能识别方法自动识别接收信号的调制方式，保障数据解调正确。

本实施例具体通过以下步骤实现(具体流程如图1所示)：

S1：使用改进门控循环神经网络提取水声信号时域特征步骤，包括：

S11：对改进的门控循环神经的输入进行预处理，为便于神经网络训练，需要对输入神经网络的水声信号归一化：

其中，x为原始水声信号，x_new为归一化后的水声信号，x_max与x_min为原始水声信号最大值与最小值；

S12：门控循环神经网络输入要求为二维数据，此时，将原始一维数据(长度为L)重塑为二维数据(维度为N*M，其中N为门控循环神经网络时间步的数量，M为每个时间步输入数据的长度，L＝N*M)；

S1-3：在数据进入门控单元的重置门、更新门之前引入新的交叉门，具体为输入x和h^t在进入门控循环单元前首先进行交互，通过这种方式增强模型信号上下文的建模能力，具体如图2示：

具体的说x-1就是归一化后的输入x_new，而h⁰是h_prev的初始隐藏状态，它们进行r轮交互，当r＝0是相当于直接输入到门控循环单元中，

具体的说x-1就是归一化后的输入x_new，而h⁰是h_prev的初始隐藏状态，它们进行r轮交互，当r＝0是相当于直接输入到门控循环单元中，

当r为奇数时：

奇数i∈[1...r]

当r为偶数时：

偶数i∈[1...r]

其中σ为sigmod函数

⊙为元素层面的乘积，两个向量按元素一个一个相乘，组成一个新的向量，结果向量与原向量尺寸相同，Qⁱ，Rⁱ是大小为N*M的矩阵，与常数2相乘可以确保随机初始化Qⁱ，Rⁱ矩阵得到接近恒等式的变换。为了减少引入参数的数量，将Qⁱ，Rⁱ分解为低秩矩阵的乘积；如图2所示，通过x^-1和h⁰计算得出x¹，然后通过x¹和h⁰计算得到h²,再通过x¹和h²得到x³，最后得到融合了x和h信息的h²和x³,然后将其作为初始输入x₀和h₀，输入到门控循环单元中的重置门和更新门，最终得到提取的时域特征X：

X＝[h₁,h₂,...,h_t]

S2：使用改进的残差神经网络提取水声信号的空间特征步骤，如图3，具体为：

S21:使用S11中预处理后的数据作为残差神经网络的输入，通过空洞卷积扩大全局感受野和捕获到多尺度的上下文信息。

S22：再依次经过三个残差块得到三个不同层次的特征，并将三个特征通过池化和串联操作进行参数简化。

S23：对处理后的特征进行线性变换，并利用softmax函数进行非线性变换和归一化处理后得到注意映射权重。将计算出的注意映射权重乘以不同层次特征实现不同层次特征的自注意，得到重构的空间特征Y。

Y＝W₁*F₁+W₂*F₂+W₃*F₃

S3：对S1提取的水声信号时域特征和S2提取的空间特征进行自适应特征融合步骤如图4，具体为：

S31：对两个网络输出的特征做下采样并调整通道数使改进残差神经网络重构后的空间特征输出与改进门控循环神经网络输出特征映射结构一致。

S32：将处理后的分别来自两个网络的特征分别乘上对应的融合权重参数α，β并相加，就能得到新的融合特征，如下面公式所示：

F_ij＝α_ij·X_ij+β_ij·Y_ij；

S4：最后将融合后特征输入到最终训练好的全连接神经网络分类器获得水声信号调试方式识别结果。

将融合后的特征输入到最终全连接神经网络分类器进行训练，全连接层包括线性部分和非线性部分；线性部分是线性加权求和的操作，对输入的融合特征F做不同角度的分析，得出该角度下对整体融合特征的判断输出值为水声信号调制方式种类数的特征向量z＝[z₁,z₂,...,z_n]；在线性部分后创建一个softmax层，该层是最终的分类层，使用softmax函数针对每个输入返回正概率，将输入分配到其中一个互斥类并计算损失，非线性部分使用softmax函数得到第i种类别的概率S_i

softmax层的输出由总和为1的多个正数组成，这些数字随后可被分类层用作分类概率，输出时选择值最大的(概率最大)作为预测值，获得水声信号调试方式识别结果。

以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。

Claims (3)

1.一种基于改进门控网络和残差网络的水声通信信号调制方式识别方法，其特征在于，该识别方法包括以下步骤：

S1：接收水声信号；

S2：对门控循环神经网络进行改进，以提取水声信号的时间特征；

所述S2具体为：

S2-1：为便于神经网络训练，需要对门控循环输入神经网络的水声信号归一化：

其中，x为原始水声信号，x_new为归一化后的水声信号，x_max与x_min为原始水声信号最大值与最小值；

S2-2：门控循环神经网络输入要求为二维数据，此时，将原始一维数据，长度为L，重塑为二维数据，维度为N*M，其中N为门控循环神经网络时间步的数量，M为每个时间步输入数据的长度，L＝N*M；

S2-3：在数据进入门控单元的重置门、更新门之前引入新的交叉门，具体为输入x和隐藏层h^t在进入门控循环单元前首先进行交互，得到水声信号的时间特征；

所述S2-3中，具体为：x-1就是归一化后的输入x_new，而h⁰是h_prev的初始隐藏状态，它们进行r轮交互，当r＝0是相当于直接输入到门控循环单元中，

当r为奇数时：

奇数i∈[1...r]；

当r为偶数时：

偶数i∈[1...r]

其中σ为sigmod函数；

⊙为元素层面的乘积，两个向量按元素一个一个相乘，组成一个新的向量，结果向量与原向量尺寸相同，Qⁱ，Rⁱ是大小为N*M的矩阵，与常数2相乘可以确保随机初始化Qⁱ，Rⁱ矩阵得到接近恒等式的变换；为了减少引入参数的数量，将Qⁱ，Rⁱ分解为低秩矩阵的乘积；通过x^-1和h⁰计算得出x¹，然后通过x¹和h⁰计算得到h²,再通过x¹和h²得到x³，最后得到融合了x和h信息的h²和x³,然后将其作为初始输入x₀和h₀，输入到门控循环单元中的重置门和更新门，重置门r_t公式为，

r_t＝σ(W_rx_r+U_rh_t-1+b_r)

更新门公式为，

z_t＝σ(W_zx_r+U_zh_t-1+b_z)，

基于重置门计算的隐藏状态公式为，

基于更新门对隐藏的状态更新公式为，

其中W和U是权值矩阵，在训练中学习，在训练结束时确定；最后每个时间步得到的隐藏层输出认为是包含了整个水声信号的编码，即得到提取的时域特征X；

X＝[h₁,h₂,...,h_t]

S3：对残差神经网络进行改进，同时引入自注意力机制进行加权再处理，得到水声信号空间特征；所述S3具体为：

S3-1：通过空洞卷积，用不同的步长和填充0的操作对神经网络的每一层输出的特征图进行卷积核拓展，扩大感受野和捕获多尺度信号上下文信息，空洞卷积实际卷积核大小K：K＝k+(k-1)(r-1)；

其中k为原始卷积核大小，r为空洞卷积参数空洞率；再依次经过三个残差块得到三个不同层次的特征，考虑到计算复杂度和网络性能，每个残差块的输出通过池化层和串联以简化模型参数；

S3-2：引入自注意机制来重新校准特征以提取有效信息；由于全局感受野和连续可微性，选择了软注意，计算输入的加权平均再输入到神经网络中，这有利于梯度计算；每一个注意力模块可以分成两个分支，上面的分支叫主分支，是基本的残差网络块的结构；而下面的分支是软掩码分支，而软掩码分支中包含的主要部分就是残差注意力学习机制；通过下采样和上采样操作以及残差模块，组成了注意力的机制：

H_i(x)＝(1+M_i(x))*F_i(x)

其中H_i是注意力模块，F是残差块输出的特征，M_i是下软掩膜的注意力参数；这就构成了残差注意力模块，能将残差块特征和加强注意力之后的特征一同输入到下一个残差模块；注意力选择函数f(x)，实现混合域的注意力，公式为：

然后通过Softmax函数对每个残差块注意力H_i处理得到范围在[0,1]且和为1注意映射权重W₁，W₂，W₃；所述Softmax函数为

其中x_i为第i个残差块注意力的输出值，C为残差块个数；最后将计算出的注意映射权重乘以不同层次特征来实现不同层次特征的自注意，得到重构的空间特征Y：

Y＝W₁*F₁+W₂*F₂+W₃*F₃；

S4：基于水声信号时间特征和空间特征之间的相关性，使用自适应融合策略用于S2得到的水声信号时间特征和S3得到的空间特征进行融合；

S5：将S4融合后的特征送入全连接神经网络进行网络训练；

S6：待识别水声信号进行上述S2、S3和S4特征提取和融合后，输入至S5训练好的全连接神经网络进行识别，最后输出识别结果。

2.如权利要求1所述的水声通信信号调制方式识别方法，其特征在于，所述S4具体为：

S4-1:水声信号的时间特征和空间特征具有不同的分辨率和通道数，将相加两个网络输出的特征图调整为大小相同，且通道数也相同，对两个网络输出的特征做下采样并调整通道数使改进残差神经网络重构后的空间特征输出与改进门控循环神经网络输出特征映射结构一致；

S4-2：通过自适应融合策略得到融合后的特征图，具体为：

X和Y分别为来自残差神经网络和循环神经网络的特征，分别乘上对应的权重参数α，β并相加，就能得到新的融合特征F，如下面公式所示：

F_ij＝α_ij·X_ij+β_ij·Y_ij

参数α的定义为：

参数β的定义类似，权重参数α，β是分别与两个网络输出的特征图大小相同的权重图，这两个参数各位置的取值自适应地被网络学习；并且参数α，β经过串联之后通过softmax使得它们的范围都在[0,1]内并且和为单位矩阵。

3.如权利要求1所述的水声通信信号调制方式识别方法，其特征在于，所述S5具体为：

将融合后的特征输入到最终全连接神经网络分类器进行训练，全连接层包括线性部分和非线性部分；线性部分是线性加权求和的操作，对输入的融合特征F做不同角度的分析，得出该角度下对整体融合特征的判断输出值为水声信号调制方式种类数的特征向量z＝[z₁,z₂,...,z_n]；在线性部分后创建一个softmax层，该层是最终的分类层，使用softmax函数针对每个输入返回的概率，将输入分配到其中一个互斥类并计算损失，非线性部分使用softmax函数得到第i种类别的概率S_i

softmax层的输出由总和为1的多个正数组成，这些数字随后可被分类层用作分类概率，输出时选择值最大的作为预测值。

Images