CN113609970A - 基于分组卷积深度U_Net的水下目标识别方法 - Google Patents

Abstract

本发明公开了基于分组卷积深度U_Net的水下目标识别方法，包括：获取原始随机水声信号，利用分组卷积替换U_Net模型下采样前的卷积，构建分组卷积深度U_Net模型，提取水下目标的多尺度特征，输入原始随机水声信号，得到识别后的水下目标信号。该方法可以在小样本的水声数据中，利用深度神经网络，提取多元抽象特征，并防止过拟合现象，从而提高识别精度。

Description

基于分组卷积深度U_Net的水下目标识别方法

技术领域

本发明涉及水声识别技术领域，更具体的涉及基于分组卷积深度U_Net的水下目标识别方法。

背景技术

利用深度学习网络实现水中目标识别任务是解决水中目标识别的新方法，深度网络的每一层可以提取代表不同特征的抽象信息，层数越多，得到原始信号中的特征越多。近年来，深层结构的神经网络在水声识别中的应用日趋增多，但是大多依赖单一特征的提取进行识别。U_Net模型广泛应用于医学图像检测领域，优点是网络的多尺度的特征提取与融合技术，将其应用水声目标识别中，在水声信号的小样本情形下，U_Net模型可以利用其提取特征时固有的多尺度提取性质，有效利用样本数据，提取对识别有效的不同特征表示，在小范围内的不同信噪比下，U_Net模型的识别率均有提升。但由于水声目标信号的样本数量有限及随机性的特点，U_Net模型会发生过拟合现象而使得测试集的识别率下降，如果简单的降低网络层数，可以减小过拟合，但是会丢失原始信号在中间一个尺度的所有信息，对识别率有很大影响。基于分组卷积深度U_Net可以在不减少网络层数的情况下，消除小样本带来的过拟合现象。

发明内容

本发明实施例提供基于分组卷积深度U_Net的水下目标识别方法，包括：

获取原始随机水声信号；

在U_Net模型的下采样路径中加入分组卷积操作，构建分组卷积深度U_Net模型；

输入原始随机水声信号，得到识别后的水下目标信号。

进一步，构建分组卷积深度U_Net模型包括对原始水声信号的采样、分帧：

对时域信号选取特定频率采样；

对采样以后的信号，每n个点作为一帧；

对分帧以后的信号加汉明窗；

对加窗以后的信号进行样本剔除；

对所有的样本归一化处理。

进一步，构建分组卷积深度U_Net模型包括训练分组卷积深度U_Net模型：

将采样、分帧后的原始水声信号随机选取1/3样本作为训练集，剩余2/3样本作为测试集；

训练集送入分组卷积深度U_Net模型中训练出稳定的识别模型；

将测试集送入基于分组卷积的U_Net模型中测试模型的稳健性。

进一步，U_Net模型包括：

在下采样路径中进行平均池化操作，使用两个滤波器大小为3的卷积运算，卷积运算后有一个激活函数(eLU)进行校正，然后使用滤波器大小为3，步长为2的平均池化进行下采样，信道的数量在每次下采样操作后增加一倍；

在上采样路径中，使用滤波器大小为2，步长为2的反卷积操作，将下采样路径中的同尺度卷积输出与反卷积输出串联起来。

进一步，分组卷积的结构包括：

输入特征的通道数为n，输出特征的通道数为k，卷积核大小为1×3，输出k个通道分为m组，每组两个通道。

进一步，还包括利用反向传播算法优化分组卷积深度U_Net模型的参数：

将样本的输出利用softmax函数转换成概率模型，softmax函数表达式为：

其中x_i表示一个样本中当前的第i个特征点的值，x_j表示一个样本中每一个特征点的值；

softmax函数的概率输出与样本的对应标签求交叉熵函数作为网络的优化依据，交叉熵函数表达式为：

其中，y′_i表示真实标签中的第i个值，y_i表示softmax输出层的第i个值；

利用反向传播算法找到使得损失函数(交叉熵)下降最快的变量变化方向，更新原始参数，其中卷积层到池化层的反向传播数学表达式为：

其中，H代表误差函数(交叉熵)，ω^l代表第l层的卷积核函数，a^l-1代表第i-1层的池化层输出函数，*代表卷积操作，rot180代表对卷积核的反转；

取微小变化量为梯度：

其中，η为学习率，w^l代表第l层卷积核函数，Δw^l为微小变化量；

用微小变化量来更新，更新的表达式为：

w^l′＝w^l-Δw^l

其中，w^l'为更新后的微小变化量。

进一步，还包括设置基于分组卷积的U_Net模型的参数：

下采样路径包含3次下采样，每一次下采样前对数据进行两次相同的卷积操作，选取卷积核大小为1×3，步长为1，通道数分别为64、128、256；

每一次下采样对卷积后的数据进行最大池化操作，选取核大小为1×3，步长为2，通道数加倍；

上采样路径包含3次上采样，每一次上采样以后采样点加倍，通道数减半，采样以后与同尺度的下采样数据拼接，对拼接数据连续两次卷积操作，卷积核大小为1×3，步长为1，通道数分别为256、128、64。

本发明实施例提供基于分组卷积深度U_Net的水下目标识别方法，与现有技术相比，其有益效果如下：

针对水声信号的小样本以及不稳定性与随机性，提出一种适用水下目标识别的基于分组卷积的U_Net模型，该模型利用多尺度特征提取方法，提高水声信号的识别率。

本发明在此基础上首先提出一种U_Net网络，该网络是一种基于多尺度特征提取的跳跃连接网络，可以在有效避免梯度消失的情况下提取出信号的特征，然而，U_Net网络主要针对图像检测，在提取特征时，采集很多边缘的特征点，而水声信号的边缘点对识别的贡献意义与普通点相近，所以在水声信号的特征点提取中加入分组卷积操作，分组卷积可以弱化每一个通道的传递效应，减小特征点的冗余，对于小样本数据，可以防止过拟合现象。

附图说明

图1为本发明实施例提供的基于分组卷积深度U_Net的水下目标识别方法步骤图；

图2为本发明实施例提供的基于分组卷积深度U_Net的水下目标识别方法U_Net模型结构图；

图3为本发明实施例提供的基于分组卷积深度U_Net的水下目标识别方法U_Net模型的损失函数与识别精度；

图4为本发明实施例提供的基于分组卷积深度U_Net的水下目标识别方法分组卷积网络结构图；

图5为本发明实施例提供的基于分组卷积深度U_Net的水下目标识别方法基于分组卷积的U_Net模型的损失函数与识别精度；

图6为本发明实施例提供的基于分组卷积深度U_Net的水下目标识别方法识别率。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1～6，本发明实施例提供基于分组卷积深度U_Net的水下目标识别方法，该方法包括：

获取原始随机水声信号；

在U_Net模型的下采样路径中加入分组卷积操作，构建分组卷积深度U_Net模型；

输入原始随机水声信号，得到识别后的水下目标信号。

下面为具体的实例：

为了克服U_Net模型在小样本下的过拟合问题，本文提出基于分组卷积深度U_Net的水下目标识别方法，该方法在U_Net模型基础上，下采样部分在下采样前采用分组卷积操作，减小网络参数，有效减小系统复杂度，消除过拟合现象，提高识别率。

本发明解决其技术问题所采用的技术方案：基于分组卷积深度U_Net的水下目标识别方法，网络在U_Net模型的下采样路径中加入分组卷积操作。

，可以在有效提取多尺度特征下，消除复杂U_Net模型对小样本训练出现的过拟合现象，从而优化模型对未知测试样本的识别能力。其特点包括下述步骤：

步骤1：对原始水声信号进行采样、分帧。原始信号是wav格式的水声信号，其中包含三类水声数据，每一类有15s的信息，对此时域信号选取特定频率采样，对采样以后的信号，每n个点作为一帧，为了保存完整的水声信号特征，对分帧以后的信号加汉明窗，然后对所有的样本归一化处理。

步骤2：训练集送入分组卷积深度U_Net模型中训练出稳定的识别模型。

1、将步骤1处理好的信号，随机选取1/3样本作为训练集，剩余2/3样本作为测试集，在同一次训练中，训练集和测试集是固定的，之间没有重复样本。

2、U_Net模型由下采样路径和上采样路径两部分组成，下采样和上采样操作主要利用扩大和缩小原始样本的分辨率来提取不同尺度的特征。通常CNN(卷积神经网络)的设计中，使用滤波器尺寸大小为3的卷积提取特征，由于感受野太小，输出特征只包含局部特征，无法捕获全局信息。如果简单的增加卷积核的大小，不仅不能提取全局特征，而且会增加参数的数量。U_Net模型在CNN模型的基础上，构建了多尺度特征提取模型，有效避免了由于卷积核大小的固定导致提取特征的单一。模型采用上、下采样的方法提取多尺度特征，在下采样路径中，利用平均池化操作，提取更加局部的特征，具体操作是使用两个滤波器大小为3的卷积运算，卷积运算后有一个激活函数(eLU)进行校正，然后使用滤波器大小为3，步长为2的平均池化进行下采样，信道的数量在每次下采样操作后增加一倍。在上采样路径中，使用滤波器大小为2，步长为2的反卷积操作，将下采样路径中的同尺度卷积输出与反卷积输出串联起来，上采样和级联可能导致局部特征退化，但是不影响全局特征的提取。U_Net模型结构如附图2所示,图中三种不同箭头分别代表不同的操作。对网络的训练过程，利用随机梯度下降实现，网络的输出数据与输入数据大小相同，在输出层连接最大池化操作，由于卷积过程中相同通道上的权值共享，所以每一个通道作为一个特征点，然后利用全连接层映射到与类别大小相同的层结构，将样本的输出利用softmax函数转换成概率模型，softmax函数如式1所示，其中x_i表示一个样本中当前的第i个特征点的值，x_j表示一个样本中每一个特征点的值。softmax函数的概率输出与样本的对应标签求交叉熵函数作为网络的优化依据。

交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，本方法中表示的是预测类别与真实样本标签之间的差异，交叉熵的值越小，模型预测效果越好，交叉熵的数学表达式如式2所示：

其中，y_i ^′表示真实标签中的第i个值，y_i表示softmax输出层的第i个值。优化方法采用反向传播算法更新网络中的所有参数。

3、U_Net模型利用卷积网络的下采样与上采样操作，提取出样本中不同尺度的特征，可以在有限的样本数量下提高对样本识别的精确度。利用U_Net模型训练实测水声数据，在U_Net模型中输入时域信号。训练的循环次数为500，每5次循环后，将训练集与测试集送入训练好的模型中，计算训练集与测试集的损失函数与识别精度。附图3中上图显示训练集与测试集的损失函数随着迭代次数的变化曲线，下图显示训练集与测试集的识别率随着迭代次数的变化曲线。分析附图3，在训练样本的损失函数收敛在一个较低的范围时，测试集的损失函数在大范围内抖动，函数没有收敛，而且在500循环次数内依然保持很高的损失函数。系统出现过拟合现象。主要原因是在经过三次的下采样与上采样时，网络的卷积参数数量巨大，容易在小样本训练中出现网络的过拟合现象，简单的减小上采样与下采样的次数，在整个网络中就失去多尺度提取的优势。系统的过拟合现象导致测试集的识别率与训练集的识别率之间存在很大的差别，系统无法很好的识别训练集以外的样本信号。

对输出卷积通道上的数据分组，可以降低卷积过程的参数数量。如附图4是一个分组卷积操作的表示，输入特征的通道数为n，输出特征的通道数为k，卷积核大小为1×3，则原始的卷积参数数量为n×k×1×3，对卷积进行分组，将输出的k个通道分为m组，每组两个通道，参数数量变为(n/m)×k×1×3。基于分组卷积的U_Net模型(Group_U_Net)是利用分组卷积替换下采样前的卷积操作，用同样的实验数据与实验方法训练网络，结果如附图5所示，上图显示训练数据与测试集的损失函数随迭代次数的变化曲线，下图表示训练数据与测试集的识别精度随迭代次数的变化曲线。由图可知，训练集与测试集的损失函数均可以收敛在一个很小值范围内，网络没有过拟合现象，而且，训练集与测试集的识别精度非常接近，网络可以对训练集以外的数据有较好的识别能力。

4、本发明的实验数据是三类实测水声数据，对网络的训练过程，利用随机梯度下降实现，将步骤1得到的水声样本与其对应的类别标签用于训练网络，利用网络最终输出特征的softmax函数与对应标签的交叉熵函数作为网络的优化依据。

优化模型利用反向传播算法，原理是找到使得损失函数(交叉熵)下降最快的变量变化方向，更新原始变量。梯度下降算法是一种求损失函数最小化的重要方法之一，主要思想是导数为0处是一个函数的最小值点，卷积神经网络的反向传播分为池化层的反向传播与卷积层的反向传播，池化层的反向传播首先还原池化前函数，

求出误差函数下降最快的方向，从卷积层到池化层的反向传播数学表达式如式4：

其中，H代表误差函数(交叉熵)，ω^l代表第l层的卷积核函数，a^l-1代表第l-1层的池化层输出函数，*代表卷积操作，rot180代表对卷积核的反转；Δw^l代表第l层卷积层的卷积核权重的微小变化量，微小变化量所取的方向是变化最快的方向，以最快的速度找到损失函数的最小值，在梯度方向上，变换是最快的，取微小变化量为梯度，表达式为式5：

其中，η为学习率，w^l代表第l层卷积核函数，用微小变化量来更新，更新的形式为式6所示：

w^l′＝w^l-Δw^l (6)

利用梯度下降法，对所有的权重进行更新，优化网络中所有的权重值。

利用卷积神经网络反向传播算法优化基于分组卷积的U_Net模型，使得模型的识别效果达到最优。

步骤3：将测试集送入基于分组卷积的U_Net模型中测试模型的稳健性。

保存步骤2已经训练良好的模型参数，对模型输入测试集，观察测试集的识别率与训练集的识别率，得出一种稳健的网络模型。

实验利用相同的训练集与测试集对U_Net模型做识别实验，并与本方法进行识别准确率对比，由附图5可以得出，在-20dB～20dB的信噪比范围内，本方法的识别率均优于U_Net方法，进一步研究比较常见的深度网络的水中识别方法DBN网络与DAE网络，在-20dB～20dB的信噪比范围内，本方法的识别率均高于其他网络。实验证明所提出方法在加大网络层数的情况下，消除过拟合现象，提高水声信号的识别率，增大网络模型的鲁棒性，

具体地，步骤1首先对时域信号分帧，信号的采样频率为8000，199个特征点为一帧，帧间无重叠，然后分析所有特征点，如果样本中的最大特征点小于0.1，去除样本，剔除小值帧样本可以保证识别的结果不受特殊样本点的影响。信号的采样频率为8000Hz，对信号分帧，帧间无重叠，由于小样本剔除在每个样本中的数量不等，所以处理后的数据样本间数量有差异，其中第一类样本数853个，第二类样本数885个，第三类样本是775个，对所有样本归一化，然后选取每一类样本中的1/4数据作为测试集，3/4数据作为训练集，得到训练集中包含1884个样本，测试集中包含629个样本。训练方法选择批处理方法，每一批随机选取64个样本，被选取的样本不会作为下一批的备选样本。

步骤2设置基于分组卷积的U_Net模型的参数。其参数设置为：下采样路径包含3次下采样，每一次下采样前对数据进行两次相同的卷积操作，选取卷积核大小为1×3，步长为1，通道数分别为64、128、256，每一次下采样对卷积后的数据进行最大池化操作，选取核大小为1×3，步长为2，通道数加倍；上采样路径包含3次上采样，每一次上采样以后采样点加倍，通道数减半，采样以后与同尺度的下采样数据拼接，对拼接数据连续两次卷积操作，选取卷积核大小为1×3，步长为1，通道数分别为256、128、64。对抗模型的参数设置为：五层卷积层，卷积核的大小1×3、1×3、1×5、1×5、1×5，步长为1，通道数为32、32、64、64、64。优化过程选取Adam优化器，优化时的初始学习率为0.001，权值的初始化选择随机初始化方法。测试集的识别率计算方法是在初始参数随机的情况下，实验5次，取识别结果的平均值。

步骤3将步骤1得到的训练集输入到步骤2设置好的模型中，训练网络模型，当得到的识别率误差小于0.001时停止训练。将测试集输入训练好的模型中，测试模型的稳健性。

本方法对三类实测水声数据下的识别率如附图6所示，图中展示了基于分组卷积的U_Net模型(Group_U_Ne)在不同信噪比条件下的识别率，并与常用的水声识别深度网络DBN模型、DAE模型以及U_Net模型模型进行比较，结果表明，本发明提出的模型在相同信噪比条件下识别率均优于其他网络模型。

以上公开的仅为本发明的几个具体实施例，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明的精神和范围，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围内。

Claims (7)

1.基于分组卷积深度U_Net的水下目标识别方法，其特征在于，包括：

获取原始随机水声信号；

在U_Net模型的下采样路径中加入分组卷积操作，构建分组卷积深度U_Net模型；

输入原始随机水声信号，得到识别后的水下目标信号。

2.如权利要求1所述的基于分组卷积深度U_Net的水下目标识别方法，其特征在于，所述构建分组卷积深度U_Net模型包括对原始水声信号的采样、分帧：

对时域信号选取特定频率采样；

对采样以后的信号，每n个点作为一帧；

对分帧以后的信号加汉明窗；

对加窗以后的信号进行样本剔除；

对所有的样本归一化处理。

3.如权利要求2所述的基于分组卷积深度U_Net的水下目标识别方法，其特征在于，所述构建分组卷积深度U_Net模型包括训练分组卷积深度U_Net模型：

将采样、分帧后的原始水声信号随机选取1/3样本作为训练集，剩余2/3样本作为测试集；

训练集送入分组卷积深度U_Net模型中训练出稳定的识别模型；

将测试集送入基于分组卷积的U_Net模型中测试模型的稳健性。

4.如权利要求2所述的基于分组卷积深度U_Net的水下目标识别方法，其特征在于，所述U_Net模型包括：

在下采样路径中进行平均池化操作，使用两个滤波器大小为3的卷积运算，卷积运算后有一个激活函数eLU进行校正，然后使用滤波器大小为3，步长为2的平均池化进行下采样，信道的数量在每次下采样操作后增加一倍；

在上采样路径中，使用滤波器大小为2，步长为2的反卷积操作，将下采样路径中的同尺度卷积输出与反卷积输出串联起来。

5.如权利要求1所述的基于分组卷积深度U_Net的水下目标识别方法，其特征在于，所述分组卷积的结构包括：

输入特征的通道数为n，输出特征的通道数为k，卷积核大小为1×3，输出k个通道分为m组，每组两个通道。

6.如权利要求1所述的基于分组卷积深度U_Net的水下目标识别方法，其特征在于，还包括利用反向传播算法优化分组卷积深度U_Net模型的参数：

将样本的输出利用softmax函数转换成概率模型，softmax函数表达式为：

其中x_i表示一个样本中当前的第i个特征点的值，x_j表示一个样本中每一个特征点的值；

softmax函数的概率输出与样本的对应标签求交叉熵函数作为网络的优化依据，交叉熵函数表达式为：

其中，y′_i表示真实标签中的第i个值，y_i表示softmax输出层的第i个值；

利用反向传播算法找到使得损失函数(交叉熵)下降最快的变量变化方向，更新原始参数，其中卷积层到池化层的反向传播数学表达式为：

其中，H代表误差函数(交叉熵)，ω^l代表第l层的卷积核函数，a^l-1代表第i-1层的池化层输出函数，*代表卷积操作，rot180代表对卷积核的反转；

取微小变化量为梯度：

其中，η为学习率，w^l代表第l层卷积核函数，Δw^l为微小变化量；

用微小变化量来更新，更新的表达式为：

w^l′＝w^l-Δw^l

其中，w^l′为更新后的微小变化量。

7.如权利要求1所述的基于分组卷积深度U_Net的水下目标识别方法，其特征在于，还包括设置基于分组卷积的U_Net模型的参数：

下采样路径包含3次下采样，每一次下采样前对数据进行两次相同的卷积操作，选取卷积核大小为1×3，步长为1，通道数分别为64、128、256；

每一次下采样对卷积后的数据进行最大池化操作，选取核大小为1×3，步长为2，通道数加倍；

上采样路径包含3次上采样，每一次上采样以后采样点加倍，通道数减半，采样以后与同尺度的下采样数据拼接，对拼接数据连续两次卷积操作，卷积核大小为1×3，步长为1，通道数分别为256、128、64。

Images