CN115223033A - 一种合成孔径声呐图像目标分类方法及系统 - Google Patents

Abstract

本发明提供一种合成孔径声呐图像目标分类方法及系统，所述方法包括：(1)获取图像训练集与验证集；(2)对可变形卷积模块中的标准卷积模块改进为深度分离卷积，得到深度分离可变形卷积；(3)将前述深度分离可变形卷积模块添加到优化后的残差网络中，得到目标分类模型；(4)利用SAS图像对模型进行训练，得到目标分类结果。本发明克服了人工提取特征的缺陷，解决了由于目标形态不规则及尺度差异导致的分类准确率低的问题，资源消耗量和计算复杂度小，能够快速应用到实际设备中，为水下自动目标识别提供可靠的性能。

Description

一种合成孔径声呐图像目标分类方法及系统

技术领域

本发明涉及水声信号处理领域，尤其涉及一种合成孔径声呐图像目标分类方法及系统。

背景技术

近年来，世界各国纷纷借助水下无人平台推动海洋研究的顺利进行，声呐图像能够对水下场景提供较为直观的信息，因而成为实现自动目标识别(Automatic TargetRecognition,ATR)的重要途径。合成孔径成像技术的蓬勃发展使得高分辨率水下图像的获取成为可能，利用声呐图像实现目标分类是声呐智能化研究的一个重要思路，引起国内外学者的广泛关注。

在过去几十年里，水下目标分类的相关研究往往依托人工设计并提取特征的方式。然而，人工设计特征对专业领域知识的要求较高，并且在特征提取过程中会不可避免地丢失一些关键信息。此外，对于合成孔径声呐来说，由于其斜距成像原理、复杂且不确定的海洋环境、速度以及系统参数设置等原因，容易导致图像质量较差，目标边缘模糊，不具有规则的几何外形，极端状态下图像会发生畸变。在此种情况下，通过人工方式提取的目标特征将不再具有稳定性，此类图像识别方法的鲁棒性不足，并且在泛化能力上也有所欠缺。

根据现有研究可知，深度学习能够针对不同任务从训练数据中自主学习到有效特征，并且将传统方法的特征提取及分类步骤合并为一个端到端的分类模型，具有较高的效率，也因此得到了广泛应用。然而，上述卷积神经网络中使用的卷积核均为固定形状，采样过程只能基于特征图的固定位置，对于复杂未知形状变换的建模存在固有缺陷。可变形卷积在常规卷积操作的基础上增加一个平行网络，卷积核能够根据目标形状进行自适应变化，但是对于计算资源的消耗过高。

总之，在水下目标分类任务中，目前急需一种适应各种图像质量的目标分类方法，以提高后续目标分类的准确率与效率。

发明内容

本发明的目的在于克服现有方法中采样过程只能基于特征图的固定位置，或者计算资源消耗过高的缺陷，提出了一种残差网络合成孔径声呐图像目标分类方法及系统。

为了实现上述目的，本发明提出了一种合成孔径声呐图像目标分类方法，所述方法包括：

对采集的水下合成孔径声呐图像进行预处理；

将预处理后的水下合成孔径声呐图像输入建立和训练好的目标分类模型，得到对应的目标分类结果；

所述目标分类模型为添加深度分离可变形卷积模块的残差网络模型，采用监督学习的方法训练得到。

作为上述方法的一种改进，所述对采集的水下合成孔径声呐图像进行预处理为将原始图像分割为大小相等的图像集。

作为上述方法的一种改进，所述目标分类模型的输入为大小相等的图像集，输出为图像的分类编号；

所述目标分类模型具体结构为：

以ResNet50网络为基础模型，使用3个3×3大小的卷积层代替原本ResNet50 网络7×7的卷积；

将深度分离可变形卷积模块引入到残差网络的特征提取过程中：在输入层的第3个卷积层位置和残差单元之后分别添加改进后的深度分离可变形卷积，在传统深度特征的基础上，联合可变形深度特征对目标进行特征表示；

在每个卷积层和残差学习单元中使用ReLU非线性激活函数进行处理，在激活函数前增加BN层，其计算过程为：

ReLU(r)＝max(r,0)

其中，r为函数自变量。

作为上述方法的一种改进，所述改进后的深度分离可变形卷积模型如下：

利用可变形卷积中的标准二维卷积核以滑动窗口的形式在输入图像集上的规则网格R内进行采样生成特征图z；其中，

代表步长为1的m×m卷积的采样网格，m为大于1的奇数；

对可变形卷积中的标准二维卷积分解为一个深度卷积和一个1×1的逐点卷积，形成深度分离可变形卷积；

在深度分离可变形卷积中，采样网格R中的每个点增加偏移量 {ΔP_n∣n＝1,…,N},N＝|R|，对于输出特征图z中的每一个位置P₀，其特征值z(P₀)为：

其中，w(P_n)表示该采样位置的卷积核权重；z(P₀+P_n+ΔP_n)表示采样偏移位置的输入特征值；ΔP_n表示采样点位置的偏移量；P_n表示感受野区域中的所有采样位置；

通过双线性插值的方式得到每个浮点坐标的像素值，即：

其中，p为特征图上任意位置，z(q)为p周围相邻四个整数坐标处的像素值， G(·,·)为这四个整数坐标分别对应的权重，它是二维的，能够被分成两个一维的核：

G(q,p)＝g(q_a,p_a)g(q_b,p_b)

g(q_a,p_a)和g(q_b,p_b)为两个一维内核，a和b分别表示两个方向。

作为上述方法的一种改进，所述方法还包括目标分类模型的训练步骤；具体包括：

步骤1)获取图像训练集与验证集，给定合成孔径声呐图像X中目标对应的标签向量Y，对图像进行预处理，获得尺寸相同的图像集以及各自对应的标签向量；

步骤2)利用图像集对目标分类模型进行训练和测试，得到目标分类结果。

作为上述方法的一种改进，所述步骤1)具体包括：

步骤1-1)给定原始合成孔径声呐图像X以及图像中的目标对应的标签向量Y；

步骤1-2)将原始图像进行分割处理，获得包含K个目标类别的尺寸相同的图像集x₁,x₂,...,x_n以及各自对应的标签向量y₁,y₂,...,y_n；n为图像集个数；

步骤1-3)随机选取C₁类目标的N₁幅图像及其标签构成训练数据集D_train，剩余 C₂类目标的N₂幅图像及其标签构成训练数据集D_test，其中C₁+C₂＝K，

作为上述方法的一种改进，所述步骤2)具体包括：

步骤2-1)在构建网络时，对每层的参数进行高斯分布G(μ,σ²)的随机初始化，其中均值μ＝0，标准差σ＝1；

步骤2-2)选择Adam优化算法来更新网络参数，学习率设为0.0002；

步骤2-3)使用交叉熵损失函数计算损失值，计算公式为：

其中，k代表训练集样本个数，s代表类别数，q(g_i,j)表示目标的类别，p(g_i,j) 表示预测类别的概率。

本发明还提供一种合成孔径声呐图像目标分类系统，基于上述的方法对采集的水下合成孔径声呐图像进行分类，所述系统包括：

预处理模块，用于对采集的水下合成孔径声呐图像进行预处理；

目标分类模块：用于将预处理后的水下合成孔径声呐图像输入建立和训练好的目标分类模型，得到对应的目标分类结果。

与现有技术相比，本发明的优势在于：

1、合成孔径声呐在成像过程中由于环境因素以及斜距成像原理会导致图像存在噪声干扰和边缘模糊等问题，图像中目标的形状不规则，尺度和形态差异较大，极端情况下甚至发生畸变，使得分类准确率较低，可变形卷积的卷积核能够根据目标形状自适应变化，因此将可变形卷积引入合成孔径声呐图像水下目标分类当中，巧妙解决了这一问题；

2、可变形卷积模块通过增加一个平行网络计算偏移量，该过程使用标准卷积计算完成，考虑其高昂的计算代价带来的资源消耗，本发明使用深度分离卷积代替原来的标准卷积，通过该操作减小该模块的网络参数，降低计算复杂度，对内存资源小的硬件设备极其友好；

3、深度神经网络拥有比浅层神经网络更多的非线性映射结构，并且随着网络层数的加深其非线性表达能力就越强，对于抽象特征的获取更为有利，本发明使用 ResNet作为基础网络，其残差模块使得卷积层之间形成跳跃连接，实现对输入、输出的恒等映射，能够有效避免随着深度网络层数的增加，在反向传播过程中导致的梯度消亡问题；

4、通过对网络的输入层进行优化，可以在增加网络深度的同时保留更多有效特征，在输入层和残差单元之后添加改进后的深度分离可变形卷积，提高模型对目标的分类能力，具有较好的鲁棒性，能够更加快速地应用到实际设备中，为水下目标分类提供技术支撑。

附图说明

图1为本发明一种残差网络合成孔径声呐图像目标分类方法整体流程框图；

图2为深度分离可变形卷积原理图，输入特征图分别经过一个深度卷积(Depthwise Conv)和一个逐点卷积(Pointwise Conv)进行偏移量的计算，完成不规则采样；

图3为深度分离可变形卷积的残差网络模型图，包括卷积层、深度分离可变形卷积、残差单元等模块；

图4为模型训练的准确率与代价函数曲线。

具体实施方式

下面结合附图和具体实例对本发明的技术方案进行详细的说明。

本发明的实施例1，如图1所示，本发明提出了一种合成孔径声呐图像目标分类方法，其实施方式包括以下步骤：

步骤1：获取图像训练集与验证集，具体实施如下：

步骤1-1)给定原始合成孔径声呐图像X以及图像中的目标对应的标签向量Y；

步骤1-2)将原始图像进行分割和尺寸处理，获得包含K个目标类别的尺寸相同的图像集x₁,x₂,...,x_n以及各自对应的标签向量y₁,y₂,...,y_n，将图像尺寸统一大小为 128×128像素；n为图像集个数。

步骤1-3)随机选取C₁类目标的N₁幅图像及其标签构成训练数据集D_train，剩余 C₂类目标的N₂幅图像及其标签构成训练数据集D_test，其中C₁+C₂＝K，

步骤2：对可变形卷积模块中的标准卷积模块改进为深度分离卷积，得到深度分离可变形卷积，具体实施如下：

步骤2-1)标准二维卷积核以滑动窗口的形式在输入图像集x上的规则网格R内进行采样生成特征图z，将特征图z的大小记为D_F×D_F×N(其中，D_F×D_F为特征图的尺寸，N为通道数)。其中，

代表步长为1的m×m卷积的采样网格，m为大于1的奇数，一般取3、5、7……；例如 R＝{(-1,-1),(-1,0),…,(0,1),(1,1)}代表步长为1的3×3卷积的采样网格，对于输出特征图z中的每一个位置P₀，其特征值z(P₀)为

其中，w(P_n)为该采样位置的卷积核权重，z(P₀+P_n)为采样位置的输入特征值， P_n为感受野区域中的所有采样位置，R为感受野区域；

步骤2-2)将可变形卷积中的传统卷积分解为一个深度卷积和一个1×1的逐点卷积，假设输入图像大小为D_F×D_F的M₁通道图像，使用尺寸为D_K×D_K的卷积核得到一组新的M₂通道输出特征图，则深度分离卷积的计算量与标准卷积计算量比值为：

步骤2-3)如图2、图3所示，在深度分离可变形卷积中，采样网格R中的每个点增加偏移量{ΔP_n∣n＝1,…,N},N＝|R|，上式变为

其中，z(P₀+P_n+ΔP_n)为采样偏移位置的输入特征值，ΔP_n为采样点位置的偏移量，经过深度可分离卷积后的输出结果为D_F×D_F×2N，即输出特征图的大小不变，其中的2N表示有两个方向的偏移。

步骤2-4)通过双线性插值的方式得到每个浮点坐标的像素值，得到准确的像素值并且可以进行梯度反向传播，即

其中，p为任意位置p₀+p_n+Δp_n(结果可能带有小数)，z(q)为p周围相邻四个整数坐标处的像素值，G(·,·)为这四个整数坐标分表对应的权重，它是二维的，能够被分成两个一维的核，如：

G(q,p)＝g(q_a,p_a)g(q_b,p_b) (8)

g(q_a,p_a)和g(q_b,p_b)为两个一维内核，a和b分别表示两个方向。

步骤3：构建基于深度分离可变形卷积的合成孔径声呐图像分类模型，具体实施如下：

步骤3-1)选择ResNet50网络为基础模型，网络中的残差模块使得卷积层之间形成跳跃连接，实现对输入、输出的恒等映射，有效避免反向传播导致的梯度消亡问题，在基本残差学习单元中，x′为输入，F(x′)为残差映射，残差单元的输出为：

H(x′)＝F(x′)+x′ (9)

当残差F(x′)＝0时，残差学习单元实现恒等映射，深层L的输出为：

x′_L代表第L层的输入，H(x′_L)为第L层的输出，x′_l为第l层的特征值，L代表网络层数。

步骤3-2)将输入图片进行下采样，然后再输入进后面的残差单元，使用3个3×3大小的卷积层代替原本ResNet50网络7×7的卷积，一方面保证优化后的网络与原网络层具有相同的感受野，另一方面提升网络深度，进一步提取深层次的语义信息；

步骤3-3)将深度分离可变形卷积模块引入到残差网络的在特征提取过程中，在输入层的第3个卷积层位置和残差单元之后分别添加了改进后的深度分离可变形卷积，在传统深度特征的基础上，联合可变形深度特征对目标进行特征表示，提高模型的稳健性，能够根据图像中目标的尺寸和形态进行自适应调整卷积核的大小和形状，完成偏移量的采样，并通过双线性插值算法将采样点集中，从而高效地提取不同尺度和方向的稳健特征，增强对目标的辨别性能，使其在水下目标分类任务中更具适用性和泛化能力；

步骤3-4)为了减少模型过拟合和训练参数，在每个卷积层和残差学习单元中使用ReLU非线性激活函数进行处理，以加强非线性表达能力，同时，为了加快网络的收敛速度，防止梯度爆炸，增加模型的预测精度，在激活函数前增加BN(Batch Normalization)层，其计算过程为：

ReLU(r)＝max(r,0) (11)

步骤4：利用图像数据集对目标分类模型进行训练和测试，得到目标分类结果，具体实施如下：

步骤4-1)在构建网络时，对每层的参数进行高斯分布G(μ,σ²)的随机初始化，其中均值μ＝0，标准差σ＝1；

步骤4-2)选择Adam优化算法来更新网络参数，使得输出图像与标签之间的误差收敛到最佳，学习率设为0.0002；

步骤4-3)使用交叉熵损失函数(categorical cross entropy)计算损失值，计算公式为：

其中，k代表训练集样本个数，s代表类别数，q(g_i,j)表示目标的类别，p(g_i,j) 表示预测类别的概率。

步骤4-4)使用不同模型进行对比试验，并通过各项评价指标来衡量分类效果。

作为本发明的实施例2，本发明还提供一种合成孔径声呐图像目标分类系统，基于上述的方法对采集的水下合成孔径声呐图像进行分类，所述系统包括：

预处理模块，用于对采集的水下合成孔径声呐图像进行预处理；

目标分类模块：用于将预处理后的水下合成孔径声呐图像输入建立和训练好的目标分类模型，得到对应的目标分类结果。

下面结合仿真实验，对本发明的技术效果作进一步的说明：

仿真实验的条件和内容：

仿真实验平台为：Windows系统、基于TensorFlow后台的Keras环境构建网络，实验计算机CPU为i7-10750H、GPU为RTX2070。仿真实验数据集包括球状、柱状、圆台状目标图像共924张。

为了验证所提方法对水下目标的分类性能，在数据集中随机抽取30％的数据作为训练集用以训练模型，其余数据作为验证集来测试模型的性能，优化算法采用 Adam方法，学习率设为0.0002，训练过程中每次送入网络的图片批次量(batch size) 为16，迭代次数(epoch)为100，使用交叉熵损失函数(categorical cross entropy)计算损失值，训练曲线可见图4。选取现阶段针对水下目标分类的几个代表性网络模型进行对比，包括VGG、UNet、Light-ResNet共3个网络，各类方法均进行了10次随机实验，并对实验结果进行平均值的计算，表1为几种网络模型在本文数据集上的分类准确率和模型复杂度：

表1不同模型的分类性能/％

从表1中可以看出，本发明所提模型的分类准确率要高于其他网络模型的准确率。VGGNet模型的分类准确率高达94.5％，仅次于本发明提出的模型，但是其浮点运算量过大，模型的复杂度较高；UNet网络参数量较小，但是计算量较大，运算效率和准确率较低，准确率仅有86.0％；Light-ResNet网络参数量相比原始网络有所减少，但是分类准确率有较大程度的降低。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种合成孔径声呐图像目标分类方法，所述方法包括：

对采集的水下合成孔径声呐图像进行预处理；

将预处理后的水下合成孔径声呐图像输入建立和训练好的目标分类模型，得到对应的目标分类结果；

所述目标分类模型为添加深度分离可变形卷积模块的残差网络模型，采用监督学习的方法训练得到。

2.根据权利要求1所述的合成孔径声呐图像目标分类方法，其特征在于，所述对采集的水下合成孔径声呐图像进行预处理为将原始图像分割为大小相等的图像集。

3.根据权利要求1所述的合成孔径声呐图像目标分类方法，其特征在于，所述目标分类模型的输入为大小相等的图像集，输出为图像的分类编号；

所述目标分类模型具体结构为：

以ResNet50网络为基础模型，使用3个3×3大小的卷积层代替原本ResNet50网络7×7的卷积；

将深度分离可变形卷积模块引入到残差网络的特征提取过程中：在输入层的第3个卷积层位置和残差单元之后分别添加改进后的深度分离可变形卷积，在传统深度特征的基础上，联合可变形深度特征对目标进行特征表示；

在每个卷积层和残差学习单元中使用ReLU非线性激活函数进行处理，在激活函数前增加BN层，其计算过程为：

ReLU(r)＝max(r,0)

其中，r为函数自变量。

4.根据权利要求3所述的合成孔径声呐图像目标分类方法，其特征在于，所述改进后的深度分离可变形卷积模型如下：

利用可变形卷积中的标准二维卷积核以滑动窗口的形式在输入图像集上的规则网格R内进行采样生成特征图z；其中，

代表步长为1的m×m卷积的采样网格，m为大于1的奇数；

对可变形卷积中的标准二维卷积分解为一个深度卷积和一个1×1的逐点卷积，形成深度分离可变形卷积；

在深度分离可变形卷积中，采样网格R中的每个点增加偏移量{ΔP_n∣n＝1,…,N},N＝|R|，对于输出特征图z中的每一个位置P₀，其特征值z(P₀)为：

其中，w(P_n)表示该采样位置的卷积核权重；z(P₀+P_n+ΔP_n)表示采样偏移位置的输入特征值；ΔP_n表示采样点位置的偏移量；P_n表示感受野区域中的所有采样位置；

通过双线性插值的方式得到每个浮点坐标的像素值，即：

其中，p为特征图上任意位置，z(q)为p周围相邻四个整数坐标处的像素值，G(·,·)为这四个整数坐标分别对应的权重，它是二维的，能够被分成两个一维的核：

G(q,p)＝g(q_a,p_a)g(q_b,p_b)

g(q_a,p_a)和g(q_b,p_b)为两个一维内核，a和b分别表示两个方向。

5.根据权利要求1所述的合成孔径声呐图像目标分类方法，其特征在于，所述方法还包括目标分类模型的训练步骤；具体包括：

步骤1)获取图像训练集与验证集，给定合成孔径声呐图像X中目标对应的标签向量Y，对图像进行预处理，获得尺寸相同的图像集以及各自对应的标签向量；

步骤2)利用图像集对目标分类模型进行训练和测试，得到目标分类结果。

6.根据权利要求5所述的合成孔径声呐图像目标分类方法，其特征在于，所述步骤1)具体包括：

步骤1-1)给定原始合成孔径声呐图像X以及图像中的目标对应的标签向量Y；

步骤1-2)将原始图像进行分割处理，获得包含K个目标类别的尺寸相同的图像集x₁,x₂,...,x_n以及各自对应的标签向量y₁,y₂,...,y_n；n为图像集个数；

步骤1-3)随机选取C₁类目标的N₁幅图像及其标签构成训练数据集D_train，剩余C₂类目标的N₂幅图像及其标签构成训练数据集D_test，其中C₁+C₂＝K，

7.根据权利要求6所述的合成孔径声呐图像目标分类方法，其特征在于，所述步骤2)具体包括：

步骤2-1)在构建网络时，对每层的参数进行高斯分布G(μ,σ²)的随机初始化，其中均值μ＝0，标准差σ＝1；

步骤2-2)选择Adam优化算法来更新网络参数，学习率设为0.0002；

步骤2-3)使用交叉熵损失函数计算损失值，计算公式为：

其中，k代表训练集样本个数，s代表类别数，q(g_i,j)表示目标的类别，p(g_i,j)表示预测类别的概率。

8.一种合成孔径声呐图像目标分类系统，基于权利要求1-7之一所述的方法对采集的水下合成孔径声呐图像进行分类，其特征在于，所述系统包括：

预处理模块，用于对采集的水下合成孔径声呐图像进行预处理；

目标分类模块：用于将预处理后的水下合成孔径声呐图像输入建立和训练好的目标分类模型，得到对应的目标分类结果。

Images