CN108447074A - 基于双向自适应语义融合的水下目标识别方法 - Google Patents

Abstract

本发明涉及一种基于双向自适应语义融合的水下目标识别方法，主要解决现有水下目标识别方法依赖于声纳系统，易受复杂水下环境干扰，难以获得较好水下目标识别精度的问题。方法包括以下步骤：1)构建深层的卷积神经网络，学习水下图像的语义特征；2)构建双向自适应语义特征融合模块；3)构建回归模型；4)预测水下图像中目标位置及其类别。本发明建立基于双向自适应语义融合的卷积神经网络，得到对不同尺度目标均具有判别性的混合语义特征，提高水下目标识别准确率，可用于水下目标识别、水下军事侦察等领域。

Description

基于双向自适应语义融合的水下目标识别方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于双向自适应语义融合的水下目标识别方法。

背景技术

水下成像是人类认识海洋、开发海洋和保护海洋的重要手段，但由于水体的吸收作用和散射作用会损耗水下成像系统光能量，并改变光能量在水下的空间分布，使得水下图像呈现模糊、虚化等问题，给水下图像的目标检测、识别任务带来了很大的困难。

现有文献中水下目标识别大多是基于声纳系统的水下目标识别方法。声纳系统利用声波反射原理，不同目标具有不同的声波反射能力，可根据接收回波信号进行水下目标识别。但声纳反射易受水温温差、礁石、鱼群等影响，导致误识。Wang等人在文献“N.Wang,B.Zheng,H.Zheng,and Z.Yu,“Feeble object detection of underwater imagesthrough LSR with delay loop,”Optics Express,vol.25,no.19,pp.22490-22498,2017.”中通过利用噪音和非线性系统的相互作用增强微弱信号，提高水下微弱目标的检测精度。Huang等人在文献“B.Huang,T.Liu,H.Hu,J.Han,and Z.Yu,“Underwater imagerecovery considering polarization effects of objects,”Optics Express,vol.24,no.9,pp.9826-9838,2016.”中通过目标信号的偏振差分图像有效地增强水下图像的质量，提高水下目标检测精度。然而，水下信号传播易受到水体吸收和散射作用，使得系统接收声波质量较差，致使难以有效利用声纳系统进行水下目标识别。

综上所述，现有的水下目标识别方法依赖于声纳系统，易受复杂水下环境干扰，难以获得较好的水下目标识别精度。

发明内容

本发明的目的是解决现有水下目标识别方法依赖于声纳系统，易受复杂水下环境干扰，难以获得较好水下目标识别精度的问题，提出一种基于双向自适应语义融合的水下目标识别方法，主要针对水下图像质量较差、水下目标尺度多变的问题，提高水下目标检测识别精度。

本发明解决上述问题的技术方案是，

一种基于双向自适应语义融合的水下目标识别方法，包括以下步骤：

1)构建深层的卷积神经网络，学习水下图像的语义特征；

利用卷积模块搭建卷积神经网络框架，并使用带动量的随机梯度下降法优化卷积神经网络，让卷积神经网络学习出水下图像的语义特征；

2)构建双向自适应语义特征融合模块；

将卷积神经网络不同卷积层的语义特征进行双向地自适应融合，得到对不同尺度目标均具有判别性的混合语义特征；

3)构建回归模型；

对得到的混合语义特征构建回归模型，使用带动量的随机梯度下降法优化回归模型；

4)预测水下图像中目标位置及其类别；

输入水下图像至训练好的卷积神经网络中，得到水下图像所包含的目标位置信息以及类别信息。

进一步地，步骤1)具体为：

构建深层的卷积神经网络，卷积神经网络的输入为448×448尺寸的水下图像，经过卷积模块后得到水下图像的语义特征，所述卷积模块由卷积层、激活层、采样层组成：

xⁱ＝σ(wⁱ*x^i-1+bⁱ)

其中，xⁱ表示水下图像在i卷积模块的语义特征，即第i卷积模块的输出，i＝1,2,3,…，x⁰表示448×448尺寸的水下图像，wⁱ和bⁱ分别表示第i卷积层的权重和偏置，使用服从高斯分布随机数初始化，“*”表示卷积运算，σ(x)＝max(0,x)是激活函数。

进一步地，步骤2)具体为：

2.1)分别取卷积神经网络低层x⁷、中层x¹⁰、高层x¹³的卷积特征，并分别改记为使用双线性插值统一卷积特征大小，使得M,N和C分别表示卷积特征的宽、高和通道数；

2.2)建立自上而下自适应特征融合模块，利用门函数使高层卷积特征自适应地融合入低层卷积特征中，得到低层特征主导的特征

其中，表示自上而下自适应特征融合过程中的卷积特征，sig(x)＝(1+exp(-x))^-1是门函数，和是卷积参数,使用服从高斯分布随机数初始化，“·”表示矩阵点乘运算；

2.3)建立自下而上自适应特征融合模块，将低层卷积特征自适应地融合入高层卷积特征中，得到高层特征主导的特征

其中，是自下而上自适应特征融合过程中的卷积特征，和是卷积参数，使用服从高斯分布随机数初始化；

2.4)建立双线性特征融合模块，利用双线性操作将和融合为对水下不同尺度目标均具有判别性的混合语义特征x_b：

其中，表示外积运算，表示融合后的特征，表示x_b中第i个位置的数值向量。

进一步地，步骤3)具体为：

对混合语义特征x_b再进行一次卷积操作得到包含水下图像中目标的位置和类别信息：

其中，w_b和b_b分别为卷积权重参数和偏置，使用服从高斯分布随机数初始化，表示x_b中第i个位置的数值向量，cx_i,cy_i,m_i,n_i,c_i分别表示中第i个位置包含目标的外接矩形框的中心横坐标、纵坐标、宽、高、包含目标的置信度，p_i是类别信息向量，用于判断第i个位置所包含目标的类别，构建如下损失函数：

其中，是训练集中真实的第i个位置包含目标的信息，是训练集中真实的第i个位置包含目标的类别标签，λ_coord和λ_noobj为超参数，分别设置为5和0.5，表示第i个位置是否包含目标，

使用带动量的随机梯度下降法优化上述回归模型，直至最大迭代次数。

本发明与现有技术相比，具有以下技术效果：

1.本发明首次将深度卷积神经网络引入到水下目标识别中，利用双向自适应语义特征融合模块学习出对水下不同尺度目标均具有判别性的混合语义特征，提高目标识别的准确率。

2.本发明基于卷积神经网络的水下目标识别方法，可以从不同质量水下图像中学习出有效的语义特征，克服现有基于声纳系统水下目标识别方法易受水下环境干扰问题，本发明方法可应用于水下目标识别、水下军事侦察等领域。

附图说明

图1为本发明基于双向自适应语义融合的水下目标识别方法流程图。

具体实施方式

如图1所示，本发明提供的基于双向自适应语义融合的水下目标识别方法，主要包括以下步骤：

1)构建深层的卷积神经网络，学习水下图像的语义特征；

利用卷积模块搭建卷积神经网络框架，并使用带动量的随机梯度下降法优化卷积神经网络，让卷积神经网络学习出水下图像的语义特征，卷积神经网络中不同卷积层语义特征对不同尺度的水下目标有不同判别性；

2)构建双向自适应语义特征融合模块；

由于卷积神经网络中较浅卷积层的卷积特征可以较好地捕获较小尺度目标的位置特征，而较深卷积层的特征更擅长捕获较大尺度目标的位置特征和图像的语义特征，将卷积神经网络不同卷积层的语义特征进行双向地自适应融合，得到对不同尺度目标均具有判别性的混合语义特征；

3)构建回归模型；

混合语义特征本质蕴含着水下目标的位置信息和图像的语义特征，针对得到的混合语义特征构建回归模型，使用带动量的随机梯度下降法优化回归模型；

4)预测水下图像中目标位置及其类别；

输入水下图像至训练好的卷积神经网络中，得到水下图像所包含的目标位置信息以及类别信息。

本发明实施例对以上基本方案作进一步优化：

1)构建深层的卷积神经网络，学习水下图像的语义特征；

构建深层的卷积神经网络，卷积神经网络的输入为448×448尺寸的水下图像，经过一系列卷积模块后得到水下图像的语义特征，这里卷积模块由卷积层、激活层、采样层组成：

xⁱ＝σ(wⁱ*x^i-1+bⁱ)

其中，xⁱ表示水下图像在i卷积模块的语义特征，即第i卷积模块的输出，i＝1,2,3,…，x⁰表示448×448尺寸的水下图像，wⁱ和bⁱ分别表示第i卷积层的权重和偏置，使用服从高斯分布随机数初始化，“*”表示卷积运算，σ(x)＝max(0,x)是激活函数；

2)构建双向自适应语义特征融合模块；

2.1)分别取卷积神经网络低层x⁷、中层x¹⁰、高层x¹³的卷积特征，并分别改记为使用双线性插值统一卷积特征大小，使得M,N和C分别表示卷积特征的宽、高和通道数；高层卷积特征蕴含较大尺度目标的位置信息和水下图像的语义特征，而低层卷积特征则对较小尺度目标的位置信息更加敏感；

2.2)建立自上而下的自适应特征融合模块，利用门函数使高层卷积特征自适应地逐步融合入低层卷积特征中，得到低层特征主导的特征

其中，表示自上而下自适应特征融合过程中的卷积特征，sig(x)＝(1+exp(-x))^-1是门函数，和是卷积参数，使用服从高斯分布随机数初始化，“·”表示矩阵点乘运算；

2.3)建立自下而上的自适应特征融合模块，将低层卷积特征自适应地逐步融合入高层卷积特征中，得到高层特征主导的特征

其中，是自下而上自适应特征融合过程中的卷积特征，和是卷积参数，使用服从高斯分布随机数初始化，；

2.4)建立双线性特征融合模块，利用双线性操作将和融合为对水下不同尺度目标均具有判别性的混合语义特征x_b：

其中，表示外积运算，表示融合后的特征，表示x_b中第i个位置的数值向量；

3)构建回归模型；

对混合语义特征x_b再进行一次卷积操作得到包含水下图像中目标的位置和类别信息：

其中，w_b和b_b分别为卷积权重参数和偏置，使用服从高斯分布随机数初始化，表示中第i个位置的数值向量，cx_i,cy_i,m_i,n_i,c_i分别表示中第i个位置包含目标的外接矩形框的中心横坐标、纵坐标、宽、高、包含目标的置信度，p_i是类别信息向量，用于判断第i个位置所包含目标的类别，构建如下损失函数：

其中，是训练集中真实的第i个位置包含目标的信息，是训练集中真实的第i个位置包含目标的类别标签，λ_coord和λ_noobj为超参数，分别设置为5和0.5，表示第i个位置是否包含目标，

最后，使用带动量的随机梯度下降法优化上述回归模型，直至最大迭代次数；

4)预测水下图像中目标位置及其类别；

输入水下图像至训练好的卷积神经网络中得到即得到了水下图像所包含的目标位置信息以及类别信息，对训练好的卷积神经网络进行水下目标检测和识别，统计各类水下目标检测和识别正确率，得出水下目标检测及识别准确率。

Claims (4)

1.一种基于双向自适应语义融合的水下目标识别方法，其特征在于，包括以下步骤：

1)构建深层的卷积神经网络，学习水下图像的语义特征；

利用卷积模块搭建卷积神经网络框架，并使用带动量的随机梯度下降法优化卷积神经网络，让卷积神经网络学习出水下图像的语义特征；

2)构建双向自适应语义特征融合模块；

将卷积神经网络不同卷积层的语义特征进行双向地自适应融合，得到对不同尺度目标均具有判别性的混合语义特征；

3)构建回归模型；

对得到的混合语义特征构建回归模型，使用带动量的随机梯度下降法优化回归模型；

4)预测水下图像中目标位置及其类别；

输入水下图像至训练好的卷积神经网络中，得到水下图像所包含的目标位置信息以及类别信息。

2.根据权利要求1所述的基于双向自适应语义融合的水下目标识别方法，其特征在于，步骤1)具体为：

构建深层的卷积神经网络，卷积神经网络的输入为448×448尺寸的水下图像，经过卷积模块后得到水下图像的语义特征，所述卷积模块由卷积层、激活层、采样层组成：

xⁱ＝σ(wⁱ*x^i-1+bⁱ)

其中，xⁱ表示水下图像在i卷积模块的语义特征，即第i卷积模块的输出，i＝1,2,3,…，x⁰表示448×448尺寸的水下图像，wⁱ和bⁱ分别表示第i卷积层的权重和偏置，使用服从高斯分布随机数初始化，“*”表示卷积运算，σ(x)＝max(0,x)是激活函数。

3.根据权利要求2所述的基于双向自适应语义融合的水下目标识别方法，其特征在于，步骤2)具体为：

2.1)分别取卷积神经网络低层x⁷、中层x¹⁰、高层x¹³的卷积特征，并分别改记为使用双线性插值统一卷积特征大小，使得M,N和C分别表示卷积特征的宽、高和通道数；

2.2)建立自上而下自适应特征融合模块，利用门函数使高层卷积特征自适应地融合入低层卷积特征中，得到低层特征主导的特征

其中，表示自上而下自适应特征融合过程中的卷积特征，sig(x)＝(1+exp(-x))^-1是门函数，和是卷积参数,使用服从高斯分布随机数初始化，“·”表示矩阵点乘运算；

2.3)建立自下而上自适应特征融合模块，将低层卷积特征自适应地融合入高层卷积特征中，得到高层特征主导的特征

其中，是自下而上自适应特征融合过程中的卷积特征，和是卷积参数，使用服从高斯分布随机数初始化；

2.4)建立双线性特征融合模块，利用双线性操作将和融合为对水下不同尺度目标均具有判别性的混合语义特征x_b：

其中，表示外积运算，表示融合后的特征，表示x_b中第i个位置的数值向量。

4.根据权利要求3所述的基于双向自适应语义融合的水下目标识别方法，其特征在于，步骤3)具体为：

对混合语义特征x_b再进行一次卷积操作得到包含水下图像中目标的位置和类别信息：

其中，w_b和b_b分别为卷积权重参数和偏置，使用服从高斯分布随机数初始化，表示中第i个位置的数值向量，cx_i,cy_i,m_i,n_i,c_i分别表示中第i个位置包含目标的外接矩形框的中心横坐标、纵坐标、宽、高、包含目标的置信度，p_i是类别信息向量，用于判断第i个位置所包含目标的类别，构建如下损失函数：

其中，是训练集中真实的第i个位置包含目标的信息，是训练集中真实的第i个位置包含目标的类别标签，λ_coord和λ_noobj为超参数，分别设置为5和0.5，表示第i个位置是否包含目标，

使用带动量的随机梯度下降法优化上述回归模型，直至最大迭代次数。