CN114266977B - 基于超分辨可选择网络的多auv的水下目标识别方法 - Google Patents

Abstract

本发明公开一种基于超分辨可选择网络的多AUV的水下目标识别方法，采集声学图像与光学图像信息，进行色彩恢复和数据重构，通过图像超分辨率提升图像质量，实现水下图像的超分辨率；目标特征提取以及目标特征相似度量：基于轻量级的卷积神经网络，融合多AUV收集的目标信息的特征，采用马氏距离计算特征之间的相似度；设定阈值，根据阈值与相似度之间的关系设计学习模型，分别进行不同情况下的目标识别；当相似度高于阈值时，采用改进的迁移学习进行识别，减少AUV计算能耗，保证算法的实时性。当相似度低于阈值时，则采用少样本学习对目标进行识别，对背景复杂造成的特征不明显的目标信息进行集中训练，提取有效特征，减少环境因素的干扰，实现实现多AUV的高效水下目标识别。

Description

基于超分辨可选择网络的多AUV的水下目标识别方法

技术领域

本发明属于海底勘测技术领域，具体涉及一种基于超分辨可选择网络的多AUV水下目标识别方法，用以实现AUV的海洋目标识别。

背景技术

AUV可以广泛应用于科研调查、军事、民用等领域。其上搭载的声学与光学传感器采集的数据使用越来越广泛。传感器信息识别在海洋感知的研究领域中发挥着重要作用，例如障碍物检测以规避风险，水下结构安全检查，搜索感兴趣的目标。在水下成像系统中，声学传感器和光学传感器是用于水下探测的两种主要成像模式，声学图像和光学图像的在线识别是AUV自主能力的关键。

传统的水下目标识别大多是一个人为主动型活动，从收集的大量数据中线下人为推断目标是否存在于该区域，人为识别耗时且昂贵，并且识别率较低；水下环境多为背景，有效目标较少，若想实现全面识别，需要采集大量的水下目标进行识别，此途径需要大量的人力和物力去采集数据，代价较大；线下识别不能实现AUV的实时感知，自主性较差。以上原因限制了AUV感知水下环境，难以完成持续、自主、实时的任务。

目前，利用AUV实现海洋感知，主要采用深度学习方法，但是，对于AUV采集的低质数据往往未进行有效处理，因此，算法的识别精度不高；另外，水下目标较少，样本稀缺，深度神经网络会出现过拟合现象，总而言之，对于基于AUV的水下目标识别仍然存在以下问题：(1)水下图像具有高噪声，高模糊等特性，数据质量较差，不能进行很好的水下目标识别。(2)海洋目标采集困难，数据样本不足，获取有效数据较少，难以进行精确识别。(3)对未知目标不能进行准确识别，导致AUV的水下感知能力较弱

发明内容

本发明为解决水下图像分辨率低、样本缺少以及对于未知目标不能进行有效识别等缺陷而造成的识别率低等问题，提出一种基于超分辨可选择网络的多AUV水下目标识别方法。

本发明是采用以下的技术方案实现的：一种基于超分辨可选择网络的多AUV水下目标识别方法，包括以下步骤：

步骤A、采集声学图像与光学图像信息，进行色彩恢复和数据重构，实现图像超分辨率，提升图像质量；

步骤B、目标特征提取以及目标特征相似度量：基于轻量级的卷积神经网络，融合多AUV收集的目标信息的特征，采用马氏距离计算特征之间的相似度；

步骤C、设定阈值，根据阈值与相似度之间的关系设计学习模型，分别进行不同情况下的目标识别；

当相似度大于等于阈值时，采用改进的迁移学习对目标进行识别：基于改进型的mobilenetv2权重初始化deeplabv3+网络，对目标进行识别；

当相似度小于阈值时，采用少样本学习对目标进行识别，对背景复杂造成的特征不明显的目标信息进行集中训练，提取有效特征；

步骤D、通过多AUV从不同方位对目标进行识别，进而将每个方向的AUV识别信息进行融合得到更精确的识别结果。

进一步的，所述步骤A中，在进行色彩恢复和数据重构时，采用以下方式：

(1)采集图像的色彩恢复处理：

原始图像表示为：

S(x,y)＝R(x,y)·L(x,y)

其中，L(x,y)表示亮度图像，R(x,y)表示图像的内在属性，S(x,y)为原始图像，则：

其中，r(x,y)为输出图像，*为卷积操作，F(x,y)为中心环绕函数，表示为：

其中，c为高斯环绕尺度，λ为尺度值；

色彩恢复的计算公式如下：

其中，K为高斯中心环绕函数的个数；

(2)基于CNN的数据重构：

首先获得输入图像X获得一系列特征图：

F₁(X)＝max(0,W₁*X+B₁)

其中W₁和B₁表示滤波器的权重和偏置，max操作对应ReLU激活函数；

然后进行非线性映射：

F₂(X)＝max(0,W₂*F₁(X)+B₂)

最后进行图像重构：

Y＝F(X)＝W₃*F₂(X)+B₃

可以实现图像的超分辨率。

进一步的，所述步骤B具体包括以下步骤：

步骤B1、基于卷积神经网络CNN提取目标特征：

(1)对卷积神经网络视觉上进行可视化解释：

其中c表示类别，y^c是该类别对应的输出结果，A表示卷积输出的特征图，k表示特征图的通道，i,j表示特征图的横纵坐标，Z表示特征图的尺寸；

(2)得到权重后将特征图的通道线性加权融合在一起，公式如下：

该过程只保留对于类别c有正作用的区域；

步骤B2、利用马氏距离来度量特征之间的相似性，计算目标特征的相似度：

设每个AUV共采集了m个样本，每个样本中包含了n个特征，则该AUV采集的数据矩阵用X来表示：

X＝[X₁,X₂,…,X_n]

该样本的总体平均值为：

μ_X＝[μ_X1,μ_X2,…,μ_Xn]

数据矩阵的协方差为

则任意AUV特征向量与源域之间的马氏距离为：

通过计算马氏距离，来确定每个AUV当前采集的样本特征是否与源域存储的特征相似。

进一步的，所述步骤C中，迁移学习主要采用以下方式实现：

(1)初始训练：

设源域中的数据为

其中

为输入高分辨率图像，

为迁移学习输出的识别图像；AUV采集的目标域数据为

希望应用该网络预测出输入

对应的结果

P和Q分别为X_S和X_T的边缘分布，且P≠Q；迁移学习的目的主要是找到X_S和X_T的潜在的共同表示；令期望的非线性变换为

其非线性表示为：

P和Q之间的距离表示为：

通过迁移学习的方法，不断优化P和Q之间的距离，实现对目标域的准确识别；

(2)通过反馈的方式对网络参数(W,b,L^c)进行调整，以减少预测误差：

设Q是源任务的最优知识矩阵，向新任务知识矩阵的转移表示如下：

Qⁱ¹＝f_i1(W,b,L^c)i1∈{1,2,…,N}

Qⁱ¹表示AUV_i1通过迁移学习获得一个新的知识矩阵，即基于迁移学习的AUV识别目标，f_i1为迁移学习方法，W为权重，b为偏置，L^c表示对类别c有正作用的区域。

进一步的，所述步骤C中，少样本学习采用以下方式实现：

(a)基于原型学习模块对给定支持集的查询集进行分类，并学习原型；

(b)利用查询图像和从(a)中学习的原型来输出预测的分割掩码，该分割模块采用了轻量级编码解码器来实现；

(c)每个概率映射都与查询图像连接，尺寸与查询图像相同，然后输入原型分类器以生成一个特征向量，通过相似度度量函数d计算特征向量和原型相似度分数；

进一步的，所述步骤(a)中，支持集用

来表示，其中xⁱ²表示[Hⁱ²,Wⁱ²,3]，yⁱ²为xⁱ²对应的金标准，N_S为支持集的个数；

查询集用

来表示，其中x^q为不包含在S中的大小为[Hⁱ³,Wⁱ³,3]的图像，N_Q为查询集的个数；

假定f_θ表示一个含有参数θ的特征提取器，f_θ将输入映射到一个含M个通道的特征图，然后使用全局平均池化(GAP)来从特征图中过滤出空间信息，其输出为一个M维的特征向量，定义类别c的均值特征向量：

其中S_c是S中只包含语义类c的子集，|S_c|＝K，GAP为迁移学习的全局平均池化；

通过f_θ的距离度量来学习，在得到原型p后，使用非参数加权最近邻分类器对语义类进行分类，y^q能被分解成N+1个二值掩码

其中c∈{1,…,N+1}。

进一步的，所述步骤(b)中：

使用编码解码器对数据进行分割：

编码器的输出表示为

I＝σ₁(W₁x^q+b₁

解码器的输出表示为

D＝σ₂(W₂h+b₂

特征提取器的输出为

其中，W₁和W₂为权重，b₁和b₂为偏置，σ₁和σ₂分别为分割模块的编码器和解码器，

表示分割模块中参数为

的特征提取器；

使用上采样将特征图

恢复到和(a)模块输出的特征向量相同的大小，再经过叠加，将

和原型网络(a)的输出相融合；

然后，使用1×1卷积将上述特征压缩成单通道特征图，并融合不同通道之间的信息，让l_α表示softmax前的α_th通道，n_β表示归一化后的β_th通道的特征映射，如下表示：

l_α＝W_β,αn_β

在训练过程中使用多类交叉损失函数：

其中，x^q为查询集的图像，y^q为其对应的标注，H^q和W^q为图像的尺寸，j为遍历空间位置，c∈{1,…,N+1}，N为类别个数，通过最小化J_θ(x^q,y^q)来训练该模型。

进一步的，所述步骤(c)具体采用以下方式实现：

在得到原型分类器后，将每个概率映射都与查询图像连接，将尺寸转换为与查询图像相同，然后输入原型分类器以生成一个特征向量，通过相似度度量函数d计算特征向量和原型相似度分数，步骤如下：

(1)将步骤(b)中的概率特征图与查询数据集x^q进行叠加；

(2)使用步骤(a)中的原型分类器f_θ对上述步骤的输出进行计算，然后经过全局平均池化(GAP)，得到新的特征向量；

(3)通过相似度量函数d，计算(a)中学习得到的原型与上述步骤中的特征向量之间的相似度，并将融合使用的权重与(b)的概率图输出进行概率融合，最后输出识别结果。

进一步的，所述步骤D中具体采用以下方式实现：

基于支持向量机分类与贝叶斯决策融合将多个方向的AUV获得的目标识别结果进行融合，单个AUV的目标识别表示为y_i1＝{y_i1,c；c＝1,2,…,C}，其中，c其C为被识别的目标种类，i1∈I代表了第i1个AUV，根据贝叶斯准则，多AUV目标识别输出为：

其中，p(x_k|c)表示第k张图像识别为c的概率。

与现有技术相比，本发明的优点和积极效果在于：

本方案基于图像的超分辨率算法，实现色彩恢复和数据重构；基于轻量级的CNN实现目标特征提取以及采用马氏距离计算目标特征相似度量方法；并设定阈值，根据阈值选择采用迁移学习或者少样本目标学习；

通过提出超分辨率方法，对多AUV采集的声学图像与光学图像信息进行色彩恢复和数据重构，提升图像质量，实现水下图像的超分辨率；

采用目标特征提取以及目标特征相似度量方法，根据阈值与相似度之间的关系设计学习模型，分别进行不同情况下的目标识别。当相似度高于阈值时，采用改进的迁移学习进行识别，减少AUV计算能耗，保证算法的实时性。当相似度低于阈值时，则采用少样本学习对目标进行识别，对背景复杂造成的特征不明显的目标信息进行集中训练，提取有效特征，减少环境因素的干扰，实现实现多AUV的高效水下目标识别。能够有效减少作业时间，实现高效率的海洋感知。

附图说明

图1为本发明实施例目标特征提取示意图；

图2为本发明实施例各个模块协同工作的流程示意图，(a)为mobileNetV2的原始结构，(b)为clip_mobilenetv2结构；

图3为本发明实施例可选择网络中的迁移学习网络示意图；

图4为本发明实施例可选择网络中的少样本学习流程图。

具体实施方式

为了能够更加清楚地理解本发明的上述目的、特征和优点，下面结合附图及实施例对本发明做进一步说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例。

本实施例公开一种基于超分辨可选择网络的AUV水下目标识别方法，实现多AUV的高效水下目标识别，总体流程图见表1，包括如下步骤：

步骤A、采集声学图像与光学图像信息，进行色彩恢复和数据重构，通过图像超分辨率提升图像质量，实现水下图像的超分辨率；

步骤B、目标特征提取以及目标特征相似度量：基于轻量级的卷积神经网络，融合多AUV收集的目标信息的特征，采用马氏距离计算特征之间的相似度；

步骤C、设定阈值，根据阈值与相似度之间的关系设计学习模型，分别进行不同情况下的目标识别；

当相似度高于阈值时，采用改进的迁移学习进行识别，减少AUV计算能耗，保证算法的实时性。

当相似度低于阈值时，则采用少样本学习对目标进行识别，对背景复杂造成的特征不明显的目标信息进行集中训练，提取有效特征，减少环境因素的干扰；

步骤D、通过多AUV从不同方位对目标进行识别，将每个识别信息进行融合，可以高效的识别水下目标，提高识别精度。

表1总体流程

具体的，所述步骤A中，针对水下目标数据采集，本发明采用搭载AUV的两种传感器：声呐(侧扫声呐或者前视声呐)与水下摄像机，分别采集声学图像与光学图像。

声呐主要实现信号发射、信号采集、信号接收、信号处理，最后上传数据。由于声学传感器采集的图像具有散斑噪声多、图像只有灰度等特性，声学传感器由于其声学性质而提供嘈杂的灰度图像对后续的目标识别带来挑战。水下摄像机主要实现把光学图像信号转变为电信号，并将其传输和存储在AUV内存中，因此得到视频信号，本实施例对其每一帧的数据进行识别。但是获取数据的前提是需要光源辅助，水下光学传感器的可见距离约为5到10米，然而，由于散射和吸收的影响，在大多数情况下，能见度限制在1-2米。光学传感器在具有噪声介质和有限的光源的高浑浊水下环境中采集的图像分辨率低。因此对于光学图像的识别也存在巨大挑战。

同时，水下采集数据手段有限，耗费巨大的人力和物力，采集的数据多为背景，有效信息较少，样本数据匮乏，在先验知识不足的情况下，不能进行精准识别。另外，在AUV的实时采集数据中采集到未知样本，在该情况下不能正确的识别样本目标，降低AUV的实时感知能力。

因此，本发明旨在提升数据质量和优化算法能力，对采集的数据先解决低质量问题，提升分辨率，再将高分辨率数据输入优化的算法中，提升AUV的在线识别能力。

实现有效识别目标的关键是保证输入为高质量的数据，即输入数据应该具有低噪声和高分辨率。在实际应用中，AUV采集的水下图像受到传感器设备持续随机性震荡及环境影响，通常具有模糊和纹理不清晰等特点，对于大部分水下声学图像和光学图像，都具有图像成像质量差的特点。本实施例针对水下弱观测条件下的图像进行超分辨率算法，实现端到端处理数据，使后续识别部分具有更加完整的特征信息。

超分辨率算法包含两个步骤：色彩恢复和数据重构，具体的：

(1)色彩恢复

原始图像可以表示为：

S(x,y)＝R(x,y)·L(x,y)

其中，L(x,y)表示亮度图像，对于声学图像数据，默认该值为1，R(x,y)表示图像的内在属性，S(x,y)为原始图像，则：

其中，r(x,y)为输出图像，*为卷积操作，F(x,y)为中心环绕函数，可以表示为

其中，c为高斯环绕尺度，λ为尺度值。

色彩恢复的计算公式如下：

其中，K为高斯中心环绕函数的个数，在本发明中，K默认值为3，

(2)数据重构

经过上述步骤，实现了采集图像的色彩恢复处理，但是，为了进一步体现水下图像的纹理信息，实现高分辨率的输入，本实施例进一步采用CNN对图像进行处理，来重构原始图像。该网络为简单的3层卷积神经网络，计算量少，并且可以高效的提取纹理信息。

首先获得输入图像X获得一系列特征图：

F₁(X)＝max(0,W₁*X+B₁)

其中W₁和B₁表示滤波器(卷积核)的权重和偏置，max操作对应ReLU激活函数。

接下来进行非线性映射：

F₂(X)＝max(0,W₂*F₁(X)+B₂)

最后进行图像重构：

Y＝F(X)＝W₃*F₂(X)+B₃

经过以上步骤就可以实现图像的超分辨率，为后续的识别网络提供高质量的输入。

所述步骤B中，进行目标特征提取以及目标特征相似度量，具体的：

实现有效识别的另一关键是目标特征的有效收集和提取，考虑到某些目标特征是在已知的先验源域中已经有相应的“知识储备”，证明该目标经过提取特征之后可以认定目标种类，此时直接将超分辨数据进行后续的深度神经网络识别，进行大量的计算，会降低AUV的实时性，在这种情况下，本实施例将该步骤简化，只有该目标与源域特征差距较大时，才可进行进一步的神经网络目标识别。本发明在此增加一步目标特征提取以及计算目标特征的相似度，可以降低后续目标识别的计算量，并且节省在线目标识别时间，提高自主在线识别能力。

(1)对超分辨率的图像进行特征提取，本发明采用基于卷积神经网络(CNN)提取目标特征。目标提取流程图如图1所示：

为了更好地理解CNN提取的特征，对其视觉上进行可视化解释：

其中c表示类别，y^c是该类别对应的logits(softmax层之前的输出结果)，A表示卷积输出的特征图，k表示特征图的通道，ij表示特征图的横纵坐标，Z表示特征图的尺寸。

得到权重后将特征图的通道线性加权融合在一起，公式如下，该过程只保留对于类别c有正作用的区域。

(2)计算目标特征的相似度

该相似度计算可以为后续目标识别方法进行判定，若相似度较大，则后续采取改进的轻量级迁移学习，对目标识别网络进行微调即可，简化识别过程，提升识别时间。若相似度较小，则进行少样本目标识别，对背景复杂造成的特征不明显的目标信息进行集中训练，提取有效特征，减少环境因素的干扰。

多AUV系统在目标识别过程中，需要将自身提取的特征分别与存储的特征以及其他AUV对当前目标提取的特征进行比较，本发明利用马氏距离来度量特征之间的相似性。

假设每个AUV共采集了m个样本，每个样本中包含了n个特征，则该AUV采集的数据矩阵用X来表示：

上述公式可以用X_k＝[x_1k,x_2k,…,x_nk]^T,k＝1,2,…,n，进而可以表示为X＝[X₁,X₂,…,X_n]

该样本的总体平均值为：

μ_X＝[μ_X1,μ_X2,…,μ_Xn]

数据矩阵的协方差为

则任意AUV特征向量与源域之间的马氏距离为

上式中，通过计算马氏距离，可以得到每个AUV当前采集的样本特征是否与源域存储的特征相似，进而进行第三步的目标识别，若相似度较高，则采用迁移学习对目标进行识别，若相似度较低，则证明存储的特征不足以识别出该目标的种类，此时采用少样本学习对该目标进行识别。

步骤C中，根据阈值与相似度之间的关系确定采用改进的迁移学习进行识别还是采用少样本学习对目标进行识别，具体的：

由于AUV在水下采集数据的人工成本较高，先验知识不够，识别算法不能满足各种目标类型。因此，本发明提出了一种基于可选择网络的目标识别算法(alternativenetwork，AN)。

AN算法根据特征相似度来决定使用算法，对当前AUV的目标特征与源域特征进行比较，根据相似度与阈值τ的差值关系来选择相应的识别方法：

根据概率密度函数，归一化之后，本实施例τ取值范围为0.5-07。

(1)迁移学习

由于水下环境复杂多变，AUV在实际工作中所获得的数据并非理想数据，存在目标变形、目标模糊、目标特征不明显等现象，同一目标在动态环境下由不同AUV成像总是会存在差异，当d_M(X_AUV,X_S)≥τ时，表明置信度高，当前目标特征与源域特征相似。因此，在对目标进行识别时需要对识别网络进行调整，使其适用于AUV实时采集的水下目标识别，因此，本实施例采用改进型的轻量级迁移学习来对目标进行识别，该方法识别速度快，节省AUV在线目标识别时间。

考虑到AUV嵌入式系统计算量有限，需要有一个轻量级且精确度高的深度卷积神经网络实时处理信息，本发明主要利用改进型的mobilenetv2(clip_mobilenetv2)权重初始化deeplabv3+网络对目标进行识别，其主干为改进型clip_mobilenetv2。由于AUV实时采集的水下图像质量相比于基准数据集，图像纹理不清晰，特征不明显，因此该网络结合了deeplabv3+空洞卷积的优势，引入更多的尺度信息，将底层特征与高层特征进一步融合，提升分割边界准确度，同时，在上述步骤中已经确定当前AUV采集目标特征与源域相似度很高，因此不需要更深的网络对目标进行识别，更深的网络只会增加计量算，延缓在线识别时间，本发明对该网络进行裁剪，裁剪了4个瓶颈残差块，裁剪部分用1×1的卷积来代替，保证网络尺寸不变性以及AUV输出识别图像的尺寸不变性，clip_mobilenetv2结构见图2。

如图2，(a)为mobileNetV2原始基础结构，在该图展示了四个瓶颈残差块，在图(b)中裁剪了两个瓶颈残差块，采用1×1的卷积来代替原始的瓶颈残差块，通过降维，减少权重参数数量，通过升维，来拓宽特征图，在不改变特征图的尺寸的前提下，实现各通道之间的线性组合，实际上是通道像素之间的线性组合，后接非线性的激活函数，增加更多样的非线性特征。deeplabv3+clip_mobilenetv2大大降低了网络的计算量，相比于原始网络具有更加轻量级特性，其总体流程见图3。

在该迁移学习中，关注的是目标域中存在先验知识(AUV源域)不存在的类别。假设源域中的数据为

其中

为输入高分辨率图像，

为迁移学习输出的识别图像；AUV采集的目标域数据为

希望应用该网络预测出输入

对应的结果

P和Q分别为X_S和X_T的边缘分布，且P≠Q；迁移学习的目的主要是找到X_S和X_T的潜在的共同表示；令期望的非线性变换为

其非线性表示为：

P和Q之间的距离表示为：

通过提出的迁移学习的方法，不断优化P和Q之间的距离，实现对目标域的可靠识别。

初始训练完成后，可以通过反馈的方式对网络参数(W,b,L^c)进行调整，以减少预测误差。假设Q是源任务的最优知识矩阵，向新任务知识矩阵的转移可以表示如下：

Qⁱ¹＝f_i1(W,b,L^c)i1∈{1,2,…,N}

Qⁱ¹表示AUV_i1通过迁移学习获得一个新的知识矩阵，即基于迁移学习的AUV识别目标，f_i1为迁移学习方法，W为权重，b为偏置，L^c表示对类别c有正作用的区域。

(2)少样本学习

由于AUV是在水下弱观测条件下采集的数据，因此在CNN提取特征时，也会存在d_M(X_AUV,X_S)＜τ的情况。在该情况下，AUV采集的目标特征属于未知特征，因此，上述迁移学习的微调对于未知特征不能进行很好的识别，我们需要采用少样本目标识别来提升识别准确率。另外，对于水下大部分采集信息，高精度的预测需要大量的手动注释数据，而由于环境干扰存在识别模糊等情况，这些数据往往难以获得。因此本实施例采用少样本学习方法对该种情况进行水下目标识别。该方法分为三个模块，具体流程见图4：

(a)是原型学习模块，采用上述的迁移学习网络作为原型学习器，原型学习模块对给定支持集的查询集进行分类，并学习原型；

在该模块中，支持集用

来表示，其中xⁱ²表示[Hⁱ²,Wⁱ²,3]，yⁱ²为xⁱ²对应的金标准，N_S为支持集的个数。查询集用

来表示，其中x^q为不包含在S中的大小为[Hⁱ³,Wⁱ³,3]的图像，N_Q为查询集的个数。假定f_θ表示一个含有参数θ的特征提取器，f_θ将输入映射到一个含M个通道的特征图。然后使用全局平均池化(GAP)来从特征图中过滤出空间信息，其输出为一个M维的特征向量，本实施例定义类别c的均值特征向量：

其中S_c是S中只包含语义类c的子集，|S_c|＝K，GAP为迁移学习的全局平均池化。

通过f_θ的距离度量来学习，在得到原型p后，使用非参数加权最近邻分类器对语义类进行分类。y^q能被分解成N+1个二值掩码

其中c∈{1,…,N+1}。

优化的目标是最大化

(b)是一个分割模块，利用查询图像和从(a)中学习的原型来输出预测的分割掩码，该分割模块采用了轻量级编码解码器来实现；

在该模块中，使用编码解码器对数据进行分割。

编码器的输出表示为

I＝σ₁(W₁x^q+b₁)

解码器的输出表示为

D＝σ₂(W₂h+b₂)

特征提取器的输出为

其中，W₁和W₂为权重，b₁和b₂为偏置，σ₁和σ₂分别为分割模块的编码器和解码器。

表示分割模块中参数为

的特征提取器。

本实施例使用上采样将特征图

恢复到和(a)模块输出的特征向量相同的大小，再经过叠加，将

和原型网络(a)的输出相融合。

然后，使用1×1卷积将上述特征压缩成单通道特征图，并融合不同通道之间的信息，让l_α表示softmax前的α_th通道，n_β表示归一化后的β_th通道的特征映射，如下表示：

l_α＝W_β,αn_β

在训练过程中使用多类交叉损失函数：

其中，x^q为查询集的图像，y^q为其对应的标注，H^q和W^q为图像的尺寸，j为遍历空间位置，c∈{1,…,N+1}，N为类别个数，通过最小化J_θ(x^q,y^q)来训练该模型。

(c)表示每个概率映射都与查询图像连接，尺寸与查询图像相同，然后输入原型分类器以生成一个特征向量，通过相似度度量函数d计算特征向量和原型相似度分数。

在该模块中，在得到原型分类器后，将每个概率映射都与查询图像连接，将尺寸转换为与查询图像相同，然后输入原型分类器以生成一个特征向量，通过相似度度量函数d计算特征向量和原型相似度分数，步骤如下：

1.将(b)模块中的概率特征图与查询数据集x^q进行叠加；

2.使用(a)模块中的原型分类器f_θ对上述步骤的输出进行计算，然后经过全局平均池化(GAP)，得到新的特征向量；

3.通过相似度量函数d，计算(a)模块中学习得到的原型与上述步骤中的特征向量之间的相似度，并将融合使用的权重与(b)的概率图输出进行概率融合，最后输出识别结果。

步骤D、根据上述步骤实现一个AUV的目标识别，进而按照上述方法对不同方向的多个AUV的识别结果进行综合，最后输出识别结果；

每个AUV都有一个目标图像收集和识别功能，以上方法实现了每个AUV的目标识别能力了，本发明将支持向量机(SVM)分类与贝叶斯决策融合应用于多AUV目标识别中来，单个AUV的目标识别可以表示为y_i1＝{y_i1,c；c＝1,2,…,C}，其中，c其C为被识别的目标种类，i1∈I代表了第i1个AUV，根据贝叶斯准则，多AUV目标识别输出为：

其中，p(x_k|c)表示第k张图像识别为c的概率；通过多AUV从不同方位对目标进行识别，进而将每个识别信息进行融合，可以高效的识别水下目标，提高识别精度。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (6)

1.一种基于超分辨可选择网络的多AUV水下目标识别方法，其特征在于，包括以下步骤：

步骤A、采集声学图像与光学图像信息，进行色彩恢复和数据重构，实现图像超分辨率，提升图像质量；

(1)采集图像的色彩恢复处理：

原始图像表示为：

S(x,y)＝R(x,y)·L(x,y)

其中，L(x,y)表示亮度图像，R(x,y)表示图像的内在属性，S(x,y)为原始图像，则：

其中，r(x,y)为输出图像，*为卷积操作，F(x,y)为中心环绕函数，表示为：

其中，c为高斯环绕尺度，λ为尺度值；

色彩恢复的计算公式如下：

其中，K为高斯中心环绕函数的个数；

(2)基于CNN的数据重构：

首先获得输入图像X获得一系列特征图：

F₁(X)＝max(0,W₁*X+B₁)

其中W₁和B₁表示滤波器的权重和偏置，max操作对应ReLU激活函数；

然后进行非线性映射：

F₂(X)＝max(0,W₂*F₁(X)+B₂)

最后进行图像重构：

Y＝F(X)＝W₃*F₂(X)+B₃

实现图像的超分辨率；

步骤B、目标特征提取以及目标特征相似度量；

步骤B1、基于卷积神经网络CNN提取目标特征：

(1)对卷积神经网络视觉上进行可视化解释：

其中c表示类别，y^c是该类别对应的输出结果，A表示卷积输出的特征图，k表示特征图的通道，i,j表示特征图的横纵坐标，Z表示特征图的尺寸；

(2)得到权重后将特征图的通道线性加权融合在一起，公式如下：

该过程只保留对于类别c有正作用的区域；

步骤B2、利用马氏距离来度量特征之间的相似性，计算目标特征的相似度：

设每个AUV共采集了m个样本，每个样本中包含了n个特征，则该AUV采集的数据矩阵用X来表示：

X＝[X₁,X₂,…,X_n]

该样本的总体平均值为：

μ_X＝[μ_X1,μ_X2,…,μ_Xn]

数据矩阵的协方差为

则任意AUV特征向量与源域之间的马氏距离为：

通过计算马氏距离，来确定每个AUV当前采集的样本特征是否与源域存储的特征相似；

步骤C、设定阈值，根据阈值与相似度之间的关系设计学习模型，分别进行不同情况下的目标识别；

当相似度大于等于阈值时，采用改进的迁移学习对目标进行识别：基于改进型的mobilenetv2权重初始化deeplabv3+网络，对目标进行识别，所述改进型的mobilenetv2为在传统mobileNetV2原始基础结构基础上裁剪4个瓶颈残差块，采用1×1的卷积来代替原始的瓶颈残差块；

当相似度小于阈值时，采用少样本学习对目标进行识别，对背景复杂造成的特征不明显的目标信息进行集中训练，提取有效特征；

步骤D、通过多AUV从不同方位对目标进行识别，进而将每个方向的AUV识别信息进行融合得到更精确的识别结果；

基于支持向量机分类与贝叶斯决策融合将多个方向的AUV获得的目标识别结果进行融合，单个AUV的目标识别表示为y_i1＝{y_i1,c；c＝1,2,…,C}，其中，c其C为被识别的目标种类，i1∈I代表了第i1个AUV，根据贝叶斯准则，多AUV目标识别输出为：

其中，p(x_k|c)表示第k张图像识别为c的概率。

2.根据权利要求1所述的基于超分辨可选择网络的多AUV水下目标识别方法，其特征在于：所述步骤C中，迁移学习主要采用以下方式实现：

(1)初始训练：

设源域中的数据为

其中

为输入高分辨率图像，

为迁移学习输出的识别图像；AUV采集的目标域数据为

希望应用该网络预测出输入

对应的结果

P和Q分别为X_S和X_T的边缘分布，且P≠Q；迁移学习的目的主要是找到X_S和X_T的潜在的共同表示；令期望的非线性变换为

其非线性表示为：

P和Q之间的距离表示为：

通过迁移学习的方法，不断优化P和Q之间的距离，实现对目标域的准确识别；

(2)通过反馈的方式对网络参数(W,b,L^c)进行调整，以减少预测误差：

设Q是源任务的最优知识矩阵，向新任务知识矩阵的转移表示如下：

Qⁱ¹＝f_i1(W,b,L^c) i1∈{1,2,…,N}

Qⁱ¹表示AUV_i1通过迁移学习获得一个新的知识矩阵，即基于迁移学习的AUV识别目标，f_i1为迁移学习方法，W为权重，b为偏置，L^c表示对类别c有正作用的区域。

3.根据权利要求1所述的基于超分辨可选择网络的多AUV水下目标识别方法，其特征在于：所述步骤C中，少样本学习采用以下方式实现：

(a)基于原型学习模块对给定支持集的查询集进行分类，并学习原型；

(b)利用查询图像和从(a)中学习的原型来输出预测的分割掩码，该分割掩码采用了轻量级编码解码器来实现；

(c)每个概率映射都与查询图像连接，尺寸与查询图像相同，然后输入原型分类器以生成一个特征向量，通过相似度度量函数d计算特征向量和原型相似度分数。

4.根据权利要求3所述的基于超分辨可选择网络的多AUV水下目标识别方法，其特征在于：支持集用

来表示，其中xⁱ²表示[Hⁱ²,Wⁱ²,3]，yⁱ²为xⁱ²对应的金标准，N_S为支持集的个数；

查询集用

来表示，其中x^q为不包含在S中的大小为[Hⁱ³,Wⁱ³,3]的图像，N_Q为查询集的个数；

假定f_θ表示一个含有参数θ的特征提取器，f_θ将输入映射到一个含M个通道的特征图，然后使用全局平均池化(GAP)来从特征图中过滤出空间信息，其输出为一个M维的特征向量，定义类别c的均值特征向量：

其中S_c是S中只包含语义类c的子集，|S_c|＝K，GAP为迁移学习的全局平均池化；

通过f_θ的距离度量来学习，在得到原型p后，使用非参数加权最近邻分类器对语义类进行分类，y^q能被分解成N+1个二值掩码

其中c∈{1,…,N+1}。

5.根据权利要求4所述的基于超分辨可选择网络的多AUV水下目标识别方法，其特征在于：所述步骤(b)中：

使用编码解码器对数据进行分割：

编码器的输出表示为

I＝σ₁(W₁x^q+b₁)

解码器的输出表示为

D＝σ₂(W₂h+b₂)

特征提取器的输出为

其中，W₁和W₂为权重，b₁和b₂为偏置，σ₁和σ₂分别为分割模块的编码器和解码器，

表示分割模块中参数为

的特征提取器；

使用上采样将特征图

恢复到和(a)模块输出的特征向量相同的大小，再经过叠加，将

和原型网络(a)的输出相融合；

然后，使用1×1卷积将上述特征压缩成单通道特征图，并融合不同通道之间的信息，让l_α表示softmax前的α_th通道，n_β表示归一化后的β_th通道的特征映射，如下表示：

l_α＝W_β,αn_β

在训练过程中使用多类交叉损失函数：

其中，x^q为查询集的图像，y^q为其对应的标注，H^q和W^q为图像的尺寸，j为遍历空间位置，c∈{1,…,N+1}，N为类别个数，通过最小化J_θ(x^q,y^q)来训练该模型。

6.根据权利要求5所述的基于超分辨可选择网络的多AUV水下目标识别方法，其特征在于：所述步骤(c)具体采用以下方式实现：

在得到原型分类器后，将每个概率映射都与查询图像连接，将尺寸转换为与查询图像相同，然后输入原型分类器以生成一个特征向量，通过相似度度量函数d计算特征向量和原型相似度分数，步骤如下：

(1)将步骤(b)中的概率特征图与查询数据集x^q进行叠加；

(2)使用步骤(a)中的原型分类器f_θ对上述步骤的输出进行计算，然后经过全局平均池化(GAP)，得到新的特征向量；

(3)通过相似度量函数d，计算(a)中学习得到的原型与上述步骤中的特征向量之间的相似度，并将融合使用的权重与(b)的概率图输出进行概率融合，最后输出识别结果。

Images