CN112613518A - 一种基于auv的侧扫声呐图像域适应学习实时分割方法 - Google Patents

一种基于auv的侧扫声呐图像域适应学习实时分割方法 Download PDF

Info

Publication number
CN112613518A
CN112613518A CN202011504771.6A CN202011504771A CN112613518A CN 112613518 A CN112613518 A CN 112613518A CN 202011504771 A CN202011504771 A CN 202011504771A CN 112613518 A CN112613518 A CN 112613518A
Authority
CN
China
Prior art keywords
image
domain
sonar
real
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011504771.6A
Other languages
English (en)
Inventor
王淇
何波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Pengpai Ocean Exploration Technology Co ltd
Original Assignee
Qingdao Pengpai Ocean Exploration Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Pengpai Ocean Exploration Technology Co ltd filed Critical Qingdao Pengpai Ocean Exploration Technology Co ltd
Priority to CN202011504771.6A priority Critical patent/CN112613518A/zh
Publication of CN112613518A publication Critical patent/CN112613518A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于AUV的侧扫声呐图像域适应学习实时分割方法，对AUV搭载不同侧扫声呐传感器传输的数据流格式进行在线解码、融合，获得高分辨率侧扫声呐图像；然后将高分辨率侧扫声呐图像进行数据集制作；构建基于域适应学习的实时分割网络模型，进行离线训练，实时分割网络模型包括特征提取器、分类器和多尺度判别器；最后使用离线学习后的域适应分割模型对AUV的航线航行区域进行侧扫声呐图像实时分割预测。本方案提出基于域适应学习的实时语义分割技术，并将域对抗学习与实时语义分割算法融合，减轻昂贵数据收集过程，使得分割模型在有限的未标注训练样本条件下能达到高效、准确的目标识别效果，提高训练模型在不用应用场景下的适应性。

Description

一种基于AUV的侧扫声呐图像域适应学习实时分割方法
技术领域
本发明属于侧扫声呐图像目标检测技术领域，具体涉及一种基于AUV的侧扫声呐图像域适应学习实时分割方法。
背景技术
在蕴含丰富海洋信息的侧扫声呐图像中自动提取海底目标，对于海洋环境感知及海洋科学研究具有重要意义。随着深度学习在各领域的广泛研究，人们不断将理论研究推广到实际产品落地。深度学习的引入提高了声呐图像分类、检测等应用的精度，并且在计算效率上不断提升，推动了实时应用的发展，但是将深度学习算法应用到侧扫声呐图像分割的研究较少。
在实际海洋应用场景中，难以获得大量的标注样本，真实、复杂的海洋环境给图像分割算法的泛化性能带来了困难。对于海底目标的形态多样性，即同一海洋物体的差异性及不同海洋物体之间的相似性，对于基于深度学习的分割模型的泛化性能也是一个极大的挑战。而且，由于AUV搭载的嵌入式平台计算资源有限，对模型的复杂度和操作次数有较高的要求。因此，在实际海洋环境与深度学习技术结合的基础上，研究如何克服上述难点，对于推进AUV的智能性具有重要意义。
传统的侧扫声呐图像分割方法主要为基于无监督侧扫声呐图像分割方法，存在的问题主要包括：1)分割时间较长，不能满足AUV特定平台实时性的要求；2)将声呐图像分为目标高亮区、目标阴影区和背景区域，不能提供目标的类别信息，因此后续还需要其他算法完成目标识别的步骤；3)无法分割复杂的海底纹理，例如沙纹或海草；这主要是由于图像强度不均匀，通常也归因于不正确的分割初始化。
因此，在基于深度学习的侧扫声呐图像实时分割技术研究基础上，如果直接将在特定的数据集上训练的模型，应用到属于训练集的同一域(海域条件，传感器类型、频率，目标分布)图像时，准确性会很高。但是，如果将此模型用于不同条件下获取的图像，则由于图像之间的域位移，模型预测准确率急剧下降，因此本发明将解决基于深度学习的图像分割技术对于新场景适应性差等问题，以精准预测不同侧扫声呐传感器、不同海域条件下采集的同一海底目标。
发明内容
本发明为了提高准确率，并提高图像分割技术对于新场景适应性等问题，提出一种基于AUV的侧扫声呐图像域适应学习分割方法，以实现不同侧扫声呐传感器、不同海域条件下所采集海底目标的预测。
本发明是采用以下的技术方案实现的：一种基于AUV的侧扫声呐图像域适应学习实时分割方法，包括以下步骤：
步骤A、对AUV搭载不同侧扫声呐传感器传输的数据流格式通过UDP协议进行在线解码、融合，获得高分辨率侧扫声呐图像，侧扫声呐传感器传输的数据流格式包括sds格式声呐数据和xtf格式声呐数据；
步骤B、将不同格式解析的出来的高分辨率侧扫声呐图像进行数据集制作，得到sds格式声呐数据集和xtf格式声呐数据集；
步骤C、构建基于域适应学习的实时分割网络模型，并对其进行离线训练，所述实时分割网络模型包括特征提取器、分类器和多尺度判别器；
根据同一海底目标类别，获取不同侧扫声呐传感器所采集图像，将带标签的sds格式声呐数据集作为源域数据集，将不带标签的xtf格式声呐数据集作为目标域数据集，输入至特征提取器，通过前向传播运算，得到源域声呐图像中海底目标的纹理、几何特征以及位置信息；
分类器将提取的源域声呐图像特征进行像素级预测，根据预测结果与标签信息求得语义分割损失，反向传播更新优化特征提取器的参数；
再通过多尺度判别器对来自特征提取器提取的源域及目标域图像特征进行判别，通过对抗训练优化特征提取器参数，以精准预测不同侧扫声呐传感器采集的同一海底目标；
步骤D、使用离线学习后的域适应分割模型对AUV在预先设定的航线航行区域进行侧扫声呐图像实时分割预测。
进一步的，所述步骤A中，对sds格式声呐数据解析时，通过获取sds包头的标志位来保存对应时间的海底扫测数据，过程如下：
(1)接收sds格式声呐数据流，指针pp＝0；指针指向sds包头，pp＝pp+8；
(2)判断头文件标志位是否为sonarTAG，若否，则判断头文件标志位是否为NAV，保存AUV当前经纬度数据；若是，则进行下一步；
(3)进入sds声呐数据段，pp＝pp+16；
(4)判断声呐数据是否为低频信息，若是，保存第0通道及第1通道海底回波强度值；若否，保存第1通道及第2通道海底回波强度值。
进一步的，所述步骤A中，对xtf格式声呐数据解析过程如下：
(1)接收xtf格式声呐数据流，指针pp＝0；指针指向xtf帧头，pp＝pp+1024；
(2)判断帧头是否为0xface，若否，pp＝pp+1，直到找到帧头；若是，保存AUV当前经纬度数据；
(3)判断声呐数据是否为低频信息，若是，保存第0通道及第1通道海底回波强度值；若否，保存第1通道及第2通道海底回波强度值。
进一步的，所述步骤C具体通过以下方式实现：
步骤C1：针对同一海底目标，将带标签Ys的sds格式数据集作为源域训练集Xs，训练数据集样本数为S＝{n1,n2,…,ns}，将无标签的xtf格式数据集作为目标域训练集Xt，训练数据集样本数为T＝{n1,n2,…,nt}；
步骤C2：将源域训练集Xs和目标域训练集Xt送入特征提取器，包括初始模块、编码模块和解码模块，初始模块为编码模块提供更多图像特征，除去图像中的视觉冗余信息，编码模块用以实现侧扫声呐图像的特征提取，使用池化层逐渐减小输入数据的空间维度，解码模块则通过特征上采样到原始输入分辨率来逐渐恢复海底目标的细节；
步骤C3：特征提取器的不同层级分别得到源域、目标域图像的低层特征Ps_l,Pt_l；源域、目标域图像高层特征Ps_h,Pt_h。
步骤C4：特征提取器得到的源域图像高层特征信息作为分类器的输入，用来计算源域数据集中海底目标最终类别概率Ps，根据Ps和Ys求得平衡交叉熵Lseg，即语义分割损失，解决海底目标样本类别不均衡的问题，损失函数反向传播训练特征提取器；
Figure BDA0002844559720000031
其中Xs，Ys图像大小为H×W,C为分割类别数，Ps＝G(Xs)为分割预测输出，αw为平衡因子
Figure BDA0002844559720000032
其中αw∈[0，1]，
Figure BDA0002844559720000033
Y-|、|Y+|分别代表背景及目标的真实标签值；
步骤C5：设计多尺度判别器，包括判别器1和判别器2，判别器1的输入来自特征提取器的高层特征Ps_h,Pt_h，判别器2的输入来自特征提取器的低层特征Ps_l,Pt_l，每个判断器分别判断其输入特征信息是来自源域图像还是目标域图像；
每个判别器由5个卷积层组成，除了最后一层，每个卷积层后面都使用批归一化和ReLU激活函数；最后一层添加一个上采样系数为16的向上采样层，以将输出重新缩放到输入映射的大小；
步骤C6：设计基于域对抗学习实时分割方法的总损失函数
L(Xs，Ys，Xt)＝Lseg(Xs，Ys)+λ1Ladv1(Xs，Xt)+λ2Ladv2(Xs，Xt) (4)
其中λ1和λ2是权衡网络对抗权重的一个重要参数；
进而得到网络训练的优化目标为：
G*，D*＝argmaxDminGL(Xs，Ys，Xt) (5)
最终目标是使输入图像的语义分割损失最小化，同时最大化将输入图像预测为源域的可能性；
步骤C7：保存优化后特征提取器参数，完成训练。
进一步的，所述步骤C5具体通过以下方式实现：
步骤C51：将Ps_h,Pt_h作为判别器1输入，通过前向传播得到预测输出，判别Ps_h,Pt_h来自源域图像还是目标域图像，并计算对抗损失Ladv1；
Ladv(Xs，Xt)＝-y[log(D(G(Xs)))]-(1-y)[log(1-D(G(Xt)))] (3)
如果输入侧扫声呐图像被判定为源域图像，则y＝1，判定为目标域图像，y＝0，被Ladv(Xs，Xt)表示两个源于图像及目标域图像之间的距离；
步骤C52：将Ps_l,Pt_l作为判别器2输入，通过前向传播得到预测输出，判别Ps_l,Pt_l来自源域图像还是目标域图像，按照计算对抗损失Ladv1的原理计算对抗损失Ladv2。
与现有技术相比，本发明的优点和积极效果在于：
1、通过对AUV搭载的不同型号的侧扫声呐格式数据流进行在线解析，有效扩大侧扫声呐传感器在不同场景下的应用范围；
2、根据侧扫声呐图像的固有特性以及AUV搭载运算平台的计算性能提出基于域适应学习的实时语义分割技术，通过基于深度学习的实时语义分割网络，满足AUV搭载的嵌入式GPU的实时运算性能，并将域对抗学习与实时语义分割算法融合，减轻昂贵数据收集过程，使得分割模型在有限的未标注训练样本条件下能达到高效、准确的目标识别效果，使得训练模型在不用应用场景下均有很好的适应性；
3、根据AUV的导航信息进行海底目标信息校正，并与实时分割结果进行在线融合，进一步提升AUV在复杂海洋环境中的自主性、智能性以及数据驱动能力。
附图说明
图1为本发明实施例所述域适应学习分割方法的整体架构示意图；
图2为本发明实施例sds格式声呐数据解析过程示意图；
图3为本发明实施例xtf格式声呐数据解析过程示意图；
图4为sds格式声呐数据集(源域数据集)示意图，其中(a)为sds格式声呐图像，(b)为标记图像；
图5为sds格式声呐数据集(目标域数据集)示意图，其中(a)为xtf格式声呐图像，(b)为标记图像；
图6为本发明实施例所述域适应分割网络模型结构示意图；
图7为本发明实施例所述特征提取器结构示意图；
图8为本发明实施例所述判别器结构示意图。
具体实施方式
为了能够更加清楚地理解本发明的上述目的、特征和优点，下面结合附图及实施例对本发明做进一步说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例。
本发明提出基于AUV的侧扫声呐图像域适应学习实时分割方法，整体实现架构如附图1所示，包括如下步骤：
步骤A、数据预处理：对AUV搭载不同侧扫声呐传感器传输的数据流格式通过UDP协议进行在线解码、融合，获得高分辨率侧扫声呐图像；
本实施例中，如图1所述，设侧扫声呐传感器1对应的数据流格式为sds格式声呐数据，通过UDP协议监听侧扫声呐传感器1的电子舱端口号进行在线解码，根据获取的sds包头的标志位，如声呐信息标志位(SNR)、位置信息标志位(NAV)、姿态信息标志位(ORI)等保存对应时间的海底数据，如果解码过程中有丢包，则指针后移直到找到包头标志位，剔除坏包。设侧扫声呐传感器2对应的数据流格式为xtf格式声呐数据，与解析sds数据格式不同，位置及姿态信息保存在帧头中，先解码帧头的位置、姿态信息，再顺序保存海底侧扫声呐回波强度信息，设定时间周期，将周期内解码的声呐回波强度信息拼接得到高分辨率侧扫声呐图像；sds格式声呐数据以及xtf格式声呐数据解析过程分别如附图2、附图3所示。
步骤B、将不同格式解析的出来的高分辨率侧扫声呐图像进行数据集制作，得到sds格式声呐数据集和xtf格式声呐数据集，通过双线性插值恢复海底真实地形地貌；本实施例中，原始图像与标记图像均为500*500像素，sds格式声呐数据集(源域数据集)如附图4，xtf格式声呐数据集(目标域数据集)如附图5，由附图4、附图5可知，针对海底同一目标(沙波)特征，不同侧扫声呐传感器成像的分辨率不同，对比度不同。
步骤C、构建域适应分割网络模型，将域对抗学习训练和基于深度学习的实时语义分割算法融合，并对域适应分割网络模型进行训练；
本实施例考虑到服务于水下机器人实时采集声呐图像处理的需求，将域对抗学习训练和基于深度学习的实时语义分割算法融合，如图6所示，域适应分割网络模型包括特征提取器、分类器和判别器，主要步骤如下：
步骤C1：针对同一海底目标，将sds格式数据集作为源域训练集Xs(带标签Ys)，训练数据集样本数为S＝{n1,n2,…,ns}，将xtf格式数据集作为目标域训练集Xt(无标签)，训练数据集样本数为T＝{n1,n2,…,nt}；
步骤C2：将源域训练集Xs和目标域训练集Xt送入特征提取器，其结构如附图7所示，包括初始模块、编码模块和解码模块。初始模块为编码模块提供更多图像特征，除去图像中的视觉冗余信息；编码模块主要负责侧扫声呐图像的特征提取，使用池化层逐渐减小输入数据的空间维度；解码模块则通过特征上采样到原始输入分辨率来逐渐恢复海底目标的细节，根据侧扫声呐图像的特性以及AUV搭载的运算平台实现侧扫声呐图像分割的准确性和实时性；
步骤C3：特征提取器的不同层级分别得到源域、目标域图像低层特征Ps_l,Pt_l，源域、目标域图像高层特征Ps_h,Pt_h；
步骤C4：特征提取器得到的源域图像高层特征信息作为分类器的输入，用来计算源域数据集中海底目标最终类别概率Ps，根据Ps和Ys求得平衡交叉熵(Lseg)，即语义分割损失。解决海底目标样本类别不均衡的问题，损失函数反向传播训练特征提取器。
Figure BDA0002844559720000061
其中Xs，Ys图像大小为H×W,C为分割类别数，Ps＝G(Xs)为分割预测输出，αw为平衡因子
Figure BDA0002844559720000062
其中αw∈[0，1]，
Figure BDA0002844559720000063
|Y-|、|Y+|分别代表背景及目标的真实标签值；
步骤C5：设计多尺度判别器，包括判别器1和判别器2，判别器1的输入来自特征提取器的高层特征Ps_h,Pt_h，判别器2的输入来自特征提取器的低层特征Ps_l,Pt_l，每个判断器分别判断其输入特征信息是来自源域图像还是目标域图像。多尺度的输入可以提高判别准确性，既增强了其样本的高阶抽象信息也保留样本的低阶结构信息；
每个判别器由5个卷积层组成，卷积核的大小为3*3，通道数量分别为[64,128,256,512,1024,1]，步长为2。除了最后一层，每个卷积层后面都使用批归一化(BN，BatchNormalization)和ReLU激活函数；最后一层添加一个上采样系数为16的向上采样层，以将输出重新缩放到输入映射的大小，判别器将判断其输入图像是来自源域还是目标域。判别器结构如附图8。
步骤C51：将Ps_h,Pt_h作为判别器1输入，通过前向传播得到预测输出，判别Ps_h,Pt_h来自源域图像还是目标域图像，并计算对抗损失Ladv1；
Ladv(Xs，Xt)＝-y[log(D(G(Xs)))]-(1-y)[log(1-D(G(Xt)))] (3)
如果输入侧扫声呐图像被判定为源域图像，则y＝1，判定为目标域图像，y＝0，被Ladv(Xs，Xt)表示两个源于图像及目标域图像之间的距离；
步骤C52：将Ps_l,Pt_l作为判别器2输入，通过前向传播得到预测输出，判别Ps_l,Pt_l来自源域图像还是目标域图像，计算对抗损失Ladv2；
步骤C6：设计基于域对抗学习实时分割方法的总损失函数
L(Xs，Ys，Xt)＝Lseg(Xs，Ys)+λ1Ladv1(Xs，Xt)+λ2Ladv2(Xs，Xt) (4)
其中λ1和λ2权衡网络对抗权重的一个重要参数，可以人工给定；
我们训练的优化目标为
G*，D*＝argmaxDminGL(Xs，Ys，Xt) (5)
最终目标是使输入图像的分割损失最小化，同时最大化将输入图像预测为源域的可能性。
步骤C7：保存优化后特征提取器参数，使得实时语义分割算法在源域和目标域数据集中均有较好的分割精度。
步骤D、基于构建好的域适应网络分割模型，在AUV的嵌入式GPU中实现实时分割预测，并将侧扫声呐分割结果与根据AUV导航模块提供的当前经纬度信息校正后的目标信息进行融合，通过UDP协议发送至AUV的主控模块。
本方案通过对AUV搭载不同侧扫声呐传感器传输的数据流格式(sds、xtf)进行在线解码，融合，获得海底回波强度信息和侧扫声呐成像模型，方便AUV对不同声呐数据格式在线解码；根据同一海底目标类别，获取不同侧扫声呐传感器所采集图像，将由侧扫声呐传感器1采集的原始图像及标注图像与侧扫声呐传感器2采集的无标注的原始图像，送入基于深度学习的分割网络训练，该网络作为域适应方法的生成器，再通过多尺度判别器对来自生成器提取的图像特征进行判别，通过对抗训练获得生成网络最优参数，可以精准预测不同侧扫声呐传感器采集的同一海底目标。将海底目标实时分割结果(目标类别及位置信息)通过协定的通信协议，反馈至AUV主控模块，进行后续路径规划及任务决策。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (5)

1.一种基于AUV的侧扫声呐图像域适应学习实时分割方法，其特征在于，包括以下步骤：
步骤A、对AUV搭载不同侧扫声呐传感器传输的数据流格式进行在线解码、融合，获得高分辨率侧扫声呐图像，侧扫声呐传感器传输的数据流格式包括sds格式声呐数据和xtf格式声呐数据；
步骤B、将不同格式解析的出来的高分辨率侧扫声呐图像进行数据集制作，得到sds格式声呐数据集和xtf格式声呐数据集；
步骤C、构建基于域适应学习的实时分割网络模型，并对其进行离线训练，所述实时分割网络模型包括特征提取器、分类器和多尺度判别器；
根据同一海底目标类别，获取不同侧扫声呐传感器所采集图像，将带标签的sds格式声呐数据集作为源域数据集，将不带标签的xtf格式声呐数据集作为目标域数据集，输入至特征提取器，通过前向传播运算，得到源域声呐图像中海底目标的纹理、几何特征以及位置信息；
分类器将提取的源域声呐图像特征进行像素级预测，根据预测结果与标签信息求得语义分割损失，反向传播更新优化特征提取器的参数；
再通过多尺度判别器对来自特征提取器提取的源域及目标域图像特征进行判别，通过对抗训练优化特征提取器参数，以精准预测不同侧扫声呐传感器采集的同一海底目标；
步骤D、使用离线学习后的域适应分割模型对AUV在预先设定的航线航行区域进行侧扫声呐图像实时分割预测。
2.根据权利要求1所述的基于AUV的侧扫声呐图像域适应学习实时分割方法，其特征在于：所述步骤A中，对sds格式声呐数据解析时，通过获取sds包头的标志位来保存对应时间的海底扫测数据，过程如下：
(1)接收sds格式声呐数据流，指针pp＝0；指针指向sds包头，pp＝pp+8；
(2)判断头文件标志位是否为sonarTAG，若否，则判断头文件标志位是否为NAV，保存AUV当前经纬度数据；若是，则进行下一步；
(3)进入sds声呐数据段，pp＝pp+16；
(4)判断声呐数据是否为低频信息，若是，保存第0通道及第1通道海底回波强度值；若否，保存第1通道及第2通道海底回波强度值。
3.根据权利要求1所述的基于AUV的侧扫声呐图像域适应学习实时分割方法，其特征在于：所述步骤A中，对xtf格式声呐数据解析过程如下：
(1)接收xtf格式声呐数据流，指针pp＝0；指针指向xtf帧头，pp＝pp+1024；
(2)判断帧头是否为0xface，若否，pp＝pp+1，直到找到帧头；若是，保存AUV当前经纬度数据；
(3)判断声呐数据是否为低频信息，若是，保存第0通道及第1通道海底回波强度值；若否，保存第1通道及第2通道海底回波强度值。
4.根据权利要求1所述的基于AUV的侧扫声呐图像域适应学习实时分割方法，其特征在于：所述步骤C具体通过以下方式实现：
步骤C1：针对同一海底目标，将带标签Ys的sds格式数据集作为源域训练集Xs，训练数据集样本数为S＝{n1，n2，...，ns}，将无标签的xtf格式数据集作为目标域训练集Xt，训练数据集样本数为T＝{n1，n2，...，nt}；
步骤C2：将源域训练集Xs和目标域训练集Xt送入特征提取器，包括初始模块、编码模块和解码模块，初始模块为编码模块提供更多图像特征，除去图像中的视觉冗余信息，编码模块用以实现侧扫声呐图像的特征提取，使用池化层逐渐减小输入数据的空间维度，解码模块则通过特征上采样到原始输入分辨率来逐渐恢复海底目标的细节；
步骤C3：特征提取器的不同层级分别得到源域、目标域图像的低层特征Ps_l，Pt_l；源域、目标域图像高层特征Ps_h，Pt_h；
步骤C4：特征提取器得到的源域图像高层特征信息作为分类器的输入，用来计算源域数据集中海底目标最终类别概率Ps，根据Ps和Ys求得平衡交叉熵Lseg，即语义分割损失，解决海底目标样本类别不均衡的问题，损失函数反向传播训练特征提取器；
Figure FDA0002844559710000021
其中Xs，Ys图像大小为H×W，C为分割类别数，Ps＝G(Xs)为分割预测输出，αw为平衡因子
Figure FDA0002844559710000022
其中αw∈[0，1]，
Figure FDA0002844559710000023
|Y-|、|Y+|分别代表背景及目标的真实标签值；
步骤C5：设计多尺度判别器，包括判别器1和判别器2，判别器1的输入来自特征提取器的高层特征Ps_h，Pt_h，判别器2的输入来自特征提取器的低层特征Ps_l，Pt_l，每个判断器分别判断其输入特征信息是来自源域图像还是目标域图像；
每个判别器由5个卷积层组成，除了最后一层，每个卷积层后面都使用批归一化和ReLU激活函数；最后一层添加一个上采样系数为16的向上采样层，以将输出重新缩放到输入映射的大小；
步骤C6：设计基于域对抗学习实时分割方法的总损失函数
L(Xs，Ys，Xt)＝Lseg(Xs，Ys)+λ1Ladv1(Xs，Xt)+λ2Ladv2(Xs，Xt) (4)
其中λ1和λ2是权衡网络对抗权重的一个重要参数；
进而得到网络训练的优化目标为：
G*，D*＝argmaxDminGL(Xs，Ys，Xt) (5)
最终目标是使输入图像的语义分割损失最小化，同时最大化将输入图像预测为源域的可能性；
步骤C7：保存优化后特征提取器参数，完成训练。
5.根据权利要求4所述的基于AUV的侧扫声呐图像域适应学习实时分割方法，其特征在于：所述步骤C5具体通过以下方式实现：
步骤C51：将Ps_h，Pt_h作为判别器1输入，通过前向传播得到预测输出，判别Ps_h，Pt_h来自源域图像还是目标域图像，并计算对抗损失Ladv1；
Ladv(Xs，Xt)＝-y[log(D(G(Xs)))]-(1-y)[log(1-D(G(Xt)))] (3)
如果输入侧扫声呐图像被判定为源域图像，则y＝1，判定为目标域图像，y＝0，被Ladv(Xs，Xt)表示两个源于图像及目标域图像之间的距离；
步骤C52：将Ps_l，Pt_l作为判别器2输入，通过前向传播得到预测输出，判别Ps_l，Pt_l来自源域图像还是目标域图像，按照计算对抗损失Ladv1的原理计算对抗损失Ladv2。
CN202011504771.6A 2020-12-18 2020-12-18 一种基于auv的侧扫声呐图像域适应学习实时分割方法 Pending CN112613518A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011504771.6A CN112613518A (zh) 2020-12-18 2020-12-18 一种基于auv的侧扫声呐图像域适应学习实时分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011504771.6A CN112613518A (zh) 2020-12-18 2020-12-18 一种基于auv的侧扫声呐图像域适应学习实时分割方法

Publications (1)

Publication Number Publication Date
CN112613518A true CN112613518A (zh) 2021-04-06

Family

ID=75241132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011504771.6A Pending CN112613518A (zh) 2020-12-18 2020-12-18 一种基于auv的侧扫声呐图像域适应学习实时分割方法

Country Status (1)

Country Link
CN (1) CN112613518A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883829A (zh) * 2023-09-05 2023-10-13 山东科技大学 多源信息融合驱动的水下场景智能感知方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883829A (zh) * 2023-09-05 2023-10-13 山东科技大学 多源信息融合驱动的水下场景智能感知方法
CN116883829B (zh) * 2023-09-05 2023-11-21 山东科技大学 多源信息融合驱动的水下场景智能感知方法

Similar Documents

Publication Publication Date Title
CN111201451B (zh) 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置
Zhao et al. Leveraging heterogeneous auxiliary tasks to assist crowd counting
CN110232350B (zh) 一种基于在线学习的实时水面多运动目标检测跟踪方法
CN111899172A (zh) 一种面向遥感应用场景的车辆目标检测方法
CN111368633A (zh) 一种基于auv的侧扫声呐图像识别方法
CN112488210A (zh) 一种基于图卷积神经网络的三维点云自动分类方法
CN112526524B (zh) 一种基于前视声纳图像和auv平台的水下渔网检测方法
CN114266977B (zh) 基于超分辨可选择网络的多auv的水下目标识别方法
CN114612769A (zh) 一种融入局部结构信息的集成感知红外成像舰船检测方法
CN113705371A (zh) 一种水上视觉场景分割方法及装置
CN110443155A (zh) 一种基于卷积神经网络的视觉航标识别与分类方法
CN109977968A (zh) 一种深度学习分类后比较的sar变化检测方法
CN112560865A (zh) 一种室外大场景下点云的语义分割方法
CN111208521B (zh) 一种多波束前视声呐水下障碍物鲁棒检测方法
Li et al. Real-time underwater target detection for AUV using side scan sonar images based on deep learning
CN116468995A (zh) 一种联合slic超像素和图注意力网络的声呐图像分类方法
Yao et al. Vision-based environment perception and autonomous obstacle avoidance for unmanned underwater vehicle
Hoang et al. 3onet: 3d detector for occluded object under obstructed conditions
Yao et al. WaterScenes: A Multi-Task 4D Radar-Camera Fusion Dataset and Benchmarks for Autonomous Driving on Water Surfaces
CN112613518A (zh) 一种基于auv的侧扫声呐图像域适应学习实时分割方法
Wang et al. You only look at once for real-time and generic multi-task
CN113792631A (zh) 一种基于多尺度自适应与边域注意力的飞行器检测与跟踪方法
CN111950476A (zh) 基于深度学习的复杂环境下河道船舶自动识别方法
CN116343041A (zh) 一种基于hrrp与sar数据特征级融合的舰船分类方法
CN113807243B (zh) 一种基于对未知目标注意力的水上障碍物检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination