CN114219989A - 一种基于干扰抑制和动态轮廓的雾天场景船舶实例分割方法 - Google Patents

一种基于干扰抑制和动态轮廓的雾天场景船舶实例分割方法 Download PDF

Info

Publication number
CN114219989A
CN114219989A CN202111411500.0A CN202111411500A CN114219989A CN 114219989 A CN114219989 A CN 114219989A CN 202111411500 A CN202111411500 A CN 202111411500A CN 114219989 A CN114219989 A CN 114219989A
Authority
CN
China
Prior art keywords
ship
foggy
contour
segmentation
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111411500.0A
Other languages
English (en)
Inventor
苏丽
苑守正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN202111411500.0A priority Critical patent/CN114219989A/zh
Publication of CN114219989A publication Critical patent/CN114219989A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于干扰抑制和动态轮廓的雾天场景船舶实例分割方法，包括以下步骤：步骤1：建立雾天场景下船舶实例分割网络；步骤2：训练雾天船舶实例分割网络；步骤3：测试雾天船舶实例分割效果。本发明解决了现有技术无法准确分割雾天场景船舶的问题，全面提升了雾天场景下船舶实例分割的准确度，减少了船舶漏检。

Description

一种基于干扰抑制和动态轮廓的雾天场景船舶实例分割方法
技术领域
本发明属于计算机视觉和图像处理中的实例分割领域，具体涉及一种基于干扰抑制和动态轮廓的雾天场景船舶实例分割方法。
背景技术
当今世界已进入“工业4.0”智能化发展时代，智能船舶是未来船舶发展的必然趋势，具有良好的应用需求和发展前景。实例分割是计算机视觉中一项基本但具有挑战性的任务，其目的是将实例的每个像素分配到特定的语义类别并区分同一类别中的不同实例。特别是与智能船舶相关的实例分割技术可以准确感知海上船舶的形状和位置信息，适用于海上交通监管、海洋监视、航行安全等各个领域。然而，海洋气候迅速变化和恶劣天气频繁发生，严重威胁着船舶作业的安全。同时，计算机视觉系统的视觉信号在恶劣的天气条件下也会受到损坏和扭曲，特别在雾天条件下。海雾数据具有图像模糊，船舶与海天背景易混淆，远距离目标识别困难等特点。在这种情况下，低质量的成像会严重影响雾天船舶实例分割结果。
当前最先进的实例分割方法如Mask R-CNN,Solo，CondInst等直接用于雾天船舶分割任务，会产生大量船舶漏检和分割不完整的问题，导致船舶分割精度严重下降。这些算法主要适用于晴天场景，而没有考虑上述恶劣天气条件。同时，现有相关的船舶实例分割主要集中在高分辨率SAR(合成孔径雷达)图像和遥感图像上。然而，由于图像采集的时效性，SAR和光学远程图像的船舶分割难以满足实时性要求。相比之下，可见光图像具有更好的检测精度和实时性能。但现有研究很少关注可见光图像的船舶实例分割，更无法为雾天场景下的船舶实例分割提供有效的解决方法。
发明内容
本发明的目的为了减少了海雾造成的恶劣干扰，提高了船舶分割精度，可以完整分割雾天场景下的船舶目标的一种基于干扰抑制和动态轮廓的雾天场景船舶实例分割方法。
本发明的目的是这样实现的：
步骤1：建立雾天场景下船舶实例分割网络
所述雾天场景下船舶实例分割网络包括特征提取网络，参数生成网络，干扰抑制模块，轮廓分支和分割网络。
所述特征提取网络使用深层残差卷积网络输出不同尺寸的特征进行高层与低层特征的融合构成特征金字塔。
所述参数生成网络是分别连接在特征金字塔的不同输出特征图上进行参数预测，保证了多尺度目标的分割精度。参数生成网络由3组并行的Convs卷积层组成，输出为控制器
Figure BDA0003374264160000021
分类器px,y和控制器θx,y。
所述干扰抑制模块，使船舶实例分割网络更加注重有效信息特征，抑制海雾对分割船舶的干扰。干扰抑制模块分别从像素和通道两方面提取有效特征，输出结果为FIR。
所述轮廓分支，用于提取轮廓特征作为动态轮廓学习模块的输入。轮廓分支由四个3×3的卷积组成，连接一个特征融合模块来融合轮廓特征 Fcontour和掩模特征Fmask。
所述分割网络，用于动态预测每个实例的掩码和轮廓。分割网络包括掩码模块和动态轮廓学习模块，均由三个1×1的8通道卷积组成。同时结合所述轮廓分支使用动态卷积来学习模糊船舶的轮廓并辅助雾天场景中的掩码预测。动态轮廓学习模块仅用作辅助主网络的训练并不参与最终测试。
步骤2：训练雾天船舶实例分割网络
设计损失函数用于优化雾天船舶实例分割网络的训练。
所述损失函数为L＝Lfcos+Lmask+λLcontour，其中Lcontour(pb,gb)＝ Ldice(pb,gb)+LBCE(pb,gb)。Lfcos、Lmask和Lcontour分别表示Fcos损失、掩码损失和轮廓损失。λ表示Lcontour的权重系数，设置为1。Ldice表示Dice损失和LBCE是二值交叉熵损失，gb是轮廓真实结果，pb是轮廓预测结果。
建立海上雾天船舶实例分割数据集Foggy ShipInsseg用于网络训练。
所述Foggy ShipInsseg数据集包含5739张雾天图像和10900个精细实例掩码注释，分为Fog-Train、Fog-Test和Real-Fog三个子数据集。海上雾天船舶数据采用雾天图像模拟方法进行数据扩展。该方法在真实的海洋图像上生成模拟雾。数据集包括了真实雾天图像和模拟雾天图像。
步骤3：测试雾天船舶实例分割效果
将待测试的Fog-Test和Real-Fog数据集图像输入已经训练好的雾天船舶实例分割模型，得到船舶分割结果。
进一步的，所述特征提取网络的特征金字塔为Resnet-50-FPN和 Resnet-101-FPN。
进一步的，所述损失函数中
Figure BDA0003374264160000031
其中DCLM表示动态轮廓学习模块，
Figure BDA0003374264160000032
是轮廓特征，
Figure BDA0003374264160000033
是动态轮廓学习模块的卷积参数。与现有技术相比，本发明的有益效果是：
1.本发明利用干扰抑制模块从像素和通道中提取重要特征并减少雾天对船舶分割造成的干扰，以动态方式学习轮廓信息辅助预测雾天船舶的掩码。
2.全面提升了雾天场景下船舶实例分割的准确度，减少了船舶漏检。
附图说明
图1为本发明的一的流程图；
图2为本发明的干扰抑制模块示意图；
图3为本发明的雾天船舶数据集注释示意图；
图4为本发明的分割结果示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述。
参照图1，介绍本专利一种基于干扰抑制和动态轮廓的雾天场景船舶实例分割方法的具体实施方式，具体包括：
S1：建立雾天场景下船舶实例分割网络；
S11：输入二维雾天船舶图像，即三通道RGB彩色的可见光图像。
S12：构建特征提取网络，使用深层残差卷积网络输出不同尺寸的特征 {C3,C4,C5}，进行高层与低层特征的融合构成特征金字塔{P3,P4,P5,P6,P7}。
S13：参数生成网络，在所述特征金字塔的不同输出特征图上分别连接参数生成网络进行参数预测，保证了多尺度目标的分割精度。
参数生成网络由3组并行的Convs卷积层组成，输出为控制器
Figure BDA0003374264160000041
分类器 px,y和控制器θx,y。所述Convs是四个3×3卷积层。控制器
Figure BDA0003374264160000042
为每个实例预测动态轮廓学习模块的卷积核参数即权重和偏差。分类器px,y预测位置(x,y)处目标的类别概率。控制器θx,y为每个实例预测掩码模块的卷积核参数即权重和偏差。
S14：干扰抑制模块，使船舶实例分割网络更加注重有效信息特征，抑制海雾对分割船舶的干扰。
干扰抑制模块分别从像素和通道两方面提取有效特征。如图2所示，首先，在像素特征提取方面对特征金字塔的每个输出层{P4,P5,P6}使用1×1卷积操作，将通道数从256减少为128。然后分别连接像素特征提取模块(PFE)。 PFE由用于重塑特征的两个1×1卷积及两个激活函数relu和sigmoid组成。输出
Figure BDA0003374264160000043
的通道数为128，输入和输出的融合操作x是逐元素相乘。所有特征图被上采样以匹配
Figure BDA0003374264160000044
的输出分辨率。最后，
Figure BDA0003374264160000045
使用逐像素相加融合以合并来自不同级别的信息。
其次，通道特征提取方面先利用
Figure BDA0003374264160000046
进行3×3卷积运算得到F1。使用一个大卷积核5×5获得更大的感受野特征F2。利用全局平均池化操作将全局空间信息压缩到一个通道中。两个全连接层为每个通道生成一组调制权重F3来重新匹配通道信息。F4和F1在通道上实现连接操作，输出通道为256。Conv1×1卷积进行通道降维，从256降到128。干扰抑制模块的最终输出特征为FIR。
S15：轮廓分支，用于提取轮廓特征作为动态轮廓学习模块的输入。
轮廓分支由四个3×3的卷积组成，连接一个特征融合模块来融合轮廓特征Fcontour和掩模特征Fmask。Fcontour可以为掩码提供精确的整体信息特征来帮助有雾场景中的船舶获得更完整的分割。所述掩码特征Fmask作为掩码模块的输入来预测所需的实例掩码。
S16：分割网络，用于动态预测每个实例的掩码和轮廓。
分割网络包括掩码模块和动态轮廓学习模块。掩码模块与掩码分支结合动态预测每个实例的掩码，它由三个1×1的8通道卷积层堆叠而成。动态轮廓学习模块与掩码模块并行连接以输出每个对象的轮廓。所述动态轮廓学习模块由三个1×1的8通道卷积组成，结合上述轮廓分支使用动态卷积来学习模糊船舶的轮廓并辅助雾天场景中的掩码预测。这里动态轮廓学习模块仅用作辅助主网络的训练并不参与最终测试。
S2：训练雾天船舶实例分割网络；
S21：设计损失函数，用于优化雾天船舶实例分割网络的训练。
损失函数为L＝Lfcos+Lmask+λLcontour，其中Lfcos、Lmask和Lcontour分别表示Fcos损失、掩码损失和轮廓损失。λ表示Lcontour的权重系数，经过实验验证设置为1。
轮廓损失为Lcontour(pb，gb)＝Ldice(pb，gb)+LBCE(pb，gb)，其中Ldice表示 Dice损失和LBCE是二值交叉熵损失，gb是轮廓真实结果，由拉普拉斯算子基于掩码真实结果生成。pb是轮廓预测结果，
Figure BDA0003374264160000051
其中DCLM 表示动态轮廓学习模块，
Figure BDA0003374264160000052
是轮廓特征，
Figure BDA0003374264160000053
是动态轮廓学习模块的卷积参数。
S22：建立海上雾天船舶实例分割数据集，用于网络训练。
考虑到大雾天气下海洋数据的稀缺性，采用雾天图像模拟方法进行数据扩展。该方法在真实的海洋图像上生成模拟雾。按照这种方式，建立一个用于雾场景中的船舶实例分割数据集，命名为Foggy ShipInsseg数据集。Foggy ShipInsseg数据集包含5739张雾天图像和10900个精细实例掩码注释，分为Fog-Train、 Fog-Test和Real-Fog三个子数据集。其中Fog-Train包含604幅的真实雾天图像和3，447幅模拟雾天图像。实例总数为10900个，小、中、大目标的数量分别为2619、3462和4819。
这里真实的海洋图像是天气晴朗的海上场景，包括了不同类型和数量船只的真实分布。Foggy ShipInsseg数据集使用Labelme标记工具来标记船舶的实例掩码，利用不同颜色的多边形区分不同船舶如图3所示。
实验中使用Fog-Train数据集训练实例分割网络，在Fog-Test和Real-Fog 上测试模型。此外，Foggy ShipInsseg还适用于雾天场景的船舶检测。
S3：测试雾天船舶实例分割效果；
将待测试的Fog-Test和Real-Fog数据集图像输入已经训练好的雾天船舶实例分割模型，得到船舶分割结果。
图4为对比不同实例分割方法的分割结果，图4(1)是输入图像，图4(2) 是真实结果，图4(3)和图4(4)分别是CondInst和使用本发明的结果。结果表示CondInst无法检测和分割密集的雾天模糊船舶。使用本发明的方法减少了船舶漏检，可以提升在雾天场景中船舶的分割准确度。
本发明利用干扰抑制模块从像素和通道中提取重要特征并减少雾天对船舶分割造成的干扰，以动态方式学习轮廓信息辅助预测雾天船舶的掩码。本发明在一定程度上减少了船舶漏检，可以准确分割雾天场景的船舶。

Claims (3)

1.一种基于干扰抑制和动态轮廓的雾天场景船舶实例分割方法，其特征是：包括以下步骤：
步骤1：建立雾天场景下船舶实例分割网络
所述雾天场景下船舶实例分割网络包括特征提取网络，参数生成网络，干扰抑制模块，轮廓分支和分割网络。
所述特征提取网络使用深层残差卷积网络输出不同尺寸的特征进行高层与低层特征的融合构成特征金字塔。
所述参数生成网络是分别连接在特征金字塔的不同输出特征图上进行参数预测，保证了多尺度目标的分割精度。参数生成网络由3组并行的Convs卷积层组成，输出为控制器
Figure FDA0003374264150000011
分类器ox，y和控制器θx，y。
所述干扰抑制模块，使船舶实例分割网络更加注重有效信息特征，抑制海雾对分割船舶的干扰。干扰抑制模块分别从像素和通道两方面提取有效特征，输出结果为FIR。
所述轮廓分支，用于提取轮廓特征作为动态轮廓学习模块的输入。轮廓分支由四个3×3的卷积组成，连接一个特征融合模块来融合轮廓特征Fcontour和掩模特征Fmask。
所述分割网络，用于动态预测每个实例的掩码和轮廓。分割网络包括掩码模块和动态轮廓学习模块，均由三个1×1的8通道卷积组成。动态轮廓学习模块仅用作辅助主网络的训练并不参与最终测试。同时结合所述轮廓分支使用动态卷积来学习模糊船舶的轮廓并辅助雾天场景中的掩码预测。
步骤2：训练雾天船舶实例分割网络
设计损失函数用于优化雾天船舶实例分割网络的训练。
所述损失函数为L＝Lfcos+Lmask+λLcontour，其中Lcontour(pb，gb)＝Ldice(pb，gb)+LBCE(pb，gb)。Lfcos、Lmask和Lcontour分别表示Fcos损失、掩码损失和轮廓损失。λ表示Lcontour的权重系数，设置为1。Ldice表示Dice损失和LBCE是二值交叉熵损失，gb是轮廓真实结果，pb是轮廓预测结果。
建立海上雾天船舶实例分割数据集Foggy ShipInsseg用于网络训练。
所述Foggy ShipInsseg数据集包含5739张雾天图像和10900个精细实例掩码注释，分为Fog-Train、Fog-Test和Real-Fog三个子数据集。海上雾天船舶数据采用雾天图像模拟方法进行数据扩展。该方法在真实的海洋图像上生成模拟雾。数据集包括了真实雾天图像和模拟雾天图像。
步骤3：测试雾天船舶实例分割效果
将待测试的Fog-Test和Real-Fog数据集图像输入已经训练好的雾天船舶实例分割模型，得到船舶分割结果。
2.根据权利要求1所述的一种基于干扰抑制和动态轮廓的雾天场景船舶实例分割方法，其特征在于是：所述特征提取网络的特征金字塔为Resnet-50-FPN和Resnet-101-FPN。
3.根据权利要求1所述的一种基于干扰抑制和动态轮廓的雾天场景船舶实例分割方法，其特征在于是：所述损失函数中
Figure FDA0003374264150000021
其中DCLM表示动态轮廓学习模块，
Figure FDA0003374264150000022
是轮廓特征，
Figure FDA0003374264150000023
是动态轮廓学习模块的卷积参数。
CN202111411500.0A 2021-11-25 2021-11-25 一种基于干扰抑制和动态轮廓的雾天场景船舶实例分割方法 Pending CN114219989A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111411500.0A CN114219989A (zh) 2021-11-25 2021-11-25 一种基于干扰抑制和动态轮廓的雾天场景船舶实例分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111411500.0A CN114219989A (zh) 2021-11-25 2021-11-25 一种基于干扰抑制和动态轮廓的雾天场景船舶实例分割方法

Publications (1)

Publication Number Publication Date
CN114219989A true CN114219989A (zh) 2022-03-22

Family

ID=80698431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111411500.0A Pending CN114219989A (zh) 2021-11-25 2021-11-25 一种基于干扰抑制和动态轮廓的雾天场景船舶实例分割方法

Country Status (1)

Country Link
CN (1) CN114219989A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689890A (zh) * 2024-01-09 2024-03-12 哈尔滨工程大学 一种基于晴雾场景的语义分割方法、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689890A (zh) * 2024-01-09 2024-03-12 哈尔滨工程大学 一种基于晴雾场景的语义分割方法、装置及存储介质
CN117689890B (zh) * 2024-01-09 2024-07-02 哈尔滨工程大学 一种基于晴雾场景的语义分割方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN110188705B (zh) 一种适用于车载系统的远距离交通标志检测识别方法
CN108537742B (zh) 一种基于生成对抗网络的遥感图像全色锐化方法
Wan et al. DA-RoadNet: A dual-attention network for road extraction from high resolution satellite imagery
CN111898507A (zh) 一种预测无标签遥感影像地表覆盖类别的深度学习方法
CN110569738B (zh) 基于密集连接网络的自然场景文本检测方法、设备和介质
CN114627360A (zh) 基于级联检测模型的变电站设备缺陷识别方法
CN113569667A (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN106295613A (zh) 一种无人机目标定位方法及系统
CN112396607A (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN112785526B (zh) 一种用于图形处理的三维点云修复方法
CN111553869B (zh) 一种空基视角下的生成对抗网络图像补全方法
CN105528575A (zh) 基于上下文推理的天空检测算法
CN111768415A (zh) 一种无量化池化的图像实例分割方法
CN117037119A (zh) 基于改进YOLOv8的道路目标检测方法及系统
CN116665176A (zh) 一种面向车辆自动驾驶的多任务网络道路目标检测方法
Sun et al. IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes
CN114821609A (zh) 一种基于几何先验和知识图谱的自然场景文本识别方法
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN116091764A (zh) 一种基于融合变换网络的云图像分割方法
CN116740516A (zh) 基于多尺度融合特征提取的目标检测方法及系统
Zuo et al. A remote sensing image semantic segmentation method by combining deformable convolution with conditional random fields
CN116596966A (zh) 一种基于注意力和特征融合的分割与跟踪方法
CN114219989A (zh) 一种基于干扰抑制和动态轮廓的雾天场景船舶实例分割方法
CN117727046A (zh) 新型山洪前端仪器仪表读数自动识别方法及系统
CN117523394A (zh) 一种基于聚合特征增强网络的sar船舰检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Sun Yuxin

Inventor after: Su Li

Inventor after: Yuan Shouzheng

Inventor before: Su Li

Inventor before: Yuan Shouzheng