CN113674304A - 一种基于缺陷协同训练和特征融合的水下图像分割算法 - Google Patents

一种基于缺陷协同训练和特征融合的水下图像分割算法 Download PDF

Info

Publication number
CN113674304A
CN113674304A CN202110894075.9A CN202110894075A CN113674304A CN 113674304 A CN113674304 A CN 113674304A CN 202110894075 A CN202110894075 A CN 202110894075A CN 113674304 A CN113674304 A CN 113674304A
Authority
CN
China
Prior art keywords
defect
segmentation
network
main
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110894075.9A
Other languages
English (en)
Other versions
CN113674304B (zh
Inventor
沈薪童
曾少凡
刘瑞
王中帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin Risheng Water Co ltd
Original Assignee
Guilin Risheng Water Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin Risheng Water Co ltd filed Critical Guilin Risheng Water Co ltd
Priority to CN202110894075.9A priority Critical patent/CN113674304B/zh
Publication of CN113674304A publication Critical patent/CN113674304A/zh
Application granted granted Critical
Publication of CN113674304B publication Critical patent/CN113674304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于缺陷协同训练和特征融合的水下图像分割算法，属于图像处理和深度学习技术领域。一种基于缺陷协同训练和特征融合的水下图像分割算法，首先从主分割网络中获得前景和背景的预测，然后从两个分支中提取错误检测区域的引导特征并将其与主分割网络特征融合，引导主分割器完善分割结果，协同训练模型以提高主分割网络分割性能；本发明能够提取图像中的目标，为后续处理做好准备，对整个图像处理的结果意义深远。

Description

一种基于缺陷协同训练和特征融合的水下图像分割算法
技术领域
本发明涉及图像处理和深度学习技术领域，尤其涉及一种基于缺陷协同训练和特征融合的水下图像分割算法。
背景技术
近年来，水下机器人被广泛应用于海洋资源探索等方面，水下图像是认识和分析水下环境的关键工具。海洋环境复杂度多样，多重不利因素如光在水中传输时会受到水的吸收、反射和散射等影响而发生严重的衰减,采集到的水下图像难免会出现可见范围有限、模糊不清、低对比度、非均匀光照、色彩不协调以及噪声等问题。这些特征导致水下图像处理和识别的难度增加。
图像分割是一种基本的计算机视觉技术，是图像识别等高层次视觉技术前的重要步骤，目的是提取图像中的目标，为后续处理做好准备，对整个图像处理的结果意义深远，鉴于此，我们提出了一种基于缺陷协同训练和特征融合的水下图像分割算法。
发明内容
本发明的目的在于提供一种基于缺陷协同训练和特征融合的水下图像分割算法，能够提取图像中的目标，为后续处理做好准备，对整个图像处理的结果意义深远。
为了实现上述目的，本发明采用了如下技术方案：
一种基于缺陷协同训练和特征融合的水下图像分割算法，包括以下步骤：
S1、提出的模型和学习：
S1.1、将粗略的分割结果通过带有矩阵融合的误差网络来完善，直到获得一个满意的分割结果；
S1.2、模型训练：
S1.2.1、取x∈X，分割网络预测同等大小为H×W×O的前景SF(x)和背景SB(x),其中O的值由具体任务定义；
S1.2.2、x和S(x)连接，输入到缺陷检测网络E中，输出同等大小为H×W×1的前景缺陷概率图EF(x，SF(x)和背景缺陷概率图EB(x，SB(x)；
S1.2.3、根据GAN的思想分两步迭代训练模型；
S1.3、固定缺陷检测网络F，训练主分割器，对于有标签的数据，预测的前景SF(x)和背景SB(x)被YF和YB监督为：
Figure BDA0003197147040000021
Figure BDA0003197147040000022
其中，R(-，-)是一个特定任务的约束，(h，w，o)是一个像素索引；
S1.4、通过关注缺陷区域，融合整个图像和错误分割信息，引导主分割器完善结果，提高分割性能；
S2、损失函数：
S2.1、缺陷损失函数LE：
通过平均平方差(MES)对缺陷检测网络E进行训练，其公式为：
Figure BDA0003197147040000031
Figure BDA0003197147040000032
式中，|SF(x)-YF|是缺陷检测网络E的金标准；
S2.2、缺陷修正损失函数LX：
通过缺陷修正损失函数LX修正缺陷检测网络E的不靠谱预测，强迫缺陷概率图中的值变为0，其具体计算公式为：
Figure BDA0003197147040000033
Figure BDA0003197147040000034
通过二进制掩码M(x)对模型中具有不可预测的像素进行启用缺陷修正损失函数LX来修正；
S2.3、总损失函数LTOTAL：
其公式为：
Figure BDA0003197147040000035
式中：K为背景F或背景B，τX和τE是平衡总损失函数LTOTAL的超参数。
优选地，所述S1.1中提到的错略的分割结果由U-net分割网络获得，采用U-net作为主要的分割器，用S表示分割网络，E表示缺陷检测网络，给定一个带有金标准Y的数据集X，根据金标准计算出前景GroundTruth YF和背景GroundTruth YB。
优选地，所述S1.2.2中提到的缺陷检测网络E的目标是学习缺陷概率图EF(x,SF(x)(EB(x,SB(x))，即SF(x)(SB(x)与前景GroundTruth YF(背景GroundTruth YB)之间的差距。
优选地，所述S1.3-S1.4在进行错误预测时，从缺陷网络的编码器中提取特征作为引导特征(GF)(GB)，而不是直接使用误差区域预测EF(x,SF(x)(EB(x,SB(x))，在主分割网络S的编码器的每一层将引导特征(GF)(GB)分别与主分割器特征SF(x)(SB(x))融合，具体来说，包括有以下步骤：
A1、通过元素相乘的方式提取GF和SF(x)(GB和SB(x))共同部分Ms；
A2、通过元素相加的方式将A1中得到的共同部分Ms与原始主分割器特征EF(x,SF(x)(EB(x,SB(x))相结合；
A3、保持错误分割的细节，将主分割特征EF(x,SF(x)(EB(x,SB(x))进一步与缺陷网络的引导特征(GF)(GB)连接，其公式如下：
EF(x,SF(x)＝concat(EF(x,SF(x)+MS，GF)
EB(x,SB(x)＝concat(EB(x,SB(x)+MS,GB)
式中，MS()模块是由卷积块，批量规范和激活函数组合而成。
与现有技术相比，本发明提供了一种基于缺陷协同训练和特征融合的水下图像分割算法，具备以下有益效果：
本发明在公开数据集UIEBD数据集上展现了所提出的模型和方法的高质量结果，该方法能够提取图像中的目标，为后续处理做好准备，对整个图像处理的结果意义深远。
附图说明
图1为本发明提出的一种基于缺陷协同训练和特征融合的水下图像分割算法的框架示意图；
图2为本发明提出的一种基于缺陷协同训练和特征融合的水下图像分割算法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1：
请参阅图1-2，本发明提出的一种基于缺陷协同训练和特征融合的水下图像分割算法，具体实现步骤如下：
S1、提出的模型和学习：
S1.1、粗略的分割结果(由U-net分割网络获得)将通过带有矩阵融合的误差网络等来完善，直到得到一个满意的分割结果。本发明采用U-net(64通道)作为主要的分割器，用S表示分割网络，E表示缺陷检测网络。给定一个带有金标准Y的数据集X，根据金标准计算出前景GroundTruth YF和背景GroundTruth YB。
S1.2、首先，取x∈X，分割网络预测同等大小为H×W×O的前景SF(x)和背景SB(x),其中O的值由具体任务定义的前景SF(x)和背景SB(x)，其中O的值由具体任务定义。然后，x和S(x)连接，输入到缺陷检测网络E中，输出同等大小为H×W×1的前景缺陷概率图EF(x，SF(x)和背景缺陷概率图EB(x，SB(x)，然后根据GAN的思想分两步迭代训练模型。缺陷检测网络E目标是学习缺陷概率图EF(x,SF(x)(EB(x,SB(x))，即SF(x)(SB(x)与前景GroundTruth YF(背景GroundTruth YB)之间的差距。
S1.3、第一步，本发明固定缺陷监测网络F然后训练主分割器。对于有标签的数据，预测的前景SF(x)和背景SB(x)被YF和YB监督为：
Figure BDA0003197147040000061
Figure BDA0003197147040000062
其中R(-，-)是一个特定任务的约束，(h，w，o)是一个像素索引。
S1.4、其次，通过关注缺陷区域，融合整个图像和错误分割信息，引导主分割器完善分割结果，以提高分割性能。然而，不准确的错误预测需要进一步改进，因此，本发明考虑从缺陷网络的编码器中提取特征作为引导特征(GF)(GB)，而不是直接使用误差区域预测EF(x,SF(x)(EB(x,SB(x))，在主分割网络S的编码器的每一层将引导特征(GF)(GB)分别与主分割器特征SF(x)(SB(x))融合。具体来说，它首先通过元素相乘的方式提取和GF和SF(x)(GB和SB(x))共同部分Ms，然后通过元素相加的方式将它们与原始主分割器特征EF(x,SF(x)(EB(x,SB(x))相结合。为了保持错误分割的细节，主分割特征EF(x,SF(x)(EB(x,SB(x))会进一步与缺陷网络的引导特征(GF)(GB)连接。公式可以表示如下：
EF(x,SF(x)＝concat(EF(x,SF(x)+MS，GF)
EB(x,SB(x)＝concat(EB(x,SB(x)+MS,GB)
其中MS()模块是由卷积块，批量规范和激活函数组合而成。
S2、损失函数：
S2.1、缺陷损失函数LE：
缺陷检测网络E是通过平均平方差(MES)来训练的：
Figure BDA0003197147040000071
Figure BDA0003197147040000072
其中|SF(x)-YF|是缺陷检测网络E的金标准。
S2.2、缺陷修正损失LX：
缺陷修正损失试图修正缺陷检测网络E的不靠谱预测，主要思想是强迫缺陷概率图中的值变为0。
即：
Figure BDA0003197147040000073
Figure BDA0003197147040000074
本发明使用一个二进制掩码M(x)来对模型中具有不可靠预测的像素进行启用缺陷修正损失LX修正。
S2.3、总损失函数LTOTAL:
Figure BDA0003197147040000075
其中K为背景F或背景B，τX和τE是平衡总损失函数LTOTAL的超参数。
在公开数据集UIEBD数据集(提供890辐参考图像和相应的高质量参考图像及60幅未提供参考图像的水下图像，场景多样，图像内容具有广泛性，使成对图像能够进行指导图像质量评价和端到端的学习)上展现了所提出的模型和方法的高质量结果。该方法能够提取图像中的目标，为后续处理做好准备，对整个图像处理的结果意义深远。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于缺陷协同训练和特征融合的水下图像分割算法，其特征在于，包括以下步骤：
S1、提出的模型和学习：
S1.1、将粗略的分割结果通过带有矩阵融合的误差网络来完善，直到获得一个满意的分割结果；
S1.2、模型训练：
S1.2.1、取x∈X，分割网络预测同等大小为H×W×O的前景SF(x)和背景SB(x),其中O的值由具体任务定义；
S1.2.2、x和S(x)连接，输入到缺陷检测网络E中，输出同等大小为H×W×1的前景缺陷概率图EF(x，SF(x)和背景缺陷概率图EB(x，SB(x)；
S1.2.3、根据GAN的思想分两步迭代训练模型；
S1.3、固定缺陷检测网络F，训练主分割器，对于有标签的数据，预测的前景SF(x)和背景SB(x)被YF和YB监督为：
Figure FDA0003197147030000011
Figure FDA0003197147030000012
其中，R(-，-)是一个特定任务的约束，(h，w，o)是一个像素索引；
S1.4、通过关注缺陷区域，融合整个图像和错误分割信息，引导主分割器完善结果，提高分割性能；
S2、损失函数：
S2.1、缺陷损失函数LE：
通过平均平方差(MES)对缺陷检测网络E进行训练，其公式为：
Figure FDA0003197147030000021
Figure FDA0003197147030000022
式中，|SF(x)-YF|是缺陷检测网络E的金标准；
S2.2、缺陷修正损失函数LX：
通过缺陷修正损失函数LX修正缺陷检测网络E的不靠谱预测，强迫缺陷概率图中的值变为0，其具体计算公式为：
Figure FDA0003197147030000023
Figure FDA0003197147030000024
通过二进制掩码M(x)对模型中具有不可预测的像素进行启用缺陷修正损失函数LX来修正；
S2.3、总损失函数LTOTAL：
其公式为：
Figure FDA0003197147030000025
式中：K为背景F或背景B，τX和τE是平衡总损失函数LTOTAL的超参数。
2.根据权利要求1所述的一种基于缺陷协同训练和特征融合的水下图像分割算法，其特征在于：所述S1.1中提到的错略的分割结果由U-net分割网络获得，采用U-net作为主要的分割器，用S表示分割网络，E表示缺陷检测网络，给定一个带有金标准Y的数据集X，根据金标准计算出前景GroundTruth YF和背景GroundTruth YB。
3.根据权利要求1所述的一种基于缺陷协同训练和特征融合的水下图像分割算法，其特征在于：所述S1.2.2中提到的缺陷检测网络E的目标是学习缺陷概率图EF(x,SF(x)(EB(x,SB(x))，即SF(x)(SB(x)与前景GroundTruth YF(背景GroundTruth YB)之间的差距。
4.根据权利要求1所述的一种基于缺陷协同训练和特征融合的水下图像分割算法，其特征在于：所述S1.3-S1.4在进行错误预测时，从缺陷网络的编码器中提取特征作为引导特征(GF)(GB)，而不是直接使用误差区域预测EF(x,SF(x)(EB(x,SB(x))，在主分割网络S的编码器的每一层将引导特征(GF)(GB)分别与主分割器特征SF(x)(SB(x))融合，具体来说，包括有以下步骤：
A1、通过元素相乘的方式提取GF和SF(x)(GB和SB(x))共同部分Ms；
A2、通过元素相加的方式将A1中得到的共同部分Ms与原始主分割器特征EF(x,SF(x)(EB(x,SB(x))相结合；
A3、保持错误分割的细节，将主分割特征EF(x,SF(x)(EB(x,SB(x))进一步与缺陷网络的引导特征(GF)(GB)连接，其公式如下：
EF(x,SF(x)＝concat(EF(x,SF(x)+MS，GF)
EB(x,SB(x)＝concat(EB(x,SB(x)+MS,GB)
式中，MS()模块是由卷积块，批量规范和激活函数组合而成。
CN202110894075.9A 2021-08-05 2021-08-05 一种基于缺陷协同训练和特征融合的水下图像分割方法 Active CN113674304B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110894075.9A CN113674304B (zh) 2021-08-05 2021-08-05 一种基于缺陷协同训练和特征融合的水下图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110894075.9A CN113674304B (zh) 2021-08-05 2021-08-05 一种基于缺陷协同训练和特征融合的水下图像分割方法

Publications (2)

Publication Number Publication Date
CN113674304A true CN113674304A (zh) 2021-11-19
CN113674304B CN113674304B (zh) 2024-07-19

Family

ID=78541462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110894075.9A Active CN113674304B (zh) 2021-08-05 2021-08-05 一种基于缺陷协同训练和特征融合的水下图像分割方法

Country Status (1)

Country Link
CN (1) CN113674304B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084234A (zh) * 2019-03-27 2019-08-02 东南大学 一种基于实例分割的声呐图像目标识别方法
CN110853070A (zh) * 2019-11-11 2020-02-28 山东科技大学 基于显著性与Grabcut的水下海参图像分割方法
CN112529081A (zh) * 2020-12-11 2021-03-19 大连大学 基于高效注意力校准的实时语义分割方法
CN112526524A (zh) * 2020-12-09 2021-03-19 青岛澎湃海洋探索技术有限公司 一种基于前视声纳图像和auv平台的水下渔网检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084234A (zh) * 2019-03-27 2019-08-02 东南大学 一种基于实例分割的声呐图像目标识别方法
CN110853070A (zh) * 2019-11-11 2020-02-28 山东科技大学 基于显著性与Grabcut的水下海参图像分割方法
CN112526524A (zh) * 2020-12-09 2021-03-19 青岛澎湃海洋探索技术有限公司 一种基于前视声纳图像和auv平台的水下渔网检测方法
CN112529081A (zh) * 2020-12-11 2021-03-19 大连大学 基于高效注意力校准的实时语义分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MD JAHIDUL ISLAM等: "Semantic Segmentation of Underwater Imagery: Dataset and Benchmark", 《2020 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》, pages 1769 - 1776 *
QI QI等: "Underwater Image Co-Enhancement With Correlation Feature Matching and Joint Learning", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO 》, pages 1133 - 1147 *
徐灵丽等: "基于增强色调特征的涵洞裂缝缺陷分割算法", 《激光与光电子学进展》, pages 1 - 8 *

Also Published As

Publication number Publication date
CN113674304B (zh) 2024-07-19

Similar Documents

Publication Publication Date Title
CN114419323B (zh) 基于跨模态学习与领域自适应rgbd图像语义分割方法
CN114549574A (zh) 一种基于掩膜传播网络的交互式视频抠图系统
CN112069884A (zh) 一种暴力视频分类方法、系统和存储介质
CN114549985A (zh) 一种基于自监督对比学习的目标检测方法及系统
CN115273154B (zh) 基于边缘重构的热红外行人检测方法、系统及存储介质
CN114663371A (zh) 基于模态独有和共有特征提取的图像显著目标检测方法
CN113657115A (zh) 一种基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法
CN114897738A (zh) 一种基于语义不一致性检测的图像盲修复方法
CN113139502A (zh) 无监督视频分割方法
CN115049921A (zh) 基于Transformer边界感知的光学遥感图像显著目标检测方法
CN116038147A (zh) 激光金属切割机及其控制方法
Su et al. Physical model and image translation fused network for single-image dehazing
CN114332122A (zh) 基于注意力机制分割并回归的细胞计数方法
CN110942463B (zh) 一种基于生成对抗网络的视频目标分割方法
CN113159071A (zh) 一种跨模态图像-文本关联异常检测方法
CN113674304A (zh) 一种基于缺陷协同训练和特征融合的水下图像分割算法
CN116452472A (zh) 基于语义知识引导的低照度图像增强方法
CN114882328B (zh) 一种联合可见光图像和红外图像的目标检测方法
CN116385293A (zh) 基于卷积神经网络的雾天自适应目标检测方法
WO2023092582A1 (en) A scene adaptive target detection method based on motion foreground
CN115761438A (zh) 一种基于深度估计的显著性目标检测方法
CN115294176A (zh) 一种双光多模型长时间目标跟踪方法、系统及存储介质
CN112487927B (zh) 一种基于物体关联注意力的室内场景识别实现方法及系统
CN114266964A (zh) 一种深度图像引导的电缆管道缺陷检测与定位方法
CN113642498A (zh) 一种基于多层次时空特征融合的视频目标检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant