CN113657393A - 一种形状先验缺失的图像半监督分割方法及系统 - Google Patents

一种形状先验缺失的图像半监督分割方法及系统 Download PDF

Info

Publication number
CN113657393A
CN113657393A CN202110936297.2A CN202110936297A CN113657393A CN 113657393 A CN113657393 A CN 113657393A CN 202110936297 A CN202110936297 A CN 202110936297A CN 113657393 A CN113657393 A CN 113657393A
Authority
CN
China
Prior art keywords
segmentation
supervised
semi
network
candidate region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110936297.2A
Other languages
English (en)
Other versions
CN113657393B (zh
Inventor
宁阳
聂秀山
袭肖明
郭杰
尹义龙
张彩明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jianzhu University
Original Assignee
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jianzhu University filed Critical Shandong Jianzhu University
Priority to CN202110936297.2A priority Critical patent/CN113657393B/zh
Publication of CN113657393A publication Critical patent/CN113657393A/zh
Application granted granted Critical
Publication of CN113657393B publication Critical patent/CN113657393B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种形状先验缺失的图像半监督分割方法及系统，包括：针对形状先验缺失的图像，获得候选区域；基于上述候选区域，利用分割网络将N个空间像素映射到K个关键因子的再重建回N个空间像素的方式来捕获分割目标的长距离依赖，其中K远小于N，同时，捕获有利于边界分割的短距离依赖，利用长距离依赖及短距离依赖输出对候选区域非本地语义上下文聚合；针对候选区域非本地语义上下文聚合结果，对形状几何先验敏感的半监督对抗学习：使用评估网络通过半监督对抗学习的方式对无标签数据的潜在有用信息进行挖掘，以激励分割网络输出精确的分割结果。

Description

一种形状先验缺失的图像半监督分割方法及系统
技术领域
本发明属于图像分割处理技术领域，尤其涉及一种形状先验缺失的图像半监督分割方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
近年来，随着人工智能技术的飞速发展，基于深度学习的方法在诸如图像分类、目标检测和语义分割等领域都取得了巨大的成功。其中的语义分割任务旨在为图像中的每个像素分配一个语义标签，其对于自动驾驶、计算机辅助诊断、虚拟现实和图像编辑等各种具有挑战性的应用至关重要。
目前，虽然一些基于深度学习的全监督方法在语义分割任务上取得了显著的进步，但它们通常需要大量的训练数据。与图像分类和目标检测不同，语义分割需要对每张训练图像进行准确的逐像素标注，这无疑会花费大量的费用和时间。值得注意的是，在一些特殊的领域，例如医学图像领域，由于图像的数量较少且通常需要大量的专业知识才能完成标注，因此大量存在的图像中只有少量被良好地标记，这无疑增大了图像分割在该领域的难度。另外，由于一些被分割对象通常具有较小的尺寸，例如城市图像中远处的车辆和红绿灯，以及缺少对形状的先验知识，例如医学图像中的胰腺器官，其通常具有较高的解剖学变异性，那么如何充分挖掘图像中的潜在有用信息并提取有用的特征来提升图像的分割精度显得至关重要。
发明内容
为克服上述现有技术的不足，本发明提供了一种形状先验缺失的图像半监督分割方法，可以进一步提升分割算法的精度。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
第一方面，公开了一种形状先验缺失的图像半监督分割方法，包括：
针对形状先验缺失的图像，获得候选区域；
基于上述候选区域，利用分割网络捕获分割目标的长距离依赖，同时，捕获有利于边界分割的短距离依赖，利用长距离依赖及短距离依赖输出对候选区域非本地语义上下文聚合；
针对候选区域非本地语义上下文聚合结果，对形状几何先验敏感的半监督对抗学习：使用评估网络通过半监督对抗学习的方式对无标签数据的潜在有用信息进行挖掘，以激励分割网络输出精确的分割结果。
进一步的技术方案，获得候选区域时，通过调整区域推荐网络的原始编码坐标，以构造对面积敏感的区域推荐网络来生成候选区域。
进一步的技术方案，调整区域推荐网络的原始编码坐标时，基于动态调整参数、边界框的宽度和高度来对输入分割目标的面积进行调整。
进一步的技术方案，分割网络通过引入图像空间分辨率的比例调节因子修正注意力机制的计算流程。
进一步的技术方案，分割网络中，针对候选区域，基于希尔伯特空间填充曲线获得一维序列化后的图像块，利用一组LSTM模块对其进行建模以捕获有利于边界分割的短距离依赖。
进一步的技术方案，基于有标签数据的分割约束和形状约束SDM，使AN通过半监督对抗学习的方式对无标签数据的潜在有用信息进行挖掘。
进一步的技术方案，对形状几何先验敏感的半监督对抗学习，具体为：
形状约束SDM用于描述从每个点到对象边界的距离信息；
通过将分割损失、SDM损失和评估损失进行结合，构造多任务半监督混合损失函数；
对多任务损失的分割损失，构造基于DICE损失和α平衡的Focal损失来使模型更好地学习形状先验缺失的目标与其上下文信息之间的差异；
定义多任务损失的SDM损失，对评估损失使用二元交叉熵损失来对其进行优化。
进一步的技术方案，基于半监督对抗学习来实现对多任务网络SN(SegmentationNetwork，SN)和评估网络AN(Assessment Network，AN)的交替训练；
经过一定的训练次数或者SN的分割精度达到一定的阈值，半监督对抗训练终止。
第二方面，公开了一种形状先验缺失的图像分割系统，包括：
候选区域获取模块，被配置为：针对形状先验缺失的图像，获得候选区域；
非本地语义上下文聚合模块，被配置为：基于上述候选区域，利用分割网络捕获分割目标的长距离依赖，同时，捕获有利于边界分割的短距离依赖，利用长距离依赖及短距离依赖输出对候选区域非本地语义上下文聚合；
半监督对抗学习模块，被配置为：针对候选区域非本地语义上下文聚合结果，对形状几何先验敏感的半监督对抗学习：使用评估网络通过半监督对抗学习的方式对无标签数据的潜在有用信息进行挖掘，以激励分割网络输出精确的分割结果。
以上一个或多个技术方案存在以下有益效果：
本发明提出的基于半监督对抗学习的形状先验缺失的图像分割对比之前的方法，在图像自动分割方面有优异表现。
首先，本发明将半监督对抗学习用于形状先验缺失的目标自动分割领域的框架。其次，本发明构造了一个鲁棒的非本地上下文聚合模块，该模块不但可以同时对长距离和短距离依赖关系进行捕获以增强特征表示能力，还可以方便地应用于其他图像分割任务。最后，本发明构造了一种对形状几何先验敏感的半监督对抗学习模块，该模块可以对无标记图像的潜在有用信息进行挖掘，并有效减少对大规模标记图像的需求。
本发明能有效解决图像中有标签数据量较少、无标签数据量较多和一些潜在有效信息未被充分挖掘和利用的问题。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明提供的一种基于半监督对抗学习的形状先验缺失的图像分割算法实现形状先验缺失的目标自动分割的网络学习流程示意图；
图2为本发明提供的形状先验缺失的图像分割系统模型框架示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
针对图像的语义分割任务所面临的上述现实问题，如果直接应用大数据驱动的全监督算法来说，显然不是最优的方法。而基于对抗学习的半监督学习算法能更好地应对以上挑战。半监督学习旨在从有限数量的标记数据和任意数量的未标记数据中学习，并且其效果在一定条件下可以与全监督算法相媲美。而借助对抗学习则可以充分挖掘未标记图像中包含的一些对模型的训练过程有益的潜在信息，例如形状先验约束，可以进一步提升分割算法的精度，因此，对不需要大量标记图像但仍可以实现竞争性能的分割模型得到进一步的发展。
半监督学习是一个基本的、具有挑战性的问题，旨在从有限数量的标记数据和任意数量的未标记数据中学习，并且学习效果在一定条件下可以与全监督算法相媲美。这无疑对实际的临床应用具有很大的影响。特别地，基于对抗学习的半监督学习方法凭借其强大的特征表达能力以及泛化能力受到了越来越多的关注，是目前比较火热的研究方向之一。
实施例一
如图1所示，本发明实施例中的一种基于半监督对抗学习的形状先验缺失的图像分割算法实现形状先验缺失的目标自动分割的网络学习过程，包括如下步骤：
步骤(1)：构造对面积敏感的定位算法：基于改进的区域推荐网络来实现对面积感知的定位算法来解决形状先验缺失数据集的类别不均衡问题。然后，基于对该数据集的统计获得大小一致的已处理数据作为后续分割网络的输入；
步骤(2):构造基于平滑扩张卷积的自动编码器模块：通过对数据集的统计，基于平滑扩张卷积来自适应地提取分割目标的特征；
基于最佳感受野提取当前分割目标的特征，在降低模型的计算复杂度的同时，有效解决由传统扩张卷积所引起的“网格效应”；
构造非本地语义上下文聚合模块：首先，将上述提取到的分割目标特征作为输入，并基于改进的空间注意力机制在学习输入特征长依赖关系的同时有效降低模型的计算复杂度；同时，基于希尔伯特空间填充曲线来学习输入特征分块间的短依赖关系；其次，基于聚合模块将上述两种依赖关系融合为增强后的特征作为输出，使SN能同时对分割目标的长依赖和短依赖关系进行建模；
步骤(3):构造对形状几何先验敏感的半监督对抗学习模块：首先，提取分割目标的形状几何先验信息，并将融合几何先验信息的有标签数据和无标签数据的分割结果作为输入；其次，基于半监督对抗学习进行迭代训练，既先基于AN对融合几何先验信息的有标签数据和无标签数据的分割结果进行分辨，再基于SN输出新的分割预测和SDM预测，并获得新的有标签数据和无标签数据的融合数据；最后，半监督对抗网络停止迭代并达到纳什均衡状态，此时SN网络的输出可作为最终分割预测结果。
计算多任务分割网络损失：首先，计算Dice损失和α平衡的Focal损失，将其进行加权作为分割损失；其次，计算有符号距离场(Signed Distance Map，SDM)损失；最后，将分割损失和SDM损失的加权和作为多任务学习网络SN的总损失；
计算评估网络损失：计算二进制交叉熵损失来对有标签图像和无标签图像的分割结果进行评估，以实现半监督对抗训练；
步骤(4)：网络训练：首先，随机初始化多任务学习网络SN的参数，训练AN，使其能够对有标签图像和无标签图像的分割结果进行区分；其次，冻结AN的参数训练SN，使其获得足以以假乱真的分割结果来欺骗AN，同时获得SDM预测结果；最后，经过一定回合的迭代训练，当AN不能对有标签图像和无标签图像的分割结果进行分辨的时候，训练停止并保存网络模型；
步骤(5)：网络预测：忽略AN，直接利用训练好的SN来对输入图像数据进行预测得到分割结果。
具体的步骤为：
上述步骤(1)中：构造对面积敏感的定位算法
首先，通过调整区域推荐网络的原始编码坐标，以构造对面积敏感的区域推荐网络来生成具有近100％召回率的候选区域(前景和背景比例约1：3)以降低分割数据集所面临的类别不均衡问题，区域推荐网络以原始图像为输入，输出粗略定位以后的候选图像用以提升后续SN的分割精度，具体来看，动态面积调整公式如下：
Figure BDA0003212988620000071
其中，η为动态调整参数，w和h分别表示边界框的宽度和高度，s表示输入分割目标的面积，可以用其像素数来近似。
因此，基于η的边界框的修改编码坐标满足下式：
Figure BDA0003212988620000072
Figure BDA0003212988620000073
其中x、y、w和h分别表示边界框的中心坐标、宽度和高度。xa、ya、wa和ha分别表示锚点的中心坐标、宽度和高度。
最后，应用非极大值抑制得到概率最大的候选区域，插值以后作为后续SN的输入。
上述步骤(2):构造非本地语义上下文聚合模块
由于语义分割任务通常需要较大的空间分辨率来维护图像的详细信息，因此较大的矩阵乘法是传统空间注意机制计算复杂度较高的主要原因。传统空间注意力机制的计算流程可以表示为下式：
Figure BDA0003212988620000074
为了降低空间注意力机制计算复杂度，首先，将此步骤的输入特征的像素数看作N，本发明通过低秩重建的思想将N个空间像素映射到K个关键因子的再重建回N个空间像素的方式来捕获分割目标的长距离依赖，其中K远小于N。通过引入图像空间分辨率的比例调节因子s，新的注意力机制的计算流程被更改为下式：
Figure BDA0003212988620000081
其次，为了获得分割目标更加精确的边界分割结果，本发明基于希尔伯特空间填充曲线获得一维序列化后的图像块，利用一组LSTM模块对其进行建模以捕获有利于边界分割的短距离依赖。
需要说明的是，上述步骤是对上一步的输入特征进行处理，因此此步和上一步两步是并行的。
最后，通过将长距离依赖和短距离依赖进行融合以获得增强后的特征作为输出。
上述步骤(3):构造对形状几何先验敏感的半监督对抗学习模块
为了对分割目标的形状信息进行建模，本发明基于有标签数据的分割约束和形状约束SDM(有符号距离场(Signed Distance Map，SDM))，使AN通过半监督对抗学习的方式对无标签数据的潜在有用信息进行充分挖掘，以激励SN获得更加精确的分割结果。
上述原始数据集是有标签的，对发明来说，将有标签数据划分为训练集和测试集，并假设在训练阶段训练集和测试集的标签分别是可见和不可见的，而在测试阶段，测试集的标签是可见的。
步骤(3-1)：形状约束SDM可用于描述从每个点到对象边界的距离信息，其GT(金标准，(Ground Truth，GT))可以通过下式进行描述：
Figure BDA0003212988620000082
其中x和y分别代表输入图像及其对应目标的边界。Gin、Gout和
Figure BDA0003212988620000086
分别代表目标的外部，内部和边界。
步骤(3-2)：通过将分割损失
Figure BDA0003212988620000083
SDM损失
Figure BDA0003212988620000084
和评估损失
Figure BDA0003212988620000085
进行结合，构造多任务半监督混合损失函数，其被定义如下：
Figure BDA0003212988620000091
其中Sp(x)和Zp(x)分别代表多任务网络SN的分割头部和SDM头部。θs和θa分别代表SN网络和AN网络的训练参数。λ用来平衡分割损失和对抗损失的重要性，且被初始化为1。
步骤(3-3)：对步骤(3-2)的多任务损失的分割损失
Figure BDA0003212988620000092
来说，构造基于DICE损失和α平衡的Focal损失来促使模型更好地学习形状先验缺失的目标与其上下文信息之间的差异，其被定义如下：
Figure BDA0003212988620000093
具体来看，DICE损失
Figure BDA0003212988620000094
被重新设计并被定义如下：
Figure BDA0003212988620000095
其中H和W分别代表输入图像的宽度和高度，yci和
Figure BDA0003212988620000096
分别代表分割GT和预测结果，C代表类别数目。
α平衡的Focal损失
Figure BDA0003212988620000097
则被定义如下：
Figure BDA0003212988620000098
其中α和γ分别用来控制每一个类别和困难分割样本的比重。
步骤(3-4)：对步骤(3-2)的多任务损失的SDM损失
Figure BDA0003212988620000099
来说，为了使模型能够充分挖掘有标签数据和无标签数据的潜在有用信息以获得更加合理的分割结果，其被定义如下：
Figure BDA0003212988620000101
其中zci代表SDM的GT，
Figure BDA0003212988620000102
代表SDM的预测值。
步骤(3-5)：对步骤(3-2)的评估损失
Figure BDA0003212988620000103
来说，本发明使用二元交叉熵损失来对其进行优化，其被定义如下：
Figure BDA0003212988620000104
其中y代表输入图像的GT(无标签图像和有标签图像的分割结果分别是0和1)，
Figure BDA0003212988620000105
代表评估网络AN的预测结果(常量)。
上述步骤(4)中：网络训练
本发明基于半监督对抗学习来实现对多任务网络SN和评估网络AN的交替训练。
步骤(4-1)：对AN的优化通过以下公式进行：
Figure BDA0003212988620000106
通过这一步迭代训练，AN能够对有标签和无标签图像的分割结果进行准确评估。
步骤(4-2)：对SN的优化通过以下公式进行：
Figure BDA0003212988620000107
为了给AN在评估分割质量时提供更强的梯度信号以减少网络收敛时间，上式可改写为如下形式：
Figure BDA0003212988620000111
其中ym是经过独热编码后由0和1组成的向量，分割目标类别为1，背景类别为0。
通过这一步迭代训练，SN的预测结果将会对AN产生欺骗，使其不能对有标签和无标签图像的分割结果进行准确评估。
经过一定的训练次数或者SN的分割精度达到一定的阈值，半监督对抗训练终止。
上述步骤(5)中：网络预测：
输入待测试的图像数据进入已训练好的多任务网络SN并得到预测结果。
如图2所示，对整个基于半监督对抗学习的形状先验缺失的图像分割系统模型框架做解释说明。
图2中所对应的虚线框内系统为主要执行形状先验缺失的图像分割功能的系统模块，主要过程对应于步骤(2)和(3)中的过程。用户输入待测试图像数据(候选区域)进入分割系统，系统内部自动进行编码器非本地特征增强、融合形状先验信息的半监督对抗学习两个过程，最后SN输出形状先验缺失的图像分割结果与用户进行交互。
在测试交互阶段，首先，SN只需输出分割预测结果，并不输出SDM预测结果。SDM的相关运算只参与网络的训练，即只在网络的对抗训练中引入无标签图像的几何先验知识以提升SN的分割精度；另外，在此阶段，AN不参与任何运算，因此其不会对网络预测引入额外的计算复杂度。
在该实施例子中，上述方法主要利用的技术为：分割网络(SegmentationNetwork，SN)和评估网络(Assessment Network，AN)。
其中SN主要由两个模块组成：一个基于平滑扩张卷积自动编码器，它不仅有助于消除由广泛使用的扩张卷积而引起的所谓的网格化伪影，而且还可以在不引入额外计算量的情况下引入更大的感受野；一个非本地语义上下文聚合模块，它不仅可以捕获空间维度上的远程上下文依赖性，而且还可以通过聚合丰富的上下文信息来增强相邻图像块之间的空间相关性。
在一实施例子中，AN则由一个对形状几何先验敏感的半监督对抗模块构成，其通过对抗学习的方式将胰腺器官的形状几何先验融入网络的训练过程，能够充分利用和挖掘未标记图像的潜在有用信息来评估SN的分割质量，这使本发明具有了鲁棒的对抗学习能力，可以为未标记胰腺图像产生精确的分割预测。
实施例二
本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
实施例三
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述方法的步骤。
实施例四
本实施例的目的是提供一种形状先验缺失的图像分割系统，包括：
候选区域获取模块，被配置为：针对形状先验缺失的图像，获得候选区域；
非本地语义上下文聚合模块，被配置为：基于上述候选区域，利用分割网络将N个空间像素映射到K个关键因子的再重建回N个空间像素的方式来捕获分割目标的长距离依赖，其中K远小于N，同时，捕获有利于边界分割的短距离依赖，利用长距离依赖及短距离依赖输出对候选区域非本地语义上下文聚合；
半监督对抗学习模块，被配置为：针对候选区域非本地语义上下文聚合结果，对形状几何先验敏感的半监督对抗学习：使用评估网络通过半监督对抗学习的方式对无标签数据的潜在有用信息进行挖掘，以激励分割网络输出精确的分割结果。
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种形状先验缺失的图像半监督分割方法，其特征是，包括：
针对形状先验缺失的图像，获得候选区域；
基于上述候选区域，利用分割网络捕获分割目标的长距离依赖，同时，捕获有利于边界分割的短距离依赖，利用长距离依赖及短距离依赖输出对候选区域非本地语义上下文聚合；
针对候选区域非本地语义上下文聚合结果，对形状几何先验敏感的半监督对抗学习：使用评估网络通过半监督对抗学习的方式对无标签数据的潜在有用信息进行挖掘，以激励分割网络输出精确的分割结果。
2.如权利要求1所述的一种形状先验缺失的图像半监督分割方法，其特征是，获得候选区域时，通过调整区域推荐网络的原始编码坐标，以构造对面积敏感的区域推荐网络来生成候选区域。
3.如权利要求2所述的一种形状先验缺失的图像半监督分割方法，其特征是，调整区域推荐网络的原始编码坐标时，基于动态调整参数、边界框的宽度和高度来对输入分割目标的面积进行调整。
4.如权利要求1所述的一种形状先验缺失的图像半监督分割方法，其特征是，分割网络通过引入图像空间分辨率的比例调节因子修正注意力机制的计算流程。
5.如权利要求1所述的一种形状先验缺失的图像半监督分割方法，其特征是，分割网络中，针对候选区域，基于希尔伯特空间填充曲线获得一维序列化后的图像块，利用一组LSTM模块对其进行建模以捕获有利于边界分割的短距离依赖。
6.如权利要求1所述的一种形状先验缺失的图像半监督分割方法，其特征是，基于有标签数据的分割约束和形状约束SDM，使AN通过半监督对抗学习的方式对无标签数据的潜在有用信息进行挖掘。
7.如权利要求1所述的一种形状先验缺失的图像半监督分割方法，其特征是，对形状几何先验敏感的半监督对抗学习，具体为：
形状约束SDM用于描述从每个点到对象边界的距离信息；
通过将分割损失、SDM损失和评估损失进行结合，构造多任务半监督混合损失函数；
对多任务损失的分割损失，构造基于DICE损失和α平衡的Focal损失来使模型更好地学习形状先验缺失的目标与其上下文信息之间的差异；
定义多任务损失的SDM损失，对评估损失使用二元交叉熵损失来对其进行优化；
优选的，还包括：基于半监督对抗学习来实现对多任务网络SN和评估网络AN的交替训练；
经过一定的训练次数或者SN的分割精度达到一定的阈值，半监督对抗训练终止。
8.一种形状先验缺失的图像分割系统，其特征是，包括：
候选区域获取模块，被配置为：针对形状先验缺失的图像，获得候选区域；
非本地语义上下文聚合模块，被配置为：基于上述候选区域，利用分割网络捕获分割目标的长距离依赖，同时，捕获有利于边界分割的短距离依赖，利用长距离依赖及短距离依赖输出对候选区域非本地语义上下文聚合；
半监督对抗学习模块，被配置为：针对候选区域非本地语义上下文聚合结果，对形状几何先验敏感的半监督对抗学习：使用评估网络通过半监督对抗学习的方式对无标签数据的潜在有用信息进行挖掘，以激励分割网络输出精确的分割结果。
9.一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述权利要求1-7任一所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述权利要求1-7任一所述的方法的步骤。
CN202110936297.2A 2021-08-16 2021-08-16 一种形状先验缺失的图像半监督分割方法及系统 Active CN113657393B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110936297.2A CN113657393B (zh) 2021-08-16 2021-08-16 一种形状先验缺失的图像半监督分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110936297.2A CN113657393B (zh) 2021-08-16 2021-08-16 一种形状先验缺失的图像半监督分割方法及系统

Publications (2)

Publication Number Publication Date
CN113657393A true CN113657393A (zh) 2021-11-16
CN113657393B CN113657393B (zh) 2022-08-30

Family

ID=78480414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110936297.2A Active CN113657393B (zh) 2021-08-16 2021-08-16 一种形状先验缺失的图像半监督分割方法及系统

Country Status (1)

Country Link
CN (1) CN113657393B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309621A (zh) * 2023-03-13 2023-06-23 浙江大学 一种基于符号距离的肝肿瘤分割方法及装置
CN116664845A (zh) * 2023-07-28 2023-08-29 山东建筑大学 基于块间对比注意力机制的智慧工地图像分割方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381831A (zh) * 2020-11-26 2021-02-19 南开大学 基于图像间语义辅助的个性化图像分割方法及系统
CN112861722A (zh) * 2021-02-09 2021-05-28 中国科学院地理科学与资源研究所 一种半监督深度图卷积的遥感土地利用语义分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381831A (zh) * 2020-11-26 2021-02-19 南开大学 基于图像间语义辅助的个性化图像分割方法及系统
CN112861722A (zh) * 2021-02-09 2021-05-28 中国科学院地理科学与资源研究所 一种半监督深度图卷积的遥感土地利用语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宁阳: "基于图像增强和循环对抗学习的自动胰腺分割方法研究", 《中国博士学位论文全文数据库 医药卫生科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309621A (zh) * 2023-03-13 2023-06-23 浙江大学 一种基于符号距离的肝肿瘤分割方法及装置
CN116664845A (zh) * 2023-07-28 2023-08-29 山东建筑大学 基于块间对比注意力机制的智慧工地图像分割方法及系统
CN116664845B (zh) * 2023-07-28 2023-10-13 山东建筑大学 基于块间对比注意力机制的智慧工地图像分割方法及系统

Also Published As

Publication number Publication date
CN113657393B (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN113298818B (zh) 基于注意力机制与多尺度特征的遥感图像建筑物分割方法
US11631239B2 (en) Iterative spatio-temporal action detection in video
Song et al. Seednet: Automatic seed generation with deep reinforcement learning for robust interactive segmentation
CN111259906B (zh) 含多级通道注意力的条件生成对抗遥感图像目标分割方法
Chen et al. Fast vehicle detection algorithm in traffic scene based on improved SSD
Michieli et al. Adversarial learning and self-teaching techniques for domain adaptation in semantic segmentation
Guo et al. Gan-based virtual-to-real image translation for urban scene semantic segmentation
Wan et al. DA-RoadNet: A dual-attention network for road extraction from high resolution satellite imagery
Gao et al. Domain-adaptive crowd counting via high-quality image translation and density reconstruction
Toldo et al. Unsupervised domain adaptation for mobile semantic segmentation based on cycle consistency and feature alignment
Xiao et al. Tiny object detection with context enhancement and feature purification
Li et al. Semantic segmentation of remote sensing images with self-supervised multitask representation learning
CN113657393B (zh) 一种形状先验缺失的图像半监督分割方法及系统
Wang et al. An advanced YOLOv3 method for small-scale road object detection
CN111310609B (zh) 基于时序信息和局部特征相似性的视频目标检测方法
Chen et al. ASF-Net: Adaptive screening feature network for building footprint extraction from remote-sensing images
CN115410081A (zh) 一种多尺度聚合的云和云阴影辨识方法、系统、设备及存储介质
Liu et al. Two-stage underwater object detection network using swin transformer
Sambaturu et al. ScribbleNet: Efficient interactive annotation of urban city scenes for semantic segmentation
Wang et al. Detection and tracking based tubelet generation for video object detection
Zhu et al. CDANet: Contextual detail-aware network for high-spatial-resolution remote-sensing imagery shadow detection
Wang et al. Not just select samples, but exploration: Genetic programming aided remote sensing target detection under deep learning
CN109886984B (zh) 利用前后景灰度差和深度学习网络的图像精确分割方法
Liu et al. Associatively segmenting semantics and estimating height from monocular remote-sensing imagery
Zhang et al. MG-MVSNet: Multiple granularities feature fusion network for multi-view stereo

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211116

Assignee: Shandong Baichuan Intelligent Technology Co.,Ltd.

Assignor: SHANDONG JIANZHU University

Contract record no.: X2023980033538

Denomination of invention: A semi supervised image segmentation method and system with shape prior deletion

Granted publication date: 20220830

License type: Common License

Record date: 20230314