CN113920127B - 一种训练数据集独立的单样本图像分割方法和系统 - Google Patents

一种训练数据集独立的单样本图像分割方法和系统 Download PDF

Info

Publication number
CN113920127B
CN113920127B CN202111253132.1A CN202111253132A CN113920127B CN 113920127 B CN113920127 B CN 113920127B CN 202111253132 A CN202111253132 A CN 202111253132A CN 113920127 B CN113920127 B CN 113920127B
Authority
CN
China
Prior art keywords
network model
branch network
segmentation
training
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111253132.1A
Other languages
English (en)
Other versions
CN113920127A (zh
Inventor
陈琼
杨咏
冼进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202111253132.1A priority Critical patent/CN113920127B/zh
Publication of CN113920127A publication Critical patent/CN113920127A/zh
Application granted granted Critical
Publication of CN113920127B publication Critical patent/CN113920127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种训练数据集独立的单样本图像分割方法和系统，包括建立训练数据和测试数据，两个数据来自不同的数据集，训练数据和测试数据均划分为支持集和查询集；构建分割分支网络模型和分布对齐分支网络模型；训练分割分支网络模型及分布对齐分支网络模型；利用训练好的分割分支网络模型对测试数据类别进行预测。本方法训练的深度网络能解决单样本图像分割中训练数据集和测试数据集分布差异大的情况，并且进一步提升分割性能。

Description

一种训练数据集独立的单样本图像分割方法和系统
技术领域
本发明涉及语义分割领域，具体涉及一种训练数据集独立的单样本图像分割方法和系统。
背景技术
传统的利用深度学习的语义分割方法，均采用全卷积网络的结构，并且已经能够取得比较好的分割结果，但是基于全卷积结构的模型需要大量的带标签数据才可以得到令人满意的效果。然而，现实生活中，带标签的语义分割数据是非常昂贵的，这需要消耗人力去仔细的标注像素级别的标签。并且，对于某些领域，如医学领域，由于隐私问题和罕见病等情况的存在，导致可使用的样本数量非常稀缺。虽然已经有一些工作来解决这些问题，例如弱监督语义分割，但是仍然需要大量的相关弱标签数据来训练模型。除此以外，使用大量数据训练好的语义分割模型很难泛化到训练中未见过的类别。直接使用Finetuning策略也需要大量的标注标签。这些原因制约了语义分割在一些领域的应用。
针对上述问题，小样本分割被提出。小样本分割的目的是用少量的带标签样本对图像中的所有像素进行分类。小样本分割任务将数据分为支持集和查询集。通过支持集中的少量样本信息来指导查询集图片中目标类别像素点的预测。由于任务能够使用的目标类别样本数量不足以支持模型的训练，因而当前的小样本分割模型大多利用元学习的思想来训练模型。这种方法引入其他类别(训练类)的带标注样本，通过使用和目标类别(测试类)相同的小样本分割任务设定来训练模型，模型也能在测试时解决目标类别小样本分割任务。
然而，上述场景只是一个理想的情况。这些方法中用于训练和测试的训练类和测试类都来自同一个数据集，如PASCAL VOC2012或MSCOCO。当我们利用自然数据集作为训练类，其他分布非常不同的数据集作为测试类(例如，医学数据集)时，模型会出现较大的性能下降问题。在这种情况下，人们要对任意一个目标类别建立小样本分割模型，就需要事先采集大量与目标数据集分布相同或相近的数据作为训练数据。例如，如果目标数据集是CT肺叶图像，我们可能需要在其他器官的CT数据上训练模型，让网络适应这种图片结构的分布情况。这无疑是费时费力的。由于目前的模型没有考虑训练数据集和目标数据集的差异，因此这些模型在预测目标数据集时存在显著的性能退化。
发明内容
为了克服现有技术存在的缺点与不足，本发明提供一种训练数据集独立的单样本图像分割方法和系统。
本发明采用如下技术方案：
一种训练数据集独立的单样本图像分割方法，包括：
S1建立训练数据和测试数据，两个数据来自不同的数据集，训练数据和测试数据均划分为支持集和查询集；
本方法针对训练数据和测试数据数据分布差距大的情况，选定的训练数据和测试数据来自不同的数据集，具有分布差异。按照元学习的思想，进一步将训练数据和测试数据均划分为支持集和查询集，并且训练数据的支持集中还包括不带标签的测试数据图片，用于两个数据的分布对齐。
进一步如下：两个具有域间差异的数据集Dtrain,Dtest。先将Dtest分为两部分，一部分用来测试，另一部分/>用在训练阶段。
再从上述三个集合中多次抽取支持集-查询集对组成训练集Ctrain和测试集Ctest。 S代表支持集、Q代表查询集，N代表多组，为常数。
对于训练集Ctrain的支持集Si包括：一张来自Dtrain的支持图片strain、一张对应的支持图片标签一张来自/>的图片s′traim。查询集Qi包括：一张来自Dtrain的图片qtrain、一张对应的图片标签/>(用来计算交叉熵函数)。；对于测试集Ctest的支持集Si包括：一张来自/>的支持图片stest、一张对应的支持图片标签/>查询集Qi包括：一张来自/>的图片qtest、一张对应的图片标签/>用来评估模型性能。
S2构建分割分支网络模型和分布对齐分支网络模型。
确定深度网络结构，本方法采用ResNet50卷积神经网络。
分割分支网络模型为基于类原型的单样本图像分割网络，包括骨干网络及基于余弦相似度的分类器。
所述分布对齐分支网络模型为基于生成-对抗机制的网络结构，包括骨干网络及判别器。
S3训练分割分支网络模型和分布对齐分支网络模型。
所述训练分割分支网络模型包括
将训练数据中支持集和查询集的有标签图片和对应的标签输入分割分支网络模型，得到查询集图片的预测图；
利用Gumbel-Softmax方法生成查询集图片的伪标签；
将具有伪标签的查询集替换原始支持集，原始支持集替换原始查询集，再次输入分割分支网络模型，输出原始支持集图片的预测图；
利用两个生成的预测图和交叉熵函数优化分割分支网络模型。
总的损失如下：
L＝LCE(Predq,mq)+λLCE(Preds,ms)；
其中L为总损失，LCE为交叉熵损失函数，Predq,Preds分别为查询图片和支持图片预测图。mq,ms分别为查询图片和支持图片的真实标签。λ为权重因子，固定为0.25。
所述分布对齐分支网络模型包括分割分支中的骨干网络及判别器，所述训练分布对齐分支网络模型的步骤如下：
将训练数据中的无标签的支持集图片和查询集图片输入骨干网络提取支持集特征和查询集特征，并将两个特征输入判别器，得到特征对应的预测值，通过预测值优化分布对齐分支网络。
损失函数为：
其中D代表生成器，Fs,Ft代表训练数据特征和测试数据特征，β固定为10。
进一步，按照数据信号简单描述如下：
训练阶段，分割分支网络模型输入strain、qtrain,/>输出：两张预测图，支持预测图和查询预测图Preds,Predq，用于计算交叉熵函数优化模型。
所述分布对齐网络模型：骨干网络输入：s′train、qtrain输出：特征Ft,Fs。t,s代表target，source目标域和源域。
判别器：输入：Ft,Fs；输出：预测值1*1*1向量表示真或假。
S4利用训练好的分割分支网络模型对测试数据类别进行预测，具体为：
首先经过骨干网络提取查询集和支持集的特征Fq、Fs；
再利用支持集图片标签进行掩膜平均池化得到对应的类原型Pfg,Pbg；
最后，利用基于余玄相似度的分类器对每个像素点进行分类即可。
所述分类具体为：
m′q＝argmax Predq；
其中分别为对前景为背景像素点的预测值，Pfg,Pfg分别为前景和背景的类原型。α为乘积因子，固定为20。m′q为对测试图片的预测结果。
一种单样本图像分割方法的系统，包括：
数据集模块：获得训练数据和测试数据；
构建模块：构建分割分支网络模型和分布对齐分支网络模型；
训练模块：训练分割分支网络模型及分布对齐分支网络模型；
预测模块：利用训练好的分割分支网络模型对测试数据类别进行预测。
本方法，利用少量额外的无标注测试数据和设计好的分布对齐分支网络，来应对单样本图像分割中由于训练数据集和测试数据集分布差异大引起的性能下降问题。同时，借助Gumbel-Softmax技巧，方法中额外设计了一个原型精炼模块来增强类原型的表达能力。使用本方法训练的深度网络能解决单样本图像分割中训练数据集和测试数据集分布差异大的情况，并且进一步提升分割性能。
本发明的有益效果：
(1)传统语义分割模型，需要大量带标签的样本才能达到令人满意的效果。本文提出的方法能够解决带标签样本不足的情况。在仅仅使用少量样本的情况就能达到比较好的分割性能。
(2)现有技术中的小样本分割方法没有考虑训练数据和测试数据分布差异大的情况，导致在这种情况下分割性能下降幅度大且不容易优化。利用分布对齐分支，可以有效的减小训练数据和测试数据之间的分布差异，使得在训练数据上元训练的模型也可以直接运用到测试数据上进行测试。
(3)基于原型网络的小样本分割方法会存在单一类原型表达能力不足的问题，我们提出了基于Gumbel-Softmax方法的原型精炼模块。通过应用额外的分割任务来增强单一类原型的表达能力。这个模块能增强原型的表达能力并且很容易就能应用在其他模型中。
附图说明
图1是本发明的工作流程图；
图2(a)及图2(b)是本发明实施例训练数据实例图；
图2(c)是本发明实施例测试数据实例图；
图3是本发明网络结构示意图；
图4是本发明判别器结构示意图。
具体实施方式
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例
如图1所示，一种训练数据集独立的单样本图像分割方法，包括如下步骤：
S1建立训练数据和测试数据，两个数据来自不同的数据集，训练数据和测试数据均划分为支持集和查询集，两个数据集具有分布差异。
本实施例中采用两个数据集作为模型测试数据集，PASCAL VOC 2012，2D CT肺叶数据集。PASCAL VOC 2012数据集包含1464张训练图片和20个类别的分割标签。CT肺叶数据来自肺结节分析(LUNA)比赛。数据集包含534张2D CT图像和相应的掩码。如图2(a)及图2(b)训练数据来自PASCAL VOC 2012)和图2(c)(测试数据来自CT肺叶数据集)，可以直观的感受两个数据集的差别
S2构建分割分支网络模型和分布对齐分支网络模型
使用卷积神经网络ResNet50作为骨干网络的结构，esNet50采取层次结构，将整个网络分为4个层次。具体的，将第2阶段和第3阶段的特征拼接起来。然后3×3卷积运算将级联特征编码为618维的特征作为骨干网络的输出特征映射。判别器使用全卷积网络结构，输入特征维度为618×41×41，输出预测值维度为1×1×1。整体的网络结构如图3。判别器的结构如图4。
所述分割分支网络模型包括骨干网络及基于余弦相似度的分类器。
所述分布对齐分支网络模型包括骨干网络和判别器。
S3训练网络结构模型。
在训练阶段，输入图像大小为321×321，由主干网络输出的特征图的大小是输入图像的1/8。为训练图像进行随机裁剪和翻转。方法所述的网络是端到端的。训练数据集为PASCAL VOC 2012，测试数据集为2D CT肺叶数据集。分割分支网络使用SGD训练30000次迭代，其中学习率为5e-2，批次大小为1。同时，分布对齐分支网络使用Adam，其中生成器和判别器的学习率分别为1e-3和4e-3。
S4测试阶段
在测试过程中，只使用分割分支网络就可得到最终的结果；具体为，将待测试CT肺叶图片输入分割网络，首先经过骨干网络提取特征，再利用其标签进行掩膜平均池化得到对应的类原型，最后利用基于余玄相似度的分类器对每个像素点进行分类即可。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种训练数据集独立的单样本图像分割方法，其特征在于，包括：
建立训练数据和测试数据，两个数据来自不同的数据集，训练数据和测试数据均划分为支持集和查询集；
构建分割分支网络模型和分布对齐分支网络模型；
训练分割分支网络模型及分布对齐分支网络模型；
利用训练好的分割分支网络模型对测试数据类别进行预测；
所述分割分支网络模型为基于类原型的单样本图像分割网络，分布对齐分支网络模型为基于生成-对抗机制的网络结构；
所述分割分支网络模型包括骨干网络及基于余弦相似度的分类器，训练分割分支网络模型，具体为：
将训练数据中支持集和查询集的有标签图片和对应的标签输入分割分支网络模型，得到查询集图片的预测图；
利用Gumbel-Softmax方法生成查询集图片的伪标签；
将具有伪标签的查询集替换原始支持集，原始支持集替换原始查询集，再次输入分割分支网络模型，输出原始支持集图片的预测图；
利用两个生成的预测图和交叉熵函数优化分割分支网络模型；
所述分布对齐分支网络模型包括分割分支中的骨干网络及判别器，训练分布对齐分支网络模型的步骤如下：
将训练数据中的无标签的支持集图片和查询集图片输入骨干网络提取支持集特征和查询集特征，并将两个特征输入判别器，得到特征对应的预测值，通过预测值优化分布对齐分支网络；
利用训练好的分割分支网络模型对测试数据类别进行预测，具体为：
首先经过骨干网络提取查询集和支持集的特征Fq、Fs；
再利用支持集图片标签进行掩膜平均池化得到对应的类原型Pfg,Pbg；
最后，利用基于余弦相似度的分类器对每个像素点进行分类即可；
所述分类具体为：
m′q＝argmax Predq；
其中分别是特征Fq的前景元素和背景元素的预测值，Predq为查询图片的预测图，Pfg,Pbg分别为前景和背景的类原型，α为乘积因子，固定为20，m′q为对测试图片的预测结果。
2.根据权利要求1所述的单样本图像分割方法，其特征在于，所述训练数据中的支持集还包括测试数据集的无标签图片。
3.根据权利要求1所述的单样本图像分割方法，其特征在于，分割分支网络模型的损失函数如下：
L＝LCE(Predq,mq)+λLCE(Preds,ms)；
其中L为总损失，LCE为交叉熵损失函数，Predq为查询图片的预测图，Preds为支持图片的预测图，mq,ms分别为查询集图片和支持集图片的真实标签，λ为权重因子。
4.根据权利要求1所述的单样本图像分割方法，其特征在于，分布对齐分支网络的损失函数为：
其中D代表骨干网络，Fs,Ft代表训练数据特征和测试数据特征，β为固定值。
5.一种基于权利要求1-4任一项所述的单样本图像分割方法的系统，其特征在于，包括：
数据集模块：获得训练数据和测试数据；
构建模块：构建分割分支网络模型和分布对齐分支网络模型；
训练模块：训练分割分支网络模型及分布对齐分支网络模型；
预测模块：利用训练好的分割分支网络模型对测试数据类别进行预测。
CN202111253132.1A 2021-10-27 2021-10-27 一种训练数据集独立的单样本图像分割方法和系统 Active CN113920127B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111253132.1A CN113920127B (zh) 2021-10-27 2021-10-27 一种训练数据集独立的单样本图像分割方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111253132.1A CN113920127B (zh) 2021-10-27 2021-10-27 一种训练数据集独立的单样本图像分割方法和系统

Publications (2)

Publication Number Publication Date
CN113920127A CN113920127A (zh) 2022-01-11
CN113920127B true CN113920127B (zh) 2024-04-23

Family

ID=79243206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111253132.1A Active CN113920127B (zh) 2021-10-27 2021-10-27 一种训练数据集独立的单样本图像分割方法和系统

Country Status (1)

Country Link
CN (1) CN113920127B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114638839B (zh) * 2022-05-18 2022-09-30 中国科学技术大学 基于动态原型学习的小样本视频目标分割方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
CN112686850A (zh) * 2020-12-24 2021-04-20 上海体素信息科技有限公司 基于空间位置和原型网络的ct图像的少样本分割方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
CN112686850A (zh) * 2020-12-24 2021-04-20 上海体素信息科技有限公司 基于空间位置和原型网络的ct图像的少样本分割方法和系统

Also Published As

Publication number Publication date
CN113920127A (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
Li et al. Bridging composite and real: towards end-to-end deep image matting
CN106547880B (zh) 一种融合地理区域知识的多维度地理场景识别方法
US9558268B2 (en) Method for semantically labeling an image of a scene using recursive context propagation
CN110956185A (zh) 一种图像显著目标的检测方法
CN111767927A (zh) 一种基于全卷积网络的轻量级车牌识别方法及系统
CN114596566B (zh) 文本识别方法及相关装置
CN113239869B (zh) 基于关键帧序列和行为信息的两阶段行为识别方法及系统
CN112801182B (zh) 一种基于困难样本感知的rgbt目标跟踪方法
CN110781850A (zh) 道路识别的语义分割系统和方法、计算机存储介质
Xu et al. Weakly supervised deep semantic segmentation using CNN and ELM with semantic candidate regions
CN115965968A (zh) 基于知识引导的小样本目标检测识别方法
Guo et al. Blind detection of glow-based facial forgery
CN113920127B (zh) 一种训练数据集独立的单样本图像分割方法和系统
Arulananth et al. Semantic segmentation of urban environments: Leveraging U-Net deep learning model for cityscape image analysis
CN114332122A (zh) 基于注意力机制分割并回归的细胞计数方法
CN107239787A (zh) 一种利用多来源数据具有隐私保护功能的图象分类方法
CN115797642B (zh) 基于一致性正则化与半监督领域自适应图像语义分割算法
Qin et al. The application of attention mechanism in semantic image segmentation
An et al. DUFormer: Solving Power Line Detection Task in Aerial Images Using Semantic Segmentation
CN116091775A (zh) 基于多模态和多尺度亲和关系的点云弱监督语义分割方法
Das et al. Object Detection on Scene Images: A Novel Approach
Kawano et al. TAG: Guidance-free Open-Vocabulary Semantic Segmentation
Katayama et al. Domain adaptation through photorealistic enhanced images for semantic segmentation
Manibardo et al. Expert-driven Rule-based Refinement of Semantic Segmentation Maps for Autonomous Vehicles
Wei et al. Segmentation of high-voltage transmission wires from remote sensing images using U-Net with sample generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant