CN115131366A - 基于生成式对抗网络和半监督领域自适应的多模态小目标图像全自动分割方法及系统 - Google Patents

基于生成式对抗网络和半监督领域自适应的多模态小目标图像全自动分割方法及系统 Download PDF

Info

Publication number
CN115131366A
CN115131366A CN202111415766.2A CN202111415766A CN115131366A CN 115131366 A CN115131366 A CN 115131366A CN 202111415766 A CN202111415766 A CN 202111415766A CN 115131366 A CN115131366 A CN 115131366A
Authority
CN
China
Prior art keywords
domain
model
data
image
small target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111415766.2A
Other languages
English (en)
Inventor
王瑜
段逸凡
肖洪兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Technology and Business University
Original Assignee
Beijing Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Technology and Business University filed Critical Beijing Technology and Business University
Priority to CN202111415766.2A priority Critical patent/CN115131366A/zh
Publication of CN115131366A publication Critical patent/CN115131366A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生成式对抗网络和半监督领域自适应的多模态小目标图像全自动分割方法及系统，属于图像处理技术领域。输入待分割多模态小目标图像数据，分割模型利用数据合成框架和半监督学习框架两部分获得：数据合成框架是一个基于端到端的深度神经网络，使用两种数据集通过对抗性损失，保留高频细节，训练生成式对抗网络，生成多模态小目标合成图像；半监督学习框架利用多模态学习和附加模态先验知识的无监督领域自适应方法进行训练，得到全自动分割模型。最后利用分割模型输出分割结果。本发明解决了多模态小目标分割中有标注的数据样本稀缺和高度数据不平衡问题，能够同时利用无标签数据和跨模态数据，提升多模态小目标图像的分割精度。

Description

基于生成式对抗网络和半监督领域自适应的多模态小目标图 像全自动分割方法及系统
技术领域
本发明涉及人工智能与多模态小目标图像处理技术领域，特别涉及一种基于生成式对抗网络和半监督领域自适应的方法对多模态小目标图像进行全自动分割，建立用于多模态小目标图像全自动分割的半监督领域自适应框架与基于生成式对抗网络的数据合成框架，提升多模态小目标图像的分割精度。
背景技术
由于图像的多义性和复杂性，许多分割的工作无法依靠计算机自动完成，而手动分割又存在工作量大，定位不准确的难题，因此，人们提出了一些人工交互与计算机自动定位相结合的方法，利用各自的优势，实现目标轮廓的快速定位。
每一种信息的来源或者形式，都可以称为一种模态。例如，人有触觉、听觉、视觉、嗅觉；信息的媒介，有语音、视频、文字等；多种多样的传感器，如雷达、红外、加速度计等。以上的每一种都可以称为一种模态。多模态转化也称为映射，负责将一个模态的信息转换为另一个模态的信息，旨在学习两个不同视觉域之间的映射，常见的应用包括：机器翻译(machine translation,MT)：将输入的语言A(即时)翻译为另一种语言B。
而在图像到图像的转换中，目标图像生成需要大量成对的训练数据，来降低研究内容中相似性要求的难度，然而成对的数据是很难获得的，有标注的多模态数据更加稀缺，这在训练深度学习模型时引入了重大挑战。
在深度学习目标检测中，由于分辨率低、图像模糊、信息少、噪声多，小目标检测一直是一个实用和常见的难点问题，所谓小目标指的是目标的成像尺寸属性，就是指目标在图像中所占的像素面积小，根据国际光学工程学会(society of photo-opticalinstrumentation engineers，SPIE)的定义，小目标为在256×256的图像中目标面积小于80个像素，即小于256×256的0.12％就为小目标。单是检测就已经很困难，更不用说是进行分割。
直观上，当我们看到一幅图像时，我们首先关注的是图像中比较醒目的图像，一般的，这些醒目的图像往往在图中所占的比例比较大。而小目标往往被我们忽略。数据集中也存在这种情况，很多图像中包含的小物体并没有被标出。另外，小目标所在区域较小，在提取特征的过程中，其提取到的特征非常少，这些都不利于我们对小目标的检测与分割。且深度学习图像分析需要足够的数据量，具有高等级不平衡或变异性不足的数据都很容易导致网络性能较差。
发明内容
为了克服上述现有技术的不足，本发明提出了一种基于生成式对抗网络和半监督领域自适应的多模态小目标图像全自动分割方法与系统，以提升多模态小目标分割的精度。
首先输入待分割多模态小目标图像数据，分割模型利用数据合成框架和半监督学习框架两部分获得：数据合成框架是一个基于端到端的深度神经网络，使用公开数据集训练生成式对抗网络(包括生成模型和判别模型)，利用对抗性损失保留高频细节后的生成模型部分生成新的多模态小目标合成图像；半监督学习部分是一个半监督领域自适应框架，利用多模态学习和附加模态先验知识的无监督领域自适应对半监督学习网络(包括域内教师模型、域间教师模型和学生模型)进行训练，将多模态小目标合成图像作为无标签数据送入域内教师模型，将多模态小目标图像及其标签图像分别送入域间教师模型和学生模型，学生模型通过知识蒸馏和一致性原则分别从域间、域内教师模型获取信息，最后得到全自动分割模型(学生模型)对多模态小目标图像进行全自动分割输出分割结果。本发明解决了多模态小目标分割中有标注的数据样本稀缺和高度数据不平衡问题，能够同时利用无标签数据和跨模态数据，提升最终多模态小目标图像分割的精度。
本发明提供的技术方案如下：
一种基于生成式对抗网络和半监督领域自适应的多模态小目标图像全自动分割方法与系统，其特征在于：首先输入待分割多模态小目标图像数据，分割模型分为基于生成式对抗网络的数据合成框架和基于半监督领域自适应的半监督学习框架两部分，利用数据合成框架通过对抗性损失保留高频细节生成新的多模态小目标合成图像；利用半监督学习框架通过多模态学习和附加模态先验知识的无监督领域自适应对模型进行训练与优化，得到全自动分割模型对多模态小目标图像进行全自动分割输出分割结果，包括以下步骤：
1.将多模态小目标数据集输入数据合成框架，同时训练pGAN网络中的生成模型G和判别模型D，具体包括：
使用pGAN网络学习从源数据到目标对比度的映射，将能清楚描绘小目标图像的模态作为源数据，其他几种模态作为目标对比度数据输入网络。图像到图像的转换涉及相同基础视觉场景的不同表示之间的转换，合成图像对源图像具有统计依赖性。为了更好地捕获这种依赖性，基于以下对抗性损失函数来训练网络：
LcondGAN(G,D)＝Ex,y[logD(x,y)]+Ex,z[log(1-D(x,G(x,z)))] 式1
其中LcondGAN(G,D)为对抗性损失函数，E表示分布函数的期望值，x为源数据，y为目标对比度真实图像数据，z为潜变量(随机噪声)，G(x,z)为从潜变量学习映射后合成的图像数据，D(x,y)为目标对比度真实图像数据在源域上的概率分布，D(x,G(x,z))为合成图像数据在源域上的概率分布。
LL1是像素级L1的损失函数，像素损失的目标函数为：
LL1(G)＝Ex,y,z[‖y-G(x,z)‖1] 式2
由于生成模型G忽略了pGAN中的潜变量，因此使用以下总损失函数进行训练：
LpGAN＝LcondGAN(G,D)+λLL1(G) 式3
其中LpGAN是完整的损失函数，λ是控制像素损失的相对权重的参数。
2.将另外的不含小目标的多模态背景数据集中对应源数据模态图像输入上一步中训练好的生成模型G中进行多模态小目标合成图像的生成。
3.划分三部分数据集，具体包括：
将多模态小目标数据集中的数据取出作为有标签数据集Ds，将多模态小目标数据集中的标签数据取出作为标签数据集Dt，将数据合成框架生成的多模态小目标合成数据作为无标签数据集Du。
4.训练域间教师模型，具体包括：
将有标签数据集Ds输入域间教师模型，在相应标签的监督下，域间教师模型通过
Figure BDA0003375219170000031
(如式4所示)学习源域中的先验知识；
Figure BDA0003375219170000032
其中
Figure BDA0003375219170000033
为域间教师模型损失，Lce和Ldice分别表示交叉熵损失和戴斯损失，
Figure BDA0003375219170000034
表示以Ds作为输入的域间教师预测结果，ys表示Ds中真实的结果。
5.训练域内教师模型，具体包括：
按照与学生模型相同的网络架构设计域内教师模型，将无标签数据集Du输入域内教师模型，训练过程中将权重θ0更新为不同训练步骤中学生模型权重θ的指数移动平均值(exponential moving average,EMA)，在训练步骤t中，域内教师模型的权重θt′应更新为：
θt′＝αθ′t-1+(1-α)θt 式5
其中α是控制更新率的EMA衰减系数。
6.训练学生模型，具体包括：
将标签数据集Dt输入学生模型，通过图像分割损失
Figure BDA0003375219170000041
(如式6所示)对标签进行有监督学习；
Figure BDA0003375219170000042
其中
Figure BDA0003375219170000043
为学生模型损失，
Figure BDA0003375219170000044
表示以Dt作为输入的域内教师预测结果，yt表示Dt中真实的结果。
通过知识蒸馏损失
Figure BDA0003375219170000045
(如式7所示)从域间教师模型获取域间形状先验知识；
Figure BDA0003375219170000046
其中
Figure BDA0003375219170000047
和
Figure BDA0003375219170000048
分别表示域间教师模型和学生模型的预测结果。
通过一致性损失
Figure BDA0003375219170000049
(如式8所示)从域内教师模型获取域内知识；
Figure BDA00033752191700000410
其中Lmse表示均方误差损失，xu为无标签图像数据，f(xu；θ,ξ),f(xu；θ′,ξ′)分别表示学生模型和域内教师模型包含有权重θ和噪声ξ的输出；
最终的学生模型的训练目标为：
Figure BDA00033752191700000411
其中Lstu为学生模型的综合损失，λkd和λcon分别为平衡获取域间形状先验知识和域内知识相对权重的超参数。
7.将待分割图像输入全自动分割模型(训练好的学生模型)进行图像分割，最终输出多模态小目标图像自动分割结果。
与现有技术相比，本发明具有以下技术优势：
(1)使用图像到图像转换的对抗性损失函数来捕获可靠的高频纹理信息，在统一框架中执行多分辨率字典构建和图像合成，获取具有多种不同对比度的相同解剖结构的图像增加了多模态小目标图像中可用信息的多样性。
(2)通过有标签的多对比度图像的像素损失和无标签图像的循环一致性损失提供了增强的合成性能。
(3)将另外的多模态数据集中不含小目标的背景图像用于pGAN多模态小目标合成图像生成中，以保证新生成的多模态小目标合成图像与源数据集之间具有足够的差异性。
(4)不仅通过知识蒸馏嵌入有标签数据的形状先验，同时还对无标签数据进行学习，包括多模态学习的领域自适应和借助来自附加模态的先验知识的无监督领域自适应。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例的整体流程图；
图2为实施例数据合成架构中生成模型的训练过程示意图；
图3为实施例数据合成架构中判别模型的训练过程示意图；
图4为实施例数据合成架构生成多模态小目标合成图像的示意图；
图5为实施例半监督领域自适应架构的训练过程示意图；
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明提出了一种基于生成式对抗网络和半监督领域自适应的多模态小目标图像全自动分割方法与系统，利用生成式对抗网络架构进行多模态小目标合成图像的生成，使用图像到图像转换的对抗性损失函数来捕获可靠的高频纹理信息，将合成的多模态小目标图像输入用于分割的半监督领域自适应框架中进行网络学习与优化；建立用于多模态小目标图像全自动分割的半监督领域自适应框架，有效地利用来自所有三个数据资源的信息并全面整合它们以实现改进的性能，以此提升分割精度。图1是本发明的实施例实现的整体流程图。
以下实施例针对公开数据集BraTS2018、ADNI数据集，进行本发明所提的多模态小目标图像全自动分割方法的图像分割。
1.输入待分割脑肿瘤MRI图像数据
BraTS2018中的训练集(training set)有285个病例，每个病例有四个模态(T1,T2,T1ce,Flair),数据集类型为XX.nii.gz，分别对应T1、T2、T1ce、Flair、Seg，其中Seg是分割图像；图像大小均为(155，240，240)，零填充至(155，256，256)即可。采用SPM工具中的CAT12工具包完成ADNI数据集的去除头骨操作和ANTs SyN非线性配准算法处理。ADNI共有3416对T1加权MRI及其相应的分割组织类图像。
将预处理后的BraTS2018数据集中的四种模态数据(T1,T2,T1ce,Flair)提取出来，输入数据合成框架中的pGAN网络；使用pGAN网络学习从源数据到目标对比度的映射，将能清楚描绘脑部灰色和白色物质组织的T1加权脑部MRI作为源数据，将T2、T1ce以及Flair三种模态脑部MRI作为目标对比度数据输入网络。
为了更好地捕获相同基础视觉场景的不同表示之间的转换图像之间的统计依赖性，基于以下对抗性损失函数来训练网络：
LcondGAN(G,D)＝Ex,y[logD(x,y)]+Ex,z[log(1-D(x,G(x,z)))] 式1
其中LcondGAN(G,D)为对抗性损失函数，E表示分布函数的期望值，x为源数据，y为目标对比度真实图像数据，z为潜变量(随机噪声)，G(x,z)为从潜变量学习映射后合成的图像数据，D(x,y)为目标对比度真实图像数据在源域上的概率分布，D(x,G(x,z))为合成图像数据在源域上的概率分布。
LL1是像素级L1的损失函数，像素损失的目标函数为：
LL1(G)＝Ex,y,z[‖y-G(x,z)‖1] 式2
由于生成模型G忽略了pGAN中的潜变量，因此使用以下总损失函数进行训练：
LpGAN＝LcondGAN(G,D)+λLL1(G) 式3
其中LpGAN是完整的损失函数，λ是控制像素损失的相对权重的参数。
2.生成脑肿瘤合成MRI
如图4所示，将预处理后的ADNI数据集中的T1图像输入步骤1中训练好的生成模型G中进行脑肿瘤合成MRI图像的生成。
3.划分数据集
将BraTS2018数据集中的数据取出作为有标签的源数据集Ds；将BraTS2018数据集中的标签(Seg)取出作为有标签的源数据标签集Dt；最后将生成式对抗网络生成的脑肿瘤合成MRI图像作为无标签的数据集Du。
4.如图5所示，将三个数据集输入半监督领域自适应框架中训练
将有标签数据集Ds输入域间教师模型，在相应标签的监督下，域间教师模型通过
Figure BDA0003375219170000061
(如式4所示)学习源域中的先验知识；
Figure BDA0003375219170000062
其中
Figure BDA0003375219170000063
为域间教师模型损失，Lce和Ldice分别表示交叉熵损失和戴斯损失，
Figure BDA0003375219170000064
表示以Ds作为输入的域间教师预测结果，ys表示Ds中真实的结果。
按照与学生模型相同的网络架构设计域内教师模型，将无标签数据集Du输入域内教师模型，训练过程中将权重θ0更新为不同训练步骤中学生模型权重θ的指数移动平均值(exponential moving average,EMA)，在训练步骤t中，域内教师模型的权重θt′应更新为：
θt′＝αθ′t-1+(1-α)θt 式5
其中α是控制更新率的EMA衰减系数,设置为0.99。
将标签数据集Dt输入学生模型，通过图像分割损失
Figure BDA0003375219170000071
(如式6所示)对标签进行有监督学习；
Figure BDA0003375219170000072
其中
Figure BDA0003375219170000073
为学生模型损失，
Figure BDA0003375219170000074
表示以Dt作为输入的域内教师预测结果，yt表示Dt中真实的结果。
通过知识蒸馏损失
Figure BDA0003375219170000075
(如式7所示)从域间教师模型获取域间形状先验知识；
Figure BDA0003375219170000076
其中
Figure BDA0003375219170000077
和
Figure BDA0003375219170000078
分别表示域间教师模型和学生模型的预测结果。
通过一致性损失
Figure BDA0003375219170000079
(如式8所示)从域内教师模型获取域内知识；
Figure BDA00033752191700000710
其中Lmse表示均方误差损失，xu为无标签图像数据，f(xu；θ,ξ),f(xu；θ′,ξ′)分别表示学生模型和域内教师模型包含有权重θ和噪声ξ的输出；
最终的学生模型的训练目标为：
Figure BDA00033752191700000711
其中Lstu为学生模型的综合损失，λkd和λcon分别为平衡获取域间形状先验知识和域内知识相对权重的超参数。超参数λkd设置为0.1，λcon随时间动态变化：
Figure BDA00033752191700000712
其中t和tmax分别表示当前和最后一个训练时期，tmax设置为50。
5.脑肿瘤图像分割
脑肿瘤全自动分割架构(训练好的学生模型)对待分割图像进行图像分割，最终输出脑肿瘤自动分割结果。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于生成式对抗网络和半监督领域自适应的多模态小目标图像全自动分割方法，其特征在于：分为基于生成式对抗网络的数据合成框架和基于半监督领域自适应的半监督学习框架两部分，利用数据合成框架通过对抗性损失保留高频细节生成新的多模态小目标合成图像；利用半监督学习框架通过多模态学习和附加模态先验知识的无监督领域自适应对模型进行训练与优化，得到全自动分割模型对多模态小目标图像进行全自动分割，包括以下步骤：
输入待分割多模态小目标图像数据；
将跨模态数据输入数据合成框架对网络进行训练与优化；
生成多模态小目标合成图像；
划分数据集：有标签图像数据集、标签图像数据集和无标签图像数据集；
将图像数据集输入半监督领域自适应框架对网络进行训练与优化；
获得多模态小目标图像全自动分割模型；以及
全自动分割模型输出图像分割结果。
2.根据权利要求1所述的一种基于生成式对抗网络和半监督领域自适应的多模态小目标图像全自动分割方法，其特征在于：基于生成式对抗网络的数据合成框架使用图像到图像转换的对抗性损失函数来捕获可靠的高频纹理信息，生成新的多模态小目标合成图像，包括以下步骤：
输入待分割多模态小目标图像数据；
将多模态小目标图像数据集输入数据合成框架中的pGAN网络；
同时训练生成模型与判别模型；
将其他多模态背景图像数据集输入生成模型生成多模态小目标合成图像。
3.根据权利要求1所述的一种基于生成式对抗网络和半监督领域自适应的多模态小目标图像全自动分割方法，其特征在于：基于半监督领域自适应的半监督学习框架利用多模态学习和附加模态先验知识的无监督领域自适应方法训练，有效地利用来自所有三个数据资源的信息并全面整合它们，通过有标签的多对比度图像的知识蒸馏像素损失和无标签图像的循环一致性损失提供了增强的合成性能，包括以下步骤：
划分数据集：有标签数据集Ds、标签数据集Dt、无标签数据集Du；
训练半监督领域自适应框架：域间教师模型、域内教师模型和学生模型；
获得多模态小目标图像全自动分割模型，输出分割结果。
4.根据权利要求2所述的基于生成式对抗网络的数据合成框架，其特征在于：在统一框架中执行多分辨率字典构建和图像合成，获取具有多种不同对比度的相同解剖结构的图像增加了多模态小目标图像中可用信息的多样性，包括以下步骤：
4.1将多模态小目标数据集输入数据合成框架，同时训练pGAN网络中的生成模型G和判别模型D，具体包括：
使用pGAN网络学习从源数据到目标对比度的映射，将能清楚描绘小目标图像的模态作为源数据，其他几种模态作为目标对比度数据输入网络。图像到图像的转换涉及相同基础视觉场景的不同表示之间的转换，合成图像对源图像具有统计依赖性。为了更好地捕获这种依赖性，基于以下对抗性损失函数来训练网络：
LcondGAN(G,D)＝Ex,y[logD(x,y)]+Ex,z[log(1-D(x,G(x,z)))] 式1
其中LcondGAN为对抗性损失函数，E表示分布函数的期望值，x为源数据，y为目标对比度真实图像数据，z为潜变量(随机噪声)，G(x,z)为从潜变量学习映射后合成的图像数据，D(x,y)为目标对比度真实图像数据在源域上的概率分布，D(x,G(x,z))为合成图像数据在源域上的概率分布。
LL1是像素级L1的损失函数，像素损失的目标函数为：
LL1(G)＝Ex,y,z[‖y-G(x,z)‖1] 式2
由于生成模型G忽略了pGAN中的潜变量，因此使用以下总损失函数进行训练：
LpGAN＝LcondGAN(G,D)+λLL1(G) 式3
其中LpGAN是完整的损失函数，λ是控制像素损失的相对权重的参数。
4.2将另外的多模态不含小目标的背景数据集中对应源数据模态图像输入上一步中训练好的生成模型G中进行多模态小目标合成图像的生成。
5.根据权利要求3所述的基于半监督领域自适应的半监督学习框架，其特征在于：框架由域间教师模型、域内教师模型和学生模型组成。域间教师模型和域内教师模型分别探索了有标签数据和无标签数据的知识，同时将知识转移到学生模型中进行综合整合和深入开发，包括以下步骤：
5.1划分三部分数据集，具体包括：
将多模态小目标数据集中的数据取出作为有标签数据集Ds，将多模态小目标数据集中的标签数据取出作为标签数据集Dt，将数据合成框架生成的多模态小目标合成数据作为无标签数据集Du。
5.2训练域间教师模型，具体包括：
将有标签数据集Ds输入域间教师模型，在相应标签的监督下，域间教师模型通过
Figure FDA0003375219160000031
(如式4所示)学习源域中的先验知识；
Figure FDA0003375219160000032
其中
Figure FDA0003375219160000033
为域间教师模型损失，Lce和Ldice分别表示交叉熵损失和戴斯损失，
Figure FDA0003375219160000034
表示以Ds作为输入的域间教师预测结果，ys表示Ds中真实的结果。
5.3训练域内教师模型，具体包括：
按照与学生模型相同的网络架构设计域内教师模型，将无标签数据集Du输入域内教师模型，训练过程中将权重θ0更新为不同训练步骤中学生模型权重θ的指数移动平均值(exponential moving average,EMA)，在训练步骤t中，域内教师模型的权重θt′应更新为：
θt′＝αθ′t-1+(1-α)θt 式5
其中α是控制更新率的EMA衰减系数。
5.4训练学生模型，具体包括：
将标签数据集Dt输入学生模型，通过图像分割损失
Figure FDA0003375219160000035
(如式6所示)对标签进行有监督学习；
Figure FDA0003375219160000036
其中
Figure FDA0003375219160000037
为学生模型损失，
Figure FDA0003375219160000038
表示以Dt作为输入的域内教师预测结果，yt表示Dt中真实的结果。
通过知识蒸馏损失
Figure FDA0003375219160000041
(如式7所示)从域间教师模型获取域间形状先验知识；
Figure FDA0003375219160000042
其中
Figure FDA0003375219160000043
和
Figure FDA0003375219160000044
分别表示域间教师模型和学生模型的预测结果。
通过一致性损失
Figure FDA0003375219160000045
(如式8所示)从域内教师模型获取域内知识；
Figure FDA0003375219160000046
其中Lmse表示均方误差损失，xu为无标签图像数据，f(xu；θ,ξ),f(xu；θ′,ξ′)分别表示学生模型和域内教师模型包含有权重θ和噪声ξ的输出；
最终的学生模型的训练目标为：
Figure FDA0003375219160000047
其中Lstu为学生模型的综合损失，λkd和λcon分别为平衡获取域间形状先验知识和域内知识相对权重的超参数。
6.根据权利要求5所述的基于半监督领域自适应的半监督学习框架，其特征在于：在半监督领域自适应框架中，学生模型和两个教师模型使用相同的网络U-Net，U型结构使它使用更少的训练图片的同时，分割的准确度提高。域内教师模型的EMA衰减系数α设置为0.99。超参数λkd设置为0.1，λcon随时间动态变化：
Figure FDA0003375219160000048
其中t和tmax分别表示当前和最后一个训练时期，tmax设置为50。
7.一种基于生成式对抗网络和半监督领域自适应的多模态小目标图像全自动分割系统，其特征在于：分为基于生成式对抗网络的数据合成模块和基于半监督领域自适应的半监督学习模块，数据合成模块生成新的多模态小目标合成图像，半监督学习模块对网络进行训练与优化，得到全自动分割模块，对多模态小目标图像进行全自动分割，包括：
数据输入模块，输入待分割多模态小目标图像数据；
数据合成模块，将跨模态数据输入训练并优化网络，生成多模态小目标合成图像；
半监督领域自适应模块，将图像数据集输入，对网络进行训练与优化，生成全自动分割模型；
数据输出模块，将待分割多模态小目标图像输入到上述全自动分割模型，输出图像分割结果。
8.根据权利要求7所述的一种基于生成式对抗网络和半监督领域自适应的多模态小目标图像全自动分割系统，其特征在于：在统一框架中执行多分辨率字典构建和图像合成，获取具有多种不同对比度的相同解剖结构的图像增加了多模态小目标图像中可用信息的多样性，包括以下步骤：
8.1将多模态小目标数据集输入数据合成模块，同时训练pGAN网络中的生成模型G和判别模型D，具体包括：
使用pGAN网络学习从源数据到目标对比度的映射，将能清楚描绘小目标图像的模态作为源数据，其他几种模态作为目标对比度数据输入网络。图像到图像的转换涉及相同基础视觉场景的不同表示之间的转换，合成图像对源图像具有统计依赖性。为了更好地捕获这种依赖性，基于以下对抗性损失函数来训练网络：
LcondGAN(G,D)＝Ex,y[logD(x,y)]+Ex,z[log(1-D(x,G(x,z)))] 式1
其中LcondGAN(G,D)为对抗性损失函数，E表示分布函数的期望值，x为源数据，y为目标对比度真实图像数据，z为潜变量(随机噪声)，G(x,z)为从潜变量学习映射后合成的图像数据，D(x,y)为目标对比度真实图像数据在源域上的概率分布，D(x,G(x,z))为合成图像数据在源域上的概率分布。
LL1是像素级L1的损失函数，像素损失的目标函数为：
LL1(G)＝Ex,y,z[‖y-G(x,z)‖1] 式2
由于生成模型G忽略了pGAN中的潜变量，因此使用以下总损失函数进行训练：
LpGAN＝LcondGAN(G,D)+λLL1(G) 式3
其中LpGAN是完整的损失函数，λ是控制像素损失的相对权重的参数。
8.2将另外的多模态不含小目标的背景数据集中对应源数据模态图像输入上一步中训练好的生成模型G中进行多模态小目标合成图像的生成。
9.根据权利要求7所述的一种基于生成式对抗网络和半监督领域自适应的多模态小目标图像全自动分割系统，其特征在于：半监督学习模块由域间教师模型、域内教师模型和学生模型组成。域间教师模型和域内教师模型分别探索了有标签数据和无标签数据的知识，同时将知识转移到学生模型中进行综合整合和深入开发，包括以下步骤：
9.1划分三部分数据集，具体包括：
将多模态小目标数据集中的数据取出作为有标签数据集Ds，将多模态小目标数据集中的标签数据取出作为标签数据集Dt，将数据合成模块生成的多模态小目标合成数据作为无标签数据集Du。
9.2训练域间教师模型，具体包括：
将有标签数据集Ds输入域间教师模型，在相应标签的监督下，域间教师模型通过
Figure FDA0003375219160000061
(如式4所示)学习源域中的先验知识；
Figure FDA0003375219160000062
其中
Figure FDA0003375219160000063
为域间教师模型损失，Lce和Ldice分别表示交叉熵损失和戴斯损失，
Figure FDA0003375219160000064
表示以Ds作为输入的域间教师预测结果，ys表示Ds中真实的结果。
9.3训练域内教师模型，具体包括：
按照与学生模型相同的网络架构设计域内教师模型，将无标签数据集Du输入域内教师模型，训练过程中将权重θ0更新为不同训练步骤中学生模型权重θ的指数移动平均值(exponential moving average,EMA)，在训练步骤t中，域内教师模型的权重θt′应更新为：
θt′＝αθ′t-1+(1-α)θt 式5
其中α是控制更新率的EMA衰减系数。
9.4训练学生模型，具体包括：
将标签数据集Dt输入学生模型，通过图像分割损失
Figure FDA0003375219160000071
(如式6所示)对标签进行有监督学习；
Figure FDA0003375219160000072
其中
Figure FDA0003375219160000073
为学生模型损失，
Figure FDA0003375219160000074
表示以Dt作为输入的域内教师预测结果，yt表示Dt中真实的结果。
通过知识蒸馏损失
Figure FDA0003375219160000075
(如式7所示)从域间教师模型获取域间形状先验知识；
Figure FDA0003375219160000076
其中
Figure FDA0003375219160000077
和
Figure FDA0003375219160000078
分别表示域间教师模型和学生模型的预测结果。
通过一致性损失
Figure FDA0003375219160000079
(如式8所示)从域内教师模型获取域内知识；
Figure FDA00033752191600000710
其中Lmse表示均方误差损失，xu为无标签图像数据，f(xu；θ,ξ),f(xu；θ′,ξ′)分别表示学生模型和域内教师模型包含有权重θ和噪声ξ的输出；
最终的学生模型的训练目标为：
Figure FDA00033752191600000711
其中Lstu为学生模型的综合损失，λkd和λcon分别为平衡获取域间形状先验知识和域内知识相对权重的超参数。
10.根据权利要求7所述的一种基于生成式对抗网络和半监督领域自适应的多模态小目标图像全自动分割系统，其特征在于：在半监督领域自适应模块中，学生模型和两个教师模型使用相同的网络U-Net，U型结构使它使用更少的训练图片的同时，分割的准确度提高。域内教师模型的EMA衰减系数α设置为0.99。超参数λkd设置为0.1，λcon随时间动态变化：
Figure FDA00033752191600000712
其中t和tmax分别表示当前和最后一个训练时期，tmax设置为50。
CN202111415766.2A 2021-11-25 2021-11-25 基于生成式对抗网络和半监督领域自适应的多模态小目标图像全自动分割方法及系统 Pending CN115131366A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111415766.2A CN115131366A (zh) 2021-11-25 2021-11-25 基于生成式对抗网络和半监督领域自适应的多模态小目标图像全自动分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111415766.2A CN115131366A (zh) 2021-11-25 2021-11-25 基于生成式对抗网络和半监督领域自适应的多模态小目标图像全自动分割方法及系统

Publications (1)

Publication Number Publication Date
CN115131366A true CN115131366A (zh) 2022-09-30

Family

ID=83375223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111415766.2A Pending CN115131366A (zh) 2021-11-25 2021-11-25 基于生成式对抗网络和半监督领域自适应的多模态小目标图像全自动分割方法及系统

Country Status (1)

Country Link
CN (1) CN115131366A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116594838A (zh) * 2023-05-18 2023-08-15 上海麓霏信息技术服务有限公司 多模态数据预训练方法及系统
CN117333874A (zh) * 2023-10-27 2024-01-02 江苏新希望科技有限公司 一种图像分割方法、系统、存储介质和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116594838A (zh) * 2023-05-18 2023-08-15 上海麓霏信息技术服务有限公司 多模态数据预训练方法及系统
CN116594838B (zh) * 2023-05-18 2023-12-22 上海好芯好翼智能科技有限公司 多模态数据预训练方法及系统
CN117333874A (zh) * 2023-10-27 2024-01-02 江苏新希望科技有限公司 一种图像分割方法、系统、存储介质和装置

Similar Documents

Publication Publication Date Title
CN111199550B (zh) 图像分割网络的训练方法、分割方法、装置和存储介质
US9558268B2 (en) Method for semantically labeling an image of a scene using recursive context propagation
Yue et al. Cardiac segmentation from LGE MRI using deep neural network incorporating shape and spatial priors
Poudel et al. Recurrent fully convolutional neural networks for multi-slice MRI cardiac segmentation
Cao et al. Recent advances of generative adversarial networks in computer vision
CN109493308B (zh) 基于条件多判别生成对抗网络的医疗图像合成与分类方法
CN107833183B (zh) 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法
CN111476805B (zh) 一种基于多重约束的跨源无监督域适应分割模型
WO2021254499A1 (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
WO2020133636A1 (zh) 前列腺手术中外包膜智能检测和预警方法及系统
CN108197629B (zh) 一种基于标签相关性约束张量分解的多模态医学影像特征提取方法
CN110852350B (zh) 一种基于多尺度迁移学习的肺结节良恶性分类方法和系统
CN115131366A (zh) 基于生成式对抗网络和半监督领域自适应的多模态小目标图像全自动分割方法及系统
JP7111088B2 (ja) 画像検索装置、学習方法及びプログラム
CN115731178A (zh) 一种跨模态的无监督域自适应医学图像分割方法
Cui et al. Bidirectional cross-modality unsupervised domain adaptation using generative adversarial networks for cardiac image segmentation
Liu et al. Recent progress in transformer-based medical image analysis
CN114240955B (zh) 一种半监督的跨领域自适应的图像分割方法
CN114820655A (zh) 可靠区域作为注意力机制监督的弱监督建筑物分割方法
Biswas et al. Data augmentation for improved brain tumor segmentation
CN116935213A (zh) 一种基于知识蒸馏的轻量化sar图像目标检测方法
CN114463320B (zh) 一种磁共振成像脑胶质瘤idh基因预测方法及系统
CN115688234A (zh) 一种基于条件卷积的建筑布局生成方法、装置及介质
Huang et al. Left and Right Ventricular Segmentation Based on 3D Region-Aware U-Net
CN117649422B (zh) 多模态图像分割模型的训练方法和多模态图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination