CN114723950A - 一种基于对称自适应网络的跨模态医学图像分割方法 - Google Patents

一种基于对称自适应网络的跨模态医学图像分割方法 Download PDF

Info

Publication number
CN114723950A
CN114723950A CN202210485695.1A CN202210485695A CN114723950A CN 114723950 A CN114723950 A CN 114723950A CN 202210485695 A CN202210485695 A CN 202210485695A CN 114723950 A CN114723950 A CN 114723950A
Authority
CN
China
Prior art keywords
domain
image
segmentation
target
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210485695.1A
Other languages
English (en)
Inventor
史颖欢
韩晓婷
凌彤
高阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Publication of CN114723950A publication Critical patent/CN114723950A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于对称自适应网络的跨模态医学图像分割方法,对预先获取的医学图像进行预处理,获取源域和目标域数据集;构建对称自适应网络:采用两个对称且共享编码器的转换子网络,以生成跨域图像,利用不同风格的图像挖掘丰富的语义信息;基于源域和目标域数据集对对称自适应网络进行优化训练;基于优化训练好对称自适应网络对目标图像进行测试,得到最终的医学图像分割结果。本发明利用两个对称的转换子网络双向拉近特征分布及利用不同风格的图像挖掘丰富的语义信息两方面减小源域和目标域之间的分布差异;进而在目标域图像上获得了较好的分割性能,具有较高的实用价值。

Description

一种基于对称自适应网络的跨模态医学图像分割方法
技术领域
本发明属于图像分割领域,特别涉及一种基于对称自适应网络的跨模态医学图像分割方法。
背景技术
近几年深度卷积神经网络方法在医学图像分割任务中取得的重大突破。绝大多数的分割任务往往假设训练集和测试集图像来源于相同的数据分布,但在真实场景中,特别是医学领域,由于采集参数或者成像方式不同,训练集和测试集图像往往存在较大的分布差异。这种分布差异常常导致训练好的模型在测试图像上的表现急剧下降。
为了缓解上述问题,一个比较直接的方式是利用有标签的目标域图像微调已训练好的源域模型。然而,为目标域图像标注像素级别的标签常常会花费较大的时间和人力成本。当前的无监督域自适应方法主要从图像生成和特征对齐两个方面,减小源域和目标域之间的分布差异。
在图像生成方面,一些方法利用图像转换网络,将源域图像转换为伪目标域图像,转换后的源域图像保留了原始的内容信息,同时学到了目标域的风格信息。该图像和其原始标签用于有监督地训练目标域分割网络。然而,图像转换网络常采用基于生成对抗网络的方法生成跨域图像,由于生成对抗网络的不稳定性,转换后的图像可能会丢失一部分原始的语义信息,造成分割性能的下降。
在特征对齐方面,一些方法直接在特征空间减小不同域之间的分布差异。由于分割模型中的特征空间包含大量不同的特征信息,极其复杂,因此很难完全消除分布差异。其他方法利用生成图像空间中的对抗损失间接对齐特征空间的分布,但他们的源域转换子网络和目标域转换子网络之间完全共享参数。
基于上述两种方法的不足之处,本发明提出了一种基于对称自适应网络的跨模态医学图像分割方法。本发明集中在两个方面减小源域和目标域之间的分布差异,首先基于两个对称的转换子网络之间共享编码器,利用跨域生成损失双向拉近两个域的特征分布。其次利用不同风格的图像(即原始图像和生成图像),尽可能挖掘不同的语义信息。
发明内容
发明目的:本发明为了解决无监督学习框架下医学图像分割问题,提出了一种基于对称自适应网络的跨模态医学图像分割方法,利用有标签的源域图像和无标签的目标域图像一同训练分割网络,同时通过减小源域和目标域之间的分布差异,使得训练网络在目标域测试图像上获得较好的分割性能。
技术方案:本发明所述的一种基于对称自适应网络的跨模态医学图像分割方法,具体包括以下步骤:
(1)对预先获取的医学图像进行预处理,获取源域和目标域数据集;
(2)构建对称自适应网络:采用两个对称且共享编码器的转换子网络,以生成跨域图像,利用不同风格的图像挖掘丰富的语义信息;
(3)基于源域和目标域数据集对对称自适应网络进行优化训练;
(4)基于优化训练好对称自适应网络对目标图像进行测试,得到最终的医学图像分割结果。
进一步地,步骤(1)所述的预处理实现过程如下:
截取目标器官区域,将3D图像切分为多张2D图像,修改图像尺寸为统一的256×256,对图像进行标准化以及归一化操作,并进行随机裁剪、随机旋转实现图像增广操作。
进一步地,步骤(2)所述的对称自适应网络包括一个共享编码器(E)、两个特定领域的解码器(Us,Ut)和一个像素级分类器(C);所述共享编码器和两个特定领域的解码器构成了两个对称的转换子网络,分别用于将图像从源域转换到目标域,以及从目标域转换到源域;所述共享编码器和像素级分类器又构成分割子网络。
进一步地,所述转换子网络和分割子网络之间共用一个编码器,所有的跨域生成损失都会反向传播至共享编码器,约束源域和目标域特征分布的双向靠近,减小了两域之间的分布差异,跨域生成损失为:
Figure BDA0003629829760000021
Figure BDA0003629829760000022
其中,Ds和Dt分别表示区分原始图像和生成图像的源域判别器以及目标域判别器;
源域以及目标域的重建损失:
Figure BDA0003629829760000031
Figure BDA0003629829760000032
其中,xs和xt分别表示源域和目标域图像的样本数据。
进一步地,步骤(2)所述利用不同风格的图像挖掘丰富的语义信息实现过程如下:
基于转换后的源域图像(xs→t)和原始源域图像(xs)一起训练了分割子网络,源域分割损失以及跨域分割损失:
Figure BDA0003629829760000033
Figure BDA0003629829760000034
其中,ys表示源域图像样本标签;Ci表示应用于不同层次特征图的像素级分类器;
在转换后的源域和目标域图像(xt→s)之间完成对抗学习任务,语义空间对抗损失为:
Figure BDA0003629829760000035
Figure BDA0003629829760000036
其中,Dpi为区分不同层次分割预测图来源于哪个域的判别器。
进一步地,所述步骤(3)包括以下步骤:
(31)配置服务器环境,安装相关的软件包,将项目代码上传至服务器,并选择合适的GPU;
(32)确定训练过程中的超参数,如权重系数,迭代次数,学习率等;
(33)随机初始化对称自适应模型的参数,并合理划分数据集;
(34)运行项目代码,每隔固定迭代次数保存模型以及可视化结果;
(35)输出最终的分割结果,并根据结果适当调整超参数,优化模型训练结果。
有益效果:与现有技术相比,本发明的有益效果:1、发明提出的对称自适应网络利用两个共享编码器的转换子网络,使得源域和目标域之间的分布双向靠近,极大地减小了分布差异,进而在目标域图像上获得了较好的分割结果,起到辅助医生的作用;2、本发明尽可能地利用了不同图像的语义信息,包括原始的源域和目标域图像,以及生成的伪源域和伪目标域图像,使得学到的网络更加鲁棒,泛化性能增强;3、本发明探索的是无监督学习框架下的图像分割问题,由于分割问题的标签标注过程既耗费人力,又耗费时间,因此本发明在减轻医生对医学图像标注负担的同时,也取得了较好的分割性能,具有现实的应用价值。
附图说明
图1为本发明的流程图;
图2为本发明构建的对称自适应网络示意图;
图3为本发明对称自适应网络训练以及测试流程图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
如图1所示,本发明公开了一种基于对称自适应网络的跨模态医学图像分割方法,具体包括以下步骤:
步骤1:医学图像预处理。
首先,由于医学图像的特殊性,原始数据集常常不仅包含目标区域,还包含一些非目标区域,因而首先需要截取出目标器官区域。其次原始医学图像常常以3D成像方式采集,而本发明适用于2D图像的分割,需要将3D图像切分为多张2D图像。修改图像尺寸为统一的256×256,并对图像像素值进行标准化,即减去均值,除以对应的方差;以及归一化操作,将图像像素值放缩至[-1,1]的范围。由于医学图像数量较少,为了避免模型出现过拟合情况,本发明实现了随机裁剪、随机旋转等图像增广操作。
步骤2:构建对称自适应网络。
本发明的应用场景是无监督跨模态医学图像分割场景,即把有标签的源域图像信息尽可能地迁移至无标签的目标域图像,以在减小医生标注压力的情况下,仍能在目标域图像上获得较好的分割结果。但在现实场景中,由于采集参数或者成像方式不同,源域和目标域数据集之间的数据分布可能会出现较大的差异,这种分布差异会导致有监督源域训练模型在目标域数据集上的表现急剧下降。因此,减小源域和目标域之间的分布差异是跨模态图像分割方法的重中之重。
构建的对称自适应网络很好地缩小了源域和目标域之间的分布差异。本网络主要由一个共享编码器(E)、两个特定领域的解码器(Us,Ut)和一个像素级分类器(C)组成。其中共享编码器和两个特定领域的解码器构成了两个对称的转换子网络,分别用于将图像从源域转换到目标域,以及从目标域转换到源域;而共享编码器和像素级分类器又构成了分割子网络。由于转换子网络和分割子网络之间共用一个编码器,所有的跨域生成损失都会反向传播至共享编码器,因此约束了源域和目标域特征分布的双向靠近,减小了两域之间的分布差异,这一点不同于以往的跨模态图像分割方法。
给定有标签(Ys)的源域图像(Xs)和无标签的目标域图像(Xt),本发明旨在利用这些图像训练模型,以在目标域测试图像上获得较好的分割性能。
如图2的对称自适应网络所示:预处理后的图像文件通过载入函数输入到本发明构建的对称自适应网络中,具体地,首先是将源域和目标域图像输入到共享编码器中,输出的源域和目标域特征图再输入到域具体的解码器中,一方面用于重建各个域的图像,重建损失强迫解码器学到域具体的特征信息,重建损失如下所示:
Figure BDA0003629829760000051
Figure BDA0003629829760000052
其中,xs和xt分别表示源域和目标域图像的样本数据。
另一方面以编码器和解码器组成转换子网络,并借助域具体的判别器,构成完整的生成对抗网络,将源域图像转换为伪目标域图像,以及将目标域图像转换成伪源域图像。由于两个转换子网络共享一个编码器,双向的生成对抗损失反向传播至共享编码器,约束编码器双向拉近两域的特征分布,生成对抗损失如下所示:
Figure BDA0003629829760000053
Figure BDA0003629829760000054
其中,Ds和Dt分别表示区分原始图像和生成图像的源域判别器以及目标域判别器。
由于来自源域的所有图像都有对应的标签,将得到的源域特征图输入到像素级分类器得到源域图像预测图,结合源域标签计算分割损失优化整个分割子网络,为了克服类别不平衡问题,本发明使用Dice损失LDice和加权交叉熵损失LCE的和作为损失函数训练网络,如下所示:
Figure BDA0003629829760000061
其中,ys表示源域图像样本标签;Ci表示应用于不同层次特征图的像素级分类器。
此外,转换后的源域图像保留了一部分原始的内容信息,因此它们可共用原始的标签,本发明将转换后的源域图像也输入到编码器和像素级分类器中,得到转换后的源域图像预测图,结合源域标签计算分割损失优化分割子网络,跨域分割损失如下所示:
Figure BDA0003629829760000062
已知源域和目标域图像虽然存在较大的分布差异,但它们的分割预测图具有很多相似性,比如:空间布局和局部内容,因此预测图可以帮助分割子网络挖掘源域和目标域之间的共同语义信息。具体地,本发明将目标域图像输入到分割子网络,输出的目标域预测图和源域预测图一同输入到预测图判别器中。判别器尽力区分输入的预测图来源于源域或者目标域,而分割子网络尽力地欺骗判别器,使判别器难以区分预测图来源。生成对抗损失约束分割子网络不断学习源域和目标域之间的公共语义信息,损失如下所示:
Figure BDA0003629829760000063
其中,Dpi表示用于区分不同层次分割预测图来源于哪个域的判别器。
为了尽可能利用不同风格图像的语义信息,本发明将转换后的源域和目标域图像也输入到了分割子网络中,输出的预测图一同输入到预测图判别器中,转换后图像在语义空间的对抗损失如下所示:
Figure BDA0003629829760000064
步骤3:训练对称自适应网络,具体如图3所示:
1)配置服务器环境,安装相关的软件包,将项目代码上传至服务器,并选择合适的GPU;
2)确定训练过程中的超参数,如权重系数,分割损失以及图像空间的生成损失的权重系数均为1.0,而语义空间的生成损失权重系数为0.1,迭代次数为2×104,学习率为2×10-4应用于分割子网络等;
3)随机初始化对称自适应模型的参数,并划分数据集,其中80%作为训练集,20%作为测试集;
4)运行项目代码,每隔固定迭代次数(2×103)保存模型以及可视化结果。
5)输出最终的分割结果,并根据结果适当调整超参数,优化模型训练结果。
步骤4:模型预测图像分类结果。
将目标域测试图像输入步骤3中保存的模型中,输出分割测试指标并显示最终的图像分割结果。
以上对本发明所提供的一种基于对称自适应网络的跨模态医学图像分割方法进行了详细介绍。值得注意的是,具体实现该技术方案的方法和途径有很多,以上所述仅是本发明的优选实施方式,只用于帮助理解本发明的方法及核心思想;同时,对于本领域的一般技术人员,在本发明核心思想的基础上,做出的修改和调整都将视为本发明的保护范围。综上所述,本说明书内容不应理解为对本发明的限制,本发明的保护范围应由所附的权利要求来限定。

Claims (6)

1.一种基于对称自适应网络的跨模态医学图像分割方法,其特征在于,包括以下步骤:
(1)对预先获取的医学图像进行预处理,获取源域和目标域数据集;
(2)构建对称自适应网络:采用两个对称且共享编码器的转换子网络,以生成跨域图像,利用不同风格的图像挖掘丰富的语义信息;
(3)基于源域和目标域数据集对对称自适应网络进行优化训练;
(4)基于优化训练好对称自适应网络对目标图像进行测试,得到最终的医学图像分割结果。
2.根据权利要求1所述的基于对称自适应网络的跨模态医学图像分割方法,其特征在于,步骤(1)所述的预处理实现过程如下:
截取目标器官区域,将3D图像切分为多张2D图像,修改图像尺寸为统一的256×256,对图像进行标准化以及归一化操作,并进行随机裁剪、随机旋转实现图像增广操作。
3.根据权利要求1所述的基于对称自适应网络的跨模态医学图像分割方法,其特征在于,步骤(2)所述的对称自适应网络包括一个共享编码器(E)、两个特定领域的解码器(Us,Ut)和一个像素级分类器(C);所述共享编码器和两个特定领域的解码器构成了两个对称的转换子网络,分别用于将图像从源域转换到目标域,以及从目标域转换到源域;所述共享编码器和像素级分类器又构成分割子网络。
4.根据权利要求3所述的基于对称自适应网络的跨模态医学图像分割方法,其特征在于,所述转换子网络和分割子网络之间共用一个编码器,所有的跨域生成损失都会反向传播至共享编码器,约束源域和目标域特征分布的双向靠近,减小了两域之间的分布差异,跨域生成损失为:
Figure FDA0003629829750000011
Figure FDA0003629829750000012
其中,Ds和Dt分别表示区分原始图像和生成图像的源域判别器以及目标域判别器;
源域以及目标域的重建损失:
Figure FDA0003629829750000021
Figure FDA0003629829750000022
其中,xs和xt分别表示源域和目标域图像的样本数据。
5.根据权利要求1所述的基于对称自适应网络的跨模态医学图像分割方法,其特征在于,步骤(2)所述利用不同风格的图像挖掘丰富的语义信息实现过程如下:
基于转换后的源域图像(xs→t)和原始源域图像(xs)一起训练了分割子网络,源域分割损失以及跨域分割损失:
Figure FDA0003629829750000023
Figure FDA0003629829750000024
其中,ys表示源域图像样本标签;Ci表示应用于不同层次特征图的像素级分类器;
在转换后的源域和目标域图像(xt→s)之间完成对抗学习任务,语义空间对抗损失为:
Figure FDA0003629829750000025
Figure FDA0003629829750000026
其中,Dpi为区分不同层次分割预测图来源于哪个域的判别器。
6.根据权利要求1所述的基于对称自适应网络的跨模态医学图像分割方法,其特征在于,所述步骤(3)包括以下步骤:
(31)配置服务器环境,安装相关的软件包,将项目代码上传至服务器,并选择合适的GPU;
(32)确定训练过程中的超参数,如权重系数,迭代次数,学习率等;
(33)随机初始化对称自适应模型的参数,并合理划分数据集;
(34)运行项目代码,每隔固定迭代次数保存模型以及可视化结果;
(35)输出最终的分割结果,并根据结果调整超参数,优化模型训练结果。
CN202210485695.1A 2022-01-25 2022-05-06 一种基于对称自适应网络的跨模态医学图像分割方法 Pending CN114723950A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2022100862366 2022-01-25
CN202210086236 2022-01-25

Publications (1)

Publication Number Publication Date
CN114723950A true CN114723950A (zh) 2022-07-08

Family

ID=82231473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210485695.1A Pending CN114723950A (zh) 2022-01-25 2022-05-06 一种基于对称自适应网络的跨模态医学图像分割方法

Country Status (1)

Country Link
CN (1) CN114723950A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115701868A (zh) * 2022-08-22 2023-02-14 中山大学中山眼科中心 一种适用多种视觉任务的领域自适应增强方法
CN116758286A (zh) * 2023-06-25 2023-09-15 中国人民解放军总医院 医学影像分割方法、系统、装置、存储介质及产品
CN117152168A (zh) * 2023-10-31 2023-12-01 山东科技大学 一种基于频段分解和深度学习的医学图像分割方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115701868A (zh) * 2022-08-22 2023-02-14 中山大学中山眼科中心 一种适用多种视觉任务的领域自适应增强方法
CN115701868B (zh) * 2022-08-22 2024-02-06 中山大学中山眼科中心 一种适用多种视觉任务的领域自适应增强方法
CN116758286A (zh) * 2023-06-25 2023-09-15 中国人民解放军总医院 医学影像分割方法、系统、装置、存储介质及产品
CN116758286B (zh) * 2023-06-25 2024-02-06 中国人民解放军总医院 医学影像分割方法、系统、装置、存储介质及产品
CN117152168A (zh) * 2023-10-31 2023-12-01 山东科技大学 一种基于频段分解和深度学习的医学图像分割方法
CN117152168B (zh) * 2023-10-31 2024-02-09 山东科技大学 一种基于频段分解和深度学习的医学图像分割方法

Similar Documents

Publication Publication Date Title
CN114723950A (zh) 一种基于对称自适应网络的跨模态医学图像分割方法
CN111754596B (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
CN113313657B (zh) 一种用于低光照图像增强的非监督学习方法和系统
CN108648197B (zh) 一种基于图像背景掩膜的目标候选区域提取方法
CN110335193B (zh) 一种基于生成对抗网络的目标域导向的无监督图像转换方法
US11928957B2 (en) Audiovisual secondary haptic signal reconstruction method based on cloud-edge collaboration
Wang et al. TMS-GAN: A twofold multi-scale generative adversarial network for single image dehazing
JP7386370B1 (ja) 連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法及びシステム
CN112884758B (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
Cao et al. A survey of mix-based data augmentation: Taxonomy, methods, applications, and explainability
Mutlu et al. Training bidirectional generative adversarial networks with hints
Johari et al. Context-aware colorization of gray-scale images utilizing a cycle-consistent generative adversarial network architecture
CN114299130A (zh) 一种基于无监督自适应网络的水下双目深度估计方法
CN116563399A (zh) 一种基于扩散模型和生成对抗网络的图像生成方法
CN112836755B (zh) 基于深度学习的样本图像生成方法及其系统
CN112541566B (zh) 一种基于重构损失的图像翻译方法
CN116152263A (zh) 一种基于cm-mlp网络的医学图像分割方法
CN116091885A (zh) 一种基于rau-gan的肺结节数据增强方法
CN115688234A (zh) 一种基于条件卷积的建筑布局生成方法、装置及介质
CN113658285B (zh) 一种人脸照片到艺术素描的生成方法
CN115578511A (zh) 一种半监督单视角3d物体重建方法
CN112884773B (zh) 基于背景变换下目标注意力一致性的目标分割模型
CN115482463A (zh) 一种生成对抗网络矿区土地覆盖识别方法及系统
CN115294418A (zh) 应用于图像分割的领域自适应的方法和装置以及存储介质
CN114565806A (zh) 一种基于表征增强的特征域优化小样本图像转换方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination