CN111179254B - 一种基于特征函数和对抗学习的域适应医学图像分割方法 - Google Patents

一种基于特征函数和对抗学习的域适应医学图像分割方法 Download PDF

Info

Publication number
CN111179254B
CN111179254B CN201911402027.2A CN201911402027A CN111179254B CN 111179254 B CN111179254 B CN 111179254B CN 201911402027 A CN201911402027 A CN 201911402027A CN 111179254 B CN111179254 B CN 111179254B
Authority
CN
China
Prior art keywords
feature
network
image segmentation
data
target data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911402027.2A
Other languages
English (en)
Other versions
CN111179254A (zh
Inventor
庄吓海
吴富平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201911402027.2A priority Critical patent/CN111179254B/zh
Publication of CN111179254A publication Critical patent/CN111179254A/zh
Application granted granted Critical
Publication of CN111179254B publication Critical patent/CN111179254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及一种基于特征函数和对抗学习的域适应医学图像分割方法，该方法包括如下步骤：S1，获取目标数据和源数据；S2，构建用于提取中间特征的特征提取网络；S3，计算目标数据和源数据中间特征之间的差异；S4，构建用于区别中间特征域来源的特征判别器；S5，针对源数据构建图像分割网络，图像分割网络输入源数据的中间特征，输出分割标签；S6，针对目标数据构建图像重建网络，该网络输入目标数据的中间特征，输出重建的目标数据；S7，循环迭代训练，获取所有网络的最优参数；S8，应用时，将目标图像依次输入至特征提取网络和图像分割网络，输出分割结果。与现有技术相比，本发明该方法泛化能力强，分割结果准确可靠。

Description

一种基于特征函数和对抗学习的域适应医学图像分割方法
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种基于特征函数和对抗学习的域适应医学图像分割方法。
背景技术
在医学影像领域，医学图像的精确对于许多临床应用有着十分重要的辅助作用，在临床上，多模态医学影像已被广泛使用。然而，手动分割所有模态的医学图像十分耗时耗力，而且不同医师的分割结果之间也存在着差异。为了减轻工作量，建立统一分割标准，计算机自动化分割就显得尤为重要。
目前，域适应无监督分割方法中，均采用对抗神经网络迫使不同域隐变量模态无关。该策略通过引入一个判别器网络，交替更新生成器和判别器网络，最终使得该判别器无法识别不同模态隐变量的类别。然而这种方法一般在优化过程中很难找到纳什均衡点，且训练过程复杂。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于特征函数和对抗学习的域适应医学图像分割方法。
本发明的目的可以通过以下技术方案来实现：
一种基于特征函数和对抗学习的域适应医学图像分割方法，该方法包括如下步骤：
S1：获取与目标数据结构相同的不同模态的具有标签的影像学数据作为源数据；
S2：构建特征提取网络，用于提取源数据的中间特征ZS和目标数据的中间特征ZT；
S3：计算中间特征ZS和ZT之间的差异；
S4：构建用于区别中间特征ZS和ZT的域来源的特征判别器，所述的特征判别器输入为特征提取网络输出的中间特征，输出为数据的域来源；
S5：针对源数据构建图像分割网络，所述的图像分割网络输入中间特征ZS，输出分割标签；
S6：针对目标数据构建图像重建网络，所述的图像重建网络输入中间特征ZT，输出重建的目标数据；
S7：循环迭代训练，获取特征判别器、特征提取网络、图像分割网络和图像重建网络的最优参数；
S8：应用时，将目标图像输入至特征提取网络提取目标中间特征，然后将目标中间特征输入至图像分割网络，输出分割结果。
步骤S3采用蒙特卡罗采样计算中间特征ZS和ZT之间的差异。
中间特征ZS和ZT之间的差异通过中间特征的分布距离来度量，中间特征距离通过下式获取：
Figure BDA0002347730300000021
其中，d(ZS,ZT)为中间特征距离，Ns为源数据的蒙特卡罗采样数目，NT为目标数据的蒙特卡罗采样数目，
Figure BDA0002347730300000022
为源数据的第i个采样数对应的中间特征，/>
Figure BDA0002347730300000023
为源数据的第j个采样数对应的中间特征，/>
Figure BDA0002347730300000024
为目标数据的第i个采样数对应的中间特征，/>
Figure BDA0002347730300000025
为目标数据的第j个采样数对应的中间特征，/>
Figure BDA0002347730300000026
表示/>
Figure BDA0002347730300000027
和/>
Figure BDA0002347730300000028
的核函数求值，/>
Figure BDA0002347730300000029
表示/>
Figure BDA00023477303000000210
和/>
Figure BDA00023477303000000211
的核函数求值，/>
Figure BDA00023477303000000212
表示/>
Figure BDA00023477303000000213
和/>
Figure BDA00023477303000000214
的核函数求值。
Figure BDA00023477303000000215
通过如下方式获得：
令：
Figure BDA00023477303000000216
均为n维向量，
则：
Figure BDA00023477303000000217
Figure BDA00023477303000000218
通过如下方式获得：
令：
Figure BDA00023477303000000219
均为n维向量，
则：
Figure BDA0002347730300000031
Figure BDA0002347730300000032
通过如下方式获得：
令：
Figure BDA0002347730300000033
均为n维向量，
则：
Figure BDA0002347730300000034
在一个循环迭代训练过程中首先进行特征判别器的有监督训练，然后固定特征判别器，将采样的源数据和目标数据作为对应的特征提取网络的输入，以中间特征差异最小为目标获取特征提取网络、图像分割网络和图像重建网络的优化参数，直至循环迭代结束获取最优训练结果。
所述的特征判别器、特征提取网络、图像分割网络和图像重建网络均为卷积神经网络。
与现有技术相比，本发明具有如下优点：
(1)本发明构建特征提取网络，将有标签源数据和无标签目标数据映射到同一个中间特征空间，核心在于训练网络使得该特征与数据的模态无关，进而使得基于源数据所获得的特征以及分割标签所训练得到的图像分割网络能适应于目标图像，完成目标图像的有效分割；
(2)本发明设置重建网络，在训练过程中，重建网络用于约束特征提取网络，可以约束提取的特征包含更多的结构信息，有利于得到更好的分割结果；
(3)本发明设置特征判别器，特征判别器用于使得特征提取网络提取到的特征与模态无关的，也就是最小化两类数据之间的分布差异，从而使得训练得到的网络能更好的进行图像分割，提高分割准确性；
(4)本发明提出一种有效的显式度量分布差异的方法，并用于域适应分割问题，该方法训练简单快速，泛化能力强，同时具有全自动、计算时间短、实现方便等优势。
附图说明
图1为本发明基于特征函数和对抗学习的域适应医学图像分割方法的流程框图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。
实施例
如图1所示，一种基于特征函数和对抗学习的域适应医学图像分割方法，该方法包括如下步骤：
S1：获取与目标数据结构相同的不同模态的具有标签的影像学数据作为源数据；
S2：构建特征提取网络，用于提取源数据的中间特征ZS和目标数据的中间特征ZT；
S3：计算中间特征ZS和ZT之间的差异；
S4：构建用于区别中间特征ZS和ZT的域来源的特征判别器，所述的特征判别器输入为特征提取网络输出的中间特征，输出为数据的域来源；
S5：针对源数据构建图像分割网络，所述的图像分割网络输入中间特征ZS，输出分割标签；
S6：针对目标数据构建图像重建网络，所述的图像重建网络输入中间特征ZT，输出重建的目标数据；
S7：循环迭代训练，获取特征判别器、特征提取网络、图像分割网络和图像重建网络的最优参数，所述的特征判别器、特征提取网络、图像分割网络和图像重建网络均为卷积神经网络，在一个循环迭代训练过程中首先进行特征判别器的有监督训练，然后固定特征判别器的网络结构和网络参数，将采样的源数据和目标数据作为对应的特征提取网络的输入，以中间特征差异最小为目标获取特征提取网络、图像分割网络和图像重建网络的优化参数，直至循环迭代结束获取最优训练结果；
S8：应用时，将目标图像输入至特征提取网络提取目标中间特征，然后将目标中间特征输入至图像分割网络，输出分割结果。
步骤S3采用蒙特卡罗采样计算中间特征ZS和ZT之间的差异。
中间特征ZS和ZT之间的差异通过中间特征的分布距离来度量，中间特征距离通过下式获取：
Figure BDA0002347730300000051
其中，d(ZS,ZT)为中间特征距离，Ns为源数据的蒙特卡罗采样数目，NT为目标数据的蒙特卡罗采样数目，
Figure BDA0002347730300000052
为源数据的第i个采样数对应的中间特征，/>
Figure BDA0002347730300000053
为源数据的第j个采样数对应的中间特征，/>
Figure BDA0002347730300000054
为目标数据的第i个采样数对应的中间特征，/>
Figure BDA0002347730300000055
为目标数据的第j个采样数对应的中间特征，/>
Figure BDA0002347730300000056
表示/>
Figure BDA0002347730300000057
和/>
Figure BDA0002347730300000058
的核函数求值，/>
Figure BDA0002347730300000059
表示/>
Figure BDA00023477303000000510
和/>
Figure BDA00023477303000000511
的核函数求值，/>
Figure BDA00023477303000000512
表示/>
Figure BDA00023477303000000513
和/>
Figure BDA00023477303000000514
的核函数求值。
Figure BDA00023477303000000515
通过如下方式获得：
令：
Figure BDA00023477303000000516
均为n维向量，
则：
Figure BDA00023477303000000517
Figure BDA00023477303000000518
通过如下方式获得：
令：
Figure BDA00023477303000000519
均为n维向量，
则：
Figure BDA00023477303000000520
Figure BDA00023477303000000521
通过如下方式获得：
令：
Figure BDA00023477303000000522
均为n维向量，
则：
Figure BDA00023477303000000523
本发明有如下几个重要特点：
(1)构建特征提取网络，将有标签源数据和无标签目标数据映射到同一个中间特征空间，核心在于训练网络使得该特征与数据的模态无关，进而使得基于源数据所获得的特征以及分割标签所训练得到的图像分割网络能适应于目标图像，完成目标图像的有效分割。
(2)设置重建网络，在训练过程中，重建网络用于约束特征提取网络，可以约束提取的特征包含更多的结构信息，有利于得到更好的分割结果。
(3)设置特征判别器，特征判别器用于使得特征提取网络提取到的特征与模态无关的，也就是最小化两类数据之间的分布差异，从而使得训练得到的网络能更好的进行图像分割，提高分割准确性。
总而言之，本发明提出一种有效的显式度量分布差异的方法，并用于域适应分割问题，该方法训练简单快速，泛化能力强，同时具有全自动、计算时间短、实现方便等优势。
上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。

Claims (3)

1.一种基于特征函数和对抗学习的域适应医学图像分割方法，其特征在于，该方法包括如下步骤：
S1：获取与目标数据结构相同的不同模态的具有标签的影像学数据作为源数据；
S2：构建特征提取网络，用于提取源数据的中间特征ZS和目标数据的中间特征ZT；
S3：计算中间特征ZS和ZT之间的差异；
S4：构建用于区别中间特征ZS和ZT的域来源的特征判别器，所述的特征判别器输入为特征提取网络输出的中间特征，输出为数据的域来源；
S5：针对源数据构建图像分割网络，所述的图像分割网络输入中间特征ZS，输出分割标签；
S6：针对目标数据构建图像重建网络，所述的图像重建网络输入中间特征ZT，输出重建的目标数据；
S7：循环迭代训练，获取特征判别器、特征提取网络、图像分割网络和图像重建网络的最优参数；
S8：应用时，将目标图像输入至特征提取网络提取目标中间特征，然后将目标中间特征输入至图像分割网络，输出分割结果；
步骤S3采用蒙特卡罗采样计算中间特征ZS和ZT之间的差异；
中间特征ZS和ZT之间的差异通过中间特征的分布距离来度量，中间特征距离通过下式获取：
Figure FDA0004151972360000011
其中，d(ZS,ZT)为中间特征距离，Ns为源数据的蒙特卡罗采样数目，NT为目标数据的蒙特卡罗采样数目，
Figure FDA0004151972360000012
为源数据的第i个采样数对应的中间特征，/>
Figure FDA0004151972360000013
为源数据的第j个采样数对应的中间特征，/>
Figure FDA0004151972360000014
为目标数据的第i个采样数对应的中间特征，/>
Figure FDA0004151972360000015
为目标数据的第j个采样数对应的中间特征，/>
Figure FDA0004151972360000016
表示/>
Figure FDA0004151972360000017
和/>
Figure FDA0004151972360000018
的核函数求值，/>
Figure FDA0004151972360000021
表示/>
Figure FDA0004151972360000022
和/>
Figure FDA0004151972360000023
的核函数求值，/>
Figure FDA0004151972360000024
表示/>
Figure FDA0004151972360000025
和/>
Figure FDA0004151972360000026
的核函数求值；
Figure FDA0004151972360000027
通过如下方式获得：
令：
Figure FDA0004151972360000028
均为n维向量，
则：
Figure FDA0004151972360000029
Figure FDA00041519723600000210
通过如下方式获得：
令：
Figure FDA00041519723600000211
均为n维向量，/>
则：
Figure FDA00041519723600000212
Figure FDA00041519723600000213
通过如下方式获得：
令：
Figure FDA00041519723600000214
均为n维向量，
则：
Figure FDA00041519723600000215
2.根据权利要求1所述的一种基于特征函数和对抗学习的域适应医学图像分割方法，其特征在于，在一个循环迭代训练过程中首先进行特征判别器的有监督训练，然后固定特征判别器，将采样的源数据和目标数据作为对应的特征提取网络的输入，以中间特征差异最小为目标获取特征提取网络、图像分割网络和图像重建网络的优化参数，直至循环迭代结束获取最优训练结果。
3.根据权利要求1所述的一种基于特征函数和对抗学习的域适应医学图像分割方法，其特征在于，所述的特征判别器、特征提取网络、图像分割网络和图像重建网络均为卷积神经网络。
CN201911402027.2A 2019-12-31 2019-12-31 一种基于特征函数和对抗学习的域适应医学图像分割方法 Active CN111179254B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911402027.2A CN111179254B (zh) 2019-12-31 2019-12-31 一种基于特征函数和对抗学习的域适应医学图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911402027.2A CN111179254B (zh) 2019-12-31 2019-12-31 一种基于特征函数和对抗学习的域适应医学图像分割方法

Publications (2)

Publication Number Publication Date
CN111179254A CN111179254A (zh) 2020-05-19
CN111179254B true CN111179254B (zh) 2023-05-30

Family

ID=70646507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911402027.2A Active CN111179254B (zh) 2019-12-31 2019-12-31 一种基于特征函数和对抗学习的域适应医学图像分割方法

Country Status (1)

Country Link
CN (1) CN111179254B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822836B (zh) * 2020-06-05 2024-06-18 英业达科技有限公司 标记图像的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671018A (zh) * 2018-12-12 2019-04-23 华东交通大学 一种基于生成式对抗网络和ResNets技术的图像转换方法及系统
WO2019148898A1 (zh) * 2018-02-01 2019-08-08 北京大学深圳研究生院 基于受限文本空间的对抗性跨媒体检索方法
CN110135579A (zh) * 2019-04-08 2019-08-16 上海交通大学 基于对抗学习的无监督领域适应方法、系统及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180024968A1 (en) * 2016-07-22 2018-01-25 Xerox Corporation System and method for domain adaptation using marginalized stacked denoising autoencoders with domain prediction regularization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019148898A1 (zh) * 2018-02-01 2019-08-08 北京大学深圳研究生院 基于受限文本空间的对抗性跨媒体检索方法
CN109671018A (zh) * 2018-12-12 2019-04-23 华东交通大学 一种基于生成式对抗网络和ResNets技术的图像转换方法及系统
CN110135579A (zh) * 2019-04-08 2019-08-16 上海交通大学 基于对抗学习的无监督领域适应方法、系统及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
生成式对抗网络GAN的研究进展与展望;王坤峰;苟超;段艳杰;林懿伦;郑心湖;王飞跃;;自动化学报;第43卷(第03期);321-332 *

Also Published As

Publication number Publication date
CN111179254A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN109345575B (zh) 一种基于深度学习的图像配准方法及装置
Zhang et al. Deep active contour network for medical image segmentation
CN115410050B (zh) 基于机器视觉的肿瘤细胞检测设备及其方法
CN110633758A (zh) 针对小样本或样本不平衡的癌症区域检测定位的方法
CN110110116B (zh) 一种整合深度卷积网络和语义分析的商标图像检索方法
CN114564982B (zh) 雷达信号调制类型的自动识别方法
CN114937025A (zh) 图像分割方法、模型训练方法、装置、设备及介质
CN112102294A (zh) 生成对抗网络的训练方法及装置、图像配准方法及装置
Shu et al. An unsupervised network for fast microscopic image registration
CN104573699A (zh) 基于中等场强磁共振解剖成像的实蝇识别方法
Benhamza et al. Canny edge detector improvement using an intelligent ants routing
CN111179254B (zh) 一种基于特征函数和对抗学习的域适应医学图像分割方法
Pino et al. Semantic segmentation of radio-astronomical images
Yang et al. A feature temporal attention based interleaved network for fast video object detection
CN117765530A (zh) 一种多模态脑网络分类方法、系统、电子设备及介质
CN106951918B (zh) 一种用于冷冻电镜分析的单颗粒图像聚类方法
WO2022162427A1 (en) Annotation-efficient image anomaly detection
Lu et al. A multimedia image edge extraction algorithm based on flexible representation of quantum
Wang et al. Self-supervised learning for high-resolution remote sensing images change detection with variational information bottleneck
CN111582449A (zh) 一种目标域检测网络的训练方法、装置、设备及存储介质
CN114708307B (zh) 基于相关滤波器的目标跟踪方法、系统、存储介质及设备
Chen et al. A hybrid active contour image segmentation model with robust to initial contour position
CN106709921B (zh) 一种基于空间Dirichlet混合模型的彩色图像分割方法
Kamraoui et al. Popcorn: Progressive pseudo-labeling with consistency regularization and neighboring
Khelil et al. Accurate diagnosis of non-Hodgkin lymphoma on whole-slide images using deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant