CN111402257A - 一种基于多任务协同跨域迁移的医学图像自动分割方法 - Google Patents

一种基于多任务协同跨域迁移的医学图像自动分割方法 Download PDF

Info

Publication number
CN111402257A
CN111402257A CN202010165367.4A CN202010165367A CN111402257A CN 111402257 A CN111402257 A CN 111402257A CN 202010165367 A CN202010165367 A CN 202010165367A CN 111402257 A CN111402257 A CN 111402257A
Authority
CN
China
Prior art keywords
network
domain
sub
semantic segmentation
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010165367.4A
Other languages
English (en)
Other versions
CN111402257B (zh
Inventor
彭佳林
易佳锦
赖松
袁直敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN202010165367.4A priority Critical patent/CN111402257B/zh
Publication of CN111402257A publication Critical patent/CN111402257A/zh
Application granted granted Critical
Publication of CN111402257B publication Critical patent/CN111402257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于多任务协同跨域迁移的医学图像自动分割方法，主要涉及利用基于多任务引导的跨域迁移网络进行无监督自动分割。该方法包括：构建语义分割网络，该网络包括特征编码分支与特征解码分支；构建重构分支，构建基于特征空间与基于预测空间的自适应对抗网络，包括基于特征空间的域判别器与基于预测空间的域判别器；最终利用重构分支引导语义分割网络提取特征，用自适应对抗网络完成跨域迁移，提高了在跨域医学图像上无监督自动分割的精度。

Description

一种基于多任务协同跨域迁移的医学图像自动分割方法
技术领域
本发明涉及深度学习与生物医学领域，特别是指一种基于多任务协同跨域迁移的医学图像自动分割方法。
背景技术
对医学图像精确的分割，是理解大脑神经结构与功能的必要步骤。不同的医学图像往往能够表现出不同的病理特征，利用医学图像的分割，能够更加快速有效地对病源进行诊断。例如通过对线粒体医学图像的分割，能够从对比中快速诊断出病人所患的疾病。因此，医学图像的自动分割方法是十分必要的。
目前应用最广泛的生物医学影像分割方法，是基于有监督学习的深度卷积神经网络。但这些网络均依赖于大量像素级的标注图像。然而对医学图像进行像素级别的标注，是一件耗时费力、重复性大的工作，使得获取大量的、有标签的医学图像变得异常困难。因此，在进行语义分割任务时，将在有充分标签的源域数据上训练的模型良好地泛化应用在无标签的目标域数据上，可以有效地缓解无标签数据的训练困难。
发明内容
本发明的主要目的在于对于无标注的医学图像数据集即目标域，如何利用类似但不同的有充分标注医学图像数据集即源域的训练模型，实现对目标域图像数据的语义分割，且本发明提出的方法，能够有效提高跨域模型在目标域数据上的分割效果。
本发明采用如下技术方案：
S1.在有标注的源域图像数据集上训练语义分割网络；
S11:对源域图像数据集进行预处理；
优选的，预处理可包括但不限于图像去噪、直方图均衡化等常见医学图像处理方法；
优选的，所述语义分割网络为包含编码器和解码器的全卷积网络，采用交叉熵损失函数作为优化目标函数，采用随机梯度方法作为优化器；
S12:将所述源域图像数据集划分为训练集、验证集，分别用于模型参数的优化和模型超参数的选择或调整；
S13：利用所述训练集和所述验证集训练语义分割网络模型；
S14：保存所述语义分割网络参数模型，用于预测和跨域模型迁移；
S2:在目标域图像数据集上训练基于多任务引导的跨域迁移语义分割网络；
优选的，所述多任务引导的跨域迁移语义分割网络同时使用源域图像数据集、源域图像数据集的标注和目标域图像数据集进行参数优化；
S21:对目标域图像数据集进行预处理；
优选的，预处理可包括但不限于图像去噪、直方图均衡化等常见医学图像处理方法；
S22:将所述目标域图像数据集划分为训练集与验证集；
S23:利用所述步骤S12中源域图像数据集的训练集、所述步骤S22中目标域图像数据集的训练集、目标域图像数据集的验证集训练基于多任务引导的跨域迁移网络；
S24:保存生成的跨域迁移语义分割网络的参数模型，用于目标域上的分割预测；
更进一步的，所述的多任务引导的跨域迁移语义分割网络包含四个子任务网络：语义分割子网络，采用全卷积编码-解码结构，用于提取和编码来自源域的图像及标注中的语义信息；重构子网络，采用全卷积编码-解码结构，用于重构来自源域和目标域上的图像，其输入和输出图像具有相同的大小；分割对抗识别子网络，采用全卷积网络结构；特征对抗识别子网络，采用卷积和全连接混合的网络结构。
优选的，所述语义分割子网络采用所述语义分割网络参数模型作为初始化，输出误差损失函数为：
Figure BDA0002407252950000031
其中ps和pt分别为源域图像xs和目标域图像xt经过语义分割子网络的分割预测结果，
Figure BDA0002407252950000039
表示求数学期望，ys为源域图像xs的标签，c代表类别，此处为正类或负类。
优选的，所述重构子网络采用标准正态分布随机初始化参数，采用均方误差函数作为损失函数以最小化重构图像和原始图像的误差，即最小化如下目标函数：
Figure BDA0002407252950000032
其中
Figure BDA0002407252950000033
和
Figure BDA0002407252950000034
分别为源域图像xs和目标域图像xt经过重构子网络的预测结果，
Figure BDA0002407252950000035
表示求数学期望。
优选的，所述分割对抗识别子网络以所述语义分割子网络的预测分割结果为输入，其输出是与输入同等大小的图，输出图的每个像素取值范围为[0,1],对应的目标域的标签为0，源域的标签为1；分割对抗识别子网络参数通过最小化如下目标函数实现：
Figure BDA0002407252950000036
其中Dpred表示分割对抗识别子网络，ps和pt分别为源域图像xs和目标域图像xt经过语义分割子网络的分割预测结果，
Figure BDA0002407252950000037
表示求数学期望。
优选的，所述特征对抗识别子网络以语义分割子网络的输出层的前一层或前二层特征为输入，其输出为标量，取值范围为[0,1]，对应的目标域的标签为0，源域的标签为1；特征对抗识别子网络参数通过最小化如下目标函数实现：
Figure BDA0002407252950000038
其中Dfeat表示特征对抗识别子网络，fs和ft分别为源域图像xs和目标域图像xt经过语义分割子网络的在输出层的前一层或者两层的输出特征图，
Figure BDA0002407252950000043
表示求数学期望。
优选的，所述语义分割子网络通过最小化如下目标函数得到，即
Figure BDA0002407252950000041
其中Dfeat表示特征对抗识别子网络，Dpred表示分割对抗识别子网络,pt目标域图像xt经过语义分割子网络的分割预测结果,ft目标域图像xt经过语义分割子网络的在输出层的前一层或者两层的输出特征图，
Figure BDA0002407252950000042
表示求数学期望
优选的，所述的语义分割子网络与语义分割网络同样为包含编码器和解码器的全卷积网络，采用交叉熵损失函数作为优化目标函数，采用随机梯度方法作为优化器；
优选的，所述多任务引导的跨域迁移语义分割网络采用随机梯度方法优化器进行交替优化所述语义分割子网络、重构子网络、分割对抗识别子网络、特征对抗识别子网络。
S3:利用所述语义分割网络参数模型对属于源域的新的图像进行自动分割，利用所述跨域迁移网络参数模型对属于目标域的新的图像进行自动分割。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
本发明提出的一种基于多任务协同跨域迁移的医学图像自动分割方法，主要特征在于基于源域图像的有监督分割任务，引入了基于源域与目标域图像的重构任务，通过重构任务使得模型学习到目标域的图像信息，使得模型的编码特征表示的域差异性减小；为了进一步地提高模型在目标域上的判别力，引入基于预测空间的分割对抗识别子网络和特征对抗识别子网络，从源域数据上学习得到域通用的几何信息，帮助模型学习在目标域上更具有判别力的特征表示，提高跨域模型在目标域数据上的分割效果。
附图说明
图1为本发明提出的多任务适应网络结构图；
图2(a)为源域图像及其标准分割图、图2(b)目标域图像及其标准分割图、图2(c)无适应分割结果图、图2(d)本发明的分割结果图；
图3为本发明的基于多任务协同跨域迁移的医学图像自动分割方法的流程图。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
如图1是本发明的网络结构图，图3是本发明的流程图，具体步骤如下：
步骤10，参数初始化，在源域图像数据上训练语义分割网络中，初始化Adam优化器中的动量参数为0.9，初始学习率为10-4，多项式衰减参数为0.9；在训练跨域迁移语义分割网络上，使用初始学习率为2*10-4的Adam优化器，并初始化多项式衰减参数为0.9；
步骤20，图像数据划分及预处理：将源域图像数据按原始数据1:1的比例划分为训练集和验证集，将目标域图像数据按比例2:1划分为训练集和验证集，将图像数据经过高斯滤波去除噪声，按初始化参数处理成相应大小与尺寸的图像；
步骤30，在源域数据上训练语义分割网络；
步骤301，定义语义分割网络为特征编码分支与特征解码分支，其中定义特征编码分支为5个双层卷积层(由两个由卷积核大小为3*3，步长为1的卷积层组成)和4个最大池化下采样层构成的网络；定义特征解码分支为4个双层卷积层、4个上采样层构成的网络，并且在双层卷积时，能够拼接由特征编码分支得到的特征图，最后输出层为一个卷积核大小为1*1，通道数为输出类别数目的卷积层；
步骤302，将由源数据得到的特征图输入至语义分割网络的特征解码分支中，得到多通道的源数据高维特征图和源数据语义分割图；
步骤303，计算并优化所得的由源数据语义分割图与原始数据分割图(标签)的损失函数值；
Figure BDA0002407252950000061
其中ps分别为源域图像xs经过语义分割网络得到的源数据语义分割图，
Figure BDA0002407252950000062
表示求数学期望，ys为源域图像xs的标签，c代表类别，此处为正类或负类。
步骤304，保存语义分割网络参数模型；
步骤40，在源域和目标域数据上训练基于多任务引导的跨域迁移语义分割网络；
步骤401，跨域迁移语义分割网络使用304步骤保存的语义分割模型参数作为初始化，优化目标函数如下：
Figure BDA0002407252950000063
其中ps分别为源域图像xs经过语义分割子网络的语义分割图，
Figure BDA0002407252950000064
表示求数学期望，ys为源域图像xs的标签，c代表类别，此处为正类或负类；
步骤402，训练重构子网络：
步骤403，定义重构分支为4个双层卷积层、4个上采样层和1个单卷积输出层构成的网络；
步骤404，将源域数据输入特征编码分支得到源域数据特征图；
步骤405，将源域数据特征图输入重构分支中，得到源域数据重构图；
步骤406，计算源域原始图像与源域重构图的损失函数值；
Figure BDA0002407252950000065
步骤407，将目标域数据输入特征编码分支得到目标域数据特征图；
步骤408，将目标域数据特征图输入重构分支中，得到目标域数据重构图；
步骤409，计算目标域原始图像与目标域重构图的损失函数值；
Figure BDA0002407252950000071
即最小化函数：
Figure BDA0002407252950000072
其中
Figure BDA0002407252950000073
和
Figure BDA0002407252950000074
分别为源域图像xs和目标域图像xt经过重构子网络的预测结果，
Figure BDA0002407252950000075
表示求数学期望；
步骤410，反向传播更新参数大小；
具体的，所述参数为：各个网络结构中的权重参数；
步骤50，跨域训练语义分割子网络；
步骤501，定义分割对抗域判别器为由4个单卷积层构成的网络，其中每个卷积层中的卷积核大小为4*4，步长为2，填充为1，并使用步骤30中保存的语义分割模型参数作为初始化参数；
步骤502，将目标域数据的语义标签图输入至语义标签判别器中，得到语义图判别标签；
步骤503，初始化目标数据原始域标签为0，源域数据原始标签为1；
步骤504，计算并最小化下列损失函数值，在判别空间上使得目标域数据的数据特征分布向源数据的数据特征分布靠拢；
Figure BDA0002407252950000076
其中，Dpred表示分割对抗识别子网络,pt目标域图像xt经过语义分割子网络的分割预测结果,
Figure BDA0002407252950000077
表示求数学期望；
步骤505，定义特征对抗判别器为3个卷积层与3个全连接层构成的网络；
步骤506，将目标域数据的高维特征图输入至特征图域判别器中，得到特征图域标签；
步骤507，计算并最小化下列损失函数值，在特征空间上使得目标域数据的数据特征分布向源于数据的数据特征分布靠拢；
Figure BDA0002407252950000081
其中Dfeat表示特征对抗识别子网络，ft目标域图像xt经过语义分割子网络的在输出层的前一层或者两层的输出特征图，
Figure BDA0002407252950000082
表示求数学期望；
结合上述，跨域的多任务网络(包括语义分割子网络和重构子网络)通过最小化如下目标函数得到，即
Figure BDA0002407252950000083
步骤60，训练分割对抗识别子网络：
步骤601，定义分割对抗识别子网络中的语义图域判别器为5个全卷积层构成的网络，其中卷积核大小为4*4，步长为2，通道分别为64、128、256、512、1，填充参数padding为1；
步骤602，固定生成器的参数，更新对抗识别子网络中语义图域判别器的参数；
步骤603，将由源域数据得到的语义分割图输入至语义图域判别器中，得到源域数据语义图域判别标签；
步骤604，计算源域数据语义域判别标签和源域数据域标签(初始化而来)的损失函数值；
Figure BDA0002407252950000084
步骤605，将由目标域数据得到的目标数据语义分割图输入语义图域判别器中，得到目标域数据语义图域判别标签；
步骤606，计算目标域数据语义域判别标签和目标域数据域标签(初始化而来)的损失函数值；
Figure BDA0002407252950000085
步骤607，分割对抗识别子网络参数通过最小化如下目标函数实现：
Figure BDA0002407252950000091
其中Dpred表示分割对抗识别子网络，ps和pt分别为源域图像xs和目标域图像xt经过语义分割子网络的分割预测结果，
Figure BDA0002407252950000092
表示求数学期望；
步骤70，训练特征对抗识别子网络：
步骤701，定义特征对抗识别子网络中特征图域判别器为3个卷积层与2个全连接层构成的网络结构，其中卷积层中卷积核大小为3*3，步长为2；
步骤702，将源域数据得到的源数据高维特征图输入特征图域判别器中，得到源域数据特征图域判别标签；
步骤703，计算源域数据特征图域判别标签和源域数据域标签的损失函数值；
Figure BDA0002407252950000093
步骤704，将目标域数据得到的目标数据高维特征图输入特征图域判别器中，得到目标域数据特征图域判别标签；
步骤705，计算目标域数据特征图域判别标签和目标域数据域标签的损失函数值；
Figure BDA0002407252950000094
步骤706，特征对抗识别子网络参数通过最小化如下目标函数实现：
Figure BDA0002407252950000095
其中Dfeat表示特征对抗识别子网络，fs和ft分别为源域图像xs和目标域图像xt经过语义分割子网络的在输出层的前一层或者两层的输出特征图，
Figure BDA0002407252950000096
表示求数学期望；
步骤80，重复上述步骤，交替优化
Figure BDA0002407252950000097
采用反向传播方法更新参数，得到最终的跨域迁移的医学图像自动分割网络。
如图2，图2(a)为源域图像数据及其标准分割，图2(b)为目标域数据及其标准分割，图2(c)为无自适应方法的分割结果，图2(d)为本发明的分割结果，由图2(c)与图2(d)的结果比较可知，本发明在分割细节上相比无自适应有了较大改进，提高了分割结果的精确性。
如表1，为本发明对比试验结果：
表1对比实验结果
Figure BDA0002407252950000101
其中“No adaptation”表示使用有标签的源域数据训练的分割模型直接对无标签目标域进行分割；“APMA-Net”表示本发明提出的基于多任务协同跨域迁移的医学图像自动分割方法。其中“DSC”表示“Dice系数”，可用来衡量预测结果的准确性，在“No adaptation”方法中为仅为45.3％，而在“APMA-Net”中为69.8％，有显著提升，由此可见本发明提出的方法在提高预测精度上有了较大的优势。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (11)

1.一种基于多任务协同跨域迁移的医学图像自动分割方法，其特征在于，具体包括如下步骤：
S1.在有标注的源域图像数据集上训练语义分割网络；
S11:对源域图像数据集进行预处理；
S12:将所述源域图像数据集划分为训练集、验证集，分别用于模型参数的优化和模型超参数的选择或调整；
S13：利用所述训练集和所述验证集训练语义分割网络参数模型；
S14：保存所述语义分割网络参数模型，用于预测和跨域模型迁移；
S2:在目标域图像数据集上训练基于多任务引导的跨域迁移语义分割网络；
S21:对目标域图像数据集进行预处理；
S22:将所述目标域图像数据集划分为训练集与验证集；
S23:利用所述步骤S12中源域图像数据集的训练集、所述步骤S22中目标域图像数据集的训练集、目标域图像数据集的验证集训练基于多任务引导的跨域迁移网络；
S24:保存生成的跨域迁移语义分割网络的参数模型，用于目标域上的分割预测；
S3:利用所述语义分割网络参数模型对属于源域的新的图像进行自动分割，利用所述跨域迁移网络参数模型对属于目标域的新的图像进行自动分割。
2.如权利要求1所述的一种基于多任务协同跨域迁移的医学图像自动分割方法，其特征在于，所述的多任务引导的跨域迁移语义分割网络包含四个子任务网络：语义分割子网络，采用全卷积编码-解码结构，用于提取和编码来自源域的图像及标注中的语义信息；重构子网络，采用全卷积编码-解码结构，用于重构来自源域和目标域上的图像，其输入和输出图像具有相同的大小；分割对抗识别子网络，采用全卷积网络结构；特征对抗识别子网络，采用卷积和全连接混合的网络结构。
3.如权利要求1所述的一种基于多任务协同跨域迁移的医学图像自动分割方法，其特征在于，所述的预处理包括图像去噪、直方图均衡化。
4.如权利要求2所述的一种基于多任务协同跨域迁移的医学图像自动分割方法，其特征在于，所述语义分割网络和语义分割子网络结构均为包含编码器和解码器的全卷积网络，采用交叉熵损失函数作为优化目标函数，采用随机梯度方法作为优化器。
5.如权利要求1所述的一种基于多任务协同跨域迁移的医学图像自动分割方法，其特征在于，所述多任务引导的跨域迁移语义分割网络同时使用源域图像数据集、源域图像数据集的标注和目标域图像数据集进行参数优化。
6.如权利要求2所述的一种基于多任务协同跨域迁移的医学图像自动分割方法，其特征在于，所述语义分割子网络采用所述语义分割网络参数模型作为初始化，输出误差损失函数为：
Figure FDA0002407252940000021
其中ps和pt分别为源域图像xs和目标域图像xt经过语义分割子网络的分割预测结果，
Figure FDA0002407252940000022
表示求数学期望，ys为源域图像xs的标签，c代表类别，此处为正类或负类。
7.如权利要求2所述的一种基于多任务协同跨域迁移的医学图像自动分割方法，其特征在于，所述重构子网络采用标准正态分布随机初始化参数，采用均方误差函数作为损失函数以最小化重构图像和原始图像的误差，即最小化如下目标函数：
Figure FDA0002407252940000023
其中
Figure FDA0002407252940000024
和
Figure FDA0002407252940000025
分别为源域图像xs和目标域图像xt经过重构子网络的预测结果，
Figure FDA0002407252940000026
表示求数学期望。
8.如权利要求2所述的一种基于多任务协同跨域迁移的医学图像自动分割方法，其特征在于，所述分割对抗识别子网络以所述语义分割子网络的预测分割结果为输入，其输出是与输入同等大小的图，输出图的每个像素取值范围为[0,1],对应的目标域的标签为0，源域的标签为1；分割对抗识别子网络参数通过最小化如下目标函数实现：
Figure FDA0002407252940000031
其中Dpred表示分割对抗识别子网络，ps和pt分别为源域图像xs和目标域图像xt经过语义分割子网络的分割预测结果，
Figure FDA0002407252940000032
表示求数学期望。
9.如权利要求2所述的一种基于多任务协同跨域迁移的医学图像自动分割方法，其特征在于，所述特征对抗识别子网络以语义分割子网络的输出层的前一层或前二层特征为输入，其输出为标量，取值范围为[0,1]，对应的目标域的标签为0，源域的标签为1；特征对抗识别子网络参数通过最小化如下目标函数实现：
Figure FDA0002407252940000033
其中Dfeat表示特征对抗识别子网络，fs和ft分别为源域图像xs和目标域图像xt经过语义分割子网络的在输出层的前一层或者两层的输出特征图，
Figure FDA0002407252940000034
表示求数学期望。
10.如权利要求2所述的一种基于多任务协同跨域迁移的医学图像自动分割方法，其特征在于，所述语义分割子网络通过最小化如下目标函数得到，即
Figure FDA0002407252940000035
其中Dfeat表示特征对抗识别子网络，Dpred表示分割对抗识别子网络,pt目标域图像xt经过语义分割子网络的分割预测结果,ft目标域图像xt经过语义分割子网络的在输出层的前一层或者两层的输出特征图，
Figure FDA0002407252940000036
表示求数学期望。
11.如权利要求2所述的一种基于多任务协同跨域迁移的医学图像自动分割方法，其特征在于，所述多任务引导的跨域迁移语义分割网络采用随机梯度方法优化器交替优化语义分割子网络、重构子网络、分割对抗识别子网络、特征对抗识别子网络。
CN202010165367.4A 2020-03-11 2020-03-11 一种基于多任务协同跨域迁移的医学图像自动分割方法 Active CN111402257B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010165367.4A CN111402257B (zh) 2020-03-11 2020-03-11 一种基于多任务协同跨域迁移的医学图像自动分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010165367.4A CN111402257B (zh) 2020-03-11 2020-03-11 一种基于多任务协同跨域迁移的医学图像自动分割方法

Publications (2)

Publication Number Publication Date
CN111402257A true CN111402257A (zh) 2020-07-10
CN111402257B CN111402257B (zh) 2023-04-07

Family

ID=71413355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010165367.4A Active CN111402257B (zh) 2020-03-11 2020-03-11 一种基于多任务协同跨域迁移的医学图像自动分割方法

Country Status (1)

Country Link
CN (1) CN111402257B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723780A (zh) * 2020-07-22 2020-09-29 浙江大学 基于高分辨率遥感图像的跨域数据的定向迁移方法及系统
CN111932555A (zh) * 2020-07-31 2020-11-13 商汤集团有限公司 一种图像处理方法及装置、计算机可读存储介质
CN112734764A (zh) * 2021-03-31 2021-04-30 电子科技大学 一种基于对抗网络的无监督医学图像分割方法
CN113096137A (zh) * 2021-04-08 2021-07-09 济南大学 一种oct视网膜图像领域适应分割方法及系统
CN113112454A (zh) * 2021-03-22 2021-07-13 西北工业大学 一种基于任务动态学习部分标记的医学图像分割方法
CN113469186A (zh) * 2021-06-30 2021-10-01 华侨大学 一种基于少量点标注的跨域迁移图像分割方法
CN113673529A (zh) * 2021-08-16 2021-11-19 连城凯克斯科技有限公司 语义分割模型训练方法、硅熔融状态检测方法及电子设备
CN114638964A (zh) * 2022-03-07 2022-06-17 厦门大学 基于深度学习的跨域三维点云分割方法、存储介质
CN114783072A (zh) * 2022-03-17 2022-07-22 哈尔滨工业大学（威海） 一种基于远域迁移学习的图像识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
US20190130220A1 (en) * 2017-10-27 2019-05-02 GM Global Technology Operations LLC Domain adaptation via class-balanced self-training with spatial priors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130220A1 (en) * 2017-10-27 2019-05-02 GM Global Technology Operations LLC Domain adaptation via class-balanced self-training with spatial priors
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周立君等: "一种基于GAN和自适应迁移学习的样本生成方法", 《应用光学》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723780A (zh) * 2020-07-22 2020-09-29 浙江大学 基于高分辨率遥感图像的跨域数据的定向迁移方法及系统
CN111723780B (zh) * 2020-07-22 2023-04-18 浙江大学 基于高分辨率遥感图像的跨域数据的定向迁移方法及系统
CN111932555A (zh) * 2020-07-31 2020-11-13 商汤集团有限公司 一种图像处理方法及装置、计算机可读存储介质
CN113112454A (zh) * 2021-03-22 2021-07-13 西北工业大学 一种基于任务动态学习部分标记的医学图像分割方法
CN113112454B (zh) * 2021-03-22 2024-03-19 西北工业大学 一种基于任务动态学习部分标记的医学图像分割方法
CN112734764A (zh) * 2021-03-31 2021-04-30 电子科技大学 一种基于对抗网络的无监督医学图像分割方法
CN113096137A (zh) * 2021-04-08 2021-07-09 济南大学 一种oct视网膜图像领域适应分割方法及系统
CN113469186A (zh) * 2021-06-30 2021-10-01 华侨大学 一种基于少量点标注的跨域迁移图像分割方法
CN113469186B (zh) * 2021-06-30 2023-06-23 华侨大学 一种基于少量点标注的跨域迁移图像分割方法
CN113673529A (zh) * 2021-08-16 2021-11-19 连城凯克斯科技有限公司 语义分割模型训练方法、硅熔融状态检测方法及电子设备
CN114638964A (zh) * 2022-03-07 2022-06-17 厦门大学 基于深度学习的跨域三维点云分割方法、存储介质
CN114783072A (zh) * 2022-03-17 2022-07-22 哈尔滨工业大学（威海） 一种基于远域迁移学习的图像识别方法

Also Published As

Publication number Publication date
CN111402257B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN111402257B (zh) 一种基于多任务协同跨域迁移的医学图像自动分割方法
CN111079532B (zh) 一种基于文本自编码器的视频内容描述方法
CN108537271B (zh) 一种基于卷积去噪自编码机防御对抗样本攻击的方法
CN110866958B (zh) 一种文本到图像的方法
CN108399428B (zh) 一种基于迹比准则的三元组损失函数设计方法
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
CN111382555B (zh) 数据处理方法、介质、装置和计算设备
CN111832570A (zh) 一种图像语义分割模型训练方法及系统
CN112528637B (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
CN111860759A (zh) 数据的自主修改的方法和系统
KR20200052453A (ko) 딥러닝 모델 학습 장치 및 방법
CN113469186B (zh) 一种基于少量点标注的跨域迁移图像分割方法
JP7448562B2 (ja) 人工知能のための希な訓練データへの対処
CN110827297A (zh) 基于改进的条件生成对抗网络的绝缘子分割方法
KR20200052446A (ko) 딥러닝 모델 학습 장치 및 방법
CN116304984A (zh) 基于对比学习的多模态意图识别方法及系统
CN111178039A (zh) 一种模型训练方法、装置、实现文本处理的方法及装置
CN113761868A (zh) 文本处理方法、装置、电子设备及可读存储介质
CN111653270A (zh) 语音处理方法、装置、计算机可读存储介质及电子设备
CN111950251A (zh) 测量给定ai任务的数据集的相似性的方法
CN115545041A (zh) 一种增强医疗语句语义向量表示的模型构造方法及系统
CN113299298B (zh) 残差单元及网络及目标识别方法及系统及装置及介质
CN117296061A (zh) 具有改进准确度和减少的计算资源消耗的扩散模型
CN113569062A (zh) 一种知识图谱补全方法与系统
CN113223011A (zh) 基于引导网络和全连接条件随机场的小样本图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant