CN111476771B - 一种基于距离对抗生成网络的领域自适应方法及系统 - Google Patents

一种基于距离对抗生成网络的领域自适应方法及系统 Download PDF

Info

Publication number
CN111476771B
CN111476771B CN202010259685.7A CN202010259685A CN111476771B CN 111476771 B CN111476771 B CN 111476771B CN 202010259685 A CN202010259685 A CN 202010259685A CN 111476771 B CN111476771 B CN 111476771B
Authority
CN
China
Prior art keywords
loss
slice
seg
domain
intermediate representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010259685.7A
Other languages
English (en)
Other versions
CN111476771A (zh
Inventor
邓楚富
陈志广
瞿毅力
苏琬琪
卢宇彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202010259685.7A priority Critical patent/CN111476771B/zh
Publication of CN111476771A publication Critical patent/CN111476771A/zh
Application granted granted Critical
Publication of CN111476771B publication Critical patent/CN111476771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于距离对抗生成网络的领域自适应方法及系统，本发明方法包括获取目标域的医学图像xT；将目标域的医学图像xT输入预先训练好的距离对抗生成网络，通过距离对抗生成网络中的目标域转换器GT将目标域的医学图像xT投影成中间表示mT；通过距离对抗生成网络中的分割器Seg对中间表示mT进行分割得到分割图lT,f；将得到的分割图lT,f作为目标域的医学图像xT的目标域分割标签输出。本发明能够解决不同医学图像模态的域自适应问题，使得在任意模态训练完成的数据集可以很好地运用在其他模态上，从而极大地提高医学图像处理模型的泛化能力，减轻图像处理模型对数据集的模态依赖。

Description

一种基于距离对抗生成网络的领域自适应方法及系统
技术领域
本发明涉及医学图像处理技术，具体涉及一种基于距离对抗生成网络的领域自适应方法及系统。
背景技术
先进的深度卷积神经网络(CNN)在包括语义分割在内的许多识别任务中实现了重大飞跃。但是，这些成功的模型大都依赖于大规模带注释的数据集，当目标数据集的标签较少时，模型强大的效果很难再现。在现实情况下，收集数据和为数据做标记的成本往往很高，如医学图像的分割标签需要有经验的医生花费大量的时间对一个个像素点进行标记，这导致目前许多公开的数据集标签少或是没有。当我们将训练好的有监督深度学习模型应用到缺乏大量标签的目标数据集中时，由于训练数据集与目标数据集在分布上存在差异，有监督深度学习模型很难发挥出它原有的效果；其次，因为缺乏标签，对设计好的有监督模型进行重新训练和再训练也不现实。为提高模型的泛化能力，使得在具有大量标签的数据集下训练好的模型能在缺乏标签的数据集上表现良好，一些研究提出了域适应(domainadaption)的方法来减少源数据集和目标数据集之间的分布差异。
域适应学习理论最早应用于自然语言处理。早期常见的域适应方法包括基于实例(instance-based)的域适应、基于特征表示(feature representation)的域适应、基于分类器(classifier-based)的域适应。基于实例的适应主要是通过对源域中的样本进行加权采样，使得模型在目标域上的训练误差最小，实现源域分布到目标域分布的转换。基于特征表示的域适应主要是通过将源域和目标域投影到域不变(domain-invariant)空间当中去，在该空间中，源域的投影特征的分布与目标域上的一致，在源域特征表现优秀的模型，在目标域特征上也能达到同样的效果；也有的研究使用格拉斯曼流行，通过整合无数个表征从源域到目标域的几何和统计属性的变化的子空间来模拟域移位(domain-shift)。基于分类器的域适应主要是通过直接学习目标分类器。
随着深度学习的发展，一些研究直接通过神经网络学习域不变特征，也有的研究通过域转换网络将目标域映射到源域，以此实现对目标域的测试。自2014年生成对抗网络GAN(Generative Adversarial Network)被提出以来，有许多研究使用对抗性损失来代替传统的最大平均差异MMD(Maximum Mean Discrepancy)，通过优化域分类器的对抗目标函数来最小化近似域差异距离，并取得了优秀的结果。
最近有的研究提出Distance GAN用于解决域适应的问题，不同于Distance GAN关注于同一域不同样本间的距离约束，针对医学的3D图像，我们主要关注同一样本不同切片间的距离以及不同域样本间的距离。对同一样本不同切片间的距离约束，能确保我们的模型在转换过程中保留切片间的联系信息；对不同域样本间的距离约束，能确保我们的模型对不同域的区分能力。
医学图像有多种不同模态，例如不同对比度的MRI、不同剂量的CT以及超声波等。现如今包含配对的多模态图像、以及配对的标签的公开数据集还是比较少的。不同模态之间的分布不同，如对MRI-T1图像进行分割的模型并不适用于MRI-T2，若是要求模型能同时对MRI-T1和MRI-T2进行分割或是为MRI-T1和MRI-T2分别训练一个分割模型，都需要MRI-T1和MRI-T2有相对应的分割标签。若是能实现医学图像不同模态间的域适应，使得在MRI-T1上训练的模型也能很好地运用在MRI-T2等模态上，那将大大地提高模型的泛化能力，减轻模型对数据集的依赖。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于距离对抗生成网络的领域自适应方法及系统，本发明能够将源域与目标域投影到一个中间空间，使得源域与目标域在该投影空间上的分布趋于一致，最终将在源域上训练好的模型应用在目标域上，从而解决不同医学图像模态的域自适应问题，使得在任意模态训练完成的数据集可以很好地运用在其他模态上，从而极大地提高医学图像处理模型的泛化能力，减轻图像处理模型对数据集的模态依赖。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于距离对抗生成网络的领域自适应方法，实施步骤包括：
获取目标域的医学图像xT；
将目标域的医学图像xT输入预先训练好的距离对抗生成网络，通过距离对抗生成网络中的目标域转换器GT将目标域的医学图像xT投影成中间表示mT；通过距离对抗生成网络中的分割器Seg对中间表示mT进行分割得到分割图lT,f；
将得到的分割图lT,f作为目标域的医学图像xT的目标域分割标签输出。
可选地，所述距离对抗生成网络包括：
转换器，包括将源域的医学图像xS转换成到中间表示mS的源域转换器GS、将目标的医学图像xT转换成到中间表示mT的目标域转换器GT以及鉴别器D，源域转换器GS、目标域转换器GT的目的使中间表示mS与mT的分布趋于一致，鉴别器D的输入为中间表示，它将中间表示mS判别为真，将中间表示mT判别为假；
分割器Seg，用于对中间表示进行分割，所述分割器Seg它包括一个下采样路径和一个上采样路径，最终输出一个与源数据同样大小的分割图；
切片预测器Predictor，用于信息建模，所述切片预测器Predictor为改进的双向LSTM，所述改进的双向LSTM是指利用两端的切片，对正向和反向的序列信息进行建模，完成对中间的切片进行预测。
可选地，所述将目标域的医学图像xT输入预先训练好的距离对抗生成网络之前包括训练距离对抗生成网络的步骤，所述训练距离对抗生成网络的步骤中包括训练源域转换器GS和分割器Seg的步骤：
A1)输入源数据集中的任意一张源域的医学图像xS及其分割标签lS；
A2)利用源域转换器GS将源域的医学图像xS转换成到中间表示mS；
A3)将中间表示mS输入分割器Seg得到分割图lS,f；计算源域的医学图像xS、中间表示mS间的差值矩阵Dslice(xS)、Dslice(mS)；计算分割器Seg的分割损失lossseg；
A4)对分割损失lossseg求导，反向传播计算出各层参数的梯度值，根据梯度值更新源域转换器GS和分割器Seg的参数完成本轮迭代；
A5)判断是否满足预设的迭代退出条件，如果满足预设的迭代退出条件则结束训练并退出，否则跳转执行步骤A1)进入下一轮迭代。
可选地，步骤A3)中计算分割器Seg的分割损失lossseg的计算函数表达式如下：
lossseg(GS,Seg)＝ω1‖Seg(GS(xS))-lS‖2+ω2‖Dslice(xS)-λ1Dslice(GS(xS))‖2
上式中，lossseg(GS,Seg)表示分割器Seg的分割损失lossseg，Seg(GS(xS))表示分割图lS,f，Dslice(xS)为源域的医学图像xS的差值矩阵，Dslice(GS(xS))为中间表示mS的差值矩阵Dslice(mS)，lS为源域的医学图像xS的分割标签，ω1是分割损失的权重，ω2是邻近切片的差值矩阵损失的权重，λ1是差值矩阵线性关系的系数。
可选地，所述训练距离对抗生成网络的步骤中还包括训练切片预测器Predictor的步骤：
B1)输入源数据集中的任意一张源域的医学图像xS及其分割标签lS；
B2)利用源域转换器GS将源域的医学图像xS转换成到中间表示mS；
B3)将中间表示mS在切片方向切分成左部分mS,l、中间部分mS,m、右部分mS,r；
B4)将左部分mS,l、右部分mS,r输入切片预测器Predictor，通过切片预测器Predictor的LSTM网络LSTMfw对左部分mS,l进行信息建模预测出左部分预测结果
Figure BDA0002438821720000031
通过切片预测器Predictor的LSTM网络LSTMbw对右部分mS,r进行信息建模预测出右部分预测结果
Figure BDA0002438821720000032
B5)将左部分预测结果
Figure BDA0002438821720000033
和右部分预测结果/>
Figure BDA0002438821720000034
加权求和得到预测结果m′S,m；
B6)计算切片预测损失losspred；
B7)对切片预测损失losspred求导，反向传播计算出各层参数的梯度值，根据梯度值更新切片预测器Predictor的LSTM网络LSTMfw以及LSTM网络LSTMbw的参数完成本轮迭代；
B8)判断是否满足预设的迭代退出条件，如果满足预设的迭代退出条件则结束训练并退出，否则跳转执行步骤B1)进入下一轮迭代。
可选地，步骤B6)中计算切片预测损失losspred的计算函数表达式如下：
losspred(Predictor)＝‖m′S,m-mS,m‖2
上式中，losspred(Predictor)表示切片预测损失losspred，m′S,m为切片预测器Predictor对中间表示mS左右两部分作为输入得到的预测结果，mS,m为中间表示mS的中间部分。
可选地，所述训练距离对抗生成网络的步骤中还包括在训练源域转换器GS和分割器Seg、训练切片预测器Predictor之后训练目标域转换器GT的步骤：
C1)输入源数据集中的任意一张源域的医学图像xS及其分割标签lS，目标数据集中的任意一张目标域的医学图像xT；
C2)将源域的医学图像xS输入源域转换器GS得到中间表示mS，将目标域的医学图像xT输入目标域转换器GT得到中间表示mT；
C3)将中间表示mS与mT输入鉴别器D进行对抗学习，计算目标域的医学图像xT、中间表示mT间的差值矩阵Dslice(xT)、Dslice(mT)；计算中间表示mS、中间表示mT间的域间距离损失；将中间表示mT在切片方向切分成左部分mT,l、中间部分mT,m、右部分mT,r，将左部分mT,l、右部分mT,r输入切片预测器Predictor，通过切片预测器Predictor的LSTM网络LSTMfw对左部分mT,l进行信息建模预测出左部分预测结果
Figure BDA0002438821720000041
通过切片预测器Predictor的LSTM网络LSTMbw对右部分mT,r进行信息建模预测出右部分预测结果/>
Figure BDA0002438821720000042
将左部分预测结果/>
Figure BDA0002438821720000043
和右部分预测结果/>
Figure BDA0002438821720000044
加权求和得到预测结果m′T,m；
C4)计算总的损失函数；
C5)对总的损失函数求导，开启反向传播逐层计算出目标域转换器GT各层参数的梯度值，然后根据各层参数梯度更新目标域转换器GT各层参数，完成本轮迭代；
C6)判断是否满足预设的微调条件，如果满足预设的微调条件跳转执行下一步，否则跳转执行步骤C8)；
C7)固定目标域转换器GT各层参数，然后再进行一轮迭代训练源域转换器GS和分割器Seg以完成对源域转换器GS和分割器Seg的微调，再进行一轮迭代训练切片预测器Predictor以完成对切片预测器Predictor的微调；
C8)判断是否满足预设的迭代退出条件，如果满足预设的迭代退出条件则结束训练，否则跳转执行步骤C1)进入下一轮迭代。
可选地，步骤C4)中计算总的损失函数的计算函数表达式如下：
lossall(GS,GT,Seg,Predictor,D)＝(lossg+lossseg+losspred+lossd+lossadv)×W
上式中，lossall(GS,GT,Seg,Predictor,D)表示总的损失函数，lossg为转换器损失，lossseg为分割损失，losspred为切片预测损失，lossd为鉴别器损失，lossadv为对抗损失；
其中，转换器损失lossg的计算函数表达式如下：
Figure BDA0002438821720000051
上式中，lossg(GT)表示转换器损失lossg，转换器损失由投影后的域间距离损失、目标域的邻近切片的差值矩阵损失以及目标域的切片预测损失组成，ω3、ω4、ω5为对应的权重，λ2为差值矩阵线性关系的系数，μS、μT、σS和σT分别为中间表示mS、mT的均值和标准差，mT,m是中间表示mT的中间部分，m′T,m为切片预测器Predictor对中间表示mT左右两部分作为输入得到的预测结果；
其中，分割损失lossseg的计算函数表达式如下：
lossseg(GS,Seg)＝ω1‖Seg(GS(xS))-lS‖2+ω2‖Dslice(xS)-λ1Dslice(GS(xS))‖2
上式中，lossseg(GS,Seg)表示分割器Seg的分割损失lossseg，Seg(GS(xS))表示分割图lS,f，Dslice(xS)为源域的医学图像xS的差值矩阵，Dslice(GS(xS))为中间表示mS的差值矩阵Dslice(mS)，lS为源域的医学图像xS的分割标签，ω1是分割损失的权重，ω2是邻近切片的差值矩阵损失的权重，λ1是差值矩阵线性关系的系数；
其中，切片预测损失losspred的计算函数表达式如下：
losspred(Predictor)＝‖m′S,m-mS,m‖2
上式中，losspred(Predictor)表示切片预测损失losspred，m′S,m为切片预测器Predictor对中间表示mS左右两部分作为输入得到的预测结果，mS,m为中间表示mS的中间部分；
其中，鉴别器损失lossd的计算函数表达式如下：
lossd(D)＝logD(GS(xS))+log(1-D(GT(xT)))
上式中，lossd(D)表示鉴别器损失lossd，D(GS(xS))表示鉴别器D对中间表示mS的鉴别结果，D(GT(xT))表示鉴别器D对中间表示mT的鉴别结果；
其中，对抗损失lossadv的计算函数表达式如下：
lossadv(GT)＝log(D(GT(xT)))
上式中，lossadv(GT)表示对抗损失lossadv，D(GT(xT))表示鉴别器D对中间表示mT的鉴别结果。
此外，本发明还提供一种基于距离对抗生成网络的领域自适应系统，包括计算机设备，该计算机设备被编程或配置以执行前述基于距离对抗生成网络的领域自适应方法的步骤，或者该计算机设备的存储器上存储有被编程或配置以执行前述基于距离对抗生成网络的领域自适应方法的计算机程序。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行前述基于距离对抗生成网络的领域自适应方法的计算机程序。
和现有技术相比，本发明具有下述优点：本发明通过将目标域的医学图像xT输入预先训练好的距离对抗生成网络，通过距离对抗生成网络中的目标域转换器GT将目标域的医学图像xT投影成中间表示mT；通过距离对抗生成网络中的分割器Seg对中间表示mT进行分割得到分割图lT,f；将得到的分割图lT,f作为目标域的医学图像xT的目标域分割标签输出，本发明能够将源域与目标域投影到一个中间空间，使得源域与目标域在该投影空间上的分布趋于一致，最终将在源域上训练好的模型应用在目标域上，从而解决不同医学图像模态的域自适应问题，使得在任意模态训练完成的数据集可以很好地运用在其他模态上，从而极大地提高医学图像处理模型的泛化能力，减轻图像处理模型对数据集的模态依赖。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例中分割器Seg的训练流程示意图。
图3为本发明实施例中切片预测器Predictor的训练流程示意图。
图4为本发明实施例中转换器的训练流程示意图。
图5为本发明实施例中源域转换器GS和分割器Seg的训练架构示意图。
图6为本发明实施例中切片预测器Predictor的训练架构示意图。
图7为本发明实施例中转换器的训练架构示意图。
具体实施方式
如图1所示，本实施例基于距离对抗生成网络的领域自适应方法的实施步骤包括：
获取目标域的医学图像xT；
将目标域的医学图像xT输入预先训练好的距离对抗生成网络，通过距离对抗生成网络中的目标域转换器GT将目标域的医学图像xT投影成中间表示mT；通过距离对抗生成网络中的分割器Seg对中间表示mT进行分割得到分割图lT,f；
将得到的分割图lT,f作为目标域的医学图像xT的目标域分割标签输出。
本实施例基于距离对抗生成网络的领域自适应方法要解决的问题描述如下：假设给定的源域数据xS(h×w×c)、其对应的分布PS(x)和对应的像素级标签lS(h×w×c)，目标域数据xT(h×w×c)其对应的分布PT(x)。本实施例方法的目标是将源数据和目标域数据投影至一个域不变空间中，在该空间中，投影后的中间表示mS(h×w×c)、mT(h×w×c)对应的分布PS(m)、PT(m)趋于一致，通过为中间表示学习一个分割器Seg，最终可以对目标域的医学图像xT进行分割，获得像素级的标签图lT,f(h×w×c)。
本实施例中，距离对抗生成网络包括：
转换器，包括将源域的医学图像xS转换成到中间表示mS的源域转换器GS、将目标的医学图像xT转换成到中间表示mT的目标域转换器GT以及鉴别器D，源域转换器GS、目标域转换器GT的目的使中间表示mS与mT的分布趋于一致，鉴别器D的输入为中间表示，它将中间表示mS判别为真，将中间表示mT判别为假；
分割器Seg，用于对中间表示进行分割，所述分割器Seg它包括一个下采样路径和一个上采样路径，最终输出一个与源数据同样大小的分割图；
切片预测器Predictor，用于信息建模，所述切片预测器Predictor为改进的双向LSTM，所述改进的双向LSTM是指利用两端的切片，对正向和反向的序列信息进行建模，完成对中间的切片进行预测。改进的基于双向LSTM的预测方法既考虑了正向切片序列的信息，也考虑了反向切片序列的信息，提高了预测的准确性；同时也能为距离较远的切片建立联系，使得转换得到的中间表示能保留原数据的远距离序列信息。
其中，转换器是基于Distance GAN的改进，源域转换器GS、目标域转换器GT与鉴别器D形成一种“博弈”的关系，随着算法的收敛，mS与mT的分布越来越接近，鉴别器最终不能区分mS与mT的真假性。切片预测器Predictor是一个改进的双向LSTM，不同于传统的双向LSTM利用同一部分切片的信息建模，改进的双向LSTM则是利用两端的切片，对正向和反向的序列信息进行建模，完成对中间的切片进行预测。本实施例中针对距离对抗生成网络采用无监督学习方法，将源域与目标域投影到一个中间空间，使得源域与目标域在该投影空间上的分布趋于一致，最终将在源域上训练好的模型应用在目标域上。
为了符合期望，中间表示应当具有这两个特点：1、中间表示需要保留分割所需要的语义信息；2、源数据和目标数据在投影到中间空间后具有同样的分布。第一个特点是使得源域中间表示有效，能被分割器准确分割。第二个特点是使得目标域中间表示也能被准确分割。在本实施例中，我们考虑第一个特点。在缺乏目标数据的标签的情况下，为了得到有效中间表示，我们利用源数据的标签对源域转换器GS和分割器Seg进行预训练。前述将目标域的医学图像xT输入预先训练好的距离对抗生成网络之前包括训练距离对抗生成网络的步骤，如图2和图5所示，训练距离对抗生成网络的步骤中包括训练源域转换器GS和分割器Seg的步骤：
A1)输入源数据集中的任意一张源域的医学图像xS及其分割标签lS；
A2)利用源域转换器GS将源域的医学图像xS转换成到中间表示mS；
A3)将中间表示mS输入分割器Seg得到分割图lS,f；计算源域的医学图像xS、中间表示mS间的差值矩阵Dslice(xS)、Dslice(mS)；计算分割器Seg的分割损失lossseg；
A4)对分割损失lossseg求导，反向传播计算出各层参数的梯度值，根据梯度值更新源域转换器GS和分割器Seg的参数完成本轮迭代；
A5)判断是否满足预设的迭代退出条件，如果满足预设的迭代退出条件则结束训练并退出，否则跳转执行步骤A1)进入下一轮迭代。
不同于2D图像的处理，医学3D图像切片间存在重要的联系。虽然我们能将整个xS投影到一个较为有效的空间，但是由于投影空间太大，加上在转换过程中缺少对这些联系的约束和记忆，使得原本3D图像中联系紧密的各个切片，转换后分布差异较大，对后续的分割操作造成影响。因此，在原有lS与lS,f分割损失的基础上，我们通过计算差值矩阵Dslice(xS)与Dslice(mS)之间的距离，加入了约束切片间距离的损失。我们的Dslice()函数主要是计算相邻切片间的距离(前后切片的差值)，得到一个距离矩阵(h×w×(c-1))。通过这两种损失的约束，我们得到了能将xS转换成保留了分割所需要的语义信息的中间表示mS的GS，限定了中间空间的范围。本实施例方法在投影过程中通过计算邻近切片的差值矩阵以及差值矩阵在域之间的线性关系，使得转换得到的中间表示能保留原数据的近距离序列信息。
本实施例中，步骤A3)中计算分割器Seg的分割损失lossseg的计算函数表达式如下：
lossseg(GS,Seg)＝ω1‖Seg(GS(xS))-lS‖2+ω2‖Dslice(xS)-λ1Dslice(GS(xS))‖2
上式中，lossseg(GS,Seg)表示分割器Seg的分割损失lossseg，Seg(GS(xS))表示分割图lS,f，Dslice(xS)为源域的医学图像xS的差值矩阵，Dslice(GS(xS))为中间表示mS的差值矩阵Dslice(mS)，lS为源域的医学图像xS的分割标签，ω1是分割损失的权重，ω2是邻近切片的差值矩阵损失的权重，λ1是差值矩阵线性关系的系数。
如图3和图6所示，训练距离对抗生成网络的步骤中还包括训练切片预测器Predictor的步骤：
B1)输入源数据集中的任意一张源域的医学图像xS及其分割标签lS；
B2)利用源域转换器GS将源域的医学图像xS转换成到中间表示mS；
B3)将中间表示mS在切片方向切分成左部分mS,l、中间部分mS,m、右部分mS,r；
B4)将左部分mS,l、右部分mS,r输入切片预测器Predictor，通过切片预测器Predictor的LSTM网络LSTMfw对左部分mS,l进行信息建模预测出左部分预测结果
Figure BDA0002438821720000081
通过切片预测器Predictor的LSTM网络LSTMbw对右部分mS,r进行信息建模预测出右部分预测结果
Figure BDA0002438821720000082
B5)将左部分预测结果
Figure BDA0002438821720000083
和右部分预测结果/>
Figure BDA0002438821720000084
加权求和得到预测结果m′S,m；
B6)计算切片预测损失losspred；
B7)对切片预测损失losspred求导，反向传播计算出各层参数的梯度值，根据梯度值更新切片预测器Predictor的LSTM网络LSTMfw以及LSTM网络LSTMbw的参数完成本轮迭代；
B8)判断是否满足预设的迭代退出条件，如果满足预设的迭代退出条件则结束训练并退出，否则跳转执行步骤B1)进入下一轮迭代。
LSTM最初用于自然语言处理领域，对有时序关系的文本进行建模，进而完成翻译、情感分析、人机对话等任务。而双向LSTM的提出则是更好地对具有上下文关系的文本进行建模，提高了预测的准确性。后来，有的研究将LSTM用于图像处理领域，进行视频的分析和预测。在分割器的预训练过程中，我们对中间表示的邻近切片间的距离关系进行了约束，为了加强位置相隔较远的切片的联系以及减少计算量，我们利用改进的双向LSTM来对这种顺序关系进行建模。具体来说，我们利用前面一部分的切片和后面一部分的切片来预测中间一部分的切片，使得预测的中间切片具有正向序列和反向序列的信息，以此提高预测准确率。我们设mS,l、mS,m、mS,r分别表示中间表示mS的左部分、中间部分、右部分。我们的切片预测器Predictor包括两个LSTM网络，LSTMfw负责对mS,l进行预测，输出
Figure BDA0002438821720000091
LSTMbw负责对mS,r进行预测，输出/>
Figure BDA0002438821720000092
之后将这两个预测结果进行融合，得到我们的最终预测结果m′S,m。融合方式为加权求和，即：预测结果m′S,m由/>
Figure BDA0002438821720000093
和/>
Figure BDA0002438821720000094
的和得到。
其中，λf，λb为权重向量，假设mS,m有n个切片，则有：
Figure BDA0002438821720000095
Figure BDA0002438821720000096
即：给予向前预测越早的切片更高的权重，给予向后预测越早的切片更高的权重。通过计算m′S,m与mS,m的有监督损失，完成对整个切片预测器进行训练，为之后对目标域中间表示的训练提供指导。
本实施例中，步骤B6)中计算切片预测损失losspred的计算函数表达式如下：
losspred(Predictor)＝‖m′S,m-mS,m‖2
上式中，losspred(Predictor)表示切片预测损失losspred，m′S,m为切片预测器Predictor对中间表示mS左右两部分作为输入得到的预测结果，mS,m为中间表示mS的中间部分。
经过利用有标签的源域数据和标签对分割器和切片预测器的预训练，我们的源域转换器GS基本能将源域数据投影到有效的中间表示空间中去，我们的分割器也能对中间表示进行较为准确的分割，我们的切片预测器也能很好的根据中间表示的两端的切片信息对中间切片进行预测。接下来我们将利用源域转换器GS、分割器Seg和切片预测器Predictor来对目标域转换器GT进行训练，使得目标域生成器能将目标域数据投影到有效的中间空间当中去。同时对源域转换器GS、分割器Seg、切片预测器Predictor进行微调，使得源数据和目标数据在投影到中间空间后具有同样的分布。如图4和图7所示，训练距离对抗生成网络的步骤中还包括在训练源域转换器GS和分割器Seg、训练切片预测器Predictor之后训练目标域转换器GT的步骤：
C1)输入源数据集中的任意一张源域的医学图像xS及其分割标签lS，目标数据集中的任意一张目标域的医学图像xT；
C2)将源域的医学图像xS输入源域转换器GS得到中间表示mS，将目标域的医学图像xT输入目标域转换器GT得到中间表示mT；
C3)将中间表示mS与mT输入鉴别器D进行对抗学习，计算目标域的医学图像xT、中间表示mT间的差值矩阵Dslice(xT)、Dslice(mT)；计算中间表示mS、中间表示mT间的域间距离损失；将中间表示mT在切片方向切分成左部分mT,l、中间部分mT,m、右部分mT,r，将左部分mT,l、右部分mT,r输入切片预测器Predictor，通过切片预测器Predictor的LSTM网络LSTMfw对左部分mT,l进行信息建模预测出左部分预测结果
Figure BDA0002438821720000101
通过切片预测器Predictor的LSTM网络LSTMbw对右部分mT,r进行信息建模预测出右部分预测结果/>
Figure BDA0002438821720000102
将左部分预测结果/>
Figure BDA0002438821720000103
和右部分预测结果/>
Figure BDA0002438821720000104
加权求和得到预测结果m′T,m；/>
C4)计算总的损失函数；
C5)对总的损失函数求导，开启反向传播逐层计算出目标域转换器GT各层参数的梯度值，然后根据各层参数梯度更新目标域转换器GT各层参数，完成本轮迭代；
C6)判断是否满足预设的微调条件，如果满足预设的微调条件跳转执行下一步，否则跳转执行步骤C8)；本实施例中微调的方式为每迭代N次进行一次微调，因此预设的微调条件为迭代次数对预设数值N取模是否为0；
C7)固定目标域转换器GT各层参数，然后再进行一轮迭代训练源域转换器GS和分割器Seg以完成对源域转换器GS和分割器Seg的微调，再进行一轮迭代训练切片预测器Predictor以完成对切片预测器Predictor的微调；其中，训练源域转换器GS和分割器Seg的步骤如前文的A1)～A5)所示，训练切片预测器Predictor的步骤如前文的B1)～B8)所示。在训练目标域转换器GT的步骤之前训练源域转换器GS和分割器Seg、训练切片预测器Predictor的步骤用于完成参数的预训练，在训练目标域转换器GT的步骤之后训练源域转换器GS和分割器Seg、训练切片预测器Predictor的步骤用于完成参数的微调；
C8)判断是否满足预设的迭代退出条件，如果满足预设的迭代退出条件则结束训练，否则跳转执行步骤C1)进入下一轮迭代。
受启发于Distance GAN，将中间表示mS与mT输入鉴别器D进行对抗学习(鉴别器D对mS、mT进行鉴别，将mS判别为真，将mT判别为假)、计算中间表示mS、中间表示mT间的域间距离损失
Figure BDA0002438821720000105
的作用是使得mS和mT的分布能尽可能的相似，其中μS、μT、σS和σT分别为mS、mT的均值和标准差；由于鉴别器提供的损失指导以及与mT监督损失，使得mT逐渐接近目标空间。计算xT和mT切片间的差值矩阵Dslice(xT)和Dslice(mT)以及将左部分预测结果/>
Figure BDA0002438821720000111
和右部分预测结果/>
Figure BDA0002438821720000112
加权求和得到预测结果m′T,m的作用则是加强中间表示切片间的联系。在这一训练过程中，由于原始域间的分布差异，完全固定源域转换器GS的参数会加大目标域转换器GT的学习难度，不利于将中间表示mS和mT投影到同一个空间。为此我们在训练目标域转换器GT时，会利用对抗损失、mS和mT的监督损失、分割损失对源域转换器GS、分割器Seg、切片预测器Predictor进行微调；对抗损失和监督损失是为了使mS、mT分布维持相似，分割损失是为了维持mS的有效性；对分割器Seg、切片预测器Predictor的微调是为了适应微调后的源域转换器GS。
综上所述，完整的训练过程包括：利用源域数据对源域转换器和分割器进行预训练，利用源域转换器器产生的中间表示对切片预测器进行训练，利用源域数据和目标域数据对目标生成器和鉴别器进行训练，对其余部件进行微调。
本实施例中，步骤C4)中计算总的损失函数的计算函数表达式如下：
lossall(GS,GT,Seg,Predictor,D)＝(lossg+lossseg+losspred+lossd+lossadv)×W
上式中，lossall(GS,GT,Seg,Predictor,D)表示总的损失函数，lossg为转换器损失，lossseg为分割损失，losspred为切片预测损失，lossd为鉴别器损失，lossadv为对抗损失；总损失包括了上述的所有损失，W为权重向量。通过最小化该损失函数进行训练及微调，使得GT、GT最终能将xS、xT投影到同一个有效的中间空间当中去。
其中，转换器损失lossg的计算函数表达式如下：
Figure BDA0002438821720000113
上式中，lossg(GT)表示转换器损失lossg，转换器损失由投影后的域间距离损失、目标域的邻近切片的差值矩阵损失以及目标域的切片预测损失组成，ω3、ω4、ω5为对应的权重，λ2为差值矩阵线性关系的系数，μS、μT、σS和σT分别为中间表示mS、mT的均值和标准差，mT,m是中间表示mT的中间部分，m′T,m为切片预测器Predictor对中间表示mT左右两部分作为输入得到的预测结果；
其中，分割损失lossseg的计算函数表达式如下：
lossseg(GS,Seg)＝ω1‖Seg(GS(xS))-lS‖2+ω2‖Dslice(xS)-λ1Dslice(GS(xS))‖2
上式中，lossseg(GS,Seg)表示分割器Seg的分割损失lossseg，Seg(GS(xS))表示分割图lS,f，Dslice(xS)为源域的医学图像xS的差值矩阵，Dslice(GS(xS))为中间表示mS的差值矩阵Dslice(mS)，lS为源域的医学图像xS的分割标签，ω1是分割损失的权重，ω2是邻近切片的差值矩阵损失的权重，λ1是差值矩阵线性关系的系数；分割器Seg是源域与目标域共用的，由于目标域没有标签，所以该部件只利用源域数据进行预训练，并在之后训练过程中进行微调。源域转换器GS只用于源域数据。
其中，切片预测损失losspred的计算函数表达式如下：
losspred(Predictor)＝‖m′S,m-mS,m‖2
上式中，losspred(Predictor)表示切片预测损失losspred，m′S,m为切片预测器Predictor对中间表示mS左右两部分作为输入得到的预测结果，mS,m为中间表示mS的中间部分；切片预测器Predictor是源域与目标域共用的，它使用源数据的中间表示进行预训练，并在之后训练过程中进行微调；
其中，鉴别器损失lossd的计算函数表达式如下：
lossd(D)＝logD(GS(xS))+log(1-D(GT(xT)))
上式中，lossd(D)表示鉴别器损失lossd，D(GS(xS))表示鉴别器D对中间表示mS的鉴别结果，D(GT(xT))表示鉴别器D对中间表示mT的鉴别结果；鉴别器D是是源域与目标域共用的，目标域转换器GT只用于目标域数据，xS表示源域数据的任一图像，xT表示目标域数据的任一图像。鉴别器D对xS、xT的中间表示进行判别，通过最小化该损失函数，使得鉴别器D将GS(xS)的输出mS判别为真，数值为1，将GT(xT)的输出mT判别为假，数值为0。
其中，对抗损失lossadv的计算函数表达式如下：
lossadv(GT)＝log(D(GT(xT)))
上式中，lossadv(GT)表示对抗损失lossadv，D(GT(xT))表示鉴别器D对中间表示mT的鉴别结果。因目标域转换器GT与鉴别器D形成一种“博弈”的关系，目标域转换器GT希望自己生成的中间表示mT能够被鉴别器判别为真，数值为1，通过最小化判别结果与真实标签的距离，使损失结果能指导目标域转换器GT生成越来越接近mS的分布的中间表示，最终使得源域转换器GS、目标域转换器GT能将输入数据投影到同一个空间。
综上所述，本实施例中涉及的距离对抗生成网络和现有的技术相比具有下述优点：1、在投影过程中，通过计算邻近切片的差值矩阵以及差值矩阵在域之间的线性关系，使得转换得到的中间表示能保留原数据的近距离序列信息。2、改进的基于双向LSTM的预测方法既考虑了正向切片序列的信息，也考虑了反向切片序列的信息，提高了预测的准确性。同时也能为距离较远的切片建立联系，使得转换得到的中间表示能保留原数据的远距离序列信息。
此外，本实施例还提供一种基于距离对抗生成网络的领域自适应系统，包括计算机设备，该计算机设备被编程或配置以执行前述基于距离对抗生成网络的领域自适应方法的步骤，或者该计算机设备的存储器上存储有被编程或配置以执行前述基于距离对抗生成网络的领域自适应方法的计算机程序。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行前述基于距离对抗生成网络的领域自适应方法的计算机程序。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于距离对抗生成网络的领域自适应方法，其特征在于实施步骤包括：
获取目标域的医学图像xT；
将目标域的医学图像xT输入预先训练好的距离对抗生成网络，通过距离对抗生成网络中的目标域转换器GT将目标域的医学图像xT投影成中间表示mT；通过距离对抗生成网络中的分割器Seg对中间表示mT进行分割得到分割图lT，f；
将得到的分割图lT，f作为目标域的医学图像xT的目标域分割标签输出；
所述距离对抗生成网络包括：转换器，包括将源域的医学图像xS转换成到中间表示mS的源域转换器GS、将目标的医学图像xT转换成到中间表示mT的目标域转换器GT以及鉴别器D，源域转换器GS、目标域转换器GT的目的使中间表示mS与mT的分布趋于一致，鉴别器D的输入为中间表示，它将中间表示mS判别为真，将中间表示mT判别为假；分割器Seg，用于对中间表示进行分割，所述分割器Seg它包括一个下采样路径和一个上采样路径，最终输出一个与源数据同样大小的分割图；切片预测器Predictor，用于信息建模，所述切片预测器Predictor为改进的双向LSTM，所述改进的双向LSTM是指利用两端的切片，对正向和反向的序列信息进行建模，完成对中间的切片进行预测；所述将目标域的医学图像xT输入预先训练好的距离对抗生成网络之前包括训练距离对抗生成网络的步骤，所述训练距离对抗生成网络的步骤中包括训练源域转换器GS和分割器Seg的步骤：
A1)输入源数据集中的任意一张源域的医学图像xS及其分割标签lS；
A2)利用源域转换器GS将源域的医学图像xS转换成到中间表示mS；
A3)将中间表示mS输入分割器Seg得到分割图lS，f；计算源域的医学图像xS、中间表示mS间的差值矩阵Dslice(xS)、Dslice(mS)；计算分割器Seg的分割损失lossseg；
A4)对分割损失lossseg求导，反向传播计算出各层参数的梯度值，根据梯度值更新源域转换器GS和分割器Seg的参数完成本轮迭代；
A5)判断是否满足预设的迭代退出条件，如果满足预设的迭代退出条件则结束训练并退出，否则跳转执行步骤A1)进入下一轮迭代。
2.根据权利要求1所述的基于距离对抗生成网络的领域自适应方法，其特征在于，步骤A3)中计算分割器Seg的分割损失lossseg的计算函数表达式如下：
lossseg(GS，Seg)＝ω1||Seg(GS(xS))-lS||2+ω2||Dslice(xS)-λ1Dslice(GS(xS))||2
上式中，lossseg(GS，Seg)表示分割器Seg的分割损失lossseg，Seg(GS(xS))表示分割图lS，f，Dslice(xS)为源域的医学图像xS的差值矩阵，Dslice(GS(xS))为中间表示mS的差值矩阵Dslice(mS)，lS为源域的医学图像xS的分割标签，ω1是分割损失的权重，ω2是邻近切片的差值矩阵损失的权重，λ1是差值矩阵线性关系的系数。
3.根据权利要求1所述的基于距离对抗生成网络的领域自适应方法，其特征在于，所述训练距离对抗生成网络的步骤中还包括训练切片预测器Predictor的步骤：
B1)输入源数据集中的任意一张源域的医学图像xS及其分割标签lS；
B2)利用源域转换器GS将源域的医学图像xS转换成到中间表示mS；
B3)将中间表示mS在切片方向切分成左部分mS，l、中间部分mS，m、右部分mS，r；
B4)将左部分mS，l、右部分mS，r输入切片预测器Predictor，通过切片预测器Predictor的LSTM网络LSTMfw对左部分mS，l进行信息建模预测出左部分预测结果
Figure FDA0004086257210000021
通过切片预测器Predictor的LSTM网络LSTMbw对右部分mS，r进行信息建模预测出右部分预测结果/>
Figure FDA0004086257210000022
B5)将左部分预测结果
Figure FDA0004086257210000023
和右部分预测结果/>
Figure FDA0004086257210000024
加权求和得到预测结果m′S，m；
B6)计算切片预测损失losspred；
B7)对切片预测损失losspred求导，反向传播计算出各层参数的梯度值，根据梯度值更新切片预测器Predictor的LSTM网络LSTMfw以及LSTM网络LSTMbw的参数完成本轮迭代；
B8)判断是否满足预设的迭代退出条件，如果满足预设的迭代退出条件则结束训练并退出，否则跳转执行步骤B1)进入下一轮迭代。
4.根据权利要求3所述的基于距离对抗生成网络的领域自适应方法，其特征在于，步骤B6)中计算切片预测损失losspred的计算函数表达式如下：
losspred(Predictor)＝||m′S，m-mS，m||2
上式中，losspred(Predictor)表示切片预测损失losspred，m′S，m为切片预测器Predictor对中间表示mS左右两部分作为输入得到的预测结果，mS，m为中间表示mS的中间部分。
5.根据权利要求1所述的基于距离对抗生成网络的领域自适应方法，其特征在于，所述训练距离对抗生成网络的步骤中还包括在训练源域转换器GS和分割器Seg、训练切片预测器Predictor之后训练目标域转换器GT的步骤：
C1)输入源数据集中的任意一张源域的医学图像xS及其分割标签lS，目标数据集中的任意一张目标域的医学图像xT；
C2)将源域的医学图像xS输入源域转换器GS得到中间表示mS，将目标域的医学图像xT输入目标域转换器GT得到中间表示mT；
C3)将中间表示mS与mT输入鉴别器D进行对抗学习，计算目标域的医学图像xT、中间表示mT间的差值矩阵Dslice(xT)、Dslice(mT)；计算中间表示mS、中间表示mT间的域间距离损失；将中间表示mT在切片方向切分成左部分mT，l、中间部分mT，m、右部分mT，r，将左部分mT，l、右部分mT，r输入切片预测器Predictor，通过切片预测器Predictor的LSTM网络LSTMfw对左部分mT，l进行信息建模预测出左部分预测结果
Figure FDA0004086257210000031
通过切片预测器Predictor的LSTM网络LSTMbw对右部分mT，r进行信息建模预测出右部分预测结果/>
Figure FDA0004086257210000032
将左部分预测结果/>
Figure FDA0004086257210000033
和右部分预测结果/>
Figure FDA0004086257210000034
加权求和得到预测结果m′T，m；
C4)计算总的损失函数；
C5)对总的损失函数求导，开启反向传播逐层计算出目标域转换器GT各层参数的梯度值，然后根据各层参数梯度更新目标域转换器GT各层参数，完成本轮迭代；
C6)判断是否满足预设的微调条件，如果满足预设的微调条件跳转执行下一步，否则跳转执行步骤C8)；
C7)固定目标域转换器GT各层参数，然后再进行一轮迭代训练源域转换器GS和分割器Seg以完成对源域转换器GS和分割器Seg的微调，再进行一轮迭代训练切片预测器Predictor以完成对切片预测器Predictor的微调；
C8)判断是否满足预设的迭代退出条件，如果满足预设的迭代退出条件则结束训练，否则跳转执行步骤C1)进入下一轮迭代。
6.根据权利要求5所述的基于距离对抗生成网络的领域自适应方法，其特征在于，步骤C4)中计算总的损失函数的计算函数表达式如下：
lossall(GS，GT，Seg，Predictor，D)＝(lossg+lossseg+losspred+lossd+lossadv)×W
上式中，lossall(GS，GT，Seg，Predictor，D)表示总的损失函数，lossg为转换器损失，lossseg为分割损失，losspred为切片预测损失，lossd为鉴别器损失，lossadv为对抗损失；
其中，转换器损失lossg的计算函数表达式如下：
Figure FDA0004086257210000035
上式中，lossg(GT)表示转换器损失lossg，转换器损失由投影后的域间距离损失、目标域的邻近切片的差值矩阵损失以及目标域的切片预测损失组成，ω3、ω4、ω5为对应的权重，λ2为差值矩阵线性关系的系数，μS、μT、σS和σT分别为中间表示mS、mT的均值和标准差，mT，m是中间表示mT的中间部分，m′T，m为切片预测器Predictor对中间表示mT左右两部分作为输入得到的预测结果；
其中，分割损失lossseg的计算函数表达式如下：
lossseg(GS，Seg)＝ω1||Seg(GS(xS))-lS||2+ω2||Dslice(xS)-λ1Dslice(GS(xS))||2
上式中，lossseg(GS，Seg)表示分割器Seg的分割损失lossseg，Seg(GS(xS))表示分割图lS，f，Dslice(xS)为源域的医学图像xS的差值矩阵，Dslice(GS(xS))为中间表示mS的差值矩阵Dslice(mS)，lS为源域的医学图像xS的分割标签，ω1是分割损失的权重，ω2是邻近切片的差值矩阵损失的权重，λ1是差值矩阵线性关系的系数；
其中，切片预测损失losspred的计算函数表达式如下：
losspred(Predictor)＝||m′S，m-mS，m||2
上式中，losspred(Predictor)表示切片预测损失losspred，m′S，m为切片预测器Predictor对中间表示mS左右两部分作为输入得到的预测结果，mS，m为中间表示mS的中间部分；
其中，鉴别器损失lossd的计算函数表达式如下：
lossd(D)＝log D(GS(xS))+log(1-D(GT(xT)))
上式中，lossd(D)表示鉴别器损失lossd，D(GS(xS))表示鉴别器D对中间表示mS的鉴别结果，D(GT(xT))表示鉴别器D对中间表示mT的鉴别结果；
其中，对抗损失lossadv的计算函数表达式如下：
lossadv(GT)＝log(D(GT(xT)))
上式中，lossadv(GT)表示对抗损失lossadv，D(GT(xT))表示鉴别器D对中间表示mT的鉴别结果。
7.一种基于距离对抗生成网络的领域自适应系统，包括计算机设备，其特征在于，该计算机设备被编程或配置以执行权利要求1～6中任意一项所述基于距离对抗生成网络的领域自适应方法的步骤，或者该计算机设备的存储器上存储有被编程或配置以执行权利要求1～6中任意一项所述基于距离对抗生成网络的领域自适应方法的计算机程序。
8.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有被编程或配置以执行权利要求1～6中任意一项所述基于距离对抗生成网络的领域自适应方法的计算机程序。
CN202010259685.7A 2020-04-03 2020-04-03 一种基于距离对抗生成网络的领域自适应方法及系统 Active CN111476771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010259685.7A CN111476771B (zh) 2020-04-03 2020-04-03 一种基于距离对抗生成网络的领域自适应方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010259685.7A CN111476771B (zh) 2020-04-03 2020-04-03 一种基于距离对抗生成网络的领域自适应方法及系统

Publications (2)

Publication Number Publication Date
CN111476771A CN111476771A (zh) 2020-07-31
CN111476771B true CN111476771B (zh) 2023-06-09

Family

ID=71749814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010259685.7A Active CN111476771B (zh) 2020-04-03 2020-04-03 一种基于距离对抗生成网络的领域自适应方法及系统

Country Status (1)

Country Link
CN (1) CN111476771B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132265B (zh) * 2020-09-22 2024-05-07 平安科技（深圳）有限公司 模型训练方法、杯盘比确定方法、装置、设备及存储介质
CN113344944A (zh) * 2021-05-28 2021-09-03 山东师范大学 基于域自适应的医学图像分割方法及系统
CN115115829A (zh) * 2022-05-06 2022-09-27 腾讯医疗健康(深圳)有限公司 医疗图像的分割方法、装置、设备、存储介质及程序产品
CN114947792B (zh) * 2022-05-19 2024-05-03 北京航空航天大学 一种基于视频的生理信号测量与增强方法
CN115601687B (zh) * 2022-12-15 2023-03-07 南京睿聚科技发展有限公司 用于保险理赔过程的现场勘察数据智能处理方法
CN117994266A (zh) * 2023-12-26 2024-05-07 中国矿业大学 一种基于对抗性域适应的低质量眼底彩照智能分割方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN110675316A (zh) * 2019-08-29 2020-01-10 中山大学 基于条件生成对抗网络的多域图像转换方法、系统及介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN110675316A (zh) * 2019-08-29 2020-01-10 中山大学 基于条件生成对抗网络的多域图像转换方法、系统及介质

Also Published As

Publication number Publication date
CN111476771A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN111476771B (zh) 一种基于距离对抗生成网络的领域自适应方法及系统
Stoll et al. Text2Sign: towards sign language production using neural machine translation and generative adversarial networks
Xu et al. Adversarially approximated autoencoder for image generation and manipulation
Sohn et al. Learning structured output representation using deep conditional generative models
CN109783666B (zh) 一种基于迭代精细化的图像场景图谱生成方法
CN110427799B (zh) 基于生成对抗网络的人手深度图像数据增强方法
CN108765383B (zh) 基于深度迁移学习的视频描述方法
US20220292351A1 (en) Systems, methods, and storage media for generating synthesized depth data
CN112149651B (zh) 一种基于深度学习的人脸表情识别方法、装置及设备
Du et al. Stylistic locomotion modeling and synthesis using variational generative models
CN110110648A (zh) 基于视觉感知与人工智能的动作提名方法
Lin et al. PS-mixer: A polar-vector and strength-vector mixer model for multimodal sentiment analysis
Goyal et al. Emotionally enhanced talking face generation
US11403491B2 (en) Object recognition from images using cad models as prior
US20230252271A1 (en) Electronic device and method for processing data based on reversible generative networks, associated electronic detection system and associated computer program
Zhang et al. Facial component-landmark detection with weakly-supervised lr-cnn
Keisham et al. Multi-level alignment for few-shot temporal action localization
Raj et al. Deep learning based video captioning in bengali
US20230281981A1 (en) Methods, devices, and computer readable media for training a keypoint estimation network using cgan-based data augmentation
CN117216223A (zh) 对话文本的生成方法和装置、存储介质及电子设备
Fan et al. [Retracted] Accurate Recognition and Simulation of 3D Visual Image of Aerobics Movement
CN113822790B (zh) 一种图像处理方法、装置、设备及计算机可读存储介质
Sheng et al. Weakly supervised coarse-to-fine learning for human action segmentation in HCI videos
CN114708471B (zh) 跨模态图像生成方法、装置、电子设备与存储介质
CN114444597B (zh) 基于渐进式融合网络的视觉跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Deng Chufu

Inventor after: Chen Zhiguang

Inventor after: Qu Yili

Inventor after: Su Wanqi

Inventor after: Lu Yutong

Inventor before: Deng Chufu

Inventor before: Chen Zhiguang

Inventor before: Qu Yili

Inventor before: Su Wanqi

Inventor before: Xiao Nong

Inventor before: Lu Yutong

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant