CN117333371A - 基于生成对抗网络的自适应域医学图像跨模态转换方法 - Google Patents
基于生成对抗网络的自适应域医学图像跨模态转换方法 Download PDFInfo
- Publication number
- CN117333371A CN117333371A CN202311492320.9A CN202311492320A CN117333371A CN 117333371 A CN117333371 A CN 117333371A CN 202311492320 A CN202311492320 A CN 202311492320A CN 117333371 A CN117333371 A CN 117333371A
- Authority
- CN
- China
- Prior art keywords
- representing
- image
- target domain
- layer
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 29
- 230000003044 adaptive effect Effects 0.000 title claims description 19
- 238000012545 processing Methods 0.000 claims abstract description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 42
- 238000013507 mapping Methods 0.000 claims description 40
- 230000004913 activation Effects 0.000 claims description 36
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 9
- 230000007704 transition Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims description 2
- 230000008447 perception Effects 0.000 abstract description 7
- 239000011159 matrix material Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，尤其涉及一种基于生成对抗网络的自适应域医学图像跨模态转换方法，本发明提供的基于生成对抗网络的自适应域医学图像跨模态转换方法，提出了一种新的生成对抗网络，由生成器G、判别器D、映射网络F和特征编码器E组成，其中，生成器G拟合真实数据分布生成伪图像数据，判别器D对真实图像和伪图像进行真实性判别，映射网络F和特征编码器E解耦了单个域自身的共享潜在特征并转化为样式编码。本方法在保证生成图像质量和感知接近真实图像的前提下，只需要单个生成器就可以完成自适应、多方向的医学图像生成任务。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于生成对抗网络的自适应域医学图像跨模态转换方法。
背景技术
临床诊疗中，放射性成像技术是辅助医生进行准确诊断的重要手段。针对患者的同一身体组织采用不同的成像技术可以获取相应模态的影像，这些不同模态的放射性成像呈现出同一病灶组织的特异信息，例如多对比MRI(核磁共振成像)、CT(电子计算机断层扫描)、PET(正电子发射断层扫描)。但是在实际操作中，高成本、生理不相容性以及放射性示踪剂辐射人体等因素限制了部分模态图像的获取。医学图像跨模态转换方法是解决这一问题的有效途径。医学图像跨模态转换的目的是要从源模态图像得到准确真实的目标模态图像，并且要保持模态之间的病理一致性。这是一项具有挑战的任务。特别是，医学图像跨模态转换任务的运用场景在医疗领域，对于其安全性和可靠性有着严格的要求，扭曲错误的转换结果可能导致无法估量的经济财产损失。
现有的跨模态医学图像合成方法大致分为基于配准的方法和基于学习的方法。基于配准的方法是将一个图像对齐到另一个图像，使得对齐结果尽可能一致。但是，不同模态的医学图像之间通常存在复杂的非线性关系，模态之间的转换可能涉及到形态学、亮度、纹理等多个方面的变化，很难通过简单的线性映射完成。基于学习的方法则是利用深度学习技术将不同模态之间的映射关系建模学习。相对于基于配准的方法，基于学习的方法具有更强的泛化能力，因为它们可以通过大量训练数据来学习模态之间的非线性映射关系。
基于学习的方法通常采用生成对抗网络，通过最小化重构误差和对抗损失来实现跨模态图像转换，可以自动学习医学图像的特征表示，进而将一个模态的图像转换成另一个模态的图像。现有的基于生成对抗网络的医学图像跨模态转换技术大多只针对特定两种模态图像进行设计，具体来说，一个映射需要一个生成器，而训练过的具有特定域的预测器不能转移到其他域，当把新的模态图像加入到学习任务时，需要重新训练生成器以适应新的特定任务。即，当出现K个域时，则需要训练K(K-1)个生成器，这极大限制了模型的鲁棒性。
发明内容
本发明提供基于生成对抗网络的自适应域医学图像跨模态转换方法，解决的技术问题在于：如何实现自适应、多方向的医学图像跨模态转换，同时保证生成结果在质量和感知上都接近真实目标图像。
为解决以上技术问题，本发明提供基于生成对抗网络的自适应域医学图像跨模态转换方法，包括步骤：
S1、构建生成对抗网络，该生成对抗网络包括生成器G、判别器D、映射网络F和特征编码器E，其中，所述映射网络F和所述特征编码器E连接所述生成器G，所述生成器G连接所述判别器D；
S2、采样多组配对的真实图像，包括源图像参考图像/>和匹配图像/>其中上标a对应源域，b对应目标域，下标m、n表示图像集中的第m个、n个图像；
S3、采用所述映射网络F将输入随机采样噪声z和目标域标签lb映射为第一目标域样式编码s；
S4、采用所述特征编码器E将输入参考图像和目标域标签lb编码为第二目标域样式编码/>
S5、将所述源图像输入到所述生成器G中，以及将所述第一目标域样式编码s和所述第二目标域样式编码/>交替作为样式编码/>输入所述生成器G中，直至网络收敛，生成目标域伪图像y'；
S6、将所述源图像和所述目标域伪图像y'输入到所述判别器D中进行真实性判别；
S7、以最小化所述生成对抗网络的总损失为目标，对所述生成对抗网络进行参数更新。
进一步地，在所述步骤S7中，所述生成对抗网络的总损失Ltotal由下式计算：
Ltotal＝Ladv+λstyLsty+λl1Ll1+λperLper
其中，Ladv表示所述生成器G与所述判别器D之间的对抗性损失，Lsty表示所述生成器G的域特征重建损失，Ll1表示所述匹配图像与所述目标域伪图像y'之间的像素级l1损失，Lper表示感知损失；λsty、λl1、λper分别表示损失Lsty、Ll1和Lper的权重系数；
Ladv由下式计算：
Ladv＝Dadv+Gadv
其中，Dadv表示所述判别器D的对抗性损失，Gadv表示所述生成器G的对抗性损失，E[]表示数学期望，G()表示所述生成器G的生成操作，D()表示所述判别器D的判别操作，x代表输入的源图像；
Lsty由下式计算：
其中，ylabel表示目标域标签，||||1表示计算L1范式，E()表示所述特征编码器E的编码操作；
Ll1由下式计算：
yreal表示与x对应的匹配图像；
Lper由下式计算：
其中，V()代表预训练好的VGG16网络。
进一步地，所述特征编码器E包括顺序连接的1×1的第一卷积层、6个第一残差块、第一LReLU激活函数层、4×4的第二卷积层、第二LReLU激活函数层、线性层；
所述特征编码器E的工作过程为：
将高宽通道数为H×H×3的输入图像x，首先通过所述第一卷积层将x重新定义为大小为H×H×64的x1；
将x1输入到6个所述第一残差块中，每个所述第一残差块依次包括卷积核大小为3×3的卷积层、卷积核大小为2×2的下采样层、卷积核大小为3×3的卷积层，经过6个所述第一残差块的处理得到大小为4×4×2H的高维特征x2；
将所述高维特征x2输入所述第一LReLU激活函数层以采用LReLU激活函数进行非线性激活，然后输入到所述第二卷积层中进行卷积得到大小为1×1×2H的瓶颈特征x3；
将所述瓶颈特征x3输入所述第二LReLU激活函数层以采用LReLU激活函数进行非线性激活，再输入到所述线性层，输出与标签拼接后的64维特征向量。
进一步地，所述判别器D的结构与所述特征编码器E除最后一层采用1×1卷积层输出二元判别结果，以及所述判别器D的残差块中引用了谱归一化层外，其他结构与所述特征编码器E相同。
进一步地，所述生成器G包括顺序连接的第三卷积层、编码器、解码器和第四卷积层，所述编码器包含顺序连接的三个密集连接块和两个第二残差块，密集连接块之间通过过渡层进行下采样操作，所述解码器包含引入AdaIN的顺序连接的6个第三残差块；每个所述密集连接块包括卷积核大小依次为1×1、3×3、1×1和3×3的4个密集层；每个所述第二残差块、所述第三残差块包含两层卷积核大小为3×3的卷积层；
所述生成器G的工作过程为：
将高宽通道数为H×H×3的输入图像x输入卷积核大小为1×1的所述第三卷积层将x重新定义大小为H×H×64；然后，通过3个所述密集连接块处理之后获得的中间特征，再利用两层过渡层进行下采样操作得到/> 的高维特征输入两个所述第二残差块中；最后通过两个所述第二残差块的卷积操作得到x的特征表示xi；所述解码器通过AdaIN仿射变换将xi和样式编码/>进行特征融合，其中，所述解码器的前两层所述第三残差块继续进行卷积操作，后四层所述第三残差块在进行卷积操作的同时采用上采样将特征尺寸还原至H×H×64；最后通过所述第四卷积层将大小重新设置为H×H×3的三通道图像。
进一步地，所述映射网络F包含8个顺序连接的线性层，当输入大小为16维的随机采样噪声z，首先，前7层线性层将16维噪声线性缩放为512维的高维向量，其中每个线性层之后用ReLU函数进行激活；最后一层线性层不包含任何激活函数，直接将512维的高维向量和目标域标签lb进行拼接并线性缩放至64维得到样式编码
进一步地，在所述步骤S7中，按照以下公式计算所述判别器D的梯度：
其中，LD表示所述判别器D的对抗损失函数，θd表示所述判别器D的参数，la代表源域标签，代表源图像，/>表示所述判别器D对源图像的判别结果，/>表示所述判别器D对目标域伪图像的判别结果，k表示第k张图像，K表示批样本数目；
利用学习率为lr的梯度下降算法更新所述判别器D的参数：
进一步地，在所述步骤S7中，按照以下公式计算所述生成器G的梯度：
其中，LG表示所述生成器G的对抗损失函数，θg表示所述生成器G的参数，F(lb,zk)表示所述映射网络F将噪声和目标域标签映射为样式编码，表示目标域伪图像，/>表示对目标域伪图像的判别结果，/>表示所述特征编码器E将目标域伪图像重新编码为样式编码，/>表示真实匹配图像，/>表示利用VGG16网络提取匹配图像的深层特征，/>表示提取目标域伪图像的深层特征；
利用学习率为lr的梯度下降算法更新所述生成器G的参数：
进一步地，在所述步骤S7中，按照以下公式计算所述映射网络F的梯度：
其中，θf表示所述映射网络F的参数，表示所述映射网络F将噪声和目标域标签映射为样式编码，/>表示生成目标域伪图像，/>表示目标域伪图像的判别结果，/>表示所述特征编码器E将目标域伪图像重新编码为样式编码，/>表示提取目标域伪图像的深层特征；
利用学习率为lr的梯度下降算法更新所述映射网络F的参数：
进一步地，在所述步骤S7中，按照以下公式计算所述特征编码器E的梯度：
其中，θe表示所述特征编码器E的参数，表示利用所述特征编码器E将目标域伪图像重新编码为样式编码；
利用学习率为lr的梯度下降算法更新所述特征编码器E的参数：
本发明提供的基于生成对抗网络的自适应域医学图像跨模态转换方法，提出了一种新的生成对抗网络，由生成器G、判别器D、映射网络F和特征编码器E组成，其中，生成器G拟合真实数据分布生成伪图像数据，判别器D对真实图像和伪图像进行真实性判别，映射网络F和特征编码器E解耦了单个域自身的共享潜在特征并转化为样式编码。本方法具备从源图像数据自适应的、多方向的生成所需的目标图像数据的功能即跨模态转换，单个生成器可以完成自适应、多方向的医学图像生成任务，DenseBlock浅层架构可以帮助生成器捕捉更多空间细节，谱归一化可以帮助约束判别器的参数矩阵从而稳定网络收敛，利用域特征重建损失、像素级L1损失和感知损失提高生成结果的真实性和准确性，保证模型鲁棒性以及生成结果的真实性和准确性。本方法在保证生成图像质量和感知接近真实图像的前提下，只需要单个生成器就可以完成自适应、多方向的医学图像生成任务。
附图说明
图1是本发明实施例提供的生成对抗网络的架构图；
图2是本发明实施例提供的判别器和特征编码器结构示意图；
图3是本发明实施例提供的生成器结构示意图；
图4是本发明实施例提供的映射网络结构示意图；
图5是本发明实施例提供的转换结果对比示意图。
具体实施方式
下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
本发明实施例提供的基于生成对抗网络的自适应域医学图像跨模态转换方法，包括步骤：
S1、构建生成对抗网络，该生成对抗网络如图1所示，包括生成器G、判别器D、映射网络F和特征编码器E，其中，映射网络F和特征编码器E连接生成器G，生成器G连接判别器D；
S2、采样多组配对的真实图像，包括源图像参考图像/>和匹配图像/>其中上标a对应源域，b对应目标域，下标m、n表示图像集中的第m个、n个图像；
S3、采用映射网络F将输入随机采样噪声z和目标域标签lb映射为第一目标域样式编码s；
S4、采用特征编码器E将输入参考图像和目标域标签lb编码为第二目标域样式编码/>
S5、将源图像输入到生成器G中，以及将第一目标域样式编码s和第二目标域样式编码/>交替输入生成器G中，直至网络收敛，生成目标域伪图像y'；
S6、将源图像和目标域伪图像y'输入到判别器D中进行真实性判别；
S7、以最小化生成对抗网络的总损失为目标，对生成对抗网络进行参数更新。
如图2所示，特征编码器E包括顺序连接的1×1的第一卷积层(Conv 1×1)、6个第一残差块(ResBlock-SN)、第一LReLU激活函数层、4×4的第二卷积层、第二LReLU激活函数层、线性层(Linear)；
特征编码器E的工作过程为：
将高宽通道数为H×H×3(比如256×256×3)的输入图像x，首先通过第一卷积层将x重新定义为大小为H×H×64的x1；
将x1输入到6个第一残差块中，每个第一残差块依次包括卷积核大小为3×3的卷积层、卷积核大小为2×2的下采样层、卷积核大小为3×3的卷积层，经过6个第一残差块的处理得到大小为4×4×2H的高维特征x2；
将高维特征x2输入第一LReLU激活函数层以采用LReLU激活函数进行非线性激活，然后输入到第二卷积层中进行卷积得到大小为1×1×2H的瓶颈特征x3；
将瓶颈特征x3输入第二LReLU激活函数层以采用LReLU激活函数进行非线性激活，再输入到线性层，输出与标签拼接后的64维特征向量。
如图2所示，判别器D的结构与特征编码器E除最后一层采用1×1卷积层输出二元判别结果，以及判别器D的残差块中引用了谱归一化层外，其他结构与特征编码器相同。
如图3所示，生成器G包括顺序连接的第三卷积层、编码器、解码器和第四卷积层，编码器包含顺序连接的三个密集连接块(DenseBlock-IN)和两个第二残差块(ResBlock-IN)，密集连接块之间通过过渡层(Transition层)进行下采样操作，解码器包含引入AdaIN的顺序连接的6个第三残差块(ResBlock-AdaIN)；每个密集连接块包括卷积核大小依次为1×1、3×3、1×1和3×3的4个密集层；每个第二残差块、第三残差块包含两层卷积核大小为3×3的卷积层；
生成器G的工作过程为：
将高宽通道数为H×H×3的输入图像x输入卷积核大小为1×1的第三卷积层将x重新定义大小为H×H×64；然后，通过3个密集连接块处理之后获得的中间特征，再利用两层过渡层进行下采样操作得到/>的高维特征输入两个第二残差块中；最后通过两个第二残差块的卷积操作得到x的特征表示xi；解码器通过AdaIN仿射变换将xi和样式编码/>进行特征融合，其中，解码器的前两层第三残差块继续进行卷积操作，后四层第三残差块在进行卷积操作的同时采用上采样将特征尺寸还原至H×H×64；最后通过第四卷积层将大小重新设置为H×H×3的三通道图像。
如图4所示，映射网络F包含8个顺序连接的线性层，当输入大小为16维的随机采样噪声z，首先，前7层线性层(Linear-ReLU)将16维噪声线性缩放为512维的高维向量，其中每个线性层之后用ReLU函数进行激活；最后一层线性层(Linear)不包含任何激活函数，直接将512维的高维向量和目标域标签lb进行拼接并线性缩放至64维得到样式编码
本发明采用以下损失函数保证在多个目标域上生成质量和感知接近真实图像的目标图像。其中包括：对抗性损失Ladv、域特征重建损失Lsty、像素级l1损失Ll1和感知损失Lper。
将上述四个损失函数与超参数λsty、λl1和λper合并，构造出整个优化过程，可记为：
具体的，Ladv表示生成器G与判别器D之间的对抗性损失，Lsty表示生成器G的域特征重建损失，Ll1表示匹配图像与目标域伪图像y'之间的像素级l1损失，Lper表示感知损失；λsty、λl1、λper分别表示损失Lsty、Ll1和Lper的权重系数。
本发明包括生成器G、判别器D和一些辅助网络F、E。我们的目标是找到最优的生成器G、辅助网络F和E，使得他们能够同时最小化对抗性损失(Ladv)、域特征重建损失(Lsty)、像素级L1损失(Ll1)和感知损失(Lper)。
首先，对抗性损失(Ladv)用于衡量生成器G生成的图像与真实图像之间的相似度，即训练判别器D来区分真实图像和生成图像，并鼓励生成器G生成逼真的图像。
其次，域特征重建损失(Lsty)用于衡量生成器G生成的图像是否能够保持原始图像的风格和特征，使得生成的图像在视觉上更接近于原始图像。
然后，像素级L1损失(Ll1)用于衡量生成器G生成的图像与目标图像之间的像素级差异，以鼓励生成器产生与目标图像更加接近的结果。
最后，感知损失(Lper)使用了预训练的VGG16网络，来衡量生成图像与目标图像之间的感知相似度，以确保生成的图像在语义上与目标图像更加接近。
Ladv由下式计算：
Ladv＝Dadv+Gadv
其中，Dadv表示判别器D的对抗性损失，Gadv表示生成器G的对抗性损失，E[]表示数学期望，G()表示生成器G的生成操作，D()表示判别器的判别操作，x代表输入的源图像；
Lsty由下式计算：
其中，ylabel表示目标域标签，||||1表示计算L1范式，E()表示所述特征编码器E的编码操作；
Ll1由下式计算：
yreal表示与x对应的匹配图像；
Lper由下式计算：
其中，V(·)代表预训练好的VGG16网络。
在步骤S7中，按照以下公式计算判别器D的梯度：
其中，LD表示判别器D的对抗损失函数，θd表示判别器D的参数，la代表源域标签，代表源图像，/>表示判别器D对源图像的判别结果，/>表示判别器D对目标域伪图像的判别结果，k表示第k张图像，K表示批样本数目；
利用学习率为lr的梯度下降算法更新判别器D的参数：
在步骤S7中，按照以下公式计算生成器G的梯度：
其中，LG表示生成器G的对抗损失函数，θg表示生成器G的参数，F(lb,zk)表示映射网络F将噪声和目标域标签映射为样式编码，表示目标域伪图像，表示对目标域伪图像的判别结果，/>表示特征编码器E将目标域伪图像重新编码为样式编码，/>表示真实匹配图像，/>表示利用VGG16网络提取匹配图像的深层特征，/>表示提取目标域伪图像的深层特征；
利用学习率为lr的梯度下降算法更新生成器G的参数：
在步骤S7中，按照以下公式计算映射网络F的梯度：
其中，θf表示映射网络的参数，表示映射网络将噪声和目标域标签映射为样式编码，/>表示生成目标域伪图像，/>表示目标域伪图像的判别结果，/>表示特征编码器将目标域伪图像重新编码为样式编码，表示提取目标域伪图像的深层特征；
利用学习率为lr的梯度下降算法更新映射网络F的参数：
按照以下公式确定判别器D满足Lipschitz约束：
其中，L表示判别器神经网络，||||2表示L2参数化，p和q分别表示输入神经网络层的潜在流形分布，对于任何潜在的流形分布p和q，K＝1时，即满足Lipschitz约束。利用谱归一化对判别器D的参数矩阵进行约束的详细步骤包括：
首先，判别器由6个残差块组成，可记号为：
其中，L*(x)表示激活前的输出，x0为初始输入，xi和wi为第i层的输入和权重矩阵，F(xi,wi)表示xi与权重矩阵wi加权求和。
其次，当使用激活函数R时，判别器每一层都可以表示为：
根据利普希茨不等式继续表示为：
其中，Wi()＝wixi表示第i层的输入xi与对应层的权重矩阵wi加权求和，计算结果作为下一层的输入，x表示第一次输入。R6()至R1()分别表示对每一层的输出用激活函数进行非线性映射。
然后，根据谱范数的定义：其中，矩阵A可以是任意形状的矩阵，而h是矩阵A的列向量空间中的一个非零向量。||W||2表示参数矩阵W谱参数化并且σ(R)＝1，由此可以得出：
其中σ(W)表示矩阵W的最大奇异值。注意，输入x0与第l-1层的输出连接，这意味着权值矩阵对x0没有贡献。可以继续得到：
最后可以看出，基于残差块(ResBlock)的判别器只需将各网络层的参数矩阵除以相应参数矩阵的谱范数，就可以满足K＝1的利普希茨约束(1-Lipschitz)。
生成器G中设计了一种自适应机制，可表示为：
通过计算目标图像的均值和方差，可以得到仿射参数σ(·)和μ(·)。通过缩放归一化源图像，使源图像与目标图像对齐。本质上，AdaIN在多个尺度上融合了源图像的第i层特征xi和目标域的特征然后，生成器G内的解码器De将融合的特征重新映射到图像空间，重建目标图像，可记为：
如图5所示，展示了本发明自适应的、多向的转换结果。用四个模块分别展示了利用模态T2、T1、T1ce、Flair作为源模态图像作为输入时的转换结果，每个模块第一列展示了用StarGAN V2(Choi等人在CVPR2020发表)得到的转换结果，第二列展示了本发明得到的转换结果，第三列展示了对应的真实匹配图像，可以看出本发明的转换结果与真实结果更加接近。
综上所述，本发明实施例提供的基于生成对抗网络的自适应域医学图像跨模态转换方法，构建了一种新的生成对抗网络，由生成器G、判别器D、映射网络F和特征编码器E组成，其中，生成器G拟合真实数据分布生成伪图像数据，判别器D对真实图像和伪图像进行真实性判别，映射网络F和特征编码器E解耦了单个域自身的共享潜在特征并转化为样式编码。本方法具备从源图像数据自适应的、多方向的生成所需的目标图像数据的功能即跨模态转换，单个生成器可以完成自适应、多方向的医学图像生成任务，DenseBlock浅层架构可以帮助生成器捕捉更多空间细节，谱归一化可以帮助约束判别器的参数矩阵从而稳定网络收敛，利用域特征重建损失、像素级L1损失和感知损失提高生成结果的真实性和准确性，保证模型鲁棒性以及生成结果的真实性和准确性。本发明在保证生成图像质量和感知接近真实图像的前提下，只需要单个生成器就可以完成自适应、多方向的医学图像生成任务。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.基于生成对抗网络的自适应域医学图像跨模态转换方法，其特征在于，包括步骤：
S1、构建生成对抗网络，该生成对抗网络包括生成器G、判别器D、映射网络F和特征编码器E，其中，所述映射网络F和所述特征编码器E连接所述生成器G，所述生成器G连接所述判别器D；
S2、采样多组配对的真实图像，包括源图像参考图像/>和匹配图像/>其中上标a对应源域，b对应目标域，下标m、n表示图像集中的第m个、n个图像；
S3、采用所述映射网络F将输入随机采样噪声z和目标域标签lb映射为第一目标域样式编码s；
S4、采用所述特征编码器E将输入参考图像和目标域标签lb编码为第二目标域样式编码/>
S5、将所述源图像输入到所述生成器G中，以及将所述第一目标域样式编码s和所述第二目标域样式编码/>交替作为样式编码/>输入所述生成器G中，直至网络收敛，生成目标域伪图像y'；
S6、将所述源图像和所述目标域伪图像y'输入到所述判别器D中进行真实性判别；
S7、以最小化所述生成对抗网络的总损失为目标，对所述生成对抗网络进行参数更新。
2.根据权利要求1所述的基于生成对抗网络的自适应域医学图像跨模态转换方法，其特征在于，在所述步骤S7中，所述生成对抗网络的总损失Ltotal由下式计算：
Ltotal＝Ladv+λstyLsty+λl1Ll1+λperLper
其中，Ladv表示所述生成器G与所述判别器D之间的对抗性损失，Lsty表示所述生成器G的域特征重建损失，Ll1表示所述匹配图像与所述目标域伪图像y'之间的像素级l1损失，Lper表示感知损失；λsty、λl1、λper分别表示损失Lsty、Ll1和Lper的权重系数；
Ladv由下式计算：
Ladv＝Dadv+Gadv
其中，Dadv表示所述判别器D的对抗性损失，Gadv表示所述生成器G的对抗性损失，E[]表示数学期望，G()表示所述生成器G的生成操作，D()表示所述判别器D的判别操作，x代表输入的源图像；
Lsty由下式计算：
其中，ylabel表示目标域标签，|| ||1表示计算L1范式，E()表示所述特征编码器E的编码操作；
Ll1由下式计算：
yreal表示与x对应的匹配图像；
Lper由下式计算：
其中，V()代表预训练好的VGG16网络。
3.根据权利要求2所述的基于生成对抗网络的自适应域医学图像跨模态转换方法，其特征在于，所述特征编码器E包括顺序连接的1×1的第一卷积层、6个第一残差块、第一LReLU激活函数层、4×4的第二卷积层、第二LReLU激活函数层、线性层；
所述特征编码器E的工作过程为：
将高宽通道数为H×H×3的输入图像x，首先通过所述第一卷积层将x重新定义为大小为H×H×64的x1；
将x1输入到6个所述第一残差块中，每个所述第一残差块依次包括卷积核大小为3×3的卷积层、卷积核大小为2×2的下采样层、卷积核大小为3×3的卷积层，经过6个所述第一残差块的处理得到大小为4×4×2H的高维特征x2；
将所述高维特征x2输入所述第一LReLU激活函数层以采用LReLU激活函数进行非线性激活，然后输入到所述第二卷积层中进行卷积得到大小为1×1×2H的瓶颈特征x3；
将所述瓶颈特征x3输入所述第二LReLU激活函数层以采用LReLU激活函数进行非线性激活，再输入到所述线性层，输出与标签拼接后的64维特征向量。
4.根据权利要求2所述的基于生成对抗网络的自适应域医学图像跨模态转换方法，其特征在于，所述判别器D的结构与所述特征编码器E除最后一层采用1×1卷积层输出二元判别结果，以及所述判别器D的残差块中引用了谱归一化层外，其他结构与所述特征编码器E相同。
5.根据权利要求2所述的基于生成对抗网络的自适应域医学图像跨模态转换方法，其特征在于：所述生成器G包括顺序连接的第三卷积层、编码器、解码器和第四卷积层，所述编码器包含顺序连接的三个密集连接块和两个第二残差块，密集连接块之间通过过渡层进行下采样操作，所述解码器包含引入AdaIN的顺序连接的6个第三残差块；每个所述密集连接块包括卷积核大小依次为1×1、3×3、1×1和3×3的4个密集层；每个所述第二残差块、所述第三残差块包含两层卷积核大小为3×3的卷积层；
所述生成器G的工作过程为：
将高宽通道数为H×H×3的输入图像x输入卷积核大小为1×1的所述第三卷积层将x重新定义大小为H×H×64；然后，通过3个所述密集连接块处理之后获得的中间特征，再利用两层过渡层进行下采样操作得到/> 的高维特征输入两个所述第二残差块中；最后通过两个所述第二残差块的卷积操作得到x的特征表示xi；所述解码器通过AdaIN仿射变换将xi和样式编码/>进行特征融合，其中，所述解码器的前两层所述第三残差块继续进行卷积操作，后四层所述第三残差块在进行卷积操作的同时采用上采样将特征尺寸还原至H×H×64；最后通过所述第四卷积层将大小重新设置为H×H×3的三通道图像。
6.根据权利要求2所述的基于生成对抗网络的自适应域医学图像跨模态转换方法，其特征在于：所述映射网络F包含8个顺序连接的线性层，当输入大小为16维的随机采样噪声z，首先，前7层线性层将16维噪声线性缩放为512维的高维向量，其中每个线性层之后用ReLU函数进行激活；最后一层线性层不包含任何激活函数，直接将512维的高维向量和目标域标签lb进行拼接并线性缩放至64维得到样式编码
7.根据权利要求2所述的基于生成对抗网络的自适应域医学图像跨模态转换方法，其特征在于，在所述步骤S7中，按照以下公式计算所述判别器D的梯度：
其中，LD表示所述判别器D的对抗损失函数，θd表示所述判别器D的参数，la代表源域标签，代表源图像，/>表示所述判别器D对源图像的判别结果，/>表示所述判别器D对目标域伪图像的判别结果，k表示第k张图像，K表示批样本数目；
利用学习率为lr的梯度下降算法更新所述判别器D的参数：
8.根据权利要求7所述的基于生成对抗网络的自适应域医学图像跨模态转换方法，其特征在于，在所述步骤S7中，按照以下公式计算所述生成器G的梯度：
其中，LG表示所述生成器G的对抗损失函数，θg表示所述生成器G的参数，F(lb,zk)表示所述映射网络F将噪声和目标域标签映射为样式编码，表示目标域伪图像，表示对目标域伪图像的判别结果，/>表示所述特征编码器E将目标域伪图像重新编码为样式编码，/>表示真实匹配图像，/>表示利用VGG16网络提取匹配图像的深层特征，/>表示提取目标域伪图像的深层特征；
利用学习率为lr的梯度下降算法更新所述生成器G的参数：
9.根据权利要求8所述的基于生成对抗网络的自适应域医学图像跨模态转换方法，其特征在于，在所述步骤S7中，按照以下公式计算所述映射网络F的梯度：
其中，θf表示所述映射网络F的参数，表示所述映射网络F将噪声和目标域标签映射为样式编码，/>表示生成目标域伪图像，/>表示目标域伪图像的判别结果，/>表示所述特征编码器E将目标域伪图像重新编码为样式编码，/>表示提取目标域伪图像的深层特征；
利用学习率为lr的梯度下降算法更新所述映射网络F的参数：
10.根据权利要求9所述的基于生成对抗网络的自适应域医学图像跨模态转换方法，其特征在于，在所述步骤S7中，按照以下公式计算所述特征编码器E的梯度：
其中，θe表示所述特征编码器E的参数，表示利用所述特征编码器E将目标域伪图像重新编码为样式编码；
利用学习率为lr的梯度下降算法更新所述特征编码器E的参数：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311492320.9A CN117333371A (zh) | 2023-11-10 | 2023-11-10 | 基于生成对抗网络的自适应域医学图像跨模态转换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311492320.9A CN117333371A (zh) | 2023-11-10 | 2023-11-10 | 基于生成对抗网络的自适应域医学图像跨模态转换方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117333371A true CN117333371A (zh) | 2024-01-02 |
Family
ID=89293379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311492320.9A Pending CN117333371A (zh) | 2023-11-10 | 2023-11-10 | 基于生成对抗网络的自适应域医学图像跨模态转换方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117333371A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118351211A (zh) * | 2024-06-18 | 2024-07-16 | 英瑞云医疗科技(烟台)有限公司 | 一种肺癌ct到pet的医学图像生成的方法、系统和设备 |
-
2023
- 2023-11-10 CN CN202311492320.9A patent/CN117333371A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118351211A (zh) * | 2024-06-18 | 2024-07-16 | 英瑞云医疗科技(烟台)有限公司 | 一种肺癌ct到pet的医学图像生成的方法、系统和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Singh et al. | Medical image generation using generative adversarial networks: A review | |
| Biffi et al. | Explainable anatomical shape analysis through deep hierarchical generative models | |
| CN112735570B (zh) | 影像驱动的脑图谱构建方法、装置、设备及存储介质 | |
| CA3104592A1 (en) | Automated determination of a canonical pose of a 3d objects and superimposition of 3d objects using deep learning | |
| CN116402865B (zh) | 一种利用扩散模型的多模态影像配准方法、装置和介质 | |
| CN114359360B (zh) | 一种基于对抗的双向一致性约束医学图像配准算法 | |
| CN117333371A (zh) | 基于生成对抗网络的自适应域医学图像跨模态转换方法 | |
| CN117218453B (zh) | 一种不完备多模态医学影像学习方法 | |
| Singh et al. | Medical image generation using generative adversarial networks | |
| CN116823625B (zh) | 基于变分自编码器的跨对比度磁共振超分辨率方法和系统 | |
| Li et al. | Low-dose CT image synthesis for domain adaptation imaging using a generative adversarial network with noise encoding transfer learning | |
| CN117333750A (zh) | 空间配准与局部全局多尺度的多模态医学图像融合方法 | |
| WO2021184195A1 (zh) | 医学图像重建方法、医学图像重建网络训练方法和装置 | |
| CN115908800A (zh) | 医学图像分割方法 | |
| CN116958217A (zh) | 一种mri与ct多模态3d自动配准方法及装置 | |
| CN113592769A (zh) | 异常图像的检测、模型的训练方法、装置、设备及介质 | |
| CN112488971A (zh) | 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法 | |
| CN116823850A (zh) | 基于U-Net和Transformer融合改进的心脏MRI分割方法及系统 | |
| CN114331849A (zh) | 一种跨模态核磁共振超分网络及图像超分辨率方法 | |
| CN114581459A (zh) | 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法 | |
| CN113850796A (zh) | 基于ct数据的肺部疾病识别方法及装置、介质和电子设备 | |
| CN116958094A (zh) | 一种动态增强磁共振影像特征生成病理图像特征的方法 | |
| CN113409291B (zh) | 一种肺部4d-ct医学图像配准方法及系统 | |
| WO2012069833A1 (en) | Process and apparatus for data registration | |
| US11915401B2 (en) | Apriori guidance network for multitask medical image synthesis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |