CN115797611A - 三维医学图像模态转换模型训练方法及设备 - Google Patents

三维医学图像模态转换模型训练方法及设备 Download PDF

Info

Publication number
CN115797611A
CN115797611A CN202310092838.7A CN202310092838A CN115797611A CN 115797611 A CN115797611 A CN 115797611A CN 202310092838 A CN202310092838 A CN 202310092838A CN 115797611 A CN115797611 A CN 115797611A
Authority
CN
China
Prior art keywords
image
mri
network
generator
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310092838.7A
Other languages
English (en)
Other versions
CN115797611B (zh
Inventor
张昊任
史纪鹏
沈亚奇
陈向前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
True Health Guangdong Hengqin Medical Technology Co ltd
Original Assignee
Truehealth Beijing Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Truehealth Beijing Medical Technology Co Ltd filed Critical Truehealth Beijing Medical Technology Co Ltd
Priority to CN202310092838.7A priority Critical patent/CN115797611B/zh
Publication of CN115797611A publication Critical patent/CN115797611A/zh
Application granted granted Critical
Publication of CN115797611B publication Critical patent/CN115797611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明提供一种三维医学图像模态转换模型训练方法及设备，引入循环一致性损失，提高生成器泛化能力；将体数据视作未配对但有序的流，通过结合空间约束的方法，利用第三个维度的信息，为从一个域到另一个域的优化提供更多的约束条件，并有助于达到更好的局部最小值；引入空间约束，其影响有助于学习特定领域中的风格特征，且空间信息可以通过体数据中的切片索引获得，因此不需要人工监督；使用权重共享机制，可能更好地保证模型进行知识迁移，将时空线索与条件生成对抗网络结合起来，用于体数据重定向，更好地学习两个域之间的关联；在没有任何人工监督和领域特定知识的情况下，此方法可以使用医学体数据从一个领域学习到另一个领域的模态转换。

Description

三维医学图像模态转换模型训练方法及设备
技术领域
本发明涉及医学图像处理领域，具体涉及一种三维医学图像模态转换模型训练方法及设备。
背景技术
随着现代计算机技术的高速发展，数字化诊疗在医学领域发挥着越来越重要的作用。为了非侵入式地观察患者身体内部实际情况，各式各样的医学影像成像技术在临床中开始被广泛使用。不同模态的医学影像，具有不同的成像特点，如计算机断层扫描（Computed Tomography，CT）影像可以用来诊断肌肉和骨组织有关失常，不同时期的核磁共振成像（MagneticResonance Imaging，MRI）影像能提供软组织有关的信息。直接观察相应影像进行诊断要求医生具备相关专业知识以及丰富的经验。
CT与MRI图像间外观差异较大，CT 图像对患者骨骼、器官轮廓等显示较为清晰，对血管等部位的显示较模糊，而 MRI图像则侧重显示患者的软组织等信息。由于跨模态医学图像间的较大外观差异，现有的无监督学习方法难以直接对图像间相似度进行度量，因而难以进行下游任务网络训练。
MR-CT图像合成在医学图像分析中起着重要的作用，其应用包括但不限于PET-MR衰减校正和多模态图像配准。近年来，基于深度学习的图像合成技术取得了很大的成功。然而，目前的大多数方法都需要来自两种不同模式的大量成对数据，这极大地限制了它们的使用，因为在某些情况下，成对数据是不可获得的。尽管已有一些方法可以实现不同外观风格图像间的风格转换，但考虑到图像风格转换与医学图像问题目标不同，医学图像出于对精度的要求需要转换后图像具有较高的真实性，因此此类方法目前在医学图像处理中的应用较少。
目前存在一些方法来缓解这一限制，如循环对抗生成网络(Cycle-GAN)。然而此类循环对抗生成网络的变体只考虑到二维图像中的信息，而忽略了空间上第三个维度的信息。此类方法存在两个主要的限制:(1)感知模式崩溃:不能保证循环一致性会产生对输入感知唯一的数据。(2)与输入空间绑定:由于输入本身的重构损失，网络被迫学习一个与输入紧密相关的解。上述限制对于涉及合成三维体数据风格信息的问题是不合理的，所以常规的基于循环对抗生成网络的训练方法所训练出的模型，在实际用于模态转换时的准确性有待提高。
发明内容
有鉴于此，本发明提供一种三维医学图像模态转换模型训练方法，包括：获取训练数据，包括空间上连续的CT图像序列和MRI图像序列；利用所述训练数据对模态转换网络模型进行训练，所述模态转换网络模型包括三个分支，第一分支包括基本生成对抗网络，第二分支包括循环生成对抗网络，第三分支包括无监督三维重定向网络；在训练过程中，所述基本生成对抗网络用于针对所述训练数据进行模态转换，并根据生成对抗损失更新权重参数；所述循环生成对抗网络针对所述训练数据进行模态转换和模态还原，根据生成对抗损失和循环一致损失更新权重参数；所述无监督三维重定向网络针对所述训练数据进行模态转换，以及针对所述训练数据进行空间上在后的图像预测,并根据生成对抗损失和三维重定向损失更新权重参数；所述三个分支共享所述权重参数，训练后的任一分支用于对CT图像或者MRI图像进行模态转换。
可选地，所述训练数据中包括配对的CT图像序列和MRI图像序列，适用于所述第一分支；所述基本生成对抗网络包括第一生成器、第二生成器、第一判别器和第二判别器，其中第一生成器和第二生成器与另外两个分支共享所述权重参数；第一生成器以CT图像作为输入，输出仿MRI图像；第一判别器用于判断所述仿MRI图像是否属于MRI模态；第二生成器以MRI图像作为输入，输出仿CT图像；第二判别器用于判断所述仿CT图像是否属于CT模态。
可选地，所述训练数据中包括非配对的CT图像序列和MRI图像序列，适用于所述第二分支；所述循环生成对抗网络包括第三生成器、第四生成器、第三判别器和第四判别器，其中第三生成器和第四生成器与另外两个分支共享所述权重参数；第三生成器以CT图像作为输入，输出仿MRI图像；第四生成器以MRI图像作为输入，输出仿CT图像；第四生成器还以所述仿MRI图像作为输入，输出还原CT图像；第三生成器还以所述仿CT图像作为输入，输出还原MRI图像；第三判别器用于判断所述仿MRI图像是否属于MRI模态；第四判别器用于判断所述仿CT图像是否属于CT模态。
可选地，所述循环生成对抗网络的生成对抗损失是根据所述仿MRI图像、所述仿CT图像以及第三判别器和第四判别器的输出结果计算的；所述循环生成对抗网络的循环一致损失是根据所述还原CT图像与所述CT图像的差异以及所述还原MRI图像与所述MRI图像的差异计算的。
可选地，所述循环一致损失为
Figure SMS_1
，
其中，
Figure SMS_2
为所述循环一致损失，
Figure SMS_3
表示根据所述还原CT图像与所述CT图像的差异计算的循环一致损失，
Figure SMS_4
表示根据述还原MRI图像与所述MRI图像的差异计算的循环一致损失。
可选地，所述无监督三维重定向网络包括第一空间预测网络、第二空间预测网络，以及第五生成器、第六生成器、第五判别器和第六判别器，其中第五生成器和第六生成器与另外两个分支共享所述权重参数； 所述第一空间预测网络用于针对CT图像序列中的若干连续CT图像生成空间上在后的CT图像；所述第二空间预测网络针用于对MRI图像序列中的若干连续MRI图像生成空间上在后的MRI图像；第五生成器以CT图像作为输入，输出仿MRI图像；第六生成器以MRI图像作为输入，输出仿CT图像；第五判别器用于判断所述仿MRI图像是否属于MRI模态；第六判别器用于判断所述仿CT图像是否属于CT模态。
可选地，所述无监督三维重定向网络的生成对抗损失是根据所述仿MRI图像、所述仿CT图像以及第五判别器和第六判别器的输出结果计算的；所述无监督三维重定向网络的三维重定向损失是根据生成的空间上在后的CT图像与实际图像的差异以及生成的空间上在后的MRI图像与实际图像的差异计算的。
可选地，所述无监督三维重定向网络的总损失为
Figure SMS_5
，
其中，
Figure SMS_7
为所述总损失，
Figure SMS_11
表示第二空间预测网络的三维重定向损失，
Figure SMS_13
表示第一空间预测网络的三维重定向损失，
Figure SMS_8
表示第六生成器的生成对抗损失，
Figure SMS_10
表示第五生成器的生成对抗损失，
Figure SMS_12
、
Figure SMS_14
、
Figure SMS_6
、
Figure SMS_9
均为超参数。
可选地，在利用所述训练数据对模态转换网络模型进行训练之前，还包括对所述训练数据进行仿射变换，以对所述CT图像序列和MRI图像序列进行预配准。
相应地，本发明还提供一种三维医学图像模态转换模型训练设备，包括：处理器以及与所述处理器连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器执行上述三维医学图像模态转换模型训练方法。
根据本发明提供的三维医学图像模态转换模型训练方法及设备，所训练的网络包括三分支，分别为适用于处理成对图像的基本对抗生成网络、适用于处理不成对图像循环对抗生成网络以及无监督三维重定向网络，其中基本对抗生成网络以同一患者同一位置不同模态的切片进行训练，以学习到较好的特征表示以及潜在映射；循环对抗生成网络主要针对现有方法不能很好利用非配对训练集的问题，引入循环一致性损失，提高生成器泛化能力；无监督三维重定向网络加入空间上的约束，将体数据视作帧流的形式，训练预测网络预测下一帧，引入反复损失函数，为模型引入空间结构信息，以学习三维图像的风格信息，由此训练出的生成器可以更加准确地进行三维医学图像的模态转换。
本发明方案针对现有方法不能很好利用非配对训练集的问题，引入循环一致性损失，提高生成器泛化能力；同时使用权重共享机制，可能更好地保证模型进行知识迁移。本发明将时空线索与条件生成对抗网络结合起来，用于体数据重定向，更好地学习两个域之间的关联。针对迄今为止的方法只考虑独立的2D图像的问题，假设可以将体数据视作未配对但有序的流，通过结合空间约束的方法，利用第三个维度的信息，为从一个域到另一个域的优化提供更多的约束条件，并有助于达到更好的局部最小值。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的三分支网络的示意图；
图2为利用本发明实施例训练出的生成器进行模态转换的结果。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例提供一种三维医学图像模态转换模型训练方法，该方法由计算机或服务器等电子设备执行，包括如下操作：
获取训练数据，包括空间上连续的CT图像序列和MRI图像序列。具体地，在开始执行训练之前先准备训练数据，在具体实施例中需要获取至少50组CT和50组MRI三维医学图像作为原始图像数据集，本申请所谓一组三维图像是指空间上连续的多个图像。这些CT和MRI图像是同一组织器官数据，例如是肝脏图像。
本方案可以混合使用配对的CT和MRI和非配对的CT和MRI。具体地，配对是指同一患者的同一组织的CT和MRI，图像中的组织结构实际上相同的；非配对是指不同患者的同一组织的CT和MRI，图像中的组织结构不相同。
在一个实施例中，可以对原始图像以脊柱为中心进行手动裁剪，并进行窗宽窗位裁剪、缩放、归一化等操作对数据预处理，得到预处理完成的多模态数据集。对由医学图像采集设备采集到的原始CT和MRI三维医学图像，为将其统一至相同大小、层间距和分辨率，通过预处理操作对其进行统一手动裁剪缩放。具体地，由原始CT和MRI三维医学图像裁剪出384*384*256大小的三维图像，图像中各切片分辨率为1.0mm*1.0mm，切片间距1.0mm。这些图像数据可被用于训练深度学习模型。
在优选实施例中，为了提高训练效率，对训练数据进行预配准。具体可以是以CT图像作为固定图像，对相应的MRI图像进行变换，使其解决CT图像；也可以是以MRI图像作为固定图像，对相应的CT图像进行变换，使其解决MRI图像。预配准采用仿射变换，将初始变换设置为几何中心，以图像互信息作为相似性度量，选用线性插值方法，优化变化尺度并构建4:2:1的三层多分辨率金字塔，梯度下降优化器参数配置为学习率1.0，迭代次数200次，直至验证收敛。需要说明的是，预配准为非必须操作，实际应用时可以不采用上述优选实施例。
经过处理后的多模态数据集按照9比1比例随机分割分别获得训练集和测试集。
如图1所示，本方案所使用的模态转换网络包括三个分支，第一分支包括基本生成对抗网络，第二分支包括循环生成对抗网络，第三分支包括无监督三维重定向网络。这三个分支中均包括生成器和判别器，生成器被配置为根据一种模态（比如CT或者MRI）的真实图像生成另一种模态（比如MRI或者CT）的图像，判别器被配置为识别生成器所生成的图像是否属于预期的模态。本方案中的三个分支共享权重参数，具体是指，在训练过程中当一个分支的参数被更新时，也同样更新另外两个分支中的相同的参数，训练完成后三个分支中的相同参数的值是相同的，因此训练后的任一分支均可用于对CT图像或者MRI图像进行模态转换。
本实施例所使用的生成器以U-Net作为骨干网络，含有两个下采样层和两个上采样层，判别器使用的网络结构中含有四个卷积层和一个全连接层。在其它实施例，也可以采用其它结构的骨干网络，本方案对采样层、卷积层和全连接层等没有特殊限制。
利用上述训练数据对模态转换网络模型进行训练。关于训练过程，第一分支中，基本生成对抗网络（GAN）针对训练数据进行模态转换，并根据生成对抗损失更新权重参数。根据训练模型的不同目的，可以将基本生成对抗网络配置为仅针对CT图像生成MRI图像，或者仅针对MRI图像生成CT图像，或者同步进行，并设置相应的生成器和判别器。关于生成对抗损失，为了得到不同的效果可以选用多种损失函数加以约束，比如GAN的生成器和GAN的判别器损失、重建损失等, 使用生成对抗损失反向传播更新生成器和判别器的参数。
第二分支中，循环生成对抗网络针对训练数据进行模态转换和模态还原，根据生成对抗损失和循环一致损失更新权重参数。具体地，模态转换即针对输入的一个模态的图像，输出另一模态的图像；模态还原，即再针对自身输出的另一模态图像，生成原模态的图像。举例来说，针对真实的CT图像生成MRI图像，再针对其生成的MRI图像生成CT图像，即为一次针对CT图像的模态转换和模态还原，针对MRI也可以进行同样的模态转换和模态还原。根据训练模型的不同目的，可以将循环生成对抗网络配置为仅针对CT图像进行模态转换和模态还原，或者仅针对MRI图像进行模态转换和模态还原，或者同步进行，并设置相应的生成器和判别器。
生成对抗损失，即生成器和判别器关于模态转换处理的损失；循环一致损失是指将模态还原得到的结果与原图像进行比较而得到的损失。第二分支的总损失，可以是生成对抗损失和循环一致损失之和，或者引入超参数计算的结果。
第三分支中，无监督三维重定向网络针对训练数据进行模态转换，以及针对训练数据进行空间上在后的图像预测,并根据生成对抗损失和三维重定向损失更新权重参数。关于第三分支的模态转换部分可参考上述第一分支和第二分支，所采用的处理方式相同此处不再赘述。特别地，第三分支还被配置为将CT和MRI视为有序的流
Figure SMS_15
和
Figure SMS_16
，它通过给定过去的流预测未来样本。在训练时，将训练数据中连续若干二维切片图像
Figure SMS_17
作为输入，生成空间上的下一张二维切片
Figure SMS_18
。同样地，根据训练模型的不同目的，可以将无监督三维重定向网络配置为仅针对CT图像序列进行这种预测，也可以配置为仅针对MRI图像序列进行这种预测，或者同步进行，并设置相应的空间预测网络。
三维重定向损失是指将网络生成的空间在后的图像
Figure SMS_19
与训练数据中实际的相应图像进行比较而得到的损失。第三分支的总损失，可以是生成对抗损失和三维重定向损失之和，或者引入超参数计算的结果。
利用上述训练数据对上述三分支权重共享网络进行训练，得到训练完毕的模态转换网络。训练完毕后，各个分支中的生成器可用于将CT或MRI三维医学图像转换至MRI或CT模态。对CT或MRI三维医学图像的每一二维切片，使用训练完毕的模态转换生成器
Figure SMS_20
和
Figure SMS_21
对其进行模态转换，将生成的二维切片相连得到模态转换生成的三维图像。图2示出了利用本发明方案训练的生成器进行模态转换的结果，模态转换生成图像改变了原图像的外观模态，同时保留了原图像的结构特征和空间上的连续性。
根据本发明提供的三维医学图像模态转换模型训练方法，所训练的网络包括三分支，分别为适用于处理成对图像的基本对抗生成网络、适用于处理不成对图像循环对抗生成网络以及无监督三维重定向网络，其中基本对抗生成网络以同一患者同一位置不同模态的切片进行训练，以学习到较好的特征表示以及潜在映射；循环对抗生成网络主要针对现有方法不能很好利用非配对训练集的问题，引入循环一致性损失，提高生成器泛化能力；无监督三维重定向网络加入空间上的约束，将体数据视作帧流的形式，训练预测网络预测下一帧，引入反复损失函数，为模型引入空间结构信息，以学习三维图像的风格信息，由此训练出的生成器可以更加准确地进行三维医学图像的模态转换。
本发明方案针对现有方法不能很好利用非配对训练集的问题，引入循环一致性损失，提高生成器泛化能力；同时使用权重共享机制，可能更好地保证模型进行知识迁移。本发明将时空线索与条件生成对抗网络结合起来，用于体数据重定向，更好地学习两个域之间的关联。针对迄今为止的方法只考虑独立的2D图像的问题，假设可以将体数据视作未配对但有序的流，通过结合空间约束的方法，利用第三个维度的信息，为从一个域到另一个域的优化提供更多的约束条件，并有助于达到更好的局部最小值。
本发明引入空间约束，其影响有助于学习特定领域中的风格特征，且空间信息可以通过体数据中的切片索引获得，因此不需要人工监督。在没有任何人工监督和领域特定知识的情况下，此方法可以使用医学体数据从一个领域学习到另一个领域的模态转换。
在优选实施例中，基本生成对抗网络包括第一生成器、第二生成器、第一判别器和第二判别器，其中第一生成器和第二生成器与另外两个分支共享权重参数。在本实施例中，基本生成对抗网络用于处理配对的CT图像序列和MRI图像序列，即配对数据适用于第一分支，通过回归函数学习两种不同模态数据之间的映射：
Figure SMS_22
，
其中，
Figure SMS_23
表示一种模态的原始图像，
Figure SMS_24
表示另一种模态的原始图像，
Figure SMS_25
表示生成器针对
Figure SMS_26
生成的图像，
Figure SMS_27
表示最优化原始图像和生成器生成图像间的平方差损失。
具体地，第一生成器以CT图像作为输入，输出仿MRI图像；第一判别器用于判断仿MRI图像是否属于MRI模态；第二生成器以MRI图像作为输入，输出仿CT图像；第二判别器用于判断仿CT图像是否属于CT模态。
在训练过程中，对每次迭代输入的成对CT和MRI图像二维切片
Figure SMS_28
，使用生成对抗损失反向传播更新第一生成器
Figure SMS_29
、第二生成器
Figure SMS_30
和第一判别器
Figure SMS_31
、第二判别器
Figure SMS_32
的权重参数。
在优选实施例中，循环生成对抗网络包括第三生成器、第四生成器、第三判别器和第四判别器，其中第三生成器和第四生成器与另外两个分支共享权重参数。在本实施例中，循环生成对抗网络适用于处理非配对的CT图像序列和MRI图像序列，即非配对数据适用于第二分支，使用循环一致性循环损失定义当配对数据不可用时的重构损失，以处理未配对数据的问题。目标可以写成：
Figure SMS_33
，
其中，
Figure SMS_34
表示原图像，
Figure SMS_35
表示一个生成器针对原图像生成的图像，
Figure SMS_36
表示另一个生成器根据生成的图像再生成的图像，
Figure SMS_37
表示循环一致性损失。
具体地，第三生成器以CT图像作为输入，输出仿MRI图像；第四生成器以MRI图像作为输入，输出仿CT图像；第四生成器还以仿MRI图像作为输入，输出还原CT图像；第三生成器还以仿CT图像作为输入，输出还原MRI图像；第三判别器用于判断仿MRI图像是否属于MRI模态；第四判别器用于判断仿CT图像是否属于CT模态。
在训练时，循环生成对抗网络由CT和MRI三维医学图像训练数据中一组CT和MRI图像二维切片
Figure SMS_38
作为输入，由第三生成器
Figure SMS_39
和第四生成器
Figure SMS_40
分别将CT和MRI图像切片转换至MRI和CT模态，生成模态转换图像，即仿MRI图像
Figure SMS_41
和仿CT图像
Figure SMS_42
。由判别器
Figure SMS_43
和
Figure SMS_44
判断其是否属于CT或MRI模态，进而产生生成对抗损失。
生成对抗损失是根据仿MRI图像、仿CT图像以及第三判别器和第四判别器的输出结果计算的，本领域技术人员应当理解，具体地损失函数表达式有多种，作为举例可以采用是如下计算方式：
Figure SMS_45
；
Figure SMS_46
；
Figure SMS_47
，
其中，
Figure SMS_48
表示第三判别器对训练数据中的MRI图像的判别结果，
Figure SMS_49
表示第三判别器对仿MRI图像的判别结果，
Figure SMS_50
表示第四判别器对训练数据中的CT图像的判别结果，
Figure SMS_51
表示第四判别器对仿CT图像的判别结果；
Figure SMS_52
和
Figure SMS_53
分别为将CT图像切片转换至MRI模态和将MRI图像切片转换至CT模态的模态转换网络生成对抗损失，
Figure SMS_54
为模态转换网络总生成对抗损失。
上述生成对抗损失表达式只是多种可选计算方式中的一种举例，实际应用时可以采用其它形式，或者在上述计算式基础上增加一些内容，比如系数和超参数等。并且，上述损失函数表达式是对应有两个生成器和两个判别器的循环生成对抗网络的，如果只有一个生成器和一个判别器，例如只有CT转换MRI或者MRI转换CT之一的生成器，则总损失
Figure SMS_55
是
Figure SMS_56
之一。
对由生成器生成的模态转换图像
Figure SMS_57
和
Figure SMS_58
，将其再使用第三生成器
Figure SMS_59
和第四生成器
Figure SMS_60
转换至原CT和MRI模态，并与原始图像切片
Figure SMS_61
和
Figure SMS_62
进行比较，得到循环一致损失。
循环一致损失是根据还原CT图像与CT图像的差异以及还原MRI图像与MRI图像的差异计算的，本领域技术人员应当理解，具体地损失函数表达式有多种，作为举例可以采用是如下计算方式：
Figure SMS_63
；
Figure SMS_64
；
Figure SMS_65
，
其中，
Figure SMS_66
，
Figure SMS_67
和
Figure SMS_68
分别为将CT和MRI模态的循环一致损失，
Figure SMS_69
为模态转换网络总循环一致损失。
在训练过程中，对每次迭代输入的CT和MRI图像二维切片
Figure SMS_70
，使用生成对抗损失
Figure SMS_71
和循环一致损失
Figure SMS_72
反向传播更新各生成器和各判别器的参数。
上述循环一致损失表达式只是多种可选计算方式中的一种举例，实际应用时可以采用其它形式，或者在上述计算式基础上增加一些内容，比如系数和超参数等。并且，上述损失函数表达式是对应有两个生成器和两个判别器的循环生成对抗网络，如果只有一个生成器和一个判别器，例如只有CT转换MRI或者MRI转换CT之一的生成器，则总损失
Figure SMS_73
是
Figure SMS_74
或
Figure SMS_75
之一。
在优选实施例中，无监督三维重定向网络包括第一空间预测网络、第二空间预测网络，以及第五生成器、第六生成器、第五判别器和第六判别器，其中第五生成器和第六生成器与另外两个分支共享权重参数。在本实施例中， 无监督三维重定向网络可以处理配对的和非配对的CT图像序列和MRI图像序列，不关注训练数据是否配对，将CT和MRI序列视作未配对但有序的流
Figure SMS_76
和
Figure SMS_77
，学习来自不同领域的两个视频之间的映射。
第一空间预测网络用于针对CT图像序列中的若干连续CT图像生成空间上在后的CT图像。将
Figure SMS_78
作为第一空间预测网络
Figure SMS_79
的输入，输出的是
Figure SMS_80
；第二空间预测网络针用于对MRI图像序列中的若干连续MRI图像生成空间上在后的MRI图像。将
Figure SMS_81
作为第二空间预测网络
Figure SMS_82
的输入，输出的是
Figure SMS_83
。
在训练时，根据生成的空间上在后的CT图像与实际图像的差异以及生成的空间上在后的MRI图像与实际图像的差异计算的，这里的实际图像是指训练数据中相应的图像。使用三维重定向损失作为优化目标：
Figure SMS_84
，
其中，
Figure SMS_85
是指训练数据中的图像序列，
Figure SMS_86
表示的简写，
Figure SMS_87
是指空间预测网络根据
Figure SMS_88
输出的预测图像，由此来计算空间预测网络
Figure SMS_89
的损失
Figure SMS_90
。
进一步地，基于上述优化目标，本领域技术人员应当理解具体的三维重定向损失函数表达式有多种，作为举例可以采用是如下计算方式：
Figure SMS_91
；
Figure SMS_92
；
其中
Figure SMS_95
表示第五生成器、
Figure SMS_97
表示第六生成器，
Figure SMS_100
表示训练数据中的第
Figure SMS_94
个CT图像，
Figure SMS_98
表示训练数据中的CT图像序列（
Figure SMS_101
），
Figure SMS_102
表示训练数据中的第
Figure SMS_93
个MRI图像，
Figure SMS_96
表示训练数据中的MRI图像序列（
Figure SMS_99
）。
本网络中的生成器和判别器与上述实施例中的生成器与判别器作用相同，第五生成器以CT图像作为输入，输出仿MRI图像；第六生成器以MRI图像作为输入，输出仿CT图像；第五判别器用于判断仿MRI图像是否属于MRI模态；第六判别器用于判断仿CT图像是否属于CT模态。无监督三维重定向网络的生成对抗损失是根据仿MRI图像、仿CT图像以及第五判别器和第六判别器的输出结果计算的，具体可参考上述实施例中的生成对抗损失。
无监督三维重定向网络的总损失是根据生成对抗损失和三维重定向损失计算的，作为举例可以采用如下方式：
Figure SMS_103
，
其中，
Figure SMS_104
为总损失，
Figure SMS_108
表示第二空间预测网络的三维重定向损失，
Figure SMS_110
表示第一空间预测网络的三维重定向损失，
Figure SMS_106
表示第六生成器的生成对抗损失，
Figure SMS_107
表示第五生成器的生成对抗损失，
Figure SMS_111
、
Figure SMS_112
、
Figure SMS_105
、
Figure SMS_109
均为超参数。
上述三维重定向损失、总损失表达式只是多种可选计算方式中的一种举例，实际应用时可以采用其它形式，或者在上述计算式基础上增加或去掉一些内容，比如系数和超参数等。并且，上述损失函数表达式是对应有两个生成器、两个判别器和两个空间预测网络的无监督三维重定向网络，如果只有一个生成器、一个判别器和一个空间预测网络，则相应的损失函数需要进行调整。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种三维医学图像模态转换模型训练方法，其特征在于，包括：
获取训练数据，包括空间上连续的CT图像序列和MRI图像序列；
利用所述训练数据对模态转换网络模型进行训练，所述模态转换网络模型包括三个分支，第一分支包括基本生成对抗网络，第二分支包括循环生成对抗网络，第三分支包括无监督三维重定向网络；在训练过程中，所述基本生成对抗网络用于针对所述训练数据进行模态转换，并根据生成对抗损失更新权重参数；所述循环生成对抗网络针对所述训练数据进行模态转换和模态还原，根据生成对抗损失和循环一致损失更新权重参数；所述无监督三维重定向网络针对所述训练数据进行模态转换，以及针对所述训练数据进行空间上在后的图像预测,并根据生成对抗损失和三维重定向损失更新权重参数；所述三个分支共享所述权重参数，训练后的任一分支用于对CT图像或者MRI图像进行模态转换。
2.根据权利要求1所述的方法，其特征在于，所述训练数据中包括配对的CT图像序列和MRI图像序列，适用于所述第一分支；
所述基本生成对抗网络包括第一生成器、第二生成器、第一判别器和第二判别器，其中第一生成器和第二生成器与另外两个分支共享所述权重参数；
第一生成器以CT图像作为输入，输出仿MRI图像；
第一判别器用于判断所述仿MRI图像是否属于MRI模态；
第二生成器以MRI图像作为输入，输出仿CT图像；
第二判别器用于判断所述仿CT图像是否属于CT模态。
3.根据权利要求1所述的方法，其特征在于，所述训练数据中包括非配对的CT图像序列和MRI图像序列，适用于所述第二分支；
所述循环生成对抗网络包括第三生成器、第四生成器、第三判别器和第四判别器，其中第三生成器和第四生成器与另外两个分支共享所述权重参数；
第三生成器以CT图像作为输入，输出仿MRI图像；
第四生成器以MRI图像作为输入，输出仿CT图像；
第三生成器还以所述仿CT图像作为输入，输出还原MRI图像；
第四生成器还以所述仿MRI图像作为输入，输出还原CT图像；
第三判别器用于判断所述仿MRI图像是否属于MRI模态；
第四判别器用于判断所述仿CT图像是否属于CT模态。
4.根据权利要求3所述的方法，其特征在于，所述循环生成对抗网络的生成对抗损失是根据所述仿MRI图像、所述仿CT图像以及第三判别器和第四判别器的输出结果计算的；所述循环生成对抗网络的循环一致损失是根据所述还原CT图像与所述CT图像的差异以及所述还原MRI图像与所述MRI图像的差异计算的。
5.根据权利要求4所述的方法，其特征在于，所述循环一致损失为
Figure QLYQS_1
，
其中，
Figure QLYQS_2
为所述循环一致损失，
Figure QLYQS_3
表示根据所述还原CT图像与所述CT图像的差异计算的循环一致损失，
Figure QLYQS_4
表示根据述还原MRI图像与所述MRI图像的差异计算的循环一致损失。
6.根据权利要求1所述的方法，其特征在于，所述无监督三维重定向网络包括第一空间预测网络、第二空间预测网络，以及第五生成器、第六生成器、第五判别器和第六判别器，其中第五生成器和第六生成器与另外两个分支共享所述权重参数；
所述第一空间预测网络用于针对CT图像序列中的若干连续CT图像生成空间上在后的CT图像；
所述第二空间预测网络针用于对MRI图像序列中的若干连续MRI图像生成空间上在后的MRI图像；
第五生成器以CT图像作为输入，输出仿MRI图像；
第六生成器以MRI图像作为输入，输出仿CT图像；
第五判别器用于判断所述仿MRI图像是否属于MRI模态；
第六判别器用于判断所述仿CT图像是否属于CT模态。
7.根据权利要求6所述的方法，其特征在于，所述无监督三维重定向网络的生成对抗损失是根据所述仿MRI图像、所述仿CT图像以及第五判别器和第六判别器的输出结果计算的；所述无监督三维重定向网络的三维重定向损失是根据生成的空间上在后的CT图像与实际图像的差异以及生成的空间上在后的MRI图像与实际图像的差异计算的。
8.根据权利要求7所述的方法，其特征在于，所述无监督三维重定向网络的总损失为
Figure QLYQS_5
，
其中，
Figure QLYQS_8
为所述总损失，
Figure QLYQS_10
表示第二空间预测网络的三维重定向损失，
Figure QLYQS_12
表示第一空间预测网络的三维重定向损失，
Figure QLYQS_7
表示第六生成器的生成对抗损失，
Figure QLYQS_11
表示第五生成器的生成对抗损失，
Figure QLYQS_13
、
Figure QLYQS_14
、
Figure QLYQS_6
、
Figure QLYQS_9
均为超参数。
9.根据权利要求1-8中任一项所述的方法，其特征在于，在利用所述训练数据对模态转换网络模型进行训练之前，还包括对所述训练数据进行仿射变换，以对所述CT图像序列和MRI图像序列进行预配准。
10.一种三维医学图像模态转换模型训练设备，其特征在于，包括：处理器以及与所述处理器连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器执行如权利要求1-9中任意一项所述的三维医学图像模态转换模型训练方法。
CN202310092838.7A 2023-02-10 2023-02-10 三维医学图像模态转换模型训练方法及设备 Active CN115797611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310092838.7A CN115797611B (zh) 2023-02-10 2023-02-10 三维医学图像模态转换模型训练方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310092838.7A CN115797611B (zh) 2023-02-10 2023-02-10 三维医学图像模态转换模型训练方法及设备

Publications (2)

Publication Number Publication Date
CN115797611A true CN115797611A (zh) 2023-03-14
CN115797611B CN115797611B (zh) 2023-04-28

Family

ID=85430791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310092838.7A Active CN115797611B (zh) 2023-02-10 2023-02-10 三维医学图像模态转换模型训练方法及设备

Country Status (1)

Country Link
CN (1) CN115797611B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883247A (zh) * 2023-09-06 2023-10-13 感跃医疗科技(成都)有限公司 一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335193A (zh) * 2019-06-14 2019-10-15 大连理工大学 一种基于生成对抗网络的目标域导向的无监督图像转换方法
CN111476805A (zh) * 2020-05-22 2020-07-31 南京大学 一种基于多重约束的跨源无监督域适应分割模型
CN112001427A (zh) * 2020-08-04 2020-11-27 中国科学院信息工程研究所 一种基于类比学习的图像转化方法和装置
CN113112559A (zh) * 2021-04-07 2021-07-13 中国科学院深圳先进技术研究院 一种超声图像的分割方法、装置、终端设备和存储介质
WO2022094911A1 (zh) * 2020-11-06 2022-05-12 深圳先进技术研究院 一种共享权重的双区域生成对抗网络及其图像生成方法
CN115601352A (zh) * 2022-11-04 2023-01-13 河北工业大学（Cn） 基于多模态自监督的医学影像分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335193A (zh) * 2019-06-14 2019-10-15 大连理工大学 一种基于生成对抗网络的目标域导向的无监督图像转换方法
CN111476805A (zh) * 2020-05-22 2020-07-31 南京大学 一种基于多重约束的跨源无监督域适应分割模型
CN112001427A (zh) * 2020-08-04 2020-11-27 中国科学院信息工程研究所 一种基于类比学习的图像转化方法和装置
WO2022094911A1 (zh) * 2020-11-06 2022-05-12 深圳先进技术研究院 一种共享权重的双区域生成对抗网络及其图像生成方法
CN113112559A (zh) * 2021-04-07 2021-07-13 中国科学院深圳先进技术研究院 一种超声图像的分割方法、装置、终端设备和存储介质
CN115601352A (zh) * 2022-11-04 2023-01-13 河北工业大学（Cn） 基于多模态自监督的医学影像分割方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883247A (zh) * 2023-09-06 2023-10-13 感跃医疗科技(成都)有限公司 一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法
CN116883247B (zh) * 2023-09-06 2023-11-21 感跃医疗科技(成都)有限公司 一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法

Also Published As

Publication number Publication date
CN115797611B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN109745062B (zh) Ct图像的生成方法、装置、设备及存储介质
US11847781B2 (en) Systems and methods for medical acquisition processing and machine learning for anatomical assessment
Yang et al. Bi-modality medical image synthesis using semi-supervised sequential generative adversarial networks
Zhan et al. Multi-modal MRI image synthesis via GAN with multi-scale gate mergence
KR20200130374A (ko) 두꺼운 이미지 슬라이스들로부터 얇은 이미지 슬라이스들을 생성하기 위한 시스템들 및 방법들
CN109409503A (zh) 神经网络的训练方法、图像转换方法、装置、设备及介质
Bauer et al. Generation of annotated multimodal ground truth datasets for abdominal medical image registration
CN111091616A (zh) 一种三维超声图像的重建方法及装置
JP2022077991A (ja) 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、モデルトレーニング装置、およびトレーニング方法
CN113112559A (zh) 一种超声图像的分割方法、装置、终端设备和存储介质
CN116188452A (zh) 医学图像层间插值及三维重建方法
CN112819914A (zh) 一种pet图像处理方法
CN115797611A (zh) 三维医学图像模态转换模型训练方法及设备
CN111814891A (zh) 医学图像合成方法、装置及存储介质
Huang et al. Mambamir: An arbitrary-masked mamba for joint medical image reconstruction and uncertainty estimation
Yu et al. Reducing positional variance in cross-sectional abdominal CT slices with deep conditional generative models
Wang et al. TRCT-GAN: CT reconstruction from biplane X-rays using transformer and generative adversarial networks
Habijan et al. Generation of artificial CT images using patch-based conditional generative adversarial networks
CN116563402A (zh) 跨模态mri-ct图像合成方法、系统、设备和介质
Dou et al. A generative shape compositional framework: towards representative populations of virtual heart chimaeras
Qi et al. Multi-task MR imaging with iterative teacher forcing and re-weighted deep learning
Li et al. Hrinet: Alternative supervision network for high-resolution ct image interpolation
CN114596225A (zh) 一种运动伪影模拟方法和系统
Yu et al. Deep conditional generative model for longitudinal single-slice abdominal computed tomography harmonization
Ma et al. A frequency domain constraint for synthetic and real x-ray image super resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 806, Research Headquarters Building, Guangdong Macao Cooperative Traditional Chinese Medicine Technology Industrial Park, No. 1 Doukou Road, Hengqin New District, Zhuhai City, Guangdong Province, 519031

Patentee after: True Health (Guangdong Hengqin) Medical Technology Co.,Ltd.

Address before: 100192 Room 308, floor 3, building 2, Tiandi Linfeng, No. 1, yongtaizhuang North Road, Haidian District, Beijing

Patentee before: ZHENJIANKANG (BEIJING) MEDICAL TECHNOLOGY Co.,Ltd.