CN113850710A - 一种跨模态医学影像精准转换方法 - Google Patents

一种跨模态医学影像精准转换方法 Download PDF

Info

Publication number
CN113850710A
CN113850710A CN202110945685.7A CN202110945685A CN113850710A CN 113850710 A CN113850710 A CN 113850710A CN 202110945685 A CN202110945685 A CN 202110945685A CN 113850710 A CN113850710 A CN 113850710A
Authority
CN
China
Prior art keywords
image
modal
conversion
model
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110945685.7A
Other languages
English (en)
Other versions
CN113850710B (zh
Inventor
陈海斌
胡漫
吴书裕
李焱
陆遥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202110945685.7A priority Critical patent/CN113850710B/zh
Publication of CN113850710A publication Critical patent/CN113850710A/zh
Application granted granted Critical
Publication of CN113850710B publication Critical patent/CN113850710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于医学图像技术领域，更具体地，涉及一种跨模态医学影像精准转换方法，通过配对影像模态转换模型对降采样图像进行第一次转换，得到的图像经像插值后，与待转换图像一起输入非配对影像模态转换模型中进行转换，输出最终的目标模态影像；本发明中先通过配对影像转换模型对降采样影像进行转换，此时，降采样图像能够减少图像高频噪声对图像模态转换的干扰，从而保证影像中主要的信息可以准确转换，之后再将输出的第一目标模态影像进行像素插值，插值影像可以提供丰富稳定的灰度信息，从而在非配对影像转换模型中引导高频的待转换影像保留更多的细节，避免丢失影像中的信息，从而实现精准稳定的医学影像模态转换。

Description

一种跨模态医学影像精准转换方法
技术领域
本发明属于医学图像技术领域，更具体地，涉及一种跨模态医学影像精准转换方法。
背景技术
临床上通常利用X射线(X-ray)、计算机断层扫描(Computed Tomography,CT)、核磁共振成像(Magnetic Resonance Imaging,MRI)、正电子发射型计算机断层扫描(Positron Emission Computed Tomography,PET)等技术对患者进行医学成像，以获取病灶的具象信息。往往对于同一患者同一病灶需要进行多种类型的医学成像，以获取更加全面的病灶信息，提高诊断的准确度。这种情况下诊断效率低下，且会增加对患者的辐射损伤及增加医疗成本，同时也使得医疗系统不堪重负。
为解决上述问题，有人提出了跨模态医学影像转换，即将因成像原理或扫描参数差异而形成的不同模态的医学影像之间进行转换的图像处理技术，其在节约成本、减少对患者的辐射损伤以及提高诊断精准度均有较高的实际价值。
目前较流行的方案有基于配对图像的学习模型以及基于非配对图像的学习模型；基于非配对图像的学习模型不需要配准，这样待转换模态影像与目标模态影像可以源于不同层面、不同患者，但是在生成影像时，仅判断该影像与目标模态影像空间整体间的差异，这样导致其在输入模态影像存在信息缺失时无法实现精确转换，容易丢失转换精度以及丧失不同患者间的特异性；基于配对图像的学习模型，如中国专利CN111862174A公开的一种跨模态医学图像配准方法，其需要对转换的图像进行精确配准，配准的精准度与模型训练有着密切的关系，而在成像时患者的体位、动作会造成无法避免的误差，这样会导致模型训练方向出现差异，导致最终转换得到的图像精确度达不到要求，会严重影响后续的诊断治疗；而且，在不同模态的医学影像中人体不同组织器官的表现差异可能很大，如骨组织在CT上是具有较高的强度，而在MRI上呈现于脂肪类似的低强度，这样会使得多模态图像配准难度大大增加，从而影响最终的转换精确度。
发明内容
本发明为克服上述现有技术中的至少一个缺陷，提供一种跨模态医学影像精准转换方法，其能够提高医学影像跨模态转换的精度。
为解决上述技术问题，本发明采用的技术方案是：
提供一种跨模态医学影像精准转换方法，包括以下步骤：
S1：获取多组不同患者的多模态影像数据集，并将多模态影像数据集分成训练集以及验证集；
S2：对多组多模态影像数据集中的影像数据分别进行预处理，得到降采样影像；
S3：以降采样影像作为输出，构建配对影像模态转换模型；
S4：将待转换影像输入配对影像模态转换模型，得到第一目标模态影像；
S5：对第一目标模态影像进行像素插值，得到插值影像；
S6：以插值影像及待转换模态影像作为双输入，以第二目标模态影像作为输出，构建非配对影像模态转换模型；
S7：设定最大迭代次数以及迭代结束条件，将训练集中的多模态影像数据集分组输入配对影像模态转换模型中，循环执行步骤S4至步骤S6，以对配对影像模态转换模型及非配对影像模态转换模型进行训练，并计算转换损失以实时更新配对影像模态转换模型及非配对影像模态转换模型；
S8：将验证集中的多模态影像数据输入步骤S7中更新的配对影像模态转换模型及非配对影像模态转换模型中，输出最终目标模态影像。
本方案中先通过配对影像模态转换模型对降采样影像进行转换，此时，降采样图像能够减少图像高频噪声对图像模态转换的干扰，从而保证影像中主要的信息可以准确转换，之后再将输出的第一目标模态影像进行像素插值，插值影像可以提供丰富稳定的灰度信息，从而在非配对影像转换模型中引导高频的待转换影像保留更多的细节，避免丢失影像中的信息，从而实现精准稳定的医学影像模态转换。
优选地，上述的步骤S2具体包括以下步骤：
S21：对每组多模态影像数据集中的多模态影像进行刚性配准，得到配准影像；
S22：对配准影像进行降采样，得到分辨率为配准影像四分之一的降采样影像。
优选地，上述的步骤S7中配对影像模态转换模型训练过程中通过计算相似度测度损失函数，并根据计算结果对配对影像模态转换模型进行更新。
优选地，上述的相似度损失函数具体包括基于像素的相似度测度损失函数以及基于特征空间的相似度测度损失函数。
优选地，上述的基于像素的相似度测度损失函数具体定义为
Figure BDA0003214344890000031
其中，L1为绝对平均误差，Input为待转换影像，Target为第一目标模态影像，Ω为模态转换影像空间所包含的像素点集合，n为像素点的总数量，G为配对影像模态转换模型，p为对应影像中的第p个像素。
优选地，上述的基于特征空间的相似度测度损失函数具体定义为：
Figure BDA0003214344890000032
其中，
Figure BDA0003214344890000033
为均方误差，Input为待转换影像，Target为第一目标模态影像，G为配对影像模态转换模型，p为对应影像中的第p个像素，φi，j为第i层卷积块第j个卷积变换，Cj为输出特征的通道数，Wj为输出特征的宽度，Hj为输出特征的长度。
优选地，上述的步骤S7中非配对影像模态转换模型包括同时进行的正向转换模型以及反向转换模型，且通过循环稳定性损失函数对正向转换模型以及反向转换模型进行约束，训练过程中均通过生成对抗损失函数以及循环稳定性损失函数计算转换的损失梯度，并根据损失梯度对非配对影像模态转换模型进行更新。
优选地，上述的生成对抗损失函数中包括生成器损失以及判别器损失；其中定义正向转换模型中的判别器损失
Figure BDA0003214344890000034
为：
Figure BDA0003214344890000035
定义正向转换模型中的生成器损失
Figure BDA0003214344890000036
为：
Figure BDA0003214344890000041
定义反向转换模型中的判别器损失
Figure BDA0003214344890000042
为：
Figure BDA0003214344890000043
定义反向转换模型中的生成器损失
Figure BDA0003214344890000044
为：
Figure BDA0003214344890000045
其中，Input2为插值影像及待转换模态影像，Target2为第二目标模态影像，Df为正向转换模型中的判别器，Gf为正向转换模型的生成器，Db为反向转换模型中的判别器，Gb为反向转换模型中的生成器。
优选地，上述的循环稳定性损失函数中的循环转换损失为：
Figure BDA0003214344890000046
其中，p为对应影像中的第p个像素，Ω为模态转换影像空间所包含的像素点集合，n为像素点的总数量，Gb为反向转换模型中的生成器，Gf为正向转换模型的生成器。
优选地，上述的步骤S7中还包括对配对影像模态转换模型与非配对影像模态转换模型的转换损失之和进行计算；当计算结果连续若干次迭代不再减少或达到最大迭代训练次数，则达到迭代结束条件。
与现有技术相比，有益效果是：
本发明中先通过配对影像模态转换模型对降采样影像进行转换，此时，降采样图像能够减少图像高频噪声对图像模态转换的干扰，从而保证影像中主要的信息可以准确转换，之后再将输出的第一目标模态影像进行像素插值，插值影像可以提供丰富稳定的灰度信息，从而在非配对影像转换模型中引导高频的待转换影像在转换过程中保留更多的细节，兼具了配对影像模态转换模型与非配对影像模态转换模型的有点，可以实现精准稳定的医学影像模态转换。
附图说明
图1是本发明实施例跨模态医学影像精准转换方法的流程示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”“长”“短”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体描述：
实施例：
如图1所示为一种跨模态医学影像精准转换方法的实施例，包括以下步骤：
S1：获取多组不同患者的多模态影像数据集，并将多模态影像数据集分成训练集以及验证集；其中，每组患者的多模态影像数据集均应来自相同的组织或器官等人体结构，以保证后续转换的精准度；另外，训练集以及验证集的比例可以选择为7:3，训练集与验证集中的多模态影像数据集相加应超过一百，以保证后续模型训练的数据需求量；
S2：对多组多模态影像数据集中的影像数据分别进行预处理，得到降采样影像；
S3：以降采样影像作为输出，构建配对影像模态转换模型；
S4：将待转换影像输入配对影像模态转换模型，得到第一目标模态影像；
S5：对第一目标模态影像进行像素插值，得到插值影像；其中，像素插值可采用线性插值的方法，将第一目标模态影像插值至与待转换影像相同的分辨率，
S6：以插值影像及待转换模态影像作为双输入，以第二目标模态影像作为输出，构建非配对影像模态转换模型；
S7：设定最大迭代次数以及迭代结束条件，将训练集中的多模态影像数据集分组输入配对影像模态转换模型中，循环执行步骤S4至步骤S6，以对配对影像模态转换模型及非配对影像模态转换模型进行训练，并计算转换损失以实时更新配对影像模态转换模型及非配对影像模态转换模型；
S8：将验证集中的多模态影像数据输入步骤S7中更新的配对影像模态转换模型及非配对影像模态转换模型中，输出最终目标模态影像。
本实施例中步骤S2具体包括以下步骤：
S21：对每组多模态影像数据集中的多模态影像进行刚性配准，得到配准影像；
S22：采用高斯金字塔对配准影像进行降采样，得到分辨率为配准影像四分之一的降采样影像；具体地，定义配准图像为第一层高斯金字塔影像，用一个高斯核对第一层高斯金字塔影像进行高斯内核卷积操作，再移除卷积后影像的偶数行与列，得到分辨率为配准图像二分之一的第二层高斯金字塔影像，再用一个高斯核对第二层高斯金字塔影像进行高斯内核卷积操作，移除卷积后影像的偶数行与列，即可得到本实施例中的降采样影像，其分辨率为配准图像的四分之一，图像尺寸也为配准图像的四分之一，变得更加平滑；需要说明的是，本实施例中采用高斯金字塔对配准影像进行降采样以及高斯金字塔的计算层数仅为参考的实施方式，具体实施过程中当然还可以计算更多层的高斯金字塔进行降采样或者采用均匀采样等其他方法降低配准影像的分辨率，以达到去除变化剧烈的高频信息以及避免高频信息对配准转换过程中产生过多干扰的效果。
本实施例中步骤S7中配对影像模态转换模型训练过程中通过计算相似度测度损失函数，根据计算结果衡量第一目标模态影像与真实模目标模态影像之间的相似性，并根据计算结果对配对影像模态转换模型参数进行更新，其具体步骤如下：
(a)对神经网络l层的卷积核/权重矩阵Wl、偏置bl进行随机初始化；
(b)设置好训练的最大迭代次数，每个训练batch(批次)的大小，学习率η；
(c)从训练数据中取出一个batch的数据，作为输入x送入神经网络的输入端，得到神经网络l层的输出参数zl，αl＝f(zl)及神经网络的输出和标注值y计算神经网络的损失函数。其中，f(*)表示对应层激活函数；αl表示，；
(d)计算损失函数对输出层的delta误差δl；
(e)利用相邻层之间delta误差的递推公式求得每一层的delta误差：
如果是全连接层，δl＝(Wl+1)Tδl+1⊙f′(zl)；
如果是全连接层，δl＝δl+1*ROT180(Wl+1)⊙f(zl)；
如果是池化层，δl＝upsample(δl+1)⊙f′(zl)。
其中，f′(*)表示对应层激活函数的导函数，ROT180表示旋转180度，upsample表示上采样操作；
(f)利用每一层的delta误差求出损失函数对该层参数的导数：
如果是全连接层，
Figure BDA0003214344890000071
如果是卷积层，
Figure BDA0003214344890000072
(g)利用一个batch数据求得的导数，根据梯度下降法对参数进行更新：
Figure BDA0003214344890000073
Figure BDA0003214344890000074
(h)跳转到步骤(c)，直到完成所有数据的训练，则完成一次迭代；
(i)跳转到步骤(b)，直到达到指定的迭代次数，则完成模型的训练。
本实施例中相似度损失函数具体包括基于像素的相似度测度损失函数以及基于特征空间的相似度测度损失函数。其中，基于像素的相似度测度损失函数可以直接对第一目标模态影像与转换得到的模态影像进行约束，基于特征空间的相似度测度损失函数则包括了对影像亮度、纹理、形状等信息，可对转换得到的模态影像与第一目标模态影像进行更加全面的约束，使得两者能够具有较高的一致性，从而保证后续得到的最终目标模态影像保留更多的影像信息。
本实施例中基于像素的相似度测度损失函数具体定义为
Figure BDA0003214344890000075
其中，L1为绝对平均误差，Input为待转换影像，Target为第一目标模态影像，Ω为模态转换影像空间所包含的像素点集合，n为像素点的总数量，G为配对影像模态转换模型，p为对应影像中的第p个像素。
本实施例中基于特征空间的相似度测度损失函数具体定义为：
Figure BDA0003214344890000076
其中，
Figure BDA0003214344890000077
为均方误差，Input为待转换影像，Target为第一目标模态影像，G为配对影像模态转换模型，p为对应影像中的第p个像素，φi，j为第i层卷积块第j个卷积变换，Cj为输出特征的通道数，Wj为输出特征的宽度，Hj为输出特征的长度。
在每次迭代过程中，根据公式计算出损失梯度后，将损失梯度反馈到配对影像模态转换模型中，对配对影像转换模型进行更新，以使模型具有学习能力。
本实施例中步骤S7中非配对影像模态转换模型包括同时进行的正向转换模型以及反向转换模型，其中，正向转换模型将待转换影像向第二目标模态影像进行转换，反向转换模型将正向转换模型得到的影像向待转换影像进行转换，且通过循环稳定性损失函数对正向转换模型以及反向转换模型进行约束，训练过程中均通过生成对抗损失函数以及循环稳定性损失函数计算转换的损失梯度，并根据损失梯度对非配对影像模态转换模型进行更新。其中，非配对影像模态转换模型训练的具有两个目标，第一目标为转换得到的模态影像与第二目标模态影像集合在分布上尽可能相近，第二目标为转换得到的影像通过反向转换模型变换后与待转换影像保持一致。
本实施例中生成对抗损失函数中包括生成器损失以及判别器损失；生成器为非配对影像模态转换模型；判别器需构建(此为本领域技术人员熟知内容，不再详述)，用于对非配对影像模态转换模型的生成结果类别进行判断，生在模型训练过程中，生成器与判别器相互对抗，一方面鼓励生成器输出的模态影像能够迷惑判别器，另一方面鼓励判别器能够更好地区分第二目标模态影像与生成器输出的模态影像，在每次迭代过程中计算出判别器与生成器的损失梯度，并反馈到非配对影像模态转换模型中，使得模型在迭代过程中学习到更为精确的影像转换方式。
其中定义正向转换模型中的判别器损失
Figure BDA0003214344890000081
为：
Figure BDA0003214344890000082
定义正向转换模型中的生成器损失
Figure BDA0003214344890000083
为：
Figure BDA0003214344890000084
定义反向转换模型中的判别器损失
Figure BDA0003214344890000085
为：
Figure BDA0003214344890000086
定义反向转换模型中的生成器损失
Figure BDA0003214344890000091
为：
Figure BDA0003214344890000092
其中，Input2为插值影像及待转换模态影像，Target2为第二目标模态影像，Df为正向转换模型中的判别器，Gf为正向转换模型的生成器，Db为反向转换模型中的判别器，Gb为反向转换模型中的生成器。
本实施例中循环稳定性损失函数中的循环转换损失为：
Figure BDA0003214344890000093
其中，p为对应影像中的第p个像素，Ω为模态转换影像空间所包含的像素点集合，n为像素点的总数量，Gb为反向转换模型中的生成器，Gf为正向转换模型的生成器。
本实施例中步骤S7中还包括对配对影像模态转换模型与非配对影像模态转换模型的转换损失之和进行计算，当计算结果连续十次迭代不再减少或达到最大迭代训练次数，则达到迭代结束条件，完成模型训练。
本发明是参照本申请实施例的方法、设备(系统)、和计算机程序产品的流程图或方框图来描述的，应理解可由计算机程序指令实现流程图或方框图中的每一流程或方框、以及流程图或方框图中的流程或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种跨模态医学影像精准转换方法，其特征在于，包括以下步骤：
S1：获取多组不同患者的多模态影像数据集，并将所述多模态影像数据集分成训练集以及验证集；
S2：对多组所述多模态影像数据集中的影像数据分别进行预处理，得到降采样影像；
S3：以所述降采样影像作为输出，构建配对影像模态转换模型；
S4：将待转换影像输入所述配对影像模态转换模型，得到第一目标模态影像；
S5：对所述第一目标模态影像进行像素插值，得到插值影像；
S6：以所述插值影像及待转换模态影像作为双输入，以第二目标模态影像作为输出，构建非配对影像模态转换模型；
S7：设定最大迭代次数以及迭代结束条件，将所述训练集中的多模态影像数据集分组输入所述配对影像模态转换模型中，循环执行步骤S4至步骤S6，以对所述配对影像模态转换模型及非配对影像模态转换模型进行训练，并计算转换损失以实时更新所述配对影像模态转换模型及非配对影像模态转换模型；
S8：将验证集中的多模态影像数据输入步骤S7中更新的所述配对影像模态转换模型及非配对影像模态转换模型中，输出最终目标模态影像。
2.根据权利要求1所述的一种跨模态医学影像精准转换方法，其特征在于，所述步骤S2具体包括以下步骤：
S21：对每组所述多模态影像数据集中的多模态影像进行刚性配准，得到配准影像；
S22：对所述配准影像进行降采样，得到分辨率为配准影像四分之一的降采样影像。
3.根据权利要求2所述的一种跨模态医学影像精准转换方法，其特征在于，步骤S7中所述配对影像模态转换模型训练过程中通过计算相似度测度损失函数，并根据计算结果对所述配对影像模态转换模型参数进行更新。
4.根据权利要求3所述的一种跨模态医学影像精准转换方法，其特征在于，所述相似度损失函数具体包括基于像素的相似度测度损失函数以及基于特征空间的相似度测度损失函数。
5.根据权利要求4所述的一种跨模态医学影像精准转换方法，其特征在于，所述基于像素的相似度测度损失函数具体定义为
Figure FDA0003214344880000021
其中，L1为绝对平均误差，Input为待转换影像，Target为第一目标模态影像，Ω为模态转换影像空间所包含的像素点集合，n为像素点的总数量，G为配对影像模态转换模型，p为对应影像中的第p个像素。
6.根据权利要求5所述的一种跨模态医学影像精准转换方法，其特征在于，所述基于特征空间的相似度测度损失函数具体定义为：
Figure FDA0003214344880000022
其中，
Figure FDA0003214344880000023
为均方误差，Input为待转换影像，Target为第一目标模态影像，G为配对影像模态转换模型，p为对应影像中的第p个像素，фi,j为第i层卷积块第j个卷积变换，Cj为输出特征的通道数，Wj为输出特征的宽度，Hj为输出特征的长度。
7.根据权利要求6所述的一种跨模态医学影像精准转换方法，其特征在于，步骤S7中所述非配对影像模态转换模型包括同时进行的正向转换模型以及反向转换模型，且通过循环稳定性损失函数对所述正向转换模型以及反向转换模型进行约束，训练过程中均通过生成对抗损失函数以及循环稳定性损失函数计算转换的损失梯度，并根据损失梯度对所述非配对影像模态转换模型进行更新。
8.根据权利要求7所述的一种跨模态医生影像精准转换方法，其特征在于，所述生成对抗损失函数中包括生成器损失以及判别器损失；
其中定义正向转换模型中的判别器损失
Figure FDA0003214344880000024
为：
Figure FDA0003214344880000025
定义正向转换模型中的生成器损失
Figure FDA0003214344880000026
为：
Figure FDA0003214344880000027
定义反向转换模型中的判别器损失
Figure FDA0003214344880000028
为：
Figure FDA0003214344880000029
定义反向转换模型中的生成器损失
Figure FDA0003214344880000031
为：
Figure FDA0003214344880000032
其中，Input2为插值影像及待转换模态影像，Target2为第二目标模态影像，Df为正向转换模型中的判别器，Gf为正向转换模型的生成器，Db为反向转换模型中的判别器，Gb为反向转换模型中的生成器。
9.根据权利要求7所述的一种跨模态医学影像精准转换方法，其特征在于，所述循环稳定性损失函数中的循环转换损失为：
Figure FDA0003214344880000033
其中，p为对应影像中的第p个像素，Ω为模态转换影像空间所包含的像素点集合，n为像素点的总数量，Gb为反向转换模型中的生成器，Gf为正向转换模型的生成器。
10.根据权利要求1至9任一项所述的一种跨模态医学影像精准转换方法，其特征在于，步骤S7中还包括对所述配对影像模态转换模型与非配对影像模态转换模型的转换损失之和进行计算；当计算结果连续若干次迭代不再减少或达到最大迭代训练次数，则达到迭代结束条件。
CN202110945685.7A 2021-08-16 2021-08-16 一种跨模态医学影像精准转换方法 Active CN113850710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110945685.7A CN113850710B (zh) 2021-08-16 2021-08-16 一种跨模态医学影像精准转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110945685.7A CN113850710B (zh) 2021-08-16 2021-08-16 一种跨模态医学影像精准转换方法

Publications (2)

Publication Number Publication Date
CN113850710A true CN113850710A (zh) 2021-12-28
CN113850710B CN113850710B (zh) 2024-05-24

Family

ID=78975851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110945685.7A Active CN113850710B (zh) 2021-08-16 2021-08-16 一种跨模态医学影像精准转换方法

Country Status (1)

Country Link
CN (1) CN113850710B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117911722A (zh) * 2024-03-19 2024-04-19 陕西中医药大学 基于人工智能的糖尿病人舌象特征提取方法
CN117911722B (zh) * 2024-03-19 2024-06-04 陕西中医药大学 基于人工智能的糖尿病人舌象特征提取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109285200A (zh) * 2018-08-23 2019-01-29 上海连叶智能科技有限公司 一种基于人工智能的多模态医学影像的转换方法
CN110084863A (zh) * 2019-04-25 2019-08-02 中山大学 一种基于生成对抗网络的多域图像转换方法与系统
US20200184660A1 (en) * 2018-12-11 2020-06-11 Siemens Healthcare Gmbh Unsupervised deformable registration for multi-modal images
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109285200A (zh) * 2018-08-23 2019-01-29 上海连叶智能科技有限公司 一种基于人工智能的多模态医学影像的转换方法
US20200184660A1 (en) * 2018-12-11 2020-06-11 Siemens Healthcare Gmbh Unsupervised deformable registration for multi-modal images
CN110084863A (zh) * 2019-04-25 2019-08-02 中山大学 一种基于生成对抗网络的多域图像转换方法与系统
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张欣怡;张富利;王秋生;: "多模态医学影像的非刚体配准与多分辨率融合方法", 应用科技, no. 03, 20 December 2018 (2018-12-20) *
董国亚;宋立明;李雅芬;李文;谢耀钦;: "基于深度学习的跨模态医学图像转换", 中国医学物理学杂志, no. 10, 25 October 2020 (2020-10-25) *
闫利;王紫琦;叶志云;: "顾及灰度和梯度信息的多模态影像配准算法", 测绘学报, no. 01, 15 January 2018 (2018-01-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117911722A (zh) * 2024-03-19 2024-04-19 陕西中医药大学 基于人工智能的糖尿病人舌象特征提取方法
CN117911722B (zh) * 2024-03-19 2024-06-04 陕西中医药大学 基于人工智能的糖尿病人舌象特征提取方法

Also Published As

Publication number Publication date
CN113850710B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
US11806189B2 (en) Three-dimensional segmentation from two-dimensional intracardiac echocardiography imaging
US11847781B2 (en) Systems and methods for medical acquisition processing and machine learning for anatomical assessment
CN111161326B (zh) 用于可变形图像配准的无监督深度学习的系统和方法
EP3123447B1 (en) Systems and methods for data and model-driven image reconstruction and enhancement
CN111680447A (zh) 血流特征预测方法、装置、计算机设备和存储介质
Girum et al. Learning with context feedback loop for robust medical image segmentation
Banerjee et al. A completely automated pipeline for 3D reconstruction of human heart from 2D cine magnetic resonance slices
Fetty et al. Investigating conditional GAN performance with different generator architectures, an ensemble model, and different MR scanners for MR-sCT conversion
CN113298855B (zh) 基于自动勾画的图像配准方法
CN115830016B (zh) 医学图像配准模型训练方法及设备
Singh et al. Medical image generation using generative adversarial networks
Laumer et al. Weakly supervised inference of personalized heart meshes based on echocardiography videos
Poonkodi et al. 3d-medtrancsgan: 3d medical image transformation using csgan
CN113850710B (zh) 一种跨模态医学影像精准转换方法
Buoso et al. MRXCAT2. 0: Synthesis of realistic numerical phantoms by combining left-ventricular shape learning, biophysical simulations and tissue texture generation
CN112150404B (zh) 基于联合显著图的全局到局部非刚性图像配准方法及装置
Du et al. HNSF Log‐Demons: Diffeomorphic demons registration using hierarchical neighbourhood spectral features
EP4350704A1 (en) Method and apparatus for generating virtual populations of anatomy
CN116958217B (zh) 一种mri与ct多模态3d自动配准方法及装置
US20240153089A1 (en) Systems and methods for processing real-time cardiac mri images
Zhou Deformable Image Registration Using Attentional Generative Adversarial Networks
Ta Multi-Task Learning for Cardiac Motion Analysis and Segmentation in Echocardiography
Huang et al. Multi-residual 2D network integrating spatial correlation for whole heart segmentation
Sheikhjafari et al. GMCNet: A Generative Multi-Resolution Framework for Cardiac Registration
Mao Three-dimensional Ultrasound Fusion for Transesophageal Echocardiography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant