CN110111395A - 一种基于mri图像合成pet-mri图像的方法 - Google Patents
一种基于mri图像合成pet-mri图像的方法 Download PDFInfo
- Publication number
- CN110111395A CN110111395A CN201910332981.2A CN201910332981A CN110111395A CN 110111395 A CN110111395 A CN 110111395A CN 201910332981 A CN201910332981 A CN 201910332981A CN 110111395 A CN110111395 A CN 110111395A
- Authority
- CN
- China
- Prior art keywords
- mri image
- pet
- synthesis
- true
- mri
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Nuclear Medicine (AREA)
Abstract
本发明公开一种基于MRI图像合成PET‑MRI图像的方法，目的为了寻找基于MRI图像准确地合成PET‑MRI图像的实现方案，其包括如下步骤：获得损失函数LGAN1、损失函数LGAN2、正向循环损失函数LcycleA以及反向循环损失函数LcycleB；将定义的四个损失函数相加构成总损失函数，并分配不同的权重系数，循环正向循环通道和反向循环通道，以使MRI图像合成准确的PET‑MRI图像进而得到最小化的总损失函数Ltotal。本发明通过构建由正向循环通道和反向循环通道循环训练体系，使得MRI图像能够合成PET‑MRI图像，在一定程度上降低了PET‑MRI图像的获取成本。
Description
技术领域
本发明涉及医学图像合成领域，具体而言，本发明涉及一种基于MRI图像合成PET-MRI图像的方法。
背景技术
随着医学、计算机技术及生物工程技术的发展，医学影像为临床诊断提供了多种模态的医学图像，譬如电子计算机断层扫描(Computed Tomography，简称CT)、核磁共振成像(Magnetic Resonance Imaging，简称MRI)、正电子发射计算机断层扫描(PositronEmission Computed Tomography，简称PET)、超声图像、PET-CT、PET-MRI等。不同的医学图像提供了相关脏器的不同信息，但是人们更关注医学图像的成像效果，(如灵敏度、清晰度、精准性等)。
MRI是一种无损伤性检查。对人体软组织的分辨率较高，可无创进行水成像和血管成像，也可在体分析组织和病变代谢的生化成分。PET则提供病灶详尽的功能与代谢等分子信息。而PET-MRI是将PET的分子成像功能和MRI卓越的软组织对比功能结合起来，它可以对在软组织中扩散的疾病细胞进行成像。与其他手段相比，它的灵敏度高、准确性好，对许多疾病，尤其是肿瘤和最为常见的心脑疾病，具有早期发现、早期诊断的价值。然而国内外PET-MRI医疗设备的普及率较低，费用昂贵，因此，基于MRI图像准确地合成PET-MRI图像具有深远意义。
发明内容
为了寻找基于MRI图像准确地合成PET-MRI图像的实现方案，本发明提供了一种基于MRI图像合成PET-MRI图像的方法。
为实现上述目的，本发明一种基于MRI图像合成PET-MRI图像的方法，其包括如下步骤：
在正向循环通道中，使用生成网络G1将源模态S中的真实MRI图像转换成目标模态T中的合成PET-MRI图像，同时，判别网络D1对所述合成PET-MRI图像进行判别，判断所述合成PET-MRI图像是来自于合成PET-MRI图像还是来自真实PET-MRI图像，并最小化使合成PET-MRI图像更接近真实PET-MRI图像的损失函数LGAN1；将所述合成PET-MRI图像再送入生成网络G2转换成源模态中的合成MRI图像；调用判别网络D2对所述合成MRI图像进行判别，判断所述合成MRI图像是来自于合成MRI图像，还是真实MRI图像，并最小化使合成MRI图像更接近真实MRI图像的损失函数LGAN2；同时，基于所述真实MRI图像和循环合成MRI图像的差异创建一个正向循环损失函数LcycleA；
在反向循环通道中，使用生成网络G2将目标模态T中的真实PET-MRI图像转换成源模态S中的合成MRI图像，同时，判别网络D2对合成MRI图像进行判别，判断所述合成MRI图像是来自于合成MRI图像，还是真实MRI图像，并最小化使合成MRI图像更接近真实MRI图像的损失函数LGAN2；将合成MRI图像再送入生成网络G1，转换成目标模态中的合成PET-MRI图像；调用判别网络D1对合成PET-MRI图像进行判别，判断所述PET-MRI图像是来自于合成PET-MRI图像，还是真实PET-MRI图像，并最小化使合成PET-MRI图像更接近真实PET-MRI图像的损失函数LGAN1；同时，基于真实PET-MRI图像和循环合成PET-MRI图像的差异创建一个反向循环损失函数LcycleB；
将定义的四个损失函数相加构成总损失函数，并分配不同的权重系数，循环所述正向循环通道和所述反向循环通道，以使MRI图像合成准确的PET-MRI图像进而得到最小化的总损失函数Ltotal，该最小化总损失函数Ltotal公式如下：
Ltotal＝λ1LGAN1+λ2LGAN2+λ3LcycleA+λ4LcycleB
式中，λ1、λ2、λ3和λ4为对应的损失函数的权重系数。
优选地，所述损失函数LGAN1计算方式如下：
式中，x是源模态S中的真实图像，y是目标模态T中的真实图像，λ为权重系数；p(x)为x服从的概率分布，p(y)为y服从的概率分布，p(z)为z服从的介于p(x)和p(y)之间的概率分布；G(·)为生成网络合成的图像，D(·)为判别网络的判别概率，E[·]为数学期望值，||·||2为二阶范数，▽为梯度下降。
优选地，其特征在于，所述损失函数LGAN2计算方式如下：
式中，x是源模态S中的真实图像，y是目标模态T中的真实图像，λ为权重系数；p(x)为x服从的概率分布，p(y)为y服从的概率分布，p(z)为z服从的介于p(x)和p(y)之间的概率分布；G(·)为生成网络合成的图像，D(·)为判别网络的判别概率，E[·]为数学期望值，||·||2为二阶范数，▽为梯度下降。
优选地，所述正向循环损失函数LcycleA和反向循环损失函数LcycleB的计算方式如下：
LcycleA(S,T)＝Ex～A[||G2(G1(x))-x||1]
LcycleB(T,S)＝Ey～B[||G1(G2(y))-y||1]
式中，||·||1为一阶范数；x是源模态S中的真实图像，y是目标模态T中的真实图像；G(·)为生成网络合成的图像，E[·]为数学期望值。
与现有技术相比，本发明一种基于MRI图像合成PET-MRI图像的方法具有如下有益效果：
本发明一种基于MRI图像合成PET-MRI图像的方法通过构建由正向循环通道和反向循环通道循环训练体系，使得MRI图像能够合成PET-MRI图像，在一定程度上降低了PET-MRI图像的获取成本。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例一种基于MRI图像合成PET-MRI图像的方法的应用场景示意图；
图2为本发明实施例一种基于MRI图像合成PET-MRI图像的方法中MRI图像和合成PET-MRI图像的对比示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
请参阅图1，图1示出了本发明实施例一种基于MRI图像合成PET-MRI图像的方法的应用场景示意图，其中，圆点虚线为正向循环通道，短线虚线为反向循环通道，两者构成整个循环训练体系。另外，实线对应着各个部分的损失函数。
为便于理解本发明实施例一种基于MRI图像合成PET-MRI图像的方法，下面结合图1详细说明解释，如图1所示，该基于MRI图像合成PET-MRI图像的方法包括如下步骤：
步骤(1)在正向循环通道中，使用生成网络G1将源模态S中的真实MRI图像转换成目标模态T中的合成PET-MRI图像，同时，判别网络D1对合成PET-MRI图像进行判别，判断合成PET-MRI图像是来自于合成PET-MRI图像还是来自真实PET-MRI图像，并最小化使合成PET-MRI图像更接近真实PET-MRI图像的损失函数LGAN1；将合成PET-MRI图像再送入生成网络G2转换成源模态中的合成MRI图像；调用判别网络D2对所述合成MRI图像进行判别，判断所述合成MRI图像是来自于合成MRI图像，还是真实MRI图像，并最小化使合成MRI图像更接近真实MRI图像的损失函数LGAN2；同时，基于所述真实MRI图像和循环合成MRI图像的差异创建一个正向循环损失函数LcycleA。
在一些实施方式中，损失函数LGAN1计算方式如下：
正向循环损失函数LcycleA的计算方式如下：
LcycleA(S,T)＝Ex～A[||G2(G1(x))-x||1]
式中，x是源模态S中的真实图像，y是目标模态T中的真实图像，λ为权重系数；p(x)为x服从的概率分布，p(y)为y服从的概率分布，p(z)为z服从的介于p(x)和p(y)之间的概率分布；G(·)为生成网络合成的图像，D(·)为判别网络的判别概率，E[·]为数学期望值，||·||2为二阶范数，▽为梯度下降，||·||1为一阶范数。
步骤(2)在反向循环通道中，使用生成网络G2将目标模态T中的真实PET-MRI图像转换成源模态S中的合成MRI图像，同时，判别网络D2对合成MRI图像进行判别，判断所述合成MRI图像是来自于合成MRI图像，还是真实MRI图像，并最小化使合成MRI图像更接近真实MRI图像的损失函数LGAN2；将合成MRI图像再送入生成网络G1，转换成目标模态中的合成PET-MRI图像；调用判别网络D1对合成PET-MRI图像进行判别，判断所述PET-MRI图像是来自于合成PET-MRI图像，还是真实PET-MRI图像，并最小化使合成PET-MRI图像更接近真实PET-MRI图像的损失函数LGAN1；同时，基于真实PET-MRI图像和循环合成PET-MRI图像的差异创建一个反向循环损失函数LcycleB。
在一些实施方式中，损失函数LGAN2计算方式如下：
反向循环损失函数LcycleB的计算方式如下：
LcycleB(T,S)＝Ey～B[||G1(G2(y))-y||1]
式中，式中，x是源模态S中的真实图像，y是目标模态T中的真实图像，λ为权重系数；p(x)为x服从的概率分布，p(y)为y服从的概率分布，p(z)为z服从的介于p(x)和p(y)之间的概率分布；G(·)为生成网络合成的图像，D(·)为判别网络的判别概率，E[·]为数学期望值，||·||2为二阶范数，▽为梯度下降，||·||1为一阶范数。
步骤(3)将定义的四个损失函数相加构成总损失函数，并分配不同的权重系数，循环所述正向循环通道和所述反向循环通道，以使MRI图像合成准确的PET-MRI图像进而得到最小化总损失函数Ltotal，该最小化的总损失函数Ltotal公式如下：
Ltotal＝λ1LGAN1+λ2LGAN2+λ3LcycleA+λ4LcycleB
式中，λ1、λ2、λ3和λ4为对应的损失函数的权重系数。
优选地，λ1、λ2、λ3和λ4可根据经验设定。
请参阅图2，图2示出了基于MRI图像合成PET-MRI图像的方法的MRI图像和合成PET-MRI图像的对比示意图，从图2中可以看出采用本发明实施例一种基于MRI图像合成PET-MRI图像的方法具有良好的合成效果。
与现有技术相比，本发明实施例一种基于MRI图像合成PET-MRI图像的方法具有如下有益效果：
本发明实施例一种基于MRI图像合成PET-MRI图像的方法通过构建由正向循环通道和反向循环通道循环训练体系，使得MRI图像能够合成PET-MRI图像，在一定程度上降低了PET-MRI图像的获取成本。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (4)
1.一种基于MRI图像合成PET-MRI图像的方法，其特征在于，所述基于MRI图像合成PET-MRI图像的方法包括如下步骤：
在正向循环通道中，使用生成网络G1将源模态S中的真实MRI图像转换成目标模态T中的合成PET-MRI图像，同时，判别网络D1对所述合成PET-MRI图像进行判别，判断所述合成PET-MRI图像是来自于合成PET-MRI图像还是来自真实PET-MRI图像，并最小化使合成PET-MRI图像更接近真实PET-MRI图像的损失函数LGAN1；将所述合成PET-MRI图像再送入生成网络G2转换成源模态中的合成MRI图像；调用判别网络D2对所述合成MRI图像进行判别，判断所述合成MRI图像是来自于合成MRI图像，还是真实MRI图像，并最小化使合成MRI图像更接近真实MRI图像的损失函数LGAN2；同时，基于所述真实MRI图像和循环合成MRI图像的差异创建一个正向循环损失函数LcycleA；
在反向循环通道中，使用生成网络G2将目标模态T中的真实PET-MRI图像转换成源模态S中的合成MRI图像，同时，判别网络D2对合成MRI图像进行判别，判断所述合成MRI图像是来自于合成MRI图像，还是真实MRI图像，并最小化使合成MRI图像更接近真实MRI图像的损失函数LGAN2；将合成MRI图像再送入生成网络G1，转换成目标模态中的合成PET-MRI图像；调用判别网络D1对合成PET-MRI图像进行判别，判断所述PET-MRI图像是来自于合成PET-MRI图像，还是真实PET-MRI图像，并最小化使合成PET-MRI图像更接近真实PET-MRI图像的损失函数LGAN1；同时，基于真实PET-MRI图像和循环合成PET-MRI图像的差异创建一个反向循环损失函数LcycleB；
将定义的四个损失函数相加构成总损失函数，并分配不同的权重系数，循环所述正向循环通道和所述反向循环通道，以使MRI图像合成准确的PET-MRI图像进而得到最小化的总损失函数Ltotal，该最小化总损失函数Ltotal公式如下：
Ltotal＝λ1LGAN1+λ2LGAN2+λ3LcycleA+λ4LcycleB
式中，λ1、λ2、λ3和λ4为对应的损失函数的权重系数。
2.如权利要求1所述的基于MRI图像合成PET-MRI图像的方法，其特征在于，所述损失函数LGAN1计算方式如下：
式中，x是源模态S中的真实图像，y是目标模态T中的真实图像，λ为权重系数；p(x)为x服从的概率分布，p(y)为y服从的概率分布，p(z)为z服从的介于p(x)和p(y)之间的概率分布；G(·)为生成网络合成的图像，D(·)为判别网络的判别概率，E[·]为数学期望值，||·||2为二阶范数，为梯度下降。
3.如权利要求1所述的基于MRI图像合成PET-MRI图像的方法，其特征在于，所述损失函数LGAN2计算方式如下：
式中，x是源模态S中的真实图像，y是目标模态T中的真实图像，λ为权重系数；p(x)为x服从的概率分布，p(y)为y服从的概率分布，p(z)为z服从的介于p(x)和p(y)之间的概率分布；G(·)为生成网络合成的图像，D(·)为判别网络的判别概率，E[·]为数学期望值，||·||2为二阶范数，为梯度下降。
4.如权利要求1所述的基于MRI图像合成PET-MRI图像的方法，其特征在于，所述正向循环损失函数LcycleA和反向循环损失函数LcycleB的计算方式如下：
LcycleA(S,T)＝Ex～A[||G2(G1(x))-x||1]
LcycleB(T,S)＝Ey～B[||G1(G2(y))-y||1]
式中，||·||1为一阶范数；x是源模态S中的真实图像，y是目标模态T中的真实图像；G(·)为生成网络合成的图像，E[·]为数学期望值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910332981.2A CN110111395B (zh) | 2019-04-24 | 2019-04-24 | 一种基于mri图像合成pet-mri图像的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910332981.2A CN110111395B (zh) | 2019-04-24 | 2019-04-24 | 一种基于mri图像合成pet-mri图像的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110111395A true CN110111395A (zh) | 2019-08-09 |
| CN110111395B CN110111395B (zh) | 2023-08-29 |
Family
ID=67486451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910332981.2A Active CN110111395B (zh) | 2019-04-24 | 2019-04-24 | 一种基于mri图像合成pet-mri图像的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110111395B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022120762A1 (zh) * | 2020-12-10 | 2022-06-16 | 中国科学院深圳先进技术研究院 | 多模态医学图像生成方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120249136A1 (en) * | 2011-03-31 | 2012-10-04 | General Electric Company | Method and apparatus for performing diffusion spectrum imaging |
| CN106373109A (zh) * | 2016-08-31 | 2017-02-01 | 南方医科大学 | 一种医学图像模态合成的方法 |
| CN108986067A (zh) * | 2018-05-25 | 2018-12-11 | 上海交通大学 | 基于跨模态的肺结节检测方法 |
| CN109035356A (zh) * | 2018-07-05 | 2018-12-18 | 四川大学 | 一种基于pet图形成像的系统及方法 |
-
2019
- 2019-04-24 CN CN201910332981.2A patent/CN110111395B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120249136A1 (en) * | 2011-03-31 | 2012-10-04 | General Electric Company | Method and apparatus for performing diffusion spectrum imaging |
| CN106373109A (zh) * | 2016-08-31 | 2017-02-01 | 南方医科大学 | 一种医学图像模态合成的方法 |
| CN108986067A (zh) * | 2018-05-25 | 2018-12-11 | 上海交通大学 | 基于跨模态的肺结节检测方法 |
| CN109035356A (zh) * | 2018-07-05 | 2018-12-18 | 四川大学 | 一种基于pet图形成像的系统及方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022120762A1 (zh) * | 2020-12-10 | 2022-06-16 | 中国科学院深圳先进技术研究院 | 多模态医学图像生成方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110111395B (zh) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dar et al. | Image synthesis in multi-contrast MRI with conditional generative adversarial networks | |
| JP2022544229A (ja) | オブジェクト検出を用いて位置特定された医用画像の三次元オブジェクトセグメンテーション | |
| Haggerty et al. | Reproducibility of cine displacement encoding with stimulated echoes (DENSE) cardiovascular magnetic resonance for measuring left ventricular strains, torsion, and synchrony in mice | |
| Küstner et al. | Fully automated and standardized segmentation of adipose tissue compartments via deep learning in 3D whole-body MRI of epidemiologic cohort studies | |
| Kalantar et al. | Automatic segmentation of pelvic cancers using deep learning: State-of-the-art approaches and challenges | |
| Schnabel et al. | Validation of non-rigid registration using finite element methods | |
| Wang et al. | Semi-supervised mp-MRI data synthesis with StitchLayer and auxiliary distance maximization | |
| CN107292858B (zh) | 一种基于低秩分解和稀疏表示的多模态医学图像融合方法 | |
| CN109961419A (zh) | 对pet活度分布图像进行衰减校正的校正信息获取方法 | |
| CN111312373B (zh) | 一种pet/ct图像融合自动标注方法 | |
| Doyle et al. | Four‐dimensional flow magnetic resonance imaging in the assessment of blood flow in the heart and great vessels: A systematic review | |
| CN110458779A (zh) | 对呼吸或心脏的pet图像进行衰减校正的校正信息获取方法 | |
| Sun et al. | High-quality PET image synthesis from ultra-low-dose PET/MRI using bi-task deep learning | |
| CN110111395A (zh) | 一种基于mri图像合成pet-mri图像的方法 | |
| Lee et al. | Automated segmentation of whole-body CT images for body composition analysis in pediatric patients using a deep neural network | |
| Rahimi et al. | Ct-mri dual information registration for the diagnosis of liver cancer: A pilot study using point-based registration | |
| CN113205567A (zh) | 基于深度学习的mri影像合成ct影像的方法 | |
| CN109886909A (zh) | 一种基于ct图像合成pet-ct图像的方法 | |
| Zhang et al. | A multisource adaptive magnetic resonance image fusion technique for versatile contrast magnetic resonance imaging | |
| Chen et al. | Preserving-texture generative adversarial networks for fast multi-weighted MRI | |
| Zanzonico et al. | Introduction to clinical and laboratory (small-animal) image registration and fusion | |
| Xu et al. | Seamless warping of diffusion tensor fields | |
| Liu et al. | Mutually communicated model based on multi‐parametric MRI for automated segmentation and classification of prostate cancer | |
| Kalapos et al. | Automated T1 and T2 mapping segmentation on cardiovascular magnetic resonance imaging using deep learning | |
| CN110428384A (zh) | 对呼吸或心脏的pet图像进行衰减校正的校正信息获取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |