CN109035356B - 一种基于pet图形成像的系统及方法 - Google Patents

一种基于pet图形成像的系统及方法 Download PDF

Info

Publication number
CN109035356B
CN109035356B CN201810732014.0A CN201810732014A CN109035356B CN 109035356 B CN109035356 B CN 109035356B CN 201810732014 A CN201810732014 A CN 201810732014A CN 109035356 B CN109035356 B CN 109035356B
Authority
CN
China
Prior art keywords
image
pet
images
network
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810732014.0A
Other languages
English (en)
Other versions
CN109035356A (zh
Inventor
王艳
何坤
林峰
吴锡
周激流
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201810732014.0A priority Critical patent/CN109035356B/zh
Publication of CN109035356A publication Critical patent/CN109035356A/zh
Application granted granted Critical
Publication of CN109035356B publication Critical patent/CN109035356B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开一种基于PET图形成像的系统及方法，局部自适应融合网络模块，将原始图像中的L‑PET图像和多模态MRI图像作为输入，并通过学习不同图像位置处的不同卷积核生成融合图像；发生器网络模块，将融合图像通过训练生成合成F‑PET图像；鉴别器网络模块，以L‑PET图像和真实F‑PET图像组成真实对，以L‑PET图像和合成F‑PET图像组成合成对，将所述真实对和合成对作为输入，瞄准区分真实对和合成对得到最终合成图像。本发明减少由PET扫描固有的示踪剂辐射引起的潜在健康风险，从低剂量合成高质量PET图像以减少辐射暴露，同时保持图像质量。

Description

一种基于PET图形成像的系统及方法
技术领域
本发明属于图形成像技术领域，特别是涉及一种基于PET图形成像的系统及方法。
背景技术
一种核成像技术，正电子发射断层扫描(PET)使人体的代谢过程可视化，并越来越多地用于诊所疾病诊断和干预[。通过检测从注入人体的放射性示踪剂间接发射的伽马射线对，PET系统使用软件绘制三角测量发射源，从而重建人体内示踪剂浓度的3D PET图像。通常需要使用全剂量示踪剂来获得诊断质量的PET图像。但是，放射性照射不可避免地引起对潜在健康危害的担忧。对于经历多次PET扫描作为其治疗的一部分的患者积累了风险。为了解决辐射问题，一些研究人员试图在PET扫描期间减少示踪剂剂量。然而，由于PET成像是量子积累过程，因此降低示踪剂剂量不可避免地包含不必要的噪声和伪影，从而在一定程度上降低PET图像质量。低剂量PET(L-PET)图像的质量明显比全剂量PET图像(F-PET)的质量差，涉及更多的噪声和更少的功能细节。这种L-PET图像可能不满足诊断要求。因此，从低剂量的F-PET图像合成高质量的F-PET图像以减少辐射照射，同时保持图像质量，是目前技术需要解决的难题。
目前有一些用于F-PET图像合成的方法。然而，它们大多数是基于体素的估计方法，例如基于随机森林的回归方法，基于映射的稀疏表示方法，半监督的三重字典学习方法以及多层次典型相关分析框架。尽管这些方法在低剂量下对PET图像质量增强具有良好性能，但是有两个主要缺点限制了潜在的临床可用性。第一个是它们都基于小块，并且通过对重叠块进行平均来确定每个体素的最终估计；该策略不可避免地导致过度平滑的图像缺乏典型的F-PET图像的纹理，从而限制了合成图像中小结构的量化；另一个缺点是这些基于体素的评估方法通常需要在线解决大量优化问题，因此在测试新主题时非常耗时；估算程序非常繁琐。
在大多数基于多信道的网络中，以全局方式执行图像卷积，即，对于每种模式，将相同的滤波器应用于所有图像位置，以生成将在更高层中组合的特征图。这不能有效地处理来自不同成像模式的位置变化贡献；要解决这个问题，应该强制实施局部自适应卷积；然而，如果局部自适应卷积只是在多通道框架中进行的，由于包含新的成像方式，必须学习许多附加参数；这对于训练样本数量经常受限的医疗应用不利。
发明内容
为了解决上述问题，本发明提出了一种基于PET图形成像的系统及方法，减少由PET扫描固有的示踪剂辐射引起的潜在健康风险，从低剂量合成高质量PET图像以减少辐射暴露，同时保持图像质量。
为达到上述目的，本发明采用的技术方案是：一种基于PET图形成像的系统，包括局部自适应融合网络模块、发生器网络模块和鉴别器网络模块；
局部自适应融合网络模块，将原始图像中的L-PET图像和多模态MRI图像作为输入，并通过学习不同图像位置处的不同卷积核生成融合图像；
发生器网络模块，将融合图像通过训练生成合成F-PET图像；
鉴别器网络模块，以L-PET图像和真实F-PET图像组成真实对，以L-PET图像和合成F-PET图像组成合成对，将所述真实对和合成对作为输入，瞄准区分真实对和合成对得到最终合成图像。
进一步的是，在所述局部自适应融合网络模块中采用将多模态图像生成融合图像的方式，使模态数量的增加不会引起发生器中参数数量的增加；
在所述局部自适应融合网络模块中利用1×1×1内核进行局部自适应卷积，使在学习过程中的必要参数的数量最小化；
使用多模式(尤其是使其具有局部自适应性)可能会引发许多额外的参数来学习；因此，提出利用1×1×1内核来学习这种局部自适应融合机制，以尽量减少参数数目的增加；融合后的图像作为后续学习阶段的伪输入；
所述局部自适应融合网络模块与发生器网络模块和鉴别器网络模块共同学习，以确保它们相互协商，保证图像合成的最佳性能。
进一步的是，在所述局部自适应融合网络模块中，所述多模态MRI图像包括T1-MRI图像、FA-DTI图像和MD-DTI图像；
首先，将整个L-PET图像和多模态MRI图像分别分割成不重叠的小片；
然后，将相同位置处的小片分别使用四个不同的1×1×1滤波器进行卷积；
在局部自适应融合网络模块中，分别在L-PET图像、T1-MRI图像、FA-DTI图像和MD-DTI图像的四个块上操作四个滤波器进行卷积以生成其对应的组合块；
组合块中组合小片获得如下：
Figure BDA0001721127190000031
Figure BDA0001721127190000032
Figure BDA0001721127190000033
其中，
Figure BDA0001721127190000034
和
Figure BDA0001721127190000035
分别为四个滤波器的参数；
Figure BDA0001721127190000036
为L-PET图像分割成的小片，
Figure BDA0001721127190000037
和
Figure BDA0001721127190000038
为多模态MRI图像T1-MRI图像、FA-DTI图像和MD-DTI图像的分割成的小片；
最后，将学习用于本地补丁的不同卷积核心组；组装输出的组合块以形成整个融合图像作为发生器网络模块的输入。
进一步的是，在所述发生器网络模块中，采用卷积层和去卷积层来确保输入和输出图像的大小相同；在所述卷积和去卷积层之间遵循U-net生成器网络添加跳过连接，从而实现组合分层特征合成；通过跳过连接策略缓解渐变梯度问题，从而使网络架构可能更深入。
进一步的是，所述发生器网络包括12个卷积层；
前6个卷积层中的编码器使用4×4×4滤波器，使用2步幅的卷积，对于泄漏ReLu块使用0.2的负斜率；特征映射的数量从第一层的64个增加到第六层的512个；
由于使用1×1×1内核的零填充，编码器部分的每个卷积层的输出减半特征映射的大小；解码器的采样系数为2；
使用跳过连接，来自编码器的特征映射被复制并与解码器的特征映射图连接；在每个卷积层中引入批量归一化，以减轻对深度神经网络的训练；
输出合成的F-PET图像。
进一步的是，所述鉴别器网络包括相同的卷积批量标准化漏泄Relu块；鉴别器网络包括4个卷积层组成的典型CNN架构，其中每一个卷积层使用4×4×4滤波器，滤波器步长为2；
第一个卷积层产生64个特征映射，并且在下面的每个卷积层的特征映射数量依次加倍；在卷积层的顶部应用完全连接的层，并随后进行S形激活以确定输入是真实对还是合成对。
另一方面，本发明还提供了一种基于PET图形成像的方法，包括步骤：
S100，将原始图像中的L-PET图像和多模态MRI图像输入局部自适应融合网络，在局部自适应融合网络通过学习不同图像位置处的不同卷积核生成融合图像；
S200，融合图像在发生器网络中通过训练学习生成合成F-PET图像；
S300，以L-PET图像和真实F-PET图像组成真实对，以L-PET图像和合成F-PET图像组成合成对，将所述图像对输入鉴别器网络中学习瞄准区分真实对和合成对，得到最终合成图像。
进一步的是，在所述最终合成图像的获取过程中，通过三个函数映射完成学习；能够更好地模拟从MRI到CT的非线性映射并产生更逼真的图像；
第一种映射是针对局部自适应融合网络，产生融合图像；
第二种映射是针对生成器网络，将融合图像映射到合成F-PET图像；
第三种映射对应于鉴别器网络，将合成对与真实对区分开。
进一步的是，在所述最终合成图像的获取过程中，通过训练LA-GANs模型进行学习；训练LA-GANs模型是将所述局部自适应融合网络与发生器网络和鉴别器网络一起以交替方式进行训练，生成逼真的合成F-PET图像；
首先，使用从损失函数计算出的梯度来修正局部自适应融合网络和发生器网络，以训练鉴别器网络；
然后，修复鉴别器网络来训练局部自适应融合网络和发生器网络，减少局部自适应融合网络和发生器网络损失函数；同时使鉴别器网络最大化，随着训练的不断延续，增强局部自适应融合网络、发生器网络和鉴别器网络；
最后，发生器生成合成F-PET图像；
用于PET图像合成的三维条件GANs模型，并以端到端的训练方式与合成过程共同学习了所提出的局部自适应融合；LA-GANs模型通过采用大尺寸图像补丁和分层特征来生成高质量的PET图像。
进一步的是，通过引入自动上下文策略优化上述网络模型的建立，包括步骤：
首先，使用原始模态包括L-PET图像、T1-MRI图像、FA-DTI图像和MD-DTI图像，训练LA-GANs模型；
然后，对于每个训练主体，使用LA-GANs模型生成相应的合成F-PET图像；
最后，将LA-GAN模型生成的所有训练样本的合成F-PET图像与原始模态一起用作上下文信息以训练新的自动背景LA-GANs模型，通过新的自动背景LA-GANs模型能够进一步细化合成的F-PET图像；
提出自动上下文LA-GANs模型，利用高级自动上下文信息和低级图像外观的整合；可以实现更好的性能，同时减少附加参数的数量；来进一步改进合成图像的质量。
采用本技术方案的有益效果：
本发明能够有效减少由PET扫描固有的示踪剂辐射引起的潜在健康风险，从低剂量合成高质量PET图像以减少辐射暴露，同时保持图像质量；
本发明提出了一种多模式融合的局部自适应策略，是一种融合深度神经网络中多模态信息的新机制；解决了不同图像位置的不同模态的作用存在不同使得整个统一内核图像不是最佳的问题；每种成像方式的重量因图像位置而异，以更好地服务于F-PET的合成；
本发明利用内核学习这种局部自适应融合，以使所产生的附加参数数量保持最小；本发明提出的局部自适应融合机制与PET图像合成在三维条件GANs模型中共同学习，该模型通过采用大尺寸图像块和分层特征来生成高质量的PET图像。
附图说明
图1为本发明的一种基于PET图形成像系统的结构示意图；
图2为本发明的一种基于PET图形成像方法的流程示意图；
图3为本发明实施例中网络模型建立的流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。
在本实施例中，参见图1所示，本发明提出了，一种基于PET图形成像的系统，包括局部自适应融合网络模块、发生器网络模块和鉴别器网络模块；
局部自适应融合网络模块，将原始图像中的L-PET图像和多模态MRI图像作为输入，并通过学习不同图像位置处的不同卷积核生成融合图像；
发生器网络模块，将融合图像通过训练生成合成F-PET图像；
鉴别器网络模块，以L-PET图像和真实F-PET图像组成真实对，以L-PET图像和合成F-PET图像组成合成对，将所述真实对和合成对作为输入，瞄准区分真实对和合成对得到最终合成图像。
作为上述实施例的优化方案，在所述局部自适应融合网络模块中采用将多模态图像生成融合图像的方式，使模态数量的增加不会引起发生器中参数数量的增加；
在所述局部自适应融合网络模块中利用1×1×1内核进行局部自适应卷积，使在学习过程中的必要参数的数量最小化；
使用多模式(尤其是使其具有局部自适应性)可能会引发许多额外的参数来学习；因此，提出利用1×1×1内核来学习这种局部自适应融合机制，以尽量减少参数数目的增加；融合后的图像作为后续学习阶段的伪输入；
所述局部自适应融合网络模块与发生器网络模块和鉴别器网络模块共同学习，以确保它们相互协商，保证图像合成的最佳性能。
作为上述实施例的优化方案，在所述局部自适应融合网络模块中，所述多模态MRI图像包括T1-MRI图像、FA-DTI图像和MD-DTI图像；
首先，将整个L-PET图像和多模态MRI图像分别分割成不重叠的小片；
然后，将相同位置处的小片分别使用四个不同的1×1×1滤波器进行卷积；
在局部自适应融合网络模块中，分别在L-PET图像、T1-MRI图像、FA-DTI图像和MD-DTI图像的四个块上操作四个滤波器进行卷积以生成其对应的组合块；
组合块中组合小片获得如下：
Figure BDA0001721127190000061
Figure BDA0001721127190000062
Figure BDA0001721127190000063
其中，
Figure BDA0001721127190000064
和
Figure BDA0001721127190000065
分别为四个滤波器的参数；
Figure BDA0001721127190000066
为L-PET图像分割成的小片，
Figure BDA0001721127190000067
和
Figure BDA0001721127190000068
为多模态MRI图像T1-MRI图像、FA-DTI图像和MD-DTI图像的分割成的小片；
最后，将学习用于本地补丁的不同卷积核心组；组装输出的组合块以形成整个融合图像作为发生器网络模块的输入。
作为上述实施例的优化方案，在所述发生器网络模块中，采用卷积层和去卷积层来确保输入和输出图像的大小相同；在所述卷积和去卷积层之间遵循U-net生成器网络添加跳过连接，从而实现组合分层特征合成；通过跳过连接策略缓解渐变梯度问题，从而使网络架构可能更深入。
所述发生器网络包括12个卷积层；
前6个卷积层中的编码器使用4×4×4滤波器，使用2步幅的卷积，对于泄漏ReLu块使用0.2的负斜率；特征映射的数量从第一层的64个增加到第六层的512个；
由于使用1×1×1内核的零填充，编码器部分的每个卷积层的输出减半特征映射的大小；解码器的采样系数为2；
使用跳过连接，来自编码器的特征映射被复制并与解码器的特征映射图连接；在每个卷积层中引入批量归一化，以减轻对深度神经网络的训练；
输出合成的F-PET图像。
作为上述实施例的优化方案，所述鉴别器网络包括相同的卷积批量标准化漏泄Relu块；鉴别器网络包括4个卷积层组成的典型CNN架构，其中每一个卷积层使用4×4×4滤波器，滤波器步长为2；
第一个卷积层产生64个特征映射，并且在下面的每个卷积层的特征映射数量依次加倍；在卷积层的顶部应用完全连接的层，并随后进行S形激活以确定输入是真实对还是合成对。
为配合本发明方法的实现，基于相同的发明构思，如图2所示，本发明还提供了一种基于PET图形成像的方法，包括步骤：
S100，将原始图像中的L-PET图像和多模态MRI图像输入局部自适应融合网络，在局部自适应融合网络通过学习不同图像位置处的不同卷积核生成融合图像；
S200，融合图像在发生器网络中通过训练学习生成合成F-PET图像；
S300，以L-PET图像和真实F-PET图像组成真实对，以L-PET图像和合成F-PET图像组成合成对，将所述图像对输入鉴别器网络中学习瞄准区分真实对和合成对，得到最终合成图像。
作为上述实施例的优化方案，在所述最终合成图像的获取过程中，通过三个函数映射完成学习；能够更好地模拟从MRI到CT的非线性映射并产生更逼真的图像；
第一种映射是针对局部自适应融合网络，产生融合图像；
第二种映射是针对生成器网络，将融合图像映射到合成F-PET图像；
第三种映射对应于鉴别器网络，将合成对与真实对区分开。
作为上述实施例的优化方案，在所述最终合成图像的获取过程中，通过训练LA-GANs模型进行学习；训练LA-GANs模型是将所述局部自适应融合网络与发生器网络和鉴别器网络一起以交替方式进行训练，生成逼真的合成F-PET图像；
首先，使用从损失函数计算出的梯度来修正局部自适应融合网络和发生器网络，以训练鉴别器网络；
然后，修复鉴别器网络来训练局部自适应融合网络和发生器网络，减少局部自适应融合网络和发生器网络损失函数；同时使鉴别器网络最大化，随着训练的不断延续，增强局部自适应融合网络、发生器网络和鉴别器网络；
最后，发生器生成合成F-PET图像；
用于PET图像合成的三维条件GANs模型，并以端到端的训练方式与合成过程共同学习了所提出的局部自适应融合；LA-GANs模型通过采用大尺寸图像补丁和分层特征来生成高质量的PET图像。
作为上述实施例的优化方案，如图3所示，通过引入自动上下文策略优化上述网络模型的建立，包括步骤：
首先，使用原始模态包括L-PET图像、T1-MRI图像、FA-DTI图像和MD-DTI图像，训练LA-GANs模型；
然后，对于每个训练主体，使用LA-GANs模型生成相应的合成F-PET图像；
最后，将LA-GAN模型生成的所有训练样本的合成F-PET图像与原始模态一起用作上下文信息以训练新的自动背景LA-GANs模型，通过新的自动背景LA-GANs模型能够进一步细化合成的F-PET图像；
提出自动上下文LA-GANs模型，利用高级自动上下文信息和低级图像外观的整合；可以实现更好的性能，同时减少附加参数的数量；来进一步改进合成图像的质量。
在具体实施例的网络模型中实现过程：
1.输入：一组训练低剂量的L-PET图像
Figure BDA0001721127190000091
一组训练多模式MRI图像包括
Figure BDA0001721127190000092
和一组训练全剂量PET图像
Figure BDA0001721127190000093
N是训练样本的总数；
2.在IL、IT1、IFA、IMD和IS之间执行LA-GAN网络模型，以获得融合网络F，发生器网络G和鉴别器网络D；
3.对于每个训练样本i(i＝1,2，...，N)，使用上述训练的融合网络F和发生器网络G来生成合成全剂量F-PET图像
Figure BDA0001721127190000094
最后，获得所有训练的合成F-PET图像
Figure BDA0001721127190000095
4.训练对象的合成F-PET图像
Figure BDA0001721127190000096
原始的低剂量
Figure BDA0001721127190000097
和多模式MRI图像IT1、IFA、和IMD，都输入到自动上下文的LA-GAN网络模型，以获得更新的融合网络F′、发生器网络G′和鉴别器网络D′。
5：输出：LA-GAN和自动上下文LA-GAN的训练融合网络F和F′，以及训练的发生器网络G和G′。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于PET图形成像的系统，其特征在于，包括局部自适应融合网络模块、发生器网络模块和鉴别器网络模块；
局部自适应融合网络模块，将原始图像中的L-PET图像和多模态MRI图像作为输入，并通过学习不同图像位置处的不同卷积核生成融合图像；在所述局部自适应融合网络模块中采用将多模态图像生成融合图像的方式，使模态数量的增加不会引起发生器中参数数量的增加；在所述局部自适应融合网络模块中利用1×1×1内核进行局部自适应卷积，使在学习过程中的必要参数的数量最小化；所述局部自适应融合网络模块与发生器网络模块和鉴别器网络模块共同学习，以确保它们相互协商，保证图像合成的最佳性能；
在所述局部自适应融合网络模块中，所述多模态MRI图像包括T1-MRI图像、FA-DTI图像和MD-DTI图像，T1-MRI图像是T1加权的MRI图像，FA-DTI图像是弥散张量成像计算的部分各项异性得到的图像，MD-DTI图像是弥散张量成像计算的平均弥散率得到的图像；
首先，将整个L-PET图像和多模态MRI图像分别分割成不重叠的小片；
然后，将相同位置处的小片分别使用四个不同的1×1×1滤波器进行卷积；
在局部自适应融合网络模块中，分别在L-PET图像、T1-MRI图像、FA-DTI图像和MD-DTI图像的四个块上操作四个滤波器进行卷积以生成其对应的组合块；
所述组合块中组合小片获得如下：
Figure FDA0002474971670000011
Figure FDA0002474971670000012
Figure FDA0002474971670000013
其中，
Figure FDA0002474971670000014
和
Figure FDA0002474971670000015
分别为四个滤波器的参数；
Figure FDA0002474971670000016
为L-PET图像分割成的小片，
Figure FDA0002474971670000017
和
Figure FDA0002474971670000018
为多模态MRI图像T1-MRI图像、FA-DTI图像和MD-DTI图像的分割成的小片；
最后，将学习用于本地补丁的不同卷积核心组；组装输出的组合块以形成整个融合图像作为发生器网络模块的输入；
发生器网络模块，将融合图像通过训练生成合成F-PET图像；采用卷积层和去卷积层来确保输入和输出图像的大小相同；在所述卷积和去卷积层之间遵循U-net生成器网络添加跳过连接，从而实现组合分层特征合成；
鉴别器网络模块，以L-PET图像和真实F-PET图像组成真实对，以L-PET图像和合成F-PET图像组成合成对，将所述真实对和合成对作为输入，瞄准区分真实对和合成对得到最终合成图像；所述鉴别器网络包括相同的卷积批量标准化漏泄Relu块；鉴别器网络包括4个卷积层组成的典型CNN架构；第一个卷积层产生64个特征映射，并且在下面的每个卷积层的特征映射数量依次加倍；在卷积层的顶部应用完全连接的层，并随后进行S形激活以确定输入是真实对还是合成对。
2.根据权利要求1所述的一种基于PET图形成像的系统，其特征在于，所述发生器网络包括12个卷积层；
前6个卷积层中的编码器使用4×4×4滤波器，使用2步幅的卷积，对于泄漏ReLu块使用0.2的负斜率；特征映射的数量从第一层的64个增加到第六层的512个；
由于使用1×1×1内核的零填充，编码器部分的每个卷积层的输出减半特征映射的大小；解码器的采样系数为2；
使用跳过连接，来自编码器的特征映射被复制并与解码器的特征映射图连接；在每个卷积层中引入批量归一化，以减轻对深度神经网络的训练；
输出合成的F-PET图像。
3.根据权利要求2所述的一种基于PET图形成像的系统，其特征在于，所述鉴别器网络包括4个卷积层组成的典型CNN架构，其中每一个卷积层使用4×4×4滤波器，滤波器步长为2。
4.一种基于权利要求1的PET图形成像的系统的PET图像成像的方法，其特征在于，包括步骤：
S100，将原始图像中的L-PET图像和多模态MRI图像输入局部自适应融合网络，在局部自适应融合网络通过学习不同图像位置处的不同卷积核生成融合图像；在所述局部自适应融合网络模块中采用将多模态图像生成融合图像的方式，使模态数量的增加不会引起发生器中参数数量的增加；在所述局部自适应融合网络模块中利用1×1×1内核进行局部自适应卷积，使在学习过程中的必要参数的数量最小化；所述局部自适应融合网络模块与发生器网络模块和鉴别器网络模块共同学习，以确保它们相互协商，保证图像合成的最佳性能；
S200，融合图像在发生器网络中通过训练学习生成合成F-PET图像；采用卷积层和去卷积层来确保输入和输出图像的大小相同；在所述卷积和去卷积层之间遵循U-net生成器网络添加跳过连接，从而实现组合分层特征合成；
S300，以L-PET图像和真实F-PET图像组成真实对，以L-PET图像和合成F-PET图像组成合成对，将所述图像对输入鉴别器网络中学习瞄准区分真实对和合成对，得到最终合成图像；所述鉴别器网络包括相同的卷积批量标准化漏泄Relu块；鉴别器网络包括4个卷积层组成的典型CNN架构；第一个卷积层产生64个特征映射，并且在下面的每个卷积层的特征映射数量依次加倍；在卷积层的顶部应用完全连接的层，并随后进行S形激活以确定输入是真实对还是合成对。
5.根据权利要求4所述的一种基于PET图形成像的方法，其特征在于，在所述最终合成图像的获取过程中，通过三个函数映射完成学习；
第一种映射是针对局部自适应融合网络，产生融合图像；
第二种映射是针对生成器网络，将融合图像映射到合成F-PET图像；
第三种映射对应于鉴别器网络，将合成对与真实对区分开。
6.根据权利要求4或5所述的一种基于PET图形成像的方法，其特征在于，在所述最终合成图像的获取过程中，通过训练LA-GANs模型进行学习；训练LA-GANs模型是将所述局部自适应融合网络与发生器网络和鉴别器网络一起以交替方式进行训练，生成逼真的合成F-PET图像；
首先，使用从损失函数计算出的梯度来修正局部自适应融合网络和发生器网络，以训练鉴别器网络；
然后，修复鉴别器网络来训练局部自适应融合网络和发生器网络，减少局部自适应融合网络和发生器网络损失函数；同时使鉴别器网络最大化，随着训练的不断延续，增强局部自适应融合网络、发生器网络和鉴别器网络；
最后，发生器生成合成F-PET图像。
7.根据权利要求6所述的一种基于PET图形成像的方法，其特征在于，通过引入自动上下文策略优化上述网络模型的建立，包括步骤：
首先，使用原始模态包括L-PET图像、T1-MRI图像、FA-DTI图像和MD-DTI图像，T1-MRI图像是T1加权的MRI图像，FA-DTI图像是弥散张量成像计算的部分各项异性得到的图像，MD-DTI图像是弥散张量成像计算的平均弥散率得到的图像，训练LA-GANs模型；
然后，对于每个训练主体，使用LA-GANs模型生成相应的合成F-PET图像；最后，将LA-GAN模型生成的所有训练样本的合成F-PET图像与原始模态一起用作上下文信息以训练新的自动背景LA-GANs模型，通过新的自动背景LA-GANs模型能够进一步细化合成的F-PET图像。
CN201810732014.0A 2018-07-05 2018-07-05 一种基于pet图形成像的系统及方法 Expired - Fee Related CN109035356B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810732014.0A CN109035356B (zh) 2018-07-05 2018-07-05 一种基于pet图形成像的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810732014.0A CN109035356B (zh) 2018-07-05 2018-07-05 一种基于pet图形成像的系统及方法

Publications (2)

Publication Number Publication Date
CN109035356A CN109035356A (zh) 2018-12-18
CN109035356B true CN109035356B (zh) 2020-07-10

Family

ID=64641320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810732014.0A Expired - Fee Related CN109035356B (zh) 2018-07-05 2018-07-05 一种基于pet图形成像的系统及方法

Country Status (1)

Country Link
CN (1) CN109035356B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859210B (zh) * 2018-12-25 2021-08-06 上海联影智能医疗科技有限公司 一种医学数据处理装置及方法
CN110101401B (zh) * 2019-04-18 2023-04-07 浙江大学山东工业技术研究院 一种肝脏对比剂数字减影造影方法
CN110111395B (zh) * 2019-04-24 2023-08-29 上海理工大学 一种基于mri图像合成pet-mri图像的方法
CN110288668B (zh) * 2019-05-20 2023-06-16 平安科技（深圳）有限公司 图像生成方法、装置、计算机设备及存储介质
CN110264435B (zh) * 2019-06-12 2022-05-17 上海联影医疗科技股份有限公司 低剂量mip图像的增强方法、装置、计算机设备和存储介质
CN110580695B (zh) * 2019-08-07 2022-06-21 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备
CN110866888B (zh) * 2019-11-14 2022-04-26 四川大学 基于潜在信息表征gan的多模态mri合成方法
CN111710011B (zh) * 2020-06-10 2021-06-25 广州梦映动漫网络科技有限公司 一种漫画生成方法、系统、电子设备及介质
WO2022120588A1 (zh) * 2020-12-08 2022-06-16 深圳先进技术研究院 一种低剂量pet图像还原方法、系统、设备和介质
CN112991477B (zh) * 2021-01-28 2023-04-18 明峰医疗系统股份有限公司 基于深度学习的pet图像处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204674A (zh) * 2016-06-29 2016-12-07 浙江大学 基于结构字典和动力学参数字典联合稀疏约束的动态pet图像重建方法
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN107464216A (zh) * 2017-08-03 2017-12-12 济南大学 一种基于多层卷积神经网络的医学图像超分辨率重构方法
CN107610194A (zh) * 2017-08-14 2018-01-19 成都大学 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN107977926A (zh) * 2017-12-01 2018-05-01 新乡医学院 一种改进神经网络的pet/mri异机脑部影像信息融合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204674A (zh) * 2016-06-29 2016-12-07 浙江大学 基于结构字典和动力学参数字典联合稀疏约束的动态pet图像重建方法
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN107464216A (zh) * 2017-08-03 2017-12-12 济南大学 一种基于多层卷积神经网络的医学图像超分辨率重构方法
CN107610194A (zh) * 2017-08-14 2018-01-19 成都大学 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN107977926A (zh) * 2017-12-01 2018-05-01 新乡医学院 一种改进神经网络的pet/mri异机脑部影像信息融合方法

Also Published As

Publication number Publication date
CN109035356A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
CN109035356B (zh) 一种基于pet图形成像的系统及方法
Shan et al. Competitive performance of a modularized deep neural network compared to commercial algorithms for low-dose CT image reconstruction
US11232632B2 (en) Learning-based 3D model creation apparatus and method
CN107123095A (zh) 一种pet图像重建方法、成像系统
Han et al. Liver segmentation with 2.5 D perpendicular UNets
Rao et al. A symmetric fully convolutional residual network with DCRF for accurate tooth segmentation
WO2023273336A1 (zh) 基于多任务学习约束的pet图像感兴趣区域增强重建方法
CN111260667B (zh) 一种结合空间引导的神经纤维瘤分割方法
US20130135306A1 (en) Method and device for efficiently editing a three-dimensional volume using ray casting
CN103679801A (zh) 一种基于多视角x光片的心血管三维重建方法
CN115512110A (zh) 一种涉及跨模态注意力机制的医学图像肿瘤分割方法
CN112489158A (zh) 基于cGAN的自适应网络用于低剂量PET图像的增强方法
CN112488971A (zh) 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法
Li et al. Using cyclegan to achieve the sketch recognition process of sketch-based modeling
CN113362360B (zh) 基于流体速度场的超声颈动脉斑块分割方法
EP3716201A1 (en) Medical image enhancement
Sun et al. Building a patient-specific model using transfer learning for four-dimensional cone beam computed tomography augmentation
CN114266711A (zh) 一种基于注意力跨层转移机制的生成式图像修复方法
Liu et al. Facial-expression-aware emotional color transfer based on convolutional neural network
Bruch et al. Synthesis of large scale 3D microscopic images of 3D cell cultures for training and benchmarking
CN110084809A (zh) 糖尿病视网膜疾病数据处理方法、装置及电子设备
US20230360312A1 (en) Systems and methods for image processing
Chen et al. DAEGAN: Generative adversarial network based on dual-domain attention-enhanced encoder-decoder for low-dose PET imaging
CN112233791B (zh) 基于点云数据聚类的乳腺假体制备装置及方法
CN115439478A (zh) 基于肺灌注的肺叶灌注强度评估方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200710

Termination date: 20210705

CF01 Termination of patent right due to non-payment of annual fee