CN113808106A - 一种基于深度学习的超低剂量pet图像重建系统及方法 - Google Patents

一种基于深度学习的超低剂量pet图像重建系统及方法 Download PDF

Info

Publication number
CN113808106A
CN113808106A CN202111091767.6A CN202111091767A CN113808106A CN 113808106 A CN113808106 A CN 113808106A CN 202111091767 A CN202111091767 A CN 202111091767A CN 113808106 A CN113808106 A CN 113808106A
Authority
CN
China
Prior art keywords
image
slice
module
pet
ultra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111091767.6A
Other languages
English (en)
Other versions
CN113808106B (zh
Inventor
卓成
付钰
田梅
张宏
廖懿
薛乐
董舜杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202111091767.6A priority Critical patent/CN113808106B/zh
Publication of CN113808106A publication Critical patent/CN113808106A/zh
Application granted granted Critical
Publication of CN113808106B publication Critical patent/CN113808106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Nuclear Medicine (AREA)

Abstract

本发明公开了一种基于深度学习的超低剂量PET图像重建系统及方法，系统包括：PET与MRI配准与标准化模块，对PET和MRI图像进行配准与标准化；移位预测网络模块，对被试者三维脑图像数据拆解成的堆叠的二维图像切片间的结构信息做充分探索并预测出移位数值；空间可变聚合模块，通过可变卷积与移位数值捕捉每张切片相对于其临近切片的代谢残差值，从而达到低剂量图像预强化的目的，加速后续模块执行的效率和提升性能；基于CNN和自适应调权损失的双模态融合编码模块，对预强化的超低剂量PET和MRI切片进行融合；基于生成对抗网络，确保合成全剂量PET图像过程的准确性和高效性，同时进一步提高对图像的语义理解能力。

Description

一种基于深度学习的超低剂量PET图像重建系统及方法
技术领域
本发明涉及医疗图像工程技术领域，特别涉及一种基于深度学习的超低剂量PET图像重建系统及方法。
背景技术
随着医学成像技术和人工智能技术的迅猛发展，自动以及半自动的计算机辅助重建以及图像质量增强系统在近年来被逐步应用于剂量降低和绿色诊疗的场景中，以实现降低患者所经受辐射暴露水平，同时提高图像信噪比和病理学解析能力的目的。
目前，针对人脑病理学分析的图像成像系统主要包括正电子发射计算机断层扫描（PET）、核磁共振成像（MRI）、单光子发射计算机断层扫描（SPECT）、电子计算机断层扫描（CT）和脑电图（EEG），其中PET由于具有精准、定性、定量在内的优势，因此在包括阿尔兹海默症（AD）、轻度认知障碍（MCI）和癫痫（EP）等的检测和预后分析中具有更好的普适性。由于很多基于脑部图像的病理学分析与诊断方案（如：癫痫病灶的定位和形态学分析）均需要通过多次PET扫描来确定，因此导致患者不得不面对多次辐射暴露的风险。根据国际辐射委员会报告，单次PET/CT扫描可导致被扫描者终身患癌风险提升0.04%。尽管这个数字看起来不大，其在多次扫描过程中所产生的叠加效应却极为显著。此外，由于儿科患者自身免疫系统大都还未彻底建立，相对成年患者而言，多次扫描对他们带来的辐射暴露问题更为严峻。无论是PET/CT还是PET/MRI联合成像系统，降低扫描时所造成的辐射剂量始终是近年来许多研究竞相追逐的热点和难点。因此，提出一种极大程度降低辐射暴露、保证成像分辨率和精准度的超低剂量PET图像重建系统能极大程度相应国家提出的“绿色诊疗”的号召，且具有广泛且实际的临床需求。
目前在超低剂量成像应用中面临的主要挑战有：1. 大多数为纯临床研究，如有的医生团队经过验证发现使用半剂量（Half-dose）示踪剂（Radioactive tracer）能基本满足临床诊断和视觉评估要求，因此建议将示踪剂剂量减半。由于临床研究样本少、样本异质性强，因此没法依据示踪剂剂量确定统一的量化方案，导致相应研究在后续其他研究中无法产生普适化价值。2.依赖于生成对抗网络（GAN）的引入，现有大多数高质量全剂量PET图像合成框架均能对超低剂量PET图像切片实现良好的合成效果。然而，大多数同类研究并未充分探索超低剂量PET图像切片的片间临近空间信息变化模式，而是将每一张图像切片视为独立的对象来合成，导致丢失了切片间的空间关系。3.大多数同类研究均使用常用卷积（如：3*3的方形卷积核），固定尺度的矩形卷积核显然会忽略掉大量脑图像切片内的高阶语义特征（如：脑沟与脑回的局部分布模式）。4.越低的剂量要求模型对感兴趣区（ROIs）要有越敏感的感知能力，而超低剂量PET图像中大量模糊不清的边界和无法避免的噪声则要求合成过程中GAN网络的描述器模块一定要对切片内部的分布模式有准确的判断，而现有主流合成框架均缺乏这种同时具有全尺度和局部尺度的注意力模式。
综上，提供一种基于深度学习的超低剂量PET图像重建系统，利用PET图像片间空间变化模式和可变卷积，在超低剂量PET到全剂量PET图像的合成过程中充分探索对应关系、注意力机制和感知模式，以极大程度降低诊疗患者在多次PET图像扫描过程中积累的辐射暴露风险，成为目前亟待解决的重要技术问题。
发明内容
本发明的目的在于针对目前主流PET医学图像成像模式对患者相对较高的辐射暴露，提供了一种基于深度学习的超低剂量PET图像重建系统及方法，用于自动将超低剂量PET图像重建为满足临床需求的全剂量PET图像，其重建精度高，模型具有较高的鲁棒性。
本发明的目的是通过以下技术方案来实现的：一种基于深度学习的超低剂量PET图像重建系统，该系统包括图像采集模块、PET和MRI配准与标准化模块、移位预测网络模块、空间可变形卷积模块和基于Transformer的跨模态生成对抗网络模块：
所述图像采集模块用于采集超低剂量PET图像和MRI图像；
所述PET和MRI配准与标准化模块用于同时对超低剂量PET图像和MRI图像进行配准，并将配准后的两个图像标准化到MNI标准脑模板空间，消除个体间由于局部脑形态学差异对这两个图像后续分析造成的潜在影响；
所述移位预测网络模块用于将输入的标准化后的超低剂量PET图像和对应的MRI图像拆解为若干紧密堆叠的二维图像切片，并将拆解后的所有超低剂量PET切片输入到基于Unet为骨架的移位预测网络；该过程会将每一帧超低剂量PET切片分别作为目标切片，通过卷积操作预测出所有临近多帧切片相对于目标切片的移位数值，并将这些移位数值进行输出；
所述空间可变形卷积模块用于将移位预测网络模块输出的每一帧超低剂量PET切片的移位数值进行可变形优化，根据移位数值的大小，将自适应地在切片内部的对应位置计算片间残差图，通过片间残差图的叠加，使目标切片进一步自适应地融合临近多帧切片的结构信息，从而预强化每一张超低剂量PET切片，输出强化后的超低剂量PET切片；
所述基于Transformer的跨模态生成对抗网络模块包含基于双模态图像融合的卷积编码器模块和基于ResNet生成器和Transformer描述器的生成对抗网络模块：
所述基于双模态图像融合的卷积编码器模块包含两种具有不同尺寸卷积核的卷积层，分别对PET切片和MRI切片进行编码，使得经空间可变形卷积模块输出的强化后的每一张超低剂量PET切片与相对应的MRI切片整合，生成并输出融合了MRI结构纹理信息的融合超低剂量PET切片，从而进一步丰富超低剂量PET图像所蕴含的结构模式；
所述基于ResNet生成器和Transformer描述器的生成对抗网络模块包括Charbonnier损失函数模块、VGG16-Net感知损失函数模块、ResNet生成器模块和基于Transformer的描述器模块：
所述基于ResNet生成器模块，由若干个ResNet块的依次拼接组成；ResNet生成器模块的输入为基于双模态图像融合的卷积编码器模块输出的融合超低剂量PET切片，ResNet生成器的输出为最终合成的全剂量PET图像；
所述基于Transformer的描述器模块，将PatchGAN描述器模块与具备注意力机制的Transformer编码模块进行拼接，构造出基于Transformer的描述器；Transformer描述器能对同一张切片内部的所有图像块进行全尺度探索，并能进一步通过注意力机制使得图像块间的关系得到注意力修正，PatchGAN描述器模块由4层卷积层所构成，Transformer编码模块由2个标准化层、1个多头注意力机制层和1个线性层串联而成；
所述Charbonnier损失函数模块通过引入L1范数和一个常量，使得ResNet生成器模块输出的合成的全剂量PET图像和采集的真实全剂量PET图像的像素尺度绝对值之差能被严格约束，控制合成全剂量PET图像代谢值的可变范围，同时在像素尺度保证合成结果的稳定性；
所述VGG16-Net感知损失函数模块，通过引入预训练好的VGG16-Net模块，进一步提高生成器生成能力，获取更高质量的代谢纹理分布模式，从而使得最终合成的全剂量PET图像更为可靠、真实。
进一步地，所述超低剂量PET图像为注射剂量仅为常规全剂量PET图像所需剂量数额5%的18F-FDG示踪剂注射后经PET-MRI扫描仪成像后的PET图像；PET与MRI配准与标准化模块执行过程中，同时对所有被试者NIFTI格式的超低剂量PET图像和MRI图像进行配准，并将配准后的两个图像均标准化到MNI标准脑模板空间。
进一步地，移位预测网络模块执行过程中，将输入的每位被试者的NIFTI格式的标准化后的超低剂量3D PET脑图像和MRI图像拆解为若干紧密堆叠的二维图像切片的具体过程为：
Figure 946021DEST_PATH_IMAGE001
其中，
Figure 162239DEST_PATH_IMAGE002
是被试者
Figure 513586DEST_PATH_IMAGE003
的超低剂量3D PET脑图像，
Figure 459545DEST_PATH_IMAGE004
是该被试者 的一张二维PET图像切片；
Figure 870935DEST_PATH_IMAGE005
是被试者
Figure 902345DEST_PATH_IMAGE003
的3D MRI脑图像，
Figure 791803DEST_PATH_IMAGE006
是该被试 者的一张二维MRI图像切片，
Figure 857848DEST_PATH_IMAGE007
是每张切片的高度，
Figure 440139DEST_PATH_IMAGE008
是每张切片的宽度，
Figure 693266DEST_PATH_IMAGE009
是切片总数量。
进一步地，在双模态图像融合卷积编码器模块的编码过程中，包含两种具有不同尺寸卷积核的卷积层，同时对同一模态采用相同大小的卷积核；其中，对MRI切片编码过程中每一层卷积核的大小均为3×3，连续三层；对PET图像编码过程中每一层卷积核的大小均为1×1，也是连续三层；经过三层编码后，强化后的每一张低剂量PET切片与其相对应的MRI切片进行整合，生成并输出融合了MRI结构纹理信息的融合超低剂量PET切片，从而进一步丰富超低剂量PET图像所蕴含的结构模式。
进一步地，Charbonnier损失函数模块在执行过程中，由于每一张超低剂量PET切片和MRI切片都被进行了良好的配准，因此Charbonnier损失函数通过以下表达式对生成器中的隐变量进行约束：
Figure 386415DEST_PATH_IMAGE010
其中，
Figure 47247DEST_PATH_IMAGE011
表示生成器的Charbonnier损失，
Figure 800439DEST_PATH_IMAGE012
表示一个小于
Figure 806442DEST_PATH_IMAGE013
的极小常量，
Figure 100020DEST_PATH_IMAGE014
表示期望，
Figure 750444DEST_PATH_IMAGE015
表示对应的真实全剂量PET切片，
Figure 533592DEST_PATH_IMAGE016
表示输入的融合超低剂量PET切片，
Figure 636677DEST_PATH_IMAGE017
表示经ResNet生成器模块输出的合成的全剂量PET切片。
进一步地，所使用的VGG16-Net感知损失函数模块是在ImageNet上预训练而得到； VGG16-Net感知损失函数模块的表达式
Figure 796263DEST_PATH_IMAGE018
如下：
Figure 566773DEST_PATH_IMAGE019
其中
Figure 192927DEST_PATH_IMAGE020
表示VGG16-Net网络模块运算。
进一步地，所述ResNet生成器模块由9个ResNet块依次连接组成，每个ResNet块均包含2个卷积层、2次归一化操作和1个Relu函数。
本发明还提供了一种基于深度学习的超低剂量PET图像重建方法，该方法包括以下步骤：
（1）采集超低剂量PET图像和MRI图像；所述超低剂量PET图像为注射剂量仅为常规全剂量PET图像所需剂量数额5%的18F-FDG示踪剂注射后经PET-MRI扫描仪成像后的PET图像；
（2）同时对步骤（1）采集的超低剂量PET图像和MRI图像进行配准，并将配准后的两个图像均标准化到MNI标准脑模板空间，消除个体间由于局部脑形态学差异对这两个图像后续分析造成的潜在影响；
（3）将步骤（2）标准化后的超低剂量PET图像和MRI图像均拆解为二维图像切片，对临近的二维图像切片间的结构信息做充分探索并预测出相对移位数值，通过可变形卷积提取融合特征图，并强化所有超低剂量PET图像切片；具体步骤如下：
（3.1）将输入的标准化后的PET图像和MRI图像均拆解为若干紧密堆叠的二维图像切片，并将拆解后的所有PET图像输入到基于Unet为骨架的移位预测网络，将每一张二维图像切片分别作为目标切片，通过卷积操作预测出所有临近多帧切片相对于目标切片的移位数值；
（3.2）通过空间可变形卷积对步骤（3.1）执行完后多帧切片相对于目标切片的移位数值进行优化处理，根据移位数值的大小，自适应地在切片内部的对应位置计算片间残差图，通过片间残差图的叠加，使目标切片进一步自适应地融合临近多帧切片的结构信息，从而预强化每一张超低剂量PET切片，形成强化后的超低剂量PET切片；
（4）使用不同尺寸卷积核的卷积层，分别对PET切片和MRI切片进行编码，使得经步骤（3）强化后的每一张超低剂量PET切片与相对应的MRI切片整合，生成并输出融合了MRI结构纹理信息的融合超低剂量PET切片，从而进一步丰富PET图像蕴含的结构模式；
（5）通过若干个ResNet块的依次拼接而组成的ResNet生成器，ResNet生成器的输入为步骤（4）输出的融合超低剂量PET切片，ResNet生成器的输出为最终合成的全剂量PET图像；ResNet生成器生成过程中通过Charbonnier损失函数将合成的全剂量PET图像和采集的真实全剂量PET图像的像素尺度绝对值进行约束，同时通过VGG16-Net感知损失函数保证合成的全剂量PET图像拥有更高质量的代谢纹理分布模式；
（6）为了提高对步骤（5）中ResNet生成器生成图像的判断能力，设计基于Transformer的描述器对ResNet生成器生成的每张图像切片进行基于融合了注意力得分的判别，所述基于Transformer的描述器将PatchGAN描述器与具备注意力机制的Transformer编码器拼接组成；Transformer描述器能对同一张图像切片内部的所有图像块进行全尺度探索，并能进一步通过注意力机制使得图像块间的关系得到注意力修正；PatchGAN描述器由4层卷积层所构成，Transformer编码器由2个标准化层、1个多头注意力机制层和1个线性层串联而成。
本发明的有益效果如下：
1）能够充分探索每个被试者的超低剂量PET脑图像切片间的代谢和结构分布模式。近年来主流的超低剂量PET图像合成研究大多将每一张具有空间连续性的PET图像切片独立地送入对应的深度学习模型产生对应的合成高剂量PET图像，然而却忽略了这些超低剂量PET图像切片的片间临近空间信息变化模式，导致模型训练过程中丢失了切片间的空间关系。空间可变形卷积模块能高效且自动地学习超低剂量PET图像切片间的临近空间信息变化模式，能根据具体需求将所有临近切片的信息变化模式整合在目标图像切片上，使得超低剂量PET图像切片被预强化，从而利于模型后期学习。与近年来主流的超低剂量PET图像合成研究相比，本发明中经过预强化的超低剂量PET图像切片更利于模型学习到高阶特征，从而使得后续分析的输入数据更稳定、更可靠、更精确。
2）能够捕获每一张超低剂量PET脑图像切片的片内高阶语义特征。大多数同类研究均使用经典卷积尺寸（如：3*3的方形卷积核）来提取图像的片内特征，固定尺度的矩形卷积核显然会忽略掉大量脑图像切片内的高阶语义特征（如：脑沟与脑回的局部分布模式），因为大多数脑内结构的几何学模式是非线性分布的。通过移位预测网络与空间可变卷积的联合，本发明使得每一张超低剂量PET脑图像切片的片内高阶语义特征均能被很好地提取出来，从而保证对超低剂量PET图像切片做片间临近空间信息强化时能学习到片间脑局部区域的结构变化模式，使得后续分析接触到的输入图像更为真实。
3）能够保证对超低剂量PET脑图像切片内部感兴趣区域（ROIs）的关联模式依然有非常敏感的感知能力。不同于全剂量和半剂量PET图像，当被试者被注射的放射性示踪剂剂量极低时（如：仅注射5%剂量），此类超低剂量PET脑图像由于存在大量模糊不清的边界和无法避免的噪声，因此要求合成过程中GAN网络的描述器模块要对切片内部的分布模式有极为准确的判断。现有主流合成框架均缺乏这种注意力模式，因此无法在全切片尺度和块尺度同时对生成图像和真实图像进行判断。为解决这一问题，本发明将经典的、性能优异的PatchGAN描述器与具备注意力机制的Transformer编码器相结合，构造出基于Transformer的描述器。该描述器能对同一张图像切片内部的所有图像块（Patches）进行全尺度探索（具备相对于目前主流描述器而言更宽阔的视野），并能进一步通过多头注意力机制使得图像块间的关系得到注意力修正。这一模式使得本模型的描述器模块性能得到进一步强化，使其表现优于近年来常见的描述器架构，因此能最大程度地描述出合成图像与真实图像的区别。
4）能够在小数据量的数据集中快速收敛，且结果稳定。由于本发明既能对全脑尺度的所有切片间的结构关联模式进行探索，又能聚焦于每张切片对其内部代谢和结构分布做适应性分析，因此极大地降低了对所需要训练样本量的需求。同时，由于感知损失和注意力机制的引入，其在极大程度上保证了最终生成图像的结果稳定可靠。
附图说明
图1是本发明一个实施例的基于深度学习的超低剂量PET图像重建系统的结构框图；
图2是本发明一个实施例的基于深度学习的超低剂量PET图像重建系统的实现流程图；
图3是本发明一个实施例的可变式生成对抗网络DeGAN构建示意图；
图4是本发明一个实施例的基于Transformer的描述器架构示意图；
图5是本发明一个实施例的生成全剂量PET图像与真实全剂量PET图像的绝对差值对比图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
如图1所示，本发明提供的一种基于深度学习的超低剂量PET图像重建系统的结构框图，该系统包括图像采集模块、PET和MRI配准与标准化模块、空间可变聚合模块和基于Transformer的跨模态生成对抗网络模块：所述超低剂量PET图像为注射剂量仅为常规全剂量PET图像所需剂量数额5%的18F-FDG示踪剂注射后经PET-MRI扫描仪成像后的PET图像；
图像采集模块：使用PET/MRI扫描仪采集脑部PET图像，受试者在采集过程中保持相同体位。图像采集后进行图像格式转换，即将DICOM格式的原始采集图像序列转换成易处理的NIFTI格式图像。
PET和MRI配准与标准化模块，包括图像配准和图像标准化：
图像配准：将转换完成后的NIFTI格式图像传入SPM软件模块进行自动化配准。
图像标准化：将配准后得到的NIFTI格式PET图像和MRI图像同时传入SPM软件进行批处理，并标准化到MNI标准脑模板空间，消除个体间由于脑形态学差异对后续分析造成的潜在影响。
空间可变聚合模块，用于对临近的二维图像切片间的结构信息做充分探索并预测出相对移位数值，通过可变卷积提取融合特征图，并强化所有对应的目标超低剂量PET图像切片。其具体包括：
移位预测网络模块：将输入的每位被试者的NIFTI格式的标准化后的超低剂量3DPET脑图像和MRI图像拆解为若干紧密堆叠的二维图像切片，具体如下：
Figure 173521DEST_PATH_IMAGE021
其中，
Figure 746585DEST_PATH_IMAGE002
是被试者
Figure 230656DEST_PATH_IMAGE003
的超低剂量3D PET脑图像，
Figure 496552DEST_PATH_IMAGE022
是该被试者 的一张二维PET图像切片；
Figure 370967DEST_PATH_IMAGE005
是被试者
Figure 137935DEST_PATH_IMAGE003
的3D MRI脑图像，
Figure 351878DEST_PATH_IMAGE006
是该被试 者的一张二维MRI图像切片，
Figure 585414DEST_PATH_IMAGE007
是每张切片的高度，
Figure 275021DEST_PATH_IMAGE008
是每张切片的宽度，
Figure 455467DEST_PATH_IMAGE009
是切片总数量。 将输入的每位被试者的3D PET脑图像数据拆解为若干紧密堆叠的二维图像切片并输入基 于Unet的移位预测网络，通过卷积操作预测出所有临近多帧切片相对于目标切片的移位数 值。根据先前PET图像重建文献和实际临床实践，具体先将每一张PET图像切片放缩为256× 256像素尺度，该尺度更适应于深度神经网络训练。移位预测网络内部所包含的Unet网络架 构为：9个卷积层，3个Maxpooling层和3个反卷积层。
假定
Figure 648550DEST_PATH_IMAGE023
表示目标超低剂量PET图像切片，其中的H和W分别表示该图像切片 放缩后的高度和宽度。假定将该目标超低剂量PET图像切片之前的和之后的r张切片视作参 考（这些切片会和
Figure 256249DEST_PATH_IMAGE024
一起被输入移位预测网络），因此空间可变聚合模块的目的是将可变卷 积应用到整个超低剂量PET序列化输入
Figure 105257DEST_PATH_IMAGE025
，从而强化目标超低剂量PET 图像切片
Figure 948448DEST_PATH_IMAGE024
的质量。该移位预测网络的操作可以被表达为下式：
Figure 136984DEST_PATH_IMAGE026
其中，
Figure 40218DEST_PATH_IMAGE027
表示衍生的特征图，
Figure 376521DEST_PATH_IMAGE028
表示卷积核的尺寸，
Figure 898769DEST_PATH_IMAGE029
表示第t个信道的 卷积核。k表示空间坐标，
Figure 332025DEST_PATH_IMAGE030
表示常规采样移位；
Figure 15947DEST_PATH_IMAGE031
是一个二维笛卡尔坐标，专门用来指 定可变移位。由于可变移位
Figure 573967DEST_PATH_IMAGE031
对于每一个空间坐标
Figure 24540DEST_PATH_IMAGE032
是能独立地进行优化的，因此 使得可变卷积不仅可以从不同的切片中提取结构信息，还能从这些切片不同的空间位置中 提取结构信息。当这些二维图像切片被输入到基于Unet的移位预测网络后，所有可变移位 将被同时计算出来。在该过程中，Maxpooling和反卷积层被分别用来降采样和升采样。为了 很好地维持特征尺寸，这些卷积层采用的步进为1，且均采用0填充。
空间可变形卷积模块：对移位预测网络模块执行完后多帧切片相对于目标切片的移位数值送入空间可变形卷积模块，空间可变形卷积模块将自适应地在切片内部的对应位置计算片间残差图。通过片间残差图的叠加，使目标切片进一步自适应地融合上临近多帧切片的丰富结构信息，从而预强化每一张超低剂量PET切片，形成强化后的超低剂量PET切片。
基于Transformer的跨模态生成对抗网络模块包含基于双模态图像融合的卷积编码器模块和基于ResNet生成器和Transformer描述器的生成对抗网络模块；
基于双模态图像融合的卷积编码器模块：在双模态图像融合卷积编码器模块的编码过程中，包含两种具有不同尺寸卷积核的卷积层，同时对同一模态采用相同大小的卷积核，分别对PET切片和MRI切片进行编码。其中，对MRI切片编码过程中每一层卷积核的大小均为3×3，连续三层；对PET图像编码过程中每一层卷积核的大小均为1×1，也是连续三层。经过三层编码后，强化后的每一张超低剂量PET切片与其相对应的MRI切片进行整合，生成并输出融合了MRI结构纹理信息的融合超低剂量PET切片，从而进一步丰富超低剂量PET图像所蕴含的结构模式。
基于ResNet生成器和Transformer描述器的生成对抗网络模块，包括：
Charbonnier损失函数模块：通过引入L1范数和一个常量，使得ResNet生成器模块输出的合成的全剂量PET图像和采集的真实全剂量PET图像的像素尺度绝对值之差能被严格约束，控制合成全剂量PET图像代谢值的可变范围，同时在像素尺度保证合成结果的稳定性；Charbonnier损失函数模块在执行过程中，由于每一张超低剂量PET切片和MRI切片都被进行了良好的配准，因此Charbonnier损失函数可以通过以下表达式对生成器中的隐变量进行约束：
Figure 922089DEST_PATH_IMAGE010
其中，
Figure 167125DEST_PATH_IMAGE011
表示生成器的Charbonnier损失，
Figure 681283DEST_PATH_IMAGE012
表示一个小于
Figure 342072DEST_PATH_IMAGE013
的极小常量，
Figure 484340DEST_PATH_IMAGE014
表示期望，
Figure 775644DEST_PATH_IMAGE015
表示对应的真实全剂量PET切片，
Figure 636153DEST_PATH_IMAGE016
表示输入的融合超低剂量PET切片，
Figure 100632DEST_PATH_IMAGE017
表示经ResNet生成器模块输出的合成的全剂量PET切片。
VGG16-Net感知损失函数模块：该模块通过在ImageNet上预训练而得到。该模块的应用能进一步提高生成器的生成能力，获取更高质量的代谢纹理分布模式，从而使其产生能拟合出具有复杂几何学变化模式的图像，挖掘出更多全剂量PET图像中局部子区域间蕴含的高阶语义特征，从而使得最终合成的全剂量PET图像更为可靠、真实。VGG16-Net感知损失函数模块的表达式如下：
Figure 972773DEST_PATH_IMAGE033
其中
Figure 553753DEST_PATH_IMAGE020
表示VGG16-Net网络模块运算。
基于9个Block的ResNet生成器模块：鉴于大量短程连接的引入使得ResNet具有能够跳层连接的能力，因此它可以很好地克服模型随神经网络层数增加而导致学习能力退化的缺点。以ResNetBlock构造生成器模块，并选取了数量相对合理的Block总量（9个），能在极大程度上保证生成器稳定且优异的生成能力。这9个ResNetBlock依次连接，每个ResNetBlock均包含2个卷积层、2次归一化操作和1个Relu函数。ResNet生成器模块的输入为基于双模态图像融合的卷积编码器模块输出的融合超低剂量PET切片，ResNet生成器的输出为最终合成的全剂量PET图像。
基于Transformer的描述器模块：将经典的、性能优异的PatchGAN描述器模块与具备注意力机制的Transformer编码模块相结合，构造出基于Transformer的描述器。该描述器能对同一张图像切片内部的所有图像块（Patches）进行全尺度探索（具备相对于目前主流描述器而言更宽阔的视野），并能进一步通过多头注意力机制使得图像块间的关系得到注意力修正，这一模式使得本模型的描述器模块性能得到进一步强化，使其表现优于近年来常见的描述器架构。本系统所设计的PatchGAN描述器模块由4层卷积层所构成，Transformer编码模块由2个标准化层、1个多头注意力机制层和1个线性层串联而成。
假定
Figure 776924DEST_PATH_IMAGE034
表示经过强化的目标超低剂量PET切片，
Figure 779515DEST_PATH_IMAGE035
表示目标超低剂量PET切 片所对应的MRI切片，它们将同时被输入到编码器
Figure 896376DEST_PATH_IMAGE036
中去。首先将
Figure 529482DEST_PATH_IMAGE034
送入三层卷 积核大小为1×1的卷积层，同时将
Figure 99004DEST_PATH_IMAGE035
送入三层卷积核大小为3×3的卷积层，来达到同时捕 获超低剂量PET图像切片代谢信息和对应MRI图像切片结构纹理信息的目的，经重建层后达 到双模态图像融合的目的。鉴于ResNet在很多具有挑战性的计算机视觉任务中的让人印象 深刻的表现，提出的生成器
Figure 905286DEST_PATH_IMAGE037
使用了9个基于ResNet的Block，从而使得超低剂量融合PET 图像切片到全剂量PET图像切片的合成过程更加优异和顺畅。同时，提出将经典的、性能优 异的PatchGAN描述器模块与具备注意力机制的Transformer编码模块相结合而成的 Transformer的描述器模块，它能通过Transformer编码器在全切片尺度高效学习图像块间 的内部关联模式，从而进一步降低图像合成过程中的假阳性率。综上，将系统尺度的对抗损 失函数定义为下式：
Figure 17598DEST_PATH_IMAGE038
其中x表示融合超低剂量PET切片
Figure 680661DEST_PATH_IMAGE039
，
Figure 878424DEST_PATH_IMAGE040
表示生成器输出的合成全 剂量PET切片，y表示对应的真实全剂量PET图像切片，
Figure 222818DEST_PATH_IMAGE041
表示关于x和y分布的期望，
Figure 314270DEST_PATH_IMAGE042
以及
Figure 289180DEST_PATH_IMAGE043
分别表示基于Transformer的描述器模块的两个判定条件。
如图2所示，本发明还提供了一种基于深度学习的超低剂量PET图像重建方法，该方法包括以下步骤：
（1）采集超低剂量PET图像和MRI图像；所述超低剂量PET图像为注射剂量仅为常规全剂量PET图像所需剂量数额5%的18F-FDG示踪剂注射后经PET-MRI扫描仪成像后的PET图像。
（2）同时对步骤（1）采集的超低剂量PET图像和MRI图像进行配准，并将配准后的两个图像均标准化到MNI标准脑模板空间，消除个体间由于局部脑形态学差异对这两个图像后续分析造成的潜在影响。
（3）将步骤（2）标准化后的超低剂量PET图像和MRI图像均拆解为二维图像切片，对临近的二维图像切片间的结构信息做充分探索并预测出相对移位数值，通过可变卷积提取融合特征图，并强化所有超低剂量PET图像切片。具体步骤如下：
（3.1）将输入的标准化后的PET图像和MRI图像均拆解为若干紧密堆叠的二维图像切片，并将拆解后的所有PET图像输入到基于Unet为骨架的移位预测网络，将每一张二维图像切片分别作为目标切片，通过卷积操作预测出所有临近多帧切片相对于目标切片的移位数值。
（3.2）通过空间可变卷积对步骤（3.1）执行完后多帧切片相对于目标切片的移位数值进行优化处理，根据移位数值的大小，自适应地在切片内部的对应位置计算片间残差图，通过片间残差图的叠加，使目标切片进一步自适应地融合临近多帧切片的结构信息，从而预强化每一张超低剂量PET切片，形成强化后的超低剂量PET切片。
（4）使用不同尺寸卷积核的卷积层，分别对PET切片和MRI切片进行编码，使得经步骤（3）强化后的每一张超低剂量PET切片与相对应的MRI切片整合，生成并输出融合了MRI结构纹理信息的融合超低剂量PET切片，从而进一步丰富PET图像蕴含的结构模式。
（5）通过若干个ResNet块的依次拼接而组成的ResNet生成器，ResNet生成器的输入为步骤（4）输出的融合超低剂量PET切片，ResNet生成器的输出为最终合成的全剂量PET图像；ResNet生成器生成过程中通过Charbonnier损失函数将合成的全剂量PET图像和采集的真实全剂量PET图像的像素尺度绝对值进行约束，同时通过VGG16-Net感知损失函数保证合成的全剂量PET图像拥有高质量的代谢纹理分布模式。
（6）为了提高对步骤（5）中ResNet生成器生成图像的判断能力，设计基于Transformer的描述器对ResNet生成器生成的每张图像切片进行基于融合了注意力得分的判别，所述基于Transformer的描述器将PatchGAN描述器与具备注意力机制的Transformer编码器拼接组成。Transformer描述器能对同一张图像切片内部的所有图像块（Patches）进行全尺度探索，并能进一步通过注意力机制使得图像块间的关系得到注意力修正；PatchGAN描述器由4层卷积层所构成，Transformer编码器由2个标准化层、1个多头注意力机制层和1个线性层串联而成。
在一个应用本实施例系统的具体案例中，如图3所示，首先将每个样本经过配准与 标准化处理的超低剂量PET图像切片以序列化的形式送入一个基于Unet为骨架的移位预测 网络模块，计算出临近多帧切片相对于目标切片的移位数值。假设一个被试者全脑3D超低 剂量PET图像此时送入本模块的一张超低剂量PET切片的编号为1（它为第1张，其前面为空， 其后面为第2张），选定
Figure 98873DEST_PATH_IMAGE044
，则用第2张超低剂量PET图像对其进行强化；假设此时送入本 模块的一张超低剂量PET切片的编号为
Figure 184640DEST_PATH_IMAGE045
，
Figure 130600DEST_PATH_IMAGE046
为最后1张超低剂量PET图像，则 用切片
Figure 338727DEST_PATH_IMAGE047
的左右两张相邻切片来对其进行强化；假设此时送入本模块的一张超低剂量PET 切片的编号为
Figure 245503DEST_PATH_IMAGE046
（它为最后1张，其后面为空），则用第
Figure 994016DEST_PATH_IMAGE048
张图片对其进行强化。如图3所 示，相邻切片的间隔选择可由
Figure 935428DEST_PATH_IMAGE049
来确定。
因此，基于移位数值和可变卷积，每一张目标切片通过叠加片间残差图的形式得到强化，构成预强化的超低剂量PET图像切片。之后，每一张强化后的超低剂量PET图像切片将和与其相匹配的MRI图像切片同时被送入基于双模态图像融合的卷积编码器模块进行整合，生成融合超低剂量PET切片。最后，在训练过程中，每一张融合超低剂量PET图像切片和与其相对应的全剂量PET图像切片将被同时送入基于ResNet生成器和Transformer描述器的生成对抗网络进行训练，充分学习到超低剂量PET图像对应的高阶关系。在测试和验证过程中，该系统仅需要输入超低剂量PET图像，便可输出对应的高质量全剂量PET图像。在实际应用中，本系统生成的全剂量PET图像相对于真实全剂量PET图像的PSNR均值为37.91，SSIM为0.985，两个指标均为目前同类研究中最佳，且具备直接临床使用的价值。
在一个应用本实施例系统的具体案例中，如图4所示，基于Transformer的描述器模块由经典的、性能优异的PatchGAN描述器模块与具备注意力机制的Transformer编码模块相结合，且具体结合模式为输入与输出先后相互串联：先经过PatchGAN描述器模块生成30×30的图像块，再将图像块输入标准的Transformer编码模块进行注意力得分融合。本系统所设计的PatchGAN描述器模块由4层卷积层所构成，Transformer编码模块由2个标准化层、1个多头注意力机制层和1个线性层串联而成。
在一个应用本实施例系统的具体案例中，如图5所示，将通过本系统生成的全剂量PET图像与真实全剂量PET图像进行做差处理，并将结果放大至方便观察，可见差异极小，已难以通过肉眼进行简单区分。
本专利不局限于上述最佳实施方式。任何人在本专利的启示下都可以得出其他各种形式的基于深度学习的超低剂量PET图像重建系统及方法，凡依照本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (8)

1.一种基于深度学习的超低剂量PET图像重建系统，其特征在于，该系统包括图像采集模块、PET和MRI配准与标准化模块、移位预测网络模块、空间可变形卷积模块和基于Transformer的跨模态生成对抗网络模块：
所述图像采集模块用于采集超低剂量PET图像和MRI图像；
所述PET和MRI配准与标准化模块用于同时对超低剂量PET图像和MRI图像进行配准，并将配准后的两个图像标准化到MNI标准脑模板空间，消除个体间由于局部脑形态学差异对这两个图像后续分析造成的潜在影响；
所述移位预测网络模块用于将输入的标准化后的超低剂量PET图像和对应的MRI图像拆解为若干紧密堆叠的二维图像切片，并将拆解后的所有超低剂量PET切片输入到基于Unet为骨架的移位预测网络；该过程会将每一帧超低剂量PET切片分别作为目标切片，通过卷积操作预测出所有临近多帧切片相对于目标切片的移位数值，并将这些移位数值进行输出；
所述空间可变形卷积模块用于将移位预测网络模块输出的每一帧超低剂量PET切片的移位数值进行可变形优化，根据移位数值的大小，将自适应地在切片内部的对应位置计算片间残差图，通过片间残差图的叠加，使目标切片进一步自适应地融合临近多帧切片的结构信息，从而预强化每一张超低剂量PET切片，输出强化后的超低剂量PET切片；
所述基于Transformer的跨模态生成对抗网络模块包含基于双模态图像融合的卷积编码器模块和基于ResNet生成器和Transformer描述器的生成对抗网络模块：
所述基于双模态图像融合的卷积编码器模块包含两种具有不同尺寸卷积核的卷积层，分别对PET切片和MRI切片进行编码，使得经空间可变形卷积模块输出的强化后的每一张超低剂量PET切片与相对应的MRI切片整合，生成并输出融合了MRI结构纹理信息的融合超低剂量PET切片，从而进一步丰富超低剂量PET图像所蕴含的结构模式；
所述基于ResNet生成器和Transformer描述器的生成对抗网络模块包括Charbonnier损失函数模块、VGG16-Net感知损失函数模块、ResNet生成器模块和基于Transformer的描述器模块：
所述基于ResNet生成器模块，由若干个ResNet块的依次拼接组成；ResNet生成器模块的输入为基于双模态图像融合的卷积编码器模块输出的融合超低剂量PET切片，ResNet生成器的输出为最终合成的全剂量PET图像；
所述基于Transformer的描述器模块，将PatchGAN描述器模块与具备注意力机制的Transformer编码模块进行拼接，构造出基于Transformer的描述器；Transformer描述器能对同一张切片内部的所有图像块进行全尺度探索，并能进一步通过注意力机制使得图像块间的关系得到注意力修正，PatchGAN描述器模块由4层卷积层所构成，Transformer编码模块由2个标准化层、1个多头注意力机制层和1个线性层串联而成；
所述Charbonnier损失函数模块通过引入L1范数和一个常量，使得ResNet生成器模块输出的合成的全剂量PET图像和采集的真实全剂量PET图像的像素尺度绝对值之差能被严格约束，控制合成全剂量PET图像代谢值的可变范围，同时在像素尺度保证合成结果的稳定性；
所述VGG16-Net感知损失函数模块，通过引入预训练好的VGG16-Net模块，进一步提高生成器生成能力，获取更高质量的代谢纹理分布模式，从而使得最终合成的全剂量PET图像更为可靠、真实。
2.根据权利要求1所述的一种基于深度学习的超低剂量PET图像重建系统，其特征在于，所述超低剂量PET图像为注射剂量仅为常规全剂量PET图像所需剂量数额5%的18F-FDG示踪剂注射后经PET-MRI扫描仪成像后的PET图像；PET与MRI配准与标准化模块执行过程中，同时对所有被试者NIFTI格式的超低剂量PET图像和MRI图像进行配准，并将配准后的两个图像均标准化到MNI标准脑模板空间。
3.根据权利要求1所述的一种基于深度学习的超低剂量PET图像重建系统，其特征在于，移位预测网络模块执行过程中，将输入的每位被试者的NIFTI格式的标准化后的超低剂量3D PET脑图像和MRI图像拆解为若干紧密堆叠的二维图像切片的具体过程为：
Figure 474484DEST_PATH_IMAGE001
其中，
Figure 719520DEST_PATH_IMAGE002
是被试者
Figure 968099DEST_PATH_IMAGE003
的超低剂量3D PET脑图像，
Figure 956784DEST_PATH_IMAGE004
是该被试者的一张 二维PET图像切片；
Figure 239997DEST_PATH_IMAGE005
是被试者
Figure 655935DEST_PATH_IMAGE003
的3D MRI脑图像，
Figure 188548DEST_PATH_IMAGE006
是该被试者的一 张二维MRI图像切片，
Figure 856289DEST_PATH_IMAGE007
是每张切片的高度，
Figure 118643DEST_PATH_IMAGE008
是每张切片的宽度，
Figure 315270DEST_PATH_IMAGE009
是切片总数量。
4.根据权利要求1所述的一种基于深度学习的超低剂量PET图像重建系统，其特征在于，在双模态图像融合卷积编码器模块的编码过程中，包含两种具有不同尺寸卷积核的卷积层，同时对同一模态采用相同大小的卷积核；其中，对MRI切片编码过程中每一层卷积核的大小均为3×3，连续三层；对PET图像编码过程中每一层卷积核的大小均为1×1，也是连续三层；经过三层编码后，强化后的每一张低剂量PET切片与其相对应的MRI切片进行整合，生成并输出融合了MRI结构纹理信息的融合超低剂量PET切片，从而进一步丰富超低剂量PET图像所蕴含的结构模式。
5.根据权利要求1所述的一种基于深度学习的超低剂量PET图像重建系统，其特征在于，Charbonnier损失函数模块在执行过程中，由于每一张超低剂量PET切片和MRI切片都被进行了良好的配准，因此Charbonnier损失函数通过以下表达式对生成器中的隐变量进行约束：
Figure 663074DEST_PATH_IMAGE010
其中，
Figure 868928DEST_PATH_IMAGE011
表示生成器的Charbonnier损失，
Figure 657892DEST_PATH_IMAGE012
表示一个小于
Figure 681212DEST_PATH_IMAGE013
的极小常量，
Figure 391679DEST_PATH_IMAGE014
表示期望，
Figure 994699DEST_PATH_IMAGE015
表示对应的真实全剂量PET切片，
Figure 107011DEST_PATH_IMAGE016
表示输入的融合超低剂量PET切片，
Figure 35653DEST_PATH_IMAGE017
表 示经ResNet生成器模块输出的合成的全剂量PET切片。
6.根据权利要求5所述的一种基于深度学习的超低剂量PET图像重建系统，其特征在 于，所使用的VGG16-Net感知损失函数模块是在ImageNet上预训练而得到；VGG16-Net感知 损失函数模块的表达式
Figure 30154DEST_PATH_IMAGE018
如下：
Figure 577810DEST_PATH_IMAGE019
其中
Figure 403683DEST_PATH_IMAGE020
表示VGG16-Net网络模块运算。
7.根据权利要求1所述的一种基于深度学习的超低剂量PET图像重建系统，其特征在于，所述ResNet生成器模块由9个ResNet块依次连接组成，每个ResNet块均包含2个卷积层、2次归一化操作和1个Relu函数。
8.一种基于权利要求1-7任一项所述的基于深度学习的超低剂量PET图像重建系统的超低剂量PET图像重建方法，其特征在于，该方法包括以下步骤：
（1）采集超低剂量PET图像和MRI图像；所述超低剂量PET图像为注射剂量仅为常规全剂量PET图像所需剂量数额5%的18F-FDG示踪剂注射后经PET-MRI扫描仪成像后的PET图像；
（2）同时对步骤（1）采集的超低剂量PET图像和MRI图像进行配准，并将配准后的两个图像均标准化到MNI标准脑模板空间，消除个体间由于局部脑形态学差异对这两个图像后续分析造成的潜在影响；
（3）将步骤（2）标准化后的超低剂量PET图像和MRI图像均拆解为二维图像切片，对临近的二维图像切片间的结构信息做充分探索并预测出相对移位数值，通过可变形卷积提取融合特征图，并强化所有超低剂量PET图像切片；具体步骤如下：
（3.1）将输入的标准化后的PET图像和MRI图像均拆解为若干紧密堆叠的二维图像切片，并将拆解后的所有PET图像输入到基于Unet为骨架的移位预测网络，将每一张二维图像切片分别作为目标切片，通过卷积操作预测出所有临近多帧切片相对于目标切片的移位数值；
（3.2）通过空间可变形卷积对步骤（3.1）执行完后多帧切片相对于目标切片的移位数值进行优化处理，根据移位数值的大小，自适应地在切片内部的对应位置计算片间残差图，通过片间残差图的叠加，使目标切片进一步自适应地融合临近多帧切片的结构信息，从而预强化每一张超低剂量PET切片，形成强化后的超低剂量PET切片；
（4）使用不同尺寸卷积核的卷积层，分别对PET切片和MRI切片进行编码，使得经步骤（3）强化后的每一张超低剂量PET切片与相对应的MRI切片整合，生成并输出融合了MRI结构纹理信息的融合超低剂量PET切片，从而进一步丰富PET图像蕴含的结构模式；
（5）通过若干个ResNet块的依次拼接而组成的ResNet生成器，ResNet生成器的输入为步骤（4）输出的融合超低剂量PET切片，ResNet生成器的输出为最终合成的全剂量PET图像；ResNet生成器生成过程中通过Charbonnier损失函数将合成的全剂量PET图像和采集的真实全剂量PET图像的像素尺度绝对值进行约束，同时通过VGG16-Net感知损失函数保证合成的全剂量PET图像拥有更高质量的代谢纹理分布模式；
（6）为了提高对步骤（5）中ResNet生成器生成图像的判断能力，设计基于Transformer的描述器对ResNet生成器生成的每张图像切片进行基于融合了注意力得分的判别，所述基于Transformer的描述器将PatchGAN描述器与具备注意力机制的Transformer编码器拼接组成；Transformer描述器能对同一张图像切片内部的所有图像块进行全尺度探索，并能进一步通过注意力机制使得图像块间的关系得到注意力修正；PatchGAN描述器由4层卷积层所构成，Transformer编码器由2个标准化层、1个多头注意力机制层和1个线性层串联而成。
CN202111091767.6A 2021-09-17 2021-09-17 一种基于深度学习的超低剂量pet图像重建系统及方法 Active CN113808106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111091767.6A CN113808106B (zh) 2021-09-17 2021-09-17 一种基于深度学习的超低剂量pet图像重建系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111091767.6A CN113808106B (zh) 2021-09-17 2021-09-17 一种基于深度学习的超低剂量pet图像重建系统及方法

Publications (2)

Publication Number Publication Date
CN113808106A true CN113808106A (zh) 2021-12-17
CN113808106B CN113808106B (zh) 2023-05-30

Family

ID=78939479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111091767.6A Active CN113808106B (zh) 2021-09-17 2021-09-17 一种基于深度学习的超低剂量pet图像重建系统及方法

Country Status (1)

Country Link
CN (1) CN113808106B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862774A (zh) * 2022-04-21 2022-08-05 浙江大学滨江研究院 一种基于深度学习的pet图像跨模态重构方法及装置
CN115423893A (zh) * 2022-11-03 2022-12-02 南京应用数学中心 基于多模态结构相似度神经网络的低剂量pet-ct重建方法
CN115511703A (zh) * 2022-10-31 2022-12-23 北京安德医智科技有限公司 二维心脏超声切面图像的生成方法及装置、设备、介质
CN115588153A (zh) * 2022-10-10 2023-01-10 山东财经大学 一种基于3D-DoubleU-Net的视频帧生成方法
CN116129235A (zh) * 2023-04-14 2023-05-16 英瑞云医疗科技(烟台)有限公司 一种脑梗ct到mri常规序列的医学图像跨模态合成方法
CN116977466A (zh) * 2023-07-21 2023-10-31 北京大学第三医院（北京大学第三临床医学院） 一种增强ct图像生成模型的训练方法和存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615674A (zh) * 2018-11-28 2019-04-12 浙江大学 基于混合损失函数3d cnn的动态双示踪pet重建方法
CN110753935A (zh) * 2017-04-25 2020-02-04 小利兰·斯坦福大学托管委员会 用于医学成像的使用深度卷积神经网络的剂量减少
CN111260583A (zh) * 2020-01-17 2020-06-09 南京邮电大学 基于多判别器的多重解析网络缺失ct投影数据估计方法
CN111784788A (zh) * 2020-06-04 2020-10-16 深圳深透医疗科技有限公司 一种基于深度学习的pet快速成像方法和系统
CN112037299A (zh) * 2020-08-20 2020-12-04 上海壁仞智能科技有限公司 一种影像重建的方法及装置、电子设备和存储介质
CN112053412A (zh) * 2020-08-31 2020-12-08 浙江大学 基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法
US20210074036A1 (en) * 2018-03-23 2021-03-11 Memorial Sloan Kettering Cancer Center Deep encoder-decoder models for reconstructing biomedical images
CN112489158A (zh) * 2021-01-13 2021-03-12 河北大学 基于cGAN的自适应网络用于低剂量PET图像的增强方法
CN112508775A (zh) * 2020-12-10 2021-03-16 深圳先进技术研究院 基于循环生成对抗网络的mri-pet图像模态转换方法及系统
CN112801875A (zh) * 2021-02-05 2021-05-14 深圳技术大学 超分辨率重建方法、装置、计算机设备和存储介质
US20210150671A1 (en) * 2019-08-23 2021-05-20 The Trustees Of Columbia University In The City Of New York System, method and computer-accessible medium for the reduction of the dosage of gd-based contrast agent in magnetic resonance imaging
CN113053496A (zh) * 2021-03-19 2021-06-29 深圳高性能医疗器械国家研究院有限公司 一种用于医学图像低剂量估计的深度学习方法
CN113160347A (zh) * 2021-04-14 2021-07-23 浙江大学 一种基于注意力机制的低剂量双示踪剂pet重建方法
CN115409850A (zh) * 2022-04-19 2022-11-29 苏州大学 一种跨模态注意力网络的多模态图像分割方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110753935A (zh) * 2017-04-25 2020-02-04 小利兰·斯坦福大学托管委员会 用于医学成像的使用深度卷积神经网络的剂量减少
US20210074036A1 (en) * 2018-03-23 2021-03-11 Memorial Sloan Kettering Cancer Center Deep encoder-decoder models for reconstructing biomedical images
CN109615674A (zh) * 2018-11-28 2019-04-12 浙江大学 基于混合损失函数3d cnn的动态双示踪pet重建方法
US20210150671A1 (en) * 2019-08-23 2021-05-20 The Trustees Of Columbia University In The City Of New York System, method and computer-accessible medium for the reduction of the dosage of gd-based contrast agent in magnetic resonance imaging
CN111260583A (zh) * 2020-01-17 2020-06-09 南京邮电大学 基于多判别器的多重解析网络缺失ct投影数据估计方法
CN111784788A (zh) * 2020-06-04 2020-10-16 深圳深透医疗科技有限公司 一种基于深度学习的pet快速成像方法和系统
CN112037299A (zh) * 2020-08-20 2020-12-04 上海壁仞智能科技有限公司 一种影像重建的方法及装置、电子设备和存储介质
CN112053412A (zh) * 2020-08-31 2020-12-08 浙江大学 基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法
CN112508775A (zh) * 2020-12-10 2021-03-16 深圳先进技术研究院 基于循环生成对抗网络的mri-pet图像模态转换方法及系统
CN112489158A (zh) * 2021-01-13 2021-03-12 河北大学 基于cGAN的自适应网络用于低剂量PET图像的增强方法
CN112801875A (zh) * 2021-02-05 2021-05-14 深圳技术大学 超分辨率重建方法、装置、计算机设备和存储介质
CN113053496A (zh) * 2021-03-19 2021-06-29 深圳高性能医疗器械国家研究院有限公司 一种用于医学图像低剂量估计的深度学习方法
CN113160347A (zh) * 2021-04-14 2021-07-23 浙江大学 一种基于注意力机制的低剂量双示踪剂pet重建方法
CN115409850A (zh) * 2022-04-19 2022-11-29 苏州大学 一种跨模态注意力网络的多模态图像分割方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨晓莉等: "一种注意力机制的多波段图像特征级融合方法", 《西安电子科技大学学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862774A (zh) * 2022-04-21 2022-08-05 浙江大学滨江研究院 一种基于深度学习的pet图像跨模态重构方法及装置
CN115588153A (zh) * 2022-10-10 2023-01-10 山东财经大学 一种基于3D-DoubleU-Net的视频帧生成方法
CN115588153B (zh) * 2022-10-10 2024-02-02 山东财经大学 一种基于3D-DoubleU-Net的视频帧生成方法
CN115511703A (zh) * 2022-10-31 2022-12-23 北京安德医智科技有限公司 二维心脏超声切面图像的生成方法及装置、设备、介质
CN115423893A (zh) * 2022-11-03 2022-12-02 南京应用数学中心 基于多模态结构相似度神经网络的低剂量pet-ct重建方法
CN116129235A (zh) * 2023-04-14 2023-05-16 英瑞云医疗科技(烟台)有限公司 一种脑梗ct到mri常规序列的医学图像跨模态合成方法
CN116129235B (zh) * 2023-04-14 2023-06-23 英瑞云医疗科技(烟台)有限公司 一种脑梗ct到mri常规序列的医学图像跨模态合成方法
CN116977466A (zh) * 2023-07-21 2023-10-31 北京大学第三医院（北京大学第三临床医学院） 一种增强ct图像生成模型的训练方法和存储介质

Also Published As

Publication number Publication date
CN113808106B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN113808106B (zh) 一种基于深度学习的超低剂量pet图像重建系统及方法
Ying et al. X2CT-GAN: reconstructing CT from biplanar X-rays with generative adversarial networks
Liu et al. Multimodal MR image synthesis using gradient prior and adversarial learning
CN112785632B (zh) 基于epid的图像引导放疗中dr和drr影像跨模态自动配准方法
CN112819914B (zh) 一种pet图像处理方法
CN111436958B (zh) 一种用于pet图像衰减校正的ct图像生成方法
WO2022257959A1 (en) Multi-modality and multi-scale feature aggregation for synthesizing spect image from fast spect scan and ct image
CN112489158B (zh) 基于cGAN的自适应网络用于低剂量PET图像的增强方法
CN116152235A (zh) 一种肺癌ct到pet的医学图像跨模态合成方法
CN115908449A (zh) 一种基于改进UNet模型的2.5D医学CT影像分割方法及装置
Sun et al. High-quality PET image synthesis from ultra-low-dose PET/MRI using bi-task deep learning
CN108596995A (zh) 一种pet-mri最大后验联合重建方法
CN117769722A (zh) 用于断层成像的基于生成对抗网络的无损图像压缩模型
Xia et al. Deep residual neural network based image enhancement algorithm for low dose CT images
WO2023000244A1 (zh) 一种图像处理方法、系统及其应用
CN117523204A (zh) 面向医疗场景的肝脏肿瘤图像分割方法、装置和可读存储介质
Xue et al. PET Synthesis via Self-supervised Adaptive Residual Estimation Generative Adversarial Network
Lin Synthesizing missing data using 3D reversible GAN for alzheimer's disease
CN115375560B (zh) 一种3d-dsa图像的重建方法及系统
CN113902912B (zh) Cbct影像的处理方法、神经网络系统的创建方法、以及装置
Wang et al. TPG-rayGAN: CT reconstruction based on transformer and generative adversarial networks
CN116245969A (zh) 一种基于深度神经网络的低剂量pet图像重建方法
Cheng et al. Sdct-gan: reconstructing CT from biplanar x-rays with self-driven generative adversarial networks
CN115908610A (zh) 一种基于单模态pet图像获取衰减校正系数图像的方法
WO2022120731A1 (zh) 基于循环生成对抗网络的mri-pet图像模态转换方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Tian Mei

Inventor after: Zhuo Cheng

Inventor after: Fu Yu

Inventor after: Zhang Hong

Inventor after: Liao Yi

Inventor after: Xue Le

Inventor after: Dong Shunjie

Inventor before: Zhuo Cheng

Inventor before: Fu Yu

Inventor before: Tian Mei

Inventor before: Zhang Hong

Inventor before: Liao Yi

Inventor before: Xue Le

Inventor before: Dong Shunjie

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant