CN112053412A - 基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法 - Google Patents
基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法 Download PDFInfo
- Publication number
- CN112053412A CN112053412A CN202010894249.7A CN202010894249A CN112053412A CN 112053412 A CN112053412 A CN 112053412A CN 202010894249 A CN202010894249 A CN 202010894249A CN 112053412 A CN112053412 A CN 112053412A
- Authority
- CN
- China
- Prior art keywords
- sinogram
- dose
- projection data
- denoising
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000012163 sequencing technique Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000002600 positron emission tomography Methods 0.000 description 44
- 230000006870 function Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000012879 PET imaging Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000009509 drug development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004224 protection Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 229940121896 radiopharmaceutical Drugs 0.000 description 1
- 239000012217 radiopharmaceutical Substances 0.000 description 1
- 230000002799 radiopharmaceutical effect Effects 0.000 description 1
- 230000001950 radioprotection Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/441—AI-based methods, deep learning or artificial neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Nuclear Medicine (AREA)
Abstract
本发明公开了一种基于教师‑学生生成器的低剂量Sinogram去噪与PET图像重建方法，其所采用的网络模型分为Sinogram去噪模块和PET图像重建模块两部分，整个网络的需要进行训练和测试两个阶段；在训练阶段，本发明利用去噪模块对低剂量的Sinogram进行去噪，再使重建模块利用去噪后的Sinogram进行重建，其中通过在训练阶段引入教师生成器来约束整个去噪和重建的过程，将去噪模块与重建模块进行解耦，训练得到更好的重建图；在测试阶段，本发明只需要将低剂量的Sinogram输入给去噪模块，得到去噪后的Sinogram，再将它输入给学生生成器，得到最后的重建图。
Description
技术领域
本发明属于生物医学图像重建技术领域，具体涉及一种基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法。
背景技术
正电子断层成像(Positron emission tomography，PET)系统作为现代核医学影像技术和临床医疗诊断的重要手段之一，现今已在临床治疗和药物开发等方面得到广泛的应用。PET成像主要是利用放射性同位素的衰变进行追踪探测来成像，一方面由PET扫描仪扫描直接获得的投影数据记录的只是PET系统探测器保存的符合事件的信息，不能直接使用，还需要经过重建算法，才能作为医生直接借鉴的医学图像；目前为止，PET图像重建仍是医学图像重建研究领域的热门技术。另一方面，对于PET重建的图像质量一直受限于它的注射剂量和成像时间，PET成像中的放射性药物会对患者产生辐射，进而增大其患癌的几率。根据国际放射防护委员会提出的合理使用低剂量(As low as reasonably achievable，简称ALARA)原则，在PET临床诊断时，我们会期望用最小的剂量获得满足临床检测的结果，尽量降低对患者的辐射剂量。因此，如何用低剂量的数据来重建出高质量的PET图像，一直是个待解决的问题。
一般而言，低剂量的PET重建方法分类两类：迭代重建算法和映射学习，其中MLEM(maximum likelihood-expectation maximum)、MAP(maximum a posteriori)、PWLS(penalized weighted least square)、TV(total variation)都属于迭代的重建算法，这些方法都是基于一定的数据概率模型假设的(泊松或者高斯模型)，且还要依赖于系统矩阵，并要对投影数据(sinogram数据)进行校正。例如文献[张权,付学敬,桂志国,李晓红,基于小波和各向异性扩散的PET图像MLEM重建算法,计算机应用与软件,第30卷第11期,2013年11月]提出的MLEM算法，需要对采集的投影数据的噪声以及成像系统进行整体的模型构建，来实现对低剂量PET的重建，这过程中需要采集仪器的系统矩阵的先验信息，且在测试使用时，需要迭代才能得到最优的结果，耗时较长。
另一部分是映射学习，它主要通过字典学习或者神经网络的映射学习，建立低剂量的重建图与正常剂量重建图之间的关系，来恢复出高剂量重建图。例如文献[杜倩倩,强彦,李硕,杨晓棠,基于空洞U-Net神经网络的PET图像重建算法,太原理工大学学报,2020年02期]提出利用Unet来直接做低剂量图像域和正常剂量图像域的映射学习，但这种方法忽略了sinogram域的信息，如何利用sinogram域的原始信号，实现从数据的源头进行去噪，进而实现由低剂量sinogram数据到PET图像的重建成为了一个非常重要的研究课题。
发明内容
鉴于上述，本发明提出了一种基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法，该方法能够实现对低剂量的sinogram信息进行有效的恢复，重建出高质量的PET图像。
一种基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法，包括如下步骤：
(1)获取PET系统采集到正常剂量的Sinogram投影数据，通过重建得到其对应的PET图像；
(2)利用泊松分布对正常剂量的Sinogram投影数据进行降采样，得到低剂量的Sinogram投影数据；
(3)根据步骤(1)和(2)获取大量样本，每一样本包括低剂量的Sinogram投影数据、正常剂量的Sinogram投影数据及其对应的PET图像；
(4)将所有样本划分成训练集和测试集，搭建包含去噪模块和重建模块在内的网络模型，利用训练集中样本的低剂量Sinogram投影数据作为去噪模块的输入，正常剂量的Sinogram投影数据作为去噪模块的真值标签，使去噪模块的输出以及正常剂量的Sinogram投影数据共同作为重建模块的输入，正常剂量Sinogram投影数据对应的PET图像作为重建模块的真值标签，对整个网络模型进行训练；
(5)将测试集中的低剂量Sinogram投影数据输入至训练完成后的网络模型中，重建得到对应的PET图像，使其与正常剂量Sinogram投影数据对应的PET图像进行比较。
进一步地，所述步骤(2)的具体实现方式为：对于正常剂量的Sinogram投影数据，首先利用泊松分布生成与其Sinogram矩阵相同大小的随机数矩阵，通过设置不同的归一化系数，可将随机数矩阵的均值设置成不同的大小，进而通过矩阵点乘运算，可让Sinogram矩阵的均值变成原来的n分之一，从而得到低剂量的Sinogram投影数据，n为降采样的倍率。
进一步地，所述步骤(2)中的降采样过程采用Python内置库函数实现。
进一步地，所述去噪模块从输入至输出由7个卷积块依次连接组成，所述卷积块由一个pixel attention层和一个多尺度卷积层连接组成，所述pixel attention层由两个3×3的2D卷积层以及一个sigmoid激活函数连接组成，所述多尺度卷积层分别采用3×1、1×3、5×1、1×5以及7×1、1×7大小的卷积核进行卷积运算，并将各卷积核的运算结果拼接在一起作为输出。
进一步地，所述重建模块由一个教师生成器、一个学生生成器以及一个排序判别器实现，所述教师生成器和学生生成器的结构完全一致，即采用Unet网络结构，首先进行下采样，将输入数据的大小逐渐缩小，然后利用反卷积进行上采样，恢复到重建的PET图像大小；所述排序判别器采用patchGAN判别器，即通过将两个生成器的重建输出PET图像拼接在一起输入至该判别器，判别器则输出一个分数以选出重建质量更好的一组PET图像。
进一步地，所述去噪模块以低剂量的Sinogram投影数据作为输入，以正常剂量的Sinogram投影数据作为真值标签，以两者之间的L2距离作为损失函数进行梯度反向传播训练。
进一步地，所述教师生成器以正常剂量的Sinogram投影数据作为输入，以正常剂量Sinogram投影数据对应的PET图像作为真值标签；所述学生生成器以去噪模块的输出作为输入，以正常剂量Sinogram投影数据对应的PET图像以及教师生成器的输出作为真值标签；所述排序判别器对教师生成器的输出、学生生成器的输出以及正常剂量Sinogram投影数据对应的PET图像两两进行判别，以选出重建质量最好的PET图像；对于重建模块的训练，则利用排序判别器提供的GAN(Generative Adversarial Networks)损失以及学生生成器输出的重建结果与正常剂量Sinogram投影数据对应的PET图像之间的L1距离作为损失函数进行梯度反向传播训练；对于教师生成器，由于其为学生生成器的动量集成，本身不参与梯度反向传播。
进一步地，所述步骤(5)的测试阶段，则没有教师生成器和排序判别器的参与，测试集中的低剂量Sinogram投影数据输入网络模型中的去噪模块，通过去噪模块得到去噪后的Sinogram投影数据，进而将该Sinogram投影数据输入给学生生成器，由学生生成器重建得到对应的PET图像。
本发明基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法，所采用的网络模型主要分为Sinogram去噪模块和PET图像重建模块两部分，整个网络的需要进行训练和测试两个阶段；在训练阶段，本发明利用去噪模块对低剂量的Sinogram进行去噪，再使重建模块利用去噪后的Sinogram进行重建，其中通过在训练阶段引入教师生成器来约束整个去噪和重建的过程，将去噪模块与重建模块进行解耦，训练得到更好的重建图；在测试阶段，本发明只需要将低剂量的Sinogram输入给去噪模块，得到去噪后的Sinogram，再将它输入给学生生成器，得到最后的重建图。
综上所述，本发明从教师-学生生成器出发，利用去噪模块先进行Sinogram域的去噪，再利用去噪后的结果，利用GAN网络进行PET图像的重建，实现了能够对低剂量的Sinogram信息，进行有效的恢复，重建出高质量的PET图像。
附图说明
图1为本发明重建方法所采用的网络模型整体结构示意图。
图2(a)为本发明重建方法中去噪模块的去噪偏差结果图。
图2(b)为本发明重建方法中去噪模块的去噪方差结果图。
图3为本发明重建方法中有无教师网络重建模块的重建结果对比图。
图4(a)为正常剂量下的重建结果图。
图4(b)为低剂量下FBP算法的重建结果图。
图4(c)为低剂量下MLEM算法的重建结果图。
图4(d)为低剂量下TV算法的重建结果图。
图4(e)为低剂量下cGAN算法的重建结果图。
图4(f)为低剂量下U-net GAN算法的重建结果图。
图4(g)为低剂量下本发明算法的重建结果图。
图4(h)为本发明算法得到的重建结果与正常剂量下重建结果的差值图。
具体实施方式
为了更为明确地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
本发明基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法，具体步骤如下：
S1.获取PET系统采集到的正常剂量的投影sinogram数据，以及其对应的PET图像重建图；利用泊松随机生成与输入sinogram矩阵相同大小的随机数矩阵，通过设置不同的归一化系数，可以将随机数矩阵的均值设置成不同的大小，通过矩阵点乘运算，可以让原sinogram矩阵的均值变成原来的n分之一，n为降采样的倍率。以上步骤均利用Python内置库函数实现，经过这种变换，整个数据集的组成分别是低剂量的Sinogram数据、正常剂量Sinogram数据以及正常剂量下的PET重建图，并将整个数据集分为训练集、验证集和测试集。
本实施方式采集了9个病人的正常剂量下的sinogram数据以及对应的正常剂量下的重建图，Sinogram和重建图的大小均为192×192。利用泊松分布对sinogram数据进行降采样，得到低剂量的sinogram数据，作为后续模型的输入，随机选取6个病人的数据当做训练集，2个病人的数据当做验证集，一个病人的数据当做测试集。
S2.搭建sinogram去噪模块以及重建模块网络，如图1所示实现对sinogram的去噪以及从sinogram到PET图像的重建。
对于sinogram去噪模块，整个模块由7个卷积块组成，每个卷积块内部由一个pixel attention层以及一个多尺度卷积层组成，其中pixel attention层由两个3×3的2D卷积层以及一个sigmoid激活函数组成，具体公式如下：
RA＝σ(Conv(δ(Conv(S*))))
其中：RA表示rayer attention层，输入特征图为S*，Conv代表卷积层，δ表示激活层，σ为sigmoid激活函数；多尺度卷积层分别利用3×1、1×3、5×1、1×5以及7×1、1×7的卷积核来进行卷积的运算，并将它们的结果拼接在一起，输出给下一个卷积块。
图2(a)和图2(b)分别给出了是否使用多尺度卷积以及ray attention层的去噪结果的方差和偏差，可以看出多尺度卷积模块和rayattention的机制可以更好的进行sinogram的去噪，得到更小的偏差和方差的结果。
对于重建模块，它由一个教师生成器、一个学生生成器以及一个排序判别器实现，学生生成器的结构与教师生成器的结构完全一致，主要是利用Unet的结构，首先进行下采样，将输入信号的大小逐渐缩小，然后利用反卷积进行上采样，恢复到重建图的大小；排序判别器就采用的一般的patchGAN判别器，通过将两种结果图拼接在一起输入给判别器，让判别器输出一个分数，它的权重更新方式如下：
LRD(Pet，PSs)＝-(E((D(PGt)-E(D(PSs))-1)2)+E((D(PSs)-E(D(PGt))+1)2))
LRD＝LRD(PGt，PSs)+λTSLRD(PTs，PSs)+λGTLRD(PGt，PTs)
其中：D()表示判别器，E()表示计算数学期望，λ为超参数的平衡因子，P表示判别器的输入图。
图3给出了使用教师生成器模块和不使用教师生成器模块的结果以及误差对比；可以看到，通过使用教师生成器，本发明可以获得一个细节信息更加丰富，结构信息更加明显的重建图，临床意义更大。
S3.训练阶段，将低剂量的sinogram数据作为去噪模块的输入，正常剂量的sinogram数据作为需要学习的标签进行训练；之后再将去噪模块输出的sinogram以及正常剂量的sinogram作为重建网络的输入，正常剂量的PET图像作为标签进行训练。
对于去噪模块，其输入是低剂量的sinogram输出，标签是正常剂量的sinogram数据，通过两者之间的L2距离，即可进行去噪模块的训练。对于重建模块，其输入分别为：对于学生生成器而言，它的输入是前一个去噪模块输出的去噪后的sinogram，标签是正常剂量下的PET重建图以及教师生成器的输出的重建图；对于教师生成器而言，它的输入是我们正常剂量下的sinogram，它的标签是正常剂量的重建图；对于排序判别器而言，则利用学生生成器的输出结果、教师生成器的输出结果以及正常剂量下的重建结果三个结果，两两交给判别器进行判断，让判别器选出重建质量更好的图；对于学生生成器的训练，则利用排序判别器提供的GAN的损失以及学生生成器的重建结果与正常剂量下的重建结果图进行L1距离的度量；对于我们教师生成器而言，它是学生生成器的动量集成，本身不参与梯度的反向传播。
其中：α为一个超参数的平衡因子，θ表示网络的参数，上标T表示教师网络，S表示学生网络，下标t表示迭代的次数。同时，教师生成器和学生生成器的编码层的最后一层，可以给前面去噪模块提供sinogram在高维特征空间的距离度量，进一步强化去噪模块的效果。
本实施方式中首先将生成的低剂量的Sinogram数据以及正常剂量的sinogram数据作为输入和标签，对去噪模块进行训练，采用L1损失，Adam优化算法，0.005的学习率，进行了50个epoch的训练。
接着将输出的sinogram以及正常剂量下的sinogram，分别输入给学生生成器和教师生成器，利用重建的结果，两两组成pair对，对排序判别器进行权重更新；然后利用判别器的判别结果以及学生生成器与其他重建图之间的L1距离，作为损失函数，对学生生成器的权重进行反向传播的更新；利用学生生成器的权重，再进一步的更新教师生成器的权重，在这个过程中一共迭代100次，一直保存在验证集上效果最好的模型。
S4.测试阶段，直接将低剂量的sinogram数据作为去噪模块的输入，得到去噪后的sinogram输出，并将此作为重建模块的输入，得到重建结果图，并与正常剂量下的重建图像作比较。
测试阶段没有教师生成器和排序判别器的参与，将低剂量的sinogram数据，首先输入给去噪模块，通过去噪模块得到了去噪后的sinogram，再将去噪后的sinogram输入给学生生成器，得到重建图即为最终结果。
图4(a)～图4(g)展示了不同方法的重建结果，从图中可以看到本发明方法获得了最好的重建结果。相比其他算法，本发明的重建图与正常剂量的重建图之间的误差较小，如图4(h)所示，且结构信息基本恢复，一些微小的结构也能够恢复的很好，总体上性能优于其他算法。
本实施方式整个算法在Ubuntu 16.04LTS(64-bit)系统中测试，其中CPU为Corei7-7800X(3.5GHz)，主机内存为32GB RAM，显卡型号为NVIDIA GTX1080Ti(12GB内存)。在编程中，采用Pytorch1.0平台来进行神经网络的搭建，平台基于Python语言，可以在多个程序开发环境中结合使用。
上述的对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。
Claims (8)
1.一种基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法，包括如下步骤：
(1)获取PET系统采集到正常剂量的Sinogram投影数据，通过重建得到其对应的PET图像；
(2)利用泊松分布对正常剂量的Sinogram投影数据进行降采样，得到低剂量的Sinogram投影数据；
(3)根据步骤(1)和(2)获取大量样本，每一样本包括低剂量的Sinogram投影数据、正常剂量的Sinogram投影数据及其对应的PET图像；
(4)将所有样本划分成训练集和测试集，搭建包含去噪模块和重建模块在内的网络模型，利用训练集中样本的低剂量Sinogram投影数据作为去噪模块的输入，正常剂量的Sinogram投影数据作为去噪模块的真值标签，使去噪模块的输出以及正常剂量的Sinogram投影数据共同作为重建模块的输入，正常剂量Sinogram投影数据对应的PET图像作为重建模块的真值标签，对整个网络模型进行训练；
(5)将测试集中的低剂量Sinogram投影数据输入至训练完成后的网络模型中，重建得到对应的PET图像，使其与正常剂量Sinogram投影数据对应的PET图像进行比较。
2.根据权利要求1所述的低剂量Sinogram去噪与PET图像重建方法，其特征在于：所述步骤(2)的具体实现方式为：对于正常剂量的Sinogram投影数据，首先利用泊松分布生成与其Sinogram矩阵相同大小的随机数矩阵，通过设置不同的归一化系数，可将随机数矩阵的均值设置成不同的大小，进而通过矩阵点乘运算，可让Sinogram矩阵的均值变成原来的n分之一，从而得到低剂量的Sinogram投影数据，n为降采样的倍率。
3.根据权利要求2所述的低剂量Sinogram去噪与PET图像重建方法，其特征在于：所述步骤(2)中的降采样过程采用Python内置库函数实现。
4.根据权利要求1所述的低剂量Sinogram去噪与PET图像重建方法，其特征在于：所述去噪模块从输入至输出由7个卷积块依次连接组成，所述卷积块由一个pixel attention层和一个多尺度卷积层连接组成，所述pixel attention层由两个3×3的2D卷积层以及一个sigmoid激活函数连接组成，所述多尺度卷积层分别采用3×1、1×3、5×1、1×5以及7×1、1×7大小的卷积核进行卷积运算，并将各卷积核的运算结果拼接在一起作为输出。
5.根据权利要求1所述的低剂量Sinogram去噪与PET图像重建方法，其特征在于：所述重建模块由一个教师生成器、一个学生生成器以及一个排序判别器实现，所述教师生成器和学生生成器的结构完全一致，即采用Unet网络结构，首先进行下采样，将输入数据的大小逐渐缩小，然后利用反卷积进行上采样，恢复到重建的PET图像大小；所述排序判别器采用patchGAN判别器，即通过将两个生成器的重建输出PET图像拼接在一起输入至该判别器，判别器则输出一个分数以选出重建质量更好的一组PET图像。
6.根据权利要求1所述的低剂量Sinogram去噪与PET图像重建方法，其特征在于：所述去噪模块以低剂量的Sinogram投影数据作为输入，以正常剂量的Sinogram投影数据作为真值标签，以两者之间的L2距离作为损失函数进行梯度反向传播训练。
7.根据权利要求5所述的低剂量Sinogram去噪与PET图像重建方法，其特征在于：所述教师生成器以正常剂量的Sinogram投影数据作为输入，以正常剂量Sinogram投影数据对应的PET图像作为真值标签；所述学生生成器以去噪模块的输出作为输入，以正常剂量Sinogram投影数据对应的PET图像以及教师生成器的输出作为真值标签；所述排序判别器对教师生成器的输出、学生生成器的输出以及正常剂量Sinogram投影数据对应的PET图像两两进行判别，以选出重建质量最好的PET图像；对于重建模块的训练，则利用排序判别器提供的GAN损失以及学生生成器输出的重建结果与正常剂量Sinogram投影数据对应的PET图像之间的L1距离作为损失函数进行梯度反向传播训练；对于教师生成器，由于其为学生生成器的动量集成，本身不参与梯度反向传播。
8.根据权利要求5所述的低剂量Sinogram去噪与PET图像重建方法，其特征在于：所述步骤(5)的测试阶段，则没有教师生成器和排序判别器的参与，测试集中的低剂量Sinogram投影数据输入网络模型中的去噪模块，通过去噪模块得到去噪后的Sinogram投影数据，进而将该Sinogram投影数据输入给学生生成器，由学生生成器重建得到对应的PET图像。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010894249.7A CN112053412B (zh) | 2020-08-31 | 2020-08-31 | 基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法 |
| PCT/CN2020/131293 WO2022041521A1 (zh) | 2020-08-31 | 2020-11-25 | 基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法 |
| US17/434,700 US20220351431A1 (en) | 2020-08-31 | 2020-11-25 | A low dose sinogram denoising and pet image reconstruction method based on teacher-student generator |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010894249.7A CN112053412B (zh) | 2020-08-31 | 2020-08-31 | 基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112053412A true CN112053412A (zh) | 2020-12-08 |
| CN112053412B CN112053412B (zh) | 2022-04-29 |
Family
ID=73607039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010894249.7A Active CN112053412B (zh) | 2020-08-31 | 2020-08-31 | 基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220351431A1 (zh) |
| CN (1) | CN112053412B (zh) |
| WO (1) | WO2022041521A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598759A (zh) * | 2020-12-15 | 2021-04-02 | 太原科技大学 | 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络 |
| CN112819914A (zh) * | 2021-02-05 | 2021-05-18 | 北京航空航天大学 | 一种pet图像处理方法 |
| CN113808106A (zh) * | 2021-09-17 | 2021-12-17 | 浙江大学 | 一种基于深度学习的超低剂量pet图像重建系统及方法 |
| WO2022120737A1 (zh) * | 2020-12-10 | 2022-06-16 | 深圳先进技术研究院 | 用于低剂量pet重建的多任务学习型生成式对抗网络生成方法及系统 |
| WO2023279316A1 (zh) * | 2021-07-08 | 2023-01-12 | 深圳高性能医疗器械国家研究院有限公司 | 一种基于去噪打分匹配网络的pet重建方法 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220045215A (ko) * | 2019-09-25 | 2022-04-12 | 딥마인드 테크놀로지스 리미티드 | 게이팅된 어텐션 신경망 |
| CN114511473B (zh) * | 2022-04-19 | 2022-07-05 | 武汉大学 | 一种基于无监督自适应学习的高光谱遥感影像去噪方法 |
| CN116051408B (zh) * | 2023-01-06 | 2023-10-27 | 郑州轻工业大学 | 一种基于残差自编码的图像深度去噪方法 |
| CN116612206B (zh) * | 2023-07-19 | 2023-09-29 | 中国海洋大学 | 一种利用卷积神经网络减少ct扫描时间的方法及系统 |
| CN117076875B (zh) * | 2023-10-18 | 2024-01-26 | 中核武汉核电运行技术股份有限公司 | 一种复杂噪声背景下核信号的去噪方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408756A (zh) * | 2014-10-30 | 2015-03-11 | 东软集团股份有限公司 | 一种pet图像重建方法及装置 |
| WO2018200493A1 (en) * | 2017-04-25 | 2018-11-01 | The Board Of Trustees Of The Leland Stanford Junior University | Dose reduction for medical imaging using deep convolutional neural networks |
| CN110717951A (zh) * | 2019-09-12 | 2020-01-21 | 浙江大学 | 一种基于cGANs的PET图像直接重建方法 |
| CN111325686A (zh) * | 2020-02-11 | 2020-06-23 | 之江实验室 | 一种基于深度学习的低剂量pet三维重建方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10970887B2 (en) * | 2016-06-24 | 2021-04-06 | Rensselaer Polytechnic Institute | Tomographic image reconstruction via machine learning |
| US20180018757A1 (en) * | 2016-07-13 | 2018-01-18 | Kenji Suzuki | Transforming projection data in tomography by means of machine learning |
| JP7203852B2 (ja) * | 2018-01-03 | 2023-01-13 | コーニンクレッカ フィリップス エヌ ヴェ | 深層学習を使用した低線量ｐｅｔイメージングからの全線量ｐｅｔ画像の推定 |
| US10643319B2 (en) * | 2018-01-30 | 2020-05-05 | Canon Medical Systems Corporation | Apparatus and method for context-oriented blending of reconstructed images |
| KR102174600B1 (ko) * | 2018-06-04 | 2020-11-05 | 한국과학기술원 | 뉴럴 네트워크를 이용한 다방향 엑스레이 전산단층 촬영 영상 처리 방법 및 그 장치 |
| CN109215093B (zh) * | 2018-07-27 | 2022-12-23 | 深圳先进技术研究院 | 低剂量pet图像重建方法、装置、设备及存储介质 |
| US11195310B2 (en) * | 2018-08-06 | 2021-12-07 | General Electric Company | Iterative image reconstruction framework |
| CN110809782B (zh) * | 2018-10-22 | 2023-09-12 | 上海联影医疗科技股份有限公司 | 衰减校正系统和方法 |
| US10679385B1 (en) * | 2018-12-17 | 2020-06-09 | General Electric Company | System and method for statistical iterative reconstruction and material decomposition |
| US20200294288A1 (en) * | 2019-03-13 | 2020-09-17 | The Uab Research Foundation | Systems and methods of computed tomography image reconstruction |
| CN110555388A (zh) * | 2019-08-06 | 2019-12-10 | 浙江大学 | 基于cnn和lstm的心内异常激动点定位模型构建方法 |
| CN114423348A (zh) * | 2019-08-09 | 2022-04-29 | 湖瑞影像公司 | 降低灌注成像噪声和辐射或造影剂剂量的基于k空间方法 |
| US11481937B2 (en) * | 2020-05-21 | 2022-10-25 | Zhejiang University | Positron emission tomography image reconstruction method |
| US20220130079A1 (en) * | 2020-10-23 | 2022-04-28 | Siemens Medical Solutions Usa, Inc. | Systems and methods for simultaneous attenuation correction, scatter correction, and de-noising of low-dose pet images with a neural network |
| US11890124B2 (en) * | 2021-02-01 | 2024-02-06 | Medtronic Navigation, Inc. | Systems and methods for low-dose AI-based imaging |
| US20220335665A1 (en) * | 2021-04-14 | 2022-10-20 | Zhejiang University | Attention mechanism-based low-dose dual-tracer pet reconstruction method |
-
2020
- 2020-08-31 CN CN202010894249.7A patent/CN112053412B/zh active Active
- 2020-11-25 WO PCT/CN2020/131293 patent/WO2022041521A1/zh active Application Filing
- 2020-11-25 US US17/434,700 patent/US20220351431A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408756A (zh) * | 2014-10-30 | 2015-03-11 | 东软集团股份有限公司 | 一种pet图像重建方法及装置 |
| WO2018200493A1 (en) * | 2017-04-25 | 2018-11-01 | The Board Of Trustees Of The Leland Stanford Junior University | Dose reduction for medical imaging using deep convolutional neural networks |
| CN110717951A (zh) * | 2019-09-12 | 2020-01-21 | 浙江大学 | 一种基于cGANs的PET图像直接重建方法 |
| CN111325686A (zh) * | 2020-02-11 | 2020-06-23 | 之江实验室 | 一种基于深度学习的低剂量pet三维重建方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022120737A1 (zh) * | 2020-12-10 | 2022-06-16 | 深圳先进技术研究院 | 用于低剂量pet重建的多任务学习型生成式对抗网络生成方法及系统 |
| CN112598759A (zh) * | 2020-12-15 | 2021-04-02 | 太原科技大学 | 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络 |
| CN112598759B (zh) * | 2020-12-15 | 2022-09-13 | 太原科技大学 | 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络 |
| CN112819914A (zh) * | 2021-02-05 | 2021-05-18 | 北京航空航天大学 | 一种pet图像处理方法 |
| WO2023279316A1 (zh) * | 2021-07-08 | 2023-01-12 | 深圳高性能医疗器械国家研究院有限公司 | 一种基于去噪打分匹配网络的pet重建方法 |
| CN113808106A (zh) * | 2021-09-17 | 2021-12-17 | 浙江大学 | 一种基于深度学习的超低剂量pet图像重建系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022041521A1 (zh) | 2022-03-03 |
| CN112053412B (zh) | 2022-04-29 |
| US20220351431A1 (en) | 2022-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112053412B (zh) | 基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法 | |
| Häggström et al. | DeepPET: A deep encoder–decoder network for directly solving the PET image reconstruction inverse problem | |
| CN111325686B (zh) | 一种基于深度学习的低剂量pet三维重建方法 | |
| CN111627082B (zh) | 基于滤波反投影算法和神经网络的pet图像重建方法 | |
| Ghodrati et al. | MR image reconstruction using deep learning: evaluation of network structure and loss functions | |
| Zhou et al. | Limited view tomographic reconstruction using a cascaded residual dense spatial-channel attention network with projection data fidelity layer | |
| Cheng et al. | Applications of artificial intelligence in nuclear medicine image generation | |
| EP1938276A2 (en) | Distributed iterative image reconstruction | |
| Shao et al. | SPECTnet: a deep learning neural network for SPECT image reconstruction | |
| Shao et al. | A learned reconstruction network for SPECT imaging | |
| CN114387236A (zh) | 基于卷积神经网络的低剂量Sinogram去噪与PET图像重建方法 | |
| CN110717951B (zh) | 一种基于cGANs的PET图像直接重建方法 | |
| CN114494479A (zh) | 利用神经网络对低剂量pet图像进行同时衰减校正、散射校正和去噪声的系统和方法 | |
| Dutta et al. | Deep learning framework to synthesize high-count preclinical PET images from low-count preclinical PET images | |
| Corda-D’Incan et al. | Memory-efficient training for fully unrolled deep learned PET image reconstruction with iteration-dependent targets | |
| Zhang et al. | Deep generalized learning model for PET image reconstruction | |
| CN116912344A (zh) | 一种基于原始-对偶网络的列表模式tof-pet重建方法 | |
| CN115984401A (zh) | 一种基于模型驱动深度学习的动态pet图像重建方法 | |
| Ma et al. | A neural network with encoded visible edge prior for limited‐angle computed tomography reconstruction | |
| Cheng et al. | Super-resolution reconstruction for parallel-beam SPECT based on deep learning and transfer learning: a preliminary simulation study | |
| Zhang et al. | Nonsmooth nonconvex LDCT image reconstruction via learned descent algorithm | |
| CA2324832A1 (en) | Real-time image reconstruction for computed tomography systems | |
| Zhang et al. | Quantile-based Random Sparse Kaczmarz for Corrupted, Noisy Linear Inverse Systems | |
| Corda-D'Incan et al. | Iteration-dependent networks and losses for unrolled deep learned FBSEM PET image reconstruction | |
| CN112927132B (zh) | 提升pet系统空间分辨率均匀性的pet图像重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |