CN110717951A - 一种基于cGANs的PET图像直接重建方法 - Google Patents

Abstract

本发明公开了一种基于cGANs的PET图像直接重建方法，主要分为训练模型和测试阶段两部分；在训练阶段，本发明采用的网络是cGANs，包括生成器和判别器，网络的输入是sinogram图像和对应的PET图像组成的图像对，经过生成器和判别器不断地交替训练来更新二者的参数，进而优化整个训练模型，并保存模型；在测试阶段，输入为未经训练的sinogram图像，输出即为重建好的PET图像，最后与真值进行对比，量化重建的精度。本发明从深度学习的角度实现了PET图像由投影数据到PET图像的直接重建，彻底避免了传统方法对系统矩阵、概率模型等因素的依赖。

Description

一种基于cGANs的PET图像直接重建方法

技术领域

本发明属于PET成像技术领域，具体涉及一种基于cGANs的PET图像直接重建方法。

背景技术

正电子发射断层成像(Positron emission tomography，PET)是一种基于核物理学、分子生物学的医学影像技术，它能够从分子水平上观察细胞的代谢活动，为早期疾病的检测和预防提供了有效依据。在进行PET测量前，首先让被测者吸入或注射一种放射性药剂，该药剂中含有与被测位置相对应的正电子核素，它们通常是由回旋加速器产生的；经过一小段时间，放射性核素到达了相应的区域，同时被目标组织吸收，此时即可进行扫描。当放射性核素衰变时，会向外发射出正电子，正电子移动很短的一段距离后，会和组织中的电子相遇并且湮灭；在湮灭时，会放出向相反方向移动的一对光子，它们的能量均为511keV。所以，我们通过探测器探测被测者体内放射出的光子对来确定湮灭事件发生的位置；通常，如果两个位置相对的光子在设定的时间窗(如10ns)之内被探测到，我们就认为这两个光子是在同一次湮灭中产生的，属于符合计数(a true coincidence)，这个正电子放射事件就会被记录下来，所有正电子放射事件的集合可以近似等于放射性核素浓度分布的线积分，记录的事件数量越多，则近似度越高。

正电子断层成像系统作为现代核医学影像技术和临床医疗诊断的重要手段之一，现今已在临床治疗和药物开发等方面得到广泛的应用。PET成像主要是利用放射性同位素的衰变进行追踪探测来成像，但是由PET扫描仪扫描直接获得的投影数据记录的只是PET系统探测器保存的符合事件的信息，不能直接使用，还需要经过重建算法，才能作为医生直接借鉴的医学图像。目前为止，PET图像重建仍是医学图像重建研究领域的热门技术。

传统的PET直接重建方法大部分属于迭代算法，包括MLEM(maximum likelihood-expectation maximum)、MAP(maximum a posteriori)、PWLS(penalized weighted leastsquare)、TV(total variation)等等。但是上述方法都是基于一定的数据概率模型假设的(泊松或者高斯模型)，且还要依赖于系统矩阵，并要对投影数据sinogram进行校正；因此，在现代科学高速发展的今天，如何避开这些条件的限制实现由投影数据到PET图像的重建成为了一个非常重要的研究课题。

发明内容

鉴于上述，本发明提供了一种基于cGANs(conditional GenerativeAdversarialNetworks，条件式生成对抗网络)的PET图像直接重建方法，能够实现从sinogram数据出发，直接重建出临床所需的PET图像。

一种基于cGANs的PET图像直接重建方法，包括如下步骤：

(1)获取PET系统采集到的大量投影数据，对于每一组投影数据通过PET重建算法得到其对应的PET图像x；

(2)将投影数据保存为图像形式，并将其与对应的PET图像x拼接成一起作为样本；

(3)将所有样本划分成训练集和测试集，搭建由生成器和判别器组合的cGANs网络，利用训练集样本对该网络进行训练，得到PET图像直接重建模型；

(4)将测试集样本中的投影数据图像输入至重建模型，即可直接重建得到对应的PET图像。

进一步地，所述cGANs网络的生成器采用对称的U-NET结构，其从输入到输出由6个卷积层H1～H6和6个反卷积层G1～G6依次连接组成；

卷积层H1～H6均包含16个5×5大小的卷积核，步长为2；

反卷积层G1～G6均包含16个5×5大小的卷积核，步长为2；

卷积层H1的输入为训练集样本中的投影数据图像，卷积层H1的输出作为卷积层H2的输入，卷积层H2的输出作为卷积层H3的输入，卷积层H3的输出作为卷积层H4的输入，卷积层H4的输出作为卷积层H5的输入，卷积层H5的输出作为卷积层H6的输入；

卷积层H6和H5的输出拼接组成作为反卷积层G1的输入；

反卷积层G1和卷积层H4的输出拼接组成作为反卷积层G2的输入；

反卷积层G2和卷积层H3的输出拼接组成作为反卷积层G3的输入；

反卷积层G3和卷积层H2的输出拼接组成作为反卷积层G4的输入；

反卷积层G4和卷积层H1的输出拼接组成作为反卷积层G5的输入；

反卷积层G5的输出作为反卷积层G6的输入，反卷积层G6的输出为投影数据图像对应的PET图像x^*且作为整个生成器的输出。

进一步地，所述生成器中每一卷积层及反卷积层的输出均依次经批标准化和LReLu函数处理。

进一步地，在训练集样本的投影数据图像中加入随机噪声后作为生成器卷积层H1的输入，用以训练cGANs网络。

进一步地，所述cGANs网络的判别器采用PatchGAN结构，其从输入到输出由4个卷积层H7～H10依次连接组成；

卷积层H7～H9均包含16个5×5大小的卷积核，步长为2；卷积层H7的输入为由投影数据图像及其对应PET图像x拼接组成的正样本图像或由投影数据图像及其对应的PET图像x^*拼接组成的负样本图像；卷积层H7的输出作为卷积层H8的输入，卷积层H8的输出作为卷积层H9的输入，卷积层H9的输出作为卷积层H10的输入；

卷积层H10包含16个5×5大小的卷积核，步长为1，其输出经过reshape整形处理后得到一维向量，对该向量中所有元素值求平均，得到的平均值即为整个判别器的输出结果。

进一步地，所述判别器的输入即卷积层H7的输入为正样本图像和负样本图像按1:1比例交替作为输入。

进一步地，所述cGANs网络的目标函数L表达式如下：

L_L1(G)＝E[||x-G(y|z)||₁]

L_cGANs(D,G)＝E[logD(x,y)]+E[log(1-D(G(y|z),y))]

其中：G为生成器的输出结果，D为判别器的输出结果，E[||x-G(y,z)||₁]表示在x和y服从联合分布z服从随机分布情况下||x-G(y,z)||₁的期望值，y为投影数据图像，z为噪声，λ为权重系数，G(y|z)表示生成器在输入为y加入z情况下输出的PET图像，|| ||₁表示L1范数，D(x,y)表示判决器在输入为由投影数据图像y及其对应PET图像x拼接组成的正样本图像下的输出结果即判别x为真的概率，D(G(y|z),y)表示判决器在输入为由投影数据图像y及其对应PET图像G(y|z)拼接组成的负样本图像下的输出结果即判别G(y|z)为真的概率，E[logD(x,y)]表示在x服从联合分布情况下logD(x,y)的期望值，E[log(1-D(G(y|z),y)]表示在z服从随机分布情况下log(1-D(G(y|z),y))的期望值。

生成器在训练过程中希望生成的图片可以骗过判别器，即生成的图像的分布与真值目标的分布要越来越接近，也就是要最小化这个函数值，判别器要尽可能识别出生成器生成的图像是伪图像，即要最大化这个函数值。cGAN以前的方法发现使用传统的loss(比如L2距离)有利于混合GAN目标方程，判别器的工作保持不变，但是生成器不仅要欺骗判别器，还要尽可能生成真实的图片，因此在原有的目标函数的基础上，本发明为生成器增加了loss函数，选择了L1距离，因为L1距离可以减少模糊程度。

本发明基于cGANs的PET图像直接重建方法主要分为训练模型和测试阶段两部分；在训练阶段我们采用的网络是cGANs，包括生成器和判别器，网络的输入是sinogram图像和对应的PET图像组成的图像对，经过生成器和判别器不断地交替训练来更新二者的参数，进而优化整个训练模型，并保存模型。

本发明判别器选用了PatchGAN结构，即用5×5大小的卷积核在整张图像上运行，并进行多次卷积，然后图像就被分割成N×N大小的patch，N可以根据情况自行设定，判别器对每一个patch做真假判别，将一张图片所有patch的结果取平均作为最终的判别器输出。本发明生成器选用了对称的U-NET结构，即增加了跳线连接，在每个第i层和第n-i层之间添加跳线，其中n是U-NET网络的总层数，每根跳线简单的将第i层和第n-i层的特征通道连在一起，用来保留不同分辨率下像素级的细节信息，每一层的卷积单元和判别器的卷积单元一致，都是Conv-Batchnorm-ReLu(卷积-批归一化-激活函数)，卷积层的层数可根据需要进行设定。

设定训练的迭代次数后，交替训练判别器和生成器，训练判别器的时候，固定生成器，并通过使判别器的loss函数L_cGANs(D,G)最大化来更新判别器的参数；训练生成器的时候，固定判别器，并通过最小化生成器的loss函数L＝E[log(1-D(G(y|z),y))]+λL_L1(G)来更新生成器的参数；对loss函数进行优化的优化器选择Adam优化器，最后根据保存的loss曲线，保存最优的训练好的模型。

在测试阶段，输入为未经训练的sinogram图像，输出即为重建好的PET图像，最后与真值进行对比，用方差和偏差来量化重建的精度。本发明从深度学习的角度实现了PET图像由投影数据到PET图像的直接重建，彻底避免了传统方法对系统矩阵、概率模型等因素的依赖。

附图说明

图1为本发明中cGANs网络模型的整体结构示意图。

图2为模拟注射¹⁸F-FDG的大脑PET图像及其对应的投影数据图像模板。

图3为本发明与两种传统经典PET重建方法的重建效果对比示意图。

具体实施方式

为了更为明确地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

本发明基于cGANs的PET图像直接重建方法，整体框架如图1所示，具体的步骤如下：

(1)为了对本发明的重建精度进行更为精准的定量衡量，我们训练的时候选用的是蒙特卡洛模拟的PET仿真数据，模拟对象为Hamamatsu SHR74000扫描仪，数据包括sinogram图像及对应的PET重建图像，本实例中模拟的是注射¹⁸F-FDG的简单大脑PET图像及对应的投影数据图像，如图2所示。

(2)投影图像和PET图像的大小均为62×62，将两种图像分别如图2中相接组成图像对，图像对个数为162个。

(3)随机选取PET图像对的2/3作为训练集，其余的作为测试集，即最终训练集包括108个图像对，测试集包括54个图像对。

(4)将训练集输入到cGANs网络，首先开始更新的是判别器，判别器结构是PatchGAN，Patch的大小定为8×8，即最后平均所有8×8大小的Patch上的输出响应作为判别器最后的输出。判别器一共采用了4个卷积层，每个卷积层都是Conv-Batchnorm-LReLu的结构，前三层卷积的strides都设为2，最后一层strides＝1，每一层的filter个数都是16，卷积核大小为5×5，所以四层卷积过后，输出大小为8²×128，然后经过reshape，形成8192的向量，对8192个值取平均，最后得到一个值作为判别器最后的判别结果。然后更新生成器，生成器采用的是对称的U-NET结构，其中卷积层6层，反卷积层6层，所以一共n＝12层，分别将2层-12层，3层-11层，4层-10层，5层-9层，6层-8层连接起来，共享底层信息。卷积单元结构与判别器相同，最后经过完整的U-NET结构后，generator生成的图像大小与输入图像一致，具体的流程如图1中generator部分所示。

(5)交替训练判别器和生成器，迭代次数epoch设为120，每隔10次记录一次模型，同时记录loss曲线，根据loss曲线选取最优的模型。

本发明cGANs网络的目标函数设计如下：

最终的损失函数由两部分组成，cGANs的损失函数L_cGANs(D，G)和传统的损失函数L_L1的结合；公式(1)中，λ为L_L1的权重，本实例中设置为λ＝100；公式(2)中，z是随机噪声，y是sinogram图像，G(y，z)是生成器在输入为y和z的情况下输出的伪图像，x是真值，||x-G(y，z)||₁即两者差的一范数，L_L1(G)即在x，y服从联合分布p_data(x，y)，z服从随机分布p_z(z)的情况下一范数的期望值；公式(3)中，D(x|y)表示在为y的条件下x判别为真的概率，D(G(z|y))则是在y条件下生成器G在输入为z情况下生成结果为真的概率，E均表示期望值。

(6)测试阶段，将测试集的sinogram图像输入模型中，输出的图像即为最后要得到的cGANs重建好的PET图像。

(7)将得到的重建图像与真值进行对比，并将重建精度量化，本实例选用的是方差和偏差，公式如下：

(8)本发明与两种传统经典重建方法进行了对比，一种是MLEM(Maximumlikelihood expectation maximization)，另一种是TV(Total variation)。我们随机选取了四帧图像进行对比效果展示，如图3所示，具体的bias、variance如表1所示：

表1

由表1可见，本发明cGANs的重建效果完全优于其他两种方法，从图3中也可以清晰地看到。

(9)具体的实施过程中，本发明整个算法在Windows10.1803(64-bit)系统中测试，其中CPU为Core i7-7700X(3.6GHz)，主机内存为16GB RAM，显卡型号为NVIDIA GTX1060(6GB内存)。在编程中，采用Tensorflow的Spyder3平台来进行神经网络的搭建，平台基于Python语言，可以在多个程序开发环境中结合使用。

上述的对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (7)

1.一种基于cGANs的PET图像直接重建方法，包括如下步骤：

(1)获取PET系统采集到的大量投影数据，对于每一组投影数据通过PET重建算法得到其对应的PET图像x；

(2)将投影数据保存为图像形式，并将其与对应的PET图像x拼接成一起作为样本；

(3)将所有样本划分成训练集和测试集，搭建由生成器和判别器组合的cGANs网络，利用训练集样本对该网络进行训练，得到PET图像直接重建模型；

(4)将测试集样本中的投影数据图像输入至重建模型，即可直接重建得到对应的PET图像。

2.根据权利要求1所述的PET图像直接重建方法，其特征在于：所述cGANs网络的生成器采用对称的U-NET结构，其从输入到输出由6个卷积层H1～H6和6个反卷积层G1～G6依次连接组成；

卷积层H1～H6均包含16个5×5大小的卷积核，步长为2；

反卷积层G1～G6均包含16个5×5大小的卷积核，步长为2；

卷积层H1的输入为训练集样本中的投影数据图像，卷积层H1的输出作为卷积层H2的输入，卷积层H2的输出作为卷积层H3的输入，卷积层H3的输出作为卷积层H4的输入，卷积层H4的输出作为卷积层H5的输入，卷积层H5的输出作为卷积层H6的输入；

卷积层H6和H5的输出拼接组成作为反卷积层G1的输入；

反卷积层G1和卷积层H4的输出拼接组成作为反卷积层G2的输入；

反卷积层G2和卷积层H3的输出拼接组成作为反卷积层G3的输入；

反卷积层G3和卷积层H2的输出拼接组成作为反卷积层G4的输入；

反卷积层G4和卷积层H1的输出拼接组成作为反卷积层G5的输入；

反卷积层G5的输出作为反卷积层G6的输入，反卷积层G6的输出为投影数据图像对应的PET图像x^*且作为整个生成器的输出。

3.根据权利要求2所述的PET图像直接重建方法，其特征在于：所述生成器中每一卷积层及反卷积层的输出均依次经批标准化和LReLu函数处理。

4.根据权利要求2所述的PET图像直接重建方法，其特征在于：在训练集样本的投影数据图像中加入随机噪声后作为生成器卷积层H1的输入，用以训练cGANs网络。

5.根据权利要求2所述的PET图像直接重建方法，其特征在于：所述cGANs网络的判别器采用PatchGAN结构，其从输入到输出由4个卷积层H7～H10依次连接组成；

卷积层H7～H9均包含16个5×5大小的卷积核，步长为2；卷积层H7的输入为由投影数据图像及其对应PET图像x拼接组成的正样本图像或由投影数据图像及其对应的PET图像x*拼接组成的负样本图像；卷积层H7的输出作为卷积层H8的输入，卷积层H8的输出作为卷积层H9的输入，卷积层H9的输出作为卷积层H10的输入；

卷积层H10包含16个5×5大小的卷积核，步长为1，其输出经过reshape整形处理后得到一维向量，对该向量中所有元素值求平均，得到的平均值即为整个判别器的输出结果。

6.根据权利要求5所述的PET图像直接重建方法，其特征在于：所述判别器的输入即卷积层H7的输入为正样本图像和负样本图像按1:1比例交替作为输入。

7.根据权利要求1所述的PET图像直接重建方法，其特征在于：所述cGANs网络的目标函数L表达式如下：

L_L1(G)＝E[||x-G(y|z)||₁]

L_cGANs(D,G)＝E[logD(x,y)]+E[log(1-D(G(y|z),y))]

其中：G为生成器的输出结果，D为判别器的输出结果，E[||x-G(y,z)||₁]表示在x和y服从联合分布z服从随机分布情况下||x-G(y,z)||₁的期望值，y为投影数据图像，z为噪声，λ为权重系数，G(y|z)表示生成器在输入为y加入z情况下输出的PET图像，|| ||₁表示L1范数，D(x,y)表示判决器在输入为由投影数据图像y及其对应PET图像x拼接组成的正样本图像下的输出结果即判别x为真的概率，D(G(y|z),y)表示判决器在输入为由投影数据图像y及其对应PET图像G(y|z)拼接组成的负样本图像下的输出结果即判别G(y|z)为真的概率，E[logD(x,y)]表示在x服从联合分布情况下logD(x,y)的期望值，E[log(1-D(G(y|z),y)]表示在z服从随机分布情况下log(1-D(G(y|z),y))的期望值。

Images