CN113379863B - 基于深度学习的动态双示踪pet图像联合重建与分割方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的动态双示踪PET图像联合重建与分割方法，该方法将同时注射的动态双示踪PET图像的重建问题与分割问题整合到一个框架中，通过3D Unet的强大时间与空间信息提取能力实现了双示踪PET图像的重建，同时与增加的鉴别器形成的生成对抗网络，自适应地提高了重建的效果。此外，本发明额外增加的分割网络在完成分割任务的同时，也起到监督重建图像中相同感兴趣区域中的时间活度曲线走势相似的作用，进一步提高了重建效果。综上所述，本发明方法不仅在重建效果上相较现有重建方法有所提升，而且分割的准确率更是远超用于联合重建和分割的传统的迭代方法。

Description

基于深度学习的动态双示踪PET图像联合重建与分割方法

技术领域

本发明属于PET成像技术领域，具体涉及一种基于深度学习的动态双示踪PET图像联合重建与分割方法。

背景技术

正电子发射断层成像(Positron Emission Tomography，PET)是一种功能性分子成像技术，为肿瘤、心血管病和神经系统病等疾病的研究以及临床的诊断和治疗提供了重要的手段。PET成像首先需要向生物体内注射对不同生理代谢特征或药理特征变化敏感的放射性核素标记的示踪剂，如葡萄糖、氨基酸和核酸等。常用的放射性核素有¹¹C、¹³N、¹⁵O、¹⁸F，其衰变过程中会发射出正电子，并在移动约为1～3mm的很小一段距离后与体内的负电子相遇并发生湮灭，产生一对方向相反、能量相同为511keV的γ光子对，通过在体外对光子对进行探测可以获取示踪剂在器官或组织中的时间和空间分布，进一步反应各器官的代谢水平、功能活动、生化反应以及灌注等生理信息。而且同时注射多种示踪剂可以在患者生理特征变化不大的情况下获得表征生理和功能方面的信息，尤其是在结合动态数据采集时，可以提供更加丰富的反映不同生理过程的定量信息，提高诊断的准确性；它还具有大大降低成本、节省时间、提高患者便利性的优点。

一方面由于不同示踪剂所产生的光子都是511keV的，探测器难以分辨所探测到的光子属于哪一种示踪剂，所以对于双示踪正电子发射断层成像技术，最受关注的研究课题是如何从双示踪PET图像中重建出两种示踪剂分别对应的单示踪图像。双示踪剂PET结合动态数据采集可以记录示踪剂在注入后一段时间内的动态分布过程，通过提取每个像素的时间活动曲线，双示踪剂PET图像重建问题可以转化为信号分离问题，该问题可以分为两类：模型驱动方法和无模型方法；然而这些方法对都需要示踪剂、并行房室模型和间隔注射的附加先验信息其中至少一个。另一方面，为了量化生理指标，需要识别出图像中每个像素所属的感兴趣区域(Region of interest，ROI)，因此自动分割是提取病变区域和测量特定组织参数的必要手段。

随着PET成像技术的广泛应用，实现PET图像的计算机自动分割对于临床诊断以及后续的信息处理具有重要意义。

发明内容

鉴于上述，本发明提供了一种基于深度学习的动态双示踪PET图像联合重建与分割方法，能够实现对动态双示踪PET图像同时进行单示踪剂浓度分布图的重建和感兴趣区域的分割。

一种基于深度学习的动态双示踪PET图像联合重建与分割方法，包括如下步骤：

(1)分别向生物组织注入放射性示踪剂Ⅰ和示踪剂Ⅱ，使用PET设备进行动态扫描，分别获得两种示踪剂对应的动态PET正弦图Y^Ⅰ和Y^Ⅱ；

(2)同时向生物组织注入放射性示踪剂Ⅰ和示踪剂Ⅱ，使用PET设备进行动态扫描，获得混合双示踪的动态PET正弦图Y^Dual；

(3)分别对Y^Ⅰ、Y^Ⅱ和Y^Dual进行PET重建，计算出对应的动态PET浓度分布图X^Ⅰ、X^Ⅱ和X^Dual；

(4)根据X^Ⅰ、X^Ⅱ和X^Dual对PET图像进行人工分割，得到PET分割图像对应的编码矩阵X^Seg；

(5)反复执行上述步骤得到大量样本并将样本划分为训练集和测试集，每组样本包含

以及X^Seg，

为对X^Dual复制并在时间维度上与自身进行拼接后得到，

为X^Ⅰ和X^Ⅱ在时间维度上进行拼接后得到；

(6)构建一个由GAN(Generative Adversarial Network，生成对抗网络)作为重建网络，CNN(Convolutional Neural Network，卷积神经网络)作为分割网络的联合网络结构，其中重建网络由一个生成器和一个判别器组成；

利用训练集样本对该联合网络结构进行训练，得到动态双示踪PET图像的重建与分割联合模型；

(7)将测试集样本逐一输入至上述联合模型中，输出Y^Ⅰ和Y^Ⅱ对应的重建结果以及PET图像的分割结果。

进一步地，所述步骤(1)～(3)中得到的动态PET正弦图Y^Ⅰ、Y^Ⅱ和Y^Dual以及动态PET浓度分布图X^Ⅰ、X^Ⅱ和X^Dual均需进行单帧归一化处理。

进一步地，所述步骤(4)中通过人工对PET图像进行ROI分割，确定图像中每个像素点所属的ROI，进而对其进行独热(One-hot)编码得到对应的编码矩阵X^Seg。

进一步地，所述生成器从输入至输出由下采样块GD1、池化层GP1、下采样块GD2、池化层GP2、下采样块GD3、池化层GP3、六个上采样块GU1～GU6和3D卷积层GH依次连接组成，其中：

所述下采样块GD1～GD3每一个均包含有依次连接的六层结构：第一层为3D卷积层，其卷积核大小为3×3×3；第二层为BatchNorm层，对上一层的输出进行归一化处理；第三层为Leaky Relu层，对上一层的输出做激活函数处理；第四层至第六层结构分别与第一层至第三层相同；GD1～GD3分别产生8、16、32个Feature map；

所述最大池化层GP1～GP3的卷积核大小分别为2×2×2、3×2×2、1×2×2；

所述上采样块GU1、GU3、GU5每一个均包含有三层结构：第一层为3D反卷积层，GU1、GU3、GU5中3D反卷积层的卷积核大小分别为1×2×2、3×2×2、2×2×2；第二层为BatchNorm层，对上一层的输出进行归一化处理；第三层为Leaky Relu层，对上一层的输出做激活函数处理；GU1、GU3、GU5分别产生64、32、16个Feature map；

所述上采样块GU2、GU4、GU6每一个均包含有六层结构：第一层为3D反卷积层，其卷积核大小为3×3×3；第二层为BatchNorm层，对上一层的输出进行归一化处理；第三层为Leaky Relu层，对上一层的输出做激活函数处理；第四层至第六层结构分别与第一层至第三层相同；GU2的输入为GD3与GU1的输出在channel维度的拼接结果，GU4的输入为GD2与GU3的输出在channel维度的拼接结果，GU6的输入为GD1与GU5的输出在channel维度的拼接结果，GU2、GU4、GU6分别产生32、16、8个Feature map；

所述3D卷积层GH包含有两层结构：第一层为3D卷积层，其卷积核大小为1×1×1，产生1个Feature map；第二层为Tanh层，对上一层的输出做激活函数处理，处理后结果即为Y^Ⅰ和Y^Ⅱ对应预测得到的PET重建图像

和

在时间维度上的拼接结果

进一步地，所述判别器为一个卷积神经网络，其从输入至输出由下采样块DD1、池化层DP1、下采样块DD2、池化层DP2、下采样块DD3、池化层DP3、下采样块DD4和3D卷积层DC依次连接组成，其中：

所述下采样块DD1～DD4每一个均包含有依次连接的六层结构：第一层为3D卷积层，其卷积核大小为3×3×3；第二层为BatchNorm层，对上一层的输出进行归一化处理；第三层为Leaky Relu层，对上一层的输出做激活函数处理；第四层至第六层结构分别与第一层至第三层相同；DD1～DD4分别产生8、16、32、64个Feature map；

所述最大池化层DP1～DP3的卷积核大小分别为2×2×2、3×2×2、1×2×2；

所述3D卷积层DC的卷积核大小为6×8×8，产生1个Feature map。

进一步地，所述分割网络包含有依次连接的七层结构：第一层为3D卷积层，其卷积核大小为3×2，产生4个Feature map；第二层也是3D卷积层，卷积核大小为3×1，产生8个Feature map；第三层为Relu层，对上一层的输出做激活函数处理；第四层为3D卷积层，其卷积核大小为3×1，产生16个Feature map；第五层为Relu层，对上一层的输出做激活函数处理；第六层为全连接层，包含224个神经元；第七层为全连接层，包含4个神经元，经Softmax函数处理后输出PET图像中每个像素点所属ROI的独热编码。

进一步地，所述步骤(6)中对联合网络结构进行训练的过程如下：

6.1初始化网络参数，包括各网络层之间的偏置向量和权值矩阵、学习率、激活函数以及最大迭代次数；

6.2取训练集样本中的

作为生成器的输入，预测生成Y^Ⅰ和Y^Ⅱ对应PET重建图像

和

在时间维度上的拼接结果

之后将

与

以及

与

成对输入判别器，输出判别结果；同时提取

上每一个像素点的TAC(Time activitycurve，时间活度曲线)拼接为一个二维向量

作为分割网络的输入，从而输出预测PET图像中每个像素点所属ROI的编码矩阵

6.3以训练集样本中的

和X^Seg分别作为重建网络和分割网络的标签，根据损失函数对整个网络进行监督训练，通过Adam(Adaptive moment estimation，自适应矩估计)算法对网络参数不断进行更新，直至损失函数收敛或达到最大迭代次数，从而完成训练得到动态双示踪PET图像的重建与分割联合模型。

进一步地，用于监督分割网络训练的损失函数Loss_Seg表达式如下：

其中：m为分割网络最后一层的神经元数量，a和t分别为分割网络最后一层上各个神经元输出的预测值及其对应的标签值。

进一步地，用于监督生成器训练的损失函数Loss_G表达式如下：

其中：Loss_Seg为用于监督分割网络训练的损失函数，

为以

与

成对输入判别器所输出的判别结果，|| ||表示L1范数，λ₁和λ₂为权重系数。

进一步地，用于监督判别器训练的损失函数Loss_D表达式如下：

其中：

为以

与

成对输入判别器所输出的判别结果，

为以

与

成对输入判别器所输出的判别结果。

本发明结合了鉴别器与分割网络所提供的附加损失函数，构建了一个能够实现动态双示踪PET图像的联合重建和分割的模型，它采用3D Unet作为生成对抗网络中的生成网络提取浓度分布图上的时空信息并进行完成双示踪图像的重建；此外，鉴别器提供了额外的自适应损失函数，用于进一步增强重建的效果；最后，分割网络在保证分割效果的同时，也根据相同感兴趣区域中各个像素的TAC形状应该较为接近的特性为重建网络提供了监督，进一步提升了重建的效果，由此本发明解决了动态双示踪PET图像同时进行重建与分割的问题。

附图说明

图1(a)为本发明联合网络的内部流程示意图。

图1(b)为本发明联合网络中重建网络具体结构示意图。

图1(c)为本发明联合网络中分割网络的具体结构示意图。

图2(a)为Hoffman大脑模板。

图2(b)为Zubal大脑模板。

图2(c)为Zubal胸腔模板。

图3为使用不同示踪剂对和模板的重建结果图；其中：第1、3、5列为重建图的第6帧，第2、4、6列为重建图的第12帧，第1、2列使用了¹⁸F-FDG+¹⁸F-FLT示踪剂对和Hoffman大脑模板，第3、4列使用了[¹⁸F]FLT-[¹¹C]FMZ示踪剂对和Zubal大脑模板，第5、6列使用了[⁶²Cu]ATSM-[¹¹C]DTBZ示踪剂对和Zubal胸腔模板，A行、B行、C行、D行、E行分别对应双示踪图像、第一种示踪剂的重建真值、第一种示踪剂的本发明重建结果、第二种示踪剂的重建真值、第二种示踪剂的本发明重建结果。

图4为一个使用Zubal大脑模板的测试样本的分割结果图，圆圈处为被分割错误的像素点。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

本发明基于深度学习的动态双示踪PET图像联合重建与分割的方法，具体包括如下步骤：

(1)采集数据。

1.1向生物组织有长时间间隔地分别注入两种放射性示踪剂并进行PET动态扫描，得到动态单示踪正弦图(sinogram)Y^Ⅰ和Y^Ⅱ。

1.2向生物组织同时注入两种放射性示踪剂并进行PET动态扫描，得到动态双示踪PET正弦图Y^Dual。

1.3使用PET图像重建算法计算出动态PET正弦图Y^Ⅰ、Y^Ⅱ和Y^Dual所对应的动态PET浓度图X^Ⅰ、X^Ⅱ和X^Dual。

1.4根据重建后的动态PET浓度图X^Ⅰ、X^Ⅱ和X^Dual，人工进行感兴趣区域的分割，并使用独热编码矩阵X^Seg表示每个像素所属的感兴趣区域。

(2)制作训练集与测试集。

2.1将动态PET浓度图X^Ⅰ、X^Ⅱ和X^Dual进行单帧的归一化，归一化公式如下：

其中：X_min和X_max分别是单帧浓度图的最小值和最大值。

2.2将动态双示踪PET浓度分布图X^Dual时间维度上与自身的复制进行拼接得到

将动态单示踪PET浓度分布图X^Ⅰ、X^Ⅱ在时间维度上进行拼接后得到

将

和X^Seg组成一个样本，所有样本组成一个样本集，其中8/9划分为训练集，1/9划分为测试集。

(3)联合网络的构建。

联合网络包括一个生成对抗网络作为重建网络和一个卷积神经网络作为分割网络，构建一个3D Unet作为生成器和一个卷积神经网络作为判别器，其结构如图1(b)所示，生成器包括三个下采样块、三个池化层、六个上采样块和一个3D卷积层。

每个下采样块均包含有六层结构：第一层为3D卷积层，设置卷积核大小均为3×3×3；第二层为BatchNorm层，将上一层的输出归一化；第三层为Leaky Relu层，将上一层的输出用激活函数进行处理；第四层到第六层结构与第一层到第三层相同；输出Feature map数分别为8、16、32个。

每个最大池化层对上一层的输出进行下采样处理，设置卷积核大小分别为2×2×2、3×2×2、1×2×2。

第一、三、五个上采样块均包含有三层结构：第一层为3D反卷积层，设置卷积核大小分别为1×2×2、3×2×2、2×2×2；第二层为BatchNorm层，对上一层的输出进行归一化处理；第三层为Leaky Relu层，对上一层的输出做激活函数处理，分别产生64、32、16个Feature map。

第二、四、六个上采样块GU2、GU4、GU 6将上一个上采样块和对应下采样块的输出在channel维度进行拼接，均包含有六层结构：第一层为3D反卷积层，设置卷积核大小均为3×3×3；第二层为BatchNorm层，对上一层的输出进行归一化处理；第三层为Leaky Relu层，对上一层的输出做激活函数处理，第四层至第六层结构分别与第一层至第三层相同；分别产生32、16、8个Feature map。

3D卷积层GH包含有两层结构：第一层为3D卷积层，其卷积核大小为1×1×1，产生1个Feature map；第二层为Tanh层，对上一层的输出做激活函数处理，处理后结果即为Y^Ⅰ和Y^Ⅱ对应预测得到的PET重建图像

和

在时间维度上的拼接结果

判别器包括四个下采样块、三个池化层和一个3D卷积层，其中判别器的下采样块与生成器的下采样块、池化层结构相同，设置3D卷积层卷积核大小为6×8×8，输出Featuremap数为1个。

如图1(c)所示，分割网络包含七层结构：第一层为3D卷积层，设置卷积核大小为3×2，输出Feature map数为4个；第二层为3D卷积层，设置卷积核大小为3×1，输出Featuremap数为8个；第三层为Relu层，对上一层的输出做激活函数处理；第四层为3D卷积层，设置卷积核大小为3×1，输出Feature map数为16个；第五层为Relu层，对上一层的输出做激活函数处理；第六层为全连接层，由224个神经元构成；第七层为全连接层，由4个神经元构成，经Softmax函数处理给出最终输出值。

(4)联合网络的训练。

4.1将神经网络层之间的偏置向量和权值矩阵初始值设置为0，分别设置生成网络、判别网络、分割网络的优化器为Adam优化器，学习率设置为2×10-⁴，Batchsize设置为1，LeakyRelu的系数设置为0.1，最大迭代次数设置为1000。

4.2如图1(a)所示，取训练集中的

作为重建网络中生成网络的输入，生成网络输出动态单示踪PET浓度分布图的预测

在时间维度上的拼接

之后一方面将

和

成对输入重建网络中的判别网络，判别网络输出判定结果；判别网络的输出的是一个6×8×8大小的张量，张量中的元素均值越接近0表示判别网络的输入更可能是

越接近1表示可能是

另一方面提取

上每一个像素点的时间活度曲线TAC拼接为一个二维向量

作为分割网络的输入，输出每个像素点所属ROI的对应编码矩阵

4.3将生成网络、判别网络、分割网络的损失函数设置为Loss_G、Loss_D、Loss_Seg，分别监督分割网络、生成网络和判别网络的训练，均通过自适应矩估计法(Adaptivemoment estimation，Adam)对网络参数不断进行更新，直至所有损失函数收敛或达到最大迭代次数，从而完成训练得到动态双示踪PET图像联合重建和分割的模型。

生成网络的损失函数：

判别网络的损失函数：

其中：

和

分别表示以

和以

为输入时判别网络的输出，|| ||表示L1范数。

分割网络的损失函数：

其中：m是分割网络最后一层的神经元数，t和a分别是分割网络最后一层上各个神经元输出的标签和预测值。

4.3将训练集中的样本依次输入网络对模型进行训练，直至损失函数全部收敛或者迭代次数达到最大。

(5)联合网络的测试。

将测试集中的样本依次输入训练后的网络模型，获得动态双示踪PET的重建与分割结果。

以下实验使用Monte Carlo的GATE产生的PET仿真数据，将双示踪剂浓度分布图输入Monte Carlo系统中即可生成对应的动态采样正弦图，产生的数据包含三组不同的示踪剂对对应不同的模板，如图2(a)～图2(c)分别为¹⁸F-FDG+¹⁸F-FLT示踪剂对和Hoffman大脑模板，[¹⁸F]FLT-[¹¹C]FMZ示踪剂对和Zubal大脑模板，[⁶²Cu]ATSM-[¹¹C]DTBZ示踪剂对和Zubal胸腔模板。

联合网络模型的训练在一台使用Ubuntu 18.04 LTS系统的服务器上完成，内存128G，所使用的深度学习框架及版本为Tenserflow 2.0.0，另外使用一张NVIDIA TITANRTX 24GB显卡用于加速代码运行。

图3显示了本发明的重建结果，第1、2列是使用了¹⁸F-FDG+¹⁸F-FLT示踪剂对和Hoffman大脑模板的重建结果，相应的第3、4列使用了[¹⁸F]FLT-[¹¹C]FMZ示踪剂对和Zubal大脑模板，第5、6列使用了[⁶²Cu]ATSM-[¹¹C]DTBZ示踪剂对和Zubal胸腔模板；A行、B行、C行、D行、E行分别对应双示踪图像、第一种示踪剂的重建真值、第一种示踪剂的重建结果、第二种示踪剂的重建真值、第二种示踪剂的重建结果；其中第1、3、5列为重建动态图中的第6帧，第2、4、6列为重建图的第12帧。

图4所示为本发明中一个使用Zubal大脑模板的测试样本的分割结果，该样本属于分割效果较差部分中的一个，圆圈处为被分割错误的像素点，事实上大多数样本的分割准确率接近100％，相比于传统的迭代方法所实现的PET图像同时重建与分割方法，分割的准确率有明显提高。

上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (6)

1.一种基于深度学习的动态双示踪PET图像联合重建与分割方法，包括如下步骤：

(1)分别向生物组织注入放射性示踪剂Ⅰ和示踪剂Ⅱ，使用PET设备进行动态扫描，分别获得两种示踪剂对应的动态PET正弦图Y^Ⅰ和Y^Ⅱ；

(2)同时向生物组织注入放射性示踪剂Ⅰ和示踪剂Ⅱ，使用PET设备进行动态扫描，获得混合双示踪的动态PET正弦图Y^Dual；

(3)分别对Y^Ⅰ、Y^Ⅱ和Y^Dual进行PET重建，计算出对应的动态PET浓度分布图X^Ⅰ、X^Ⅱ和X^Dual；

(4)根据X^Ⅰ、X^Ⅱ和X^Dual对PET图像进行人工分割，得到PET分割图像对应的编码矩阵X^Seg；

(5)反复执行上述步骤得到大量样本并将样本划分为训练集和测试集，每组样本包含

以及X^Seg，

为对X^Dual复制并在时间维度上与自身进行拼接后得到，

为X^Ⅰ和X^Ⅱ在时间维度上进行拼接后得到；

(6)构建一个由GAN作为重建网络，CNN作为分割网络的联合网络结构，其中重建网络由一个生成器和一个判别器组成；

利用训练集样本对该联合网络结构进行训练，得到动态双示踪PET图像的重建与分割联合模型，具体训练过程如下：

6.1初始化网络参数，包括各网络层之间的偏置向量和权值矩阵、学习率、激活函数以及最大迭代次数；

6.2取训练集样本中的

作为生成器的输入，预测生成Y^Ⅰ和Y^Ⅱ对应PET重建图像

和

在时间维度上的拼接结果

之后将

与

以及

与

成对输入判别器，输出判别结果；同时提取

上每一个像素点的TAC拼接为一个二维向量

作为分割网络的输入，从而输出预测PET图像中每个像素点所属ROI的编码矩阵

6.3以训练集样本中的

和X^Seg分别作为重建网络和分割网络的标签，根据损失函数对整个网络进行监督训练，通过Adam算法对网络参数不断进行更新，直至损失函数收敛或达到最大迭代次数，从而完成训练得到动态双示踪PET图像的重建与分割联合模型；

其中用于监督分割网络训练的损失函数Loss_Seg表达式如下：

其中：m为分割网络最后一层的神经元数量，a和t分别为分割网络最后一层上各个神经元输出的预测值及其对应的标签值；

用于监督生成器训练的损失函数Loss_G表达式如下：

其中：Loss_Seg为用于监督分割网络训练的损失函数，

为以

与

成对输入判别器所输出的判别结果，‖‖表示L1范数，λ₁和λ₂为权重系数；

用于监督判别器训练的损失函数Loss_D表达式如下：

其中：

为以

与

成对输入判别器所输出的判别结果；

(7)将测试集样本逐一输入至上述联合模型中，输出Y^Ⅰ和Y^Ⅱ对应的重建结果以及PET图像的分割结果。

2.根据权利要求1所述的动态双示踪PET图像联合重建与分割方法，其特征在于：所述步骤(1)～(3)中得到的动态PET正弦图Y^Ⅰ、Y^Ⅱ和Y^Dual以及动态PET浓度分布图X^Ⅰ、X^Ⅱ和X^Dual均需进行单帧归一化处理。

3.根据权利要求1所述的动态双示踪PET图像联合重建与分割方法，其特征在于：所述步骤(4)中通过人工对PET图像进行ROI分割，确定图像中每个像素点所属的ROI，进而对其进行独热编码得到对应的编码矩阵X^Seg。

4.根据权利要求1所述的动态双示踪PET图像联合重建与分割方法，其特征在于：所述生成器从输入至输出由下采样块GD1、池化层GP1、下采样块GD2、池化层GP2、下采样块GD3、池化层GP3、六个上采样块GU1～GU6和3D卷积层GH依次连接组成，其中：

所述下采样块GD1～GD3每一个均包含有依次连接的六层结构：第一层为3D卷积层，其卷积核大小为3×3×3；第二层为BatchNorm层，对上一层的输出进行归一化处理；第三层为Leaky Relu层，对上一层的输出做激活函数处理；第四层至第六层结构分别与第一层至第三层相同；GD1～GD3分别产生8、16、32个Feature map；

所述池化层GP1～GP3的卷积核大小分别为2×2×2、3×2×2、1×2×2；

所述上采样块GU1、GU3、GU5每一个均包含有三层结构：第一层为3D反卷积层，GU1、GU3、GU5中3D反卷积层的卷积核大小分别为1×2×2、3×2×2、2×2×2；第二层为BatchNorm层，对上一层的输出进行归一化处理；第三层为Leaky Relu层，对上一层的输出做激活函数处理；GU1、GU3、GU5分别产生64、32、16个Feature map；

所述上采样块GU2、GU4、GU6每一个均包含有六层结构：第一层为3D反卷积层，其卷积核大小为3×3×3；第二层为BatchNorm层，对上一层的输出进行归一化处理；第三层为LeakyRelu层，对上一层的输出做激活函数处理；第四层至第六层结构分别与第一层至第三层相同；GU2的输入为GD3与GU1的输出在channel维度的拼接结果，GU4的输入为GD2与GU3的输出在channel维度的拼接结果，GU6的输入为GD1与GU5的输出在channel维度的拼接结果，GU2、GU4、GU6分别产生32、16、8个Feature map；

所述3D卷积层GH包含有两层结构：第一层为3D卷积层，其卷积核大小为1×1×1，产生1个Feature map；第二层为Tanh层，对上一层的输出做激活函数处理，处理后结果即为Y^Ⅰ和Y^Ⅱ对应预测得到的PET重建图像

和

在时间维度上的拼接结果

5.根据权利要求1所述的动态双示踪PET图像联合重建与分割方法，其特征在于：所述判别器为一个卷积神经网络，其从输入至输出由下采样块DD1、池化层DP1、下采样块DD2、池化层DP2、下采样块DD3、池化层DP3、下采样块DD4和3D卷积层DC依次连接组成，其中：

所述下采样块DD1～DD4每一个均包含有依次连接的六层结构：第一层为3D卷积层，其卷积核大小为3×3×3；第二层为BatchNorm层，对上一层的输出进行归一化处理；第三层为Leaky Relu层，对上一层的输出做激活函数处理；第四层至第六层结构分别与第一层至第三层相同；DD1～DD4分别产生8、16、32、64个Feature map；

所述池化层DP1～DP3的卷积核大小分别为2×2×2、3×2×2、1×2×2；

所述3D卷积层DC的卷积核大小为6×8×8，产生1个Feature map。

6.根据权利要求1所述的动态双示踪PET图像联合重建与分割方法，其特征在于：所述分割网络包含有依次连接的七层结构：第一层为3D卷积层，其卷积核大小为3×2，产生4个Feature map；第二层也是3D卷积层，卷积核大小为3×1，产生8个Feature map；第三层为Relu层，对上一层的输出做激活函数处理；第四层为3D卷积层，其卷积核大小为3×1，产生16个Feature map；第五层为Relu层，对上一层的输出做激活函数处理；第六层为全连接层，包含224个神经元；第七层为全连接层，包含4个神经元，经Softmax函数处理后输出PET图像中每个像素点所属ROI的独热编码。

Images