CN111476859B - 一种基于3D Unet的动态双示踪PET成像方法 - Google Patents

一种基于3D Unet的动态双示踪PET成像方法 Download PDF

Info

Publication number
CN111476859B
CN111476859B CN202010285064.6A CN202010285064A CN111476859B CN 111476859 B CN111476859 B CN 111476859B CN 202010285064 A CN202010285064 A CN 202010285064A CN 111476859 B CN111476859 B CN 111476859B
Authority
CN
China
Prior art keywords
layer
output
previous
size
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010285064.6A
Other languages
English (en)
Other versions
CN111476859A (zh
Inventor
刘华锋
卿敏敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010285064.6A priority Critical patent/CN111476859B/zh
Publication of CN111476859A publication Critical patent/CN111476859A/zh
Application granted granted Critical
Publication of CN111476859B publication Critical patent/CN111476859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于3D Unet的动态双示踪PET成像方法，针对双示踪动态PET数据的3D格式，选用针对性的3D卷积核，在立体感受野中进行特征提取和重建过程，精确地从动态图像序列出发，直接重建出两种不同的单示踪PET的三维浓度分布图。本发明方法通过三维Unet实现了混合示踪剂动态PET浓度分布图像的重建，它采用特定的三维卷积核，可同时提取出浓度分布图上包含空间信息以及时间信息的特征；再结合特定的跳跃连接结构，将下采样块的原始输出特征与后续对应上采样块的重构特征进行拼接，进一步保留图像中关键细节信息；最后结合单示踪剂真值作为标签以及误差函数对网络进行训练，实现准确的图像时空同时重建。

Description

一种基于3D Unet的动态双示踪PET成像方法
技术领域
本发明属于PET成像技术领域，具体涉及一种基于3D Unet的动态双示踪PET成像方法。
背景技术
正电子发射断层成像(Positron emission tomography，PET)是非侵入活体分子成像的一种，广泛运用于肿瘤、神经系统、心脏等医学领域。PET主要采用对不同生理功能变化敏感的放射性示踪剂进行成像，这些示踪剂主要涉及葡萄糖、蛋白质以及核酸等大分子物质，常用的放射性同位素有18F、11C、13N等，从而使得PET能够在分子层面提供有关脏器的生理功能信息，譬如葡萄糖代谢、血流灌注、乏氧、细胞增殖等，为疾病的早期诊断和预警提供有效信息。考虑到疾病的复杂性，需要从多角度、多方位对脏器的生理或病理特征进行刻画，因此使用多种示踪剂来进行PET扫描成像十分必要。传统的PET扫描成像中，各个示踪剂独立注射扫描成像，不可避免的带来扫描时间延长、费用增加以及医疗资源占用等问题。最重要的是，不同示踪剂反映的信息可能不在同一生理条件下，因此单次扫描-同时注射双示踪PET扫描成像技术亟需发展，而PET成像过程中不同示踪剂发生衰变产生的伽马光子对能量相同(511keV)，如何实现不同示踪剂的示踪信号分离成为难题。
目前双示踪PET图像重建方法主要有两类：第一类是利用示踪剂先验信息以及间隔注射结合数学模型来区分不同示踪剂的信号，这类方法中常用的数学模型有房室模型法、基追踪法以及信号外延法等；以信号外延法为例，它将两种示踪剂先后注入，得到带有时间间隔的混合示踪剂时间活度曲线，接着用数学模型拟合出示踪剂一时间活度曲线未重叠部分，然后再外推出示踪剂I与示踪剂II重叠部分，即可完成两种示踪剂时间活度曲线的分离。这类方法存在以下问题：(1)要求混合示踪剂中的单示踪剂具有不同的半衰期或不同的放射性同位素，降低了方法的实际可行性；(2)需要预先构造好的先验数学模型，而该先验模型对新示踪剂可能不适用；(3)需要注射间隔，延长了扫描时间。
第二类则以数据驱动方式来分离不同示踪剂信号，譬如堆栈自编码器法(SAE法)和深度置信网络法(DBN法)，它们同样从时间活度曲线出发，但都是利用了深度学习模型来自动提取数据特征，学习混合示踪剂活度曲线与单个示踪剂活度曲线之间的映射关系，从而实现混合示踪剂信号分离；这类方法以数据驱动方式着手，它们利用了深度学习模型来学习示踪剂浓度分布图上对应位置(同一组织或器官)的混合示踪剂时间活度曲线以及单示踪剂活度曲线的映射关系。但目前该类方法都只考虑了时间维度的信息，忽略了浓度分布图整体的空间信息，一旦混合示踪剂浓度分布图与单个示踪剂浓度分布图出现较大空间位移，网络就无法顺利训练，这就导致了该类方法目前在模型训练阶段对输入图像与标签图像配准要求会较高，也即配准的精度会影响到方法分离的准确性。
发明内容
鉴于上述，本发明提出了一种基于3D Unet的动态双示踪PET成像方法，针对双示踪动态PET数据的3D格式，选用针对性的3D卷积核，在立体感受野中进行特征提取(下采样)和重建(上采样)过程，精确地从动态图像序列出发，直接重建出两种不同的单示踪PET的三维浓度分布图。
一种基于3D Unet的动态双示踪PET成像方法，包括如下步骤：
(1)对注入有混合双示踪剂的生物组织进行动态PET探测，得到对应不同时刻的符合计数向量，进而组成反映混合双示踪剂分布情况的动态符合计数序列Ydual，所述混合双示踪剂由两种不同的示踪剂I和示踪剂II所组成；
(2)对先后注入有示踪剂I和示踪剂II的生物组织进行动态PET探测，分别得到两组单示踪剂对应不同时刻的符合计数向量，进而组成分别反映示踪剂I和示踪剂II分布情况的动态符合计数序列YI和YII；
(3)利用PET图像重建算法计算出动态符合计数序列Ydual、YI和YII所对应的动态PET图像序列Xdual、XI和XII；
(4)使Xdual、XI和XII组成作为一个样本，根据步骤(1)～(3)重复执行多次以得到大量样本，进而将所有样本分为训练集和测试集；
(5)利用训练集样本作为输入对3D Unet神经网络进行训练，得到动态双示踪剂PET重建模型；
(6)从测试集中任取一样本，使该样本中的Xdual在时间维度复制连接构成[Xdual,Xdual]后输入至所述动态双示踪剂PET重建模型，即可输出得到对应示踪剂I和示踪剂II的动态PET图像序列XI和XII。
进一步地，所述步骤(4)中将所有样本分为训练集和测试集，保证训练集样本数量至少为所有样本数量的三分之二。
进一步地，所述步骤(5)中对3D Unet神经网络进行训练的具体过程如下：
5.1构建一个3D Unet神经网络，并初始化该神经网络的参数，包括每一层的偏置向量和权值矩阵、学习率、优化方法以及最大迭代次数；
5.2将训练集样本中的Xdual在时间维度复制连接构成[Xdual,Xdual]后逐一输入至神经网络中进行训练，计算神经网络的输出结果
Figure BDA0002448224540000031
与训练集样本中[XI，XII]之间的误差函数L，进而通过自适应矩估计算法(adaptive moment estimation，Adam)对整个神经网络的参数不断进行更新，直至误差函数L收敛或达到最大迭代次数，从而完成训练得到动态双示踪剂PET重建模型。
进一步地，所述误差函数L的表达式如下：
Figure BDA0002448224540000032
其中：|| ||2为2范数。
进一步地，所述3D Unet神经网络从输入至输出由三个下采样块D1～D3、上采样块U1、concat层C1、上采样块U2、concat层C2、上采样块U3、concat层C3、一个卷积块和一个3D卷积层H依次连接组成。
进一步地，所述下采样块D1包含有七层结构：第一层为3D卷积层，其设置3×3×3大小的卷积核，产生8个Feature map；第二层为BatchNorm层，对上一层的输出进行归一化；第三层为Leaky Relu层，对上一层的输出做激活函数处理；第四层为3D卷积层，其设置3×3×3大小的卷积核，产生8个Feature map；第五层为BatchNorm层，对上一层的输出进行归一化；第六层为Leaky Relu层，对上一层的输出做激活函数处理，其输出作为concat层C3的输入；第七层为3D最大池化层，设置2×2×2大小的卷积核进行下采样，产生8个Feature map；
所述下采样块D2包含有七层结构：第一层为3D卷积层，其设置3×3×3大小的卷积核，产生16个Feature map；第二层为BatchNorm层，对上一层的输出进行归一化；第三层为Leaky Relu层，对上一层的输出做激活函数处理；第四层为3D卷积层，其设置3×3×3大小的卷积核，产生16个Feature map；第五层为BatchNorm层，对上一层的输出进行归一化；第六层为Leaky Relu层，对上一层的输出做激活函数处理，其输出作为concat层C2的输入；第七层为3D最大池化层，设置3×2×2大小的卷积核进行下采样，产生16个Feature map；
所述下采样块D3包含有七层结构：第一层为3D卷积层，其设置3×3×3大小的卷积核，产生32个Feature map；第二层为BatchNorm层，对上一层的输出进行归一化；第三层为Leaky Relu层，对上一层的输出做激活函数处理；第四层为3D卷积层，其设置3×3×3大小的卷积核，产生32个Feature map；第五层为BatchNorm层，对上一层的输出进行归一化；第六层为Leaky Relu层，对上一层的输出做激活函数处理，其输出作为concat层C1的输入；第七层为3D最大池化层，设置1×2×2大小的卷积核进行下采样，产生32个Feature map。
进一步地，所述上采样块U1包含有九层结构：第一层为3D卷积层，其设置3×3×3大小的卷积核，产生64个Feature map；第二层为BatchNorm层，对上一层的输出进行归一化；第三层为Leaky Relu层，对上一层的输出做激活函数处理；第四层为3D卷积层，其设置3×3×3大小的卷积核，产生64个Feature map；第五层为BatchNorm层，对上一层的输出进行归一化；第六层为Leaky Relu层，对上一层的输出做激活函数处理；第七层为3D反卷积层，其设置1×2×2大小的卷积核，产生32个Feature map；第八层为BatchNorm层，对上一层的输出进行归一化；第九层为Leaky Relu层，对上一层的输出做激活函数处理；
所述上采样块U2包含有九层结构：第一层为3D卷积层，其设置3×3×3大小的卷积核，产生32个Feature map；第二层为BatchNorm层，对上一层的输出进行归一化；第三层为Leaky Relu层，对上一层的输出做激活函数处理；第四层为3D卷积层，其设置3×3×3大小的卷积核，产生32个Feature map；第五层为BatchNorm层，对上一层的输出进行归一化；第六层为Leaky Relu层，对上一层的输出做激活函数处理；第七层为3D反卷积层，其设置3×2×2大小的卷积核，产生16个Feature map；第八层为BatchNorm层，对上一层的输出进行归一化；第九层为Leaky Relu层，对上一层的输出做激活函数处理；
所述上采样块U3包含有九层结构：第一层为3D卷积层，其设置3×3×3大小的卷积核，产生16个Feature map；第二层为BatchNorm层，对上一层的输出进行归一化；第三层为Leaky Relu层，对上一层的输出做激活函数处理；第四层为3D卷积层，其设置3×3×3大小的卷积核，产生16个Feature map；第五层为BatchNorm层，对上一层的输出进行归一化；第六层为Leaky Relu层，对上一层的输出做激活函数处理；第七层为3D反卷积层，其设置2×2×2大小的卷积核，产生8个Feature map；第八层为BatchNorm层，对上一层的输出进行归一化；第九层为Leaky Relu层，对上一层的输出做激活函数处理。
进一步地，所述concat层C1将上采样块U1的输出以及下采样块D3第六层的输出在channel维度方向上进行连接后作为上采样块U2的输入；所述concat层C2将上采样块U2的输出以及下采样块D2第六层的输出在channel维度方向上进行连接后作为上采样块U3的输入；所述concat层C3将上采样块U3的输出以及下采样块D1第六层的输出在channel维度方向上进行连接后作为卷积块的输入。
进一步地，所述卷积块包含有六层结构：第一层为3D卷积层，其设置3×3×3大小的卷积核，产生8个Feature map；第二层为BatchNorm层，对上一层的输出进行归一化；第三层为Leaky Relu层，对上一层的输出做激活函数处理；第四层为3D卷积层，其设置3×3×3大小的卷积核，产生8个Feature map；第五层为BatchNorm层，对上一层的输出进行归一化；第六层为Leaky Relu层，对上一层的输出做激活函数处理，其输出作为3D卷积层H的输入；
所述3D卷积层H设置1×1×1大小的卷积核，产生1个Feature map作为整个网络的输出，即为两种示踪剂对应的动态PET图像序列XI和XII在时间维度上的串联。
本发明动态双示踪PET成像方法通过三维Unet实现了混合示踪剂动态PET浓度分布图像的重建，它采用特定的三维卷积核，可同时提取出浓度分布图上包含空间信息以及时间信息的特征；再结合特定的跳跃连接结构，将下采样块的原始输出特征与后续对应上采样块的重构特征进行拼接，进一步保留图像中关键细节信息；最后结合单示踪剂真值作为标签以及误差函数对网络进行训练，实现准确的图像时空同时重建。
附图说明
图1为本发明3D Unet神经网络的结构示意图。
图2(a)为心脏混合示踪剂扫描图像。
图2(b)为肿瘤混合示踪剂扫描图像。
图3(a)为心脏处[11C]ACT第18帧的真实图像。
图3(b)为心脏处[11C]ACT第18帧的预测图像。
图3(c)为心脏处[18F]FDG第18帧的真实图像。
图3(d)为心脏处[18F]FDG第18帧的预测图像。
图4(a)为肿瘤处[11C]ACT第18帧的真实图像。
图4(b)为肿瘤处[11C]ACT第18帧的预测图像。
图4(c)为肿瘤处[18F]FDG第18帧的真实图像。
图4(d)为肿瘤处[18F]FDG第18帧的预测图像。
具体实施方式
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
本发明基于3D Unet的动态双示踪PET成像方法，包括如下步骤：
(1)准备训练数据。
1.1向生物组织注入由两种不同的示踪剂(示踪剂I和示踪剂II)所组成的混合双示踪剂并进行动态PET探测，得到对应不同时刻的符合计数向量，进而组成反映混合双示踪剂分布情况的动态符合计数序列Ydual；
1.2向生物组织先后注入示踪剂I和示踪剂II并进行动态PET探测，得到两组单示踪剂对应不同时刻的符合计数向量，进而组成分别反映示踪剂I和示踪剂II分布情况的三维动态符合计数序列YI和YII；
1.3利用PET图像重建算法计算出三维动态符合计数序列Ydual、YI和YII所对应的三维动态PET图像序列Xdual、XI和XII。
(2)训练集和测试集的划分。
从Xdual、XI和XII中提取2/3数据作为训练集输入
Figure BDA0002448224540000071
和标签
Figure BDA0002448224540000072
提取1/6作为验证集用以监控训练过程，防止模型过拟合，最后剩下的1/6数据作为测试集
Figure BDA0002448224540000073
及其真值
Figure BDA0002448224540000074
用作后续的结果评估，其中标签和真值的格式为：
Figure BDA0002448224540000075
Figure BDA0002448224540000076
(3)3D Unet的搭建：
构建一个3D Unet神经网络，其结构如图1所示，其由三个下采样块、三个concat层、三个上采样块、一个卷积块外加一个卷积层构成。
每一个下采样块的构成为：第一层为3D卷积层，设置核的大小为3×3×3，作为第二层的输入；第二层为BatchNorm层，对上一层的输出进行归一化，作为第三层的输入；第三层为Leaky Relu层，这是一个激活函数，其输出结果作为第四层的输入；第四层为3D卷积层，设置3×3×3的卷积核，作为第五层的输入；第五层为BatchNorm层，对上一层的输出进行归一化，作为第六层的输入；第六层为Leaky Relu层，其输出为第七层的输入，并同时作为某个concat层的其中一个输入；第七层为3D最大池化层，设置卷积核的大小为2×2×2，输出维度减半，其输出作为下一个下采样块的输入。经过每一个下采样块，三个维度都会就减半，三个下采样块的Feature map数量分别设置为：8、16、32。
每一个concat层将两个输入在第四维的方向上进行连接，其结果作为下一个上采样块的输入。网络中数据的格式为(D,H,W,C)，第一维度为depth，即图像深度，以网络输入数据双示踪三维动态浓度图为例，第一维度代表了帧数，第二维度为长，第三维度为宽，第四维度为channel，也即Feature map的数量。
每一个上采样块的构成为：第一层为3D卷积层，设置卷积核的大小为3×3×3，作为第二层的输入；第二层为BatchNorm层，对上一层的输出进行归一化，作为第三层的输入；第三层为Leaky Relu层，这是一个激活函数，其输出结果作为第四层的输入；第四层为3D卷积层，设置3×3×3的卷积核，作为第五层的输入；第五层为BatchNorm层，对上一层的输出进行归一化，作为第六层的输入；第六层为Leaky Relu层，其输出为第七层的输入；第七层为3D反卷积层，设置卷积核为2×2×2使得维度扩大一倍，作为第八层的输入；第八层为BatchNorm层，对上一层的输出进行归一化，作为第九层的输入；第九层为Leaky Relu层，其输出为下一个concat层的另一输入；三个上采样块的Feature map数量分别设置为：32、16、8。
卷积块的构成为：第一层为3D卷积层，设置核的大小为3×3×3，作为第二层的输入；第二层为BatchNorm层，对上一层的输出进行归一化，作为第三层的输入；第三层为Leaky Relu层，这是一个激活函数，其输出结果作为第四层的输入；第四层为3D卷积层，设置3×3×3的卷积核，作为第五层的输入；第五层为BatchNorm层，对上一层的输出进行归一化，作为第六层的输入；第六层为LeakyRelu层，其输出作为最后一层3D卷积层的输入。
最后一层是3D卷积层，设置1×1×1的卷积核，产生1个Feature map作为整个网络的输出，为两种示踪剂三维图像在第一维度上的串联。
(4)初始化网络，设置训练相关参数。
将每一层的权重矩阵和偏置向量设为0，将优化方式设置为Adam，学习率设置为10-3，batchsize设为4，LeakyRelu激活函数的系数设为0.1。
(5)将训练集输入此网络进行训练，训练的过程如下：
将训练集(
Figure BDA0002448224540000081
标签
Figure BDA0002448224540000082
)输入网络进行训练，误差函数为：
Figure BDA0002448224540000083
其中：
Figure BDA0002448224540000084
分别为示踪剂I和示踪剂II动态图像序列的真值，而
Figure BDA0002448224540000085
Figure BDA0002448224540000086
分别为示踪剂I和示踪剂II动态图像序列的预测值，
Figure BDA0002448224540000087
为L2范数，训练优化方法为Adam。
以下我们通过实验来验证本发明的有效性，实验扫描对象为肝癌模型裸鼠，使用的示踪剂对为[11C]ACT+[18F]FDG，实验使用的PET扫描仪型号为西门子micro PET/CTinveon，扫描方式为动态扫描，扫描时长为1h，训练数据所用的是心脏和肿瘤切片处扫描数据，图2(a)是肿瘤混合示踪剂扫描数据，图2(b)是心脏混合示踪剂扫描数据；然后利用OSEM3D重建算法对获得PET扫描正弦图进行重建，得到放射性示踪剂对在小鼠体内的浓度分布，进而从肿瘤以及心脏切片数据中抽出2/3作为训练数据输入到网络中去，同时抽出1/6作为验证数据，避免训练过程中模型发生过拟合效应，利用剩余的1/6用来验证网络的有效性。
图3(a)～图3(b)分别为心脏处[11C]ACT的第18帧真实放射性浓度分布图和经过训练的3D Unet得到的预测的放射性浓度分布图，图3(c)～图3(d)分别为肿瘤处[18F]FDG的第18帧真实反射性浓度分布图和经过训练的3D Unet得到的预测的放射性浓度分布图；图4(a)～图4(b)分别为肿瘤处[11C]ACT的第18帧真实放射性浓度分布图和经过训练的3D Unet得到的预测的放射性浓度分布图，图4(c)～图4(d)分别为[18F]FDG的第18帧模拟反射性浓度分布图和经过训练的3D Unet得到的预测的放射性浓度分布图。将预测的图像与真实图像对比可以发现本发明搭建的3D Unet能够实现真实情况下双示踪PET图像的重建，其有效性得到验证。
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (4)

1.一种基于3D Unet的动态双示踪PET成像方法，包括如下步骤：
(1)对注入有混合双示踪剂的生物组织进行动态PET探测，得到对应不同时刻的符合计数向量，进而组成反映混合双示踪剂分布情况的动态符合计数序列Ydual，所述混合双示踪剂由两种不同的示踪剂I和示踪剂II所组成；
(2)对先后注入有示踪剂I和示踪剂II的生物组织进行动态PET探测，分别得到两组单示踪剂对应不同时刻的符合计数向量，进而组成分别反映示踪剂I和示踪剂II分布情况的动态符合计数序列YI和YII；
(3)利用PET图像重建算法计算出动态符合计数序列Ydual、YI和YII所对应的动态PET图像序列Xdual、XI和XII；
(4)使Xdual、XI和XII组成作为一个样本，根据步骤(1)～(3)重复执行多次以得到大量样本，进而将所有样本分为训练集和测试集；
(5)利用训练集样本作为输入对3D Unet神经网络进行训练，得到动态双示踪剂PET重建模型；
所述3D Unet神经网络从输入至输出由三个下采样块D1～D3、上采样块U1、concat层C1、上采样块U2、concat层C2、上采样块U3、concat层C3、一个卷积块和一个3D卷积层H依次连接组成；
所述下采样块D1包含有七层结构：第一层为3D卷积层，其设置3×3×3大小的卷积核，产生8个Feature map；第二层为BatchNorm层，对上一层的输出进行归一化；第三层为LeakyRelu层，对上一层的输出做激活函数处理；第四层为3D卷积层，其设置3×3×3大小的卷积核，产生8个Feature map；第五层为BatchNorm层，对上一层的输出进行归一化；第六层为Leaky Relu层，对上一层的输出做激活函数处理，其输出作为concat层C3的输入；第七层为3D最大池化层，设置2×2×2大小的卷积核进行下采样，产生8个Feature map；
所述下采样块D2包含有七层结构：第一层为3D卷积层，其设置3×3×3大小的卷积核，产生16个Feature map；第二层为BatchNorm层，对上一层的输出进行归一化；第三层为Leaky Relu层，对上一层的输出做激活函数处理；第四层为3D卷积层，其设置3×3×3大小的卷积核，产生16个Feature map；第五层为BatchNorm层，对上一层的输出进行归一化；第六层为Leaky Relu层，对上一层的输出做激活函数处理，其输出作为concat层C2的输入；第七层为3D最大池化层，设置3×2×2大小的卷积核进行下采样，产生16个Feature map；
所述下采样块D3包含有七层结构：第一层为3D卷积层，其设置3×3×3大小的卷积核，产生32个Feature map；第二层为BatchNorm层，对上一层的输出进行归一化；第三层为Leaky Relu层，对上一层的输出做激活函数处理；第四层为3D卷积层，其设置3×3×3大小的卷积核，产生32个Feature map；第五层为BatchNorm层，对上一层的输出进行归一化；第六层为Leaky Relu层，对上一层的输出做激活函数处理，其输出作为concat层C1的输入；第七层为3D最大池化层，设置1×2×2大小的卷积核进行下采样，产生32个Feature map；
所述上采样块U1包含有九层结构：第一层为3D卷积层，其设置3×3×3大小的卷积核，产生64个Feature map；第二层为BatchNorm层，对上一层的输出进行归一化；第三层为Leaky Relu层，对上一层的输出做激活函数处理；第四层为3D卷积层，其设置3×3×3大小的卷积核，产生64个Feature map；第五层为BatchNorm层，对上一层的输出进行归一化；第六层为Leaky Relu层，对上一层的输出做激活函数处理；第七层为3D反卷积层，其设置1×2×2大小的卷积核，产生32个Feature map；第八层为BatchNorm层，对上一层的输出进行归一化；第九层为Leaky Relu层，对上一层的输出做激活函数处理；
所述上采样块U2包含有九层结构：第一层为3D卷积层，其设置3×3×3大小的卷积核，产生32个Feature map；第二层为BatchNorm层，对上一层的输出进行归一化；第三层为Leaky Relu层，对上一层的输出做激活函数处理；第四层为3D卷积层，其设置3×3×3大小的卷积核，产生32个Feature map；第五层为BatchNorm层，对上一层的输出进行归一化；第六层为Leaky Relu层，对上一层的输出做激活函数处理；第七层为3D反卷积层，其设置3×2×2大小的卷积核，产生16个Feature map；第八层为BatchNorm层，对上一层的输出进行归一化；第九层为Leaky Relu层，对上一层的输出做激活函数处理；
所述上采样块U3包含有九层结构：第一层为3D卷积层，其设置3×3×3大小的卷积核，产生16个Feature map；第二层为BatchNorm层，对上一层的输出进行归一化；第三层为Leaky Relu层，对上一层的输出做激活函数处理；第四层为3D卷积层，其设置3×3×3大小的卷积核，产生16个Feature map；第五层为BatchNorm层，对上一层的输出进行归一化；第六层为Leaky Relu层，对上一层的输出做激活函数处理；第七层为3D反卷积层，其设置2×2×2大小的卷积核，产生8个Feature map；第八层为BatchNorm层，对上一层的输出进行归一化；第九层为Leaky Relu层，对上一层的输出做激活函数处理；
所述concat层C1将上采样块U1的输出以及下采样块D3第六层的输出在channel维度方向上进行连接后作为上采样块U2的输入；所述concat层C2将上采样块U2的输出以及下采样块D2第六层的输出在channel维度方向上进行连接后作为上采样块U3的输入；所述concat层C3将上采样块U3的输出以及下采样块D1第六层的输出在channel维度方向上进行连接后作为卷积块的输入；
所述卷积块包含有六层结构：第一层为3D卷积层，其设置3×3×3大小的卷积核，产生8个Feature map；第二层为BatchNorm层，对上一层的输出进行归一化；第三层为Leaky Relu层，对上一层的输出做激活函数处理；第四层为3D卷积层，其设置3×3×3大小的卷积核，产生8个Feature map；第五层为BatchNorm层，对上一层的输出进行归一化；第六层为LeakyRelu层，对上一层的输出做激活函数处理，其输出作为3D卷积层H的输入；
所述3D卷积层H设置1×1×1大小的卷积核，产生1个Feature map作为整个网络的输出，即为两种示踪剂对应的动态PET图像序列XI和XII在时间维度上的串联；
(6)从测试集中任取一样本，使该样本中的Xdual在时间维度复制连接构成[Xdual,Xdual]后输入至所述动态双示踪剂PET重建模型，即可输出得到对应示踪剂I和示踪剂II的动态PET图像序列XI和XII。
2.根据权利要求1所述的动态双示踪PET成像方法，其特征在于：所述步骤(4)中将所有样本分为训练集和测试集，保证训练集样本数量至少为所有样本数量的三分之二。
3.根据权利要求1所述的动态双示踪PET成像方法，其特征在于：所述步骤(5)中对3DUnet神经网络进行训练的具体过程如下：
5.1构建一个3D Unet神经网络，并初始化该神经网络的参数，包括每一层的偏置向量和权值矩阵、学习率、优化方法以及最大迭代次数；
5.2将训练集样本中的Xdual在时间维度复制连接构成[Xdual,Xdual]后逐一输入至神经网络中进行训练，计算神经网络的输出结果
Figure FDA0003736452240000042
与训练集样本中[XI，XII]之间的误差函数L，进而通过自适应矩估计算法对整个神经网络的参数不断进行更新，直至误差函数L收敛或达到最大迭代次数，从而完成训练得到动态双示踪剂PET重建模型。
4.根据权利要求3所述的动态双示踪PET成像方法，其特征在于：所述误差函数L的表达式如下：
Figure FDA0003736452240000041
其中：‖ ‖2为2范数。
CN202010285064.6A 2020-04-13 2020-04-13 一种基于3D Unet的动态双示踪PET成像方法 Active CN111476859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010285064.6A CN111476859B (zh) 2020-04-13 2020-04-13 一种基于3D Unet的动态双示踪PET成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010285064.6A CN111476859B (zh) 2020-04-13 2020-04-13 一种基于3D Unet的动态双示踪PET成像方法

Publications (2)

Publication Number Publication Date
CN111476859A CN111476859A (zh) 2020-07-31
CN111476859B true CN111476859B (zh) 2022-09-16

Family

ID=71751934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010285064.6A Active CN111476859B (zh) 2020-04-13 2020-04-13 一种基于3D Unet的动态双示踪PET成像方法

Country Status (1)

Country Link
CN (1) CN111476859B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379863B (zh) * 2021-06-10 2022-06-07 浙江大学 基于深度学习的动态双示踪pet图像联合重建与分割方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295207A (zh) * 2013-05-30 2013-09-11 浙江大学 一种基于h无穷滤波的双示踪剂pet浓度的动态重建方法
CN107133997A (zh) * 2017-04-11 2017-09-05 浙江大学 一种基于深度神经网络的双示踪剂pet重建方法
WO2018129891A1 (zh) * 2017-01-16 2018-07-19 浙江大学 一种基于栈式自编码器的混合示踪剂动态pet浓度分布图像重建的方法
CN109009179A (zh) * 2018-08-02 2018-12-18 浙江大学 基于深度置信网络的相同同位素标记双示踪剂pet分离方法
CN109615674A (zh) * 2018-11-28 2019-04-12 浙江大学 基于混合损失函数3d cnn的动态双示踪pet重建方法
CN109993808A (zh) * 2019-03-15 2019-07-09 浙江大学 一种基于dsn的动态双示踪pet重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11234666B2 (en) * 2018-05-31 2022-02-01 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning to improve image quality in position emission tomography (PET)
US11175365B2 (en) * 2018-10-02 2021-11-16 General Electric Company System and method for sparse image reconstruction utilizing null data consistency

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295207A (zh) * 2013-05-30 2013-09-11 浙江大学 一种基于h无穷滤波的双示踪剂pet浓度的动态重建方法
WO2018129891A1 (zh) * 2017-01-16 2018-07-19 浙江大学 一种基于栈式自编码器的混合示踪剂动态pet浓度分布图像重建的方法
CN107133997A (zh) * 2017-04-11 2017-09-05 浙江大学 一种基于深度神经网络的双示踪剂pet重建方法
CN109009179A (zh) * 2018-08-02 2018-12-18 浙江大学 基于深度置信网络的相同同位素标记双示踪剂pet分离方法
CN109615674A (zh) * 2018-11-28 2019-04-12 浙江大学 基于混合损失函数3d cnn的动态双示踪pet重建方法
CN109993808A (zh) * 2019-03-15 2019-07-09 浙江大学 一种基于dsn的动态双示踪pet重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Deep reconstruction model for dynamic PET images;Jianan Cui;《Plos one》;20170921;全文 *
Super-resolution PET imaging using convolutional neural networks;Tzu-An Song等;《IEEE Transaction on computational Imaging》;20190609;全文 *
基于PCA方法的PET图像多示踪剂分离;王振友等;《广东工业大学学报》;20130615(第02期);第46-50页 *
多示踪剂成像技术在肿瘤诊断方面的应用研究;曾宝真等;《国际医学放射学杂志》;20150515(第03期);第57-60页 *

Also Published As

Publication number Publication date
CN111476859A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN108257134B (zh) 基于深度学习的鼻咽癌病灶自动分割方法和系统
US11398026B2 (en) Systems and methods for synthetic medical image generation
CN111627082B (zh) 基于滤波反投影算法和神经网络的pet图像重建方法
US11508101B2 (en) Dynamic dual-tracer PET reconstruction method based on hybrid-loss 3D convolutional neural networks
US11445992B2 (en) Deep-learning based separation method of a mixture of dual-tracer single-acquisition PET signals with equal half-lives
CN109993808B (zh) 一种基于dsn的动态双示踪pet重建方法
CN109598722B (zh) 基于递归神经网络的图像分析方法
CN112053412B (zh) 基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法
CN106204674B (zh) 基于结构字典和动力学参数字典联合稀疏约束的动态pet图像重建方法
WO2018129891A1 (zh) 一种基于栈式自编码器的混合示踪剂动态pet浓度分布图像重建的方法
Cui et al. Deep reconstruction model for dynamic PET images
CN105894550B (zh) 一种基于tv和稀疏约束的动态pet图像和示踪动力学参数同步重建方法
CN113160347B (zh) 一种基于注意力机制的低剂量双示踪剂pet重建方法
CN105678821A (zh) 一种基于自编码器图像融合的动态pet图像重建方法
Shao et al. A learned reconstruction network for SPECT imaging
CN108550172A (zh) 一种基于非局部特性和全变分联合约束的pet图像重建方法
CN107146263B (zh) 一种基于张量字典约束的动态pet图像重建方法
CN111476859B (zh) 一种基于3D Unet的动态双示踪PET成像方法
Wang et al. IGNFusion: an unsupervised information gate network for multimodal medical image fusion
CN113379863B (zh) 基于深度学习的动态双示踪pet图像联合重建与分割方法
CN115984401A (zh) 一种基于模型驱动深度学习的动态pet图像重建方法
CN113052840B (zh) 一种基于低信噪比pet图像的处理方法
Lian et al. Spatiotemporal attention constrained deep learning framework for dual-tracer PET imaging
CN114926559A (zh) 一种基于字典学习思想无衰减校正的pet重建方法
Bonet-Carne et al. Computational Diffusion MRI: International MICCAI Workshop, Granada, Spain, September 2018

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant