CN116912344A - 一种基于原始-对偶网络的列表模式tof-pet重建方法 - Google Patents
一种基于原始-对偶网络的列表模式tof-pet重建方法 Download PDFInfo
- Publication number
- CN116912344A CN116912344A CN202310811044.1A CN202310811044A CN116912344A CN 116912344 A CN116912344 A CN 116912344A CN 202310811044 A CN202310811044 A CN 202310811044A CN 116912344 A CN116912344 A CN 116912344A
- Authority
- CN
- China
- Prior art keywords
- list
- pet
- tof
- projection
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 239000011159 matrix material Substances 0.000 claims abstract description 50
- 238000004364 calculation method Methods 0.000 claims abstract description 25
- 238000013135 deep learning Methods 0.000 claims abstract description 19
- 230000001133 acceleration Effects 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims abstract description 3
- 238000001514 detection method Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 18
- 230000009977 dual effect Effects 0.000 claims description 17
- 239000013078 crystal Substances 0.000 claims description 16
- 238000003062 neural network model Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 239000013598 vector Substances 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 15
- 230000000694 effects Effects 0.000 abstract description 14
- 238000012636 positron electron tomography Methods 0.000 description 51
- 230000000875 corresponding effect Effects 0.000 description 20
- 210000004556 brain Anatomy 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 210000004885 white matter Anatomy 0.000 description 2
- 238000012879 PET imaging Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000004884 grey matter Anatomy 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012831 peritoneal equilibrium test Methods 0.000 description 1
- 238000012877 positron emission topography Methods 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Nuclear Medicine (AREA)
Abstract
本发明公开了一种基于原始‑对偶网络的列表模式TOF‑PET重建方法，解决了list‑mode数据在TOF‑PET条件下实时计算投影矩阵的问题，使用基于线性插值的投影矩阵计算方法，以GPU加速并行计算的方式，完成投影矩阵的实时计算；而后本发明提出了一种适用于list‑mode数据的深度学习框架，以前投影与反投影为基本要素，搭建了基于模型的深度学习流程。本发明基于深度学习的重建方法使得PET重建效果要优于传统基于模型的迭代重建算法，而从list‑mode数据出发则解决了sinogram数据在基于模型的深度学习框架中消耗大量显存的问题。
Description
技术领域
本发明属于PET成像技术领域，具体涉及一种基于原始-对偶网络的列表模式TOF-PET重建方法。
背景技术
正电子发射断层成像(Positron emission tomography，PET)是一种先进的医学成像技术，它能够获得人体组织内代谢、血流等活动的分布图，是检测和预防各类疾病的有效手段。PET通过探测正负电子在人体内发生湮灭反应时产生的一对方向相反能量为511keV的伽马光子，以此确定在哪一条相应线(Line of Response，LOR)上发生了湮灭反应。在探测到多次的湮灭反应后，通过特定的重建算法，将这些发生湮灭反应的LOR信息重建为活度图，而在PET重建的过程中加入飞行时间(Time-of-Flight，TOF)信息则更进一步，除了确定湮灭反应是在哪一条LOR上发生的以外，还尝试通过测量两个伽马光子到达探测器的时间差来大致确定湮灭反应发生在LOR的哪一个区间内。TOF-PET相对于传统的PET能够增强重建图像的质量，并提高疾病检测的准确率；随着探测器硬件的探测精度的提升，TOF的时间分辨率随之提高，TOF信息给PET重建所带来的优势也越加明显。
目前，用于TOF-PET重建的方法主要有最大似然期望最大化(MLEM)、最大后验(MAP)、原始对偶混合梯度(PDHG)等方法，这些基于模型的迭代算法公式化PET探测中符合的条件分布，通过不同的迭代方式，给出在统计意义上图像的极大似然作为重建结果，此类方法能够在统计意义上给出正确的重建结果。然而，这些基于迭代的算法具有计算效率低的缺点，且当应用于低计数探测的重建时，这些算法可能产生质量非常差的重建图像。目前，深度学习由于其高计算效率与数据驱动的特性成为图像重建领域中最常用的技术之一，有大量研究表明，基于模型的深度学习方法能够有效地重建出高质量地PET图像，且基于模型的理论给予了深度学习以一定的可解释性。然而目前鲜有基于模型的深度学习的方法应用于TOF-PET的重建之中，其主要原因在于应用于TOF-PET重建的基于模型的深度学习方法往往需要消耗极大量的显存。目前最先进的TOF-PET扫描仪扫描得到的正弦图(sinogram)数据大约占用17GB的内存空间，若将其对应到一张维度为128×128的活度图中，其所对应的完整投影矩阵大约需要占用大约272TB的显存空间，而投影矩阵是基于模型的深度学习方法中不可或缺的信息，这是非常难以接受的显存消耗。
与sinogram相对，列表模式(list-mode)是对于PET探测的一种更原始的存储方式，区别于sinogram需要将信息存储在一个固定大小的三维矩阵中，list-mode存储模式存储每一个符合事件的特定信息，包括两个接收探测器的位置、TOF时间、光子能量等等，每一个符合事件的特定信息存储为一行，则所有符合事件存储为一种列表模式。这种存储方式的优点在于，其中的每一条数据均代表了一次有效的符合事件，即其中没有无效的信息；而对于TOF-PET的sinogram，其矩阵会包含有大量的“空箱”，即会有大量的显存空间会被浪费掉。
而list-mode格式也存在一定的问题，在于其对应的投影矩阵会随探测得到的数据的不同而变化，则若需要在基于模型的深度学习框架中应用投影矩阵时，需要实时地计算投影矩阵。因此，如何快速正确地完成投影矩阵的计算并将其应用于基于模型的深度学习方法，是目前在TOF-PET领域中需要解决的问题。
发明内容
鉴于上述，本发明提供了一种基于原始-对偶网络的列表模式TOF-PET重建方法，首次实现了list-mode数据应用于基于模型的深度学习方法中，解决了list-mode在TOF-PET条件下实时计算投影矩阵的问题。
一种基于原始-对偶网络的列表模式TOF-PET重建方法，包括如下步骤：
(1)确定PET扫描仪的具体参数及配置信息；
(2)使用PET扫描仪对生物组织进行PET扫描，探测得到list-mode数据；
(3)根据步骤(2)获得大量样本，每组样本包括list-mode数据及其对应的PET图像标签，进而将所有样本划分为训练集、验证集和测试集；
(4)计算每组样本中list-mode数据对应的投影矩阵；
(5)构建基于多层级联的神经网络模型，其每一层由前投影模块、对偶模块、反投影模块、原始模块依次连接组成；
(6)利用训练集样本对上述神经网络模型进行训练学习，得到PET图像重建模型；
(7)将测试集样本输入至训练好的PET图像重建模型中，即可重建得到对应的PET图像。
进一步地，所述步骤(1)中确定PET扫描仪的具体参数及配置信息，包括探测器的环数、每个环上探测器模块的数量及位置、每个探测器模块上探测晶体的数量及位置、探测器符合时间分辨率、设置的TOF-bin个数及长度、重建图像的位置及大小。
进一步地，所述步骤(2)中探测得到list-mode数据的大小为J×5，J为一次探测得到的符合事件数，5代表list-mode数据中的每一条数据需保留的5个信息，前4个信息分别为两个接收到光子的探测器各自的径向晶体编号及轴向晶体编号，第5个信息为符合事件所在的TOF-bin序号。
进一步地，所述步骤(4)中计算list-mode数据对应投影矩阵的过程由CUDA并行计算完成，即以list-mode数据中的一条数据作为并行计算的一个线程，采用线性插值的方法通过以下公式计算出list-mode数据对应的投影矩阵P：
P[j][nW+m]＝∈j·ρ·Δs
P[j][(n+1)W+m]＝∈j·(1-ρ)·Δs
其中：投影矩阵P的大小为J×WH，W和H分别为PET图像的宽度和高度，J为一次探测得到的符合事件数，P[j][nW+m]为投影矩阵P中第j行第nW+m列的元素值，n和m分别为PET图像的行序号和列序号，∈j为PET图像像素对第j条数据对应TOF-bin的TOF权重，ρ为线性插值的参数，Δs为LOR在像素上截取的线段长度，j为自然数且1≤j≤J。
进一步地，所述神经网络模型每一层中的前投影模块用于将输入样本中list-mode数据对应的投影矩阵P与目标图像fk相乘得到输出结果然后将投影列表hk、/>和列表g拼接得到Hk输入至对偶模块，对偶模块采用全连接神经网络，将其输出结果与hk相加得到hk+1输入至反投影模块，反投影模块将投影矩阵的转置PT与hk+1相乘得到输出结果/>进而将/>与fk拼接得到Fk输入至原始模块，原始模块采用卷积神经网络，将其输出结果与fk相加得到目标图像fk+1作为下一层的输入；其中投影列表hk的大小为J×1，目标图像fk的大小为W×H，列表g的大小为J×1且元素值均为1，W和H分别为PET图像的宽度和高度，J为一次探测得到的符合事件数，下标k为自然数且表示层序号，初始化投影列表h0和目标图像f0的元素值均为0。
进一步地，所述步骤(6)中对神经网络模型进行训练学习的具体过程如下：
6.1初始化模型参数，包括每一层的偏置向量和权值矩阵、学习率以及优化器；
6.2将训练集样本中list-mode数据对应的投影矩阵输入至模型，模型正向传播输出得到对应的PET图像重建结果，计算该重建结果与PET图像标签之间的损失函数；
6.3根据损失函数利用优化器通过梯度下降法对模型参数不断迭代更新，直至损失函数收敛，训练完成。
进一步地，在完成训练后，利用验证集样本对模型进行验证，将在验证集上表现最好的模型作为最终的PET图像重建模型。
本发明首先解决了list-mode数据在TOF-PET条件下实时计算投影矩阵的问题，使用基于线性插值的投影矩阵计算方法，以GPU加速并行计算的方式，完成投影矩阵的实时计算；而后本发明提出了一种适用于list-mode数据的深度学习框架，以前投影与反投影为基本要素，搭建了基于模型的深度学习流程。本发明基于深度学习的重建方法使得PET重建效果要优于传统基于模型的迭代重建算法，而从list-mode数据出发则解决了sinogram数据在基于模型的深度学习框架中消耗大量显存的问题。
附图说明
图1(a)为Zubal大脑模板第19张切片示意图。
图1(b)为Zubal大脑模板第35张切片示意图。
图1(c)为Zubal大脑模板第38张切片示意图。
图2为本发明PET图像重建模型的结构示意图。
图3为本发明重建结果与四种传统算法重建结果的对比示意图，四种传统算法为OSEM、OSEM+TV、SPDHG、SPDHG+TV。
具体实施方式
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
本发明基于原始-对偶网络的列表模式TOF-PET重建方法，包括如下步骤：
(1)确定PET扫描仪的具体信息，包括探测器的环数、每个环上探测器模块的数量与位置、每个模块上探测晶体的数量与位置、探测器符合时间分辨率、设置的TOF-bin个数与长度、重建图像位置与大小等。
(2)使用PET扫描仪进行PET扫描，得到探测所得的list-mode数据。每一个符合事件须保留5个信息，前4个信息分别为两个接收到光子探测器各自的径向晶体编号与轴向晶体编号，第5个信息为符合事件所在的TOF-bin序号。数据的大小为其中J为一次探测得到的符合事件数。
(3)通过步骤(2)获得大量样本，每组样本包括一组list-mode数据样本和与其对应的PET图像标签。
(4)实时计算一组list-mode数据对应的投影矩阵W和H分别代表图像的宽度与高度。
一个TOF-bin的前投影结果是其对应的LOR线上活度图的加权积分结果，如下式所示：
h(j)＝∫LOR∈j·f(x，y)ds
其中：∈j代表TOF权重，f(·)代表活度图分布，x∈[1，W]，y∈[1，H]代表图像坐标，j∈[1，J]代表TOF-bin的编号。
TOF权重由下式计算得到：
其中：dTOF代表图像像素中点与TOF-bin中点的距离，wTOF代表TOF-bin的宽度，σTOF代表TOF满足的高斯分布中的标准差，与PET探测器的符合时间分辨率相关。
各个像素对TOF-bin的贡献存在随着位置的线性变化，则线积分的结果可以表达为线段长度与线段中点活度值的乘积，而中点活度值可以通过相邻两像素间的线性插值得到，则：
f(xm，ymid)＝ρ·f(xm，yn)+(1-ρ)·f(xm，yn+1)
其中：Δs是LOR在像素内截取的线段长度，ρ代表线段中点到下方像素中心点距离与上下两像素中心点距离之比，xm代表编号为m的像素列对应的横坐标，yn代表编号为n的像素行对应的纵坐标。
考虑到第j个TOF-bin的投影过程也可以由投影矩阵中的第j行Pj与列向量化的图像f相乘得到，可以整理为下式：
其中：i代表图像像素的编号，并存在着i＝n×W+m，I＝H×W的关系；在等式两边约去图像f，则投影矩阵P中元素值的计算结果为：
P[j][nW+m]＝∈j·ρ·Δs
P[j][(n+1)W+m]＝∈j·(1-ρ)·Δs
(5)构建由多层相同的模块组成的神经网络模型，每一层的输入为上一层的输出，包括投影列表与目标图像/>其中h0与f0初始化为以0填充的列表与图像。每一层模块由四个部分组成：前投影模块、对偶模块、反投影模块、原始模块，其计算流程如下：
前投影模块：输入图像fk进入前投影模块。前投影模块使用计算得到的投影矩阵P与输入fk相乘得到输出结果
对偶模块：将hk、以及一列长度相等且值均为1的列表g拼接，得到/> 输入到对偶网络中；对偶网络为一个具有3个输入特征，1个输出特征的全连接神经网络，输出结果与hk相加，得到hk+1。
反投影模块：将hk+1输入至反投影模块，反投影使用投影矩阵的转置PT与输入hk+1相乘得到输出结果
原始模块：将fk与拼接，得到/>输入到原始模块中；原始模块为一个输入通道数为2，输出通道数为1的卷积神经网络，输出结果与fk相加，得到输出结果fk+1。
经过多层模块后，最终的输出fK即为整个神经网络模型的输出。
(6)以步骤(3)中得到的成对样本输入至神经网络模型中进行训练，得到训练好的模型即可以完成从list-mode数据出发的TOF-PET重建任务。
实施例
本实施例中我们使用模拟的方式来得到所需的list-mode数据，我们使用Zubal大脑模板作为模拟数据的起点，Zubal大脑模板包含40张维度为128*128的图像，图1(a)、图1(b)、图1(c)分别代表Zubal大脑模板的第19、35、38张图像。在体模中随机加入一些区域以模拟肿瘤组织，具体地，在大脑白质区域内随机插入1～2个半径为2mm-4mm之间的球形区域，生成12组具有不同肿瘤分布的体模，采用基于动力学参数的房室模型模拟示踪剂在大脑模板内的活度分布，得到共480张活度图。
确定PET扫描仪的具体信息，包括探测器的环数、每个环上探测器模块的数量与位置、每个模块上探测晶体的数量与位置、探测器符合时间分辨率、设置的TOF-bin个数与长度、重建图像位置与大小等。本实施例中，所有模拟均基于Philips Vereos临床PET/CT系统，且由于我们进行的是二维PET重建，可以将PET探测器简化为单环探测器；设置探测器为单环探测器，环上有28个探测器模块，每个探测器模块均为单列，每列由16个晶体组成，每个晶体的径向宽度设置为4mm，整个探测器环内径为650mm，探测器的符合时间分辨率设置为400ps，每一条LOR上TOF-bin的个数设置为17个，TOF-bin的宽度设置为15mm，每个图像像素的大小设置为2mm*2mm，则整体图像大小为256mm*256mm。
使用480张活度图与上述PET扫描仪信息设置来生成模拟数据：对于每一张活度图数据，首先进行前投影计算得到sinogram数据，设置最大计数为3×105，将sinogram矩阵内所有值之和放缩到最大计数；由于投影过程满足泊松分布，对sinogram进行泊松随机，而后在sinogram中加入占总值15％的噪声信息用于模拟散射符合与随机符合。随后，将sinogram矩阵中所有值变为无符号整型变量，以sinogram中每个TOF-bin中的整数值为此TOF-bin接收到的符合事件的数量，生成list-mode数据，得到的数据大小为其中n代表符合事件数，其大小不超过最大计数，5个信息分别为：接收到事件的第一个晶体的径向编号、第一个晶体的轴向编号、第二个晶体的径向编号、第二个晶体的轴向编号、发生符合事件的TOF-bin编号；最终，共计得到480组list-mode与活度图成对的数据。
值得注意的是，这里使用到sinogram数据格式，其目的是为了使得模拟的过程更为精确与合理；在后续的计算与神经网络训练过程中，此sinogram数据都是不被需要的，这也与实际探测得到的真实数据所需要的计算过程并不相悖。
得到模拟数据后，即可进入神经网络的训练过程，将400组数据作为训练集数据，40组数据作为验证集数据，40组数据作为测试集数据。完整的神经网络模型如图2所示，其结构是由8个相同的层级联而成的，其中每一个层都由四个模块构成，分别为前投影模块、对偶模块、反投影模块、原始模块。整体结构的输入为与/>两个输入均被初始化为0填充，整体结构的输出为f8，即为最终的重建结果，其中每一层的输入为hk和fk，输出为hk+1和fk+1。
前投影模块：对于每一组list-mode数据，我们需要实时地计算其对应的投影矩阵，以完成网络结构中的前投影与反投影操作，这个过程通过英伟达的CUDA计算平台进行并行计算。具体地，本实施例以一个list-mode数据中对应的一次符合事件为一个计算线程，在并行计算的条件下使用投影算法对每一个符合事件对应TOF-bin的投影矩阵进行计算，具体可以描述为以下计算程序：
在计算得到投影矩阵P后，使用P与输入图像fk相乘，得到输入对偶模块。
对偶模块：将hk、以及一列长度相等且值均为1的列表g拼接，得到/> 输入到对偶网络中，对偶网络为一个具有3个输入特征，1个输出特征的全连接神经网络，其具有两层隐藏层，每个隐藏层有32个权重参数与1个偏置参数，使用PReLU作为激活函数，输出结果与hk相加，得到hk+1，输入至反投影模块。
反投影模块：使用投影矩阵的转置矩阵PT与输入的hk+1相乘，得到反投影结果输入至原始模块。
原始模块：将fk与拼接，得到/>输入到原始网络中，这个输入是一个具有两个通道的图像矩阵，其大小是固定不变的，故而使用卷积神经网络来学习图像见的关系。具体地，本实施例使用了具有四个隐藏层的卷积神经网络，每层的卷积核的大小为3×3、步长为1、补零行为1，以此保证输入与输出的图像维度相同；前三层的输出通道数为64，第四层的输出通道数为1，同样地使用PReLU作为激活函数。
为了验证本发明方法的有效性，我们对比了本发明方法与四种传统重建算法在重建质量上的优劣，四种传统算法分别为有序子集期望最大化(OSEM)算法与随机原始对偶混合梯度(SPDHG)算法，以及分别加入全变分(TV)正则化项约束的这两种算法。
图3展示了第一个对比实验结果，这里选取了第9、20、35、38个切片进行展示，可见本发明方法在灰质精细结构的恢复、白质均匀性的恢复、重建肿瘤的形态与对比度等方面均优于四种传统方法。表1展示了几种方法在峰值信噪比(PSNR)与结构相似性(SSIM)上的定量对比。
表1
| 方法 | PSNR | SSIM |
| OSEM | 18.08±1.27 | 0.847±0.031 |
| OSEM+TV | 18.64±1.23 | 0.853±0.029 |
| SPDHG | 18.86±0.91 | 0.862±0.028 |
| SPDHG+TV | 18.95±0.78 | 0.863±0.026 |
| 本发明 | 23.47±0.49 | 0.944±0.005 |
从表1可以看出，本发明方法比四种传统算法的PSNR分别提高了29.8％、25.9％、24.6％、23.9％，SSIM分别提高了11.2％、10.6％、9.5％、9.3％，因此可以看出本发明方法相较于几种传统算法的优越性。由以上实验结果可以看出，本发明基于原始-对偶网络的列表模式TOF-PET重建相较于传统算法有效地提高了重建质量。
此外，我们对比了本发明list-mode重建方法相较于sinogram格式使用相同方法在显存占用以及投影时间消耗上的对比。表2展示了两种格式在本发明方法上的显存占用、前投影耗时、反投影耗时以及计算投影矩阵耗时的对比。
表2
| sinogram | list-mode | |
| 显存占用 | ～87GB | ～20GB |
| 前投影耗时 | 364ms | 256ms |
| 反投影耗时 | 405ms | 246ms |
| 计算投影矩阵耗时 | / | 157ms |
可见，与使用sinogram数据相比，使用list-mode所需的显存仅有22％，对于前投影与反投影的耗时，使用list-mode数据降低了约30％～40％。由于需要实时计算投影矩阵，本发明基于list-mode数据的方法在每组新数据输入神经网络时都要多消耗一部分时间，而在并行计算加速情况下，这种耗时的时间很小，是完全可以接受的。
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明，熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。
Claims (8)
1.一种基于原始-对偶网络的列表模式TOF-PET重建方法，包括如下步骤：
(1)确定PET扫描仪的具体参数及配置信息；
(2)使用PET扫描仪对生物组织进行PET扫描，探测得到list-mode数据；
(3)根据步骤(2)获得大量样本，每组样本包括list-mode数据及其对应的PET图像标签，进而将所有样本划分为训练集、验证集和测试集；
(4)计算每组样本中list-mode数据对应的投影矩阵；
(5)构建基于多层级联的神经网络模型，其每一层由前投影模块、对偶模块、反投影模块、原始模块依次连接组成；
(6)利用训练集样本对上述神经网络模型进行训练学习，得到PET图像重建模型；
(7)将测试集样本输入至训练好的PET图像重建模型中，即可重建得到对应的PET图像。
2.根据权利要求1所述的列表模式TOF-PET重建方法，其特征在于：所述步骤(1)中确定PET扫描仪的具体参数及配置信息，包括探测器的环数、每个环上探测器模块的数量及位置、每个探测器模块上探测晶体的数量及位置、探测器符合时间分辨率、设置的TOF-bin个数及长度、重建图像的位置及大小。
3.根据权利要求1所述的列表模式TOF-PET重建方法，其特征在于：所述步骤(2)中探测得到list-mode数据的大小为J×5，J为一次探测得到的符合事件数，5代表list-mode数据中的每一条数据需保留的5个信息，前4个信息分别为两个接收到光子的探测器各自的径向晶体编号及轴向晶体编号，第5个信息为符合事件所在的TOF-bin序号。
4.根据权利要求1所述的列表模式TOF-PET重建方法，其特征在于：所述步骤(4)中计算list-mode数据对应投影矩阵的过程由CUDA并行计算完成，即以list-mode数据中的一条数据作为并行计算的一个线程，采用线性插值的方法通过以下公式计算出list-mode数据对应的投影矩阵P：
P[j][nW+m]＝∈j·ρ·Δs
P[j][(n+1)W+m]＝∈j·(1-ρ)·Δs
其中：投影矩阵P的大小为J×WH，W和H分别为PET图像的宽度和高度，J为一次探测得到的符合事件数，P[j][nW+m]为投影矩阵P中第j行第nW+m列的元素值，n和m分别为PET图像的行序号和列序号，∈j为PET图像像素对第j条数据对应TOF-bin的TOF权重，ρ为线性插值的参数，Δs为LOR在像素上截取的线段长度，j为自然数且1≤j≤J。
5.根据权利要求1所述的列表模式TOF-PET重建方法，其特征在于：所述神经网络模型每一层中的前投影模块用于将输入样本中list-mode数据对应的投影矩阵P与目标图像fk相乘得到输出结果然后将投影列表hk、/>和列表g拼接得到Hk输入至对偶模块，对偶模块采用全连接神经网络，将其输出结果与hk相加得到hk+1输入至反投影模块，反投影模块将投影矩阵的转置PT与hk+1相乘得到输出结果/>进而将/>与fk拼接得到Fk输入至原始模块，原始模块采用卷积神经网络，将其输出结果与fk相加得到目标图像fk+1作为下一层的输入；其中投影列表hk的大小为J×1，目标图像fk的大小为W×H，列表g的大小为J×1且元素值均为1，W和H分别为PET图像的宽度和高度，J为一次探测得到的符合事件数，下标k为自然数且表示层序号，初始化投影列表h0和目标图像f0的元素值均为0。
6.根据权利要求1所述的列表模式TOF-PET重建方法，其特征在于：所述步骤(6)中对神经网络模型进行训练学习的具体过程如下：
6.1初始化模型参数，包括每一层的偏置向量和权值矩阵、学习率以及优化器；
6.2将训练集样本中list-mode数据对应的投影矩阵输入至模型，模型正向传播输出得到对应的PET图像重建结果，计算该重建结果与PET图像标签之间的损失函数；
6.3根据损失函数利用优化器通过梯度下降法对模型参数不断迭代更新，直至损失函数收敛，训练完成。
7.根据权利要求6所述的列表模式TOF-PET重建方法，其特征在于：在完成训练后，利用验证集样本对模型进行验证，将在验证集上表现最好的模型作为最终的PET图像重建模型。
8.根据权利要求1所述的列表模式TOF-PET重建方法，其特征在于：该重建方法首先解决了list-mode数据在TOF-PET条件下实时计算投影矩阵的问题，使用基于线性插值的投影矩阵计算方法，以GPU加速并行计算的方式，完成投影矩阵的实时计算；而后提出了一种适用于list-mode数据的深度学习框架，以前投影与反投影为基本要素，搭建了基于模型的深度学习流程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310811044.1A CN116912344A (zh) | 2023-07-04 | 2023-07-04 | 一种基于原始-对偶网络的列表模式tof-pet重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310811044.1A CN116912344A (zh) | 2023-07-04 | 2023-07-04 | 一种基于原始-对偶网络的列表模式tof-pet重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116912344A true CN116912344A (zh) | 2023-10-20 |
Family
ID=88362100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310811044.1A Pending CN116912344A (zh) | 2023-07-04 | 2023-07-04 | 一种基于原始-对偶网络的列表模式tof-pet重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116912344A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117456038A (zh) * | 2023-12-22 | 2024-01-26 | 合肥吉麦智能装备有限公司 | 一种基于低秩约束的能谱ct迭代展开重建系统 |
-
2023
- 2023-07-04 CN CN202310811044.1A patent/CN116912344A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117456038A (zh) * | 2023-12-22 | 2024-01-26 | 合肥吉麦智能装备有限公司 | 一种基于低秩约束的能谱ct迭代展开重建系统 |
| CN117456038B (zh) * | 2023-12-22 | 2024-03-22 | 合肥吉麦智能装备有限公司 | 一种基于低秩约束的能谱ct迭代展开重建系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Häggström et al. | DeepPET: A deep encoder–decoder network for directly solving the PET image reconstruction inverse problem | |
| CN112053412B (zh) | 基于教师-学生生成器的低剂量Sinogram去噪与PET图像重建方法 | |
| Reader et al. | Advances in PET image reconstruction | |
| EP1938276B1 (en) | Distributed iterative image reconstruction | |
| CN104657950B (zh) | 一种基于Poisson TV的动态PET图像重建方法 | |
| CN105894550B (zh) | 一种基于tv和稀疏约束的动态pet图像和示踪动力学参数同步重建方法 | |
| CN105678821B (zh) | 一种基于自编码器图像融合的动态pet图像重建方法 | |
| CN109993808B (zh) | 一种基于dsn的动态双示踪pet重建方法 | |
| CN108550172B (zh) | 一种基于非局部特性和全变分联合约束的pet图像重建方法 | |
| Kösters et al. | EMRECON: An expectation maximization based image reconstruction framework for emission tomography data | |
| Pratx et al. | Fast list-mode reconstruction for time-of-flight PET using graphics hardware | |
| CN109636869A (zh) | 基于非局部全变分和低秩约束的动态pet图像重建方法 | |
| CN116912344A (zh) | 一种基于原始-对偶网络的列表模式tof-pet重建方法 | |
| CN110811667B (zh) | 一种基于gpu加速的高精度pet重建方法及装置 | |
| CN107146263B (zh) | 一种基于张量字典约束的动态pet图像重建方法 | |
| CN109498048A (zh) | 一种加速正电子图像重建的系统矩阵生成与处理方法 | |
| CN110717951B (zh) | 一种基于cGANs的PET图像直接重建方法 | |
| CN117036162B (zh) | 轻量级胸部ct图像超分辨率的残差特征注意力融合方法 | |
| Whiteley et al. | FastPET: Near real-time PET reconstruction from histo-images using a neural network | |
| Cheng et al. | Super-resolution reconstruction for parallel-beam SPECT based on deep learning and transfer learning: a preliminary simulation study | |
| CN109785401B (zh) | 一种用于pet图像的快速重建方法 | |
| Sra et al. | Non-monotonic poisson likelihood maximization | |
| Li et al. | LMPDNet: TOF-PET list-mode image reconstruction using model-based deep learning method | |
| Guo et al. | A fast convergent ordered-subsets algorithm with subiteration-dependent preconditioners for PET image reconstruction | |
| CN110269638A (zh) | 图像重建方法、系统、可读存储介质和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |