CN112734871A - 基于admm和深度学习的低剂量pet图像重建算法 - Google Patents
基于admm和深度学习的低剂量pet图像重建算法 Download PDFInfo
- Publication number
- CN112734871A CN112734871A CN202011585184.4A CN202011585184A CN112734871A CN 112734871 A CN112734871 A CN 112734871A CN 202011585184 A CN202011585184 A CN 202011585184A CN 112734871 A CN112734871 A CN 112734871A
- Authority
- CN
- China
- Prior art keywords
- reconstruction
- dose
- admm
- low
- pet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/17—Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于ADMM和深度学习的低剂量PET图像重建算法,将极大似然重建模型利用ADMM化解为三个子问题:重建层、去噪层和乘子层,嵌套迭代重建的框架,利用深度学习思想来优化重建低剂量PET投影数据。其中重建层使用传统的EM重建内核,去噪层使用残差卷积神经网络表示,将神经网络嵌入传统的迭代重建框架中,将重建和训练同时实现,获得高质量的低剂量重建图像。本发明实现了将传统重建和神经网络的成功结合,解决了神经网络端对端的学习缺失重建内核以及传统迭代速度较慢的问题。
Description
技术领域
本发明属于生物医学图像分析技术领域,具体涉及一种基于ADMM和深度学习的低剂量PET图像重建算法。
背景技术
正电子发射断层扫描(Positron Emission Tomography,PET)是一种广泛应用于临床的在体分子水平成像技术,尤其是在癌症的筛查过程中发挥重要作用;PET可以灵敏地测量放射性示踪剂在人体的分布,并通过不同的方法将这种分布重建出来。近些年来,很多研究关注于由放射性示踪剂带来的辐射问题,因此低剂量的PET重建受到重视。然而,低剂量PET重建面临的问题是由于数据量的减少带来的图像质量降低,即就是图像信噪比(Signal-to-Noise Ratio,SNR)的下降。为了权衡扫描剂量和图像质量得关系,许多技术被提出,比如增强仪器灵敏度、加入飞跃时间信息(Time-of-flight,TOF)、图像去噪、深度学习等。
在一般的基于模型重建的算法中,PET重建问题被简化为一个带有正则项的优化问题,比如加权最小二乘。近些年来,一种结合全变分(Total Variation,TV)的优化问题被广泛应用于低剂量PET重建,除了基于模型的重建方法,图像去噪是一种比较直接的方法,其中包括3D块匹配(Black-Matching 3D,BM3D)、非局部平均滤波(Non-local Means,NLM)以及HYPR处理技术等。随着深度学习的广泛应用,医学图像领域也不例外;最近,一种基于卷积神经网络(Convolutional Neural Networks,CNNs)的低剂量CT重建算法被提出,能够实现高质量的图像输出;此外,一种编码-解码的残差神经网络被用来重建低剂量的PET投影数据,结果显示出与标准剂量重建具有可比性的图像质量。最近,越来越多关于结合传统算法和深度学习的研究备受关注,有学者提出一种迭代的基于CNNS的低剂量重建算法,实现了CNNs和传统的极大似然重建的结合,也极大提高了图像的信噪比。
综合上述的成像算法,基于模型的重建,选取合适的先验条件是十分重要且困难的。文献[Wang C,Hu Z,Shi P,Liu H.Low dose PET reconstruction with totalvariation regularization.2014 36th Annu Int Conf IEEE Eng Med Biol Soc EMBC2014.2014:1917-1920.doi:10.1109/EMBC.2014.6943986]通过将低剂量PET重建建模成一个凸优化加全变分的问题,很好地保留了图像的边缘信息,但是存在过平滑和重建时间久的问题。文献[Xu J,Gong E,Pauly J,Zaharchuk G.200x Low-dose PET Reconstructionusing Deep Learning.2017.http://arxiv.org/abs/1712.04119.]提出一种基于编码-解码的残差CNNs的方法实现超低剂量到标准剂量图像的恢复。
在这些基于深度学习端对端训练的过程中,训练数据往往被处理成具有一致噪声水平的图像,但是在实际的PET扫描中,即使剂量相同,最终数据的噪声水平也是因人而异;而且在传统的迭代重建中,每一次迭代的输入图像的噪声水平也是改变的。因此,这给基于CNNs深度学习中训练数据的选取带来挑战;总而言之,开发一种收敛速度快,并且结合PET数据具有泊松分布特性的重建内核优化算法迫在眉睫。
发明内容
鉴于上述,本发明提出了一种基于ADMM和深度学习的低剂量PET图像重建算法,将极大似然重建模型利用ADMM(Alternating Direction Method of Multipliers,交替方向乘子算法)化解为三个子问题,嵌套迭代重建的框架,利用深度学习思想来优化重建低剂量PET投影数据。
一种基于ADMM和深度学习的低剂量PET图像重建算法,包括如下步骤:
(1)在一次PET扫描过程中获得全剂量的sinogram投影数据,根据PET数据采集符合泊松分布的特点,对全剂量的sinogram投影数据进行泊松降采样获得不同采样率的低剂量sinogram投影数据;
(2)根据PET成像原理以及PET数据采集中泊松噪声分布的特征,建立PET图像重建的目标函数如下:
其中:x为待估计的PET浓度分布图像,y为sinogram投影数据,L(y|x)为y的负极大似然函数,R(x)为关于x的正则项函数,λ为正则项约束系数;
(3)对上述目标函数进行求解,即采用ADMM算法将该优化问题化解为以下三个子问题进行求解,从而计算重建得到PET浓度分布图像x;
其中:ρ为惩罚项系数,z为中间变量,u为拉格朗日变量,||||2为L2范数。
进一步地,所述负极大似然函数L(y|x)的表达式如下:
L(y|x)=Ax-yTlog(Ax)
其中:A为系统矩阵,T表示转置。
进一步地,所述步骤(3)中对PET浓度分布图像x进行重建的过程,即是将EM(Expectation Maximum)迭代重建和深度神经网络结合起来,将优化问题通过ADMM算法化解为三个子问题:重建子问题、去噪子问题和乘子问题,利用ADMM算法收敛速度快的特点,加快PET图像重建速度。
进一步地,所述步骤(3)中利用EM迭代算法求解子问题①,利用DnCNN(残差神经网络)来表示子问题②并采用梯度下降法对其进行求解,将DnCNN嵌套在PET的EM迭代重建问题中即组成了最终的网络结构ADMM-Net,进而对该ADMM-Net进行训练,训练完成后即可得到用于低剂量投影数据输入的PET图像重建模型。
进一步地,对ADMM-Net进行训练的具体过程为:首先初始化ADMM-Net的网络参数,对全剂量的sinogram投影数据进行MLEM(Maximum Likelihood-ExpectationMaximization,最大似然期望最大)重建,所得到的结果作为ADMM-Net的标签数据,进而将不同采样率的低剂量sinogram投影数据逐一输入至ADMM-Net中,计算前向传播获得的网络输出结果与标签数据之间的误差损失函数L,根据损失函数L的偏导数通过Adam(Adaptivemoment estimation)算法反向传播更新网络参数,依此反复执行直至损失函数L收敛即训练完成。
进一步地,所述损失函数的表达式如下:
其中:为第i组低剂量sinogram投影数据输入ADMM-Net中对应得到的输出结果,为第i组低剂量sinogram投影数据对应的全剂量sinogram投影数据通过MLEM重建得到的标签数据,||||2为L2范数,N为低剂量sinogram投影数据的数量。
进一步地,所述ADMM-Net网络结构可适用于不同采样率进行降采样之后的sinogram投影数据,在使用一种采样率的sinogram投影数据训练之后,该网络结构也可适用于其他采样率的sinogram投影数据。
本发明利用ADMM算法将卷积神经网络嵌套进一个迭代的EM重建框架中,使得重建和网络训练能够同时进行,适用于低剂量的PET重建。本发明采用的ADMM算法将基于极大似然重建模型分解为三个子问题:重建子问题、去噪子问题和乘子更新子问题;在去噪子问题中,本发明利用残差卷积神经网络实现强大的去噪能力;低剂量的PET投影数据输入,使得网络可得到与标准剂量重建的图像质量可比的图像,并且具有更高的重建速度。
附图说明
图1为本发明低剂量PET图像重建算法的流程示意图。
图2为本发明ADMM-Net的网络结构示意图。
图3为不同算法对于18F-FDG的重建结果对比示意图,从左到右依次对应为FBP、MLEM、TV、NLM、ADMM-Net以及真值标签。
具体实施方式
为了更为具体地描述本发明,下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
本发明结合传统的EM迭代算法和深度学习思想的低剂量PET重建算法,整体实施流程如图1所示,具体包括如下步骤:
(1)数据降采样。由于PET数据采集符合泊松分布,因此本实施方式使用泊松降采样对标准剂量的投影数据做不同倍数的降采样处理。
(2)ADMM算子分解子问题,确定神经网络的结构如图2所示。
根据PET成像原理,测量数据与待估计数据之间关系满足下式:
y=Ax+s+r
其中:A为系统矩阵,x是未知的示踪剂浓度分布图,r为采集过程中的随机符合事件,s为散射事件,本实施方式忽略随机和散射事件的影响。
假设测量数据y符合泊松分布,其负极大似然表述如下:
这样重建问题就可以简化为一个优化问题如下:
s.t.z=x
ADMM解析如下:
其中:x代表重建层,z代表去噪层,用残差神经网络替代,u代表乘子层;将这三层结构组合成一个迭代重建框架,形成ADMM-Net。
(3)数据准备。
在训练数据准备过程中,标准剂量的投影数据通过30次的MLEM迭代重建出的PET图像作为标签数据;低剂量投影和标准剂量重建图数据对分别作为网络的输入和标签,训练前数据均进行归一化处理。
(4)网络训练。
初始化ADMM-Net参数,包括重建子问题、去噪子问题和乘子子问题;将训练集中泊松降采样后的sinogram输入ADMM-Net,前向传播获得网络的输出重建图像,计算ADMM-Net的输出和标签之间的归一化均方根误差作为损失函数:
(5)估计阶段。
将不同采样率的投影数据归一化之后直接输入预训练好的ADMM-Net中,输出得到重建PET图像。
本实施例在一台系统是Ubuntu 18.04LTS的服务器上运行,内存128G,深度学习框架为Pytorch,实验使用的数据来自于一台西门子高分辨率研究用PET扫描仪(High-Resolution Research Tomography,HRRT)的动态扫描。针对得到的投影数据,首先使用SSRB(Single Slice Rebinning)将投影数据处理为256*288*100的投影数组,接着使用泊松降采样,采样率分别为5x、10x、15x和20x。
图3比较了本发明和传统重建方法获得的10x低剂量重建图像,行代表不同的切面,列代表不同的方法,从左到右依次为:FBP、MLEM、TV、NLM、ADMM-Net和标签数据。从图3中可以看到,FBP结果带有严重的辐条状伪影,这是由投影和反投影带来的;MLEM图像结果中,虽然伪影改善,但是由于数据量少,图像的信噪比同样很低;在经过TV和NLM约束的重建后,相比于FBP和MLEM,图像质量得到提升,但是NLM存在过平滑的问题,而本发明ADMM-Net得到的结果比较接近标准剂量的标签数据。
表1提供了不同的方法重建不同采样率的投影数据的量化比较。总体来讲,本发明ADMM-Net得到最小的均方误差,虽然速度相比于FBP而言较小,但是综合图像质量和重建时间,ADMM-Net实现最优的成像结果。
表1
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施做出各种修改,并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此,本发明不限于上述实施例,本领域技术人员根据本发明的揭示,对于本发明做出的改进和修改都应该在本发明的保护范围之内。
Claims (8)
1.一种基于ADMM和深度学习的低剂量PET图像重建算法,包括如下步骤:
(1)在一次PET扫描过程中获得全剂量的sinogram投影数据,根据PET数据采集符合泊松分布的特点,对全剂量的sinogram投影数据进行泊松降采样获得不同采样率的低剂量sinogram投影数据;
(2)根据PET成像原理以及PET数据采集中泊松噪声分布的特征,建立PET图像重建的目标函数如下:
其中:x为待估计的PET浓度分布图像,y为sinogram投影数据,L(y|x)为y的负极大似然函数,R(x)为关于x的正则项函数,λ为正则项约束系数;
(3)对上述目标函数进行求解,即采用ADMM算法将该优化问题化解为以下三个子问题进行求解,从而计算重建得到PET浓度分布图像x;
其中:ρ为惩罚项系数,z为中间变量,u为拉格朗日变量,|| ||2为L2范数。
2.根据权利要求1所述的低剂量PET图像重建算法,其特征在于:所述负极大似然函数L(y|x)的表达式如下:
L(y|x)=Ax-yTlog(Ax)
其中:A为系统矩阵,T表示转置。
3.根据权利要求1所述的低剂量PET图像重建算法,其特征在于:所述步骤(3)中对PET浓度分布图像x进行重建的过程,即是将EM迭代重建和深度神经网络结合起来,将优化问题通过ADMM算法化解为三个子问题:重建子问题、去噪子问题和乘子问题,利用ADMM算法收敛速度快的特点,加快PET图像重建速度。
4.根据权利要求1所述的低剂量PET图像重建算法,其特征在于:所述步骤(3)中利用EM迭代算法求解子问题①,利用DnCNN来表示子问题②并采用梯度下降法对其进行求解,将DnCNN嵌套在PET的EM迭代重建问题中即组成了最终的网络结构ADMM-Net,进而对该ADMM-Net进行训练,训练完成后即可得到用于低剂量投影数据输入的PET图像重建模型。
5.根据权利要求4所述的低剂量PET图像重建算法,其特征在于:对ADMM-Net进行训练的具体过程为:首先初始化ADMM-Net的网络参数,对全剂量的sinogram投影数据进行MLEM重建,所得到的结果作为ADMM-Net的标签数据,进而将不同采样率的低剂量sinogram投影数据逐一输入至ADMM-Net中,计算前向传播获得的网络输出结果与标签数据之间的误差损失函数L,根据损失函数L的偏导数通过Adam算法反向传播更新网络参数,依此反复执行直至损失函数L收敛即训练完成。
7.根据权利要求4所述的低剂量PET图像重建算法,其特征在于:所述ADMM-Net网络结构可适用于不同采样率进行降采样之后的sinogram投影数据,在使用一种采样率的sinogram投影数据训练之后,该网络结构也可适用于其他采样率的sinogram投影数据。
8.根据权利要求1所述的低剂量PET图像重建算法,其特征在于:该重建算法利用ADMM算法将卷积神经网络嵌套进一个迭代的EM重建框架中,使得重建和网络训练能够同时进行,适用于低剂量的PET重建;同时所采用的ADMM算法将基于极大似然重建模型分解为三个子问题:重建子问题、去噪子问题和乘子更新子问题;在去噪子问题中,利用残差卷积神经网络实现强大的去噪能力;低剂量的PET投影数据输入,使得网络可得到与标准剂量重建的图像质量可比的图像,并且具有更高的重建速度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011585184.4A CN112734871A (zh) | 2020-12-25 | 2020-12-25 | 基于admm和深度学习的低剂量pet图像重建算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011585184.4A CN112734871A (zh) | 2020-12-25 | 2020-12-25 | 基于admm和深度学习的低剂量pet图像重建算法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112734871A true CN112734871A (zh) | 2021-04-30 |
Family
ID=75606993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011585184.4A Pending CN112734871A (zh) | 2020-12-25 | 2020-12-25 | 基于admm和深度学习的低剂量pet图像重建算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112734871A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113288189A (zh) * | 2021-05-19 | 2021-08-24 | 浙江大学 | 一种基于ADMM-Net的PET时间校正方法 |
CN114758031A (zh) * | 2022-06-15 | 2022-07-15 | 之江实验室 | 电容耦合电阻抗层析成像图像重建方法和装置 |
CN116312983A (zh) * | 2023-03-21 | 2023-06-23 | 西安交通大学 | 基于噪声生成机制的隐正则化低剂量ct图像重建方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111627082A (zh) * | 2020-05-21 | 2020-09-04 | 浙江大学 | 基于滤波反投影算法和神经网络的pet图像重建方法 |
-
2020
- 2020-12-25 CN CN202011585184.4A patent/CN112734871A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111627082A (zh) * | 2020-05-21 | 2020-09-04 | 浙江大学 | 基于滤波反投影算法和神经网络的pet图像重建方法 |
Non-Patent Citations (1)
Title |
---|
LI, YINGYING: "A Deep ADMM-net for iterative lowcount PET reconstruction", 《PROCEEDINGS OF SPIE 11553, OPTICS IN HEALTH CARE AND BIOMEDICALOPTICS X, 115531S》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113288189A (zh) * | 2021-05-19 | 2021-08-24 | 浙江大学 | 一种基于ADMM-Net的PET时间校正方法 |
CN113288189B (zh) * | 2021-05-19 | 2022-06-21 | 浙江大学 | 一种基于ADMM-Net的PET时间校正方法 |
CN114758031A (zh) * | 2022-06-15 | 2022-07-15 | 之江实验室 | 电容耦合电阻抗层析成像图像重建方法和装置 |
CN116312983A (zh) * | 2023-03-21 | 2023-06-23 | 西安交通大学 | 基于噪声生成机制的隐正则化低剂量ct图像重建方法及系统 |
CN116312983B (zh) * | 2023-03-21 | 2023-09-22 | 西安交通大学 | 基于噪声生成机制的隐正则化低剂量ct图像重建方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108898642B (zh) | 一种基于卷积神经网络的稀疏角度ct成像方法 | |
CN111325686B (zh) | 一种基于深度学习的低剂量pet三维重建方法 | |
CN111627082B (zh) | 基于滤波反投影算法和神经网络的pet图像重建方法 | |
CN112734871A (zh) | 基于admm和深度学习的低剂量pet图像重建算法 | |
Kuanar et al. | Low dose abdominal CT image reconstruction: an unsupervised learning based approach | |
CN108492269B (zh) | 基于梯度正则卷积神经网络的低剂量ct图像去噪方法 | |
CN102968762B (zh) | 一种基于稀疏化和泊松模型的pet重建方法 | |
CN109584324B (zh) | 一种基于自动编码器网络的正电子发射型计算机断层显像(pet)重建方法 | |
Whiteley et al. | FastPET: near real-time reconstruction of PET histo-image data using a neural network | |
Ziabari et al. | 2.5 D deep learning for CT image reconstruction using a multi-GPU implementation | |
US11481937B2 (en) | Positron emission tomography image reconstruction method | |
CN109472841B (zh) | 基于混合高斯/泊松最大似然函数的cbct三维重建方法 | |
US20230059132A1 (en) | System and method for deep learning for inverse problems without training data | |
CN114387236A (zh) | 基于卷积神经网络的低剂量Sinogram去噪与PET图像重建方法 | |
CN111161182B (zh) | Mr结构信息约束的非局部均值引导的pet图像部分容积校正方法 | |
CN110717951B (zh) | 一种基于cGANs的PET图像直接重建方法 | |
Zheng et al. | Sparse-View X-Ray CT Reconstruction Using $\ell_1 $ Prior with Learned Transform | |
Zhang et al. | Spectral CT image-domain material decomposition via sparsity residual prior and dictionary learning | |
CN114358285A (zh) | 一种基于流模型的pet系统衰减校正方法 | |
Wu et al. | Deep learning-based low-dose tomography reconstruction with hybrid-dose measurements | |
CN116152373A (zh) | 一种结合神经网络和卷积字典学习的低剂量ct图像重建方法 | |
CN115423892A (zh) | 一种基于最大期望网络的无衰减校正pet重建方法 | |
CN114926559A (zh) | 一种基于字典学习思想无衰减校正的pet重建方法 | |
Lu et al. | Dynamic PET denoising incorporating a composite image guided filter | |
CN113476064A (zh) | 基于bcd-ed的单扫描双示踪剂pet信号分离方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210430 |