CN116485655A - 一种基于扩散模型的ct图像超分辨率处理方法 - Google Patents

一种基于扩散模型的ct图像超分辨率处理方法 Download PDF

Info

Publication number
CN116485655A
CN116485655A CN202310518294.6A CN202310518294A CN116485655A CN 116485655 A CN116485655 A CN 116485655A CN 202310518294 A CN202310518294 A CN 202310518294A CN 116485655 A CN116485655 A CN 116485655A
Authority
CN
China
Prior art keywords
image
resolution
diffusion
super
est
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310518294.6A
Other languages
English (en)
Inventor
刘艳华
梁豪
罗旺
刘思颂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Univeristy of Technology
Original Assignee
Chengdu Univeristy of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Univeristy of Technology filed Critical Chengdu Univeristy of Technology
Priority to CN202310518294.6A priority Critical patent/CN116485655A/zh
Publication of CN116485655A publication Critical patent/CN116485655A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于扩散模型的CT图像超分辨率处理方法,S1:构建高分辨率CT图像数据集Xh和插值CT图像数据集Xs;S2:建立超分辨率扩散模型的扩散过程;S3:建立噪声预测网络∈θ(xt,t),利用数据集Xh对其进行训练;S4:建立噪声水平预测网络ρθ(xs),利用数据集Xs对其进行训练;S5:将插值CT图像xs输入网络ρθ(xs)中,得到对应的时间序列test,并以xs和test为初始值进行逆扩散的去噪重建;S6:在逆扩散过程中,使用DPM‑Solver求解反向ODE,最终得到超分辨率CT图像本发明生成的超分辨率CT图像具有丰富的细节纹理特征,同时通过优化采样过程,极大的缩短了处理时间,节省了计算资源。

Description

一种基于扩散模型的CT图像超分辨率处理方法
技术领域
本发明属于深度学习、计算机视觉、医学图像处理领域的一种图像超分辨率处理方法,尤其涉及一种基于扩散模型的CT图像超分辨率处理方法。
背景技术
CT图像在医学诊断中有着广泛的应用,但是由于硬件及其他方面的限制,CT图像的分辨率往往无法满足临床需要。因此CT图像的超分辨率重建研究一直是医学图像处理中一个重要的研究领域,它对提高医学诊断的准确性和治疗计划的制定具有重大意义。
基于深度学习在计算机视觉领域的广泛应用及高速发展,在CT图像的超分辨率重建任务中涌现了一些基于深度学习的优质方法,主要有面向PSNR超分卷积网络的方法和基于生成式对抗网络的方法。然而,面向PSNR会导致超分卷积网络忽略细节,使得超分图像过于平滑;生成式对抗网络存在着训练过程不稳定,同时对训练数据要求高等缺点。
现基于扩散模型的方法在生成式任务中达到了优异水平,使其被广泛关注。研究人员将其引入图像超分辨率任务中,使其获得的超分辨率图像具有丰富的细节纹理特征。然而,在处理过程中需要大量的计算资源;同时,采样时间也远超其它超分辨率方法的处理时间,使其在临床医学的应用上受到了极大限制。因此,如何优化扩散模型的采样过程仍然是研究人员需要解决的关键问题。
发明内容
针对上述问题,本发明的目的是要提供一种基于扩散模型的CT图像超分辨率处理方法。该方法在保证超分辨率CT图像质量的前提下,优化采样方法,缩短处理时间,节省计算资源。
为实现上述的发明目的,本发明是通过以下的技术方案来实施的:
本发明具体包括以下步骤:
S1:构建高分辨率CT图像数据集Xh,将其连续下采样再上采样后得到插值CT图像数据集Xs
S2:建立超分辨率扩散模型的扩散过程,该扩散过程与DDPM(DenoisingDiffusion Probabilistic Models)扩散过程保持一致;
S3:建立噪声预测网络∈θ(xt,t),根据所建立的扩散过程,将高分辨率CT图像数据集Xh输入到噪声预测网络∈θ(xt,t)中,对其进行训练;
S4:建立噪声水平预测网络ρθ(xs),将插值CT图像数据集Xs输入到噪声水平预测网络ρθ(xs)中,对其进行训练;
S5:将插值CT图像xs输入噪声水平预测网络ρθ(xs)中,得到其对应的噪声水平σest,利用公式test=σ-1est)求出其对应的时间序列test,以xs和test为初始值进行逆扩散的去噪重建;
S6:在逆扩散的去噪重建过程中,使用DPM-Solver求解反向ODE(OrdinaryDifferential Equation),最终得到超分辨率CT图像
本发明的有益效果:
本发明提供了一种基于扩散模型的CT图像超分辨率处理方法,得到超分辨率CT图像具有丰富的细节纹理特征,同时利用优化的采样方法极大地缩短了处理时间,节省了计算资源。与现有技术相比,本发明在引入插值CT图像作为条件时采用了原始引入方式,使得所建立的扩散过程能够与原始DDPM扩散过程保持一致,保证了其基于概率统计数学机理的完整性。本发明在逆扩散的去噪重建过程中,使用DPM-Solver求解反向ODE,以达到加速采样的效果,同时也避开在反向求解SDE(Stochastic Differential Equation)过程中存在的随机干扰,使得插值CT图像xs与最终得到的超分辨率CT图像具有唯一对应关系。同时,本发明直接从插值CT图像xs开始进行逆扩散的去噪重建,缩短了采样路径,减少了采样时间。
附图说明
图1为本发明方法一种实施例的步骤流程图;
图2为本发明方法一种实施例的扩散过程图;
图3为本发明方法一种实施例的噪声预测网络的结构示意图;
图4为本发明方法一种实施例的噪声水平预测网络的结构示意图;
图5为本发明方法一种实施例的噪声水平预测网络的训练流程图。
具体实施方式
以下结合附图和具体实施例对本发明做进一步详述,本实施例仅用于解释本发明,并不构成对本发明保护范围的限定。
如图1所示,本实施例提供了一种基于扩散模型的CT图像超分辨率处理方法,具体包括以下步骤:
S1:收集高分辨率CT图像并进行预处理,构建数据集,按照8:2的比例将其划分为训练集和测试集;
具体方法为:
S11:从高分辨率CT图像库中选取完整病例的CT图像,大小为512×512,将其归一化至0~1,构建高分辨率CT图像数据集,用Xh表示;
S12:使用双线性插值法将归一化后的高分辨率CT图像下采样至64×64大小,获得对应的低分辨率CT图像,再使用双三次插值法将低分辨率CT图像上采样至512×512大小,获得对应的插值CT图像,构建插值CT图像数据集,用Xs表示;
S13:对高分辨率CT图像数据集和对应的插值CT图像数据集作对应划分,其中训练集和测试集的比例为8:2。
S2:建立超分辨率扩散模型的扩散过程,该扩散过程与DDPM扩散过程保持一致,如图2所示;
扩散的前向过程具体由以下方面展示:
扩散的前向过程为一个符合马尔可夫链的逐步加噪过程,相邻两步图像之间满足关系:其中αt为预设的衰减系数,N(0,I)为标准正态分布,t∈{1,2,…,T},利用重参数化技巧可得到对应的概率形式:
通过方程叠加并进一步简化,可得到任意时刻图像与原图像之间的关系:其中/>x0为原始图像;
整个前向过程是一个马尔可夫链的过程,被表示为:
扩散的逆向过程具体由以下方面展示:
扩散的逆向过程对应着从标准正态分布逐步去噪重建的过程,仍然是一个马尔科夫链的过程,相邻两步图像之间满足关系:
其中βt=1-αt
由于后验分布q(xt-1|xt,x0)中涉及所需求的未知参数x0,因此构建模型pθ(xt-1|xt)用以拟合q(xt-1|xt,x0),pθ(xt-1|xt)~N(xt-1;μθ(xt,t),∑θ(xt,t)),其中
利用KL散度建立优化目标: 其中∈θ(xt,t)为噪声预测网络,忽略系数项得到最终的优化目标:/>
根据分布pθ(xt-1|xt)~N(xt-1;μθ(xt,t),∑θ(xt,t)),可以利用xt采样得到xt-1按照马尔可夫链的过程xT→…xt→xt-1…→x0,xT~N(0,I),迭代T次即可重建出x0
本发明的进一步改进在于缩短了逆扩散过程路径,从插值CT图像xs及其对应的test开始进行逆扩散重建,由于test<<T,所以极大地缩短了采样时间,同时对于整个逆扩散过程只在开始时引入一次条件,避免了条件冗余。
S3:如图3所示,所述的噪声预测网络∈θ(xt,t)为一基于U-Net的神经网络,主要由编码器和解码器组成:
编码器部分由连续收缩的五条路径组成,前四条路径由连续的两个残差模块和一个下采样层依次连接而成,而第五条路径由连续的两个残差模块和一个上采样层依次连接而成,其中在642和322层级额外接入了Self-Attention模块;
解码器部分由连续扩张的四条路经组成,前三条路径由连续的两个残差模块和一个上采样层依次连接而成,而最后一条路径由连续的两个残差模块组成;
噪声预测网络∈θ(xt,t)的输入为一通道数为3的5122大小的图像,它由含噪图像xt与其对应的时间序列t经time embedding后得到的图像拼接而来,time embedding对应公式为:[sin(2πωt);cos(2πωt)],ω~N(0,I);
噪声预测网络∈θ(xt,t)的输出为一噪声图像∈,用以采样出xt-1
S4:如图4所示,所述的噪声水平预测网络ρθ(xs)同样由编码器和解码器两部分构成,其中编码器部分与噪声预测网络∈θ(xt,t)的编码器部分保持一致,解码器部分由1×1的卷积层和两个全连接层依次连接而成,最后通过sigmoid激活函数得到输出;
噪声水平预测网络ρθ(xs)的输入为插值CT图像xs,输出为其对应的噪声水平σest
如图5所示为本发明方法中噪声水平预测网络ρθ(xs)的训练流程图,训练过程中的损失函数为其中||||表示L1范式,xh为输入的插值CT图像xs所对应的高分辨率CT图像。
S5:将插值CT图像xs输入噪声水平预测网络ρθ(xs)中,得到其对应的噪声水平σest,利用公式test=σ-1est)求出其对应的时间序列test,以xs和test为初始值进行逆扩散的去噪重建。
S6:本发明的另一改进在于逆扩散的去噪重建过程中使用DPM-Solver反向求解ODE,以达到加速采样效果,并同时保证插值CT图像xs与最终得到的超分辨率CT图像具有唯一对应关系,具体方法为:
如S1中所描述,在原始DDPM的逆扩散过程中利用祖先采样逐步去噪重建,对应于求解反向SDE:其中/>分数函数/> 是一个标准的布朗运动;
反向SDE具有对应的伴随概率流ODE,它在每个时刻t具有与SDE相同的边缘分布,ODE表达式为:
本发明利用DPM-Solver反向求解ODE,在本实施例中利用其一阶求解器作为技术展示,具体包括以下步骤:
S61:建立序列序列/>由时间序列/>间隔采样而来,采样间隔为
S62:计算λi序列:
S63:计算σi序列:
S64:建立迭代公式:
S65:将S5中计算出的test映射至序列i中得到iest,映射公式为:
S66:以插值CT图像xs及iest为初始值,由i=iest到i=0重复计算迭代公式,最终得到超分辨率图像
综上所述,本发明提供了一种基于扩散模型的CT图像超分辨率处理方法,得到超分辨率CT图像具有丰富的细节纹理特征,同时利用优化的采样方法极大地缩短了处理时间,节省了计算资源。
本发明的技术方案不受上述具体实施例的限制,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均落入本发明的保护范围之类。

Claims (8)

1.一种基于扩散模型的CT图像超分辨率处理方法,其特征在于,具体包括以下步骤:
S1:构建高分辨率CT图像数据集Xh,将其连续下采样再上采样后得到插值CT图像数据集Xs
S2:建立超分辨率扩散模型的扩散过程,该扩散过程与DDPM(Denoising DiffusionProbabilistic Models)扩散过程保持一致;
S3:建立噪声预测网络∈θ(xt,t),根据所建立的扩散过程,将高分辨率CT图像数据集Xh输入到噪声预测网络∈θ(xt,t)中,对其进行训练;
S4:建立噪声水平预测网络ρθ(xs),将插值CT图像数据集Xs输入到噪声水平预测网络ρθ(xs)中,对其进行训练;
S5:将插值CT图像xs输入噪声水平预测网络ρθ(xs)中,得到其对应的噪声水平σest,利用公式test=σ-1est)求出其对应的时间序列test,以xs和test为初始值进行逆扩散的去噪重建;
S6:在逆扩散的去噪重建过程中,使用DPM-Solver求解反向ODE(OrdinaryDifferential Equation),最终得到超分辨率CT图像
2.根据权利要求1所述的基于扩散模型的CT图像超分辨率处理方法,其特征在于,所述步骤S1:收集高分辨率CT图像并进行预处理,构建数据集,具体包括:
S11:从高分辨率CT图像库中选取完整病例的CT图像,大小为512×512,将其归一化至0~1,构建高分辨率CT图像数据集;
S12:使用双线性插值法将归一化后的高分辨率CT图像下采样至64×64大小,获得对应的低分辨率CT图像,再使用双三次插值法将其上采样至512×512大小,获得对应的插值CT图像,构建插值CT图像数据集;
S13:对高分辨率CT图像数据集和对应的插值CT图像数据集作对应划分,其中训练集和测试集的比例为8∶2。
3.根据权利要求1所述的基于扩散模型的CT图像超分辨率处理方法,其特征在于,所述步骤S2:建立超分辨率扩散模型的扩散过程,该扩散过程与DDPM(Denoising DiffusionProbabilistic Models)扩散过程保持一致,本发明的进一步改进在于缩短了逆扩散过程路径,从插值CT图像xs及其对应的test开始进行逆扩散的去噪重建。
4.根据权利要求1所述的基于扩散模型的CT图像超分辨率处理方法,其特征在于,所述步骤S3:基于U-net架构建立噪声预测网络∈θ(xt,t),主要由编码器和解码器组成,编码器部分由连续收缩的五条路径组成,解码器部分由连续扩张的四条路经组成。
5.根据权利要求4所述的基于扩散模型的CT图像超分辨率处理方法,其特征在于,所述噪声预测网络∈θ(xt,t)的输入由含噪图像xt与其对应的时间序列t经time embedding后得到的图像拼接而来,time embedding对应公式为:[sin(2πωt);cos(2πωt)],ω~N(0,I)。
6.根据权利要求1所述的基于扩散模型的CT图像超分辨率处理方法,其特征在于,所述步骤S4:建立噪声水平预测网络ρθ(xs),同样由编码器和解码器组成,其中编码器部分与噪声预测网络∈θ(xt,t)的编码器部分保持一致,解码器部分由1×1的卷积层和两个全连接层依次连接而成,最后通过sigmoid激活函数得到输出。
7.根据权利要求6所述的基于扩散模型的CT图像超分辨率处理方法,其特征在于,所述噪声水平预测网络ρθ(xs)在训练过程中的损失函数为 其中||||表示L1范式,xh为输入的插值CT图像xs所对应的高分辨率CT图像。
8.根据权利要求1所述的基于扩散模型的CT图像超分辨率处理方法,其特征在于,所述步骤S6:在逆扩散的去噪重建过程中使用DPM-Solver反向求解ODE,使用其一阶求解器时,具体包括以下步骤:
S61:建立序列序列/>由时间序列/>间隔采样而来,采样间隔为/>
S62:计算λi序列:
S63:计算σi序列:
S64:建立迭代公式:
S65:将S5中计算出的test映射至序列i中得到iest,映射公式为:
S66:以插值CT图像xs及iest为初始值,由i=iest到i=0重复计算迭代公式,最终得到超分辨率图像
CN202310518294.6A 2023-05-10 2023-05-10 一种基于扩散模型的ct图像超分辨率处理方法 Pending CN116485655A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310518294.6A CN116485655A (zh) 2023-05-10 2023-05-10 一种基于扩散模型的ct图像超分辨率处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310518294.6A CN116485655A (zh) 2023-05-10 2023-05-10 一种基于扩散模型的ct图像超分辨率处理方法

Publications (1)

Publication Number Publication Date
CN116485655A true CN116485655A (zh) 2023-07-25

Family

ID=87213798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310518294.6A Pending CN116485655A (zh) 2023-05-10 2023-05-10 一种基于扩散模型的ct图像超分辨率处理方法

Country Status (1)

Country Link
CN (1) CN116485655A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011316A (zh) * 2023-10-07 2023-11-07 之江实验室 一种基于ct图像的大豆茎秆内部结构辨识方法和系统
CN117392259A (zh) * 2023-12-11 2024-01-12 电子科技大学 一种双视角跨模态重建ct影像的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011316A (zh) * 2023-10-07 2023-11-07 之江实验室 一种基于ct图像的大豆茎秆内部结构辨识方法和系统
CN117011316B (zh) * 2023-10-07 2024-02-06 之江实验室 一种基于ct图像的大豆茎秆内部结构辨识方法和系统
CN117392259A (zh) * 2023-12-11 2024-01-12 电子科技大学 一种双视角跨模态重建ct影像的方法
CN117392259B (zh) * 2023-12-11 2024-04-16 电子科技大学 一种双视角跨模态重建ct影像的方法

Similar Documents

Publication Publication Date Title
Gupta et al. CNN-based projected gradient descent for consistent CT image reconstruction
CN116485655A (zh) 一种基于扩散模型的ct图像超分辨率处理方法
Xie et al. Artifact removal using improved GoogLeNet for sparse-view CT reconstruction
CN111353940B (zh) 一种基于深度学习迭代上下采样的图像超分辨率重建方法
CN112215755B (zh) 一种基于反投影注意力网络的图像超分辨率重建方法
CN112435309A (zh) 一种基于深度学习的增强ct图像质量和分辨率的方法
WO2022199135A1 (zh) 一种基于深度学习的仰卧位和俯卧位乳腺图像配准方法
CN114897780B (zh) 一种基于mip序列的肠系膜上动脉血管重建方法
CN111243045A (zh) 一种基于高斯混合模型先验变分自编码器的图像生成方法
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN111899165A (zh) 一种基于功能模块的多任务图像重建卷积网络模型
CN114862679A (zh) 基于残差生成对抗网络的单图超分辨率重建方法
CN113077451B (zh) 基于无监督学习的单张图片本征图像分解方法、系统及介质
CN116029943B (zh) 基于深度学习的红外图像超分辨率增强方法
CN111028147B (zh) 基于级联空洞卷积的三维医学图像超分辨率重建方法
CN113628114A (zh) 一种双通道稀疏编码的图像超分辨率重建方法
CN113409291A (zh) 一种肺部4d-ct医学图像配准方法及系统
CN112991406A (zh) 一种基于微分几何技术构建脑图谱的方法
CN111243096A (zh) 基于边约束谱卷积神经网络的三维人脸表示与重建方法
CN114022355B (zh) 基于递归注意力机制的图像超分辨率方法
CN116523759B (zh) 基于频率分解与重启机制的图像超分辨率重建方法与系统
CN114627196B (zh) 基于变分自动编码器的潜变量空间解耦方法
CN117274080B (zh) 一种低剂量ct弦图恢复方法及相关装置
CN112927138B (zh) 一种基于即插即用的磁共振成像超分辨重建系统及方法
Kiatpapan et al. Super-resolution based on back-projection of interpolated image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination