CN117392259B - 一种双视角跨模态重建ct影像的方法 - Google Patents

一种双视角跨模态重建ct影像的方法 Download PDF

Info

Publication number
CN117392259B
CN117392259B CN202311687658.XA CN202311687658A CN117392259B CN 117392259 B CN117392259 B CN 117392259B CN 202311687658 A CN202311687658 A CN 202311687658A CN 117392259 B CN117392259 B CN 117392259B
Authority
CN
China
Prior art keywords
loss
images
image
discriminator
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311687658.XA
Other languages
English (en)
Other versions
CN117392259A (zh
Inventor
蒲立新
李明欣
曲建明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Chengdian Jinpan Health Data Technology Co ltd
University of Electronic Science and Technology of China
Original Assignee
Chengdu Chengdian Jinpan Health Data Technology Co ltd
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Chengdian Jinpan Health Data Technology Co ltd, University of Electronic Science and Technology of China filed Critical Chengdu Chengdian Jinpan Health Data Technology Co ltd
Priority to CN202311687658.XA priority Critical patent/CN117392259B/zh
Publication of CN117392259A publication Critical patent/CN117392259A/zh
Application granted granted Critical
Publication of CN117392259B publication Critical patent/CN117392259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提出了一种双视角跨模态重建CT影像的方法，涉及医学CT影像领域。该方法将扩散模型和GAN网络结合在一起，可以在保持生成高质量CT影像和多样性的前提下，提高生成速度，减少模型训练难度。本发明能够充分利用双视角影像的优势，并在重建过程中有效融合它们的信息，从而提高重建CT影像的质量和准确性。同时，针对原有三维投影损失函数存在的问题，本发明设计了一种改进的三维投影损失函数，通过使用Charbonnier损失替代原本的L1损失，重建的CT影像在感官上更加真实，并且避免了过度平滑的问题，有效提高了三维物体的重建精度。本发明可以大大减少获取高质量CT影像过程中的受辐射剂量，在医学影像重建领域具有广泛的应用前景。

Description

一种双视角跨模态重建CT影像的方法
技术领域
本发明涉及医学CT影像领域，尤其涉及一种双视角跨模态重建CT影像的方法。
背景技术
CT图像在介入手术治疗及放射性治疗中有着重要的临床价值。而常规剂量CT（Normal dose CT，NDCT）检查过程中会产生辐射，会对人体造成不可忽视的伤害。因此，在临床上通常采用如：降低管电压、管电流、曝光时间等方法获得低剂量CT影像（Low doseCT，LDCT）。但低剂量CT影像常伴随着条纹伪影及斑点噪声，可能会影响医生的诊断，甚至造成误诊、漏诊等严重医疗事故。
相比于传统重建方法，深度学习方法的研究重点是追求低辐射剂量、高图像质量和快速重建速度的有机统一。深度学习方法通过深度神经网络直接或间接的学习低剂量CT图到正常剂量CT图之间的映射，主要解决的是同一维度的数据迁移，本质为将LDCT重建为NDCT或对初步重建后的图像进行去噪处理。这需要大量的LDCT和NDCT图像进行配对，将数据输入到深度神经网络中进行模型训练，LDCT和NDCT图像如图1所示；
现今主流的CT重建框架解决的是同一维度的数据迁移问题，本质是将CT重建过程等价于一个图像去噪过程，重建后的CT影像仍然会包含难以去除的噪声并且丢失一部分初始信息，严重阻碍它作为计算机辅助诊断的广泛应用。
发明内容
为了更好的利用胸部CR、DR影像的边缘轮廓、位置、明暗等二维特征，设计一个特殊的生成器将数据维度从二维升到三维，使得网络的二维特征信息能够作用于三维输出，实现双视角CR、DR影像重建CT影像的跨模态重建过程，本发明提出了一种双视角跨模态重建CT影像的方法，包含以下步骤：
步骤1：下载CT影像数据集，使用数字重建影像技术，模拟X射线对3D重建肺部进行透射，生成虚拟冠状面和矢状面的双视角CR、DR影像，然后使用CycleGAN模型学习真实X光片的数据分布，使虚拟双视角CR、DR影像的数据分布贴合真实CR、DR影像的数据分布；
步骤2：线下采集若干例胸部CR、DR影像，并将采集的胸部CR、DR影像与CT影像配对数据进行相应的预处理，使用CycleGAN模型学习真实X光片的数据分布，使得学习到的与CT影像概率分布更贴近真实分布，符合影像科医生的诊断标准；
步骤3：建立X2CT-DDPMGAN网络，通过输入两张正交的胸部CR、DR影像跨模态生成CT影像，网络建立的具体步骤如下：
1）建立扩散模型：两张正交的胸部CR、DR影像作为初始图像，对初始图像增加T轮高斯噪声，生成T张图像，表示为x 1 ,x 2 ……x i …x t ；计算图像x t-1 和x t 的数据分布，通过双视角信息融合模块将增加了T轮高斯噪声的二双视角胸部CR、DR影像融合为三维的CT t-1 和CT t ，前向扩散过程x t 的数据分布计算如下：
(1)
其中为超参数，/>设定为0.0001到0.002的T步线性插值；/>，/>为高斯分布，任意时刻x t 都可由x 0 和/>表示；
2）在X2CT-GAN网络结构中改进三维投影损失函数，投影损失中将X2CT-GAN网络中的三维投影损失的L1损失替换为Charbonnier损失，得到改进后的条件生成对抗网络，具体如下：
在最小二乘生成对抗网络中，网络通过最小化损失函数来得到最接近真实的CT影像；其中，损失函数由生成损失和DDPM损失两部分组成，生成损失包括对抗损失、重建损失/>和投影损失/>，生成损失的计算如下：
(2)
其中，D * 为判别器的生成损失，判别器输出0到1之间的概率值；1代表判别器认为这个影像是真实的，0代表判别器认为是虚假的，0.5代表判别器无法判断是真是假；G * 为生成器的生成损失；、/>和/>是超参数，控制对抗损失、重建损失和投影损失的权重；
对抗损失定义如式（3）所示，x为输入的两张正交的双视角胸部CR、DR影像，y是其对应的CT影像数据，/>为对CT影像的概率分布求期望，/>为对CR、DR影像的概率分布求期望；/>代表判别器直接对真实CT影像y打分，代表输入CR、DR影像通过生成器G，生成了一个CT影像/>，判别器对其打分；LSGAN训练更加稳定并且可以捕捉更多真实细节，使生成数据接近真实数据分布：
（3）
重建损失基于均方误差定义如式（4）所示，x、y定义均如式（3），重建损失可以对三维空间中每一个像素点都进行相应的约束，使重建结果在形状上和输入信息保持一致性：
（4）
其中，为对y与G(x)的概率分布求期望，/>为真实CT影像与生成CT影像作像素值之差的L2损失的平方；
投影损失中将X2CT-GAN网络中的三维投影损失的L1损失替换为Charbonnier损失，L1损失如式（5）所示，y i 代表真实数据分布，f(x i )代表估计数据分布，n表示CT投影平面的像素总数；
（5）
如式（6），Charbonnier Loss 损失在L1损失的基础之上增加一个无穷小量，使得损失函数在0点附近仍然可导，避免了梯度消失和梯度爆炸；
（6）
改进投影损失使得生成的CT影像具有真实感，提高重建精度，对横断面、冠状面和矢状面的投影施加约束，其中P ax ,P co ,P sa 分别代表CT数据在横断面、冠状面以及矢状面的二维投影，投影损失如式（7）所示，其中表示作Charbonnier loss ；
（7）
3）在条件生成对抗网络中增加前向扩散过程，使扩散模型和改进后的条件生成对抗网络结合生成需要的CT影像，在保持生成高质量CT影像和多样性的前提下，提高生成速度，减少模型训练难度，具体如下：
DDPM损失的计算：
（8）
其中，L为DDPM损失，为/>对/>与差值的绝对值平方求期望，/>表示/>的估计值，/>为高斯分布；
DDPM损失通过预测前向扩散过程中每一步的高斯分布，通过式（9）、（10）计算得到均值和方差/>，进而通过式（11）计算估计值/>，获得前向扩散过程中每一步添加的高斯噪声的近似值；
（9）
（10）
（11）
4）生成器G生成CT影像CT0 ’后，与前向扩散过程一样，对CT’0添加T-1轮高斯噪声得到CT’t-1， CT’t-1与CTt-1、CTt一起送入判别器D中进行判断真伪，其中CTt-1为前向过程中的影像，CT’t-1为生成影像， CTt作为监督条件，代表T-1时刻的下一时刻，辅助判别器D判断真伪；随着训练过程中不断最小化损失函数，网络逐渐完整地学习到CR、DR影像到CT影像的映射关系，直到判别器D打分等于0.5时，说明判别器D难以判断真伪，得到训练好的模型。
本发明的有益效果为：创新了一种新型的双视角CR、DR影像跨模态重建CT影像结构，并命名为X2CT-DDPMGAN网络，以及一种有效的改进三维投影损失函数，以便在训练过程中直接对横断面、冠状面以及矢状面的投影施加约束，提高三维物体的重建精度，使得重建的CT影像在感官上具有真实感。
附图说明
图1为LDCT和NDCT图像。
图2为X2CT-DDPMGAN网络结构。
图3为生成结果对比图。
具体实施方式
现今主流的CT重建框架解决的是同一维度的数据迁移问题，本质是将CT重建过程等价于一个图像去噪过程，重建后的CT影像仍然会包含难以去除的噪声并且丢失一部分初始信息，严重阻碍它作为计算机辅助诊断的广泛应用。为了更好的利用胸部CR、DR影像的边缘轮廓、位置、明暗等二维特征，设计一个特殊的生成器将数据维度从二维升到三维，使得网络的二维特征信息能够作用于三维输出，实现双视角CR、DR影像重建CT影像的跨模态重建过程。基于此，本文在原有的X2CT-GAN框架的基础上，将扩散模型和X2CT-GAN相结合，如图2所示设计X2CT-DDPMGAN网络，在保持生成高质量结果和多样性的前提下，提高生成速度。
本发明提出了一种双视角跨模态重建CT影像的方法，包含以下步骤：
步骤1：下载LIDC-IDRI数据集，该数据集包括1018个CT影像。现今尚不存在胸部CR、DR影像与CT影像的配对数据集，因此需要使用数字重建影像（DigitallyReconstructed Radiographs, DRR）技术，模拟X射线对3D重建肺部进行透射，生成虚拟冠状面和矢状面的双视角CR、DR影像，然后使用CycleGAN模型学习真实X光片的数据分布，使虚拟双视角CR、DR影像的数据分布贴合真实CR、DR影像的数据分布。
步骤2：线下采集若干例胸部CR、DR影像，并将采集的胸部CR、DR影像与CT影像配对数据进行相应的预处理，预处理过程与步骤1中CT数据集的过程相同，使得学习到的与CT影像概率分布更贴近真实分布，符合影像科医生的诊断标准。
步骤3：建立X2CT-DDPMGAN网络，通过输入两张正交的胸部CR、DR影像跨模态生成CT影像，网络建立的具体步骤如下：
1）建立扩散模型：两张正交的胸部CR、DR影像作为初始图像，对初始图像增加T轮高斯噪声，生成T张图像——x 1 ,x 2 ……x i …x t ；计算图像x t-1 和x t 的数据分布，通过双视角信息融合模块将增加了T轮高斯噪声的二双视角胸部CR、DR影像融合为三维的CT t-1 和CT t ，如图2所示。前向扩散过程的数据分布计算如下：
(1)
其中为超参数，通过/>的不断减小，可以直接计算出x t 的分布，当t趋近于无穷时，x t 趋近于纯噪声分布；/>设定为0.0001到0.002的T步线性插值，其中T是添加高斯噪声的轮数，如果T=2000，那么说明0.0001-0.002之间有2000个数，每个数是一个/>；，/>为高斯分布，任意时刻x t 都可由x 0 和/>表示；
2）在原本的X2CT-GAN网络结构中改进三维投影损失函数，投影损失中将X2CT-GAN网络中的三维投影损失的L1损失替换为Charbonnier损失，得到改进后的条件生成对抗网络(Conditional Generative Adversarial Nets, CGAN)，具体如下：
本实施例的条件生成对抗网络采用最小二乘生成对抗网络（Least SquareGenerative Adversarial Nets, LSGAN），网络通过最小化损失函数来得到最接近真实的CT影像。其中，损失函数由生成损失和DDPM损失两部分组成，生成损失包括对抗损失、重建损失/>和投影损失/>，生成损失的计算如下：
(2)
其中，D * 为判别器的生成损失，判别器输出0到1之间的概率值；1代表判别器认为这个影像是真实的，0代表判别器认为是虚假的，0.5代表判别器无法判断是真是假；G * 为生成器的生成损失；、/>和/>是超参数，控制对抗损失、重建损失和投影损失的权重；由双视角胸部CR、DR影像重建CT影像的任务中，对抗损失肩负着捕捉局部细节的重要角色，但是全局的形状一致性应该在重建过程中占主导地位，基于这个考量，/>、/>和/>分别设置为0.1、10、10。
对抗损失定义如式（3）所示，x为输入的两张正交的双视角胸部CR、DR影像，y是其对应的CT影像数据，/>为对CT影像的概率分布求期望，/>为对CR、DR影像的概率分布求期望；/>代表判别器直接对真实CT影像y打分，代表输入CR、DR影像通过生成器G，生成了一个CT影像/>，判别器对其打分；LSGAN训练更加稳定并且可以捕捉更多真实细节，使生成数据接近真实数据分布：
（3）
重建损失基于均方误差(Mean Squared Error, MSE)定义如式（4）所示，x、y定义均如式（3），重建损失可以对三维空间中每一个像素点都进行相应的约束，使重建结果在形状上和输入信息保持一致性：
（4）
其中，为对y与G(x)的概率分布求期望，/>为真实CT影像与生成CT影像作像素值之差的L2损失的平方。
投影损失中将X2CT-GAN网络中的三维投影损失的L1损失替换为Charbonnier损失，L1损失如式（5）所示，y i 代表真实数据分布，f(x i )代表估计数据分布，n表示CT投影平面的像素总数；
（5）
如式（6），Charbonnier Loss 损失在L1损失的基础之上增加一个无穷小量，使得损失函数在0点附近仍然可导，避免了梯度消失和梯度爆炸；通常/>=0.000001。
（6）
改进投影损失使得生成的CT影像具有真实感，提高重建精度，对横断面、冠状面和矢状面的投影施加约束，其中P ax ,P co ,P sa 分别代表CT数据在横断面、冠状面以及矢状面的二维投影，投影损失如式（7）所示，其中表示作Charbonnier loss ；
（7）
3）在改进后的条件生成对抗网络中增加前向扩散过程，使扩散模型和CGAN结合生成需要的CT影像，可以在保持生成高质量CT影像和多样性的前提下，提高生成速度，减少模型训练难度，具体如下：
DDPM损失的计算：
（8）
其中，L为DDPM损失，为/>对/>与差值的绝对值平方求期望，/>表示/>的估计值，/>为高斯分布；
DDPM损失通过预测前向扩散过程中每一步的高斯分布，通过式（9）、（10）计算得到均值和方差/>，进而通过式（11）计算估计值/>，获得前向扩散过程中每一步添加的高斯噪声的近似值；
（9）
（10）
（11）
4）生成器G生成CT影像CT0 ’后，与前向扩散过程一样，对CT’0添加T-1轮高斯噪声得到CT’t-1， CT’t-1与CTt-1、CTt一起送入判别器D中进行判断真伪，其中CTt-1为前向过程中的影像，CT’t-1为生成影像， CTt作为监督条件，代表T-1时刻的下一时刻，辅助判别器D判断真伪。随着训练过程中不断最小化损失函数，网络逐渐完整地学习到CR、DR影像到CT影像的映射关系，直到判别器D打分等于0.5时，说明判别器D难以判断真伪，得到训练好的模型。
生成结果如图3所示，其中a列是输入的CR、DR图像，a（1）是正位图像，a（2）是侧位图像，b列是原始图像，c列是单视角重建 CT图像，d是X2CT-GAN的重建CT影像，e是本方法重建的CT影像。可以看出，在清晰度方面，本方法和X2CT-GAN的重建CT图像要明显清晰于单视角重建CT图像，本方法重建的CT图像的还原度明显高于X2CT-GAN的重建CT图像。尽管可以生成出CT序列切片的大部分区域，但是肺部的细节生成部分质量仍有提高的空间。
此外，我们采用峰值信噪比 (Peak Signal-to-Noise Ratio, PSNR)和结构相似性 (Structure Similarity Index Measure, SSIM)作为评价指标用以评估模型的性能。PSNR被用作评价重建数字信号的质量，PSNR越大，重建影像的质量越好。SSIM是衡量两张数字影像相似性的指标，SSIM越大，重建影像与真实影像的相似度越高。X2CT-DDPMGAN与X2CT-GAN的指标对比如表1，本发明模型的PSNR和SSIM指标均优于X2CT-GAN模型，说明了本发明模型的有效性。
表1定量指标对比
Methods PSNR (dB) SSIM
X2CT-GAN 26.19(±0.13) 0.656(±0.008)
X2CT-DDPMGAN 30.46(±0.04) 0.713(±0.004)

Claims (2)

1.一种双视角跨模态重建CT影像的方法，其特征在于，包含以下步骤：
步骤1：下载CT影像数据集，使用数字重建影像技术，模拟X射线对3D重建肺部进行透射，生成虚拟冠状面和矢状面的双视角CR、DR影像，然后使用CycleGAN模型学习真实X光片的数据分布，使虚拟双视角CR、DR影像的数据分布贴合真实CR、DR影像的数据分布；
步骤2：线下采集若干例胸部CR、DR影像，并将采集的胸部CR、DR影像与CT影像配对数据进行相应的预处理，使用CycleGAN模型学习真实X光片的数据分布，使得学习到的与CT影像概率分布更贴近真实分布，符合影像科医生的诊断标准；
步骤3：建立X2CT-DDPMGAN网络，通过输入两张正交的胸部CR、DR影像跨模态生成CT影像，网络建立的具体步骤如下：
1）建立扩散模型：两张正交的胸部CR、DR影像作为初始图像，对初始图像增加T轮高斯噪声，生成T张图像，表示为x 1 ,x 2 ……x i …x t ；计算图像x t-1 和x t 的数据分布，通过双视角信息融合模块将增加了T轮高斯噪声的二双视角胸部CR、DR影像融合为三维的CT t-1 和CT t ，前向扩散过程x t 的数据分布计算如下：
(1)
其中为超参数，/>设定为0.0001到0.002的T步线性插值；/>，/>为高斯分布，任意时刻x t 都可由x 0 和/>表示；
2）在X2CT-GAN网络结构中改进三维投影损失函数，投影损失中将X2CT-GAN网络中的三维投影损失的L1损失替换为Charbonnier损失，得到改进后的条件生成对抗网络，具体如下：
在最小二乘生成对抗网络中，网络通过最小化损失函数来得到最接近真实的CT影像；其中，损失函数由生成损失和DDPM损失两部分组成，生成损失包括对抗损失、重建损失/>和投影损失/>，生成损失的计算如下：
(2)
其中，D * 为判别器的生成损失，判别器输出0到1之间的概率值；1代表判别器认为这个影像是真实的，0代表判别器认为是虚假的，0.5代表判别器无法判断是真是假；G * 为生成器的生成损失；、/>和/>是超参数，控制对抗损失、重建损失和投影损失的权重；
对抗损失定义如式（3）所示，x为输入的两张正交的双视角胸部CR、DR影像，y是其对应的CT影像数据，/>为对CT影像的概率分布求期望，/>为对CR、DR影像的概率分布求期望；/>代表判别器直接对真实CT影像y打分，代表输入CR、DR影像通过生成器G，生成了一个CT影像/>，判别器对其打分；LSGAN训练更加稳定并且可以捕捉更多真实细节，使生成数据接近真实数据分布：
（3）
重建损失基于均方误差定义如式（4）所示，x、y定义均如式（3），重建损失可以对三维空间中每一个像素点都进行相应的约束，使重建结果在形状上和输入信息保持一致性：
（4）
其中，为对y与G(x)的概率分布求期望，/>为真实CT影像与生成CT影像作像素值之差的L2损失的平方；
投影损失中将X2CT-GAN网络中的三维投影损失的L1损失替换为Charbonnier损失，L1损失如式（5）所示，y i 代表真实数据分布， f(x i )代表估计数据分布，n表示CT投影平面的像素总数；
（5）
如式（6），Charbonnier Loss 损失在L1损失的基础之上增加一个无穷小量，使得损失函数在0点附近仍然可导，避免了梯度消失和梯度爆炸；
（6）
改进投影损失使得生成的CT影像具有真实感，提高重建精度，对横断面、冠状面和矢状面的投影施加约束，其中P ax ,P co ,P sa 分别代表CT数据在横断面、冠状面以及矢状面的二维投影，投影损失如式（7）所示，其中表示作Charbonnier loss ；
（7）
3）在条件生成对抗网络中增加前向扩散过程，使扩散模型和改进后的条件生成对抗网络结合生成需要的CT影像，在保持生成高质量CT影像和多样性的前提下，提高生成速度，减少模型训练难度，具体如下：
DDPM损失的计算：
（8）
其中，L为DDPM损失，为/>对/>与差值的绝对值平方求期望，/>表示/>的估计值，/>为高斯分布；
DDPM损失通过预测前向扩散过程中每一步的高斯分布，通过式（9）、（10）计算得到均值和方差/>，进而通过式（11）计算估计值/>，获得前向扩散过程中每一步添加的高斯噪声的近似值；
（9）
（10）
（11）
4）生成器G生成CT影像CT0 ’后，与前向扩散过程一样，对CT’0添加T-1轮高斯噪声得到CT’t-1， CT’t-1与CTt-1、CTt一起送入判别器D中进行判断真伪，其中CTt-1为前向过程中的影像，CT’t-1为生成影像， CTt作为监督条件，代表T-1时刻的下一时刻，辅助判别器D判断真伪；随着训练过程中不断最小化损失函数，网络逐渐完整地学习到CR、DR影像到CT影像的映射关系，直到判别器D打分等于0.5时，说明判别器D难以判断真伪，得到训练好的模型。
2.根据权利要求1所述的一种双视角跨模态重建CT影像的方法，其特征在于，、/>和分别设置为0.1、10、10；/>为0.000001。
CN202311687658.XA 2023-12-11 2023-12-11 一种双视角跨模态重建ct影像的方法 Active CN117392259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311687658.XA CN117392259B (zh) 2023-12-11 2023-12-11 一种双视角跨模态重建ct影像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311687658.XA CN117392259B (zh) 2023-12-11 2023-12-11 一种双视角跨模态重建ct影像的方法

Publications (2)

Publication Number Publication Date
CN117392259A CN117392259A (zh) 2024-01-12
CN117392259B true CN117392259B (zh) 2024-04-16

Family

ID=89468688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311687658.XA Active CN117392259B (zh) 2023-12-11 2023-12-11 一种双视角跨模态重建ct影像的方法

Country Status (1)

Country Link
CN (1) CN117392259B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324241B1 (en) * 1999-12-30 2001-11-27 Ge Medical Systems Global Technology Company, Llc Method and apparatus for CT reconstruction
CN109813259A (zh) * 2019-01-18 2019-05-28 中北大学 融合ct成像方法、存储介质和装置
CN111127579A (zh) * 2019-12-26 2020-05-08 南京安科医疗科技有限公司 一种基于神经网络去锥形束伪影的ct重建方法
CN114723842A (zh) * 2022-05-24 2022-07-08 之江实验室 基于深度融合神经网络的稀疏视角ct成像方法和设备
CN116485655A (zh) * 2023-05-10 2023-07-25 成都理工大学 一种基于扩散模型的ct图像超分辨率处理方法
CN116704061A (zh) * 2023-05-04 2023-09-05 哈尔滨工业大学 一种基于Transformer的三维圆轨迹锥束CT滤波重建方法及系统
CN116958192A (zh) * 2023-08-07 2023-10-27 天津大学 一种基于扩散模型的事件相机图像重建方法
CN116993848A (zh) * 2023-07-21 2023-11-03 澳门理工大学 Cbct图像重建方法、系统、计算机装置及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324241B1 (en) * 1999-12-30 2001-11-27 Ge Medical Systems Global Technology Company, Llc Method and apparatus for CT reconstruction
CN109813259A (zh) * 2019-01-18 2019-05-28 中北大学 融合ct成像方法、存储介质和装置
CN111127579A (zh) * 2019-12-26 2020-05-08 南京安科医疗科技有限公司 一种基于神经网络去锥形束伪影的ct重建方法
CN114723842A (zh) * 2022-05-24 2022-07-08 之江实验室 基于深度融合神经网络的稀疏视角ct成像方法和设备
CN116704061A (zh) * 2023-05-04 2023-09-05 哈尔滨工业大学 一种基于Transformer的三维圆轨迹锥束CT滤波重建方法及系统
CN116485655A (zh) * 2023-05-10 2023-07-25 成都理工大学 一种基于扩散模型的ct图像超分辨率处理方法
CN116993848A (zh) * 2023-07-21 2023-11-03 澳门理工大学 Cbct图像重建方法、系统、计算机装置及存储介质
CN116958192A (zh) * 2023-08-07 2023-10-27 天津大学 一种基于扩散模型的事件相机图像重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CBCT-Based Synthetic CT Image Generation Using Conditional Denoising Diffusion Probabilistic Model;Junbo Peng等;《arxiv》;20230305;1-21 *
基于深度学习的稀疏或有限角度CT重建方法研究综述;邸江磊等;《激光与光电子学进展》;20230430;第60卷(第8期);1-38 *

Also Published As

Publication number Publication date
CN117392259A (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
US10734116B2 (en) Remote cloud based medical image sharing and rendering semi-automated or fully automated network and/or web-based, 3D and/or 4D imaging of anatomy for training, rehearsing and/or conducting medical procedures, using multiple standard X-ray and/or other imaging projections, without a need for special hardware and/or systems and/or pre-processing/analysis of a captured image data
CN109697741A (zh) 一种pet图像重建方法、装置、设备及介质
CN108898642A (zh) 一种基于卷积神经网络的稀疏角度ct成像方法
CN111260748B (zh) 基于神经网络的数字合成x射线层析成像方法
CN112598649B (zh) 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法
CN112348936A (zh) 一种基于深度学习的低剂量锥束ct图像重建方法
Tong et al. X-ray2Shape: reconstruction of 3D liver shape from a single 2D projection image
CN112435164A (zh) 基于多尺度生成对抗网络的低剂量ct肺部图像的同时超分辨率和去噪方法
Huang et al. U‐net‐based deformation vector field estimation for motion‐compensated 4D‐CBCT reconstruction
CN110101401B (zh) 一种肝脏对比剂数字减影造影方法
CN116645283A (zh) 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法
Nguyen et al. 3D Unet generative adversarial network for attenuation correction of SPECT images
Ratul et al. CCX-rayNet: a class conditioned convolutional neural network for biplanar X-rays to CT volume
Zhang et al. DREAM-Net: Deep residual error iterative minimization network for sparse-view CT reconstruction
Wang et al. A self-supervised guided knowledge distillation framework for unpaired low-dose CT image denoising
Liang et al. A self-supervised deep learning network for low-dose CT reconstruction
KR102382602B1 (ko) 3d 인공신경망 네트워크 기반 콘빔 아티팩트 보정 시스템 및 방법
CN117392259B (zh) 一种双视角跨模态重建ct影像的方法
Mangalagiri et al. Toward generating synthetic CT volumes using a 3D-conditional generative adversarial network
CN116542868A (zh) 基于注意力的生成对抗网络的x胸片肋骨影像的抑制方法
CN116630738A (zh) 一种基于深度卷积稀疏表示重建网络的能谱ct成像方法
Xia et al. Dynamic controllable residual generative adversarial network for low-dose computed tomography imaging
Chang et al. Deep learning image transformation under radon transform
Oulbacha et al. MRI to C‐arm spine registration through Pseudo‐3D CycleGANs with differentiable histograms
Sun et al. Clinical ultra‐high resolution CT scans enabled by using a generative adversarial network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant