CN117392259A - 一种双视角跨模态重建ct影像的方法 - Google Patents
一种双视角跨模态重建ct影像的方法 Download PDFInfo
- Publication number
- CN117392259A CN117392259A CN202311687658.XA CN202311687658A CN117392259A CN 117392259 A CN117392259 A CN 117392259A CN 202311687658 A CN202311687658 A CN 202311687658A CN 117392259 A CN117392259 A CN 117392259A
- Authority
- CN
- China
- Prior art keywords
- loss
- images
- image
- reconstruction
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000009792 diffusion process Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000002591 computed tomography Methods 0.000 claims description 116
- 230000006870 function Effects 0.000 claims description 16
- LJROKJGQSPMTKB-UHFFFAOYSA-N 4-[(4-hydroxyphenyl)-pyridin-2-ylmethyl]phenol Chemical compound C1=CC(O)=CC=C1C(C=1N=CC=CC=1)C1=CC=C(O)C=C1 LJROKJGQSPMTKB-UHFFFAOYSA-N 0.000 claims description 12
- 230000009977 dual effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000003745 diagnosis Methods 0.000 claims description 5
- 210000004072 lung Anatomy 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000008034 disappearance Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000004880 explosion Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000005855 radiation Effects 0.000 abstract description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013152 interventional procedure Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提出了一种双视角跨模态重建CT影像的方法,涉及医学CT影像领域。该方法将扩散模型和GAN网络结合在一起,可以在保持生成高质量CT影像和多样性的前提下,提高生成速度,减少模型训练难度。本发明能够充分利用双视角影像的优势,并在重建过程中有效融合它们的信息,从而提高重建CT影像的质量和准确性。同时,针对原有三维投影损失函数存在的问题,本发明设计了一种改进的三维投影损失函数,通过使用Charbonnier损失替代原本的L1损失,重建的CT影像在感官上更加真实,并且避免了过度平滑的问题,有效提高了三维物体的重建精度。本发明可以大大减少获取高质量CT影像过程中的受辐射剂量,在医学影像重建领域具有广泛的应用前景。
Description
技术领域
本发明涉及医学CT影像领域,尤其涉及一种双视角跨模态重建CT影像的方法。
背景技术
CT图像在介入手术治疗及放射性治疗中有着重要的临床价值。而常规剂量CT(Normal dose CT,NDCT)检查过程中会产生辐射,会对人体造成不可忽视的伤害。因此,在临床上通常采用如:降低管电压、管电流、曝光时间等方法获得低剂量CT影像(Low doseCT,LDCT)。但低剂量CT影像常伴随着条纹伪影及斑点噪声,可能会影响医生的诊断,甚至造成误诊、漏诊等严重医疗事故。
相比于传统重建方法,深度学习方法的研究重点是追求低辐射剂量、高图像质量和快速重建速度的有机统一。深度学习方法通过深度神经网络直接或间接的学习低剂量CT图到正常剂量CT图之间的映射,主要解决的是同一维度的数据迁移,本质为将LDCT重建为NDCT或对初步重建后的图像进行去噪处理。这需要大量的LDCT和NDCT图像进行配对,将数据输入到深度神经网络中进行模型训练,LDCT和NDCT图像如图1所示;
现今主流的CT重建框架解决的是同一维度的数据迁移问题,本质是将CT重建过程等价于一个图像去噪过程,重建后的CT影像仍然会包含难以去除的噪声并且丢失一部分初始信息,严重阻碍它作为计算机辅助诊断的广泛应用。
发明内容
为了更好的利用胸部CR、DR影像的边缘轮廓、位置、明暗等二维特征,设计一个特殊的生成器将数据维度从二维升到三维,使得网络的二维特征信息能够作用于三维输出,实现双视角CR、DR影像重建CT影像的跨模态重建过程,本发明提出了一种双视角跨模态重建CT影像的方法,包含以下步骤:
步骤1:下载CT影像数据集,使用数字重建影像技术,模拟X射线对3D重建肺部进行透射,生成虚拟冠状面和矢状面的双视角CR、DR影像,然后使用CycleGAN模型学习真实X光片的数据分布,使虚拟双视角CR、DR影像的数据分布贴合真实CR、DR影像的数据分布;
步骤2:线下采集若干例胸部CR、DR影像,并将采集的胸部CR、DR影像与CT影像配对数据进行相应的预处理,使用CycleGAN模型学习真实X光片的数据分布,使得学习到的与CT影像概率分布更贴近真实分布,符合影像科医生的诊断标准;
步骤3:建立X2CT-DDPMGAN网络,通过输入两张正交的胸部CR、DR影像跨模态生成CT影像,网络建立的具体步骤如下:
1)建立扩散模型:两张正交的胸部CR、DR影像作为初始图像,对初始图像增加T轮高斯噪声,生成T张图像,表示为x 1 ,x 2 ……x i …x t ;计算图像x t-1 和x t 的数据分布,通过双视角信息融合模块将增加了T轮高斯噪声的二双视角胸部CR、DR影像融合为三维的CT t-1 和CT t ,前向扩散过程x t 的数据分布计算如下:
(1)
其中为超参数,/>设定为0.0001到0.002的T步线性插值;/>,/>为高斯分布,任意时刻x t 都可由x 0 和/>表示;
2)在X2CT-GAN网络结构中改进三维投影损失函数,投影损失中将X2CT-GAN网络中的三维投影损失的L1损失替换为Charbonnier损失,得到改进后的条件生成对抗网络,具体如下:
在最小二乘生成对抗网络中,网络通过最小化损失函数来得到最接近真实的CT影像;其中,损失函数由生成损失和DDPM损失两部分组成,生成损失包括对抗损失、重建损失/>和投影损失/>,生成损失的计算如下:
(2)
其中,D * 为判别器的生成损失,判别器输出0到1之间的概率值;1代表判别器认为这个影像是真实的,0代表判别器认为是虚假的,0.5代表判别器无法判断是真是假;G * 为生成器的生成损失;、/>和/>是超参数,控制对抗损失、重建损失和投影损失的权重;
对抗损失定义如式(3)所示,x为输入的两张正交的双视角胸部CR、DR影像,y是其对应的CT影像数据,/>为对CT影像的概率分布求期望,/>为对CR、DR影像的概率分布求期望;/>代表判别器直接对真实CT影像y打分,代表输入CR、DR影像通过生成器G,生成了一个CT影像/>,判别器对其打分;LSGAN训练更加稳定并且可以捕捉更多真实细节,使生成数据接近真实数据分布:
(3)
重建损失基于均方误差定义如式(4)所示,x、y定义均如式(3),重建损失可以对三维空间中每一个像素点都进行相应的约束,使重建结果在形状上和输入信息保持一致性:
(4)
其中,为对y与G(x)的概率分布求期望,/>为真实CT影像与生成CT影像作像素值之差的L2损失的平方;
投影损失中将X2CT-GAN网络中的三维投影损失的L1损失替换为Charbonnier损失,L1损失如式(5)所示,y i 代表真实数据分布,f(x i )代表估计数据分布,n表示CT投影平面的像素总数;
(5)
如式(6),Charbonnier Loss 损失在L1损失的基础之上增加一个无穷小量,使得损失函数在0点附近仍然可导,避免了梯度消失和梯度爆炸;
(6)
改进投影损失使得生成的CT影像具有真实感,提高重建精度,对横断面、冠状面和矢状面的投影施加约束,其中P ax ,P co ,P sa 分别代表CT数据在横断面、冠状面以及矢状面的二维投影,投影损失如式(7)所示,其中表示作Charbonnier loss ;
(7)
3)在条件生成对抗网络中增加前向扩散过程,使扩散模型和改进后的条件生成对抗网络结合生成需要的CT影像,在保持生成高质量CT影像和多样性的前提下,提高生成速度,减少模型训练难度,具体如下:
DDPM损失的计算:
(8)
其中,L为DDPM损失,为/>对/>与差值的绝对值平方求期望,/>表示/>的估计值,/>为高斯分布;
DDPM损失通过预测前向扩散过程中每一步的高斯分布,通过式(9)、(10)计算得到均值和方差/>,进而通过式(11)计算估计值/>,获得前向扩散过程中每一步添加的高斯噪声的近似值;
(9)
(10)
(11)
4)生成器G生成CT影像CT0 ’后,与前向扩散过程一样,对CT’0添加T-1轮高斯噪声得到CT’t-1, CT’t-1与CTt-1、CTt一起送入判别器D中进行判断真伪,其中CTt-1为前向过程中的影像,CT’t-1为生成影像, CTt作为监督条件,代表T-1时刻的下一时刻,辅助判别器D判断真伪;随着训练过程中不断最小化损失函数,网络逐渐完整地学习到CR、DR影像到CT影像的映射关系,直到判别器D打分等于0.5时,说明判别器D难以判断真伪,得到训练好的模型。
本发明的有益效果为:创新了一种新型的双视角CR、DR影像跨模态重建CT影像结构,并命名为X2CT-DDPMGAN网络,以及一种有效的改进三维投影损失函数,以便在训练过程中直接对横断面、冠状面以及矢状面的投影施加约束,提高三维物体的重建精度,使得重建的CT影像在感官上具有真实感。
附图说明
图1为LDCT和NDCT图像。
图2为X2CT-DDPMGAN网络结构。
图3为生成结果对比图。
具体实施方式
现今主流的CT重建框架解决的是同一维度的数据迁移问题,本质是将CT重建过程等价于一个图像去噪过程,重建后的CT影像仍然会包含难以去除的噪声并且丢失一部分初始信息,严重阻碍它作为计算机辅助诊断的广泛应用。为了更好的利用胸部CR、DR影像的边缘轮廓、位置、明暗等二维特征,设计一个特殊的生成器将数据维度从二维升到三维,使得网络的二维特征信息能够作用于三维输出,实现双视角CR、DR影像重建CT影像的跨模态重建过程。基于此,本文在原有的X2CT-GAN框架的基础上,将扩散模型和X2CT-GAN相结合,如图2所示设计X2CT-DDPMGAN网络,在保持生成高质量结果和多样性的前提下,提高生成速度。
本发明提出了一种双视角跨模态重建CT影像的方法,包含以下步骤:
步骤1:下载LIDC-IDRI数据集,该数据集包括1018个CT影像。现今尚不存在胸部CR、DR影像与CT影像的配对数据集,因此需要使用数字重建影像(DigitallyReconstructed Radiographs, DRR)技术,模拟X射线对3D重建肺部进行透射,生成虚拟冠状面和矢状面的双视角CR、DR影像,然后使用CycleGAN模型学习真实X光片的数据分布,使虚拟双视角CR、DR影像的数据分布贴合真实CR、DR影像的数据分布。
步骤2:线下采集若干例胸部CR、DR影像,并将采集的胸部CR、DR影像与CT影像配对数据进行相应的预处理,预处理过程与步骤1中CT数据集的过程相同,使得学习到的与CT影像概率分布更贴近真实分布,符合影像科医生的诊断标准。
步骤3:建立X2CT-DDPMGAN网络,通过输入两张正交的胸部CR、DR影像跨模态生成CT影像,网络建立的具体步骤如下:
1)建立扩散模型:两张正交的胸部CR、DR影像作为初始图像,对初始图像增加T轮高斯噪声,生成T张图像——x 1 ,x 2 ……x i …x t ;计算图像x t-1 和x t 的数据分布,通过双视角信息融合模块将增加了T轮高斯噪声的二双视角胸部CR、DR影像融合为三维的CT t-1 和CT t ,如图2所示。前向扩散过程的数据分布计算如下:
(1)
其中为超参数,通过/>的不断减小,可以直接计算出x t 的分布,当t趋近于无穷时,x t 趋近于纯噪声分布;/>设定为0.0001到0.002的T步线性插值,其中T是添加高斯噪声的轮数,如果T=2000,那么说明0.0001-0.002之间有2000个数,每个数是一个/>;,/>为高斯分布,任意时刻x t 都可由x 0 和/>表示;
2)在原本的X2CT-GAN网络结构中改进三维投影损失函数,投影损失中将X2CT-GAN网络中的三维投影损失的L1损失替换为Charbonnier损失,得到改进后的条件生成对抗网络(Conditional Generative Adversarial Nets, CGAN),具体如下:
本实施例的条件生成对抗网络采用最小二乘生成对抗网络(Least SquareGenerative Adversarial Nets, LSGAN),网络通过最小化损失函数来得到最接近真实的CT影像。其中,损失函数由生成损失和DDPM损失两部分组成,生成损失包括对抗损失、重建损失/>和投影损失/>,生成损失的计算如下:
(2)
其中,D * 为判别器的生成损失,判别器输出0到1之间的概率值;1代表判别器认为这个影像是真实的,0代表判别器认为是虚假的,0.5代表判别器无法判断是真是假;G * 为生成器的生成损失;、/>和/>是超参数,控制对抗损失、重建损失和投影损失的权重;由双视角胸部CR、DR影像重建CT影像的任务中,对抗损失肩负着捕捉局部细节的重要角色,但是全局的形状一致性应该在重建过程中占主导地位,基于这个考量,/>、/>和/>分别设置为0.1、10、10。
对抗损失定义如式(3)所示,x为输入的两张正交的双视角胸部CR、DR影像,y是其对应的CT影像数据,/>为对CT影像的概率分布求期望,/>为对CR、DR影像的概率分布求期望;/>代表判别器直接对真实CT影像y打分,代表输入CR、DR影像通过生成器G,生成了一个CT影像/>,判别器对其打分;LSGAN训练更加稳定并且可以捕捉更多真实细节,使生成数据接近真实数据分布:
(3)
重建损失基于均方误差(Mean Squared Error, MSE)定义如式(4)所示,x、y定义均如式(3),重建损失可以对三维空间中每一个像素点都进行相应的约束,使重建结果在形状上和输入信息保持一致性:
(4)
其中,为对y与G(x)的概率分布求期望,/>为真实CT影像与生成CT影像作像素值之差的L2损失的平方。
投影损失中将X2CT-GAN网络中的三维投影损失的L1损失替换为Charbonnier损失,L1损失如式(5)所示,y i 代表真实数据分布,f(x i )代表估计数据分布,n表示CT投影平面的像素总数;
(5)
如式(6),Charbonnier Loss 损失在L1损失的基础之上增加一个无穷小量,使得损失函数在0点附近仍然可导,避免了梯度消失和梯度爆炸;通常/>=0.000001。
(6)
改进投影损失使得生成的CT影像具有真实感,提高重建精度,对横断面、冠状面和矢状面的投影施加约束,其中P ax ,P co ,P sa 分别代表CT数据在横断面、冠状面以及矢状面的二维投影,投影损失如式(7)所示,其中表示作Charbonnier loss ;
(7)
3)在改进后的条件生成对抗网络中增加前向扩散过程,使扩散模型和CGAN结合生成需要的CT影像,可以在保持生成高质量CT影像和多样性的前提下,提高生成速度,减少模型训练难度,具体如下:
DDPM损失的计算:
(8)
其中,L为DDPM损失,为/>对/>与差值的绝对值平方求期望,/>表示/>的估计值,/>为高斯分布;
DDPM损失通过预测前向扩散过程中每一步的高斯分布,通过式(9)、(10)计算得到均值和方差/>,进而通过式(11)计算估计值/>,获得前向扩散过程中每一步添加的高斯噪声的近似值;
(9)
(10)
(11)
4)生成器G生成CT影像CT0 ’后,与前向扩散过程一样,对CT’0添加T-1轮高斯噪声得到CT’t-1, CT’t-1与CTt-1、CTt一起送入判别器D中进行判断真伪,其中CTt-1为前向过程中的影像,CT’t-1为生成影像, CTt作为监督条件,代表T-1时刻的下一时刻,辅助判别器D判断真伪。随着训练过程中不断最小化损失函数,网络逐渐完整地学习到CR、DR影像到CT影像的映射关系,直到判别器D打分等于0.5时,说明判别器D难以判断真伪,得到训练好的模型。
生成结果如图3所示,其中a列是输入的CR、DR图像,a(1)是正位图像,a(2)是侧位图像,b列是原始图像,c列是单视角重建 CT图像,d是X2CT-GAN的重建CT影像,e是本方法重建的CT影像。可以看出,在清晰度方面,本方法和X2CT-GAN的重建CT图像要明显清晰于单视角重建CT图像,本方法重建的CT图像的还原度明显高于X2CT-GAN的重建CT图像。尽管可以生成出CT序列切片的大部分区域,但是肺部的细节生成部分质量仍有提高的空间。
此外,我们采用峰值信噪比 (Peak Signal-to-Noise Ratio, PSNR)和结构相似性 (Structure Similarity Index Measure, SSIM)作为评价指标用以评估模型的性能。PSNR被用作评价重建数字信号的质量,PSNR越大,重建影像的质量越好。SSIM是衡量两张数字影像相似性的指标,SSIM越大,重建影像与真实影像的相似度越高。X2CT-DDPMGAN与X2CT-GAN的指标对比如表1,本发明模型的PSNR和SSIM指标均优于X2CT-GAN模型,说明了本发明模型的有效性。
表1定量指标对比
Methods | PSNR (dB) | SSIM |
X2CT-GAN | 26.19(±0.13) | 0.656(±0.008) |
X2CT-DDPMGAN | 30.46(±0.04) | 0.713(±0.004) |
Claims (2)
1.一种双视角跨模态重建CT影像的方法,其特征在于,包含以下步骤:
步骤1:下载CT影像数据集,使用数字重建影像技术,模拟X射线对3D重建肺部进行透射,生成虚拟冠状面和矢状面的双视角CR、DR影像,然后使用CycleGAN模型学习真实X光片的数据分布,使虚拟双视角CR、DR影像的数据分布贴合真实CR、DR影像的数据分布;
步骤2:线下采集若干例胸部CR、DR影像,并将采集的胸部CR、DR影像与CT影像配对数据进行相应的预处理,使用CycleGAN模型学习真实X光片的数据分布,使得学习到的与CT影像概率分布更贴近真实分布,符合影像科医生的诊断标准;
步骤3:建立X2CT-DDPMGAN网络,通过输入两张正交的胸部CR、DR影像跨模态生成CT影像,网络建立的具体步骤如下:
1)建立扩散模型:两张正交的胸部CR、DR影像作为初始图像,对初始图像增加T轮高斯噪声,生成T张图像,表示为x 1 ,x 2 ……x i …x t ;计算图像x t-1 和x t 的数据分布,通过双视角信息融合模块将增加了T轮高斯噪声的二双视角胸部CR、DR影像融合为三维的CT t-1 和CT t ,前向扩散过程x t 的数据分布计算如下:
(1)
其中为超参数,/>设定为0.0001到0.002的T步线性插值;/>,/>为高斯分布,任意时刻x t 都可由x 0 和/>表示;
2)在X2CT-GAN网络结构中改进三维投影损失函数,投影损失中将X2CT-GAN网络中的三维投影损失的L1损失替换为Charbonnier损失,得到改进后的条件生成对抗网络,具体如下:
在最小二乘生成对抗网络中,网络通过最小化损失函数来得到最接近真实的CT影像;其中,损失函数由生成损失和DDPM损失两部分组成,生成损失包括对抗损失、重建损失/>和投影损失/>,生成损失的计算如下:
(2)
其中,D * 为判别器的生成损失,判别器输出0到1之间的概率值;1代表判别器认为这个影像是真实的,0代表判别器认为是虚假的,0.5代表判别器无法判断是真是假;G * 为生成器的生成损失;、/>和/>是超参数,控制对抗损失、重建损失和投影损失的权重;
对抗损失定义如式(3)所示,x为输入的两张正交的双视角胸部CR、DR影像,y是其对应的CT影像数据,/>为对CT影像的概率分布求期望,/>为对CR、DR影像的概率分布求期望;/>代表判别器直接对真实CT影像y打分,代表输入CR、DR影像通过生成器G,生成了一个CT影像/>,判别器对其打分;LSGAN训练更加稳定并且可以捕捉更多真实细节,使生成数据接近真实数据分布:
(3)
重建损失基于均方误差定义如式(4)所示,x、y定义均如式(3),重建损失可以对三维空间中每一个像素点都进行相应的约束,使重建结果在形状上和输入信息保持一致性:
(4)
其中,为对y与G(x)的概率分布求期望,/>为真实CT影像与生成CT影像作像素值之差的L2损失的平方;
投影损失中将X2CT-GAN网络中的三维投影损失的L1损失替换为Charbonnier损失,L1损失如式(5)所示,y i 代表真实数据分布, f(x i )代表估计数据分布,n表示CT投影平面的像素总数;
(5)
如式(6),Charbonnier Loss 损失在L1损失的基础之上增加一个无穷小量,使得损失函数在0点附近仍然可导,避免了梯度消失和梯度爆炸;
(6)
改进投影损失使得生成的CT影像具有真实感,提高重建精度,对横断面、冠状面和矢状面的投影施加约束,其中P ax ,P co ,P sa 分别代表CT数据在横断面、冠状面以及矢状面的二维投影,投影损失如式(7)所示,其中表示作Charbonnier loss ;
(7)
3)在条件生成对抗网络中增加前向扩散过程,使扩散模型和改进后的条件生成对抗网络结合生成需要的CT影像,在保持生成高质量CT影像和多样性的前提下,提高生成速度,减少模型训练难度,具体如下:
DDPM损失的计算:
(8)
其中,L为DDPM损失,为/>对/>与差值的绝对值平方求期望,/>表示/>的估计值,/>为高斯分布;
DDPM损失通过预测前向扩散过程中每一步的高斯分布,通过式(9)、(10)计算得到均值和方差/>,进而通过式(11)计算估计值/>,获得前向扩散过程中每一步添加的高斯噪声的近似值;
(9)
(10)
(11)
4)生成器G生成CT影像CT0 ’后,与前向扩散过程一样,对CT’0添加T-1轮高斯噪声得到CT’t-1, CT’t-1与CTt-1、CTt一起送入判别器D中进行判断真伪,其中CTt-1为前向过程中的影像,CT’t-1为生成影像, CTt作为监督条件,代表T-1时刻的下一时刻,辅助判别器D判断真伪;随着训练过程中不断最小化损失函数,网络逐渐完整地学习到CR、DR影像到CT影像的映射关系,直到判别器D打分等于0.5时,说明判别器D难以判断真伪,得到训练好的模型。
2.根据权利要求1所述的一种双视角跨模态重建CT影像的方法,其特征在于,、/>和分别设置为0.1、10、10;/>为0.000001。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311687658.XA CN117392259B (zh) | 2023-12-11 | 2023-12-11 | 一种双视角跨模态重建ct影像的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311687658.XA CN117392259B (zh) | 2023-12-11 | 2023-12-11 | 一种双视角跨模态重建ct影像的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117392259A true CN117392259A (zh) | 2024-01-12 |
CN117392259B CN117392259B (zh) | 2024-04-16 |
Family
ID=89468688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311687658.XA Active CN117392259B (zh) | 2023-12-11 | 2023-12-11 | 一种双视角跨模态重建ct影像的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117392259B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6324241B1 (en) * | 1999-12-30 | 2001-11-27 | Ge Medical Systems Global Technology Company, Llc | Method and apparatus for CT reconstruction |
CN109813259A (zh) * | 2019-01-18 | 2019-05-28 | 中北大学 | 融合ct成像方法、存储介质和装置 |
CN111127579A (zh) * | 2019-12-26 | 2020-05-08 | 南京安科医疗科技有限公司 | 一种基于神经网络去锥形束伪影的ct重建方法 |
CN114723842A (zh) * | 2022-05-24 | 2022-07-08 | 之江实验室 | 基于深度融合神经网络的稀疏视角ct成像方法和设备 |
CN116485655A (zh) * | 2023-05-10 | 2023-07-25 | 成都理工大学 | 一种基于扩散模型的ct图像超分辨率处理方法 |
CN116704061A (zh) * | 2023-05-04 | 2023-09-05 | 哈尔滨工业大学 | 一种基于Transformer的三维圆轨迹锥束CT滤波重建方法及系统 |
CN116958192A (zh) * | 2023-08-07 | 2023-10-27 | 天津大学 | 一种基于扩散模型的事件相机图像重建方法 |
CN116993848A (zh) * | 2023-07-21 | 2023-11-03 | 澳门理工大学 | Cbct图像重建方法、系统、计算机装置及存储介质 |
-
2023
- 2023-12-11 CN CN202311687658.XA patent/CN117392259B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6324241B1 (en) * | 1999-12-30 | 2001-11-27 | Ge Medical Systems Global Technology Company, Llc | Method and apparatus for CT reconstruction |
CN109813259A (zh) * | 2019-01-18 | 2019-05-28 | 中北大学 | 融合ct成像方法、存储介质和装置 |
CN111127579A (zh) * | 2019-12-26 | 2020-05-08 | 南京安科医疗科技有限公司 | 一种基于神经网络去锥形束伪影的ct重建方法 |
CN114723842A (zh) * | 2022-05-24 | 2022-07-08 | 之江实验室 | 基于深度融合神经网络的稀疏视角ct成像方法和设备 |
CN116704061A (zh) * | 2023-05-04 | 2023-09-05 | 哈尔滨工业大学 | 一种基于Transformer的三维圆轨迹锥束CT滤波重建方法及系统 |
CN116485655A (zh) * | 2023-05-10 | 2023-07-25 | 成都理工大学 | 一种基于扩散模型的ct图像超分辨率处理方法 |
CN116993848A (zh) * | 2023-07-21 | 2023-11-03 | 澳门理工大学 | Cbct图像重建方法、系统、计算机装置及存储介质 |
CN116958192A (zh) * | 2023-08-07 | 2023-10-27 | 天津大学 | 一种基于扩散模型的事件相机图像重建方法 |
Non-Patent Citations (2)
Title |
---|
JUNBO PENG等: "CBCT-Based Synthetic CT Image Generation Using Conditional Denoising Diffusion Probabilistic Model", 《ARXIV》, 5 March 2023 (2023-03-05), pages 1 - 21 * |
邸江磊等: "基于深度学习的稀疏或有限角度CT重建方法研究综述", 《激光与光电子学进展》, vol. 60, no. 8, 30 April 2023 (2023-04-30), pages 1 - 38 * |
Also Published As
Publication number | Publication date |
---|---|
CN117392259B (zh) | 2024-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110047128B (zh) | 从几个x射线放射照片3d重建x射线ct体积和分割掩模的方法和系统 | |
US10734116B2 (en) | Remote cloud based medical image sharing and rendering semi-automated or fully automated network and/or web-based, 3D and/or 4D imaging of anatomy for training, rehearsing and/or conducting medical procedures, using multiple standard X-ray and/or other imaging projections, without a need for special hardware and/or systems and/or pre-processing/analysis of a captured image data | |
CN109697741A (zh) | 一种pet图像重建方法、装置、设备及介质 | |
Xie et al. | Scatter artifacts removal using learning-based method for CBCT in IGRT system | |
Liao et al. | Adversarial sparse-view CBCT artifact reduction | |
CN111260748B (zh) | 基于神经网络的数字合成x射线层析成像方法 | |
CN112598649B (zh) | 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法 | |
Huang et al. | U‐net‐based deformation vector field estimation for motion‐compensated 4D‐CBCT reconstruction | |
WO2017011337A1 (en) | Remote cloud based medical image sharing and rendering | |
Sakamoto et al. | Bayesian segmentation of hip and thigh muscles in metal artifact-contaminated CT using convolutional neural network-enhanced normalized metal artifact reduction | |
Ratul et al. | CCX-rayNet: a class conditioned convolutional neural network for biplanar X-rays to CT volume | |
Zhang et al. | DREAM-Net: Deep residual error iterative minimization network for sparse-view CT reconstruction | |
Liu et al. | A two-step method to improve image quality of CBCT with phantom-based supervised and patient-based unsupervised learning strategies | |
CN116664429A (zh) | 一种半监督式去除多能谱ct影像中金属伪影的方法 | |
Wang et al. | A self-supervised guided knowledge distillation framework for unpaired low-dose CT image denoising | |
EP4292051A1 (en) | Metal artifact reduction algorithm for ct-guided interventional procedures | |
CN117392259B (zh) | 一种双视角跨模态重建ct影像的方法 | |
Xia et al. | Dynamic controllable residual generative adversarial network for low-dose computed tomography imaging | |
CN111080736A (zh) | 一种基于稀疏变换的低剂量ct图像重建方法 | |
Chang et al. | Deep learning image transformation under radon transform | |
CN116542868A (zh) | 基于注意力的生成对抗网络的x胸片肋骨影像的抑制方法 | |
Park et al. | NeBLa: Neural Beer-Lambert for 3D Reconstruction of Oral Structures from Panoramic Radiographs | |
Sun et al. | Clinical ultra‐high resolution CT scans enabled by using a generative adversarial network | |
Bai et al. | Deep High-Resolution Network for Low Dose X-ray CT Denoising | |
Cao et al. | A 4D-CBCT correction network based on contrastive learning for dose calculation in lung cancer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |