CN109146988B - 基于vaegan的非完全投影ct图像重建方法 - Google Patents
基于vaegan的非完全投影ct图像重建方法 Download PDFInfo
- Publication number
- CN109146988B CN109146988B CN201810674145.8A CN201810674145A CN109146988B CN 109146988 B CN109146988 B CN 109146988B CN 201810674145 A CN201810674145 A CN 201810674145A CN 109146988 B CN109146988 B CN 109146988B
- Authority
- CN
- China
- Prior art keywords
- image
- vaegan
- projection data
- hidden variable
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于VAEGAN的非完全投影CT图像重建方法,包括:首先,完全投影数据的正弦图像来训练VAEGAN模型,获得可以生成高质量正弦图像的VAEGAN模型;其次,利用已训练的模型对不完全投影数据正弦图缺失部分进行预测,进而可以获取到补全的投影数据;最后,使用卷积滤波反投影(Filtered Back‑Projection,FBP)方法从补全的投影数据图像中重建出CT图像。本发明能够预测缺失投影数据并进一步重建出符合临床诊断、高质量的CT图像。
Description
技术领域
本发明涉及医学图像处理技术领域,尤其涉及一种基于VAEGAN(VariationalAuto Encoder Generative Adversarial Network,变分自编码器生成式对抗网络)的非完全投影CT(Computerized Tomography,计算机断层显象)图像重建方法。
背景技术
作为目前一种常规有效的临床医学诊断工具,X射线计算机断层成像技术(Computerized Tomography,CT)为临床医生的诊断提供了丰富的人体器官组织信息。但是由相关研究表明:一次完全的CT扫描通常伴随着较高程度的电离辐射,而高剂量电离辐射可诱发人体新陈代谢异常乃至癌症、白血病等疾病。因此,如何在降低X射线使用剂量的同时,保证重建图像质量满足临床诊断要求成为医学图像处理领域研究的重点。
临床上减少病患辐射量的重要方法之一就是减小CT扫描范围,即将探测器的旋转角度范围限制在某个小于标准的区间内,从而在总体上大幅减少了患者所受X射线辐射量。虽然限制CT设备扫描范围能够降低患者所受X射线辐射量,但同时会造成所获CT投影数据部分缺失,即获得的是非完全投影数据,使重建CT图像质量明显下降,以至于无法满足临床诊断的需要。
为改善重建的CT图像,现有技术中常用的方法分为两大类:基于投影的方法和基于图像的方法。基于投影的方法是在重建CT图像之前估计缺失的投影,预测缺失的投影最直接的方法是定向插值,另一种基于投影的方法是图像矩方法,其建立图像矩与其投影矩之间的关系以估计来自已知投影的未知投影。其不足之处在于:无法处理截断投影数据,实验效果一般。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种基于VAEGAN的非完全投影CT图像重建方法,解决现有技术中重建CT图像质量差、无法满足临床诊断需要的技术问题。
为解决上述技术问题,本发明所采用的技术方案是:基于VAEGAN的非完全投影CT图像重建方法,包括如下步骤:
构建VAEGAN模型;
利用完全投影数据的正弦图像来训练VAEGAN模型;
将不完全投影数据的正弦图像输入至已训练好的VAEGAN模型,获取生成图像并对不完全投影数据的正弦图像缺失部分进行预测,获取补全正弦图像;
进一步获取对应的补全投影数据,根据补全投影数据重建CT图像。
进一步的,所述VAEGAN模型包括:编码器、生成器和判别器,主要包含:卷积层、修正线性单元层、批标准化层和全连接层。
进一步的,训练VAEGAN模型的具体方法如下:
获取若干张CT图像及其对应的完全投影数据和不完全投影数据,将完全投影数据的正弦图像作为训练图像,将不完全投影数据的正弦图像作为测试图像;
利用变分自编码器的基于卷积神经网络的编码器提取训练图像的隐变量特征;
使隐变量特征的先验概率分布拟合多维高斯分布,对隐变量特征进行优化;
将优化后的隐变量特征作为生成器的输入数据,将低维隐变量特征映射为生成图像;
将训练图像和生成图像作为判别器的输入参数,使用交叉熵作为损失函数衡量生成图像和训练图像的相似性并进一步优化编码器、生成器和判别器;
重复上述步骤,直至超过预设模型训练次数。
进一步的,采用标准为高斯分布的KL散度使隐变量特征的先验概率分布拟合多维高斯分布。
进一步的,采用随机梯度下降法对编码器、生成器和判别器进行优化。
进一步的,利用FBP方法根据补全投影数据重建CT图像。
与现有技术相比,本发明所达到的有益效果是:
本发明在不完全投影数据条件下重建出符合临床诊断要求、高质量的CT图像,即在保证重建图像质量的前提下,有效地减少患者所受X射线辐射量,有效缩短锥形束投影数据的获取时间,提高临床诊断效率。
附图说明
图1是本发明方法的流程图;
图2是本发明中VAEGAN模型的结构示意图。
具体实施方式
本发明方法分为训练阶段和测试阶段,步骤包括:首先,完全投影数据的正弦图像来训练VAEGAN模型,获得可以生成高质量正弦图像的VAEGAN模型;其次,利用已训练的模型对不完全投影数据正弦图缺失部分进行预测,进而可以获取到补全的投影数据;最后,使用卷积滤波反投影(Filtered Back-Projection,FBP)方法从补全的投影数据图像中重建出CT图像。本发明能够预测缺失投影数据并进一步重建出符合临床诊断、高质量的CT图像。
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
如图1所示,是本发明方法的流程图,包括如下步骤:
步骤一:构建VAEGAN模型;
如图2所示,是本发明中VAEGAN模型的结构示意图,VAEGAN模型包括:编码器、生成器和判别器,主要包含:卷积层、ReLU层、Batch Normalization层和Full Connect层,卷积层步长优选:2*2。
编码器E对输入正弦图像X提取低维度的隐变量特征Z,通过优化隐变量特征Z和标准维高斯分布的KL散度来使编码器E提取的隐变量特征Z尽可能拟合多维高斯分布。将隐变量特征Z作为生成器G的输入获取生成图像,通过优化期望对数似然函数和判别器反馈的损失函数至生成器G来改善生成图像。判别器D作为二分类器,来区分真实图像和生成图像,当生成图像越接近真实图像时,判别器D输出结果越接近1,相反的判别器D输出趋近于0。使用随机梯度下降法对编码器E、生成器G和判别器D进行参数优化:
其中,表示多维高斯分布提取特征的分布与从输入图像中提取的隐变量特征分布的KL散度,表示生成图像的重构损失;表示GAN损失;θ表示随机梯度下降法对损失函数的方向向量;表示使用随机梯度下降法对损失函数在θ方向上进行损失优化;γ为常数优化因子。
步骤二:利用完全投影数据的正弦图像来训练VAEGAN模型;
训练VAEGAN模型的具体方法如下:
步骤201:获取若干张CT图像及其对应的完全投影数据和不完全投影数据,将完全投影数据的正弦图像作为训练图像,将不完全投影数据的正弦图像作为测试图像。
步骤202:利用变分自编码器的基于卷积神经网络的编码器提取训练图像的隐变量特征;
变分自编码器生成对应的均值向量α和标准差向量μ获得隐变量特征向量z,所述隐变量特征向量z定义为:
式(4)中,ε是从多维高斯分布中采样的M维数据;
步骤203:采用标准为高斯分布的KL散度使隐变量特征的先验概率分布拟合多维高斯分布,对隐变量特征进行优化;
变分自编码器损失函数是期望似然函数和先验正则项之和的相反数:
其中
式中:p(z)表示多维高斯分布特征的概率分布,q(z|x)表示输入图像经过编码器获取隐变量特征的概率分布,p(x|z)表示优化后的隐变量经过解码器生成图像的概率分布;表示VAE损失函数;表示期望函数;表示重构错误函数;DKL()表示DK散度;p(z)服从多维高斯分布优化公式(6)是为了使测试图像经过VAEGAN模型后得到的生成图像能与测试图像尽可能相似,优化公式(7)的目的是使编码器输出的隐变量q(z|x)拟合p(z)。
步骤204:将优化后的隐变量特征作为生成器的输入数据,将低维隐变量特征映射为生成图像。
生成式对抗网络(Generative Adversarial Networks,GAN)的生成器网络(Generator Network)G(Z)将隐变量z映射到数据空间,同时判别器网络(DiscriminatorNetwork)D(X)对真实输入训练样本X以概率y=D(X)进行判别,对生成器网络生成的图像G(z)以1-y的概率判别。GAN的目标是寻找到一个可以最大可能的区分真实和生成数据的判别器,同时促进生成器网络的生成图像更加接近真实图像。GAN的目标是最大化或者最小化二进制交叉熵:
式中:D(x)表示判别器网络对训练输入图像的判别;z表示多维隐变量特征,G(z)表示输入为多维隐变量特征时生成器网络生成图像,x表示输入图像。
步骤205:将训练图像和生成图像作为判别器的输入参数,使用交叉熵作为损失函数衡量生成图像和训练图像的相似性并采用随机梯度下降法优化编码器、生成器和判别器;
GAN的判别器网络在图像的相似性检测具有鲁棒性,用来区分真实图像和生成图像。因此可以用判别器网络学习到的图像属性来代替VAE(Variational Autoencoder,变分自编码器)的更抽象的重构误差。因为公式(6)中的VAE重构损失不适用于图像,故利用GAN的判别器网络重构损失来替换VAE重构损失:
Dl(x)是判别器网络对输入为x的第l层的隐式表示,对Dl(x)引入高斯观测模型,令均值是Dl(x),一致性协方差:
根据VAE和GAN损失函数,使用联合损失函数L来训练VAEGAN模型:
式中:E()、G()和D()分别为编码器网络,生成器函数网络及判别器网络;x是输入图像,z是多维隐变量特征;
步骤206:重复步骤201~205,直至超过预设模型训练次数。
步骤三:将测试图像输入至已训练好的VAEGAN模型,获取生成图像并对测试图像的缺失部分进行预测,获取补全正弦图像;
已训练好的VAEGAN模型利用编码器E获取拟合多维高斯分布的隐变量特征,利用生成器G根据隐变量特征映射生成图像,使用生成图像来补全测试图像的缺失部分。
假设获取400张CT图像及其对应的完全投影数据,根据完全投影数据获取尺寸为180×256正弦图像,进一步调整正弦图像尺寸为128×128作为训练数据,对于VAEGAN模型中编码器、生成器和判别器的各参数设置如下表所示:
编码器(E) | 生成器(G) | 判别器(D) |
5×5 64 conv.↓,BNorm,Relu | 16*16*256 fully-connected,Bnorm,Relu | 5×5 32 conv.,Relu |
5×5 128 conv.↓,BNorm,Relu | 5×5 256 conv.↑,BNorm,Relu | 5×5 128 conv.↓,BNorm,Relu |
5×5 256 conv.↓,BNorm,Relu | 5×5 128 conv.↑,BNorm,Relu | 5×5 256 conv.↓,BNorm,Relu |
2048 fully-connected,Bnorm,Relu | 5×5 32 conv.↑,BNorm,Relu | 5×5 256 conv.↓,BNorm,Relu |
128 fully-connected | 5×5 1 conv.,tanh | 1 fully-connected,sigmoid |
128 fully-connected |
对VAEGAN模型进行批量训练,每次训练批量使用64张图像,经过编码器E和KL散度优化后生成64个128维的隐变量特征来拟合128维高斯分布。对多维高斯分布进行数据采样,将64个128维隐变量特征和128维高斯分布的采样利用生成器G生成的图像标记为0,将对应输入编码器的训练图像标记为1。判别器对训练真实图像和隐变量特征生成图像及高斯分布采样特征生成图像进行判别。最终VAEGAN模型可以提取符合多维高斯分布的隐变量特征,生成器G可以根据隐变量特征还原出真实图像。
步骤四:进一步获取对应的补全投影数据,使用卷积滤波反投影(Filtered Back-Projection,FBP)方法根据补全投影数据重建CT图像。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (4)
1.基于VAEGAN的非完全投影CT图像重建方法,其特征在于,包括如下步骤:
构建VAEGAN模型;
利用完全投影数据的正弦图像来训练VAEGAN模型;
将不完全投影数据的正弦图像输入至已训练好的VAEGAN模型,获取生成图像并对不完全投影数据的正弦图像缺失部分进行预测,获取补全正弦图像;
进一步获取对应的补全投影数据,根据补全投影数据重建CT图像;
所述VAEGAN模型包括:编码器、生成器和判别器,主要包含:卷积层、修正线性单元层、批标准化层和全连接层;
所述编码器,用于对输入正弦图像X提取低维度的隐变量特征Z,通过优化隐变量特征Z和标准维高斯分布的KL散度来使编码器E提取的隐变量特征Z尽可能拟合多维高斯分布;将隐变量特征Z作为生成器G的输入获取生成图像,通过优化期望对数似然函数和判别器反馈的损失函数至生成器G来改善生成图像;
判别器D作为二分类器,用于区分真实图像和生成图像,当生成图像越接近真实图像时,判别器D输出结果越接近1,相反的判别器D输出趋近于0;
使用随机梯度下降法对编码器E、生成器G和判别器D进行参数优化:
其中,Lpri表示多维高斯分布提取特征的分布与从输入图像中提取的隐变量特征分布的KL散度,表示生成图像的重构损失;LGAN表示GAN损失;θ表示随机梯度下降法对损失函数的方向向量;表示使用随机梯度下降法对损失函数在θ方向上进行损失优化;γ为常数优化因子;
训练VAEGAN模型的具体方法如下:
获取若干张CT图像及其对应的完全投影数据和不完全投影数据,将完全投影数据的正弦图像作为训练图像,将不完全投影数据的正弦图像作为测试图像;
利用变分自编码器的基于卷积神经网络的编码器提取训练图像的隐变量特征;
使隐变量特征的先验概率分布拟合多维高斯分布,对隐变量特征进行优化;
将优化后的隐变量特征作为生成器的输入数据,将低维隐变量特征映射为生成图像;
将训练图像和生成图像作为判别器的输入参数,使用交叉熵作为损失函数衡量生成图像和训练图像的相似性并进一步优化编码器、生成器和判别器;
重复上述步骤,直至超过预设模型训练次数。
2.根据权利要求1所述的基于VAEGAN的非完全投影CT图像重建方法,其特征在于,采用标准为高斯分布的KL散度使隐变量特征的先验概率分布拟合多维高斯分布。
3.根据权利要求1所述的基于VAEGAN的非完全投影CT图像重建方法,其特征在于,采用随机梯度下降法对编码器、生成器和判别器进行优化。
4.根据权利要求1所述的基于VAEGAN的非完全投影CT图像重建方法,其特征在于,利用FBP方法根据补全投影数据重建CT图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810674145.8A CN109146988B (zh) | 2018-06-27 | 2018-06-27 | 基于vaegan的非完全投影ct图像重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810674145.8A CN109146988B (zh) | 2018-06-27 | 2018-06-27 | 基于vaegan的非完全投影ct图像重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109146988A CN109146988A (zh) | 2019-01-04 |
CN109146988B true CN109146988B (zh) | 2022-08-30 |
Family
ID=64802294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810674145.8A Active CN109146988B (zh) | 2018-06-27 | 2018-06-27 | 基于vaegan的非完全投影ct图像重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109146988B (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109902746A (zh) * | 2019-03-01 | 2019-06-18 | 中南大学 | 非对称的细粒度红外图像生成系统及方法 |
US11195277B2 (en) * | 2019-04-25 | 2021-12-07 | GE Precision Healthcare LLC | Systems and methods for generating normative imaging data for medical image processing using deep learning |
CN110163267A (zh) * | 2019-05-09 | 2019-08-23 | 厦门美图之家科技有限公司 | 一种图像生成模型的训练方法和生成图像的方法 |
CN110264535A (zh) * | 2019-06-13 | 2019-09-20 | 明峰医疗系统股份有限公司 | 一种去除ct锥束伪影的重建方法 |
CN110348330B (zh) * | 2019-06-24 | 2022-06-14 | 电子科技大学 | 基于vae-acgan的人脸姿态虚拟视图生成方法 |
CN110636066B (zh) * | 2019-09-24 | 2021-10-19 | 中国民航大学 | 基于无监督生成推理的网络安全威胁态势评估方法 |
CN110728729B (zh) * | 2019-09-29 | 2023-05-26 | 天津大学 | 一种基于注意机制的无监督ct投影域数据恢复方法 |
CN111161398B (zh) * | 2019-12-06 | 2023-04-21 | 苏州智加科技有限公司 | 一种图像生成方法、装置、设备及存储介质 |
CN111127454A (zh) * | 2019-12-27 | 2020-05-08 | 上海交通大学 | 基于深度学习生成工业缺陷样本的方法及系统 |
CN113053356B (zh) * | 2019-12-27 | 2024-05-31 | 科大讯飞股份有限公司 | 语音波形生成方法、装置、服务器及存储介质 |
CN111260583A (zh) * | 2020-01-17 | 2020-06-09 | 南京邮电大学 | 基于多判别器的多重解析网络缺失ct投影数据估计方法 |
WO2021184389A1 (zh) * | 2020-03-20 | 2021-09-23 | 深圳先进技术研究院 | 一种图像重建方法、图像处理装置及具有存储功能的装置 |
CN111598805A (zh) * | 2020-05-13 | 2020-08-28 | 华中科技大学 | 一种基于vae-gan的对抗样本防御方法及系统 |
CN111833306B (zh) * | 2020-06-12 | 2024-02-13 | 北京百度网讯科技有限公司 | 缺陷检测方法和用于缺陷检测的模型训练方法 |
CN112116073A (zh) * | 2020-09-18 | 2020-12-22 | 神思电子技术股份有限公司 | 一种基于改进gan网络的高斯分布数据调整方法 |
CN112233227A (zh) * | 2020-10-20 | 2021-01-15 | 北京航星机器制造有限公司 | 一种ct投影图生成方法和装置 |
CN112508808B (zh) * | 2020-11-26 | 2023-08-01 | 中国人民解放军战略支援部队信息工程大学 | 基于生成对抗网络的ct双域联合金属伪影校正方法 |
CN112509089B (zh) * | 2020-11-26 | 2024-03-15 | 中国人民解放军战略支援部队信息工程大学 | 基于截断数据外推网络的ct局部重建方法 |
CN112967251B (zh) * | 2021-03-03 | 2024-06-04 | 网易(杭州)网络有限公司 | 图片检测方法、图片检测模型的训练方法及装置 |
CN113298895B (zh) * | 2021-06-18 | 2023-05-12 | 上海交通大学 | 一种面向收敛性保障的无监督双向生成自动编码方法及系统 |
CN117425920A (zh) * | 2022-04-20 | 2024-01-19 | 北京华睿博视医学影像技术有限公司 | 一种图像重建方法、装置、电子设备及存储介质 |
-
2018
- 2018-06-27 CN CN201810674145.8A patent/CN109146988B/zh active Active
Non-Patent Citations (1)
Title |
---|
基于卷积神经网络的有限视角CT重建;吴清江等;《电脑知识与技术》;20171230;第13卷(第35期);第204-207页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109146988A (zh) | 2019-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109146988B (zh) | 基于vaegan的非完全投影ct图像重建方法 | |
Kuanar et al. | Low dose abdominal CT image reconstruction: an unsupervised learning based approach | |
Heinrich et al. | Residual U-net convolutional neural network architecture for low-dose CT denoising | |
CN109816742B (zh) | 基于全连接卷积神经网络的锥束ct几何伪影去除方法 | |
CN112348936B (zh) | 一种基于深度学习的低剂量锥束ct图像重建方法 | |
CN110728729B (zh) | 一种基于注意机制的无监督ct投影域数据恢复方法 | |
CN108898642A (zh) | 一种基于卷积神经网络的稀疏角度ct成像方法 | |
CN109741254B (zh) | 字典训练及图像超分辨重建方法、系统、设备及存储介质 | |
Zhu et al. | Metal artifact reduction for X-ray computed tomography using U-net in image domain | |
CN112598649A (zh) | 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法 | |
CN113052935A (zh) | 渐进式学习的单视角ct重建方法 | |
CN110599530B (zh) | 基于双正则约束的mvct图像纹理增强方法 | |
CN111260583A (zh) | 基于多判别器的多重解析网络缺失ct投影数据估计方法 | |
CN105976412B (zh) | 一种基于离线字典稀疏正则化的低管电流强度扫描的ct图像重建方法 | |
Ikuta et al. | A deep recurrent neural network with FISTA optimization for CT metal artifact reduction | |
Li et al. | A multi-pronged evaluation for image normalization techniques | |
CN112581513B (zh) | 锥束计算机断层扫描图像特征提取与对应方法 | |
CN114331996A (zh) | 基于自编码解码器的医学影像分型方法及系统 | |
Wang et al. | Helical ct reconstruction from sparse-view data through exploiting the 3d anatomical structure sparsity | |
Mahmoud et al. | Variant Wasserstein Generative Adversarial Network Applied on Low Dose CT Image Denoising. | |
CN112967295A (zh) | 一种基于残差网络和注意力机制的图像处理方法及系统 | |
Colmeiro et al. | Whole body positron emission tomography attenuation correction map synthesizing using 3D deep generative adversarial networks | |
CN117173543B (zh) | 一种肺腺癌和肺结核的混合图像重构方法及系统 | |
Zhao et al. | A dual-channel network based GAN for low-dose CT image denoising | |
Cong et al. | Image Reconstruction from Sparse Low-Dose CT Data via Score Matching |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |