CN112446840A - 一种基于深度学习的ct图像黑带伪影消除方法及系统 - Google Patents
一种基于深度学习的ct图像黑带伪影消除方法及系统 Download PDFInfo
- Publication number
- CN112446840A CN112446840A CN202011417228.2A CN202011417228A CN112446840A CN 112446840 A CN112446840 A CN 112446840A CN 202011417228 A CN202011417228 A CN 202011417228A CN 112446840 A CN112446840 A CN 112446840A
- Authority
- CN
- China
- Prior art keywords
- image
- artifact
- network
- black
- cycle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013135 deep learning Methods 0.000 title claims abstract description 27
- 230000008030 elimination Effects 0.000 claims abstract description 37
- 238000003379 elimination reaction Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000010606 normalization Methods 0.000 claims abstract description 9
- 230000003044 adaptive effect Effects 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000012937 correction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 2
- 238000002591 computed tomography Methods 0.000 description 235
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于深度学习的CT图像黑带伪影消除方法,包括:采集有黑带伪影CT图像及与其不匹配的无黑带伪影CT图像;对有黑带伪影CT图像进行伪影消除;对无黑带伪影CT图像添加噪声;分别对上述四种CT图像进行归一化处理;构建Cycle‑GAN网络模型;利用处理后的有黑带伪影CT图像、无黑带伪影CT图像、CT值偏移的伪影消除CT图像及噪声CT图像对网络模型进行网络训练,直至网络模型的网络参数达到目标条件,得到训练后的网络模型;将待处理CT图像进行伪影消除,将伪影消除前、后的CT图像输入网络模型,得到CT图像。本发明在保证CT图像的整体CT值基本不变的情况下,使CT图像中的黑带伪影得到有效缓解。
Description
技术领域
本发明属于CT图像处理技术领域,具体涉及一种基于深度学习的CT图像黑带伪影消除方法及系统。
背景技术
电子计算机断层扫描(Computed Tomography,CT),利用精确准直的X线束与灵敏度极高的探测器一同围绕人体的某一部位做一个接一个的断面扫描,使人体组织结构以图片的形式展现给医生,以供医生诊断。传统的CT获取数据时间周期较长,为了防止CT图像中出现运动伪影,需要病人长时间保持静止状态,对于病人来说有些不切实际,因此螺旋CT应运而生,螺旋CT具有一次扫描可得重建不同层厚CT像的数据,以及成像速度快,能包容较大范围进行容积扫描等优点,但在重建CT图像时也容易产生锥形束伪影。
在CT图像中,高密度物质(如骨骼)和低密度物质(如软组织)经常会出现阴影或条纹伪影;在使用螺旋CT扫描身体时,螺旋CT本就容易产生锥形束伪影,如果扫描部位有很多特殊结构的骨骼,那么该部位的CT图像中在骨骼和软组织连接处较大概率产生黑带伪影,虽然传统改进的一些重建算法可以消除黑带伪影,但是需要经过多次迭代,花费时间长,无法满足临床扫描的要求。黑带伪影具有信息丢失严重和CT值偏移较大的特点,如果不对其进行矫正,有可能会出现漏诊和误诊的情况。
目前,使用two-pass算法、多通道减少锥束伪影算法、基于FOV-preserving双源几何的自适应双通道锥束伪影矫正算法等对CT图像中的黑带伪影进行矫正,虽然可以改善黑带伪影且图像细节保留完好,但是处理后的图像中可能会有新的伪影出现,且图像的CT值也会出现偏差。
近年来,深度学习技术逐渐被运用到医学图像处理中,且取得了较好成果。在消除CT图像中伪影时多采用监督算法,大致分为两种处理方式:
一、把收集到有黑带伪影的CT图像和与之对应的无黑带伪影CT图像直接用于训练卷积深度网络或生成对抗网络,训练出来模型可以使黑带伪影得到缓解,但是会出现CT图像整体CT值偏大的现象;
二、为了防止CT图像整体CT值偏大的现象试图先把黑带伪影分割出来,然后使用分割后的图像训练网络,这种方法看似可行,但是由于CT图像中的黑带伪影位置不固定且形状也不规则,无法准确地把CT图像的黑带伪影完全分割出来,而且图像分割也比较复杂。
以上两种深度学习算法都需要有配对的CT图像来训练网络,但在实际临床CT扫描中几乎无法获取有黑带CT图像和与之匹配的无黑带CT图像。由于监督深度学习算法的局限性,无监督算法被提了出来,如Cycle-GAN(Cycle Generative Adversarial Network,Cycle-GAN),DiscoGAN(cross-domain relation)等,使用不配对的自然图像训练Cycle-GAN用以实现不同域图像的转换。由于医学图像的特殊性,需要图像保留全部信息,且图像的像素值不能发生改变,如果仅仅使用有黑带CT图像和与之不匹配的无黑带CT图像训练Cycle-GAN等网络是无法在保证消除黑带伪影的同时保持CT图像的CT值不发生变化。
采用无监督方法即Cycle-GAN,理论上通过使用有黑带CT图像和与之不匹配的无黑带CT图像训练Cycle-GAN,是可以达到消除黑带伪影的目的,但存在以下两个不足之处:
一、CT图像中黑带伪影处的信息丢失非常严重,如果仅向去黑带伪影网络(G_AtoB)中输入有黑带伪影CT图像,网络无法把丢失的信息补偿回来;
二、在Cycle-GAN中起主要作用的两个损失函数对抗损失(adversarial loss)把源域图像分布拉向目标域的图像分布和循环一致性损失(cycle consistency loss)可以保证生成图像保留输入图像的大致轮廓,若仅依靠上述两种损失限制生成图像,与原图相比可能会出现一些图像细节变化甚至丢失的问题。
发明内容
基于现有技术中存在的上述缺点和不足,本发明的目的之一是至少解决现有技术中存在的上述问题之一或多个,换言之,本发明的目的之一是提供满足前述需求之一或多个的一种基于深度学习的CT图像黑带伪影消除方法及系统。
为了达到上述发明目的,本发明采用以下技术方案:
一种基于深度学习的CT图像黑带伪影消除方法,包括以下步骤:
S1、采集有黑带伪影CT图像及与其不匹配的无黑带伪影CT图像;
S2、对有黑带伪影CT图像进行伪影消除,得到CT值偏移的伪影消除CT图像;对无黑带伪影CT图像添加噪声,得到噪声CT图像;
S3、分别对有黑带伪影CT图像、无黑带伪影CT图像、CT值偏移的伪影消除CT图像及噪声CT图像进行归一化处理;
S4、构建Cycle-GAN网络模型;
S5、利用归一化处理后的有黑带伪影CT图像、无黑带伪影CT图像、CT值偏移的伪影消除CT图像及噪声CT图像对Cycle-GAN网络模型进行网络训练,直至Cycle-GAN网络模型的网络参数达到目标条件,得到训练后的Cycle-GAN网络模型;
S6、将待消除黑带伪影的CT图像进行伪影消除,然后将伪影消除前、后的CT图像输入训练后的Cycle-GAN网络模型,得到消除黑带伪影的CT图像。
作为优选方案,所述步骤S3,包括:
S31、分别对有黑带伪影CT图像、无黑带伪影CT图像、CT值偏移的伪影消除CT图像及噪声CT图像进行裁剪,得到分别对应四种CT图像的图像块;
S32、将所有图像块的CT值归一化至[0,1]。
作为优选方案,所述步骤S4中,Cycle-GAN网络模型包括生成网络G_AtoB和生成网络G_BtoA,还包括判别网络D_A和判别网络D_B。
作为优选方案,所述网络训练的过程,包括:
S51、训练判别网络D_A和判别网络D_B;
随机选择有黑带伪影CT图像的图像块A及其对应的CT值偏移的伪影消除CT图像的图像块A’输入生成网络G_AtoB,输出得到生成图像块A1;
随机选择无黑带伪影CT图像的图像块B输入生成网络G_BtoA,输出得到生成图像块B1;
将图像块A和生成图像块B1输入判别网络D_A,输出得到真假矩阵,计算adversarial loss1,根据adversarial loss1更新判别网络D_A的网络参数;
将图像块B和生成图像块A1输入判别网络D_B,输出得到真假矩阵,计算adversarial loss2,根据adversarial loss2更新判别网络D_B的网络参数;
S52、训练生成网络G_AtoB和生成网络G_BtoA;
将生成图像块A1输入生成网络G_BtoA得到重建图像块A2;
将生成图像块B1和噪声CT图像的图像块B’输入生成网络G_AtoB,输出得到重建图像块B2;
计算图像块A与重建图像块A2之间的cycle consistency loss1,计算生成图像块A1与图像块A’之间的L1 loss,根据cycle consistency loss1、L1 loss以及adversarialloss1更新生成网络G_AtoB的网络参数;
计算图像块B与重建图像块B2之间的cycle consistency loss2,根据cycleconsistency loss2和adversarial loss2更新生成网络的G_BtoA网络参数;
S53、不断迭代步骤S51和S52,直到Cycle-GAN网络模型的损失达到最优,保存生成网络G_AtoB的目标网络参数。
作为优选方案,所述步骤S6,包括:
S61、将待消除黑带伪影的CT图像进行伪影消除,得到伪影消除前、后的CT图像;
S62、利用目标网络参数初始化Cycle-GAN网络模型的生成网络G_AtoB;
S63、将伪影消除前、后的CT图像输入生成网络G_AtoB,输出消除黑带伪影的CT图像。
作为优选方案,所述判别网络D_A和判别网络D_B的网络结构包括依次级联的第一卷积层、第二卷积层、…、第K卷积层、全连接层,判别网络的网络输出为N×N矩阵;其中,K为大于1的正整数,N为正整数。
作为优选方案,所述生成网络G_AtoB的网络结构包括依次级联的输入层、第一卷积层、第二卷积层、…、第M-1卷积层、第M卷积层、第M-1反卷积层、…、第二卷积层、第一卷积层和输出层,第i卷积层与其对应的第i反卷积层进行加操作,M为大于2的正整数,i=1,2,…,M-1。
作为优选方案,所述伪影消除采用two-pass算法、多通道减少锥束伪影算法或基于FOV保持双源几何的自适应双通道锥束伪影矫正算法。
作为优选方案,所述步骤S2中,对无黑带伪影CT图像添加高斯噪声或泊松噪声。
本发明还提供一种基于深度学习的CT图像黑带伪影消除系统,应用于如上任一方案所述的CT图像黑带伪影消除方法,所述CT图像黑带伪影消除系统包括:
采集模块,用于采集有黑带伪影CT图像及与其不匹配的无黑带伪影CT图像;
伪影消除模块,用于对有黑带伪影CT图像进行伪影消除,得到CT值偏移的伪影消除CT图像;还用于将待消除黑带伪影的CT图像进行伪影消除,得到伪影消除后的CT图像;
噪声添加模块,用于对无黑带伪影CT图像添加噪声,得到噪声CT图像;
数据处理模块,用于分别对有黑带伪影CT图像、无黑带伪影CT图像、CT值偏移的伪影消除CT图像及噪声CT图像进行归一化处理;
网络构建模块,用于构建Cycle-GAN网络模型;
网络训练模块,用于利用归一化处理后的有黑带伪影CT图像、无黑带伪影CT图像、CT值偏移的伪影消除CT图像及噪声CT图像对Cycle-GAN网络模型进行网络训练,直至Cycle-GAN网络模型的网络参数达到目标条件,得到训练后的Cycle-GAN网络模型;
图像处理模块,用于将伪影消除前、后的CT图像输入训练后的Cycle-GAN网络模型,得到消除黑带伪影的CT图像。
本发明与现有技术相比,有益效果是:
(1)本发明采用基于无监督的深度学习算法和传统消除伪影算法相结合,在保证CT图像的整体CT值基本不变的情况下,使CT图像中的黑带伪影得到有效缓解,即黑带伪影处丢失的信息被补偿回来,黑带伪影处CT值基本达到正常的数值;
(2)无需对待消除黑带伪影的CT图像进行分割,在保证CT图像整体CT值基本不变的情况下消除黑带CT值偏移的伪影消除CT图像中的黑带伪影;
(3)Cycle-GAN网络模型训练网络时无需提供配对数据;
(4)现有判别网络的最后一层原本是卷积层,本发明将此卷积层更改为全连接层,且判别网络的输出仍是N×N的矩阵,在保证局部信息不发生变化的同时也控制着图像的全局信息;
(5)Cycle-GAN网络模型中的一个生成网络采用双通道输入方式,一个输入为带有黑带伪影的CT图像,另一个输入为消除黑带伪影后的图像,如此设计网络输入使得消除黑带伪影后的图像的黑带伪影得到了改善,并将其作为网络的一个输入目的是为网络提供一些黑带伪影处的补偿信息,更能促进图像信息的恢复。
附图说明
图1是本发明实施例1的基于深度学习的CT图像黑带伪影消除方法的流程图;
图2是本发明实施例1的生成网络G_AtoB的网络结构示意图;
图3是本发明实施例1的判别网络的网络结构示意图;
图4是本发明实施例1的Cycle-GAN网络模型的训练框图;
图5是本发明实施例1的经过CT图像黑带伪影消除方法处理前的CT图像(左)与处理后的CT图像(右)的对比图;
图6是本发明实施例1的基于深度学习的CT图像黑带伪影消除系统的构架图。
具体实施方式
为了更清楚地说明本发明实施例,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
实施例1:
如图1所示,本实施例的基于深度学习的CT图像黑带伪影消除方法,包括以下步骤:
S1、CT图像数据采集
采集有黑带伪影CT图像及与其不匹配的无黑带伪影CT图像;
S2、伪影消除及噪声添加
采用two-pass算法对有黑带伪影CT图像进行伪影消除,得到CT值偏移的伪影消除CT图像;虽然two-pass算法处理得到的CT值偏移的伪影消除CT图像并不理想,但是黑带伪影处的信息可以被恢复且图像细节可以被完整的保存下来,如此可以弥补Cycle-GAN的不足。
对无黑带伪影CT图像添加高斯噪声,得到噪声CT图像;
S3、数据处理
分别对黑带伪影CT图像、无黑带伪影CT图像、CT值偏移的伪影消除CT图像及噪声CT图像进行归一化处理。具体包括以下步骤:
S31、分别对黑带伪影CT图像、无黑带伪影CT图像、CT值偏移的伪影消除CT图像及噪声CT图像进行裁剪,得到分别对应四种CT图像的图像块;例如:完整的CT图像的尺寸为512×512,图像尺寸过大,在训练网络时为了节省电脑的内存和显存,同时也为了增加训练数据量,需要对原图像进行裁剪,本实施例将上述四种图像数据分别裁剪为尺寸大小为64×64的图像块,并剔除无效的图像块。
S32、将所有保留的图像块的CT值归一化至[0,1]。
S4、构建Cycle-GAN网络模型
具体地,Cycle-GAN网络模型包括生成网络G_AtoB和生成网络G_BtoA,还包括判别网络D_A和判别网络D_B,并随机初始化四个网络的网络参数。
如图2所示,生成网络G_AtoB的网络结构包括依次级联的输入层、第一卷积层、第二卷积层、…、第M-1卷积层、第M卷积层、第M-1反卷积层、…、第二卷积层、第一卷积层和输出层,第i卷积层与其对应的第i反卷积层进行加操作,M为大于2的正整数,i=1,2,…,M-1。生成网络G_AtoB为去黑带伪影网络,采用图像双输入方式:一个输入为带有黑带伪影的CT图像,另一个输入为使用two-pass算法消除伪影后的CT值偏移的伪影消除CT图像;如此设计生成网络G_AtoB输入的作用在于:由于使用two-pass算法消除黑带伪影后的CT图像的黑带伪影得到了改善,同时将其作为生成网络G_AtoB的一个输入能够为网络提供一些黑带伪影处的补偿信息,更能促进图像信息的恢复;然后通过计算CT值偏移的伪影消除CT图像与生成网络G_AtoB输出的CT图像之间的平均绝对值误差(L1 loss)来控制生成图像的细节不发生变化。
与生成网络G_AtoB的网络结构类似,生成网络G_BtoA为加黑带伪影网络,采用图像单输入方式。
本实施例的两个生成网络均采用的是U-net网络结构。
另外,判别网络D_A和判别网络D_B的网络结构类似,以判别网络D_A的网络结构为例详细说明,如图3所示,包括依次级联的第一卷积层、第二卷积层、…、第K卷积层、全连接层,判别网络的网络输出为N×N矩阵;其中,K为大于1的正整数,N为正整数。判别网络D_A和判别网络D_B的网络结构可以相同,也可以不同,不同之处体现在K的取值不同。现有Cycle-GAN中的判别网络通常采用的是patchGAN的判别网络结构,patchGAN的判别网络输出为一个NхN的矩阵,这个矩阵的每一个元素的值是true或false,其中的每一个元素代表着原图中的一个比较大的感受野,使用这种形式的判别网络即可保证训练出的生成网络生成的图像有更高分辨率,图像细节更加完整,但是这种形式的判别网络只能保证生成图像的局部位置的CT值不发生变化,因此,本实施例对判别网络进行改进,现有判别网络的最后一层是一个卷积层,本实施例将该卷积层改为全连接层,且网络的输出仍是一个NхN的矩阵,如此设计,在保证局部信息不发生变化的同时也控制着图像的全局信息。
S5、网络训练
利用归一化处理后的有黑带伪影CT图像、无黑带伪影CT图像、CT值偏移的伪影消除CT图像及噪声CT图像对Cycle-GAN网络模型进行网络训练,直至Cycle-GAN网络模型的网络参数达到目标条件,得到训练后的Cycle-GAN网络模型。其中,生成网络和判别网络交替训练。
具体地,如图4所示,Cycle-GAN网络模型的网络训练的过程包括:
S51、训练判别网络D_A和判别网络D_B;
随机选择有黑带伪影CT图像的图像块A(即图像A)及其对应的CT值偏移的伪影消除CT图像的图像块A’(即two-pass重建图像A’)输入生成网络G_AtoB,输出得到生成图像块A1(即生成图像A1);
随机选择无黑带伪影CT图像的图像块B(无伪影图B)输入生成网络G_BtoA,输出得到生成图像块B1(即生成图像B1);
将图像块A和生成图像块B1输入判别网络D_A,输出得到真假矩阵,计算adversarial loss1,根据adversarial loss1更新判别网络D_A的网络参数;
将图像块B和生成图像块A1输入判别网络D_B,输出得到真假矩阵,计算adversarial loss2,根据adversarial loss2更新判别网络D_B的网络参数;
S52、训练生成网络G_AtoB和生成网络G_BtoA;
将生成图像块A1(即生成图像A1)输入生成网络G_BtoA得到重建图像块A2(即重建图像A2);
将生成图像块B1(即生成图像B1)和噪声CT图像的图像块B’(无伪影图B’)输入生成网络G_AtoB,输出得到重建图像块B2(即生成图像B2);其中,噪声CT图像的图像块B’作为生成网络G_AtoB的输入是为了稳定网络的训练。
计算图像块A(即图像A)与重建图像块A2(即重建图像A2)之间的cycleconsistency loss1,计算生成图像块A1与图像块A’之间的L1 loss,根据cycleconsistency loss1、L1 loss以及adversarial loss1更新生成网络G_AtoB的网络参数;
计算图像块B与重建图像块B2之间的cycle consistency loss2,根据cycleconsistency loss2和adversarial loss2更新生成网络的G_BtoA网络参数;
S53、不断迭代步骤S51和S52,直到Cycle-GAN网络模型的损失达到最优,保存生成网络G_AtoB的目标网络参数。
S6、网络测试
将待消除黑带伪影的CT图像进行伪影消除,然后将伪影消除前、后的CT图像输入训练后的Cycle-GAN网络模型,得到消除黑带伪影的CT图像。具体地,包括以下步骤:
S61、采用two-pass算法将待消除黑带伪影的CT图像进行伪影消除,得到伪影消除前、后的CT图像;
S62、利用步骤S5得到的目标网络参数初始化Cycle-GAN网络模型的生成网络G_AtoB;
S63、将伪影消除前、后的CT图像输入生成网络G_AtoB,输出消除黑带伪影的CT图像。
其中,本实施例的网络测试时,网络输入的待消除黑带伪影的CT图像是没有被裁剪过的完整图像,保证消除黑带伪影的CT图像的图像信息的完整度。
示例的,如图5所示,对扫描得到的头部CT图像采用本实施例的CT图像黑带伪影消除方法进行处理,得到处理后的CT图像,在保证CT图像的整体CT值基本不变的情况下,使CT图像中的黑带伪影得到有效缓解。其他部位的CT图像依然适用本实施例的CT图像黑带伪影消除方法,且伪影消除效果佳。
与本实施例的CT图像黑带伪影消除方法相对应,如图6所示,本实施例还提供一种基于深度学习的CT图像黑带伪影消除系统,包括:
采集模块100,用于采集有黑带伪影CT图像及与其不匹配的无黑带伪影CT图像。
伪影消除模块200,用于对有黑带伪影CT图像进行伪影消除,得到CT值偏移的伪影消除CT图像;还用于将待消除黑带伪影的CT图像进行伪影消除,得到伪影消除后的CT图像。具体地,采用two-pass算法进行伪影消除。
噪声添加模块300,用于对无黑带伪影CT图像添加噪声,得到噪声CT图像。其中,添加的噪声为高斯噪声。
数据处理模块400,用于分别对有黑带伪影CT图像、无黑带伪影CT图像、CT值偏移的伪影消除CT图像及噪声CT图像进行归一化处理。具体地,由于完整的CT图像的尺寸过大,在训练网络时为了节省电脑的内存和显存,同时也为了增加训练数据量,需要对原图像进行裁剪,例如:完整的CT图像的尺寸为512×512,将上述四种图像数据分别裁剪为尺寸大小为64×64的图像块,并剔除无效的图像块;然后将所有保留的图像块的CT值归一化至[0,1]。
网络构建模块500,用于构建Cycle-GAN网络模型。
具体地,Cycle-GAN网络模型包括生成网络G_AtoB和生成网络G_BtoA,还包括判别网络D_A和判别网络D_B,并随机初始化四个网络的网络参数。
如图2所示,所述生成网络G_AtoB的网络结构包括依次级联的输入层、第一卷积层、第二卷积层、…、第M-1卷积层、第M卷积层、第M-1反卷积层、…、第二卷积层、第一卷积层和输出层,第i卷积层与其对应的第i反卷积层进行加操作,M为大于2的正整数,i=1,2,…,M-1。生成网络G_AtoB为去黑带伪影网络,采用图像双输入方式:一个输入为带有黑带伪影的CT图像,另一个输入为使用two-pass算法消除伪影后的CT值偏移的伪影消除CT图像;如此设计生成网络G_AtoB输入的作用在于:由于使用two-pass算法消除黑带伪影后的CT图像的黑带伪影得到了改善,同时将其作为生成网络G_AtoB的一个输入能够为网络提供一些黑带伪影处的补偿信息,更能促进图像信息的恢复;然后通过计算CT值偏移的伪影消除CT图像与生成网络G_AtoB输出的CT图像之间的平均绝对值误差(L1 loss)来控制生成图像的细节不发生变化。
与生成网络G_AtoB的网络结构类似,生成网络G_BtoA为加黑带伪影网络,采用图像单输入方式。
另外,判别网络D_A和判别网络D_B的网络结构类似,以判别网络D_A的网络结构为例详细说明,如图3所示,包括依次级联的第一卷积层、第二卷积层、…、第K卷积层、全连接层,判别网络的网络输出为N×N矩阵;其中,K为大于1的正整数,N为正整数。判别网络D_A和判别网络D_B的网络结构可以相同,也可以不同,不同之处体现在K的取值不同。现有Cycle-GAN中的判别网络通常采用的是patchGAN的判别网络结构,patchGAN的判别网络输出为一个NхN的矩阵,这个矩阵的每一个元素的值是true或false,其中的每一个元素代表着原图中的一个比较大的感受野,使用这种形式的判别网络即可保证训练出的生成网络生成的图像有更高分辨率,图像细节更加完整,但是这种形式的判别网络只能保证生成图像的局部位置的CT值不发生变化,因此,本实施例对判别网络进行改进,现有判别网络的最后一层是一个卷积层,本实施例将该卷积层改为全连接层,且网络的输出仍是一个NхN的矩阵,如此设计,在保证局部信息不发生变化的同时也控制着图像的全局信息。
网络训练模块600,用于利用归一化处理后的有黑带伪影CT图像、无黑带伪影CT图像、CT值偏移的伪影消除CT图像及噪声CT图像对Cycle-GAN网络模型进行网络训练,直至Cycle-GAN网络模型的网络参数达到目标条件,得到训练后的Cycle-GAN网络模型。
具体地,生成网络和判别网络交替训练:
首先,训练判别网络D_A和判别网络D_B;
随机选择有黑带伪影CT图像的图像块A及其对应的CT值偏移的伪影消除CT图像的图像块A’输入生成网络G_AtoB,输出得到生成图像块A1;
随机选择无黑带伪影CT图像的图像块B输入生成网络G_BtoA,输出得到生成图像块B1;
将图像块A和生成图像块B1输入判别网络D_A,输出得到真假矩阵,计算adversarial loss1,根据adversarial loss1更新判别网络D_A的网络参数;
将图像块B和生成图像块A1输入判别网络D_B,输出得到真假矩阵,计算adversarial loss2,根据adversarial loss2更新判别网络D_B的网络参数;
然后,训练生成网络G_AtoB和生成网络G_BtoA;
将生成图像块A1输入生成网络G_BtoA得到重建图像块A2;
将生成图像块B1和噪声CT图像的图像块B’输入生成网络G_AtoB,输出得到重建图像块B2;其中,噪声CT图像的图像块B’作为生成网络G_AtoB的输入是为了稳定网络的训练。
计算图像块A与重建图像块A2之间的cycle consistency loss1,计算生成图像块A1与图像块A’之间的L1 loss,根据cycle consistency loss1、L1 loss以及adversarialloss1更新生成网络G_AtoB的网络参数;
计算图像块B与重建图像块B2之间的cycle consistency loss2,根据cycleconsistency loss2和adversarial loss2更新生成网络的G_BtoA网络参数;
不断迭代上述过程,直到Cycle-GAN网络模型的损失达到最优,保存生成网络G_AtoB的目标网络参数。
图像处理模块700,用于将伪影消除前、后的CT图像输入训练后的Cycle-GAN网络模型,得到消除黑带伪影的CT图像。
具体地,首先通过伪影消除模块200采用two-pass算法对待消除黑带伪影的CT图像(即伪影消除前的CT图像)进行伪影消除,得到伪影消除前、后的CT图像;然后,图像处理模块700将目标网络参数初始化Cycle-GAN网络模型的生成网络G_AtoB,并将伪影消除前、后的CT图像输入生成网络G_AtoB,最终输出消除黑带伪影的CT图像。
实施例2:
本实施例的基于深度学习的CT图像黑带伪影消除方法及系统与实施例1的不同之处在于:
将伪影消除的算法由two-pass算法替换为多通道减少锥束伪影算法(参见Chulhee,Han,Jongduk.Multi-pass approach to reduce cone-beam artifacts in acircular orbit cone-beam CT system.[J].Optics Express,2019)或基于FOV保持双源几何的自适应双通道锥束伪影矫正算法(参见Forthmann P,Grass M,Proksa R.Adaptivetwo-pass cone-beam artifact correction using a FOV-preserving two-sourcegeometry:A simulation study[J].Medical Physics,2009,36(10):4440–4450),满足不同应用的需求。
方法的其他步骤以及系统构架可以参考实施例1。
实施例3:
本实施例的基于深度学习的CT图像黑带伪影消除方法及系统与实施例1的不同之处在于:
添加的噪声由高斯噪声替换为泊松噪声,满足不同应用的需求。
方法的其他步骤以及系统构架可以参考实施例1。
实施例4:
本实施例的基于深度学习的CT图像黑带伪影消除方法与实施例1的不同之处在于:
步骤S3中,无需对完整的CT图像进行裁剪,直接采用完整的CT图像作为图像块,但对于计算机的处理能力要求较高,满足不同用户的需求;
相应地,CT图像黑带伪影消除系统中的数据处理模块无需对图像进行裁剪,直接进行归一化处理即可。
方法的其他步骤以及系统构架可以参考实施例1。
以上所述仅是对本发明的优选实施例及原理进行了详细说明,对本领域的普通技术人员而言,依据本发明提供的思想,在具体实施方式上会有改变之处,而这些改变也应视为本发明的保护范围。
Claims (10)
1.一种基于深度学习的CT图像黑带伪影消除方法,其特征在于,包括以下步骤:
S1、采集有黑带伪影CT图像及与其不匹配的无黑带伪影CT图像;
S2、对有黑带伪影CT图像进行伪影消除,得到CT值偏移的伪影消除CT图像;对无黑带伪影CT图像添加噪声,得到噪声CT图像;
S3、分别对有黑带伪影CT图像、无黑带伪影CT图像、CT值偏移的伪影消除CT图像及噪声CT图像进行归一化处理;
S4、构建Cycle-GAN网络模型;
S5、利用归一化处理后的有黑带伪影CT图像、无黑带伪影CT图像、CT值偏移的伪影消除CT图像及噪声CT图像对Cycle-GAN网络模型进行网络训练,直至Cycle-GAN网络模型的网络参数达到目标条件,得到训练后的Cycle-GAN网络模型;
S6、将待消除黑带伪影的CT图像进行伪影消除,然后将伪影消除前、后的CT图像输入训练后的Cycle-GAN网络模型,得到消除黑带伪影的CT图像。
2.根据权利要求1所述的一种基于深度学习的CT图像黑带伪影消除方法,其特征在于,所述步骤S3,包括:
S31、分别对有黑带伪影CT图像、无黑带伪影CT图像、CT值偏移的伪影消除CT图像及噪声CT图像进行裁剪,得到分别对应四种CT图像的图像块;
S32、将所有图像块的CT值归一化至[0,1]。
3.根据权利要求2所述的一种基于深度学习的CT图像黑带伪影消除方法,其特征在于,所述步骤S4中,Cycle-GAN网络模型包括生成网络G_AtoB和生成网络G_BtoA,还包括判别网络D_A和判别网络D_B。
4.根据权利要求3所述的一种基于深度学习的CT图像黑带伪影消除方法,其特征在于,所述网络训练的过程,包括:
S51、训练判别网络D_A和判别网络D_B;
随机选择有黑带伪影CT图像的图像块A及其对应的CT值偏移的伪影消除CT图像的图像块A’输入生成网络G_AtoB,输出得到生成图像块A1;
随机选择无黑带伪影CT图像的图像块B输入生成网络G_BtoA,输出得到生成图像块B1;
将图像块A和生成图像块B1输入判别网络D_A,输出得到真假矩阵,计算adversarialloss1,根据adversarial loss1更新判别网络D_A的网络参数;
将图像块B和生成图像块A1输入判别网络D_B,输出得到真假矩阵,计算adversarialloss2,根据adversarial loss2更新判别网络D_B的网络参数;
S52、训练生成网络G_AtoB和生成网络G_BtoA;
将生成图像块A1输入生成网络G_BtoA得到重建图像块A2;
将生成图像块B1和噪声CT图像的图像块B’输入生成网络G_AtoB,输出得到重建图像块B2;
计算图像块A与重建图像块A2之间的cycle consistency loss1,计算生成图像块A1与图像块A’之间的L1 loss,根据cycle consistency loss1、L1 loss以及adversarialloss1更新生成网络G_AtoB的网络参数;
计算图像块B与重建图像块B2之间的cycle consistencyloss2,根据cycleconsistency loss2和adversarial loss2更新生成网络的G_BtoA网络参数;
S53、不断迭代步骤S51和S52,直到Cycle-GAN网络模型的损失达到最优,保存生成网络G_AtoB的目标网络参数。
5.根据权利要求4所述的一种基于深度学习的CT图像黑带伪影消除方法,其特征在于,所述步骤S6,包括:
S61、将待消除黑带伪影的CT图像进行伪影消除,得到伪影消除前、后的CT图像;
S62、利用目标网络参数初始化Cycle-GAN网络模型的生成网络G_AtoB;
S63、将伪影消除前、后的CT图像输入生成网络G_AtoB,输出消除黑带伪影的CT图像。
6.根据权利要求3所述的一种基于深度学习的CT图像黑带伪影消除方法,其特征在于,所述判别网络D_A和判别网络D_B的网络结构包括依次级联的第一卷积层、第二卷积层、…、第K卷积层、全连接层,判别网络的网络输出为N×N矩阵;其中,K为大于1的正整数,N为正整数。
7.根据权利要求3所述的一种基于深度学习的CT图像黑带伪影消除方法,其特征在于,所述生成网络G_AtoB的网络结构包括依次级联的输入层、第一卷积层、第二卷积层、…、第M-1卷积层、第M卷积层、第M-1反卷积层、…、第二卷积层、第一卷积层和输出层,第i卷积层与其对应的第i反卷积层进行加操作,M为大于2的正整数,i=1,2,…,M-1。
8.根据权利要求1-7任一项所述的一种基于深度学习的CT图像黑带伪影消除方法,其特征在于,所述伪影消除采用two-pass算法、多通道减少锥束伪影算法或基于FOV保持双源几何的自适应双通道锥束伪影矫正算法。
9.根据权利要求1-7任一项所述的一种基于深度学习的CT图像黑带伪影消除方法,其特征在于,所述步骤S2中,对无黑带伪影CT图像添加高斯噪声或泊松噪声。
10.一种基于深度学习的CT图像黑带伪影消除系统,应用于如权利要求1-9任一项所述的CT图像黑带伪影消除方法,其特征在于,所述CT图像黑带伪影消除系统包括:
采集模块,用于采集有黑带伪影CT图像及与其不匹配的无黑带伪影CT图像;
伪影消除模块,用于对有黑带伪影CT图像进行伪影消除,得到CT值偏移的伪影消除CT图像;还用于将待消除黑带伪影的CT图像进行伪影消除,得到伪影消除后的CT图像;
噪声添加模块,用于对无黑带伪影CT图像添加噪声,得到噪声CT图像;
数据处理模块,用于分别对有黑带伪影CT图像、无黑带伪影CT图像、CT值偏移的伪影消除CT图像及噪声CT图像进行归一化处理;
网络构建模块,用于构建Cycle-GAN网络模型;
网络训练模块,用于利用归一化处理后的有黑带伪影CT图像、无黑带伪影CT图像、CT值偏移的伪影消除CT图像及噪声CT图像对Cycle-GAN网络模型进行网络训练,直至Cycle-GAN网络模型的网络参数达到目标条件,得到训练后的Cycle-GAN网络模型;
图像处理模块,用于将伪影消除前、后的CT图像输入训练后的Cycle-GAN网络模型,得到消除黑带伪影的CT图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011417228.2A CN112446840B (zh) | 2020-12-07 | 2020-12-07 | 一种基于深度学习的ct图像黑带伪影消除方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011417228.2A CN112446840B (zh) | 2020-12-07 | 2020-12-07 | 一种基于深度学习的ct图像黑带伪影消除方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112446840A true CN112446840A (zh) | 2021-03-05 |
CN112446840B CN112446840B (zh) | 2024-01-19 |
Family
ID=74740336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011417228.2A Active CN112446840B (zh) | 2020-12-07 | 2020-12-07 | 一种基于深度学习的ct图像黑带伪影消除方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112446840B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114820730A (zh) * | 2022-03-08 | 2022-07-29 | 安徽慧软科技有限公司 | 一种基于伪ct的ct与cbct配准方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109166161A (zh) * | 2018-07-04 | 2019-01-08 | 东南大学 | 一种基于噪声伪影抑制卷积神经网络的低剂量ct图像处理系统 |
US20190377047A1 (en) * | 2018-06-07 | 2019-12-12 | Siemens Healthcare Gmbh | Artifact Reduction by Image-to-Image Network in Magnetic Resonance Imaging |
CN110648376A (zh) * | 2019-08-20 | 2020-01-03 | 南京邮电大学 | 一种基于生成对抗网络的有限角ct重建去伪影的方法 |
CN110675461A (zh) * | 2019-09-03 | 2020-01-10 | 天津大学 | 一种基于无监督学习的ct图像恢复方法 |
-
2020
- 2020-12-07 CN CN202011417228.2A patent/CN112446840B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190377047A1 (en) * | 2018-06-07 | 2019-12-12 | Siemens Healthcare Gmbh | Artifact Reduction by Image-to-Image Network in Magnetic Resonance Imaging |
CN109166161A (zh) * | 2018-07-04 | 2019-01-08 | 东南大学 | 一种基于噪声伪影抑制卷积神经网络的低剂量ct图像处理系统 |
CN110648376A (zh) * | 2019-08-20 | 2020-01-03 | 南京邮电大学 | 一种基于生成对抗网络的有限角ct重建去伪影的方法 |
CN110675461A (zh) * | 2019-09-03 | 2020-01-10 | 天津大学 | 一种基于无监督学习的ct图像恢复方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114820730A (zh) * | 2022-03-08 | 2022-07-29 | 安徽慧软科技有限公司 | 一种基于伪ct的ct与cbct配准方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112446840B (zh) | 2024-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8355555B2 (en) | System and method for multi-image based virtual non-contrast image enhancement for dual source CT | |
Yuan et al. | SIPID: A deep learning framework for sinogram interpolation and image denoising in low-dose CT reconstruction | |
Hasan et al. | Hybrid-collaborative noise2noise denoiser for low-dose CT images | |
KR102039472B1 (ko) | 컴퓨터 단층촬영 영상 재구성 장치 및 방법 | |
CN105225208A (zh) | 一种计算机断层成像金属伪影校正方法及装置 | |
Peng et al. | A cross-domain metal trace restoring network for reducing X-ray CT metal artifacts | |
CN112017131B (zh) | Ct图像金属伪影去除方法、装置及计算机可读存储介质 | |
Podgorsak et al. | CT artifact correction for sparse and truncated projection data using generative adversarial networks | |
Zhou et al. | DuDoUFNet: dual-domain under-to-fully-complete progressive restoration network for simultaneous metal artifact reduction and low-dose CT reconstruction | |
JP2004242285A (ja) | ノイズ抑制処理方法および装置並びにプログラム | |
CN108038840B (zh) | 一种图像处理方法、装置、图像处理设备及存储介质 | |
CN110458908B (zh) | 基于有限角度迭代重建超视野ct图像的方法 | |
Fournié et al. | CT field of view extension using combined channels extension and deep learning methods | |
Hegazy et al. | Half-scan artifact correction using generative adversarial network for dental CT | |
CN112446840B (zh) | 一种基于深度学习的ct图像黑带伪影消除方法及系统 | |
Matsuura et al. | Feature-aware deep-learning reconstruction for context-sensitive X-ray computed tomography | |
JP2010142478A (ja) | X線ct装置 | |
CN111860836A (zh) | 一种自监督学习方法及应用 | |
Jiang et al. | Learning a frequency separation network with hybrid convolution and adaptive aggregation for low-dose CT denoising | |
CN113192155B (zh) | 螺旋ct锥束扫描图像重建方法、扫描系统及存储介质 | |
CN116645283A (zh) | 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 | |
US20240104700A1 (en) | Methods and systems for flexible denoising of images using disentangled feature representation field | |
CN113592968B (zh) | 断层扫描图像中金属伪影的消减方法和装置 | |
US20220414832A1 (en) | X-ray imaging restoration using deep learning algorithms | |
Bera et al. | Axial consistent memory GAN with interslice consistency loss for low dose computed tomography image denoising |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |