CN108416821A - 一种深度神经网络的ct图像超分辨重建方法 - Google Patents
一种深度神经网络的ct图像超分辨重建方法 Download PDFInfo
- Publication number
- CN108416821A CN108416821A CN201810191685.0A CN201810191685A CN108416821A CN 108416821 A CN108416821 A CN 108416821A CN 201810191685 A CN201810191685 A CN 201810191685A CN 108416821 A CN108416821 A CN 108416821A
- Authority
- CN
- China
- Prior art keywords
- image
- conv
- images
- resolution
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 9
- 238000003475 lamination Methods 0.000 claims abstract description 29
- 230000004913 activation Effects 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 230000003321 amplification Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 abstract description 11
- 238000012549 training Methods 0.000 abstract description 11
- 239000003814 drug Substances 0.000 abstract description 7
- 230000008859 change Effects 0.000 abstract description 6
- 230000008901 benefit Effects 0.000 abstract description 5
- 238000011084 recovery Methods 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000002318 cardia Anatomy 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/416—Exact reconstruction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种深度神经网络的CT图像超分辨重建方法，方法建立的卷积神经网络模型的每一层都是卷积操作,没有全连接层；并且可以通过改变网络模型的深度和每一层的宽度来平衡效率与运行速度。将深度卷积神经网络应用在医学CT图像超分辨重建上,引入反卷积层,激活函数采用PReLU,有效地建立了一个低\高分辨率图像之间端到端的映射,在一定程度上提高了CT图像的分辨率；在保证相同训练数据量的前提下，在运行速度和图像恢复质量等方面均体现出了明显的优势。结果显示,本发明的方法用在医学CT图像超分辨重建上具有良好的稳定性和鲁棒性。
Description
技术领域
本发明涉及医疗设备CT图像处理领域，尤其涉及一种深度神经网络的CT图像超分辨重建方法。
背景技术
计算机断层扫描(Computed Tomography,CT)图像是通过X射线等对人体的某一部位进行断面扫描得到的,由于受扫描时间、扫描设备、人体器官对X射线的吸收率等因素的制约,以致某些疾病在CT图像上难以清晰地呈现出来；针对这一问题,可以在两个方面进行改进:一是增加X射线强度；二是对CT图像进行后期处理；前者无疑会对人体造成极大的伤害,所以对CT图像进行超分辨重建具有重要的现实意义；
图像超分辨(Super resolution,SR)重建问题在计算机视觉领域逐渐成为研究热点,尤其是在CT图像的超分辨重建上具有极大的挑战；近年来,近年来,基于学习的SR方法较传统方法取得了更理想的效果,比如最近邻搜索方法,该方法选择了K个最近邻的低分辨率(Low Resolution,LR)图像块,通过与之对应的K个高分辨率(High Resolution，HR)图像块来估计出高分辨率图像.尽管基于最近邻的方法非常成功，但是需要存储大量的数据,且计算量大,效率低.基于这方面的不足,一些通过稀疏表示的基于实例的SR方法被提出来,虽然这些方法能够通过少量的系数描述最多的信息,但是过分依赖于LR和HR块的字典，需要建立庞大的外部图像库。
现有技术中还提出的特征约束的多实例图像超分辨率方法，该方法的实例来自输入图像而不是外部图像库。主要思想是利用自适应KNN搜索算法搜索相似的低/高分辨率图像块,建立回归关系模型,进而将此模型应用到低分辨率高频图像,得到高分辨率高频图像中缺失的高频信息,但在非线性情况下具有较大的误差。
发明内容
为了克服上述现有技术中的不足，本发明提供一种深度神经网络的CT图像超分辨重建方法，方法包括：
对CT图像集合中的每一幅CT图像X,采用双三次插值算法按照预设参数scale执行一次下采样，得到了一幅大小是原图像1/scale2的模糊图像，所述模糊图像设为Y；CT图像X作为Y的标签，CT图像X与模糊图像Y一一对应；
将CT图像集合中每一幅CT图像X和模糊图像Y，按照预设步长，划分为n×n和m×m大小的图像块；图像的放大倍数为与所述预设参数scale相等，且与反卷积层的步长相等；
将CT图像X的图像块随机打乱顺序，将模糊图像Y的图像块随机打乱顺序，CT图像X与模糊图像Y对应关系不变；
通过公式(1)中Fconv_1(Y)对CT图像Y进行反卷积操作，得到的反卷积层；
Fconv_1(Y)代表反卷积操作得到的反卷积层特征图，其中，Fconv_1(Y)通过对输入层中的一系列图像块进行反卷积计算得到的，U表示上采样操作,W1是一个f1×f1×n1大小的反卷积核,n1表示反卷积层特征图的数量，偏置向量B1是一个n1维的向量；s和p是上采样过程中的步长和边界填充值；
Fconv_1(Y)＝Us,p(Y,W1)+B1 (1)
反卷积层的激活函数选用PReLU,公式如(2)所示：
f(x)＝max(x,0)+αmin(0,x) (2)
式中α为负数部分的系数，PReLU是带参数的ReLU；
反卷积层的输出为：
F1(Y)＝max(0,Fconv_1(Y))+α1min(0,Fconv_1(Y)) (3)
对反卷积层特征图进行多层卷积操作，使反卷积层形成至输出层特征图；
卷积的函数操作Fconv_i如下：
Fconv_i(Y)＝Wi*Fi-1(Y)+Bi (4)
i表示层的索引,Wi表示i-1层到i层卷积操作的卷积核,也就是滤波器模板的值,Bi表示偏置量,"*"表示卷积操作；Wi是一个ni-1×fi×fi×ni维数据，一次卷积操作中ni-1为通道数；ni则为滤波器个数；Bi偏置量则是一个ni维的特征向量；所有卷积层的激活函数都是PReLU；所以每一层的输出为：
Fi(Y)＝max(0,Fconv_i(Y))+αimin(0,Fconv_i(Y)) (5)
输出层的特征图像,是由前一层的一系列特征图重建成一幅高分辨率图，在重建过程中,重叠部分采用平均值，重建图像期望与原始图像X相似；
优化参数Wi、Bi和α，优化参数时采用均方差误差(Mean Squared Error,MSE)作为损失函数，
公式(6)中,θ＝{Wi,Bi,αi},n表示样本的数目，Xi表示高分辨率图像，Yi表示输入的图像；
采用梯度下降法最小化公式(6)，沿着梯度下降的最快方向找到最小值，以此来调整预设参数Wi、Bi和α的值,得到网络模型最优的超参数。
优选地，最小化公式(6)使公式(7)增大；
PSNR即峰值信噪比,PSNR值越大,表示与原高分辨率图像的分辨率越接近。
从以上技术方案可以看出，本发明具有以下优点：
本发明中建立的卷积神经网络模型的每一层都是卷积操作,没有全连接层；并且可以通过改变网络模型的深度和每一层的宽度来平衡效率与运行速度。本发明中将深度卷积神经网络应用在医学CT图像超分辨重建上,引入反卷积层,激活函数采用PReLU,有效地建立了一个低\高分辨率图像之间端到端的映射,在一定程度上提高了CT图像的分辨率；在保证相同训练数据量的前提下，在运行速度和图像恢复质量等方面均体现出了明显的优势。结果显示,本发明的方法用在医学CT图像超分辨重建上具有良好的稳定性和鲁棒性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为基于CT图像超分辨重建应用的卷积神经网络模型结构图；
图2为反卷积操作示意图；
图3为三种方法不同迭代次数PSNR值的变化曲线图；
图4为第二层滤波示意图；
图5为第三层滤波示意图；
图6为测试集Test6中test_2图像下采样后超分辨重建的效果图；
图7为测试集Test6中test_3图像下采样后超分辨重建的效果图；
图8为测试集Test6中原始CT图像test_1重建结果效果图；
图9为测试集Test6中原始CT图像test_6重建结果效果图；
图10为SRCNN、本实施例方法4层和5层结构下不同迭代次数PSNR均值的变化图；
图11为SRCNN、本实施例方法4层和5层结构下不同迭代次数SSIM均值的变化图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将运用具体的实施例及附图，对本发明保护的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本专利中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利保护的范围。
本发明构建了一个全卷积神经网络,包含一层反卷积层；网络模型的结构如图1所示。输入层图像是由原高分辨率CT图像经过下采样后得到的模糊图像,原高分辨率CT图像可以看作输入图像的标签。
对CT图像集合中的每一幅CT图像X,采用双三次插值算法按照预设参数scale执行一次下采样，得到了一幅大小是原图像1/scale2的模糊图像，所述模糊图像设为Y；CT图像X作为Y的标签，CT图像X与模糊图像Y一一对应；
将CT图像集合中每一幅CT图像X和模糊图像Y，按照预设步长，划分为n×n和m×m大小的图像块；图像的放大倍数为与所述预设参数scale相等，且与反卷积层的步长相等；
将CT图像X的图像块随机打乱顺序，将模糊图像Y的图像块随机打乱顺序，CT图像X与模糊图像Y对应关系不变；
通过公式(1)中Fconv_1(Y)对CT图像Y进行反卷积操作，得到的反卷积层；其目的是为了之后构建映射F(Y),使映射F(Y)与高分辨率图像X相似。
Fconv_1(Y)代表反卷积操作得到的反卷积层特征图，其中，Fconv_1(Y)通过对输入层中的一系列图像块进行反卷积计算得到的，U表示上采样操作,W1是一个f1×f1×n1大小的反卷积核,n1表示反卷积层特征图的数量，偏置向量B1是一个n1维的向量；s和p是上采样过程中的步长和边界填充值；
Fconv_1(Y)＝Us,p(Y,W1)+B1 (1)
反卷积操作是将图像放大,其本质就是一个上采样过程,对应图1中输入层到反卷积层的过程；反卷积操作的本质与卷积操作是相同的；其原理如图2所示,步长可以理解为放大的倍数。
反卷积层的激活函数选用PReLU,公式如(2)所示：
f(x)＝max(x,0)+αmin(0,x) (2)
式中α为负数部分的系数，PReLU是带参数的ReLU；
α为负数部分的系数,是可以学习到的，PReLU是带参数的ReLU,只增加了极少量参数,能够有效避免“死特征”。
反卷积层的输出为：
F1(Y)＝max(0,Fconv_1(Y))+α1min(0,Fconv_1(Y)) (3)
引入反卷层的目的是使原高分辨率图像可以作为输入图像的标签；因此,反卷积层的步长必须与下采样时的参数scale一致。
对反卷积层特征图进行卷积操作，使反卷积层形成至输出层特征图；卷积操作可以高效地提取局部有效特征；通过分析可知,一次卷积相当于一次滤波。
卷积的函数操作Fconv_i如下：
Fconv_i(Y)＝Wi*Fi-1(Y)+Bi (4)
这里,i表示层的索引,Wi表示i-1层到i层卷积操作的卷积核,也就是滤波器模板的值,Bi表示偏置量,"*"表示卷积操作；Wi是一个ni-1×fi×fi×ni维数据,一次卷积操作中ni-1可以理解为通道数；ni则为滤波器个数；Bi偏置量则是一个ni维的特征向量；所有卷积层的激活函数都是PReLU；所以每一层的输出为：
Fi(Y)＝max(0,Fconv_i(Y))+αimin(0,Fconv_i(Y)) (5)
输出层只有一个特征图像,是由前一层的一系列特征图重建成一幅高分辨率图；在重建过程中,重叠部分采用平均值；重建图像期望与原始图像X尽可能相似；
本发明要构建一个端到端的映射F,最小化输出图像与原高分辨率图像之间的差异,而在这一过程中最主要的是优化参数Wi、Bi和α；优化参数时采用均方差误差(MeanSquared Error,MSE)作为损失函数:
公式(6)中,θ＝{Wi,Bi,αi},n表示样本的数目,Xi表示高分辨率图像,Yi表示输入的图像；最小化公式(6)反而会使公式(7)中PSNR值增大；PSNR即峰值信噪比(Peak Signal toNoise Ratio,PSNR),是一种评价图像的客观标准；PSNR值越大,表示与原高分辨率图像的分辨率越接近；PSNR的公式如下所示:
在反向传播过程中,最小化公式(6),采用梯度下降方法,沿着梯度下降的最快方向找到最小值,从而得到最优参数值；以此来调整Wi、Bi和α的值,最终得到网络模型最优的超参数；
本发明建立的卷积神经网络模型的每一层都是卷积操作，反卷积是卷积的逆过程,没有全连接层；并且可以通过改变网络的深度以及每一层的宽度来改善运行速度。
本发明提供一个深度神经网络的CT图像超分辨重建方法实施例，具体的，选取了1500张CT图像作为训练数据,这些CT图像包括肺部、脑部、心脏和脊椎等部位,其中,肺部和心脏部位的图像大小是512×512,脑部部位的图像大小是181×217,脊椎部位图像的大小为320×170；实验采用深度学习框架caffe实现,实验运行的硬件平台为CPU:Intel(R)Xeon(R)E5-2643 v4@3；40GHz,GPU:NVIDIA GeForce GTX 1080M,运行内存256GB，软件平台是ubuntu 14.04操作系统,仿真软件为Matlab 2014a；
首先,实验将所有图像统一进行灰度化处理,只考虑灰度通道的情况,然后设定参数scale将原CT图像进行下采样,并将处理后的图像划分为n×n大小的图像块；最后再将随机打乱的图像块作为网络模型的输入数据,设置参数并训练。根据本方法的重建结果与其它较先进的方法进行了比较。
在网络训练及参数选择时，数据处理过程是将训练输入图像块的大小n×n设置为17×17,共得到1370112块子图像；将参数scale设置为2,并且初始权值W符合高斯分布；本实施例构建了一个4层全卷积神经网络,设置每一层的宽度(n1,n2,n3,n4)＝(1,56,28,1)；为了使图片质量恢复的更高,可以构建更多的卷积层,每一层神经元的数量更多,但是相应的运行速度会大大降低,此参数的设置是通过多次实验得出的；另外选取了与训练图像不同的100张图像作为验证集,设置训练最大迭代数为400万次；本实施例中还选择了6张在训练集和验证集里都没包括的图片作为测试集,称之为Test6；四层卷积神经网络中每一层的参数(卷积核,步长,边界填充)设置为：(f1,s1,p1)＝(7,2,2)、(f2,s2,p2)＝(7,1,0)、(f3,s3,p3)＝(3,1,0)、(f4,s4,p4)＝(7,1,0)来训练网络,图3显示了随着迭代次数的增加,测试集Test6在各种方法下图像PSNR平均值的变化情况；
由图3可知,随着迭代次数的不断增加,本实施例获得的PSNR值会逐渐增大,在训练迭代次数达到200万次时,PSNR平均值增加的速率开始变得缓慢,随着迭代次数的继续增加,PSNR平均值会趋向收敛,并且较SRCNN和ScSR方法的PSNR平均值高,而ScSR方法的PSNR值的变化与迭代次数无关。
图4、图5分别展示了迭代次数为200万次时第二层和第三层学习到的滤波器；滤波器内的数值随着训练次数的增加不断更新；滤波器每更新一次,输出图像与原高分辨率图像的相似性会更高一些；如果训练次数设置的很大,图像重建的质量就会越高,直到非常接近原高分辨率图像,即达到收敛状态。
通过上述实施例设置的网络,取迭代次数为200万次时本实施例方法的运行结果,并与目前较先进的几种方法进行了比较。
(1)双三次插值算法；通过最近邻像素计算出新的像素；
(2)ScSR算法；Yang等基于稀疏编码的超分辨重建方法；
(3)ANR算法；Timofte等提出的一种基于实例的快速超分辨重建的固定邻域回归方法；
(4)A+算法；一种在ANR算法基础上的改进的方法；
(5)SRCNN算法；Dong提出的一种三层全卷积神经网络的图像超分辨重建方法,三层的卷积核大小分别为(f1,f2,f3)＝(9,3,5)。
这些算法的数据集与本实施例方法的数据集相同,并且参数scale统一设置为2,几种算法均用测试集Test6中图像进行了测试,恢复效果如图6、图7所示；由图可以看出本实施例方法重建图像的细节边缘处更加清晰,可辨识程度更高,更接近于原始HR图像；针对以上六种算法,分别计算出了测试集图像的PSNR值和SSIM值；分别如表1和表2所示。
SSIM(Structural Similarity)即结构相似性,是衡量两幅图像相似度的指标,计算公式如(8)所示:
这里μx和μy分别是原始HR图像和重建图像的平均灰度值,σx和σy为标准差,C1＝(k1L)2,C2＝(k2L)2,且k1＝0.01,k2＝0.03,L是体素值的动态范围。
结合图6、图7、表1和表2所示,无论在视觉上还是在具体指标值上,本实施例方法均取得了优于其它算法的结果,主要是因为本实施例方法利用反卷积操作直接学习了一个下采样后的低分辨率图像与原始高分辨率图像之间端到端的映射,充分考虑了周围像素信息的影响；然而ScSR、ANR和A+等算法需要明确的学习字典,这些字典并不能有效的应对信息丰富的图像,且重建高分辨率图像时利用周围像素的信息相对较少,所以重建出的CT图像比较模糊；SRCNN算法是Dong受稀疏编码原理过程的启发，将卷积神经网络应用到图像超分辨重建领域,构建了一个三层全卷积的轻量级网络模型,整个过程都是通过卷积操作自动学习图像的特征,通过适当的改变卷积核的大小,周围像素的信息会得到更加充分的利用。
表1不同算法PSNR(dB)值比较
表2不同算法SSIM值比较
本方法继承了SRCNN的优点,虽然深度增加到4层,但是中间层的宽度设置的很小,运行速度可以得到改善；另外,在超分辨应用上,卷积操作带来的效果要比双三次插值算法的好,本方法通过反卷积操作放大图像来代替SRCNN方法中预处理时用双三次插值算法放大图像,图像放大后恢复的的信息更丰富,之后的卷积层学习到的图像特征信息更多；因此,本方法得到的结果更好；图8和图9是将测试集Test6中的两幅原始CT图像直接作为输入图像得到的重建效果；从视觉上来看,与SRCNN等方法比较,本实施例方法对原始CT图像分辨率的提高最为明显,包括纹理及边缘等信息；由此说明本实施例方法重建后的图像所包含的信息更加丰富；为了验证这一理论,本实施例引入了信息熵(一种无参考方法)对重建之后的图像质量进行评价；信息熵(Information entropy,IE)指图像中的平均信息量,它在一定程度上反映了融合图像的信息丰富程度；一幅图像中的信息熵越大说明图像包含的信息越多,图像质量越高；其计算公式如(9)所示；
公式(9)中,p(i)表示灰度值为i的像素占的比重；L为灰度等级；表3显示了各方法直接对测试集Test6中原始的CT图像重建后各图的信息熵；由表中数据可知,本实施例方法重建图像的信息熵值比SRCNN等方法的高,表明本实施例方法重建的图像所包含的的信息丰富程度越高；所以,本方法对原始CT图像是有效的,这对医生诊断疾病和判断病灶位置等方面具有重要的意义。
表3各方法对原始CT图像重建结果的信息熵
在实施例中，根据设置的参数训练出的模型在重建图像的质量上取得了较好的结果,为了验证运行速度,又构建了一个五层的网络模型；设置每一层的宽度(n1,n2,n3,n4,n5)＝(1,56,28,28,1),每一层的参数(卷积核,步长,边界填充)为：(f1,s1,p1)＝(7,2,2)、(f2,s2,p2)＝(7,1,0)、(f3,s3,p3)＝(3,1,1)、(f4,s4,p4)＝(3,1,0)、(f5,s5,p5)＝(7,1,0)；图10和图11显示了随着迭代次数的增加测试集Test6在SRCNN、本方法4层和5层结构下图像PSNR平均值和SSIM平均值的变化情况；由图可以看出,随着训练迭代次数的增加,本方法构建的4层网络和5层网络得到的PSNR均值和SSIM均值始终比SRCNN的高,说明本方法在CT图像重建方面效果更好；另外,5层网络重建效果要比4层重建的效果好,说明本实施例方法通过适当增加网络的深度可以得到更高质量的CT图像。
表4是SRCNN、本实施例方法4层和5层三种网络模型训练200万次时在测试集Test6下的PSNR均值、SSIM均值以及每幅图像平均运行时间；据表4显示,本实施例方法4层和5层网络结构得到的PSNR均值和SSIM均值均高于SRCNN方法,且5层网络结构得到了比4层网络结构更好的效果；所以,网络的深度是影响重建效果的一个重要因素；另外,在测试集Test6下,本实施例方法4层网络结构的每幅图像平均运行时间比SRCNN方法花费的少；主要是因为本实施例方法虽然构建了一个比SRCNN方法更深的网络层次,但是每一层的宽度和滤波器的大小都比SRCNN的小,减少了参数的数量,进而减少了计算量；而本实施例方法5层网络结构由于层数深和参数多,导致平均运行时间花费最多；因此,综合考虑运行速度和图像恢复质量两个方面,本实施例方法构建的4层网络结构在医学CT图像超分辨重建方面得到了更好的结果；
表4测试集Test6下三种网络的PSNR(dB)均值、SSIM均值、一幅图像平均运行时间(s)及参数个数的比较
本发明将深度卷积神经网络应用在医学CT图像超分辨重建上,引入反卷积层,激活函数采用PReLU,有效地建立了一个低\高分辨率图像之间端到端的映射,在一定程度上提高了CT图像的分辨率；在保证相同训练数据量的前提下,在运行速度和图像恢复质量等方面均体现出了明显的优势；结果显示,本方法用在医学CT图像超分辨重建上具有良好的稳定性和鲁棒性。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本实施例中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本实施例所示的这些实施例，而是要符合与本实施例所公开的原理和新颖特点相一致的最宽的范围。
Claims (2)
1.一种深度神经网络的CT图像超分辨重建方法，其特征在于，方法包括：
对CT图像集合中的每一幅CT图像X,采用双三次插值算法按照预设参数scale执行一次下采样，得到了一幅大小是原图像1/scale2的模糊图像，所述模糊图像设为Y；CT图像X作为Y的标签，CT图像X与模糊图像Y一一对应；
将CT图像集合中每一幅CT图像X和模糊图像Y，按照预设步长，划分为n×n和m×m大小的图像块；图像的放大倍数为与所述预设参数scale相等，且与反卷积层的步长相等；
将CT图像X的图像块随机打乱顺序，将模糊图像Y的图像块随机打乱顺序，CT图像X与模糊图像Y对应关系不变；
通过公式(1)中Fconv_1(Y)对CT图像Y进行反卷积操作得到的反卷积层；
Fconv_1(Y)代表反卷积操作得到的反卷积层特征图，其中，Fconv_1(Y)通过对输入层中的一系列图像块进行反卷积计算得到的，U表示上采样操作,W1是一个f1×f1×n1大小的反卷积核,n1表示反卷积层特征图的数量，偏置向量B1是一个n1维的向量；s和p是上采样过程中的步长和边界填充值；
Fconv_1(Y)＝Us,p(Y,W1)+B1 (1)
反卷积层的激活函数选用PReLU,公式如(2)所示：
f(x)＝max(x,0)+αmin(0,x) (2)
式中α为负数部分的系数，PReLU是带参数的ReLU；
反卷积层的输出为：
F1(Y)＝max(0,Fconv_1(Y))+α1min(0,Fconv_1(Y)) (3)
对反卷积层特征图进行多层卷积操作，使反卷积层形成至输出层特征图；
卷积的函数操作Fconv_i如下：
Fconv_i(Y)＝Wi*Fi-1(Y)+Bi (4)
i表示层的索引,Wi表示i-1层到i层卷积操作的卷积核,也就是滤波器模板的值,Bi表示偏置量,"*"表示卷积操作；Wi是一个ni-1×fi×fi×ni维数据,一次卷积操作中ni-1为通道数；ni则为滤波器个数；Bi偏置量则是一个ni维的特征向量；所有卷积层的激活函数都是PReLU；所以每一层的输出为：
Fi(Y)＝max(0,Fconv_i(Y))+αi min(0,Fconv_i(Y)) (5)
输出层的特征图像,是由前一层的一系列特征图重建成一幅高分辨率图，在重建过程中,重叠部分采用平均值，重建图像期望与原始图像X相似；
优化参数Wi、Bi和α，优化参数时采用均方差误差(Mean Squared Error,MSE)作为损失函数，
公式(6)中,θ＝{Wi,Bi,αi},n表示样本的数目,Xi表示高分辨率图像,Yi表示输入的图像；
采用梯度下降法最小化公式(6)，沿着梯度下降的最快方向找到最小值，以此来调整预设参数Wi、Bi和α的值,得到网络模型最优的超参数。
2.根据权利要求1所述的深度神经网络的CT图像超分辨重建方法，其特征在于，
最小化公式(6)使公式(7)增大；
PSNR即峰值信噪比,PSNR值越大,表示与原高分辨率图像的分辨率越接近。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810191685.0A CN108416821B (zh) | 2018-03-08 | 2018-03-08 | 一种深度神经网络的ct图像超分辨重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810191685.0A CN108416821B (zh) | 2018-03-08 | 2018-03-08 | 一种深度神经网络的ct图像超分辨重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108416821A true CN108416821A (zh) | 2018-08-17 |
| CN108416821B CN108416821B (zh) | 2019-08-02 |
Family
ID=63130601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810191685.0A Expired - Fee Related CN108416821B (zh) | 2018-03-08 | 2018-03-08 | 一种深度神经网络的ct图像超分辨重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108416821B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191554A (zh) * | 2018-09-04 | 2019-01-11 | 清华-伯克利深圳学院筹备办公室 | 一种超分辨图像重建方法、装置、终端和存储介质 |
| CN109171792A (zh) * | 2018-09-29 | 2019-01-11 | 江苏影医疗设备有限公司 | 成像方法及使用该成像方法的ct成像系统 |
| CN109559278A (zh) * | 2018-11-28 | 2019-04-02 | 山东财经大学 | 基于多特征学习的超分辨图像重建方法及系统 |
| CN109685863A (zh) * | 2018-12-11 | 2019-04-26 | 帝工(杭州)科技产业有限公司 | 一种重建医学乳房图像的方法 |
| CN110264536A (zh) * | 2019-06-13 | 2019-09-20 | 北京理工大学 | 一种在平行束超分重建中计算高低分辨率投影关系的方法 |
| CN112825271A (zh) * | 2019-11-21 | 2021-05-21 | 通用电气精准医疗有限责任公司 | 使用深度神经网络和测量数据的递归抽取来重建医疗图像的系统和方法 |
| CN113658048A (zh) * | 2021-08-24 | 2021-11-16 | 中山仰视科技有限公司 | 一种采用超分辨率重建方式进行肺部ct图像填充的方法 |
| CN113947642A (zh) * | 2021-10-18 | 2022-01-18 | 北京航空航天大学 | 一种x空间磁粒子成像解卷积方法 |
| CN114037624A (zh) * | 2021-10-27 | 2022-02-11 | 成都大学附属医院 | 一种用于糖尿病肾脏病变分类的图像增强方法及设备 |
| CN114202464A (zh) * | 2021-12-15 | 2022-03-18 | 清华大学 | 基于深度学习的x射线ct局部高分辨率成像方法及装置 |
| CN114241074A (zh) * | 2021-12-20 | 2022-03-25 | 四川大学 | 一种深度学习和电子学噪声模拟的cbct图像重建方法 |
| CN113947642B (zh) * | 2021-10-18 | 2024-06-04 | 北京航空航天大学 | 一种x空间磁粒子成像解卷积方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102651127A (zh) * | 2012-04-01 | 2012-08-29 | 深圳市万兴软件有限公司 | 一种超分辨率重建的图像处理方法及系统 |
| CN103136727A (zh) * | 2012-12-14 | 2013-06-05 | 西安电子科技大学 | 基于梯度一致性与各向异性正则化的超分辨图像重建方法 |
| CN103839238A (zh) * | 2014-02-28 | 2014-06-04 | 西安电子科技大学 | 一种基于边缘信息和反卷积的sar图像超分辨率方法 |
| US20160069903A1 (en) * | 2014-09-10 | 2016-03-10 | Fundació Institute De Ciències Foròniques | Method for detecting cells |
| CN105513014A (zh) * | 2016-01-21 | 2016-04-20 | 集美大学 | 一种多帧图像超分辨率重建方法及其重建系统 |
| CN106204449A (zh) * | 2016-07-06 | 2016-12-07 | 安徽工业大学 | 一种基于对称深度网络的单幅图像超分辨率重建方法 |
| CN106251297A (zh) * | 2016-07-19 | 2016-12-21 | 四川大学 | 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法 |
| CN106910161A (zh) * | 2017-01-24 | 2017-06-30 | 华南理工大学 | 一种基于深度卷积神经网络的单幅图像超分辨率重建方法 |
| CN107358576A (zh) * | 2017-06-24 | 2017-11-17 | 天津大学 | 基于卷积神经网络的深度图超分辨率重建方法 |
| CN107464216A (zh) * | 2017-08-03 | 2017-12-12 | 济南大学 | 一种基于多层卷积神经网络的医学图像超分辨率重构方法 |
| CN107610194A (zh) * | 2017-08-14 | 2018-01-19 | 成都大学 | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 |
-
2018
- 2018-03-08 CN CN201810191685.0A patent/CN108416821B/zh not_active Expired - Fee Related
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102651127A (zh) * | 2012-04-01 | 2012-08-29 | 深圳市万兴软件有限公司 | 一种超分辨率重建的图像处理方法及系统 |
| CN103136727A (zh) * | 2012-12-14 | 2013-06-05 | 西安电子科技大学 | 基于梯度一致性与各向异性正则化的超分辨图像重建方法 |
| CN103839238A (zh) * | 2014-02-28 | 2014-06-04 | 西安电子科技大学 | 一种基于边缘信息和反卷积的sar图像超分辨率方法 |
| US20160069903A1 (en) * | 2014-09-10 | 2016-03-10 | Fundació Institute De Ciències Foròniques | Method for detecting cells |
| CN105513014A (zh) * | 2016-01-21 | 2016-04-20 | 集美大学 | 一种多帧图像超分辨率重建方法及其重建系统 |
| CN106204449A (zh) * | 2016-07-06 | 2016-12-07 | 安徽工业大学 | 一种基于对称深度网络的单幅图像超分辨率重建方法 |
| CN106251297A (zh) * | 2016-07-19 | 2016-12-21 | 四川大学 | 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法 |
| CN106910161A (zh) * | 2017-01-24 | 2017-06-30 | 华南理工大学 | 一种基于深度卷积神经网络的单幅图像超分辨率重建方法 |
| CN107358576A (zh) * | 2017-06-24 | 2017-11-17 | 天津大学 | 基于卷积神经网络的深度图超分辨率重建方法 |
| CN107464216A (zh) * | 2017-08-03 | 2017-12-12 | 济南大学 | 一种基于多层卷积神经网络的医学图像超分辨率重构方法 |
| CN107610194A (zh) * | 2017-08-14 | 2018-01-19 | 成都大学 | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| 徐军等: "基于非局部自回归学习的医学图像", 《模式识别与人工智能》 * |
| 王爱丽等: "基于深度卷积神经网络的遥感图像超分辨率重建", 《黑龙江大学自然科学学报》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191554A (zh) * | 2018-09-04 | 2019-01-11 | 清华-伯克利深圳学院筹备办公室 | 一种超分辨图像重建方法、装置、终端和存储介质 |
| CN109171792A (zh) * | 2018-09-29 | 2019-01-11 | 江苏影医疗设备有限公司 | 成像方法及使用该成像方法的ct成像系统 |
| CN109559278A (zh) * | 2018-11-28 | 2019-04-02 | 山东财经大学 | 基于多特征学习的超分辨图像重建方法及系统 |
| CN109559278B (zh) * | 2018-11-28 | 2019-08-09 | 山东财经大学 | 基于多特征学习的超分辨图像重建方法及系统 |
| CN109685863A (zh) * | 2018-12-11 | 2019-04-26 | 帝工(杭州)科技产业有限公司 | 一种重建医学乳房图像的方法 |
| CN110264536A (zh) * | 2019-06-13 | 2019-09-20 | 北京理工大学 | 一种在平行束超分重建中计算高低分辨率投影关系的方法 |
| CN110264536B (zh) * | 2019-06-13 | 2021-02-05 | 北京理工大学 | 一种在平行束超分重建中计算高低分辨率投影关系的方法 |
| CN112825271A (zh) * | 2019-11-21 | 2021-05-21 | 通用电气精准医疗有限责任公司 | 使用深度神经网络和测量数据的递归抽取来重建医疗图像的系统和方法 |
| CN113658048A (zh) * | 2021-08-24 | 2021-11-16 | 中山仰视科技有限公司 | 一种采用超分辨率重建方式进行肺部ct图像填充的方法 |
| CN113947642A (zh) * | 2021-10-18 | 2022-01-18 | 北京航空航天大学 | 一种x空间磁粒子成像解卷积方法 |
| CN113947642B (zh) * | 2021-10-18 | 2024-06-04 | 北京航空航天大学 | 一种x空间磁粒子成像解卷积方法 |
| CN114037624A (zh) * | 2021-10-27 | 2022-02-11 | 成都大学附属医院 | 一种用于糖尿病肾脏病变分类的图像增强方法及设备 |
| CN114037624B (zh) * | 2021-10-27 | 2023-05-23 | 成都市第二人民医院 | 一种用于糖尿病肾脏病变分类的图像增强方法及设备 |
| CN114202464A (zh) * | 2021-12-15 | 2022-03-18 | 清华大学 | 基于深度学习的x射线ct局部高分辨率成像方法及装置 |
| CN114241074A (zh) * | 2021-12-20 | 2022-03-25 | 四川大学 | 一种深度学习和电子学噪声模拟的cbct图像重建方法 |
| CN114241074B (zh) * | 2021-12-20 | 2023-04-21 | 四川大学 | 一种深度学习和电子学噪声模拟的cbct图像重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108416821B (zh) | 2019-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108416821B (zh) | 一种深度神经网络的ct图像超分辨重建方法 | |
| CN108460726B (zh) | 一种基于增强递归残差网络的磁共振图像超分辨重建方法 | |
| Hsieh et al. | A new era of image reconstruction: TrueFidelity™ | |
| CN109584254A (zh) | 一种基于深层全卷积神经网络的心脏左心室分割方法 | |
| CN113344799A (zh) | 用于使用深度神经网络减少医学图像中的有色噪声的系统和方法 | |
| CN107464216A (zh) | 一种基于多层卷积神经网络的医学图像超分辨率重构方法 | |
| CN109360152A (zh) | 基于稠密卷积神经网络的三维医学图像超分辨率重建方法 | |
| Du et al. | Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network | |
| CN111899165A (zh) | 一种基于功能模块的多任务图像重建卷积网络模型 | |
| Zhou et al. | Volume upscaling with convolutional neural networks | |
| CN110084773A (zh) | 一种基于深度卷积自编码网络的图像融合方法 | |
| Guo et al. | A transformer-based network for anisotropic 3D medical image segmentation | |
| CN110322402A (zh) | 基于稠密混合注意力网络的医学图像超分辨率重建方法 | |
| CN109685814A (zh) | 基于mspcnn的胆囊结石超声图像全自动分割方法 | |
| CN105654425A (zh) | 一种应用于医学x光图像的单幅图像超分辨率重建方法 | |
| CN110517198A (zh) | 用于ldct图像去噪的高频敏感gan网络 | |
| Jiang et al. | CT image super resolution based on improved SRGAN | |
| Lu et al. | M 3 nas: Multi-scale and multi-level memory-efficient neural architecture search for low-dose ct denoising | |
| CN116645283A (zh) | 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 | |
| Wang et al. | Brain MR image super-resolution using 3D feature attention network | |
| CN117237196A (zh) | 基于隐式神经表征的脑部mri超分辨率重建方法及系统 | |
| Li et al. | APCP-NET: Aggregated parallel Cross-Scale pyramid network for CMR segmentation | |
| CN106504199A (zh) | 一种眼底图像增强方法及系统 | |
| CN116894783A (zh) | 基于时变约束的对抗生成网络模型的金属伪影去除方法 | |
| CN107945114A (zh) | 基于聚类字典和迭代反投影的磁共振图像超分辨率方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Liu Hui Inventor after: Xu Jun Inventor after: Guo Qiang Inventor after: Zhang Caiming Inventor before: Xu Jun Inventor before: Liu Hui Inventor before: Guo Qiang Inventor before: Zhang Caiming |
|
| CB03 | Change of inventor or designer information | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190802 Termination date: 20200308 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |