CN110443867B

CN110443867B - 基于生成对抗网络的ct图像超分辨率重构方法

Info

Publication number: CN110443867B
Application number: CN201910708177.XA
Authority: CN
Inventors: 张�雄; 宁爱平; 冯聪丽; 上官宏; 王安红; 武有成
Original assignee: Taiyuan University of Science and Technology
Current assignee: Taiyuan University of Science and Technology
Priority date: 2019-08-01
Filing date: 2019-08-01
Publication date: 2022-06-10
Anticipated expiration: 2039-08-01
Also published as: CN110443867A

Abstract

本发明属于计算机断层扫描图像处理技术领域；具体技术方案为：基于生成对抗网络的CT图像超分辨率重构方法，具体步骤如下：一、基于多级稠密残差块生成器网络，建立不同残差块之间的稠密连接关系；二、在每个稠密残差块的前端加入瓶颈层；三、采用Wasserstein距离损失和VGG特征匹配损失来优化全局网络；四、布置基于由粗到细的多路生成器；五、生成基于条件式生成对抗学习的图像；六、重构基于由粗到细的多路条件生成对抗网络的CT图像超分辨率重构框架；七、重构损失函数；本发明既减少了网络冗余，又实现了不同残差块间的特征复用，使得网络达到了最大信息传输，提高了特征利用率，极大提升了重构图像质量。

Description

基于生成对抗网络的CT图像超分辨率重构方法

技术领域

本发明属于CT图像处理技术领域，具体涉及一种基于生成对抗网络的CT图像超分辨率重构方法。

背景技术

计算机断层扫描(Computed Tomography，CT)技术已经成为当今医学上重要的检查手段，目前被大规模地应用于临床检查及医学研究领域中。CT成像技术早在1940年就被提出。之后，Gabriel Frank建立了从CT投影到CT重建的理论思想，为CT技术的发展奠定了坚实的理论基础。1972年，Hounsfield成功研制了世界上第一台计算机断层扫描仪，将CT成像与重建理论成功应用于医学领域，并取得了显著成果，这也促使医用CT技术得到了快速发展，目前已被广泛应用于医学诊断。CT成像技术与其他医学成像方法相比，具有检查方便、图像密度分辨率高、无痛苦无创伤、解剖关系明确和病态显影清楚等优点，被大规模应用于临床医学。

然而，在CT扫描过程中会存在一个普遍问题，即使用X射线会对人体产生较强的辐射，致使身体机能和组织器官受到一定的影响和伤害。当然，尽可能减少辐射剂量去重建优质的CT图像，来为医学诊断提供科学的依据是最理想的情况。但是当辐射剂量降低时会减少投影数据的输出，导致CT图像质量的退化，影响医生的精确诊断。因此，如何在保证重建的CT图像质量前提下，尽可能地降低辐射剂量从而减小对人体的伤害成为了医学上重要的研究课题。

发明内容

本申请改进了生成对抗网络(Generative Adversarial Network，GAN)中生成器和判别器的网络结构，优化了网络的目标函数，来提升在低辐射剂量条件下得到的低分辨率CT(Low Resolution CT，LRCT)图像的空间分辨率。

为实现上述目的，本发明所采用的技术方案为：基于生成对抗网络的CT图像超分辨率重构方法，具体步骤如下：

一、基于多级稠密残差块生成器网络，建立不同残差块之间的稠密连接关系，n个残差元被捆绑成一个残差块，所有先前残差块的输出被连接作为下一个残差块的输入，即以稠密方式连接这些残差块，其中，单个残差元的前向传播可以表示为：

x_l+1＝x_l+F(x_l,w_l)

第一个残差块的输出可表示为：

因此，第N个稠密残差块(DRB)的输入可表示为：

其中，

是指在残差块1,2，...，N-1中产生的特征图的级联；

二、在每个稠密残差块的前端加入瓶颈层；

三、采用Wasserstein距离损失和VGG特征匹配损失来优化全局网络；

在自然图像超分辨率重构算法(Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial，SRGAN)中，真实的高分辨率数据分布P_data和由生成器重构的超分辨率图像分布P_g之间的相似性是由KL和JS散度来判断，可以表达为：

其中，p_m是P_data和p_g的平均，μ是随机值，设置μ＝p_m以确保JS或KL散度的对称性，最小化生成器损失就是最小化JS或KL散度；

本申请引入了Wasserstein距离来替代KL和JS散度，生成器和鉴别器的损失不采用对数表达，W-Loss函数可以描述为：

其中，Ω是1-Lipschitz函数的集合，p_g是G(z)的模型分布；

引入梯度惩罚项以加速算法的收敛，可以将W-Loss演化为：

其中，

是以等概率从G(z)和x中随机提取的样本，最后一项代表网络正则化的梯度惩罚，λ是权重参数；

将定义在特征空间的特征匹配损失添加到损失函数中，首先采用预先训练的VGG-19网络作为特征提取器分别提取超分辨率CT(Super-Resolution CT，SRCT)和高分辨率CT(High Resolution CT，HRCT)的图像特征，取最后一个卷积层输出特征图像来进行计算，F-Loss被定义为重建图像G(z)的特征表示与真实参考图像x的特征表示之间的欧几里德距离，可以表达为：

其中，W_m，n和H_m，n分别代表VGG-19网络的特征映射维度，VGG_m，n表示在VGG-19网络内的第m个最大池化之前通过第n个卷积获得的特征映射；

将Wasserstein距离损失和VGG特征匹配损失纳入整体损失函数，表达如下：

α是一个权重因子，网络以迭代交替的方式来分别优化生成器和判别器，所以生成器G和鉴别器D的损失函数可以分别表示为：

和

生成器G的损失函数是由特征匹配损失F-Loss和受正则化约束Wassertein距离损失W-Loss中的对抗损失组成，鉴别器D的损失函数是使用Wasserstein距离损失来测量SRCT的分布与HRCT的分布之间的距离，并且区分其输入图像是真实的HRCT还是重构出的SRCT；

四、布置基于由粗到细的多路生成器；

五、生成基于条件式生成对抗学习的图像，条件式生成对抗网络的表达式如下：

六、重构基于由粗到细的多路条件生成对抗网络的CT图像超分辨率重构框架；

七、重构损失函数：

1)、生成器损失重构，具体表达式如下：

其中，

为像素级损失、

为特征匹配损失和

为对抗损失，其中α₁、α₂和α₃用于调节每一部分损失占整体损失的比重；

2)、判别器损失重构，具体表达式如下：

其中，ε控制着两项损失的权重，对于此处的特征匹配损失

D_k仅用作特征提取器，并且不会使损失

最大化。

在步骤四中，多路生成器包括全局生成器和局部生成器：

全局生成器包括三个部分：一个前向卷积

一组多路稠密残差块

一个后端转置卷积

其输入为待测试的LRCT图像，输出为重构后的分辨率增长为原LRCT的2*2倍的高分辨率图像；

局部生成器包括三个部分：一个前向卷积

一组残差块

一个后端转置卷积

残差块

的输入是两个特征映射的元素和：G2的前向卷积输出特征图

以及全局生成器网络G1的后端转置的最后特征映射

在步骤六中，超分辨率重构框架由多路生成器重构网络和用于条件约束的对抗学习网络组成。

本发明与现有技术相比，具体有益效果体现在：

一、本申请提出了基于多级稠密残差块的生成器结构进行4倍CT图像超分辨率重构。针对CT图像对比度小，特征较少等特点，本方法将不同残差块以稠密方式进行连接，引入瓶颈层进行特征降维，既减少了网络冗余，又实现了不同残差块间的特征复用，使得网络达到了最大信息传输，提高了特征利用率，很好地恢复出CT图像的细节信息，极大提升了重构图像质量。

二、本申请利用Wasserstein距离进行重构图像与原始高分辨率图像分布间的距离度量，并且构造特征匹配损失来增强重构图像的视觉感知效果，提升图像质量。

三、本申请提出了由粗到细的多路条件GAN网络来对不同低分辨率CT图像进行重构。为了更进一步降低CT辐射剂量，本申请探索对更低分辨率的CT图像使用更大的重构因子进行重构。针对不同重构因子的重构方法，本申请将生成器设计为全局生成器和多个局部生成器配合工作，并且为了约束图像生成质量，以应对大的重构因子，本申请将全局生成器的特征输出作为局部生成器的条件特征约束，并且给判别器输入低分辨率CT图像来提升其判别性能。另外，本申请设计了多尺度判别器结构，以针对不同分辨率的不同尺度下的特征匹配，来提升不同分辨率的重构质量。

附图说明

图1为残差元结构示意图。

图2为稠密网络的连接示意图。

图3为多级稠密残差块结构示意图。

图4为Wasserstein MDRGAN的总体结构示意图。

图5为判断器网络结构示意图。

图6为两个胸部CT切片在四种不同MDRBs结构上性能直方图。

图7为本方法的4倍重建视觉效果图。

图8为ROIs的放大示意图。

图9为多路生成器的结构示意图。

图10为条件式生成对抗网络示意图。

图11为基于多路条件GAN总体框架示意图。

图12为不同方法在4倍的CT分辨率重构结果图。

图13为不同方法在6倍的CT分辨率重构结果图。

图14为不同方法在8倍的CT分辨率重构结果图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

基于生成对抗网络的CT图像超分辨率重构方法，提出了一种新型的生成器结构以及设计新的代价函数来对CT图像进行128*128到512*512的4倍CT图像重构。

1、布置多层稠密残差块(Multiple Dense Residual Blocks，MDRBs)生成器网络：

本申请提出了一种轻量型多级稠密残差块结构来作为生成器的主体结构，如图1所示，n个残差元被捆绑成一个残差块，然后所有先前残差块的输出被连接作为下一个残差块的输入，即以稠密方式连接这些残余块。其中，单个残差元的前向传播可以表示为：

残差网络(ResNet)反向传播时，仅需求链式法则之前部分，即第L层的梯度可以保持稳定的传递到第l层。残差网络的一大特点是其反向更新方式可以解决由于网络深度加深引起的梯度消失问题，可表达为：

图1为ResNet网络的残差块的连接机制，在图1中，每个层都会接受其前面所有层作为其额外的输入。作为对比，如图2所示，为密集连接机制(dense connection，DenseNet)，在DenseNet中，每个层都会与前面所有层在不同信道上连接在一起，并作为下一层的输入。对于一个l层的网络，DenseNet共包含l×(l+1)/2个连接，其表达式为：

x_l＝H_l([x₀,x₁,....,x_l-1]) (3-3)

n个残差元被捆绑成一个残差块，然后所有先前残差块的输出被连接作为下一个残差块的输入，即以稠密方式连接这些残余块。其中，单个残差元的前向传播可以表示为：

x_l+1＝x_l+F(x_l,w_l) (3-4)

第一个残差块的输出可表示为：

因此，第N个稠密残差块(Dense Residual Block，DRB)的输入可表示为：

其中，

是指在残差块1,2，...，N-1中产生的特征图的级联。

为了减少每个稠密残差块输入特征图的数量并将每个通道的特征进行整合，在每个稠密残差块的前端加入了瓶颈层(Bottleneck-Layer)。利用瓶颈层(1*1卷积)可以大大减少网络参数的数量，加快网络计算速度，并减少网络冗余。

M和N分别表示残差元的数量和网络中稠密连接的级数。如图3所示，每个残差块由n(n＝2)个残差元组成，并且对这些残差块进行稠密连接。图3的左下方表示单个残差元。每个残差元由两个3*3卷积层及其相应的批量归一化层组成。

2、设计损失函数

采用Wasserstein距离损失(W-Loss)和VGG特征匹配损失(VGG-Loss)来优化全局网络。

Wasserstein距离损失(W-Loss)

在SRGAN中，真实的高分辨率(high-resolution，HR)数据分布P_data和由生成器重构的超分辨率(super-resolution，SR)图像分布p_g之间的相似性是由KL和JS散度来判断，可以表达为：

其中p_m是P_data和p_g的平均，μ是随机值，一般设置μ＝p_m以确保JS或KL散度的对称性，最小化生成器损失就是最小化JS或KL散度。

将Wasserstein距离应用于CT图像的超分辨率重建，从而更好地估计生成的SRCT的分布p_g与真实HRCT的分布p_data之间的距离。由于引入了Wasserstein距离，生成器和鉴别器的损失不采用对数表达。所以W-Loss函数可以描述为：

其中，Ω是1-Lipschitz函数的集合，p_g是G(z)的模型分布。

引入梯度惩罚项以加速算法的收敛，可以将W-Loss演化为：

其中，

是以等概率从G(z)和x中随机提取的样本，最后一项代表网络正则化的梯度惩罚，λ是权重参数。Wasserstein距离可以用来更好地衡量真实样本x与生成样本G(z)之间的差异，并有效解决由JS和KL散度引起的梯度消失或发散问题。

VGG特征匹配损失(VGG-Loss)

为了恢复出更真实的图像细节和内容，将定义在特征空间的特征匹配损失(VGG-Loss)添加到损失函数中。首先采用预先训练的VGG-19网络(包含十六个卷积层，后面是三个全连接的层)作为特征提取器分别提取SRCT和HRCT的图像特征。然后利用提取到的特征来计算VGG-Loss。为了充分利用VGG-19网络提取到的特征，本申请取最后一个卷积层(即第16层)输出特征图像来进行计算。F-Loss被定义为重建图像G(z)的特征表示与真实参考图像x的特征表示之间的欧几里德距离，可以表达为：

其中，W_m，n和H_m，n分别代表VGG-19网络的特征映射维度，VGG_m，n表示在VGG-19网络内的第m个最大池化之前通过第n个卷积(在激活之后)获得的特征映射，增加VGG特征匹配损失可有效降低噪声并恢复更清晰的细节。

总体代价函数

基于以上分析，本申请将Wasserstein距离损失和VGG特征匹配损失纳入整体损失函数，表达如下：

其中，α是一个权重因子。为了进行更好的梯度优化，网络以迭代交替的方式来分别优化生成器和判别器，所以生成器G和鉴别器D的损失函数可以分别表示为：

和

公式(3-12)中生成器G的损失函数是由特征匹配损失F-Loss(3-10)和受正则化约束Wassertein距离损失W-Loss(3-9)中的对抗损失组成，它将约束生成器生成的SRCT图像与真实HRCT图像在特征表达和高频细节恢复上尽可能保持一致。公式(3-13)中的鉴别器D的损失函数是使用Wasserstein距离损失来测量SRCT分布与HRCT分布之间的距离，并且区分其输入图像是真实的HRCT还是重构出的SRCT。在整体损失函数设计中，引入特征匹配损失重构的结果比通过MSE损失优化的结果更加真实，更符合人的视觉感知效果。此外，Wasserstein距离损失的引入解决了梯度消失和弥散问题，使网络训练过程的收敛性更好。

如图4所示，多级稠密残差块Wasserstein GAN网络包括以下三个部分：

第一部分是生成器G。G主要是由多级稠密残差块作为主体结构，每个稠密残差块的第一个3*3卷积层前面都设计了1*1的卷积操作，目的是减少其输入的特征图数量，降低网络运算的复杂度，同时可以融合各个通道的特征。另外，本申请通过块归一化层(BatchNorm)和ReLU函数来共同构建生成器去生成SRCT图像。

第二部分是VGG特征匹配损失单元(VGG-Loss)。用同一特征抽取器去分别抽取生成器重构出的SRCT和真实的HRCT图像的特征，并利用特征匹配损失函数去计算F-Loss，从而不断优化生成器去生成与真实HRCT图像特征最吻合的SRCT图像。

第三部分是判别器D。D是由八个卷积层和两个全连接的层组成。如图5所示。该网络每一个卷积层都采用大小为3*3的卷积核。每一层的卷积核个数分别为64，64，128，128，256，256，512和512。紧接着是两个全连接层。第一个全连接层有1024个输出，表示1024维的特征。第二个全连接层输出一个标量，其值表示D的输入被判别为HRCT的概率。最后，W-Loss用于调整和优化产生的生成器损失G-Loss和判别器损失D-Loss。

网络训练

为了证明所提出的网络的可靠性，本申请使用了一个公开授权的“TCIA-TCGA-OV诊断CT图像”真实临床数据集来训练和评估网络性能。训练数据集包括10752对高分辨率的HRCT图像(512*512)和对应的低分辨率LRCT图像(128*128)，分别作为网络的真实标签和输入数据，其中高分辨率HRCT来自癌症CT影像数据(TCIA-TCGA-OV)，通过使用4倍的下采样因子对HRCT图像进行下采样来获取相应的低分辨率LRCT图像，所有图像数据都采用PNG格式。

MDRBs结构的性能验证

选择两个胸部CT切片来评估不同MDRBs结构的重建性能。我们设计了4种不同的MDRBs结构，以证明其有效性和必要性。如果一个网络具有四级密集连接，每一级包含四个残差元，则该结构被命名为d4r4。d0r16代表不包含稠密连接，只有16个残差元的残差网络。根据上述命名规则，d0r16，d2r8和d4r4都由16个残差元组成，其密集连接级数从0增加到4。d3r6包含18个残差元，因此它是最深的结构，对应的直方图绘制在图6中。

从图6中可以看到相同的MDRBs结构对不同切片的产生不同的影响，但整体趋势几乎相同。从图6(a)可以看出，PSNR值由大到小排序为：d4r4>d3r6>d0r16>d2r8，d4r4的PSNR值高达40dB，优于d0r16(ResNet)和更深的d3r6网络。从图6(b)可以看出，d4r4在结构恢复方面表现是最突出的，而其他三种结构的SSIM差别相对较小，因此所有这些网络在图像结构恢复上具有良好的性能。从图6(c)可以看出，d4r4在视觉方面远远优于其他三种结构，表明MDRBs(d4r4)结构可以极大地提高图像的视觉信息保真度，为医学诊断提供更有利的信息。综上所述，MDRBs(d4r4)在两个切片上都表现了极好的重构性能。

Wasserstein MDRBs的性能验证

本申请选择了两个胸部CT切片和一个腹部CT切片，定性和定量地评估不同重建方法的重构性能。

图7显示了不同重建方法的重构结果。它的三行分别表示三个CT切片的重建结果。图7(f)WEI本申请方法的重建结果。图7(g)是真实参考HRCT。为了清楚地观察图像恢复结果，在图7(g)中用矩形标记感兴趣区域(ROIs)，并且在图8中展示出每个重建方法的ROIs的放大示意图。

从图8(f-g)可以看出，本申请的网络在不丢失细节信息的情况下极大地增强了视觉效果，并且通过本申请的方法重建的图像非常接近真实的HRCT图像。

基于由粗到细的多路条件GAN的CT图像超分辨率重构

1、基于由粗到细的多路生成器设计

为了保证不同低分辨率的CT图像在经过不同重构因子可以很好地重构出分辨率为512*512的高分辨率CT图像，本申请提出了基于由粗到细的多路生成器去进行CT图像重构，它是一种端到端的重构网络。该网络可以输入不同分辨率的CT图像，最终输出固定高分辨率512*512的CT图像。

本申请构建多路生成器网络G1、G2、G3...来学习多倍高低分辨率CT图像间的映射关系。G1表示全局生成器网络、G2和G3表示局部增强器网络。然后生成器组G＝{G1，G2，G3...}如图9所示。

1)全局生成器G1

全局生成器G1依旧采用多级稠密残差块作为主体结构其输入为待测试的LRCT图像，输出为重构后的分辨率增长为原LRCT的2*2倍的高分辨率图像。

2)局部生成器

局部生成器的结构采用U-Net作为生成器。U-net是一个包含下采样和上采样的网络结构。下采样用来逐渐展现环境信息，而上采样的过程是结合下采样各层信息和上采样的输入信息来还原细节信息，并且逐步还原图像精度。

局部生成器G2和G3的输入是分别对LRCT每一维度进行2倍和3倍Bicubic插值来获得。输出分别为LRCT的4*4倍(4倍重构)和6*6倍(6倍重构)的高分辨率CT图像。具体的网络设计如图10所示。局部生成器G2主要包括三个部分：一个前向卷积

一组残差块

一个后端转置卷积

与全局生成器G1网络不同，残差块

的输入是两个特征映射的元素和：G2的前向卷积输出特征图

以及全局生成器网络G1的后端转置的最后特征映射

这有助于整合从G1到G2的全局信息。局部生成器G3与G2的设计类似。唯一区别之处在于：G3残差块

的输入为G3的前向卷积输出特征图

以及局部生成器网络G2的后端转置映射过程中与

特征维度匹配的特征图之和。

2、基于条件式生成对抗学习的图像生成

如图10所示：条件生成对抗网络的优化过程是带有条件概率的极小极大博弈：

条件生成对抗网络的提出为图像到图像的生成问题提供了一个通用的框架。

3、基于由粗到细的多路条件GAN的CT超分辨率重构框架

如图11所示，基于上述分析本申请提出了一种基于由粗到细的多路条件GAN的超分辨率重构方法。

基于由粗到细的多路条件GAN的重构框架主要由两个子网络构成：多路生成器重构网络和用于条件约束的对抗学习网络。其中重构网络指的是端到端的多路生成网络结构。假设给定数据集{I^LR,I^HR}，其中I^LR是低分辨率CT图像，I^HR是与I^LR相对应的分辨率为512*512高分辨率CT图像，条件约束的对抗学习是指全局生成器与局部生成器、局部生成器与局部生成器间的相互作用关系，以及判别器的输入会额外增加低分辨率图像来进行约束判别，增强网络的生成性能及判别能力。

重构网络的输入是低分辨率CT图像I^LR，其作用是学习低分辨率CT图像I^LR和真实的高分辨率CT图像I^HR之间的映射关系，根据判别网络的反馈促使重构后的超分辨率CT的图像I^SR与真实的高分辨率CT图像I^HR越来越相似，能够达到“以假乱真”的效果；判别网络的输入是低分辨率CT图像I^LR与标签图像I^HR的联合或者低分辨率图像I^LR与重构后图像I^SR的联合，其作用是将这两种输入正确区分开。

判别网络的输入是带条件变量的联合输入，这里的条件变量指的就是低分辨率图像，即判别网络的输入是重构网络的输出与原始低分辨率图像的联合，或者是真实高分辨率图像与低分辨率图像的联合。

本申请使用3个具有相同网络结构但在不同图像尺度下工作的鉴别器。鉴别器由8个卷积层构成，本申请分别从第4层，第6层和第8层三个尺度上抽取特征进行匹配，按照抽取层将鉴别器分别定义为D4，D6和D8。本申请将真实和重构的高分辨率图像分别在这三层上进行特征匹配，然后训练鉴别器D4，D6和D8以分别在3个不同的标度上区分真实和合成图像。虽然鉴别器具有相同的结构，但以最粗模式运行的结构具有最大的感知域，它具有更全局的图像视图，可以指导生成器生成全局一致的图像。另一方面，以最精细的模式操作的鉴别器专门用于引导生成器产生更精细的细节。

损失函数设计

多分辨率重构框架搭建好之后，下一步需要建立用于优化的损失函数，通过最小化损失函数来优化网络中的参数。假设用G表示重构网络，D表示判别网络，I^LR表示输入的低分辨率CT图像，I^SR表示经生成器重构后的高分辨率CT图像，I^HR表示与I^LR对应的高分辨率标签图像。

1)生成器重构损失

生成器重构网络的损失函数主要包含两部分：一部分是生成图像与标签图像之间的内容损失，另一部分是来自于重构图像在判别过程产生的对抗损失。为了使生成图像能够保留更多的细节信息，本申请不仅优化了生成图像与标签图像在像素级上的损失，还优化了两者在特征层面上的损失，即特征匹配损失。因此生成器重构网络的损失函数

具体由以下三项构成：像素级损失

特征匹配损失损失

和对抗损失

其中α₁、α₂和α₃用于调节每一部分损失占整体损失的比重。

第一项是像素级损失，即重构后的超分辨率CT图像与真实高分辨率CT图像之间的均方误差，假设C、H和W分别是图像的通道数、高度和宽度，像素级损失的定义如下：

第二项是特征匹配损失。

第三项是对抗损失，该损失来源于判别网络对生成图像的判断结果，是对抗学习方式的核心损失。判别网络对生成图像的判别精度越高，说明重构网络重构出的图像与标签图像差异越大，因此对抗损失与判别网络对生成图像的判别精度是相反的。生成器重构网络的目的是希望重构后的图像能达到“以假乱真”的效果，也就是使判别器无法分辨图像的来源，因此对抗损失具体表示如下，其中

表示将两幅含RGB三个通道的图像拼接为一幅含六个通道的图像。

2)判别器损失

设计了多尺度判别器结构，为了便于呈现，将鉴别器的第i层特征提取器表示为D(i)。分别从判别器的4，6，8层抽取特征进行比较表达式为：

其中ε控制着两项损失的权重。请注意，对于此处的特征匹配损失

D_k仅用作特征提取器，并且不会使损失

最大化。

实验结果与分析

为了验证本申请所提出结构的有效性，本申请从两个方面进行了比较实验。

(1)本申请比较不同的低分辨率CT图像分别通过SRGAN、SRResNet-V54和本申请的方法在不同的重构因子(4×，6×，8×)下的重构结果。

(2)本申请探索了通过学习高低分辨率图像间的映射关系，来实现对分辨率为512*512的CT图像进行更大分辨率的尝试。

使用不同重构因子的性能对比

利用较大的重构因子重建高质量的CT图像将使得进一步减少CT辐射剂量成为可能。本申请通过使用不同的重构因子(4×，6×，8×)来比较SRGAN，SRResNet-V54和本申请方法的性能。

本申请使用同一CT图像的不同低分辨率LRCT(64*64,85*85,128*128)来重建对应的HRCT 512*512图像。本申请在CT图像上用矩形框标定了4个感兴趣区域，分别是ROI(5-8)，对应的视觉效果图被提供在以下三幅图中。

如图12所示，给出了三种方法在4倍的CT超分辨率重构的结果以及重构后感兴趣区域的放大。(a)图中出现了一些纹理细节信息丢失，而且其边缘过于平滑。(b)方法的重构效果相对(a)在视觉和细节恢复上要好很多，但是仍然存在局部细节恢复不到位的问题。从(c)可以看出，本章方法对CT图像及局部恢复都很有效，与真实的高分辨率图像在视觉上很相似。因此，本申请的方法可以很好地进行4倍CT图像超分辨率重构，对其局部区域恢复效果也很好。

如图13所示，给出了三种方法在6倍的CT超分辨率重构的结果以及重构后感兴趣区域的放大。从中可以很明显地观察到SRGAN和SRResNet-V54出现了严重的模糊现象，视觉呈现效果急剧降低。许多细节信息丢失。而从(c)可以看出，本申请的方法在6倍重构效果上仍然展现了很好的重构性能，对于细节和视觉上都远远优于其他两类方法，而且对于局部区域的恢复仍然有着很好的表现。

如图14所示，给出了三种方法在8倍的CT超分辨率重构的结果以及重构后感兴趣区域的放大。SRGAN和SRResNet-V54两类重构方法基本已经出现了严重的伪影，图像过度平滑。从(c)可以看出，本申请的方法8倍的重构效果远优于其他两类方法的8倍重构效果，甚至优于它们的6倍重构效果。

从上表可以看出，本申请的方法在PSNR、SSIM、和VIF三类度量方式上均优于其它两类方法。随着重建因子的增加，SRGAN和SRResNet-V54的重构性能大幅度降低，而本申请的方法性能保持不变或者略有下降。对于相同的重构因子，在不同的感兴趣区域，本申请的方法都展现了很好的重构性能。总的来说，本申请的网络更实用，更稳定。

利用映射关系探索512*512CT图像重构

由于CT设备限制，目前CT机输出的CT图像分辨率大多为512*512。在进行实验中，本申请将512*512作为真实的高分辨率参考图像，然后利用低分辨率CT图像去重构512*512的高分辨率CT图像。这样可以在保证不影响医生诊断的情况下，有效地降低CT辐射剂量。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包在本发明范围内。

Claims

1.基于生成对抗网络的CT图像超分辨率重构方法，具体步骤如下：

x_l+1＝x_l+F(x_l,w_l)

第一个残差块的输出可表示为：

因此，第N个稠密残差块的输入可表示为：

其中，

是指在残差块1,2，...，N-1中产生的特征图的级联；

二、在每个稠密残差块的前端加入瓶颈层；

三、采用Wasserstein距离损失和VGG特征匹配损失来优化全局网络，真实的高分辨率数据分布P_data和由生成器重构的超分辨率图像分布P_g之间的相似性是由Wasserstein距离来度量，表示为W-Loss函数：

其中，Ω是1-Lipschitz函数的集合，p_g是G(z)的模型分布；

引入梯度惩罚项以加速算法的收敛，可以将W-Loss函数演化为：

其中，

将定义在特征空间的特征匹配损失添加到损失函数中，首先采用预先训练的VGG-19网络作为特征提取器分别提取超分辨率CT和高分辨率CT的图像特征，VGG-19网络包含十六个卷积层，后面是三个全连接的层，取最后一个卷积层输出特征图像来进行计算，F-Loss被定义为重建图像G(z)的特征表示与真实参考图像x的特征表示之间的欧几里德距离，可以表达为：