CN115760586A - 一种基于多尺度注意力生成对抗网络的医学图像增强方法 - Google Patents

一种基于多尺度注意力生成对抗网络的医学图像增强方法 Download PDF

Info

Publication number
CN115760586A
CN115760586A CN202210682274.8A CN202210682274A CN115760586A CN 115760586 A CN115760586 A CN 115760586A CN 202210682274 A CN202210682274 A CN 202210682274A CN 115760586 A CN115760586 A CN 115760586A
Authority
CN
China
Prior art keywords
image
loss
generator
quality
quality image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210682274.8A
Other languages
English (en)
Inventor
余玉丰
钟国金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202210682274.8A priority Critical patent/CN115760586A/zh
Publication of CN115760586A publication Critical patent/CN115760586A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于多尺度注意力生成对抗网络的医学图像增强方法，两个生成器和两个判别器的对抗中得以训练，在编码层跳转连接时加入注意力门以过滤无效信息，突出重要图像区域，避免冗余底层特征堆积；设计金字塔特征FPN对解码层进行扩展，融合不同层次的特征和末端输出；最后使用卷积注意力模块在通道和空间维度对融合特征进行注意力分配，成像时更加关注重点信息。该方法添加了光照均匀项、纹理保真项、感知损失项和图像平滑性，从光照分布、纹理细节、深层语义特征及平滑性等多角度加强对生成图像质量的约束以提高增强效果。本发明采用Adam算法训练网络，并给出了实验结果验证本发明的可行性和有效性。

Description

一种基于多尺度注意力生成对抗网络的医学图像增强方法
技术领域
本发明涉及医学图像增强、医学图像合成等领域，属于医学图像处理技 术领域，具体涉及一种基于多尺度注意力生成对抗网络的医学图像增强方法。
背景技术
随着现代医疗水平的不断提升，作为实现“智慧医疗”核心的医学影像 设备逐渐在各基层医院得到应用，X光(X-ray)、电子计算机断层扫描 (Computer Tomography,CT)、核磁共振(Magnetic Resonance,MR)、激光 扫描共聚焦显微镜(Confocal Laser ScanningMicroscope,CLSM)、超声波 (Ultrasound)等医学图像往往能为医生们提供许多与生物或解剖组织相关 的信息，是进行临床诊断和治疗的重要依据。然而实际获取医学图像的过程中存在许多不可控因素，导致采集到的图像是低质量的，主要原因包括：(1) 由于成本和技术受限，成像设备年久失修、缺乏维护，并且可能不具备最新 的功能组件；(2)成像设备所处环境不佳，如黑暗、欠曝、存在遮挡等。这 些低质量图像存在两点不良影响：(1)大大增加了医护人员阅片识片的精力 和时间成本，从而导致临床诊断的不确定性、误判和漏判率提高；(2)计算 机视觉模型在面对低质量图像时准确性能会大幅降低，不利于开展后续的图像分析、分割和分类等任务，大大降低医学图像的应用价值。因此，保证医 学图像的高质量十分重要，利用快速发展的计算机视觉技术提高医学图像的 质量在近几年已成为研究热点。医学图像增强主要目的是均匀图像亮度、保 证图像结构、恢复图像纹理细节，更加清晰地展现图像内容，使之变成更适 合肉眼观察及计算机视觉模型使用的高质量图像，对于医学和计算机视觉领 域都有着重要的意义。
医学图像增强问题已经引起了广泛的学术关注，目前传统医学图像增强 方法有明显的缺陷，区域处理时通常不加以区分前景和背景，造成高质量区 域过度增强，而低质量区域增强不明显，甚至放大噪声，细节保留度较差。 基于深度学习的医学图像增强方法多数是完全监督的，需要基于严格配对的 图像数据进行训练；而非配对方法虽适用性更强，但在保持纹理细节和平衡 背景方面仍存在挑战，因此需要重新设计。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供一种基于多尺度注意力生成对抗网络 的医学图像增强方法，使其具备能够更好地提取医学图像的多尺度、上下文 信息，并且基于注意力机制抑制不相关激活、突出重点信息，最后从循环一 致性、光照分布、纹理细节以及深层语义等多角度优化对生成图像质量的约 束等优点，以解决依赖严格的配对训练数据，且增强后图像存在结构不完整、 光照分布不均匀、纹理细节丢失的问题。
(二)技术方案
为实现上述能够更好地提取医学图像的多尺度、上下文信息，并且基于 注意力机制抑制不相关激活、突出重点信息，最后从循环一致性、光照分布、 纹理细节以及深层语义等多角度优化对生成图像质量的约束目的，本发明提 供如下技术方案：
一种基于多尺度注意力生成对抗网络的医学图像增强方法，包括包括以 下步骤：
S1、构建生成器GL→H和判别器GL→H，为增强图像分支；构建相同生成器 GH→L和判别器GH→L，为还原图像分支；
S2、将原始低质量图像x输入到生成器GL→H中得到增强图像
Figure BDA0003698810970000021
再将
Figure BDA0003698810970000022
输 入到生成器GH→L中得到还原的低质量图像
Figure BDA0003698810970000023
将原始高质量图像y输入到生成 器GH→L中得到低质量图像
Figure BDA0003698810970000031
再将
Figure BDA0003698810970000032
输入到生成器GL→H中得到还原的高质量图 像
Figure BDA0003698810970000033
从中计算循环一致损失LCyc、光照均匀损失LIU、纹理保真损失LTF、图 像平滑损失LIS和感知损失LPL；
S2.1、将原始低质量图像x和原始高质量图像y分别输入到生成器GH→L和 GL→H中得到映射图像
Figure BDA0003698810970000034
和
Figure BDA0003698810970000035
从中计算身份映射损失LIdt；
S2.2、将原始高质量图像y和增强图像
Figure BDA0003698810970000036
输入到判别器DH中，由DH判别它 们的真假，将原始低质量图像x和生成低质量图像
Figure BDA0003698810970000037
输入到判别器DL中，由DL判 别它们的真假，从中计算对抗损失LAdv；
S3、基于Adam算法和误差反向传播原理，通过优化总体损失函数获得 梯度，首先固定生成器，对判别器参数进行更新；然后固定判别器，对生成 器参数进行更新；重复以上过程直至达到训练轮数上限。
优选的，所述步骤S1中，生成器以基于卷积残差模块的U-Net为主体， 在编码层跳转连接时加入注意力门以过滤无效信息，突出重要图像区域，避 免冗余底层特征堆积；设计金字塔特征FPN对解码层进行扩展，融合不同层 次的特征和末端输出，更好地利用起多尺度、上下文全局信息；最后使用卷 积注意力模块在通道和空间维度对融合特征进行注意力分配，成像时能够更 加关注重点信息。
优选的，所述步骤S2中，判别器则是由多个卷积模块构成的多尺度形式 的神经网络。
优选的，所述步骤S2中，计算循环一致损失LCyc、光照均匀损失LIU、纹 理保真损失LTF、图像平滑损失LIS和感知损失LPL，包括：
LCyc＝Ex[||GH→L(GL→H(x))-x||1]+Ey[||GL→H(GH→L(y))-y||1] (1)
Figure BDA0003698810970000041
Figure BDA0003698810970000042
Figure BDA0003698810970000043
Figure BDA0003698810970000044
优选的，所述(1)式中，其中，x、y分别表示原始低质量图像和原始高质 量图像；GL→H表示用于生成高质量图像的生成器，GH→L表示用于生成低质量 图像的生成器；
(2)式中，其中，
Figure BDA0003698810970000045
分别表示输入图像的全局平均照明 度和p×p大小的局部区域平均照明度；
Figure BDA0003698810970000046
代表双三次插值上采样操作，用 以消除尺度差异；
(3)式中，其中，K表示每张图像划分的局部区域数；yi、xi分别表示 高质量图像y和低质量图像x的第i个局部区域，GL→H(x)i、GH→L(y)i分别表示 两张生成图像的第i个局部区域；
Figure BDA0003698810970000047
和
Figure BDA0003698810970000048
表示原始图像第i区 域与其对应生成图像第i区域之间的协方差阵，
Figure BDA0003698810970000049
分 别为yi、GH→L(y)i、xi、GL→H(x)i对应的标准差阵；c则是一个用于避免数值 不稳定的小常数；
(4)式中，其中，
Figure BDA0003698810970000051
表示在预训练网络的第i层池化后的第j层卷积提取 的特征图；Hi，j和Wi，j则是特征图的尺寸大小；
(5)式中，其中，f(x，y)为给定图像的强度函数，H、W为强度函数所 描述图像的尺寸。
优选的，所述步骤S2.2中，计算对抗损失LAdv：
LAdv＝LGAN(GL→H，DH，x，y)+LGAN(GH→L，DL，x，y) (7)
LGAN(GL→H，DH，x，y)＝Ex[1-(DH(GL→H(x)))2]+Ey[(DH(y)-1)2] (8)
LGAN(GH→L，DL，x，y)＝Ey[1-(DL(GH→L(y)))2]+Ex[(DL(x)-1)2] (9)。
优选的，所述(7)、(8)和(9)式中，x、y分别表示原始低质量图像和 原始高质量图像；GL→H表示用于生成高质量图像的生成器，GH→L表示用于生 成低质量图像的生成器；DH表示用于判别输入图像是否是高质量图像的判别 器，DL表示用于判别输入图像是否是低质量图像的判别器。
优选的，所述步骤S3中，基于Adam算法和误差反向传播原理，通过优 化总体损失函数获得梯度，首先固定生成器，对判别器参数进行更新；然后 固定判别器，对生成器参数进行更新；重复以上过程直至达到训练轮数上限：
Figure RE-GDA0003896929410000052
Figure RE-GDA0003896929410000061
优选的，所述(10)和(11)式中，λ1，λ2，α，β，γ和η分别表示循环 一致损失LCyc、身份映射损失LIdt、光照均匀损失LIU、纹理保真损失LTF、感 知损失LPL和图像平滑损失LIS所对应的权重。
(三)有益效果
与现有技术相比，本发明提供的基于多尺度注意力生成对抗网络的医学 图像增强方法，具备以下有益效果：
1、该基于多尺度注意力生成对抗网络的医学图像增强方法，通过引入基 于多尺度注意力的生成对抗网络解决非配对医学图像增强问题，同时能够更 好地提取医学图像的多尺度、上下文信息，并且基于注意力机制抑制不相关 激活、突出重点信息，最后从循环一致性、光照分布、纹理细节以及深层语 义等多角度优化对生成图像质量的约束。
2、该基于多尺度注意力生成对抗网络的医学图像增强方法，具有增强效 果优秀，能够得到更高质量的医学图像，有利于医生们进行临床诊治和后续 分析，具有更高的应用价值。
附图说明
图1是本发明实施例医学图像增强方法的整体流程与原理示意结构；
图2是本发明实施例医学图像增强方法生成器的网络结构图；
图3是本发明实施例医学图像增强方法生成器中的卷积残差模块结构图；
图4是本发明实施例医学图像增强方法生成器中的上采样模块结构图；
图5是本发明实施例医学图像增强方法生成器中的注意力门AG结构图；
图6是本发明实施例医学图像增强方法生成器中的金字塔特征FPN结构 图；
图7是本发明实施例医学图像增强方法生成器中的卷积注意力模块CBAM 结构图；
图8是本发明实施例医学图像增强方法判别器的网络结构图；
图9是本发明实施例的增强图像与其他先进方法增强图像的光照分布对 比图；
图10是本发明实施例增强图像与其他先进方法增强图像的纹理细节对比 图；
图11是本发明实施例增强图像与其他先进方法增强图像的残影噪声对比 图；
图12是本发明方实施例增强图像与其他先进方法增强图像的分割效果对 比图；
图13为实施例医学图像增强方法的分割结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
本发明实施例提供的基于多尺度注意力生成对抗网络的医学图像增强方 法，适用于非配对医学图像增强，参见图1所示，其包括以下步骤：
步骤1，基于非配对医学图像增强的思想框架，构建生成器GL→H和判别 器DH，为增强图像分支；构建相同生成器GH→L和判别器DL，为还原图像分支。
其中，生成器结构参见图2所示，总体来看是一个U-Net型编码器-解码 器结构。具体来看，每个编码层由一个卷积残差模块紧接一个最大池化层组 成，每个解码层由一个双线性插值的上采样模块紧接一个卷积残差模块组成。 编码器和解码器所使用的卷积残差模块结构相同，参见图3所示，包含两个 堆叠的3×3卷积-批次标准化BN-LeakyReLU，在输入值与输出值之间使用一 个短距连接(Shortcut Connection)实现残差结构，能够避免深度增加导致网 络退化、梯度消失和爆炸等问题。解码器上采样模块参见图4所示，是两倍上采样-3×3卷积-批次标准化BN-LeakyReLU-Dropout的串行结构。
参见图2所示，对于同层级的编码层和解码层数据，使用跳转连接进行 信息的传递，有效利用起编码和解码路径之间的空间信息。并在每个解码层 构建一个注意力门(Attention Gate,AG)，AG会对编码层传递到解码层的特 征进行筛选，应用注意力机制保留其重要信息进而参与后续解码计算。相较 于直接简单地相加，AG能够抑制不相关激活响应，突出重要的图像区域，有 效避免冗余底层特征的堆积，其结构参见图5所示。
在传统U-Net的解码上采样路径中，每个解码层输出不同尺度的高层语 义特征，但其忽略了不同尺度特征图的影响，只将最后一层的输出作为生成 结果，并且各尺度层级之间无法共享特征。为了解决这个问题，本文设计特 征金字塔(Feature PyramidNetwork,FPN)对U-Net进行扩展，在解码器的每 一层次中添加一条额外的由1×1卷积层和上采样层组成的路径，目的是对解 码器7个层次提取多尺度特征并消除尺度差异，然后在通道维度堆叠送入3×3 卷积得到融合多尺度信息的特征，最后与末层输出逐元素相加。参见图6所 示，图5更加清晰地呈现了本发明的FPN设计，相较于传统FPN从底层开始 1×1卷积-上采样逐步向上融合高层特征的FPN设计，本发明的FPN在底层特 征和深层语义的融合过程中不容易丢失位置信息，更好地利用起多尺度、上 下文全局信息。
在得到生成图像前，本发明添加了一个轻量的卷积注意力模块(ConvolutionalBlock Attention Module,CBAM)，对解码器的输出特征先后在 通道和空间位置维度进行注意力计算。CBAM结构如图7所示，从整体上看 是一个通道注意力模块(ChannelAttention Module,CAM)和空间注意力模块 (Spatial Attention Module,SAM)的串联结构。通道注意力模块CAM和空间 注意力模块SAM的设计思路基本相同：首先试图用平均和最大池化来压缩和 过滤无效信息，进而通过卷积层和Sigmoid激活生成注意力图，最后与原特征 相乘实现特征的自适应学习。只不过CAM更关注什么样的特征更重要，目标 是完成通道注意力权重的分配，因此基于空间即高宽维度进行全局平均和最 大池化，得到C×1×1的通道描述；而SAM更关注哪个位置的特征更重要， 目标是完成空间位置注意力权重的分配，因此基于通道维度进行全局平均和 最大池化，得到1×H×W的空间描述。CBAM在此使用可以看作是对生成图 像的一种先验指导，成像时能够更加关注重点信息。
判别器结构参见图8所示，设计为多尺度形式，分别使用2×2最大池化、 4×4最大池化、8×8最大池化提取不同尺度的特征图，紧接上采样模块消除 尺度差异，最后使用卷积模块融合多尺度信息。
步骤2，将原始低质量图像x输入到生成器GL→H中得到增强图像
Figure BDA0003698810970000091
再将
Figure BDA0003698810970000092
输入到生成器GH→L中得到还原的低质量图像
Figure BDA0003698810970000093
将原始高质量图像y输入到生 成器GH→L中得到低质量图像
Figure BDA0003698810970000094
再将
Figure BDA0003698810970000095
输入到生成器GL→H中得到还原的高质量 图像
Figure BDA0003698810970000096
从中计算循环一致损失LCyc、光照均匀损失LIU、纹理保真损失LTF、 图像平滑损失LIS和感知损失LPL。
与配对训练不同，非配对训练只有对抗损失无法保持输出与目标分布相 同，循环一直损失能够解决该问题，其要求增强图像GL→H(x)输入到低质量生 成器GH→L中得到的重建图像GH→L(GL→H(x))与原低质量图像x尽可能相似，即 要求GH→L(GL→H(x))≈x，GL→H(GH→L(y))≈y。总的循环一直损失表示为：
LCyc＝Ex[||GH→L(GL→H(x))-x||1]+Ey[||GL→H(GH→L(y))-y||1] (1)
其中，x、y分别表示原始低质量图像和原始高质量图像；GL→H表示用于 生成高质量图像的生成器，GH→L表示用于生成低质量图像的生成器。
医学图像整体的光照分布是十分重要的，均匀的光照有利于医生准确地 进行临床诊断和后续分析与治疗。所以，本发明引入光照均匀项损失函数LIU来 正则化一张图像的光照分布，这是通过最小化局部区域和整体图像的照明差 异实现的，可以视为人类视觉的先验知识。光照均匀项的数学表达式为：
Figure BDA0003698810970000101
其中，Eglobal[·]、
Figure BDA0003698810970000102
分别表示输入图像的全局平均照明度和p×p大 小的局部区域平均照明度；
Figure BDA0003698810970000103
代表双三次插值上采样操作，用以消除尺度差 异。
值得一提的是，仅需保证高质量图像满足光照正则化的约束，所以在具 体的训练过程中，光照均匀损失仅在低质量图像增强为高质量的生成器分支 中被计算。
光照均匀项虽然能够改善图像的光照分布，使之更加适合人类肉眼观察， 但可能导致图像对比度过低，一些关键的前景纹理细节可能被均匀化到背景 中从而丢失重要信息。本发明构造了纹理保真项损失函数LTF，不仅综合考虑 图像亮度、对比度和结构，而且将图像划分为多个区域进行局部化、精细化 处理，能够更好地增强图像的纹理细节，数学定义为：
Figure BDA0003698810970000111
其中，K表示每张图像划分的局部区域数；yi、xi分别表示高质量图像y和 低质量图像x的第i个局部区域，GL→H(x)i、GH→L(y)i分别表示两张生成图像的 第i个局部区域；
Figure BDA0003698810970000112
和
Figure BDA0003698810970000113
表示原始图像第i区域与其对应生成 图像第i区域之间的协方差阵，
Figure BDA0003698810970000114
分别为yi、GH→L(y)i、 xi、GL→H(x)i对应的标准差阵；c则是一个用于避免数值不稳定的小常数。
循环一致性在图像层次对生成图像和真实图像的整体结构进行逐像素地 约束，是GAN成功的重要原因之一。本发明提出了感知损失项，尝试在图像 深层特征层次进行进一步地约束。为了更好地适应非配对训练任务，具体做 法为将输出图像和原始图像输入到预训练好的VGG-16网络模型中提取特征， 通过最小化它们之间的特征空间距离，从而限制生成图像内容不会发生偏移 的同时，确保生成图像具备真实图像的结构和细节信息。感知损失表示为：
Figure BDA0003698810970000115
其中，
Figure BDA0003698810970000116
表示在预训练网络的第i层池化后的第j层卷积提取的特征图； Hi，j和Wi，j则是特征图的尺寸大小。
增强后图像很可能存在噪声、边界伪影等，参见图9中红框所示。这些 都是不必要的干扰信息，严重影响医护人员进行临床诊断。为了抑制和去除 这些干扰，本文引入图像平滑项LIS来正则化网络使之在正确的位置收敛，保 证生成图像的平滑性。LIS参考基于图像清晰度先验的全变分原理：含噪声的 图像全变分比不含噪声的图像全变分大。因此对图像去噪，降低全变分即可， 图像平滑项定义为：
Figure BDA0003698810970000121
其中，f(x，y)为给定图像的强度函数，H、W为强度函数所描述图像的尺 寸。
值得一提的是，在这里f(x，y)所描述的图像是增强后的高质量图像 GL→H(x)，即图像平滑损失仅在低质量图像增强为高质量的生成器分支中被计 算，因为将高质量图像还原为低质量图像的过程中包含许多不可预测因素， 我们并不要求低质量图像也具备平滑性。注意，在实际训练过程中，图像平 滑项的权重应设为一个较小的值，如果权重过高，平滑的过程中会丢失一些 纹理细节。
步骤3，将原始低质量图像x和原始高质量图像y分别输入到生成器GH→L和GL→H中得到映射图像
Figure BDA0003698810970000122
和
Figure BDA0003698810970000123
从中计算身份映射损失LIdt。
在循环一致性损失中，是将低质量图像x输入到高质量生成器GL→H中进行 增强，或将高质量图像y输入到低质量生成器GH→L中进行还原。如果向GL→H输 入y，此时我们并不希望生成图像GL→H(y)发生很大的变化，而是希望GL→H(y) 尽可能地保留y的特征，学习到对y的单位映射，这是因为y本就是高质量图像。 同理向GH→L输入x也如此，我们希望GH→L(x)与x尽可能保持相似。这种约束 能够提升GAN网络对图像颜色等特征的保留能力，称为身份映射损失LIdt， 定义为：
LIdt＝Ex[||GH→L(x)-x||1]+Ey[||GL→H(y)-y||1] (6)
其中，x、y分别表示原始低质量图像和原始高质量图像；GL→H表示 用于生成高质量图像的生成器，GH→L表示用于生成低质量图像的生成器。
步骤4，将原始高质量图像y和增强图像
Figure BDA0003698810970000133
输入到判别器DH中，由DH判别 它们的真假，将原始低质量图像x和生成低质量图像
Figure BDA0003698810970000134
输入到判别器DL中，由DL判别它们的真假，从中计算对抗损失LAdv；
LAdv＝LGAN(GL→H，DH，x，y)+LGAN(GH→L，DL，x，y) (7)
LGAN(GL→H，DH，x，y)＝Ex[1-(DH(GL→H(x)))2]+Ey[(DH(y)-1)2] (8)
LGAN(GH→L，DL，x，y)＝Ey[1-(DL(GH→L(y)))2]+Ex[(DL(x)-1)2](9)
其中，x、y分别表示原始低质量图像和原始高质量图像；
GL→H表示 用于生成高质量图像的生成器，GH→L表示用于生成低质量图像的生成器；
DH表示用于判别输入图像是否是高质量图像的判别器，DL表示用于判别输入图 像是否是低质量图像的判别器。
步骤5，基于Adam算法和误差反向传播原理，通过优化总体损失函数获 得梯度，首先固定生成器，对判别器参数进行更新；然后固定判别器，对生 成器参数进行更新；重复以上过程直至达到训练轮数上限：
Figure RE-GDA0003896929410000141
Figure RE-GDA0003896929410000142
其中，λ1，λ2，α，β，γ和η分别表示循环一致损失LCyc、身份映射损 失LIdt、光照均匀损失LIU、纹理保真损失LTF、感知损失LPL和图像平滑损失LIS所对应的权重。
本发明基于CORN-2角膜共聚焦数据集进行图像增强实验，引入领域内 表现优秀的几种SOTA方法进行对比，包括CLAHE和DCP两种传统方法， NST、MSG-Net、EnlightenGAN和StillGAN四种深度学习方法，从定性分析 和定量分析两方面对比评估本发明方法对低质量医学图像的增强效果。
本发明定性分析主要采用肉眼观察的方式，要求观察者从整体结构、光 照分布和局部纹理细节等多方面对医学图像质量进行评估。
(1)光照分布对比
首先，对比原始低质量图像与应用各先进方法增强的图像之间的光照分 布差异。如图10所示，第一、三行为原始低质量图像及各种方法的增强图像， 第二、四行为红色方框所圈出区域的放大图像。其中，原始图像的光照分布 是非常不均匀的，应用CLAHE、DCP、NST和MSG-Net增强图像对光照质 量的提升较为有限，不均匀的光照甚至让图像的纹理结构发生退化。 EnlightenGAN虽然较好地保留了结构信息，但其平衡光照均匀性仅作用于局 部，原始图像光照越不均匀，这个缺陷越明显。本发明方法在所有方法中取 得了最佳视觉效果，其增强图像的光照分布最适合肉眼观察，相较于StillGAN，其保持前景纹理细节能力更加出色。
(2)纹理细节对比
其次，对比原始低质量图像与应用各先进方法增强的图像之间的纹理细 节差异。如图11所示，第一、三行为原始低质量图像及各种方法的增强图像， 第二、四行为红色方框所圈出区域的放大图像。其中，原始图像的纹理细节 是较为模糊的，CLAHE、DCP、NST和MSG-Net增强图像的纹理结构存在明 显失真。相较于EnlightenGAN和StillGAN，本发明方法的前景纹理细节更清 晰，增强效果更好。
(3)噪声伪影对比
最后，对比原始低质量图像与应用各先进方法增强的图像之间的噪声伪 影差异。如图12所示，第一、三行图像中红色方框所标识的区域强度不均匀、 存在角膜疤痕或成像光斑，在增强过程中应避免将其认为是神经纤维结构， 一方面这不利于其周边真实神经纤维的增强，另一方面会干扰医护人员的临 床诊断。可以看到，除本发明方法以外的所有图像增强方法都没有对这种噪 声加以区分，而是将其认定为神经纤维并予以增强。本发明方法则能够识别 这两种结构的差异，没有对噪声进行增强，而是学习到了噪声周围的真实神经纤维信息。此外，还去除了红色虚线框所标识的StillGAN存在的边界伪影， 进一步提高了图像的质量。
定量分析采用图像熵(Entropy)、平均梯度(Average Gradient,AvG)、 Brisque(Blind/Referenceless Image Spatial Quality Evaluator)、NIQE(Natural ImageQuality Evaluator)、PIQE(Perception-based Image Quality Evaluator)这 四种常用的无参考质量评价指标对医学图像质量进行评估。
表1
Figure BDA0003698810970000151
Figure BDA0003698810970000161
表1列出了原低质量图像和各先进方法增强后图像的熵、平均梯度AvG、 Brisque、NIQE以及PIQE。从整体来看，本发明方法增强图像的质量可以被 认为是最高的，因为其AvG、Brisque和PIQE指标达到最佳、图像熵指标达 到次佳。尤其是PIQE，相较原图和其他方法大幅降低，这意味着本发明方法 的重建性能较高，其增强图像纹理结构更加清晰。
虽然这些无参考图像质量评估指标不能完全代表肉眼观察情况，但在一 定程度上证明了本发明方法在增强图像质量方面的优势，所以需要基于下游 分割任务进一步对这些增强方法进行对比。
对低质量图像进行增强往往是为了后续的图像分析、分类和分割等下游 任务，增强效果越好，越有利于准确地完成这些任务；增强效果不佳，图像 质量仍旧较差，则可能导致诊断分析出现偏差甚至错误。为了确认图像增强 对下游分析任务的影响，将各增强图像输入到Cs-Net预训练图像分割网络中 对角膜神经纤维进行分割，对比增强后图像和原低质量图像的分割结果。
分割结果如图13所示，从整体来看，基本上所有方法的增强图像分割效 果都要好于原始图像，说明各种方法都有一定的增强效果。其中本发明方法 分割出了更完整的神经纤维结构，并且一些纹理细节间的延续性更强，与真 实标签最为接近。可见，本发明方法能够显著提高图像的质量，并且增强后 图像能够在后续的下游分割任务中取得良好的结果。
定量分析采用AUC、逐像素精确率ACC(Accuracy)、灵敏度 SEN(Sensitivity)、G-mean、Kappa系数、Dice相似系数这六种常用指标对分 割效果进行评估，这些评估指标都是正向指标，即值越大，分割效果越好。
表2列出了原低质量图像和各先进方法增强后图像输入到Cs-Net中进行 分割得到的AUC、ACC、SEN、G-mean、Kappa和Dice指标。整体来看，相 较原图的分割结果，六种方法增强图像都有一定的提升，尤其是 EnlightenGAN、StillGAN和本发明方法。而这三种表现较为优秀的方法中， 本发明方法取得了最佳的结果，除ACC外的五项指标均是最高的。其中，本 发明方法的AUC、SEN、G-mean、Kappa和Dice对比次优秀的StillGAN分 别提升了3.1％、7.1％、5.3％、3.1％和3.3％。神经纤维结构分割的准确性是 观察和诊断神经系统疾病的基础，分割结果从侧面反映了提升图像质量的有 效性。
表2
Figure BDA0003698810970000171
本发明上述实施例提供的基于多尺度注意力生成对抗网络的医学图像增 强方法，采用两个生成器和两个判别器的对抗中得以训练，在编码层跳转连 接时加入注意力门以过滤无效信息，突出重要图像区域，避免冗余底层特征 堆积；设计金字塔特征FPN对解码层进行扩展，融合不同层次的特征和末端 输出，更好地利用起多尺度、上下文全局信息；最后使用卷积注意力模块在 通道和空间维度对融合特征进行注意力分配，成像时更加关注重点信息。该 方法添加了光照均匀项、纹理保真项、感知损失项和图像平滑性，从光照分布、纹理细节、深层语义特征及平滑性等多角度加强对生成图像质量的约束 以提高增强效果。本发明采用Adam算法训练网络，并给出了实验结果验证本 发明的可行性和有效性。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而 言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行 多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限 定。

Claims (9)

1.一种基于多尺度注意力生成对抗网络的医学图像增强方法，其特征在于，包括以下步骤：
S1、构建生成器GL→H和判别器GL→H，为增强图像分支；构建相同生成器GH→L和判别器GH→L，为还原图像分支；
S2、将原始低质量图像x输入到生成器GL→H中得到增强图像
Figure RE-FDA0003896929400000011
再将
Figure RE-FDA0003896929400000012
输入到生成器GH→L中得到还原的低质量图像
Figure RE-FDA0003896929400000013
将原始高质量图像y输入到生成器GH→L中得到低质量图像
Figure RE-FDA0003896929400000014
再将
Figure RE-FDA0003896929400000015
输入到生成器GL→H中得到还原的高质量图像
Figure RE-FDA0003896929400000016
从中计算循环一致损失LCyc、光照均匀损失LIU、纹理保真损失LTF、图像平滑损失LIS和感知损失LPL；
S2.1、将原始低质量图像x和原始高质量图像y分别输入到生成器GH→L和GL→H中得到映射图像
Figure RE-FDA0003896929400000017
和
Figure RE-FDA0003896929400000018
从中计算身份映射损失LIdt；
S2.2、将原始高质量图像y和增强图像
Figure RE-FDA0003896929400000019
输入到判别器DH中，由DH判别它们的真假，将原始低质量图像x和生成低质量图像
Figure RE-FDA00038969294000000110
输入到判别器DL中，由DL判别它们的真假，从中计算对抗损失LAdv；
S3、基于Adam算法和误差反向传播原理，通过优化总体损失函数获得梯度，首先固定生成器，对判别器参数进行更新；然后固定判别器，对生成器参数进行更新；重复以上过程直至达到训练轮数上限。
2.根据权利要求1所述的基于多尺度注意力生成对抗网络的医学图像增强方法，其特征在于，所述步骤S1中，生成器以基于卷积残差模块的U-Net为主体，在编码层跳转连接时加入注意力门以过滤无效信息，突出重要图像区域，避免冗余底层特征堆积；设计金字塔特征FPN对解码层进行扩展，融合不同层次的特征和末端输出，更好地利用起多尺度、上下文全局信息；最后使用卷积注意力模块在通道和空间维度对融合特征进行注意力分配，成像时能够更加关注重点信息。
3.根据权利要求1所述的基于多尺度注意力生成对抗网络的医学图像增强方法，其特征在于，所述步骤S2中，判别器则是由多个卷积模块构成的多尺度形式的神经网络。
4.根据权利要求1所述的基于多尺度注意力生成对抗网络的医学图像增强方法，其特征在于，所述步骤S2中，计算循环一致损失LCyc、光照均匀损失LIU、纹理保真损失LTF、图像平滑损失LIS和感知损失LPL，包括：
LCyc＝Ex[||GH→L(GL→H(x))-x||1]+Ey[||GL→H(GH→L(y))-y||1] (1)
Figure RE-FDA0003896929400000021
Figure RE-FDA0003896929400000022
Figure RE-FDA0003896929400000023
Figure RE-FDA0003896929400000024
5.根据权利要求4所述的基于多尺度注意力生成对抗网络的医学图像增强方法，其特征在于，所述(1)式中，其中，x、y分别表示原始低质量图像和原始高质量图像；GL→H表示用于生成高质量图像的生成器，GH→L表示用于生成低质量图像的生成器；
(2)式中，其中，
Figure RE-FDA0003896929400000025
分别表示输入图像的全局平均照明度和p×p大小的局部区域平均照明度；
Figure RE-FDA0003896929400000026
代表双三次插值上采样操作，用以消除尺度差异；
(3)式中，其中，K表示每张图像划分的局部区域数；yi、xi分别表示高质量图像y和低质量图像x的第i个局部区域，GL→H(x)i、GH→L(y)i分别表示两张生成图像的第i个局部区域；
Figure RE-FDA0003896929400000027
和
Figure 1
表示原始图像第i区域与其对应生成图像第i区域之间的协方差阵，
Figure RE-FDA0003896929400000029
分别为yi、GH→L(y)i、xi、GL→H(x)i对应的标准差阵；c则是一个用于避免数值不稳定的小常数；
(4)式中，其中，
Figure RE-FDA0003896929400000031
表示在预训练网络的第i层池化后的第j层卷积提取的特征图；Hi，j和Wi，j则是特征图的尺寸大小；
(5)式中，其中，f(x，y)为给定图像的强度函数，H、W为强度函数所描述图像的尺寸。
6.根据权利要求1所述的基于多尺度注意力生成对抗网络的医学图像增强方法，其特征在于，所述步骤S2.2中，计算对抗损失LAdv：
LAdv＝LGAN(GL→H，DH，x，y)+LGAN(GH→L，DL，x，y) (7)
LGAN(GL→H，DH，x，y)＝Ex[1-(DH(GL→H(x)))2]+Ey[(DH(y)-1)2] (8)
LGAN(GH→L，DL，x，y)＝Ey[1-(DL(GH→L(y)))2]+Ex[(DL(x)-1)2] (9)。
7.根据权利要求6所述的基于多尺度注意力生成对抗网络的医学图像增强方法，其特征在于，所述(7)、(8)和(9)式中，x、y分别表示原始低质量图像和原始高质量图像；GL→H表示用于生成高质量图像的生成器，GH→L表示用于生成低质量图像的生成器；DH表示用于判别输入图像是否是高质量图像的判别器，DL表示用于判别输入图像是否是低质量图像的判别器。
8.根据权利要求1所述的基于多尺度注意力生成对抗网络的医学图像增强方法，其特征在于，所述步骤S3中，基于Adam算法和误差反向传播原理，通过优化总体损失函数获得梯度，首先固定生成器，对判别器参数进行更新；然后固定判别器，对生成器参数进行更新；重复以上过程直至达到训练轮数上限：
Figure RE-FDA0003896929400000032
Figure RE-FDA0003896929400000033
Figure RE-FDA0003896929400000041
9.根据权利要求8所述的基于多尺度注意力生成对抗网络的医学图像增强方法，其特征在于，所述(10)和(11)式中，λ1，λ2，α，β，γ和η分别表示循环一致损失LCyc、身份映射损失LIdt、光照均匀损失LIU、纹理保真损失LTF、感知损失LPL和图像平滑损失LIS所对应的权重。
CN202210682274.8A 2022-06-16 2022-06-16 一种基于多尺度注意力生成对抗网络的医学图像增强方法 Pending CN115760586A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210682274.8A CN115760586A (zh) 2022-06-16 2022-06-16 一种基于多尺度注意力生成对抗网络的医学图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210682274.8A CN115760586A (zh) 2022-06-16 2022-06-16 一种基于多尺度注意力生成对抗网络的医学图像增强方法

Publications (1)

Publication Number Publication Date
CN115760586A true CN115760586A (zh) 2023-03-07

Family

ID=85349980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210682274.8A Pending CN115760586A (zh) 2022-06-16 2022-06-16 一种基于多尺度注意力生成对抗网络的医学图像增强方法

Country Status (1)

Country Link
CN (1) CN115760586A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173263A (zh) * 2023-10-31 2023-12-05 江苏势通生物科技有限公司 基于增强型多尺度残差生成对抗网络的图像压缩方法
CN117725419A (zh) * 2023-12-22 2024-03-19 兰州理工大学 一种小样本类不平衡转子故障诊断方法及系统
CN117893413A (zh) * 2024-03-15 2024-04-16 博创联动科技股份有限公司 基于图像增强的车载终端人机交互方法
CN117911705A (zh) * 2024-03-19 2024-04-19 成都理工大学 一种基于GAN-UNet变体网络的脑部MRI肿瘤分割方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173263A (zh) * 2023-10-31 2023-12-05 江苏势通生物科技有限公司 基于增强型多尺度残差生成对抗网络的图像压缩方法
CN117173263B (zh) * 2023-10-31 2024-02-02 江苏势通生物科技有限公司 基于增强型多尺度残差生成对抗网络的图像压缩方法
CN117725419A (zh) * 2023-12-22 2024-03-19 兰州理工大学 一种小样本类不平衡转子故障诊断方法及系统
CN117893413A (zh) * 2024-03-15 2024-04-16 博创联动科技股份有限公司 基于图像增强的车载终端人机交互方法
CN117893413B (zh) * 2024-03-15 2024-06-11 博创联动科技股份有限公司 基于图像增强的车载终端人机交互方法
CN117911705A (zh) * 2024-03-19 2024-04-19 成都理工大学 一种基于GAN-UNet变体网络的脑部MRI肿瘤分割方法
CN117911705B (zh) * 2024-03-19 2024-05-28 成都理工大学 一种基于GAN-UNet变体网络的脑部MRI肿瘤分割方法

Similar Documents

Publication Publication Date Title
Ma et al. Structure and illumination constrained GAN for medical image enhancement
CN115760586A (zh) 一种基于多尺度注意力生成对抗网络的医学图像增强方法
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN106934761A (zh) 一种三维非刚性光学相干断层扫描图像的配准方法
Manakov et al. Noise as domain shift: Denoising medical images by unpaired image translation
CN113989551A (zh) 一种基于改进ResNet网络的阿尔茨海默病分类方法
Zhong et al. Multi-scale attention generative adversarial network for medical image enhancement
Jiang et al. A super-resolution method-based pipeline for fundus fluorescein angiography imaging
Duan et al. A generative model for OCT retinal layer segmentation by groupwise curve alignment
CN117315258A (zh) 基于图卷积网络和部分卷积的轻量级视网膜血管分割方法
Hervella et al. Multimodal image encoding pre-training for diabetic retinopathy grading
Shi et al. Artifact-tolerant clustering-guided contrastive embedding learning for ophthalmic images in glaucoma
Miao et al. Classification of diabetic retinopathy based on multiscale hybrid attention mechanism and residual algorithm
CN113362360B (zh) 基于流体速度场的超声颈动脉斑块分割方法
CN114677310A (zh) 一种延迟增强磁共振图像降噪与重建方法及系统
Hassan et al. Conditional GAN for prediction of glaucoma progression with macular optical coherence tomography
Liu et al. DL‐MRI: A Unified Framework of Deep Learning‐Based MRI Super Resolution
Yu et al. Self-supervised blind2unblind deep learning scheme for oct speckle reductions
Lachinov et al. Learning spatio-temporal model of disease progression with NeuralODEs from longitudinal volumetric data
Zheng et al. Retinal Image Graph‐Cut Segmentation Algorithm Using Multiscale Hessian‐Enhancement‐Based Nonlocal Mean Filter
CN116612090A (zh) 一种确定肺动脉栓塞指数的系统及方法
Wang et al. MEMO: dataset and methods for robust multimodal retinal image registration with large or small vessel density differences
Go et al. Combined deep learning of fundus images and fluorescein angiography for retinal artery/vein classification
Xu et al. SSP-Net: A Siamese-based Structure-Preserving Generative Adversarial Network for Unpaired Medical Image Enhancement
Li et al. Dual-domain fusion deep convolutional neural network for low-dose CT denoising

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination