CN110264424B - 一种基于生成对抗网络的模糊视网膜眼底图像增强方法 - Google Patents

Abstract

本发明涉及一种基于生成对抗网络的模糊视网膜眼底图像增强方法，属于图像增强技术领域。包括如下步骤：步骤一：构建训练集和测试集；步骤二：分别对步骤一构建的训练集和测试集中的眼底图像进行预处理；步骤三：构建用于增强的生成对抗网络模型；步骤四：利用训练好的生成器对测试集模糊视网膜眼底图像进行增强，得到最终的增强结果。所述方法对比现有眼底图像增强方法，增强结果平滑无噪声，色彩还原度高，有效地改善了传统方法颜色偏移、对比度过高、颜色失真、噪声放大的问题；避免设计复杂的先验模型，且处理速度更快；很好地还原了视网膜眼底图像血管分布等细节，生成结果真实可靠。

Description

一种基于生成对抗网络的模糊视网膜眼底图像增强方法

技术领域

本发明涉及一种基于生成对抗网络的模糊视网膜眼底图像增强方法，属于图像增强技术领域。

背景技术

视网膜眼底图像被眼科医生用于诊断多种视网膜病变。由于成像过程的缺陷或眼部病变，造成了一些眼底图像质量不高，主要包括图像模糊、焦点不正确、照明不均匀和对比度低等。所得到的眼底图像不能满足临床诊断的需求，并且不适用于计算机辅助诊断视网膜疾病。因此，有必要改善这些图像的解剖结构可见性，使得处理后的图像质量适用于进一步的临床诊断和智能处理需求。

现有研究提出了一些灰度或者彩色视网膜图像增强方法，这些增强方法可大致分为3类：基于变换函数、基于滤波器和基于统计直方图的方法。这些方法可以通过转换函数使得眼底背景与血管之间的灰度差变大，令眼底图像对比度得到提升。然而这样的增强方法使得到的彩色眼底图像丢失重要的图像特征和颜色信息，并且在提升对比度的同时，眼底图像局部的噪声也被增强，不利于眼科医生准确诊断疾病。另外，传统增强方法大多利用先验知识，设计的模型复杂，并且需要人为根据数据特点对算法进行调整，算法的扩展性不强，所以在应用不同数据时难度较大。

生成对抗网络(GAN)在过去几年中得到了迅速发展，它可以用于生成自然图像和医学图像的真实图像。后来学者们提出了条件对抗网络(cGAN)，可用于将图像从一个域转换为另一个域，需要成对的训练数据。该方法在图像上色、从标签合成图像、通过边缘重构物体等图到图的转换问题上表现优异，并且不需要先验知识与人为调整。

发明内容

本发明的目的在于针对现有视网膜眼底图像增强方法存在的如下两方面缺陷：1)得到的彩色眼底图像丢失重要的图像特征和颜色信息，并且在提升对比度的同时，眼底图像局部的噪声也被增强，不利于眼科医生准确诊断疾病；2)大多利用先验知识，网络模型复杂，需要人为根据数据特点对方法进行调整，扩展性弱；提出了一种基于生成对抗网络的模糊视网膜眼底图像增强方法。

一种基于生成对抗网络的模糊视网膜眼底图像增强方法，包括如下步骤：

步骤一：构建训练集和测试集；

其中，训练集及测试集中的图像是临床采集的视网膜眼底图像；训练集中包含白内障手术的术前图像和术后拍摄的眼底图像，图像为配对的视网膜眼底图像，即每张模糊图像均有对应的清晰图像作为参照；测试集中的图像是因成像过程缺陷或眼部病变造成的模糊视网膜眼底图像，且测试集不需要参照图像；

术前图像由于白内障视网膜病变而产生模糊，因此是模糊眼底图像；术后图像为清晰的眼底图像；采集对象为同一人，因此其视盘以及血管为主的眼底结构一致；术后图像为术前图像的标签；

术前图像以及术后图像称为手术前后图像对；

构建训练集过程中，对图像进行筛选，剔除过度模糊、病变严重、过暗的图像对；

步骤二：分别对步骤一构建的训练集和测试集中的眼底图像进行预处理，具体包括如下子步骤：

步骤2.1对于训练集中的手术前后图像对进行配准，保证手术前后图像对的视盘位置与血管分布逐像素对应，输出配准后的手术前后图像；

其中，优选的配准方法为基于Harris-PIIFD特征点的眼底图像配准方法，该配准方法以术后图像为基准配准术前图像，包括如下子步骤：

步骤2.1A利用Harris检测器来检测手术前后图像对包含的特征角点，并通过向中心缩进的方式剔除视网膜与黑色背景边界处的背景点；

步骤2.1B采用平均平方梯度的方法，为步骤2.1A中每一个特征角点指派主方向；

步骤2.1C以每一个特征角点为中心，提取该特征角点邻域内的PIIFD特征向量；

步骤2.1D采用BBF(Best-Bin-First)算法对手术前后图像对中每一个特征角点提取的PIIFD特征向量进行匹配，术后图像中特征角点为基准点，术前图像对应的特征角点为匹配点；

步骤2.1E对于步骤2.1D中所有匹配点，其中存在匹配不正确的点，称为误匹配点，通过特征角点的主方向以及几何分布，检测出误匹配点并剔除；

步骤2.1F对步骤2.1E剔除误匹配点后的匹配点位置进行微调，具体为：搜索匹配点周围M*M像素范围内所有特征角点，比较基准点与匹配点的PIIFD特征向量，选取匹配度最高的点代替原匹配点；

其中，M取值范围为[1,10]；

步骤2.1G根据匹配点个数选择对术后图像进行几何变换，输出配准后的手术前后图像，具体为：

2.1GA若只存在两对匹配点，则对术后图像采用线性保角变换；

2.1GB若匹配点对的个数在[3,6)范围内，则对术后图像采用仿射变换；

2.1GC若匹配点对的个数大于等于6，则对术后图像采用二次多项式变换；

其中，匹配点对指匹配点与对应基准点组成的点对；

至此，配准后的手术前后眼底图像视盘以及血管在图像中的位置逐像素对应；

步骤2.1的操作原因是为了克服由于拍摄角度的因素导致前后图像视盘以及血管分布的差异性；

步骤2.2采用阈值法提取配准后的手术前后图像对的ROI区域，再截取重叠区域，得到截取重叠区域后的图像对，具体包括如下子步骤：

步骤2.2A提取手术前后图像对中的红色通道并对红色通道选取阈值T进行阈值分割处理；

其中，阈值T的取值范围为[0,50]中的整数；

步骤2.2B应用数学形态学算子开操作、闭操作以及腐蚀操作依次作用于步骤2.2A阈值分割处理后的红色通道；

步骤2.2C判断经过步骤2.2B处理后的阈值分割图是否存在黑色孔洞，若不存在，则输出二值化后的ROI区域；若存在则进行孔洞填充，再输出二值化后ROI区域；

步骤2.2C的操作原因是部分眼底图像亮度不均、亮度较低，经步骤2.2B处理可能会存在黑色孔洞；

至此，经步骤2.2A到步骤2.2C完成了采用阈值法提取配准后的手术前后图像对的ROI区域操作；

步骤2.2D对配准后提取的二值化后ROI区域进行与操作，得到重叠区域模板，将重叠区域模板与配准后的结果相乘，得到截取重叠区域后的图像对；

步骤2.3统一步骤2.2D中的重叠区域以及测试集模糊眼底图像边框，并调整训练集中手术前后图像对以及测试集模糊眼底图像的分辨率到2^K*2^K像素，具体为：对于截取重叠区域后的图像以及测试集中的模糊眼底图像，利用步骤2.2A到步骤2.2C提取其ROI区域，再将多余的边框去除，留取ROI区域边界为图像边界，更好的保留原图的信息，将图像分辨率调整至为2^K*2^K像素；

其中，K的取值范围为[6,9]；

步骤2.4当训练集中的手术前后图像对小于N时，对训练集中的手术前后图像对进行旋转、翻转以扩充训练集；N取值为[50,100]中的整数；

步骤三：构建用于增强的生成对抗网络模型；

其中，该生成对抗网络模型，简称模型，包括生成器、判别器以及损失函数，步骤三包括如下子步骤：

步骤3.1采取U-Net结构构建生成器；

进行K次降采样，将2^K*2^K*3像素降采样至1*1*2^K，再进行K次升采样，还原至2^K*2^K*3，并且将卷积层连接至对应的反卷积层；

卷积核大小为S*S，步长为2，降采样通道数在前三层分别为2^K-3、2^K-2、2^K-1，第4层到第K层通道数为2^K，升采样通道数与降采样相对应；

其中，S取值为[3,5]中的整数；

卷积层与反卷积层每层包括卷积、正则化以及激活函数；

激活函数在卷积层为负斜率为L的LeakyReLU激活函数；

反卷积层激活函数为ReLU；最外层激活函数为双曲正切函数；

其中，L取值范围为[0,1]；

生成器的输入为手术前模糊视网膜眼底图像，输出为增强图像，该模糊眼底图像通过生成器从而得到增强；

生成器采用U-Net结构的原因是为了保证输入眼底图的视盘，血管等信息可以保留；U-Net结构中将输入层与对应的输出层连接；

步骤3.2采用PatchGAN结构构建判别器；

共P层卷积，前P-2层进行步长为2的降采样，第P-1层与第P层卷积步长为1；卷积核尺寸为S*S，第一层到第三层通道数分别为2^K-3、2^K-2、2^K-1，第四层到第P-1层通道数为2^K，最后一层通道数为1；

前P-1层卷积层包括卷积、正则化以及激活函数，激活函数为负斜率为L的LeakyReLU，最后一层卷积后直接输出；

判别器是用来分辨输入的图像是否为真实眼底图像，通过训练判别器使之可以成功判别输入真假；

步骤3.3构建网络的损失函数；

损失函数包括手术后清晰眼底图与增强后输出的L1损失函数，以及生成对抗损失；

其中，L1损失函数，用

表示，即生成图像与真实图像的约束；

的计算公式如(1)所示：

其中，‖y-G(x)‖₁代表求清晰眼底图像与生成眼底图像的1范数；

代表清晰眼底图像；G(x)为生成眼底图像；

生成对抗损失采用LSGAN中最小平方损失函数，用

表示；其中，G与D分别表示生成器与判别器；

计算公式如(2)所示：

其中，

代表模糊眼底图像，生成器G为通过训练使得生成眼底图像G(x)趋近于真实的清晰眼底图像y；

判别器D(X)为给出输入判别器图像X为真的概率d，d∈[0,1]；其中，X为y或G(x)；当X为生成眼底图像G(x)时，d接近于0，当X为真实的清晰眼底图像y时，d接近于1；

最终目标函数，即构建的损失函数如公式(3)所示：

其中，λ为

损失的权重，max_D表示选择令

结果最大的判别器D；min_G表示选择令

结果最小的生成器G；G^*表示最终选择的生成器；

生成对抗损失的目的是生成逼真的清晰眼底图像，L1损失的目的是保留原图视盘血管为主的眼底结构信息；

步骤3.4模型训练，更新参数并保存，包括如下子步骤：

步骤3.4A将模糊眼底图像输入生成器G，前向传播生成增强后眼底图像；

步骤3.4B将增强后图像与清晰眼底图像分别输入判别器D以计算

并且计算将增强后图像与清晰眼底图像的

步骤3.4C进行反向传播与参数优化，采用判别器生成器交替优化的方式，对判别器进行一次优化，再对生成器进行一次优化；

其中，判别器和生成器优化的学习率均为Q，Q的初始取值的范围为[e^-4,e^-3]；

步骤3.4D重复步骤3.4A～步骤3.4C，记录步骤3.4B输出的

和

通过公式(3)计算损失函数值，所有训练集中的手术前后图像遍历一次为一个Epoch，根据记录的损失函数值绘制不同Epoch损失曲线，当损失曲线收敛平稳后，即当训练达到Epoch等于kk时，对学习率Q进行调整，设为Q*10^-2，以对模型进行微调；

其中，kk的取值范围为大于等于100；

步骤3.4E保存训练好的生成器；

步骤四：利用训练好的生成器对测试集模糊视网膜眼底图像进行增强，得到最终的增强结果。

有益效果

本发明一种基于生成对抗网络的模糊视网膜眼底图像增强方法，与现有眼底图像增强方法相比，具有如下有益效果：

1、所述方法通过配对的数据训练生成对抗网络，利用训练完成的生成器直接对模糊视网膜眼底图像进行增强，对比现有眼底图像增强方法，增强结果平滑无噪声，色彩还原度高，有效地改善了传统方法颜色偏移、对比度过高、颜色失真、噪声放大的问题；

2、所述方法通过训练生成对抗网络得到生成器G，模糊眼底图像输入后可直接生成增强后图像，避免设计复杂的先验模型，且处理速度更快；

3、所述方法通过配对之间的约束与U-Net网络结构，很好地还原了视网膜眼底图像血管分布等细节，生成结果真实可靠。

附图说明

图1为本发明一种基于生成对抗网络的模糊视网膜眼底图像增强方法所依托的生成对抗网络结构示意图；

图2为本发明一种基于生成对抗网络的模糊视网膜眼底图像增强方法及实施例中的流程示意图。

具体实施方式

下面结合附图并举实施例，对本发明所述的一种基于生成对抗网络的模糊视网膜眼底图像增强方法进行详细描述。

实施例1

本实施例阐述了本发明所述一种基于生成对抗网络的模糊视网膜眼底图像增强方法的具体实施。

图1是本发明一种基于生成对抗网络的模糊视网膜眼底图像增强方法所依托的生成对抗网络结构示意图；

图1中G代表生成器，D代表判别器，实线表示更新生成器参数，虚线表示更新判别器参数；生成器的输入为术前模糊眼底图像，输出为生成的增强图像；判别器输入为生成的增强图像与手术后清晰的眼底图像；Loss_L1通过计算生成的增强图像与手术后清晰眼底图像的L1损失更新生成器参数；Loss_adv通过计算输入判别器图像的对抗性损失更新生成器与判别器参数。

图2是本发明具体实施方式中模糊眼底图像增强算法流程图，具体包括如下步骤：

步骤A：构建训练集和测试集；

采用临床收集的20对白内障手术前后视网膜眼底图像作为训练集，50张模糊视网膜眼底图像作为测试集；

为了保证增强质量，对训练集图像进行筛选，剔除模糊等级过高、过暗而导致的眼底结构不可见的眼底图像对，同时剔除病变严重的图像对，最终剩余11对手术前后图像对；

步骤B：分别对步骤一构建的训练集和测试集中的眼底图像进行预处理，具体包括如下子步骤：

步骤B.1：对于训练集中的手术前后图像对进行配准，采用基于Harris-PIIFD特征点的眼底图像配准方法，以手术后的眼底图像为基准，配准手术前眼底图像；利用Harris检测器来检测手术前后图像对包含的特征角点，并通过向中心缩进的方式剔除视网膜与黑色背景边界处的背景点；采用平均平方梯度的方法，为特征角点指派主方向；以特征角点为中心，提取该特征角点邻域内的PIIFD特征向量；采用BBF算法，对手术前后图像对中不同特征角点提取的PIIFD特征向量进行匹配，术后图像中特征角点为基准点，术前图像对应的特征角点为匹配点；通过特征角点的主方向以及几何分布，对误匹配点剔除；对匹配点位置进行微调，搜索匹配点周围5*5像素范围内所有特征角点，比较基准点与匹配点的PIIFD特征向量，选取匹配度最高的点代替原匹配点；根据匹配点个数选择对术后图像进行几何变换；至此，配准后的手术前后眼底图像视盘以及血管在图像中的位置逐像素对应；

步骤B.2：对于配准后图像，截取配准后重叠区域；首先，提取彩色眼底图中的红色通道并对红色通道进行阈值处理；然后，应用数学形态学算子开操作、闭操作以及腐蚀操作依次作用于阈值分割处理后的红色通道；最后，由于部分眼底图像亮度不均，亮度较低的原因，经上述处理，可能会存在黑色孔洞，对二值化后的ROI区域再执行孔洞填充操作以填充孔洞；提取ROI区域后，对配准后手术前后的ROI区域进行与操作，得到的结果再与配准后的结果相乘，得到配准后的重叠区域；

步骤B.3：由于临床数据像素不一致以及配准后重叠区域大小不一致，需要统一数据的边框及大小；对于截取重叠区域后的图像，利用上述方法提取其ROI区域，并将多余的边框去除，留取ROI区域边界为图像边界，更好地保留原图的信息；将图像调整大小至512×512像素；

步骤B.4：对于测试数据，为了规范输入，也需要进行边框及大小的统一。调整ROI区域边界为图像边界，大小为512×512，以便网络输入；

步骤B.5：扩充训练数据，对手术前后图像对进行相同的旋转、翻转操作并保存，扩充训练数据至121对；

步骤C：生成对抗网络模型的构建与训练，如图1所示，图中该生成对抗网络由生成器，判别器构成，生成器输入为术前模糊眼底图像，输出为增强后图像，损失函数包括生成对抗损失与生成图像与参照图像之间的L1损失，生成器采取U-Net结构，将卷积层连接至相应的反卷积层，判别器采用PatchGAN结构，最后一层卷积输出预测；具体步骤如下：

步骤C.1：构建生成器。本方法生成对抗网络由两部分构成，生成器与判别器。生成器的输入为手术前模糊视网膜眼底图像，该模糊眼底图像通过生成器从而得到增强，生成图像尽可能与手术后清晰眼底图像无法分辨真假。为了保证输入眼底图的视盘，血管等信息可以保留，生成器采用U-Net结构，将输入层与对应的输出层连接。共有进行9次降采样与对应的9次升采样，将512*512*3转换至1*1*512再还原至512*512*3。卷积核大小为4*4，步长为2，降采样通道数在前三层分别为64、128、256，四到九层为512，升采样通道数与降采样相对应。每层均进行批归一化操作并有相应的激活函数，激活函数卷积层为负斜率为0.2的LeakyReLU激活函数，反卷积层为ReLU，最外层激活函数为双曲正切函数。

步骤C.2：构建判别器。判别器的作用是用来分辨输入的图像是否为真实眼底图像，通过训练判别器使之可以成功判别输入真假。判别器采用PatchGAN结构，共五层卷积，卷积核尺寸为4*4。前三层卷积步长为2，进行降采样，通道数分别为64、128、256，第四、第五层步长为1，通道数为512、1。前四层卷积卷积后进行批归一化操作并添加激活函数，激活函数为负斜率为0.2的LeakyReLU。

步骤C.3：构建模型损失函数。将数据表示为

其中

代表模糊眼底图像，

代表清晰眼底图像。我们的目的是增强模糊眼底图像x，使之生成与清晰眼底图像y尽可能相似的图像

生成器可以表示为

通过训练使得

趋近于y。判别器可以表示为D:X→d∈[0,1]，当X为模糊眼底图像时，d接近于0，当X为清晰眼底图像时，d接近于1。本方法的损失函数包含两部分：一部分为生成对抗损失，本方法采用LSGAN中最小平方损失函数；另一部分为生成图像与真实图像的约束，采用L1损失函数。

计算公式如(1)所示：

的计算公式如(2)所示：

最终目标函数如公式(3)所示，其中λ为

损失的权重，设为100。

步骤C.4：模型训练，更新参数并保存。训练时，首先将模糊眼底图像输入生成器G，前向传播生成增强后眼底图像。将增强后图像与清晰眼底图像分别输入判别器D以计算

并且计算将增强后图像与清晰眼底图像的

随后进行反向传播与参数优化，优化方式选用Adam，每张图像，对判别器进行一次优化，再对生成器进行一次优化。学习率为2e^-4。记录训练时损失曲线，当损失曲线收敛平稳后，对学习率进行调整，设为2e^-6，以对模型进行微调。最后，将训练好的生成器保存。在输入图像时，对图像进行乱序处理，并且在加载数据时采用4个线程同时加载。本实例训练平台为ubuntu16.04，采用pytorch深度学习框架，利用GPU对训练进行加速。

步骤D：进行测试时，加载训练好的生成器G，将经过预处理的模糊视网膜眼底图像输入生成器，得到增强后的眼底图像。

自此，就实现了模糊视网膜眼底图像增强的全部过程。实验验证，该方法可以有效实现对模糊眼底图像的增强，并且很好地还原了视网膜眼底图像血管分布等细节，生成结果真实可靠。测试结果表明，该方法增强结果平滑无噪声，改善了传统眼底增强方法对比度过高，颜色失真，噪声放大的问题。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于生成对抗网络的模糊视网膜眼底图像增强方法，其特征在于：包括如下步骤：

步骤一：构建训练集和测试集；

其中，训练集及测试集中的图像是临床采集的视网膜眼底图像；训练集中包含白内障手术的术前图像和术后拍摄的眼底图像，图像为配对的视网膜眼底图像，即每张模糊图像均有对应的清晰图像作为参照；测试集中的图像是因成像过程缺陷或眼部病变造成的模糊视网膜眼底图像，且测试集不需要参照图像；

术前图像以及术后图像称为手术前后图像对；

构建训练集过程中，对图像进行筛选，剔除过度模糊、病变严重、过暗的图像对；

步骤二：分别对步骤一构建的训练集和测试集中的眼底图像进行预处理，具体包括如下子步骤：

步骤2.1对于训练集中的手术前后图像对进行配准，保证手术前后图像对的视盘位置与血管分布逐像素对应，输出配准后的手术前后图像；

其中，优选的配准方法为基于Harris-PIIFD特征点的眼底图像配准方法，该配准方法以术后图像为基准配准术前图像，包括如下子步骤：

步骤2.1A利用Harris检测器来检测手术前后图像对包含的特征角点，并通过向中心缩进的方式剔除视网膜与黑色背景边界处的背景点；

步骤2.1B采用平均平方梯度的方法，为步骤2.1A中每一个特征角点指派主方向；

步骤2.1C以每一个特征角点为中心，提取该特征角点邻域内的PIIFD特征向量；

步骤2.1D采用Best-Bin-First算法对手术前后图像对中每一个特征角点提取的PIIFD特征向量进行匹配，术后图像中特征角点为基准点，术前图像对应的特征角点为匹配点；

步骤2.1E对于步骤2.1D中所有匹配点，其中存在匹配不正确的点，称为误匹配点，通过特征角点的主方向以及几何分布，检测出误匹配点并剔除；

步骤2.1F对步骤2.1E剔除误匹配点后的匹配点位置进行微调，具体为：搜索匹配点周围M*M像素范围内所有特征角点，比较基准点与匹配点的PIIFD特征向量，选取匹配度最高的点代替原匹配点；

步骤2.1G根据匹配点个数选择对术后图像进行几何变换，输出配准后的手术前后图像，具体为：

2.1GA若只存在两对匹配点，则对术后图像采用线性保角变换；

2.1GB若匹配点对的个数在[3,6)范围内，则对术后图像采用仿射变换；

2.1GC若匹配点对的个数大于等于6，则对术后图像采用二次多项式变换；

其中，匹配点对指匹配点与对应基准点组成的点对；

至此，配准后的手术前后眼底图像视盘以及血管在图像中的位置逐像素对应；

步骤2.1的操作原因是为了克服由于拍摄角度的因素导致前后图像视盘以及血管分布的差异性；

步骤2.2采用阈值法提取配准后的手术前后图像对的ROI区域，再截取重叠区域，得到截取重叠区域后的图像对，具体包括如下子步骤：

步骤2.2A提取手术前后图像对中的红色通道并对红色通道选取阈值T进行阈值分割处理；

步骤2.2B应用数学形态学算子开操作、闭操作以及腐蚀操作依次作用于步骤2.2A阈值分割处理后的红色通道；

步骤2.2C判断经过步骤2.2B处理后的阈值分割图是否存在黑色孔洞，若不存在，则输出二值化后的ROI区域；若存在则进行孔洞填充，再输出二值化后ROI区域；

至此，经步骤2.2A到步骤2.2C完成了采用阈值法提取配准后的手术前后图像对的ROI区域操作；

步骤2.2D对配准后提取的二值化后ROI区域进行与操作，得到重叠区域模板，将重叠区域模板与配准后的结果相乘，得到截取重叠区域后的图像对；

步骤2.3统一步骤2.2D中的重叠区域以及测试集模糊眼底图像边框，并调整训练集中手术前后图像对以及测试集模糊眼底图像的分辨率到2^K*2^K像素，具体为：对于截取重叠区域后的图像以及测试集中的模糊眼底图像，利用步骤2.2A到步骤2.2C提取其ROI区域，再将多余的边框去除，留取ROI区域边界为图像边界，更好的保留原图的信息，将图像分辨率调整至为2^K*2^K像素；

步骤2.4当训练集中的手术前后图像对小于N时，对训练集中的手术前后图像对进行旋转、翻转以扩充训练集；

步骤三：构建用于增强的生成对抗网络模型；

其中，该生成对抗网络模型，简称模型，包括生成器、判别器以及损失函数，步骤三包括如下子步骤：

步骤3.1采取U-Net结构构建生成器；

进行K次降采样，将2^K*2^K*3像素降采样至1*1*2^K，再进行K次升采样，还原至2^K*2^K*3，并且将卷积层连接至对应的反卷积层；

卷积核大小为S*S，步长为2，降采样通道数在前三层分别为2^K-3、2^K-2、2^K-1，第4层到第K层通道数为2^K，升采样通道数与降采样相对应；

其中，S取值为[3,5]中的整数；

卷积层与反卷积层每层包括卷积、正则化以及激活函数；

激活函数在卷积层为负斜率为L的LeakyReLU激活函数；

反卷积层激活函数为ReLU；最外层激活函数为双曲正切函数；

生成器的输入为手术前模糊视网膜眼底图像，输出为增强图像，该模糊眼底图像通过生成器从而得到增强；

生成器采用U-Net结构的原因是为了保证输入眼底图的视盘，血管信息可以保留；U-Net结构中将输入层与对应的输出层连接；

步骤3.2采用PatchGAN结构构建判别器；

共P层卷积，前P-2层进行步长为2的降采样，第P-1层与第P层卷积步长为1；卷积核尺寸为S*S，第一层到第三层通道数分别为2^K-3、2^K-2、2^K-1，第四层到第P-1层通道数为2^K，最后一层通道数为1；

前P-1层卷积层包括卷积、正则化以及激活函数，激活函数为负斜率为L的LeakyReLU，最后一层卷积后直接输出；

判别器是用来分辨输入的图像是否为真实眼底图像，通过训练判别器使之可以成功判别输入真假；

步骤3.3构建网络的损失函数；

损失函数包括手术后清晰眼底图与增强后输出的L1损失函数，以及生成对抗损失；

其中，L1损失函数，用

表示，即生成图像与真实图像的约束；

的计算公式如(1)所示：

其中，‖y-G(x)‖₁代表求清晰眼底图像与生成眼底图像的1范数；

代表清晰眼底图像；G(x)为生成眼底图像；

生成对抗损失采用LSGAN中最小平方损失函数，用

表示；其中，G与D分别表示生成器与判别器；

计算公式如(2)所示：

其中，

代表模糊眼底图像，生成器G为通过训练使得生成眼底图像G(x)趋近于真实的清晰眼底图像y；

判别器D(X)为给出输入判别器图像X为真的概率d，d∈[0,1]；其中，X为y或G(x)；当X为生成眼底图像G(x)时，d接近于0，当X为真实的清晰眼底图像y时，d接近于1；

最终目标函数，即构建的损失函数如公式(3)所示：

其中，λ为

损失的权重，max_D表示选择令

结果最大的判别器D；min_G表示选择令

结果最小的生成器G；G^*表示最终选择的生成器；

生成对抗损失的目的是生成逼真的清晰眼底图像，L1损失的目的是保留原图视盘血管为主的眼底结构信息；

步骤3.4模型训练，更新参数并保存，包括如下子步骤：

步骤3.4A将模糊眼底图像输入生成器G，前向传播生成增强后眼底图像；

步骤3.4B将增强后图像与清晰眼底图像分别输入判别器D以计算

并且计算将增强后图像与清晰眼底图像的

步骤3.4C进行反向传播与参数优化，采用判别器生成器交替优化的方式，对判别器进行一次优化，再对生成器进行一次优化；

其中，判别器和生成器优化的学习率均为Q，Q的初始取值的范围为[e^-4,e^-3]；

步骤3.4D重复步骤3.4A～步骤3.4C，记录步骤3.4B输出的

和

通过公式(3)计算损失函数值，所有训练集中的手术前后图像遍历一次为一个Epoch，根据记录的损失函数值绘制不同Epoch损失曲线，当损失曲线收敛平稳后，即当训练达到Epoch等于kk时，对学习率Q进行调整，设为Q*10^-2，以对模型进行微调；

步骤3.4E保存训练好的生成器；

步骤四：利用训练好的生成器对测试集模糊视网膜眼底图像进行增强，得到最终的增强结果。

2.根据权利要求1所述的一种基于生成对抗网络的模糊视网膜眼底图像增强方法，其特征在于：术前图像由于白内障视网膜病变而产生模糊，因此是模糊眼底图像；术后图像为清晰的眼底图像；采集对象为同一人，因此其视盘以及血管为主的眼底结构一致；术后图像为术前图像的标签。

3.根据权利要求1所述的一种基于生成对抗网络的模糊视网膜眼底图像增强方法，其特征在于：M取值范围为[1,10]。

4.根据权利要求1所述的一种基于生成对抗网络的模糊视网膜眼底图像增强方法，其特征在于：阈值T的取值范围为[0,50]中的整数。

5.根据权利要求1所述的一种基于生成对抗网络的模糊视网膜眼底图像增强方法，其特征在于：K的取值范围为[6,9]。

6.根据权利要求1所述的一种基于生成对抗网络的模糊视网膜眼底图像增强方法，其特征在于：N取值为[50,100]中的整数。

7.根据权利要求1所述的一种基于生成对抗网络的模糊视网膜眼底图像增强方法，其特征在于：L取值范围为[0,1]。

8.根据权利要求1所述的一种基于生成对抗网络的模糊视网膜眼底图像增强方法，其特征在于：kk的取值范围为大于等于100。

Images