CN110097545A - 基于深度学习的眼底图像生成方法 - Google Patents

Abstract

本发明公开一种基于深度学习的眼底图像生成方法，包括：训练集与测试集的选取；样本预处理，包括图像的裁剪、水平和上下翻转以及归一化处理；构建深度全卷积神经网络和解卷积神经网络作为图像生成器，以预处理后的血管图像和病灶概率图作为网络的输入，输出生成的眼底图像；构建深度全卷积神经网络作为图像判别器，将生成眼底图像和真实眼底图像送入网络，对输入图像真实性进行判断。其中生成网络的任务是生成尽可能真实的图像，判别网络的任务是判断图像是真实的还是生成的，两者交替训练直到达到满意的生成效果。本发明使用深度卷积神经网络来生成眼底图像，通过扩充数据集使得糖尿病性视网膜疾病诊断系统的精度更高。

Description

基于深度学习的眼底图像生成方法

技术领域

本发明涉及一种基于深度学习的眼底图像生成方法，属于医学图像处理领域。

背景技术

近年来，随着医学成像采集设备的不断完善，以及图像处理、模式识别、机器学习等学科的不断发展，多学科交叉的医学图像处理和分析领域取得了丰硕的成果。这些成果对于辅助医生进行快速精确的诊断具有重大的意义。

糖尿病性视网膜病变(Diabetic Retinopathy, DR)是糖尿病常见的并发症，其临床病灶表现为微动脉瘤、出血点、硬渗出物和软渗出物，是导致中老年人致盲的主要原因之一，通过定期筛查对疾病进行早期诊断对减少致盲率尤为重要。由于需要筛查的人群数量巨大，单纯的靠医生进行诊断仍然是一件费时费力的任务，因此出现了能自动化进行DR诊断的计算机辅助系统，这将会大大减轻医生的负担，也能大大减少人力物力的消耗。

传统的计算机辅助DR诊断系统通常包括图像预处理、图像特征提取和分类等步骤。近年来，随着深度学习的迅速发展，利用深度学习能自动提取图像中复杂、有价值的特征，并且它比传统的特征提取方法具有更高的准确性和鲁棒性，因而备受青睐。深层深度学习模型具有强大的学习能力，能逼近非常复杂的函数，其端到端的特性及其高准确率可以大大提高计算机辅助诊断系统的诊断速度和诊断质量，然而模型的训练依赖于海量的数据。而医学标注图像通常规模较小，并且标注费用昂贵，数据的缺乏往往是限制模型准确率的主要原因。因此，生成可用于训练计算机辅助诊断系统的医学视觉数据的任务也成为了国内外的研究热点，并且已经探索了很多年。然而对于目前的计算机视觉方法来说，生成真实的高质量医学图像仍然是一个复杂的挑战。

发明内容

发明目的：为解决现有技术的不足，本发明提供了一种基于深度学习的眼底图像生成方法，将血管图像和硬渗出物病灶概率图送入由深度卷积神经网络组成的生成对抗网络中，可以生成与真实图像相近的带病灶眼底图像，用于扩充DR自动诊断系统所需的数据集。

技术方案：本发明所述基于深度学习的眼底图像生成方法，其特征在于，包括如下步骤：

（1）选取DIARETDB1数据集中的全部眼底图像以及硬渗出物病灶概率图作为原始数据样本；

（2）图像预处理，对眼底图像、血管图像和病灶概率图进行裁剪，进行上下、水平翻转和归一化处理；

（3）血管分割，采用生成对抗网络的方法在血管分割公开数据集DRIVE上进行训练，用训练后的模型对DIARETDB1数据集中的眼底图像进行血管分割；

（4）构建生成网络，通过深度卷积神经网络和解卷积神经网络构建图像生成器，对于给定的血管图像和病灶概率图，生成对应的眼底图像；

（5）构建判别网络，通过深度全卷积神经网络构建图像判别器，用于判断生成眼底图像相较于真实眼底图像的真实性，并且判断其与对应的血管图和病灶概率图是否匹配；

（6）强调病灶信息，通过多次试验调试，将病灶概率图中，高概率区域的权重设置为10，低概率区域的权重设置为5，无病灶区域的权重设置为1；

（7）将预处理后的样本图像送入生成网络和判别网络，两者交替训练，迭代更新参数，使得生成的眼底图像尽可能接近真实图像；

（8）用训练好的糖尿病性视网膜疾病眼底图像生成模型在测试集上进行测试，验证模型效果，并将结果最好的模型作为最终的模型。

进一步完善上述技术方案，所述步骤（2）中对图像的预处理具体为：首先将原始高分辨率图像（1152×1500）进行补0填充，使得图像的长宽比为1:1（1500×1500），然后将图像缩放到512×512来适应网络的输入尺寸，以此来提取图像的全局特征，同时对其进行上下和水平的翻转来扩充数据；同时，将1500×1500的图像缩放到1024×1024，并将其裁剪成4张512×512大小的子图，该方法能够提取图像的局部特征，保留更多的病灶信息；最后将得到的7张512×512的图像进行归一化处理作为训练集，并在训练时随机选取混合训练；测试集选取512×512的完整图像。

进一步地，所述步骤（3）中血管分割方法采用生成对抗网络算法，以血管分割公开数据集DRIVE作为训练集，此时眼底图像作为网络输入，血管图像作为网络输出；训练完成后对DIARETDB1数据集中的眼底图像进行血管分割以获得血管图像。

进一步地，所述步骤（4）中所构建的生成网络采用深度卷积神经网络，以U-Net为总体框架。其中U-Net的框架包括卷积层、解卷积层、激活层和Batch Normalization层。首先将输入的血管图像与病灶概率图在深度上进行拼接，随后经过8层卷积-ReLu激活-BatchNormalization层以获取输入图像的特征向量，再经过7层解卷积-ReLu激活-BatchNormalization层获得生成图像，其中每一层卷积层都与对应的解卷积层连接。

进一步地，所述步骤（5）中所构建的判别网络采用深度全卷积神经网络。其中深度卷积神经网络包括卷积层、激活层和Batch Normalization层，在深度卷积神经网络后面接有sigmoid激活层返回网络对输入图像真实性的判断。

进一步地，所述步骤（7）中交替训练生成网络和判别网络，每次迭代仅更新生成网络参数或者判别网络参数，两者各自提高。

进一步地，为了验证眼底图像生成方法的有效性并获得性能最好的模型，重复进行步骤（7），直至获取最好的生成效果。

有益效果：1.在图像预处理中，将糖尿病性视网膜图像分割生成4张子图，子图和3张完整图像分别包含局部信息和全局信息，使得对图像的特征提取更为充分，大大提高了最后眼底图像的生成质量。

2. 通过设置不同的权重，使得病灶高概率区域得到网络更多的重视，保证了生成图像能在病灶高概率区域产生明亮的黄色硬渗出物病灶。

3. 生成的眼底图像可以大大扩充DR自动诊断系统所需的数据集。

附图说明

图1.本发明的实现流程框图。

图2.病灶概率图。

图3.血管分割示意图。

图4.眼底图像生成结果。

具体实施方式

下面通过附图对本发明技术方案进行详细说明，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施实例1：本发明提供的基于深度学习的眼底图像生成方法自动生成糖尿病性视网膜疾病中的硬渗出物病灶，参照图1所示，基于深度学习的眼底图像生成算法主要包含以下步骤：

步骤一：选取数据集，本发明所使用的数据集包括DIARETDB1数据集以及DRIVE数据集。其中DIARETDB1数据集是由库奥皮奥大学医院采集的用于DR检测的彩色眼底图像，包括89张彩色眼底图像，其中有48张图像含有硬渗出物，有41张图像不含硬渗出物，每张图像的尺寸为1152×1500。DIARETDB1数据集中还包含4种糖尿病性视网膜疾病的病灶概率图（参照图2所示），在本发明中以硬渗出物为实验对象。DRIVE数据集是血管分割公开数据集，该图像来自荷兰的糖尿病性视网膜疾病筛查计划，使用具有45度视场的佳能CR5非散瞳3CCD相机拍摄获取。其中血管图像是由具有专业医学知识和临床经验的眼科专家手工分割得到，共包含40组图像，图像尺寸为768×584。

步骤二：图像预处理。为了使深度卷积神经网络能够充分提取图像特征，保留更多的病灶信息，图像送入网络前被扩充为7张子图，其中一张直接由原图缩放为512×512大小，提取图像的全局特征，另外2张由完整的512×512大小的图像经过水平和上下的翻转得到，扩充数据量，并且保持类别平衡。剩下的图像由原图缩放至1024×1024，再裁剪成4张512×512大小的子图，提取图像的局部信息。最后对得到的7张图像做归一化处理，将其数值转化到-1至1之间，用于加快网络收敛速度。此部分对于每一张输入尺寸为1152×1500的彩色眼底图像最终输出7张尺寸为512×512的归一化彩色图像。

步骤三：血管分割。参照图3所示，本发明所使用的输入血管图像数据采用现有的血管分割方法得到，采用pix2pix的生成对抗网络框架，以DRIVE数据集作为训练图像，其中眼底图像作为模型输入，对应的血管图像作为模型输出。训练完成后对本发明所用的DIARETDB1数据集进行血管分割处理。

步骤四：搭建模型。本发明的模型包括生成网络和判别网络两个部分，其中生成网络采用U-Net框架。U-Net框架由下采样和上采样模块组成，下采样模块是传统的CNN特征提取器，由步幅为2的卷积层、ReLu激活函数和Batch Normalization层组成。上采样模块与下采样模块对称，并且与下采样模块对应的特征图在深度上进行拼接，以获得更多细粒度的特征。由生成网络产生的生成图像和真实眼底图像被送入判别网络，经过一系列卷积层后，由sigmoid函数输出判别概率。在损失函数的计算过程中，为了进一步强调病灶信息，经过调试把眼底图像中病灶高概率区域的权重设置为10，低概率区域的权重设置为5，无病灶区域的权重设置为1。然后对生成网络和判别网络进行交替训练，直到达到满意的生成效果。

步骤五：训练模型。模型训练时将89张图像按照4:1的原则分成训练集合测试集，其中训练集71张，测试集18张，经过预处理后共得到训练数据497张。训练数据被送入网络迭代更新参数，参数的更新依据事先定义好的损失函数，损失函数由判别网络输出的判别概率值与图像真实标签的交叉熵计算得到。通过梯度下降的算法，每次交替更新生成网络和判别网络的参数，直到达到满意的生成效果。为了验证模型的性能，在测试集上进行测试，测试时直接以512×512大小的完整图像进行测试，测试结果参见图4。

步骤六：实验结果分析。单纯的视觉观察并不能准确的验证模型性能，为了对模型生成效果进行更精确的量化评估，本发明采用了一种带硬渗出物眼底图像和不带硬渗出物眼底图像分类器。分类网络采用谷歌的Inception-v3框架，该网络最初用于ImageNet图像识别中，因此输出层的维度为1000，在这里将其修改成2。分类模型的训练采用DIARETDB0数据集和部分MESSIDOR数据集的混合，因为DIARETDB0中大量图像都带有硬渗出物，只有少部分图片不含有硬性渗出，类别的不平衡可能会导致模型训练的发散，因此从MESSIDOR数据集中选取一部分正常眼底图像来进行扩充，最终共有209张图像用于训练。分类模型训练完成后对本发明所用的真实眼底图像和生成眼底图像分别进行测试，实验结果表明生成图像的分类准确率与真实图像的分类准确率相差无几，证明了模型良好的生成效果。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (6)

1.基于深度学习的眼底图像生成方法，其特征在于，包括如下步骤：

（1）选取DIARETDB1数据集中的全部眼底图像以及硬渗出物病灶概率图作为原始数据样本；

（2）图像预处理，对眼底图像、血管图像和病灶概率图进行裁剪、上下水平翻转和归一化处理；

（3）血管分割，采用生成对抗网络的方法在血管分割公开数据集DRIVE上进行训练，用训练后的模型对DIARETDB1数据集中的眼底图像进行血管分割；

（4）构建生成网络，使用深度卷积神经网络和解卷积神经网络构建图像生成器，对于给定的血管图像和病灶概率图，生成对应的眼底图像；

（5）构建判别网络，通过深度全卷积神经网络构建图像判别器，用来判断生成眼底图像和真实眼底图像的真实性，并且判断其与对应的血管图和病灶概率图是否匹配；

（6）强调病灶信息，通过多次试验调试，将病灶概率图中，高概率区域的权重设置为10，低概率区域的权重设置为5，无病灶区域的权重设置为1；

（7）将预处理后的样本图像送入生成网络和判别网络，两者交替训练，迭代更新参数，使得生成的眼底图像尽可能接近真实图像；

（8）用训练好的糖尿病性视网膜疾病眼底图像生成模型在测试集上进行测试，验证模型效果的好坏，并将结果最好的模型作为最终的模型。

2.根据权利要求1所述的基于深度学习的眼底图像生成方法，其特征在于：所述步骤（2）中对图像的预处理步骤具体为：首先将原始高分辨率图像（1152×1500）进行补0填充，使得图像的长宽比为1:1（1500×1500），然后将图像缩放到512×512来适应网络的输入尺寸，以此来提取图像的全局特征，同时对其进行上下和水平的翻转来扩充数据；同时，将1500×1500的图像缩放到1024×1024，并将其裁剪成4张512×512大小的子图，该方法能够提取图像的局部特征，保留更多的病灶信息；最后将得到的7张512×512的图像进行归一化处理作为训练集，并在训练时随机选取混合训练；测试集选取512×512的完整图像。

3.根据权利要求1所述的基于深度学习的眼底图像生成方法，其特征在于：所述步骤（3）中血管分割方法采用生成对抗网络算法，以血管分割公开数据集DRIVE作为训练集，此时眼底图像作为网络输入，血管图像作为网络输出；训练完成后对DIARETDB1数据集中的眼底图像进行血管分割以获得血管图像。

4.根据权利要求1所述的基于深度学习的眼底图像生成方法，其特征在于：所述步骤（4）中所构建的生成网络采用深度卷积神经网络，以U-Net为总体框架，其中U-Net的框架包括卷积层、解卷积层、激活层和Batch Normalization层；首先将输入的血管图像与病灶概率图在深度上进行拼接，随后经过8层卷积-ReLu激活-Batch Normalization层以获取输入图像的特征向量，再经过7层解卷积-ReLu激活-Batch Normalization层获得生成图像，其中每一层卷积层都与对应的解卷积层连接。

5.根据权利要求1所述的基于深度学习的眼底图像生成方法，其特征在于：所述步骤（5）中所构建的判别网络采用深度全卷积神经网络，其中深度卷积神经网络包括卷积层、激活层和Batch Normalization层，在深度卷积神经网络后面接有sigmoid激活层，返回网络对输入图像真实性的判断。

6.根据权利要求1所述的基于深度学习的眼底图像生成方法，其特征在于：所述步骤（7）中交替训练生成网络和判别网络，每次迭代仅更新生成网络参数或者判别网络参数，两者各自提高。