CN109948719B - 一种基于残差密集模块网络结构的眼底图像质量自动分类方法 - Google Patents

Abstract

本发明提供了一种基于残差密集模块网络结构的眼底图像质量自动分类方法，该方法包括：1)对图像预处理，提取眼底区域；2)对图像尺寸归一化以适应网络结构；3)将质量好与质量差眼底图像作为训练集，使用残差密集模块网络进行质量分类训练，引入残差密集模块MRDB，利用MRDB中的局部密集连接、特征重用与残差融合获取眼底图像细节特征；4)利用训练好的网络模型对眼底图像进行质量分类测试，调整网络参数，得到最优的网络模型；5)用最优网络模型对眼底图像进行质量分类。与传统方案相比，本发明避免了复杂的图像处理过程，可准确分类质量好与质量差两类眼底图像，本方法可广泛地应用于眼底图像实时质量判别领域。

Description

一种基于残差密集模块网络结构的眼底图像质量自动分类方法

技术领域

本发明涉及一种基于残差密集模块网络结构的眼底图像质量自动分类方法，在灵敏度、特异性以及准确率方面比传统算法更优，具有较好的眼底图像质量分类性能，属于图像处理、医学图像质量分类、深度学习领域。

背景技术

糖尿病性视网膜病变(Diabetic retinopathy，DR)是糖尿病最为常见的眼部并发症，也是发病率最高的眼底疾病之一。在目前的临床诊断中，DR检测主要依赖于眼科医生对眼底相机采集到的视网膜图像进行详细分析，继而针对不同检测结果制定不同的医疗方案。然而，据眼科专家表示：由于图像采集人员经验不一，超过20％的眼底图像没有显示出清晰的视网膜结构，该类图像被标记为不可读图像。不可读图像无法提供对眼底病变进行诊断或分级的有效信息，导致延误患者的最佳治疗时间。因此，为了保证眼底图像质量的同时减少人工筛查的时间与精力，在采集过程中自动且客观地评价眼底图像质量是必要且紧迫的任务。

目前眼底质量分类算法主要分为三类：第一类是根据通用图像质量参数对眼底图像进行质量分类，涉及的参数包括锐度、对比度和光照等；第二类基于血管面积、黄斑定位等眼底结构信息判别图像质量；第三类分类算法是将以上两种分类方法结合，根据通用图像质量参数与眼底结构信息共同对眼底图像进行质量分类。但现有算法存在两个较大的问题。首先，由于不同型号眼底相机采集到的视网膜图像类型不一，导致以上多数算法仅适用于分类其中一种眼底图像，无法解决所有类型眼底图像的质量判别问题。其次，传统算法的质量分类问题仅限于质量好与质量差两类眼底图像，对质量不明确类别眼底图像没有明确的判别标准与较好的分类性能。

深度学习是机器学习的一个分支，其在图像识别、目标侦测等领域的应用发展迅速，表现出惊人的准确性。与传统算法相比，基于深度学习的方法效率高、可靠性好、可塑性强。针对目前医院治疗和远程医疗中由于眼底图像采人员经验不一导致患者视网膜图像存在不同程度的质量缺陷问题，将深度学习方法应用到眼底图像质量分类，对保证患者眼底图像质量的同时减少人工筛查的时间与精力具有重要意义。

本发明运用深度学习方法，在参照残差模块(Residual block，RB)与密集模块(Dense block，DB)结构的基础上进行一定改进引入了残差密集模块MRDB，并依据眼底图像的独特性设计出了一种基于残差密集模块网络结构的眼底图像质量自动分类方法。本发明可以准确分类质量好与质量差两类眼底图像，准确率达到0.9990。在质量不明确类别的测试中证明该方法可以获取到丰富的眼底图像细节特征，对图像质量给出客观评分，为医院治疗和远程医疗中眼底图像实时质量判断提供可靠方案。

发明内容

本发明为了达到上述目的，提高眼底图像质量分类的效率与精度，提出一种基于残差密集模块网络结构的眼底图像质量自动分类方法，该方法引入了浅层特征提取模块，通过7×7的卷积层提取眼底图像浅层特征；引入了残差密集模块MRDB，利用MRDB中的局部密集连接、特征重用与残差融合结构获取眼底图像细节特征；引入残差模块，通过残差模块与不同特征图尺寸间的池化层不断提取图像的显著特征；利用网络模型对质量好与质量差眼底图像进行分类测试，通过进一步检测模型对质量不明确类别中每幅图像的分类效果，综合评定网络结构对眼底图像的质量分类性能，通过最优网络模型对眼底质量进行分类，结果可得，该网络避免了复杂的图像处理过程，不仅可以对质量好与质量差两类眼底图像进行质量分类，同时为质量不明确类别眼底图像的质量判别提供可靠标准，达到眼底图像质量的高精度分类。实现本发明的技术方案，包括下列步骤：

步骤1：为了全面分类包括无病变与有病变的不同种类眼底图像质量，首先收集不同眼底相机采集到的质量好、质量差与质量不明确三个类别的眼底图像，包括EyePACS、FIRE和HRF等公开数据集的眼底图像与现场采集的眼底图像作为样本数据，图像中质量差类别眼底图像包括曝光过弱、曝光过强、大光斑、完全虚焦、睫毛大面积虚影等严重影响患者后续病变诊断与治疗的眼底图像，质量好类别眼底图像包括无病变与有病变的视网膜结构清晰的眼底图像，质量不明确类别眼底图像包括小幅度虚焦、黄斑区暗影、眼底周边区黄色边缘、镜头部分污渍、睫毛小面积虚影等对患者后续病变治疗影响较少且质量略逊于质量好类别的眼底图像，图像中病变种类有出血点、棉絮斑、硬性渗出物，图像的病变程度包括轻度、中度、重度。

步骤2：对EyePACS、FIRE和HRF等公开数据集的眼底图像与现场采集的眼底图像进行初步整理，包括对每幅图像进行质量标注，提取眼底图像视网膜结构区域，以达到眼底图像预处理；

步骤3：对预处理后的质量好、质量差与质量不明确三个类别的眼底图像进行尺寸处理，归一化为224×224的相同尺寸，作为后续网络的训练与测试数据；

步骤4：选定用于网络训练的眼底图像样本，设置损失函数理想值，构造残差密集模块网络结构MRDB-CNN训练网络，通过引入浅层特征提取模块、残差密集模块、残差模块来组成残差密集模块网络结构MRDB-CNN，将质量好与质量差两类眼底图像输入网络中，训练时，观察损失函数的变化趋势，若训练与测试的损失函数不断上升则表示网络结构设计不当，若训练与测试的损失函数趋于不变则说明需要减少学习率或批量数目，不断调整网络结构与学习率，使损失函数不断下降且逐渐趋于0，以便得到较好的网络训练模型；

步骤5：选定用于网络测试的眼底图像样本，利用训练好的网络模型对质量好与质量差两类眼底图像进行质量分类测试，并对质量不明确类别中每幅图像进一步检测其应属类别，判定模型的分类效果，综合评定网络结构对眼底图像的质量分类性能，调整网络参数，观察损失函数变化趋势，得到最优的网络模型。

步骤6：利用最优的网络模型对眼底图像进行质量分类。

与现有技术相比，本发明的有益效果是：

通过深度学习方法，避免了传统算法复杂的图像处理过程，对不同眼底相机采集到的不同病变的视网膜图像都有较好的质量分类效果。

另外，本发明不仅简化了图像处理过程，在质量好与质量差两类眼底图像相同测试集的基础上，准确率达到0.9990，高于CVPR竞赛中AlexNet网络对眼底图像质量分类的准确率(0.9920)。在质量不明确类别眼底图像的测试中，本发明学习到质量好的眼底图像细节特征更全面，质量不明确图像类别中被判定为质量差类别占图像总数的百分比为0.8657，高于AlexNet网络(0.7782)。两部分测试结果表明，本发明对眼底图像有较好的质量分类效果。

附图说明

图1总体框架示意图，即摘要附图；

图2质量好眼底图像示例图；

图2(a)与(b)为不同眼底相机采集到的质量好且包含病变的眼底图像；

图2(c)为质量好且无病变眼底图像；

图3质量差眼底图像示例图；

图3(a)为曝光过弱的眼底图像；

图3(b)为曝光过强的眼底图像；

图3(c)为存在大光斑的眼底图像；

图3(d)为完全虚焦的眼底图像；

图3(e)为睫毛大面积虚影的眼底图像；

图4质量不明确眼底图像示例图；

图4(a)为小幅度虚焦的眼底图像；

图4(b)为黄斑区暗影的眼底图像；

图4(c)为眼底周边区黄色边缘的眼底图像；

图4(d)为镜头部分污渍的眼底图像；

图4(e)为睫毛小面积虚影的眼底图像；

图5提取眼底图像感兴趣区域的原图与结果图；

图5(a)为原始眼底图像；

图5(b)为提取视网膜区域后的眼底图像；

图6 RDB模块与MRDB模块示意图；

图6(a)为RDB模块示意图；

图6(b)为MRDB模块示意图；

图7 MRDB-CNN网络结构图。

具体实施方式

下面结合具体实施方式对本发明作进一步详细地描述。

本发明的总体框架示意图如图1所示，首先对EyePACS、FIRE和HRF等公开数据集的眼底图像与现场采集的眼底图像进行初步整理、手动质量类别标注，通过感兴趣区域算法去除图像黑色边缘，仅保留视网膜区域，使图像更适应于网络训练；对预处理图像进行尺寸归一化以适应网络训练数据规模，增强准确性；通过引入浅层特征提取模块、残差密集模块与残差模块来构成残差密集模块网络结构，其中训练图像为质量好与质量差两类眼底图像，训练时通过计算网络损失函数来调整网络参数，得到网络训练模型；利用训练模型对未经过训练的两类眼底图像进行测试，并对质量不明确类别眼底图像进一步检测，将眼底图像质量测试结果与专家评定结果比对，验证网络模型对眼底图像质量的分类性能；利用最优的网络模型对眼底图像进行质量分类。

下面结合附图，对本发明技术方案的具体实施过程加以说明。

1.实验对象

本发明的眼底图像数据集包括公开数据集EyePACS、FIRE和HRF的眼底图像与现场采集的眼底图像，共有19133张图像。图像尺寸大小不一，具体眼底尺寸包括：1060×960、1500×1152、1360×1024、1444×1444、1588×1488、1636×1536(单位为像素)。图像中质量差类别眼底图像包括曝光过弱、曝光过强、大光斑、完全虚焦、睫毛大面积虚影等严重影响患者后续病变诊断与治疗的眼底图像，质量好类别眼底图像包括无病变与有病变的视网膜结构清晰的眼底图像，质量不明确类别眼底图像包括小幅度虚焦、黄斑区暗影、眼底周边区黄色边缘、镜头部分污渍、睫毛小面积虚影等对患者后续病变治疗影响较少且质量略逊于质量好类别的眼底图像，以上三类图像每张都由专家指导进行质量类别标注。其中，质量好与质量差眼底图像作为训练集输入到网络中对网络进行训练，质量不明确图像仅作为测试集验证网络的分类效果，不作为训练集图像进行网络训练。通过网络模型测试将质量分类结果与专家评定结果进行比对，判断该网络对眼底图像质量的分类性能。三类眼底图像的部分示例如说明附图中图2至图4所示。

2.图像预处理

2.1提取感兴趣区域

如说明附图中图5所示，感兴趣区域提取算法旨在获取图像中的眼底区域，使图像的训练内容更加明确，为后续工作做好准备。在收集的19133幅眼底图像中，由于眼底图像的来源不同导致图像存在大面积黑色边缘的情况，通过感兴趣区域提取算法，去除图像黑色边缘，仅保留视网膜结构区域。

2.2尺寸调整

数据规模对训练网络的性能影响巨大，为了眼底图像更加适应于网络训练需求，将每幅眼底图像进行尺寸调整，归一化为224×224的相同尺寸，作为后续网络的训练数据。

3.残差密集模块网络

3.1残差密集模块

为了提升网络性能，在网络结构中引入残差密集模块(Modified residual denseblock，MRDB)，将密集连接与残差连接融合以建立特征之间的相互依赖关系。本发明的残差密集模块与超分辨率图像重建研究所提出的残差密集模块(Residual dense block，RDB)不同，RDB模块是将输入到Dense block内的特征与Dense block的输出特征进行元素级相加，由于两类特征跨度为整个Dense block，质量分类准确率会因残差融合结构中相加的特征相关性不强而降低，MRDB结构则解决该问题。

实现残差密集模块MRDB的方法是：1)将Dense block中每一个通过concat方式连接的连接层后都经过一个kernel size＝3，pad＝1，stride＝1的卷积，其中，kernel size为卷积核的大小，利用pad对图像边缘补0以扩充图像，stride为卷积核的步长；2)通过残差融合对相同特征图进行残差求和，其余内部结构与RDB结构相同，两种结构图如说明附图6所示。由于本发明提出的MRDB结构内每一个残差求和模块需要相同的特征图尺寸，非线性转换函数MH_l(·)由conv(3×3)-＞BN-＞ReLU-＞conv(1×1)-＞BN-＞ReLU-＞conv(3×3)组成。如说明附图7中的整体网络结构，MRDB由4组Dense+Residual组成，包含MH_l(·)的每一组详细结构表示为：conv(3×3)-＞BN-＞ReLU-＞conv(1×1)-＞BN-＞ReLU-＞conv(3×3)-＞concat-＞conv(3×3)-＞Eltwise(SUM)。其中，conv为卷积，3×3代表卷积核的大小，Batch Normalization(BN)为网络中的归一化层，ReLU层在神经网络中起到非线性激活函数的作用，Eltwise(SUM)代表卷积神经网络中的特征是通过Eltwise方式进行相加。

MRDB模块相比其他网络结构模块对图像特征的提取更加详细，不需要引入过深的卷积层即可获取更多的眼底图像细节，利用密集连接一定程度地减轻了训练过程中梯度消散的问题，根据直接通过concat连接来自不同层的特征图以实现特征重用并减轻网络的复杂度，在模型和计算量上都表现出了良好的性能。

3.2残差密集模块网络整体结构

本发明针对眼底图像质量自动分类问题，引入残差密集模块MRDB，并综合MRDB、池化层、残差模块与全连接层设计了一个多层卷积神经网络，命名为残差密集模块网络结构MRDB-CNN，网络结构如说明附图中图7所示。

MRDB-CNN主要由四部分组成：浅层特征提取模块、残差密集模块MRDB、残差模块RB与质量分类模块。首先，用7×7的卷积层提取眼底图像的浅层特征；然后，将经过最大池化层获取到的眼底显著特征作为残差密集模块的输入，利用MRDB中的局部密集连接、特征重用与残差融合结构获取眼底图像细节；然后，通过残差模块和不同特征图尺寸间的池化层不断提取图像的显著特征；最后由全连接层作为特征分类器，根据提取到的特征进行眼底图像质量二分类。

网络包含四个池化层，其中pool1、pool2、pool3为最大池化，目的是提取图像中最显著特征，由于在全连接层结构之前加入平均池化层可以起到防止网络过拟合的效果，将pool4设定为全局平均池化，整体网络结构由{conv1，pool1，MRDB，Res2_1，Res2_2，Res2_3，Res2_4，pool2，Res3_1，Res3_2，Res3_3，pool3，Res4_1，Res4_2，pool4，fc5}组成。其中，conv代表网络中的卷积层，pool代表池化层，MRDB为残差密集模块，Res代表残差模块，fc为全连接层，通过池化层作为间隔来划分网络结构并命名其中的各个模块，整体网络由五部分组成，Res2_1与Res2_2分别代表第二部分的第一个和第二个残差模块，每部分之间的残差模块大小不同，每部分之内的残差模块大小相同。

通过验证可以得出本发明的残差密集模块网络结构对质量好与质量差眼底图像具有较好的分类性能，在质量不明确类别眼底图像的检测中，本发明网络结构相较于其他网络结构获取到了更具体的眼底图像细节特征，实现了眼底质量分类的高精度判别，可广泛地应用于医院治疗与远程治疗中需对眼底图像进行实时质量判别的领域。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (3)

1.一种基于残差密集模块网络结构的眼底图像质量自动分类方法，包括下列步骤：

步骤1：收集眼底图像作为样本数据；

步骤2：利用感兴趣区域算法对眼底样本数据进行预处理；

步骤3：将眼底图像归一化为224×224的相同尺寸，作为后续网络训练与测试数据；

步骤4：选定用于网络训练的眼底图像样本，设置损失函数理想值，构造残差密集模块网络结构MRDB-CNN训练网络，通过引入浅层特征提取模块、残差密集模块、残差模块来组成残差密集模块网络结构MRDB-CNN，整体结构包含四个池化层，其中Pool1、Pool2、Pool3为最大池化，目的是提取图像中最显著特征，Pool4设定为全局平均池化，以避免网络出现过拟合，整体网络结构由{conv1，pool1，MRDB，Res2_1，Res2_2，Res2_3，Res2_4，pool2，Res3_1，Res3_2，Res3_3，pool3，Res4_1，Res4_2，pool4，fc5}组成，构造MRDB-CNN的具体方法是：1)引入浅层特征提取模块，用7×7的卷积层提取眼底图像的浅层特征；2)引入残差密集模块MRDB，利用MRDB中的局部密集连接、特征重用与残差融合结构获取眼底图像细节，将密集连接部分的每一个concat层后都经过一个kernel size＝3，pad＝1，stride＝1的卷积，利用残差融合对相同特征图进行残差求和，MRDB模块中非线性转换函数MHl(·)由conv(3×3)->BN->ReLU->conv(1×1)->BN->ReLU->conv(3×3)组成；3)引入残差模块与全连接层，通过残差模块和不同特征图尺寸间的池化层不断提取眼底图像的显著特征，并由全连接层作为特征分类器，将质量好与质量差两类眼底图像输入网络中，根据提取到的特征进行眼底质量二分类；4)比较网络的分类结果与专家的评定结果，计算损失函数，根据损失函数值调整网络参数，得到网络训练模型；

步骤5：选定用于网络测试的眼底图像样本，利用训练好的网络模型对质量好与质量差眼底图像进行质量分类测试，通过进一步检测模型对质量不明确类别中每幅图像的分类效果，综合评定网络结构对眼底图像的质量分类性能，调整网络参数，得到最优的网络模型；

步骤6：利用最优的网络模型对眼底图像进行质量分类。

2.根据权利要求1所述一种基于残差密集模块网络结构的眼底图像质量自动分类方法，其特征在于，步骤1中，为全面分类包括无病变与有病变的不同种类的眼底图像质量，首先收集不同眼底相机采集到的质量好、质量差与质量不明确三个类别的眼底图像，将公开数据集的眼底图像与现场采集的眼底图像作为样本数据，对每幅图像进行质量标注，作为网络的训练样本与测试样本。

3.根据权利要求1所述一种基于残差密集模块网络结构的眼底图像质量自动分类方法，其特征在于，步骤2中，去除眼底图像中大面积黑色边缘，仅保留视网膜结构区域。

Images