CN115719310A

CN115719310A - 一种眼底图像数据集的预处理方法及眼底图像训练模型

Info

Publication number: CN115719310A
Application number: CN202110970396.2A
Authority: CN
Inventors: 朱明�; 魏铭; 王佳荣; 伍易; 孙佳琪
Original assignee: Changchun Institute of Optics Fine Mechanics and Physics of CAS
Current assignee: Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date: 2021-08-23
Filing date: 2021-08-23
Publication date: 2023-02-28

Abstract

本发明提供了一种眼底图像数据集的预处理方法及眼底图像训练模型，包括S1、对眼底图像进行自适应性增强，优化得到眼底图像的初始数据集；S2、对初始数据集进行选择性数据扩充；S3、利用生成对抗网络对初始数据集再次进行数据扩充。本发明在只存在数据量少且质量差的眼底图像条件下，对小型数据集进行自适应增强和选择性扩充，使之可以通过训练神经网络识别模型，可以得到高精度的眼底图像筛查结果。

Description

一种眼底图像数据集的预处理方法及眼底图像训练模型

技术领域

本发明属于图像处理技术领域，具体涉及一种针对小型眼底图像数据集的自适应预处理方法及眼底图像训练模型。

背景技术

近年来，在计算机视觉领域，基于卷积神经网络的深度学习算法不断发展，因其缓解了传统训练算法的局部最小性，引起机器学习领域的广泛关注，被越来越多的领域所应用。但是在实际应用过程中，数据集的数量与质量往往是影响算法效果的很大一个因素，只有充实丰富的有效数据集才能作为研究后续算法的基础。

近年来，医疗设施已经随着科技的发展不断更新完善，远程治疗、自动化诊断等也广泛应用在实际诊疗中，基于深度学习的眼底图像筛查大大节省了人力物力，实现了对疾病的高效方便的快捷诊断，然而眼底图像数量少，不易获取，且因各种原因多数质量较差，远远达不到计算机算法仿真的良好背景条件，对后续深度学习的训练带来诸多困难。

发明内容

本发明为了解现有技术中的缺陷，提出了一种眼底图像数据集的预处理方法，在只存在数据量少且质量差的眼底图像条件下，对小型数据集进行自适应增强和选择性扩充,使之可以通过训练神经网络识别模型，可以得到高精度的眼底图像筛查结果。为实现上述目的，本发明采用以下具体技术方案：

一种眼底图像数据集的预处理方法，包括以下步骤：

S1、对眼底图像进行自适应性增强，优化得到眼底图像的初始数据集；

自适应性增强包括全局自适应优化、局部自适应优化以及局部自适应性增强；

全局自适应优化用于区分过度曝光和曝光不足的眼底图像；

局部自适应优化用于使眼底图像的灰度值均匀分布；

局部自适应增强用于筛除远离预设阈值的眼底图像、补偿具有局部暗影和局部光斑的眼底图像；

S2、对初始数据集进行选择性数据扩充；

S3、利用生成对抗网络对步骤S2中扩充后的数据集再次进行数据扩充。

优选地，全局自适应优化包括采用基于直方图均衡化的全局对比度增强的方式。

优选地，局部自适应优化包括使用累计分布函数对眼底图像的灰度值进行均匀分布的均布方式。

优选地，累计分布函数的使用方法包括以下步骤：

S111、计算眼底图像的累计分布函数；

S112、将累计分布函数归一化到眼底图像的灰度取值范围；

S113、对累计分布函数进行四舍五入取整，得到灰度转换函数s_k＝T(r_k)；

S114、将累计分布函数作为转换函数，将灰度为r_k的点转换为s_k。

优选地，局部自适应增强包括以下步骤：

S121、利用Tenengrad函数式对眼底图像的质量进行评价，筛除远离预设阈值的眼底图像；

S122、利用选择性搜索算法将眼底图像分割成n个分割区域，以分割区域为窗口，根据灰度值特性区分局部暗影和局部光斑的眼底图像；

S123、对局部暗影和局部光斑的眼底图像分别进行优化。

优选地，Tenengrad函数使用Sobel算子提取水平和垂直方向的梯度值，其差分卷积核模板为：

其中，x、y表示差分方向；

A表示眼底图像的灰度矩阵。

优选地，选择性数据扩充包括随机水平镜像、平移、随机错切以及随机缩放四种数据扩充形式。

一种眼底图像训练模型，使用上述的眼底图像数据集的预处理方法获取训练数据集。

本发明能够取得以下技术效果：

1、本发明在只存在数据量少且质量差的眼底图像条件下，对小型数据集进行自适应增强和选择性扩充,使之可以通过训练神经网络识别模型，可以得到高精度的眼底图像筛查结果。

附图说明

图1是本发明一个实施例的一种眼底图像数据集的预处理方法的流程图；

图2是本发明一个实施例的自适应增强的流程图；

图3是本发明一个实施例的生成对抗网络的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。

本发明的目的是提供一种眼底图像数据集的预处理方法。下面将对本发明提供的一种眼底图像数据集的预处理方法，通过具体实施例来进行详细说明。

图1示出了本发明一个实施例的一种眼底图像数据集的预处理方法的流程，包括以下步骤：

S2、对初始数据集进行选择性数据扩充；

S3、利用生成对抗网络对初始数据集再次进行数据扩充。

本发明针对质量差的眼底图像利用全局自适应优化、局部自适应优化以及局部自适应性增强的方式，对小型眼底图像数据集进行自适应性增强的方法，获取高质量眼底图像的初始数据集；再对初始数据集进行选择性扩充，保证扩充后图像的质量；最后利用生成对抗网络GAN的方法进一步对数据集扩充，形成最终的高质量大型眼底图像数据集，解决了眼底图像数据稀缺的问题，同时也弥补了因初始图像质量差导致后续识别精度低的问题，为后续眼底图像训练模型的搭建，提供高质量的训练数据集。

参照图2所示的自适应增强的流程图，自适应性增强包括全局自适应优化、局部自适应优化以及局部自适应性增强。

在本发明的一个优选实施例中，计算未经处理的、低质量的眼底图像的全局灰度分布可区分出存在曝光过度和曝光不足的问题的图像，即曝光不足的图像整体偏暗，呈现低灰度分布的特性；曝光过度的图像整体过亮，呈现高灰度分布的特性。

因此将全部低质量的眼底图像基于直方图均衡化进行全局对比度增强，以此对曝光过度和曝光不足的图像进行补偿，同时可提高整体图像的质量。再通过调整图像的灰阶分布，使得图像在0～255灰阶上的分布更加均衡，提高对比度达到改善图像效果、增强图像细节的目的。

在本发明的一个优选实施例中，对基于直方图均衡化后的眼底图像中的灰度点使用累计分布函数做映射，使整体图像的灰度符合均匀分布，具体如下：

S111、根据眼底图像灰度计算灰度概率密度函数，根据灰度概率密度函数计算出眼底图像的累计分布函数；

S112、将累计分布函数归一化到低质量的、未经处理时的眼底图像的灰度取值范围；

对于实数x，累积分布函数定义为所有小于等于x的值出现概率的和，有如下表达式：

F_x(x)＝P(X≤x)

因此，使用灰度的累积分布函数做转换函数，可以使得输出图像的灰度符合均匀分布。

在本发明的一个优选实施例中，继续参照图2，对符合灰度均匀分布的图像，即完成全局自适应优化和局部自适应优化后的图像进行基于质量参数的分类，针对不同种类的质量缺陷的低质量图像进行相应的局部自适应增强，形成高质量眼底图像的初始数据集，并保留增强标签。

低质量图像主要包括局部暗影、局部光斑、镜头污渍和大面积虚影四种，在对上述四种图像进行增强前，需要人为单独挑选一张优质图像I作为参考基础，选择Tenengrad函数式对图像质量进行评价，判断完成全局自适应优化和局部自适应优化后的眼底图像质量的好坏，具体方法如下：

S123、对局部暗影和局部光斑的眼底图像分别进行优化。

在本发明的一个优选实施例中，Tenengrad函数是一种基于梯度的函数，一般认为，对焦较好的图像具有更尖锐的边缘，故具有更大的梯度函数值。但想要得到最优的质量效果，预设阈值应是一个范围区间而不是设定常量，因此需要优先选择出一张优质的图像I作为所有训练图像的基础参考。

Tenengrad函数使用Sobel算子提取水平和垂直方向的梯度值，其差分卷积核模板为：

其中，x、y表示差分方向；

A表示眼底图像的灰度矩阵。

则图像I在点(x,y)处的梯度为：

S(x,y)＝G_x*I(x,y)+G_y*I(x，y)

定义图像I的Tenengrad值为

其中，n为图像I中像素总数。

将图像I得到的Ten作为参考设定的阈值范围，阈值截断结果将图像分为较高质量图像与较低质量图像，筛除远离阈值质量过差的图像如镜头污渍和大面积虚影图像，这两种低质量较为严重，几乎无法进行分类识别。得到的较低质量图像为均在局部暗影和局部光斑这两种局部质量问题的图像，对这两种质量问题的图像需要有针对性的进行补偿。

在本发明的一个优选实施例中，采用选择性搜索算法将上述获得的较低质量的眼底图像分割成n个分割区域，生成区域集R，使用贪心策略，利用局部小窗口进行判断，具体的：

计算R中每两个相邻分割区域的相似度：

S＝{s1,s2,…}

每次合并最相似的两个分割区域，将其合并为新集，这两个分割区域的相似度从S中移除，合并集添加进R，再计算新的R中每两个相邻分割区域的相似度，直到S为空，不再有相邻分割区域，最终得到n个分割区域。

以分割区域为窗口，根据灰度值特性区分局部暗影和局部光斑两种眼底图像，分别对局部暗影和局部光斑两种眼底图像进行基于灰度值增减的优化，得到最终所需的眼底图像的初始数据集。

步骤S2中，利用步骤S1中保留的增强标签对初始数据集进行选择性数据扩充。

在本发明的一个优选实施例中，采取随机水平镜像、平移、随机错切、随机缩放四种数据扩充形式，具体的：

随机水平镜像和平移处理后的图像改变相对较小，特征有更好的保留。处理后图像上任一点的坐标(I,J)所对应的灰度值由处理前的坐标(i,j)计算得出，其中随机水平镜像处理公式为：

I＝i

J＝N-j+1

其中，N为图像宽度。

平移处理公式为：

I＝i+a

J＝j+b

其中，a、b为平移的距离。

随机错切和随机缩放处理后的图像改变相对较大，有更多种的特征出现，角度为α的随机错切矩阵Q₁为：

随机缩放处理分为两种方式，降采样和插值，在本发明的一个实施例中，设定降采样比例为2：1，插值采用双线性方法：

f(i+u,j+v)＝(1-u)(1-v)f(i,j)+(1-u)vf(i,j+1)+u(1-v)f(i+1,j)+uvf(i+1,j+1)

其中，f表示某位置的像素值；

u、v表示插入值的相对位置。

因此，利用步骤S1中保留的增强标签对应出相应的图像，对较低质量图像使用随机水平镜像和平移的扩充方式，对较高质量图像使用随机错切和随机缩放的扩充方式，以此保证扩充图像的质量。

由于图像的数据集有限，训练数据相对较少会导致结果的不精确，因此步骤S3进一步采用GAN扩充的方法增加数据集数目，利用生成对抗网络对初始数据集再次进行数据扩充，形成最终的高质量大型眼底图像集。

参见图3所示的生成对抗网络的流程图，生成对抗网络分为生成器网络和判别器网络部分。首先给生成器输入包含图像信息的隐含编码C和高斯噪声Z，通过生成器网络G生成图像样本G(Z)，然后从假数据集G(Z)和真实数据X中随机采样，输入给判别器网络D，由判别器网络进行判断。至此，完成对初始数据集的二次扩充，得到高质量的大量的眼底图像数据，作为后续算法研究的基础。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims

1.一种眼底图像数据集的预处理方法，其特征在于，包括以下步骤：

S1、对眼底图像进行自适应性增强，优化得到所述眼底图像的初始数据集；

所述自适应性增强包括全局自适应优化、局部自适应优化以及局部自适应性增强；

所述全局自适应优化用于区分过度曝光和曝光不足的所述眼底图像；

所述局部自适应优化用于使所述眼底图像的灰度值均匀分布；

所述局部自适应增强用于筛除远离预设阈值的眼底图像、补偿具有局部暗影和局部光斑的所述眼底图像；

S2、对所述初始数据集进行选择性数据扩充；

2.根据权利要求1所述的眼底图像数据集的预处理方法，其特征在于，所述全局自适应优化包括采用基于直方图均衡化的全局对比度增强的方式。

3.根据权利要求1所述的眼底图像数据集的预处理方法，其特征在于，所述局部自适应优化包括使用累计分布函数对所述眼底图像的灰度值进行均匀分布的均布方式。

4.根据权利要求3所述的眼底图像数据集的预处理方法，其特征在于，所述累计分布函数的使用方法包括以下步骤：

S111、计算所述眼底图像的累计分布函数；

S112、将所述累计分布函数归一化到所述眼底图像的灰度取值范围；

S113、对所述累计分布函数进行四舍五入取整，得到灰度转换函数s_k＝T(r_k)；

S114、将所述累计分布函数作为转换函数，将灰度为r_k的点转换为s_k。

5.根据权利要求1所述的眼底图像数据集的预处理方法，其特征在于，所述局部自适应增强包括以下步骤：

S121、利用Tenengrad函数式对所述眼底图像的质量进行评价，筛除所述远离预设阈值的眼底图像；

S122、利用选择性搜索算法将所述眼底图像分割成n个分割区域，以所述分割区域为窗口，根据灰度值特性区分所述局部暗影和局部光斑的所述眼底图像；

S123、对所述局部暗影和局部光斑的所述眼底图像分别进行优化。

6.根据权利要求5所述的眼底图像数据集的预处理方法，其特征在于，所述Tenengrad函数使用Sobel算子提取水平和垂直方向的梯度值，其差分卷积核模板为：

其中，x、y表示差分方向；

A表示所述眼底图像的灰度矩阵。

7.根据权利要求1所述的眼底图像数据集的预处理方法，其特征在于，所述选择性数据扩充包括随机水平镜像、平移、随机错切以及随机缩放四种数据扩充形式。

8.一种眼底图像训练模型，其特征在于，使用如权利要求1-7任一项所述的眼底图像数据集的预处理方法获取训练数据集。