CN111461218B - 糖网病眼底图像的样本数据标注系统 - Google Patents

Abstract

本发明提供一种糖网病眼底图像的样本数据标注系统，其特征在于，包括：眼底图像获取部，用于获取待判别的糖网病眼底图像，并对每个糖网病眼底图像进行图像预处理得到待判别眼底图像；质量判别筛选部，用于对待判别眼底图像进行质量判别得到质量判别信息，并基于该质量判别信息筛选出符合质量要求的待判别眼底图像作为合格眼底图像；左右眼判别部，用于对合格眼底图像进行左右眼判定得到左右眼信息；分级判别部，基于预先构建的分级判别模型以及左右眼信息对合格眼底图像进行分级判别得到表示该合格眼底图像的分级判别信息；以及标注结果存储部，用于将糖网病眼底图像、质量判别信息、左右眼信息以及分级判别信息进行对应存储。

Description

糖网病眼底图像的样本数据标注系统

技术领域

本发明属于机器学习领域，涉及一种基于深度学习与人机融合的图像分类方法，具体涉及一种基于深度卷积神经网络的糖网病眼底图像的分级判别模型和基于此模型的糖网病样本数据标注系统。

背景技术

目前，计算机视觉在医疗领域尤其是眼病诊断领域发挥着重要的作用。其中，图像分类技术在医学图像诊断方面有着广泛的应用。

图像分类是一个模式分类问题，它的目标是将不同的图像，划分到不同的类别并实现最小的分类误差。总体来说，对于单标签的图像分类问题，它可以分为跨物种语义级别的图像分类，子类细粒度图像分类，以及实例级图像分类三大类别。其中，糖网病眼底图像分类属于子类细粒度图像分类问题。

图像分类伴随着数据集的增长，水平逐年提升。现有的图像分类方法可分为以下3种：

1)KNN

KNN，又称k最近邻，思路是：如果一个样本在特征空间中的k个最邻近的样本中的大多数属于某一个类别，则该样本也划分为这个类别。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。理论成熟，思想简单，但是在样本不平衡的时候，对稀有类别的预测准确率低。

2)MLP

多层感知器MLP(Multi_Layer Perceptron)也叫人工神经网络(ANN，ArtificialNeural Network)除了输入输出层，它中间可以有多个隐层，最简单的MLP只含一个隐层，即三层的结构。MLP层与层之间是全连接的,最底层是输入层，中间是隐藏层，最后是输出层。

3)CNN

1998年，LeCun提出的LeNet-5模型标志着CNN的诞生。随后，AlexNet打开了深度学习的大门，验证了神经网络的有效性，为后续的发展提供参考。近年来，随着图像数据集的扩大，CNN模型不断发展，提出了VGG-Net,GoogLenet,ResNet,DenseNet等经典模型。目前，CNN在图像分类、图像检测、目标跟踪等领域已有广泛应用。

糖尿病视网膜病(DR)是糖尿病患者最常见的眼部并发症和最主要的致盲原因。预期我国现有3000万DR患者，其中眼盲或视力损伤者已接近800万，已严重危害我国人民健康。而基层眼科医疗力量严重不足，三甲医院和专科医院眼科服务“供不应求”，这一切都指示着基于机器学习的糖网病辅助诊断技术的发展。运用图像分类技术对糖网病眼底图像进行分级判别是糖网病初步筛查中重要的基础工作。

然而，上述图像分类方法都难以做到对糖网病眼底图像的精准分级。糖网病可分为轻度非增殖、中度非增殖、重度非增殖和增殖性病变四个等级，病灶点复杂，包括微动脉瘤、硬性渗出、软性渗出和出血等。单纯的神经网络模型,如VGG-16、Inception v3等，网络复杂，参数众多，且参数由神经网络在训练的过程中自行选择，含义未知，故网络的可解释性差。可解释性差的神经网络模型即使准确率相对客观，也难以运用于要求严格的医疗场景。同时，仅有糖网病分级判别模型也无法满足糖网病初步筛查实际场景的需求。

发明内容

为解决上述问题，提供一种能够实现针对糖网病眼底图像的自动化质量判别、左右眼标记、等级标注的样本数据标注系统，本发明采用了如下技术方案：

本发明提供了一种糖网病眼底图像的样本数据标注系统，其特征在于，包括：眼底图像获取部，用于获取待判别的糖网病眼底图像，并对每个糖网病眼底图像进行图像预处理得到待判别眼底图像；质量判别筛选部，用于对待判别眼底图像进行质量判别得到质量判别信息，并基于该质量判别信息筛选出符合质量要求的待判别眼底图像作为合格眼底图像；左右眼判别部，用于对合格眼底图像进行左右眼判定得到与该合格眼底图像相对应的左右眼信息；分级判别部，基于预先构建的分级判别模型以及左右眼信息对合格眼底图像进行分级判别得到表示该合格眼底图像的糖网病患病程度的分级判别信息；以及标注结果存储部，用于将糖网病眼底图像、质量判别信息、左右眼信息以及分级判别信息进行对应存储，其中，分级判别模型通过如下步骤构建得到：步骤S1，获取用于训练的包含多个训练用眼底图像以及预先对应标注的数据标签的眼底图像数据集，并对训练用眼底图像进行图像预处理得到预处理眼底图像；步骤S2，根据预处理眼底图像以及数据标签分别形成眼底图像向量以及标签向量；步骤S3，构建初始的分级判别模型作为初始判别模型；步骤S4，基于眼底图像向量以及标签向量生成多个批次的批量数据，按批次利用批量数据对初始判别模型进行训练，将完成训练的初始判别模型作为分级判别模型，一旦分级判别部完成了多次分级判别，分级判别模型还通过如下步骤进行训练：步骤S5，获取标注结果存储部存储的糖网病眼底图像以及分级判别信息作为分级结果；步骤S6，将分级结果发送给眼病专家进行人工核查，根据人工核查的核查结果调整分级判别模型的模型参数。

本发明提供的糖网病眼底图像的样本数据标注系统，还可以具有这样的技术特征，其中，分级判别模型包括基础模块、平均池化层、卷积层、注意力模块以及全连接层，基础模块为一个Inception v3模型，注意力模块为一个注意力模型，步骤S4包括如下子步骤：步骤S4-1，基于眼底图像向量以及标签向量生成m个批次的批量数据；步骤S4-2，冻结基础模块并利用m个批次的批量数据依次对平均池化层、卷积层、全连接层以及注意力模块进行若干轮训练；步骤S4-3，冻结Inception v3模型底部的卷积层以及池化层并利用m个批次的批量数据依次对Inception v3模型的其余层、平均池化层、全连接层以及注意力模块进行若干轮训练。

本发明提供的糖网病眼底图像的样本数据标注系统，还可以具有这样的技术特征，还包括：热力图生成部，基于分级判别模型的注意力模块生成合格眼底图像的注意力分布热力图，其中，标注结果存储部还将注意力分布热力图与糖网病眼底图像进行对应存储，步骤S5中还获取了注意力分布热力图并与糖网病眼底图像以及分级判别信息作为分级结果。

本发明提供的糖网病眼底图像的样本数据标注系统，还可以具有这样的技术特征，其中，图像预处理包括：利用HSV对眼底图像进行亮度调整；制作mask掩膜图获取ROI感兴趣区；采用限制对比度自适应直方图均衡算法扩大眼底图像的局部对比度；将眼底图像裁剪为相同大小。

本发明提供的糖网病眼底图像的样本数据标注系统，还可以具有这样的技术特征，其中，步骤S2中的标签向量以one-hot向量的形式表示。

本发明提供的糖网病眼底图像的样本数据标注系统，还可以具有这样的技术特征，其中，步骤S6包括如下子步骤：步骤S6-1，将分级结果发送给眼病专家进行人工核查并让该眼病专家输入分级结果中各个糖网病眼底图像所对应的人工分级判别信息；步骤S6-2，将分级结果中每个糖网病眼底图像的人工分级判别信息与相应的分级判别信息进行匹配并统计所有糖网病眼底图像的匹配率作为分级判别模型的准确率；步骤S6-3，判定准确率是否低于预设的准确率阈值，一旦判定为是时，就将糖网病眼底图像以及相应的人工分级判别信息作为新的眼底图像数据集，并对分级判别模型进行再次训练从而调整该分级判别模型的模型参数。

发明作用与效果

根据本发明的糖网病眼底图像的样本数据标注系统，由于对糖网病眼底图像进行质量判别以及左右眼判别，可以判别出质量较好的合格眼底图像及其左右眼信息，以便分级判别部可以更好地对合格眼底图像进行分级判别，因此，实现了一条对于糖网病眼底图像质量判别、左右眼标记、等级标注的流水线，适用于实际的糖网病眼底图像初步筛查的医疗场景。同时，由于分级判别部所使用的分级判别模型在进行初步构建以及训练后，还可以在实际应用中通过人工核查检测分级判别模型的准确性，并进一步完成优化训练，因此在利用深度学习的基础上充分考虑了糖网病眼底图像的病灶点特征，确保了分级模型的准确性，提高了分级模型的可解释性。通过本发明的样本数据标注系统，解决了单纯的深度学习图像处理的带来的解释性差、可靠性低等问题，能够做到对糖网病眼底图像的精准分级，并将其应用到实际的医疗场景中。

附图说明

图1是本发明实施例中样本数据标注系统的结构框图；

图2是本发明实施例中分级判别模型的结构示意图；以及

图3是本发明实施例中分级判别模型的构件训练过程的流程图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的糖网病眼底图像的样本数据标注系统作具体阐述。

<实施例>

本实施例实现的平台，操作系统为CentOS 7.6.1810，使用Python 3.7语言实现，神经网络框架使用tensorflow2.1.0版本，CUDA版本为10.1，计算加速单元使用NVIDIA1080Ti GPU。

本实施例所描述的案例为糖网病辅助医疗诊断。出于对隐私信息的保护，本实施例描述不出现真实数据，仅就工作原理做必要说明。具体地，该服务项的用户是眼科医生和就诊患者，供给内容为糖网病眼底图像。服务项的目的是对眼底图像进行准确地等级判定，以达到糖网病初步筛查的目的。

图1是本发明实施例中样本数据标注系统的结构框图。

如图1所示，样本数据标注系统100包括眼底图像获取部11、质量判别筛选部12、左右眼判别部13、分级判别部14、热力图生成部15、标注结果存储部16、人工核查部17、通信部18以及用于控制上述各部的控制部19。

其中，通信部18用于进行样本数据标注系统100的各个构成部分之间以及样本数据标注系统100与其他系统之间的数据交换，控制部19存储有用于对样本数据标注系统100的各个构成部分的工作进行控制的计算机程序。

眼底图像获取部11用于获取待判别的糖网病眼底图像，并对每个糖网病眼底图像进行图像预处理得到待判别眼底图像。

本实施例中，图像预处理包括灰度化、几何变换、图像增强等处理。具体地：由于眼底图像的图像通常存在亮度不均的问题，首先，将输入的RGB图像(即糖网病眼底图像)转换为HSV，再对V进行直方图均衡化处理，实现对图片的亮度调整；其次，将调整过亮度的图片分离出红色通道并对红色通道进行CLAHE(限制对比度自适应直方图均衡，ContrastLimited Adaptive Histogram Equalization)处理获得mask掩膜图以获取ROI感兴趣区；再次，对RGB三个通道分别使用CLAHE算法来扩大局部对比度；最后，使用矩形边界框(bounding box)对眼底图像的视盘区域进行提取并将图像裁剪成统一的大小(512,512,3)以便于按批次输入网络。

质量判别筛选部12用于对待判别眼底图像进行质量判别得到质量判别信息，并基于该质量判别信息筛选出符合质量要求的待判别眼底图像作为合格眼底图像。

本实施例中，质量判别筛选部12存储有一个预先构建并训练好的质量判别模型，该质量判别模型能够对眼底图像进行质量判别并输出质量判别信息。本实施例中，质量判别信息为一个二值变量，即表示质量差的0以及表示质量好的1，质量判别筛选部12会筛选出质量判别信息为1的待判别眼底图像并作为合格眼底图像。

左右眼判别部13用于对合格眼底图像进行左右眼判定得到与该合格眼底图像相对应的左右眼信息。

本实施例中，左右眼判别部13存储有一个预先构建并训练好的左右眼识别模型，该左右眼识别模型能够对眼底图像进行左右眼判别并输出左右眼信息。本实施例中，左右眼信息也为一个二值变量，即表示左眼的0以及表示右眼的1。

上述质量判别模型以及左右眼识别模型都为常规的神经网络模型，在此不再赘述。

分级判别部14基于预先构建的分级判别模型以及左右眼信息对合格眼底图像进行分级判别得到对应该合格眼底图像的分级判别信息。

本实施例中，分级判别信息用于表示该合格眼底图像的糖网病患病程度，分为0-4级。其中，0级代表健康，1级代表轻度非增殖性糖网病，2级代表中度非增殖性糖网病，3级代表重度非增值性糖网病，4级代表增殖性糖网病。分级判别模型可以直接输出与分级相对应的数值并作为对眼底图像预测得到的分级判别信息。

图2是本发明实施例中分级判别模型的结构示意图。

如图2所示，分级判别模型包括基础模块、平均池化层、卷积层、注意力模块以及全连接层。其中，基础模块采用了Inception-v3模型。

在构建该分级判别模型时，以借助开源人工神经网络库Keras进行搭建为例，具体操作过程为：首先，从Keras的应用模块中加载Inception v3模型作为基础模块，其中网络层的初始化参数来自ImageNet上预训练得到的模型；其次，在基础模块后增加一个平均池化层、一个卷积层、两个全连接层，用于进一步提取眼底图像特征；最后，引入注意力机制作为注意力模块，将该注意力模块并联在卷积层与第一个全连接层之间，以便网络能够将图像中的病灶点等关键区域与糖网病的等级建立联系。

本实施例中，卷积层的输出会同时输出给注意力模块以及第一个全连接层，从而由注意力模块对判断卷积层输出的各个位置(即卷积层输出的特征图的各个像素点)的重要性，然后依据重要性控制不同位置上的特征进入第一个全连接层的程度。最终，第一个全连接层的输出会输出给激活函数是softmax的第二个全连接层并处理形成分级判别信息。

图3是本发明实施例中分级判别模型的构件训练过程的流程图。

如图3所示，上述分级判别模型通过如下步骤构建得到：

步骤S1，获取用于训练的眼底图像数据集，并对训练用眼底图像进行图像预处理得到预处理眼底图像。

步骤S2，根据预处理眼底图像以及数据标签分别形成眼底图像向量以及标签向量。

本实施例中，眼底图像数据集采用了国际公开数据集Kaggle，该数据集Kaggle中包含了多个训练用眼底图像以及预先对应标注的数据标签。将Kaggle提供的眼底图像和数据标签转换为向量形式，其中标签以one-hot形式的向量表示，并转为浮点形式，防止在数值计算时发生溢出。

上述步骤S1至S2的具体操作过程为：下载Kaggle提供的国际公开数据集，根据其中的train_labels.csv文件读取眼底图像和其对应的标签，并将图像和标签转换为向量形式。标签可为0-4中的整数，用one-hot向量的形式表示。

步骤S3，构建初始判别模型，该初始判别模型与分级判别模型的模型结构一致。

步骤S4，基于眼底图像向量以及标签向量生成多个批次的批量数据，按批次利用批量数据对初始判别模型进行训练，将完成训练的初始判别模型作为分级判别模型。

本实施例中，步骤S4具体包括如下子步骤：

步骤S4-1，基于眼底图像向量以及标签向量生成m个批次的批量数据。

本实施例的步骤S4中，使用Keras中的model.fit_generator实现按批次对模型进行训练，batch-size＝64。由于数据集Kaggle中0-4级的图片数量分布不均，故设置class-weight＝’balanced’以调整权重。

步骤S4-2，冻结基础模块并利用m个批次的批量数据依次对平均池化层、卷积层、注意力模块、全连接层进行若干轮训练。

本实施例中，因为糖网病国际公开数据集中符合质量要求的图片数量有限，若将模型的网络层全部训练，不仅训练量大而且容易产生过拟合等问题。同时，Inception v3有较强的的泛化能力，可以用于糖网病分级判别的迁移学习。所以，在步骤S4-2中，冻结了基础模块(即Inception v3模型)的特征提取层并编译模型，并利用m个批次的批量数据训练10轮，得到一个粗略的分级判别模型。在此训练过程中，分级判别模型仅被训练了添加的平均池化层、卷积层、注意力模块以及全连接层。

步骤S4-3，冻结Inception v3模型底部的卷积层以及池化层并利用m个批次的批量数据依次对Inception v3模型的其余层、平均池化层、卷积层、注意力模块以及全连接层进行若干轮训练。

本实施例的步骤S4-3中，冻结基础模型Inception v3底部的卷积层和池化层，训练其余层，并且将学习率设为0.001以对之前训练的粗略的分级判别模型进行微调。由于训练集过大，故使用Keras中Model类的Python生成器model.fit_generator实现按批次对模型进行训练，生成器与模型并行运行，可以提高训练效率。

另外，在训练过程中每5个epoches保存一个模型并输出test_accuracy、test_loss等信息。比较生成的模型性能，选取最佳者作为糖网病眼底图像的分级判别模型。

另外，在本实施例的上述训练中，训练用眼底图像可以仅采用单眼的图像(例如统一采用右眼，并将左眼图像镜像翻转作为右眼图像)，同时在分级判别部14也可根据合格眼底图像对应的左右眼信息将合格眼底图像转换为对应的单眼图像(例如统一采用右眼)再输入分级判别模型中，使得分级判别模型只需要对单眼进行处理，能够更准确地完成判别工作。

通过上述训练过程，即完成了分级判别模型的训练以及构建，分级判别部14可以利用该分级判别模型对合格眼底图像进行分级并得到相应的分级判别信息。

另外，本实施例中，基于上述眼底图像获取部11、质量判别筛选部12、左右眼判别部13以及分级判别部14的处理过程，可以实现一条图像质量判别、左右眼标记、等级标注流水线。因此，样本数据标注系统100具有成批图像处理和单张图像处理两种模式。其中，成批图像处理是将从医院获取的糖网病眼底图像数据集作为测试集来测试分级判别模型的性能，并对测试结果进行人工核查从而改善模型参数，提高糖网病分级精度；单张图像处理则应用于具体的医疗场景中，即对输入的图片进行分级判定，从而达到糖网病辅助诊断的目的。

热力图生成部15基于分级判别模型的注意力模块生成合格眼底图像的注意力分布热力图。

本实施例中，注意力分布热力图为注意力模块在对合格眼底图像进行注意力分析时，合格眼底图像中各个位置的注意力权重分布的热力图。

标注结果存储部16用于将糖网病眼底图像、质量判别信息、左右眼信息、分级判别信息以及注意力分布热力图进行对应存储。

在实际使用中，标注结果存储部16中存储的糖网病眼底图像还可以与病患的身份识别信息进行对应存储，医护人员可以从标注结果存储部16调用出与患者的身份识别信息相对应的糖网病眼底图像、质量判别信息、左右眼信息以及分级判别信息等信息，辅助该医护人员对相应病患的糖网病进行诊断。

在样本数据标注系统100进行成批图像处理时，人工审核部17会将成批处理完成的各个合格眼底图像、对应的分级判别信息以及注意力分布热力图作为分级结果发送给眼病专家进行人工核查。

本实施例中，为进一步检测以及提高分级判别模型的识别准确率，可以定期从医院获取积累的糖网病眼底图像作为新的训练集，即通过分级判别部14对训练集进行成批图像处理，得到的标注结果都会存储在标注结果存储部16中。之后，可以进一步通过如下步骤对分级判别模型进行训练：

步骤S5，人工审核部17获取标注结果存储部16存储的糖网病眼底图像、分级判别信息以及注意力分布热力图作为分级结果；

步骤S6，通过人工审核部17将分级结果发送给眼病专家进行人工核查，根据人工核查的核查结果调整分级判别模型的模型参数。

本实施例中，步骤S6包括如下子步骤：

步骤S6-1，将分级结果发送给眼病专家进行人工核查并让该眼病专家输入分级结果中各个糖网病眼底图像所对应的人工分级判别信息。

本实施例中，人工审核部17会将分级结果发送给眼病专家持有的个人终端上(例如计算机等)，并通过显示屏显示给眼病专家，从而便于眼病专家基于分级结果中各个糖网病眼底图像以及相应的注意力分布热力图人工判定出分级判别信息作为人工分级判别信息，进一步发送给样本数据标注系统100。

一旦接收到眼病专家输入的人工分级判别信息以及对应的糖网病眼底图像，人工审核部17就会执行如下的步骤S6-2至步骤S6-4的过程。

步骤S6-2，将分级结果中每个糖网病眼底图像的人工分级判别信息与相应的分级判别信息进行匹配并统计所有糖网病眼底图像的匹配率作为分级判别模型的准确率；

步骤S6-3，判定准确率是否低于预设的准确率阈值，在判定为是时进入步骤S6-4；

步骤S6-4，将糖网病眼底图像以及相应的人工分级判别信息作为新的眼底图像数据集，并对分级判别模型进行再次训练从而调整该分级判别模型的模型参数。

本实施例的步骤S6-4中，对分级判别模型进行再次训练的过程与上述步骤S4基本相同，同时，还可以依据准确率、kappa系数、F1分数等标准调整模型的批次大小、训练轮数、学习率、优化器等参数以提高模型的性能；依据得到的注意力热力图，参考眼科专家的意见，调整注意力模型中的Dropout层参数(即隐藏节点失效的比例)、最大特征数(max_features)等参数，使得注意力模型能够基于病灶点等关键位置更大的权重，更好地模拟眼科专家判定眼底图像时的关注点。

通过上述步骤S5至步骤S6，可以不断地对分级判别模型进行迭代从而提高分级判别模型的准确率。

实施例作用与效果

根据本实施例提供的糖网病眼底图像的样本数据标注系统，由于对糖网病眼底图像进行质量判别以及左右眼判别，可以判别出质量较好的合格眼底图像及其左右眼信息，以便分级判别部可以更好地对合格眼底图像进行分级判别，因此，实现了一条对于糖网病眼底图像质量判别、左右眼标记、等级标注的流水线，适用于实际的糖网病眼底图像初步筛查的医疗场景。同时，由于分级判别部所使用的分级判别模型在进行初步构建以及训练后，还可以在实际应用中通过人工核查检测分级判别模型的准确性，并进一步完成优化训练，因此在利用深度学习的基础上充分考虑了糖网病眼底图像的病灶点特征，确保了分级模型的准确性，提高了分级模型的可解释性。通过本发明的样本数据标注系统，解决了单纯的深度学习图像处理的带来的解释性差、可靠性低等问题，能够做到对糖网病眼底图像的精准分级，并将其应用到实际的医疗场景中。

实施例中，由于在搭建分级判别模型时，采用Inception-v3模型进行迁移学习并加入注意力机制，因此，不仅可以为图像分类问题提供了坚实可靠的基础(可以有效地捕捉图像中的病灶点等关键信息从而提高分级判别的准确率)，还大幅节省了训练网络的时间成本。又因为在Inception-v3的基础上，设计了新的网络层和注意力模型，使分级判别模型能够更好地应用到糖网病眼底图像的分级判别问题中，得到更高的准确率和可解释性。

进一步，由于在训练分别判别模型时，采用了分批输入的方法，因此有效地解决了样本数据标注系统在实际应用场景中可能出现的无法一次性将所有数据载入内存的问题。

进一步，加入注意力模型不仅可以有效地捕捉图像中的病灶点等关键信息从而提高分级判别的准确率，而且得到的注意力分布热力图可以提供给眼科专家，即可以通过热力图生成部生成注意力分布热力图并作为分级信息发送给眼科专家，因此眼科专家可以根据注意力分布热力图中的标记，运用专业的眼科知识，判断分级判别模型是否“关注”到关键的眼底图像信息。注意力模型模拟人脑处理图像的方法，在热力图中体现的重点关注的位置信息，可以在一定程度上解释模型分级判别的依据，体现出模型的可解释性。

另外，实施例中，由于在将糖网病眼底图像输入网络前，采取了有效的图像预处理，具体包括：运用HSV调整亮度、运用掩膜获取ROI感兴趣区和调用CLAHE算法来提高对比度，因此可以更好地使糖网病眼底图像的病灶点暴露明显，进一步有利于后续的模型训练以及识别。

实施例中，在单纯的深度学习的基础上，运用人机结合的方法，提供了人工核查的步骤，不仅为样本数据标注系统的结果准确性提供了保证，而且核查结果的准确率等常规指标以及注意力热力图与眼科专家判定眼底图像时关注点的比较结果，为分级判别模型的参数调整提供了依据。

上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

Claims (6)

1.一种糖网病眼底图像的样本数据标注系统，其特征在于，包括：

眼底图像获取部，用于获取待判别的糖网病眼底图像，并对每个所述糖网病眼底图像进行图像预处理得到待判别眼底图像；

质量判别筛选部，用于对所述待判别眼底图像进行质量判别得到质量判别信息，并基于该质量判别信息筛选出符合质量要求的所述待判别眼底图像作为合格眼底图像；

左右眼判定部，用于对所述合格眼底图像进行左右眼判定得到与该合格眼底图像相对应的左右眼信息；

分级判别部，基于预先构建的分级判别模型以及所述左右眼信息对所述合格眼底图像进行分级判别得到表示该合格眼底图像的糖网病患病程度的分级判别信息；以及

标注结果存储部，用于将所述糖网病眼底图像、所述质量判别信息、所述左右眼信息以及所述分级判别信息进行对应存储，

其中，所述分级判别模型包括基础模块、平均池化层、卷积层、注意力模块以及全连接层，

所述基础模块为一个Inception v3模型，

所述注意力模块为一个注意力模型，

所述分级判别模型通过如下步骤构建得到：

步骤S1，获取用于训练的包含多个训练用眼底图像以及预先对应标注的数据标签的眼底图像数据集，并对所述训练用眼底图像进行图像预处理得到预处理眼底图像；

步骤S2，根据所述预处理眼底图像以及所述数据标签分别形成眼底图像向量以及标签向量；

步骤S3，构建初始的所述分级判别模型作为初始判别模型；

步骤S4，基于所述眼底图像向量以及所述标签向量生成多个批次的批量数据，按所述批次利用所述批量数据对所述初始判别模型进行训练，将完成训练的所述初始判别模型作为所述分级判别模型，

一旦所述分级判别部完成了多次所述分级判别，所述分级判别模型还通过如下步骤进行训练：

步骤S5，获取所述标注结果存储部存储的所述糖网病眼底图像以及所述分级判别信息作为分级结果；

步骤S6，将所述分级结果发送给眼病专家进行人工核查，根据所述人工核查的核查结果调整所述分级判别模型的模型参数。

2.根据权利要求1所述的糖网病眼底图像的样本数据标注系统，其特征在于：

其中，所述步骤S4包括如下子步骤：

步骤S4-1，基于所述眼底图像向量以及所述标签向量生成m个批次的批量数据；

步骤S4-2，冻结所述基础模块并利用所述m个批次的批量数据依次对所述平均池化层、所述卷积层、所述全连接层以及所述注意力模块进行若干轮训练；

步骤S4-3，冻结所述Inception v3模型底部的卷积层以及池化层并利用所述m个批次的批量数据依次对所述Inception v3模型的其余层、所述平均池化层、所述全连接层以及所述注意力模块进行若干轮训练。

3.根据权利要求2所述的糖网病眼底图像的样本数据标注系统，其特征在于，还包括：

热力图生成部，基于所述分级判别模型的所述注意力模块生成所述合格眼底图像的注意力分布热力图，

其中，所述标注结果存储部还将所述注意力分布热力图与所述糖网病眼底图像进行对应存储，

所述步骤S5中还获取了所述注意力分布热力图并与所述糖网病眼底图像以及所述分级判别信息作为所述分级结果。

4.根据权利要求1所述的糖网病眼底图像的样本数据标注系统，其特征在于：

其中，所述图像预处理包括：

利用HSV对眼底图像进行亮度调整；

制作mask掩膜图获取ROI感兴趣区；

采用限制对比度自适应直方图均衡算法扩大所述眼底图像的局部对比度；

将所述眼底图像裁剪为相同大小。

5.根据权利要求1所述的糖网病眼底图像的样本数据标注系统，其特征在于：

其中，步骤S2中的标签向量以one-hot向量的形式表示。

6.根据权利要求1所述的糖网病眼底图像的样本数据标注系统，其特征在于：

其中，所述步骤S6包括如下子步骤：

步骤S6-1，将所述分级结果发送给眼病专家进行人工核查并让该眼病专家输入所述分级结果中各个糖网病眼底图像所对应的人工分级判别信息；

步骤S6-2，将所述分级结果中每个所述糖网病眼底图像的所述人工分级判别信息与相应的所述分级判别信息进行匹配并统计所有所述糖网病眼底图像的匹配率作为所述分级判别模型的准确率；

步骤S6-3，判定所述准确率是否低于预设的准确率阈值，

一旦判定为是时，就将所述糖网病眼底图像以及相应的所述人工分级判别信息作为新的所述眼底图像数据集，并对所述分级判别模型进行再次训练从而调整该分级判别模型的所述模型参数。

Images