CN110837803B - 基于深度图网络的糖尿病视网膜病变分级方法 - Google Patents

Abstract

本发明提供一种基于深度图网络的糖尿病视网膜病变分级方法，能够有效模拟眼科医生对糖尿病视网膜病变的实际诊断过程，对患者单只眼睛的多张图像进行患病特征的信息传递与整合，从而得到更加准确的诊断结果，其特征在于，包括如下步骤：步骤S1，对患者的双眼的多张待测眼底图像进行至少包括图像质量检测以及左右眼分类识别的预处理从而得到预处理眼底图像；步骤S2，分别根据与患者的单眼对应的多张预处理眼底图像构建逻辑图数据，该逻辑图数据包含一个由多张预处理眼底图像作为节点的全连接图；步骤S3，将逻辑图数据输入预先训练完成的糖尿病视网膜病变分级模型从而得到患者的糖尿病视网膜病变等级信息。

Description

基于深度图网络的糖尿病视网膜病变分级方法

技术领域

本发明属于计算机视觉领域以及医疗领域，涉及一种糖尿病视网膜病变等级分类方法，具体涉及一种基于深度图网络的糖尿病视网膜病变分级方法。

背景技术

糖尿病视网膜病变(DR)是一种与糖尿病相关的眼病。大约40％至45％的糖尿病患者患有不同程度的该疾病。如果及时检测到糖尿病视网膜病变，可以减缓或避免视力损害。基于患者拍摄的眼底图像，根据病灶点等患病特征可将糖尿病视网膜病变严重程度分为5个等级，分别是正常，非增殖期轻度，非增殖期中度，非增殖期重度以及增殖期。

人工检测糖尿病视网膜病变是耗时的过程，且资源需求较高。在糖尿病发病率高且最需要糖尿病视网膜病变检测的地域，往往缺乏所需的专业知识和设备。随着人工智能在医疗领域的发展，基于深度学习的糖尿病视网膜病变自动化检测与程度分级方法得以提出并得到不断改进，具有较高的检测准确度，在糖尿病视网膜病变的初步筛查诊断中得到了广泛的应用。

目前，常规的基于深度学习的糖尿病视网膜病变自动化分级诊断方法通常采用患者眼部的单张眼底图像作为模型的输入，实现一个端到端的学习过程，输出对该眼底图像的判断，作为该眼睛的患病情况诊断结果。

然而，这样的自动化诊断方法存在一定的局限性，由于设备等外部原因可能造成单张图像无法完全反应患者实际的患病情况，从而导致一定程度的误诊。

发明内容

为解决上述问题，提供一种能够对患者一只眼睛的多张图像进行特征信息的整合从而得到更加准确的诊断结果的糖尿病视网膜病变分级方法，本发明采用了如下技术方案：

本发明提供了一种基于深度图网络的糖尿病视网膜病变分级方法，用于对患者在检测糖尿病时拍摄的待测眼底图像进行识别从而判定患者的病变等级，其特征在于，包括：步骤S1，对患者的双眼的多张待测眼底图像进行至少包括图像质量检测以及左右眼分类识别的预处理从而得到预处理眼底图像；步骤S2，分别根据与患者的单眼对应的多张预处理眼底图像构建逻辑图数据，该逻辑图数据包含一个由多张预处理眼底图像作为节点的全连接图；步骤S3，将逻辑图数据输入预先训练完成的糖尿病视网膜病变分级模型从而得到患者的糖尿病视网膜病变等级信息，其中，糖尿病视网膜病变分级模型包括图像特征提取模块、图像节点信息传递模块以及全局综合分级模块，图像特征提取模块用于提取逻辑图数据中每张预处理眼底图像的第一特征信息并输入图像节点信息传递模块，图像节点信息传递模块基于逻辑图数据以及第一特征信息对节点进行更新并输出第二特征信息给全局综合分级模块，全局综合分级模块用于对第二特征信息进行综合并通过分类器分类得到糖尿病视网膜病变等级信息。

本发明提供的基于深度图网络的糖尿病视网膜病变分级方法，还可以具有这样的技术特征，其中，糖尿病视网膜病变分级模型通过如下步骤训练得到：步骤T1，构建初始视网膜分级模型；步骤T2，将包含多组眼底图像逻辑图的训练集依次输入初始视网膜分级模型并进行迭代；步骤T3，采用最后一层的模型参数分别计算出损失误差并将计算得到的损失误差反向传播从而更新模型参数；步骤T4，重复步骤T2至步骤T3直至达到训练完成条件从而得到糖尿病视网膜病变分级模型。

本发明提供的基于深度图网络的糖尿病视网膜病变分级方法，还可以具有这样的技术特征，其中，步骤S1包括如下子步骤：步骤S1-1，对待测眼底图像进行图像质量检测并筛选出质量合格的图像作为质量合格图像；步骤S1-2，对质量合格图像进行左右眼分类识别从而得到已分类图像；步骤S1-3，对已分类图像中无效信息进行裁剪并将眼睛移动至图像中心，同时对图像进行分辨率归一化形成预处理眼底图像。

本发明提供的基于深度图网络的糖尿病视网膜病变分级方法，还可以具有这样的技术特征，其中，逻辑图数据用G＝(V,E)表示，式中，G表示逻辑图数据，V为各个与患者的单眼对应的多张预处理眼底图像所构成的节点，E为各个节点之间的边。

本发明提供的基于深度图网络的糖尿病视网膜病变分级方法，还可以具有这样的技术特征，其中，图像特征提取模块包含stem块、Inception-resnet-A块、Reduction-A块、Inception-resnet-B块、Reduction-B块、Inception-resnet-C块、Average Pooling层和Dropout层，图像节点信息传递模块包含两个全连接层和两个激活函数层，全局综合分级模块包含Batch Normalization层、全连接层和softmax层。

发明作用与效果

根据本发明的基于深度图网络的糖尿病视网膜病变分级方法，由于对患者双眼的多张待测眼底图像进行图像质量检测以及左右眼分类识别等预处理，筛去了待测眼底图像中质量过差的图像，还根据每个患者单眼的待测眼底图像构建了逻辑图数据，因此在一定程度上减少了因图像质量而导致患者眼底图像分析有误的可能性，进一步将逻辑图数据输入糖尿病视网膜病变分级模型从而得到患者的糖尿病视网膜病变等级信息，实现了对糖尿病视网膜图像的自动识别以及病变分级。由于本发明实施例所采用的糖尿病视网膜病变分级模型中通过图像特征提取模块提取逻辑图数据中各个图像的特征信息，并通过图像节点信息传递模块进行信息的传递与融合，从而有效地模拟了眼科医生的实际诊断过程，通过建立了眼底图像数据之间的全连接逻辑图结构，因此能够实现信息的相互传递、补充与整合，达到图像信息的利用最大化，得到更加准确与全面的诊断结果。另外，该模型结构简单，构建快速方便，且训练过程所消耗的计算量也较小。

附图说明

图1是本发明实施例中基于深度图网络的糖尿病视网膜病变分级方法的流程图；

图2是本发明实施例中糖尿病视网膜病变分级模型的结构示意图；以及

图3是本发明实施例中糖尿病视网膜病变分级模型的训练过程流程图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的基于深度图网络的糖尿病视网膜病变分级方法作具体阐述。

<实施例>

本实施例的基于深度图网络的糖尿病视网膜病变分级方法基于一台计算机实现，该计算机至少含有一张用于进行GPU加速的显卡。糖尿病视网膜病变分级方法中使用到的糖尿病视网膜病变分级模型以及图像的识别过程以可执行代码的形式存储在计算机中。

本实施例采用的数据集是通过获取上海市的13个区的基层医疗卫生机构拍摄的眼底图像，构成了一共包含252251张眼底图的眼地图数据集。该眼底图数据集中糖尿病视网膜病变等级为0的有215755张图像，1级有11192张图像，2级有21546张图像，3级有3103张图像，4级有655张图像。同时，眼底图数据集中的每只眼睛最少包含有2张图像，图像的分辨率各个区不尽相同，大部分是2000×2000左右。

图1是本发明实施例中基于深度图网络的糖尿病视网膜病变分级方法的流程图。

如图1所示，基于深度图网络的糖尿病视网膜病变分级方法包括如下步骤：

步骤S1，对患者双眼的多张待测眼底图像进行预处理从而得到预处理眼底图像。

本实施例中，由于数据集来自上海市的13个区，因此数据集中的图像质量良莠不齐，因此需要通过步骤S1对图像进行预处理，该步骤S1包括如下子步骤S1-1至S1-3：

步骤S1-1，对待测眼底图像进行图像质量检测并筛选出质量合格的图像作为质量合格图像。

本实施例的步骤S1-1中，利用常规的图像质量检测模型或是图像质量检测算法将数据集中质量不合格图像删除，比如去除混杂的其他图像、曝光过高的图像、亮度过暗的图像和模糊不清的图像等等，从而确保模型不受无关噪声的影响导致检测效果不佳。

步骤S1-2，对质量合格图像进行左右眼分类识别从而得到已分类图像。

本实施例的步骤S1-2中，由于数据集中的图像是以人为单位的，因此构建了一个常规的左右眼分类模型，对每个患者的多张待测眼底图像进行左右眼分类形成两组数据，。

步骤S1-3，对已分类图像中无效信息进行裁剪并将眼睛移动至图像中心，同时对图像进行分辨率归一化以及数据增强形成预处理图像。

本实施例的步骤S1-3中，对已分类图像进行的裁剪为删除眼底图四周的黑框，这是为了将拍摄到的眼底图像放在中心，避免不同区拍摄的图像形式不一样从而产生干扰，也避免了多余的无用信息输入到模型当中。然后将图像的分辨率全部归一化至512×512，使得输入模型的图像大小统一。最后对图像实施数据增强方法，对图像进行分随机翻转、随机角度的旋转、亮度和对比度的微调等等，从而实现数据的扩充，弥补糖尿病视网膜病变等级为4的图像的严重缺少问题。以上是对训练集的图像进行的预处理过程，在测试集中，不需要实施最后的数据增强方法。

步骤S2，分别根据与患者的单眼对应的多张预处理眼底图像构建逻辑图数据。

本实施例中，为了模仿医生的诊断过程，采用了每只眼睛输入多张图像完成检测的方法，同时为了适应深度图网络模型的输入格式，因此需要根据一只眼睛的不同图像之间的关系构建图结构(即逻辑图数据)。由于一只眼睛的不同图像之间的地位是平等的，其之间的关系是信息相互补充的关系，所以这些图像构建的图是一个全连接的图，每一张图像就是一个节点，各个图像之间信息相互补充这一关系就是节点之间的边。每只眼睛都具有特定图结构，但是由于本实施例所采用的数据集中包含2张图像的眼睛为绝大多数，因此采用每只眼睛两张图像的标准，对于具有多图像的眼睛，舍弃多余的图像。最后构成的逻辑图数据用G＝(V,E)表示，其中V是节点，E是节点之间的边。

步骤S3，将逻辑图数据输入预先训练完成的糖尿病视网膜病变分级模型从而得到患者双眼的糖尿病视网膜病变等级信息。

图2是本发明实施例中糖尿病视网膜病变分级模型的结构示意图。

如图2所示，基于深度图网络的糖尿病视网膜病变分级模型主要利用现有的深度学习框架pytorch搭建，该糖尿病视网膜病变分级模型包括三个模块，分别是图像特征提取模块、图像节点信息传递模块和全局综合分级模块。

其中，图像特征提取模块用于提取眼底图像的特征信息作为节点信息传递模块的输入，也可以看作是图像信息的嵌入模块。图像节点信息传递模块的作用是将节点之间的信息进行融合，从而模仿医生的诊断过程。全局综合分类模块的作用是对图像节点信息传递模块最后生成的信息进行综合，放入分类器中分类得到预测的结果。

具体地，图像特征提取模块基于Inception-Resnet-V2模型构建，经过对深度学习的现有模型进行多次试验，最终Inception-Resnet-V2取得的效果是最好的。该Inception-Resnet-V2模型主要有9个部分组成，分别是stem块、Inception-resnet-A块、Reduction-A块、Inception-resnet-B块、Reduction-B块、Inception-resnet-C块、Average Pooling层、Dropout层和Softmax层。其中，stem块是用了inception设计，并且卷积层也是用了7*1+1*7这种优化形式，inception-resnet块都是用inception+残差的设计方式。本实施例将上述Inception-Resnet-V2模型在分类器之前的部分作为图像特征提取模块，生成的特征向量作为图像节点信息传递模块的输入。

图像节点信息传递模块是对图像信息融合的模块，依靠构建的逻辑图，利用深度图网络对其节点进行更新操作。该图像节点信息传递模块中包含的神经网络层是两个全连接层和两个激活函数层，本实施例中，两个全连接层的输出维度分别是512和128，选用了ReLU层作为激活函数层。图像特征提取模块提取的特征向量在输入这一模块之后，先通过深度图网络模型进行逻辑图数据的更新，将图中自身节点的信息传递到连接的节点，然后经过一层全连接层，这就构成了逻辑图数据的一次更新，输出向量的维度是512，再经过一次逻辑图数据的更新，得到的输出维度为128，然后将最后得到的向量传入下一层中。其中，逻辑图数据在每次更新后都经过一次激活函数层。

全局综合分类模块的作用是对图像节点信息传递模块最后生成的信息进行综合，放入分类器中分类得到预测的结果。该全局综合分类模块由一层Batch Normalization层、全连接层和softmax层组成。其中全连接层的输入和输出维度为128和5，5即糖尿病视网膜病变等级的种类数。

图3是本发明实施例中糖尿病视网膜病变分级模型的训练过程流程图。

如图3所示，上述基于深度图网络的糖尿病视网膜病变分级模型通过如下模型训练过程训练得到：

步骤T1，构建初始视网膜分级模型。

本实施例中，在构建初始视网膜分级模型时，模型中图像特征提取模块的参数是经过预先训练的，图像节点信息传递模块和信息综合分类模块的参数的初始化是随机的。对于图像特征提取模块的参数，首先加载了在ImageNet上训练好了的Inception-Resnet-V2模型，目的是为了加快模型的收敛速度，然后选用kaggle的眼底糖尿病视网膜病变的数据集，将模型在该数据集上再训练，得到的模型参数在整个模型训练的时候不训练。

步骤T2，将包含多组眼底图像逻辑图的训练集依次输入初始视网膜分级模型并进行迭代。

本实施例中，在眼底图数据集中的图像通过步骤S1进行预处理和数据增强操作后，取数据集中的80％作为训练集。在将训练集输入初始视网膜分级模型时，取16只眼睛为一个批次，一共迭代训练了200次，即epoch的值取200。

训练时，眼底图先通过图像特征提取模块得到一组特征向量，然后得到的特征向量被传入到图像节点信息传递模块中。假设得到的特征向量的大小是b*2*2048，其中b是每一批的眼睛个数，本实施例取16，2表示图的定点个数，因为本实施例中的图都是由两个节点组成，所以此处定点个数的取值是2。以一只眼睛为例，图像特征提取模块的特征X大小为2*2048，也就是一只眼睛的两张图像，这两张图像构成的图是一个只含有两个节点的全连接图，包含两条边，其中这个图的邻接矩阵用A表示。那么深度图网络每一层的更新可以表示为：

式中，l表示这是第l次更新，

图上的每个节点都加上一条指向自己的边之后形成的邻接矩阵，即

表示每个节点的度，即

W^(l)是一层待训练的权重矩阵(即图像节点信息传递模块的全连接层)，X^(l)表示第l次更新后的特征向量，X⁽⁰⁾＝X，σ表示激活函数层(本实施例采用的是ReLU函数)。

假设进行的是深度图网络的第一层更新，则l为0，X⁽⁰⁾的大小为2*2048，W的大小为2048*512，得到的X⁽¹⁾的大小为2*512，所以第一层的输出维度为512，经过一层激活函数之后进入深度图网络的第二层。最终图像节点信息传递模块的输出的特征大小为2*128。特征到达全局综合分类模块先进行一个对应维度相加的操作，即将2*128的向量求和成1*128的向量。然后通过Batch Normalization(128)层之后送进全连接层中，该全连接层的输出大小是5，再经过一个softmax层得到最终的结果，对于一只眼睛来说，这就是经过整个模型之后的输出。

步骤T3，采用最后一层的模型参数分别计算出损失误差并将计算得到的损失误差反向传播从而更新模型参数。

在步骤T2中一个训练图像经过整个模型后，会通过步骤T3计算损失误差。本实施例所选用的损失函数是交叉熵，用模型得到的结果计算损失误差之后进行反向传播，从而更新模型的参数。另外，本实施例在损失函数中还使用了L2正则化防止模型过拟合，设置的L2正则化参数值为1e-5。

步骤T4，重复步骤T2至步骤T3直至达到训练完成条件从而得到糖尿病视网膜病变分级模型。

本实施例中，训练完成条件为常规条件，即模型收敛后完成训练。

本实施例中，将眼底图数据集的剩余20％作为糖尿病视网膜病变分级模型的测试集，测试集数据的预处理除了不进行数据增强外，与训练集无异。将测试集输入到模型中，得到一个维度为5的得分向量，取其中最大概率的位置作为这个眼睛的等级(即糖尿病视网膜病变等级信息)。最后本实施例选用kappa值作为衡量模型效果的量度。本实施例在测试集上的kappa值为0.76。

实施例作用与效果

根据本实施例提供的基于深度图网络的糖尿病视网膜病变分级方法，由于对患者双眼的多张待测眼底图像进行图像质量检测以及左右眼分类识别等预处理，筛去了待测眼底图像中质量过差的图像，还根据每个患者单眼的待测眼底图像构建了逻辑图数据，因此在一定程度上减少了因图像质量而导致患者眼底图像分析有误的可能性，进一步将逻辑图数据输入糖尿病视网膜病变分级模型从而得到患者的糖尿病视网膜病变等级信息，实现了对糖尿病视网膜图像的自动识别以及病变分级。由于本发明实施例所采用的糖尿病视网膜病变分级模型中通过图像特征提取模块提取逻辑图数据中各个图像的特征信息，并通过图像节点信息传递模块进行信息的传递与融合，从而有效地模拟了眼科医生的实际诊断过程，通过建立了眼底图像数据之间的全连接逻辑图结构，因此能够实现信息的相互传递、补充与整合，达到图像信息的利用最大化，得到更加准确与全面的诊断结果。另外，该模型结构简单，构建快速方便，且训练过程所消耗的计算量也较小。

另外，实施例中，由于根据每只眼睛的多张图像构建逻辑图数据，从而使得模型能够同时对多张图像进行处理，因此利用多张图像的信息整合从而得到更加精确的诊断结果，确保了对患者的眼底检查的全面性与互补性。

另外，实施例中，仅通过每只眼睛对应两张图像构建逻辑图数据，最终使得模型测试的kappa值为0.76。若在构建逻辑图数据以及模型时使得每只眼睛对应的图像数量更多，糖尿病视网膜病变分级模型还能发挥更好的效果。

上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

例如，实施例中，深度图网络的层数是2，在其他实施例中，深度图网络也可以设置为1或者2以上。

再例如，对于糖尿病视网膜病变分级模型的图像节点信息传递模块，本实施例所采用的是图卷积(GCN)的更新方法，在其他实施例中，也可以采用其他深度图网络的更新方法，如图注意力网络(GAT)等。

Claims (4)

1.一种基于深度图网络的糖尿病视网膜病变分级方法，用于对患者在检测糖尿病时拍摄的待测眼底图像进行识别从而判定患者的病变等级，其特征在于，包括：

步骤S1，对所述患者的双眼的多张待测眼底图像进行至少包括图像质量检测以及左右眼分类识别的预处理从而得到预处理眼底图像；

步骤S2，分别根据与所述患者的单眼对应的多张预处理眼底图像构建逻辑图数据，该逻辑图数据包含一个由多张所述预处理眼底图像作为节点的全连接图；

步骤S3，将所述逻辑图数据输入预先训练完成的糖尿病视网膜病变分级模型从而得到患者的糖尿病视网膜病变等级信息，

其中，所述糖尿病视网膜病变分级模型包括图像特征提取模块、图像节点信息传递模块以及全局综合分级模块，

所述图像特征提取模块用于提取所述逻辑图数据中每张所述预处理眼底图像的第一特征信息并输入所述图像节点信息传递模块，

所述图像节点信息传递模块基于所述逻辑图数据以及所述第一特征信息对所述节点进行更新并输出第二特征信息给所述全局综合分级模块，

所述全局综合分级模块用于对所述第二特征信息进行综合并通过分类器分类得到所述糖尿病视网膜病变等级信息，

所述逻辑图数据用G＝(V,E)表示，式中，G表示所述逻辑图数据，V为各个与所述患者的单眼对应的多张所述预处理眼底图像所构成的节点，E为各个所述节点之间的边，

所述图像特征提取模块基于Inception-Resnet-V2模型构建，将所述Inception-Resnet-V2模型在分类器之前的部分作为所述图像特征提取模块，该模块提取所述预处理眼底图像的特征向量即所述第一特征信息，

所述图像节点信息传递模块中包含的神经网络层是两个全连接层和两个激活函数层，图像特征提取模块提取的特征向量在输入这一模块之后，先通过深度图网络模型进行逻辑图数据的更新，将图中自身节点的信息传递到连接的节点，然后经过一层全连接层，构成逻辑图数据的一次更新，输出第一维度的特征向量，再经过一次逻辑图数据的更新，输出第二维度的特征向量，然后将最后得到的向量传入下一层中，其中，逻辑图数据在每次更新后都经过一次激活函数层，

所述深度图网络模型进行逻辑图数据的更新过程表示为：

式中，l表示这是第l次更新，

是逻辑图上的每个节点都加上一条指向自己的边之后形成的邻接矩阵，即

表示每个节点的度，即

W^(l)是一层待训练的权重矩阵，即图像节点信息传递模块的全连接层，X^(l)表示第l次更新后的特征向量，X⁽⁰⁾＝X，σ表示激活函数层，

所述全局综合分级模块由一层Batch Normalization层、全连接层和softmax层组成，其中所述第二特征信息通过所述Batch Normalization层之后进入所述全连接层中，由该全连接层输出糖尿病视网膜病变等级的种类数。

2.根据权利要求1所述的基于深度图网络的糖尿病视网膜病变分级方法，其特征在于：

其中，所述糖尿病视网膜病变分级模型通过如下步骤训练得到：

步骤T1，构建初始视网膜分级模型；

步骤T2，将包含多组眼底图像逻辑图的训练集依次输入所述初始视网膜分级模型并进行迭代；

步骤T3，采用最后一层的模型参数分别计算出损失误差并将计算得到的损失误差反向传播从而更新模型参数；

步骤T4，重复步骤T2至步骤T3直至达到训练完成条件从而得到所述糖尿病视网膜病变分级模型。

3.根据权利要求1所述的基于深度图网络的糖尿病视网膜病变分级方法，其特征在于：

其中，所述步骤S1包括如下子步骤：

步骤S1-1，对所述待测眼底图像进行图像质量检测并筛选出质量合格的图像作为质量合格图像；

步骤S1-2，对所述质量合格图像进行左右眼分类识别从而得到已分类图像；

步骤S1-3，对所述已分类图像中无效信息进行裁剪并将眼睛移动至图像中心，同时对图像进行分辨率归一化形成所述预处理眼底图像。

4.根据权利要求1所述的基于深度图网络的糖尿病视网膜病变分级方法，其特征在于：

其中，所述图像特征提取模块包含stem块、Inception-resnet-A块、Reduction-A块、Inception-resnet-B块、Reduction-B块、Inception-resnet-C块、Average Pooling层和Dropout层，

所述图像节点信息传递模块包含两个全连接层和两个激活函数层，

所述全局综合分级模块包含Batch Normalization层、全连接层和softmax层。

Images