CN115641286A - 糖尿病视网膜病变的特征分类方法、系统、设备及介质 - Google Patents

Abstract

本发明公开了一种糖尿病视网膜病变的特征分类方法、系统、设备及介质，其中方法包括：获取糖尿病视网膜的病变图像；将病变图像分别输入至预设的通道注意力网络和预设的空间注意力网络中，得到通道注意力网络输出的第一特征图和空间注意力网络输出的第二特征图；融合第一特征图和第二特征图，得到第三特征图；将第三特征图输入至胶囊网络，得到胶囊网络的输出结果；将输出结果输入至预设的分类器中，得到分类器输出的病变图像的分类结果。能够提高对糖尿病视网膜的病变图像分类的准确度和分类效率，能够更好地应对糖尿病视网膜的病变图像差异大和糖尿病视网膜的病变图像数据量大所带来的问题。

Description

糖尿病视网膜病变的特征分类方法、系统、设备及介质

技术领域

本发明涉及病变图像分类技术领域，尤其是涉及一种糖尿病视网膜病变的特征分类方法、系统、设备及介质。

背景技术

糖尿病(DM)是一种由体内高血糖水平引起的代谢紊乱的疾病。它逐渐成为全球公共卫生领域的一个重大难题，影响着全球4.63亿人，预计到2045年这一数字将上升到7亿。至少三分之一的糖尿病患者还患有与糖尿病有关的眼病，其中糖尿病视网膜病变(DR)是最常见的一种。糖尿病视网膜病变随着慢性糖尿病的发展，会对视网膜产生不同程度的破坏，是导致视力损害和失明的最常见原因之一。传统上，糖尿病视网膜病变分级是基于对彩色眼底图像中呈现的不同结构特征的综合评估而确定，例如微动脉瘤、渗出物、出血和新生血管的存在。因此，在早期治疗糖尿病视网膜病变研究的基础上，提出了无明显视网膜病变、轻度非增殖性、中度、重度和增殖性视网膜病变5种严重程度分级标准。

现阶段，常使用深度学习对视网膜病变的严重程度进行自动分类，然而在多模态数据集难以获取的情况下，使用单一模态的数据集，仅仅依靠深度神经网络提取的高级特征并不能很好的识别或区分糖尿病视网膜病变的病灶特征，这导致现阶段的自动分类方案存在着分类精度不高的问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种糖尿病视网膜病变的特征分类方法、系统、设备及介质，能够增强糖尿病视网膜病变的特征分类在通道注意力和空间注意力上的表现，提高糖尿病视网膜病变的特征分类的精确性和鲁棒性。

第一方面，本发明的实施例提供了一种糖尿病视网膜病变的特征分类方法，包括：

获取糖尿病视网膜的病变图像；

将所述病变图像分别输入至预设的通道注意力网络和预设的空间注意力网络中，得到所述通道注意力网络输出的第一特征图和所述空间注意力网络输出的第二特征图；其中，所述通道注意力网络包括N个通道注意力模块，所述空间注意力网络包括N个空间注意力模块，第n个所述通道注意力模块的输出与第n个所述空间注意力模块的输出融合后作为第n+1个所述通道注意力模块的输入，第 n个所述空间注意力模块的输出作为第n+1个所述空间注意力模块的输入；n是 1至N-1中的正整数；

融合所述第一特征图和所述第二特征图，得到第三特征图；

将所述第三特征图输入至胶囊网络，得到所述胶囊网络的输出结果；

将所述输出结果输入至预设的分类器中，得到所述分类器输出的所述病变图像的分类结果。

根据本发明实施例的控制方法，至少具有如下有益效果：

本方法一方面将病变图像输入通道注意力网络，得到第一特征图，通过通道注意力网络能够为每个不同的通道分配不同的权重，使后续进行分类时快速判断通道的重要性，提高分类的准确性和时效性；另外一方面将病变图像输入空间注意力网络，得到第二特征图，使得对特征的空间定位更加精确，提高了后续分类时的定位速度和定位效果；而且通道注意力网络包括N个通道注意力模块，空间注意力网络包括N个空间注意力模块，第n个通道注意力模块的输出与第n个空间注意力模块的输出融合后作为第n+1个通道注意力模块的输入，第n个空间注意力模块的输出作为第n+1个空间注意力模块的输入，这样设置能够加强通道注意力权重的分配和空间注意力权重的分配，并为后续的第一特征图和第二特征图融合提供融合基础；将第一特征图和第二特征图融合，得到第三特征图，第三特征图保存了病变图像在空间上的注意力信息和通道的注意力信息，有效地关联了通道的注意力权重和空间的注意力权重，融合产生的特征图进行分类时抗干扰性更强，误判率更低；将第三特征图输入至胶囊网络，胶囊网络能够在不丢失任何信息的情况下检索空间信息以及更重要的特征，与融合了通道的注意力权重和空间的注意力权重的第三特征图适配，能够提高分类的准确度，也提高了分类效率。

根据本发明的一些实施例，在所述获取糖尿病视网膜的病变图像之后，所述方法还包括：

对所述病变图像进行去除边框、图像增强、数据增强和数据平衡。

根据本发明的一些实施例，所述通道注意力网络中的第n个所述通道注意力模块通过以下方式得到输出的特征：

接收第n-1个所述通道注意力模块的输出与第n-1个所述空间注意力模块的输出融合的第一初始特征；

对所述第一初始特征进行全局平均池化，得到每个通道的通道特征；其中，所述全局平均池化包括：

p＝gap(F_n)，p∈R^Cn，F_n∈R^Cn×Hn×Wn

其中，p表示通道特征，F_n表示第n个所述通道注意力模块输出的特征， gap()表示全局平均池化，R表示病变图像，Cn表示第n个所述通道注意力模块输出的特征的通道序数，H和W分别表示病变图像的长和宽；

将所述通道特征输入一维卷积，并通过sigmoid函数激活得到激活特征：

q＝sigmoid(Conv1d(p))，q∈R^Cn

其中，k表示一维卷积的卷积核大小，β和γ表示预设的参数，q表示激活特征，Conv1d()表示卷积函数，sigmoid()表示激活函数；

根据所述激活特征得到全局通道评估系数：

其中，t表示全局通道评估系数，w₀表示0维权重参数，w_i表示一维权重参数，V_i表示二维权重参数，x_i和x_j表示激活特征q中的值；

通过所述全局通道评估系数和所述激活特征得到通道注意力图：

r＝q×t

其中，r表示通道注意力图；

将所述通道注意力图与所述第一初始特征相乘，得到输出的特征。

根据本发明的一些实施例，所述空间注意力网络中的第n个所述空间注意力模块通过以下方式得到输出的特征：

接收第n-1个所述空间注意力模块输出的第二初始特征；

将所述第二初始特征进行平均池化和最大池化得到空间信息；

将所述空间信息分别输入三个卷积，得到三个张量；

根据所述三个张量，计算得到输出的特征：

S_n'＝SA(I_max-mean)＝softmax(F_qF_k ^T)F_v+F_v，S_n'∈R^Cn×Hn×Wn

其中，S_n'表示第n个所述空间注意力模块输出的特征，SA表示自注意力， I_max-mean表示空间信息，F_q表示注意力机制中的query值，F_v表示注意力机制中的value值，F_k表示注意力机制中的key值，softmax()表示激活函数。

根据本发明的一些实施例，通过如下方式融合所述第一特征图和所述第二特征图：

其中，F_n'表示第n个所述通道注意力模块输出的特征，

表示矩阵加法，F_m表示第三特征图。

根据本发明的一些实施例，所述胶囊网络包括依次连接的卷积层、基础胶囊网络和路由胶囊网络，所述卷积层的输出作为所述基础胶囊网络的输入，所述基础胶囊网络的输出作为所述路由胶囊网络的输入。

根据本发明的一些实施例，所述胶囊网络通过如下方式计算得到输出结果的公式包括：

F₁＝Cap(ReLU(BN(Conv1(F_m))))

其中，F₁表示胶囊网络的输出结果，Cap表示胶囊网络，ReLU表示激活函数，BN表示批归一化处理，Conv1表示卷积运算。

第二方面，本发明的实施例提供了一种糖尿病视网膜病变的特征分类系统，包括：

图像获取模块，用于获取糖尿病视网膜的病变图像；

特征图获取模块，用于将所述病变图像分别输入至预设的通道注意力网络和预设的空间注意力网络中，得到所述通道注意力网络输出的第一特征图和所述空间注意力网络输出的第二特征图；其中，所述通道注意力网络包括N个通道注意力模块，所述空间注意力网络包括N个空间注意力模块，第n个所述通道注意力模块的输出与第n个所述空间注意力模块的输出融合后作为第n+1个所述通道注意力模块的输入，第n个所述空间注意力模块的输出作为第n+1个所述空间注意力模块的输入；n是1至N-1中的正整数；

特征图融合模块，用于融合所述第一特征图和所述第二特征图，得到第三特征图；

胶囊网络模块，用于将所述第三特征图输入至胶囊网络，得到所述胶囊网络的输出结果；

分类结果输出模块，用于将所述输出结果输入至预设的分类器中，得到所述分类器输出的所述病变图像的分类结果。

第三方面，本发明的实施例提供了一种电子设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如第一方面所述的糖尿病视网膜病变的特征分类方法。

第四方面，本发明的实施例提供了一种计算机存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面所述的糖尿病视网膜病变的特征分类方法。

需要注意的是，本发明的第二方面至第四方面与现有技术之间的有益效果与第一方面的糖尿病视网膜病变的特征分类方法的有益效果相同，此处不再细述。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一实施例提供的一种糖尿病视网膜病变的特征分类方法的流程图；

图2是本发明一实施例提供的对图像进行预处理的方法的流程图；

图3是本发明一实施例提供的通道注意力模块得到输出的特征的方法的流程图；

图4是本发明一实施例提供的空间注意力模块得到输出的特征的方法的流程图；

图5是本发明一实施例提供的一种糖尿病视网膜病变的特征分类系统的结构图；

图6是本发明一实施例提供的一种电子设备的结构图；

图7是本发明一实施例提供的通道注意力模块的示意图；

图8是本发明一实施例提供的空间注意力模块的示意图；

图9是本发明一实施例提供的一种糖尿病视网膜病变的特征分类方法的示意图；

图10是本发明一实施例提供的胶囊网络的示意图。

图11是本发明一实施例提供的得到全局通道评估系数的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

本发明的描述中，需要说明的是，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

参照图1，在本发明的一些实施例中，提供了一种糖尿病视网膜病变的特征分类方法，包括：

步骤S100、获取糖尿病视网膜的病变图像。

步骤S200、将病变图像分别输入至预设的通道注意力网络和预设的空间注意力网络中，得到通道注意力网络输出的第一特征图和空间注意力网络输出的第二特征图；其中，通道注意力网络包括N个通道注意力模块，空间注意力网络包括N个空间注意力模块，第n个通道注意力模块的输出与第n个空间注意力模块的输出融合后作为第n+1个通道注意力模块的输入，第n个空间注意力模块的输出作为第n+1个空间注意力模块的输入；n是1至N-1中的正整数。

步骤S300、融合第一特征图和第二特征图，得到第三特征图。

步骤S400、将第三特征图输入至胶囊网络，得到胶囊网络的输出结果。

步骤S500、将输出结果输入至预设的分类器中，得到分类器输出的病变图像的分类结果。

在本方法实施例的步骤S200中，首先，将病变图像输入通道注意力网络，得到第一特征图，能够为每个不同的通道分配不同的权重，使后续进行分类时快速判断通道的重要性，提高分类的准确性和时效性；然后，将病变图像输入空间注意力网络，得到第二特征图，使得对特征的空间定位更加精确，提高了后续分类时的定位速度和定位效果；其次，通道注意力网络包括N个通道注意力模块，空间注意力网络包括N个空间注意力模块，第n个通道注意力模块的输出与第n 个空间注意力模块的输出融合后作为第n+1个通道注意力模块的输入，第n个空间注意力模块的输出作为第n+1个空间注意力模块的输入，能够加强通道注意力权重的分配和空间注意力权重的分配，并为后续的第一特征图和第二特征图融合提供融合基础；在本方法实施例的步骤S300中，将第一特征图和第二特征图融合，得到第三特征图，第三特征图保存了病变图像在空间上的注意力信息和通道的注意力信息，有效地关联了通道的注意力权重和空间的注意力权重，融合产生的特征图进行分类时抗干扰性更强，误判率更低；在本方法实施例的步骤S400 中，将第三特征图输入至胶囊网络，胶囊网络能够在不丢失任何信息的情况下检索空间信息以及更重要的特征，与融合了通道的注意力权重和空间的注意力权重的第三特征图适配，能够提高分类的准确度，也提高了分类效率。

参照图2，在本发明的一些实施例中，在获取糖尿病视网膜的病变图像之后，方法还包括：

步骤S110、对病变图像进行去除边框、图像增强、数据增强和数据平衡。

以下进行具体介绍：

去除黑边：病变图像为224×224的图片且带有边框，首先对病变图像去除边框，减少无关背景因素的干扰。

图像增强：消除了病变图像的某些第三级信息，以提高病变图像的分类质量。对比度受限自适应直方图均衡算法(CLAHE)在外观上更加自然，有助于消除直方图均衡化家族中的噪声放大，因此选择CLAHE算法进行图像增强。

CLAHE算法的第一阶段是利用直方图的二值化进行图像变换。此后，使用裁剪边界将对比度限制为从0到1的二进制计数。在处理图像段之前，将剪辑边界添加到图像。为了避免将背景区域映射到灰度，应用直方图区域的特定bin值来生成整个图像区域。为了实现更好的映射，在直方图裁剪的帮助下应用了裁剪边界。最后，通过计算图像的区域来生成最终的CLAHE图像，然后提取、映射和内插所有图像像素，以达到从图像中获得最优效率的目的。

数据增强：选取高斯滤波方法对病变图像数据进行增强，提高图像的清晰度。高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。高斯滤波的卷积核权重并不相同，中间像素权重最高，越远离中心的像素权重越小。其原理是一个2维高斯函数。高斯滤波相比均值滤波效率要慢，但可以有效消除高斯噪声，能保留更多的图像细节。

数据平衡：不同类别的DR图像数量差异很大，因此对为负样本的病变图像进行数据平衡处理，旋转(90度，180度，270度)，水平和垂直翻转，在病变图像的四角和中心进行裁剪，解决病变图像的数据不平衡的问题。

通过数据预处理，统一了输入图像标准，提高了面对大数据量的糖尿病视网膜的病变图像时的鲁棒性，更好适应图像差异大且图像数量多的环境。

参照图3，在本发明的一些实施例中，通道注意力网络中的第n个通道注意力模块通过以下方式得到输出的特征：

步骤S211、接收第n-1个所述通道注意力模块的输出与第n-1个所述空间注意力模块的输出融合的第一初始特征；

步骤S212、对第一初始特征进行全局平均池化，得到每个通道的通道特征；其中，全局平均池化包括：

p＝gap(F_n)，p∈R^Cn，F_n∈R^Cn×Hn×Wn

其中，p表示通道特征，F_n表示第n个通道注意力模块输出的特征，gap() 表示全局平均池化，R表示病变图像，Cn表示第n个通道注意力模块输出的特征的通道序数，H和W分别表示病变图像的长和宽；

步骤S213、将通道特征输入一维卷积，并通过sigmoid函数激活得到激活特征：

q＝sigmoid(Conv1d(p))，q∈R^Cn

其中，k表示一维卷积的卷积核大小，β和γ表示预设的参数，q表示激活特征，Conv1d()表示卷积函数，sigmoid()表示激活函数；

步骤S214、根据激活特征得到全局通道评估系数：

其中，t表示全局通道评估系数，w₀表示0维权重参数，w_i表示0维权重参数，V_i表示0维权重参数，x_i和x_j表示激活特征q中的值；

步骤S215、通过全局通道评估系数和激活特征得到通道注意力图：

r＝q×t

其中，r表示通道注意力图；

步骤S216、将通道注意力图与第一初始特征相乘，得到输出的特征。

通过全局平均池化，使得对通道的注意力更加集中，通过一维卷积以及 sigmoid函数的激活，能够使通道注意力的权重更好分配，得到的通道注意力图更精确，权重分配更合理。

参照图4，在本发明的一些实施例中，空间注意力网络中的第n个空间注意力模块通过以下方式得到输出的特征：

步骤S221、接收第n-1个空间注意力模块输出的第二初始特征；

步骤S222、将第二初始特征进行平均池化和最大池化得到空间信息；

步骤S223、将空间信息分别输入三个卷积，得到三个张量；

步骤S224、根据三个张量，计算得到输出的特征：

S_n'＝SA(I_max-mean)＝softmax(F_qF_k ^T)F_v+F_v，S_n'∈R^Cn×Hn×Wn

其中，S_n'表示第n个空间注意力模块输出的特征，SA表示自注意力，I_max-mean表示空间信息，F_q表示注意力机制中的query值，F_v表示注意力机制中的value 值，F_k表示注意力机制中的key值，softmax()表示激活函数。

通过平均池化和最大池化得到空间信息，使空间信息得到更好的保存，通过空间信息分别输入三个卷积得到注意力机制中的query值、value值和key值，通过三个张量能够为特征更好地分配空间注意力权重。

在本发明的一些实施例中，通过如下方式融合第一特征图和第二特征图：

其中，F_n'表示第n个通道注意力模块输出的特征，

表示矩阵加法，F_m表示第三特征图。

融合第一特征图和第二特征图，得到第三特征图，第三特征图保存了病变图像在空间上的注意力信息和通道的注意力信息，有效地关联了通道的注意力权重和空间的注意力权重，融合产生的特征图进行分类时抗干扰性更强，误判率更低。

在本发明的一些实施例中，胶囊网络包括依次连接的卷积层、基础胶囊网络和路由胶囊网络，卷积层的输出作为基础胶囊网络的输入，基础胶囊网络的输出作为路由胶囊网络的输入。

选取依次连接的卷积层、基础胶囊网络和路由胶囊网络作为胶囊网络的基础架构，能够在不丢失任何信息的情况下检索空间信息以及更重要的特征，适配于同时具有通道注意力权重和空间注意力权重的第三特征图，能够提高分类的效率和分类的准确度。

在本发明的一些实施例中，胶囊网络通过如下方式计算得到输出结果的公式包括：

F₁＝Cap(ReLU(BN(Conv1(F_m))))

其中，F₁表示胶囊网络的输出结果，Cap表示胶囊网络，ReLU表示激活函数，BN表示批归一化处理，Conv1表示卷积运算。

胶囊网络的输出结果作为分类器的输入，减小了分类器的运算复杂度，减轻了运算负担。

参照图7，为了方便本领域技术人员理解，本发明的一个具体实施例，提供一种糖尿病视网膜病变的特征分类方法,包括如下步骤：

第一步、对糖尿病视网膜的病变图像进行预处理：

去除黑边：病变图像为224×224的图片且带有边框，首先对病变图像去除边框，减少无关背景因素的干扰。

图像增强：消除了病变图像的某些第三级信息，以提高病变图像的分类质量。对比度受限自适应直方图均衡算法(CLAHE)在外观上更加自然，有助于消除直方图均衡化家族中的噪声放大，因此选择CLAHE算法进行图像增强。

CLAHE算法的第一阶段是利用直方图的二值化进行图像变换。此后，使用裁剪边界将对比度限制为从0到1的二进制计数。在处理图像段之前，将剪辑边界添加到图像。为了避免将背景区域映射到灰度，应用直方图区域的特定bin值来生成整个图像区域。为了实现更好的映射，在直方图裁剪的帮助下应用了裁剪边界。最后，通过计算图像的区域来生成最终的CLAHE图像，然后提取、映射和内插所有图像像素，以达到从图像中获得最优效率的目的。

数据增强：选取高斯滤波方法对病变图像数据进行增强，提高图像的清晰度。高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。高斯滤波的卷积核权重并不相同，中间像素权重最高，越远离中心的像素权重越小。其原理是一个2维高斯函数。高斯滤波相比均值滤波效率要慢，但可以有效消除高斯噪声，能保留更多的图像细节。

数据平衡：不同类别的DR图像数量差异很大，因此对为负样本的病变图像进行数据平衡处理，旋转(90度，180度，270度)，水平和垂直翻转，在病变图像的四角和中心进行裁剪，解决病变图像的数据不平衡的问题。

第二步、将预处理后的病变图像分别输入至预设的通道注意力网络和预设的空间注意力网络中：

通道注意力网络包括N个通道注意力模块，空间注意力网络包括N个空间注意力模块，第n个通道注意力模块的输出与第n个空间注意力模块的输出融合后作为第n+1个通道注意力模块的输入，第n个空间注意力模块的输出作为第n+1 个空间注意力模块的输入；n是1至N-1中的正整数；

参照图8和图11，通道注意力网络中的第n个通道注意力模块通过以下方式得到输出的特征：

接收第n-1个所述通道注意力模块的输出与第n-1个所述空间注意力模块的输出融合的第一初始特征；

对第一初始特征进行全局平均池化，得到每个通道的通道特征；其中，全局平均池化包括：

p＝gap(F_n)，p∈R^Cn，F_n∈R^Cn×Hn×Wn

其中，p表示通道特征，F_n表示第n个通道注意力模块输出的特征，gap() 表示全局平均池化，R表示病变图像，Cn表示第n个通道注意力模块输出的特征的通道序数，H和W分别表示病变图像的长和宽；

将通道特征输入一维卷积，并通过sigmoid函数激活得到激活特征：

q＝sigmoid(Conv1d(p))，q∈R^Cn

其中，k表示一维卷积的卷积核大小，β和γ表示预设的参数，q表示激活特征，Conv1d()表示卷积函数，sigmoid()表示激活函数；

根据激活特征得到全局通道评估系数：

其中，t表示全局通道评估系数；

通过全局通道评估系数和激活特征得到通道注意力图：

r＝q×t

其中，r表示通道注意力图；

将通道注意力图与第一初始特征相乘，得到输出的特征(最后一个通道注意力模块的输出的特征为第一特征图)。

参照图9，空间注意力网络中的第n个空间注意力模块通过以下方式得到输出的特征：

接收第n-1个空间注意力模块输出的第二初始特征；

将第二初始特征进行平均池化和最大池化得到空间信息；

将空间信息分别输入三个卷积，得到三个张量；

根据三个张量，计算得到输出的特征(最后一个空间注意力模块的输出的特征为第二特征图)：

S_n'＝SA(I_max-mean)＝softmax(F_qF_k ^T)F_v+F_v，S_n'∈R^Cn×Hn×Wn

其中，S_n'表示第n个空间注意力模块输出的特征，SA表示自注意力，I_max-mean表示空间信息，F_q表示注意力机制中的query值，F_v表示注意力机制中的value 值，F_k表示注意力机制中的key值，softmax()表示激活函数。

第三步、融合第一特征图和第二特征图，得到第三特征图：

其中，F_n'表示第n个通道注意力模块输出的特征，

表示矩阵加法，F_m表示第三特征图。

第四步、将第三特征图输入至胶囊网络，得到胶囊网络的输出结果：

F₁＝Cap(ReLU(BN(Conv1(F_m))))

其中，F₁表示胶囊网络的输出结果，Cap表示胶囊网络，ReLU表示激活函数，BN表示批归一化处理，Conv1表示卷积运算。

参照图10，胶囊网络包括依次连接的卷积层、基础胶囊网络和路由胶囊网络，卷积层的输出作为基础胶囊网络的输入，基础胶囊网络的输出作为路由胶囊网络的输入。

胶囊网络的算法表如表1所示：

表1

胶囊网络的结构信息如表2所示：

表2

第五步、将输出结果输入至预设的分类器中，得到分类器输出的病变图像的分类结果。

参照图5，本发明的一个实施例，还提供了一种糖尿病视网膜病变的特征分类系统1000，包括图像获取模块1001、特征图获取模块1002、特征图融合模块 1003、胶囊网络模块1004和分类结果输出模块1005，其中：

图像获取模块1001，用于获取糖尿病视网膜的病变图像。

特征图获取模块1002，用于将病变图像分别输入至预设的通道注意力网络和预设的空间注意力网络中，得到通道注意力网络输出的第一特征图和空间注意力网络输出的第二特征图；其中，通道注意力网络包括N个通道注意力模块，空间注意力网络包括N个空间注意力模块，第n个通道注意力模块的输出与第n个空间注意力模块的输出融合后作为第n+1个通道注意力模块的输入，第n个空间注意力模块的输出作为第n+1个空间注意力模块的输入；n是1至N-1中的正整数。

特征图融合模块1003，用于融合第一特征图和第二特征图，得到第三特征图。

胶囊网络模块1004，用于将第三特征图输入至胶囊网络，得到胶囊网络的输出结果。

分类结果输出模块1005，用于将输出结果输入至预设的分类器中，得到分类器输出的病变图像的分类结果。

需要说明的是，由于本实施例中的一种糖尿病视网膜病变的特征分类系统与上述的一种糖尿病视网膜病变的特征分类方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本装置实施例，此处不再详述。

参考图6，本发明的另一个实施例，还提供了一种电子设备，该电子设备6000 可以是任意类型的智能终端，例如手机、平板电脑、个人计算机等。

具体的，电子设备6000包括：一个或多个控制处理器6001和存储器6002，图6中以一个控制处理器6001与一个存储器6002为例，控制处理器6001和存储器6002可以通过总线或者其他方式连接，图6中以通过总线连接为例。

存储器6002作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的一种电子设备对应的程序指令/模块；

控制处理器6001通过运行存储在存储器6002中的非暂态软件程序、指令以及模块，从而执行一种糖尿病视网膜病变的特征分类方法的各种功能应用以及数据处理，即实现上述方法实施例的一种糖尿病视网膜病变的特征分类方法。

存储器6002可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储一种糖尿病视网膜病变的特征分类方法的使用所创建的数据等。此外，存储器6002可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器6002可选包括相对于控制处理器6001远程设置的存储器，这些远程存储器可以通过网络连接至该电子设备6000。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

在一个或者多个模块存储在存储器6002中，当被该一个或者多个控制处理器6001执行时，执行上述方法实施例中的一种糖尿病视网膜病变的特征分类方法，例如执行以上描述的图1至图4的方法步骤。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

需要说明的是，由于本实施例中的一种电子设备与上述的一种糖尿病视网膜病变的特征分类方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本装置实施例，此处不再详述。

本发明的一个实施例，还提供一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行：如上述实施例的糖尿病视网膜病变的特征分类方法。

需要说明的是，由于本实施例中的一种计算机可读存储介质与上述的一种糖尿病视网膜病变的特征分类方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本装置实施例，此处不再详述。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储数据(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的数据并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何数据递送介质。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种糖尿病视网膜病变的特征分类方法，其特征在于，所述方法包括：

获取糖尿病视网膜的病变图像；

将所述病变图像分别输入至预设的通道注意力网络和预设的空间注意力网络中，得到所述通道注意力网络输出的第一特征图和所述空间注意力网络输出的第二特征图；其中，所述通道注意力网络包括N个通道注意力模块，所述空间注意力网络包括N个空间注意力模块，第n个所述通道注意力模块的输出与第n个所述空间注意力模块的输出融合后作为第n+1个所述通道注意力模块的输入，第n个所述空间注意力模块的输出作为第n+1个所述空间注意力模块的输入；n是1至N-1中的正整数；

融合所述第一特征图和所述第二特征图，得到第三特征图；

将所述第三特征图输入至胶囊网络，得到所述胶囊网络的输出结果；

将所述输出结果输入至预设的分类器中，得到所述分类器输出的所述病变图像的分类结果。

2.根据权利要求1所述的糖尿病视网膜病变的特征分类方法，其特征在于，在所述获取糖尿病视网膜的病变图像之后，所述方法还包括：

对所述病变图像进行去除边框、图像增强、数据增强和数据平衡。

3.根据权利要求1或2所述的糖尿病视网膜病变的特征分类方法，其特征在于，所述通道注意力网络中的第n个所述通道注意力模块通过以下方式得到输出的特征：

接收第n-1个所述通道注意力模块的输出与第n-1个所述空间注意力模块的输出融合的第一初始特征；

对所述第一初始特征进行全局平均池化，得到每个通道的通道特征；其中，所述全局平均池化包括：

p＝gap(F_n)，p∈R^Cn，F_n∈R^Cn×Hn×Wn

其中，p表示通道特征，F_n表示第n个所述通道注意力模块输出的特征，gap()表示全局平均池化，R表示病变图像，Cn表示第n个所述通道注意力模块输出的特征的通道序数，H和W分别表示病变图像的长和宽；

将所述通道特征输入一维卷积，并通过sigmoid函数激活得到激活特征：

q＝sigmoid(Conv1d(p))，q∈R^Cn

其中，k表示一维卷积的卷积核大小，β和γ表示预设的参数，q表示激活特征，Conv1d()表示卷积函数，sigmoid()表示激活函数；

根据所述激活特征得到全局通道评估系数：

其中，t表示全局通道评估系数；

通过所述全局通道评估系数和所述激活特征得到通道注意力图：

r＝q×t

其中，r表示通道注意力图，w₀表示0维权重参数，w_i表示一维权重参数，V_i表示二维权重参数，x_i和x_j表示激活特征q中的值；

将所述通道注意力图与所述第一初始特征相乘，得到输出的特征。

4.根据权利要求3所述的糖尿病视网膜病变的特征分类方法，其特征在于，所述空间注意力网络中的第n个所述空间注意力模块通过以下方式得到输出的特征：

接收第n-1个所述空间注意力模块输出的第二初始特征；

将所述第二初始特征进行平均池化和最大池化得到空间信息；

将所述空间信息分别输入三个卷积，得到三个张量；

根据所述三个张量，计算得到输出的特征：

S_n'＝SA(I_max-mean)＝softmax(F_qF_k ^T)F_v+F_v，S_n'∈R^Cn×Hn×Wn

其中，S_n'表示第n个所述空间注意力模块输出的特征，SA表示自注意力，I_max-mean表示空间信息，F_q表示注意力机制中的query值，F_v表示注意力机制中的value值，F_k表示注意力机制中的key值，softmax()表示激活函数。

5.根据权利要求4所述的糖尿病视网膜病变的特征分类方法，其特征在于，通过如下方式融合所述第一特征图和所述第二特征图：

F_m＝S_n'⊕F_n'，F_m∈R^Cm×Hm×Wm

其中，F_n'表示第n个所述通道注意力模块输出的特征，⊕表示矩阵加法，F_m表示第三特征图。

6.根据权利要求5所述的糖尿病视网膜病变的特征分类方法，其特征在于，所述胶囊网络包括依次连接的卷积层、基础胶囊网络和路由胶囊网络，所述卷积层的输出作为所述基础胶囊网络的输入，所述基础胶囊网络的输出作为所述路由胶囊网络的输入。

7.根据权利要求5或6所述的糖尿病视网膜病变的特征分类方法，其特征在于，所述胶囊网络通过如下方式计算得到输出结果的公式包括：

F₁＝Cap(ReLU(BN(Conv1(F_m))))

其中，F₁表示胶囊网络的输出结果，Cap表示胶囊网络，ReLU表示激活函数，BN表示批归一化处理，Conv1表示卷积运算。

8.一种糖尿病视网膜病变的特征分类系统，其特征在于，包括：

图像获取模块，用于获取糖尿病视网膜的病变图像；

特征图获取模块，用于将所述病变图像分别输入至预设的通道注意力网络和预设的空间注意力网络中，得到所述通道注意力网络输出的第一特征图和所述空间注意力网络输出的第二特征图；其中，所述通道注意力网络包括N个通道注意力模块，所述空间注意力网络包括N个空间注意力模块，第n个所述通道注意力模块的输出与第n个所述空间注意力模块的输出融合后作为第n+1个所述通道注意力模块的输入，第n个所述空间注意力模块的输出作为第n+1个所述空间注意力模块的输入；n是1至N-1中的正整数；

特征图融合模块，用于融合所述第一特征图和所述第二特征图，得到第三特征图；

胶囊网络模块，用于将所述第三特征图输入至胶囊网络，得到所述胶囊网络的输出结果；

分类结果输出模块，用于将所述输出结果输入至预设的分类器中，得到所述分类器输出的所述病变图像的分类结果。

9.一种电子设备，其特征在于：包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至7任一项所述的糖尿病视网膜病变的特征分类方法。

10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的糖尿病视网膜病变的特征分类方法。

Images