CN110211685B - 基于完全关注机制的糖网筛查网络结构模型 - Google Patents

Abstract

本发明实施例涉及一种基于完全关注机制的糖网筛查网络结构模型。其中，该模型包括：池化层、注意力映射层、全局池化层以及全连接层，其中：卷积层，用于对输入的眼底图像进行图像特征提取，输出眼底图像的图像特征；池化层，用于对图像特征进行池化；注意力映射层，用于对经过池化的图像特征进行映射分类，得到多个分类特征；全局池化层，对多个分类特征进行全局池化，以对多数多个分类特征进行筛选；全连接层，用于经过全局池化的分类特征进行特征融合，得到分类结果。本发明解决了由于相关技术中难以对眼底图像进行细微的分类，造成的眼底图像分类结果不准确的技术问题。

Description

基于完全关注机制的糖网筛查网络结构模型

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于完全关注机制的糖网筛查网络结构模型。

背景技术

糖网是一种由糖尿病导致的眼睛致盲的疾病。现在糖网已经成为主要的致盲原因。在糖网的早期，可以通过眼底检测到一些早期迹象，并能够通过去医院治疗来有效预防或放缓病人的致盲。但是，这样的眼底筛查需要丰富眼底阅片经验的眼底医生，培养的过程需要较长的周期，跟大量需要进行眼底检测的人不能有效的对应起来。这就导致病人到医院就医的时候，往往已经很严重了，而不能有效的治疗。因此，通过计算机实现对于糖网的分期是一项非常有意义的工作。

近些年来，深度学习在计算机视觉领域发展迅速。Cnn从1989年提出，到2012年alexnet以绝对优势赢得imagenet图像分类的冠军，之后成为主要的图像分类的方法，并衍生出各种不同的卷积神经网络的变种，成为图像分类的主流方法。在2012年以后的图像分类领域，深度学习一直都是处于霸主地位，vgg，google-net，inception-net，resnet，desenet，senet，各种分类网络模型不断涌现，效果也越来越好。深度学习，长期以来都被当成是是一个黑匣子，人们对于其中的判断依据一直都持怀疑态度。

而对于眼底图像这一复杂的图像识别过程中，由于实际病灶大小不一，如小的微动脉瘤，到大片的出血、硬渗以及软渗，相关技术中都难以进行细微的分类，导致底层网络噪声较大，无法准确分辨出实际的眼底病变图像。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种基于完全关注机制的糖网筛查网络结构模型，以至少解决由于相关技术中难以对眼底图像进行细微的分类，造成的眼底图像分类结果不准确的技术问题。

根据本发明实施例的一个方面，提供了一种基于完全关注机制的糖网筛查网络结构模型，包括卷积层、池化层、注意力映射层、全局池化层以及全连接层，其中：所述卷积层，用于对输入的眼底图像进行图像特征提取，输出所述眼底图像的图像特征；所述池化层，用于对所述图像特征进行池化；所述注意力映射层，用于对经过池化的图像特征进行映射分类，得到多个分类特征；所述全局池化层，对所述多个分类特征进行全局池化，以对多数多个分类特征进行筛选；所述全连接层，用于经过全局池化的分类特征进行特征融合，得到分类结果。

进一步地，所述模型包括多个所述池化层，其中：多个所述池化层与所述卷积层串联，每个所述池化层分别与所述注意力映射层、全局池化层串联；所述全连接层，分别与多个所述全局池化层连接。

进一步地，相邻的两个所述池化层通过所述卷积层连接。

进一步地，所述注意力映射层包括的卷积操作。

进一步地，所述全局池化层包括TopK池化操作或排序加权池化操作。

进一步地，所述TopK池化操作包括：对输入的分类特征的值进行排序，得到分类特征序列；根据预设特征值筛选所述分类特征序列中的分类特征。

进一步地，所述TopK池化操作的池化方式为：

其中，x_i为输入至所述注意力映射层输出的分类像特征，f_topk(x)为所述全局池化层输出的结果，θ_k为所述分类特征中第k大的值，k为正整数。

进一步地，所述排序加权池化操作包括：对输入的分类特征的值进行排序，得到分类特征序列；根据所述分类特征序列确定各个分类特征的权重值；根据各个所述权重值对分类特征进行筛选。

进一步地，所述排序加权池化操作的池化方式为：

其中，f_out(x)为所述全局池化层输出的结果，x_i为所述注意力映射层输出的图像特征，sort(x_i)为对所述分类特征排序后的结果，w_i为排序后的分类特征的权重值。

在本发明实施例中，采用在糖网筛查网络结构模型中添加注意力映射层的方式，通过注意力映射层对图像特征进行映射分类得到分类特征，然后对分类特征进行全局池化以及特征融合，得到分类结果。达到了在不大量增加计算量的情况下，提高了糖网筛查网络结构模型的准确性的目的，进而解决了由于相关技术中难以对眼底图像进行细微的分类，造成的眼底图像分类筛查结果不准确的技术问题的技术问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种可选的基于完全关注机制的糖网筛查网络结构模型的示意图；

图2是根据本发明实施例的另一种可选的基于完全关注机制的糖网筛查网络结构模型的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

实施例1

在介绍本发明实施例的技术方案之前，首先对相关技术中的糖网筛查网络结构模型进行说明，相关技术中，在对图像特征提取后，通过池化层以及全连接层对图像特征进行分类。现有的糖网筛查网络结构模型对图像的处理过程中，底层网络的噪声较大，无法准确有效地提取大小不一的病灶。

为了解决相关技术中的上述问题，根据本发明实施例，提供了一种基于完全关注机制的糖网筛查网络结构模型，如图1所示，该模型包括卷积层10、池化层20、注意力映射层30、全局池化层40以及全连接层50，其中：

1)卷积层10，用于对输入的眼底图像进行图像特征提取，输出眼底图像的图像特征；

2)池化层20，用于对图像特征进行池化；

3)注意力映射层30，用于对经过池化的图像特征进行映射分类，得到多个分类特征；

4)全局池化层40，对多个分类特征进行全局池化，以对多数多个分类特征进行筛选；

5)全连接层50，用于经过全局池化的分类特征进行特征融合，得到分类结果。

在本实施例中，通过卷积层10对输入的眼底图像进行特征提取，得到眼底图像的图像特征，将图像特征输入至池化层20；池化层20对输入的图像特征进行池化，一般是通过池化操作对图像特征进行过滤，以使图像特征数量减半；注意力映射层30则是用于对池化操作过滤后的图像特征进行映射分类，得到多个分类特征，分类特征为初步的分类检测结果。然后全局池化层40再对多个分类特征进行全局池化操作，对多个分类特征进行筛选，然后将经过全局池化的分类特征进行特征融合，得到分类结果。

需要说明的是，在本实施例中，采用在糖网筛查网络结构模型中添加注意力映射层的方式，通过注意力映射层对图像特征进行映射分类得到分类特征，然后对分类特征进行全局池化以及特征融合，得到分类结果。达到了在不大量增加计算量的情况下，提高了糖网筛查网络结构模型的准确性的目的，进而解决了由于相关技术中难以对眼底图像进行细微的分类，造成的眼底图像分类筛查结果不准确的技术问题的技术问题。

可选地，在本实施例中，模型包括多个池化层，其中：多个池化层与卷积层串联，每个池化层分别与注意力映射层、全局池化层串联；全连接层，分别与多个全局池化层连接。

具体的，如图2所示的糖网筛查网络结构模型的示意图所示，其中，该模型中包括3个池化层20，池化层20串联与卷积层10连接，相邻池化层20之间还连接有一个卷积层10，该多个池化层20将糖网筛查网络结构模型分为3个层级，由左至右分别是糖网筛查网络结构模型的高层、中层、底层，每个层级中都包含有一个注意力映射层30以及全局池化层40，最后通过全连接层50分别连接不同层级的全局池化层40。

在本实施例中，通过将attention机制(主要体现在注意映射层中)结合边缘检测的网络模型，将attention机制结合全局池化的方式实现训练。在该模型中，将每一个池化层20的特征层通过注意力映射层30以及全局池化层40提取分类特征，并当成一个弱监督的分类检测子结果来训练。最后通过短链接的形式将底层的分类特征和高层的分类特征相结合，以提高对于图像特征细微分类的效果。尤其是对于眼底图像来说，这种多层attention的机制能更好的提取大小不一的病灶，如小的微动脉瘤，以及大片的出血等。

可选地，在本实施例中，相邻的两个所述池化层通过卷积层连接。

此外，在模型的不同层级的池化层中都引入了一个注意力映射层来增加模型对图像细节信息的提取，再通过全局池化的方式把每一个注意映射层映射成为分类特征，最后将模型各个阶段的分类特征融合得到最后的分类结果。

可选地，在本实施例中，所述注意力映射层包括1×1的卷积操作。

可选地，在本实施例中，所述全局池化层包括TopK池化操作或排序加权池化操作。

可选地，在本实施例中，所述TopK池化操作包括：

对输入的分类特征值进行排序，得到分类特征序列；

根据预设特征值筛选所述分类特征序列中的分类特征。

在具体的应用场景，例如，在按照分类特征值的大小对输入的分类特征排序得到分类特征序列以后，得到分类特征序列{1,3,5,7}，若预设特征值为5，则获取大于预设特征值的分类特征为{5,7}，根据分类特征{5,7}确定输出特征，

可选地，在本实施例中，所述TopK池化操作的池化方式为：

其中，x_i为输入至所述注意力映射层输出的分类像特征，f_topk(x)为所述全局池化层输出的结果，θ_k为预设特征值，一般设置为所述分类特征中第k大的值，k为正整数。这样当θ_k等于x的最小值的时候，Topk池化相当于传统方法的平均池化，当θ_k等于x的最大值的时候，Topk池化相当于传统的最大池化。通过改变θ_k的大小，挑选出适合不同情况下的池化方式。在本实施例中，默认选择的10％最大的分类特征当成是注意映射层输出的特征。

在上述例子中，在分类特征序列{1,3,5,7}中，若默认选择50％最大的分类特征当成是注意映射层输出的特征，得到分类特征{5,7}，通过上述公式可以得到全局池化层的输出为6。

可选地，在本实施例中，所述排序加权池化操作包括但不限于：对输入的分类特征的值进行排序，得到分类特征序列；根据所述分类特征序列确定各个分类特征的权重值；根据各个所述权重值对分类特征进行筛选。

可选地，在本实施例中，所述排序加权池化操作的池化方式为：

其中，f_out(x)为所述全局池化层输出的结果，x_i为所述注意力映射层输出的图像特征，sort(x_i)为对所述分类特征排序后的结果，w_i为排序后的分类特征的权重值。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个模型，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种基于完全关注机制的糖网筛查系统，其特征在于，包括卷积层、池化层、注意力映射层、全局池化层以及全连接层，其中：

所述卷积层，用于对输入的眼底图像进行图像特征提取，输出所述眼底图像的图像特征；

所述池化层，用于对所述图像特征进行池化；

所述注意力映射层，用于对经过池化的图像特征进行映射分类，得到多个分类特征；

所述全局池化层，对所述多个分类特征进行全局池化，以对多个分类特征进行筛选；

所述全连接层，用于经过全局池化的分类特征进行特征融合，得到分类结果；

所述系统包括多个所述池化层，其中：

多个所述池化层与所述卷积层串联，每个所述池化层分别与所述注意力映射层、全局池化层串联；

所述全连接层，分别与多个所述全局池化层连接；

其中，所述全局池化层包括TopK池化操作；

所述TopK池化操作包括：对输入的分类特征的值进行排序，得到分类特征序列；根据预设特征值筛选所述分类特征序列中的分类特征；

其中，所述TopK池化操作的池化方式为：

其中，x_i为输入至所述注意力映射层输出的分类像特征，f_topk(x)为所述全局池化层输出的结果，θ_k为所述预设特征值，通过改变θ_k的大小，能够选择不同的池化方式。

2.根据权利要求1所述的系统，其特征在于，相邻的两个所述池化层通过所述卷积层连接。

3.根据权利要求1或2所述的系统，其特征在于，所述注意力映射层包括1×1的卷积操作。

Images