CN110610480A - 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型 - Google Patents

基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型 Download PDF

Info

Publication number
CN110610480A
CN110610480A CN201910711320.0A CN201910711320A CN110610480A CN 110610480 A CN110610480 A CN 110610480A CN 201910711320 A CN201910711320 A CN 201910711320A CN 110610480 A CN110610480 A CN 110610480A
Authority
CN
China
Prior art keywords
convolution
unit
feature
module
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910711320.0A
Other languages
English (en)
Other versions
CN110610480B (zh
Inventor
季鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Quanyi Technology Co ltd
Original Assignee
Chengdu Shanggong Yixin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shanggong Yixin Technology Co ltd filed Critical Chengdu Shanggong Yixin Technology Co ltd
Priority to CN201910711320.0A priority Critical patent/CN110610480B/zh
Publication of CN110610480A publication Critical patent/CN110610480A/zh
Application granted granted Critical
Publication of CN110610480B publication Critical patent/CN110610480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例涉及一种基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型。其中,该模型包括:特征提取模块、注意力映射模块、多尺度空洞卷积模块以及输出模块,通过特征提取模块提取输入图像中的第一图像特征,注意力映射模块用于提取输入图像的第二图像特征,以及根据第一图像特征中的高级特征、低级特征以及第二图像特征得到第一特征,通过多尺度空洞卷积模块,对高级特征进行多次卷积得到第二特征,输出模块根据第一特征以及第二特征来得到预测概率图,能够提高图像分割网络的特征提取精度,避免相关技术中全卷积网络分割的视杯视盘精度较低的技术问题。

Description

基于Attention机制的MCASPP神经网络眼底图像视杯视盘分 割模型
技术领域
本发明涉及神经网络领域,具体涉及一种基于注意力映射 Attention机制的多尺度空洞卷积MCASPP神经网络眼底图像视杯视盘分割模型。
背景技术
视网膜眼底图像分析对于眼科医生处理眼底疾病如糖尿病视网膜病变、青光眼等,与眼底表现相关的其他疾病,如高血压、冠心病等的诊断十分重要。如果不及时诊断治疗,会有失明或更严重的危险。视杯视盘是视网膜眼底图像中最基本的组织结构之一,视杯视盘形态的变化是临床上诊断青光眼的重要依据。且在临床诊断实践中,青光眼方面的医生严重缺乏,诊断困难。因此,自动视网膜眼底图像杯盘分割对于辅助医生筛查青光眼是必要的。
近几十年来视网膜眼底图片杯盘的自动分割已引起了重大关注。现有的分割算法可以分为两类:传统分割方法和神经网络分割方法。
1.传统分割方法:使用传统方法从眼底照中分割杯盘主要用到的信息是眼底色差信息以及杯盘附近的血管弯曲信息。在早期阶段,通常依靠杯盘边缘之间的颜色强度差异,利用阈值来确定边界,并且使用椭圆拟合等方法对边界进行后处理。进一步,可结合色差信息与血管弯曲信息获得更精确的杯盘边界。基于模型的方法包括活动轮廓模型,基于水平集的几何模型和聚类算法。
2.神经网络分割方法:由于传统方法在不使用任何标签信息的情况下进行杯盘分割任务,与传统无监督方法相比,利用神经网络分割方法显示出一些优势。可以被看作是像素级别的三分类问题。每个像素属于背景、视杯或视盘。像素级分割是计算机视觉中十分重要的领域,可以被看作是一个语义分割问题。语义分割任务最初流行的深度学习方法是图像块分类,即利用像素周围的图像块对每一个像素进行独立的分类。使用图像块分类的主要原因是分类网络通常是全连接层,且要求固定尺寸的图像。加州大学伯克利分校的 Long等人提出全卷积网络(FCN),这使得卷积神经网络无需全连接层即可进行密集的像素预测,CNN从而得到普及。使用这种方法可生成任意大小的图像分割图,且该方法比图像块分类法要快上许多。之后,语义分割领域几乎所有先进方法都采用了该模型。
在如上所述的传统无监督方法中,神经网络模型通常涉及较多需要满足的附加条件,且对图像本身质量要求较高,分割出来的视杯视盘精度也较低。而对于神经网络分割方法中提到的全卷积神经网络,通过逐层提取特征的方式丢失了许多有用信息,导致模型最终学得的参数不能完全刻画杯盘的特征。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种基于注意力映射Attention机制的多尺度空洞卷积MCASPP神经网络眼底图像视杯视盘分割模型,以至少解决由于相关技术中图像识别分割精度较低,造成的图像部分信息以及图像特征丢失的技术问题。
根据本发明实施例的一个方面,提供了一种基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型,包括:特征提取模块、注意力映射模块、多尺度空洞卷积模块以及输出模块,其中:所述特征提取模块,用于提取输入图像中的第一图像特征,所述第一图像特征包括高级特征与低级特征,其中,所述高级特征的分辨率小于所述低级特征;所述注意力映射模块,用于根据所述第一图像特征以及第二图像特征得到第一特征,其中,所述第二图像特征是所述注意力映射模块对所述输入图像进行特征提取得到的;所述多尺度空洞卷积模块,用于对所述高级特征进行多次卷积操作,以及对所述多次卷积的结果进行拼接,以得到第二特征;所述输出模块,用于根据所述第一特征以及所述第二特征得到预测概率图。
进一步地,所述特征提取模块包括输入流单元、输出流单元,其中:所述输入流单元,用于提取输入图像中的所述低级特征;所述输出流单元,用于根据所述低级特征获取所述高级特征。
进一步地,所述输入流单元包括N个串联的输入流子单元,其中,N为大于1的正整数。
进一步地,所述注意力映射模块包括N个注意力映射子模块其中:所述注意力映射子模块包括图像处理单元和注意力映射单元,所述N个注意力映射子模块中的图像处理单元的压缩倍率依次递增,其中:所述图像处理单元,与所述注意力映射单元连接,用于对所述输入图像进行压缩、以及对经过压缩后的输入图像进行特征提取,得到所述第二图像特征;所述注意力映射单元,与自身连接的所述图像处理单元的压缩倍率排列顺序所对应的输入流单元连接,以及与所述输出流单元连接,其中,所述注意力映射单元用于对所述低级特征以及所述第二图像特征进行加权操作,以及,对所述加权操作的加权结果以及所述高级特征进行特征提取。
进一步地,所述注意力映射单元,包括特征处理子单元、注意力映射子单元,其中:所述特征处理子单元,与所述压缩倍率排列顺序对应的输入流单元连接,用于对所述第二图像特征以及与所述压缩倍率排列顺序对应的输入流模块的输出结果进行加权操作,得到加权结果;所述注意力映射子单元,用于对所述加权结果以及所述高级特征进行特征提取。
进一步地,所述多尺度空洞卷积模块包括多个等级依次递增的卷积单元以及拼接单元,其中:所述多个等级依次递增的卷积单元,用于对低于当前卷积单元对应的等级的卷积单元的输出结果以及所述高级特征进行合并,并对合并结果进行卷积处理;所述拼接单元,用于对所述多个等级依次递增的卷积单元的输出结果进行拼接,用于输出所述第二特征。
进一步地,所述多尺度空洞卷积模块包括M级卷积单元,M为大于1的正整数,其中:第1级卷积单元用于对所述高级特征进行卷积操作以及双线性插值,第2级卷积单元至第M级卷积单元用于进行特征提取;其中,所述第1级卷积单元至所述第M级卷积单元的空洞率依次增大。
进一步地,所述多尺度空洞卷积模块包括全局池化单元、第一卷积单元、第二卷积单元、第三卷积单元以及第四卷积单元,其中:所述全局池化单元位于所述多尺度空洞卷积模块的第1级;所述第一卷积单元位于所述多尺度空洞卷积模块的第2级,包括卷积核大小为1×1的卷积操作;所述第二卷积单元位于所述多尺度空洞卷积模块的第3级,包括空洞率为6的卷积核大小为3×3的卷积操作;所述第三卷积单元位于所述多尺度空洞卷积模块的第4级,包括空洞率为12的卷积核大小为3×3的卷积操作;所述第四卷积单元位于所述多尺度空洞卷积模块的第5级,包括空洞率为24的卷积核大小为3×3的卷积卷及操作。
进一步地,所述全局池化单元中的卷积核的大小与所述全局池化单元进行卷积操作的特征图大小相同。
进一步地,所述输出模块具体用于:对所述第一特征进行卷积操作,得到卷积结果;对所述第二特征进行上采样操作,得到采样结果;对所述卷积结果以及所述采样结果进行合并,得到合并结果;对所述合并结果依次进行卷积操作以及上采样操作,得到所述预测概率图。
在本发明实施例中,采用MCASPP神经网络眼底图像视杯视盘分割模型,通过特征提取模块提取输入图像中的第一图像特征,注意力映射模块用于根据第一图像特征中的高级特征、低级特征以及第二图像特征得到第一特征,通过多尺度空洞卷积模块,对高级特征进行多次卷积得到第二特征,输出模块根据第一特征以及第二特征来得到预测概率图,能够提高图像分割网络的特征提取精度,避免相关技术中全卷积网络分割的视杯视盘精度较低的技术问题。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种可选的基于Attention机制的 MCASPP神经网络眼底图像视杯视盘分割模型的示意图;
图2是根据本发明实施例的又一种可选的基于Attention机制的 MCASPP神经网络眼底图像视杯视盘分割模型的示意图;
图3是根据本发明实施例的一种可选的多尺度空洞卷积模块的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
实施例1
根据本发明实施例,提供了一种基于Attention机制的MCASPP 神经网络眼底图像视杯视盘分割模型,如图1所示,该模型包括:特征提取模块10、注意力映射模块12、多尺度空洞卷积模块14以及输出模块16,其中:
1)特征提取模块10,用于提取输入图像中的第一图像特征,第一图像特征包括高级特征与低级特征,其中,高级特征的分辨率小于低级特征;
2)注意力映射模块12,用于根据第一图像特征以及第二图像特征得到第一特征,其中,第二图像特征是注意力映射模块对输入图像进行特征提取得到的;
3)多尺度空洞卷积模块14,用于对高级特征进行多次卷积操作,以及对多次卷积的结果进行拼接,以得到第二特征;
4)输出模块16,用于根据第一特征以及第二特征得到预测概率图。
在具体的应用场景中在对基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型进行训练之前,首先需要进行训练数据集的准备以及调整,具体包括以下步骤:
S1,准备数据集,本发明使用从临床获取的视网膜图像杯盘分割数据作为训练集来训练模型,使用公开的400张REFUGE数据作为测试集来测试评估模型所对应的模型性能。数据集共包括1349张原彩色眼底照片和与其一一对应的杯盘分割标签图;
S2,对训练集中的眼底图片进行预处理而得到训练范例照,用于作为输入图像输入模型。该步骤中,本发明使用各种转换对每一张图片处理来扩充训练集,包括45°、90°、135°、180°、225°、和270°的旋转,水平翻转和垂直翻转,以及对图像进行系数为0.5 和1.3的幂律变换来调整亮度。
在本实施例中,通过特征提取模块提取输入图像中的第一图像特征,注意力映射模块用于根据第一图像特征中的高级特征、低级特征以及第二图像特征得到第一特征,通过多尺度空洞卷积模块,对高级特征进行多次卷积得到第二特征,输出模块根据第一特征以及第二特征来得到预测概率图。通过本实施例,能够提高图像分割网络的分割精度,避免相关技术中全卷积网络分割的视杯视盘精度较低的技术问题。
可选地,在本实施例中,特征提取模块包括输入流单元、输出流单元,其中:输入流单元,用于提取输入图像中的低级特征;输出流单元,用于根据低级特征获取高级特征。
具体的,在本实施例中,特征提取模块可以是如图2所示的 Xception模块,该Xception模块包括:输入流Entry flow单元、中间流Middle flow单元和输出流Exit flow单元。从Xception输出两部分,分别称为低级特征(Low-level features)和高级特征(High-level features)。低级特征是Xception中Entry flow的三部分的输出特征图,高级特征是Xception最后的输出特征图。
可选地,在本实施例中,输入流单元包括N个串联的输入流子单元,其中,N为大于1的正整数。
在本实施例中,输入流单元中包括多个串联的输入流子单元,以Xception模块为例,其包括三个Entry flow单元。
可选地,在本实施例中,注意力映射模块包括N个注意力映射子模块,其中:注意力映射子模块包括图像处理单元和注意力映射单元,N个注意力映射子模块中的图像处理单元的压缩倍率依次递增,其中:图像处理单元,与注意力映射单元连接,用于对输入图像进行压缩、以及对经过压缩后的输入图像进行特征提取,得到第二图像特征;注意力映射单元,与自身连接的图像处理单元的压缩倍率排列顺序所对应的输入流单元连接,以及与输出流单元连接,其中,注意力映射单元用于对低级特征以及第二图像特征进行加权操作,以及,对加权操作的加权结果以及高级特征进行特征提取。
具体地,以图2所示的神经网络眼底图像视杯视盘分割模型示意图为例进行说明,该模型中注意力映射模块12中包括3个注意力映射子模块120,在图2中分别编号为注意力映射子模块120-1、 120-2、120-3,其中:注意力映射子模块120包括图像处理单元1202 和注意力映射单元1204,3个映射子模块120中的图像处理单元1202 的压缩倍率依次递增(递增顺序为120-1、120-2、120-3)。例如,注意力映射子模块120-1中图像处理单元1202的图像压缩倍率为2倍,即将图像的尺寸缩小为原来尺寸的1/2,注意力映射子模块120-2中图像处理单元1202的图像压缩倍率为3倍,即将图像的尺寸缩小为原来尺寸的1/4,注意力映射子模块120-3中图像处理单元1202的图像压缩倍率为8倍,即将图像的尺寸缩小为原来尺寸的1/8。图像处理单元1202与注意力映射单元1204连接;注意力映射单元1204 分别与输入流单元100以及输出流单元104连接;注意力映射单元与特征提取模块10中的输入流子单元连接,其中,与注意力映射单元1204连接的输入流子单元的排列顺序,与注意力映射单元1204自身连接的图像处理单元的压缩倍率排列顺序一一对应。具体的,注意力映射单元1204-1与3个串联的输入流子单元中首个输入流子单元1002连接,注意力映射单元1204-2与3个串联的输入流子单元中第2个输入流子单元1004连接,注意力映射单元1204-3与3 个串联的输入流子单元中第3个输入流子单元1006连接。
在具体的应用场景中,在注意力映射模块中,通过对第二图像特征和低级特征相加得到特征P,在对高级特征进行3×3卷积后再进行上采样得到特征Q,通过将特征P与特征Q相乘,得到第一特征。
可选地,在本实施例中,神经网络眼底图像视杯视盘分割模型中还包括卷积拼接子模块,用于对N个注意力映射子模块的输出结果进行拼接,得到第一特征。
在具体的应用场景中,仍以图所示的神经网络眼底图像视杯视盘分割模型示意图为例进行说明。卷积拼接子模块122用于整合3 个注意力映射子模块的输出结果,在图2中对3个注意力映射子模块的输出结果进行拼接,得到第一特征。
可选地,在本实施例中,注意力映射单元,包括特征处理子单元、注意力映射子单元,其中:特征处理子单元,与压缩倍率排列顺序对应的输入流单元连接,用于对第二图像特征以及与缩小倍率排列顺序对应的输入流模块的输出结果进行加权操作,得到加权结果;注意力映射子单元,分别与特征处理子单元以及输出流单元连接,用于对加权结果以及高级特征进行特征提取。
具体地,仍以图2所示的神经网络眼底图像视杯视盘分割模型示意图为例进行说明,注意力映射单元1204中包括特征处理子单元 2040以及注意力映射子单元2042,特征处理子单元2040根据自身连接的图像处理单元1202的压缩倍率排列顺序对应的输入流单元100连接,其中,例如,连接图像处理单元1202的特征处理子单元 2040与3个串联的输入流子单元中首个输入流子单元连接,连接图像处理单元1202的特征处理子单元2040与3个串联的输入流子单元中第2个输入流子单元连接,连接图像处理单元1202的特征处理子单元2040与3个串联的输入流子单元中第3个输入流子单元连接。特征处理子单元用于对第二图像特征、第一图像特征进行整合拼接,即进行加权操作。注意力映射子单元2042用于对特征处理子单元 2040的输出结果进行特征提取。
需要说明的是,通过引入注意力映射模块中的Attention机制结合上下文信息,以实现更好融合全局信息。
可选地,在本实施例中,多尺度空洞卷积模块包括多个等级依次递增的卷积单元以及拼接单元,其中:多个等级依次递增的卷积单元,用于对低于当前卷积单元对应的等级的卷积单元的输出结果以及高级特征进行合并,并对合并结果进行卷积处理;拼接单元,用于对多个等级依次递增的卷积单元的输出结果进行拼接,用于输出第二特征。
在本实施例的多尺度空洞卷积模块中,卷积单元主要用于对输入的图像特征进行卷积操作,提取输入的图像特征中的部分特征,最后由拼接单元进行特征拼接。具体的,在由拼接单元进行特征拼接后,还可以对拼接结果进行1×1卷积操作。在本实施例中,通过将多尺度空洞卷积模块的各部分拼接作为输入,弥补了高层特征缺乏空间信息的问题,有效提高边界区域的分割精度。
可选地,在本实施例中,多尺度空洞卷积模块包括M级卷积单元,M为大于1的正整数,其中:第1级卷积单元用于对高级特征进行卷积操作以及双线性插值,第2级卷积单元至第M级卷积单元用于进行特征提取;其中,第1级卷积单元至第M级卷积单元的空洞率依次增大。
在具体的应用场景中,通过多级卷积单元来构成多尺度空洞卷积模块,每一级的卷积单元的空洞率依次增大,可以有效地提升算法的有效感受野。而在优选地实施例中,第1级卷积单元至第M级卷积单元的空洞率步进式递增。
可选地,在本实施例中,如图3所示,多尺度空洞卷积模块包括全局池化单元、第一卷积单元、第二卷积单元、第三卷积单元以及第四卷积单元,其中:全局池化单元位于多尺度空洞卷积模块的第1级;第一卷积单元位于多尺度空洞卷积模块的第2级,包括卷积核大小为1×1的卷积操作;第二卷积单元位于多尺度空洞卷积模块的第3级,包括空洞率为6的卷积核大小为3×3的卷积操作;第三卷积单元位于多尺度空洞卷积模块的第4级,包括空洞率为12的卷积核大小为3×3的卷积操作;第四卷积单元位于多尺度空洞卷积模块的第5级,包括空洞率为24的卷积核大小为3×3的卷积操作。在图3中,每个“C”为图像特征拼接操作,在本实施例中,模型整体采用逐步递增的空洞率进行卷积操作,有效提升了算法的有效感受野,仅在多尺度空洞卷积模块部分,感受野为6+12+24=42,更好的融合了空间信息,从而获得更好的语义分割效果,克服了传统神经网络中高层特征缺乏语义信息,便捷分割精确度低的问题。
可选地,在本实施例中,所述全局池化单元中的卷积核的大小与所述全局池化单元进行卷积操作的特征图大小相同。具体的,全局池化单元的卷积核实根据输入至全局池化单元中的特征图的大小进行动态变化的。例如,输入全局池化单元中的特征图为3×3大小,则全局池化单元的卷积核的大小也为3×3,而在输入全局池化单元中的特征图大小变化为1×1时,则全局池化单元的卷积核大小则相应地变化为1×1大小。
可选地,在本实施例中,输出模块具体用于:对第一特征进行卷积操作,得到卷积结果;对第二特征进行上采样操作,得到采样结果;对卷积结果以及采样结果进行合并,得到合并结果;对合并结果依次进行卷积操作以及上采样操作,得到预测概率图。
具体的,仍以图2所示的神经网络眼底图像视杯视盘分割模型示意图为例进行说明,将注意力映射模块12输出的第一特征记为特征A,将多尺度空洞卷积模块14输出的第二特征记为特征B,在输出模块中对特征A进行1×1卷积操作,对特征B进行4倍上采样,两部分拼接后进行3×3卷积,再上采样4倍得到预测概率图。注:每一步卷积操作后都紧跟着批量归一化Batch Normalization和线性整流RELU。
可选地,在本实施例中,预测概率图包括视杯视盘分割概率图。在本实施例中,输出模块输出的预测概率图包括视杯视盘分割概率图,根据视杯视盘分割概率利用阈值来确定视杯视盘分割概率图中的背景区域和视杯视盘区域,然后根据阈值划分后得到视杯视盘分割二值图
在具体的基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型的训练过程中,通过计算预测概率图与输入图像的真实标签之间的交叉熵损失,通过反向传播算法对模型进行优化。
训练过程的参数设置如下:
对于本发明的模型,输入数据是未加工的视网膜图像,并且输出是对应的视杯视盘分割二值图。学习率初始设置为10-3,衰减策略采用poly,动量为0.9,学习率呈指数型衰减。
在测试阶段:
在评估眼底图像中视杯盘视分割的结果时,本发明采用Dice系数来评价分割结果与真实标签之间的整体相似度:
其中X是真实的标签,Y是杯盘分割预测图,在本实施例中视杯与视盘的Dice分开计算。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的模型实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型,其特征在于,包括:特征提取模块、注意力映射模块、多尺度空洞卷积模块以及输出模块,其中:
所述特征提取模块,用于提取输入图像中的第一图像特征,所述第一图像特征包括高级特征与低级特征,其中,所述高级特征的分辨率小于所述低级特征;
所述注意力映射模块,用于根据所述第一图像特征以及第二图像特征得到第一特征,其中,所述第二图像特征是所述注意力映射模块对所述输入图像进行特征提取得到的;
所述多尺度空洞卷积模块,用于对所述高级特征进行多次卷积操作,以及对所述多次卷积的结果进行拼接,以得到第二特征;
所述输出模块,用于根据所述第一特征以及所述第二特征得到预测概率图。
2.根据权利要求1所述的模型,其特征在于,所述特征提取模块包括输入流单元、输出流单元,其中:
所述输入流单元,用于提取输入图像中的所述低级特征;
所述输出流单元,用于根据所述低级特征获取所述高级特征。
3.根据权利要求2所述的模型,其特征在于,所述输入流单元包括N个串联的输入流子单元,其中,N为大于1的正整数。
4.根据权利要求3所述的模型,其特征在于,所述注意力映射模块包括N个注意力映射子模块,其中:
所述注意力映射子模块包括图像处理单元和注意力映射单元,所述N个注意力映射子模块中的图像处理单元的压缩倍率依次递增,其中:
所述图像处理单元,与所述注意力映射单元连接,用于对所述输入图像进行压缩、以及对经过压缩后的输入图像进行特征提取,得到所述第二图像特征;
所述注意力映射单元,与自身连接的所述图像处理单元的压缩倍率排列顺序所对应的输入流单元连接,以及与所述输出流单元连接,其中,所述注意力映射单元用于对所述低级特征以及所述第二图像特征进行加权操作,以及,对所述加权操作的加权结果以及所述高级特征进行特征提取。
5.根据权利要求4所述的模型,其特征在于,所述注意力映射单元,包括特征处理子单元、注意力映射子单元,其中:
所述特征处理子单元,与所述压缩倍率排列顺序对应的输入流单元连接,用于对所述第二图像特征以及与所述压缩倍率排列顺序对应的输入流模块的输出结果进行加权操作,得到加权结果;
所述注意力映射子单元,用于对所述加权结果以及所述高级特征进行特征提取。
6.根据权利要求1所述的模型,其特征在于,所述多尺度空洞卷积模块包括多个等级依次递增的卷积单元以及拼接单元,其中:
所述多个等级依次递增的卷积单元,用于对低于当前卷积单元对应的等级的卷积单元的输出结果以及所述高级特征进行合并,并对合并结果进行卷积处理;
所述拼接单元,用于对所述多个等级依次递增的卷积单元的输出结果进行拼接,用于输出所述第二特征。
7.根据权利要求6所述的模型,其特征在于,所述多尺度空洞卷积模块包括M级卷积单元,M为大于1的正整数,其中:
第1级卷积单元用于对所述高级特征进行卷积操作以及双线性插值,第2级卷积单元至第M级卷积单元用于进行特征提取;
其中,所述第1级卷积单元至所述第M级卷积单元的空洞率依次增大。
8.根据权利要求7所述的模型,其特征在于,所述多尺度空洞卷积模块包括全局池化单元、第一卷积单元、第二卷积单元、第三卷积单元以及第四卷积单元,其中:
所述全局池化单元位于所述多尺度空洞卷积模块的第1级;
所述第一卷积单元位于所述多尺度空洞卷积模块的第2级,包括卷积核大小为1×1的卷积操作;
所述第二卷积单元位于所述多尺度空洞卷积模块的第3级,包括空洞率为6的卷积核大小为3×3的卷积操作;
所述第三卷积单元位于所述多尺度空洞卷积模块的第4级,包括空洞率为12的卷积核大小为3×3的卷积操作;
所述第四卷积单元位于所述多尺度空洞卷积模块的第5级,包括空洞率为24的卷积核大小为3×3的卷积操作。
9.根据权利要求8所述的模型,其特征在于,所述全局池化单元中的卷积核的大小与所述全局池化单元进行卷积操作的特征图大小相同。
10.根据权利要求1所述的模型,其特征在于,所述输出模块具体用于:
对所述第一特征进行卷积操作,得到卷积结果;
对所述第二特征进行上采样操作,得到采样结果;
对所述卷积结果以及所述采样结果进行合并,得到合并结果;
对所述合并结果依次进行卷积操作以及上采样操作,得到所述预测概率图。
CN201910711320.0A 2019-08-02 2019-08-02 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型 Active CN110610480B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910711320.0A CN110610480B (zh) 2019-08-02 2019-08-02 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910711320.0A CN110610480B (zh) 2019-08-02 2019-08-02 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型

Publications (2)

Publication Number Publication Date
CN110610480A true CN110610480A (zh) 2019-12-24
CN110610480B CN110610480B (zh) 2020-07-24

Family

ID=68890367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910711320.0A Active CN110610480B (zh) 2019-08-02 2019-08-02 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型

Country Status (1)

Country Link
CN (1) CN110610480B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986202A (zh) * 2020-10-26 2020-11-24 平安科技(深圳)有限公司 青光眼辅助诊断装置、方法及存储介质
US20220156884A1 (en) * 2019-05-06 2022-05-19 Sony Group Corporation Electronic device, method and computer program
CN115861604A (zh) * 2023-02-16 2023-03-28 赛维森(广州)医疗科技服务有限公司 宫颈组织图像处理方法、装置、计算机设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680109A (zh) * 2017-09-15 2018-02-09 盐城禅图智能科技有限公司 一种引用逆注意力与像素相似度学习的图像语义分割方法
CN108492272A (zh) * 2018-03-26 2018-09-04 西安交通大学 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统
CN108921228A (zh) * 2018-07-12 2018-11-30 成都上工医信科技有限公司 一种眼底图像血管分割的评价方法
CN108921169A (zh) * 2018-07-12 2018-11-30 珠海上工医信科技有限公司 一种眼底图像血管分割方法
CN109064453A (zh) * 2018-07-12 2018-12-21 北京上工医信科技有限公司 一种用于眼底图像血管分割的神经网络模型
CN109191472A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胸腺细胞图像分割方法
CN109377496A (zh) * 2017-10-30 2019-02-22 北京昆仑医云科技有限公司 用于分割医学图像的系统和方法及介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680109A (zh) * 2017-09-15 2018-02-09 盐城禅图智能科技有限公司 一种引用逆注意力与像素相似度学习的图像语义分割方法
CN109377496A (zh) * 2017-10-30 2019-02-22 北京昆仑医云科技有限公司 用于分割医学图像的系统和方法及介质
CN108492272A (zh) * 2018-03-26 2018-09-04 西安交通大学 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统
CN108921228A (zh) * 2018-07-12 2018-11-30 成都上工医信科技有限公司 一种眼底图像血管分割的评价方法
CN108921169A (zh) * 2018-07-12 2018-11-30 珠海上工医信科技有限公司 一种眼底图像血管分割方法
CN109064453A (zh) * 2018-07-12 2018-12-21 北京上工医信科技有限公司 一种用于眼底图像血管分割的神经网络模型
CN109191472A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胸腺细胞图像分割方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HANCHAO LI,PENGFEI XIONG,HAOQIANG FAN,JIAN SUN: ""DFANet: Deep Feature Aggregation for Real-Time Semantic Segmentation"", 《ARXIV:1904.02216V1》 *
HANG ZHANG,KRISTIN DANA,ET.AL.: ""Context Encoding for Semantic Segmentation"", 《ARXIV:1803.08904V1》 *
JIE HU,LI SHEN,ET.AL.: ""Squeeze-and-Excitation Networks"", 《PROCEEDINGS OF THE 2018 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
LIANG-CHIEH CHEN, GEORGE PAPANDREOU,ET.AL.: ""DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution,and Fully Connected CRFs"", 《ARXIV:1606.00915V2》 *
窦瑞欣: ""深度学习算法在医学影像学中的应用及研究进展"", 《中国医学计算机成像杂志》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220156884A1 (en) * 2019-05-06 2022-05-19 Sony Group Corporation Electronic device, method and computer program
CN111986202A (zh) * 2020-10-26 2020-11-24 平安科技(深圳)有限公司 青光眼辅助诊断装置、方法及存储介质
CN111986202B (zh) * 2020-10-26 2021-02-05 平安科技(深圳)有限公司 青光眼辅助诊断装置、方法及存储介质
US11978215B2 (en) 2020-10-26 2024-05-07 Ping An Technology (Shenzhen) Co., Ltd. Device and method for glaucoma auxiliary diagnosis, and storage medium
CN115861604A (zh) * 2023-02-16 2023-03-28 赛维森(广州)医疗科技服务有限公司 宫颈组织图像处理方法、装置、计算机设备和存储介质
CN115861604B (zh) * 2023-02-16 2023-06-02 赛维森(广州)医疗科技服务有限公司 宫颈组织图像处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN110610480B (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
US11295178B2 (en) Image classification method, server, and computer-readable storage medium
US11361192B2 (en) Image classification method, computer device, and computer-readable storage medium
CN109345538B (zh) 一种基于卷积神经网络的视网膜血管分割方法
Zago et al. Retinal image quality assessment using deep learning
CN111815574B (zh) 一种基于粗糙集神经网络的眼底视网膜血管图像分割方法
Bilal et al. Diabetic retinopathy detection and classification using mixed models for a disease grading database
CN112132817B (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
CN110276356A (zh) 基于r-cnn的眼底图像微动脉瘤识别方法
Claro et al. An hybrid feature space from texture information and transfer learning for glaucoma classification
CN108764342B (zh) 一种对于眼底图中视盘和视杯的语义分割方法
CN111046835A (zh) 一种基于区域特征集合神经网络的眼底照多病种检测系统
CN110610480B (zh) 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型
CN110751636B (zh) 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
CN113177916B (zh) 一种基于少样本学习方法的轻微高血压眼底辨别模型
CN112508864A (zh) 基于改进UNet++的视网膜血管图像分割方法
CN112884788B (zh) 基于丰富上下文网络的视杯视盘分割方法及成像方法
CN109919915A (zh) 基于深度学习的视网膜眼底图像异常区域检测方法及设备
CN113889267A (zh) 基于眼象识别的糖尿病诊断模型的构建方法和电子设备
Sallam et al. Diabetic retinopathy grading using resnet convolutional neural network
Luo et al. Two-stage topological refinement network for retinal artery/vein classification
Khan et al. Screening fundus images to extract multiple ocular features: A unified modeling approach
CN115619814A (zh) 一种视盘和视杯联合分割方法与系统
Erwin et al. The augmentation data of retina image for blood vessel segmentation using U-Net convolutional neural network method
CN116092667A (zh) 基于多模态影像的疾病检测方法、系统、装置及存储介质
Saranya et al. Detection of exudates from retinal images for non-proliferative diabetic retinopathy detection using deep learning model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220516

Address after: 519000 unit Z, room 615, 6th floor, main building, No. 10, Keji 1st Road, Gangwan Avenue, Tangjiawan Town, Xiangzhou District, Zhuhai City, Guangdong Province (centralized office area)

Patentee after: Zhuhai Quanyi Technology Co.,Ltd.

Address before: 610000 room 1001, building 2, No. 200, Tianfu Fifth Street, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan

Patentee before: CHENGDU SHANGGONG YIXIN TECHNOLOGY Co.,Ltd.