CN110969117A - 一种基于Attention机制的全卷积神经网络的眼底图像分割方法 - Google Patents
一种基于Attention机制的全卷积神经网络的眼底图像分割方法 Download PDFInfo
- Publication number
- CN110969117A CN110969117A CN201911198519.4A CN201911198519A CN110969117A CN 110969117 A CN110969117 A CN 110969117A CN 201911198519 A CN201911198519 A CN 201911198519A CN 110969117 A CN110969117 A CN 110969117A
- Authority
- CN
- China
- Prior art keywords
- module
- neural network
- fundus
- image
- cup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 44
- 238000003709 image segmentation Methods 0.000 title claims abstract description 44
- 230000007246 mechanism Effects 0.000 title claims abstract description 25
- 230000011218 segmentation Effects 0.000 claims abstract description 64
- 210000001525 retina Anatomy 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000007781 pre-processing Methods 0.000 claims abstract description 29
- 238000003062 neural network model Methods 0.000 claims abstract description 21
- 238000010276 construction Methods 0.000 claims abstract description 16
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 230000004256 retinal image Effects 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 15
- 230000003321 amplification Effects 0.000 claims description 12
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 2
- 239000011800 void material Substances 0.000 description 9
- 241000565648 Campanula medium Species 0.000 description 8
- 230000002207 retinal effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 208000010412 Glaucoma Diseases 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000003733 optic disk Anatomy 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Ophthalmology & Optometry (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明涉及医学图像处理领域，提供了一种基于Attention机制的全卷积神经网络的眼底图像分割方法、系统及计算机可读存储介质，其中方法包括：选取眼底视网膜图像数据作为训练集和测试集；对所述训练集中的眼底视网膜图像进行预处理；在TensorFlow上构建全卷积神经网络模型；利用训练好的全卷积神经网络模型对测试集进行分割，得到最终分割结果。所述系统包括数据获取模块、预处理模块、全卷积神经网络构建模块和图像分割模块。本发明提供了从眼底图像中自动分割视杯视盘的基于Attention机制的多连接完全卷积神经网络模型，克服了传统方法的各种限制，并通过融合神经网络中的多级特征提高了模型的学习能力，提高了杯盘分割的精确度。
Description
技术领域
本发明涉及医学图像处理技术领域，具体涉及一种基于Attention机制的全卷积神经网络的眼底图像分割方法。
背景技术
视杯视盘是视网膜眼底图像中最基本的组织结构之一，视杯视盘形态的变化是临床上诊断青光眼的重要依据。通过人工分割眼底图像以查看视杯视盘形态的变化不仅耗时费力，而且不同医生的诊断结果存在一定的主观性，因而不适于进行大规模的疾病筛查。因此，自动视网膜眼底图像杯盘分割对于辅助医生筛查青光眼是必要的。
现有对眼底图像进行分割的方法可以分为传统分割方法和基于神经网络的分割方法。
使用传统方法从眼底照中分割杯盘，主要用到的信息是眼底色差信息以及杯盘附近的血管弯曲信息。在早期阶段，通常依靠杯盘边缘之间的颜色强度差异，利用阈值来确定边界，并且使用椭圆拟合等方法对边界进行后处理。进一步，可结合色差信息与血管弯曲信息获得更精确的杯盘边界。然而这种方法对图像本身质量要求较高，分割出来的杯盘精度也较低。
采用神经网络分割方法进行视网膜眼底图像的自动分割的优点是能够自动分割并且准确率较高。神经网络方法进行视网膜眼底图像分割可以被看作是一个语义分割问题。语义分割任务最初流行的深度学习方法是进行图像块分类，即利用像素周围的图像块对每一个像素进行独立的分类。加州大学伯克利分校的Long等人提出全卷积神经网络，使用全卷积神经网络进行图像分割可生成任意大小的图像分割图，且该方法比传统图像块分类法效率更高。然而使用现有的全卷积神经网络进行眼底图像分割时，期间逐层提取特征的过程会导致许多有用信息丢失，进而导致所构建的模型最终学得的参数不能完全刻画眼底图像的视盘的特征。
发明内容
针对上述问题，本发明提供一种基于Attention机制的全卷积神经网络的眼底图像分割方法。
本发明的目的采用以下技术方案来实现：
本发明第一方面提供了一种基于Attention机制的全卷积神经网络的眼底图像分割方法，该方法包括以下步骤：
选取眼底视网膜图像数据作为训练集和测试集，每个眼底视网膜图像样本包括原彩色眼底视网膜图像和与其对应的杯盘分割标签；
对所述训练集中的眼底视网膜图像进行预处理；
在TensorFlow上构建全卷积神经网络模型；
利用训练好的全卷积神经网络模型对测试集进行分割，得到最终分割结果；
其中，网络包括Xception模块、特征加权模块、MCASPP模块，所述全卷积神经网络模型的构建步骤包括：
(1)将预处理后的训练集中的眼底视网膜图像输入所述Xception模块，输出所述眼底视网膜图像的低层次特征和高层次特征；
(2)所述特征加权模块对所述低层次特征执行3×3的卷积操作，将所述高层次特征的全局上下文信息依次经过1×1卷积、batch normalization和RELU，然后再与所述低层次特征相乘得到特征图A，将所述高层次特征与所述特征图A相加得到特征图B，并进行逐步的上采样过程；
(3)将所述特征图A输入到所述MCASPP模块，分别进行global pooling卷积层操作、1×1卷积、空洞率为6的3×3卷积、空洞率为12的3×3卷积和空洞率为24的3×3卷积，最终输出特征图D；
(4)将所述特征图B进行1×1卷积操作，特征图D上采样4倍，将处理后的特征图B和特征图D拼接后进行3×3卷积，再上采样4倍得到预测概率图；
(5)计算所述预测概率图与对应的杯盘分割标签之间的交叉熵损失，并通过反向传播算法进行优化。
根据本发明第一方面的一种能够实现的方式，所述对所述训练集中的眼底视网膜图像进行预处理，包括：对每张眼底视网膜图像和对应的杯盘分割标签分别进行不同角度的旋转得到多张图像，将所述多张图像加入到训练集，完成所述训练集的数据扩增。
根据本发明第一方面的一种能够实现的方式，所述对所述训练集中的眼底视网膜图像进行预处理，还包括：对每张眼底视网膜图像进行亮度调整。
根据本发明第一方面的一种能够实现的方式，所述进行global pooling卷积层操作，具体为：将特征图A进行双线性插值以及3×3卷积。
根据本发明第一方面的一种能够实现的方式，所述方法还包括：
在评估眼底视网膜图像中杯盘分割结果时，采用下列公式评价所述杯盘分割结果与对应真实杯盘分割标签的相似度S：
式中，X表示真实杯盘分割标签，Y表示杯盘分割的预测概率图。
本发明第二方面提供了一种基于Attention机制的全卷积神经网络的眼底图像分割系统，所述系统包括：数据获取模块、预处理模块、全卷积神经网络构建模块和图像分割模块，所述数据获取模块输出的数据作为所述预处理模块的输入，所述预处理模块输出的数据作为全卷积神经网络构建模块和图像分割模块的输入，所述全卷积神经网络构建模块输出的模型作为所述图像分割模块的输入；
所述数据获取模块用于选取眼底视网膜图像数据作为训练集和测试集，其中每个眼底视网膜图像样本包括原彩色眼底视网膜图像和与其对应的杯盘分割标签；
所述预处理模块用于对所述训练集中的眼底视网膜图像进行预处理；
所述全卷积神经网络构建模块用于在TensorFlow上构建全卷积神经网络模型；
所述图像分割模块用于利用训练好的全卷积神经网络模型对测试集进行分割，得到最终分割结果；
其中，所述网络包括Xception模块、特征加权模块、MCASPP模块，所述Xception模块输出的数据作为所述特征加权模块的输入，所述特征加权模块输出的数据作为所述MCASPP模块的输入；
所述Xception模块用于将预处理后的训练集中的眼底视网膜图像分成低层次特征和高层次特征；所述特征加权模块用于对所述低层次特征执行3×3的卷积操作，将所述高层次特征的全局上下文信息依次经过1×1卷积、batch normalization和RELU，然后再与所述低层次特征相乘得到特征图A，将所述高层次特征与所述特征图A相加得到特征图B，并进行逐步的上采样过程；
所述MCASPP模块用于将所述特征图A分别进行global pooling卷积层操作、1×1卷积、空洞率为6的3×3卷积、空洞率为12的3×3卷积和空洞率为24的3×3卷积，最终输出特征图D；
所述MCASPP模块还用于将所述特征图B进行1×1卷积操作，特征图D上采样4倍，将处理后的特征图B和特征图D拼接后进行3×3卷积，再上采样4倍得到预测概率图，以及计算所述预测概率图与对应的杯盘分割标签之间的交叉熵损失，并通过反向传播算法进行优化。
根据本发明第二方面的一种能够实现的方式，所述预处理模块包括训练集数据扩增单元和亮度调整单元；所述训练集数据扩增单元用于对每张眼底视网膜图像和对应的杯盘分割标签分别进行不同角度的旋转得到多张图像，将所述多张图像加入到训练集，完成所述训练集的数据扩增；所述亮度调整单元用于对每张眼底视网膜图像进行亮度调整。
根据本发明第二方面的一种能够实现的方式，所述系统还包括杯盘分割结果评价模块，所述杯盘分割结果评价模块在评估眼底视网膜图像中杯盘分割结果时，采用下列公式评价所述杯盘分割结果与对应真实杯盘分割标签的相似度S：
式中，X表示真实杯盘分割标签，Y表示杯盘分割的预测概率图。
本发明第三方面提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述所述的基于Attention机制的全卷积神经网络的眼底图像分割方法。
本发明的有益效果包括：本发明提供了从眼底图像中自动分割视杯视盘的基于Attention机制的多连接完全卷积神经网络模型，克服了传统方法的各种限制，并通过融合神经网络中的多级特征提高了模型的学习能力，提高了杯盘分割的精确度。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1为本发明一个示例性实施例一种基于Attention机制的全卷积神经网络的眼底图像分割方法的流程示意图；
图2为本发明一个示例性实施例一种基于Attention机制的全卷积神经网络的眼底图像分割方法的系统的结构连接示意图。
附图标记：
数据获取模块1、预处理模块2、全卷积神经网络构建模块3、图像分割模块4。
具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1，本发明第一方面实施例提供了提供一种基于Attention机制的全卷积神经网络的眼底图像分割方法。
该方法包括以下步骤：
S1选取眼底视网膜图像数据作为训练集和测试集，每个眼底视网膜图像样本包括原彩色眼底视网膜图像和与其对应的杯盘分割标签。具体地，从临床获取的视网膜图像杯盘分割数据作为训练集来训练模型，使用公开的400张测试数据作为测试集来测试评估模型性能。
S2对所述训练集中的眼底视网膜图像进行预处理，用于输入全卷积神经网络模型。在一种能够实现的方式中，预处理包括对每张眼底视网膜图像和对应的杯盘分割标签分别进行不同角度的旋转得到多张图像，将所述多张图像加入到训练集，完成所述训练集的数据扩增。其中不同角度的旋转可以包括对眼底视网膜图像进行45°、90°、135°、180°、225°、和270°的旋转，水平翻转和垂直翻转。
在一种能够实施的方式中，预处理还可以包括对扩充后的训练集中的图像进行亮度调整，具体地，可以对图像进行系数为0.5和1.3的亮度调整。
S3在TensorFlow上构建全卷积神经网络模型。本实施例通过在第二代人工智能学习系统TensorFlow中使用连接层直接实现本发明网络模型。具体分以下几步：
步骤1：将原图输入网络中第一个Xception模块，Xception模块中的数据依次流过Entry flow，Middle flow和Exit flow。从Xception模块输出两部分，分别称为低层次特征(Low-level features)和高层次特征(High-level features)。低层次特征是Xception模块中Entry flow的第二部分的输出特征图，高层次特征是Xception模块最后的输出特征图。
步骤2：对步骤1得到的低层次特征执行3×3的卷积操作，以减少特征图的通道数。从高层次特征生成的全局上下文信息依次经过1×1卷积、batch normalization和RELU，然后再与低层次特征相乘得到特征图A。最后，高层次特征与加权后的低层次特征A相加得到B并进行逐步的上采样过程。
步骤3：将步骤2得到的加权后的特征图A输入到MCASPP模块，分别进行globepooling卷积层、1×1卷积、空洞率为6的3×3卷积、空洞率为12的3×3卷积和空洞率为24的3×3卷积，其中每一个卷积的输出都是256个Channels的特征图。其中globe pooling卷积层是将特征图A进行双线性插值加3×3卷积的结果。
具体的，上述每一层的输入都是前面层的所有输出和最初特征图的集合。例如，globe pooling卷积层的输入是加权后的特征图A；1×1卷积的输入是特征图A和globepooling卷积层输出的集合；空洞率为6的3×3卷积的输入是特征图A和globe pooling卷积层的输出、1×1卷积层的输出三部分的集合；以此类推。MCASPP模块最后的结果是所有卷积模块输出的拼接结果，后接一个1×1卷积减少特征图的个数，输出特征图D。
步骤4：将步骤2得到的结果B进行1×1卷积操作，步骤3得到的结果D上采样4倍，两部分拼接后进行3×3卷积，再上采样4倍得到预测概率图。其中每一步卷积操作后都紧跟着Batch Normalization和RELU。
步骤5：计算预测概率图与真实杯盘分割标签之间的交叉熵损失，并通过反向传播算法进行优化。
本发明实施例在TensorFlow上构建全卷积神经网络模型时，从Xception前端计算网络提取特征图，并结合global pooling生成Attention辅助网络特征图。本实施例使用skip-line将MCASPP模块的各部分拼接作为输入，弥补了高层特征缺乏空间信息的问题，有效提高边界区域的分割精度。
本实施例中，网络整体采用逐步递增的空洞率进行卷积，能够有效提升了神经网络算法的有效感受野，仅在MCASPP模块部分，感受野为空洞率6+空洞率12+空洞率24＝空洞率42，更好的融合了空间信息，从而获得更好的语义分割效果。因此，本发明实施例能够克服传统神经网络方法中高层特征缺乏语义信息，边界分割精确度低的问题，同时，引入Attention机制结合特征的全局上下文信息，能够更好地融合了全局信息。
在对上述模型进行训练时，训练过程的参数设置如下：
输入数据是未加工的视网膜图像，并且输出是对应的视杯视盘分割二值图。学习率初始设置为10-3，衰减策略采用poly，动量为0.9，学习率呈指数型衰减。
S4利用训练好的全卷积神经网络模型对测试集进行分割，得到最终分割结果。
在一种能够实现的方式中，所述方法还包括：
在评估眼底视网膜图像中杯盘分割结果时，采用下列公式评价所述杯盘分割结果与对应真实杯盘分割标签的相似度S：
式中，X表示真实杯盘分割标签，Y表示杯盘分割的预测概率图。
如图2所示，本发明第二方面实施例提供了一种基于Attention机制的全卷积神经网络的眼底图像分割系统，所述系统包括：数据获取模块1、预处理模块2、全卷积神经网络构建模块3和图像分割模块4，所述数据获取模块1输出的数据作为所述预处理模块2的输入，所述预处理模块2输出的数据作为全卷积神经网络构建模块3和图像分割模块4的输入，所述全卷积神经网络构建模块3输出的模型作为所述图像分割模块4的输入；
所述数据获取模块1用于选取眼底视网膜图像数据作为训练集和测试集，其中每个眼底视网膜图像样本包括原彩色眼底视网膜图像和与其对应的杯盘分割标签；
所述预处理模块2用于对所述训练集中的眼底视网膜图像进行预处理；
所述全卷积神经网络构建模块3用于在TensorFlow上构建全卷积神经网络模型；
所述图像分割模块4用于利用训练好的全卷积神经网络模型对测试集进行分割，得到最终分割结果；
其中，所述网络包括Xception模块、特征加权模块、MCASPP模块，所述Xception模块输出的数据作为所述特征加权模块的输入，所述特征加权模块输出的数据作为所述MCASPP模块的输入；
所述Xception模块用于将预处理后的训练集中的眼底视网膜图像分成低层次特征和高层次特征；所述特征加权模块用于对所述低层次特征执行3×3的卷积操作，将所述高层次特征的全局上下文信息依次经过1×1卷积、batch normalization和RELU，然后再与所述低层次特征相乘得到特征图A，将所述高层次特征与所述特征图A相加得到特征图B，并进行逐步的上采样过程；
所述MCASPP模块用于将所述特征图A分别进行global pooling卷积层操作、1×1卷积、空洞率为6的3×3卷积、空洞率为12的3×3卷积和空洞率为24的3×3卷积，最终输出特征图D；
所述MCASPP模块还用于将所述特征图B进行1×1卷积操作，特征图D上采样4倍，将处理后的特征图B和特征图D拼接后进行3×3卷积，再上采样4倍得到预测概率图，以及计算所述预测概率图与对应的杯盘分割标签之间的交叉熵损失，并通过反向传播算法进行优化。
根据本发明第二方面的一种能够实现的方式，所述预处理模块2包括训练集数据扩增单元和亮度调整单元；所述训练集数据扩增单元用于对每张眼底视网膜图像和对应的杯盘分割标签分别进行不同角度的旋转得到多张图像，将所述多张图像加入到训练集，完成所述训练集的数据扩增；所述亮度调整单元用于对每张眼底视网膜图像进行亮度调整。
根据本发明第二方面的一种能够实现的方式，所述系统还包括杯盘分割结果评价模块，所述杯盘分割结果评价模块在评估眼底视网膜图像中杯盘分割结果时，采用下列公式评价所述杯盘分割结果与对应真实杯盘分割标签的相似度S：
式中，X表示真实杯盘分割标签，Y表示杯盘分割的预测概率图。
本发明第三方面实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述所述的基于Attention机制的全卷积神经网络的眼底图像分割方法。
本发明上述实施例提供了从眼底图像中自动分割视杯视盘的基于Attention机制的多连接完全卷积神经网络模型，克服了传统方法的各种限制，并通过融合神经网络中的多级特征提高了模型的学习能力，提高了杯盘分割的精确度。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。
Claims (9)
1.一种基于Attention机制的全卷积神经网络的眼底图像分割方法，其特征是，包括以下步骤：
选取眼底视网膜图像数据作为训练集和测试集，每个眼底视网膜图像样本包括原彩色眼底视网膜图像和与其对应的杯盘分割标签；
对所述训练集中的眼底视网膜图像进行预处理；
在TensorFlow上构建全卷积神经网络模型；
利用训练好的全卷积神经网络模型对测试集进行分割，得到最终分割结果；
其中，网络包括Xception模块、特征加权模块、MCASPP模块，所述全卷积神经网络模型的构建步骤包括：
(1)将预处理后的训练集中的眼底视网膜图像输入所述Xception模块，输出所述眼底视网膜图像的低层次特征和高层次特征；
(2)所述特征加权模块对所述低层次特征执行3×3的卷积操作，将所述高层次特征的全局上下文信息依次经过1×1卷积、batch normalization和RELU，然后再与所述低层次特征相乘得到特征图A，将所述高层次特征与所述特征图A相加得到特征图B，并进行逐步的上采样过程；
(3)将所述特征图A输入到所述MCASPP模块，分别进行global pooling卷积层操作、1×1卷积、空洞率为6的3×3卷积、空洞率为12的3×3卷积和空洞率为24的3×3卷积，最终输出特征图D；
(4)将所述特征图B进行1×1卷积操作，特征图D上采样4倍，将处理后的特征图B和特征图D拼接后进行3×3卷积，再上采样4倍得到预测概率图；
(5)计算所述预测概率图与对应的杯盘分割标签之间的交叉熵损失，并通过反向传播算法进行优化。
2.根据权利要求1所述的一种基于Attention机制的全卷积神经网络的眼底图像分割方法，其特征是，所述对所述训练集中的眼底视网膜图像进行预处理，包括：对每张眼底视网膜图像和对应的杯盘分割标签分别进行不同角度的旋转得到多张图像，将所述多张图像加入到训练集，完成所述训练集的数据扩增。
3.根据权利要求2所述的一种基于Attention机制的全卷积神经网络的眼底图像分割方法，其特征是，所述对所述训练集中的眼底视网膜图像进行预处理，还包括：对每张眼底视网膜图像进行亮度调整。
4.根据权利要求1所述的一种基于Attention机制的全卷积神经网络的眼底图像分割方法，其特征是，所述进行global pooling卷积层操作，具体为：将特征图A进行双线性插值以及3×3卷积。
5.根据权利要求1所述的一种基于Attention机制的全卷积神经网络的眼底图像分割方法，其特征是，所述方法还包括：
在评估眼底视网膜图像中杯盘分割结果时，采用下列公式评价所述杯盘分割结果与对应真实杯盘分割标签的相似度S：
式中，X表示真实杯盘分割标签，Y表示杯盘分割的预测概率图。
6.一种基于Attention机制的全卷积神经网络的眼底图像分割系统，其特征是，所述系统包括：数据获取模块、预处理模块、全卷积神经网络构建模块和图像分割模块，所述数据获取模块输出的数据作为所述预处理模块的输入，所述预处理模块输出的数据作为全卷积神经网络构建模块和图像分割模块的输入，所述全卷积神经网络构建模块输出的模型作为所述图像分割模块的输入；
所述数据获取模块用于选取眼底视网膜图像数据作为训练集和测试集，其中每个眼底视网膜图像样本包括原彩色眼底视网膜图像和与其对应的杯盘分割标签；
所述预处理模块用于对所述训练集中的眼底视网膜图像进行预处理；
所述全卷积神经网络构建模块用于在TensorFlow上构建全卷积神经网络模型；
所述图像分割模块用于利用训练好的全卷积神经网络模型对测试集进行分割，得到最终分割结果；
其中，所述网络包括Xception模块、特征加权模块、MCASPP模块，所述Xception模块输出的数据作为所述特征加权模块的输入，所述特征加权模块输出的数据作为所述MCASPP模块的输入；
所述Xception模块用于将预处理后的训练集中的眼底视网膜图像分成低层次特征和高层次特征；所述特征加权模块用于对所述低层次特征执行3×3的卷积操作，将所述高层次特征的全局上下文信息依次经过1×1卷积、batch normalization和RELU，然后再与所述低层次特征相乘得到特征图A，将所述高层次特征与所述特征图A相加得到特征图B，并进行逐步的上采样过程；
所述MCASPP模块用于将所述特征图A分别进行global pooling卷积层操作、1×1卷积、空洞率为6的3×3卷积、空洞率为12的3×3卷积和空洞率为24的3×3卷积，最终输出特征图D；
所述MCASPP模块还用于将所述特征图B进行1×1卷积操作，特征图D上采样4倍，将处理后的特征图B和特征图D拼接后进行3×3卷积，再上采样4倍得到预测概率图，以及计算所述预测概率图与对应的杯盘分割标签之间的交叉熵损失，并通过反向传播算法进行优化。
7.根据权利要求6所述的一种基于Attention机制的全卷积神经网络的眼底图像分割系统，其特征是，所述预处理模块包括训练集数据扩增单元和亮度调整单元；所述训练集数据扩增单元用于对每张眼底视网膜图像和对应的杯盘分割标签分别进行不同角度的旋转得到多张图像，将所述多张图像加入到训练集，完成所述训练集的数据扩增；所述亮度调整单元用于对每张眼底视网膜图像进行亮度调整。
8.根据权利要求6所述的一种基于Attention机制的全卷积神经网络的眼底图像分割系统，其特征是，所述系统还包括杯盘分割结果评价模块，所述杯盘分割结果评价模块在评估眼底视网膜图像中杯盘分割结果时，采用下列公式评价所述杯盘分割结果与对应真实杯盘分割标签的相似度S：
式中，X表示真实杯盘分割标签，Y表示杯盘分割的预测概率图。
9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征是，所述计算机程序指令被处理器执行时实现权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911198519.4A CN110969117A (zh) | 2019-11-29 | 2019-11-29 | 一种基于Attention机制的全卷积神经网络的眼底图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911198519.4A CN110969117A (zh) | 2019-11-29 | 2019-11-29 | 一种基于Attention机制的全卷积神经网络的眼底图像分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110969117A true CN110969117A (zh) | 2020-04-07 |
Family
ID=70032161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911198519.4A Pending CN110969117A (zh) | 2019-11-29 | 2019-11-29 | 一种基于Attention机制的全卷积神经网络的眼底图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110969117A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112383765A (zh) * | 2020-11-10 | 2021-02-19 | 中移雄安信息通信科技有限公司 | 一种vr图像传输方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170112372A1 (en) * | 2015-10-23 | 2017-04-27 | International Business Machines Corporation | Automatically detecting eye type in retinal fundus images |
| WO2018082084A1 (zh) * | 2016-11-07 | 2018-05-11 | 中国科学院自动化研究所 | 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法 |
| CA2948499A1 (en) * | 2016-11-16 | 2018-05-16 | The Governing Council Of The University Of Toronto | System and method for classifying and segmenting microscopy images with deep multiple instance learning |
| CN108520522A (zh) * | 2017-12-31 | 2018-09-11 | 南京航空航天大学 | 基于深度全卷积神经网络的视网膜眼底图像分割方法 |
-
2019
- 2019-11-29 CN CN201911198519.4A patent/CN110969117A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170112372A1 (en) * | 2015-10-23 | 2017-04-27 | International Business Machines Corporation | Automatically detecting eye type in retinal fundus images |
| WO2018082084A1 (zh) * | 2016-11-07 | 2018-05-11 | 中国科学院自动化研究所 | 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法 |
| CA2948499A1 (en) * | 2016-11-16 | 2018-05-16 | The Governing Council Of The University Of Toronto | System and method for classifying and segmenting microscopy images with deep multiple instance learning |
| CN108520522A (zh) * | 2017-12-31 | 2018-09-11 | 南京航空航天大学 | 基于深度全卷积神经网络的视网膜眼底图像分割方法 |
| CN109598733A (zh) * | 2017-12-31 | 2019-04-09 | 南京航空航天大学 | 基于深度全卷积神经网络的视网膜眼底图像分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张晓航;石清磊;王斌;王炳蔚;王永吉;陈力;吴敬征;: "机器学习算法在中医诊疗中的研究综述", 计算机科学, no. 2 * |
| 曹新容;薛岚燕;林嘉雯;余轮;: "基于视觉显著性和旋转扫描的视盘分割新方法", 生物医学工程学杂志, no. 02 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112383765A (zh) * | 2020-11-10 | 2021-02-19 | 中移雄安信息通信科技有限公司 | 一种vr图像传输方法及装置 |
| CN112383765B (zh) * | 2020-11-10 | 2023-04-07 | 中移雄安信息通信科技有限公司 | 一种vr图像传输方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112132817B (zh) | 一种混合注意力机制的眼底图像视网膜血管分割方法 | |
| EP3674968B1 (en) | Image classification method, server and computer readable storage medium | |
| CN109345538B (zh) | 一种基于卷积神经网络的视网膜血管分割方法 | |
| CN111815574B (zh) | 一种基于粗糙集神经网络的眼底视网膜血管图像分割方法 | |
| CN109584254B (zh) | 一种基于深层全卷积神经网络的心脏左心室分割方法 | |
| CN109635862B (zh) | 早产儿视网膜病plus病变分类方法 | |
| CN112508864B (zh) | 基于改进UNet++的视网膜血管图像分割方法 | |
| CN111259982A (zh) | 一种基于注意力机制的早产儿视网膜图像分类方法和装置 | |
| CN108764342B (zh) | 一种对于眼底图中视盘和视杯的语义分割方法 | |
| CN112884788B (zh) | 基于丰富上下文网络的视杯视盘分割方法及成像方法 | |
| CN111524144A (zh) | 一种基于GAN和Unet网络的肺结节智能诊断方法 | |
| CN114648806A (zh) | 一种多机制自适应的眼底图像分割方法 | |
| CN111161278A (zh) | 一种基于深层网络聚合的眼底图像病灶分割方法 | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| Popescu et al. | Retinal blood vessel segmentation using pix2pix gan | |
| CN113610118B (zh) | 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法 | |
| CN110610480B (zh) | 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型 | |
| Sallam et al. | Diabetic retinopathy grading using resnet convolutional neural network | |
| CN115409764A (zh) | 一种基于域自适应的多模态眼底血管分割方法及装置 | |
| CN117409030A (zh) | 基于动态管状卷积的octa图像血管分割方法及其系统 | |
| CN113313728A (zh) | 一种颅内动脉分割方法及系统 | |
| CN110992309B (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
| CN110969117A (zh) | 一种基于Attention机制的全卷积神经网络的眼底图像分割方法 | |
| CN115661185A (zh) | 一种眼底图像血管分割方法及系统 | |
| Shamrat et al. | An advanced deep neural network for fundus image analysis and enhancing diabetic retinopathy detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240507 |
|
| AD01 | Patent right deemed abandoned |