CN112884788B - 基于丰富上下文网络的视杯视盘分割方法及成像方法 - Google Patents

基于丰富上下文网络的视杯视盘分割方法及成像方法 Download PDF

Info

Publication number
CN112884788B
CN112884788B CN202110251870.6A CN202110251870A CN112884788B CN 112884788 B CN112884788 B CN 112884788B CN 202110251870 A CN202110251870 A CN 202110251870A CN 112884788 B CN112884788 B CN 112884788B
Authority
CN
China
Prior art keywords
cup
optic
segmentation
optic disc
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110251870.6A
Other languages
English (en)
Other versions
CN112884788A (zh
Inventor
陈再良
颜丽
沈海澜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202110251870.6A priority Critical patent/CN112884788B/zh
Publication of CN112884788A publication Critical patent/CN112884788A/zh
Application granted granted Critical
Publication of CN112884788B publication Critical patent/CN112884788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于丰富上下文网络的视杯视盘分割方法，包括获取现有的彩色眼底图像数据并处理得到训练数据集；构建视杯视盘分割原始模型并训练得到视杯视盘分割模型；采用视杯视盘分割模型对目标彩色眼底图像进行分割得到最终的视杯视盘分割结果。本发明还公开了一种采用所述基于丰富上下文网络的视杯视盘分割方法的成像方法。本发明提出了一种基于卷积神经网络、并能够获取充足上下文信息的分割结构进行视盘视杯分割；因此本发明方法能够提高视盘视杯的分割性能，解决视杯边缘分割不够平滑的问题，而且精确度高、可靠性好且分割效果较好。

Description

基于丰富上下文网络的视杯视盘分割方法及成像方法
技术领域
本发明属于图像处理领域，具体涉及一种基于丰富上下文网络的视杯视盘分割方法及成像方法。
背景技术
随着经济技术的发展和人们生活水平的提高，人们对于健康的关注也越来越高。
眼底图像是临床医疗图像的重要组成部分。眼底图像中，常用的指标包括杯盘比(视杯视盘垂直方向半径的比值)、盘半径、盘沿视盘面积比等。而获取上述指标的前提，就是需要在眼底图像中，对视杯和视盘进行分割，从而获取更具有参考性的视杯视盘图像。
在彩色眼底图像中，视盘是一个亮黄色的椭圆形结构，它由视杯和视网膜神经纤维(rim)组成(如图1所示)。视盘和视杯的精确分割，是指标获取的关键。但是，视杯边缘没有明显的轮廓，多数方法得到的视杯分割结果边缘部分不够精确。
对于视盘的分割，传统的方法主要基于边缘、颜色和超像素等特征；常见的方法包括颜色阈值判定、区域分割和边缘检测等。对于视杯的分割，有研究者用视杯边缘血管会发生弯曲这一特性来定位视杯区域。但是，有的血管弯曲点并不在视杯的边界上，这会导致较严重的识别错误。另外，血管弯曲尺度小，不易检测到。这些方法虽然简单，易于操作，但是只利用了少量的局部信息和非常有限的上下文，性能较差，而且极易受到病变的影响，不稳定。
近年来，研究者将基于深度学习的方法引入到视盘和视杯的分割中，最常见的方法是将分割问题视为像素级的分类任务。这类方法大多基于UNet结构，因为其可以利用较少的数据量进行训练，得到很好的结果，适用于处理医学图像。基于UNet结构的方法，其将多尺度或多模态的数据输入网络，通过编码-解码的方式同时获取语义信息和细节信息，得到表示能力较强的特征，从而提高视杯和视盘分割的性能。例如，在M-Net中，利用了UNet编码解码的基础结构，将多个尺度的图像输入编码器，从而提取多尺度信息；在解码阶段，编码器提取的low-level特征通过skip连接重用，补偿解码器的high-level的特征。此外，现有的方法一般还通过特征金字塔来挖掘多尺度信息。由于提取了高级别的特征，相比于传统方法，基于深度学习的方法取得了较好分割结果。但是，现有的深度学习方法，对于上下文信息的利用率依旧不高，因此对边界不清晰的视杯，现有方法依然难以得到较准确的分割结果。
发明内容
本发明的目的之一在于提供一种精确度高、可靠性好且分割效果较好的基于丰富上下文网络的视杯视盘分割方法。
本发明的目的之二在于提供一种包括了所述基于丰富上下文网络的视杯视盘分割方法的成像方法。
本发明提供的这种基于丰富上下文网络的视杯视盘分割方法，包括如下步骤：
S1.获取现有的彩色眼底图像数据；
S2.对步骤S1获取的彩色眼底图像数据进行处理，从而得到训练数据集；
S3.构建视杯视盘分割原始模型；
S4.采用步骤S2得到的训练数据集对步骤S3构建的视杯视盘分割原始模型进行训练，从而得到视杯视盘分割模型；
S5.采用步骤S4得到的视杯视盘分割模型，对目标彩色眼底图像进行分割，从而得到最终的视杯视盘分割结果。
步骤S2所述的对步骤S1获取的彩色眼底图像数据进行处理，具体包括对彩色眼底图像进行随机镜像翻转和尺度缩放，同时将彩色眼底图像以视盘为中心进行裁剪，得到包括完整视盘区域和设定大小的窗口图像。
步骤S3所述的构建视杯视盘分割原始模型，具体为采用如下步骤构建视杯视盘分割原始模型：
采用ResNet101网络作为主网络：ResNet101网络包括4个stage，每个stage均包括卷积、下采样和batch归一化操作；
将ResNet101网络中的最后三个stage的特征分别输入到3个空间金字塔池化模块，从而提取特征的空间维度的上下文信息；
将3个空间金字塔池化模块的输出分别输入3个压缩抽取模块，从而提取特征的通道维度的上下文信息；
将3个压缩抽取模块的输出进行融合，进一步获取多尺度的上下文信息；
对融合后的每个分支的特征进行1x1卷积操作，从而将通道的维度改变为3；
利用softmax操作将3条分支的预测值进行归一化；
对归一化后的3个分支，再分别进行交叉熵监督。
所述的ResNet101网络包括4个stage，具体为在ResNet101网络的第3个stage采用扩张率为2的扩张卷积替代stride卷积，针对第4个stage，采用扩张率为4的扩张卷积替代stride卷积。
所述的空间金字塔池化模块，具体包括一个池化层、一个第一卷积层、一个上采样层、一个通道级联层和一个第二卷积层；池化层、第一卷积层、上采样层、通道级联层和第二卷积层依次串接；池化层采用大小为1x1、2x2、3x3和6x6的4个平均池化层捕获多尺度上下文，然后将输出第一卷积层后，再输出到上采样层进行上采样，然后进行通道级联；最后再通过第二卷积层进行输出。
所述的压缩抽取模块，具体为采用如下步骤进行运算，从而构建压缩抽取模块：
通过全局平均池化操作将每个通道的空间信息压缩成一个标量，得到通道描述子z＝[z1,...,zc]，其中
Figure BDA0002966390600000041
fc为特征的第c个通道，H×W为空间维度的大小，fc(i,j)为从空间金字塔模块输出的特征f在通道c、空间位置(i,j)处的值；
在通道描述符z的基础上,用两个全连接层来学习特征f的通道激活程度；设定全连接层的参数为W1和W2，计算得到激活向量s＝Fex(z,W)＝σ(W2·δ(W1·z))，W＝{W1,W2}，δ()为ReLU激活函数，σ()为sigmoid激活函数；
最终得到用激活度加权的特征表示fout＝[s1·f1,...,sc·fc]。
所述的将3个压缩抽取模块的输出进行融合，具体为将第2个stage所对应的分支的特征进行上采样，然后以元素相加的方式，依次融合第3个stage所对应的分支的特征和第4个stage所对应的分支的特征。
步骤S4所述的训练，具体为采用如下步骤进行训练：
采用深度监督机制：沿特征聚合路径附加三个分类器，采用ground truth进行监督，损失函数采用多类交叉熵损失；
总的损失函数为Loss＝loss1+α·loss2+β·loss3，其中loss1为第4个stage所对应的分支所计算的损失，loss2为第3个stage所对应的分支所计算的损失，loss3为第2个stage所对应的分支所计算的损失，α和β为加权权重；
采用重叠错误率E衡量分割结果：
Figure BDA0002966390600000051
式中S为预测的mask，G为ground truth，Area()表示像素总和；
通过反向传播更新网络参数；
重复对视杯视盘分割原始模型进行训练，直至模型收敛。
本发明还提供了一种包括了所述基于丰富上下文网络的视杯视盘分割方法的成像方法，具体包括如下步骤：
A.对患者的眼底进行成像，得到原始的彩色眼底图像；
B.采用所述基于丰富上下文网络的视杯视盘分割方法，对步骤A得到的原始的彩色眼底图像，进行视杯视盘分割；
C.将分割后的视杯视盘在原始的彩色眼底图像进行标记，从而得到最终的目标彩色眼底图像。
本发明提供的这种基于丰富上下文网络的视杯视盘分割方法及成像方法，提出了一种基于卷积神经网络、并能够获取充足上下文信息的分割结构进行视盘视杯分割；因此本发明方法能够提高视盘视杯的分割性能，解决视杯边缘分割不够平滑的问题，而且精确度高、可靠性好且分割效果较好。
附图说明
图1为彩色眼底图中视杯视盘的结构示意图。
图2为本发明的视杯视盘分割方法的方法流程示意图。
图3为本发明的视杯视盘分割方法的视杯视盘分割模型的网络模型示意图。
图4为本发明的视杯视盘分割方法中金字塔池化模块的网络示意图。
图5为本发明的视杯视盘分割方法的效果对比示意图。
图6为本发明的成像方法的方法流程示意图。
具体实施方式
如图2所示为本发明的视杯视盘分割方法的方法流程示意图：本发明提供的这种基于丰富上下文网络的视杯视盘分割方法，包括如下步骤：
S1.获取现有的彩色眼底图像数据；
S2.对步骤S1获取的彩色眼底图像数据进行处理，从而得到训练数据集；
具体实施时，处理具体包括对彩色眼底图像进行随机镜像翻转和尺度缩放，同时将彩色眼底图像以视盘为中心进行裁剪，得到包括完整视盘区域和设定大小(优选为400×400到800×800像素区间)的窗口图像；
S3.构建视杯视盘分割原始模型(结构如图3所示)；具体为采用如下步骤构建视杯视盘分割原始模型：
采用ResNet101网络作为主网络：ResNet101网络包括4个stage，每个stage均包括卷积、下采样和batch归一化操作；
其中，ResNet101网络包括4个stage，具体为在ResNet101网络的第3个stage采用扩张率为2的扩张卷积替代stride卷积，针对第4个stage，采用扩张率为4的扩张卷积替代stride卷积；
将ResNet101网络中的最后三个stage的特征分别输入到3个空间金字塔池化模块，从而提取特征的空间维度的上下文信息；空间金字塔池化模块(PPM模块，结构如图4所示)，具体包括一个池化层、一个第一卷积层、一个上采样层、一个通道级联层和一个第二卷积层；池化层、第一卷积层、上采样层、通道级联层和第二卷积层依次串接；池化层采用大小为1x1、2x2、3x3和6x6的4个平均池化层捕获多尺度上下文，然后将输出第一卷积层后，再输出到上采样层进行上采样，然后进行通道级联；最后再通过第二卷积层进行输出；
将3个空间金字塔池化模块的输出分别输入3个压缩抽取模块，从而提取特征的通道维度的上下文信息；其中的压缩抽取模块，具体为采用如下步骤进行运算，从而构建压缩抽取模块：
通过全局平均池化操作将每个通道的空间信息压缩成一个标量，得到通道描述子z＝[z1,...,zc]，其中
Figure BDA0002966390600000071
fc为特征的第c个通道，H×W为空间维度的大小，fc(i,j)为从空间金字塔模块输出的特征f在通道c、空间位置(i,j)处的值；；
在通道描述符z的基础上,用两个全连接层来学习特征f的通道激活程度；设定全连接层的参数为W1和W2，计算得到激活向量s＝Fex(z,W)＝σ(W2·δ(W1·z))，W＝{W1,W2}，δ()为ReLU激活函数，σ()为sigmoid激活函数；
最终得到用激活度加权的特征表示fout＝[s1·f1,...,sc·fc]；
将3个压缩抽取模块的输出进行融合，进一步获取多尺度的上下文信息；具体实施时(如图3所示)，将3个压缩抽取模块的输出进行融合，具体为将第2个stage所对应的分支的特征进行上采样，然后以元素相加的方式，依次融合第3个stage所对应的分支的特征和第4个stage所对应的分支的特征；
对融合后的每个分支的特征进行1x1卷积操作，从而将通道的维度改变为3；
利用softmax操作将3条分支的预测值进行归一化；
对归一化后的3个分支，再分别进行交叉熵监督；
S4.采用步骤S2得到的训练数据集对步骤S3构建的视杯视盘分割原始模型进行训练，从而得到视杯视盘分割模型；具体为采用如下步骤进行训练：
采用深度监督机制：沿特征聚合路径附加三个分类器，采用ground truth进行监督，损失函数采用多类交叉熵损失；
总的损失函数为Loss＝loss1+α·loss2+β·loss3，其中loss1为第4个stage所对应的分支所计算的损失，loss2为第3个stage所对应的分支所计算的损失，loss3为第2个stage所对应的分支所计算的损失，α和β为加权权重；
采用重叠错误率E衡量分割结果：
Figure BDA0002966390600000081
式中S为预测的mask，G为ground truth，Area()表示像素总和；
通过反向传播更新网络参数；
重复对视杯视盘分割原始模型进行训练，直至模型收敛；
S5.采用步骤S4得到的视杯视盘分割模型，对目标彩色眼底图像进行分割，从而得到最终的视杯视盘分割结果。
如图5所示为本发明的视杯视盘分割方法的效果对比示意图：第一列是裁剪后大小为512x512的图像，第二列为Ground Truth，第三列为其他方法的结果，第四列是本发明的结果。其中，Ecup表示视杯分割结果的错误率，Erim表示盘沿分割结果的错误率。从图5可以明显看到，本发明的分割结果优于其他方法，视杯边缘更平滑、更精确。
如图6所示为本发明的成像方法的方法流程示意图：本发明还提供了一种包括了所述基于丰富上下文网络的视杯视盘分割方法的成像方法，具体包括如下步骤：
A.对患者的眼底进行成像，得到原始的彩色眼底图像；
B.采用所述基于丰富上下文网络的视杯视盘分割方法，对步骤A得到的原始的彩色眼底图像，进行视杯视盘分割；
其中，所述基于丰富上下文网络的视杯视盘分割方法，具体包括如下步骤：
S1.获取现有的彩色眼底图像数据；
S2.对步骤S1获取的彩色眼底图像数据进行处理，从而得到训练数据集；
具体实施时，处理具体包括对彩色眼底图像进行随机镜像翻转和尺度缩放，同时将彩色眼底图像以视盘为中心进行裁剪，得到包括完整视盘区域和设定大小(优选为400×400到800×800像素区间)的窗口图像；
S3.构建视杯视盘分割原始模型(结构如图3所示)；具体为采用如下步骤构建视杯视盘分割原始模型：
采用ResNet101网络作为主网络：ResNet101网络包括4个stage，每个stage均包括卷积、下采样和batch归一化操作；
其中，ResNet101网络包括4个stage，具体为在ResNet101网络的第3个stage采用扩张率为2的扩张卷积替代stride卷积，针对第4个stage，采用扩张率为4的扩张卷积替代stride卷积；
将ResNet101网络中的最后三个stage的特征分别输入到3个空间金字塔池化模块，从而提取特征的空间维度的上下文信息；空间金字塔池化模块(PPM模块，结构如图4所示)，具体包括一个池化层、一个第一卷积层、一个上采样层、一个通道级联层和一个第二卷积层；池化层、第一卷积层、上采样层、通道级联层和第二卷积层依次串接；池化层采用大小为1x1、2x2、3x3和6x6的4个平均池化层捕获多尺度上下文，然后将输出第一卷积层后，再输出到上采样层进行上采样，然后进行通道级联；最后再通过第二卷积层进行输出；
将3个空间金字塔池化模块的输出分别输入3个压缩抽取模块，从而提取特征的通道维度的上下文信息；其中的压缩抽取模块，具体为采用如下步骤进行运算，从而构建压缩抽取模块：
通过全局平均池化操作将每个通道的空间信息压缩成一个标量，得到通道描述子z＝[z1,...,zc]，其中
Figure BDA0002966390600000101
fc为特征的第c个通道，H×W为空间维度的大小，fc(i,j)为从空间金字塔模块输出的特征f在通道c、空间位置(i,j)处的值；
在通道描述符z的基础上,用两个全连接层来学习特征f的通道激活程度；设定全连接层的参数为W1和W2，计算得到激活向量s＝Fex(z,W)＝σ(W2·δ(W1·z))，W＝{W1,W2}，δ()为ReLU激活函数，σ()为sigmoid激活函数；
最终得到用激活度加权的特征表示fout＝[s1·f1,...,sc·fc]；
将3个压缩抽取模块的输出进行融合，进一步获取多尺度的上下文信息；具体实施时(如图3所示)，将3个压缩抽取模块的输出进行融合，具体为将第2个stage所对应的分支的特征进行上采样，然后以元素相加的方式，依次融合第3个stage所对应的分支的特征和第4个stage所对应的分支的特征；
对融合后的每个分支的特征进行1x1卷积操作，从而将通道的维度改变为3；
利用softmax操作将3条分支的预测值进行归一化；
对归一化后的3个分支，再分别进行交叉熵监督；
S4.采用步骤S2得到的训练数据集对步骤S3构建的视杯视盘分割原始模型进行训练，从而得到视杯视盘分割模型；具体为采用如下步骤进行训练：
采用深度监督机制：沿特征聚合路径附加三个分类器，采用ground truth进行监督，损失函数采用多类交叉熵损失；
总的损失函数为Loss＝loss1+α·loss2+β·loss3，其中loss1为第4个stage所对应的分支所计算的损失，loss2为第3个stage所对应的分支所计算的损失，loss3为第2个stage所对应的分支所计算的损失，α和β为加权权重；
采用重叠错误率E衡量分割结果：
Figure BDA0002966390600000111
式中S为预测的mask，G为ground truth，Area()表示像素总和；
通过反向传播更新网络参数；
重复对视杯视盘分割原始模型进行训练，直至模型收敛；
S5.采用步骤S4得到的视杯视盘分割模型，对目标彩色眼底图像进行分割，从而得到最终的视杯视盘分割结果；
C.将分割后的视杯视盘在原始的彩色眼底图像进行标记，从而得到最终的目标彩色眼底图像。
本发明提供的这种成像方法，可以适用于对患者进行眼底检查的机器，或者直接对患者进行眼底检查并直接成像获取彩色眼底图的设备；同时，该类设备不需要进行硬件改动，仅需实时获取患者的原始的彩色眼底图，采用本发明提供的分割方法进行视盘视杯分割后，再将分割结果在原始的彩色眼底图进行标记后重新成像，从而得到最终的标记了视杯视盘的彩色眼底图。

Claims (7)

1.一种基于丰富上下文网络的视杯视盘分割方法，包括如下步骤：
S1.获取现有的彩色眼底图像数据；
S2.对步骤S1获取的彩色眼底图像数据进行处理，从而得到训练数据集；
S3.构建视杯视盘分割原始模型；具体为采用如下步骤构建视杯视盘分割原始模型：
采用ResNet101网络作为主网络：ResNet101网络包括4个stage，每个stage均包括卷积、下采样和batch归一化操作；
将ResNet101网络中的最后三个stage的特征分别输入到3个空间金字塔池化模块，从而提取特征的空间维度的上下文信息；
将3个空间金字塔池化模块的输出分别输入3个压缩抽取模块，从而提取特征的通道维度的上下文信息；
将3个压缩抽取模块的输出进行融合，进一步获取多尺度的上下文信息；
对融合后的每个分支的特征进行1x1卷积操作，从而将通道的维度改变为3；
利用softmax操作将3条分支的预测值进行归一化；
对归一化后的3个分支，再分别进行交叉熵监督；
其中，采用如下步骤进行运算并构建压缩抽取模块：
通过全局平均池化操作将每个通道的空间信息压缩成一个标量，得到通道描述子z＝[z1,...,zc]，其中
Figure FDA0003550696270000011
fc为特征的第c个通道，H×W为空间维度的大小，fc(i,j)为从空间金字塔模块输出的特征f在通道c、空间位置(i,j)处的值；
在通道描述符z的基础上,用两个全连接层来学习特征f的通道激活程度；设定全连接层的参数为W1和W2，计算得到激活向量s＝Fex(z,W)＝σ(W2·δ(W1·z))，W＝{W1,W2}，δ()为ReLU激活函数，σ()为sigmoid激活函数；
最终得到用激活度加权的特征表示fout＝[s1·f1,...,sc·fc]；
S4.采用步骤S2得到的训练数据集对步骤S3构建的视杯视盘分割原始模型进行训练，从而得到视杯视盘分割模型；
S5.采用步骤S4得到的视杯视盘分割模型，对目标彩色眼底图像进行分割，从而得到最终的视杯视盘分割结果。
2.根据权利要求1所述的基于丰富上下文网络的视杯视盘分割方法，其特征在于步骤S2所述的对步骤S1获取的彩色眼底图像数据进行处理，具体包括对彩色眼底图像进行随机镜像翻转和尺度缩放，同时将彩色眼底图像以视盘为中心进行裁剪，得到包括完整视盘区域和设定大小的窗口图像。
3.根据权利要求1所述的基于丰富上下文网络的视杯视盘分割方法，其特征在于所述的ResNet101网络包括4个stage，具体为在ResNet101网络的第3个stage采用扩张率为2的扩张卷积替代stride卷积，针对第4个stage，采用扩张率为4的扩张卷积替代stride卷积。
4.根据权利要求1所述的基于丰富上下文网络的视杯视盘分割方法，其特征在于所述的空间金字塔池化模块，具体包括一个池化层、一个第一卷积层、一个上采样层、一个通道级联层和一个第二卷积层；池化层、第一卷积层、上采样层、通道级联层和第二卷积层依次串接；池化层采用大小为1x1、2x2、3x3和6x6的4个平均池化层捕获多尺度上下文，然后将输出第一卷积层后，再输出到上采样层进行上采样，然后进行通道级联；最后再通过第二卷积层进行输出。
5.根据权利要求1所述的基于丰富上下文网络的视杯视盘分割方法，其特征在于所述的将3个压缩抽取模块的输出进行融合，具体为将第2个stage所对应的分支的特征进行上采样，然后以元素相加的方式，依次融合第3个stage所对应的分支的特征和第4个stage所对应的分支的特征。
6.根据权利要求1所述的基于丰富上下文网络的视杯视盘分割方法，其特征在于步骤S4所述的训练，具体为采用如下步骤进行训练：
采用深度监督机制：沿特征聚合路径附加三个分类器，采用ground truth进行监督，损失函数采用多类交叉熵损失；
总的损失函数为Loss＝loss1+α·loss2+β·loss3，其中loss1为第4个stage所对应的分支所计算的损失，loss2为第3个stage所对应的分支所计算的损失，loss3为第2个stage所对应的分支所计算的损失，α和β为加权权重；
采用重叠错误率E衡量分割结果：
Figure FDA0003550696270000031
式中S为预测的mask，G为ground truth，Area()表示像素总和；
通过反向传播更新网络参数；
重复对视杯视盘分割原始模型进行训练，直至模型收敛。
7.一种包括了权利要求1～6之一所述的基于丰富上下文网络的视杯视盘分割方法的成像方法，其特征在于包括如下步骤：
A.对患者的眼底进行成像，得到原始的彩色眼底图像；
B.采用权利要求1～6之一所述的基于丰富上下文网络的视杯视盘分割方法，对步骤A得到的原始的彩色眼底图像，进行视杯视盘分割；
C.将分割后的视杯视盘在原始的彩色眼底图像进行标记，从而得到最终的目标彩色眼底图像。
CN202110251870.6A 2021-03-08 2021-03-08 基于丰富上下文网络的视杯视盘分割方法及成像方法 Active CN112884788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110251870.6A CN112884788B (zh) 2021-03-08 2021-03-08 基于丰富上下文网络的视杯视盘分割方法及成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110251870.6A CN112884788B (zh) 2021-03-08 2021-03-08 基于丰富上下文网络的视杯视盘分割方法及成像方法

Publications (2)

Publication Number Publication Date
CN112884788A CN112884788A (zh) 2021-06-01
CN112884788B true CN112884788B (zh) 2022-05-10

Family

ID=76053866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110251870.6A Active CN112884788B (zh) 2021-03-08 2021-03-08 基于丰富上下文网络的视杯视盘分割方法及成像方法

Country Status (1)

Country Link
CN (1) CN112884788B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658165B (zh) * 2021-08-25 2023-06-20 平安科技（深圳）有限公司 杯盘比确定方法、装置、设备及存储介质
CN113870270B (zh) * 2021-08-30 2024-05-28 北京工业大学 一种统一框架下的眼底影像视杯、视盘分割方法
CN114219814A (zh) * 2021-11-03 2022-03-22 华南理工大学 一种基于深度水平集学习的视杯视盘分割方法
CN116030050A (zh) * 2023-03-27 2023-04-28 浙江大学 基于无人机与深度学习的风机表面缺陷在线检测分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598733A (zh) * 2017-12-31 2019-04-09 南京航空航天大学 基于深度全卷积神经网络的视网膜眼底图像分割方法
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法
CN110570431A (zh) * 2019-09-18 2019-12-13 东北大学 一种基于改进的卷积神经网络的医学图像分割方法
CN110689526A (zh) * 2019-09-09 2020-01-14 北京航空航天大学 基于视网膜眼底图像的视网膜血管分割方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124409A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598733A (zh) * 2017-12-31 2019-04-09 南京航空航天大学 基于深度全卷积神经网络的视网膜眼底图像分割方法
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法
CN110689526A (zh) * 2019-09-09 2020-01-14 北京航空航天大学 基于视网膜眼底图像的视网膜血管分割方法及系统
CN110570431A (zh) * 2019-09-18 2019-12-13 东北大学 一种基于改进的卷积神经网络的医学图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A spatial-aware joint optic disc and cup segmentation method;Qing Liu,et al.;《Neurocomputing》;20190924;285-297 *
融合残差注意力机制的 UNet 视盘分割;侯向丹 等;《中国图象图形学报》;20200321;1915-1929 *

Also Published As

Publication number Publication date
CN112884788A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN112884788B (zh) 基于丰富上下文网络的视杯视盘分割方法及成像方法
CN111145170B (zh) 一种基于深度学习的医学影像分割方法
WO2022199143A1 (zh) 一种基于u型网络的医学图像分割方法
CN113012172B (zh) 一种基于AS-UNet的医学图像分割方法及系统
CN111951288B (zh) 一种基于深度学习的皮肤癌病变分割方法
CN115205300B (zh) 基于空洞卷积和语义融合的眼底血管图像分割方法与系统
CN112258488A (zh) 一种医疗影像病灶分割方法
CN108764342B (zh) 一种对于眼底图中视盘和视杯的语义分割方法
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统
CN110729045A (zh) 一种基于上下文感知残差网络的舌图像分割方法
CN113205524B (zh) 基于U-Net的血管图像分割方法、装置和设备
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN113393469A (zh) 基于循环残差卷积神经网络的医学图像分割方法和装置
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
CN113223005A (zh) 一种甲状腺结节自动分割及分级的智能系统
CN112381846A (zh) 一种基于非对称网络的超声甲状腺结节分割方法
CN112785603A (zh) 一种基于Unet和超像素的脑组织分割方法
CN114037714A (zh) 一种面向前列腺系统穿刺的3d mr与trus图像分割方法
CN115809998A (zh) 基于E2C-Transformer网络的胶质瘤MRI数据分割方法
CN110610480A (zh) 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型
Ruan et al. An efficient tongue segmentation model based on u-net framework
CN113362360A (zh) 基于流体速度场的超声颈动脉斑块分割方法
CN110992309B (zh) 基于深层信息传递网络的眼底图像分割方法
Desiani et al. A Novelty Patching of Circular Random and Ordered Techniques on Retinal Image to Improve CNN U-Net Performance.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant