CN109118495A - 一种视网膜血管分割方法和装置 - Google Patents

一种视网膜血管分割方法和装置 Download PDF

Info

Publication number
CN109118495A
CN109118495A CN201810866052.5A CN201810866052A CN109118495A CN 109118495 A CN109118495 A CN 109118495A CN 201810866052 A CN201810866052 A CN 201810866052A CN 109118495 A CN109118495 A CN 109118495A
Authority
CN
China
Prior art keywords
retinal
characteristic information
image
residual error
association module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810866052.5A
Other languages
English (en)
Other versions
CN109118495B (zh
Inventor
陈俊强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Medical Systems Co Ltd
Original Assignee
Neusoft Medical Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Medical Systems Co Ltd filed Critical Neusoft Medical Systems Co Ltd
Priority to CN201810866052.5A priority Critical patent/CN109118495B/zh
Publication of CN109118495A publication Critical patent/CN109118495A/zh
Application granted granted Critical
Publication of CN109118495B publication Critical patent/CN109118495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种视网膜血管分割方法，该方法基于深度全卷积网络模型进行视网膜血管分割，而该模型包括残差联想模块，该残差联想模块用于提取输入到残差联想模块的视网膜血管图像中的多个不同尺度上的分支血管特征信息，将所述多个不同尺度上的分支血管特征信息进行组合，去除组合后血管特征信息中的冗余血管特征信息，将所述输入到残差联想模块的视网膜血管图像和去除冗余血管特征信息的组合后的血管特征信息进行合并，生成所述残差联想模块的输出图像。如此，基于该模型的方法提高了血管分割的准确性，有利于辅助医生的准确诊断。

Description

一种视网膜血管分割方法和装置
技术领域
本申请涉及医学影像技术领域，特别涉及一种视网膜血管分割方法和装置。此外，本申请还特别涉及一种深度全卷积网络模型的训练方法和装置。
背景技术
视网膜可作为常见疾病例如高血压、糖尿病和脑卒中等重要检测指标，多年来，一直是国内外医学研究的热点。
常见的视网膜血管病变有血管局限缩窄、弥漫缩窄、动静脉交叉压迫、血管行走改变、铜丝动脉、出血、棉絮斑、硬性渗出等。对眼底图像进行血管分割是视网膜血管病变检测的基础。
现有的视网膜血管分割方法主要分为两大类：基于规则和基于学习。
基于规则的方法主要是利用视网膜图像中血管的特性，设计相应的滤波器完成增强血管特征和抑制背景噪声任务。例如基于匹配滤波的方法，该方法是将滤波器和图像进行卷积来提取目标对象，由于视网膜血管剖面的灰度符合高斯特性，因此可以通过计算图像滤波后的最大响应值来进行血管分割。经典的匹配滤波方法是根据血管特征基本符合高斯分布的特点，将视网膜血管与高斯分布函数进行不同方向的匹配滤波(典型值：12个不同方向)，然后对响应结果进行阈值化，选取响应最大的匹配滤波结果作为血管输出，最终提取出视网膜血管图像。
基于学习的视网膜图像分割方法大致可以分为两类：基于传统机器学习的方法和基于深度学习的方法。基于传统机器学习的方法主要是选择有效特征和分类器选择，而基于深度学习的方法关键在于网络结构的设计。传统机器学习方法主要采用二维Gabor小波变换响应等方法，提取有限特征，然后训练支持向量机进行分类。而深度学习可以自动提取图像特征并且取得很好的效果，有人尝试用卷积神经网络和全卷积网络来进行血管分割。
然而，基于规则的方法不仅计算量较大，而且视网膜中病变部位的特征与血管特征非常相似，这会给疾病检测带来很大难度。
基于学习的方法中，传统机器学习很难设计出有效的特征来描述视网膜血管多种形态，而深度学习相比传统方法分割结果有一定程度提高，但是在视网膜中血管不明显区域，分割结果不准确，不利于辅助医生的准确诊断。
发明内容
有鉴于此，本申请实施例提供了一种视网膜血管分割方法和装置，以提高视网膜血管分割的准确性，进而辅助医生提高诊断准确性。
此外，本申请实施例还提供了一种深度全卷积网络模型的训练方法和装置。
为了解决上述技术问题，本申请采用了如下技术方案：
一种视网膜血管分割方法，包括：
获取待分割视网膜血管图像；
根据深度全卷积网络模型对所述待分割视网膜血管图像进行分割，得到所述待分割视网膜血管图像的分割结果图；
所述深度全卷积网络模型包括残差联想模块，所述残差联想模块用于提取输入到残差联想模块的视网膜血管图像中的多个不同尺度上的分支血管特征信息，将所述多个不同尺度上的分支血管特征信息进行组合，去除组合后血管特征信息中的冗余血管特征信息，将所述输入到残差联想模块的视网膜血管图像和去除冗余血管特征信息的组合后的血管特征信息进行合并，生成所述残差联想模块的输出图像；
所述输入到残差联想模块的视网膜血管图像为对所述待分割视网膜血管图像进行血管特征信息缩减后的图像。
可选地，所述深度全卷积网络模型具体包括解码网络和编码网络；
其中，所述解码网络包括多个级联的第一神经网络组和第一卷积层，
所述第一神经网络组包括级联的第二卷积层、所述残差联想模块和第一最大池化层；
所述第二卷积层用于缩减所述待分割视网膜血管图像或者缩减经过位于所述第二卷积层之前的第一神经网络组处理后的待分割视网膜血管图像中的血管特征信息；
所述第一最大池化层用于对所述残差联想模块的输出图像进行池化，以得到池化后的视网膜血管图像；
所述第一卷积层用于提取由最深层的第一最大池化层池化后的视网膜血管图像的主干血管特征信息；
所述编码网络包括多个级联的第二神经网络组和第三卷积层，各个所述第二神经网络组包括级联的反卷积层、合并层和第四卷积层；
所述反卷积层用于将池化后的视网膜血管图像恢复到池化前的视网膜血管图像；
所述合并层用于将反卷积层的输出与相应的解码网络中的残差联想模块的输出图像进行线性相加合并，以恢复血管特征信息；
所述第四卷积层用于恢复解码网络中的第一最大池化层在池化过程中丢失的血管特征信息；
所述第三卷积层用于对最深一层的第四卷积层的输出结果进行逻辑回归。
可选地，所述残差联想模块包括联想模块和残差模块；
所述联想模块包括多个分支、组合层和第五卷积层；
所述多个分支用于提取多个不同尺度上的分支血管特征信息；
所述组合层用于将所述多个不同尺度上的分支血管特征信息在对应位置相加，得到组合后的血管特征信息；
所述第五卷积层用于去除所述组合后的血管特征信息中的冗余血管特征信息；
所述残差模块用于将输入到所述残差联想模块的视网膜血管图像和去除冗余血管特征信息的组合后的血管特征信息进行线性相加合并，生成所述残差联想模块的输出图像。
可选地，所述获取待分割视网膜血管图像之后，所述根据深度全卷积网络模型对所述待分割视网膜血管图像进行分割，得到所述待分割视网膜血管图像的分割结果图之前，还包括：
对所述待分割视网膜血管图像进行图像增强处理，得到增强处理后的待分割视网膜血管图像；
所述根据深度全卷积网络模型对所述待分割视网膜血管图像进行分割，得到所述待分割视网膜血管图像的分割结果图，具体为：
根据深度全卷积网络模型对所述增强处理后的视网膜血管图像进行分割，得到所述待分割视网膜血管图像的分割结果图。
一种深度全卷积网络模型的训练方法，所述深度全卷积网络模型用于视网膜血管分割，所述方法包括：
获取原始训练样本，所述原始训练样本包括原始视网膜血管训练图像和与所述原始视网膜血管训练图像对应的标签图像；所述标签图像为已标注出视网膜血管的视网膜血管图像；
对所述原始训练样本进行样本扩展，得到扩展后的训练样本，所述扩展后的训练样本包括扩展后的视网膜血管训练图像和与所述扩展后的视网膜血管训练图像对应的标签图像；
设置深度全卷积网络模型的模型参数的初始值；
根据所述扩展后的训练样本和模型参数的初始值对预先搭建的深度全卷积网络模型进行训练，直至满足预设训练结束条件；
其中，所述深度全卷积网络模型包括残差联想模块，所述残差联想模块的搭建包括：学习输入到残差联想模块的视网膜血管训练图像的多个不同尺度上的分支血管特征信息，将所述多个不同尺度上的分支血管特征信息进行组合，去除组合后血管特征信息中的冗余血管特征信息，将所述输入到残差联想模块的视网膜血管训练图像和去除冗余血管特征信息的组合后的血管特征信息进行合并；
所述输入到残差联想模块的视网膜血管训练图像为对所述扩展后的视网膜血管训练图像进行血管特征信息缩减后的图像。
可选地，所述根据所述扩展后的训练样本和模型参数的初始值对预先搭建的深度全卷积网络模型进行训练，具体包括：
根据所述扩展后的训练样本和模型参数的初始值采用随机梯度下降法对预先搭建的深度全卷积网络模型进行训练。
可选地，所述预设条件为扩展后的训练样本中的视网膜血管图像的预测结果与对应的标签图像的误差收敛到预设误差；
所述根据所述扩展后的训练样本和模型参数的初始值采用随机梯度下降法对预先搭建的深度全卷积网络模型进行训练，具体包括：
步骤A：将扩展后的视网膜血管图像作为深度全卷积网络模型的输入，根据模型参数的初始值，获取所述扩展后的视网膜血管图像的预测分割结果；
步骤B：根据所述预测分割结果和所述扩展后的视网膜血管图像对应的标签图像，计算损失函数值；
步骤C：判断所述损失函数值是否收敛到预设值，如果是，训练结束，如果否，调整模型参数，并将所述模型参数的初始值更新为调整后的模型参数，返回执行所述步骤A。
可选地，所述扩展后的训练样本划分为多批训练样本，每批训练样本包括m个训练样本；m为正整数；
所述调整模型参数，具体包括：
从所述扩展后的训练样本中任选一批训练样本；
根据选取的训练样本损失函数的各个偏移量计算模型参数的平均梯度值；
根据学习率和所述模型参数的平均梯度值更新所述模型参数。
可选地，对所述原始训练样本进行样本扩展，得到扩展后的训练样本之后，所述根据所述扩展后的训练样本和模型参数的初始值对预先搭建的深度全卷积网络模型进行训练之前，还包括：
对扩展后的训练样本进行图像增强处理；
所述根据所述扩展后的训练样本和模型参数的初始值对预先搭建的深度全卷积网络模型进行训练，具体包括：
根据增强处理后的扩展后的训练样本和模型参数的初始值对预先搭建的深度全卷积网络模型进行训练。
一种视网膜血管分割装置，包括：
图像获取单元，用于获取待分割视网膜血管图像；
分割单元，用于根据深度全卷积网络模型对所述待分割视网膜血管图像进行分割，得到所述待分割视网膜血管图像的分割结果图；
所述深度全卷积网络模型包括残差联想模块，所述残差联想模块用于提取输入到残差联想模块的视网膜血管图像中的多个不同尺度上的分支血管特征信息，将所述多个不同尺度上的分支血管特征信息进行组合，去除组合后血管特征信息中的冗余血管特征信息，将所述输入到残差联想模块的视网膜血管图像和去除冗余血管特征信息的组合后的血管特征信息进行合并，生成所述残差联想模块的输出图像；
所述输入到残差联想模块的视网膜血管图像为对所述待分割视网膜血管图像进行血管特征信息缩减后的图像。
一种深度全卷积网络模型的训练装置，所述深度全卷积网络模型用于视网膜血管分割，所述装置包括：
样本获取单元，用于获取原始训练样本，所述原始训练样本包括原始视网膜血管训练图像和与所述原始视网膜血管训练图像对应的标签图像；所述标签图像为已标注出视网膜血管的视网膜血管图像；
样本扩展单元，用于对所述原始训练样本进行样本扩展，得到扩展后的训练样本，所述扩展后的训练样本包括扩展后的视网膜血管训练图像和与所述扩展后的视网膜血管训练图像对应的标签图像；
设置单元，用于设置深度全卷积网络模型的模型参数的初始值；
训练单元，用于根据所述扩展后的训练样本和模型参数的初始值对预先搭建的深度全卷积网络模型进行训练，直至满足预设训练结束条件；
其中，所述深度全卷积网络模型包括残差联想模块，所述残差联想模块的搭建包括：学习输入到残差联想模块的视网膜血管训练图像的多个不同尺度上的分支血管特征信息，将所述多个不同尺度上的分支血管特征信息进行组合，去除组合后血管特征信息中的冗余血管特征信息，将所述输入到残差联想模块的视网膜血管训练图像和去除冗余血管特征信息的组合后的血管特征信息进行合并；
所述输入到残差联想模块的视网膜血管训练图像为对所述扩展后的视网膜血管训练图像进行血管特征信息缩减后的图像。
相较于现有技术，本申请具有以下有益效果：
基于以上技术方案可知，本申请基于深度全卷积网络模型对待分割视网膜血管图像进行分割。该深度全卷积网络模型包括残差联想模块，该残差联想模块能够提取输入到残差联想模块的视网膜血管图像中的多个不同尺度上的分支血管特征信息，如此，有利于提高不同层次的分支血管以及毛细血管的分割准确率，进而提高视网膜血管图像的分割准确性。而且，该残差联想模块能够将输入到残差联想模块的视网膜血管图像和去除冗余血管特征信息的组合后的血管特征信息进行合并；如此，有效缓解了随着网络层数越深，越容易出现梯度消失和梯度爆炸问题，保证了有效特征的传递，有利于恢复图像，提高血管分割的准确性。此外，该深度全卷积网络模型能够去除掉组合后血管特性信息中的冗余血管特征信息，从而实现对图像的局部细节信息进行修复，使得分割得到的结果更加准确、真实。因而，该方法提高了血管分割的准确性，有利于辅助医生的准确诊断。
附图说明
为了清楚地理解本申请的具体实施方式，下面将描述本申请具体实施方式时用到的附图做一简要说明。
图1是本申请实施例提供的深度全卷积网络模型框架示意图；
图2是本申请实施例提供的残差联想模块结构示意图；
图3是本申请实施例提供的深度全卷积网络模型的训练方法流程示意图；
图4是本申请实施例提供的S35的一种实现方式流程示意图；
图5是本申请实施例提供的S35的另一种实现方式流程示意图；
图6是本申请实施例提供的一种视网膜血管分割方法流程示意图；
图7是本申请实施例提供的另一种视网膜血管分割方法流程示意图；
图8是本申请实施例提供的对比试验效果示意图；其中，(a)为视网膜血管原始图像，(b)为标签图像，(c)为采用Unet细胞分割模型得到的分割图像，(d)为采用本申请提供的深度全卷积网络模型得到的分割图像；
图9是本申请实施例提供的实现视网膜血管分割方法的控制设备结构示意图；
图10是本申请实施例提供的一种视网膜血管分割装置结构示意图；
图11是本申请实施例提供的深度全卷积网络模型的训练装置示意图。
具体实施方式
基于背景技术部分可知，现有的视网膜血管分割的方法的分割结果不准确。为了解决分割结果不准确的问题，本申请提供了一种基于新的深度全卷积网络模型的视网膜血管分割方法。该视网膜血管分割方法基于深度全卷积网络模型对待分割视网膜血管图像进行分割。如此，深度全卷积网络模型是实现本申请视网膜血管分割的基础。为了清楚地理解本申请的视网膜血管分割方法的具体实现方式，首先介绍本申请实施例进行视网膜血管分割的基础：深度全卷积网络模型。
考虑到视网膜血管的特点，例如，视网膜血管包括主干血管以及多个不同层次或尺度上的分支血管，在视网膜血管分割中，需要将这些不同尺度上的主干血管和分支血管等需要分割出来，因此，本申请采用的深度全卷积网络模型包括残差联想模块，该残差联想模块能够提取输入到残差联想模块的视网膜血管图像中的多个不同尺度上的分支血管特征信息，如此，有利于提高不同层次的分支血管以及毛细血管的分割准确率，进而提高视网膜血管图像的分割准确性。而且，该残差联想模块能够将输入到残差联想模块的视网膜血管图像和去除冗余血管特征信息的组合后的血管特征信息进行合并；如此，有效缓解了随着网络层数越深，越容易出现梯度消失和梯度爆炸问题，保证了有效特征的传递，有利于恢复图像，提高血管分割的准确性。此外，该深度全卷积网络模型能够去除掉组合后血管特性信息中的冗余血管特征信息，从而实现对图像的局部细节信息进行修复，使得分割得到的结果更加准确、真实。因而，该方法提高了血管分割的准确性，有利于辅助医生的准确诊断。
具体地，本申请提供的深度全卷积网络模型可以是在全卷积网络的基础上增加了多个连接的残差联想模块。
作为示例，本申请构建的深度全卷积网络模型包括解码网络和编码网络，深度全卷积网络模型包括解码网络和编码网络，
所述解码网络包括多个级联的第一神经网络组和第一卷积层，
所述第一神经网络组包括级联的第二卷积层、残差联想模块和第一最大池化层；
所述第二卷积层用于缩减所述待分割视网膜血管图像或者缩减经过位于所述第二卷积层之前的第一神经网络组处理后的待分割视网膜血管图像中的血管特征信息。之所以构建第二卷积层是因为视网膜血管图像中的血管特征信息很多，所直接对原始待分割视网膜血管图像进行血管分割，则很难得到理想的分割结果，因此，需要在分割处理之前，缩减待分割视网膜血管图像中的血管特征信息，以得到准确的视网膜血管分割结果。
所述残差联想模块用于提取输入到残差联想模块的视网膜血管图像中的多个不同尺度上的分支血管特征信息，将所述多个不同尺度上的分支血管特征信息进行组合，去除组合后血管特征信息中的冗余血管特征信息，将所述输入到残差联想模块的视网膜血管图像和去除冗余血管特征信息的组合后的血管特征信息进行合并，生成所述残差联想模块的输出图像；
所述第一最大池化层用于对所述残差联想模块的输出图像进行池化，以得到池化后的视网膜血管图像；第一最大池化层的池化操作相当于对视网膜血管图像的降采样操作。
所述第一卷积层用于提取由最深层的第一最大池化层池化后的视网膜血管图像的主干血管特征信息；
如此，在解码网络中，通过残差联想模块能够提取到视网膜血管中的多个不同尺度上分支血管特征信息，通过第一卷积层能够提取到主干血管特征信息，因此，通过该解码网络能够提取到不同尺度以及不同层次上的血管特征信息，如此，能够保证深度全卷积网络模型对视网膜血管图像的分割准确性。
需要说明，在本申请实施例中，多个不同尺度上分支血管可以包括从主干血管上分出的第一层次的分支血管、从第一层次的分支血管分出的第二层次的分支血管，依次类推，直到毛细血管。也可以理解，多个不同尺度上的分支血管可以包括除主干血管以外的其它分支血管。
所述编码网络包括多个级联的第二神经网络组和第三卷积层，各个所述第二神经网络组包括级联的反卷积层、合并层和第四卷积层；
所述反卷积层用于将池化后的视网膜血管图像恢复到池化前的视网膜血管图像；
所述合并层用于将反卷积层的输出与相应的解码网络中的残差联想模块的输出图像进行线性相加合并，以恢复血管特征信息；
所述第四卷积层用于恢复解码网络中的第一最大池化层在池化过程中丢失的血管特征信息；
所述第三卷积层用于对最深一层的第四卷积层的输出结果进行逻辑回归。
在上述深度全卷积网络模型中，残差联想模块可以具体包括：
联想模块和残差模块；
所述联想模块包括多个分支、组合层和第五卷积层；
所述多个分支用于提取多个不同尺度上的分支血管特征信息；作为示例，该多个分支可以包括第二最大池化层分支和至少两个卷积神经网络分支；
所述组合层用于将所述多个不同尺度上的分支血管特征信息在对应位置相加，得到组合后的血管特征信息；
所述第五卷积层用于去除所述组合后的血管特征信息中的冗余血管特征信息；
所述残差模块用于将输入到所述残差联想模块的视网膜血管图像和去除冗余血管特征信息的组合后的血管特征信息进行线性相加合并，生成所述残差联想模块的输出图像。
为了清楚地理解本申请实施例提供的深度全卷积网络模型的结构，作为示例，图1示出了一种深度全卷积网络模型的结构示意图。图2示出了一种残差联想模块的结构示意图。
在图1中示例的深度全卷积网络模型中，解码网络包括4个级联的第一神经网络组(1)至(4)，编码网络包括4个级联的第二神经网络组(1)至(4)。
在第一神经网络组(4)和第二神经网络组(1)之间设置有第一卷积层5-1和5-2。
其中，第一神经网络组(1)包括级联的第二卷积层1、残差联想模块1和第一最大池化层1，第一神经网络组(2)包括级联的第二卷积层2、残差联想模块2和第一最大池化层2，第一神经网络组(3)包括级联的第二卷积层3、残差联想模块3和第一最大池化层3，第一神经网络组(4)包括级联的第二卷积层4、残差联想模块4和第一最大池化层4。在各个第一神经网络组中，第二卷积层1至4的参数均相同，残差联想模块1至4的参数也均相同，第一最大池化层1至4的参数均相同。
在本申请实施例中，第一神经网络组(1)用于对输入的待分割视网膜血管原始图像内的多个尺度上的分支血管特征信息进行提取。具体地，第二卷积层1用于缩减待分割视网膜血管原始图像中的血管特征信息；，残差联想模块1用于提取血管特征信息缩减后的待分割视网膜血管图像中的多个尺度上的分支血管特征信息，第一最大池化层1用于对视网膜血管原始图像进行池化操作，相当于对视网膜血管原始图像进行降采样。
第一神经网络组(2)用于对由第一最大池化层1池化后的图像内的多个尺度上的分支血管特征信息进行提取。该具体过程与第一神经网络组(1)中的具体过程类似，在此不再赘述。
第一神经网络组(3)用于对由第一最大池化层2池化后的图像内的多个尺度上的分支血管特征信息进行提取。该具体过程与第一神经网络组(1)中的具体过程类似，在此不再赘述。
第一神经网络组(4)用于对由第一最大池化层3池化后的图像内的多个尺度上的分支血管特征信息进行提取。该具体过程与第一神经网络组(1)中的具体过程类似，在此不再赘述。
第一卷积层5-1用于对由第一最大池化层4池化后的图像进行卷积，第一卷积层5-2用于对由第一卷积层5-1卷积后的图像继续进行卷积，从而提取到视网膜血管图像的主干血管特征信息。
第二神经网络组(1)包括级联的反卷积层1、合并层1、和第四卷积层6-1、第四卷积层6-2，第二神经网络组(2)包括级联的反卷积层2、合并层2、和第四卷积层7-1、第四卷积层7-2，第二神经网络组(3)包括级联的反卷积层3、合并层3、和第四卷积层8-1、第四卷积层8-2，第二神经网络组(4)包括级联的反卷积层4、合并层4、和第四卷积层9-1、第四卷积层9-2，
在各个第二神经网络组(1)至(4)中，各个第四卷积层6-1至9-1的参数相同，各个第四卷积层6-2至9-2的参数相同，各个反卷积层1-4的参数也均相同，各个合并层1-4的参数也均相同。
在第二神经网络组(4)的第四卷积层9-2和最深输出层之间还设置有第三卷积层9-3，该第三卷积层9-3用于实现图像的逻辑回归，其不属于第二神经网络组。
在本申请实施例中，第二神经网络组(1)用于将图像的血管特征信息恢复至第一最大池化层3池化后的图像对应的位置中。具体地，反卷积层1用于对第一最大池化层4的反向操作，以将图像恢复至第一最大池化层4池化前的图像中的对应位置，但是，该恢复的图像的血管特征信息丢失，图像较为模糊；
合并层1用于恢复图像的血管特征信息，该图像的血管特征信息来自于残差联想模块4的输出结果。
第四卷积层6-1和6-2用于恢复图像在第一最大池化层4对图像进行池化过程中丢失的图像血管特征信息。
与第二神经网络组(1)类似，第二神经网络组(2)至(4)也用于恢复图像的信息，最终由第二神经网络组(4)中的第四卷积层9-2输出最终恢复出的图像中的所有血管特征信息的对应位置，最后经由第三卷积层9-3的逻辑回归，从而得到视网膜血管图像分割结果图。
需要说明，图1所示的深度全卷积网络模型中，解码网络包括的第一神经网络组的个数以及编码网络包括的第二神经网络组的个数均为示例，不应理解为对本申请实施例的限定。实际上，解码网络包括的第一神经网络组的个数以及编码网络包括的第二神经网络组的个数还可以为其它数，例如2个，7个等等。需要说明，因编码和解码具有一一对应的关系，所以，在本申请实施例提供的深度全卷积网络模型中，解码网络包括的第一神经网络组的个数与编码网络包括的第二神经网络组的个数相等。
此外，第二神经网络组包括的卷积层的个数不限定为2个，其还可以为3个或3个以上。
在图2所示的残差联想模块中，其包括联想模块和残差模块组成。联想模块包括四个不同的分支、组合层和第五卷积层；
其中，四个分支分别为分支1至分支4，其中，分支1由第二最大池化层组成，分支2由卷积核为1x1的卷积层和卷积核为3x3的卷积层串联组成，分支3由卷积核为1x1的卷积层和卷积核为5x5的卷积层串联组成，分支4由卷积核为1x1的卷积层组成；
组合层将四个分支结果进行串联组合，得到串联组合结果；
第五卷积层用于利用3x3的卷积核对串联组合结果进行卷积，得到联想模块结果；
残差模块用于将残差联想模块的输入和所述联想模块结果进行线性相加合并，生成所述残差联想模块的输出。
在图2所示的残差联想模块中，联想模块包括的4个完全不同的分支，能够提取视网膜血管图像中不同尺度层次的分支血管特征，有利于小血管分支的分割准确率，提高视网膜血管图像的分割准确性。
图1和图2示例性地示出了本申请实施例提供的深度全卷积网络模型的结构。
下面介绍如何将上述所述的深度全卷积网络模型训练成用于实现视网膜血管的分割的模型。
需要说明，在训练深度全卷积网络模型之前，需要基于视网膜血管分割的特点，搭建深度全卷积网络模型。在本申请实施例中，该深度全卷积网络模型是在全卷积网络的基础上增设了残差联想模块。该残差联想模块的搭建包括：
学习输入到残差联想模块的视网膜血管训练图像的多个不同尺度上的分支血管特征信息，将所述多个不同尺度上的分支血管特征信息进行组合，去除组合后血管特征信息中的冗余血管特征信息，将所述输入到残差联想模块的视网膜血管训练图像和去除冗余血管特征信息的组合后的血管特征信息进行合并；
所述输入到残差联想模块的视网膜血管训练图像为对所述扩展后的视网膜血管训练图像进行血管特征信息缩减后的图像。
如此，基于上述残差联想模块的搭建过程，搭建出的残差联想模块的结构如上所述，作为示例，可以如图2所示的结构。
请参见图3，本申请实施例提供的深度全卷积网络模型训练方法包括以下步骤：
S31：获取原始训练样本，该原始训练样本包括原始视网膜血管图像和与原始视网膜血管图像对应的标签图像；标签图像为已标注出视网膜血管的视网膜血管图像。
需要说明，本申请实施例可以利用公开数据库DRIVE(Digital RetinalImage forVessel Extraction)，DRIVE中包含40组视网膜图像，每组视网膜图像包括原始图像和相应的标签图像，分辨率为565*584。
S32：对原始训练样本进行样本扩展，得到扩展后的训练样本，所述扩展后的训练样本包括扩展后的视网膜血管训练图像和与所述扩展后的视网膜血管训练图像对应的标签图像。
由于数据库中的图像数量太少易导致过拟合，以提高模型的泛化能力，因此，对原始训练样本进行样本扩展。对视网膜血管图像和对应的标签图像分别进行相同的随机刚性变换，具体包括：旋转、缩放、平移、翻转和灰度变换。
更具体地，可以对视网膜血管图像和对应的标签图像分别进行上下平移、左右平移、旋转90°、旋转180°、旋转270°、上下对称变换、左右对称变换和灰度变换，完成对视网膜血管图像的数据扩增。通过上述变换，可以将原先的40张图像扩增到4000张。其中，可以用其中的3500张进行模型训练，剩余的500张进行模型测试。
S33：对扩展后的训练样本进行图像增强处理。
需要说明，为了提高模型的准确性，需要提高用于训练模型的样本数据的质量。为此，为了提高模型的准确性，本申请提供的训练方法中在生成扩展后的训练样本后，进行模型训练之前，还可以对扩展后的训练样本进行图像增强处理，以提高训练样本的图像质量。
作为示例，S33可以具体为：首先将视网膜图像转化为RGB类型的图像，分离G通道的图像，然后通过中值滤波对视网膜图像进行过滤和通过直方图对图像均衡化。
其中，通过中值滤波对视网膜图像进行过滤可以具体为：对每个图像像素，选择一个模版，一般模版为3x3，对模版中的像素进行从大到小排序，然后用模版的中值来替换原像素值。
通过直方图对图像均衡化可以具体为：先求出G通道图像的直方图，然后计算出灰度值变化表，再对每个像素的灰度值进行查表变换操作。
S34：设置深度全卷积网络模型的模型参数的初始值。
在本申请实施例中，深度全卷积网络模型的模型参数包括两类：特征参数和超参数。特征参数是用于学习图像特征的参数，特征参数包括权重参数和偏置参数。超参数是在训练时要设置的参数，只有设置合适的超参数才能从样本中学到特征参数。超参数可以包括学习率、隐藏层个数、卷积核大小、训练迭代次数，每次迭代批次大小。学习率可以看作是步长。
作为示例，本申请可以设置学习率为0.001，隐藏层个数分别为16，32，64，128，256，512，卷积核大小为3x3，训练迭代次数为30000次，每次迭代批次大小为4。
S35：根据增强处理后的扩展后的训练样本和模型参数的初始值对预先搭建的深度全卷积网络模型进行训练，直至满足预设训练结束条件。
需要说明，深度全卷积网络模型的训练目的是为了由该模型得到的视网膜血管分割结果与真实准确的视网膜血管分割结果(本申请实施例中，标签图像能够反映真实准确的视网膜血管分割结果)相近，也就是，两者的误差缩小到一定范围，因此，预设训练结束条件可以为扩展后的训练样本中的视网膜血管图像的预测结果与对应的标签图像的误差收敛到预设误差。
此外，深度全卷积网络模型的训练过程为一个多次循环迭代过程，因此，可以通过设置迭代多少次结束训练，因此，预设训练结束条件可以为迭代次数达到设定迭代次数。
作为示例，为了快速简单地实现深度全卷积网络模型的训练，可以采用梯度下降法来训练深度全卷积网络模型。这是因为，模型训练过程实际上是最小化损失函数的过程，而求导数可以快速简单地实现这个目标。这种基于导数的方法就是梯度下降法。
此外，在本申请实施例中，可以利用训练样本分批进行模型训练，以提高模型训练的准确性。如此，本申请实施例可以将训练样本分为多批训练数据，每批训练数据包括m个训练样本，m为正整数。
下面根据不同的预设训练结束条件来分别描述S35的具体实现方式。
1、预设训练结束条件为扩展后的训练样本中的视网膜血管图像的预测结果与对应的标签图像的误差收敛到预设误差：
在该情形下，如图4所示，S35可以具体包括以下步骤：
S351：将扩展后的视网膜血管图像作为深度全卷积网络模型的输入，根据模型参数的初始值，获取所述扩展后的视网膜血管图像的预测分割结果。
S352：根据所述预测分割结果和所述扩展后的视网膜血管图像对应的标签图像，计算损失函数值。
本申请实施例定义的损失函数L(W,b)可以表示为：
其中，W和b表示深度全卷积网络模型的权重参数和偏置参数，m为一批样本中包括的训练样本的数量，m为正整数，xi表示输入的第i个训练样本，fW,b(xi)表示第i个训练样本的预测结果，yi表示第i个训练样本的对应的标签图像，K是平滑参数，防止分母为零无法计算；
i∈{1,2,...,m}。
S353：判断所述损失函数值是否收敛到预设值，如果是，训练结束，如果否，执行S354：
S354：调整模型参数，并将所述模型参数的初始值更新为调整后的模型参数，返回执行S351。
当损失函数值未收敛到预设值时，表示深度全卷积网络模型还不准确，需要继续对该模型进行训练，如此，则调整模型参数，并将模型参数的初始值更新为调整后的模型参数，返回执行S351，进入下一次迭代过程。
作为示例，本申请可以采用反向传播算法调整模型参数，其可以具体包括以下步骤：
(1)从增强处理后的扩展后的训练样本中任选一批训练样本。
需要说明，在本申请实施例中，训练样本划分为多批训练样本，每批训练样本包括m个训练样本；m为正整数。
如此，步骤(1)从增强处理后的扩展后的训练样本中选取m个训练样本，每个训练样本包括视网膜血管图像以及其对应的标签图像。
设定，该选取的m个训练样本表示为{x1,...,xm}，则xi对应的标签图像为yi，其中，i∈{1,2,...,m}。
(2)根据选取的训练样本损失函数的各个偏移量计算模型参数的平均梯度值。
作为示例，模型参数的平均梯度值的计算公式如下：
其中，g为模型参数的平均梯度值；
θ表示所有权重参数和偏置参数的集合；
表示第i个训练样本的损失函数对θ的偏移量；
L(f(xi；θ),yi)表示第i个训练样本的损失函数值；
将上述公式(2)展开，变为以下公式(3)
当m＝4时，模型参数的平均梯度值的计算公式可以具体为：
根据学习率和所述模型参数的梯度值更新所述模型参数。
作为示例，可以根据以下公式来更新模型参数：
θ＝θ-ε·g (5)
其中，g为模型参数的平均梯度值；
θ表示所有权重参数和偏置参数的集合；
ε为学习率。
2、预设训练结束条件为迭代次数达到设定迭代次数：
在该情形下，如图5所示，S35的可以包括以下步骤：
S351’：设定初始迭代次数n＝1。
S352’：将扩展后的视网膜血管图像作为深度全卷积网络模型的输入，根据模型参数的初始值，获取所述扩展后的视网膜血管图像的预测分割结果。
S353’：根据所述预测分割结果和所述扩展后的视网膜血管图像对应的标签图像，计算损失函数值。
该步骤可以采用上述S352的计算损失函数值的具体实现方式来实现。
S354’：判断所述损失函数值是否收敛到预设值，如果是，训练结束，如果否，执行S355’。
S355’：更新迭代次数，n＝n+1。
S356’：判断迭代次数是否达到预设迭代次数，如果是，训练结束，如果否，执行S357’。
S357’：调整模型参数，并将所述模型参数的初始值更新为调整后的模型参数，返回执行S352’。
以上为本申请实施例提供的深度全卷积网络模型的训练方法的具体实现方式。
基于该训练好的深度全卷积网络模型，本申请还提供了一种视网膜血管分割方法的具体实现方式，请参见图6。
图6是本申请实施例提供的一种视网膜血管分割方法流程示意图。如图6所示，该方法包括以下步骤：
S61：获取待分割视网膜血管图像。
S62：根据深度全卷积网络模型对所述待分割视网膜血管图像进行分割，得到所述待分割视网膜血管图像的分割结果图。
需要说明，在本申请实施例中，采用的深度全卷积网络模型为上述实施例训练得到的模型。该深度全卷积网络模型包括残差联想模块，该残差联想模块能够提取输入到残差联想模块的视网膜血管图像中的多个不同尺度上的分支血管特征信息，如此，有利于提高不同层次的分支血管以及毛细血管的分割准确率，进而提高视网膜血管图像的分割准确性。而且，该残差联想模块能够将输入到残差联想模块的视网膜血管图像和去除冗余血管特征信息的组合后的血管特征信息进行合并；如此，有效缓解了随着网络层数越深，越容易出现梯度消失和梯度爆炸问题，保证了有效特征的传递，有利于恢复图像，提高血管分割的准确性。此外，该深度全卷积网络模型能够去除掉组合后血管特性信息中的冗余血管特征信息，从而实现对图像的局部细节信息进行修复，使得分割得到的结果更加准确、真实。因而，该方法提高了血管分割的准确性，有利于辅助医生的准确诊断。
此外，利用该深度全卷积网络模型，能够实现端到端的网络训练和应用，可以更好的辅助医生提高诊断准确性。
此外，作为本申请的另一具体实施例，为了提高血管分割的准确性，在进行分割之前，还可以对视网膜血管图像进行处理，具体参见图7。
图7是本申请实施例提供的另一种视网膜血管分割方法的流程示意图。如图7所示，该方法包括以下步骤：
S71：获取待分割视网膜血管图像；
S72：对所述待分割视网膜血管图像进行图像增强处理，得到增强处理后的视网膜血管图像。
本步骤可以具体为：首先将待分割视网膜图像转化为RGB类型的图像，分离G通道的图像，然后通过中值滤波对视网膜图像进行过滤和通过直方图对图像均衡化。
S73：根据深度全卷积网络模型对所述增强处理后的视网膜血管图像进行分割，得到所述待分割视网膜血管图像的分割结果图。
在图7所示的实施例中，根据增强处理后的待分割视网膜血管图像利用深度全卷积网络模型进行血管分割，因增强处理后的待分割视网膜血管图像质量得到提升，因此，基于该图像质量提升的视网膜血管图像能够得到更加准确的视网膜血管分割结果。
为了验证本申请实施例提供的视网膜血管分割方法达到的血管分割效果，本申请实施例还做了以下对比试验结果。
下面结合图8(a)至(d)对本申请说明本申请实施例提供的对比试验结果，在图8中，(a)为视网膜血管原始图像，(b)为标签图像，(c)为采用Unet细胞分割模型得到的分割图像，(d)为采用本申请提供的深度全卷积网络模型得到的分割图像。
基于(a)所示的视网膜血管原始图像和(b)所示的标签图像，分别采用Unet细胞分割模型和本申请提供的深度全卷积网络模型进行视网膜血管分割，得到的分割效果图分别如(c)和(d)所示。从(c)和(d)中可以看出，虽然Unet细胞分割模型与本申请分割模型在整体上没有太大的差别，但是根据(a)和(b)，可以很明显地看到，在血管对比度低不明显区域和小血管分支区域(如图中椭圆圈出区域)，本申请提供的深度全卷积网络模型明显优于Unet细胞分割模型的结果，其与真实的标签图像更接近。
以上为本申请实施例提供的视网膜血管分割方法的具体实现方式。
上述各实施例提供的视网膜血管分割方法可以由图9所示的控制设备执行。图9所示的控制设备包括处理器(processor)910，通信接口(Communications Interface)920，存储器(memory)930，总线940。处理器910，通信接口920，存储器930通过总线940完成相互间的通信。
其中，存储器930中可以存储有视网膜血管分割的逻辑指令，该存储器例如可以是非易失性存储器(non-volatile memory)。处理器910可以调用执行存储器930中的视网膜血管分割的逻辑指令，以执行上述的视网膜血管分割方法。作为实施例，该视网膜血管分割的逻辑指令可以为控制软件对应的程序，在处理器执行该指令时，控制设备可以对应地在显示界面上显示该指令对应的功能界面。
视网膜血管分割的逻辑指令的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上述的视网膜血管分割的逻辑指令，可以称为“视网膜血管分割装置”，该装置可以划分成各个功能模块。具体参见以下实施例。
下面结合附图介绍本申请实施例提供的视网膜血管分割装置的具体实施方式。
请参见图10，本申请实施例提供的一种视网膜血管分割装置包括：
图像获取单元101，用于获取待分割视网膜血管图像；
分割单元102，用于根据深度全卷积网络模型对所述待分割视网膜血管图像进行分割，得到所述待分割视网膜血管图像的分割结果图；
所述深度全卷积网络模型为上述实施例所述的深度全卷积网络模型。
该深度全卷积网络模型包括残差联想模块，该残差联想模块在宽度上具有较多的层数，从而在视网膜血管分割过程中，能够提取输入到残差联想模块的视网膜血管图像中的多个不同尺度上的分支血管特征信息，如此，有利于提高不同层次的分支血管以及毛细血管的分割准确率，进而提高视网膜血管图像的分割准确性。而且，该残差联想模块能够将输入到残差联想模块的视网膜血管图像和去除冗余血管特征信息的组合后的血管特征信息进行合并；如此，有效缓解了随着网络层数越深，越容易出现梯度消失和梯度爆炸问题，保证了有效特征的传递，有利于恢复图像，提高血管分割的准确性。此外，该深度全卷积网络模型能够去除掉组合后血管特性信息中的冗余血管特征信息，从而实现对图像的局部细节信息进行修复，使得分割得到的结果更加准确、真实。因而，该装置提高了血管分割的准确性，有利于辅助医生的准确诊断。
此外，基于上述实施例提供的深度全卷积网络模型的训练方法，本申请还提供了一种深度全卷积网络模型的训练装置。该深度全卷积网络模型用于视网膜血管分割，
请参见图11，本申请实施例提供的深度全卷积网络模型的训练装置包括：
样本获取单元111，用于获取原始训练样本，所述原始训练样本包括原始视网膜血管训练图像和与所述原始视网膜血管训练图像对应的标签图像；所述标签图像为已标注出视网膜血管的视网膜血管图像；
样本扩展单元112，用于对所述原始训练样本进行样本扩展，得到扩展后的训练样本，所述扩展后的训练样本包括扩展后的视网膜血管训练图像和与所述扩展后的视网膜血管训练图像对应的标签图像；
设置单元113，用于设置深度全卷积网络模型的模型参数的初始值；
训练单元114，用于根据所述扩展后的训练样本和模型参数的初始值对预先搭建的深度全卷积网络模型进行训练，直至满足预设训练结束条件；
所述深度全卷积网络模型为上述实施例所述的深度全卷积网络模型。
以上为本申请实施例提供的具体实现方式。

Claims (11)

1.一种视网膜血管分割方法，其特征在于，包括：
获取待分割视网膜血管图像；
根据深度全卷积网络模型对所述待分割视网膜血管图像进行分割，得到所述待分割视网膜血管图像的分割结果图；
所述深度全卷积网络模型包括残差联想模块，所述残差联想模块用于提取输入到残差联想模块的视网膜血管图像中的多个不同尺度上的分支血管特征信息，将所述多个不同尺度上的分支血管特征信息进行组合，去除组合后血管特征信息中的冗余血管特征信息，将所述输入到残差联想模块的视网膜血管图像和去除冗余血管特征信息的组合后的血管特征信息进行合并，生成所述残差联想模块的输出图像；
所述输入到残差联想模块的视网膜血管图像为对所述待分割视网膜血管图像进行血管特征信息缩减后的图像。
2.根据权利要求1所述的方法，其特征在于，所述深度全卷积网络模型具体包括解码网络和编码网络；
其中，所述解码网络包括多个级联的第一神经网络组和第一卷积层，
所述第一神经网络组包括级联的第二卷积层、所述残差联想模块和第一最大池化层；
所述第二卷积层用于缩减所述待分割视网膜血管图像或者缩减经过位于所述第二卷积层之前的第一神经网络组处理后的待分割视网膜血管图像中的血管特征信息；
所述第一最大池化层用于对所述残差联想模块的输出图像进行池化，以得到池化后的视网膜血管图像；
所述第一卷积层用于提取由最深层的第一最大池化层池化后的视网膜血管图像的主干血管特征信息；
所述编码网络包括多个级联的第二神经网络组和第三卷积层，各个所述第二神经网络组包括级联的反卷积层、合并层和第四卷积层；
所述反卷积层用于将池化后的视网膜血管图像恢复到池化前的视网膜血管图像；
所述合并层用于将反卷积层的输出与相应的解码网络中的残差联想模块的输出图像进行线性相加合并，以恢复血管特征信息；
所述第四卷积层用于恢复解码网络中的第一最大池化层在池化过程中丢失的血管特征信息；
所述第三卷积层用于对最深一层的第四卷积层的输出结果进行逻辑回归。
3.根据权利要求1或2所述的方法，其特征在于，所述残差联想模块包括联想模块和残差模块；
所述联想模块包括多个分支、组合层和第五卷积层；
所述多个分支用于提取多个不同尺度上的分支血管特征信息；
所述组合层用于将所述多个不同尺度上的分支血管特征信息在对应位置相加，得到组合后的血管特征信息；
所述第五卷积层用于去除所述组合后的血管特征信息中的冗余血管特征信息；
所述残差模块用于将输入到所述残差联想模块的视网膜血管图像和去除冗余血管特征信息的组合后的血管特征信息进行线性相加合并，生成所述残差联想模块的输出图像。
4.根据权利要求1或2所述的方法，其特征在于，所述获取待分割视网膜血管图像之后，所述根据深度全卷积网络模型对所述待分割视网膜血管图像进行分割，得到所述待分割视网膜血管图像的分割结果图之前，还包括：
对所述待分割视网膜血管图像进行图像增强处理，得到增强处理后的待分割视网膜血管图像；
所述根据深度全卷积网络模型对所述待分割视网膜血管图像进行分割，得到所述待分割视网膜血管图像的分割结果图，具体为：
根据深度全卷积网络模型对所述增强处理后的视网膜血管图像进行分割，得到所述待分割视网膜血管图像的分割结果图。
5.一种深度全卷积网络模型的训练方法，所述深度全卷积网络模型用于视网膜血管分割，其特征在于，所述方法包括：
获取原始训练样本，所述原始训练样本包括原始视网膜血管训练图像和与所述原始视网膜血管训练图像对应的标签图像；所述标签图像为已标注出视网膜血管的视网膜血管图像；
对所述原始训练样本进行样本扩展，得到扩展后的训练样本，所述扩展后的训练样本包括扩展后的视网膜血管训练图像和与所述扩展后的视网膜血管训练图像对应的标签图像；
设置深度全卷积网络模型的模型参数的初始值；
根据所述扩展后的训练样本和模型参数的初始值对预先搭建的深度全卷积网络模型进行训练，直至满足预设训练结束条件；
其中，所述深度全卷积网络模型包括残差联想模块，所述残差联想模块的搭建包括：学习输入到残差联想模块的视网膜血管训练图像的多个不同尺度上的分支血管特征信息，将所述多个不同尺度上的分支血管特征信息进行组合，去除组合后血管特征信息中的冗余血管特征信息，将所述输入到残差联想模块的视网膜血管训练图像和去除冗余血管特征信息的组合后的血管特征信息进行合并；
所述输入到残差联想模块的视网膜血管训练图像为对所述扩展后的视网膜血管训练图像进行血管特征信息缩减后的图像。
6.根据权利要求5所述的方法，其特征在于，所述根据所述扩展后的训练样本和模型参数的初始值对预先搭建的深度全卷积网络模型进行训练，具体包括：
根据所述扩展后的训练样本和模型参数的初始值采用随机梯度下降法对预先搭建的深度全卷积网络模型进行训练。
7.根据权利要求6所述的方法，其特征在于，所述预设条件为扩展后的训练样本中的视网膜血管图像的预测结果与对应的标签图像的误差收敛到预设误差；
所述根据所述扩展后的训练样本和模型参数的初始值采用随机梯度下降法对预先搭建的深度全卷积网络模型进行训练，具体包括：
步骤A：将扩展后的视网膜血管图像作为深度全卷积网络模型的输入，根据模型参数的初始值，获取所述扩展后的视网膜血管图像的预测分割结果；
步骤B：根据所述预测分割结果和所述扩展后的视网膜血管图像对应的标签图像，计算损失函数值；
步骤C：判断所述损失函数值是否收敛到预设值，如果是，训练结束，如果否，调整模型参数，并将所述模型参数的初始值更新为调整后的模型参数，返回执行所述步骤A。
8.根据权利要求7所述的方法，其特征在于，所述扩展后的训练样本划分为多批训练样本，每批训练样本包括m个训练样本；m为正整数；
所述调整模型参数，具体包括：
从所述扩展后的训练样本中任选一批训练样本；
根据选取的训练样本损失函数的各个偏移量计算模型参数的平均梯度值；
根据学习率和所述模型参数的平均梯度值更新所述模型参数。
9.根据权利要求5-8任一项所述的方法，其特征在于，对所述原始训练样本进行样本扩展，得到扩展后的训练样本之后，所述根据所述扩展后的训练样本和模型参数的初始值对预先搭建的深度全卷积网络模型进行训练之前，还包括：
对扩展后的训练样本进行图像增强处理；
所述根据所述扩展后的训练样本和模型参数的初始值对预先搭建的深度全卷积网络模型进行训练，具体包括：
根据增强处理后的扩展后的训练样本和模型参数的初始值对预先搭建的深度全卷积网络模型进行训练。
10.一种视网膜血管分割装置，其特征在于，包括：
图像获取单元，用于获取待分割视网膜血管图像；
分割单元，用于根据深度全卷积网络模型对所述待分割视网膜血管图像进行分割，得到所述待分割视网膜血管图像的分割结果图；
所述深度全卷积网络模型包括残差联想模块，所述残差联想模块用于提取输入到残差联想模块的视网膜血管图像中的多个不同尺度上的分支血管特征信息，将所述多个不同尺度上的分支血管特征信息进行组合，去除组合后血管特征信息中的冗余血管特征信息，将所述输入到残差联想模块的视网膜血管图像和去除冗余血管特征信息的组合后的血管特征信息进行合并，生成所述残差联想模块的输出图像；
所述输入到残差联想模块的视网膜血管图像为对所述待分割视网膜血管图像进行血管特征信息缩减后的图像。
11.一种深度全卷积网络模型的训练装置，所述深度全卷积网络模型用于视网膜血管分割，其特征在于，所述装置包括：
样本获取单元，用于获取原始训练样本，所述原始训练样本包括原始视网膜血管训练图像和与所述原始视网膜血管训练图像对应的标签图像；所述标签图像为已标注出视网膜血管的视网膜血管图像；
样本扩展单元，用于对所述原始训练样本进行样本扩展，得到扩展后的训练样本，所述扩展后的训练样本包括扩展后的视网膜血管训练图像和与所述扩展后的视网膜血管训练图像对应的标签图像；
设置单元，用于设置深度全卷积网络模型的模型参数的初始值；
训练单元，用于根据所述扩展后的训练样本和模型参数的初始值对预先搭建的深度全卷积网络模型进行训练，直至满足预设训练结束条件；
其中，所述深度全卷积网络模型包括残差联想模块，所述残差联想模块的搭建包括：学习输入到残差联想模块的视网膜血管训练图像的多个不同尺度上的分支血管特征信息，将所述多个不同尺度上的分支血管特征信息进行组合，去除组合后血管特征信息中的冗余血管特征信息，将所述输入到残差联想模块的视网膜血管训练图像和去除冗余血管特征信息的组合后的血管特征信息进行合并；
所述输入到残差联想模块的视网膜血管训练图像为对所述扩展后的视网膜血管训练图像进行血管特征信息缩减后的图像。
CN201810866052.5A 2018-08-01 2018-08-01 一种视网膜血管分割方法和装置 Active CN109118495B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810866052.5A CN109118495B (zh) 2018-08-01 2018-08-01 一种视网膜血管分割方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810866052.5A CN109118495B (zh) 2018-08-01 2018-08-01 一种视网膜血管分割方法和装置

Publications (2)

Publication Number Publication Date
CN109118495A true CN109118495A (zh) 2019-01-01
CN109118495B CN109118495B (zh) 2020-06-23

Family

ID=64863829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810866052.5A Active CN109118495B (zh) 2018-08-01 2018-08-01 一种视网膜血管分割方法和装置

Country Status (1)

Country Link
CN (1) CN109118495B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816670A (zh) * 2019-01-31 2019-05-28 北京字节跳动网络技术有限公司 用于生成图像分割模型的方法和装置
CN109859146A (zh) * 2019-02-28 2019-06-07 电子科技大学 一种基于U-net卷积神经网络的彩色眼底图像血管分割方法
CN110084156A (zh) * 2019-04-12 2019-08-02 中南大学 一种步态特征提取方法及基于步态特征的行人身份识别方法
CN110136135A (zh) * 2019-05-17 2019-08-16 深圳大学 分割方法、装置、设备以及存储介质
CN110211111A (zh) * 2019-05-31 2019-09-06 上海联影医疗科技有限公司 一种血管提取的方法、装置、图像处理设备及存储介质
CN110349166A (zh) * 2019-06-11 2019-10-18 东软医疗系统股份有限公司 一种针对于视网膜图像的血管分割方法、装置及设备
CN110443813A (zh) * 2019-07-29 2019-11-12 腾讯医疗健康(深圳)有限公司 血管、眼底图像的分割方法、装置、设备及可读存储介质
CN110599505A (zh) * 2019-09-17 2019-12-20 上海微创医疗器械（集团）有限公司 一种器官图像分割方法、装置、电子设备和存储介质
CN112001928A (zh) * 2020-07-16 2020-11-27 北京化工大学 一种视网膜血管分割方法及系统
CN112561868A (zh) * 2020-12-09 2021-03-26 深圳大学 一种基于多视角级联深度学习网络的脑血管分割方法
CN113034415A (zh) * 2021-03-23 2021-06-25 哈尔滨市科佳通用机电股份有限公司 一种铁路机车小部件图像扩增的方法
CN113837985A (zh) * 2020-06-24 2021-12-24 博动医学影像科技（上海）有限公司 用于血管造影图像处理的训练方法和装置、自动处理方法和装置
WO2022188695A1 (zh) * 2021-03-10 2022-09-15 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120195481A1 (en) * 2011-02-01 2012-08-02 Universidade Da Coruna Method, apparatus, and system for automatic retinal image analysis
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
WO2017031099A1 (en) * 2015-08-20 2017-02-23 Ohio University Devices and methods for classifying diabetic and macular degeneration
CN106920227A (zh) * 2016-12-27 2017-07-04 北京工业大学 基于深度学习与传统方法相结合的视网膜血管分割方法
CN107016676A (zh) * 2017-03-13 2017-08-04 三峡大学 一种基于pcnn的视网膜血管图像分割方法和系统
CN107247949A (zh) * 2017-08-02 2017-10-13 北京智慧眼科技股份有限公司 基于深度学习的人脸识别方法、装置和电子设备
CN107256550A (zh) * 2017-06-06 2017-10-17 电子科技大学 一种基于高效cnn‑crf网络的视网膜图像分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120195481A1 (en) * 2011-02-01 2012-08-02 Universidade Da Coruna Method, apparatus, and system for automatic retinal image analysis
WO2017031099A1 (en) * 2015-08-20 2017-02-23 Ohio University Devices and methods for classifying diabetic and macular degeneration
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN106920227A (zh) * 2016-12-27 2017-07-04 北京工业大学 基于深度学习与传统方法相结合的视网膜血管分割方法
CN107016676A (zh) * 2017-03-13 2017-08-04 三峡大学 一种基于pcnn的视网膜血管图像分割方法和系统
CN107256550A (zh) * 2017-06-06 2017-10-17 电子科技大学 一种基于高效cnn‑crf网络的视网膜图像分割方法
CN107247949A (zh) * 2017-08-02 2017-10-13 北京智慧眼科技股份有限公司 基于深度学习的人脸识别方法、装置和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PAWEL LISKOWSKI ET AL: "Segmenting Retina Blood Vessels With Deep Neural Networks", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816670A (zh) * 2019-01-31 2019-05-28 北京字节跳动网络技术有限公司 用于生成图像分割模型的方法和装置
CN109859146A (zh) * 2019-02-28 2019-06-07 电子科技大学 一种基于U-net卷积神经网络的彩色眼底图像血管分割方法
CN110084156B (zh) * 2019-04-12 2021-01-29 中南大学 一种步态特征提取方法及基于步态特征的行人身份识别方法
CN110084156A (zh) * 2019-04-12 2019-08-02 中南大学 一种步态特征提取方法及基于步态特征的行人身份识别方法
CN110136135A (zh) * 2019-05-17 2019-08-16 深圳大学 分割方法、装置、设备以及存储介质
CN110136135B (zh) * 2019-05-17 2021-07-06 深圳大学 分割方法、装置、设备以及存储介质
CN110211111A (zh) * 2019-05-31 2019-09-06 上海联影医疗科技有限公司 一种血管提取的方法、装置、图像处理设备及存储介质
CN110211111B (zh) * 2019-05-31 2024-08-30 上海联影医疗科技股份有限公司 一种血管提取的方法、装置、图像处理设备及存储介质
CN110349166A (zh) * 2019-06-11 2019-10-18 东软医疗系统股份有限公司 一种针对于视网膜图像的血管分割方法、装置及设备
CN110443813A (zh) * 2019-07-29 2019-11-12 腾讯医疗健康(深圳)有限公司 血管、眼底图像的分割方法、装置、设备及可读存储介质
CN110443813B (zh) * 2019-07-29 2024-02-27 腾讯医疗健康(深圳)有限公司 血管、眼底图像的分割方法、装置、设备及可读存储介质
CN110599505A (zh) * 2019-09-17 2019-12-20 上海微创医疗器械（集团）有限公司 一种器官图像分割方法、装置、电子设备和存储介质
CN113837985A (zh) * 2020-06-24 2021-12-24 博动医学影像科技（上海）有限公司 用于血管造影图像处理的训练方法和装置、自动处理方法和装置
CN113837985B (zh) * 2020-06-24 2023-11-07 上海博动医疗科技股份有限公司 用于血管造影图像处理的训练方法和装置、自动处理方法和装置
CN112001928A (zh) * 2020-07-16 2020-11-27 北京化工大学 一种视网膜血管分割方法及系统
CN112001928B (zh) * 2020-07-16 2023-12-15 北京化工大学 一种视网膜血管分割方法及系统
CN112561868A (zh) * 2020-12-09 2021-03-26 深圳大学 一种基于多视角级联深度学习网络的脑血管分割方法
WO2022188695A1 (zh) * 2021-03-10 2022-09-15 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备及介质
CN113034415A (zh) * 2021-03-23 2021-06-25 哈尔滨市科佳通用机电股份有限公司 一种铁路机车小部件图像扩增的方法

Also Published As

Publication number Publication date
CN109118495B (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN109118495A (zh) 一种视网膜血管分割方法和装置
US11580646B2 (en) Medical image segmentation method based on U-Net
US11636340B2 (en) Modeling method and apparatus for diagnosing ophthalmic disease based on artificial intelligence, and storage medium
CN109598733B (zh) 基于深度全卷积神经网络的视网膜眼底图像分割方法
CN110097550B (zh) 一种基于深度学习的医学图像分割方法及系统
CN108198184B (zh) 造影图像中血管分割的方法和系统
CN107369160A (zh) 一种oct图像中脉络膜新生血管分割算法
CN109087318A (zh) 一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法
Guo et al. Retinal vessel segmentation combined with generative adversarial networks and dense U-Net
CN113506310B (zh) 医学图像的处理方法、装置、电子设备和存储介质
CN110288611A (zh) 基于注意力机制和全卷积神经网络的冠状血管分割方法
CN110070540A (zh) 图像生成方法、装置、计算机设备及存储介质
CN106408001A (zh) 基于深度核哈希的感兴趣区域快速检测方法
CN109785399B (zh) 合成病变图像的生成方法、装置、设备及可读存储介质
CN108492300A (zh) 管状结构增强与能量函数结合的肺部血管树分割方法
CN109902682A (zh) 一种基于残差卷积神经网络的乳腺x线图像检测方法
CN110008992A (zh) 一种用于前列腺癌辅助诊断的深度学习方法
CN110349166A (zh) 一种针对于视网膜图像的血管分割方法、装置及设备
Yang et al. DMU-Net: Dual-route mirroring U-Net with mutual learning for malignant thyroid nodule segmentation
CN115409764A (zh) 一种基于域自适应的多模态眼底血管分割方法及装置
Wang et al. Multi-path connected network for medical image segmentation
Chen et al. Mu-Net: Multi-Path Upsampling Convolution Network for Medical Image Segmentation.
Wu et al. Automatic liver tumor segmentation used the cascade multi-scale attention architecture method based on 3D U-Net
CN109919216A (zh) 一种用于计算机辅助诊断前列腺癌的对抗学习方法
CN110163847A (zh) 基于ct/mr影像的肝脏肿瘤分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 110179 No. 177-1 Innovation Road, Hunnan District, Shenyang City, Liaoning Province

Applicant after: DongSoft Medical System Co., Ltd.

Address before: 110179 No. 177-1 Innovation Road, Hunnan District, Shenyang City, Liaoning Province

Applicant before: Dongruan Medical Systems Co., Ltd., Shenyang

GR01 Patent grant
GR01 Patent grant