CN108122236A - 基于距离调制损失的迭代式眼底图像血管分割方法 - Google Patents

基于距离调制损失的迭代式眼底图像血管分割方法 Download PDF

Info

Publication number
CN108122236A
CN108122236A CN201711363657.4A CN201711363657A CN108122236A CN 108122236 A CN108122236 A CN 108122236A CN 201711363657 A CN201711363657 A CN 201711363657A CN 108122236 A CN108122236 A CN 108122236A
Authority
CN
China
Prior art keywords
blood vessel
image
pixel
distance
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711363657.4A
Other languages
English (en)
Other versions
CN108122236B (zh
Inventor
杨杰
周磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201711363657.4A priority Critical patent/CN108122236B/zh
Publication of CN108122236A publication Critical patent/CN108122236A/zh
Application granted granted Critical
Publication of CN108122236B publication Critical patent/CN108122236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于距离调制损失的迭代式眼底图像血管分割方法，其采用以下步骤：(0)采集彩色眼底图像形成原始图像；(1)原始图像的规范化处理；(2)迭代训练基于距离调制损失的稠密卷积神经网络；(3)利用训练好的稠密卷积神经网络迭代式分割血管。本方法能处理不同采集情况下的彩色眼底图像，能够为眼科医生提供交互式的血管分割体验，对血管检测更具鲁棒性，为后续的辅助诊断提供可靠保障。

Description

基于距离调制损失的迭代式眼底图像血管分割方法
技术领域
本发明属于图像处理领域，具体涉及的是一种基于距离调制损失的迭代式眼底图像血管分割方法。
背景技术
带有交互方式的自动化眼底图像血管分割技术能够为眼科医生后续测量视网膜内血管情况提供快捷的服务，帮助医生高效地评估潜在的糖尿病、高血压、动脉血管硬化等疾病情况。目前国内外有大量针对眼底图像血管分割的算法和技术，主要包括两大类技术：无监督训练的分割方法和有监督训练的分割方法。
无监督训练的分割方法中最具有代表性的是基于匹配滤波器的(MatchedFilters)方法，该方法通过统计分析得到眼底图像血管横截面的灰度特征近似一个倒置的高斯函数，因此通过设计具有方向性的倒置高斯函数，再与眼底灰度图像卷积得到最大响应的分布图，最终对该分布图进行阈值分割得到血管分割图像。此方法依赖于血管横截面的统计信息，无法对血管中心带有反射的情况进行表征，并且对尺度敏感，无法获得较好的血管分割效果。
随着近年来深度学习技术的快速发展，利用深度神经网络来对眼底图像血管进行分割成为有监督训练的分割方法中最普遍的方式。该方法利用不同层次的卷积单元来替代原先复杂的特征工程，统一了特征学习和模型学习过程，提升了血管分割的效果。但是现有的深度学习方法只是单纯地把眼底图像血管分割问题转化为了一个二分类问题，并没有针对血管结构进行进一步的约束，同时如果网络输出的结果不理想时，也无法进一步利用学习的模型改进分割结果。
发明内容
本发明针对彩色眼底图像中的视网膜血管分割问题，结合血管像素点和非血管像素点的分布特性以及深度神经网络对血管结构的建模能力，提出一种基于距离调制损失的迭代式眼底图像血管分割方法，提高了眼底图像血管分割的精度和鲁棒性，为后续眼底图像的处理提供了帮助。
本发明是通过以下技术方案来实现的。
一种基于距离调制损失的迭代式眼底图像血管分割方法，采取以下步骤：
步骤S0，采集彩色眼底图像形成原始图像；
步骤S1，对原始图像进行规范化处理，得到标准化后的原始图像，作为训练图像和测试图像；
步骤S2，针对训练图像，迭代训练基于距离调制损失的稠密卷积神经网络，得到最终的稠密卷积神经网络模型；
步骤S3，针对测试图像，利用稠密卷积神经网络模型迭代式分割血管，生成最终的血管分割结果。
优选地，步骤S0中，采集彩色眼底图像形成原始图像是指利用彩色数码眼底相机拍摄眼底进行眼底图像采集。
优选地，所述步骤S1对原始图像进行规范化处理包括：
步骤S1.1，统一视场的直径大小，即取原始图像中间(1/2)高度的位置估计原始图像视场直径的大小，对沿着原始图像宽度方向上每个像素点的RGB通道的数值求和，再对每个像素点进行二值化处理：
Bp＝Ip＞ThFOV
其中，Ip为每个像素点RGB通道的数值之和，ThFOV为视场定位的阈值，取值为所有Ip均值的0.1倍，接着统计所有Bp取值为1的个数，得到的数值即是对原始图像视场直径的估计，然后依据估计的视场直径对原始图像进行等比例的缩放，缩放比例的计算为：
其中，Dst＝540为设定的标准视场直径大小，D为估计的视场直径大小。当r＜1时表示需要缩小原始图像，当r＞1时表示需要放大原始图像；
步骤S1.2，对缩放后的原始图像进行亮度和对比度规范化，即先对缩放后的原始图像进行高斯滤波，得到滤波后的背景图像：
Imgback＝Gσ*Img
其中，Img为缩放后的原始图像，Gσ为高斯滤波器模板，σ取值为Dst/60，操作符*表示卷积操作，Imgback为高斯滤波后的背景图像；
再依据得到的背景图像对缩放后的原始图像进行亮度和对比度处理：
Imgnorm＝α(Img-Imgback)+γ
其中，α＝4为对比度调节因子，γ＝128为亮度调节因子，Imgnorm为标准化后的原始图像，其RGB三个通道的取值均限制在[0,255]整数范围内，对取值小于0的值截止为0，大于255的值截止为255。
优选地，所述步骤S2迭代训练基于距离调制损失的稠密卷积神经网络包括：
步骤S2.1，针对训练图像的血管标记图构造血管标记距离图，即先对血管标记图进行二值图像的距离变换，得到非血管像素点到血管像素点的欧式距离图Mnonves，再对血管标记图取反并进行二值图像的距离变化，得到血管像素点到非血管像素点的欧式距离图Mves，合并两个距离图得到最终的血管标记距离图Mdist：
Mdist＝Mves-Mnonves
其中，Mdist中的正值表示血管像素点，并且值越大表示像素点越靠近血管中心线，Mdist中的负值表示非血管像素点，并且值越小表示像素点越远离血管；
步骤S2.2，对训练图像进行随机采样，每张训练图像上随机选取9500个像素大小为48×48的图像块，并选取它们对应的血管标记图和血管标记距离图Mdist中的位置区域组成训练样本集；
步骤S2.3，对训练样本集中的图像块增加1个血管概率通道，该血管概率通道用于存放对应像素点的血管概率值，初始的概率值为0.5，表示迭代训练前对每个像素点是否属于血管的无偏差估计；
步骤S2.4，利用Olaf Ronneberger于2015年提出的U型网络和Gao Huang于2016年提出的稠密卷积模块，构造稠密卷积神经网络用于生成图像块的血管概率图，每个稠密卷积模块包含5个卷积层，每个卷积层包含12个3×3的卷积核，填充和步长均为1，该稠密卷积神经网络的输入为48×48像素大小的包含RGB和血管概率的4通道图像块，输出为48×48像素大小的包含血管和非血管两类概率的2通道图像块，具体的参数如下：
层名称 层类型 输入层 核大小 输出形状(高×宽×通道数)
Conv0 卷积层 Input 3×3 48×48×32
Db1 稠密卷积模块 Conv0 3×3 48×48×92
Conv1 卷积层 Db1 1×1 48×48×92
Mp1 Max pooling Conv1 2×2 24×24×92
Db2 稠密卷积模块 Mp1 3×3 24×24×152
Conv2 卷积层 Db2 1×1 24×24×152
Mp2 Max pooling Conv2 2×2 12×12×152
Db3 稠密卷积模块 Mp2 3×3 12×12×212
Conv3 卷积层 Db3 1×1 12×12×212
Mp3 Max pooling Conv3 2×2 6×6×212
Db4 稠密卷积模块 Mp3 3×3 6×6×272
Up1 上采样层 Db4 2×2 12×12×60
Db5 稠密卷积模块 [Up1,Db3] 3×3 12×12×332
Up2 上采样层 Db5 2×2 24×24×60
Db6 稠密卷积模块 [Up2,Db2] 3×3 24×24×272
Up3 上采样层 Db6 2×2 48×48×60
Db7 稠密卷积模块 [Up3,Db1] 3×3 48×48×212
Conv4 卷积层 Db7 1×1 48×48×2
Output Softmax Conv4 无 48×48×2
其中，Softmax层使得每个图像块中同一像素点的血管和非血管两类概率之和为1，选取血管类别的通道即是图像块的血管概率图；
步骤S2.5，对训练样本集中每个图像块的像素点定义距离调制损失，根据对应血管标记图中的标记：
-若该像素点标记为血管像素点，则距离调制损失定义为：
Lossves＝-Mdist(q)AlogP
其中，q为该像素点在训练图像中的位置，P为该像素点的血管概率值，A为血管像素点的距离调制因子，取值为0.5，从而对于靠近血管中心线的血管像素点给予更高的权重；
-若该像素点标记为非血管像素点，则距离调制损失定义为：
Lossnonves＝-|Mdist(q)|Blog(1-P)
由于非血管像素点在血管标记距离图中为负值，需要取绝对值运算，B为非血管像素点的距离调制因子，取值为0.2，从而对于远离血管的非血管像素点给予更高的权重；
步骤S2.6，基于定义的距离调制损失，多次迭代训练构建的稠密卷积神经网络，具体的步骤如下：
步骤S2.6.1，选取训练样本集中的十分之一作为验证集，用于监控训练效果；
步骤S2.6.2，在输入稠密卷积神经网络前，对训练样本集中图像块增加的血管概率通道进行数值拉伸，概率值乘以255拉伸到[0,255]实数范围，再在输入稠密卷积神经网络时，对图像块的4个通道同时减去128，调整至[-128,127]实数范围；
步骤S2.6.3，每次训练周期采用Diederik Kingma于2014年提出的Adam优化算法更新稠密卷积神经网络的参数，学习率取值为10-5，每批次数量取32个图像块；
步骤S2.6.4，重复步骤S2.6.3直到验证集上的距离调制损失不再下降，判断延迟设置为10个训练周期；
步骤S2.6.5，选取距离调制损失最小时的稠密卷积神经网络参数作为当前最佳的网络参数，对训练样本集中的每个图像块生成血管概率图，然后将每个图像块的血管概率通道替换为当前生成的血管概率图；
步骤S2.6.6，重复步骤S2.6.2-步骤S2.6.5，直到满足终止条件，终止条件设置为达到指定的迭代次数或者验证集上的距离调制损失不再下降，结束迭代训练后得到最终的稠密卷积神经网络模型。
优选地，所述步骤S3利用训练好的稠密卷积神经网络迭代式分割血管包括：
步骤S3.1，采用滑动窗口的方式在测试图像上有序提取像素大小为48×48的图像块，滑动步长设置为5个像素大小，对于边界处不足48个像素点的区域进行RGB通道的填充，使该区域刚好达到48个像素点以完成一个图像块的提取，填充值为128；
步骤S3.2，对提取的图像块增加1个血管概率通道，该血管概率通道用于存放对应像素点的血管概率值，初始概率值设置为0.5，表示对血管和非血管两类的无偏差估计；
步骤S3.3，在输入稠密卷积神经网络模型前，对所有提取的图像块中的血管概率通道进行数值拉伸，概率值乘以255拉伸到[0,255]实数范围，再在输入稠密卷积神经网络时，对图像块的4个通道同时减去128，调整至[-128,127]实数范围；
步骤S3.4，利用训练得到的稠密卷积神经网络模型，获得所有图像块对应的血管概率图，按照步骤S3.1中滑动窗口提取图像块时的位置信息，将所有图像块的血管概率图拼接成对应的测试图像的血管预测图，在拼接过程中，对重叠部分取均值，同时去掉填充的部分；
步骤S3.5，用步骤S3.4中获得的图像块的血管概率图替换步骤S3.2中对应图像块的血管概率通道；
步骤S3.6，重复步骤S3.3-步骤S3.5直到满足终止条件，终止条件设置为达到训练过程中使用的最大迭代次数、参与交互的人员对当前血管预测图的结果表示满意或者依据血管预测图生成的血管分割结果达到稳定状态，迭代终止后依据血管预测图生成最终的血管分割结果。
本发明通过设计距离调制损失来提升血管中心线的重要性同时抑制远离血管的离散假阳性血管像素点，并且通过设计迭代式分割方式使稠密卷积神经网络能够进一步学习潜在的血管结构同时为交互操作提供了接口。
与现有技术相比，本发明具有如下有益效果：
对彩色数码眼底相机拍摄的眼底图像能够自动化地分割其视网膜血管，并且分割结果符合血管的分布特性，设计的迭代过程为通过交互的方式提升分割效果提供了进一步的空间，为后续医生对眼底血管的诊断提供了便利。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明基于距离调制损失的迭代式眼底图像血管分割方法的流程图。
图2(a)为本发明实施例中训练图像G通道分量。
图2(b)为本发明实施例中训练图像规范化处理后的G通道分量。
图2(c)为本发明实施例中训练图像的血管标记图。
图2(d)为本发明实施例中训练图像的血管标记距离图归一化显示。
图3(a)为本发明实施例中的稠密卷积模块示意图。
图3(b)为本发明实施例中的稠密卷积神经网络示意图。
图4(a)为本发明实施例中测试图像规范化处理后的G通道分量。
图4(b)为本发明实施例中测试图像第1次迭代输出的血管预测图。
图4(c)为本发明实施例中测试图像第2次迭代输出的血管预测图。
图4(d)为本发明实施例中测试图像第3次迭代输出的血管预测图。
图4(e)为本发明实施例中测试图像第4次迭代输出的血管预测图。
图4(f)为本发明实施例中测试图像最终的血管分割结果。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
实施例
本实施例所使用的眼底图像来自公开的数据集，采用的硬件设备为GPU工作站，包括Intel Xeon CPU E5-2620和GeForce GTX 1080GPU，如图2a所示为训练图像的G通道分量。
(1)对原始图像(即眼底图像)进行规范化处理
由于不同来源的眼底图像存在图像分辨率大小、亮度和对比度不一致的情况，因此需要在输入分割模型(即稠密卷积神经网络模型)前进行规范化，以保证分割算法的稳定性。具体实施步骤如下：
1)统一视场的直径大小，即取原始图像中间1/2高度的位置来估计原始图像视场的大小，对沿着原始图像宽度方向上每个像素点的RGB通道的数值求和，再对每个像素点进行二值化处理：
Bp＝Ip＞ThFOV
其中，Ip为每个像素点RGB通道的数值之和，ThFOV为视场定位的阈值，取值为所有Ip均值的0.1倍，接着统计所有Bp取值为1的个数，得到的数值即是对原始图像视场直径的估计，然后依据估计的视场直径对原始图像进行等比例的缩放，缩放比例的计算为：
其中，Dst＝540为设定的标准视场直径大小，D为估计的视场直径大小。当r＜1时表示需要缩小原始图像，当r＞1时表示需要放大原始图像；
2)对缩放后的原始图像进行亮度和对比度规范化，即先对缩放后的原始图像进行高斯滤波，得到滤波后的背景图像：
Imgback＝Gσ*Img
其中，Img为缩放后的原始图像，Gσ为高斯滤波器模板，σ取值为Dst/60，操作符*表示卷积操作，Imgback为高斯滤波后的背景图像；
再依据得到的背景图像对缩放后的原始图像进行亮度和对比度处理：
Imgnorm＝α(Img-Imgback)+γ
其中，α＝4为对比度调节因子，γ＝128为亮度调节因子，Imgnorm为标准化后的原始图像，其RGB三个通道的取值均限制在[0,255]整数范围内，对取值小于0的值截止为0，大于255的值截止为255。如图2b所示为Imgnorm的G通道分量。
(2)迭代训练基于距离调制损失的稠密卷积神经网络
通过距离变换表征血管和非血管像素点的分布特性可以使神经网络侧重主要的血管结构，而迭代式的训练过程可以在测试时为算法提供友好的交互接口。具体实施步骤如下：
1)针对训练图像的血管标记图构造血管标记距离图，先对血管标记图进行二值图像的距离变换，得到非血管像素点到血管像素点的欧式距离图Mnonves，再对血管标记图取反并进行二值图像的距离变化，得到血管像素点到非血管像素点的欧式距离图Mves，合并两个距离图得到最终的血管标记距离图Mdist：
Mdist＝Mves-Mnonves
其中，Mdist中的正值表示血管像素点，并且值越大表示像素点越靠近血管中心线，Mdist中的负值表示非血管像素点，并且值越小表示像素点越远离血管；
2)对规范化后的训练图像进行随机采样，每张训练图像上随机选取9500个像素大小为48×48的图像块，并选取它们对应的血管标记图和血管标记距离图Mdist中的位置区域组成训练样本集；
3)对训练样本集中的图像块增加1个血管概率通道，该血管概率通道用于存放对应像素点的血管概率值，初始的概率值为0.5，表示迭代训练前对每个像素点是否属于血管的无偏差估计；
4)利用Olaf Ronneberger于2015年提出的U型网络和Gao Huang于2016年提出的稠密卷积模块，构造稠密卷积神经网络用于生成图像块的血管概率图，每个稠密卷积模块包含5个卷积层，每个卷积层包含12个3×3的卷积核，填充和步长均为1，如图3a所示为稠密卷积模块的示意图，该神经网络的输入为48×48像素大小的包含RGB和血管概率的4通道图像块，输出为48×48像素大小的包含血管和非血管两类概率的2通道图像块，如图3b所示为稠密卷积神经网络的示意图，具体的参数如下：
其中，Softmax层使得每个图像块中同一像素点的血管和非血管两类概率之和为1，选取血管类别的通道即是图像块的血管概率图；
5)对训练样本集中每个图像块的像素点定义距离调制损失，根据对应的血管标记图中的标记：
-若该像素点标记为血管像素点，则距离调制损失定义为：
Lossves＝-Mdist(q)AlogP
其中，q为该像素点在训练图像中的位置，P为该像素点的血管概率值，A为血管像素点的距离调制因子，取值为0.5，从而对于靠近血管中心线的血管像素点给予更高的权重；
-若该像素点标记为非血管像素点，则距离调制损失定义为：
Lossnonves＝-|Mdist(q)|Blog(1-P)
由于非血管像素点在血管标记距离图中为负值，需要取绝对值运算，B为非血管像素点的距离调制因子，取值为0.2，从而对于远离血管的非血管像素点给予更高的权重；
6)基于定义的距离调制损失，多次迭代训练构建的稠密卷积神经网络，具体的步骤如下：
a)选取训练样本集中的十分之一作为验证集，用于监控训练效果；
b)在输入稠密卷积神经网络前，对训练样本集中图像块增加的血管概率通道进行数值拉伸，概率值乘以255拉伸到[0,255]实数范围，再在输入稠密卷积神经网络时，对图像块的4个通道同时减去128，调整至[-128,127]实数范围；
c)每次训练周期采用Diederik Kingma于2014年提出的Adam优化算法更新稠密卷积神经网络的参数，学习率取值为10-5，每批次数量取32个图像块；
d)重复步骤c直到验证集上的距离调制损失不再下降，判断延迟设置为10个训练周期；
e)选取距离调制损失最小时的稠密卷积神经网络参数作为当前最佳的网络参数，对训练样本集中的每个图像块生成血管概率图，然后将每个图像块的血管概率通道替换为当前生成的血管概率图；
f)重复步骤b-e直到满足终止条件，终止条件设置为验证集上的距离调制损失不再下降，结束迭代训练后得到最终的稠密卷积神经网络模型。
(3)利用训练好的稠密卷积神经网络迭代式分割血管
得到训练好的稠密卷积神经网络模型，便可以将此模型应用于不同彩色眼底相机采集的眼底图像，具体实施步骤如下：
1)根据所述步骤(1)中的原始图像的规范化处理，对测试图像进行规范化处理，如图4a所示为测试图像规范化处理后的G通道分量；
2)采用滑动窗口的方式在规范化后的测试图像上有序提取像素大小为48×48的图像块，滑动步长设置为5个像素大小，对于边界处不足48个像素点的区域进行RGB通道的填充，使该区域刚好达到48个像素点以完成一个图像块的提取，填充值为128；
3)对提取的图像块增加1个血管概率通道，该血管概率通道用于存放对应像素点的血管概率值，初始概率值设置为0.5，表示对血管和非血管两类的无偏差估计；
4)在输入稠密卷积神经网络前，对所有提取的图像块中的血管概率通道进行数值拉伸，概率值乘以255拉伸到[0,255]实数范围，再在输入稠密卷积神经网络时，对图像块的4个通道同时减去128，调整至[-128,127]实数范围；
5)利用训练得到的稠密卷积神经网络模型，获得所有图像块对应的血管概率图，按照步骤2)中滑动窗口提取图像块时的位置信息，将所有图像块的血管概率图拼接成对应的测试眼底图像的血管预测图，在拼接过程中，重叠部分取均值，同时去掉填充的部分；
6)用步骤5)中获得的图像块的血管概率图替换步骤3)中对应图像块的血管概率通道；
7)重复步骤4)-6)直到满足终止条件，终止条件设置为参与交互的人员对当前血管预测图的结果表示满意，如图4b、c、d、e所示为多次迭代测试图像的血管预测图，迭代终止后依据血管预测图生成最终的血管分割结果，如图4f所示。
经本发明分割出的血管准确度高，并且能够通过迭代的方式持续提升分割效果，为后续医生的观测诊断提供便利。
本实施例提供的基于距离调制损失的迭代式眼底图像血管分割方法，能处理不同采集情况下的彩色眼底图像，能够为眼科医生提供交互式的血管分割体验，对血管检测更具鲁棒性，为后续的辅助诊断提供可靠保障。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于距离调制损失的迭代式眼底图像血管分割方法，其特征在于，包括以下步骤：
步骤S0，采集彩色眼底图像形成原始图像；
步骤S1，对原始图像进行规范化处理，得到标准化后的原始图像，作为训练图像和测试图像；
步骤S2，针对训练图像，迭代训练基于距离调制损失的稠密卷积神经网络，得到稠密卷积神经网络模型；
步骤S3，针对测试图像，利用稠密卷积神经网络模型迭代式分割血管，生成血管分割结果。
2.根据权利要求1所述基于距离调制损失的迭代式眼底图像血管分割方法，其特征在于，所述步骤S0中采集彩色眼底图像形成原始图像是指利用彩色数码眼底相机拍摄眼底进行眼底图像采集。
3.根据权利要求1所述基于距离调制损失的迭代式眼底图像血管分割方法，其特征在于，所述步骤S1中对原始图像进行规范化处理，包括如下步骤：
步骤S1.1，统一视场的直径大小，即取原始图像中间高度的位置估计原始图像视场直径的大小，对沿着原始图像宽度方向上每个像素点的RGB通道的数值求和，再对每个像素点进行二值化处理：
Bp＝Ip＞ThFOV
其中，Ip为每个像素点RGB通道的数值之和，ThFOV为视场定位的阈值，取值为所有Ip均值的0.1倍，接着统计所有Bp取值为1的个数，得到的数值即是对原始图像视场直径的估计，然后依据估计的视场直径对原始图像进行等比例的缩放，缩放比例的计算为：
<mrow> <mi>r</mi> <mo>=</mo> <mfrac> <msub> <mi>D</mi> <mrow> <mi>s</mi> <mi>t</mi> </mrow> </msub> <mi>D</mi> </mfrac> </mrow>
其中，Dst＝540为设定的标准视场直径大小，D为估计的视场直径大小；当r＜1时表示需要缩小原始图像，当r＞1时表示需要放大原始图像；
步骤S1.2，对缩放后的原始图像进行亮度和对比度规范化，即先对缩放后的原始图像进行高斯滤波，得到滤波后的背景图像：
Imgback＝Gσ*Img
其中，Img为缩放后的原始图像，Gσ为高斯滤波器模板，σ取值为Dst/60，操作符*表示卷积操作，Imgback为高斯滤波后的背景图像；
再依据得到的背景图像对缩放后的原始图像进行亮度和对比度处理：
Imgnorm＝α(Img-Imgback)+γ
其中，α为对比度调节因子，γ为亮度调节因子，Imgnorm为标准化后的原始图像，其RGB三个通道的取值均限制在[0,255]整数范围内，对于取值小于0的值截止为0，大于255的值截止为255。
4.根据权利要求3所述基于距离调制损失的迭代式眼底图像血管分割方法，其特征在于，α＝4，γ＝128。
5.根据权利要求1所述基于距离调制损失的迭代式眼底图像血管分割方法，其特征在于，所述步骤S2中迭代训练基于距离调制损失的稠密卷积神经网络，包括如下步骤：
步骤S2.1，针对训练图像的血管标记图构造血管标记距离图，即先对血管标记图进行二值图像的距离变换，得到非血管像素点到血管像素点的欧式距离图Mnonves，再对血管标记图取反并进行二值图像的距离变化，得到血管像素点到非血管像素点的欧式距离图Mves，合并两个距离图得到最终的血管标记距离图Mdist：
Mdist＝Mves-Mnonves
其中，Mdist中的正值表示血管像素点，并且值越大表示像素点越靠近血管中心线，Mdist中的负值表示非血管像素点，并且值越小表示像素点越远离血管；
步骤S2.2，对训练图像进行随机采样，每张训练图像上随机选取多个像素大小为48×48并且包含RGB三个通道的图像块，并选取它们对应的血管标记图和血管标记距离图Mdist中的位置区域组成训练样本集；
步骤S2.3，对训练样本集中的图像块增加1个血管概率通道，该血管概率通道用于存放对应像素点的血管概率值，初始的概率值为0.5，表示迭代训练前对每个像素点是否属于血管的无偏差估计；
步骤S2.4，利用U型网络和稠密卷积模块，构造稠密卷积神经网络用于生成图像块的血管概率图，每个稠密卷积模块包含5个卷积层，每个卷积层包含12个3×3的卷积核，填充和步长均为1，该稠密卷积神经网络的输入为48×48像素大小的包含RGB和血管概率的4通道图像块，输出为48×48像素大小的包含血管和非血管两类概率的2通道图像块；
步骤S2.5，对训练样本集中每个图像块的像素点定义距离调制损失，根据对应血管标记图中的标记：
-若该像素点标记为血管像素点，则距离调制损失定义为：
Lossves＝-Mdist(q)Alog P
其中，q为该像素点在训练图像中的位置，P为该像素点的血管概率值，A为血管像素点的距离调制因子，对于靠近血管中心线的血管像素点给予更高的权重；
-若该像素点标记为非血管像素点，则距离调制损失定义为：
Lossnonves＝-|Mdist(q)|Blog(1-P)
其中，由于非血管像素点在血管标记距离图中为负值，需要取绝对值运算，B为非血管像素点的距离调制因子，对于远离血管的非血管像素点给予更高的权重；
步骤S2.6，基于定义的距离调制损失，多次迭代训练构建的稠密卷积神经网络。
6.根据权利要求5所述基于距离调制损失的迭代式眼底图像血管分割方法，其特征在于，所述稠密卷积神经网络，其具体的参数如下：
其中，Softmax层使得每个图像块中同一像素点的血管和非血管两类概率之和为1，选取血管类别的通道即是图像块的血管概率图。
7.根据权利要求5所述基于距离调制损失的迭代式眼底图像血管分割方法，其特征在于，所述步骤S2.5中A取值为0.5。
8.根据权利要求5所述基于距离调制损失的迭代式眼底图像血管分割方法，其特征在于，所述步骤S2.5中B取值为0.2。
9.根据权利要求5所述基于距离调制损失的迭代式眼底图像血管分割方法，其特征在于，所述步骤S2.6中基于定义的距离调制损失，多次迭代训练构建的稠密卷积神经网络，包括如下步骤：
步骤S2.6.1，选取训练样本集中的十分之一作为验证集，用于监控训练效果；
步骤S2.6.2，在输入稠密卷积神经网络前，对训练样本集中图像块增加的血管概率通道进行数值拉伸，概率值乘以255拉伸到[0,255]实数范围，再在输入稠密卷积神经网络时，对图像块的4个通道同时减去128，调整至[-128,127]实数范围；
步骤S2.6.3，每次训练周期采用Adam优化算法更新稠密卷积神经网络的参数，学习率取值为10-5，每批次数量取32个图像块；
步骤S2.6.4，重复步骤S2.6.3，直到验证集上的距离调制损失不再下降，判断延迟设置为10个训练周期；
步骤S2.6.5，选取距离调制损失最小时的稠密卷积神经网络参数作为当前最佳的网络参数，对训练样本集中的每个图像块生成血管概率图，然后将每个图像块的血管概率通道替换为当前生成的血管概率图；
步骤S2.6.6，重复步骤S2.6.2-步骤S2.6.5，直到满足终止条件，终止条件设置为达到指定的迭代次数或者验证集上的距离调制损失不再下降，结束迭代训练后得到最终的稠密卷积神经网络模型。
10.根据权利要求1-9任一项所述基于距离调制损失的迭代式眼底图像血管分割方法，其特征在于，所述步骤S3中利用训练好的稠密卷积神经网络迭代式分割血管，包括如下步骤：
步骤S3.1，采用滑动窗口的方式在测试图像上按顺序提取像素大小为48×48的图像块，滑动步长设置为5个像素大小，对于边界处不足48个像素点的区域进行RGB通道的填充，使该区域刚好达到48个像素点以完成一个图像块的提取，填充值为128；
步骤S3.2，对提取的图像块增加1个血管概率通道，该血管概率通道用于存放对应像素点的血管概率值，初始概率值设置为0.5，表示对血管和非血管两类的无偏差估计；
步骤S3.3，在输入稠密卷积神经网络模型前，对所有提取的图像块中的血管概率通道进行数值拉伸，概率值乘以255拉伸到[0,255]实数范围，再在输入稠密卷积神经网络时，对图像块的4个通道同时减去128，调整至[-128,127]实数范围；
步骤S3.4，利用训练得到的稠密卷积神经网络模型，获得所有图像块对应的血管概率图，按照步骤S3.1中滑动窗口提取图像块时的位置信息，将所有图像块的血管概率图拼接成对应的测试图像的血管预测图，在拼接过程中，对重叠部分取均值，同时去掉填充的部分；
步骤S3.5，用步骤S3.4中获得的图像块的血管概率图替换步骤S3.2中对应图像块的血管概率通道；
步骤S3.6，重复步骤S3.3-步骤S3.5，直到满足终止条件，终止条件设置为达到训练过程中使用的最大迭代次数、参与交互的人员对当前血管预测图的结果表示满意或者依据血管预测图生成的血管分割结果达到稳定状态，迭代终止后依据血管预测图生成最终的血管分割结果。
CN201711363657.4A 2017-12-18 2017-12-18 基于距离调制损失的迭代式眼底图像血管分割方法 Active CN108122236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711363657.4A CN108122236B (zh) 2017-12-18 2017-12-18 基于距离调制损失的迭代式眼底图像血管分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711363657.4A CN108122236B (zh) 2017-12-18 2017-12-18 基于距离调制损失的迭代式眼底图像血管分割方法

Publications (2)

Publication Number Publication Date
CN108122236A true CN108122236A (zh) 2018-06-05
CN108122236B CN108122236B (zh) 2020-07-31

Family

ID=62229244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711363657.4A Active CN108122236B (zh) 2017-12-18 2017-12-18 基于距离调制损失的迭代式眼底图像血管分割方法

Country Status (1)

Country Link
CN (1) CN108122236B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242849A (zh) * 2018-09-26 2019-01-18 上海联影智能医疗科技有限公司 医学图像处理方法、装置、系统和存储介质
CN109448006A (zh) * 2018-11-01 2019-03-08 江西理工大学 一种注意力机制u型密集连接视网膜血管分割方法
CN109886982A (zh) * 2019-04-24 2019-06-14 数坤（北京）网络科技有限公司 一种血管图像分割方法、装置及计算机存储设备
CN110009626A (zh) * 2019-04-11 2019-07-12 北京百度网讯科技有限公司 用于生成图像的方法和装置
CN110047078A (zh) * 2019-04-18 2019-07-23 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110414423A (zh) * 2019-07-25 2019-11-05 上海鹰瞳医疗科技有限公司 身份识别方法及设备
CN110490927A (zh) * 2018-08-23 2019-11-22 深圳科亚医疗科技有限公司 用于为图像中的对象生成中心线的方法、装置和系统
CN112330684A (zh) * 2020-11-23 2021-02-05 腾讯科技（深圳）有限公司 对象分割方法、装置、计算机设备及存储介质
CN113012198A (zh) * 2021-03-22 2021-06-22 复旦大学 颅内外血管吻合术中的血流自动定量分析方法
CN113011450A (zh) * 2019-12-04 2021-06-22 深圳硅基智能科技有限公司 青光眼识别的训练方法、训练装置、识别方法及识别系统
CN113052980A (zh) * 2021-04-27 2021-06-29 云南大学 一种虚拟试衣方法及系统
CN113066090A (zh) * 2021-03-19 2021-07-02 推想医疗科技股份有限公司 血管分割模型的训练方法及装置、应用方法及装置
CN113486925A (zh) * 2021-06-07 2021-10-08 北京鹰瞳科技发展股份有限公司 模型训练方法、眼底图像生成方法、模型评估方法及装置
CN113643353A (zh) * 2020-09-04 2021-11-12 深圳硅基智能科技有限公司 眼底图像的血管管径的增强分辨率的测量方法
CN114565620A (zh) * 2022-03-01 2022-05-31 电子科技大学 一种基于骨架先验和对比损失的眼底图像血管分割方法
CN114676396A (zh) * 2022-05-30 2022-06-28 山东极视角科技有限公司 深度神经网络模型的保护方法、装置、电子设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN106920227A (zh) * 2016-12-27 2017-07-04 北京工业大学 基于深度学习与传统方法相结合的视网膜血管分割方法
CN106934816A (zh) * 2017-03-23 2017-07-07 中南大学 一种基于elm的眼底图像视网膜血管分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN106920227A (zh) * 2016-12-27 2017-07-04 北京工业大学 基于深度学习与传统方法相结合的视网膜血管分割方法
CN106934816A (zh) * 2017-03-23 2017-07-07 中南大学 一种基于elm的眼底图像视网膜血管分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHENGZHANG ZHU 等: "Retinal vessel segmentation in colour fundus images using Extreme Learning Machine", 《COMPUTERIZED MEDICAL IMAGING AND GRAPHICS》 *
LEI ZHOU 等: "Improving dense conditional random field for retinal vessel segmentation by discriminative feature learning and thin-vessel enhancement", 《COMPUTER METHODS AND PROGRAMS IN BIOMEDICINE》 *
高旭: "眼底图像血管分割方法研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490927A (zh) * 2018-08-23 2019-11-22 深圳科亚医疗科技有限公司 用于为图像中的对象生成中心线的方法、装置和系统
CN110490927B (zh) * 2018-08-23 2022-04-12 深圳科亚医疗科技有限公司 用于为图像中的对象生成中心线的方法、装置和系统
CN109242849A (zh) * 2018-09-26 2019-01-18 上海联影智能医疗科技有限公司 医学图像处理方法、装置、系统和存储介质
CN109448006A (zh) * 2018-11-01 2019-03-08 江西理工大学 一种注意力机制u型密集连接视网膜血管分割方法
CN109448006B (zh) * 2018-11-01 2022-01-28 江西理工大学 一种注意力机制u型密集连接视网膜血管分割方法
CN110009626A (zh) * 2019-04-11 2019-07-12 北京百度网讯科技有限公司 用于生成图像的方法和装置
CN110047078A (zh) * 2019-04-18 2019-07-23 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
JP7186287B2 (ja) 2019-04-18 2022-12-08 ベイジン センスタイム テクノロジー デベロップメント カンパニー リミテッド 画像処理方法及び装置、電子機器並びに記憶媒体
TWI779238B (zh) * 2019-04-18 2022-10-01 大陸商北京市商湯科技開發有限公司 影像處理方法及裝置、電子設備和電腦可讀取的記錄媒體
CN110047078B (zh) * 2019-04-18 2021-11-09 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
JP2022502739A (ja) * 2019-04-18 2022-01-11 ベイジン センスタイム テクノロジー デベロップメント カンパニー リミテッド 画像処理方法及び装置、電子機器並びに記憶媒体
CN109886982B (zh) * 2019-04-24 2020-12-11 数坤（北京）网络科技有限公司 一种血管图像分割方法、装置及计算机存储设备
CN109886982A (zh) * 2019-04-24 2019-06-14 数坤（北京）网络科技有限公司 一种血管图像分割方法、装置及计算机存储设备
CN110414423A (zh) * 2019-07-25 2019-11-05 上海鹰瞳医疗科技有限公司 身份识别方法及设备
CN113011450A (zh) * 2019-12-04 2021-06-22 深圳硅基智能科技有限公司 青光眼识别的训练方法、训练装置、识别方法及识别系统
CN113643353B (zh) * 2020-09-04 2024-02-06 深圳硅基智能科技有限公司 眼底图像的血管管径的增强分辨率的测量方法
CN113643353A (zh) * 2020-09-04 2021-11-12 深圳硅基智能科技有限公司 眼底图像的血管管径的增强分辨率的测量方法
CN112330684A (zh) * 2020-11-23 2021-02-05 腾讯科技（深圳）有限公司 对象分割方法、装置、计算机设备及存储介质
CN112330684B (zh) * 2020-11-23 2022-09-13 腾讯科技（深圳）有限公司 对象分割方法、装置、计算机设备及存储介质
CN113066090A (zh) * 2021-03-19 2021-07-02 推想医疗科技股份有限公司 血管分割模型的训练方法及装置、应用方法及装置
CN113066090B (zh) * 2021-03-19 2022-02-08 推想医疗科技股份有限公司 血管分割模型的训练方法及装置、应用方法及装置
CN113012198B (zh) * 2021-03-22 2022-04-01 复旦大学 颅内外血管吻合术中的血流自动定量分析方法
CN113012198A (zh) * 2021-03-22 2021-06-22 复旦大学 颅内外血管吻合术中的血流自动定量分析方法
CN113052980A (zh) * 2021-04-27 2021-06-29 云南大学 一种虚拟试衣方法及系统
CN113486925A (zh) * 2021-06-07 2021-10-08 北京鹰瞳科技发展股份有限公司 模型训练方法、眼底图像生成方法、模型评估方法及装置
CN114565620A (zh) * 2022-03-01 2022-05-31 电子科技大学 一种基于骨架先验和对比损失的眼底图像血管分割方法
CN114676396A (zh) * 2022-05-30 2022-06-28 山东极视角科技有限公司 深度神经网络模型的保护方法、装置、电子设备和介质

Also Published As

Publication number Publication date
CN108122236B (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN108122236A (zh) 基于距离调制损失的迭代式眼底图像血管分割方法
US11580646B2 (en) Medical image segmentation method based on U-Net
CN108985181B (zh) 一种基于检测分割的端对端人脸标注方法
CN107437092A (zh) 基于三维卷积神经网络的视网膜oct图像的分类算法
CN110353675B (zh) 基于图片生成的脑电信号情感识别方法及装置
CN106796716B (zh) 用于为低分辨率图像提供超分辨率的设备和方法
CN107657612A (zh) 适用于智能便携设备的全自动视网膜血管分析方法及系统
CN107016406A (zh) 基于生成式对抗网络的病虫害图像生成方法
CN112287940A (zh) 一种基于深度学习的注意力机制的语义分割的方法
CN103996018B (zh) 基于4dlbp的人脸识别方法
CN113240691A (zh) 一种基于u型网络的医学图像分割方法
CN106228528B (zh) 一种基于决策图与稀疏表示的多聚焦图像融合方法
CN103824272B (zh) 基于k近邻重识别的人脸超分辨率重建方法
CN107316307A (zh) 一种基于深度卷积神经网络的中医舌图像自动分割方法
CN107220277A (zh) 基于手绘草图的图像检索算法
CN108197606A (zh) 一种基于多尺度膨胀卷积的病理切片中异常细胞的识别方法
CN110135386B (zh) 一种基于深度学习的人体动作识别方法和系统
CN106875361A (zh) 一种基于深度卷积神经网络去除泊松噪声的方法
CN106067161A (zh) 一种对图像进行超分辨的方法
CN109359681A (zh) 一种基于改进全卷积神经网络的大田作物病虫害识别方法
CN112365514A (zh) 基于改进PSPNet的语义分割方法
CN105678248A (zh) 基于深度学习的人脸关键点对齐算法
CN108053398A (zh) 一种半监督特征学习的黑色素瘤自动检测方法
CN102915527A (zh) 基于形态学成分分析的人脸图像超分辨率重建方法
CN102831614B (zh) 基于交互式字典迁移的序列医学图像快速分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant