CN114565620B - 一种基于骨架先验和对比损失的眼底图像血管分割方法 - Google Patents

一种基于骨架先验和对比损失的眼底图像血管分割方法 Download PDF

Info

Publication number
CN114565620B
CN114565620B CN202210195233.6A CN202210195233A CN114565620B CN 114565620 B CN114565620 B CN 114565620B CN 202210195233 A CN202210195233 A CN 202210195233A CN 114565620 B CN114565620 B CN 114565620B
Authority
CN
China
Prior art keywords
image
segmentation
loss
blood vessel
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210195233.6A
Other languages
English (en)
Other versions
CN114565620A (zh
Inventor
李永杰
谭玉博
杨开富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210195233.6A priority Critical patent/CN114565620B/zh
Publication of CN114565620A publication Critical patent/CN114565620A/zh
Application granted granted Critical
Publication of CN114565620B publication Critical patent/CN114565620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于骨架先验和对比损失的眼底图像血管分割方法，包括以下步骤：S1、对彩色眼底图像做数据增广；S2、对眼底图像专家标注提取骨架；S3、把眼底图像输入分割网络，计算分割损失；S4、对中间特征的前景背景特征做对比学习损失；S5、对分割模型输出骨架连续性的约束，求取损失函数；S6、将三个损失函数叠加得到总损失，进行梯度反向传播，当总损失连续4轮不再下降，停止训练；S7、获得二值化血管树分割结果。本发明在两类像素特征样本集合中采用的对比损失函数能够进一步地提升模型在高维空间中对隐藏层特征的判别能力，能够在提取细小血管、防止血管断裂的同时，抑制生物标志物的干扰，非常适合精细的视网膜血管树分割。

Description

一种基于骨架先验和对比损失的眼底图像血管分割方法
技术领域
本发明属于医学图像处理领域，特别涉及一种基于骨架先验和对比损失的眼底图像血管分割方法。
背景技术
在眼科疾病的诊断中，彩色眼底图像作为一种非侵入式的血管成像手段，由于其方便获得和拍摄成本廉价的性质，已经成为眼科医生的重要参考材料。视网膜中包含了数量极为丰富、交织错落的血管，这些视网膜血管分支构成完整的血管树。该血管树的枝丫形态，包括离视盘近处与远处的血管口径、血管分支处的分支角度以及血管的弯曲程度都体现了人眼系统的健康程度，甚至还可以反应其他许多心血管疾病。然而视网膜成像还受到个体因素和成像设备以及成像环境条件的影响，避免不了引入噪声的问题，所获得的眼底图像并不是单纯的血管图像。眼底图像上的生物标志物(如视盘、视杯、中央凹、软硬渗出和病变)和成像噪声都会对图像中血管造成视觉影响。因此，在临床应用中，对采集到的眼底图像进行精准的血管提取或者血管分割具有重要意义。
视网膜血管分割方法有很多种。比较经典的有非监督方法中的匹配滤波方法和血管追踪方法。匹配滤波方法首先要求根据血管先验知识手工设计滤波模板，这是基于血管的局部线性性质设计的算法，对一个高斯形状的二维模板进行旋转操作，每次旋转15度，旋转12次，就可以获得一组共计12个各向异性的模板。该滤波方法通过多组模板进行滤波，将得到的滤波响应概率图求得最大响应，在进行二值化即可获得简单的血管分割结果。血管追踪方法首先需要设置种子点(根据经验，种子点设置在视盘区域的粗血管上)，通过一定的血管生长策略(如机器学习分类器)，不断将种子点周围的未标记像素进行分类，将判断为血管的像素点纳入新的种子集合中来，如此不断迭代生长，直到所有像素分类完成或者达到预设的停止条件，即完成血管的追踪。目前主流的血管分割方法是监督学习方法。一方面是基于传统机器学习方法做血管分割任务，即对于眼底图像的每个像素点求取特征向量，一般需要一定的领域知识设计表达能力强的特征，在经过各种不同的机器学习分类器进行逐点分类，即可完成像素级的血管分割任务。这种监督学习方法效果一般会好于传统的无监督学习方法，但是由于手工设计特征的复杂性，更为简单方便的深度学习方法开始逐渐取代上述算法的地位。深度网络由于其可以自动微分的机制，可以从海量样本中学习潜在的映射函数，并且通过反向传播不断逼近数据上限。一般来讲，只要有足够数量的优质标注数据，加以设计合适的神经网络结构，就能拟合大多数从输入到输出的映射过程。但现有方法虽对于血管分割的整体效果较好，却在细小血管及病变和生物标志物的影响上表现不佳。
发明内容
本发明的目的在于克服现有技术的不足，提供一种能够在提取细小血管、防止血管断裂的同时，抑制生物标志物的干扰，非常适合精细的视网膜血管树分割的基于骨架先验和对比损失的眼底图像血管分割方法。
本发明的目的是通过以下技术方案来实现的：一种基于骨架先验和对比损失的眼底图像血管分割方法，包括以下步骤：
S1、对彩色眼底图像做数据增广：对彩色眼底图像进行上下左右随机一个方向的翻转操作，得到翻转图，给翻转后的图像添加噪声，然后将添加噪声后的图像转移到两个不同的色彩空间进行加权融合，然后随机做图像增强和GAMMA矫正，从结果图像提取任意通道作为单通道图像输入；
S2、对眼底图像专家标注提取骨架：将专家标注图像中像素值大于127的点的像素值设置为255，其他点的像素值设置为0，得到二值化标注图像；二值化标注图像中，像素值为255的区域为血管区域，像素值为0的区域为背景区域，背景区域中与血管区域距离小于等于5像素距离的区域称为血管边缘区域，背景区域中与血管区域距离大于5像素距离的区域则是非血管区域；对二值化标注图像进行血管骨架中心线提取，将提取得到的血管骨架中心线进行膨胀，得到粗细血管口径均匀的骨架图像；
S3、把眼底图像输入分割网络：把增广后的单通道图像输入两个级联的轻量级U型分割网络，分别提取两阶段U型分割网络各自的输出概率图Y1和Y2，将两个概率图与专家标注图像计算分割损失LSEG；
S4、对中间特征的前景背景特征做对比学习损失：提取级联U型分割网络的中间连接特征，在前景与背景区域选择同样数量的特征向量，对特征向量做对比损失LCON；
S5、对分割模型输出骨架连续性的约束：提取级联U型分割网络的两级输出，分别把两个输出输入骨架拟合模块，将骨架拟合输出概率图与S2得到的血管骨架图像求取损失函数数值LSKE；
S6、将三个损失函数叠加得到总损失LSUM＝LSEG+LCON+LSKE，进行梯度反向传播，分别训练模型的三个子模块：级联U型分割网络、对比学习投影器和预测器、骨架拟合模块，当总损失LSUM连续4轮不再下降，停止训练；
S7、获得二值化血管树分割结果：将待识别的图像进行CLAHE增强和GAMMA矫正后，输入训练好的分割模型中，获得分割概率图，使用阈值法获得二值分割结果。
进一步地，所述步骤S1中进行加权融合使用的色彩空间包括RGB、XYZ、LAB、HLS、LUV、YUV和YCrCb彩色空间中的任意两个；
设加权系数为α，α为属于[0,1]的随机数；记彩色眼底图像为X，T1和T2分别为色彩空间A和色彩空间B的转换手段，m和n是随机选取的通道；得到的加权输出为：
I＝α*T1(X)m+(1-α)*T2(X)n。
其中X是选取的彩色图像，T1(X)m表示对彩色图像X做T1转换后选取通道m，T2(X)n表示对彩色图像X做T2转换后选取通道n，将通道m和n加权得到输入网络的单通道图像I。
进一步地，所述步骤S3中，U型分割网络的基本构成单元是：初始特征依次输入到3*3卷积层、Dropout2d层、BatchNorm2d层，BatchNorm2d层与初始特征输入使用残差连接，连接后是一个Swish激活函数层；
U型分割网络包括编码器和解码器，编码器包括输入单元和五个下采样单元，五个下采样单元分别进行降采样一倍、两倍、三倍、四倍和五倍，五个下采样单元之间使用池化层连接；解码器包括五个上采样单元和输出层，五个上采样单元分别进行上采样一倍、两倍、三倍、四倍和五倍，五个上采样单元之间使用上采样层进行连接；
下采样单元的一倍、两倍、三倍、四倍四个下采样单元与对应的上采样单元的五倍、四倍、三倍、两倍四个上采样单元之间通过跳跃连接进行信息融合，五倍下采样单元与一倍上采样单元之间通过前向传播进行信息融合；编码器和解码器的每个单元的结构为：初始特征依次输入到3*3卷积层、Dropout2d层、BatchNorm2d层，BatchNorm2d层与初始特征输入使用残差连接，连接后是一个Swish激活函数层；
输出概率图与专家标注图像的分割损失为Focal损失函数：
Figure BDA0003525489920000031
pi是S2中专家标注图像
Figure BDA0003525489920000032
中的第i个像素点数值，gi是U型分割网络各自的输出概率图
Figure BDA0003525489920000033
中的第i个像素点数值，N为专家标注图像/输出概率图的像素点数量，γ为常数，通常取γ＝2；
将两个输出概率图与专家标注图像的分割损失相加，得到总分割损失LSEG。
进一步地，所述步骤S4的特征选择方法为：在血管区域选择输出概率最高的512个特征向量FH和输出概率最低的512个特征向量FL作为前景特征向量，在背景区域的血管边缘区域选择输出概率最高的256个特征向量EH和输出概率最低的256个特征向量EL，在背景区域的非血管边缘区域选择输出概率最高的256个特征向量GH和输出概率最低的256个特征向量GL，把{EH,EL,GH,GL}作为背景特征向量，BH＝{EH,GH},BL＝{EL,GL}；对比损失为：
Figure BDA0003525489920000041
其中，Pd是预测器模块，Pj是投影器模块，Γ{}表示不计算{}中的梯度，反向传播时不训练该部分；两种模块具有相同的网络结构，但权重不同，预测器模块或投影器模块的结构为：128单元的全连接层、丢失率0.2的Dropout2d层、BatchNorm2d层，LeakyReLU激活层、128单元的全连接层和L2正则化层；
D()是余弦距离损失函数：
Figure BDA0003525489920000042
进一步地，所述步骤S5中，骨架拟合模块结构为：将特征输入给两个分支，一个分支经过最大池化层，另外一个分支为原始特征输入，将两个分支在特征通道维度进行拼接，将拼接好的特征输入具有大感受野的吸血卷积网络中，包括两层5*5的卷积层、BatchNorm2d层、两层5*5的卷积层、BatchNorm2d层，输出为Sigmoid层。
损失函数的计算方法为：
Figure BDA0003525489920000043
YS是S5得到的骨架拟合输出概率图，
Figure BDA0003525489920000044
是S2得到的血管骨架图。
本发明的有益效果是：本发明在数据预处理阶段使用了双色彩空间通道随机加权混合的数据增广手段，极大地增加了训练样本多样性，提升了模型分割血管的鲁棒性；二阶段级联的U型深监督网络能够更好地促进血管特征的学习；骨架拟合模块和损失函数能够对模型预测的血管树进行连贯性约束，使得模型更好地提取完整的树结构；在两类像素特征样本集合中采用的对比损失函数能够进一步地提升模型在高维空间中对隐藏层特征的判别能力，进而抑制病变等假阳性样本的干扰；本发明的方法能够在提取细小血管、防止血管断裂的同时，抑制生物标志物的干扰，非常适合精细的视网膜血管树分割。
附图说明
图1为本发明的整体方案架构图；
图2为本发明的双色彩空间通道混合方法图；
图3为本发明采用的级联模型中单个U型网络结构图；
图4为本发明采用的对比损失特征向量采样图；
图5为本发明采用的骨架拟合模块结构图；
图6为本发明在多个数据库眼底图像上面的分割结果；
图7为本发明对于病变干扰与血管易断裂区域的分割结果对比图。
具体实施方式
为方便技术人员理解本发明的技术内容，下面结合附图进一步阐释本发明的技术方案。
查阅相关领域文献，下载现有常用开源眼底图像血管分割数据集：
DRIVE(下载地址为http://www.isi.uu.nl/Research/Databases/DRIVE)
STARE(下载地址为http://www.ces.clemson.edu/ahoover/stare/probing/index.html)
CHASE DB1(下载地址为http://blogs.kingston.ac.uk/retinal/chasedb1/)
HRF(下载地址为http://www5.informatik.uni-erlangen.de/research/data/fundus-images)
对每个数据集划分训练集和测试集(根据经验，采取的划分比例为1:1)，将训练集中彩色眼底图像进行裁剪，每张图片裁剪大小为128*128，裁剪方式为随机裁剪。
下面结合附图进一步说明本发明的技术方案。
如图1所示，本发明的一种基于骨架先验和对比损失的眼底图像血管分割方法，包括以下步骤：
S1、对彩色眼底图像做数据增广：对训练集中的彩色眼底图像进行上下左右随机一个方向的翻转(根据经验，翻转的概率设为0.5)操作，得到翻转图，给翻转后的图像添加噪声(包括高斯噪声、椒盐噪声、拉普拉斯噪声和脉冲噪声)，然后将添加噪声后的图像转移到两个不同的色彩空间进行加权融合，然后随机做图像增强和GAMMA矫正，从结果图像提取任意通道作为单通道图像输入；
进行加权融合使用的色彩空间包括RGB、XYZ、LAB、HLS、LUV、YUV和YCrCb彩色空间中的任意两个；
如图2所示，设加权系数为α，α为属于[0,1]的随机数；记彩色眼底图像为X，T1和T2分别为色彩空间A和色彩空间B的转换手段，m和n是随机选取的通道；得到的加权输出为：
I＝α*T1(X)m+(1-α)*T2(X)n。
其中X是选取的彩色图像，T1(X)m表示对彩色图像X做T1转换后选取通道m，T2(X)n表示对彩色图像X做T2转换后选取通道n，将通道m和n加权得到输入网络的单通道图像I。
每轮次训练选取的加权系数都不同，且通道选取也保持变化，以最大化训练样本多样性。
S2、对眼底图像专家标注提取骨架：将专家标注图像中像素值大于127的点的像素值设置为255，其他点的像素值设置为0，得到二值化标注图像；二值化标注图像中，像素值为255的区域为血管区域，像素值为0的区域为背景区域，背景区域中与血管区域距离小于等于5像素距离的区域称为血管边缘区域，背景区域中与血管区域距离大于5像素距离的区域则是非血管区域，血管显示为纯白色，背景显示为纯黑色；对二值化标注图像进行血管骨架中心线提取，将提取得到的血管骨架中心线进行膨胀，得到粗细血管口径均匀的血管骨架图像；
血管骨架中心线提取函数使用Scikit-Image的morphology.skeletonize函数。膨胀运算的算子为3像素长宽的二维矩阵，数值全为1，膨胀运算使用OpenCV-Python实现。
S3、把眼底图像输入分割网络：把增广后的单通道图像输入两个级联的轻量级U型分割网络，分别提取两阶段U型分割网络各自的输出概率图Y1和Y2，将两个概率图与专家标注图像计算分割损失LSEG，进行网络训练，优化概率图使之更加逼近专家标注；
如图3所示，所述U型分割网络包括编码器和解码器，编码器包括输入单元和五个下采样单元，五个下采样单元分别进行降采样一倍、两倍、三倍、四倍和五倍，得到的图像尺度分别为×16、×8、×4、×2、×1，五个下采样单元之间使用池化层连接；解码器包括五个上采样单元和输出层(隐藏层)，五个上采样单元分别进行上采样一倍、两倍、三倍、四倍和五倍，得到的图像尺度分别为×1、×2、×4、×8、×16，五个上采样单元之间使用上采样层进行连接；下采样单元的一倍、两倍、三倍、四倍四个下采样单元与对应的上采样单元的五倍、四倍、三倍、两倍四个上采样单元之间通过跳跃连接进行信息融合，五倍下采样单元与一倍上采样单元之间通过前向传播进行信息融合；编码器和解码器的每个单元的结构为：初始特征依次输入到3*3卷积层(Convolution)、Dropout2d层(丢失率为0.15)、BatchNorm2d层，BatchNorm2d层与初始特征输入使用残差连接，连接后是一个Swish激活函数层；
输出概率图与专家标注图像的分割损失为Focal损失函数：
Figure BDA0003525489920000071
pi是S2中专家标注图像
Figure BDA0003525489920000072
中的第i个像素点数值，gi是U型分割网络各自的输出概率图
Figure BDA0003525489920000075
中的第i个像素点数值，N为专家标注图像/输出概率图的像素点数量，γ为常数，通常取γ＝2；
将两个输出概率图与专家标注图像的分割损失相加，得到总分割损失LSEG。
S4、对中间特征的前景背景特征做对比学习损失：提取级联U型分割网络的中间连接特征，在前景与背景区域选择同样数量的特征向量，对特征向量做对比损失LCON，以拉近同类像素特征的距离，减弱不同类别像素特征之间的相似性，用该损失去除病变区域造成的假阳性样本；
特征选择方法为：如图4所示，在血管区域选择输出概率最高的512个特征向量FH和输出概率最低的512个特征向量FL作为前景特征向量，在背景区域的血管边缘区域选择输出概率最高的256个特征向量EH和输出概率最低的256个特征向量EL，在背景区域的非血管边缘区域选择输出概率最高的256个特征向量GH和输出概率最低的256个特征向量GL，把{EH,EL,GH,GL}作为背景特征向量，BH＝{EH,GH},BL＝{EL,GL}；对比损失为：
Figure BDA0003525489920000073
其中，Pd是预测器模块，Pj是投影器模块，Γ{}表示不计算{}中的梯度，反向传播时不训练该部分；两种模块具有相同的网络结构，但权重不同，预测器模块或投影器模块的结构为：128单元的全连接层、丢失率0.2的Dropout2d层、BatchNorm2d层，LeakyReLU激活层、128单元的全连接层和L2正则化层；
D()是余弦距离损失函数：
Figure BDA0003525489920000074
S5、对分割模型输出骨架连续性的约束：提取级联U型分割网络的两级输出，分别把两个输出输入骨架拟合模块，将骨架拟合输出概率图与S2得到的血管骨架图像求取损失函数数值LSKE，用于保持细小血管的连续性，增强分割模型连续提取血管的能力；
其中骨架拟合模块结构为：将特征输入给两个分支，一个分支经过最大池化层(核尺寸为3*3，滑动步长为1，补零长度为1，保证池化后特征尺寸与输入一致)，另外一个分支为原始特征输入，将两个分支在特征通道维度进行拼接，将拼接好的特征输入具有大感受野的吸血卷积网络中，包括两层5*5的卷积层、BatchNorm2d层、两层5*5的卷积层、BatchNorm2d层，输出为Sigmoid层，如图5所示。
损失函数的计算方法为：
Figure BDA0003525489920000081
YS是S5得到的骨架拟合输出概率图，
Figure BDA0003525489920000082
是S2得到的血管骨架图。
S6、将三个损失函数叠加得到总损失LSUM＝LSEG+LCON+LSKE，进行梯度反向传播，分别训练模型的三个子模块：级联U型分割网络、对比学习投影器和预测器、骨架拟合模块，当总损失LSUM连续4轮不再下降，停止训练；并利用测试集中的图像测试分割模型的准确率，满足要求则将该模型作为最终的分割模型用于待识别图像的分割，否则调整训练集和测试集，或者调整参数重新训练；
S7、获得二值化血管树分割结果：将待识别的图像进行CLAHE增强和GAMMA矫正后，输入训练好的分割模型中，获得分割概率图，使用阈值法获得二值分割结果。
测试结果如图6所示，其中从左至右各列分别为原始眼底图像(RGB)、专家标注结果(Ground Truth)、本发明结果(SkelCon)和其他方法(DRIS-GP，FullyCRF)。图7为本发明对于病变干扰与血管易断裂区域的分割结果对比图。从图中可以看出，采用本发明方法对眼底图像进行血管分割能够显著分割出更精细的细小血管，且对于病灶区域基本不会产生错误识别现象。不论是从图6的整体分割结果对比，还是从图7的局部分割结果对比来看，本发明方法在全局和局部分割都显著优于其他方法。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (3)

1.一种基于骨架先验和对比损失的眼底图像血管分割方法，其特征在于，包括以下步骤：
S1、对彩色眼底图像做数据增广：对彩色眼底图像进行上下左右随机一个方向的翻转操作，得到翻转图，给翻转后的图像添加噪声，然后将添加噪声后的图像转移到两个不同的色彩空间进行加权融合，然后随机做图像增强和GAMMA矫正，从结果图像提取任意通道作为单通道图像输入；
S2、对眼底图像专家标注提取骨架：将专家标注图像中像素值大于127的点的像素值设置为255，其他点的像素值设置为0，得到二值化标注图像；二值化标注图像中，像素值为255的区域为血管区域，像素值为0的区域为背景区域，背景区域中与血管区域距离小于等于5像素距离的区域称为血管边缘区域，背景区域中与血管区域距离大于5像素距离的区域则是非血管区域；对二值化标注图像进行血管骨架中心线提取，将提取得到的血管骨架中心线进行膨胀，得到粗细血管口径均匀的骨架图像；
S3、把眼底图像输入分割网络：把增广后的单通道图像输入两个级联的轻量级U型分割网络，分别提取两阶段U型分割网络各自的输出概率图Y1和Y2，将两个概率图与专家标注图像计算分割损失LSEG；
S4、对中间特征的前景背景特征做对比学习损失：提取级联U型分割网络的中间连接特征，在前景与背景区域选择同样数量的特征向量，对特征向量做对比损失LCON；特征选择方法为：在血管区域选择输出概率最高的512个特征向量FH和输出概率最低的512个特征向量FL作为前景特征向量，在背景区域的血管边缘区域选择输出概率最高的256个特征向量EH和输出概率最低的256个特征向量EL，在背景区域的非血管边缘区域选择输出概率最高的256个特征向量GH和输出概率最低的256个特征向量GL，把{EH,EL,GH,GL}作为背景特征向量，BH＝{EH,GH},BL＝{EL,GL}；对比损失为：
Figure FDA0004087291370000011
其中，Pd是预测器模块，Pj是投影器模块，Γ{}表示不计算{}中的梯度，反向传播时不训练该部分；两种模块具有相同的网络结构，但权重不同，预测器模块或投影器模块的结构为：128单元的全连接层、丢失率0.2的Dropout2d层、BatchNorm2d层，LeakyReLU激活层、128单元的全连接层和L2正则化层；
D()是余弦距离损失函数：
Figure FDA0004087291370000021
S5、对分割模型输出骨架连续性的约束：提取级联U型分割网络的两级输出，分别把两个输出输入骨架拟合模块，将骨架拟合输出概率图与S2得到的血管骨架图像求取损失函数数值LSKE；骨架拟合模块结构为：将特征输入给两个分支，一个分支经过最大池化层，另外一个分支为原始特征输入，将两个分支在特征通道维度进行拼接，将拼接好的特征输入具有大感受野的吸血卷积网络中，包括两层5*5的卷积层、BatchNorm2d层、两层5*5的卷积层、BatchNorm2d层，输出为Sigmoid层；
损失函数的计算方法为：
Figure FDA0004087291370000022
YS是S5得到的骨架拟合输出概率图，
Figure FDA0004087291370000023
是S2得到的血管骨架图；
S6、将三个损失函数叠加得到总损失LSUM＝LSEG+LCON+LSKE，进行梯度反向传播，分别训练模型的三个子模块：级联U型分割网络、对比学习投影器和预测器、骨架拟合模块，当总损失LSUM连续4轮不再下降，停止训练；
S7、获得二值化血管树分割结果：将待识别的图像进行CLAHE增强和GAMMA矫正后，输入训练好的分割模型中，获得分割概率图，使用阈值法获得二值分割结果。
2.根据权利要求1所述的一种基于骨架先验和对比损失的眼底图像血管分割方法，其特征在于，所述步骤S1中进行加权融合使用的色彩空间包括RGB、XYZ、LAB、HLS、LUV、YUV和YCrCb彩色空间中的任意两个；
设加权系数为α，α为属于[0,1]的随机数；记彩色眼底图像为X，T1和T2分别为色彩空间A和色彩空间B的转换手段，m和n是随机选取的通道；得到的加权输出为：
I＝α*T1(X)m+(1-α)*T2(X)n
其中X是选取的彩色图像，T1(X)m表示对彩色图像X做T1转换后选取通道m，T2(X)n表示对彩色图像X做T2转换后选取通道n，将通道m和n加权得到输入网络的单通道图像I。
3.根据权利要求1所述的一种基于骨架先验和对比损失的眼底图像血管分割方法，其特征在于，所述步骤S3中，U型分割网络包括编码器和解码器，编码器包括输入单元和五个下采样单元，五个下采样单元分别进行降采样一倍、两倍、三倍、四倍和五倍，五个下采样单元之间使用池化层连接；解码器包括五个上采样单元和输出层，五个上采样单元分别进行上采样一倍、两倍、三倍、四倍和五倍，五个上采样单元之间使用上采样层进行连接；
下采样单元的一倍、两倍、三倍、四倍四个下采样单元与对应的上采样单元的五倍、四倍、三倍、两倍四个上采样单元之间通过跳跃连接进行信息融合，五倍下采样单元与一倍上采样单元之间通过前向传播进行信息融合；编码器和解码器的每个单元的结构为：初始特征依次输入到3*3卷积层、Dropout2d层、BatchNorm2d层，BatchNorm2d层与初始特征输入使用残差连接，连接后是一个Swish激活函数层；
输出概率图与专家标注图像的分割损失为Focal损失函数：
Figure FDA0004087291370000031
pi是S2中专家标注图像
Figure FDA0004087291370000032
中的第i个像素点数值，gi是U型分割网络各自的输出概率图
Figure FDA0004087291370000033
中的第i个像素点数值，N为专家标注图像/输出概率图的像素点数量，γ为常数；
将两个输出概率图与专家标注图像的分割损失相加，得到总分割损失LSEG。
CN202210195233.6A 2022-03-01 2022-03-01 一种基于骨架先验和对比损失的眼底图像血管分割方法 Active CN114565620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210195233.6A CN114565620B (zh) 2022-03-01 2022-03-01 一种基于骨架先验和对比损失的眼底图像血管分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210195233.6A CN114565620B (zh) 2022-03-01 2022-03-01 一种基于骨架先验和对比损失的眼底图像血管分割方法

Publications (2)

Publication Number Publication Date
CN114565620A CN114565620A (zh) 2022-05-31
CN114565620B true CN114565620B (zh) 2023-04-18

Family

ID=81715276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210195233.6A Active CN114565620B (zh) 2022-03-01 2022-03-01 一种基于骨架先验和对比损失的眼底图像血管分割方法

Country Status (1)

Country Link
CN (1) CN114565620B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564788B (zh) * 2022-11-18 2023-04-07 珠海横琴圣澳云智科技有限公司 基于先验信息的肺气管分割模型训练、分割方法和装置
CN116129127A (zh) * 2023-04-13 2023-05-16 昆明理工大学 一种结合尺度特征和纹理滤波的视网膜血管分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047613A (zh) * 2019-12-30 2020-04-21 北京小白世纪网络科技有限公司 基于分支注意力及多模型融合的眼底血管分割方法
CN111161287A (zh) * 2019-12-05 2020-05-15 山东科技大学 基于对称双向级联网络深度学习的视网膜血管分割方法
KR20200075152A (ko) * 2018-12-13 2020-06-26 서울대학교병원 안저 영상과 형광안저혈관조영 영상의 정합을 이용한 자동 혈관 분할 장치 및 방법
CN112288720A (zh) * 2020-10-29 2021-01-29 苏州体素信息科技有限公司 一种基于深度学习的彩色眼底图像青光眼筛查方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10405739B2 (en) * 2015-10-23 2019-09-10 International Business Machines Corporation Automatically detecting eye type in retinal fundus images
CN108122236B (zh) * 2017-12-18 2020-07-31 上海交通大学 基于距离调制损失的迭代式眼底图像血管分割方法
CN109448006B (zh) * 2018-11-01 2022-01-28 江西理工大学 一种注意力机制u型密集连接视网膜血管分割方法
CN110197493B (zh) * 2019-05-24 2021-04-23 清华大学深圳研究生院 眼底图像血管分割方法
CN111652887B (zh) * 2020-05-13 2023-04-07 腾讯科技（深圳）有限公司 图像分割模型训练方法、装置、计算机设备及存储介质
CN112001928B (zh) * 2020-07-16 2023-12-15 北京化工大学 一种视网膜血管分割方法及系统
CN112102283B (zh) * 2020-09-14 2022-12-16 北京航空航天大学 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法
CN112669285B (zh) * 2020-12-29 2022-03-08 中山大学 基于共享解码器和残差塔式结构的眼底图像血管分割方法
CN113658097B (zh) * 2021-07-15 2023-07-18 南方科技大学 一种眼底图像质量增强模型的训练方法及装置
CN113724206B (zh) * 2021-08-12 2023-08-18 武汉大学 一种基于自监督学习的眼底图像血管分割方法及系统
CN113920078A (zh) * 2021-09-30 2022-01-11 北京鹰瞳科技发展股份有限公司 一种针对眼底图像的血管分割方法和电子设备
CN113781490A (zh) * 2021-10-26 2021-12-10 重庆师范大学 基于自监督学习的眼底血管图像分割方法
CN114066884B (zh) * 2022-01-11 2022-09-27 南京医科大学眼科医院 视网膜血管分割方法及装置、电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200075152A (ko) * 2018-12-13 2020-06-26 서울대학교병원 안저 영상과 형광안저혈관조영 영상의 정합을 이용한 자동 혈관 분할 장치 및 방법
CN111161287A (zh) * 2019-12-05 2020-05-15 山东科技大学 基于对称双向级联网络深度学习的视网膜血管分割方法
CN111047613A (zh) * 2019-12-30 2020-04-21 北京小白世纪网络科技有限公司 基于分支注意力及多模型融合的眼底血管分割方法
CN112288720A (zh) * 2020-10-29 2021-01-29 苏州体素信息科技有限公司 一种基于深度学习的彩色眼底图像青光眼筛查方法及系统

Also Published As

Publication number Publication date
CN114565620A (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
US11295178B2 (en) Image classification method, server, and computer-readable storage medium
CN109345538B (zh) 一种基于卷积神经网络的视网膜血管分割方法
CN108021916B (zh) 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN107506761B (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN110097554B (zh) 基于密集卷积和深度可分离卷积的视网膜血管分割方法
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN112132817B (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
Lin et al. Automatic retinal vessel segmentation via deeply supervised and smoothly regularized network
CN114565620B (zh) 一种基于骨架先验和对比损失的眼底图像血管分割方法
Tian et al. Multi-path convolutional neural network in fundus segmentation of blood vessels
CN111815574A (zh) 一种用于眼底视网膜血管图像分割的粗糙集神经网络方法
CN113205537B (zh) 基于深度学习的血管图像分割方法、装置、设备及介质
Girard et al. Artery/vein classification in fundus images using CNN and likelihood score propagation
CN109919915A (zh) 基于深度学习的视网膜眼底图像异常区域检测方法及设备
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
Xu et al. Dual-channel asymmetric convolutional neural network for an efficient retinal blood vessel segmentation in eye fundus images
CN114266898A (zh) 一种基于改进EfficientNet的肝癌识别方法
CN114648806A (zh) 一种多机制自适应的眼底图像分割方法
CN110991254A (zh) 超声图像视频分类预测方法及系统
Noh et al. Combining fundus images and fluorescein angiography for artery/vein classification using the hierarchical vessel graph network
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN114581434A (zh) 基于深度学习分割模型的病理图像处理方法、电子设备
WO2020219968A1 (en) Detecting avascular and signal reduction areas in retinas using neural networks
Hoorali et al. Automatic microscopic diagnosis of diseases using an improved UNet++ architecture
CN116128811A (zh) 一种基于递归神经网络的眼底萎缩弧区域变化预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant