CN116129127A - 一种结合尺度特征和纹理滤波的视网膜血管分割方法 - Google Patents

一种结合尺度特征和纹理滤波的视网膜血管分割方法 Download PDF

Info

Publication number
CN116129127A
CN116129127A CN202310393621.XA CN202310393621A CN116129127A CN 116129127 A CN116129127 A CN 116129127A CN 202310393621 A CN202310393621 A CN 202310393621A CN 116129127 A CN116129127 A CN 116129127A
Authority
CN
China
Prior art keywords
representing
blood vessel
scale
vessel
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310393621.XA
Other languages
English (en)
Inventor
刘骊
杨可欣
付晓东
彭玮
刘利军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202310393621.XA priority Critical patent/CN116129127A/zh
Publication of CN116129127A publication Critical patent/CN116129127A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Nonlinear Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种结合尺度特征和纹理滤波的视网膜血管分割方法，属于计算机视觉、模式识别及医学图像应用领域。首先基于U‑Net网络，构建多尺度跳跃连接的尺度特征表示模块，对视网膜图像集中的输入图像进行编码，得到血管尺度特征；其次，通过上采样对血管尺度特征进行粗分割，得到具有全尺度信息的血管粗分割结果；然后，对血管粗分割结果的上下文信息进行相似度聚合，生成纹理特征滤波器；最后，通过结合纹理特征滤波器和定义包含骰子损失、双重对比损失的联合损失，分别对粗分割结果的血管边缘和区域进行纹理增强和优化，得到最终的血管分割结果。本发明具有较高的分割效率和准确性，能有效用于视网膜图像中的血管分割。

Description

一种结合尺度特征和纹理滤波的视网膜血管分割方法
技术领域
本发明涉及一种结合尺度特征和纹理滤波的视网膜血管分割方法，属于计算机视觉、模式识别及医学图像应用领域。
背景技术
视网膜血管图像是一种重要的生物信息，在社会保障领域可以作为一个识别条件来构建个人识别系统；在医疗领域可用于疾病诊断，视网膜血管结构的细微变化和异常可以作为诊断多种疾病的重要信号，包括DR、AMD、高血压等；分割的视网膜血管可以作为其他解剖部位的先验，如黄斑。如果仅凭人为经验，容易造成估算上的误差，因此，通过准确分割视网膜血管区域成为计算机辅助诊断的有效途径。然而，由于视网膜血管规模和形状差异大、位于分支末端的细小血管对比度低、视网膜血管周围的医学语义复杂，增加了分割任务的难度，且存在微小血管、视杯视盘及异常区域，导致视网膜血管分割的精度和效率较低。此外，STARE数据集中许多图像存在严重病变，不同数据集的图像信息差异较大，导致血管分割结果的灵敏度较低。
公知方法通常基于Unet、FCN、transformer等网络进行改进，但这些方法大多能够准确分割出血管主干，在处理复杂和多样化的视网膜血管形态结构上仍然具有局限，对于分割只覆盖1~2个像素宽的毛细血管尤其困难，并且还存在视杯视盘及异常区域处的血管分割不准确等问题。鉴于此，公知的视网膜血管分割方法进行了改进，例如Wang(<ISBI>,2020,1237-1241)利用两个基于U-Net的深度监督编-解码器模块，以端到端的形式对视网膜血管进行粗到细的分割，粗分割部分学习预测视网膜概率图，细分割部分对预测的视网膜图进行细化，通过更多的路径来保存上下文相关的信息，克服特征积累的局限性，提高了毛细血管的分割精度。Zhang(<MICCAI>,2020,775-785)在U-Net基础上引入Sobel边缘检测器，能够获得额外的边缘先验，从而无监督地增强边界，并利用去噪块来降低隐藏在底层特征中的噪声，实现有效的医学图像分割。然而，以上公知方法未考虑视网膜血管复杂的拓扑结构，无法解决血管尺度变换大的问题。专利CN113658207A提供一种基于引导滤波的视网膜血管分割方法及装置，以视网膜眼底图像的多尺度线算子特征作为引导图对相位一致性的响应图进行引导滤波，其滤波后的输出图像作为特征图，通过FCM聚类实现视网膜血管分割，提升了对血管分割的准确度以及细小血管的检测灵敏度，但该公知方法未充分表示多尺度血管形态。专利CN113379741A基于多尺度语义信息融合的深度卷积神经网络智能模型，将增强之后的数据输入到智能模型，并获得模型的输出，在血管断点和血管厚度不一致的区域上动态增加损失权重，迭代学习并进行优化，该公知方法结合了多尺度语义信息和断点信息解决血管连通性，但是没有考虑前景和背景的关系。专利CN112132817A采用混合注意力，对低对比度的血管结构进行精准分割，对复杂的眼底图像病灶、血管中心反光现象的干扰和光照不均衡现象的干扰具有较强的鲁棒性，但是采用混合注意力机制的效率较低。专利CN115049682A基于编-解码结构构建多尺度密集网络模型，在编码器与解码器之间设计了密集空洞空间卷积金字塔，在解码器部分引入了压缩激励模块和残余连接，并设计了一种全尺度的跳跃连接，该公知方法解决了对于细小血管的分割以及血管边缘模糊的问题，虽然考虑三层血管特征，但未考虑多层血管特征表示，以及前景与背景的关系，同时也未考虑血管纹理结构。因此，本发明通过构建多尺度跳跃连接的尺度特征表示模块，对血管尺度特征进行表示，通过上采样进行粗分割，得到具有全尺度血管信息的粗分割结果；通过对具有全尺度信息的血管粗分割结果的上下文信息进行相似度聚合，从而生成关注纹理特征的滤波器；通过纹理特征滤波器对粗分割结果的血管边缘进行增强，同时结合定义包含骰子损失、双重对比损失的联合损失，考虑血管前景与背景的关系对血管区域进行优化，能够得到更准确的血管分割结果。
发明内容
本发明提供了一种结合尺度特征和纹理滤波的视网膜血管分割方法，能够有效用于分割视网膜血管图像，提升分割的精确性和复杂性。
本发明的技术方案是：一种结合尺度特征和纹理滤波的视网膜血管分割方法：包括如下步骤：
Step1、基于U-Net网络，构建多尺度跳跃连接的尺度特征表示模块，对视网膜图像集中的输入图像进行编码，得到血管尺度特征；
Step2、通过上采样对血管尺度特征进行粗分割，得到具有全尺度信息的血管粗分割结果；
Step3、对血管粗分割结果的上下文信息进行相似度聚合，生成纹理特征滤波器；
Step4、通过结合纹理特征滤波器和定义包含骰子损失、双重对比损失的联合损失，分别对粗分割结果的血管边缘和区域进行纹理增强和优化，得到最终的血管分割结果。
作为本发明的进一步方案，所述Step1和Step2具体过程如下：
首先，基于U-Net网络对输入视网膜图像集
Figure SMS_1
中的图像进行下采样，其中
Figure SMS_2
表示视网膜图像数量，获得视网膜图像上的五个不同层次的编码特征
Figure SMS_3
；
然后，基于编码特征，通过结合编码器的特征图和解码器的特征图，构建多尺度跳跃连接的尺度特征表示模块，并定义
Figure SMS_7
对不同层次的编码特征和解码特征进行融合，得到血管的五层尺度特征；其中，
Figure SMS_10
表示融合不同层次编解码特征的解码特征，即血管不同层次的尺度特征，
Figure SMS_14
、
Figure SMS_6
、
Figure SMS_9
、
Figure SMS_13
、
Figure SMS_15
分别表示第五层、第四层、第三层、第二层、第一层血管尺度特征，
Figure SMS_4
表示卷积操作，
Figure SMS_8
表示通过批规范化和
Figure SMS_12
激活操作的特征聚合，
Figure SMS_16
和
Figure SMS_5
分别表示上采样和下采样操作，
Figure SMS_11
表示拼接操作。
最后，通过上采样对第五层血管尺度特征
Figure SMS_17
进行粗分割，得到具有全尺度信息的血管粗分割结果
Figure SMS_18
。
作为本发明的进一步方案，所述Step3具体过程如下：
首先，对Step2中得到的具有全尺度信息的粗分割结果
Figure SMS_21
，计算中心像素
Figure SMS_25
和周围
Figure SMS_26
个像素
Figure SMS_20
的局部表示
Figure SMS_23
，其中
Figure SMS_27
表示元素乘法，
Figure SMS_30
表示
Figure SMS_19
区域的坐标，每个像素获得一个局部表示，并沿通道维度拼接局部表示，得到相似体积
Figure SMS_24
以表示血管粗分割结果
Figure SMS_28
的上下文信息，其中
Figure SMS_29
，
Figure SMS_22
、W代表相似体积的高度和宽度；
然后，基于相似体积
Figure SMS_33
对更广粒度的上下文进行相似度聚合
Figure SMS_36
，
Figure SMS_39
，
Figure SMS_32
，
Figure SMS_35
，其中
Figure SMS_37
代表元素相加，获得最终的相似体积
Figure SMS_40
，
Figure SMS_31
表示批规范化和
Figure SMS_34
操作，
Figure SMS_38
表示最终生成的纹理滤波器的大小；
最后，对相似体积
Figure SMS_41
进行变形操作，生成
Figure SMS_42
个大小为
Figure SMS_43
的纹理滤波器。
作为本发明的进一步方案，所述Step4具体过程如下：
首先，使用生成的纹理滤波器对粗分割结果上相应的局部区域进行血管增强纹理，获得增强血管边缘的分割结果
Figure SMS_44
；
其次，根据Step1中的第五层血管尺度特征
Figure SMS_50
，获得血管特征集合
Figure SMS_46
，其中
Figure SMS_56
表示高置信度像素，
Figure SMS_52
表示低置信度像素；并从第一层血管尺度特征
Figure SMS_59
获得血管附近背景样本和其他背景样本，即
Figure SMS_51
，其中
Figure SMS_61
，
Figure SMS_49
；将
Figure SMS_58
输入到映射器
Figure SMS_45
和预测器
Figure SMS_53
中，
Figure SMS_48
、
Figure SMS_54
是简单多层感知机，包括非线性层和二范式层，
Figure SMS_57
代表血管前景像素，
Figure SMS_60
代表血管附近的背景像素，
Figure SMS_47
代表其他背景像素，
Figure SMS_55
表示所有背景像素；
然后，计算血管像素与背景像素之间的双重对比损失，包括计算血管像素和血管附近背景像素的第一重对比损失以优化整个血管区域的分割结果
Figure SMS_63
，其中
Figure SMS_66
代表第一重对比损失，
Figure SMS_70
代表停止梯度算子，
Figure SMS_64
代表同一特征层中的高置信特征和低置信特征之间的余弦相似度损失，
Figure SMS_67
表示二范数操作，以及计算血管像素与其他背景像素的第二重对比损失以优化整个细血管区域的分割结果
Figure SMS_68
，其中
Figure SMS_69
代表第二重对比损失；
Figure SMS_62
表示血管和血管附近背景像素；
Figure SMS_65
表示血管和其他背景像素；
最后，用定义的包括骰子损失
Figure SMS_72
、基于
Figure SMS_74
和
Figure SMS_76
双重对比损失的联合损失函数
Figure SMS_73
，
Figure SMS_75
为权重系数，
Figure SMS_77
表示真实标签，对血管区域及毛细血管区域进行增强优化，使用对比损失能提高血管与周围背景的区别，对分割结果
Figure SMS_78
进行优化，得到最终结果
Figure SMS_71
。
本发明的有益效果是：
1、公知的血管特征提取方法仅处理图像三层特征，导致对复杂形态血管，如毛细血管的分割不准确，具有局限性。本发明通过构建多尺度跳跃连接的尺度特征表示模块，对视网膜图像集中的输入图像进行编码，得到血管多尺度特征，提高了具有复杂拓扑结构的视网膜血管分割的精度。
2、公知的视网膜血管分割方法大多采用两个复杂网络对视网膜进行粗分割和细分割，或者结合注意力机制对血管进行增强，导致分割效率不高。本发明对具有全尺度信息的血管粗分割结果的上下文信息进行相似度聚合，生成纹理特征滤波器，提高了后续视网膜血管分割的效率和准确率。
3、公知的视网膜血管分割方法通常只考虑血管边界的增强，未充分考虑前景和背景关系，导致部分区域的血管分割精度不高。本发明通过生成的纹理滤波器对血管边界进行增强，并结合双重对比损失提高视杯视盘和异常区域的血管和细血管的分割，能够准确获得最终的血管分割结果。
附图说明
图1为本发明的流程图；
图2为本发明的多尺度特征表示流程图；
图3为本发明的粗分割结果实例图；
图4为本发明的纹理滤波流程图；
图5为本发明的分割结果实例图。
具体实施方式
实施例1：如图1-图5所示，一种结合血管尺度和纹理滤波的视网膜血管分割方法，包括：
包括如下步骤：
Step1、基于U-Net网络，构建多尺度跳跃连接的尺度特征表示模块，对视网膜图像集中的输入图像进行编码，得到血管尺度特征；
Step2、通过上采样对血管尺度特征进行粗分割，得到具有全尺度信息的血管粗分割结果；
Step3、对血管粗分割结果的上下文信息进行相似度聚合，生成纹理特征滤波器；
Step4、通过结合纹理特征滤波器和定义包含骰子损失、双重对比损失的联合损失，分别对粗分割结果的血管边缘和区域进行纹理增强和优化，得到最终的血管分割结果。
作为本发明的进一步方案，所述Step1和Step2具体过程如下：
首先，基于U-Net网络对输入视网膜图像集
Figure SMS_79
中的图像进行下采样，其中
Figure SMS_80
表示视网膜图像数量，获得视网膜图像上的五个不同层次的编码特征
Figure SMS_81
；
然后，基于编码特征，通过结合编码器的特征图和解码器的特征图，构建多尺度跳跃连接的尺度特征表示模块，并定义
Figure SMS_85
对不同层次的编码特征和解码特征进行融合，得到血管的五层尺度特征；其中，
Figure SMS_86
表示融合不同层次编解码特征的解码特征，即血管不同层次的尺度特征，
Figure SMS_91
、
Figure SMS_84
、
Figure SMS_89
、
Figure SMS_92
、
Figure SMS_94
分别表示第五层、第四层、第三层、第二层、第一层血管尺度特征，
Figure SMS_82
表示卷积操作，
Figure SMS_88
表示通过批规范化和
Figure SMS_90
激活操作的特征聚合，
Figure SMS_93
和
Figure SMS_83
分别表示上采样和下采样操作，
Figure SMS_87
表示拼接操作。
最后，通过上采样对第五层血管尺度特征
Figure SMS_95
进行粗分割，得到具有全尺度信息的血管粗分割结果
Figure SMS_96
。
作为本发明的进一步方案，所述Step3具体过程如下：
首先，对Step2中得到的具有全尺度信息的粗分割结果
Figure SMS_98
，计算中心像素
Figure SMS_102
和周围
Figure SMS_106
个像素
Figure SMS_99
的局部表示
Figure SMS_103
，其中
Figure SMS_105
表示元素乘法，
Figure SMS_108
表示
Figure SMS_97
区域的坐标，每个像素获得一个局部表示，并沿通道维度拼接局部表示，得到相似体积
Figure SMS_101
以表示血管粗分割结果
Figure SMS_104
的上下文信息，其中
Figure SMS_107
，
Figure SMS_100
、W代表相似体积的高度和宽度；
然后，基于相似体积
Figure SMS_111
对更广粒度的上下文进行相似度聚合
Figure SMS_112
，
Figure SMS_115
，
Figure SMS_110
，
Figure SMS_114
，其中
Figure SMS_117
代表元素相加，获得最终的相似体积
Figure SMS_118
，
Figure SMS_109
表示批规范化和
Figure SMS_113
操作，
Figure SMS_116
表示最终生成的纹理滤波器的大小；
最后，对相似体积
Figure SMS_119
进行变形操作，生成
Figure SMS_120
个大小为
Figure SMS_121
的纹理滤波器。
作为本发明的进一步方案，所述Step4具体过程如下：
首先，使用生成的纹理滤波器对粗分割结果上相应的局部区域进行血管增强纹理，获得增强血管边缘的分割结果
Figure SMS_122
；
其次，根据Step1中的第五层血管尺度特征
Figure SMS_128
，获得血管特征集合
Figure SMS_126
，其中
Figure SMS_135
表示高置信度像素，
Figure SMS_125
表示低置信度像素；并从第一层血管尺度特征
Figure SMS_138
获得血管附近背景样本和其他背景样本，即
Figure SMS_130
，其中
Figure SMS_137
，
Figure SMS_131
；将
Figure SMS_139
输入到映射器
Figure SMS_123
和预测器
Figure SMS_133
中，
Figure SMS_127
、
Figure SMS_136
是简单多层感知机，包括非线性层和二范式层，
Figure SMS_129
代表血管前景像素，
Figure SMS_132
代表血管附近的背景像素，
Figure SMS_124
代表其他背景像素，
Figure SMS_134
表示所有背景像素；
然后，计算血管像素与背景像素之间的双重对比损失，包括计算血管像素和血管附近背景像素的第一重对比损失以优化整个血管区域的分割结果
Figure SMS_142
，其中
Figure SMS_145
代表第一重对比损失，
Figure SMS_147
代表停止梯度算子，
Figure SMS_141
代表同一特征层中的高置信特征和低置信特征之间的余弦相似度损失，
Figure SMS_144
表示二范数操作，以及计算血管像素与其他背景像素的第二重对比损失以优化整个细血管区域的分割结果
Figure SMS_146
，其中
Figure SMS_148
代表第二重对比损失；
Figure SMS_140
表示血管和血管附近背景像素；
Figure SMS_143
表示血管和其他背景像素；
最后，用定义的包括骰子损失
Figure SMS_150
、基于
Figure SMS_153
和
Figure SMS_155
双重对比损失的联合损失函数
Figure SMS_151
，
Figure SMS_152
为权重系数，
Figure SMS_154
表示真实标签，对血管区域及毛细血管区域进行增强优化，使用对比损失能提高血管与周围背景的区别，对分割结果
Figure SMS_156
进行优化，得到最终结果
Figure SMS_149
。
实施实例2：如图1-图5所示，一种结合尺度特征和纹理滤波的视网膜血管分割方法，包括如下步骤：
Step1、如图2所示，输入视网膜图像集
Figure SMS_157
中的一幅原始图像(a1)，其中
Figure SMS_158
表示视网膜图像数量；采用U-Net网络对输入视网膜图像集中的图像进行特征提取，并进行四次下采样操作和四次上采样操作，每一层两次标准卷积进行特征提取，引入批归一化层，采用
Figure SMS_159
激活函数。获得视网膜图像上的五个不同层次的编码特征
Figure SMS_160
和解码特征
Figure SMS_161
；
然后，基于U-Net网络和编码解码特征构建多尺度跳跃连接的尺度特征表示模块，利用公式
Figure SMS_164
结合编码器的较小和相同规模的特征图和解码器的较大规模的特征图，通过对不同层次的编码特征和解码特征进行融合，将不同尺度下特征图的底层细节与高层语义信息相结合，得到血管的五层尺度特征。其中，
Figure SMS_166
表示融合不同层次编解码特征的解码特征，即血管不同层次的尺度特征，
Figure SMS_170
、
Figure SMS_165
、
Figure SMS_167
、
Figure SMS_171
、
Figure SMS_173
分别表示第五层、第四层、第三层、第二层、第一层血管尺度特征，
Figure SMS_162
表示卷积操作，
Figure SMS_168
表示通过批规范化和
Figure SMS_172
激活操作的特征聚合，
Figure SMS_174
和
Figure SMS_163
分别表示上采样和下采样操作，
Figure SMS_169
表示拼接操作。
Step2、通过上采样对血管尺度特征
Figure SMS_175
进行粗分割，上采样操作包括两次标准卷积，引入批归一化层，采用
Figure SMS_176
激活函数，得到具有全尺度信息的血管粗分割结果
Figure SMS_177
，见图3(b1) ~(d1)。
经过Step1后，可以得到具有全尺度信息的血管粗分割结果。具体流程图如图2所示。本实例的数据集选自公开数据集DRIVE、STRAE、CHASEDB1，其中，DRIVE数据集共包含40张彩色眼底图像，已被均分为训练集和测试集，并提供了两位专家手动分割的金标准以及对应的掩膜图像。图像使用佳能CR5非散瞳 3CCD相机获取，分辨率为565×584。部分图像来自早期糖尿病视网膜病变患者，以JPEG的格式存储。在测试过程中，采用第一位专家的手动分割结果作为真值来评估本发明所提出框架的分割性能。利用Pytorch进行实验，Step1、Step2实验结果如图3(b1) ~(d1)所示。
Step3、首先对Step2中得到的具有全尺度信息的粗分割结果
Figure SMS_180
，采用相似体积方式来收集更广粒度的上下文信息，见图4，通过计算中心像素
Figure SMS_183
和周围
Figure SMS_185
个像素
Figure SMS_179
的局部表示
Figure SMS_182
，
Figure SMS_187
的相似值作为这个像素的局部表示，每个像素获得一个局部表示，并沿通道维度拼接局部表示，得到相似体积
Figure SMS_188
以表示血管粗分割结果
Figure SMS_178
的上下文信息，其中×表示元素乘法，
Figure SMS_181
表示
Figure SMS_184
区域的坐标，其中
Figure SMS_186
，H1、W代表相似体积的高度和宽度。
然后，基于相似体积
Figure SMS_191
，充分利用比ｄ小的相似体积的残差信息，对更广粒度的上下文信息进行相似度聚合，利用公式
Figure SMS_192
，
Figure SMS_197
，
Figure SMS_190
，
Figure SMS_193
计算最终的相似体积
Figure SMS_196
，其中
Figure SMS_198
代表元素相加，
Figure SMS_189
表示一个卷积层、一个批规范化层和一个
Figure SMS_194
激活函数操作，
Figure SMS_195
表示最终生成的纹理滤波器的大小。
最后，对相似体积
Figure SMS_199
进行变形操作，生成
Figure SMS_200
个大小为
Figure SMS_201
的纹理滤波器，纹理滤波器的生成流程见图4。
Step4、首先使用Step3中生成的纹理滤波器对Step１中的到的粗分割结果上相应的局部区域进行血管增强纹理，获得增强血管边缘的分割结果
Figure SMS_202
。
其次，使用对比损失从神经网络提取的特征空间中增强同一类别像素的相似性。根据ground truth（即医生的标签），将视网膜中的像素分为三类，分别是血管前景像素
Figure SMS_203
、血管附近的背景像素
Figure SMS_204
和其他背景像素
Figure SMS_205
，根据的粗分割预测概率，将像素进一步分为高置信度像素(以
Figure SMS_206
为索引)和低置信度像素(以
Figure SMS_207
为索引)两类。
根据Step1中的第五层血管尺度特征
Figure SMS_226
，获得血管特征集合
Figure SMS_210
，其中
Figure SMS_217
表示高置信度像素，
Figure SMS_213
表示低置信度像素；并从第一层血管尺度特征
Figure SMS_220
获得高低置信度背景特征集合
Figure SMS_225
，其中包括血管附近背景样本和其他背景样本，即
Figure SMS_229
，
Figure SMS_214
；将
Figure SMS_222
输入到映射器
Figure SMS_208
和预测器
Figure SMS_216
中，
Figure SMS_215
、
Figure SMS_219
是简单多层感知机，通过线性层、Dropout层、LeakyReLU激活函数、线性层、二范式层。然后，在同一特征层中的高置信特征和低置信特征之间使用余弦相似损失
Figure SMS_227
，并计算血管像素和背景像素之间的双重对比损失，包括计算血管像素和血管附近背景像素的第一重对比损失以优化整个血管区域的分割结果
Figure SMS_230
，其中
Figure SMS_209
代表第一重对比损失，
Figure SMS_224
代表停止梯度算子，
Figure SMS_212
表示所有背景像素,
Figure SMS_218
表示二范数操作，以及计算血管像素与其他背景像素的第二重对比损失以优化整个细血管区域的分割结果
Figure SMS_211
，其中
Figure SMS_221
代表第二重对比损失，
Figure SMS_223
表示血管和血管附近背景像素；
Figure SMS_228
表示血管和其他背景像素；
最后，用定义的包括骰子损失
Figure SMS_232
、基于
Figure SMS_237
和
Figure SMS_239
双重对比损失的联合损失函数
Figure SMS_231
，
Figure SMS_235
为权重系数，
Figure SMS_236
表示真实标签，在实验的基础上，将系数设置为
Figure SMS_238
＝１。对血管区域及毛细血管区域进行增强优化，使用对比损失提高血管与周围背景的区别，对分割结果
Figure SMS_233
进行优化，得到最终结果
Figure SMS_234
，见图5(b3)~(d3)。
将本发明与其他公知方法，如U-Net、AG-Net在DRIVE数据集下进行对比， 性能指标的比较结果见表1，其中
Figure SMS_240
表示分割准确率，
Figure SMS_241
表示分割特异性，
Figure SMS_242
表示分割灵敏度，Auc表示Roc曲线下方的面积大小。
表1
方法 Acc Auc Sp Se
U-Net 0.9681 0.9836 0.9854 0.7897
AG-Net 0.9692 0.9856 0.9848 0.8100
本发明方法 0.9761 0.9827 0.9866 0.8191
从表1可以看出采用本发明的分割方法的
Figure SMS_243
、
Figure SMS_244
和
Figure SMS_245
比其他几种方法高，即分割效果相对较好。
如表2所示，将本发明方法与公知方法，如AG-Net在分割参数大小上进行对比。从表2可以看出采用本发明的分割方法的分割参数比部分方法少，即分割效率相对较高。
表2
方法 参数（MB）
U-Net 4.320
AG-Net 9.330
本发明方法 6.870
综上，本发明方法较相关的公知的方法来说，具有较高的分割准确率和效率。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明 宗旨的前提下做出各种变化。

Claims (4)

1.一种结合尺度特征和纹理滤波的视网膜血管分割方法，其特征在于：包括如下步骤：
Step1、基于U-Net网络，构建多尺度跳跃连接的尺度特征表示模块，对视网膜图像集中的输入图像进行编码，得到血管尺度特征；
Step2、通过上采样对血管尺度特征进行粗分割，得到具有全尺度信息的血管粗分割结果；
Step3、对血管粗分割结果的上下文信息进行相似度聚合，生成纹理特征滤波器；
Step4、通过结合纹理特征滤波器和定义包含骰子损失、双重对比损失的联合损失，分别对粗分割结果的血管边缘和区域进行纹理增强和优化，得到最终的血管分割结果。
2.根据权利要求1所述的结合尺度特征和纹理滤波的视网膜血管分割方法，其特征在于：所述Step1和Step2具体过程如下：
首先，基于U-Net网络对输入视网膜图像集
Figure QLYQS_1
中的图像进行下采样，其中
Figure QLYQS_2
表示视网膜图像数量，获得视网膜图像上的五个不同层次的编码特征
Figure QLYQS_3
；
然后，基于编码特征，通过结合编码器的特征图和解码器的特征图，构建多尺度跳跃连接的尺度特征表示模块，并定义
Figure QLYQS_7
对不同层次的编码特征和解码特征进行融合，得到血管的五层尺度特征；其中，
Figure QLYQS_11
表示融合不同层次编解码特征的解码特征，即血管不同层次的尺度特征，
Figure QLYQS_14
、
Figure QLYQS_5
、
Figure QLYQS_9
、
Figure QLYQS_13
、
Figure QLYQS_16
分别表示第五层、第四层、第三层、第二层、第一层血管尺度特征，
Figure QLYQS_4
表示卷积操作，
Figure QLYQS_8
表示通过批规范化和
Figure QLYQS_12
激活操作的特征聚合，
Figure QLYQS_15
和
Figure QLYQS_6
分别表示上采样和下采样操作，
Figure QLYQS_10
表示拼接操作；
最后，通过上采样对第五层血管尺度特征
Figure QLYQS_17
进行粗分割，得到具有全尺度信息的血管粗分割结果
Figure QLYQS_18
。
3.根据权利要求1所述的结合尺度特征和纹理滤波的视网膜血管分割方法，其特征在于：所述Step3具体过程如下：
首先，对Step2中得到的具有全尺度信息的粗分割结果
Figure QLYQS_22
，计算中心像素
Figure QLYQS_25
和周围
Figure QLYQS_27
个像素
Figure QLYQS_20
的局部表示
Figure QLYQS_24
，其中
Figure QLYQS_28
表示元素乘法，
Figure QLYQS_30
表示
Figure QLYQS_19
区域的坐标，每个像素获得一个局部表示，并沿通道维度拼接局部表示，得到相似体积
Figure QLYQS_23
以表示血管粗分割结果
Figure QLYQS_26
的上下文信息，其中
Figure QLYQS_29
，
Figure QLYQS_21
、W代表相似体积的高度和宽度；
然后，基于相似体积
Figure QLYQS_32
对更广粒度的上下文进行相似度聚合
Figure QLYQS_34
，
Figure QLYQS_39
，
Figure QLYQS_33
，
Figure QLYQS_35
，其中
Figure QLYQS_37
代表元素相加，获得最终的相似体积
Figure QLYQS_40
，
Figure QLYQS_31
表示批规范化和
Figure QLYQS_36
操作，
Figure QLYQS_38
表示最终生成的纹理滤波器的大小；
最后，对相似体积
Figure QLYQS_41
进行变形操作，生成
Figure QLYQS_42
个大小为
Figure QLYQS_43
的纹理滤波器。
4.根据权利要求1所述的结合尺度特征和纹理滤波的视网膜血管分割方法，其特征在于：所述Step4具体过程如下：
首先，使用生成的纹理滤波器对粗分割结果上相应的局部区域进行血管增强纹理，获得增强血管边缘的分割结果
Figure QLYQS_44
；
其次，根据Step1中的第五层血管尺度特征
Figure QLYQS_49
，获得血管特征集合
Figure QLYQS_46
，其中
Figure QLYQS_55
表示高置信度像素，
Figure QLYQS_50
表示低置信度像素；并从第一层血管尺度特征
Figure QLYQS_57
获得血管附近背景样本和其他背景样本，即
Figure QLYQS_56
，其中
Figure QLYQS_61
，
Figure QLYQS_52
；将
Figure QLYQS_58
输入到映射器
Figure QLYQS_45
和预测器
Figure QLYQS_53
中，
Figure QLYQS_48
、
Figure QLYQS_60
是简单多层感知机，包括非线性层和二范式层，
Figure QLYQS_51
代表血管前景像素，
Figure QLYQS_59
代表血管附近的背景像素，
Figure QLYQS_47
代表其他背景像素，
Figure QLYQS_54
表示所有背景像素；
然后，计算血管像素与背景像素之间的双重对比损失，包括计算血管像素和血管附近背景像素的第一重对比损失以优化整个血管区域的分割结果
Figure QLYQS_64
，其中
Figure QLYQS_67
代表第一重对比损失，
Figure QLYQS_68
代表停止梯度算子，
Figure QLYQS_63
代表同一特征层中的高置信特征和低置信特征之间的余弦相似度损失，
Figure QLYQS_66
表示二范数操作，以及计算血管像素与其他背景像素的第二重对比损失以优化整个细血管区域的分割结果
Figure QLYQS_69
，其中
Figure QLYQS_70
代表第二重对比损失；
Figure QLYQS_62
表示血管和血管附近背景像素；
Figure QLYQS_65
表示血管和其他背景像素；
最后，用定义的包括骰子损失
Figure QLYQS_73
、基于
Figure QLYQS_75
和
Figure QLYQS_76
双重对比损失的联合损失函数
Figure QLYQS_72
，
Figure QLYQS_74
为权重系数，
Figure QLYQS_77
表示真实标签，对血管区域及毛细血管区域进行增强优化，使用对比损失能提高血管与周围背景的区别，对分割结果
Figure QLYQS_78
进行优化，得到最终结果
Figure QLYQS_71
。
CN202310393621.XA 2023-04-13 2023-04-13 一种结合尺度特征和纹理滤波的视网膜血管分割方法 Pending CN116129127A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310393621.XA CN116129127A (zh) 2023-04-13 2023-04-13 一种结合尺度特征和纹理滤波的视网膜血管分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310393621.XA CN116129127A (zh) 2023-04-13 2023-04-13 一种结合尺度特征和纹理滤波的视网膜血管分割方法

Publications (1)

Publication Number Publication Date
CN116129127A true CN116129127A (zh) 2023-05-16

Family

ID=86310349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310393621.XA Pending CN116129127A (zh) 2023-04-13 2023-04-13 一种结合尺度特征和纹理滤波的视网膜血管分割方法

Country Status (1)

Country Link
CN (1) CN116129127A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007097740A (ja) * 2005-10-03 2007-04-19 Hitachi Omron Terminal Solutions Corp 眼底画像診断支援装置
US20120249959A1 (en) * 2011-03-31 2012-10-04 The Hong Kong Polytechnic University Apparatus and method for non-invasive diabetic retinopathy detection and monitoring
CN110599492A (zh) * 2019-09-19 2019-12-20 腾讯科技（深圳）有限公司 图像分割模型的训练方法、装置、电子设备及存储介质
CN111145854A (zh) * 2019-12-20 2020-05-12 昆明理工大学 一种基于主题模型的胸部x光片诊断报告异常检测方法
CN112508864A (zh) * 2020-11-20 2021-03-16 昆明理工大学 基于改进UNet++的视网膜血管图像分割方法
CN113538313A (zh) * 2021-07-22 2021-10-22 深圳大学 一种息肉分割方法、装置、计算机设备及存储介质
CN114565620A (zh) * 2022-03-01 2022-05-31 电子科技大学 一种基于骨架先验和对比损失的眼底图像血管分割方法
CN114972155A (zh) * 2021-12-30 2022-08-30 昆明理工大学 一种基于上下文信息和反向注意力的息肉图像分割方法
CN115641340A (zh) * 2022-09-07 2023-01-24 闽江学院 基于多尺度注意力门控网络的视网膜血管图像分割方法
CN115861618A (zh) * 2022-12-19 2023-03-28 厦门大学 一种端到端的全景叙事分割的单阶段方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007097740A (ja) * 2005-10-03 2007-04-19 Hitachi Omron Terminal Solutions Corp 眼底画像診断支援装置
US20120249959A1 (en) * 2011-03-31 2012-10-04 The Hong Kong Polytechnic University Apparatus and method for non-invasive diabetic retinopathy detection and monitoring
CN110599492A (zh) * 2019-09-19 2019-12-20 腾讯科技（深圳）有限公司 图像分割模型的训练方法、装置、电子设备及存储介质
CN111145854A (zh) * 2019-12-20 2020-05-12 昆明理工大学 一种基于主题模型的胸部x光片诊断报告异常检测方法
CN112508864A (zh) * 2020-11-20 2021-03-16 昆明理工大学 基于改进UNet++的视网膜血管图像分割方法
CN113538313A (zh) * 2021-07-22 2021-10-22 深圳大学 一种息肉分割方法、装置、计算机设备及存储介质
CN114972155A (zh) * 2021-12-30 2022-08-30 昆明理工大学 一种基于上下文信息和反向注意力的息肉图像分割方法
CN114565620A (zh) * 2022-03-01 2022-05-31 电子科技大学 一种基于骨架先验和对比损失的眼底图像血管分割方法
CN115641340A (zh) * 2022-09-07 2023-01-24 闽江学院 基于多尺度注意力门控网络的视网膜血管图像分割方法
CN115861618A (zh) * 2022-12-19 2023-03-28 厦门大学 一种端到端的全景叙事分割的单阶段方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HUIMIN HUANG 等: "UNET 3+: A FULL-SCALE CONNECTED UNET FOR MEDICAL IMAGE SEGMENTATION", 《ARXIV》, pages 1 - 5 *
MICHAEL YEUNG 等: "Calibrating the Dice Loss to Handle Neural Network Overconfidence for Biomedical Image Segmentation", 《JOURNAL OF DIGITAL IMAGING》, pages 739 - 752 *
MINGXING LI 等: "RETINAL VESSEL SEGMENTATION WITH PIXEL-WISE ADAPTIVE FILTERS", 《ARXIV》, pages 1 - 5 *
YUBO TAN 等: "retinal vessel segmentation with skeletal prior and contrastive loss", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》, vol. 41, no. 9, pages 2238 *
梁礼明 等: "鬼影卷积自适应视网膜血管分割算法", 《光电工程》, vol. 48, no. 10, pages 210291 - 1 *
雷凯杰 等: "基于多任务学习的糖尿病视网膜病变图像分割", 《计算机系统应用》, vol. 32, no. 1, pages 413 - 419 *

Similar Documents

Publication Publication Date Title
Adegun et al. Deep learning techniques for skin lesion analysis and melanoma cancer detection: a survey of state-of-the-art
Lian et al. Multi-channel multi-scale fully convolutional network for 3D perivascular spaces segmentation in 7T MR images
WO2021169128A1 (zh) 眼底视网膜血管识别及量化方法、装置、设备及存储介质
Shahin et al. White blood cells identification system based on convolutional deep neural learning networks
CN109584246B (zh) 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法
Math et al. Adaptive machine learning classification for diabetic retinopathy
CN107016681B (zh) 基于全卷积网络的脑部mri肿瘤分割方法
CN109671094B (zh) 一种基于频域分级的眼底图像血管分割方法
Chen et al. 3D intracranial artery segmentation using a convolutional autoencoder
CN109829918B (zh) 一种基于密集特征金字塔网络的肝脏图像分割方法
CN114926477B (zh) 一种基于深度学习的脑肿瘤多模态mri影像分割方法
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN112884788B (zh) 基于丰富上下文网络的视杯视盘分割方法及成像方法
CN110751636A (zh) 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
Karthik et al. Ischemic lesion segmentation using ensemble of multi-scale region aligned CNN
Sarwar et al. Segmentation of cervical cells for automated screening of cervical cancer: a review
Juneja et al. DC-Gnet for detection of glaucoma in retinal fundus imaging
CN114022462A (zh) 实现多参数核磁共振图像病灶分割的方法、系统、装置、处理器及其计算机可读存储介质
Javidi et al. Retinal image assessment using bi-level adaptive morphological component analysis
Qayyum et al. Automatic segmentation using a hybrid dense network integrated with an 3D-atrous spatial pyramid pooling module for computed tomography (CT) imaging
Bnouni et al. Boosting CNN learning by ensemble image preprocessing methods for cervical cancer segmentation
CN117495882B (zh) 一种基于AGCH-Net和多尺度融合的肝脏肿瘤CT图像分割方法
Kumar et al. Automated white corpuscles nucleus segmentation using deep neural network from microscopic blood smear
Wu et al. Continuous refinement-based digital pathology image assistance scheme in medical decision-making systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230516

RJ01 Rejection of invention patent application after publication