CN117746037A - 全局与局部信息融合的视网膜血管分割方法及系统 - Google Patents
全局与局部信息融合的视网膜血管分割方法及系统 Download PDFInfo
- Publication number
- CN117746037A CN117746037A CN202311745730.XA CN202311745730A CN117746037A CN 117746037 A CN117746037 A CN 117746037A CN 202311745730 A CN202311745730 A CN 202311745730A CN 117746037 A CN117746037 A CN 117746037A
- Authority
- CN
- China
- Prior art keywords
- global
- module
- local
- features
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 69
- 210000001525 retina Anatomy 0.000 title claims abstract description 61
- 230000004927 fusion Effects 0.000 title claims abstract description 50
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 34
- 210000001210 retinal vessel Anatomy 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000005070 sampling Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000012360 testing method Methods 0.000 claims abstract description 6
- 230000000694 effects Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 18
- 238000005286 illumination Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 230000009467 reduction Effects 0.000 claims description 12
- 230000002792 vascular Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000002207 retinal effect Effects 0.000 claims description 11
- 230000001965 increasing effect Effects 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 3
- 206010012689 Diabetic retinopathy Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 206010064930 age-related macular degeneration Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 208000002780 macular degeneration Diseases 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 208000010412 Glaucoma Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了全局与局部信息融合的视网膜血管分割方法及系统，涉及图像处理技术领域，包括采集眼底视网膜图像，形成数据集，并对所述数据集进行预处理；将所述数据集划分为训练集和测试集，并对所述训练集进行扩增；进行特征提取，将得到的特征图输入到Tok‑MLP模块进行下采样；将所述特征图分别输入到两个并行的分支后，将两个分支的输出同时输入到BiFusion模块中；使用Tok‑MLP块进行特征重构和上采样，通过BiFusion模块融合全局和局部分支的特征，生成分割输出，完成对视网膜血管上的分割。本发明将局部和全局特征融合的分割法应用到视网膜血管分割算法上，不仅可以降低特征的计算量，还能达到高分辨率的输出。
Description
技术领域
本发明涉及图像处理技术领域，特别是全局与局部信息融合的视网膜血管分割方法及系统。
背景技术
在传统深度神经网络基于U-Net的改进都很不错，由于眼底图像结构复杂，以及图像中存在不同规模的噪声、低对比度和空间分辨率等，大部分方法采用CNN卷积核有限的感受野来关注局部特征，来达到血管分割中更精细的细节效果。但由于卷积运算有其固定的局限性，编解码器阶段特征集不兼容，并不能很好的对距离较远的特征的上下文关系进行建模，所以很难提升在视网膜血管上的分割精度。目前在视网膜血管分割算法上，没有涉及应用局部和全局特征融合的分割效果突出的算法。
为了克服这一局限性，用于序列到序列预测的Transformer被用于医学图像分割领域，Transformer由于具有self-attention结构，所以对于全局信息的提取能力很强大，有助于图像分割。其次，传统的Transformer结构具有复杂度高、内存占用高、输出分辨率低等问题，而采用的Intra-Scale Transformer分支不仅可以降低特征的计算量，还能达到高分辨率的输出。因此，需要一种融合全局信息和局部信息的方法，即在提取特征时同时提取局部细节特征和全局上下文特征，并将二者有效融合的网络模型UCTransNeXt。
发明内容
鉴于现有的全局与局部信息融合的视网膜血管分割方法中存在的问题，提出了本发明。
因此，本发明所要解决的问题在于如何将局部和全局特征融合的分割法应用到视网膜血管分割方法上。
为解决上述技术问题，本发明提供如下技术方案：
第一方面，本发明实施例提供了全局与局部信息融合的视网膜血管分割方法，其包括采集眼底视网膜图像，形成数据集，并对所述数据集进行预处理；将所述数据集划分为训练集和测试集，并对所述训练集进行扩增；进行特征提取，将得到的特征图输入到Tok-MLP模块进行下采样；将所述特征图分别输入到两个并行的分支后，将两个分支的输出同时输入到BiFusion模块中；所述分支包括分支1和分支2；使用Tok-MLP块进行特征重构和上采样，通过BiFusion模块融合全局和局部分支的特征，生成分割输出，完成对视网膜血管上的分割。
作为本发明所述全局与局部信息融合的视网膜血管分割方法的一种优选方案，其中：所述预处理包括降噪与照明均衡化处理和CLAHE算法处理；其中，所述降噪与照明均衡化处理包括采用高斯滤波降噪和直方图均衡化照明均衡，具体为：选择合适的高斯核大小：若所述眼底视网膜图像噪声多，则选择5×5核；若所述眼底视网膜图像噪声少，图像清晰且需要保留更多细节，则选择3×3核；应用高斯滤波器，公式如下：
其中，G(x,y)表示在位置(x,y)的像素点上的滤波器值；x，y分别表示滤波器核内的像素点相对于核中心的水平和垂直距离；σ表示高斯分布的标准差，若0.5＜σ＜1.0，则高斯滤波器会提供轻度到中度的平滑效果，此时适用于眼底视网膜图像噪声少的情况；若1.0＜σ＜1.5，则高斯滤波器会提供高度的平滑效果，适用于眼底视网膜图像噪声多的情况；表示归一化系数，确保高斯滤波器的总和为1，保持图像亮度。
计算绿色通道的直方图，应用直方图均衡化，将直方图分布均匀化以增强图像对比度。
所述CLAHE算法处理包括从眼底视网膜图像中提取绿色通道，使用Sobel边缘检测算法提取图像边缘信息；动态调整TileGridSize，若为细节丰富区域，则设为4×4，若为其他区域，则设为8×8；自适应调整ClipLimit，若为眼底视网膜中心区域，则认为是高对比度区域，设置低ClipLimit值以避免过度增强对比度；若眼底视网膜的周边区域或血管较稀疏的地方，则认为是低对比度区域，设置较高的ClipLimit值以提高对比度；在每个TileGrid区域内独立进行CLAHE处理；将预先检测的边缘信息与CLAHE处理后的眼底视网膜图像结合，以保护和突出边缘细节；对处理后的眼底视网膜图像进行锐化，进一步提升图像清晰度和细节。
作为本发明所述全局与局部信息融合的视网膜血管分割方法的一种优选方案，其中：对所述训练集进行扩增是指将所述数据集中的原始眼底视网膜图像进行水平翻转、垂直翻转，以及水平垂直翻转，转置后进行顺时针旋转90°。
作为本发明所述全局与局部信息融合的视网膜血管分割方法的一种优选方案，其中：所述特征提取包括如下步骤，输入一张尺寸大小为512×512、通道数为3的眼底视网膜图像；经过三个卷积块进行下采样，且每一个卷积块都是由两个3×3大小的卷积核和一个2×2大小的最大池化层组成；经过三个卷积块后，眼底视网膜图像的尺寸变为原来的1/8，通道数变为256，得到特征图；所述下采样包括将得到的特征图输入到Tok-MLP模块，在输入MLP的同时转换输入的通道以专注于局部依赖性。
作为本发明所述全局与局部信息融合的视网膜血管分割方法的一种优选方案，其中：所述分支1是由Intra-scale transformer模块构成，用于提取全局上下文特征；所述分支2由CNN提取局部细节特征；所述特征重构采用两个Tok-MLP块进行上采样，以恢复眼底视网膜图像大小和提高分辨率；在所述上采样过程中，眼底视网膜图像通道缩减为原来的一半，而眼底视网膜图像尺寸增大为原来的2倍，与下采样过程中与眼底视网膜图像的尺寸和通道数变化相反。
作为本发明所述全局与局部信息融合的视网膜血管分割方法的一种优选方案，其中：所述Tok-MLP模块包括shift features并投射到token中，为了进行token化，首先使用3x3 conv把特征投射到E维，其中E是embadding维度，是一个超参数，然后将这些token传递给一个shifted MLP；其次，特征通过DW-Conv传递；然后使用GELU激活层；通过另一个shifted MLP传递特征，该MLP把特征的尺寸从H转换为O；使用残差连接，并将原始标记添加为残差；利用layer norm，并将输出特征传递到下一个块。
作为本发明所述全局与局部信息融合的视网膜血管分割方法的一种优选方案，其中：所述BiFusion模块的融合过程包括，获得CNN与Transformer融合特征表示，即fi，i＝0，1，2，具体过程如下：
其中，|⊙|是Hadamard积，Conv是一个3×3的卷积层；通道注意力使用的是SE-Block；空间注意力使用的是CBAM块；SE-Block用于促进Transformer分支的全局信息，而CBAM则用来增强局部细节信息；然后采用Hadamard积对CNN与Transformer两个分支特征图进行交互融合，最后为了使所得的融合特征fi能有效的捕获当前空间分辨率的全局和局部上下文，将交互特征/>和注意特征/> 拼接起来并通过残留块，以得到最后的融合特征。
第二方面，本发明实施例提供了全局与局部信息融合的视网膜血管分割系统，其包括：预处理模块，用于在绿色通道上进行降噪和照明均衡化处理，以及使用CLAHE算法增强对比度，为特征提取做准备；数据增强模块，用于通过水平翻转、垂直翻转等操作增大数据规模，提高模型的泛化能力；特征提取模块，包括分支1和分支2，所述分支1专注于局部特征提取，所述分支2用于全局上下文特征提取；特征融合与重构模块，使用Tok-MLP块进行特征重构和上采样，并通过BiFusion模块将CNN和Transformer分支的特征进行融合，以提升分割效果。
第三方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中：所述处理器执行所述计算机程序时实现上述的全局与局部信息融合的视网膜血管分割方法的任一步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序被处理器执行时实现上述的全局与局部信息融合的视网膜血管分割方法的任一步骤。
本发明有益效果为：1.结合卷积神经网络局部表征能力与Transformer的全局建模能力来提取眼底视网膜各级特征；2.在网络深层使用标记化的MLP模块，可以有效地标记和投射卷积特征，可用减少计算复杂性和参数的数量；3.传统的Transformer结构具有复杂度高、内存占用高、输出分辨率低等问题，而Intra-Scale Transformer由于轻量级的双轴MSA不仅可以降低特征的计算量，还能达到高分辨率的输出。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。其中：
图1为全局与局部信息融合的视网膜血管分割方法的整体网络结构图。
图2为全局与局部信息融合的视网膜血管分割方法的Tok-MLP算法思想示意图。
图3为全局与局部信息融合的视网膜血管分割方法的Intra-Scale Transformer算法思想示意图。
图4为全局与局部信息融合的视网膜血管分割方法的BiFusion特征融合模块示意图。
图5为全局与局部信息融合的视网膜血管分割方法的眼底视网膜前后对比图。
图6为全局与局部信息融合的视网膜血管分割方法的实验结果可视化结果图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1和图2，为本发明第一个实施例，该实施例提供了全局与局部信息融合的视网膜血管分割方法。
本发明提供的全局与局部信息融合的视网膜血管分割方法的大体原理为：首先，为了使眼底图像中的血管和背景之间的对比度更高，对数据集进行预处理操作包括选取噪声和光照干扰最小的通道，以及为了增强眼底图像的对比度，且不增加噪声对图像的影响，对提取的单通道图像使用对比度受限的自适应直方图均衡化算法。由于神经网络的训练结果依赖于训练数据规模，对数据进行有效的扩增。本发明在U-Net的基础上提出了一种可以同时提取局部和全局特征信息的视网膜血管分割模型。由于CNN中的卷积操作是以分层的方式收集局部特征的，故其更擅长提取局部特征；而Intra-scale Transformer中的自注意力机制和双轴MSA结构不仅能够对局部区域以外的长距离关系进行明确建模，而且还可以降低特征的计算量达到高分辨率输出。
本发明将两者的优点结合起来，在下采样的过程中对图像同时进行局部和全局的特征提取。同时为了减少计算复杂性和参数的数量，在网络深层使用标记化的MLP模块，可以有效地标记和投射卷积特征。
S1：采集眼底视网膜图像，形成数据集，并对所述数据集进行预处理。
具体的，为了消除图片采集质量对血管分割的影响以及使眼底图像中的血管和背景之间的对比度更高，更有利于分割，本发明采用了两种预处理策略对FIVES数据集进行处理。视网膜图像存在光照不均匀和噪声的影响，不同的通道受到噪声的干扰有不同程度的差异，绿色通道受到的噪声和光照不均的干扰最小，因此本发明选择采用绿色通道进行训练。
进一步的，预处理包括降噪与照明均衡化处理和CLAHE算法处理。其中，降噪与照明均衡化处理包括采用高斯滤波降噪和直方图均衡化照明均衡，具体为：选择合适的高斯核大小：若所述眼底视网膜图像噪声多，则选择5×5核；若所述眼底视网膜图像噪声少，图像清晰且需要保留更多细节，则选择3×3核；应用高斯滤波器，公式如下：
其中，G(x,y)表示在位置(x,y)的像素点上的滤波器值；x，y分别表示滤波器核内的像素点相对于核中心的水平和垂直距离；σ表示高斯分布的标准差，若0.5＜σ＜1.0，则高斯滤波器会提供轻度到中度的平滑效果，此时适用于眼底视网膜图像噪声少的情况；若1.0＜σ＜1.5，则高斯滤波器会提供高度的平滑效果，适用于眼底视网膜图像噪声多的情况；表示归一化系数，确保高斯滤波器的总和为1，保持图像亮度。计算绿色通道的直方图，应用直方图均衡化，将直方图分布均匀化以增强图像对比度。
为了增强眼底图像的对比度，且不增加噪声对图像的影响，对提取的单通道图像使用对比度受限的自适应直方图均衡化算法。经过CLAHE算法的处理后，对比度得到明显的提升。CLAHE算法处理步骤为：从眼底视网膜图像中提取绿色通道，使用Sobel边缘检测算法提取图像边缘信息；动态调整TileGridSize，若为细节丰富区域，则设为4×4，若为其他区域，则设为8×8；自适应调整ClipLimit，若为眼底视网膜中心区域，则认为是高对比度区域，设置低ClipLimit值以避免过度增强对比度；若眼底视网膜的周边区域或血管较稀疏的地方，则认为是低对比度区域，设置较高的ClipLimit值以提高对比度；在每个TileGrid区域内独立进行CLAHE处理；将预先检测的边缘信息与CLAHE处理后的眼底视网膜图像结合，以保护和突出边缘细节；对处理后的眼底视网膜图像进行锐化，进一步提升图像清晰度和细节。
S2：将数据集划分为训练集和测试集，并对所述训练集进行扩增。
具体的，由于神经网络的训练结果依赖于训练数据规模，数据集较少会导致在训练过程中网络模型学习不够充分，最后直接影响分割效果。为了让网络在训练过程中充分的学习到相关有效信息对数据进行有效的扩增。通过对数据集中的原始图片进行水平翻转，垂直翻转，以及水平垂直翻转，转置后进行顺时针旋转90°，将训练集进行扩增。
S3：进行特征提取，将得到的特征图输入到Tok-MLP模块进行下采样；将所述特征图分别输入到两个并行的分支后，将两个分支的输出同时输入到BiFusion模块中；所述分支包括分支1和分支2。
具体的，输入一张尺寸大小为512×512、通道数为3的眼底视网膜图像；经过三个卷积块进行下采样，且每一个卷积块都是由两个3×3大小的卷积核和一个2×2大小的最大池化层组成；经过三个卷积块后，眼底视网膜图像的尺寸变为原来的1/8，通道数变为256。
将得到的特征图输入到Tok-MLP模块，在输入MLP的同时转换输入的通道以专注于局部依赖性。
再将所得到的特征图分别输入到两个并行的分支当中，其中分支1有Intra-scaletransformer模块构成提取全局上下文特征，分支2由CNN提取局部细节特征，最后将两个分支的输出同时输入到BiFusion模块当中。
S4：使用Tok-MLP块进行特征重构和上采样，通过BiFusion模块融合全局和局部分支的特征，生成分割输出，完成对视网膜血管上的分割。
具体的，在特征提取之后进行特征重构，采用了两个Tok-MLP块进行上采样，以恢复图像大小，提高图片的分辨率，并且减少了一定的参数量和计算复杂度。在上采样过程中图片通道数缩减为原来的一半，图片尺寸增大为原来的2倍，与下采样过程中通道数和图片尺寸的变化刚好相反。
需要说明的是，在上采样的过程中还融合了下采样过程中的浅层信息，将前面第一、二、三个卷积块提取到的特征通过跳跃连接在通道方向上进行拼接，此过程与U-Net网络相似。
较佳的，为了提取到高质量的血管特征以及一个更高效的网络，不仅需要对有意义的特征信息进行编码，而且还不能忽略参数的数量和计算的复杂性。Tok-MLP模块它能有效地保持较少的计算量，同时还能建立一个良好的模型。有效地标记和预测卷积特征，并使用MLP来建模表示。为了进一步提高性能，在输入MLP的同时转换输入的通道，以便专注于学习局部依赖性。在潜在空间中使用标记化MLP减少了参数的数量和计算复杂性，同时能够产生更好的表示来帮助分割。具体的Tok-MLP模块算法大致思想如图2所示，在shifted MLP中，在tokenize之前，首先移动conv features通道的轴线。这有助于MLP只关注conv特征的某些位置，从而诱导块的局部性。由于Tokenized MLP块有2个MLP，在一个块中跨越宽度移动特征，在另一个块中跨越高度移动特征，就像轴向注意力中一样。对这些特征做了h个划分，并根据指定的轴通过j个位置移动它们。这有助于创建随机窗口，引入沿轴线的局部性。在Tokenized MLP块中，本发明首先shift features并将它们投射到token中。为了进行token化，本发明首先使用3x3 conv把特征投射到E维，其中E是embadding维度(token的数量)，它是一个超参数。然后本发明将这些token传递给一个shifted MLP(跨越width)。接下来，特征通过DW-Conv传递。然后本发明使用GELU激活层。然后，本发明通过另一个shiftedMLP(跨越height)传递特征，该MLP把特征的尺寸从H转换为了O。本发明在这里使用一个残差连接，并将原始标记添加为残差。然后本发明利用layer norm(LN)，并将输出特征传递到下一个块。LN比BN更可取，因为它更有意义的是沿着token进行规范化，而不是在TokenizedMLP块的整个批处理中进行规范化。
进一步的，由于U型结构对全局信息的提取存在局限性，以及传统的CNN卷积层缺乏对图像中远程依赖关系的建模能力，对局部区域以外的长距离关系不能进行明确建模。因此本文在模型中引入Intra-Scale Transformer，传统的Transformer结构具有复杂度高、内存占用高、输出分辨率低等问题，而Intra-Scale Transformer不仅可以降低特征的计算量，还能达到高分辨率的输出。这主要由于轻量级的双轴MSA实现，通过捕捉行和列的全局依赖关系，抑制不相关的信息，并以快速的速度识别突出的部分。具体的Intra-ScaleTransformer模块算法大致思想如图3所示，为了捕捉行和列的全局依赖关系，抑制不相关的信息，并以快速的速度识别突出的部分，通过轻量级的双轴MSA来实现，如图3所示。在双轴MSA机制它将全图像关系(HW×HW)替换为行(H×H)和列(W×W)关系。为了自适应地学习水平和垂直方向的表示，本发明首先在Q和K上应用四个不同的深度卷积，得到行增强的Qr，Kr和列增强的Qc，Kc。然后本发明在两个方向上将其传递到平均集合操作中。它估计全局和紧凑条件在整个特征图上。这个过程可以表述为：
当应用行方向MSA时，值V被重塑为H×WC；当使用列方向MSA时，V被重塑为HC×W。这样，双轴MSA的复杂性是0(H-WC+HW-C)。与需要连续两个区块来捕捉长期关系的轴向注意相比，本发明使用单个区块来学习全局条件。然后，我们利用增强的MLP，在深度卷积之前采用递归的跳过连接来传递特征。
具体的特征融合模块大致算法思想如图4所示，BiFusion为了获得CNN与Transformer融合特征表示，即fi，i＝0，1，2，经过了以下四个操作：
其中，|⊙|是Hadamard积，Conv是一个3×3的卷积层。通道注意力(ChannelAttn)使用的是SE-Block；空间注意力(SpatialAttn)使用的是CBAM块。SE-Block可以促进Transformer分支的全局信息，而CBAM则用来增强局部细节信息。然后采用Hadamard积对CNN与Transformer两个分支特征图进行交互融合，最后为了使所得的融合特征fi能有效的捕获当前空间分辨率的全局和局部上下文，将交互特征/>和注意特征/> 拼接起来并通过残留块，这样就得到了最后的融合特征。融合后的特征不仅保留了全局和局部的重要特征还抑制了不相关区域，使得最终的特征更加完整精确。
进一步的，本实施例还提供全局与局部信息融合的视网膜血管分割系统，包括：预处理模块，用于在绿色通道上进行降噪和照明均衡化处理，以及使用CLAHE算法增强对比度，为特征提取做准备；数据增强模块，用于通过水平翻转、垂直翻转等操作增大数据规模，提高模型的泛化能力；特征提取模块，包括分支1和分支2，所述分支1专注于局部特征提取，所述分支2用于全局上下文特征提取；特征融合与重构模块，使用Tok-MLP块进行特征重构和上采样，并通过BiFusion模块将CNN和Transformer分支的特征进行融合，以提升分割效果。
本实施例还提供一种计算机设备，适用于全局与局部信息融合的视网膜血管分割方法的情况，包括存储器和处理器；存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，实现如上述实施例提出的全局与局部信息融合的视网膜血管分割方法。
该计算机设备可以是终端，该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例提出的实现全局与局部信息融合的视网膜血管分割方法。
本实施例提出的存储介质与上述实施例提出的数据存储方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
综上，本发明采用对眼底视网膜图片通过图像预处理、图像增强操作之后，经过卷积神经网络下采样，编码器部分添加一个与CNN并行的Intra-scale Transformer分支，这两个分支分别通过在局部感受野和全局感受野上对眼底图像进行特征提取，最后再将两个分支提取到的特征输入BiFision模块当中，上采样还原尺寸并且融合了下采样过程中的浅层信息等步骤实现了应用在视网膜血管分割算法上的局部和全局特征融合的分割的突出效果。
此外，本发明结合卷积神经网络局部表征能力与Transformer的全局建模能力来提取眼底视网膜各级特征。在网络深层使用标记化的MLP模块，可以有效地标记和投射卷积特征，可减少计算复杂性和参数的数量。传统的Transformer结构具有复杂度高、内存占用高、输出分辨率低等问题，而Intra-Scale Transformer由于轻量级的双轴MSA不仅可以降低特征的计算量，还能达到高分辨率的输出。
实施例2
参照图1～图6，为本发明第二个实施例，该实施例提供了全局与局部信息融合的视网膜血管分割方法，为了验证本发明的有益效果，通过经济效益计算和仿真实验进行科学论证。
本发明是在浙江大学第二附属医院眼科中心提供的FIVES数据集上部署，其中包含200张糖尿病视网膜病变(DR)患者的照片，200张青光眼患者的照片，200张年龄相关性黄斑变性(AMD)患者的照片，以及200张正常对照的照片。部分实验结果如图5所示。
进一步的，本发明将训练好的模型在测试集上进行了验证，并将其他现有算法与本发明所提出的算法进行了比较，其结果如表1所示。采用分割领域常用的五个指标来进行评估，分别是：1)准确率(accuracy,Acc)；2)灵敏度(sensitivity,Sen)；3)特异性(specificity，Spe)；4)F1分数(F1-score)；5)MIou系数。各项指标计算分别为：
上述公式中，TP表示正确分割的血管个数，FP表示将血管错误分割成血管的个数，TN表示正确分割的背景个数，FN表示将背景错误分割成血管的个数，k表示类别个数。其中Acc表示算法分割的精确度，衡量的是分割结果和真实标签之间的差异，Sen表示血管和背景的分割程度，体现的是算法对于细小血管的分割情况，Spe表示网络将背景正确分类的能力，F1衡量算法分割血管的综合能力。
更进一步的，本发明将训练好的模型在测试集上进行了验证，并将其他现有算法与本文所提出的算法进行了比较，其结果如表1所示。可以看到，在FIVES数据集上，本文所提出的算法F1达到了91.89％，MIoU达到了91.86％，说明本文的分割结果更接近金标准，分割血管的综合能力更好；Acc达到了98.81％，说明本文的分割结果与真实标签之间的差异性最小；特异性达到了98.96％，说明本文所提的算法能更好的识别背景等其他无关因素。综上，本发明所提的UCTransNeXt具有更好的分割效果。
表1FIVES数据集上的定量评估结果
此外，本发明的分割结果可视化结果如图6所示，其中(a)为原始图片，(b)为分割金标准Ground truth，(c)～(e)分别为U-Net网络、UNeXt网络、ResUNet网络的整体分割结果图，(f)为本文所提出的UCTransNeXt网络整体分割结果图。从整体结果分割图可以看出，在相同的实验环境下，本发明所提出的算法更好的兼顾了局部细节和全局上下文信息，血管的分割结果较其他三个网络更加完整，出现断裂的情况较少，每一根血管纹路更加完整。在黄框中，可以明显看到在血管末支这样很难分割的细小区域，其他三个网络的分割结果皆出现噪点、不连续或根本未分割出来的情况，而本发明的分割结果在血管末支处不仅分割到了更多细小血管且分割出来的血管连续性更好，更加接近分割的金标准。
为了验证Intra-scale Transformer分支、Tok-MLP模块和BiFusion模块的有效性，本发明将无Intra-scale Transformer、Tok-MLP模块和BiFusion模块的U-Net、只有Tok-MLP模块的U-Net和既有Intra-scale Transformer又有BiFusion模块的TIB-Net网络在相同实验环境下进行了比较。结果如表2所示，其中Intra代表Intra-scale Transformer模块，Bi代表BiFusion模块。
表2FIVES数据集上的消融实验结果
可以看出，在仅仅添加了Intra-scale Transformer分支之后，网络的整体性能有了很大的提升，五项评价指标皆高于不添加Intra-scale Transformer分支的情况。而在添加了Intra-scale Transformer分支的基础之上再添加BiFusion模块后，除了Sp特异度稍有下降之外，其他四项指标皆有提升，故从整体上来说，添加BiFusion模块对网络是有一定优化效果的。
综上，本发明所提的网络具有更好的分割效果。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.全局与局部信息融合的视网膜血管分割方法，其特征在于：包括如下步骤，
采集眼底视网膜图像，形成数据集，并对所述数据集进行预处理；
将所述数据集划分为训练集和测试集，并对所述训练集进行扩增；
进行特征提取，将得到的特征图输入到Tok-MLP模块进行下采样；将所述特征图分别输入到两个并行的分支后，将两个分支的输出同时输入到BiFusion模块中；所述分支包括分支1和分支2；
使用Tok-MLP块进行特征重构和上采样，通过BiFusion模块融合全局和局部分支的特征，生成分割输出，完成对视网膜血管上的分割。
2.如权利要求1所述的全局与局部信息融合的视网膜血管分割方法，其特征在于：所述预处理包括降噪与照明均衡化处理和CLAHE算法处理；其中，
所述降噪与照明均衡化处理包括采用高斯滤波降噪和直方图均衡化照明均衡，具体为：
选择合适的高斯核大小：若所述眼底视网膜图像噪声多，则选择5×5核；若所述眼底视网膜图像噪声少，图像清晰且需要保留更多细节，则选择3×3核；
应用高斯滤波器，公式如下：
其中，G(x,y)表示在位置(x,y)的像素点上的滤波器值；x，y分别表示滤波器核内的像素点相对于核中心的水平和垂直距离；σ表示高斯分布的标准差，若0.5＜σ＜1.0，则高斯滤波器会提供轻度到中度的平滑效果，此时适用于眼底视网膜图像噪声少的情况；若1.0＜σ＜1.5，则高斯滤波器会提供高度的平滑效果，适用于眼底视网膜图像噪声多的情况；表示归一化系数，确保高斯滤波器的总和为1，保持图像亮度；
计算绿色通道的直方图，应用直方图均衡化，将直方图分布均匀化以增强图像对比度；
所述CLAHE算法处理包括，
从眼底视网膜图像中提取绿色通道，使用Sobel边缘检测算法提取图像边缘信息；
动态调整TileGridSize，若为细节丰富区域，则设为4×4，若为其他区域，则设为8×8；
自适应调整ClipLimit，若为眼底视网膜中心区域，则认为是高对比度区域，设置低ClipLimit值以避免过度增强对比度；若眼底视网膜的周边区域或血管较稀疏的地方，则认为是低对比度区域，设置较高的ClipLimit值以提高对比度；
在每个TileGrid区域内独立进行CLAHE处理；
将预先检测的边缘信息与CLAHE处理后的眼底视网膜图像结合，以保护和突出边缘细节；
对处理后的眼底视网膜图像进行锐化，进一步提升图像清晰度和细节。
3.如权利要求2所述的全局与局部信息融合的视网膜血管分割方法，其特征在于：对所述训练集进行扩增是指将所述数据集中的原始眼底视网膜图像进行水平翻转、垂直翻转，以及水平垂直翻转，转置后进行顺时针旋转90°。
4.如权利要求3所述的全局与局部信息融合的视网膜血管分割方法，其特征在于：所述特征提取包括如下步骤，
输入一张尺寸大小为512×512、通道数为3的眼底视网膜图像；
经过三个卷积块进行下采样，且每一个卷积块都是由两个3×3大小的卷积核和一个2×2大小的最大池化层组成；
经过三个卷积块后，眼底视网膜图像的尺寸变为原来的1/8，通道数变为256，得到特征图；
所述下采样包括将得到的特征图输入到Tok-MLP模块，在输入MLP的同时转换输入的通道以专注于局部依赖性。
5.如权利要求4所述的全局与局部信息融合的视网膜血管分割方法，其特征在于：所述分支1是由Intra-scale transformer模块构成，用于提取全局上下文特征；所述分支2由CNN提取局部细节特征；
所述特征重构采用两个Tok-MLP块进行上采样，以恢复眼底视网膜图像大小和提高分辨率；在所述上采样过程中，眼底视网膜图像通道缩减为原来的一半，而眼底视网膜图像尺寸增大为原来的2倍，与下采样过程中与眼底视网膜图像的尺寸和通道数变化相反。
6.如权利要求5所述的全局与局部信息融合的视网膜血管分割方法，其特征在于：所述Tok-MLP模块包括，
shift features并投射到token中，为了进行token化，首先使用3x3 conv把特征投射到E维，其中E是embadding维度，是一个超参数，然后将这些token传递给一个shifted MLP；其次，特征通过DW-Conv传递；然后使用GELU激活层；通过另一个shifted MLP传递特征，该MLP把特征的尺寸从H转换为O；使用残差连接，并将原始标记添加为残差；利用layer norm，并将输出特征传递到下一个块。
7.如权利要求6所述的全局与局部信息融合的视网膜血管分割方法，其特征在于：所述BiFusion模块的融合过程包括，
获得CNN与Transformer融合特征表示，即fi，i＝0，1，2，具体过程如下：
其中，|⊙|是Hadamard积，Conv是一个3×3的卷积层；通道注意力使用的是SE-Block；空间注意力使用的是CBAM块；SE-Block用于促进Transformer分支的全局信息，而CBAM则用来增强局部细节信息；然后采用Hadamard积对CNN与Transformer两个分支特征图进行交互融合，最后为了使所得的融合特征fi能有效的捕获当前空间分辨率的全局和局部上下文，将交互特征/>和注意特征/> 拼接起来并通过残留块，以得到最后的融合特征。
8.全局与局部信息融合的视网膜血管分割系统，基于权利要求1～7任一所述的全局与局部信息融合的视网膜血管分割方法，其特征在于：包括，
预处理模块，用于在绿色通道上进行降噪和照明均衡化处理，以及使用CLAHE算法增强对比度，为特征提取做准备；
数据增强模块，用于通过水平翻转、垂直翻转操作增大数据规模，提高模型的泛化能力；
特征提取模块，包括分支1和分支2，所述分支1专注于局部特征提取，所述分支2用于全局上下文特征提取；
特征融合与重构模块，使用Tok-MLP块进行特征重构和上采样，并通过BiFusion模块将CNN和Transformer分支的特征进行融合，以提升分割效果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1～7任一所述的全局与局部信息融合的视网膜血管分割方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1～7任一所述的全局与局部信息融合的视网膜血管分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311745730.XA CN117746037A (zh) | 2023-12-19 | 2023-12-19 | 全局与局部信息融合的视网膜血管分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311745730.XA CN117746037A (zh) | 2023-12-19 | 2023-12-19 | 全局与局部信息融合的视网膜血管分割方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117746037A true CN117746037A (zh) | 2024-03-22 |
Family
ID=90252126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311745730.XA Pending CN117746037A (zh) | 2023-12-19 | 2023-12-19 | 全局与局部信息融合的视网膜血管分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117746037A (zh) |
-
2023
- 2023-12-19 CN CN202311745730.XA patent/CN117746037A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145170B (zh) | 一种基于深度学习的医学影像分割方法 | |
| CN110120047B (zh) | 图像分割模型训练方法、图像分割方法、装置、设备及介质 | |
| KR102058884B1 (ko) | 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법 | |
| Tabassum et al. | CDED-Net: Joint segmentation of optic disc and optic cup for glaucoma screening | |
| US20210390696A1 (en) | Medical image processing apparatus, medical image processing method and computer-readable storage medium | |
| CN109816666B (zh) | 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质 | |
| WO2020022027A1 (ja) | 学習装置及び学習方法 | |
| Manakov et al. | Noise as domain shift: Denoising medical images by unpaired image translation | |
| Zhang et al. | Medical image fusion based on quasi-cross bilateral filtering | |
| CN114418987A (zh) | 一种多阶段特征融合的视网膜血管分割方法及系统 | |
| Athalye et al. | Taylor series‐based deep belief network for automatic classification of diabetic retinopathy using retinal fundus images | |
| CN114155190A (zh) | 基于病灶注意条件生成对抗网络的视网膜图像合成方法 | |
| CN114187181A (zh) | 基于残差信息精炼的双路径肺部ct图像超分辨率方法 | |
| CN111462004B (zh) | 图像增强方法和装置、计算机设备、存储介质 | |
| CN112562058B (zh) | 一种基于迁移学习的颅内血管模拟三维模型快速建立方法 | |
| CN116823851B (zh) | 基于特征重构的无监督域自适应oct图像分割方法及系统 | |
| CN112508873A (zh) | 基于迁移学习的颅内血管模拟三维狭窄化模型的建立方法 | |
| CN116740076A (zh) | 视网膜色素变性眼底图像中色素分割的网络模型及方法 | |
| CN117746037A (zh) | 全局与局部信息融合的视网膜血管分割方法及系统 | |
| CN116681641A (zh) | 一种基于生成对抗网络的眼底oct图像生成方法 | |
| Khalid et al. | FGR-Net: interpretable fundus image gradeability classification based on deep reconstruction learning | |
| CN112242193B (zh) | 一种基于深度学习的自动血管穿刺方法 | |
| Zhao et al. | Perception-oriented generative adversarial network for retinal fundus image super-resolution | |
| Nguyen et al. | Comparative study on super resolution techniques for upper gastrointestinal endoscopic images | |
| CN113744250A (zh) | 基于U-Net的臂丛神经超声图像分割方法、系统、介质和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |