CN113888556A - 一种基于差分注意力的视网膜血管图像分割方法及系统 - Google Patents
一种基于差分注意力的视网膜血管图像分割方法及系统 Download PDFInfo
- Publication number
- CN113888556A CN113888556A CN202111080576.XA CN202111080576A CN113888556A CN 113888556 A CN113888556 A CN 113888556A CN 202111080576 A CN202111080576 A CN 202111080576A CN 113888556 A CN113888556 A CN 113888556A
- Authority
- CN
- China
- Prior art keywords
- scale
- module
- attention
- blood vessel
- vessel image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 210000001210 retinal vessel Anatomy 0.000 title claims abstract description 51
- 238000003709 image segmentation Methods 0.000 title claims abstract description 39
- 230000003321 amplification Effects 0.000 claims abstract description 26
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 26
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 25
- 230000002207 retinal effect Effects 0.000 claims abstract description 18
- 230000007246 mechanism Effects 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 239000013589 supplement Substances 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 description 23
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004256 retinal image Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 206010038923 Retinopathy Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明属于医学图像分割领域，提供了一种基于差分注意力的视网膜血管图像分割方法及系统。其中，该方法包括获取视网膜血管图像；基于视网膜血管图像及基于差分注意力多尺度残差网络，得到视网膜眼底血管图像分割结果；其中，所述基于差分注意力多尺度残差网络包括多尺度输入模块、编码器模块、差分放大模块和解码器模块；多尺度输入模块用于提取视网膜血管图像的多尺度信息；编码器模块用于对多尺度信息进行编码；差分放大模块用于分别提取编码后多尺度信息的低频信息和高频信息，再分别提取低频信息和高频信息的特征；解码器模块中引入注意力机制，以提升所需关注区域的关注度同时抑制无关区域，最终将从提取的低频和高频特征还原到原始分辨率。
Description
技术领域
本发明属于医学图像分割领域，尤其涉及一种基于差分注意力的视网膜血管图像分割方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
视网膜眼底血管分割作为现代眼科疾病的非入侵性快速诊断方法，是计算机辅助临床诊断视网膜疾病的重要组成部分。它可以帮助眼科医生诊断某些视网膜病变，如视网膜血管阻塞、糖尿病性视网膜病变、高血压和青光眼等。这些疾病的特征可以通过观察视网膜血管的变化获得，如形状、宽度、分支模式等。及早发现和诊断可以帮助潜在患者进行有效的预防以及治疗。
临床上通常由眼科专家对视网膜眼底图像中的血管进行人工标注，这需要大量的经验和时间来正确的分割这些视网膜图像。而视网膜眼底血管的大小、形状极其不规律，导致人工分割的过程十分繁琐且容易出错，这在临床应用上是不可行的。发明人发现，目前大多数解决上述问题的方法一般都是基于图像处理、图像增强或深度学习等算法。这些方法虽然表现良好，但它们不可避免地使网络变得更加复杂，当特征积累到极限可能无法提取细小的血管部分导致分割效果并不理想。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种基于差分注意力的视网膜血管图像分割方法及系统，其基于差分注意力多尺度残差网络对视网膜血管图像进行分割，能够在获得较高分割精度的同时确保较高的鲁棒性，从而保证精确的视网膜眼底血管图像分割。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于差分注意力的视网膜血管图像分割方法，其包括：
获取视网膜血管图像；
基于视网膜血管图像及基于差分注意力多尺度残差网络，得到视网膜眼底血管图像分割结果；
其中，所述基于差分注意力多尺度残差网络包括多尺度输入模块、编码器模块、差分放大模块和解码器模块；多尺度输入模块用于提取视网膜血管图像的多尺度信息；编码器模块用于对多尺度信息进行编码；差分放大模块用于分别提取编码后多尺度信息的低频信息和高频信息，再分别提取低频信息和高频信息的特征；解码器模块中引入注意力机制，以提升所需关注区域的关注度同时抑制无关区域，最终将从提取的低频和高频特征还原到原始分辨率。
本发明的第二个方面提供一种基于差分注意力的视网膜血管图像分割系统，其包括：
图像获取模块，其用于获取视网膜血管图像；
图像分割模块，其用于基于视网膜血管图像及基于差分注意力多尺度残差网络，得到视网膜眼底血管图像分割结果；
其中，所述基于差分注意力多尺度残差网络包括多尺度输入模块、编码器模块、差分放大模块和解码器模块；多尺度输入模块用于提取视网膜血管图像的多尺度信息；编码器模块用于对多尺度信息进行编码；差分放大模块用于分别提取编码后多尺度信息的低频信息和高频信息，再分别提取低频信息和高频信息的特征；解码器模块中引入注意力机制，以提升所需关注区域的关注度同时抑制无关区域，最终将从提取的低频和高频特征还原到原始分辨率。
本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于差分注意力的视网膜血管图像分割方法中的步骤。
本发明的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于差分注意力的视网膜血管图像分割方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明基于视网膜血管图像及基于差分注意力多尺度残差网络，得到视网膜眼底血管图像分割结果；其中，基于差分注意力多尺度残差网络包括多尺度输入模块、编码器模块、差分放大模块和解码器模块；本发明所提出的多尺度输入模块考虑了网络层级深度差异所带来的特征提取差异，这种方法极大程度上保留了图像的原始特征，一定程度上避免了深度卷积神经网络在上下采样过程中发生的特征丢失问题，使得分割结果更加准确；
本发明采用差分放大模块，使网络在训练时更关注高频和低频信息，分割精确度高的边界区域更精确；注意力模块可以突出编码路径中的显著输出特征而抑制跳跃连接中的不相关区域，本发明的基于差分注意力多尺度残差网络中这些模块有效地解决了分支血管和细小血管分割精度不足、边界模糊的问题，与此同时血管外的背景分割也更加准确。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例的视网膜眼底血管图像分割方法的流程图；
图2为本发明实施例的基于差分注意力的多尺度残差网络架构图；
图3为本发明实施例的最大池化操作；
图4(a)为普通卷积单元；
图4(b)为残差卷积单元；
图5为本发明实施例的差分放大模块结构图；
图6为本发明实施例的注意门模块结构图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如图1所示，本实施例提供了一种基于差分注意力的视网膜血管图像分割方法，其具体包括如下步骤：
S101：获取视网膜血管图像；
S102：基于视网膜血管图像及基于差分注意力多尺度残差网络，得到视网膜眼底血管图像分割结果；
其中，如图2所示，所述基于差分注意力多尺度残差网络包括多尺度输入模块、编码器模块、差分放大模块和解码器模块；多尺度输入模块用于提取视网膜血管图像的多尺度信息；编码器模块用于对多尺度信息进行编码；差分放大模块用于分别提取编码后多尺度信息的低频信息和高频信息，再分别提取低频信息和高频信息的特征；解码器模块中引入注意力机制，以提升所需关注区域的关注度同时抑制无关区域，最终将从提取的低频和高频特征还原到原始分辨率。
本实施例的基于差分注意力多尺度残差网络沿用了U-Net架构，在具有跳跃连接的编码器-解码器结构中引入了差分放大模块和注意力模块。网络中的卷积单元都是基于残差连接的，这有效改善了网络收敛的速度。
在本实施例中，所述多尺度输入模块包含至少三种尺度的输入，第一种尺度的输入为经过预处理的原始训练集灰度图，对第一种尺度的输入进行连续的最大池化操作依次得到第二种尺度的输入以及第二种之后尺度的输入。
例如在图2中，多尺度输入模块包含四种不同尺度的输入，输入(0)为经过预处理的原始训练集灰度图，对其进行连续的最大池化操作依次得到输入(1)，输入(2)和输入(3)。多尺度输入模块的目的是使网络能够融合多尺度信息，加强编码器网络层的训练以解决视网膜眼底图像细小血管分割能力不足的问题。
其中，所述编码器模块包含的层数与多尺度输入模块的输入尺度数量相同。所述编码器模块的每层包括一个残差卷积单元和一次下采样操作，残差卷积单元用于融合多尺度输入的图像进行特征信息的补充，并通过下采样操作压缩图像降低图像分辨率。
例如在图2中，编码器模块包含四层，每层包括一个残差卷积单元和一次下采样操作。编码器模块融合多尺度输入的图像进行特征信息的补充，并通过下采样操作压缩图像降低图像分辨率。
如图5所示，差分放大模块连接在解码器的残差卷积单元后构成跳跃连接。用于提取不同分辨率图像的高频和低频信息。在所述差分放大模块中，通过平均池化操作作为低通滤波器提取低频信息，将最大池化操作与卷积操作的差作为高通滤波器提取高频信息，高频信息和低频信息分别卷积操作进一步提取特征。
图3为最大池化操作。以输入(1)为例，我们的数据集原始输入灰度图像输入(0)为(a)，我们对其每个2×2非重叠区域内所有值求出最大值，得到(b)即输入(1)。
图4(a)为普通卷积单元，图4(b)为残差卷积单元。⊕表示矩阵对应元素相加操作。
其中，所述解码器模块包含的层数与编码器模块包含的层数相同。所述解码器模块的每层包括一次上采样操作、一个注意力门和一个残差卷积单元。
例如：解码器模块包含四层。解码器模块通过上采样操作将抽象特征还原到原始分辨率，并通过融合跳跃连接的图像对图像的特征信息进行补充。
图6为注意门模块结构图，包括两个输入信号，其中G为所对应的编码器的跳跃连接传输的特征信息，X为前一个网络层输出的粗略特征。注意门通过从粗略特征中提取的信息以增强跳跃连接中的有用信息并抑制无关信息和噪声。
为了解决现有技术在视网膜血管分割中仍存在的分割准确度低、边界区域分割不清晰等问题，本实施例的基于差分注意力的视网膜血管图像分割方法，其基于差分注意力多尺度残差网络，在获得较高分割精度的同时确保较高的鲁棒性，从而保证精确的视网膜眼底血管图像分割。
下面提供基于差分注意力多尺度残差网络的训练过程：
本实施例采用Adam优化器进行网络参数的优化，设置多种学习率对模型的性能进行优化，加速训练过程中模型的收敛、优化模型的性能。为了满足深度神经网络的训练要求，我们使用随机数据增强技术来扩充数据集。
为了实现视网膜血管分割更高的准确率，以用于辅助提高临床上医生的诊断效率，下面将对所提出的基于差分注意力的多尺度残差网络的训练的具体实施方式做进一步的说明：
第一步：获取公开的视网膜数据集CHASE_DB1，该数据集包括14个儿童双眼的28幅彩色视网膜图像，每幅图像的像素大小为999×996；首先对所有的数据进行灰度处理，将RGB图像转换成单通道的灰度图；然后对灰度图进行自适应直方图均衡化处理。
第二步：考虑到训练过程中内存占用问题，将图像尺寸大小调整为512×512像素并将数据集随机划分为训练集和测试集；为了满足深度神经网络的训练要求，使用随机数据增强技术对训练集进行扩充，包括随机水平翻转、随机垂直翻转和随机旋转。
第三步：搭建基于差分注意力的多尺度残差网络。该网络主要包括：多尺度输入模块、编码器模块、差分放大模块、解码器模块。网络中的卷积单元都是基于残差连接的，如图4所示，其中每个卷积块包括一个3×3的卷积层、一个批归一化层和一个ReLU激活函数层。多尺度输入模块可以极大程度上保留图像的原始特征，一定程度上避免了深度卷积神经网络在上下采样过程中发生的特征丢失问题，使得分割结果更加精确。差分放大模块连接在每个编码器的残差卷积单元后以构成跳跃连接，用于提取不同分辨率图像的高频、低频信息。如图5所示，差分放大模块通过卷积核大小为2×2的平均池化操作作为低通滤波器提取图像的低频信息，将核大小为2×2的最大池化操作与卷积操作做差作为高通滤波器提取图像的高频信息。在解码器结构中引入注意力机制，可以使网络更加关注血管像素部分尤其是细小血管，有效抑制背景特征并解决边界模糊问题。如图6所示，注意力门有两个输入信号，一个是由跳跃连接传输的特征，另一个输入是从前一个神经层输出的粗略特征。从粗略特征中提取的信息用于消除跳跃连接中不相关的信息和噪声，使得分割结果更加精确。
其中，编码器模块包括四层，每层的结构包含级联连接的两个卷积层和一个池化层。在每个卷积层后都进行了批归一化操作，并且与ReLU激活函数相连接。参数设置：卷积核大小为3×3，步长为1；池化层采用最大池化操作，卷积核大小为2×2，步长为2。与编码器相对应的，解码器模块也包括四层，每层包含一个上采样层和两个卷积层。每个卷积层后都进行了批归一化操作和ReLU激活函数产生输出。参数设置：卷积核大小为3×3，步长为1，上采样的感受野为2。
这些模块的结构中卷积核大小以及步长的具体数值都是固定不变的。例如多尺度输入模块和差分放大模块中，通过2×2卷积核大小、步长为2的最大池化操作对图像分辨率大小进行调整。该卷积核大小不能改变，通常不重叠的池化操作表现最好，最大池化操作卷积核的最常用大小为2×2，较大的卷积核会显著降低输出的尺寸，并可能导致信息过度丢失。
第四步：将扩充的训练数据集输入到第三步所建立的网络中进行视网膜眼底血管分割模型的训练。使用TensorFlow框架进行模型的训练，采用Adam优化器进行网络参数的优化，设置多种学习率对模型的性能进行优化，加速训练过程中模型的收敛、优化模型的性能。训练过程中使用Tversky Loss来约束整个网络，使分割结果更精确。
其中，TensorFlow是深度学习的一个计算框架，TensorFlow按照其名称，可以拆分成tensor(张量)+flow(流动)。我们可以理解为在这个框架内，数据的传输方式就是以张量流动的形式。
Tversky系数是Dice系数和Jaccard系数的一种推广，表示为：
其中，A和B分别表示为预测值(Prediction)和真实值(Ground truth)的集合，α和β为Tversky指数的超参数。当α＝β＝0.5时，Tversky指数的表达式与骰子(Dice)系数相同。
其中，采用Adam优化器进行网络参数的优化的过程为：
使用TensorFlow框架进行模型的训练，采用Adam优化器进行网络参数的优化，加速训练过程中模型的收敛、优化模型的性能。Adam算法和传统的随机梯度下降不同。经典的随机梯度下降法，在训练过程中保持一个单一的学习率，用于所有的参数更新，并且训练过程中学习率不会改变。Adam算法可以通过计算梯度的一阶矩估计和二阶矩估计来计算不同参数的自适应学习率：通过过往梯度和当前梯度的平均值，使得每次梯度更新不会相差太大，可以适应不稳定的目标函数；通过过往梯度平方与当前梯度平方的平均值可以为不同参数产生自适应的学习速率。
第五步：加载第四步中所保存的模型参数，得到训练好的视网膜眼底血管分割模型，将第二步选取的测试集输入到模型中，得到视网膜眼底血管分割的结果。
本实施例提出的基于差分注意力的多尺度残差网络，沿用了U-Net的编码器-解码器结构。使用差分放大模块改进跳跃连接，使网络能够学习更好的特征；每个跳跃连接上加入了注意力机制，使用注意力门来突出血管像素部分并抑制背景特征，使得分割结果更加精确。
本实施例的编码器模块通过下采样操作压缩图像，降低图像分辨率并减少运算量；差分放大模块用于增加网络对不同分辨率图像高频信息和低频信息的提取；注意力模块使得网络更加关注所需关注的部分同时抑制特征图中的无关区域，使得分割结果更加精确；解码器模块通过上采样操作将抽象特征还原到原始分辨率。在训练过程中，通过采用Tversky损失函数来约束整个网络，使得分割结果更精确。采用Adam优化器进行网络参数的优化、设置多种学习率，加速训练过程中模型的收敛、优化模型的性能。
实施例二
本实施例提供了一种基于差分注意力的视网膜血管图像分割系统，其具体包括：
图像获取模块，其用于获取视网膜血管图像；
图像分割模块，其用于基于视网膜血管图像及基于差分注意力多尺度残差网络，得到视网膜眼底血管图像分割结果；
其中，所述基于差分注意力多尺度残差网络包括多尺度输入模块、编码器模块、差分放大模块和解码器模块；多尺度输入模块用于提取视网膜血管图像的多尺度信息；编码器模块用于对多尺度信息进行编码；差分放大模块用于分别提取编码后多尺度信息的低频信息和高频信息，再分别提取低频信息和高频信息的特征；解码器模块中引入注意力机制，以提升所需关注区域的关注度同时抑制无关区域，最终将从提取的低频和高频特征还原到原始分辨率。
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于差分注意力的视网膜血管图像分割方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于差分注意力的视网膜血管图像分割方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于差分注意力的视网膜血管图像分割方法，其特征在于，包括：
获取视网膜血管图像；
基于视网膜血管图像及基于差分注意力多尺度残差网络，得到视网膜眼底血管图像分割结果；
其中，所述基于差分注意力多尺度残差网络包括多尺度输入模块、编码器模块、差分放大模块和解码器模块；多尺度输入模块用于提取视网膜血管图像的多尺度信息；编码器模块用于对多尺度信息进行编码；差分放大模块用于分别提取编码后多尺度信息的低频信息和高频信息，再分别提取低频信息和高频信息的特征；解码器模块中引入注意力机制，以提升所需关注区域的关注度同时抑制无关区域，最终将从提取的低频和高频特征还原到原始分辨率。
2.如权利要求1所述的基于差分注意力的视网膜血管图像分割方法，其特征在于，所述多尺度输入模块包含至少三种尺度的输入，第一种尺度的输入为经过预处理的原始训练集灰度图，对第一种尺度的输入进行连续的最大池化操作依次得到第二种尺度的输入以及第二种之后尺度的输入。
3.如权利要求1所述的基于差分注意力的视网膜血管图像分割方法，其特征在于，所述编码器模块包含的层数与多尺度输入模块的输入尺度数量相同。
4.如权利要求3所述的基于差分注意力的视网膜血管图像分割方法，其特征在于，所述编码器模块的每层包括一个残差卷积单元和一次下采样操作，残差卷积单元用于融合多尺度输入的图像进行特征信息的补充，并通过下采样操作压缩图像降低图像分辨率。
5.如权利要求1所述的基于差分注意力的视网膜血管图像分割方法，其特征在于，在所述差分放大模块中，通过平均池化操作作为低通滤波器提取低频信息，将最大池化操作与卷积操作的差作为高通滤波器提取高频信息，高频信息和低频信息分别卷积操作进一步提取特征。
6.如权利要求1所述的基于差分注意力的视网膜血管图像分割方法，其特征在于，所述解码器模块包含的层数与编码器模块包含的层数相同。
7.如权利要求6所述的基于差分注意力的视网膜血管图像分割方法，其特征在于，所述解码器模块的每层包括一次上采样操作、一个注意力门和一个残差卷积单元。
8.一种基于差分注意力的视网膜血管图像分割系统，其特征在于，包括：
图像获取模块，其用于获取视网膜血管图像；
图像分割模块，其用于基于视网膜血管图像及基于差分注意力多尺度残差网络，得到视网膜眼底血管图像分割结果；
其中，所述基于差分注意力多尺度残差网络包括多尺度输入模块、编码器模块、差分放大模块和解码器模块；多尺度输入模块用于提取视网膜血管图像的多尺度信息；编码器模块用于对多尺度信息进行编码；差分放大模块用于分别提取编码后多尺度信息的低频信息和高频信息，再分别提取低频信息和高频信息的特征；解码器模块中引入注意力机制，以提升所需关注区域的关注度同时抑制无关区域，最终将从提取的低频和高频特征还原到原始分辨率。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于差分注意力的视网膜血管图像分割方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于差分注意力的视网膜血管图像分割方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111080576.XA CN113888556A (zh) | 2021-09-15 | 2021-09-15 | 一种基于差分注意力的视网膜血管图像分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111080576.XA CN113888556A (zh) | 2021-09-15 | 2021-09-15 | 一种基于差分注意力的视网膜血管图像分割方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113888556A true CN113888556A (zh) | 2022-01-04 |
Family
ID=79009441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111080576.XA Pending CN113888556A (zh) | 2021-09-15 | 2021-09-15 | 一种基于差分注意力的视网膜血管图像分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113888556A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114418987A (zh) * | 2022-01-17 | 2022-04-29 | 北京工业大学 | 一种多阶段特征融合的视网膜血管分割方法及系统 |
| CN118334329A (zh) * | 2024-03-05 | 2024-07-12 | 中国科学院自动化研究所 | 红外图像分割模型训练方法及红外图像分割方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829918A (zh) * | 2019-01-02 | 2019-05-31 | 安徽工程大学 | 一种基于密集特征金字塔网络的肝脏图像分割方法 |
| CN110189334A (zh) * | 2019-05-28 | 2019-08-30 | 南京邮电大学 | 基于注意力机制的残差型全卷积神经网络的医学图像分割方法 |
| CN112102283A (zh) * | 2020-09-14 | 2020-12-18 | 北京航空航天大学 | 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法 |
| CN112651979A (zh) * | 2021-01-11 | 2021-04-13 | 华南农业大学 | 肺部x光图像分割方法、系统、计算机设备及存储介质 |
-
2021
- 2021-09-15 CN CN202111080576.XA patent/CN113888556A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829918A (zh) * | 2019-01-02 | 2019-05-31 | 安徽工程大学 | 一种基于密集特征金字塔网络的肝脏图像分割方法 |
| CN110189334A (zh) * | 2019-05-28 | 2019-08-30 | 南京邮电大学 | 基于注意力机制的残差型全卷积神经网络的医学图像分割方法 |
| CN112102283A (zh) * | 2020-09-14 | 2020-12-18 | 北京航空航天大学 | 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法 |
| CN112651979A (zh) * | 2021-01-11 | 2021-04-13 | 华南农业大学 | 肺部x光图像分割方法、系统、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| JINZHU SU ET.AL: "Segmentation of choroid neovascularization in OCT images based on convolutional neural network with differential amplification blocks", 《MEDICAL IMAGING 2020: IMAGE PROCESSING》, 31 December 2020 (2020-12-31), pages 3 - 6 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114418987A (zh) * | 2022-01-17 | 2022-04-29 | 北京工业大学 | 一种多阶段特征融合的视网膜血管分割方法及系统 |
| CN114418987B (zh) * | 2022-01-17 | 2024-05-28 | 北京工业大学 | 一种多阶段特征融合的视网膜血管分割方法及系统 |
| CN118334329A (zh) * | 2024-03-05 | 2024-07-12 | 中国科学院自动化研究所 | 红外图像分割模型训练方法及红外图像分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109448006B (zh) | 一种注意力机制u型密集连接视网膜血管分割方法 | |
| CN111815574B (zh) | 一种基于粗糙集神经网络的眼底视网膜血管图像分割方法 | |
| CN108198184B (zh) | 造影图像中血管分割的方法和系统 | |
| Wang et al. | Ctf-net: Retinal vessel segmentation via deep coarse-to-fine supervision network | |
| EP3719744A1 (en) | Method and system for machine learning based segmentation of contrast filled coronary artery vessels on medical images | |
| CN109919915B (zh) | 基于深度学习的视网膜眼底图像异常区域检测方法及设备 | |
| CN112132817A (zh) | 一种混合注意力机制的眼底图像视网膜血管分割方法 | |
| CN110097554A (zh) | 基于密集卷积和深度可分离卷积的视网膜血管分割方法 | |
| CN113888556A (zh) | 一种基于差分注意力的视网膜血管图像分割方法及系统 | |
| CN108764342B (zh) | 一种对于眼底图中视盘和视杯的语义分割方法 | |
| CN113793348B (zh) | 一种视网膜血管分割方法和装置 | |
| CN112150476A (zh) | 基于时空判别性特征学习的冠状动脉序列血管分割方法 | |
| CN105160660A (zh) | 基于多特征高斯拟合的活动轮廓血管提取方法及系统 | |
| CN111583262A (zh) | 一种血管分割方法与系统 | |
| CN112001928A (zh) | 一种视网膜血管分割方法及系统 | |
| CN113160226A (zh) | 基于双向引导网络的amd病变oct图像的分类分割方法及系统 | |
| CN115731242A (zh) | 基于混合注意力机制和非对称卷积的视网膜血管分割方法 | |
| CN116503422A (zh) | 一种基于注意力机制与多尺度特征融合的视杯视盘分割方法 | |
| CN117372284B (zh) | 眼底图像处理方法及系统 | |
| CN110610480B (zh) | 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型 | |
| CN116228781A (zh) | 冠脉血管分割方法、装置、电子设备及存储介质 | |
| CN114066908B (zh) | 一种用于脑肿瘤图像分割的方法及系统 | |
| CN114972365A (zh) | 结合先验掩膜的oct图像脉络膜分割模型构建方法及应用 | |
| CN114418987A (zh) | 一种多阶段特征融合的视网膜血管分割方法及系统 | |
| CN117593317A (zh) | 基于多尺度膨胀卷积残差网络的视网膜血管图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |