CN111882566B - 视网膜图像的血管分割方法、装置、设备及存储介质 - Google Patents

视网膜图像的血管分割方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111882566B
CN111882566B CN202010758860.7A CN202010758860A CN111882566B CN 111882566 B CN111882566 B CN 111882566B CN 202010758860 A CN202010758860 A CN 202010758860A CN 111882566 B CN111882566 B CN 111882566B
Authority
CN
China
Prior art keywords
image
blood vessel
vessel segmentation
retina
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010758860.7A
Other languages
English (en)
Other versions
CN111882566A (zh
Inventor
蔡宏民
杨敬文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010758860.7A priority Critical patent/CN111882566B/zh
Publication of CN111882566A publication Critical patent/CN111882566A/zh
Application granted granted Critical
Publication of CN111882566B publication Critical patent/CN111882566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开的视网膜图像的血管分割方法，涉及医学图像处理领域，通过获取待处理的视网膜图像；对待处理的视网膜图像进行预处理，得到血管增强图像；基于预先训练的血管分割模型，应用包括通道加权处理过程和空间加权处理过程的多通道交叉注意力机制对待处理的视网膜图像和初始的血管增强图像进行处理，得到血管分割模型的输出；根据血管分割模型的输出，得到血管分割结果。本发明还公开了相应的装置、设备及存储介质，有效地提高了视网膜图像的血管分割速度、提高对微小血管和受病灶影响的血管的检测效果，并且设计简单易实现，模型参数量可依据任务难度进行调节，具有较高的精确度和特异度，以及更低的模型复杂度。

Description

视网膜图像的血管分割方法、装置、设备及存储介质
技术领域
本发明涉及医学图像处理领域，尤其涉及一种视网膜图像的血管分割方法、装置、设备及存储介质。
背景技术
心血管疾病是我国患病率第一位的非感染性疾病，已成为威胁我国国民健康的“第一杀手”，常见表现为血压升高、心脏病发作或是中风等，心血管疾病包括高血压、冠心病、脑血管疾病、周围血管疾病等。
心血管疾病和许多系统性疾病都表现在视网膜血管内，并以不同的变化影响着视网膜眼底血管。视网膜血管的变化远早于有症状的临床病变，例如大部分心血管疾病在早期即可在视网膜血管形态上观察到病理学改变，这是早期观察和诊断的理论基础。临床研究发现，视网膜动静脉的不对称比与多种心血管疾病有关，视网膜小动脉管径狭窄与高血压的发生风险有关。视网膜血管的宽度、弯曲度和分形维数等形态属性，已被作为多种系统性疾病的候选临床生物标记物，视网膜血管弯曲度反映了心血管危险因素对视网膜血管的影响。因此，视网膜图像被广泛用于发现系统性血管疾病的早期临床证据，全自动的视网膜血管分割和计算方法可以辅助疾病的诊断、筛选、治疗和评估，而且视网膜血管是人体内唯独采用无创手段就能直接观察到的微血管系统，具有获取简单、成本低、易操作、无创伤等诸多优点，具有良好的应用前景和社会效益。
目前，视网膜血管分割主要有基于传统机器学习和基于深度学习两种方法。
基于传统机器学习的方法，主要包括匹配滤波器法、基于血管追踪的分割法、基于分类器的分割法。匹配滤波器法通过设计不同的滤波器，例如结合局部相位特性和正交滤波器的移位响应的对称滤波器、高斯第一导匹配滤波器、基于Tramline匹配滤波、基于Frangi滤波器等，对视网膜血管进行识别，以上滤波器具有多尺度分析的特性，能够对较大的血管进行分割。基于血管追踪的分割法的基本思想是，首先建立视网膜血管轮廓的模型，然后沿着血管的方向迭代进而实现分割过程，这种分割方法一般会先确定一个初始的种子点，从这个种子点开始逐步检测其邻近局部范围内图像的特征来对血管进行跟踪，进而描述血管的具体信息，在一般情况下可以跟踪正常型、分支型和交叉型三种类型的血管。基于分类器的分割法属于有监督的分割算法，通常可以分为以下步骤：首先，对图像进行预处理，如直方图均衡化、对比度校正、归一化处理等；其次，对图像中的每个像素点提取特征，建立相应维度的特征向量空间，特征包括局部强度、均值、标准差、偏度和峰度等图像纹理特征；接着，选取适宜的分类器训练样本，其中SVM、AdaBoost、决策树等被广泛使用；最后，使用已经训练好的分类器对测试集进行测试分类。
基于深度学习的方法，主要利用卷积神经网络对视网膜血管进行端到端的分类，如FCN、U-net等框架，对整个视网膜图像的每个像素进行二分类。在深度模型中加入残差连接结构，可以有效防止模型过拟合，并加速网络训练；引入了血管边缘感知机制，即通过在血管边缘加入额外的标签，将原来的二分类任务转化为多分类任务，使得模型更加关注血管边界区域，有效检测到了微小血管；此外，有研究者将整个问题规范化为一个三类分类问题--大血管，小血管和背景区域，从而减少了血管内部类别的偏差，并且使用不同大小的卷积核进行学习，发现结合不同大小的卷积核能够实现较好的敏感性和特异性。
在实施本发明技术方案的过程中发明人发现，现有技术至少存在以下问题：
(1)视网膜图像中存在微小血管，其纹理特征接近视网膜背景，不易被识别，现有技术容易丢失血管分叉点和细小的血管。
(2)现有技术一般假设血管横截面为圆形，对于正常的血管来说这种假设是正确的，但对于发生病变的血管部位该假设不成立；并且一旦存在受病理条件影响的视网膜图像，例如视网膜出血点，现有技术的血管分割容易出现具有较高假阳性的结果。
(3)现有技术需要人工设计分类能力强的特征，导致设计特征时存在很大的困难，并且基于深度学习的模型设计复杂和参数量庞大,计算量大，计算代价昂贵。
发明内容
本发明实施例提供一种视网膜图像的血管分割方法、装置、设备及存储介质，可以有效提高视网膜图像的血管分割速度、提高对微小血管和受病灶影响的血管的检测效果，并且设计简单易实现，模型参数量可依据任务难度进行调节，具有较高的精确度和特异度，以及更低的模型复杂度。
本发明实施例提供一种视网膜图像的血管分割方法，包括步骤：
获取待处理的视网膜图像；
对所述待处理的视网膜图像进行预处理，得到血管增强图像；
基于预先训练的血管分割模型，应用多通道交叉注意力机制对所述待处理的视网膜图像和所述初始的血管增强图像进行处理，得到血管分割模型的输出；其中，所述多通道交叉注意力机制包括通道加权处理过程和空间加权处理过程；
根据所述血管分割模型的输出，得到血管分割结果。
作为上述方案的改进，所述对所述待处理的视网膜图像进行预处理，得到初始的血管增强图像，包括步骤：
首先对所述待处理的视网膜图像中的每个通道进行对比度受限直方图均衡化处理，接着对所述第一预处理图像进行灰度化，选取一种多尺度的线性结构单元进行形态学顶帽操作，然后进行归一化，得到所述初始的血管增强图像。
作为上述方案的改进，所述基于预先训练的血管分割模型，应用多通道交叉注意力机制对所述待处理的视网膜图像和所述初始的血管增强图像进行处理，得到血管分割模型的输出，包括步骤：
应用多通道交叉注意力机制分别对所述待处理的视网膜图像和所述初始的血管增强图像进行处理，并对结果进行降采样，得到第一级视网膜图像和第一级血管增强图像；
应用多通道交叉注意力机制分别对所述第一级视网膜图像和所述第一级血管增强图像进行处理，并进行降采样，得到第二级视网膜图像和第二级血管增强图像；
应用多通道交叉注意力机制分别对所述第二级视网膜图像和所述第二级血管增强图像进行处理，并对结果进行拼接处理，得到第二级输出；
将所述第二级输出、所述第二级视网膜图像和所述第二级血管增强图像进行拼接处理，并进行上采样，得到第一级输出；
将所述第一级输出、所述第一级视网膜图像和所述第一级血管增强图像进行拼接处理，并进行上采样，得到所述血管分割模型的输出。
作为上述方案的改进，所述多通道交叉注意力机制包括通道加权处理过程和空间加权处理过程，具体包括：
根据SE网络结构对输入图像的卷积层特征进行处理，得到通道权重；根据所述通道权重和所述输入图像的卷积层特征得到通道加权特征；其中，所述输入图像为视网膜图像或血管增强图像；
对空间输入图像的特征图进行卷积和激活操作，接着使用相同大小的卷积核，卷积核数为1，对上一层的输出进行卷积操作，得到空间权重；根据所述空间权重和所述输入图像的卷积层特征得到空间加权特征；其中，所述空间输入图像为所述输入图像对应的血管增强图像，或所述输入图像对应的视网膜图像；
将所述输入图像的卷积层特征、所述通道加权特征和所述空间加权特征相加，得到所述输入图像对应的处理结果。
作为上述方案的改进，所述SE网络结构的第一层为全局平均池化层，用于将所述输入图像的卷积层特征按通道进行全局平均；第二、三、四层为卷积层，卷积核数分别为C、C//R、C，卷积核大小为(1，1)，其中R为预设的缩放参数，C为所述输入图像的卷积层特征的通道数。
作为上述方案的改进，所述血管分割模型的损失函数Lbce满足如下关系：
其中，y为样本标签，1表示正类，0表示负类；为样本预测为正类的概率。
作为上述方案的改进，所述获取待处理的视网膜图像，还包括：
对每张视网膜图像每隔3度进行旋转，然后进行左右翻转；利用所述损失函数通过后向传播算法计算模型中各参数的梯度，采用梯度下降算法对参数进行更新。
本发明实施例还提供了一种视网膜图像的血管分割装置，包括：
图像获取模块，用于获取待处理的视网膜图像；
预处理模块，用于对所述待处理的视网膜图像进行预处理，得到血管增强图像；
模型处理模块，用于基于预先训练的血管分割模型，应用多通道交叉注意力机制对所述待处理的视网膜图像和所述初始的血管增强图像进行处理，得到血管分割模型的输出；其中，所述多通道交叉注意力机制包括通道加权处理过程和空间加权处理过程；
结果获取模块，根据所述血管分割模型的输出，得到血管分割结果。
本发明实施例还提供了一种视网膜图像的血管分割设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项所述的视网膜图像的血管分割方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备实现如上任意一项所述的视网膜图像的血管分割方法。
本发明实施例提供的一种视网膜图像的血管分割方法、装置、设备和存储介质，通过获取待处理的视网膜图像；对所述待处理的视网膜图像进行预处理，得到血管增强图像；基于预先训练的血管分割模型，应用多通道交叉注意力机制对所述待处理的视网膜图像和所述初始的血管增强图像进行处理，得到血管分割模型的输出；其中，所述多通道交叉注意力机制包括通道加权处理过程和空间加权处理过程；根据所述血管分割模型的输出，得到血管分割结果。通过对待处理的视网膜图像进行预处理以及多通道交叉注意力机制的引入，有效地提高了视网膜图像的血管分割速度、提高对微小血管和受病灶影响的血管的检测效果，并且设计简单易实现，模型参数量可依据任务难度进行调节，具有较高的精确度和特异度，以及更低的模型复杂度。
附图说明
图1是本发明实施例1提供的一种视网膜图像的血管分割方法的流程示意图。
图2是本发明实施例1提供的血管分割方法的步骤S130的流程示意图。
图3是本发明实施例1提供的血管分割方法的步骤S130的局部流程示意图。
图4是本发明实施例1提供的血管分割方法的步骤S130的局部流程示意图。
图5是本发明实施例1提供的血管分割方法的步骤S130的另一流程示意图。
图6是本发明实施例2提供的一种视网膜图像的血管分割装置的结构示意图。
图7是本发明实施例3提供的一种视网膜图像的血管分割装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例1提供了一种视网膜图像的血管分割方法。参见图1，所述视网膜图像的血管分割方法包括步骤S110至步骤S140。
S110、获取待处理的视网膜图像。
S120、对所述待处理的视网膜图像进行预处理，得到血管增强图像。
具体地，首先对所述待处理的视网膜图像中的每个通道进行对比度受限直方图均衡化处理，接着对所述第一预处理图像进行灰度化，选取一种多尺度的线性结构单元进行形态学顶帽操作，然后进行归一化，得到所述初始的血管增强图像。
作为举例，所述线性结构单元的长度可以从1到20以3个像素为步长均匀变化，共7个尺度，并对每个尺度选取12个不同的方向，每个方向间隔15度的单元来进行顶帽操作，然后把这12个方向中的最大响应值作为对应像素点的输出，并将得到的图像调整尺寸到512*512，对其进行归一化，得到视网膜血管增强图像。
S130、基于预先训练的血管分割模型，应用多通道交叉注意力机制对所述待处理的视网膜图像和所述初始的血管增强图像进行处理，得到血管分割模型的输出；其中，所述多通道交叉注意力机制包括通道加权处理过程和空间加权处理过程。
具体地，参见图2，步骤S130还可以包括步骤S131至步骤S135。
S131、应用多通道交叉注意力机制分别对所述待处理的视网膜图像和所述初始的血管增强图像进行处理，并对结果进行降采样，得到第一级视网膜图像和第一级血管增强图像。
S132、应用多通道交叉注意力机制分别对所述第一级视网膜图像和所述第一级血管增强图像进行处理，并进行降采样，得到第二级视网膜图像和第二级血管增强图像。
S133、应用多通道交叉注意力机制分别对所述第二级视网膜图像和所述第二级血管增强图像进行处理，并对结果进行拼接处理，得到第二级输出。
S134、将所述第二级输出、所述第二级视网膜图像和所述第二级血管增强图像进行拼接处理，并进行上采样，得到第一级输出。
S135、将所述第一级输出、所述第一级视网膜图像和所述第一级血管增强图像进行拼接处理，并进行上采样，得到所述血管分割模型的输出。
针对所述多通道交叉注意力机制包括通道加权处理过程和空间加权处理过程，参见图3，具体还可以包括步骤S130a至步骤130c。
S130a、根据SE网络结构对输入图像的卷积层特征进行处理，得到通道权重；根据所述通道权重和所述输入图像的卷积层特征得到通道加权特征；其中，所述输入图像为视网膜图像或血管增强图像。
作为举例，所述SE网络结构(Squeeze-and-Excitation网络结构)可以包括至少四层，其中第一层为全局平均池化层，用于将所述输入图像的卷积层特征按通道进行全局平均；第二、三、四层为卷积层，卷积核数分别为C、C//R、C，卷积核大小为(1，1)，其中R为预设的缩放参数，C为所述输入图像的卷积层特征的通道数。
S130b、对空间输入图像的特征图进行卷积和激活操作，接着使用相同大小的卷积核，卷积核数为1，对上一层的输出进行卷积操作，得到空间权重；根据所述空间权重和所述输入图像的卷积层特征得到空间加权特征；其中，所述空间输入图像为所述输入图像对应的血管增强图像，或所述输入图像对应的视网膜图像。
更具体地，以视网膜图像进行处理的情况下，空间输入图像可以是对应的血管增强图像；而以血管增强图像进行处理的情况下，空间输入图像可以是对应的视网膜图像。例如，可以是以所述待处理的视网膜图像、所述第一级视网膜图像或所述第二级视网膜图像作为输入图像，相应地空间输入图像为所述初始的血管增强图像、所述第一级血管增强图像或所述第二级血管增强图像。
可以理解地，步骤S130a和步骤130b的执行顺序可以任意替换，或是步骤S130a和步骤130b同时执行，均不影响本发明实施例可取得的有益效果。
130c、将所述输入图像的卷积层特征、所述通道加权特征和所述空间加权特征相加，得到所述输入图像对应的处理结果。
针对所述血管分割模型，还可以包括损失函数Lbce。所述损失函数Lbce满足如下关系：
其中，y为样本标签，1表示正类，0表示负类；为样本预测为正类的概率。
结合图4至图5，对步骤S130的执行过程作举例说明。
所述多通道交叉注意力机制包含通道加权(Channel)和空间加权(Spatial)两个主要过程，如图4所示，图中fx表示来自视网膜图像的卷积层特征，fe表示来自血管增强图像的卷积层特征。
通道加权过程的SE模块表示Squeeze-and-Excitation网络结构，该网络结构的第一层为全局平均池化层，将输入的特征图按通道进行全局平均，第二、三、四层为卷积层，卷积核数分别为C、C//R、C，卷积核大小为(1，1)，其中R为缩放参数，通常设置为16，C为图4中的特征图通道数。利用SE Block得到的权重，维度为1×1×C，对原始特征fx或fe按通道进行加权，得到加权后的特征图fc。该过程对自身的特征图进行重新校正，与任务相关的特征得到强调。
空间加权过程对输入的特征图先进行卷积和激活操作，接着使用相同大小的卷积核，卷积核数为1，对上一层的输出进行卷积操作，得到特征图对应空间位置的权重，利用该权重对输入特征fx或fe的没张图进行加权，得到加权后的特征图fs。最后将输入特征与fs，fc相加求和得到该模块的输出。
利用血管增强图像和多通路交叉注意力机制，血管分割模型设计如图5所示，该模型包括两个编码过程和一个译码过程；其中，Conv表示为卷积处理、BN(BatchNormalization)为批量标准化处理，ReLu为激活处理，Down为降采样处理、AttentionMechanism Block为多通路交叉注意力机制模块。模型分别对血管增强图像和视网膜图像进行编码，利用卷积核提取浅层和深层特征，血管增强图像包含更清晰的微小血管信息，而视网膜图像包含更多血管的细节信息，使用上述的多通路交叉注意力机制对二者的卷积层特征交叉加权，即图4中的多通路交叉注意力机制，并将两个编码过程中对应的卷积层输出与对应的译码过程中的特征按通道进行拼接，作为下一层的输入，最终得到血管分割模型的输出。模型使用的损失函数为交叉熵损失函数，其定义如下式：
其中，y为样本标签，1表示正类，0表示负类；为样本预测为正类的概率。
此外，在对所述血管分割模型进行训练的过程中，还可以针对血管分割数据集数据稀缺的情况，利用数据增强技术对训练数据进行扩充，首先对每张图像每隔3度进行旋转，然后对其进行左右翻转。利用预先训练的血管分割模型的损失函数通过后向传播算法计算模型中各参数的梯度，采用梯度下降算法对参数进行更新。
S140、根据所述血管分割模型的输出，得到血管分割结果。
本发明实施例1提供的一种视网膜图像的血管分割方法，通过获取待处理的视网膜图像；对所述待处理的视网膜图像进行预处理，得到血管增强图像；基于预先训练的血管分割模型，应用多通道交叉注意力机制对所述待处理的视网膜图像和所述初始的血管增强图像进行处理，得到血管分割模型的输出；其中，所述多通道交叉注意力机制包括通道加权处理过程和空间加权处理过程；根据所述血管分割模型的输出，得到血管分割结果。通过对待处理的视网膜图像进行预处理以及多通道交叉注意力机制的引入，有效地提高了视网膜图像的血管分割速度、提高对微小血管和受病灶影响的血管的检测效果，并且设计简单易实现，模型参数量可依据任务难度进行调节，具有较高的精确度和特异度，以及更低的模型复杂度。
本发明实施例2提供了一种视网膜图像的血管分割装置。参见图6，所述视网膜图像的血管分割装置200包括图像获取模块210、预处理模块220、模型处理模块230和结果获取模块240。
所述图像获取模块210，用于获取待处理的视网膜图像。所述预处理模块220，用于对所述待处理的视网膜图像进行预处理，得到血管增强图像。所述模型处理模块230，用于基于预先训练的血管分割模型，应用多通道交叉注意力机制对所述待处理的视网膜图像和所述初始的血管增强图像进行处理，得到血管分割模型的输出；其中，所述多通道交叉注意力机制包括通道加权处理过程和空间加权处理过程。所述结果获取模块240，根据所述血管分割模型的输出，得到血管分割结果。
所述血管分割装置200在工作时实现如实施例1所述的血管分割方法，在此不做赘述。
本发明实施例2提供的一种视网膜图像的血管分割装置，通过获取待处理的视网膜图像；对所述待处理的视网膜图像进行预处理，得到血管增强图像；基于预先训练的血管分割模型，应用多通道交叉注意力机制对所述待处理的视网膜图像和所述初始的血管增强图像进行处理，得到血管分割模型的输出；其中，所述多通道交叉注意力机制包括通道加权处理过程和空间加权处理过程；根据所述血管分割模型的输出，得到血管分割结果。通过对待处理的视网膜图像进行预处理以及多通道交叉注意力机制的引入，有效地提高了视网膜图像的血管分割速度、提高对微小血管和受病灶影响的血管的检测效果，并且设计简单易实现，模型参数量可依据任务难度进行调节，具有较高的精确度和特异度，以及更低的模型复杂度。
参见图7，本发明实施例3提供的一种视网膜图像的血管分割设备300，包括处理器310、存储器320以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器310执行所述计算机程序时实现如实施例1所述的视网膜图像的血管分割方法，在此不作赘述。
另外，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行所述计算机程序时实现如实施例1所述的视网膜图像的血管分割方法，在此不作赘述。
参见图7，是本发明实施例3提供的视网膜图像的血管分割设备300的示意图。所述视网膜图像的血管分割设备300包括：处理器310、存储器320以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如病灶图像分割程序。所述处理器执行所述计算机程序时实现上述视网膜图像的血管分割方法实施例中的步骤，例如图1所示的血管分割方法的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块的功能，例如实施例2所述的视网膜图像的血管分割装置的各模块的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器320中，并由所述处理器310执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述病灶图像分割终端设备中的执行过程。例如，所述计算机程序可以被分割成图像获取模块、预处理模块、模型处理模块和结果获取模块，各模块具体功能如下：所述图像获取模块，用于获取待处理的视网膜图像；所述预处理模块，用于对所述待处理的视网膜图像进行预处理，得到血管增强图像；所述模型处理模块，用于基于预先训练的血管分割模型，应用多通道交叉注意力机制对所述待处理的视网膜图像和所述初始的血管增强图像进行处理，得到血管分割模型的输出；其中，所述多通道交叉注意力机制包括通道加权处理过程和空间加权处理过程；所述结果获取模块，根据所述血管分割模型的输出，得到血管分割结果。
所述视网膜图像的血管分割设备300可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述视网膜图像的血管分割设备300可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是视网膜图像的血管分割设备300的示例，并不构成对视网膜图像的血管分割设备300的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述视网膜图像的血管分割设备300还可以包括输入输出设备、网络接入设备、总线等。
所称处理器310可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器310是所述视网膜图像的血管分割设备300的控制中心，利用各种接口和线路连接整个病灶图像分割终端设备的各个部分。
所述存储器320可用于存储所述计算机程序或模块，所述处理器310通过运行或执行存储在所述存储器内的计算机程序或模块，以及调用存储在存储器内的数据，实现所述病灶图像分割终端设备的各种功能。所述存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述视网膜图像的血管分割设备300集成的模块或单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
实施本发明实施例3提供的一种视网膜图像的血管分割设备，在处理器执行存储在存储器中的计算机程序时，通过获取待处理的视网膜图像；对所述待处理的视网膜图像进行预处理，得到血管增强图像；基于预先训练的血管分割模型，应用多通道交叉注意力机制对所述待处理的视网膜图像和所述初始的血管增强图像进行处理，得到血管分割模型的输出；其中，所述多通道交叉注意力机制包括通道加权处理过程和空间加权处理过程；根据所述血管分割模型的输出，得到血管分割结果。通过对待处理的视网膜图像进行预处理以及多通道交叉注意力机制的引入，有效地提高了视网膜图像的血管分割速度、提高对微小血管和受病灶影响的血管的检测效果，并且设计简单易实现，模型参数量可依据任务难度进行调节，具有较高的精确度和特异度，以及更低的模型复杂度。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (6)

1.一种视网膜图像的血管分割方法，其特征在于，包括步骤：
获取待处理的视网膜图像；
对所述待处理的视网膜图像进行预处理，得到初始的血管增强图像；
基于预先训练的血管分割模型，应用多通道交叉注意力机制对所述待处理的视网膜图像和所述初始的血管增强图像进行处理，得到血管分割模型的输出；其中，所述多通道交叉注意力机制包括通道加权处理过程和空间加权处理过程；
根据所述血管分割模型的输出，得到血管分割结果；
所述对所述待处理的视网膜图像进行预处理，得到初始的血管增强图像，包括步骤：
首先对所述待处理的视网膜图像中的每个通道进行对比度受限直方图均衡化处理，得到第一预处理图像，接着对所述第一预处理图像进行灰度化，选取一种多尺度的线性结构单元进行形态学顶帽操作，然后进行归一化，得到所述初始的血管增强图像；
所述基于预先训练的血管分割模型，应用多通道交叉注意力机制对所述待处理的视网膜图像和所述初始的血管增强图像进行处理，得到血管分割模型的输出，包括步骤：
应用多通道交叉注意力机制分别对所述待处理的视网膜图像和所述初始的血管增强图像进行处理，并对结果进行降采样，得到第一级视网膜图像和第一级血管增强图像；
应用多通道交叉注意力机制分别对所述第一级视网膜图像和所述第一级血管增强图像进行处理，并进行降采样，得到第二级视网膜图像和第二级血管增强图像；
应用多通道交叉注意力机制分别对所述第二级视网膜图像和所述第二级血管增强图像进行处理，并对结果进行拼接处理，得到第二级输出；
将所述第二级输出、所述第二级视网膜图像和所述第二级血管增强图像进行拼接处理，并进行上采样，得到第一级输出；
将所述第一级输出、所述第一级视网膜图像和所述第一级血管增强图像进行拼接处理，并进行上采样，得到所述血管分割模型的输出；
所述多通道交叉注意力机制包括通道加权处理过程和空间加权处理过程，具体包括：
根据SE网络结构对输入图像的卷积层特征进行处理，得到通道权重；根据所述通道权重和所述输入图像的卷积层特征得到通道加权特征；其中，所述输入图像为视网膜图像或血管增强图像；
对空间输入图像的特征图进行卷积和激活操作，接着使用相同大小的卷积核，卷积核数为1，对上一层的输出进行卷积操作，得到空间权重；根据所述空间权重和所述输入图像的卷积层特征得到空间加权特征；其中，所述空间输入图像为所述输入图像对应的血管增强图像，或所述输入图像对应的视网膜图像；
将所述输入图像的卷积层特征、所述通道加权特征和所述空间加权特征相加，得到所述输入图像对应的处理结果；
所述血管分割模型的损失函数Lbce满足如下关系：
其中，y为样本标签，1表示正类，0表示负类；为样本预测为正类的概率。
2.如权利要求1所述的视网膜图像的血管分割方法，其特征在于，所述SE网络结构的第一层为全局平均池化层，用于将所述输入图像的卷积层特征按通道进行全局平均；第二、三、四层为卷积层，卷积核数分别为C、C//R、C，卷积核大小为(1，1)，其中R为预设的缩放参数，C为所述输入图像的卷积层特征的通道数。
3.如权利要求1所述的视网膜图像的血管分割方法，其特征在于，所述获取待处理的视网膜图像，还包括：
对每张视网膜图像每隔3度进行旋转，然后进行左右翻转；利用所述损失函数通过后向传播算法计算模型中各参数的梯度，采用梯度下降算法对参数进行更新。
4.一种视网膜图像的血管分割装置，用于实现权利要求1所述的视网膜图像的血管分割方法，其特征在于，包括：
图像获取模块，用于获取待处理的视网膜图像；
预处理模块，用于对所述待处理的视网膜图像进行预处理，得到初始的血管增强图像；
模型处理模块，用于基于预先训练的血管分割模型，应用多通道交叉注意力机制对所述待处理的视网膜图像和所述初始的血管增强图像进行处理，得到血管分割模型的输出；其中，所述多通道交叉注意力机制包括通道加权处理过程和空间加权处理过程；
结果获取模块，根据所述血管分割模型的输出，得到血管分割结果。
5.一种视网膜图像的血管分割设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至3中任意一项所述的视网膜图像的血管分割方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备实现如权利要求1至3中任意一项所述的视网膜图像的血管分割方法。
CN202010758860.7A 2020-07-31 2020-07-31 视网膜图像的血管分割方法、装置、设备及存储介质 Active CN111882566B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010758860.7A CN111882566B (zh) 2020-07-31 2020-07-31 视网膜图像的血管分割方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010758860.7A CN111882566B (zh) 2020-07-31 2020-07-31 视网膜图像的血管分割方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111882566A CN111882566A (zh) 2020-11-03
CN111882566B true CN111882566B (zh) 2023-09-19

Family

ID=73204858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010758860.7A Active CN111882566B (zh) 2020-07-31 2020-07-31 视网膜图像的血管分割方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111882566B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465842B (zh) * 2020-12-22 2024-02-06 杭州电子科技大学 基于U-net网络的多通道视网膜血管图像分割方法
CN112712092A (zh) * 2021-01-07 2021-04-27 泰康保险集团股份有限公司 采集图像特征的方法、装置、设备和计算机可读介质
CN113205538A (zh) * 2021-05-17 2021-08-03 广州大学 基于CRDNet的血管图像分割方法及装置
CN113205537B (zh) * 2021-05-17 2023-07-07 广州大学 基于深度学习的血管图像分割方法、装置、设备及介质
KR20240090429A (ko) * 2021-10-13 2024-06-21 도호쿠 다이가쿠 생체 화상 처리 프로그램, 생체 화상 처리 장치 및 생체 화상 처리 방법
CN115690143B (zh) * 2022-09-26 2023-07-11 推想医疗科技股份有限公司 图像分割方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN108510473A (zh) * 2018-03-09 2018-09-07 天津工业大学 结合深度可分离卷积与通道加权的fcn视网膜图像血管分割
CN110517250A (zh) * 2019-08-27 2019-11-29 东北大学 一种基于增强对抗生成网络的眼底视网膜血管分割系统
CN110689526A (zh) * 2019-09-09 2020-01-14 北京航空航天大学 基于视网膜眼底图像的视网膜血管分割方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN108510473A (zh) * 2018-03-09 2018-09-07 天津工业大学 结合深度可分离卷积与通道加权的fcn视网膜图像血管分割
CN110517250A (zh) * 2019-08-27 2019-11-29 东北大学 一种基于增强对抗生成网络的眼底视网膜血管分割系统
CN110689526A (zh) * 2019-09-09 2020-01-14 北京航空航天大学 基于视网膜眼底图像的视网膜血管分割方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于密集注意力网络的视网膜血管图像分割;梅旭璋;江红;孙军;;计算机工程(第03期);全文 *
视网膜血管分割方法综述;李亚婷;;电脑知识与技术(第11期);全文 *

Also Published As

Publication number Publication date
CN111882566A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN111882566B (zh) 视网膜图像的血管分割方法、装置、设备及存储介质
EP3674968B1 (en) Image classification method, server and computer readable storage medium
Sevastopolsky Optic disc and cup segmentation methods for glaucoma detection with modification of U-Net convolutional neural network
Dharmawan et al. A new hybrid algorithm for retinal vessels segmentation on fundus images
CN108198184B (zh) 造影图像中血管分割的方法和系统
Melinscak et al. Retinal Vessel Segmentation using Deep Neural Networks.
CN111242933B (zh) 视网膜图像动静脉的分类装置、设备及存储介质
CN110751636B (zh) 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
Panda et al. New binary Hausdorff symmetry measure based seeded region growing for retinal vessel segmentation
WO2021136368A1 (zh) 钼靶图像中胸大肌区域自动检测方法及装置
CN112150476A (zh) 基于时空判别性特征学习的冠状动脉序列血管分割方法
Jian et al. Triple-DRNet: A triple-cascade convolution neural network for diabetic retinopathy grading using fundus images
Wang et al. Segmenting retinal vessels with revised top-bottom-hat transformation and flattening of minimum circumscribed ellipse
CN107229937A (zh) 一种视网膜血管分类方法及装置
CN115409764A (zh) 一种基于域自适应的多模态眼底血管分割方法及装置
Tang et al. Retinal vessel segmentation from fundus images using DeepLabv3+
Biswal et al. Robust retinal optic disc and optic cup segmentation via stationary wavelet transform and maximum vessel pixel sum
Qin et al. A review of retinal vessel segmentation for fundus image analysis
CN116051589A (zh) 一种ct图像中肺实质和肺血管的分割方法及装置
Dharmawan et al. Design of optimal adaptive filters for two-dimensional filamentary structures segmentation
Xu et al. Retinal vessel segmentation via multiscaled deep-guidance
Sallam et al. Diabetic retinopathy grading using resnet convolutional neural network
Sachdeva et al. Automatic segmentation and area calculation of optic disc in ophthalmic images
Maheswari et al. A survey on computer algorithms for retinal image preprocessing and vessel segmentation
CN114387209A (zh) 眼底结构特征确定的方法、装置、介质和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant