CN117437249B - 眼底血管图像的分割方法、终端设备及存储介质 - Google Patents

眼底血管图像的分割方法、终端设备及存储介质 Download PDF

Info

Publication number
CN117437249B
CN117437249B CN202311766115.7A CN202311766115A CN117437249B CN 117437249 B CN117437249 B CN 117437249B CN 202311766115 A CN202311766115 A CN 202311766115A CN 117437249 B CN117437249 B CN 117437249B
Authority
CN
China
Prior art keywords
image
blood vessel
fundus blood
feature
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311766115.7A
Other languages
English (en)
Other versions
CN117437249A (zh
Inventor
温阳
沈舜喆
曾莹
庄宇航
徐强
石武祯
曹文明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202311766115.7A priority Critical patent/CN117437249B/zh
Publication of CN117437249A publication Critical patent/CN117437249A/zh
Application granted granted Critical
Publication of CN117437249B publication Critical patent/CN117437249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种眼底血管图像的分割方法、终端设备及存储介质，其中，所述一种眼底血管图像的分割方法包括：将待分割的眼底血管图像的初始图像特征输入编码器，通过所述编码器对所述初始图像特征进行深度可分离卷积，生成所述眼底血管图像的输出图像特征；将所述输出图像特征以及所述初始图像特征输入解码器，通过所述解码器分割所述输出图像特征，生成初始分割图像特征；组合所述初始分割图像特征和初始图像特征，生成所述眼底血管图像的分割图像。本发明采用深度可分离卷积提取眼底血管图像的特征，减少了卷积参数量和计算量的同时，加深眼底血管图像的特征提取深度，提高分割图像的清晰度和准确度。

Description

眼底血管图像的分割方法、终端设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种眼底血管图像的分割方法、终端设备及存储介质。
背景技术
眼底血管图像分割是指将眼底血管图像分割为包含相似血管特征或结构的不同部分或区域的过程。通常视网膜血管的某些形态特征与部分医学疾病有关，例如糖尿病性视网膜病变、青光眼和黄斑变性。对眼底图像中的视网膜血管进行分割，医生能够从得到的形态学信息对这些疾病进行有效诊断和分析。因此，眼底血管图像分割在眼科疾病诊断和治疗的医学图像解释和决策中至关重要。
在相关技术中，通常采用U-Net网络对输入的眼底血管图像进行分割，U-Net网络在编码器和解码器阶段只采用3×3大小的卷积核，使得特征图的感受野相对较小，网络难以学习全局的特征，且参数数量多。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明实施例通过提供一种眼底血管图像的分割方法、终端设备及计算机可读存储介质，旨在解决分割网络的感受野小且参数数量多的技术问题。
为实现上述目的，本发明实施例提供一种眼底血管图像的分割方法，所述眼底血管图像的分割方法包括以下：
将待分割的眼底血管图像的初始图像特征输入编码器，通过所述编码器对所述初始图像特征进行深度可分离卷积，生成所述眼底血管图像的输出图像特征；
将所述输出图像特征以及所述初始图像特征输入解码器，通过所述解码器分割所述输出图像特征，生成初始分割图像特征；
组合所述初始分割图像特征和所述初始图像特征，生成所述眼底血管图像的分割图像。
可选地，所述输出图像特征包括第一输出图像特征，所述将待分割的眼底血管图像的初始图像特征输入编码器，通过所述编码器对所述初始图像特征进行深度可分离卷积，生成所述眼底血管图像的输出图像特征的步骤，包括：
基于预置的第一水平深度卷积核和第一垂直深度卷积核对所述初始图像特征进行深度可分离卷积，生成第一图像特征；
对所述第一图像特征进行点卷积处理，生成第二图像特征；
对所述第二图像特征进行全局响应归一化处理，生成第三图像特征；
拼接所述第三图像特征和所述初始图像特征，并对拼接结果进行点卷积处理，生成所述眼底血管图像的所述第一输出图像特征。
可选地，所述输出图像特征包括第二输出图像特征，所述拼接所述第三图像特征和所述初始图像特征，并对拼接结果进行点卷积处理，生成所述眼底血管图像的所述第一输出图像特征的步骤之后，还包括：
对所述第一输出图像特征进行最大池化处理，生成第四图像特征；
基于预置的第二水平深度卷积核和第二垂直深度卷积核对所述第四图像特征进行深度可分离卷积，生成第五图像特征；
对所述第五图像特征进行注意力机制处理，生成第一加权图像特征；
基于逐像素加法运算拼接所述第一加权图像特征和所述第四图像特征，生成第六图像特征；
对所述第六图像特征进行点卷积处理，生成所述眼底血管图像的所述第二输出图像特征。
可选地，所述将所述输出图像特征以及所述初始图像特征输入解码器，通过所述解码器分割所述输出图像特征，生成初始分割图像特征的步骤，包括：
拼接所述输出图像特征和跳跃连接的所述输出图像特征，生成第一特征；
对所述第一特征进行点卷积处理，生成第二特征；
对所述第二特征进行批归一化处理，生成第三特征；
基于预置的所述第二水平深度卷积核和所述第二垂直深度卷积核对所述第三特征进行深度可分离卷积，生成第四特征；
对所述第四特征进行注意力机制处理，生成第二加权图像特征；
基于逐像素加法运算拼接所述第二加权图像特征和所述第三特征，生成分割图像。
可选地，所述基于逐像素加法运算拼接所述第二加权图像特征和所述第三特征，生成分割图像的步骤，包括：
获取基于逐像素加法运算拼接所述第二加权图像特征和所述第三特征生成的第五特征；
对所述第五特征进行点卷积处理，生成初始分割图像特征；
基于逐像素加法运算拼接将所述初始分割图像特征与所述初始图像特征，生成所述分割图像。
可选地，所述将待分割的眼底血管图像的初始图像特征输入编码器，通过所述编码器对所述初始图像特征进行深度可分离卷积，生成所述眼底血管图像的输出图像特征的步骤之前，包括：
采用高斯卷积核对所述眼底血管图像进行卷积，获得所述眼底血管图像的低频分量图像；
对所述低频分量图像和所述眼底血管图像进行逐像素减法运算，获得高频分量图像；
对所述高频分量图像执行预设增强操作，生成所述初始图像特征。
可选地，所述将待分割的眼底血管图像的初始图像特征输入编码器，通过所述编码器对所述初始图像特征进行深度可分离卷积，生成所述眼底血管图像的输出图像特征的步骤之前，包括：
获取眼底血管图像的训练集样本，将所述训练集样本作为所述待分割的眼底血管图像，执行所述将待分割的眼底血管图像的初始图像特征输入编码器，通过所述编码器对所述初始图像特征进行深度可分离卷积，生成所述眼底血管图像的输出图像特征的步骤，以训练所述编码器和所述解码器；
获取所述解码器输出的所述训练集样本对应的分割图像；
根据所述分割图像的像素集合与所述训练集样本对应的真实分割图像的像素集合，确定损失值；
根据所述损失值更新所述编码器和所述解码器组成的分割网络的模型参数。
可选地，所述根据所述分割图像的像素集合与所述训练集样本对应的真实分割图像的像素集合，确定损失值的步骤之后，包括：
获取眼底血管图像的测试集样本，将所述测试集样本作为所述待分割的眼底血管图像，执行所述将待分割的眼底血管图像的初始图像特征输入编码器，通过所述编码器对所述初始图像特征进行深度可分离卷积，生成所述眼底血管图像的输出图像特征的步骤；
获取所述解码器输出的所述测试集样本对应的分割图像；
根据所述分割图像以及测试集样本确定预设的评估指标值；
根据所述评估指标值确定分割网络的性能是否满足要求；
若满足要求，执行所述将待分割的眼底血管图像的初始图像特征输入编码器，通过所述编码器对所述初始图像特征进行深度可分离卷积，生成所述眼底血管图像的输出图像特征的步骤；
若不满足要求，继续执行所述获取眼底血管图像的训练集样本，将所述训练集样本作为所述待分割的眼底血管图像，执行所述将待分割的眼底血管图像的初始图像特征输入编码器，通过所述编码器对所述初始图像特征进行深度可分离卷积，生成所述眼底血管图像的输出图像特征的步骤，以继续训练所述编码器和所述解码器。
此外，本发明为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的眼底血管图像的分割程序，所述眼底血管图像的分割程序被所述处理器执行时实现如上所述的眼底血管图像的分割方法的步骤。
此外，本发明为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有眼底血管图像的分割程序，所述眼底血管图像的分割程序被处理器执行时实现如上所述的眼底血管图像的分割方法的步骤。
本发明一实施例提出的一种眼底血管图像的分割方法，终端设备及计算机可读存储介质，将待分割的眼底血管图像的初始图像特征输入编码器，通过所述编码器对所述初始图像特征进行深度可分离卷积，生成所述眼底血管图像的输出图像特征；将所述输出图像特征以及所述初始图像特征输入解码器，通过所述解码器分割所述输出图像特征，生成初始分割图像特征；组合所述初始分割图像特征和初始图像特征，生成所述眼底血管图像的分割图像。本发明采用深度可分离卷积提取眼底血管图像的特征，减少了卷积参数量和计算量的同时，加深眼底血管图像的特征提取深度。
附图说明
图1为本发明眼底血管图像的分割方法的第一实施例的流程示意图；
图2为本发明分割网络的架构示意图；
图3为本发明眼底血管图像的分割方法的第二实施例中步骤S2的细化流程示意图；
图4为本发明涉及的第一深度可分离卷积模块和第二深度可分离卷积模块的示意图；
图5为本发明眼底血管图像的分割方法的第三实施例中步骤S3的细化流程图；
图6为本发明涉及的第三深度可分离卷积模块和第四深度可分离卷积模块的示意图；
图7为本发明眼底血管图像的分割方法的第四实施例中步骤S1的另一细化流程示意图；
图8为本发明涉及的血管增强模块的处理示意图；
图9本发明眼底血管图像的分割方法的第五实施例中步骤S1的另一细化流程示意图；
图10为本发明涉及的分割图像示意图；
图11是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在相关技术中，通常采用U-Net网络对输入的眼底血管图像进行分割，U-Net网络在编码器和解码器阶段只采用3×3大小的卷积核，使得特征图的感受野相对较小，网络难以学习全局的特征。
为解决相关技术中的上述缺陷，本发明提出一种眼底血管图像的分割方法，其主要解决步骤包括以下：
将待分割的眼底血管图像的初始图像特征输入编码器，通过编码器对初始图像特征进行深度可分离卷积，生成眼底血管图像的输出图像特征，然后将输出图像特征以及初始图像特征输入解码器，通过解码器分割输出图像特征，生成初始分割图像特征，进而组合初始分割图像特征和初始图像特征，生成眼底血管图像的分割图像。本发明采用深度可分离卷积提取眼底血管图像的特征，减少了卷积参数量和计算量的同时，加深眼底血管图像的特征提取深度。
为了更好地理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整地传达给本领域的技术人员。
参照图1，在本发明眼底血管图像的分割方法的第一实施例中，所述一种眼底血管图像的分割方法包括以下步骤：
步骤S1：将待分割的眼底血管图像的初始图像特征输入编码器，通过所述编码器对所述初始图像特征进行深度可分离卷积，生成所述眼底血管图像的输出图像特征；
在本实施例中，待分割的眼底血管图像的初始图像特征输入编码器后，将依次经过各个串联的深度可分离卷积模块，深度可分离卷积模块对输入的图像特征进行水平深度卷积和垂直深度卷积，然后对卷积后的图像特征进行点卷积，从而生成输出图像特征。输入的图像特征依次经过水平深度卷积核和垂直深度卷积核进行水平深度卷积和垂直深度卷积，能够显著减少计算量，并在保持相对较好的性能的同时降低分割网络的参数数量。
可选地，本发明的分割网络是由对称的编码器和解码器构成，且为U形网络结构。编码器由多个串联的深度可分离卷积模块组成，且对应位置的深度可分离卷积模块与上一个串联的深度可分离卷积模块之间串联有下采样模块，以对上一串联的深度可分离卷积模块输出的输出图像特征进行下采样，从而扩大特征图中每个像素点的感受野（receptivefield），使其能够捕捉更大范围的上下文信息，提高特征提取深度，然后继续将其输入下一串联的深度可分离卷积模块提取特征。因此，编码器由多个串联的深度可分离卷积模块与下采样模块组成。
本发明将获取对应位置的深度可分离卷积模块输出的图像特征作为编码器的输出图像特征，并将输出图像特征输入解码器中对应位置的深度可分离卷积模块，以使深度可分离卷积模块对接收到的输出图像特征和跳跃连接的图像特征进行混合，实现眼底血管图像的分割。编码器中的输出图像特征在进入下一个串联的深度可分离卷积模块前，需经过下采样模块，以对输出图像特征进行下采样，然后继续提取特征，实现各个深度可分离卷积模块之间的参数共享，从而减少计算复杂度。
步骤S2：将所述输出图像特征以及所述初始图像特征输入解码器，通过所述解码器分割所述输出图像特征，生成初始分割图像特征；
步骤S3：组合所述初始分割图像特征和初始图像特征，生成所述眼底血管图像的分割图像。
在本实施例中，分割图像为黑白像素图像，保留了眼底血管图像中的血管特征，用白色像素表示，除血管特征以外的像素用黑色表示。因此分割图像能够明显看清眼底血管的形状大小。
在本实施例中，解码器由多个串联的深度可分离卷积模块和逐像素加法模块组成，且对应位置的深度可分离卷积模块与编码器对应位置的深度可分离卷积模块的输出端相连接，以获取输出端的输出图像特征。进而解码器的深度可分离卷积模块通过对输出图像特征和跳跃连接的图像特征进行混合，生成初始分割图像特征，最后将混合后的初始分割图像特征与初始图像特征进行拼接从而生成分割图像，实现眼底血管图像的分割。跳跃连接的图像特征在进入下一个串联的深度可分离卷积模块前，需经过上采样模块，以对跳跃连接的图像特征进行上采样，然后继续分割，实现各个深度可分离卷积模块之间的参数共享，从而减少计算复杂度。因此解码器由多个串联的深度可分离卷积模块与上采样模块组成。
本发明编码器和解码器为对称的U形结构，因此编码器与解码器是对称位置的深度可分离卷积模块之间互相连接，以使解码器的各个串联的深度可分离卷积模块能获取到处于同一维度的输出图像特征，进而将输出图像特征与跳跃连接的图像特征进行混合，获取初始分割图像特征。
参照图2，图2为本发明分割网络的架构示意图。需要说明的是，本发明的编码器包括第一深度可分离卷积模块和第二深度可分离卷积模块以及下采样模块。本发明共设置有4个第一深度可分离卷积模块和8个第二深度可分离卷积模块，并依次串联，且每两个深度可分离卷积模块之间设置一个下采样模块。将与下采样模块的输入端连接的深度可分离卷积模块的输出作为输出图像特征，输入解码器对应的深度可分离卷积模块进行图像分割。解码器包括第三深度可分离卷积模块和第四深度可分离卷积模块以及上采样模块和逐像素加法模块。本发明共设置2个第三深度可分离卷积模块和1个第四深度可分离卷积模块，并依次串联，且每个深度可分离卷积模块之间设置一个上采样模块，每个深度可分离卷积模块包括两个输入，一个是跳跃连接的深度可分离卷积模块，另一个是与编码器中对应的深度可分离卷积模块，用于接收编码器中对应该深度可分离卷积模块生成的输出图像特征。其中，第一深度可分离卷积模块可简称为RetiNeXt模块，第二深度可分离卷积模块可简称为RetiMixer模块，第三深度可分离卷积模块可简称为RetiNeXt混合模块，第四深度可分离卷积模块可简称为RetiMixer输出模块。编码器和解码器对称连接，从而构成分割网络。
在本实施例提供的技术方案中，通过将待分割的眼底血管图像的初始图像特征输入编码器，通过编码器对初始图像特征进行深度可分离卷积，生成眼底血管图像的输出图像特征，然后将输出图像特征以及初始图像特征输入解码器，通过解码器分割所述输出图像特征，生成初始分割图像特征，最终组合初始分割图像特征和初始图像特征，生成眼底血管图像的分割图像。本发明采用深度可分离卷积提取眼底血管图像的特征，减少了卷积参数量和计算量的同时，加深眼底血管图像的特征提取深度。
参照图3，在第二实施例中，基于第一实施例，所述步骤S2，包括：
本发明的编码器由多个串联的第一深度可分离卷积模块和多个串联的第二深度可分离卷积模块组成。多个串联的第一深度可分离卷积模块与多个串联的第二深度可分离卷积模块依次串联。且每间隔预设数量个深度可分离卷积模块之间串联一个下采样模块，下采样模块通过最大池化操作实现下采样。例如，共设置有4个串联的第一深度可分离卷积模块和8个串联的第二深度可分离卷积模块，可每间隔2个深度可分离卷积模块设置一个下采样模块。
由于编码器和解码器之间为对称的U形结构，因此编码器和解码器之间的深度可分离卷积模块满足对称条件。因此在确定编码器确定串联的深度可分离卷积模块的数量以及输出的输出图像特征对应的深度可分离卷积模块的位置后，可将编码器串联的深度可分离卷积模块的总数量除以输出图像特征对应的深度可分离卷积模块的位置的最小值，计算出解码器串联的深度可分离卷积模块的数量。
例如，编码器串联的深度可分离卷积模块的总数量为8，输出图像特征对应的深度可分离卷积模块的位置分别为2、4、6、8。因此解为8除以2的结果值为4，因此解码器串联的深度可分离卷积模块的数量为4。
步骤S21：基于预置的第一水平深度卷积核和第一垂直深度卷积核对所述初始图像特征进行深度可分离卷积，生成第一图像特征；
在本实施例中，第一深度可分离卷积模块包括依次串联的第一水平深度卷积核、第一垂直深度卷积核，点卷积模块、全局响应归一化模块、通道维度拼接模块。其中，第一水平深度卷积核为1x7的卷积核，第一垂直深度卷积核为7x1的卷积核。
可选地，编码器接收到眼底血管图像的初始图像特征后，将初始图像特征输入第一深度可分离卷积模块，从而先经过串联的第一水平深度卷积核，然后经过第一垂直深度卷积核，以对初始图像特征进行深度可分离卷积，生成第一图像特征。
所述初始图像特征经过第一水平深度卷积核和第一垂直深度卷积核处理可如下所示：
其中，X为第一图像特征，为初始图像特征对应的输入张量，表示一个以（7,1）为卷积核的深度卷积层，/>表示一个以（1,7）为卷积核的深度卷积层。
步骤S22：对所述第一图像特征进行点卷积处理，生成第二图像特征；
在本实施例中，通过对第一图像特征进行点卷积处理，生成第二图像特征，以增加分割网络的非线性表达能力，引入非线性变换，使其能够更好地拟合复杂的数据分布。
可选地，可在第一深度可分离卷积模块的所述点卷积模块前增加批归一化模块，进而可在对第一图像特征进行点卷积处理前，将对一图像特征进行批归一化处理，然后将批归一化处理后的第一图像特征进行点卷积处理，从而生成第二图像特征。批归一化，能够缓解梯度爆炸问题，有一定的正则化效果并使得分布相对稳定加快分割网络训练速度。
批归一化处理和点卷积处理可表示为：
其中，表示使通道由c到2c的点卷积层，公式右边的X为第一图像特征，公式左边的结果X为第二图像特征。
步骤S23：对所述第二图像特征进行全局响应归一化处理，生成第三图像特征；
在本实施例中，全局响应归一化作为一种注意力机制，从通道维度对特征进行重标定，使得分割网络可以更好的关注重要的特征。也能够增强信道间的特征竞争，分割网络在处理不同信道的特征时，能够更好地区分各个信道的重要性，还能加快收敛速度，提升分割网络精度。
可选地，可在第一深度可分离卷积模块的全局响应归一化模块前增加激活函数模块，进而在对第二图像特征进行全局响应归一化处理前，可对第二图像特征输入激活函数，然后对第二图像特征进行全局响应归一化处理，从而进一步提高分割网络的非线性表达能力。
其中，激活函数可采用高斯误差线性单元，旨在解决深层网络训练中梯度消失的问题。
所述激活函数和全局响应归一化处理如下所示：
其中，表示全局响应归一化，/>为经过激活函数后输入的第二图像特征，/>和/>为全局响应归一化模块中设置的可学习的参数，/>表示2范数，/>为一个常数。
需要说明的是，为预置的一个极小的常数，用于防止除数为0。
步骤S24：拼接所述第三图像特征和所述初始图像特征，并对拼接结果进行点卷积处理，生成所述眼底血管图像的第一输出图像特征。
在本实施例中，本发明的第一深度可分离卷积模块的通道维度拼接模块之后还可增加点卷积模块，进而将第三图像特征和初始图像特征输入通道维度拼接模块，拼接第三图像特征和初始图像特征之后，对通道维度拼接模块输出的拼接结果进行点卷积处理，降低通道维度，减少后续参数数量以及计算复杂度，进而获得第一深度可分离卷积模块的输出，即第一输出图像特征。然后输出的第一输出图像特征通过最大池化处理以执行下采样，然后将下采样后的第一输出图像特征继续输入下一串联的第一深度可分离卷积模块，继续执行所述基于预置的第一水平深度卷积核和第一垂直深度卷积核对所述初始图像特征进行深度可分离卷积，生成第一图像特征的步骤。
所述通道维度拼接和点卷积处理可表示如下：
其中，表示通道维度拼接，X为第三图像特征，Input为初始图像特征对应的输入张量，/>表示使通道由3c到2c的点卷积层。
可选地，所述拼接所述第三图像特征和所述初始图像特征，并对拼接结果进行点卷积处理，生成所述眼底血管图像的第一输出图像特征的步骤之后，还包括：
步骤S25：对所述第一输出图像特征进行最大池化处理，生成第四图像特征；
在本实施例中，在将最后一个第一深度可分离卷积模块的第一输出图像特征输入串联的第二深度可分离卷积模块前，需要将第一输出图像特征输入下采样模块，进行最大池化处理，生成第四图像特征，然后再将第四图像特征输入第二深度可分离卷积模块中继续提取特征。
步骤S26：基于预置的第二水平深度卷积核和第二垂直深度卷积核对所述第四图像特征进行深度可分离卷积，生成第五图像特征；
在本实施例中，本发明第二深度可分离卷积模块包括依次串联的第二水平深度卷积核、第二垂直深度卷积核、注意力机制模块、逐像素加法模块、点卷积模块。其中，第二水平深度卷积核为1x3卷积核，第二垂直深度卷积核为3x1卷积核。注意机制模块可采用SimAM函数（Simulate Attention Module，模拟注意力机制模块）。
由于前置的第一深度可分离卷积模块已经为网络提供了大感受野，采用了1x3卷积核和3x1卷积核，可避免参数冗余和以及提高计算复杂度的问题。
步骤S27：对所述第五图像特征进行注意力机制处理，生成第一加权图像特征；
在本实施例中，采用SimAM函数作为注意力机制模块，能够部分提升分割网络的性能，它基于神经科学理论，通过一种优化能量函数来区分每一个节点的重要程度，且不需要添加额外的参数，能够减少参数的数量，从而实现参数的轻量化。
所述SimAM函数可表示如下：
其中，为第五图像特征对应的输入张量，/>为张量的均值，/>为/>中的像素数量，为一个超参数，用于除数不为0，/>为Sigmoid激活函数。
可选地，可在注意力机制模块增加激活函数模块和批归一化模块，进而将第五图像特征先输入激活函数模块，然后输入批归一化模块进行批归一化处理，然后再对批归一化模块输出的第五图像特征进行注意力机制处理，生成第一加权图像。
步骤S28：基于逐像素加法运算拼接所述第一加权图像特征和所述第四图像特征，生成第六图像特征；
在本实施例中，注意力机制模块后串联着逐像素加法模块，进而第一加权图像特征会被输入至逐像素加法模块，进而基于逐像素加法运算拼接第一加权图像和第四图像特征，生成第六图像特征。
步骤S29：对所述第六图像特征进行点卷积处理，生成所述眼底血管图像的第二输出图像特征。
在本实施例中，点卷积模块对接收到的第六图像特征进行点卷积处理，从而进一步降低第二输出图像特征的通道维度，从而达成减少需要学习的参数数量，且避免图像经过多层深度可分离卷积模块后过拟合，影响分割图像的准确度。
可选地，可在点卷积模块后增加串联的激活函数模块和批归一化模块，进而在对第六图像进行点卷积处理后，将其输入串联的激活函数模块和批归一化模块，从而生成第二输出图像特征。
参照图4，图4为本发明涉及的第一深度可分离卷积模块和第二深度可分离卷积模块的示意图。其中，第一深度可分离卷积模块对应为RetiNeXt模块，第二深度可分离卷积模块对应为RetiMixer模块。第一深度可分离卷积模块包括第一水平深度卷积核、第一垂直深度卷积核、批归一化模块、点卷积模块、高斯误差线性单元、全局响应归一化模块、通道维度拼接模块、点卷积模块。第二深度可分离卷积模块包括第二水平深度卷积核、第二垂直深度卷积核、高斯误差线性单元、批归一化模块、SimAM模块、逐像素加法模块、点卷积模块、高斯误差线性单元、批归一化模块。本发明RetiNeXt模块在医学图像分割领域创新性地的采用了深度可分离卷积、卷积核分解技术和7×7大卷积核，来为模块提供了参数轻量化、大感受野的特性。RetiMixer模块同样采用了深度可分离卷积、卷积核分解技术。因为在前置卷积模块当中有大卷积核的使用，在后续再使用大卷积核会造成参数上的冗余。鉴于要达成性能和计算资源消耗的平衡，RetiMixer模块采用了小卷积核设计和单个点卷积层设计。同时采用SimAM，使得分割网络能够更好的学习复杂的特征。
在本实施例提供的技术方案中，通过基于预置的第一水平深度卷积核和第一垂直深度卷积核对初始图像特征进行深度可分离卷积，生成第一图像特征，对第一图像特征进行点卷积处理，生成第二图像特征，以将通道扩展，然后对第二图像特征进行全局响应归一化处理，生成第三图像特征，进而拼接第三图像特征和初始图像特征，并对拼接结果进行点卷积处理将通道降维，从而生成眼底血管图像的第一输出图像特征。本发明的第一深度卷积模块采用深度可分离卷积、卷积核分解技术和7×7大卷积核，来为模块提供了参数轻量化、大感受野的特性。
参照图5，在第三实施例中，基于上述任一实施例，所述步骤S3，包括：
本发明的解码器由多个串联的第三深度可分离卷积模块和多个串联的第四深度可分离卷积模块以及逐像素加法模块组成。多个串联的第三深度可分离卷积与多个个串联的第四深度可分离卷积模块依次串联。第四深度可卷积模块由第三深度可分离卷积模块和点卷积模块组成。逐像素加法模块设置在最后一个第四深度可分离卷积模块之后。每间隔预设数量个深度可分离卷积模块之间串联一个上采样模块，上采样模块通过转置卷积实现上采样。例如，共设置有5个串联的第三深度可分离卷积模块和1个串联的第四深度可分离卷积模块，可每间隔1个深度可分离卷积模块设置一个上采样模块。
步骤S31：拼接所述输出图像特征和跳跃连接的所述输出图像特征，生成第一特征；
步骤S32：对所述第一特征进行点卷积处理，生成第二特征；
步骤S33：对所述第二特征进行批归一化处理，生成第三特征；
步骤S34：基于预置的所述第二水平深度卷积核和所述第二垂直深度卷积核对所述第三特征进行深度可分离卷积，生成第四特征；
步骤S35：对所述第四特征进行注意力机制处理，生成第二加权图像特征；
步骤S36：基于逐像素加法运算拼接所述第二加权图像特征和所述第三特征，生成初始分割图像特征。
在本实施例中，第三深度可分离卷积模块包括通道维度拼接模块、点卷积模块、批归一化模块、第二水平深度卷积核、第二垂直深度卷积核、注意力机制模块、逐像素加法模块。本发明的第三深度可分离卷积模块会接收到编码器中与其对称连接的第一深度可分离卷积模块或者第二深度可分离卷积模块输出的输出图像特征。进而第三深度可分离卷积模块接收到输出的图像特征与跳跃连接的输出图像特征后，先基于通道维度拼接模块拼接输出图像特征和跳跃连接的输出图像特征生成第一特征，第一特征输入到点卷积模块进行点卷积处理生成第二特征，第二特征输入到批归一化模块进行批归一化处理生成第三特征，第三特征输入到注意力机制模块进行注意力机制处理生成第二加权图像特征，第二加权图像特征输入到逐像素加法模块，进而逐像素加法模块可将第二加权图像特征与第三特征进行逐像素加法运算，从而生成初始分割图像特征。初始分割图像特征作为跳跃连接的输出图像特征继续输入下一串联的深度可分离卷积模块进行处理，直至在解码器末端的逐像素加法模块输出最终的分割图像。
可选地，可在点卷积模块和批归一化模块之间增加激活函数模块。可在第二垂直深度卷积核和注意力机制模块之间增加激活函数模块和批归一化模块。激活函数模块采用高斯误差线性单元，注意力机制模块采用SimAM函数，本实施例对此不做具体限定。
可选地，所述基于逐像素加法运算拼接所述第二加权图像特征和所述第三特征，生成初始分割图像特征的步骤，包括：
步骤S37：获取基于逐像素加法运算拼接所述第二加权图像特征和所述第三特征生成的第五特征；
步骤S38：对所述第五特征进行点卷积处理，生成所述初始分割图像特征；
步骤S39：基于逐像素加法运算拼接将所述初始分割图像特征与所述初始图像特征，生成所述分割图像。
在本实施例中，本发明第四深度可分离卷积模块由串联的第三深度可分离卷积模块和点卷积模块组成。因此，在第四深度可分离卷积模块串联的第三深度可分离卷积模块基于逐像素加法运算拼接第二加权图像特征和第三特征生成的第五特征后，通过将对第五特征进行点卷积处理将通道维度降至1，从而获得初始分割图像特征。最后再将初始分割图像特征和眼底血管图像的初始图像特征输入逐像素加法模块，以基于逐像素加法运算对初始分割图像特征和初始图像特征拼接，获得分割图像。
参照图6，图6为本发明涉及的第三深度可分离卷积模块和第四深度可分离卷积模块的示意图。其中，第三深度可分离卷积模块对应为RetiNeXt混合模块，第四深度可分离卷积模块对应为RetiMixer输出模块。第三深度可分离卷积模块包括通道维度拼接模块、点卷积模块、高斯误差线性单元、批归一化模块、第二水平深度卷积核、第二垂直深度卷积核、高斯误差线性单元、批归一化模块、SimAM模块、逐像素加法模块。第四深度可分离卷积模块包括第三深度可分离卷积模块和点卷积模块。
在本实施例提供的技术方案中，解码器的第三深度可分离卷积模块通过拼接输出图像特征和跳跃连接的输出图像特征，生成第一特征，对第一特征进行点卷积处理、批归一化处理获得第三特征，然后基于预置的第二水平深度卷积核和第二垂直深度卷积核对第三特征进行深度可分离卷积，生成第四特征，进而对第四特征进行注意力机制处理，生成第二加权图像特征，基于逐像素加法运算拼接第二加权图像特征和第三特征，生成初始分割图像特征。解码器采用等效3×3的卷积核设计，只采用单个点卷积进行通道信息融合，残差连接也由之前的通道维度拼接改为了张量的逐像素加法，能够减少分割网络的参数数量。
参照图7，在第四实施例中，基于上述任一实施例，所述步骤S1之前，包括：
步骤S4：采用高斯卷积核对所述眼底血管图像进行卷积，获得所述眼底血管图像的低频分量图像；
步骤S5：对所述低频分量图像和所述眼底血管图像进行逐像素减法运算，获得高频分量图像；
步骤S6：对所述高频分量图像执行预设增强操作，生成所述初始图像特征。
在本实施例中，预设增强操作为对比度线性拉伸和对比度增强处理。在将眼底血管图像的初始图像特征输入编码器之前，需要将眼底血管图像输入到血管增强模块。眼底血管图像输入到血管增强模块中先会采用一个高斯卷积核对眼底血管图像进行卷积，滤除高频细节分量得到一个低频分量图像。之后用原来的眼底血管图像对低频分量图像进行逐像素减法，从而得到只保留高频细节特征的高频分量图像。最后对高频分量图像进行对比度线性拉伸和对比度增强处理，对高频分量图像进行增强生成初始图像特征，然后再将初始图像特征输入编码器进行特征提取。增强后的图像相比原始的眼底血管图像有着高对比度的细节特征，可以被分割网络更好的学习特征，提高分割图像清晰度和分割效果。可参照图8，图8为本发明涉及的血管增强模块的处理示意图。
所述初始图像特征生成可如下所示：
/>
其中，Input为眼底血管图像对应的输入张量，为高斯卷积核，为低频分量图像，/>为高频分量图像为对比度线性拉伸处理，/>为对比度线性拉伸后的图像，/>为对比度增强处理，/>为初始图像特征。
可选地，作为可选实施方式，在接收到待分割的眼底血管图像时，可对数据进行数据增强操作，从而能够为分割网络提供更多训练的数据量、提升分割网络的鲁棒性、防止分割网络过拟合和提高分割网络的泛化能力。数据增强操作包括随机旋转、随机水平翻转、随机仿射、随机调整亮度、伽马、对比度和随机添加噪声等。
可选地，可预先设置好不同数据增强操作的变化范围和施加概率进行关联保存，进而在对眼底血管图像进行数据增强操作时，可直接获取数据增强操作关联保存的变化范围和施加概率执行，提高数据增强效率。
可选地，表1为数据增强操作的映射表，关联保存了不同数据增强操作的变化范围和施加概率。因此在对眼底血管图像进行数据增强操作时，可参照表1的数据增强参数设置。
表1
在本实施例提供的技术方案中，通过采用高斯卷积核对眼底血管图像进行卷积，获得眼底血管图像的低频分量图像，然后对低频分量图像和眼底血管图像进行逐像素减法运算，获得高频分量图像，进而对高频分量图像执行预设增强操作，生成初始图像特征，使得输入编码器的初始图像特征相比原始的眼底血管图像有着高对比度的细节特征，可以被分割网络更好的学习特征，提高分割图像清晰度和分割效果。
参照图9，在第五实施例中，基于上述任一实施例，所述步骤S1之前，包括：
步骤S101：获取眼底血管图像的训练集样本，将所述训练集样本作为待分割的眼底血管图像，执行所述将待分割的眼底血管图像的初始图像特征输入编码器，通过所述编码器对所述初始图像特征进行深度可分离卷积，生成所述眼底血管图像的输出图像特征的步骤，训练所述编码器和所述解码器；
在本实施例中，在将分割网络正式投入使用前，应当对分割网络进行预训练。训练集样本为与待分割的眼底血管图像的类型一致，从而提高分割网络的准确度。
例如，当待分割的眼底血管图像的血管特征类型与DRIVE (Digital RetinalImages for Vessel Extraction)数据集的类型一致，因此可获取DRIVE (DigitalRetinal Images for Vessel Extraction)数据集作为眼底血管图像的训练集样本和测试集样本。它总共由40张JPEG格式的彩色眼底图像组成，其中包括7个异常病理案例。图像是使用Canon CR5非散瞳3CCD相机拍摄的，视场角（FOV）等于45度。每张图像的分辨率为584*565像素，每个颜色通道有8位。这40张图像被平均分成20张图像用于训练集样本和20张图像作为测试集样本。在这两个集合中，每张图像都有一个直径约为540像素的圆形视场掩码（FOV）。在训练集样本中，每张图像都有一位眼科专家进行的手动分割。又如，当待分割的眼底血管图像的血管特征类型与CHASEDB1（Chinese Diabetic Retinopathy Database 1）数据集一致时，可获取CHASEDB1数据集作为待分割的眼底血管图像的训练集样本和测试集样本。CHASEDB1数据集是一个轻量的用于视网膜血管分割的图像数据集。该数据集包括从14名学童的双眼中拍摄的28张视网膜图像。每幅图像的大小为999×960，二值视野（FOV）掩膜和分割标签是通过手工方法获得的。可将前20个图像作为训练集样本，其余8个图像作为测试集样本。
步骤S102：获取所述解码器输出的所述训练集样本对应的分割图像；
步骤S103：根据所述分割图像的像素集合与所述训练集样本对应的真实分割图像的像素集合，确定损失值；
步骤S104：根据所述损失值更新所述编码器和所述解码器组成的分割网络的模型参数。
在本实施例中，由于分割图像只有黑白像素，因此分割图像的像素集合包括黑白标签，每个标签代表一个像素。本发明基于Dice损失函数和二元交叉熵损失函数改进，获得Dice-BCE（Dice Binary Cross Entropy Loss，二分类Dice系数和交叉熵损失函数）损失函数，既考虑了预测结果的相似度，也考虑了预测结果的准确性。Dice-BCE损失函数的损失值由Dice损失函数的第一损失值和二元交叉熵损失函数的第二损失值进行计算，致使分割网络根据损失值自动更新分割网络参数。
所述改进的损失函数如下所示：
其中，为第一损失值，X为真实分割图像的像素集合，Y为分割图像的像素集合，∣X∩Y∣表示X和Y集合的交集，∣X∣和∣Y∣表示其元素个数；/>为第二损失值，yi为真实分割图像中像素xi的真实类别，p(yi)为预测的分割图像中像素xi属于类别1的概率；为损失值，/>为权重参数，用于控制Dice损失函数和二元交叉熵损失函数的平衡。
可选地，根据人工经验进行确定，例如可设置/>为0.3。
可选地，对分割网络训练后，所述根据所述损失值更新所述编码器和所述解码器组成的分割网络的模型参数的步骤之后，包括：获取眼底血管图像的测试集样本，将所述测试集样本作为待分割的眼底血管图像，执行所述将待分割的眼底血管图像的初始图像特征输入编码器，通过所述编码器对所述初始图像特征进行深度可分离卷积，生成所述眼底血管图像的输出图像特征的步骤，获取所述解码器输出的所述分割图像，然后根据分割图像以及测试集样本计算对应的评估指标值，根据评估指标值确定分割网络的性能是否满足要求。若满足要求执行所述将待分割的眼底血管图像的初始图像特征输入编码器，通过所述编码器对所述初始图像特征进行深度可分离卷积，生成所述眼底血管图像的输出图像特征的步骤；若不满足要求执行所述获取眼底血管图像的训练集样本，将所述训练集样本作为待分割的眼底血管图像，执行所述将待分割的眼底血管图像的初始图像特征输入编码器，通过所述编码器对所述初始图像特征进行深度可分离卷积，生成所述眼底血管图像的输出图像特征的步骤，继续训练编码器和解码器。
可选地，可通过设置不同评估指标值的权重，进而在获得各个评估指标值后，将评估指标值乘以对应的权重之后计算总和，在总和大于设定阈值时，判定分割网络的性能满足要求；或者在所有评估指标值均大于对应的设定阈值后，判定分割网络的性能满足要求，从而无需再对分割网络进行训练，本实施例对此不做具体限定。
在本实施例中，评估指标包括但不限于Dice系数，也称为Sørensen-Dice系数、准确率（Accuracy）和AUC（Area Under Curve，曲线下面积）以及敏感性。
Dice系数用于衡量两组数据的相似性，可如下所示：
其中，X为真实分割图像的像素集合，Y为分割图像的像素集合。TP (TruePositive)为分割网络预测为正类的正样本。FP(False Positive)，标识预测正确的样本。FN (False Negative)，被分割网络预测为负类的正样本。
准确率用于衡量分割网络预测正确的能力，是指分割网络预测正确的样本数量占总样本数量的比例。准确率的取值范围通常在0到1之间，其中1表示分割网络预测完全正确，0表示分割网络预测完全错误。准确率可如下所示：
其中，TN (True Negative)为分割网络预测为负类的负样本。
AUC用于衡量二分类问题下分割网络的性能，可以被解释为分割网络将随机选择的正样本排在随机选择的负样本前面的概率。AUC的取值范围在0.5和1之间，其中1表示分割网络预测完全正确，0.5表示分割网络预测效果最差，无应用价值。
敏感性也可称为真阳性率或召回率，用于衡量分割网络对正类样本的识别能力，是指在所有实际为正类的样本中，被正确地预测为正类的样本所占的比例。敏感性可如下所示：
为验证本发明提供的眼底血管图像的分割方法的效果，采用相同待分割的眼底血管图像输入目前市面上提供的不同血管分割网络，并计算不同分割网络的评估指标值，比较现有技术的分割网络与本发明的分割网络的效果。参照表2，表2为采用DRIVE数据集作为待分割的眼底血管图像分割的测试结果。参照表3，表3为采用CHASEDB1数据集作为待分割的眼底血管图像分割上的测试结果。可验证本发明提出的分割网络相较于目前市面上的血管分割网络参数量下降了93%-98%，Dice系数相较于目前最好的网络分别在DRIVE和CHASEDB1数据集上提升了0.95个百分点和1.68个百分点，精度分别提升了0.15个百分点和0.32个百分点。灵敏度指标在DRIVE数据集上优于同行1.98个百分点。
表2
表3
采用目前市面上提供的血管分割网络对同一眼底血管图像进行分割，以验证本发明提供的分割网络与目前市面上的血管分割网络的效果。参照图10，图10为本发明涉及的分割图像示意图。其中，图中（a）为眼底血管图像；（b）为眼底血管图像的真实分割图像；（c）为使用本发明分割网络分割获得的分割图像；（d）为FR-UNet网络的分割图像；（e）为U-Net++的分割图像。需要说明的是，本发明分割网络需要采用彩色图像才能显示出对应的分割效果，若将其切换为黑白图像则无法观察到不同分割网络的分割效果，因此附图10需采用彩色附图进行显示。可验证本发明的分割网络相较于其他血管分割网络，能够准确的分割出眼底血管图像中的绝大多数血管。而特征显著眼底血管图像的血管能够被准确的分割。当主干血管有部分重叠或间隔距离近时，本发明所提出的分割网络能够清晰的区分血管的数量，而其他网络将距离相近的血管识别为一根大的血管。本发明所提出的分割网络对细小的分叉血管也能精准地识别，其他血管网络会遗漏部分的细小血管。因此，本发明的分割网络对于血管整体的形态特征可以准确的表达，分割网络的性能优秀。
在本实施例提供的技术方案中，在训练阶段，通过获取眼底血管图像的训练集样本，将训练集样本作为待分割的眼底血管图像，执行将待分割的眼底血管图像的初始图像特征输入编码器，通过编码器对初始图像特征进行深度可分离卷积，生成眼底血管图像的输出图像特征的步骤，训练编码器和解码器，然后获取解码器输出训练集样本对应的分割图像，根据分割图像的像素集合与训练集样本对应的真实分割图像的像素集合，确定损失值，进而根据损失值更新编码器和解码器组成的分割网络的模型参数，以提高分割网络的性能。
参照图11，图11为本发明实施例方案涉及的硬件运行环境的终端结构示意图。
如图11所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard）、鼠标等，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
本领域技术人员可以理解，图11中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图11所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及眼底血管图像的分割程序。
在图11所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的眼底血管图像的分割程序，并执行以下操作：
将待分割的眼底血管图像的初始图像特征输入编码器，通过所述编码器对所述初始图像特征进行深度可分离卷积，生成所述眼底血管图像的输出图像特征；
将所述输出图像特征以及所述初始图像特征输入解码器，通过所述解码器分割所述输出图像特征，生成初始分割图像特征；
组合所述初始分割图像特征和所述初始图像特征，生成所述眼底血管图像的分割图像。
进一步地，处理器1001可以调用存储器1005中存储的眼底血管图像的分割程序，还执行以下操作：
基于预置的第一水平深度卷积核和第一垂直深度卷积核对所述初始图像特征进行深度可分离卷积，生成第一图像特征；
对所述第一图像特征进行点卷积处理，生成第二图像特征；
对所述第二图像特征进行全局响应归一化处理，生成第三图像特征；
拼接所述第三图像特征和所述初始图像特征，并对拼接结果进行点卷积处理，生成所述眼底血管图像的所述第一输出图像特征。
进一步地，处理器1001可以调用存储器1005中存储的眼底血管图像的分割程序，还执行以下操作：
对所述第一输出图像特征进行最大池化处理，生成第四图像特征；
基于预置的第二水平深度卷积核和第二垂直深度卷积核对所述第四图像特征进行深度可分离卷积，生成第五图像特征；
对所述第五图像特征进行注意力机制处理，生成第一加权图像特征；
基于逐像素加法运算拼接所述第一加权图像特征和所述第四图像特征，生成第六图像特征；
对所述第六图像特征进行点卷积处理，生成所述眼底血管图像的所述第二输出图像特征。
进一步地，处理器1001可以调用存储器1005中存储的眼底血管图像的分割程序，还执行以下操作：
拼接所述输出图像特征和跳跃连接的所述输出图像特征，生成第一特征；
对所述第一特征进行点卷积处理，生成第二特征；
对所述第二特征进行批归一化处理，生成第三特征；
基于预置的所述第二水平深度卷积核和所述第二垂直深度卷积核对所述第三特征进行深度可分离卷积，生成第四特征；
对所述第四特征进行注意力机制处理，生成第二加权图像特征；
基于逐像素加法运算拼接所述第二加权图像特征和所述第三特征，生成分割图像。
进一步地，处理器1001可以调用存储器1005中存储的眼底血管图像的分割程序，还执行以下操作：
获取基于逐像素加法运算拼接所述第二加权图像特征和所述第三特征生成的第五特征；
对所述第五特征进行点卷积处理，生成初始分割图像特征；
基于逐像素加法运算拼接将所述初始分割图像特征与所述初始图像特征，生成所述分割图像。
进一步地，处理器1001可以调用存储器1005中存储的眼底血管图像的分割程序，还执行以下操作：
采用高斯卷积核对所述眼底血管图像进行卷积，获得所述眼底血管图像的低频分量图像；
对所述低频分量图像和所述眼底血管图像进行逐像素减法运算，获得高频分量图像；
对所述高频分量图像执行预设增强操作，生成所述初始图像特征。
进一步地，处理器1001可以调用存储器1005中存储的眼底血管图像的分割程序，还执行以下操作：
获取眼底血管图像的训练集样本，将所述训练集样本作为所述待分割的眼底血管图像，执行所述将待分割的眼底血管图像的初始图像特征输入编码器，通过所述编码器对所述初始图像特征进行深度可分离卷积，生成所述眼底血管图像的输出图像特征的步骤，以训练所述编码器和所述解码器；
获取所述解码器输出的所述训练集样本对应的分割图像；
根据所述分割图像的像素集合与所述训练集样本对应的真实分割图像的像素集合，确定损失值；
根据所述损失值更新所述编码器和所述解码器组成的分割网络的模型参数。
进一步地，处理器1001可以调用存储器1005中存储的眼底血管图像的分割程序，还执行以下操作：
获取眼底血管图像的测试集样本，将所述测试集样本作为所述待分割的眼底血管图像，执行所述将待分割的眼底血管图像的初始图像特征输入编码器，通过所述编码器对所述初始图像特征进行深度可分离卷积，生成所述眼底血管图像的输出图像特征的步骤；
获取所述解码器输出的所述测试集样本对应的分割图像；
根据所述分割图像以及测试集样本确定预设的评估指标值；
根据所述评估指标值确定分割网络的性能是否满足要求；
若满足要求，执行所述将待分割的眼底血管图像的初始图像特征输入编码器，通过所述编码器对所述初始图像特征进行深度可分离卷积，生成所述眼底血管图像的输出图像特征的步骤；
若不满足要求，继续执行所述获取眼底血管图像的训练集样本，将所述训练集样本作为所述待分割的眼底血管图像，执行所述将待分割的眼底血管图像的初始图像特征输入编码器，通过所述编码器对所述初始图像特征进行深度可分离卷积，生成所述眼底血管图像的输出图像特征的步骤，以继续训练所述编码器和所述解码器。
此外，本发明为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的眼底血管图像的分割程序，所述眼底血管图像的分割程序被所述处理器执行时实现如上所述的眼底血管图像的分割方法的步骤。
此外，本发明为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有眼底血管图像的分割程序，所述眼底血管图像的分割程序被处理器执行时实现如上所述的眼底血管图像的分割方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备（可以是手机、电脑）执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种眼底血管图像的分割方法，其特征在于，所述眼底血管图像的分割方法包括：
将待分割的眼底血管图像的初始图像特征输入编码器，所述编码器基于预置的第一水平深度卷积核和第一垂直深度卷积核对所述初始图像特征进行深度可分离卷积，生成第一图像特征；
对所述第一图像特征进行点卷积处理，生成第二图像特征；
对所述第二图像特征进行全局响应归一化处理，生成第三图像特征；
拼接所述第三图像特征和所述初始图像特征，并对拼接结果进行点卷积处理，生成所述眼底血管图像的第一输出图像特征；
对所述第一输出图像特征进行最大池化处理，生成第四图像特征；
基于预置的第二水平深度卷积核和第二垂直深度卷积核对所述第四图像特征进行深度可分离卷积，生成第五图像特征；
对所述第五图像特征进行注意力机制处理，生成第一加权图像特征；
基于逐像素加法运算拼接所述第一加权图像特征和所述第四图像特征，生成第六图像特征；
对所述第六图像特征进行点卷积处理，生成所述眼底血管图像的第二输出图像特征；
将输出图像特征以及所述初始图像特征输入解码器，所述解码器拼接所述输出图像特征和跳跃连接的所述输出图像特征，生成第一特征，所述输出图像特征包括所述第一输出图像特征和所述第二输出图像特征；
对所述第一特征进行点卷积处理，生成第二特征；
对所述第二特征进行批归一化处理，生成第三特征；
基于预置的所述第二水平深度卷积核和所述第二垂直深度卷积核对所述第三特征进行深度可分离卷积，生成第四特征；
对所述第四特征进行注意力机制处理，生成第二加权图像特征；
基于逐像素加法运算拼接所述第二加权图像特征和所述第三特征，生成第五特征；
对所述第五特征进行点卷积处理，生成初始分割图像特征；
基于逐像素加法运算拼接所述初始分割图像特征和所述初始图像特征，生成所述眼底血管图像的分割图像。
2.如权利要求1所述的方法，其特征在于，所述将待分割的眼底血管图像的初始图像特征输入编码器，所述编码器基于预置的第一水平深度卷积核和第一垂直深度卷积核对所述初始图像特征进行深度可分离卷积，生成第一图像特征的步骤之前，包括：
采用高斯卷积核对所述眼底血管图像进行卷积，获得所述眼底血管图像的低频分量图像；
对所述低频分量图像和所述眼底血管图像进行逐像素减法运算，获得高频分量图像；
对所述高频分量图像执行预设增强操作，生成所述初始图像特征。
3.如权利要求1所述的方法，其特征在于，所述将待分割的眼底血管图像的初始图像特征输入编码器，所述编码器基于预置的第一水平深度卷积核和第一垂直深度卷积核对所述初始图像特征进行深度可分离卷积，生成第一图像特征的步骤之前，包括：
获取眼底血管图像的训练集样本，将所述训练集样本作为所述待分割的眼底血管图像，执行所述将待分割的眼底血管图像的初始图像特征输入编码器，所述编码器基于预置的第一水平深度卷积核和第一垂直深度卷积核对所述初始图像特征进行深度可分离卷积，生成第一图像特征的步骤，以训练所述编码器和所述解码器；
获取所述解码器输出的所述训练集样本对应的分割图像；
根据所述分割图像的像素集合与所述训练集样本对应的真实分割图像的像素集合，确定损失值；
根据所述损失值更新所述编码器和所述解码器组成的分割网络的模型参数。
4.如权利要求3所述的方法，其特征在于，所述根据所述分割图像的像素集合与所述训练集样本对应的真实分割图像的像素集合，确定损失值的步骤之后，包括：
获取眼底血管图像的测试集样本，将所述测试集样本作为所述待分割的眼底血管图像，执行所述将待分割的眼底血管图像的初始图像特征输入编码器，所述编码器基于预置的第一水平深度卷积核和第一垂直深度卷积核对所述初始图像特征进行深度可分离卷积，生成第一图像特征的步骤；
获取所述解码器输出的所述测试集样本对应的分割图像；
根据所述分割图像以及测试集样本确定预设的评估指标值；
根据所述评估指标值确定分割网络的性能是否满足要求；
若满足要求，执行所述将待分割的眼底血管图像的初始图像特征输入编码器，所述编码器基于预置的第一水平深度卷积核和第一垂直深度卷积核对所述初始图像特征进行深度可分离卷积，生成第一图像特征的步骤；
若不满足要求，继续执行所述获取眼底血管图像的训练集样本，将所述训练集样本作为所述待分割的眼底血管图像，执行所述将待分割的眼底血管图像的初始图像特征输入编码器，所述编码器基于预置的第一水平深度卷积核和第一垂直深度卷积核对所述初始图像特征进行深度可分离卷积，生成第一图像特征的步骤，以继续训练所述编码器和所述解码器。
5.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的终端设备的眼底血管图像的分割程序，所述终端设备的眼底血管图像的分割程序被所述处理器执行时实现如权利要求1至4中任一项所述的眼底血管图像的分割方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有终端设备的眼底血管图像的分割程序，所述终端设备的眼底血管图像的分割程序被处理器执行时实现如权利要求1至4中任一项所述的眼底血管图像的分割方法的步骤。
CN202311766115.7A 2023-12-21 2023-12-21 眼底血管图像的分割方法、终端设备及存储介质 Active CN117437249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311766115.7A CN117437249B (zh) 2023-12-21 2023-12-21 眼底血管图像的分割方法、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311766115.7A CN117437249B (zh) 2023-12-21 2023-12-21 眼底血管图像的分割方法、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN117437249A CN117437249A (zh) 2024-01-23
CN117437249B true CN117437249B (zh) 2024-03-22

Family

ID=89555732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311766115.7A Active CN117437249B (zh) 2023-12-21 2023-12-21 眼底血管图像的分割方法、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN117437249B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615634A (zh) * 2018-12-13 2019-04-12 深圳大学 光学眼底图像分割方法、装置、计算机设备及存储介质
CN110097554A (zh) * 2019-04-16 2019-08-06 东南大学 基于密集卷积和深度可分离卷积的视网膜血管分割方法
CN110930418A (zh) * 2019-11-27 2020-03-27 江西理工大学 融合W-net和条件生成对抗网络的视网膜血管分割方法
CN112598650A (zh) * 2020-12-24 2021-04-02 苏州大学 眼底医学影像中视杯视盘的联合分割方法
CN114022359A (zh) * 2021-11-03 2022-02-08 深圳大学 图像超分辨率模型训练方法、装置、存储介质及设备
CN115018756A (zh) * 2022-03-09 2022-09-06 苏州大学 一种眼底视网膜动静脉的分类方法、装置和存储介质
CN115205308A (zh) * 2022-05-18 2022-10-18 重庆邮电大学 一种基于线状滤波和深度学习的眼底图像血管分割方法
CN115393293A (zh) * 2022-08-12 2022-11-25 西南大学 基于UNet网络与分水岭算法的电镜红细胞分割与定位方法
CN115731242A (zh) * 2022-11-21 2023-03-03 电子科技大学 基于混合注意力机制和非对称卷积的视网膜血管分割方法
CN116740081A (zh) * 2023-07-31 2023-09-12 河北师范大学 Ct图像中肺血管分割方法、装置、终端设备及介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615634A (zh) * 2018-12-13 2019-04-12 深圳大学 光学眼底图像分割方法、装置、计算机设备及存储介质
CN110097554A (zh) * 2019-04-16 2019-08-06 东南大学 基于密集卷积和深度可分离卷积的视网膜血管分割方法
CN110930418A (zh) * 2019-11-27 2020-03-27 江西理工大学 融合W-net和条件生成对抗网络的视网膜血管分割方法
CN112598650A (zh) * 2020-12-24 2021-04-02 苏州大学 眼底医学影像中视杯视盘的联合分割方法
CN114022359A (zh) * 2021-11-03 2022-02-08 深圳大学 图像超分辨率模型训练方法、装置、存储介质及设备
CN115018756A (zh) * 2022-03-09 2022-09-06 苏州大学 一种眼底视网膜动静脉的分类方法、装置和存储介质
CN115205308A (zh) * 2022-05-18 2022-10-18 重庆邮电大学 一种基于线状滤波和深度学习的眼底图像血管分割方法
CN115393293A (zh) * 2022-08-12 2022-11-25 西南大学 基于UNet网络与分水岭算法的电镜红细胞分割与定位方法
CN115731242A (zh) * 2022-11-21 2023-03-03 电子科技大学 基于混合注意力机制和非对称卷积的视网膜血管分割方法
CN116740081A (zh) * 2023-07-31 2023-09-12 河北师范大学 Ct图像中肺血管分割方法、装置、终端设备及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A lightweight dual-path cascaded network for vessel segmentation in fundus image;Yanxia Sun et al;《Mathematical Biosciences and Engineering 》;20230418;第20卷(第6期);第10790–10814页 *
Enhancing Tiny Tissues Segmentation via Self-Distillation;Chuan Zhou et al;《2020 IEEE International Conference on Bioinformatics and Biomedicine (BIBM)》;20201231;第934-940页 *
高血压视网膜病变的研究进展;张真 等;《中国慢性病预防与控制》;20140731;第24卷(第7期);第541-543页 *

Also Published As

Publication number Publication date
CN117437249A (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
US11361192B2 (en) Image classification method, computer device, and computer-readable storage medium
EP3674968B1 (en) Image classification method, server and computer readable storage medium
CN111104962B (zh) 图像的语义分割方法、装置、电子设备及可读存储介质
CN109345538B (zh) 一种基于卷积神经网络的视网膜血管分割方法
CN112132817B (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
CN109784149B (zh) 一种人体骨骼关键点的检测方法及系统
CN112330684B (zh) 对象分割方法、装置、计算机设备及存储介质
CN112836756B (zh) 图像识别模型训练方法、系统和计算机设备
CN109816666A (zh) 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质
CN110222597B (zh) 基于微表情调节屏幕显示的方法及装置
CN112085745A (zh) 基于均衡采样拼接的多通道u型全卷积神经网络的视网膜血管图像分割方法
CN113762117B (zh) 一种图像处理模型的训练方法、图像处理模型及计算机设备
CN117038088B (zh) 糖尿病视网膜病变的发病确定方法、装置、设备及介质
CN110610480A (zh) 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型
CN113486925A (zh) 模型训练方法、眼底图像生成方法、模型评估方法及装置
CN117437249B (zh) 眼底血管图像的分割方法、终端设备及存储介质
CN112348808A (zh) 屏幕透图检测方法及装置
CN116958736A (zh) 一种基于跨模态边缘引导的rgb-d显著性目标检测方法
CN116824212A (zh) 基于小样本学习的眼底照片分类方法
CN108229491B (zh) 从图片中检测物体关系的方法、装置和设备
CN112734701A (zh) 眼底病灶检测方法、检测装置及终端设备
Bajaj et al. Diabetic retinopathy stage classification
Sunkari et al. A refined ResNet18 architecture with Swish activation function for Diabetic Retinopathy classification
US20230298326A1 (en) Image augmentation method, electronic device and readable storage medium
US20230346276A1 (en) System and method for detecting a health condition using eye images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant