CN117095012A - 一种眼底视网膜血管图像分割方法、系统及设备 - Google Patents

一种眼底视网膜血管图像分割方法、系统及设备 Download PDF

Info

Publication number
CN117095012A
CN117095012A CN202311059680.XA CN202311059680A CN117095012A CN 117095012 A CN117095012 A CN 117095012A CN 202311059680 A CN202311059680 A CN 202311059680A CN 117095012 A CN117095012 A CN 117095012A
Authority
CN
China
Prior art keywords
layer
module
convolution
decoding
decoding module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311059680.XA
Other languages
English (en)
Inventor
丁晨
李旭
丁曙洋
李润泽
李乾芃
郑思睿
赵俊豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN202311059680.XA priority Critical patent/CN117095012A/zh
Publication of CN117095012A publication Critical patent/CN117095012A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Vascular Medicine (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开一种眼底视网膜血管图像分割方法、系统及设备，涉及图像分割技术领域，方法包括：将待处理人眼图像输入至视网膜血管特征提取模型，以得到眼底视网膜血管；视网膜血管特征提取模型是采用训练样本集对预设U‑Net网络进行训练得到的；预设U‑Net网络中，编码网络包括多个编码模块、多个下采样层及特征金字塔通道注意力模块；解码网络包括依次连接的第四上采样层、第四解码模块、第三上采样层、第三解码模块、第二上采样层、第二解码模块、第一上采样层和第一解码模块；特征金字塔通道注意力模块的输出端与第四上采样层的输入端连接；编码模块与解码模块之间双向跳跃连接。本发明提高视网膜血管的分割精度。

Description

一种眼底视网膜血管图像分割方法、系统及设备
技术领域
本发明涉及图像分割技术领域，特别是涉及一种眼底视网膜血管图像分割方法、系统及设备。
背景技术
由于视网膜血管可以通过其物理和结构特征反映大量眼部疾病，比如糖尿病视网膜病变和青光眼。因此，视网膜血管分割具有重要的现实意义。然而，同一图像中的视网膜血管在不同光强下表现出不同的生物学特征。当毛细血管与背景的对比度较低时，很难精确地分割毛细血管。专家人工分割时往往需要投入大量的人力物力，不仅如此，专家还经常会受到主观性的影响。这些原因导致专家在分割相同的视网膜血管时得到不同的分割结果。因此，为了提高视网膜血管分割的效果，需要使用机器进行分割的方法。
使用机器进行分割的方法主要分为深度学习方法和非深度学习方法。非深度学习的方法往往依赖于专家的经验和技巧，无法满足视网膜血管图像分割对分割精度的要求。深度学习方法中，目前主流的方法是使用U-Net网络及其一些变体。现有文献中已公开了一种基于机器学习的视网膜血管分割方法，采用基于U-Net的网络对视网膜血管进行分割，并得到了较高的分割精度，但该方法的局限在于该网络结构中只使用了前向跳跃连接，忽略了反向跳跃连接的影响，没有充分地利用编码器解码器中的特征，影响分割效果。
发明内容
本发明的目的是提供一种眼底视网膜血管图像分割方法、系统及设备，提高视网膜血管的分割精度。
为实现上述目的，本发明提供了如下方案：
第一方面，本发明提供一种眼底视网膜血管图像分割方法，包括：
获取待处理人眼图像；
将所述待处理人眼图像输入至视网膜血管特征提取模型，以得到眼底视网膜血管；所述视网膜血管特征提取模型是采用训练样本集对预设U-Net网络进行训练得到的；所述训练样本集中的训练样本包括人眼样本图像及对应的人眼眼底视网膜血管；所述预设U-Net网络包括编码网络和解码网络；
其中，所述编码网络包括依次连接的第一编码模块、第一下采样层、第二编码模块、第二下采样层、第三编码模块、第三下采样层、第四编码模块、第四下采样层及特征金字塔通道注意力模块；所述解码网络包括依次连接的第四上采样层、第四解码模块、第三上采样层、第三解码模块、第二上采样层、第二解码模块、第一上采样层和第一解码模块；所述特征金字塔通道注意力模块的输出端与所述第四上采样层的输入端连接；
所述第一编码模块与所述第一解码模块之间双向跳跃连接；所述第二编码模块与所述第二解码模块之间双向跳跃连接；所述第三编码模块与所述第三解码模块之间双向跳跃连接；所述第四编码模块与所述第四解码模块之间双向跳跃连接。
可选地，所述特征金字塔通道注意力模块包括依次连接的空洞空间卷积池化金字塔层及注意力层；
所述空洞空间卷积池化金字塔层用于对所述第四下采样层输出的视网膜血管特征进行多尺度的血管特征的提取，以得到多通道视网膜血管特征图；
所述注意力层用于采用注意力机制对所述多通道视网膜血管特征图进行多通道加权，以得到跨通道视网膜血管特征。
可选地，所述空洞空间卷积池化金字塔层包括第一一维卷积层、第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层、第一全局平均池化层以及融合层；
所述第一一维卷积层的输入端、所述第一膨胀卷积层的输入端、所述第二膨胀卷积层的输入端、所述第三膨胀卷积层的输入端及所述第一全局平均池化层的输入端，均用于输入所述第四下采样层输出的视网膜血管特征；所述第一一维卷积层的输出端、所述第一膨胀卷积层的输出端、所述第二膨胀卷积层的输出端、所述第三膨胀卷积层的输出端及所述第一全局平均池化层的输出端，均与所述融合层的输入端连接；
所述注意力层包括依次连接的第二全局平均池化层、第二一维卷积层、sigmoid函数层、基于注意力机制的加权融合层及输出层。
可选地，所述第一下采样模块包括依次连接的第一卷积层、第二卷积层及最大池化层。
第二方面，本发明提供一种眼底视网膜血管图像分割系统，包括：
待处理图像获取模块，用于获取待处理人眼图像；
视网膜血管提取模块，用于将所述待处理人眼图像输入至视网膜血管特征提取模型，以得到眼底视网膜血管；所述视网膜血管特征提取模型是采用训练样本集对预设U-Net网络进行训练得到的；所述训练样本集中的训练样本包括人眼样本图像及对应的人眼眼底视网膜血管；所述预设U-Net网络包括编码网络和解码网络；
其中，所述编码网络包括依次连接的第一编码模块、第一下采样层、第二编码模块、第二下采样层、第三编码模块、第三下采样层、第四编码模块、第四下采样层及特征金字塔通道注意力模块；所述解码网络包括依次连接的第四上采样层、第四解码模块、第三上采样层、第三解码模块、第二上采样层、第二解码模块、第一上采样层和第一解码模块；所述特征金字塔通道注意力模块的输出端与所述第四上采样层的输入端连接；
所述第一编码模块与所述第一解码模块之间双向跳跃连接；所述第二编码模块与所述第二解码模块之间双向跳跃连接；所述第三编码模块与所述第三解码模块之间双向跳跃连接；所述第四编码模块与所述第四解码模块之间双向跳跃连接。
第三方面，本发明提供一种电子设备，包括存储器及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行眼底视网膜血管图像分割方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开一种眼底视网膜血管图像分割方法、系统及设备，利用预设U-Net网络进行训练，得到视网膜血管特征提取模型，从而对待处理人眼图像进行特征提取，得到眼底视网膜血管。预设U-Net网络中，编码模块与解码模块之间双向跳跃连接，从而考虑到了反向跳跃连接对分割结果的影响，能够更充分地利用编码器和解码器的特征，提高分割效果。进一步来说，编码网络包括依次连接的第一编码模块、第一下采样层、第二编码模块、第二下采样层、第三编码模块、第三下采样层、第四编码模块、第四下采样层及特征金字塔通道注意力模块；解码网络包括依次连接的第四上采样层、第四解码模块、第三上采样层、第三解码模块、第二上采样层、第二解码模块、第一上采样层和第一解码模块；特征金字塔通道注意力模块的输出端与第四上采样层的输入端连接，通过上述设计的U-Net结构能够提取多尺度的血管特征，增强网络的上下文信息，同时能够选取信息丰富的通道，缓解通道数过多带来的影响，得到更好的视网膜血管分割结果，提高分割精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明眼底视网膜血管图像分割方法的流程示意图；
图2为本发明预设U-Net网络的结构示意图；
图3为本发明特征金字塔通道注意力模块的结构示意图；
图4为本发明注意力层的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明在U-Net的跳跃连接方式上添加了反向跳跃连接方式，形成双向跳跃连接；然后使用了空洞空间卷积池化金字塔模块，在不降低图片分辨率的同时能够提取不同尺度的血管特征；最后使用了一种有效注意力模块，在众多通道中对包含重要信息的通道进行加权，提高分割效果。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
如图1所示，本发明提供一种眼底视网膜血管图像分割方法，包括：
步骤100，获取待处理人眼图像。在具体实例中，待处理人眼图像可采用RetCam数字视网膜眼底照相机进行拍摄，也可根据需要选用其他相机。
步骤200，将所述待处理人眼图像输入至视网膜血管特征提取模型，以得到眼底视网膜血管；所述视网膜血管特征提取模型是采用训练样本集对预设U-Net网络进行训练得到的。所述训练样本集中的训练样本包括人眼样本图像及对应的人眼眼底视网膜血管；所述训练样本集中的人眼样本图像可选用CHASE_DB1数据集，该数据集中的照片是来自14名儿童左右眼的28张照片；对应的人眼眼底视网膜血管由两名医学专家进行标注。
所述预设U-Net网络包括编码网络和解码网络。如图2所示，所述编码网络包括依次连接的第一编码模块、第一下采样层、第二编码模块、第二下采样层、第三编码模块、第三下采样层、第四编码模块、第四下采样层及特征金字塔通道注意力模块。所述解码网络包括依次连接的第四上采样层、第四解码模块、第三上采样层、第三解码模块、第二上采样层、第二解码模块、第一上采样层和第一解码模块；所述特征金字塔通道注意力模块的输出端与所述第四上采样层的输入端连接。
第一编码模块、第二编码模块、第三编码模块、第四编码模块的结构相同；第一下采样层、第二下采样层、第三下采样层、第四下采样层的结构相同，均包括依次连接的第一卷积层(3×3)、第二卷积层(3×3)及最大池化层(2×2)；第四上采样层、第三上采样层、第二上采样层、第一上采样层的结构相同；第四解码模块、第三解码模块、第二解码模块、第一解码模块的结构相同。
在经过编码网络内各个模块的处理之后，图片的分辨率降低，造成细节信息丢失的问题，为了缓解这个问题，将输出的特征经过上采样处理，使图片的分辨率与输入保持一致，并在解码模块上采样的过程中与同一层编码模块下采样的特征进行融合，这样可以得到下采样过程中丢失的边缘细节信息，并且在网络层数较深的情况下能对梯度消失的问题进行优化，同时有助于梯度的反向传播，加快训练过程。具体地，所述第一编码模块与所述第一解码模块之间双向跳跃连接；所述第二编码模块与所述第二解码模块之间双向跳跃连接；所述第三编码模块与所述第三解码模块之间双向跳跃连接；所述第四编码模块与所述第四解码模块之间双向跳跃连接，且上述四组模块之间的跳跃结构相同。
以第一编码模块与第一解码模块为例，第一编码模块与第一解码模块之间双向跳跃连接包括：
1)向前跳跃连接融合解码器特征，具体过程为：第n层编码模块的特征向后跳，与(n+1)层解码模块的上采样特征融合，然后通过卷积运算提取特征并减少融合特征的通道数，函数公式表示如下：
其中，表示第n层的编码模块特征，/>表示第n层的解码模块特征，/>包括第n层编码模块的特征和(n+1)层解码模块的上采样特征，DEC表示解码操作，CONCAT表示融合操作。
2)解码器特征反向跳跃连接融合编码器特征，具体过程为：第n层解码模块特征向后跳转，然后与(n-1)层编码模块的下采样特征融合，函数公式表示如下：
其中，表示第n层的编码模块特征，/>表示第n层的解码模块特征，/>包括第n层编码模块的特征和第(n-1)层编码模块的下采样特征，ENC表示编码操作，CONCAT表示融合操作。
经过解码模块上采样的特征反向传播与同一层编码模块中的特征进行融合，可以指导编码模块特征提取过程，增强编码模块特征提取能力。在解码模块上采样的特征反向传播之后，再依次进行向前跳跃连接融合解码模块特征、采用编码模块及下采样层进行视网膜图像的语义特征的提取处理、特征金字塔通道注意力模块内进行的多尺度处理和多通道加权处理、采用解码模块及上采样模块进行的特征提取处理，输出分割结果。
如图2所示，每个编码模块(对应图2中的编码器)的内部包括依次连接的第一级联子模块以及两个卷积层，第二个卷积层输出的特征一方面经由下采样模块输入下一编码模块，另一方面，向前跳跃连接融合解码器特征(对应图2中的fenc)；而对应的解码模块的特征反向跳跃连接融合编码器特征fdec输入至第一级联子模块的输入端。分块并行译码器(即解码模块)包括依次连接的填充子模块、第二级联子模块及两个卷积层，由编码模块跳跃连接输出的特征，进入第二级联子模块；该解码模块内的第二个卷积层输出的特征一方面经由上采样模块输入下一解码模块，一方面，反向跳跃连接对应的编码模块。
图2中的中继器包括依次设置的一个卷积层、一个特征金字塔通道关注(FPCA)模块及另一个卷积层，其中FPCA模块又包括ASPP和ECA两个模块；ASPP是一种常见的图像语义分割任务中使用的模块，它结合了空洞卷积和金字塔池化操作，对应空洞空间卷积池化金字塔层。ECA是一种用于增强卷积神经网络(CNN)的通道注意力机制，它通过引入一种轻量级的注意力操作，有助于提取更有效的特征并提高模型性能，对应注意力层。即，所述特征金字塔通道注意力模块包括依次连接的空洞空间卷积池化金字塔层及注意力层。另外，需要说明的是，图2中编码器、中继器及分块并行译码器各自对应的xin、xout，仅代指编码器、中继器及分块并行译码器各自对应的输入和输出，并非相同特征。
所述空洞空间卷积池化金字塔层用于对所述第四下采样层输出的视网膜血管特征进行多尺度的血管特征的提取，以得到多通道视网膜血管特征图，可以解决同一感受野的情况下就很难同时得到生物形态不同的细节血管特征和血管整体轮廓特征的问题。
如图3所示，所述空洞空间卷积池化金字塔层包括第一一维卷积层、第一膨胀卷积层(3×3卷积)、第二膨胀卷积层(3×3卷积)、第三膨胀卷积层(3×3卷积)、第一全局平均池化层以及融合层；所述第一一维卷积层的输入端、所述第一膨胀卷积层的输入端、所述第二膨胀卷积层的输入端、所述第三膨胀卷积层的输入端及所述第一全局平均池化层的输入端，均用于输入所述第四下采样层输出的视网膜血管特征；所述第一一维卷积层的输出端、所述第一膨胀卷积层的输出端、所述第二膨胀卷积层的输出端、所述第三膨胀卷积层的输出端及所述第一全局平均池化层的输出端，均与所述融合层的输入端连接。所述空洞空间卷积池化金字塔层中的数据处理公式为：
P＝CΟNCAT(CONV,Rate(a1),Rate(a2),Rate(a3),Pooling(P1))。
其中，P为多通道视网膜血管特征图，CONCAT为融合操作，由融合层执行；Rate()为膨胀率函数，CONV为卷积操作，由第一一维卷积层执行；a1表示第一膨胀卷积层的膨胀率，a2表示第二膨胀卷积层的膨胀率，a3表示第三膨胀卷积层的膨胀率。在具体实际应用中，第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层的膨胀率分别为：6，12，18。Pooling(P1)表示对视网膜血管特征P1进行全局平均池化操作。
经过空洞空间卷积池化金字塔层后的特征具有较多的通道，为了在众多通道中选取包含重要信息的通道，使用有效注意力机制对信息丰富(信息丰富指的是总量大但是这些信息并不全是有助于提高分割效果的)的通道进行加权，并可以获得跨通道交互信息，提升分割效果。
所述注意力层用于采用注意力机制对所述多通道视网膜血管特征图进行多通道加权，以得到跨通道视网膜血管特征。如图4所示，所述注意力层包括依次连接的第二全局平均池化层、第二一维卷积层、sigmoid函数层、基于注意力机制的加权融合层及输出层。具体地，输入的视网膜眼底图像定义为x∈RH×W×C，宽度为H，高度为W，维度为C，其大小由H×W×C变为1×1×C。然后将得到的列向量输入到一维卷积层，然后通过sigmoid函数输出权重。最后，将权重与输入特征映射相乘，输出加权后的信道特征。进一步来说，注意力层中基于注意力机制的加权融合层的数据处理公式为：
fi out＝fi in×wi。
其中，表示第二一维卷积层中卷积核的参数，k表示第二一维卷积层中卷积核的大小，xi表示第i个通道，/>表示xi的k个相邻通道的集合，wi表示第i个通道的权值，fi in表示第i个通道的空间特征，fi out表示加权后第i个通道的输出空间特征。
另外，本发明在两个公开的视网膜图像数据集上进行了测试，证明了所提出的方法在视网膜血管图像分割上的优越性。
实施例二
为了实现实施例一中的技术方案，以达到相应的功能和技术效果，本实施例还提供了一种眼底视网膜血管图像分割系统，包括：
待处理图像获取模块，用于获取待处理人眼图像。
视网膜血管提取模块，用于将所述待处理人眼图像输入至视网膜血管特征提取模型，以得到眼底视网膜血管；所述视网膜血管特征提取模型是采用训练样本集对预设U-Net网络进行训练得到的；所述训练样本集中的训练样本包括人眼样本图像及对应的人眼眼底视网膜血管；所述预设U-Net网络包括编码网络和解码网络。
其中，所述编码网络包括依次连接的第一编码模块、第一下采样层、第二编码模块、第二下采样层、第三编码模块、第三下采样层、第四编码模块、第四下采样层及特征金字塔通道注意力模块；所述解码网络包括依次连接的第四上采样层、第四解码模块、第三上采样层、第三解码模块、第二上采样层、第二解码模块、第一上采样层和第一解码模块；所述特征金字塔通道注意力模块的输出端与所述第四上采样层的输入端连接。
所述第一编码模块与所述第一解码模块之间双向跳跃连接；所述第二编码模块与所述第二解码模块之间双向跳跃连接；所述第三编码模块与所述第三解码模块之间双向跳跃连接；所述第四编码模块与所述第四解码模块之间双向跳跃连接。
实施例三
本实施例提供一种电子设备，包括存储器及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行实施例一的眼底视网膜血管图像分割方法。可选地，上述电子设备可以是服务器。
另外，本发明实施例还提供一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例一的眼底视网膜血管图像分割方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种眼底视网膜血管图像分割方法，其特征在于，方法包括：
获取待处理人眼图像；
将所述待处理人眼图像输入至视网膜血管特征提取模型，以得到眼底视网膜血管；所述视网膜血管特征提取模型是采用训练样本集对预设U-Net网络进行训练得到的；所述训练样本集中的训练样本包括人眼样本图像及对应的人眼眼底视网膜血管；所述预设U-Net网络包括编码网络和解码网络；
其中，所述编码网络包括依次连接的第一编码模块、第一下采样层、第二编码模块、第二下采样层、第三编码模块、第三下采样层、第四编码模块、第四下采样层及特征金字塔通道注意力模块；所述解码网络包括依次连接的第四上采样层、第四解码模块、第三上采样层、第三解码模块、第二上采样层、第二解码模块、第一上采样层和第一解码模块；所述特征金字塔通道注意力模块的输出端与所述第四上采样层的输入端连接；
所述第一编码模块与所述第一解码模块之间双向跳跃连接；所述第二编码模块与所述第二解码模块之间双向跳跃连接；所述第三编码模块与所述第三解码模块之间双向跳跃连接；所述第四编码模块与所述第四解码模块之间双向跳跃连接。
2.根据权利要求1所述的眼底视网膜血管图像分割方法，其特征在于，所述特征金字塔通道注意力模块包括依次连接的空洞空间卷积池化金字塔层及注意力层；
所述空洞空间卷积池化金字塔层用于对所述第四下采样层输出的视网膜血管特征进行多尺度的血管特征的提取，以得到多通道视网膜血管特征图；
所述注意力层用于采用注意力机制对所述多通道视网膜血管特征图进行多通道加权，以得到跨通道视网膜血管特征。
3.根据权利要求2所述的眼底视网膜血管图像分割方法，其特征在于，所述空洞空间卷积池化金字塔层包括第一一维卷积层、第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层、第一全局平均池化层以及融合层；
所述第一一维卷积层的输入端、所述第一膨胀卷积层的输入端、所述第二膨胀卷积层的输入端、所述第三膨胀卷积层的输入端及所述第一全局平均池化层的输入端，均用于输入所述第四下采样层输出的视网膜血管特征；所述第一一维卷积层的输出端、所述第一膨胀卷积层的输出端、所述第二膨胀卷积层的输出端、所述第三膨胀卷积层的输出端及所述第一全局平均池化层的输出端，均与所述融合层的输入端连接；
所述注意力层包括依次连接的第二全局平均池化层、第二一维卷积层、sigmoid函数层、基于注意力机制的加权融合层及输出层。
4.根据权利要求3所述的眼底视网膜血管图像分割方法，其特征在于，所述空洞空间卷积池化金字塔层中的数据处理公式为：
P＝CΟNCAT(CONV,Rate(a1),Rate(a2),Rate(a3),Pooling(P1))；
其中，P为多通道视网膜血管特征图，CONCAT为融合操作，由融合层执行；Rate()为膨胀率函数，CONV为卷积操作，由第一一维卷积层执行；a1表示第一膨胀卷积层的膨胀率，a2表示第二膨胀卷积层的膨胀率，a3表示第三膨胀卷积层的膨胀率，Pooling(P1)表示对视网膜血管特征P1进行全局平均池化操作。
5.根据权利要求3所述的眼底视网膜血管图像分割方法，其特征在于，所述注意力层中基于注意力机制的加权融合层的数据处理公式为：
fi out＝fi in×wi；
其中，αi j表示第二一维卷积层中卷积核的参数，k表示第二一维卷积层中卷积核的大小，xi表示第i个通道，表示xi的k个相邻通道的集合，wi表示第i个通道的权值，fi in表示第i个通道的空间特征，fi out表示加权后第i个通道的输出空间特征。
6.根据权利要求1所述的眼底视网膜血管图像分割方法，其特征在于，所述第一下采样模块包括依次连接的第一卷积层、第二卷积层及最大池化层。
7.一种眼底视网膜血管图像分割系统，其特征在于，系统包括：
待处理图像获取模块，用于获取待处理人眼图像；
视网膜血管提取模块，用于将所述待处理人眼图像输入至视网膜血管特征提取模型，以得到眼底视网膜血管；所述视网膜血管特征提取模型是采用训练样本集对预设U-Net网络进行训练得到的；所述训练样本集中的训练样本包括人眼样本图像及对应的人眼眼底视网膜血管；所述预设U-Net网络包括编码网络和解码网络；
其中，所述编码网络包括依次连接的第一编码模块、第一下采样层、第二编码模块、第二下采样层、第三编码模块、第三下采样层、第四编码模块、第四下采样层及特征金字塔通道注意力模块；所述解码网络包括依次连接的第四上采样层、第四解码模块、第三上采样层、第三解码模块、第二上采样层、第二解码模块、第一上采样层和第一解码模块；所述特征金字塔通道注意力模块的输出端与所述第四上采样层的输入端连接；
所述第一编码模块与所述第一解码模块之间双向跳跃连接；所述第二编码模块与所述第二解码模块之间双向跳跃连接；所述第三编码模块与所述第三解码模块之间双向跳跃连接；所述第四编码模块与所述第四解码模块之间双向跳跃连接。
8.一种电子设备，其特征在于，包括存储器及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行权利要求1-6任一项所述的眼底视网膜血管图像分割方法。
CN202311059680.XA 2023-08-22 2023-08-22 一种眼底视网膜血管图像分割方法、系统及设备 Pending CN117095012A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311059680.XA CN117095012A (zh) 2023-08-22 2023-08-22 一种眼底视网膜血管图像分割方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311059680.XA CN117095012A (zh) 2023-08-22 2023-08-22 一种眼底视网膜血管图像分割方法、系统及设备

Publications (1)

Publication Number Publication Date
CN117095012A true CN117095012A (zh) 2023-11-21

Family

ID=88773095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311059680.XA Pending CN117095012A (zh) 2023-08-22 2023-08-22 一种眼底视网膜血管图像分割方法、系统及设备

Country Status (1)

Country Link
CN (1) CN117095012A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495876A (zh) * 2023-12-29 2024-02-02 山东大学齐鲁医院 基于深度学习的冠状动脉图像分割方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495876A (zh) * 2023-12-29 2024-02-02 山东大学齐鲁医院 基于深度学习的冠状动脉图像分割方法及系统
CN117495876B (zh) * 2023-12-29 2024-03-26 山东大学齐鲁医院 基于深度学习的冠状动脉图像分割方法及系统

Similar Documents

Publication Publication Date Title
CN111311629B (zh) 图像处理方法、图像处理装置及设备
CN109165660B (zh) 一种基于卷积神经网络的显著物体检测方法
WO2022017025A1 (zh) 图像处理方法、装置、存储介质以及电子设备
CN110223304B (zh) 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质
CN108664974A (zh) 一种基于rgbd图像与全残差网络的语义分割方法
CN111144329A (zh) 一种基于多标签的轻量快速人群计数方法
CN111062395B (zh) 一种实时的视频语义分割方法
CN117095012A (zh) 一种眼底视网膜血管图像分割方法、系统及设备
CN110689599A (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN112862689A (zh) 一种图像超分辨率重建方法及系统
CN116012581A (zh) 一种基于双重注意力融合的图像分割方法
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN112602114A (zh) 图像处理方法及装置、神经网络及训练方法、存储介质
CN113763251B (zh) 一种图像超分辨率放大模型及其方法
CN114821058A (zh) 一种图像语义分割方法、装置、电子设备及存储介质
CN113658040A (zh) 一种基于先验信息和注意力融合机制的人脸超分辨方法
KR102419270B1 (ko) Mlp 기반 아키텍처를 통한 의료영상 세그먼테이션 장치 및 그 방법
CN114359297A (zh) 基于注意力金字塔的多分辨率语义分割方法及装置
CN113744275A (zh) 一种基于特征变换的三维cbct牙齿图像的分割方法
CN111160378A (zh) 基于单张图像的多任务增强的深度估计系统
CN113313728B (zh) 一种颅内动脉分割方法及系统
CN113837941A (zh) 图像超分模型的训练方法、装置及计算机可读存储介质
CN116342675B (zh) 一种实时单目深度估计方法、系统、电子设备及存储介质
CN115082371B (zh) 图像融合方法、装置、移动终端设备及可读存储介质
CN112529064B (zh) 一种高效的实时语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination