CN112001923B - 一种视网膜图像分割方法及装置 - Google Patents

一种视网膜图像分割方法及装置 Download PDF

Info

Publication number
CN112001923B
CN112001923B CN202011200417.4A CN202011200417A CN112001923B CN 112001923 B CN112001923 B CN 112001923B CN 202011200417 A CN202011200417 A CN 202011200417A CN 112001923 B CN112001923 B CN 112001923B
Authority
CN
China
Prior art keywords
feature map
feature
characteristic diagram
retinal
pooling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011200417.4A
Other languages
English (en)
Other versions
CN112001923A (zh
Inventor
蒋杰
孙家豪
刘阳
杨君燕
康来
魏迎梅
谢毓湘
周天健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202011200417.4A priority Critical patent/CN112001923B/zh
Publication of CN112001923A publication Critical patent/CN112001923A/zh
Application granted granted Critical
Publication of CN112001923B publication Critical patent/CN112001923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本说明书一个或多个实施例提供一种视网膜图像分割方法及装置，包括：将视网膜图像输入编码器进行处理，得到编码器处理后的第一特征图；利用固定卷积核对第一特征图进行特征提取，得到能够表示视网膜血管局部线性特征的第二特征图；基于空间金字塔池和条带池对第一特征图进行特征提取，得到能够表示视网膜血管宽度变化信息和远程上下文信息的第三特征图；对第二特征图和第三特征图进行融合处理，得到第四特征图；将第四特征图输入解码器进行处理，得到解码器处理后的第五特征图；基于第五特征图，按照预设的阈值，判定第五特征图中每个像素是否为视网膜血管，得到分割后的视网膜图像。本方法能够实现视网膜血管分割，且图像分割精度较高。

Description

一种视网膜图像分割方法及装置
技术领域
本说明书一个或多个实施例涉及图像处理技术领域，尤其涉及一种视网膜图像分割方法及装置。
背景技术
借助视网膜图像进行视网膜检查是临床疾病检查的重要手段。早期的视网膜图像分割方法，一般借助于总结出的经验，人工提取特征对图像进行分割，操作繁琐，精度不高。基于深度学习算法实现的视网膜图像分割方法能够提高分割准确性，但是在不断的池化过程中会丢失大量信息，图像分割精度有待提高。
发明内容
有鉴于此，本说明书一个或多个实施例的目的在于提出一种视网膜图像分割方法及装置，以解决视网膜图像分割精度不高的问题。
基于上述目的，本说明书一个或多个实施例提供了一种视网膜图像分割方法，包括：
将视网膜图像输入编码器进行处理，得到所述编码器处理后的第一特征图；
利用固定卷积核对所述第一特征图进行特征提取，得到能够表示视网膜血管局部线性特征的第二特征图；
基于空间金字塔池和条带池对所述第一特征图进行特征提取，得到能够表示视网膜血管宽度变化信息和远程上下文信息的第三特征图；
对所述第二特征图和所述第三特征图进行融合处理，得到第四特征图；
将所述第四特征图输入解码器进行处理，得到解码器处理后的第五特征图；
基于所述第五特征图，按照预设的阈值，判定所述第五特征图中每个像素是否为视网膜血管，得到分割后的视网膜图像。
可选的，所述利用固定卷积核对所述第一特征图进行特征提取，包括：利用预设的六个3×3的固定卷积核对所述第一特征图进行特征提取。
可选的，所述六个3×3的固定卷积核为：
Figure 887126DEST_PATH_IMAGE001
Figure 617184DEST_PATH_IMAGE002
Figure 551642DEST_PATH_IMAGE003
Figure 76164DEST_PATH_IMAGE004
Figure 112385DEST_PATH_IMAGE005
Figure 380555DEST_PATH_IMAGE006
。
可选的，基于空间金字塔池和条带池对所述第一特征图进行特征提取，得到能够表示视网膜血管宽度变化信息和远程上下文信息的第三特征图，包括：
基于至少两个空间金字塔池和至少两个条带池分别对所述第一特征图进行池化操作，得到池化操作后的至少四个特征图；
利用1×1卷积将所述至少四个特征图的通道数转换为1，得到至少四个通道数为1的特征图；
对所述至少四个通道数为1的特征图进行拼接处理，得到所述第三特征图。
可选的，所述基于空间金字塔池和条带池对所述第一特征图进行特征提取，包括：
利用三个方形核对所述第一特征图进行特征提取，以获得视网膜血管的宽度变化信息；
利用两个条形核对所述第一特征图进行特征提取，以获得视网膜血管的远程上下文信息。
可选的，所述三个方形核的大小分别为2×2、3×3、4×4。
本说明书实施例还提供一种视网膜图像分割装置，包括：
编码器模块，用于将视网膜图像输入编码器进行处理，得到所述编码器处理后的第一特征图；
线性特征提取模块，用于利用固定卷积核对所述第一特征图进行特征提取，得到能够表示视网膜血管局部线性特征的第二特征图；
宽度和远程特征提取模块，基于空间金字塔池和条带池对所述第一特征图进行特征提取，得到能够表示视网膜血管宽度变化信息和远程上下文信息的第三特征图；
融合模块，用于对所述第二特征图和所述第三特征图进行融合处理，得到第四特征图；
解码器模块，用于将所述第四特征图输入解码器进行处理，得到解码器处理后的第五特征图；
分类模块，用于基于所述第五特征图，按照预设的阈值，判定所述第五特征图中每个像素是否为视网膜血管，得到分割后的视网膜图像。
可选的，所述线性特征提取模块，用于利用预设的六个3×3的固定卷积核对所述第一特征图进行特征提取。
可选的，所述宽度和远程特征提取模块，用于基于至少两个空间金字塔池和至少两个条带池分别对所述第一特征图进行池化操作，得到池化操作后的至少四个特征图；利用1×1卷积将所述至少四个特征图的通道数转换为1，得到至少四个通道数为1的特征图；对所述至少四个通道数为1的特征图进行拼接处理，得到所述第三特征图。
可选的，所述宽度和远程特征提取模块，用于利用三个方形核对所述第一特征图进行特征提取，以获得视网膜血管的宽度变化信息；利用两个条形核对所述第一特征图进行特征提取，以获得视网膜血管的远程上下文信息。
从上面所述可以看出，本说明书一个或多个实施例提供的视网膜图像分割方法及装置，通过将视网膜图像输入编码器进行处理，得到编码器处理后的第一特征图，利用固定卷积核对第一特征图进行特征提取，得到能够表示视网膜血管局部线性特征的第二特征图，基于空间金字塔池和条带池对第一特征图进行特征提取，得到能够表示视网膜血管宽度变化信息和远程上下文信息的第三特征图，对第二特征图和第三特征图进行融合处理，得到第四特征图，将第四特征图输入解码器进行处理，得到解码器处理后的第五特征图，基于第五特征图，按照预设的阈值，判定第五特征图中每个像素是否为视网膜血管，得到分割后的视网膜图像。本实施例的方法及装置，能够实现视网膜血管的分割，图像分割精度较高。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书一个或多个实施例的方法流程示意图；
图2A、2B、2C为本说明书一个或多个实施例的消融实验下的分割效果示意图；
图3为本说明书一个或多个实施例的装置结构示意图；
图4为本说明书一个或多个实施例的电子设备结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
如图1所示，本说明书一个或多个实施例提供一种视网膜图像分割方法，包括：
S101：将视网膜图像输入编码器进行处理，得到编码器处理后的第一特征图；
一些实施例中，将原始的视网膜图像输入ResNet34模块进行处理，由ResNet34模块对原始图像进行特征提取处理，得到提取出的特征图。
ResNet模块采用残差连接的方式，可以才增加网络深度的同时避免出现梯度消失的现象。并且网络复杂度降低，所需参数量较小。ResNet具有18，34，50，101等不同深度的结构，利用ResNet34模块进行视网膜分割具有良好的效果。其他实施例中，还可以使用VGG，DensNet，GoogleNet等网络结构进行视网膜分割，本实施例不对编码器的具体结构进行限定。
S102：利用固定卷积核对第一特征图进行特征提取，得到能够表示视网膜血管局部线性特征的第二特征图；
本实施例中，结合人工经验预设固定卷积核，利用固定卷积核对第一特征图进行特征提取，提取出视网膜血管的局部线性特征。
S103：基于空间金字塔池和条带池对第一特征图进行特征提取，得到能够表示视网膜血管宽度变化信息和远程上下文信息的第三特征图；
本实施例中，考虑到视网膜血管的宽度不一致且存在远程上下文信息，使用空间金字塔池对第一特征图进行特征提取，以提取出视网膜血管的宽度变化信息，使用条带池对第一特征图进行特征提取，以提取出视网膜血管的远程上下文信息。
S104：对第二特征图和第三特征图进行融合处理，得到第四特征图；
S105：将第四特征图输入解码器进行处理，得到解码器处理后的第五特征图；
本实施例中，得到第二特征图和第三特征图之后，对第二特征图和第三特征图进行融合处理，得到第四特征图，利用包含反褶积操作的解码器对第四特征图进行处理，得到第五特征图，跳跃连接可以从编码器得到一些详细的信息道解码器，能够补偿池化操作造成的信息丢失。
S106：基于第五特征图，按照预设的阈值，判定第五特征图中每个像素是否为视网膜血管，得到分割后的视网膜图像。
本实施例中，对于解码器输出的第五特征图，针对每个像素，通过阈值判断是否为视网膜血管，所有像素判定完毕，完成视网膜图像的分割。
本实施例的视网膜图像分割方法，包括：将视网膜图像输入编码器进行处理，得到编码器处理后的第一特征图，利用固定卷积核对第一特征图进行特征提取，得到能够表示视网膜血管局部线性特征的第二特征图，基于空间金字塔池和条带池对第一特征图进行特征提取，得到能够表示视网膜血管宽度变化信息和远程上下文信息的第三特征图，对第二特征图和第三特征图进行融合处理，得到第四特征图，将第四特征图输入解码器进行处理，得到解码器处理后的第五特征图，基于第五特征图，按照预设的阈值，判定第五特征图中每个像素是否为视网膜血管，得到分割后的视网膜图像。本实施例的方法，能够实现视网膜血管的分割，图像分割精度较高。
以下结合具体实施例对本说明书的视网膜图像分割方法进行说明。
对于视网膜血管，虽然整体是弯曲的，但是局部可视为线性，卷积神经网络中常用的3×3卷积核能够增强血管的局部线性特征，因此，利用3×3的固定卷积核对第一特征图进行特征提取，得到能够表示视网膜血管的局部线性特征的第二特征图。
一些实施例中，利用预设的六个3×3的固定卷积核对第一特征图进行特征提取，计算方法为：
v i = σ(ω i · z + b i ) （1）
其中，σ是激励函数，ω i 为固定卷积核，b i 为偏置，i=1,2，……，6，z为第一特征图，•为卷积运算，六个固定卷积核分别为：
Figure 169519DEST_PATH_IMAGE001
Figure 130522DEST_PATH_IMAGE002
Figure 637727DEST_PATH_IMAGE003
Figure 481225DEST_PATH_IMAGE004
Figure 468904DEST_PATH_IMAGE005
Figure 335229DEST_PATH_IMAGE006
利用六个固定卷积核分别对第一特征图进行计算后，将得到的六个特征图进行拼接，得到第二特征图v：
v = f c (v i ) （8）
其中，f c (·)表示拼接运算，所有利用固定卷积核得到的具有局部线性特征的特征图进行拼接后，不会改变数据，即不会改变局部线性特征，只是改变了数据存储形式。本实施例不对具体的拼接运算方法进行限定。
由于视网膜血管的宽度不一致，例如，越靠近视盘，血管越宽，越远离视盘，血管越细，利用空间金字塔池进行池化操作，利用不同大小的方形池化窗口进行池化运算，能够获得宽度变化信息，但是，方形池化窗口会丢失带状视网膜血管的远程上下文信息，利用条带池进行池化操作，可以有效获取视网膜血管的远程上下文信息，防止不相关区域干扰预测；因此，本实施例中，同时使用空间金字塔池和条带池对第一特征图进行特征提取，以获得视网膜血管宽度变化信息和远程上下文信息。
一些实施例中，基于空间金字塔池和条带池对所述第一特征图进行特征提取，得到能够表示视网膜血管宽度变化信息和远程上下文信息的第三特征图，包括：
基于至少两个空间金字塔池和至少两个条带池分别对第一特征图进行池化操作，得到池化操作后的至少四个特征图；
利用1×1卷积将至少四个特征图的通道数转换为1，得到至少四个通道数为1的特征图；
对至少四个通道数为1的特征图进行拼接处理，得到第三特征图。
一些实施例中，空间金字塔池使用三个方形核，条带池使用两个条形核。利用三个方形核和两个条形核进行池化操作，其中，三个方形核大小分别为2×2、3×3、4×4。利用三个方形核进行池化操作时，选取像素值最大的元素来代替当前区域。两个条形核是将每一行和每一列分别相加再取平均，用得到的平均数代替当前行区域或列区域。
经过三个方形核的池化运算后得到三个不同大小的特征图，能够获得视网膜血管的宽度变化信息，之后，采用双线性插值的上采样方法对三个特征图进行融合处理，得到融合后的宽度信息特征图。两个条形核的大小分别为1×3和3×1，两个条形核大小分别是1×h和w×1，h为图像的列数，w为图像的行数，经过两个条形核的池化运算后得到两个特征图，能够获得视网膜血管的远程上下文信息，之后，采用双线性插值的上采样方法对两个特征图进行融合处理，得到融合后的远程信息特征图。
一些实施方式中，随着网络结构的深度不断加深，特征图的通道数也在增加，使用1×1卷积可以降低通道数。在使用方形核进行池化和条形核进行池化的时候并不会改变特征图的通道数。利用三个方形核和两个条形核进行池化操作之后，会得到五个特征图，并且每一个特征图的通道都有512个，这样的数据过于庞大，因此，池化操作之后，使用1×1卷积将池化后得到的五个特征图的通道数都变为1，得到五个通道为1的特征图，之后，利用拼接运算将五个通道为1的特征图拼接成一个通道数为5的第三特征图。
第三特征图u表示为：
u=σ(f c (u 1 ,u 2 ,···,u 5 ,z)) （9）
Figure 329729DEST_PATH_IMAGE007
i=1表示使用2×2方形核进行池化，i=2表示使用3×3方形核进行池化，i=3表示使用4×4方形核进行池化；max（∑ i ）表示取进行方形池化的当前区域的最大元素的像素值。z为第一特征图。N是进行条形池化的当前区域的像素值之和，N=a+b，当i=4时，a为第一特征图的宽度，b为0；当i=5时，a为0，b为第一特征图的长度。
以下结合实验数据说明本说明书的方法的效果。
选用三个数据集DRIVE、CHASE-DB1和STARE验证本说明书的图像分割效果，这三个数据集分别提供了视网膜图像和血管分割的二值图像。三个数据集的原始图像大小分别为565×584、999×960、700×605，由于使用跳跃连接，输入的图像大小必须是32的倍数，因此将三个数据集中的图像大小调整为576×576、960×960、640×640。模型训练阶段，为了扩展测试数据，将原始图像进行水平翻转、垂直翻转和对角线翻转，然后采用批量大小为4的Adam优化，进行shuffle处理，每10次迭代，如果损失没有减少，则学习率除以2，最大历元数为200，初始学习率为2e3。
对于三个数据集，分别划分为训练集和测试集，利用训练集进行模型训练，利用测试集对训练好的模型进行测试。将本实施例的图像分割方法（方法简称为MF-Net）与现有的U-Net、Residual UNet 、CE -Net、LadderNet和IterNet算法进行比较，在训练阶段，本实施例的方法增加了8倍的数据量，与上述现有的算法需要增加数千倍的数据量相比，不会产生太多的额外成本，而且，提取第二特征图和第三特征图部分均为轻量级模块，在nvidiaGTX1080Ti GPU上，能够在10分钟内完成200次迭代，并取得良好的收敛效果。
对于DRIVE数据集，为测试视网膜血管的分割性能，分别计算了模型的敏感度（Sen）、准确性（Acc）、调和均值（F1 Score）和接收机工作特性曲线下面积（AUC，表示像素被正确分类的概率），几种图像分割算法的对比结果如表1所示：
表1 DRIVE数据集上几种算法的分割效果
Figure DEST_PATH_IMAGE008
表2本实施例的方法与IterNet方法的运行速度
Figure 725988DEST_PATH_IMAGE009
如表1所示，本实施例的图像分割方法的AUC指标高于其他算法的相应指标，能够更精确的检测出视网膜血管，实现更为精确的图像分割；如表2所示，FPS表示每秒可处理的图像数量，本实施例的方法的预测速度是IterNet方法的预测速度的1.7倍，运行速度非常快。
对于CHASE-DB1数据集，几种算法的测试效果如表3所示：
表3 CHASE-DB1数据集上几种算法的分割效果
Figure DEST_PATH_IMAGE010
对于STARE数据集，几种算法的测试效果如表4所示：
表4 STARE数据集上几种算法的分割效果
Figure 20703DEST_PATH_IMAGE011
从以上测试结果可以看出，本实施例的图像分割方法，相较于现有的几种算法具有更为精确的血管分割效果，且运行速度快，性能良好。
为验证第二特征图和第三特征图对于图像分割处理的影响效果，还进行了消融实验，测试结果如表5所示：
表5 消融实验结果
Figure DEST_PATH_IMAGE012
可以看出，第二特征图和第三特征图能够有效提高视网膜图像的分割精度，如图2A、2B、2C所示，图2A与图2B中的方框区域略有不同，图2C保留了图2A、2B的特征，并取得了更好的效果。
对于第二特征图，使用更新的固定卷积核进行试验，更新的固定卷积核为：
Figure 589087DEST_PATH_IMAGE013
Figure DEST_PATH_IMAGE014
Figure 352775DEST_PATH_IMAGE015
Figure DEST_PATH_IMAGE016
Figure 32018DEST_PATH_IMAGE017
Figure DEST_PATH_IMAGE018
表6 不同固定卷积核的测试结果
Figure 430507DEST_PATH_IMAGE019
可以看出，固定卷积核的数值发生很小变化时，各项指标发生了1%的变化，即对各项指标没有显著的影响。
从消融实验中可以看出，第二特征图和第三特征图分别对AUC结果提高了0.2%-0.3%，两个特征图将AUC结果提高了0.5%，其中，第二特征图增强了线性特征，省略了多余的点，第三特征图捕获了更多的形状变化细节，基于两个特征图的处理结果，能够获得精确的图像分割效果。
需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
如图3所示，本说明书还提供一种视网膜图像分割装置，包括：
编码器模块，用于将视网膜图像输入编码器进行处理，得到编码器处理后的第一特征图；
线性特征提取模块，用于利用固定卷积核对第一特征图进行特征提取，得到能够表示视网膜血管局部线性特征的第二特征图；
宽度和远程特征提取模块，用于基于空间金字塔池和条带池对第一特征图进行特征提取，得到能够表示视网膜血管宽度变化信息和远程上下文信息的第三特征图；
融合模块，用于对第二特征图和第三特征图进行融合处理，得到第四特征图；
解码器模块，用于将第四特征图输入解码器进行处理，得到解码器处理后的第五特征图；
分类模块，用于基于第五特征图，按照预设的阈值，判定第五特征图中每个像素是否为视网膜血管，得到分割后的视网膜图像。
一些实施例中，线性特征提取模块，用于利用预设的六个3×3的固定卷积核对所述第一特征图进行特征提取。
一些实施例中，宽度和远程特征提取模块，用于基于至少两个空间金字塔池和至少两个条带池分别对所述第一特征图进行池化操作，得到池化操作后的至少四个特征图；利用1×1卷积将至少四个特征图的通道数转换为1，得到至少四个通道数为1的特征图；对至少四个通道数为1的特征图进行拼接处理，得到第三特征图。
一些实施例中，宽度和远程特征提取模块，用于利用三个方形核对第一特征图进行特征提取，以获得视网膜血管的宽度变化信息；利用两个条形核对第一特征图进行特征提取，以获得视网膜血管的远程上下文信息。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
图4示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图， 该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线 1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU（Central Processing Unit，中央处理器）、微处理器、应用专用集成电路（Application Specific Integrated Circuit，ASIC）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM（Read Only Memory，只读存储器）、RAM（Random AccessMemory，随机存取存储器）、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信。
总线1050包括一通路，在设备的各个组件（例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040）之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘（DVD）或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围（包括权利要求）被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路（IC）芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的（即，这些细节应当完全处于本领域技术人员的理解范围内）。在阐述了具体细节（例如，电路）以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构（例如，动态RAM（DRAM））可以使用所讨论的实施例。
本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (2)

1.一种视网膜图像分割方法，其特征在于，包括：
将视网膜图像输入编码器进行处理，得到所述编码器处理后的第一特征图；
利用固定卷积核对所述第一特征图进行特征提取，得到能够表示视网膜血管局部线性特征的第二特征图；包括：
利用预设的六个3×3的固定卷积核对所述第一特征图进行特征提取，计算方法为：
v i = σ(ω i ·z + b i ) （1）
其中，σ是激励函数，ω i 为固定卷积核，b i 为偏置，i=1,2，……，6，z为第一特征图，•为卷积运算，六个固定卷积核分别为：
Figure 567267DEST_PATH_IMAGE001
利用六个固定卷积核分别对所述第一特征图进行计算后，将得到的六个特征图进行拼接，得到所述第二特征图v：
v = f c (v i ) （8）
其中，f c (·)表示拼接运算；
基于空间金字塔池和条带池对所述第一特征图进行特征提取，得到能够表示视网膜血管宽度变化信息和远程上下文信息的第三特征图；包括：
基于三个方形核和两个条形核分别对所述第一特征图进行池化操作，得到池化操作后的五个特征图；
利用1×1卷积将所述五个特征图的通道数转换为1，得到五个通道数为1的特征图；
对所述五个通道数为1的特征图进行拼接处理，得到第三特征图，所述第三特征图表示为：
u=σ(f c (u 1 ,u 2 ,···,u 5 ,z)) （9）
Figure 49064DEST_PATH_IMAGE002
（10）
其中，i=1表示使用2×2的方形核进行池化，i=2表示使用3×3的方形核进行池化，i=3表示使用4×4的方形核进行池化；max（∑ i ）表示取利用方形核进行池化的当前区域的最大元素的像素值；N是利用条形核进行池化的当前区域的像素值之和，N=a+b，当i=4时，a为第一特征图的宽度，b为0； 当i=5时，a为0，b为第一特征图的长度；s、t为整数，x、y为特征图的行、列坐标；
对所述第二特征图和所述第三特征图进行融合处理，得到第四特征图；
将所述第四特征图输入解码器进行处理，得到解码器处理后的第五特征图；
基于所述第五特征图，按照预设的阈值，判定所述第五特征图中每个像素是否为视网膜血管，得到分割后的视网膜图像。
2.一种视网膜图像分割装置，其特征在于，包括：
编码器模块，用于将视网膜图像输入编码器进行处理，得到所述编码器处理后的第一特征图；
线性特征提取模块，用于利用固定卷积核对所述第一特征图进行特征提取，得到能够表示视网膜血管局部线性特征的第二特征图；包括：利用预设的六个3×3的固定卷积核对所述第一特征图进行特征提取，计算方法为：
v i = σ(ω i ·z + b i ) （1）
其中，σ是激励函数，ω i 为固定卷积核，b i 为偏置，i=1,2，……，6，z为第一特征图，•为卷积运算，六个固定卷积核分别为：
Figure 728307DEST_PATH_IMAGE003
Figure 346370DEST_PATH_IMAGE004
利用六个固定卷积核分别对所述第一特征图进行计算后，将得到的六个特征图进行拼接，得到所述第二特征图v：
v = f c (v i ) （8）
其中，f c (·)表示拼接运算；
宽度和远程特征提取模块，基于空间金字塔池和条带池对所述第一特征图进行特征提取，得到能够表示视网膜血管宽度变化信息和远程上下文信息的第三特征图；包括：基于三个方形核和两个条形核分别对所述第一特征图进行池化操作，得到池化操作后的五个特征图；
利用1×1卷积将所述五个特征图的通道数转换为1，得到五个通道数为1的特征图；
对所述五个通道数为1的特征图进行拼接处理，得到第三特征图，所述第三特征图表示为：
u=σ(f c (u 1 ,u 2 ,···,u 5 ,z)) （9）
Figure 69345DEST_PATH_IMAGE005
（10）
其中，i=1表示使用2×2的方形核进行池化，i=2表示使用3×3的方形核进行池化，i=3表示使用4×4的方形核进行池化；max（∑ i ）表示取利用方形核进行池化的当前区域的最大元素的像素值；N是利用条形核进行池化的当前区域的像素值之和，N=a+b，当i=4时，a为第一特征图的宽度，b为0； 当i=5时，a为0，b为第一特征图的长度；s、t为整数，x、y为特征图的行、列坐标；
融合模块，用于对所述第二特征图和所述第三特征图进行融合处理，得到第四特征图；
解码器模块，用于将所述第四特征图输入解码器进行处理，得到解码器处理后的第五特征图；
分类模块，用于基于所述第五特征图，按照预设的阈值，判定所述第五特征图中每个像素是否为视网膜血管，得到分割后的视网膜图像。
CN202011200417.4A 2020-11-02 2020-11-02 一种视网膜图像分割方法及装置 Active CN112001923B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011200417.4A CN112001923B (zh) 2020-11-02 2020-11-02 一种视网膜图像分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011200417.4A CN112001923B (zh) 2020-11-02 2020-11-02 一种视网膜图像分割方法及装置

Publications (2)

Publication Number Publication Date
CN112001923A CN112001923A (zh) 2020-11-27
CN112001923B true CN112001923B (zh) 2021-01-05

Family

ID=73475265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011200417.4A Active CN112001923B (zh) 2020-11-02 2020-11-02 一种视网膜图像分割方法及装置

Country Status (1)

Country Link
CN (1) CN112001923B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767269B (zh) * 2021-01-18 2022-11-01 北京航空航天大学 全景图像去雾方法与装置
CN114202733A (zh) * 2022-02-18 2022-03-18 青岛海信网络科技股份有限公司 一种基于视频的交通故障检测方法及设备
CN114449280B (zh) * 2022-03-30 2022-10-04 浙江智慧视频安防创新中心有限公司 一种视频编解码方法、装置及设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10492981B1 (en) * 2015-07-17 2019-12-03 Bao Tran Systems and methods for computer assisted operation
US20180012359A1 (en) * 2016-07-06 2018-01-11 Marinko Venci Sarunic Systems and Methods for Automated Image Classification and Segmentation
WO2018217863A1 (en) * 2017-05-23 2018-11-29 Intel Corporation Methods and apparatus for enhancing a binary weight neural network using a dependency tree
WO2019210124A1 (en) * 2018-04-26 2019-10-31 University Of Louisville Research Foundation, Inc. Atlas for segmentation of retina layers from oct images
CN109034162B (zh) * 2018-07-13 2022-07-26 南京邮电大学 一种图像语义分割方法
CN110349166A (zh) * 2019-06-11 2019-10-18 东软医疗系统股份有限公司 一种针对于视网膜图像的血管分割方法、装置及设备
CN110349162B (zh) * 2019-07-17 2021-10-22 苏州大学 一种视网膜黄斑水肿多病变图像分割方法
CN110598714B (zh) * 2019-08-19 2022-05-17 中国科学院深圳先进技术研究院 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN110706233A (zh) * 2019-09-30 2020-01-17 北京科技大学 一种视网膜眼底图像分割方法及装置
CN110969632B (zh) * 2019-11-28 2020-09-08 北京推想科技有限公司 一种深度学习模型的训练方法、图像处理方法及装置
CN111341386B (zh) * 2020-02-17 2022-09-20 大连理工大学 引入注意力的多尺度CNN-BiLSTM非编码RNA互作关系预测方法
CN111369581B (zh) * 2020-02-18 2023-08-08 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质
CN111401421A (zh) * 2020-03-06 2020-07-10 上海眼控科技股份有限公司 基于深度学习的图像类别判定方法、电子设备以及介质
CN111402258A (zh) * 2020-03-12 2020-07-10 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111445493B (zh) * 2020-03-27 2024-04-12 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111862056A (zh) * 2020-07-23 2020-10-30 东莞理工学院 一种基于深度学习的视网膜血管图像分割方法

Also Published As

Publication number Publication date
CN112001923A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN112001923B (zh) 一种视网膜图像分割方法及装置
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
WO2020168844A1 (en) Image processing method, apparatus, equipment, and storage medium
KR102452953B1 (ko) 뉴럴 네트워크의 컨볼루션 연산을 수행하는 방법 및 장치
EP3963516B1 (en) Teaching gan (generative adversarial networks) to generate per-pixel annotation
KR20190051697A (ko) 뉴럴 네트워크의 디컨벌루션 연산을 수행하는 장치 및 방법
CN110781923B (zh) 特征提取方法及装置
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN108875931B (zh) 神经网络训练及图像处理方法、装置、系统
KR20210013150A (ko) 조명 추정
US20200364829A1 (en) Electronic device and method for controlling thereof
CN109977952B (zh) 基于局部最大值的候选目标检测方法
US11816870B2 (en) Image processing method and device, neural network and training method thereof, storage medium
CN112308866A (zh) 图像处理方法、装置、电子设备及存储介质
CN112561792A (zh) 图像风格迁移方法、装置、电子设备及存储介质
CN111178217A (zh) 人脸图像的检测方法及设备
KR102128789B1 (ko) 심층 합성곱 뉴럴 네트워크를 위한 효율적인 팽창 합성곱 기법을 제공하는 방법 및 장치
CN110310270B (zh) 基于U-net网络模型的肿瘤微球轮廓检测方法及装置
CN116433686A (zh) 基于Transformer上下文信息融合的医学图像分割方法及相关设备
CN111932466B (zh) 一种图像去雾方法、电子设备及存储介质
CN115423697A (zh) 图像修复方法、终端及计算机存储介质
CN116543246A (zh) 图像去噪模型的训练方法、图像去噪方法、装置及设备
Peng et al. MND-GAN: A Research on Image Deblurring Algorithm Based on Generative Adversarial Network
CN113077389A (zh) 一种基于信息蒸馏结构的红外热成像方法
CN111798385A (zh) 图像处理方法及装置、计算机可读介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant